Beskrive generelt bruken av tillatt totalfeil og Laboratoriets kvalitetsprogram (heretter forkortet QM) til å overvåke og styre kvaliteten på analysene. Videre å sikre at alle brukere på ALM har tilfredsstillende og lik forståelse av målet med og konsekvensene av bruken av disse to verktøyene. Målet er å effektivisere kvalitetskontrollen, dvs. mindre arbeid med et felles kvalitetsprogram for å overvåke og styre kvaliteten på analysene og færre analysestopp (tillatt totalfeil).
Gjelder alle som analyserer prøver ved Medisinsk Biokjemi.
Laboratoriets kvalitetsprogram (heretter forkortet QM) til å overvåke og styre kvaliteten på analysene er innebygd i dagen LIMS, og håndterer mange kontrollregler fastsatt ut fra ulike vurderingsmetoder/prinsipp. Dette er et verktøy for overvåking og styring av kvaliteten på analyser, samt dokumentasjon på eventuelle tiltak.
Det medfører bl.a. at alle bioingeniører skal møte samme skjermbilde og rutiner på flest mulig ulike instrumenter og analyser. Kvalitetsprogrammet er en del av Laboratoriets LIMS (EPIC-Beaker).
Stabil CV til en parameter: Analytisk CV til en parameter målt over en lengre og spesifisert tidsperiode med dokumentert metodebeskrivelse.
Tillatt totalfeil (Total error allowable= TEa) med styrkeberegning er en av flere vurderingsmetoder/styringsprinsipp som kan brukes for å fastsette kontrollregler. Tillatt totalfeil slik det brukes her er basert på at man tar mer hensyn til kliniske forhold, dvs hvor mye feil en kliniker kan tillate uten at det går vesentlig ut over kvaliteten til beslutningsgrunnlaget. Tillatt totalfeil er et kvalitetskrav som setter en grense for summen av tilfeldig feil (upresisjon) og systematiske feil (bias/ unøyaktighet) som er tolererbar i en enkelt måling av en kontroll for en parameter.
Leverandørens oppgitte grenseverdier er en annen mulighet som er særlig aktuell for de analysene vi ikke med rimelighet kan si at tilfredsstiller forutsetningene for bruk av tillatt totalfeil, f.eks. ikke har stabil CV innen et hensiktsmessig tidsintervall.
Vi har også noen parametere hvor metoden har en analytisk CV som er så høy i forhold til tillatt totalfeil (dvs. forholdet: TEa/CV) at man får en så streng kontrollregel (f.eks.<2,5s) at man får uakseptabelt høy sannsynlighet for falske alarmer (f.eks. vil en kontrollregel på <2,5 s gi >1,5% falske alarmer). Da må man oftest fastsette aksjonsgrensene etter andre kriterier basert på en annen dokumentert faglig vurdering. Alternativt kan man øke antall kontroller i det aktuelle nivået.
Med tillatt totalfeil som vurderingsprinsipp/styringsprinsipp menes/innebærer bl.a. at vi «garanterer»/sikrer at mindre enn 5% (bl.a. avhengig av valgt konfidensintervall) av våre svar har en større feil enn oppgitt tillatt totalfeil. Tillatt totalfeil kan hentes fra flere kilder (dvs. både ulike beregningsmåter og med ulikt resultat), men kilden må alltid oppgis.
Dersom annet ikke er oppgitt har vi benyttet siste data fra CLIA (CLIA proficiency testing criteria for acceptable analytical performance), som grunnlag for valg av den enkelte parameters tillatte totalfeil (eks. ALAT 20%). Disse er basert på vurderinger av hvilke avvik i den målte parameteren som er store nok til å medføre signifikante endringer i pasientens kliniske tilstand, eller som får behandlingsmessig konsekvens.
Vi bruker også EFML Biological Variation Database.
Formel for biologisk tillatt totalfeil (TEba): |TEba| = |Bias| + 1,65*CV (Bias er her mindre enn eller lik : 0,25*(CVi2+CVg2)0,5 og CV er her mindre enn eller lik: 0,5 *CVi, hvor CVi er innen person variasjonen og CVg er mellom person varisjonen, gir f.eks. TEba for ALAT 32%).
Forutsetninger for våre beregninger av sannsynlighetene for å oppdage feil og forkaste riktige resultat ved bruk av tillatt totalfeil med styrkeberegning:
1) Stabil metode, dvs. CV stabil over lang tid (vanligvis et år), og tilnærmet normalfordelte data
2) Systematisk feil (bias) er i utgangspunktet tilnærmet null, dvs. er fjernet eller kalibrert «bort»
3) Sannsynligheten for å få en eventuell systematisk feil er tilnærmet like stor i høyt og lavt nivå
En stigning i CV eller i bias medfører at vi får oftere falsk alarm og sjeldnere ekte alarm (altså motsatt av det vi ønsker), dersom vi fortsatt bruker samme kontrollregel (og dermed samme QMsm og samme aksjonsgrenser).
Dette medfører at vi må overvåke utviklingen av både CV og bias på samtlige parametere, og ha regler for når vi skal vurdere å gjøre tiltak, bl.a. når vi skal vurdere om vi må beregne nye QMsmtt, dvs. endre kontrollreglene.
Praktiske konsekvenser: For å beholde samme Ped (sannsynlighet for å påvise feil) må vi «redusere» kontrollregelen med 0,5 standardavvik (eks. fra 3,5 til 3,0) dersom CV øker med omtrent 10% (i praksis så mye at TEa/CV endrer seg med 0,5 f.eks. fra 5,0 til 4,5, dvs. noe forskjellig fra analyse til analyse). Videre vil en stigning i bias som tilsvarer 0,5 eller 0,8 standardavvik gi samme konsekvenser for Ped som at CV øker med henholdsvis 10 eller 20% når TEa/CV=5.
Dette er beregnet ut fra at en viktig variabel som inngår i beregningen av Ped er «kritisk systematisk feil» =SE hvor SE=TEa/CV-Bias-1,65. En mulighet er å beregne Bias ut fra resultater fra SLP deltakelse.
Robust CV = CVr. For å unngå å måtte beregne nye aksjonsgrenser ofte pga at CV blir mer enn 10% høyere enn stabil CV, kan vi for enkelte parametere velge å beregne kontrollregel basert på såkalt robust CV=CVr. Hvis ikke annet er beskrevet er CVr=1,2 x stabil CV (altså 20% høyere). Det er en forutsetning som må være oppfylt før en kan benytte CVr i sammenheng med Tillatt totalfeil: TEa/CVr > 4,70 (fordi 2,5s da gir Ped=0,70). Konsekvensen av å bruke CVr er at aksjonsgrensene blir noe mindre, altså strengere (men mindre følsom for endringer i stabil CV). Dersom man benytter robust CV så skal det dokumenteres skriftlig.
Forkortelser:
Ped= sannsynlighet for å påvise reelle feil (Probability
for error detection, der 0,90 tilsvarer 90%)
Pfr= sannsynlighet for å få falske feil (Probability for false rejection, der 0,015 tilsvarer 1,5%)
Forkortelser for spredningsmålet i QM (dvs det som grensene for stopp og vurdering er basert på):
1) QMsm: QMspredningsmål
2) QMsmtt: QMsm basert på tillatt totalfeil
3) QMsmsd: QMsm basert på vanlig analytisk standardavvik
4) QMsmlev: QMsm basert på leverandøren av kontrollenes grenser
5) QMsmlq: QMsm basert på Labqualitys grenser:
6) QMsmfv: QMsm basert på annen (beskrevet) faglig vurdering
7) QMsmx: uspesifiserte grenser, kun for å lette skrivingen
(brukes ikke i beregninger)
2019: CLIA proposed changes to PT acceptable limits - Westgard
Hvorfor bruker vi systemet med tillatt totalfeil og styrkeberegning?
Tillatt totalfeil med styrkeberegning tas i bruk av 3 årsaker:
1) for å få ned
antall tilfeller som medfører analysestopp og reanalyse (dvs. gjøre stoppgrensene
videre, men fortsatt klinisk forsvarlige),
2) for få et mest mulig enhetlig og felles prinsipp/metode for vurdering
av kvaliteten på de ulike parameterne (letter opplæring og drift),
3) aksjonsgrensene blir begrunnet i kliniske forhold mer enn kun metodenes
analytiske ytelse.
Hvorfor sjekker vi om TEa/CV>4,70?
Det er fordi dersom TEa/CV er mindre enn 4,7 så blir kontrollregelen mindre enn 2,5 og da får vi flere falske alarmer (stoppvarsel) enn det er hensiktsmessig å håndtere i praksis. For slike analyser (både metode- og parameteravhengig) bruker vi fortrinnsvis en faglig vurdering i stedet for oppgitt tillatt totalfeil.
Vi skiller mellom stoppsignal og vurderingsvarsel.
Stoppsignal medfører at man ikke kan gi ut svarene uten å gjøre tiltak og analysere prøver på nytt.
Stoppsignal har vi definert her som når QM flagger rødt, dvs. mer avvik fra middel enn +-3 QMspredningsmål (QMsm). Stoppsignalet gir i praksis det samme verdi (i mmol/l) som kontrollregelen (antall standardavvik), men mens kontrollregelen, som gir verdien for stoppsignalet, kan variere fra 2,5 til 4, så er stoppsignalet alltid 3QMsm. Maksgrensen på 4 standardavvik for kontrollregelen er en begrensning vi selv har valgt, da det ifølge teorien ikke er noen slik maksgrense for kontrollregelen. Dersom den stabile Cven og biasen er reell vil en kontrollregel på 4 standardavvik innebære at man bare får en falsk alarm i 6 av 100 000 kjøringer. Opplever man oftere falske alarmer så er enten den stabile Cven lavere eller biasen høyere enn det som er lagt inn i beregningsgrunnlaget.
Begrepet QMsm (leses: QM spredningsmål) har vi innført for å tydeliggjøre at dette er en type spredningsmål i QM-programmet som man vanligvis ikke kan forholde seg statistisk til på samme måte som vanlig standardavvik (sd). Når spredningsmålet i QM er beregnet vha. tillatt totalfeil skriver vi QMsmtt, nettopp for å dokumentere at det er beregnet ut fra tillatt totalfeil.
Årsaken til at vi innfører begrepet QMsm er rent praktisk for å få tilpasse stoppgrensen til dataprogrammet QM sine muligheter for flagging og standardisering.
Eksempel: Dersom det analytiske standardavviket for en analyse er 1,5 mmol/l og tillatt totalfeil er slik at en tilfredsstiller kravene (Pfr<0,015 og Ped>0,90) ved å tillate +-5 standardavvik (5s) så blir stoppsignalet på 3QMsmtt: 1,5 mmol/l x 5= +- 7,5 mmol/l. For å få dette til å virke i QM må en legge inn QMsmtt. 1 QMsmtt blir da stoppsignalgrenseverdien delt på 3, dvs. 7,5mmol/l : 3 = 2,5mmol/l.
Kun i de tilfeller at kontrollregelen i praksis er 3s er standardavvik (s) lik QMsmtt. Der tillatt totalfeil er liten i forhold til CV. og f.eks. medfører at man tilfredsstiller kravene ved kun å tillate en kontrollregel på 2,5 standardavvik så blir stoppsignalet eksemplet ovenfor (med samme standardavvik på 1,5) 1,5 mmol/l x 2,5 =+-3,75mmol/l og 1 QMsmtt blir 3,75mmol/l : 3 = 1,25 mmol/l.
Stoppgrensen/stoppsignalet er
3 QMsmxx.
Inntreffer dette skal analysen stanses og feilsøking og feilretting
igangsettes.
Vurderingsvarsel medfører det må gjøres en vurdering som skal dokumenteres, men man kan fortsette å analysere.
Vurderingen av vurderingsvarselet innebærer å sannsynliggjøre at kvaliteten på analyseresultatene er tilfredsstillende på vurderingstidspunktet, og at det er forsvarlig å avvente situasjonen uten ytterligere tiltak frem til et bestemt angitt revurderingstidspunkt, eller eventuelt gjøre tiltak som medfører at det er sannsynlig at etterfølgende resultat blir bedre.
Reglene for vurdering i tabell 1 nedenfor er i utgangspunktet basert på at vi kjører med 1 kontroll for to nivå av hver parameter fra 1 til 4 ganger pr døgn som analysen kjøres.
Når dette systemet er valgt, er det i praksis valg av regler for stoppsignal og vurderingsvarsel - og etterlevelsen av disse - som avgjør kvaliteten på analyseresultatene vi gir ut.
|
|
Regel |
Sjekkfrekvens |
|
a |
2 x antall kontr.pr døgn med påfølgende
resultater mellom 2 og 3 QMsm eller mellom -2 og -3 QMsm |
** daglig, får varsel |
|
b |
maks 7 x kontr.pr døgn med påfølgende
resultater mellom 1 og 2 QMsm eller |
** daglig, får varsel |
|
c |
CV steget mer enn 10% i løpet av siste 30 dager*** - i forhold til stabil CV benyttet i beregningen av kontrollregelen |
Månedlig |
*) Dersom ikke annet er oppgitt og begrunnet for aktuell parameter.
**) «antall kontr. pr døgn» = antall kontroller i nivået som analyseres pr døgn for den aktuelle analysen. Den bioingeniøren som oppdager varsel på kontroll bør varsle fag- eller spesialbioingeniør for faggruppen via kontrollmelding-skjema, men man kan fortsette å analysere. Fag- eller spesialbioingeniøren må foreta en vurdering som skal dokumenteres. Eventuelle tiltak skal også dokumenteres.
***) 10% kan erstattes av en beregnet % for hver parameter (skal i tilfelle dokumenteres). Her sjekker vi i praksis forutsetningen om at vi har stabil CV som er grunnlaget for bruk av tillatt totalfeil. Denne forutsetningen blir vesentlig mindre følsom dersom man har brukt robust CV (CVr=CV x 1,2) som stabil CV i beregningen av kontrollregelen..
Forholdet TEa/CV - og eventuell
bias - er det som i praksis avgjør Ped og Pfr, og dermed er avgjørende for
kontrollreglene.
Det er vanlig å sette kravet til Ped >0,90. Det er imidlertid ikke et
bastant krav, men et valg avhengig av labens vurdering av samlet sikkerhet og
labens villighet til å ta risiko. Flere kontroller i samme nivå gir økt
sikkerhet, og kontroll av (i) flere nivåer gir økt sikkerhet. For
veldig stabile metoder (f.eks. feilfrekvens < 2%) kan man bruke lavere krav,
men da skal det dokumenteres og godkjennes av medisinsk ansvarlig.
For å oppnå en Ped>0,90 ved bare en kontroll (N=1 og nødvendigvis bare ett nivå) ved en kontrollregel på 3,0s må TEa/CV>4,9 (eller hvis bias: (TEa/CV-bias)>4,9). Ved å øke fra 1 kontroll til 2 kontroller i samme nivå (1 nivå, N=2) kan man redusere kravet til TEa/CV fra >4,9 til >4,7 og fortsatt oppnå Ped>0,90.
Matematisk oppnår en den samme Ped enten man setter inn 2 kontroller (N=2) i formelen for Ped, eller man kombinerer (ikke "vanlig summering") de 2 Ped-ene med N=1 etter formelen: 1-(1-Ped1)*(1-Ped2).
Dersom en har 2 kontroller (2 nivå, N=1), og for det ene nivået vil oppnå Ped>0,70 ved en kontrollregel på 2,5s må TEa/CV>4,70 for dette nivået.
Dersom man har 2 kontroller (dvs. en kontroll for to nivå, N=1) og gjør valg som innebærer at den ene kontrollen får Ped=0,70 må den andre også minst ha en Ped=0,70 for å tilfredsstille kravet på en samlet Ped=0,90. NB! Man har her forskjellige kontrollregler for hvert av de to nivåene for å oppnå Ped>0,70. Den kombinerte (totale) sannsynligheten for å oppdage systematiske feil, Ped, fremkommer ved formelen: 1-(1-Ped1)*(1-Ped2)=1-(1-0,70)*(1-0,70)=1-0,09=0,91.
Aksjonsgrensene beregnes ved å bruke det vedlagte regnearket: «Generelt regneark for beregning av kontrollregler for mange analyser i samme ark, med beregningsknapp, maks 4s og min 2,5s». Dette arket har «beregningsknapp» som automatisk beregner høyeste kontrollregel som gir Ped=0,70 og Pfr<0, men det er lagt inn en begrensning på kontrollregelen slik at den maks blir 4s og minimum 2,5s. Når maks eller min er benyttet medfører det automatisk en kommentar i kommentarfeltet, og når minimumsbegrensningen inntrer må det brukes en dokumentert faglig vurdering i stedet for tillatt totalfeil.
Vedlegget: «Notat som belyser konsekvenser dersom stabil CV endrer seg» har konkrete ferdig beregnede eksempler.
Den avanserte bruker kan benytte regnearket i ALM-; Mal - Beregning av kontrollregler for å beregne Ped, Pfr og stoppgrenser.
Man har 3 muligheter (som må dokumenteres skriftlig).
Valg 3 vil medføre smalere aksjonsgrenser, dvs. oftere alarmer.
1. Ped >0,90 (0,88 kan tillates unntaksvis dersom stoppgrensen (=3QMsmtt) er nede i 2,5s)
2. Pfr <0,015
*) CLIA krever i USA minst 2 kontroller.
1. Enkeltvis Ped > 0,70 medfører at Ped for begge kontrollene sett samlet blir >0,90*
2. Samlet Pfr <0,015 ** (Pfr for begge kontrollene sett samlet)
*) Man har her forskjellige kontrollregler for hvert av de to nivåene (på hver enkelt av de to kontrollene) for å oppnå Ped>0,70. Den kombinerte (totale) sannsynligheten for å oppdage systematiske feil, Ped, fremkommer ved formelen: 1-(1-Ped1)*(1-Ped2)=1-(1-0,70)*(1-0,70)=1-0,09=0,91.
**) Dvs. tillater vi stoppgrense på 2,5s på den ene kontrollen (som gir Pfr=0,0125) vil vi måtte ha en stoppgrense på minst 3s på den andre kontrollen (som gir Pfr=0,0028) noe som gir en samlet Pfr=0,0153
Tillagt verdi som er funnet ved innkjøring skal i utgangspunktet ikke endres. Det kan imidlertid være forhold som gjør at det allikevel må vurderes.
· Målesystemet kan endres pga. ny kalibratorlot, ny reagenslot, endringer i selve analyseinstrumentet osv. Ideelt sett burde innkjøring av ny kontroll skje over en tidsperiode med flere kalibreringer og kalibrator- og reagenslot. Slike variasjoner bør også gjenspeiles i standardavvik, s og variasjonskoeffisient, CV. Endring av tillagt verdi kan derfor være aktuelt etter en tids bruk. Det er da viktig at man benytter måleverdier fra hele perioden med flere kalibreringer.
· Matrikseffekter i kontrollmaterialet kan påvirke måleverdien ved skifte av reagenslot. Dersom det kan dokumenteres at pasientprøvene er uendret, kan tillagt verdi endres. Dokumentasjon kan være analyse av pasientprøver med ny og gammel reagenslot eller analyse av tidligere innkjørt serumpool.
· Enkelte ganger kan en oppleve store nivåendringer, spesielt ved bytte av kalibratorlot, som ikke kan gjenspeiles i standardavvik. (Problemet vil oftest bli forsøkt løst med ny kalibrator- eller reagenslot). Årsak kan være at kalibratorverdi er endret pga. re-standardisering fra produsent. I slike tilfeller kan tillagt verdi justeres, men man må diskutere med fagansvarlig lege om nivåendringen har medisinsk betydning slik at rekvirenten skal varsles.
· Ved bruk av multikontroller er det kjent og oppgitt fra produsent at enkelte parametere kan endre verdi ved oppbevaring selv om holdbarhetsdatoen for kontrollen ikke er utløpt. Andre kontroller og pasientprøver avgjør endring av tillagt verdi.
Endring av tillagt verdi skal dokumenteres på hensiktsmessig måte.
Alle som bruker utstyr som benytter QM har ansvar for at siste kontroller blir vurdert før analysestart og før frigivelse av analysesvar (bl.a. stoppsignal og vurderingsvarslene a) og b) i tabell1).
Fagbioingeniørene og spesialbioingeniørene, eller annen bemyndiget bioingeniør, har ansvar for å følge med kvaliteten på analysesvarene, bl.a. vurderingsvarslet c) i tabell 1, og dokumentere dette.
Fagbioingeniørene og spesialbioingeniørene har ansvar for å utarbeide nye stoppgrenser (3xQMsmx), dokumentere disse og legge dem inn i QM.
Legespesialist har ansvar for godkjenning av valg av vurderingsprinsipp for beregningen av QMsmx (tillatt totalfeil, Labquality, leverandørens grenser, kun analytisk CV eller annen faglig vurdering) for den enkelte parameter.
Tillatt totalfeil, QM, kontroll, overvåking, styring, kontrollregler, stoppsignal, vurderingsvarsel, aksjonsgrense, alarmgrense, stoppgrense, kvalitetsprogram.