1.환자 기반 정도관리의 기본개념

환자 기반 실시간 정도관리(patient-based real-time quality control, PBRTQC)는 빅데이터 기반의 환자 결과를 이용하여 실시간 오류를 모니터링 하는 품질보증(quality assurance) 및 정도관리 기법의 하나이다[1]. PBRTQC는 한계(limit), 델타(delta) 및 다변량 검사뿐만 아니라 임상 검사실에서 사용할 수 있는 광범위한 데이터 관리 시스템을 통합적으로 반영한다[2, 3]. PBRTQC는 Bull 등[4]에 의해 제안된 Bull’s 알고리즘, 정상치 평균(average of normal, AON), 이동 중앙값(moving median), 이동평균(moving average) 및 지수가중이동평균(exponentially weighted moving average)과 같은 다양한 알고리즘을 사용하고 있으며, 특히 환자 결과를 평균화하는 방법이 일반화되어 있어 이동평균 정도관리로 알려져 있다[4-10]. 최근에는 이동 표준편차(moving standard deviation), 이동 델타 (moving delta), 이동 이상치의 합(moving sum of outliers), 이동 백분위수와 같은 새로운 기술이 적용되고 있다[11-13]. PBRTQC는 Bull 등[4]의 연구를 바탕으로 수십 년 동안 혈액학 분야의 정도관리에 사용되고 있으나[14], 임상화학 검사실에서는 정도관리 방법으로 PBRTQC를 사용하지 않고 있다. 그 이유는 구현 가능한 시스템의 한계, 분석 방법간의 표준화 부족, 개별 검사실마다 PBRTQC 설정 절차의 복잡성 때문으로 인식되고 있다[15]. 그러나 최근 연구에 따르면 통계 방법 및 정보 기술의 향상, 기존 내부정도관리 시스템의 한계로 인해 PBRTQC는 점점 더 주목 받고 있다[16]. 따라서 본 리뷰에서는 PBRTQC의 기본 개념과 그 방법 및 절차에 대해 설명하고자 하였다.

2.전통적 정도관리와 환자 기반 정도관리

역사적으로 내부정도관리(internal quality control, IQC)는 검사실 결과가 정규분포한다는 가정에 기초하고 있다[15]. 정규분포는 중심극한정리(central limit theorem)의 가정을 의미하며, 확률적 분석의 가변성과 불확실성을 나타내는 평균, 표준편차(standard deviation, SD) 및 변동계수를 매개변수(parameter)로 사용한다[15]. 정규분포는 변동계수가 20%를 초과하게 되면 적용하는 것에 한계가 있으며, 평균과 표준편차도 치우쳐진 분포에는 적용할 수 없다[15]. 정규분포를 따르지 않는 내부정도관리 결과는 박스-칵스(Box-Cox) 변환과 같은 로그 변환(log transformation), 거듭제곱 변환(power transformation)이 필요하다[17]. 일반적으로 검사실에서는 내부정도관리 허용기준으로 정규분포의 주요 매개변수인 ±2SD를 기반으로 한 Westgard 박사가 확립한 ‘Westgard multi rules’를 사용하고 있다[18, 19]. Westgard 다중규칙은 실제 검사실 테스트 결과와 시뮬레이션 기술을 사용하여 오류 검출률(error detection)과 거짓 거부율에 대해 광범위한 경험적 분석을 기반으로 제시되었다[15]. 최근 검사실에서는 Westgard 규칙을 Six-Sigma, 총허용오차(total allowable error, TEa)를 사용하여 보완하고 있다[15]. 그러나 Westgard 규칙도 모두 평균, 표준편차, 변동계수와 같은 정규분포 매개변수를 기반으로 하였으며, 분포의 왜곡을 최소화하기 위해 거듭제곱 변환을 적용하려는 시도는 없었다[15]. 또한 모든 내부정도관리 절차는 사후적이며, 검사실에서는 검사량이 많더라도 하루에 한두 번 정도 정도관리를 실시하고 있어 검사 전과정의 오류를 감지하기에는 한계가 있다[20]. 특히 전통적인 내부정도관리는 급격한 변화를 감지하기 위해 설계되어 계통오차와 같이 점진적인 분석 추세(analytical trend)를 감지하는데 취약하며, 다음 내부정도관리를 실행하기 전까지 계통오차를 감지하기 어렵다는 한계가 있다[21-23].

전통적인 내부정도관리의 정도관리 물질은 인간 유래가 아닐 수 있으며, 저렴한 동물 혈청에서 기원하여 다른 외인성 화합물과 혼합되었을 수 있다[15]. 이러한 이유로 정도관리 물질에서 기질효과(matrix effect) 및 교환 불가능성(non-commutability)이 발생할 수 있으며, 로트 변경이나 분석방법에 따라 검사결과에 영향을 미칠 수 있다[15, 24]. 정도관리 물질의 교환 불가능성은 환자 검체와 다르다는 것으로 정도관리 자료는 환자 검체 매트릭스를 정확하게 반영하지 못할 수 있다[25]. 그 결과 환자 검체와 내부정도관리 사이에 허용범위를 넘는 편향이 발생할 수 있어 기존 내부정도관리만으로는 분석 오류를 신속하게 감지하는데 충분하지 않다[15]. 또한 기존의 내부정도관리 방법은 거의 40년간의 평가에도 불구하고 항상 적절하게 적용되지 않는다는 우려가 커지고 있다[15, 26]. PBRTQC는 이러한 단점을 대부분 보완할 수 있으며, 분석 시스템의 성능을 일상적으로 모니터링 하는데 탁월한 성능을 보인다[10, 27-30]. PBRTQC는 환자 검체 데이터를 기반으로 하기 때문에 기존 정도관리 물질의 교환 불가능성의 문제를 해결할 수 있다[25]. 또한 PBRTQC는 추가 정도관리 재료 및 측정이 필요하지 않으며, 분석 시스템의 성능을 환자 결과와 직접 연결하여 기존 데이터를 기반으로 계산 작업만 필요하기 때문에 비용 효율적이다[20]. Badrick 등[25]은 PBRTQC와 전통적 내부정도관리를 비교하여 Table 1과 같이 제시하였다.

Table 1

Comparison of PBRTQC and internal quality control

Characteristic	PBRTQC	Internal quality control
QC frequency	Continuous	Scheduled
Commutability	Is commutable by design	Poses the risk of non-commutability
Controllable diagnostic stage	Pre-analytical and analytical stage	Analytical stage
QC level	One level based on patient population and moving average settings	Multiple selectable levels
Error detection	Bias (less frequent imprecision)	Bias and imprecision
Optimization	Trial and error/power functions/TEa detection simulation/ANPed/bias detection curves	Based on classical SD/σ metrics/risk
Validation	Power function/moving average validation charts/simulations of bias detection	Power function analysis/statistical modeling
Graphical presentation of the results	Accuracy plot/Levey–Jennings chart	Levey–Jennings chart
Use for releasing results	Ruling out results and ruling in (dependent on setup; release from the back)	Ruling out results and release of results
Operational costs	Considerable time during implementation for each analysis; moving average QC alarm workup	QC materials, QC analysis, and QC alarm workup

Adapted from the article of Badrick et al. (Clin Chem. 2019;65:962-971) [25] with original copyright holder’s permission.

Abbreviations: PBRTQC, patient-based real-time quality control; QC, quality control; TEa, total error allowable; ANPed, average number of patient result error detection; SD, standard deviation.

3.환자 기반 정도관리의 특징

PBRTQC는 빅데이터와 데이터마이닝 기술의 발달로 알고리즘을 적용하는 것이 용이해졌으며, 기존 내부정도관리의 개선 필요성으로 인해 검사실에서 폭넓게 수용하려는 요구가 높아지고 있다[15]. 최근 검사실에서는 PBRTQC 프로토콜을 성공적으로 개발하고 구현함으로써 내부정도관리로서 가치가 증명되어 PBRTQC의 신뢰도가 높아졌다[28, 29, 31]. Song 등[32]은 갑상선 기능검사에 대해 최적화된 PBRTQC는 분석 및 추세변화를 감지하는데 효율성이 높다고 보고하였으며, 혈청 나트륨, 고감도 심장성 트로포닌 T (high-sensitivity cardiac troponin T)와 같은 임상화학 분야에서도 적용 가능성이 검증되었다[9, 33, 34]. PBRTQC는 누적 계산에 사용되는 최적의 환자 결과수(block size)에 평균과 같은 통계 매개변수의 계산이 필요하며, 통계 매개변수는 측정 절차뿐 아니라 다양한 분석 전 요인과 환자 관련 요인의 영향을 받는다[25]. 예를 들어, 분석 절차가 안정적으로 유지되더라도 환자 모집단 구성의 변화나 시료 운반, 처리 및 보관 중 오류로 인해 평균 변화(mean shift) 현상이 나타날 수 있다[25]. 그러나 PBRTQC 알고리즘은 우연오차(random error)보다는 시약 로트 변경 및 시약 구성요소 변경으로 인한 분석적 편차(analytical deviations)를 감지하고 모니터링하는데 유용하다는 것이 입증되었다[32]. PBRTQC는 안정화된 정도관리 물질을 기반으로 한 기존 내부정도관리를 완전히 대체할 수는 없지만 내부정도관리를 기반으로 구축된 기존 정도관리 프로그램을 강화하고 보완하도록 설계되었다[25]. 계통오차(systematic error)를 감지하기 위해 기존 내부정도관리 방법에 PBRTQC를 보완하여 구현할 경우 기존 정도관리 물질의 사용을 약 75%~85%까지 줄일 수 있다고 보고된다[28]. 또한 두 정도관리 방법의 병용은 총허용오차보다 큰 오류를 식별하는데 도움이 되어 내부정도관리의 신뢰도를 크게 향상시킨다[1]. 일부 학술 연구소에서는 다양한 PBRTQC 알고리즘으로 실험을 시작했고 일부 주요 검사실 미들웨어(middleware) 공급업체는 상업용 소프트웨어 패키지에 PBRTQC 기능을 도입하기 시작했다[15]. 미국의 한 국가표준검사실에서는 주요 상업용 검사실 미들웨어 공급업체 중 한 기관과 협력하여 일반 화학 및 면역분석에서 맞춤형 PBRTQC 프로토콜을 개발하고 성공적으로 구현하였다[15, 28]. 개발된 프로토콜은 실시간 민감도와 특이도가 높게 평가되었으며, 미들웨어 공급업체는 PBRTQC 프로토콜을 상업적으로 사용 가능한 패키지로 제공하고 있다[28].

PBRTQC의 구현에 앞서 중요한 단계는 검사실 정도관리 시스템의 일부로서 PBRTQC 성능을 검증하고 문서화하는 것이다. 따라서 본론에서는 PBRTQC 구현을 위한 방법 및 절차와 성능검증에 대해 논의하도록 하겠다.

1.환자 기반 데이터 추출

검사실 테스트 결과는 질병 선별 및 진단, 예후 평가, 치료 모니터링에 중요한 역할을 한다[35]. 기존 정도관리는 일부 비교환성 정도관리 물질로 측정되며, 실제 환자 검체로 측정되지 않아 오류 검출률이 낮고 거짓 거부율이 높다[36, 37]. PBRTQC는 정도관리에 실제 환자의 측정 테스트 결과를 사용함으로써 교환성 문제는 줄어들지만 데이터 안정성은 극복해야 할 가장 큰 요소이다[35]. PBRTQC의 핵심 원칙은 검사실에서 테스트한 전체 모집단을 대상으로 하는 것이 아니라 분석 시스템의 성능을 모니터링하기 위해 분석장비에서 생성된 결과를 표본으로 추출하여 사용하게 된다[29]. 테스트 집단의 생리적 또는 질병으로 인한 생물학적 변이는 오류 감지의 효율성을 감소시키는 노이즈(noise)로 간주될 수 있으므로 최소화해야 한다[25]. 일반적으로 데이터는 연속적인 기간에 걸쳐 추출 후 분할된다. PBRTQC를 적용한 검사실에서는 데이터 친숙화(data familiarization), 매개변수 설정(parameter setting) 및 최적화 목적으로 트레이닝 세트(training set)를 설정하게 되며, 성능검증을 위해서는 별도의 검증 세트(verification set)에 할당되도록 데이터 추출을 계획하여야 한다(Figure 1) [38]. 트레이닝 세트는 통제한계(control limit)를 정하기 위해 설정하는 것이고 검증 세트는 산출된 값이 통제한계 내에 들어오는지 지속적으로 검증하기 위해 적용하는 세트이다[39]. 트레이닝 세트와 검증 세트의 분할 비율은 데이터 밀도에 따라 50:50에서 80:20으로 대부분의 비율을 파라미터 설정 및 최적화에 할당하는 것이 바람직하다[38]. 이와 같은 데이터 세트는 간단한 분할이나 정교한 무작위화 기술(randomization techniques)을 사용하여 나눌 수 있다[38]. 이때 중요한 고려사항은 검증 세트가 의미 있는 결과를 산출할 만큼 충분히 크고 데이터 세트 전체를 대표하는지 확인하는 것이다[38].

Fig. 1. Training and test set descriptions.

대표 데이터는 검사실에서 제공하는 모집단의 측정 패턴을 학습하고 PBRTQC 매개변수를 설정하기 위한 트레이닝 세트로 추출된다[38]. 과거 데이터는 측정의 모든 잠재적 변동성을 포착할 수 있을 만큼 충분한 데이터 수집 기간을 포함해야 하며, 임상 설정 및 검사실 방법에 따라 달라질 수 있다[38]. 고려해야 할 중요한 변동성에는 환자 모집단 변동성, 시약 로트 및 캘리브레이터(calibrator) 로트 변경(최소 2개의 서로 다른 로트)이 포함된다[38]. PBRTQC 데이터 추출은 최소 6개월의 데이터를 수집하여야 하며, 1년 이상 수집된 데이터는 연간 변화를 포함한 모든 변동성을 포괄적으로 포착할 가능성이 높다[38]. 또한 암 센터 데이터, 암 치료 프로토콜 변경 등 다른 측정치와 크게 다른 결과값으로 측정 분포에 영향을 미칠 수 있는 데이터는 설정 매개변수와 검증 해석에 혼란을 초래하게 되므로 수집에서 제외되어야 한다[38]. 또한 검사실 오류로 인해 잠재적으로 잘못된 결과가 있는 기간은 데이터 수집에서 제외되어야 한다[38].

2.환자 기반 정도관리의 구성, 설정 및 규칙

PBRTQC의 구성은 포함/제외 기준, 블록크기 또는 가중치(weighting factor)를 포함한 계산 알고리즘, 통제한계의 3가지 부분으로 나눌 수 있다[25]. PBRTQC 설정 시 검사실의 측정에 영향을 미칠 수 있는 생리학적, 병리학적 및 분석 전 요인과 결과 분포를 변화시키는 요인에 대해 숙지하여야 한다[38]. 필요에 따라서는 최적의 블록크기, 통계 모델, 특정 데이터의 포함/제외 기준, 절단한계(truncation limits) 및 데이터 변환이 적용될 수 있다[38]. 모집단 또는 모집단 결과의 블록에 대한 평균과 표준편차가 계산되고 선택된 정도관리 목표에 따라 통제한계가 선택된다[38]. Figure 2는 시계열 결과 데이터를 10개씩 묶어서 블록크기 10으로 그룹화하고 평균을 도출한 예시이다.

Fig. 2. Block size settings. Group the time series result data into 10 pieces (block size N=10) and derive the average.

1)포함/제외 기준 및 절단한계

PBRTQC의 데이터 포함 기준은 계산 알고리즘에 어떤 환자 결과가 포함되는지를 결정하는 것이다[25]. 또한 다양한 이유로 결과가 제외되게 되는데 이렇게 될 경우 블록의 평균값 변동이 줄어들어 계통오차 감지가 가능해진다[25]. 외부 및 내부정도관리, 연구용, 투석액, 동물 검체 결과는 매트릭스 특성이 다르기 때문에 항상 제외되어야 하며, 극단적인 환자 결과는 제외될 수 있다[13, 25, 28, 29]. 검사실 결과는 드물지만 매우 높은 값을 갖는 로그 정규분포(log-normal distribution)를 따르는 경우가 있다[40]. 절단한계는 특정 임계값보다 높거나 낮은 모든 값을 제외하게 되며, 임상화학 검사분야에서는 Hoffmann [5]이 ‘AON’ 방법의 절단한계로써 참고범위를 제안하였다. 절단한계를 사용하는 대신 PBRTQC 계산 알고리즘에서 성별, 특정 클리닉 및 입원/외래 환자, 소아과, 기타 진료부서 등 다른 기준에 따라 데이터를 제외할 수 있다[14, 29, 30]. 예를 들어, 융모성 성선 자극 호르몬(human chorionic gonadotropin)은 임산부와 임신 모니터링을 위한 대상자간 데이터 분포에 차이를 보이는데 이런 경우 과도하게 절단 하는 것이 아니라 2개의 별도 PBRTQC 데이터 세트를 만들어야 한다[25].

2)계산 알고리즘

PBRTQC 계산을 위해 각각의 특성과 성능이 다른 여러 가지 알고리즘이 제시되고 있다[25]. 실제로 가장 일반적으로 적용되는 알고리즘은 결과 블록의 평균 및 중앙값, 지수가중이동평균이 있으며, 특수한 종류의 가중이동평균인 Bull의 알고리즘이 혈액학에서 적용되고 있다[10, 28, 29]. 평균 및 중앙값 계산은 일괄 또는 연속 모드로 적용 가능하며, 새로 포함된 모든 분석 결과에 대해 새로운 평균 및 중앙값을 계산할 수 있도록 하여 지속적인 정도관리 모니터링이 진행된다[28, 29, 41]. 이러한 계산에 포함된 결과 수를 블록크기라고 한다(Figure 2) [28]. 블록의 크기가 크면 일반적인 결과 변동과 비교하여 작은 편향을 감지할 수 있는 반면, 작은 블록크기는 큰 오류를 민감하게 감지할 수 있다[25].

3)정확도 감지능력 향상

PBRTQC 지표로 평균 또는 중앙값만 모니터링하는 것은 분석 오류를 쉽게 감지하지 못할 수 있다[25]. 이러한 오류를 민감하게 감지하기 위해 이동 표준편차, 이동 백분위수, 이동 경고치 비율(flagging rate) 또는 이동 이상치의 합과 같은 다른 매개변수를 사용하게 되며, 이러한 지표들은 가치가 있는 것으로 평가되었다[13]. 또한 편향된 분포를 보이는 경우 평균화 프로세스 전에 로그, 제곱근, 박스-칵스 또는 기타 계산에 의한 데이터 변환이 사용되고 있으며, 이러한 변환을 하지 않을 경우 PBRTQC에 적합하지 않았다[28]. 오류 감지능력을 정량화하기 위해 다양한 매개변수와 차트가 개발되었다[20, 38].

4)통제한계 및 규칙

통제한계 또는 규칙은 PBRTQC 경보가 생성되는 임계값을 벗어나는 경우 알람 조치가 실행되는 것을 의미한다[25]. PBRTQC 통제한계는 사용자가 정의하는 것이며, 원하는 정도관리 목표에 따라 다양한 근거를 기반으로 설정할 수 있다[25]. 일반적으로 통제한계는 허용 가능한 총허용오차 규칙을 기반으로 하거나 PBRTQC ‘정상 범위’를 정의하는 상한 및 하한치를 기초로 하는 표준편차 기반으로 한다[13, 14, 28, 29, 41, 42]. 데이터의 평균 또는 중앙값이 통제한계를 초과하는 경우 PBRTQC 알람이 실시간으로 생성되어 담당자에게 알려져야 한다[41]. Figure 3은 각 블록의 평균값으로 관리도 상에서 블록 평균의 ±2SD 통제한계를 설정하고 허용범위를 벗어난 블록 결과를 검토하여 정도관리의 이상유무를 판정하는 예시이다. 본 예시에서는 블록 순서 30번째에서 허용범위를 벗어났다.

Fig. 3. Set the acceptable range of the control chart using the average value of the block. Set the acceptable range on the control chart as the average value of each block in Figure 2. This means ±2SD of the block average, arrows indicate blocks outside the acceptable range. One point on the control chart is the average of 10 samples, and the results of 10 samples are reviewed to determine whether there is an abnormality in quality control.
Abbreviations: seq, sequence; SD, standard deviation.

3.환자 기반 정도관리 프로토콜의 설계 및 구현

모든 상황에 맞는 PBRTQC 매개변수 세트를 제공하는 것은 불가능하다[25]. 그러나 초기 조사에서는 가능한 많은 환자 결과를 포함하는 것이 유용하며, 모든 제외기준은 임상적 근거가 뒷받침되어야 한다[25]. PBRTQC에 포함되는 데이터 수를 줄이면 편향 감지를 지연시킬 수 있기 때문에 근거에 따라 제외기준을 설정해야 한다[25]. 절단한계 설정 시 대략적인 정규분포의 평균값에서 ±4SD 이상 떨어져 있거나 더 치우쳐진 분포에서 변곡점을 지나는 가장 극단적인 값은 제외해야 한다[29]. 슬라이딩 윈도우(sliding window)가 있는 이동 알고리즘은 오류 감지 민감도가 높지만 실시간 구현 및 사용을 위해서는 특수 소프트웨어가 필요하다[25]. 또한 블록크기는 50개 샘플이 적합하다고 입증되었으며, 이와 같이 설정하게 되면 1% 미만의 빈도로 거짓 알람(false alarm)이 발생해야 한다[25, 28].

최적화된 PBRTQC는 기존 정도관리보다 거짓 양성에 의한 알람 비율이 낮고 실제 오류(true error) 감지율이 더 높다[25]. 거짓 알람 비율이 높으면 알람 피로도가 높아지고 정도관리 시스템에 대한 신뢰도가 떨어진다[25]. 오류 검출률을 최적화하기 위해서는 다양한 알고리즘 및 절단한계 사용, 블록크기, 통제한계, 입원 및 외래환자, 임신 및 비임신 등 하위 모집단별 제외기준의 규칙을 변경할 수 있다[29].

검사실에서 설정한 예비 PBRTQC 규칙은 잘못 거부되는 비율(또는 특이성)을 테스트한 다음 오류 감지 민감도를 테스트해야 한다[25]. 오류 감지 민감도를 측정하는 방법 중 하나는 오류 발생부터 감지까지의 평균 환자 샘플 수(average number of patient result error detection)이다[43]. 오류 발생부터 감지까지의 평균 환자 샘플 수와 밀접한 관련이 있는 측정항목은 오류 감지까지 결과의 중앙값 수(median number of results until error detection, MNed)와 모든 경우의 95%에서 오류를 감지하기에 충분한 결과 수(the number of results that is sufficient in 95% of all cases to detect the error, 95Ned)이다[41]. PBRTQC 최적화 방법에는 시행착오, 검정력 함수 곡선(power function curves) 사용 및 시뮬레이션이 포함된다[6, 28]. 시뮬레이션을 수행하려면 대표적인 환자 데이터를 수집하고 인위적 편향의 크기를 갖는 기울기 보정을 통해 환자 데이터에 정적 또는 부적 편향을 도입해야 한다[25]. 오류 검출 민감도는 잘못된 결과가 알람을 잘 생성하는지, 잘못된 결과 공개를 방지하기 위한 알고리즘의 신뢰성을 확인하기 위해 평가해야 한다[28]. 최적화를 위해 어닐링(annealing)과 같은 보다 정교한 소프트웨어 프로세스를 통해 블록크기 및 절단한계의 환자 결과 수를 확률적으로 변화시킬 수 있다[29]. 또한 검사실별 데이터 세트에 대해 컴퓨터 기반 오류 감지 시뮬레이션을 수행하는 온라인 애플리케이션을 사용할 수 있다[44].

최적화된 규칙을 도출한 후 다음 단계는 PBRTQC 알람 조사를 위한 검사실 프로토콜을 설계하는 것이다[25]. 프로토콜은 PBRTQC에서 감지한 모든 오류를 확인하고 대책을 세우는데 핵심이 되며, 오류를 지속적으로 감지할 수 있을 뿐만 아니라 필요할 경우 신속한 수정조치를 취하기 위해 필요하다[25]. PBRTQC 알람의 원인을 명확히 하고 어떤 시정조치가 필요한지 결정하려면 알람 이후의 대응조치와 경보의 원인을 파악하기 위한 조사가 필요하다[25]. PBRTQC 알람 프로토콜에 따른 일반적인 조치에는 영향을 받은 기기의 결과 보고 중지, 영향을 받은 블록의 검체를 대체 기기로 이동, 분석 오류가 발생했는지 확인하고 그렇다면 오류의 크기를 결정하고 문제해결 프로토콜을 시작하게 된다[25]. 이러한 조치의 주요 목적은 처리시간(turnaround time)에 영향을 미치지 않으면서 잘못된 결과의 불필요한 생성이나 보고를 방지하고 환자 결과 및 분석에 시정 조치가 필요한지 여부를 결정하는 것이다[25]. 일반적으로 알람 작동을 위한 실험실 프로토콜을 설정할 때 고려해야 할 추가사항은 내부정도관리 테스트, 영향을 받은 검체의 재분석, 장비문제 해결, 재보정, 외부정도관리 실행, 환자 및 환자 결과 검토이다[25]. PBRTQC 알람을 정기적으로 평가하려면 PBRTQC 프로토콜을 설계하는 조건에 오류에 대한 민감도와 특이도가 균형을 맞춰야 한다[25]. 빈번한 허위 알람은 시스템에 대한 신뢰와 알람 피로로 인해 검사자의 후속 조치 실행을 저해한다[25]. 이러한 점에서 모든 PBRTQC 설정의 적절성에 대한 적극적인 감시가 필수적이다[25]. 동일 장비와 분석법에 대해 여러 개의 알람이 발생하여 허위 알람이거나 중요하지 않은 오류로 밝혀진 경우 허위 알람 수를 줄이기 위해 규칙 변경이 필요할 수 있다[25]. 자주 알람이 발생하는 분석에 대해서는 제어한계, 통제 및 절단한계, 블록크기에 대해 PBRTQC 설정을 재검토하여야 한다[25]. PBRTQC 설정을 주기적으로 검토하는 목적은 오류 감지 민감도를 저하시키지 않으면서 관리 가능한 잘못된 경보 수를 유지하기 위해서이다[25]. Badrick 등[25]은 PBRTQC 검사실 프로토콜의 설계 및 구현시 권장사항을 요약하여 Table 2와 같이 제시하고 있다.

Table 2

Recommendations for design and implementation of PBRTQC laboratory protocols

Subject	Recommendation
Management of PBRTQC settings	When PBRTQC is used, the appropriateness of the settings has to be guarded in a proactive manner to ensure and maintain an acceptable false alarm rate
PBRTQC alarm actions	PBRTQC alarm actions to be considered include: - Stop result reporting from the affected instrument - Move samples to an alternative instrument - Determine whether an analytical error occurred and, if so, determine the size of the error - Initiate troubleshooting protocol
PBRTQC alarm workup	PBRTQC alarm workup steps to be considered are: - Analyze internal quality control - Reanalyze recently measured samples on alternative analyzer - Run external quality control - Review recently obtained results from affected assay
Recovery from PBRTQC alarm	Reset/restart PBRTQC calculations after PBRTQC workup completion

Adapted from the article of Badrick et al. (Clin Chem. 2019;65:962-971) [25] with original copyright holder’s permission.

Abbreviation: PBRTQC, patient-based real-time quality control.

4.환자 기반 정도관리 성능검증 및 종류

1)성능검증

PBRTQC 매개변수에 대한 기본 설정 후에는 현지 검사실 환경을 반영하는 성능검증을 거쳐야 한다[38]. 이는 실제로 PBRTQC를 사용하기 전에 설정을 적절히 구현하고 일상적인 검사가 중단되지 않도록 하기 위한 것이다[38]. 또한 사용자가 익숙해지기 위한 연습뿐 아니라 올바른 소프트웨어 작동 유무를 확인하는 역할도 할 수 있다[38]. 성능검증 결과는 PBRTQC 매개변수를 더욱 구체화하고 검사실의 위험 프로파일 및 운영 요구사항을 반영하여 성능을 최적화하는데 사용될 수 있다[38]. PBRTQC에 대한 약간의 조정은 허용 가능한 것으로 간주될 수 있지만 매개변수의 중요한 변경은 별도의 과거 데이터 세트를 사용한 반복 검증이 필요하다[38]. 최종 선택된 PBRTQC 파라미터는 검증 과정에서 얻은 성능 특성과 함께 문서화되어야 한다[38].

2)성능검증 유형

PBRTQC에 대한 여러 가지 성능 측정 방법이 이전부터 검토되어 왔다[44]. 여기에는 점정력 함수 분석, 총허용오차 검출 확률, 오류 검출 전 영향을 받은 환자 결과의 평균 또는 중앙값 수, 오류검출의 민감도/특이도, 편향 감지 곡선 및 주어진 확률로 오류를 감지하는데 필요한 환자 결과의 수가 포함된다[38]. PBRTQC의 성능검증은 Microsoft Excel과 같은 일반적인 통계 소프트웨어, 인실리코(in silico) 분석, 편향 감지 곡선 및 이동평균 검증 차트와 같은 보다 복잡한 접근 방식을 기반으로 하는 검증 방법이 논의되고 있다[38, 41]. 이러한 접근법은 PBRTQC 설정에 대한 환자 위험 기반 평가(patient risk-based assessment)를 제공하며 현실적인 오류 감지 시뮬레이션을 기반으로 한다[38].

PBRTQC는 분석물에 대한 오류 감지 기능이 뛰어나 실시간 지속적인 정도관리를 통해 환자 위험을 줄일 수 있다[25]. PBRTQC는 기존 정도관리보다 더 복잡할 수 있고 통계적 개념에 대한 이해가 필요하지만 성능이 뛰어나고 비용 효율성이 크다는 장점이 있다[25]. Clinical and Laboratory Standards Institute (CLSI) C24 문서 제 4판에서는 검사실에서 잘못된 결과로 인한 환자 위험을 줄이기 위해 추가적인 내부정도관리 지표의 도입을 권장하고 있다[45]. 또한 Poh 등[46]은 단순이동평균, 가중이동평균, 지수가중이동평균의 세 가지 이동평균 알고리즘이 Westgard 규칙과 비교하여 오류 검출 확률이 더 높다고 보고하였다. 현재 PBRTQC 분야는 급속히 성장하는 단계에 있으나, 소프트웨어 지원이 제한적이고 PBRTQC 프로그램을 구현하기 위해서는 상당한 시간과 통계적 기술이 필요하다[25]. 또한 알고리즘에 따른 데이터 응용 및 적절한 사용의 어려움, 각 검사 항목마다 개별적으로 PBRTQC 적용 절차를 따라야 하는 번거로움이 내재되어 있다. 특히 PBRTQC는 일일 검체 수가 적거나 내부정도관리의 변동계수가 큰 경우 거짓 거부 가능성이 높아진다[32]. 현재 개별 검사실에서는 다양한 PBRTQC 방법에 대한 상대적 강점이나 약점에 대해 증거기반의 문서화된 공식적 지침이 없는 실정이다[47]. 따라서 개별 검사실은 PBRTQC를 실행하기 전에 사용 가능한 PBRTQC 전략과 사용자의 요구와 능력에 맞는 도구를 평가한 후에 진행해야 한다[25]. van Rossum 등[44]은 이동평균에 기반한 PBRTQC 정도관리 절차를 MA Generator (https://www.huvaros.com/) 웹 어플리케이션을 사용하여 최적화 및 검증하였다. 그러나 검사실에는 새로운 데이터가 생성될 때마다 차트에 적용할 수 있는 PBRTQC를 위한 소프트웨어가 부족하기 때문에 엑셀을 제한적으로 사용할 수 밖에 없는 실정이다[34].

본 리뷰에 제시된 개요는 임상검사실에서 PBRTQC를 적용하는데 필요한 지침을 제공하고 내부정도관리 방법으로 PBRTQC을 수용하는데 대한 장벽을 줄이기 위한 것이다. 결론적으로 저자들은 전산 시스템이 체계적으로 갖추어져 있고 대량의 검체를 처리하는 검사실에서 빅데이터를 활용하여 내부정도관리를 보완하는 정도관리 방법으로 PBRTQC를 제안한다[32]. 또한 기존의 통계적 내부정도관리에 한계가 있는 경우 PBRTQC를 추가하여 분석의 품질보증을 향상시키는 목적으로 병행하여 사용하는 것이 효율적이라 판단된다[44].

임상검사실은 질관리 시스템(quality management system)을 구축하여 일정 수준 이상의 질 확보를 위해 노력하여야 한다. 그러나 검사실 환경은 매우 복잡하여 단일 정도관리 절차로는 다양한 유형의 오류를 감지하는데 충분하지 않을 수 있다. 환자 기반 실시간 정도관리(patient-based real-time quality control, PBRTQC)는 테스트 과정을 모니터링하기 위한 검사실 도구로써 Bull’s 알고리즘, 정상치 평균, 이동 중앙값, 이동평균, 지수가중이동평균과 같은 알고리즘이 활용되고 있다. PBRTQC는 저렴한 비용, 교환 가능성, 지속적인 실시간 성능 모니터링, 분석 전 오류에 대한 민감도 등 기존 정도관리에 비해 많은 이점이 있다. 그러나 PBRTQC는 통계 알고리즘의 선택, 적절한 규칙과 프로토콜의 설계, 성능검증 등을 고려해야하므로 구현하기가 쉽지만은 않다. 본 리뷰에서는 PBRTQC의 기본 개념과 방법 및 절차에 대해 설명하였으며, 이를 통해 환자 기반 정도관리 시스템 구현을 위한 지침을 제시하고자 하였다. 이에 기존의 내부정도관리의 성능이 제한적일 경우 PBRTQC 절차를 병용하는 것을 제안하고자 한다. 본 리뷰에서는 임상적 평가는 배제되었으며, 향후 이에 대한 평가가 요구된다.

None

None

None

Lee SM¹, Medical technologists; Shin KA², Professor.

-Conceptualization: Shin KA, Lee SM.

-Data curation: Shin KA, Lee SM.

-Formal analysis: Shin KA, Lee SM.

-Methodology: Shin KA, Lee SM.

-Software: Shin KA, Lee SM.

-Validation: Shin KA, Lee SM.

-Investigation: Shin KA, Lee SM.

-Writing - original draft: Shin KA, Lee SM.

-Writing - review & editing: Shin KA, Lee SM.

This article does not require IRB/IACUC approval because there are no human and animal participants.