개 파보바이러스(canine parvovirus type 2, CPV-2)와 코로나바이러스(canine coronavirus, CCoV)는 개에서 급성 위장관염을 일으키는 주요 병원체이다[1, 2]. 두 바이러스는 전염력과 이환율이 높고, 전 연령이 감염 감수성을 갖지만 6주∼6개월 미만의 강아지, 면역 결핍 및 백신 미접종일 경우는 더욱 취약하다[3-5]. 감염은 대변-구강경로로 이뤄지고, 직접 전파 또는 대변에 오염된 매개물로 인해 빠르게 전파된다[3, 6]. CPV-2와 CCoV의 중복 감염은 흔하지만 단일 감염보다 치명적이다[1, 2]. 바이러스의 타깃(target) 세포가 각각 소장의 음와(crypt) 세포와 융모 세포인데 중복 감염 시 소장의 세포교체주기가 손상되기 때문이다[2, 3, 7]. 세균감염증과는 달리 바이러스감염증은 특정한 치료법이 없어 신속하고 정확한 진단이 더욱 더 중요하다[3, 7-9].
CPV-2와 CCoV 진단을 위한 검사법은 전자현미경적검사, 바이러스배양법, 핵산증폭법 등이 있다[6, 8]. 핵산증폭법인 중합효소 연쇄반응(polymerase chain reaction, PCR)과 역전사 PCR (reverse transcription PCR, RT-PCR)은 각각 디옥시리보핵산(deoxyribonucleic acid, DNA) 바이러스인 CPV-2와 리보핵산(ribonucleic acid, RNA) 바이러스인 CCoV의 표준 검사법(reference method)이다[4, 6]. 민감도와 정확도는 높지만 긴 검사소요시간과 고가의 장비 및 전문 인력을 필요로 한다[6, 10]. 신속진단키트(rapid diagnostic test, RDT)는 간편하고, 경제적이며 검사소요시간이 짧은 검사법이다[8, 10]. 즉각적인 의사결정 및 조치를 취할 수 있어 핵산증폭법과는 달리 일선 진료현장에서 널리 활용되고 있다[8-11].
동물용 RDT 시장은 반려동물 수의 증가, 인수공통감염병의 발생, 동물성 식품의 소비가 증가할수록 더욱 성장할 것으로 예측된다[11, 12]. 하지만 농림축산검역본부의 설문조사에 따르면 동물용 의료기기 등은 기기에 대한 정보 부족(48%), 검사 결과(21%) 및 기기의 품질(3%)에 대한 신뢰도가 낮은 것으로 드러났다[13].
현재 CCoV RDT 성능평가에 대한 연구는 CPV-2 RDT에 대한 연구보다 적고, 두 바이러스를 동시 검출하는 CPV-2/CCoV RDT에 대한 연구는 거의 없는 상황이다. RDT의 민감도는 핵산증폭법보다 낮고, 제품간 차이가 지속적인 한계점으로 제시되고 있어 동물용 RDT의 임상적 유용성은 더욱 확인할 필요가 있다[4, 8, 10, 14]. 따라서 본 연구는 CPV-2/CCoV RDT의 성능평가를 통해 CPV-2와 CCoV 진단에 대한 RDT의 임상적 유용성을 확인하고자 하였다.
연구에 사용된 바이러스주는 American Type Culture Collection (Manassas, VA, USA)에서 분양받았다. CPV-2 (VR-953, 2.0×105 50% tissue culture infectious dose [TCID50]/mL)와 CCoV (VR-2068, 2.5×105 TCID50/mL)는 최소검출한계(limit of detection, LoD), 교차반응, 간섭반응에 사용되었다. CCoV (VR-809, 106.5 TCID50/mL)는 CCoV spiking 검체 제조에 사용되었다. 교차반응에는 canine distemper virus (CDV), bovine parvovirus (BPV), porcine parvovirus (PPV), canine parainfluenza virus (CPIV), canine adenovirus type 1 (CAV-1), CAV-2, canine herpesvirus (CHV), Escherichiacoli (E. coli), Salmonella Paratyphi (S. Paratyphi)가 사용되었다. 사용된 농도는 바이러스 5.0×103 TCID50/mL, 세균 108 colony forming unit (CFU)/mL이다. 간섭물질로는 혈액(1%), 빌리루빈(342 μM, Sigma-Aldrich, St. Louis, MO, USA), 지질(1.5 mg/mL, Sigma-Aldrich), 콜레스테롤(500 mg/dL, Sigma-Aldrich) 이 사용되었다.
2018년 5월부터 11월까지 전라북도 전주, 익산, 군산, 부안, 경기도 용인 등 5개 지역의 동물병원에서 CPV-2, CCoV 증상으로 내원하여 양성으로 판정된 개 60마리(CPV-2 50마리, CCoV 10마리)와 음성으로 판정된 90마리의 분변을 수집하였다. 이 중 음성인 40마리의 분변은 CCoV spiking에 사용되었다.
4% 포르말린을 사용해 0.1% 농도로 불활성화시킨 CCoV를 키트에 제공된 완충액에 1/5, 1/10 비율로 총 500 μL가 되도록 희석하였다. 그리고 냉동 상태의 음성 분변을 해동하여 면봉으로 분변의 표면과 내부를 문지른 후 희석된 용액에 섞어 사용하였다.
한 스트립에서 CPV-2와 CCoV를 동시 검출하는 CCV/CPV Ag test (Genbody, Cheonan, Korea)를 사용하였다. 사용법은 제조사의 설명서를 준수하였다. 검사 전 냉동 상태의 분변을 실온에 15∼30분 둔 다음 키트에 들어있는 면봉으로 분변의 표면과 내부를 폭넓게 문질러 1 mL의 완충액에 넣고, 분변과 완충액을 잘 섞이게 하였다. 희석된 검체 4방울(약 100 μL)을 검체 적하부에 떨어뜨리고, 10분 후 결과를 판독하였다. 적색 밴드가 대조선(C)만 나타나면 음성, 검사선 1과 대조선(C)에 나타나면 CPV-2 양성, 검사선 2와 대조선(C)에 나타나면 CCoV 양성으로 판독한다. 대조선(C)에 밴드가 나타나지 않으면 재검사를 실시하였다.
임상 검체는 검사 15∼30분 전에 실온 해동하였다. 면봉으로 채취한 분변을 600 μL 인산완충액(phosphate buffered saline, PBS)에 넣고, 10분간 볼텍싱(vortexing)한 후 3,000 rpm에서 15분 동안 원심 분리하였다. 상층액 200 μL를 QIAamp cador pathogen mini kit (Qiagen, Germany)를 사용하여 핵산 추출하였다. PCR은 HelixAmpTM direct PCR [3G] (Nanohelix, Daejeon, Korea)을 사용하였고, primer (Cosmogenetech, Seoul, Korea)는 10 pmol/μL 농도로 희석하여 사용하였다(Table 1). PCR은 50℃ 5분, 95℃ 5분의 초기 변성(pre-denaturation) 후, 95℃ 20초 변성(denaturation), 53℃ 30초 결합(annealing), 72℃ 1분 신장(extension)을 35회 반복, 72℃에서 5분간 후기 신장(post-extension)을 한다. PCR 결과는 전기영동 후 583 bp에서 밴드가 나오면 CPV-2 양성으로 판정하였다. 상보적 DNA (complementary deoxyribonucleic acid, cDNA) 합성은 TOPscriptTM cDNA synthesis kit (Enzynomics, Daejeon, Korea)를 사용하였다. PCR은 합성된 cDNA로 HelixAmpTM direct PCR [3G] (Nanohelix, Daejeon, Korea)을 사용하여 실시하였다(Table 1). RT-PCR 결과는 전기영동 후 409 bp에서 밴드가 확인되면 CCoV 양성으로 판정하였다.
Primer sequences used for PCR and RT-PCR
Primer | Sequences (5′→3′) | |
---|---|---|
CPV-2 | Forward | 5’-CAG GAA GAT ATC CAG AAG GA-3’ |
Reverse | 5’-GGT GCT AGT TGA TAT GTA ATA AAC A-3’ | |
CCoV | cDNA (reverse) | 5’-TCT GTT GAG TAA TCA CCA GCT-3’ |
Forward | 5’-TCC AGA TAT GTA ATG TTC GG-3’ | |
Reverse | 5’-TCT GTT GAG TAA TCA CCA GCT-3’ |
Abbreviations: PCR, polymerase chain reaction; RT-PCR, reverse transcription PCR; CPV-2, canine parvovirus type 2; CCoV, canine coronavirus; cDNA, complementary deoxyribonucleic acid.
LoD는 측정 가능한 가장 낮은 농도로, 특정 물질을 검출하는 능력을 이용해 RDT의 타당성을 확인하는 항목이다. 실험은 Clinical and Laboratory Standards Institute (CLSI) EP17-A를 참고하여 역가가 확인된 CPV-2와 CCoV를 키트에 제공된 완충액으로 단계 희석(2-fold serial dilution)하여 2회 반복측정하였다[15]. 그리고 육안으로 더 이상 양성 반응을 보이지 않는 농도부터 다섯 단계 위까지는 3일간 1일 1회, 1회 측정 시 20회 반복측정하여 95% 이상이 양성으로 보이는 농도를 RDT의 LoD로 설정하였다. 농도는 소수점 이하 둘째 자리에서 반올림하여 첫째 자리까지 표기하였다.
교차반응은 CPV-2, CCoV와 비슷한 구조를 가지거나 유사한 증상을 보이는 병원체 9종에 대한 교차반응성을 확인하는 항목이다. 실험은 1일 1회, 동일 로트의 키트로 3회 반복측정하였다. 결과 판정법에 따라 음성으로 확인되면 교차반응이 없는 것으로 보았다. 간섭은 생리학적으로 검체에 포함될 수 있는 혈액, 빌리루빈, 지질 및 콜레스테롤이 결과에 영향을 끼치는지 확인하는 항목이다. 실험은 CLSI EP7-A2를 참고하였다[16]. 실험에는 음성표준물질은 PBS, 저농도 양성표준물질은 LoD 측정실험에서 육안으로 명확히 확인되는 가장 낮은 농도인 CPV-2 1.6×103 TCID50/mL, CCoV 3.9×103 TCID50/mL가 사용되었다. 실험은 1일 1회, 동일 로트의 키트로 3회 반복측정하였다. 간섭물질이 포함되지 않은 대조군과 포함된 실험군의 결과를 비교하여 차이가 없으면 간섭이 일어나지 않았다고 보았다.
민감도(sensitivity), 특이도(specificity), 우도비(likelihood ratio, LR)는 검사법의 정확도를 평가하는 항목이다. 카파통계량(kappa value, κ)과 95% 신뢰구간(95% confidence interval [CI])은 각각 상용화된 통계프로그램인 GraphPad Software (San Diego, CA, USA)와 MedCalc Software Diagnostic test evaluation calculator version 20.019 (Ostend, Belgium)을 이용하였다.
표준물질을 단계 희석한 후 육안으로 양성 반응을 보이지 않는 농도는 CPV-2 4.9×10 TCID50/mL, CCoV 1.2×102 TCID50/mL이다. 이 농도부터 5단계 위 농도인 CPV-2 7.8×102 TCID50/mL, CCoV 2.0×103 TCID50/mL까지는 1일 20회, 3일간 반복측정하였다. 두 바이러스 모두 반복측정 시 동일한 결과를 보였다. 최종적으로 CPV-2 검출에 대한 RDT의 LoD는 9.7×10 TCID50/mL, CCoV 검출에 대한 RDT의 LoD는 2.5×102 TCID50/mL로 확인되었다(Tables 2, 3).
Limit of detection of rapid diagnostic test for CPV-2 and CCoV
CPV-2 | CCoV | |||||
---|---|---|---|---|---|---|
Concentration (TCID50/mL) | Test 1 | Test 2 | Concentration (TCID50/mL) | Test 1 | Test 2 | |
2.0×105 | Pos | Pos | 2.0×105 | Pos | Pos | |
1.0×105 | Pos | Pos | 1.3×105 | Pos | Pos | |
5.0×104 | Pos | Pos | 6.3×104 | Pos | Pos | |
2.5×104 | Pos | Pos | 3.1×104 | Pos | Pos | |
1.3×104 | Pos | Pos | 1.6×104 | Pos | Pos | |
6.2×103 | Pos | Pos | 7.9×103 | Pos | Pos | |
3.1×103 | Pos | Pos | 3.9×103 | Pos | Pos | |
1.6×103 | Pos | Pos | 2.0×103 | Pos | Pos | |
7.8×102 | Pos | Pos | 9.8×102 | Pos | Pos | |
3.9×102 | Pos | Pos | 4.9×102 | Pos | Pos | |
1.9×102 | Pos | Pos | 2.5×102 | W+ | W+ | |
9.7×10 | W+ | W+ | 1.2×102 | Neg | Neg | |
4.9×10 | Neg | Neg | - | -· | -· |
Abbreviations: CPV-2, canine parvovirus type 2; CCoV, canine coronavirus; TCID50, 50% tissue culture infectious dose; Pos, positive; Neg, negative; W+, weakly positive.
Measurement of five concentrations to confirm the limit of detection for CPV-2 and CCoV
CPV-2 | CCoV | |||||||
---|---|---|---|---|---|---|---|---|
Concentration (TCID50/mL) | Day 1 | Day 2 | Day 3 | Concentration (TCID50/mL) | Day 1 | Day 2 | Day 3 | |
7.8×102 | Pos (20/20) | Pos (20/20) | Pos (20/20) | 2.0×103 | Pos (20/20) | Pos (20/20) | Pos (20/20) | |
3.9×102 | Pos (20/20) | Pos (20/20) | Pos (20/20) | 9.8×102 | Pos (20/20) | Pos (20/20) | Pos (20/20) | |
1.9×102 | Pos (20/20) | Pos (20/20) | Pos (20/20) | 4.9×102 | Pos (20/20) | Pos (20/20) | Pos (20/20) | |
9.7×10 | W+ (20/20) | W+ (20/20) | W+ (20/20) | 2.5×102 | W+ (20/20) | W+ (20/20) | W+ (20/20) | |
4.9×10 | Neg (20/20) | Neg (20/20) | Neg (20/20) | 1.2×102 | Neg (20/20) | Neg (20/20) | Neg (20/20) |
Results were repeated 20 times per day for 3 days.
Abbreviations: See Table 2.
CPV-2 및 CCoV와 비슷한 구조 또는 유사한 증상을 보이는 CDV, BPV, PPV, CPIV, CAV-1, CAV-2, CHV, E. coli, S. Paratyphi 등 병원체 9종에 의한 교차반응은 일어나지 않았다(Table 4). 간섭물질인 혈액, 빌리루빈, 지질 및 콜레스테롤 등은 CPV-2 및 CCoV의 검출에 간섭을 일으키지 않았다(Table 5).
Cross-reactivity of rapid diagnostic test for CPV-2 and CCoV
CDV | BPV | PPV | CPIV | CAV-1 | CAV-2 | CHV | E. coli | S. Paratyphi | |
---|---|---|---|---|---|---|---|---|---|
CPV-2 | Neg | Neg | Neg | Neg | Neg | Neg | Neg | Neg | Neg |
CCoV | Neg | Neg | Neg | Neg | Neg | Neg | Neg | Neg | Neg |
Abbreviations: CPV-2, canine parvovirus type 2; CCoV, canine coronavirus; CDV, canine distemper virus; BPV, bovine parvovirus; PPV, porcine parvovirus; CPIV, canine parainfluenza virus; CAV-1, canine adenovirus type 1; CAV-2, canine adenovirus type 2; CHV, canine herpesvirus; E. coli, Escherichia coli; S. Paratyphi, Salmonella Paratyphi; Pos, positive; Neg, negative.
Interference of rapid diagnostic test for CPV-2 and CCoV
Whole blood | Bilirubin | Lipid | Cholesterol | ||||||||
---|---|---|---|---|---|---|---|---|---|---|---|
+ | ‒ | + | ‒ | + | ‒ | + | ‒ | ||||
PBS | Neg | Neg | Neg | Neg | Neg | Neg | Neg | Neg | |||
CPV-2 | Pos | Pos | Pos | Pos | Pos | Pos | Pos | Pos | |||
CCoV | Pos | Pos | Pos | Pos | Pos | Pos | Pos | Pos |
Abbreviations: CPV-2, canine parvovirus type 2; CCoV, canine coronavirus; PBS, phosphate buffered saline; +, including interference materials; ‒, excluding interference materials; Pos, positive; Neg, negative.
CPV-2 검출에 대한 RDT의 민감도는 PCR 양성 50개 중 45개가 RDT 양성으로 검출되어 90.0% (95% CI, 78.1∼96.7), 특이도는 PCR 음성 50개 모두 음성으로 검출되어 100.0% (95% CI, 92.9∼100.0)이다. CCoV 검출에 대한 RDT의 민감도는 spiking 검체를 포함하여 RT-PCR 양성 50개 중 45개가 RDT 양성으로 90.0% (95% CI, 78.1∼96.7), 특이도는 RT-PCR 음성 50개 모두 음성으로 100.0% (95% CI, 92.9∼100.0)이다. 두 바이러스 모두 음성우도비(negative likelihood ratio, NLR)은 0.1 (95% CI, 0.04∼0.23), κ은 0.90 (95% CI, 0.81∼0.99)으로 나타났다(Table 6).
Comparison of diagnosis results for CPV-2 and CCoV from RDT with PCR and RT-PCR
CPV-2/CCoV | PCR/RT-PCR | Total | |
---|---|---|---|
Positive | Negative | ||
RDT | |||
Positive | 45 | 0 | 45 |
Negative | 5 | 50 | 55 |
Total | 50 | 50 | 100 |
Abbreviations: CPV-2, canine parvovirus type 2; CCoV, canine coronavirus; PCR, polymerase chain reaction; RT-PCR, reverse-transcription polymerase chain reaction; RDT, rapid diagnostic test.
Sensitivity (%)=45/(45+5)×100=45/50×100=90.0
Specificity (%)=50/(0+50)×100=50/50×100=100.0
1인 가구 증가 및 고령화 등으로 인해 전 세계적으로 반려동물 보유 가구가 증가하면서 반려동물의 건강에 대한 관심도 높아지고 있다[17]. 개는 반려동물 중 가장 많은 비율을 차지하고[12], 개의 내원과 사망의 주된 원인은 소화기 질환이다[18, 19]. 소화기 질환 증상인 설사와 구토는 3세 이하에서 특히 많으며[18], 설사는 심한 탈수로 사망에 이르게 할 수 있어 치료를 위한 원인 병원체 감별이 중요하다[1, 3]. CPV-2와 CCoV는 설사와 유의한 관계에 있는 급성 위장관염의 주요 병원체로[1, 2], 본 연구는 CPV-2/CCoV 진단을 위한 RDT의 임상적 유용성을 확인하는데 의의가 있다.
이전에 보고된 연구에 따르면 임상 검체에서 CPV-2는 약 106 TCID50/mL [20], CCoV는 1×106 TCID50/mL 역가의 바이러스가 검출되었다[21]. 검체 채취 방법이나 질병의 진행단계에 따라 소량의 바이러스는 검출이 어렵지만[22, 23] LoD 평가결과 임상 검체의 역가 수준은 충분히 검출이 가능하다고 생각된다.
한 스트립에서 둘 이상의 바이러스를 검출할 수 있는 RDT는 단일 바이러스 검출 RDT보다 검사에 필요한 검체의 양, 비용, 시간 등에서 경제적이고, 효율적이다[24, 25]. 하지만 한 스트립 내에 대조선을 제외한 검사선이 둘 이상 존재하고, 항원-항체반응을 이용하기 때문에 검사선 사이의 거리가 좁으면 교차반응 및 간섭이 잠재적인 문제점이 될 수 있다[24, 25]. 본 연구에서는 LoD 실험 시 고농도의 CPV-2와 CCoV를 사용했음에도 불구하고, 두 바이러스 사이의 교차반응은 관찰되지 않았다. 이러한 결과는 검출하고자 하는 바이러스 항원에 특이적인 항체를 사용했기 때문에 병원체 9종을 비롯해 CPV-2와 CCoV 상호 간의 교차반응 또한 보이지 않는 것으로 생각된다.
RDT의 결과는 육안 확인을 위해 다량의 항원이 필요하기 때문에 장내 항체에 의해 바이러스가 제거되거나 설사로 바이러스가 희석되는 등 체내 면역반응의 영향을 받을 수 있다[10, 22]. 이와 달리 PCR과 RT-PCR은 핵산 증폭 원리를 이용하기 때문에 미량의 핵산 검출이 가능하고[14], 바이러스 감염 세포의 경우 해당 바이러스의 핵산을 가질 수 있어 상대적으로 핵산증폭법의 민감도가 RDT보다 높은 편이다[22]. 핵산증폭법과 RDT를 비교 평가한 여러 연구 결과에 따르면 CPV-2 RDT는 민감도 22.2%∼95.4%, 특이도 71.4%∼100.0% [8-10], CCoV RDT는 민감도 93.1% (95% CI, 83.3∼98.1), 특이도 97.5% (95% CI, 92.9∼99.5)를 보였다[26]. RDT에 사용된 항체에 따른 항원-항체 결합력의 차이가 RDT의 민감도에 영향을 미친 것으로 생각된다[27].
LR은 유병률에 영향을 받지 않고, 검사법의 정확도를 나타내는 통계량이다[9, 28]. NLR은 0.1 미만이면 검사법이 매우 유용하고, 0.5 초과면 검사법의 유용성이 떨어진다고 본다[8, 9]. 본 연구의 RDT는 NLR이 0.1이므로 좋은 수행능력을 가진 것으로 보인다. 양성우도비(positive LR, PLR)는 10 초과면 검사법이 매우 유용하고, 2 미만이면 유용성이 떨어진다고 보지만 본 연구에 사용된 RDT는 특이도 100%이기 때문에 분모가 0 이 되므로 PLR은 계산할 수 없다[8, 9]. κ는 두 검사법 간의 일치도를 측정하는 통계량으로 일반적으로 0.60 이상이면 좋은 일치도를 뜻한다[8, 9, 29]. 이전 연구들에 따르면 CPV-2 RDT의 경우 PLR 0∼10.18, NLR 0.07∼0.78, κ=0.03∼0.67 [8-10], CCoV RDT의 경우 PLR 37.2 (95% CI, 12.26∼15.05), NLR 0.07 (95% CI, 0.03∼0.18), κ=0.91 (95% CI, 0.85∼0.98)을 보였다[26].
결론적으로 Genbody CCV/CPV RDT는 두 바이러스의 검출에 있어 높은 민감도, 특이도, κ와 낮은 NLR 등을 보였으므로 환축의 조기 발견 및 후속 조치를 위한 선별검사로써 유용할 것으로 판단된다.
그러나 본 연구에는 몇 가지 제한점이 있다. 첫째, CCoV 양성 검체의 부족으로 spiking 검체를 포함하여 평가하였다. 임상 검체의 수가 부족할 경우 spiking 검체를 사용하여 성능 평가를 진행할 수 있지만[30] 검체의 수가 충분한 연구가 필요할 것으로 생각된다. 둘째, 평가에 사용된 임상 검체의 바이러스 역가가 확인되지 않았다. 다양한 진행 단계와 역가가 확인된 검체를 활용한 연구가 진행되면 신뢰도 확보에 더욱 유용할 것으로 생각된다.
개 파보바이러스(canine parvovirus type 2, CPV-2)와 코로나바이러스(canine coronavirus, CCoV)는 개에서 위장관염을 일으키는 주요 병원체이다. 두 바이러스는 전염성과 이환율이 높고 특정한 치료법이 없어 신속 정확한 진단이 필요하다. 동물용 신속진단키트 (rapid diagnostic test, RDT)는 빠르고, 간편하여 진료현장에서 널리 활용되고 있다. 이에 본 연구에서는 성능평가를 통해 CPV-2/CCoV RDT의 임상적 유용성을 확인하고자 하였다. 성능평가 항목으로 최소검출한계(limit of detection, LoD), 교차반응, 간섭, 민감도, 특이도, 음성우도비(negative likelihood ratio, NLR), 카파통계량(kappa value, κ) 등을 확인하였다. 성능평가 결과, LoD는 CPV-2 9.7×10 50% tissue culture infections dose (TCID50)/mL, CCoV 2.5×102 TCID50/mL로 나타났다. 병원체 9종에 의한 교차반응과 간섭물질에 대한 간섭은 관찰되지 않았다. RDT는 두 바이러스의 검출에 있어 민감도 90.0%, 특이도 100.0%, NLR=0.1, κ=0.90으로 나타났다. 결론적으로 CPV-2/CCoV RDT는 높은 민감도, 특이도, κ와 낮은 NLR을 보여 선별검사로써 유용할 것으로 생각된다.
This article is a revision of the first author’s master’s thesis.
None
Min C1,†, M.T.; Kim WS2,†, Professor; Chong CK3, Researcher; Lim Y1, Professor.