전사체 분류기의 AUROC 착시 현상과 샘플 단위 랭크 정규화의 효과

전사체 기반 분류 모델이 교차 검증에서 높은 AUROC를 보여도, 타겟 코호트나 분석 플랫폼이 바뀌면 고정 임계값 기반 판정이 완전히 무너질 수 있다. 후적정(calibration)이나 규제화(regularization) 같은 후처리 방식으로는 이러한 배포 시점의 임계값 붕괴(threshold collapse) 문제를 해결하기 어렵다. 본 연구는 패혈증 전사체 데이터셋 4개를 활용해 전처리 정규화 방식이 외부 코호트 적용 안정성에 미치는 영향을 검증했다.

무엇을 했나

• GEO의 전혈 전사체 데이터셋 4개(학습용, 마이크로아레이 검증용, RNA-seq 교차 플랫폼 검증용, 비감염성 염증 대조용)를 대상으로 로지스틱 회귀 파이프라인을 구축했다.
• 학습 데이터 기준 스케일링, 샘플 단위 랭크(sample-wise rank) 정규화, 외부 코호트 분포 기반 비지도 적응 등 4가지 전처리 전략을 비교했다.
• 학습 데이터 기준 스케일링 방식은 RNA-seq 외부 검증 시 AUROC는 높았으나 0.5 임계값 기준 균형 정확도(Balanced Accuracy)가 0.50으로 급락해 무작위 분류와 다름없는 결과를 보였다.
• 반면 엄격한 귀납적 방식인 샘플 단위 랭크 정규화는 외부 코호트 및 플랫폼이 바뀌어도 고정 임계값 균형 정확도를 0.95~1.00으로 유지했다.

왜 눈여겨볼 만한가

bulk RNA-seq나 마이크로아레이 기반 진단 바이오마커를 임상 제품으로 전환할 때 AUROC 지표만 신뢰해서는 안 됨을 보여준다. 타겟 코호트의 통계량을 활용하는 비지도 적응 방식은 외부 기준 샘플 수급이 전제되어야 하지만, 단일 샘플 단위의 즉각적인 검사가 필요한 임상 현장에서는 샘플 단위 랭크 정규화가 유용한 전처리 대안이 될 수 있다. 다만 감염성과 비감염성 염증을 구분하는 스트레스 조건에서는 성능 변동성이 존재하므로 고위험군 임상 적용 시에는 주의 깊은 임계값 재검증이 필요하다.

원문

• PloS one · DOI 10.1371/journal.pone.0357585