생성형 AI 진단 능력, 의사와 비교 가능한가
2025-04-27
우리 생활 속에 AI의 사용 범위는 놀라운 속도로 늘어나고 있다. 의료계 역시 AI 활용에 대해 많은 관심을 두고 있으며 특히 진단에 있어 생성형 AI (generative artificial intelligence)의 활용에 대한 많은 연구 논문이 발표되고 있다.
그러나 연구마다 평가 기준이 다르기 때문에 실제 의료 현장에서 AI를 어느 정도로 활용할 수 있는지, 그리고 의사와 비교했을 때 어떤 장점이 있는지 종합적인 평가가 필요하다.
이를 위해 오사카 메트로폴리탄 대학교 의과대학원의 Hirotaka Takita 박사와 Daiju Ueda 부교수를 비롯한 연구팀이 다양한 의학 전문 분야를 다룬 2018년 6월부터 2024년 6월까지 발표된 83편의 연구 논문을 사용하여 생성형 AI 모델의 진단 능력에 대한 메타 분석을 수행하고 npj Digital Medicine에 그 내용을 발표했다.
분석된 대형 언어 모델(large language models, LLM) 중 연구에 가장 많이 이용된 모델은 ChatGPT (GPT-4, GPT-3.5)였다. 메타 분석에 포함된 의학 분야 중 일반 내과(general medicine)가 27편으로 가장 많았고 방사선과, 안과, 응급학과, 신경학과, 피부과, 이비인후과, 정신과를 비롯한 여러 전문 분야가 포함되었다.
비교 결과, 전문의(expert physician)의 생성형 인공지능보다 15.8% 더 높은 진단 정확도를 가지며 인공지능과 큰 차이를 보였다. 생성형 인공지능의 평균 진단 정확도는 52.1%였으며, 최신 버전의 생성형 인공지능 모델이 일반의(non-expert physician)와 비슷한 수준의 정확도를 보이는 경우도 있었다.
연구진은 생성형 AI의 모델이 아직 전문의 수준의 신뢰도에는 미치지 못하나 한계를 적절히 이해하는 것을 바탕으로 의료 서비스와 의학 교육을 향상시킬 수 있는 잠재력이 있다고 결론 지었다.
Takita 박사는 "AI의 역량을 검증하기 위해서 보다 복잡한 임상 시나리오에서의 평가, 실제 의료 기록을 이용한 성과 평가, AI 의사 결정의 투명성 향상, 다양한 환자 그룹에서의 검증 등 추가 연구가 필요하다고 정리했다.
