AI가 인간 의사를 이겼다!! 정말로??

오랜만입니다. @parkhs입니다.

지난 글에서는 AI 이미지판독의 의료도입에 대해서 부정적으로 적은 듯 한데요.

사실 AI는 의료이미지를 인식해서 종양을 찾거나 암세포를 찾아내는 등의 단일 작업에서 이미 인간전문가와 동등하거나 그 이상의 성능을 보여주고 있습니다. 성능자체가 떨어지는 것은 아닙니다.

AI를 이용한 판독시스템의 특징을 잘 드러내는 연구결과가 있습니다. 'Detecting Cancer Metastases on Gigapixel Pathology Images'입니다. AI를 이용해서 암세포의 림프절 전이를 찾아내는 내용인데 결과가 얼핏보면 충격적입니다. AI가 92.4%의 암세포를 찾아낸 반면, 인간은 73.2%의 암세포만을 찾아내었습니다. 인간전문가들을 압도하는 성적입니다.

그래서 다음과 같은 제목의 기사가 나기도 했습니다.

'Google AI Just Beat Human Pathologists at Detecting Cancer'

그런데 고작 73%?? 병원에서 검사했는데 환자 10명중 3명에서 암을 놓치면 매우 큰일입니다. 하지만 이 수치는 실험조건을 자세히 들여다보면 그럴만 합니다. 조직슬라이드를 스캔했을때 그 크기는 10만 X 10만 픽셀에 달합니다. 그 거대한 이미지에서 암세포를 하나하나 모두 골라내어야 100%인 것이지요.

실제로는 슬라이드에서 (림프절에) 암세포덩어리를 하나 찾아냈다면 그 근처의 한 두 개의 암세포, 그것도 암세포인지 아닌지 애매한 것들까지 암세포로 표시하기 위해 시간을 들일 필요는 없습니다. 이미 (해당 림프절의) 전이가 확인되었으니까요. 이 연구에서는 AI의 성능을 비교하기 위해서 실제 현장에서는 적용하기 어려운 기준을 사용한 것입니다.

이 연구에 참여한 인간전문가들도 마찬가지 였을 겁니다. 확실한 암세포덩어리를 발견한 슬라이드에서는 상대적으로 애매한 것들, 특히 한 두개 씩 흩어져 있는 것들까지 집중해서 시간을 들여서 고민하지 않았을 겁니다. 게다가 실제 상황도 아니고 연구용 상황에 많은 시간을 들이기에는 너무 바쁜 사람들이니까요...

확실한 암세포가 발견되지 않은 슬라이드에서 애매한 세포 한 두개는 상당한 고민을 하게 만듭니다. 그래도 슬라이드 한 장만을 몇 시간씩 들여다 볼 수는 없는 노릇입니다. 봐야할 다른 슬라이드도 많이 있기 때문이지요. 이렇다보니 환자에게는 좋은 일이지만 아무리 찾아봐도 암세포가 나오지 않는 경우는 불안합니다. 혹시나 놓친게 있을까봐요.

여기서 AI의 장점이 드러납니다. AI는 지치지도 않고 매우 많은 양의 픽셀을 매우 빠른 속도로 하나하나 들여다 볼 수있습니다. 그러다보니 인간전문가보다 더 민감하게 발견할 수 있는 것이지요.

그러나 이러한 높은 민감도(실제 암세포를 암세포라고 판독)는 특이도(실제 암세포가 아닌 것을 암세포가 아니라고 판독)를 어느 정도 희생하고 얻어낸 것입니다. 조금만 이상한 세포도 암세포로 판독하면 암세포를 100% 넘게 찾아낼 수 있습니다. 그 중에 수많은 암세포가 아닌 정상세포도 암세포로 판독이 되었을 테지만 말입니다.
이 연구에서도 슬라이드 하나당 8개 까지 암세포가 아닌 것을 암세포라고 판단하는(False Positive) 정도를 용인하는 수준의 판단기준을 적용해서 얻어졌습니다.

그런데 만약 실제 병원에서 AI가 모든 판단을 내린다면 어떨까요? AI가 암세포가 아닌 것을 암세포로 판단했고 그것 때문에 문제가 생겼다면 책임은 누가 져야 할까요? 완벽한 AI를 만들 수 있을까요? False Positive를 없애기 위해서 판단 기준을 대폭 올린다면 암세포인 것을 아니라고 하는 경우도 발생할 것입니다. 그 경우는 더 큰 문제가 되지요.

이러한 점을 이용해서 민감도가 높은 AI를 이용해서 인간이 판독하기 전에 비정상인것 같은 부분을 먼저 골라주는 스크리닝 작업을 하고 인간 의사가 최종 확인하거나 최종 판단을 내리는 것이 현재로는 가장 이상적인 방법일 것 입니다.