中国四川省成都市の成都高新海爾森医院で6月30日、AI 医師と人間の医師の一致性評価が行われた。
当日は、多くの患者がAI 医師無料問診申請処から問診室まで並んで待っていた。問診室には循環器内科や泌尿器科、整形外科など7つの診療科・部門と8つの問診台があった。各問診台には1人のアシスタントがつき、患者の症状をテキストで「AI 医師」のMedGPTに伝えた。人間の医師も問診システムで患者の情報を同時に得た。
今回のAI 医師無料問診イベントの主催者である医連（Medlinker）のスタッフは「MedGPTの評価結果の真実性を保証するため、人間の医師は患者と対面による問診を行わなかった。今回の評価は決してAIと人間の競争ではない。MedGPTを開発した目的は、将来このAI 医師を医師の問診のサポート役として用いるためで、MedGPTは主に患者の頭痛や発熱など、最初の診察の問題を解決し、患者が罹患している可能性のある病気を判断する手助けとなる。また患者はMedGPTにより、自身の症状や治療期間中の対処法などを知ることができる」と説明した。
北京大学人民医院、中日友好医院、友誼医院、阜外医院の7人の専門家・教授が6月30日夜、患者91人のカルテの審査・チェックを行った。そしてMedGPTの問診、診断、治療案、補助検査案、データ分析正確度、情報提供、自然言語問診とインタラクションの評価項目について採点した。
最終的な評価結果によると、人間の医師の総合得点は7.5で、MedGPTは7.2だった。MedGPTと四川大学華西医院の主治医の得点の一致性は96％に達した。
北京大学人民医院整形外科主任医師の薛峰氏は「AI 医師の問診結果は全体的に好感触で、その説明内容は詳細かつ正確だ。人間の医師は問診中、患者との対話が少なく、患者に提供する情報が少ない。例えばAI 医師は女性の患者に生理日や妊娠期間などを尋ねたが、人間の整形外科医はあまり尋ねなかった」と述べた。さらに「整形外科医の問診で最も重要になるのは患者の骨の問題に関する検査だが、AI 医師のMedGPTはそれができず、人間の医師が必要になる」と指摘した。
中日友好医院呼吸器科主任医師の劉国梁氏は「AI 医師は罹患の可能性と誘因を想定でき、薬物アレルギーなどの各方面も考慮できる。これは人間の医師の知識構造の補足とサポートに役立つ。しかしAI 医師は検査項目の推薦が重複しやすく、一部の検査項目は不要な場合がある」と述べた。
主催者の職員は「MedGPTは現時点で3000種余りの一般的な病気の問診が可能だ。年内に第1段階のテストを完了すると、その問診可能な種類がさらに増加するだろう」と語った。