がんに関する質問へのAIの回答は信頼できるのか

提供元：HealthDay News

公開日：2023/09/28

　人工知能（AI）は、特にがん治療に関しては、必ずしも正確な健康情報を提供するわけではない可能性が、2件の研究で示唆された。これらの研究は、がん治療に関するさまざまな質問に対してAIチャットボットが提供する回答の質を検討したもので、両研究とも「JAMA Oncology」に8月24日掲載された。

　1件目の研究は、米ブリガム・アンド・ウイメンズ病院および米ハーバード大学ダナファーバーがん研究所のDanielle Bitterman氏らが実施したもので、2022年11月に発表されたChatGPTに焦点を当てたもの。研究グループは、ゼロショットプロンプティング（あらかじめ情報を伝えずに直接質問を提示すること）のテンプレートを4種類作成し、これを用いて、がん（乳がん、前立腺がん、肺がん）の診断に関する26種類の記述（がん種、がんの進展度などの情報を伴う場合と伴わない場合あり）に対して、計104個の質問を作成した。ChatGPTは2021年9月までの情報に基づくものであるため、ChatGPTの出した回答は、2021年の全米総合がんセンターネットワーク（NCCN）ガイドラインと照合して、「治療法はいくつ提示されたか」などの5つの基準で評価し、4人のがん専門医のうちの3人の評価が一致した場合を、ガイドラインとChatGPTによる評価が一致したと見なした。

　その結果、104個の質問に対するスコア（520点満点）のうちの61.9％（322点）で、3人のがん専門医の評価が一致していたが、残りは一致していないことが示された。Bitterman氏は、「いくつかの推奨内容は、明らかに間違っていた。例えば、不治の病であるにもかかわらず、根治的治療を勧めているようなケースが認められた」と述べている。また、標準治療の中には放射線療法や化学療法も含まれるのに、ChatGPTは手術だけを勧めているなど、より微妙な回答例も確認された。Bitterman氏は、「正しい情報の中に誤った情報が混じっている確率が高いため、特に専門家でも誤りを見つけるのは非常に難しかった」と述べている。

　2件目の研究は、米ニューヨーク州立ダウンステートヘルスサイエンス大学のAbdo Kabarriti氏らが実施したもので、ChatGPT、Perplexity、Chatsonic、Bing（Microsoft Bing）の精度について評価が行われた。これらのAIチャットボットに、皮膚がん、肺がん、乳がん、前立腺がん、大腸がんに関して最も頻繁に検索エンジンにかけられている質問を尋ねた。回答内容は、検証された評価ツールであるDISCERNを用い、消費者向けの健康情報の質を1（低い）〜5（高い）で評価した。また、Patient Education Materials Assessment Tool（PEMAT）を使用して、情報の理解可能性と実行可能性（0〜100％、高いほど理解のしやすさと実施できる可能性が高い）の評価を行った。

　その結果、4つのチャットボットが生成した100個の回答の質は「良い」と評価され〔DISCERNスコア中央値5（範囲2〜5）点〕、誤情報は含まれていないことが確認された。理解可能性は66.7％と中程度であったが、実行可能性は20.0％と低かった。また、どの回答も、「患者は、医師に相談することなく、提供されたデータに基づいて医療上の決定を下すべきではない」という包括的な警告を伴っていた。

　Kabarriti氏は、「われわれが最も心配していた誤情報がほぼ含まれていなかった点は心強い。しかし、AIチャットボットが提供した情報は、正確ではあったが、一般の人が読んで理解できる内容ではなかった」と話している。同氏は、AIチャットボットは大学生の読解レベルの情報を提供するのに対して、平均的な消費者の読解レベルは小学6年生程度だと説明する。

　Kabarriti氏はさらに、AIチャットボットが多くのがん患者をいら立たせ得る別の要因は、がんの症状に対して何をすべきかを教えてくれない点だと指摘する。「AIはただ、『医師に相談するように』と言うだけだ。おそらく責任問題があるのだろうが、AIが医師に代わって患者と対話する役目を担うことはできないという点は重要だ」と話す。

　この研究論文の付随論評を執筆した米カリフォルニア大学ヘルスシステムのAtul Butte氏は、両研究が提起した懸念にもかかわらず、AIが患者や医療界全体にとって「大きなプラスになる」と見ている。同氏は、「AIチャットボットが提供する情報は、時間の経過とともに、より正確で利用しやすいものになることは間違いない」との見方を示し、今後、AIチャットボットは、医療情報やケアの提供において、これまで以上に重要な役割を果たすようになり、多くの患者にとって、その恩恵は目に見えるものになると予測している。