AIの健康アドバイスは、どこまで信用できるのか？を調べた研究が２つ出てたんで、中身をチェックしてみましょう
健康のことをAIに尋ねてみる人が増えてきた昨今であります。たとえば、「この症状は病院に行くべき？」「自分に合う食事法は？」「このサプリは本当に効くの？」といった疑問をAIに投げてみるようなパターンっすね。
なんせ24時間いつでも質問できるし、専門用語もかみくだいて説明してくれるので、つい頼りたくなっちゃうのは当然のこと。私自身も、AIは調べものや文章の整理によく使ってますし、運動のメニューを作ってもらうこともありますしね。
しかし、健康の話となると、話はちょっと変わりまして、最近出たいくつかの研究を眺めると、「AIチャットボットの健康相談は不安定な挙動を見せるぞ！」って話になってまして、なんとも困った気分になったわけです。
AIの健康アドバイスは、約半分に問題があった
近ごろ、「AIへの健康相談はどのぐらい正確か？」を調べた研究が２つ出まして、まずアルバータ大学などが行った研究(R)では、ChatGPT、Gemini、Grok、DeepSeekなどのチャットボットに対して、
- がん
- ワクチン
- 幹細胞治療
- 栄養
- 運動パフォーマンス
といった、間違った話が広まりやすいテーマについて回答するように指示。返ってきた答えを、各分野の専門家にチェックしてもらったんだそうな。
で、そこでどんな結果が出たのかと言いますと、
- 49.6%が「問題あり！」と判定された！
だったそうです。ここでいう「問題あり」ってのは、単に表現が雑とか、少し説明が足りないという意味ではなく、その助言をユーザーが実行した場合に、まったく効果がなかったり、あるいは健康を損ねたりするかもしれない回答が含まれてるって意味です。こいつはちょっと怖いですな。
とくに成績が悪かったのは、栄養と運動パフォーマンスの領域だったそうで、「この食べ方なら脂肪が落ちる！」「このサプリで筋肉が増える！」「このトレーニングでテストステロンが上がる！」みたいに、科学的な根拠が弱いにもかかわらず、もっともらしく断定的な答えを返してくるケースが多かったんだそうな。
研究チームによれば、「各モデルの回答は全体として断定的で、注意書きや不確実性への言及は少なかった」そうで、つまりAIの答えってのは、中身は怪しいくせに文章は堂々としてるし、間違っていても「間違っているかもしれません」とはあまり言わない傾向があったんだ、と。これは私もよく感じることですが、なかなか困った問題ですねぇ。
さらに、この研究では、AIに「根拠となる参考文献を10本あげてください」と頼んだりもしてるんですが、やはり文献情報の正確さがかなり低い傾向があったんだそうな。ざっくり言いますと、
- 著者名、年、論文タイトル、雑誌名、リンクなどが正しくそろっていた割合の中央値は、わずか40%。
- なかには、存在しない論文や、内容が質問と関係ない論文も混ざっていた。
という感じでして、どうもAIは「もっともらしい引用」を作るのが得意なようで、論文タイトル、著者名、雑誌名もそれっぽく並べられちゃうらしい。なので、特に健康や医療の分野では、「論文を出してくれたから大丈夫」と考えるのは危険でしょうなぁ。
AI単体では正解でも、人が使うと精度が落ちることがある
さらに面白いのが、オックスフォード大学などが行った別の研究(R)であります。この研究では、
- 医師が作成した症例問題をAIだけに解かせた場合
- 一般の人がAIを使って回答した場合
という2つの条件を比べたんですよ。つまり、「AIが単独で答える場合」と「人間がAIを使う場合」で、結果がどれぐらい変わるかを見たわけですね。
で、結果がどうだったかと言いますと、
- AI単体ではかなり高い精度で病名の候補を挙げられたのに、一般の参加者がAIを使うと、正答率が大きく下がってしまった！
って感じだったそうな。AI単体では正解できても、人が使うことで精度が落ちちゃうケースがあるってことですな。
その理由は簡単で、人間がAIに症状を説明するときは、情報が抜けたり、重要でない点を強調したり、症状の順番を取り違えたりするからです。するとAIは、その偏った情報に合わせて、それなりに筋の通った答えを返しちゃうんですな。人間が持ってる不確実性が、AIを混乱に落とし込むわけです。
その点で、人間の医師ってのは、症状から病名を推測するだけではありませんで、患者さんの声の調子とか、話し方の変化とか、本人が言いにくそうなこととか、生活背景とかをまとめて見て判断するって作業をしてますからね。これはAIにとっては、まだまだ苦手な領域なんでしょう。
また、この研究では、AI系の健康ツールは「緊急性の判断があまり得意ではない」とも報告されてまして、たとえば、
- 緊急ではないケースを、必要以上に受診へ回すことがあった
- 本来なら救急対応が必要なケースに対して、「1〜2日以内に医師へ相談しましょう」と答えてしまう例も見られた
みたいな感じっすね。どうやらAIってのは、質問文の細部や言い回しに引っ張られてしまいがちなので、危険度の線引きがぶれやすいみたいなんですな。その点、人間の場合は、「息苦しさが急に悪化した」「これまでにない激しい頭痛が出た」と聞けば、多少の誤判定を覚悟してでも受診を勧めるケースが多いでしょうからね。こちらもなかなか困った問題であります。
AIは「作業」には便利だが、「判断」には向かない
ってことで、直近で出た2つの研究をチェックしてみまして、これだけ見ると「健康のことにAIを使っちゃダメなの？」と思っちゃうかもしれませんが、もちろんそこまで言いきれるもんでもございません。個人的には、
- 医師に聞きたいことを整理する
- 健康診断の用語をわかりやすく説明させる
- 食事記録を表にする
- 運動メニューの選択肢を広げる
- 自分の症状や経過を時系列でまとめる
みたいに使うぶんには、AIはかなり役に立つはずであります。AIに判断させるのではなく、自分や専門家が判断しやすくなるための下調べに使うイメージっすね。
なので、これとは逆に、
- 病気の診断
- 救急受診の判断
- 薬の開始・中止
- 持病がある人の食事設計
- 複数の症状やサプリが絡む複雑な相談
みたいな用途は、まだAIに任せないほうがいいんでしょうな。とくに、AIはユーザーの考えに寄り添うように調整されているので、すでに「自分はこの病気かもしれない」「この食事法が正しいはずだ」と思っているときほど、使用には要注意だと申せましょう。
なので、健康目的でAIを使うなら、以下の3点を意識するのがいいんじゃないでしょうか。
- AIの回答を「仮説」として扱う：答えを求めるんじゃなくて、「こういう可能性もあるらしい」ぐらいに留める。
- 緊急性の判断には使わない：胸痛、呼吸困難、意識の異常、急な麻痺、今までにない激しい頭痛などがあるなら、AIと長話をせず、医療機関や救急相談を使う。
- 根拠を出されても、そのまま信じない：論文名が並んでいても、実在するか、内容が主張を支えているかは怪しいので、必要ならPubMedやGoogle Scholarなどで確認。
とりあえず、ここらへんを守っておけば、間違えたときの損失をある程度まで減らせるんじゃないでしょうか。まぁ、「健康」についてはミスの悪影響が大きすぎるんで、現時点ではAIに答えを出してもらうんじゃなくて、「質問を整理するサポーター」ぐらいにしとくのが無難でしょう。
.jpg)
