AIは合理的どころか、人間より簡単に誘導されちゃうんじゃないか？説
AIエージェントがどんどん便利になってる昨今でございます。ネットを検索して商品を比較したり、ホテルを予約したり、資産運用の候補を選んだりと、こちらが細かく指示しなくても、AIが勝手に作業を進めてくれるサービスが増えてきまして、私もめっちゃ愛用しているところです。おそらく、近い将来には「予算内でいちばん良いパソコンを買っておいて」とか「旅行の予定を全部組んでおいて」みたいな頼み方が普通になるんでしょうな。
が、ここで問題になるのは、「AIは人間より合理的に判断できるのか？」ってところでしょう。人間なら簡単にダマされるような仕掛けにも、AIは惑わされずに最適な答えを出せるのか？って問題ですな。
ってことで、新たに出た研究(R)では、「AIは、不確実な状況でも人間より合理的な判断ができるのか？」ってとこを調べてくれてて有用でした。
この研究を行ったのは、MITメディアラボなどのチームで、「AIはナッジに強いのか？」ってテーマを調べたもの。ナッジってのは人の行動をそっと誘導する仕組みのことでして、たとえば、
- 最初からチェックが入っている選択肢を、そのまま選んでしまう
- 「おすすめ」と表示された商品を買いやすくなる
- 目立つ色で表示されたボタンを押しやすくなる
みたいな現象が有名っすね。このように、選択肢の配置や見せ方によって、人間の判断が変わっちゃうのは有名な話でしょう。これがナッジであります。
このような現象が起きるのは、人間ってのは、あらゆる情報をゼロから検討しているわけじゃないからです。
たとえば、毎回すべての商品を比較したり、すべての選択肢を細かく計算したりしていたら、時間も脳のエネルギーも足りないじゃないですか。そこで人間の脳ってのは、「おすすめなら悪くないだろう」と考えたり、「最初から選ばれているなら、そのままでいいか」と判断したりするんですな。これは、必ずしも人間がダメだって話ではなく、限られた時間と認知能力のなかで、なるべく効率よく判断するための仕組みだとお考えください。
一方で、当然ながら、AIには疲労も空腹もなし。人間のように「考えるのが面倒だから、最初に出てきたものを選ぶ」といった発想はないはずなので、AIならナッジに惑わされず、もっと合理的に判断できそうな気がするわけっすね。
で、このポイントを調べるために、研究チームは、14種類の大規模言語モデルに、ある意思決定ゲームをプレイさせたらしい。ゲームの内容がどんなんだったかと言いますと、
- プレイヤーは複数のカゴの中から、もっとも得点が高いものを選ぶ。ただし、それぞれのカゴに何点入っているかは、最初から全部はわからない。
- 中身を確認するにはポイントを支払う必要があり、情報を集めすぎれば、そのぶん最終的な得点が減る。
みたいなルールになってます。つまり、「どこまで情報を集めるか？」「いつ調査をやめて決断するか？」「どのカゴを選ぶか？」をバランスよく考えなければ勝てないルールになってるわけですな。
この時に、研究者たちは、このゲームに複数のナッジを加えております。具体的には、
- あるカゴを最初から選択済みにしておく
- 特定のカゴを「おすすめ」として提示する
- 一部の情報だけ確認しやすくする
- 人間にとって役立つ情報を先に見せる
みたいな感じで、人間ならコロリとダマされそうなラインナップになっております。そのうえで、人間とAIの行動を比べてみたところ、結果はこんな感じになりました。
- あらかじめ特定のカゴを選択済みにしておき、参加者がそのまま受け入れるか、別のものに変更するかを調べた場合
- 人間の場合、デフォルトのカゴを選んだ割合は約88％だった。
- AIの場合、複数のモデルが、デフォルトの選択肢を99〜100％の確率で受け入れた。
- ランダムに選んだカゴを「おすすめ」としてAIに提示した場合（このおすすめには何の根拠もない）
- 人間の場合、ゲームの序盤に出されたランダムなおすすめを受け入れた割合は約35％だった。
- 多くのAIは、人間よりもかなり高い割合でおすすめに従った。
- 特定のカゴに関する情報だけを、低いコストで確認できるようにした場合
- 人間の場合、役に立たない情報がハイライトされていても、それを利用した割合は57％だった。
- 多くのAIモデルは、83〜100％の割合で、誤ったハイライトに引っ張られた。
ってことで、面白いもんで、AIってのは人間よりもナッジに影響されやすいって結果が出たらしい。ざっくり言えば、AIってのは、
- 「この情報は目立っているが、本当に重要なのか？」を考えるのが苦手で、目につきやすい情報を過大評価しやすい。
- 「なぜ、それがおすすめなのか？」を十分に評価するよりも、「おすすめと書いてあるから選ぶ」という反応を示しやすい。
- 最初から選ばれている選択肢を、その理由を十分に検討しないまま受け入れやすい。
みたいな挙動を示すケースが多いんだ、と。どうやら、今回の研究を見る限り、AIは必ずしも一貫したルールで判断しているわけではなく、選択肢の順番、文章の強調、初期設定、ちょっとしたおすすめ表示などによって、行動が大きく変わるっぽいっすね。うーん、意外だぜ。
でもって、この研究で特に重要なのが、
- 結果だけを見ると、AIの判断の異常さに気づけない！
ってのも報告されているところであります。
実験によっては、AIが人間と同じくらいの得点を獲得することもあったんで、最終スコアだけを見ると「AIは人間と同じくらい上手に判断できている！」って印象になるらしい。しかし、実際にはそうとは限りませんで、それというのも、
- たまたまナッジが良い選択肢を指していた場合、AIはそれに盲目的に従って高得点を得る。
- 反対に、ナッジが悪い方向を指していた場合も、AIは同じように従い、成績を大きく落とす。
って感じで、最終的な得点はAIの判断力よりも、ナッジがたまたま正しい方向を向いていたかどうかに大きく左右されるらしい。つまりAIってのは、決して内容を理解して正しい判断をしているのではなく、提示された手がかりに従った結果、偶然うまくいっているだけかもしれないわけっすね。これは、AIを評価するうえで注意したいポイントですなぁ。
もちろん、今回の実験は単純なゲームを使ったものなんで、実際の買い物や投資、旅行予約が同じ結果になるとは限らないんでご注意あれ。ただし少なくとも現時点では、AIエージェントに重要な判断を丸投げするのは避けたほうがよさそうですな。特に、
- 金額が大きい買い物
- 投資や保険の選択
- 健康や医療に関する判断
- 長期契約
- 解約しにくいサービス
- 利害関係のあるサイト内での比較
などは、人間が最後に確認したほうがいいっすね。
また、AIに商品を探してもらう場合も、「おすすめを選んで」だけでは不十分でしょう。なので、たとえば「広告、スポンサー表示、おすすめ表示、初期設定を判断材料に使わず、価格、性能、保証、第三者レビューを比較して選んでください」ぐらいは指定したほうがよいかもしれませんな。それでも完全に防げる保証はないけど、少なくとも、AIが何を根拠に判断したのかを確認する手がかりにはなりますからね。
.jpg)
