『研究でわかった！』を、そのまま信じないほうがいい理由――164論文を追試して見えてきたこと
「科学的に効果があると言われた方法って、もう一度調べても同じ結果になるの？」という近年流行りの問題を、大規模に検証した研究（R）が出ておりました。
このブログでもさんざん書いてきたとおり、ニュースで「研究で判明！」などと報道されたとしても、それだけで「科学的に決着がついた！」と受け取るのは早いんですよ。ひとつの研究で結果が出たからといって、別の人たちを対象にしても同じ結果になるとは限らないもんで。
そこで大事になるのが「追試」でして、ご存じのとおり「一度出た結果を、独立した別のデータでも確かめてみよう！」って考え方であります。今回の研究は、この作業を社会・行動科学の幅広い論文に対して行ったもので、AIでもっともらしい説明を簡単に作れるようになった現代においてこそ、「説明に納得できるか」と「データで繰り返し確かめられているか」を分けて考える材料になるんじゃないでしょうか。
164本の論文に含まれる、274の主張を確かめてみたら？
この研究を行ったのは、Center for Open Scienceなどの研究チームで、対象になったのは、
- 2009〜2018年に発表された研究
- 社会・行動科学の54の学術誌に掲載された164本の定量的な論文
- それらに含まれる、肯定的な結果を報告した274の主張
って感じ。新たにデータを集めたり、別のデータセットを使ったりして、「元の研究の結果は再現できるか？」ってのを調べたわけです。
すると、そこでどういう結果が出たかと言いますと、
- 「元の研究と同じ方向で、統計的に有意な結果が出た」という基準での再現率は49.3％だった！
だったそうです。ざっくり言えば、この基準をクリアした割合は約半分だった、と。ちなみに、ここでは論文単位の重み付けをしていて、こいつはひとつの論文からたくさんの主張を検証する際に、その論文だけが集計を大きく左右しないようにするための処理です。「164本の論文を、それぞれ丸ごと合格・不合格に分けたら半分だった」という意味じゃないのでご注意ください。
「効くかどうか」だけでなく、「どれぐらい効くか」も変わった
でもって、ここでさらに気になるのが、効果の大きさであります。研究チームが、結果を比較するために相関係数をチェックしたところ、その中央値は、
| 指標 | 元の研究 | 追試 |
|---|---|---|
| 効果量の中央値（相関係数 r） | 0.25 | 0.10 |
みたいな感じになったんですな。めっちゃ簡単に言えば、元の研究で報告された効果に比べて、追試ではめっちゃ小さな値になったってことです。嫌ですねぇ。
もちろん、これは「どの方法も、実生活での効き目が減った！」って意味じゃないんでご注意あれ。あくまで、いろんな研究を共通の物差しで比べた結果なんで。
ただ、研究を私たちの生活に取り入れるときには、ここは大事なポイントでして、たとえば「ある工夫で仕事の成績が上がった」と言われても、
- 日々の仕事が変わるほどの差なのか？
- たくさんの人を集めて、ようやく検出できる小さな差なのか？
って感じだと使いどころも違っちゃいますからねぇ。とりあえず、「効果が確認された」という言葉だけでは、自分が期待していい変化の大きさまではわからないってところは、意識しておくといいでしょう。
では、「社会科学の半分は間違い」なのか？問題
ここまで読むと、「やっぱり研究なんて信用できないんだ！」と言いたくなるかもしれませんが、それはさすがに行き過ぎなんでご注意あれ。
というのも、今回調べたのは、ポジティブな結果を報告した研究のうち、実際に追試を行えたものだけですからね。社会科学の研究をもっと幅広く集めて、偏りなく間違いを判定したわけじゃないもんで。
あと、ここで「再現した」と判断する基準もひとつじゃなくて、今回の研究でも、13種類の評価方法を使うと、再現率の推定値は28.6〜74.8％まで変わったりしてるんですよ。49.3％という数字も、「どんな基準で判断したものなのか？」と考えながら読む必要があるわけです。
さらに言えば、「統計的に有意にならなかった」と「効果が存在しないことがわかった」も、同じ意味じゃないですからねぇ。対象者や状況の違いが結果に関係する可能性もありますし、元の研究で見えた効果が大きすぎた可能性もあるんで、これもまた判断が難しいとこだなーとか、個々の結果を見て思ったりした次第です。
こうなると、私たちが研究紹介を読むときは、どうすればいいのか？ってところが気になりますが、個人的には「どれぐらい確かで、どこまで実際に使えそう？」を考えつつ接するのがよさそうに思っております。具体的には、次の3つを確認してみるのがオススメっすね。
- 別のチームも、似た結果を出しているか？：ひとつの研究で面白い結果が出た段階と、独立した複数の研究で結果が積み重なっている段階では、受け止め方を変えたいところ。記事の参考文献が1本だけなら、「まずは、こんな結果が出たのね」と受け取っておき、そこから先の検証にも目を向ける感じ。
- 効果は、どれぐらい大きいのか？：「有意な差があった」と書かれていたら、「で、どれぐらい違ったの？」と聞いてみる。小さな効果でも、安くて簡単な方法なら取り入れる価値があるかもしれないし、その一方で、お金や時間が大量にかかるなら、期待できる変化と見合うかを考えたいところ。
- 誰に、どんな条件で調べたのか？：「学生を対象にした短い実験なのか、働く大人を長期間追った研究なのか？」「実験室の課題なのか、実際の生活での行動なのか？」みたいに、同じ「集中力が上がった」でも、その中身によって自分への当てはまり方は変わるはず。「自分にもそのまま使えるか？」を、一段挟んで考えるのがオススメ。
まぁ、この3項目をチェックすれば判断力が上がるわけじゃないんだけど、科学ニュースに接する際のちょっとしたワクチンにはなるでしょう。
単発の研究は「面白い可能性が出てきたなー」ぐらいに考え、追試が積み重なったら「だいぶ確かそうになってきたなー」とボンヤリ考えて、結果が食い違ったら「どの条件が違うんじゃろか」と考え直す……みたいな感じっすね。私のような研究を紹介する側としても、ここらへんの段階は意識したいとこですなぁ。
.jpg)
