ChatGPTでビジネス文書を直すときのベストな頼み方とは？を調べた研究の話
「AIがあれば、もう編集者はいらないのでは？」みたいな話があるわけです。実際のところ、ChatGPTなど言語モデルは、文章の誤字を直したり、文法を整えたりするのが得意でして、メールの下書きとか社内文書みたいなタスクなら「もうAIでいいじゃん！」と思う場面も増えてきました。私もめっちゃ使ってます。
ただし、最近の研究(R)を見ると、話はそんなに単純ではなさそうでして、ざっくり言えば、
- AIはビジネス文書をかなりうまく改善できる。ただし、人間がめちゃくちゃ具体的に指示した場合に限る。
という結論になっておりました。
プロ編集者とChatGPTを比べてみたらどうだったか？
これは、ユトレヒト大学などの研究で、「ChatGPTはプロの編集者と同じようにビジネス文書を直せるのか？」を調べたものになっております。実験は2段階で行われていて、
- 第1段階：20年以上の経験を持つプロ編集者3人に、オランダ語のビジネスレター4本を渡して、「これを良い文章にしてください」と依頼。文書の内容は、産休制度、傷病手当、スケジュール調整など、いかにも会社で出てきそうな事務的な文章だったとのこと。さらに、研究チームは編集者の作業画面を録画し、その後で「このとき何を考えて修正していたんですか？」とインタビューした。
- 第2段階：次に研究チームは、同じビジネスレターをChatGPTにも書き換えさせた。その際、プロンプトを3パターンに分けて、指示の具体度を「ざっくり」から「超細かく」まで3段階で設定した。
って感じになってます。同じ文章をヒトとAIに修正させて、どんな違いが出るのかをチェックしたわけっすね。
ここで、研究チームがAIにどんな指示を出したのかと言いますと、
- かなりざっくりした指示：「読者に焦点を当てた文章にしてください」みたいな感じ。
- もう少し具体的な指示：「B1レベルの文章にしてください」というもの。B1というのは、ヨーロッパ言語共通参照枠でいう中級レベルで、一般向けの文書ではこのぐらいの読みやすさが目標にされることが多い。
- プロ編集者の作業プロセスをもとにした、8ステップの複雑な指示：「まず構成を見直して、次に文体を整えて、専門用語を簡単にして……」みたいに、編集者の思考手順をAIに再現させようとするパターン。
みたいになります。指示の細かさによって、AIのアウトプットに大きな違いが出るのかを調べてみたわけです。
では、その結果がどうだったかを見てみましょう。ここでチェックすべきポイントはいくつかありまして、まず興味深いのは、「プロ編集者たちが何をしていたか？」ってところであります。具体的に、文章のリライトを行う際に、編集者は以下のようなことをしていたそうな。
- 堅苦しい専門用語を、読者にわかりやすい表現へ変える
- 文章のトーンを柔らかくする
- 重要な情報を文書の冒頭に持ってくる
- 長い文を短くする
- 「あなた」「私たち」のような代名詞を増やす
- 法的・制度的な意味を変えないようにする
つまり、編集者ってのは、単に「文章をきれいにする」のではなく、読者の立場、会社の意図、制度上の正確さ、文書全体の流れを同時に見ている……って話っすね。ここがプロ編集者のすごいところですな。
で、もうひとつ、AIのアウトプットがどうだったかってとこも面白くて、
- いちばん良かったのは、意外に*B1レベルを指定したプロンプトだった！
って感じだったらしいんですよ。ChatGPTに「B1レベルで書いて」と指示すると、文章はかなり読みやすくなりまして、複雑な文は短くなり、難しい語彙もやさしくなり、読みやすさのスコアも、プロ編集者の修正に近いレベルまで改善していたというから凄いもんです。やっぱAIは評価基準が明確な作業に強いんでしょうな。私もこれから「B1レベル」って指示を与えてみるか……。
一方で、もっともAIの出力が悪かったのが、ざっくりと「読者に焦点を当てて」と指示したパターンだったそうで、この場合、ChatGPTは複雑な文をあまり直せず、難しい言葉も残しがちだったらしい。しかも、ここで最も問題だったのが、「事実と違う情報を勝手に入れる確率が上がった！」ってところです。たとえば、産休や傷病手当に関する手紙を修正させたところ、ChatGPTは「チームの拡大、おめでとうございます」みたいな文章を作っちゃったらしいんですな。これは、いかにもAIっぽいミスでして、やはりAIってのは「その場で本当に言っていいことかどうか？」の文脈判断にまだ危ういところがあるってことっすね。
でもって、さらに興味深いのが、プロ編集者の手順をまねた8ステップのプロンプトも、あまりうまくいかなかった点です。この指示では、レイアウトは改善されたものの、医療給付や支払いに関する事実誤認が複数出ちゃったらしくて、「細かくAIを制御しようとするほど問題が起きる」という結果であります。
これもまた示唆的な話でして、最近は「プロンプトは細かく書けば書くほどいい！」みたいな風潮もありますが、少なくともこの研究では、細かい指示を詰め込みすぎると、AIが重要な意味を見失う可能性があるわけです。つまり、AIへの指示ってのは、
- ざっくりしすぎてもダメ。
- 複雑にしすぎてもダメ。
- とにかく、評価基準を明確にするのが大事！
という感じになりましょう。今回で言えば、「B1レベル」という具体的で測定しやすい基準が、もっとも機能したわけですね。
ということで、この研究を見る限り、「編集者は不要になるのか？」って問題の答えは、「まだまだ必要」って感じになりますかね。なにせ、プロ編集者の修正には事実誤認がなく、法的な意味もきちんと保持されていたみたいなんで、これってビジネス文書においてはめっちゃ大事ですからねぇ。確かに、AIは読みやすい文章を生み出すのは得意なものの、正確で、適切で、文脈に合ったものを生み出すことについては、いまのところヒトに分があるのだろう、と。
もうちょい細かく言うと、プロ編集者ってのは、文章の表面だけを直しているわけじゃなくて、
- この会社は読者にどう見られたいのか？
- この表現は冷たすぎないか？
- 法的な意味は変わっていないか？
- 読者が最初に知りたい情報は何か？
- 複数の部署の意図が混ざって、文章がねじれていないか？
みたいなことを同時に見ていて、読み手と書き手のコミュニケーションをコントロールしてるんですよ。ここらへんは、もうちょいAIが進化しないとしんどいとこでしょう。
ただ、これはもちろん「AIより人間が重要！」ってことじゃなくて、たんに「AIをうまく使うには、人間側の能力が必要だよー」ってのを示して感じです。今後のライターや編集者は、ゼロから文章を書く人というより、AIが出してきた文章を評価して直す人になっていくってことでして、そのために必要なのは、単なるプロンプト術じゃなくて、文章を評価する力なんでしょうなぁ。
.jpg)
