おはようございます！マネジメントオフィスいまむらの今村敦剛です。
AI利用時のリスクの一つに「LLMグルーミング」というものがあります。簡単に言うと、大量の偽記事をAIが参照してしまい、そのAIが出した誤ったアウトプットを人間が信用することなのですが、このLLMグルーミングの具体的事例と我々が留意すべき点をまとめました。
LLMグルーミングとは何か
LLMグルーミングとは、特定の意図を持って放出されたインターネット上の偽情報を生成AI(ChatGPTやGemini)が参照してしまい、それを「信頼できる情報」として人間に提示することです。結果として人間は偽の情報を受け取ってしまい、それを信用してしまうと、いろいろな問題（後述）が生じる、というものです。ちなみに「グルーミング」とは”手懐ける”という意味ですね。
7月8日、プレジデント・オンラインは、『「プーチンの嘘」をChatGPTに拡散させていた…年360万件の”偽記事”でAIを汚染するロシア情報機関の手口』という記事を公開しました。これにはロシアによるLLMグルーミングの具体例が書かれています。
記事を簡単に要約すると、ロシアの情報機関（GRU）が資金提供する「プラウダ・ネットワーク」が、ウクライナ侵攻の正当化や西側諸国の分断を目的に、偽ニュースサイトを多数運営。昨年1年間で約360万本もの偽記事を放出し、AIの学習データを汚染して回答を操作する行為（これがLLMグルーミング）を行った、とする内容です。記事では、主要なAIが33%もの確率でロシアの偽情報を回答したという、まずまず衝撃的な結果を伝えています。
なおこの記事は、米ニュース信頼性評価機関である「ニュースガード」社の調査に基づいたものです。
LLMグルーミングがもたらすリスク
LLMグルーミングがもたらすリスクにはどのようなものがあるのでしょうか。ぼくは以下のようなリスクがあると考えています。
- AI利用者がこうした偽情報を元にしたAIのアウトプットを信用してしまい、プロパガンダを無防備に受け入れてしまうというリスク
- こうしたアウトプットが、現実世界の政治・政策決定にまで影響を及ぼすリスク
- AIによる偽情報を含んだアウトプットを信用した人と、そうでない人との間で分断が深刻化するリスク
なお、プレジデントオンラインの記事の筆者は「AIの回答を安易に信頼しないことの重要性は、ただでさえ声高に叫ばれてきた。意図的にAIの知識を汚染するプラウダ・ネットワークの存在が明かされたいま、情報との付き合い方には一層の賢明さが求められるだろう。」と結んでいます。
それは確かにそうなのですが、一方で、LLMグルーミングという「バズワード」に過度に反応するのも、また一つのリスクではないかと思います。
LLMグルーミングへの過剰反応がもたらすリスク
ニュースガード社の調査結果については、アルジャジーラのWebサイトで、英国在住の研究者が批判的に考察している記事を見つけることができます。
この記事では、英国の研究者たちが、ニュースガード社の調査方法論（不透明さ、誘導的な設計）に疑いがあり、脅威が誇張されているのではないかという問題を提起しています。
この研究者自身の調査によると、偽情報が生成されたのはわずか5%であり、その多くは偽情報を論破する文脈で言及されていたといいます。そしてこれはLLMグルーミングではなく、「データヴォイド（情報の空白）」ではないかという仮説を述べています。つまり、この問題は、国家による巧妙な「グルーミング」のせいではなく、単にそのトピックに関する信頼できる情報源が存在しない「情報の空白」が原因だ、ということですね。
この研究者たちの調査では「我々の（LLMグルーミングに対する）パニックが、敵対国家の影響力をかえって大きく見せるプロパガンダに利用される」というリスクを挙げています。
LLMグルーミングに向かい合う我々の課題はなにか
プレジデントオンラインの記事にあるとおり、LLMグルーミングは、将来的なAI時代における、無視できない「脅威」である一方、その現在の効果や規模は、アルジャジーラの記事にあるとおり「誇張されている可能性がある」という点にも留意が必要でしょう。
「外部からの情報操作」に備えることは不可欠ですが、その結果として「内部で生まれる恐怖やパニック」という脅威にも同時に向き合うことが、これからの時代には求められるのかもしれません。