MoEモデルの内部信号から幻覚をトークン単位で検出する手法「InnerExpert」

「文単位」から「トークン単位」へ

大規模言語モデル（LLM）がもっともらしい嘘を書く現象は、幻覚（ハルシネーション）と呼ばれます。既存の検出手法の多くは、回答全体か文の単位で「怪しいかどうか」を判定してきました。しかし、書き手の立場で本当に欲しいのは、どの語句が怪しいのかという情報です。文章のどの部分が事実に基づいていないかを特定できなければ、部分的な書き直しや注釈といった細かい介入はできません。

研究者が査読前の論文を公開するサイト「arXiv（アーカイブ）」に投稿された論文が、この隙間を埋める方法を提案しています。着目したのは、Mixture-of-Experts（MoE、混合専門家）と呼ばれるモデル構造です。

ルーティングの迷いが手がかりになる

MoEは、各層に複数の小さなネットワーク（専門家）を並べ、入力ごとにその一部だけを選んで動かす仕組みです。どの専門家に処理を回すかを決めるのがルーティング機構で、この選択の過程には、専門家がすべて同じ層で計算を行う密（dense）な構造には存在しない情報が残ります。論文が挙げるのは、ルーターのエントロピー（選択の迷いの大きさ）、専門家どうしの出力の食い違い、専門家の使われ方のパターンです。

論文はこれらを幻覚検出に使った最初の試みだとしており、手法を「InnerExpert」と名付けています。ルーティング由来の信号と、通常のTransformerから得られる信号をトークンごとの小さな特徴ベクトルにまとめ、軽量な判別器で分類する構成です。学習に使う正解ラベルは、別のLLMに判定役をさせる「LLM-as-a-judge」の流れで作られています。公開された概要には評価結果の数値は含まれておらず、精度がどの程度かは論文本体を確認する必要があります。

なぜ作り手に関係するか

注目すべきは、追加の外部検索や大がかりな再学習ではなく、モデルが推論する際にすでに生じている内部の痕跡を読むという方針です。MoEは近年の大規模モデルで採用が広がっている構造なので、その副産物として検出信号が手に入るなら、コストの面で有利になる可能性があります。

文章生成をAIに任せる場面では、「この段落のどこかが間違っているかもしれない」という警告はほとんど役に立ちません。「この固有名詞が怪しい」まで絞り込めて初めて、確認作業が現実的なものになります。幻覚をゼロにする話ではなく、幻覚を扱いやすくする話として読むのが妥当だと思われます。

出典: arXiv cs.AI「Mixture-of-Expert Blocks Contain Strong Hallucination Detection Signals」（arXiv:2608.17687v1）