画像に埋め込んだ指示でAIエージェントは動くのか、720回の実験で検証

ファイルやメール、外部サービスを操作できるAIエージェントは、画像も読みます。この「画像も読む」という点が、攻撃の入口になります。ユーザーを経由せずにエージェントの文脈へ文字列を差し込めるからです。

研究者が査読前の論文を公開するサイト「arXiv（アーカイブ）」に投稿された論文が、この経路を実験的に測っています。提案されているのは MMPIBench という再現可能なベンチマークです。同一の攻撃セットを6種類の視覚的な運び手に載せて送り込みます。画像内の文字（OCRで読まれるテキスト）、画面への重ね書き、写真のEXIFメタデータ、QRコード、偽のインターフェース、そしてそれらの複合です。

攻撃は「計画」の段階で止まっていた

測定の設計で面白いのは、攻撃の成否を二値で判定していない点です。差し込まれた命令が、画像の認識から計画、そしてツール呼び出しまで、エージェントの内部をどこまで進んだかを段階ごとに記録します。

6つのフレームワーク、5つの基盤モデル、6つの運び手、4種類の攻撃者目的を組み合わせた720回の実行の結果、攻撃が完遂したのは約1%でした。一方で、攻撃が試みられた（着手された）割合は12.8%ありました。この差はほぼすべて計画ステップで埋まっています。モデルが差し込まれた命令を読み、その上で従わないことを選んでいる、という構図です。

効いているのはフレームワークではなくモデル

もう一つの所見は、命令に従ってしまうかどうかを左右するのは、エージェントを組むフレームワークよりもモデル側だという点です。論文によれば、あるモデルは一度も攻撃に着手せず、59.7%の実行でインジェクションそのものを認識しました。対して別の2つのモデルは23.6%の実行で着手しています。

これは、エージェントを作る側にとって実務的な意味を持ちます。サンドボックス化や権限の絞り込みといった枠組み側の防御は当然必要ですが、どのモデルを土台に選ぶかが、画像経由の攻撃に対する耐性を大きく決めている可能性があります。

画像を読む機能は、スクリーンショットを渡すだけで作業を引き継げる利便性と引き換えに、外部から文字列を注入できる面をエージェントに与えます。約1%という完遂率は低く見えますが、着手が12.8%あるという数字は、防御が最終段ではなく途中の判断に依存していることを示しています。判断に依存する防御は、モデルを差し替えた瞬間に崩れうるものです。

出典: arXiv cs.AI, “An Experimental Evaluation of Multimodal Prompt Injection Attacks on Agentic AI Frameworks”（arXiv:2609.09404v1）