ニューラルネットの内部表現は「記号構造」で近似できる — arXivに新論文

知能を扱う古典的なモデルは、論理式のように記号を組み合わせた構造を前提にしてきた。一方、現在、性能で先行しているAIはニューラルネットワークであり、情報を連続値のベクトルとして持つ。言語や論理の構造をベクトルで表すのは無理があるように見えるのに、実際には高い性能が出る。この食い違いをどう説明するか、という問いに正面から取り組んだ論文が、研究者が査読前の論文を公開するサイト「arXiv（アーカイブ）」のcs.CL（計算言語学）区分に投稿された。

表現の生成過程を数式に置き換える

著者らの仮説は単純だ。見た目はベクトルでも、ニューラルネットの内部表現は実質的に記号構造を実現しているのではないか、というもの。論文の言葉では「見かけに反して」内部表現が記号構造を暗黙に実装している可能性を提起している。

検証の方法が興味深い。ネットワークが表現を生成する過程そのものを、記号構造を具体化した閉形式の式（反復計算ではなく一つの数式で書ける形）に丸ごと差し替える。それでもネットワークの振る舞いはほとんど変わらなかった、というのが主張の中心だ。概要によれば、この結果はリスト操作を学習した小規模なネットワークと、より大きなモデルの両方で確認されたとされる。

「解釈」ではなく「置換」であること

この研究の位置づけを考えるうえで重要なのは、既存の解釈可能性研究の多くが「内部で何が起きているかを説明する」方向であるのに対し、ここでは「説明した構造で本体を置き換えても動くか」を試している点だ。説明が後付けの物語になっていないかを確かめる、比較的厳しいテストになっている。

もし内部表現が記号構造でよく近似できるなら、モデルの挙動を数式として書き下し、検査したり編集したりする道筋が見えてくる。ニューラルネットと記号処理を対立させる長年の構図に対して、両者が同じものの別の見え方だという読み方も成り立つ。ただし、どの程度の規模やタスクまでこの近似が成立するのかは、公開されている概要の範囲では判断できない。追試と、より大きなモデルでの検証を待つ段階にある。

出典: arXiv cs.CL, “The Emergent Symbolic Structure of Artificial Neural Networks”（arXiv:2608.29530v1）