LLMがホテルを選ぶとき、何を基準にしているのか——選好を測る診断ベンチマーク「PriceBench」

AIが「探して、選んで、予約する」ところまで担うようになると、最終的に何を買うかを決めるのは利用者ではなくモデルになります。研究者が査読前の論文を公開するサイト「arXiv（アーカイブ）」に投稿された論文は、この状況を正面から扱い、LLMの購買時の選好を測る診断用ベンチマーク「PriceBench」を提案しています。

ホテル予約という観測装置

題材はホテル予約です。価格、品質、ブランドという比較しやすい少数の属性で決着がつき、かつ判断回数が多い。だから、どれを選んだかという結果からモデルの好みを逆算しやすい、という理屈です。

研究チームはニューヨーク市の実在する179軒の宿泊施設をもとに3,600件のタスクを作り、8社の28モデルに解かせました。選択結果はロジット選択モデル（複数の選択肢からどれが選ばれやすいかを確率で表す統計手法）にかけられ、価格への感応度や品質とのトレードオフとして数値化されます。

「能力」は中身ではなく一貫性に効く

結果として浮かび上がったのは、モデルの能力の高さは「何を選ぶか」ではなく「どれだけ一貫して選ぶか」に結びついている、という点でした。能力の高いモデルほど明確で安定した選好を持ちます。一方で能力の低いモデルは、ひとつの立場に固着してしまうか、ほとんど無差別に選ぶかのどちらかに寄ります。

前者は特に厄介で、論文は固着したモデルについて「掲載順を握る者に付け込まれうる」と指摘しています。検索結果の並び順を操作できる事業者が、実質的にAIの購買判断を左右できてしまうという話です。

では肝心の選好の中身はどうか。これは提供元によって、さらには同じモデルファミリー内ですら大きくばらついたといいます。価格感応度の幅は一桁以上に及び、まったく同一のタスクでも平均予約単価は247ドルから393ドルまで開きました。同じ依頼をしても、どのモデルに頼むかで支払う額が5割以上変わる計算になります。

クリエイターにとっての含意

この研究が示しているのは、モデルの性能評価が正答率だけでは足りなくなってきたということです。エージェントが代理で選ぶ領域では、正しいかどうかではなく「どちらに寄っているか」が結果を決めます。価格だけでなく、素材の調達先、ツールの選定、外注先の選択といった判断をAIに任せるとき、そのモデルがどんな癖を持つのかは測っておく価値があります。

また、掲載順への脆弱性という指摘は、AI経由の露出をめぐる新しい最適化競争の入口でもあります。検索エンジン対策がそうであったように、エージェントに選ばれるための工夫が独自の産業になる可能性は否定できません。

この記事には、専門用語を使わずに書いたやさしい版もあります。

出典: arXiv「PriceBench: A Diagnostic Benchmark for Price, Quality, and Brand Preferences in LLM Booking Agents」（arXiv:2609.31468v1）