AIが処方を出す時代に、臨床医が求めた3つの条件——136人調査の論文

助言役から実行役へ

医療分野のAIは長らく「医師に助言する」立場に留まってきました。その線が引き直されつつあります。研究者が査読前の論文を公開するサイト「arXiv（アーカイブ）」に出た論文によれば、米国の法案H.R. 238と、ユタ州の処方箋リニューアル（更新）の試験プログラムは、いずれもAIがエージェントとして医薬品を処方することを認める内容だとされています。

論文の問題意識は、現行の規制が承認時点でのモデル全体の性能指標を見るにとどまっている点にあります。平均的にどれだけ当たるかという数字は、目の前の一件について機械がどれだけ確信を持っているかを何も語りません。

3つの設計要件と、医師の答え

著者らは、安全な自律処方の最低条件として3点を挙げています。第一に、個々の予測ごとに較正された確信度を持ち、それを行動の可否を分ける閾値として使えること。第二に、不確実性の出どころを区別して伝えること——モデル側の知識不足に由来するもの（エピステミック）と、臨床上そもそも答えが一つに定まらないもの（アレアトリック）は、意味がまったく違います。第三に、判断が下されるその瞬間に推論過程が見えること。これは責任の所在を割り当てるために要る、という位置づけです。

この3点を、米国で処方権を持つ臨床医136人への調査で確かめています。結果として、確信度に基づいて人間へエスカレーションする仕組みがなければ自律処方を許容しない、という回答が示されました。不確実性の伝え方についても差が出ています。アレアトリックな不確実性には競合する選択肢を並べた要約を好み、エピステミックな不確実性には、そもそもAIが判断を差し控えること（アベンション）を求めたとされます。責任の引き受けについても条件が付いていました。

技術的な精度の議論と、誰が責任を負うのかという議論は、しばしば別々の場所で行われます。この論文が示しているのは、後者が前者のアーキテクチャに具体的な要求を突きつける、という順序です。医療に限った話とは思えません。エージェントが人間に代わって不可逆な行動を取る領域では、同じ問いが繰り返し現れるはずです。

出典: arXiv cs.AI「The Clinician’s Veto: Navigating Trust, Liability, and Uncertainty in Autonomous AI Prescribing」