ChatGPT幻覚証言で弁護士に罰金5000ドル

ニューメキシコ州最高裁は殺人事件の有罪判決に対する上訴審で、生成AIが作り出した虚偽の証言を提出した弁護士に5000ドルの罰金を科した。 法廷侮辱も認定し、事実確認と法令根拠の検証を怠った責任を明確にした。 The VergeのEmma Rothの報道では、Reutersの取材内容としてこの処分が伝えられている。 問題の文書はAIが生成した上申書であり、実在しない証人の証言を含んでいた。 刑事上訴という人命と自由に関わる領域で、生成AIの誤情報が司法手続きに混入した事案である。

処分を受けたのは弁護士のStephen Aaronsである。 同氏は依頼人の殺人事件の有罪判決を不服として上訴した。 その際に提出した文書に架空の証人による証言や警察証言を記載した。 水曜日に出された裁判所の文書は、AI生成の上申書における事実主張と法令根拠の検証を怠ったと認定した。 刑事司法の根幹である証拠の真正性を損なう行為として重く受け止められた。

捏造された証言と発覚までの経緯

問題の上申書には、まったく実在しない証人による虚偽証言が含まれていた。 裁判所の文書はその点を明確に指摘している。

上申書は完全に捏造された証人による虚偽証言を含んでいた

対象は証人の存在自体だけではない。 発砲者の服装や外見に関する虚偽の記述も含まれていた。 上訴審では原審の記録との整合性が厳密に確認される。 記録に存在しない証言は照合の過程で露見する。 刑事事件では証人尋問調書や警察記録が中核資料になる。 架空の供述はそれらとの矛盾から発覚した。

The VergeのEmma Rothの報道では、Reutersが入手した裁判所文書の内容としてこの事実関係が示されている。 生成AIによる要約や文書起草は一見すると体裁が整っている。 しかし出典や記録との対応関係が欠落している場合がある。 今回の事案はその欠落が刑事上訴で表面化したものである。 量刑や有罪無罪に直結する手続きで誤情報が提出された点が深刻視された。

法廷での厳しい追及と弁護士の弁明

8月に開かれた審問でAarons氏はChatGPTを利用した事実を認めた。 裁判記録の鉄壁の要約が得られると考えて利用したという趣旨の説明を行った。 生成AIの危険性を理解しないまま実務に用いた点が追及された。 C. Shannon Bacon判事は報道機関の連日の報道に触れながら質問を重ねた。

弁護人よ、報道を見ているのか。ラジオを聞いているのか。世の中で起きていることを読んでいるのか。弁護士がAIの幻覚に依存する問題は連日大きく報じられている

この発言はReutersが審問の内容として伝えたものである。 判事の指摘はAIの誤情報が珍しい例外ではないとの認識を示した。 法律実務における生成AIの誤用が繰り返されている現状への警告である。 Aarons氏は審問でリスク認識の甘さを認めた。 Reutersに対しては誠実な過失だったとの趣旨の声明を出している。

反省しているが、誠実な過失だった点を懲戒手続きで考慮してほしい

刑事弁護では依頼人の権利擁護が弁護士の責務である。 その一方で裁判所に対する誠実義務も負っている。 虚偽資料の提出は両方の義務に反する行為と評価された。 罰金と法廷侮辱の認定はその評価を反映したものである。

相次ぐ法律文書でのAI捏造問題

法律文書におけるAIの捏造問題は今回が初めてではない。 昨年は二つの法律事務所が提出した文書が問題視された。 虚偽や不正確で誤解を招く法令引用や引用文が多数含まれていたとして裁判官が強く非難した。 MyPillowのMike Lindell側の弁護士も同様の問題で罰金を科された。 AI生成の誤った引用や架空の判例引用を上申書に含めたことが理由である。

The VergeのEmma Rothの報道では、関連記事としてこうした過去の事案にも触れている。 生成AIを実務に使う弁護士が増えるにつれて発覚件数も増えている。 引用形式が整っているため一見すると正規の引用に見える。 しかし判例番号や事件名が実在しない場合がある。 条文の文言が微妙に改変されている場合もある。 裁判所や相手方が原典を確認した段階で発覚する構図である。

米国では連邦地裁や州裁がAI利用の開示規則を設ける動きを進めている。 生成AIを用いた場合は利用範囲と検証方法の申告を求める運用である。 すべての裁判所が同一基準を採用したわけではない。 それでも検証責任は提出した弁護士にあるとの原則は共通している。 今回の処分はその原則を改めて確認したものである。

検証を欠いた生成AI利用の構造

生成AIは大規模な言語資料から次に来る可能性が高い表現を生成する。 事実の記録を検索して返す仕組みではない。 そのため流暢で説得的に見える文章でも根拠が存在しない場合がある。 この現象はハルシネーションと呼ばれている。 悪意がなくても実在しない人名や事件番号が生成される。 法律文書のように形式が定型化された分野では特に発見が遅れる。

今回の弁護士は要約の正確性をAIに委ねた。 原審記録との突き合わせや一次資料の確認を省略した。 生成結果の体裁が整っていたため検証の必要性を認識しなかったと見られる。 業務効率化の圧力が背景にあった可能性もある。 上訴審の期限管理は厳格であり、記録量も膨大になる。 要約作業の負担を軽減したい動機は理解できる。 しかし刑事上訴では一つの証言が結論を左右する。 効率化と正確性の均衡を欠いた利用だったと評価できる。

AIハルシネーション悪用「HalluSquatting」攻撃出現が示すように、幻覚による架空の名称や情報は攻撃にも悪用される。 実在しない資源をあたかも存在するように扱う点が共通している。 技術の特性を理解しないまま実務に組み込む危険は法務以外にも広がる。 医療や金融など記録の正確性が求められる領域でも同様の課題があると見る。 出力の流暢さと事実の正確性は別の指標である。 この区別を運用に組み込む必要がある。

法務現場に求められる対策と運用

法務現場では生成AIの利用禁止ではなく検証工程の組み込みが課題になる。 起草支援と事実認定を分離する設計が有効と見る。 AIには論点整理や草案作成を担わせる。 証言内容や判例引用は必ず原審記録と判例集で確認する。 二人以上の目で確認する体制も重要である。 提出責任者が原典を確認した記録を残す運用が求められる。

技術面では引用根拠の提示機能や出典連結の活用が挙げられる。 検索拡張生成を用いて記録文書のみを参照させる手法もある。 それでも最終的な正確性の保証にはならない。 出力に含まれる人名や日付はすべて疑って確認する姿勢が必要である。 事務所内での教育訓練も不可欠と見る。 AIの仕組みと限界、検証手順を標準化する必要がある。 依頼人への説明責任としてAI利用の範囲を開示する運用も広がると見る。

刑事事件では誤情報の影響が特に大きい。 無罪主張の根拠が架空であれば依頼人の利益を損なう。 裁判所の審理時間を浪費し、司法への信頼も損なう。 今回の5000ドルの罰金は金額以上に象徴的な意味を持つ。 法廷侮辱の認定は職業倫理への違反を示した。 他の法域の弁護士にも検証責任を再認識させる効果があると見る。

編集部の見解

短期的には法律事務所での生成AI利用指針の整備が加速すると見る。文書作成時の出典確認を義務付ける運用が広がる可能性がある。検証工程を受注条件に含める企業法務も増えると見る。 長期的には法曹教育と技術設計の双方に変化が及ぶと見る。法科大学院でのAI検証訓練が必修化する可能性がある。生成AI側でも引用根拠の提示機能が標準化すると見る。 編集部からの問いとして残るのは責任の所在である。利用者の注意不足か提供側の設計不足かは未整理である。誤情報が人命に関わる領域で何を許容すべきか議論が必要だと考える。

参考

• 「Lawyer fined $5K over AI-hallucinated witnesses in a murder case」, by Emma Roth — The Verge, 2026-09-11T20:44:02.000Z (ARR)
• 元記事URL: https://www.theverge.com/ai-artificial-intelligence/994207/chatgpt-new-mexico-lawyer-fined-murder-appeal