生成AIの業務利用が広がるにつれ、事故の事例も蓄積されてきた。ただし、流通している「事故まとめ」の中には、一次情報を確認すると生成AIが関与していなかったものや、金額・時期が不正確なものが含まれている。
本記事では、2025年以降に起きた生成AIの事故を4つの類型に整理する。掲載しているのは、報道機関の一次発表・裁判所の記録・当事者の公表で確認できた事実に限定した。あわせて、事故情報そのものが誤って流布する現象も類型のひとつとして扱う。
この記事の対象読者
- 生成AIの社内利用ルールを策定する立場にある法務・情報システム部門の方
- AI活用の稟議で「リスクは何か」を説明する必要がある推進担当者の方
- 他社事例をもとにした社内啓発資料を作成している方
2025年以降の生成AI事故は4つの類型に整理できる
| 類型 | 事故の構造 | 責任を負う主体 |
|---|---|---|
| 類型1：学習データの無断利用 | AI事業者が権利者の許諾なくコンテンツを収集・利用する | AI事業者 |
| 類型2：ハルシネーションの成果物混入 | 生成された虚偽の情報を検証せず納品物・提出物に載せる | 利用者（企業・専門職） |
| 類型3：チャットボットの発言責任 | 自社が提供するAIの誤回答に、企業として拘束される | AIを設置した企業 |
| 類型4：事故情報の誤った流布 | AIが関与していない事故が「AI事故」として拡散する | 情報の受け手全員 |
企業の実務担当者にとって重要なのは、類型2と類型3が「自社が加害者にも被害者にもなる」領域だという点である。類型1はAI事業者側のリスクであり、利用企業が直接被告になる事例は現時点で確認されていない。
類型1：学習データの無断利用が訴訟になる
日経・朝日によるPerplexity提訴（2025年8月）
朝日新聞社と日本経済新聞社は2025年8月26日、生成AI検索サービスを提供する米Perplexity AIに対し、著作権侵害行為の差し止めと損害賠償を求めて東京地方裁判所に共同提訴した。請求額は各社22億円、合計44億円である。
両社の主張の要点は、Perplexityが自社サーバーに収録された記事を許諾なく複製・保存し、2024年6月以降、記事内容を含む回答を利用者に繰り返し表示していたこと、そして両社がrobots.txtによって利用拒否の意思表示をしていたにもかかわらず、これが無視されたことにある。
読売新聞グループの提訴（2025年8月）
これに先立ち、読売新聞グループ3社も2025年8月7日に同社を提訴している。日本の大手新聞社が相次いで同一のAI事業者に対して法的措置を取る事態となった。
Anthropicの和解（15億ドル）
米国では、AI開発企業Anthropicに対する著作者側の集団訴訟（Bartz v. Anthropic）が、15億ドルの支払いで和解した。カリフォルニア州北部地区連邦地方裁判所が2026年7月20日に最終承認している。対象は約48万点の作品で、1作品あたり約3,100ドルの配分となる。
この和解で押さえるべき点は、免責の範囲が限定されていることである。和解によって放棄されるのは2025年8月25日までの取得・複製に関する請求のみで、AIの出力内容に関する請求と将来の行為に関する請求は対象外とされている。
実務への含意
利用企業が直ちに被告となる構図ではないが、次の2点は実務に影響する。
- 使っているサービスが訴訟対象になり得る：主力業務を単一のAIサービスに全面依存すると、サービス停止や仕様変更が業務停止に直結する
- 自社コンテンツ側の意思表示：自社サイトのコンテンツをAIに利用されたくない場合、
robots.txt等での意思表示が争点の前提になる。上記訴訟では、この意思表示の有無と無視の事実が主張の中核に置かれている
類型2：ハルシネーションが成果物に混入する
この類型が、企業実務にとって最も現実的なリスクである。加害者になるのは利用者側であり、専門性の高い業務ほど損害が大きい。
Deloitteの豪州政府向け報告書（2025年）
コンサルティング大手Deloitteが豪州の雇用・職場関係省（DEWR）向けに作成した報告書に、実在しない文献の引用と、存在しない裁判所判断への言及が含まれていた。報告書は2025年7月4日に公表され、契約額は約44万豪ドルだった。
問題を発見したのは、シドニー大学の研究者を含む学術関係者である。報告書が参照している文献の一部が実在しないことを指摘した。Deloitteは生成AIを限定的に使用していたことを認め、修正版を公表するとともに部分的な返金に応じた。同社は、誤りは脚注と参考文献にとどまり、レビューの本質と提言に変更はないとしている。
米国の弁護士に対する制裁（2025年）
米国では、生成AIが作り出した架空の判例を含む書面を提出した弁護士への制裁が相次いだ。カンザス連邦地方裁判所は2025年2月2日、原告側弁護士5人に対し連邦民事訴訟規則第11条に基づく制裁を科す決定を下している。別の事案では、1件あたり5,000ドル×3件の計15,000ドルの制裁金が勧告された。
注目すべきは、弁護士本人が架空判例の混入に気付いていなかったケースが存在することである。ミシシッピ州の事案では、4人の弁護士が、自分たちの書面に実在しない判例が引用されていたことを裁判官の指摘で初めて認識したと述べている。
実務への含意
この類型の事故は、AIの精度ではなく検証プロセスの欠落によって起きる。対策は技術的なものではない。
- 一次資料の確認を工程に組み込む：生成された引用・数値・法令・判例は、出典に当たって確認するまで未確認として扱う
- 検証コストを見積もりに含める：AIで作業時間が短縮される分、検証工程の時間を確保する。短縮分を全て納期短縮に充てると、この事故が起きる
- AIの使用範囲を成果物に明示する：Deloitteの事案では、使用の事実が事後に問題化した。事前開示が争点化を防ぐ
引用の検証を省いた成果物は、AIを使ったかどうかにかかわらず不備である。生成AIは、その不備が起きる確率を大きく引き上げる。
類型3：チャットボットの発言が企業を拘束する
Moffatt v. Air Canada（2024年）
2025年以降の事案ではないが、この類型の基礎となる判断であるため取り上げる。
カナダのブリティッシュコロンビア州民事解決裁判所は2024年2月、Air Canadaのウェブサイト上のチャットボットが利用者に誤った案内（遺族割引運賃を事後申請できるという説明）を行った件について、同社の責任を認めた（Moffatt v. Air Canada, 2024 BCCRT 149）。賠償額はカナダドルで812.02ドルである。
金額は小さいが、判断の内容が重要である。Air Canadaは「チャットボットは自社サイトの一部ではあるが独立した存在であり、その不正確さについて責任を負わない」と主張したが、裁判所はこれを退けた。サービス提供者と消費者という関係のもとで注意義務を負うと判断している。
実務への含意
- 自社が設置したAIの回答は、自社の説明として扱われる：「AIの出力であり当社の見解ではない」という免責表示だけでは責任を免れない前提で設計する
- 回答範囲を制限する：料金・契約条件・保証内容といった、誤ると金銭的責任が生じる領域は、AIに自由回答させず定型回答か有人対応に振り分ける
- サイト内の情報の整合を取る：この事案では、チャットボットの説明と別ページの記載が矛盾していた。情報源が二重化していること自体が原因のひとつである
類型4：AIを使っていない事故が「AI事故」として流布する
最後の類型は、事故そのものではなく、事故情報の扱いに関するものである。
山形鉄道のボイスフィッシング（2025年3月）
2025年3月10日、第三セクターの山形鉄道が、山形銀行を装った電話をきっかけに約1億828万円を不正送金される被害に遭った。手口は、自動音声電話でネットバンキング契約者情報の更新を求め、偽サイトへ誘導してログイン情報とワンタイムパスワードを入力させ、その後に自動音声から銀行員を装った人物に切り替わるというものである。同日、県内の複数企業が同種の被害を受けたとされる。
この事案は、生成AIの事故事例として紹介されていることがある。しかし、詳細な経過を追った記録や報道で確認できるのは「自動音声」という記述であり、音声合成やボイスクローンといった生成AI技術が使われたことを示す一次情報は確認できない。自動音声応答（IVR）は生成AI以前から存在する技術である。
なぜ検証が必要か
社内啓発資料に誤った事例を載せると、次の2つの実害が出る。
- 対策が的外れになる：この事案の教訓は「送金手続きの多要素認証と承認フローの設計」であって、「AI音声の検知」ではない。原因を取り違えると投資先を間違える
- 推進側の信頼が損なわれる：一箇所の誤りが指摘されると、資料全体の信頼性が疑われる。AI推進に慎重な立場の関係者にとって、格好の反論材料になる
事例を引用する際は、当事者の公表・報道機関の一次発表・裁判所の記録に当たり、AIの関与が明記されているかを確認する。「AIが使われたとみられる」という推測を、事実として転記しない。
類型別の実務対策
| 類型 | 主な対策 | 責任部門 |
|---|---|---|
| 類型1：学習データ | 主力業務のAIサービス単一依存を避ける。自社コンテンツの利用可否を意思表示する | 法務・情報システム |
| 類型2：ハルシネーション | 一次資料の確認を工程化。検証工数を見積もりに含める。AI使用範囲を成果物に明示 | 各業務部門 |
| 類型3：チャットボット | 金銭的責任が生じる領域は定型回答か有人対応。サイト内情報の整合を取る | 顧客対応・マーケティング |
| 類型4：情報の検証 | 事例引用時に一次情報を確認。推測を事実として転記しない | 推進事務局・広報 |
このうち類型2の対策は、AI導入の効果試算に直接影響する。検証工程を工数に含めずに削減効果を見積もると、実際の削減率は試算を下回る。業務ごとの削減見込みを立てる手順は「AIアセスメントとは？業務棚卸しと投資対効果の設計」で解説している。
日本の実務ガイドライン動向
専門職団体でも、生成AI利用の指針整備が進んでいる。東京弁護士会は2025年3月27日に「弁護士業務における生成AIサービスの適正利用ガイドライン」を施行し、出力結果を業務に用いる場合には一次資料の確認を含む検証を行うことを推奨している。
この「一次資料の確認」という要求は、法律業務に限った話ではない。引用・数値・出典を含む成果物を扱う全ての業務に共通する。
FDXの支援
FDX株式会社は、生成AIの業務適用を「どの業務に、どの手段で、どこまで任せるか」の設計から支援している。事故の多くは、AIの性能ではなく適用範囲と検証工程の設計に起因する。
- 1Day AIアセスメント：業務を棚卸ししたうえで、AI対応可能性と条件（データの所在、検証の要否、セキュリティ要件）を業務ごとに判定する。検証工程を織り込んだうえで削減見込みを算出する
- 1Day FDE：実装と現場教育を週次で回し、運用ルールを現場に定着させる
適用範囲の設計そのものについては「業務効率化AIの選び方」および「AI PoCが失敗する5つの構造的理由と回避策」もあわせて参照されたい。
よくある質問（FAQ）
Q1. 生成AIを業務利用している企業が、著作権侵害で訴えられるリスクはあるか？
A. 2026年8月時点で、日本国内において生成AIの利用企業が学習データの著作権侵害を理由に提訴された事例は確認されていない。提訴の対象となっているのはAI事業者側である。ただし、AIの出力をそのまま公開コンテンツとして使用し、それが既存著作物と実質的に同一である場合は、利用企業側の責任が問われ得る。出力の利用局面と、学習の局面は分けて考える必要がある。
Q2. 「AIが生成した内容であり正確性を保証しない」と明示すれば責任を回避できるか？
A. 免責表示のみで責任を免れる前提に立つべきではない。Moffatt v. Air Canada（2024 BCCRT 149）では、チャットボットを独立した存在として扱い責任を否定する主張が退けられている。金銭的責任が生じ得る領域（料金、契約条件、保証内容など）については、免責表示に頼らず、AIの回答範囲そのものを制限する設計が現実的である。
Q3. ハルシネーションを技術的に完全になくすことはできるか？
A. 現時点で完全な除去は期待できない。RAG（検索拡張生成）や出典明示の仕組みで発生率を下げることはできるが、ゼロにはならない。実務上の前提は「発生する」であり、対策は検証工程の設計に置く。特に引用・数値・法令・判例は、出典に当たって確認するまで未確認として扱う運用が必要である。
Q4. 社内啓発資料に他社の事故事例を載せる際、何に注意すべきか？
A. 一次情報の確認である。流通している事故まとめには、生成AIが関与していない事案がAI事故として掲載されていることがある。本記事で取り上げた山形鉄道のボイスフィッシング（2025年3月）はその一例で、確認できる記録では「自動音声」とされており、生成AI技術の使用を示す一次情報は見当たらない。誤った事例は対策の方向を誤らせるうえ、指摘された際に資料全体の信頼性を損なう。
Q5. 生成AIの利用ルールは、どの部門が策定すべきか？
A. 単独部門では完結しない。学習データと契約に関する論点は法務、入力データの管理と権限設計は情報システム、成果物の検証工程は各業務部門が担う。実務上は、推進事務局が横断で取りまとめ、類型ごとに責任部門を明示する形が機能しやすい。ルールを1本の文書にまとめること自体より、誰が何を確認するかを業務手順に組み込むことが重要である。
Q6. 事故を恐れて利用範囲を絞りすぎると、効果が出ないのではないか？
A. その通りであり、過度な制限は別のコストになる。現実的な解は、業務を棚卸ししたうえで「検証が必要な業務」と「検証が軽い業務」を分けることである。社内向けの下書き作成や要約は検証負荷が軽く、外部提出物や法的効果を持つ文書は検証を厚くする。一律のルールで全業務を縛るのではなく、業務単位で条件を設定する方が、リスクと効果の両立に近づく。
次に読むべき記事
まとめ
- 2025年以降の生成AI事故は、学習データの無断利用・ハルシネーションの成果物混入・チャットボットの発言責任・事故情報の誤った流布の4類型に整理できる
- 類型1（学習データ）で提訴されているのはAI事業者側。日経・朝日は2025年8月26日にPerplexityを東京地裁に提訴し各22億円を請求、読売新聞グループも同年8月7日に提訴している
- 米国ではAnthropicの著作者集団訴訟が15億ドルで和解し、2026年7月20日に最終承認された。ただし免責範囲は過去の取得・複製に限定され、出力に関する請求は対象外
- 類型2（ハルシネーション）が企業実務で最も現実的なリスク。Deloitteの豪州政府向け報告書、米国弁護士への制裁はいずれも検証工程の欠落が原因
- 類型3（チャットボット）では、Moffatt v. Air Canada（2024 BCCRT 149）が「チャットボットは別個の存在」という抗弁を退けた。免責表示に頼らず回答範囲を制限する設計が要る
- 類型4は、AIが関与していない事故がAI事故として流布する現象。事例引用時は一次情報でAIの関与を確認する
- 対策の中心は技術ではなく、適用範囲の設計と検証工程の工数確保にある
生成AIの適用範囲を設計する
どの業務にどこまでAIを任せるか、検証工程をどう織り込むかを、業務単位で判定します。
社内ルールの設計についてのご相談は、お問い合わせからご連絡ください。
出典・参考文献
- 株式会社日本経済新聞社「生成AI事業者を著作権侵害で共同提訴」（2025年8月26日）
- 朝日新聞社・日本経済新聞社によるPerplexity AI提訴に関する各社報道（2025年8月）
- 読売新聞グループ本社によるPerplexity AI提訴に関する報道（2025年8月7日）
- Bartz v. Anthropic（米国カリフォルニア州北部地区連邦地方裁判所、和解最終承認2026年7月20日）
- Deloitte豪州法人による雇用・職場関係省（DEWR）向け報告書の修正および返金に関する報道（2025年10月）
- 米国カンザス連邦地方裁判所による連邦民事訴訟規則第11条に基づく制裁決定（2025年2月2日）
- Moffatt v. Air Canada, 2024 BCCRT 149（カナダ・ブリティッシュコロンビア州民事解決裁判所、2024年2月）
- 山形鉄道の不正送金被害に関する公表および報道（2025年3月）
- 東京弁護士会「弁護士業務における生成AIサービスの適正利用ガイドライン」（2025年3月27日施行）