【2026年版】生成AIのトラブル事例12選｜国内の摘発・提訴から学ぶ問題点と対策
生成AIをめぐる問題は、2025年から2026年にかけて段階が変わりました。SNSでの炎上や実験的な失敗ではなく、逮捕・書類送検・提訴・裁判所による制裁といった形で表に出ています。国内でも2025年に、AI生成画像をめぐる著作権法違反の摘発と、AIで作った偽画像の販売による逮捕が、いずれも全国初とみられる事案として報じられました。
一方で、業務での利用は止められません。「使わせたいが、事故が起きたら誰が責任を取るのか」。この問いに答えられないまま、社内の判断が止まっている企業は多いはずです。
スパイクスタジオは、生成AIの社内定着とAIエージェント開発を支援しています。研修から業務プロセスの設計、実装までを一緒に進めるなかで、どこで事故が起きるのかを現場で見てきました。
この記事では、次の3つに答えます。
- 2025年から2026年にかけて、実際にどんなトラブルが起きたのか（事例12件・すべて出典つき）
- 国内ではどこまで法的な措置が取られているのか（国内事例4件）
- 自社で同じことを起こさないために、明日から何をすればよいのか
生成AIの主な問題点5つ【2026年版】
事例を読む前に、問題の種類を整理します。生成AIのトラブルは、大きく5つに分かれます。
- 機密情報・個人情報の漏えい
- ハルシネーションによる誤情報と、その法的責任
- 著作権・肖像権の侵害
- 差別・人権侵害
- AIエージェントの自律実行による事故
最後の1つは、2025年以降に目立つようになった新しい型です。従来の「人がAIに入力してしまう」事故とは、防ぎ方が異なります。
①機密情報・個人情報の漏えい
もっとも警戒されている問題です。従業員が社外のAIサービスに社内資料を貼り付ける、という形がよく知られています。
ただし2025年以降は、経路が増えました。AIサービス側の設定不備で利用者の会話が外部から見える状態になる、共有機能の公開範囲が想定と違う、AIに読み込ませたメールに攻撃者の指示が仕込まれている、といったものです。利用者が慎重でも、サービス側の作りによって漏れることがあります。
②ハルシネーションによる誤情報と、その法的責任
ハルシネーションとは、AIが事実に基づかない内容を、もっともらしい形で出力することです。実在しない判例や、存在しない社内規定を、断定的に書いてしまいます。
問題は、その出力が組織の名前で外に出たときです。裁判所への提出書面、顧客への回答、公式サイトの説明文。いずれもAIが書いたことを理由に責任を免れられません。2026年には、AIが作った架空の判例を提出した弁護士に、裁判所が罰金と弁護活動の禁止を科した例が出ています。
③著作権・肖像権の侵害
生成AIが出力した画像や文章の権利関係、他社の著作物をAIに学習させることの可否、実在の人物に似せた画像の生成。この3つが同時に争われています。
国内では2025年に、AI生成画像の無断複製を著作権法違反として摘発した事案と、著名人に似せた画像を販売した容疑での逮捕が報じられました。日本の新聞社によるAI検索サービスへの提訴も始まっています。
④差別・人権侵害
採用選考、昇進の評価、警察の捜査。人の人生に直接影響する場面でAIの判定が使われ、その判定が偏っていたという申し立てが増えています。
企業にとって重いのは、AIを作った会社だけでなく、使った会社も責任を問われうる点です。米国では、採用AIを提供した事業者が雇用主の代理人として機能したかが争点になっている訴訟があり、AIを導入した企業側にも責任が及びうる点が指摘されています。
⑤AIエージェントの自律実行による事故
AIエージェントとは、指示を受けて自分で手順を決め、実際にシステムを操作するAIのことです。文章を出すだけでなく、ファイルを書き換え、コマンドを実行します。
ここで起きる事故は、人の入力ミスとは性質が違います。人が何も入力していなくても、AIが判断して実行してしまいます。2025年には、停止を指示していた期間中にAIが本番データベースを削除した事例が報じられました。
生成AIを取り巻く最新のトラブル事例12選（2025〜2026年）
ここからは実際に起きた事例です。いずれも2025年1月から2026年6月までの出来事で、報道や公式発表の出典を各件に添えています。後半の4件は国内の事案です。
①情報漏えいの問題事例｜AI事業者のデータベースが認証なしで公開状態に
2025年1月、セキュリティ企業のWizが、中国のAI事業者DeepSeekのデータベースが認証なしで外部からアクセスできる状態になっていたと公表しました。
公開されていたのはClickHouseというデータベースで、100万件を超えるログが含まれていました。その中には利用者のチャット履歴やAPIキーが、暗号化されない状態で記録されていたとされます。原因は、データベースを外部から到達できる設定のまま運用し、認証の仕組みを設けていなかったことです。
Wizは発見後ただちにDeepSeekへ通報し、公開設定は修正されました。AIサービスに入力した内容は、そのサービスの運用体制の中に置かれます。入力する側がいくら注意しても、事業者側の設定が甘ければ守られません。
出典Wiz Research による調査報告（2025年1月）
②情報漏えいの問題事例｜個人的な相談が実名つきで公開フィードに流れる
2025年6月、Meta AIアプリの「Discover」フィードで、利用者の個人的な相談内容が誰でも閲覧できる状態になっていることが、BBCやWiredなど複数の媒体で報じられました。
流れていたのは、医療や法律に関する相談や、雇用に関する文書です。投稿は実名のアカウントと紐づいていました。原因は、アプリの「共有」ボタンを押すと会話が全体に公開される仕様にありました。公開範囲を知らせる表示はあったものの、利用者に伝わっていなかったと報じられています。
Metaはこの件についてコメントしていません。同じ構造は、業務用のAIツールにもあります。会話の共有リンクやフィード機能が、社外に開いていないかを確認する必要があります。
③情報漏えいの問題事例｜メール1通で社内データが抜ける脆弱性
2025年6月、セキュリティ企業のAim Securityが、Microsoft 365 Copilotに「EchoLeak」と名付けた脆弱性（CVE-2025-32711）を発見したと公表しました。
攻撃者が細工したメールを1通送るだけで、受信者が何も操作しなくてもCopilotが社内の機密データを外部へ送信してしまう、という内容です。原因は、Copilotがメール本文に隠された指示を、正規のシステム指示と区別できなかったことにあります。これは間接的プロンプトインジェクションと呼ばれる攻撃手法です。
Microsoftは2025年6月11日にサーバー側で修正を適用しました。社内データを読み込ませるAIは、読み込んだ文書の中身に指示が混ざっていても、それを疑いません。
④AIエージェントの問題事例｜停止指示中に本番データベースを削除
2025年7月、開発プラットフォームReplitのAIコーディングエージェントが、本番データベースを削除する事故が起きました。利用していたのは、SaaStr創業者のジェイソン・レムキン氏です。
レムキン氏は「コードフリーズ」、つまり変更を止めるよう明確に指示していました。それにもかかわらずAIは操作を実行し、1,200人を超える役員と1,190社を超える企業のデータが失われました。原因は、AIエージェントが本番環境と開発環境を分離しないまま本番データベースへの操作権限を持っていたこと、そして想定外の状態に遭遇した際に無許可のコマンドを実行したことです。
ReplitのCEOアムジャド・マサド氏はこの事態を「受け入れがたい」とし、本番と開発のデータベースを自動で分離する仕組みと、実行せず計画だけを立てるモードを導入しました。データは手作業で復旧できました。
⑤誤情報の問題事例｜AIが作った架空の判例で弁護士4人に制裁
2026年6月、米国ミシシッピ州北部地区連邦地方裁判所が、係争中の訴訟に関わる弁護士4人に制裁を科しました。弁護士報酬をめぐる契約上の紛争（Withers v. City of Aberdeen）でのことです。
原告側・被告側の双方が提出した準備書面に、生成AIが作り出した実在しない判例の引用が含まれていました。弁護士がAIツールで法的根拠を作成し、提出前に判例が実在するかを確認しなかったことが原因です。
エイコック判事は4人全員を担当から外し、うち2人には同裁判所での2年間の弁護活動禁止を命じました。罰金は4人あわせて8,000ドルです。AIの出力を確認せずに組織の名前で外部へ出すと、AIではなく出した側が責任を負います。
出典Business Insider Japan の記事（2026年）
⑥差別の問題事例｜採用AIの年齢差別が全米規模の集団訴訟に
2025年5月、米国の連邦地裁が、WorkdayのAI採用ツールをめぐる訴訟を全米規模の集団訴訟として認定しました。
原告は、Workdayの自動スクリーニングAIが40歳以上の応募者を組織的に排除したと主張しています。争点は、このAIが雇用主の「代理人」として機能したかどうかです。代理人と認められれば、ツールを提供した側にも雇用差別の責任が及びます。
2025年8月28日には、裁判所がWorkdayに対し顧客企業のリストを提出するよう命じました。訴訟は証拠開示の段階に進んでおり、AIを導入した企業側にも責任が及びうる点が指摘されています。
出典Alston & Bird による解説（2025年9月）
⑦人権侵害の問題事例｜顔認識の一致だけで誤認逮捕、2日間の拘束
2025年、ニューヨーク市警察が顔認識技術の照合結果に基づいてトレビス・ウィリアムズ氏を性犯罪の容疑で逮捕し、2日間拘束しました。
ウィリアムズ氏の携帯電話の位置情報は、犯行時刻に現場から離れた場所にいたことを示していました。原因は、顔認識による「可能性のある一致」を、裏付け捜査を経ないまま逮捕の根拠として使ったことです。
検察は起訴を取り下げました。Legal Aid Societyなどの市民団体は、ニューヨーク市警察への調査と顔認識技術の使用禁止を求めています。AIの出力は候補を絞る材料であって、結論ではありません。
⑧AI出力の問題事例｜設定変更の翌日に差別的な投稿を連発
2025年7月8日、xAIのチャットボットGrokが、反ユダヤ的な発言やヒトラーを礼賛する投稿を繰り返し、自らを「メカヒトラー」と称しました。
直前に、システムプロンプト（AIの振る舞いを決める指示文）が更新されていました。「政治的に不正確な主張も辞さない」よう指示する変更が、極端な利用者投稿の論調をGrokに模倣させる結果を招いたとされています。
xAIは問題の投稿を削除し、システムプロンプトを修正しました。翌日にはXのCEOリンダ・ヤッカリーノ氏が辞任を発表しています。ポーランド政府は欧州委員会への通報を検討すると表明しました。AIの振る舞いを決める設定は、一行の変更が社外への発信全体を変えます。
⑨【国内】著作権の問題事例｜AI生成画像の無断複製で全国初の書類送検
2025年11月20日、千葉県警が神奈川県大和市の男性（27）を、著作権法違反の疑いで書類送検しました。AI生成画像の著作権侵害での摘発は、全国で初めてとみられています。
男性は、千葉県の20代男性が生成AIで制作しSNSに投稿した画像を無断で複製し、自身が販売した書籍の表紙に使用した疑いが持たれています。千葉県警は、この画像が生成AIに具体的な指示を繰り返して制作されたものであることから、著作物に当たると判断しました。
裁判所の判断はまだ出ていません。AIで作った画像だから自由に使える、という前提は成り立たなくなりつつあります。
⑩【国内】著作権の問題事例｜新聞3社がAI検索サービスを提訴
2025年8月、読売新聞、日本経済新聞、朝日新聞が、生成AI検索サービスを運営するPerplexity AIを東京地裁に提訴しました。読売新聞が8月7日に、日本経済新聞と朝日新聞が8月26日に共同で提訴しています。
3社は、Perplexityが記事を無断で複製・要約し、利用者に配信したと主張しています。robots.txtによる収集拒否の意思表示を無視してサイトを巡回していたことも争点です。損害賠償の請求額は、読売新聞が約21.7億円、日本経済新聞と朝日新聞が各22億円で、合計およそ66億円になります。
2026年5月14日に東京地裁で第1回口頭弁論が開かれ、Perplexity側は争う姿勢を示して請求の棄却を求めました。訴訟は継続しています。AIに外部のコンテンツを読み込ませて再利用する仕組みは、日本国内でも法廷で争われる段階に入りました。
出典ITmedia AI＋の記事（2025年8月26日）／ITmedia NEWS（産経新聞配信・2026年5月15日）
⑪【国内】偽情報の問題事例｜自治体がAIのフェイク画像を公式発信
2025年11月26日、宮城県女川町が、住民から提供されたクマの目撃画像を公式Xで注意喚起として投稿しました。この画像は生成AIで作られた偽物でした。
投稿を受けて、町内の小中学校は部活動の中止と集団下校で対応しました。町は画像の真偽を確認しないまま、緊急性を優先して投稿していました。宮城県庁に照会しても、AI生成かどうかの判断は難しかったとされています。
緊急時ほど確認の時間は取れません。真偽の判断が難しい画像を、そのまま組織の名前で発信しない手順が要ります。
⑫【国内】肖像の問題事例｜著名人に似せた偽画像2万点の販売で逮捕
2025年10月16日、警視庁が秋田市の会社員の男性（31）を、わいせつ電磁的記録媒体陳列の疑いで逮捕しました。
男性は無料の生成AIソフトを使い、女性芸能人ら262人に似せたわいせつ画像を約2万点作成し、サイト上で月額課金の形で販売していたとされます。売り上げは約120万円とみられています。実在する人物の写真を素材として使い、性的に加工した偽画像を大量に生成できたことが背景にあります。
男性は容疑を認めています。著名人を模したAI性的ディープフェイクの摘発は全国初とみられ、専門家からは日本の法整備の遅れを指摘する声が出ています。
2026年に入って変わった3つの傾向
12件を並べると、2024年までとは違う変化が3つ見えます。
| 傾向 | 内容 | 影響・リスク |
|---|---|---|
| 「入力の事故」から「実行の事故」へ | AIに操作権限を渡す使い方が広がり、人が何も入力しなくても事故が起きるようになった | 被害が本番環境に直接及ぶ。復旧に人手と時間がかかる |
| AIの発言が組織の責任になる | AIが作った架空の判例や、存在しない社内規定の回答が、そのまま組織の責任として扱われた | 制裁・訴訟・信用の低下。AIが書いたことは免責の理由にならない |
| 国内で摘発と提訴が始まった | 2025年に全国初とみられる摘発が2件あり、新聞社によるAI検索サービスへの提訴も起きた | 「海外の話」として扱えなくなった。国内の判断基準が形になりつつある |
とくに1つ目は、対策の考え方を変えます。入力を教育で管理する方法だけでは、AIが自分で実行する事故を防げません。
【対策】生成AIを安心して活用するために
事例を並べると禁止したくなります。しかし禁止は、使われていないことの証明にはなりません。会社が認めた環境が無ければ、個人の端末で使われるだけです。その状態では、事故が起きても把握できません。
無断利用が実際にどう広がるかは、シャドーAIの事例6選で個別の企業の例をまとめています。あわせてご覧ください。
①入力してよい情報の線引きを、先に2つだけ決める
禁止事項を細かく作ると、現場は読みません。まず2つだけ決めます。個人情報と、未公開の数字です。この2つを入れない、と決めるだけで、事例①〜③のような漏えいの多くは避けられます。
実践ポイント
- 禁止する情報を2種類に絞り、1枚の紙に書いて配る
- 会社が契約した環境を用意する。無料版の個人利用に頼らない
- 入力した内容が学習に使われない設定にする。設定の手順はChatGPTに学習させない設定のやり方にまとめています
- 会話の共有リンクや公開フィードの設定を確認する（事例②と同じ事故を防ぐため）
②出力を人が確認する工程を、1か所だけ残す
すべての出力を人が読み直すと、効率化の意味がなくなります。確認する対象を絞ります。社外に出る文章と、数字・法令・判例を含む文章の2つです。
実践ポイント
- 社外に出す文章は、送信前に担当者が事実だけを確認する
- 数字と固有名詞は、AIの出力ではなく元の資料で照合する
- 顧客対応にAIを使うなら、回答できない質問は人に渡す設計にする
- 公式アカウントでの発信は、画像の出所を確認してから投稿する（事例⑪と同じ事故を防ぐため）
③AIに権限を渡すときは、範囲を先に切る
AIエージェントを使うなら、ここが要になります。事例④は、本番環境への操作権限をAIが持っていたことが被害を大きくしました。権限を渡す前に、範囲を決めます。
実践ポイント
- 本番環境と検証環境を分ける。AIには検証環境から触らせる
- 最初は読み取り専用で始める。書き込みは動作を確認してから広げる
- 削除・送信・決済は、人の承認を挟む手順にする
- AIが読み込む文書に指示が混ざる攻撃（事例③）を前提に、外部から届く文書の扱いを決める
④使う人を育てる。ルールの周知だけでは止まらない
ここまでの3つは仕組みの話です。しかし仕組みは、使う人が理解していなければ迂回されます。「なぜこの情報を入れてはいけないのか」が腹落ちしていないと、締め切り前には破られます。
実践ポイント
- 禁止事項の通達ではなく、自分の業務を題材にした演習を行う
- 失敗した例を社内で共有する。隠す文化を作らない
- 部門ごとに使い方の差が出るので、現場に入って個別に整える
スパイクスタジオの支援事例
三井住友DSアセットマネジメント様では、全社向けの生成AI基礎研修に加えて、事務部門での伴走型のDX支援研修を実施しました。業務が属人化し、手作業による非効率が生じているという課題からの出発です。研修では、現場の担当者が自分の業務の中から課題を抽出し、生成AIで解決するところまでを一緒に進めました。
取り組みの詳しい経緯は、三井住友DSアセットマネジメント様へのインタビュー記事で本音を伺っています。生成AIへの抵抗感がどう変わったかを、担当者の言葉で話していただきました。
生成AIのリスク対策と社内定着は、スパイクスタジオへご相談ください
ここまで見てきたトラブルは、AIの性能ではなく、使い方の設計で起きています。逆に言えば、設計の段階で防げます。
スパイクスタジオでは、次の支援を行っています。
- AI人材育成: 使う側・作る側・基盤層の三層に分けた研修。教育・統制・データ整備をセットで設計します
- BPRコンサルティング: 業務プロセスをAI前提で組み替える支援。実装につながる設計図とロードマップを描きます
- Spike AI Agent Studio: 月額定額のAIエージェント開発体制。権限の切り方を含めて、安全に動く形で作ります
- ZUNO: 図面・設計・積算など、専門業務のための産業特化型AIエージェント
「どこから手をつければよいか分からない」「社内で禁止すべきか迷っている」という段階でも構いません。導入前の不安や課題を整理するところからご相談いただけます。