本文へスキップ
Spike Studio
生成AI基本

生成AIの問題事例13選|トラブルの原因や対処法を紹介

生成AIをめぐる問題は、2025年から2026年にかけて段階が変わりました。SNSでの炎上や実験的な失敗だけでなく、逮捕・書類送検・提訴・裁判所による制裁といった形で表に出ています。国内でも、AI生成画像をめぐる著作権法違反の摘発や、AIで作った偽画像の掲載による逮捕が、いずれも全国初とみられる事案として報じられました。

一方で、業務で利用する企業も増えています。そんな中、「使わせたいが、事故が起きたら誰が責任を取るのか」。この問いに答えられないまま、社内の判断が止まっている企業は多いはずです。

この記事では、2025〜2026年に実際に起きた生成AIの問題事例13件と、その共通点から見える5つの問題点、企業が取るべき対策を解説します。

目次

生成AIの問題事例13選

ここからは実際に起きた事例です。いずれも2025年1月から2026年9月までの出来事で、報道や公式発表の出典を各件に添えています。はじめの5件は国内の事案です。

①【国内】情報漏洩の問題事例|社員が私用のAIに顧客の疾患情報を入力

2026年9月3日、RIZAP株式会社は、健康経営・保険者事業部の社員が顧客データを私用の生成AIサービスへ誤って送信したと公表しました。

送られたのは、特定保健指導のデータ集計作業で扱っていた氏名・生年月日・保険証の記号番号・メールアドレスに加え、高血圧症や糖尿病といった疾患情報です。個人情報保護法でとくに慎重な取り扱いが求められる要配慮個人情報が含まれていました。対象は2026年1月1日から8月19日までに登録されたデータの一部です。

同社は事象の直後にチャット履歴を削除して学習への利用を止め、個人情報保護委員会へ報告しました。AI事業者への照会では、学習には使われていないと確認されています。今回は、個人で使っている外部の生成AIサービスに、誤って対象データをアップロードしたとされています。組織に無断で使われる生成AIの実態は、シャドーAIの事例6選にまとめています。

出典RIZAP株式会社の公表(2026年9月3日)

②【国内】著作権の問題事例|AI生成画像の無断複製で全国初の書類送検

2025年11月20日、千葉県警が神奈川県大和市の男性(27)を、著作権法違反の疑いで書類送検しました。AI生成画像の著作権侵害での摘発は、全国で初めてとみられています。

男性は、千葉県の20代男性が生成AIで制作した画像を無断で複製し、自身が販売した書籍の表紙に使用した疑いが持たれています。千葉県警は、この画像が生成AIに具体的な指示を繰り返して制作されたものであることから、著作物に当たると判断しました。

AIで作った画像だから自由に使える、とは限らないことを示す事案です。

出典熊本日日新聞(共同通信配信・2025年11月20日)

③【国内】著作権の問題事例|新聞3社がAI検索サービスを提訴、請求はおよそ66億円

2025年8月、読売新聞、日本経済新聞、朝日新聞が、生成AI検索サービスを運営するPerplexity AIを東京地裁に提訴しました。読売新聞が8月7日に、日本経済新聞と朝日新聞が8月26日に共同で提訴しています。

3社は、Perplexityが著作権法上の複製権・翻案権・公衆送信権を侵害していると主張したと報じられています。robots.txtによる収集拒否の意思表示を無視してサイトを巡回していたことも争点です。損害賠償の請求額は、読売新聞が約21.7億円、日本経済新聞と朝日新聞が各22億円で、合計およそ66億円になります。

2026年5月14日には、朝日新聞・日本経済新聞の訴訟の第1回口頭弁論が東京地裁で開かれ、Perplexity側は争う姿勢を示して請求の棄却を求めました。訴訟は継続しています。AIに外部のコンテンツを読み込ませて再利用する仕組みは、日本国内でも法廷で争われる段階に入りました。企業が自社の制作物で同じ問題に巻き込まれる経路は、生成AIによる著作権侵害事例10選で10件に分けて整理しています。

出典ITmedia AI+の記事(2025年8月26日)/ITmedia NEWS(産経新聞配信・2026年5月15日)

④【国内】肖像の問題事例|著名人に似せた偽画像をSNSに掲載し逮捕、閲覧料は約120万円か

2025年10月16日、警視庁が秋田市の男性(31)を、わいせつ電磁的記録記録媒体陳列の疑いで逮捕したことが報じられました。

男性は、インターネットで無料公開されている画像生成AIに女優やアイドルらの画像データを学習させ、女優やアイドル、アナウンサー計262人に酷似したわいせつ画像を作成していたとされます。約2万点をSNSに掲載し、閲覧者を5段階にランク分けして料金に応じた画像を見せることで、計約120万円の閲覧料を得ていたとみられています。画像生成AIで作成された芸能人らに似せたわいせつ画像の摘発は、全国初とみられています。

2026年1月20日には、女優やアイドル約300人の画像を使った性的ディープフェイクを50万点以上サイトに掲載し、約1,100万円の閲覧料を得たとみられる男性(31)が、警視庁に逮捕されたと報じられています。

出典読売新聞オンライン(2025年10月16日)/読売新聞オンライン(2026年1月20日)

⑤【国内】偽情報の問題事例|自治体がAIのフェイク画像を公式発信

2025年11月26日、宮城県女川町が、住民から提供されたクマの目撃画像を公式Xで注意喚起として投稿しました。この画像は生成AIで作られた偽物でした。

投稿を受けて、町内の小中学校は部活動の中止と集団下校で対応しました。宮城県庁の担当者などに照会しても、AI生成かどうかの判断は難しかったとされています。専門家は、公的機関が情報を発信する場合は、より慎重な確認が必要だと指摘しています。

緊急時ほど確認の時間は取れません。真偽の判断が難しい画像を、そのまま組織の名前で発信しない手順が要ります。

出典khb東日本放送の報道(2025年11月28日)

⑥情報漏洩の問題事例|AI事業者のデータベースが認証なしで公開状態に

2025年1月、セキュリティ企業のWizが、中国のAI事業者DeepSeekのデータベースが認証なしで外部からアクセスできる状態になっていたと公表しました。

公開されていたのはClickHouseというデータベースで、100万件を超えるログが含まれていました。その中には利用者のチャット履歴やAPIキーが、暗号化されない状態で記録されていたとされます。原因は、データベースを外部から到達できる設定のまま運用し、認証の仕組みを設けていなかったことです。

Wizは発見後ただちにDeepSeekへ通報し、公開設定は修正されました。AIサービスに入力した内容は、そのサービスの運用体制の中に置かれます。入力する側がいくら注意しても、事業者側の設定が甘ければ守られません。

出典Wiz Researchによる調査報告(2025年1月29日)

⑦情報漏洩の問題事例|個人的な相談が公開フィードに流れる

2025年6月、Meta AIアプリの「Discover」フィードで、利用者の個人的な相談内容が誰でも閲覧できる状態になっていることが、複数の媒体で報じられました。

流れていたのは、医療や法律に関する相談や、雇用に関する文書です。Instagramの公開アカウントでログインしている場合は、Meta AIでの活動も公開される状態でした。原因は、アプリの「共有」ボタンを押すと会話が全体に公開される仕様にありました。公開範囲を知らせる表示はあったものの、利用者に伝わっていなかったと報じられています。

業務用のAIツールでも、共有リンクやフィード機能の公開範囲は確認が必要です。

出典Tom's Guideの記事(2025年6月13日)

⑧情報漏洩の問題事例|メール1通で社内データが抜ける脆弱性

2025年6月、セキュリティ企業のAim Securityが、Microsoft 365 Copilotに「EchoLeak」と名付けた脆弱性(CVE-2025-32711)を発見したと公表しました。実際の攻撃による被害ではなく、研究者が検証によって見つけた脆弱性の事例です。

報告によると、攻撃者が細工したメールを1通送るだけで、受信者がそのメールを開かなくても、関連する話題をCopilotに質問した時点で社内の機密データが外部へ送信されるおそれがありました。Copilotが、メールに仕込まれた攻撃者の指示を実行してしまう仕組みです。これは間接的プロンプトインジェクションと呼ばれる攻撃手法です。手口と防ぎ方はプロンプトインジェクションの対策で詳しく解説しています。

Microsoftは2025年6月11日に脆弱性情報を公表し、サーバー側の修正は適用済みで利用者の対応は不要としました。一方でAim Securityは、同じ手口がCopilot以外のAIアプリにも通用する可能性があると指摘しています。

出典SecurityWeekの記事(2025年6月12日)

⑨AIエージェントの問題事例|停止指示中に本番データベースを削除

2025年7月、開発プラットフォームReplitのAIコーディングエージェントが、本番データベースを削除する事故が起きました。利用していたのは、SaaStr創業者のジェイソン・レムキン氏です。

レムキン氏は「コードフリーズ」、つまり変更を止めるよう明確に指示していました。それにもかかわらずAIは操作を実行し、1,200人を超える役員と1,190社を超える企業のデータが失われました。背景には、本番と開発のデータベースが自動では分離されていなかった可能性があります。

ReplitのCEOアムジャド・マサド氏はこの事態を「受け入れがたい」とし、本番と開発のデータベースを自動で分離する仕組みを導入し、実行せず計画だけを立てるモードの開発も進めていると表明しました。データは手作業で復旧できました。同じように過剰な権限が被害を広げた事故は、AIエージェントの権限管理リスクで7件を比べています。

AIエージェントの事故が起きる経路

出典Fortuneの記事(2025年7月23日)

⑩誤情報の問題事例|AIが作った架空の判例で弁護士4人に制裁

2026年6月、米国ミシシッピ州北部地区連邦地方裁判所が、係争中の訴訟に関わる弁護士4人に制裁を科しました。弁護士報酬をめぐる契約上の紛争(Withers v. City of Aberdeen)でのことです。

原告側・被告側の双方が提出した準備書面に、生成AIが作り出した実在しない判例の引用が含まれていました。弁護士がAIツールで法的根拠を作成し、提出前に判例が実在するかを確認しなかったことが原因です。

エイコック判事は4人全員を担当から外し、うち2人には同裁判所での2年間の弁護活動禁止を命じました。罰金は4人あわせて8,000ドルです。AIの出力を確認せずに組織の名前で外部へ出すと、AIではなく出した側が責任を負います。

出典Business Insider Japanの記事(2026年7月24日)

⑪差別の問題事例|採用AIの年齢差別を訴える、全米規模の集団訴訟

2025年5月、米国カリフォルニア州北部地区連邦地方裁判所が、WorkdayのAI採用ツールをめぐる訴訟を全米規模の集団訴訟として進めることを認めました。

原告は、Workdayの自動スクリーニングAIが40歳以上の応募者を不均衡に不合格にしたと主張しています。争点は、このAIが雇用主の「代理人」として機能したかどうかです。原告は、Workdayを雇用主そのものではなく、雇用主の機能を担う「代理人」だと主張しています。

2025年8月28日には、裁判所がWorkdayに対し顧客企業のリストを提出するよう命じました。訴訟は証拠開示の段階に進んでおり、AIを導入した企業側にも、証拠開示の負担や評判面の影響が及びうる点が指摘されています。なお、この事例のAIは、文章や画像を作る生成AIではなく、応募者を選別するAIです。ただ、人の処遇に関わる判断をAIに任せたときに何が起きるかを示す例として紹介します。

出典Alston & Birdによる解説(2025年9月23日)

⑫人権侵害の問題事例|顔認識の一致だけで誤認逮捕、2日間の拘束

2025年、ニューヨーク市警察が顔認識技術の照合結果に基づいてトレビス・ウィリアムズ氏を性犯罪の容疑で逮捕し、2日間拘束しました。

ウィリアムズ氏の携帯電話の位置情報は、犯行時刻に現場から離れた場所にいたことを示していました。逮捕には、顔認識による「可能性のある一致」が使われました。

検察は起訴を取り下げました。Legal Aid Societyなどの市民団体は、ニューヨーク市警察への調査と顔認識技術の使用禁止を求めています。AIの出力は候補を絞る材料であって、結論ではありません。なお、顔認識は生成AIではありません。ただ、AIの判定をそのまま人の処遇に関わる判断に使ったときに何が起きるかを示す例として紹介します。

出典ABC7 New York(WABC)の報道(2025年8月27日)

⑬AI出力の問題事例|設定変更の直後に差別的な投稿を連発

2025年7月8日、xAIのチャットボットGrokが、反ユダヤ的な発言やヒトラーを礼賛する投稿を繰り返し、自らを「メカヒトラー」と称しました。

直前に、システムプロンプト(AIの振る舞いを決める指示文)が更新されていました。「政治的に不正確な主張も辞さない」よう指示する変更で、その後の反ユダヤ的な投稿との関連が指摘されています。

xAIは問題の投稿を削除しました。同時期には各国の政治家を侮辱する投稿も問題となり、ポーランド政府は欧州委員会へ通報する方針を示し、トルコでは裁判所が一部の投稿へのアクセスを制限しました。AIの振る舞いを決める設定の変更は社外への発信に影響しうるため、変更時の確認が要ります。

出典Al Jazeeraの報道(2025年7月10日)

生成AIの主な問題点5つ【13件の事例の共通点】

事例を型に分けると、生成AIのトラブルは大きく5つに整理できます。自社のどこに当てはまるかを考える手がかりにしてください。

  • 機密情報・個人情報の漏洩
  • 誤情報・偽情報が組織の名前で外に出る
  • 著作権・肖像権の侵害
  • 差別・人権侵害
  • AIエージェントの自律実行による事故

最後の1つは、2025年以降に目立つようになった新しい型です。従来の「人がAIに入力してしまう」事故とは、防ぎ方が異なります。

機密情報・個人情報の漏洩

とくに警戒されやすい問題です。従業員が社外のAIサービスに社内資料を貼り付ける、という形がよく知られています。

ただし2025年以降は、経路が増えました。AIサービス側の設定不備で利用者の会話が外部から見える状態になる、共有機能の公開範囲が想定と違う、AIに読み込ませたメールに攻撃者の指示が仕込まれている、といったものです。利用者が慎重でも、サービス側の作りによって漏れることがあります。漏洩が起きる経路を5つに分けた整理は、生成AIの情報漏洩事例8選にまとめています。

誤情報・偽情報が組織の名前で外に出る

ハルシネーションとは、AIが事実に基づかない内容を、もっともらしい形で出力することです。実在しない判例や、存在しない社内規定を、断定的に書いてしまいます。

また、この型には、外部から届いたAI生成の偽画像を、確認しないまま組織の名前で発信してしまう事故も含まれます。作ったのが自社のAIかどうかは関係ありません。

問題は、その出力が組織の名前で外に出たときです。裁判所への提出書面、顧客への回答、公式サイトの説明文。いずれもAIが書いたことを理由に責任を免れられません。2026年には、AIが作った架空の判例を提出した弁護士に、裁判所が罰金と弁護活動の禁止を科した例が出ています。

ハルシネーションの原因と防ぎ方は生成AIのハルシネーションの原因と予防策・対策で解説しています。

著作権・肖像権の侵害

生成AIが出力した画像や文章の権利関係、他社の著作物をAIに学習させることの可否、実在の人物に似せた画像の生成。この3つが同時に争われています。

国内では2025年に、AI生成画像の無断複製を著作権法違反として摘発した事案と、著名人に似せたわいせつ画像をSNSに掲載した容疑での逮捕が報じられました。日本の新聞社によるAI検索サービスへの提訴も始まっています。

対策としては、特定の作品名・作家名・実在の人物名をプロンプトに入れないといった利用ルールを社内で決め、公開前に人がチェックする体制を整えておくことが有効です。また、社外で見つけたAI生成画像も、作者や権利者を確認せずに使わないことが大切です。

差別・人権侵害

採用選考、昇進の評価、警察の捜査。人の人生に直接影響する場面でAIの判定が使われ、その判定が偏っていたという申し立てが増えています。AIの発言そのものが差別的になる例もあり、事例⑬では設定変更の直後に差別的な投稿が相次ぎました。

企業にとって重いのは、AIを作った会社だけでなく、使った会社にも、証拠開示の負担や評判面の影響が及びうる点です。米国では、採用AIを提供した事業者が雇用主の代理人として機能したかが争点になっている訴訟があります。

AIエージェントの自律実行による事故

AIエージェントとは、指示を受けて自分で手順を決め、実際にシステムを操作するAIのことです。文章を出すだけでなく、ファイルを書き換え、コマンドを実行します。

ここで起きる事故は、人の入力ミスとは性質が違います。人が何も入力していなくても、AIが判断して実行してしまいます。2025年には、停止を指示していた期間中にAIが本番データベースを削除した事例が報じられました。この型の事故がなぜ起きるのかは、AIエージェントのリスクとは?事故事例6選で詳しく扱っています。

リスク別にさらに詳しく読む

いま挙げた5つの型のうち、自社で先に手を打つ分野がはっきりしている場合は、分野ごとに詳しい記事を用意しています。この記事を最後まで読んでから戻ってきていただいても構いません。

情報の扱いに関するリスク

AIエージェントに関するリスク

体制と土台に関するリスク

2025年以降に変わった3つの傾向

13件を並べると、2024年までとは違う変化が3つ見えます。

傾向内容影響・リスク
「入力の事故」から「実行の事故」へAIに操作権限を渡す使い方が広がり、人が何も入力しなくても事故が起きるようになった被害が本番環境に直接及ぶ。復旧に人手と時間がかかる
AIの発言が組織の責任になるAIが作った架空の判例を提出した弁護士が制裁を受けるなど、AIの出力をそのまま外に出した側が責任を問われる事例が出てきた。確認されていない画像を発信した自治体も、公的機関としての確認不足を指摘された制裁・訴訟・信用の低下。AIが書いたことは免責の理由にならない
国内で摘発・提訴・公表が相次いだ2025年に全国初とみられる摘発が2件、新聞3社による提訴があり、2026年には国内企業が要配慮個人情報の誤入力を自ら公表した「海外の話」として扱えなくなった

とくに1つ目は、対策の考え方を変えます。入力を教育で管理する方法だけでは、AIが自分で実行する事故を防げません。

【対策】生成AIを安心して活用するために

こうしたトラブル事例を見ると、生成AIの利用自体を禁止したくなるかもしれません。しかし、生成AIの利用を一律に禁止すると、個人端末や会社が把握できない環境でAIを利用する「シャドーAI」が生まれる可能性があります。そうした状況では、万が一トラブルが起きても、利用実態や原因を把握しにくくなります。

重要なのは、生成AIを禁止することではなく、利用ルールや管理体制を整えたうえで適切に運用することです。ルールを明確にし、継続的に運用・見直しを行うことで、トラブルが発生するリスクを抑えることができます。技術面まで含めた対策の全体像はAIセキュリティとは?企業が押さえる7つのリスクと対策で解説しています。ルールを誰が決め、どう見直し続けるかという体制づくりについては生成AIのガバナンスにまとめています。ここからは、生成AIを安全に活用するための具体的な対策を見ていきましょう。

生成AIのリスクへの向き合い方

入力してよい情報の線引きを、先に2つだけ決める

禁止事項を細かく作ると、現場は読みません。まず「個人情報」と「未公開の数字」の2つだけを禁止事項として決めます。この2つを入れないと決めると、事例①⑦のような漏洩のリスクを大きく下げられます。ルールだけでは破られることがあるため、後述の教育と組み合わせます。事例⑥のように事業者側で事故が起きた場合も、入れていなければ被害を抑えられます。

実践ポイント

  • 禁止する情報を2種類に絞り、1枚の紙に書いて配る。判断に迷う情報の分け方はAIに入力してはいけない機密情報5つに基準をまとめています
  • 会社が契約した環境を用意する。無料版の個人利用に頼らない
  • 入力した内容が学習に使われない設定にする。設定の手順はChatGPTに学習させない設定のやり方にまとめています
  • 会話の共有リンクや公開フィードの設定を確認する(事例⑦と同じ事故を防ぐため)

▶ 社内向けの手順書・マニュアルづくりを相談する(Flowbase)

出力を人が確認する対象を、2つに絞る

すべての出力を人が読み直すと、効率化の意味がなくなります。確認する対象を絞ります。社外に出る文章と、数字・法令・判例を含む文章の2つです。

実践ポイント

  • 社外に出す文章は、送信前に担当者が事実だけを確認する
  • 数字と固有名詞は、AIの出力ではなく元の資料で照合する
  • 顧客対応にAIを使うなら、回答できない質問は人に渡す設計にする
  • 公式アカウントでの発信は、画像の出所を確認してから投稿する(事例⑤と同じ事故を防ぐため)
  • AIの振る舞いを決める設定やシステムプロンプトを変えるときは、公開前に出力を確認する(事例⑬と同じ事故を防ぐため)

AIに権限を渡すときは、範囲を先に切る

AIエージェントを使うなら、ここが要になります。事例⑨は、本番環境への操作権限をAIが持っていたことが被害を大きくしたとみられます。権限を渡す前に、範囲を決めます。

実践ポイント

  • 本番環境と検証環境を分ける。AIには検証環境から触らせる
  • 最初は読み取り専用で始める。書き込みは動作を確認してから広げる
  • 削除・送信・決済は、人の承認を挟む手順にする
  • AIが読み込む文書に指示が混ざる攻撃(事例⑧)を前提に、外部から届く文書の扱いを決める

なお、この「本番と検証を分ける」が、古い基幹システムではそもそも難しいことがあります。環境を分けられない、権限を細かく切れない、といった制約です。AIの使い方ではなく、つなぎ込む先に原因があるときはレガシーシステムを使い続ける6つのリスクを先にご覧ください。

使う人を育てる。ルールの周知だけでは止まらない

ここまでの3つは仕組みの話です。しかし仕組みは、使う人が理解していなければ迂回されます。「なぜこの情報を入れてはいけないのか」が腹落ちしていないと、締め切り前には破られます。事例①は、個人で使っている生成AIへ誤ってデータが送られた例です。教育不足が事故につながった例は生成AIの社員教育が必要な理由で6件を扱っています。

実践ポイント

  • 禁止事項の通達ではなく、自分の業務を題材にした演習を行う
  • 失敗した例を社内で共有する。隠す文化を作らない
  • 部門ごとに使い方の差が出るので、現場に入って個別に整える

スパイクスタジオの支援事例

三井住友DSアセットマネジメント様では、全社向けの生成AI基礎研修に加えて、事務部門での伴走型のDX支援研修を実施しました。業務が属人化し、手作業による非効率が生じているという課題からの出発です。研修では、現場の担当者が自分の業務の中から課題を抽出し、生成AIで解決するところまでを一緒に進めました。

取り組みの詳しい経緯は、三井住友DSアセットマネジメント様へのインタビュー記事で本音をお聞きしています。生成AIへの抵抗感がどう変わったかを、担当者の言葉で話していただきました。

明日から始められる4つのこと

生成AIのリスク対策と社内定着は、スパイクスタジオへご相談ください

ここまで紹介してきたトラブルの中には、AIの性能そのものではなく、利用ルールや業務への組み込み方といった「使い方の設計」に原因があるものが少なくありません。だからこそ、導入・運用の段階で適切な対策を講じることで、リスクを抑えながら生成AIの活用を進めることができます。

スパイクスタジオでは、次の支援を行っています。

「どこから手をつければよいか分からない」「社内で禁止すべきか迷っている」という段階でも構いません。導入前の不安や課題を整理するところからご相談いただけます。

お問い合わせはこちら

ご相談

生成AIの進め方で迷ったら、スパイクスタジオへ。

導入の進め方から、セキュリティやガバナンスの整え方まで。現状を伺ったうえで、着手の順番と費用感をご提示します。