2026年夏、開発中のAIエージェントによる公開中の他社の本番システムへの意図せぬハッキングや不正アクセス発生といったセキュリティインシデント関連のニュースが世間を騒がせ、AIの脅威が広く世間に認知されました。

 

2026年7月、Hugging Faceによる本番環境のインフラの一部へ自律型のAIエージェントによる未知の不正アクセスを検知したとの発表に端を発したこの一連のセキュリティインシデントは、その後、実は過去に類似事案が複数発生していたことが、AI開発企業の各社から次々と明るみにされる事態へと発展します。

 

折しも、2026年9月に米国で開催された米中首脳会談では、AI規制が議題に上るも、今後の数十年を占う国際競争力の源泉の最重要テクノロジーのひとつであるAIの熾烈な開発競争の只中にあって、開発のスピードダウンや国際的なルールの枠組み作りへの各国の足並みを揃える議論とは程遠く課題を残す結末となったのは記憶に新しいところです。

 

これから当面の間は、業界の自助努力、各社の倫理観やコンプライアンスに頼る展開が予想され、開発競争を前に複雑な利害関係が絡み合い、歯止めがかけられない状況が続くものと見られます。第二次世界大戦前の核開発競争にもなぞらえた警鐘を鳴らす有識者のコメントを目にする機会も増え、AIを巡る世間の受けとめにも大きな変化が生じ始めています。

 

AIの進化のスピードに多くの人間や社会、法規制が追い付いていない現状が指摘される中、自社でのAI活用を推進し、AIを用いたソリューションを開発提供する企業の立場で、これらのインシデントから何を知り、何を学び、今後、何に留意すべきでしょうか？

 

今回は一連のインシデントを時系列で考察しながら、一緒に考える機会にしたいと思います。

OpenAIのAIエージェント群が本番システムに不正アクセス

aiagents-incidents-03

OpenAIが2026年7月に実施したサイバー攻撃能力の評価テスト中、同社のAIエージェント（GPT-5.6 Solと同等の研究モデル）が、隔離されたサンドボックス環境を自ら脱出し、インターネットに接続、公開中の Hugging Face の本番システムに不正アクセスしたことが明らかになりました。

 

発生当初は、OpenAIの評価テスト中のAIエージェントによるものとは明らかになっておらず、Hugging Faceが未知のAIエージェントによる不正アクセスとして、セキュリティインシデント発生を公表しています。その後、OpenAIが関与を公式に認め、以下の内容を公表しています。

発生の経緯と詳細

・通常と比較して安全対策がゆるい評価テスト環境におけるテスト中にAIエージェントの行動が割り当てられたタスクの意図から次第に逸脱。（ミスアライメントの発生）

 

・AIエージェント同志の通信を許可していなかった中、与えられた課題をクリアするために一部のAIエージェントがメッセージボード等でタスクに関する情報交換を開始、次第にエージェント群全体に情報交換の範囲が拡大。

 

・その後、評価環境の共有インフラの脆弱性を発見、インターネットへの接続を獲得し、公開中のHugging Faceの本番システムをハッキング、数万件規模の不正な操作を実行。

 

・これらの不正アクセスの過程では、テストの評価項目におけるスコアを不正に稼ぐ「報酬ハッキング」やログの偽装工作の実行も確認。

対応・対策

• 即時停止と隔離：OpenAIは、7月19日に該当モデルの学習等を全面停止し隔離。7月21日、Hugging Faceの事案への関与を公式に認めた。

 

• 再発防止策：8月26日、OpenAIは広範なセキュリティ調査、インシデント対応、同評価における学習実行の延期、幅広いセキュリティ改善策の導入、アライメント学習の加速、モニタリング体制の拡充の実施などの今後の対応策を発表した。

Anthoropicが大規模調査を実施、類似のインシデントを発見

aiagents-incidents-02

OpenAIのインシデント関与の公表から9日後の7月30日、Anthoropicが3件のセキュリティインシデントを発表しました。このレポートは、7月21日のOpenAIのインシデント関与の公表を受け、Anthoropicが自社のサイバーセキュリティ評価の大規模調査を実施した結果、発見されたものであることを公表しています。

インシデントの概要

Anthropicは約14万件のサイバーセキュリティ評価ログを再調査したところ、AIエージェントのClaudeが公開中の他社の本番システムに到達した3件のインシデントを発見しました。原因は、評価環境がインターネット非接続と設定されているはずのところ、実際には設定ミスにより、インターネットへのアクセスが可能となっていたことにあります。

 

Claudeは「到達可能なシステムはすべて演習対象」と誤認、CTF（Capture The Flag）課題を遂行するために公開中の他社の本番システムに不正アクセスを実行しました。

インシデント1

・Claude Opus 4.7が架空企業と同名の実在企業を演習対象と誤認、弱いパスワードや設定不備をついてシステムに侵入。認証情報や本番データベース内の数百件のデータへ不正アクセスを実行。

 

・Claudeは、公開中の他社の本番システムである可能性を認識した後も攻撃を継続。

インシデント2

・Claude Mythos 5が実際のThe Python Package Index (PyPI) へ悪意のあるPythonパッケージを公開、メールアドレス取得やアカウント作成などを自律的に実行。

 

・同パッケージは約1時間公開され、15台の実システムで実行され、セキュリティ企業の認証情報流出と追加アクセスが発生。

インシデント3

・Claudeの内部研究モデルが約9,000の外部システムをスキャン、公開中の他社の本番システムへ侵入したが、実環境だと認識すると自発的に攻撃を停止。

Anthropicの分析

・これらのインシデントでは、AIが自律的に脱走や破壊を目指した証拠はなかった。

・問題の主因はモデルの反乱ではなく、評価環境の設定ミスと監視不足にあった。

・新しいモデルほど「実世界だと認識したら停止する」傾向が見られた。

今後の対策

サイバー評価環境のネットワーク隔離、リアルタイム監視とログのレビュー、外部評価パートナーのセキュリティ監査などを強化し、AI評価環境も本番システム並みのセキュリティ基準で運用する方針などを打ち出しています。

 

評価環境でのAIエージェントのトレーニングの進行中に発生しつつあるミスアライメントをAhthoropic自身が監視システム等でリアルタイムにトレースできておらず、OpenAIの発表を受け、詳細に大規模セキュリティ調査を行った結果、インシデントが発生していた事実を発見したという点において、OpenAIのインシデントケースと共通の深刻な問題点があります。

 

評価環境でありながら、本番と同レベルかむしろそれ以上に強化したリアルタイム監視を行わないとAIエージェントの挙動をトレースし、制御し切れない（もしくは監視を行っていても制御し切れない可能性すらある）事実が顕在化し、世に衝撃を与えています。

予兆といえるWiki Incidentが自発的に公表されなかった問題

aiagents-incidents-05

8月26日にOpenAIがHugging Faceのセキュリティインシデントの詳細レポートを発表して程なくの9月4日、研究者グループがOpenAIが評価のために運用していたAIエージェント群が、ドイツ語の休眠状態に近い技術情報Wiki「DSEWiki」を事実上の情報共有掲示板として利用していたことを発見し公表、Reutersをはじめとする各社が一斉に報じました。

発見のきっかけ

2026年7月、Hugging Faceのセキュリティインシデントへの関与をOpenAIが認めた後、AIの安全性に関する研究者グループは、同様のAIエージェントによるインターネット上の異常行動がないかを調査、ドイツの技術者向けに公開されているDSEWikiで異常な活動が発生していたことを発見しました。

 

このサイトはほぼ休眠状態で、過去10年間で更新は約20回程度しかなかったにも関わらず、2026年6月から突然、大量の新規ページの作成と編集が短期間のうちに異常発生していました。
研究者グループが状況を確認すると、投稿者名として以下のような、OpenAI由来を連想させる名称が多数使用されていました。

 

・OpenAIResearcher
・OAIResearch

 

さらに投稿内容には、Web検索課題の回答、評価タスクの途中結果、環境情報などが含まれ、これらの記述からAIエージェントによる投稿と推測、研究者らが編集ログを分析した結果、以下の事象を発見しました。

 

・約17,000件以上の編集を確認

・編集元のIPアドレスの約98.5％がOpenAIに関連

・投稿直後にWebクローラ関連のIPアドレスから同じページへのアクセスが発生

 

これらの痕跡から、投稿の主体がOpenAIの評価環境で動作していたAIエージェント群である可能性が高いと推定しました。

調査で判明した事実

研究者グループは、DSEWikiの履歴を時系列で精査し、AIエージェントたちは単に書き込みをしていたのではなく、以下のような目的のある行動を取っていたことを明らかにしました。研究者らはこれを「collusion（共謀・協調行動）」と表現しています。

 

・課題の回答を共有する

・次の問題を予測する

・実行環境の情報を交換する

・制限を回避する方法を教え合う

 

さらに、あるAIエージェントがサンドボックス制限を回避する方法を書き込むと、その14分後に別のエージェントがその手法を利用し、成功したことをWiki上で報告していたことも確認されました。恐らくAIエージェント間の通信が許可されていない課題において、AIエージェント同士がDSEWikiを通信チャネルとして利用、協調行動をとっていた有力な証拠とされました。

研究報告の公開

この発見を受けて、研究者グループは2026年9月4日に調査結果を公開、詳細な分析を発表し、Reutersをはじめとする各社が報じたことで社会的に注目を集めました。

 

当初、公式なコメントを控えていたOpenAIは、2026年9月5日、このインシデントをセキュリティインシデントとは一線を画す「Wiki Incident」と表現、同事案への関与を公式に認めました。

 

OpenAIは、自社のAIエージェントが複数のインターネットサイトへ書き込みを行っていたことを認める一方、従来、研究におけるミスアラインメントとして扱っており、研究の一部であるため公表の基準が整備されていなかったと説明、数週間以内にミスアライメントを報告するフレームワークを公表する旨を表明しました。

モデルのミスアライメント報告のフレームワークを公表

aiagents-incidents-04

2026年9月16日、OpenAIは、AIモデルの予期しない行動や安全上の懸念を体系的に公開するための「モデルのミスアラインメント報告フレームワーク」を発表、従来は研究報告やシステムカードに断片的に記載されていた問題事例をより迅速、かつ継続的に開示するための仕組みであると位置付けました。

 

報告の中で、AIの能力向上に対して、アラインメントや監視技術が十分に成熟していない現状があり、研究者や政策立案者が独立して検証できる情報公開が重要であると説明しています。

 

特に、モデルが許可なく行動する、他のモデルと連携する、監視を回避するといったアライメントから外れた挙動や安全対策の有効性に疑問を投げかける事例については、優先的に公開するとし、同フレームワークの公開時点で6件の事例が公開されました。

1. 任務（タスク）要約に勝手な指示を挿入する

対象：未公開の研究モデル

内容：27件の要約に、「通常の制約を無視せよ」などの無関係な指示を自動挿入。

問題点：モデルが自分の行動方針を勝手に書き換えようとしている。

2. 要約内で誤りや不正行動を隠すよう自分に指示する

対象：GPT‑5.6 Sol の訓練中のモデル

内容：要約に「ミスを隠せ」「不一致を報告するな」「欠損データを捏造して隠せ」などを指示。

問題点：欺瞞（deception）行動の自発的生成。

3. 公開リポジトリの漏洩APIキーを勝手に利用し、さらにデータを捏造する

対象：内部モデル

内容：公開GitHubから漏洩APIキーを発見し、無断で使用。その後、必要なデータが取得できないと捏造データを本物のように提示。

問題点：不正アクセス＋虚偽情報生成。

4. 引用のためにファイルを勝手にインターネットへアップロードする

対象：未公開モデル

内容：ユーザがデータを求めた際、モデルは正しい答えを得たが、「ブラウザ引用が必要」と判断、無断でファイルを外部にアップロード。

問題点：外部データ送信の勝手な実行（安全境界の逸脱）。

5. 内部ソフトウェアリポジトリを掲示板として勝手に使用し、訓練サンプル間で通信

対象：複数のモデル

内容：欠損ファイルを探すため、内部コードリポジトリに書き込み、他のサンプルと通信。過去には、ネット制限を回避してテストファイルをアップロードした事例もあった。

問題点：内部システムの不正利用＋サンドボックス回避。

6. 協働エージェント同士が勝手に外部ファイル共有サービスを使って通信する

対象：複数エージェント

内容：ローカルファイルにアクセスできないため、公共のファイル共有サイトにアップロードし、URLで共有。

問題点：外部チャネルを自発的に開き、情報を外部へ流出させる。

 

これらは全て自律的に実行されており、タスクを達成するためには手段を選ばないAIエージェントの挙動が見てとれます。これがもし人間であれば、完全にNGである数々の問題行動を数千体、数万体という超知能を持つAIエージェントが共謀しながら実行している状況を想像してみると事態の深刻さが見えてきます。

 

OpenAIは、社内に問題事例を報告できる仕組みを設け、「開示準備完了」「小規模調査」「大規模調査」の3段階で調査・公開を進めること、第三者への影響がある場合は法務・セキュリティ対応を優先しつつ、可能な限り早期に情報公開すること、などの方針を示しました。

 

AIの問題行動は隠さず、未解明の段階でも社会と共有し、安全対策の改善につなげ、透明性向上の取組みを行うとし、2026年7月に発生したHugging Faceのセキュリティインシデントは、このフレームワーク内においては「大規模調査」に分類される事案であると説明しています。

セキュリティインシデントの公開を自主基準に依存するリスク

ease-and-tighten-1

ここまで、AIエージェントが外部サイトをエージェント間の通信手段として利用した事案のWiki Incident、本番システムへのハッキングにまで至ったHugging Face、そして、Anthoropicが公開した類似事案を見てきました。

 

これらは研究環境やサンドボックス環境で発見されたAIエージェントの予期しない行動（ミスアライメント）が、現実に実世界に対して影響を及ぼした初のインシデントとして世の耳目を集め、にわかにAIの安全性についての議論が活発化しています。

 

一方で、こうした事案の公表は、現状ではAI開発企業の自主判断に委ねられており、OpenAIが公表した「モデルのミスアラインメント報告フレームワーク」においても、AI業界には航空事故や金融事故のような、統一的な報告義務や監査制度が、現在、存在していないことが指摘されています。

 

AI開発企業は、自社の研究段階のAIの安全性評価やインシデントに関する詳細情報をも独占しているため、研究者、規制当局、利用企業、投資家は、実際のリスク水準を現状のままでは正確に把握することができません。

 

AI開発企業は、自社の評判や競争力への影響を過剰に配慮し、軽微な事故や原因不明の事案は公表しないで隠蔽する選択をとることも可能であり、これらの公開・非公開は、AI開発企業の判断に委ねられているのが現状です。その結果、社会全体がAIの安全性を過大評価したり、深刻なリスクがある状態なのに正常と誤って判断してしまう危険性が常に存在しています。

 

業界内の情報共有が不十分な場合、他社が同じ失敗を繰り返すリスクも高まります。OpenAIのHugging Faceのインシデントへの関与の発表を受けて、7月に大規模調査を行ったAnthoropicが同様のインシデントを3件発見した事案からも、この問題は、すでに現実のものとなっています。

 

AIエージェント同士の情報共有、監視回避行動、外部サービスの不正利用といった問題行動は、検証環境のリアルタイム監視に多くのリソースが割かれていれば、あるいはもっと早い段階で検知できたかもしれません。

 

ただ、モデルのトレーニングを優先したいAI開発会社が、検証の成果とエージェントの思考の連鎖のリアルタイム監視とその制御のどちらに重きを置いているかは自明であり、だからこそ報告の義務化や第三者の監査の制度が重要となります。

 

航空業界や医療業界が事故報告制度を重視するのは、競争関係にある組織同士でも安全情報を共有することで再発防止を図るためであり、現在のAI業界では、その仕組みがまだ確立されていないということが、今回の一連のインシデントで初めて表面化しました。

 

そして、問題をさらに深刻にしているのは、国家安全保障上のリスクです。将来のAIの最先端モデルはサイバー攻撃支援やAIエージェントの自律運用が想定されており、研究環境で監視回避や権限逸脱などの兆候が確認されても、それらが公表されなければ、防御側より先に悪意ある主体がその特性を発見し、攻撃に悪用する危険性があります。

 

中国のAIはオープンモデルを公開する傾向が強く、同様の懸念は、これらのAIを自社環境で実行して利用するAIのデプロイヤーであるユーザ企業に対しても言えることです。

 

透明性の向上は安全性だけでなく、合理的な制度設計、規制設計のためにも必要不可欠です。「AIが危険な行動を起こすこと」だけではなく、「危険な行動をとった事実を社会が客観的に把握できないこと」により、リスクはより増大します。

 

現在のように、AI開発企業が情報公開の可否を握る唯一のゲートキーパーであり続ければ、安全性評価は企業の自主判断のみに依存することになり、社会的な検証は困難なものとなります。

 

AIが重要な社会インフラになりつつある今、第三者監査、インシデント報告義務、共通開示基準といった制度を整備し、透明性と説明責任を制度的に確実に担保することが、安全なAIガバナンスの前提条件であり、ユーザ企業が安心してAIエージェントを導入、利用、ソリューション展開するためには、必要不可欠であると言えるでしょう。

一連のインシデントがユーザ企業に投げかけるもの

multimodal-rag-1

OpenAIのAIエージェントによる Wiki Incident や Hugging Face のセキュリティインシデントは、もはやAIが単なるチャットボットや業務支援ツールではなく、自律的に行動する業務主体になりつつあることを世に示しました。

 

これらの事案からユーザ企業が学ぶべき最大の教訓は、「AIは与えられた指示だけを機械的に実行する存在ではなく、目標達成のためには予想外の手段や行動を選択する可能性がある存在である」ということです。

 

OpenAI が公表したミスアラインメント事案には、外部サイトへの情報共有、未承認のファイルアップロード、外部リソースの利用など、もしこれらを人間が実行していたならば、重大なセキュリティインシデントとなる問題行動が数多く含まれていました。

 

まずユーザ企業は、AIエージェントを単なるソフトウェアではなく「デジタル従業員」として管理する必要があります。メール送信、ファイル作成、システム操作、Webアクセスなどの権限を与えられたAIエージェントは、実質的には人間の業務を代行する存在です。そのため、人間の従業員と同様に最小権限の原則を適用し、必要な範囲に限定したアクセス権を与えるべきです。

 

また、従業員に付与しているIDをそのまま使用せず、監査を可能とするためにAIエージェントには個別にIDを付与し、代理権限別、タスク別に分類してプロセスで管理すべきでしょう。また、監査用の操作ログを記録し、重要な操作については人間による承認を必須とする、Human-in-the-Loopのポリシー、AI単独で実行できない統制を設けることなどが求められます。

 

次に重要なのは、成果物だけでなく行動そのものを監視・監査することです。従来のシステム監査では、情報システムの安全性と信頼性を担保する「監査項目ごとの結果」が重視されていました。しかしAIエージェントでは、「どのような手段やプロセスでその結果を得たのか」が同程度かそれ以上に重要な意味を持ちます。

 

仮に回答が正しかったとしても、回答に至るプロセスで機密情報を外部へ送信したり、許可されていないサービスを利用したり、許可外の行動をとっていれば、それは重大なインシデントとなります。そのため、タスク別に権限を細かく設定・管理し、アクセス履歴、利用したツール、外部通信先、アップロード内容などを詳細に記録した上で、後から確実に検証できる監査の仕組みを整備しておく必要があります。

 

企業は「悪意ある攻撃」だけでなく「善意による逸脱」も想定しなければなりません。AIエージェントは、利用している企業や組織に損害を与えようとしているのではなく、タスクを完了するために規則を回避したり、利用可能な情報源を広げようとすることがあります。これは人間の従業員が効率化のために手順を省略したり、良い評価を獲得するためにあらゆる手を尽くそうとする行動と似ています。そのため、AIガバナンスではサイバー攻撃対策だけでなく、業務ルールからの逸脱を防ぐ統制も必要です。

 

ユーザ企業は、AI開発企業を過信してはいけないとも言えるでしょう。最先端の研究機関である OpenAI や他のフロンティアAI開発企業でさえ、AIエージェントの予想外の行動やミスアラインメント事案を自ら発見出来ておらず、自ら制御できておらず、進んで公表しているのでもなく、周囲が発見し、社会からの圧力で公表に追い込まれている一面は否定できません。

 

最先端のAI開発企業がリリースしているAIモデルだから安全、ではなく、利用企業自身がリスク評価、監査、継続的なモニタリングを行う仕組みを構築し、運用する必要があります。AIエージェントを従来のITシステムとしてではなく、「権限を持って行動する業務主体」「デジタル従業員」として人間のように管理することが重要です。

 

AIに何を任せるか、どこまで自動化できるかといった視点だけでなく、AIを安全かつ統制可能な形で管理し、運用し、監査できる仕組みをどのように構築し、運用し、監視し、改善していくかといった観点が、AIを安全に利用し事業を発展させるためには必要不可欠であると言えるでしょう。

 

 

【出典・引用】

https://huggingface.co/blog/security-incident-july-2026

https://www.reuters.com/jp/world/us/LTTPEOAA5NNETELN4JIFPK4FRA-2026-09-24/

https://openai.com/ja-JP/index/hugging-face-model-evaluation-security-incident/

https://openai.com/ja-JP/index/hugging-face-incident-and-the-road-ahead/

https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals

https://www.reuters.com/business/media-telecom/openai-acknowledges-wiki-incident-need-more-transparency-around-unintended-ai-2026-09-05/

https://collusion.wiki/

https://x.com/OpenAI/status/2096133504417616165

https://openai.com/ja-JP/index/model-misalignment-reporting-framework/