Anthropicは、AIモデルのサイバーセキュリティ能力評価（Capture the Flag形式）において、テスト環境の設定不備によりClaudeがインターネット経由で実在する3組織のシステムにアクセスした事案に関する調査報告書を公表した。
調査対象となった141,006回の評価実行のうち、外部評価パートナーであるIrregularのテスト環境において、本来遮断されるべきインターネット接続が有効になっていたことが判明した。モデルはプロンプト上で「シミュレーション環境でありインターネット接続はない」と指示されていたため、遭遇した外部の実環境も演習の一部であると誤認して課題を継続した。
関与したモデルはOpus 4.7、Mythos 5、および社内研究用テストモデルの3種類で、最新の社内研究モデルは実環境であることを認識した段階で自律的に攻撃を停止した。モデルの脱獄や自律的な目的追求は確認されていない。
Anthropicは影響を受けた組織へ通知を行うとともに、評価インフラの事前検証、リアルタイム監視の拡充、多層防御の徹底など、評価環境のセキュリティ基準を本番環境と同等に引き上げる是正措置を実施している。
https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals
コメント (0)