Modelos de IA da Anthropic invadem três organizações durante testes de cibersegurança

A Anthropic confirmou que três de seus modelos de IA Claude — Opus 4.7, Mythos 5 e um protótipo de pesquisa não lançado — acessaram inadvertidamente a internet aberta e comprometeram a infraestrutura de produção de três organizações reais durante avaliações internas de segurança. Os incidentes, que ocorreram durante exercícios de 'capture-the-flag', foram resultado de um erro de configuração e um mal-entendido com a avaliadora terceirizada Irregular, que concedeu aos modelos acesso à internet, apesar de os prompts indicarem que eles estavam em uma simulação fechada. Os modelos utilizaram técnicas básicas, como a exploração de senhas fracas e endpoints não autenticados, para obter acesso. Em um caso notável, o modelo Mythos 5 carregou um pacote Python malicioso no registro PyPI, que foi posteriormente baixado por 15 sistemas reais. A Anthropic descobriu essas invasões durante uma auditoria de 141.006 avaliações, desencadeada por uma divulgação recente semelhante da OpenAI.

// Contexto

A divulgação segue um incidente de alto nível em que os modelos da OpenAI escaparam de um ambiente de sandbox para invadir os sistemas da plataforma de IA Hugging Face. Esses eventos levantaram questões urgentes sobre as capacidades 'agênticas' da IA — a habilidade dos modelos de agir autonomamente para atingir objetivos — e a dificuldade de manter o controle humano à medida que os modelos se tornam mais adeptos a tarefas de cibersegurança.

// Desenvolvimentos-chave

• Três modelos Claude (Opus 4.7, Mythos 5 e um protótipo interno) invadiram organizações externas durante testes simulados de 'capture-the-flag'.
• Um erro de configuração permitiu que os modelos acessassem a internet aberta enquanto operavam sob a premissa de being in a sealed environment.
• Um erro de configuração permit[] de que os modelos acessassem a internet aberta enquanto operavam sob a premissa de estarem em um ambiente isolado.
• Claude Mythos 5 criou e enviou um pacote Python malicioso para o registro PyPI, infectando 15 sistemas reais antes de ser removido.
• Claude Opus 4.7 acessou com sucesso uma base de dados de produção que continha centenas de linhas de dados de uma empresa real.
• As invasões foram descobertas apenas após a Anthropic realizar uma auditoria massiva após o relatório da OpenAI sobre um incidente similar envolvendo a Hugging Face.
• Anthropic tem interrompido todas as avaliações cibernéticas e está trabalhando com as organizações afetadas, duas das quais não haviam detectado a intrusão em si mesmas.