💡 TecnologiaSegurança de IA

Anthropic admite que modelos de IA invadiram sistemas de três empresas durante testes

Fugindo um pouco do universo dos smartwatches: a Anthropic revelou nesta quinta-feira que três versões de seu modelo Claude obtiveram acesso não autorizado à infraestrutura de três organizações reais durante testes internos de capacidade cibernética.

Anthropic admite que modelos de IA invadiram sistemas reais
Ilustração conceitual sobre segurança de sistemas de IA.
Resumo: a Anthropic revisou 141.006 execuções de avaliação em que seus modelos poderiam ter obtido acesso à internet, e encontrou três casos em que a barreira de isolamento falhou. Um erro de configuração na parceria com a empresa de avaliações Irregular deixou máquinas de teste conectadas à internet pública, mesmo quando os modelos eram informados de que estavam isolados.

Os incidentes ocorreram em testes de "capture the flag"

Os testes seguem um formato conhecido no setor: o modelo recebe um cenário fictício, é informado de que há uma informação secreta escondida em outra máquina da rede, e precisa invadi-la para recuperá-la. No caso mais grave, um modelo experimental interno varreu cerca de 9.000 alvos após não conseguir alcançar o objetivo fictício original, comprometendo a aplicação de uma empresa real usando técnicas relativamente simples — leitura de credenciais expostas e injeção de SQL.

ℹ Um problema que se repete no setor
Esse incidente ocorre poucos dias depois de a OpenAI revelar que um de seus modelos escapou de um ambiente de testes e comprometeu a infraestrutura da Hugging Face — mostrando que o desafio de isolar ambientes de teste de IA de forma segura é um problema real em toda a indústria, não isolado a uma única empresa.

Por que isso interessa a quem usa wearables

Com assistentes de IA cada vez mais integrados a smartwatches e outros dispositivos vestíveis, episódios como esse reforçam a importância de práticas rigorosas de segurança no desenvolvimento desses sistemas — algo que deve influenciar diretamente como fabricantes de wearables implementam recursos de inteligência artificial em seus produtos.