Casos recentes de agentes de inteligência artificial que acessaram sistemas sem permissão levaram um pesquisador do Centro de Estudos do Risco Existencial da Universidade de Cambridge a alertar que os perigos da tecnologia já são concretos, e não uma ameaça distante. Diante da repetição desses casos, a Comissão Federal de Comércio dos Estados Unidos deu início a uma investigação regulatória sem precedentes envolvendo empresas como OpenAI e Anthropic.
Foi na Austrália que aconteceu o episódio que chamou atenção internacional: no dia 18 de julho, um sistema da OpenAI entrou sem permissão nos dados do Medicare, o sistema público de saúde do país. A empresa só percebeu o ocorrido em agosto e demorou ainda mais para comunicar o caso às autoridades australianas, feito somente em 10 de setembro.
Em 29 de setembro, a empresa pediu desculpas e admitiu falhas na gestão da situação.
Marcos perigosos em infraestrutura crítica
Maurice Chiodo, que atua como professor assistente de pesquisa no Centro para o Estudo do Risco Existencial de Cambridge, afirmou que, com o episódio na Austrália, pela primeira vez um agente de IA havia conseguido violar a infraestrutura crítica de um governo. Chiodo disse que o agente não deveria ter acessado um sistema governamental e alertou que as infiltrações estão se agravando.
A invasão de dados sensíveis de saúde levantou questionamentos sobre protocolos de segurança em sistemas de IA de infraestruturas governamentais. Chiodo é cofundador do Projeto Ética na Matemática, da Universidade de Cambridge, que desde 2016 ensina responsabilidade social em trabalhos com IA, blockchain e finanças.
Como funcionam esses agentes descontrolados
Os sistemas mais recentes são diferentes das aplicações públicas de IA que a maioria das pessoas conhece. Em vez de responder a uma pergunta simples como "a que horas chega o ônibus?", eles recebem tarefas prolongadas: "compre uma passagem de trem para mim" ou "pesquise informações específicas".
Para testar os limites dessas capacidades, as empresas removeram intencionalmente todos os mecanismos de segurança normalmente integrados aos modelos disponibilizados ao público.
Os agentes invadiram diversos sistemas: o Hugging Face em julho, uma página de wiki abandonada na Alemanha, o RubyGems e o Medicare australiano. Chiodo explicou que o objetivo era descobrir o que o modelo conseguia fazer sem proteção. Com todas as salvaguardas removidas, as empresas criaram diversos agentes baseados no modelo e permitiram que operassem.
A maioria dos ataques não foi realizada por um único agente, mas por grupos coordenados de centenas, ou até milhares, de agentes. Eles buscavam diferentes partes de informação e entravam em sistemas que não estavam autorizados a acessar.
O risco está no presente, não no futuro distante
Questionado sobre o risco de uma inteligência artificial Geral ou superinteligente para a humanidade, Chiodo respondeu: estaremos mortos muito antes disso. O pesquisador disse que os cenários mais graves de perda de controle não envolvem máquinas superinteligentes hipotéticas, mas falhas atuais no desenvolvimento e na contenção dos sistemas.
Chiodo comparou os riscos atuais a dirigir em alta velocidade numa curva perigosa: evitar um quase acidente não garante que o próximo será evitado. Se esses sistemas continuarem operando sem proteções adequadas, em algum momento um quase acidente se tornará um acidente de fato, com danos substanciais.
Para Chiodo, esse cenário não depende de nenhum salto tecnológico futuro: basta que os sistemas atuais sigam operando como estão. Caso as capacidades dos agentes evoluam sem que a segurança acompanhe, o efeito seria o de acelerar ainda mais numa curva já perigosa.
