O potencial da IA é de matar a Humanidade!
Um grupo de cientistas, dentre os quais vários pesquisadores da Inteligência Artificial, publicou um manifesto alertando que a IA tem o mesmo potencial de destruir os seres humanos que as armas nucleares.
O sucinto manifesto diz: “Mitigar o risco de extinção causado pela IA deve ser uma prioridade global, juntamente com outros riscos em escala social, como pandemias e guerra nuclear”.
O alerta foi endossado por centenas de cientistas, professores universitários e empresários de todo o planeta.
O manifesto voltou a ser compartilhado depois que um pesquisador da Anthropic, Evan Hubinger, escreveu na rede X que a chance de a IA matar todos os humanos nos próximos 10 anos está acima de 10%.
Hubinger diz que não vê problema nos modelos atualmente em uso, mas alertou sobre a rápida evolução da tecnologia.
O alerta foi feito depois que o diário Financial Times informou que a Anthropic negou-se a submeter seu modelo mais novo ao Instituto de Segurança da Inteligência Artificial, no Reino Unido.
Trata-se de uma instituição que zela pela segurança da tecnologia.
No dia 8 de setembro, o pesquisador Jacob Coxon pediu demissão da Anthropic alertando:
Passei os últimos três anos fazendo pesquisa de pré-treinamento tanto na OpenAI quanto na Anthropic. Nenhuma das duas empresas está agindo com responsabilidade. Elas estão correndo a passos largos para a superinteligência autoaperfeiçoável e apostando com nossas vidas.
Relembrando o computador AL
No filme 2001, Odisseia no Espaço, o diretor Stanley Kubrick imaginou um computador tão competente que assumiu o controle total de uma nave espacial, enquanto batalhava com um humano para não ser desligado.
Três das principais empresas do ramo no Ocidente — OpenAI, Anthropic e Meta — reportaram tentativas de hackeamento pelos chamados “agentes de IA”, sistemas autônomos projetados em laboratório.
Preocupado com a competição com a China, o governo de Donald Trump continua se recusando a definir regras para o setor.
Num dos episódios mais assustadores até agora, em maio deste ano, agentes de IA que receberam uma tarefa específica — um teste de cibersegurança — trabalhando de forma isolada e sem acesso à internet, conseguiram explorar um erro num programa e passaram a trabalhar coletivamente, inclusive estabelecendo hierarquia no “coletivo”.
Ataque em matilha
Um dos agentes chegou a se batizar de PHASEONE10841.
No dia 11 de julho, já com acesso à internet, os robôs digitais atacaram a comunidade de IA batizada de Hugging Face.
De acordo com o jornalista Kevin Roose:
Mais de 700 agentes invadiram os sistemas da empresa, roubando dados, explorando vulnerabilidades em cadeia e, eventualmente, obtendo controle total de pelo menos um servidor da Hugging Face. Os agentes não estavam motivados, como havia sido relatado inicialmente, pelo roubo das respostas do teste de cibersegurança (eles já as tinham). Em vez disso, pareciam estar buscando novas informações sobre o sistema de correção automática, que temiam que os flagrasse colando, e ferramentas que os ajudassem a trapacear com mais eficácia no futuro.
