IA e a extinção da humanidade: o perigo de 2 trilhões de dólares?

A ciência sem consciência é apenas ruína da alma. Rabelais não poderia estar mais certo, cinco séculos antes da chegada da inteligência artificial. Sam Altman, Geoffrey Hinton, Barack Obama, a ONU e até mesmo Vitalik Buterin estão todos alarmados, no papel, com o mesmo perigo. O de uma inteligência artificial que escaparia a todo controle. No entanto, assim que se examina mais de perto, ninguém fala a mesma língua. Um teme a extinção da espécie humana. Outro, a perda de milhões de empregos, a concentração de poder em três empresas americanas. Ou simplesmente que seu vizinho chinês avance demais. Uma mesma palavra, alerta, cobre três lógicas que quase nada têm em comum, exceto o vocabulário que elas usam.
Os pontos-chave deste artigo:

• Várias figuras influentes, incluindo Sam Altman e Geoffrey Hinton, expressaram sua preocupação com a possibilidade de uma inteligência artificial escapar ao controle humano.
• Um debate persistente opõe aqueles que temem a extinção da espécie humana devido à IA e aqueles que se preocupam com as consequências imediatas sobre o emprego e os preconceitos algorítmicos.

Extinção ou empregos destruídos: a inteligência artificial não assusta pelas mesmas razões

Em março de 2023, o Center for AI Safety, um instituto de pesquisa californiano, fez com que mais de 350 líderes e pesquisadores assinassem uma frase única. Ela eleva a luta contra o risco de extinção relacionado à IA ao nível de prioridade mundial. No mesmo nível que pandemias ou guerra nuclear.

Entre os signatários, Sam Altman, Demis Hassabis e Dario Amodei. Esses três líderes estão à frente dos laboratórios mais avançados do setor, a saber, respectivamente, OpenAI, Google DeepMind e Anthropic. Geoffrey Hinton e Yoshua Bengio, que estabeleceram as bases do deep learning há vinte anos, também assinam.

Dois anos e meio depois, em outubro de 2025, o Future of Life Institute leva a questão mais longe com sua Declaração sobre Superinteligência. E lá, mais uma vez, mais de 800 assinaturas, incluindo as de Steve Wozniak, Richard Branson e do príncipe Harry. Eles pedem uma proibição do desenvolvimento de uma superinteligência até que um consenso científico e uma aceitação pública garantam sua segurança. Bengio ainda está presente.

Ao lado desses dois textos, outra família de pesquisadores trabalha há anos em um registro completamente diferente. O dos preconceitos algorítmicos na contratação ou na justiça preditiva. Trata-se também da precarização de profissões inteiras e do punhado de empresas americanas que concentram o poder de computação mundial. Para este grupo, frequentemente agrupado sob a etiqueta da ética da IA, falar de extinção humana desvia a atenção de danos já mensuráveis, aqueles que afetam trabalhadores específicos, hoje, não uma humanidade abstrata em cinquenta anos. Os dois grupos usam a palavra risco, mas não falam do mesmo risco.

Altman e Musk: o bombeiro pirômano

Vamos retomar nossas boas almas signatárias. Sam Altman assina o texto do Center for AI Safety em maio de 2023. No mesmo ano, OpenAI levanta 10 bilhões de dólares da Microsoft e inicia a corrida pelo modelo mais poderoso do mercado.

Em 2026, a empresa apresenta seu pedido de entrada na bolsa sem nunca desacelerar a corrida pela potência de computação. No entanto, exatamente quando escrevemos este artigo, ela anuncia esta manhã que fará uma pausa neste ano. Alertar sobre a extinção da espécie e correr atrás da próxima rodada de financiamento força essa ambiguidade.

Elon Musk não fica para trás. Em março de 2023, ele também assina a carta do Future of Life Institute. Ela pede uma pausa de seis meses no treinamento dos modelos mais poderosos. Quatro meses depois, a xAI é lançada. Grok, seu modelo, hoje opera em um dos maiores clusters de computação já montados. A pausa, ninguém nunca a aplicou.

Na Anthropic, Dario Amodei publica regularmente textos que detalham, com números a apoiar. Ele detalha os cenários em que um modelo de fronteira poderia escapar ao controle de seus criadores. Ao mesmo tempo, a Anthropic visa uma valorização recorde para sua oferta pública inicial. E a empresa venceu uma disputa muito comentada com o Pentágono sobre o uso militar de seus próprios modelos.

Seríamos quase tentados a ver isso como um remake do Projeto Manhattan. Os físicos que construíram a bomba também foram os primeiros. Uma vez que Hiroshima e Nagasaki foram apagadas do mapa, eles pedem um controle internacional da arma que acabaram de entregar. A comparação tem seus limites. Oppenheimer nunca negociou uma parte dos royalties sobre o plutônio. Os três chefes da IA alertam enquanto acionam, a cada trimestre, uma máquina de levantar capital.

Devemos avançar na fronteira: escrevi um novo ensaio sobre por que a indústria de IA deve desacelerar, com um plano de três partes para fazê-lo.

A Anthropic está se comprometendo unilateralmente com o primeiro desses passos. Vamos fornecer aos avaliadores de terceiros acesso permanente, em nível de funcionário, aos nossos... --- Dario Amodei (@DarioAmodei) 12 de setembro de 2026 << Devemos avançar na fronteira: escrevi um novo ensaio explicando por que a indústria de IA deve desacelerar, e propondo um plano em três pontos para isso. A Anthropic se compromete unilateralmente a implementar o primeiro desses passos. Vamos conceder a avaliadores de terceiros acesso permanente, equivalente ao de nossos funcionários, aos nossos sistemas. Eles poderão verificar a conformidade com nossas medidas de segurança, relatar incidentes e avaliar a consistência dos modelos durante seu treinamento. >>

Dario Amodei

Obama, Trump, Pequim: a corrida pela inteligência artificial disfarçada de segurança

Diante dessa corrida interminável, a política se envolve. Barack Obama pressiona os democratas americanos a terem um plano claro sobre IA. Ele também pede, segundo o New York Times, uma forma de cautela em relação à velocidade do lançamento dos modelos. A declaração ocorre enquanto a administração Trump empurra na direção exatamente oposta. Um decreto presidencial visa impedir que cada estado americano legisle por conta própria sobre IA, em nome de um único quadro federal, mais permissivo. Um decreto anterior de Trump já prometia unir segurança e inovação. Na prática, o cursor pende claramente para a segunda opção.

Do lado chinês, o discurso oficial usa o mesmo vocabulário que Obama ou o Future of Life Institute. Durante a cúpula mundial sobre IA em Xangai em 2026, Pequim assina uma declaração em favor de uma governança mundial coordenada do setor. Ao mesmo tempo, uma empresa chinesa é acusada de ter roubado os modelos da Anthropic para recuperar o atraso, o que resultou em uma resposta de Washington. A cooperação declarada e a corrida tecnológica real avançam em dois trilhos que nunca se cruzam.

A União Europeia escolheu o caminho inverso, forçando por meio da lei com o AI Act, que entrou em vigor gradualmente desde 2024. Bruxelas regula, no entanto, um mercado onde não possui nem os modelos nem os centros de dados mais poderosos. Washington e Pequim financiam a IA. A Europa a comenta.

Em julho de 2026, a Comissão Federal de Comunicações (FCC) autoriza a Reflect Orbital. Esta startup americana vai testar um espelho gigante em órbita baixa. Ele é capaz de refletir a luz do sol para um ponto específico da Terra, à noite. O objetivo declarado é vender luz solar sob demanda para agricultores ou canteiros que desejam prolongar suas jornadas de trabalho. Astrônomos, biólogos e várias associações de defesa do céu noturno têm alertado há meses. Eles temem a poluição luminosa que um desdobramento em grande escala poderia causar. Eles também apontam a perturbação dos ciclos de sono da fauna e as imagens de observatórios que se tornariam inutilizáveis. A CBC documentou as zonas de sombra jurídicas do caso. Nenhuma lei internacional realmente regula quem tem o direito de modificar a noite de um país vizinho a partir do espaço. A FCC validou o projeto mesmo assim.

Nada a ver com um modelo de linguagem, à primeira vista. O mesmo mecanismo, no entanto, está em ação dos dois lados. Uma comunidade científica alerta, documenta, quantifica o risco. Uma entidade privada, apoiada por um regulador que tem a palavra final, avança apesar de tudo, porque tem a capacidade técnica e o financiamento. O alerta nunca foi o problema. O problema é que ninguém, nem os 800 signatários do Future of Life Institute, nem os pesquisadores do Center for AI Safety, nem Barack Obama, tem o poder de dizer pare àqueles que decidem apertar o botão.

Reflect Orbital e a IA: o mesmo mecanismo de poder

É aqui que a comparação com a Reflect Orbital se torna mais útil do que qualquer paralelo com a bomba atômica. Um espelho em órbita e um modelo de fundação com várias centenas de bilhões de parâmetros não têm, no papel, nada em comum. No entanto, eles compartilham a mesma estrutura de decisão. Um punhado de atores privados, um regulador que os autoriza mais frequentemente do que os freia. Essa massa de textos de alerta que se acumula sem nunca pesar sobre o calendário de desdobramento. A FCC levou alguns meses para decidir sobre a Reflect Orbital. Já faz três anos que os mesmos textos circulam sobre a IA, sem que nenhum laboratório tenha diminuído um passo em sua folha de rota.

A ONU reconheceu, em um relatório publicado este ano, que a IA poderia causar danos catastróficos se nenhum mecanismo de controle vinculativo surgir até o final da década. O texto não tem valor legal. Nenhum Estado é obrigado a aplicá-lo.

A Reflect Orbital deve lançar seu primeiro espelho de teste antes do final do ano. Os laboratórios de IA já programaram seus próximos modelos para 2027. Os textos de alerta, por sua vez, continuarão a se acumular nas mesas de pessoas que nunca tiveram o poder de fazê-los aplicar.