"Vendamos AGI a los gobiernos de EE. UU., China y Rusia"... OpenAI había planeado una 'subasta nacional'

Uno de los motivos por los que Dario Amodei dejó OpenAI

Filtración de un resumen del libro sobre la fundación de Anthropic

"La separación entre Altman y Amodei fue un problema de confianza"

[James Jung, periodista de Block Media] El trasfondo de la salida de Dario Amodei, fundador de Anthropic, de OpenAI no se limitó a diferencias filosóficas sobre la seguridad de la inteligencia artificial (IA).

Hubo discusiones en OpenAI sobre la venta de los derechos de la inteligencia general artificial (AGI) a gobiernos como el de EE. UU., China y Rusia a través de un sistema de subasta para recaudar fondos. Se ha informado que la confianza entre ambas partes se rompió cuando Amodei se enteró de este plan denominado 'plan de países'.

El 'plan de países', que fue discutido internamente en OpenAI, partía de la idea de que los riesgos de la AGI deberían ser gestionados conjuntamente por la comunidad internacional. Sin embargo, OpenAI, que enfrentaba problemas de financiamiento en ese momento, consideró la impactante idea de prácticamente subastar los derechos de la futura AGI a los gobiernos de diferentes países.

Dario Amodei, quien era el jefe de investigación de OpenAI, se opuso firmemente a este plan, argumentando que podría desencadenar una carrera armamentista en IA y violaciones de derechos humanos.

Financiamiento mediante la venta de AGI a los gobiernos

La revista estadounidense The Atlantic publicó el 29 de septiembre (hora local) un extracto del nuevo libro de Kevin Roose, "Las crónicas de AGI (The AGI Chronicles)". Roose entrevistó a más de 150 personas de OpenAI, Anthropic y Google DeepMind, y rastreó el proceso de separación entre Amodei y la dirección de OpenAI a partir de documentos internos.

Amodei se unió a OpenAI, que en ese momento era un laboratorio de investigación sin fines de lucro, después de dejar Google en 2016. Lideró investigaciones que demostraban que aumentar la escala de los modelos de IA conducía a mejoras en la inteligencia.

El conflicto comenzó en 2017. Con la interrupción del financiamiento por parte de Elon Musk, OpenAI necesitaba encontrar nuevas formas de recaudar enormes sumas para el desarrollo de IA.

Greg Brockman, cofundador de OpenAI, y Ilya Sutskever, científico jefe, propusieron el 'plan de países'. Inicialmente, la idea era que varios países formaran una unión internacional para gestionar conjuntamente los riesgos de la AGI y compartir sus beneficios.

Sin embargo, durante la fase de presentación interna, la naturaleza del plan cambió. Se discutió un tipo de subasta para ofrecer derechos sobre la futura tecnología de AGI a países como EE. UU., China y Rusia para recaudar fondos. Un asistente que escuchó el plan recordó que sonaba como una idea de startup que buscaba obtener dinero del gobierno.

No se ha confirmado si la propuesta fue hecha directamente por Sam Altman, CEO de OpenAI.

Si de todos modos hay que entregárselo al gobierno, mejor venderlo

La idea de la subasta estaba relacionada con la seguridad nacional. Se pensaba que si la AGI se materializaba, era probable que los gobiernos de cada país obtuvieran la tecnología de las empresas desarrolladoras. La lógica era que, dado que la tecnología se entregaría al gobierno de todos modos, era mejor asegurar financiamiento de los gobiernos por adelantado en un momento en que se necesitaba dinero.

Este impactante plan surgió en un momento en que OpenAI buscaba nuevas fuentes de financiamiento, pero también está relacionado con la actual controversia sobre la teoría del apocalipsis de la IA y el desarrollo de IA liderado por el estado, lo que plantea preguntas fundamentales sobre "¿qué están pensando las empresas privadas de desarrollo de IA al crear tecnología de AGI?".

Amodei se opuso frontalmente al plan de países. En diciembre de 2017, envió un correo electrónico a Brockman, Sutskever y otros ejecutivos, argumentando que este plan podría no solo no reducir la carrera armamentista, sino ampliarla. También planteó la posibilidad de que gobiernos autoritarios aseguraran AGI que reflejara sus propios valores, lo que podría llevar a graves violaciones de derechos humanos.

Advirtió que este tipo de plan podría socavar la legitimidad moral de OpenAI. La organización, que se había establecido con el objetivo de desarrollar AGI de manera segura, estaba en conflicto con su propósito al ofrecer tecnología poderosa a los gobiernos de diferentes países para asegurar financiamiento.

El plan en realidad no se llevó a cabo. Posteriormente, Microsoft (MS) invirtió una gran suma de dinero en OpenAI, lo que hizo que el plan de países quedara en el olvido.

OpenAI respondió a las afirmaciones de Roose diciendo que "en ese momento se revisó brevemente si OpenAI podría convertirse en un proyecto de cooperación internacional", pero negó haber considerado la venta de AGI a China o Rusia.

Desde el 'plan de países' hasta MS y GPT-3... la desconfianza se acumuló

El plan de países no fue la única causa de la separación. Varios eventos posteriores aumentaron la desconfianza entre Amodei y la dirección.

También hubo conflictos en torno a la versión no pública de GPT-3. Amodei solicitó a Altman la lista de clientes que habían recibido autorización para usar el modelo. Sin embargo, luego se enteró de que existía una lista más larga que la que le habían proporcionado. Amodei comenzó a sospechar que la información que se le proporcionaba estaba siendo filtrada.

Las negociaciones de inversión con MS también fueron problemáticas. Los estatutos de OpenAI contenían un principio que indicaba que si otros proyectos que priorizaban la seguridad se acercaban al desarrollo de AGI, se podría detener la competencia y colaborar. Amodei quería que esta posibilidad estuviera garantizada en el contrato de inversión con MS.

Sin embargo, Altman explicó que MS no aceptaría esto. Amodei comenzó a dudar de cuán firmemente Altman había planteado esa demanda en las negociaciones reales. La discrepancia sobre decisiones comerciales individuales se amplió a la cuestión de si se podía confiar en la dirección.

En 2020, también se generó controversia por el intento de ofrecer acceso a la versión beta de GPT-3 al rapero Kanye West. Altman intentó invitar a West a la beta no oficial de GPT-3 después de reunirse con él. Sin embargo, Jack Clark, entonces responsable de políticas de OpenAI, intervino y la invitación no se llevó a cabo.

Para Amodei, el núcleo del problema era, en última instancia, la 'confianza'. Se dice que mientras trabajaba en OpenAI, registró por separado los casos en los que sentía que había sido 'engañado' por Altman. Según los documentos proporcionados, una nota contenía un registro que indicaba que el núcleo del problema era 'Altman mismo'.

Colapso de la confianza y separación

El conflicto finalmente se convirtió en un problema de la estructura de poder de la organización. Amodei exigió que se le otorgara un derecho de veto al equipo de seguridad para bloquear el lanzamiento de nuevos productos como condición para quedarse en OpenAI. La cuestión clave era quién debería tener la última palabra si la seguridad de la IA chocaba con los objetivos comerciales.

Durante las negociaciones, Amodei y seis colegas crearon un canal de Slack informal llamado 'BATNA'. BATNA (Mejor Alternativa a un Acuerdo Negociado) se refiere a la mejor alternativa que se puede elegir si las negociaciones fracasan.

La reunión secreta incluyó a Daniella Amodei (prima de Dario), Jack Clark, Sam McCandlish, Tom Brown, Chris Ola y Jared Kaplan. Mientras negociaban para quedarse en OpenAI, también se estaban preparando para la separación.

Finalmente, ambas partes involucraron a abogados en las negociaciones sobre las condiciones de salida, que internamente se llamaron 'divorcio'. Altman acordó darles la oportunidad de contratar a empleados de OpenAI durante un período determinado, a cambio de no contratar a más empleados durante un año. También se incluyó la condición de no difamarse públicamente entre sí.

En diciembre de 2020, durante una reunión virtual de toda la empresa, Amodei y sus colegas anunciaron que dejarían la empresa para crear una nueva organización de seguridad de IA. Al final de la reunión, se les bloquearon los correos electrónicos y el acceso a Slack de OpenAI. Amodei fundó Anthropic en 2021.

Este contenido se ofrece únicamente con fines informativos generales y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, tradear o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.