Jensen Huang a la izquierda, Amodei a la derecha

Título original: "Jensen Huang a la izquierda, Amodei a la derecha"
Autor original: Su Yang, Tencent Technology

La inteligencia artificial de vanguardia sigue acelerándose, o frena, convirtiéndose en el tema más controvertido en Silicon Valley.

En medio de esta controversia, los gigantes de Silicon Valley han comenzado a tomar partido. Amodei, Altman, Musk y Hassabis han formado el "grupo de pausa". Jensen Huang, por otro lado, es un firme defensor de la "aceleración", criticando que la "teoría del apocalipsis de la IA" carece de base científica; Yang Li-Kun continúa burlándose de Amodei, diciendo: "(Amodei) cuando estaba en OpenAI, creía que GPT-2 era tan peligroso que no debería ser de código abierto, yo me reí de él en ese momento, y ahora todos pueden seguir haciéndolo."

En comparación, Zuckerberg y Nadella se han mostrado relativamente neutrales.

Que los gigantes se posicionen significa que no hay consenso en Silicon Valley sobre la pausa en los modelos de vanguardia, lo que se debe a las diferencias en sus posiciones en la cadena de valor de la industria de la IA. Los líderes en el nivel de modelos pueden pedir una pausa por diferentes razones, pero es poco probable que empresas como Oracle, AWS y Nvidia, que tienen miles de millones de dólares en pedidos de capacidad de computación, respondan positivamente a un llamado a detenerse.

En Washington, los llamados a la "pausa" no solo no han recibido apoyo, sino que han suscitado una serie de cuestionamientos.

"Esto me parece un poco como un caballo de Troya (It feels a little bit to me like a bit of a Trojan horse)." JD Vance dijo en una entrevista, esta frase refleja la verdadera opinión en Washington: cuando las empresas que fabrican caballos de Troya piden repetidamente que la puerta se haga más estrecha, se debe examinar qué empresas realmente deberían pasar por esa puerta.

01 Pausa, advertencia y una carta de renuncia

El desencadenante de esta discusión fue la renuncia de Jacob Coxon, un investigador de Anthropic.

Él había trabajado durante tres años en OpenAI y Anthropic en investigación de preentrenamiento, participando personalmente en el entrenamiento de modelos de vanguardia. En un extenso post en X, no tuvo palabras amables: "Ambas empresas no están actuando de manera responsable. Están avanzando directamente hacia una superinteligencia que puede auto-mejorarse, apostando nuestras vidas."

Él afirmó que las personas dentro del laboratorio realmente creen que la IA podría matar a toda la humanidad en diez años, y que esto no es una actuación de relaciones públicas. Muchos colegas ya han comenzado a describir la etapa actual como "momentos críticos" y "finales". Coxon incluso renunció a las acciones que le correspondían. Solo estuvo en Anthropic durante cuatro meses, mientras que la política de la empresa establece que se deben esperar seis meses para ejercer las opciones.

Jacob Coxon, ex investigador de Anthropic

A continuación, Evan Hubinger, responsable de la ciencia de alineación en Anthropic, respondió públicamente: Jacob tiene razón, realmente creemos que la IA podría matar a toda la humanidad. Personalmente, creo que la probabilidad de esto es superior al 10% en diez años. Anthropic está haciendo lo posible, pero aún no tenemos un plan claro para alinear la superinteligencia, y estamos lejos de estar en el camino correcto.

Estos dos disparos llevaron las preocupaciones que originalmente estaban fermentando principalmente dentro del laboratorio directamente al público. En este contexto, el fundador y CEO de Anthropic, Amodei, publicó un extenso artículo, proponiendo sistemáticamente la idea de "ralentizar la investigación de vanguardia". Ya no solo hablaba de "invertir en seguridad", sino que exigía claramente un control proactivo sobre la velocidad de los avances en capacidades, dejando tiempo para que los mecanismos de seguridad se pusieran al día.

Altman, Musk y Hassabis rápidamente respondieron públicamente, formando el "grupo de pausa".

Antes de que aparecieran las teorías de "ralentización" de Jacob Coxon y Amodei, figuras como Yoshua Bengio y Geoffrey Hinton, conocidos como los "padres de la IA", habían estado emitiendo llamados de atención sobre los riesgos.

Al hablar sobre la renuncia de Coxon, Bengio expresó que los científicos en laboratorios de IA de vanguardia a menudo pueden ver las capacidades de los modelos más rápido que el público, por lo que su juicio sobre los riesgos merece ser tomado en serio.

Al mismo tiempo, Bengio también dio ejemplos concretos, afirmando que los sistemas de IA actuales ya tienen capacidades de hackeo y persuasión, y si se utilizan para dañar los intereses humanos, podrían causar consecuencias graves. También le preocupa que, a medida que la IA adquiera la capacidad de planificar a más largo plazo, estos riesgos podrían ampliarse aún más.

Cuando se le preguntó por la probabilidad de que la IA "mate a toda la humanidad" en los próximos diez años, Hinton también dijo que esa cifra "no es irrazonable", pero al mismo tiempo enfatizó que nadie realmente sabe cómo dar una estimación confiable, ya que la humanidad nunca antes se había enfrentado a la existencia de una especie que podría ser más inteligente que nosotros en un futuro cercano.

Hinton cree que la IA podría ser utilizada en el futuro para diseñar virus biológicos peligrosos, virus informáticos y llevar a cabo ataques cibernéticos a gran escala. Por lo tanto, la humanidad necesita encontrar métodos efectivos de control antes de que los riesgos se descontrolen.

A diferencia de los proponentes de la nueva ronda de "pausa" en Silicon Valley, los "padres de la IA" hacen más un llamado a prestar atención a los riesgos y explorar mecanismos para controlar esos riesgos, en lugar de simplemente frenar. Además, desde una perspectiva de posición, las opiniones y sugerencias del ámbito académico son más puras, mientras que las iniciativas de los laboratorios de vanguardia, aunque públicamente etiquetadas como "por el futuro de la humanidad", siguen siendo difíciles de desvincular completamente de consideraciones comerciales.

Esta es precisamente la razón por la que JD Vance dice que la "teoría de la pausa" se siente como un caballo de Troya.

02 Divergencias y alineaciones

Los grupos de "aceleración", "ralentización" y "neutralidad". Fuente: The New York Times

El 15 de septiembre, varios líderes de empresas tecnológicas se pronunciaron en la conferencia Dreamforce de Salesforce, y esta discusión comenzó a convertirse en un enfrentamiento más directo de opiniones.

Ese día, Amodei, Huang y Altman hablaron sobre la seguridad de la IA, pero dieron respuestas diferentes sobre la velocidad de desarrollo, la responsabilidad de seguridad y qué acciones deberían tomar las empresas.

Amodei, al compartir el escenario con el CEO de Salesforce, Marc Benioff, enfatizó nuevamente que las empresas de IA deberían establecer estándares de seguridad más altos a través de sus propias acciones. Cree que las empresas que toman medidas de seguridad más estrictas pueden ser una forma de impulsar a toda la industria hacia adelante.

En otras palabras, la actitud de Amodei comenzó a cambiar, pasando de pedir una desaceleración en toda la industria a abogar por que las empresas implementen sus propias medidas de seguridad.

Jensen Huang, por su parte, afirmó que "no se necesitan nuevas leyes ni nueva regulación". En su opinión, la velocidad y la seguridad no son mutuamente excluyentes; las empresas pueden avanzar en el desarrollo de modelos lo más rápido posible; si descubren que han perdido el control o que el producto no puede garantizar la seguridad, entonces deberían detenerse para resolver el problema.

La actitud de Benioff es más abierta y enfatiza la autonomía. Dijo que si las empresas creen que deberían desacelerar, entonces deberían hacerlo; si creen que deberían acelerar, entonces deberían acelerar, y también deberían asumir la responsabilidad de sus decisiones.

El fundador y CEO de OpenAI, Altman, en el evento de Dreamforce, expresó que tiene mucha confianza en que OpenAI y toda la industria de la IA pueden desarrollarse de manera segura sin causar un daño significativo al público. Al mismo tiempo, expresó su decepción por que su opinión se interpretara como un apoyo a que toda la industria desacelere el desarrollo de la IA.

En otras palabras, Altman también comenzó a cambiar, enfatizando que lo que quería expresar no era un llamado a desacelerar la industria, sino que la seguridad y el monitoreo deberían preceder al aumento de capacidades.

Zuckerberg no apoya que las acciones de seguridad de una empresa se basen en la premisa de que otras empresas de IA deben desacelerar simultáneamente. Cree que introducir agencias de evaluación independientes y consultores externos para verificar la seguridad de los modelos es la mejor práctica de la industria. También reveló que Meta ya había desacelerado el desarrollo de la herramienta Muse AI, en lugar de esperar a que otras empresas llegaran a un consenso sobre desacelerar el desarrollo de la IA.

La actitud del CEO de Microsoft, Satya Nadella, es en cierto modo similar a la de Altman, alentando la implementación de medidas de seguridad y fomentando la competencia plena.

"Lo primero que debemos hacer es servir a la humanidad y asegurarnos de que la tecnología esté bajo control humano. Al mismo tiempo, la amplia difusión de la tecnología de IA es clave, debe ser selectiva y competitiva. La seguridad debe tomarse en serio, pero debe resolverse de manera ingenieril y transparente, no debe ser un misterio." Nadella dijo el 15 de septiembre durante la cumbre All-In Summit 2026.

Además de estos empresarios, las voces de Washington también se han sumado a la conversación.

Después de que Trump llamara directamente a Jensen Huang para expresar públicamente su apoyo al desarrollo continuo de la industria de la IA, David Sacks, copresidente del Consejo Asesor de Ciencia y Tecnología del Presidente de EE. UU., declaró que las empresas tecnológicas pueden continuar avanzando en la IA de vanguardia, mientras cuestiona las motivaciones detrás de las propuestas de "ralentización" de algunas empresas.

03 ¿Quién establecerá las reglas?

A medida que la discusión se amplía, la controversia también se extiende desde los riesgos de la IA en sí, hasta si los estándares de seguridad de la IA de vanguardia deben ser establecidos por las empresas mismas o si se necesita la intervención del gobierno y agencias independientes.

Bloomberg citó a fuentes informadas que indican que Anthropic, Google y OpenAI han discutido previamente la creación de una agencia de estándares de la industria de la inteligencia artificial.

En julio, Hassabis publicó un artículo proponiendo la creación de una agencia de estándares de IA liderada por EE. UU., cuyo modelo de operación sería similar al de la Autoridad Reguladora de la Industria Financiera de EE. UU. (FINRA). Esta agencia podría realizar pruebas antes de que los modelos avanzados de IA se implementen oficialmente, para determinar si cumplen con los estándares de seguridad correspondientes.

Según la visión de Hassabis, esta agencia no debería ser completamente dirigida por el gobierno, sino que debería adoptar un modelo de colaboración público-privada. En este, el gobierno desempeñaría un papel de supervisión, la industria de la IA proporcionaría financiamiento, y se incluirían expertos técnicos independientes y representantes de la comunidad de código abierto.

Hassabis intenta agregar un chequeo de seguridad independiente antes de que los modelos ingresen al mundo real, lo que se alinea con la lógica regulatoria que el gobierno de EE. UU. publicó a principios de junio: las empresas pueden optar por someter sus modelos a evaluación gubernamental antes de su publicación, con un máximo de 30 días de ventana de acceso antes de la publicación, y se deja claro que no se realizará una aprobación obligatoria ni se establecerán licencias de publicación.

Lo que es dramático es que las versiones posteriores de Fable 5 y Mythos 5 no siguieron este proceso, pero se descubrió que tenían capacidades de ataque y defensa cibernética muy fuertes, y finalmente fueron brevemente retiradas por el BIS de EE. UU. en forma de control de exportaciones.

Sin embargo, incluso así, la actitud política solo exige la implementación de medidas de seguridad, sin hacer declaraciones o directrices sobre la desaceleración.

Jakub Pachocki, el científico jefe de OpenAI, sostiene una opinión similar a la de Hassabis. A principios de septiembre, también enfatizó que compartir estándares de seguridad y coordinar internacionalmente el desarrollo de la IA debería ser una prioridad actual.

04 Nadie realmente ha pisado el freno

Hasta ahora, esta discusión no ha cambiado realmente el ritmo de desarrollo de las empresas de IA de vanguardia.

Anthropic, OpenAI, Google, xAI y otras empresas siguen avanzando en la investigación de modelos, y la competencia en torno a la capacidad de computación, centros de datos e infraestructura de IA no se ha detenido debido a esta discusión. En el ámbito del mercado de capitales, ha habido diferentes cambios: Anthropic sigue preparando su IPO para este año, mientras que OpenAI ha pospuesto su plan de IPO hasta 2027.

Amodei quiere detener toda la industria para buscar soluciones para agregar medidas de seguridad a las capacidades de los modelos, lo que en cierta medida puede entenderse como "generosidad de otros".

Esta es también la razón por la que Amodei ha sido etiquetado como "fingiendo ser un pequeño ángel perfecto".

En cuanto a este tema de control de riesgos, la perspectiva representada por Jensen Huang se ajusta más a la realidad; si las empresas tienen preocupaciones o descubren problemas, pueden explorar soluciones por sí mismas y compartir las soluciones efectivas que encuentren con la industria.

Hacer que un equipo de 100 personas y un equipo de 1000 personas se detengan juntos no tiene una base de consenso. Incluso Amodei es consciente de que si solo él se detiene, es muy probable que sea superado por competidores como OpenAI.

Más importante aún, hay diferencias en la gobernanza corporativa. Anthropic y OpenAI son empresas de beneficio público (Public Benefit Company), pueden clamar "por el futuro de la humanidad a expensas de los beneficios financieros a corto plazo", pueden decir a los inversores "esto lo hemos consensuado desde hace tiempo", pero empresas que cotizan en bolsa como Google, Microsoft y Meta tienen obligaciones fiduciarias legales hacia los accionistas del mercado secundario.

La posibilidad de que empresas con diferentes intereses lleguen a un consenso en este punto no es muy alta.

Hay otro detalle que podría pasarse por alto. Antes de la "teoría de la pausa", tanto Anthropic como OpenAI lanzaron sus modelos más potentes, uno es Fable 5.1 y el otro es GPT-6 Astra.

Con tantos llamados, ¿lanzarán otros nuevos modelos?

Enlace original