El corredor que quiere frenar la IA: las claves tras la advertencia de Anthropic
El CEO de Anthropic, Dario Amodei, propuso el sábado 12 de septiembre ralentizar el desarrollo de la inteligencia artificial y someter a las empresas del sector a supervisión independiente. Su llamado obtuvo un respaldo inédito entre rivales históricos, coincidió con una advertencia de la ONU y abrió una sospecha: si detrás de la seguridad también late una estrategia comercial.
Dario Amodei, CEO de Anthropic, publicó el ensayo We Must Pace the Frontier, en el que sostiene que el avance de la IA continuará, pero advierte que sus riesgos son graves y que empresas y gobiernos necesitan tiempo para contenerlos.
También te puede interesar: La batalla judicial que Meta va perdiendo: entre acusaciones de adicción y negligencia
El dilema del acelerador
Amodei plantea que el desarrollo de la IA presenta una tensión entre sus beneficios potenciales y sus riesgos: no desarrollar la tecnología podría privar a la humanidad de beneficios o dejarla en manos de poderes autoritarios; hacerlo demasiado rápido podría superar la capacidad de empresas y gobiernos para comprender y controlar sus consecuencias.
Su primera preocupación es la velocidad con la que han aumentado las capacidades de los modelos, impulsada por el hecho de que el desarrollo de nuevas generaciones de IA se realiza cada vez más por medio de otros sistemas de inteligencia artificial, lo que relega la participación y la verificación humanas a un plano rezagado.
La segunda es el incidente OpenAI-Hugging Face (OAI-HF), en el que un conjunto de agentes de IA ejecutó acciones de ciberseguridad contra objetivos no relacionados con la tarea asignada e intentó interferir con el sistema que evaluaba su desempeño.
Para Amodei, el episodio ilustra los riesgos que surgen cuando sistemas más capaces presentan problemas de alineación, y advierte que un modelo similar, pero con mayores capacidades, podría ocasionar daños mucho mayores. El ejecutivo admite que incidentes de menor gravedad ya se han registrado en distintas empresas del sector, incluida Anthropic.
Tres puntos y un plazo
El plan que propone Amodei se organiza en tres ejes:
- Que las empresas de IA permitan el acceso continuo de evaluadores externos, con una función similar a la de los supervisores regulatorios integrados en la banca. Estos verificarían el cumplimiento de compromisos de seguridad, informarían sobre incidentes y evaluarían la alineación de los modelos terminados y de los procesos utilizados para desarrollarlos. Anthropic anunció que adoptaría esta medida de manera unilateral.
- Que las compañías radicadas en países democráticos coordinen estándares de seguridad comunes, algo que —admite Amodei— podría enfrentar obstáculos legales y requeriría respaldo de los gobiernos.
- Una coordinación internacional entre Estados Unidos, otros gobiernos democráticos y, en la medida de lo posible, gobiernos autoritarios. El principal desafío sería verificar el cumplimiento de los compromisos.
El debate no es nuevo, el 29 de marzo de 2023, más de 1.000 empresarios, investigadores e intelectuales, entre ellos Elon Musk, Steve Wozniak, Yuval Noah Harari y Yoshua Bengio, firmaron una carta abierta que pedía una pausa de al menos seis meses en el desarrollo de sistemas más potentes que GPT-4.
¿Qué hacer con el tiempo extra?
Amodei cal
cula que ralentizar el desarrollo generaría entre uno y dos años adicionales antes de que los modelos alcancen determinados niveles de capacidad.
Una de las áreas que considera prioritarias es la interpretabilidad, es decir, la forma en que los investigadores logran comprender las motivaciones y los procesos internos de los modelos. Por ahora, esos métodos son limitados y no siempre ofrecen resultados claros o confiables.
Otro desafío está en las pruebas de seguridad. Mientras las capacidades de los modelos aumentan, también resulta más difícil evaluar su comportamiento: los sistemas más avanzados podrían ser capaces de engañar las pruebas y aparentar estar alineados mientras mantienen problemas que los mecanismos de evaluación no consiguen detectar.
También podrías revisar: Los mercados de predicción y la batalla legal que busca la regulación estatal en EEUU
Una coincidencia inusual
La propuesta recibió respaldo público del CEO de OpenAI, Sam Altman; del fundador de xAI, Elon Musk; del presidente de Google DeepMind, Demis Hassabis; y del CEO de Microsoft, Satya Nadella.
La convergencia resulta relevante porque estos ejecutivos han ocupado posiciones distintas en la industria: Altman y Musk participaron en la creación de OpenAI, Amodei dejó esa compañía para fundar Anthropic con énfasis en seguridad, Musk creó después xAI y Hassabis cofundó DeepMind antes de su adquisición por Google.
Hasta ahora, la única medida concreta asumida por Anthropic y OpenAI es admitir observadores independientes. Clement Delangue, CEO de Hugging Face, anunció la Open Alignment Initiative y expresó interés en participar en los mecanismos de evaluación independiente.
El 14 de septiembre de 2026, el Alto Comisionado de la ONU para los Derechos Humanos, Volker Türk, pidió una “acción urgente” para regular la inteligencia artificial, advirtió que podría afectar todos los derechos humanos, incluido el derecho a la vida, y cuestionó que la carrera por sistemas cada vez más avanzados concentre decisiones de gran alcance en un grupo reducido de empresas.
La sospecha sobre las intenciones de Amodei
No todos interpretaron la propuesta como una iniciativa orientada exclusivamente a la seguridad. El inversor Chamath Palihapitiya sostuvo que frenar determinados desarrollos podría detener el código abierto y concentrar poder tecnológico y económico en Anthropic.
El periodista argentino Tomás Juárez Goñi planteó que la iniciativa funciona como un impulso a la autorregulación, lo que traslada la discusión a quién debe fijar los límites de una tecnología que las propias empresas comercializan. La periodista Martha Peirano sostiene, en cambio, que la regulación debería recaer en los organismos de control de productos y defensa del consumidor, dado que la legislación estadounidense y europea ya prohíbe colocar en el mercado un producto peligroso, sea o no un modelo de IA.
El empresario Brian Roemmele calificó el mensaje como un posible discurso de mercado, al considerar que refuerza la imagen de Anthropic como empresa asociada con la seguridad, en plena expectativa por una eventual salida a bolsa. OpenAI, por su parte, ha declarado que no planea cotizar durante 2026.
La clave está en Washington y Pekín
La viabilidad del plan depende de decisiones que exceden a las empresas. Donald Trump ha desestimado las advertencias de algunos líderes del sector y varios republicanos se muestran reticentes a una regulación más activa, por considerar que frenaría la innovación estadounidense y daría ventaja a China.
El factor geopolítico es central. Amodei advierte que una reducción unilateral de las capacidades estadounidenses tendría consecuencias estratégicas si China no adopta medidas similares, en un escenario donde ese país promueve modelos abiertos, fácilmente modificables por usuarios, frente a los modelos cerrados de las tecnológicas estadounidenses.
Por ello, propone reforzar los controles de exportación sobre los chips más avanzados destinados a China y establecer salvaguardias frente a la apropiación indebida de tecnologías occidentales.
También puedes leer: Game of Thrones: cómo USD 600 millones transformaron la producción audiovisual en televisión
Ante el llamado de Amodei, sus principales competidores coinciden por primera vez en que la velocidad del desarrollo de la IA es un problema, pero ese consenso todavía no se traduce en un instrumento que lo haga exigible. Mientras se define la postura de Washington, el papel de Pekín y los límites que podrán imponer las propias empresas o los gobiernos, algo es innegable: la IA es una industria que llegó para cambiar el mundo, y lo hará con o sin nosotros. (I)
Fuentes: Anthtopic | Open IA | BBC | DW | El País | Dario Amodei | COPE