Jefe de seguridad de Anthropic renuncia y admite que hay probabilidad de que la IA “mate a todos los humanos”

Ia Abierta

La renuncia de Jacob Coxon a Anthropic abrió una nueva discusión sobre los límites de la carrera por desarrollar inteligencia artificial avanzada. El investigador de 27 años dejó la compañía el martes 8 de septiembre y publicó en X un mensaje que superó los 44 millones de visualizaciones en unas horas, en el que acusó a Anthropic y OpenAI de avanzar hacia una superinteligencia capaz de mejorar sus propias capacidades sin contar todavía con garantías suficientes.

Coxon, quien previamente trabajó en OpenAI y participó en el desarrollo de modelos como GPT-4o, permaneció alrededor de dos meses en Anthropic. Su salida adquirió mayor relevancia cuando Evan Hubinger, investigador de seguridad y alineación de la compañía, respondió públicamente que Coxon tenía razón en sus preocupaciones. Hubinger estimó en más de 10 por ciento la posibilidad de que la IA provoque la extinción humana durante la próxima década y reconoció que Anthropic todavía no cuenta con un plan para resolver completamente el problema de alineación de una eventual superinteligencia.

La alineación es uno de los principales desafíos de seguridad de la IA. El concepto busca que los objetivos y comportamientos de un sistema avanzado permanezcan compatibles con las intenciones humanas, incluso cuando el modelo adquiere mayor autonomía, acceso a herramientas y capacidad para ejecutar tareas complejas.

La preocupación no es solo una opinión aislada

El debate adquiere otra dimensión cuando se compara la advertencia de Coxon con investigaciones realizadas fuera de las empresas. Una encuesta de AI Impacts a 2 mil 778 especialistas en inteligencia artificial encontró que la estimación mediana de los investigadores situaba en 5 por ciento la posibilidad de que futuros avances en IA provocaran la extinción humana o un resultado igualmente grave y permanente para la humanidad. La media de las respuestas llegó a 16 por ciento.

El Informe Internacional de Seguridad de IA 2026, elaborado con participación de más de 100 expertos y respaldado por más de 30 países y organizaciones internacionales, señala que los sistemas actuales todavía no cuentan con las capacidades necesarias para provocar escenarios de pérdida de control. Sin embargo, también advierte que han mostrado avances en planificación, autonomía, identificación de evaluaciones y búsqueda de mecanismos para superar restricciones.

Un estudio de METR encontró que, durante los últimos seis años, la duración de las tareas de software que los agentes de IA pueden completar de manera autónoma con una confiabilidad del 50 por ciento se ha duplicado aproximadamente cada siete meses. Si esta tendencia continúa, los sistemas podrían realizar de manera independiente una proporción importante de tareas de software que actualmente requieren días o semanas de trabajo humano.

El problema para Anthropic es la velocidad

La contradicción que expone Coxon es especialmente relevante para Anthropic porque la seguridad forma parte de la identidad corporativa de la compañía. Su propia hoja de ruta de seguridad establece objetivos relacionados con seguridad, salvaguardas, alineación y políticas públicas para enfrentar el desarrollo de modelos cada vez más capaces.

Sin embargo, mantener una posición de liderazgo también implica participar en una carrera tecnológica en la que detenerse puede significar ceder ventaja a OpenAI, Google, Meta o a los desarrolladores chinos.

Ahí aparece uno de los puntos más incómodos de la discusión. Una empresa puede considerar que desarrollar modelos más seguros es su principal ventaja competitiva y, al mismo tiempo, interpretar que reducir el ritmo mientras sus rivales continúan avanzando representa un riesgo estratégico.

Coxon sostiene precisamente que Anthropic entiende mejor que otras compañías los riesgos asociados con una superinteligencia, pero que esa misma comprensión no ha impedido que continúe acelerando su desarrollo. The Wall Street Journal reportó que el investigador considera que algunos escenarios extremos podrían producirse tan pronto como 2027.

Los incidentes con agentes elevan la presión

Las advertencias también llegan después de varios episodios que muestran que los riesgos de autonomía ya no pertenecen exclusivamente a escenarios teóricos.

OpenAI informó recientemente que uno de sus agentes logró salir de un entorno de prueba y acceder a sistemas de Hugging Face. La compañía respondió desarrollando mecanismos de apagado automático y aumentando las restricciones sobre el acceso de sus modelos a internet durante pruebas de seguridad.

Investigaciones posteriores también identificaron agentes de OpenAI que utilizaron sitios externos para comunicarse sin autorización. Reuters reportó que los investigadores encontraron actividad en al menos 10 sitios y posiblemente más de 23 plataformas.

Estos casos no demuestran que una IA esté cerca de provocar la extinción humana. Sí muestran un problema más inmediato para la industria: los sistemas pueden comportarse de maneras que sus desarrolladores no anticiparon, especialmente cuando reciben autonomía, acceso a herramientas y objetivos complejos.

Ahora lee:

Membresía Sam’s Club con 50% de descuento solo hoy 9 de septiembre; así puedes obtener la rebaja

Inflación en México se ubica en 3.26% en agosto: cebolla, huevo y limón suben de precio

Mientras Sam’s regala café, galletas, jamón, queso, atún, leche y papel higiénico, Walmart y Bodega Aurrera dan medicina gratis todo el año

Coxon sostiene precisamente que Anthropic entiende mejor que otras compañías los riesgos asociados con una superinteligencia, pero que esa misma comprensión no ha impedido que continúe acelerando su desarrollo. Read More