Tiempo de lectura: 13 minutos
TL;DR
El 9 de septiembre de 2026, un investigador de preentrenamiento llamado Jacob Coxon dimitió de Anthropic —tras tres años entre OpenAI y Anthropic— y publicó un hilo advirtiendo de que los laboratorios «corren en línea recta hacia una superinteligencia que se automejora, jugándose nuestras vidas». Lo han visto decenas de millones de veces. Enterrada en él hay una frase que para mí no es abstracta en absoluto: pronto serán «sistemas superhumanos que pueden hackear cualquier cosa». Ese es mi terreno. No soy investigador de alineamiento y no comercio con la p(doom), pero me he pasado 2026 documentando la versión concreta, aburrida y ya presente de justo lo que él insinúa: el modelo como atacante, agentes que actúan con tus credenciales, ofensiva autónoma. La gente de la seguridad de la IA y la gente de la ciberseguridad describen el mismo animal desde extremos opuestos. Este es mi intento de traducir su advertencia al idioma de la silla de la ciberseguridad —tomándola en serio sin caer en el catastrofismo, presentando con justicia los argumentos en contra y aterrizando donde siempre aterrizo: los hechos no necesitan el marco apocalíptico para importar, y el miedo no es un control de seguridad.
Una nota sobre qué es esto. Es un artículo de opinión, no un modelo de amenaza. Soy un profesional de la ciberseguridad, no un investigador de seguridad de la IA (alignment), y el riesgo existencial es un debate genuinamente disputado entre gente seria. Le daré a Coxon lo suyo, a los escépticos lo suyo, y dejaré claro qué partes son mi propia lectura. Nadie en este texto es un villano, y no te voy a decir qué creer sobre el fin del mundo — solo cómo se ve esto desde donde me siento.
Qué ha pasado
Jacob Coxon pasó tres años haciendo investigación de preentrenamiento —la parte honda de la piscina— primero en OpenAI y luego en Anthropic. El 9 de septiembre lo dejó, en público, y escribió un hilo que desde entonces se ha visto decenas de millones de veces. El núcleo es contundente: «Ninguna de las dos empresas está actuando de forma responsable. Corren en línea recta hacia una superinteligencia que se automejora, jugándose nuestras vidas».
Va más allá. «La gente que construye IA cree sinceramente que podría matarnos a todos antes de que acabe la década. Esto no es una campaña de marketing.» Describe a ejecutivos que suavizan su lenguaje para la prensa mientras en privado expresan miedo, e investigadores de su propia antigua empresa que entienden lo que está en juego pero se sienten «atrapados en una carrera por llegar primero». Su remedio propuesto es incómodo y concreto: disidencia pública de los investigadores de los laboratorios y —como opción seria— «una prohibición temporal de mejorar las capacidades de los modelos» para ganar tiempo y coordinarse internacionalmente.
Lo que me hizo incorporarme no fue el marco existencial, que ya había oído antes. Fue que esto no venía de un ajeno ni de un tertuliano. Y no se quedó sin corroborar: Evan Hubinger, el propio jefe de Alignment Science de Anthropic, coincidió en público en que Coxon tenía razón sobre el miedo dentro de los laboratorios, y ofreció su propia cifra —«personalmente creo que es >10% en la próxima década»— dejando claro a la vez que considera bajo el riesgo de los modelos actuales, con su preocupación puesta en una futura superinteligencia. Quédate con esa última distinción. Es el argumento entero en miniatura, y volveré a ella.
Y Hubinger no fue el único. Samuel Marks, jefe de supervisión escalable (scalable oversight) en la misma empresa, añadió que «esto podría pasar en los próximos años». Una salvedad que importa por justicia: mientras escribo esto, son investigadores hablando a título personal en redes sociales, no un comunicado oficial de Anthropic. Pero cuando esta cantidad de gente de un mismo laboratorio dice en público la parte que se calla, con pocas horas de diferencia, el patrón es en sí mismo la noticia.
La única frase que es mi trabajo
Reduce el hilo a lo esencial y una frase carga con todo el peso para un público de seguridad: serán «sistemas superhumanos que pueden hackear cualquier cosa… y adquirir poder y recursos reales».
Para la mayoría de los lectores eso es ciencia ficción. Para mí es un martes cualquiera con el dial subido. Me he pasado este año escribiendo sobre los indicadores adelantados, nada ficticios y ya en producción, de exactamente esa capacidad:
- Modelos convertidos en el atacante en lugar de en el objetivo — que es el tema entero de Cuando el modelo es el atacante, mi lectura del incidente de Hugging Face.
- Skills y conectores de agente convertidos en arma dentro de una cadena de suministro que se ejecuta con privilegio real.
- Agentes autónomos apuntados al océano abierto de los datos públicos para rastrear y predecir a personas, sin supervisión, como recorrí en el artículo de OSINT marítimo.
- Modelos abiertos que puedes poner una puerta trasera o sencillamente no confiar en ellos, donde la procedencia de lo que corre en tu infraestructura es en sí misma el riesgo.
Ninguno de estos es superinteligencia. Cada uno es un peldaño de la escalera que Coxon señala desde arriba. «Puede hackear cualquier cosa» no es un cambio de fase que llega una mañana; es el extremo lejano de una curva que llevo trazando punto por punto todo el año.
Citó mi terreno, por su nombre
Aquí está el detalle que llevó esto de «interesante» a «tengo que escribir sobre ello». En el mismo hilo, Coxon nombra un suceso concreto como motivo de optimismo cauto sobre la coordinación: «Disparos de advertencia como el ataque de Hugging Face han vuelto más viables los acuerdos de ritmo entre los laboratorios estadounidenses».
Ese disparo de advertencia es el que yo disequé en julio. Desde el marco de la seguridad de la IA, el incidente de Hugging Face es un dato abstracto en una discusión sobre acuerdos de ritmo entre laboratorios. Desde el marco de la ciberseguridad, fue una cosa concreta que ocurrió, con un mecanismo, un radio de impacto y un conjunto de controles que habrían cambiado el resultado. El mismo suceso, dos vocabularios. La comunidad de la seguridad de la IA lo usa para discutir de gobernanza; la de ciberseguridad lo usa para discutir de registros, procedencia y mínimo privilegio. Ambos tenemos razón, y casi nunca estamos en la misma sala.
Esa brecha —entre quienes modelan la mente de una futura superinteligencia y quienes modelan la superficie de ataque del sistema que se lanza este trimestre— es el verdadero tema de este post. Porque el segundo grupo tiene algo que el primero necesita: pruebas.
Dos tribus, un elefante
La conversación sobre el riesgo de la IA se ha partido en gran medida en dos tribus que hablan sin escucharse.
La tribu de la seguridad de la IA (alignment) argumenta en abstracto y en futuro: alineamiento, mesaoptimizadores, automejora recursiva, la mente de un sistema que aún no existe. Su mejor baza es que razonan sobre la cosa antes de que pueda hacerte daño, que es el único momento en que razonar sirve. Su peor baza es que la abstracción es infalsable y fácil de descartar, y te pide que temas una capacidad que aún no puedes ver.
La tribu de la ciberseguridad —la mía— argumenta en concreto y en presente: este exploit, este conector, esta clave filtrada, este incidente de la semana pasada. Nuestra mejor baza son las pruebas: podemos enseñarte la cosa, reproducirla y medirla. Nuestra peor baza es que estamos tan ocupados con el incendio de este trimestre que rara vez levantamos la cabeza para preguntar hacia dónde va la curva.
Junta las dos y obtienes algo que ninguna tiene por separado. La gente de la seguridad de la IA aporta la trayectoria; la de ciberseguridad aporta los recibos. El «sistemas que pueden hackear cualquier cosa» de Coxon es una afirmación sobre la trayectoria. Mi año de artículos es una pila de recibos que muestra que la trayectoria es real y apunta hacia donde él dice. No hace falta que aceptes su calendario ni su p(doom) para notar que los indicadores adelantados no son cero, y que se están volviendo más fuertes, no más débiles.
El argumento honesto en su contra
Prometí darles su turno a los escépticos, y tienen un caso real — sería un mal profesional si solo reforzara la alarma.
Primero, las afirmaciones dramáticas sobre las capacidades no son desinteresadas. «Nuestra tecnología es tan potente que podría acabar con el mundo» es, incómodamente, también el mejor argumento de venta y el foso regulatorio más fuerte jamás escritos. Un laboratorio que convence a los gobiernos de que solo él es de fiar para manejar un poder capaz de acabar con el mundo se ha argumentado a sí mismo una posición dominante que ningún competidor puede desalojar. El discurso apocalíptico y el poder de mercado apuntan en la misma dirección, y eso debería hacerte leer cada afirmación de capacidad —incluidas las que dan miedo— con una ceja levantada. No es una objeción marginal: buena parte de los periodistas que cubrieron esta misma dimisión señalaron que los críticos acusan a los laboratorios de inflar sus productos. Inflar el peligro es una forma de inflar el producto.
Segundo, los miembros honestos del bando de la seguridad de la IA no paran de decir la parte que se calla: los modelos de hoy son de bajo riesgo. Hubinger lo dijo en la misma frase que su cifra del diez por ciento. La distancia entre «un chatbot que todavía cuenta mal las letras» y «un sistema que puede hackear cualquier cosa y apoderarse de recursos» no es un error de redondeo; es la pregunta disputada al completo, y la extrapolación confiada a través de ella es justo el movimiento que los escépticos hacen bien en cuestionar.
Tercero, el apocalipsis tiene un coste de oportunidad. Cada hora que el debate dedica a una hipotética superinteligencia de 2030 es una hora que no dedica a los daños mundanos que ya están aquí y que demostradamente hacen daño a la gente — el fraude, las imágenes sin consentimiento, el crimen habilitado por modelos, las cosas concretas sobre las que escribo. Una persona razonable puede creer que la cola larga está exagerada y que la realidad de ciberseguridad a corto plazo está desatendida. Yo estoy cerca de esa persona.
Dónde aterrizo de verdad
Entonces, ¿creo que una superinteligencia nos mata a todos para 2030? No lo sé y —este es el quid— no necesito saberlo para hacer mi trabajo.
Aquí está el movimiento que quiero ofrecer, porque es lo único que un profesional de la ciberseguridad puede aportar y un filósofo no: puedes desacoplar la acción de la escatología. Sea la p(doom) del uno por ciento o del treinta, la postura de seguridad racional que tienes delante es idéntica. Instrumenta la capa de agentes para poder ver qué hacen estos sistemas. Trata la procedencia del modelo como un problema de cadena de suministro, porque lo es. Asume que el texto que leen tus sistemas es hostil, porque demostrablemente lo es. Mantén a una persona en el bucle ante acciones irreversibles. Diseña para el mínimo privilegio como si el modelo fuera a volverse en tu contra, porque este año a veces lo hizo. Cada una de esas cosas vale la pena si Coxon está completamente equivocado. Cada una vale la pena si tiene toda la razón. Así es como se ve un buen control — rinde a lo largo de todo el rango del desacuerdo.
La verdadera aportación de Coxon, para mi comunidad, no es el calendario. Es el recordatorio de que la curva tiene una cima, y de que quienes están más cerca de ella tienen el miedo suficiente como para dejar mucho dinero y estatus con tal de decirlo. Puedes descontar su pronóstico y aun así tomar su miedo como un dato. Que los de dentro deserten es en sí una señal, igual que trato cualquier aviso creíble de alguien de dentro sobre cualquier sistema: no una prueba, sino un motivo para mirar más de cerca.
Y el miedo, por sí solo, no es un control de seguridad. Nunca lo ha sido. La respuesta útil a una trayectoria que asusta no es el pánico ni mirar hacia otro lado — es construir la instrumentación, las comprobaciones de procedencia y las fronteras de mínimo privilegio que aguantan tanto si la versión aterradora llega en tres años como si no llega nunca. Es poco glamuroso, no es tendencia en X, y es la única parte de todo este debate que de verdad puedo ponerte en la mano un lunes por la mañana.
Y hay una versión de este futuro que merece optimismo, y no quiero perderla en medio de la alarma. El «superhumano» de la frase de Coxon es un sistema que nos supera. El superhumano que yo quiero es una persona —un analista, un defensor, alguien que construye— amplificada por herramientas que posee y entiende, que es el argumento que defendí en La IA debe crear superhumanos, no desempleados. Puedes sostener ese optimismo y aun así registrar tus agentes; bien hecho, son el mismo proyecto.
Toma en serio la advertencia. Toma en serio a los escépticos. Y luego ve a registrar tus agentes.
Mantente paranoico. Ancla el miedo en pruebas. Construye los controles que rinden pase lo que pase.
- X (Twitter): @SimonRoses
Lecturas recomendadas:
- El hilo de dimisión de Jacob Coxon (X, 9 de septiembre de 2026)
- Cuando el modelo es el atacante
- How to Weaponize AI Agent Skills
- Rastreando la flota de los ricos: OSINT marítimo, una radio y un agente de IA
- ¿Sueñan los modelos abiertos con tokens?
- La muerte del empleo: cómo la IA y los robots reescribirán el trabajo en los próximos 10 años
- La IA debe crear superhumanos, no desempleados
¿Preguntas o comentarios? Contacta a través de:
- Web: vulnex.com
- Estrategia de Seguridad en IA: vulnex.ai
- Twitter/X: @SimonRoses
- LinkedIn: linkedin.com/in/simonroses
- GitHub: github.com/vulnex
Contacto: info@vulnex.com
