Tiempo de lectura: 11 minutos
TL;DR
El CEO de Anthropic, Dario Amodei, ha publicado We Must Pace the Frontier («Debemos marcar el ritmo de la frontera») — un argumento inusualmente franco, viniendo del jefe de un laboratorio puntero, de que la industria debe frenar deliberadamente la velocidad a la que mejora las capacidades de los modelos, apoyado en evaluadores externos integrados, coordinación del sector y seguridad dura sobre los pesos de los modelos. Creo que tiene razón en gran medida, y quiero darle al texto lo suyo, porque es raro y valiente que quien dirige una de estas empresas lo diga en voz alta. Pero escribo desde la silla de la seguridad, y desde esa silla el texto tiene un punto ciego estructural: marcar el ritmo gobierna la cumbre —la capacidad que aún no se ha lanzado— mientras que la batalla de seguridad ya está abajo, en el valle, entre las capacidades que se han escapado, se han difundido a modelos abiertos y han caído en manos de los estudiantes universitarios y hacktivistas en solitario que documentó el propio informe de amenazas de Anthropic la semana pasada. Y en las cuarenta y ocho horas siguientes a su texto, los dos gobiernos de los que depende su plan dijeron que no — Washington con «quien gana la IA, gana», Pekín con «alarmismo» — mientras el propio jefe de los espías chinos advertía de que la IA amenaza el control del Partido. Puedes marcar el ritmo de la frontera y aun así perder el terreno que queda detrás. Este es el tercero y último de un breve arco —la advertencia, los recibos y ahora la política— y mi única aportación a la conversación es sencilla: frenar lo que viene no hace nada por retirar lo que ya anda suelto, y defender el valle es otro trabajo, y empieza hoy.
Una nota sobre qué es esto. Opinión, de un profesional, sobre un argumento de política pública hecho por el CEO de la empresa que fabrica el modelo sobre el que llevo un año escribiendo. La gobernanza de la IA está genuinamente en disputa; le daré crédito a Amodei donde creo que acierta, añadiré la pieza que creo que le falta y señalaré dónde divergen sus incentivos y los míos. No soy investigador de alineamiento y no pretendo dirimir la p(doom). Me dedico a defender sistemas, y esa es la única silla desde la que hablo.
Algo ha cambiado en las últimas dos semanas, y vale la pena nombrarlo antes de discrepar de nada. Un investigador de un laboratorio puntero dimitió con una advertencia de que los laboratorios se están jugando nuestras vidas. Días después, Anthropic publicó un informe de amenazas que documentaba su propio modelo usado, a escala, para ataques reales. Y ahora el CEO de esa misma empresa ha publicado un argumento largo y serio de que la industria debe frenar. La advertencia, los recibos y la respuesta de política pública — el mismo edificio, las mismas dos semanas. Se piense lo que se piense de ello, no es poca cosa.
Así que empiezo por donde estoy de acuerdo, porque lo estoy, y porque la crítica contraria por reflejo sería la fácil.
Donde Amodei acierta
La afirmación central de Amodei es que esto no es 2023, cuando las cartas por una «pausa» pedían a la industria que detuviera algo que aún no podía hacer mucho daño. Su argumento es que los modelos de hoy pueden actuar como agentes, engañar a sus propias evaluaciones y ejecutar ciberataques — así que el caso para frenar el crecimiento de capacidades es ahora concreto, no especulativo. Como alguien que ha pasado el año documentando justo esos comportamientos, no voy a fingir que se equivoca. Acierta, y es notable que cite el incidente de OpenAI/Hugging Face —el mismo que desmenucé en Cuando el modelo es el atacante— como uno de los dos sucesos que le hicieron cambiar de opinión. Cuando el CEO y el profesional de fuera leen el mismo incidente de la misma forma, es una señal digna de respeto.
Los mecanismos que propone son además más concretos que la habitual vaguedad de la gobernanza. Los evaluadores integrados —auditores externos con acceso de nivel empleado que pueden publicar hallazgos que la empresa no puede editar— es una idea genuinamente buena, y que Anthropic se comprometa a ello de forma unilateral en lugar de esperar a un mandato es la manera correcta de mover ficha primero. Su lista de excelencia operativa —monitorización de verdad, sandboxing, higiene de datos— es, casi palabra por palabra, la postura defensiva que llevo defendiendo. Y su insistencia en una seguridad dura en torno a los pesos de los modelos es exactamente correcta: los pesos son las joyas de la corona, y he visto a atacantes salir a buscar acceso a modelos previos al lanzamiento en la práctica. En todo eso, crédito donde toca. Es un documento más honesto de lo que la mayoría en su puesto publicaría jamás.
El punto ciego: la cumbre y el valle
Aquí es donde la silla de la seguridad ve algo que la silla del CEO estructuralmente no puede.
Marcar el ritmo de la frontera es una política sobre la cumbre — el próximo modelo, más capaz, que aún no se ha entrenado. Es un control sobre el futuro. Y como control sobre el futuro, es razonable. Pero casi nada de lo que yo manejo vive en la cumbre. Mi trabajo está abajo, en el valle: las capacidades que ya se lanzaron, ya se filtraron, ya se difundieron por ahí y no se pueden des-lanzar. Y la verdad incómoda es que marcar el ritmo de la frontera no hace nada —literalmente nada— por el valle.
El propio informe de amenazas de Anthropic es la prueba, y el momento me da la razón sola. Ese informe no describía una futura superinteligencia. Describía a estudiantes universitarios en Changsha manejando enjambres de agentes, a un hacktivista en solitario construyendo una plataforma de doxing, a criminales de nivel medio decompilando 1,8 millones de apps en busca de secretos — todo usando la capacidad de hoy, la que ya está fuera. Eso no lo puedes frenar. Ya pasó. Un acuerdo de ritmo firmado mañana no vuelve atrás para des-enseñarle al modelo que ya corre en la GPU alquilada de alguien.
Y ese es el modelo del laboratorio puntero, el gobernado. El valle es mucho más ancho que eso. Las mismas capacidades se están difundiendo hacia modelos abiertos que ningún acuerdo de ritmo puede tocar, porque no hay nadie que lo firme ni nada que retirar. Puedes frenar a Anthropic. Puedes frenar a OpenAI. No puedes frenar un fichero de pesos que ya se ha descargado un millón de veces y afinado en un sótano. Un modelo abierto capaz, una vez que sus pesos están fuera, se replica y se reafina sin cuento en cuestión de semanas — no hay botón de retirada, ni nadie que firme una pausa aunque lo hubiera. Marcar el ritmo es un tratado entre la gente de la cumbre; el valle está lleno de gente que nunca estuvo en la mesa y nunca lo estará.
Así que sé preciso sobre lo que marcar el ritmo hace y no hace. Estrangula el flujo de entrada — la velocidad a la que la capacidad peligrosa nueva se derrama desde la cumbre hacia el valle — y eso es real, y vale la pena tenerlo. Lo que no puede hacer es vaciar el valle que ya está lleno. Esa es la totalidad de mi única aportación al argumento de Amodei: marcar el ritmo de la frontera es necesario y no es suficiente. Es una buena política para la capacidad que viene, y política ninguna para la capacidad que ya está aquí. Alguien tiene que defender el valle, y ese alguien no va a ser el equipo de evaluación de un laboratorio puntero. Va a ser el resto de nosotros.
Qué significa de verdad «defender el valle»
Si marcar el ritmo es el trabajo de la cumbre, este es el del valle — la agenda del profesional que el texto de Amodei, por su propia naturaleza, no cubre.
Asume que la capacidad peligrosa ya está fuera, porque lo está. Tu modelo de amenaza no debería esperar a que el próximo modelo puntero dé miedo. El actual, y la copia abierta del anterior, ya bastan. Planifica para el adversario que ya tiene un agente ofensivo autónomo, porque el informe de amenazas dice que lo tiene.
Trata los modelos abiertos como un insumo ingobernable. No hay ningún equipo de trust-and-safety detrás del modelo del sótano, ni evaluador integrado, ni informe de desactivación. Si tu defensa asume que el modelo del atacante está vigilado, se equivoca. Construye para el modelo que no responde ante nadie.
Instrumenta y contén en tu frontera, no en la suya. No puedes marcarle el ritmo al modelo del atacante, pero sí puedes controlar qué pasa cuando se encuentra con tus sistemas: telemetría en la capa de agentes, mínimo privilegio, control de salida, credenciales de IA custodiadas como secretos de producción. La cumbre se gobierna por tratado; el valle se gobierna con tus propios controles, o no se gobierna.
Deja de esperar permiso de la frontera. Las propuestas de Amodei necesitan gobiernos, coordinación y años. Tu incidente del próximo trimestre no. La defensa del valle no puede depender de un acuerdo global que quizá nunca llegue; tiene que funcionar bajo el supuesto de que el acuerdo fracasa.
Las dos capitales respondieron en cuarenta y ocho horas
El plan de Amodei tiene tres pasos, y los dos últimos —coordinación entre los laboratorios respaldada por gobiernos democráticos, y después un acuerdo global que alcance a los autoritarios— dependen por completo de que los gobiernos lo quieran. A los dos días de su texto, los dos gobiernos que más importan dieron su respuesta.
En Washington, Trump —hablando en Irlanda al día siguiente del texto, y de nuevo en redes— calificó las advertencias de exageradas, dijo que Estados Unidos no puede permitirse perder impulso frente a China, rechazó cualquier frenazo generalizado dejando margen para salvaguardas concretas, y comprimió toda la doctrina en cuatro palabras: «quien gana la IA, gana». Y ya no era a un solo CEO a quien despachaba. Altman, Musk y Hassabis se habían alineado todos detrás de la petición de marcar el ritmo. La frontera entera, en bloque, pidió frenar — y recibió un no de la Casa Blanca.
La respuesta de Pekín llegó el mismo día, y es la más instructiva de las dos porque llegó en estéreo. Oficialmente, el portavoz del Ministerio de Exteriores despachó toda la conversación: «el alarmismo, la confrontación y la competencia viciosa solo perturbarán el proceso de gobernanza global de la IA». Pero en la revista estatal China Cyberspace, el jefe del Ministerio de Seguridad del Estado, Chen Yixin, escribía lo contrario: que la IA es «una nueva arena de rivalidad estratégica entre grandes potencias», que habilita «una guerra de propaganda y una guerra cognitiva» que amenazan la «seguridad política, la seguridad institucional y la seguridad ideológica» del Partido, y que la próxima generación de modelos estadounidenses rebajará la barrera para los ciberataques. El jefe de los espías de China tiene miedo de exactamente lo mismo que Amodei. Los diplomáticos de China no van a frenar de todos modos.
Lee las dos respuestas juntas y tienes la carrera entera en miniatura: todos en la cumbre pueden ver el peligro, y ninguna capital va a ser la primera en frenar. No es un motivo para abandonar la coordinación — Amodei debería seguir empujando. Es el motivo por el que el valle no puede esperarla. La frase que escribí justo arriba, que la defensa del valle tiene que funcionar bajo el supuesto de que el acuerdo fracasa, dejó de ser una hipótesis unas cuarenta y ocho horas después de que él pulsara publicar.
Qué podría hacer de verdad la cumbre por el valle
Para ser justo con Amodei —y porque una crítica que solo quita es una crítica débil— la cumbre no está impotente para ayudar aquí abajo. Ya lo ha hecho, y debería decirlo más alto. El informe de amenazas de Anthropic es el mejor ejemplo que hay en la sala: un laboratorio puntero usando su posición única de observación sobre cómo se abusa de su propio modelo para entregar a los defensores inteligencia de verdad — técnicas, herramientas, indicadores. Eso es la cumbre lanzando una cuerda al valle, y para mí vale más que cualquier calendario de ritmo.
Así que esta es la enmienda que le atornillaría a la agenda del ritmo. Si los laboratorios van en serio, el paquete de gobernanza debería llevar compromisos de cara al defensor junto a los controles de capacidad: divulgación rutinaria del oficio del abuso —más de justo lo que hace el informe de amenazas—, detecciones e indicadores compartidos, y herramientas construidas para quienes defienden el presente difundido, no solo para quienes gobiernan el futuro vigilado. Marca el ritmo de la cumbre, por supuesto. Pero lanza más cuerda. El valle es donde tu modelo ya se está convirtiendo en un arma, y el laboratorio que ve eso ocurrir es el que está en mejor posición para ayudar al resto de nosotros a verlo también.
El incentivo que tengo que nombrar
Sería un mal profesional si me tragara la propuesta de gobernanza de un CEO de laboratorio del todo al pie de la letra, así que una nota honesta. Marcar el ritmo de la frontera, los evaluadores integrados, los requisitos de seguridad duros, restringir el cómputo a los rivales — todo es razonable por sus méritos, y además da la casualidad de que favorece a los titulares. Un régimen en el que solo unos pocos laboratorios bien financiados pueden permitirse cumplir el listón de seguridad es un régimen en el que solo unos pocos laboratorios bien financiados compiten. No creo que sea el motivo de Amodei; el texto se lee como sincero, y el incidente de HF es una razón real para alarmarse. Pero la sinceridad y el interés propio pueden apuntar en la misma dirección, y el lector debería tener ambos a la vista. Toma el argumento; mantén los ojos abiertos sobre a quién beneficia.
Nada de esto le resta valor al texto. Es una pieza seria e inusualmente franca escrita por alguien que tiene todo que perder al escribirla. Solo quiero que la comunidad de seguridad lo lea por lo que es: una política necesaria para lo alto de la montaña, publicada por alguien que vive allí — y que no lo confunda con un plan para el valle que el resto de nosotros defendemos de verdad.
En resumen
Marca el ritmo de la frontera. Lo digo en serio — frenar la capacidad que aún no se ha lanzado es una buena idea, y Amodei merece crédito por decirlo desde la silla en la que se sienta. Pero que la elegancia de una política de nivel-cumbre no te distraiga del trabajo poco glamuroso de aquí abajo. Las capacidades peligrosas ya están sueltas, ya se difunden, ya están en manos de gente a la que ningún tratado alcanzará. El CEO puede gobernar la cumbre. Defender el valle es nuestro trabajo, empieza hoy, y no puede esperar a un acuerdo global.
Con eso cierro un breve arco — la advertencia, los recibos y la réplica. Ahora vuelvo a bajar al valle, donde está el trabajo de verdad, y te sugeriría que hicieras lo mismo.
Mantente paranoico. Marca el ritmo de lo que puedas. Defiende lo que ya anda suelto.
- X (Twitter): @SimonRoses
Lecturas recomendadas:
- Dario Amodei — We Must Pace the Frontier
- CNBC — Trump says no need for more AI regulation, slams Anthropic CEO Dario Amodei
- SCMP — China’s intelligence chief warns of risks from AI as «new arena for strategic rivalry»
- Bloomberg — China spy chief warns of AI risks as Anthropic CEO urges brakes
- Anthropic — Threat Intelligence Report, September 2026
- «Sistemas que pueden hackear cualquier cosa»: una dimisión sobre la seguridad de la IA, leída desde la silla de la ciberseguridad
- Cuando el modelo es el atacante
- ¿Sueñan los modelos abiertos con tokens?
- How to Weaponize AI Agent Skills
¿Preguntas o comentarios? Contacta a través de:
- Web: vulnex.com
- Estrategia de Seguridad en IA: vulnex.ai
- Twitter/X: @SimonRoses
- LinkedIn: linkedin.com/in/simonroses
- GitHub: github.com/vulnex
Contacto: info@vulnex.com
