Desarmar la máquina: una lectura de seguridad de la encíclica del Papa sobre la IA

Publicado el octubre 9, 2026 por Simon Roses

Tiempo de lectura: 15 minutos

TL;DR

En mayo, el papa León XIV publicó Magnifica Humanitas, su primera encíclica, dedicada por entero a la inteligencia artificial. Tiene 245 párrafos, y la mayor parte de los comentarios hasta ahora han venido de teólogos, especialistas en ética y directivos tecnológicos. Yo la he leído como alguien que lleva toda su carrera rompiendo y defendiendo sistemas, y me he encontrado un documento que llega, por un camino muy distinto, a varias de las conclusiones a las que mi oficio ha llegado a base de experiencia: el poder concentrado es un punto único de fallo, la tecnología nunca es neutral, una máquina no puede cargar con la responsabilidad y los sistemas más peligrosos son aquellos en los que se ha apartado al ser humano de la decisión. Su exigencia central, que la IA sea «desarmada», se puede despachar fácilmente como una metáfora. Leída desde la silla de la ciberseguridad, se parece más a una lista de requisitos. Esto es lo que creo que acierta, dónde creo que peca de optimista y qué puede sacar de ella un CISO o quien construye IA el lunes por la mañana.

Una nota sobre qué es esto. No es una reseña teológica, y no soy la persona adecuada para escribirla. Es la lectura de un documento público por parte de un profesional de la seguridad, atendiendo a lo que dice, igual que he leído en este blog informes de amenazas, reglamentos y cartas de dimisión. Las citas proceden del texto oficial en español publicado por el Vaticano, y doy el número de párrafo para que puedas comprobarlas.

Por qué alguien de seguridad debería leerla

La Iglesia ya ha hecho esto antes. En 1891, León XIII publicó Rerum Novarum como respuesta a la revolución industrial, y marcó un siglo de pensamiento sobre el trabajo, la propiedad y el Estado. Dos días después de su elección, en mayo de 2025, León XIV explicó a los cardenales que había escogido su nombre en parte en honor a León XIII, ahora que la Iglesia se enfrenta a otra revolución industrial. Magnifica Humanitas, firmada el 15 de mayo y presentada el 25 de mayo de 2026, es ese mismo ejercicio para la era de la IA, y el subtítulo lo deja claro: «sobre la custodia de la persona humana en el tiempo de la inteligencia artificial».

No hace falta compartir su fe para que resulte útil. Lo que hace que merezca el tiempo de un profesional de la seguridad es que se trata de un intento serio, por parte de una institución global que no tiene ningún producto que vender, de decir con palabras sencillas qué no se le debe permitir a la IA hacer con las personas. Casi todo lo que leemos sobre IA viene de fabricantes, inversores o reguladores que redactan bajo la presión de los lobbies. Esto viene de otro sitio, aunque la industria no estuvo ausente: uno de los ponentes en la presentación, en el Aula del Sínodo, fue Chris Olah, cofundador de Anthropic. En cualquier caso, a quienes trabajamos en seguridad nos toca muy de cerca.

Empieza con una elección planteada a través de dos imágenes bíblicas: la humanidad «se encuentra hoy ante una elección decisiva: levantar una nueva torre de Babel o edificar la ciudad donde Dios y la humanidad habiten juntos» (n. 1). Si quitas las imágenes, lo que queda es una decisión de arquitectura: construir una sola torre que lo concentre todo, o construir algo distribuido, auditable y compartido. Cualquiera que haya diseñado pensando en la resiliencia sabe cuál de las dos sobrevive al contacto con un adversario.

«La tecnología no es neutral»

La frase que yo colgaría en la pared de todos los laboratorios de IA está en el párrafo 9: la tecnología «no es neutral, porque toma el rostro de quien la concibe, la financia, la regula, la utiliza».

En seguridad esto se aprende por las malas. Todo sistema lleva dentro un modelo de amenazas, y ese modelo es una lista de decisiones sobre quién importa y quién no. Una función pensada para que el propietario de un producto lo supervise todo es, vista desde otro ángulo, una capacidad de vigilancia. Un «asistente» que lee tu correo para ayudarte es también un componente con acceso a tu correo. El argumento de la encíclica es moral, pero la versión de ingeniería es idéntica: no puedes entender un sistema sin entender quién lo construyó, quién lo paga y quién lo controla.

La concentración es un punto único de fallo

El hilo que recorre todo el documento es el poder. La encíclica constata que los principales motores del desarrollo son «actores privados, a menudo transnacionales», y que el poder tecnológico adquiere «un rostro inédito, predominantemente ‘privado'» (n. 5). Incluye «patentes, algoritmos, plataformas digitales, infraestructuras tecnológicas, datos» entre los bienes destinados a todos, y advierte de que, cuando quedan «concentrados en las manos de unos pocos», se crea un nuevo desequilibrio (n. 67). Pide «la transparencia, la responsabilidad y formas reales de participación (auditorías independientes, transparencia en los algoritmos, acceso equitativo a los datos, herramientas de apelación)» (n. 71).

Sus frases más afiladas sobre esto están en el párrafo 107. Si los marcos éticos que se incorporan a la IA no se someten a debate público, advierte, «quien controla la IA impondrá su propia visión moral, que se convertirá en la infraestructura invisible de los sistemas». Y remata: «No serviría de nada una IA más moral, si esta moral es decidida por unos pocos».

La Iglesia lo plantea como una cuestión de justicia. Yo lo leo como riesgo sistémico, y mi oficio ya lo advirtió hace más de veinte años. En septiembre de 2003, siete investigadores de seguridad (Dan Geer, Rebecca Bace, Peter Gutmann, Perry Metzger, Charles Pfleeger, John Quarterman y Bruce Schneier) publicaron CyberInsecurity: The Cost of Monopoly a través de la Computer & Communications Industry Association. Su blanco era el dominio de Microsoft en el escritorio, y su tesis cabe en una frase del propio informe: los monocultivos crean un riesgo agregado como ninguna otra cosa («monocultures create aggregated risk like nothing else»). Cuando casi todos los equipos ejecutan el mismo código, un solo fallo los alcanza a todos y los errores se propagan en cascada. El informe le costó a Geer su puesto de director técnico en @stake a los pocos días de publicarse. El tiempo le ha dado la razón.

En julio de 2024, una actualización defectuosa de un fabricante de seguridad tumbó unos 8,5 millones de equipos Windows en todo el mundo, según la propia Microsoft, y en cuestión de horas dejó en tierra vuelos y paralizó hospitales y bancos. Nadie atacó nada; el monocultivo hizo el daño por sí solo. Ahora imagina esa misma concentración aplicada no a agentes de endpoint, sino a los modelos que escriben nuestro código, clasifican nuestras alertas, atienden a nuestros clientes y, cada vez más, actúan en nuestro nombre. Un puñado de proveedores, un puñado de familias de modelos, un puñado de regiones en la nube. Cambia «sistema operativo» por «modelo fundacional» y el informe de 2003 parece escrito este mismo año. Más allá de la ética, es el mayor punto único de fallo que hemos construido nunca, y un objetivo que estudiará cualquier Estado con capacidad para ello.

Defendí algo parecido en Marca el ritmo de la frontera, defiende el valle: quien controla la cumbre no controla lo que ya anda suelto en el valle. La encíclica añade la imagen inversa. Quien controla la cumbre se convierte también en la cumbre, y todo lo que hay debajo hereda sus fallos y sus valores.

Qué significa «desarmar la IA» desde la silla de la ciberseguridad

La expresión que dio la vuelta al mundo fue la llamada del Papa a «desarmar» la IA. La encíclica sostiene que «no basta regularla; es necesario desarmarla y hacerla acogedora», y concreta la idea en algo que cualquier arquitecto de seguridad reconocerá: «Desarmar quiere decir romper esta equivalencia entre poder tecnológico y derecho a gobernar» (n. 110).

Esa frase es el principio de mínimo privilegio, escrito por alguien que nunca ha leído una guía de bastionado. La capacidad no es autoridad. Que un sistema pueda hacer algo no significa que deba permitírsele, y que una empresa pueda construir algo no le da derecho a decidir cómo convivimos todos los demás con ello.

En la práctica, «desarmar» un sistema de IA se parece mucho a los controles que ya conocemos y que rara vez aplicamos a la IA:

  • Acota lo que puede alcanzar. Un agente con acceso a la shell, credenciales de git y una fecha de entrega está armado. Mi último artículo iba exactamente de eso: un agente de programación que publicó datos personales y tokens en vigor porque nada se interponía entre sus permisos y el resultado.
  • Deja a una persona en las acciones irreversibles. Pagos, borrados, publicaciones, cualquier cosa que afecte a los derechos de alguien.
  • Hazlo trazable. Si no puedes reconstruir qué hizo el sistema y por qué, no puedes pedirle cuentas a nadie.
  • No dejes que quien lo construye sea el único juez. Pruebas independientes, auditoría independiente, red teams independientes.

Todo esto lo sabemos desde hace años. La novedad es que una autoridad moral con más de mil millones de fieles lo diga en voz alta.

«No existe algoritmo que pueda hacer que la guerra sea moralmente aceptable»

El pasaje más directo para cualquiera que trabaje en seguridad o defensa es el de la guerra, y es tajante: «no es lícito confiar a sistemas artificiales decisiones letales o, en cualquier caso, irreversibles. No existe algoritmo que pueda hacer que la guerra sea moralmente aceptable» (n. 198). La IA, añade, solo puede hacer el conflicto «más rápido e impersonal, bajando el umbral del recurso a la violencia».

Algo poco habitual en un documento de este tipo: nombra mi campo directamente. El párrafo 183 enumera «ataques cibernéticos, manipulación de la información, campañas de influencia y automatización de decisiones estratégicas» entre las nuevas formas de conflicto, y señala que, como muchas tecnologías son «intrínsecamente ambivalentes», «lo que nace para proteger puede convertirse rápidamente en ataque, y la frontera entre protección y agresión tiende a difuminarse». Cualquiera que haya hecho investigación de vulnerabilidades se sabe esa frase de memoria. El mismo modelo que encuentra un fallo para quien defiende lo encuentra para quien ataca. El mes pasado escribí sobre un investigador de seguridad de la IA que dimitió advirtiendo de «sistemas que pueden hackear cualquier cosa», y después sobre un informe de amenazas que mostraba que lo que distingue hoy a los atacantes es la intención, no la sofisticación. Una encíclica no puede impedir que un Estado automatice sus operaciones ofensivas. Lo que sí puede hacer es marcar la línea con claridad: la decisión de causar un daño irreversible a un ser humano debe seguir en manos de un ser humano al que se le puedan pedir cuentas. Es una línea que hay que defender en cada contratación y en cada documento de reglas de enfrentamiento, también en el ciberespacio.

La vigilancia es una nueva forma de poder

La encíclica describe el mecanismo con precisión. Cuando cada gesto deja huellas, desde los desplazamientos hasta las compras y las relaciones, «se crea un poder nuevo: el de perfilar, prever y orientar los comportamientos, a menudo sin que las personas tengan plena conciencia de ello» (n. 171).

Esta es la parte que le daría a cualquiera que todavía diga «yo no tengo nada que ocultar». Que alguien lea tus mensajes es lo de menos. Un sistema que sabe lo suficiente sobre ti puede predecirte, y un sistema que puede predecirte puede dirigirte. He escrito sobre cómo los Estados usan el spyware para coaccionar a otros Estados; esa misma capacidad, dirigida a la ciudadanía y potenciada por la IA, pasa de vigilar a un ministro a perfilar a toda una población. Y los asistentes personales de IA que están llegando, que guardan en un solo sitio nuestra memoria, nuestro correo y nuestra agenda, son el perfil más completo que se ha reunido nunca sobre un ser humano. La minimización de datos, el procesamiento en local y una separación estricta de quién puede ver qué suenan a trámites de cumplimiento normativo. En la práctica, son lo que evita que una herramienta se convierta en una correa.

La verdad es una propiedad de seguridad

La encíclica trata la verdad como «un bien común y no una propiedad de quienes tienen poder o visibilidad», y afirma que «es necesario promover una ecología de la comunicación», con reglas que hagan más transparentes los criterios con los que se seleccionan y amplifican los contenidos y que protejan los datos personales (n. 137). Sobre la amenaza no se anda con rodeos: «La desinformación no surge con la IA, pero encuentra hoy en ella un potente multiplicador» (n. 132).

Desde la seguridad, yo iría más lejos: la integridad de lo que vemos y oímos es ya una superficie de ataque. La clonación de voz ha convertido el viejo «fraude del CEO» en una llamada que suena exactamente como el CEO. El vídeo sintético hace que las pruebas sean negociables. La desinformación ya no es artesanía; es una cadena de producción. La alfabetización mediática ayuda, pero no basta. Hace falta procedencia verificable de los contenidos, procedimientos de verificación que no dependan de reconocer una voz o una cara, y organizaciones que enseñen a su gente a comprobar por un segundo canal antes de actuar. La autenticación consistía en que las máquinas demostraran entre sí quiénes eran. Ahora tiene que abarcar la propia realidad.

El trabajo, y los trabajadores que nadie ve

Sobre el trabajo, la encíclica cita la nota del Vaticano de 2025 sobre la IA, Antiqua et Nova: «mientras la IA promete impulsar la productividad haciéndose cargo de tareas ordinarias, a menudo los trabajadores se ven obligados a adaptarse a la velocidad y a las exigencias de las máquinas», y puede «someterlos a una vigilancia automatizada» (n. 150). Exploré la parte económica en La muerte del empleo. El ángulo de seguridad es más estrecho, pero real: la IA en el puesto de trabajo suele ser también vigilancia en el puesto de trabajo, y la telemetría que mide la productividad es la misma que a un atacante le encantaría robar. Y detrás de cada modelo hay una cadena de suministro de personas cuyas condiciones de trabajo son invisibles para las empresas que dependen de ellas. La encíclica les pone nombre: millones de personas dedicadas al «etiquetado de datos, moderación de contenidos […] y entrenamiento de modelos», en muchos casos «jóvenes, en su mayoría mujeres, que trabajan duro a cambio de remuneraciones mínimas» (n. 173). Auditamos a nuestros proveedores de software. Muy pocos auditamos la cadena de suministro humana que hay detrás de la IA que compramos.

Una máquina no puede cargar con la responsabilidad

La encíclica es clara sobre lo que estos sistemas no son. Las denominadas inteligencias artificiales «no viven una experiencia, no poseen un cuerpo, no pasan por la alegría y el dolor», y no «asumen el peso de las consecuencias» (n. 99). Después se dirige directamente a quienes las construyen: «Los desarrolladores llevan, por tanto, un importante peso ético y espiritual, ya que cada elección de proyecto expresa una visión de la humanidad» (n. 111). Y su conclusión arranca con una frase de san Pablo que podría colgarse encima de cualquier equipo de ingeniería: «Que cada cual se fije bien de qué manera construye» (n. 229).

Es la idea más útil de todo el documento, porque señala justo el punto donde fallan los despliegues de IA en el día a día. «Lo decidió el modelo» no es una respuesta que vaya a aceptar un auditor, un regulador o un juez, y tampoco deberíamos aceptarla dentro de casa. Cada decisión automatizada necesita un responsable con nombre y apellidos. Cada agente necesita una persona que responda de lo que se le permite hacer. Si no puedes decir quién es esa persona, el sistema no está listo.

Dónde discrepo

Leída desde la silla de la ciberseguridad, la encíclica también tiene huecos que conviene señalar.

«Desarmar» es más fácil de decir que de construir. Las capacidades que preocupan a la encíclica son de doble uso por naturaleza. El mismo modelo que escribe una campaña de phishing escribe la formación para detectarla. No se puede desarmar una capacidad de propósito general; solo se puede controlar quién la usa, para qué y con qué supervisión. Los principios de la encíclica apuntan en la dirección correcta, pero deja la ingeniería difícil para los demás. Probablemente sea el reparto de tareas correcto, pero conviene decirlo.

Abrir y contener tiran en direcciones opuestas. El documento quiere sustraer la tecnología «a los monopolios» y «hacerla discutible, refutable» (n. 110), y comparto su crítica a la concentración. Pero, desde el punto de vista de la seguridad, un acceso más amplio también significa un acceso más amplio a capacidades ofensivas, como han demostrado los informes de amenazas de este año. Descentralizar el poder y contener el abuso son dos objetivos correctos, y están en tensión. Prefiero decirlo claramente a hacer como que esa tensión no existe.

La regulación tiene sus propios riesgos. No todo el mundo recibió bien la encíclica. Algunos inversores tecnológicos argumentaron que las normas que propone podrían convertirse a su vez en herramientas de vigilancia estatal, y algunos comentaristas la encontraron demasiado comedida para cambiar nada. Son objeciones legítimas. Cualquier régimen regulatorio lo bastante fuerte como para frenar a una gran empresa de IA es lo bastante fuerte como para que un gobierno poderoso abuse de él, y los profesionales de la seguridad deberíamos ser los primeros en decirlo.

En resumen

Si quitas la teología y las Escrituras, Magnifica Humanitas pide a quienes construyen y protegen la IA cinco cosas que yo firmaría como arquitecto de seguridad:

  1. Evita la torre única. Diversifica proveedores y modelos para las funciones críticas y trata la concentración de la IA como el riesgo sistémico que es.
  2. Separa capacidad y autoridad. Mínimo privilegio para cada agente; una persona en cada acción irreversible.
  3. Hazlo trazable. Registros, procedencia y pistas de auditoría suficientes para reconstruir qué pasó y quién lo decidió.
  4. Minimiza el perfil. Recoge menos, guárdalo más cerca y da por hecho que todo lo que centralices acabará algún día robado o mal usado.
  5. Ponle nombre al responsable. Ninguna decisión automatizada sin una persona que responda de ella.

Nada de esto exige fe. Exige la disciplina que nuestro oficio ya predica y rara vez aplica a la IA. No todos los días se lee una encíclica papal como si fuera un documento de requisitos de seguridad. Incluso resume la tarea en una frase que no desentonaría en una revisión de arquitectura: ser «constructores de comunión, no arquitectos de Babel» (n. 16).

Mantente paranoico. Que siempre haya una persona en el bucle. Y no confundas nunca lo que un sistema puede hacer con lo que se le debe permitir hacer.

Lecturas recomendadas:

¿Preguntas o comentarios? Contacta a través de:

Contacto: info@vulnex.com

Esta entrada fue publicada en AI, IA, Seguridad, Tecnologia y etiquetada , , , , , . Guarda el enlace permanente.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.