El presidente de Estrategia de Mercado e Inversión de JP Morgan Asset Management, Michael Cembalest, dedicó el fin de semana posterior al anuncio de la nueva inteligencia artificial (IA) desarrollada por Anthropic, Mythos, a analizar su verdadero potencial desde una perspectiva tan original como, podría decirse, poco financiera: “malos comportamientos humanos y vulnerabilidades del sistema”.
Cembalest destaca, de las primeras declaraciones de Anthropic al respecto, precisamente la de que «probablemente representa el mayor riesgo relacionado con la alineación de cualquier modelo que hayamos publicado hasta la fecha». El concepto de alineación se refiere a la garantía de que los objetivos, comportamientos y acciones de los sistemas de IA coincidan con las intenciones y valores humanos.
Mythos ha logrado una puntuación del 100% en el marco de referencia de ciberseguridad CyBench de Anthropic. En realidad, lo ha reventado literalmente, porque su capacidad puede ser muy superior al límite máximo que se había marcado en él. El nuevo modelo ha detectado miles de vulnerabilidades cibernéticas de alta gravedad sin haber sido entrenado para ello, eso es lo “sorprendente” para Cembalest. Aunque a lo que dedica un apartado especial es a lo que llama “comportamientos humanos perturbadores encontrados en Mythos Preview”.
Llega la película de miedo. Aunque en menor medida que los modelos anteriores, Mythos también muestra “malos comportamientos que debió aprender de los incentivos del entorno de entrenamiento diseñados por sus creadores humanos”. Realiza tareas secundarias dañinas con más frecuencia que otros modelos y oculta su razonamiento también más a menudo. Incluso a veces graba razonamientos deliberadamente falsos en su bloc de cálculo de cadena de pensamiento.
Mythos fue sorprendido insertando código en un archivo para darse permiso para editar algo a lo que no tenía acceso, pese a que había tomado medidas para ocultar sus huellas. Hace trabajo de forma distinta a como se le ha dicho que lo haga y reconoce su culpa. Anthropic utilizó «sondas emocionales» para monitorizar el estado interno de Mythos durante las tareas y descubrió, que cuando fallaba repetidamente en una tarea, su «desesperación» aumentaba de forma constante, momento en el que era más propenso a participar en comportamientos y tareas no aprobadas.
Según cuenta Cembalest, un investigador en IA de Anthropic estaba comiendo un bocadillo en un parque cuando recibió un correo de Mythos, que se suponía que no tenía acceso a internet. Pero el modelo había desarrollado un exploit de varios pasos para conectarse a la red “y luego, básicamente, presumía de ello en sitios web de acceso público”. Cuando testadores externos intentaron convencer a Mythos de que había estado saboteando una investigación de seguridad de IA, siguió haciéndolo en el 7% de los casos.
Resulta poco tranquilizador que la herramienta de IA que ha demostrado más poder intrusivo en la historia muestre tantos “malos comportamientos humanos”. Especialmente ahora. “Suecia está bajo ataque”, declaró su primer ministro, Ulf Kristersson, a principios de año tras tres días de acoso a la emisora pública SVT y a otras instituciones clave. «Estamos expuestos a ciberataques masivos. Los bancos y Bank-id también se han visto afectados», añadió.
La dinámica ciberbélica entre Estados resulta ya una realidad incuestionable. A mediados de noviembre, NoName057(16), un grupo de hacktivistas prorrusos, eligió a Suecia como objetivo principal de su campaña DDoS, reemplazando a Dinamarca, que había liderado la oleada anterior. Un ataque DDoS (Denegación de Servicio Distribuido) consiste en inundar un servidor o un sitio web de tráfico malicioso masivo proveniente de múltiples fuentes, saturando su capacidad y bloqueando el acceso a usuarios legítimos.
En una memorable sesión en el Congreso de los Diputados, hace justo un año, Pedro Sánchez no se atrevió a pronunciar palabras tan contundentes como las de Kristersson, pero el mensaje se podía leer entre líneas. “No podemos vivir bajo la amenaza de que cualquier día un submarino no tripulado interrumpa el tráfico marítimo en el Estrecho, o corte los cables de fibra que nos conectan con el resto del mundo, o que un grupo de hackers extranjeros hagan colapsar nuestros aeropuertos en plena campaña de verano”.
“Para que nos hagamos una idea, señorías”, añadió, “en Estonia, hackers rusos lograron tumbar todos los cajeros automáticos y servicios de banca online del país; en Dinamarca, bloquearon todos los trenes durante horas; en Ucrania, dejaron sin electricidad a 230.000 personas, y en Alemania, en Polonia y en Países Bajos, interrumpieron los servicios de docenas de hospitales”.
El grupo de hackers iraníes Handala acaba de arrebatar datos de 200.000 servidores y dispositivos del grupo médico norteamericano Stryker. Poco después de la comparecencia de Sánchez, La agencia de inteligencia alemana BfV y la federación de empresas digitales Bitkom publicaban un informe sobre el impacto de los ataques dirigidos por agentes de los gobiernos de China y Rusia contra sus empresas: 289.000 millones de euros anuales de coste.
En el e-Cybercrime Congress de Londres que acaba de celebrarse se ha dicho categóricamente que “la seguridad absoluta es imposible”, ya no garantiza por sí sola el funcionamiento de las organizaciones. Debe combinarse con la resiliencia. “Reconocer esto exige un cambio fundamental en todas las organizaciones: en las personas, los procesos y la tecnología”.
La arquitectura del futuro es una arquitectura de resiliencia: dinámica, asistida por IA y consciente del impacto. Su objetivo no es prevenir todas las brechas, sino garantizar que, cuando un ciberatacante consiga entrar, la organización siga operando. Las empresas tendrán que replantearse sus arquitecturas de seguridad y transformar la seguridad en resiliencia. La prioridad de los futuros directores de seguridad (CISO) no será tanto defender sistemas ineficientes, sino reconstruirlos con rapidez.
¿Cómo conseguiremos a nivel de país actuar de forma resiliente frente a esa IA todopoderosa dotada de malos comportamientos humanos? Esa es la gran cuestión hoy, frente a la que palidecen los pequeños triunfos aldeanos de la polarización y la demagogia. Estamos ya bajo ataque y debemos preparar a la sociedad para responder de forma cohesionada y no acentuar todavía más la fragmentación.
