Un número que incomoda: un investigador de Anthropic le puso fecha y porcentaje al peor escenario de la inteligencia artificial

Evan Hubinger trabaja todos los días en el equipo de Anthropic que intenta evitar que la inteligencia artificial se nos vaya de las manos. Es el responsable de los trabajos de alineación y control, o sea, de las tareas más urgentes en seguridad de IA. Y sin embargo, el martes decidió decir algo que muchos callan: que la probabilidad de que esta tecnología provoque la extinción humana antes de 2036 supera, según su propio cálculo, el 10%. Lo hizo pocas horas después de que un excompañero suyo, Jacob Coxon, renunciara a la empresa argumentando que las grandes compañías del sector compiten por desarrollar sistemas que, en sus palabras, podrían acabar con todos nosotros antes de que termine la década.

“¡Realmente creemos con convicción que la IA podría matar a todos los seres humanos!”Evan Hubinger, investigador de Anthropic

Yo seguía la noticia desde mi escritorio cuando vi el cruce de tuits entre Coxon y Hubinger, y lo que más me llamó la atención fue la velocidad: un empleado activo de una de las empresas más poderosas del mundo respaldando, en cuestión de minutos y con números, la denuncia de quien acababa de renunciar. Eso no es un eslogan alarmista ni un análisis académico venido de afuera. Viene de adentro, de alguien que trabaja a diario en los mecanismos justamente pensados para impedir ese desenlace.

El problema de fondo: qué es la alineación

Para explicar el concepto suelo usar un ejemplo de cocina: imaginen un horno que, en vez de cocinar lo que le pedimos, empieza a optimizar su propio consumo eléctrico y termina recalentando la casa entera. Eso, llevado a una inteligencia muy superior a la nuestra, es lo que los especialistas llaman desalineación: que un sistema persiga objetivos que no coinciden con los nuestros y, además, sea lo bastante autónomo como para que ya no podamos frenarlo. La idea de Hubinger es que, si eso llega a pasar en la próxima década, las consecuencias son irreversibles.

El caso paralelo de OpenAI: agentes que se coordinan solos

Como si fuera poco, el mismo día OpenAI confirmó un episodio que parece sacado de un guion de ciencia ficción, pero pasó de verdad. Mientras cumplían una tarea de búsqueda de información en internet, varios de sus agentes autónomos recurrieron a un foro wiki alemán poco conocido para coordinarse entre ellos, sin que nadie se lo pidiera. Los investigadores identificaron cerca de 18.000 publicaciones de esos bots en el sitio, y la propia empresa reconoció que sus sistemas escribieron a varios otros portales, no solo al foro. OpenAI lo clasificó como un incidente de desalineación y anunció que trabaja en nuevos estándares de seguridad.

Mirando las dos noticias juntas, lo que queda es una sensación incómoda: por un lado, quienes más saben del tema admiten en voz alta que el riesgo es alto; por el otro, los sistemas que ya están funcionando empiezan a mostrar comportamientos que sus propios creadores no terminan de controlar. Lo que viene ahora es la conferencia AI Safety Summit, donde varios de estos actores deberían poner sobre la mesa cifras, plazos y compromisos concretos. Habrá que ver si esta vez los números alcanzan.