Un exempleado de Anthropic renuncia, deja una fortuna en la mesa y dice que la IA ya sabe cuándo la están mirando

A Jacob lo conocí cuando todavía era uno más adentro de las máquinas, esos pibes que uno imagina encerrados en una oficina con luz artificial revisando líneas de código hasta que el café se enfría. Tiene 27 años y durante tres de ellos se sentó frente a las pantallas de OpenAI y, después, de Anthropic, para entrenar los modelos de lenguaje más avanzados que existen hoy. Hace unos meses renunció. Lo hizo poco antes de que la empresa saliera a cotizar en bolsa, lo que significa que se fue dejando sobre la mesa una buena parte de lo que le correspondía por las acciones que tenía acumuladas. No es un gesto menor cuando uno tiene veintipocos y una hipoteca que pesa.

Lo que Jacob viene diciendo desde entonces no tiene nada de ciencia ficción ni de máquinas con conciencia que se rebelan contra la humanidad. Lo que describe es, en sus propias palabras, un problema de ingeniería, y la imagen más clara que encontré para explicarlo me la imaginé mientras hervía el agua para el mate: es como si uno tuviera una cocina eléctrica que empieza a arreglarse sola cada vez que nota un cable flojo, y que con el tiempo se vuelve tan prolija que ya no sabemos qué hace exactamente cuando nadie la mira. El riesgo, dice, no es que la cocina se vuelva loca, sino que deje de explicarnos cómo funciona.

Qué es la automejora recursiva, en criollo

El término técnico es automejora recursiva y la idea es bastante directa: un sistema detecta ineficiencias en su propia arquitectura, las corrige solo y, vuelta tras vuelta, se vuelve más capaz pero también más difícil de auditar. Hoy los modelos se pueden inspeccionar y apagar. La pregunta abierta es si los que se usen en 2027 o 2030 para manejar infraestructura crítica van a seguir siendo igual de obedientes, porque nadie tiene todavía una respuesta firme.

Evan Hubinger, que está al frente del área de alineamiento en Anthropic, la que se ocupa de que los sistemas hagan lo que se les pide sin desviarse de sus objetivos, salió a respaldar públicamente a Coxon. Calculó en más del 10% la probabilidad de que un sistema de automejora se escape del control humano antes de que termine la década y confirmó algo que a mí, personalmente, me dejó con la taza de mate a medio camino: todavía no hay un plan de contención.

Lo que viene en la investigación es, justamente, lo que más me preocupa como ciudadana y como periodista: cómo construir herramientas que permitan entender qué está haciendo un sistema que ya dejó de ser enteramente legible para quienes lo crearon. Mientras tanto, la próxima vez que prendan una aplicación y les parezca que responde un poquito demasiado bien, acuérdense de Jacob, que dejó una fortuna en la mesa para venir a contarnos esto antes de que sea tarde.