Anthropic le abre la cocina a un grupo de METR para que audite sus modelos de inteligencia artificial desde adentro

Me lo imagino como prestarle las llaves de tu casa a un amigo para que vea si dejaste la canilla abierta. Eso, más o menos, es lo que acaba de hacer Anthropic con seis investigadores de METR, una organización sin fines de lucro especializada en evaluar sistemas de inteligencia artificial. Les dieron computadoras de la empresa, un escritorio en sus oficinas y herramientas internas, y los dejaron moverse con el mismo nivel de acceso que tiene un empleado del área de evaluación de riesgos. Yo, cuando me enteré, pensé en lo raro que resulta que una compañía que desarrolla modelos de lenguaje le abra la puerta a un equipo independiente para que mire por encima del hombro lo que hace. Y sin embargo eso fue exactamente lo que pasó.

Tres niveles de apertura, un solo auditor en la cima

El esquema tiene forma de pirámide. En la base están organizaciones como SecureBio, que hacen revisiones acotadas y necesitan pedir autorización antes de publicar nada. En el medio hay evaluadores que reciben más información y pueden publicar sin pedir permiso, pero todavía con límites. Arriba de todo, y hoy como únicos inquilinos, están los seis investigadores de METR, que suman a ese paquete la posibilidad de publicar evaluaciones, reportes de incidentes y análisis de prácticas de la empresa sin que Anthropic pueda frenarlos. La compañía sí puede pedir que se redacten tres categorías estrechas y predefinidas: datos de clientes, información cubierta por secreto profesional entre abogado y cliente, y detalles sobre la arquitectura de los modelos. Pero si METR considera que esa redacción no estaba justificada, puede decirlo públicamente. Funciona, si se quiere, como aquella tapa de olla que uno levanta para mirar cómo va la cocción: ves el proceso, aunque no te dejen revolver.

• Experiencia técnica suficiente para detectar cuándo un modelo finge estar alineado en lugar de estarlo realmente.
• Independencia económica y operativa respecto de la empresa auditada.
• Acceso que vaya más allá de los modelos e incluya información sobre cómo se entrenaron y cómo funcionan sus mecanismos de seguridad.
• Libertad para publicar sin restricciones previas.

Esas cuatro condiciones, según Anthropic, son las que vuelven útil a una auditoría externa. La compañía también reconoció que no puede hacer pública toda su información de seguridad, porque parte de esos datos podría ser útil para actores maliciosos o es sensible desde el punto de vista comercial. Por eso eligió un esquema con acceso profundo pero acotado, con acuerdos exigibles y manteniendo al resto del personal de METR aislado del equipo que trabaja adentro. El grupo de METR ya había revisado varios informes de riesgo durante el año anterior a recibir este nivel ampliado, así que no llegaron en cero: conocían los papeles y ahora también las máquinas.

Lo que viene, en buena parte, lo van a escribir ellos. Los seis investigadores pueden publicar lo que encuentren sobre cómo entrenan los modelos, cómo funcionan sus mecanismos de seguridad y si las prácticas de la empresa se parecen a lo que la propia empresa dice que hace. Habrá que seguirles el rastro a esos reportes, porque en un terreno donde la palabra alineado se usa con la misma soltura con la que uno diría que la carne está a punto, que alguien mire el fuego desde adentro no es un detalle menor. Yo, mientras tanto, me quedo con la imagen de la cocina prestada: la mejor auditoría es la que te deja ver hasta el fondo de la olla.