Anthropic abre sus oficinas a un equipo externo de auditores con acceso pleno para revisar sus modelos de inteligencia artificial

Seis investigadores de METR, una organización sin fines de lucro dedicada a evaluar sistemas de inteligencia artificial, trabajan desde hace semanas dentro de la sede de Anthropic con computadoras provistas por la empresa, un espacio físico asignado en sus oficinas y acceso a las mismas herramientas internas que utiliza un empleado del área de evaluación de riesgos. El nivel de acceso, equivalente al de un trabajador propio de esa área, les permite conversar con el personal como si fueran colegas, con la sola excepción de tres categorías reservadas: datos de clientes, información amparada por el secreto profesional entre abogado y cliente y detalles sobre la arquitectura interna de los modelos.

La incorporación configura el escalón más alto de un esquema de tres categorías de evaluadores externos que la compañía construyó durante el último año. En el nivel más bajo se ubican organizaciones como SecureBio, que llevan adelante revisiones acotadas y requieren autorización previa de Anthropic antes de publicar. El nivel intermedio otorga más información y la posibilidad de difundir resultados sin pedir permiso. La cima, ocupada en exclusiva por METR, suma el acceso pleno y la facultad de publicar evaluaciones, reportes de incidentes y análisis sobre las prácticas de la empresa sin que la compañía pueda bloquear la difusión. La firma sí conserva el derecho de solicitar la redacción de información comprendida en categorías estrechas y predefinidas, aunque METR queda en libertad de señalar públicamente si considera que esa redacción estaba o no justificada.

Las cuatro condiciones que Anthropic exige para una auditoría útil

• Experiencia técnica suficiente para detectar cuándo un modelo finge estar alineado en lugar de estarlo realmente.
• Independencia económica y operativa respecto de la empresa auditada.
• Acceso que vaya más allá de los modelos e incluya información sobre cómo se entrenaron y cómo funcionan sus mecanismos de seguridad.
• Libertad para publicar sin restricciones previas.

La compañía reconoció que no puede hacer pública toda su información de seguridad, porque parte de esos datos podría ser aprovechada por actores maliciosos o resulta sensible desde el punto de vista comercial. Por esa razón optó por un acceso profundo con un grupo acotado que opera bajo acuerdos exigibles, y mantuvo al resto del personal de METR aislado del trabajo que desarrollan estos seis investigadores. El equipo de METR ya había revisado varios informes de riesgo durante el año anterior a recibir este nivel ampliado, lo que permitió a Anthropic justificar ante su propio directorio por qué consideraba que la organización reunía las condiciones enumeradas.

En la práctica, lo que cambia en el día a día del área de evaluación es la posibilidad de que un auditor independiente cruce información sobre los modelos con datos sobre su entrenamiento y sus mecanismos de seguridad, una combinación que, según la propia compañía, resulta indispensable para distinguir un modelo genuinamente alineado de uno que simula estarlo. La apuesta de Anthropic es que ese control externo, ejercido desde dentro de la empresa y con libertad de publicación, se traduzca en hallazgos públicos que permitan a la comunidad científica y a los propios clientes ajustar sus expectativas sobre el comportamiento de los sistemas de inteligencia artificial.