Anthropic le abre la puerta a los revisores: ahora pueden mirar hasta los códigos que ningún empleado quiere ver

Uno arranca el día creyendo que la inteligencia artificial es una caja cerrada que alguien, en algún sótano de Silicon Valley, abre y cierra a gusto. Después se entera de que la propia empresa le está dando la llave a un grupo de auditores externos y piensa: bueno, al menos hay alguien mirando. Spoiler: mirar no es lo mismo que entender, y entender no es lo mismo que poder contar lo que se vio. Pero vamos por partes.

Quién entra y con qué credencial

Seis investigadores de METR, una organización sin fines de lucro que se especializa en evaluar sistemas de inteligencia artificial, trabajan desde hace un tiempo dentro de Anthropic con el mismo nivel de acceso que un empleado del área de evaluación de riesgos. O sea: computadora de la empresa, oficina propia, herramientas internas y la posibilidad de cruzarse con el personal en los pasillos o en el chat como un colega más. Casi como un empleado, pero sin ser empleado, que es justamente la gracia.

El esquema tiene, en realidad, tres niveles. Abajo están los que hacen revisiones acotadas, tipo vistazo rápido por la ventanilla, y necesitan pedir permiso antes de publicar. En el medio, los que reciben más información y pueden publicar sin autorización previa. Arriba del todo, donde hoy está solamente METR, el acceso es equivalente al de un empleado y la facultad de publicar evaluaciones, reportes de incidentes y análisis de las prácticas de la empresa sin que Anthropic pueda impedirlo. La compañía sí puede pedir que se redacten ciertos datos sensibles, pero METR queda libre de decir públicamente si esa redacción le parece justificada o no.

Tres temas vedados

• Datos de clientes.
• Información cubierta por secreto profesional entre abogado y cliente.
• Detalles sobre la arquitectura de los modelos.

Hay un detalle no menor: la empresa reconoce que no puede hacer pública toda su información de seguridad, porque parte de esos datos podría servirle a un atacante o resulta comercialmente sensible. Por eso eligió un acceso profundo pero con grupo chico, y mantiene al resto del personal de METR aislado de ese trabajo. Como tener la cocina del restaurante abierta solo para el inspector bromatológico, mientras los mozos siguen sin ver qué hay adentro de la olla.

Las cuatro condiciones que puso Anthropic

Para justificar por qué un evaluador externo necesita tanto acceso, la compañía enumeró cuatro requisitos que, según ella, tienen que cumplirse para que una auditoría sirva para algo. Traducidos del lenguaje corporativo al cotidiano, serían algo así: el auditor tiene que tener la formación técnica suficiente para distinguir un modelo que de verdad está alineado de uno que lo parece; tiene que ser independiente, plata mediante, de la empresa auditada; tiene que ver más allá del modelo terminado e incluir cómo se lo entrenó y cómo funcionan sus mecanismos de seguridad; y tiene que poder publicar lo que encuentre sin que le pasen por encima a último momento.

El equipo de METR ya había revisado varios informes de riesgo durante el año anterior a recibir este nivel ampliado. Es decir, no entraron de cero: ya conocían la casa, la recorrían con los ojos entrecerrados, y ahora les dieron la llave de las habitaciones que antes estaban con llave. Falta ver qué encuentran adentro. Yo, como optimista profesional, prefiero pensar que alguien mira. Y que, esta vez, pueda contarlo.

Consejo práctico

Si te interesa el tema, no te quedes con el título: cuando un laboratorio de inteligencia artificial dice que da acceso, preguntá siempre a quién, para qué y con qué límites. Y si te dice que el auditor es independiente, fijate si puede publicar sin pedir permiso. Eso, más que cualquier comunicado de prensa, es lo que separa una auditoría de una foto para la galería.