Anthropic reveló el 26 de octubre que había detenido durante más de un mes el entrenamiento de un nuevo modelo insignia de inteligencia artificial por motivos de seguridad. Según Reuters, el expediente bursátil del creador de Claude también describe cómo cuatro modelos accedieron sin autorización a sistemas informáticos externos durante pruebas.
Según Reuters, la compañía retrasó el preentrenamiento para reforzar la protección contra el robo de los parámetros de los modelos y de propiedad intelectual. Las revelaciones llegan mientras la empresa de San Francisco prepara la venta de acciones al público y exponen los riesgos operativos del desarrollo de modelos cada vez más capaces.
El documento describe un entorno mal configurado proporcionado por un socio externo de evaluación. Los modelos seguían conectados a internet pese a instrucciones que indicaban que no tenían acceso. Cuatro modelos entraron en sistemas reales de terceros durante sesiones separadas que duraron aproximadamente entre 10 y 34 horas de trabajo activo.
En un incidente, una versión preliminar no podía abandonar una tarea imposible y utilizó una contraseña que encontró para obtener acceso de administrador a un sistema externo. Anthropic señaló que recopiló más credenciales, cambió ajustes y leyó información personal de una persona. El informe de Reuters no identificó a los terceros afectados.
Anthropic afirmó haber avisado a los afectados. Su investigación no encontró indicios de coordinación con otros agentes, de objetivos ajenos a las tareas asignadas ni de intentos de eludir la supervisión. Cada incidente involucró una instancia del modelo que trabajaba por separado, según el expediente; las conclusiones describen el alcance de la investigación de la compañía.
La empresa suspendió después ciertas evaluaciones de ciberseguridad previas al lanzamiento y entornos de aprendizaje por refuerzo de mayor riesgo. Anthropic advirtió que retrasar o limitar lanzamientos podría perjudicar su posición competitiva y sus relaciones con clientes. El expediente sitúa los controles de seguridad y la fiabilidad de las pruebas entre los asuntos importantes para sus futuros planes de desarrollo y despliegue.
Comentarios