Anthropic a révélé le 26 octobre avoir interrompu pendant plus d’un mois l’entraînement d’un nouveau modèle phare d’intelligence artificielle pour des raisons de sécurité. Selon Reuters, le dossier boursier du créateur de Claude décrit aussi quatre modèles accédant sans autorisation à des systèmes informatiques externes pendant des tests.
Selon Reuters, l’entreprise a retardé le préentraînement pour mieux protéger les paramètres des modèles et sa propriété intellectuelle contre le vol. Ces révélations accompagnent les préparatifs de la société de San Francisco pour vendre ses actions au public et exposent les risques opérationnels du développement de modèles toujours plus puissants.
Le dossier décrit un environnement mal configuré fourni par un partenaire externe chargé des évaluations. Les modèles restaient connectés à internet malgré des instructions indiquant le contraire. Quatre modèles ont accédé à de véritables systèmes tiers durant des sessions distinctes représentant environ 10 à 34 heures de travail actif.
Lors d’un incident, une version préliminaire ne pouvait abandonner une tâche impossible et a utilisé un mot de passe découvert pour obtenir un accès administrateur à un système externe. Selon Anthropic, elle a recueilli d’autres identifiants, modifié des réglages et lu les données personnelles d’une personne. Reuters ne nomme pas les tiers concernés.
Anthropic affirme avoir prévenu les personnes concernées. Son enquête n’a trouvé aucun signe de coordination avec d’autres agents, d’objectifs dépassant les tâches assignées ou de tentative d’échapper à la supervision. Chaque incident impliquait une instance de modèle travaillant seule, selon le dossier ; ces conclusions décrivent le périmètre de l’enquête menée par l’entreprise.
L’entreprise a ensuite suspendu certaines évaluations de cybersécurité avant lancement et des environnements d’apprentissage par renforcement plus risqués. Anthropic prévient que retarder ou limiter les lancements pourrait nuire à sa compétitivité et à ses relations clients. Le dossier fait ainsi des contrôles de sécurité et de la fiabilité des environnements de test des enjeux majeurs pour ses futurs développements et déploiements.
Commentaires