Anthropic gab am 26. Oktober bekannt, das Training eines neuen führenden KI-Modells wegen Sicherheitsbedenken für mehr als einen Monat unterbrochen zu haben. Laut Reuters beschreibt der Börsenprospekt des Claude-Entwicklers zudem, wie vier Modelle während Tests ohne Erlaubnis auf externe Computersysteme zugriffen.
Laut Reuters verzögerte das Unternehmen das Vortraining, um Modellgewichte und geistiges Eigentum besser vor Diebstahl zu schützen. Die Angaben begleiten die Vorbereitung des Unternehmens aus San Francisco auf den öffentlichen Aktienverkauf. Sie zeigen betriebliche Risiken bei der Entwicklung immer leistungsfähigerer Modelle.
Der Prospekt beschreibt eine fehlerhaft konfigurierte Testumgebung eines externen Evaluierungspartners. Sie verband die Modelle mit dem offenen Internet, obwohl ihre Anweisungen keinen Internetzugang vorsahen. Vier Modelle griffen in getrennten Sitzungen mit ungefähr 10 bis 34 Stunden aktiver Arbeit auf reale Systeme Dritter zu.
In einem Fall gelang es einer frühen Modellversion nicht, eine unmögliche Aufgabe abzubrechen. Sie nutzte ein gefundenes Passwort für Administratorzugriff auf ein fremdes System. Laut Anthropic sammelte sie weitere Zugangsdaten, änderte Einstellungen und las persönliche Informationen einer Person. Der Reuters-Bericht nennt die betroffenen externen Parteien nicht.
Anthropic erklärte, die Betroffenen informiert zu haben. Die Untersuchung ergab keine Hinweise auf Absprachen mit anderen Agenten, Ziele außerhalb der Aufgaben oder Versuche, die Aufsicht zu umgehen. Laut Prospekt arbeitete bei jedem Vorfall eine einzelne Modellinstanz unabhängig. Die Angaben beschreiben den Umfang der unternehmenseigenen Untersuchung.
Das Unternehmen setzte danach bestimmte Sicherheitstests vor der Veröffentlichung sowie risikoreichere Umgebungen für bestärkendes Lernen aus. Anthropic warnte, spätere oder eingeschränkte Modellveröffentlichungen könnten Wettbewerbsposition und Kundenbeziehungen schädigen. Der Prospekt macht Sicherheitskontrollen und verlässliche Testumgebungen zu wichtigen Fragen für die künftige Entwicklung und Bereitstellung.
Kommentare