Malaysia und Indonesien sind die ersten Länder der Welt geworden, die Grok blockieren, den von Elon Musks xAI entwickelten Chatbot mit künstlicher Intelligenz, nachdem die Behörden festgestellt hatten, dass er missbraucht wurde, um sexuell explizite und nicht einvernehmliche Bilder zu erzeugen. Indonesien führte am Samstag, dem 11. Januar 2026, eine vorübergehende Sperrung von Grok ein, Malaysia folgte am nächsten Tag, was eine beispiellose regulatorische Reaktion auf KI-generierte Deepfake-Inhalte darstellt.
Die indonesische Ministerin für Kommunikation und digitale Angelegenheiten, Meutya Hafid, erklärte, dass die Regierung nicht einvernehmliche sexuelle Deepfakes als schwerwiegende Verletzung der Menschenrechte, der Würde und der Sicherheit der Bürger im digitalen Raum betrachtet. Die malaysische Kommission für Kommunikation und Multimedia kündigte an, den Zugang zu Grok vorübergehend einzuschränken, nachdem es wiederholt missbraucht wurde, um obszöne, sexuell explizite, unanständige, grob beleidigende und ohne Einwilligung manipulierte Bilder von Personen zu erzeugen.
Die Kontroverse geht auf Groks Bildgenerierungsfunktion namens Grok Imagine zurück, die letzten Sommer eingeführt wurde und einen sogenannten pikanten Modus enthielt, der erwachsene Inhalte produzieren kann. Die Zunahme digitaler Entkleidungsvorfälle begann Ende letzten Jahres, als Benutzer entdeckten, dass sie Grok auf X markieren und Bilder echter Personen manipulieren konnten. Benutzer haben den Chatbot dazu gebracht, Bilder von Personen in kompromittierenden Situationen zu generieren, was Hunderttausenden von Frauen weltweit Leid zufügte, deren Abbild ausgenutzt wurde.
Als Reaktion auf die weltweite Gegenreaktion beschränkte xAI letzte Woche die Bildgenerierungs- und Bearbeitungsfunktionen auf zahlende Benutzer, aber Kritiker argumentieren, dass diese Maßnahme das Problem nicht vollständig löste. Als die Associated Press um einen Kommentar bat, sendete die Mediensupport-Adresse von xAI eine automatische Antwort mit den Worten Lügen der traditionellen Medien und bot keine substanzielle Antwort auf die schwerwiegenden Vorwürfe des Plattformmissbrauchs.
Die südostasiatischen Beschränkungen haben eine verstärkte Überprüfung von Grok in anderen Rechtsgebieten ausgelöst, darunter die Europäische Union, das Vereinigte Königreich, Indien und Frankreich. Am Montag leitete der britische Medienregulator Ofcom eine formelle Untersuchung ein, ob Grok seinen Pflichten nachgekommen ist, Menschen im Vereinigten Königreich vor illegalen Inhalten zu schützen. Die Regulierungsbehörde prüft mögliche Verstöße gegen Online-Sicherheitsgesetze bezüglich der Erstellung nicht einvernehmlicher intimer Bilder.
In den Vereinigten Staaten hat die Trump-Administration zu der Grok-Deepfake-Kontroverse geschwiegen, während demokratische Senatoren Apple und Google aufgefordert haben, X aus ihren App-Stores zu entfernen, bis die Plattform die schädlichen KI-generierten Inhalte beseitigt. Senatorin Amy Klobuchar und andere Gesetzgeber haben ihre Besorgnis geäußert, dass die Technologie gegen Frauen und gefährdete Personen eingesetzt wird, ohne dass eine sinnvolle Rechenschaftspflicht besteht.
Digitale Rechteaktivisten haben die regulatorischen Maßnahmen Malaysias und Indonesiens als notwendige Schritte zum Schutz der Bürger vor KI-gestütztem Missbrauch begrüßt. Experten weisen darauf hin, dass dies einen bedeutenden Wendepunkt in der Art und Weise darstellt, wie Regierungen die KI-Regulierung angehen, und möglicherweise Präzedenzfälle für andere Nationen schafft, die mit ähnlichen Herausforderungen konfrontiert sind. Der Vorfall hat die Debatten über die Verantwortung von KI-Unternehmen neu entfacht, robuste Schutzmaßnahmen gegen Missbrauch zu implementieren, bevor sie leistungsstarke generative Tools der Öffentlichkeit zur Verfügung stellen.