मलेशिया और इंडोनेशिया दुनिया के पहले देश बन गए हैं जिन्होंने एलन मस्क की एक्सएआई द्वारा विकसित आर्टिफिशियल इंटेलिजेंस चैटबॉट ग्रोक को ब्लॉक किया है, क्योंकि अधिकारियों ने पाया कि इसका दुरुपयोग यौन रूप से स्पष्ट और गैर-सहमति वाली छवियां बनाने के लिए किया जा रहा था। इंडोनेशिया ने शनिवार 11 जनवरी 2026 को ग्रोक पर अस्थायी प्रतिबंध लागू किया और मलेशिया ने अगले दिन इसका अनुसरण किया जो एआई-जनित डीपफेक सामग्री के प्रति एक अभूतपूर्व नियामक प्रतिक्रिया है।
इंडोनेशियाई संचार और डिजिटल मामलों की मंत्री मेउत्या हाफिद ने कहा कि सरकार गैर-सहमति वाले यौन डीपफेक को डिजिटल स्पेस में नागरिकों के मानवाधिकारों, गरिमा और सुरक्षा का गंभीर उल्लंघन मानती है। मलेशियाई संचार और मल्टीमीडिया आयोग ने घोषणा की कि वह ग्रोक तक पहुंच को अस्थायी रूप से प्रतिबंधित करेगा क्योंकि इसका बार-बार दुरुपयोग अश्लील, यौन रूप से स्पष्ट, अशोभनीय, घोर आपत्तिजनक और बिना सहमति के हेरफेर की गई छवियां बनाने के लिए किया गया।
विवाद ग्रोक की छवि निर्माण सुविधा ग्रोक इमेजिन से उत्पन्न हुआ है जिसे पिछली गर्मियों में पेश किया गया था और इसमें एक तथाकथित स्पाइसी मोड शामिल था जो वयस्क सामग्री बनाने में सक्षम था। डिजिटल अनड्रेसिंग घटनाओं में वृद्धि पिछले साल के अंत में शुरू हुई जब उपयोगकर्ताओं ने पाया कि वे एक्स पर ग्रोक को टैग कर सकते हैं और वास्तविक लोगों की छवियों में हेरफेर कर सकते हैं। उपयोगकर्ताओं ने चैटबॉट को समझौता करने वाली स्थितियों में व्यक्तियों की छवियां बनाने के लिए प्रेरित किया जिससे दुनिया भर में सैकड़ों हजारों महिलाओं को पीड़ा हुई जिनकी समानता का शोषण किया गया।
वैश्विक प्रतिक्रिया के जवाब में एक्सएआई ने पिछले सप्ताह छवि निर्माण और संपादन क्षमताओं को भुगतान करने वाले उपयोगकर्ताओं तक सीमित कर दिया लेकिन आलोचकों का तर्क है कि इस उपाय ने समस्या का पूरी तरह से समाधान नहीं किया। जब एसोसिएटेड प्रेस ने टिप्पणी के लिए संपर्क किया तो एक्सएआई के मीडिया सपोर्ट पते ने केवल लेगेसी मीडिया लाइज़ शब्दों के साथ एक स्वचालित उत्तर भेजा और प्लेटफॉर्म के दुरुपयोग के गंभीर आरोपों पर कोई ठोस प्रतिक्रिया नहीं दी।
दक्षिण पूर्व एशियाई प्रतिबंधों ने यूरोपीय संघ, यूनाइटेड किंगडम, भारत और फ्रांस सहित अन्य न्यायालयों में ग्रोक की बढ़ती जांच को प्रेरित किया है। सोमवार को यूनाइटेड किंगडम के मीडिया नियामक ऑफकॉम ने एक औपचारिक जांच शुरू की कि क्या ग्रोक ने यूके में लोगों को अवैध सामग्री से बचाने के अपने कर्तव्यों का पालन किया। नियामक निकाय गैर-सहमति वाली अंतरंग छवियों के निर्माण के संबंध में ऑनलाइन सुरक्षा कानूनों के संभावित उल्लंघनों की जांच कर रहा है।
संयुक्त राज्य अमेरिका में ट्रंप प्रशासन ग्रोक डीपफेक विवाद पर चुप रहा है जबकि डेमोक्रेटिक सीनेटरों ने एप्पल और गूगल से एक्स को अपने ऐप स्टोर से हटाने का आह्वान किया है जब तक कि प्लेटफॉर्म एआई-जनित हानिकारक सामग्री का समाधान नहीं करता। सीनेटर एमी क्लोबुचर और अन्य सांसदों ने चिंता व्यक्त की है कि प्रौद्योगिकी को महिलाओं और कमजोर व्यक्तियों के खिलाफ हथियार के रूप में इस्तेमाल किया जा रहा है बिना किसी सार्थक जवाबदेही के।
डिजिटल अधिकार समर्थकों ने मलेशिया और इंडोनेशिया की नियामक कार्रवाइयों का स्वागत किया है जो नागरिकों को एआई-सक्षम दुरुपयोग से बचाने के लिए आवश्यक कदम हैं। विशेषज्ञों का कहना है कि यह एक महत्वपूर्ण मोड़ है कि सरकारें एआई विनियमन को कैसे संबोधित करती हैं जो संभावित रूप से समान चुनौतियों का सामना करने वाले अन्य देशों के लिए मिसाल कायम करता है। इस घटना ने शक्तिशाली जनरेटिव टूल्स को जनता के लिए जारी करने से पहले दुरुपयोग के खिलाफ मजबूत सुरक्षा उपाय लागू करने की एआई कंपनियों की जिम्मेदारियों पर बहस को फिर से जगाया है।