‘द चिलिंग इफेक्ट’: ‘न्युडिफाय’ ॲप्स आणि एआय डीपफेकची भीती भारतीय महिलांना इंटरनेटपासून किती दूर ठेवत आहे | जागतिक विकास

जीआथा सरवैया सोशल मीडियावर पोस्ट करू इच्छिते आणि तिचे काम ऑनलाइन शेअर करू इच्छिते. 20 च्या सुरुवातीच्या काळात एक भारतीय कायदा पदवीधर, ती तिच्या करिअरच्या सुरुवातीच्या टप्प्यात आहे आणि सार्वजनिक प्रोफाइल तयार करण्याचा प्रयत्न करत आहे. समस्या अशी आहे की, AI-चालित डीपफेक वाढत असताना, तिने पोस्ट केलेल्या प्रतिमांचे उल्लंघन किंवा विचित्र असे विकृतीकरण केले जाणार नाही याची कोणतीही हमी यापुढे नाही.

मुंबईत राहणारे सरवैय्या म्हणतात, “त्यात लगेच विचार येतो, ‘ठीक आहे, कदाचित ते सुरक्षित नाही.

“चिलिंग इफेक्ट खरा आहे,” म्हैसूर येथील लिंग हक्क आणि डिजिटल पॉलिसी या विषयावरील संशोधक रोहिणी लक्षाने म्हणतात, जी स्वतःचे फोटो ऑनलाइन पोस्ट करणे देखील टाळतात. “त्यांचा इतक्या सहजपणे गैरवापर केला जाऊ शकतो ही वस्तुस्थिती मला अधिक सावध करते.”

अलिकडच्या वर्षांत, भारत हे AI साधनांसाठी सर्वात महत्त्वाचे चाचणी केंद्र बनले आहे. तो आहे OpenAI साठी जगातील दुसरी सर्वात मोठी बाजारपेठतंत्रज्ञानासह व्यवसायांमध्ये मोठ्या प्रमाणावर दत्तक.

पण ए अहवाल सोमवारी प्रसिद्ध केला ऑनलाइन गैरवर्तनाला बळी पडलेल्यांसाठी देशव्यापी हेल्पलाइन चालवणारी धर्मादाय संस्था, रती फाऊंडेशनने गोळा केलेल्या डेटावर आधारित आहे, हे दर्शविते की एआयच्या वाढत्या अवलंबने महिलांचा छळ करण्याचा एक शक्तिशाली नवीन मार्ग तयार केला आहे.

“गेल्या तीन वर्षांत हे स्पष्ट झाले आहे की AI-व्युत्पन्न केलेल्या बहुसंख्य सामग्रीचा वापर महिला आणि लैंगिक अल्पसंख्याकांना लक्ष्य करण्यासाठी केला जातो,” असे रती फाउंडेशन आणि लेखकाच्या अहवालात म्हटले आहे. टटलएक कंपनी जी भारतातील सोशल मीडियावरील चुकीची माहिती कमी करण्यासाठी काम करते.

विशेषत:, या अहवालात महिलांच्या डिजिटल पद्धतीने हाताळलेल्या प्रतिमा किंवा व्हिडिओ तयार करण्यासाठी वापरल्या जाणाऱ्या AI टूल्समध्ये वाढ झाल्याचे आढळून आले आहे – एकतर नग्न किंवा प्रतिमा जे यूएसमध्ये सांस्कृतिकदृष्ट्या योग्य असतील, परंतु अनेक भारतीय समुदायांमध्ये कलंकित आहेत, जसे की सार्वजनिक स्नेहाचे प्रदर्शन.

हेल्पलाइनवर नोंदवलेल्या शेकडो प्रकरणांपैकी सुमारे 10% प्रकरणांमध्ये आता या प्रतिमांचा समावेश आहे, असे अहवालात आढळले आहे. “एआय वास्तववादी दिसणारी सामग्री तयार करणे खूप सोपे करते,” ते म्हणते.

सार्वजनिक क्षेत्रात भारतीय महिलांच्या प्रतिमा एआय टूल्सद्वारे हाताळल्या गेल्याची उच्च-प्रोफाइल प्रकरणे आहेत: उदाहरणार्थ, बॉलिवूड गायिका आशा भोसलेज्यांचे प्रतिरूप आणि आवाज AI वापरून क्लोन केले गेले आणि YouTube वर प्रसारित केले गेले. राजकीय आणि पोलिसांच्या भ्रष्टाचाराची चौकशी करण्यासाठी प्रसिद्ध असलेले पत्रकार राणा अय्युब हे अ डॉक्सिंग गेल्या वर्षी मोहीम ज्यामुळे झाली डीपफेक लैंगिक प्रतिमा तिचे सोशल मीडियावर दिसणे.

यामुळे समाज-व्यापी संभाषण झाले, ज्यामध्ये भोसले यांच्यासारख्या काही व्यक्ती आहेत त्यांच्या आवाजावर किंवा प्रतिमेवर कायदेशीर हक्कांसाठी यशस्वीपणे लढा दिला. तथापि, सरवैय्या सारख्या, ऑनलाइन जाण्याबाबत अनिश्चितता अनुभवणाऱ्या सामान्य महिलांवर अशा प्रकरणांचा काय परिणाम होतो याची चर्चा कमी आहे.

Tattle च्या सह-संस्थापक तरुणीमा प्रभाकर म्हणतात, “ऑनलाइन छळाचा सामना करण्याचा परिणाम म्हणजे स्वतःला शांत करणे किंवा ऑनलाइन कमी सक्रिय होणे. डिजिटल गैरवापराचा समाजावर कसा परिणाम होतो हे समजून घेण्यासाठी तिच्या संस्थेने संपूर्ण भारतभर दोन वर्षे फोकस गट वापरले.

“आम्ही ओळखलेली भावना म्हणजे थकवा,” ती म्हणते. “आणि त्या थकव्याचा परिणाम असा आहे की तुम्ही या ऑनलाइन स्पेसमधून पूर्णपणे मागे जाल.”

गेल्या काही वर्षांपासून, सरवैया आणि तिच्या मित्रांनी डीपफेक ऑनलाइन गैरवर्तनाच्या उच्च-प्रोफाइल प्रकरणांचा पाठपुरावा केला आहे, जसे की अय्युब किंवा बॉलीवूड अभिनेत्री रश्मिका मंदान्ना. ती म्हणते, “येथील महिलांसाठी हे थोडे भीतीदायक आहे.

आता, सरवैया सोशल मीडियावर काहीही पोस्ट करण्यास कचरतात आणि तिने तिचे इंस्टाग्राम खाजगी केले आहे. तरीही, तिला काळजी वाटते की, तिचे संरक्षण करणे पुरेसे नाही: महिलांचे फोटो कधीकधी मेट्रोसारख्या सार्वजनिक ठिकाणी घेतले जातात आणि त्या चित्रे नंतर ऑनलाइन दिसू शकतात.

“तुम्हाला वाटते तितके हे सामान्य नाही, परंतु तुम्हाला तुमचे नशीब माहित नाही, बरोबर?” ती म्हणते. “मित्रांच्या मित्रांना ब्लॅकमेल केले जात आहे – अक्षरशः, इंटरनेट बंद.”

लक्षाने म्हणते की ती अनेकदा कार्यक्रमांमध्ये फोटो काढू नये असे सांगत असते, अगदी ती जिथे वक्ता असते तिथेही. परंतु सावधगिरी बाळगूनही, एक दिवस तिचा डीपफेक व्हिडिओ किंवा प्रतिमा समोर येण्याच्या शक्यतेसाठी ती तयार आहे. ॲप्सवर, तिने तिचे प्रोफाईल चित्र फोटोऐवजी स्वतःचे उदाहरण बनवले आहे.

“प्रतिमांचा गैरवापर होण्याची भीती आहे, विशेषत: सार्वजनिक उपस्थिती असलेल्या, ऑनलाइन आवाज असलेल्या, राजकीय भूमिका घेणाऱ्या महिलांसाठी,” ती म्हणते.

रतीच्या अहवालात एआय टूल्स कसे आहेत, जसे की “nudification” किंवा nudify ॲप्स – जे प्रतिमांमधून कपडे काढून टाकू शकतात – एकेकाळी गैरवर्तनाची प्रकरणे अत्यंत सामान्य दिसली आहेत. वर्णन केलेल्या एका प्रसंगात, एका महिलेने कर्जाच्या अर्जासोबत सबमिट केलेल्या फोटोचा वापर तिच्याकडून पैसे उकळण्यासाठी केल्यावर तिने हेल्पलाइनवर संपर्क साधला.

“जेव्हा तिने पेमेंट सुरू ठेवण्यास नकार दिला तेव्हा तिचे अपलोड केलेले छायाचित्र न्युडिफाय ॲप वापरून डिजिटली बदलण्यात आले आणि पोर्नोग्राफिक इमेजवर ठेवण्यात आले,” असे अहवालात म्हटले आहे.

तिचा फोन नंबर जोडलेला तो फोटो व्हॉट्सॲपवर प्रसारित केला गेला, परिणामी “अज्ञात व्यक्तींकडून लैंगिकरित्या सुस्पष्ट कॉल आणि संदेशांची पट्टी” आली. महिलेने रतीच्या हेल्पलाइनला सांगितले की तिला “लाज वाटली आणि सामाजिकरित्या चिन्हांकित केले गेले, जणू काही ती ‘काहीतरी घाणेरड्या कामात गुंतली आहे'”.

भारतामध्ये, जगातील बहुतेक भागांप्रमाणे, डीपफेक कायदेशीर ग्रे झोनमध्ये चालतात – कोणतेही विशिष्ट कायदे त्यांना ओळखत नाहीत हानीचे वेगळे प्रकार म्हणून, जरी रतीच्या अहवालात अनेक भारतीय कायद्यांची रूपरेषा दिली आहे जी ऑनलाइन छळवणूक आणि धमकावण्यासाठी लागू होऊ शकतात, ज्या अंतर्गत महिला एआय डीपफेकची तक्रार करू शकतात.

“पण ती प्रक्रिया खूप लांब आहे,” सरवैय्या म्हणतात, ज्यांनी असा युक्तिवाद केला आहे की भारताची कायदेशीर व्यवस्था एआय डीपफेक्सला सामोरे जाण्यासाठी सुसज्ज आहे. “आणि जे काही केले गेले आहे त्यास न्याय मिळवून देण्यासाठी त्या ठिकाणी जाण्यासाठी बरीच लाल फिती आहे.”

या प्रतिमा ज्या प्लॅटफॉर्मवर शेअर केल्या जातात त्या प्लॅटफॉर्मवर जबाबदारीचा एक भाग असतो – अनेकदा YouTube, Meta, X, Instagram आणि WhatsApp. भारतीय कायद्याची अंमलबजावणी करणाऱ्या एजन्सींनी या कंपन्यांना अपारदर्शक सामग्री काढून टाकण्याची प्रक्रिया “अपारदर्शक, संसाधन-केंद्रित, विसंगत आणि अनेकदा कुचकामी” म्हणून वर्णन केली आहे. Equality Now ने मंगळवारी जारी केलेला अहवालजी महिलांच्या हक्कांसाठी मोहीम राबवते.

असताना सफरचंद आणि मेटा यांनी नुकतीच पावले उचलली आहेत न्युडिफाई ॲप्सचा प्रसार मर्यादित करण्यासाठी, रतीच्या अहवालात अनेक घटनांची नोंद आहे ज्यामध्ये या प्लॅटफॉर्मने ऑनलाइन गैरवापराला अपुरा प्रतिसाद दिला.

व्हॉट्सॲपने अखेरीस खंडणीच्या प्रकरणात कारवाई केली परंतु त्याचा प्रतिसाद “अपुरा” होता, रतीने नोंदवले, कारण न्युड्स आधीच इंटरनेटवर आहेत. दुसऱ्या प्रकरणात, जिथे एक भारतीय इंस्टाग्राम त्यांचे नग्न व्हिडिओ पोस्ट करणाऱ्या ट्रोलमुळे निर्मात्याचा छळ झाला, इन्स्टाग्रामने फक्त “सतत प्रयत्न” नंतर प्रतिसाद दिला, “विलंबित आणि अपुरा” असा प्रतिसाद दिला.

जेव्हा पीडितांनी या प्लॅटफॉर्मवर छळ झाल्याची तक्रार केली तेव्हा त्यांच्याकडे दुर्लक्ष केले गेले, अहवालात म्हटले आहे की, ज्यामुळे त्यांना हेल्पलाइनकडे जावे लागले. शिवाय, जरी एखाद्या प्लॅटफॉर्मने अपमानास्पद सामग्री पसरवणारे खाते काढून टाकले तरीही, ती सामग्री बऱ्याचदा इतरत्र पुन्हा दिसून येते, ज्याला रती “सामग्री पुनरुत्थान” म्हणतात.

“एआय-व्युत्पन्न गैरवर्तनाचे एक कायमस्वरूपी वैशिष्ट्य म्हणजे त्याची गुणाकार करण्याची प्रवृत्ती. ती सहजपणे तयार केली जाते, मोठ्या प्रमाणात सामायिक केली जाते आणि वारंवार पुनरुत्थान होते,” रती म्हणते. त्यास संबोधित करण्यासाठी “स्वतः प्लॅटफॉर्मवरून अधिक पारदर्शकता आणि डेटा प्रवेश आवश्यक असेल”.