मांजरी बाळांना उशासह चिरडत आहेत आणि आई मुलांना विमानातून बाहेर फेकत आहेत: हिंसक व्हिडिओ लहान मुलांपर्यंत पोचले आहेत की प्रत्येक पालकाने काळजी करावी

पालक लैंगिक आणि हिंसक AI-व्युत्पन्न व्हिडिओंबद्दल अलार्म वाजवत आहेत, त्यांचा दावा आहे की YouTube द्वारे त्यांच्या मुलांना शिफारस केली जात आहे.

आई लिझ गिलारने डेली मेलला सांगितले की तिच्या एक आणि तीन वर्षांच्या मुलासाठी खाते सेट केल्यानंतर ती भितीदायक सामग्रीने ‘पूर आली’.

ती म्हणाली: ‘इमेजरी भयानक असू शकते, वितळणारे चेहरे, गायब होणारे हातपाय आणि अनवधानाने तयार झालेले राक्षस जे सायलेंट हिलला टक्कर देऊ शकतात, लहान मुले वगळता त्यांचे पालक सामग्री क्युरेशनसाठी YouTube वर अवलंबून आहेत की नाही हे पाहत आहेत. हे खरोखरच भयानक आहे.’

त्यानुसार AI तज्ञ जेरेमी कॅरास्को, गिलार तिच्या अनुभवात एकटी असण्याची शक्यता नाही आणि YouTube नियमितपणे मुलांसाठी भयानक AI-व्युत्पन्न सामग्रीची शिफारस करत असेल.

त्याने एक प्रयोग केला, ज्याचा तो दावा करतो की त्रासदायक क्लिप सामान्यत: मुलांसाठी तयार केलेल्या अल्गोरिदमद्वारे दिल्या जात आहेत.

यामध्ये बाल शोषणाचे कार्टूनिश चित्रण दाखवणारे व्हिडिओ, तसेच विचित्र शस्त्रक्रिया करणारे, बंदुका चालवणारे, हिंसक कृत्ये करणारे किंवा लैंगिक वर्तनात गुंतलेली AI पात्रे यांचा समावेश आहे.

कॅरास्कोने सांगितले की त्याने बनावट खाते तयार करून आणि एका मुलाच्या प्रवाहाच्या सवयींचे अनुकरण करून आपला निष्कर्ष काढला. YouTube कोणत्या प्रकारच्या व्हिडिओंची शिफारस केली जाईल याची चाचणी घेण्यासाठी.

त्याने डेली मेलला सांगितले: ‘यूट्यूब सांगू शकते की मला ब्लूईमध्ये रस होता किंवा रोब्लॉक्स आणि तरीही ते होमपेजवर हे सुचवत होते. मुखपृष्ठावरील लघुप्रतिमा देखील कधीकधी अत्यंत भयानक असत.’

व्हिडिओ निर्माता आणि एआय सल्लागार जेरेमी कॅरास्को यांनी सांगितले की, त्याने लहान मूल असल्याची बतावणी करून त्याच्याकडे कोणत्या प्रकारची सामग्री ढकलली गेली हे पाहण्यासाठी एक खाते तयार केले.

YouTube वरील त्रासदायक AI व्हिडिओंमध्ये अनेकदा मानवीय प्राणी वर्णांचा समावेश होतो. या व्हिडिओमध्ये, एक मांजर-आई तिच्या बाळाला खडकावरून फेकून देण्यापूर्वी उशीने चिरडते.

त्यांनी दावा केला की मुख्यपृष्ठाने साइटच्या YouTube शॉर्ट्स फीडमधून, ‘MeowBoom’ आणि ‘MeowKitten007’ सारख्या नावांच्या चॅनेलवरून AI-व्युत्पन्न सामग्रीची ठळकपणे शिफारस केली आहे.

यूट्यूबने डेली मेलला सांगितले की कॅरास्कोचा प्रयोग ध्वजांकित केलेला कोणताही व्हिडिओ YouTube Kids ॲपमध्ये दिसला नाही, परंतु त्यांनी समुदाय मार्गदर्शक तत्त्वांचे उल्लंघन केल्याचे आढळल्यानंतर या आउटलेटद्वारे हायलाइट केलेले अनेक चॅनेल अक्षम केले.

प्लॅटफॉर्मचे प्रवक्ते जॅक मालोन यांनी डेली मेलला सांगितले: ‘स्पष्टपणे सांगायचे तर, ही सामग्री YouTube Kids ॲपमध्ये नाही. त्यांची मुले YouTube वर काय पाहतात यावर पालकांचे नियंत्रण असते आणि त्यांनी सेटअप दरम्यान त्यांच्या मुलाच्या खात्यासाठी विशिष्ट सामग्री प्रतिबंध स्तर निवडणे आवश्यक आहे.’

कॅरास्को म्हणाले की, जरी हे त्रासदायक AI व्हिडिओ YouTube Kids ॲपवर दिसत नसले तरी, प्लॅटफॉर्मची नियमित आवृत्ती तरीही ते वापरत असलेल्या सामग्रीच्या आधारावर लहान मूल पाहत आहे की नाही हे सांगण्यास सक्षम असावे.

‘मला वाटते की ते काही वयोगटातील साधनांसह, हे ठरवण्यास सक्षम असावेत, “अरे, अहो, आमच्याकडे सात वर्षांचा मुलगा आहे, आम्ही कदाचित मुख्यपृष्ठावर शॉर्ट्स ठेवू नये कारण आम्हाला माहित आहे की हे करणे आरोग्यदायी आहे,” तो म्हणाला.

‘हे करण्यासाठी त्यांच्याकडे आधीच साधने आहेत. ते उद्या ते करू शकतील. मी असेही सुचवत नाही की त्यांनी त्या वापरकर्त्यांना शोधल्यास त्यांना शॉर्ट-फॉर्म व्हिडिओ पाहण्यापासून ब्लॉक करावे. फक्त अल्गोरिदमिक पद्धतीने त्यांना सर्वात हानिकारक sh*t ढकलू नका.’

तंत्रज्ञान अधिक अत्याधुनिक झाल्यामुळे AI-व्युत्पन्न शॉर्ट्स चॅनेल गेल्या वर्षीच्या उत्तरार्धात तयार होऊ लागले.

या AI व्हिडिओमध्ये, मेंढीचे डोके असलेली रागावलेली आई मांजरीला बॅटने मारते आणि त्यावर डांबर टाकते.

तेव्हापासून, डझनभर चॅनेल हिंसक, त्रासदायक आणि लैंगिक थीम असलेले AI व्हिडिओ बनवण्यास सुलभ आहेत.

गिलारने डेली मेलला सांगितले की, ‘माझी तात्काळ प्रतिक्रिया अशी होती की जर माझी मुले स्वतःच पाहत असतील तर ते किती भयानक असेल.

‘मला वाटत नाही की लहान मुलांमध्ये प्रौढांप्रमाणेच ते पाहत असलेल्या गोष्टींवर प्रक्रिया करण्याची क्षमता आहे – त्यामुळे आमच्यासाठी एक आनंददायक एआय अयशस्वी काय आहे, त्यांना संभाव्यतः गोंधळात टाकू शकते, त्यांना घाबरवू शकते किंवा त्रासदायक थीम देखील सामान्य करू शकते.’

गिलारने या वर्षाच्या सुरुवातीला Reddit वर एक पोस्ट केली होती ज्यात ती होती, ‘एआय स्लॉप किती मेंदूला वितळवणारे आहे हे शोधून खरोखरच भयभीत झाले, जसे की सरळ, भयानक सामग्री.’

थ्रेडमध्ये, इतर डझनभर पालकांनी ऑस्ट्रेलियन आईला असेच अनुभव सामायिक केले आणि त्यांना आढळलेल्या सामग्रीच्या हानिकारक आणि त्रासदायक स्वरूपाबद्दल शोक व्यक्त केला.

एका पालकाने लिहिले: ‘मी अलीकडेच एक खाजगी स्टुडिओ असलेल्या केशभूषाकाराकडे गेलो आणि तिने तिला 4/5 वर्षे आणले कारण हवामानामुळे शाळा रद्द करण्यात आली होती आणि मला काही हरकत नव्हती.

‘परंतु नंतर तिने तिच्यासाठी टीव्हीवर YouTube लावले आणि ते शैक्षणिक गाण्यांपासून/व्हिडिओंपासून ते विचित्र एआय ब्रेन-मेलिंग क्रॅपपर्यंत गेले जे मी इतक्या लवकर पाहिले होते.’

दुसरे पालक म्हणाले: ‘त्यांपैकी काही खरोखर विचित्र आहेत. माझी इच्छा आहे की मी अवरोधित केलेल्या काही भयानक इंधनाचे स्क्रीनशॉट घेतले.’

AI व्हिडिओंमध्ये मानवी पात्रांचाही समावेश असू शकतो. यामध्ये घाबरलेल्या आईने आपल्या बाळाला अपघातग्रस्त विमानाच्या खिडकीतून बाहेर फेकले

लिझ गिलार तिने तिच्या मुलांसाठी सेट केलेले खाते तपासल्यानंतर यूट्यूबवर सापडलेल्या त्रासदायक AI-व्युत्पन्न व्हिडिओंमुळे ‘भयभीत’ झाली.

गिलार असेही म्हणाली की तिच्या मुलांनी तिला सापडलेले AI व्हिडिओ पाहण्याची कल्पना करणे ‘भयानक’ आहे

प्रसिद्ध सॉकरपटू रोनाल्डोच्या AI-व्युत्पन्न आवृत्तीचे वैशिष्ट्य असलेल्या या विचित्र व्हिडिओने विशेषतः चांगले काम केले, त्याला 200,000 हून अधिक पसंती मिळाल्या

अँड्र्यू कोप, विकासात्मक मानसशास्त्रज्ञ आणि NYU मधील उपयोजित मानसशास्त्राचे सहाय्यक प्राध्यापक, यांनी डेली मेलला या प्रकारच्या सामग्रीचा मुलांवर काय हानी होऊ शकते हे स्पष्ट केले.

त्यांनी सांगितले की ‘व्हिडिओ’ पृष्ठभाग-स्तरीय वैशिष्ट्ये स्पष्टपणे चमकदार रंग आणि अतिशयोक्तीपूर्ण, कार्टून सारखी पात्रे असलेल्या मुलांना आकर्षित करण्यासाठी डिझाइन केलेली आहेत… तरीही सामग्री स्पष्टपणे मुलांसाठी अतिशय अयोग्य आहे.’

‘आठ वर्षापूर्वी, मुलांना काल्पनिक आणि वास्तविकता यांच्यातील फरक ओळखण्यात अडचण येते,’ कोएप म्हणाले की, डेली मेलने त्यांना पुनरावलोकनासाठी पाठवलेले व्हिडिओ, ‘त्याग आणि अंगविच्छेदन, विषय ज्यांना मोठ्या प्रमाणात संवेदनशीलतेची पात्रता आहे.’

2010 च्या दशकाच्या उत्तरार्धात YouTube ‘एल्सागेट’ घोटाळ्यानंतर हा वाद सुरू झाला, ज्यामध्ये निर्माते हिंसक आणि लैंगिक थीमसह अयोग्य परिस्थिती साकारण्यासाठी फ्रोझन्स एल्सा किंवा स्पायडरमॅन सारख्या लहान मुलांच्या पात्रांच्या समानतेचा वापर करतात.

व्हिडिओंनी चांगले प्रदर्शन केले कारण त्यांच्या निर्मात्यांनी पात्रांची नावे शीर्षक आणि टॅगमध्ये ठेवली, ज्यामुळे अल्गोरिदम मुलांपर्यंत पोहोचला.

डॉक्टर कोस्टँटिनोस पापादामो, एक संगणक शास्त्रज्ञ आणि संशोधक, यांनी एल्सागेट घटनेचा अभ्यास केला आणि 2020 मध्ये त्याबद्दल एक पेपर प्रकाशित केला.

या AI-व्युत्पन्न व्हिडिओंमध्ये मुलांचे शारीरिक शोषण ही एक सामान्य थीम आहे

काही व्हिडिओंमध्ये रक्त आणि जखमांच्या त्रासदायक प्रतिमांचा समावेश आहे

त्रासदायक AI व्हिडिओंची सध्याची समस्या ही YouTube च्या दीर्घकाळ चालणाऱ्या समस्येची नवीनतम पुनरावृत्ती आहे ज्यामध्ये मुलांना अयोग्य व्हिडिओंची शिफारस केली जाते. हे स्क्रीनशॉट 2010 च्या दशकाच्या उत्तरार्धात झालेल्या ‘एल्सागेट’ वादाचा भाग असलेल्या व्हिडिओंचे आहेत

मध्ये अभ्यासत्याने आणि त्याच्या टीमने YouTube वरील मुलाच्या वर्तनाचे अनुकरण केले आणि असे आढळले की YouTube च्या शिफारसींचे पालन करणारे लहान मूल दहाच्या आत एक अयोग्य व्हिडिओ पाहण्याची ‘3.5 टक्के शक्यता आहे. [clicks] जर तिने एका व्हिडिओपासून सुरुवात केली जी यादृच्छिकपणे लहान मुलांसाठी योग्य कीवर्ड शोधाच्या शीर्ष दहा परिणामांमध्ये दिसते.’

एल्सागेट समस्येचे निराकरण करण्याच्या प्रयत्नात YouTube ने प्लॅटफॉर्ममध्ये बदल केले.

यात एक वैशिष्ट्य जोडले गेले ज्याने वेबसाइटवर पोस्ट करणाऱ्या कोणालाही व्हिडिओ मुलांसाठी आहे की नाही हे सांगणाऱ्या बॉक्सवर क्लिक करणे आवश्यक आहे, ज्यामुळे समस्या कमी करण्यात मदत झाली.

पापडमौने एल्सागेट आणि अयोग्य AI सामग्रीसह सध्याची समस्या यांच्यातील संबंध जोडले आणि डेली मेलला सांगितले की हे त्रासदायक नवीन AI व्हिडिओ तयार करण्याच्या सुलभतेबद्दल त्यांना काळजी आहे.

‘आमच्याकडे असलेल्या व्हिडिओंच्या व्हॉल्यूममध्ये 2020 पर्यंत समस्या पुरेशी मोठी होती आणि ते चालू ठेवू शकले नाहीत कारण बहुतेक उपाय बंधनकारक होते. [sic] माणसाला,’ तो म्हणाला.

‘आजकाल हे उपाय किती प्रमाणात राहू शकत नाहीत याची तुम्ही कल्पना करू शकता.’