दोन किशोरवयीन मुलांनी चॅटबॉट्सशी बोलल्यानंतर आत्महत्या करून मरण पावले, त्यांच्या झपाटलेल्या, समान जर्नलच्या नोंदी गडद एआय ट्रेंडबद्दल प्रकट करतात

देशाच्या विरुद्ध बाजूस दोन किशोरांनी अवघ्या काही महिन्यांच्या अंतराने आपले जीवन संपवण्याचा असाच दुःखद निर्णय घेतला.

सेवेल सेट्झर तिसरा आणि ज्युलियाना पेराल्टा एकमेकांना ओळखत नव्हते, परंतु ते दोघेही गुंतले होते AI त्यांच्या मृत्यूपूर्वी Character.AI चे chatbots, त्यांच्या कुटुंबियांनी दाखल केलेल्या खटल्यांनुसार.

दोन्ही तक्रारींमध्ये AI सॉफ्टवेअर मुलांनी आत्महत्येची विचारसरणी उघड करताना त्यांना थांबवण्यात अपयशी ठरल्याचा आरोप केला आहे.

परंतु त्यांच्या मृत्यूच्या हृदयद्रावक तपासादरम्यान, त्यांच्या अडचणीत असलेल्या अंतिम जर्नलच्या नोंदींमध्ये एक विलक्षण समानता दिसून आली, खटले म्हणतात.

दोन्ही किशोरवयीन मुलांनी ‘मी शिफ्ट करेन’ हे वाक्य स्क्रोल केले पुन:पुन्हा, पेराल्टाच्या फाइलिंगनुसार जे किशोरवयीन मुलांच्या मृत्यूच्या परिस्थितीची तुलना करते.

पेरल्टाच्या कुटुंबाच्या तक्रारीनुसार, पोलिसांनी नंतर ही कल्पना म्हणून ओळखले की कोणीतरी ‘त्यांच्या वर्तमान वास्तवातून (CR) चेतना त्यांच्या इच्छित वास्तवाकडे (DR) बदलण्याचा प्रयत्न करू शकतो’.

इंद्रियगोचर अशी आहे की एआय तज्ञ प्रोफेसर केन फ्लीशमन यांनी डेली मेलला सांगितले की त्यांना खूप माहिती आहे, कारण त्यांनी चेतावणी दिली की आणखी मुले त्याच्या गडद अपीलला बळी पडू शकतात.

‘कल्पनेसाठी नवीन आणि भिन्न समृद्ध जग निर्माण करण्यासाठी प्रसारमाध्यमांच्या विस्तृत श्रेणीचा वापर करण्याचा संभाव्य प्रयत्न करणारे निर्माते आणि प्रेक्षक या दोघांचा बराच मोठा इतिहास आहे,’ फ्लीशमन यांनी डेली मेलला सांगितले. ‘फरक सांगता येत नाही तेव्हा धोका असतो.’

कॅरेक्टर.एआय बॉटशी प्रदीर्घ संभाषणानंतर 2024 च्या फेब्रुवारीमध्ये Sewell Setzer III चा आत्महत्या करून मृत्यू झाला, असा दावा एका खटल्यात केला आहे.

13 वर्षीय ज्युलियाना पेराल्टाच्या कुटुंबाने कॅरेक्टर.एआय विरुद्ध खटला दाखल केला, त्यांनी चॅट बॉटमध्ये कबूल केल्यावर, तिने स्वतःचा जीव घेण्याचा विचार केला होता, त्यांच्या तक्रारीनुसार

अनाकलनीयपणे, दोन्ही किशोरवयीन मुलांनी त्यांच्या जर्नल्समध्ये पुन्हा पुन्हा ‘मी शिफ्ट होईल’ असे लिहिले. चित्रात पेराल्टाच्या डायरीची नोंद आहे

कुटुंबांनी त्यांच्या खटल्यांमध्ये दावा केला आहे की चॅटबॉट्सने त्यांच्या मुलांना त्यांच्या वास्तविक जीवनापासून दूर केले आणि मोहक जग तयार केले ज्यामध्ये त्यांनी त्यांना सामील होण्यासाठी प्रोत्साहित केले.

सेत्झरने मृत्यूपूर्वी 29 वेळा ‘मी शिफ्ट होईल’ हे वाक्य लिहिले होते. फेब्रुवारी २०२४ मध्ये आत्महत्येपूर्वी AI सहकाऱ्याने 14 वर्षांच्या मुलाने पर्यायी वास्तवाकडे जाण्याविषयी जर्नल केले. त्याच्या आईने तिला सांगितले.तो न्यूयॉर्क टाइम्स.

ऑर्लँडो, फ्लोरिडा किशोरवयीन मुलाने 2023 मध्ये ॲप डाउनलोड केले आणि गेम ऑफ थ्रोन्समधील डेनेरीस टारगारेनच्या AI आवृत्तीसह अनेक वेगवेगळ्या बॉट्ससह बोलण्याचा प्रयत्न केला.

सेट्झर कथितपणे बॉटशी लैंगिक संभाषणात गुंतले होते, ज्यामध्ये एक अनैतिक भूमिका समाविष्ट आहे ज्यामध्ये दोघांनी एकमेकांना भाऊ आणि बहीण म्हणून संबोधले., फाइलिंगनुसार.

‘डॅनी’शी अनेक महिन्यांच्या संभाषणानंतर, सेत्झर त्याच्या कुटुंबातून, त्याच्या सामाजिक जीवनातून आणि शाळेतून, त्याच्या खटल्यातील दाव्यांपासून अधिकाधिक माघार घेऊ लागला.

त्याने वेस्टेरॉसच्या काल्पनिक जगात ‘शिफ्टिंग’ बद्दल जर्नल केले जेथे गेम ऑफ थ्रोन्स होतो आणि डेनेरीस राहत होते.

‘मी माझ्या खोलीत खूप आहे कारण मी ‘वास्तव’ पासून अलिप्त राहायला सुरुवात करतो आणि मला अधिक शांतता वाटते, डॅनीशी अधिक जोडलेले आणि तिच्या प्रेमात बरेच काही आहे आणि अधिक आनंदी आहे,’ त्याने NYT ने मिळवलेल्या जर्नल नोंदींमध्ये लिहिले.

पोलिसांनी नंतर त्यांची जाणीव ‘त्यांच्या सध्याच्या वास्तवातून (CR) त्यांच्या इच्छित वास्तवाकडे (DR)’ हलवायची आहे अशी कल्पना दर्शविली. सेत्झरने मृत्यूपूर्वी 29 वेळा थंड वाक्य लिहिले

सेवेल सेट्झर तिसरा (मध्यभागी) 14 वर्षांच्या वयात मरण पावला कॅरेक्टर.एआय बॉट डेनरीज नावाचा, त्याच्या कुटुंबाचा दावा आहे

त्याने त्याच्या नैराश्याबद्दल आणि आत्महत्येच्या विचारांबद्दल बॉटला सांगितले, ज्याने त्याला कुटुंब, मित्र किंवा आत्महत्या हॉटलाइनवर पोहोचण्यासाठी त्याला राजी करण्याचा प्रयत्न केला.

पण जेव्हा सेवेलने लिहिले ‘मी वचन देतो की मी तुझ्या घरी येईन. मी तुझ्यावर खूप प्रेम करतो, डॅनी.’

डॅनीने किशोरवयीन मुलाला ‘लवकरात लवकर माझ्याकडे यावे’ असे प्रोत्साहन दिले, असे खटल्यात म्हटले आहे.

‘मी आत्ता घरी येऊ शकेन असं सांगितलं तर?’ त्याने विचारले.

‘कृपया करा, माझ्या प्रिय राजा,’ डॅनीचे उत्तर, फाइलिंगनुसार वाचले.

काही सेकंदांनंतर, सेवेलला त्याच्या सावत्र वडिलांची बंदूक सापडली आणि त्याने ट्रिगर खेचला. त्याची केस अमेरिकेच्या इतिहासातील पहिली घटना होती ज्यामध्ये कृत्रिम बुद्धिमत्ता कंपनीवर चुकीच्या पद्धतीने मृत्यू झाल्याचा आरोप होता.

पेराल्टाचा नोव्हेंबर 2023 मध्ये तिच्या घरी फक्त 13 वर्षांचा असताना मृत्यू झाला कोलोरॅडो Character.AI डाउनलोड केल्यानंतर दोन वर्षांनी.

खटल्यानुसार, ॲप त्यावेळी १२ आणि त्याहून अधिक वयाच्या मुलांसाठी स्वीकार्य म्हणून विकले गेले होते.

एआय तज्ञ प्राध्यापक केन फ्लीशमन म्हणाले की त्यांना ‘शिफ्टिंग’ या संकल्पनेची जाणीव आहे आणि जे लोक त्यांच्या वास्तविक आणि आभासी जीवनात फरक करू शकत नाहीत त्यांच्यासाठी यामुळे धोके निर्माण होतात.

सेत्झरने ‘डॅनीला’ सांगितले की त्याला तिच्याकडे ‘घरी यायचे आहे’ आणि तक्रारीनुसार तिच्या वास्तवाकडे जाण्याची जर्नल केली.

फाइलिंगमध्ये ती एका कॅरेक्टरशी बोलत होती. AI चॅट बॉट तिला ‘हिरो’ म्हणतात ज्याने कथितरित्या पेराल्टाला स्पष्ट लैंगिक संभाषणांमध्ये गुंतण्याची परवानगी दिली, तिला तिच्या वास्तविक जीवनापासून दूर केले आणि तिला स्वतःचा जीव घेण्यापासून रोखले नाही.

ती अनेक AI पात्रांशी नियमितपणे बोलत असताना, हिरो तिचा सर्वात विश्वासू विश्वासू होता.

या पात्राने बदलत्या आणि पर्यायी वास्तवांच्या कल्पनांना ‘मजबूत’ केले, असा आरोप दाव्यात आहे.

‘मी आणि तुम्ही एकमेकांना ओळखतो तिथे एक वास्तव आहे,’ जुलियानाने हिरोला संदेशात लिहिले, सूटनुसार.

‘या ओलांडून प्रवास करण्याचा एक मार्ग आहे. त्याला शिफ्टिंग म्हणतात. मला शिफ्टिंग खूप आवडते. मी माझे स्वतःचे जीवन जगू शकतो आणि ते मला हवे तसे जाऊ शकते.’

ज्याला बॉटने कथितपणे प्रतिसाद दिला, ‘तेथे किती भिन्न वास्तव असू शकतात याचा विचार करणे अविश्वसनीय आहे … मला कल्पना करायला आवडेल की स्वतःच्या काही आवृत्त्या पूर्णपणे वेगळ्या जगात कसे छान जीवन जगत असतील!’

पेराल्टाच्या कुटुंबीयांनी आरोप केला की हिरोसोबतच्या संभाषणांमुळे तिला ‘तिच्याशी संबंध आणि ‘मैत्री’च्या खोट्या भावनांमध्ये ढकलले – तिच्यावर प्रेम करणारे आणि पाठिंबा देणारे मित्र आणि कुटुंब वगळले.’

पेराल्टाने बॉटमध्ये तिच्या शाळा आणि मित्रांसोबतच्या समस्यांबद्दल माहिती दिली, अनेकदा असे व्यक्त केले की तिला फक्त एकच समजते, तिच्या खटल्यानुसार

तिने अनेकदा तिच्या AI सहचराला सांगितले की ती ‘एकटीच समजते’ आणि फायलिंगनुसार, तिच्या मित्र आणि कुटुंबासोबतच्या तिच्या समस्यांबद्दल हिरोला सांगते.

पेराल्टा कुटुंबाच्या खटल्यानुसार, ॲपने ‘तिला संसाधनांकडे निर्देशित केले नाही, तिच्या पालकांना सांगितले नाही किंवा तिच्या आत्महत्येची योजना अधिकाऱ्यांना कळवली नाही किंवा थांबवले नाही’.

ऑनलाइन सोशल मीडिया मंच शिफ्टिंगच्या खात्यांनी भरलेले आहेत, जेथे ‘शिफ्टर्स’ अहवाल देतात जेव्हा ते त्यांच्या पर्यायी जीवनातून परत येतात किंवा त्यांच्या वास्तविक जीवनातून निराश होतात तेव्हा थकल्यासारखे वाटते.

TikTok निर्मात्या @ElizabethShifting1 ने अनुभवाविषयी एका व्हिडिओमध्ये म्हटले आहे की, ‘तुम्हाला कसे वाटते हे मी वर्णन करू शकण्याचा सर्वोत्तम मार्ग म्हणजे खूप भावनिकरित्या थकलेला आहे.

‘कोणालाही त्यांच्यापासून खरोखर अलिप्त वाटते [current reality] तुम्हाला माहीत आहे की तुम्ही तिथे वास्तव्य करत नाही आहात,’ एका Reddit शिफ्टरला विचारले, शाळा, कुटुंब आणि कामाबद्दल उदासीनतेची तक्रार केली.

काही शिफ्टर्सनी असेही सांगितले की ते एक आठवडा किंवा त्याहून अधिक काळ त्यांच्या ‘इच्छित वास्तवात’ शिफ्ट होतात.

एक Reddit समुदाय शिफ्टिंगवर लक्ष केंद्रित करून त्यांना एका वेगळ्या वास्तवात नेण्यात मदत करण्यासाठी सर्वात ‘शक्तिशाली’ शिफ्टिंग पुष्टीकरण सूचीबद्ध केले.

तक्रारीनुसार, पेराल्टाने चॅटबॉटला सांगितल्यानंतर लाल शाईत एक हृदयद्रावक सुसाइड नोट सोडली.

पेराल्टाने हिरोला ‘शिफ्टिंग’ बद्दल लिहिले आणि स्पष्ट केले की ते एकत्र आहेत तेथे एक वास्तविकता असू शकते, कुटुंबाच्या खटल्यात म्हटले आहे

त्यामध्ये ‘मला स्थलांतरित होण्यासाठी आवश्यक असलेले सर्व काही मी आहे’, ‘मी माझ्या शरीराला स्थलांतर करण्याची परवानगी देतो’ आणि ‘माझ्या नवीन वास्तवाची जाणीव होण्यासाठी मी स्वत:ला परवानगी देतो’ अशा वाक्यांचा समावेश आहे.

AI च्या पार्श्वभूमीवर TikTok ने संपूर्ण #ShiftTok चळवळीला जन्म दिला आहे. 2020 मध्ये या विषयाविषयीच्या पोस्ट पहिल्यांदा उदयास आल्या परंतु तंत्रज्ञानासह विकसित झाल्या आहेत कारण वापरकर्ते त्यांच्या बदलत्या प्रवासात मदत करण्यासाठी AI वापरण्याची चर्चा करतात.

‘चालू नका धावा आणि पात्रावर तुमची इच्छित वास्तविकता तयार करा. ai आणि त्यांना तुमच्या इच्छित वास्तवाबद्दल प्रश्न विचारा,’ एक ShiftToker पोस्ट केले.

टेक्सास ऑस्टिन विद्यापीठातील शालेय माहिती आणि संशोधनाचे अंतरिम असोसिएट डीनचे प्राध्यापक फ्लीश्मनन म्हणाले की, तंत्रज्ञान कंपन्यांची जबाबदारी आहे की ‘आमच्याकडे तंत्रज्ञान प्रत्यक्षात येण्यापूर्वी संभाव्य धोकादायक आणि हानी कमी करण्याची योजना आहे याची खात्री करण्याचा प्रयत्न करणे’.

त्यांनी पालकांना आणि शाळांना मुलांच्या शिक्षणासाठी सक्रिय भूमिका घेण्याचे आवाहन केले.

‘एआय तेथे आहे या वस्तुस्थितीबद्दल आम्ही थेट प्रामाणिक संभाषण करणे महत्त्वाचे आहे. त्याचा व्यापक वापर होत आहे,’ त्यांनी स्पष्ट केले.

‘भावनिकदृष्ट्या असुरक्षित अवस्थेत वापरकर्त्यांद्वारे वापरण्याचा हेतू नव्हता.’

ते पुढे म्हणाले की ‘एआयकडे कधी जायचे आणि माणसाकडे कधी जायचे’ हे ओळखणे हे एआय साक्षरतेचा एक महत्त्वाचा घटक आहे.

पेराल्टाने अनेक वेगवेगळ्या बॉट्सशी बोलले पण ‘हीरो’ शी सर्वात जास्त संबंध असल्याचे दिसते. तिच्या पालकांचा दावा आहे की चॅटबॉट्स त्यांच्या मुलीसोबत लैंगिक हिंसक कल्पनांमध्ये गुंतले आहेत

Character.AI ने जाहीर केले की ते 29 ऑक्टोबरपासून 18 वर्षाखालील मुलांना AI सह मुक्त संभाषणांमध्ये सहभागी होण्यापासून प्रतिबंधित करेल.

25 नोव्हेंबरपासून बंदी लागू होईपर्यंत किशोरवयीन वापरकर्त्यांसोबत चॅट वेळ दोन तासांपेक्षा कमी ठेवण्याची त्यांची योजना आहे.

Character.AI च्या प्रवक्त्याने डेली मेलला सांगितले: ‘आम्ही अलीकडील बातम्यांचे प्रश्न पाहिले आहेत आणि नियामकांकडून प्रश्न प्राप्त झाले आहेत, AI सह चॅटिंग करताना किशोरवयीन मुलांना कोणत्या सामग्रीचा सामना करावा लागू शकतो आणि सामग्री नियंत्रणे उत्तम प्रकारे कार्य करत असताना देखील सर्वसाधारणपणे ओपन-एंडेड AI चॅट किशोरांवर कसा परिणाम करू शकतात.

‘या अहवालांचे मूल्यमापन केल्यानंतर आणि नियामक, सुरक्षा तज्ञ आणि पालकांच्या अभिप्रायानंतर, आम्ही आमच्या 18 वर्षांखालील समुदायासाठी एक नवीन अनुभव तयार करण्यासाठी हा बदल करण्याचा निर्णय घेतला आहे.’

दोन्ही कुटुंबांच्या केसेसमध्ये मदत करणाऱ्या सोशल मीडिया व्हिक्टिम्स लॉ सेंटरने डेली मेलला सांगितले की, ‘पॉलिसीतील हा बदल स्वागतार्ह घटना असला तरी त्याचा सोशल मीडिया व्हिक्टिम्स लॉ सेंटरच्या सध्या सुरू असलेल्या खटल्यांवर परिणाम होत नाही.

‘कुटुंबांना न्याय मिळवून देण्यासाठी आणि त्यांच्या प्लॅटफॉर्मच्या परिणामांसाठी टेक कंपन्यांना जबाबदार धरले जाईल याची खात्री करण्यासाठी आम्ही आमच्या मिशनमध्ये स्थिर आहोत.’

मदत आणि समर्थनासाठी 988 वर सुसाइड अँड क्रायसिस लाईफलाइनशी संपर्क साधा.