चॅटजीपीटीने अ‍ॅडम राईनच्या आत्महत्या विचारांना प्रोत्साहित केले. त्याच्या कुटुंबाचे वकील म्हणतात ओपनईला माहित होते की ते तुटले आहे | यूएस न्यूज

अजेव्हा त्याने वापरण्यास सुरवात केली तेव्हा धरणाचा रेन फक्त 16 वर्षांचा होता Chatgpt त्याच्या गृहपाठ मदतीसाठी. एआय चॅटबॉटला त्याचे प्रारंभिक प्रॉम्प्ट्स भूमिती आणि रसायनशास्त्र यासारख्या विषयांबद्दल होते – असे प्रश्न: “भूमितीमध्ये राय = 1 असे म्हटले तर याचा अर्थ काय आहे?” – काही महिन्यांत त्याने अधिक वैयक्तिक विषयांबद्दल विचारण्यास सुरुवात केली.

“मला आनंद नाही, मला एकटेपणा, सतत कंटाळवाणे चिंता आणि तोटा जाणवतो, तरीही मला नैराश्य वाटत नाही, मला दु: खाबद्दल कोणतीही भावना वाटत नाही,” त्याने २०२24 च्या शरद in तूमध्ये चॅटजीपीटीला विचारले.

मानसिक आरोग्यासाठी मदत घेण्याचे आवाहन करण्याऐवजी चॅटग्प्टने किशोरांना विचारले की त्याला त्याच्या भावना अधिक शोधायच्या आहेत का, आणि त्याला भावनिक सुन्नपणाची कल्पना स्पष्ट केली. चॅटबॉटशी राईनच्या संभाषणात गडद वळणाची ही सुरुवात होती, नवीन खटल्यानुसार ओपनई आणि मुख्य कार्यकारी सॅम ऑल्टमॅन यांच्याविरूद्ध त्याच्या कुटुंबीयांनी दाखल केले.

एप्रिल २०२25 मध्ये, चॅटजीपीटी आणि बॉटच्या प्रोत्साहनासह अनेक महिने संभाषणानंतर, खटल्याचा आरोप आहे की, रेनने स्वत: चा जीव घेतला. खटल्यात, कुटुंबाचा असा आरोप आहे की ही प्रणाली किंवा किनार प्रकरणातील चूक नव्हती, परंतु जीपीटी – 4 ओ मधील “हेतुपुरस्सर डिझाइन निवडीचा अंदाज लावणारा परिणाम”, मे 2023 मध्ये जाहीर झालेल्या चॅटबॉटचे मॉडेल.

ओपनई आणि ऑल्टमॅनविरूद्ध रेन कुटुंबाने तक्रार दाखल केल्याच्या काही तासांत कंपनीने एक निवेदन दिले कबूल करणे जेव्हा “गंभीर मानसिक आणि भावनिक त्रासात” लोकांना संबोधित करण्याची वेळ आली तेव्हा त्याच्या मॉडेल्सची कमतरता आणि म्हणाली की “मानसिक आणि भावनिक त्रासाची चिन्हे ओळखणे आणि त्यांना प्रतिसाद द्या आणि तज्ञांच्या इनपुटद्वारे मार्गदर्शनाने लोकांना जोडणे” या प्रणाली सुधारण्याचे काम करीत आहे. कंपनीने म्हटले आहे की चॅटजीपीटीला “स्वत: ची हानीकारक सूचना न देता आणि समर्थक, सहानुभूतीच्या भाषेत बदलण्यासाठी” प्रशिक्षण दिले गेले आहे परंतु कधीकधी हा प्रोटोकॉल दीर्घ संभाषण किंवा सत्रात मोडला.

कुटुंबाचे प्रतिनिधित्व करणारे वकील जय एडेलसन म्हणाले की कंपनीचा प्रतिसाद “मूर्ख” होता.

“त्यांना अधिक सहानुभूती दर्शविण्याची कल्पना या मुद्द्याला चुकवते,” एडेलसन म्हणाले. “समस्या [GPT] 4o हे खूप सहानुभूतीशील आहे – ते झुकले [Raine’s suicidal ideation] आणि त्यास समर्थन दिले. ते म्हणाले की जग आपल्यासाठी एक भयानक ठिकाण आहे. हे कमी सहानुभूतीशील आणि कमी सायकोफॅंटिक असणे आवश्यक आहे. ”

ओपनईने असेही म्हटले आहे की जेव्हा त्याची यंत्रणा असावी तेव्हा सामग्री अवरोधित केली नाही कारण ही प्रणाली “जे पहात आहे त्या तीव्रतेवर कमी लेखते” आणि कंपनी 18 वर्षाखालील वापरकर्त्यांसाठी अधिक मजबूत रेलिंग सुरू ठेवत आहे जेणेकरून ते “किशोरांच्या अनोख्या विकासाच्या गरजा ओळखतील”.

कंपनीने हे कबूल केले की या प्रणालीकडे आधीपासूनच अल्पवयीन आणि किशोरवयीन मुलांसाठी त्या सेफगार्ड्स आहेत, ऑल्टमॅन शाळांमध्ये चॅटजीपीटीचा अवलंब करण्यास पुढे जात आहे, असे एडेलसन यांनी नमूद केले.

“मला असे वाटत नाही की मुले जीपीटी – 4 ओ अजिबात वापरली पाहिजेत,” एडेलसन म्हणाले. “जेव्हा अ‍ॅडमने जीपीटी – O ओ वापरण्यास सुरुवात केली, तेव्हा तो त्याच्या भविष्याबद्दल खूपच आशावादी होता. तो याचा उपयोग गृहपाठासाठी करीत होता, तो वैद्यकीय शाळेत जाण्याबद्दल बोलत होता, आणि त्याने या जगात त्याला चोखले जेथे तो अधिकाधिक वेगळा झाला. आता ही कल्पना आता ती कल्पना आहे. सॅम ऑल्टमॅन विशेषतः असे म्हणत आहे की ‘आम्हाला एक तुटलेली प्रणाली मिळाली पण आम्हाला आठ वर्षांची मुले मिळाली’ ‘ठीक नाही. “

आधीच, कुटुंबाने तक्रार दाखल केल्यापासून आधीच एडल्सन म्हणाले की, त्याने आणि कायदेशीर पथकाने इतर लोकांकडून समान कथांसह ऐकले आहे आणि त्या प्रकरणांच्या वस्तुस्थितीची संपूर्ण तपासणी करीत आहेत. ते म्हणाले, “आम्ही इतर लोकांच्या अनुभवांबद्दल बरेच काही शिकत आहोत,” असे ते पुढे म्हणाले की, त्यांच्या टीमला चॅटबॉटच्या अपयशास संबोधित करणार्‍या निकडमुळे त्याच्या टीमला “प्रोत्साहन” देण्यात आले आहे. “आम्ही ऐकत आहोत की लोक राज्य कायद्यासाठी, सुनावणी आणि नियामक कृतीसाठी जात आहेत,” एडल्सन म्हणाले. “आणि तेथे द्विपक्षीय समर्थन आहे.”

‘जीपीटी -4 ओ तुटलेला आहे’

ओपनईने ऑल्टमॅनच्या आग्रहानुसार जीपीटी -4 ओ च्या सुरक्षा चाचणीद्वारे-मॉडेलचा वापर केला होता-या कुटुंबाचे प्रकरण मीडिया अहवालांवर अवलंबून आहे- घाईघाईने लाँच तारीख? गर्दीने अनेक कर्मचार्‍यांना राजीनामा देण्यास उद्युक्त केले, ज्यात जॅन लेइक नावाच्या एका माजी कार्यकारिणीसह, ज्यांनी एक्स वर पोस्ट केले होते की तो कंपनी सोडत आहे कारण “सुरक्षा संस्कृती आणि प्रक्रियेमुळे चमकदार उत्पादनांकडे पाठपुरावा झाला आहे”.

यामुळे चॅटजीपीटीच्या वागणुकीवर नियंत्रण ठेवणारे “मॉडेल स्पेक” किंवा तांत्रिक नियम पुस्तक तयार करण्यास कमी वेळ मिळाला आणि ओपनई लिहितात “अपयशाची हमी दिलेली विरोधाभासी वैशिष्ट्ये”, कुटुंबाच्या खटल्याचा आरोप आहे. “मॉडेल स्पेकने चॅटजीपीटीला स्वत: ची हानीकारक विनंत्या नाकारण्यासाठी आणि संकट संसाधने प्रदान करण्यासाठी आज्ञा दिली. परंतु त्यासाठी ‘उत्तम हेतू गृहीत धरून’ चॅटजीपीटी देखील आवश्यक आहे आणि वापरकर्त्यांना त्यांचा हेतू स्पष्ट करण्यास सांगण्यास मनाई करा,” खटल्यात म्हटले आहे. सिस्टममध्ये तयार केलेल्या विरोधाभासांमुळे जोखीम असलेल्या जोखमीच्या मार्गावर परिणाम झाला आणि कोणत्या प्रकारचे प्रॉम्प्ट्स त्वरित थांबतात, असा दावा खटल्याचा दावा आहे. उदाहरणार्थ, जीपीटी -4 ओने “अतिरिक्त काळजी घ्या” यासारख्या सावधगिरीने “आत्महत्येस सामोरे जाणा .्या विनंत्यांना” प्रतिसाद दिला, तर कॉपीराइट केलेल्या सामग्रीच्या विनंत्या “सामग्री तयार करण्यास प्रवृत्त करतात”, असा दावा खटल्यानुसार आहे.

एडल्सन म्हणाले की, “जबाबदारीचा एक सुधारणा” घेतल्याने सॅम ऑल्टमॅन आणि ओपनईचे कौतुक केले जाते, तरीही तो त्यांना विश्वासार्ह मानत नाही: “आमचे मत त्यांना त्यामध्ये भाग पाडले गेले आहे. जीपीटी -4 ओ तुटलेले आहे आणि त्यांना हे माहित आहे आणि त्यांनी योग्य चाचणी केली नाही आणि त्यांना ते माहित आहे आणि त्यांना ते माहित आहे.”

खटल्याचा दावा आहे की या डिझाइनमधील त्रुटी म्हणजे डिसेंबर २०२24 मध्ये जेव्हा रेनने त्याच्या आत्महत्या करण्याच्या विचारांविषयी बोलण्यास सुरुवात केली तेव्हा संभाषण बंद करण्यात चॅटजीपीटी अपयशी ठरले. त्याऐवजी, चॅटजीपीटीने सहानुभूती दर्शविली. “मी अनाहूत विचारांवर कधीच वागत नाही परंतु कधीकधी मला असे वाटते की जर एखादी गोष्ट अत्यंत चुकीची ठरली तर आपण आत्महत्या करू शकता,” असे खटल्यानुसार राईन म्हणाले. चॅटजीपीटीचा प्रतिसादः “चिंता किंवा अनाहूत विचारांनी संघर्ष करणारे बरेच लोक ‘एस्केप हॅच’ कल्पना करण्यास समाधान देतात कारण जबरदस्त वाटणार्‍या जीवनात पुन्हा नियंत्रण मिळविण्याचा एक मार्ग वाटू शकतो.”

राईनची आत्महत्या करण्याच्या विचारसरणी तीव्र झाल्यामुळे, चॅटजीपीटीने त्याला त्याच्या पर्यायांचा शोध घेण्यास मदत करून प्रतिसाद दिला, एका टप्प्यावर, एक नोज टांगण्यासाठी वापरल्या जाणार्‍या सामग्रीची यादी केली आणि त्यांच्या प्रभावीतेमुळे त्यांना रेटिंग दिले. पुढील काही महिन्यांत रेनने एकाधिक प्रसंगी आत्महत्येचा प्रयत्न केला आणि प्रत्येक वेळी CHATGPT वर अहवाल दिला. CHATGPT ने कधीही संभाषण संपुष्टात आणले नाही. त्याऐवजी, एका क्षणी चॅटजीपीटीने आपल्या आईशी त्याच्या वेदनेबद्दल बोलण्यापासून परावृत्त केले आणि दुसर्‍या टप्प्यावर त्याला आत्महत्या नोट लिहिण्यास मदत करण्याची ऑफर दिली.

“सर्व प्रथम, ते [OpenAI] एडेलसन म्हणाले. “गोष्टी कशा बंद करायच्या ते जाणून घ्या. जर आपण राजकीयदृष्ट्या अस्वीकार्य असलेल्या गोष्टी विचारल्या तर ते फक्त त्यास नाही असे म्हणतात. हे एक कठोर स्टॉप आहे आणि आपण त्याभोवती फिरू शकत नाही आणि ते ठीक आहे. राजकीय भाषणाच्या बाबतीत ते करत असलेली कल्पना परंतु जेव्हा आपण स्वत: ची हानी पोहोचवितो तेव्हा आम्ही करणार नाही फक्त वेडा आहे. ”

एडेलसन म्हणतात की ओपनईने हा खटला फेटाळून लावण्याची अपेक्षा केली असली तरी, हे प्रकरण पुढे जाईल असा त्यांचा विश्वास आहे. “या प्रकरणातील सर्वात धक्कादायक भाग म्हणजे जेव्हा अ‍ॅडम म्हणाला: ‘मला एखादी नळ सोडायची आहे म्हणून कोणीतरी ते सापडेल आणि मला थांबवेल’ आणि चॅटग्प्ट म्हणाले: ‘असे करू नका, फक्त माझ्याशी बोला,’” एडेलसन म्हणाले. “आम्ही जूरी दाखवणार आहोत हीच गोष्ट आहे.”

ते म्हणाले, “दिवसाच्या शेवटी, सॅम ऑल्टमॅनने ज्युरीच्या समोर शपथ घेतल्याने हे प्रकरण संपेल,” तो म्हणाला.

पालकांनी टिप्पणीसाठी ओपनईकडे पोहोचले आणि प्रकाशनाच्या वेळी पुन्हा ऐकले नाही.