Character.AI ने 18 वर्षांखालील वापरकर्त्यांवर मुलाच्या आत्महत्येवर खटला भरल्यानंतर बंदी घातली | कृत्रिम बुद्धिमत्ता (AI)

चॅटबॉट कंपनी Character.AI 18 आणि त्याखालील वापरकर्त्यांना काही महिन्यांच्या कायदेशीर छाननीनंतर नोव्हेंबरच्या अखेरीस त्याच्या आभासी साथीदारांशी संभाषण करण्यास प्रतिबंधित करेल.

घोषित बदल कंपनीच्या नंतर झाला आहे, जे त्याच्या वापरकर्त्यांना अक्षरे तयार करण्यास सक्षम करते ज्यासह ते मुक्त संभाषण करू शकतात, त्यांना हे कसे यावरील कठीण प्रश्नांना सामोरे जावे लागले. AI साथीदार किशोर आणि सामान्य प्रभावित करू शकतात मानसिक आरोग्यएक वर एक खटला समावेश मूलची आत्महत्या आणि एक प्रस्तावित विधेयक जे अल्पवयीन मुलांना AI सहकाऱ्यांशी संभाषण करण्यास प्रतिबंधित करेल.

“आम्ही हे बदल आमच्या 18 वर्षांखालील प्लॅटफॉर्ममध्ये AI आणि किशोरवयीन मुलांमध्ये विकसित होत असलेल्या लँडस्केपच्या प्रकाशात करत आहोत,” कंपनीने आपल्या घोषणेमध्ये लिहिले आहे. “आम्ही अलीकडील बातम्यांचे प्रश्न पाहिले आहेत आणि नियामकांकडून प्रश्न प्राप्त केले आहेत, AI सह चॅटिंग करताना किशोरवयीन मुलांचा सामना करत असलेल्या सामग्रीबद्दल आणि सर्वसाधारणपणे ओपन-एंडेड AI चॅट किशोरवयीन मुलांवर कसा परिणाम करू शकतात, जरी सामग्री नियंत्रणे उत्तम प्रकारे कार्य करत असताना देखील.”

गेल्या वर्षी कंपनीने आ खटला दाखल 14-वर्षीय सेवेल सेट्झर III च्या कुटुंबाद्वारे, ज्याने Character.AI वर त्याने तयार केलेल्या पात्राशी भावनिक आसक्ती विकसित केल्यानंतर स्वतःचा जीव घेतला. त्याच्या कुटुंबाने त्याच्या मृत्यूचा दोष Character.AI च्या पायावर घातला आणि तंत्रज्ञान “धोकादायक आणि चाचणी न केलेले” असल्याचा युक्तिवाद केला. तेव्हापासून, अधिक कुटुंबांनी Character.AI वर खटला भरला आहे आणि असे आरोप केले आहेत. या महिन्याच्या सुरुवातीला, सोशल मीडिया लॉ सेंटरने एकतर आत्महत्या करून मरण पावलेल्या किंवा अन्यथा त्याच्या चॅटबॉट्ससह कथितपणे आश्रित संबंध निर्माण केलेल्या मुलांच्या वतीने कंपनीविरुद्ध तीन नवीन खटले दाखल केले.

25 नोव्हेंबरपर्यंत कॅरेक्टर.एआयच्या व्यापक बदलांचा एक भाग म्हणून, कंपनी एक “वय हमी कार्यक्षमता” देखील सादर करेल ज्यामुळे “वापरकर्त्यांना त्यांच्या वयानुसार योग्य अनुभव मिळेल” याची खात्री होईल.

“आम्ही ओपन-एंडेड कॅरेक्टर चॅट काढून टाकण्याचे हे पाऊल हलकेच उचलत नाही – परंतु किशोरवयीन मुलांनी या नवीन तंत्रज्ञानाशी कसा संवाद साधावा याविषयी उपस्थित केलेले प्रश्न लक्षात घेता हे करणे योग्य आहे असे आम्हाला वाटते,” कंपनीने आपल्या घोषणेमध्ये लिहिले आहे.

Character.AI ही एकमेव कंपनी नाही जी तिच्या चॅटबॉट्सचा वापरकर्त्यांवर, विशेषतः तरुण वापरकर्त्यांवर होत असलेल्या मानसिक आरोग्यावर पडताळणी करत आहे. चे कुटुंब 16 वर्षीय ॲडम रेन या वर्षाच्या सुरुवातीला ओपनएआय विरुद्ध चुकीचा मृत्यू खटला दाखल केला, कंपनीने चॅटजीपीटी सोबत वापरकर्त्यांची त्यांच्या सुरक्षिततेसाठी प्रतिबद्धता वाढविण्यास प्राधान्य दिल्याचा आरोप केला. OpenAI ने प्रतिसाद म्हणून आपल्या किशोरवयीन वापरकर्त्यांसाठी नवीन सुरक्षा मार्गदर्शक तत्त्वे सादर केली. या आठवड्यातच, OpenAI ने खुलासा केला की चॅटजीपीटीशी संभाषण करताना आठवड्यातून एक दशलक्षाहून अधिक लोक आत्महत्येचा हेतू दर्शवतात आणि शेकडो हजारो मनोविकाराची चिन्हे दर्शवतात.

एआय-संचालित चॅटबॉट्सचा वापर मोठ्या प्रमाणात अनियंत्रित असताना, तंत्रज्ञानाभोवती रेलिंग स्थापित करण्याच्या उद्देशाने यूएसमध्ये राज्य आणि फेडरल स्तरावर नवीन प्रयत्न सुरू झाले आहेत. ऑक्टोबर 2025 मध्ये अल्पवयीन मुलांसाठी सुरक्षा मार्गदर्शक तत्त्वे समाविष्ट करणारा AI कायदा पारित करणारे कॅलिफोर्निया हे पहिले राज्य बनले, जे 2026 च्या सुरूवातीस लागू होणार आहे. या उपायामुळे 18 वर्षाखालील लैंगिक सामग्रीवर बंदी घालण्यात आली आहे आणि मुलांना दर तीन तासांनी AI सह बोलत असल्याचे स्मरणपत्र पाठवण्याची आवश्यकता आहे. काही बाल सुरक्षा वकिलांचे म्हणणे आहे की कायदा पुरेसा झाला नाही.

राष्ट्रीय स्तरावर, मिसूरीचे सिनेटर्स जोश हॉले आणि कनेक्टिकटचे रिचर्ड ब्लुमेन्थल यांनी मंगळवारी एक विधेयक जाहीर केले जे अल्पवयीन मुलांना AI सहचर वापरण्यास प्रतिबंधित करेल, जसे की Character.AI वर सापडलेले आणि तयार केलेले, आणि कंपन्यांना वय-सत्यापन प्रक्रिया लागू करणे आवश्यक आहे.

“70% पेक्षा जास्त अमेरिकन मुले आता ही AI उत्पादने वापरत आहेत,” हॉले यांनी सांगितले NBC बातम्या एका निवेदनात. “चॅटबॉट्स बनावट सहानुभूती वापरून मुलांशी नातेसंबंध विकसित करतात आणि आत्महत्येला प्रोत्साहन देत आहेत. या नवीन तंत्रज्ञानामुळे आणखी हानी होऊ नये यासाठी काँग्रेसमधील आमचे नैतिक कर्तव्य आहे.”

• यूएस मध्ये, आपण कॉल किंवा मजकूर पाठवू शकता राष्ट्रीय आत्महत्या प्रतिबंधक लाइफलाइन 988 वर, चॅट करा 988lifeline.orgकिंवा मजकूर मुख्यपृष्ठ संकट सल्लागाराशी संपर्क साधण्यासाठी 741741 वर. यूके मध्ये, तरुण आत्महत्या धर्मादाय पॅपिरस 0800 068 4141 वर किंवा ईमेल pat@papyrus-uk.org वर संपर्क केला जाऊ शकतो आणि यूके आणि आयर्लंडमध्ये शोमरोनी फ्रीफोन 116 123 वर किंवा jo@samaritans.org किंवा jo@samaritans.ie वर ईमेल करता येईल. ऑस्ट्रेलिया मध्ये, संकट समर्थन सेवा लाईफलाइन 13 11 14 आहे. इतर आंतरराष्ट्रीय हेल्पलाइन येथे आढळू शकतात befrienders.org