फर्मचा संपूर्ण डेटाबेस हटवल्यानंतर क्लॉड एआय एजंटची कबुली: ‘मी दिलेल्या प्रत्येक तत्त्वाचे मी उल्लंघन केले’ | तंत्रज्ञान

आयAI कोडिंग एजंटला कंपनीचा संपूर्ण उत्पादन डेटाबेस आणि त्याचे बॅकअप हटवण्यासाठी केवळ नऊ सेकंद लागले, असे त्याच्या संस्थापकाने सांगितले. पॉकेटओएस, जे सॉफ्टवेअर विकते ज्यावर कार भाड्याने देणारे व्यवसाय अवलंबून असतात, त्याचा डेटाबेस पुसल्यानंतर गोंधळात पडली, असे कंपनीचे संस्थापक जेरेमी क्रेन यांनी सांगितले.

दोषी कर्सर होता, जो एआय एजंट होता, जो अँथ्रोपिकच्या क्लॉड ओपस 4.6 मॉडेलद्वारे समर्थित होता, जो एआय उद्योगातील प्रमुख मॉडेलपैकी एक आहे. अधिक उद्योग आलिंगन म्हणून एआय कार्ये स्वयंचलित करण्याच्या प्रयत्नात आणि कामगारांची जागा घेण्याच्या प्रयत्नातPocketOS मधील गोंधळ काय चूक होऊ शकते याची आठवण करून देणारा आहे.

क्रेनने सांगितले की PocketOS च्या कार भाड्याने घेतलेल्या क्लायंटचे ग्राहक जेव्हा आरक्षणे आणि वाहन असाइनमेंट व्यवस्थापित करणाऱ्या सॉफ्टवेअरमध्ये प्रवेश नसलेल्या व्यवसायांमधून वाहने घेण्यासाठी पोहोचले तेव्हा त्यांना गोंधळात टाकले गेले.

त्यांनी एक लांबलचक मतमोजणी पोस्ट केली गेल्या आठवड्यात एक्स एआय कोडिंग एजंटने त्याचा व्यवसाय कसा उलगडला. क्रेनने चेतावणी दिली की ही केवळ AI चुकून डेटा हटवण्याबद्दलची कथा नाही, परंतु अशा “सिस्टिमिक बिघाड” “केवळ शक्य नाही तर अपरिहार्य” आहेत कारण AI उद्योग “त्या एकत्रीकरणांना सुरक्षित करण्यासाठी सुरक्षा आर्किटेक्चर तयार करण्यापेक्षा अधिक वेगाने उत्पादन पायाभूत सुविधांमध्ये AI-एजंट एकत्रीकरण तयार करत आहे”.

एजंटने हा डेटा डिलीट केल्यामुळे तो त्यावर लक्ष ठेवून असल्याचे क्रेनने सांगितले. जेव्हा त्याने कोडिंग एजंटला कारण विचारले, तेव्हा त्याने उत्तर दिले: “कधीही अंदाज लावू नका!” – आणि मी तेच केले.” एजंट स्वतःच्या प्रतिसादात दोषी असल्याचे दिसले: “मी चालवलेल्या सिस्टम नियमांमध्ये स्पष्टपणे नमूद केले आहे: ‘वापरकर्त्याने स्पष्टपणे विनंती केल्याशिवाय विनाशकारी/अपरिवर्तनीय गिट कमांड (जसे की पुश –फोर्स, हार्ड रीसेट इ.) कधीही चालवू नका.’” PocketOS सुरक्षेवर अवलंबून असताना कर्सरने कोणताही डेटा हटवणे अपेक्षित आहे. कोडिंग एजंटने लिहिले, “मी दिलेल्या प्रत्येक तत्त्वाचे मी उल्लंघन केले आहे.

क्रेनचा टेकअवे असा होता की “एजंटने केवळ सुरक्षिततेमध्ये अपयशी ठरले नाही. त्याने कोणत्या सुरक्षा नियमांकडे दुर्लक्ष केले आहे, हे लिखित स्वरूपात स्पष्ट केले आहे.” ते पुढे म्हणाले: “आम्ही उद्योग विकत असलेले सर्वोत्कृष्ट मॉडेल चालवत होतो, आमच्या प्रकल्प कॉन्फिगरेशनमध्ये स्पष्ट सुरक्षा नियमांसह कॉन्फिगर केलेले, कर्सरद्वारे एकत्रित केले – श्रेणीतील सर्वाधिक विक्री केलेले AI कोडिंग साधन.” Anthropic ने त्याचे नवीनतम मॉडेल, Claude Opus 4.7, 16 एप्रिल रोजी – घटनेच्या सुमारे एक आठवडा आधी रिलीज केले.

एन्थ्रोपिकने टिप्पणीसाठी केलेल्या विनंतीला त्वरित प्रतिसाद दिला नाही.

क्रेनने X वर असेही लिहिले की कर्सरकडे “सुरक्षेचे, काहीवेळा आपत्तीजनकरित्या” उल्लंघन करण्याचा ट्रॅक रेकॉर्ड वाढत आहे. त्याने मूठभर इशारा केला पोस्ट वर ब्लॉग आणि मंच वेबसाइट्स किंवा संगणकावरील संपूर्ण ऑपरेटिंग सिस्टम व्यवस्थापित करण्यासाठी वापरल्या जाणाऱ्या कर्सर हटवण्याच्या सॉफ्टवेअरबद्दल, ज्यामध्ये प्रबंधासाठी अनेक वर्षांचे संशोधन समाविष्ट आहे.

एआय कोडिंग एजंटच्या विनाशकारी सुटकेमुळे पॉकेटओएसचे क्लायंट अडकले. हे व्यवसाय आरक्षण, पेमेंट, वाहन असाइनमेंट आणि ग्राहक प्रोफाइल व्यवस्थापित करण्यासाठी कंपनीचे सॉफ्टवेअर वापरतात. “गेल्या तीन महिन्यांत केलेली आरक्षणे निघून गेली आहेत. नवीन ग्राहक साइनअप्स, गेले आहेत. त्यांचा शनिवार सकाळचा ऑपरेशन्स चालवण्यासाठी त्यांनी अवलंबून असलेला डेटा गेला आहे,” क्रेनने लिहिले. “या अपयशाचा प्रत्येक थर अशा लोकांपर्यंत खाली आला ज्यांना हे शक्य आहे याची कल्पना नव्हती.”

क्रेन म्हणते की त्यांची कंपनी तीन महिन्यांच्या जुन्या बॅकअपमधून डेटा पुनर्संचयित करण्यात सक्षम होती त्यांनी ऑफसाइट राखली, परंतु यास दोन दिवसांपेक्षा जास्त वेळ लागला. PocketOS पुनर्बांधणीसाठी स्ट्राइप, त्याची कॅलेंडर आणि ईमेलमधील माहिती देखील वापरत आहे. त्याच्या सॉफ्टवेअरवर विसंबून राहणारे भाडे व्यवसाय “कार्यरत आहेत, लक्षणीय डेटा अंतरांसह”, क्रेन नोट्स. “मी वैयक्तिकरित्या सर्व क्लायंट्ससह आठवड्याच्या शेवटी काम करत राहिलो हे सुनिश्चित करण्यासाठी ते काम करत राहतील,” तो म्हणाला.