अडचणीत नॉन-क्रॉलच्या निर्देशांना बायपास करण्यासाठी छुप्या आणि अघोषित क्रॉलर्सचा वापर केल्याचा आरोप आहे, असे क्लाउडफ्लेअरच्या तपासणीनुसार ग्राहकांनी तक्रार केल्यावर अजूनही त्यांच्या सामग्रीवर प्रवेश करत असल्याची तक्रार केली गेली. क्लाउडफ्लेअर म्हणतात की पेर्लेक्सिटीने त्याचा वापरकर्ता एजंट सुधारित केला आहे आणि स्त्रोत स्वायत्त स्त्रोत नेटवर्क (एएसएन) बदलतात आणि त्यांचा क्रियाकलाप लपविण्यासाठी. क्लाउडफ्लेअर म्हणतात की पेर्लेक्सिटीचे क्रॉलर रोबोट्स आणण्यात अपयशी ठरले आहेत. फाईल्स फाइल्स म्हणून त्या फायलींच्या नियमांचा आदर करू नका.
या वाईट पद्धतींमुळे, क्लाउडफ्लेअर निर्णय घेतला आहे एक सत्यापित बॉट म्हणून लिस्ट लिस्टीजिंगसाठी जे वेबसाइट्ससह त्याच्या परस्परसंवादावर परिणाम करेल, विशेषत: संरक्षणासाठी क्लाउडफ्लेअर सेवा वापरणारे.
डीफॉल्टनुसार, पेर्लेक्सिटीने घोषित केलेल्या पेरक्सिटीबॉट यूजर एजंटचा वापर करून स्वत: चे वर्तन केले आहे, तथापि, जेव्हा एखादी वेबसाइट त्यास अवरोधित करते तेव्हा ते जेनेरिक ब्राउझर एजंट (Chrome/124.0.0.0 सफारी/537.36) वर स्विच होते. स्टील्थ क्रॉलर पेरक्सिटीच्या अधिकृत श्रेणीमध्ये सूचीबद्ध नसलेल्या एकाधिक आयपीएसचा वापर करते आणि वेगवेगळ्या एएसएनद्वारे फिरते. हे वर्तन एकतर वेगळे केले गेले नाही, क्लाउडफ्लेअरने दररोज कोट्यावधी विनंत्यांचा समावेश असलेल्या हजारो डोमेनमध्ये हे घडत असल्याचे पाहिले आहे.
ओपनई सारख्या कंपन्या, जे वेबवर रेंगाळतात, त्यांच्या क्रॉलर्सची स्पष्टपणे रूपरेषा आणि रोबोट्स.टीएक्सटी निर्देश आणि नेटवर्क ब्लॉक्सचा आदर करतात. क्लाउडफ्लेअरने चॅटजीपीटीच्या क्रॉलर्सची चाचणी केली आणि असे आढळले की जेव्हा एखादा नाकारण्याचे निर्देश उपस्थित होते किंवा काळा पृष्ठ सादर केले गेले तेव्हा ते रेंगाळत थांबले.
या समस्येचे निराकरण करण्यासाठी, क्लाउडफ्लेअरने स्टील्थ क्रॉलिंगला रोखण्यासाठी त्याच्या व्यवस्थापित नियमांमध्ये हेरिस्टिक्स जोडले आहे. क्लाउडफ्लेअर ग्राहक ज्यांचे बॉट मॅनेजमेंट किंवा आव्हान नियम आहेत ते आधीच या ह्युरिस्टिक उपायांसह संरक्षित आहेत, हे सर्व ग्राहकांसाठी उपलब्ध आहे, अगदी क्लाउडफ्लेअरच्या सेवा विनामूल्य वापरणार्या.
ह्युरिस्टिक अवरोधित केल्यामुळे, क्लाउडफ्लेअर विशिष्ट क्रॉलरला ब्लॉक करण्यासाठी हार्डकोड करत नाही, त्याऐवजी ते काही विशिष्ट वर्तन आणि ब्लॉक्स क्रॉलर शोधतात जे त्यांचे उल्लंघन करीत असल्याचा संशय आहे. गोंधळाची युक्ती समायोजित करीत असताना, या ह्युरिस्टिक ब्लॉकर्सने या वर्तनाशी लढा देणे सुरू ठेवण्यास सक्षम असावे.
क्लाउडफ्लेअर असेही म्हटले आहे की हे रोबोट्स.टीएक्सटीच्या विस्ताराचे प्रमाणित करण्यासाठी आयईटीएफच्या प्रयत्नांप्रमाणे जगभरातील तांत्रिक आणि धोरण तज्ञांसह सक्रियपणे कार्य करीत आहे. हे मोजण्यायोग्य तत्त्वे स्थापित करण्यास मदत करेल की चांगल्या प्रकारे बॉट ऑपरेटरने पाळले पाहिजे.
