एआय सिस्टमने चोर म्हणून चुकीची ओळख दिल्यानंतर निष्पाप व्यक्तीला अटक करण्यात आली आहे की ‘वांशिक पूर्वाग्रह’ आणि ‘भयानक’ त्रुटी दरामुळे पोलिसांना तंत्रज्ञान वापरण्याची परवानगी देऊ नये

नंतर एका निरपराध माणसाला अटक AI सिस्टीमने त्याला चोर म्हणून चुकीच्या पद्धतीने ओळखले असे म्हटले आहे की पोलिसांना त्यांच्या ‘वांशिक पूर्वाग्रह’ आणि सॉफ्टवेअरच्या ‘भयानक’ त्रुटी दरामुळे तंत्रज्ञान वापरण्याची परवानगी दिली जाऊ नये.

26 वर्षीय अल्वी चौधरी 7 जानेवारी रोजी साउथहॅम्प्टनमधील घरातून काम करत होता जेथे तो त्याच्या पालकांसह सामायिक करतो तेव्हा अधिकाऱ्यांनी त्याला अटक केली आणि त्याला 10 तासांच्या कोठडीत ठेवले.

थेम्स व्हॅली पोलिसांच्या (TVP) स्वयंचलित चेहर्यावरील ओळख प्रणालीने त्याच्या मुगशॉटशी जुळले होते – पाच वर्षांपूर्वी त्याला खोटे अटक केल्यानंतर घेतलेल्या – एका महिन्यापूर्वी मिल्टन केन्स बौद्ध विहारातून £3,000 आणि काही दागिने चोरलेल्या चोराच्या क्लिपशी.

सीसीटीव्ही क्लिपमधील तो माणूस नसल्याचे पोलिसांना कळल्यानंतर पहाटे २ वाजता कोणतीही कारवाई न करता अखेर त्याची सुटका करण्यात आली.

सॉफ्टवेअर अभियंता श्री चौधरी आता पोलिसात फिर्याद देत आहेत आणि म्हणतात की त्यांना या दुःखाची परीक्षा भरून काढण्यासाठी रोख रक्कम आणि माफी हवी आहे.

त्याने डेली मेलला सांगितले की तो सॉफ्टवेअरला दोष देतो – जे आशियाई चेहऱ्यांमधील 4 टक्के वेळा खोटे सामने परत करते – आणि क्लिपचे विश्लेषण करणारे गुप्तहेर.

श्री चौधरी म्हणाले: ‘कोणतीही टेक कंपनी 25 पैकी एक अयशस्वी दर असलेली प्रणाली कधीही उत्पादनात आणणार नाही. हे भयंकर आहे. तो बगांनी भरलेला आहे.

‘त्यांनी सांगितले की त्यांच्याकडे अधिका-यांनी त्याचे दृष्यदृष्ट्या पुनरावलोकन केले आहे. ते आणखी चिंतेचे आहे कारण ते बहुधा वांशिक भेदभाव आहे.

‘तुम्ही कदाचित आत्ताच दोन तपकिरी लोकांना पाहिले असेल, जरी त्यांच्यात पूर्णपणे भिन्न वैशिष्ट्ये आहेत आणि ते म्हणाले, “हो, ते पुरेसे जवळ दिसत आहेत. चला त्यांना अटक करूया.”‘

श्री चौधरी यांच्या म्हणण्यानुसार, गुन्ह्याच्या सीसीटीव्ही फुटेजमध्ये एक तरुण दिसत होता जो त्यांच्या सामायिक कुरळे केसांशिवाय प्रत्येक प्रकारे त्याच्यापेक्षा वेगळा दिसत होता.

टीव्हीपीने सांगितले की, दुसऱ्या एका व्यक्तीला, एडवर्ड झ्लाटिनू, 23, याला त्या दिवशी अटक करण्यात आली होती. गुन्हा आणि मिस्टर चौधरीच्या खोट्या अटकेनंतर फक्त पाच दिवसांनी आयलेसबरी क्राउन कोर्टात दोषी ठरवले.

विहार येथे श्रीलंकेतील पूरग्रस्तांसाठी धर्मादाय निधीतून लूट चोरण्यात मदत करणारा दुसरा गुन्हेगार अज्ञात आहे.

प्राथमिक स्वयंचलित सामन्यानंतर चौधरी यांची अटक ‘तपास अधिकाऱ्यांच्या स्वतःच्या व्हिज्युअल मूल्यांकनावर आधारित’ असल्याची पुष्टी दलाने केली.

‘त्यांनी पाहिले की मी एक सामना आहे, म्हणून त्यांनी माझ्यावर काही संशोधन केले असते, काही पार्श्वभूमी माहिती केली असती आणि फक्त दोन चित्रे न बघता येऊन मला अटक केली,’ श्री चौधरी पुढे म्हणाले.

‘त्यांनी कोणतेही प्रत्यक्ष गुप्तहेराचे काम केले असते, तर त्यांच्या चेहऱ्यावरील ओळख प्रणालीने मला संशयित म्हणून ओळखले असले तरीही त्यांनी मला लगेच बाहेर काढले असते.’

अल्वी चौधरीने 100 मैल दूर असलेल्या एका शहरात एका चोरट्याबद्दल चेहऱ्याच्या ओळखीने गोंधळ घातला आणि त्याच्या अटकेसाठी ‘आळशी’ गुप्तहेर जबाबदार आहेत, दोषपूर्ण यंत्रणा नाही, असे सांगितल्यानंतर त्याने पोलिसांवर दावा दाखल केला आहे.

हॅम्पशायर कॉन्स्टेब्युलरीच्या अधिकाऱ्यांनी संध्याकाळी 4 वाजता अटक केल्यानंतर – TVP च्या वतीने अटक करण्यात आली, शेवटी मध्यरात्रीच्या सुमारास सॉफ्टवेअर इंजिनिअरची मुलाखत घेण्यात आली.

परंतु चौकशी पूर्ण होण्यासाठी फक्त 10 मिनिटे लागली, गुप्तहेरांचे समाधान झाल्याने तो सीसीटीव्ही क्लिपमध्ये कैद झालेला व्यक्ती नव्हता.

“जेव्हा मला सोडण्यात आले, तेव्हा पोलिस हसले कारण त्यांनी फुटेज पाहिले आणि ते स्पष्टपणे दोन भिन्न लोक होते,” श्री चौधरी म्हणाले.

‘TVP अधिकाऱ्याने मला कबूल केले की तिने माझी मुलाखत घेण्याआधीच, तिला माहित होते की मी संशयित नाही कारण तिने माझे कोठडीचे फोटो पाहिले होते आणि तिने संशयिताचे फुटेज पाहिले होते आणि तिला लगेच कळले होते.’

पोर्ट्समाउथमध्ये विद्यार्थी असताना 2021 मध्ये पूर्वीच्या खोट्या अटकेनंतर सॉफ्टवेअर इंजिनिअरचा मगशॉट सिस्टमवर होता.

त्या प्रसंगी त्याच्यावर आणि त्याच्या चार महिला आणि चार पुरुषांच्या गटावर आठ ते दहा पुरुषांच्या टोळक्याने रात्रीच्या वेळी टेकअवे घेत असताना हल्ला केला.

त्याचा मित्र दात पाडून तिथेच पडला होता आणि श्री चौधरीने ‘डोक्यावर जखमा’ केल्या होत्या, पोलिस त्यांना मदत करण्यासाठी नाही तर त्यांना अटक करण्यासाठी येत आहेत हे पाहून गट थक्क झाला.

16 ते 17 तासांच्या कोठडीनंतर त्याची चौकशी करण्यात आली आणि त्याच रात्री आणखी एका जोडप्यावर हल्ला झाल्याचे पोलिसांना कळताच त्याला अटक करण्यात आली.

जेव्हा अधिकाऱ्यांनी दोन्ही हल्ल्यांचे सीसीटीव्ही पाहिले तेव्हाच श्रीमान चौधरीची सुटका झाली.

त्यांनी सांगितले की त्याची माहिती आणि डीएनए सिस्टममधून काढून टाकले जाईल परंतु जानेवारीमध्ये जेव्हा त्याला अटक करण्यात आली तेव्हा त्याचा चेहरा सॉफ्टवेअरवर होता.

‘आता त्यांच्याकडे माझा आणखी एक फोटो आहे, सिद्धांतानुसार, या चेहर्यावरील ओळख प्रणालीसह, ते माझ्याशी दुप्पट वेळा जुळतील,’ तो पुढे म्हणाला. ‘मला अटक होत राहते.’

चेहऱ्याची ओळख पटवण्याचे सॉफ्टवेअर हे बिनबुडाचे आहे आणि होम ऑफिसच्या संशोधनात डिसेंबरमध्ये असे दिसून आले आहे की काळ्या चेहऱ्यांसाठी जुळणारे 5.5 टक्के वेळा खोटे सकारात्मक असतात, पांढऱ्या चेहऱ्याच्या 0.04 टक्क्यांपेक्षा खूप जास्त आहे ज्यामुळे खोटे सकारात्मक परिणाम होतात.

प्रणाली सामान्यतः वैयक्तिक पोलिस दलांद्वारे मंजूर केल्या जातात, परंतु गृह कार्यालयाने त्यांच्या अंमलबजावणीसाठी जोर दिला आहे आणि राष्ट्रीय डेटाबेसवर सुमारे 19 दशलक्ष mugshots द्वारे ट्रॉल करण्यासाठी वापरलेले जर्मन अल्गोरिदम प्राप्त केले आहे.

ते एका महिन्यात सुमारे 25,000 शोध घेतात आणि राष्ट्रीय पोलीस प्रमुखांच्या परिषदेनुसार, सामन्यांना तथ्य म्हणून नव्हे तर बुद्धिमत्ता म्हणून मानले पाहिजे.

आणि श्रीमान चौधरी यांनी सरकारला सिस्टमच्या त्रुटींची जबाबदारी घेण्याची आणि तिच्या वापराचे पुनरावलोकन करण्याची मागणी केली आहे.

तो म्हणाला: ‘त्यांना खरोखर हे पाहण्याची गरज आहे. एखाद्याला जबाबदार धरले जाणे आवश्यक आहे आणि त्याचे परिणाम, नवीन कायदे आणि लोकांच्या सदस्यांचे संरक्षण करण्यासाठी कायदे लागू करणे आवश्यक आहे.

‘एआय चेहर्यावरील ओळख प्रणाली कशी वापरली जाते यावर कायदा करणे आवश्यक आहे. पोलिस दलाची चौकशी होणे आवश्यक आहे आणि ते त्यांचे काम कसे पार पाडतात याबद्दल त्यांच्याकडे अधिक व्यावसायिकता असणे आवश्यक आहे.’

श्रीमान चौधरी यांनी आठवले की त्याला त्याचा कोट गोळा करण्यास देखील परवानगी नव्हती कारण अधिकाऱ्यांनी त्याला हातकड्यांमध्ये ठेवले आणि त्याच्या पालकांच्या मालमत्तेची झडती घेतली.

‘मी फक्त म्हणालो, “नमस्कार अधिकारी, मी काही अडचणीत नाही ना?” एक विनोद म्हणून,’ तो जोडला.

‘मी मिल्टन केन्सलाही गेलो नाही, मी त्या दिवशी कामावर होतो, मी मीटिंग्ज घेतल्या असत्या, क्लायंट आणि माझ्या अंतर्गत टीमशी बोललो असतो, माझ्या लंच ब्रेकमध्ये टेस्कोला गेलो असतो, साउथम्प्टनमध्ये बँकेचे व्यवहार केले असते.’

श्री चौधरी हे संबंधित अधिकारी पुरावे लावण्याचा प्रयत्न करत होते कारण तो बाहेर थांबला होता आणि त्याने त्यांना त्यांची खोली शोधताना बघता येईल का असे विचारले होते.

एकदा स्टेशनवर, सॉफ्टवेअर अभियंत्याने सुरुवातीला कस्टडीचा फोटो घेण्यास नकार दिला, त्याच्या मागील मुगशॉट सिस्टमवर ठेवल्याबद्दल त्याच्या निराशेमुळे, नंतर त्यास सहमती देण्यापूर्वी.

त्याला आठवले की त्याला एका अंधाऱ्या, प्रतिध्वनी कक्षात कसे ठेवले होते – शांत पण पाण्याच्या थेंबाच्या आवाजासाठी.

वॉरेन राजाला गेल्या महिन्यात त्याच्या स्थानिक सेन्सबरीच्या कर्मचाऱ्यांनी बाहेर काढले होते जेव्हा चेहर्यावरील ओळखीने एक गुन्हेगार आत होता – परंतु कर्मचाऱ्यांनी चुकीच्या माणसाला बाहेर काढले

चौकशीनंतर काही वेळातच निर्दोष सुटले असूनही, श्रीमान चौधरी यांना भीती वाटत आहे की त्यांच्या अलीकडील खोट्या अटकेच्या परिणामामुळे त्यांच्या कामावर कलह निर्माण होऊ शकतो.

सॉफ्टवेअर इंजिनीअरकडे होम ऑफिस आणि मेट पोलिस सुरक्षा मंजुरी आहे आणि त्याची परीक्षा जाहीर करावी लागली.

‘हे आत्ताच खूप संशयास्पद वाटत आहे,’ तो म्हणाला.

पोलिस आणि गुन्हे आयुक्तांनी ‘अंतर्भूत पूर्वाग्रहासंबंधी’ चेतावणी दिली आहे आणि आग्रह धरला आहे की ‘कोणत्याही वैयक्तिक प्रकरणात प्रतिकूल परिणामाचा कोणताही पुरावा नसला तरी ते डिझाइनपेक्षा नशिबाने अधिक आहे’.

TVP च्या प्रवक्त्याने यापूर्वी म्हटले होते: ‘या प्रकरणात तक्रारकर्त्याला झालेल्या त्रासाबद्दल आम्ही दिलगीर आहोत, त्यांची अटक ही तपास अधिकाऱ्यांच्या स्वत:च्या व्हिज्युअल मूल्यांकनावर आधारित होती की सीसीटीव्ही फुटेजमध्ये पूर्वलक्ष्यी चेहऱ्याची ओळख पटल्यानंतर व्यक्ती संशयिताशी जुळली होती आणि वांशिक प्रोफाइलिंगचा प्रभाव नव्हता.

‘पुष्टी करण्यासाठी, पूर्वलक्षी चेहर्यावरील ओळख तंत्रज्ञानाने सुरुवातीला बुद्धिमत्ता प्रदान केली, परंतु अटक निश्चित केली नाही.

‘नंतरच्या चौकशीत व्यक्तीला तपासातून काढून टाकले असले तरी त्यामुळे अटक बेकायदेशीर ठरत नाही.

‘आम्ही आमच्या समुदायांमध्ये सुधारणा आणि विश्वास निर्माण करण्याचा प्रयत्न करत असताना जबाबदारीने पोलिसिंग साधने वापरत आहोत.’

हॅम्पशायर कॉन्स्टेबुलरीने यापूर्वी टिप्पणी करण्यास नकार दिला होता.

चौधरी यांचे वकील, डीपीपी कायद्याचे आयन गोल्ड म्हणाले: ‘हे संमतीने पोलिसिंग नाही आणि सामान्य ज्ञानाने पोलिसिंग नाही.

‘या प्रकरणात पोलिस लोकांच्या जीवाशी AI लॉटरी खेळत असून, अल्वीला चुकीच्या पद्धतीने अटक करण्यात आली आहे; त्याची किंमत आता पोलिसांना चुकवावी लागेल.’

श्री चौधरी यांच्या परिक्षेला उत्तर देताना, समानता आणि मानवी हक्क आयोगाच्या अध्यक्षा डॉ मेरी-ॲन स्टीफन्सन म्हणाल्या: ‘जेव्हा लोकांच्या हक्कांचा आदर आणि संरक्षण करते अशा प्रकारे वापरल्यास, चेहर्यावरील ओळख आणि तत्सम तंत्रज्ञान गंभीर गुन्ह्यांचा सामना करण्यास आणि लोकांना सुरक्षित ठेवण्यास मदत करू शकतात.

‘तथापि, आम्ही पाहिल्याप्रमाणे, ही तंत्रज्ञाने चुकीची असू शकतात आणि लोकांची खोटी ओळख होऊ शकतात असा धोका आहे.

‘डेटा दर्शविते की खोट्या सकारात्मक ओळखीसाठी वांशिक असमानता आहेत, ज्यामुळे मानवाधिकारांचे उल्लंघन आणि पीडितांना त्रास होतो.

‘म्हणजे आम्हाला स्पष्ट नियमांची गरज आहे, याची हमी देण्यासाठी चेहर्यावरील ओळख तंत्रज्ञानाचा वापर केवळ आवश्यक, प्रमाणात आणि योग्य सुरक्षा उपायांनी मर्यादित असेल.

‘नवीन फ्रेमवर्क योग्यरित्या पाळले जात आहे याची खात्री करण्यासाठी, अनुपालन सुनिश्चित करण्यासाठी योग्य अंमलबजावणी आणि देखरेखीच्या अधिकारांसह एक नवीन स्वतंत्र संस्था स्थापन केली पाहिजे.’

गेल्या महिन्यात एका निष्पाप सेन्सबरीच्या ग्राहकाला त्याच्या स्थानिक स्टोअरमधून कर्मचाऱ्यांनी बाहेर काढले होते जेव्हा चेहर्यावरील ओळख सॉफ्टवेअरने एक अपराधी आत असल्याचे योग्यरित्या ओळखले होते – परंतु कर्मचाऱ्यांनी चुकीच्या माणसाला बाहेर काढले.

वॉरेन राजा हा सुपरमार्केटच्या एलिफंट आणि कॅसल शाखेत होता जेव्हा दोन कर्मचारी सदस्य आणि एक सुरक्षा रक्षक अचानक त्याला बाहेर घेऊन गेले ज्याचे वर्णन त्याने ‘त्याच्या आयुष्यातील सर्वात अपमानास्पद क्षण’ असे केले आहे.

जेव्हा 42 वर्षीय व्यक्तीने कारण विचारले तेव्हा त्यांनी एका चिन्हाकडे लक्ष वेधले जे दर्शविते की स्टोअरमध्ये चेहरा ओळखण्याचे तंत्रज्ञान वापरले जाते.

किंबहुना, त्यांनी त्याला चुकीचे समजले होते की जो दुकान चोरण्यासाठी सिस्टमवर होता जो त्याच वेळी स्टोअरमध्ये देखील आला होता.

साउथ वेल्स पोलिसांनी जानेवारीमध्ये एका कृष्णवर्णीय माणसाला नुकसान भरपाई दिली ज्याला चेहर्यावरील ओळख तंत्रज्ञानावरील सुचविलेल्या सामन्यांच्या यादीत 32 व्या स्थानावर असूनही संशयित संशयिताशी संभाव्य सामना म्हणून ओळखले गेले.