मी स्वीडनमधील न्यायालयात अल्गोरिदम घेतला. अल्गोरिदम जिंकला | शार्लोटा क्रोनब्लॅड

पअन्याय स्वतःला मोठ्याने घोषित करतो अशी कल्पना करायला आवडते. सार्वजनिक व्यवस्थेत काही चूक झाली की, अलार्म वाजतो आणि कोणीतरी जबाबदारी घेतो किंवा तसे न केल्यास त्याला जबाबदार धरले जाते. परंतु 2020 मध्ये गोटेन्बर्गमध्ये, कार्यक्षमतेच्या वेशात अन्याय शांतपणे आला.

प्रथमच, शहराने आपल्या शाळांमध्ये जागा वाटप करण्यासाठी अल्गोरिदम वापरला. तथापि, भौगोलिक पाणलोट क्षेत्र आणि प्रवेश निश्चित करणे ही कोणत्याही नगरपालिकेसाठी प्रशासकीय डोकेदुखी असते. अंतर, प्राधान्ये आणि क्षमता ऑप्टिमाइझ करण्यासाठी मशीनपेक्षा चांगले काय आहे? प्रणाली सार्वजनिक कार्यक्षमतेसाठी डिझाइन केली गेली: तटस्थ, सुव्यवस्थित आणि उद्दीष्ट म्हणून तयार केली गेली.

पण काहीतरी भयंकर चूक झाली. शेकडो मुलांना त्यांच्या घरापासून मैलांच्या अंतरावर शाळांमध्ये जागा वाटप करण्यात आली होती – नद्या आणि फ्योर्ड्स ओलांडून, प्रमुख महामार्गांवर, त्यांनी कधीही भेट दिली नव्हती आणि त्यांच्याशी कोणताही संबंध नव्हता. पालक अविश्वासाने निर्णयाकडे पाहत होते. 13 वर्षांचा मुलगा हिवाळ्यात त्या मार्गाने वाजवीपणे चालू शकतो का हे कोणी तपासले होते का? या निर्णयांना कोणत्या तर्काने मार्गदर्शन केले? त्यांच्या नमूद केलेल्या प्राधान्यांकडे दुर्लक्ष केले गेले का? शाळा प्रशासनातील कोणीही काय घडले ते समजावून सांगण्यास किंवा त्रुटी दूर करण्यास सक्षम – किंवा इच्छुक – दिसत नाही.

तंत्रज्ञानातील संशोधक आणि माजी वकील म्हणून मी हे उलगडताना पाहिलं, पण एक आई म्हणूनही. माझा 12 वर्षांचा मुलगा अल्गोरिदमने प्रभावित झालेल्या मुलांमध्ये होता. शाळा प्रशासनाकडून प्रतिसाद न मिळाल्याने आमची निराशा वाढली. शांतपणे, त्यांनी आम्हाला सांगितले की आम्हाला आमच्या प्लेसमेंटमध्ये समस्या असल्यास आम्ही अपील करू शकतो – जणू काही ती चवीची बाब आहे. जणू काही ही समस्या प्रणालीगत बिघडण्याऐवजी वैयक्तिक असंतोषामुळे होती. शहरभर स्वयंपाकघरातील टेबलांभोवती, तोच गोंधळ आणि संताप पसरला. काहीतरी बंद होते आणि समस्येची तीव्रता अधिकाधिक स्पष्ट होत होती.

ते जवळपास एक वर्ष आधी होते शहर लेखापरीक्षकांनी पुष्टी केली आपल्यापैकी अनेकांना काय शंका होती; अल्गोरिदमला सदोष सूचना देण्यात आल्या होत्या. त्यात “कावळा उडतो तसे” अंतर मोजले होते, वास्तविक चालण्याच्या मार्गांचे अंतर नाही. गोटेन्बर्ग येथे एक प्रमुख नदी आहे. कारण मुलांना तासभर प्रवास करावा लागत होता हे लक्षात घेण्यात आलेले अपयश. चालत किंवा सायकल चालवून विरुद्ध नदीकाठावर पोहोचणे (कायद्यानुसार शाळेत जाण्याचा योग्य मार्ग आहे) हे अनेकांना शक्य नव्हते.

नंतर एक कुटुंबांकडून आक्रोश त्यानंतरच्या शैक्षणिक वर्षासाठी कार्यपद्धती सुधारण्यात आली. परंतु चुकीच्या अल्गोरिदममुळे प्रभावित झालेल्या अंदाजे 700 मुलांसाठी काहीही बदलले नाही. ते त्यांचे संपूर्ण कनिष्ठ उच्च वर्ष “चुकीच्या” शाळांमध्ये घालवतील.

अधिकृत ओळ अशी होती की वैयक्तिक अपील पुरेसे होते. पण हा मुद्दा चुकतो. अल्गोरिदम केवळ वेगळे निर्णय घेत नाहीत; ते निर्णय प्रणाली तयार करतात. जेव्हा 100 मुलांना विरुद्ध नदीकाठच्या शाळेत चुकीच्या पद्धतीने ठेवले जाते, तेव्हा ते इतरांसाठी ठरवलेल्या जागा घेतात. त्या मुलांना परिणामी वेगवेगळ्या शाळांमध्ये ढकलले जाते आणि इतरांना विस्थापित केले जाते. डोमिनोज प्रमाणे, त्रुटी कॅस्केड. पाचव्या किंवा सहाव्या विस्थापनापर्यंत, अन्याय शोधणे जवळजवळ अशक्य होते, लढणे आणि न्यायालयात सिद्ध करणे सोडा.

परिणामी अल्गोरिदमिक अन्याय ही एक अमूर्त समस्या नाही किंवा स्वीडिश संदर्भासाठी विशिष्ट समस्या नाही, ती संपूर्ण युरोपमधील अलीकडील घोटाळ्यांना वेदनादायकपणे प्रतिध्वनित करते. एक आहे यूके मध्ये पोस्ट ऑफिस घोटाळाजेथे Horizon IT प्रणालीने शेकडो पोस्ट ऑफिस ऑपरेटर्सवर चोरीचा खोटा आरोप लावला, ज्यामुळे खटले, दिवाळखोरी आणि अगदी तुरुंगवासही झाला. वर्षानुवर्षे, सिस्टम आउटपुट जवळ-अचूक मानले गेले. मानवी साक्ष मशीनच्या अधिकाराकडे वाकलेली होती. दुसरे उदाहरण म्हणजे नेदरलँड्समध्ये चाइल्डकेअर बेनिफिट घोटाळा, जेथे डच कर प्राधिकरणाने तैनात केलेल्या प्रणालीने हजारो पालकांना फसवणूक करणारे म्हणून चुकीच्या पद्धतीने ध्वजांकित केले. कुटुंबे कर्जाच्या खाईत बुडाली. अनेकांची घरे गेली. मुलांना पालनपोषणात घेण्यात आले. या दोन्ही प्रकरणांमध्ये, तांत्रिक गुंतागुंत आणि संस्थात्मक बचावात्मकतेच्या पडद्याआड स्वयंचलित यंत्रणा कार्यरत असल्याने अल्गोरिदमिक खराबी अनेक वर्षे चालू राहिली. चुका वाढल्या. हानी खोलवर गेली. जबाबदारी मागे पडली.

2020 मध्ये गोटेन्बर्गमध्ये परत आल्यावर मला हे स्पष्ट झाले की माझ्या मुलाच्या नियुक्तीविरूद्ध फक्त अपील करणे पुरेसे नाही. तुम्ही वैयक्तिक निवारणाद्वारे प्रणालीगत त्रुटी दूर करू शकत नाही. म्हणून, एका संशोधन प्रकल्पाचा भाग म्हणून, अल्गोरिदमला न्यायालयात नेले जाते तेव्हा काय होते हे पाहण्यासाठी मी शहरावर खटला भरला. अशाप्रकारे, मी माझ्या मुलाच्या वैयक्तिक नियुक्तीसाठी स्पर्धा केली नाही तर संपूर्ण निर्णय प्रणालीची कायदेशीरता आणि त्याचे सर्व उत्पादन. मी असा युक्तिवाद केला की अल्गोरिदमच्या डिझाइनने लागू कायद्याचे उल्लंघन केले आहे.

प्रणालीमध्ये प्रवेश नसल्यामुळे, अल्गोरिदम उघड करण्याच्या माझ्या वारंवार केलेल्या विनंत्या अनुत्तरित झाल्यामुळे, मी न्यायालयात अल्गोरिदम सादर करू शकलो नाही. त्याऐवजी मी प्रणाली कशी कार्यान्वित केली असेल याची पुनर्रचना करण्यासाठी पत्ते आणि शाळेच्या निवडी वापरून शेकडो प्लेसमेंटचे परिश्रमपूर्वक विश्लेषण केले आणि त्याऐवजी पुरावा म्हणून ते दिले.

शहराचा बचाव अत्यंत सोपा होता. त्यांनी दावा केला की निर्णय घेण्याची प्रणाली केवळ “समर्थन साधन” म्हणून कार्य करते. त्यांच्या मते, त्यांनी काहीही चुकीचे केले नाही आणि दाव्याचे समर्थन करण्यासाठी कोणतेही पुरावे दिले नाहीत: कोणतेही तांत्रिक दस्तऐवजीकरण, कोणतेही कोड, त्यांच्या प्रक्रियेचे कोणतेही स्पष्टीकरण नाही.

आणि, माझ्या आश्चर्यासाठी, त्यांना तसे करावे लागले नाही. कोर्टाने पुराव्याचा भार माझ्यावर टाकला. ही व्यवस्था बेकायदेशीर असल्याचे दाखवून देण्याची जबाबदारी माझी होती, असे न्यायाधीशांनी सांगितले. निर्णयांचे विश्लेषण पुरेसे नव्हते. कोडच्या थेट पुराव्याशिवाय, मी पुरावा थ्रेशोल्ड पूर्ण करू शकत नाही. खटला फेटाळण्यात आला. दुसऱ्या शब्दांत: ब्लॅक बॉक्समध्ये काय आहे ते सिद्ध करा किंवा गमावा.

हे, सुरुवातीच्या प्रशासकीय अपयशापेक्षा, मला रात्री जागृत ठेवते. आम्हाला माहित आहे की अल्गोरिदम कधीकधी अयशस्वी होतील. त्यामुळेच आमच्याकडे न्यायालये आहेत – उघड करणे भाग पाडणे, छाननी करणे आणि दुरुस्त करणे. परंतु जेव्हा प्रक्रियात्मक फ्रेमवर्क हट्टीपणे ॲनालॉग राहतात आणि जेव्हा न्यायाधीशांकडे साधने, क्षमता आणि अल्गोरिदमिक सिस्टमची चौकशी करण्याचे आदेश नसतात तेव्हा अन्याय होईल. आमचे सार्वजनिक अधिकारी मोठ्या प्रमाणावर अपारदर्शक प्रणाली तैनात करत असताना, जीवन बदलणाऱ्या परिणामांचा सामना करणाऱ्या नागरिकांना अंतर्निहित कोडमध्ये प्रवेश न करता – एक एक करून – आवाहन करण्यास सांगितले जाते.

पोस्ट ऑफिस आणि डच चाइल्ड बेनिफिट स्कँडलमधील धडे मला गोटेन्बर्गमध्ये सापडलेल्या गोष्टींचा प्रतिध्वनी करतात. जेव्हा न्यायालये तंत्रज्ञानाची चौकशी करण्याऐवजी ते पुढे ढकलतात आणि जेव्हा पुराव्याचा भार सिस्टमची रचना आणि तैनात केलेल्यांपेक्षा नुकसान झालेल्यांवर अवलंबून असतो, तेव्हा अल्गोरिदमिक अन्याय केवळ दिसून येणार नाही, परंतु वर्षानुवर्षे चालू राहू शकतो. जरी तंत्रज्ञान स्वतः तुलनेने सोपे आहे, गोटेनबर्ग प्रमाणेच – जिथे वास्तविक चालण्याच्या मार्गांऐवजी बर्ड्स-आय अंतर वापरण्यात त्रुटी आढळली, तरीही नागरिकांना ब्लॅक बॉक्सचा सामना करावा लागला ज्याचा सामना करण्यासाठी ते उघडावे लागले. या प्रकरणात: काचेच्या बॉक्समध्ये झाकलेले अनेक स्तर काळ्या रॅपिंग पेपरचा.

अशी मागणी आमच्या न्यायालयांकडे करण्याची वेळ आली आहे अल्गोरिदमिक निर्णय घेण्याचे ब्लॅक बॉक्स उघडा. आम्हाला पुराव्याचे ओझे त्या पक्षाकडे हलवण्याची गरज आहे ज्यांना अल्गोरिदममध्ये प्रवेश आहे आणि प्रभावी पद्धतशीर निवारणासाठी प्रक्रियात्मक नियम तयार केले पाहिजेत. जोपर्यंत आम्ही आमच्या कायदेशीर प्रक्रियेला डिजिटल सोसायटीच्या वास्तविकतेशी जुळवून घेत नाही तोपर्यंत आम्ही घोटाळ्यापासून घोटाळ्याकडे अडखळत राहू. जेव्हा संहितेद्वारे जवळपास शांततेत अन्याय वितरित केला जातो, तेव्हा जबाबदारीने संपूर्ण आवाजात उत्तर दिले पाहिजे.