ओबामा को सफेद करने वाला मशीन लर्निंग टूल हमें AI पूर्वाग्रह के बारे में बता सकता है (और नहीं कर सकता)
एक आकर्षक छवि जो केवल एक बहुत बड़ी समस्या की ओर इशारा करती है
यह एक चौंकाने वाली छवि है जो एआई अनुसंधान के गहरे निहित पूर्वाग्रहों को दर्शाती है। संयुक्त राज्य अमेरिका के पहले अश्वेत राष्ट्रपति बराक ओबामा की एक कम-रिज़ॉल्यूशन वाली तस्वीर को एक एल्गोरिथ्म में इनपुट करें, जिसे डिपिक्सेलेटेड चेहरे बनाने के लिए डिज़ाइन किया गया है, औरउत्पादनएक सफेद आदमी है।
यह सिर्फ ओबामा ही नहीं है। कम-रिज़ॉल्यूशन इनपुट से अभिनेत्री लुसी लियू या कांग्रेस महिला अलेक्जेंड्रिया ओकासियो-कोर्टेज़ की उच्च-रिज़ॉल्यूशन छवियां उत्पन्न करने के लिए समान एल्गोरिदम प्राप्त करें, औरपरिणामी फलकस्पष्ट रूप से सफेद दिखें। एक के रूप मेंलोकप्रिय ट्वीटओबामा के उदाहरण का हवाला देते हुए इसे रखें: यह छवि एआई में पूर्वाग्रह के खतरों के बारे में बहुत कुछ बताती है।
लेकिन इन आउटपुट का क्या कारण है और वे वास्तव में हमें AI पूर्वाग्रह के बारे में क्या बताते हैं?
हैरिसन फोर्ड हान सोलो
यहाँ मेरी पत्नी है@shan_ness pic.twitter.com/EehsSHW6se
- रॉबर्ट ओसाज़ुवा नेस (@osazuwa)20 जून, 2020
सबसे पहले, हमें यहां इस्तेमाल की जा रही तकनीक के बारे में थोड़ा सा जानना होगा। इन छवियों को उत्पन्न करने वाला प्रोग्राम एक एल्गोरिथम है जिसे कहा जाता हैदबाएँ, जो दृश्य डेटा को संसाधित करने के लिए अपस्केलिंग नामक तकनीक का उपयोग करता है। Upscaling की तरह हैज़ूम और एन्हांस करेंट्रॉप जो आप टीवी और फिल्म में देखते हैं, लेकिन, हॉलीवुड के विपरीत, वास्तविक सॉफ़्टवेयर केवल कुछ भी नहीं से नया डेटा उत्पन्न नहीं कर सकता है। कम-रिज़ॉल्यूशन वाली छवि को उच्च-रिज़ॉल्यूशन वाली छवि में बदलने के लिए, सॉफ़्टवेयर को मशीन लर्निंग का उपयोग करके रिक्त स्थान भरना पड़ता है।
पल्स के मामले में, इस काम को करने वाला एल्गोरिथम StyleGAN है, जिसे NVIDIA के शोधकर्ताओं द्वारा बनाया गया था। हालाँकि आपने पहले StyleGAN के बारे में नहीं सुना होगा, आप शायद इसके काम से परिचित हैं। यह उन भयानक यथार्थवादी मानवीय चेहरों को बनाने के लिए जिम्मेदार एल्गोरिदम है जिन्हें आप वेबसाइटों पर देख सकते हैं:ThisPersonDoesNotExist.com; चेहरे इतने यथार्थवादी हैं कि वे अक्सर उत्पन्न करने के लिए उपयोग किए जाते हैंनकली सोशल मीडिया प्रोफाइल.
PULSE क्या करता है, Pixelated इनपुट के उच्च-रिज़ॉल्यूशन संस्करण की कल्पना करने के लिए StyleGAN का उपयोग करता है। यह मूल निम्न-रिज़ॉल्यूशन छवि को बढ़ाकर नहीं करता है, बल्कि एक पूरी तरह से नया उच्च-रिज़ॉल्यूशन चेहरा बनाकर करता है, जब पिक्सेल किया जाता है, तो उपयोगकर्ता द्वारा इनपुट किए गए जैसा दिखता है।
इसका मतलब है कि प्रत्येक depixelated छवि को विभिन्न तरीकों से बढ़ाया जा सकता है, वैसे ही सामग्री का एक सेट अलग-अलग व्यंजन बनाता है। यही कारण है कि आप क्या देखने के लिए पल्स का उपयोग कर सकते हैं कयामतपुरुष, याके नायकवोल्फेंस्टीन 3डी , या यहाँ तक किरोते हुए इमोजीउच्च संकल्प की तरह देखो। ऐसा नहीं है कि एल्गोरिथ्म छवि में नया विवरण ढूंढ रहा है जैसा कि ज़ूम और एन्हांस ट्रोप में है; इसके बजाय यह नए चेहरों का आविष्कार कर रहा है जो इनपुट डेटा पर वापस आ जाते हैं।
डिफ़ॉल्ट सेटिंग्स के साथ, मुझे यह परिणाम मिला।pic.twitter.com/mRkqqTwhJF
- बोम्ज़े (@tg_bomze)20 जून, 2020
इस तरह का काम सैद्धांतिक रूप से कुछ वर्षों से संभव है, लेकिन, जैसा कि एआई दुनिया में अक्सर होता है, जब कोड का एक आसान-से-चलाने वाला संस्करण था, तो यह बड़े दर्शकों तक पहुंच गया।ऑनलाइन साझा किया गयाइस सप्ताहांत। तभी से नस्लीय असमानताएं दूर होने लगीं।
पल्स के रचनाकारों का कहना है कि प्रवृत्ति स्पष्ट है: पिक्सेलयुक्त छवियों को स्केल करने के लिए एल्गोरिदम का उपयोग करते समय, एल्गोरिदम अक्सर कोकेशियान सुविधाओं के साथ चेहरे उत्पन्न करता है।
यह पूर्वाग्रह संभवतः डेटासेट से विरासत में मिला हैऐसा प्रतीत होता है कि पल्स रंग के लोगों के चेहरों की तुलना में अधिक बार सफेद चेहरों का उत्पादन कर रहा है, एल्गोरिथम के रचनाकारों ने लिखा हैगीथूब पर. यह पूर्वाग्रह संभवतः डेटासेट से विरासत में मिला है StyleGAN को [...] पर प्रशिक्षित किया गया था, हालांकि ऐसे अन्य कारक भी हो सकते हैं जिनसे हम अनजान हैं।
दूसरे शब्दों में, स्टाइलगैन को जिस डेटा पर प्रशिक्षित किया गया था, उसके कारण जब यह पिक्सेलयुक्त इनपुट छवि की तरह दिखने वाले चेहरे के साथ आने की कोशिश कर रहा होता है, तो यह सफेद सुविधाओं के लिए डिफ़ॉल्ट होता है।
यह समस्या हैअत्यंत सामान्यमशीन लर्निंग में, और यह चेहरे की पहचान एल्गोरिदम के कारणों में से एक हैखराब प्रदर्शनगैर-सफेद और महिला चेहरों पर। एआई को प्रशिक्षित करने के लिए उपयोग किया जाने वाला डेटा अक्सर एकल जनसांख्यिकीय, श्वेत पुरुषों की ओर तिरछा होता है, और जब कोई प्रोग्राम डेटा देखता हैनहींउस जनसांख्यिकीय में यह खराब प्रदर्शन करता है। संयोग से नहीं, यह श्वेत पुरुष हैं जो AI अनुसंधान पर हावी हैं।
लेकिन ओबामा के उदाहरण से पूर्वाग्रह के बारे में क्या पता चलता है और यह जिन समस्याओं का प्रतिनिधित्व करता है उन्हें कैसे ठीक किया जा सकता है, यह जटिल प्रश्न हैं। वास्तव में, वे इतने जटिल हैं कि इस एकल छवि ने एआई शिक्षाविदों, इंजीनियरों और शोधकर्ताओं के बीच गरमागरम असहमति पैदा कर दी है।
तकनीकी स्तर पर, कुछ विशेषज्ञ सुनिश्चित नहीं हैं कि यह डेटासेट पूर्वाग्रह का एक उदाहरण भी है। एआई कलाकार मारियो क्लिंगमैन ने सुझाव दिया है कि डेटा के बजाय पल्स चयन एल्गोरिदम को ही दोष देना है। क्लिंगमैन ने नोट किया कि वह उसी पिक्सेलयुक्त ओबामा छवि से अधिक गैर-सफेद आउटपुट उत्पन्न करने के लिए StyleGAN का उपयोग करने में सक्षम था, जैसा कि नीचे दिखाया गया है:
मुझे इस समस्या के लिए अपना तरीका आजमाना पड़ा। सुनिश्चित नहीं है कि आप इसे एक सुधार कह सकते हैं, लेकिन अव्यक्त स्थान में विभिन्न यादृच्छिक स्थानों से केवल ढाल वंश शुरू करके आप पहले से ही परिणामों में अधिक भिन्नता प्राप्त कर सकते हैं।pic.twitter.com/dNaQ1o5l5l
- मारियो क्लिंगमैन (@quasimondo)21 जून, 2020
क्लिंगमैन कहते हैं, ये चेहरे एक ही अवधारणा और एक ही स्टाइलगैन मॉडल का उपयोग करके उत्पन्न हुए थे, लेकिन पल्स के लिए अलग-अलग खोज विधियां थीं, जो कहते हैं कि हम वास्तव में केवल कुछ नमूनों से एल्गोरिदम का न्याय नहीं कर सकते हैं। संभवत: लाखों संभावित चेहरे हैं जो सभी एक ही पिक्सेल पैटर्न में कम हो जाएंगे और वे सभी समान रूप से 'सही' हैं, उन्होंने बतायाकगार.
(संयोग से, यह भी कारण है कि इस तरह के उपकरण निगरानी उद्देश्यों के लिए उपयोग होने की संभावना नहीं है। इन प्रक्रियाओं द्वारा बनाए गए चेहरे काल्पनिक हैं और, जैसा कि उपरोक्त उदाहरण दिखाते हैं, इनपुट की जमीनी सच्चाई से बहुत कम संबंध हैं। हालांकि , ऐसा नहीं है कि बड़ी तकनीकी खामियों ने पुलिस को अतीत में प्रौद्योगिकी अपनाने से रोक दिया है।)
लेकिन कारण की परवाह किए बिना, एल्गोरिथ्म के आउटपुट पक्षपाती लगते हैं - ऐसा कुछ जो शोधकर्ताओं ने उपकरण के व्यापक रूप से सुलभ होने से पहले नोटिस नहीं किया था। यह एक अलग और अधिक व्यापक प्रकार के पूर्वाग्रह की बात करता है: वह जो सामाजिक स्तर पर संचालित होता है।
रंग के लोग बाहरी नहीं होते हैं। हम 'एज केस' नहीं हैं, लेखक बस भूल सकते हैं।एआई जवाबदेही में शोधकर्ता डेबोरा राजी बताती हैंकगारकि इस तरह का पूर्वाग्रह एआई दुनिया में बहुत विशिष्ट है। रंग के लोगों के मूल अस्तित्व को देखते हुए, इस स्थिति के लिए परीक्षण न करने की लापरवाही आश्चर्यजनक है, और संभवतः विविधता की कमी को दर्शाती है जिसे हम इस तरह के सिस्टम बनाने के संबंध में देखते हैं, राजी कहते हैं। रंग के लोग बाहरी नहीं होते हैं। हम 'एज केस' नहीं हैं, लेखक बस भूल सकते हैं।
तथ्य यह है कि कुछ शोधकर्ता केवल पूर्वाग्रह की समस्या के डेटा पक्ष को संबोधित करने के इच्छुक हैं, जो ओबामा की छवि के बारे में बड़े तर्कों को जन्म देता है। फेसबुक के प्रमुख एआई वैज्ञानिक यान लेकन बाद में इन वार्तालापों के लिए एक फ्लैशप्वाइंट बन गएट्वीटछवि की प्रतिक्रिया कह रही है कि एमएल सिस्टम पक्षपाती हैं जब डेटा पक्षपाती है, औरजोड़नेकि इस तरह का पूर्वाग्रह एक अकादमिक पेपर की तुलना में तैनात उत्पाद में कहीं अधिक गंभीर समस्या है। निहितार्थ यह है: आइए इस विशेष उदाहरण के बारे में ज्यादा चिंता न करें।
उनमें से कई शोधकर्ताओं, राजी ने LeCun के निर्धारण के साथ समस्या उठाई,इशाराएआई में पूर्वाग्रह व्यापक सामाजिक अन्याय और पूर्वाग्रहों से प्रभावित है, और यह कि केवल सही डेटा का उपयोग करने से बड़े अन्याय का सामना नहीं होता है।
निष्पक्ष डेटा भी पक्षपाती परिणाम दे सकता हैदूसरों ने नोट किया कि विशुद्ध रूप से तकनीकी सुधार के दृष्टिकोण से भी, निष्पक्ष डेटासेट अक्सर कुछ भी हो सकते हैं। उदाहरण के लिए, यूके की जनसांख्यिकी को सटीक रूप से प्रतिबिंबित करने वाले चेहरों का एक डेटासेट मुख्य रूप से सफेद होगा क्योंकि यूके मुख्य रूप से सफेद है। इस डेटा पर प्रशिक्षित एक एल्गोरिथ्म सफेद चेहरों पर गैर-सफेद चेहरों की तुलना में बेहतर प्रदर्शन करेगा। दूसरे शब्दों में, निष्पक्ष डेटासेट अभी भी पक्षपाती सिस्टम बना सकते हैं। (बाद मेंट्विटर पर धागा, LeCun ने स्वीकार किया कि AI पूर्वाग्रह के कई कारण थे।)
राजी बताता हैकगारवह LeCun के इस सुझाव से भी हैरान थी कि शोधकर्ताओं को व्यावसायिक प्रणालियों का निर्माण करने वाले इंजीनियरों की तुलना में पूर्वाग्रह के बारे में कम चिंता करनी चाहिए, और यह उद्योग के उच्चतम स्तरों पर जागरूकता की कमी को दर्शाता है।
यह है@ लुसीलिउ pic.twitter.com/DRWyyoS8tP
- रॉबर्ट ओसाज़ुवा नेस (@osazuwa)20 जून, 2020
यान लेकन एक उद्योग प्रयोगशाला का नेतृत्व करते हैं जो कई अनुप्रयुक्त अनुसंधान समस्याओं पर काम करने के लिए जाना जाता है, जिसे वे नियमित रूप से उत्पादित करना चाहते हैं, राजी कहते हैं। मैं सचमुच यह नहीं समझ सकता कि उस स्थिति में कोई व्यक्ति इंजीनियरिंग परिनियोजन के लिए मानदंड स्थापित करने में अनुसंधान की भूमिका को कैसे स्वीकार नहीं करता है।
द्वारा संपर्क किए जाने परकगारइन टिप्पणियों के बारे में, LeCun ने उल्लेख किया कि उसने Facebook के अंदर और बाहर कई समूह स्थापित करने में मदद की, जो AI पर साझेदारी सहित AI निष्पक्षता और सुरक्षा पर ध्यान केंद्रित करते हैं। उन्होंने कहा, मैंने कभी इस तथ्य पर कभी नहीं कहा, या यहां तक कि संकेत भी नहीं दिया कि अनुसंधान एक भूमिका नहीं निभाता है, मानदंड स्थापित कर रहा हैकगार.
हालांकि, कई वाणिज्यिक एआई सिस्टम नस्लीय या लिंग असमानताओं के समायोजन के बिना सीधे अनुसंधान डेटा और एल्गोरिदम से निर्मित होते हैं। अनुसंधान के स्तर पर पूर्वाग्रह की समस्या का समाधान करने में विफल रहने से मौजूदा समस्याएं बनी रहती हैं।
इस अर्थ में, ओबामा की छवि का मूल्य यह नहीं है कि यह एकल एल्गोरिथम में एक दोष को उजागर करता है; यह है कि यह एक सहज स्तर पर, एआई पूर्वाग्रह की व्यापक प्रकृति का संचार करता है। यह क्या हैखालहालाँकि, पूर्वाग्रह की समस्या किसी भी डेटासेट या एल्गोरिथम की तुलना में कहीं अधिक गहरी है। यह एक व्यापक मुद्दा है जिसमें तकनीकी सुधारों की तुलना में बहुत अधिक की आवश्यकता होती है।
हिटलर एलियन
एक शोधकर्ता के रूप में, विदुषी मर्दा,प्रतिक्रिया व्यक्त कीएल्गोरिथम द्वारा निर्मित श्वेत चेहरों के लिए ट्विटर पर: यदि इसे स्पष्ट रूप से कहने की आवश्यकता है - यह डेटासेट में 'विविधता' या प्रदर्शन में 'बेहतर सटीकता' के लिए एक कॉल नहीं है - यह संस्थानों के एक मौलिक पुनर्विचार के लिए एक कॉल है और ऐसे व्यक्ति जो इस तकनीक को पहले स्थान पर डिजाइन, विकसित, तैनात करते हैं।
अपडेट, बुधवार, 24 जून: यान लेकन की अतिरिक्त टिप्पणी को शामिल करने के लिए इस टुकड़े को अपडेट किया गया है।
