استارت‌آپی در انگلستان ابزار جدیدی را ارائه کرده است که می‌تواند روشی عملی برای شناسایی تبعیض در پایگاه داده‌ها را در اختیار کد نویسان قرار دهد. مبارزه با تبعیض در سیستم‌های هوش‌مصنوعی موضوعی است که توجه زیادی را در جهان تجارت به خود جلب کرده و چالش‌هایی را نیز پدید آورده است. برای شروع خوب است که یک سری اصول پایه را مشخص کنیم اما وقتی پای اجرای عملی به میان می‌آید سازمان‌ها با مشکل روبه‌رو می‌شوند.
شناسایی و رفع تبعیض در پایگاه داده‌ها
استارت‌آپ Synthesized در لندن این مشکل را برطرف کرده است و حالا ابزاری ارائه کرده که می‌تواند تبعیض در پایگاه داده‌ها را شناسایی و رفع کند. این شرکت پلتفرمی را ارائه داده که ظرف چند دقیقه پایگاه داده را بررسی کرده و تحلیل دقیقی از گروه‌های مختلف افرادی که در پایگاه داده‌ها وجود دارند ارائه می‌دهد.
اگر یک گروه در مقایسه با دیگر گروه‌ها به ملاکی مربوط شده باشد که باعث تبعیض شود، این نرم‌افزار مشکل را به کاربر اطلاع خواهد داد. این تکنولوژی همچنین یک «امتیاز انصاف» را نیز برای هر پایگاه داده ارائه می‌دهد که با توجه به تعداد کلی داده‌ها از صفر تا یک متغییر خواهد بود.
این استارت‌آپ (Synthesized: آمیخته) همانطور که از نامش مشخص است یک تکنولوژی تولید داده ترکیبی را ایجاد کرده است که در انتهای فرایند برای متعادل سازی پایگاه داده‌ها با استفاده از داده‌های مصنوعی برای جلوگیری از تبعیض، فاصله بین گروه‌ها را از بین می‌ربرد و در نتیجه می‌توان یک نمایه منصفانه از هر گروه را انتظار داشت.
نیکولای بالدین بنیان‌گذار Synthesized می‌گوید: «با ایجاد یک پایگاه داده شبیه سازی شده و اصلاح شده، می‌توانید خدمات بهتری بسازید. ما می‌خواهیم نشان دهیم که ایجاد یک پایگاه داده منصفانه بدون پایین آوردن کیفیت داده‌ها امکان پذیر است. در واقع، نتایج مدل‌های هوش‌مصنوعی پیشرفت خواهند داشت زیرا گروه‌هایی که پیشتر غایب بودند حالا ارائه خواهند شد.»
ساز و کار این فرایند
این فرایند ساده است. پلتفرم شناسایی تبعیض این استارت‌آپ، برای انجام کار خود نیاز به یک فایل ساختار داده‌ها، همانند یک فایل اکسل دارد که از طریق آن فرایند تحلیل را آغاز میکند و کاربران می‌توانند یک هدف مشخص همچون «حقوق سالیانه» را برای شناسایی تبعیض مشخص کنند.
این نرم‌افزار سپس کل پایگاه‌داده را با توجه به هدف، نمایه‌سازی خواهد کرد و مشخص میکند که آیا گروه‌های اقلیت به طور غیرمنصفانه‌ای نمایش داده شده‌اند یا خیر.
در گام اول این استارت‌آپ گروه‌هایی که احتمال تبعیض برایشان زیاد است را براساس مشخصه‌هایی که در قوانین انگلستان و آمریکا محافظت شده است مشخص میکند؛ سنت، ناتوانی، جنسیت، قومیت، مذهب، گرایش جنسی و غیره از جمله تبعیض‌های شناخته شده هستند.
برای مثال بالدین یک پایگاه داده عمومی متشکل از ۳۲ هزار نفر را در این پلتفرم استفاده کرد. ۲۷۰ گروه اقلیت مشخص شدند که برخی چند ویژگی را با هم در خود داشتند. برای مثال ۱۸۶ نفر در این پایگاه داده به عنوان «خانم، متاهل، رده سنی ۳۳ تا ۴۱ سال شناسایی شدند.
زمانی که این نرم‌افزار گروه‌های دارای مشخصه‌های محافظت شده را شناسایی کرد سپس بررسی میکند که آیا یک دسته خاص تفاوت قابل توجهی از منظر هدف این بررسی از خود نشان می‌دهند یا خیر و آیا این تفاوت نشان دهنده تبعیض مثبت است یا منفی.
بالدین می‌گوید: «در اینجا در گروه «خانم، متاهل، سن ۳۳ تا ۴۱ سال» شاهد یک تبعیض مثبت هستیم؛ یعنی درآمد این گروه در واقع در مقایسه با کل پایگاه داده بالاتر است.»
هوش‌مصنوعی محبوب در صنعت و دانشگاه
سپس براساس خروجی این تحلیل نمره انصافی برای پایگاه داده مورد نظر مشخص می‌شود و کاربر می‌تواند داده‌ها را به صورت مصنوعی متعادل سازی کند. در واقع ایجاد داده ترکیبی اصلی‌ترین وظیفه این استارت‌آپ محسوب می‌شود. با استفاده از تکنولوژی ترکیب داده این پلتفرم گروه‌های تازه‌ای را شبیه سازی میکند که پیشتر یا در پایگاه داده‌ها حضور نداشته‌اند و یا به شکل غیرمنصفانه‌ای ارائه شده بودند و به این ترتیب امتیاز انصاف کلی تنظیم خواهد شد.
به گفته بالدین:
«ما در دانشگاه‌ها و صنایع تلاش‌هایی را برای شناسایی تبعیض شاهد بوده‌ایم اما این تلاش‌ها به ابزاری منتهی نشده است که بتواند پایگاه‌های داده شبیه‌سازی شده را بدون تبعیض ایجاد کند.»
تبعیض در هوش‌مصنوعی چندین سال است که موضوع داغی در صنعت و دانشگاه محسوب می‌شود و افراد زیادی را به روش‌های مختلف از فرایند استخدام، خدمات درمان، مسائل امنیتی و قضایی تحت تاثیر قرار داده است.
در تابستان امسال هیاتی تشکیل شد که استفاده از الگوریتمی جانبدارانه را برای تعیین نمره مدارس انگلستان در حالی که امتحانات فیزیکی لغو شده بود مورد انتقاد قرار داد. این سیستم هوش‌مصنوعی پیش‌بینی خود را براساس یک پایگاه داده غیرمنصانه انجام می‌داد و درنتیجه دانش آموزانی که پس زمینه ضعیفی داشتند متضرر می‌شدند.
مردم از شرکت‌ها و ارائه دهندگان انتظار دارند تا یک هوش‌مصنوعی اخلاق محور را ساخته و ارائه کنند. یک نظرسنجی عمومی در انگلستان نشان داد که بیش از نیمی از بزرگسالان این کشور نمی‌توانند در ساخت الگوریتم‌هایی که قرار است کیفیت زندگی آنها را بهبود بخشد به دانشمندان کامپیوتر اعتماد کنند. اکثر پاسخ دهندگان (۶۲ درصد) گفته‌اند که برنامه نویسان نیز همانند حسابداران باید یک سری مشخصه‌های حرفه‌ای را نیز در کنار تخصص خود کسب کنند.
آیا در آینده شاهد پایگاه داده‌های کاملا منصفانه خواهیم بود؟
دولت‌های مختلف در سراسر جهان اوراق سفید متعددی را درمورد استفاده مسئولانه از هوش مصنوعی منتشر کرده‌اند. بزرگترین شرکت‌های تکنولوژی در حال تشکیل کمیته‌های اخلاقی هستند و قرار است از اصول هوش‌مصنوعی پیروی کنند. اما هنوز ابزاری برای منصفانه کردن الگوریتم‌ها و ترویج شفافیت ارائه نشده است.
ابزار What-if از گوگل و بسته انصاف هوش مصنوعی از IBM هردو ابزار‌هایی برای تحلیل پایگاه داده‌ها از لحاظ تبعیض ارائه می‌دهند اما این ابزار‌ها تنها برای متخصصان طراحی شده‌اند. بالدین امیدوار است که پلتفورم Synthesizedکاربران بیشتری را به بررسی و تلاش برای رفع این مشکل ترغیب کند.
نمی‌توان گفت که با این روند در آینده‌ای نزدیک شاهد پایگاه داده‌های کاملا منصفانه خواهیم بود. به گفته بالدین «اگر ما تعریف قانونی ویژگی‌های محافظت شده را در دستور کار قرار دهیم، سپس این پلتفرم می‌تواند تمامی نابرابری‌ها را محو کند. اما باید مراقب بود که منظور از همه نابرابری‌ها چیست. ممکن است گروه‌های دیگری از سوی قانون محافظت نشده باشند اما تبعیض علیه آنها مشخص باشد.»
پایگاه داده مسئله تازه‌ای نیست و به این زودی‌ها کنار نخواهد رفت. برای تحقیقات بیشتر در این زمینه بالدین تصمیم گرفته است که بخش شناسایی تبعیض در پلتفرم Synthesized را به صورت منبع باز در اختیار مهندسان و متخصصان داده قرار دهد.
در حال حاضر کدنویسان علاقه‌مند به این زمینه می‌توانند از این برنامه استفاده کنند و سه پایگاه داده را به صورت رایگاه بارگذاری کنند.
دیدگاه کاربران