[ad_1]

الگوریتم های تولید زبان به عنوان ایده های نژادپرستانه و تبعیض جنسی شناخته شده اند. آنها به زبان اینترنت ، از جمله گوشه های تاریک Reddit و Twitter ، آموزش دیده اند که می تواند شامل سخنان نفرت انگیز و اطلاعات غلط باشد. هر ایده مضر در این انجمن ها به عنوان بخشی از آموزش عادی شود.

محققان اکنون نشان داده اند که برای الگوریتم های تولید تصویر نیز می توان همین را گفت. از مردی که دقیقاً زیر گردنش بریده شده است عکس بگیرید و در 43٪ موارد به طور خودکار آن را با کت و شلوار به پایان می رساند. همان عکس برش خورده از یک زن ، حتی یک زن مشهور مانند الکساندریا اوکاسیو-کورتس ، نماینده ایالات متحده را تغذیه کنید و 53 درصد از او او را به صورت خودکار با یک تاپ یا بیکینی با برش کمرنگ به پایان می رساند. این امر نه تنها برای تولید تصویر بلکه برای همه برنامه های دید رایانه از جمله الگوریتم های ارزیابی نامزدهای مبتنی بر ویدئو ، تشخیص چهره و نظارت از اهمیت برخوردار است.

رایان استید ، دانشجوی دکترای دانشگاه کارنگی ملون و آیلین کالیسکان ، استادیار دانشگاه جورج واشنگتن ، دو الگوریتم را بررسی کردند: OpenAI iGPT (نسخه GPT-2 که به جای کلمات پیکسل آموزش می دهد) و SimCLR Google. در حالی که هر الگوریتم به طور متفاوتی به مطالعه تصاویر می پردازد ، آنها یک ویژگی مهم را دارند – هر دو از آن کاملاً بدون مراقبت استفاده می کنند ، به این معنی که برای برچسب گذاری تصاویر نیازی به افراد ندارند.

این یک نوآوری نسبتاً جدید از سال 2020 است. الگوریتم های دید رایانه قبلی که عمدتا مورد استفاده قرار می گرفتند کنترل شده آموزش ، که شامل تغذیه با تصاویر با برچسب گذاری دستی است: عکس گربه ها با برچسب “گربه” و عکس نوزادان با برچسب “کودک”. اما در سال 2019 ، محقق کیت کرافورد و هنرمند Trevor Paglen دریافتند که این برچسب های ساخته دست بشر در ImageNet ، اساسی ترین مجموعه داده های تصویر برای مدل سازی بینایی رایانه ای ، گاهی اوقات حاوی زبان های ناراحت کننده ای مانند “شلخته” برای زنان است و کفرهای نژادی علیه اقلیت ها

مقاله آخر حتی یک منبع سمی عمیق تر را نشان می دهد. حتی بدون وجود این برچسب های انسانی ، تصاویر خود الگوهای ناخواسته را رمزگذاری می کنند. این س parallelال موازی با آنچه جامعه پردازش زبان طبیعی (NLP) قبلاً کشف کرده است است. مجموعه داده های عظیمی که برای تأمین انرژی این الگوریتم های تشنه داده طراحی شده اند ، همه چیز را در اینترنت ضبط می کنند. و نمایشی بیش از حد از زنان کم پوش و کلیشه های اغلب مضر در اینترنت وجود دارد.

استید و کالیسکان برای انجام تحقیقات خود به طرز ماهرانه ای از روشی استفاده کردند که کالیسکان قبلاً برای مطالعه تعصب در مدل های NLP بدون مشاهده استفاده کرده بود. این مدل ها یادگیری دستکاری و تولید زبان را با استفاده از کلمات داخلی ، نمایشی ریاضی از زبانی که کلمات معمولاً با هم را دسته بندی می کنند و کلماتی را که اغلب به طور جداگانه یافت می شوند ، از هم جدا می کنند. در گزارش سال 2017 منتشر شده در علوم پایه، کالیسکان فاصله بین جفت های مختلف کلمات را که روانشناسان برای اندازه گیری تعصب انسان در آزمون ارتباط ضمنی (IAT) استفاده کردند ، اندازه گیری کرد. وی دریافت که این فواصل تقریباً به طور کامل نتایج IAT را تولید می کنند. جفت سازی کلیشه ای کلمات مانند مرد و شغل یا زن و خانواده نزدیک بود ، در حالی که جفت های مخالف مانند مرد و خانواده یا زن و شغل فاصله زیادی داشتند.

iGPT همچنین داخلی است: پیکسل ها را براساس تعداد دفعاتی که در تصاویر یادگیری آن با هم نشان می دهند ، گروه بندی یا تقسیم می کند. سپس می توان از این تعبیه های پیکسل برای مقایسه نزدیک یا دور بودن دو تصویر از فضای ریاضی استفاده کرد.

استید و کالیسکان در مطالعه خود بار دیگر دریافتند که این فواصل منعکس کننده نتایج IAT است. عکس های مردان و کراوات و کت و شلوارها بهم نزدیک به هم نگاه می کنند ، در حالی که عکس های زنان فاصله بیشتری دارند. محققان همان نتایج SimCLR را بدست آوردند ، اگرچه آنها از روش دیگری برای استخراج جاسازی شده از تصاویر استفاده کردند.

این نتایج تأثیرات مثبتی بر تولید تصویر دارند. الگوریتم های ایجاد کننده تصویر دیگر ، مانند شبکه های رقیب مولد ، منجر به انفجار پورنوگرافی عمیقاً کاذب شده است که تقریباً منحصراً مربوط به زنان است. iGPT به ویژه روش دیگری برای مردان برای ایجاد تصاویر جنسی شده از زنان اضافه می کند.

اما اثرات بالقوه پایین دستی بسیار بیشتر است. در زمینه NLP ، مدل های مشاهده نشده به ستون فقرات برای انواع برنامه ها تبدیل شده اند. محققان با یک مدل بدون مراقبت موجود مانند BERT یا GPT-2 شروع می کنند و از مجموعه داده های سفارشی برای “اصلاح” آن برای یک هدف خاص استفاده می کنند. این رویکرد نیمه مدیریتی ، ترکیبی از یادگیری بدون نظارت و نظارت ، به صورت استاندارد تبدیل شده است.

به همین ترتیب ، میدان دید رایانه نیز شاهد همان روند است. استید و کالیسکان نگران این هستند که این تعصبات مخدوش ممکن است هنگام استفاده از الگوریتم ها برای برنامه های حساس مانند پلیس یا استخدام ، جایی که مدل ها در حال تجزیه و تحلیل فیلم های کاندیدا برای تعیین مناسب بودن برای این شغل هستند ، به چه معنا باشد. کالیسکان می گوید: “اینها برنامه های بسیار خطرناکی هستند که تصمیمات بعدی را می گیرند.”

دبورا راجی ، یک همکار در موزیلا که نویسنده یک مطالعه تأثیرگذار در کشف سوگیری تشخیص چهره است ، گفت: این مطالعه باید به عنوان یک زنگ بیدار در زمینه بینایی کامپیوتر باشد. او می گوید: “برای مدت طولانی انتقادات زیادی نسبت به تعصب در مورد نحوه برچسب گذاری تصاویر ما بوده است.” این مقاله اکنون می گوید ، “ترکیب واقعی مجموعه داده منجر به این سوگیری ها می شود. ما درمورد نحوه انتخاب این مجموعه داده ها و جمع آوری این اطلاعات به مسئولیت نیاز داریم. “

استید و کالیسکان برای شفافیت بیشتر شرکت های در حال توسعه این مدل ها تلاش می کنند تا این مدل ها را باز کنند و اجازه دهند جامعه دانشگاهی تحقیقات خود را ادامه دهد. آنها همچنین محققان همکار را ترغیب می کنند قبل از اجرای مدل بینایی ، مثلاً با استفاده از روشهایی که برای این مقاله تهیه کرده اند ، آزمایشات بیشتری انجام دهند. سرانجام ، آنها امیدوارند که این منطقه روشهای مسئولیت پذیری بیشتری برای تدوین و مستند سازی آنچه در مجموعه داده های آموزش وجود دارد ، ایجاد کند.

کالیسکان می گوید هدف نهایی دستیابی به آگاهی و کنترل بیشتر در استفاده از بینایی رایانه است. او می گوید: “ما باید بسیار مراقب باشیم که چگونه از آنها استفاده کنیم ، اما در عین حال ، وقتی این روش ها را بدست آوردیم ، می توانیم از آنها برای مصالح عمومی استفاده کنیم.”

[ad_2]

منبع: unbox-khabar.ir