مجموعه داده های هوش مصنوعی پر از خطا است. آنچه در مورد هوش مصنوعی می دانیم تحریف شده است


بله اما: در سال های اخیر ، مطالعات نشان داده است که این مجموعه داده ها می توانند دارای کاستی های جدی باشند. به عنوان مثال ImageNet حاوی برچسب های نژادپرستانه و نژادپرستانه و همچنین عکس هایی از چهره افراد است که بدون رضایت به دست آمده است. آخرین مطالعه اکنون به مسئله دیگری پرداخته است: بسیاری از برچسب ها به طور کامل کاملاً اشتباه هستند. این قارچ به عنوان یک قاشق برچسب خورده است ، قورباغه گربه است و نت اصلی آریانا گراند سوت است. کیت تست ImageNet دارای میزان خطای برچسب مورد انتظار 5.8٪ است. در همین حال ، مجموعه تست QuickDraw که مجموعه ای از نقشه های دستی است ، میزان خطای مورد انتظار 10.1٪ است.

چگونه اندازه گیری شد؟ هر یک از 10 مجموعه داده مورد استفاده برای ارزیابی مدل ها دارای مجموعه داده های مربوطه است که برای آموزش آنها استفاده می شود. محققان م Instituteسسه فناوری ماساچوست کورتیس جی نورث کات و آنیش آتالیه و آلوم جوناس مولر از مجموعه داده های آموزشی برای توسعه مدل یادگیری ماشین استفاده کردند و سپس از آن برای پیش بینی برچسب در داده های آزمون استفاده کردند. اگر مدل با برچسب اصلی موافق نباشد ، نقطه داده برای بررسی دستی علامت گذاری شده است. از پنج بازرسان ترک مکانیکی آمازون خواسته شد تا در مورد کدام برچسب – مدل یا اصلی – رای دهند که آنها فکر می کردند درست است. اگر اکثر بازرسان انسانی با این مدل موافق باشند ، برچسب اصلی به عنوان یک خطا در نظر گرفته شد و سپس تصحیح شد.

مهمه؟ آره. محققان 34 مدل را بررسی کردند که عملکرد آنها قبلاً با مجموعه آزمون ImageNet اندازه گیری شده بود. آنها سپس هر مدل را تقریباً با 1500 نمونه اندازه گیری کردند که در آنها برچسب داده ها اشتباه بود. آنها دریافتند که مدلها عملکرد خیلی خوبی در نسخه اصلی ندارند غلط بعد از تنظیم برچسب ها ، بهترین برچسب ها بودند. به طور خاص ، به نظر می رسد مدل های ساده تر از مدل های پیچیده تری که غول های فناوری مانند Google برای شناسایی تصویر استفاده می کنند و بهترین آنها در این زمینه هستند ، داده های اصلاح شده را مدیریت می کنند. به عبارت دیگر ، ما ممکن است درک بالایی از این مدل های پیچیده به دلیل ناکافی بودن داده های آزمایش داشته باشیم.

حالا چی؟ Northcutt زمینه هوش مصنوعی را به ایجاد مجموعه داده های تمیزتر برای ارزیابی مدل ها و پیگیری پیشرفت زمینه تشویق می کند. وی همچنین به محققان توصیه می کند هنگام کار با داده های خود ، بهداشت داده های خود را بهبود ببخشند. در غیر این صورت ، او می گوید ، “اگر شما یک مجموعه داده پر سر و صدا و یک سری مدل در حال آزمایش دارید و قصد دارید آنها را در دنیای واقعی پیاده سازی کنید” ، ممکن است مدل اشتباهی را انتخاب کنید. به همین منظور ، او از کدی که در مطالعه خود برای تصحیح خطاهای برچسب استفاده می کند ، رونمایی کرد که به گفته وی قبلاً در چندین شرکت بزرگ فناوری استفاده شده است.


منبع: unbox-khabar.ir

Leave a reply

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>