جملات ترکیبی نشان می دهد که هوش مصنوعی هنوز زبان را نمی فهمد


محققان دانشگاه آبرن در آلاباما و Adobe Research این نقص را پیدا کردند که سعی کردند یک سیستم NLP برای تولید توضیحاتی در مورد رفتار آن ایجاد کنند ، از جمله اینکه چرا ادعا می کند جملات مختلف معنی یکسانی دارند. وقتی آنها رویکرد خود را آزمایش کردند ، فهمیدند که تغییر کلمات در یک جمله با توضیحات ارتباطی ندارد. آن نگوین از دانشگاه اوبرن ، که کار را رهبری می کند ، گفت: “این یک مشکل مشترک برای همه مدل های NLP است.”

این تیم چندین سیستم مدرن NLP مبتنی بر BERT (یک مدل زبانی که توسط گوگل ساخته شده و اساس بسیاری از جدیدترین سیستم ها از جمله GPT-3 است) را مورد بررسی قرار داد. همه این سیستم ها عملکرد بهتری نسبت به افراد دارای GLUE (ارزیابی عمومی درک زبان) دارند ، مجموعه ای استاندارد از وظایف که برای تست درک زبان طراحی شده است ، مانند تشخیص عبارتهای فرعی ، قضاوت در مورد بیان جمله های مثبت یا منفی و استدلال شفاهی.

انسان سگ را گاز می گیرد: آنها دریافتند كه این سیستم ها نمی توانند بفهمند كه كلمه ها در چه جمله ای مخلوط می شوند ، حتی وقتی كه خط جدید معنی می یابد. به عنوان مثال ، این سیستم ها به درستی خاطر نشان كردند كه جملات “آیا ماری جوانا باعث سرطان می شود؟” و “سیگار کشیدن ماری جوانا چگونه می تواند باعث سرطان ریه شود؟” اما آنها حتی اطمینان بیشتری داشتند که “شما سرطان می کشید ، ماری جوانای ریوی چگونه می تواند بدهد؟” و “ریه می تواند ماری جوانا سیگار بکشد ، چگونه سرطان دارید؟” همان مفهوم. این سیستم ها همچنین تصمیم گرفتند جملاتی با معانی مخالف ، مانند “آیا ماری جوانا باعث سرطان می شود؟” و “آیا سرطان باعث ماری جوانا می شود؟” از همین سوال پرسیدند.

تنها وظیفه ای که ترتیب کلمات در آن اهمیت داشت این بود که مدل ها باید ساختار دستوری جمله را بررسی کنند. در غیر این صورت ، بین 75٪ تا 90٪ پاسخ های سیستم های آزمایش شده هنگام مخلوط شدن کلمات تغییر نمی کنند.

چه اتفاقی می افتد؟ به نظر می رسد مدل ها چندین کلمه کلیدی را در یک جمله انتخاب می کنند ، مهم نیست که به چه ترتیب باشند. آنها مانند ما زبان را نمی فهمند ، و GLUE – یک معیار بسیار مشهور – استفاده از زبان واقعی را اندازه گیری نمی کند. در بسیاری از موارد ، وظیفه ای که یک مدل روی آن آموزش می بیند ، او را مجبور نمی کند که نگران ترتیب کلمات یا نحو کلی باشد. به عبارت دیگر ، GLUE به مدل های NLP آموزش می دهد تا از حلقه ها عبور کنند.

بسیاری از محققان استفاده از مجموعه ای از آزمایشات دشوارتر به نام SuperGLUE را آغاز کرده اند ، اما نگوین مظنون است که مشکلات مشابهی وجود دارد

همچنین این مشکل توسط جوشوا بنگیو و همکارانش مشخص شده است ، که متوجه می شوند مرتب سازی مجدد کلمات در مکالمه گاهی اوقات پاسخ به چت بات ها را تغییر نمی دهد. و تیمی از Facebook AI Research نمونه هایی از آنچه برای چینی ها اتفاق می افتد را پیدا کردند. تیم نگوین نشان می دهد که این مسئله گسترده است.

مهمه؟ بستگی به برنامه دارد. از یک طرف ، یک هوش مصنوعی که هنوز می فهمد وقتی اشتباه تایپی می کنید یا چیزی را که تحریف می کنید ، همانطور که فرد دیگری می تواند بگوید ، مفید خواهد بود. اما به طور کلی ، ترتیب کلمات هنگام تشخیص معنی جمله بسیار مهم است.

چطوری میشه اینو تعمیر کرد؟ خبر خوب این است که رفع آن ممکن است خیلی دشوار نباشد. محققان دریافته اند که مجبور کردن مدل به تمرکز بر ترتیب کلمات با آموزش دادن آن برای انجام وظیفه ای که در آن ترتیب واژه ها مهم است ، مانند تشخیص خطاهای دستوری ، این مدل را برای سایر کارها نیز بهتر می کند. این نشان می دهد که تغییر وظایفی که مدل ها برای آن آموزش داده می شوند ، باعث بهبود بهتر آنها در کل می شود.

نتایج نگوین نمونه دیگری از این است که چگونه مدل ها اغلب بسیار کمتر از آن چیزی هستند که مردم معتقدند توانایی آن را دارند. وی معتقد است که این امر تأکید می کند که ساخت هوش مصنوعی که مانند انسان درک و استدلال می کند دشوار است. او می گوید: “هیچ کس ایده ای ندارد.”


منبع: unbox-khabar.ir

Leave a reply

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>