[ad_1]

بیت ها چگونه کار می کنند

احتمالاً قبلاً شنیده اید که کامپیوترها چیزهایی را ذخیره می کنند 1شن 0این واحدهای اساسی اطلاعات به عنوان شناخته می شوند بیت. هنگامی که یک بیت “روشن” باشد ، با a مطابقت دارد 1؛ وقتی “خاموش” باشد ، تبدیل به a می شود 0. به عبارت دیگر ، هر بیت می تواند فقط دو اطلاعات را ذخیره کند.

اما به محض سفارش آنها ، میزان اطلاعاتی که می توانید رمزگذاری کنید به طور تصاعدی افزایش می یابد. دو بیت می تواند چهار اطلاعات را نشان دهد زیرا 2 ^ 2 ترکیب وجود دارد: 00، 01، 10، و 11. چهار بیت می تواند 2 ^ 4 یا 16 قطعه اطلاعات را نشان دهد. هشت بیت می تواند 2 ^ 8 یا 256 را نشان دهد. و غیره.

ترکیب صحیح بیت ها می تواند انواع داده ها مانند اعداد ، حروف و رنگ ها یا انواع عملیاتی مانند جمع ، تفریق و مقایسه را نشان دهد. این روزها بیشتر لپ تاپ ها کامپیوترهای 32 یا 64 بیتی هستند. این بدان معنا نیست که کامپیوتر فقط می تواند اطلاعات 2 ^ 32 یا 2 ^ 64 را رمزگذاری کند. (این یک کامپیوتر بسیار کثیف خواهد بود.) این بدان معناست که می تواند از تعداد زیادی بیت پیچیدگی برای رمزگذاری هر داده یا یک عملیات واحد استفاده کند.

یادگیری عمیق 4 بیتی

بنابراین یادگیری 4 بیتی یعنی چه؟ خوب ، برای مبتدیان ما یک کامپیوتر 4 بیتی داریم و بنابراین یک پیچیدگی 4 بیتی داریم. یکی از راه های تأمل در این باره: هر عدد جداگانه ای که در طول دوره آموزش استفاده می کنیم باید یکی از 16 عدد صحیح بین -8 تا 7 باشد ، زیرا این تنها اعدادی است که کامپیوتر ما می تواند نشان دهد. این مربوط به نقاط داده ای است که ما به شبکه عصبی ارسال می کنیم ، اعدادی که برای نشان دادن شبکه عصبی استفاده می کنیم و اعداد میانی که باید در طول آموزش ذخیره کنیم.

خب چطور باید انجامش بدیم؟ بیایید ابتدا در مورد داده های آموزش فکر کنیم. تصور کنید که این یک مجموعه کامل از تصاویر سیاه و سفید است. مرحله اول: ما باید این تصاویر را به اعداد تبدیل کنیم تا کامپیوتر بتواند آنها را درک کند. ما این کار را با نشان دادن هر پیکسل از نظر مقدار آن در مقیاس خاکستری انجام می دهیم – 0 برای سیاه ، 1 برای سفید و اعشار بین سایه های خاکستری. تصویر ما اکنون لیستی از اعداد از 0 تا 1 است. اما در زمین 4 بیتی باید از -8 تا 7 محدوده داشته باشیم. ترفند اینجاست که لیست اعداد خود را به صورت خطی مقیاس بندی کنیم تا 0 شود -8 و 1 شود. 7 و اعشار در وسط به اعداد صحیح تبدیل می شوند. بدین ترتیب:

می توانید لیست اعداد خود را از 0 به 1 مقیاس بندی کنید تا بین -8 و 7 کشیده شود و سپس همه اعشار را به یک عدد صحیح گرد کنید.

این روند کامل نیست. اگر با عدد 0.3 شروع می کنید ، فرض کنید با عدد مقیاس -3.5 بدست می آورید. اما چهار بیت ما فقط می تواند اعداد صحیح را نشان دهد ، بنابراین شما باید از -3.5 به -4 دور بزنید. در پایان ، برخی از سایه های خاکستری یا به اصطلاح را از دست می دهید دقت، درستی، در تصویر شما می توانید شکل ظاهری زیر را ببینید.

هرچه تعداد بیت ها کمتر باشد ، جزئیات عکس کمتر است. به این می گن از دست دادن دقت، درستی.

این ترفند برای داده های آموزش خیلی فرسوده نیست. اما وقتی دوباره آن را روی خود شبکه عصبی اعمال کنیم ، اوضاع کمی پیچیده تر می شود.

شبکه عصبی.

ما اغلب می بینیم که شبکه های عصبی به صورت چیزی با گره ها و اتصالات ترسیم می شوند ، مانند تصویر بالا. اما برای یک کامپیوتر ، آنها نیز به یک سری اعداد تبدیل می شوند. هر گره به اصطلاح دارد فعال سازی مقداری که به طور معمول از 0 تا 1 است و هر رابطه دارای یک است وزنکه معمولاً از -1 تا 1 است.

ما می توانستیم به همان روشی که با پیکسل هایمان انجام می دهیم مقیاس بندی کنیم ، اما فعال سازی ها و وزن ها نیز با هر دور آموزش تغییر می کنند. به عنوان مثال ، گاهی اوقات فعال سازی ها در یک دور از 0.2 تا 0.9 و در مرحله دیگر از 0.1 تا 0.7 متغیر هستند. بنابراین تیم IBM در سال 2018 با ترفند جدیدی روبرو شد: تنظیم مجدد این دامنه ها در هر دور بین -8 و 7 امتداد داشته باشد (همانطور که در زیر نشان داده شده است) ، که به طور م effectivelyثر از دقت بیش از حد جلوگیری می کند.

محققان IBM برای جلوگیری از از دست دادن دقت بیش از حد ، میزان فعال سازی و وزن شبکه عصبی را برای هر دور آموزشی تغییر اندازه می دهند.

اما سپس یک قسمت آخر داریم: نحوه نمایش در چهار بیت مقادیر میانی که در طول آموزش ظاهر می شوند. چالش این است که برخلاف اعدادی که برای تصاویر ، وزن ها و فعال سازی های ما پردازش کردیم ، این مقادیر می توانند چندین مرتبه را دربر گیرند. آنها می توانند کوچک باشند ، مانند 0.001 ، یا بزرگ ، مانند 1000. تلاش برای مقیاس گذاری خطی بین 8- و 7 ، تمام دانه بندی در انتهای کوچک مقیاس را از دست می دهد.

اعداد مقیاس گذاری خطی که چندین مرتبه اندازه دارند ، در پایان کوچک مقیاس ، تمام جزئیات را از دست می دهند. همانطور که در اینجا مشاهده می کنید ، تمام اعداد کمتر از 100 تا -8 یا -7 مقیاس بندی می شوند. عدم دقت به عملکرد نهایی مدل AI آسیب می رساند.

پس از دو سال تحقیق ، سرانجام محققان این معما را شکستند: وام گرفتن ایده موجود از دیگران ، آنها این اعداد متوسط ​​را مقیاس بندی می کنند. از نظر منطقی. برای درک منظور من ، در زیر یک مقیاس لگاریتمی ارائه شده است که می توانید با اصطلاح “پایه” 10 و تنها با استفاده از چهار بیت پیچیدگی ، آن را تشخیص دهید. (در عوض ، محققان از پایه 4 استفاده می کنند زیرا آزمون و خطا نشان داده است که این بهترین نتیجه را می دهد.) می توانید ببینید که چگونه به شما اجازه می دهد تا تعداد کمی و بزرگ را در محدوده بیت رمزگذاری کنید.

مقیاس لگاریتمی با پایه 10.

با در دست داشتن همه این قطعات ، این آخرین مقاله نحوه جمع شدن آنها را نشان می دهد. محققان IBM چندین آزمایش شبیه سازی یادگیری 4 بیتی را برای مدلهای مختلف با یادگیری عمیق در بینایی رایانه ، گفتار و پردازش زبان طبیعی انجام دادند. نتایج نشان می دهد از دست دادن دقت محدود در عملکرد کلی مدل ها در مقایسه با یادگیری عمیق 16 بیتی. این فرآیند همچنین بیش از هفت برابر سریعتر و هفت برابر با مصرف انرژی بیشتر است.

شغل آینده

[ad_2]

منبع: unbox-khabar.ir