تاریخچه شبکه عصبی مصنوعی — مسیر پیشرفت، رکود و احیای دوباره

در دهه‌های اخیر، تاریخچه شبکه عصبی مصنوعی نشان می‌دهد که این فناوری چگونه از الهام گرفتن از ساختار مغز انسان به یکی از مهم‌ترین شاخه‌های هوش مصنوعی تبدیل شده است. از نخستین مدل‌های ساده مانند شبکه‌های هاپفیلد و ماشین‌های بولتزمن گرفته تا معرفی الگوریتم پس‌انتشار خطا که امکان یادگیری در شبکه‌های چندلایه را فراهم کرد، این مسیر پر از تحولات بنیادین بوده است. پیشرفت‌های یادگیری تقویتی و ترکیب آن با یادگیری عمیق، به همراه رشد چشمگیر توان پردازشی و حجم داده‌های آموزشی، موجبات ظهور شبکه‌های عمیق امروزی را فراهم آوردند.

در این مقاله از سری مقالات آموزشی پی استور قصد داریم، به مرور تاریخچه شبکه عصبی مصنوعی بپردازیم. با بررسی مراحل مهم تحول این حوزه، به شما کمک می‌کنیم تا دیدی عمیق و فراگیر نسبت به شبکه‌های عصبی و نقش آن در دنیای هوش مصنوعی پیدا کنید.

مقدمه

تاریخچه شبکه عصبی مصنوعی به سال ۱۹۴۳ بازمی‌گردد، زمانی که هنوز کامپیوترهای تجاری وجود نداشتند، دانشمندانی به نام‌های مک‌کالاک و پیتس پژوهش‌هایی را آغاز کردند تا بررسی کنند چگونه شبکه‌های کوچک از نورون‌های مصنوعی می‌توانند عملکردهایی مشابه مغز انسان داشته باشند.

ویژگی میان‌رشته‌ای این تحقیقات از آنجا روشن می‌شود که مک‌کالاک و پیتس در مقاله‌ای کلاسیک به نام «چشم قورباغه به مغز قورباغه چه می‌گوید» (لتوین و همکاران، ۱۹۵۹) هم نقش داشتند؛ جالب این‌که این مقاله در یک مجله زیست‌شناسی منتشر نشد، بلکه در مجموعه مقالات مؤسسه مهندسان رادیو (Proceedings of the Institute of Radio Engineers) به چاپ رسید.

با گذشت زمان و افزایش دسترسی به کامپیوترها، امکان آزمایش شبکه‌های عصبی مصنوعی در زمینه شناسایی الگوهای ساده فراهم شد. اما تاریخچه شبکه عصبی مصنوعی نشان می‌دهد که این پیشرفت‌ها به کندی صورت گرفت، بخشی از این کندی به این دلیل بود که بودجه‌های تحقیقاتی بیشتر به روش‌های سنتی‌تر اختصاص پیدا می‌کرد که تمرکزی بر تقلید ساختار عصبی مغز نداشتند، و همچنین الگوریتم‌های اولیه یادگیری شبکه‌های عصبی مصنوعی محدودیت‌های زیادی داشتند.

پاورپوینت انواع شبکه های عصبی مصنوعی (ANN)

کلیک کنید

در مجموع، روند توسعه شبکه‌های عصبی مصنوعی مدرن، شامل پیشرفت‌های مرحله‌ای و چشمگیری بوده که در مسیر آن، دوره‌هایی از رکود و توقف نیز وجود داشته است؛ دوره‌هایی که به آن‌ها «زمستان‌های شبکه عصبی» گفته می‌شود. برای درک بهتر انواع مختلف شبکه‌های عصبی مصنوعی، می‌توانید به شکل ۱ مراجعه کنید.

پرسیپترون

در سال 1958، پرسیپترون «Perceptron» توسط فرانک روزنبلات به عنوان یک مدل الهام گرفته از ساختار نورونی مغز معرفی شد و نقطه عطفی در تاریخچه شبکه عصبی مصنوعی به شمار می‌رود. این الگوریتم یادگیری پیشگامانه، امکان یادگیری ارتباط بین ورودی‌ها و خروجی‌ها را به شیوه‌ای مشابه با یادگیری انسانی فراهم می‌کرد.

پاورپوینت پرسپترون چند لایه — ساختار و ابزارهای آن

کلیک کنید

به طور خاص، پرسیپترون قادر بود تا بین یک تصویر ساده ورودی و خروجی مورد نظر، ارتباط برقرار کند؛ به این معنی که می‌توانست تشخیص دهد آیا یک شیء خاص در تصویر وجود دارد یا خیر. این نوآوری، راه را برای پیشرفت‌های بعدی در شبکه‌های عصبی و یادگیری ماشین هموار کرد. شکل 2 یک نمونه ساده از پرسپترون را نشان می‌دهد.

اولین زمستان شبکه عصبی

علیرغم شباهت‌های چشمگیر شبکه‌های عصبی مصنوعی با شیوه عملکرد حافظه انسانی، این حوزه در سال ۱۹۶۹ وارد دوره‌ای از رکود شد که به آن اولین زمستان شبکه عصبی می‌گویند. عامل اصلی این زمستان، انتقادات تأثیرگذار مینسکی و پاپرت بود که در کتاب موتورهای هوش مصنوعی نشان دادند پرسیپترون‌ها قادر به یادگیری الگوهای پیچیده نیستند، مگر آنکه این الگوها از نوع خطی قابل جداسازی باشند. این محدودیت بنیادین باعث شد بسیاری از محققان امید خود را به پرسیپترون از دست بدهند و بودجه‌های پژوهشی به سمت روش‌های دیگر سوق پیدا کند.

اما حتی در این دوران رکود، نور امید خاموش نشد. در طول این زمستان سرد، قابلیت‌های شبکه‌های خطی در قالب هولوفون‌ها توسط لانگ‌هت-هیگز (۱۹۶۸)، کرولوگراف‌ها توسط لانگ‌هت-هیگز، ویلاشو و بونمان (۱۹۷۰)، و حافظه‌های ماتریس همبستگی توسط کوهنن (۱۹۷۲) مورد بررسی قرار گرفت. این تلاش‌ها، پایه‌هایی را برای پیشرفت‌های بعدی در شبکه‌های عصبی فراهم کرد و نشان داد که حتی در دوران ناامیدی، امکان کشف و نوآوری وجود دارد.

این دوره، یادآور این نکته است که پیشرفت در علم و فناوری، همواره با فراز و نشیب‌هایی همراه است و حتی شکست‌ها نیز می‌توانند درس‌هایی ارزشمند برای آینده باشند.

شبکه های عصبی بازگشتی و شبکه های حافظه

پس از محدودیت‌های پرسیپترون و اولین زمستان شبکه‌های عصبی، توجه پژوهشگران به مدل‌هایی جلب شد که بتوانند نوعی حافظه یا نگهداری اطلاعات در خود داشته باشند. این شبکه‌ها با الهام از رفتارهای حافظه‌ای مغز انسان طراحی شدند و راه را برای توسعه مدل‌های پیچیده‌تر باز کردند. در این بخش، به بررسی نمونه‌های اولیه این مدل‌ها مانند شبکه عصبی هاپفیلد، ماشین بولتزمن و ارتباط شبکه‌های عصبی با حافظه انسانی پرداخته می‌شود.

شبکه عصبی هاپفیلد

در سال 1982، شبکه هاپفیلد به عنوان یک نقطه آغاز در تاریخچه شبکه عصبی مصنوعی ظاهر شد و عصر مدرن این حوزه را رقم زد (شکل 3). جان هاپفیلد، با این ایده که «توانایی مجموعه‌های بزرگ نورون‌ها برای انجام وظایف محاسباتی ممکن است تا حدی نتیجه جمعی خودجوش ناشی از داشتن تعداد زیادی نورون ساده و در تعامل باشد»، دیدگاه جدیدی را در مورد نحوه عملکرد شبکه‌های عصبی ارائه کرد.

پاورپوینت آماده درباره شبکه های عصبی هاپفیلد

کلیک کنید

اگرچه شبکه‌های هاپفیلد به خودی خود کاربردهای عملی محدودی داشتند، اما اهمیت آن‌ها در ارائه یک چارچوب نظری مبتنی بر مکانیک آماری بود. این چارچوب، پایه‌های اساسی را برای توسعه ماشین بولتزمن توسط آکلی، هینتون و سجنوسکی در سال 1985 فراهم کرد. ماشین بولتزمن، به عنوان یک مدل یادگیری عمیق اولیه، نقش مهمی در پیشرفت‌های بعدی شبکه‌های عصبی ایفا کرد.

شبکه‌های هاپفیلد، با ارائه یک دیدگاه جدید و ایجاد پایه‌های نظری لازم، به عنوان یک جرقه در عصر مدرن شبکه‌های عصبی عمل کردند و راه را برای پیشرفت‌های چشمگیر در این حوزه هموار ساختند.

شبکه های عصبی و حافظه انسانی

شبکه‌های عصبی، به ویژه پرسپترون‌ها، ویژگی‌های شگفت‌انگیزی با حافظه انسانی دارند. این شباهت‌ها باعث شده تا درک ما از عملکرد مغز و همچنین توسعه سیستم‌های هوشمند پیشرفته‌تر، عمق بیشتری پیدا کند. سه ویژگی اصلی که این دو سیستم را به هم نزدیک می‌کند. عبارتند از:

• دسترسی بر اساس محتوا: بر خلاف حافظه‌های کامپیوتری که نیازمند آدرس دقیق اطلاعات هستند، شبکه‌های عصبی مانند حافظه انسان، بر اساس محتوا قابل دسترسی هستند. یعنی با دیدن یک تصویر یا شنیدن یک صدا، حافظه تحریک می‌شود و اطلاعات مرتبط بازیابی می‌شوند (شکل 4).

• توانایی تعمیم اطلاعات: شبکه‌های عصبی این قابلیت را دارند که با ورودی‌های مشابه (اما نه دقیقاً یکسان)، ارتباطات یادگرفته‌شده را بازیابی کنند. این توانایی تعمیم، که در انسان‌ها نیز وجود دارد، به شبکه‌ها اجازه می‌دهد تا فراتر از ارتباطات دقیق یادگرفته‌شده عمل کنند و با شرایط جدید سازگار شوند.
• مقاومت در برابر آسیب جزئی: اگر یک بخش از شبکه عصبی آسیب ببیند، کل سیستم از کار نمی‌افتد. بلکه، عملکرد شبکه به طور تدریجی کاهش می‌یابد. این تخریب تدریجی، که مشابه فرآیندهای پیری و آسیب در حافظه انسان است، نشان‌دهنده مقاومت و انعطاف‌پذیری شبکه‌های عصبی است.

این شباهت‌ها نشان می‌دهد که شبکه‌های عصبی نه تنها ابزاری قدرتمند برای حل مسائل پیچیده هستند، بلکه می‌توانند به عنوان مدل‌هایی برای درک بهتر عملکرد مغز انسان نیز مورد استفاده قرار گیرند.

آموزش شبکه عصبی بازگشتی Elman در متلب

کلیک کنید

ماشین بولتزمن

در سال 1984، جی هینتون، تی سجنوسکی و دی آکلی با این باور که «با مطالعه یک ماشین ساده و ایده‌آل که در همان دسته کلی دستگاه‌های محاسباتی مانند مغز قرار دارد، می‌توانیم به اصول زیربنایی محاسبات زیستی پی ببریم»، ماشین بولتزمن را معرفی کردند که یک تحول بزرگ در تاریخچه شبکه عصبی مصنوعی بود.

بر خلاف شبکه‌های هاپفیلد که در آن وضعیت تمام واحدها توسط ارتباطات یادگرفته شده مشخص می‌شود، ماشین بولتزمن دارای مخزنی از واحدهای پنهان است که می‌تواند برای یادگیری ارتباطات پیچیده به کار رود (شکل 5). این ویژگی، به ماشین بولتزمن اجازه می‌دهد تا الگوهای پیچیده‌تری را در داده‌ها تشخیص دهد و مدل‌سازی کند.

اهمیت ماشین بولتزمن در این است که باعث ایجاد یک تغییر مفهومی در درک ما از شبکه‌های عصبی شد. پیش از این، شبکه‌های عصبی بیشتر به عنوان ماشین‌های ارتباطی منفعل در نظر گرفته می‌شدند که صرفاً ارتباطات بین ورودی‌ها و خروجی‌ها را یاد می‌گیرند. اما ماشین بولتزمن، این دیدگاه را به سمت یک مدل مولد تغییر داد؛ مدلی که قادر است داده‌های جدیدی را بر اساس الگوهای یادگرفته‌شده تولید کند.

با وجود تمام مزایایی که ماشین بولتزمن داشت، یک مشکل اساسی وجود داشت و آن سرعت یادگیری بسیار پایین بود. این سرعت آنقدر کند بود که به اصطلاح «یادگیری یخچالی» نامیده می‌شد (شکل 6)، به این معنی که یادگیری در آن به کندیِ یخ زدن آب پیش می‌رفت!

اما با این حال، ماشین بولتزمن نشان داد که شبکه‌های عصبی قادرند مسائل پیچیده کوچک‌مقیاس (یا همان مسائل آزمایشی) را حل کنند. این مسئله، به ظاهر ساده، یک پیام مهم را به همراه داشت: شبکه‌های عصبی، در اصل، می‌توانند تقریباً هر مسئله‌ای را حل کنند، حتی اگر در حال حاضر محدودیت‌هایی در سرعت و مقیاس‌پذیری وجود داشته باشد.

این دستاورد، امیدها را برای آینده شبکه‌های عصبی زنده نگه داشت و انگیزه را برای یافتن راه‌حل‌هایی برای غلبه بر چالش سرعت یادگیری افزایش داد.

فیلم آموزش شبکه عصبی Heb در متلب

کلیک کنید

شبکه عصبی پس انتشار

با الهام از ماشین بولتزمن، روشی کارآمدتر برای یادگیری شبکه‌های عصبی معرفی شد. این روش که در سال ۱۹۸۶ توسط روملهارت، هینتون و ویلیامز ابداع گردید، به الگوریتم پس‌انتشار «Backpropagation» شهرت یافت. این الگوریتم پاسخی عملی و مؤثر به چالش دیرینه آموزش شبکه‌های چندلایه بود چنان‌که تی سجنوسکی و سی روزنبرگ در همان سال گفتند «تا همین اواخر، یادگیری در شبکه‌های چندلایه یک مسئله حل‌نشده بود و توسط برخی غیرممکن تلقی می‌شد.»

شبکه پس‌انتشار شامل سه لایه واحد است:

1. لایه ورودی: داده‌ها را دریافت کرده و از طریق وزن‌های ارتباطی به لایه میانی منتقل می‌کند.
2. لایه پنهان «Hidden Layer»: پردازش‌های لازم را بر روی داده‌های ورودی انجام می‌دهد.
3. لایه خروجی: نتایج نهایی را ارائه می‌دهد.

که همان‌طور که در شکل ۷ مشاهده می‌شود، به صورت سلسله‌وار به هم متصل‌اند. الگوریتم پس‌انتشار از طریق محاسبه تدریجی شیب خطا و به‌روزرسانی وزن‌ها در جهت کاهش خطا، یادگیری را در شبکه ممکن می‌سازد.

الگوریتم پس انتشار از تحولات بزرگ در تاریخچه شبکه عصبی مصنوعی محسوب می‌شود، چرا که برای نخستین بار نشان داد شبکه‌های عصبی می‌توانند وظایف پیچیده‌ای را به روشی شبیه به یادگیری انسانی انجام دهند. یکی از برجسته‌ترین نمونه‌ها در این زمینه، پروژه‌ی NETtalk بود؛ یک شبکه عصبی با پس‌انتشار که توانست متن نوشتاری را به فونم‌های گفتاری (واحدهای صوتی پایه) تبدیل کند.

پاورپوینت انواع سلول ها و لایه ها در شبکه های عصبی

کلیک کنید

جالب‌تر اینکه خروجی‌های صوتی NETtalk، در ابتدای فرآیند یادگیری، شباهت زیادی به صدای غرغر نوزادان انسان داشتند. این نوع توصیف باعث شد این پروژه بازتاب وسیعی در رسانه‌های عمومی داشته باشد. این تشبیه انسان‌گونه به افزایش محبوبیت شبکه‌های عصبی با پس‌انتشار و پذیرش عمومی آن‌ها کمک زیادی کرد.

با این پیشرفت، مسیر برای توسعه سیستم‌های گفتار، ترجمه ماشینی و سایر کاربردهای هوش مصنوعی هموارتر شد.

یادگیری تقویتی

در کنار پیشرفت‌های صورت‌گرفته در حوزه شبکه‌های عصبی، یادگیری تقویتی نیز از دهه ۱۹۸۰ تا ۱۹۹۰ به‌طور قابل‌توجهی توسعه یافت. بخش عمده این پیشرفت‌ها به تلاش‌های ریچارد ساتون و اندرو بارتو نسبت داده می‌شود که بعدها در کتاب معروف خود در سال ۲۰۱۸ به‌صورت جامع به این موضوع پرداختند.

یادگیری تقویتی ترکیبی الهام‌بخش از بازی‌های کامپیوتری اولیه که توسط کلود شانون (۱۹۵۰) و آرتور ساموئل (۱۹۵۹) مطرح شدند، نظریه کنترل بهینه در مهندسی، و مطالعات روانشناسی مرتبط با محرک و پاسخ است. این شیوه یادگیری به سیستم‌ها کمک می‌کند تا از طریق آزمون‌ و خطا و دریافت پاداش یا تنبیه، بهترین تصمیم‌ها را در محیط‌های پویا اتخاذ کنند.

در سال‌های اخیر، الگوریتم‌های یادگیری تقویتی با بهره‌گیری از شبکه‌های عصبی عمیق (که در ادامه بیشتر به آن‌ها خواهیم پرداخت)، عملکرد بسیار بهتری پیدا کرده‌اند و در حل مسائل پیچیده، از بازی‌های استراتژیک گرفته تا کنترل ربات‌ها، به‌کار گرفته می‌شوند.

نتایج اولیه در زمینه یادگیری تقویتی نشان داد که حتی مسائل دشوار ولی کوچک‌مقیاس، مانند حفظ تعادل یک میله (مطابق شکل ۸)، می‌توانند با دریافت بازخورد ساده به شکل پاداش حل شوند. این موضوع نخستین‌بار توسط میچی و چمبرز در سال ۱۹۶۸ و سپس در پژوهش‌های بارتو، ساتون و اندرسون در سال ۱۹۸۳ مورد بررسی قرار گرفت.

در سال‌های اخیر، ترکیب یادگیری تقویتی با یادگیری عمیق باعث دستیابی به توانایی‌های شگفت‌انگیزی شده است. برای مثال، الگوریتمی توسعه یافته که می‌تواند یاد بگیرد چگونه با بهره‌گیری از جریان‌های حرارتی، مانند پرندگان، ارتفاع بگیرد (مطابق شکل ۹). این ترکیب هوشمندانه از دو رویکرد یادگیری، گامی مهم در جهت ساخت سیستم‌هایی است که می‌توانند در محیط‌های واقعی و پیچیده عملکرد مؤثری داشته باشند.

یکی از جذاب‌ترین حوزه‌هایی که یادگیری تقویتی در آن خوش درخشیده، دنیای بازی‌های کامپیوتری و تخته‌ای است. این مسیر موفقیت‌آمیز از دهه ۱۹۹۰ آغاز شد، زمانی که برنامه‌ای به نام TD-Gammon که توسط تساورو طراحی شده بود، توانست به سطحی برسد که بهترین بازیکن بک‌گامون جهان را شکست دهد. واژه TD در نام این برنامه، مخفف «تفاوت زمانی» (Temporal Difference) است که یکی از اجزای یادگیری تقویتی به شمار می‌رود. نکته جالب درباره TD-Gammon این بود که سبک بازی تازه و خلاقانه‌ای ارائه داد که بعدها حتی توسط استادان بزرگ بازی نیز پذیرفته شد.

در سال ۲۰۱۶، یک نقطه عطف مهم دیگر رقم خورد. برنامه‌ای به نام AlphaGo که توسط شرکت DeepMind توسعه یافته بود، توانست لی سدل، قهرمان افسانه‌ای و ۱۸ دوره‌ای بازی گو را شکست دهد. این پیروزی بازتاب جهانی داشت. تنها یک سال بعد، نسخه پیشرفته‌تر این برنامه به نام AlphaGo Zero پا به میدان گذاشت. برخلاف نسخه قبلی که با مشاهده ده‌ها هزار بازی انسانی آموزش دیده بود، AlphaGo Zero بدون دیدن حتی یک بازی انسانی و تنها از طریق آزمون و خطا به مهارت بی‌نظیری رسید. نتیجه؟ شکست کامل نسخه قبلی یعنی AlphaGo، بدون حتی یک باخت!

نکته قابل توجه این است که هم TD-Gammon و هم AlphaGo Zero سبک‌های جدیدی از بازی ارائه دادند که در ابتدا برای انسان‌ها عجیب و غیرقابل درک به نظر می‌رسید، اما بعدها مشخص شد که این سبک‌ها بسیار مؤثر و کارآمدند. همان‌طور که TD-Gammon باعث تغییر استراتژی‌های سنتی در بازی بک‌گامون شد، AlphaGo Zero نیز نگاه بازیکنان حرفه‌ای به بازی گو را دگرگون کرد.

در واقع، ما اکنون در دنیایی زندگی می‌کنیم که انسان‌ها از ماشین‌هایی یاد می‌گیرند که خودشان یاد می‌گیرند — گامی بزرگ در مسیر هوش مصنوعی پیشرفته.

پاورپوینت یادگیری تقویتی در پایتون — Reinforcement Learning

کلیک کنید

جالب است بدانید که آلن تورینگ، یکی از پیشگامان علم کامپیوتر، در سال ۱۹۵۱ پیش‌بینی کرده بود که روزی ماشین‌ها می‌توانند از قدرت ذهنی انسان‌ها فراتر بروند. او گفته بود: «وقتی ماشین‌ها یاد بگیرند چگونه فکر کنند، خیلی زود توانایی ما را پشت سر خواهند گذاشت.»

با این نگاه آینده‌نگرانه، شاید شگفت‌زده شدن از پیشرفت‌های چشمگیر هوش مصنوعی، به‌ویژه در حوزه شبکه‌های عصبی، چندان عجیب نباشد. اما موفقیتی که برنامه AlphaGo Zero به‌دست آورد، در نوع خود بی‌سابقه بود. این برنامه توانست نسخه قبلی خود یعنی AlphaGo را شکست دهد — همان برنامه‌ای که قهرمان جهان در بازی «گو» را مغلوب کرده بود.

شاید این‌گونه توجیه کنیم که AlphaGo Zero تعداد بازی‌های بسیار بیشتری نسبت به یک انسان در طول عمرش انجام داده، اما واقعیت این است که این سیستم یادگیری آن‌قدر قوی شده که می‌تواند از هر انسانی در زمین بهتر عمل کند. به عبارت دیگر، AlphaGo Zero به سطحی از بازی دست یافته که از نظر آماری، عملکردی بهتر از ۹۹.۹۹۹۹۹۹۹۹ درصد جمعیت دنیا دارد.

این دستاورد تنها یک پیروزی فنی نیست؛ بلکه نمایانگر آینده‌ای است که در آن، هوش مصنوعی می‌تواند فراتر از درک و توانایی انسان عمل کند — همان آینده‌ای که تورینگ دهه‌ها پیش از آن سخن گفته بود.

دومین زمستان شبکه عصبی

دومین زمستان شبکه عصبی اصطلاحی است که به دوره‌ای از رکود در تحقیقات و سرمایه‌گذاری‌های هوش مصنوعی، به‌ویژه شبکه‌های عصبی، اشاره دارد. این زمستان تقریباً از اواخر دهه ۱۹۸۰ تا اوایل دهه ۲۰۰۰ ادامه داشت.

– چرا دومین زمستان اتفاق افتاد؟

• محدودیت‌های عملی شبکه‌های عصبی آن زمان: با وجود پیشرفت‌هایی مانند الگوریتم پس‌انتشار خطا (Backpropagation)، شبکه‌های عصبی کلاسیک به دلیل مشکل در یادگیری لایه‌های عمیق‌تر و نیاز به داده‌های زیاد، عملاً در پروژه‌های واقعی محدود بودند.
• انتظارات بیش از حد و وعده‌های تحقق‌نیافته: وعده‌هایی که محققان در دهه ۸۰ درباره کاربردهای گسترده شبکه‌های عصبی داده بودند، به واقعیت تبدیل نشدند. این موضوع باعث شد حمایت مالی شرکت‌ها و دولت‌ها کاهش یابد.
• موفقیت سایر روش‌های یادگیری ماشین: روش‌هایی مانند ماشین بردار پشتیبان (SVM)، درخت‌های تصمیم و الگوریتم‌های آماری توجه بیشتری به خود جلب کردند و در بسیاری از کاربردهای عملی جایگزین شبکه‌های عصبی شدند.
• مشکلات محاسباتی و سخت‌افزاری: سخت‌افزارهای دهه ۹۰ برای آموزش شبکه‌های عمیق مناسب نبودند و محاسبات موردنیاز بسیار زمان‌بر بود.

از بازپراکندگی تا یادگیری عمیق

نظریه‌ها نشان می‌دهند که یک شبکه بازپراکندگی «Wide Network» با تنها دو لایه پنهان می‌تواند هر ورودی را به هر خروجی دلخواهی مرتبط کند. به بیان ساده، چنین شبکه‌ای از نظر تئوری توانایی انجام بسیاری از وظایف را دارد. اما چالش اصلی در عمل، آموزش دادن این شبکه‌ها برای رسیدن به آن عملکرد مطلوب است.

یک راه‌حل منطقی این است که تعداد واحدها در هر لایه و تعداد لایه‌های مخفی را افزایش دهیم، چون این کار باید یادگیری را بهبود بخشد (حداقل از نظر نظری). با این حال، تجربه نشان داد که شبکه‌های بازپراکندگی معمولی هنگام کار با ساختارهای پیچیده‌تر مانند مدل‌های یادگیری عمیق، به خوبی عمل نمی‌کنند و در یادگیری دچار اختلال می‌شوند.(شکل 10)

همین محدودیت‌ها باعث شد محققان به‌سمت معماری‌های پیشرفته‌تری مانند یادگیری عمیق (Deep Learning) حرکت کنند — معماری‌هایی که توانسته‌اند چالش‌های آموزش شبکه‌های عصبی را به‌خوبی مدیریت کنند و در نتیجه در مسائل پیچیده عملکردی خیره‌کننده داشته باشند.

با مرور تاریخچه شبکه عصبی مصنوعی، می‌بینیم که پایه‌های هوش مصنوعی بر اساس تحقیقات اولیه در زمینه‌هایی مانند شبکه‌های هاپفیلد، ماشین‌های بولتزمن، الگوریتم‌های ساده یادگیری و یادگیری تقویتی شکل گرفتند. اما برای اینکه این فناوری‌ها به مرحله‌ی تحول برسند و به شکل امروزی خود یعنی یادگیری عمیق «Deep Learning» درآیند، به سه عامل مهم نیاز بود:

1. کامپیوترهای به مراتب سریع‌تر
2. مجموعه‌های دادهٔ آموزشی بسیار بزرگ‌تر
3. بهبودهای تدریجی در الگوریتم‌های یادگیری

پاورپوینت آماده ترنسفورمر در یادگیری عمیق

کلیک کنید

با پیشرفت پردازنده‌های گرافیکی (GPU) و توسعه تکنیک‌های جدید مانند شبکه‌های کانولوشنی (CNN) و روش‌های تنظیم (Regularization)، در دهه ۲۰۱۰ شبکه‌های عصبی دوباره احیا شدند. این بازگشت با عنوان ظهور یادگیری عمیق (Deep Learning) شناخته می‌شود.

تشخیص اینکه کدام یک از این عوامل نقش بیشتری در پیشرفت سریع هوش مصنوعی داشته‌اند، کار ساده‌ای نیست (سجنوسکی، ۲۰۱۸). اما آنچه مسلم است، این است که امروزه دولت‌ها و شرکت‌های بزرگ فناوری، منابع زیادی را به تحقیقات در زمینه شبکه‌های عصبی و یادگیری ماشین اختصاص داده‌اند. بنابراین، به نظر می‌رسد که آخرین زمستان شبکه‌های عصبی اکنون به پایان رسیده باشد.

نتیجه‌گیری

دوستان عزیز، با مطالعه این مقاله در مورد تاریخچه شبکه عصبی مصنوعی مشاهده کردید که این حوزه مسیر پرفراز و نشیبی را طی کرده و با پیشرفت‌های اخیر در حوزه سخت‌افزار، داده‌های بزرگ و الگوریتم‌های یادگیری، توانسته‌اند به موفقیت‌های چشمگیری دست پیدا کنند. این فناوری‌ها اکنون قادرند پیچیده‌ترین مسائل را به شکلی شگفت‌انگیز حل کنند و روزبه‌روز به شباهت بیشتری به هوش انسانی دست می‌یابند.

با توجه به سرمایه‌گذاری‌های گسترده در این حوزه و کاربردهای فراوان آن، می‌توان با اطمینان گفت که عصر جدیدی از هوش مصنوعی آغاز شده است که می‌تواند دنیای ما را به شکل اساسی تغییر دهد. همراهان گرامی پی استور، امیدواریم این مقاله برای شما مفید بوده باشد و شما را در درک بهتر پیشرفت‌های هیجان‌انگیز شبکه‌های عصبی یاری کند.