شبکه عصبی و توابع انتقال یا فعال سازی در متلب Activation Functions

توابع انتقال (activation function) شبکه عصبی توابعی را شامل می شود که کار نگاشت اطلاعات خروجی نرون بر روی مقادیر قابل قبول به جهت نمایش خروجی بر عهده دارند و برای هر شبکه عصبی کاربرد مختص به خود را دارد. در این پست از مجله پی استور در قالب فیلم آموزش ۱ ساعته نگاهی کلی به شبکه‌های عصبی و توابع فعال ساز داشته ایم.

تعریف شبکه‌های عصبی مصنوعی

شبکه عصبی مصنوعی (Artificial Neural Network) یک سیستم محاسباتی است که از ساختار و الهام از سیستم‌های عصبی مغز انسان برای پردازش اطلاعات و یادگیری مدل‌های پیچیده استفاده می‌کند. این شبکه‌ها از لایه‌های متعدد از نرون‌های مصنوعی تشکیل شده‌اند که با هم در تعامل هستند. هر نورون وزن‌های خاصی دارد و با ورودی‌ها تا وزن‌ها را ترکیب می‌کند و خروجی را تولید می‌کند.

هدف اصلی شبکه‌های عصبی مصنوعی؛ یادگیری الگوها و ویژگی‌های پیچیده در داده‌ها است، به گونه‌ای که بتوانند وظایفی مانند تصویربرداری، تشخیص گفتار، ترجمه متون، و دیگر وظایف هوش مصنوعی را بهبود بخشند. این شبکه‌ها از الگوریتم‌های یادگیری عمیق بهره می‌برند و با تعداد زیادی داده آموزشی به کار می‌روند تا مدل‌هایی با قابلیت تعمیم بالا ایجاد شود.

تعریف توابع انتقال یا فعال سازی

توابع انتقال یا توابع فعال‌سازی (Activation Functions) نقش کلیدی در عملکرد شبکه‌های عصبی مصنوعی ایفا می‌کنند. این توابع تعیین می‌کنند که هر نورون، پس از دریافت مجموع وزن‌دار ورودی‌ها، چه مقدار سیگنال به لایه بعدی ارسال کند. اگر شبکه فاقد تابع فعال‌سازی باشد، در عمل مانند یک مدل خطی ساده عمل خواهد کرد و نمی‌تواند الگوهای پیچیده یا غیرخطی را یاد بگیرد. به همین دلیل، استفاده از توابع انتقال به شبکه‌ها این امکان را می‌دهد که رفتارهای غیرخطی را مدل‌سازی کرده و مسائلی با پیچیدگی بالا را حل کنند.

توابع فعال‌سازی به دو دسته کلی خطی و غیرخطی تقسیم می‌شوند. توابع خطی در کاربردهای محدود و ساده به کار می‌روند، در حالی‌که توابع غیرخطی مانند Sigmoid، Tanh، ReLU و Softmax در بیشتر شبکه‌های عصبی مدرن مورد استفاده قرار می‌گیرند. هر تابع ویژگی‌های خاص خود را دارد، از جمله محدوده خروجی، مشتق‌پذیری، سرعت همگرایی و مقاومت در برابر مشکلاتی مانند ناپدید شدن گرادیان. انتخاب صحیح تابع انتقال می‌تواند تأثیر زیادی بر عملکرد نهایی مدل، دقت یادگیری و پایداری آموزش داشته باشد؛ به همین دلیل آشنایی با انواع این توابع و درک نقاط قوت و ضعف آن‌ها برای طراحی یک شبکه مؤثر ضروری است.

فیلم آموزش شبکه عصبی و توابع فعال سازی همراه با مثال

لایه‌های شبکه عصبی

شبکه‌های عصبی به سه نوع لایه تقسیم می‌شوند:

• لایه ورودی: این لایه، داده‌های خام را به شبکه وارد می‌کند و مستقیماً به ویژگی‌های مسئله وابسته است.
• لایه‌های پنهان: وظیفه اصلی پردازش داده‌ها را این لایه‌ها بر عهده دارند. تعداد و عمق این لایه‌ها در شبکه‌های عصبی مختلف متفاوت است و بر اساس پیچیدگی مسئله تنظیم می‌شوند.
• لایه خروجی: خروجی نهایی شبکه که بسته به نوع مسئله می‌تواند یک یا چند مقدار باشد.

برای مطالعه بیشتر در زمینه انواع لایه‌های شبکه عصبی به پاورپوینت آماده موجود در این زمینه نگاهی بیندازید.

پاورپوینت انواع سلول ها و لایه ها در شبکه های عصبی — وظایف و کاربردها

کلیک کنید

توابع فعال سازی: مفهوم و اهمیت

توابع فعال سازی (Activation Functions) نقش بسیار مهمی در شبکه‌های عصبی ایفا می‌کنند. این توابع تصمیم می‌گیرند که آیا یک نورون باید فعال شود یا خیر و به عبارتی تعیین می‌کنند که خروجی نورون چه مقداری باشد. انتخاب مناسب تابع فعال سازی می‌تواند تأثیر زیادی بر روی کارایی و دقت شبکه داشته باشد.

بدون توابع فعال سازی، شبکه عصبی به سادگی یک مدل خطی خواهد بود. به عبارتی، با قرار دادن لایه‌های مختلفی از نورون‌های بدون تابع فعال سازی، شبکه توانایی پردازش مسائل غیرخطی را از دست خواهد داد و به یک نگاشت خطی ساده تبدیل می‌شود. توابع فعال سازی امکان پردازش و مدل‌سازی روابط غیرخطی را فراهم می‌آورند که برای مسائل پیچیده بسیار حیاتی است.

انواع توابع فعال سازی یا توابع انتقال

توابع فعال سازی، که با عنوان توابع انتقال نیز شناخته می‌شوند، به دو دسته کلی توابع خطی و غیرخطی تقسیم می‌شوند. توابع غیرخطی خود به چندین زیرگروه تقسیم می‌شوند که هر کدام ویژگی‌ها و کاربردهای خاص خود را دارند.

تابع فعال سازی سیگموید (Sigmoid)

یکی از قدیمی‌ترین و متداول‌ترین توابع فعال سازی است. تابع سیگموید، خروجی را به بازه بین ۰ و ۱ محدود می‌کند. ویژگی‌های مهم تابع سیگموید عبارتند از:

1. محدودیت خروجی: خروجی این تابع همواره بین ۰ و ۱ است که برای مدل‌هایی که نیاز به احتمال‌دهی دارند مفید است.
2. مشکل اشباع: در صورت قرار گرفتن ورودی در مقادیر بسیار بزرگ یا بسیار کوچک، گرادیان تابع تقریباً به صفر می‌رسد که منجر به مشکل «نایده‌گیری گرادیان» (Vanishing Gradient) می‌شود.

تابع فعال سازی تانژانت هایپربولیک (Tanh)

تابع تانژانت هایپربولیک، مشابه تابع سیگموید است با این تفاوت که خروجی را به بازه بین -۱ و ۱ محدود می‌کند. ویژگی‌های مهم تابع تانژانت هایپربولیک به‌صورت زیر است:

1. مرکزبندی در صفر: برخلاف تابع سیگموید، خروجی این تابع در اطراف صفر متمرکز است که می‌تواند در تسریع یادگیری موثر باشد.
2. مشکل اشباع مشابه سیگموید: این تابع نیز در ورودی‌های بسیار بزرگ یا کوچک دچار مشکل اشباع می‌شود.

تابع فعال سازی ReLU (Rectified Linear Unit)

تابع ReLU یکی از پرکاربردترین توابع فعال سازی در شبکه‌های عصبی عمیق است. این تابع بسیار ساده است. ویژگی‌های مهم تابع ReLU عبارتند از:

1. سادگی محاسباتی: محاسبه تابع ReLU بسیار ساده است که منجر به افزایش سرعت آموزش شبکه می‌شود.
2. عدم مشکل اشباع در مقادیر مثبت: برخلاف توابع سیگموید و تانژانت هایپربولیک، تابع ReLU در ناحیه مثبت خود دچار مشکل اشباع نمی‌شود.
3. مشکل مرگ نورون‌ها: یکی از چالش‌های اصلی تابع ReLU این است که اگر ورودی‌های منفی زیادی دریافت کند، نورون‌های مربوطه ممکن است هرگز فعال نشوند و به اصطلاح «بمیرند».

تابع فعال سازی Leaky ReLU

برای حل مشکل مرگ نورون‌ها در ReLU، تابع Leaky ReLU معرفی شده است. این تابع در ناحیه منفی به جای صفر، یک مقدار کوچک (معمولاً ۰.۰۱) را به عنوان خروجی برمی‌گرداند. این ویژگی باعث می‌شود که نورون‌ها حتی در حالت منفی نیز مقداری فعالیت داشته باشند.

تابع فعال سازی Softmax

تابع Softmax عمدتاً در لایه‌های خروجی شبکه‌هایی که به دسته‌بندی چندکلاسه نیاز دارند، استفاده می‌شود. این تابع خروجی را به یک توزیع احتمالاتی تبدیل می‌کند که مجموع خروجی‌های آن برابر با ۱ خواهد بود. ​ ویژگی‌های مهم تابع Softmax عبارتند از:

1. توزیع احتمالاتی: این تابع مقادیر خروجی را به گونه‌ای تبدیل می‌کند که قابل تفسیر به‌عنوان احتمال باشند.
2. کاربرد در شبکه‌های دسته‌بندی: تابع Softmax در مسائل دسته‌بندی چندکلاسه (Multi-class Classification) به‌عنوان لایه خروجی استفاده می‌شود.

انتخاب تابع فعال سازی مناسب

انتخاب تابع فعال سازی مناسب بستگی به نوع مسئله و معماری شبکه دارد. در شبکه‌های عصبی عمیق، معمولاً از ترکیب چندین تابع فعال سازی استفاده می‌شود. به‎عنوان مثال، ReLU یا نسخه‌های بهبود یافته آن (مانند Leaky ReLU) در لایه‌های پنهان و Softmax در لایه خروجی برای مسائل دسته‌بندی چندکلاسه بسیار متداول هستند.

توابع فعال سازی در شبکه‌های عصبی عمیق

در شبکه‌های عصبی عمیق، استفاده از توابع فعال سازی غیرخطی مانند ReLU باعث می‌شود که شبکه توانایی مدل‌سازی روابط پیچیده‌تری داشته باشد. با این حال، یکی از چالش‌های اصلی در این شبکه‌ها، مشکل نایده‌گیری یا انفجار گرادیان است که می‌تواند فرآیند آموزش شبکه را مختل کند.

توابع فعال سازی در شبکه‌های بازگشتی

در شبکه‌های عصبی بازگشتی (Recurrent Neural Networks یا RNNها)، انتخاب تابع فعال سازی از اهمیت ویژه‌ای برخوردار است. در این شبکه‌ها، از توابع فعال سازی مانند تانژانت هایپربولیک و سیگموید استفاده می‌شود. با این حال، به دلیل مشکلات مربوط به نایده‌گیری گرادیان، تکنیک‌هایی مانند LSTM (Long Short-Term Memory) و GRU (Gated Recurrent Unit) پیشنهاد شده‌اند که از توابع فعال سازی خاصی بهره می‌برند.

نتیجه‌گیری مقاله توابع انتقال

شبکه‌های عصبی مصنوعی با استفاده از ساختار لایه‌به‌لایه و نورون‌های مصنوعی توانایی مدل‌سازی و پردازش داده‌ها را دارند. در این میان، توابع فعال سازی نقش بسیار مهمی در عملکرد این شبکه‌ها ایفا می‌کنند. انتخاب تابع فعال سازی مناسب می‌تواند تأثیر چشم‌گیری در دقت و کارایی شبکه داشته باشد. بسته به نوع مسئله و معماری شبکه، توابعی مانند سیگموید، تانژانت هایپربولیک، ReLU و Softmax کاربردهای خاص خود را دارند و می‌توانند به بهبود عملکرد شبکه کمک کنند.