شبکه عصبی مصنوعی پیشخور چیست؟ — با پیاده سازی در پایتون

با گسترش روزافزون هوش مصنوعی (AI) و یادگیری ماشین (ML)، شبکه‌های عصبی مصنوعی به عنوان یکی از پایه‌های اصلی این انقلاب تکنولوژیک شناخته می‌شوند. در میان انواع مختلف این شبکه‌ها، شبکه عصبی مصنوعی پیشخور (Feedforward artificial neural network یا FNNs) به دلیل ساختار ساده و کاربردهای گسترده، جایگاه ویژه‌ای دارد.

در این مقاله، از سری مقالات آموزشی پی استور به معرفی کامل شبکه عصبی مصنوعی پیشخور، ساختار آن، توابع فعال‌سازی، روش‌های آموزش، الگوریتم‌های بهینه‌سازی مانند نزول گرادیان و همچنین نحوه ارزیابی عملکرد مدل پرداخته می‌شود. در پایان نیز نحوه پیاده‌سازی آن با استفاده از کتابخانه‌های معروفی چون TensorFlow و Keras مورد بررسی قرار می‌گیرد. هدف این مقاله آن است که با ارائه دانش پایه و کاربردی، زمینه‌ساز اجرای پروژه‌های واقعی مبتنی بر شبکه‌های عصبی برای علاقه‌مندان و پژوهشگران باشد.

تاریخچه و تکامل شبکه عصبی مصنوعی پیشخور

شبکه‌های عصبی مصنوعی پیشخور (FNN)، که امروزه یکی از ارکان اصلی هوش مصنوعی و یادگیری ماشین محسوب می‌شوند، ریشه‌های خود را در کارهای پیشگامانه وارن مک‌کالوچ و والتر پیتس در سال ۱۹۴۳ دارند. مدل اولیه آن‌ها، نورون مک‌کالوچ-پیتس، پایه‌ای برای درک چگونگی پردازش اطلاعات توسط واحدهای محاسباتی ساده بود. گام مهم بعدی در سال ۱۹۵۷ با معرفی پرسپترون توسط فرانک روزنبلات برداشته شد. پرسپترون، به عنوان یک شبکه تک‌لایه، توانایی یادگیری الگوهای خطی را داشت و اگرچه محدودیت‌هایی داشت، اما نقطه عطفی در توسعه مدل‌های یادگیرنده به شمار می‌رفت.

پیشرفت‌های مهم در دهه ۱۹۶۰، از جمله روش گروهی برای مدیریت داده‌ها (GMDH) که توسط آلکسی گ. ایواخننکو توسعه یافت، به ایجاد معماری‌های لایه‌ای و شناسایی روابط پیچیده غیرخطی کمک کرد. با وجود اینکه محدودیت‌های شبکه‌های تک‌لایه در سال ۱۹۶۹ توسط ماروین مینسکی و سیمور پاپرت برجسته شد و باعث رکود موقتی در تحقیقات شد، اما همین انتقادات، زمینه را برای توسعه مدل‌های پیچیده‌تر فراهم کرد.

پاورپوینت پرسپترون چند لایه — ساختار و ابزارهای آن

کلیک کنید

در اواخر دهه ۱۹۸۰، احیای شبکه عصبی مصنوعی پیشخور (FNN) به لطف دو پیشرفت کلیدی صورت گرفت:

1. پرسپترون‌های چندلایه «MLPs»: این شبکه‌ها با معرفی لایه‌های اضافی از نورون‌ها، امکان یادگیری روابط پیچیده‌تر را فراهم کردند.
2. الگوریتم پس‌انتشار خطا «Backpropagation»: این الگوریتم که در سال ۱۹۸۶ توسط دیوید روملهارت، جفری هینتون و رونالد ویلیامز ابداع شد، ابزار قدرتمندی برای آموزش MLPها فراهم کرد. این روش با محاسبه مؤثر گرادیان تابع خطا نسبت به وزن‌های شبکه، فرآیند یادگیری را تسهیل کرد.

شبکه‌های عصبی پیش‌خور (FNN) به عنوان یک بلوک سازنده بنیادی در یادگیری عمیق شناخته می‌شوند و مسیر را برای ایجاد معماری‌های پیچیده‌تر و قدرتمندتر هموار کرده‌اند.

شبکه عصبی مصنوعی پیشخور چیست؟

شبکه عصبی مصنوعی پیشخور، یکی از مهم‌ترین و پایه‌ای‌ترین انواع شبکه‌های عصبی مصنوعی است که در آن اطلاعات به صورت یک‌طرفه و خطی از لایه ورودی به سمت لایه‌های میانی و در نهایت به لایه خروجی جریان می‌یابد. برخلاف برخی شبکه‌های عصبی دیگر، مانند شبکه‌های بازگشتی «Recurrent Neural Networks»، در شبکه‌های پیش‌خور هیچ حلقه یا بازخوردی وجود ندارد و داده‌ها فقط به جلو منتقل می‌شوند. این ساختار ساده و مستقیم باعث می‌شود که فرآیند آموزش و تحلیل داده‌ها نسبتاً سریع و قابل فهم باشد.

برای مثال، در یک سیستم امتیازدهی اعتباری، بانک‌ها از شبکه عصبی مصنوعی پیشخور (FNN) استفاده می‌کنند که پروفایل‌های مالی کاربران مانند درآمد، سابقه اعتباری و عادات خرج‌کردن را تحلیل می‌کند تا اعتبارسنجی آن‌ها را تعیین نماید.

هر بخش از اطلاعات از میان لایه‌های شبکه عبور می‌کند، جایی که محاسبات مختلفی انجام می‌شود تا در نهایت یک امتیاز نهایی تولید شود.

ویژگی‌های کلیدی شبکه عصبی پیش‌خور

1. جهت‌دار بودن جریان اطلاعات: داده‌ها فقط از ورودی به خروجی حرکت می‌کنند و بازگشتی در کار نیست.
2. سادگی ساختار: به دلیل نبود حلقه‌ها، الگوریتم‌های آموزش مانند پس‌انتشار خطا «Backpropagation» به خوبی و به سرعت روی این شبکه‌ها عمل می‌کنند.
3. قابلیت تعمیم خوب: شبکه‌های پیش‌خور با تعداد مناسب لایه‌ها و نورون‌ها می‌توانند مسائل پیچیده غیرخطی را مدل‌سازی کنند.

کاربردهای شبکه عصبی مصنوعی پیشخور

شبکه‌های عصبی پیش‌خور به دلیل سادگی و کارایی بالا، در زمینه‌های متنوع و مهمی به کار گرفته می‌شوند که برخی از مهم‌ترین آنها عبارتند از:

1. تشخیص تصویر: استفاده برای شناسایی، طبقه‌بندی و تحلیل تصاویر، مانند تشخیص چهره، طبقه‌بندی اشیاء و تحلیل تصاویر پزشکی.
2. پردازش گفتار: تبدیل صوت به متن، تشخیص کلمات و جملات و بالعکس، که در سیستم‌های دستیار صوتی و ترجمه ماشینی کاربرد دارد.
3. سیستم‌های پیشنهاددهنده: ارائه توصیه‌های شخصی‌سازی شده به کاربران در فروشگاه‌های اینترنتی، سرویس‌های پخش موسیقی و فیلم، بر اساس الگوهای رفتاری گذشته.
4. اعتبارسنجی مالی: تحلیل داده‌های مالی برای ارزیابی ریسک، پیش‌بینی اعتبار مشتریان و تصمیم‌گیری‌های مربوط به وام‌دهی و سرمایه‌گذاری.

به طور کلی، شبکه عصبی مصنوعی پیشخور به عنوان پایه‌ای‌ترین نوع شبکه‌های عصبی مصنوعی، به خاطر ساختار ساده و قابلیت تعمیم بالایشان، در بسیاری از حوزه‌های پردازش داده و یادگیری ماشین کاربرد دارند. این شبکه‌ها با انتقال داده‌ها به صورت مستقیم و بدون بازخورد، امکان یادگیری و پیش‌بینی دقیق را فراهم می‌کنند و به همین دلیل در مسائل گوناگون از جمله تشخیص تصویر، پردازش گفتار، سیستم‌های توصیه‌گر و تحلیل‌های مالی، نقش بسیار مهمی ایفا می‌کنند.

ساختار شبکه عصبی مصنوعی پیشخور

شبکه‌های عصبی پیش‌خور دارای طراحی لایه‌ای منظم هستند که داده‌ها به‌صورت ترتیبی از هر لایه عبور می‌کنند.

1. لایه ورودی: این لایه شامل نورون‌هایی است که داده‌های ورودی را دریافت می‌کنند. هر نورون در لایه ورودی نشان‌دهنده یک ویژگی از داده‌های ورودی است.
2. لایه‌های پنهان: یک یا چند لایه پنهان بین لایه ورودی و لایه خروجی قرار دارند. این لایه‌ها مسئول یادگیری الگوهای پیچیده در داده‌ها هستند. هر نورون در لایه پنهان یک جمع وزن‌دار از ورودی‌ها را محاسبه کرده و سپس یک تابع فعال‌سازی غیرخطی بر آن اعمال می‌کند.
3. لایه خروجی: این لایه خروجی نهایی شبکه را ارائه می‌دهد. تعداد نورون‌ها در این لایه بستگی به تعداد کلاس‌ها در یک مسئله طبقه‌بندی یا تعداد خروجی‌ها در یک مسئله رگرسیون دارد.

هر اتصال بین نورون‌ها در این لایه‌ها دارای وزنی است که در طی فرایند آموزش تنظیم می‌شود تا خطای پیش‌بینی‌ها به حداقل برسد.

توابع فعال‌سازی

توابع فعال‌سازی باعث ایجاد غیرخطی بودن در شبکه می‌شوند و این امکان را فراهم می‌سازند که شبکه الگوهای پیچیده در داده‌ها را یاد بگیرد و مدل‌سازی کند.

توابع فعال‌سازی رایج عبارت‌اند از:

• سیگموید (Sigmoid): تابع سیگموید یکی از توابع غیرخطی پرکاربرد در شبکه‌های عصبی است که خروجی آن بین ۰ و ۱ قرار می‌گیرد. فرمول ریاضی آن به صورت زیر است:
  $$

$$\sigma (x) = {1 \over {1 + {e^{ – x}}}}$$

این تابع برای مدل‌هایی مناسب است که نیاز به احتمال بین صفر و یک دارند، اما ممکن است در شبکه‌های عمیق دچار مشکل نابودی گرادیان (vanishing gradient) شود.

• تانژانت هیپربولیک (Tanh): تابع Tanh خروجی را بین -1 و 1 نگه می‌دارد و نسبت به سیگموید، میانگین خروجی مرکز صفر دارد که در برخی موارد مزیت محسوب می‌شود:

$${{{e^x} + {e^{ – x}}} \over {{e^x} – {e^{ – x}}}}$$

• ReLU (Rectified Linear Unit): تابع ReLU امروزه یکی از پرکاربردترین توابع فعال‌سازی در شبکه‌های عصبی عمیق است، به دلیل سادگی محاسباتی و رفع مشکل نابودی گرادیان در اکثر حالات:

$$ReLU(x) = max(0,x)$$

 این تابع فقط مقادیر مثبت را عبور می‌دهد و مقدارهای منفی را صفر می‌کند.

تعیین وزن شبکه عصبی با الگوریتم PSO در متلب

کلیک کنید

آموزش شبکه عصبی مصنوعی پیشخور

آموزش یک شبکه عصبی مصنوعی پیشخور شامل تنظیم وزن‌های نورون‌ها برای به حداقل رساندن خطای بین خروجی پیش‌بینی‌شده و خروجی واقعی است. این فرآیند معمولاً با استفاده از الگوریتم‌های پس‌انتشار خطا «Backpropagation» و نزول گرادیان «Gradient Descent» انجام می‌شود.

1. انتشار رو به جلو «Forward Propagation»: در این مرحله، داده‌های ورودی از طریق شبکه عبور می‌کنند و خروجی محاسبه می‌شود.
2. محاسبه خطا «Loss Calculation»: میزان خطا «Loss» با استفاده از یک تابع خطا محاسبه می‌شود؛ مانند میانگین مربع خطا «MSE» برای مسائل رگرسیون یا تابع خطای کراس-انتروپی (Cross-Entropy Loss) برای مسائل طبقه‌بندی.
3. پس‌انتشار خطا «Backpropagation»: در این مرحله، خطا از طریق شبکه به عقب انتشار می‌یابد تا وزن‌ها به‌روزرسانی شوند. گرادیان تابع خطا نسبت به هر وزن محاسبه می‌شود و سپس وزن‌ها با استفاده از روش نزول گرادیان تنظیم می‌گردند.

نکته: در حین آموزش، شبکه عصبی مصنوعی پیشخور ابتدا یک مرحله‌ی پیش‌رو انجام می‌دهد و سپس با استفاده از پس‌انتشار، وزن‌ها را به‌روزرسانی می‌کند. اما هنگام پیش‌بینی، فقط مرحله‌ی پیش‌رو انجام می‌شود.

نزول گرادیان

نزول گرادیان «Gradient Descent» یک الگوریتم بهینه‌سازی است که برای به حداقل رساندن تابع خطا «Loss Function» به کار می‌رود. این کار با به‌روزرسانی تکراری وزن‌ها در جهت گرادیان منفی انجام می‌شود.

انواع رایج نزول گرادیان عبارت‌اند از:

1. نزول گرادیان دسته‌ای «Batch Gradient Descent»: در این روش، گرادیان تابع خطا با استفاده از کل مجموعه داده‌های آموزشی محاسبه شده و وزن‌ها پس از هر دور کامل (epoch) به‌روزرسانی می‌شوند. این روش دقیق است اما در datasets بزرگ، از نظر محاسباتی کند است.
2. نزول گرادیان تصادفی «Stochastic Gradient Descent یا SGD»: در این روش، وزن‌ها پس از مشاهده هر نمونه آموزشی به‌صورت جداگانه به‌روزرسانی می‌شوند. این باعث سرعت بیشتر و تنوع در مسیر بهینه‌سازی می‌شود اما ممکن است نوساناتی در روند یادگیری ایجاد کند.
3. نزول گرادیان مینی‌بچ «Mini-batch Gradient Descent»: ترکیبی از دو روش بالا است. داده‌ها به زیرمجموعه‌های کوچکی (مینی‌بچ‌ها) تقسیم می‌شوند و وزن‌ها پس از هر مینی‌بچ به‌روزرسانی می‌گردند. این روش بین دقت و سرعت توازن ایجاد می‌کند و یکی از رایج‌ترین روش‌ها در آموزش شبکه‌های عصبی است.

ارزیابی شبکه عصبی مصنوعی پیشخور

برای ارزیابی عملکرد مدل آموزش‌دیده، از معیارهای مختلفی استفاده می‌شود:

1. دقت «Accuracy»: نسبت نمونه‌هایی که به درستی طبقه‌بندی شده‌اند به کل نمونه‌ها.
2. دقت مثبت «Precision»: نسبت پیش‌بینی‌های درست مثبت به کل پیش‌بینی‌های مثبت.
3. بازخوانی «Recall»: نسبت پیش‌بینی‌های درست مثبت به کل نمونه‌های مثبت واقعی.
4. امتیاز F1 (F1 Score): میانگین هارمونیک دقت و بازخوانی که تعادلی بین این دو معیار ارائه می‌دهد.
5. ماتریس آشفتگی «Confusion Matrix»: جدولی که عملکرد مدل طبقه‌بندی را با نمایش مقادیر مثبت درست، منفی درست، مثبت کاذب و منفی کاذب نشان می‌دهد.

پیاده‌سازی شبکه عصبی مصنوعی پیشخور

کد زیر یک نمونه ساده و کلاسیک از پیاده‌سازی شبکه عصبی مصنوعی پیشخور برای طبقه‌بندی تصاویر ارقام دست‌نویس (0 تا 9) از دیتاست معروف MNIST است. این کد به زبان Python نوشته شده و با استفاده از کتابخانه‌های TensorFlow و Keras برای یادگیری عمیق طراحی شده است. پایتون به‌دلیل سادگی و کتابخانه‌های غنی، زبان اصلی در حوزه یادگیری ماشین و هوش مصنوعی محسوب می‌شود.

هدف این کد، آموزش یک مدل یادگیری عمیق با استفاده از شبکه عصبی ساده برای تشخیص و طبقه‌بندی ارقام دست‌نویس است. این ارقام از دیتاست MNIST گرفته شده‌اند که شامل هزاران تصویر سیاه‌وسفید از اعداد ۰ تا ۹ می‌باشد. در پایان، دقت مدل روی داده‌های تست بررسی می‌شود.

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Flatten
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.losses import SparseCategoricalCrossentropy
from tensorflow.keras.metrics import SparseCategoricalAccuracy

# Load and prepare the MNIST dataset
mnist = tf.keras.datasets.mnist
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0

# Build the model
model = Sequential([
    Flatten(input_shape=(28, 28)),
    Dense(128, activation='relu'),
    Dense(10, activation='softmax')
])

# Compile the model
model.compile(optimizer=Adam(),
              loss=SparseCategoricalCrossentropy(),
              metrics=[SparseCategoricalAccuracy()])

# Train the model
model.fit(x_train, y_train, epochs=5)

# Evaluate the model
test_loss, test_acc = model.evaluate(x_test, y_test)
print(f'\nTest accuracy: {test_acc}')

ساختار مدل شبکه عصبی

در این مدل از کتابخانه‌های قدرتمند TensorFlow و Keras استفاده شده و ساختار آن به صورت ترتیبی «Sequential» طراحی شده است. به‌طور کلی، مدل از سه بخش اصلی تشکیل شده است:

1. لایه تخت‌سازی «Flatten Layer»: تصاویر موجود در دیتاست MNIST به‌صورت دوبعدی (28×28 پیکسل) هستند. برای اینکه این تصاویر به عنوان ورودی به لایه‌های کاملاً متصل (Dense) داده شوند، ابتدا باید به آرایه‌ای یک‌بعدی تبدیل شوند. این کار توسط لایه Flatten انجام می‌گیرد.
2. لایه پنهان «Dense Layer» با ۱۲۸ نورون و تابع فعال‌سازی ReLU: این لایه به عنوان لایه‌ی مخفی عمل کرده و وظیفه استخراج ویژگی‌ها از داده‌های ورودی را بر عهده دارد. تابع فعال‌سازی ReLU با حذف مقادیر منفی، یادگیری شبکه را تسهیل می‌کند.
3. لایه خروجی «Output Layer» با ۱۰ نورون و تابع فعال‌سازی Softmax: این لایه خروجی نهایی شبکه را تولید می‌کند. از آنجا که دیتاست MNIST شامل ۱۰ کلاس (ارقام ۰ تا ۹) است، در این لایه ۱۰ نورون در نظر گرفته شده است. استفاده از تابع Softmax موجب می‌شود خروجی شبکه به‌صورت احتمال هر کلاس ارائه شود.

تشخیص سرطان سینه با شبکه عصبی در متلب (سورس کد کامل)

کلیک کنید

کامپایل مدل شبکه عصبی

برای اینکه مدل بتواند به درستی آموزش ببیند، نیاز است تا با پارامترهای خاصی کامپایل شود. در این فرآیند، موارد زیر تعیین شده‌اند:

1. بهینه‌ساز Adam: الگوریتم Adam یکی از محبوب‌ترین روش‌های بهینه‌سازی در یادگیری عمیق است که ترکیبی از مزایای دو الگوریتم Momentum و RMSProp را دارد.
2. تابع هزینه Sparse Categorical Crossentropy: این تابع برای مسائل طبقه‌بندی چندکلاسه با برچسب‌های عددی (نه به صورت یک‌برداری یا one-hot) بسیار مناسب است.
3. معیار ارزیابی Sparse Categorical Accuracy: این معیار برای بررسی دقت مدل در پیش‌بینی درست برچسب هر تصویر مورد استفاده قرار می‌گیرد.

پاورپوینت ساخت شبکه عصبی در پایتون — معرفی کتابخانه ها و مثال عملی

کلیک کنید

در نهایت، مدل ساخته شده به مدت ۵ دوره آموزشی «Epoch» روی مجموعه داده‌های آموزشی MNIST آموزش داده می‌شود. در هر دوره، مدل تلاش می‌کند تا وزن‌های خود را به گونه‌ای تنظیم کند که خروجی‌ها تا حد امکان به برچسب‌های واقعی نزدیک شوند.

این کد پس از آموزش یک مدل شبکه عصبی، دقت (Accuracy) مدل را روی داده‌های تست نمایش می‌دهد. چون یادگیری مدل به صورت تصادفی آغاز می‌شود «random initialization»، مقدار دقیق دقت در هر بار اجرا ممکن است کمی متفاوت باشد.

Test accuracy: 0.9767000079154968

با درک معماری، توابع فعال‌سازی و فرآیند آموزش شبکه‌های عصبی پیش‌خور، می‌توان پروژه‌های واقعی را پیاده‌سازی کرد. پیشرفت‌های مستمر در تکنیک‌های بهینه‌سازی و توابع فعال‌سازی، شبکه‌های پیش‌خور را در حوزه هوش مصنوعی کارآمدتر و مؤثرتر کرده‌اند.

آموزش شبکه عصبی با الگوریتم گرگ خاکستری GWO در متلب

کلیک کنید

نتیجه‌گیری

شبکه عصبی مصنوعی پیشخور (FNN) به عنوان یکی از بنیادی‌ترین ساختارهای شبکه‌های عصبی، نقش مهمی در پیشرفت هوش مصنوعی و یادگیری ماشین ایفا کرده است. سادگی در طراحی، امکان استفاده از توابع فعال‌سازی مختلف و بهره‌گیری از الگوریتم‌هایی مانند نزول گرادیان، این شبکه را به گزینه‌ای ایده‌آل برای مسائل طبقه‌بندی و رگرسیون تبدیل کرده است.

با درک دقیق معماری لایه‌ها، نحوه آموزش، انتخاب توابع مناسب و ارزیابی عملکرد، می‌توان شبکه‌های عصبی پیش‌خور را برای حل مسائل واقعی در حوزه‌های مختلف از جمله مالی، بینایی ماشین، پردازش زبان طبیعی و پزشکی به‌کار گرفت.