دوره آموزش هوش مصنوعی (یادگیری ماشین و یادگیری عمیق)

مقدمه و مفاهیم اصلی

• مفهوم هوش مصنوعی، علم داده، یادگیری ماشین، یادگیری عمیق و Big Data
• بررسی شغل های عملی مرتبط با موضوع در ایران و جهان
• بررسی مهارت های مورد نیاز برای استخدام در شغل های مرتبط با علم داده در بازار ایران و جهان
• بررسی برخی کاربردها و پروژه های مطرح در حوزه موضوعات دوره
• تفاوت یادگیری ماشین کلاسیک و یادگیری عمیق
• بررسی ابزارهای مختلف علم داده
• انواع یادگیری: نظارت شده، غیرنظارت شده، نیمه نظارت شده ، خودنظارتی و تقویتی

آموزش کتابخانه Numpy

• ساخت آرایه در numpy
• Indexing, Slicing, Iterating
• آرایه های چند بعدی
• دسترسی به عناصر آرایه با استفاده از numpy و اسلایسینگ
• تفاوت copy و view در آرایه numpy
• آموزش تابع reshape در numpy
• اتصال آرایه‌‌ها در numpy | تابع concatenate
• تفکیک یک آرایه به چند آرایه
• جست و جو و مرتب سازی آرایه در numpy

کتابخانه Pandas

• معرفی Series و بررسی تفاوت آن با آرایه و دیکشنری
• آموزش ساخت سری در کتابخانه pandas
• دیتافریم‌ (DataFrame) در کتابخانه Pandas
• آموزش ساخت Data Frame در Pandas
• ایندکس در پانداس
• دسترسی به المان‌های دیتافریم (DataFrame) و slicing در Pandas
• ترکیب دیتافرم ها Concat and Append
• آموزش Groupby, Pivote در Pandas
• اکتشاف دیتاست EDA

آموزش کتابخانه Matplotlib و Seaborn

• معماری Matplotlib
• Pyplot
• ترسیم نمودارهای مختلف (Line chart, Pie chart, Scatter plot, …)
• اضافه کردن جزئیات بیشتر به نمودارها
• ترسیم چند نمودار باهمدیگر

آموزش مفاهیم و مدل های یادگیری ماشین کلاسیک

• یک مساله رگرسیون ساده با استفاده از numpy
• ایجاد داده آموزشی
• ضرایب اولیه رندوم
• ساخت مدل
• فرآیند آموزش با تکنیک کاهش گرادیان
• تابع loss
• محاسبه گرادیان در هر مرحله
• بروزرسانی وزن ها در هر مرحله
• مصورسازی و ارزیابی مساله
• جداسازی داده به داده های آموزش، تست و ارزیابی
• آموزش معیارهای ارزیابی مدل های رگرسیون شامل MSE, SSE, MAE, MAPE, R2-score

آموزش مسائل Classification با Logistic Regression

• معرفی مدل و بیان ریاضیات آن (تابع Sigmoid و تابع هزینه Cross Entropy)
• آموزش بکارگیری مدل و استفاده از آن برای مسائل پیش بینی
• تعریف و حل تمرین های کاربردی با مدل Logistic regression
• معرفی دیتاست های iris و دیابت

مفاهیم Overfitting & Underfitting

• تعریف مسئله
• تشریح دلیل رخ دادن بیش برازش و کم برازش
• چگونگی تشخیص Overfitting & Underfitting
• خطاهای مربوط به bias and variance problems
• شیوه برخورد و مقابله با Overfitting & Underfitting

مفاهیم و ریاضیات Regularization

• آموزش مدل های کاربردی یادگیری ماشین کلاسیک و ماژول های scikit learn
• آموزش نرمالسازی (Normalization) و استانداردسازی (Standardization)

مدل های پرکاربرد در یادگیری ماشین کلاسیک

• آموزش ماشین های بردار پشتیبان (SVM)
• آموزش توابع کرنل در ماشین های بردار پشتیبان (Kernelized Support vector machines)
• آموزش درخت تصمیم (Decision Trees)
• الگوریتم جنگل تصادفی (Random Forest)
• آموزش معیارهای ارزیابی مدل های Classification شامل accuracy, recall, precision, f1-score, confusion matrix, roc chart, auc score

مفاهیم اصلی یادگیری عمیق

• تعریف شبکه عصبی و یادگیری عمیق
• معماری اصلی یک مدل یادگیری عمیق
• تفاوت شبکه‌های عصبی (Neural Networks) با یادگیری عمیق (Deep Learning)
• تفاوت یادگیری ماشین با یادگیری عمیق از نظر معماری مدل ها
• تفاوت یادگیری ماشین با یادگیری عمیق از نظر کاربرد
• مفهوم feed forward در یک مدل یادگیری عمیق
• توابع فعال سازی (Activation functions) و دلیل استفاده از آنها
• انواع توابع فعال سازی (Activation functions) و کاربرد هرکدام
• مفاهیم Backpropagation
• چالش های یک مساله یادگیری عمیق
• تاثیر تعداد لایه ها و تعداد نورون های هر لایه در overfitting و underfitting
• مفهوم انفجار گرادیان (Exploding Gradients)
• محوشدگی گرادیان (Gradient Vanishing)

معرفی PyTorch

• دلیل انتخاب pytorch
• نصب و راه اندازی local
• نحوه استفاده از سیستم های cloud based

کار با Tensor در PyTorch

• مفهوم tensor
• Shape, Size, Reshape
• کپی کردن تنسور
• انواع روش های ساخت تنسور
• لود کردن داده به تنسور
• مفهوم Device در tensor
• لود کردن در Device های مختلف
• تفاوت tensor های موجود در cuda یا GPU و CPU
• انتقال tensor بین cuda و cpu
• Data type در tensor و تبدیل انواع داده‌ها
• تفاوت tensor با آرایه numpy
• تبدیل tensor به آرایه numpy و برعکس

یک مساله رگرسیون ساده با PyTorch

• ایجاد پارامتر
• تفاوت پارامترهای یادگیرنده با غیر یادگیرنده (requires_grad)
• Autograd و backward
• نحوه استفاده از تابع grad در کاهش گرادیان
• دلیل استفاده از تابع zero_ در بروز رسانی وزن‌ها
• مفهوم torch.no_grad()
• Updating Parameters
• ساده سازی محاسبات با Optimizer
• توابع step و zero_grad
• تابع loss و لایه loss در pytorch
• تبدیل مساله رگرسیون numpy به مدل pytorch
• ساخت مدل شی‌گرا در pytorch
• تابع state_dict
• تابع forward در کلاس مدل
• آموزش مدل در CPU و GPU
• Sequential Models
• پیش‌بینی با استفاده از مدل

پروژه عملی: پیش بینی قیمت خانه‌های تهران

• ساخت مدل یادگیری عمیق چند لایه
• مرور مفهوم iterator در پایتون
• ماژول Dataset و TensorDataset
• مفاهیم Dataloader، Batch gradient و چالش‌های حافظه
• آموزش مدل با داده‌های خانه‌های تهران
• ارزیابی مدل
• مصورسازی میزان loss در iteration ها

TensorBoard

• نصب TensorBoard
• آموزش نحوه استفاده از TensorBoard
• تحلیل نمودارهای TensorBoard
• اضافه کردن قابلیت‌های بیشتر به TensorBoard با کدنویسی

مدیریت مدل‌ها

• ذخیره سازی مدل
• مفهوم check point
• لود کردن مدل
• استفاده از مدل در Deploy mode

یک مساله دسته‌بندی ساده (Classification)

• ساخت و آماده‌سازی دیتاست آموزشی
• ساخت مدل Binary Classification
• مفهوم logit
• نگاشت خروجی رگرسیون به احتمالات
• مفهوم odd ratio و ساخت تابع sigmoid
• تابع فعال‌سازی sigmoid و تاثیر آن
• Loss function های متناسب با sigmoid
• BCELoss و BCEWithLogitsLoss
• آموزش مدل
• ارزیابی مدل

Image Classification

• ساخت دیتاست آموزشی
• کانال ها در تصاویر و کدنویسی ساخت رنگ
• نحوه خواندن عکس در PyTorch, TensorFlow (NCHW vs NHWC)
• ماژول Torchvision و معرفی دیتاست‌های آن: MNIST, CIFAR, ImageNet
• تبدیل عکس به Tensor
• هم‌مقیاس کردن داده (Scale)
• معرفی Composer و روش‌های Data Augmentation
• ساخت ماژول Dataset برای پروژه آموزشی
• SubsetRandomSampler
• WeightedRandomSampler
• ساخت مدل
• آموزش مدل
• ارزیابی مدل با استفاده از نمودارهای مختلف و TensorBoard

توابع فعال‌سازی (Activation Functions)

• تابع Rectified Linear Unit (ReLU) و بررسی تاثیر آن در مدل
• تابع Sigmoid و بررسی تاثیر آن در مدل
• تابع Hyperbolic Tangent (TanH) و بررسی تاثیر آن در مدل
• تابع Leaky ReLU و بررسی تاثیر آن در مدل
• تابع Parametric ReLU (PReLU) و بررسی تاثیر آن در مدل

شبکه‌های پیچشی Convolutional Neural Network (CNN)

• Filter / Kernel
• لغزش کرنل روی ماتریس
• Striding
• Pooling
• Padding
• رابطه ریاضی Shape تصویر بعد از هر Convolution
• Convolving in PyTorch
• Flattening
• ساخت یک شبکه CNN (شبکه LeNet-5)
• تغییر مدل Classification از Binary Classification به Multiclass Classification

توابع فعال‌سازی و هزینه در Classification

• تابع Softmax و دلیل استفاده آن در Multiclass Classification (ریاضیات، دلیل و کاربرد)
• تابع LogSoftmax و تفاوت آن با Softmax (ریاضیات، دلیل و کاربرد)
• تابع هزینه Negative Log-Likelihood Loss (ریاضیات، دلیل و کاربرد)
• تابع هزینه Cross-Entropy Loss (ریاضیات، دلیل و کاربرد)

پروژه عملی CNN

• ساخت ماژول Dataset
• ساخت مدل
• تنظیمات مدل
• آموزش مدل
• ارزیابی مدل
• تابع Hook
• بررسی لایه‌های مختلف Convolution به‌صورت مصور و تحلیل تاثیر هر لایه در شکل‌گیری Feature Map
• بررسی و دانلود دیتاست
• آماده سازی دیتا
• نحوه فولدربندی و ذخیره سازی تصاویر در کامپیوتر
• نحوه خواندن دیتاست تصویر از هارد
• Resize کردن و تبدیل به tensor
• استاندارد سازی دیتاست
• نمایش تصاویر بعد از پیش پردازش
• Convolution سه کاناله
• ساخت مدل
• Dropout
• نمایش گرافیکی Dropout و بررسی تاثیرات آن و دلایل استفاده و موارد کاربرد آن
• Dropout دو بعدی
• تنظیمات مدل (Optimizer, Learning Rate, ...)
• آموزش مدل و بررسی نتایج
• جریمه کردن و بررسی تاثیر آن در بیش برازش (overfitting)
• نمایش مصور خروجی فیلترهای CNN جهت درک عمیق نحوه ساخت Featur map توسط لایه های پیچشی
• پیدا کردن هایپرپارامترهای مناسب مدل
• Adaptive Learning Rate
• Moving Average (MA)
• EWMA
• bias-corrected EWMA
• Adapted gradient
• بررسی جزئیات Adam Optimizer
• بررسی جزئیات SGD Optimizer
• Learning Rate Schedulers
• Epoch Schedulers
• Validation Loss Scheduler
• Mini-Batch Schedulers
• Scheduler Paths

پروژه: تشخیص بافت سرطانی با استفاده از Pytorch Lightning

• ویژگی های Pytorch Lightning
• ساخت یک مدل CNN با Pytorch Lightning
• معرفی و جمع آوری دیتاست
• Downsampling the dataset
• ماژول Dataset و لود کردن دیتاست
• Augmenting the dataset
• پیکره بندی Optimizer
• پیکره بندی چرخه آموزش و تست
• آموزش مدل
• ارزیابی مدل
• بهبود عملکرد مدل

یادگیری انتقالی (Transfer Learning)

• معرفی دیتاست ImageNet
• معرفی شبکه AlexNet
• معرفی شبکه VGG
• معرفی شبکه Inception
• معرفی شبکه ResNet
• مقایسه معماری ها از منظر خروجی
• یادگیری انتقالی در عمل
• مدل از قبل آموزش دیده
• Adaptive Pooling
• لود کردن وزن‌ها
• فریز کردن مدل
• Top of the Model
• پیکره بندی مدل
• آماده سازی داده
• آموزش مدل
• Auxiliary Classifiers
• Batch Normalization
• Batch Normalization, Mini-Batch Size, and Regularization
• BatchNorm2d
• Residual Connections
• Residual Blocks

پروژه: استفاده از ResNet-50 جهت تشخیص بافت سرطانی

• بررسی مجدد معماری ResNet-50
• آماده سازی دیتاست
• پیش پردازش دیتاست
• ساخت ماژول Dataset
• ساخت مدل
• پیکره بندی Optimizer
• پیکره بندی چرخه آموزش و تست
• آموزش مدل
• ارزیابی مدل
• بهبود عملکرد مدل

مقدمه‌ای بر Object Detection

• ایجاد Bounding Box Ground Truth برای داده آموزشی
• درک مفهوم Region Proposals
• درک مفهوم IOU
• درک مفهوم Non-max Suppression
• معیار Mean Average Precision

مدل R-CNN و نسخه‌های آن

• معماری مدل R-CNN
• پیاده سازی مدل R-CNN و آموزش برای تشخیص اشیاء
• دانلود و آماده‌سازی دیتاست
• آموزش مدل و پیش‌بینی آفست‌ها
• تشخیص اشیاء با Non-max Suppression
• معماری مدل Fast R-CNN و تفاوت با R-CNN
• پیاده‌سازی Fast R-CNN و آموزش برای تشخیص اشیاء

مدل‌های پیشرفته تشخیص اشیاء

• اجزای مدل‌های مدرن Object Detection
• Anchor Box
• Region Proposal Network
• Classification and Regression
• معماری Faster R-CNN و تفاوت با Fast R-CNN
• آموزش Faster R-CNN با دیتاست کاستوم
• جزئیات مدل YOLO
• آموزش مدل YOLO با دیتاست کاستوم

Image Segmentation

• معرفی شبکه U-Net
• اجرای Up-scale
• پروژه Semantic Segmentation با U-Net

Instance Segmentation

• معرفی مدل Mask R-CNN
• ROI Align
• Mask Head
• پروژه Instance Segmentation با Mask R-CNN

شبکه‌های Autoencoders و VAE

• معماری شبکه
• Vanilla Autoencoders
• Convolutional Autoencoders
• Variational Autoencoders (VAE)

Recurrent Neural Networks (RNNs)

• معماری و ریاضیات
• RNN Cell
• کدنویسی یک سلول RNN بدون استفاده از توابع و کلاس‌های آماده
• مفهوم Hidden State و نمایش گرافیکی تاثیر آن
• RNN Layer در PyTorch
• Shapes

Stacked RNN

• معماری
• کد پایتون
• ساخت مدل یا دیتاست آموزشی
• مصورسازی نتایج و مراحل
• بررسی کاربردها و مزایا و معایب

Bidirectional RNN

• معماری
• کد پایتون
• ساخت مدل یا دیتاست آموزشی
• مصورسازی نتایج و مراحل
• بررسی کاربردها و مزایا و معایب

Square Model

• معماری
• کد پایتون
• ساخت مدل یا دیتاست آموزشی
• مصورسازی نتایج و مراحل
• بررسی کاربردها و مزایا و معایب

Gated Recurrent Units (GRUs)

• معماری
• کد پایتون
• ساخت مدل یا دیتاست آموزشی
• مصورسازی نتایج و مراحل
• بررسی کاربردها و مزایا و معایب

Long Short-Term Memory (LSTM)

• معماری
• کد پایتون
• ساخت مدل یا دیتاست آموزشی
• مصورسازی نتایج و مراحل
• بررسی کاربردها و مزایا و معایب
• LSTM Cell
• LSTM Layer
• Variable-Length Sequences
• آماده‌سازی دیتاست
• ساخت مدل
• پیکره‌بندی مدل و آموزش

پروژه: پیش‌بینی بورس با داده‌های واقعی

• آماده‌سازی دیتاست
• ساخت ماژول Dataset
• تعریف DataLoader
• ساخت مدل RNN
• آموزش مدل و مصورسازی نتایج
• ساخت مدل BRNN
• آموزش مدل و مصورسازی نتایج
• ساخت مدل LSTM
• آموزش مدل و مصورسازی نتایج
• تحلیل نتایج و مقایسه مدل‌ها
• تعریف تابع Loss
• پیکره‌بندی Optimizer
• پیکره‌بندی چرخه آموزش و ارزیابی
• ارزیابی مدل با TensorBoard
• ذخیره و لود Checkpointها
• مصورسازی نتایج

Sequence-to-Sequence

• بیان مساله
• تولید دیتاست آزمایشی
• معماری Encoder-Decoder
• ساخت مدل Encoder-Decoder
• پیکره‌بندی و آموزش مدل
• تحلیل نتایج

مفهوم Attention

• Values
• Keys و Queries
• محاسبه Context Vector
• Scoring Method و Attention Scores
• Scaled Dot Product
• ساخت مدل Attention
• Source Mask
• ساخت Decoder
• Encoder + Decoder + Attention (معماری و کدنویسی)
• پیکره‌بندی و آموزش مدل
• مصورسازی Attention و Prediction

Self-Attention و Multi-Headed Attention

• Wide vs Narrow Attention
• Encoder Self-Attention و Cross-Attention
• Decoder Self-Attention
• Target Mask (Training & Evaluation)
• Encoder + Decoder + Self-Attention (معماری و کدنویسی)
• Positional Encoding (PE) — ریاضیات و کدنویسی
• Visualizing Predictions و Attention
• Attention Heads و Self-Attention Layers
• torch.bmm() vs torch.matmul()

Transformers

• Stacking Encoders and Decoders
• Wrapping Sub-Layers
• Transformer Encoder و Transformer Decoder
• Layer Normalization
• Batch vs Layer Normalization
• Projections یا Embeddings
• آماده‌سازی دیتاست
• پیکره‌بندی و آموزش
• مصورسازی نتایج

Vision Transformer (ViT)

• Special Classifier Token
• Model Assembly

مدل‌های مولد (Generative Models)

• معرفی مدل‌های مولد
• Generator
• Discriminator
• انواع مدل‌های GAN و کاربردها

پروژه: ساخت تصاویر بشقاب غذا با استفاده از GANs

• لود کردن دیتاست
• پیش پردازش (Resize, Center Crop, Convert to Tensors, Normalize)
• مهندسی ویژگی‌ها
• ساخت لایه‌های Convolution
• ساخت لایه Fully Connected
• مدل Generator
• Transposed Convolution و Deconvolution
• ساخت مدل GANs
• تعریف تابع Loss
• پیکره‌بندی Optimizer
• پیکره‌بندی چرخه آموزش
• ذخیره‌سازی تصاویر Fake
• آموزش مدل
• ارزیابی مدل

Self-Supervised Learning

• مفاهیم
• تعریف Self-Supervised Learning
• Contrastive Learning
• کاربردها
• معماری SimCLR

پروژه: استفاده از SimCLR در راستای تشخیص تصاویر

• آماده‌سازی دیتاست
• پیش پردازش
• Data Augmentation
• لود کردن و نمایش دیتاست
• پیکره‌بندی آموزش
• تعریف تابع هزینه
• ساخت Encoder
• SimCLR Pipeline
• آموزش مدل
• استخراج ویژگی‌ها از مدل SimCLR
• تعریف و آموزش یک Classifier
• ارزیابی نتایج

مباحث ویژه و کار با LLMها

• Diffusion Models
• Cycle GANs
• NLP
• GPT-2
• Hugging Face
• مدل CLIP
• آموزش بکارگیری LLMها در کسب‌وکار شخصی
• آموزش LLM با داده‌های شخصی‌سازی شده و Fine-Tuning