Пререквизиты
Напомним, что важно знать и уметь, чтобы учиться на курсе: — уметь программировать на Python;— знать основы машинного обучения (терминология, основные метрики, которые используются при решении задач машинного обучения: accuracy, precision, recall, MSE);— знать библиотеки pandas, numpy, sklearn.
• Python & NumPy & etc
• Линейная алгебра
• Дифференцирование
• Тервер и матстат
• Теорема Байеса
Персептрон
Изучите основны глубокого машинного обучения. Научитесь работать с тензорами, строить простейшую нейронную сеть и цикл обучения сети.
• Линейная регрессия
• Логистическая регрессия
• Персептрон
Многослойная нейронная сеть
Научитесь строить многослойную сеть со слоями для регуляризации и использовать различные оптимизаторы.
• Многослойный персептрон
• Переобучение & недообучение
• Регуляризация
• Градиентный спуск
Свёрточные сети
Научитесь использовать различные элементы архитектур для проектирования и создания сетей, а также предобученные сети — Fine-tuning.
• Свёртки
• Padding and stride
• Pooling
• LeNet
Современные свёрточные архитектуры
Изучите основные этапы развития свёрточных сетей и применяемые подходы и архитектуры.
• AlexNet
• VGG
• NiN
• GoogLeNet
• ResNet
• DenseNet
Рекуррентные сети
Научитесь строить рекуррентные нейронные сети с использованием emmbedding-слоя. Сможете генерировать текст на основе символьной rnn-модели. Разберёте недостатки и проблемы классических рекуррентных сетей. Узнаете, как устроены GRU и LSTM-ячейки и как их использовать. Научитесь строить многослойные и двунаправленные нейронные сети. Потренируетесь решать задачи машинного перевода на основе рекуррентных сетей.
• Обработка текстов
• Рекуррентная сеть
• Backpropagation through time
• Проблемы классических RNN
• GRU и LSTM
• Различные типы задач recurrent-networks
• Deep RNN
• BiRNN
• Encoder-Decoder архитектура
Механизм внимания
Научитесь встраивать механизм внимания в рекуррентные сети.
• Attention
• Beam Search
Компьютерное зрение
Научитесь использовать готовые реализации структурных элементов алгоритмов для детекции на основе нейронных сетей с помощью пакета torchvision. Узнаете, как строить нейронные сети типа U-net для решения задачи семантической сегментации. Научитесь применять подход градиентного спуска для модификации картинки. Разберётесь, как переносить стиль с картинки на картинку.
• Object Detection
• Region Based CNN
• Семантическая сегментация и подготовка датасета
• Deconvolution (Transposed Convolution)
• Fully Convolutional Network
• Перенос стиля
• Определение пород собак
Работа с текстом
Научитесь строить векторизаторы слов на основе нейронных сетей. Разберётесь, как применять готовые реализации векторизаторов и использовать предобученные веса. Научитесь строить нейронные сети на основе архитектуры Transformer. Сможете решать задачу классификации текста с использованием трансформеров.
• Embeddings
• Word2Wec
• FastText
• Transformer
• Bert
• Elmo
GAN
Научитесь применять обычные и вариационные автоэнкодеры и строить архитектуру генеративных состязательных сетей.
• Базовая архитектура
• Идея дискриминатора и генератора
Итоговый проект
Вы самостоятельно выберете тему диплома и в течение месяца будете работать над проектом под руководством экспертов курса. По итогу вы защитите диплом перед экспертом.
