В течение семестра каждый учащийся должен успешно пройти как минимум три курса. Например, если в основной программе их два, то необходимо выбрать какой-нибудь из спецкурсов.
Знания проверяются в первую очередь с помощью домашних заданий — экзамены и контрольные проводятся только по некоторым предметам.
Первый семестр
Обязательные
Алгоритмы и структуры данных, часть 1
01Сложность и модели вычислений. Анализ учетных стоимостей (начало)
02Анализ учетных стоимостей (окончание)
03Алгоритмы Merge-Sort и Quick-Sort
04Порядковые статистики. Кучи (начало)
05Кучи (окончание)
06Хеширование
07Деревья поиска (начало)
08Деревья поиска (продолжение)
09Деревья поиска (окончание). Система непересекающихся множеств
10Задачи RMQ и LCA
11Структуры данных для геометрического поиска
12Задача о динамической связности в ненаправленном графе
Обучение языку C++, часть 1
С++ — мощный язык с богатым наследием. Тем, кто только ступил на путь освоения этого языка, очень просто заблудиться в изобилии техник и приёмов, созданных за последние 30 лет. Курс учит "Modern C++" — современному подмножеству языка (стандарты 11, 14 и 17). Много внимания уделяется инструментам и библиотекам — вещам которые не являются частью языка, но без которых не получится построить большой и сложный проект.
01Введение в С++.
02Константы. Указатели и ссылки. Передача аргументов в функцию.
03Классы.
04Динамическое управление памятью.
05Переменные, указатели и ссылки.
06Управление памятью, умные указатели, RAII.
07Стандартная библиотека шаблонов.
08Наследование и виртуальные функции.
09Обработка ошибок.
10Паттерны проектирования.
11Пространства имен Move‑семантика Perfect forwarding.
12Представление структур и классов в памяти. Выравнивание данных. Указатели на члены/методы класса. Variadic templates.
Машинное обучение, часть 1
01Основные понятия и примеры прикладных задач
02Метрические методы классификации
03Логические методы классификации и решающие деревья
04Градиентные линейные методы классификации
05Метод опорных векторов
06Многомерная линейная регрессия
07Нелинейная и непараметрическая регрессия, нестандартные функции потерь
08Прогнозирование временных рядов
09Байесовские методы классификации
10Логистическая регрессия
11Поиск ассоциативных правил
Второй семестр
Обязательные
Машинное обучение, часть 2
01Нейросетевые методы классификации и регрессии
02Композиционные методы классификации и регрессии
03Критерии выбора моделей и методы отбора признаков
04Ранжирование
05Обучение с подкреплением
06Обучение без учителя
07Задачи с частичным обучением
08Коллаборативная фильтрация
09Тематическое моделирование
На выбор
Алгоритмы и структуры данных, часть 2
01Обход в ширину. Обход в глубину (начало)
02Обход в глубину (продолжение)
03Обход в глубину (окончание). 2-разрезы
04Поиск кратчайших путей (начало)
05Поиск кратчайших путей (продолжение)
06Минимальные остовные деревья
07Минимальные разрезы. Поиск подстрок (начало)
08Поиск подстрок (продолжение)
09Поиск подстрок (окончание)
10Суффиксные деревья (начало)
11Суффиксные деревья (окончание). Суффиксные массивы (начало)
12Суффиксные массивы (окончание)
13Длиннейшие общие подстроки. Приближенный поиск подстрок.
или
Язык Python
01Основы языка (часть 1)
02Основы языка (часть 2)
03Объектно-ориентированное программирование
04Обработка ошибок
05Оформление и тестирование кода
06Работа со строками
07Модель памяти
08Функциональное программирование
09Обзор библиотек (часть 1)
10Обзор библиотек (часть 2)
11Параллельные вычисления в Python
12Расширенная работа с объектами
или
Обучение языку C++, часть 2
Вторая часть курса по С++, в которой разбираются продвинутые темы и возможности языка.
01Многопоточное программирование. Синхронизация потоков с использованием мьютексов и условных переменных.
02Атомарные переменные. Модель памяти С++. Примеры лок-фри структур данных.
03Продвинутые техники мета-программирования в С++. Метафункции, SFINAE, концепты.
04Конкурентное программирование, взаимодействие с сетью.
05Архитектура llvm. Работа с синтаксическим деревом разбора С++. Разработка инструментов для анализа С++ кода.
Третий семестр
На выбор
Natural Language Processing
"NLP (Natural Language Processing) — это подмножество более широкой области AI, которая пытается научить компьютер понимать и обрабатывать сырые данные на естественном языке. Большая часть доступной сегодня информации — это не структурированные тексты. Нам как людям, конечно, не составляет труда их понять (если они на родном языке), но мы не способны обработать такое количество данных, какое могла бы обработать машина. Но как заставить машину понимать эти данные и, более того, извлекать из них какую-то информацию? Несколько лет назад на открытии ACL (одной из основных, если не самой главной NLP-конференции) в своей президентской речи Marti Hearst призналась, что больше не может давать студентам свое любимое упражнение. На примере HAL 9000 (один из примеров искусственного интеллекта в научной фантастике) она спрашивала студентов, что машина может делать, как HAL, а что пока нет. Сейчас это уже не такое хорошее упражнение, так как почти все из этого сейчас под силу компьютеру. Поразительно, насколько быстро развивается область и как многого мы достигли. В курсе мы постараемся дать вам понять и почувствовать, что происходит в мире. Какие задачи решаются, как это происходит; как некоторые статистические подходы (которым почти полностью были посвящены курсы по NLP ещё несколько лет назад) получают новую жизнь и новую интерпретацию в нейросетях, а какие постепенно отмирают. Мы покажем, что NLP это не набор пар (задача, решение), а общие идеи, которые проникают в разные задачи и отражают некоторую общую концепцию. Вы также узнаете, что происходит на практике, когда какие подходы более применимы. Это то, что мы делаем, то, что мы любим, и мы готовы поделиться этим с вами :)"
01https://lena-voita.github.io/nlp_course.html
02https://github.com/yandexdataschool/nlp_course
или
Компьютерное зрение
"Курс посвящен методам и алгоритмам компьютерного зрения, т.е. извлечения информации из изображений и видео. Рассмотрим основы обработки изображений, классификацию изображений, поиск изображений по содержанию, распознавание лиц, сегментацию изображений. Затем поговорим про алгоритмы обработки и анализа видео. Последняя часть курса посвящена трёхмерной реконструкции. Для большинства задач будем обсуждать сущестующие нейросетевые модели. В курсе мы стараемся уделять внимание только наиболее современным методам, которые используются в настоящее время при решении практических и исследовательских задач. Курс в большей степени является практическим, а не теоретическим. Поэтому все лекции снабжены лабораторными и домашними работами, которые позволяют попробовать на практике большинство из рассматриваемых методов. Работы выполняются на языке Python, с использованием различных библиотек."
01Цифровое изображение и тональная коррекция
02Основы обработки изображений
03Совмещение изображений
04Классификация изображений и поиск похожих
05Сверточные нейросети для классификации и поиска похожих изображений
06Детектирование объектов
07Семантическая сегментация
08Перенос стиля и синтез изображений
09Распознавание видео
10Разреженная трёхмерная реконструкция
11Плотная трёхмерная реконструкция
12Реконструкция по одному кадру и облакам точек, параметрические модели
или
Байесовские методы в машинном обучении
01Байесовский подход к теории вероятностей
02Аналитический байесовский вывод
03Байесовский способ выбора модели
04Автоматическое определение релевантности
05Метод релевантных векторов для задачи классификации
06Вероятностные модели с латентными переменными
07Вариационный байесовский вывод
08Байесовская модель разделения смеси гауссиан
09Методы Монте-Карло с марковскими цепями
10Латентное размещение Дирихле
11Гауссовские процессы для регрессии и классификации
12Непараметрические байесовские методы
Четвёртый семестр
Обязательные
ML Engineering Practice
Курс представляет собой проектную работу по разработке ML-проектов в командах.
ML Research Practice
Курс представляет собой работу над командными исследовательскими проектам в области машинного обучения.
Рекомендуемые спецкурсы
Глубинное обучение
01Материал курса
Обучение с подкреплением
01Материал курса
Self Driving Cars
В курсе рассматриваются основные компоненты беспилотных технологий: локализация, перцепция, предсказание, уровень поведения и планирование движения. Для каждой из компонент будут описаны основные подходы. Кроме того, студенты познакомятся с текущим состоянием рынка и технологическими вызовами.
01Обзор основных компонент и сенсоров беспилотного автомобиля. Уровни автономности. Drive by Wire. Беспилотные автомобили как бизнес-продукт. Способы оценки прогресса в создании беспилотников. Основы локализации: gnss, колесная одометрия, байесовские фильтры.
02Методы лидарной локализации: ICP, NDT, LOAM. Введение в визуальный SLAM на примере ORB-SLAM. Постановка задачи GraphSLAM. Сведение задачи GraphSLAM к нелинейному МНК. Выбор правильной параметризации. Системы с особой структурой в GraphSLAM. Архитектурный подход: frontend и backend.
03Задача распознавания в беспилотном автомобиле. Статические и динамические препятствия. Сенсоры для системы распознавания. Представление статических препятствий. Детекция статических препятствий по лидару (VSCAN, нейросетевые методы). Использование лидара совместно с изображениями для детекции статики (семантическая сегментация изображений, depth completion). Стерео камера и получение глубины из картинки. Stixel World.
04Представление динамических препятствий в беспилотном автомобиле. Нейросетевые методы детекции объектов в 2D. Детекция на основе Bird-eye view представления лидарного облака. Использование лидара совместно с изображениями для детекции динамических препятствий. Детекция автомобилей в 3D на основе картинок (3D boxes fitting, CAD models). Детекция динамических препятствий на основе радара. Трекинг объектов.
05Модели движения автомобиля: rear wheel, front wheel. Планирование траекторий. Понятие конфигурационного пространства. Графовые методы построения траекторий. Траектории, минимизирующие рывок. Оптимизационные методы построения траекторий.
06Планирование скорости в динамическом окружении. ST-планирование. Предсказание поведения других участников дорожного движения
Нейробайесовские методы
Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состязающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения.
01Стохастический вариационный вывод
02Дважды стохастический вариационный вывод
03Вариационный автокодировщик, нормализующие потоки для вариационного вывода
04Методы снижения дисперсии в моделях со скрытыми переменными
05Оценка отношения плотностей распределений, применение на примере \alpha-GAN
06Байесовские нейронные сети
07Байесовское сжатие нейронных сетей
08Полунеявный вариационный вывод
