Главная особенность направления "Анализ данных в прикладных науках" состоит в том, что большую часть второго года обучения студенты посвящают работе над прикладными исследовательскими проектами. Итоговая оценка за обучение в ШАД во многом будет определяться качеством выполнения этого проекта.

Для студентов, которые параллельно с ШАД будут готовить дипломные работы (бакалаврские или магистерские), проекты ШАД могут быть использованы как основы их университетских работ.

Первый семестр

Обязательные
Восстановление функциональных закономерностей из эмпирических данных

01 Общая постановка задачи восстановления зависимостей
02 Метод максимального правдоподобия
03 Примеры конкретных задач восстановления зависимостей: регрессия, идентификация моделей, распознавание образов и их приложения
04 Построение непараметрических оценок распределений методом максимального правдоподобия
05 Метод наименьших квадратов для оценки регрессии. Метод максимального правдоподобия для выбора модели
06 Критерий отношения правдоподобия
07 Поиск решающего правила, минимизирующего число ошибок или среднее значение функции штрафа на данных обучения, в задачах распознавания образов
08 Многомерное линейное оценивание
09 Персептрон. Потенциальные функции. Нейронные сети
10 Учёт априорной информации при линейном оценивании
11 Метод обобщённого портрета в задаче классификации
12 Байесовское оценивание
13 Машина опорных векторов (SVM)
14 Некоторые методы классификации
15 Критика метода минимизации эмпирического риска
16 Оптимальная гиперплоскость
17 Критерии равномерной сходимости частот к вероятностям. Функция роста. VC-размерность
18 Двойственная задача построения оптимальной гиперплоскости
19 Критерии равномерной сходимости частот к вероятностям. Связь с задачами обучения распознаванию образов
20 Построение непараметрической сплайн-регрессии
21 Критерии равномерной сходимости средних к математическим ожиданиям
22 Построение непараметрической ядерной регрессии
23 Проблема выбора оптимальной сложности модели
24 Различные виды регрессионных зависимостей
 
Основы стохастики. Стохастические модели

01 Классическое определение вероятности
02 Условные вероятности. Независимость. Условное математическое ожидание.
03 Дискретные случайные величины и их характеристики
04 Предельные теоремы
05 Случайное блуждание
06 Мартингалы
07 Дискретные марковские цепи. Эргодическая теорема.
08 Вероятностная модель эксперимента с бесконечным числом событий. Аксиоматика Колмогорова. Разные виды сходимости случайных величин.
09 Слабая сходимость вероятностных мер. Метод характеристических функций в доказательстве предельных теорем.
10 Случайные процессы
 
Алгоритмы и структуры данных, часть 1

01 Сложность и модели вычислений. Анализ учетных стоимостей (начало)
02 Анализ учетных стоимостей (окончание)
03 Алгоритмы Merge-Sort и Quick-Sort
04 Порядковые статистики. Кучи (начало)
05 Кучи (окончание)
06 Хеширование
07 Деревья поиска (начало)
08 Деревья поиска (продолжение)
09 Деревья поиска (окончание). Система непересекающихся множеств
10 Задачи RMQ и LCA
11 Структуры данных для геометрического поиска
12 Задача о динамической связности в ненаправленном графе

Второй семестр

Обязательные
Машинное обучение, часть 1

01 Основные понятия и примеры прикладных задач
02 Метрические методы классификации
03 Логические методы классификации и решающие деревья
04 Градиентные линейные методы классификации
05 Метод опорных векторов
06 Многомерная линейная регрессия
07 Нелинейная и непараметрическая регрессия, нестандартные функции потерь
08 Прогнозирование временных рядов
09 Байесовские методы классификации
10 Логистическая регрессия
11 Поиск ассоциативных правил
 
Основы статистики в машинном обучении

01 Введение
02 Основные задачи и методы теории статистических выводов
03 Оценка распределения и статистические функционалы
04 Моделирование Монте-Карло, бутстреп
05 Параметрическое оценивание
06 Проверка гипотез
07 Снижение размерности многомерных данных
08 Оценка чувствительности модели
09 Линейная и логистическая регрессия
10 Методы планирования экспериментов (Design of Experiments)
11 Различные типы регуляризации в линейной регрессии
12 Нелинейные методы построения регрессионных зависимостей
13 Непараметрическое оценивание
14 Байесовский подход к оцениванию
15 Байесовский подход к регрессии
16 Байесовский подход к регрессии и оптимизации
17 Использование модели случайных гауссовских полей в задачах анализа данных
18 Использование статистических моделей и методов в задачах суррогатного моделирования и оптимизации

Третий семестр

Обязательные
Выпуклый анализ и оптимизация

01 Выпуклые функции и множества
02 Условия оптимальности и двойственность
03 Введение в методы оптимизации
04 Сложность для классов выпуклых гладких и выпуклых негладких задач
05 Техника сглаживания
06 Штрафные функции. Барьерный метод. Метод модифицированной функции Лагранжа
07 ADMM
08 Введение в методы зеркального спуска
09 Newton method and quasi-Newton methods. BFGS
10 Введение в робастную оптимизацию
11 Введение в стохастическую оптимизацию
12 Рандомизированные алгоритмы оптимизации
13 Введение в онлайн-оптимизацию
 
Машинное обучение, часть 2

01 Нейросетевые методы классификации и регрессии
02 Композиционные методы классификации и регрессии
03 Критерии выбора моделей и методы отбора признаков
04 Ранжирование
05 Обучение с подкреплением
06 Обучение без учителя
07 Задачи с частичным обучением
08 Коллаборативная фильтрация
09 Тематическое моделирование
 
Работа над проектом

Четвёртый семестр

Обязательные
Глубинное обучение

01 Материал курса
 
Работа над проектом