Сложность
Сложность
Продвинутый
Тип обучения
Тип обучения
Курс
Формат обучения
Формат обучения
С проверкой домашнего задания
Трудоустройство
Трудоустройство
Содействие
Сертификат
Сертификат
Да

Стоимость курса

89 000 ₽
нет рассрочки

Что даст вам этот курс

  • Понимание ключевых способов интеграции, обработки, хранения больших данных
  • Умение работать с компонентами экосистемы Hadoop, распределенными хранилищами и облачными решениями
  • Практические навыки разработки дата-сервисов, витрин и приложений
  • Знание принципов организации мониторинга, оркестрации, тестирования

Курс адресован разработчикам, администраторам СУБД и всем, кто стремится повысить профессиональный уровень, освоить новые инструменты и заниматься интересными задачами в сфере работы с данными.

После обучения Data Engineering вы станете востребованным специалистом, который:

  • разворачивает, налаживает и оптимизирует инструменты обработки данных
  • адаптирует датасеты для дальнейшей работы и аналитики
  • создает сервисы, которые используют результаты обработки больших объемов данных
  • отвечает за архитектуру данных в компании

Real Case Studies: примеры внедрений, использования инструментов, оптимизации производительности, проблемы, ошибки и прикладные результаты
Высокая практическая направленность:
 
В течение курса будем инкрементально создавать работающий продукт, решая прикладные задачи
Целостная картина вызовов и задач современного бизнеса, и роли Инженера Данных в их решении
Востребованность у работодателей
 
40 работодателей уже готовы позвать на собеседование выпускников курса
 

Что вы получите после обучения

Приобретаемые навыки
2
NoSQL
3
ClickHouse
4
DevOps
5
Apache Spark
6
HDFS
7
Apache Hive
8
Apache Kafka
9
Presto
10
MPP
11
DWH
12
Data Quality
13
CI/CD
14
BI
15
ELK
16
MLOps
17
REST
18
MLFlow
19
DVC
Сертификат, ссылками на который можно делиться с другими людьми

Вас будут обучать

Более 10 лет развивает аналитику в компании. Среди достижений: - Построение собственной системы сквозной вебаналитики;- Построение аналитического хранилища на базе MPP Vertica;- Организация процессинга данных на базе Spark, Kafka, HDFS;-...
Более 10 лет развивает аналитику в компании. Среди достижений: - Построение собственной системы сквозной вебаналитики;- Построение аналитического хранилища на базе MPP Vertica;- Организация процессинга данных на базе Spark, Kafka, HDFS;- Выстраивание процессов работы с данными, включая data quality;- Создание нескольких внутренних инстументов по работе и структурированию метаданных (Data Catalog);- Построение системы корпоративной отчетности, в том числе realtime;- Более 5 лет повышает Data Literacy внутри компании, проводя различные тренинги по работе с данными, инструментами, SQL;Также вырастил несколько руководителей аналитики, которые теперь работают в крупных компаниях.Основной фокус на понимании проблем бизнеса при работе с данными и их решение.
Руководитель направления, Сбербанк8 лет опыта промышленной разработки, в том числе создания и поддержания веб-приложений как в крупных компаниях так и в стартапах. 3 года разработки распределенных систем для крупных государственных...
Руководитель направления, Сбербанк8 лет опыта промышленной разработки, в том числе создания и поддержания веб-приложений как в крупных компаниях так и в стартапах. 3 года разработки распределенных систем для крупных государственных заказчиков. Реализовал три проекта с “чистого листа”, от прототипа до готового к промышленной эксплуатации.В данное время занимается full-stack разработкой для внутренних заказчиков в банке, решает задачи связанные с анализом и инженерией данных.Опыт программирования на Java, Scala, Python, Javascript.Широкий круг профессиональных интересов, начиная от построения распределенных систем, заканчивая предиктивной аналитикой и анализом намерений.Образование: бакалавриат УрФУ им. Б.Н. Ельцина “Информационные технологии”.
Первый раз познакомился с вычислительной техникой 30 лет назад в далеком 1993 году. С тех пор с разной степенью вовлеченности в ИТ-процесс занимался организацией вычислительных сетей, серверных помещений - центров...
Первый раз познакомился с вычислительной техникой 30 лет назад в далеком 1993 году. С тех пор с разной степенью вовлеченности в ИТ-процесс занимался организацией вычислительных сетей, серверных помещений - центров обработки данных. Был как простым специалистом, так и руководителем большого структурного подразделения служб ИТ регионального масштаба. Однако на протяжении всего времени так или иначе неразрывно связан с автоматизацией, программированием, построением архитектурных решений. В 2002 году познакомился с Java, и с тех пор работает с технологиями на базе JVM. С 2021 года активно увлекся большими данными, чем и занят по настоящее время.В 2022 году окончил курс на OTUS по программе Data-engineer.

Образовательная организация

Otus.ru - высокотехнологический стартап в области образования. Наша миссия - делать образование осмысленным, реализуя связь между работодателями, специалистами и преподавателями. Приходите к нам учиться!

OTUS сегодня – это более 80 авторских курсов для IT-специалистов из разных направлений таких как программирование, тестирование, инфраструктура, информационная безопасность, управление и Data Science. И что важно, у нас есть программы для разных уровней подготовки от новичков до профессионалов, которые хотят освоить продвинутые навыки.
Наша миссия — делать обучение осмысленным, реализуя взаимосвязь между ожиданиями работодателей, компетенциями специалистов и возможностями преподавателей.

Программа курса

Data Architecture
  -Тема 1.Инженер Данных. Задачи, навыки, инструменты, потребность на рынке
  -Тема 2.Архитектура аналитических приложений: базовые компоненты и принципы
  -Тема 3.On premises / Cloud solutions
  -Тема 4.Автоматизация пайплайнов и оркестрация – 1
  -Тема 5.Автоматизация пайплайнов и оркестрация – 2

Data Lake
  -Тема 6.Распределенные файловые системы. HDFS / S3
  -Тема 7.SQL-доступ к Hadoop. Apache Hive / Presto
  -Тема 8.Форматы хранения данных и их особенности
  -Тема 9.Разбор ДЗ по 1 кейсу
  -Тема 10.Очереди сообщений. Обзор Kafka.
  -Тема 11.Выгрузка данных из внешних систем
  -Тема 12.Apache Spark – 1
  -Тема 13.Apache Spark – 2

DWH
  -Тема 14.Аналитические СУБД. MPP-базы данных
  -Тема 15.Моделирование DWH – 1. Основы работы с dbt
  -Тема 16.Моделирование DWH – 2. Data Vault 2.0
  -Тема 17.DevOps практики в Аналитических приложениях. CI + CD
  -Тема 18.Разбор ДЗ по 2 кейсу
  -Тема 19.Data Quality. Управление качеством данных
  -Тема 20.Развертывание BI-решения
  -Тема 21.Мониторинг / Метаданные

NoSQL/NewSQL
  -Тема 22.NoSQL Хранилища. Wide-column и key-value
  -Тема 23.NoSQL Хранилища. Document-oriented
  -Тема 24.ELK
  -Тема 25.ClickHouse
  -Тема 26.Разбор ДЗ по 3 кейсу

MLOps
  -Тема 27.Организация и Packaging кода
  -Тема 28.Docker и REST-архитектура
  -Тема 29.MLFlow + DVC
  -Тема 30.Деплоймент моделей
  -Тема 31.Разбор ДЗ по 4 кейсу
  -Тема 32.Разбор ДЗ по 5 кейсу

Выпускной проект
  -Тема 33.Выбор темы и организация проектной работы
  -Тема 34.Консультация
  -Тема 35.Защита

Рейтинг курса

4.6
рейтинг
0
0
0
0
0

Может быть интересно

обновлено 12.11.2023 03:40
Data Engineer

Data Engineer

Оставить отзыв
Поделиться курсом с друзьями