Data Engineer

Data Engineer

4.6

4 месяца,

начало По мере набора группы

Сложность

Продвинутый

Тип обучения

Курс

Формат обучения

С проверкой домашнего задания

Трудоустройство

Содействие

Сертификат

Да

Стоимость курса

89 000 ₽

нет рассрочки

Что даст вам этот курс

Понимание ключевых способов интеграции, обработки, хранения больших данных
Умение работать с компонентами экосистемы Hadoop, распределенными хранилищами и облачными решениями
Практические навыки разработки дата-сервисов, витрин и приложений
Знание принципов организации мониторинга, оркестрации, тестирования

Курс адресован разработчикам, администраторам СУБД и всем, кто стремится повысить профессиональный уровень, освоить новые инструменты и заниматься интересными задачами в сфере работы с данными.

После обучения Data Engineering вы станете востребованным специалистом, который:

разворачивает, налаживает и оптимизирует инструменты обработки данных
адаптирует датасеты для дальнейшей работы и аналитики
создает сервисы, которые используют результаты обработки больших объемов данных
отвечает за архитектуру данных в компании

Real Case Studies: примеры внедрений, использования инструментов, оптимизации производительности, проблемы, ошибки и прикладные результаты
Высокая практическая направленность:

В течение курса будем инкрементально создавать работающий продукт, решая прикладные задачи
Целостная картина вызовов и задач современного бизнеса, и роли Инженера Данных в их решении
Востребованность у работодателей

40 работодателей уже готовы позвать на собеседование выпускников курса

Что вы получите после обучения

Приобретаемые навыки

Docker

NoSQL

ClickHouse

DevOps

Apache Spark

HDFS

Apache Hive

Apache Kafka

Presto

MPP

DWH

Data Quality

CI/CD

ELK

MLOps

REST

MLFlow

DVC

Сертификат, ссылками на который можно делиться с другими людьми

Вас будут обучать

Роман Богатов

курс

Более 10 лет развивает аналитику в компании. Среди достижений: - Построение собственной системы сквозной вебаналитики;- Построение аналитического хранилища на базе MPP Vertica;- Организация процессинга данных на базе Spark, Kafka, HDFS;- Выстраивание процессов работы с данными, включая data quality;- Создание нескольких внутренних инстументов по работе и структурированию метаданных (Data Catalog);- Построение системы корпоративной отчетности, в том числе realtime;- Более 5 лет повышает Data Literacy внутри компании, проводя различные тренинги по работе с данными, инструментами, SQL;Также вырастил несколько руководителей аналитики, которые теперь работают в крупных компаниях.Основной фокус на понимании проблем бизнеса при работе с данными и их решение.

Василий Сушко

курс

Руководитель направления, Сбербанк8 лет опыта промышленной разработки, в том числе создания и поддержания веб-приложений как в крупных компаниях так и в стартапах. 3 года разработки распределенных систем для крупных государственных заказчиков. Реализовал три проекта с “чистого листа”, от прототипа до готового к промышленной эксплуатации.В данное время занимается full-stack разработкой для внутренних заказчиков в банке, решает задачи связанные с анализом и инженерией данных.Опыт программирования на Java, Scala, Python, Javascript.Широкий круг профессиональных интересов, начиная от построения распределенных систем, заканчивая предиктивной аналитикой и анализом намерений.Образование: бакалавриат УрФУ им. Б.Н. Ельцина “Информационные технологии”.

Андрей Чучалов

курса

Первый раз познакомился с вычислительной техникой 30 лет назад в далеком 1993 году. С тех пор с разной степенью вовлеченности в ИТ-процесс занимался организацией вычислительных сетей, серверных помещений - центров обработки данных. Был как простым специалистом, так и руководителем большого структурного подразделения служб ИТ регионального масштаба. Однако на протяжении всего времени так или иначе неразрывно связан с автоматизацией, программированием, построением архитектурных решений. В 2002 году познакомился с Java, и с тех пор работает с технологиями на базе JVM. С 2021 года активно увлекся большими данными, чем и занят по настоящее время.В 2022 году окончил курс на OTUS по программе Data-engineer.

Образовательная организация

Otus

4.2

288 отзывов

Otus.ru - высокотехнологический стартап в области образования. Наша миссия - делать образование осмысленным, реализуя связь между работодателями, специалистами и преподавателями. Приходите к нам учиться!

OTUS сегодня – это более 80 авторских курсов для IT-специалистов из разных направлений таких как программирование, тестирование, инфраструктура, информационная безопасность, управление и Data Science. И что важно, у нас есть программы для разных уровней подготовки от новичков до профессионалов, которые хотят освоить продвинутые навыки.
Наша миссия — делать обучение осмысленным, реализуя взаимосвязь между ожиданиями работодателей, компетенциями специалистов и возможностями преподавателей.

Программа курса

Data Architecture
-Тема 1.Инженер Данных. Задачи, навыки, инструменты, потребность на рынке
-Тема 2.Архитектура аналитических приложений: базовые компоненты и принципы
-Тема 3.On premises / Cloud solutions
-Тема 4.Автоматизация пайплайнов и оркестрация – 1
-Тема 5.Автоматизация пайплайнов и оркестрация – 2

Data Lake
-Тема 6.Распределенные файловые системы. HDFS / S3
-Тема 7.SQL-доступ к Hadoop. Apache Hive / Presto
-Тема 8.Форматы хранения данных и их особенности
-Тема 9.Разбор ДЗ по 1 кейсу
-Тема 10.Очереди сообщений. Обзор Kafka.
-Тема 11.Выгрузка данных из внешних систем
-Тема 12.Apache Spark – 1
-Тема 13.Apache Spark – 2

DWH
-Тема 14.Аналитические СУБД. MPP-базы данных
-Тема 15.Моделирование DWH – 1. Основы работы с dbt
-Тема 16.Моделирование DWH – 2. Data Vault 2.0
-Тема 17.DevOps практики в Аналитических приложениях. CI + CD
-Тема 18.Разбор ДЗ по 2 кейсу
-Тема 19.Data Quality. Управление качеством данных
-Тема 20.Развертывание BI-решения
-Тема 21.Мониторинг / Метаданные

NoSQL/NewSQL
-Тема 22.NoSQL Хранилища. Wide-column и key-value
-Тема 23.NoSQL Хранилища. Document-oriented
-Тема 24.ELK
-Тема 25.ClickHouse
-Тема 26.Разбор ДЗ по 3 кейсу

MLOps
-Тема 27.Организация и Packaging кода
-Тема 28.Docker и REST-архитектура
-Тема 29.MLFlow + DVC
-Тема 30.Деплоймент моделей
-Тема 31.Разбор ДЗ по 4 кейсу
-Тема 32.Разбор ДЗ по 5 кейсу

Выпускной проект
-Тема 33.Выбор темы и организация проектной работы
-Тема 34.Консультация
-Тема 35.Защита