Data Engineer

Data Engineer

4.6

4 месяца,

начало По мере набора группы

Сложность

Продвинутый

Тип обучения

Курс

Формат обучения

С проверкой домашнего задания

Трудоустройство

Содействие

Сертификат

Да

Стоимость курса

89 000 ₽

нет рассрочки

Что даст вам этот курс

Понимание ключевых способов интеграции, обработки, хранения больших данных
Умение работать с компонентами экосистемы Hadoop, распределенными хранилищами и облачными решениями
Практические навыки разработки дата-сервисов, витрин и приложений
Знание принципов организации мониторинга, оркестрации, тестирования

Курс адресован разработчикам, администраторам СУБД и всем, кто стремится повысить профессиональный уровень, освоить новые инструменты и заниматься интересными задачами в сфере работы с данными.

После обучения Data Engineering вы станете востребованным специалистом, который:

разворачивает, налаживает и оптимизирует инструменты обработки данных
адаптирует датасеты для дальнейшей работы и аналитики
создает сервисы, которые используют результаты обработки больших объемов данных
отвечает за архитектуру данных в компании

Real Case Studies: примеры внедрений, использования инструментов, оптимизации производительности, проблемы, ошибки и прикладные результаты
Высокая практическая направленность:

В течение курса будем инкрементально создавать работающий продукт, решая прикладные задачи
Целостная картина вызовов и задач современного бизнеса, и роли Инженера Данных в их решении
Востребованность у работодателей

40 работодателей уже готовы позвать на собеседование выпускников курса

Что вы получите после обучения

Приобретаемые навыки

CI/CD

NoSQL

DevOps

Apache Spark

Docker

ELK

Apache Kafka

ClickHouse

DWH

MLOps

HDFS

REST

Apache Hive

Presto

MPP

Data Quality

MLFlow

DVC

Сертификат, ссылками на который можно делиться с другими людьми

Вас будут обучать

Алексей Гуров

курс

Главный инженер по разработке в СберБанке

Более 6 лет опыта работы в сфере построения DWH на позициях аналитика данных и инженера данных. Строил и развивал корпоративные хранилища данных в банковской сфере и ритейле (на базе Hadoop, Greenplum/Teradata). Интегрировал данные хранилища в различные информационные системы (мобильные приложения, BI, смс-рассылки и т.д.). В настоящее время работает в Сбербанке. Занимается развитием хранилища данных и сервисов, основанных на этих данных.

Главный инженер по разработке в СберБанке. Несколько лет до перехода на текущую позицию работал в другом подразделении СберБанка, в котором занимался обработкой и анализом данных банка, построением витрин данных для успешной реализации проектов в области Big Data. Функционал, над которым работал, сейчас реализован и доступен в мобильном приложении «СберБанк Онлайн». Сейчас развиваетML-модели чат-бота и голосового виртуального ассистента, повышающие уровень автоматизации решения проблем клиентов без помощи операторов технической поддержки.

Нравится работать с данными, строить математические модели, использовать в своей работе математику и программирование, так как это помогает поддерживать ясность ума и бодрость мышления. Нравится видеть работающий продукт, который решает реальные потребности клиентов компании, и осознавать, что этот продукт реализован в том числе с помощью моих знаний и моего труда. Определённо, искусственный интеллект в будущем будет распространён ещё сильнее, и это очень перспективная сфера деятельности.

Образование:

МФТИ, Прикладные математика и физикаOtus Certified Educator Преподаватель

Роман Богатов

курс

Более 10 лет развивает аналитику в компании. Среди достижений: - Построение собственной системы сквозной вебаналитики;- Построение аналитического хранилища на базе MPP Vertica;- Организация процессинга данных на базе Spark, Kafka, HDFS;- Выстраивание процессов работы с данными, включая data quality;- Создание нескольких внутренних инстументов по работе и структурированию метаданных (Data Catalog);- Построение системы корпоративной отчетности, в том числе realtime;- Более 5 лет повышает Data Literacy внутри компании, проводя различные тренинги по работе с данными, инструментами, SQL;Также вырастил несколько руководителей аналитики, которые теперь работают в крупных компаниях.Основной фокус на понимании проблем бизнеса при работе с данными и их решение.

Андрей Поляков

курсов

В отрасли бэкенд-разработки на Java более 6 лет. Занимался fullstack-разработкой приложений, разработкой высоконагруженных compute-grid систем, а также микросервисов и etl-пайплайнов. Сейчас в роли старшего разработчика работаю над сервисами платежных систем в Unlimint.Есть опыт работы с сервисами Hadoop (HDFS, HBase), оркестраторами (Airflow, Spring Cloud Data Flow), MPP-базами (Cassandra, Greenplum, Clickhouse).Интересы: BigData, Blockchain, NFTОбразование: Master Degree in Computer Science and IT, ЮУрГУ, факультет ВШЭКН.

Образовательная организация

Otus

4.2

288 отзывов

Otus.ru - высокотехнологический стартап в области образования. Наша миссия - делать образование осмысленным, реализуя связь между работодателями, специалистами и преподавателями. Приходите к нам учиться!

OTUS сегодня – это более 80 авторских курсов для IT-специалистов из разных направлений таких как программирование, тестирование, инфраструктура, информационная безопасность, управление и Data Science. И что важно, у нас есть программы для разных уровней подготовки от новичков до профессионалов, которые хотят освоить продвинутые навыки.
Наша миссия — делать обучение осмысленным, реализуя взаимосвязь между ожиданиями работодателей, компетенциями специалистов и возможностями преподавателей.

Программа курса

Data Architecture
-Тема 1.Инженер Данных. Задачи, навыки, инструменты, потребность на рынке
-Тема 2.Архитектура аналитических приложений: базовые компоненты и принципы
-Тема 3.On premises / Cloud solutions
-Тема 4.Автоматизация пайплайнов и оркестрация – 1
-Тема 5.Автоматизация пайплайнов и оркестрация – 2

Data Lake
-Тема 6.Распределенные файловые системы. HDFS / S3
-Тема 7.SQL-доступ к Hadoop. Apache Hive / Presto
-Тема 8.Форматы хранения данных и их особенности
-Тема 9.Разбор ДЗ по 1 кейсу
-Тема 10.Очереди сообщений. Обзор Kafka.
-Тема 11.Выгрузка данных из внешних систем
-Тема 12.Apache Spark – 1
-Тема 13.Apache Spark – 2

DWH
-Тема 14.Аналитические СУБД. MPP-базы данных
-Тема 15.Моделирование DWH – 1. Основы работы с dbt
-Тема 16.Моделирование DWH – 2. Data Vault 2.0
-Тема 17.DevOps практики в Аналитических приложениях. CI + CD
-Тема 18.Разбор ДЗ по 2 кейсу
-Тема 19.Data Quality. Управление качеством данных
-Тема 20.Развертывание BI-решения
-Тема 21.Мониторинг / Метаданные

NoSQL/NewSQL
-Тема 22.NoSQL Хранилища. Wide-column и key-value
-Тема 23.NoSQL Хранилища. Document-oriented
-Тема 24.ELK
-Тема 25.ClickHouse
-Тема 26.Разбор ДЗ по 3 кейсу

MLOps
-Тема 27.Организация и Packaging кода
-Тема 28.Docker и REST-архитектура
-Тема 29.MLFlow + DVC
-Тема 30.Деплоймент моделей
-Тема 31.Разбор ДЗ по 4 кейсу
-Тема 32.Разбор ДЗ по 5 кейсу

Выпускной проект
-Тема 33.Выбор темы и организация проектной работы
-Тема 34.Консультация
-Тема 35.Защита