Data Engineer

Data Engineer

4.6

4 месяца,

начало По мере набора группы

Сложность

Продвинутый

Тип обучения

Курс

Формат обучения

С проверкой домашнего задания

Трудоустройство

Содействие

Сертификат

Да

Стоимость курса

89 000 ₽

нет рассрочки

Что даст вам этот курс

Понимание ключевых способов интеграции, обработки, хранения больших данных
Умение работать с компонентами экосистемы Hadoop, распределенными хранилищами и облачными решениями
Практические навыки разработки дата-сервисов, витрин и приложений
Знание принципов организации мониторинга, оркестрации, тестирования

Курс адресован разработчикам, администраторам СУБД и всем, кто стремится повысить профессиональный уровень, освоить новые инструменты и заниматься интересными задачами в сфере работы с данными.

После обучения Data Engineering вы станете востребованным специалистом, который:

разворачивает, налаживает и оптимизирует инструменты обработки данных
адаптирует датасеты для дальнейшей работы и аналитики
создает сервисы, которые используют результаты обработки больших объемов данных
отвечает за архитектуру данных в компании

Real Case Studies: примеры внедрений, использования инструментов, оптимизации производительности, проблемы, ошибки и прикладные результаты
Высокая практическая направленность:

В течение курса будем инкрементально создавать работающий продукт, решая прикладные задачи
Целостная картина вызовов и задач современного бизнеса, и роли Инженера Данных в их решении
Востребованность у работодателей

40 работодателей уже готовы позвать на собеседование выпускников курса

Что вы получите после обучения

Приобретаемые навыки

Docker

NoSQL

ClickHouse

DevOps

Apache Spark

HDFS

Apache Hive

Apache Kafka

Presto

MPP

DWH

Data Quality

CI/CD

ELK

MLOps

REST

MLFlow

DVC

Сертификат, ссылками на который можно делиться с другими людьми

Вас будут обучать

Алексей Гуров

курс

Главный инженер по разработке в СберБанке

Более 6 лет опыта работы в сфере построения DWH на позициях аналитика данных и инженера данных. Строил и развивал корпоративные хранилища данных в банковской сфере и ритейле (на базе Hadoop, Greenplum/Teradata). Интегрировал данные хранилища в различные информационные системы (мобильные приложения, BI, смс-рассылки и т.д.). В настоящее время работает в Сбербанке. Занимается развитием хранилища данных и сервисов, основанных на этих данных.

Главный инженер по разработке в СберБанке. Несколько лет до перехода на текущую позицию работал в другом подразделении СберБанка, в котором занимался обработкой и анализом данных банка, построением витрин данных для успешной реализации проектов в области Big Data. Функционал, над которым работал, сейчас реализован и доступен в мобильном приложении «СберБанк Онлайн». Сейчас развиваетML-модели чат-бота и голосового виртуального ассистента, повышающие уровень автоматизации решения проблем клиентов без помощи операторов технической поддержки.

Нравится работать с данными, строить математические модели, использовать в своей работе математику и программирование, так как это помогает поддерживать ясность ума и бодрость мышления. Нравится видеть работающий продукт, который решает реальные потребности клиентов компании, и осознавать, что этот продукт реализован в том числе с помощью моих знаний и моего труда. Определённо, искусственный интеллект в будущем будет распространён ещё сильнее, и это очень перспективная сфера деятельности.

Образование:

МФТИ, Прикладные математика и физикаOtus Certified Educator Преподаватель

Роман Богатов

курс

Более 10 лет развивает аналитику в компании. Среди достижений: - Построение собственной системы сквозной вебаналитики;- Построение аналитического хранилища на базе MPP Vertica;- Организация процессинга данных на базе Spark, Kafka, HDFS;- Выстраивание процессов работы с данными, включая data quality;- Создание нескольких внутренних инстументов по работе и структурированию метаданных (Data Catalog);- Построение системы корпоративной отчетности, в том числе realtime;- Более 5 лет повышает Data Literacy внутри компании, проводя различные тренинги по работе с данными, инструментами, SQL;Также вырастил несколько руководителей аналитики, которые теперь работают в крупных компаниях.Основной фокус на понимании проблем бизнеса при работе с данными и их решение.

Андрей Поляков

курсов

В отрасли бэкенд-разработки на Java более 6 лет. Занимался fullstack-разработкой приложений, разработкой высоконагруженных compute-grid систем, а также микросервисов и etl-пайплайнов. Сейчас в роли старшего разработчика работаю над сервисами платежных систем в Unlimint.Есть опыт работы с сервисами Hadoop (HDFS, HBase), оркестраторами (Airflow, Spring Cloud Data Flow), MPP-базами (Cassandra, Greenplum, Clickhouse).Интересы: BigData, Blockchain, NFTОбразование: Master Degree in Computer Science and IT, ЮУрГУ, факультет ВШЭКН.

Образовательная организация

Otus

4.2

288 отзывов

Otus.ru - высокотехнологический стартап в области образования. Наша миссия - делать образование осмысленным, реализуя связь между работодателями, специалистами и преподавателями. Приходите к нам учиться!

OTUS сегодня – это более 80 авторских курсов для IT-специалистов из разных направлений таких как программирование, тестирование, инфраструктура, информационная безопасность, управление и Data Science. И что важно, у нас есть программы для разных уровней подготовки от новичков до профессионалов, которые хотят освоить продвинутые навыки.
Наша миссия — делать обучение осмысленным, реализуя взаимосвязь между ожиданиями работодателей, компетенциями специалистов и возможностями преподавателей.

Программа курса

Data Architecture
-Тема 1.Инженер Данных. Задачи, навыки, инструменты, потребность на рынке
-Тема 2.Архитектура аналитических приложений: базовые компоненты и принципы
-Тема 3.On premises / Cloud solutions
-Тема 4.Автоматизация пайплайнов и оркестрация – 1
-Тема 5.Автоматизация пайплайнов и оркестрация – 2

Data Lake
-Тема 6.Распределенные файловые системы. HDFS / S3
-Тема 7.SQL-доступ к Hadoop. Apache Hive / Presto
-Тема 8.Форматы хранения данных и их особенности
-Тема 9.Разбор ДЗ по 1 кейсу
-Тема 10.Очереди сообщений. Обзор Kafka.
-Тема 11.Выгрузка данных из внешних систем
-Тема 12.Apache Spark – 1
-Тема 13.Apache Spark – 2

DWH
-Тема 14.Аналитические СУБД. MPP-базы данных
-Тема 15.Моделирование DWH – 1. Основы работы с dbt
-Тема 16.Моделирование DWH – 2. Data Vault 2.0
-Тема 17.DevOps практики в Аналитических приложениях. CI + CD
-Тема 18.Разбор ДЗ по 2 кейсу
-Тема 19.Data Quality. Управление качеством данных
-Тема 20.Развертывание BI-решения
-Тема 21.Мониторинг / Метаданные

NoSQL/NewSQL
-Тема 22.NoSQL Хранилища. Wide-column и key-value
-Тема 23.NoSQL Хранилища. Document-oriented
-Тема 24.ELK
-Тема 25.ClickHouse
-Тема 26.Разбор ДЗ по 3 кейсу

MLOps
-Тема 27.Организация и Packaging кода
-Тема 28.Docker и REST-архитектура
-Тема 29.MLFlow + DVC
-Тема 30.Деплоймент моделей
-Тема 31.Разбор ДЗ по 4 кейсу
-Тема 32.Разбор ДЗ по 5 кейсу

Выпускной проект
-Тема 33.Выбор темы и организация проектной работы
-Тема 34.Консультация
-Тема 35.Защита