Подпишитесь на телеграмм-канал про ИИ в образовании: Егошин | Кеды профессора
Сложность
Сложность
Продвинутый
Тип обучения
Тип обучения
Курс
Формат обучения
Формат обучения
С проверкой домашнего задания
Трудоустройство
Трудоустройство
Содействие
Сертификат
Сертификат
Да

Стоимость курса

89 000 ₽
нет рассрочки

Что даст вам этот курс

  • Понимание ключевых способов интеграции, обработки, хранения больших данных
  • Умение работать с компонентами экосистемы Hadoop, распределенными хранилищами и облачными решениями
  • Практические навыки разработки дата-сервисов, витрин и приложений
  • Знание принципов организации мониторинга, оркестрации, тестирования

Курс адресован разработчикам, администраторам СУБД и всем, кто стремится повысить профессиональный уровень, освоить новые инструменты и заниматься интересными задачами в сфере работы с данными.

После обучения Data Engineering вы станете востребованным специалистом, который:

  • разворачивает, налаживает и оптимизирует инструменты обработки данных
  • адаптирует датасеты для дальнейшей работы и аналитики
  • создает сервисы, которые используют результаты обработки больших объемов данных
  • отвечает за архитектуру данных в компании

Real Case Studies: примеры внедрений, использования инструментов, оптимизации производительности, проблемы, ошибки и прикладные результаты
Высокая практическая направленность:
 
В течение курса будем инкрементально создавать работающий продукт, решая прикладные задачи
Целостная картина вызовов и задач современного бизнеса, и роли Инженера Данных в их решении
Востребованность у работодателей
 
40 работодателей уже готовы позвать на собеседование выпускников курса
 

Что вы получите после обучения

Приобретаемые навыки
2
NoSQL
3
ClickHouse
4
DevOps
5
Apache Spark
6
HDFS
7
Apache Hive
8
Apache Kafka
9
Presto
10
MPP
11
DWH
12
Data Quality
13
CI/CD
14
BI
15
ELK
16
MLOps
17
REST
18
MLFlow
19
DVC
Сертификат, ссылками на который можно делиться с другими людьми

Вас будут обучать

Главный инженер по разработке в СберБанке

Более 6 лет опыта работы в сфере построения DWH на позициях аналитика данных и инженера данных. Строил и развивал корпоративные хранилища данных в банковской сфере и ритейле (на базе Hadoop, Greenplum/Teradata). Интегрировал данные хранилища в различные информационные системы (мобильные приложения, BI, смс-рассылки и т.д.). В настоящее время работает в Сбербанке. Занимается развитием хранилища данных и сервисов, основанных на этих данных. 

Главный инженер по разработке в СберБанке. Несколько лет до перехода на текущую позицию работал в другом подразделении СберБанка, в котором занимался обработкой и анализом данных банка, построением витрин данных для успешной реализации проектов в области Big Data. Функционал, над которым работал, сейчас реализован и доступен в мобильном приложении «СберБанк Онлайн». Сейчас развиваетML-модели чат-бота и голосового виртуального ассистента, повышающие уровень автоматизации решения проблем клиентов без помощи операторов технической поддержки.

Нравится работать с данными, строить математические модели, использовать в своей работе математику и программирование, так как это помогает поддерживать ясность ума и бодрость мышления. Нравится видеть работающий продукт, который решает реальные потребности клиентов компании, и осознавать, что этот продукт реализован в том числе с помощью моих знаний и моего труда. Определённо, искусственный интеллект в будущем будет распространён ещё сильнее, и это очень перспективная сфера деятельности.

Образование:

МФТИ, Прикладные математика и физикаOtus Certified Educator Преподаватель

 

Более 10 лет развивает аналитику в компании. Среди достижений: - Построение собственной системы сквозной вебаналитики;- Построение аналитического хранилища на базе MPP Vertica;- Организация процессинга данных на базе Spark, Kafka, HDFS;-...
Более 10 лет развивает аналитику в компании. Среди достижений: - Построение собственной системы сквозной вебаналитики;- Построение аналитического хранилища на базе MPP Vertica;- Организация процессинга данных на базе Spark, Kafka, HDFS;- Выстраивание процессов работы с данными, включая data quality;- Создание нескольких внутренних инстументов по работе и структурированию метаданных (Data Catalog);- Построение системы корпоративной отчетности, в том числе realtime;- Более 5 лет повышает Data Literacy внутри компании, проводя различные тренинги по работе с данными, инструментами, SQL;Также вырастил несколько руководителей аналитики, которые теперь работают в крупных компаниях.Основной фокус на понимании проблем бизнеса при работе с данными и их решение.
В отрасли бэкенд-разработки на Java более 6 лет. Занимался fullstack-разработкой приложений, разработкой высоконагруженных compute-grid систем, а также микросервисов и etl-пайплайнов. Сейчас в роли старшего разработчика работаю над сервисами платежных систем...

В отрасли бэкенд-разработки на Java более 6 лет. Занимался fullstack-разработкой приложений, разработкой высоконагруженных compute-grid систем, а также микросервисов и etl-пайплайнов. Сейчас в роли старшего разработчика работаю над сервисами платежных систем в Unlimint.Есть опыт работы с сервисами Hadoop (HDFS, HBase), оркестраторами (Airflow, Spring Cloud Data Flow), MPP-базами (Cassandra, Greenplum, Clickhouse).Интересы: BigData, Blockchain, NFTОбразование: Master Degree in Computer Science and IT, ЮУрГУ, факультет ВШЭКН.

Образовательная организация

Otus.ru - высокотехнологический стартап в области образования. Наша миссия - делать образование осмысленным, реализуя связь между работодателями, специалистами и преподавателями. Приходите к нам учиться!

OTUS сегодня – это более 80 авторских курсов для IT-специалистов из разных направлений таких как программирование, тестирование, инфраструктура, информационная безопасность, управление и Data Science. И что важно, у нас есть программы для разных уровней подготовки от новичков до профессионалов, которые хотят освоить продвинутые навыки.
Наша миссия — делать обучение осмысленным, реализуя взаимосвязь между ожиданиями работодателей, компетенциями специалистов и возможностями преподавателей.

Программа курса

Data Architecture
  -Тема 1.Инженер Данных. Задачи, навыки, инструменты, потребность на рынке
  -Тема 2.Архитектура аналитических приложений: базовые компоненты и принципы
  -Тема 3.On premises / Cloud solutions
  -Тема 4.Автоматизация пайплайнов и оркестрация – 1
  -Тема 5.Автоматизация пайплайнов и оркестрация – 2

Data Lake
  -Тема 6.Распределенные файловые системы. HDFS / S3
  -Тема 7.SQL-доступ к Hadoop. Apache Hive / Presto
  -Тема 8.Форматы хранения данных и их особенности
  -Тема 9.Разбор ДЗ по 1 кейсу
  -Тема 10.Очереди сообщений. Обзор Kafka.
  -Тема 11.Выгрузка данных из внешних систем
  -Тема 12.Apache Spark – 1
  -Тема 13.Apache Spark – 2

DWH
  -Тема 14.Аналитические СУБД. MPP-базы данных
  -Тема 15.Моделирование DWH – 1. Основы работы с dbt
  -Тема 16.Моделирование DWH – 2. Data Vault 2.0
  -Тема 17.DevOps практики в Аналитических приложениях. CI + CD
  -Тема 18.Разбор ДЗ по 2 кейсу
  -Тема 19.Data Quality. Управление качеством данных
  -Тема 20.Развертывание BI-решения
  -Тема 21.Мониторинг / Метаданные

NoSQL/NewSQL
  -Тема 22.NoSQL Хранилища. Wide-column и key-value
  -Тема 23.NoSQL Хранилища. Document-oriented
  -Тема 24.ELK
  -Тема 25.ClickHouse
  -Тема 26.Разбор ДЗ по 3 кейсу

MLOps
  -Тема 27.Организация и Packaging кода
  -Тема 28.Docker и REST-архитектура
  -Тема 29.MLFlow + DVC
  -Тема 30.Деплоймент моделей
  -Тема 31.Разбор ДЗ по 4 кейсу
  -Тема 32.Разбор ДЗ по 5 кейсу

Выпускной проект
  -Тема 33.Выбор темы и организация проектной работы
  -Тема 34.Консультация
  -Тема 35.Защита

Рейтинг курса

4.6
рейтинг
0
0
0
0
0

Может быть интересно

обновлено 12.11.2023 03:40
Data Engineer

Data Engineer

Оставить отзыв
Поделиться курсом с друзьями