Spark Developer

Spark Developer

4.4

4 месяца,

начало 19 ноября

Сложность

Продвинутый

Тип обучения

Курс

Формат обучения

С проверкой домашнего задания

Трудоустройство

Содействие

Сертификат

Да

Стоимость курса

нет данных

есть рассрочка

Для кого этот курс:

Курс рассчитан на Data инженеров, желающих глубже изучить Spark, а попутно также Hadoop и Hive

На курсе вы изучите следующие основные темы:
- Hadoop (основные компоненты, дистрибутивы вендоров)
- Архитектура HDFS
- Архитектура YARN
- Форматы данных
- Spark- Spark Streaming и Flink
- Hive
- Оркестрация, Мониторинг и CI/CDи т.д.
Научитесь применять все это на практике и закрепите с помощью интересных и сложных домашних заданий и выпускного проекта.

После прохождения курса вы сможете:
- Использовать Hadoop для обработки данных
- Взаимодействовать с его компонентами через консольные клиенты и API
- Работать со слабоструктурированными данными в Hive
- Писать и оптимизировать приложения на Spark
- Писать тесты для Spark-приложений
- Использовать Spark для обработки табличных, потоковых, гео-данных и даже графов- Настраивать CI и мониторинг Spark-приложений

Что вы получите после обучения

Приобретаемые навыки

Scala

HDFS

YARN

Apache Kafka

Apache Flink

Apache Hive

Мониторинг

Логирование

Hadoop

CI/CD

Apache Spark

Сертификат, ссылками на который можно делиться с другими людьми

Вас будут обучать

Артемий Козырь

курс

7+ лет опыта в области Хранилищ Данных, ELT pipelines, Анализа данных и визуализации.Опыт работы над сервисами в компаниях Wheely, Sber, Moscow Exchange, PwC.Сферы интересов: Data Modeling, Advanced analytics, Marketing Attribution, Data Quality, DevOps.Верю в то, что данные – это ключевой элемент в принятии обоснованных и разумных бизнес-решений. Люблю находить простые решения для сложных задач. Не люблю повторять одни и те же ошибки, но с удовольствием приветствую новый опыт.Blogging: Technology Enthusiast and Habr2+ года веду занятия в ОТУС: Data Engineer, Hadoop Ecosystem, DWH Analyst

Валентин Шилин

курса

Профессиональный опыт: 15 лет программирования на С++, С#, JavaScript, Python, Scala, Java.Эксперт в обработке больших данных с помощью Scala/Spark и Hadoop Cloudera.

Выпускник СПбГУ ПM-ПУ по специальности "Прикладная математика и физика".

Проекты: - автоматизация документооборота для скандинавских стран в составе команды Aditro (10-15 человек); - автоматизация метеорадарной станции (программно-аппаратный комплекс управления метеорадаром MRL5) для активного воздействия на погоду (Болгария- Аргентина) (20 человек); - различные проекты от стартапов до крупных химических предприятий (Eurofins) в Германии с составом команды от 3 до 50 человек. Текущий проект: обработка сверхбольших данных DSL-метрик и прогнозирование потенциальных проблем на линиях связи в Deutsche Telekom. Преподаватель

Александра Чащина

курс

Выпускница магистерской программы “Informatique pour la Science de Données (Big Data)” университета Париж-Сакле. Профессиональный опыт: 7 лет программирования на Python и Java. Последние 3 года специализируется на Scala и распределенной обработке больших данных. Участвует в проектах Big Data на 1000+ пользователей в крупных французских компаниях (Enedis, Groupama). Участница Google Summer of Code 2016. Прошла сертификацию “Databricks Associate Developer for Apache Spark 2.4 with Scala 2.11”.

Образовательная организация

Otus

4.2

288 отзывов

Otus.ru - высокотехнологический стартап в области образования. Наша миссия - делать образование осмысленным, реализуя связь между работодателями, специалистами и преподавателями. Приходите к нам учиться!

OTUS сегодня – это более 80 авторских курсов для IT-специалистов из разных направлений таких как программирование, тестирование, инфраструктура, информационная безопасность, управление и Data Science. И что важно, у нас есть программы для разных уровней подготовки от новичков до профессионалов, которые хотят освоить продвинутые навыки.
Наша миссия — делать обучение осмысленным, реализуя взаимосвязь между ожиданиями работодателей, компетенциями специалистов и возможностями преподавателей.

Программа курса

Scala
-Тема 1.Основы Scala
-Тема 2.Сборка проектов на Scala

Hadoop
-Тема 3.Hadoop
-Тема 4.HDFS
-Тема 5.YARN
-Тема 6.Форматы данных

Spark
-Тема 7.Архитектура приложения Spark
-Тема 8.RDD/Dataframe/Dataset
-Тема 9.Методы оптимизации приложений Spark
-Тема 10.Написание коннекторов для Spark
-Тема 11.Тестирование приложений Spark
-Тема 12.Spark ML

Streaming
-Тема 13.Kafka
-Тема 14.Spark Streaming
-Тема 15.Structured Streaming
-Тема 16.Flink - часть 1
-Тема 17.Flink - часть 2
-Тема 18.Q&A

Apache Hive
-Тема 19.Обзор Hive
-Тема 20.HiveQL

Обслуживающие системы
-Тема 21.Оркестрация процессов обработки данных
-Тема 22.Мониторинг и логирование для Spark-приложений
-Тема 23.CI/CD для Spark и Hive

Проектная работа
-Тема 24.Выбор темы и организация проектной работы
-Тема 25.Консультация по проектам и домашним заданиям
-Тема 26.Защита проектных работ