Фреймворк Apache Spark для разработчиков: продвинутый уровень

все курсы

Программирование

4.2

24 часа,

начало 18 ноября

Сложность

Продвинутый

Тип обучения

Курс

Формат обучения

С проверкой домашнего задания

Трудоустройство

Отсутствует

Сертификат

Да

Стоимость курса

45 000 ₽

нет рассрочки

Тренинг даёт подробное представление о внутреннем устройстве и функционировании фреймворка Apache Spark – как Spark Core (RDD), так и Spark SQL, Spark Streaming и Spark Structured Streaming. Рассматриваются механизмы запуска компонентов кластера Spark под управлением разных менеджеров кластеров, управление выделением ресурсов (в первую очередь – памяти), механизмы работы планировщиков. Подробно исследуются преимущества формата внутреннего представления Tungsten и работы оптимизатора Catalyst.

Что вы получите после обучения

Приобретаемые навыки

Apache Spark

API

Сертификат, ссылками на который можно делиться с другими людьми

Вас будут обучать

Заигрин Вадим

курс

Специалист в области BigData

О проектах

В рамках своей профессиональной деятельности занимался:

развертыванием, управлением и программированием Apache Hadoop, Spark, Kafka и Greenplum;
разработкой моделей машинного обучения в Spark и внедрение их в производство;
разработкой интеграции Apache Hadoop с СУБД и СХД;
разработкой и программированием решений на Google Cloud Platform и Яндекс.Облаке;
разработкой информационной безопасности для Apache Hadoop с Ranger и Atlas;
программированием на Scala, Java, Python, R, SQL, Go, C и Lisp.

Образовательная организация

IBS Training Center

4.5

219 отзывов

Оценка и обучение ИТ-специалистов по ключевым направлениям разработки программного обеспечения. Курсы от экспертов-практиков по языкам программирования, системному и бизнес-анализу, архитектуре ПО, ручному и автоматизированному тестированию ПО, Big Data и машинному обучению, управлению проектами и Agile. Действует скидка 10% на обучение физических лиц.

Программа курса

Разбираемые темы:
Внутренняя архитектура Spark, Spark Runtime Environment
Настройка Spark Context, SparkConf
Внутреннее устройство RDD, логический план
Лучшие практики программирования с RDD
Физический план: работы, стадии, задачи
Планировщики и выполнение физического плана
Настройка памяти, сериализация, кеширование, сборка мусора
Datasource API, внутреннее представление данных Tungsten, форматы файлов
Оптимизатор Catalyst
Микропакетный Spark Streaming: получение и выдача данных
Structured Streaming: получение и выдача данных