Фреймворк Apache Spark для разработчиков: продвинутый уровень

все курсы

Программирование

24 часа

Сложность

Продвинутый

Тип обучения

Курс

Формат обучения

С проверкой домашнего задания

Трудоустройство

Отсутствует

Сертификат

Да

Стоимость курса

45 000 ₽

нет рассрочки

Тренинг даёт подробное представление о внутреннем устройстве и функционировании фреймворка Apache Spark – как Spark Core (RDD), так и Spark SQL, Spark Streaming и Spark Structured Streaming. Рассматриваются механизмы запуска компонентов кластера Spark под управлением разных менеджеров кластеров, управление выделением ресурсов (в первую очередь – памяти), механизмы работы планировщиков. Подробно исследуются преимущества формата внутреннего представления Tungsten и работы оптимизатора Catalyst.

Что вы получите после обучения

Приобретаемые навыки

API

Apache Spark

Сертификат, ссылками на который можно делиться с другими людьми

Образовательная организация

IBS Training Center

4.5

219 отзывов

Оценка и обучение ИТ-специалистов по ключевым направлениям разработки программного обеспечения. Курсы от экспертов-практиков по языкам программирования, системному и бизнес-анализу, архитектуре ПО, ручному и автоматизированному тестированию ПО, Big Data и машинному обучению, управлению проектами и Agile. Действует скидка 10% на обучение физических лиц.

Программа курса

Разбираемые темы:
Внутренняя архитектура Spark, Spark Runtime Environment
Настройка Spark Context, SparkConf
Внутреннее устройство RDD, логический план
Лучшие практики программирования с RDD
Физический план: работы, стадии, задачи
Планировщики и выполнение физического плана
Настройка памяти, сериализация, кеширование, сборка мусора
Datasource API, внутреннее представление данных Tungsten, форматы файлов
Оптимизатор Catalyst
Микропакетный Spark Streaming: получение и выдача данных
Structured Streaming: получение и выдача данных