Подпишитесь на телеграмм-канал про ИИ в образовании: Егошин | Кеды профессора
Сложность
Сложность
Продвинутый
Тип обучения
Тип обучения
Курс
Формат обучения
Формат обучения
С проверкой домашнего задания
Трудоустройство
Трудоустройство
Отсутствует
Сертификат
Сертификат
Да

Стоимость курса

45 000 ₽
нет рассрочки
Тренинг даёт подробное представление о внутреннем устройстве и функционировании фреймворка Apache Spark – как Spark Core (RDD), так и Spark SQL, Spark Streaming и Spark Structured Streaming. Рассматриваются механизмы запуска компонентов кластера Spark под управлением разных менеджеров кластеров, управление выделением ресурсов (в первую очередь – памяти), механизмы работы планировщиков. Подробно исследуются преимущества формата внутреннего представления Tungsten и работы оптимизатора Catalyst. 

Что вы получите после обучения

Приобретаемые навыки
1
Apache Spark
Сертификат, ссылками на который можно делиться с другими людьми

Образовательная организация

Оценка и обучение ИТ-специалистов по ключевым направлениям разработки программного обеспечения. Курсы от экспертов-практиков по языкам программирования, системному и бизнес-анализу, архитектуре ПО, ручному и автоматизированному тестированию ПО, Big Data и машинному обучению, управлению проектами и Agile. Действует скидка 10% на обучение физических лиц.

Программа курса

Разбираемые темы:
Внутренняя архитектура Spark, Spark Runtime Environment
Настройка Spark Context, SparkConf
Внутреннее устройство RDD, логический план
Лучшие практики программирования с RDD
Физический план: работы, стадии, задачи
Планировщики и выполнение физического плана
Настройка памяти, сериализация, кеширование, сборка мусора
Datasource API, внутреннее представление данных Tungsten, форматы файлов
Оптимизатор Catalyst
Микропакетный Spark Streaming: получение и выдача данных
Structured Streaming: получение и выдача данных

Рейтинг курса

4
рейтинг
0
0
0
0
0

Может быть интересно

обновлено 08.12.2024 00:05
Фреймворк Apache Spark для разработчиков: продвинутый уровень

Фреймворк Apache Spark для разработчиков: продвинутый уровень

Оставить отзыв
Поделиться курсом с друзьями