Сложность
Сложность
Продвинутый
Тип обучения
Тип обучения
Курс
Формат обучения
Формат обучения
С проверкой домашнего задания
Трудоустройство
Трудоустройство
Отсутствует
Сертификат
Сертификат
Да

Стоимость курса

45 000 ₽
нет рассрочки
Тренинг даёт подробное представление о внутреннем устройстве и функционировании фреймворка Apache Spark – как Spark Core (RDD), так и Spark SQL, Spark Streaming и Spark Structured Streaming. Рассматриваются механизмы запуска компонентов кластера Spark под управлением разных менеджеров кластеров, управление выделением ресурсов (в первую очередь – памяти), механизмы работы планировщиков. Подробно исследуются преимущества формата внутреннего представления Tungsten и работы оптимизатора Catalyst. 

Что вы получите после обучения

Приобретаемые навыки
1
Apache Spark
Сертификат, ссылками на который можно делиться с другими людьми

Вас будут обучать

Специалист в области BigData

О проектах

В рамках своей профессиональной деятельности занимался:
  • развертыванием, управлением и программированием Apache Hadoop, Spark, Kafka и Greenplum;
  • разработкой моделей машинного обучения в Spark и внедрение их в производство;
  • разработкой интеграции Apache Hadoop с СУБД и СХД;
  • разработкой и программированием решений на Google Cloud Platform и Яндекс.Облаке;
  • разработкой информационной безопасности для Apache Hadoop с Ranger и Atlas;
  • программированием на Scala, Java, Python, R, SQL, Go, C и Lisp.

Образовательная организация

Оценка и обучение ИТ-специалистов по ключевым направлениям разработки программного обеспечения. Курсы от экспертов-практиков по языкам программирования, системному и бизнес-анализу, архитектуре ПО, ручному и автоматизированному тестированию ПО, Big Data и машинному обучению, управлению проектами и Agile. Действует скидка 10% на обучение физических лиц.

Программа курса

Разбираемые темы:
Внутренняя архитектура Spark, Spark Runtime Environment
Настройка Spark Context, SparkConf
Внутреннее устройство RDD, логический план
Лучшие практики программирования с RDD
Физический план: работы, стадии, задачи
Планировщики и выполнение физического плана
Настройка памяти, сериализация, кеширование, сборка мусора
Datasource API, внутреннее представление данных Tungsten, форматы файлов
Оптимизатор Catalyst
Микропакетный Spark Streaming: получение и выдача данных
Structured Streaming: получение и выдача данных

Рейтинг курса

4.2
рейтинг
0
0
0
0
0

Может быть интересно

обновлено 04.08.2024 09:35
Фреймворк Apache Spark для разработчиков: продвинутый уровень

Фреймворк Apache Spark для разработчиков: продвинутый уровень

Оставить отзыв
Поделиться курсом с друзьями