DP - 203: Проектирование решений для данных в Microsoft Azure — курс 64990 руб. от Специалист на «Образовал», обучение , Дата проведения 21 Мая 2023.

все курсы

Программирование

DP - 203: Проектирование решений для данных в Microsoft Azure

4.2

Сложность

Продвинутый

Тип обучения

Курс

Формат обучения

С проверкой домашнего задания

Трудоустройство

Отсутствует

Сертификат

Да

Стоимость курса

64 990 ₽

есть рассрочка

Этот курс предоставит слушателям знания и навыки о шаблонах и методах проектирования данных, касающихся работе с пакетными аналитическими решениями и решениями в реальном времени с использованием технологий платформы данных Azure
Этот курс охватывает следующие технологии:
Основная аудитория этого курса - профессионалы в области данных, архитекторы данных и профессионалы в области бизнес-аналитики, которые хотят узнать об инженерии данных и создании аналитических решений с использованием технологий платформы данных, существующих в Microsoft Azure. Вторичная аудитория этого курса - аналитики данных и специалисты по данным, работающие с аналитическими решениями на базе Microsoft Azure.

Вы научитесь:
Изучать варианты вычислений и хранения для рабочих нагрузок инженерии данных в Azure
Разработке и реализации уровня обслуживания
Понимать особенности инженерии данных
Выполнению интерактивных запросов с использованием бессерверных пулов SQL
Изучать, преобразовывать и загружать данные в хранилище данных с помощью Apache Spark
Выполнению исследования и преобразования данных в Azure Databricks
Получению и загрузке данных в хранилище данных
Преобразованию данных с помощью фабрики данных Azure или Azure Synapse Pipelines
Интеграции данных из записных книжек с фабрикой данных Azure или конвейерами Azure Synapse
Оптимизации производительности запросов с помощью выделенных пулов SQL в Azure Synapse
Анализировать и оптимизировать хранилище данных в хранилище данных
Поддержке гибридной транзакционной аналитической обработки (HTAP) с помощью Azure Synapse Link
Обеспечению сквозной безопасности с помощью Azure Synapse Analytics
Выполнять потоковую обработку в реальном времени с помощью Stream Analytics
Созданию решения для потоковой обработки с концентраторами событий и Azure Databricks
Создавать отчеты с помощью интеграции Power BI с Azure Synpase Analytics
Выполнению интегрированных процессов машинного обучения в Azure Synapse Analytics

Что вы получите после обучения

Приобретаемые навыки

Microsoft Azure

Решение задач

Решения проблем

Преобразование данных

Сертификат, ссылками на который можно делиться с другими людьми

Вас будут обучать

Михайлов Денис Алексеевич

курсов

Опытный преподаватель курсов по Microsoft Azure, обладатель сертификаций Microsoft Certified Professional, MCSE: Cloud Platform and Infrastructure, MCSA: Windows Server 2012. Опыт работы в сфере системного администрирования составляет более 20 лет, в области преподавания - 5 лет. На данный момент Денис Алексеевич выпустил более 40 групп по различным продуктам вендора Microsoft.

Денис Алексеевич выпускник УрФУ по специальности инженер-конструктор (газовые турбины). Работал инженером и системным администратором в таких компаниях, как «Оками-Моторс-Восток», «ПФ «СКБ Контур», «Софтлайн Трейд». За время работы «Софтлайн Трейд» был повышен до руководителя направления Microsoft System Center. Его основная дейтельность - разработка архитектуры, детальное проектирование, разработка план-графика работ и оценки трудозатрат в качестве технического эксперта, внедрение продукта Microsoft System Center (Service Manager, Configuration Manager, Operation Manager, Data Protection Manager), проведение презентаций, обучения для заказчика.

Денис Алексеевич ответственный преподаватель, нацеленный на максимальное усвоение материала слушателями и их понимание, как применять его на практике. Слушатели особенно отмечают его креативность и способность найти личный подход к обучению, а так же ценность примеров решения различных задач администратора из его личного опыта.

Самородов Федор Анатольевич

курсов

Преподаватель специального назначения, обладатель престижного международного статуса Microsoft Certified Master. Выпускник МГТУ имени Н.Э. Баумана.

На занятиях Фёдор Анатольевич во главу угла ставит принцип «Зри в корень!» - важно не только изучить работу механизма, но и понять, почему он работает именно так, а не иначе.

Специалист широкого профиля в области проектирования и разработки программного обеспечения. Обладает многолетним опытом работы в качестве руководителя команды разработчиков и главного архитектора. Специализируется на интеграции корпоративных приложений, разработке архитектуры веб-порталов, системах анализа данных, развертывании и поддержке Windows-инфраструктуры.

Сочетание инженерного и естественнонаучного стилей изложения позволяет передать слушателям увлечённость и творческий подход преподавателя. Федор Анатольевич неизменно получает самые восторженные отзывы от своих благодарных выпускников.

Образовательная организация

Специалист

4.1

654 отзыва

Ведущий компьютерный учебный центр России с высочайшим уровнем качества обучения, сервиса и организации учебного процесса
Лучший учебный центр авторизованный Microsoft в России, Центральной и Восточной Европе в 2011-2014 гг
Центр «Специалист» — первый в России авторизованный учебный центр по обучению Adobe — Adobe Authorised Training Centre
Крупнейший авторизованный учебный центр ведущих IT-компаний мира
С 2012 г. Центр «Специалист» входит в «Круг совершенства EC-Council»

Программа курса

Модуль 1. Изучение возможностей вычислений и хранения для рабочих нагрузок инженерии данных (1 ак. ч.)

Введение в Azure Synapse Analytics
Описание Azure Databricks
Введение в хранилище озера данных Azure
Опишите архитектуру озера Дельта
Работа с потоками данных с помощью Azure Stream Analytics
Объедините потоковую и пакетную обработку в едином конвейере
Организуйте озеро данных по уровням преобразования файлов
Индексируйте хранилище озера данных для ускорения запросов и рабочих нагрузок

Модуль 2. Разработка и реализация уровня обслуживания (2 ак. ч.)

Разработайте многомерную схему для оптимизации аналитических рабочих нагрузок
Масштабируемое преобразование без кода с помощью фабрики данных Azure
Заполнение медленно меняющихся измерений в конвейерах Azure Synapse Analytics
Разработайте звездообразную схему для аналитических рабочих нагрузок
Заполнение медленно изменяющихся измерений с помощью фабрики данных Azure и сопоставление потоков данных

Модуль 3. Рекомендации по проектированию данных для исходных файлов (2 ак. ч.)

Проектирование современного хранилища данных с помощью Azure Synapse Analytics
Защита хранилища данных в Azure Synapse Analytics
Управление файлами в озере данных Azure
Защита файлов, хранящихся в озере данных Azure

Модуль 4. Выполнение интерактивных запросов с использованием бессерверных пулов SQL в Azure Synapse Analytics (2 ак. ч.)

Изучите возможности бессерверных пулов SQL в Azure Synapse
Запрос данных в озере с помощью бессерверных пулов SQL Azure Synapse
Создание объектов метаданных в бессерверных пулах SQL Azure Synapse
Защита данных и управление пользователями в бессерверных пулах SQL Azure Synapse
Запрос данных Parquet с помощью бессерверных пулов SQL
Создание внешних таблиц для файлов Parquet и CSV
Создание представлений с помощью бессерверных пулов SQL
Безопасный доступ к данным в озере данных при использовании бессерверных пулов SQL
Настройка безопасности озера данных с помощью управления доступом на основе ролей (RBAC) и списка управления доступом

Модуль 5. Изучение, преобразование и загрузка данных в хранилище данных с помощью Apache Spark (2 ак. ч.)

Понимание инженерии больших данных с помощью Apache Spark в Azure Synapse Analytics
Получение данных с помощью записных книжек Apache Spark в Azure Synapse Analytics
Преобразование данных с помощью DataFrames в пулах Apache Spark в Azure Synapse Analytics
Интеграция пулов SQL и Apache Spark в Azure Synapse Analytics
Выполнение исследования данных в Synapse Studio
Получение данных с помощью записных книжек Spark в Azure Synapse Analytics
Преобразование данных с помощью DataFrames в пулах Spark в Azure Synapse Analytics
Интеграция пулов SQL и Spark в Azure Synapse Analytics

Модуль 6. Исследование и преобразование данных в Azure Databricks (2 ак. ч.)

Описание Azure Databricks
Чтение и запись данных в Azure Databricks
Работа с DataFrames в Azure Databricks
Работа с расширенными методами DataFrames в Azure Databricks
Использование DataFrames в Azure Databricks для изучения и фильтрации данных
Кэшировать DataFrame для более быстрых последующих запросов
Удалить повторяющиеся данные
Управление значениями даты / времени
Удалить и переименовать столбцы DataFrame
Сводные данные, хранящиеся в DataFrame

Модуль 7. Получение и загрузка данных в хранилище данных (2 ак. ч.)

Используйте рекомендации по загрузке данных в Azure Synapse Analytics
Прием петабайтов с помощью фабрики данных Azure
Выполнение приема петабайтов с помощью Azure Synapse Pipelines
Импорт данных с помощью PolyBase и КОПИРОВАНИЕ с помощью T-SQL
Используйте рекомендации по загрузке данных в Azure Synapse Analytics

Модуль 8. Преобразование данных с помощью фабрики данных Azure или Azure Synapse Pipelines (2 ак. ч.)

Интеграция данных с фабрикой данных Azure или Azure Synapse Pipelines
Масштабируемое преобразование без кода с помощью фабрики данных Azure или Azure Synapse Pipelines
Выполняйте масштабные преобразования без кода с помощью Azure Synapse Pipelines
Создайте конвейер данных для импорта плохо отформатированных файлов CSV
Создание потоков данных сопоставления

Модуль 9. Управление перемещением и преобразованием данных в Azure Synapse Pipelines (2 ак. ч.)

Управляйте перемещением и преобразованием данных в фабрике данных Azure
Интеграция данных из записных книжек с фабрикой данных Azure или конвейерами Azure Synapse

Модуль 10. Оптимизация производительности запросов с помощью выделенных пулов SQL в Azure Synapse (2 ак. ч.)

Оптимизация производительности запросов к хранилищу данных в Azure Synapse Analytics
Ознакомьтесь с функциями Azure Synapse Analytics для разработчиков хранилища данных.
Изучите особенности Azure Synapse Analytics для разработчиков
Оптимизация производительности запросов к хранилищу данных в Azure Synapse Analytics

Модуль 11. Анализ и оптимизация хранилища данных (2 ак. ч.)

Анализируйте и оптимизируйте хранилище хранилища данных в Azure Synapse Analytics
Проверьте искаженные данные и использование пространства
Сведения о хранилище хранилища столбцов
Изучите влияние материализованных представлений
Изучите правила для минимально регистрируемых операций

Модуль 12. Поддержка гибридной аналитической обработки транзакций (HTAP) с помощью Azure Synapse Link (2 ак. ч.)

Разработка гибридной транзакционной и аналитической обработки с помощью Azure Synapse Analytics
Настройка ссылки Azure Synapse с помощью Azure Cosmos DB
Запросы к Azure Cosmos DB с пулами Apache Spark
Запросы к Azure Cosmos DB с бессерверными пулами SQL
Настройка ссылки Azure Synapse с помощью Azure Cosmos DB
Запросы к Azure Cosmos DB с помощью Apache Spark для Synapse Analytics
Запросы к Azure Cosmos DB с бессерверным пулом SQL для Azure Synapse Analytics

Модуль 13. Комплексная безопасность с помощью Azure Synapse Analytics (2 ак. ч.)

Защита хранилища данных в Azure Synapse Analytics
Настройка и управление секретами в Azure Key Vault
Внедрить контроль соответствия для конфиденциальных данных
Безопасная инфраструктура поддержки Azure Synapse Analytics
Защита рабочей области Azure Synapse Analytics и управляемых служб
Защита данных рабочей области Azure Synapse Analytics

Модуль 14. Обработка потоков в реальном времени с помощью Stream Analytics (2 ак. ч.)

Обеспечьте надежный обмен сообщениями для приложений больших данных с помощью концентраторов событий Azure
Работа с потоками данных с помощью Azure Stream Analytics
Получение потоков данных с помощью Azure Stream Analytics
Используйте Stream Analytics для обработки данных в реальном времени из концентраторов событий
Используйте оконные функции Stream Analytics для создания агрегатов и вывода в Synapse Analytics.
Масштабируйте задание Azure Stream Analytics для увеличения пропускной способности за счет секционирования.
Переразбейте входной поток для оптимизации распараллеливания

Модуль 15. Создание решения для потоковой обработки с концентраторами событий и Azure Databricks (2 ак. ч.)

Обработка потоковых данных с помощью структурированной потоковой передачи Azure Databricks
Изучите ключевые функции и способы использования структурированной потоковой передачи
Потоковая передача данных из файла и запись их в распределенную файловую систему
Используйте скользящие окна для агрегирования фрагментов данных, а не всех данных
Применение водяных знаков для удаления устаревших данных
Подключение к концентраторам событий для чтения и записи потоков

Модуль 16. Создание отчетов с использованием интеграции Power BI с Azure Synpase Analytics (2 ак. ч.)

Создавайте отчеты с помощью Power BI, используя его интеграцию с Azure Synapse Analytics.
Интеграция рабочей области Azure Synapse и Power BI
Оптимизировать интеграцию с Power BI
Повышение производительности запросов с помощью материализованных представлений и кэширования набора результатов
Визуализируйте данные с помощью SQL Serverless и создайте отчет Power BI

Модуль 17. Выполнение интегрированных процессов машинного обучения в Azure Synapse Analytics (1 ак. ч.)

Используйте интегрированный процесс машинного обучения в Azure Synapse Analytics
Создание связанной службы машинного обучения Azure
Запуск эксперимента Auto ML с использованием данных из таблицы Spark
Обогащайте данные с помощью обученных моделей
Показывать результаты прогнозов с помощью Power BI