Профессия Data Engineer

все курсы

Курс находится на модерации. Данные могут быть неактуальны.

3.8

Сложность

Начинающий

Тип обучения

Профессия

Формат обучения

С проверкой домашнего задания

Трудоустройство

Гарантия

Стоимость курса

бесплатно

есть рассрочка

Кому подойдёт этот курс

Новичкам
С нуля освоите Python и SQL. Научитесь собирать, анализировать и обрабатывать данные. Решите задачи на основе реальных кейсов и добавите их в портфолио. Сможете начать карьеру в Data Engineering во время обучения.

Программистам
Подтянете знание SQL для работы с базами данных. Пройдёте весь путь дата-инженера от сбора сырых данных до деплоя модели. Опыт в программировании поможет быстро разобраться в новой профессии и сменить сферу.

Начинающим аналитикам
Изучите все этапы работы с данными. Научитесь собирать информацию из разных источников, выстраивать архитектуру для её хранения и визуализировать отчёты. Сможете самостоятельно подготовить данные для последующего анализа.

Что вы получите после обучения

Приобретаемые навыки

API

Python

SQL

XML

Математическая статистика

Data Science

Apache Spark

Математика для Data Science

Дата-инженер

Airflow

RDD

Образовательная организация

Skillbox

3375 отзывов

Российская интернет-компания из сферы онлайн-образования, основанная в 2016 году. Контрольный пакет ООО «Скилбокс» принадлежит VK. Компания считается лидером российского рынка профессионального онлайн-обучения. Она также лидирует в сфере обучения профессиям, связанным с цифровой экономикой и Интернет-рекламой.

Skillbox — российская компания, которая специализируется на онлайн-образовании. Skillbox называет себя онлайн-университетом востребованных профессий.

Образовательные программы сервиса сосредоточены на четырех основных направлениях:

дизайн;
программирование;
маркетинг;
управление.

На платформе можно получить знания по актуальным темам и востребованные навыки. Все курсы нацелены на практику: мы следим за актуальностью материала и помогаем с трудоустройством и стажировкой.

Образовательная платформа Skillbox была запущена в 2016 году. Компанию основали Игорь Коропов (1989—2020) и Дмитрий Крутов.Позже к ним присоединились Андрей Анищенко и Сергей Попков.Генеральным директором компании с момента основания является Дмитрий Крутов.Skillbox дважды получила «Премию Рунета»: в 2018 году в номинации «Образование и кадры», и в 2019 году в номинации «Технологии и инновации»

В феврале 2019 года Mail.Ru Group приобрела 3 % компании, затем в марте увеличила долю до 10,33 %, и, наконец, до 60,33 % в декабре того же года.Согласно годовому отчёту Mail.Ru Group, контрольный пакет компании обошёлся ей в 1,6 млрд руб.

В ноябре 2019 года РБК включил компанию в рейтинг 35-и крупнейших EdTech компаний России, поставив Skillbox на 6-ое место. В 2020 году в рейтинге топ-10 крупнейших EdTech-компаний, составленном РБК, Skillbox переместилась на 2-ое место.

В октябре 2020 года Mail.Ru Group увеличила свою долю в компании до 70 %. В ноябре 2020 года сооснователь платформы Игорь Коропов погиб в Сочи.

Программа курса

Первый уровень: базовая подготовка

Среднее время прохождения — 6 месяцев.

Введение в Data Science

Познакомитесь с основными направлениями Data Science. Узнаете, какие задачи решают дата-аналитики, дата-инженеры и специалисты по машинному обучению.
Пройдёте все этапы работы с данными. Научитесь выявлять проблемы, собирать бизнес-требования. Будете выгружать данные из различных источников, проводить разведочный анализ и готовить датасет к дальнейшему использованию. Обучите и внедрите готовую ML-модель, попробуете себя в роли продуктового и маркетингового аналитика. Узнаете, как формулировать и проверять гипотезы. Освоите базовые инструменты для работы: Python, SQL, Excel, Power Bi, Airflow.

Основы математики для Data Science

Получите базовые знания по математике для работы с машинным обучением. Поймёте, что такое аппроксимация, интерполяция, функции, регрессии, матрицы и векторы. Научитесь работать с математическими сущностями в Python-библиотеке SymPy.

Основы статистики и теории вероятностей

Поймёте принципы работы со случайными величинами и событиями. Познакомитесь с некоторыми видами распределений и статистическими тестами, которые пригодятся при составлении моделей и проверке гипотез.

Возможность стажировки

Базовых знаний и навыков хватит, чтобы устроиться на стажировку — сможете продолжить учиться и на курсе, и в компании одновременно.

Второй уровень: введение в дата-инженерию и трудоустройство

Среднее время прохождения — 6 месяцев.

Data Engineer Junior

Узнаете, чем занимается Data Engineer, какую роль играет в Data Science проекте и какие у него пути карьерного развития. Поймёте, как построен курс и какие темы вы будете изучать.
Научитесь манипулировать данными в существующих таблицах, выполнять операции вставки, очистки и обновления данных. Сможете сохранять данные из БД в различные форматы.
Познакомитесь с оконными функциями и основами подготовки витрин данных, использующих SQL. Научитесь обеспечивать корректную вставку информации в режиме транзакции. Сможете читать и понимать лог транзакций.
Узнаете, что такое индексы и архитектура индексов, где они применяются. Изучите методы ускорения запросов.
Рассмотрите типы данных, возможности их преобразования и принцип совместной работы Python и SQL — получение данных из БД, работа с данными и выполнение запросов. Изучите основные понятия схем данных JSON и XML. Сможете настраивать отладку приложений, писать тесты, обезличивать и шифровать данные.
Узнаете, что такое библиотеки для работы с графиками, обучение с учителем, визуализация метрик и источники датасетов. Научитесь использовать Python и библиотеки для работы с данными. Сможете продолжить изучение Pandas.
Рассмотрите ключевые понятия и практики по работе с Airflow. Изучите архитектуру и основы взаимодействия от UI до CLI. Построите свой первый data pipeline.
Освоите Spark: узнаете, какими ресурсами вычислений он оперирует, как хранит данные и работает с памятью и диском. Развернёте свой первый локальный стенд.
Изучите основы RDD: базовые концепции, работу с источниками, actions. Научитесь работать с Dataframe API. Изучите вопросы производительности и оптимизации при использовании Dataframe, источники и типы данных, работу с валидными/невалидными данными, обработку ошибок, UDF, взаимодействие с Python и SQL.
Разберёте основные виды моделей машинного обучения, ключевые термины и определения. Изучите алгоритмы регрессии и алгоритмы кластеризации.
Изучите основные этапы подготовки модели к деплою, подходы к построению API и способы обработки ошибок и отладки приложений. Сможете устранять проблемы при деплое и освоите основные инструменты swagger.
Познакомитесь с ключевыми процессами bash: написанием скриптов, работой с переменными и текстовыми редакторами sed и awk.

Трудоустройство с помощью Центра карьеры

Карьерный консультант поможет подготовиться к собеседованию в компании-партнёре. Разберёте частые вопросы и научитесь меньше переживать на интервью.
Напишете сопроводительное письмо и грамотно оформите резюме.
Будете готовы пройти собеседование — карьерный консультант организует встречу с работодателем.
На интервью презентуете проекты, над которыми вы работали на курсе, а знания и навыки пригодятся для выполнения тестовых задач.

Продвинутый уровень: погружение в профессию

Среднее время прохождения — до года.

Data Engineer Advanced

Научитесь пользоваться типовыми средствами мониторинга, настраивать алерты. Будете выбирать архитектуру для хранения данных и работать со сложными типами архитектуры хранилищ. Выстраивать инфраструктуру и пайплайны для обучения ML-моделей.

Дипломные проекты

Выполните большую работу в конце каждого уровня, чтобы закрепить знания. Сможете добавить проекты в портфолио.

Базовый уровень

Закрепите новые знания Data Science на индивидуальном проекте — пройдёте путь от загрузки данных до внедрения модели. Решите задачи дата-инженера, ML-инженера и дата-аналитика, чтобы определиться со специализацией.

Уровень Junior

Проведёте когортный анализ и выгрузите справочники по API. Построите дашборды по полученным данным.

Уровень Middle

Хакатон

Бонусные курсы

Карьера разработчика: трудоустройство и развитие

Узнаете, как выбрать подходящую вакансию, подготовиться к собеседованию и вести переговоры с работодателем. Сможете быстрее получить должность, которая соответствует вашим ожиданиям и умениям.

Система контроля версий Git

Научитесь версионировать изменения в коде, создавать и управлять репозиториями, ветками, разрешать конфликты версий. Узнаете полезные правила работы с Git.