Образовал
Сложность
Сложность
Продвинутый
Тип обучения
Тип обучения
Курс
Формат обучения
Формат обучения
С проверкой домашнего задания
Трудоустройство
Трудоустройство
Отсутствует
Сертификат
Сертификат
Да

Стоимость курса

44 000 ₽
есть рассрочка

Примеры, что можно автоматизировать с Python

  • Prometheus-exporter для метрик в кастомном формате
  • Сбор статистики о потреблении ресурсов
  • Python lint-тестов для Ansible и Kubernetes
  • Автоматизация создания задач об инцидентах в таск-трекере
  • Автоматизация изменения конфигурации сервера
  • Инструмент для анализа холостых ресурсов

Входные требования:

  • Базовые навыки администрирования Linux (взаимодействие с процессами, файлами, использование прикладных протоколов передачи данных).
  • Опыт работы с git.
  • Знать Docker на базовом уровне и уметь запускать его на своей машине.
  • Понимание предназначения Ansible и модулей Ansible.
  • Иметь представления о предназначении Kubernetes и операторов Kubernetes.
  • Желательно, опыт работы с GitLab и GitLab CI.
  • Желательно, базовые навыки автоматизации на Bash.

Что вы получите после обучения

Приобретаемые навыки
3
Работа с сетью
4
HTTP
5
Работа с файлами
6
Взаимодействие с ОС
7
Kubernetes
9
REST API
11
DevOps
12
CVS
13
Errbot
14
Chatops

Вас будут обучать

Techlead, Data Engineer в Skyeng / ex Слёрм, ISPsystem, Grid Dynamics

— более 5 лет в анализе данных и разработке на Python;
— в качестве DataOps развивает аналитические инфраструктуры и управляет потоками данных;
— строит системы реагирования на триггерные события во взаимодействии пользователя с продуктами;
— отвечал за CI/CD аналитических сервисов и ML моделей;
— разрабатывал крупные модули в B2B продуктах.

Sr. Software engineer in Test, Auriga, ex ISPsystem

— более 3 лет в разработке и тестировании на Python;
— разрабатывает фреймворки для тестирования;
—отвечал за CI в продуктовой команде;
— участвовал в разработке backend для веб-приложений.

Образовательная организация

Учебный центр: обучение для инженеров и технических лидеров. 

Слёрм вырос из внутреннего обучения Southbridge, аутсорсера администрирования нагруженных проектов. В процессе обучения сотрудников появился учебный курс по Kubernetes, а потом базовый курс дополнился продвинутым, появились курсы DevOps, Docker, Ceph, SRE.

Задача Слёрма - передавать применимые на практике знания для IT-специалистов. Учим DevOps-инженеров и разработчиков от новичков до техлидов. 

Учим тому, в чём уверены сами.

Мы улучшаем IT-мир, создавая полезное образование для специалистов, и предпочитаем развиваться без оглядки на других, идти собственным путём.

Программа курса

№1: Основы синтаксиса и структур в Python

Зачем: научиться понимать логику программ на Python, а так же писать простые программы — важнейшая задача. «Самое то», если вы не знакомы с синтаксисом Python.

  • Типы данных и переменные, мутабельные/иммутабельные и простые/составные типы данных, приемы отладки.
  • Условный оператор — логические операторы, простые условия, вложенные условия и замена оператора switch.
  • Базовые циклы — циклы while и for, итераторы, прерывания циклов.
  • Функции, методы строк, списков и словарей.
  • Генерация и обработка исключений.

Практика: набор небольших микрозаданий по каждому уроку.

 

№2: Улучшенное владение Python: оптимизации и ООП

Зачем: Освоим особенности Python — именно за их счет он так прост и практичен. Также раскроем значение тех самых трех букв (мы про ООП) без академической теории и с понятным предназначением

  • Продвинутая работа с циклами — оператор yield и генераторы, инсайты о циклах в Python, оператор else в цикле, оптимизации циклов comprehensions, etc.
  • Специальные типы структур: frozendict, defaultdict, etc.
  • Базовые понятия ООП: классы, экземпляры классов, инкапсуляция, наследование и полиморфизм.
  • Создание контекстных менеджеров для своих типов: конструкция with.

Практика: набор небольших микрозаданий по каждому уроку.
Продвинутая практика: аудит использования услуг.
У CTO появилось подозрение, что некоторые услуги и сервисы уже не используются командами. Проблема заключается в том, что модуль мониторинга используемых услуг не обновлялся последние десять лет: он не может выгрузить агрегированные данные, да и формат возвращаемых значений не соответствует общепринятым стандартам. Вы были избраны, чтобы извлечь снятые показатели, агрегировать их по типу и команде и предоставить данную информацию CTO для первоначальной оценки масштабов проблемы.

 

№3: Подключения по сети

Зачем: Практически каждый сервис имеет интерфейс для подключения по какому-либо сетевому протоколу. А без подключения невозможно взаимодействие. К счастью, в экосистеме Python найдутся модули-клиенты практически для любых протоколов.

  • Пакет pip и установка сторонних модулей.
  • Модуль Paramiko для выполнения команд по ssh.
  • Модуль requests для выполнения HTTP запросов.
  • Обзор модулей для работы с базами данных и брокерами сообщений.

Практика. Команда разработки внедряет уже не новую методологию: Допустил возникновение алерта — получи задачу. Аналитическая подсистема ищет только отборные ошибки и складывает сообщения о них в брокер сообщений Kafka. Ваша задача завершить цикл возврата багов разработчикам: ваш консьюмер должен автоматически создавать задачи с нужным описанием и приоритетом в Trello.

 

№4: Работа с текстом в различных форматах

Зачем: Подключение к сервису — только половина дела. Другая половина это обмен информацией. А информация зачастую представляет собой набор текстовых символов в определенном формате. Раскодировать и закодировать помогут модули. Информация не нужна вся целиком? Извлечь важное, отбросив остальное помогут регулярные выражения.

  • Модуль re и регулярные выражения.
  • Модули работы с данными в разных форматах: separated values, json, yaml, xml.
  • Использование аргументов командной строки: модуль argparse.

Практика: создание источника данных об использовании услуг.
В ходе аудита использования услуг вы выявили важную для бизнеса информацию, заинтересовался даже CEO. Было принято решение проанализировать потерянные деньги и больше не допускать таких ситуаций. Для этого нужно дать аналитикам инструмент получения данных, чтобы они подготовили отчеты. Проблема заключается в том, что модуль мониторинга возвращает лимиты по услугам по отдельному запросу в форматах yaml, а цены за услуги возвращаются биллинговой системой в формате xml. Необходимо срастить данные о текущей загрузке с лимитами и ценами. Агрегированную информацию отдел аналитики запросил в формате JSON с возможностью указать интервал времени и шаг агрегации.

 

№5: Взаимодействие с операционной системой

Зачем: Важность взаимодействия с операционной системой не нужно объяснять дополнительно. Как подружить её с Python — в этом уроке.

  • Чтение и запись файлов.
  • Модуль os — чтение environment variables, работа с директориями и правами, работа с процессами.
  • Модуль subprocess для интерактивного взаимодействия с процессами.

Практика: автоматическое предоставление доступов к серверам.
В ходе кампании по отказу от неиспользуемых услуг возникла курьезная ситуация: сервер продуктовой команды отключили, но инфраструктурная команда периодически использовала его в качестве хоста для стейджинга. Выяснилось, что продуктовая команда не использовала его потому что периодически кто-то перезаписывал их настройки своими. Было решено, что теперь ресурс будет закрепляться только за членами одной команды, а избежать ошибок поможет автоматика. Вам, как заварившему эту кашу, необходимо написать агент, который будет периодически опрашивать систему управления правами и вносить изменения в конфигурации прав внутри установленных сервисов и по необходимости давать сервисам команду перечитать конфигурации.

 

№6: K8S оператор на Python (live-coding stream)

13 октября в 19:00
Зачем: расширим возможности K8S под свои задачи.

 

№7: Пишем свой модуль для Ansible

Зачем: Ansible — мощная система управления конфигурациями, да еще и с возможностью расширения собственными модулями. Какое совпадение, что она сама и большинство модулей написаны на Python.

  • Написание своих модулей для Ansible.

Практика: написание модуля управления правами.
Давным-давно, в далёкой-далёкой галактике вы уже писали агент для выдачи прав к определенным сервисам. Пришло время поменять pull на push и в этом поможет Ansible. Все что нужно — лишь модуль.

 

№8: Создание и кейсы использования своего API

Зачем: Подготовка кода к деплою — одна из важнейших задач. Сделать этот процесс гибче и удобнее помогают собственные скрипты для stage пайплайнов.

  • Создание REST API на Flask.
  • Создание своего prometheus exporter с Prometheus Python Client и Flask.

Практика: выгрузка данных в стороннюю систему мониторинга.
Затраты на неиспользуемое оборудование превысили даже пессимистичные прогнозы. Теперь у команды инженеров есть еще одна зона ответственности — мониторинг неиспользуемых услуг. Для этого вам необходимо периодически опрашивать биллинговую систему через ваш скрипт и передавать данные в Prometheus. Формат получаемых данных все еще не подходит. Вам необходимо реализовать коннектор. А заодно и написать эндпоинт, чтобы отдел аналитики всегда имел под рукой актуальную информацию в формате JSON.

 

АМА-сессия + НЕформальная встреча со спикерами курса

28 октября в 19:00
Встречаемся, чтобы обсудить волнующие вопросы участников курса.

 

№9: Тестирование API своего приложения

Зачем: Иногда лучше не иметь никакого кода, чем код, который работает нестабильно. Для того чтобы не бояться сломать свой код, нужно писать тесты.

  • Виды тестов: unit, интеграционные и end-to-end.
  • Обзор модуля pyhamcrest и его матчеров.
  • Архитектура и возможности pytest.
  • Использование pytest и pyhamcrest для написания юнит-тестов.

Практика: написание тестов при помощи pytest и pyhamcrest для вашего API.

 

№10: Взаимодействие с CVS и DevOps системами

  • Использование сторонних модулей на примере интеграции в пайплайны Gitlab.
  • Использование pygit для получения информации об изменениях в коде.

Практика: генерация change log из коммитов.
Ваши решения настолько понравились команде инженеров, что они вдохновились ими и начали писать свои. Только вот описания к релизам сделать всегда забывают. Для этого командой было принято решение внедрить commit conventions и генерировать ченджлоги прямо из коммитов при слиянии dev-бранча с релизным, а если название коммита не соответствует commit conventions — не допускать merge-request до merge.

 

№11: Chatops с Errbot на Python

Зачем: Основные проблемы бизнеса не в производительности приложений и даже не в возникающих в коде ошибках. Самые серьезные проблемы возникают когда коммуникация сотрудников происходит неэффективно. Chatops является одним из способов решения этой проблемы.

  • Концепция Chatops: какие проблемы решает внедрение Chatops?
  • Фреймворк Errbot: установка, создание базового шаблон плагина, конфигурирование и запуск.
  • Фреймворк Errbot: создание своего плагина для Chatops с различными вариантами обработки сообщений.

 

Итоговый проект

Дедлайн ревью и защита для желающих

После курса у вас останется проект на гите: можете автоматизировать вашу рабочую задачу или сделать один из предложенных вариантов.
Готовый проект можно использовать в качестве кейса для портфолио и показывать при трудоустройстве.

Рейтинг курса

3.1
рейтинг
0
0
0
0
0
обновлено 22.11.2022 12:59

Python для инженеров

Оставить отзыв
Поделиться курсом с друзьями