Data Engineer

Необходимые знания для прохождения курса:

• Опыт разработки на Java/Python
• Основы работы с БД: SQL, индексы, агрегирующие функции
• Базовые знания ОС: работа с командной строкой, доступ по SSH

Будет плюсом:

• Навыки работы с Docker
• Знакомство с компонентами экосистемы Hadoop
• Понимание основ машинного обучения с позиции Data Scienist-а или аналитика

Что даст вам этот курс?

• Понимание ценности данных для бизнеса и архитектуры
• Узнаете, как организовать хранение данных, познакомитесь с методами проектирования хранилищ
• Сможете разрабатывать ETL процессы для выгрузки данных из внешних источников
• Научитесь преобразовывать данные в пакетном и потоковом режимах
• Узнаете что такое качество данных и как работать с метаданными
• Изучите современные BI инструменты и научитесь создавать витрины данных

После обучения вы сможете

Разворачивать, настраивать и оптимизировать инструменты обработки данных:

• Разрабатывать и оптимизировать пайплайны обработки данных
• Использовать Apache Airflow для оркестрации задач
• Обрабатывать большие данные с помощью Apache Spark

Работать с базами данных и хранилищами данных:

• Строить ETL/ELT-процессы для загрузки и обработки данных
• Работать с распределёнными хранилищами (HDFS, S3) и DWH (ClickHouse)

Адаптировать датасеты для дальнейшей работы и аналитики

Создадите сервисы, которые используют результаты обработки больших объемов данных

Применять облачные технологии

Решать реальные бизнес-задачи: cтроить отчётность и дашборды, обеспечивать Data Governance

Реализация задачи по интересующей теме с применением комплекса знаний, полученных в рамках курса. В рамках подготовки проекта будут даны вводные и проведены консультации.