Data Engineering: SQL, Airflow, пайплайны и качество данных
Практический курс по построению надёжных потоков данных для аналитики и AI
Чему вы научитесь
- Проектировать поток данных: source, staging, transform, mart, dashboard/API
- Писать SQL для загрузки, агрегаций, оконных функций, дедупликации и контроля качества
- Понимать DAG, task, schedule, retry, backfill, idempotency и data interval
- Строить проверки: schema, nulls, uniqueness, freshness, reconciliation
- Документировать lineage, владельцев таблиц, SLA и инциденты данных
О курсе
Курс закрывает разрыв между аналитикой и инженерией данных: как данные попадают из источников в хранилище, проходят проверку качества, обновляются по расписанию, версионируются и становятся готовыми для отчётов, ML и GenAI. Ученик строит учебный batch-пайплайн с PostgreSQL, DAG-оркестрацией, проверками свежести и итоговой витриной.
28 недель · 6 ч/нед
6 разделов · 18 шагов · практика после модулей
Итоговый проект и сертификат после завершения.
16+ лет · старшая школа и взрослые. нужны базовая математика, чтение схем и самостоятельная работа с проектом
Профессиональный: 4/5
требует дисциплины, проверки и портфолио
Цифровые профессии
ИИ, аналитика, дизайн, маркетинг, бизнес и кибербезопасность без смешивания с программированием.
Как устроено обучение
Методическая подача
таблицы признаков, графики распределений, воронки, когортные сетки и причинные схемы
продуктовые метрики, ошибки интерпретации, качество данных и аналитические записки
вопрос, данные, расчёт, визуализация, ограничение вывода
аналитический memo с графиками, проверкой смещений и рекомендациями
Учебный микс
13 визуальных материалов · 100% по предмету
иллюстрации в основном соответствуют предметному языку курса
Профессиональная программа
Измеримые результаты
- Собрать воспроизводимый data pipeline от сырых данных до витрины
- Настроить проверки качества и объяснить, почему пайплайн должен быть idempotent
- Разобрать инцидент данных: где сломалось, кто владелец, как восстановить и как предотвратить повтор
Входной уровень
- Базовый SQL
- Понимание таблиц и CSV/JSON
- Желательно: Python на уровне функций
Проверка знаний
- SQL-лабораторные
- DAG-проект с retry/backfill
- Паспорт витрины данных и incident review
Итоговый проект
Учебная аналитическая витрина: PostgreSQL tables, DAG загрузки, трансформации, quality checks, lineage-схема, SLA и README эксплуатации.
Программа курса
6 разделов · 18 уроков- Карта пониманияОткрыто8 мин
- Что рисовать и фиксироватьОткрыто8 мин
- Ритм практики и повторенияОткрыто8 мин
- Проверка учебного маршрутаОткрыто10 мин
- От требования к тестуОткрыто14 мин
- Архитектура вместо набора синтаксиса14 мин
- Поток данных и состояниеОткрыто15 мин
- API и база данных16 мин
- Качество: тест, review, refactor, release14 мин
- От источника к витринеОткрыто11 мин
- Идемпотентность и повторный запускОткрыто10 мин
- Практика: слои данныхОткрыто13 мин
- Проверки качестваОткрыто11 мин
- SQL как инженерный языкОткрыто9 мин
- Практика: quality checksОткрыто12 мин
- DAG, task, scheduleОткрыто11 мин
- Lineage и incident reviewОткрыто10 мин
- Практика: DAG и эксплуатацияОткрыто14 мин
Отзывы
Пока нет отзывов.