me_edu
Data Engineering: SQL, Airflow, пайплайны и качество данныхШаг 14 из 18 · 0% пройдено
SQL и качество данных

SQL как инженерный язык

Шаг 14 из 189 минТеория
Цель

Понять основной механизм темы «SQL как инженерный язык» без заучивания отдельных терминов.

Как работать

Прочитайте блок один раз целиком, затем вернитесь к схеме или примеру и перескажите идею своими словами.

Критерий

Сформулированное правило, пример применения и одно ограничение метода.

STRUCTURAL BLOCK DIAGRAMCENTRAL UNITSQLтаблицытранзакцияключииндексзапросСтруктурная схемастрелки показывают поток данных/энергиимасштаб и расположение условные
Схема базы данных показывает таблицы, ключи, индексы и границу транзакции.
Опорная идея

Data engineer обязан писать SQL не только для выборок, но и для надёжных трансформаций. Важны joins, aggregate functions, window functions, CTE, transactions и explain plan. Запрос должен быть понятен, воспроизводим и не ломаться при росте данных.

Отдельная дисциплина — дедупликация. Если один и тот же заказ пришёл дважды, нужно выбрать последнюю версию по timestamp или event_id, а не считать выручку два раза.

Назад

Обсуждение

Войдите, чтобы участвовать в обсуждении.

Пока нет сообщений.