me_edu
Data Engineering: SQL, Airflow, пайплайны и качество данныхШаг 13 из 18 · 0% пройдено
SQL и качество данных

Проверки качества

Шаг 13 из 1811 минТеория
Цель

Понять основной механизм темы «Проверки качества» без заучивания отдельных терминов.

Как работать

Прочитайте блок один раз целиком, затем вернитесь к схеме или примеру и перескажите идею своими словами.

Критерий

Сформулированное правило, пример применения и одно ограничение метода.

STRUCTURAL BLOCK DIAGRAMCENTRAL UNITdata qualityschemareconcilenullsuniquefreshnessСтруктурная схемастрелки показывают поток данных/энергиимасштаб и расположение условные
Проверки качества данных: структура, значения, свежесть и сверка с источником
Опорная идея

Качество данных проверяют так же строго, как код. Минимальный набор: schema check, null check, uniqueness, accepted values, freshness и reconciliation с источником. Например, у заказа должен быть id, дата, сумма не ниже нуля, валюта из допустимого списка, а число заказов за день не должно внезапно падать до нуля без причины.

Хорошая проверка не просто говорит «плохо», а помогает локализовать проблему: какая таблица, какой день, какое поле, сколько строк затронуто.

Назад

Обсуждение

Войдите, чтобы участвовать в обсуждении.

Пока нет сообщений.