Планування обробки даних: витяг → трансформація → завантаження — 6 етапів
1. Інвентаризація джерел
Випишіть ВСІ джерела: CRM, Excel, сайт, банк, API. Для кожного — формат, частота оновлення, власник, обсяг. Без цього списку пайплайн буде вічним.
2. Extract — витяг
API/експорт/дамп — оберіть спосіб для кожного джерела. Правило: витягуйте СИРІ дані без змін — staging-зона зберігає оригінал для налагодження.
3. Transform — трансформація
Приведення до спільної схеми: типи, формати дат, ключі, дедупликація. Тут же — бізнес-логіка (категорії, розрахункові поля). Кожне перетворення — окремий крок з логом.
4. Валідація
Перевірки перед завантаженням: кількість рядків зросла/не впала несподівано, ключові метрики в межах, обов'язкові поля не порожні. Пайплайн без валідації мовчки гробить звіти.
5. Load — завантаження
Повне перезаписування чи інкремент? Для початку — повне, простіше. Інкремент — коли обсяги ростуть. Зберігайте дату останнього оновлення в метаданих.
6. Моніторинг і документація
Алерт на збій пайплайна + коротка документація: що звідки, що означає поле, кого питати. ETL без доків стає «чорним ящиком» через квартал.
Інструменти за рівнем