Настройки сookie
Файлы cookie, необходимые для правильной работы сайта, всегда разрешены.
Внушительные трудозатраты на разработку DataVault вручную
Много рутины: документация, заполнение data catalog
Создание отчетных витрин и data-pipeline доступна только data-инженерам
Эволюция DWH: от хрупких моделей к гибким решениям
Проблемы:
Ускорение создания модели данных от 3-х раз!
Автоматическая генерация суррогатных ключей и версионность данных (SCD-2)
Автоматическое формирование Data catalog
Автоматическое логирование job-ов
Создание модели DataVault 2.0 без SQL и DDL
Автоматическая генерация ETL
Проблемы:
Как это работает?
Запишите параметры сущности (атрибуты, источники и т.д.)
На основе параметров сущности будут созданы hub и satellite
Свяжите две сущности (будет создан link)
Будет построен график модели данных
Полноценная поддержка DataVault 2.0
Встроенная генерация ETL с version control
Интеграция с dbt и оркестраторами (Airflow и др.)
Сохранение метаданных в dbt-проекте
Работа в существующей инфраструктуре заказчика
Готовность к enterprise-нагрузкам
Интегрировать платформу с существующими инструментами
Использовать в разработке только SQL
Сократить время на создание хранилища данных в 3 раза
Представьте, что вы бы могли:
Новые настройки таблиц:
Дистрибуция, партиционирование, метод сжатия
Поддержка:
PostgreSQL, Greenplum, dbt
Запущен модуль конструктора DataVault
Автоматизация хранилищ данных
