OpenMetadata и DataHub: что выбрать?

В современных организациях данные превратились в ключевой стратегический актив. Однако их ценность раскрывается только тогда, когда они могут быть быстро найдены, правильно истолкованы и использованы с уверенностью. Когда электронные таблицы, внутренние вики и чаты перестают справляться с масштабом метаданных, организациям требуется профессиональный Data Catalog (каталог данных). Среди открытых решений наиболее выделяются два лидера: OpenMetadata и DataHub. В своей практике мы сталкивались с задачами, где блестяще проявлял себя один инструмент, в то время как другой требовал избыточных усилий.

На первый взгляд, OpenMetadata и DataHub решают одни и те же задачи. Оба предоставляют сквозную прослеживаемость данных (data lineage) от хранилища до дашборда, мощные инструменты поиска с расширенной фильтрацией, а также возможности для совместной работы — обсуждения датасетов и постановки задач. Оба поддерживают бизнес-глоссарий и контракты данных (Data Contract), стремясь формализовать взаимодействие между командами. Это основной функционал, который делает их современными решениями, а не просто списками таблиц.

Однако под капотом скрываются принципиально разные архитектурные и философские подходы, которые и диктуют выбор конкретного инструмента.

OpenMetadata создавалась с идеей готовой платформы «из коробки». Её архитектура проще для развертывания и управления. По умолчанию она реализует простую модель обновления метаданных — pull-модель при помощи Apache Airflow. Обновление метаданных происходит по расписанию заданий Airflow и не требует дополнительной разработки. Однако каталог не ограничивается pull-моделью и предоставляет возможность производить обновление в реальном времени при помощи REST API (push-модель). От команды это требует разработки собственного сервиса, который отслеживал бы изменения в источнике и отправлял изменения в каталог. Дополнительные усилия вознаграждаются постоянной актуальностью каталога.

DataHub поставляется с собственным Ingestion Framework, реализованном на python. Сбор метаданных происходит по расписанию и может быть интегрирован с Airflow (pull-модель). Для реализации push-модели обновления DataHub предлагает реализовать собственный сервис, который должен посылать события по изменению схемы в Kafka либо отправлять запросы по REST API.

OpenMetadata делает ставку на встроенные инструменты для управления данными (Data Governance) как неотъемлемую часть продукта. Пользовательский интерфейс напрямую ведёт от датасета к просмотру тестов качества данных (Data Quality), проверке контракта или редактированию глоссария. Её собственный фреймворк для Data Quality предлагает десятки готовых тестов, что ускоряет старт и минимизирует необходимость собственной разработки.

DataHub фокусируется на гибкости и интеграции с лучшими инструментами экосистемы. Для тестов Data Quality он предлагает использовать уже привычные библиотеки проверки данных — Great Expectations и dbt test. Его Actions Framework позволяет самостоятельно программировать автоматические реакции на события. Это мощный подход для зрелых инженерных команд, но он требует собственной разработки и конфигурации.

OpenMetadata стремится быть максимально понятной для широкого круга пользователей — от аналитиков до инженеров данных. Акцент на UX заметен в интерфейсах поиска и совместной работы (возможность создавать задачи, анонсы, обсуждения) и в таких концепциях, как Tier — классификации важности активов для бизнеса.

DataHub предоставляет глубокий контроль поиска через GraphQL API и расширенные возможности фильтрации, позволяя разработчикам интегрировать каталог в свои внутренние инструменты. Для большего удобства пользователи могут добавлять собственные фильтры. Его сила — в программируемости, что может быть избыточным для команд, которым нужен просто отличный готовый интерфейс.

Оба инструмента являются отличным выбором, но для разных команд. OpenMetadata — это комплексное решение для управления данными как продуктом, которое вы получаете «под ключ». DataHub — это мощный, программируемый фундамент для построения собственной уникальной экосистемы управления метаданными.