Кейс DataDesc: как ИИ превращает технический каталог в инструмент для бизнеса

Большинство корпоративных каталогов данных остаются техническими реестрами: около 80% из них содержат только технические описания и не используются бизнесом как инструмент понимания данных.

Такая же ситуация сложилась и одного российского fashion-ритейлера. Каталог существовал, но выполнял роль формального хранилища метаданных и не помогал понимать структуру, логику и происхождение данных.

Отсутствие понятных описаний приводило к большим трудозатратам, долгому поиску информации и ошибкам при работе аналитиков и разработчиков.

Создать систему знаний о корпоративных данных и наполнить каталог бизнес-описаниями.

Корпоративный каталог данных fashion-ритейлера был разработан внутренней командой на базе 1С. Каталог включает описания:

На этой основе работает семантический поиск и ИИ-ассистент, позволяющий легко находить нужную информацию за минуты.

Для масштабируемой работы в промышленной DWH-среде сбор метаданных реализован через обращение к системным таблицам СУБД. Для получения полной структуры источника (схемы, таблицы, представления, процедуры, функции, столбцы, параметры) используется всего 5 служебных SQL-запросов, что исключает нагрузку на продуктивные базы.

Метаданные загружаются во внутреннее хранилище на базе PostgreSQL, где поддерживается версионность объектов. При последующих обновлениях система анализирует изменения и повторно загружает только модифицированные объекты. Такой инкрементальный подход обеспечивает постоянную актуальность каталога и позволяет отслеживать эволюцию структуры данных во времени.

Для устранения непрозрачности логики данных система автоматически строит data lineage на основе SQL-определений объектов.

Анализируется код представлений, процедур и функций, что позволяет восстановить движение данных между таблицами и на уровне отдельных столбцов.

Дополнительно поддерживается определение lineage через кеш запросов, что позволяет учитывать альтернативные механизмы загрузки данных (например, SSIS).

Lineage используется при генерации описаний, а также доступен пользователям для анализа влияния изменений, расследования инцидентов и понимания происхождения метрик.

Система автоматически формирует человеко-читаемые описания таблиц, представлений, процедур и функций при помощи локально развёрнутых open-source LLM (через сервис Ollama).

Генерация выполняется в два этапа:

Такой двухэтапный подход позволяет учитывать как техническую логику, так и фактическое содержимое данных, повышая точность бизнес-описаний.

Решение интегрируется с BI-платформами через их внутренние API и собирает метаданные об отчётах, вкладках, визуализациях и метриках. Поддерживается отслеживание изменений отчётов во времени.

Дополнительно система автоматически получает изображения графиков и дашбордов. Генерация описаний BI-отчётов происходит поэтапно:

Используется мультимодальная LLM (mistral-small3.1:24b), способная работать одновременно с текстом и изображениями.

Основной интерфейс работы пользователей — ИИ-ассистент, функционирующий по подходу RAG (Retrieval-Augmented Generation).

После генерации описаний система формирует семантические вектора (эмбеддинги) объектов при помощи модели qwen3-embedding:4b и сохраняет их во внутренней векторной базе с индексами для быстрого поиска.

ИИ-ассистент:

В качестве модели генерации ответов используется open-source LLM gpt-oos:20b.

Такой подход обеспечивает доступ к актуальным данным, снижает риск галлюцинаций и позволяет пользователям находить объекты, связи и контекст в свободной форме.

Работа системы автоматизирована при помощи Airflow, что позволяет минимизировать участие пользователя.

Пользователь задаёт только подключение к источнику и периодичность обновлений, после чего система самостоятельно поддерживает актуальность базы знаний без ручного вмешательства.

Проект перевёл документирование и поиск информации из ручного процесса в автоматизированный. В результате повысилась прозрачность архитектуры данных, снизились риски ошибок и сократились издержки на сопровождение DWH и BI.