Введение

Image title — StreamHouse — платформа будущего, которая интегрирует потоковые и пакетные данные в единую систему. Наша цель — дать бизнесу качественные, очищенные данные в режиме реального времени , с четким описанием контрактов и полной прозрачностью через федеративный каталог данных.

Тулинг для контрактов: https://gitlab.kruma.ru/data-office/data-contract-utils

Контракты: https://gitlab.kruma.ru/contract

Миссия#

Формирование культуры работы с данными на основе принципов Domain Driven Design (DDD) и федеративного управления, обеспечивая их качество, семантическую согласованность, безопасность и доступность для всех уровней бизнеса.

Основные возможности платформы#

Масштаб:

Методология#

Снизу вверх. Информация собирается от различных департаментов для понимания их конкретных потребностей в данных и задач

Цели#

Стандартизация данных через DDD
- Построение доменных границ в единой архитектуре данных
- Внедрение политики управления метаданными и качеством данных
- Использование каталогов данных и data mesh подхода
- Обеспечение доверия к данным через схемы, контракты и governance
Транспортный уровень данных
- Обеспечение надёжной доставки данных между системами
- Разделение хранения и обработки для масштабируемости
- Поддержка NRT (Near Real-Time) пайплайнов с минимальным лагом
- Интеграция с ZeroETL и ZeroCopy технологиями
- Использование Apache Iceberg / Apache Paimon для ACID и time travel

Self-service платформа
- Self-service аналитика в реальном времени (NRT)
- Автоматическая генерация аналитических кубов
- Голосовые и AI-помощники для Ad-Hoc анализа
- Управление доступом через fine-grained access control
- Шифрование данных на лету и при хранении
Безопасность и Governance
- Защита данных на всех этапах: инжест → обработка → анализ
- Шифрование на уровне хранилища (S3 Basket, WBus), сети (TLS), движка (in-memory)
- Управление доступом по ролям и атрибутам (RBAC/ABAC)
- Политики аудита и логирования всех операций
- Совместимость с регуляторными требованиями (ФЗ-152)