Что нового¶

Все значимые изменения платформы Kruma Data Contracts.

Quality Validator v1.0.1¶

BREAKING CHANGE — Именование Kafka-топиков

Начиная с v1.0.1 изменён формат именования топиков:

Требуется: пересоздание топиков Kafka или алиасы. Подробнее — в руководстве по интеграции.

Дата: 1 февраля 2026

Именование топиков — Устранена несогласованность разделителей: теперь единообразно используется точка (.) для raw, prod и dlq
Уязвимость в custom-выражениях — Небезопасный eval() заменён на sandbox-окружение с ограниченным набором безопасных функций
Сериализация DLQ — Исправлен вызов несуществующего метода .to_dict() → .model_dump() (Pydantic v2)
Устаревший datetime.utcnow() — Заменён на datetime.now(timezone.utc) (совместимость с Python 3.12+)

SQL-правила — Добавлена заглушка _validate_sql() с информативным сообщением и предложением workaround
REFERENCE-правила — Добавлена заглушка _validate_reference() для будущей валидации ссылочной целостности

Критическое исправление безопасности

Ограничено окружение выполнения custom-выражений:

Нет доступа к __import__, open(), exec(), eval()
Доступны только безопасные функции: len, str, int, float, bool, abs, min, max, sum, round
Невозможен доступ к файловой системе, сети и системным ресурсам

Дата: 23 января 2026

Первый релиз Quality Validator — модуля валидации качества данных на базе Python.

Движок валидации с 10 типами правил: not_null, unique, range, regex, enum, freshness, format, custom, sql, reference
Интеграция с Apache Kafka: автоматическая маршрутизация в .prod / .dlq
Загрузка контрактов из YAML-файлов
Пакетная валидация с метриками и статистикой
DLQ-записи с полным контекстом ошибок для debug и replay
Prometheus-метрики для мониторинга

Дата: 23 января 2026

Дата: 24 января 2026

Дата: 28 января 2026

Демо-контракт

Создан для демонстрации возможностей платформы на примере данных OpenSky Network (ADS-B).