Объём данных
1.5 ТБ
Архитектура, рассчитанная на ваш реальный объём данных сегодня и на кратный рост — без переписывания завтра.
Лизинговая компания — это договорный бизнес с долгим циклом, сложным скорингом и плотной регуляторной отчётностью. Платформа должна одинаково хорошо работать для операционки, аналитики и регулятора.
Портфель, платежи, просрочка, маржинальность сделок, эффективность менеджеров и филиалов в режиме близком к real-time.
BI · SUPERSET · CLICKHOUSEЦБ РФ, ФНС, МСФО — данные должны быть прослеживаемы, версионируемы и восстанавливаемы с точностью до транзакции.
AUDIT · LINEAGE · REPLAYБыстрая проверка клиента, оценка портфельного риска, прогнозные модели по дефолтам — фундамент для ML-задач завтра.
ML-READY · FEATURE STOREНа этом объёме мы не навязываем вам Hadoop, громоздкий Lakehouse или десяток компонентов "на вырост". Стартуем с того, что реально решает задачи сегодня — и закладываем архитектуру, в которой Iceberg, Trino, Spark-ML и MinIO появятся тогда, когда они понадобятся, без переписывания.
Это экономит вам 30–40% бюджета первого года и снижает операционные риски: меньше компонентов — меньше точек отказа, меньше людей в эксплуатации.
Переключайтесь между этапами. Каждый компонент — кликабелен: наведите, чтобы увидеть его роль в контуре.
MVP-принцип: минимальный набор, покрывающий 80% задач аналитики и регуляторной отчётности. Kafka — для будущей интеграционной шины, ClickHouse — для DWH и витрин, Airflow — для всех регулярных процессов, Superset — для быстрого BI.
Когда переходить: рост данных до 10+ ТБ, появление ML-задач, требование единого federated-запроса по всем источникам, регуляторика с длинной историей. Компоненты подключаются без остановки MVP.
Целевое состояние: data platform как внутренний продукт компании. Data mesh, self-service BI, ML-платформа, единый каталог данных. Путь к этому состоянию — эволюционный, а не революционный.
По каждому компоненту — конкретная роль в контуре Интерлизинга и примеры рабочих сценариев. Без маркетинга и общих слов.
Единая шина событий между системами. Интегрирует АБС, 1С, CRM без прямых point-to-point связок. Вы получаете реплики данных в реальном времени без нагрузки на мастер-системы.
Колоночная СУБД, которая держит миллиардные таблицы и отвечает за секунды. Это ядро платформы: здесь живёт DWH, витрины, аналитика для BI и API.
Мозг платформы. Расписания, зависимости, retries, SLA, алерты. Все регулярные процессы — от ночных загрузок до формирования регуляторной отчётности — живут здесь с прозрачным логированием.
Наше мнение: на 1.5 ТБ Spark избыточен для чистого ETL — ClickHouse справится. Но оставляем его в MVP как задел под ML-задачи и сложные расчёты (реконсиляция, историческая переработка).
Три фазы. Каждая даёт измеримый результат и независимую ценность. Если остановитесь после первой — у вас уже работающая платформа.
Аудит источников (АБС, 1С, CRM). Развёртывание окружений DEV/PROD на ваших мощностях. Согласование data-контрактов и моделей ключевых доменов: договоры, платежи, клиенты, предметы лизинга.
Первые потоки данных в реальном времени через Kafka + CDC. Классические ночные батчи через Airflow. В ClickHouse — raw + stage + core-слои для 3–5 ключевых доменов.
Развёртывание Superset, 10+ дашбордов для бизнеса, регламенты эксплуатации, обучение вашей команды. Платформа выходит в production и переходит под совместное сопровождение.
Ориентиры по результатам похожих внедрений на сопоставимом объёме данных и в родственных индустриях (банки, финансовые сервисы).
Мы строим не "коробку на продажу", а платформу, в которой ваша команда будет хозяином с первого дня.
Весь код платформы — в вашем GitLab. Helm-чарты, Terraform, DAG'и, SQL — всё прозрачно и воспроизводимо. Никаких "секретных ноу-хау" в голове одного инженера.
Работаем в периметре банков, госструктур, производств. Понимаем, что такое on-premise, закрытый интернет, сертифицированное ПО, регуляторные требования и процедуры ИБ.
Каждая фаза сопровождается документацией и обучением. К концу MVP ваша команда самостоятельно пишет DAG'и, расширяет модель данных и ведёт эксплуатацию.
Следующий шаг — двухчасовая discovery-сессия с вашей ИТ-командой и бизнесом. Мы уточняем источники, приоритеты и формируем детальный план + смету за 5 рабочих дней.