Объём данных
~1.5 ТБ
Архитектура изначально закладывается с учётом масштабирования. Стартовый контур решает задачи управленческой аналитики и регуляторной отчётности; последующие этапы расширяют платформу без изменения базовых принципов.
Лизинговая компания — договорный бизнес с длинным циклом, сложным скорингом и плотной регуляторной отчётностью. Платформа должна одинаково эффективно поддерживать операционные процессы, управленческую аналитику и взаимодействие с регулятором.
Портфель, платежи, просрочка, маржинальность сделок, эффективность менеджеров и филиалов — с единой логикой расчёта показателей.
SUPERSET · CLICKHOUSE · JUPYTERHUBЦБ РФ, ФНС, МСФО — прослеживаемость, версионирование и воспроизводимость данных с точностью до транзакции.
AUDIT · LINEAGE · REPLAYСреда для работы аналитиков и Data Science: скоринговые модели, оценка портфельного риска, сегментация клиентов и предметов лизинга.
JUPYTERHUB · SPARKНа текущем объёме данных (~1.5 ТБ) мы не навязываем избыточные решения, такие как Greenplum или сложные Lakehouse-архитектуры. Стартовый контур подобран так, чтобы закрыть задачи управленческой аналитики и регуляторной отчётности с первых недель эксплуатации.
При этом архитектура изначально закладывается с учётом масштабирования: расширение до полноценной платформы данных происходит последовательно, по мере роста объёмов, количества источников и появления новых задач.
Каждый следующий этап добавляет компоненты к предыдущему — ни один компонент не исчезает. Переключайте табы, чтобы увидеть целевой контур на каждом этапе.
По каждому компоненту — функция в контуре Интерлизинга и типовые сценарии применения. Компоненты optional подключаются по результатам discovery.
Ядро платформы на этапе MVP. Колоночная СУБД, обеспечивающая хранение DWH, витрин и аналитических моделей с предсказуемой производительностью на миллиардных таблицах.
Единый оркестратор процессов: расписания, зависимости, retries, SLA, алерты. Все регулярные процессы — загрузки, трансформации, формирование отчётности — управляются из одной точки с прозрачным логированием.
Шина событий для интеграции систем. На MVP подключается при наличии источников с поддержкой CDC (через Debezium) либо при требовании near-real-time потоков. На этапе расширения становится обязательным компонентом.
Spark является промышленным стандартом для обработки данных и Data Science и закладывает основу для масштабирования и будущих сценариев. В контуре MVP применяется для тяжёлых трансформаций и работы аналитиков через JupyterHub.
Три фазы в рамках 10–12 недель. Базовая оценка в 6–8 недель соответствовала развёртыванию инфраструктуры. После детального изучения требований заказчика срок уточнён до 10–12 недель: это срок достижения production-результата — работающих витрин, BI и регламентных процессов.
Аудит источников и приоритетных доменов. Развёртывание окружений DEV/PROD на инфраструктуре заказчика. Согласование data-контрактов и моделей ключевых сущностей: договоры, платежи, клиенты, предметы лизинга.
Реализация регулярных загрузок через Airflow. При наличии CDC-источников — потоки через Kafka + Debezium. В ClickHouse — raw / stage / core-слои для 3–5 приоритетных доменов, построенные витрины управленческой отчётности.
Развёртывание Superset и JupyterHub, подготовка дашбордов для бизнеса, формирование регламентов эксплуатации, обучение команды заказчика. Платформа выходит в production и переходит под совместное сопровождение.
Платформа задаёт единую логику работы с данными и меняет качество управленческих решений. Ниже — ключевые эффекты, которые получает компания.
Достоверные, своевременные и прослеживаемые данные становятся основой для всех управленческих решений — от уровня филиала до правления.
Все подразделения работают с одними и теми же определениями KPI, портфеля, просрочки и маржинальности — закреплёнными в коде платформы.
Финансы, риск-менеджмент, продажи и операции оперируют согласованными цифрами. Время на сверку и объяснение разниц в отчётах сокращается кратно.
Данные перестают быть узким местом: дашборды и аналитические срезы доступны в режиме близком к real-time, без зависимости от ИТ для каждого нового запроса.
Мы строим платформу, которой ваша команда управляет как собственным активом с первого дня эксплуатации.
Репозиторий проекта разворачивается в инфраструктуре заказчика (GitLab). Helm-чарты, Terraform, DAG и SQL ведутся по стандартам команды, CI/CD настраивается в периметре клиента.
Работаем в периметре банков, государственных структур и производств. Понимаем требования к on-premise-размещению, закрытому контуру, сертифицированному ПО и процедурам информационной безопасности.
Каждая фаза сопровождается документацией, регламентами и обучением команды заказчика. К концу MVP ваша команда самостоятельно расширяет модель данных, ведёт эксплуатацию и управляет развитием платформы.
Двухчасовая discovery-сессия с ИТ-командой и бизнес-заказчиком ГК Интерлизинг. Уточняем перечень источников, приоритеты доменов и требования к отчётности. По результатам — детальный план работ и смета за 5 рабочих дней.