Единая платформа данных для 3000 инстансов 1С
ANG Platform консолидирует все инстансы 1С ДИТ Москвы в единое хранилище, обеспечивает аналитику с SLA до 2 секунд и сокращает TCO в 3–5 раз по сравнению с коробочными BI-решениями.
Карта инстансов 1С
Каждая ячейка — отдельный инстанс. Наведи курсор или кликни.
Данные в 3000 изолированных контурах
Отчёт по всей Москве собирается неделями. Каждый инстанс — своя БД, свои форматы, свои регламенты.
Классические DWH и Hadoop-дистрибутивы
DWH упирается в вертикальный scale и цену лицензий. Hadoop медленный на аналитических запросах и требует больше людей на эксплуатацию.
Lakehouse-архитектура на open-source
Единое хранилище на Iceberg + MinIO, ClickHouse/Trino для SQL за секунды, работа с существующей шиной (Denvik, Modus, 1Бит). Без vendor lock-in.
Архитектура для 3000 инстансов 1С
Кликни на компонент — увидишь его роль, параметры и код.
Реальные сценарии ДИТ Москвы
Нажми на сценарий — увидишь SQL, время выполнения и результат.
ANG vs классический DWH · Arenadata Hadoop · Selena
Сравнение архитектурных подходов к консолидации данных из 3000 инстансов 1С. Шина данных (Denvik / Modus / 1Бит) — уровень транспорта, обсуждается отдельно.
| Критерий | ANG Platform | Классический DWH | Arenadata Hadoop | Selena |
|---|---|---|---|---|
| Архитектурная парадигма | Lakehouse | Централизованный DWH | Data Lake (HDFS) | Платформа на Hadoop |
| Масштаб 3000 инстансов 1С | ✓ Нативно | ~ Сложно, узкое горлышко ETL | ✓ | ✓ |
| Единое хранилище (object storage) | ✓ Iceberg + MinIO | ✗ Только СУБД | ~ HDFS | ~ HDFS |
| Открытый табличный формат | ✓ Apache Iceberg | ✗ Проприетарный | ~ Hive / ORC | ~ Hive-совместимо |
| ACID-транзакции на lake-слое | ✓ Iceberg MERGE | ✓ В БД | ✗ | ~ Ограниченно |
| SQL p95 < 2с на 100+ ТБ | ✓ ClickHouse + Trino | ~ Требует cube/aggr | ✗ Hive/Impala медленно | ~ Зависит от движка |
| Разделение storage и compute | ✓ Полное | ✗ Монолит | ✗ HDFS = colocated | ~ Частичное |
| Горизонтальное масштабирование | ✓ Независимо по слоям | ✗ Вертикально | ✓ Но через HDFS | ✓ |
| Time travel / версионность данных | ✓ Iceberg snapshots | ✗ | ✗ | ✗ |
| Kubernetes-native | ✓ Deckhouse K8s | ✗ Bare-metal | ~ Частично | ~ Частично |
| Потоковая обработка + batch в одном стеке | ✓ Flink + Spark | ✗ Batch only | ~ Kafka + Spark | ~ Spark Streaming |
| Федеративные SQL (Iceberg + CH + PG) | ✓ Trino | ✗ | ~ Через доп. слой | ~ Ограниченно |
| Data Science / ML workloads | ✓ Spark + Python + vLLM | ✗ Выгрузка наружу | ✓ Spark MLlib | ✓ |
| Open-source стек без vendor lock-in | ✓ 100% | ✗ Проприетарно | ✓ | ✓ |
| Реестр отечественного ПО | ✓ | ~ Зависит от вендора | ✓ | ✓ |
| Стоимость хранения (₽/ТБ) | Низкая (MinIO + Parquet) | Высокая (enterprise БД) | Низкая | Средняя |
Почему Lakehouse, а не DWH
- • Классический DWH требует жёсткой схемы на входе — при 3000 разнородных 1С это сразу боттлнек
- • DWH не масштабируется горизонтально без огромных затрат — нельзя просто "добавить узел"
- • ML/DS поверх DWH всегда через выгрузку — дублирование данных и задержка
Почему Lakehouse, а не Hadoop
- • Arenadata / Selena построены на HDFS — storage и compute неразделимы, сложнее масштабировать
- • Hive/Impala не дают SQL за секунды на сотнях ТБ — нужны кубы или внешние OLAP
- • Нет ACID и time travel из коробки — для госданных это критичный аудит
- • Kubernetes-нативность ниже — эксплуатация дороже
Честные ограничения ANG
- • Продукт моложе Arenadata и Selena — меньше референсов в госсегменте, это мы закрываем пилотами и совместной работой
- • Требуется квалифицированная команда эксплуатации (DevOps + DE) — но это общая история для любого Lakehouse
- • Экосистема коннекторов к редким источникам меньше — наращиваем через NiFi-процессоры
TCO за 3 года · 3000 инстансов 1С
Оценка в рублях, on-premise. Настрой параметры — увидишь, как меняется картина.
- • Железо: среднерыночные цены на 2-сокетные x86-серверы с NVMe, кластер из N узлов (для DWH — вертикальное масштабирование, выше удельная стоимость)
- • Софт: ANG — open-source + лицензия поддержки от ООО «Аргумент-Байт». Selena/Arenadata — по публичным прайсам. DWH — ориентир на enterprise-СУБД из Реестра
- • Внедрение: ANG — 8-недельный пилот + разворачивание. Для DWH/Hadoop учтена стоимость сайзинг-проекта и дата-моделирования
- • OPEX: команда эксплуатации со стороны ДИТ + подписка поддержки вендора
- • Цифры оценочные для демонстрации. Финальный расчёт — после скоупинга и подтверждения объёмов данных
Дорожная карта пилота
8 недель от подписания до рабочего прототипа на 10 инстансах. Далее — тиражирование.
Discovery & инфраструктура
Недели 1–2Аудит 10 референсных инстансов 1С · Развёртывание K8s-кластера · MinIO + Hive Metastore · первые потоки NiFi
CDC из 1С + модель данных
Недели 3–4Настройка CDC-коннекторов · Iceberg-таблицы (bronze/silver/gold) · dbt-модели для ключевых справочников и регистров
SQL, дашборды, прототип use-case'ов
Недели 5–6Trino + ClickHouse сверху данных · 3 целевых дашборда в Superset · отработка 5 реальных сценариев ДИТ
Нагрузочное тестирование + приёмка
Недели 7–8Симуляция нагрузки на 100 инстансов (экстраполяция на 3000) · передача документации · акт приёмки пилота
Предлагаем начать с 8-недельного пилота
Фиксированный скоуп, фиксированная цена, рабочий прототип на проде ДИТ в конце