Технологический стек ANG Platform

Почему Iceberg, а не Delta Lake или Hudi?

Iceberg — единственный из трёх форматов, который развивается под управлением Apache Software Foundation без контроля одного вендора. Hidden partitioning, schema evolution без переписывания данных, нативная поддержка Trino, Spark, Flink, Impala. Delta Lake исторически связан с Databricks, Hudi — с Uber и сложен в эксплуатации на on-prem. Для enterprise с требованиями по vendor-neutrality Iceberg — очевидный выбор.

Зачем два SQL-движка — Trino и Impala?

Разные задачи. Trino — federated SQL поверх Iceberg и внешних источников, с отличной экосистемой коннекторов и более гибкой моделью безопасности. Impala — MPP-движок с локальным data affinity, показывает лучший latency на тяжёлых аналитических запросах к большим фактовым таблицам. В проекте клиент выбирает один или оба в зависимости от профиля нагрузки. DuckDB добавляется для ad-hoc сценариев, где не нужен кластер.

Как обеспечивается безопасность и аудит?

RBAC на уровне Trino и ClickHouse, SSO через Keycloak или внешние IdP (LDAP, AD, OIDC). Lineage данных ведётся через Hive Metastore и Airflow-метаданные. Все DML-операции через Iceberg логируются — снапшоты дают полный audit trail с возможностью time travel. Шифрование at-rest на уровне MinIO и в транзите через TLS. Для банков и госсектора предусмотрена интеграция с российскими средствами защиты информации.

Какие SLA по отказоустойчивости?

Целевой uptime production-контура — 99.9% для аналитических нагрузок, 99.95% для real-time сервинга через ClickHouse и StarRocks. Kafka и MinIO разворачиваются в мультирепликационном режиме. Deckhouse управляет Kubernetes-кластером с автоматическим failover. Detailed SLA обсуждается в контракте в зависимости от профиля нагрузки клиента и конфигурации железа.

Как устроен upgrade платформы?

ANG поставляется как версионированный набор Helm-чартов и конфигураций. Каждый компонент обновляется независимо — сначала на staging, потом на prod. Обратная совместимость по схемам данных обеспечивается Iceberg schema evolution. Критические обновления безопасности выкатываются в hotfix-режиме, плановые релизы — по согласованному с клиентом графику, обычно раз в квартал.

Что если open-source проект прекратит развитие?

Ровно то, ради чего строится модульная архитектура — замена одного компонента без переписывания всего стека. Kafka заменяется на Redpanda или Pulsar без изменения продюсеров и консьюмеров. Trino на Presto или Dremio. ClickHouse на StarRocks. Именно поэтому ANG избегает проприетарных форматов и stored procedures — всё на стандартном SQL и открытых табличных форматах.