Как данные движутся через ANG Platform

Одна архитектура — три режима доставки. Переключите сценарий, чтобы увидеть активный путь данных от источников через lakehouse к потребителям. Кликните по любому компоненту, чтобы понять его роль.

Batch (NiFi, Spark) Streaming (Kafka, Flink) Transform (Spark, dbt) Serve (API, BI)
Схема потоков данных ANG Platform Batch, streaming и hybrid пути данных через приём, lakehouse, обработку, сервинг, с Airflow как оркестратором Оркестрация Apache Airflow DAGs · расписания · SLA · data lineage Источники Приём Lakehouse Обработка Сервинг Потребители OLTP / CDC PostgreSQL, Oracle, 1C Файлы · API CSV, REST, SAP События Web, mobile, logs IoT · SCADA MQTT, OPC UA Apache NiFi Batch ingestion · CDC Kafka + Flink Stream processing Lakehouse MinIO · Iceberg · Parquet Bronze · Silver · Gold Hive Metastore Spark · dbt · Trino Transformations · SQL ClickHouse · StarRocks Real-time serving · Valkey cache BI · API · ML Dashboards, apps, notebooks

Кликните по любому узлу на схеме, чтобы увидеть его роль, SLA и связи с соседями.

Характеристики активного сценария

Значения — типовые для production-развёртываний ANG. Реальные показатели зависят от конфигурации железа, профиля нагрузки и SLA, согласованных в контракте.

Разобраться в стеке На главную