大数据平台支持数据仓库和数据湖的建设,提供一个完整的任务开发和运维的平台能力。平台主要分为Data Studio 以及运维平台,数据开发方面主要支持 Flink SQL、Flink Jar 以及普通的 SQL 任务。
核心特性包括:
DataStudio提供专业的大数据开发功能,支持血缘分析、元数据查询 、自动提示与补全、语法校验、 MetaStore等。
运维平台提供从开发调试到上线下线的运维监控及 SQL 的查询执行能力,使数仓建设及数据治理一体化。
DolphinScheduler 进行离线工作流编排和调度。
Flink CDC 和 Flink SQL 实现流处理能力,进行实时任务的开发。
选择 Doris 作为实时数据仓库来写入数据并进行 OLAP 查询。