实时计算平台二期规划

随着数据的不断增长，新技术的不断发展，人们逐渐意识到对实时数据处理的重要性，企业需要能够同时支持高吞吐、低延迟、高性能的流处理技术来处理日益增长的数据。

业务背景

相对于以往对离线数据的处理模式，流式数据处理则有着更高的处理效率和成本控制。Apache Flink 就是近年来在开源社区发展不断发展的能够支持同时支持高吞吐、低延迟、高性能分布式处理框架。

Flink 虽然当下在实时计算框架领域中脱颖而出，也并不是无懈可击，也存在实时计算框架共同的特点：

开发门槛高：基于底层实时引擎做开发，需要关注的东西较多。包括环境配置、语言基础，而编码过程中还需要考虑数据的可靠性、代码的质量等。
代码调试难：实时计算场景，与离线场景最大优势就是数据及时处理，同时在开发调试的过程弊端也比较明显，离线数据静态加载处理就可以，实时场景需要构建实时数据流进行业务调试。
运维成本高：运维成本主要体现在两方面。首先是作业运行在 YARN 集群，导致作业稳定性差，容错等方面不容易管理。其次，缺乏统一的监控告警体系，业务团队需要重复工作。

平台背景

云端是依赖 Flink1.5.6 研发的实时计算平台，有几个待优化的点：

版本相对市场主流版较低
平台功能较少
模块布局不合理，使用体验不友好
缺少实时场景案例引导

老版本产品页

老版本功能拆解

期望解决问题

普洛斯金融、富民银行、沪杭甬、杭州湾、延崇高速等多家企业有实时计算或者实时计算开发平台有 POC、平台落地等需求，云端老版本基于 flink 1.5.6 版本，不足以满足市场上有些客户需要 1.10+的版本需求，实时计算平台基于 flink1.12.0 版本研发，同时提供功能更加丰富，稳定性更强的平台。

通过在实时计算框架的理解以及实时计算的项目经验，构建基于 Apache Flink 的流式计算平台，对实时计算领域通用需求，比如实时数仓、数据交换、实时报表、流批一体、AI 场景等周边组件集成，打造一个平台+业务场景的实时计算领域生态。

SQL 化编程
通用化代码模板
实时作业的一体化托管运维
实时数仓
实时数据分析平台

目标收益

通过对实时计算框架、平台、周边技术框架的技术理解及项目积累，形成一套最佳实践，在实时数据 ETL 处理、实时指标、实时大屏、实时 AI 等业务场景，开发成本降低，项目落地可以更快速落地

二期内容

产品功能

功能模块包括总览、数据开发、任务运维、数据中心、系统管理。

产品交互稿

司南链接：https://sinan.tongdun.me/axure/35135#g=1&p=%E5%BC%80%E5%8F%91&c=1 部分页面展示：