实时计算平台业务指标试算
极溯准备开展指标试算业务,通过配置多个指标,通过 flink 去读取 clickhouse 大量历史事件,根据主维度计算指标,给每一条事件追加指标结果值,再将结果写回 clickhouse。
一、背景
现打算现在公司开发、测试环境搭建部署这一套系统,用于研发,计划 2021 年 6 月 30 日前正式上线。
单个任务支撑 10 亿数据集试算指标,单个指标集支持 50 个指标结果追加。
二、应用架构设计方案
系统的完整产品架构图:
e.g.

涉及到的应用和中间件:
应用: 指标配置平台 实时计算平台 指标计算应用 中间件 Hadoop Clickhouse MySQL Nginx Flink
三、项目进度
项目成员:xx,xx
项目进度:Teamwork
四、资源规划
现缺失如下资源,故申请本工单。具体规划如下:
| 应用 | P 级 | 所需内存核数/单台 | 数量 | 机房/环境 | 用途 |
|---|---|---|---|---|---|
| hadoop | P1 | 4C16G200G | 5 | 杭州机房 | hadoop-yarn,hadoop-hdfs,运行 flink App |
| zk | P3 | 2c4g | 3 | 杭州机房 | hadoopHA |
| 实时计算平台 | P2 | 4C8G40G | 1 | 杭州机房 | 部署 Nginx、MySQL、平台 |
| clickhouse | P2 | 4C8G40G | 1 | 杭州机房 | 存放事件数据及结果数据 |
