极溯准备开展指标试算业务,通过配置多个指标,通过 flink 去读取 clickhouse 大量历史事件,根据主维度计算指标,给每一条事件追加指标结果值,再将结果写回 clickhouse。

一、背景

现打算现在公司开发、测试环境搭建部署这一套系统,用于研发,计划 2021 年 6 月 30 日前正式上线。

单个任务支撑 10 亿数据集试算指标,单个指标集支持 50 个指标结果追加。

二、应用架构设计方案

系统的完整产品架构图:

e.g.

涉及到的应用和中间件:

应用: 指标配置平台 实时计算平台 指标计算应用 中间件 Hadoop Clickhouse MySQL Nginx Flink

三、项目进度

项目成员:xx,xx

项目进度:Teamwork

四、资源规划

现缺失如下资源,故申请本工单。具体规划如下:

应用P 级所需内存核数/单台数量机房/环境用途
hadoopP14C16G200G5杭州机房hadoop-yarn,hadoop-hdfs,运行 flink App
zkP32c4g3杭州机房hadoopHA
实时计算平台P24C8G40G1杭州机房部署 Nginx、MySQL、平台
clickhouseP24C8G40G1杭州机房存放事件数据及结果数据