一、 背景

双十二大屏展示

二、 需求分析

  • 数据来源：SQL Server 订单分库分表的数据，由数据同步中间件拉取，发送到阿里云 Kafka
  • 数据量：总共 600+库，现在接入 10 个库数据，消息产生速度约 600 条/秒
  • 计算指标：
    • 订单数 Top10 商家
    • 订单金额 Top10 商家
    • 当日全局实时汇总：累计订单数、累计发货量、累计金额、累计订单数省份分布、累计订单数平台分布
    • 全局汇总秒级直线图：订单数、发货量
  • 时间口径：时间线根据数据时间展示，实时反应订单真实情况

三、 总体设计

  • 消息队列：采用高吞吐，低延迟的消息中间件，选用阿里云 Kafka
  • 计算框架：根据产品对指标产出的需求，需要做到秒级相应，采用实时计算框架 Flink 计算
  • 结果存储：数据结果会高频插入、更新需求，结果指标拆分多表，采用 Hologres 存储
  • 维表数据：商家相关的数据放在 ODPS，通过 Flink SQL 关联
  • 大屏展示：大屏展示选用阿里云 DataV，配置 Hologres 数据源，然后自定义配置展示效果

  • 计算实现：DataStream(星毛)、SQL(草履)双版本同步进行

四、 系统详细设计（待补充）

SQL 版本：

  • 数据流逻辑梳理
  • 数据流图
  • 表设计
  • 任务设计
  • 运维相关