今日证券Flink实时数仓项目

对证券市场每日的业务交易，业务部门需实时监控证券市场的各种技术数据指标，由监察部提供访问入口，来实现对证券市场交易数据的统计分析。股票证券实时行情系统在此背景下产生。此股票证券实时行情系统是对股市行情交易数据进行实时采集、实时数据分析、多维分析，即席查询，做到实时大屏监控和展示。此系统属于监察预警体系，整体包括预警规则管理，实时预警，历史预警（定时、轮巡），监察历史数据分析等。

此项目是在重构并优化证券数据模型，优化历史数据分析过程和技术，大幅提升历史数据分析性能；为数据仓库前端应用提供数据服务，并简化下游系统对大数据平台多种数据存储方式、计算资源的访问方式，以统一的方式管控下游系统访问请求。可满足监察业务发展数据建模需求同时，保证核心数据模型有效性。

1、大数据体系的建设应当在容量、性能、安全、开放性、可扩展、低成本等多维度体现出整体的优越性，形成体系化、高标准数据服务能力，为业务体系提供多层次数据服务，包括基于时效的实时数据服务、准实时数据服务、历史数据服务，以及基于数据特征的结构化数据服务、半结构化数据服务和非结构化数据服务。

2、建成后的大数据支撑体系应当能针对海量、多态数据提供高效、低成本服务，构建面向未来的预测分析体系，满足业务专员、数据科学家通过统计分析、机器学习、数据挖掘、分布式处理等先进数据处理技术对海量数据进行仓内、仓外复杂分析；满足统计类、监察类、风险类、以及新业务形态的深度应用，最终达到交易与分析体系数据的融合，持续缩短业务数据的响应时间。

3、通过实时流处理解决方案，将行情数据，通过预设模型进行加工处理。对实时变化数据进行高效的预设数据模型处理，利用信息整合、分析等大数据技术，对行情数据进行分析、挖掘潜在价值。

4、可以为后续监察系统、数据信息服务系统提供实时数据支持，增加数据服务内容，提高生产效率和质量，进而提高客户的满意度。

5、建设可扩展的预警支撑技术体系，支撑当前规模预警业务，特别是通过硬件资源扩展，在保证性能指标前提下，满足未来5-10年的业务增长要求；

1、分时行情

K线行情

1、数据采集

2、离线数据处理

3、实时数据处理

4、实时预警处理

5、离线预警

6、应用大屏展示

1、需求文档见-参见资料“第1章\4.资料\需求文档”

2、web项目《大数据平台需求规格说明书-今日指数<前端应用>》

3、流处理项目：《今日指数数据模型.xlsx》

4、数据采集：《数据源接口规格说明书.docx》

1、大数据平台作为底层的基础数据平台，集群规模、计算存储性能将决定流、批的性能指标上限。所以需要考虑整个大数据平台的吞吐量（网络、磁盘IO）、响应速率、计算能力、高并发性、高可用、维护性方便等，以满足多业务场景下，不同应用需求的建设任务，比如多维分析、实时计算、即席查询和数据统计分析等应用功能。

2、本项目大数据平台在建设过程中，将满足如下性能指标：

1、秒级行情(Hbase)：存储5日内秒级行情，数据量为2.88亿条

2、分时行情(Druid)：存储半年内分时行情数据，数据量为8.64亿条；

3、历史数据(Hive数仓)：以沪深市场2万只证券，存储时间按1年统计：

日数据采集总量统计 ：

大数据平台作为基础数据平台，将负担起存储所有业务产生的数据信息，并在平台中按照业务应用进行模型标准化存储沉淀，平台的数据量将持续不断的增大，因此本期大数据平台的整体设计上将充分考虑使用分布式架构，对存储量的规划将定位在PB级以上，同时保证将来存储容量在扩充时能够通过节点的增加，快速满足容量的扩展性需求

技术选型

具体版本

1、Apache 开源社区版本

2、大数据平台产品

3、云端大数据

1、机器配置

测试集群服务器规划

1、逻辑架构

2、技术架构