综述：
随着业务的增长，广州金科从数据架构、开发流程以及数据及资源管理三方面进行优化及调整，建立了一套BI体系，降低了数据报表开发周期及研发成本，大大提升业务运营及决策效率。
一、现状及业务需求
随着金融风险防控及金融多元纠纷化解业务规模的增长，广州金融科技股份有限公司（简称广州金科）所累计的数据量级及类型不断增加，业务对更高的运营效率、更智能的数据决策、以数据驱动业务运营增长的需求也不断增加。
现有的业务场景中对灵活的数据指标及报表的需求，主要体现在三方面：
- 固化报表：经过使用经验明确使用的日、周、月、年报，提供日常固化报表，变化小。
- 自助取数：可通过报表系统/工具获取更细粒度的运营数据内容，再进行二次报表加工。
- 报表可视化：将数据/报表通过可视化方式展现及发布，按照账号角色授权使用。
然而传统的报表开发模式运营数据需求固化在业务系统中，开发周期长、灵活度低，同时更细粒度的数据则需要通过运维的数据需求工单进行提取，满足不了业务的数据指标及报表需求。为满足以上业务需求，从数据架构、开发流程以及数据及资源管理三方面进行优化及调整，广州金科建立了一套BI（Business Intelligence商业智能）体系。
二、数据架构
数据架构上，需要将OLAP（联机事务处理）的场景从OLTP（传统的关系型数据库的主要应用）系统中解离出来，从底层构建数据仓库，建设数据指标体系，同时引入BI可视化工具来进行托拉拽式的可视化数据分析及报表工具。主要服务对象为业务人员、运营人员、数据分析师、管理层等角色。
（一）数据流向
从业务系统将事务性的数据通过ETL到数据仓库中，在数据仓库中按照业务划分主题数据仓库并完成数据指标体系管理及建设，最终向数据集市层输出BI侧需要联动的数据。
（二）数据仓库建设
选择MPP数据库Doris作为数据仓库，Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景。
数据仓库分层设计上，采用三层设计，包括ODS、CDM及ADS层。
- 数据引入层ODS（Operation Data Store）：存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准备区
- 数据公共层CDM（Common Data Model，又称通用数据模型层），包括DIM维度表、DWD和DWS，由ODS层数据加工而成。主要完成数据加工与整合，建立一致性的维度，构建可复用的面向分析和统计的明细事实表，以及汇总公共粒度的指标
- 数据应用层ADS（Application Data Service）：存放数据产品个性化的统计指标数据。根据CDM与ODS层加工生成
（三）BI工具搭建
BI工具选用开源的datart。datart 是新一代数据可视化开放平台，支持各类企业数据可视化场景需求，如创建和使用报表、仪表板和大屏，进行可视化数据分析，构建可视化数据应用等。可满足业务灵活报表取数及托拉拽式的可视化报表生成，同时可支持二次开发集成到现有的业务系统中进行使用。
来源：BI系统截图
三、开发流程
传统的系统开发流程，与BI数据开发流程存在一定的差异，需要增加数据分析、报表配置及数据开发相关的工作事项，并配备对应的人员角色。
业务部门：提出数据指标及报表需求，完成验收使用。
数据分析：主要负责对接业务提出的报表及指标需求，完成指标体系建设及报表体系设计，以及产品验收。
产品经理：主要负责将报表需求以系统功能需求的方式用原型表达出来，以及产品验收。
报表配置：进行集市层表结构设计，按照原型进行报表的配置及发布。
数据开发：按照数据分析整理的指标需求进行数据仓库开发，将数据输出到集市层。
四、数据及资源管理
对以上数据架构及开发流程进行优化，保障了整体BI实现的可行性。在数据管理上，还需要将数据指标管理、数据集市权限管理、BI资源权限管理进行完善，保障数据使用的一致性及安全合规。
（一）数据指标管理
数据指标管理期望达成以下目标：快速检索、通过规范化的命名及描述快速达成指标理解的一致性、按照场景归纳使用、及时更新维护，保证指标的新鲜可用、提升建模效率及一致性。可通过以下两点实现：
- 规范指标变更流程，设置指标管理员：由专门的指标管理员管理指标全生命周期管理流程，包括创建、分类、变更、注销行为，涵盖原子指标管理、维度、修饰词、日期等
- 建立指标字典，分级分类，快速检索：建立数据指标字典，将指标按照主题、业务过程、应用场景进行分类使用，并面向所有指标使用人员开放使用
（二）数据集市权限管理
原有的开发模式中，数据权限可通过业务系统的权限进行管理，BI模式中数据集市（DWS+ADS）理论上是可以进行开发并部署到BI侧进行使用的。通过在BI工具侧通过数据源管理、数据视图管理，可限制某些特定角色/人员的表权限、列权限及行权限。
- 设置数据管理员，通过数据源、数据视图管理功能管理数据的表权限、列权限及行权限数据分级分类，将数据进行分级分类，按照级别及类型进行开放使用
（三）BI资源权限管理
BI工具中包括的资源有：可视化资源、数据视图资源、数据源定时任务。可通过定义角色及权限来对其进行授权管理。
五、建设成效
BI系统的建设，降低了开发周期及研发成本，大大提升业务运营及决策效率。
- 提供业务报表自助分析的工具及抓手
- 提供运营及数据分析的有效工具
- 有效减少业务系统数据报表开发及运维开放工作量
本文内容为原创，转载请注明出处！
