目前来看,现今世界未来的发展方向基本已经确定,数字化的趋势已经化身为一股不可阻挡的浪潮,各国也都宣布了数字化、数据、数字经济、数字化转型等方面的相关发展政策法规,明确未来的战略方针。同时世界传统经济增长也开始乏力,需要把新的经济发展转移到数字经济,并开始促进实体经济与数字经济融合,而数字经济的基础核心就是数据。
一、什么是商业智能BI?
商业智能BI(Business Inteligence)是一种主要由数据仓库、数据分析、查询报表、数据可视化等组成的数据类技术解决方案。在企业中商业智能BI可以打破ERP、OA、CRM、自研软件等形成的数据孤岛,有效的整合归纳企业的大量数据,行程高质量的数据资产,并在后续通过数据可视化制作可以满足不同人员对于数据查询、数据分析、数据可视化需求的各种报表,为企业的业务和管理人员提供足够的信息支撑。
前不久,IDC还发布了最新的《2021下半年中国商业智能软件市场跟踪报告》,并在其中统计了商业智能BI相关数据,即2021下半年中国商业智能软件市场规模为4.8亿美元,2021全年市场规模达到7.8亿美元,同比增长34.9%,达到了新的高度。
为什么商业智能BI能够获得如此高速的增长,并且受到各行各业企业的欢迎?其实这和商业智能BI面对企业需求持续更新迭代有很大关系,商业智能BI的发展已经很久,早在1958年,IBM研究员就将商业智能BI的早期形态定义为:“对事物相互关系的一种理解能力,并依靠这种能力去指导决策,以达到预期的目标。”
商业智能BI - 派可数据商业智能BI可视化分析平台
1958年后,商业智能BI的概念和产品形态一直在更新迭代,直到2013年,在信息化和数字化的影响下,商业智能BI形成了一套现代化的概念,围绕企业发展进行扩展,重新确定了商业智能BI的定义:“商业智能BI是一个概括性术语。它包含了应用、基础结构、工具,以及提供信息访问和分析加以改进、优化决策表现的最佳实践”
经过数十年商业智能BI的发展,我们对当前环境下主流的商业智能BI产品有了一个明确的定义,一种有三条,分别是:
第一,商业智能BI是一套完整的由数据仓库、查询报表、数据分析等组成的数据类技术解决方案。
第二,商业智能BI可以将企业不同业务信息系统(ERP、CRM、OA)中的数据打通并进行有效的整合。
第三,商业智能BI可以借助合适的查询和分析工具快速准确的提供可视化分析或报表,为企业提供决策支持。
商业智能BI - 派可数据商业智能BI可视化分析平台
商业智能BI一套完整的解决方案,其中有很多不同的功能模块,能够让企业实现多种多样的效果,例如商业智能BI可以根据企业业务数据的不同流程划分为三个层次:
第一层,可视化分析展现层 - 可视化分析展现层也就是商业智能BI的需求层,一方面代表了用户的需求,用户想看什么、要看什么、另一方面也代表了用户要分析什么,这些就在这一层进行展现。
第二层,数据模型层 - 数据模型层也就是常说的商业智能BI数据仓库,主要负责企业数据的分析模型,完成从业务计算规则向数据计算规则的转变。
第三层,数据源层 - 数据源层也就是商业智能BI的数据层,不同部门、业务线的业务信息系统,其底层数据库的数据通过ETL抽取到商业智能BI的数据仓库中,建模分析等等,最终支撑到前端的可视化分析展现。
二、商业智能BI在企业IT信息化中的位置
商业智能BI能够在数字化时代,在各行各业企业开始数字化转型的阶段取得这么大的成功,原因之一就是商业智能BI在企业中的位置很关键,能够处于中心位置贯通连接整个企业。
商业智能BI在企业中主要承担承上启下的责任,围绕数据形成了一整套数据战略体系,同时也是企业信息化建设中重要的一部分,可以说是企业进行信息化建设或者数字化转型前必须进行部署规划的一环。
一般来说,企业的信息化建设具有通用性,所以可以把大部分的企业的 IT 信息化分为两个阶段:一个是业务信息化,一个是数据信息化。这样对比讲,一般的用户更容易理解一些。
企业信息化 - 派可数据商业智能BI可视化分析平台
业务信息化 - 企业使用的ERP、CRM、OA、自建的业务系统等,业务系统的建设都统称为业务信息化。业务信息化的主要作用是管理企业的业务流程,通过规范化、标准化、线上化,来提高业务运转效率、降低企业人力、时间、精力等成本,为商业智能BI的建设打下数据基础,是业务管理思路的体现,也是现代的企业管理方式。
数据信息化 - 像我们经常所听到的大数据、商业智能BI、数据分析、数据挖掘等我们都统称为数据信息化。数据信息化可以帮助企业全面的了解企业的经营管理,从经验驱动到数据驱动,降低情绪、心理等主观影响,形成以数据为基础的业务决策支撑,提高决策的准确性,这是企业更高层次的企业管理方式。
企业信息化 - 派可数据商业智能BI可视化分析平台
信息化建设具有连贯性,没有业务系统的建设,就不会有数据的沉淀,而没有数据的沉淀,就没有建设商业智能 BI 的基础。同时,商业智能 BI 的建设能够反向推动业务信息化的建设,提高数据的质量。
业务信息化的主要使用形式 - 表单式的、以业务用户录入为主、数据的增删改操作居多,是对业务过程数据、业务流程进行管理的软件系统,可以对业务流程进行规范化、标准化处理。
数据信息化的主要使用形式 - 例如商业智能BI主要是对业务结果数据进行整体信息呈现和局部深度分析,旨在打通ERP、OA、CRM等业务系统的数据,跨业务、跨系统整合数据。
三、谁是商业智能BI的主要用户?
业务信息化的主要使用对象 - 一线业务执行层,更多是从业务视角出发,录入数据、记录流程、查看业务信息。
数据信息化的主要使用对象 - 管理决策层,更多的是从管理视角通过商业智能BI可视化分析去定位问题、分析问题,最终形成业务决策。
商业智能BI - 派可数据商业智能BI可视化分析平台
两个细节要点:
第一,没有任何一个管理决策层、领导会没事打开财务系统看财务数据,打开 OA 系统看看合同信息,高层领导不会看这些明细数据细节,也不会进到各个系统里面去看。也就是说,业务信息化不是给这一层领导来使用的。
第二,管理决策层是不是一定是指的企业最高层的领导,不见得,可以是企业各个组织层次中带有管理决策属性的人员,这些管理决策人员都可以通过商业智能BI提供决策支持。
四、数据孤岛到底说明了什么?
数据孤岛一般指的是只有一部分人能够访问的数据集,比如企业不同部门、不同业务信息系统数据库中的数据往往无法互通,只能在各自数据库中储存,无法统一进行利用,没有针对企业整体的全局视角。这样一来,每个部门、每个业务系统的数据都相互分隔,就像海外一座座孤岛,彼此无法连接,无法交流,这就是平时经常听到的数据孤岛。
所以,我们在讲商业智能BI,讲数据孤岛的时候要明白,对数据孤岛问题感触最多的是企业管理人员,所以给业务部门讲数据孤岛可能达不到预想中的效果,只有对跨业务、跨部门、跨组织的这些中层管理、高层管理讲,他们才能意识到业务数据不能互通,不用全面统一进行分析,有多大的问题,也就是数据孤岛对企业发展的危害。
商业智能BI - 派可数据商业智能BI可视化分析平台
商业智能BI作为数据类技术解决方案,在面对数据孤岛问题时,就能通过数据仓库和数据可视化解决企业面临的“数据孤岛”“信息孤岛”问题,所以商业智能BI需要企业管理人员来进行规划,并主要为企业管理人员提供决策信息,辅助进行决策。
五、商业智能BI从业务系统取数据取数的方式
商业智能BI是通过访问和连接业务系统数据源数据库的方式来进行取数的,不管是什么样类型的数据库,商业智能BI通过ETL连接数据库抽取业务系统原表数据到数据仓库中加工处理,最后支撑到前端的可视化分析报表展现。
商业智能BI - 派可数据商业智能BI可视化分析平台
之前有朋友这么提问的:数据源层是需要开发接口吗?
这是回答:
一般不需要,基本上这么提问的都是经历过软件系统的接口对接,软件系统的接口对接是因为有的业务软件是 JAVA 开发的,有的是 .NET 开发的,有的是 B/S 架构,有的是 C/S 架构。软件系统之间的接口是需要开发参与的,主要是串联不同软件的业务流程,这种接口是需要动代码的。 但商业智能BI在获取数据的接口不一样,是与业务系统软件自身无关的,是只需要访问和连接业务系统背后的数据库就可以的,直接从数据库取数,因此是不需要软件接口,或者没有软件接口访问这种概念的。
除非一种情况,这个业务系统是公有云,纯 SAAS 模式,这种情况下就只能通过软件对外开放的 API 接口取数了。
某医药行业销售人员绩效分析 - 派可数据商业智能BI可视化分析平台
某汽车行业管理驾驶舱 - 派可数据商业智能BI可视化分析平台
六、数据中台、商业智能BI、大数据之间的关系应该如何理解?
商业智能BI在遇到大数据量、非结构化数据处理的场景,底层的数据仓库就升级为大数据的数据仓库架构,这就是大数据下的商业智能BI分析;在大数据的数据仓库架构基础之上,往左边更加拓展了数据的采集能力,在中间除了原有大数据架构的数据仓库建模之外,更加加入了数据资产的概念、数据资产盘点、数据资产管理,靠右扩展了数据服务的能力,将数据中台中按照一定规则处理好的数据打包对外提供服务。因此,大数据架构下的数据采集、数据仓库建模、数据资产管理和数据服务就构成了数据中台的几大核心。
数据可视化 - 派可数据商业智能BI可视化分析平台
数据中台的底子是大数据架构,数据仓库是传统商业智能BI数据仓库的大数据升级,而商业智能BI就变成了数据中台之上的应用层,利用中台的数据服务获取数据做分析展现。
这就是商业智能BI、大数据、数据中台这三者的关系和在不同数据场景、服务场景下的演变过程,看明白了这个过程,应该就不会再轻易的混淆他们的概念。至于商业智能BI、大数据、数据中台应该选择哪个,其实说到底如何选择合适的技术路线、技术架构,最终还是取决于企业自身到底要解决什么,不能盲目选择。盲目选择的结果就是大投入,小产出没有达到预期的期望。我们还是应该聚焦到需求本身,需求为王。
七、关于商业智能 BI 认知上的几大误区
很多企业把商业智能BI当做纯粹的报表工具使用,输出的形式变成了可视化图表,可图表展示的内容还是以前的部门业务信息,只展现了一线业务部门的基本情况,管理人员还是需要花费大量时间精力去了解企业整体的发展情况。
商业智能BI - 派可数据商业智能BI可视化分析平台
我这里总结了一下,大家对商业智能 BI 的理解常会碰到的一些误区:
1.商业智能 BI 就是报表可视化,就是一堆可视化图表,商业智能BI 就是前端可视化。
2.商业智能BI就是一个拖拉拽的分析工具产品。
3.商业智能BI就是商业智能BI,跟数据仓库没有关系。
4.有了商业智能BI就不需要数据仓库建模,业务人员就可以自己做商业智能BI分析,就可以拖拉拽做商业智能BI分析。
5.商业智能BI 就是业务驱动的,不需要 IT 人员支撑,敏捷商业智能BI不需要 IT 介入。
6.商业智能BI直连不香吗?直接连接数据源不就可以做分析,不需要数据仓库。
首先简要纠正一下对于这些问题的理解。
1、商业智能 BI 就是报表可视化,就是一堆可视化图表,BI 就是前端可视化。
商业智能BI是一套完整的有数据仓库、数据分析、数据报表等组成的数据技术类的解决方案,在一个 BI 项目中,20% 的时间做前端分析报表,80% 的时间都在底层数据仓库的设计、ETL 的开发、取数开发等工作。
所以可视化报表只是商业智能 BI 的最终呈现,但不是 商业智能BI 的全部。
2、商业智能 BI 就是一个拖拉拽的分析工具产品。
拖拉拽的可视化分析工具准确来讲只能解决 商业智能BI 的一部分,即可视化分析。但其实 商业智能BI 所包括的技术范围还是比较广的,涉及到从底层数据取数到前端展现分析的各个方面。
单纯拖拉拽的商业智能BI可视化分析工具严格来讲只能定位于个人和部门级,和企业级的商业智能BI 有很大的不同,所以单纯的上一个商业智能BI分析工具发挥不了商业智能BI的真正作用,也替代不了商业智能BI的位置。
3、以前也总有人说商业智能BI就是业务驱动,商业智能BI就是 BI,跟数据仓库没有关系。
这个问题很有深度,在以前我也这么认为过,总觉得有了商业智能BI就不需要数据仓库建模,业务人员就可以自己做 商业智能BI分析,就可以拖拉拽做 商业智能BI分析,不需要IT人员支撑,敏捷商业智能BI不需要 IT 介入,不需要建数据仓库。
管理驾驶舱大屏 - 派可数据商业智能BI可视化分析平台
但凡有任何商业智能BI的销售或者售前告诉用户,你们企业的 商业智能BI 项目不需要构建数据仓库,直接通过 商业智能BI 分析工具拖拉拽就可以搞定企业里面所有的分析,不需要IT人员支撑,业务人员完全可以自己搞定... 类似于敢这样承诺的,要么是对商业智能BI不懂,要么就是真忽悠。
在企业级的商业智能BI项目建设中,真正能做到完全靠业务人员简单拖拉拽一些就能随便实现数据可视化分析,至少在我个人从业的十几年工作经验中,95%以上的企业都做不到。我服务过的重点企业包括:SHP( Security Health Plan )、微软(中国)、微软(美国)、VWFC( 大众金融 )等。
VWFC 做的算是非常不错的,少有的业务人员自己动手做很多报表,线上跑了几千张报表。为什么? 因为底层数据仓库就搭建了很多年,底层数据架构相对比较规范。Business Driven 业务驱动,它的前提是什么?
1) 底层数据质量很规范,数据仓库架构很完整,不让业务人员碰底层数据,ETL、取数、指标计算等等统统都是 IT 部门来维护。
2) 业务人员通过培训要熟练掌握商业智能BI前端报表工具的使用,要很懂放出来的数据分析模型接口。
3) 业务人员要非常熟悉业务和数据。
第 2)和第 3)条很多企业没有问题,第 1)条直接弄个前端 商业智能BI 工具让业务人员解决,能解决掉吗? 很显然业务人员是不具备这种能力的。
这就是一到培训的时候,商业智能BI工具使用起来很简单,但是一旦到实际的企业 商业智能BI 项目开发就发现寸步难行。因为培训的时候,给出的数据表都是经过选择的,永远都是质量很高的、规范的只需要简单左表连右表例如销售订单表、订单明细表,自然很容易把可视化报表给实现出来。
数据可视化 - 派可数据商业智能BI可视化分析平台
但是在实际企业 商业智能BI 项目分析中,分析指标的计算规则绝非简单几张表关联就可以解决的,不信的话可以挑战一下一个实际的指标计算逻辑:挑战一个 ETL 数据清洗的小案例 在数据库中就一张数据表,数据理解起来也很简单,但很多 商业智能BI 开发人员做起来也需要废很大的精力,就更别谈业务人员自助 商业智能BI 分析了。
讲这么多不是为了一味否定自助式 商业智能BI 它的作用和能力,自助式 商业智能BI 有它的使用场景,也确实帮助我们简化了很多的 BI 工作,但从专业角度出发,特别反感是部分商业智能BI 厂商以一种不负责任的方式反复向市场强化类似于这样的概念:商业智能BI 就是可视化报表、商业智能BI 不需要数据仓库建模、传统数据仓库建模很落后、商业智能BI 就是自助分析、商业智能BI 自助分析很简单、业务用户简单几天培训就可以学会并且想怎么分析就怎么分析...
从市场宣传和销售的角度来说,简化产品的复杂度和上手难度的宣传是没有问题的,有问题的是以一种错误的讲解、不专业的讲解最终误导企业接受了这些不正确的概念,并以这些不正确的概念来评估与规划 商业智能BI 项目的建设,没有充分预计到 商业智能BI 项目建设过程中可能会遇到的挑战与风险,最后导致项目的不成功与失败、反复建设。
我们在北京就有一个客户之前花了一百多万上了一套所谓的 商业智能BI 项目,项目上线了一年左右,到最后完全推不动,失败了。后续找到派可数据,我们给他们上了派可数据商业智能BI分析平台,这个项目我们连续做了好几期,客户还写了感谢信。之前为什么推不动、项目会失败:不重视数据仓库的规划。因为他们的业务是连续的、变动的,每年的需求都是需要动态调整的,数据持续增加,分析的深度和广度都是在不断变化,没有一个好的底层数据架构来支撑,光靠 SQL 取数、建数据集出报表的形式是不可能支撑一家企业未来 3-5 年甚至更长远的业务分析需求变化的。
除了这个案例之外,在我的手机上有很多之前上过 商业智能BI 最终失败、没有做好,找过来聊天吐槽的记录,是真的产品不好吗?我也客观的帮助他们分析过:这些产品本身有的是 Gartner 魔力现象 Leader 象限的产品,你说产品行不行? 有的产品是国内商业智能 BI 领域很多年的老品牌,你说产品行不行? 客观来讲,这些产品从我个人角度来说,这些产品其实都很优秀,产品本身是没有太大问题的。
问题在于,这么多从零到一需要上 商业智能BI 的企业不知道一个 商业智能BI 项目中原来还有那么多坑,很多 商业智能BI 厂商会不会去把这些点给企业客户讲清楚,一个 商业智能BI 项目到底怎么干、中间有什么样的风险、以后还会遇到什么样的问题、应该怎么解决这些问题、有什么样的方法论和手段... 如果只是为了卖一套 商业智能BI 产品或者工具,你觉得这些 商业智能BI 销售会跟客户讲这些东西吗? 不会的,至少不会讲的太深太全,因为这么一讲把 商业智能BI 难度讲太复杂了,一旦没有讲好,反而降低了客户的信任。
有的时候不讲,是因为怕讲复杂了,让企业客户决策周期拉的太长了。有的时候不讲,是因为不懂。你不讲,客户不知道,客户也没有经验,后续商业智能BI项目建设就会出问题。
在一次大会上,某商业智能BI厂商一位高级售前技术专家在跟客户交流时说过的一句话:商业智能BI直连不香吗?直接连接数据源不就可以做分析,不需要数据仓库。无知者无畏,实在听不下去,就打断直接沟通了一下。通过沟通,可以判断这个所谓的技术专家基本上没有做过完整的 商业智能BI 项目经验,从零到一搭建一个 商业智能BI 项目的能力等于零。以这样的一种能力跟客户来引导一个 商业智能BI 项目,这种 商业智能BI 项目的质量能有保证吗,很难的。
这也就是我们派可数据、我个人做视频号《吕品聊数据》的原因,客观的讲讲 商业智能BI、客观的讲讲数据,普及一下我们认为正确的 商业智能BI 知识和概念。告诉我们广大的 商业智能BI 用户,商业智能BI 到底应该怎么理解、怎么认知,商业智能BI 到底有什么样的坑需要我们的企业注意。
我们不能说我们派可数据在 商业智能BI 领域讲的知识和概念就一定是放之四海而皆准的,但是我们欢迎任何 商业智能BI 厂商或者任何 BI 个人爱好者就 商业智能BI 的一些知识和概念来向我们挑战,来看看派可数据所普及的一些 商业智能BI 知识概念到底对不对。如果普及的对,说明这些问题大家确实都碰到了,这些知识和概念对于企业而言就是难得的经验。如果普及的不对,不对又是在什么地方,指出来大家一起看看,一起探讨一下,我们还可以为企业做些什么。
八、报表工具是怎么来的?
这十几年我一直在技术领域、信息化领域、商业智能BI 行业,一直没有出这个圈。做过 JAVA ( AWT、SWING、JSP、Hibernate、Spring、ibatis )、.NET ( ASP、http://ASP.NET、C#