管理者的终生难题：如何做出对企业更有利的决策？

Photo by Mathew Schwartz on Unsplash，本文摘选自《爱分析·中国BI商业智能行业报告》，报告指导人：金建华（爱分析创始人&CEO）；报告执笔人：李喆（爱分析合伙人&首席分析师）、田群（爱分析分析师）、彭晨（爱分析分析师）、陈小松（爱分析助理分析师）；外部专家：何春涛（永洪科技创始人& CEO）。

报告摘要：

1、BI商业智能的核心在于体现决策价值

• 企业数字化转型的本质是经验驱动决策向数据驱动决策的转变。

• BI平台成为数据产生价值的主要方式。以BI建设为中心的数据中台服务，逐渐成为海量数据处理与分析的核心平台。

• 在企业中提供更深刻的业务洞察力，是管理层依赖BI平台进行决策的基础。

• BI业务的发展使得业务人员进行数据分析的门槛大幅降低。

2、向数据和分析两端发展，一体化平台成为趋势

• 企业不再满足于一般的报表与敏捷式仪表盘，企业的BI需求变得更加灵活和高效。以云BI平台为基础的一站式大数据平台，成为新的趋势。

• 在数据管理方面，现代BI平台既需要利用传统BI的数仓资产，还需具有更强数据源管理能力和深度分析功能。

• 在易用性方面，增强分析技术、语义搜索与嵌入式分析技术将大幅降低现代BI平台的使用门槛。

3、技术平台更加灵活，场景融合成为关键

• 随着微服务架构及容器技术的发展，更多的BI一体化云平台采用松耦合架构，基础平台具有更好的灵活性和业务适应性。

• BI系统在实施过程中，需要深入挖掘企业需求，重新梳理企业管理方法、流程和管理体系，这个过程技术平台与垂直行业场景的融合成为关键。

1.商业智能行业概览

2019年，国际商业智能行业格局巨变。6月6日，Google以26亿美元现金收购商业情报软件和数据分析平台Looker；4天之后，更具爆炸性的新闻爆出，SaaS第一股Salesforce以157亿美元的价格收购BI领导者Tableau，成为Salesforce历史上最大的一笔收购案。

国际巨头通过收购进行产业整合并不新鲜，但如此密集的BI类并购在历史上并不是首次，12年前就已经发生。2007年，Oracle33亿美元收购Hyperion，SAP 68亿美元收购Business Objects（BO），IBM 50亿美元收购Cognos。这不禁让人发问，IT巨头为何热衷于收购BI企业？

在互联网C端市场，流量入口始终是商家必争之地，而BI软件则是数据分析领域最重要的入口之一。BI与分析领域的产品和技术，是所有用户尤其是大客户的刚需。2019年，云计算进入2.0时代，大数据为BI提供了海量数据分析需求，业务复杂性和数据复杂性带来的双重挑战，成为新一轮BI并购潮主要推动力。

1.1 BI商业智能发展历程

BI（Business Intelligence, 商业智能或商务智能）源自企业对业务数据进行价值挖掘与展现的需求。1989年，BI概念由Howard Dresner定义而广泛传播，此时的BI定义为由数据仓库、查询报表、数据分析、数据挖掘和数据维护等部分功能组成，以帮助企业决策为目的的技术应用。

图1，1968年-1989年传统BI企业成立时间轴：

数据来源：爱分析

商业智能不仅是一种技术，更是一种企业集成数据解决方案。这包括了ETL（Extract-Transform-Load，抽取-转换-加载）、数据仓库、DM（DataMining，数据挖掘）、OLAP、数据可视化等多种工具。1968年到1989年，传统BI的厂商如Cognos、SAP、Oracle、Teradata、MicroStrategy等陆续成立。

2013年之前，传统BI产品一直是市场的主流，但这并不是一个很好的市场。根据IBM的统计数据，实施传统BI的项目失败率在60%～70%，大量的BI系统并没有得到有效的使用。传统BI产品，通常只能由技术人员在设计好的维度模型上建立数据仓库。这造成了两个问题，技术人员难以完全理解业务人员的需求，数据仓库不能满足不断变化的业务需要。

敏捷BI为了解决上述两个问题而出现。敏捷BI，又称自助式BI，是指由业务人员自助式建模，能够实现快速部署、数据源集成、高性能计算、探索式分析的BI可视化产品。由于业务人员自行建模，摆脱了数据无法体现业务需求，技术人员不懂业务需求的困境。让数据直接反映业务，成为敏捷BI的一大特点，典型的敏捷BI厂商有Tableau、永洪科技等。

表1: 传统BI产品与敏捷BI产品

数据来源：爱分析搜集

1.2 BI商业智能技术架构和演进路线分析

传统BI商业智能体系结构主要由数据源、数据存储与管理、OLAP引擎和前端工具组成。数据仓库、数据集市与OLAP引擎是传统BI体系的核心。传统BI技术体系对海量数据计算与动态业务的支持均不足，系统搭建、建模过程均需技术人员完成。

BI商业智能从传统BI阶段向敏捷BI的发展过程中，数据源与数据管理、增强性分析、交互易用性，是BI技术架构快速演变的主要方向。具体表现为传统数仓向海量混合存储与高效治理演进、离线数据分析向增强性实时分析演进、静态报表向自助图表和智能交互演进。

图2：传统BI的体系结构

数据来源：爱分析搜集

1.2.1 传统数仓向海量混合存储与高效治理演进

传统数据仓库和OLAP引擎不适用于当今BI业务对数据存储和查询效率的需求。随着业务数据的快速增长，传统不的数据仓库不能满足存储和计算的需求。一方面数据ETL的效率快速下降，原本在一个小时内可以准备好的数据通常延迟到一天后才能进行分析；另一方面数据查询效率快速下降，实现秒级的查询变得越来越困难。

MPP或大数据平台成为应对海量数据的主要解决方案。MPP（Massively Parallel Processing，大规模并行处理系统）不同于事务处理数据库，更适于OLAP场景。采用MPP方案的典型案例是领先的数据仓库企业Teradata，其在1990年就发布了第一款MPP数据库产品，目前MPP架构仍是处理高质量结构化关系型数据的首选方案。国产BI软件中，永洪科技数据集市产品同样采用了MPP架构。

Hadoop经过几年的高速发展，近两年虽略显疲软，但仍是主流的大数据平台。Spark、Flink等分布式计算引擎与分布式数据库、分布式存储等新兴技术快速补足大数据平台生态的缺口。目前，大数据平台已经能够适用结构化、半结构化和非结构化数据处理，目前敏捷型BI产品一般都具有Hive、Spark SQL等大数据平台查询接口。

动态的业务需求对BI商业智能数据治理的要求更加严格。传统BI成功的关键在于元数据的良好定义，元数据一旦定义，修改成本将十分高昂，但由于技术人员有限的业务理解和多变的业务形态，良好的元数据定义通常难以实现。数据治理即为了解决元数据标准不统一，数据质量管控、数据集成效率低等问题出现相关工具和方法。IBM、Qlik等BI企业都已在其产品提供或者加强了数据治理功能。  

1.2.2 离线数据分析向增强性实时分析演进

传统BI的离线数据分析难以满足实时/准实时需求。通常当天业务结束后，BI系统进行统一的查询、计算、分析和展现。客户不能实时获取当天的分析结果，难以满足快消、物流、航空等实效性要求较高的业务对BI的需求。

实时/准实时BI分析目的是实现秒级的查询响应。目前，实时BI产品有三个发展方向，采用MPP/大数据架构（Presto/Impala/SparkSQL/Drill）优化查询性能、采用分布式搜索引擎架构（Elasticsearch、Solr）和预计算分布式OLAP引擎（Druid/Kylin）。

上述三种方案，采用了内存计算、并行计算、分布式计算和分布式通信等多种方式提高响应速度，除此之外现有的BI厂商还通过库内计算技术，将开销大的计算直接在数据存储的地方计算，大大减少了数据移动，降低了通讯负担，提高的数据分析性。

除实时性要求外，随着AI技术的快速发展，利用自然语言处理与机器学习技术进行增强性分析成为BI系统的刚需。微软、Tableau、ThoughtSpot、MicroStrategy都推出了相关产品。未来，数据预测和数据挖掘的将变得更加智能，自动化的数据准备、基于模型的扩展分析、预测式分析等增强分析技术将成为主流。

1.2.3 静态报表式表现向自助图表和智能交互演进

传统BI的前端为静态类报表，业务人员不能直接调整报表；业务需求变更时，需由技术人员配合变更。在部分场景下，如月度财务会计场景，这类静态报表在效率和准确性上具有优势，但在动态业务场景下，静态报表已经不能满足现代企业对数据分析的需求。

敏捷BI为业务人员提供探索式分析与自助图表工具。在已有的数据指标和维度不能够满足业务分析的需求，传统BI往往无能为力；而业务人员使用敏捷BI，可以通过拖拽的方式，自定义新的指标和维度，进行探索式分析。这一过程不需要技术人员长期参与，大大缩短了业务人员与数据之间的距离。在海量存储和高效查询的技术支撑下，敏捷BI可以利用自助图表实时展现自定义指标，从而快速满足业务需求。

由智能问答技术支撑的智能交互成为新的BI表现形式。无论是传统BI还是敏捷BI都在往智能化BI的方向发展。利用自然语言理解进行自然语句查询、利用知识图谱实现业务预警、利用专家系统提供业务咨询成为商务智能新的发展方向。

除自助式表现与智能交互成为新的BI表现形式外，嵌入式分析也成为主要发展方向。利用嵌入式分析，不同的系统的相关报告可以实时整合到一个图表，从而形式上避免了数据孤岛的产生。

1.3 BI商业智能的业务流程及主要商业模式

1.3.1 业务流程

BI商业智能的业务流程从传统BI和敏捷BI两个角度，可分为两种。两种BI业务流程在适用场景、部署方式、部署/使用成本上都各有不同。

传统BI业务流程，分为业务需求定义、BI平台建立与部署、BI使用及维护三步，其中BI平台建立及部署又可分为建立数仓模型、数据抽取-转换-加载、构建分析主题以及分析报表和仪表盘制作。在传统BI业务流程中，BI平台的使用和业务需求的定义主要由业务人员完成，而BI平台的构建与部署主要由技术人员完成。

图3：传统BI业务流程

数据来源：爱分析

传统BI业务流程经过长时间检验，具有成熟的建模方法，能够很好的整合业务数据。建立数仓的过程通常也是企业业务流程梳理和数据价值提炼过程，因此，从数据仓库中获取的数据通常是精炼有序的业务数据。

同时，传统BI的构建过程十分复杂，因此业务需求方、使用方与平台的构建方是分离的。因此造成传统BI流程，部署成本高、部署周期长、业务需求与平台功能不一致、报表刚性难以调整，业务人员难以根据需要制作报表、IT部门负担重等缺点。

因此传统BI流程适用于基础性、大容量，需求和数据框架稳定的数据分析业务。

敏捷BI业务流程，通过敏捷型的BI工具或者平台实现的。在敏捷BI业务流程中，技术实现与业务分析实现了分离，因此敏捷BI业务流程中主要以业务人员自助式实现数据源连接、指标集定义、探索式分析和自助的报表制作和仪表盘展示。

图4：敏捷BI业务流程

数据来源：爱分析

敏捷BI业务流程具有快速部署、灵活变更、高效查询和自助式分析的特点，所以部署成本和使用成本低于传统BI。同时，因为敏捷BI是由业务人员主导的，因此敏捷BI的业务流程更接近业务分析的需要。

但是，敏捷BI业务流程中并无复杂的数据建模过程，也无法提供高级的数据管理功能。因此，敏捷BI业务流程在实施过程中同样需要借助传统BI中建立的数据仓库，通常敏捷BI的数据源连接过程还会连接如Hadoop平台、Excel等其他多数据源数据。因此，敏捷BI业务流程并不能完全替代传统BI的业务过程。

1.3.2 商业模式

BI商业智能主要为两种商业模式，产品/SaaS模式和服务模式，其中服务模式又包括IT服务型和业务服务型两种。

产品/SaaS模式，是将BI产品或者SaaS交付给客户，并由客户自行实施。Tableau是该模式的典型代表，其主要以Tableau Desktop和Server版本为主，同时也提供嵌入式开发和SaaS服务。除咨询服务外，Tableau的使用主要由业务人员根据实际需要自行完成。除Tableau外，MicroStrategy和大部分敏捷BI厂商及SaaS服务提供商都属于该模式。

产品/SaaS模式提供给客户灵活敏捷的BI产品，客户能够及时应对业务变化的需要，但是单一的产品通常难以满足客户业务定制化的需要。

服务模式，是以IT服务或者业务服务的方式为为客户提供基于BI的整体解决方案。

提供IT服务模式的企业主要以Oracle、SAP、IBM、SAS等传统BI企业为主。这类企业主要以搭建BI信息系统为主，但在搭建数据仓库过程中需要与业务人员进行充分配合，涉及大量业务咨询与梳理过程。传统BI厂商都建立有自身的BI实施方法论。以SAPBW为例，其实施过程大概分为项目计划和准备、设计阶段、开发阶段、测试和部署阶段以及系统上线阶段等。

IT服务模式虽然充分结合的业务需求和技术实现，但其主要以传统BI流程为主，通常涉及多个部门的协调配合，同时其高昂的部署成本难以灵活的适应现代企业的需要。

业务服务模式，基于一站式大数据分析平台构建敏捷型BI产品，并以服务的方式支撑企业的业务分析需求。业务服务型厂商既要具备建立数据湖的能力，而不仅仅是建立数据仓库，以便数据整合；通常以SaaS方式提供多样化的服务。

1.4 BI商业智能行业图谱

BI商业智能行业图谱从BI组件和整体解决方案两个维度列举了现有的BI­产品和BI厂家。BI组件以产品为主或者厂家主要产品所处的领域，BI组件中包含大量开源产品，通常为自建BI平台厂商采用。整体解决方案主要从国内和国外两个领域列举了主要的供应商，从事整体解决方案的方案企业一般能够提供完整的BI组件，不一一列出。

BI组件主要分为ETL工具、数据仓库/数据集市、元数据管理、OLAP Tools/Server以及前端的查询、分析与挖掘、报表和可视化等组件构成。BI组件可以分为商业产品和开源产品两类，商业组件多集中在分析/挖掘报表、报表、可视化、ETL等领域，这些领域通常是性能要求高或者对业务变化比较敏感的部分。

BI组件开源产品中Apache系Hadoop、Impala、Hive、Drill、Atlas、Kylin、Superset几乎涵盖从存储到分析的大部分模块，此外Cloudera、Airbnb、Pivotal、Hitachi等企业也贡献大量开源力量，由中国团队主导的Druid和Kylin目前已经成为主流的OLAP开源工具。但开源产品主要应用于互联网公司（如快手、美团等），如果没有专业维护团队，开源产品并不能满足业务部门的需要。

图5：BI商业智能行业图谱

数据来源：爱分析

BI整体解决方案厂商，也可以成为一体化平台厂商。传统BI厂商的产品中如Oracle OBIEE、SAP BO、IBMCognos、MicroStrategy是传统的四大BI厂商，其特点是具有从ETL到可视化的整套组件，并提供业务建模咨询服务。而Pentaho是目前主流的BI开源解决方案。

敏捷BI厂商与传统BI厂商相比，通常为具有数据源融合与管理能力的可视化产品。以敏捷BI的鼻祖Tableau来讲，其不仅支持传统BI的OLAP数据，还可以从AWS、AZURE、Dropbox、Excel等不同类型的数据库和文件中获取数据。国内领先的敏捷BI厂商永洪科技，目前支持的数据源多达27种。

2.BI商业智能的价值

2.1 BI商业智能不等于数据分析工具，是数据驱动决策的第一步

企业数字化转型的本质是经验驱动决策向数据驱动决策的转变。在这个过程中，为企业各个业务系统提供描述、诊断、预测等数据洞察能力的不是数据分析工具，而是BI数据分析平台。这个BI平台既能在功能上满足业务需要，同时业务人员又方便操作，才能实现工具与业务的深度融合。

传统数据分析过程与业务需求的割裂造成了数据驱动的第一障碍。以传统数据分析工具SPSS为例，其提供了丰富统计分析模型和统计分析报告，但报告的分析结果仅仅是对统计模型的解释而不是对业务的解释。同时复杂的统计模型，通常只有统计专业人员才能理解，业务人员难以进行操作。

数据驱动管理要求数据平台对业务需求负责，而不仅对数据分析结果负责。数据分析过程仅是进行业务决策的过程一个环节，将分析结果转变为合理的决策依据才是BI的核心价值所在。企业应用BI的目标即是通过对不同业务源数据进行统一处理及管理，把数据变成信息、把信息变成决策、把决策变成行动，从而提高管理效率、增加企业的竞争优势。

BI平台通过对数据源接口与数据分析工具进行封装，业务人员能够轻易的获取不同的业务数据，同时根据业务需要提取分析结果。同时，BI作为共享分析平台，避免了部门间的数据混乱，极高提高了决策效率。

图6：BI技术支撑平台推进企业数字化转型

数据来源：爱分析

企业进行数字化转型的核心在于技术支撑平台的建设，BI作为数据驱动决策的第一步，其主要推动者为企业中的运营、销售和高层管理人员。企业在从“粗放式”向“精细化”管理过渡中，通过BI的帮助，企业/业务管理者能够更好的引导决策、提高运营效率、增加客户收入，从而更有效的提高企业竞争力。由于使用BI的人员是对业务负责人员，其分析效果相比传统统计学人员更能复合业务需求。

2.2 海量数据的处理与分析，让数据产生价值

 BI平台成为数据产生价值的主要方式。随着现代业务系统的越来越多，收集的数据越来越细，使用系统的时间越来越长，数据量的增长越来越快。但现有的系统无法对数据量比较大的数据进行快速响应。以BI建设为中心的数据中台服务，逐渐成为海量数据处理与分析的核心平台。

图7：海量数据价值的体现

数据来源：爱分析

BI平台可以实现全域数据的精准分析，实现低价值密度数据的有效抽取。例如，企业的供应商信息、产品信息、库存状况、客户信息、订单数据、交易信息、时间和环境信息等重要的信息资源都分布在ERP/CRM/SCM等业务系统或者平面文件中，形成了一个个的“信息孤岛”。只有依赖大数据BI平台，才能使用挖掘全域数据的价值，而不是采用样本进行粗略的统计分析。

海量数据间的关联关系通常蕴含更为巨大的价值，BI平台利用增强分析实现关联关系价值挖掘。如客户关系管理过程中，利用BI应用进行客户划分、客户行为分析、重点客户和潜在客户发现等来了解客户，进而为客户提供个性化服务和交叉销售，从而提高客户的满意度和持久度，为企业赢得市场机遇。

实时性海量数据分析能够帮助业务人员快速应对业务变化。传统的数据分析过程涉及大量报表制作；一般传统报表工具响应时间慢。BI平台中的高性能计算引擎可以满足海量数据的秒级分析需求；流计算与实时计算平台，对于实时性高的物联网数据或者时序数据，实现实时或者准实时分析。

除此之外，BI平台还具备预测式分析价值。通过预测式分析，结合外部数据和历史事实，业务人员能够更好地了解客户，产品和合作伙伴，识别公司的潜在风险和机会。

2.3 让管理层能够基于数据制定决策    

BI平台在数据整合方面的优势，成为企业内部数据资产和外部数据资源的沉淀和管理中心。传统的ERP、OA、CRM等系统并不具备整合与挖掘信息的能力，而仅靠企业内部数据不足以满足企业管理决策的需要。BI平台整合企业内部与外部数据后，这些数据成为可挖掘和可分析的数据资源，这是企业利用数据制定决策的前提。

在企业管理中提供更深刻的业务洞察力，是管理层依赖BI平台进行决策的基础。数据价值虽然得到管理人员的普遍承认，但是管理人员拒绝利用数据进行决策的原因在于，传统数据分析工具只能提供片面、粗略的分析结果。BI辅助管理人员决策，取决于管理层对BI平台的依赖性。只有不断适应业务需求，才能体现BI平台的决策价值。

大数据BI平台提供了管理层决策所需数据的时效性和准确性。传统业务部门间数据的汇总过程是漫长的，使用Excel从底层部门到高级管理层的数据汇总过程往往长达月余。即使用传统BI产品，面对大数据体量工作时，仍然需要按小时计算才能完成所需的统计工作。显然只有借助大数据BI平台，管理层依据制定决策才成为可能。

图8：美的集团BI平台使用现状

数据来源：美的集团、永洪科技&爱分析

美的集团曾使用Oracle BIEE作企业BI平台，但是在高性能、轻量化运维、数据权限管理过程中，原有BI平台并不能满足企业级决策对灵活性、时效性和准确性的需要。同时，BIEE并不能对外部数据与客户情况、竞品特征以及网络舆情进行整合挖掘，因此管理层对原有BI利用十分有限。

采用一站式大数据BI平台后，平台内部接入超过800种数据源，形成超过100T的数据存量。在平台上，新型BI系统能够在秒级时间内响应各种定制报表和图表，从而快速响应市场变化。由于新系统满足了管理层对数据决策的需求，该BI平台在美的内部的大数据、国际部、金融部以及物流子公司快速推广。

2.4 让业务人员都能具备数据分析能力，提升业务效率

敏捷BI使得业务人员进行数据分析的门槛大幅降低。敏捷BI的重大价值在于使得业务与技术人员分离，业务部门能够根据自身需要快速实现业务分析需求。目前，敏捷BI成为国内的中大型企业面向业务人员的首选数据分析工具，如咨询、能源、电信等行业，它们对自服务分析越来越看重，采购需求不断增加。

以艾瑞咨询为例，艾瑞咨询集团每天要分析的数据量达几千万条，且不同企业客户的分析需求各不相同。面对动态的报表查询，如果分析的维度和度量的计算方式已在建模时预先设定好，不能更改；通常不能满足业务分析需求。

艾瑞集团采用包括分布式计算、内存计算、列存储、库内计算等新型计算架构，实现敏捷BI的分析需求。项目实施后，对比原先基于Excel和SQL编程的分析方法，艾瑞咨询集团的业务效率获得数倍的提升。线下报告交付周期从3至4周缩短至小于1周，软件交付从半年缩短至一个月。采用敏捷BI工具后，艾瑞咨询集团可以在几天内快速搭建原型向客户展示，任意的需求变更都可以一周内调整完毕。

图9，艾瑞咨询采用BI平台后的项目收益：

数据来源：艾瑞咨询、永洪科技&爱分析

3.BI商业智能的重要场景分析

3.1 金融

金融业是实现数字化转型最快的行业，数据资产已经成为金融企业的核心资产。随着互联网金融在金融业中的快速兴起，除传统业务系统数据外，针对互联网客户的风控、电商、渠道、信用等新业务数据给金融企业带来巨大的数据使用压力。

目前，BI在金融企业的运营、管理和风控三个领域，都具有重度使用需求。中信四川分行在处理全省的经营分析和客户分析时，经营与客户数据需要快速上线并通过合理权限控制交给业务部门自行分析。通常这些数据都是由业务部门进行汇总后，以周报、月报形式上报至省公司，决策周期长。

采用敏捷BI系统后，中信四川分行全局报表的响应效率从十几分钟提高到10秒以内。业务人员可以利用自助式建模系统，快速响应业务需求，任意分析需求均可在一天之内实现。

客户分析领域，BI可以通过多维数据关联，从用户年龄、性别等不同维度构建用户画像，实时分析用户的投资偏好，进行精准营销。在内部风控方面，BI系统可通过趋势分析、异常值预警等方式进行平台风险管控。

图10: 典型的银行BI系统

数据来源：永洪科技&爱分析

BI系统中，响应效率、全量数据建模、业务人员自助分析通常是制约金融数据应用的关键因素。传统的BI报表，需要先建模再分析，项目周期通常在一个月以上，而且无法响应快速的业务变化需求。而现代BI系统在金融类业务中通常可以实现秒级自助式分析与展现。

一个典型的银行BI系统如上图所示，可以看出BI不仅仅是可视化产品，更是一种业务解决方案。在项目实施过程中，BI高级咨询师通常会根据金融业务制定相应的存储与分析方案，而在项目上线后，则业务分析则可由业务人员自助完成。

3.2 零售

零售业通常面对成千上万家店铺的数据信息，通常零售企业会有统一的信息管理系统管理店面业务，积累了大量的会员、交易以及过程数据。由于缺乏数据应用体系，快速增长的业务中积累的数据不能快速有效的指导管理决策。

零售业在数据应用过程中面临主要问题包括，多地数据存储导致数据孤岛严重、业务复杂导致数据融合困难、缺乏数据规划导致数据质量不一致、分析维度单一导致数据利用率低、缺乏合理工具导致分析响应效率低下。

调研中发现，受限于IT投入的成本，大量的零售企业还在使用Excel制作固定报表。虽然Excel具有成本低廉、使用灵活方便的优点，但应对海量数据处理与深度分析场景却无能为力。

BI可以在避免重度数据仓库建设的同时，通过轻量级的ETL工具对接不同的数据源实现经营数据的快速分析与展现。国内大型零售商，如家乐福、永辉超市、大悦城、海天集团、国美集团都已经采用BI系统进行企业经营与店面的管理。

表2: 零售业采用BI后效果

数据来源：永洪科技

图11: 典型BI分析效果

数据来源：永洪科技&爱分析

低成本、高效率的敏捷BI在零售业应用中的巨大优势。某零售企业采用敏捷BI后，“单店销售收入提升16%，二店率提升12%，次年新开店增速20%。”国美互联网零售CTO王增智先生也曾表示，国美利用人货场数字化，实现了线上线下会员、订单、商品、促销与数据的统一，有效提升了管理效率和客户体验。

3.3 能源

能源行业的参与者大多数是大型国有电力、石油等类型的企业，能源企业的业务通常涉及关系国计民生的基础性服务，在几十年的国家基础能源设施建设过程中沉淀了大量数据资产，如何盘活数据资产，优化管理，创造价值成为能源企业重点关心的问题。

能源行业实施BI的难点首先在于，海量、多源、异构的生产系统导致的数据复杂性和动态性。例如电力系统从电能生产、客户购电，到电能销售、电力传输，再到企事业单位用电、电力设备故障，每个环节都涉及到大量业务数据。每类数据基本都是TB级以上，且在持续增长。这对BI过程的数据的抽取、清洗和转化环节提出了很高要求，同时BI系统的存储结构也要采用相应的海量、异构存储架构。

能源行业的难点其次在于，需要解决大量的历史数据和生产经营实时数据。无论是电力系统，还是石油行业，沉睡的历史数据资产犹如鸡肋，食之无味、弃之可惜。传统的BI系统在利用海量历史信息时，建设成本高，可用性差。只有具备相应的存储和快速处理技术的BI系统，才能在海量历史数据的基础上，实现全景实时的数据展现。

能源行业除生产经营数据(网架、设备、技术、管理)外，还需辅助气象、地理、人文、交通等外部数据。例如，可以提取石油管网与GIS数据，可以发现管道维护与相关区域的多个问题，从而在区域范围优化管网参数与运维人员的配置。同时，管网的历史数据与气象、人文等数据联合分析后，有助于智能管道全寿命周期管理。

能源行业BI的应用最重要的是对于风险因素的挖掘和管控。例如，通过AI构建电费风险预测模型，大客户的欠费预测命中率几乎达到了90%；同时发现了大量未察觉的业务规律和管理盲点；通过“网络可靠性特征模式“，可以根据线路的结构特性、电气特性、供电可靠性等因素将线路分成若干类不同可靠性的线路组，为配电规划提供依据。

图12: 典型的能源BI示例

数据来源：永洪科技&爱分析

3.4 制造

制造业对BI系统的需求是产业全链条的，从设计、生产、物流、供应链、质量管控到销售等一系列环节都有巨大的BI需求。目前，大部分中大型的制造企业已经建立了比较完善的CRM、ERP、MES、MRP、EAS等基础信息化系统，帮助制造企业收集大量的历史数据。如何利用数据实现精益生产，成为制造业的刚需。

制造业利用生产数据与用户反馈可以有效的改进生产，如设备运维监控、质量监控、库存分析、柔性生产，都需要借助实时的数据采集与反馈。在生物制药领域，通过对生产线超过200个指标的监控，实现生产线的柔性控制，每条生产线可以节省500万到1000万美元的成本。芜湖格力工厂，把MRP和MES的数据导入BI系统，实现实时多维数据分析，提高了30%以上的工作效率。

现代制造企业通过内部与外部的数据，结合敏捷BI，可以实时优化产品方案。美的集团在跟踪产品销售情况时，会根据用户需求、产品特征、客户评价以及用户评价等多个维度挖掘用户需求，从而及时反馈到生产线，实时优化产品方案。

制造业BI应用中的困难主要在于，内外部海量、异构数据的整合与精确、实时分析的实现，而数据采集经过多年发展已经相对成熟。以美的为例，美的从2012年开始投入超过10亿元进行IT治理和全面重构系统，实现了集团级的企业标准和语言。

在实施过程中，其技术人员负责数据分析体系的搭建与技术实施，业务团队的配合负责数据清洗、转换、建模的部分。数据分析系统通过按月迭代的方式，持续释放新的业务价值。

图 13: 美的集团数据应用架构

数据来源：永洪科技&爱分析

目前，美的集团实现了实现从研发、生产、库存、营销、收付全链条的动态可视化，将数据运营的结果展现出来。对于1.5亿美的用户，美的大数据平台实现了用户购买的记录、购买渠道、地域、使用偏好等等信息全部标签化，形成完整的用户画像，实现精准营销。

BI一体化平台通过降低数据应用构建门槛，帮助企业建立数据化运营体系，真正实现数据驱动决策，从而盘活数据资产和底层基础设施，真正发挥数据给制造企业带来的巨大价值。

3.5 互联网

互联网行业与其他传统行业对BI的有明显的不同。互联网公司自身业务通常面临高并发和分布式的特点，又有自己的技术团队，因此像美团、快手体量的互联网公司通常通过开源组件搭建自身的BI平台以满足自身业务的需要。

但对于行业性或者一般规模的互联网企业，仍然乐于采用成熟商业化的BI产品满足自身数据分析与可视化的需要。

图14: 典型互联网BI架构

数据来源：永洪科技&爱分析

互联网企业与传统企业相比具有以下几个特征：数据更加海量，数据增速更快。与传统行业相比，互联网企业更多涉及用户的网上行为，包括用户访问、浏览、购买行为、出行方式、消费喜好等用户行为数据。日新增数据量在几十T级别，预计很快达到百T级别，对数据采集、处理能力要求非常高。

数据平台性能要求更高。如何在有效有效时间内完成数据的采集、处理，是必须解决的难题。在互联网企业同样会遇到异构数据的问题，如原有系统选用不同的数据产品；某些半结构化数据采用XML、JSON和MongoDB存储等。但总体上来看，互联网企业数据的规范性要高于传统行业。

例如，宝宝树网站的订单数据存储在SQL Server中，客户数据存储在MySQL中，利用Excel进行数据整合，不仅效率低，而且极其消耗人工成本。数据分析需求的变化常常给研发人员带来很大负担，影响核心业务系统的开发。

利用BI大数据平台，宝宝树方便实现跨数据源整合数据，原本几周得到响应的分析需求可以在当天完成。同时，高效率的存储与分析引擎，避免了对服务器资源的浪费，有效节省成本。业务人员通过自助式查询，不仅响应及时，而且减少研发人员负担，优化员工的结构。

4.BI商业智能潜在市场规模测算与分析

未来，BI商业智能将成为企业智能化决策系统的重要入口。根据BI在不同场景的渗透情况，爱分析将BI市场分为当前市场、增量市场与潜在市场。

其中，当前市场为目前BI厂商的市场总和；增量市场为当前市场中存在但尚未被满足的需求如CRM领域BI与AI结合以辅助销售人员进行决策的需求。

图15: 当前市场、增量市场、潜在市场示意

数据来源：爱分析

4.1 BI当前市场规模及发展趋势

图16: 2017-2020年全球BI市场规模预测 

数据来源：Gartner & 爱分析

Gartner 2017年报告指出全球BI市场规模为183亿美元，相比2016年增长7.3%。预计到2020年，全球BI市场将突破228亿美元。

国内BI市场，根据爱分析调研，2019年规模约为50-60亿元。这里面国内BI公司，如永洪科技、帆软、海致BDP、亿信华辰、润乾等公司，合计收入约为25-30亿元；国外BI公司国内收入将会与国内BI企业收入持平，包括SAP、IBM、Oracle、微软、Tableau和Qlik等公司。

4.2 BI的增量市场与潜在市场

2019年全球BI市场规模约215亿美元，全球的IT投入大概是3.8万亿美元。同期，中国的IT投入将达到2.7万亿人民币，假设中国BI市场总容量和全球市场BI投入占IT的比例应该大体一致，2018中国BI商业智能的总市场容量（当前市场规模+增量市场规模）大概是150亿人民币左右。据此估算，中国BI市场的存量市场仍然有90-100亿人民币。

图17:  BI潜在市场的延伸方向                           

数据来源：爱分析

图18: 当前市场规模、增量市场规模、潜在市场规模示意

数据来源：爱分析测算

由于BI是数据应用的入口，是各个行业数字化转型过程中是必不可少的一环。未来，随着BI向着分析端和数据端两个方向延伸，BI解决方案最终并入大数据整体解决方案的赛道。

根据中国电子信息产业发展研究院发布的《中国大数据产业发展水平评估报告》，预计 2018 年我国大数据核心产业规模突破 5700 亿元，未来2-3年的市场规模的增长率仍将保持35%左右。未来切入这部分应用环节，BI商业智能的潜在市场规模将在数百亿的市场空间。

4.3 BI商业智能在不同场景的渗透率

根据当前BI市场规模与市场总容量计算，整体国内BI商业智能市场的渗透率（当前市场规模/市场总容量）约为36%，未来有很大的增长潜力。

从敏捷BI市场来看，国外市场敏捷BI市场份额快速提升，根据爱分析判断，2019年敏捷BI市场规模将达到57亿美元，占全球BI 215亿美元市场规模的27%。

国内敏捷BI市场同样在快速提升，渗透率仅为15%左右。综合国内几家BI厂商的业务表现，国内敏捷BI市场增速在50%左右，远远高出市场平均水平。

从具体行业来看，金融、零售、制造、能源、互联网是BI应用发展较快的几大行业。其中金融与零售行业整体的渗透率最高，制造业与能源行业其次。从公开市场看，由于互联网行业头部公司多有自建BI体系的能力，导致互联网行业整体渗透率偏低。

图19: 传统BI与敏捷BI在五大行业的渗透率 

数据来源：爱分析测算

注：

1. 各行业敏捷BI渗透率=各行业敏捷BI市场规模/各行业BI潜在市场规模；

2. 各行业传统BI渗透率=各行业传统BI市场规模/各行业BI潜在市场规模；

3. 各行业气泡大小代表各行业敏捷BI市场规模与传统BI市场规模之和。

5.BI商业智能的未来趋势

5.1 一站式大数据平台是未来趋势

进入2019年，传统BI与敏捷BI出现明显的融合趋势。企业不再满足于一般的报表与敏捷式图表，能够更加灵活、高效的利用数据和进行深度分析成为企业新的BI需求。以云BI平台为基础的一站式大数据平台，成为新的趋势。

一站式大数据平台是集成业务咨询、数据管理、深度分析、数据可视化、数据决策等流程，能够提供完整BI解决方案的通用性平台。通过配置不同的行业/企业模板，一站式大数据平台可以灵活、方便的实现行业/企业BI平台的功能。

图20: 一站式大数据平台与敏捷BI、传统BI区别

数据来源：爱分析

与传统BI相比，一站式平台既可以利用传统BI的数仓资产，更多时候会直接构建数据集市资产，更加灵活方便的对数据资产进行管理。同时，一站式平台具有敏捷BI自助式服务的特性，业务人员可以利用预定义好的图表模板，灵活配置数据指标，实现自助式业务分析。

与敏捷BI相比，一站式大数据平台具有更强数据源管理能力和深度分析功能。敏捷BI一般情况下在数据源接口上做了大量工作，但涉及到海量数据分析，其只能利用数据源本身的分布式计算能力，缺乏对海量数据分析系统性的解决方案，导致性能达不到企业需求。

除前后端性能增强外，一站式平台是面向企业服务和解决方案的产品。传统BI产品在实施过程中具有很高的失败率，通常不足50%。因为企业级数据分析是技术与业务高度耦合的工作，传统数仓建立以后常因为结构不合理导致业务需求得不到满足。

因此，专业解决方案和灵活的通用平台是应用一站式平台不可或缺的两点。行业专家可以通过与业务人员的深入交流制定专业的数据框架，而灵活的通用平台可通过模板配置，实现针对特定行业、企业的需求。

遇到数据框架不合理时，一站式平台通常可以较低的成本迅速调整框架。如美的集团、联通公司其BI系统都是构建在永洪通用一站式BI平台之上，只是在企业应用时分别采用了制造业与电信行业模板。

以华夏银行一站式BI平台为例，其技术架构中数据源不仅包含原有的数据仓库与数据集市，还通过大数据平台实现实时数据采集和流式数据分析，同时还具备非结构化和半结构化数据处理方案。其中数据整合层的内容是传统BI、大数据平台、数据源的一个整合，提供了敏捷BI难以实现的数据源需求与性能需求。

图21: 一站式大数据平台架构示意

数据来源：永洪科技

而对于业务人员，华夏银行的一站式BI平台又是轻量的，具备自助式的服务特征。业务人员根据自身的数据方案权限即可查询所需的数据指标和规则模板，使用托拉拽的方式即能快速组建业务查询需求。

因此，在大中型企业中，一站式大数据平台逐步替代传统BI和敏捷BI的趋势将越来越明显。但在小型业务中，正如Excel的广泛应用一般，敏捷BI也会占有相当的市场。

5.2 BI与AI融合，降低数据分析的门槛，放大数据分析的价值

BI与AI将在未来进行深度融合。这一融合趋势将快速数据分析的使用门槛,在贴近行业场景的前提下,快速放大数据分析的价值。

图22: 一站式大数据平台数据管理与自助式服务

数据来源：永洪科技

AI技术分为三个流派，以知识图谱为代表的符号学派，以机器学习为代表的连接学派以及以智能机器人为代表的行为学派。在BI行业，知识图谱与机器学习将成为BI与AI融合的主流。AI技术将不局限于目前火热的连接学派中的机器学习技术，而是多种流派技术的融合使用。

图23: BI与AI融合降低数据分析门槛的途径

数据来源：爱分析

BI与自然语言处理NLP、知识图谱等技术的融合，将促使语义搜索成为主流BI查询接口，交互式BI将渐成潮流。根据2019年Gartner的报告预测，到2020年有50%的查询分析通过自然语言搜索、语音搜索完成。在这个领域，基于行业的标注数据与基于专家知识的知识库建设将构建新的行业壁垒。

BI与机器学习技术的融合将促成增强分析的功能快速丰富，这一方面数据科学平台、机器学习平台以及嵌入式分析将成为主要推动力，从而实现预测式分析。适用化更强的AI算法与基于行业的模型，将成为该领域增长的核心要素。

增强分析技术、语义搜索与自助数据准备的成熟将大幅降低现代BI平台的使用门槛。业务人员使用自然语言即可实现预测式分析。需要注意到的是，这个过程并不是一蹴而就的事，IBM Watson近期的裁员表明这两项技术在医疗领域并不能获取比人更高的判别精度。

BI与AI的深度融合将促使BI的行业标签更加明显。在行业内部有数据积累和长期实践的企业，将建立长期优势，迅捷、开放、移动、弹性、自服务、增强分析成为企业对数据技术的新需求，而单纯的BI产品将会成为BI应用中简单的一个环节。

永洪科技利用AI技术可以实现全链路的自服务数据准备工作，大幅增强了可视化分析能力。同时，其分析引擎内置AI深度分析算法，通过可视化工作流的方式，可以进行预测式分析。在金融、物流和公安等领域，专家+AI的应用模式获得了极大的成功。

5.3 边缘计算、IOT等技术成熟，基于大量设备联网后的场景

2020年，全球物联网设备总数将达到340亿，巨量物联网终端的管理将成为巨大难题。物联网一般划分为感知层、传输层和应用层，所以物联网天然的包含数据采集、传递、处理和应用环节。其中，在完成数据采集和传递基础环节的铺垫后，后台数据处理将成为最关键的环节。

5G、边缘计算、智能工厂等技术成熟将推动物联网级的BI平台在物联网后台数据处理中发挥关键作用。在这个过程中，数据实时采集与存储、流计算、数据实时分析与预警以及BI平台与智能工厂的结合将成为现代BI的关键。

目前，制造、能源、物流和交通等行业是对物联网级BI平台需求较高。大部分中大型的制造企业已经建立了比较完善的CRM、ERP、MES、MRP等基础信息化系统，帮助制造企业收集大量的历史数据；另一方面，终端传感器、边缘网关与服务器的部署使得对机器的性能测量和可追踪性变成可能。

以物流行业为例，物流管理系统中包括物流跟踪系统、播种墙分拣系统、RFID及AGV盘点系统等物流智能化系统和设备，时刻产生大量生产数据。现代物流BI系统通常需要进行全量数据分析，这类数据包括库存、入库、出库三个维度的实时数据，以及通过上钻和下钻等功能实现省内与省间的数据联动分析。

图24: 物流行业物联网级BI平台示意

数据来源：永洪科技

实时性作为物流BI系统的核心能力，其快速响应时间通常在10S以内，可实现全量数据联动分析。通过BI的可视化能力，其不仅对外部客户提供更好的可视化感知服务，也可对内加强运输配送环节的安全管控。

5.4 BI商业智能与垂直场景融合，更加贴近客户场景诉求

BI作为企业决策解决方案，熟悉企业业务是必要环节。BI系统在实施过程中，需要重新梳理企业管理方法、流程、体系，并得到管理层、中层和业务层的支持，深入挖掘企业需求，有时还需要IT咨询人员介入，才能制定有效的BI实施方案。在这个过程中，通过BI系统实现智能运维，是垂直行业场景融合的关键。

底层获取数据能力增强，加速了BI与垂直场景融合。随着大数据技术与物联网技术的发展，现代BI可以实时获取生产数据或者经营数据。这类直接获得的数据更多与垂直场景相关，如广告中利用精准营销进行获客引流，供应链管理中利用物联网获得的进出场信息获取仓储管理情况，越来越多的行业属性信息，加速了BI与垂直场景融合。

自助式分析、增强分析的BI方案落地依赖于对垂直场景的深刻理解。通用的BI产品通常不能直接解决业务分析的需求，只有依据业务场景，确定问题边界，才能选择合适的模型和算法，使用增强分析技术，才能制定有效的BI实施方案。例如，交通出行场景，除获取相关的业务数据外，BI系统还必须选择合适的人工智能或者运筹学模型，才能计算相关的最短路程与出行时间。

云BI的快速发展，BI的客户场景通过SaaS快速实现。BI云化后，BI产品的应用和部署将变得更加便捷，客户将按照业务场景选择BI服务，而不是简单的选用BI的通用型服务。简单的如营销过程的用户画像、教育行业的教育评测、征信服务的征信评价均可以通过SaaS服务方式提供给客户。而附加的行业解决方案，正成为现代BI着重开发的要点。

结语

BI是数据实现价值的窗口。无论是数据仓库还是敏捷式BI，都是使得数据分析变得越来越简单、数据价值体现越来越直观。从这个意义上看，BI的本质是整个数据分析乃至大数据领域的入口。所以Salesforce和微软要牢牢把握住这个入口。

从发展趋势看，BI分别向数据端及分析端延伸。在数据量越来越多的情况下，数据管理会变得越来越容易；而通过自然语言理解和深度分析技术，前端的数据分析工作也将会越来越容易使用。利用语音或者文字进行交互式分析，将成为BI发展的主流方向，并最终大幅超过现有BI的应用范围。

在未来，能够与业务场景深度融合的BI产品将更具备竞争力。在工业互联网蓬勃发展的当今，业务核心系统的发展仍然较为缓慢，但BI作为辅助运营决策的主要方式，正在发挥越来越重要的作用。而对于业务系统的理解，将成为现有BI企业的巨大财富，并在未来竞争中构建竞争壁垒。

本文摘选自《爱分析·中国BI商业智能行业报告》，报告指导人：金建华   爱分析 创始人&CEO；报告执笔人：李喆  爱分析合伙人&首席分析师，田群  爱分析分析师，彭晨 爱分析分析师，陈小松  爱分析助理分析师；外部专家：何春涛  永洪科技创始人& CEO。