大数据理念从被炒火至今一直持续着热度,很多企业也开始抱着理性的态度去看待大数据分析,在笔者之前的文章中曾写道,大数据并不是适合所有企业,即使要做大数据分析,也要有一套正确的理念和落地方案,包括:意识行动、数据思维、结合自身等。本文主要假设企业已经具备数据思维、大数据意识等能力模型,并在此基础上进行大数据分析建设,针对信息化建设上的大数据实施前提、实施过程、方法等与大家交流分享。
1 相关理解
1.1 发展变化
提起大数据分析很多人都会与BI分析进行比较,两者皆可为企事业单位决策分析带来帮助,只不过侧重点与技术点不同。BI更多的是处理结构化数据,用于解决企业内部经营管理问题,通过数据对企业现在及过去的问题进行追溯,意在提升企业效率、降低不必要的成本。
大数据更多的处理结构化、半结构化、非结构化数据,采集、分析企业内外部、行业、产业等数据,通过数据之间的关联关系,帮助企业对未来经营决策分析、风险预警,意在解决、指导企业运营中未发生或已发生的问题,帮助企业开源节流。
1.2 关联关系
BI、DW、AI等是常伴随着大数据分析技术而被提到的一些技术名词,它们与大数据分析存在着一定的联系。大数据分析与BI商业智能一定程度上可以相互融合,BI中包含一些企业内部的数据分析,数据分析中有一种体现为BI商业智能,企业可根据不同发展阶段,使用不同方案。DW数仓作为各种数据表的载体,作为大数据分析的一部分,与大数据分析产品配合一同实现企业数据分析。
近几年,AI人工智能与大数据关注热度不相上下,这两者之间有紧密的关系,人工智能通常需要大量的数据来进行试验、推算,最终得出结果,数据越多获得的结果就越准确,大数据作为底层支撑是提供海量数据的最佳途径,利用大数据处理技术为人工智能提供算法所需的数据。
1.3 应用场景
虽然当下不是所有企业都适用于大数据技术,但不可否认大数据技术在一些行业中是有成效的,当前大数据技术被广泛应用于互联网、政府机构、金融行业等,这些行业无论在数据量上、分析资源上、资金上还是推进力度上,都具有先天优势,更容易实施运行。互联网行业大数据应用于电商类、社交类、网络检索类企业;政府类大数据应用于工商部门、气象部门、医疗卫生部门等;金融行业大数据应用于银行、信贷等业务。
对于能源、制造、零售、地产等行业来说,大数据主要用于发现企业各个业务环节问题、预测风险、精准营销、分析价格走势等,意在提高企业决策分析和风险管控能力。
2 前置条件
所谓大数据分析,顾名思义是对海量数据进行分析,多指行业、产业、国计民生、社交网络数据,即使面向内部,也需要具有大量的数据供分析,否则大数据分析对于企业来说只是伪命题。不排除很多巨型体量的企业具有充足的数据量,具备建设能力,但也需要了解必备的前置条件。
2.1 目标明确
面对大数据治理企业需要具有明确的目标,而不是盲目进行,首先需要了解大数据的真正含义及与企业当前发展阶段的匹配程度,之后明确企业现有信息化状况、业务流程、部门关系,梳理出如何做才能更好的支撑/构建大数据分析平台,并逐步推进,最后摆正对大数据的预期,理性、长远、全局的看待大数据所带来的成果。
2.2 数据来源
大数据分析是指对规模巨大的数据进行分析,在处理企业内部数据同时对外部数据进行采集、存储、分析。大数据分析的最终目的是为企业运营决策、风险管控带来支撑,分析平台首先需要围绕企业内部信息化系统中数据进行分析,所以在构建大数据分析平台前,企业需要有足够的信息化系统供于分析。
2.3数据集成
很多企业认为大数据分析平台可以解决当前信息化建设一切问题,如在数据分析同时,有效整合现有系统、遗留系统、外部应用数据;可以有效降低企业信息化建设成本,提高员工办公效率等。事实上大数据分析是无法解决上述问题的,建设前企业需要先进行数据集成、应用集成等操作,消除企业系统内外部、尤其内部的信息系统孤岛。
2.4 数据质量
很多企业认为大数据分析是对数据治理后再进行分析,这种想法是错误的,大数据分析所指的数据处理是对抽取到的数据进行分析、配置、展现,而数据治理作为大数据分析的前提,从数据源头开始,保证数据的一致性、完整性、准确性,真正的数据治理需要专业的数据治理工具,如MDM主数据管理系统来从源头上保障数据质量。
3 建设步骤
3.1 数据治理
只有建立完备的数据治理体系,企业才能真正享受大数据分析带来的好处,数据治理已经成为规范企业数据的必要步骤,它可以保证分析使用的数据的准确性,保证分析出的结果是真实可靠的,大数据分析中所需的数据治理分为主数据治理和元数据治理。
3.1.1 主数据治理
主数据治理主要使用MDM主数据管理工具进行,在主数据治理中又分为操作型主数据和分析型主数据,无论从大数据分析准确性角度来看还是从企业IT治理长远角度来看,都推荐企业进行全面的操作型主数据治理,如果企业只想对部分数据进行主题分析,可以采用分析型主数据治理的模式进行。
1.操作型主数据治理
操作型主数据治理将MDM主数据管理系统作为数据源头,企业系统中数据统一在MDM中维护,对于没有数据源的数据,可以通过手工录入或数据导入的形式录入MDM,之后通过编码规则、数据校验等功能对数据进行校验、查重、匹配、合并等操作,保证可用数据的一致性、完整性、准确性。这样以来,MDM作为数据源系统,企业其它应用系统变为消费系统,由MDM统一将数据分发同步至各业务系统(包括数据仓库),不仅用于支撑数据决策分析,还可以保证企业内部系统质量,为深度数据集成、深度应用集成奠定基础。
2.分析型主数据治理
分析型主数据治理是将企业各个应用系统中需要进行分析的主数据统一推送至MDM系统当中,数据的源头仍为企业各个应用系统,数据在各自对应的系统中进行维护,推送至MDM后,由MDM对数据进行校验、查重、匹配、合并等操作,之后将干净的数据同步至数据仓库的维表中用于支持决策分析。分析性主数据管理主要是为数据仓库、商业智能来做支撑,相对操作型主数据管理来说短平快,但因为没有从源头来进行数据治理,效果止于数据分析,不能对企业IT治理起到全面、深刻、长远的影响。
3.1.2 元数据管理
百度百科中给出的元数据解释为描述信息资源或数据等对象的数据,其使用目的在于:识别资源;评价资源;追踪资源在使用过程中的变化;实现简单高效地管理大量网络化数据;实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。
元数据管理不只是存在于数据分析之中,主数据管理中也有对基础数据的元数据管理。而对于数据分析场景,元数据治理主要用来明确业务数据从哪里来、谁来使用、明确数据间的关联,元数据管理也是数据分析中重要步骤之一,元数据治理可以提供数据源管理、分析数据血缘关系、分析数据影响等,实现对复杂的数据环境监控管理,为企业提供安全可信的数据,为数据仓库的运行与维护提供有效支撑。
3.2 数据建模
在大数据分析中,数据建模是一种用于定义和分析,数据要求与其需要的相应支持的信息系统的过程,运用数学模型去挖掘数据中隐藏的价值和规则。数据建模的过程通常包括确定数据及其相关过程、定义数据、确保数据的完整性、定义操作过程、选择数据存储技术,在大数据分析中包括数仓建模和分析建模。
3.2.1 数仓建模
数仓建模是大数据分析中针对特定的数据仓库应用系统构建的一种特定的数据模型,包括业务建模、领域建模、逻辑建模。首先从业务层面理清各个部门之间的业务联系,梳理具体业务流程,先后顺序等,最终将其程序化;之后对业务模型逻辑进行抽象处理,定义数据存储模式的同时实现对数仓中的事实表及维表创建,定义数据的分析模型;最后配置事实表与维表的关联关系,事实表中的数据字段与度量字段与业务字段的关联关系等。
3.2.2分析建模
当企业具备大量数据,之后就是对这些数据进行分析,通过建立数据分析模型找到蕴藏在数据下面的客观规律,挖掘数据价值。分析模型就是对客观事物或现象的一种描述,数据在分析建模功能中进行数据分析模型的配置、分组等管理。技术上通常需要对立方体和数据集进行配置,立方体配置支持三维、多维立方体,同时立方体与数据集之间可以相互转换;数据集配置可以根据选择定义自动生成对应的数据集模型,如:SQL原生数据集、接口定义数据集,Schema&Cube转换生成数据集等。
3.3 数据采集
在大数据分析中,数据采集指分别采集内部数据(管理系统、Web系统、物理信息系统)和外部数据(行业、产业、社交、国计民生),因为大数据的数量和维度越来越多,其数据来源也各不相同,所以会存在不同的结构,如文件、XML树、关系表、视频声频等,在让数据产生价值之前,必须对数据进行采集、清洗、处理、转换,生成到一个新的数据集,数据采集过程指业务系统到ODS/前置机。
3.3.1 传统模式
传统的数据采集模式相对单一,通常通过企业服务总线ESB和ETL数据采集,或为两者结合模式,大多采用关系型数据库与数据仓库一同实现,两者都具备数据采集、传输、转换的功能,可根据企业不同业务场景进行选择使用。ESB主要用于实现并发大、发生频率高的数据,进行实时采集传输至ODS中,ETL主要用于结构化数据的采集,以轮询/定时的方式抽取数据至ODS中进行处理。
3.3.2 现代方式
在大数据分析下的数据采集传输方式通常在传输过程中将已经清洗的数据直接推送至DW中,主流采集工具为Flume和Sqoop。Sqoop可以高效、可控的利用资源,将Hadoop和关系型数据库中的数据批量间相互转移,用于离线计算,其支持MySQL,Oracle,Postgres等。
Flume可以对分布式的海量日志采集、聚合和传输,将应用产生的数据存储到任何集中存储器中,如HDFS,HBase,当收集数据的速度超过将写入数据的时候 ,Flume会在数据生产者和数据收容器间做出调整,保证其能够在两者之间提供平稳的数据。
3.4 数据汇聚
数据汇聚指根据大数据的不同数据特征和计算特征,从多样性的大数据计算问题和需求中提炼并建立的各种高层抽象或模型,通过数据分析算法,进行数据统计分析、实时流处理,机器学习和图计算等。
3.4.1数仓汇聚
数据仓库汇聚是指数据从ODS至EDW的过程,即将不同业务系统的数据从中间库加载至数据仓库中,一般情况下,数据汇聚具有多种实现方式,主要将各个分散业务系统的数据推送至ODS中,在ODS中进行整合、处理,形成面向主题的、集成的、清晰的、详细的运营数据,并按照业务需要和性能要求进行组织、存储,最终将ODS中处理好的运营数据通过数据传输工具传输至EDW中,为数据分析提供服务。
3.4.2 海量数据
在大数据分析技术下,对于海量数据的汇聚可以选择调度方式(ESB/ETL)来实现,通过调用ESB中的Timer、Http流程及Rest服务或者使用ETL中的任务job和转换transformation进行数据处理、以及Flume和Sqoop等工具,实现实时采集、数据调度,完成数据的采集、转存、汇聚、填充,实现业务系统到ODS、ODS到DW的过程以及ODS到MDM的数据交互等。
3.5 分析配置
大数据分析中的分析配置是为大数据分析展现而配置的,泛指导航配置、菜单配置、页面配置等,主要配置页面的展现内容及展现形式,例如:展现哪些数据、以什么样式的图表进行展现等,通过选择分析模型以及相应的数据,与组件结合形成组件实例,为企业领导层级业务层的决策提供数据分析。
3.5.1 导航菜单
导航菜单配置主要根据领导层级与业务部门层级的不同,配置对应的导航,每个导航能够通过选择主题,配置整体的布局样式,在同一个导航下通过创建不同的菜单实现对页面的统一管理。通常根据公司业务与领导层的区别,分别提供不同的导航,如:董事会的公司决策导航、总经理、副总经理的业务分析导航、部门经理的部门决策导航等,在每个导航中可以进行主题、布局、个性主题等基本信息。
3.5.2 页面配置
页面配置主要对大数据分析平台系统的主题进行管理,根据用户实际需求对主题进行配置管理,设置页面的整体样式,如:背景颜色、页面大小等,为最终用户提供数据展现,配置后的页面支持在手机端、PC端使用,宽度自适应,自动进行页面大小的适配。页面配置在每个容器内通过选择分析模型和数据立方体获取相应立方体的配置信息,指定立方体内相关的指标行和列,从而形成多维的数据表格,根据组件管理中配置的组件构成动态的组件实例完成页面的配置。
3.6 数据展现
数据展现主要将转换汇总后的数据以可视化的形式直观的展现在用户面前,相比传统使用表格或文档展现数据的方式,大数据分析中的展现形式根据不同行业的业务场景更具有多样化、丰富化,同时包括自定义指标、表单查询等功能,可以满足用户不同的展示和分析需求。
3.6.1 业务主题
面对不同行业的业务领域,从企业决策和运营管理需要出发,以企业的实际需求为切入点,梳理业务流程,构建不同的业务分析主题,通常有财务主题,对项目损益、利润、现金流量、应收账款等指标进行分析;运营主题,对节点计划完成对比、销售目标达成、关键节点完成等指标进行分析;人力主题,对人工总成本、薪资福利成本、人员变动率等指标进行分析;营销主题,销售业务、货值、价格、客户特征等指标进行分析。
3.6.2 交互方式
大数据除饼图、柱状图、折线图、气泡图、面积图、省份地图、词云、瀑布图、漏斗图等酷炫图表展现形式之外,还具备多种交互方式。例如:行列转置,将行列维度互相切换以便于进行数据分析;钻取联动,支持图表的多层级钻取,以层层穿透钻取的方式,使用户利用数据推动决策。同时,在交互方式上针对用户的操作方式、习惯,模拟推算用户的分析习惯,提供更友好、更具有针对性的交互服务。
4建设意见
4.1 统筹规划
企业的信息化建设并不是一步到位的,而是需要统筹规划分步实施的,大数据平台的构建所属于企业整体信息化建设中的一部分,所以在构建之前,必须要规划出一个清晰的整体架构,这样才能保证业务流程相互运转、信息化系统合理支撑、构建步骤有条不紊,逐步深入推进。
如上图所示,企业信息化统筹建设通常分为四个阶段,分别为系统集成期,进行SOA综合集成整体规划,搭建统一平台框架、构建集成标准规范,为后续集成奠定基础;数据治理期,对数据统一治理的同时结合数据展示工具,实现企业内部决策分析;流程管控期,深化数据集成、应用集成,打通企业整体业务流程,全面实现大数据决策分析;价值上升期,企业信息化价值得以彰显,并不断为企业带来利益,通过持续的迭代推进,支撑后续新技术引进,引领企业信息化时代的同步发展。
4.2 结合业务
无论是做产品还是做项目,理解深度决定应用深度,应用深度决定价值高度,大数据分析项目也是这样,若想基于大数据分析结果为企业带来价值,必定要贴近业务,不做无本之源。如果不重视业务间的差异化,不从自身业务角度去考虑规划,很难保障大数据建设项目顺利推进。
无论对企业来说还是对实施方来说,大数据分析项目的重点在分析配置、效果展现,但难点在业务梳理、逻辑关系。根据上述情况一般分为三步:首先,通过全面的需求调研和评估,将业务需求整理并转化成数据分析中需要解决的问题,进行罗列;之后根据需求间的逻辑关系,进行常规的数据治理、数据建模、分析建模、主题配置等工具;最终进行数据分析的展现,为企业带来真切的价值。在大数据分析建设的道路上,企业需要依托专业的、有实力的厂商团队,从业务开始梳理,理清部门间、系统间业务关系,谁与谁交互、谁用谁的数据、彼此之间的流转、联系等,之后进行总结、推演、扩展,最终形成可落地、易推行的实现方案。
4.3 步骤明确
大数据分析技术的引进的确能为企业带来决策分析上的支持,但并不是所有企业都适合,如开头所阐述的治理前提一样,必须具备一定的条件,不能本末倒置为追赶形势而构建大数据分析平台。通常情况下,对于大数据平台的建设是分阶段进行的,如下图所示,灰色部分为企业既有的信息化现状,在此基础上进行大数据阶段建设。
初期进行企业信息化中较为基本的建设,即基础数据治理、异构系统整合、门户平台搭建、数据门户搭建,为大数据分析平台奠定基础环境的同时,以数据不落地的形式完成企业内部系统间简单的决策分析;第二阶段加强数据治理、数据集成、深度应用集成建设,扩大数据治理范围,构建企业数据分析平台、数据仓库,实现数据在企业范围内的流转,并将数据分析结果以多种方式展现;最后全面实现大数据分析平台建设,实现企业上下游、内外部数据联动,决策分析。
4.4 顺势而为
IT时代新技术、新理念、新平台不断出新,同样对于大数据建设,盲目追新显然不可取,构建不得力,荒废或调整的成本远超于建设成本,一定程度上会造成企业对大数据治理效果的怀疑及浇灭对IT建设的积极性,要保持理性,顺势而为,在进行大数据治理前首先要考虑企业的IT现状及当前业务发展阶段,在确定与当前业务的适用性、可行性;使用产品的稳定性、扩展性;保证方案的专业性、安全性之后再去考虑建设,分阶段逐步进行更行之有效。
虽然有些企业当前并不具备大数据分析建设的条件,但不影响其对大数据的规划和前期的准备,信息化建设是必不可少的,后续会进行讲解,这里不做多余赘述。除信息化支撑之外,管理者的建设意识、重视程度及全体员工对大数据建设的支持也是必不可少的,培养一种将数据思维、分析意识融入公司的文化、体系建设之中,摆脱依靠直觉与经验,确保后续大数据建设开展。
如果觉得《大数据治理之我见》对你有帮助,请点赞、收藏,并留下你的观点哦!