解密：如何高效实现数据优化，提升数据分析效能与价值?

本文来自永洪科技售前总监 | Felix

所谓“工欲善其事，必先利其器”，在数据分析大行其道的今天，如何高效实现数据优化，提升数据分析效能与价值，成为企业IT部门面对的重要课题之一。

小张的麻烦

小张是一家公司的IT部门员工，负责公司信息系统运维管理。今年年初，公司为了实现数据化驱动转型，将数据价值最大化，斥资购置并搭建了一套数据分析系统，希望能够从公司各部门产生的大量业务数据中获得更大的增长空间。

系统上线之后，小张工作变得愈发忙碌，除了需要频繁督促部门人员的业务数据录入之外，还要通过系统对业务数据进行分析整理，查看可能存在的问题和业务改进的空间。小张相信，这些数据中蕴含着改进业务的巨大价值。

然而随着系统运行，小张发现，数据分析的结果中，存在一些莫名其妙的问题：

• 生产流程的平均时长比完成所有流程总共的时间还长；

 

• 原材料采购占比最大的省份占比居然只有个位数；

 

•  员工男女比例严重失调；

        ……

经过仔细查找后，小张发现系统所用到的部分数据源中的原始数据没有经过充分的准备处理，存在大量无效数据甚至垃圾数据，导致分析结果存在巨大的差异，以至于完全无法使用，例如：

• 生产部门人员忘记录入流程的结束时间，导致生产流程时间记录大大延长；

 

• 省份信息录入名称不统一，“北京” 、“BJ”、“Beijing” 等信息混录，被识别为不同省份；

 

• 性别信息以数字1、0录入，未录入信息因空值被补记为0，导致女性员工统计数量大幅增加；

       ……

小张不得不通过各种方式手动修改这些数据，再加上不断增加的数据分析与报表任务，工作压力越来越大，小张也被搞得焦头烂额。

当然，小张遇到的问题只是许多数据治理问题的缩影。事实上，在构建数据分析系统的过程中，IT人员会面临更多、更复杂的数据问题，而这也是企业构建数据体系时，不得不面对的重要课题。

(一）“脏”数据

对于数据分析系统而言，数据的录入往往存在或多或少的不规范性，如重复记录，遗漏的空值，明显不合理的异常数值、未根据相应指标改变的参考值等情况，这种数据一般被称为“脏数据”。 数据处理过程中常见的“脏数据”主要有以下几类：

1. 数据重复：出现多条相同记录，且往往出现的复杂情况是记录不完全重复，例如：两条记录，仅有地址信息不同，而其余值完全相同。

 

2. 关键数据缺失：缺失部分数据记录，或记录里存在空值，或两种情况并存。如果有空值存在，为了不影响分析准确性，一般或者不将空值纳入分析范围，或者选择用平均数、零或等比例随机数进行填补进行补值。如小张所在公司的数据系统，对于未正常填写的生产流程完结时间一律按照夜间24点进行填补，因而产生生产流程超长的情况。

 

3. 数据错误：数据没有严格按照规范记录。这种情况一般包括异常值（超出正常区间的数值），格式错误（如日期格式录成字符串）或数据不统一（如北京记录成北京、BJ或Beijing）。

 

4. 无法关联：数据正确，但不可用。这种情况常见于字符串，如地址“北京海淀中关村”记录在同一字符串中，无法将“海淀”这一具体城区级别拆分出来，导致无法分析城区数据。

这些数据如果不进行整理就直接进行分析，会对分析的结果准确性与价值产生很大影响，正如文章开头小张面对的问题一样。

在完整的数据分析体系中，一个很重要的环节叫做“数据准备”，其目的就是对“脏数据”进行相应的“清洗”，减少或避免这些数据对分析结果可能产生的影响，最大化数据分析可以提取的数据价值。

（二）如何“清洗”数据：手洗vs机洗

数据准备并非一个新鲜的概念。在IT部门仍然是企业数据分析核心部门的时候，数据准备就一直是IT部门最重要的数据处理任务之一。根据不同的数据问题类型，IT人员需要对数据系统制定不同类型的处理策略，甚至手动处理部分数据。

在传统数据分析系统中，这一工序通常由IT人员通过不同类型的数据处理工具，或者编写大量的SQL加工逻辑完成，繁琐复杂，耗时耗力。在数据分析的整个过程中，数据准备有时会占到整体流程时间的70%以上，严重降低了IT部门的工作效率。

同时，传统数据分析系统过度依赖IT部门，从数据准备到报表生成都要依靠IT部门执行，使其迅速成为数据分析流程的“瓶颈”。这种通过IT部门“手洗”数据的过程，会因为各业务部门的大量数据业务堆积，加剧IT部门的“数据瓶颈”效应，影响整个数据分析流程的进度与企业对数据价值的应用效率。

随着以永洪为代表的大数据平台的使用不断深入，帮助IT和业务人员降低了数据分析门槛 ，将数据分析能力从IT部门辐射到更多业务部门中，数据准备成为为数不多仍需IT部门集中参与的数据分析流程之一，这一瓶颈地位愈发凸显。简化数据准备过程，将IT部门从重复性的繁琐数据准备工作中解放出来，成为越来越多企业开展数据分析业务的核心诉求。

而对于致力于将数据分析能力赋予普通用户，让“释放数据价值，人人都是数据分析师”的永洪来说，这正是其在数据分析领域致力解决的问题之一。永洪科技在2016年11月26日举办的用户大会上正式推出的永洪一站式大数据分析平台Yonghong Z-Suite V7.0，已经无缝打通了数据分析全链条；其中的重要功能之一，就是“自服务数据准备”。

据永洪科技售前总监 Felix 介绍，永洪的“自服务数据准备”，是指通过点击、拖拽等方式，完成异构数据源间的相互关联、转化，以可视化流程的方式完成数据建模，主要功能包括： 

1. 拖拽式操作实现数据去重功能；

 

2. 缺失值填充，支持自动获取最大值、最小值、平均值及自定义值；

 

3. 尽早发现异常数据，可通过定位指标范围，快速判断数据的有效性、合理性；

 

4. 此外，Yonghong Z-Suite还有很多其他实用功能，如对数据进行分组与汇总、行列转化、日期维度拆分以及计算非工作日等；

 

5. 除以上功能外，Yonghong Z-Suite还有一个重要的特性，即能够实时将各数据节点的性能以通过连线颜色及提示信息的方式及时告知用户，从而让用户尽早做出合理预判：若连接线为黄色，表示性能较差，可能需要进行优化；如果连接线出现红色，则不建议通过此种方式实现数据关联。

举例来说，通过拖拽完成两张表单的联合如下：

数据的联合

联合之后，可以直接进行自动去重操作：

去重

之后，借助自动布局与性能检测，即可完成对不同数据节点性能的展示：

演示

Felix指出，这些功能允许IT部门在统一化大数据平台上，通过拖拽操作的方式快速构建数据准备工作，减少对于外部工具的大量适配应用与SQL语句的编写工作，以更加简便直观的“机洗”辅助完成数据“清洗”，大幅节约数据准备时间，有效减轻IT部门的“数据瓶颈”压力。而一旦数据准备工作得以高效完成，数据分析对数据价值的释放也能得到最大化的体现，“小张”们的问题也就迎刃而解了。

正所谓“工欲善其事，必先利其器”。在数据分析的过程中，通过快捷、直观、可视化的工作流方式，快速完成对数据的准备工作，发现并纠正数据问题，保证数据的一致性，不仅能够为企业节约人力与时间成本，同时对于提升数据分析带来的价值与强化企业数据驱动能力，都具有重要的意义。