《基于数据仓库与数据挖掘的业务创新新实践》——永洪科技服务副总裁贺新颖

2017.11.23 / View:

首先感谢金坛各位领导、嘉宾到场参加永洪的大会,我今天也很开心作为一个新人和老人,跟大家分享一下我之前跟现在正在做的一些基于大数据分析与挖掘做的技术创新。为什么说新人又是老人呢?作为新人我是10月份刚刚加入永洪,作为老人是之前的一些从业经验和经历,让我有幸跟一些业内知名的厂商和合作伙伴一起参与了数据仓库与数据挖掘的业务创新。

    今天我的分享的主题主要从三个方面来讲,第一块我可能先跟大家分享一些之前的不同垂直行业的创新案例。第二部分会着重跟大家分享汇报一下永洪相关的这些解决方案,包括产品跟服务。最后是永洪在某一个垂直领域的一些成功案例分享。

    首先看案例一,视频与线上购物,这个当时是跟一家视频网站还有线下的超市做了一个业务创新,具体一个场景。小王之前是从来不看这种厨艺视频的,她为了谈恋爱现在开始学做饭,有一天中午小王正在看土豆炖牛肉视频的时候,她突然发现屏幕下方给她推荐了一个二维码,扫二维码购食材送货上门,她拿手机做了一个扫码,迅速弹出了订单和支付信息,她快速下单,然后在傍晚的时候她就收到了从线下超市发来的食材。然后她同时完成这次购物体验的时候,视频网站也给她送积分的回馈,她的积分可以在下次视频订购的时候享用,小王很满意本次的购物体验,她给视频网站上做了点赞,也跟其他的顾客分享了购物体验。

    我们可以注意到在这次的场景下面有三个非常有意思的现象,首先是视频网站它基于小王的历史消费行为给她划了标签,之前她是不看这种,她不是厨艺的爱好者,那么当第二她的消费行为发生改变的时候,能够迅速实时把她行为的改变识别出来,因为当一个人的消费行为发生改变的时候,是给她做促销的结构点。第三点她正好在看视频的时候,能够实时触发线上的精准营销,跟线下超市合作,可能把她需要和感兴趣的购物信息推送给她,最终完成了订单的转换。

    然后看第二个案例,精准养老与医疗。那么现在这种大数据这种精准养老在社区和一些新的物业在逐步开展,在这个案例里面,老人通过APP方式订单了养老服务,那么他同时也可以佩戴一些穿戴的设备或者是血压计,可以通过订单的服务按时的把自己一些健康信息传送给社区服务站或者医院,某一天他突然感觉不舒服了,他就按一下贴在自己床头的紧急按钮,社区医生会迅速收到求救信息,她可以打开视频查看老人的状况,同时她可以跟老人进行直接的互动,老人的不舒服是非常紧急的还是说可以暂时做一些缓解。

    与此同时社区的这种服务人员,他会把老人本次的求救信息跟他历史的一些健康数据的信息,历史病情的信息快速得到获取跟甄别,他可能会说视老人病情的紧急程度,向相关的救护车或者社区的医院服务人员进行帮助,比如把老人送到医院做救治。社区医生在做诊断的时候,可以把老人订购社区养老以来所有历史的健康数据跟他近阶段自动生成的分析报告,可以作为他做这次及时的参考书。

    我们再看第三个案例,Ibeacon,Ibeacon是苹果推出的一个共享跟互动的相关设备机制。一个人拿着苹果手机打开蓝牙经过有Ibeacon商店的时候,Ibeacon会把这个产品的信息发给他。我这边有一个小视频,视频没法播放,他经过商店门口的时候会收到一个手机的促销信息,那这个很好玩,因为他对商家而言,他可以基于后端的大数据分析,然后可以帮助商家提供一些在商铺里面的选址建议,他可以根据这些用户来往的一些行动和行为的一些分析,推荐出一些最值得上架的一些产品,并且能够针对客户的历史过往购买行为,可以制定折扣的分析。同时他也可以比如说他跟相关的停车场,跟其他的一些卖不同商品的商户,建立一种智能商圈的新的方式,对顾客而言,首先他的购物体验得到了,他线下购物的时候,他的购物体验得到了很好的改善跟保障,或者至少是满足了他的一些新鲜感。另外他也可以享受到一些实惠的折扣。

    我们再看第四个案例,这是运营商里面做智能网络规划与投资,在运营商里面网络的投入非常大,尤其是做4G网络的铺设和优化,4G网络的建设可能是几十、上百亿的投资,网络的建网之后的规划也会占用它的上千万跟上亿,运营商以往在做网络规划的时候,是根据他信号的覆盖和上下层的速率去做改善和规划,但是这样一来他不好对他的LY投入产出比做一个估算。因为信号差的地方不一定是人流量多的地方,信号差和人流量大的地方,不见得是他收入提供占比高的地区。所以运营商他有了大数据的平台跟数据分析跟挖掘的分析之后,他可以不仅仅是基于网络的覆盖跟速率,他可以联合区域的这种人均值,每个月的贡献收入,每个月使用数据流量的大小,每个月打电话的时长,以及网络的净推荐值综合来考量,他怎么在一个地方做更好的规划。

    做完了规划之后,因为结合收入的指标,他可以对他做一个LY比较准确的预算,他知道大概多少年之后可以把投资收回来,也可以在网络规划和优化之后,对高价值的用户做一个很好的保证跟洞察。同时发现有流失情况的时候,他可以做一个提前的干预,包括做一些产品的促销。

    我们看一下案例回顾,具体到第一个案例,做这种线上跟线下这种实时的营销时候,我们回顾一下后台的这些大数据系统,怎么跟前端的精准营销的系统做一个互动。首先是说日常的这种经营状况中,一些准时式的数据会从生产系统的社交渠道信息,然后会经过这种准实时的ETL,最终通过我们数据仓促的内存计算包括传统数据库的数据集市的建立,为每一个用户建立相关的经过数据挖掘之后数据用户标签或者叫用户的画像。

    那么当用户的这种消费行为发生改变的时候,他能够快速的从B域和O域的数据了解他的使用行为的变化,能够把这些数据实时推送给实时出发的单元,这个实时出发的单元马上可以跟订单引擎和支付引擎去做交互,最终迅速的帮客户是从消费行为转变到他的点击,到他最终形成订单完成支付,以及完成线上购物体验的这么一个过程。那其实说白了就是说我们要做市场精准营销的时候,就是要在正确的时间通过的正确渠道把正确的信息传递给正确的人,这步我们可以看到整个流程下来,那帮助厂商,帮助客户不管是视频的内容提供给客户,还是说线下购物的超市,我们都要说帮他建立一个可以能够实时处理和触发这种不同数据源信息的这么一个仓库,在这样的数据仓库里面,我既可以做到一线的数据挖掘,也可以通过商店这种框架,去帮他完成实时的消费行为的分析跟事件的触发。

    我们再具体看如何用数据运用去创新智慧运营,其实前面提到了四个例子,都跟我们的客户这种智慧运营相关,其实从前面的四个例子不难看出,我们对大数据仓库平台与数据挖掘算法的一些期望和要求,可以总结为五条,就是实时性要求要高,数据的共享能力要强,要跟不同的数据源以及上层的应用系统有非常良好的这么一个数据通道,然后第三块就是说自主分析要快,具体的业务人员当他有比较好的一些想法跟理念的时候,他能够快速的基于这些自主分析,可以完成他的从数据挖掘到最终这种实施营销方案形成的能力。另外一个就是说系统的耦合性要低,因为在一个大型的企业里面,可能有成十上百套的系统,在做数据仓库的时候,我们要保证这些数据采集、处理和存储的模块,方便它跟不同的数据厂商和应用系统厂商做相关的集成。

    另外一个就是说它最终是为业务服务,用户的客户体验一定要好,他可以把用户使用过程中的信息及时采集回来,并且能够分析和反馈做一定的评分,这样涵盖了说他从做售前的营销方案到正式的做市场营销以及营销优化,以及在做营销过程中的这种实时数据的一些反馈和总结,一直到最后一个环节的持续优化,都能够提供相应的支撑能力。

    我们看在垂直行业一些应用,今天上午我很多同事已经分享了我们在不同的垂直行业领域的一些应用,不管是大数据挖掘还是人工智能还是数据治理,最终是为不同行业的垂直行业里的应用做服务。

    举个例子在金融行业,在金融行业在做客户挽留的时候,因为有的数据仓库的能力跟功能强大的数据挖掘能力,我们可以把流失率降低10%以上,对风险控制的欺诈交易的识别准确率提升有五倍以上的提升,包括对最终用户的这种推荐有提升,这些都是实实在在帮助客户和最终用户,体现了他内部的效率提升和对新业务新的支持。包括在零售行业,对这种商品的销售的预测,包括对刚才提到的第三个案例中的智能定价。还有第四个分享案例中的电信运营商,刚才案例里介绍的是这种网优和网规的,实际上在现在很多国内外运营商做数字化转型的时候,帮助他们提供一些广告平台,然后一些风控产品,包括一些智慧客服,都可以在这些具体的垂直领域里面有不同细分场景帮他们提供一定的支持。

    那么第二部分我们想跟大家分享和汇报一下永洪在数据仓库、数据挖掘跟数据治理这方面的一些解决的产品跟方案,还有相关的服务。这个PASO型,今天上午很多同事也都介绍过了,平台、应用、服务和运营的四大能力是缺一不可。

    我们具体看一下永洪大数据治理平台的架构,它是按照这种数据采集适配,高性能计算,分布式计算框架,包括海量的存储,基于信息的数据挖掘,统一的元数据管理,数据共享,以及行业客户用例,由这么五层来组成。我们可以看到一个很重要的特征,这五层中不同的模块都是基于这种Slorage方式,既可以统一部署也可以按需按模块部署,在存储层这个里面,我们既可以支持传统的关系型数据库的搭建,也可以支持非数据化仓库的搭建,还有两者混合的架构都可以支持。

    另外一种我们在具体的行业应用的时候,你客户用力或者叫主体模块的方式对外进行服务,服务的种类主要分为,从数据的初始到格式化展现,到第三步的决策干预,以及未来的基于经济算法对未来数据的一些预测都可以做到。

    我们也提供了这种比较丰富的对外围系统的一些集成和实施共享的一些能力,这支持这种结构化和非结构化,以及媒体的适配分析。

    逻辑架构这块分为八层,其实我刚才大致做了一些介绍。这里我想着重讲一下我们在元数据跟数据质量与安全方面,技术跟能力上面的一些加强。比如说元数据管理,我们认为最终用户他想实现这种非常应用,非常灵活的这种自主化分析的时候,他必须有这种比较强大的这种元数据管理的支持能力,能够知道他的数据转发跟挖掘之间相互依赖的关系。另外在数据质量与安全保障方面,随着国家相关法律法规的一些颁布,国家对这种用户的隐私数据的保护,要求也是在逐渐提高。那我们又按需可以对客户的数据,比如说它的敏感的生日信息,身份证号,可以做相关的匿名和加密,可以满足这种相关的要求。

    另外一个就是我们说客户用例,我们永洪的产品之前的AI和数据可视化产品都是跨了很多行业,不同的行业用户。这块我们可以做到说,上层用的是简单的服务调用,最终的目的是实现应用跟数据的分离,然后应用跟平台发布的这种分离,让他来做平台升级或重构的时候,上层的应用和底层的数据也会受到影响。

    另外还要特意提到一下强大的易用的机器学习算法,这里我还是以HR判断员工离职的场景为例子,HR他可以是HR也可以是支持HR的人员,把可以把公司内部系统抽取的数据,或者从招聘网站通过爬虫爬来的数据,拿来之后通过内设的比如说(英)这样的算法,一步一步经过可视化的操作,可以最终形成这种人员的离职的概率。当然如果对内置的算法不满足或者说自己想基于自己的实际做一些新的这种算法的改良,我们也支持2.0的品种。实际上就是把需要手动做的,手工重复做的那些甄别工作转变为积极学习,而且原来手工的这种方式它的差距会更好。

    刚才介绍的是产品的相关能力,我们在具体的实施过程中,也会按照之前的一些标准里面实施流程跟行业的实际案例,在不同的调研、规划、开发、测试、上线,相应的方法论来做支持。比如说我们在业务调研模块就参照了业内非常著名的Kano模型,在用户满意度跟系统具备程度这两方面做了良好的折中,去调研的时候不仅关心和在意用户现在的业务现状,更愿意去跟客户一块分析他目前的业务痛点以及他未来了一些远景目标,在这样之后我们会确立相关业务目标,再往下做需求的整理和分解以及最终的确认汇总。

    那服务对象这块我们是总结分了三类,就是我们数据仓库跟数据挖掘,那么数据的治理,三类的服务对象。第一类场景是说针对那些内部尚未建立统一的数据仓库及治理平台的客户,他们往往就是处于大数据应用的这种第一个层面,他们不知道怎么做平台的架构设计,不知道怎么去做实施,又怎么在这种项目上线之后包括他提升内部的运营效率和做业务创新。这块我们是奉行这种高效、优质、低成本的服务理念,可以为客户实现从零到一的客户实践和相关的客户服务。

    然后第二个他有数据仓库和数据治理平台,但是他认为现有的平台能力相对落后,无法满足他现在这种建设目标,不能有效匹配他未来大数据的战略和应用。在这种情况下,你比如说他可能觉得原先的平台架构不合理,业务人员或者IT人员经常要做一些重复性的工作,或者是说他的这种数据不准确,然后不同的这种数据系统跟模块之间的数据相互矛盾。那这种情况下我们永洪可以提供比较强大的数据适配和数据牵引的服务,帮助这些现有这些客户,他们把相关的数据跟业务牵引到永洪的平台和方法里面来,保证他新老数据仓库的平衡有效对接,以及新的平台的顺利运行。

    最后的一类用户是说他的仓库跟平台已经初见成效,他希望未来跟有创新能力的厂商来做合作。永洪其实除了在国内的大数据领域开始发力,以前我们是在BI和可视化相关领域做到了行业领先,最近也是在人工智能和数据治理发力,包括前一段我们刚刚被国内的知名媒体称为未来AI百强榜的第25名,非常荣幸,因为我们也是刚刚从去年年底、今年年初加大对AI的研发和投入。

    最后这一块跟大家分享一个实际的案例,这是一个物流企业,那我们在帮他们做出仓跟治理平台的项目之前,他有很多历史的业务痛点,包括他这种组织结构非常厚,他的直营、加盟店的网点,包括他的集采中心非常分散,他是倒三角的方式,总部集中管理。他的数据非常多,但是数据的准确性和及时性不能得到很好的保障,他的运营决策主要靠总部靶向的定调。

    另外一个从数据的内部系统来看,系统非常多,从供应链采购的不同的业务渠道非常多,之间的数据壁垒也非常严重,而且当他内部的业务系统成几何倍的增加,服务器从成百变成上千,每天的数据量从PD变成PB的时候,他原来的数据分析平台跟能力已经远远不能满足他做内部业务优化和创新的需求。

    那我们在帮合作伙伴一块来做的时候,我们的总体目标是说以供应链的思维来探求成本结构的优化,包括从上游的业务员,到下游的客户,都以供应链的思维来去做,包括比如说我们在上游的业务里面,缺少这种客户的有效来源,对他的这种客户群体做一些精准的定位和分析,然后帮他提高这种订单的成交率,然后再比如说做内部的,企业管理、仓库管理的时候,注重于企业员工资源共享,然后发挥这种数据的互相激励的作用,激发员工内部竞争的意识。

    这是最终我们帮合作伙伴做成了统一平台,然后需求跟主题按定制,主要从四个方面。一个是说决策者首先他的管理是可视化,更直观的可视化的方式帮助他做快速的问题的定位跟决策的制定。另外一个是说我们在管理的时候要用数据说话,及时、准确地完成这种360度的统一视图,对于不同的区域仓库提出对它的周转率和存储成本的预测。最终是说帮助客户有效的提高他的仓储利用率,客户的中转率,他仓储的运营成本,并且能够在运营的过程中持续的帮他去优化他供应链的结构。

    今天这个主题分享就是上面这么多,感谢今天各位到会参与分享,谢谢大家!

 

永洪BI
更敏捷、更快速、更强大

申请试用
Copyright © 2012-2023开发者:北京永洪商智科技有限公司版本:V10.0
京ICP备12050607号-1京公网安备110110802011451号 隐私政策应用权限