数据集市

<< Click to Display Table of Contents >>

当前位置:  »当前无上一级«

数据集市

Previous pageReturn to chapter overviewNext page

工业革命之后,书籍等以文字为载体的知识大约每十年翻一番; 1970 年以后,知识大约每三年就翻一番;如今,全球信息总量每两年就翻一番; 2010 年互联网的数据量,比之前所有年份的总和还要多。

现在,人类每天产生数以 PB 的数据。在互联网、电子商务、生产制造、交通和物流、金融和保险、医疗卫生、地理信息、政府机构等行业,每天都在创造着大量的数据。大数据正在成为从工业经济向知识经济转变的重要特征,已经成为新时代最关键的生产要素和产品形态。

Google、 Yahoo、 Facebook 等公司正成为这场变革的推动力量,同时新企业也层出不穷。在商业智能(BI)领域, AsterData、 Greenplum、 Vertica 等公司刚刚卓然而生,便被传统 IT 巨头 EMC、 IBM、 HP 等公司各自收入囊中。经过对这些新生公司的大数据技术进行消化和整合之后,传统 IT 巨头们迅速推出了各自的大数据产品和服务。

数据库时代之后,随着可用数据的持续积累,各行业的领军企业逐步开始了数据价值的发现之旅,这一阶段的商业智能系统,一般是以数据仓库 +OLAP 为主。一般地,传统数据仓库能够存储大数据,但并不提供针对大数据的分析和统计功能,因此,在开发 OLAP 这种数据应用时,需要用户预先提出的分析及统计的需求,再预先计算好这些主观的分析及统计的结果,才能确保 OLAP 系统的实时交互能力。然而,数据仓库 +OLAP 这一组合有着其先天的缺陷,在终端用户眼中也许是一个微小的变化,却可能需要很长的响应周期。行业内企业整体经营管理水平的持续提高,竞争态势不断加剧,这对每个企业尤其是领军企业带来了巨大的挑战。

要很好地应对这种挑战,保持行业优势地位,企业对商业智能系统的提出了更高的要求。永洪认为直接导入细节数据的这一数据建模技术,将数据和应用之间的关系从紧耦合改造成松耦合,让大多数分析应用不引起数据层的任何改变;而基于 MPP 架构的商业智能系统,能够直接对细节数据进行高性能分析。这样一来,用户可以快速开发出数据应用,并随即进行实时分析。建设随需应变的发现型、自服务商业智能系统。