<< Click to Display Table of Contents >> 数据集市复制链接 |
工业革命之后,书籍等以文字为载体的知识大约每十年翻一番。1970年以后,知识大约每三年就翻一番。如今,全球信息总量每两年就翻一番,2010年互联网的数据量,比之前所有年份的总和还要多。
现在,人类每天产生数以PB的数据。在互联网、电子商务、生产制造、交通、物流、金融、保险、医疗卫生、地理信息、政府机构等行业,每天都在创造着大量的数据。大数据正在成为从工业经济向知识经济转变的重要特征,且已经是新时代最关键的生产要素和产品形态。
其中,Google、Yahoo、Facebook等公司正成为这场变革的推动力量,同时新企业也层出不穷。然而,在商业智能(BI)领域,AsterData、Greenplum、Vertica等公司刚刚卓然而生,便被传统IT巨头EMC、IBM、HP等公司收入囊中。经过对这些新生公司的大数据技术进行消化和整合之后,传统IT巨头们迅速推出了各自的大数据产品和服务。
数据库时代之后,随着可用数据的持续积累,各行业的领军企业逐步开始了数据价值的发现之旅,这一阶段的商业智能系统,一般是以数据仓库+OLAP为主。一般的传统数据仓库能够存储大数据,但并不提供针对大数据的分析和统计功能,所以,在开发OLAP这种数据应用时,需要用户预先提出分析和统计的需求,然后再预先计算好这些主观的分析及统计的结果后,才能确保OLAP系统的实时交互能力。然而,数据仓库+OLAP这一组合有着其先天的缺陷,即在终端用户眼中也许是一个微小的变更,却可能需要很长的响应周期才能完成。
行业内企业整体经营管理水平的持续提高,竞争态势的不断加剧,对每个企业,尤其是领军企业带来了巨大的挑战。为了能很好地应对这种挑战,保持行业优势地位,企业对商业智能系统提出了更高的要求。永洪认为直接导入细节数据的这一数据建模技术,将数据和应用之间的关系从紧耦合改造成松耦合,让大多数分析应用不引起数据层的任何改变,而基于MPP架构的商业智能系统,能够直接对细节数据进行高性能分析。这样一来,用户可以快速开发出数据应用,并随时进行实时分析。建设随需而变的发现型、自服务商业智能系统。
全新升级的永洪高性能计算引擎(VooltDB)是一款包含数据存储和数据处理的数据集市产品。针对客户需要处理需求数据的量级不同,IT系统架构的不同和存储系统的不同,提供了两种解决方案供客户选择,一种是单节点模式,一种是集群模式。当需要处理的数据量级别处于TB级以下,或者采用普通存储结构,或者单机已经足够满足性能需求,我们建议用户选择单个VooltDB节点即可。当面对异构数据库存储系统,需要处理的数量级别在TB级和PB级及以上,或者IT系统和存储系统采用分布式,或者需要集群模式才能满足性能需求,基于分布式架构的并行处理模式更适合客户。部署参考高性能计算节点部署。
老的高性能计算引擎(MPP)请参考V9.3帮助中心数据集市->MPP部分。