MPP

<< Click to Display Table of Contents >>

当前位置:  数据集市 

MPP

Previous pageReturn to chapter overviewNext page

永洪 Z-Data Mart 是基于自有技术研发的一款数据存储、数据处理的数据集市产品。针对客户需要处理需求数据的量级不同, IT 系统架构的不同和存储系统的不同,提供了两种解决方案供客户选择一种本地模式,一种是 MPP 模式。当需要处理的数据量级别处于 TB 级以下,或者采用普通存储结构,或者单机已经足够满足性能需求,我们建议用户选择我们的本地模式。当面对异构数据库存储系统,需要处理的数量级别在 TB 级和 PB 级及以上,或者 IT 系统和存储系统采用分布式,或者需要 MPP 模式才能满足性能需求,基于分布式架构的并行处理模式更适合客户的需求。

她完全摒弃了向上升级 (Scale-Up),全面支持横向扩展 (Scale-Out)。

clip1468

跨粒度计算 (In-Database Computing)

Z-Suite 支持各种常见的汇总,还支持几乎全部的专业统计函数。得益于跨粒度计算技术, Z-Suite 数据分析引擎将寻找出最优化的计算方案,继而把所有开销较大的、昂贵的计算都移动到数据存储的地方直接计算,我们称之为库内计算 (In-Database)。这一技术大大减少了数据移动,降低了通讯负担,保证了高性能数据分析。

并行计算 (MPP Computing)

Z-Suite 是基于 MPP 架构的商业智能平台,她能够把计算分布到多个计算节点,再在指定节点将计算结果汇总输出。 Z-Suite 能够充分利用各种计算和存储资源,不管是服务器还是普通的 PC,她对网络条件也没有严苛的要求。作为横向扩展的大数据平台, Z-Suite 能够充分发挥各个节点的计算能力,轻松实现针对 TB/PB 级数据分析的秒级响应。

列存储 (Column-Based)

Z-Suite 是列存储的。基于列存储的数据集市,不读取无关数据,能降低读写开销,同时提高 I/O 的效率,从而大大提高查询性能。另外,列存储能够更好地压缩数据,一般压缩比在 5 -1 0 倍之间,这样一来,数据占有空间降低到传统存储的 1/5 到 1/10 。良好的数据压缩技术,节省了存储设备和内存的开销,却大大了提升计算性能。

内存计算

得益于列存储技术和并行计算技术, Z-Suite 能够大大压缩数据,并同时利用多个节点的计算能力和内存容量。一般地,内存访问速度比磁盘访问速度要快几百倍甚至上千倍。通过内存计算, CPU 直接从内存而非磁盘上读取数据并对数据进行计算。内存计算是对传统数据处理方式的一种加速,是实现大数据分析的关键应用技术。