硬件要求与常见配比关系

<< Click to Display Table of Contents >>

当前位置:  数据集市 > MPP > 配置要求 

硬件要求与常见配比关系

Previous pageReturn to chapter overviewNext page

硬件要求

入门级服务器数台到数十台。每台服务器内存 32G 以上, CPU 4 Processor 以上,独立硬盘 1TB 以上,千兆或万兆网卡。

集市搭建后,可以做到热插拔的方式横向扩展。

 

常见配比关系

 

每个CPU Core 可以承担2000万行数据的实时计算。

描述

按每条数据1000 Byte 计算,2000万条数据差不多是20G的原始数据,假设20G原始数据的压缩比为1/3,而内存装载的数据是1/3,内存里的数据差不多是2G。

越多的CPU,系统性能越好。

描述

在MPP数据集市上,CPU的扩展与性能的改善,基本上是线性相关的。由于急于内存计算,需要内存配合。

计算CPU时,还需要考虑到并发量。

描述

在线用户数的多少、以及在线用户提交的并打查询的多少,对CPU和内存的要求也会不同。我们需要求出每秒执行的查询数,才能估算出并发量对CPU和内存的要求。一般来说,并发的查询需求也会轻微上升。业界估算的公式一般是每个并发在原有基础上追加大约5%的内存和CPU。

充足的内存可以减少数据交换,对性能的提上也有帮助。

描述

每个系统的热数据量不一定,有的是1/5,有的是1/3,有的是1/10。当内存足够多,所有的热数据都保存到内存,在这之后再增加内存,对系统的性能就没有太大的作用了。

一般情况下,原始数据与内存量的比率可以定义为10:1,而原始数据与CPU Core的比率可以定义为20G:1.这样的配置情况下,查询速度可以达到秒级响应。

描述

1T的数据量,需要100G内存,50个CPU Core。可考虑如下配置:四台2通道PC Server,每台2个CPU,且每个CPU有6 Core,每台内存24G。

500G的数据量,需要差不多50G内存,24个CPU Core。可考虑如下配置:三台2通道PC Server,每台2个CPU,且每个CPU有4 Core,每台内存16G。