部署单机版数据集市系统

<< Click to Display Table of Contents >>

当前位置:  数据集市 > MPP > 集市部署 

部署单机版数据集市系统

Previous pageReturn to chapter overviewNext page

做一个大体的估计:假设单机是一个 2 路 10 核 CPU,内存 32G 的 PC Server,可以支撑 500G 的数据,差不多 3 亿条数据。由于各个行业的数据特点不同,估算因子需要相应调整。

选择好机器硬件,按照安装说明,将永洪数据集市软件安装到操作系统中。安装时选择本地数据集市的安装步骤。如果安装时参数设置有误,可以打开bihome下的相关文件来修改参数。

这里列举几个必须参数设置加以说明,这些参数包括配置命名节点的元数据文件地址, 子节点的元数据文件地址, 子节点存储物理文件的目录,以及本机IP。

dc.fs.naming.paths=c\:/bihome/cloud/qry_naming.m

dc.fs.sub.path=c\:/bihome/cloud/qry_sub.m

dc.fs.physical.path=c\:/bihome/cloud

dc.io.ip=192.168.1.99

还有两个参数需要特殊考虑下。可以手动到本地配置文件中修改。

mem.serial.mem=10240

mem.proc.count=12

这是安装当前机器配置的。 12 个线程可调度。分配给内存用来装数据的内存为 10G。

另外,在安装时需要考虑给 JVM 所分配的内存大小。在当前环境下,如果没有其他 service 占用资源,可以分配 31G。安装时可以输入 31744。 JVM 的内存大小必须大于装载数据的内存块大小,起码要大于 700M。

安装完,请确认把访问权限给安装包,如果是 linux 下,最好以超级用户的身份来启动程序。