<< Click to Display Table of Contents >> 部署单机版数据集市系统 |
做一个大体的估计:假设单机是一个 2 路 10 核 CPU,内存 32G 的 PC Server,可以支撑 500G 的数据,差不多 3 亿条数据。由于各个行业的数据特点不同,估算因子需要相应调整。
选择好机器硬件,按照安装说明,将永洪数据集市软件安装到操作系统中。安装时选择本地数据集市的安装步骤。如果安装时参数设置有误,可以打开bihome下的相关文件来修改参数。
这里列举几个必须参数设置加以说明,这些参数包括配置命名节点的元数据文件地址, 子节点的元数据文件地址, 子节点存储物理文件的目录,以及本机IP。
dc.fs.naming.paths=c\:/bihome/cloud/qry_naming.m
dc.fs.sub.path=c\:/bihome/cloud/qry_sub.m
dc.fs.physical.path=c\:/bihome/cloud
dc.io.ip=192.168.1.99
还有两个参数需要特殊考虑下。可以手动到本地配置文件中修改。
mem.serial.mem=10240
mem.proc.count=12
这是安装当前机器配置的。 12 个线程可调度。分配给内存用来装数据的内存为 10G。
另外,在安装时需要考虑给 JVM 所分配的内存大小。在当前环境下,如果没有其他 service 占用资源,可以分配 31G。安装时可以输入 31744。 JVM 的内存大小必须大于装载数据的内存块大小,起码要大于 700M。
安装完,请确认把访问权限给安装包,如果是 linux 下,最好以超级用户的身份来启动程序。