部署MPP多机版数据集市系统

<< Click to Display Table of Contents >>

当前位置:  数据集市 > 集市部署 

部署MPP多机版数据集市系统

Previous pageReturn to chapter overviewNext page

假设 4 个节点的集群,机器配置也是 2 路 10 核 CPU,内存 32G 的 PC Server,可以支持 1TB 左右数据的实时分析。由于各个行业的数据特点不同,估算因子需要相应调整。

一个分布式数据集市系统中只能有,一台机器做 Naming,可多台做 Map,可多台做 Reduce,也可以支持多台 Client。一台机器可以是多种类型的组合。用户可根据机器的数量,配置和数据访问量等指标来考虑定义各机器的节点类型。

例如:在当前情况下,采用 1 台做四种角色,另外 3 台只做 Map 节点。对于做四种角色的那台机器,可以选择配置比其他稍微好一点机器。安装永洪软件时,勾选 MPP 多机版数据集市,并复选四种角色。按照说明填好必选参数。在其他 3 台上也安装永洪软件,勾选 MPP 多机版数据集市,并勾选 Map 节点的角色。

另说明命名节点也可以做到冷备份。

dc.fs.naming.paths=c\:/bihome/cloud/qry_naming.m;\\192.168.2.99/bihome/cloud/ qry_naming.m

这里用 “;” 来分隔两个不同路径下的元数据文件,如果当第一台宕机并磁盘损坏, 可以很快通过手动方式把第二台上的元数据信息获取,并启动一个新的命名节点。

安装完,请确认把访问权限给安装包,如果是 linux 下,最好以超级用户的身份来启动程序。

将所有机器节点启动后,即可按照使用文档的说明来提取数据并分析数据。