MPP集市数据迁移到VooltDB

<< Click to Display Table of Contents >>

当前位置:  VooltDB数据集市 

MPP集市数据迁移到VooltDB

复制链接

1.概述

如果之前用的是MPP(老的高性能计算引擎MPP请参考V9.3帮助中心数据集市->MPP部分),想切换成VooltDB,已经入MPP集市的数据,可以通过数据迁移将其导入VooltDB集市。具体来说,就是在老的MPP集群上执行map任务将zb文件导入到新的VooltDB集群,迁移不会改变有关属性,比如之前是维度表,迁移后还是维度表。迁移完成后,物化数据集还是会保持物化状态,而集市数据集才能正常访问数据。

如果8.5.*,8.6.*,8.8.*版本升级到9.2及以上版本,并切换成VooltDB,参考方案一。

如果同版本从MPP切换到VooltDB,参考方案二。

例如:

开始用的9.2 MPP,相同的环境想切换成VooltDB。

如果9版本以上,相同大版本之间通过替换jar包升级产品,并切换成VooltDB,参考方案二。

例如:

通过替换9.0 MPP集群环境的永洪jar包(product.jar, thirds.jar, api.jar),升级到9.2。替换jar包之前需要备份bihome。

如果9版本以上,相同大版本之间通过部署新的环境升级产品,并切换成VooltDB,参考方案三。

例如:

之前用的9.0 MPP,装了一个新的9.2 VooltDB环境。

如果从8.0.*升级到9.2及以上版本,并切换成VooltDB,参考方案三。

2.方案一

通过永洪定制的jar包 + 自定义任务进行迁移。

例如:

以8.5升级到9.2为例,8.5用MPP,9.2用VooltDB

1)前置条件

装好9.2的VooltDB环境

VooltDB方案参考:VooltDB集群部署方案

VooltDB部署参考:高性能计算节点部署

将老集群的bihome拷到新集群下

登录老版本MPP集群上C节点服务器的Yonghong安装目录(数据库系统需要将存储到数据库的bihome先从数据库同步到文件系统,再拷贝到新环境的bihome下),将bihome文件夹整体拷贝到新环境的同级目录下,替换目录下的bihome文件夹。

编辑bi.properties文件,删除所有dc开头的属性(这些属性都是MPP相关配置,VooltDB不需要)。

停止原集群数据集市调度任务

登录9.0MPP集群所有C节点,打开“调度任务”页面,停掉每个节点上的作业服务。

2)获取对应版本的定制jar:migration-task.jar。比如老环境是8.5,就找永洪服务团队获取8.5版本的migration-task.jar。

3)将migration-task.jar放到老版本MPP所有节点的product路径下。

4)将9.2的bihome下的VooltDB.config文件放到老版本MPP中C节点的bihome下,可以只放某个C节点下,重启服务(此处可以将9.2上C节点Yonghong/bihome下的VooltDB.config文件放到8.5的C节点的bihome下)。

5)启动老集群和新集群。

6)在MPP的C节点上创建作业,选择自定义任务,VooltDB.config文件放到哪个节点下就在哪个节点上创建定制任务(此处需要在8.5的cnmr节点上创建定制任务),操作类输入:MigrateToVooltDBTask,默认全量迁移,如果想单独迁移某个文件夹,则点击参数后的收集按钮,出现参数folder,填入文件夹。

Migration

7)执行作业,完成迁移。

8)用新的VooltDB集群

完成上述步骤后,MPP数据迁移到VooltDB的工作已经完成。

此时可以停掉老的集群,启用新的VooltDB集群。

3.方案二

通过【管理系统>VooltDB管理>数据迁移】界面进行迁移。

例如:

以9.2的环境为例,从MPP切换成VooltDB。

1)前置条件

装好9.2的VooltDB环境

VooltDB方案参考:VooltDB集群部署方案

比如之前的集群是(C,C,N,MR,MR)5个节点,则在其中一个C上安装规划数量的VooltDB节点,比如2个VooltDB节点,VooltDB集群由(C,C,N,MR, MR)变成(C,C,VooltDB,VooltDB),参考VooltDB节点安装

停止原集群数据集市调度任务

登录9.0MPP 集群所有C节点,打开“调度任务”页面,停掉每个节点上的作业服务。

2)确保之前的集群节点(C,C,N,MR,MR)和两个新的VooltDB节点都启动。

3)进入管理系统->VooltDB管理->数据迁移页面,点击开始迁移按钮进行迁移。数据迁移页面说明参考如下:数据迁移页面

4)将MPP集群切换成VooltDB集群,即将cloud.use.vooltdb属性从false切换成true,停掉N,M,R等相关节点,重启C节点,在通过管理系统->VooltDB管理->节点管理->节点状态页面启动全部VooltDB节点。

3.方案三

通过将老的MPP集群环境替换成新版本的jar包+新安装VooltDB环境的C节点接入老的MPP集群环境+管理系统->VooltDB管理->数据迁移界面进行迁移。

例如:

9.0升级到9.4,9.4重新安装了C和VooltDB节点的集群。

1)前置条件:

停止原集群数据集市调度任务

登录9.0MPP集群所有C节点,打开“调度任务”页面,停掉每个节点上的作业服务。

数据备份

数据备份的内容和步骤和MPP版本升级一致,需要注意每个节点的数据都需要备份,文件系统需要备份bihome和cloud目录,数据库系统需要先将数据库内容同步到本地文件系统后,再备份bihome和cloud目录。

新集群部署

9.4 Voolt DB集群安装部署:

VooltDB方案参考:VooltDB集群部署方案

VooltDB部署参考:高性能计算节点部署

将老集群的bihome拷到新集群下

登录老版本MPP集群中C节点服务器的Yonghong安装目录,将bihome文件夹整体拷贝到新环境的同级目录下,替换目录下的bihome文件夹。

编辑bi.properties文件,添加或修改:cloud.use.vooltdb=true(使用VooltDB),删除所有dc开头的属性(这些属性都是MPP相关配置,VooltDB不需要)。

2)9.0MPP集群各节点,停止服务,备份Yonghong/product中原有jar包,然后替换9.4版本的api.jar、product.jar、thirds.jar。

3)9.4环境的C节点接入9.0环境的MPP集群

在新安装的C节点中,修改相关配置项

bi.propertise新增或修改配置项为如下:

cloud.use.vooltdb=false (不用VooltDB,切回MPP)

dc.global.path=XXX/Yonghong/bihome/global_bi.properties(XXX为产品安装目录,整个目录需要指向新安装节点的global_bi.properties文件)

global_bi.properties 配置:

dc.node.naming=XXX(XXX为老版本集群环境N节点的IP,如果是Naming双活,请填写主N的IP)

dc.io.local=false

启动9.0版本MPP集群,需要逐台节点检查是否正常启动,可以在C节点的“监控预警->系统监控概览”中查看是否每台节点都是alive,如果不是,请检查没有alive的节点,确保每台服务器都是alive。

启动9.4新安装的节点C,查看节点是否成功接入老集群,在“管理系统->VooltDB管理->数据迁移”页面显示老集群中的集市文件信息,则接入成功,如果没有数据请检查前序步骤是否操作正确。选择【管理系统>VooltDB管理>节点管理>节点状态】,查看VooltDB节点的状态,确保全部启动。

4)MPP集市数据迁移到VooltDB

登录9.4新安装的节点C,打开【管理系统>VooltDB管理>数据迁移】页面,点击“开始迁移”按钮。所有集市文件状态均显示“迁移成功”后,表示迁移完成。数据迁移页面说明参考如下:数据迁移页面

5)用新的VooltDB集群

完成上述步骤后,MPP数据迁移到VooltDB的工作已经完成。

此时可以停掉老的集群,启用新的VooltDB集群。

启动新安装的节点,按照客户实际情况(如果有定开的相关内容需要部署定开并验证)进行基本功能验证,测试新系统的功能是否正常。

4.数据迁移页面

【MPP数据集市文件夹】存在于MPP中的集市文件夹名称。

【迁移版本】文件夹最后一次入MPP的时间。

【状态】当前文件夹的状态,分别为:未迁移、迁移中、迁移成功

【操作】可以对当前集市文件夹进行的操作,分别为:开始迁移,停止

数据迁移页面的按钮可以对集市文件夹进行相应的操作,下面介绍每个按钮的作用:

【开始迁移】开始迁移有两个按钮,分别为每个集市文件夹后面单独的开始迁移,和页面最上方的开始迁移,其中点击单个集市文件夹的开始迁移,只会对所选的集市文件夹进行迁移操作,如果点击页面最上方的开始迁移,则系统会自动依次对所有的集市文件夹进行迁移。

【停止迁移】页面最上方的停止迁移按钮,如果没有任务进行中,将会置灰显示,如果当前有迁移任务进行中,按钮会高亮显示,点击后将会停止当前所有迁移操作。

【停止】单个数据文件夹开始迁移后,文件夹后方的开始迁移按钮将会变成“停止”,点击停止按钮后,将会停止这个迁移任务。

数据迁移任务可以多次进行,如果迁移任务失败或者数据有重新入集市的情况,只需要针对有变化的集市文件夹再次进行迁移操作即可。

【执行迁移常见报错】:

执行迁移的时候,报错“等待 job@XXX 超时”

永洪的MPP数据集市数据查询任务超时时间默认是“mpp.scheduler.exec.timeout=900000”,当执行大数据量迁移任务的时候,可能会超过这个时间,建议在执行数据迁移之前将这个参数添加到“bi.properties”文件中,并设置为“1800000”。

5.VooltDB集群部署方案

需要提前规划好VooltDB环境部署方案,部署可以参考如下方案。

原有老版本MPP集群有几台C节点,新版本规划相同数量的C节点。

原有老版本MPP集群有几台MR节点,新版本规划相同数量的V节点。

例如:

原环境为两个CN节点,两个MR节点,那么VooltDB集群建议部署为两个C节点,两个V节点。

原集群为一个C节点,一个N节点,三个MR节点,那么VooltDB集群建议部署为一个C节点,三个V节点。

以上只为建议方案,具体部署可以根据客户实际规划和业务量制定。