同步数据集数据

<< Click to Display Table of Contents >>

当前位置:  调度任务 > 任务 

同步数据集数据

Previous pageReturn to chapter overviewNext page

同步数据集数据,即定期的按照某种条件将某一数据集同步入数据集市。

同步数据集数据将把当前的数据集进行物化,默认会在与 bihome 同级的 cloud 文件夹中生成相应的物化数据集文件,当我们再次调用该数据集时,会调用物化的数据集。当数据库中有海量数据时,使用物化数据集表可以极大的提高数据集速度。

用户进行同步数据集数据时,需要在 bihome\bi.properties 文件中进行本地数据集市的配置。在 bi.properties 中添加如下语句。

dc.fs.sub.path=c\:/bihome/cloud/qry_sub.m

dc.fs.physical.path=c\:/cloud

dc.io.handlers=1

dc.naming.reds=1

dc.naming.waiting=3000

dc.naming.maps=1

dc.io.ip=192.168.1.99

dc.node.types=nmrc

dc.fs.naming.paths=c\:/bihome/cloud/qry_naming.m

注意:用户需要把 c\:/cloud 更改成自己的路径,ip 需要更改成自己主机的 ip。

经物化的数据集,在数据集的元数据区域将显示当前数据集为物化数据集,如下图所示,当用户点击释放按钮时,则在 cloud 中删除物化数据集文件。

同步数据释放

 

 

新建同步数据集数据的步骤如下:

1. 新建同步数据集的任务。两种方法都可以进入创建“同步数据集数据”的任务。

第一种方法:在新建作业的任务区域,或新建任务界面,选择任务类型为“同步数据集数据”,如下图所示。

2

选择需要进行物化的数据集。用户点击“添加”可在已有的数据集中选择一个或多个需要同步的数据集。如下图所示。

3

第二种方法:在创建数据集界面,点击同步数据集数据,如下图所示,系统会自动创建该数据集的同步数据集数据作业,并跳转至调度任务界面。

4

 

tongbu

 

2.8.5版本中,对于高精度进行了进一步的优化,使得在数据量较大时进行累计运算不会出现精度偏差,并且加入了集市存储数值型数据支持精度灵活设定,点击数据集右侧的编辑格式按钮,显示数据集中存在的double,float类型的数据列,将存储精度设置在集市文件夹上,支持不同的集市文件夹可以有不同的保存精度,double,float类型的数据列默认值均为4,如下图所示。

 

5

 

3.设置参数。用户点击收集按钮即可收集当前选择的仪表盘或数据集中的所有参数,包括参数的名称(必填项)、参数数据类型以及参数值。当用户需要添加参数时,点击添加按钮,弹出参数对话框,用户可设定参数的名称、参数的数据类型、以及参数值。

6

当用户勾选多个时,即可设定多个参数值,如下图所示。

 

7