数据抽取方式

<< Click to Display Table of Contents >>

当前位置:  数据集市 > VooltDB > 数据抽取 

数据抽取方式

Previous pageReturn to chapter overviewNext page

可以通过自动运行方式将用户的数据导入到数据集市系统中(包含本地云和分布式云)。

启动系统中的Client 节点,在 Client 节点访问页面上进入调度任务界面,增加一个作业,定义该作业的任务是增量导入数据。该任务专门负责把一个Data Set (数据集)里的数据,提取到集市系统中。选项指标:

【数据集】:选择一个数据集,该数据集的数据会被提取出来。

【文件夹】:提取出来的数据块放到哪个文件夹下。

【追加】:是否追加文件,否则会删掉历史的文件。如果已有一个 aa 文件,可以再追加一个 bb 文件。如果要追加的文件名已存在,会停止追加。

脚本:可以在运行 query 之前执行此脚本。此脚本可以修改 folder, append 的值,还可以通过 setMeta/getMeta 来修改元数据;还可以给参数赋值。

当一个作业被成功执行完后,就可以通过创建数据集市数据集来访问该文件夹里的数据。还可以采用过滤元数据的值,来跨粒度访问各数据块。

用户可以指定计划,每隔多久提取一次数据,并在提取的时候,通过加元数据属性,来给数据块打标签。如果加日期标签,可以控制只访问某时间段的数据。

关于调度任务的具体说明,请参见相关文档。