<< Click to Display Table of Contents >> 删除集市数据复制链接 |
1.概述
1.1功能简介
通过设置作业定期删除集市中通过增量导入数据的集市数据。
1.2应用场景
当存在需要删除旧的集市数据场景时,可以通过此任务进行操作。通过添加过滤方式以及参数,可以按Meta或列进行删除集市数据。
增量导入数据的动态增量更新解决了动态删除和更新最近一个时间段数据的场景,但对于历史数据,如果是通过普通增量更新导入的,就可以通过删除集市数据任务来将指定的数据删掉之后,再重新导入。
2.操作步骤
1)在新建作业的任务区域或新建任务界面,选择任务类型为“删除集市数据”,如下图所示。
2)选择将要删除集市数据对应的文件夹。
3)设置删除数据的过滤方式。
按Meta过滤:通过对抽取数据时设置的Meta进行数据过滤,按照过滤结果删除数据。关于Meta参考:打标签的作用。
按列过滤:通过对抽取数据结果中的数据列进行数据过滤,按照过滤结果删除数据。VooltDB数据集市支持按列过滤,MPP数据集市不支持按列过滤。
过滤条件支持参数和值。
4)对于参数的过滤条件,点击“收集”获取参数并设置其为动态值。
选中参数后点击“编辑”出现参数编辑框,可以设置动态值使其参数值来源于数据集。此场景用于删除限定数据范围的集市数据,限定的数据范围来自选择的数据集。
➢说明:
除了设置动态值,也可以通过脚本给过滤里带有的参数赋值。比如:
想删除三年以前的数据,如果按年打了meta,可以直接通过meta过滤出三年以前的数据删掉。如果想删除一年以前的数据,VooltDB下,可以直接按日期列过滤,日期列<?{a},a通过脚本复制param["a"] = year(now())+"-01" + "-01"。