<< Click to Display Table of Contents >> 血缘分析数据库表复制链接 |
1. 存储表的位置
血缘分析数据库表存储位置与是否在【系统设置> 数据库连接配置 】中配置血缘分析数据库有关。如果配置了,血缘分析数据库表会存储在该库。如果没有配置,但是在【数据空间配置 > 共享文件配置> 数据库连接配置】处配置了数据库,则会存储到该数据库。如果这两个数据库都未配置,则会存储到系统内置的数据库。
2. 存储表结构信息
•LINEAGE_RESOURCE
资源节点表,记录了血缘关系中每个节点的详细信息,节点对应的可能是一个物理资源(报告、数据集、数据源等),也可能是一个虚拟资源(组件、数据表等)。
字段名 |
数据类型 |
字段中文 |
字段描述 |
---|---|---|---|
id |
字符串 varchar(128) |
ID |
血缘节点的ID,UUID,唯一标识一个资源节点。 |
name |
字符串 varchar(128) |
名称 |
数据集、组件、数据源、报告、数据表的名称。 |
path |
字符串 varchar(512) |
路径 |
如果当前节点是数据集、数据源、报告等资源,该字段存储的是相对于bihome的物理路径;如果当前节点是数据表,存储的是数据库名/{模式名}/表名;如果当前节点是组件,存储的是报告的ID;如果当前节点是自定义SQL,存储的是数据集的ID。 |
type |
整数 int(11) |
类型 |
类型:数据集、组件、数据源、报告、数据库表或SQL语句。 |
detail_type |
整数 int(11) |
详细类型 |
资源具体类型:数据集、组件、数据源、报告的具体类型。 |
extra_data |
字符串 varchar(128) |
附加数据 |
附加属性,存放一些不会作为查询条件的信息。 ➢例如:对于Chart组件的markType。 |
•LINAGE_DASHBOARD_RELATION
•LINEAGE_QUERY_RELATION
•LINEAGE_EXPERIMENT_RELATION
节点关系表,记录了各个节点之间的依赖关系,其中:
报告到数据集(数据源)之间的依赖关系存储在LINEAGE_DASHBOARD_RELATION中;
数据集到数据源之间的依赖关系存储在LINEAGE_QUERY_RELATION中;
实验到数据集的依赖关系存储在LINEAGE_EXPERIMENT_RELATION中。
字段名 |
数据类型 |
字段中文 |
字段描述 |
---|---|---|---|
id |
字符串 varchar(128) |
ID |
资源节点ID |
depend_id |
字符串 varchar(128) |
被依赖资源节点的ID |
被依赖资源节点的ID,可能是间接依赖,对于A->B->C->D,会存储 A->B,A->C,A->D,B->C,B->D,C->D。 |
depend_type |
整数 int(11) |
被依赖资源节点的类型 |
被依赖资源节点的类型。 |
upper_id |
字符串 varchar(128) |
上级资源节点的ID |
相对于depend_id来说,被依赖资源的直接上级资源节点的ID。 对于A->B->C->D,在存储A->D的关系时,upper_id存储的是C的id。 child_id 和 upper_id 相同时,表示的关系如下: A -> B -> C 存储A和C的依赖关系时,child_id和upper_id都是B。 存储A和B的依赖关系时,child_id和upper_id都是空值。 |
child_id |
字符串 varchar(128) |
下级资源节点的ID |
相对于id来说,通过哪个直接的子节点依赖于depend_id。 对于A -> B -> C -> D,在存储A->D的关系时,child_id存储的是B的id。 child_id 和 upper_id 相同时,表示的关系如下: A -> B -> C 存储A和C的依赖关系时,child_id和upper_id都是B。 存储A和B的依赖关系时,child_id和upper_id都是空值。 |
type |
字符串 varchar(128) |
资源类型 |
id字段对应的资源节点的类型。 |
update_time |
整数 bigint |
更新时间 |
该行数据的最后更新时间,主要用于删除旧的记录。 |
•LINEAGE_RESOURCE_COLUMN
列信息表,主要记录了报告上创建的列和数据集上创建的列信息。
字段名 |
数据类型 |
字段中文 |
字段描述 |
---|---|---|---|
id |
字符串 varchar(128) |
ID |
列ID,UUID,唯一标识一个资源节点。 |
resource_id |
字符串 varchar(128) |
资源ID |
LINEAGE_RESOURCE表中,报告或者数据集的ID。 |
owner_id |
字符串 varchar(128) |
资源ID |
LINEAGE_RESOURCE表中,报告或者数据集的ID,对于报告来说,需要和数据集ID一块确定一个列。对于数据集,resource_id和 owner_id是相等的。 |
col_name |
字符串 varchar(128) |
列名称 |
对应数据集页面元数据区域列名称。 |
col_view |
字符串 varchar(128) |
列别名 |
对应数据集页面元数据区域列别名。 |
data_type |
整数 int(11) |
数据类型 |
列的数据类型:整数、字符串、日期等。 |
col_type |
整数 int(11) |
列类型 |
列类型:普通列、计算列、日期表达式、拆分列、去空格、值映射等。 |
dim |
整数 smallint(6) |
是否是维度 |
是否是维度列。 |
•LINEAGE_COLUMN_RELATION
列依赖关系表,存储Ulead报告和数据集之间列的依赖关系。自服务数据集之间列的依赖关系。
字段名 |
数据类型 |
字段中文 |
字段描述 |
---|---|---|---|
resource_id |
字符串 varchar(128) |
资源ID |
LINEAGE_RESOURCE表中,报告或者数据集的ID。 |
column_id |
字符串 varchar(128) |
列ID |
对应LINEAGE_RESOURCE_COLUMN表中的ID。 |
depend_type |
短整数 tinyint |
依赖的类型 |
dependType有三个取值,表示依赖的三种形式。 •1 :表示是直接依赖一个复杂类型的资源(自服务、组合)的某个列。 •2 :表示间接依赖一个简单类型的数据集的某个列。 •3: 表示直接依赖于一个简单类型的数据集的某个列 。
|
•LINEAGE_SCRIPT_META_COLUMN
用于描述使用到的数据库列,数据库列是指数据库表中定义的列。数据来源于SQL数据集,如果是物理表,存储的是元数据列(BCol),如果是SQL,存储的是基于SQL解析出来的数据库列。
字段名 |
数据类型 |
字段中文 |
字段描述 |
---|---|---|---|
id |
字符串 varchar(128) |
ID |
列ID,UUID,唯一标识一个资源节点。 |
resource_id |
字符串 varchar(128) |
资源ID |
LINEAGE_RESOURCE表中,报告或者数据集的ID。 |
conn_id |
字符串 varchar(128) |
依赖的类型 |
dependType有三个取值,表示依赖的三种形式。 •1 :表示是直接依赖一个复杂类型的资源(自服务、组合)的某个列。 •2 :表示间接依赖一个简单类型的数据集的某个列。 •3 :表示直接依赖于一个简单类型的数据集的某个列 。 |
catalog_name |
字符串 varchar(1000) |
数据库名称 |
数据库名称 |
schema_name |
字符串 varchar(1000) |
表结构模式名称 |
表结构模式名称 |
table_name |
字符串 varchar(1000) |
表(视图)名称 |
表(视图)名称 |
column_name |
字符串 varchar(1000) |
列名称 |
列名称 |
variant |
整数 int(11) |
该列是否是参数 |
该列是否是一个包含参数的列 |
cause |
整数 int(11) |
作用范围 |
当前列使用到了SQL的哪个子句上 |
•LINEAGE_META_COLUMN_RELATION
用于描述元数据列和数据库列的依赖关系,元数据列是指数据集上通过刷新数据定义的列,数据库列是指数据库表中定义的列。
字段名 |
数据类型 |
字段中文 |
字段描述 |
meta_col_id |
字符串 varchar(128) |
元数据列ID |
数据集上元数据列的ID,对应于LINEAGE_RESOURCE_COLUMN的id。 |
sql_col_id |
字符串 varchar(128) |
数据表列ID |
数据库表上定义的列的ID,对应于LINEAGE_SCRIPT_META_COLUMN的id。 |
•LINEAGE_LOCK
血缘初始化时,记录执行初始化操作的节点以及初始化的结果。
➢说明:
LINEAGE_LOCK只在数据库系统中有,文件系统中没有。
字段名 |
数据类型 |
字段中文 |
字段描述 |
node |
字符串 |
节点IP |
C节点IP地址。 |
finished |
短整型 |
是否完成初始化 |
是否完成初始化。 |
create_time |
整型 |
初始化开始的时间 |
初始化开始的时间。 |
•LINEAGE_SCRIPT
用于记录SQL数据集中输入的SQL脚本。
字段名 |
数据类型 |
字段中文 |
字段描述 |
resource_id |
字符串 |
资源ID |
LINEAGE_RESOURCE表中,数据集的ID,目前只支持SQL数据集。 |
type |
短整型 |
脚本类型 |
目前只支持SQL数据集,所以type只有一个取值 1,表示是SQL脚本 |
script |
字符数组 |
脚本内容 |
SQL编辑器中输入的SQL脚本的内容 |
3.血缘表的主键和索引
表名 |
字段 |
主键&索引类型 |
索引名称 |
---|---|---|---|
LINEAGE_RESOURCE |
id |
主键 |
|
Type detail_type Name path |
唯一索引 |
resource_name_index |
|
path |
普通索引 |
resource_path_index |
|
LINE-AGE_RELATION |
Id |
主键 |
|
LINE-AGE_DASHBORD_RELATION LINE-AGE_QUERY_RELATION LINE-AGE_CONNEC-TION_RELATION |
Id depend_id depend_type upper_id child_id |
主键 |
db_unique_index query_unique_index connection_unique_index |
depend_id |
普通索引 |
{table-name}_depend_id_index |
|
id |
{tablename}_id_index |
||
upper_id |
{table-name}_upper_id_index |
||
update_time |
{tablename}_update_time_index |
||
LINE-AGE_SCRIPT_META_COLUMN |
resource_id conn_id catalog_name schema_name table_name column_name |
主键 |
|
resource_id |
普通索引 |
resource_id_index |
|
table_name column_name |
table_column_index |
||
conn_id |
conn_id_index |
||
LINE-AGE_META_COLUMN_RELATION |
meta_col_id sql_col_id |
主键 |
|
LINEAGE_RESOURCE_COLUMN |
id |
主键 |
|
resource_id owner_id col_name |
唯一索引 |
column_name_index |
|
LINEAGE_COLUMN_RELATION |
resource_id column_id |
主键 |
|
LINEAGE_LOCK |
node |
主键 |
unique_index |
4.表字段值说明
4.1LINEAGE_RESOURCE表中的type与detail_type字段值
type |
名称 |
detailType |
名称 |
---|---|---|---|
1 |
报告 |
22016 |
收藏的报告 |
21248 |
分享的报告 |
||
16640 |
报告 |
||
16642 |
即席分析 |
||
16643 |
大屏报告 |
||
2 |
组件 |
1 |
图表 |
2 |
表 |
||
3 |
交叉表 |
||
4 |
图片 |
||
5 |
日期过滤 |
||
6 |
列表过滤 |
||
7 |
范围过滤 |
||
8 |
组件 |
||
9 |
文本 |
||
10 |
仪表 |
||
11 |
文本参数 |
||
14 |
下拉参数 |
||
15 |
选项卡 |
||
16 |
自由式表格 |
||
17 |
填报参数 |
||
18 |
组 |
||
20 |
过滤容器 |
||
21 |
树状过滤 |
||
22 |
列表参数 |
||
23 |
提交 |
||
24 |
组(用于在自由式布局合并组件) |
||
26 |
网页 |
||
27 |
定制组件 |
||
28 |
轮播 |
||
3 |
数据集 |
16897 |
SQL数据集 |
16905 |
Excel数据集 |
||
16904 |
组合数据集 |
||
16910 |
自服务数据集 |
||
16902 |
内嵌数据集 |
||
16900 |
数据集市数据集 |
||
16907 |
Mongo数据集 |
||
16899 |
定制数据集 |
||
16912 |
多维数据集 |
||
156 |
Neo4j数据集 |
||
2021 |
流式数据集 |
||
2023 |
RESTful数据集 |
||
4 |
物理表 |
18435 |
数据库表 |
18436 |
视图 |
||
18438 |
多维数据集Cube |
||
18442 |
Kylin的Cube |
||
18439 |
属性视图 |
||
18440 |
分析视图 |
||
18441 |
计算视图 |
||
0 |
Hana的数据库表 |
||
5 |
自定义语句 |
1 |
SQL脚本 |
5 |
|||
2 |
SQL存储过程 |
||
3 |
Mongo管道语句 |
||
4 |
RESTful JSON查询语句 |
||
6 |
数据源 |
0 |
Generic |
1 |
Oracle |
||
2 |
DB2 |
||
3 |
SQL Server |
||
4 |
MySQL |
||
5 |
Derby |
||
6 |
Informix |
||
7 |
Sybase |
||
8 |
Access |
||
9 |
Vertical |
||
10 |
Yonghong |
||
11 |
Hive |
||
12 |
Mongo |
||
13 |
Spark |
||
14 |
Postgresql |
||
15 |
Hana |
||
16 |
Kylin |
||
17 |
Max Compute |
||
18 |
Kingbase |
||
19 |
Impala |
||
20 |
HBase |
||
21 |
Presto |
||
22 |
AnalyticDB |
||
23 |
Essbase |
||
24 |
SAP BW |
||
25 |
SSAS |
||
27 |
Teradata |
||
28 |
GBase |
||
29 |
Transwarp |
||
30 |
Sparking |
||
32 |
HuaWeiCloud DWS |
||
33 |
GaussDB 200 |
||
34 |
FusionInsight ELK |
||
35 |
FusionInsight HD |
||
36 |
ELASTIC SEARCH |
||
37 |
GREENPLUM |
||
40 |
ThunderEngine |
||
41 |
GaussDB 100 |
||
42 |
DaMeng |
||
43 |
Thunder Engine |
||
44 |
Neo4j |
||
45 |
Clickhouse |
||
46 |
TBDS |
||
47 |
TBDS OLAP |
||
48 |
CTSDB |
||
49 |
RESTful |
||
8 |
集市文件夹 |
8 |
集市文件夹 |
9 |
定时任务 |
17154 |
定时任务 |
10 |
实验 |
20480 |
实验 |
11 |
组合报告 |
16644 |
组合报告 |
12 |
网页 |
17696 |
网页组件 |
4.2LINEAGE_RESOURCE_COLUMN表中的data_type字段值
data_type |
类型 |
中文描述 |
---|---|---|
2 |
STRING |
字符串 |
3 |
BOOLEAN |
布尔 |
4 |
FLOAT |
浮点数 |
5 |
DOUBLE |
浮点数 |
7 |
CHAR |
字符 |
8 |
BYTE |
字节 |
9 |
SHORT |
短整型 |
10 |
INTEGER |
整型 |
11 |
LONG |
长整型 |
12 |
DATE_TIME |
时间戳 |
13 |
DATE |
日期 |
14 |
TIME |
时间 |
4.3LINEAGE_RESOURCE_COLUMN表中的col_type字段值
col_type |
中文描述 |
---|---|
9 |
日期列 |
10 |
计算列 |
11 |
维度列(脚本对象) |
12 |
度量列(脚本对象) |
43 |
简单动态计算列(脚本对象) |
45 |
定制的动态计算列(脚本对象) |
90 |
数据分箱列(范围) |
178 |
从属计算列 |
531 |
非雷达图标记字段(脚本对象) |
545 |
维度列(脚本对象,图表专用) |
596 |
参数列 |
614 |
过滤列 |
1500 |
分组列(脚本对象,用于图表分组) |
1501 |
度量组 |
1502 |
地图列 |
1503 |
数据分箱列(分组) |
1507 |
日期转换列 |
1508 |
数字转换列 |
1512 |
值映射列 |
1513 |
缺失值填充列 |
1514 |
去空格列 |
1515 |
拆分列 |
1517 |
MDX维度列 |
1518 |
MDX度量列 |
1527 |
Hana、Kylin度量列 |
1802 |
动态计算列 |
1803 |