血缘分析数据库表

<< Click to Display Table of Contents >>

当前位置:  管理系统 > 血缘分析 

血缘分析数据库表

复制链接

1. 存储表的位置

血缘分析数据库表存储位置与是否在【系统设置> 数据库连接配置 】中配置血缘分析数据库有关。如果配置了,血缘分析数据库表会存储在该库。如果没有配置,但是在【数据空间配置 > 共享文件配置> 数据库连接配置】处配置了数据库,则会存储到该数据库。如果这两个数据库都未配置,则会存储到系统内置的数据库。

2. 存储表结构信息

LINEAGE_RESOURCE

资源节点表,记录了血缘关系中每个节点的详细信息,节点对应的可能是一个物理资源(报告、数据集、数据源等),也可能是一个虚拟资源(组件、数据表等)。

字段名

数据类型

字段中文

字段描述

id

字符串 varchar(128)

ID

血缘节点的ID,UUID,唯一标识一个资源节点。

name

字符串 varchar(128)

名称

数据集、组件、数据源、报告、数据表的名称。

path

字符串 varchar(512)

路径

如果当前节点是数据集、数据源、报告等资源,该字段存储的是相对于bihome的物理路径;如果当前节点是数据表,存储的是数据库名/{模式名}/表名;如果当前节点是组件,存储的是报告的ID;如果当前节点是自定义SQL,存储的是数据集的ID。

type

整数 int(11)

类型

类型:数据集、组件、数据源、报告、数据库表或SQL语句。

detail_type

整数 int(11)

详细类型

资源具体类型:数据集、组件、数据源、报告的具体类型。

extra_data

字符串 varchar(128)

附加数据

附加属性,存放一些不会作为查询条件的信息。

例如:对于Chart组件的markType。

LINAGE_DASHBOARD_RELATION

LINEAGE_QUERY_RELATION

LINEAGE_EXPERIMENT_RELATION

节点关系表,记录了各个节点之间的依赖关系,其中:

报告到数据集(数据源)之间的依赖关系存储在LINEAGE_DASHBOARD_RELATION中;

数据集到数据源之间的依赖关系存储在LINEAGE_QUERY_RELATION中;

实验到数据集的依赖关系存储在LINEAGE_EXPERIMENT_RELATION中。

字段名

数据类型

字段中文

字段描述

id

字符串 varchar(128)

ID

资源节点ID

depend_id

字符串 varchar(128)

被依赖资源节点的ID

被依赖资源节点的ID,可能是间接依赖,对于A->B->C->D,会存储 A->B,A->C,A->D,B->C,B->D,C->D。

depend_type

整数 int(11)

被依赖资源节点的类型

被依赖资源节点的类型。

upper_id

字符串 varchar(128)

上级资源节点的ID

相对于depend_id来说,被依赖资源的直接上级资源节点的ID。

对于A->B->C->D,在存储A->D的关系时,upper_id存储的是C的id。

child_id 和 upper_id 相同时,表示的关系如下:

A -> B -> C

存储A和C的依赖关系时,child_id和upper_id都是B。

存储A和B的依赖关系时,child_id和upper_id都是空值。

child_id

字符串 varchar(128)

下级资源节点的ID

相对于id来说,通过哪个直接的子节点依赖于depend_id。

对于A -> B -> C -> D,在存储A->D的关系时,child_id存储的是B的id。

child_id 和 upper_id 相同时,表示的关系如下:

A -> B -> C

存储A和C的依赖关系时,child_id和upper_id都是B。

存储A和B的依赖关系时,child_id和upper_id都是空值。

type

字符串 varchar(128)

资源类型

id字段对应的资源节点的类型。

update_time

整数 bigint

更新时间

该行数据的最后更新时间,主要用于删除旧的记录。

 

LINEAGE_RESOURCE_COLUMN

列信息表,主要记录了报告上创建的列和数据集上创建的列信息。

字段名

数据类型

字段中文

字段描述

id

字符串 varchar(128)

ID

列ID,UUID,唯一标识一个资源节点。

resource_id

字符串 varchar(128)

资源ID

LINEAGE_RESOURCE表中,报告或者数据集的ID。

owner_id

字符串 varchar(128)

资源ID

LINEAGE_RESOURCE表中,报告或者数据集的ID,对于报告来说,需要和数据集ID一块确定一个列。对于数据集,resource_id和 owner_id是相等的。

col_name

字符串 varchar(128)

列名称

对应数据集页面元数据区域列名称。

col_view

字符串 varchar(128)

列别名

对应数据集页面元数据区域列别名。

data_type

整数 int(11)

数据类型

列的数据类型:整数、字符串、日期等。

col_type

整数 int(11)

列类型

列类型:普通列、计算列、日期表达式、拆分列、去空格、值映射等。

dim

整数 smallint(6)

是否是维度

是否是维度列。

LINEAGE_COLUMN_RELATION

列依赖关系表,存储Ulead报告和数据集之间列的依赖关系。自服务数据集之间列的依赖关系。

字段名

数据类型

字段中文

字段描述

resource_id

字符串 varchar(128)

资源ID

LINEAGE_RESOURCE表中,报告或者数据集的ID。

column_id

字符串 varchar(128)

列ID

对应LINEAGE_RESOURCE_COLUMN表中的ID。

depend_type

短整数 tinyint

依赖的类型

dependType有三个取值,表示依赖的三种形式。

1 :表示是直接依赖一个复杂类型的资源(自服务、组合)的某个列。

2 :表示间接依赖一个简单类型的数据集的某个列。

3: 表示直接依赖于一个简单类型的数据集的某个列 。

 

LINEAGE_SCRIPT_META_COLUMN

用于描述使用到的数据库列,数据库列是指数据库表中定义的列。数据来源于SQL数据集,如果是物理表,存储的是元数据列(BCol),如果是SQL,存储的是基于SQL解析出来的数据库列。

字段名

数据类型

字段中文

字段描述

id

字符串 varchar(128)

ID

列ID,UUID,唯一标识一个资源节点。

resource_id

字符串 varchar(128)

资源ID

LINEAGE_RESOURCE表中,报告或者数据集的ID。

conn_id

字符串 varchar(128)

依赖的类型

dependType有三个取值,表示依赖的三种形式。

1 :表示是直接依赖一个复杂类型的资源(自服务、组合)的某个列。

2 :表示间接依赖一个简单类型的数据集的某个列。

3 :表示直接依赖于一个简单类型的数据集的某个列 。

catalog_name

字符串 varchar(1000)

数据库名称

数据库名称

schema_name

字符串 varchar(1000)

表结构模式名称

表结构模式名称

table_name

字符串 varchar(1000)

表(视图)名称

表(视图)名称

column_name

字符串 varchar(1000)

列名称

列名称

variant

整数 int(11)

该列是否是参数

该列是否是一个包含参数的列

cause

整数 int(11)

作用范围

当前列使用到了SQL的哪个子句上

LINEAGE_META_COLUMN_RELATION

用于描述元数据列和数据库列的依赖关系,元数据列是指数据集上通过刷新数据定义的列,数据库列是指数据库表中定义的列。

字段名

数据类型

字段中文

字段描述

meta_col_id

字符串 varchar(128)

元数据列ID

数据集上元数据列的ID,对应于LINEAGE_RESOURCE_COLUMN的id。

sql_col_id

字符串 varchar(128)

数据表列ID

数据库表上定义的列的ID,对应于LINEAGE_SCRIPT_META_COLUMN的id。

LINEAGE_LOCK

血缘初始化时,记录执行初始化操作的节点以及初始化的结果。

说明:

LINEAGE_LOCK只在数据库系统中有,文件系统中没有。

字段名

数据类型

字段中文

字段描述

node

字符串

节点IP

C节点IP地址。

finished

短整型

是否完成初始化

是否完成初始化。

create_time

整型

初始化开始的时间

初始化开始的时间。

LINEAGE_SCRIPT

用于记录SQL数据集中输入的SQL脚本。

字段名

数据类型

字段中文

字段描述

resource_id

字符串

资源ID

LINEAGE_RESOURCE表中,数据集的ID,目前只支持SQL数据集。

type

短整型

脚本类型

目前只支持SQL数据集,所以type只有一个取值 1,表示是SQL脚本

script

字符数组

脚本内容

SQL编辑器中输入的SQL脚本的内容

3.血缘表的主键和索引

表名

字段

主键&索引类型

索引名称

LINEAGE_RESOURCE

id

主键

 

Type

detail_type

Name

path

唯一索引

resource_name_index

path

普通索引

resource_path_index

LINE-AGE_RELATION

Id

主键

 

LINE-AGE_DASHBORD_RELATION

LINE-AGE_QUERY_RELATION

LINE-AGE_CONNEC-TION_RELATION

Id

depend_id

depend_type

upper_id

child_id

主键

db_unique_index

query_unique_index connection_unique_index

depend_id

普通索引

{table-name}_depend_id_index

id

{tablename}_id_index

upper_id

{table-name}_upper_id_index

update_time

{tablename}_update_time_index  

LINE-AGE_SCRIPT_META_COLUMN

resource_id

conn_id

catalog_name

schema_name

table_name

column_name

主键

 

resource_id

普通索引

resource_id_index

table_name

column_name

table_column_index

conn_id

conn_id_index

LINE-AGE_META_COLUMN_RELATION

meta_col_id

sql_col_id

主键

 

 

LINEAGE_RESOURCE_COLUMN

id

主键

 

resource_id

owner_id

col_name

唯一索引

column_name_index

LINEAGE_COLUMN_RELATION

resource_id

column_id

主键

 

LINEAGE_LOCK

node

主键

unique_index

 

4.表字段值说明

4.1LINEAGE_RESOURCE表中的type与detail_type字段值

type

名称

detailType

名称

1

报告

22016

收藏的报告

21248

分享的报告

16640

报告

16642

即席分析

16643

大屏报告

2

组件

1

图表

2

3

交叉表

4

图片

5

日期过滤

6

列表过滤

7

范围过滤

8

组件

9

文本

10

仪表

11

文本参数

14

下拉参数

15

选项卡

16

自由式表格

17

填报参数

18

20

过滤容器

21

树状过滤

22

列表参数

23

提交

24

组(用于在自由式布局合并组件)

26

网页

27

定制组件

28

轮播

3

数据集

16897

SQL数据集

16905

Excel数据集

16904

组合数据集

16910

自服务数据集

16902

内嵌数据集

16900

数据集市数据集

16907

Mongo数据集

16899

定制数据集

16912

多维数据集

156

Neo4j数据集

2021

流式数据集

2023

RESTful数据集

4

物理表

18435

数据库表

18436

视图

18438

多维数据集Cube

18442

Kylin的Cube

18439

属性视图

18440

分析视图

18441

计算视图

0

Hana的数据库表

5

自定义语句

1

SQL脚本

5

2

SQL存储过程

3

Mongo管道语句

4

RESTful JSON查询语句

6

数据源

0

Generic

1

Oracle

2

DB2

3

SQL Server

4

MySQL

5

Derby

6

Informix

7

Sybase

8

Access

9

Vertical

10

Yonghong

11

Hive

12

Mongo

13

Spark

14

Postgresql

15

Hana

16

Kylin

17

Max Compute

18

Kingbase

19

Impala

20

HBase

21

Presto

22

AnalyticDB

23

Essbase

24

SAP BW

25

SSAS

27

Teradata

28

GBase

29

Transwarp

30

Sparking

32

HuaWeiCloud DWS

33

GaussDB 200

34

FusionInsight ELK

35

FusionInsight HD

36

ELASTIC SEARCH

37

GREENPLUM

40

ThunderEngine

41

GaussDB 100

42

DaMeng

43

Thunder Engine

44

Neo4j

45

Clickhouse

46

TBDS

47

TBDS OLAP

48

CTSDB

49

RESTful

8

集市文件夹

8

集市文件夹

9

定时任务

17154

定时任务

10

实验

20480

实验

11

组合报告

16644

组合报告

12

网页

17696

网页组件

4.2LINEAGE_RESOURCE_COLUMN表中的data_type字段值

data_type

类型

中文描述

2

STRING

字符串

3

BOOLEAN

布尔

4

FLOAT

浮点数

5

DOUBLE

浮点数

7

CHAR

字符

8

BYTE

字节

9

SHORT

短整型

10

INTEGER

整型

11

LONG

长整型

12

DATE_TIME

时间戳

13

DATE

日期

14

TIME

时间

4.3LINEAGE_RESOURCE_COLUMN表中的col_type字段值

col_type

中文描述

9

日期列

10

计算列

11

维度列(脚本对象)

12

度量列(脚本对象)

43

简单动态计算列(脚本对象)

45

定制的动态计算列(脚本对象)

90

数据分箱列(范围)

178

从属计算列

531

非雷达图标记字段(脚本对象)

545

维度列(脚本对象,图表专用)

596

参数列

614

过滤列

1500

分组列(脚本对象,用于图表分组)

1501

度量组

1502

地图列

1503

数据分箱列(分组)

1507

日期转换列

1508

数字转换列

1512

值映射列

1513

缺失值填充列

1514

去空格列

1515

拆分列

1517

MDX维度列

1518

MDX度量列

1527

Hana、Kylin度量列

1802

动态计算列

1803