SPARK数据库

<< Click to Display Table of Contents >>

当前位置:  添加数据源 

SPARK数据库

Previous pageReturn to chapter overviewNext page

1. 在添加数据源首页点击 SPARK 数据库,进入新建页面。

spark1

新建的页面如下 :

spark2

【选择数据源】默认是在首页选择的数据库类型。用户也可以在下拉列表里选择其它的数据库类型,此处选中的是SPARK。

【仅对有写权限的用户可见】如果 user1 对数据源只有读权限,对依赖此数据源的数据集有读或者读写权限,勾选此项,用 user1 登陆,进入创建数据集模块,打开数据源会提示 “ 仅对有写权限的用户可见”,打开依赖此数据源的数据集,数据源信息是收起的且不可展开。

【驱动】用户可手动填写或选择需要的驱动类型。

【URL】设定数据源 URL。在URL的项目中会直接将所填项目展示给用户,用户只需要修改正确的服务器地址就可以直接使用数据源。

【服务器登录】包含四种方式:用户名和密码、无身份验证、用户名、Kerberos。当数据库设定了访问权限后,用户需要使用用户名和密码或者只有用户名来访问当前数据库。

【用户名】连接数据库所需要的用户名。

【密码】连接数据库所需要的密码。

【表结构模式】控制数据源下展示的表结构模式。当选择一个表结构模式,数据源下就只展示指定的这一个,如果此处不做指定,那将显示所有的表结构模式。

选择Kerberos登录方式,界面展示如下:

spark4

【秘钥文件路径】KeyTab文件的路径。比如: /opt/xxx/user.keytab

【Krb5文件路径】Krb5文件的路径。Linux环境下Krb5文件的名字为Krb5.conf;Windows环境下名字为Krb5.ini。Krb5文件一般会放到一个默认的地方,这样就不需要去配置该项。一般来说,Windows的默认位置是C:\Windows\Krb5.ini 或者 C:\winnt\Krb5.ini;Linux的默认位置 /etc/Krb5.conf 或者 /etc/krb5/krb5.conf。

【Jaas文件路径】Jaas文件的路径。该配置文件一般是用于Zookeeper安全认证的。 比如 /opt/xxx/jaas.conf。

【用户名】用户所对应的Kerberos Principal Name。

【数据库】控制数据源下展示的数据库。当输入一个默认数据库,数据源下就只展示这一个,如果此处不做指定,那将显示所有的数据库。

【高级属性】将数据源的一些非必填项放入高级属性,鼠标点击时能够触发展开和收起,新建和保存后再打开默认都是收起状态。

【添加属性】数据源开放提供配置数据库 configuration properties 的接口,点击添加属性图标会在高级属性内添加一行“名称”和“值”供用户进行自定义设置,可手工添加多个数据库属性。

【名称】需要配置的数据库的属性名称。

【值】需要设置的数据库属性的值。

【开启连接池】配置开启数据源连接池的开关,点击勾选可以开启连接池的配置。

【有效连接时间】数据源的有效连接时间,默认为2小时,当配置为2小时后,超过2小时的连接占用不会放入连接池中。

【最大连接数】该数据源最多的连接个数,默认为30。

【Fetchsize】控制了JDBC每次读取数据的行数,默认为100。JDBC 每次读取的数据是会缓存在内存中的,建议合理配置,保证内存的充足。

【显示别名】勾选后在数据集端会获取数据库中列的comment作为别名,默认在新建时是勾选状态。

【编码转换】数据库编码是数据库的编码。转换编码是转换成的编码。当编码不一致时可以设置这两项来转换编码。

2.填写相应的 SPARK 数据库连接信息。

3.点击测试连接,提示测试成功,即该数据源成功连接到相应数据库。

spark3

4.  点击菜单栏 -> 保存,保存该数据源。创建数据集和制作报告模块都可以使用已保存的数据源。