Yonghong Z-Suite V8.7白皮书

<< Click to Display Table of Contents >>

当前位置:  Yonghong Z-Suite新增功能白皮书 

Yonghong Z-Suite V8.7白皮书

Previous pageReturn to chapter overviewNext page

重点新增功能详述

1.自服务数据准备

新增数据源基础属性,支持用户自定义连接属性

有的基础连接属性在建立连接时不能通过URL中添加,为了方便用户使用,所以需要在基础连接时自定义属性,例如 oracle.jdbc.ReadTimeout。

87-1

 

支持ThunderEngine 数据源

支持华为的ThunderEngine 数据源。

87-2

 

支持选择数据集或报告,查看其资源依赖关系

永洪产品上的资源分为 数据源,数据集,报告。报告上可以添加多个表格或者图表等组件。每个组件又会绑定一个或多个数据集。

在之前的版本中,永洪已经支持查询某个报告所依赖的所有数据集。新版本中,我们对血缘分析功能进行了增强,新增通过选择一个数据集,查询所有使用了这个数据集的报告。

选择数据集时,可以看到此数据集的整体数据脉络,由下图可以看出是 报告->数据集->自定义SQL语句->数据源的数据脉络。

87-3

 

请注意,此时以选中的数据集“咖啡中国市场销售数据”为唯一的确定的资源去查看脉络。

点击此节点时,可以看到详细节点上的名称,类型和路径,也可以清晰的看到此数据集的引用情况:

被5个数据集引用,被9个报告引用。

87-4

 

选择报告时,也可以清晰的看到报告的血缘分析。

此时以选中的报告“血缘分析”为唯一的确定的资源去查看数据脉络,一般的脉络为 报告->组件->数据集->数据库表或者SQL语句->数据源,具体截图如下。

87-5

 

血缘分析WebAPI

支持WebAPI的方式调用以上2种血缘关系。

 

增加删除提示,避免误伤数据源、数据集

为了避免管理员或者数据管理员误删资源的情况,用户在删除数据源或者数据集时,将会提示资源依赖列表,有效避免误删的情况。

87-6

 

自动返回数据库版本号,且允许用户自定义版本号

永洪产品从8.8开始区分版本支持数据源。

如下图所示,测试连接成功后,数据库版本上会自动获取数据源的主版本号。

数据源区分版本,比如说Impala的内置表达式操作,拆分列我们产品支持的函数为split_part,此函数只有在impala 2.3之后支持。当我们在测试连接的时候获取的数据库版本号为2.12,大于此版本号,所以对应的拆分列的可以下推到数据库(使用函数split_part);

当然如果获取的数据源版本低于2.3的版本我们产品会使用产品内存处理(产品叫法:后期处理),并且在数据集性能检测处显示橙色。

87-7

 

支持Mongo视图

新版本支持以可视化的方式直接获取Mongo视图。用户直接书写正确的管道命令就能获取视图的数据。

87-8

 

支持Mongo表达式

通过管道语句的形式,直接书写Mongo表达式。

87-9

 

数据集的性能优化

数据集性能优化,包括以下两个方面:

近似不同值计数和相关系数的后台sql优化;

自服务有1个节点内存处理,后面的节点不影响前面的节点的sql。

 

不再支持Script数据集

从8.7版本开始,永洪不再支持Script数据集。

 

2. 可视化

产品首页控制台优化设计

新版本中,针对产品首页进行了优化设计,围绕着用户使用添加了最近相关、我的收藏、来自分享、快速学习、典型案例、动态、数据探索、功能介绍等内容,提升了产品易用性,如下图所示。

87-10

首页内容介绍

最近相关 :显示用户最近编辑、查看的内容并可以快速进入。包括编辑报告,查看报告,数据源,数据集,流程审批,调度任务相关的内容。

数据探索 :展示数据探索流程,介绍每一步的功能意义,使用户对于数据探索有一个基本了解。

快速学习 :主要根据用户属性推荐展示相关教学视频内容,比如编辑报告的人员推荐编辑报告相关,数据处理人员推荐数据处理相关视频。

我的收藏 :显示用户收藏的报告

来自分享 :显示来自其他用户分享的报告

机器人 :智能问答机器人,解决用户常规问题和引导

动态 :公司动态新闻,宣传,版本更新等等

典型案例 :展示典型功能演示和行业案例

功能介绍 :主要展示版本新功能介绍

如何配置

Admin权限的用户可以通过管理系统-系统首页配置,配置要展示的内容。如下图

87-11

 

典型案例模块可以配置显示为数据探索模块,动态模块可以配置显示为功能介绍。

快速学习的内容客户可以根据实际需要进行配置,如果用户要配置自定义的视频内容,则需要在产品安装目录bihome下添加index.xml文件,具体格式如下图所示。

87-12

87-13

用户可以<video>标签增加内容,<more>标签用于指定点击more时跳转的地址。

增加index.xml文件后,刷新前台页面即可生效。

 

门户功能增强及交互优化

新版本优化了整个门户设计界面,布局方式优化为综合布局、左右布局。

87-14

制作门户功能优化了菜单逻辑,界面交互也进行了优化,导航与菜单之间的关系更加清晰,如下。

87-15

用户可通过菜单对门户中的导航/菜单进行设置,包括名称、绑定的报告、图标、是否隐藏等。也可以设置主页,添加新的节点。

一级导航下可以添加不同的子菜单,比如顶部导航,左侧一级导航(左侧布局)。这样可以支持用户点击不同一级导航时,切换到不同的菜单页面,层次结构更加合理,满足用户更多使用场景。

 

优化填报设置

填报支持暂存

在查看报告菜单栏新增保存草稿,可以将填报的内容暂存到数据库,下次打开的时候可以继续填报。

可以设置自动保存草稿和间隔时间。笔刷、缩放、钻取、分析联动操作不支持保存。

87-16

 

填报组件支持数据联动

填报组件支持单元格的联动效果,即下拉框的选项取决于另一列(关联条件列)的值。如下图所示,为“城市”选择关联条件“省”,那么当省份为“四川”时,同一行的城市下拉框中只能选择四川省的城市。

87-17

填报组件的联动,支持同源数据联动,即下拉框的选项与关联条件列的数据来自于同一数据源。当为同源联动时,只需在编辑器中选择关联条件即可实现联动。

87-18

填报联动也支持非同源数据联动,即下拉框的选项与关联条件列的数据来自于不同数据源。此时,需要在编辑器中选择关联条件与关联数据值。

87-19

填报参数新增内置参数

在填报参数源字段中新增用户、当前时间、工作流实例ID和执行ID四个参数。内置参数可以在报告中不显示,直接录入到目标表。

 

自由式表格更加灵活

之前的版本,自由式表格中同一方向扩展的多个字段之间需要有关联关系。而一些用户场景,行与行、列与列之间,不见得有关联关系。因此,在新版本中,永洪对自由式表格进行了优化,允许没有关联关系的多个字段沿同一方向扩展,即行与行之间、列与列之间的关系更加自由灵活。

以下图的表格为例,以往由于行与行之间的关联关系,此表格只能计算出北京市场的安摩拉多咖啡的销量。以这种表格形式,无法计算全国各市场的安摩拉多咖啡的销量。

87-20

而在新版本中,这种表格形式,也可以计算出全国各地的安摩拉多咖啡的销量,不受到上一行“省份”的影响,如下图所示。用户可以根据自己的业务场景,决定到底是计算北京市场的安摩拉多咖啡销量还是全国各地的安摩拉多销量。

87-21

不仅是行,列在扩展的时候,也可以不选择关联关系。例如下图,产品销量体现了每个产品的销量,和产品列具有关联关系,而总销量体现了所有产品的销量总和,和产品列没有关联关系。

87-22

 

新增日期参数应用,快速基于某个时间进行范围筛选

新版本增加了日期参数应用,用户可以通过应用市场,下载安装后即可使用。使用时界面如下图所示。

87-23

用户可选择一个基准时间,基于该基准时间快速筛选本周、本月、前7天等数据,用户也可以自定义时间范围,选择前/后时间范围的数据,如下图所示。

87-24

 

新增书签功能,可随时保存用户筛选条件

新版本查看报告新增了书签功能,用户在查看报告时,如果经常会筛选某些种类的数据,可通过书签随时保存筛选条件。保存的筛选条件可设置为该用户默认打开报告的选择项,也支持在查看过程中切换不同的书签查看不同的筛选数据。

87-25

 

过滤、参数组件支持模糊搜索,优化搜索体验

新版本列表过滤、树状过滤、列表参数、下拉参数支持模糊搜索,中文内容通过拼音或者拼音首字母也可以进行匹配,提升了搜索体验。

87-26

 

地图、点图形状支持自定义图标,满足更多个性化需求

新版本地图、Gis地图、点图、堆积点图,支持用户自定义形状,限svg格式图片。

87-27

上传图片后,用户可以设置形状为上传的图片进行渲染,显示效果如下图.

87-28

 

3. 深度分析

此版本优化了大数据量实验性能,支持将实验产生的训练模型应用于实验中,优化深度分析实验导出到数据库的逻辑,为产品后期实现算法插件化做准备。

 

优化实验性能

对于大数据量实验,节点数据显示及应用训练模型耗时长问题,提升计算效率。

对数据节点的数据显示进行调优,并对应用训练模型进行优化,缩短数据加载时间。

 

支持实验中直接应用训练模型

通过实验所得到的训练模型,可保存为“训练模型”,储存在操作下训练模型文件夹中。该文件夹内的训练模型可以在实验中作为模型节点直接被应用。

训练模型节点连线规则为:K-means聚类,决策树,逻辑回归所保存的训练模型,可以连接到评分节点。R训练模型可以连接 R数据节点。Python训练模型可以连接python脚本节点。

87-29

 

优化深度分析实验导出到数据库的逻辑

优化深度分析实验导出到数据库逻辑优化。可根据所选实验,一次性执行多个数据节点导出到数据库的任务。

87-30

 

4. 流程审批

新增“删除连接”,删除工作流数据库表

在数据库连接配置里,不仅可以创建工作流数据库表,也可以删除已存在的工作流数据库表。在8.7版本中,如果确认要删除工作流数据库表,可以在数据库连接窗口中,删除工作流表。

!注意:删除连接时,会将数据库中工作流数据一同删除。请勿随意删除连接。

87-31

 

新增数据保存功能,不提交审批的数据可以暂时保存

在发起流程或者审批流程过程中,业务人员可能在表单中填写了部分数据、或填写了审批意见、上传了附件。但在未填写完时需要先去处理别的事情,或者虽然填写完了但是还想检查一下,总之出于各种原因,暂时无法提交审批。此时需要保存已经填写的数据、审批意见、上传的附件,以便下次打开继续填写。

在8.7版本,我们支持了保存功能,满足用户保存的需求。

点击保存时,表单中填写的数据、审批意见、上传的附件都会被保存下来。

87-32

用户可以在草稿箱中找到自己保存的数据。如果有不需要的草稿数据,可以选中,进行删除。

87-33

 

5. 企业级管理

系统监控增加SQL执行开始结束时间,执行时长

在监控系统《仪表盘执行SQL语句信息统计》中新增SQL语句的执行结束时间,以及结束时长。

87-34

 

监控报表按监控内容进行分类,方便用户快速找到目标监控信息

监控系统增加了4个文件夹,分别为集市信息、血缘信息、性能统计、用户行为。

所有监控报表都根据监控内容,归类到这四个文件夹,方便用户快速找到想看的监控报表。

87-35

 

新增内存预警,及时提醒管理员剩余内存过小

系统预警中新增预警任务,监控产品内存使用率,当剩余内存空间小于总内存的20%的时候,将会触发预警任务,会给设置的推送人发送预警消息。

87-36

 

桌面端支持连接到服务端,并上传报告

桌面版通过输入服务器地址,服务器端的用户名和密码,连接到服务端;

87-37

桌面版在session有效期内会保存住连接状态,用户可以随时断开连接。

87-38

连接到server后,可以在制作报告模块,将制作完成完成的报告以及该报告依赖的资源上传到服务端。系统会检测上传的资源在服务端是否存在,用户可以选择是否覆盖已存在的资源。

87-39

如果报告使用的数据集通过“同步数据集数据”的作业做了物化,那么可以选择是否上传物化数据,如果选择上传,那么在服务端会查询物化数据。

如果报告使用的数据通过“增量导入数据”入了集市,在上传时会将集市数据所在的文件夹上传到服务端,在服务端会查询集市数据。如果服务端存在同名的文件夹,那么将不会上传集市文件。

成功上传后,会给服务端中的admin用户消息中心推送一条消息。

87-40]

同时,在服务端监控系统《用户操作信息监控统计》中会新增一条操作记录,记录的用户上传的资源明细。

87-41

 

6. 大数据

报表级别性能分析

一般打开一个永洪的报告步骤分为:打开报告,报告上不同的组件执行数据,将数据返回给前台渲染等。

这个过程一直是我们客户关心的重点,用户比较关心打开一个报表的关键步骤,每一步的执行时间都花在了哪里,哪个部分是耗费的时间较多,然后采取一定的措施减少费时较多的步骤。

对应的数据存储在监控系统,表名DBPERFORMANCE*。帮助用户从执行时间的监控数据中,发现执行较慢的原因,以便有针对性的解决性能问题。

 

制作报告增加性能检测

制作报告时,如果用户做了一些操作导致性能慢,右上角“检测性能”区域会出现小红点的消息提醒用户,此操作影响了性能,请用户按照建议修改。

87-42

 

解决join直接入集市导数慢的问题

假设客户有两个大表,都是千万级别的,需要Join后进行分析。但是,两个大表的结果传回Client节点,在Client节点进行Join时,Client节点因为压力剧增长时间没有任何反馈。这次的优化主要是针对这种场景。

既然单独的Client节点无法保证完成,那么就将Join计算hash分片到Map节点再进行Join。

用户通过勾选“Join结果加速”入集市即可。

87-43

 

优化结果排序时max_load_row的逻辑

当存在基于汇总值进行组内排序时,最后一个维度上定义的高级排序可以下推的数据库和集市中执行,先排序,再加载max_row。

 

表达式落盘使用压缩存储,节约存储空间

集市数据新建的表达式时,表达式落盘使用压缩存储,节约空间。

 

7. 移动端

全屏交互操作优化

在报告页中的chart、table、填报参数和仪表组件右上角增加全屏放大icon。

文本参数组件单击全屏

单击文本参数组件,组件变为全屏。

表格全屏后支持缩放

在表格、交叉表、自由表和填报组件全屏时,可以用双指等比例放大缩小表格。

 

Yonghong Z-Suite 新增功能概览

1.自服务数据准备

序号

新增功能

版本号

1

新增数据源基础属性,支持用户自定义连接属性

V8.7

2

支持ThunderEngine 数据源

V8.7

3

支持选择数据集或报告,查看其资源依赖关系

V8.7

4

血缘分析WebAPI

V8.7

5

增加删除提示,避免误伤数据源、数据集

V8.7

6

自动返回数据库版本号,且允许用户自定义版本号

V8.7

7

支持Mongo视图

V8.7

8

支持Mongo表达式

V8.7

9

数据集的性能优化

V8.7

10

优化数据集列多时入集市的提示,提升易用性

V8.7

11

停止支持Script数据集

V8.7

 

2.可视化

序号

新增功能

版本号

1

产品首页控制台优化设计

V8.7

2

门户功能增强及交互优化

V8.7

3

优化填报设置

V8.7

4

自由式表格更加灵活

V8.7

5

新增日期参数应用,快速基于某个时间进行范围筛选

V8.7

6

优化渐变色算法,提高色彩饱和度

V8.7

7

新增书签功能,可随时保存用户筛选条件

V8.7

8

过滤、参数组件支持模糊搜索,优化搜索体验

V8.7

9

查看报告增加返回操作配置,满足平台集成场景

V8.7

10

地图、点图形状支持自定义图标,满足更多个性化需求

V8.7

11

整体界面交互优化,提升用户体验

V8.7

 

3.流程审批

序号

新增功能

版本号

1

更好的流程图显示效果

V8.7

2

制作审批表单更加容易

V8.7

3

新增“删除连接”,删除工作流数据库表

V8.7

4

新增数据保存功能,不提交审批的数据可以暂时保存

V8.7

 

4.企业级管理

序号

新增功能

版本号

1

系统监控增加SQL执行开始结束时间,执行时长

V8.7

2

监控报表按监控内容进行分类,方便用户快速找到目标监控信息

V8.7

3

新增内存预警,及时提醒管理员剩余内存过小

V8.7

4

桌面端支持连接到服务端,并上传报告

V8.7

 

5.深度分析

序号

新增功能

版本号

1

优化实验性能

V8.7

2

支持实验中直接应用训练模型

V8.7

3

优化深度分析实验导出到数据库的逻辑

V8.7

 

6.大数据

序号

新增功能

版本号

1

报表级别性能分析

V8.7

2

制作报告增加性能检测

V8.7

3

解决join直接入集市导数慢的问题

V8.7

4

优化结果排序时max_load_row的逻辑

V8.7

5

表达式落盘使用压缩存储,节约存储空间

V8.7

 

7.移动端

序号

新增功能

版本号

1

全屏交互操作优化

V8.7