<< Click to Display Table of Contents >> Yonghong Z-Suite V9.0白皮书 |
❖重点新增功能详述
1.自服务数据准备
•数据源到数据集的引导提示
1)每次新建数据源,填好必填项之后,数据源工具栏会出现明显提示“点这里”,引导用户直接创建数据集。
用户也可以点击关闭“点这里”。
2)同样,数据集模块也会有“新建报告”的提示,引导用户在创建数据集之后直接开始报告的制作。
•数据集界面的功能及交互优化
1)“刷新元数据”的功能优化为“刷新数据”。用户选择表或自定义SQL以后,可以点击“刷新数据”,来查看元数据、数据详情,进行数据处理。
2)用户点击“刷新数据”后,显示数据详情,此时将出现引导性提示“点这里”。
3)数据详情(以前版本的“预览”)中的“刷新数据”按钮优化为 图标+tooltip的形式,如下图所示:
4)Excel数据集每次“上传”后,自动刷新数据,使Excel数据集用起来更方便。
5)数据集和数据源界面中,“新建”、“保存”和“另存为”的文案优化为图标显示。
6)SQL数据集新增参数示例,加强对用户的引导和帮助。sql数据集提供SQL语句的参数示例,帮助用户规范正确的书写SQL语句。
•数据集移动列交互优化
永洪在7.0版本中支持拖拽改变列的顺序,前提是配置manual.sort.repository=true。
在新的版本V9.0中,对拖拽移动列的交互样式进行了优化。
1)日期过滤取数的时候,以前是在交易时间上分组取数,然后取得最大和最小,9.0优化为直接取此列日期数的最大值和最小值。
2)对于日期过滤和范围过滤组件,如果是绑定的是SQL数据集的时间日期类型的数据,我们会默认新建一个日期表达式来进行数据离散化,但是下推到数据库拼写SQL的时候会两列都查出来,9.0优化为对于支持的数据库只拼日期表达式的列。且日期取数不再受list.qry.maxrow(建议设置大于2)的影响。
SELECT MIN(`交易时间`) AS LONG_COL_0, MAX(`交易时间`) AS LONG_COL_1
FROM celina.coffee_zhcn
3)如果添加了多列在过滤上,还是跟以前一样保持分组的取数逻辑。
从9.0.1版本开始,计算列增强,默认开启。如无需不开启,可设置use.yonghong.script=false。
•计算列增强,新增支持以下数据库
9.0版本新增支持的数据库为db2,derby(产品内置demo),gbase8a,hana,mysql,postgresql,gaussdb100,gaussdb200,greenplum,max compute。
基本保证每个支持的数据库每个函数都下推。
•V9.0版本更细粒度的语法检测,针对不同函数和数据类型进行不同的提示
输入计算列的同时,不同的函数参数和参数的个数和数据类型都不一样。
9.0支持了更细粒度的语法检测,会根据不同的函数和数据类型进行参数个数和参数数据类型的提示。
➢例1:
当参数的数据类型使用错误时,将会在语法检测处时提示。比如dateGap(col['咖啡因类型']),dategap错误的使用了参数(字符串),正确的使用的参数类型为(日期时间,日期时间,字符串)。
➢例2:
有些函数的参数数据类型为通用型,我们在语法语法检测中将用expression代替。
例如,只输入ifNull()时,将会提示ifNull错误的使用了参数(),正确的使用的参数类型为(expression,expression)。
•V9.0版本的数据集增加无效计算列的提示
9.0版本的数据集界面中,如果用户直接保存了语法错误的表达式,数据列后面会出现一个红色感叹号,提示用户计算错误。
该提示与语法检测同步:语法检测有错误的计算列就算无效列。执行时直接抛错,无效列不干涉执行。
注:8.8版本已支持了制作报告界面中无效计算列的提示。
使用Mongo数据集制作报告时,mongo计算列新增支持聚合函数,且支持大多数Mongo管道语句的下推。
在进行数据分析,实现数据上钻下钻前,需要首先创建数据层次。而在之前的版本中,创建数据层次需要在数据集模块进行。
有些大型客户在集成环境下,只集成了制作报告模块,而没有集成数据集,导致这些客户很难进行钻取分析。新版本为了让集成客户更方便地进行数据上下钻,将创建数据层次的功能开放到了制作报告模块。
1.用户在制作报告时可以直接选择多列去新建层次。
2.如果用户已经在数据集新建了层次,制作报告时无法再改变数据集中创建的层次列,如下图所示:
制作报告模块支持新建日期表达式和日期层次,且在表达式后面对每一个例子进行了说明,提升易用性。
默认展示常见的日期表达式,界面如下:
增加 max.permit.rows 控制非sql计算的终止(V9.0.1)
系统设置>系统参数配置新增max.permit.rows,控制集市计算或 内存处理中汇总计算的最大行数,默认值为5000000。如果超过,计算将会终止。
2. 可视化报告
新版本对组件属性设置栏进行了归类优化,主要分为了组件、数据、格式、轴、图形、设置等。如下图所示:
格式:包含一些组件和组件元素相关的基础格式设置,以及组件样式。
轴:行列轴相关的设置项,即以前的轴,未变动。
图形:包含绘图和图例,以及图形绘制相关的设置项。
设置:包含组件属性设置和分析功能(高亮、超链接、预警、目标线、趋势线)。
新版本编辑报告和查看报告时,支持组件全屏和报告全屏。组件全屏时,会放大至报告区域大小进行绘制,方便用户进行局部图形编辑和查看。如下图所示:
编辑报告组件全屏:
查看报告组件全屏:
新版本普通表设置高亮时支持开启应用到整行(简称行高亮),方便用户高亮某个维度的数据。行高亮可以在该行的任一列进行编辑。行高亮优先级低于单元格高亮。
新版本对自由式表格做了如下优化:
缩短单元格名称,单元格绑定列时不再自动加上数据集名称。
元数据模式下,单元格按照“↓单元格名称:列名”规则进行显示。
Cell函数引用非扩展的单元格时,支持取数。
格间计算增加了left(int: offset),right(int: offset),up(int: offset),down(int: offset)四个函数,用户在做格间计算时,可通过这四个函数引用当前单元格左、右、上、下四个方向的单元格。
函数说明如下:
•left(int num)
格间计算里引用格子的函数,表示当前单元格左侧第num个单元格。
注意:num需要大于0。
例如:left(1)表示当前单元格左侧第一个单元格。
•right(int num)
格间计算里引用格子的函数,表示当前单元格右侧第num个单元格。
注意:num需要大于0。
例如:right(1)表示当前单元格右侧第一个单元格。
•up(int num)
格间计算里引用格子的函数,表示当前单元格上方第num个单元格。
注意:num需要大于0。
例如:up(1)表示当前单元格上方第一个单元格。
•down(int num)
格间计算里引用格子的函数,表示当前单元格下方第num个单元格。
注意:num需要大于0。
例如:down(1)表示当前单元格下方第一个单元格。
新版本topN排序、表格渲染、预警详细信息、目标线支持引用参数,满足动态排序、动态渲染以及发送不同预警信息等场景。
门户导航栏及左侧栏均增加选中和未选中格式设置,对应icon支持定义尺寸。如下图所示
新版本优化了目标线交互,并增加了表,区,单元格三种模式,目标线和区间线均支持这三种模式。
目标线-表:
目标线-区间:
目标线-单元格:
新版本超链接传参时,URL中不再显示参数,缩短URL长度,解决因参数过多、层次过深导致无法访问的问题。
普通表,交叉表,自由表增加高自适应功能,表格可根据实际数据展开显示,数据较多时不建议使用。
表格分页支持查看时切换分页数,用户可根据场景增加或减少分页行数。
新版本重新设计了查看报告loading样式,用户可通过配置viewer.loading.name自定义样式。
新版本增加了甘特图支持,用户可通过产品快捷完成甘特图制作,如下图:
此外,甘特图还支持了时间层级设置,可以调整时间轴以及图形的绘制,如下图:
新版本GIS地图增加了HereMap支持,但默认不开放。用户可自行配置HereMap地图以及Key进行使用。
新版本将列表参数、下拉参数组件自定义数据调整到数据菜单中,如下图:
如果用户添加了自定义数据,则会有相应的交互提示,如下图:
新版本在数字格式中默认增加百万,并优化了格式显示,展示为格式化后的样式。
新版本对过滤界面进行了优化,逐步引导用户设置过滤,并将选择值分为了参数、字段值两类。
另外,优化了“其中一个”“包含其中一个”的交互界面,添加了介绍并优化了选择方式。
新版本自由布局支持全局筛选功能,全局筛选区域固定显示,不随着报告滑动而移动。全局筛选支持设置在报告顶部和左侧,支持拖入过滤组件、传参组件、文本组件、图片组件、提交按钮。
新版本自由布局支持多标签页功能,一个报告中可以设置多个标签页,方便用户管理报告。页签栏支持显示在报告顶部和底部,另外多个标签页共享一个全局筛选,自适应时以整体最大的宽高进行自适应。
新版本查看报告,如下图报告不自适应时,滚动条显示在右侧,优化界面展示。
新版本支持隐藏快速学习和功能介绍模块,可通过配置homepage.hiddens=fastLearning,instruction,将快速学习和功能介绍模块隐藏。
在脚本、计算列编辑界面中,双击选中已输入的函数,会自动显示函数对应的解释,提升易用性。
支持相同维度间柱子堆叠对比的效果,以满足度量间数值的比对。同时可满足特定的制作靶心图场景。
永洪自主开发的图表类型“标记组”处“标签”支持绑定多个列,最大绑定列数为10个。
指标卡针对数值标记设置高亮提供更丰富的文字样式。
针对柱、点、线、面及相对应的堆积类、盒须图、雷达、矩形树图、组织图、地图等图表类型的标签“自动”显示进行算法优化。
永洪自主开发图表支持标签对齐功能,可以依据标签与图形相对位置,以及多标签内部之间产生对齐关系。
过滤/参数组件的下拉布局与下拉参数组件的样式统一 。
优化3D饼图引导线样式,使其与普通饼图引导线展示逻辑相同。
针对永洪自主地图的边界进行细节平滑展现优化,包括大洲、中国、美国、日本、澳大利亚、加拿大、新加坡。
颜色增加新的配色形式——“发散”。不仅内置多个发散配色模板,还支持用户自定义发散,且在自定义主题中提供设置发散效果。
离散颜色编辑框增加多套内置配色方案,包括单色、渐变配色方案。其中还包括更友好的色盲、灰度等特殊场景下的配色方案,以满足不同配色风格需要。
针对渐变编辑框内功能布局进行调整,将原有配色设置收入“色板”下拉选项,同时增加多套内置渐变方案,并优化了渐变颜色展示效果。
优化维度列渐变配色方案,使其可以根据维度数进行“动态”配色。
配色方案增加预览图标,同时增加下拉展示区域的长度可以展示更多的预览配色方案。
3. 轻量级填报
新版本增加了轻量级填报功能,轻量级填报是一款支持高并发,支持企业定制化服务,界面和交互友好的填报表单系统。可以满足报名登记,问卷调研,在线评测,活动投票,在线考试,在线订单,邀请函,填写表格数据入库等场景。
包括单行文本、多行文本、数字、日期时间、单选框、复选框、下拉框、图片、文本描述、地址、定位等,且支持丰富的设置,可以满足各种需求场景。
支持系统发布和公开发布两种方式,公开发布后,非系统用户也可以填写表单
4. 深度分析
新版本支持通过插件的形式将算子安装到深度分析模块。产品提供了许多内置算子,可以通过权限控制使用。用户也可以根据需要,自己开发插件算子安装到产品中。
插件算子全部为双耳算子,用户可以根据需要编写算法名称、算法功能描述、参数列表、自变量、因变量、输出列表等。
插件操作目录有数据变换、统计分析、算法、模型集成和验证与评估,也支持用户自定义插件文件夹名称。
如实验的数据发生改变,运行过的算子可以重置执行的结果,使用新数据重新进行运算。
运行实验后,在菜单栏-更多中选择运行记录,可以查看实验的运行结果,包括运行的开始\结束时间,运行时长,运行结果,操作者和运行的信息,方便了解实验的历史运行情况。
在操作中新增WEB服务,包括REST请求和REST响应节点。将节点拖入画布中并连接后,在菜单栏-更多中选择服务配置,输入参数代码得到实验结果,并进行调试,通过参数配置提供的API接口和API密钥可以部署实验。
在调度任务-类型中新增深度分析实验,选择实验,操作支持保存为数据集、导出到数据库和部署为REST服务。
当关闭整个浏览器或者浏览器崩溃退出后,再次打开深度分析模块,对于未保存的实验,提供自动恢复功能,用户可以选择需要恢复的实验。
在顶部导航栏新增自动布局,可以实现画布中节点布局整齐清晰,方便查看和使用。
5. 企业级管理
9.0版本近一步打通服务器端和桌面端,支持从服务器端下载数据包到本地,然后使用桌面版一键打开。本地完成分析后,可以将分析成果上传回服务器。
•数据下载
提供两种形式的数据下载:数据库连接和离线数据。
有读权限的数据集都支持下载离线数据,可用于无网络时进行离线分析。下载离线需要用户输入下载行数,管理员可以设置允许用户下载的最大行数,默认最多1万行。下载离线数据时,会先执行行列过滤以及数据脱敏,从执行结果中抽取指定行数。
如果是没有添加行列过滤和数据脱敏的SQL数据集和Mongo数据集,还支持下载数据库连接,即数据集和依赖的数据源,实现在本机连接访问数据库数据。管理员可以设置下载的数据源连接是否清空密码,默认清空,防止不知道数据库连接配置的用户在本地随意导数。
•资源文件
服务器下载数据到本地后,会生成一个yhqry后缀的文件,如果本地已经安装了桌面版,可以直接双击文件打开(linux系统需要右键打开),打开时系统会检测本地是否有同名资源,用户可以选择覆盖后打开或是放弃打开。
•安全管控
用户能否下载数据受操作权限管控。下载数据后会给管理员推送消息,同样监控系统用户操作统计中也会记录下载详情。
对分组管理、角色管理页面的用户信息dialog进行了优化。新版本除了之前的用户名和昵称外,还将会显示邮箱、优先级、分组、角色、自定义属性等字段内容,便于管理员在维护分组和角色时对用户设置是否正确进行审查。
某些客户LDAP中的组织架构和产品中的组织架构不同,9.0增加参数ldap.group.synchronize,当值为false时,同步LDAP将不会修改产品中已有用户的分组。
Yonghong X-Suite推出数据库系统及高可用方案——X-Backup
X-Suite支持数据库系统及高可用,与Z-Suite不同的是,X-Suite的高可用方案支持两台服务器,需要设置其中一台为主节点另一台为次节点并配置负载均衡,在数据空间配置相同的数据库系统。
当两台服务器都可用时,用户的访问都会转发到主节点,此时次节点处于备用状态。当主节点发生故障不可用时,才会启用次节点。当主节点恢复正常后,自动切换回访问主节点。
X-Suite如果需要高可用,单独购买X-Backup。
增加参数password.security.check=true/false,默认为false。当修改为true时,admin、admin_role、groupadmin_role在用户管理页面修改/重置用户密码时,需要先校验身份——输入自身密码,密码正确才可以保存修改。
6. 大数据
V9.0.1版本将不再划分CNMR节点,而是分为C节点和Vooltdb节点,由vooltdb节点承担集市计算任务,计算性能较旧版本大幅提升。
Vooltdb节点的安装与管理均在C节点上操作。对于多服务器集群环境,Vooltdb节点可以承担C节点的角色,也可以不承担;对于本地集市,vooltdb节点也需要承担C节点的角色。Desktop产品会默认安装vooltdb,其余产品则需要管理员手动安装。
为了更加方便地使用vooltdb模块,产品管理系统新增vooltdb管理模块,包含:
(1)节点管理
节点管理模块可以新增、删除vooltdb节点,修改节点配置等。
(2)节点状态
节点安装成功后,可以查看节点实例的状态。如果节点宕掉可以通过此模块重启。
(3)数据迁移
从旧版本升级到901后,可以通过数据迁移将之前集市中的数据迁移到vooltdb中,从而不影响原有的集市查询。
(4)Vooltdb监控管理
•节点使用资源
统计c节点和vooltdb节点的CPU使用率, 内存使用率,磁盘使用率,网络速度。
•数据集市数据集任务信息统计
按照集市文件夹来统计定时入集市的文件,用户可以筛选集市文件夹和是否运行成功。
•数据集市文件信息统计
•统计集市文件
新一代数据处理引擎的预警任务,基本和以前mpp集市的预警任务一样,包括:磁盘空间不足、节点状态异常、Query执行时间过长,数据库宕机,账户限额,FullGC过于频繁,CPU使用率过高,内存使用过高。
去掉了网络断路和节点不一致。
8.7版本中制作报告时,如果用户做了一些慢的操作导致性能慢,直接在“检测性能”区域用小红点的消息提醒用户,此操作影响了性能,请用户按照建议修改。
在9.0版本中,对性能检测功能提供了以下优化:
1)性能检测的功能入口优化为性能帮助->检测性能。
2)新增了部分性能规则,覆盖更多的性能问题。
3)在制作报告保存或者另存为的时候,将会默认弹框提示性能检测具体原因和建议。(此弹框可以通过系统设置中的db.save.performance.detail关闭)
打开报告的时间一直是用户关心的重点。用户关心打开一个报告的关键步骤,每一步的执行时间,哪个步骤是耗费的时间较多,然后采取一定的措施减少费时较多的步骤。在8.7版本中,我们已经支持了该场景的需求。而9.0版本进一步增强该功能,让业务用户能在制作报告时分析报告的数据处理性能,也能让管理员用户在监控系统查看报表打开较慢的原因。
动态性能分析报告包括两部分:
1)制作报告顶部导航栏->性能帮助->动态性能分析报告。
当前将会模拟打开一个报告的数据执行过程,并将数据执行的过程用甘特图显示出来。制作报告的人员可以清楚了解报告打开的全过程以及数据执行时间。
2)监控系统->“运行资源信息监控统计”记录了每个报告执行数据的阶段和时间。
仍旧是通过audit.performance.record.limit控制的,现在默认值是10*1000ms(默认单位ms),
当执行数据的请求时间超过了10s的规程将会被监控系统记录下来。用户在“运行资源信息统计”中选择资源为报告,且选择列为“运行资源”,点击将会看到每张报告的执行过程的运行时间分析。
7.移动端
下拉参数组件支持通过配置参数变为PC交互形式(V9.0.1)
下拉参数组件支持通过配置参数变为PC交互形式。默认情况下,mobile.fullscreen.textParamElem=true。配置其属性值为false,可以将下拉参数组件的交互形式修改为PC端的交互形式。
一些常用的全屏分析操作,开放到报告页,让用户在手机app查看分析数据,更加方便。
报告页支持以下图表操作:查看标签、超链接跳转、图表钻取;支持以下表格操作:超链接跳转、排序(升序、降序、无序)、表格钻取、表格滑动。
手指在屏幕上滑动,可以选中图表的某个标记,查看具体的数值,也可以在选中标记后进行超链接跳转,也可以直接进行图表下钻。
不仅图表的分析更加方便,表格的一些常用分析操作也开放到了报告页。用户可以直接进行表格的上钻、下钻、超链接、排序。
说明:如果某组件不想在报告页进行数据查看以及分析操作,可以在制作报告时,取消勾选移动端“可选中”属性。
数据的范围过滤,无需进入全屏,可以直接在报告页拖动范围滑块,直接进行过滤。
❖Yonghong Z-Suite 新增功能概览
1.自服务数据准备
序号 |
新增功能 |
版本号 |
1 |
V9.0 |
|
2 |
部分数据集默认显示数据详情 |
V9.0 |
3 |
V9.0 |
|
4 |
V9.0 |
|
5 |
V9.0 |
|
6 |
V9.0 |
|
7 |
V9.0 |
|
8 |
V9.0.1 |
2.可视化
序号 |
新增功能 |
版本号 |
1 |
V9.0 |
|
2 |
V9.0 |
|
3 |
V9.0 |
|
4 |
V9.0 |
|
5 |
V9.0 |
|
6 |
V9.0 |
|
7 |
V9.0 |
|
8 |
V9.0 |
|
9 |
V9.0 |
|
10 |
V9.0 |
|
11 |
V9.0 |
|
12 |
V9.0 |
|
13 |
参数组件自定义数据优化 |
V9.0 |
14 |
列表组件全选优化 |
V9.0 |
15 |
V9.0 |
|
16 |
V9.0 |
|
17 |
V9.0 |
|
18 |
时间轨迹图增加轴标签格式设置 |
V9.0 |
19 |
资源跳转交互优化 |
V9.0 |
20 |
V9.0 |
|
21 |
V9.0.1 |
|
22 |
V9.0.1 |
|
23 |
V9.0.1 |
|
24 |
超链接导出优化 |
V9.0 |
25 |
编辑报告页面优化 |
V9.0 |
26 |
V9.0 |
|
27 |
V9.0 |
|
28 |
V9.0 |
|
29 |
V9.0 |
|
30 |
V9.0 |
|
31 |
表格样式优化 |
V9.0 |
32 |
V9.0 |
|
33 |
V9.0 |
|
34 |
V9.0 |
|
35 |
V9.0 |
|
36 |
V9.0 |
|
37 |
V9.0 |
|
38 |
V9.0 |
|
39 |
V9.0 |
3. 轻量级填报
序号 |
新增功能 |
版本号 |
1 |
V9.0.1 |
|
2 |
V9.0.1 |
|
3 |
V9.0.1 |
|
4 |
V9.0.1 |
|
5 |
V9.0.1 |
|
6 |
V9.0.1 |
|
7 |
V9.0.1 |
4. 深度分析
序号 |
新增功能 |
版本号 |
1 |
V9.0 |
|
2 |
V9.0 |
|
3 |
V9.0 |
|
4 |
V9.0 |
|
5 |
V9.0 |
|
6 |
V9.0 |
5. 企业级管理
序号 |
新增功能 |
版本号 |
1 |
V9.0 |
|
2 |
V9.0 |
|
3 |
V9.0 |
|
4 |
重启系统场景下,优化调度任务的执行结果提示 |
V9.0 |
5 |
V9.0 |
|
6 |
V9.0 |
|
7 |
权限显示优化 |
V9.0 |
8 |
集成场景下,各模块跳转优化 |
V9.0 |
6. 大数据
序号 |
新增功能 |
版本号 |
1 |
V9.0.1 |
|
2 |
V9.0 |
|
3 |
V9.0 |
7. 移动端
序号 |
新增功能 |
版本号 |
1 |
V9.0.1 |
|
2 |
V9.0 |
|
3 |
V9.0 |
|
4 |
优化过滤组件的展示样式 |
V9.0 |