<< Click to Display Table of Contents >> Yonghong Z-Suite V8.6白皮书 |
❖重点新增功能详述
1.自服务数据准备
在数据对接层面,永洪已实现对华为云的MRS、DWS的IAAS资源对接。因此永洪BI可结合华为云上的大数据能力为客户提供一体化的大数据分析整体解决方案。永洪数据可视化解决方案中,将BI、云主机、以及MRS/DWS,按照用户不同的数据量及用户量需求场景进行不同梯度的套餐包进行打包。由华为云平台对客户提供MLS服务,包括数据批量接入、流处理、大容量的数据的存储和分析服务,而永洪BI则基于存储在华为云平台上的数据提供可视化展现服务,释放数据价值。
同时针对于华为FusionInsight HD, FusionInsight ELK,GaussDB, 永洪也都做了很好的支持。
支持华为云数仓DWS连接如下:
FusionInsight HD 连接或者 华为云MRS连接如下:
华为GaussDB 200连接如下:
Elasticsearch 是一款全文本搜索引擎,具有您能想到的所有优势,例如相关性评分、词干提取、同义词等等。此外,由于为分布式文档存储(具备水平可扩展性),其能够处理数十亿行数据,且保证不会错过任何一个监测信号。借助 Elasticsearch SQL,您可以使用熟悉的查询句法进行全文本搜索,实现闪电般的速度,并可轻松进行扩展。
由于ElasticSearch从6.3开始官方正在支持SQL功能模块,兼容JDBC, ODBC的语法。永洪产品在8.6版本支持了用jdbc连接Elastic Search数据源。 永洪产品支持大部分场景的即席SQL查询,但是如果Elastic Search SQL本身不支持的语法,永洪产品也不支持。
大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。
在永洪较早的版本中,用户需要通过GENERIC数据源连接MaxCompute.。而8.6版本,在界面上开出了专门的Max Compute 数据源入口,并且进行了一系列的SQL下推数据库优化,日期列入集市等,提升了易用性。
Greenplum 大数据平台基于MPP(大规模并行处理)架构,具有良好的弹性和线性扩展能力,内置并行存储、并行通讯、并行计算和优化技术,兼容 SQL 标准,具备强大、高效、安全的PB级结构化、半结构化和非结构化数据存储、处理和实时分析能力。
永洪专门支持使用jdbc的方式连接Greenplum。用户连接后可以直接在SQL数据集中通过简单的拖拽或者写SQL 的方式进行查询。
在某客户的POC过程中,我们发现SAP BW在拿超大型数据的时候,JCO API 的方式可以更好,更快的解决性能问题。在8.6之前我们支持了通过XMLA的方式连接SAP BW, 8.6 永洪产品支持SAP BW JCO连接的方式。
配置环境
注:下文中使用到的 SAP 的文件请到SAP 官网下载。 请注意,此下载连接需要有SAP账号,可能是SAP付费账号。一般来讲,购买了SAP相关服务的企业都有权限下载。
windows |
1、sapjco3.dll放在C:\Windows\System32路径下 |
|
2、sapjco3.jar 放在Yonghong\lib路径下 |
||
linux |
1、sapjco3.jar 放在Yonghong\lib路径下 |
|
2、libsapjco3.so |
JDK9及以上放在%JAVA_HOME%\jre\bin路径下 |
|
JDK9以下放在%JAVA_HOME%\jre\bin路径下 |
||
3、libsapjco3.so 放在usr\lib64路径下 |
▪SAP JCO 连接示例
通过多维数据集获取SAP JCO 连接后,可以直接通过可视化的方式获取SAP BW BExQuery。BExQuery在永洪多维数据集上直接映射成了Cubes,以可视化列表的形式展示出来。用户只需要选择对应的Cube就可以进行分析了。
另外,永洪产品用SAP JCO方式获取SAP BW BExQuery时,也可以获取BExQuery变量。在刷新元数据时,变量以参数的形式直接弹出。用户可以看到参数的默认值,可选值,也可以直接通过可视化的方式选择值。
多维数据集中文本类型的列支持转换为日期列,根据数据的关键字进行转换,转换后可以建日期表达式。
在之前的版本中,用户只能通过sql.parse参数,在系统设置的系统参数配置-基本参数配置中,在全局范围统一控制SQL解析器的开关。
8.6永洪产品支持了在单个SQL数据集上支持SQL解析器。DBA或者IT人员再也不用担心某个SQL数据集的SQL解析器的开关问题了。
在过去的版本中已经针对SQL Server(8.5支持),MySQL(8.5支持),DB2(8.5支持),Oracle(8.0.1支持)数据库做了报告细节数据分页查询的功能。在此基础上,8.6版本又新增了对GBase和Kylin数据库的支持,实现数据库分页查询,不再一次性查询所有数据,而是分批次查询数据,减少服务器资源占用,提升数据访问性能。
IT人员可以给数据集中的每个列添加备注信息,业务人员在做自助式分析的时候直接可以看到此列的备注信息,方便易用。
列备注示例:
业务人员在制作报告时,鼠标移动到这个字段处,可以清晰的看到备注。
SQL全屏功能,方便IT用户或者业务人员写SQL的时候,进行全屏编辑。
优化以下功能的入口:过滤器、显示总行数、导出到数据库、刷新数据。
2. 可视化
8.6版本增加了数据源-数据集-制作报告-查看报告全流程基础操作引导,新用户可通过操作引导快速了解产品基本功能和使用方法,提升产品易用性。
已关闭操作引导的用户可通过user-操作引导菜单再次进入,如下图。
▪自由表新增支持动态计算,满足更多更复杂的场景需求
如图所示,对2015年和2016年销货成本进行排名计算,最后再通过格间计算得到排名变化。
▪自由表体验优化
8.6版本开始,自由表常量支持双击单元格编辑以及剪切粘贴单元格内容,更方便快捷。聚合函数的交互和提示,编辑模式下的自由表选中体验,子菜单弹出速度,自由表列名编辑,自动设置横向父单元格,均优化了交互体验,用户使用自由表更流畅方便。
•新增脚本函数row、column、rsize、csize,提高格间计算的易用性
在进行格间计算时,row表示当前行号,column表示当前列号,rsize表示总行数,csize表示总列数。
注意:row,column是从0开始计算,自由表左上角的第一个为原点。rsize,csize 是具体的行列数,有数据就是从1开始。
引用格子进行格间计算有两种方法:
1. 通过格子的名字进行引用。
例如:col('market')
2. 通过行列坐标值进行引用。
例如:
cell(1,3),表示第2行第4列的格子。
cell(row,1),表示当前行的第2列的格子,如果当前行有扩展,会获取扩展后的数据并计算。
cell(1,column),表示当前列的第2行的格子。
cell(row+1,column-1),表示当前格子紧挨着的左侧向下的单元格。
cell(row, csize-1),表示当前行的最后一个单元格。
cell(rsize-1, column),表示当前列的最后一个单元格。
cell(rsize-2, csize-2),表示倒数第2行,倒数第2列所在的单元格。
▪支持一个报告上填报的数据录入多个库
支持设置多个填报,即将同一张报告的同一个字段,回填至不同的数据库表。
▪统一设置填报的功能入口,优化填报设置
无论通过什么组件形式进行填报,进入填报设置都统一通过报告顶部导航更多-填报参数设置填报。去掉填报组件的填报参数设置。
每个填报可以单独设置提交类型,当有填报参数组件的时候,提交类型支持智能提交,根据报告中的数据自动匹配提交类型。
优化填报参数组件的源字段显示。填报组件的源字段格式变为:填报参数组件名称:字段名。
▪优化数据入库方式,填报入库数据合并
每个创建的填报,在数据库中记录一条数据。
▪高级设置中新增更新方式
在右侧菜单栏高级中新增加“以加载Excel数据方式,更新时删除当前全部数据”,默认勾选。
▪优化提交设置
当选择提交组件时,可以选择报告中所有填报都提交或单个填报提交。
如没有添加提交组件,在查看报告的菜单栏中会自动增加提交按钮,如有提交组件将不会显示此按钮。
8.6版本的列表过滤,树状过滤,列表参数组件增加了全选选项,优化了使用体验。
新版本门户左侧导航增加了手动排序,用户可通过拖动对左导航菜单项进行排序,优化了使用体验。
同时对于无报告权限的用户,打开门户时,报告会自动隐藏。
用户可根据需求对度量列数据进行过滤设置,以得到一个新的度量列。比如下例中,通过对销售额新建过滤列分别得到2015,2016以及不含茶的销售额数据,并在同一表中展示。
过滤列特性如下:
·过滤列本身也支持动态计算。
·细节表达式支持新建过滤列,LOD和聚合表达式不支持新建过滤列。
·细节表达式不能引用过滤列,如果有引用,则会在表达式编辑时提示错误。
·聚合表达式可以引用过滤列。
·细节数据不支持展示过滤列.
8.6版本支持将海南九段线配置为小图显示,以美化地图。小图显示位置支持配置(有下角和左下角),组件大小变化时,地图会自动进行调整。
表格组件、文本组件、指标卡组件新增动态效果,满足更多大屏需求
▪表格组件支持单行滚动和文本溢出滚动效果
8.6版本表格组件新增了滚动设置,包括单行滚动和溢出文本滚动(说明:分页模式下不支持滚动)。用户可通过设置滚动时长,滚动速度等来调节滚动的效果。如下图:
▪文本组件支持跑马灯效果
文本组件新增了滚动设置,用户可根据需求调节滚动速度,末尾间隔,停留时间等。效果如下图,
▪指标卡组件支持翻牌效果
指标卡新增了数字翻牌效果,开启功能后,在加载组件或数字变化时,会显示数字翻牌动效。
新增monday.first.day.of.week参数配置。如果配置monday.first.day.of.week=false,则日期组件的周起始日为周日,如果配置为true,则周起始日为周一。
8.6版本增加了10套精美边框素材,默认放在Frame文件夹下,包括很多动效边框,丰富了报告的展现。
▪增加组合组件对齐方式设置
选择多个组件后,对齐方式显示在右侧菜单栏,包括顶端对齐、底部对齐、左对齐和右对齐。
▪增加组合内组件高度修改设置
选中组件后,在右侧菜单栏显示组件高度,可以修改。
▪增加使用鼠标拖动组件边框修改组件高度
可以用鼠标直接拖拽边框来修改高度。
▪增加手机尺寸选择和缩放比例选择
可以通过切换手机尺寸和缩放比例在PC端预览报告在手机端的展示效果。
3. 流程审批
在8.5.1的版本中,流程审批的数据库需要在属性文件中进行配置。而在8.6中,我们将这一配置,放在了管理系统中。
只要在 管理系统>系统设置>数据库连接配置 中,选择一个数据源,就可以将工作流系统部署在这个数据源。
部署数据库的过程,需稍作等待。部署完成,会有成功提示。完成后,可直接从左侧导航栏,进入到流程审批系统。
8.6版本中,流程审批在易用性方面做了优化和提升,希望流程的制作过程更加好用。流程制作的易用性提升主要包含三个方面:
▪优化流程属性的设置方式
设置流程属性更加好用。在旧版本中,需要点击流程空白区域,方可设置流程属性,这种设置行为较为隐晦。所以在8.6版本中,我们对属性面板进行了优化,分隔成流程属性设置面板和节点属性设置面板。用户只要切换到流程面板,即可设置流程属性。
▪优化某审批节点忘记添加审批人的提示
新版本,对忘记添加审批人的提示进行了优化。在新版本中,如果流程开发人员忘记为某个审批节点添加审批人,那么在他发布该流程时,系统将提示未配置审批人,且不允许发布。
▪优化审批人设置的易用性
在旧版本中,流程开发人员通过弹窗的形式选择审批人,选择完成后,流程界面没有展示其所选择的审批人。这样,当流程节点较多时,流程开发人员很难记清楚哪些节点已经选过审批人,哪些没有选择审批人。于是,8.6版本中,流程界面会显示被选择的审批人,使流程的设置更加好用。
▪优化审批表单设置的易用性
为了防止流程开发人员忘记哪些节点添加过表单,哪些节点未添加表单,8.6版本将所选择的表单直接展示在流程界面中,方便流程开发人员添加或更换审批表单。
8.6不仅使流程的制作过程更加易用,对流程的应用也做了优化,希望可以提升用户体验。
▪优化页面显示的流程数
充分利用屏幕的空间,在每个页面显示更多的流程。
▪优化审批表单的区域高度
审批表单的区域高度随表单的高度变化而变化。让用户直接通过浏览器的滚动条,就可以看到完整的表单。
4. 深度分析
此版本为产品后期实现算法插件化做准备,重新划分“操作”下内容、优化算法节点、增加视图节点、增加导出节点,同时优化节点间连线规则,具体如下:
数据:保持原有功能一致,为产品中数据集资源;
数据变换:保持原有功能一致,对数据进行数据加工;
数据探索:保持原有功能一致,提供相关分析;
算法:将原始“建模”改为“算法”,支持算法个数无变化,原R模型转移至脚本文件夹中;
验证与评估:新增独立文件夹,内置“评分”节点;
脚本:新增独立文件夹,内置“Python脚本”“R数据”“R绘图”“R模型”;
视图:新增独立文件夹,内置“图片视图”“表格视图”“数据集视图”;
导出:新增独立文件夹,内置“导出到数据库”“保存为数据集”“保存为训练模型”“保存为PMML文件”“保存为EXCEL”“保存为CSV”
将原始“Python模型”“Python数据”“Python绘图”三节点合并为一个节点,“Python脚本”,通过该脚本可实现原三个节点的功能。这个版本暂不会处理R相关节点,会面版本会插件化实现更优的R算法节点。
独立出三种结果展示节点,分别为“图片视图”“表格视图”“数据集视图”,用户可根据自己的展示需要自行定义展示效果,同时也和算法解除绑定,更适合未来插件化展示。
独立出六种导出型节点,分别为“导出到数据库”“保存为数据集”“保存为训练模型”“保存为PMML文件”“保存为EXCEL”“保存为CSV”,可使模型、数据输出更为方便灵活。
新版本,在连接各节点时,系统会智能判断节点是否可以连接。
另外,在早期版本中一个节点(非数据节点)只能有一个输出节点。新版本对此进行了优化,支持一个节点之后同时连接多个节点,增加模型使用的灵活性。
5. 企业级管理
定时任务发邮件,如果选择的附件类型为“无”,报告不会添加到邮件附件中。
水印内容,增加“用户名+昵称”选项,即可在水印中同时显示用户名和昵称。
另外,水印内容>自定义文字支持了内置参数,例如在自定义文字中输入?{_THIS_YEAR_}?{_USER_},则水印内容为 2019 username。
管理员通过prompt.weak.pwd=true/false可以控制是否强制用户修改不符合规范的密码。参数值为true时,如果用户的密码不符合规范(同时包含大小写字母、数字,长度至少8位),在登录时提示修改密码,如果不修改无法进入系统操作。
新版本对作业、任务、触发器的文件夹进行了权限的约束。只有当用户具有某个作业的权限时,才能看到其所在的文件夹路径。用户也可以看到没有任何作业、任务、触发器的空文件夹。但是无法查看或操作其他无关文件夹。
授权编辑页面,已经勾选的用户、组、角色自动排到前面,方便管理员授权。
用户数据支持分页加载,在大用户量时提升性能。
新增了飞书插件,用户安装插件后,可对接飞书。插件包含了系统中的飞书应用配置、消息推送配置页面,以及永洪小程序,用户需要将小程序上传至飞书后台,并在系统中完成相关配置,即可实现在飞书中查看报告、接收消息等功能。
新发布桌面版产品,详细请参考《桌面版产品介绍》。
桌面版单独增加了excel自动同步功能,如果本地Excel文件的路径没有改变,那么Excel中数据(增加或删除行)会自动同步到Excel数据集中。
6.大数据
在之前的版本中,集市细节数据查询不支持缓存,所以当同时发起多个同样的请求时,会有大量的重复计算,增加系统压力。因此,8.6版本对集市细节数据查询增加了缓存机制。当多个用户在高频的刷新报表,使用的又是集市明细数据时,就会执行缓存。当多个用户在1分钟之内并发执行集市明细数据时,第二个用户默认会走缓存。配置参数为temp.cache.timeout,默认为60000(1min)。
在8.6版本之前,我们只能通过分组分割的方式对入集市的SQL数据集打标签(setMeta),但是由于分组分割实现是按照份数并行执行,有些情况下并行执行的份数太多反而会延长了调度任务入集市的运行时间。
8.6版本为此引入setMeta开关来解决这个问题。当某些复杂SQL运行时间较长时,勾选setMeta开关,再将入集市,只会发出一条SQL交给数据库执行,这样反而比并行执行的入集市快很多。
具体操作步骤如下:
1.在调度任务中新建增量导入任务,勾选Setmeta属性,如下图:
2.勾选需要打标签的列,并点击确定,如下图:
SQL数据集需要同时满足以下三个条件,才能使用setMeta打上标签:
A.数据的总行数 > dc.unit.rows (默认为262144)
B. 分组的份数 <= dc.split.range (默认为1000)
C. (数据的总行数/分组的份数)> dc.unit.rows (默认为262144)
永洪产品分组分割的时候,支持选择Mongo数据集平均分割或者分组分割入集市。
永洪产品将会用Mongo管道命令处理并行分割数据,速度很快。
CPU空转的根本原因是线程池等待队列中的任务一直处于未就绪状态,而所有线程都会去扫描任务状态,导致CPU占用率升高。增加开关,决定是否使用专门线程来进行就绪状态检查,配置参数为threadpool.task.check,默认是true。
隔离不同类型的通信请求,比如说管理类的,或者计算结果集合之类的请求,提升集市的稳定性。
对于入了集市的数据,如果新建了表达式,会在集市大量数据的基础上进行表达式的计算,这个会给系统带来很大的压力和很慢的响应查询的速度。永洪8.6产品进行了优化,只要有表达式,无论是否有过滤器,都会自动进行落盘,以提高性能。
❖Yonghong Z-Suite 新增功能概览
1.自服务数据准备
序号 |
新增功能 |
版本号 |
1 |
V8.6 |
|
2 |
V8.6 |
|
3 |
V8.6 |
|
4 |
V8.6 |
|
5 |
V8.6 |
|
6 |
V8.6 |
|
7 |
V8.6 |
|
8 |
优化“数据库内计算”标签 |
V8.6 |
9 |
V8.6 |
|
10 |
V8.6 |
|
11 |
V8.6 |
|
12 |
V8.6 |
2.可视化
序号 |
新增功能 |
版本号 |
1 |
V8.6 |
|
2 |
V8.6 |
|
3 |
V8.6 |
|
4 |
V8.6 |
|
5 |
V8.6 |
|
6 |
V8.6 |
|
7 |
V8.6 |
|
8 |
V8.6 |
|
9 |
新增组件交互动效,提升交互体验 |
V8.6 |
10 |
优化了脚本函数说明和示例,提升脚本的易用性 |
V8.6 |
11 |
新增脚本函数row、column、rsize、csize,提高自由式表格动态计算的易用性 |
V8.6 |
12 |
V8.6 |
|
13 |
V8.6 |
|
14 |
V8.6 |
3.流程审批
序号 |
新增功能 |
版本号 |
1 |
V8.6 |
|
2 |
V8.6 |
|
3 |
V8.6 |
4.深度分析
5.企业级管理
序号 |
新增功能 |
版本号 |
1 |
V8.6 |
|
2 |
V8.6 |
|
3 |
企业微信同步通讯录支持拉部分 |
V8.6 |
4 |
V8.6 |
|
5 |
V8.6 |
|
6 |
优化LDAP同步逻辑 |
V8.6 |
7 |
内置角色置顶 |
V8.6 |
8 |
V8.6 |
|
9 |
V8.6 |
|
10 |
易用性提升 |
V8.6 |
11 |
V8.6 |
|
12 |
V8.6 |
6.大数据
序号 |
新增功能 |
版本号 |
1 |
V8.6 |
|
2 |
V8.6 |
|
3 |
V8.6 |
|
4 |
V8.6 |
|
5 |
V8.6 |
|
6 |
V8.6 |