<< Click to Display Table of Contents >> Yonghong Z-Suite V7.5 白皮书 |
❖重点新增功能详述
1.自服务数据准备
多维数据库(SAP BW、Oracle Essbase、SSAS)和Kylin数据库,扩展数据对接能力
Yonghong数据源类型进一步扩充,新增加多维数据源支持,包括Oracle Essbase、SAP BW、SSAS,同时新增Kylin数据源支持,扩展了数据库对接能力,进一步满足了用户对于连接不同数据源的需求。
•新增的Oracle Essbase、SAP BW、SSAS多维数据源,支持用户直接使用多维数据源或MDX数据集中的数据,进行报告的制作。
•新增的Kylin数据源,支持用户直接连接自己的Kylin数据库,使用Kylin数据库中的数据创建数据集、制作报告。
注:多维数据源的数据来源、数据访问机制、右键操作菜单、使用方式,与关系型数据库不尽相同,具体请参考产品的使用手册。
完备的数据回填能力,无缝操作快速定制调度任务
数据填报流程更加贴近用户实际,快速便捷向数据库导入数据。Yonghong自服务数据集的数据填报调度任务使用户能够单次或定时将增量/全量数据填报至数据库。数据填报的所有操作均可在自服务数据集界面完成,无需再跳转至调度任务模块去执行新建调度任务的操作。
后续的调度任务管理,可通过调度任务模块,对自服务数据集中新建的“导入数据库”任务进行查看和编辑等管理操作。
更细粒度的数据权限控制,为数据安全保驾护航
更细粒度的数据权限控制,多方位管控数据安全,严格控制用户在自己权限范围内读写数据。
更高级别的数据集读权限控制:当用户对某数据集仅具有读权限时,该用户既不能编辑语句、脚本、excel工作表,也无法使用行过滤器、同步数据集、刷新元数据、保存数据集。
更严密的列权限控制:当管理员通过列过滤,设置某列对某用户隐藏,那么该用户无法在元数据中看到该列,更无法使用该列制作报告。如果组合数据集中使用了用户无权查看的列作为联接列,则该用户无法预览数据;否则,不影响用户正常查看或使用有权限的其他数据列。
2.可视化模块
列过滤与列位置调换,动态展示表格内容
列过滤和列位置调换功能,实现了表格数据的动态展示,提高了查看报告的灵活性。
表格的列过滤功能方便切换不同维度,使查看报告更具灵活性。通常查看报告的人只能按报告编辑者绑定的维度查看数据。例如,当一份利润表格中,绑定了市场和产品维度,那么用户只能查看某一市场内某一产品的汇总数据。但是有了列过滤功能,用户便可以查看任意维度数据。列过滤功能,不仅使同一用户自由选择数据的展示维度,而且使不同用户查看同一张表格时可以看到不同维度的数据,很好地增加了查看报告的灵活性。
表格的列位置调换功能,支持用户自由改变列位置,组成不同的表格形式,进行数据分析,带来了表格的多变性。通常,编辑报告的人按什么顺序绑定列,查看报告的人就只能按什么样的列顺序查看报告。例如,当一份利润表格中,绑定了市场和产品维度,那么用户只能查看某一市场各产品的利润情况,如果想查看某一产品在各市场的利润情况,就十分不便。如今,为表格配置“绑定数据”到“查看的操作”,查看报告时,鼠标拖拽,就能改变列位置,以不同的表格形式查看数据。
自定义表格显示方式,分页浏览表格数据
当表格承载万行以上级别的数据时,分页浏览功能使用户方便精准地浏览数据。分页功能将所有表格数据分成多页进行展示,并通过点击表格组件底部的上一页、下一页,实现页面切换,浏览不同页面的数据。分页浏览功能很好地解决了数据量过大时,通过滚动条浏览数据导致的操作不便位置不准的问题。表格分页后,既可以只输出第一页内容,也可以完整输出表格内容。
为满足不同用户不同数据量的需要,Yonghong支持表格分页功能的自定义配置。默认状态下,系统不启用表格分页功能。用户可自行决定是否使用表格分页功能以及每分页显示多少行数据。分页功能的默认状态和默认行数可另行配置。
引入第三方GIS地图,更细粒度的分析地理数据
新版本引入第三方GIS地图,清晰直观地在地理地图上显示相关数据,实现与GIS地图相关的分析、处理、决策等功能。GIS地图展示了更详细的街道级别的地理信息,不仅满足地图操作,例如放大缩小、框选等,还能通过GIS地图绑定数据、切换渲染效果、改变标记样式、联动报告数据,实现与地理位置相关的数据分析。
产品暂时提供GIS地图的试用。为保证GIS功能的正常合法使用,请用户到“百度地图开发平台”->“我要认证”(http://lbsyun.baidu.com/apiconsole/auth)中,按页面的操作提示,申请认证密匙,并在产品安装目录下的bi.properties中配置参数chart.baidu.ak值为认证密匙。
第三方GIS地图,认证用户与非认证用户可使用功能的差异,请参考“百度地图开发者平台”提供的对比资料。
!注意:如用户未申请合法密匙,GIS地图使用期间出现的任何法律问题,将由用户自行承担。
迁徙图,动态展示目标变化轨迹
迁徙图动态展示数据对象的变化轨迹,不仅带来更具时尚感的地图展示效果,更使报告的查看者对迁徙变化一目了然。迁徙图采用可视化呈现方式,动态、直观地展现迁徙的轨迹,反映迁徙对象的不同类别与数量多少。用户可根据实际的业务场景,选择相应的迁徙样式,包括射线、飞机、火车、汽车,货车,从而实现多样的迁徙动画效果。当报告中添加迁徙图时,其他组件钻取、缩放、过滤数据或使用笔刷时,带动迁徙图的数据联动。
强大的热力图效果,实现自定义底图及地图的聚集度分析
热力图,简单地聚合大量数据,并通过渐进的色带实现优雅的可视化效果,直观地展现空间数据的疏密程度或频率高低。热力图的引入,实现了流量分析、分布分析、密度分析等需求。用户可使用自主地图和GIS地图展示热力效果,也可以通过自定义底图实现任意场所的热力效果,例如道路车流量热力,景区人流量热力等。
自定义划分地理大区,个性化展示数据
自主地图新增“大区”层级,支持用户自由划分大区,并按自定义大区展示并分析数据。用户可在传统地理大区的基础上,将同级别的地理区域合并,修改编辑自己的地理大区,满足业务的实际需要,实现地理数据的个性化展示。
地图的动态点展示,带来更优秀的可视化效果
地图的动态点效果,富有动态和美感,打破了报告阅览的呆板体验。地图上的地点标识,经过动态点处理,变得更加生动,提升了报告的视觉体验。
3.企业级管理模块
LDAP集成,无缝接入企业身份管理体系
Yonghong集成了LDAP系统,无缝接入企业身份管理体系,带来更强大的权限管理系统。新增的LDAP同步&权限管理系统,对接企业的LDAP系统,定时同步用户、组、角色数据,并通过配置的映射关系,将企业用户转换为产品的系统用户,方便统一认证工作。
定时自动的用户信息同步,省去了人工增添用户数据的麻烦,方便企业进行高效地用户权限管理。同时,为了避免出现数据不一致的情况,管理员可以手动同步用户信息,使产品得到最新的用户权限信息。
调度任务与系统资源分布图,任务安排更加合理
调度任务与系统资源分布图,引导用户更合理地安排任务,避免IO操作过重。历史任务等待时间统计与作业运行统计图,直观地展现了各任务的等待时间、触发时间、运行时长,使用户对调度任务的运行情况与系统资源的分布情况一目了然,从而避免在拥挤时间段设置调度任务,增加IO压力。
说明:Yonghong X-Suite、Y-Reporting、Desktop 不支持作业运行统计图。
提升资源的导入速度与数据库存储性能
Yonghong在处理批量资源时,资源导入速度和数据库存储性能都有所提升。针对数据库系统,批量操作接口,无需频繁向数据库中请求数据,避免了通信资源以及数据库资源的浪费。针对文件系统,获取资源后,批量操作有效减少了同步事件的触发。对于大批量导入和数据库存储,提升了处理性能。
产品参数配置项优化,避免重启系统带来的烦恼
系统的属性设置更加便捷友好,修改属性配置后,修改项立即生效,避免重启系统给用户造成的不便。
新增立即生效的属性 |
|
---|---|
session.debug=false |
db.timeout=3600000 |
thread.debug=false |
secure.session.timeout=1800000 |
serial.mem.debug=false |
conn.sqlserver.reuse=false |
performance.debug=false |
conn.mysql.reuse=false |
qry.jdbc.driver.debug=false |
conn.oracle.rac.reuse=false |
excel.upload.size=1000 |
conn.hive.reuse=false |
qry.remark.as.view=false |
conn.db2.reuse=false |
default.layout.type=1 |
conn.impala.reuse=false |
phone.browser.phoneLayout=true |
mail.debug=false |
增强的企业级管控的预警能力,及时推送系统问题
Yonghong具有更强劲的企业管控能力,强大的预警功能,及时向用户推送系统问题,帮助用户更快地解决问题,避免影响正常使用。
•数据集执行超时预警
当仪表盘、数据集、定时任务执行操作的时间过长时,系统将及时发出预警,并提示相关信息。用户在查看预警信息时,可通过超链接,直接跳转到“运行资源信息监控统计”报表,查看高亮预警条目的运行状况信息。
默认状态下,系统不启用数据集执行超时预警。用户可根据需要,开启/关闭超时预警,并设定触发预警的时长。
•节点版本不一致预警
当节点版本不一致时,系统将及时发出预警,并在预警信息中告知用户版本较低的节点。用户在查看预警信息时,可通过超链接,直接跳转到“数据集市节点信息统计”报表,查看高亮预警的低版本节点信息。
•数据库宕机、节点通信异常预警
当出现数据库宕机或节点通信异常时,触发预警,并提示错误信息。
4.深度分析
全新的深度分析产品,一站式服务于企业对数据的探索式分析
Yonghong7.5提供了全新的深度分析功能。独立的深度分析功能,不仅拥有全新的操作界面,具备可视化流程处理能力,更提供了包括逻辑回归、决策树、关联规则、K-means聚类等全面的统计算法,实现了更专业的机器学习功能。
•全新的界面,独立的功能模块
深度分析独立成为一个功能模块,拥有全新的操作界面,实现更专业的机器学习功能。探索式分析查询数据作为深度分析的输入,深度分析结果可以直接通过可视化进行展示。深度分析连通探索式分析,形成业务闭环,提供一站式数据分析洞察能力。
•可视化工作流,自服务建模
可视化的工作流,帮助用户实现自服务建模。轻松拖拽操作节点,形成完成的工作流,即可完成数据转换、数据探索、模型构建、模型训练、模型评分、回填数据库、可视化应用的完整过程。
•分布式计算支持机器学习
永洪MPP集市,通过分布式计算,支持大数据规模的机器学习算法,包括K-Means聚类、逻辑回归算法等。永洪大数据平台完美集成专利节点通信技术,分布式计算,计算本地化,分布式缓存,高达数百节点的并行迭代,使性能提升几个量级,计算效率大幅提升。
•机器学习算法的全面升级
全新升级的深度分析包含四大常用的机器学习算法,包括K-Means聚类、逻辑回归分类、关联分析、决策树,用户可应用这四种算法进行建模。
oK-Means聚类:最普及的聚类算法,属于非监督性学习,算法接受一个未标记的数据集,然后将数据集聚类成不同的组。
o逻辑回归:一种用于解决二分或多分类问题的机器学习方法,用于估计某种事物的可能性。例如:某用户购买某商品的可能性,某病人患有某种疾病的可能性,以及某广告被用户点击的可能性等。
o关联分析:又称关联挖掘,就是在交易数据、关系数据或其他信息载体中,查找存在于项目集合或对象集合之间的频繁模式、关联、相关性或因果结构。
o决策树:在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。
o深度分析可以应用R脚本,实现深度分析算法的无限自定义拓展。
oR脚本:R是开源、免费的统计语言,提供了多种统计,例如,线性和非线性建模、经典的统计检验、时间序列分析、分类、聚类……用户在写R脚本时,可以调用产品自带R包中的函数,也可以调用第三方R包中的函数。同时,用户可以利用R脚本进行绘图。
o在创建数据集、制作报告模块,用户也可以定制简易的分析算法,包括一元线性回归、HoltWinters时需分析、LDA线性分类、K-Means聚类。K-Means聚类的作用与深度模块中相同,下面不再重复介绍。
o一元线性回归:回归分析是一种应用非常广泛的统计工具,主要用来建立两个变量之间的关系模型。其中一个变量被称为自变量,其值是通过实验收集的。另一变量称为因变量,其值是根据自变量计算而得。线性回归这两个变量满足一个等式,其中这两个变量是指数(幂)相关。
oHoltWinters时序分析:通过考虑水平趋势和季节性趋势,对一段时间内、等时间间隔的采样数据进行分析,以预测未来一段时间的数据。即根据已知的历史数据,预测未来的数据。
oLDA线性分类:将高维的模式样本投影到最佳鉴别矢量空间,以达到抽取分类信息和压缩特征空间维数的效果。投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离,即模式在该空间中有最佳的可分离性。LDA线性分类通过分类标签列和训练集数据列,调用LDA函数得到LDA模型,根据模型对新样本数据进行预测分类。
5.大数据
全局字典存储技术,减少内存占用、提高处理速度
Yonghong大数据采用全局字典技术,减少了内存占用,提高了数据处理速度。分析模型中,维度数据一般为字符串类型。而在集市中进行运算时,过多的字符串会占用太多内存,且在分组、比较时效率较低,导致整体运算处理效果不理想。Yonghong全局字典技术,通过数值型数据来映射字符串,大大减少了对内存占用的需求,提高处理效率。
持续的性能提升
•即刻更新:Yonghong 7.5采用中间结果集缓存技术,对GQuery执行的最终结果进行永久缓存,不仅节省缓存结果集所占用的内存空间,同时大大提升报告的打开速度,实现海量数据秒级响应。
•极致压缩:MPP数据集市在数据节点(Map节点)可提前进行局部的Reduce计算,即Local Reduce,有效压缩了传输的结果数据大小,使存储和内存空间的占用降低了87.5%,有效提高了计算速度。
•分布式元数据存储:优化MPP集市云文件Meta信息的存储方式,在Name节点拆分存储naming.meta,从而使云文件可以进行部分的备份和迁移,也大幅提升了系统可靠性。
6.移动端
移动端提供Portal,更好的定制企业门户
门户功能,实现了企业门户在移动端首页的展示。用户可在移动端配置界面指定某一报告作为企业门户。如果用户未在移动端设置门户,系统默认将PC端设置的门户当作移动端首页。
移动端稳定性及性能卓越提升
通过缓存机制,提高报告加载效率、数据联动响应速度,提升移动端性能。
更好的移动端的可视化展现及操作
移动端具备了更优秀的可视化展示能力与操作体验。新版本优化了组件/报告的展示样式、优化了交互流程等,实现了更美观的产品界面和更友好的用户体验。
❖新增功能点概览
1.自服务数据准备
序号 |
新增功能 |
---|---|
1 |
支持多维数据源(Oracle Essbase、SAP BW、SSAS)及Kylin数据源,扩展数据源对接能力 |
2 |
Oracle数据源编码转换,避免数据乱码 |
3 |
双重防范措施,避免数据表误操作 |
4 |
更细粒度的数据权限控制,为数据安全保驾护航 |
5 |
更灵活的数据查询配置 |
6 |
完备的数据回填能力,无缝操作快速定制调度任务 |
7 |
优化自动监测行为,统一检测报告 |
8 |
优化Teradata数据库注释 |
9 |
数据源数量管控 |
10 |
优化hive数据库Kerberos登录方式 |
11 |
SAP HANA数据库提供更强大的使用支持 |
2.可视化模块
序号 |
新增功能 |
---|---|
1 |
盒须图,快速掌握数据分布状况 |
2 |
支持URL组件,更加方便将外部信息载入报告 |
3 |
引入第三方GIS地图,更细粒度的分析地理数据 |
4 |
迁徙图,动态展示目标变化轨迹 |
5 |
强大的热力图效果,实现自定义地图及地图的聚集度分析 |
6 |
自定义划分地理大区,个性化展示数据 |
7 |
地图的动态点展示,带来更优秀的可视化效果 |
8 |
下钻地图数据,联动可视化报告 |
9 |
自动匹配地理数据,更好的地图使用体验 |
10 |
优化雷达图组件,完整显示标签信息 |
11 |
图片缩放的居中展示 |
12 |
不同的笔刷行为,实现不同筛选效果 |
13 |
统一优化组件标题 |
14 |
简单易用的富文本编辑,实现数据互动 |
15 |
自定义主题,个性化展示报告的样式风格 |
16 |
全屏展示报告,无缝化跨屏展示能力 |
17 |
可配置的加载动画效果,满足查看报告的个性需求 |
18 |
优化图表排序功能,提升用户体验 |
19 |
优化表格排序功能,合计值不参与排序 |
20 |
自定义行业日历,更好的服务行业特定需求 |
21 |
优化图表下钻交互,实现数据联动 |
22 |
优化未选值策略 |
23 |
自动保存功能,找回异常关闭的报告 |
24 |
任意切换维度、调整列位置,灵活查看数据 |
25 |
及时地信息提醒,提升数据导出体验 |
26 |
自定义表格显示方式,分页浏览表格数据 |
27 |
Excel输出定制,控制导出内容 |
28 |
优化选项卡数据的Excel导出 |
29 |
优化报告中数据的查看与导出 |
30 |
多行文本输入,提交数据库保存 |
31 |
优化列权限控制,更贴近报告查看实际 |
32 |
细粒度的权限管理,控制图片资源权限 |
33 |
H5模式下,实现组件绑定 |
34 |
在线帮助中心,方便使用手册阅览 |
3.企业级管理模块
4.深度分析
序号 |
新增功能 |
---|---|
1 |
全新的深度分析产品,一站式服务于企业对数据的探索式分析 |
2 |
可视化工作流,自服务建模 |
3 |
轻量级的机器学习模型管理 |
4 |
分布式计算支持机器学习 |
5 |
机器学习算法的全面升级 |
5.大数据模块
序号 |
新增功能 |
---|---|
1 |
专利编码:全局字典存储技术,减少内存占用,提高处理速度 |
2 |
合并数据集市文件,使用集市文件更加方便 |
3 |
分布式元数据存储:Meta信息分散存储,云文件实现部分备份迁移 |
4 |
稳定有序的重启过程 |
5 |
优化RPC重发机制,避免任务失败 |
6 |
更完备的数据集市监控 |
7 |
即刻更新:中间结果缓存机制,提升报告打开速度 |
8 |
极致压缩:充分利用计算资源,提升计算速度 |
6.移动端
序号 |
新增功能 |
---|---|
1 |
移动端提供Portal,更好的定制企业门户 |
2 |
更好的移动端的可视化展现及操作 |
3 |
移动端稳定性及性能卓越提升 |