高性能计算节点部署

<< Click to Display Table of Contents >>

当前位置:  部署与集成 

高性能计算节点部署

复制链接

1.集群简介

永洪提供库内计算和高性能引擎(VooltDB)计算两种方式。

库内计算即将计算信息下推到数据库进行计算,对于下推不了的信息,会在Client节点计算。一般情况下,数据库的计算性能无法满足业务需求时,可以采用永洪的高性能计算引擎进行计算。

高性能计算引擎是将数据存储到VooltDB节点,并在VooltDB节点计算,将计算后的结果返回给Client节点,如果还有不能下推的计算,则由Client节点完成剩余不能下推的计算。

当数据量和并发不大的情况下,单个VooltDB节点即可以满足加速计算的目的。单个VooltDB节点无需用到ZooKeeper。

但当数据量和并发很大,单个VooltDB节点无法满足业务需求时,就需要部署多个VooltDB节点,形成VooltDB集群,并通过Zookeeper集群来同步VooltDB集群的数据。VooltDB承担了数据存储和计算的能力,如果需要灾备,则可以部署备份VooltDB集群。见下图红色部分。

VooltDBs

2. 技术指标

采用列式数据库管理系统。

支持多服务器分布式处理。

支持基于SQL的声明式查询语言。

支持数据的磁盘存储。

采用异步的多主复制技术。

支持在表中定义主键。

支持近似计算等各种分析汇总计算。

支持用户在数据层面编写自定义的表达式进行数据处理。

支持下推集市内执行,底层运算,执行效率高,满足海量数据高速处理的需求。

采用最先进的分布式数据存储技术,提高数据读取和处理速度。

采取分布式部署,数据自动备份存放,增加数据存储的安全性和可靠性。

3.集群优势

3.1高可用性

数据自动备份两份,一个VooltDB节点宕掉,不影响计算结果。

没有角色区分,没有中心节点,可以避免单点故障。

3.2高并发

同一个时间点,多个VooltDB节点响应计算请求。

节点数量越多,支持的并发越高。

并发是根据用户的实际业务场景,实际的服务器资源并发数量与业务使用情况有关,查看报告和制作报告占用的服务器资源是不一样的,所以,需要永洪专业的性能测试,结合实际的网络环境、文件读写效率、数据库并发性能等因素,得出实际能够支持的并发大小。

3.3强扩展性

基于良好的架构设计,对正在运行的VooltDB集群可以进行扩容操作,通过增加节点数量使并发趋于线性增长,从而获得较高的并发支撑性能。

3.4使用简单

简单可视化配置,80% 的配置都可在平台上完成。

增删节点重启集群后,自动处理数据均衡。

实时监控各节点的运行状态。