<< Click to Display Table of Contents >> VooltDB集群节点部署复制链接 |
1.硬件要求
入门级服务器数台到数十台。每台服务器剩余内存32G以上, CPU需要4 Processor以上,独立硬盘1TB以上,千兆或万兆网卡。
硬件配置参考
硬件配置参考 |
配置描述 |
---|---|
每个CPU Core可以承担2000万行数据的实时计算 |
如果按每条数据1000 Byte 计算,2000万条数据差不多是20G的原始数据,假设20G原始数据的压缩比为1/3,而内存装载的数据是1/3,内存里的数据差不多是2G。因此计算约2000万条数据的时候,内存大约消耗2G。 |
配置了越多的CPU,系统性能会越好 |
在VooltDB上,CPU的扩展与性能的改善,基本上是线性相关的。由于基于内存计算,需要内存配合。 |
计算CPU时,还需要考虑到并发量 |
在线用户数的多少、以及在线用户提交的并发查询的多少,对CPU和内存的要求也会不同。我们需要求出每秒执行的查询数,才能估算出并发量对CPU和内存的要求。一般来说,并发的查询需求也会轻微上升。业界估算的公式一般是每个并发在原有基础上追加大约5%的内存和CPU。 |
充足的内存可以减少数据交换,对性能的提上也有帮助 |
每个系统的热数据量不一定,有的是1/5,有的是1/3,有的是1/10。当内存足够多,所有的热数据都保存到内存,在这之后再增加内存,对系统的性能就没有太大的作用了。 |
一般情况下,原始数据与内存量的比率可以定义为10:1,而原始数据与CPU Core的比率可以定义为20G:1,这样的配置情况下,查询速度可以达到秒级响应 |
1T的数据量,需要100G内存,50个CPU Core。可考虑如下配置:四台2通道pc Server,每台2个CPU,且每个CPU有6 Core,每台内存24G。 500G的数据量,需要差不多50G内存,24个CPU Core。可考虑如下配置:三台2通道pc Server,每台2个CPU,且每个CPU有4 Core,每台内存16G。 |
2.软件要求
•操作系统要求
VooltDB可以安装在x86_64,AArch64或Powerpc64LE CPU架构的Linux操作系统、Mac操作系统、Windows操作系统或FreeBSD操作系统上,目前Linux操作系统支持CentOS 7.0及以上操作系统,或同版本同源系统。
•系统配置要求
检查防火墙等配置,确保C节点和规划的VooltDB各安装节点间可正常通信。
大数据量数据集市文件入集市,需要修改系统配置/etc/security/limits.conf,在配置文件中添加项:
“soft nofile 65535”和“hard nofile 65535”,这两个配置的目的是防止VooltDB打开文件数超过系统限制报错。
3.1新增VooltDB节点
1)【管理系统】-【VooltDB管理】-【节点管理】,点击新增按钮,在弹出的窗口中填写配置项,点击确定,即可。
配置项说明
【节点IP】填写想要安装的VooltDB节点服务器的域名或IP:端口,此处端口不填时,使用global.ssh.port配置的端口,global.ssh.port参数说明参考系统属性配置 > 集成配置。
【集群选项】选择该节点属于主集群还是备集群。为收费功能。
【用户】安装VooltDB节点的服务器的用户名。
【密码】安装VooltDB节点的服务器的用户密码。
【安装路径】安装到服务器的绝对路径。安装路径不允许包含空格,如果路径已存在,则必须为空目录。如果不存在,会创建该路径。
➢举例:
Windows:D:\vividime\vooltdb2。
Linux:/opt/ww/vooltdb1。
【内存】分配给VooltDB的最大内存空间。点击测试连接后将根据当前剩余的内存自动填写,可以根据实际规划手动修改。如果是集群部署,单个节点会起2个实例,内存是均分给两个实例的。
【许可证】VooltDB节点安装和运行需要的License,可按照商务流程申请。
【tcp_port】配置VooltDB节点进行tcp通讯的端口。
【interserver_http_port】配置VooltDB节点进行interserver_http通讯的端口。
【http_port】配置VooltDB节点进行http通讯的端口。
【max_bytes_before_external_sort】单位GB。如果启用,当要排序的数据量达到指定字节数时,对收集到的数据进行排序并转储到临时文件中。读取所有数据后,将所有排序的文件合并并输出结果。该值也不要设置过低(如数K、数M),否则单次排序数量过少,最终合并内容过多,也会出现内存占用过多导致执行失败。如果设置为0,它将被禁用。禁用后,如果内存不够时直接抛错。如果设置了,可以计算完成,但是速度相对内存计算来说会慢。
【max_bytes_before_external_group_by】单位GB。如果启用,当要分组的数据量达到指定字节数时,对收集到的数据进行分组并转储到临时文件中。如果设置为0,它将被禁用。禁用后,如果内存不够时直接抛错。如果设置了,可以计算完成,但是速度相对内存计算来说会慢。
【max_table_size_to_drop】单位GB。应用于需要删除表或分区的情况, 默认50GB。如果要删除的表或分区, 数据量达到了此参数值大小, 会删除失败。修改为0, 代表无论数据多大, 都可以删除。
【v8.max.old.space.size】v8使用的内存,默认3(单位G),不能设置太小。
【v8.queue.size】句柄大小,默认32,不能为0。
【测试连接】填写完节点ip,用户名,密码,安装路径之后,可以点击测试连接按钮测试是否可以成功连接服务器。
➢注意:
如果测试连接失败,可能原因有填写信息不正确、服务器没有登录权限。
【确定】填写完全部信息之后,点击确定保存节点信息,并关闭dialog,如果服务器信息填写错误,会在dialog上展示相应的错误提示。
【取消】点击取消按钮,关闭窗口,不保存已填写的信息。
➢注意:
配置端口信息时,不能与服务器上已被占用的端口冲突。
2)根据集群规划,新增全部VooltDB节点。可以点击节点IP后的“更多”icon,编辑和删除已经添加的节点。
➢注意:
编辑节点时,节点IP、集群选项和安装路径不可以修改,如果想更改这些信息,需要删除这个节点后重新添加。
3.2 配置ZooKeeper集群信息
如果是单独安装的ZooKeeper集群,需要在文本框中输入全部ZooKeeper集群信息,每个Zookeeper节点间用“,”相连,每个节点的格式为“IP:port”,或者“域名:port”。
如果是通过永洪界面安装的ZooKeeper,只需要点击获取按钮即可自动填写,安装方法参考ZooKeeper集群节点部署。
在文本框中输入ID设置ACL,格式为:user:password,例如admin:admin123。
如果选择单机部署,只需要配置好VooltDB节点信息,不需要配置Zookeeper信息,文本框保持默认即可。
3.3点击全部安装
全部VooltDB节点新增完毕,ZooKeeper集群信息填写完毕后,点击“全部安装”按钮,将自动到指定服务器的指定路径安装VooltDB节点。
可以点击“刷新”按钮,查看当前安装的状态。
如下图所示,在安装之前,节点的状态显示未安装。
正在安装过程中的节点,将显示节点安装进度。
全部节点安装成功之后,将显示安装成功。