搜索
   4008-206-201
您当前的位置:首页 > 新闻中心 > 公司新闻

SmartX超融合技术方案

发布时间:2021-04-30

浏览次数:5644


项目背景


通过与xx公司前期沟通,了解到以下需求:


1. 采用统一的超融合架构承载工厂各类信息系统,实现方便运维易于扩展,数据多副本,业务高可用等目标。

2. 超融合架构的软硬件都由一个厂商负责,并提供周期性的巡检,保障业务稳定运行。

3. 支持虚拟机级别的备份功能,当遭受病毒攻击时,可以通过备份快速恢复业务,无需再次部署应用系统。

 

根据以上需求,SmartX推荐以下方案:

1. 通过SmartX超融合平台,承载工厂的各类信息系统。SmartX自主研发的分布式块存储ZBS可以为各类OA系统、生产平台提供稳定可靠的块存储服务,满足操作系统、Oracle、SqlServer等数据库类结构化数据的存储需求。

2. SmartX提供超融合一体机,并可以提供周期性的巡检服务,提前发现软硬件存在的风险,及时修复或更换配件。

3. SmartX支持虚拟机本地,可以满足工厂信息系统的备份需求。

 

SmartX 超融合产品介绍

2.1 产品总体介绍

SmartX超融合使用“软件定义” 的技术,通过使用通用x86 服务器硬件,配合以软件定义存储和计算虚拟化技术、网络虚拟化技术等,对外提供分布式块存储资源以及计算和网络虚拟化资源。

 SmartX超融合.png

SmartX超融合主要解决以下三个方面的问题

1. 用分布式存储软件加X86服务器形成高可靠、高性能、易扩展、易维护的新型存储,替代传统的磁盘阵列。

2. 内嵌了计算虚拟化(基于KVM),但同时也可以兼容第三方厂商虚拟化产品,如:VMware vSphere ESXi、XenServer以及KVM等平台。

3. 将分布式存储加计算虚拟化软件物理上整合到同一台服务器,并且管理上的整合和数据路径上的性能优化,从而进一步降低用户总拥有成本。

SmartX Halo软件架构的三个主要模块组成

 SmartX超融合


SmartX Halo通过ZBS存储服务提供分布式块存储服务,是Halo产品的功能组件Elf Compute是经过定制和优化的KVM计算虚化组件,提供类似Vmware的虚拟化计算功能;Fisheye提供的是超融合管理界面,包括ZBS分布式块存储管理Elf Compute虚拟化计算管理,以及超融合的监控和系统管理。这三个组件可以按需求拆分与生态里的其他产品集成部署。例如,ZBS除了可以支持Elf Compute虚拟化计算平台,也可以支持VMware vSphere、Citrix XENKVM以及OpenStack集成。

1.1.1 自主研发的企业级分布式存储软件:ZBS 

SmartX Z Block Storage (以下简称为 SmartX ZBS), 是 SmartX 自主研发的高性能、高可靠的分布式块存储系统。SmartX ZBS 自诞生起就是为超融合架构设计和优化的。它充分利用了虚拟化平台特点以及 SSD 设备的特性,进行了深入地优化与整合,使得 SmartX ZBS 在面对大规模虚拟化的场景中,和传统集中式存储以及其他分布式存储相比,占有蛮多的优势。

SmartX ZBS 具有以下功能和特点:

1. 高性能:以 SSD 设备作为缓存,充分利用 SSD 低延迟、高 IOPS 的特性;支持超融合架构:计算和存储运行在同一物理服务器上,存储对计算感知,大部分 IO 可以在本地完成,避免网络延迟。

2. 高可靠:通过多副本,保证在服务器宕机时,数据不会丢失;多副本采用强一致性写,保证数据一致性。

3. 低消耗:兼容商用 x86 服务器,无特殊硬件需求;存储只占用有限的计算资源,避免额外购置存储服务器,完美适配超融合架构。

4. 横向可扩展:性能与容量同步线性扩展;单集群可支持 255 个节点。

5. 易于集成:提供标准的 NFS 及 iSCSI 接口,完整的 RESTful API 支持;支持 KVM、VMware ESXi、XenServer 等虚拟化/云平台。

ZBS的中心组件构成如下:

图片3.png 

1. ZooKeeper 是分布式系统中常用的一个组件,用于在分布式系统中实现一致性。ZooKeeper 可以避免因网络故障而导致的脑裂问题。在实际部署中,根据集群规模的不同,一般采用三个实例或五个实例的部署方式。三个实例的部署方式可以容忍集群中任意一个节点宕机,五个实例的部署方式可以容忍集群中任意两个节点宕机。

2. MetaServer 是一个分布式的元数据服务,为集群提供所需要的元数据信息。其中包括:集群成员信息,所有虚拟卷的元数据信息,数据块在集群中所存放的位置的元信息。多个 MetaServer 组成一个 MetaCluster 集群,每一个 MetaServer 中都有一份元数据的完整拷贝,以保证元数据的可靠性。

3. AccessServer 是 SmartX ZBS 的协议网关,提供包括 NFS 和 iSCSI 在内的接入层协议。AccessServer 接受 NFS 客户端 或 iSCSI 发起程序(iSCSI Initiator) 的读写请求,并将不同的协议对象,例如 NFS 文件 或 iSCSI LUN 转义成 ZBS 内部的卷对象,进行读写。

4. ChunkServer 管理每台物理机上的 SSD 和 HDD 设备,对外提供基于数据块(Extent)的读写接口。ChunkServer 的本地文件系统并没有基于任一 Linux 的已有文件系统,而是直接在裸设备上构建了自身的文件系统,称为 LSM (Local Storage Manager),LSM 不但是更适于高性能块存储访问的文件系统,避免了Linux 已有文件系统的开销,而且通过智能的 SSD 和 HDD 管理,实现冷热数据交换协议。

由以上架构不难发现,在元数据管理方面,与采用对称式元数据管理的CEPH架构不同,SmartX采用了非对称式的元数据管理方式,分布式块存储系统中存在元数据节点,使得超融合集群中的资源调配可以做到更加细粒度、更加精确的控制。这种控制的优势一方面体现在性能方面,超融合集群可以在分配副本的时候,可以选择数据副本的存放位置,从而实现数据保存的本地化以及IO访问本地化,此外,SSD作为缓存,可以进行IO读写加速;另一方面体现在集群的灵活性,如副本分配策略的调整,以及节点间数据平衡的发生条件控制。

1.1.2 Elf Compute 软件定义计算

Elf Compute计算基于KVM虚拟化软件。在其上层实现了一个虚拟化计算平台。不同于类似VMware vCenter的产品,Elf Compute组件是全分布式设计,能抵御单点故障。除了提供常用的虚拟机管理功能,还实现了虚拟机HA,热迁移,二层虚拟网络等企业级虚拟化计算功能。

1.1.3 Fisheye 统一的UI管理平台

Fisheye是 SmartX 超融合架构平台的UI,让管理员能通过web的方式能运维超融合平台。Fisheye的设计初衷就是降低管理和运维的复杂度。

1. 统一简洁的管理UI

传统的虚拟化平台,管理运维工作涉及到多套复杂的系统,这意味着管理员需要面对不同的管理系统。此外,管理员还需要管理不同系统间的交互,这部分往往没有相关的管理工具支撑。Fisheye在同一个UI上管理了虚拟化、存储、物理集群等,打通了不同系统的管理边界,减轻运维的负担。

2. 智能的系统告警

IT 系统的运维方式就是没有运维。管理员在没有异常和事故发生的时候完全没有必要将时间耗费IT 基础架构上。Fisheye实现的系统告警功能就是将管理员从无聊的IT运维中解放出来,Fisheye注重整个系统动态的事件,比如性能抖动、节点连通性、物理磁盘错误率等,将这些时间以图形图表化的方式异步的通知管理员。鉴于超融合平台先天的优势就是整合了不同的系统,Fisheye对系统的异常和错误能够给出较精细的应对策略。比如:在传统的虚拟化平台,光纤连通性发生故障,在虚拟化管理平面看到的是I/O访问的错误,只有在存储网络这层才能知道确切的根源。这种层层排查的低效方式在Fisheye 里被明细改善。

3. 监控诊断工具

系统出现异常故障,需要有有效的手段进行诊断。Fisheye除对一些事件提供智能诊断之外,还为管理员提供了监控系统各项指标的可视化工具,让管理员能方便的获取一段时间内系统运转的量化指标。

2.2 企业级高可用特性

2.2.1 数据副本保护设计

SmartX超融合架构的数据的保护机制与传统方式有很大区别,传统存储通过RAID机制实现磁盘级别数据保护,而SmartX超融合的数据的保护机制采用的是副本的数据保护机制,可以实现数据保存1-3份副本,数据副本可根据系统的重要性等级不同灵活调配。同一份数据的多个副本会分布到不同的物理服务器节点上,即便一个服务器节点损坏也不会影响数据的可用性和可靠性。系统会周期性的扫描系统中可用的数据块,一旦发现某个数据块的可靠性级别低于设定值,就会触发智能恢复。假定用户设定某个虚拟盘副本数为两份,系统会将虚拟盘切分成小的数据块(如图:D1、D2、D3),同一份数据会复制到两个不同的服务器上,假使某台服务器损坏(服务器3),由于整个集群仍旧有该虚拟盘的完整数据,可以确保数据的可用性。此外,数据副本数减少,ZBS会及时发现这一事件,并将数据恢复到其它健康的物理服务器(服务器1、服务器2),以确保两副本的数据可靠性。


图片4.png 


传统RAID重建时,经常导致存储系统不可用。不同于RAID重建机制,ZBS在恢复副本的时候,正常业务仍可正常运行,ZBS通过控制恢复流量所占的I/O带宽,确保业务性能不受大的影响。

 

SmartX超融合系统不存在热备磁盘的概念,只需要有满足数据恢复所需要的热备空间即可,硬盘或节点故障后,系统会利用已有空间自动重新分布数据以恢复系统到正常状态,恢复的数据量不大于故障节点已写入数据,可提升数据恢复效率,提升数据保护级别。

2.2.2 机架感知配置

SmartX Halo超融合支持将多个节点部署在不同的机架上,并支持在Fisheye中图形化配置,系统会在机架间自动分布数据,从而使整个系统可以达到机架级别的高可用,即单个机架不能工作时,系统仍然保持业务连续和数据可靠。

图片5.png 

2.2.3 主机HA机制

通过在开启虚拟机的HA特性,当虚拟机所在主机出现故障而不可用时,其上的虚拟机可以在集群中其他正常的主机上重新启动,通过主机的HA机制,可以实现关键应用的高可用。


图片6.png 

2.2.4 存储网络冗余设计

对于存储网络部分,采用两台数据中心级别万兆网络光纤交换机,进行冗余配置,每个节点分别连接两台万兆交换机,将每个节点的两块万兆网卡进行冗余配置为loadbalance,很大程度保证存储网络的可靠性。

2.2.5 基于存储快照

对于非数据库类型虚拟机系统,可采用SmartX定时快照功能,对虚拟机进行定期数据保护,可以设计基于不同保护频率(每天/每周/每月)的快照数据保护,并提供完善的快照回收机制。实现存储资源利用的放大化。

图片7.png 

图片8.png 

图片9.png 

通过不同的数据保护机制,实现虚拟机的多重保护。

2.2.6 跨城市多集群间的异步备份

异地备份计划是 SmartX 为 Halo 超融合产品业务连续性功能之一,其和同城双活、超融合虚拟化平台自身的高可用特性,共同组成了客户业务连续性方案。

在快照计划的基础上,异地备份计划支持以自定义策略将虚拟机和虚拟卷的快照复制到远程集群,存储层 RPO 为 1 小时,RTO 为秒级,实际业务 RPO 和 RTO 与异地之间的网络传输速度和业务自身恢复速度相关。在一个站点发生灾难性事故后,用户可在远程备份站点上,立刻将业务恢复,也可以从远程备份站点上将虚拟机和虚拟卷取回。

容灾保护方式

存储层RPO

存储层RTO

异地备份计划

1小时

秒级

 

2.2.7 跨数据中心的存储层双活

存储层双活保证了数据中心间的数据同步复制。当一个数据中心停止工作后,另一个数据中心总保存有新的数据。配合虚拟化层面或应用层面的高可用技术,即可保证 0 秒或极低的 RPO(恢复点目标)和不超过 80 秒的 RTO(恢复时间目标)。

开启了存储层双活的 Halo 集群中,将物理节点根据其地理分布,划分为主可用域和从可用域,另外需要设置单独的仲裁节点,用于检测可用域健康并避免脑裂。正常情况下,集群业务运行在主可用域中,当主可用域整体失效时,业务会自动切换到从可用域中,从而实现双活容灾。业务的自动恢复是 Halo 通过和 ELF/vCenter 的集成自动化完成,不需人工参与。

 

2.3 X86虚拟化平台支持

SmartX Halo软件架构灵活,开放性好,软件架构中的分布式块存储组件ZBS与计算虚拟化组件不是紧耦合的关系,ZBS可以支持多种虚拟化平台,可以根据业务快速部署、灵活转换的弹性需求,目前,ZBS支持VMware vSphere ESXi、XenServer以及KVM。

 

 

本次项目方案设计

3.1 融合实施方案

3.1.1 集群部署架构介绍

本次方案设计提供32U 1节点服务器,共3个超融合节点,采用华为 2288HV51个2U机箱提供1个节点)机型。3个节点组成一个单独的超融合资源池,可根据实际的VM资源需求,提供大量的VM资源。可通过SmartX的多副本和机架感知特性,实现数据的保护以及集群的高可用。


 华为.png


 灵活.png
强劲.png


  

 

3.1.2 部署网络拓扑

此次采购的超融合节点中每节点配置了2个万兆光口,2个千兆电口,其中,2个万兆光口作为存储网口,上联超融合集群的存储网络,承载节点间的数据交换流量,不接入现有的网络环境,集群配置两台万兆冗余网络交换机,提供超融合节点间数据传输,通过冗余网络配置模式,很大程度提供内部存储网络的可靠性。另外2个千兆电口作为管理和业务用途,接入现有的网络环境,实现超融合平台统一管理和业务访问。

 

图片11.png 

3.1.3 

3.2 SmartX超融合备份方案

SMTX OS 备份功能的设计⽬标是为 SMTX 集群提供更为强⼤的数据容灾、恢复和回溯能⼒。备份功能以SMTX 的快照功能为基础,可以将数据在不同时刻的快照副本⾃动复制⾄其他城市的⽬标站点中。在需要时,可以使⽤⽬标站点的备份数据对原始站点的保护对象进⾏回滚操作,并且在原始数据所在站点崩溃时,可以迅速地从⽬标站点中利⽤近期时刻的快照重建业务。此外,备份功能还提供了数据对象跨站点克隆的能力。

 图片12.png

3.2.1 保护计划

备份服务以保护计划(Protection Plan)的形式对保护资源进⾏管理。⼀个保护计划包括以下⼏个部分:

1. 保护对象:备份服务⽬前⽀持指定以下 4 种保护对象,iSCSI LUN,NFS ⽂件,虚拟卷,虚拟机。

2. 保护周期:保护计划的⾃动执⾏周期,⽬前⽀持⼩时、天、周和⽉ 4 种不同粒度的执⾏周期,并且可以指定保护计划的⾃动终止时间;

图片13.png 

3. ⽬标站点:保护计划可以在由同⼀个多集群管理的站点中选择若⼲站点作为⽬标站点。

4. 保留策略:允许为本地(快照计划时)或每个⽬标站点(备份计划时)的数据副本指定不同的快照组保留份数。

 

1.1.1 业务快速恢复

当受保护的虚机文件损坏、勒索病毒、或者所在集群发生故障时,可以利用本地快照或另外一个集群的备份数据实现回滚,SmartX超融合备份功能可以将虚机直接拉起,快速恢复业务。

 

 

SmartX超融合优势

图片14.png 

4.1 性能优势

对比传统虚拟化架构,SmartX超融合解决方案在虚拟化环境中具备更加强大的性能优势。根本原因源于以下几个方面:

1. 完全自主开发的分布式架构让系统在单一资源池内可以提供强大的并发处理能力。

2. IO本地化,大量IO本地化处理,直接对虚拟机进行检测,然后将特定虚拟机的所有数据存放到本地物理服务器上。因此,虚拟机不是通过网络、而是通过高速内部总线访问其数据。并且所有节点标配SSD磁盘,无论是虚拟桌面还是服务器虚拟化场景,都能提供极高的IOPS 以满足虚拟化环境各种类型应用需求。

3. 灵活智能的Cache管理机制,为充分利用SSD的存储性能,当SSD 的利用率超过一定阈值后,SmartX Cache智能管理机制会自动发现并将相对冷的数据数据从SSD 迁移到SATA 上,以保证SSD 有足够容量满足突发的IO 请求。整个数据迁移过程对虚拟化主机而言完全透明。

图片15.png 

系统IO处理机制对比

4.2 数据可靠性

SmartX超融合平台使用多副本技术和校验和(checksum)技术来保证当节点或者磁盘失效时,数据的冗余度和可用性。当数据写入SSD 时,会被“同步”复制到另1 个或者2 个SmartX 分布式存储ZBS的SSD 之中(依赖副本数设置为2 或者3)。在SmartX超融合分布式文件系统中,我们使用了元数据强一致性的算法来确保数据在100%时间内都是可用的,同时该算法还可以确保ZBS分布式存储扩展到超大规模数据量时依然可靠。

当数据被写入时,同时计算该数据块的校验和,并且作为数据块元数据中的一部分进行存储。随后数据块在保证满足副本策略的前提下,被“异步”推送到HDD 中。当发生节点或者磁盘失效,数据块会重新在节点间进行复制以满足副本策略的设置。任何时候,读取数据块并同时计算其校验和以确保数据块有效。当数据块检查结果不匹配校验和时,副本数据将会覆盖该无效数据块。

图片16.png 

数据冗余和恢复对比

4.3 系统扩展能力

SmartX超融合给虚拟化环境带来的重要差异化因素之一就是传统基础设施在进行扩展时其性能仍然保持不变。而在SmartX超融合架构中,在每个物理节点本地都运行一个虚拟存储控制服务ZBS。ZBS系统负责本地所有其他虚拟机的IO 操作。当集群扩展时,新增加节点的同时也新增了ZBS控制器节点,保证了整个集群性能的横向扩展。与传统集中存储不同,传统架构下集中存储通常只有两个存储控制器,在集群扩展时,存储控制器无法进行有效的扩展,从而必然成为整个架构的瓶颈。

 图片17.png

扩展能力对比

4.4 提升IT敏捷性

传统虚拟化架构的快照机制通常是采用文件/数据块锁定技术来实现差量数据保存,这种方式不用关注底层存储类型,适应性广。但是在进行快照恢复时需要对差量数据进行比对校验,所以需要消耗额外的存储资源和计算资源,同时其操作时间也会因数据差量的增长而延续较长时间。

由于上述机制,常见的虚拟化厂商均对快照有较严格限制,例如不建议长期保留、快照数量限制等。

SmartX的分布式存储架构采用元数据快照和CopyOnWrite技术,可以实现秒级快照。元数据可以理解为真实数据的指针或索引,我们通过对真实数据的指针进行复制保留以及更新来实现保留虚拟机真实数据状态,这种快照技术比较大的特点是生成快照和恢复快照的速度极快,同时对存储性能影响微乎其微。

借助SmartX的分布式存储架构的元数据复制技术,我们也可以实现秒级虚拟机克隆、部署等操作。相对于传统虚拟化平台的完整数据复制,SmartX为客户的技术部门提供了一种更加有效提升IT敏捷性的手段。

SmartX超融合平台内置定时虚拟机快照功能,可以根据管理员选择在定义的时间点对一组虚拟机进行创建快照操作,这种方式既提高了工作效率又可以确保一组虚拟机中的数据一致性。同时,基于超融合平台数据的高可靠性原因,客户可以利用定时快照对生产业务进行日常数据备份,利用定制计划来设定快照间隔和保留策略,以应对误操作等情况造成的业务数据错误。

图片18.png 

虚拟机维护效率对比

4.5 降低数据中心 TCO 

集中式存储规模设计对 TCO 的影响

传统虚拟化集中式基础架构中,集中式存储的规模设计是关键和困难,因为集中式存储不具备灵活的扩展能力,必须采购开始就需要指定集中式存储的规模,因此一般以5年为周期制定集中式存储的采购计划,但这样的计划往往会容易出现存储规模设计过小或者存储规模设计过大两种情况。

1. 存储规模设计过小

如果存储规模设计过小,企业需要面临需要升级存储设备或者需要执行额外的迁移工作,导致存储建设工作周期性推倒重来的窘况。而且据国外咨询机构 Wikibon 的分析,存储的迁移、升级成本是非常高昂的,接近新购存储设备投入的54% 之多。

2. 存储规模设计过大

存储规模设计过大,同样带来很多问题,首先传统集中式存储从投入使用开始那天就开始贬值,除了设备折旧外,随着虚拟机的增多,存储的提供平均服务质量也随之下降,下面的图很好反映了集中式存储过量设计的情况下5年的贬值情况。存储规模设计过大,导致总体投入增大,设备利用率低,已经加速贬值,投资回报率低等的问题。

图片19.png 

超融合基础架构 TCO 分析

1. 节省存储设备采购成本

超融合架构只需要购买服务器设备,不再需要单独购买存储设备,该架构提供计算、存储融合服务,有效降低存储设备购买成本。

2. 精确评估规模,减少一次性投入

超融合架构具有灵活扩展、在线扩展等特性,基础架构规模不需要制定模糊的5年规划,以分期投入方式,精细地评估每年的用量,逐年购置设备与服务,获得更好的投资回报率。

3. 享受摩尔定律带来成本优势

摩尔定律提出,当价格不变时,集成电路上可容纳的元器件的数目,约每隔18-24个月便会增加一倍,性能也将提升一倍。换言之,每一美元所能买到的电脑性能,将每隔18-24个月翻一倍以上。超融合架构硬件设备并不是一年就全部购置完毕的,是逐年投入的,因此可以享受摩尔定律的带来的成本降低。以英特尔CPU为例,Ivy系列到Hawell系列,价格相同的前提下,性能提升多达20%-80%。相对来说单位虚拟机的成本投入是逐年递减的。

实际收益和占用资源对比

如下以用户实际项目为例,对超融合方案和传统虚拟化方案的性能、容量受益与空间、电费等投入进行详细对比。

图片20.png 图片21.png

 

TCO对比

4.6 灵活简便的部署和运维方式

SmartX集群可以从3 个节点起步,单集群支持不低于255个节点。集群扩展能够以一次添加一个节点的方式逐步进行扩展。给集群添加节点是一个完全动态的过程,无须停机。

与大部分厂商不同,我们除了提供标准配置的超融合节点方式以外,同时还支持多种厂商、型号、配置的服务器,甚至利用客户现有服务器设备来部署超融合架构,这可以进一步保护客户的现有IT投资。

缩短上线时间

架构部署完成后,相对于传统虚拟化架构的集中式存储,采用分布式架构可以大幅缩短系统上线时间,例如对存储设备和磁盘组的初始化设置从原来的数天时间变为数分钟。

统一管理界面

利用fisheye统一管理界面既可以对分布式存储进行统一监控和配置管理还可以对上面的虚拟化平台以及虚拟机进行日常维护和管理。既提高了运维效率又降低了管理复杂度。

自恢复平台

传统的虚拟化架构集中式存储在发生物理盘故障情况下,通常建议客户尽快手工将坏盘更换,同时坏盘更换后RAID组需要进行全盘的数据校验和复制以确保重建数据。Smart'X超融合架构的分布式存储在类似情况下可以自行利用分布式架构的其他硬盘对坏盘中的数据进行重建,同时在坏盘被替换后,对新加硬盘进行自动数据平衡。这种方式一方面减轻了硬件运维工程师的工作压力,另一方面,借助其快速响应的自动恢复功能可以迅速自主重建数据,从而提升了业务数据的可靠性。

图片22.png 

部署和后期运维对比

4.7 方案优势汇总

相对于传统虚拟化的集中式架构,SmartX超融合方案具备如下优势和商业价值

图片23.png 

 

对于同类厂商,SmartX超融合具备如下优势:

图片24.png