设为首页 收藏本站

运维网

 找回密码
 立即注册
查看: 780|回复: 0

[经验分享] 思科超融合测试 Cisco HyperFlex 超融合系统

[复制链接]
果果、

尚未签到
发表于 2018-7-14 10:01:58 | 显示全部楼层 |阅读模式
　　Cisco HyperFlex 超融合系统
1.     前言
1.1、  测试背景
　　虚拟化技术是云计算的关键技术之一，随着云计算技术的逐步推广， 虚拟化环境下传统集中存储架构被越来越多地诟病，超融合架构越来越多地成为虚拟化环境中的首选基础架构。由于其横向扩展、快速部署、易管理、节省机柜空间和耗电等，已在制造、金融、电信、电力等行业的数据中心领域得到部署和应用。
　　Cisco HyperFlex 作为业界领先的超融合虚拟化平台厂商之一，能够更加快速、高效、稳定的支撑起众多企业的虚拟化环境。
1.2、  测试目的
　　此次测试需要达到以下目的：

  • 　　验证CiscoHyperFlex 超融合架构的整合功能。
  • 　　验证CiscoHyperFlex 基于VMware虚拟化管理套件的功能特性
  • 　　验证CiscoHyperFlex 超融合架构的可靠性及冗余特点
  • 　　验证CiscoHyperFlex 系统存储IOPS性能表现
1.3、  测试环境
　　CiscoHyperFlex 超融合虚拟化测试平台配置如下：
　　设备型号
　　每节点（共三个节点）
　　CPU
　　内存
　　硬盘
　　网络
　　FI-6268(2台)
　　UCS节点（3台）
　　E5-2630V4
　　256GB
　　SSD:120GB  *1
　　SSD:489GB*1
　　HDD:1.2TB*1
　　10GB  SFP+ *2
　　核心业务交换机(1台)
　　1台Cisco N9K 核心交换机
1.4、  网络拓扑
　　Cisco HyperFlex 测试环境网络拓扑图：

　　软件名称
　　软件描述
　　备注
　　vCenterServer
　　vCenterServer6.0
　　VCSA6.0  (SuSe Linux)
　　DNS/NTP
　　WindowsServer2012R2
　　AD/DNS/NTP
　　IOmeter-1.1.0  for Win
　　存储性能测试工具
　　每个节点部署一个Testing VM,使用Windows Server2008R2
　　HCIBenchv1.6.1.0
　　VMware  HCI 超融合架构性能测试软件
　　通过OVF 导入该测试软件虚拟机
1.5、  网络地址规划
　　每个节点有2个万兆端口，分别连接2台万兆FI交换机，FI交换机使用trunk口上联到用户三层交换机。2台FI交换机管理端口通过三层交换机上连至用户已有的管理网络。
1.5.1、   IP地址规划
　　网络
　　Management
　　Data
　　节点
　　Hypervisor/VMotion
　　StorageController
　　Hypervisor
　　StorageController
　　Node-A
　　192.168.207.111
　　192.168.207.114
　　1.1.1.11
　　1.1.1.14
　　Node-B
　　192.168.207.112
　　192.168.207.115
　　1.1.1.12
　　1.1.1.15
　　Node-c
　　192.168.207.113
　　192.168.207.116
　　1.1.1.13
　　1.1.1.16
　　Gateway
　　192.168.207.252
　　192.168.207.252
　　N/A
　　N/A
　　HypervisorClusterManager
　　192.168.207.117
　　Installer
　　192.168.206.11
　　DataClusterManager
　　1.1.1.17
　　DNS
　　N/A
　　NTP
　　192.168.206.1
1.5.2、   VLAN规划

　　VLAN>　　IP地址段
　　网关
　　用途
　　备注
　　305
　　192.168.207.x
　　192.168.207.252
　　VM管理、VM业务
　　FI带外管理
　　100
　　1.1.1.x
　　N/A
　　分布式数据存储
1.5.3、   用户名密码规划
　　分类
　　用户名
　　口令
　　连接方式
　　FI Node
　　admin
　　Cisco123
　　MMC
　　CVM
　　root
　　Cisco123
　　SSH
　　ESXi
　　root
　　Cisco123
　　SSH/MMC
　　IPMI
　　admin
　　Cisco123
　　MMC
　　vCenter
　　administrator@test.com
　　Abc@123.
　　HTTPS、MMC
　　NTP/DNS
　　test.com\administrator
　　abc123.
　　MSTSC
2.     HyperFlex综合功能测试
2.1、  IOmeter性能测试
2.1.1、   概述
　　性能测试主要考验Hyperflex系统读写的IOPS、响应延迟和吞吐带宽。
　　如果用户需要部署VDI虚拟桌面或数据库应用、文件服务等对存储读写有要求的应用，则会关注在Hyperflex平台上，不同应用场景的应用业务性能将达到的效果。
　　建议使用IOmeter进行IOps的性能测试，一个在存储领域广泛使用的性能测试软件，企业用户比较认可通过该软件跑出来的结果；另外该软件操作也比较简单，运行在Windows 2008/2012之上，图形化的界面管理。另外在VDI环境测试也可以使用HCIBench软件模拟出批量创建虚拟机并通过这些虚拟机同时运行脚本测试读写性能。
　　为了跑出最大的性能，建议在每台Hyperflex Node Server部署一个安装了Windows操作系统+IOMeter_VM，通过IOmeter提供的Manager组件同时把这几个IOmeter测试Agent统一管理，同时测试性能，获得累加后的性能数据。
2.1.2、   IOmeter 基本I/O性能测试数据
　　测试场景
　　总IOPS
　　读IOPS
　　写IOPS
　　平均响应时间(毫秒)
　　平均读取响应时间(毫秒)
　　平均写入响应时间（毫秒）
　　4K  30%写/70%读/100%随机
　　86562.81
　　60730.04
　　25832.77
　　4.4
　　2.2
　　9.7
　　4K100%读/100%随机
　　268567.53
　　268567.53
　　N/A
　　1.42
　　1.42
　　N/A
　　说明：测试时长25分钟左右。
2.1.3、   测试步骤
　　创建IOmeter集群，在每个Hyperflex Node上创建一个VM（运行windows+IOmeter）,其中Test1运行IOmeter控制台（管理多个IOmeter Manager）和IOmeter Manager（实际跑性能的程序）；其他TestX运行IOmeter Manager。
　　加入集群操作步骤如下：
　　C:\IOmeter>Dynamo–I 192.168.206.23 –m 192.168.206.24
　　192.168.206.23是Remote IOMeter Server 控制台，192.168.206.24 是加入集群的Manager。


　　每个测试的虚拟机(win2k8-iometer1、win2k8-iometer2和win2k8-iometer3)都新添加8块虚拟磁盘，每块虚拟磁盘大小为10GB。使用2个SCSI控制器；每个测试虚拟机配置8个vCPU和8GB内存，进入每个测试虚拟机安装并运行IOmeter。
　　每个测试虚拟机有8个Worker,设置每个Worker对应一块单独的盘，这样压力足够大。
　　将各IOmeter Manager注册到IOmeter控制台上。每个IOMeterManager会自动生成Worker线程，把CPU撑满。
　　在每个Worker中选择目标盘/测试模板和结果刷新周期。


　　设置测试时间为30分钟。

2.2、  VMware HCI Bench测试
2.2.1、   测试环境
　　通过HCI Bench部署20台虚拟机，分布在3台HX节点上，每个VM的参数如下表所示：
　　GuestOS
　　vCPU
　　Memory
　　Disks

　　Disk>　　Data Profile
　　Linux  photon
　　HCIBenchv1.6.1.0
　　4
　　4096MB
　　2块
　　16GB、30GB
　　70%Read  vs 30%Write 100% Random 4k block
2.2.2、   测试结果

2.2.3、   测试流程

2.3、  HyperFlex 高可用性测试
2.2.4、   测试概述
　　在进行HyperFlex高可用性测试之前，需要检查准备工作是否已完成，以免在测试的过程中发生无法及时切换的情况。依次进行模拟故障测试时，需前一个故障在系统中已恢复消除，再展开下一个节点的测试。
　　每个HX Node Server 已经预先部署了几个测试虚拟机。
2.2.5、   测试场景
　　测试场景
　　测试点
　　测试目标
　　测试条目/步骤
　　结果
　　主机节点关机
　　集群节点冗余测试
　　具备分布式架构独有的高可用特性，集群中不再存在单一故障点

  • 　　依次人为关闭Node A、Node B、Node  C三件节点
  • 　　运行在该节点的虚拟机是否发生迁移
  • 　　观察其虚拟机运行应用是否受影响
  • 　　观察恢复时，运行在该节点的虚拟机是否发生迁移
  • 　　观察恢复时，其虚拟机运行应用是否受影响
　　运行在该节点的虚拟机丢包53个后恢复，该节点恢复后，虚拟机不再发生迁移，该节点恢复时，虚拟机运行不受影响。
　　FI 交换设备关机
　　FI互联矩阵冗余测试
　　具备主备集群模式的FI交换设备，不存在单一设备故障点

  • 　　依次人为关闭FI-A、FI-B设备
  • 　　Standby节点FI顺利完成集群节点切换
  • 　　观察HyperFlex平台虚拟机运行应用是否受影响
  • 　　观察恢复时，HyperFlex平台虚拟机运行应用是否受影响
　　分别运行在三个节点上的虚拟机，3个不丢包，恢复时，分别运行在三个节点上的虚拟机,3个不丢包.
　　FI交换设备
　　上联链路断开
　　FI互联矩阵上联链路冗余测试
　　冗余的上联链路，不存在单一链路故障点

  • 　　依次人为关闭FI-A、FI-B设备的上联链路
  • 　　观察HyperFlex平台虚拟机运行应用是否受影响
  • 　　观察恢复时，HyperFlex平台虚拟机运行应用是否受影响
　　分别运行在三个节点上的虚拟机，有3个丢一个包，恢复时，分别运行在三个节点上的虚拟机，有2个丢5个包，另外1个不丢包。
　　节点链路断开
　　节点端口冗余
　　具备主备模式的万兆交换模块，不存在单一端口故障点

  • 　　人为拔掉任一个节点主机其中万兆端口连接线
  • 　　观察HyperFlex平台虚拟机运行应用是否受影响
  • 　　观察恢复时，HyperFlex平台虚拟机运行应用是否受影响
　　分别运行在三个节点上的虚拟机，只有1个丢一个包，另外2个不丢包，恢复时，分别运行在三个节点上的虚拟机，只有1个丢一个包，另外2个不丢包
　　CVM虚拟机关机
　　CVM冗余测试
　　具备分布式架构独有的高可用特性，集群中不再存在单一故障点

  • 　　人为关闭任一节点CVM虚拟机
  • 　　观察HyperFlex平台总容量是否发生变化
  • 　　观察HyperFlex平台虚拟机运行应用是否受影响
  • 　　观察恢复时，HyperFlex平台总容量是否发生变化
  • 　　观察恢复时，HyperFlex平台虚拟机运行应用是否受影响
　　只有一台虚拟机丢了一个包；运行不受影响，HyperFlex平台总容量没有发生变化，恢复时，虚拟机运行不受影响，HyperFlex平台总容量没有发生变化。
　　磁盘故障
　　SSD磁盘冗余测试
　　具备分布式架构独有的高可用特性，集群中不再存在单一故障点

  • 　　人为拔出任一节点的480GB SSD磁盘
  • 　　观察HyperFlex平台虚拟机运行应用是否受影响
  • 　　观察恢复时，HyperFlex平台虚拟机运行应用是否受影响
　　三个虚拟机的IOPS都明显下降，恢复后，三个虚拟机的IOPS都明显回升。
　　硬盘故障
　　HDD磁盘冗余测试
　　具备分布式架构独有的高可用特性，集群中不再存在单一故障点

  • 　　人为拔出任一节点的1.2TB HDD磁盘
  • 　　观察HyperFlex平台虚拟机运行应用是否受影响
  • 　　观察恢复时，HyperFlex平台虚拟机运行应用是否受影响
　　虚拟机运行不受影响，恢复时，虚拟机运行不受影响。
2.2.6、   测试小结
　　Cisco HyperFlex基于分布式架构的平台 ，在对应磁盘，电源，计算节点，网络设备等单点故障时，有着完善的冗余保护。具有高可用性，保障业务的正常运行。
2.4、  系统监控功能
2.3.1    vCenter HX Plugin插件
　　Hyperflex的存储服务管理通过vCenter HX Plugin插件完成，可以和vCenter一起完成对虚拟化资源的管理和监控。
　　HX Plugin插件位于vSphere web client中vCenter Inventory Lists – Cisco HyperflexSystems下，直接点击Cisco HX Data Platform进入。

2.3.2    HX 系统健康状态监控
　　直接点击Cisco HX Data Platform进入Hyperflex系统管理界面，可以获取HX系统健康状态概览：

　　点击HX-Storage-Cluster - Summary，可以查看HX系统更加详细的信息

2.3.3    Host健康状态监控
　　点击HX-Storage-Cluster–Manage-Cluster，可以查看HX Node server的健康状态信息

2.3.4    容量监控
　　可以通过vCenter HX plugin监控HX的存储容量和每个Data Store的存储容量。
　　点击HX-Storage-Cluster – Summary查看HX系统的存储容量状态。

　　点击HX-Storage-Cluster–Manage–Datastore–Summary查看每个DataStore的存储容量情况

　　点击HX-Storage-Cluster–Manage–Datastore–Hosts查看每个DataStore的在每个Host上的状态情况

2.3.5    故障监控
　　点击HX-Storage-Cluster–Monitor–Events查看系统日志和告警

2.3.6    性能监控
　　点击HX-Storage-Cluster–Monitor–Performace查看cluster/host/datastore的IOPS/带宽/延迟
　　Storatg Cluster 性能状态

　　Hosts 性能状态
　　http://blog.51cto.com/e/u261/themes/default/images/spacer.gif
　　Datastores 性能状态
　　http://blog.51cto.com/e/u261/themes/default/images/spacer.gif
2.5、  特色功能展示
2.4.1.  简单方式创建数据存储
　　创建VMware Cluster所需的共享存储空间，HyperFlex提供更直接的方式，在HX Plugin创建存储容量后，VMware Cluster Host将直接被挂载，更加的方便


2.4.2.  通过UCSM统一管理HyperFlex基础设施
　　UCSM提供原生的网络/计算/存储基础设置统一管理，管理功能实用性远超同类产品


2.4.3.  快速克隆虚拟机
　　相比于VMware提供的虚机克隆功能，HX通过存储指针变化方式生成快照，快速高效，20个VM仅需要约7秒钟 使用Right-clicka VM > Cisco plugin > Ready Clone。



2.4.4.  去重和压缩
　　Hyperflex的去重和压缩是自动开启的，可以通过vCenter HXplugin来观察压缩和去重的效果。 在三台HX Server Node共克隆20个VM，使用同一存储空间，克隆完后，观察HX存储容量大小的变化。虽然新增了20个新的VM，但由于启用了去重功能，存储容量的增长比实际20个VM所需要的容量少很多。


2.4.5.  小结

  • 　　整体界面简洁，信息展示完整。
  • 　　优秀的系统高可用性设计，单节点故障不会影响系统运行
  • 　　运维简便
  • 　　优秀的报表功能
  • 　　完整的数据保护功能
　　在随机读写上，HyperFlex的SSD热层技术保障数据在SSD层被充分利用。高IO表现完全优于传统的存储阵列。
3.     测试总结
3.1、  性能测试
　　超融合架构可充分利用企业级的固态硬盘（SSD）。值得注意的是，传统的存储系统专门针对旋转介质而设计，所以很难有效利用SSD，因为SSD的访问模式截然不同。机械硬盘有旋转和时延，而SSD则不存在这些机械局限性。由于两种媒介之间存在这种不同，因此要求软件进行不同的优化，以实现最佳的性能。我们不能简单拿来专门针对机械硬盘系统编写的软件，然后希望它能够有效运用于固态硬盘。超融合架构利用SSD存储各种各样的常用数据——从虚拟机元数据到主数据存储，一方面通过分布式缓存获得高性能，另一方面通过永久存储实现快速检索。为了将SSD的性能优势最大化，Cisco HyperFlex超融合架构：

  • 　　保留SSD用于I/O密集型功能
  • 　　采用各种节省空间的技术，使得较小的物理空间能够存储大量的逻辑数据
  • 　　自动将“冷”数据或非常用数据迁移至机械硬盘
  • 　　高速、低时延、自动QOS保障的专用网络，保证了分布式存储对网络的苛刻要求
3.2、  冗余性测试
　　Cisco HyperFlex 是一个高度可用的横向扩展型系统，不存在单点故障问题。数据分别存储于节点内的各个硬盘以提高性能，并在集群范围内进行复制以便提高其可用性。因此，即使硬盘或整个节点出现故障，也能够保证虚拟机的高可用性（参见2.2。2章节测试用例）。
3.3、  可管理/易用性
　　HyperFlex提供一种非常直观的、基于Web的用户界面，使管理员能够完全掌控集群中的计算和存储资源。它将每台虚拟机映射至系统中的物理资源，使管理员能够轻松解决与虚拟机有关的问题。
　　HyperFlex 是一种即插即用的解决方案，其中含有运行大量虚拟服务器或虚拟桌面所需的全部硬件和软件。管理员能够在几分钟时间内将其设置完毕，并开始创建虚拟机。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表，该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有，请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意，请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息，一经发现立即删除。若您因此触犯法律，一切后果自负，我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集，我们仅提供一个展示、介绍、观摩学习的平台，我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责，亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏，不得用于商业或者其他用途，否则，一切后果均由您自己承担，我们对此不承担任何法律责任
7、如涉及侵犯版权等问题，请您及时通知我们，我们将立即采取措施予以解决
8、联系人Email：admin@iyunv.com 网址：www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址：https://www.yunweiku.com/thread-537011-1-1.html 上篇帖子： cisco 特性集 下篇帖子： 万恶的cisco-wism
回复

使用道具 举报

返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群，最新一手资源尽在官方微信交流群！快快加入我们吧...

扫描微信二维码查看详情

客服 E-mail:iyunvcom@gmail.com

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

豫ICP备20007574号-1 Copyright © 2012-2025

关于我们

发展历程

联系我们

关注我们

广告服务

广告案例

隐私条款

免责声明

用户登录

用户注册

版主守则

申请版主

手机版

金币获取

帮助中心

每日签到

Good Good

Study

Day Day

UP


客服E-mail:kefu@iyunv.com 客服QQ：1061981298


QQ群⑦：运维网交流群⑦ QQ群⑧：运维网交流群⑧ k8s群：运维网kubernetes交流群


提醒：禁止发布任何违反国家法律、法规的言论与图片等内容；本站内容均来自个人观点与网络等信息，非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来，其版权均归原作者及其网站所有，我们尊重他人的合法权益，如有内容侵犯您的合法权益，请及时与我们联系进行核实删除！



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表