维塔斯科技

 找回密码
 立即注册
查看: 6061|回复: 20
打印 上一主题 下一主题

生命在于折腾,PowerEdge R730搭建ESXI环境,疑难求教万能C坛

[复制链接]

该用户从未签到

57

主题

349

帖子

771

积分

高级会员

Rank: 4

积分
771
跳转到指定楼层
楼主
发表于 2016-3-29 20:04:20 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
先简单说一下案发现场的情况

一、PowerEdge R730一台,出厂主要性能部件如下

2X 英特尔至强 E5-2603 v3 1.6GHz,15M 缓存,6.40GT/s QPI,无Turbo,无 HT,6C/6T (85W)

PERC H730 集成 RAID控制器, 1GB 缓存
3X 600GB 10K RPM SAS 6Gbps 2.5英寸热插拔硬盘 RAID5
2X DDR4 8GB RDIMM, 2133MT/s, 双列, x8 带宽
双个. 热插拔, 冗余电源(1+1), 750瓦
4口 NetXtreme BCM5720 Gigabit Ethernet PCIe

二、虚拟平台搭建
Dell官网下载了R730对应的ESXI 6 ISO
一个闲置sandisk 16G U盘插入机箱内置的USB口
idrac虚拟控制台远程挂载ISO安装到U盘,设置U盘启动
看到ESXI反人类华丽界面,配置管理网卡和IP
至此,ESXI主机环境all the green(出击脸)

三、虚拟机搭建描述(附赠问题!)
测试环境下先搭建两台CENTOS
原厂三块SAS的RAID5 分配给虚拟机系统空间另外再用两块1T的盘组RAID1,挂载上去做资料盘
再随便用一块SSD插上去做ESXI的缓存盘(840EVO:啊~~我不要做这么随便的盘!)

那么,问题来了:
卑鄙无耻下流的DELL在13代服务器上的全系阵列卡阉割了LSI原厂的cachecade功能



然后,Dell说”LSI的那个都没人用呢,所以我和sandisk携手推出了更坑钱的DAS Cache!“”小伙伴们,快来买授权吧!“

我TM都是进入阵列卡bios界面设置半天找不到cachecade选项,才出来翻资料......
Dell你怎么能这样,我TM还是个孩子啊!我又不会去找原厂固件强行刷入你的阵列卡!

SO,只能启用VMware在enterprises plus版本中提供的Flash Read Cache



虚拟化服务器端闪存
vSphere Flash Read Cache 可虚拟化服务器端闪存,从而提供一个可大幅降低应用延迟的高性能读缓存层。 缓存对虚拟机完全透明,无需任何客户机代理。 vSphere Flash Read Cache 支持按每个 VMDK 的精确度分配闪存资源,从而提供 vMotion 一致性读缓存以及与 DRS 的集成来进行初始安置。


可靠和经济实惠的服务器端闪存- 以 PCIe 卡或固态驱动器形式出现的服务器端闪存为 vSphere 环境提供了可靠和经济实惠的存储介质。 服务器端闪存提供了一个新的低延迟存储层,可以利用该层来以性价比逐渐提高的方式使数据靠近虚拟机。




- See more at: http://www.vmware.com/cn/product ... thash.efBRxspv.dpuf

现在陷入了选择迷茫大阵
A方案1.SSD接入阵列卡,选择non-raid模式,在ESXI中能直接识别为SSD,设置为缓存
2.SSD接入阵列卡,选择单盘raid0模式,在ESXI中不能直接识别,需要手动标识为SSD,随后设置为缓存
以上两种有啥区别?!
求解!

B方案:
SSD不接阵列卡,接入主板上的SATA接口

基于现在整个ESXI的磁盘IO是从阵列卡PCIE接口走的考虑
作为缓存的SSD避开阵列卡从另外的SATA通道走是否在高并发磁盘请求时有帮助?

接下来又衍生出了一些其他问题,各位老司机请别厌烦看我一一道来。

衍生问题1:
H730 mini阵列卡自带电池和1G 缓存,是否可以在阵列上两个RAID缓存策略都用write back来代替writre through
那如果接上阵列卡上的SSD缓存盘,应该采用何种阵列卡的缓存策略呢?

衍生问题2:
现在在ESXI主机上看到的储存情况如下,硬件加速都是”不受支持“状态
查阅了vmware文档也没看明白,请问有配置ESXI的兄弟打开过这个硬件加速支持的么?




问题较多,文字较乱,请见谅
希望大神、老司机们各种乱入赐教啊!



回复

使用道具 举报

该用户从未签到

62

主题

412

帖子

904

积分

高级会员

Rank: 4

积分
904
沙发
发表于 2016-3-29 20:04:20 | 只看该作者

服务器和家用产品比价格可能高级点,但是问题和高级无关啊....
就是缓存+阵列卡设置的问题,还有ESXI环境的问题
我看坛子里面玩这些的大神很多,所以求解答.....
这段时间找文档翻死我了....

回复 支持 反对

使用道具 举报

该用户从未签到

61

主题

470

帖子

1021

积分

金牌会员

Rank: 6Rank: 6

积分
1021
板凳
发表于 2016-3-29 20:04:20 | 只看该作者


我曾经做过vCloud的项目。。。

你要真想玩,不管是你自己,还是公司,我建议你用刀片服务器。。。方便可靠灵活,可玩的地方比较多。。

投资的话,硬件方面大概200万不到,应该可以玩的不错了。。


回复 支持 反对

使用道具 举报

该用户从未签到

73

主题

443

帖子

977

积分

高级会员

Rank: 4

积分
977
地板
发表于 2016-3-29 20:04:21 | 只看该作者
买3块万兆网卡,用3台服务器玩VSAN

回复 支持 反对

使用道具 举报

该用户从未签到

58

主题

406

帖子

888

积分

高级会员

Rank: 4

积分
888
5#
发表于 2016-3-29 20:04:21 | 只看该作者

不会,这只是前期自己搭配着顺便做项目测试的

后面跑起实际业务后会上商业云,这样来说比较省心。
回复 支持 反对

使用道具 举报

该用户从未签到

65

主题

396

帖子

875

积分

高级会员

Rank: 4

积分
875
6#
发表于 2016-3-29 20:04:21 | 只看该作者
关于硬件加速问题,我在安装过程中,凡是ESXI支持的FCSAN或者IPSAN,均能自动开启硬件加速,而本地存储均显示不支持或者未知。
关于阵列卡回写问题,一般认为有缓存和电池的,应该开启WRITE BACK,这样可以提高写入性能,数据丢失风险会比另外一种模式稍高。
至于你的SSD,性能除了由于各个接口的不同导致性能不同外,我觉得更多的还是依赖于缓存算法以及耗用系统整体的资源。另外如果你的负载没那么高,那么这几个接口的区别也没想象的那么大。
一切依赖于实际环境的测试。




回复 支持 反对

使用道具 举报

该用户从未签到

44

主题

317

帖子

696

积分

高级会员

Rank: 4

积分
696
7#
发表于 2016-3-29 20:04:22 | 只看该作者
楼主的问题,不知道怎么回答。但换个角度看问题。

H730阵列卡,插在pcie3.0 x8插槽,总带宽8GB/s,接8个硬盘,每个硬盘带宽1GB/s,超过sata3.0(6Gb/s)硬盘接口带宽。因此阵列卡不会成为瓶颈。

SSD接在阵列卡,trim没问题吧。


回复 支持 反对

使用道具 举报

该用户从未签到

47

主题

373

帖子

809

积分

高级会员

Rank: 4

积分
809
8#
发表于 2016-3-29 20:04:22 | 只看该作者
你这玩得太高级 ,菜鸟帮你顶一下让人看到

回复 支持 反对

使用道具 举报

该用户从未签到

55

主题

382

帖子

835

积分

高级会员

Rank: 4

积分
835
9#
发表于 2016-3-29 20:04:22 | 只看该作者

答非所问,不过还是谢谢帮顶了

回复 支持 反对

使用道具 举报

该用户从未签到

57

主题

383

帖子

841

积分

高级会员

Rank: 4

积分
841
10#
发表于 2016-3-29 20:04:23 | 只看该作者

硬件加速存储要求

ESXi
块存储设备
NAS 设备

ESXi 版本 6.0支持用于阵列集成的 T10 SCSI 标准或块存储插件 (VAAI)支持用于阵列集成的 NAS 插件

[size=0.9em]注

NFS 4.1 不支持硬件加速





其实在文档里我是找到这个了的,就是后面英文文档看得比较苦和慢
所以看看有没有坛友是配置过的
VAAI(Storage API - Array Integration),貌似要到ESXI操作台上去命令行弄
我先继续翻文档,感谢火线兄的提示

SSD到NVMe算是技术升级吧,目前还是成本问题
未来趋势捧的是“软件定义储存”,所以储存不管换成什么,玩软件管理总是没错的
从ESXI配置玩玩,也算是打发时间的折腾了:)



回复 支持 反对

使用道具 举报

发表回复
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

    移动客户端:
    关注我们:
  • 手机客户端:
  • 安卓版
  • 扫描二维码下载

Archiver|手机版|邢台网云科技有限公司 ( 冀ICP备16008275号 )

快速回复 返回顶部 返回列表