45o21hj 发表于 2016-3-29 20:16:24

MicroServer Gen8 硬盘RDM 经验谈

小弟今年3月从CU购入丐版Gen8一枚,开始将家里的电影慢慢归集到这台服务器上。

家里本来有一枚群晖212J国行,用了近两年后,感慨其硬件性能过于孱弱,于是开始计划折腾。

首先是将CPU升级为某宝牌1280V2(正式版),内存为某东创见8G ECC*2,近日从美亚购得希捷8T ST8000AS0002一枚(249.99美刀Seagate Backup Plus STDT8000100版),开始漫长的折腾之路。

内存规划为这样的:

8G内存给2012R2,做数据中心用(机械磁盘全部RDM给2012R2,再由其统一分配和构建内网关键服务)
2G内存给黑裙,额外下载用。原有212J不退休,挂载2T+3T硬盘(JBOD)持续做种。
1G内存给MikroTik,计划替换现有Asus N56U,提供稳定的高速上传性能。
2G内存给Windows 7 Ent,这个为Misc类用途


硬盘规划为这样的(非RAID模式):

某宝牌三爽850 EVO 250G,丢在光驱位。不在乎所谓的寿命问题反正只放OS,够不够快反正也是SATA2,至于说为啥要放这里,我想至少机械硬盘放笼子里更保险。2012R2分120G,7 Ent给了80G,黑裙8G,MikroTik几乎可以不计。Windows系统均为Thin Provision,为啥选这个主要是被搞怕了,后文会有简要描述。
ST8000AS0002 RDM (vmkfstools -z )后放置电影,NFS给黑裙下载目录。SATA1位。
ST4000DM0002 RDM (vmkfstools -z )后放置电影。SATA2位。
SATA3和SATA4位暂空,还没想好是继续购买ST8000AS0002呢,还是将鸡肋2T、3T盘拿过去。


现在开始讲RDM经验谈了。

刚开始设想将闲置的猛禽WD3000HLHX做OS DataStore,后来从5.1、5.5一直升到6.0,均无法正常使用:Esxi不认盘,或者磁盘性能过于低下。要命的是ST8000AS0002根本无法初始化(partedUtil也不行)。后来看到5.1版本无法支持2T以上硬盘,5.5的三个版本也试过了,此问题仍然无解。
感谢sym大大提供了宝贵的经验(帖子po在:/thread-1330699-1-4.html),放弃WD3000HLHX做系统盘的想法,一来Esxi驱动很可能还存在兼容性Bug,二来万转硬盘相对于SSD来说还是无法胜任多系统网络任务重载(Heavy load)的情况。随便选了个大牌最便宜的SSD(上文提到的850 EVO,最起码是正规主控和非次品闪存),从HP提供的5.5镜像最低版本开始试,最终定格在了U1(1746018)版,按sym大大的提示,更换了hsvpa驱动。
终于能安分地安装系统和稳定运行了。且慢,为啥安装Windows系统要超过30分钟?为啥在系统中测试SSD的速度这么慢?AS SSD Benchmark的4k成绩几乎无法完成!!!经过搜索前辈的经验和自己的实验,认为与BIOS设定的关系比较密切:其中一处是打开Legacy的支持,我本人测试这块关系不大,也可以打开AHCI支持。

/data/attachment/forum/201508/21/170438y6l6qgq605l0jhpz.png
      更关键是需要打开写缓存的设置。
/data/attachment/forum/201508/21/170543orgnb6rfmffgfbua.png
   打开之后终于能重见让我泪流满面的速度了。


/data/attachment/forum/201508/21/170615osjmy22n56yyu2jw.png
然而,故事并没有就此结束,因为折腾的目的地是星辰大海。我不希望先将磁盘挂载到Exsi后转化为VMFS格式。毕竟上次212J中一块3T硬盘挂掉后的往事还历历在目。只能祭出RDM大法。RDM大法有两个途径:将SATA控制器直接给直通了,但无法使用Esxi管理多个异构系统。其二是再购买阵列卡(荷包感觉一紧)。所以必须要考虑在2012R2下的RDM。在这里首先感谢x.y.z大大在帖子中提供的Virtual RDM -r大法(/forum.php?mod=redirect&goto=findpost&ptid=1241750&pid=27759097),显然我Physical RDM遇到问题了,磁盘在Windows下显示容量为0!!!通过vmkfstools -r命令可以解决此问题,但是,无法监控磁盘S.M.A.R.T!!!又一次往事历历在目!一定要解决Physical RDM!!!中间试验过程的艰难就不表了,在我这边的经验就是,先Virtual RDM,之后在Windows下正常分区(一般采用GPT分区),然后删掉虚拟机中的磁盘和DataStore中的映射文件,直接再Physical RDM。


/data/attachment/forum/201508/21/170633kfwa9xo6rx3hoo13.png
   这个图说明了应该还是Physical RDM有bug,至于这个问题出在RDM本身,还是在hsvpa驱动上,小弟我就真不知道了,请各位大大不吝赐教。但我的问题基本上也得到了解决。资源管理器中的磁盘容量信息是正确的:
/data/attachment/forum/201508/21/171211x9ynsyl190wq1sle.png


   前文也提到了磁盘间对拷速度也正常。关键还是解决了我心头最大的担忧:
/data/attachment/forum/201508/21/171249glesnrs8f44zxzvo.png
    小弟的经验介绍就到这里了,感谢各位同好的阅读,下面还有小弟几个悬而未决的问题,也请各位赐教。如果小弟找到解决办法,会及时在本帖上更新。
Windows下通过NFS向黑裙提供下载和其他应用目录(参考贴:/thread-1240623-1-1.html,建议使用transmission,将下载中的任务也移至NFS目录),但经常会出现下图的问题,不知道是不是NFS服务导致的。/data/attachment/forum/201508/21/171311kq045zdhdbg338qd.png
黑裙需要从光盘启动,但虚拟机BIOS默认并不是优先从光盘启动,修改BIOS相关设置后,保存后启动成功,再次重启却发现BIOS设置仍然为初始值。请问这是否因为VM Tools没有安装的缘故(Win 2012和7的BIOS能够正确保存)。





5wohdo 发表于 2016-3-29 20:16:25

我也习惯用RDM,灾后重建比较容易

宿主是ESXi 5.5,装在SD卡上
SATA5上面一块三星MZ-5EA2000老盘,用来安装虚拟机系统。不计各种试验、学习用途虚拟机的话,现在工作的只有一个CentOS6和一个win7。其中CentOS负责拨号、路由、防火墙、QOS以及出国,win7负责下载、分享、转码之类的杂活,家里其它windows机器直接mstsc就上去了

SATA1 一块希捷NAS4T,RDM挂给win7,跑下载
SATA2 一块希捷NAS4T,RDM挂给win7,做共享
SATA3+4是一组西数NAS4T,raid1,RDM挂给win7,备份重要文件

gen8的SATA3、4、5都只有3.0Gb速度,不适合做读写要求高的任务

如果没啥东西非要黑裙白裙才能做,建议裁撤

sbps7o 发表于 2016-3-29 20:16:25


黑裙的存在个人觉得主要是一整套的多媒体分享机制,手机、网页都可以非常容易地获取,播放,管理。毕竟一个网页或一个app能完成的事要比远程桌面方便多了。如果windows本身能有一套简单便捷的方式共享,的确没必要专门搞黑裙。

d826z0l 发表于 2016-3-29 20:16:25

个人觉得如果跟着论坛里的帖子走,使用GEN8初期确实要折腾很久才行,特别是大多数想我们这样不是专业搞IT的……
其实日常使用,推荐硬盘还是用自带的RAID模式,装esxi5.5+ubuntu/freenas;或者硬盘AHCI 系统装个win server 2008用储存池。毕竟是GEN8官方比较推荐的使用方式,资料多少走弯路。
楼主我去网上查了一下,esxi的rdm对win的支持确实有点问题,经常看到这样那样的抱怨,如果用esxi推荐还是走*nix系统的路线。如果要用win,就别用esxi了,直接装windows server

fhy0yudo 发表于 2016-3-29 20:16:26


我的2t如果开了ahci用rdm必定esxi会在启动后短时间内卡死。如果不开ahci则一切正常,估计esxi在开ahci情况下使用rdm会有问题

o0241e 发表于 2016-3-29 20:16:26


猪哥不用mark了 刚刚拜读看完了 哈哈 没全看懂
但是还是发现 gen8 适合win server 2012之类的

cb6qf4 发表于 2016-3-29 20:16:26

首先要明白虚拟机是干啥的?
虚拟机是本质上是为了测试系统兼容性发展起来的,是软件开发人员的工作工具。
个人用户的虚拟机是纯折腾,真的需要那么多系统同时运行吗?
简单易用才是好电脑的标准。
为了储存,gen8挺合适的,不管是黑群晖还是windows server都挺安逸的,
为了渲染,非编,gen8咋换cpu都是白费,弄台猛点的计算服务器吧,至少双路cpu的。
术业有专攻,适合的才是最好的。


v4km6zx 发表于 2016-3-29 20:16:27

黑裙用虚拟机ide价值vmdk文件版本就可以解决重置问题,因为默认就可以硬盘先启动

8pxcbe 发表于 2016-3-29 20:16:27


可以用,现在我有两台Gen8,硬盘容量有3、4、8T
可以直通至黑裙和Windows Server

具体方法请参考我的主贴。

4xnkjom 发表于 2016-3-29 20:16:27

记号一下,找时间坐下来慢慢看

页: [1] 2
查看完整版本: MicroServer Gen8 硬盘RDM 经验谈