网云科技

标题: 全能家庭服务中心折腾日志（更新测试性能） [打印本页]

作者: sjyww1d 时间: 2016-3-29 18:18
标题: 全能家庭服务中心折腾日志（更新测试性能）
折腾了好几天了，终于有点成型了，
发电子了大家一起分享下，包括遇到的一些问题如何解决。

机子：惠普Proliant Ml310e gen8  塔式服务器
配置：CPU: E3 1230 V2
内存：金士顿 8G ECC 1600 ×4
阵列卡：LSI 9211-8I ×2
硬盘笼：ORICO 光驱2转3
硬盘：
         ESXI 系统盘
                     INTEL X25-M G2 160G ×1          WD 5400转 2.5笔记本盘 320G ×1    SANDISK 8G SD卡一张
      ZFS 部分
                     希捷2T×5    ,intel 313 SLC 24G SSD ×2          浦科特 M5S 128G SSD×1 挂在9211-8I 一号
      WSS2012部分
                     希捷 3T×3 日立笔记本5400转 1T*2

共计  8片 3.5 硬盘 7片 2.5硬盘 1片 SD卡

系统篇：
目前装了4个系统分别是
DSM4.2 做媒体中心共享
Nappit 做ZFS阵列，提供高性能的ISCSI服务和安全的存储
WSS 2012 R2 做硬盘池没阵列，做PT普通下载和电影仓库用
WIN7 远程工作平台，正准备部署 VM View

遇到的一些问题和大家分享一下
1：抱怨下orico  的硬盘笼噪音真心大
2：服务器的风扇噪音没想象中那么大
3：orico 的数据线品质很差，20一根的线竟然会掉盘，我还因为是主板南桥挂了
4：ESXI 做在USB上速度并不差
5：整机功耗待机70W（硬盘停转，日立1T*2 下PT）比想象中低（ZFS用FREENAS之类的功耗就到100多W去了那玩意不支持硬盘休眠）
6：各位部署ESXI 发现性能各种奇葩的时候看下是不是  服务器的性能模式改了？我改成动态节能各种不稳定改成OS控制就OK了
7：推荐下 X宝那个 ml310e gen8 服务器准系统性价比真心不错比买mircoserver gen8划算的多。

其他的待续，抽空理完线上照片。。。

2014/01/02 更新软件部分

首先是我希望达到的功能，首先他能承担起 all in one的角色，所以需要一定的性能，加上我有很多重要的数据保存，所以对稳定性要求会相对较高。然后还要下点PT，当然不是PT发烧友，所以得可以下，然后稍微保存一部分喜欢的电影，老婆喜欢拍点照片，所以需要一个照片相册功能，原先是N40L做nas4free系统，虽然很实用但是缺少了一点花哨的功能，不管黑群还是白群，磁盘稳定性不敢恭维，所以又很纠结。最近各大PT网站又开始姨妈了，TR这个下载端会泄漏什么造成被迅雷什么的吸血，所以得用UT，UT又只有 WINDOWS平台才有，基于一系列纠结的情况，有了以下的组合：

1：数据中心，OPENINDIANA+NAPPIT：由5片希捷2T +1片 M5S 128G做ZFS的读缓存，2片INTEL 313 SLC芯片 24G SSD 做镜像做写入日志设备。系统先是选了熟悉的NAS4FREE，不过那玩意在虚拟环境下各种不稳定，所以换了让人头大的 nappit 官方的all in one 整合包，系统是基于 ominos+nappit web gui，这系统效率确实高效，不过很难，全部是英文，而且网上没有相关教材，过几天空了准备写一篇。这样的系统在内部测试读770+MB/S 写入 550+MS/S 恐怖的是做一个ISCSI后虚拟机内的WIN7挂载后用ASSSD 去测试性能更是达到了500多分。

2：下载中心：WSS2012 R2：由2片日立5400转的笔记本盘，3片希捷3T组成（目前1片3T还有2片等发工资去买）。原因是实际测试3.5的盘功耗还是不小的，所以选择了2片5400转的 1T本盘在wss 2012 r2 做了个存储池，相当于软RAID0，作为PT下载盘和常用下载盘，降低功耗，另外3T×3 做个没容错的存储池，当电影仓库。至于笔记本盘的寿命，我想不用太大担心，首先有软阵列的话就是有写入缓存的，其次是UT客户端我设置了512M做缓存加速网速本来就不快。

3：文件中转：DSM4.22：这个没什么物理硬盘给他，直接从上述320G的本盘里划了80G给他做系统盘，然后就是外挂有数据中心和下载中心的NFS 拿NFS做再共享，DSM有个很好的功能就是，在远程查看家里的文件的时候，特别是图片，可以看预览图，做到精准下载。还有各种相册，顺便还搭建了个KMS激活服务器。。再也不用怕激活了。。。。

4：折腾中心：WIN7系统，挂了个ISCSI盘做D盘，做了快照，各种折腾，看看不对劲了就快照返回，再也不用怕干某种事情中毒了。。。而且ipad远程操控，各种方便，装了vsphere client 配合 hp自己的iLO4 远程监控服务器。

5：其他：准备把 vm view给折腾起来，不过这玩意需要3个虚拟服务器配合，真够折腾的。。有空在搞。这样就可以做到真正意义上的0噪音了，只需要一个零客户端即可连接远程系统，直通个显卡进去给WIN7 这样和用本地电脑没什么区别，关键是这个系统，不管在家里，还是在公司，都可以远程登录，非常方便。

part1：Esxi的艰辛旅程待续
part2：Nappit的新手体验报告
1:nappit的性能以下测试是 nappit内置的测试程序测试的，系统状态是 HP COMS里开启动态节能模式，电源配置选平衡。然后ESXI里电源配置选节能模式，nappit内部节能全部打开。测得如下数据，不开节能高10%。

2：这是实体机，挂着nappit的 iscsi盘的实测，实体机网卡是千兆的，杀毒软件开启，没有为了测试特意关闭什么程序，跑的这个速度：小文件的读写，是普通硬阵列或其他方式不可能得到的速度。

然后重点来了：
1：ESXI 虚拟的win7远程挂着 nappit 开启主机动态节能的测试分数

2：同样环境，关闭动态节能，ESXI能耗设计还是平衡的时候的测试：

可见，是否开启节能，好像对网卡的性能影响非常大，不知道这是为何原因。实际nappit内部测试文件系统的性能都没多少变化。PS：如果加一个FC HBA卡 4G的那种二手货 150一张，服务器和你的台式机直接用光纤连接，你想想，这速度。。基本是跑满400M，要想这可是8T的容量啊。。这速度，是SSD级的。

part3：硬件兼容报告

1：关于ESXI：ESXI 是个很变态的东西，你想上他，最好有新的服务器，或者INTEL 之类的原厂主板+服务器网卡，最好是双口的

2：关于功耗：CPU的实测功率上，本人测试，我用E3 1230V2 正常使用一天和 E2 1220L V2 正常使用一天，E2 1230V2 大约是2.6KW/H E3 1220L V2 大约是 2.2KW/H 一天 0.4度电，一年下来也就100多度，几十块钱而已。不过性能差距很大。现在整机待机功耗70W，包括了那么多硬盘和2张阵列卡，空耗控制算不错了。以前用N40L+NAS4FREE 不知道什么情况好像不支持硬盘休眠，待机功耗也是70多W。所以与其把金钱花在CPU，金牌电源上，不如首先去找点低功耗的硬盘，然后让硬盘没事干的时候休眠，让那种需要24小时干活的事情，给低功耗的笔记本盘去干，放心没这么脆弱，挂了还有保修么不是。。

3：关于ZFS，这个文件系统，非常好，朋友们肯定不少说不如阵列卡，但是，我告诉你，别得瑟，是骡子是马咱拉出来溜溜。大文件不敢说，4K想跑赢ZFS，很难。

4：关于阵列卡，实践证明，不要指望orico之类的家用卡能被ESXI支持，然后把主板的SATA 直通给虚拟机。这是不可能的，还有，实际测试主板的SATA 不能被直通。阵列卡还是老实点买点新的吧。还有如果你是品牌服务器，最好别买其他牌子服务器的拆机卡，兼容很恶心！

5：珍惜生命远离orico: 这机子上有个orico 的2转3 硬盘笼，才用2周，那风扇噪音能盖过服务器的风扇！用了2条orico 17块一条的SATA数据线用了2天，我2个ESXI 系统盘，全部在同一天晚上掉线，吓的我以为是主板南桥烧了，最后换了线一看，原来是线的问题，因此造成我INTEL SSD hdtune检测到2个坏道，WD 320G的盘，C7 暴涨。

作者: dhnf4d8e 时间: 2016-3-29 18:18
仿佛看到了机房硬件工程师在项目上忙完一天后回家继续加班的情形～～～

作者: qnqku1z 时间: 2016-3-29 18:18

还好，反正只是系统盘，要坏就坏，重新装重新导入虚拟机即可。
我一般会备份的，不过sd卡很少听到坏的

作者: 5v2frov 时间: 2016-3-29 18:18

cachecade用原厂卡的话，是有福利的，有30天key可以无限重置。。

持续的优势，在千兆网感觉是没用，我现在raid的持续也就在阵列间对拷才能跑出来。不过主要我是觉得24小时开机为主的家用homeserver，一般也不跑数据库类io高的应用，所以，4k感觉也不是大用，超高速pt(超过10MB/s)倒是需要4k性能，就是自家网速没那么给力。自己的lsi可以无限用cc，也一直没用cc。

我不是怀疑zfs安全性，我是说如果出问题了，个人怎么处理。毕竟我们都不是专家，raid掉了，好多数据恢复的人都至少懂点，zfs我就不知道了，几年都没去过数据恢复的地方了。zfs不需要盘序这点很好，记得好像对tler有个类似的软件处理技术，所以不需要企业级硬盘，这点也很好。只是站在个人用户层面，比较怕坏了不知道怎么处理。

作者: tmys0pvy 时间: 2016-3-29 18:18

怪不得
穷人买成套的米不动啊~~

作者: qppxpg6 时间: 2016-3-29 18:18

cachecade 需要授权，而且很贵，一个授权几千块，而且不知道是否支持写入缓存，读取缓存是支持的。
LSI 比如H710P 自带的1G SSD缓存，基本超过1G的大文件写入就傻了，打回原形了。
当然优势是持续比ZFS强的多。关键我的内网就到顶就115M/S, 我要这么高持续干啥？？如果你是土豪家里上万兆的话，那我没什么好说的。那么在最高限制115M/S的前提下，我是否该考虑下小文件的性能也尽量的高呢？

ZFS安全性你放心，这玩意是做SAN的系统，而且ZFS文件系统，可以更换主机更换HBA卡，硬盘顺序随便换，找个新机子，只要还是以前那几个硬盘随便插上就可以导入数据。不需要那种企业级硬盘支持防止掉盘，随便找个SATA就要可以用。
不好的就是太费内存了官方推荐1T/G的配置是起码的

作者: 4xbh9p 时间: 2016-3-29 18:18
LZ能不能写个详细点的教程啊，从安装到设置

作者: ykwi1w 时间: 2016-3-29 18:18

H710P上哪有SSD缓存？NVCache？那是1G的闪存，卡上实际使用的缓存还是DDR，掉电时利用BBU供电把缓存里的数据保存到闪存里，这样即使BBU性能退化也不会有太大影响。

作者: t66o0u 时间: 2016-3-29 18:18
西数的绿盘蓝盘等没有TLER很正常，我目前用的东芝3T有自家的CCTL功能，类似的，不会掉盘，如果你24小时开启，就不建议组多盘系统，这样出问题概率高很多，或者换用更可靠的企业盘或本盘。
INFINIBAND在WIN7下的驱动还是很好搞定的，你可以搜搜我之前发的文。

作者: u6ow8y 时间: 2016-3-29 18:18

恩，INFINIBAND，不错，不过搞不定驱动唉很蛋疼。。

RAID卡蛋疼的最主要不是 4K 是对硬盘要求比较高，普通硬盘容易掉线，还有就是不能硬盘自动休眠停转这点我有点接受不了，本来用H710P搭建的待机功耗比这套高了50多W

作者: vjd1ow 时间: 2016-3-29 18:18
期待更详细的更新！

作者: vbmgp7 时间: 2016-3-29 18:18

其实我是个室内设计师～～～

作者: uw0ciuv 时间: 2016-3-29 18:18

首先LSI的 cachecade 是需要购买授权的，一个授权1500多吧我记得，授权购买之后，你的实际写入性能就是你的SSD的写入性能，而且你最好得给这个SSD 做RAID1，否则你写入的时候SSD突然挂掉的话，那么，不好意思，你的数据就拜拜了。还有 LSI 比如H710P 带的1G的 SSD缓存，那玩意在小文件是可以，但是如果你要大量写文件文件大小超过缓存大小，那么直接就傻逼了。
ZFS出问题可以自动重构，可以设置规定时间自动校正，也不会和阵列卡一样，硬盘是普通硬盘不支持TLSR什么的就容易掉盘，你系统坏了也没事，重新装下系统，导入就是了，只要硬盘在，接到其他配置不一样的机子上，都可以正常导入。

4K性能主要是做ISCSI 用的。我现在所有电脑全部 SSD化，然后ISCSI 做辅盘，你说辅盘用SSD的速度爽呢还是 HDD？

ZFS唯一不好的就是这玩意太他妈的吃内存了。。。1T/G的配置。。

作者: wnldom3 时间: 2016-3-29 18:18

又出来了，刚才我看还下架了，不过友情提醒，这玩意风扇挺暴力的，静音控悠着点

作者: uc74oyd 时间: 2016-3-29 18:18

这个真要有点钱才能玩,待机的时候噪音就吃不消了.

家里要有个小房间专门放这个,丢地上呢还是在买个机架?

专业机架呢还是山寨机架?

2款机子倒是不贵.710缺点是3.5才6盘位.

2机器也没什么diy空间了.

作者: w1s56c 时间: 2016-3-29 18:18

好像～～没的卖了。。。

作者: pumfjm 时间: 2016-3-29 18:18
homeLab的主板送修了...已经做好全机换掉的准备...

ml310e gen8 服务器准系统没找到?

作者: f0m5b8 时间: 2016-3-29 18:18
楼主折腾ESXi的时间和我一模一样啊...我也是元旦开始折腾ESXi
目前也是在ESXi上面跑爱快软路由和WSS2012...
同意楼主的说法,ESXi识别硬件真的够折腾...拼了老命去买了2XXRMB的intel82580双口网卡...这够折腾...
也问问楼主...把ESXi安装到USB存储设备上安全吗?引导速度如何呢?目前我是安装在HDD上面,感觉启动好慢...准备折腾SSD了...我的配置是:
联想D400/W130S 家庭服务器箱子
Intel G3220
华擎 H87M-ITX
美光 DDR3 4G X2
WD 320G BEVT 2.5寸硬盘

作者: 1ffcon 时间: 2016-3-29 18:18

找到了~~~
1300
而且看到了LZ的购买记录
连ID都一样~~

作者: pb9414x 时间: 2016-3-29 18:18
只存大体积数据如蓝光原盘的个人用户，没必要追求4K性能，RAID还是比较适合个人用户的，简单易用，性能也很强，目前我自己14盘RAID6的存储机用INFINIBAND线互联，与8盘RAID5存储机间互拷，速度可以到750M/S，CDI的1000M分数，可以达到2G

作者: u1x4b4c5 时间: 2016-3-29 18:18
太强了……赶上机房了

作者: 45bbbrp 时间: 2016-3-29 18:18
请LZ PM一下这个准系统的购买地址啊
网上找一圈没找着~~~~~~~~~

作者: o76ker 时间: 2016-3-29 18:18
E5 2650L+外星人X79的路过。。。
支持折腾~

作者: u8ks61y 时间: 2016-3-29 18:18
留位待续

作者: e3jzmgp 时间: 2016-3-29 18:18
zfs用ssd做cache和lsi的cachecade谁更强？
楼主有什么特殊需求需要datacenter的4k性能吗？
最后问下zfs问题如果出问题了，不知道怎么修复
(solaris或者linux有方便的修复软件吗？真心请教，好久不用了*nix了)

ps：感谢楼主分享

作者: vpqvor 时间: 2016-3-29 18:18

真能折腾

我感觉我要看你的更新了。很好奇。很炫的选择。。

四系统我就给跪了。

作者: 753lxd5 时间: 2016-3-29 18:18

好吧，折腾ESXI 和ZFS的室内设计师真不多

作者: 0rsfvb 时间: 2016-3-29 18:18

和硬阵列差不多，都有数据恢复公司可以搞定啦。反正我们自己是搞不定的。
我用ZFS 主要源自于几年前，一次DELL 6I 做RAID5 掉盘，因为身边没有一样的卡，根本不知道是卡有问题还是盘有问题，然后后来各种原因造成数据毁了，数据恢复公司都搞不定。
而且硬阵列做NAS 最大的问题是不支持硬盘待机，硬盘必须不停的转，这个功耗实在吃不消。
唯一支持待机的 H700 也要特定时间的固件。。。

作者: b8vfsgh 时间: 2016-3-29 18:18
照这个节奏要出DL380G8和R710的帖子了.

顺便，我用的是hyper-V加PC的低成本方案，ESXI不调教一番根本没法用.

作者: 4plutl 时间: 2016-3-29 18:18
前排留名！
homelab是蛮好玩的，等楼主上全

欢迎光临网云科技 (http://www.8x6x.com/)