全能家庭服务中心折腾日志（更新测试性能）

sjyww1d · 发表于 2016-3-29 18:18:22

折腾了好几天了，终于有点成型了，
发电子了大家一起分享下，包括遇到的一些问题如何解决。

机子：惠普Proliant Ml310e gen8  塔式服务器
配置：CPU: E3 1230 V2
内存：金士顿 8G ECC 1600 ×4
阵列卡：LSI 9211-8I ×2
硬盘笼：ORICO 光驱2转3
硬盘：
         ESXI 系统盘
                     INTEL X25-M G2 160G ×1          WD 5400转 2.5笔记本盘 320G ×1    SANDISK 8G SD卡一张
      ZFS 部分
                     希捷2T×5    ,intel 313 SLC 24G SSD ×2          浦科特 M5S 128G SSD×1 挂在9211-8I 一号
      WSS2012部分
                     希捷 3T×3 日立笔记本5400转 1T*2

共计  8片 3.5 硬盘 7片 2.5硬盘 1片 SD卡

系统篇：
目前装了4个系统分别是
DSM4.2 做媒体中心共享
Nappit 做ZFS阵列，提供高性能的ISCSI服务和安全的存储
WSS 2012 R2 做硬盘池没阵列，做PT普通下载和电影仓库用
WIN7 远程工作平台，正准备部署 VM View

遇到的一些问题和大家分享一下
1：抱怨下orico  的硬盘笼噪音真心大
2：服务器的风扇噪音没想象中那么大
3：orico 的数据线品质很差，20一根的线竟然会掉盘，我还因为是主板南桥挂了
4：ESXI 做在USB上速度并不差
5：整机功耗待机70W（硬盘停转，日立1T*2 下PT）比想象中低（ZFS用FREENAS之类的功耗就到100多W去了那玩意不支持硬盘休眠）
6：各位部署ESXI 发现性能各种奇葩的时候看下是不是  服务器的性能模式改了？我改成动态节能各种不稳定改成OS控制就OK了
7：推荐下 X宝那个 ml310e gen8 服务器准系统性价比真心不错比买mircoserver gen8划算的多。

其他的待续，抽空理完线上照片。。。

2014/01/02 更新软件部分

首先是我希望达到的功能，首先他能承担起 all in one的角色，所以需要一定的性能，加上我有很多重要的数据保存，所以对稳定性要求会相对较高。然后还要下点PT，当然不是PT发烧友，所以得可以下，然后稍微保存一部分喜欢的电影，老婆喜欢拍点照片，所以需要一个照片相册功能，原先是N40L做nas4free系统，虽然很实用但是缺少了一点花哨的功能，不管黑群还是白群，磁盘稳定性不敢恭维，所以又很纠结。最近各大PT网站又开始姨妈了，TR这个下载端会泄漏什么造成被迅雷什么的吸血，所以得用UT，UT又只有 WINDOWS平台才有，基于一系列纠结的情况，有了以下的组合：

1：数据中心，OPENINDIANA+NAPPIT：由5片希捷2T +1片 M5S 128G做ZFS的读缓存，2片INTEL 313 SLC芯片 24G SSD 做镜像做写入日志设备。系统先是选了熟悉的NAS4FREE，不过那玩意在虚拟环境下各种不稳定，所以换了让人头大的 nappit 官方的all in one 整合包，系统是基于 ominos+nappit web gui，这系统效率确实高效，不过很难，全部是英文，而且网上没有相关教材，过几天空了准备写一篇。这样的系统在内部测试读770+MB/S 写入 550+MS/S 恐怖的是做一个ISCSI后虚拟机内的WIN7挂载后用ASSSD 去测试性能更是达到了500多分。

2：下载中心：WSS2012 R2：由2片日立5400转的笔记本盘，3片希捷3T组成（目前1片3T还有2片等发工资去买）。原因是实际测试3.5的盘功耗还是不小的，所以选择了2片5400转的 1T本盘在wss 2012 r2 做了个存储池，相当于软RAID0，作为PT下载盘和常用下载盘，降低功耗，另外3T×3 做个没容错的存储池，当电影仓库。至于笔记本盘的寿命，我想不用太大担心，首先有软阵列的话就是有写入缓存的，其次是UT客户端我设置了512M做缓存加速网速本来就不快。

3：文件中转：DSM4.22：这个没什么物理硬盘给他，直接从上述320G的本盘里划了80G给他做系统盘，然后就是外挂有数据中心和下载中心的NFS 拿NFS做再共享，DSM有个很好的功能就是，在远程查看家里的文件的时候，特别是图片，可以看预览图，做到精准下载。还有各种相册，顺便还搭建了个KMS激活服务器。。再也不用怕激活了。。。。

4：折腾中心：WIN7系统，挂了个ISCSI盘做D盘，做了快照，各种折腾，看看不对劲了就快照返回，再也不用怕干某种事情中毒了。。。而且ipad远程操控，各种方便，装了vsphere client 配合 hp自己的iLO4 远程监控服务器。

5：其他：准备把 vm view给折腾起来，不过这玩意需要3个虚拟服务器配合，真够折腾的。。有空在搞。这样就可以做到真正意义上的0噪音了，只需要一个零客户端即可连接远程系统，直通个显卡进去给WIN7 这样和用本地电脑没什么区别，关键是这个系统，不管在家里，还是在公司，都可以远程登录，非常方便。

part1：Esxi的艰辛旅程待续
part2：Nappit的新手体验报告
1:nappit的性能以下测试是 nappit内置的测试程序测试的，系统状态是 HP COMS里开启动态节能模式，电源配置选平衡。然后ESXI里电源配置选节能模式，nappit内部节能全部打开。测得如下数据，不开节能高10%。

2：这是实体机，挂着nappit的 iscsi盘的实测，实体机网卡是千兆的，杀毒软件开启，没有为了测试特意关闭什么程序，跑的这个速度：小文件的读写，是普通硬阵列或其他方式不可能得到的速度。

然后重点来了：
1：ESXI 虚拟的win7远程挂着 nappit 开启主机动态节能的测试分数

2：同样环境，关闭动态节能，ESXI能耗设计还是平衡的时候的测试：

可见，是否开启节能，好像对网卡的性能影响非常大，不知道这是为何原因。实际nappit内部测试文件系统的性能都没多少变化。PS：如果加一个FC HBA卡 4G的那种二手货 150一张，服务器和你的台式机直接用光纤连接，你想想，这速度。。基本是跑满400M，要想这可是8T的容量啊。。这速度，是SSD级的。

part3：硬件兼容报告

1：关于ESXI：ESXI 是个很变态的东西，你想上他，最好有新的服务器，或者INTEL 之类的原厂主板+服务器网卡，最好是双口的

2：关于功耗：CPU的实测功率上，本人测试，我用E3 1230V2 正常使用一天和 E2 1220L V2 正常使用一天，E2 1230V2 大约是2.6KW/H E3 1220L V2 大约是 2.2KW/H 一天 0.4度电，一年下来也就100多度，几十块钱而已。不过性能差距很大。现在整机待机功耗70W，包括了那么多硬盘和2张阵列卡，空耗控制算不错了。以前用N40L+NAS4FREE 不知道什么情况好像不支持硬盘休眠，待机功耗也是70多W。所以与其把金钱花在CPU，金牌电源上，不如首先去找点低功耗的硬盘，然后让硬盘没事干的时候休眠，让那种需要24小时干活的事情，给低功耗的笔记本盘去干，放心没这么脆弱，挂了还有保修么不是。。

3：关于ZFS，这个文件系统，非常好，朋友们肯定不少说不如阵列卡，但是，我告诉你，别得瑟，是骡子是马咱拉出来溜溜。大文件不敢说，4K想跑赢ZFS，很难。

4：关于阵列卡，实践证明，不要指望orico之类的家用卡能被ESXI支持，然后把主板的SATA 直通给虚拟机。这是不可能的，还有，实际测试主板的SATA 不能被直通。阵列卡还是老实点买点新的吧。还有如果你是品牌服务器，最好别买其他牌子服务器的拆机卡，兼容很恶心！

5：珍惜生命远离orico: 这机子上有个orico 的2转3 硬盘笼，才用2周，那风扇噪音能盖过服务器的风扇！用了2条orico 17块一条的SATA数据线用了2天，我2个ESXI 系统盘，全部在同一天晚上掉线，吓的我以为是主板南桥烧了，最后换了线一看，原来是线的问题，因此造成我INTEL SSD hdtune检测到2个坏道，WD 320G的盘，C7 暴涨。

dhnf4d8e · 发表于 2016-3-29 18:18:22

仿佛看到了机房硬件工程师在项目上忙完一天后回家继续加班的情形～～～

qnqku1z · 发表于 2016-3-29 18:18:22

还好，反正只是系统盘，要坏就坏，重新装重新导入虚拟机即可。
我一般会备份的，不过sd卡很少听到坏的

5v2frov · 发表于 2016-3-29 18:18:22

cachecade用原厂卡的话，是有福利的，有30天key可以无限重置。。

持续的优势，在千兆网感觉是没用，我现在raid的持续也就在阵列间对拷才能跑出来。不过主要我是觉得24小时开机为主的家用homeserver，一般也不跑数据库类io高的应用，所以，4k感觉也不是大用，超高速pt(超过10MB/s)倒是需要4k性能，就是自家网速没那么给力。自己的lsi可以无限用cc，也一直没用cc。

我不是怀疑zfs安全性，我是说如果出问题了，个人怎么处理。毕竟我们都不是专家，raid掉了，好多数据恢复的人都至少懂点，zfs我就不知道了，几年都没去过数据恢复的地方了。zfs不需要盘序这点很好，记得好像对tler有个类似的软件处理技术，所以不需要企业级硬盘，这点也很好。只是站在个人用户层面，比较怕坏了不知道怎么处理。

tmys0pvy · 发表于 2016-3-29 18:18:23

怪不得
穷人买成套的米不动啊~~

qppxpg6 · 发表于 2016-3-29 18:18:23

cachecade 需要授权，而且很贵，一个授权几千块，而且不知道是否支持写入缓存，读取缓存是支持的。
LSI 比如H710P 自带的1G SSD缓存，基本超过1G的大文件写入就傻了，打回原形了。
当然优势是持续比ZFS强的多。关键我的内网就到顶就115M/S, 我要这么高持续干啥？？如果你是土豪家里上万兆的话，那我没什么好说的。那么在最高限制115M/S的前提下，我是否该考虑下小文件的性能也尽量的高呢？

ZFS安全性你放心，这玩意是做SAN的系统，而且ZFS文件系统，可以更换主机更换HBA卡，硬盘顺序随便换，找个新机子，只要还是以前那几个硬盘随便插上就可以导入数据。不需要那种企业级硬盘支持防止掉盘，随便找个SATA就要可以用。
不好的就是太费内存了官方推荐1T/G的配置是起码的

4xbh9p · 发表于 2016-3-29 18:18:23

LZ能不能写个详细点的教程啊，从安装到设置

ykwi1w · 发表于 2016-3-29 18:18:24

H710P上哪有SSD缓存？NVCache？那是1G的闪存，卡上实际使用的缓存还是DDR，掉电时利用BBU供电把缓存里的数据保存到闪存里，这样即使BBU性能退化也不会有太大影响。

t66o0u · 发表于 2016-3-29 18:18:24

西数的绿盘蓝盘等没有TLER很正常，我目前用的东芝3T有自家的CCTL功能，类似的，不会掉盘，如果你24小时开启，就不建议组多盘系统，这样出问题概率高很多，或者换用更可靠的企业盘或本盘。
INFINIBAND在WIN7下的驱动还是很好搞定的，你可以搜搜我之前发的文。

u6ow8y · 发表于 2016-3-29 18:18:24

恩，INFINIBAND，不错，不过搞不定驱动唉很蛋疼。。

RAID卡蛋疼的最主要不是 4K 是对硬盘要求比较高，普通硬盘容易掉线，还有就是不能硬盘自动休眠停转这点我有点接受不了，本来用H710P搭建的待机功耗比这套高了50多W

		自动登录	找回密码
密码			立即注册

全能家庭服务中心 折腾日志（更新测试性能）

浏览过的版块

全能家庭服务中心折腾日志（更新测试性能）