维塔斯科技

标题: 用三台GEN8打造一个分布式分层存储-硬件篇 [打印本页]

作者: baok57f 时间: 2016-3-29 20:23
标题: 用三台GEN8打造一个分布式分层存储-硬件篇
发这个贴是源自最初看到有人求36TB数据存储的解决方法（/thread-1201669-1-2.html）。回帖中的方案各有特色，但苦于那是级别不够不能直接回帖，于是在新手区发了这个帖子。今天升级为天使后才知道原来新手区是不能再访问了。可惜了当初码了那么多字，恨自己没有存盘的习惯。

36TB说大不大，说小不小，未来还有可能再次有扩容需求，所以在我看来采用分布式存储是比较理想的选择。好处是：

初期投入不大（三台GEN8），可以满足需求（3台GEN8有12个盘位，6TB的盘RAID1都行）；
未来可以横向扩展，不会受限于机箱内部的空间。通常扩展到12个节点，240块盘不是问题（对于GEN8，12个节点也有48块盘了）；
性能较单台存储更好，并行处理，无论CPU、内存和网络带宽都随存储的增加而增加；能提供更多的IOPS，代价是延迟稍高，不过对于原帖中的视频资料这点延迟相信没有影响；
可用性比单台存储更高，不仅盘有容错，即便一个甚至多个节点坏了也不会中断服务，采用两副本的镜像方式，无论替换服务器还是硬盘，重建都很快。

光说不练假把式，为了验证这个想法，乘着某东GEN8特价，购入了3台。来个合影先。

按照已经被这里的前辈趟平的改造之路，升级了E3-1230V2的U，加了16GB内存。要说一台GEN8就够折腾的了，三台一起弄，真的有剁手的冲动。东平西凑了三块希捷2TB的硬盘，有从某东购入了三块同型号的2TB硬盘，勉强把硬盘对付过去，要配齐12块，真不敢想也暂时没这个必要。

同样按照前辈们的指引，为了将来能够满配硬盘，打算从SATA5引导系统，故而从某东购入了3块8GB的Micro SD卡。

从某宝购入了三块Seagate Pulsar.2 200GB SSD。这盘性能很烂，但是好的盘用在第五个盘位的SATA2上也浪费了。而且作为系统盘对于性能的要求并不高。况且这盘4400TBW的写入耐久性很感人。当然更重要的是对于有强迫症的人来说，硬盘当然最好都是Seagate的。

最后，纯靠7200转的3.5寸SATA盘，这个存储还是和性能不沾边，于是自然想到用SSD给它加速。让热数据存放在SSD层，冷数据存放在HDD层，从而实现分层存储。此时空闲的PCIe槽正好可以用上。于是某宝购入3块成色相当一般的LSI Nytro WrapDrive 400GB PCIe SSD。

为什么是这个PCIe SSD而不是别的，当然主要原因是它也是Seagate的产品；）还有就是用于加速目的三块卡裸容量有1.2TB，而且性能也还凑合，更重要的是每块其实是由4块100GB的SSD构成。这样每台GEN8除了系统的SSD外，满配的话可以有4块SSD加4块HDD，强迫症再次发作。下面是装入GEN8的样子

启动的时候，可以看到是四块独立的SSD

网络的部分，千兆当然的必须的，每台GEN8的两个网口都做了Teaming，我为使用这套存储的工作站配了一个4口的Intel网卡。

对于硬件部分小结一下。三台GEN8，每台配置如下：

CPU: E3-1230V2
内存： 16GB
系统盘： Seagate Pulsar.2 200GB
SSD层：LSI Nytro WrapDrive 400GB PCIe SSD （100GB x 4)
HDD层：Seagate 7200转 2TB HDD x 2

软件篇：/thread-1213998-1-1.html

作者: uo6fdci 时间: 2016-3-29 20:23
什么时候发软件部分？这个存储怎么对外发布呢？如果做Vsan，策略请注明。

能画个拓扑图吗？

作者: gw6dsd 时间: 2016-3-29 20:23
三台？不错
统统组RAID的话，可以奏出一场完美的风扇奏鸣曲
期待喔

作者: pnyt0knh 时间: 2016-3-29 20:23
牛，终于看到堆叠放置MicroServer Gen8的了。

作者: nnkbul 时间: 2016-3-29 20:23
壕无人性！

作者: 11w166v 时间: 2016-3-29 20:23
我还以为LZ加的那些个配件好便宜呢。。。。。。

作者: t3likj7q 时间: 2016-3-29 20:23

可以，你说的方式属于纵向扩展。与横向扩展比各有长处。不过带外接SAS口的HBA卡和SAS的JBOD也都很不不便宜。

作者: qqvpfrtc 时间: 2016-3-29 20:23
LZ这样的土豪还是上刀片吧，MicroServer怎能满足

作者: s1ier5 时间: 2016-3-29 20:23

楼主方案按1:10的比例配置ssd加速缓存的容量，属于中段存储的特性了，而所以你的36g就要3.6g的固体硬盘。
存储领域的趋势就是一个闪存做缓存或者就是全闪存的方案，另外个就是存储虚拟化。

作者: zs0wm8 时间: 2016-3-29 20:23

2008 R2不行，需要2012 R2及以上的版本。

作者: 0yn1sc 时间: 2016-3-29 20:23
说实话，我现在还是没有很好的办法来搞定我那36T以上的方案，求加QQ细聊~~~
我的QQ 84511167

作者: 2jzctk5 时间: 2016-3-29 20:23
妈妈问我为什么跪在电脑前看帖子，

土豪，请受吾等草民一拜
题外话

看见1230的时候我还在想，有点贵了呢，不升级也可以啊
看见16g的时候我在想，没听说内存降价啊
看见希捷ssd的时候我在想，希捷的ssd不是贵得一比么
看见400g pcie ssd做加速的时候，我终于认识到，我遇到了一位值得交出自己膝盖的豪啊

作者: zozjh4 时间: 2016-3-29 20:23

原来这个地方的设置就是为了方便集群管理的
受教了
服务器的东西贵，确实有贵的道理

作者: c9kvubx 时间: 2016-3-29 20:23
三台有ssd有hdd正好可以组个vsan

作者: uwc6kck5 时间: 2016-3-29 20:23
靠，土豪啊.........你让我等贱民情何以堪！羡死！

作者: 2xjku67y 时间: 2016-3-29 20:23
三台G8疊在一起真是壯觀
而且很適合疊放的設計,有種整齊感

作者: fgq47ni 时间: 2016-3-29 20:23

可以用一个ilo控制多台gen8，见下面截图：

作者: c9tlzeg 时间: 2016-3-29 20:23
膜拜啊。。

现在还在为改机苦恼中呢

作者: 91zyxy 时间: 2016-3-29 20:23
有个问题
如果对存储容量有较大的需求，比如那个36T
那么再添一个阵列卡，多口的那种SAS卡也很常见，大概一千多的价格，扩充至一二十个SATA接口很轻松
是否可以用一台Gen8来搞定？
毕竟这么多Gen8，管理起来是不是会更加操心一些
就连开iLO都要开三个窗口

作者: zr5ukeh 时间: 2016-3-29 20:23
等软件篇---确实豪，一次三台高配.....

作者: fyktuu 时间: 2016-3-29 20:23
土豪呀！！！！！！

作者: 6m3xl82 时间: 2016-3-29 20:23
刚才某宝找了一下，
LSI Nytro WrapDrive 400GB    3500
E3-1230 V2                            1200
16G ECC                                  1000
Seagate Pulsar.2  200G             3500
Gen 8                                        2599
不算硬盘，单台Gen配齐已经11800了
这是豪无人性啊！！！

作者: 0oayqzi5 时间: 2016-3-29 20:23

都是服务器的东西，上1W应该很正常吧
那个阵列卡就是个大头
等你上什么企业级硬盘又是一笔大的开销

作者: p8drc8 时间: 2016-3-29 20:23
牛，终于看到堆叠放置Microserver Gen8的了。

作者: 0l5bsxr 时间: 2016-3-29 20:23
好强，等着看软件部分

作者: ivgmh671 时间: 2016-3-29 20:23

土豪不是你能买得起多少多少钱的东西就算是土豪的

而是一种生活态度

让我们一起来感受一下楼主的云淡风轻：“光说不练假把式，为了验证这个想法，乘着某东GEN8特价，购入了3台。”

看看，楼主只是为了验证某个想法，就一气买了3台gen 8！

还各自配上了顶级配件！

一般人最多也就是用虚拟机，模拟3个nas出来做实验好吧！

作者: 9qcl044 时间: 2016-3-29 20:23
这配置，e3 散热改造？

作者: nkq4p9 时间: 2016-3-29 20:23
膜拜一下，简直是壕无人性

作者: 1396100030 时间: 2017-3-28 11:11
我怎么看不到图片呢？还是我的系统问题

作者: 498832400 时间: 2017-8-5 22:45
有点会玩啊

作者: 7574284575 时间: 2017-8-6 20:36
新手报到

作者: crysiswen 时间: 2017-8-23 02:53
我只是来凑热闹的

欢迎光临维塔斯科技 (http://www.8x6x.com/)