用三台GEN8打造一个分布式分层存储-硬件篇

baok57f

发这个贴是源自最初看到有人求36TB数据存储的解决方法（/thread-1201669-1-2.html）。回帖中的方案各有特色，但苦于那是级别不够不能直接回帖，于是在新手区发了这个帖子。今天升级为天使后才知道原来新手区是不能再访问了。可惜了当初码了那么多字，恨自己没有存盘的习惯。

36TB说大不大，说小不小，未来还有可能再次有扩容需求，所以在我看来采用分布式存储是比较理想的选择。好处是：

初期投入不大（三台GEN8），可以满足需求（3台GEN8有12个盘位，6TB的盘RAID1都行）；
未来可以横向扩展，不会受限于机箱内部的空间。通常扩展到12个节点，240块盘不是问题（对于GEN8，12个节点也有48块盘了）；
性能较单台存储更好，并行处理，无论CPU、内存和网络带宽都随存储的增加而增加；能提供更多的IOPS，代价是延迟稍高，不过对于原帖中的视频资料这点延迟相信没有影响；
可用性比单台存储更高，不仅盘有容错，即便一个甚至多个节点坏了也不会中断服务，采用两副本的镜像方式，无论替换服务器还是硬盘，重建都很快。


光说不练假把式，为了验证这个想法，乘着某东GEN8特价，购入了3台。来个合影先。



按照已经被这里的前辈趟平的改造之路，升级了E3-1230V2的U，加了16GB内存。要说一台GEN8就够折腾的了，三台一起弄，真的有剁手的冲动。东平西凑了三块希捷2TB的硬盘，有从某东购入了三块同型号的2TB硬盘，勉强把硬盘对付过去，要配齐12块，真不敢想也暂时没这个必要。



同样按照前辈们的指引，为了将来能够满配硬盘，打算从SATA5引导系统，故而从某东购入了3块8GB的Micro SD卡。



从某宝购入了三块Seagate Pulsar.2 200GB SSD。这盘性能很烂，但是好的盘用在第五个盘位的SATA2上也浪费了。而且作为系统盘对于性能的要求并不高。况且这盘4400TBW的写入耐久性很感人。当然更重要的是对于有强迫症的人来说，硬盘当然最好都是Seagate的。



最后，纯靠7200转的3.5寸SATA盘，这个存储还是和性能不沾边，于是自然想到用SSD给它加速。让热数据存放在SSD层，冷数据存放在HDD层，从而实现分层存储。此时空闲的PCIe槽正好可以用上。于是某宝购入3块成色相当一般的LSI Nytro WrapDrive 400GB PCIe SSD。



为什么是这个PCIe SSD而不是别的，当然主要原因是它也是Seagate的产品 ；）还有就是用于加速目的三块卡裸容量有1.2TB，而且性能也还凑合，更重要的是每块其实是由4块100GB的SSD构成。这样每台GEN8除了系统的SSD外，满配的话可以有4块SSD加4块HDD，强迫症再次发作。下面是装入GEN8的样子



启动的时候，可以看到是四块独立的SSD



网络的部分，千兆当然的必须的，每台GEN8的两个网口都做了Teaming，我为使用这套存储的工作站配了一个4口的Intel网卡。

对于硬件部分小结一下。三台GEN8，每台配置如下：

CPU: E3-1230V2
内存： 16GB
系统盘： Seagate Pulsar.2 200GB
SSD层：LSI Nytro WrapDrive 400GB PCIe SSD （100GB x 4)
HDD层：Seagate 7200转 2TB HDD x 2


软件篇：/thread-1213998-1-1.html