网云科技

标题: 工作室nas搭建日志 [打印本页]

作者: bbhuy4d 时间: 2016-3-29 18:50
标题: 工作室nas搭建日志
1121最新更新在下面

先来说说我的工作环境和系统需求吧
本人经营一个视频工作室，主营业务是婚礼、微电影、企业宣传片等的拍摄，每天会产生大量视频素材，为便于管理，购入服务器，主要提供存储服务。

服务器硬件如下：
HP ml310e gen8
CPU E3-1220 v3
32G ecc内存
LSI9200 8i HBA卡
intel 530 240G ssd
东芝 3Tx8
淘宝购入16盘位洋垃圾磁盘柜，通过sf8088和9200 8i相连。

系统目标：
服务器安装esxi，esxi上搭建nas系统，9200 8i要直通到nas系统，nas再通过共享给网络内的电脑提供存储服务。

遇到的问题：
esxi安装不到tf卡（已解决）
9200 8i 无法直通（已解决）
freenas的iscsi服务无法启动。

安装过程：
第一次接触成品服务器，之所以选择服务器一个原因是稳定性，另一个是管理的方便性。让我万万没想到的是，服务器真稳定啊，自检居然要5分钟之久。以后因为不熟悉安装配置，导致重启无数次，我的生命就被这无数个5分钟消磨掉了。
接上显示器按F8进入ilo配置界面（没有拍照，用截图代替。如果有人问没有高级许可远程控制受限怎么办，我是不会告诉他淘宝上有10块钱的解决方案，而且附送最新ilo2.1版升级包和语言包的）

设定好ip地址后就可以甩掉显示器，用浏览器远程管理服务器了。

点击如图的启动按钮就可以远程控制了

安装esxi5.5非常曲折，我的理想方案是把esx安装到tf卡上，但是不论是从光盘引导，还是按F10用ip（智能配置）引导安装，均无法发现tf卡，U盘也找不到，甚至为此把ip的版本降级到1.5都无果。再后来干脆ip失效，用F10快捷键无法激活ip。后来把tf插拔后可以进入ip的引导界面，但安装不成功，最后用光盘引导，安装到U盘成功。

本以为esxi安装就可以了，但是万万没想到的是，直通又出现问题。只要把直通的9200加入到虚拟机，就会报软硬件未知错误。

感觉这个问题也没有太多可更改的设置，尝试在bios里更改9200 8i的中断号，无果。没办法，尝试esxi6.0，终于可以了。
而且先前找不到usb直通的选项也出现了，看来版本升级还是有挺大的变化的。有很多人不建议用esxi6.0，说不到update2版本，esxi是不会真正稳定。鉴于能不能用和能不能稳定的选择，毅然选择6.0，而且我的工作室规模小，只有不到10台电脑，也不会有太多复杂的应用，估计问题不大。

看过一些nas的软件解决方案，比较钟意zfs文件系统，鉴于自己的英文和技术水平，没有选择openindiana+nappit，而是选择了据说效率不高的freenas。我想应该可以够我用了。
但是前进的道路是不会一帆风顺的，我知道前面一定会有无数个坑等着我的。果然安装好freenas之后，配置iscsi居然无法启动服务。

0603更新
看网上的教程，有些是先启动服务，有些是配置完之后启动服务。看来启动不了和配置iscsi应该是没有关系的。那么会是网络的问题？nas虚拟机的网卡是e1000，会不会是虚拟的网卡不行呢？干脆直通一块网卡给虚拟机。hp ml310是双网卡，直通一块提示被虚拟交换机占用，就直通了另外一块。直通后重启，nas虚拟机华丽丽的不见了。看来nas虚拟的那块e1000是绑定在被直通的这块网卡上的。看来还得重装。
16盘位的3U磁盘柜用的是8cm的暴力扇，太吵了，网上淘了两个avc的2500转12cm风扇，想想换上后应该可以清净了。悲催的是，柜子下面有一块凸起，和2.5cm厚的机箱风扇冲突，装不上！！！！！！！无奈，怪自己功课没做好。测量了一下，只能安装1.5cm的超薄扇。又淘宝两个酷冷1.5cm的风扇，其实能花钱解决的坑都不算坑。

0606更新
风扇到了，换上之后开机。悲催的磁盘柜里边的电源是1U的，有个小小的暴力扇，持续的高频啸叫，只换机箱风扇虽然能减轻噪音，但并未能完全消除，无法达到预期。算了，就这样吧。

====================我是拖延症的分割线===========================1121更新
听从了各位的建议，最终还是决定把系统构建在windows平台上。
exsi6.0下安装了Windows server 2012 R2，另外安装了爱快软路由。其余别的虚拟机都是测试阶段。

一直饱受批评的存储池在我这表现还可以，最起码能跑满千兆。觉得现在存储池的性能应该可以商用了。

几十兆小文件的速度

大文件的速度

爱快软路由的表现尚可，但是***除了第一天调通感受了一下以外，后来就一直处于不能联通的状态，不知道是搬瓦工的问题还是被墙掉了，由于linux小白，不知道如何检查，所以现在感受不到科学上网的好处。刚开始调通的时候，工作室里的同事很是兴奋，在youtube上转悠了半天。
linux是个更大的坑，不想自己被埋了，算了，先不折腾了。

2012 R2里安装了ad，相应的dns、dhcp等服务都安装了。

最近两天心血来潮，折腾了一下部署（WDS）服务，感觉挺好。以后安装系统连U盘也不用了，直接网络安装。想把激活服务也调试好，无奈需要kms主机密钥。这玩意貌似满世界都找不到，算了，还是老老实实用kmspico吧。
如果激活服务能以ad目录的方式激活的话，所有域里面的主机，只要接入域，用kms密钥就可以自动激活。有大神能贡献一个csvlk吗？？不胜感谢！

附上exsi的网络拓扑图。

感谢给我建议的各位高手，没有各位的指点，现在这个server可能还处于调试状态。谢谢！！

作者: djo9r2b4 时间: 2016-3-29 18:50
黑裙不行吗

作者: ct1fgys 时间: 2016-3-29 18:50

更钟意zfs

作者: 2m56vzxj 时间: 2016-3-29 18:50

猜到你的用途了，但是黑苹果做剪辑这种密集io跟cpu密集的操作，会涉及到esxi的资源调配频繁，单cpu性能跟esxi主要设计的多cpu服务器场景是有差距的，这样整个系统的可靠性会在这个时候下降，往严重了说有可能会因为io出错导致你整个zfs pool挂掉，是无法恢复的那种，虽说概率不大但这样拼人品真的不好… 而且你还要直通多个设备、用的还是不太稳定的新版。

作者: e8bw9xs 时间: 2016-3-29 18:50

这个中文网站挺不错：http://www.getnas.com/

作者: 9ymsw1r 时间: 2016-3-29 18:50

是的，有此意

作者: qo53o6x 时间: 2016-3-29 18:50

感谢赐教，这两天忙活装修没空折腾，风扇也还没到，等风扇到了装上再说吧。
我还是想先做一下压力测试，看看具体的使用情况，如果真的如兄弟所说那就只能做个备份了。
其实，潜意识里觉得第一次买服务器，一定要物尽其用，总想着折腾够本，所以对简单的方案本能的反对。估计这是病，得治！！！

作者: 2s53ijp 时间: 2016-3-29 18:50

存储池？我都是至少9260之类的直接阵列（电池之类都配齐，还有UPS）。怎么可能去用存储池。
然后4路千兆聚合。
很不幸的是，即使这样做，性能也满足不了几个人。
在线操作是几乎不可能，一般是素材本机做，完成后备份到服务器。
或者服务器分享一部分素材之类的东西。
阵列磁盘用blackmagic读写测试，速度都是800-1000m/s左右的样子。
我用esxi的存储机是有的，不过是在后台备份前台数据的。
每天晚上自动备份这一天的数据。顺便做域控之类，管理内部权限。
至于苹果访问，直接苹果+k，输入ip地址，然后用户名和密码，挂在共享即可。

作者: mt5pzt6 时间: 2016-3-29 18:50

因为你做影音工作室的，所以我建议gen8的两个网口做链路聚合，增加局域网内的其他机器的数据调用，而不是用一个网口拿来做虚拟路由，你明白我的意思吧？

作者: nuhgoe7 时间: 2016-3-29 18:50
antai 于 2015-6-3 16:59 编辑

苹果系统会用到，所以共享才考虑用通用性较好的iscsi。
视频素材对4k性能无要求，网络传输应该还好吧。我买的H3c5024智能交换机，需要的话可以做多端口绑定。只不过这些都是未知的坑，等着我一个一个踏平。
我在这台服务器的实体机上也安装过freenas，也是iscsi服务启动不了。
买服务器就是想虚拟的，现在虚拟问题已经不大了，只不过不知道性能如何。除非性能或稳定性不能接受，否则虚拟还是有很多好处的。

作者: luuhfzo 时间: 2016-3-29 18:50

你要做编辑的话，会有大量缓存吧？8x3t的话，zfs你至少要给16g才能保证网络共享并发性能，剩下的16g，虽然我没做过线编，我猜肯定也不够完全缓存吧？这样就会有磁盘缓存，这时就会涉及到你直通的io总线通道和其他虚拟机（黑苹果）之间的调度，有大量调度的话，就有可能会有延迟、错误等，这本身对于存储来讲，特别是zfs，是相对不能容忍的。再说内存调度，esxi底层的内存资源池也会有调度一说，具体原理没深入研究过，但是我在日常使用中能观察到的是一定是动态分配的，这样提高整体利用率的同时，也有一定程度的安全隐患，跑应用服务还好，存储特别是zfs对内存泄漏、局部丢失也比较敏感，这也是为什么zfs最好搭配ecc内存的原因之一。freenas中文资料很少，但是官方论坛非常不错，有什么使用问题基本在上面都找得到。zfs的可以参考oracle的官方文档，也很齐全。

作者: j7pq5x 时间: 2016-3-29 18:50
哪位能推荐详细点的freenas中文文档，或者中文论坛

作者: jofr8x4l 时间: 2016-3-29 18:50

呵呵，忠言逆耳。说的有道理。

作者: qj4ykbg 时间: 2016-3-29 18:50

对服务器不是很有概念，但没把自己的应用场景和密集io联系起来。怎么说服务器也就是一个存储应用，比普通pc多出来些校验而已，四核32g应该问题不大吧

作者: 7d1qad3 时间: 2016-3-29 18:50
说句楼主可能不爱听的话，看楼主对服务器完全陌生，还有技术水平，我劝楼主还是不要玩esxi了。

esxi上面再搞软路由、NAS啥的就是闲大了的宅男在家自娱自乐的野路子，你生产环境搞这套，还要直通，以后有你哭的。

作者: 4ht8wmt8 时间: 2016-3-29 18:50

这两天一直趴这上面，文档还是太少了，比如我遇到的iscsi服务不能启动，就找不到。而且到现在我也没找到freenas的错误日志在哪？想从日志看看错误信息都不行，郁闷。

作者: gmfj929 时间: 2016-3-29 18:50

既然是安装esxi，肯定是想法比较多了。软路由肯定是要一个。剪辑用的电脑也想安装黑苹果，这样有些只有windows能解决的问你也需要虚拟win。直通我觉得可设置的不多，想来想去也就是主板的irq中断。现在直通的问题已经解决了，用esxi6.0即可。
谢谢！

作者: wfqxz61 时间: 2016-3-29 18:50

如果需要会加一个四口网卡

作者: nv8np9 时间: 2016-3-29 18:50

业务高峰时1个月几T的素材量，您认为没必要吗？我现在手里所有的硬盘加在一起已经差不多20T了

作者: 11pf1fgk 时间: 2016-3-29 18:50
办公室服务器，有什么虚拟的应用呢？楼上已经说了，FreeNAS最好直接安装。当然EXSi也是唯一官方可以接受的虚拟平台。

作者: f4o4m6 时间: 2016-3-29 18:50

兄弟，你是什么样的应用场景，听着和我差不多。分享一下你的方案吧，我来学习一下。
我是准备nas连个4T硬盘盒自动同步，基本能同步一个月的数据，我们的交片周期要求不超过一个月，这相当于容错+离线，我觉得安全性还是有保证的。现在就是不知道压力会如何。

作者: ujvpuvy 时间: 2016-3-29 18:50

存储池的性能能满足几台电脑一起访问吗？

作者: i0x8qiv 时间: 2016-3-29 18:50

这些也的确是我担心的，所以要做些测试工作。热插拔最主要是硬件支持，软件无所谓吧。

作者: qt01us 时间: 2016-3-29 18:50

用的是WIN的SMB磁盘共享么？

作者: 662exi 时间: 2016-3-29 18:50

确实我们是同行啦。
我是专门给影楼还有类似数码广告公司做这个的。
我说的环境是大约4个摄影师4个后期的，小型影楼。
主要拍摄设备是5d2 5d3 ex1少许fs700。照片和影片都有。
成品基本是照片和5分钟左右的短片。
一般备份需求是半年左右。
服务器有3台，2台是面向客户端使用的，纯2012的，为了分散压力，照片和视频素材是2台服务器平摊的。差不多就是2个修照片，2个做影片这样。但是如果是要做高清的影片一般还是会在本机操作。即使千兆网络速度还是不够的。服务器确实是自动分配的4路千兆
然后第三台服务器就是备份前2台服务器的内容，每天备份一次。因为经常会碰到删错数据之类的事情。也防止前台服务器崩溃之类乱七八糟的情况。（虽然用了3年了也没有发生过，只是坏盘）
第三台服务器用的是esxi，还兼职公司里的财务数据软件服务器啦，域控之类的服务。
至于freenas之类以前我们都折腾过，实在不适合，毕竟windows即使有时管理员不再，随便叫个人去看一眼，也能明白发生了什么。远程什么的也都方便。相关监测的软件又多。
所以考虑到实际的工作需求，我是不建议搞那些有的没得。除非你不是想出片，而是整天折腾电脑。

作者: 4plutl 时间: 2016-3-29 18:50
我给客户的都是直接windows 2012 server，搞不懂搞的那么复杂干嘛。
自带网络聚合。
除非要做域控才上esxi，纯存储是越简单越好。

作者: ujvpuvy 时间: 2016-3-29 18:50
楼主说的那些东西还不是很明确的。。

最好说清楚系统是什么。。
比如是否有苹果系统的。

另外，如果素材是大量小文件的话，网络性能可能不高。
如果无法忍受，有可能需要通过SSD来做加速。。

PS。最后，如果只是存储，没必要通过虚机，使用虚机的话，有时候会增加麻烦。。。

作者: m3jji2xs 时间: 2016-3-29 18:50
同楼上及楼上上

为什么不直接freenas？难道楼主还想虚拟软路由之类的？

作者: doewdcl 时间: 2016-3-29 18:50
我自己用的就是esxi+freenas，但是数据我从来都是双备，如果lz没什么特殊的硬件虚拟化需求的话，freenas自带的virtualbox会比这种模式更安全更好用，virtualbox性能稳定性在家用场景下不比esxi差，也就是说存储为主的应用场景下，原生freenas+virtualbox插件比esxi方案更好（更安全，性能更好）。

一定要用esxi的话，建议看看freenas官方的这篇blog中的pci-e paththrough部分的配置建议，检查下自己的raid卡设置： http://www.freenas.org/whats-new ... ualize-freenas.html

作者: vwv1xu4 时间: 2016-3-29 18:50

虚机要是玩的话，确实有很多好处

但是，如果是做服务的，还是考虑清楚。
首先， NAS一旦上线，不能轻易下线。
其次，启动其他工具时，对NAS本身的影响，
（比如，某些处理工作）

虚机话，虽然也不错，但毕竟上下硬盘见多个虚拟层，而如果要直通的话，还会有些问题。。
（比如，热插拔。虽然我不知道实际结果，但物理层是可以支持热插拔的。上了虚拟化后，恐怕会麻烦很多）

另外，对于 iSCSI，不适合做共享。如果是给某个机器独享的话，到时无所谓。
共享的话，可能有些麻烦。因为大部分文件系统都是为单个系统设计的。
目录，文件分配表什么的。可能会出问题。
至少，在测试过程中，发现，文件不会实时显现出来，需要弹出，重连。

Linux共享可以看看NFS服务， Windows是 Smb，其实 Windows Server也可以提供NFS不过我没测试过。

欢迎光临网云科技 (http://www.8x6x.com/)