网云科技

标题: 请教一下Gen8 + esxi+zfs+虚拟机方案 [打印本页]

作者: 11pf1fgk 时间: 2016-3-29 19:33
标题: 请教一下Gen8 + esxi+zfs+虚拟机方案
德淘的Gen8 已经到货了从黑东上买了一条8G的内存和一个2T的绿盘就开始准备折腾了
我内心的方案是再买个TF卡装esxi 然后再买个ssd放sata5上面这样硬件就齐了

软件方面准备在esxi上面装个freebsd或者freenas主要是提供zfs 然后再装几个虚拟机使用zfs pool

现在有几个问题一个是freebsd和其他虚拟机的vm文件是要放到ssd里面么？具体有相关的资料或者哪位大神做过类似的方案么？

作者: j3z420g 时间: 2016-3-29 19:33
都是高(pian)端(men)技术，慢慢研究吧。
虽说freebsd是“unix/linux”中的一个很大的分支，但是和fedora core、centos、ubuntu等主流linux相比，freebsd算是冷门的了。

freenas在免费nas软件中算是著名的老牌了，不过资料依然很少。

曾经用VMware workstation学习windows server集群时，用freenas的虚拟机做过iscsi，为集群提供存储功能。

楼主有的折腾了，等你的更新。

作者: y1zq24 时间: 2016-3-29 19:33

支持折腾。建议先别开始正式使用，而是先安装不同的操作系统体会一下。

作者: 1j6z2xy 时间: 2016-3-29 19:33

我是用183查得只显示离开德国啊

作者: mwxvwi5 时间: 2016-3-29 19:33

额，我本来还期待你的指点呢

作者: 8qhkwu2 时间: 2016-3-29 19:33

ESXi上的硬件直通功能需要CPU支持VT-d，我已经试过了。。。
另外1230v2也可以啊，论坛里已经有人试过了。。。

作者: b5pwqi1x 时间: 2016-3-29 19:33

ESXi的话，建议用TF卡装操作系统，可以节省一个sata口。但是只有ESXi操作系统本身的“不频繁读取”部分保存在TF卡上；另外很多启动和运行时需要频繁读取的文件必须有一个SATA硬盘保存。

也就是说用TF卡安装ESXi，至少需要连接一个SATA硬盘或阵列才行。

作者: sylmjomz 时间: 2016-3-29 19:33
为何我的状态还是离开德国啊

作者: ltrwrsk 时间: 2016-3-29 19:33

没有用过exsi 总想折腾一下呵呵

作者: gdo8duz 时间: 2016-3-29 19:33

是否需要单独再买一个HBA卡？

作者: nrj2iunz 时间: 2016-3-29 19:33

其实我需要的主要的不是esxi，而是zfs
因为gen8的raid支持不好，4盘位的怎么弄都很别扭，所以考虑使用据说很牛B的zfs

作者: wv8hx7 时间: 2016-3-29 19:33
也可以试试主系统装 omv, 加 virtualbox 虚拟机
omv 基于 linux, freenas 基于 bsd, 都支持 zfs

作者: k51z1x8 时间: 2016-3-29 19:33
ltye 于 2015-2-25 19:49 编辑

rdm的命令是

明白了吧？只要动硬盘，这个映射关系就得手动重建下。直通的好处不仅仅是你说的这点，性能、可靠性都好些，硬盘可以休眠（rdm不能），特别重要的一点是可以抓到smart信息，配合上freenas的定时smart扫描+email报警可以不用操心定期检查硬盘了。

理论上你不用ssd，esxi主机存储不占用板载sata口是可以直通的，但是有两个问题：1.tf卡空间不够放vm 2. 直通不是针对板载sata的这种场景设计的，所以不会有官方的充分测试，也许会有可靠性的问题。数据通道最要命的就是可靠性，尽量别拿这点开玩笑，本来io虚拟化就已经降低数据传输的可靠性了，再加上这种不可控的因素，数据传输过程就很不安全了。

作者: 1tye27 时间: 2016-3-29 19:33
ltye 于 2015-2-25 12:57 编辑

原因上面已经说了你不用raid卡只能把板载sata控制器给直通了，这样你主板上插的所有sata设备都没法被主机用了，跟你预计的ssd做主机存储是冲突的。直通的必备条件是cpu和主板双支持vt，想直通换掉cpu是必须的。

保证数据不丢失建议做raid+双备，如果可能的话尽量不要在一台主机上做双备。用freenas+直通的话其实可以折腾下esxi，折腾过了后可以直接u盘引导个freenas，导入pool就行了，但是这个过程是有风险的要做好双备。我也支持lz折腾，不过提前给泼点冷水：esxi企业级应用像什么负载、动态迁移之类的家里是体会不到的，那个至少要两台主机跟一台专用存储（nas or san），这才是esxi在生产环境最实用的功能~ 弹性扩展、故障迁移全靠它。

作者: bdbxn8 时间: 2016-3-29 19:33

现在只能是这样摸索着来啊

作者: k8oh2c 时间: 2016-3-29 19:33

ok 大体了解了也就是说没有raid卡可以用但是不是很爽要想无风险还是要用raid卡直通才行是吧？
那raid卡淘宝上德那些拆机的能用么？

作者: c51vca3 时间: 2016-3-29 19:33
vgbjack 于 2015-2-26 19:56 编辑

看你需求,主機板有些為了讓sata口更多,會加獨立芯片,直通那個就好
有更多需求就用hba卡來直通
ssd裝系統盤和freenas就好,直通是為了不要太多的轉換折損效能,
你要用大硬碟裡面切好幾個虛擬盤來做raidz也沒差,只是沒意義還是同一顆硬碟,
雖然有ZFS的記憶體加值,但沒啥意義
或建議一台裝FREENAS裡建ZFS POOL 另一台建ESXI,VM掛ZFS POOL裡,效能比較起得來
只是成本上去了而已

作者: qrz92g 时间: 2016-3-29 19:33
我是15号进了中国，然后今天才更新EMS的信息，换地方查，用EMS方式查询就有了的

作者: y13736g 时间: 2016-3-29 19:33
直通有獨立芯片的SATA控制器或HBA卡給Freenas
系統碟SSD放ESXI和Freenas
其他VM放ZFS POOL做啟動,這樣速度可能比較有用

作者: r3j43yt 时间: 2016-3-29 19:33

非常感谢，另外ssd还需要另外买线么？

作者: emey8ggf 时间: 2016-3-29 19:33
為什麼要直通?!
最大原因是你在虛擬環境下切出虛擬盤來做raid,不是以獨立盤為單位,效能已經打過一次折,比較沒有意義,玩玩除外
有沒有lsi獨立hba卡不是重點,zfs就是以記憶體當賣點強打,獨立芯片直通才能避免效能過大的打折
有些主板為了讓sata數多,會有額外的sata控制器,直通那個就行,只是可能沒有太多讓你做raid2,所以才建議你用獨立hba卡直通
要嘛一台G8獨立灌freenas,建zfs pool ,另台電腦或g8建esxi,vm掛zfs pool裡,只是成本更高

作者: ixuy98 时间: 2016-3-29 19:33

恩，我打算使用U盘或者tf卡装exsi 然后再用一个sata5 的ssd安装系统然后下面连sata1-4做zpool

作者: gqd9rjv 时间: 2016-3-29 19:33

也就是说必须要加一个raid卡才行？

有人说
‘’
直通的好处就是硬盘随便换，不用修改esxi的东西。

RDM的话，如果换硬盘了，就需要重新建立一下RDM文件。 ‘’

作者: dn1e5kzg 时间: 2016-3-29 19:33
实在不理解你们为啥非要抱住ESX不放
G8最合适的系统依然是win2012R2+存储池

作者: siy8dvoy 时间: 2016-3-29 19:33

这样是不行的，直通的不是sata口而是整个sata控制器。

作者: 7tik5km 时间: 2016-3-29 19:33

我的也是7号到现在还没更新

作者: jj9zlq 时间: 2016-3-29 19:33

我是用到什么，就搜什么的资料，然后慢慢鼓捣。

ESXi曾经在生产环境中接触过，不好用，这玩意儿是给HP、IBM那些VMware专用的虚拟化服务器用的（不是一般的支持虚拟化的服务器）。

如果不是专用的虚拟化服务器，性能未必比Hyper-V强很多，但是ESXi的学习曲线绝对比Hyper-V陡。

就好比Oracle和MS SQL Server，传说大型数据库都用Oracle或更高级的DB2之类的。但一般玩玩，SQL Server也就够了。

作者: tss3uhq 时间: 2016-3-29 19:33

我不是很明白直通为什么会需要raid卡，但是看这里说 http://www.newsmth.net/nForum/#!article/DigiHome/408914 exsi 5.0u3版本的可以直通
另外直通跟cpu没啥关系吧这个难道不是主板支持的功能么？我打算暂时只用默认的u了太烧钱了以后再买1265L

虚拟机主要是考虑一些工作上面的应用还有搭一些测试环境不是很重要

最主要的是数据怎么能够保证不丢失另外硬盘我打算等4t红盘活动的时候再买所以暂时先一个2t绿盘顶着硬盘以后肯定是会增加的

作者: r94pnwgq 时间: 2016-3-29 19:33

根据freenas官方建议，建议只用LSI的，经典的两个型号是IBM m1015和lsi的9211i，其实都是同一个lsi芯片的，我用的是后者，应该是lsi里最便宜的了。记得要cross-flash到it mode才能用。其他型号我就不太了解了。

作者: rq1fnt 时间: 2016-3-29 19:33
不用hyperv的原因是因为不支持freenas（基于freebsd9），想要支持需要从版本freebsd10开始。按照freenas发布更新的速度，大概版本10会在今年年中出第一个stable版。由于freenas社区不推荐也不重视虚拟环境下的zfs，所以到时候即使把freebsd10支持hyperv的特性包括进去，freenas自身对hyperv的完善程度也是未知的。目前已知相对完美的虚拟环境只有esxi，应该是因为开发组调试的环境就是esxi。

我目前就在用esxi+freenas。lz应该还需要再去翻翻有关资料再决定，关键字“esxi 直通”，想要使用并发挥zfs强悍的性能和可靠性（当然虚拟化会拖可靠性后腿），直通是必须的。

简单来说你还需要一块raid卡，最好是lsi的，最便宜的就行，缓存电池什么的都不重要因为zfs都用不到。直通后是把整个sata控制器给到vm里的，主机和其他vm是没法使用的，所以如果你把板载sata直通了esxi就只能用到tf卡的空间做datastorage了，而且板载sata芯片通常直通可靠性稳定性比较不确定，最好还是通过pci-e通道直通。

除此之外gen8的cpu你也必须升级到支持vt-d虚拟技术的，否则gen8的u是没办法直通的。

安装的话你的想法是没问题的，如果有raid卡的话可以把ssd接到板载sata，省略tf卡直接把esxi装在ssd上直接默认成datastore，vm的系统盘都放在上面。建议256g+，否则装两三个vm空间就不够用了。
另外zfs是Solaris原生的，并非freebsd原生，所以除了freenas外最好装Solaris衍生的系统，比如openindiana、OmniOS等，原生zfs性能据说比freenas确实强。一块硬盘是没有必要上zfs的，最少3块起，有条件建议6块+做raidz2。

还是忍不住多句嘴，家用很少能用到esxi，freenas最新版virtualbox插件已经很好用了，性能也不错，有什么需求在virtualbox上跑几个vm都能解决的吧。

欢迎光临网云科技 (http://www.8x6x.com/)