用三台GEN8打造一个分布式分层存储-软件篇
如果说硬件是躯干的话，那软件就是灵魂了。继“用三台GEN8打造一个分布式分层存储-硬件篇”（/thread-1212326-1-1.html）之后，先奉上真正将一堆硬件转化为真正的分布式分层存储。分布式存储的方案很多，有swift这样的对象存储，也有cinder（https://wiki.openstack.org/wiki/Cinder）这样的块存储。这里我将用新一代Windows Server（codename: Threshold）中内置的分布式存储功能（Shared Nothing Storage）来打造。
下面是软硬件及网络的简单介绍
--------------------------------
硬件部分：三台GEN8，每台配置如下：
CPU: E3-1230V2
内存： 16GB
系统盘： Seagate Pulsar.2 200GB
SSD层：LSI Nytro WrapDrive 400GB PCIe SSD （100GB x 4)
HDD层：Seagate 7200转 2TB HDD x 2
网络：Netgear JGS524E 24口简单网管交换机，具备端口聚合能力。
软件部分：Windows Server Threshold Technical Preview
概念和逻辑架构
-----------------
下面是这个分布式存储的概念示意图：
/data/attachment/forum/201501/07/222903aqqnrtka2tbik1va.jpg
上面图中的三个方框就是三台GEN8啦，红框框之上的就是使用这个存储的应用或者虚拟化软件了。示意图中每个节点有两块磁盘但通过个部署Shared Nothing Storage的群集，每个节点的Storge Space的存储池中都能看到这个群集中所有节点上的所有磁盘，从而形成一个软件的共享存储总线（Windws Server 2012 R2或更早的版本都要求硬件共享存储）。然后在这个存储池中可以建立一个或多个虚拟磁盘。这些虚拟磁盘对外提供的服务事实上有很多种，包括SMB文件共享、iSCSI等等。
安装和配置步骤
-----------------
首先当然是在三台GEN8上都安装上Windows Server Threshold的操作系统软件，Windows Server的系统相信傻瓜都会安装。一路下一步就对了。不过作为Windows故障转移群集需要加入域工作，这点不要忘记。
此时查看每台GEN8上的服务器管理器还只能看到本机的4块SSD和2块HDD
/data/attachment/forum/201501/07/225202q002kkka82kayx9k.png
接着在每台GEN8上安装文件服务器角色和故障转移群集角色。并按照要求重启服务器。然后就是创建群集了。这里为了方便我用PowerShell命令行描述省得要做很多截屏。
#Create cluster
New-Cluster –Name CLUSTER-MSG8-1 –Node server-msg8-1,server-msg8-2,server-msg8-3 –NoStorage
# Set cluster properties
(Get-Cluster).DASModeEnabled=1
复制代码
此时，打开每台GEN8的服务管理器，可以看到三台GEN8上面所有的12块SSD和6块HDD。
/data/attachment/forum/201501/07/225202pckkxkaaxxamamkz.png
接着我们就可以创建存储池了。
#Create storage pool and define storage tiers
New-StoragePool -StorageSubSystemFriendlyName *clustered* -FriendlyName Pool1 -EnclosureAwareDefault $true -AutoWriteCacheSize $true -ProvisioningTypeDefault Fixed -ResiliencySettingNameDefault Mirror -PhysicalDisk (Get-PhysicalDisk | ? CanPool -eq $true)
复制代码
然后创建SSD和HDD的分层
New-StorageTier -StoragePoolFriendlyName Pool1 -FriendlyName SSDTier -MediaType SSD
New-StorageTier -StoragePoolFriendlyName Pool1 -FriendlyName HDDTier -MediaType HDD
复制代码
当然你也可以通过图形化界面来创建上面的存储池，如下面的步骤：
/data/attachment/forum/201501/07/225844tifx18vlfiqn11c0.png
/data/attachment/forum/201501/07/225844utifaitikpl0hmi0.png
不过如果你是通过图形化界面创建的存储池，还需要在PowerShell命令行中运行下面的命令来设置一些界面上没有的属性。
Get-StoragePool -FriendlyName pool1 | Set-StoragePool -EnclosureAwareDefault $true -AutoWriteCacheSize $true -ProvisioningTypeDefault Fixed -ResiliencySettingNameDefault Mirror
复制代码
创建好的存储是长这个样子的
/data/attachment/forum/201501/07/230115wafy26gbzyjtfijy.png
如果看物理磁盘的那页能看到所有的18块磁盘
/data/attachment/forum/201501/07/230115fpde6vz6rt473gtx.png
有了存储池以后就是在上面创建虚拟磁盘了。
#Set ReFS Format Version
invoke-command -ComputerName server-msg8-1,server-msg8-2,server-msg8-3 {REG ADD HKLM\System\CurrentControlSet\Control\FileSystemUtilities /v RefsFormatVersion /t REG_DWORD /d 2 /f}
#Create virtual disks
$ssd = Get-StorageTier -FriendlyName SSDTier
$hdd = Get-StorageTier -FriendlyName HDDTier
New-Volume -StoragePoolFriendlyName Pool1 -FriendlyName VD1 -PhysicalDiskRedundancy 1 -FileSystem CSVFS_REFS -StorageTiers $ssd, $hdd -StorageTierSizes 340GB, 3800GB
#Disable ReFS Integrity Streams
set-fileintegrity C:\ClusterStorage\Volname1 –Enable $false
复制代码
程序执行完以后的截图
/data/attachment/forum/201501/07/231032acye5icwyyg03cib.jpg
此时看群集管理器中，可以看到新建的虚拟磁盘。从下面的图中我们能够看到这个虚拟磁盘采用的是镜像，Column是2，条带是256KB。
/data/attachment/forum/201501/07/231321kk7ldcdd17sd5ldc.jpg
更多有关该虚拟磁盘的详细信息可以通过PowerShell命令行看到。
/data/attachment/forum/201501/07/231627jefctphahyuqxaap.jpg
我们还能看到这块虚拟磁盘SSD层和HDD层中的空间大小
/data/attachment/forum/201501/07/232106kpg8575g8eoe2w89.jpg
到此为止我们已经有了一部分布式的剧本冷热数据分层的存储。
后续有时间的时候我还会再奉上应用篇及性能测试。不过那个部分同2012和2012 R2上的Storage Space就没有大的分别了。
对楼主的应用环境很感兴趣
谢谢回复！统一存储又多了一个选择方案。
这个真的和VSAN有很多类似特性，但是VSAN结合了DSR和HA两大特性，还有丰富的策略选择。基于linux内核，我还是会选择VSAN方案。
再次感谢，有空再去看看微软的技术白皮书。
支持这样的帖子
没接触过这种分布式技术呢。那数据寸到各节点的分配逻辑是怎样的呢？挂掉硬盘或者节点掉了是怎么处理的呢？
优势在硬件篇开头提过。
/thread-1212326-1-1.html
很专业！看不懂英文的！
Windows Server（codename: Threshold）这个倒是了解不多。
1 这个实例做了SDD、HDD层，请问SDD能作为HDD层的cache吗？
2 实例中虚拟磁盘是镜像模式，请问是三个集群互为镜像？column2是容错值（两个磁盘）？请说明容错的策略。
3 磁盘的IOPS能负载均衡吗？
4 请问有跟VSAN的性能对比吗？
# Set cluster properties
(Get-Cluster).DASModeEnabled=1
http://msdn.microsoft.com/en-us/library/aa371422(v=vs.85).aspx
这个命令好像在 技术预览版中是不支持的。。
好像楼用主用到的部分，并不是 新版中的特性呢。。
12块ssd做完阵列只有340G？