网云科技

标题: 华为存储（HVS）的RAID2.0+ RAID5 容错 [打印本页]

作者: 8wkxob4 时间: 2016-3-29 18:54
标题: 华为存储（HVS）的RAID2.0+ RAID5 容错
这几天自学了一些关于RAID2.0的原理，大部分都明白了，就是容错部分还是有一点不太明白，最后参考华为白皮书，终于搞懂了，所以跟大家分享讨论。
这里用常见RAID5做讨论
1.RAID1.0容错是1，单位（个）是磁盘。
2.RAID2.0容错是1，单位是块（CK：CHUNK）。当一个CKG(ChunkGroup)超过2个CK损坏，那CKG数据失效。

华为以20个磁盘（原文截图太小了）按4D+1P（4个数据+1个校验）策略组RAID5,磁盘空间使用率为2/3，当双盘发生损坏，也能保证数据安全。因为CKG里面最多只有一个CK损坏。如果磁盘空间使用率大于2/3，估计不太乐观。
这里特别指出RAID2.0安全性在某些情况下会高于RAID1.0。

PS：技术不断的发展，跟不上就会被淘汰。

作者: ncxoth 时间: 2016-3-29 18:54
其实就是个基于block的文件存储啦

在lvm的基础上加上了一些冗余，和软raid类似

性能肯定不能和硬raid比了

作者: 8rqzs5i 时间: 2016-3-29 18:54

最好别将标准和产品混为一谈，国内的厂家充其量也就是山寨一个具体的产品出来，距离定制标准还很远很远。
看看TD的3G、4G就知道国内的实力什么样了。

作者: 43nu7e7 时间: 2016-3-29 18:54

要说到早一点的时候，是用RAID5组，再做EXTEND。那时候叫RAID1.5，然后3PAR又进行改良，而且推出了成品，所以说3PAR最早提出RAID2.0是能成立的。

至于性能优化的说法，这个没有具体模型，不太好说明。不过RAID1.5\2.0可以利用不同性能层来迁移冷热数据，这个特性是中高阶存储发展趋势。

PS:一般存储会有一个性能监控，按算法提出建议修改，加上RAID2.0天生容易扩展，应该能满足大多数应用场合，我个人看好RAID2.0市场，这个从业界产品就可以看出。

作者: chmi386 时间: 2016-3-29 18:54

其实，现在CPU不对，应该说 APU这类，
如果能把显卡部分拿出来做加速，性能一定会上一个档次。。

记得刚开始说GPU加速的时候，有个大学教授好像制作一个 GPU加速的路由器代码，说是可以轻松处理10G流量交换。。

只是之后，，，，之后就没后文了。。

PS。那硬件加速实际上就是ASCI的计算单元吗？
记得以前挖矿盛行的时候，后期出来的挖矿机就是那种东西吧，但据说定制后的设备无法适应其他计算。。。

作者: eliyx0w 时间: 2016-3-29 18:54
teardrop 于 2015-11-21 18:07 编辑

所谓ASCI加速芯片，就是为特定算法而设计的逻辑电路芯片，速度当然快，强调专用。

个人感觉APU起码可以编程，用途广得多。
至于硬件加速是指由专门的x86或者ASCI芯片来运算XOR，软阵列是利用系统CPU解算XOR。

作者: z2x0po 时间: 2016-3-29 18:54

RAID2.0这个叫法是3PAR提出的。它有一个很明显的特征：是按CK来划分。RAID1.0是按磁盘划分。华为在EXTENT和GRAIN的划分颗粒更精细一点，所以华为加了“+”。

为了适应大数据的时代，存储需要的硬盘数会急剧膨胀，RAID1.0已经力不从心，所以厂家也向RAID2.0靠拢（业界虽然没有统一叫法，但是方法类似),华为不单指做到了RAID2.0，还提出了改良。之一点真的不容易。作为靠实力说话的存储产品，搞虚假那没有任何意义，况且新一代的产品已经和其他厂家的一起竞争。

我本意不是称赞华为的RAID2.0+，是指RAID已经进步，作为IT民工也要与时俱进。

作者: 86j5u2m 时间: 2016-3-29 18:54

不是底层文件，是底层文件系统。
你说的这几家我都混过

作者: sce8fjp 时间: 2016-3-29 18:54

我个人感觉，这东西是不是就是那些软阵列，或者可靠的文件系统，中发展出来的。

比如 ZFS或者 Win8、2012 存储空间。
前者不是很了解，后者机制差不多，池化的空间里面是256MB一个块。记得有文档提到过。

作者: 3w4xusyr 时间: 2016-3-29 18:54

EMC 和 VM 不是一家公司，只是 EMC 持有 VM80%以上的股票，但是 VM 仍是独立运作的

作者: bar9s1j 时间: 2016-3-29 18:54

呵呵，我们是不是跑题了？

回到起点吧，RAID1.0在大数据面前确实需要改进了，希望存储多一些新技术，以便适应时代的进步。

作者: p0ffz45 时间: 2016-3-29 18:54

不太明白你说的底层文件？

冷热数据的迁移（最早出现在RAID1.5，由IBM、HDS和EMC提出，也就是EXTEND）是因为存储池是由不同性能层的磁盘来组成（SSD、SAS、NLSAS，按RAID组来切割Extend），数据在不同的Extend存放，因为性能层不同，Extend的性能也不同。
冷热数据的迁移证是利用了这个特性。
初看上去和RAID1.5\2.0没多大联系，但是Extend是RAID1.5的基础特性，是数据存放的关键，没有它支持，数据就谈不上在不同性能层的迁移。

作者: c3dy2m36 时间: 2016-3-29 18:54
找了一圈之后，
并没有发现什么 RAID 2.0 + 的官方说明

这个东西八成都是厂家自己搞的，

据说都是为了虚拟化。。

http://storage.chinabyte.com/438/13166938.shtml

PS。现在看到一些资料说一个东西，叫做”软件定义存储“

作者: h375k18 时间: 2016-3-29 18:54

我也是最近才知道 EMC 收购VMWare。。。没想到后者比母公司都有钱，差点被逆收购了。。

作者: n1vmp5u 时间: 2016-3-29 18:54

RAID2.0这个叫法是3PAR提出的。它有一个很明显的特征：是按CK来划分。RAID1.0是按磁盘划分。华为在EXTENT和GRAIN的划分颗粒更精细一点，所以华为加了“+”。

为了适应大数据的时代，存储需要的硬盘数会急剧膨胀，RAID1.0已经力不从心，所以厂家也向RAID2.0靠拢（业界虽然没有统一叫法，但是方法类似),华为不单指做到了RAID2.0，还提出了改良。之一点真的不容易。作为靠实力说话的存储产品，搞虚假那没有任何意义，况且新一代的产品已经和其他厂家的一起竞争。

我本意不是称赞华为的RAID2.0+，是指RAID已经进步，作为IT民工也要与时俱进。

作者: d95q2wk 时间: 2016-3-29 18:54

实质上还是，基于虚拟技术化的RAID模式，同时为适应数据中心虚拟化。
对日常运维人员来说，
一，方便的管理和维护，数据重组可以实现快速收敛，同样空间大小的数据重组同步，传统的raid模式完成时间是按天算的，RAID2.0只需要几个小时就完成。
二，可扩展性，需要扩容只要在RAID矩阵里添加硬盘就行了
华为在RAID2.0+多个加号，是因为他在RAID2.0的基础上有改进。

作者: vx2m39 时间: 2016-3-29 18:54

是啊。有本事立个标准，共享出来啊。
别的不说啥，你要说是真RAID2.0 ，至少给把LSI拉入吧，
没这个厂商加入，还敢说什么2.0！！

话说，最近看到一个文章，说USB当初推广的事情了

USB这么流行，一个是其本身简化很多当时串口通信的缺点
另一个最重要的原因就是Intel的大力免费的推广。

结果现在在推广收费的雷电接口的时候，总是不太顺利。。

作者: 2l8zj6 时间: 2016-3-29 18:54

1394我还没真没用过，虽然主板上提供了这个。。

作者: jzgvjjd 时间: 2016-3-29 18:54

严重同意，国内厂家整天就知道瞎忽悠骗政府的经费，骗纳税人的钱，实际上就是做做文案而已。

作者: 7d1qad3 时间: 2016-3-29 18:54

这玩意也不是3PAR 最早提出的，而是一些内置 Raid 厂家做的，只是没有明确的提出 Raid2.0的名称。3PAR 只是最早在盘阵上使用。
这东西听起来美好，但是实际使用时在性能调优等各方面都有一定问题

作者: ie9wczh 时间: 2016-3-29 18:54

从这句话就可以得出，这个只不过是华为弄的镢头而已。

RAID2.0+不是一个公开的标准，而是自家的一个产品罢了，只不过这个产品名字起的很刁一些。。

作者: 4b7z28 时间: 2016-3-29 18:54

1、Raid5使用的于或（XOR）算法，所有厂家都一样
2、Raid6采用了两次校验，一次于或，另一次个厂家用的方法不一样
3、在Raid计算方面，各厂家做法不一样，例如 HDS 以前也是用单独ASIC 芯片，而 EMC 一直坚持用 X86并在此基础上优化（例如引入 MCU 多核算法）
4、Raid 写惩罚就是用 RAM，没有用 RAID10缓存的（估计你搞混了 EMC 的 FastCache）。一般采用的加速方法就是 cache 数据尽量条带化落盘，避免多次读写加重写惩罚，这里 NetApp 做的比较极端，因为NetApp 所谓的 RaidDP 就是 Raid6，不支持 Raid10、5等

作者: l423p8 时间: 2016-3-29 18:54

华为有RAID2.0+的技术白皮书，链接http://pan.baidu.com/share/link? ... fid=982178776992217

这是RAID技术的进步！

作者: chq6ssz 时间: 2016-3-29 18:54

说usb免费的事情，请不要忘记1394

作者: 9ef67j6j 时间: 2016-3-29 18:54
路西欧拉于 2015-11-17 23:50 编辑

对不了解的事物就不要乱黑了。
存储虚拟化是软件定义数据中心组成部分，英文名称是Softwares Defined Data Center，缩写为SDDC，最早是vmware公司提出的概念。
他包含服务器虚拟化，网络虚拟化，存储虚拟化和桌面虚拟化。
这几个方面华为都有自己的产品，但是需要是运营商在用，唯独网络虚拟化这块，华为在和vmware合作，与思科争下标准。
但是其他方面虽然性能不是最好的，在国内首先解决的是一个有和没有的问题。
emc和vmware同一个公司，他们存储虚拟化产品用的就是不一样的标准。

作者: q4r5w7y 时间: 2016-3-29 18:54
利用不同性能层来迁移冷热数据和 Raid1.5还是 Raid2没有丁点关系，而是通过底层文件系统来做的。要说业界产品，也就国产的华为和宏山在使劲鼓吹 Raid2.0吧。
说道 Extend，最早是在高端存储例如 HDS USP、IBM DS6800DS8000、EMC DMX 等推出的概念。

作者: f9niipu 时间: 2016-3-29 18:54

估计你没有详细看那个技术文档。

这个和虚拟化存储没什么关系，因为应用多样性，导致采用RAID级别有很大的不同（比如数据库建议用RAID10），大数据来临的时候，我们要管理的RAID组会非常巨大，况且还要考虑不同性能层面的磁盘利用率、数据重建窗口、负载均衡等等，按原来的RAID1.0管理，会非常低效。

RAID2.0的概念最早是HP\3PAR提出，其中CKG就是采用RAID（10、5、50、6）级别来组建的，数据单位是CK，而且CK分散到同一个CKG的成员当中。这只是RAID2.0特性之一，建议你好好看看RAID2.0的文档（不管他叫什么），你就明白它带来的好处。

作者: xvj6yee 时间: 2016-3-29 18:54

好吧，大大一口气回复了3个。。

有时间看看，现在别的事情比较要紧一些。。哎~

作者: eblrr27 时间: 2016-3-29 18:54

这个还真不是软阵列，但是RAID的算法应该是类似。

RAID5、6级别的算法，我没记错的话叫Erasure Code，和文件系统没什么联系。是数据条带化后加上XOR运算后按算法分散排列（存放）到磁盘，当然RAID6算法更加复杂。

我们平常所说的软阵列一般指：没有硬件加速来进行XOR运算而组成的阵列。

现在的X86芯片运算能力已经比较强大，已经能满足XOR这些运算，所以有些厂商已经放弃传统的ASCI芯片，但是3PAR在这个领域保持着优势。3PAR的ASCI加速的RAID5（也叫FAST RAID）宣称能和别的厂家RAID10相竞争！

而系统所做的RAID\磁盘卷，是没有XOR运算加速的，一般变现为写数据会慢很多（写惩罚）。解决方法是用CACHE层，比如RAM、SSD（RAID10）等等作为缓存，经量减少阵列写操作。

作者: zg1p2fw 时间: 2016-3-29 18:54

不是乱黑的问题。

把这东西叫做 RAID2.0+ 明显就是要误导使用者的意思。

你自己不也说了吗，
这东西主要也是为了虚拟化的存储，
或者叫做软件定义存储。

它只是一个软件定义存储的解决方案，叫什么什么名字都可以，比如“虚拟化存储”

那么真正的 RAID Next（姑且这么叫吧），下代版本改是什么样的？
公开技术？算法？但RAID Level 已经基本固定了，要说Next 也给和这些无关，
但RAID 去除LEVEL部分不谈，剩下的还有什么？怎么来个“革命性” 改变？

欢迎光临网云科技 (http://www.8x6x.com/)