讨论下控制成本的前提下,家用安全保存20年数据的备份方案
2016年2月3日更新,最后配置为家用服务器 HP ProLiant MicroServer Gen8 体积 13.2L
CPU:英特尔 至强 E3-1220
主板:惠普 ProLiant C204 Server Board with iLO 4
内存:金士顿 惠普专用 DDR3 1600 ECC UDIMM 8G + HP SmartMemory DDR3 1600 ECC UDIMM 4G
显卡:Matrox G200eH VGA
固态:Intel DC S3500 800G,Intel DC S3500 480G(暂时用Intel 520 240G代替)
仓库:西部数据 NAS WD 红盘 Red 4T x 2,东芝企业级5T SATA MG04ACA500A x 1
电源:台达200瓦,自制SATA+散热风扇一拖三线
/data/attachment/forum/201602/03/090718f7g994xdjxmog4x4.jpg
/data/attachment/forum/201602/03/090847vkbe1yvfvokqx4se.jpg
----------------------------15年11月更新----------------------------
之前说的都是废话,楼主已经德淘下单HP MicroServer Gen8 含DHL运费一共217欧元,就看海关大爷心情睡不睡了。
从写帖子到现在新添加的存储设备——5T希捷移动硬盘拆盘一块,楼主知道4盘封装希捷DM001是定时炸弹,就尝试一把看看多久爆炸吧
但是炸弹一块就够了,下一块硬盘也就是装在Gen8上面的第二块硬盘打算购买希捷(Seagate)4TB 7200转 128M SATA 6GB/秒 企业级硬盘(ST4000NM0033)
现有的希捷2T和东芝2T已经超过3年,打算趁还没有坏道二手处理掉。
Gen8还有2个盘位留给2块480G SSD做高速游戏软件共享盘,SATA 5丢个64G 三星830 SSD装系统
无敌分割线/static/image/hrline/1.gif/static/image/hrline/1.gif
下面几个月前还没有决定入手NAS或者HP Gen8的心路历程,纯属倒垃圾,大家可以无视
简单的说一下中心思想:家庭PC(群)系统,备份数据数据安全是长期的过程,楼主已经做了15年,最近10年没有丢失过数据,还要持续下去。
所以想考虑一下未来10年的规划,这是跟其他网友讨论的结果:
我总结的思路:
可以借助的就是免费的2T百度云了
需要时间整理数据,照片可以精简30%不成问题。
添加NAS也是增加没有容量后顾之忧的存储介质,集中给全部数据做一个备份。
楼主计划未来10年的个人家庭数据保全策略是:
NAS 存储全部数据,这是主要备份。包括提到的全部家庭个人数据
蓝光高清片源只存在NAS上面,丢了就丢了,不备份
百度云2.5T容量存储全部数码照片和个人/工作数据,作为灾难备份。
每台机器有一个机械硬盘,存储最常用的部分Snapshot数据备份,比如2013年以后的数据和文档。超过的部分年限数据就要去NAS去寻找——这部分有办法自动同步备份到NAS去最好
然后开始讲楼主数据备份的故事,大概的目的是说楼主怎么否决掉光盘/独立硬盘备份,不耐可以直接跳到问题提问环节:
现状:
总的家庭数据,已经超越合理成本下的一块机械硬盘容量。也就是楼主现在的全部个人数据无法用千元以下一块硬盘装下。分散管理统计备份都非常的麻烦,容易遗漏,文件重复备份占用空间,整理起来效率也不高,所以觉得是时候增加一个NAS做统一存储备份了。
楼主计划未来10年的个人家庭数据保全策略是:
NAS 存储全部数据,这是主要备份。包括提到的全部家庭个人数据
蓝光高清片源只存在NAS上面,丢了就丢了,不备份
百度云2.5T容量存储全部数码照片和个人/工作数据,作为灾难备份。
每台机器有一个机械硬盘,存储最常用的部分Snapshot数据备份,比如2013年以后的数据和文档。超过的部分年限数据就要去NAS去寻找——这部分有办法自动同步备份到NAS去最好
数据量统计
家庭照片单反十年,存储了600G RAW照片,太多重要的回忆,很重要,绝对不能丢,部分备份状态。而且分散在3台机器(我的,爸妈的,全家摄影爱好者)
个人文档数据,100G,基本上都同步在百度云了,虽然很重要,但是有最后的救命稻草。
工作项目文档,50G,基本上都同步在百度云了,虽然很重要,但是有最后的救命稻草。
无损音乐200G,很多自己抓的,CD已经找不到了,有的无损单曲很难找,最好别丢,部分备份状态,分散在2机。
美剧/IMDB Top500高清片源现在有3T左右(虽然很难收集,至少50%有种子备份,尽量不要丢),容量太大,无法备份
PC游戏 500G,有游民星空和三大妈,种子文件有备份,可以丢
硬件驱动,BIOS MOD,Android和办公软件,300G,这个主要需求是版本同步,现在每台PC机器都有一部分文件,版本严重冲突。
需求:
1、“家庭云”私有云存储用户文件,可以在同城的2家,超过3台PC机上面互相自由访问保存,就跟存储在本地硬盘一样。
包括我的文档,我的图片,我的照片,我的音乐,我的视频,我的游戏,我的工作,我的代码,浏览器,电驴和BT的下载保存目录
为了最快的读写响应操作速度,“我的文档”和“我的照片”,“我的工作”最好是本机SSD上有实际存储映射(能实现自动离线文件镜像最好),同步镜像文件方式保存到NAS存储。
然后问题来了,问题宝宝的问题有好多。
NAS的硬盘存储(组织)架构方式?
硬件 Raid-5 (LSI 9621-8i 要实现硬盘告警指示灯),现在看最美好,起步价3盘,可用容量等于n-1盘
ZFS
Raid 0+1 (要实现硬盘告警指示灯) 磁盘可用容量只有50%,肉痛
多盘,单盘独立访问——没有自动容错能力,还要依赖楼主个人主观能动性来发现和替换坏道硬盘,跟现在的备份方式无本质区别。
楼主关心的无非就是:
容错和预警:能够允许BOOM 1,2盘而保障数据无损?有监控软件或者声光告警——最好就是硬盘托架上的橙色LED灯啦。换盘后重构数据的时间,2T/8~10小时可以接受,5T容量最多1天重构完成可以吗?
在线扩容:因为这是10年长期规划,楼主要求必须能够在不解除原有超过5T容量大小的lun/vol的状态下扩容,包括盘数的扩容和空间扩容。
因为包括单位的NetApp,现在还没尝试过NAS存储扩容。楼主凭借脑补,NAS单卷的文件数据量一旦累积超过5T(现在已经快了)倒腾换盘就非常非常痛苦了,总不能再买一个更大的NAS才能把旧的扩容吧?
根据楼主的了解,LSI 9260以上的MegaRAID阵列卡都支持阵列迁移,但是不清楚支持加盘,感觉更渺茫的是支持换盘扩容,就是2T*4在线换成5T*4。最糟的情况,我希望能够一张阵列卡支持做新旧2个4盘Raid-5,然后手动把2T*4的数据拷贝进5T*4去,然后处理掉旧的2T*4阵列,使用新的5T*4阵列。
根据浴室说ZFS扩盘和扩容有优势,但是好像限定于FreeNAS系统?Server 2012和EXSi能否支持?
谁能告诉我优势和劣势?
接入PC客户端的方式?
iSCSI方式接入为NAS存储为虚拟本地磁盘。”用户验证“最好能够保存密码或者和Windows用户绑定,最好不需要人工干预,自动登录,系统要求支持Windows,Mac,Linux(CentOS),IOS,Android。
SMB协议,映射为Windows系统的网络驱动器,基本上NAS/Windows Server都支持这种方式。
私有云同步,爸妈家的摄影照片除了百度云只能使用这个方式同步备份到楼主家的未来部署的NAS上面。
公有云同步,百度云PC同步盘,现成方案。
听说过但是没用过的高科技协议:CIFS,NFS,ZFS(这个我不知道是划为Raid同级的(可以认为是数据链路层,还是算在应用层上)
楼主不知道还有没有遗漏其他访问和同步数据的方式,楼主想知道那些没听说过的那些网络文件协议和xxFS的优缺点。
解决方案?
EXSi是否是必须?
Windows Server 2012
1、HP MicroServer Gen8,使用惠普P222阵列卡或者LSI MegaRAID 9260能够实现更换坏盘的指示灯?
2、自装ITX,4盘位机箱,热拔插硬盘架——不知道组装机的热拔插硬盘架能否支持更换坏盘的指示灯?
两个方案都倾向于添加LSI MegaRAID 9260和锂电池,疑问就是面板上的硬盘架能否支持更换坏盘的指示灯?
商品NAS,性价比问题目前非常不倾向……
群辉
QNAP
硬件性能
3~4个5T机械硬盘 Raid 5,单盘损坏容错,热拔插升级替换。
要求最低配置下最小持续吞吐量100MB/s,内存标准SODIMM或者DIMM可以扩充升级,支持双网口千兆链路聚合,典型持续读写吞吐量200MB/s 。(这点留着YY,实际不重要)拥有高阶扩展能力,理论极限配置使用10GE万兆网卡和SSD Raid,最大持续吞吐量可以扩展到1000MB/s。
NAS协议和远程网管功能,高清播放
支持iSCSI,SMB,支持用户权限分区访问,
支持挂机迅雷,eMule/BT下载
带PC端远程管理,非常倾向于惠普iLo
支持S.M.A.R.T坏盘预警报警
NAS放在电视柜,视频输出可以接电视,客厅需要放片,最好能支持HTPC,无线键鼠+PotPlayer即可,不矫情。如果Gen8显卡实现困难,可以考虑添加高清播放器链接NAS播放高清
不矫情手机播放,在家里有55寸电视不看看,有27寸4K显示器不看,有24寸1080p显示器不看,偏要在手机平板上看NAS,说得难听就是矫情。
盘片选择,NAS的迭代升级和磁盘扩容方式
目前有东芝2T,希捷2T家用级各一块,计划使用拆盘大法拆希捷Backup Plus的5T移动硬盘来用。
计划起步大概是第一次部署,Raid 5,3*5T,预计可用空间10T,4盘位还能扩展一次,但是不知道NAS Raid 5从3盘扩展到4盘需不需要腾空3个盘上已经存储的所有数据?
阵列卡选择?
惠普SmartArray P222
LSI MegaRAID 9260-8i
LSI MegaRAID 9261-8i
ibm m5014
成本——预计
NAS+4*5T,6年使用期限,成本控制在1000/年。
磁带机适合你,LZ
你有你懂的网站撤
传上去,数据永久在网上
当然
你的包里可以真的放几部你懂的东西
想存十五年,还是定期更换硬盘+多点备份比较靠谱
楼主这是要写论文啊……一般来说,用两个不同厂商的硬盘使用同步软件相互备份就行了,考虑到硬盘接口淘汰或者硬盘折旧,每过5年换一些容量更大的硬盘替代就行了。另外一些图片和视频也可以适当压缩,减少占用的空间。家中宽带如果上传速度允许,也可以压缩加密后传到云盘。如要使用阵列,最好先测试过,对这类技术比较熟悉以后再使用,一般资料的备份也不需要阵列。
二十年,四十年,六十年之后……有这个时间,多转转吧,我的很多数据再也不看了
阿财 于 2015-7-11 16:49 编辑
你没有找不到一部想看的片,找不到某年的照片存在哪个硬盘的时候吗?
现在有的文件甚至分散存在我爸妈家的电脑硬盘里面,我要找的时候还跑500米去爸妈家开机找吗?
没有集中收纳的场所,我连扳手螺丝刀风扇工具螺钉数据线有时候都要翻箱倒柜找半天,
装成一个NAS阵列就是为了一开我的电脑就能全部找到所有数据啊。
看了LZ的文章也有所感触,刚码了几百字就要在发表的时候忽然觉得不妥索性删除了。
简单说点吧
可靠的数据安全思路基本是 ,多介质异地交叉同步备份。
依据个人认知的重要性, 对数据进行等级划分,最大限度减少个人有价值数据。
不可替代的个人著作,或打印,或冲洗,还是多介质
另外,恐怕对数据容量的估算和资金方面,一定会超。
我是要更换按时硬盘,只是我想做成阵列带硬盘告警灯,现在是我人工检查一块块一台台机器定期,发现才换,太累了。
笔记本我用的少,单位发了一个,不过也就放在单位用,家里我都没买笔记本,根本用不上。平时异地转移资料都是用移动硬盘,以前直接把资料下载到移动硬盘上,有个希捷硬盘坏了,好像是缓存出错。后来买的日立和西数都没问题。