1、二、优化磁盘的配置 . 27 2.1、volume和aggr的考虑 . 27 一、管理磁盘和卷 1.1、管理磁盘 1.1.1、raid组概念 SCSI磁盘阵列内部结构图（单控制器）: SCSI磁盘阵列内部结构图（双控制器）:Raid组是多个磁盘组合在一起，每个RAID group（RAID4）包含一个校验盘和一个或多个数据盘，当数据盘损坏的时候，存储会确定那个盘上都有哪些数据，然后在hot spare盘上重建这些数据。RAID DP有两块校验盘，可以保护RAID组里面两块盘损坏，最少的盘数量至少是3块，一块数据盘,一块校验盘，一块dual校验盘。如果是校验盘损坏了，则可以根据数据盘的内容来重建
2、。2.1.2、什么是PLEX A plex is a collection of one or more RAID groups that together provide storage for one or more Write Anywhere File Layout （WAFL?） file system volumes. PLEX是一个或多个RAID组的集合，它们在一起为WAFL文件系统卷提供了存储能力。 Aggregates是一个或一组Plex组成的。Plex是由一个或者多个RAID4或者RAID DP组成的。2.1.3、Hotspare盘概念 当有盘损坏的时候，可以用syscon
3、fig r命令来看具体是那块盘损坏了。Hot Spare盘有以下特点:, 不包含数据 , 不管是哪个RAID组的盘损坏了，都可以替换，也就是说hotspare盘是全局起作用的，而不是属于哪个raidgroup。可以这么说hot spare属于整个存储，但是不属于某个RAID GROUP。 , 自动替换损坏的盘 , 至少应该和损坏的盘大小一样，而不能比损坏的盘容量还小 , 系统会选择正确的盘来作为hotspare盘 , 可以非常快的替换 从上图可以看见，hotspare盘是属于存储的，而不是属于哪个raidgroup,当出现盘损坏后，存储会自动的重建数据或校验数据在hotspare盘上。你可以在
4、线的更换新磁盘，在坏盘换下来，新盘就作为hotspare盘来使用，如果raidgroup不是做成raid DP则如果出现两块盘同时损坏，就会发生数据丢失。如果一个卷包含超过一个raidgroup，那么可以忍受两块盘损坏，但这两块盘必须是不属于同一raidgroup时，才可以。如果没有hotspare盘去替换已经损坏的盘，系统将会运行在一个”降级”模式，这时候虽然数据没有丢失，但性能不是最佳的，如果超过了这个时间还没有更换新的磁盘，系统就会自动关机。缺省的这个时间由下面的参数决定。wangjun options raid.timeout raid.timeout 24 如果过一个长假，希望延长这
5、个时间，则可以修改这个参数来实现。但是延长这个时间带来了很大风险，会造成其它盘损坏。在”降级”运行期间，如果是设置的raid4,再坏块盘，就会丢失数据，而如果是raid dp还不会丢失数据，除非坏第三块盘。2.1.4、raid组大小的选择及考虑 Raid组大小的定义要考虑到客户的需求以及性能的优化，netapp的raid组可以由2-28块硬盘组成。 , Raid组支持的最小数量是与raidgroup类型有关系。, Raid组支持的最大数量是与raidgroup类型有关系。, 缺省的raid组大小是在基于不同raid类型的基础上考虑性能最优和容错要求。 支持的最大 raid组:平台 RAID D
6、P RAID 4 SyncMirror_Local 备注 FAS6000 FC或SAS盘:28FC或SAS盘:14块RAID 6 + RAID 1 Raid6是针对大于（26 个数据磁盘盘（13 个数据磁盘或 RAID 4 + RAID 146G盘的配置推加 2 个奇偶校验加 2 个奇偶校验1 荐。磁盘） 磁盘）， 缺省raid组大小是SATA盘:16（14 个SATA 盘:7块（6 raid DP是16 数据磁盘加 2 个个数据磁盘加 1 Raid 4 是8 奇偶校验磁盘 个奇偶校验磁盘） FAS3100 FC或SAS盘:14块RAID 6 + RAID 1 （26 个数据磁盘盘（13 个数
7、据磁盘或 RAID 4 + RAID 加 2 个奇偶校验加 2 个奇偶校验1 磁盘） 磁盘）， 7块（6 数据磁盘加 2 个个数据磁盘加 1 FAS2000 FC或SAS盘:2.1.5、不同大小和转速的硬盘混装在同一存储的处理 不同时期采购的硬盘可能会造成同一存储中，有不同大小的硬盘,不同大小的磁盘需要不同的DataONTAP版本或者磁盘柜的支持，这个具体信息需要看系统配置手册。一个raid组里面的hotspare和校验盘必须是最大尺寸的，否则无法备份任何数据盘里面的数据。一个volume里面支持磁盘尺寸不一样，但是netapp不推荐这么做，这样会带来性能的下降，即一个volume里面磁盘尺寸
8、大小最好一致。下表是FAS6000支持的磁盘类型和大小（2009年12月） FC盘 9/18/36/72/144/300GB 9/18/36/72G虽然支持但现在不出货了,其实也就是支持144G和300G的 SATA盘 250GB, 500GB, 750GB, 1TB SAS盘 300GB、450GB、600GB 上图表示我那一块大硬盘去重建数据，而被替换的硬盘尺寸小，那么就会出现容量的损失，上图72G的盘只能作为36G的来使用了。DATA NOTAP支持把不同转速的盘混合起来使用，需要打开raid.rpm.ata.enable和raid.rpm.fcal.enable选项。以下是缺省情况这两
9、个选项的设置值:raid.rpm.ata.enable off raid.rpm.fcal.enable on 1.2、配置RAID组 1.2.1、Raid4和Raid DP （1）、RAID4 水平行奇偶校验 下列图表说明了在传统NetApp RAID4 解决方案中使用水平行奇偶校验的方法，也是您了解RAID DP 和双奇偶校验的第一步。图 图表代表了传统的RAID4 组，使用包括4 个数据磁盘（前4 列，标注为“D”）和一列奇偶校验磁盘（最后一列，标注为“P”）的单向奇偶校验。上面图表中的行显示了实施传统NetApp RAID4时使用的标准4KB 块。 上面图表中的第二行在每个4KB 块和
10、行中数据的奇偶校验计算中添加了一些样例数据，随后存储在奇偶校验磁盘上相应的块中。 在这种情况下，计算奇偶校验的方式是向每个水平块中添加值，然后将这些值的和存储为奇偶校验值（3 + 1 + 2 + 3 = 9）。实际上，奇偶校验是通过专门的OR（XOR）过程进行计算，但其它情况也与此例非常相似。如果需要从单一故障中重建数据，则产生奇偶校验的过程将与此相反。 例如，当RAID4 恢复上面第一列的数据值3 时，如果第一个磁盘发生故障，就会从奇偶校验中存储的值中减去剩余磁盘上的值（ 9- 3 - 2 - 1 = 3）。这个通过单一奇偶校验RAID 重建的例子，应该有助于从概念上理解为什么能够对单一磁盘
11、故障提供数据保护。（2）、添加RAID DP 双奇偶校验条，Raid DP是如何做的 下表将一个以蓝色阴影块表示的对角线奇偶校验条和一个在第六列中以“DP”表示的第二个奇偶校验磁盘添加到前面的RAID4 组中。这表示RAID DP 结构是RAID4 水平行奇偶校验解决方案的超集。在这个例子中对角线奇偶校验条通过相加的方法计算，并且存储在第二个奇偶校验磁盘上，而不是按实际使用的XOR校验来计算的:（1 + 2 + 2 + 7 = 12）。解释:对角线校验将第一块校验盘上的内容也作为数据来处理。下一个图表为每个块加入了余下的数据，并且建立了相应的行和对角线奇偶校验条。从上图可以明显看出，在RAID
12、 DP 中，对角线奇偶校验条都在行奇偶校验结构的边上。在这个例子中，对于RAID DP 对双磁盘故障进行恢复的能力，有两种重要情况需要注意。, 第一种情况是，每一个对角线条会错过唯一的一个磁盘，但是每个对角线错过的磁盘都不一样。一条对角线:有一行的某个块上数据的校验没有被记录在对角线校验中，但从上图看错过的磁盘是不规律的。, 第二种情况的结果是，在第二个对角线奇偶校验磁盘上会产生一个没有得到奇偶校验的对角线条。上图中白色的块没有被记录到校验盘。在这个例子中，被遗漏的对角线条是白色的块。在之后的重建例子中会明显的看出，遗漏一个对角线条不会影响RAID DP 在双磁盘故障中恢复所有数据的能力。值得
13、重视的是，在本例中介绍的许多同样的RAID DP 对角线奇偶校验都是真实的存储情况;其中涉及到在RAID 组中的许多磁盘上，以及通过 RAID4 组水平写入成数百万的数据行。并且，通过上面较小的例子我们很容易地例证了RAID DP，而且不管RAID 组中的有多少磁盘，对于大尺寸的RAID 组，其恢复情况也与此相同。由于RAID DP 可以通过两种方式对双磁盘故障进行所有数据的恢复:一种是使用数学原理并进行证明，另一种则是简单地通过双磁盘故障并随后进行恢复。本文将使用后面的方法来证明RAID DP 的双奇偶校验保护的概念。使用数学原理和证明的方法，超出了本文对RAID DP 的叙述范围， 但我们
14、在另外一篇文章中单独进行了描述，而且即将在NetApp 的外部网站上发布。（3）、双盘数据丢失后,RAID DP 的重建 我们使用最近的图表开始介绍双磁盘故障。假定在发生双磁盘故障时，RAID 组运行正常。在下表中，第一、二列中的所有数据都丢失了。当发生双磁盘故障之后，RAID DP 首先会寻找一个链来开始重建。在本例中，我们用蓝色的对角线奇偶校验条来显示其所发现的链。不要忘记，当在RAID4 下为单一磁盘故障重建数据时，只有在丢失的元素不超过一个时，这种情况才会发生。记住这一点之后，我们可以看到上图中蓝色对角线条中只丢失了五个块中的一个。借助五个元素中仍然存在的四个，RAID DP 能够获得
15、所需的全部信息，（也就是说根据RAID DP数据存储方式和校验方式，有一个链可以开始对角链恢复，那么就从这个链开始恢复计算），来重建蓝色丢失块中的数据。接下来的图表反映了这些数据被恢复到空闲的磁盘上。从丢失的蓝色对角线块中重建数据时，使用了前面介绍的算法（12 - 7 - 2 - 2 = 1）。现在， 丢失的蓝色对角线信息已经被重建，恢复过程从使用对角线奇偶校验转换至使用水平行奇偶校验。 特别是，蓝色对角线之后的顶端的行重建了丢失的对角线块，而没有足够的信息从行奇偶校验中重建单个丢失的水平块（9 - 3 - 2 - 1 = 3）。这种情况出现在下列图表中。RAID DP 接下来继续处于同样的链
16、中，以决定是否能够重建其他的对角线条。上面左方的块被行奇偶校验重建，使得RAID DP 现在能够重建灰色对角线条中相对的对角线块，如下图所示。再一次，当RAID DP 恢复了对角线条中相对的对角线块后，它就有了足够的行奇偶校验信息，来重建第一列中丢失的水平块，接下来的图表中例证了这个情况。图 32:与我们前面所注意到的一样，白色对角线条没有被存储，现存的链中也没有额外的对角线块能够重建。RAID DP 将开始寻找新的链以开始重建对角线并且，基于这个例子，决定了其能够重建黄色对角线条中丢失的数据，如下图所示。在RAID DP 重建了丢失的对角线块之后，这个过程再次从行奇偶校验转换至重建丢失的水平
17、块。当黄色对角线中丢失的对角线块被重建后，可以得到足够的信息重建行奇偶校验中丢失的水平块，由下图可以明显看出。水平行中丢失的块被重建之后，重建转换回对角线奇偶校验以创建丢失的对角线块。RAID DP能够继续处于当前的对角线链中如下图所示。同样，在对角线块恢复之后，因为有足够的信息重建一个水平块信息，这一过程将会转换回行奇偶校验。接下来是双磁盘故障情况的最后一个图表，通过RAID DP 所有的数据都被重建了。RAID DP 卷的性能可以与RAID4 相媲美。每种类型的RAID 的读操作几乎一样。RAID DP 的写操作性能要比RAID4 慢2%到3%。造成性能微小差距的原因是RAID DP 卷上
18、的第二个对角线奇偶校验磁盘会出现额外的写操作。 相对于RAID4，运行RAID DP 时CPU 的利用率并无明显差别。总结:, RAID DP的写操作比RAID4+稍有些慢。, 先恢复对象线校验盘上的数据，使水平校验有足够的数据，然后再恢复水平校验盘上的数据。 1.2.2、一些关于raid组选项的设置 RAID 组是建立卷的基本结构. -功能:设置系统可以在降级模式缺省运行的时间设置重建的时候分配的系统资源的多少,=这个在7.3里面已经没有了,=修改指定卷的RAID组类型，Values: raid4 （default）, raid _dpaggr options aggr0 raidtype
19、raid4Netapp存储使用disk scrub技术，避免因为介质错误，坏扇区等问题造成数据丢失。启动这个功能后，raid组里面的每块盘都扫描来发现错误，如果发现了错误，则通过校验数据重建和重写数据。如果不这样做，如果在降级模式运行则会造成多块盘损坏。如果options raid.scrub 是off的，也可以手动启动此命令。 什么时候会造成降级运行，raid group设置为RAID 4，其中一块盘损坏，设置为RAID DP, 但RAID组中同时两块盘损坏，而且没有设置hot spare磁盘，此时存储降级运行，缺省时间是24小时，在此时间内如果没有更换磁盘，则系统shutdown。1.2.
20、3、一些关于磁盘操作的常用命令 首先创建一些物理卷:,=查看aggr空间的使用情况vol0Snap reserveWAFL reserve600MB（保留了10%）5129MB ,=可用是5.2个G,=可以看见aggr1包含两个raid组每组是5块硬盘dparity v4.32 v4 2 0 FC:B - FCAL N/A 1020/2089984 1027/2104448 parity v4.48 v4 3 0 FC:B - FCAL N/A 1020/2089984 1027/2104448 ,校验盘 dparity v4.21 v4 1 5 FC:parity v4.34 v4 2 2
21、FC:通过标记一块磁盘fail来显示换盘的过程:disk fail v4.33,=将v4.33这块盘标记为失败，则会有spare盘开始拷贝过来 消息提示开始向ID号最小的V4.41开始拷贝数据 data v4.33 v4 2 1 FC:B - FCAL N/A 1020/2089984 1027/2104448 （prefail, copy in progress） - copy v4.41 v4 2 9 FC:B - FCAL N/A 1020/2089984 1027/2104448 （copy 55% completed） ,=拷贝完了，发现v4.41已经变成了数据盘admin failed v4.33 v4 2 1 FC:B - FCAL N/A 1020/2089984 1027/2104448 wangjun disk replace start v4.41 v4.33 disk zero spares ,=格式化所有的spare盘 disk sanitize start v4.41 ,=清洁磁盘 disk scrub start vol status -r （
