宏杉科技ms3000新一代数据中心存储平台建设方案

宏杉科技ms3000新一代数据中心存储平台建设方案内容摘要：

速的响应能力。 整个系统的管理和使用界面都是基于 JAVA的图形式、向导 式 界面，管理和使用非常简单 、方便，避免了 传统存储的管理负担。 另外， MACROSAN还为用户准备了全面的技术培训。 宏杉科技 高 可靠 、 高性能 存储解决方案优势 1) 全局缓存智能调度 MS3000采用智能缓存调度机制，对全局性缓存进行管理。 不仅单个控制器内的读、写缓存可根据实际情况动态调整 , 而且两个控制器的缓存也无需对称分配，以充分发挥控制器的性能。 在具体调度策略上，读、写缓存被划分为预留、共享、突发三大区块，以满足 LUN的实时变化的性能需求。 在这种机制下， LUN在大压力下获得大缓存空间，在小压力下获得小缓存空间，既保证单个 LUN不存在性能 瓶颈，也使得整个系统的缓存使用非常高效。 2) 快速自愈和主动监测 MS3000存储系统支持对磁盘的精细化管理，提高对硬盘介质错误的容忍度，同时能将数据重建的效率提高了数倍甚至数十倍。 MS3000存储系统支持主动式磁盘故障检测，即磁盘检测模块会周期性的检测数据盘的RAID校验信息和对空白盘、热备盘进行全盘扫描，从而能够比应用系统更早感知到磁盘故障，并提前启动对应的修复措施。 3) 资源弹性部署 MS3000存储系统支持根据应用热点变化，自动将存储介质资源与应用热点智能匹配，从而在为业务应用创建配置存储资源时，管理员只 需关注配置容量，无需关注存储介质、磁盘数、 RAID类型等等，也就是说无需进行配置规划。 业务应用一旦开始读写，存储阵列能按照业务应用在存储空间中的实际 I/O压力分布，分配不同性能等级的存储资源给业务应用，真正实现存储性能资源的动态的、弹性的、精细化的配置。 同时， MS3000存储系统能够实现空间的自动增长。 比如：应用系统需要 1TB的逻辑空间，存储阵列初始只为其分配 500GB的物理空间，当应用的实际容量接近或达到 500GB时，会按照预设策略为应用系统分配新的物理空间，比如再分配 200GB，使得实际的物理空间达到 700GB。 即应用系统只需向存储阵列提出空间需求，而不需要关心资源的空间限制和物理位置，由存储系统自动进行容量的弹性配置和管理。 宏杉科技新一代数据中心 存储平台方案建议书 2020123 第 12 页，共 34 页 4) 统一管理和维护 MS3000存储设备能够提供便捷的管理界面、完善的告警方式，以降低管理员的工作强度。 同时支持集中式管理，支持通过 SNMP TRAP实现状态查询、告警上报，还为主要的管理功能提供编程接口，方便进行第三方的统一管理。 5) 优质完善的原厂商售后服务保障 存储系统是整个 IT系统的核心，对服务的依赖性比较高，原厂商是否能提供直接服务非常重要，另外存储可靠性的关键是备件到达速度， 很多厂商在服务方面为了降低成本，将服务外包给第三方服务公司或渠道完成，往往因为第三方服务机构的水平不高，本地没有备件库等原因造成用户的系统故障长期得不到排除。 宏杉科技是一家专注于企业级存储系统及解决方案研发、生产与销售的中国本土化厂商，对所生产的全线存储产品具有完全的知识产权，真正达到自主可控，能够为用户提供研发级的产品服务，这是任何国外厂家都无法比拟的。 本着对用户负责的态度，宏杉科技对MS系列存储系统提供原厂商直接服务。 方案实现之关键技术 1—— 全局缓存智能调度 技术 传统的存储系统是一个存储系统为若干个 应用提供一个公共的存储平台，其中端口、逻辑卷可以针对不同应用进行分配和优化，但是作为存储系统中对性能影响非常大的 cache资源却无法进行有效的分配，所有应用系统都共享同一 cache资源。 在某些应用系统的业务量突然增加时，对存储系统的 cache资源使用量激增，以满足应用系统对性能的需求。 此时，其他应用系统的存储 cache资源就会被占用，系统性能受到影响。 宏杉科技新一代数据中心 存储平台方案建议书 2020123 第 13 页，共 34 页 图 — 无分区功能的存储系统 后来，出现了带缓存分区管理功能的存储系统，将不同应用系统所针对的存储缓存资源进行分区隔离，以保证单个 LUN的应用性能。 但是， 缓存分区技术在突发应用情况下，无法动态增加缓存的数量，对突发性应用系统，可能存在间歇性的性能瓶颈。 MS3000一体化 业务系统中包括很多应用，这些系统都是基于数据库技术开发的，所以从系统重要性和对存储系统的性能等方面考虑，这些应用系统的 QoS要得到保证。 针对上述情况，宏杉科技创新性地开发出 全局缓存智能调度机制，其核心思想是： 根据实际情况动态调整读、写缓存的大小，以满足 LUN的实时变化的性能需求。 图 — 全局性缓存调度示意图 具体实现如下图所示：将 读、写缓存被划分为预留、共享、突发三大区块。 1) 预留 (Reserved)区：每个 LUN 初始分配的缓存区域，平均分配 ； 2) 共享 (Share)区：活动状态的 LUN 可用的缓存区域 ，应对稳定的大流量 ； 3) 突发 (Burst)区：非活动状态的 LUN 的突发流量缓存驻留区域 ，应对临时性的大流量。 在这种机制下，能够保证： 1) LUN 在大压力下获得大缓存空间，在小压力下获得小缓存空间 ； 2) 单个 LUN 不存在性能瓶颈，整个系统的缓存利用率高 ； 3) 写缓存根据实际情况分配，不需要按照物理大小平均分配 ； 4) 两个控制器的业务压力无需对称，可充分发挥控制器的性能。 宏杉科技新一代数据中心 存储平台方案建议书 2020123 第 14 页，共 34 页 图 — 缓存按需分配 举例来说， 月底 ，各企事业在进行员工工资发放时，一体化 业务系统 可能面临突发 的数据访问 情况 ， 全局智能缓存调度机制能够保证在业务高峰时段动态增加缓存数量，以应对业务压力。 方案实现之关键技术 2—— CRAID 技术 据统计，存储系统的硬件故障 90%以上是磁盘故障，而故障磁盘中，只有 12%是完全的物理损坏， 88%属于部分 /完全可用。 如果磁盘发生错误后立即被踢出阵列，一方面客户需要为 100%的故障磁盘买单，另外一方面客户还需要承担故障磁盘被踢出阵列到被更换过程中其他磁盘再次故障所导致的数据丢失风险。 ODSP存储软件平台在分层次、模块化 设计的基础上，对多个层次上进行了磁盘错误处理。 Cell，形象称之为“细胞”，指带“活性”的数据单元，是存储资源管理的基本单位。 引入 Cell的概念后，资源管理层次如下图所示，在具体的实现上，首先用物理磁盘创建 RAID，然后把 RAID的可用空间根据指定长度（默认 1GB）划分为多个 Cell，创建 LUN时，系统自动分配空闲 Cell，破除了 LUN与 RAID、 Disk之间的捆绑关系，使 RAID的最小维护单位由原来的磁盘变成了更小更灵活的 Cell，实现了完全的虚拟化存储架构。 宏杉科技新一代数据中心 存储平台方案建议书 2020123 第 15 页，共 34 页 CRAID 基于 Cell的重建功能 按照 Cell 维护健康状态，突破了传统 RAID 对可容忍的磁盘数目的限制。 比如，传统的RAID5 支持 1 块磁盘故障，第 2 块磁盘故障时， RAID 失效，不能继续使用。 在 ODSP 存储软件平台的实现中，只要磁盘出错区域不在同一个 Cell 内， RAID 中的数据仍然可以访问，即 RAID 可容忍非同一个 Cell 内多个磁盘发生介质错误，在极端的情况下，可能出现 RAID中所有的成员磁盘上都存在介质错误，但是数据仍然可以访问，提高了存储产品对硬盘的容错性以及业务连续性。 同时，针对多个磁盘出错区域在同一个 Cell 内的情况， ODSP 存储软件 平台继承了物理的处理方式，即这些磁盘错误仅影响当前的 Cell，其他 Cell 仍然可以继续访问，使得错误的影响范围降到最小。 快速重建 区别于传统 RAID 先踢盘再重建的方式， CRAID 的快速重建可只重建错误磁盘上的损坏数据块，未发生错误的区域直接使用拷贝方式将数据块复制到热备盘，重建完成后，再将错误磁盘转移至 IDDC 磁盘诊断中心处理，该方式可明显降低重建过程对 RAID 组性能造成的影响。 宏杉科技新一代数据中心 存储平台方案建议书 2020123 第 16 页，共 34 页 传统 RAID 组重建时，最消耗性能和时间的原因是需要调用所有磁盘进行异或校验。 快速重建由于将全盘校验改成了按 Cell 校验 +磁盘复制，其校验任务只有传统全盘重建的几百分一或千分之一，校验时间几乎可以忽略不记，而磁盘复制的速度可以达到磁盘读写的最大值。 以 1TB 的 SATA 磁盘为例，在 15 块盘的 RAID 中，全盘重建时间约 30 小时，而快速重建的时间差最快可以达到 6 小时。 局部重建 类似于快速重建，但不是重建热备盘，而是只对原盘的变化部分进行重建，使其同步。 适用于磁盘未损坏，但发生过闪断或人为误操作，短时间内拔出又插回的情况。 该方法可重建 5 分钟内磁盘不在位过程中所丢失的数据，重建时间短，极大降低 RAID 组受影响程度。 宏杉科技新一代数据中心 存储平台方案建议书 2020123 第 17 页，共 34 页 优化重建 仅重建被 LUN 使用的 Cell，未使用的 Cell 不重建，如下图，仅重建 Cell 4，Cell 6 不需重建； 重建调度时，优先重建存在介质错误的 Cell，然后再使用拷贝的方式重建其他 Cell，以尽可能的避免该 Cell 所处的其它磁盘发生故障导致的 Cell 损坏； 支持多重重建，可同时重建多个故障磁盘，如一个 RAID 组中的两块磁盘所处的不同Cell 存在坏块，可以两个 Cell 并发重建，提高重建总体效率。 全盘重建 与传统 RAID 组一样，适用于磁盘被拔走或者磁盘严重故障不能继续使用的情况使用。 宏杉科技新一代数据中心 存储平台方案建议书 2020123 第 18 页，共 34 页 第 4章 MS3000 产品介绍 产品概述 MacroSAN MS3000是宏杉科技推出的新一代中端存储产品，其融入了大量先进的设计理念和架构技术，面向中、小型数据中心提供安全可靠的、资源弹性部署的存储平台。 在硬件架构上， MS3000采用了包括大容量缓存扩展、 PCIE 、 SAS 、 SSD等在内的先进技术，构建高性能的存储平台。 在资源管理上， MS3000采用基于 Cell的虚拟化技术，通过创新的 ICMT管理机制，实现资源的弹性部署。 在可靠性上， MS3000除了采用双控全冗余模块化设计、提供丰富的数据保护特性外， 还通过创新的 CRAID技术和 IDDC磁盘诊断安全机制，将磁盘故障导致的宕机时间和机率减少 80%。 此外， MS3000基于开放式数据存储平台（ ODSP），能够通过接口开放、规格功能定制、行业特性开发移植等方式，将存储系统真正与用户业务系统无缝融合。 按照产品配置的不同， MS3000可分为 MS3100、 MS3300二个型号。 产品特点 （一）高性能体系架构 在架构设计上， MS3000采用了大量业界先进的技术，包括大容量缓存扩展、 PCIE 、DSU 1516磁盘柜 ( ) DSU 1525磁盘柜 ( ) MS3000存储 控制器 MS3000整机视图 宏杉科技新一代数据中心 存储平台方案建议书 2020123 第 19 页，共 34 页 SAS 、 SSD等，构建高性能的存储平台。 （ 1）高带宽总线技术 PCIE ： 在每个控制器的内部， MS3000采用了 16个 PCIE。 单个 通道的带宽为 ， 16个 80Gbps。 MS3000采用多条 PCIE 总线连接前端主机。