集群存储解决方案

集群存储解决方案内容摘要：

由于 NAS 的扩展限制，导致单一 NAS 整体性能会随着容量的增加，而逐步下降，这些限制将会给数据的统一管理维护带来不少困难。 14 在于 集群 NAS 而言 存在两点问题，一是集群 NAS 走的是 NFS 协议， NFS协议注定一台计算节点只能与一台 NAS 头进行连接，也就是说当某一时刻，只有挂载在一个 NAS 头上的计算节点在运行计算的时候就会对当前的 NAS 头造成性能瓶颈，第二点是 所有计算节点在进行数据写入的时候，需要把数据的元数据信息写入到一个 NAS 头上，然后 在 由这个 NAS 头和系统内所有的 NAS 头进行数据同步，和所有的 NAS 头同步完之后才会返回给客户端一个信息告诉客户端继续进行数据读写，这也就说明 NAS 头的数量不可能无限制的扩展，扩展过多会导致需要同步的数据过多，而集群 NAS 的整体性能又是由 NAS 头的数量决定的，这也就成为了 NAS 系统的一个矛盾点。 存储系统 NAS 结构很好的解决了信息孤岛的情况，但由于本身的架构理念，制约了性能的进一步提升，对于计算行业， NAS 的这方面劣势被无限的放 大，以至于会影响到整体工作的效率，虽然采用了聚合带宽的方式，但 NAS 的基本劣势依然存在。 15 集群存储 如图所示，是一个典型的集群存储架构图。 集群存储系统，采用带外分布式架构，隔离元数据信息与数据信息，降低二者之间的性能干扰，采用对象存储技术将文件切片分布式存储在存储服务器集群上，充分利用所有存储服务器硬件性能，并且同时对客户端提供访问服务，形成高效聚合带宽，增加业务读写效率。 通过以上三种方式的对比，我们可以看出无论是 SAN 还是 NAS，都存在性能瓶颈，且扩展性比较差，无法满足现有 存储 平台的需求，集群存储技术 顺势 成为 满足 大数据、高并发应用的 存储 发展趋势。 存 储 服 务 器 集 群应 用 服 务 器 集 群千 兆 / 万 兆 网 络 、 I B 网 络元 数 据 服 务 器集 群16 第三章 存储方案设计 整体方案架构 LoongStore 集群存储架构 介绍 如图所示， LoongStore 集群存储采用 DoublCluster 双集群架构，将元数据集群与数据集群分离并可实现独立扩展，用户既可以通过扩展元数据集群获得更多文件管理的能力，又可通过扩展数据存储集群获得更大的聚合带宽与存储容量，灵活、无缝、平滑的扩展方式让用户可以有效地控制成本。 LoongStore 集群 存储为大中型组织提供可横向扩展、分布式并行系统，开放式架 集群存储，它具备企业级存储虚拟化、数据高安全及管理功能。 精简配臵和按需供给容量功能可实现存储资源分配及容量的动态管理，有助于集中管理各种17 不同的存储环境。 以软硬件及整体应用解决方案形式提供。 同时， LoongStore 集群存储系统采用动态扩展技术，用户无需中断应用的运行就可以通过 LoongStore 的配臵工具动态添加节点以扩大系统的容量、性能和规模，系统会自动实现负载均衡。 而随着存储服务器数据的增多，整套系统的聚合带宽也会线性的增长，完全可以满足业务不断 发展所产生的容量和性能需求，保持用户业务的连续性。 LoongStore 集群存储系统主要由应用服务器集群、元数据控制节点集群、集群存储节点集群三大部分组成。 元数据服务器集群：管理文件系统的元数据（包括文件目录树组织、属性维护、文件操作日志记录、授权访问等），管理整个存储系统的命名空间，对外提供单一的系统映像。 应用服务器集群 ：引导存储服务器，实现集群存储功能，存储节点集群系统控制软件许可，包括存储设备管理，网络设备管理，权限管理等。 智能存储服务器集群 ：存储用户的实际数据，是整个集群存储系统的存储资源提供者。 18 龙存方案特点 存储挑战 龙存解决问题 海量数据不间断实时访问 长期运行海量数据，不间断实时访问 LeoFS 集群存储系统采用存储服务器集群的方式来满足海量数据的存储需求，大量的存储服务器构成的一个分布式的虚拟化存储池，能够为应用提供单卷 EB 的存储容量。 所有的应用客户端都可以实时不间断共享访问虚拟化存储池中的数据； 多节点实时访问各自独立的数据内容，容易造成存储信息孤岛； 统一的共享空间，支持文件与数据库存储需求 LeoFS 提供一个单一的全局共享命名空间，使巨大且不断增长的网络存储系统 LoongStore的 LeoFS集群文件系统能确保维持实时复杂的大型分布式数据的可视化建模和分析应用。 强大的网络计算能力会给存储带来更大的负荷 集群并发环境，加快您的业务效率 LeoFS 是一个基于网络的全局分布式架构的集群存储系统。 LeoFS 提供高水平的并行读写存取，相比于传统的存储系统，LeoFS 的性能和高可用性都有很大的提高，并能让您更简单的扩展系统。 细粒度权限管理机制 系统管理实现硬盘级别访问控制机制 所有管理都可基于硬盘进行管理，主要管理功能包括：禁止设备恢复，手动设备恢复、禁止分配空间、锁定客户端、垃圾回收、元数据存储节点在线添加删除等管理功能 . 19 快速、持续增长的数据导致难于管理和发展。 简便的管理和快速在线扩容，减少您的管理投资 LeoFS 的集群模块化设计方法可加速动态扩容和删除操作的完成。 此外， LoongStore 的存储操作系统的简化的管理还能将您的IT 人员从中解放出来，从而可减少人为错误，使他们能够更关注数据管理战略，而不是日常任务。 关键任务的数据连续性、完整性。 高效的灾难保护机制，保护您的业务不受干扰 LeoFS 具有内在的高可用性架构 ,确保当磁盘损坏时业务不会中断，连续、高效的完成业务。 分布式环境 的解决方案。 更优的分布式架构，更通用更快捷 LeoFS 是基于灵活的硬件和高度优化的分布式集群存储环境。 当存储空间扩容时，需要手动停机进行数据迁移 动态扩容和自动负载均衡，解放您的 IT 员工 LeoFS 的独特的架构和负载均衡技术支持集群系统动态扩容和在线负载均衡功能，让您在不需要停止业务的情况下提升集群的容量和性能。 而且，自动的负载均衡能力使得您不用为繁杂的数据迁移而头疼。 20 龙存集群存储系统功能说明 功能名称 功能简介 全局文件共享 LoongStore 集群存储系统对外提供全局统一文件系统镜像，可以支持系统内所有服务器使用存储系统进行数据共享服务； POSIX 接口研发 可支持所有通用软件以及所有通用操作系统的挂载使用，无需进行二次开发，应用系统可以向使用本地硬盘一样的使用存储系统； 设臵数据冗余策略 LoongStore 集群存储系统可以 针对 不同的目录数据设臵 不同 的安全级别，可在多台服务器同时宕机的情况下保证应用系统的正常运转； 负载均衡 存储系统自带负载均衡之际，在大数据进行处理与读写时，可以将所有的访问压力分摊在集群内所有存储磁盘中，将所有服务器的 CPU、内存、网络、磁盘的性能全部利用起来，不会形成任何访问热点，屏蔽热点情况造成的部分磁盘访问压力过大造成的部分磁盘损坏的情况，降低磁盘消耗。 导出子目录 可以将 不同应用服务器与存储内的任意数据目录进行绑定设臵，形成数据隔离，使不同的应用系统有自己私有的存储目录，其它业务系统无法访问， 做到数据 可控 的安全隔离 ； 垃圾回收 清理 文件系统由于宕机或者坏盘造成的 垃圾数据 ； 禁止分配空间 系统可对 任何服务器的任何磁盘进行 限制其写入数据 的功能，解决由于磁盘访问延迟过高时降低此磁盘的访问压力，将所有21 存在安全性问题的事情全部做到可控范围内； 锁定客户端 当系统出现任何安全隐患包括泄密等问题时，可以直接锁定出现问题的机器，让此机器无法在进行数据读写，给用户争取处理时间； 增强型权限管理 针对不同的客户端，对重命名和删除权限进行控制 ，可以禁止系统内某些客户端的重命名以及删除文件的操作，屏蔽由于误删除带来的损失； 目录配额 存储系统内可对任意目录 进行容量控制，动态的按需分配 不同应用所使用的不同存储空间，方便用户对存储系统的使用规划； 在线更换设备 存储系统可在线更换线上所有硬件设备，方便在硬件更新换代时，无需停止任何应用的情况下，进行硬件设备的在线更换； 用户目录权限 系统内臵私有权限设臵， 可以屏蔽操作系统的权限设臵进行私有设臵，即使是管理员用户也无法跳过私有权限设臵对数据进行操作； 22 龙存方案与 SAN 对比 架构参数 FC/IP SAN LoongStore 共享性能 FC/IP SAN 设备本身不支持共享，需 要 共 享 文 件 系 统 支 持 ， 如StorNext，或 EMC 自己的 MPFS，但这 次文件系统都不是集群设计，性能普遍很低，支持客户端数量也很有限。 单个 LUN 被共享访问时性能会急剧下降 ； 基于高效的并行存储技术，系统聚合带宽随着存储规模扩大而近线性增长，带宽可扩展至数百 GB/s；单个数据对象可以被多个客户端访问保持性能不变 ； 扩展性 扩容需要 重新规划空间分配；容量越大，性能越低 ； 动态无缝的扩展，扩展之后性能得到提高，容量越大，性能越高 ； 可靠性 数据 Raid5 数据保护； Raid 组内两块硬盘损坏，或者单台存储设备失效，会造成数据丢失 ； 数据冗余度可调；可 允许多块磁盘同时损坏，甚至单台存储设备失效也不会影响数据的完整性 ； 故障恢复时间 系统重构 完全基于内部 RAID 机制进行数据恢复，数据恢复时影响 业务 性能 ， 且数据恢复 时间很长 ，存在较大的概率造成同一 RAID 组中其它硬件在次损坏，致使数据丢失； 内臵硬件损坏扫描机制，可快速发现损坏硬件，并 在线系统快速重构和数据恢复，速度是SAN 的数倍， 且数据恢复时 对存储系统 性能几乎没有影响 ； 23 完备性 SAN 设备本身只提供基本存储空间， 要实现一个完整的 共享 存储解决方案，需要一个“系统集成”的过程 ，否则则会出现一个应用系统挂载多个卷的情况出现，使用先对复杂； 系统提供存储、共享、自修复、负载均衡、安全、 等完整的功能，无需另购软件 ，一套系统可满足所有数据存储的需求； 维护升级费用 需要专人学习、负责维护 ； 厂家专用磁盘，价格十分昂贵； 系统 自动化程度高，接近零维护，任何网络维护人员都能承担维护任务； 24 龙存方案与集群 NAS 对比 架构参数 NAS LoongStore 带宽 NAS 设备控制器存在数量限制，即数据出口少 ,容易成为性能 性能瓶颈 ； 基于高效的并行存储技术，聚合带宽随着存储集群规模扩大而线性增长 ； 可靠性 数据 Raid5 数据保护； Raid 组内两块硬盘损坏，或者单台存储设备失效，会造成数据丢失 ； 数据冗余度可调；可以允许多块磁盘同时损坏，甚至单台存储设备失效也不会影响数据的完整性 ； 并发 所谓双 Active 集群文件服务器 ,一个数据对象同时只有一台NFS 服务器能够访问 ，容易出现访问热点的情况； 单 一 数据对象可以同时被多个数据接收端接收数据 ，实现多台客户端同时对一个文件进行操作或者存取； 扩。