云环境下存储技术的研究_毕业设计(编辑修改稿)

云环境下存储技术的研究_毕业设计(编辑修改稿)内容摘要：

必须连接到主机，获得适当的权限后才能访问数据。 （ 2） 存储资源共享 —— 对等计算 无须经由服务器，将一台计算机连接到另一台计算机 ， 导致了 P2P对等计算的发展。 在 P2P网络中没有主机，所有的通信不再经由主服务器，计算机平等运行，所有的数据分散存储到对等的节点上，提高了通信效率 ， 易于进行数据的共享。 （ 3） 存储与计算的分布式化 个人电脑能 的 计算和存储的资源很大一部分没有得到较好的利用 ， 分布式计算能很好的利用这些资源。 当一台计算用于某个分布式项目时 ，需要在机器上安装软件，它会利用空闲的时间进行数据的存储与运算并定期传送到分布式计算网络中与该项目中的其它计算合并结果。 只要有足够的计算机参与， 这种 做法足以比拟更大的主机和超级计算机的处理能力 ， 用户可以共享文件并同时在相同的文件上工作。 （ 4） 云计算 —— 瘦客户端下的计算与存储 随着手持设备的发展，云计算的产生使得在瘦客户端 —— 没有多少计算力和存储空间的接入设备上，也能够进行海量数据的处理 [8]。 更深入的来看存储技术的发展。 由于单机存储方案无法满足数据拓展和协作性，而产生了分布式存储系统 [10]。 分布式存储 系统 是 基于硬件的存储技术 ， 由于 其 较大的成本和较差的灵活性而逐渐被大型企业放弃 [9]。 云存储是一种新的分布式存储模式 ， 具有廉价、高可靠性和安全性的优点 [7,9,11,12]， 成为未来最值得期待推广和应用的技术之一。 武汉理工大学毕业设计（论文） 2 云存储这个概念一经提出，就得到了众多厂商的支持和关注 [13]。 Amazon公司推出弹性块存储技术支持数据持久性存储； Google推出在线存储服务 GDrive；内容分发网络服务提供商 CDNetworks和云存储平台服务商 Nirvanix结成战略伙伴关系，提供云存储和内容传送服务集 成平台； EMC公司收购 Berkeley Data Systems，取得该公司的 Mozy在线服务软件，并开展 SaaS业务； Microsoft公司推出 Windows Azure，并在美国各地建立庞大的数据中心；IBM也将云计算标准作为全球备份中心扩展方案的一部分。 目前有近百种云存储系统。 一些系统有明确的关注点，如存储网络电子邮件信息或者数字图片。 其它一些用来存储所有形式的数字文件。 一些云存储系统是小规模操作的，其它一些是超大集群的以至于物理设备能填满整个仓库。 尽管对于云存储来说有很多优势值得我们选择和研究， 然而云存储仍面临着许多技术的难题，特别是安全性。 图 [13]，可以看出安全、控制和性能等问题是关注的焦点。 有效的控制和性能反映出用户对于云存储可用性的期待。 目前云存储研究的热点仍集中在安全性、可用性、可靠性三个方面。 云存储安全特别是用户数据的隐私问题，即服务商也不能得到用户的数据，至今没有较好的解决方案。 图 云存储的关注调查 武汉理工大学毕业设计（论文） 3 2云存储的概念 云存储是指通过集群应用、网格技术或分布式文件系统等功能 , 将网络中大量各种不同类型的存储设备 通过应用软件集合起来协同工作 , 共同对外提供数据存储和业务访问功能的一个系统。 云存储系统以传统的分布式存储技术为基础，利用高吞吐率网络技术为依托，一方面高效地整合管理网络存储资源，另一方面对外提供友好的接口，发布便捷的网络数据存储服务。 与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的系统 [12]。 云存储不是存储 , 而是服务。 使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。 云 存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变 [13]。 相比于传统的集中存储方式，云存储系统具有以下几点优势： （ 1）更容易扩容 (包括带宽 ) 云存储的 扩容过程将变得简单：新设备仅需安装操作系统及云存储软件后，打开电源接上网络，云存储系统便能自动识别，自动把容量加入存储池中完成扩展。 相比传统的存储扩容，云存储架构采用的是并行扩容方式，即当容量不够时，采购新的存储服务器即可，扩容环节无任何限制。 （ 2）更易于管理 在 传统 存储系统管理中，管理人员需要面对 不同的存储设备不同的管理界面，要了解每个存储的使用状况 ， 工作复杂而繁重 ，当 传硬盘或是存储服务器损坏时，读写 效率 会降低，数据很可能丢失 ； 而云存储没有这个困扰，硬盘坏掉，数据会自动迁移到别的硬盘，不需要立即更换硬盘，大大减轻了管理人员的工作负担。 对云存储来说，管理人员只要在整体硬盘容量快用完时， 按需 采购服务器即可，通过一个统一管理界面监控每台存储服务器的使用状况，使得维护变得简单和易操作。 （ 3）成本更低廉 传统的存储系统对硬盘 的 要求近乎苛刻，必须同 厂家 、同容量、同型号，否则系统很容易出问题。 面对升级换代较快的 IT产业，硬盘在使用 2～ 3年后很难找到同型号产品更换。 而 云存储没有这个问题，云存储系统 中 不同的硬盘可以一起工作，既可以实现原有硬件的利旧保护投入，又可以实现新技术、新设备的快速更新，合理搭配、可持续发展。 且 云存武汉理工大学毕业设计（论文） 4 储系统中所采用的存储及服务器设备均是性价比较高的设备。 可实现长久合作关系下，设备商采购的稳定渠道，便于实现对成本及服务质量的控制。 （ 4）数据更安全，服务不中断 传统存储系统会因为硬件损坏而导致服务停止，虽然可以设计全冗余的环境 ， 但成本相对太高且工作 复杂。 云存储系统则不同，它可 通过 将文件和数据保存在不 同的存储节点， 避免了单一硬件损坏带来的数据不可用。 云存储系统知道文件存放的位置，在硬件发生损坏时，云存储系统会自动将读写指令导向存放在另一台存储服务器上的文件，保持服务的继续。 另外， 传统存储系统在升级时，往往需要把旧的存储设备文件备份出来后，停机换上新的存储设备，这通常会导致服务的短暂停止。 云存储并不单独依赖一台存储服务器，因此存储服务器硬件的更新、升级并不会影响存储服务的提供，系统会将旧存储服务器上的文件迁移到别的存储服务器，等新的存储服务器上线后，文件会再迁移回来。 从整体来看， 云计算系统可以认为是以数据处理、数据运算为中心的系统。 云计算的设计方向是将在不同地域 的 各种计算资源，通过虚拟化方式统一到庞大的计算资源 “ 云 ”系统中来。 云系统统一调配、协调、处理来自不同客户的运算需求，通过云系统计算后对外输出运算结果。 云计算的一个核心理念就是通过不断提高 “ 云 ” 的处理能力 ， 进而减少用户终端的处理负担 ， 最终使用户终端简化成一个单纯的输入输出设备 ， 并能按需享受“ 云 ” 的强大计算处理能力。 通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和 “ 超级计算机 ” 同样强大的网络服务 功能。 云计算系统不但能对数据进行处理和运算，系统中还有大量的存储阵列设备，以实现对计算数据的保存和管理。 在云计算系统中配置相应的存储设备，该计算系统即拥有了云存储系统功能。 由此可以理解 ， 云存储是云计算系统的延伸，是配置了大容量存储空间的云计算系统 ， 可以说云存储是云计算服务的一种，即 SaaS[13](storage as a service，存储即服务 )， 甚至可以说，利用云计算系统来建立存储系统，此时的云存储概念相当于一个云计算服务，它往往称之为“存储云”。 如亚马逊的 S3服务，我们可以利用它来建立另外一个存储系统， S3服务本身就是云服务，所以这样的系统可以称为云存储。 架构模型 云存储系统的结构模型由 4层组成，如图。 （ 1）存储层 存储层是云存储最基础的部分。 数量庞大的云存储设备分布在不同地域，彼此之间通过广域网、互联网或者 FC光纤通道网络连接。 各存储设备上都安装有统一的存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、集中管理、多链路冗余管理以及硬件设备的武汉理工大学毕业设计（论文） 5 状态监控和维护升级等。 （ 2）基础管理层 基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。 应用接口层通过集群系统、分 布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大、更强、更好的数据访问性能。 云存储系统通过集群文件 操作系统 实现后端存储设备的集群工作，并通过系统的控制单元和管理单元实现整个系统的管理，数据的分发、处理，处理结果的反馈。 可利用 CDN内容分发系统、 P2P数据传输技术和数据压缩技术等保证云存储中的数据可以更有效地存储，使用和占用更少的空间以及更低的传输带宽，从而对外提供更高效的服务。 数据加密技术实现了数据存储和传输过程中的安全性。 数据备份和容 灾技术可保证云存储中的数据多份保存不会丢失，保证云存储数据自身的安全和稳定。 （ 3）应用接口层 应用接口层是云存储最灵活多变的部分。 不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。 任何一个授权用户通过网络接入、用户认证和权限管理接口的方式来登入云存储系统，都可以享受云存储服务。 （ 4）访问层 云存储运营单位不同，提供的访问类型和访问手段也不同。 云存储使用者采用的应用软件客户端不同，享受到的服务类型也不同，比如个人空间租赁服务、运营商空间租赁服务、数据远程容灾和远程备份、 视频监控应用平台、 IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。 图 武汉理工大学毕业设计（论文） 6 3云存储的关键技术 技术 通过存储虚拟化方法，把不同厂商、不同型号、不同通信技术、不同类型的存储设备互联起来，将系统中各种异构的存储设备映射为一个统一的存储资源池。 存储虚拟化技术能够对存储资源进行统一分配管理，又可以屏蔽存储实体间的物理位置以及异构特性，实现了资源对用户的透明性，降低了构建、管理和 维 护资源的成本，从而提升云存储系统的资源利用率。 总体来说，存储虚拟化技术可概括 为基于主机虚拟化、基于存储设备虚拟化和基于存储网络虚拟化三种技术。 用表格的方式对三种存储虚拟化技术的技术优点与缺点、适应场景等进行了分析对比，结果如下： 表 存储虚拟化技术对比 实现层面 主机 网络 设备 优点 支持异构的存储系统； 不需要额外的硬件支持，便于部署。 不占用主机资源； 技术成熟度高，容易实施。 架构合理， 不占用主机资源；数据管理功能丰富 ,技术成熟度高。 缺点 占用主机资源，降低应用性能； 存在越权访问的数据安全隐患 ；主机数量越多，管理成本越高。 消耗 存储控制器 资源；存储设备兼容性需要严格 验证；原有的磁盘阵列的高级存储功能将不能使用。 受制于存储控制器接口资源，虚拟化能力较弱；异构厂家存储设备的高级存储功能将不能使用。 主要用途 使服务器的存储空间可以跨越多个异构磁盘阵列，常用于在不同磁盘阵列之间做镜像保护。 异构存储系统整合和统一数据管理（灾备） 异构存储系统整合和统一数据管理（灾备） 适用场景 主机采用 SF 卷管理，需要新接多台存储设备；存储系统中包含异构阵列设备；业务持续能力与数据吞吐要求较高。 系统包括不同品牌和型号的主机和存储设备；对数据无缝迁移及数据格式转换有较高时间性保证。 系统中包括自带虚拟化功能的高端存储设备与若干需要利旧的中低端存储。 不适用场景 主机数量大，采用 SF 会涉及高昂的费用；待迁入系统数据量过大，如果只能采用存储级迁移方式，数据格式转换将耗费大量时间和人力。 对业务持续性能力和稳定性要求苛刻。 需要新购机头时，费用较高；存在更高端的存储设备。 武汉理工大学毕业设计（论文） 7 （ 1）基于主机的虚拟化 其核心技术是通过增加一个运行在操作系统下的逻辑卷管理软件将磁盘上的物理块号映射成逻辑卷号，并以此实现把多个物理磁盘阵列映射成一个统一的虚拟的逻辑存储空间（逻辑块）实现存储虚拟化的控制和管理。 （ 2）基于存储设备虚拟化 该技术 依赖于提供相关功能的存储设备的阵列控制器模块，常见于高端存储设备，其主要应用针对异构的 SAN存储构架。 （ 3）基于存储网络虚拟化 该 的技术的核心是在存储区域网中增加虚拟化引擎实现存储资源的集中管理，其具体实施一般是通过具有虚拟化支持能力的路由器或交换机实现。 存储网络虚拟化又可以分为带内虚拟化与带外虚拟化两类，二者主要的区别在于：带内虚拟化使用同一数据通道传送存储数据和控制信号，而带外虚拟化使用不同的通道传送数据和命令信息。 技术 分布式存储是通过网络使用服务商 提供的各个存储设备上的存储空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在各个存储设备上。 先进的分布式存储系统必须具备 以下 特性：高性能、高可靠性、高可扩展性、透明性以及自治性。 目前比较流行的分布式存储技术为：分布式块存储、分布式文件系统存储、分布式对象存储和分布式表存储。 （ 1） 分布式块存储 块存储就是服务器直接通过读写存储空间中的一个或一段地址来存取数据。 由于采用直接读写磁盘空间来访问数据，相。