计算机科学与技术专业毕业论文麒麟天机存储系统的负载均衡与副本一致性技术研究与实现

计算机科学与技术专业毕业论文麒麟天机存储系统的负载均衡与副本一致性技术研究与实现内容摘要：

标，将其作为服务器的性能指标，进行负载调度。 在本系统中具体体现在根服务器在向客户端返回符号链接目标列表前根据 目标服务器的当前剩余负载指标从大到小对列表进行重新排序。 对于副本数据一致问题，本文的策略是：一、只允许在主副本上进行更新，可以通过将所有具有更新权限的用户定位到相同副本的方式来保证，这样就解决了写写冲突造成的不一致性。 二、对于读写冲突造成的不一致，本文采用主动推式更新传播的策略，即主副本更新后会将更新主动推入其他的副本，使多个副本达到一致。 通过 bench对本文的改进后的系统进行测试，发现整个系统的吞吐率和对用户的平均响应时间都得到了很大幅度的提升。 麒麟天机安全存储系统是由国防科学技术大学 计算机学院研制的基于银河麒麟操作系统的安全存储系统，数据集中加密存储于服务器，由服务器操作系统实现内核级的透明加解密，支持基于保险箱的文件加密与安全共享。 麒麟天机安全存储系统目前采用单服务器的集中数据存储方式，难以满足大用户量的数据访问需求。 因此，拟摸索一种系统扩展方案。 麒麟天机安全存储系统采用samba[1]作为数据输出子系统，因此，本文认为研究部署高性能 samba 分布式文件系统是系统扩展的第一步。 目前， samba 分布式文件系统由一个称为根服务器的元数据服务器和很多后端存储服务器组成，根服务器 向用户提供统一的全局虚拟视图，它以做符号链接的方式映射后端存储服务器上的物理存储资源，一个链接可以对应多个链接目标，每个目标作为一个冗余副本。 客户端访问文件系统时，根服务器向客户端返回数据存储服务器的符号链接目标列表，客户端根据获得的列表，按顺序访问数据存储服务器，直到数据访问成功或者全部访问失败为止。 因此，在大部分情况下，所有的访问会集中到某个数据存储服务器上，造成服务器之间的负载严重失衡。 同时由于麒麟天机安全存储系统为用户提供透明加密存储服务，数据的修改和更新是基本功能，就会造成分布式存储系统上多个副本 问的数据不一致问题，而 samba 现有的机制并没有保证这种多副本数据的一致性。 论文的目的就是研究 samba 分布式文件系统的负载均衡和副本数据一致性问题。 对于负载均衡问题，本文提出一种基于后端服务器性能的负载均衡策略。 该策略主要由两个子策略组成，即后端负载反馈策略和前端负载调度策略。 后端存储服务器周期性地反馈负载指标，该指标用反馈周期内服务器网卡平均每秒的流量表示。 前端根服务器依据服务器的峰值负载指标和动态反馈的当前负载指标计算出服务器当前剩余负载指标，将其作为服务器的性能指标，进行负载调度。 在本系统中具 体体现在根服务器在向客户端返回符号链接目标列表前根据目标服务器的当前剩余负载指标从大到小对列表进行重新排序。 对于副本数据一致问题，本文的策略是：一、只允许在主副本上进行更新，可以通过将所有具有更新权限的用户定位到相同副本的方式来保证，这样就解决了写写冲突造成的不一致性。 二、对于读写冲突造成的不一致，本文采用主动推式更新传播的策略，即主副本更新后会将更新主动推入其他的副本，使多个副本达到一致。 通过 bench对本文的改进后的系统进行测试，发现整个系统的吞吐率和对用户的平均响应时间都得到了很大幅 度的提升。 麒麟天机安全存储系统是由国防科学技术大学计算机学院研制的基于银河麒麟操作系统的安全存储系统，数据集中加密存储于服务器，由服务器操作系统实现内核级的透明加解密，支持基于保险箱的文件加密与安全共享。 麒麟天机安全存储系统目前采用单服务器的集中数据存储方式，难以满足大用户量的数据访问需求。 因此，拟摸索一种系统扩展方案。 麒麟天机安全存储系统采用samba[1]作为数据输出子系统，因此，本文认为研究部署高性能 samba 分布式文件系统是系统扩展的第一步。 目前， samba 分布式文件系统由一个称为根服 务器的元数据服务器和很多后端存储服务器组成，根服务器向用户提供统一的全局虚拟视图，它以做符号链接的方式映射后端存储服务器上的物理存储资源，一个链接可以对应多个链接目标，每个目标作为一个冗余副本。 客户端访问文件系统时，根服务器向客户端返回数据存储服务器的符号链接目标列表，客户端根据获得的列表，按顺序访问数据存储服务器，直到数据访问成功或者全部访问失败为止。 因此，在大部分情况下，所有的访问会集中到某个数据存储服务器上，造成服务器之间的负载严重失衡。 同时由于麒麟天机安全存储系统为用户提供透明加密存储服务，数据的修 改和更新是基本功能，就会造成分布式存储系统上多个副本问的数据不一致问题，而 samba 现有的机制并没有保证这种多副本数据的一致性。 论文的目的就是研究 samba 分布式文件系统的负载均衡和副本数据一致性问题。 对于负载均衡问题，本文提出一种基于后端服务器性能的负载均衡策略。 该策略主要由两个子策略组成，即后端负载反馈策略和前端负载调度策略。 后端存储服务器周期性地反馈负载指标，该指标用反馈周期内服务器网卡平均每秒的流量表示。 前端根服务器依据服务器的峰值负载指标和动态反馈的当前负载指标计算出服务器当前剩余负载指标， 将其作为服务器的性能指标，进行负载调度。 在本系统中具体体现在根服务器在向客户端返回符号链接目标列表前根据目标服务器的当前剩余负载指标从大到小对列表进行重新排序。 对于副本数据一致问题，本文的策略是：一、只允许在主副本上进行更新，可以通过将所有具有更新权限的用户定位到相同副本的方式来保证，这样就解决了写写冲突造成的不一致性。 二、对于读写冲突造成的不一致，本文采用主动推式更新传播的策略，即主副本更新后会将更新主动推入其他的副本，使多个副本达到一致。 通过 bench对本文的改进后的系统进行测试，发现 整个系统的吞吐率和对用户的平均响应时间都得到了很大幅度的提升。 麒麟天机安全存储系统是由国防科学技术大学计算机学院研制的基于银河麒麟操作系统的安全存储系统，数据集中加密存储于服务器，由服务器操作系统实现内核级的透明加解密，支持基于保险箱的文件加密与安全共享。 麒麟天机安全存储系统目前采用单服务器的集中数据存储方式，难以满足大用户量的数据访问需求。