gfs与mapreduce的实现研究及其应用

gfs与mapreduce的实现研究及其应用内容摘要：

布式文件系统 • MapReduce分布式并行计算框架 • 总结 21 本文贡献 • 提出了一个与 GFS不同的设计方案，使得记录追加写的效率大大提升 • 设计和实现了一个稳定的分布式文件系统 TFS，并已用于实际的研究工作 • 设计和实现了 MapReduce分布式并行计算系统，并评测了它的性能 • 在我们的 MapReduce系统基础上实现了各种搜索引擎系统常见的应用 • 总结了在分布式系统的设计和实现的实践中得到的一些宝贵的经验 22 未来工作 • 继续完善系统，提高系统性能，并根据用户反馈增加必要的新特性 • 构建一个海量数据处理的基础设施是我们研究小组的一个长期的目标，下一步是 bigtable系统 • 为进一步简化程序员工作，在 MapReduce的基础上设计和实现并行 STL算法库 • 总结和研究 MapReduce， MapReduceMerge，Dryad等模型的表达能力，探索新的模型 23 谢谢。 24 致谢 • 感谢我的导师 李晓明 教授三年来对我的教诲和研究工作论文工作的宝贵指导。 李老师严谨的治学态度和高瞻远瞩的洞察力是我终身学习的楷模。 • 感谢 闫宏飞 老师大三时把我带入网络实验室这个大家庭，在实验室学习期间给予我工作学习的指导和对我各方面的能力的锻炼，以及对我本科毕业设计和毕业论文的关心和指导。 • 感谢 彭波 老师研究生期间对我研究工作的指导和各方面的关心和帮助。 彭老师谦虚温和的态度总是让人如沐春风，清晰严谨的思路始终是我学习的榜样。 • 感谢北京大学 网络实验室 这个温暖的大家庭，从大三进入实验室实习起，我在这里度过了 5年的岁月。 实验室提供了如此好的环境和宽松的氛围，使我能专心致力于研究工作。 感谢 天网组 的每位老师同学，组会上面红耳赤的学术争论，闲暇时轻松幽默的调侃， 4楼小房间热火朝天的 ``封闭开发 39。 39。 ， 2020年夏回味无穷的威海之行，等等等等都将成为我生命中美好的回忆。 • 感谢 TFS小组 的各位成员：涂其琛，樊楷，陈日闪，朱磊，还有彭波老师，没有诸位的帮助和出色的工作，我的论文很难顺利的完成。 • 感谢 爸爸妈妈 对我从小到大的关爱和培养，无论何时何地你们的爱始终如我心灵深处暖暖的泉水，给我温暖和力量。 感谢我的女友 陈晓艳 ，可爱倔强的你始终坚定的支持我，才使我能顺利的完成论文工作。 25 附录 TFS补充 26 相关工作 • NFS， AFS • GFS • Hadoop HDFS • KFS 27 记录追加写中变长块带来的问题 • 每个 chunk都增加了一个长度属性 –增加了 master的内存元数据开销 • Client可能产生小 chunk –实际中应用产生的数据远远大于一个 chunk的大小，所以大部分 chunk被填慢 –如果 n个 client并发写一个文件，结束时可能有 n个 chunk的。