云计算技术及应用实例

云计算技术及应用实例内容摘要：

BM 为美国 Los A lamos 国家实验室建造的计算机系统“ Roadrunner”获得冠军。 它的运算速度达到了 Petaflop/s。 Roadrunner超级计算机包含了 12960 个 IBM powerX cell 8 处理器及 6948 个分布于刀片服务器上的 AMD Opteron 芯片，分别安装在 288 个 IBM bladeCenter 机架上。 Roadrunner 拥有 80TB 的内存，外存使用 PB 容量的 Panasas 存储，外存通过10GB/s 以太网连接，耗资超过 1 亿美元。 TOP 500 对超级计算机的排名方式可以看出，传统的超级计算机注重运算速度和任务的吞吐量，以运算速度为核心进行计算机的研究和开发。 而云计算则以数据为中心，同时兼顾系统的运算速度。 传统的超级计算机耗资巨大，远超过云计算系统。 例如，趋势科技花费 1000 多万美元租用 34000 多台服务器，构建自身的“ 安全云”系统。 云计算系统相比于超级计算机具有松耦合的性质，可以比较方便的进行动态伸缩和扩展，而超级计算机 不易扩展、改造和升级。 另外，云计算系统天生据哟良好的分布性，超级计算机则不具有。 云计算 存在的问题及 下一步技术发展趋势 应用及数据安全 包含用户敏感信息的应用系统部署在公共云上，可能存在安全隐患。 云计算基础架构具有多租户的特性，厂商们通常无法保证 A 公司的数据与 B 公司的数据实现物理分隔。 企业私有云中，各个部门之间的信息安全也必须考虑，特别是财务数据、客户信息等。 另外，考虑到大规模扩展性方面的要求，数 据物理位置可能得不到保证。 如果企业需要遵守业务交易及相关数据方面的全国或国际法规，用户可能会觉得不放心。 不过，有人认为，到时候法规可能会考虑这种大规模分布式、多租户环境。 标准 制定 目前云计算厂商都在各自为战，并没有实现标准化。 不同云之间缺乏互操作性，用户从一个云计算环境迁移到另一个环境时面临巨大困难。 服务质量保证 通过远程网络访问的应用模式具有不可靠性。 亚马逊 S3 服务和 Google 云服务都出现过服务中断，企业被迫重新考虑他们对云计算的依赖。 13 云计算的商业模式 云计算强调发挥集中化的优势，以及应用、平台和 资源的分层松耦合管理。 面临企业传统 IT 系统管理和使用模式的巨大阻力 云计算 安全监管 云计算对于 安全 监管问题也带来了很大的挑战，云计算服务就是一种虚拟运营服务，它会带来一些监管上的问题，云计算资源的跨地域提供与本地化的监管之间存在矛盾，对虚拟业务运营商的监管机制还有待建立。 云 计 算与移动 互联网 相结合 云计算不久将成为移动世界中的一股爆破力量，最终会成为移动应用的主导运行方式。 云计算和移动互联网似乎天生就是绝配。 手机 拥有便携性和通信能力等众多天然优势，而计算能力、 存储 能力弱，虽然正逐渐向智能化演进，但受限于体积和便携性的要求，短时间内 手机 的处理能力难以和电脑相比。 从这点出发，云计算的特点更能在移动互联网上充分体现 ，将应用的“计算”与存储从终端转移到 服务器 的云端，从而弱化了对移动终端设备的处理需求。 在云计算下，只要配备功能强大的浏览器，就能应用各种业务。 行业应用 没有应用的云是没有价值的。 所以，云计算要落到实处，必须加强行业应用。 目前，媒体、医疗、政府可能是行业应用的切入点。 14 第 2 章 云计算 应用 Amazon 作为一家 主营图书的电子商务 零售企业， Amazon 在设计和规划自身 IT 系统架构的时候，不得不为了应对 “圣诞节狂潮”这样的 销售峰值 而 购买 大量 的 IT设备。 但是，这些设备平时却处于空闲状态。 因此， Amazon 在 2020 年 7 月 推出 免费的 Amazon 电子商务服务（ Amazon Emerce Service），让零售商可以将自己的商品放在 Amazon 网络 商店中，储存产品价格、顾客评等资料，进行后台管理。 这样， Amazon 就从 不只卖书，而是当电子 商务 零售业的 “包租公”，利用其 在 电子商务 网站 建设 上的优势 ， 将设备、技术和经验作为一种打包产品去为其他企业提供服务，存储服务器、带宽按容量收费， CPU 根据 使用 时长运算量收费。 为了解决这些租用服务中的可靠性、灵活性、安全性等问题，亚马逊不断优化其技术。 亚马逊很早进进入了云计算领域，凭借其在电子商务领域积累的大量基础性设施、先进的分布式计算技术和巨大的用户群体，在云计算、云存储方面一直处于领先地位。 亚马逊的云计算产品总称为 Amazon Web Service(亚马逊网络服务 )，主要由4 部分组成，包括 S3(Simple Storage Service，简单的存储服务 )、 EC2(Elastic Compute Cloud，可伸缩计算云 )、 SQS(Simple Queuing Service，简单信息队列服务 )以及 SimpleDB。 同时亚马逊还提供了内容推送服务 CloudFront、电子商务服务 DevPay 和 FPS 服务。 也就是说，亚马逊目前为开发者提供了存储、计算、中间件和数据库管理系统服务。 通过 AWS，可根据业务的需要访问一套可伸缩的IT 基础架构服务，获得计算能力、存储和其他的服务。 通过 AWS 可以更多地根据所解决问题的特点来有弹性地选择哪种开发平台或者编程模型。 你只需为你使用了什么而付费，而不需要预先的花费或长期的承诺，使得 AWS 成为成本最有效的方式来交 付你的应用给你的客户。 并且，通过 AWS，你可以利用 的全球计算基础设施，这些基础设置为 的 150 亿 $的零售业务和交易企业提供有效的支持。 利用 Amazon Web Services，一个电子商务 web 站点能轻易地适应不可预期的需求；一个制药公司可以租用计算能力来执行大规模的仿真，一个媒体公司可以提供无限制的录像、音乐等等；一个企业能够部署需要宽带宽的服务。 图 5 所示为面向服务的亚马逊平台架构。 15 图 5 亚马逊平台架构 亚马逊平台基础存储架构： Dynamo Dynamo 是一个完全分布式的、务中心节点的存储系统，采用的事数据分布式存储的架构。 相比传统的集中式存储系统， Dynamo 再设计之初就被定位为一个高可靠、高可用且具有良好容错性的系统。 它以简单的键 /值（ key/alue）方式存储数据，因此并不支持复杂的查询，但这并不影响客户的使用，同时 Dynamo不识别任何数据结构，使得它几乎可以处理所有的数据类型。 问题 采用的相关技术 数据均衡分布 改进的一致性哈希算法、数据备份 数据冲突处理 向量时钟（ Vector Clock） 临时故障处理 Hinted handoff（数据回传机制），参数（ W,R,N）可调的弱 quorum机制 永久故障后的恢复 Merkle 哈希树 成员资格以及错误检测 给予 Gossip 的成员资格协议和错误检测 16 S3 进行存储 Amazon Simple Storage Service (S3) 提供一个用于数据存储和获取的 Web 服务接口。 数据可以是任何类型的，可以从 Inter 上的任何地方存储和访问数据。 对象是 S3 的基本存储单元，包括数据和元数据，其中元数据存储 的是对象数据内容的附加描述信息，元数据通过一对键 值（ NameValued）集合来定义。 对象数据的实际存储方式对用户来说是不透明的，用户无法对某一子部分进行直接修改。 对象存储在桶中，用户 可以在 S3 中存储任意数量的对象 ，但最多只能创建 100 个桶 ；存储的每个对象的大小可以从 1 字节到 5 GB。 存储本身位于美国或欧盟。 在创建 bucket （与操作系统中的文件夹概念相似）时，可以选择对象的存储位置。 使用与 Amazon 电子商务网站的全球网络相同的数据存储基础设施存储数据，确保安全性。 对于存储在 S3 中的每个对象，可以指定访问限制，可以用简单的 HTTP 请求访问对象。 甚至可以让对象可通过 BitTorrent 协议下载。 S3 的桶基本结构图如图 6 所示。 图 6 S3 桶基本结构图 S3 向用户提供包括身份认证和访问控制列表（ ACL）的双重安全机制， 让用户完全不必为存储空间、数据访问或数据安全性操心。 甚至不必承担维护存储服务器的成本。 Amazon 确保您的文件的高可用性，在任何时候都可以使用它们。 Amazon 为 S3 提供的服务水平协议承诺 % 的正常运行时间，每月度量一次。 EC2 实现弹性计算 Amazon EC2 是一个 Web 服务，它让用户可以在几分钟内获得虚拟机器， 17 根据需要轻松地扩展或收缩计算能力。 您只需为实际使用的计算时间付费。 如果需要增加计算能力，可以快速地启动虚拟实例；当需求下降时，可以马上终止它们。 这些实例基于 Linux，可以运行您需要的任何应用程序或软件。 您可以控制每个实例。 EC2 环境本身基于在剑桥大学开发的开放源码的 Xen 系统管理程序。 Amazon 允许创建 Amazon 机器映像 (AMI) 作为实例的模板。 可以通过指定权限控制对实例的访问。 可以用这些实例做任何事；惟一的限制是，它们必须是基于 Linux 的映像。 最近， Amazon 宣布与 Sun Microsystems 合作提供 Open Solaris 支持，但是 EC2 可用的大多数免费和商业预构建映像是基于 Linux 的。 Amazon EC2 提供真正全 Web 范围的计算，很容易扩展和收缩计算资源。 您可以完全 控制在 Amazon 数据中心中运行的这个计算环境。 Amazon 提供五种服务器类型；可以选择适合自己应用程序需要的服务器类型。 服务器的范围从普通的单核 x86 服务器直到八核 x86_64 服务器。 可以把实例放在不同的地理位置或可用性区中，从而确保对抗故障的能力。 Amazon 最近还引入了弹性 IP 地址的概念，弹性 IP 地址可以动态地分配给实例。 图 7 EC2 基本架构图 EC2 向用户提供了如下一些非常有价值的特性： 18 1）灵活性： EC2 允许用户对运行的实例类型、数量进行配置，选择实例运行的地理位置， 可随时改变实例的使用数量。 2）低成本 3）安全性：基于密钥对机制的 SSH 方式反问、可配置的防火墙机制等。 4）易用性：用户可以根据亚马逊提供的模块自由构建自己的应用程序， EC2根据用户服务请求自动负载均衡。 5）容错性：弹性 IP 地址等机制。 用户首先创建一个存储到 S3 的 AMI（ Amazon Machine Image），把自己的应用程序、配置等打包，然后系统通过实例运行程序。 在 EC2 中，每个用户最多可拥有 30 个实例，每个实例自身携带一个临时存储模块。 用户需要长期保存的数据则保存到 EBS（弹性块存储模块）中 ， EBS 中的数据只能由用户来三处。 在 EC2 服务中，系统各模块之间使用似有 IP 地址通信，而系统与外界使用公共IP 地址通信。 EC2 的基本架构如图 7 所示。 Amazon Simple Queue Service 实现可靠的消息传递 Amazon Simple Queue Service (SQS) 允许访问 Amazon 提供的可靠的消息传递基础设施。 可以使用简单的基于 REST 的 HTTP 请求在任何地方发送和接收消息。 不需要安装和配置任何东西。 可以创建任意数量的队列，发送任意数量的消息。 Amazon 把消息存储在多个服务器和数据中心中，从而提供消息传递系统所需的冗余和可靠性。 每个消息最多可以包含 8KB 的文本数据。 每个队列可以有一个可配置的可见性超时周期，用来控制多个读者对队列的访问。 一个应用程序从队列中读取一个消息之后，其他读者就看不到这个消息，直到超时周期期满为止。 在超时周期期满之后，消息重新出现在队列中，另一个读者进程就可以处理它。 SQS 与其他 Amazon Web Services 很好地集成。 可以使用 SQS 构建松散耦合的系统；在这种系统中， EC2 实例可以通过向 SQS 发送消息相互通信并整合工作流。 还可以使用队列为应用程序构建一个自愈合、自动扩展的基于 EC2 的基础设施。 可以使用 SQS 提供的身份验证机制保护队列中的消息，防止未授权的访问。 用 Amazon SimpleDB 进行数据集处理 Amazon SimpleDB (SDB) 是一个用于存储、处理和查询结构化数据集的 Web 服务。 它并不是传统意义上的关系数据库，而是一个高可用的模式 （采用了最终一致性数据模型） ，是云中的非结构化数据存储，可以使用它存储和获取包含键的值。 每组包含键的值需要一个惟一的 条目名；条目本身划分为域。 每个 19 条目可以包含最多 256 个键 值对。 可以在每个域中对自己的数据集执行查询。 SDB 当前还不支持垮域查询。 SDB 便于使用，提供关系数据库的大多数功能。 与传统的关系型数据库相比， SDB 无需预定义模式，单个属性允许多个值，支持自动索引， 维护比典型的数据库简单得多，因为不需要设置或配置任何东西。 Amazon 负责所有管理任务。 Amazon 自动地为数据编制索引，可以在任何时候任何地方访问索。