云计算的架构及核心技术
2022-06-20
来源:星星旅游
第4期 薛慧丽:云计算的架构及核心技术 .65. 的相关数据,有针对、有目的地将不同用户所使用的不同资 源或者不同服务进行有效统计,并通过完善、详细的报表形 式向各个用户收取准确费用。 1.2.2机制层 要对云计算进行有效的管理,就离不开云管理的机制 层。如果没有云管理机制的有效运维与整体部署,云计算中 心内部就不可能拥有更安全、更环保、更自动的现代管理。 和上面的用户层一样,机制层也包含了四个模块:运维管理、 资源管理、安全管理和容灾支持。其中,机制层的运维系统 越强健,自动化程度越高,云计算的运行就会越出色。资源 管理模块主要是对服务器、存储设备、网络设备等物理节点 的管理,其功能分别表现为自动部署、资源调度、资源池管理 等三个方面。而安全管理模块主要实现对用户账号、数据以 及服务平台上的各种应用等IT资源的全面保护,并且能够 保证云上的各种基础设施以及云中心所提供的各种资源,可 以由用户合法地访问和使用,另外更重要的还要使这些设施 和资源免受犯罪分子、恶意程序的侵害。安全管理模块在具 体细分上则有访问授权、数据加密、数据备份、安全审计、安 全策略、物理安全、网络隔离等七种机制。最后的容灾支持 就主要涉及了数据中心级别和物理节点级别两个层面。 1.2.3检测层 这一层涉及到云计算中心各个方面的检测与监控,其主 要功能是采集各种相关数据,以供应云管理中的用户层和机 制层的选择和使用。对云计算中心的检测与监控主要牵涉 三个层面。一是物理资源层,主要任务是检测与监控物理资 源的运行状况,比如CPU使用率、内存利用率和网络带宽利 用率等;二是虚拟资源层,主要任务是检测与监控虚拟机的 CPU使用率和内存利用率等;三是应用层,主要任务是检测 与记录每个应用每次请求的响应时问(Response Time)和吞 吐量(Throughput),以判断相关应用是否可以满足预先设定 的SLA(Service Level Agreement,服务级别协议)。 2云计算的核心技术 云计算系统运用了多种实用技术,最为关键的则有五 种,分别是:MAP—Reduce编程模型、海量数据分存技术、海 量数据管理技术、虚拟化技术和云计算平台管理技术。下面 即对这五大核心技术进行重点研究,并给出综述。 2.1 MAP—Reduce编程模型 云计算中编程模型的最高原则与要求就是简单易用。 编程模型只有简单,用户的操作才会轻松,编程模型也只有 易用,用户才能享受到云服务的更大便利,才能对其善加利 用,并根据自己的某种特定需要或某个特定目的编写一些简 单而且易于实现的小程序,但是前提却必须对用户和编程人 员保证后台复杂任务调度和并行执行的完全透明。 例如,针对用户大规模数据集(大于1TB)的并行运算, Google公司就开发了java、Python、C++等编程模型,这不仅 是一种简化了的分布式编程模型,而且也是一种高效的任务 调度模型。云计算环境下的编程在严格、良好、实用的编程 模型的支持下即变得十分简单、便捷。Map—Reduce编程模 型就是基于Map(映射)和Reduce(化简)的理论和技术对要 执行的问题予以分解,其中的Map程序将相关数据区进行块 式切割,并调度或分配给大量的计算机实现相应的数据处 理,进一步地Reduce程序即将分布式运算所得到的结果进 行汇总与输出。 正是因为MAP—Reduce存在着严格、良好、实用等许多 优势,可以使云用户享受到更简单、易用、便捷的服务,为此 几乎所有的IT厂商当前采用的编程模型,都是基于MAP— Reduce的先进思想而开发得到的编程工具。Map—Reduce 编程模型不仅对云计算来说高度适用,而且对多核、多处理 器、cellprocessor、异构机群也具有良好的适用性,并表现了与 云计算同样良好的性能。Map—Reduce编程模型的缺点则 是只适用于内部松耦合的编写任务,以及能够高度并行化的 程序。所以改进编程模式,使其也可适用于内部紧耦合的编 写任务,并且能够更为高效地调度和执行任务,就成为Map —Reduce编程模型在未来很长一段时间内研究及发展的重 要方向。 2.2海量数据分存技术 数据量的发展已不容忽视,目前的数据库技术已经无法 应对这些蜂拥而至的数据浪潮,并且在各个领域均呈现严峻 的挑战趋势。这就是人们积极寻找构建新的云存储,即云数 据库的原因,期待藉此来容纳海量数据。现有的云数据库系 统大体可划分为三类:一类是基于Google开创的GFS (Google File System谷歌文件系统) ,主要运用了分布式储 存的方式;另一类是以DYNAMO为主体,采用了P2P处理结 构;第三类则是Hadoop团队开发的HDFS(Hadoop Distributed File System,Hadoop分布式文件系统) 。大部分IT厂商, 包括yahoo、Intel的“云”计划采用的都是HDFS的数据存储 技术。迄至目前为止,该领域开发的具有代表性的云数据库 系统主要有:HADOOPDB、HBASE和CASSANDRA。 当前,数据管理面临的挑战在于:如何去应对不断发展 的数据规模,如何提供一种良好的可扩展性,并且如何提供 一种有着良好成本效益的服务,同时如何去支持在这种模式 下具备的良好容错能力,以及形成一种可持续研发的机制。 因此未来的数据管理系统,其主要的研究方向即定位在:可 扩展性、成本效益和容错性,持续的简化能力和易于管理等 等,更重要的还有构造的云数据管理必须能支持多种形式的 应用,但这却是一个很复杂的问题,因为每种应用需求都不 一样,目前构建的云存储只是针对某种应用或者某种情况而 具体设置的,带有一定的局限性,所以支持多种形式的应用 将是云数据库研究的核心重点内容。 2.3海量数据管理技术 海量的数据应该怎样进行处理、分析,这就是云计算数 据管理技术必须解决的重要问题。而海量的数据集群要怎 样才能更好、更快地找到某个特定的数据,则成为云计算数 据管理技术首要攻关的技术难题。云计算的最大特点就是 对自身存储的海量数据,需要进行大规模的读取、处理和分 析,也就是说云数据的读操作频率非常之高,所以云计算海 量数据的管理其实就是一种读优化的数据管理模式。 在目前,云计算的海量数据管理技术主要包括由Google ・66・ 智能计算机与应用 第4卷 公司开发的BT(Bi gTable)数据管理技术,以及由Hadoop团 队开发的开源数据管理技术(HBase)。针对BigTable,Google 公司给出了如下定义:BigTable是一种为了管理结构化数据 (3)有利于节能、环保。在线迁移技术还可将零散、空闲 的虚拟机予以集中,并进行充分利用,而在虚拟机运行与工 作的同时,部分的物理机则可相应地关闭或进入休眠,从而 达到节能、环保的目的。 而设计的分布式存储系统,这些数据可以扩展到非常大的规 模,例如在数干台商用服务器上达到PB(Petabytes)规模的数 据。实际上,云计算海量数据的管理就是一种读优化的数据 此外,在线迁移技术还可以在不影响服务质量的情况下 对云计算的数据中心进行全面的优化和管理。 2.4.2虚拟机快速部署技术 管理模式,所以BigTable需解决的关键问题就是采用列存储 的方式,对海量数据的读操作进行最大限度的优化,从而最 充分地提高海量数据的准确读取率。BigTable管理的数据存 针对怎样的速度才算快这一实际问题,Lagar—Cavilla等 人研究了分布式环境下的并行虚拟机fork技术 ,这种技术 储结构为:<row:string,column:string,time:int64>stringo 其中的基本元素是:行、列、记录板和时间戳。由此可以非常 清楚地看出,数据库领域中的列存储数据管理模式就是云计 算系统海量数据管理所采用的核心技术,也就是将云上的海 量数据按列划分后,再进行有序存储。 综上所述,云计算海量数据管理技术在未来的发展进程 中需要解决的关键问题则是应如何提高列存储方式的数据 更新速率和随机读取速率。 2.4虚拟化技术 虚拟化技术不仅是云计算基础设施服务层(IaaS)的重 要组成部分,而且更是云计算所表现出来的最为重要的特 性。根据对象的不同,云计算系统中的虚拟化技术可分为计 算虚拟化、存储虚拟化、网络虚拟化等。其中,计算虚拟化还 可进一步细分为应用虚拟化、系统虚拟化及桌面虚拟化。鉴 于海量数据为云计算提供了规模庞大的各种资源,为了使基 础设施服务实现按需分配,最有效的解决方法就是采用虚拟 化技术。虚拟化技术最强大的作用就在于可以让软件应用 与底层硬件彼此隔离的情况下,不但可以通过裂分模式实现 将单个资源划分为多个虚拟资源,还可以通过聚合模式实现 将多个资源接合成一个虚拟资源。在这里主要介绍虚拟机 在线迁移技术和虚拟机快速部署技术。 2.4.1 虚拟机在线迁移技术 在线迁移技术是在2005年由Clark等人提出的一种具 有重大意义的IT技术,当时主要是采用了迭代的预复制(pre —copy)策略进行迁移的。虚拟机的在线迁移技术对整个云 计算系统的有效管理,以及云平台中各种服务的实现都具有 决定性的重要意义。所谓在线迁移就是指虚拟机在运行状 态下实现从这台物理机移动到另一台物理机上的技术。该 技术主要有以下三个优点,分别是: (1)有利于提高云系统的可靠性。这种可靠性主要体现 在两个方面,一是当物理机要进行维护时,在线迁移技术可 以将该物理机的虚拟机转移到另外的物理机上。二是当主 虚拟机发生异常或出现错误时,在线迁移技术可将云服务无 缝切换至备份虚拟机,Remus系统即是实现虚拟机在线备份 的先行者。这一技术最可称道之处就是当主虚拟机出现异 常或错误时,系统的无缝切换不但不会影响任务的执行,而 且还将提高系统的可靠性。 (2)有利于优化性能、均衡负载。当物理机的负载过重 时,在线迁移技术可以将过重的负载进行部分转移,此时的 虚拟机即起到了均衡负载,优化性能的作用。 最大限度可以在1S内完成32台虚拟机的快速部署。 一般情况下,传统的虚拟机部署要经过创建虚拟机、安 装操作系统与应用程序、配置主机属性(如网络、主机名等)、 启动虚拟机等四个阶段,这就导致部署速度太慢,完全达不 到云服务的高强度、高弹性的性能要求。于是因为受到操作 系统fork原语的启发,即有学者提出了基于fork思想的虚拟 机部署方式,也就是利用父虚拟机迅速克隆出大量子虚拟机 的部署方式。基于fork思想方式下的子虚拟机可以完全继 承父虚拟机的所有内存状态信息,还可以在创建后即时可 用。快速部署技术最需要解决的就是速度,为此当虚拟机要 进行大规模的部署时,可以并行创建多个子虚拟机,而且能 在不依赖于父虚拟机的情况下,维持其独立的内存和空间。 为了进一步提高速度,就要减少文件的复制开销,“写时复 制”(COW:copy—Oil—write)技术则提供了该问题的解决之 道:子虚拟机在执行“读操作”与“写操作”时,将会判断该文件 是否已被更新,若已更新即将更新后的文件写入本机磁盘。 基于fork思想的虚拟机部署技术是一种即时(Oil—de— mand)部署技术,虽然提高了部署速度与执行效率,但通过这 种技术所部署的子虚拟机却不能实现持久性保存。 2.5云计算平台管理技术 因为云计算所聚集的资源非常之多,要处理的数据更是 非常庞大,所以云计算系统需要的服务器数量也是非常惊人 的,并且这些服务器都可能放置在不同的地点,还要同时运 行着成百上千种不同的应用。怎样才能更有效地管理这众 多的服务器,怎样才能更好地保证整个系统随时随地都能提 供不间断的云服务,这对于云计算来说是一个堪称严峻的巨 大挑战。云计算平台管理技术所要解决的最为关键的问题 就是怎样才能使众多的服务器可以协同工作,从而以最便捷 方式的进行各种业务部署,并以最快的速度发现和恢复系统 的故障,再通过智能化、自动化的手段使规模庞大的系统实 现并获得最可靠、稳定的运营。 云计算管理系统中至为关键的一环是如何解决系统的 可扩展性问题。系统的可扩展性包含两个维度。第一个维 度是节点规模的可扩展性,管理系统应该能够管理几万甚至 几十万节点规模的云计算平台;第二个维度是网络拓扑的可 扩展性,由于监控系统、部署系统等模块需要通过多种网络 协议直接对硬件资源进行管理,因此管理系统必须能够适应 各种不同的网络拓扑结构,甚至能够管理跨数据中心的云计 算平台。 搭建一套云计算平台,强大的监控管理系统是必不可少 第4期 薛慧丽:云计算的架构及核心技术 ・67・ 的。当然,任何工具都不是万能的,专业人员在实际维护过 程中发现,云计算平台管理的三大利器Nagios、Ganglia和 明显,比如数据的隐私问题、信息的安全问题、软件的许可证 问题、网络的传输速度问题等等,而这些都需要IT业界公司 在今后的产业化进程中对其不断地发展和完善,从而避免一 些不必要纠纷与问题的发生。 Splunk也经常会出现误报,如果规则定义得不好,大量的警 报邮件将如潮水一样涌来,反而掩盖了真正的问题。可以 说,在云计算平台的运维管理上,表现了明显的动态性质,也 就是随着规模的不断增大和应用的日益多样,还需要进一步 地实践和不断总结 J。 参考文献: [1]MELLP,GRANCE.TheNIST deifnition of cloud computing[R].Na— tional Institute of Standards and Technology,201 1. 3云计算的挑战与机遇 我国《北京“祥云工程”行动计划》提出将在2015年,使 “云计算”的三类典型服务——基础设施服务、平台服务及软 件服务形成500亿元产业规模,由此带动云计算产业链形成 2 000亿元产值 。据IDC预测,用于云计算服务上的支出 在接下来的5年间可能会出现3倍的增长,2012年可达420 亿美元的市场规模,并占据IT支出增长总量的25%份额。 Gartner公司也同时预测,云计算服务将在2014年得到强势 增长,全球云计算服务市场营收总额将达到1 000亿英 镑 。这一切均已表明,云计算已经成为IT产业未来发展 的重要趋势和潮流方向。如今,亚马逊的云计算系统已经完 成了从理论到应用的转化,其云计算部门(Aws)2010年的 销售收入即已达到5亿美元,2011年的销售收入也达到了 [2]GILLENA,BROUSSARDFW,PERRY R,et at.Optimizing infrsatncr- ture:the relationship between it labor costs and best practices for man一 ng the windows desktop[EB/OL].hnp://download.Microsoft. corn/download/a/4/4/a4474b0c—.57d8_—.41 a2—.afe6—. 32037fa93ea6/IDC—windesktopIOwhitepaper.pdf 2007. [3]GHEMAWAT S,GOBIOFF H,LEUNG P—N—T.The Google file system[c J//Proceedings of the Nineteenth ACM Symposium on Op— crating Systems Principles,Oct.2003. [4]Hadoop:http://hadoop.apache.org/. [5]ANDRH,LAGAR—CAVILLAS,WHITYJA,et at.Snow Flock:virtual machine cloning as a ifrst class cloud pirmitive[J].ACM Trans Com— put Syst,2011,29(1):1—45. [6]张志宏.云计算平台管理系统的研究与实现[J].电信工程技术 与标准化,2012(4):21—25. [7]新华网[EB/OL].http://news.xinhuanet.com/2010—10/06/c一 12632881.htm. 7.5O亿美元,到2014年,亚马逊AWS部门的销售收入可将 达到大约25亿美元。 4结束语 虽然云计算模式拥有众多优点,但是存在的问题也非常 [8]eNet硅谷动力[EB/OL].http://www.enet.conr.en/article/201 O/ 0624/A20】00624674376.shtml (上接第62页) [13]KARAMSHUK D,NOULAS A,SCELLATO S,et a1.Geo—spot— ting:mining online location—based services for optimal retail store [16]YOON H,ZHENG Y,XIE X,et 1a.Socila itinerary recommenda. tion from user—generated digital trails[J].Personal and Ubiquitous Computing,2011. placement[C]//Proceedings of the 19 ACM SIGKDD International Conference on Knowledge Discovery and Data Mining,KDD’13, ACM,New York,NY,USA,2013:793—801. [17]ZHENG Y,ZHANG L,MA z,et 1a.Recommending firends and lo— cations based on individual location history『J].ACM Trans. Web5,2011,5:1—5,44. [14]YUAN J,ZHENG Y,XING X.Discoveirng regions of different [18]ZHENG Y,XIE X.Leanirng travel recommendations from user— generated gps traces[J].ACM Trans.Intel1.Syst.Techno1.2, 2011,2:1~2,29. functions in a city using human mobility and pois[C]//KDD, 2012. [15]YOON H,ZHENGY,XIEX,et a1.Smartitinerary based on user~ generated gps trajectories[C]//Proceedings of the 7 International Conference on Ubiquitous Intelligence and Computing,UIC’10, Springer—Verlag,Berlin,Heidelberg,2010:19—34. [19]ZHENG V W,ZHENG Y,XIE X,et a1.Collboarative location and activity recommendations with gps history data[C]//Proceedings of the 19 International Conference on World wide web,WWW’10, ACM,New York,NY,USA,2010:1029—1038.