热门标签:代写本科论文 写作发表 工程师论文 代写一篇论文多少钱

当前位置: 代写一篇论文多少钱 > 计算机论文 > 云计算存储资源管理通用模型详细设计

云计算存储资源管理通用模型详细设计

时间:2020-07-29作者:朱伟 程飞 王新
本文导读:这是一篇关于云计算存储资源管理通用模型详细设计的文章,本文分析了当前在云环境下的虚拟存储资源管理的研究现状,提出了一种面向不同规模存储设施的虚拟存储资源管理模型,并详细介绍了模型中的每一层的设计。

  计算机应用基础论文第五篇

  题目:云计算存储资源管理通用模型详细设计

  摘要:随着云计算的发展,存储资源管理技术作为云计算的基础,成为国内外学者研究的热点。部分企业和机构,提出了一些针对自身云计算应用的存储资源管理模型,并实现了相应的存储管理系统,但是由于应用背景不同,其模型通用性不强。文中提出了云环境下虚拟存储资源管理通用模型,通过将虚拟存储管理模型合理划分为不同层次,从而为构建不同需求的云存储管理系统提供参考。

  关键词:云计算; 存储资源; 虚拟化; 管理调度;

  Research on Storage Resource Management and Scheduling Technology Based on Cloud Computing

  ZHU Wei CHENG Fei WANG Xin

  Jiangsu Automation Research Institute

  Abstract:With the development of cloud computing,storage resource management technology as the foundation of cloud computing has become a hot spot for scholars at home and abroad. Some enterprises and organizations have proposed some storage resource management models for their own cloud computing applications which run in the implemented corresponding storage management systems. However,due to different application backgrounds,their models are not universal. This paper presents a general model of virtual storage resource management in a cloud environment. By reasonably dividing the virtual storage management model into different levels,it provides a reference for building a cloud storage management system for different needs.

  0 引言

  随着互联网及信息社会的发展,对海量数据信息处理的需求不断增长,人们通过云技术将更多的资源整合起来提供更强的服务,不论是何种云计算服务都离不开云存储的支撑,云存储为云计算提供了存储服务,且云存储服务具有成本低廉、安全可靠、按需使用、动态扩展等特性[1,2,3]。

  云存储领域的研究主要集中于存储管理系统的设计与实现。存储管理系统通过利用存储虚拟化、分布式存储资源管理等多种技术,为客户提供个性化的块、文件以及对象存储服务。

  当前针对不同的云计算应用,已经研究并实现了多种云存储管理系统,但是不同云计算应用对存储管理系统的要求不同,其管理模型差异较大、通用性不强。本文提出了云存储资源管理通用模型,将存储资源划分为不同层次,从而为构建不同需求的云存储管理系统提供参考。

  1 国内外研究情况分析

  对于存储资源管理的研究由来已久,早期提出的分布式文件系统如网络文件系统[4](Network File System,NFS)和安德鲁文件系统[5](Andrew File System,AFS)提供了单一文件层次结构,将系统局部或全局存储设备有效得整合成一个巨大的单一文件系统。Sun Microsystems开发的Solaris MC(Multiple Computer)在Solaris内核层组建了单一系统映像的机群系统,实现了全局文件系统[6]。

  随着互联网技术的发展,对存储资源管理的研究不再局限于机群系统,而开始逐渐面向互联网,且相继涌现出一批企业和机构提供网络存储服务,例如云计算领域的佼佼者Google公司,在虚拟存储管理方面,它率先推出了谷歌分布式文件系统(GFS)[7,8],为谷歌云计算产品推广奠定了坚实的基础;另一个较为成功的公司Amazon通过构建了一个全球化分布式文件系统,推出简单存储服务(S3)[9],以虚拟化超级硬盘形式为用户提供存储和检索服务,同时也为其弹性云服务(EC2)[10]提供存储支撑。除此之外IBM、HP、EMC等知名公司也都建立了自己的云存储产品并开始为用户提供存储服务。

  于1997年12月成立的全球网络存储工业协会(SNIA)在2009年针对云计算迅速成立了云计算工作组[11],并在2010年4月正式发布了云数据管理接口(Cloud Data Management Interface,CDMI)[12],确定了统一的云存储接口、制定了存储服务规范,实现了面向资源的数据存储访问,并于近年将其CD-MI 1.0.1版本提交至ISO/IEC定制国际标准[13]。

  文献[14]描述了一种基于云的基础设施,它具有高效、覆盖范围广泛等特点,并且提出了一种层次化虚拟存储模型(Sector)来提供数据存储和共享服务[15]。Sector包含三个层次,分别是路由服务层、存储服务层以及计算服务层。通过该模型用户可以使用API接口访问分布式节点上的大量数据,而不需要关心其数据物理位置以及系统自身对数据的管理、容错等处理。

  文献[16]提出了一个基于云存储的内容分发网络系统(Meta CDN),通过对传统内容分发网络(CDN)进行改进,移除了与多重存储提供者交互的复杂内容,通过其服务质量(Qo S)智能匹配最佳内容提供源,从而为用户提供一个高性能、高覆盖率的云存储服务,并通过统一命名空间使存储管理更加集中和透明。

  文献[17]设计并实现了一个高可适应性虚拟存储系统(AVSS),该系统使用扩展YFQ算法来控制带宽的分配,采用层次架构和动态映射机制来实现异构虚拟资源的管理,并且应用数据访问频率统计和动态行为分析模型来管理存储布局的调整。在AVSS的基础上,作者又针对于虚拟存储引入了虚拟能力及虚拟性能等评估方法。

  文献[18]对网络存储虚拟化进行了深入的研究,并设计了一种具体的SAN网络级存储虚拟化实现方式。文献[19]提出了一个云存储系统的通用架构,该架构采用分层结构,并且包含了存储虚拟化、数据管理、数据迁移以及数据安全等关键技术。文献[20]集中分析和讨论了数据池结构、在线数据池存储模型、企业云存储系统,并提出了一种数据管理及云存储的设计方案。文献[21]提出了一个两层存储虚拟化结构,分别是物理层到逻辑层虚拟化、逻辑层到虚拟层虚拟化,通过该结构可以加强云存储的可用性及可扩展性。文献[22]在当前成熟的商业云存储文件系统中引入了P2P网络思想,并详细的描述基于P2P模型的云存储在线备份原型系统的结构及拓扑关系,同时也讨论了其中的关键技术[23]。文献[24]提出了一个面向有限资源的实时弹性云存储管理模型来有效地帮助中小型IaaS云服务提供者充分利用其硬件存储资源。

  通过以上分析可以看出,部分学者或机构还设计实现了存储管理系统,但是存在着只是针对某项具体应用开展研究,通用性不强等不足。本文在对现有云存储架构进行综合分析的基础上提出了一种面向不同规模存储设施、适应用户需求的虚拟存储资源管理通用模型,并给出了模型各个层次的详细设计。

  2 云环境下虚拟存储资源管理通用模型

  目前众多企业、机构均发布了自己的云存储产品,其核心实现是存储资源管理系统,但这些系统模型大多是面向特定服务进行定制,使用方式确定,缺乏灵活适应多种存储设施的能力,故针对该问题提出一种云环境下虚拟存储资源管理通用模型。

  该通用模型采用层次化结构,共五个层次,自底向上分别为存储器管理、分布式实时数据共享管理、分布式文件管理、虚拟存储资源调度管理、用户服务接口,如图1所示。

  网络通信管理层主要实现对有线、无线网络及各种存储接口(FC、SCSI、i SCSI等)的管理;存储器管理层主要实现对各种物理存储设备或器件的管理;分布式实时数据共享管理和分布式文件管理分别面向实时存储器和永久存储器两类存储介质共同完成分布式数据和文件管理;虚拟资源调度管理主要对资源进行综合管理以提供多种存储服务,并为整个系统提供性能和安全保障;最顶层为用户接口层,主要为各种服务提供虚拟存储管理接口。

 

  图1 云环境下虚拟存储资源管理通用模型  

  3 存储资源管理通用模型详细设计

  该模型中各层均独立并且仅通过接口访问上下层,不同层次之间透明,同时系统对用户透明,用户无须关心管理系统内部机制,只需要通过接口访问并管理虚拟存储资源。

  3.1用户接口设计

  用户接口层的设计引入了代理技术,使得文件访问相对于进程和文件位置均透明,用户接口层结构见图2,系统中代理层首先,将外部用户的操作请求转化为对象请求;然后,通过对象实现交付给分布式数据管理(包含实时数据管理和文件管理);最终,分配到相应结点并完成物理层的实现。其中使用了高速缓存机制满足用户常用命令的快速处理需求。

  3.2 虚拟存储资源调度管理设计

  虚拟资源调度管理主要是面向服务提供资源调度管理,当系统管理大量物理存储节点时,合理分配任务及存储空间是十分有必要的。虚拟存储资源调度管理层设计见图3,该层对节点状态进行实时监控,然后任务调度模块根据监控结果对用户提交的存储服务请求进行处理,任务管理模块再根据处理结果选择合适的存储节点完成最终存储服务后反馈执行结果给用户。

 

  图2 基于代理技术的用户接口设计  

 

  图3 虚拟存储资源调度管理设计  

  3.3 分布式实时共享数据管理及文件管理设计

  分布式实时数据共享管理和分布式文件管理共同完成分布式数据管理,已有的大多数云存储架构都将这两层合并讨论,本文将其分开讨论是基于以下两个目的:

  (1)由于云存储规模的不同,存在单一入口机制的选取不同的问题,大规模节点组成的云存储设施一般采取派遣者/工作者模型,例如GFS、HDFS等,而较小规模节点组成的分布式存储设施一般采取团队模型,即完全分布式模型。前者过分依赖主节点的管理,一旦主节点出现故障将会导致系统失效,而后者将占用较多的系统资源。

  (2)当云存储系统为某些实时性要求较高的任务提供服务时,需要考虑实时数据的共享管理。例如某些火控计算任务,需要对计算中间结果进行实时备份,在出现故障后能够快速恢复,从而保证任务按时完成。

  分布式实时共享数据及文件管理由元数据管理、数据操作管理、数据存储管理三部分组成,见图4。每一部分又分为两个层次,分别面向实时数据及文件数据。数据操作管理从元数据管理模块获取需要访问的数据的位置,然后通过数据存储管理从相应存储结点获取数据,存储结点主要包含两种类型的存储部件,分别是瞬时存储单元(如DRAMs)和永久存储单元(如Disks、Magnetic tape等)。元数据管理与数据存储管理需要定期交互,从而保证全局文件命名空间及全局实时数据映射表实时更新。

 

  图4 分布式实时共享数据管理及文件管理设计 

  3.4 存储器管理设计

  由于不同存储服务对虚拟存储资源容量、实时性等要求不同,故设计层次存储器来满足不同的服务质量需求。各类存储设备包括寄存器、高速缓存、主存储器、硬盘驱动器、磁带等通常可以被组织为层次机构(见图5)。上面三层主要是满足实时数据共享访问,而最后一层为永久存储器,为分布式文件共享访问提供支持。

 

  图5 层次存储器  

  3.5 网络通信管理设计

  网络通信管理层主要负责节点间数据传输,是实现分布式虚拟资源管理的底层支撑模块。该层可采用IP协议、TCPUDP等网络协议,通过远程过程调用(RPC)实现不同结点间的信息交互,实现分布式数据共享。该层需要关注两项关键技术,分别是一致性协议及时间同步协议。

  常见的一致性协议主要有基于令牌环的一致性协议、Paxos一致性算法[25]等,其中基于令牌环的一致性算法被应用于Solaris MC中[6],它要求一个进程写某个共享的数据单元,必须首先获取令牌,这样通过令牌可以增强系统调用的原子性。而Paxos一致性算法是近几年较为流行的分布式一致性算法,广泛应用于企业级的云计算平台中,用于解决决议一致性问题。

  时间同步协议主要包括网络时间协议、Berkeley算法及无线网络中的时间同步协议等。除了对实际时间的同步外,也有诸多应用采用逻辑时钟,其常见的逻辑时钟包括Lamport逻辑时钟、向量时钟等[26]。

  4 结语

  本文分析了当前在云环境下的虚拟存储资源管理的研究现状,提出了一种面向不同规模存储设施的虚拟存储资源管理模型,并详细介绍了模型中的每一层的设计。在实际应用中,根据具体云存储系统的需求,可以选取该层次模型中若干层来实现,具有灵活可扩展的特性。

  参考文献

  [1]霍瑛.云计算环境下服务组合技术研究[D].南京:南京航空航天大学,2016.
  [2]朱近之.智慧的云计算:物联网发展的基石[M].北京:电子工业出版社,2010.
  [3]黄滨,徐勇,吕岩.基于Hadoop云存储系统在设计院的应用研究[J].信息安全与技术,2012,3(9):62-65.
  [4] Sandberg R,Goldberg D,Kleiman S,et al.Design and implementation of the sun network file system[J].Innovations in Internetworking,1988:379-390.
  [5]Morris J H,Satyanarayanan M,Conner M H,et al.Andrew:A distributed personal computing environment[J].Communications of the ACM,1986,29(3):184-201.
  [6] Khalidi Y A,Bernabeu J M,Matena V,et al.Solaris mc:A multi computer OS[C]//Conference on Usenix Technical Conference.Berkeley:USENIX Association,1995:191-204.
  [7]Sanjay G,Gobioff H Leung,S.The Google file system[J].ACM SIGOPS Operating Systems Review,2003,37(5):29-43.
  [8] Chang F,Dean J,Ghemawat S,et al.Bigtable:A distributed storage system for structured data[J].ACMTransactions on Computer Systems(TOCS),2008,26(2):1-26.
  [9] Amazon.Amazon Simple Storage Service(Amazon S3)[EB/OL].[2006-03-01].http://aws.amazon.com/s3/.
  [10] Amazon.Amazon Elastic Compute Cloud(Amazon EC2)[EB/OL].[2006-08-25]http://aws.amazon.com/ec2/.
  [11] SNIA.SNIA cloud storage initiative[EB/OL].[2009-12-01].http://www.snia.org/cloud.
  [12] SNIA.CDMI cloud storage standard[EB/OL].[2010-04-09].http://www.snia.org/cloud/newcontent.
  [13] SNIA.CDMI submitted to ISO[EB/OL].[2012-10-22].http://www.snia.org/cloud.
  [14]Grossman R L,Gu Y,Sabala M,et al.Compute and storage clouds using wide area high performance networks[J].Future Generation computer systems,2009,25(2):179-83.
  [15]Gu Y,Grossman R L.Sector:A high performance wide area community data storage and sharing system[J].Future Generation computer systems,2010,26(5):720-8.
  [16]Broberg J,Buyya R,Tari Z.MetaCDN:Harnessing‘Storage Clouds’for high performance content delivery[J].Journal of Network and Computer Applications,2009,32(5):1012-1022.
  [17] Ke J,Zhu X D,Na W W,et al.AVSS:An adaptable virtual storage system[C]//2009 9th IEEE/ACM International Symposium on Cluster Computing and the Grid.Shanghai:IEEE Press,2009:292-299.
  [18]XIE C,Jin W.Research and design of the implementation of network level storage visualization of SAN[J].Application Research of Computers,2004(4):191-193.
  [19] Zeng W,Zhao Y,Ou K,et al.Research on cloud storage architecture and key technologies[C]//Proceedings of International Conference on Interaction Sciences.Seoul:ACM,2009:1-5.
  [20] Zhan Y,Sun Y.Cloud storage management technology[C]//2009 Second International Conference on Information and Computing Science.Manchester:IEEE Press,2009:309-311.
  [21] Ge J W,Deng Y L,Fang Y Q.Research on storage virtualization structure in cloud storage environment[C]//2010 International Conference on Multimedia Technology.Ningbo:IEEE Press,2010:1-4.
  [22] He Q L,Li Z H,Zhang X.Study on cloud storage system based on distributed storage systems[C]//2010 International Conference on Computational and Information Sciences.Chengdu:IEEE Press,2010:1332-1335.
  [23] He Q L,Li Z H,Zhang X.Analysis of the key technology on cloud storage[C]//2010 International Conference on Future Information Technology and Management Engineering.Changzhou:IEEE Press,2010:426-429.
  [24] Sijin H,Li G,Yike G.Real time elastic cloud management for limited resources[C]//2011 IEEE 4th International Conference on Cloud Computing.Washington DC:IEEE Press,2011:622-629.
  [25] Lamport L.Paxos made simple[J].ACM SIGACTNews,2001,32(4):18-25.
  [26] Tanenbaum A S,Van Steen M.Distributed systems:principles and paradigms[M].New Jersey:Prentice Hall PTR,2002.

  范文一: 计算机应用基础论文(精选范文6篇)    
  范文二:
大数据环境下计算机网络安全问题与对策   
  范文三:计算机网络故障排除与维护管理探析 
  范文四:计算机网络监控技术与常见故障研究   
  范文五:云计算存储资源管理通用模型详细设计  

关联标签:
联系我们
  • 写作QQ:3008635931
  • 发表QQ:3008635930
  • 服务电话:13701839868
  • 售后电话:18930493766
  • 邮箱:shlunwen@163.com
网站地图 | 网站介绍 | 联系我们 | 服务承诺| 服务报价| 论文要求 | 期刊发表 | 服务流程