网格技术及其应用

第25卷第10期计算机工程与设计2004年10月Vol 25 No 10COMPUTER ENGINEERING AND DESIGNOct.2004文章编号:10007024(2004)101685-04中图分类号:TP39301文献标识码:A网格技术及其应用应宏(重庆三峡学院计算机科学系,重庆404000摘要:对网格系统的定义、特点、功能、体系结构和关键技术进行了研究,重点阐述了五层沙渦结构、网格操作系統的基本功能和安全认诬技术,冏时给岀了网格体系结构摸型,网格使用模式和一个基于代理的资源管理模型。讨论了网格的应用领城,指出了网格必将成为新一代网絡计算模式以及新型的分布计算和协同工作环境关键词:网格;体系结构;关键技术;网格应用Grid technology and applicationYING Hong( Department of Computer Science, Chongqing Three Gorges University, Chongqing 404000, China)Abstract: The define, characteristics, functions, architecture and key technology of grid are researched. The five levels hourglassmodel architecture, base functions of grid operation system and secure authentication technology are expounded in detail, as well as anarchitecture model, a mode of using grid and a resource managing model. The application fields of grid is discussed, and it pointed outthat grid will become the new generation of network computing model and a new system of distributed computing and cooperative workKey words: grid; grid architecture: grid key technology: grid application资源、知识资源、专家资源等智能共享的一种新型的分布式计算技术。网格集成了计算机科学领域中多种技术的最新在科学、工程和商业计算领域还有很多问题难以使用成就,代表了信息技术和信息化发展的方向,特别是在现阶现有的超级计算机解决,基于Web的应用也主要限于电子段,突出体现和满足了科学研究的需要。邮件通信和信息检索,分布在 nenet上的异构资源不能真22特点正共享,分散闲置的计算能力得不到利用。基于这种情况(1)分布性:分布性是网格的一个最主要的特点。网格网格技术被提了出来,它将网络上的各种资源包括超级计上的各类资源(硬资源和软资源〕通常类型复杂、规模较大、算机、大规模存储系统、个人计算机、各种软件和数据库资跨越地理范围较广,在分布式计算环境下,需要解决资源与源、各种设备等组织在一个统一的框架下,形成一台巨大的任务的分配和调度问题、安全传输与通信问题、实时性保障虚拟超级计算机,从而能够以非常方便的方法解决各种复问题、人与系统以及人与人之间的交互问题等杂的问题,实现网络虚拟环境下的资源共享和协同工作(2)共享性:网格的根本特征是资源共享而不是它的规网格的概念模。尽管网格资源是分布的,但是它们却是可以充分共享的。分布是网格硬件在物理上的特征,而共享是在网格软21定义件支持下实现的逻辑上的特征网格的构想源于电力供应网〔 Power grid)t,其基本思想(3)自相似性:网格具有自相似性特征。网格的局部和就像人们日常生活中从电网中获取电能一样获取高性能的整体之间存在着一定的相似性,局部往往在许多地方具有计算能力和共享各种异构资源。目前,网格尚无公认的定全局的某些特征,而全局的特征在局部也有一定的体现。网义,但普遍认为:网格(Grd是建立在 Intemet技术、Web技格的自相似性在网格的建造和研究过程中有重要的意义术、高性能计算等技术之上的综合软、硬件的基础设施。采(4)动态性:随着时间的推移,网格拥有的资源或功能用开放标准,为协同完成科学、工程或商业上的应用,提供可以增加或减少。网格可以从最初包含少数的资源发展到可扩展的、安全的、一致的、普及的、高效的大规模资源有效具有成千上万资源的大网格,因此它应从性能、功能、管理共享,完成计算资源、存储资源、通信资源、软件资源、信息软件、兼容性等方面适应规模的变化。当网格资源动态减基金项目:重庆市教委科研基金项目(021105)。收稿日期:2003-0926中国煤化工作者简介:应宏(1962-),男,重庆人,副教授,研究方向分布计算技术和webCNMHG少或者资源出现故障时,要求网格能够及时采取措施,实现系统( Grid Operating System),其核心服务包括网格资源的管任务的自动迁移。理分配、信息优化、任务调度、存储访问、安全控制、质量服(5)异构性:网格可以包含多种异构资源,包括跨越地务(Qos)等。它同时需要提供用户编程接口和相应的环境,理分布的多个管理域。比如构成网格系统的超级计算机有以支持网格应用的开发多种类型,不同类型的超级计算机在体系结构、操作系统及3)工具环境网格必须提供良好的应用开发环境。网格应用软件等多个层次上可能具有不同结构。因此网格系统应提供多种工具、 API. SDK、开发语言、函数库、调试器以及须能够解决这些不同结构、不同类别资源之间的通信和web工具等以构造良好的开发环境。如C、C+以及 Fortran互操作问题。等通用科学计算语言 MPI, PVM等应用开发界面,并支持消6)多级管理域;:由于构成网格计算系统的超级计算机息传递、分布共享内存等多种编程模型资源通常属于不同的机构或组织,并且使用不同的安全机(4)网格应用是用户需求的具体体现,是各种应用软件制,因此既需要各个机构或组织对其拥有的资源有自主的的研究,如科学计算、工程应用、信息服务、Web应用等。在管理能力,又需要他们共同参与解决多级管理域的问题,以网格操作系统的支持下,网格用户可以使用其提供的可视实现资源共享和互操作,化工具或环境开发各种应用系统,用户可否方便地共享23主要功能格中的各种资源,可视化界面起着重要的作用。网格的主要功能有两类:①超级计算功能。对使用者而言,整个网络就是一台巨大的超级计算机;②智能信息关健技术理功能。即提供全面的信息资源共享,解决信息孤岛问题网格系统关键技术包括宽带网络系统建设、体系结构能为用户提供一体化的智能信息服务,用户通过单一入口设计、网格操作系统设计、安全认证技术、应用模式设计等。访问所有信息资源。41宽带网络系统3体系结构网格的互联网要比因特网具有更大的带宽,以解决目前互联网的数据传输能力不足的间题。通信能力的好坏对网格体系结构是网格的骨架和灵魂,是网格最核心的网格系统提供的性能影响甚大,要做到计算能力“即连即用”技术,只有建立合理的网格体系结构,才能够设计和建造好必须要高质量的宽带网络系统支持。用户要获得延迟小网格,才能够使网格有效地发挥作用。可靠的通信服务也离不开高速的网络。网格体系结构可分为资源层、中间件层(网格操作系统42体系结构设计层)工具环境层和应用层4个层次,图1描述了网格体系结网格体系结构是关于如何建造网格的技术,包括对网构模型与传统计算机系统模型的比较。格基本组成部分和各部分功能的定义和描述、网格各部分相互关系与集成方法的规定、网格有效运行机制的刻画办公、上网、游戏等目前对网格体系结构的设计已有了一定的研究,提出的模网格应用型有:五层沙漏模型、开放网格体系结构(OGSA)、模型组件命令行、视窗、Web网格界面(工具环境)模型、计算池模型、CPU模型、神经网络模型、节点模型等Windows、 Macos、 Linux网格操作系统(中间件其中五层沙漏是经典的模型BM体系结构五层沙漏模型是在 Globus项目中提出的具有一般性的网格资源(硬件)网格体系结构,它是以协议为中心的“协议结构”,强调协议的层次及在网格的资源共享和互操作中的地位。它建立图1网格系統与传純计算机系统模型比较在互联网协议之上,以互联网协议中的通信、路由、名字解(1)网格资源是构成网格系统的基础设施,主要包括网析等功能为基础,自下而上分为5层:构造层、连接层资源格节点和宽带网络系统。网格节点包括各种计算资源,如层、汇集层和应用层。每层都有自已的服务、API和SDK,上超级计算机、集群系统、贵重仪器、可视化设备、现有应用软层协议调用下层协议的服务。网格内的全局应用都通过协件、数据库等,这些计算资源通过网络设备连接起来,具有议提供的服务调用操作系统分布和异构特性。而宽带网络系统是在网格系统中提供高)构造层( Fabric):它的功能是向上提供网格中可供共性能通信的必要手段。网格资源层仅仅实现了异构资源在享的资源,它们是物理或逻辑实体。常用的资源包括处理物理上的连通,但从逻辑上看,这些资源仍然是孤立的,资能力、存储系统、目录、网格资源、分布式文件系统、分布式源共享问题仍然没有得到解决。因此,必须在网格资源层计算机池、计算机集群等的基础上通过网格中间件层来完成广域异构资源的有效共(2)连接层( Connectivity):它是网格中网络事务处理通享信与授权控制的核心协议。构造层提交的各种资源间的数(2)网格中间件是指一系列协议和服务软件,其功能是据交换都在这一层的控制下实现。各资源间的授权验证屏蔽网格资源层中资源的分布、异构特性,向网格应用层提安供透明、一致的使用接口。网格中间件层也称为网格操作中国煤化工对单个资源实施控制CNMHG与可用资源进行安全握手,对资源做初始化、监测资源运行息服务代理负责响应资源申请、分配和使用,资源代理可以状况、统计与付费有关的资源使用数据。直接对资源本身进行操作,响应信息服务代理的各种请求,(4)汇集层( Collective这层的作用是将资源层提交的受给出相应的返回信息;⑨资源交易机制:为鼓励不同组织或控资源汇集在一起,供虚拟组织的应用程序共享、调用。为资源拥有者加入系统,应提供一种计算资源的交易机制,允了对来自应用的共享进行管理和控制,汇集层提供目录服许提供资源者获得利益,使系统能动态地取得最好的性价务、资源分配、日程安排、资源代理、资源监测诊断、网格启比资源;⑩节点自治:不影响各节点本地的管理和自主性,动、负荷控制、账户管理等多种功能不改变原有的操作系统网络协议和服务,保证用户和远程(5)应用层( Applications);这层是网格上用户的应用程节点的安全性,允许远程节点选择加入或退出系统,尽量使序。应用程序通过各层的AP调用相应的服务,再通过服用已存在的标准的技术,以便与已有的应用兼容,并能提供务调用网格上的资源来完成任务。应用程序的开发涉及大可靠的容错机制:①编程工具:必须提供丰富的用户接口和量库函数。为便于网格应用程序的开发,需要构建支持网编程环境,提供最常用的语言,如C+格计算的库函数+、C#MPI、PVM以及分布式共享存五层沙漏结构是一个抽象层次结构,它的一个重要特储器和函数库等:②用户图形界面:信息服务代理」点就是“沙漏”形状(如图2所示)。就其原因在于各层协提供直观的用户访问接口,包括Web议的数量不同,对于最核心的部分—沙漏的瓶颈,定义核方式,使用户可以在任何位置、任何源代理心抽象和协议的一个小集合(如在 Internet中的TCP和平台上使用系统资源,提供能在网格HTTP)。许多不同的高层系统中传输和读取的可视化工具。图3资源管理模型(沙漏的顶部)行为映射到44安全认证技术应用层它们的上面,它们自身也能网格的安全认证是网格的难点,也是系统成败的关键被映射到不同的基本技术在资源全面共享和站点协同工作的网格系统中,网格必须之上(沙漏的底部),所以为站点管理者提供访问控制等安全管理机制,以确保信息核心协议的数量必须是较的保密性( Confidentiality)、完整性( ntegrty)和确定性(Auth少的。较少的核心协议有构造层indication)。管理者可以自由地决定可以共享哪些资源、共利于移植,也比较容易地实享给谁和不能共享哪些资源。当然,这种权限控制必须是现和得到支持。在5层结易维护且独立于资源本身,同时应该在逻辑上提供不同的构中资源层和连接层共同图2五层沙漏结构的协议分层安全管理层次和控制粒度。一般来说,网格安全体系结构组成这一核心的瓶颈部分可逻辑划分为以下5层:①操作系统和网络传输层:②各种基于五层协议的网格体系结构使得不同的应用可以在网络和系统安全技术;③安全抽象层,负责对不同的安全技统一的网格体系结构框架下使用相同的底层协议。术进行封装,给上层安全协议提供统一的接口;④各种网格43网格操作系统设计安全协议;⑤基于网格安全协议的各种应用。网格系统中管理的是广域分布、动态、异构的资源,网为了保证在网格中各个管理系统和层面上都有安全保格操作系统应屏蔽这些资源的分布、异构特性,向网格应用障,通常还需要解决如下关键问题:用户单点登录、用户与提供透明、一致的使用接口。为此,网格操作系统需要实现资源属性、资源的动态性、环境的异构性、任务的多样性等以下基本功能:①管理等级层次:它定义网格系统的组织方的安全认证问题式,确定管理层次体系。如按区域层次划分管理域决定信45使用模式设计息流的流向,以适应全局的需要:②通信服务:随应用目的网格使用模式解决的是如何使用网格超级计算机的问的不同提供不同的服务,包括可靠的点对点和不可靠的组题。在现有的操作系统上,计算机用户可以使用各种软件播通信,支持各种通信协议,提供通信链路延迟、带宽和可工具来完成各种任务。而在网格环境下,用户需要通过新靠性等指标;③信息服务:提供方便可靠的机制,获得不断的方式来利用网格系统资源。因此,在网格操作系统上设变化的各节点信息和状态:④名字服务:提供全局统一的名计开发各种工具、应用软件是网格格润览器字服务,典型的有国际通用的X50标准或 Internet上DNS标使用模式研究需要解决的关键问准;⑤文件系统:提供一个分布式文件系统机制、全局存储题。目前美国 Argonne因家实验室网格应用服务器和缓存空间;⑥安全认证:应包括登录认证、可信赖、完整性所开发的 MPICH-O2是广泛应用的和记账等方面的安全性;⑦监视系统:提供监视系统资源和开放式网格编程环境, Web Service网格编程攮口网格系统软件运行情况的工具:⑧资源管理:为方便对任务的查询控制、技术正被众多研究人员所推崇。图为不同地理位置计算系统之间的任务迁移、调度、平衡提供4给出了一个使用网格的模型。图4网格使用模型技术支持,对网格资源应进行合理的透明的管理和调度种策略是采用基于代理的网格资源管理模型,如图3所5网格应用示。用户不允许直接对资源进行操作,当用户提出要求,信H中国煤化工性能科学和工程计算CNMHG领域中,现在网格应用不局限于此,出现了适用于不同应用vice提供了一个与硬件无关的虚拟计算机,而 Web Service是领域的网格技术。图5中根据不同类型的应用给出了对现架构在虚拟计算机平台上的,与平台/语言无关的应用交互有网格技术的分类集成平台。利用 Web Service将 Intemet上的资源和信息汇GG(Great Global Grid)聚在一起,组合成企业和消费者所需要的服务,可以更有效地推进企业信计算和数据网格信息网格和知识网格商业应用网格息化建没,提高企业信息化水平和技术自主创新能力。在开发新的企业应用,集成现有应用,实现经济跨越RTECSETI@Ho式发展中,网格系统将发挥越来越积Web service极的作用ASCI GridData grid归纳起来,网格有以下一些应用InformationIBM Web ServiceMicrosoft. NET域:运输业(公路、铁道、航空、航海):资源环境(国土资源、环境保护长江水利、黄河治理、淮河防灾):制图5网格技术分类造业(航空、仿真、船舶、汽车、钢铁)物医药(基因研究、生物信息学随着网格研究的深入和应用的不断需求,网格具有广物筛选、中药信息库、药物反应的模拟);科学计算(科学网阔美好的应用前景1利用网格形成的超级计算功能实现各计算中心计格,遗报天文台虚报核爆件,人类脑计划神经信息学财政算资源共享。在基础研究、汽车、大型水电工程、石油勘探、气象气候、航空、交通、金融、农林、医疗等领域提供超级计引服务、数据挖据、信息分类);劳动与社会保障(社会保障算功能,发挥空前的作用,餐如:片设计厂可以将他们在运与绿色夷运:电子商务与电子政务;远程教育与远程医疗从而大大节省了产品面市的时间:汽车制造厂商可以利用数字图书馆:超级视频会议;娱乐产业的特殊效果设计等网格进行模型的模拟测试,从而取代原来的电路测试和风6结束语洞试验,降低了汽车的成本;气象中心利用网格进行卫星图像的快速分析,可大大提高气象预报的准确性和时效性;在网格正在成为越来越重要的研究领域,被称为是下金融行业,网格在风险抵抗等方面有很好的作用;在基因工代的web技术。尽管网格技术的研究还有许多问题需要解程领域,药物分子模拟、药物研究、基因测序等都离不开网决,但随着网格体系结构、网格操作系统、安全认证及协议格。以基因治疗为例,目前医院无法通过DNA对一个病人标准的不断深入研究,网格必将成为一种关系科研、经济做病理分析,但是,如果网格技术能够普及,则会提供无限教育、社会、国防的重要国家基础设施成为连接和统一各的计算空间,将使这种诊治变为可能。类不同远程异构资源的一种网络计算模式]。网格的研究应(2)利用网格智能信息处理功能,为用户提供一体化的用将网格从以科学与工程计算为中心的学术研究领域,扩智能信息服务。实现全面的信息资源共享,解决信息孤岛展到更广泛的以分布式系统服务集成为主要特征的社会经问题,使用户通过单一入口访问所有信息资源。网格的智济活动领域,从而引发万维网( World Wide Web升华为网格能信息处理功能有助于实现电子政务的一站式办公,电子 Great Global Grid,即GG取代wwW,它不仅对信息资源商务的一站式服务;完成生命科学在网格上实现现代生物的获取、传输、共享和利用带来一场革命,而且必将对人类信息资源、各种基础地理数据等资源全面共享:有利于组建的生产和生活方式带来巨大的变化统一的劳动与社会保障系统,将已有的社会保障系统、养老参考文献:金系统、医疗保险系统和公积金系统等连接起来,组成统一的社会保障和市民服务平台:有助于建设功能强大的超级1oer. Kesselman C. The grid: Blueprint for a new comput视频会议系统、数字图书馆和远程教育系统。infrastructure[D]. San Fransisco, CA: Morgan Kaufmann, 1999(3)企业界对网格的研究更注重商业应用,在其相关研徐志伟,李伟.织女星网格的体系结构研究U]计算机研究与发展,2002398)923-929究开发工作中最重要的就是 Web Service技术 Web Service[3]都志挥,陈渝,刘鹏网格计算M.北京清华大学出版社,的目标是将运行在通过 Intranet或 Internet连接的分布式服2002.务器上的应用集成在一起,构架松散耦合的企业应用和业(4) Foster I, Kesselman C, Tuecke S. The anatomy of the grid: ena-务流程,有效地提供内容服务、计算服务、存储服务交易服bling scalable virtual organizations [J]. Intemational Jourmal of务等。以企业应用为背景, Web service架构在网格基础之115(3):200222上,从底层的资源整合,到高层的应用集成,网格为 Web set-中国煤化工(下转第1691页)1688CNMHG新并做相应日志记录:针对本部门系统中不存在的记录则网络中心的等等。数据修改则是为了纠正共享数据库中发在本部门系统中建立新的档案数据。由于具体的业务工作现的信息错误,以便为别的部门提供正确的信息导向。数般都在基层单位进行,所以核对过的数据集能够通过本据删除提供整个数据库的删除、有条件的删除、个案删除等部门网络系统发送到相关基层单位,由基层工作人员来对删除功能。在实际工作中,各部门网络系统数据库中往往该数据集进行确认,利用准确的信息来提高工作质量保存历史信息来开展相关工作,但在共享数据库中,只需最数据的共享与共享数据库的管理新的数据信息供相关部门参考即可,因此,共享数据库中的数据需要经常更新在互连共享平台系统中,各部门在利用其他部门数据的同时,要针对其他部门对本部门系统数据的需求收集本5广东省南海市互连共享平台系统部门系统数据库有关数据发送到网络信息中心,提供给别通过对上述方案的严密研讨,在国家信息化试点城市的部门共享使用广东省南海市的网络信息中心建立了“互连共享平台系统”提供给其他部门所需求的信息的数据流程图如图3所该系统连接了公安、民政、防疫、卫生、计生等多个政务网络系统,目前在该平台上开发的计生部门子系统已经正常运行。计生部门用户通过网络中心的注册认证之后登录平台本部门网[他部门带求伯息系统,根据本部门业务特点有条件地查询和接收其他部门络数据库数据收集、审核的信息,比如计生部门的工作对象是育龄妇女,在接收信息开的共享数据时,年龄、性别不符的数据首先被过滤除去。数据接收后互连通讯平台根据计生部门的业务要求进行校验和核对,核对结果可以发送到具体的基层单位去核实确认来提高计生部门的工作绩效。计生部门的用户在使用该平台系统时也有级别权限之分,高级的用户可以将工作中的数据下发到基层用户手门共亨数据库中,计生系统向网络信息中心发送数据以及进行相关的数据维护都需要特定级别的用户权限,以保证工作的安全性图3其他部门信息的数据流程图南海市“互连共享平台系统”的成功运行,证明了采用局部数据集成技术构建互连通讯平台,在平台基础上开发数据收集与审核部门子系统进行数据加工处理,从而实现政务网络信息系依据其他部门对本部门系统数据的信息需求,子系统统异构分布式数据库之间信息互访的方案是切实可行的要从本部门网络数据库中提取出相关数据,以数据集形式预定制条件过滤、业务校验与核对、多级信息确认等共享信保存下来。该数据集要经过有审核权限的用户审核,才能息高效利用技术在实际工作中也得到了用户的肯定。该方真正发送到网络信息中心实现共享。在实际工作中相当于案在南海市的实施为其他城市的政务网络系统互连提供了有关领导的审批签字,这样就保证了待发送数据的安全性定的参考价值4.2数据发送审核通过后的数据集由具有发送权限的用户发送到网络信息中心本部门共享数据库中,提供给其他职能部门共]庄鸿棉数据库系统应用技术M北京中国科学技术大学出享使用43共享数据库的管理[2] North K. Windows multi- DBMS programming[Z].1995在互连共享平台系统中,各部门应该能够对本部门的3]张心耘张京生郑晓军异构数据库互连的设计方法]计算共享数据进行有效的管理,要有相应的数据查询、修改、删机工程与应用,19989)除等功能。通过数据库查询可以了解在共享数据库中本部4孙志挥,金远平,白义传分布式异构多数据库的集成技术门门共享了哪些数据信息、何时的工作数据、何时收集上传到计算机导刊,1993,(2)(上接第1688页)[5] Foster I, Kesselman C. Globus: A metacomputing infrastructure世界,2001-112toolkit. ntermational Jourmal of Supercomputer Applications,[7]应宏.网络应用计算模型的演变与发展(J计算机系统应用[6]徐志伟.因特网之后是什么?——网格技术探讨N计算机H中国煤化工CNMHG1691