InforBroker在国税应用整合中的应用

CN43-1258/TP计算机工程与科学2006年第28卷第2期ISsN1007-130XComPuter enGInEERING ScieNCEVol.28,No.2,2006文章编号:1007-130X(2006)02-0010103Infor broker在国税应用整合中的应用Application of InforBroker in State AdministrationTaxation Application Integration王东1,李若梅2,谭庆平2,陈大峰2WANG Dong, LI Ruo-mei, TAN Qing-ping, CHEN Da-feng(1.东南融通公司,福建厦门361005;2.国防科技大学计箅机学院,湖南长沙410073)(1. Longtop Group, Xiamen 361005; 2. School of Computer ScienceNational University of Defense Technology, Changsha 410073, China)摘要:本文分析了发布/订阅消息中间件 InforBroker的核心机制,并在此基础上针对国税应用整合项目的特点,设计了—个基于 Inforbroker的核心数据交换平台,并对其进行了详细阐述。该平台支持动态的数据集成,并使系统具有松耦合性和易扩展性,较好地满足了系统的需求。Abstract: This paper analyzes the core mechanism of the publish/ subscribe-based message-oriented middleware(MOM)product Infor Broker, and discusses the design of the Data Exchange Platform of the state administration taxation applicationntegration project, which is built upon InforBroker to support dynamic data integration and improve flexibility and scalability to meet the specific requirements of the project关键词:发布/订阅;消息中间件;应用整合Key words: publish /subscribe; message-oriented middleware; application integration中图分类号:TP311;F812.4文献标识码原有系统的影响和配置管理的复杂性。1引言(2)存在数据复制需求。省数据中心抽取全部21个业务系统数据,而市数据中心只从其中的11个业务系统抽取数据目前,计算机软件已经在国税系统中得到了广泛的应这就要求将两级数据中心重复抽取的数据做数据复制处理用,全省(山东省)十多个市局都已分别应用数十个业务系并在两者不同时在线的情况下,保证数据更新的一致性统,实现了对眢自下辖县级局和分局中大量涉税数据的集(3)苛刻的数据传输要求。省国税项目需整合的数据分中管理。现在,为解决业务系统间的数据共享问题,省局希布在十多个地市中,每个地市都包括金税工程等数十个业务望通过国税应用整合项目,在原有的各业务系统之上进系统,项目要求对这些分布的、异构的大规模数据进行批量、实步建立全省统一的数据处理分析和应用平台,利用数据仓时和异步的数据传输,并保证数据传输的性能和可靠性库技术实现对全省各类涉税数据的加工、统计和分析,以便针对项目的特点,传统的数据ETL技术在实现上都存对全省的税务情况进行宏观决策和分析在开发工作量大、实施复杂、难以扩充、广域网中的传输能与常见的应用整合顼目相比,该国税应用整合项目存力较差等问题。本文将中创软件公司自主研发的、基于发在以下几个技术难点布/订阅的消息中间件 Inforbroker应用到省国税应用整合(1)必须具有良好的可扩充性。项目分为三期,由省到的数据交换平台中,利用其灵活、高效的消息传递,实现了地市逐级实现,应尽可能容纳原有应用系统,方便新应用系各业务系统—市局—省局的三层数据集成和共享,同时保统加入,系统升级时可以最大程度地重用原有系统,减小对证系统具有良好的可扩充性,满足了系统的需求中国煤化工收稿日期:2004-09-24;修订日期:2004-10-25CNMHG金项目:国家863计划资作者简介男,湖北松研究方向为分布计算和企业应用集成;李若梅,硕士生,研究方向为分布计算和企业通讯地址:361005福建省厦门市软厦A栋东南融通公司研发部;Tel:(0592)5171518(H),13799780587; E-mail:wang_Address:R&D Section Longtop Group, Part A, Chuangxin Building, Software Park, Xiamen, Fujian 361005, P RChina可以有多个消息发布者和订阅者,客户端的消息通过上2 InforBroker概述层的IB进行传递。为了解决单点失效问题,采用了基于主/从( Master/ Slave)模式的路由算法2.1发布/订阅消息中间件的原理Domain A近年来,基于发布/订阅(PS)的消息中间件(MOM)因其支持在广域网环境下松耦合系统间动态、异步的数据传递且具有良好的可扩展性而成为研究的热点。P/S消息中间件的原理如图1所示。PushSubscribeIB2失效后Client aClientClient 3 Client 4 iClient Bsubscribe Client D图1发布/订阅通信模型图2IB拓扑结构及路由示意图消息发布者和订阅者分别同MOM进行通信:消息发这种路由算法把所有的IB分为主代理和从代理两类布者将包含主题的消息发布( Publish)到MOM;消息订阅在一个逻辑消息域( Domain)中可以有多个主代理和从代者向MOM订阅( Subscribe)自己感兴趣的主题。MOM对理。以图2为例,在IB2和IB3所组成的域( Domain b)中双方的主题进行匹配后,不断将订阅者感兴趣的消息推设IB2为主代理,1B3为从代理。当IB3接到 Client:3发布(Push)给订阅者,直到订阅者向MOM发出取消订阅(Un-的消息时,它只需发给主代理IB2,由主代理负责把这一消subscribe)的消息。由此看出,通过MOM实现了发布者和息传递给它下层的所有IB,每个IB再向下发到所有与之订阅者在三个方面的解耦21相连的邗B。当有 Client订阅该消息,则将该消息发布给(1)时间解耦:发布方和订阅方无需同时在线就能够进它。图2表明,IB2既是 Domain a的从代理,也是 Domain行消息传输,消息中间件通过存储转发提供了这种异步传B的主代理。当IB2失效时,B3可以被提升为IB2的身份输的能力(如虚线所示),成为 Domain b的主代理,从而解决了层次(2)空间解耦:发布方和订阅方都无需知道对方的物理式拓扑的单点失效问题地址、端口,甚至无需知道对方的逻辑名字和个数(4) InforBroker具有可靠性、优先级、时间约束和内存3)流程解耦:发布方和订阅方在发送和接收数据时并管理等丰富的QoS特性,为各种不同的应用需求提供了不阻塞各自的控制流程较为完善的支持;通过认证和授权等安全机制,保障了分基于发布/订阅模型的消息中间件,我们称为发布/订布式环境下消息传递的安全。此外, Infor Broker也支持阅消息中间件,它满足了当前分布式环境下的消息交换要Push和Pull两种消息交付模式求, InforBroker就是其中的一种2.2 Inforbroker的核心机制3数据交换平台的设计及实现InforBroker是中创软件公司开发研制的一种基于发布/订阅的、面向分布式应用的消息中间件,它为因特网和3.1数据交换平台的总体结构大规模内联网环境下分布式应用的快速开发、部署、运行提省国税应用整合通过在各地市局中心部署的市中心数供了灵活和易用的支撑平台据交换平台来实现市、省数据中心(数据仓库)及各地市数InforBroker包括以下核心的发布/订阅机制据交换平台的连接,进而实现全省涉税数据的有效交换和(1)基于ⅹML的数据模型。数据模型决定了消息发共享,如图3所示。布的语法采用XML这一半结构化的数据表示方法可以省cTAS应用系統省数据交换平白很容易地将XML的文档描述与关系数据库中的属性对应起来,实施精确的查询与抽取(2)基于主题或 XPath的消息订阅。消息订阅者可以匝数据交平)(据交平通过消息的主题向 InforBroker订阅感兴趣的消息;另外对应 InforBroker的XML格式的数据模型,消息订阅者可CTAIS应用系统市金税应用系统以通过 XPath向 Inforbroker进行准确或模糊的订阅。基3数据交换平台层次图于主题的订阅方式简单有效,在广域网环境下进行批量的交换平台丰勇申话配器层、消息总线等两层构成消息发布和订阅时,能减少开销,提高性能。而基于 XPath这两中国煤化工的消息订阅提供了更好的表达能力,但性能也随之下降。CNMH源适配器和目的适配器所以,这两种方式相互补充为消息订阅者在不同条件下的由可视化建模工具来建立。源适配器根据数据源中有价值订阅提供了多种选择的数据和数据关联进行数据抽取主题的定义,以及对数据(3)层次式的拓扑结构。图2就是一个简单的层次抽取的策略对数据格式、内容的转换;目的适配器则根据式拓扑例子,从中可以看出,每一个 InforBroker(简称IB)102省或市级数据中心的数据仓库的要求,将订阅得到的数据利用 Infor broker的发布/订阅机制解决动态、异步、松耦合存入数据仓库中及易扩展等关键性问题2)消息总线。消息总线利用 InforBroker的发布/订(1)提供了良好的可扩展性。利用发布/订阅机制的松阅机制,以异步、松耦合方式实现眢业务系统之间,及业务耦合性,当岀现新的需求时,可以直接重用已有的数据交换系统与省、市数据中心之间的数据交换平台来快速实现利用 Infor Broker所组成的消息代理集群将各业务系例如,当需要增加新的业务系统、业务部门或数据源统和省市两级的数据中心平台异步、动态地连接在一起,其时,只需将所需的数据映射为新的主题,并让适配器发布和松耦合的特性满足了各业务系统的自治性和扩展性订阅这些主题即可。由于发布者和订阅者无需知道对方的3.2数据交换平台的工作原理任何信息,因此在 InforBroker建立新的主题后,就自动形图4给出了利用数据交换平台进行数据交换和共享的过成了这些适配器之间的数据传输通道,从而避免了消息队程,其中包含业务系统数据交换平台、市和省级数据中心等实列模式中所需的复杂的队列创建配置和管理等问题同时,这种异步、动态的连接使得在局部系统出错时可以更方便地进行隔离和恢复,保证了整个系统的强壮性和可靠性。市数据中心省数据中心(2)方便地解决了市数据中心到省数据中心的数据复制问题。发布/订阅模式的另一个好处是可以直接用来实目的适配器目的适配器现数据复制。和消息队列不同,同一个主题的订阅者和发数据交换平台;布者是一种多对多的关系。因此,只要将需要复制的数据映射为特定的主题,然后让省数据中心平台和市数据中心TB集群同时订阅这个主题,就能够实现数据复制的功能了。这极大地减轻了集成开发所需的工作量和数据交换平台的工作负载,同时减少了对业务系统的影响。(3)保证了大规模分布式环境下的数据传输。利用集群市局21个业务系统省业务系统和消息域实现了数据的分级、分类传输,均衡了数据交换平台适配器源适配器的传输负载,提高了数据传输的性能和可靠性。一个特定消息发布域允许有多个主代理,以此来均衡该消息域内消息的传输负市21个业务系统…市21个业务系统省业务系统载。由于某个代理既可以是某个消息域的主代理,也可以是其它消息域的从代理,因此消息域在逻辑的分离和交互中提高图4税务网数据传输过程下面通过一次数据传输过程来详细说明数据交换平台了消息共享的性能。当某代理失效后根据路由算法实现代理的工作原理网络的动态重排,大大提高了数据传输的可靠性1)数据由源适配器抽取、转换并发布。为了从市局和省业务系统中抽取有价值的业务数据,必须为每个业务系统构厦4结束语适配器,根据业务量的情况,从整体上规划业务数据发布的分级主题,确定适配器部罟的实例数量;源适配器会将业务系统中有价值的业务数据打包为XML消息,通过数据转换构件可以将业务系统企业应用和数据整合是当今企业的一项重要工作,本文的数据从格式和内容上做出转换,以符合数据中心的要求,最后发分析了基于发布/订阅的消息中间件 Inforbroker的核心机布给发布方本地数据交换平台中的 Inforbroke制,并把它应用在省国税应用整合项目中的数据交换平台源适配器传来的数据然后放到消息队列依据消息的Q③s厲性进中,满足了分布、异步、动态、易扩展及松耦合的数据整合要行消息的排队和存储:按照订阅者订阅的主题的情况和QS进行求。对同类环境中业务数据传输的解决有一定的参考价值。心平台的 InforBroker参考文献订阅方 InforBroker接收到来自IB集群的大量数据,将其存储到Inforbroker的数据库中,并发布给目的适配器[1 K Geibs. Middleware Challenges Ahead[J]. IEEE Comput(4)目的适配器过滤、转换后存储数据。目的适配器按照数据中r,2001,34(6):24-31心的需求构造,可向本地 Inforbroker订阅相应的主题业务数据并根2] P T Eugster, P Felber, R Guerraoui,etal. The many faces据性能的情况调整目的适配器部署的实例数量。目的适配器接到订阅的消息进行过滤、转换和整合后,将数据存储到目的数据库中of Publish/Subscribe[J. ACM Computing Surveys, 2003, 35通过以上步骤完成了数据从发布方业务系统到订阅方(2):114-131自各业务系统的数据以及关联数据建立符合信息分析要/八个), th Plale. Survey of Publish Subscribe Event Sy数据中心的信息集成和传输任务。数据最后在以数据仓库echnical Report TR 574, Department of Computer为主的市、省级数据中心汇总,数据仓库以主题形式存储来Indiana University, 200中国煤化工模式和系统结构:[硕士学位求的数据模型,建立自动数据处理机制,为决策分析提供完整、统一、准确的数据来源CNMHGurity Issues an3.3 InforBroker在数据交换平台中的关键作用quirements for Internet-Scale Publish-Subscribe Systems可以看出, InforBroker在税务网的数据传输和共享上LAJ. Proc of the 30th Hawaii Int'I Conf on System Sciences发挥了重要的作用。下面具体阐述在国税应用整合中如何(HCSs35)[C1.200203