Agent在Internet中的应用

计算机与数字工程第29卷Agent在 Internet中的应用黄俊勇陈(华中科技大学计算机学院武汉430074)摘要随着 Internet自身的快速增长,在它之上的信息已经使得用户可以无限地进行文档访问,但同时也产生了用户找不到感趣文档的困难。我们提出了一种 Agent系统模型,它可以自动学习用户的访问模式和信息资源的更新模式,将信息主动地推到用户面前,从而最大可能地满足了用户方的需求和减轻了服务方的开销。关键词: agent Internet数据库中图法分类号:TP393The Application of Agent in InternetHuang Junyong Chen Yan( The Computer College, HUST, Wuhan, 430074)Abstract: With the rapid growing of Internet, its users can have almost unlimited access to document on it, butat the same time, it has the problem that users are difficult to find interesting documents We design an agent systemmodel, which can learn users'access pattern and information update pattern by itself and push information to usersSo it contents users'requirements and reduces servers'cost at bestKey words: agent, Internet, databaseClass number: TP3931引言mazon等提供了搜索引擎使用户在网页上给出一定的条件来查找信息。我们将提出一种在最近的几年中, Internet获得了爆炸新型的 Agent系统工具,它能自动发现用户式的增长,每天有大量的信息和主机涌入In的访问模式,并对信息的源文件进行管理,从ternet之中。在 Internet之中可用的信息是而提高效率。巨大的,但有一些老的信息被定期或不定期地更新,对个人来说他是不可能追踪所有这2相关的工作些信息及它们的变换的,为此我们必须提供年产计兮和风终用户感兴趣的些软件工具来帮助用户检索、定位和管理领域中国煤化少研究者的注CNMH网页文档。著名的商业网站如 Altavista、A意,产日,我们对它们进行收到本文时间:2001年7月18日第29卷(2001)第5期计算机与数字工程43了分类需求。·基本工具agent是高级工具中应用最广泛的方它们是用户上网所必备的工具,如网景·式,它的目标在于既能通知用户最近的更新的 Netscape和微软的I,它们在用户的直接和相关信息,又能理解信息资源的行为,使得命令下检索网页,用户通过输入URL来对系统能够匹配信息交互双方的需求和行为网页进行定位。在这篇文章中,我们设计了一种 Agent模型,·初级辅助工具:它通过对用户历史记录的研究来实现目标。他们为用户发现相关网页提供了初始化的应用这就是通常所说的搜索引擎例如搜3一种 Agent系统模型狐和雅虎。大多数这样的工具通过在 Inter在这一部分,我们描述了一种模型来实net网上漫游以生成大量受欢迎的网页的索现智能 Agent的目标—让用户以最小的努引。用户向搜索引擎提供感兴趣的主题关键力获取最多的信息并且系统资源占用最少。词,搜索引擎将匹配的网页信息反馈绐用户。(1)定义需求但是随着网络的巨大增长,搜索引擎受对于一个系统我们有如下需求欢迎的程度正在降低,因为它们对于一个单①系统应能了解信息资源的更新模式,个的搜索返回了大量的网页,对于用户来说,它应该通过学习知道信息资源文档的更新时在网页列表中找到相关的信息是件费时的工间,并在用户对文档进行需求之前预先检索作它们。中级自动工具②系统应能自动发现用户感兴趣的主为了解决搜索引擎存在的问题,许多研题,也能知道随着时间的推移用户兴趣的转究者投资于自动机这种工具,例如Web-换方向,当系统帮助用户在 Internet上发现watcher和SIFT,它们是 Agent的初级形式,有关信息时,对于用户兴趣如何的知识将派它们可以利用用户的配置文件,如SIFT能上用场。自动根据用户的配置去匹配最新的新闻,找③系统应能有效地利用网络,避免因过到用户感兴趣的文章并以Emal的形式发分搜索而引起的网络阻塞,或负担过重,对于给用户。多个用户的搜索目标应能集簇。这种工具的优点在于它们能执行大多数④系统应能维护其自身的数据库,利用有用的任务,例如统计分析、维护、镜像等。数据挖掘技术来发现和存储用户的访问模式然而它们也有大量的缺点,例如它们通常需及相关的感兴趣的文档的集合。要相当大的带宽来进行操作,这样就导致了(2)系统结构概述:网络的过载带宽短缺和维护代价的上升等我们的系统用增量机制来加强学习能力问题。以帮助用户发现网页。它首先通过分析用户高级工具对网站的访问记录来了解用户感兴趣的领高级工具具有学习和演绎用户配置文件域,然后通过向用户提供网站更新信息来帮的能力,能够推断出用户感兴趣的主题和访助他『V中国煤化工图如图1问模式例如 yan et. al发明了在在线商店领CNMHG像 Netscape或域来记录和学习用户的访问模式的系统,这I这样方便的网络浏览器来访问 Internet个系统利用集簇技术来识别用户的访问模上的网页。在我们的系统中,浏览器与代理式然后重新组织自身的结构以适应用户的服务器相连,从而在一个用户会话期中,所有Agent在 Internet中的应用第29卷的HTTP需求都经过了代理,这样系统就可文件由三部分组成以通过维护访问日志来记下用户的访问过用户D:用来标识用户的特定身份。程感兴趣的主题:感兴趣的主题是一个二元组的集合,每个元组包括两个部分(主题代理丽务器权重)例如(飞机,0.5),权重越大,表示用户感兴趣的程序越高。定期访问模式:有些文档是大量用户的文蕾理器共同需求,例如新闻,股票信息等,这些文档彬号厍是有时间性的,并且定期刷新,定期访问模式记录文档的地址和定期的时间,监督 Agent⑥通过它们来预先取得文档以方便用户使用。⑤监督 Agent:监督 Agent监督包含兴趣文档的特定的网站和网页,它有两种功能。是对于用户能够指定那些要更新的文档,监督 Agent定期地进行访问并学习信息源的图1系统结构图②代理服务器:用户通过代理服务器和更新模式,即一个网页多久更新一次及何时更新,根据这些知识,监督 Agent安排将来对系统通信,当用户发出一个HTTP需求时这些网页的检索并保证在文档数据库中存储这个需求被向前传递到代理服务器上,然后的是它们的最新版本。另一个功能是安排预它将用户所需要的文档反馈给用户。被检索先存取那些经常被用户访问的网页。的网页通过文档管理器存储在文档数据库⑥搜索引擎:搜索引擎执行的是在In-中。当代理服务器收到一个HTTP请求时,ternet上快速漫游的功能,在网页探测中遇它首先检查文档管理器,看所需要的文档是到的感兴趣的文档被保存到文档数据库中,否已经缓存在文档数据库中,如果在的话,就然后被编排索引。在这个原型中,搜索引擎将本地拷贝反馈给用户,否则的话,它将访问的实现是采用面向目标的方式,利用学习AInternet代理服务器将用户的执行信息记gent生成的用户配置文件,特别是感兴趣的录到日志中,每个用户需求产生一个用户记主题来驱动,尽量避免访问那些与目标无关录这个记录由用户D、访问地址、访问时的网站和网页。间、检索文档的摘要组成。学习 Agent将会(3)发现模式的过程:利用日志信息来构造用户的访问模式在我们的 Agent系统中,学习 Agent是③文档管理器文档管理器是访问文档重要的部分。对于客户方来说,学习 Agent数据库的接口,它负责存储和检索被系统存通过两种方式,交互的方式和静止的方式来储的文档,这些要根据用户的HTTP请求和学习,从而有能力识别用户的访问模式。而系统初始化的结果来设定。存储文档的超文对于服务器方来说,它能发现收集的网页的本结构被重新构造的链接代替。数据库也维更中国煤化工④学习 Agent:学习 Agent通过分析代一是交, CNMHG学习有两种方式,护对文档的全文索引。秤力八促且接,它提供一种图理服务器创建的访问日志来发现用户的访问形用户接口,允许用户直接输入一套他们感模式,它为每个用户产生一个配置文件,配置兴趣的领域的关键词,这些关键词被存储到第29卷(2001)第5期计算机与数字工程用户配置文件中,以便将来查找网页。举例是一个参考网页,其相关性被降低,从它中间来说,用户可能会输入“数据挖掘”和“ Inter-抽取出来的关键词的权重要降低。net",于是在配置文件中产生二元组(数据挖②在一个会话中最后访问的文档很可能掘,0.5)和( Internet,0.5),代理将会在搜索是内容文档,为了识别它们是不是内容丰富时反馈给用户一些有关“数据挖掘”和“ Inter-的文档,从访问日志中我们构造了一个包含net"的网页,通过用户对列表的进一步挑选,浏览器前后浏览关系的运动图,在访问日志学习 Agent可能会发现用户感兴趣的是将二中的每一个文档是图中的一个节点,如果用者都涉及到的网页,于是要考虑逻辑条件户从一个文档转到另一个文档,那么就生成AND,OR,NOT的运用,将它们嵌入到主题条边。在运动图中,游历的过程被标识出之中,于是将原来的二元组删去,生成新二元来,一条路线是从用户的主页出发为开始到组(数据挖掘 AND Internet,0.6)。如果用户个向后动作的产生为结束。通过决定访问开始时不输入任何关键词,系统也可以在开日志中所有的向后浏览的运动来识别所有的始提供大量的网页让用户作选择,从而起到路线。一条路线作为一个浏览会话看待,离初始化的作用,然后再进行上述的步骤。个会话末尾最近的文档有可能是一个内容第二种方式称为静止的方式,这种方式文档,如果一个文档被认为是内容丰富的文利用了代理服务器生成的日志记录,通过对档,那么它的相关性要提高,其中的关键词权记录的研究,来发现用户的访问模式。在日重也要提高。志中包含的是大量没有经过处理的信息,为③一个节点有可能是一个广告节点,即了发现用户的访问模式,我们必须经过下面它可以有很多个不同的前一页,从很多节点的三个步骤来对数据进行处理浏览器都能指向它。根据b中的运动图,我第一步:学习 Agent将处理每个在用户们可以采用与a相同的定界限值的方法来进访问日中记录的文档全文,产生一套二元组,行判断,然后对关键词的权重进行调整。例如二元组(飞机,20)、(战斗机,10)就可能④从访问日志中能估计用户在一个文档是从一个航空文档中抽取出来的,然后根据上停留的时间,一个停留时间很短的文档很词数在全文中的比例,乘以一个固定系数来可能只是一个过渡页,我们也可以设定一个生成权重,例如(飞机,0.24),(战斗机,0.界限值,小于这个值的文档的相关性被降低,2)其中的关键词的权重被降低,反之就按比例第二步:在第一步中产生的二元组可能进行提高。可以直接用于发现用户感兴趣的主题,但它总的来说,第二步的输入是第一步的原们之中存在着大量的干扰信息,举例来说,有始二元组集合,经过内部的启发性规则的修些网页不向用户提供任何信息,它们被访问改,输出的是权重经过调整了的二元组集合。只是因为它们之中包含了大量的参考超链第三步:这是最后一步处理过程,在这接就像搜索引擎的结果网页一样,因此学习步中使用了集簇的技术来产生主题,我们对Agent必须决定每个网页的相关性,利用下任意两个二元组中的主题的相似性进行测面的启发式规则来修改权重中国煤化工的差距越小,当一①一个包含了大量URL的网页很可能个CNMH它与前面的集簇是一个参考超链接的指导性网页,我们可以的中心进行测量,仅当它与中心的距离超过预先规定一个界线值,如果一个文档中包含定限度的时候才吸收它,它自身产生一个的超链接数超过了这个值,那么它就被认为新的集簇,否则就放弃。(下转第56页)数据仓库在现代企业中的应用与安全问题第29卷段,以统计分析技术作为分析数据和提取信出现1使用密钥息的有效方法,以人工智能技术作为挖掘知出现2识和发现规律的科学途径而得到广泛应用并出现3进行加密迅速地发展成熟。数据列A网络环境下对数据库数据仓库的安全现4使用密钥保护措施与单机环境下数据库的保护措施以出现5Y及网络上消息通信的保密机制有着很大的不同,为了实现更小粒度的安全保护,达到更高出现6进行加密的应用性能,需要对现有的安全机制作不断图2对同一个数据的不同出现场合的改进并设计新的安全机制。使用不同的加密密钥数据库数据仓库环境下对数据库表的参考文献不同列以及对同一个数据的不同出现场合进1萨师煊,王珊.数据库系统导论高等教育出版社行不同的加密处理的功能能够在更小的粒度2汪永生,邵惠鹤过程工业中的数据仓库技术展级上为数据库数据仓库提供安全保护,并相tE. Proceedings of the 3 d world congress on Intelli应提高数据库数据仓库的应用性能与使用gent Control and Automation范围。3 Christopher Harmon. Safeguarding the Data Ware-house. Computer Fraud Security June 19984总结Park Kyung, Favrel Joel. Virtual Enterprise-Information System and Networking Solution. Com现代企业面临的是激烈的市场竞争、大puter Industrial Engineering量的实时与历史数据以及更加大规模的生产5 Mario Platini, Jose Antonio rodero. Auditing Data运行机制,应运而生的数据仓库以传统的数Warehouse Security. 1999 IEEE据库技术作为存取数据和管理资源的基本手(上接第45页)更好的方法涌现出来用于网络应用之中。通过这种方法来减少二元组的个数。参考文献[1]M. S Chen, J S Park, P. S. Yu, Data Mining for4小结path traversal patterns in a web environment, Pro-在这篇文章中,我们构造了一个 Agentceedings of the 16th International conference on的系统模型,对它在网络中的运用方法、原理Distributed computing system. HongKong, Ma1996,pp.385-392进行了描述,并展示了它的广泛用途,通过我[2]李旸,吴国栋利用代理服务器实现 Internet访问们的构造,希望起到抛砖引玉的作用,让更多计算机系统应用1999年12期中国煤化工CNMHG