基于PLS和GAs的径基函数网络构造策略

1000-9825/2002/13(08)1450-06C2002 Journal of Software软件学报Vol.13, No.8基于PLS和GAs的径基函数网络构造策略'赵伟祥，吴立德(复旦大学计算机科学与工程系,上海200433)E-mail: weixiang_ _zhao@ 263.nethttp://www .fudan.edu.cn摘要:鉴于传统径基函数网络(radial basis function network, 简称RBFN)构造策略的不足，提出了基于偏最小二乘法(partial least squares,简称PLS)和遗传算法(genetic algorithms, 简称GAs)的RBFN构造策略和一种更有效的径基宽度取值方法.在这个集成构造策略中,PLS克服了K-Means 算法求取径基易陷入局部最优的弊病，并使合成径基比由正交算法获取的径基更具代表性;而所提出的径基宽度取值方法和GAs则为网络性能和结构的实质性改善与优化提供了保障.实验证实了基于PLS和GAs的RBFN构造策略及所提出的径基宽度取值方法的优越性、可靠性和有效性.关键词:径基函数网;聚类;正交算法;偏最小二乘回归;遗传算法中图法分类号: TP183文献标识码: A在众多的神经网络中,径基函数网(radial basis function network,简称RBFN)已在模式识别、时间序列预测及故障诊断等领域得到了广泛应用".构造径基函数网的关键是确定径基个数、径基向量和每个径基的宽度.传统的构造方法是K-Means聚类算法和正交学习算法(orthogonal learning algorithm, 简称OLA)2.31然而在K-Means算法中，径基数目是经验值，径基向量的求取又极易陷入局部最小;而OLA则无法保证所选径基能够反映训练样本集的全部信息.为此有学者提出采用遗传算法(genetic algorithms,简称 GAs)来获得径基向量及径基宽度",但这将耗费巨额的搜索时间.本文提出了一种基于偏最小二乘法(partial least square, 简称PLS)和GAS的RBFN构造策略,以克服常规RBFN构造策略的不足,并把由此得到的网络称为偏径基函数网(PRBFN).另外,为了充分利用样本空间分布信息，本文提出了一种更有效的径基宽度取值方法并通过它与GAs的结合有效地解决了网络构造中的两个耦合问题(给定网络结构,如何使网络精度达到最高;给定网络拟合误差.上限，如何使网络结构趋于最简,并在这个最简结构的基础上使得网络精度达到最优)，从而为PRBFN的最优设计提供了根本保障.本文最后通过一系列的实验证实了该RBFN集成构造策略以及所提出的径基宽度取值方式的优越性、有效性和可靠性,也为今后更广泛的应用提供了依据.1常规RBFN构造策略.标准RBFN通常是-种两层前传网121网络输入层接收外来信号,输入层与隐层间的权向量w;对应于径基向量c,输出层则对隐层输出加权求和.整个系统可用一个插值函数f(x,)来描述(以一维输出为例):f(xr)= Ev exp(-I|x-c1|/o}).(1);收稿日期: 2001-05-28; 修改日期: 2002-01-10中国煤化工基金项目:国家自然科学基金资助项目(69935010).MHCN MHG.作者简介:赵伟祥(1973 - ), 男,浙江绍兴人，博士，主要研究领域为神经....中心.工六立德(1937-),男,江苏.宜兴人,教授,博士生导师，主要研究领域为图像处理,模式识别计算机视觉,文本处理.赵伟祥等:基于PLS和GAs的径基函数网络构造策略1451式中x为输入样本向量(注:本文所指的样本向量以及由其产生的中心向量和径基向量均为行向量),II.II为欧氏范数, m为径基数目，v,为隐层至输出层的权系数,σ?为宽度参数.在OLA策略中，径基向量c,由正交算法选取所得",σ?往往取相同的值,显然,我们无法保证被选径基能充分反映样本集信息;而在K-Means 算法中,由聚类求取径基向量c;又极易陷入局部最优,其σ? -般按下式计算[2: .σ?=→E(x-c)(x-c)".(2)式中，M;是属于第i类的样本个数,c;是该类的中心向量,θ,是属于该类的样本子集显见上述两种构造策略中的不足都会影响网络的最终性能.其实，如果将所有样本都作为径基(暂称其为样本径基,而所在的隐层则可称为样本径基层),就无须通过聚类形成径基而且该径基层所含的信息是最充分的但随之而来的问题是:(1)网络模型的过拟合;(2)如果有样本靠得很近，则会使最小二乘(east squares,简称LS)求解输出层权系数的系数矩阵病态甚至奇异.为此,本文将采用多元统计方法来解决上述问题.将线性统计方法与径基函数相结合的研究已始有报道4.51,但这些研究的主要目的是拓宽线性统计方法的应用范围，而且也没有对模型关键参数的选取作深入探讨.因此,本文将分别采用两种常用的多元统计方法，主成分分析(principal component analysis,简称 PCA)和PLS对样本径基进行成分分析,并将性能较优的方法与GAS 相结合，提出RBFN 的集成构造策略,而后对径基宽度等关键参数的取值作深入探讨,以寻求一条 确定参数的有效途径.2基于PLS和GAs的RBFN构造策略2.1 PCA和PLSPCA和PLS都是非常有效的数据降维和特征提取手段,已有很多文献对它作了详细介绍0-81.PCA或PLS成分矩阵T = .+....t.)与原自变量矩阵X的关系均可写为T= XP3)其中P为转换矩阵.但从与因变量的相关关系来看在成分提取过程中,PCA并没有考虑自变量与因变量的关系，而PLS却保留了较多的与因变量的相关性，显然这对回归模型是有益的.在下文的实验中我们可以发现PLS.较之PCA的优点.2.2 PLS在网络构造的作用PLS对样本径基层的输出进行降维处理(PCA作用相似,故不另加说明).我们将由此得到的合成径基(synthesized radial basis, 简称SRB)称为PLS径基,形成的网络称为PRBFN,其结构如图1所示.现参照图1 将PRBFN的结构Output layerB及训练过程简述如下(假设有m个训练样本):v(1)将m个训练样本构成由m个节点组成的隐层(样本径pSRB layeP基层),其权向量w;即样本向量x; .这样m个样本经过隐层就形成一个mxm的输出矩阵A，其元素aj( ji=....n)可按式Hidden layerP(4)求取.wa, =x(1-,-/[/0?).(4)Input layerD(2)输出矩阵A经过PLS产生k个合成径基,并构成合成↑↑径基层.隐层和合成径基层间的权矩阵即为式(3)中的转换矩阵①输入层.②隐层.③合成径基层④输出层Fig.1 The structure of PRBFN图1 PRBFN的结构(3)对PLS成分矩阵和目标Y进行LS回归,求取输出层的中国煤化工权系数Vy, .... .MHCNMHG确定合成径基(PLS成分)数目k的常用方法简述如下,具体JU1452Journal of Sofware软件学报 2002,13(8)●以自变量矩阵或因变量矩阵的某种范数作为判别标准.●以从自变量矩阵和因变量矩阵提取的得分向量的相关性作为标准至此我们已经通过PLS确定了合成径基层的节点数和权向量.2.3径基宽度参数的取值对PRBFN而言,除了合成径基个数外可调节参数只有样本径基宽度σ?鉴于现有宽度取值方法的不足,我们提出-种充分利用样本空间分布信息的有效取值方法.具体步骤见式(5)和式(6).d=一E(x,-x,)(x,-x)",(5)其中d}代表第i个样本x,在空间分布的离散度，θ,是与x最近的N个样本所组成的集合.σ? = μ(d})*,(6)式中σ;为第i个样本径基的宽度, μ是比例参数, a是形状参数.显见由N,μ和a所确定的样本径基宽度取值方法既反映了样本空间分布的信息,又增加了式(2)所示取值方法的多样性和自适应性,从而为研究如何提高网络精度和优化网络结构带来了方便.2.4 GAs在网络构造中的作用上文通过PLS确定了合成径基,同时给出了径基宽度的取值方法.本节将通过GAs来解决PRBFN构造中的两类耦合问题,从而为网络结构的优化提供根本保障.第1类耦合问题就是在给定合成径基个数后,如何获取-组N, μ和a，使网络拟合精度达到最佳.本文提出将PRBFN与GAs结合,以确定最佳方案.GAs在优化问题上的优越性能及其算法已有多处报道19.101这里不加累述.现将解决该优化问题的适应度函数定义为f=1/1+ Exua{x}),7)其中，Eua{x;}表示给定合成径基个数后，网络在N, μ和ax为某一状态时所有输入样本x (i= .2...mn. )的实际输出与它们目标输出的平均相对误差很明显,适应度越大的染色体所对应的平均相对拟合误差就越小.第2类耦合问题则是如何在拟合误差不高于设定值的情况下,使网络规模最小.虽然如第2.2 节所述，合成径基个数可以按统计方法来确定,但界限值的选取却是-个经验问题,为此本文将它与其他3个参数-并优化，以期找到-个最佳方案优化方法仍然采用GAs.,相应的适应度函数则为[J/(k+EuNua{x,)，if ErNμa{x,}<δ,(8)[0.00001,else.其中,k为合成径基个数,也就是该问题的优化目标，ENμua{x, }表示网络在k,N, μ和a为某一状态时 所有输入样本x;(i= .2...n. )的实际输出与它们目标输出的平均相对误差, δ为设定的误差上限.从式(8)可见,如果某个成员(染色体)所对应的网络平均相对误差大于设置的上限,那么该成员的适应度将明显小于任何能满足拟合精度要求的个体所对应的适应度同时对满足拟合精度要求的个体而言，由于E N,ua{x;}<δ<1,所以只有具有相同k值的成员才具有可比性.因此，适应度越大的个体越为我们所需求，而且最终优化结果在理论上能实现以下两个目标:(1)与所有满足拟合精度要求的PRBFN相比,优化结果所构造的PRBFN具有最少的合成径基个数;(2)该PRBFN的拟合误差在同结构PRBFN中又是最小的.与传统RBFN构造策略相比，本文提出的网络构造策略首先克服了由聚类形成径基的随机性其次通过统计方法构造合成径基层,既利用了所有样本的信息,又避免了将所有样本作为径基可能带来的副作用;而所提出的径基宽度取值方法和GAs又为提高网络性能、优化网络结构提供了保障.下面我们将验证基于PLS和GAs .的RBFN构造策略的性能,并对关键参数的取值作详细讨论.中国煤化工MHCNMHG赵伟祥等基于PLS和GAs的径基函数网络构造策略14533实验3.1实验1本实验将通过-个函数逼近的实例来验证基于PLS合成径基的RBFN构造策略的优点用于函数逼近的数据来源于式(9)，具体方法是在区间[0,4]和[-1,1]内分别产生100 个随机数作为自变量x和y的取值，并产生100个相应输出.在这100组数据中选取60组作为训练样本,剩余40组作为预测样本.z=sin(x)+y2.9)我们分别观察基于K-Means 算法,OLA,PLS和PCA的RBFN构造策略的建模效果为了便于比较,基于OLA,PLS和PCA构造策略的各样本径基宽度都取1.具 体结果见表1和表2.Table 1 The modeling effects of RBFNs based on K-Means algorithm and OLA表1基于K-Means算法和OLA的RBFN建模效果K-MeansQOLADNumber ofradial basesDAverage relative error Average relative errorAverage relative errorof self-test四(%)of prediction5(%)of self-test (%)of prediction (%)8123.7068.8382.9618.94103.0558.1817.002016.1022.194.90_5.60 .①径基个数②K-Means算法③正交学习算法④平均自检相对误差,⑤平均预测相对误差.Table 2 The modeling effects of PLS and PCA based RBFNs表2基于PLS和PCA的RBFN建模效果Average relative error ofNumber of SRBDself-test with PLSP(%)prediction with PLS9(%)self-test with PCAD(%)prediction with PCAP(%)7.136.297.40123.594.948.015.86180.330.20.4240.05).20.150.87①合成径基数目,②采用PLS的平均自检相对误差,③采用PLS的平均预测相对误差，④采用PCA的平均自检相对误差⑤采用PCA的平均预测相对误差.从表1和表2可见，基于K-Means 算法的RBFN构造策略的建模效果最不理想另外,由合成径基(无论通过PLS还是PCA提取)所构成的RBFN的精度都优于具有相同径基数目的基于OLA的RBFN.这个现象证实.了合成径基所含信息的充足性以及基于合成径基的RBFN构造策略的有效性.从表2还可以看出，提取相同数目的合成径基，采用PLS所建模型的精度要比采用PCA高.这正说明了在回归问题上PLS较之PCA的优点.所以,下文将PLS与GAs相结合，以确保网络性能的可靠.另外,在实验中发现,合成径基并非越多越好.由于合成径基是由原样本径基作变换后所得,合成径基选取的越多就越接近原样本径基,所以如果用原样本径基直接求输出层权系数就会出现矩阵病态,那么用较大数目的合成径基来求输出层权系数同样会发生矩阵病态，从而影响建模效果.3.2实验2上文证实了PRBFN在建模方面的优势,下面将探讨如何使网络性能和结构趋于最优化.为此，本节设计了两个优化问题,并通过GAs将本文所提出的网络构造策略的性能得以充分发挥.问题1.给定PRBFN的合成径基数目为8,如何提高网络精度.我们分别对两种不同的径基宽度取值方式进行优化,试找出能获取最佳拟合精度的径基宽度(注:为方便讨论,我们把所有径基宽度都取相同值的方法称为“同一法”,而把本文提出的取值方法称为“各异法”).由于σ7反映了径基函数的响应区域，过大或过小的取值都会影响建塔枷甲为了保证优化结果的合理性(主要是防止过拟合现象发生)，我们采取如下方法来设定σ?的中国煤化工准化处理).首先按式( 10)计算所有训练样本间的平均距离dm ,随后按式(11)分别求YHCNMHG.1454Journal of Sofware软件学报 2002,13(8)(10)fr()( for()Low=dm1ρ and Up=d.p1)式中，ρ是比例系数(在本实验中，当ρ =20时径基函数的响应区域已经充分小或充分大了).对于本文提出的“各异法”,可以将各个径基宽度的平均值(M-Width)作为-种表征径基宽度整体状况的方式在GAS的优化过程中,确保每一代 个体所产生的M-Width不超越式(11)所定义的上下限.最后的优化结果列于表3.从中可见经过优化“各异法”在N=15, μ =2.6017, a =0.4546时，网络的平均自检相对误差降至最低值4.96%, 明显低于“同一法”σ?=1时的结果.更令人信服的是，“同一法”经过寻优后在σ7=1.2620时达到最优状态，但它所对应的最低平均自检相对误差6.96%仍然高于“各异法”的结果4.96%另外与“同一法”最优状态σ; =1.2620相比，“各异法”最优状态时的最大、最小和平均径基宽度(1.1639,0.5410和0.7692)在数量级上并没有很大的差异，从而充分说明了样本径基宽度的各异性对网络建模的益处.Table 3 The effects of various determination methods for radial basis width表3不同径基宽度取值方法的效果Width determination methodDAverage relative error of self-testP(%)_ Average relative error of predictiorP(%)σ7=1(based on the same widthP)7.136.29N=15 μ=2.6017 a=0.4546(based on the different widhSB)4.968.36①宽度确定方法.②平均自检相对误差③平均预测相对误差④同-法⑤各异法.问题2.限定平均自检相对误差的.上限为1%,如何使网络结构最简根据式(8)所定义的适应度函数,最终的优化结果为k=13, N=9, μ =2.1130和a =0.1973,与之对应的平均自检和预测相对误差分别是0.83%和1.22%.可见，我们只需13个合成径基就能使网络的相对拟合误差小于1%,而且该相对拟合误差应该是同结构PRBFN中最小的.显见,式(8)所定义的适应度函数为优化PRBFN的结构提供了-条有效途径.3.3实验3本实验将通过-个时间序列预测实例来进-步验证所提出的径基宽度取值方法的优越性.所采用的时间序列模型是式(12)所示的May方程当方程系数v等于2.9时,模型呈现出混沌现象!.实验数据由该方程迭代100次所得(v=2.9,取初值为0.1).由于模型是-阶滞后预测模型所以100个数据点能构造99个样本，我们将前70样本用于训练,后29个用于检测.Pnew =p+v.p.(1- p).(12)我们同样设计了两个网络构造中的耦合问题现将结果简述如下.(1)给定PRBFN的合成径基数目为2，从表4可见“各异法"所能达到的最佳效果明显优于“同一法"的最优效果;(2)限定平均自检相对误差的上限为5%, 那么只需6个合成径基就能满足该要求,并且当N =35, μ =0.0870和x =0.3189时,PRBFN对这组混沌序列数据的平均自检和预测相对误差分别是3.98% 和2.77%，这些结果再次证实了本文所提出的径基宽度取值方法的优势以及网络结构优化方法的有效性.Table 4 The effects various determination methods for radial basis width表4不同径 基宽度取值方法的效果Average relative error of self-testPAverage relative error of predictiofPσ =0.0067l 7.8515.68N=6μ= 0.0972 a =0.3214(based on the diferent widhs)13.0810.90①宽度确定方法,②平均自检相对误 差③平均预测相对误差④同-法⑤各异法.综观.上述实验可见,实验1证实了基于PLS的RBFN构造气个中国煤化工实验2、实验3则证实了本文所提出的径基宽度取值方式在提高网络性能上的效IYHCNMHE络构造中两类耦合问题.上的有效性从而使PRBFN的优势得到保障和扩充因此，.....1..9传统RBFN的建模效果.赵伟祥等基于PLS和GAs的径基函数网络构造策略14554结论为了克服传统RBFN构造策略的弊病,本文首先提出将PLS引入RBFN的构造策略,并把所构成的网络称为PRBFN.实验结果证实了PRBFN具有以下优点:(1) PLS合成径基充分反映了训练样本集的信息使模型表达能力优于基于OLA的RBFN构造策略;(2)克服了基于K-Means 算法构造策略的随机性本文还提出了一种更为有效的径基宽度取值方法并将其与GAs结合，解决了网络构造的两个耦合问题,使得PRBFN的结构和性能趋于最优.实验结果证实了本文提出的网络构造策略和径基宽度取值方法在提高模型逼近效果上的优越性,也验证了本文提出的网络结构优化方法在PRBFN最优结构设计.上的有效性总之,PLS、新的径基宽度取值方法与GAs三者相结合为RBFN的构造提供了-条新颖且更可靠、更有效的途径.References:1] Whitehead, B,A., Choate, T.D. Cooperative-Competitive genetic evolution of radial basis function centers and widths for timeseries prediction. IEEE Transactions on Neural Networks, 1996,7(4):869-880.[2] Xu, Bing- zheng, Zhang, Bair ling, Wei, Gang. Theory and Application of Neural Networks. Guangzhou: South China University ofTechnology Press, 1994 (in Chinese).[3] Chen, s, Cowan, C.F.N, Grant, P.M. Orthogonal least squares learning algorithm for radial basis function networks. IEEETransactions on Neural Networks, 1991,2(2):302~309.[4] Walczak, B., Massar, D.L. The radial basis functions-partial least squares approach as a flexible non-linear regression technique.Analytica Chimica Acta, 196.331:177-185.[5] Jia, F, Martin, E.B.. Morris, A.J. Non- Linear principal components analysis for process fault detection. Computers and ChemicalEngineering, 1998,22 (Suppl.):5851-5854.[6] Yang， Tai- ning，Wang, Sheng de. Robust algorithms for principal component analysis. Pattern Recognition Letters,1999,20:927-933.[7] Chen, De-zhao. Multivariable Data Processing. Bejing: Chemical Industry Press, 1998 (in Chinese).[8] Geladi, Paul. Notes on the history and nature of partial least squares (PLS) modelling. Journal of Chemometrics, 1988.2:231-246.] Goldberg, D.E. Genetic Algorithms in Searching, Optimization, and Machine Learning. Reading, MA: Addison-Wesley, 1989.[10] Michalewicz, Z.. Janikow, C.Z., Krawezyk, J.B. A modified genetic algorithm for optimal control problem Computers MathmaticsApplication, 19923(12):83-94.附中文参考文献:徐秉铮张百灵.韦岗神经网络理论与应用广州:华南理工大学出版社,1994.陈德钊.多元数据处理北京:化学工业出版社.1998.RBFN Structure Determination Strategy Based on PLS and GAs'ZHAO Wei-xiang，WU Li-de(Department of Computer Science nad Engineering, Fudan University, Shanghai 200433, China)E-mail: weixiang. _zhao@ 263.nethtp://www fudan. edu.cnAbstract:In view of the drawbacks of the conventional structure determination strategies for RBFN (radialbasis function network), a RBFN structure determination strategy based on PLS partial least squares) and Gas(genetic algorithms), and a more effective determination method for radial basis width are proposed in this paper. Inthis structure determination strategy, PLS avoids the local optima occurring in the process of calculating radial bas iswith K-Means algorithm and makes the synthesized radial bases more representative than the radial basis got byorthogonal algorithm. Furthermore the proposed determination method for radial basis width and GAs guarantee thesubstantial improvement and optimization on the networks performance and structure. Finally, the experimentsdemonstrate the superiority, the reliability, and the effectiveness of the proposed RBFN structure determinationstrategy based on PLS and GAs, and the proposed determination method for radial basis width.Key words: radial basis function network; cluster; orthogonal algorithm; partial least square; genetic algorithm中国煤化工Received May 28, 2001; accepted January 10, 2002.MCH.CNMHGSupported by the National Natural Science Foundation of China under Gran 1NU.099JJu1U