BP改进算法及其在乙二醇精制软测量中的应用

BP改进算法及其在乙二醇精制软测量中的应用张磊等BP改进算法及其在乙二醇精制软测量中的应用An Improved BP Algorithm and Its Application in Soft Sensing of Purifying Ethylene Glycol张磊胡春钱锋(华东理工大学自动化研究所上海200237)摘要提岀了一种综合改进的B神经网络算法该算法在训练时对不同的连接权和阈值采用不同的学习速率由此建立了乙二醇精制塔塔笠乙二醇浓度的神经网络软測量模型。结果表眀该算法能有效提高乙二醇浓度B神经网络软测量模型的收敛精度关键词BP神经网络算法改进乙二醇浓度软测量模型Abstract A comprehensively improved BP algorithm is issued in this paper. According to this algorithm different learning rates are applied to differentconnection weights and threshold values when a BP network is trained. A neural network model is setup to be used on soft sensing of the concentration ofhe ethylene glycol of the MEG column. Practice shows that this proposed algorithm is effectively able to improve the convergence precision of the BPneural network in soft sensing for the concentration of ethylene glycolKeywords BP neural network Improved algorithm Concentration of ethylene glycol Soft sensing model0引言应性。改进BP算法可以在一定程度上加快训练速度更加精确地逼近真实模型因而具有重要的现实意.精馏过程的高度非线性和严重不确定性是其在线1BP算法及其改进检测的难点。用在线分析仪直接测量设备投资大维护困难而且分析周期长、测量滞后大、准确性不高、使1.1BP算法用率低难以提供实时质量信息作为质量控制的反馈BP网络因其采用误差反向传播算法( Error back信号1。目前软测量技术 Soft Sensing Techniques被 Propagation)而得名986年D.E. Rumelhart和J.L认为是具有吸引力和卓有成效的方法它所建立的软 Mcclelland等人提出。它是一种典型的多层前向网络测量模型可以完成一些实际硬件检测仪器所不能完成由输入层隐含层和输出层组成。隐含层和输出层中的测量任务。建模人工神经网络AN)法在控制领任一神经元的输入等于与它相邻的前一层中各神经元域取得了很大进展其优良的品质对建立软仪表十分输出的加权和。1989年 Robert hecht-Nielsen证明了有利。如果这种软测量模型足够精确的话理论上可对于任何在闭区间内的一个连续函数都可以用一个隐替代在线分析仪表实现直接质量控制油于它不会受层的BP网络来逼近因而一个3层的BP网络可以完到测量滞后的影响可望在控制性能上获得较大的改成任意的n维到m维的映射善2。它将辅助变量作为AN的输入主导变量作为设定N组输入样本X=[x1,x12灬…,xm]希其输出通过网络的学习来解决不可测变量的软测量望输出向量Y=(y2灬)实际输出向量问题。而神经网络类型和结构、训练样本的空间分布Cn=(cn;cn2,cn)③隐层单元数为s输入层至中和训练方法对AN的性能有极大的影响3。BP算法间层连接权为W1),=1212是应用得较早的学习算法也是当前发展得比较成熟间层至输出层连接权为啊2),=12灬…t的一种算法。它充分利用了多层前向网络的结构优2…s中间层和输出层神经元阀值为m当神经元位势在正反传播过程中的每一层计算都是并行的。但于中间层时M=1m=12…当神经元位于输出层BP算法存在两个主要缺点即训练时间长和容易陷入时n=2,n=12r…,;。网络响应函数为对数S型激局部最小。针对此目前提出了很多修正算法从各个活函Pv凵中国煤化工方面改进了原BP算法的不足4-7本文提出一种综CNMHG。-x(1)合改进的BP算法进而建立了乙二醇精制过程精馏塔这里定义误差函数为塔笠乙二醇浓度的人工神经网络软测量模型并使所1获得的软测量模型具有比较高的预测精度和广泛的适E31《自动化仪表》第26卷第6期2005年6月Ep(2)散。目前应用较为广泛的软件MTAB其神经网络工具箱中提供的结合了附加动量法和自适应学习速率这样问题就转化为如何调整连接权系数使E最小。方法的网络训练函数为 Trainbp)其中规定的n变化这里采用一阶梯度法即考虑权值和阈值的变化方向规则如式6所示与E对此寻优参数的一阶导数成正比1.05k-1)k)1.04k-1)(6)k-1)其他AOmn(k+1)∝(4)自适应调整速率有利于缩短学习时间式中,为训练次数(k=12…,K),Om为某一神经采用上述算法固然可以得到比标准算法更加快的元的阈值收鲛速度和更加高的收敛精度但自整定速率的方法由复合函数求导可以解得O,、和B,ah的从全局的角度出发对所有的连接权均作统一的调整没有针对性。在某些误差变化剧烈的区域很容易发生具体表达式选择合适的比例系数学习速率n)进而调整量过大的情况。这时尽管按照自适应调整速率的得到各连接权值和神经元阅值的变化值实现误差的方法将n减小还是会在误差曲面上跨过较窄的坑凹逆传播。不难看出该网络实际上是对任意非线性映处。1990年F.M.Sla和L.B. Almeida对每个连接射关系的一种逼近。由于采用的是全局逼近的方法,采用单独的学习速率这些学习速率的自适应是通过因而BP网络具有良好的泛化能力观察最后两个梯度的符号来完成的。只要测得在符号1.2改进的BP算法由于标准的BP算法并不十分完善还有诸多缺上不改变相应的学习速率就增加。若符号改变学习陷如学习收敛速度太慢、不能收敛到全局最小点、网络的学习和记忆具有不稳定性等。针对上述问题,有习时间m本文在上述基础上提出一种改进的BP算法。关改进BP网络结构和算法的文献层出不穷。其中带在反向传播修正权值和阈值的过程中針对某个有附加动量法和自适应学习速率的反向传播训练法就是应用较为广泛的典型算法其连接权的校正如下式特定的权值或阈值具体问题具体分析。若E对该权值阈值的一阶导数所示akA(k)=d+a△Wk-1)awit k)( aei k)式中a为动量常数(01.04Kk-1)方才放弃对参数的修正及减小误差有所增大则相应地减小学习速率避免振荡和发学习速率而前后两步训练完成后的E不变化或者基PROCESS AUTOMATION INSTRUMENTATION Vol 26 No 6 June 2005BP改进算法及其在乙二醇精制软测量中的应用张磊等本不增加时仍然保留本次对参数的调整同时各学习活函数变化最大之处进行调节。N-W法仅需要使用速率亦保持不变。这样做是考虑到平坦区的存在避在第一隐含层的初始值选取上后面层的初始值仍然免学习速度的下降。采用随机取数。其算式为①当全局误差Kh)1.04K(h-1时式中k服从正态分布M01)x=12灬5)服从7(k)=n(k-1)xdm2[0止上的均匀分布。7(k)=n(k-1)×dm2数据集共包含200个训练示例。对于3层前馈神经网络分别采用本文改进前后的BP算法进行训练其且同时各权值、阈值保持不变不作修正。隐层神经元数为6个初始权值和阈值由N-W法取。③当Kk-1)≤Kk)≤1.04k-1)时为了更好地说明问题本文在两种算法中对初始权值(k)=7(k-1)和阈值作统一赋值。仿真结果如表1、表2所示。其中( k)表1显示了两种算法经40000次训练后所得结果精度这里,k)权值的学习速率,(k)为各神经的差异表2则显示了两种算法在数据归一化后达到元阈值的学习速率,m为动量常数,m和dm分别为相同精度目标分别所需要的训练次数。大于1和小于1的常系数在各项实验中均能取得较表1两种BP神经网络算法训练精度的比较好效果其中im=1.05、dm=0.7效果最佳在上述改进算法中仍然保留了动量项。本文取本文改进算法常用算法mc=0.9如果反向传播训练后的输出误差大于前训练最大误差2.04095626步算出的网络输出误差的话说明加动量项没有效果训练均方差0.0000.0008则令m=0反之要考虑加进动量测试最大误差5.5121测试均方差0.00140.0023引入动量项可以改善收敛精度但它对训练的初始值有要求必须使其值在误差曲线上的位置所处误表2两种BP神经网络算法训练速度的比较差下降方向与误差最小值的运动方向一致。如果初始误差平方和本文改进算法训练步数常用算法训练步数误差点的斜率下降方向与通向最小值的方向背道而驰则附加动量法失效训练结果将同样落入局部极小值而不能自拔。初始值选得太靠近局部极小值也不2174550.14行。通常的初始权重与偏差随机化方法都是在区间-1,之间取均匀分布的随机数的函数。计算表明中国煤化工该方法对复杂的高非线性系统效率较低。较多计算表CNMH(改进算法可以明显缩眀采用初始权重与偏差随杋化的 nguyen- Widrow法短网络训练时间提高网络训练结果的精度。另外〔简称NW法对计算效率的提高有较明显的效果凵。目标精度不是很高时两种算法的差异并不大。当目该方法保证毎个神经元的权值都能在它们的S型激标精度比较低的时候本文改进算法训练步数甚至还《自动化仪表》第26卷第6期2005年6月略高于常用算法。这是因为本文所提岀的改进算法追预测结果。另外本文还将训练结果的精度与常用算求的是对极小点逼近的精度,因此,当目标精度稍高法进行了对比结果如表3所示。时本文所述之算法训练速度比常用算法要快很多从表3两种算法用于乙二醇浓度软测量收敛精度的对比实际应用的角度来看能收敛到常用算法很难达到的本文改进算法常用算法精度训练最大误差l.98182.9919训练均方差6793×106.0216×10-42改进算法在乙二醇精制过程软测量中的应用测试最大误差测试均方差0.00150.0025乙二釀MEG是重要的基本合成原料用途甚广。按照当前的乙二醇生产工艺经环氧乙烷和水反应生由此可以看出改进算法不论在训练还是预测上成的乙二醇还需经过脱水和精制过程以去除水、二甘都有很好的效果这样就能以很高的精度实现精馏塔醇、三甘醇等杂质后才能作为成品出厂。而精制过程釜液残余乙二醇浓度的在线检测。的关键又在于对精馏塔釜液残余乙二醇浓度的在线检3结束语测根据生产工艺特性和数据分析的结果本文选择按以上方法建立的软测量模型能够很好地对乙了下列5个参数以估计乙二醇精制过程精馏塔塔釜乙醇浓度进行在线检测且精度很高。根据某石化厂广乙二醇浓度塔顶回流量、塔板温度、塔顶压力、塔釜二醇精制塔塔釜乙二醇浓度的在线检测结果预测准MEG采出量、灵敏板温度。对这样一个5输入1输出确度高于85.5%的数据所占比例约为93%。因此所的BP网络模型宜采用MⅢLAB软件进行训练仿真。建立的神经网络模型可以满足精馏塔釜液残余乙二醇按照N一W法本文对输入层至隐含层的连接权W浓度在线检测的需要。需要指出的是,该方法毕竟是1厢和隐含层神经元阈值ω取初始值用 nwlog函数赋基于梯度下降的方法,一般仅收敛到初值附近的局部值其余的则用 initwb函数赋初始值。极值而并非全局最小值。参考文献俞金寿刘爱伦,张克进.软测量技术及其在石油化工中的应用化工工业出版社20002孙欣,王金春,基于神经网络的过程软測量.自动化仪表,9963徐用懋赵仕健软测量技术的发展及应用.数字化工20034俞金寿软测量新技术综述世界仪表与自动化20195)102030405王宁会刘敏.神经元网络软测量技术的进展.自动化与仪表网络训练值一实际测控值图1改进算法用于乙二醇浓度软测量训练结果6 Kolias S, Anastassiou D. An Adaptive least squares Algorithm for theEfficient Training of Artificial Neural Networks, IEEE Trans. CircuitsSyst, 198% 36)7程相君王舂宁陈生潭,神经网络原理及其应用.国防工业出术版社19958 Hecht-Nielsen R. Theory of the back propagation neural network. Procof lINn, 19899 Silva F M, Almeida L B. Speeding up Back Propagation Advanced Neu-网络训练值实际测控值10 Nguyen D. H. and Widrow B. Neural networks for self-learning controlms, IEEE Control Systems 1990图2改进算法用于乙二醇浓度软测量测试结果乙烯衍生物工学.化学工业出版社』995中国煤化工根据实现的效果隐层单元数选择6时较好。选CNMHG择99组在现场采集的数据其中59组作为训练数据第一作者张磊男1980年生,2000年毕业于华东理工大学自动化40组作为测试数据。经4000次训练后由图1和图2系现为华东理工大学硕士研究生注要从事人工智能和先进控制方面分别反映了用本文改进的算法得出的模型训练结果和的研究。PROCESS AUTOMATION INSTRUMENTATION Vol 26 No 6 June 2005