SVM与KNN的联合应用

高新技术SCI ENCE TECHNOL OGYnm科技资讯SVM与KNN的联合应用余翀翀(福建省泉州市华侨大学现代教育中心福建362021)要:支持向量机〔SWM是20纪90年代初由 Vani k等人提出的一类新型机器学习方法。此方法能够在训练样本很少的情况下达到很好的分类推广能力。能够较好地解决小样本、非线性及高维数等模式识别问题。近年来SW已在人脸识别、函数逼近以及概率密度估计等众多领域得到了广泛的应用。近邻法(KN是模式识别非参数法中另外的一种重要的方法。本文阐述了它们之间的联系并列举出一例应用关键字:支持向量机最近邻分类核函数特征空间中图分类号:〔8文献标识码:A1.引言y(w·x1)+b]-1+520ie1,A,n统计学习理论是一种专门的小样本统计理论,为研究有限样在目标则加上惩罚项本情况下的统计模式识别和更广泛的机器学习问题建立了一个较好的理论框架,同时也发展了一种模式识别的方法一支持向量机,φ(",5)=l2+a∑5(9在解决小样本、非线性及高维模式识别问题中表现出特有的优SVM的基本思想可用图1的两维情况来说明。图中,十势。近邻法是另一种比较常用的自动分类算法,该方法以其对分字和空心点代表两类样本,O为分类线,H1、H2分别为过各类体系独立性的优势,在自动分类领域有着较多的应用类中离分类线最近的样本且平行于分类线的直线,它们之间的距2.SVM的基本原理离叫做分类间隔( rar gI n)。所SW是统计学习理论中最年轻的部分,主要用于解决有限样谓最优分类线就是要求分类线不本情况下的模式识别问题。它是从线性可分的情况下的最优分但能将两类正确分开(训练错误类面( Opt i mal Hyper pl ane)提出的。所谓最优分类器不但率为0),而且使分类间隔最大。能将两类样本无错误的分开,而且要使两类之间的距离最大。设线性可分样本集为是类别标号,维空间中线性判别函数3.最近邻分类的基本原理的一般形式为近邻法(KN是模式识别非图1数据点集的超平面分割G(x)=w x+b1)参数法中最重要的方法之一。KN的一个很大特点是将各类中分类面方程为:全部样本点都作为“代表点”。1一NN是将所有训练样本都作(2)为代表点,因此在分类时需要计算待识别样本x到所有训练样将判别函数进行归一化,使两类所有样本都是满足|g(×)|>=-1本的距离。结果就是与ⅹ最近的训练样本所属于的类别。KN即使离分类面最近的样本的|g(x)|=1,这样分类间隔就等于2/是1-NN的推广。即分类时选x丨wl,因此最大间隔等价于使|w|或|w|平方最小而要求分类出x的K个最近邻。看这K个近线对所有样本正确分类,就是要求其满足邻中的多数属于哪一类,就把ⅹ[(wx)+b]-1≥0=1、A,n(3)分到哪一类。图2是近邻k=5的因此,满足上述条件且使|wM平方最小的分类面就是最优情况。分类面。过两类样本中离分类面最近的点且平行最优分类面的超平面上的训练样本就使上式中等号成立的那些样本,他们叫4.SW和KNN之间的联系做支持向量( Suppor t Ver ors)用SVM方法设计的分类器根据上面的讨论,最优分类面问题可以表示成如下的约束优和其它的分类方法相比具有较高化问题即在(4)式的约束下,求函数的分类精度,但在确定适当的)=lw12=2(w·w)核函数及其参数的过程中比较困图2近邻法示意图(k=5)的最小值。这是一个二次规划的问题,可以定义以下增加时具有较好的普遍性和较快的收敛速度,在自动分类领域Lagr ange函数有着较多的应用。但是KNN最大的缺陷之一在于其对训练样本库的容量要求比较大。因此不适用于小样本情况下的自动分L(,b,a)=n)-∑t[(wx)+b]-1(6类,然而对于一个有上百万训练样本的样本库的系统而言,庞其中a>0为 Lagr ange系数。求(4)式的极小值就是对大的计算量将阳碍分类速度达到用户的实际需求,所以近邻法W和b求L氏函数的极小值问题的主要问题就是如何减少分类过程中的运算量显然,这个优化问题的解必须满足:SVM和KNN分类器之间的一个很重要的联系:SVM分a{y;[(w·x)+b]-1=0(刀)类器等价于每类只选一个代表点的1NN分类器对于多数样本ai将为0,只有支持向量的ai不为0,也就是说只有支持向量影响最终的划分结果5.KN一SWM分类器对于数据为线性不可分的情况,需要引人非负的松弛因子来将SVM和KNN中国煤化工成每类只有允许错分样本的存在。这时约束(2)变成一个代表点的KNNHHaCNMHG声向量只取科技资讯 SCI ENCE& TECHNOL OGY I NF ORMATI ON1科技资讯3高新技术三相异步电动机软起动李春江(鸡西矿业集团安全监察部158100)中图分类号:TM21.41文献标识码:A相电动机应有非常广泛,而三相异步电动机的起动,会晶闸管软起动产品问世不过30年左右的时间,目前在低压对电网产生较强的干扰,有时可能对设备构成严重威胁。因而(380V)范围内,晶闸管软起动产品的价格大约已经下降到对三相异步电动机起动改造越来越受到有关人员的重视液阻软起动的2倍,而其主要性能却在大优于液阻软起动,与液阻软起动相比,它的体积小,结构紧凑,几乎免维护,功1.大功率异步电动机软起动比硬起动具有的优势能齐全,起动重复性好,保护周全,这些都是液阻软起动无1减少起动过程中引起的电网电压降不影响共网其它电气法达到的。设备的正常运行2.3磁控软起动1.2减小电动机起动电流,造成电动机局部过热,危害电磁控软起动是从电抗器软起动衍生出来的。将三相电抗器动机寿命。串在电源和电动机定子之间实现降压是两者的共同点。磁控软1.3减小硬起动带来的机械冲力,减小对减速机的曆损。起动不同于电抗器软起动的主要点是其电抗值可控。总体说总之,软起动使电动机起停自如,提高作业率,因而有其来,起动开始时电抗器的电抗值较大,在软起动过程中,通重要作用。过反馈调节使电抗值逐渐减小,及至软起动完成后被旁路。电抗值的变化是通过控制直流励磁电流,改变铁心的饱和2.三相异步电动机软起动分类度实现的,所以叫做磁控软起动,因为磁饱和电抗器的输出功2.1液阻软起动率比控制功率大几十倍,它也可以称为“磁放大器液阻是一种由电解液形成的电阻。它导电的本质是离子导电,其阻值正比于二块电极板的距离,反比于电解液的电导变频器率,极板距离和电导率都便于控制,且液阻的热容量大。液对于变频器,输出频率范围可以从0.1H一500Hz。调速阻的这两大特点,恰恰是软起动所需要的,加上另一个十分重精度一般不低于1%,有的可高达0.02%,瞬时过力矩可为要的优势即低成本,使液阻软起动得到了广泛的应用。但液阻200%,可以与上位控制计算机接口,具有断相与相序检测软起动也有如下缺点:缺相保护。同时变频器也可以设定为软起动工作方式,其最主2.1.1基于液阻限流,液阻箱容积大,且一次软起动后电要的特点是节能解液通常会有10°C一30°C的温升,使软起动的重复性差日前,制约变频器作为软起动装置大范围地应用于三相异2.1.2移动极板需要有一套伺服机构,移动速度较慢,难步电机的原因,仅仅是一次性投资较高的原因。以实现起动方式的多样化随着电力电子技术的不断发展,三相异步电动机的软起2.1.3液阻软起动裝置液箱中的水,需要定期补充,电极板动,会随着时代的发展而发展,会应用到各个生产环节当中,长期浸泡于电解液中,表面会有一定的锈蚀,需要作表面处理。促进工业革命的发展。2.1.4液阻软起动装置不适合放置在易结冰或颠簸的环境中。2.2晶闸管软起动个代表点,有时该代表点不能很好的代表该类,这时将其与离对其得出判断。KN相结合是因为KN是将每类所有支持向量作为代表点从而从表1中的试验数据来看,使用该分类方法减轻对核函数参使分类器具有更高的分类准确率。数选择的敏感程度,缓解对参数选择的困难,分类精度也有一定表1双蟒旋线分类SM和RN算法比较程度得提高。长发数分计法数数3数16.小结SVM42049.4°48.5905O.9aSVM和KNN作为模式识别中重要的分类算法,都有着很SVM616广阔的应用前景。对于方法的选择关键看今后实际中遇到的情况,只要充分的认识到它们之间的联系和优缺点,一定能找到g=00196种合适的算法96.098685.29种KNN一SVM分类器算法(K-S)参考文献对于待识别样本ⅹ,计算ⅹ与两类支持向量代表点X和x[]Ⅵ adi ir N Vani k著.张学工译.统计学习理论的本质的距离差,如果距离差大于一给定的阈值即x离分界面较远,[M.清华大学出版社,2000用SWM分类一般都可以分对。当距离差小于一给定的阈值,即[2]边肇祺,张学工.模式识别(第二版M.清华大学出X离分界面较近,如分类用SWM只计算x与两类所取的一个代版社,2000表点的距离比较容易分错,这时采用KN对测试样本分类,将[3]李蓉叶世中国煤化工—种提高每个支持向量作为代表点,计算待识别样本和每个支持向量的距SWM分类精度的新方CNMHG12科技资讯 SCI ENCE& TECHNOL OGY I NF ORMATI ON