几种神经网络模型及其应用.docx
- 文档编号:17696265
- 上传时间:2023-08-03
- 格式:DOCX
- 页数:21
- 大小:27.70KB
几种神经网络模型及其应用.docx
《几种神经网络模型及其应用.docx》由会员分享,可在线阅读,更多相关《几种神经网络模型及其应用.docx(21页珍藏版)》请在冰点文库上搜索。
几种神经网络模型及其应用
几种神经网络模型及其应用
摘要:
本文介绍了径向基网络,支撑矢量机,小波神经网络,反馈神经网络这几种神经网
络结构的基本概念与特点,并对它们在科研方面的具体应用做了一些介绍。
关键词:
神经网络径向基网络支撑矢量机小波神经网络反馈神经网络
Severalneuralnetworkmodelsandtheirapplication
Abstract:
ThispaperintroducedtheRBFnetworks,supportvectormachines,waveletneural
networks,feedbackneuralnetworkswiththeirconceptsandfeatures,aswellastheirapplications
inscientificresearchfield.
Keywords:
neuralnetworksRBFnetworkssupportvectormachineswaveletneural
networksfeedbackneuralnetworks
2
引言
随着对神经网络理论的不断深入研究,其应用目前已经渗透到各个领域。
并在智能控制,
模式识别,计算机视觉,自适应滤波和信号处理,非线性优化,语音识别,传感技术与机器
人,生物医学工程等方面取得了令人吃惊的成绩。
本文介绍几种典型的神经网络,径向基神
经网络,支撑矢量机,小波神经网络和反馈神经网络的概念及它们在科研中的一些具体应用。
1.径向基网络
1.1径向基网络的概念
径向基的理论最早由Hardy,Harder和Desmarais等人提出。
径向基函数(RadialBasis
Function,RBF)神经网络,它的输出与连接权之间呈线性关系,因此可采用保证全局收敛
的线性优化算法。
径向基神经网络(RBFNN)是3层单元的神经网络,它是一种静态的神
经网络,与函数逼近理论相吻合并且具有唯一的最佳逼近点。
由于其结构简单且神经元的敏
感区较小,因此可以广泛地应用于非线性函数的局部逼近中。
主要影响其网络性能的参数有
3个:
输出层权值向量,隐层神经元的中心以及隐层神经元的宽度(方差)。
一般径向基网络
的学习总是从网络的权值入手,然后逐步调整网络的其它参数,由于权值与神经元中心及宽
度有着直接关系,一旦权值确定,其它两个参数的调整就相对困难。
其一般结构如下:
如图1所示,该网络由三层构成,各层含义如下:
第一层:
输入层:
输入层神经元只起连接作用。
第二层:
隐含层:
隐含层神经元的变换函数为高斯核.
第三层:
输出层:
它对输入模式的作用做出响应.
图1.径向基神经网络拓扑结构
其数学模型通常如下:
设网络的输入为x=(x1,x2,?
xH)T,输入层神经元至隐含层第j个神经元的中心矢
为vj=(v1j,v2j,?
vIj)T(1≤j≤H),隐含层第j个神经元对应输入x的状态为:
zj=
φ=‖x-vj‖=expΣx1-vij)2/(2σ2j),其中σ(1≤j≤H)为隐含层第j个神经元的
控制参数。
隐含层神经元至输出层第k个神经元的连接系数矢量为wK=(w1K,w2K,?
,
wHK(1≤k≤p),输出为:
Yi=ΣHj=0wijZj,其中wi0为节点i的阈值。
事实上,RBF神经网络可看作从特征子空间到类的映射,每类对应于网络一个输出结点
3
的响应。
一般来说,输入层的结点数与输入特征矢量的维数相等,输出层的结点数就是待分
类模式类别数。
径向基函数φ()r一般分为两类:
局部的和整体的。
如果limφ(r)为零,则称之为局部
r→∞
径向基函数,否则称之为整体径向基函数。
局部径向基函数旨在输入数据所在区域的中心插
值,而整体径向基函数可以全局插值。
最常用的RBF神经网络的隐含层非线性函数是高斯函
数,其详细表达式描如下:
2
?
||PC-||?
i
RPi()=-exp?
2?
σ
?
i?
其中Ri(P)是隐含层第i个结点的输出,P是输入模式,Ci是隐含层第i个结点基函数
2
的中心。
σ是第i个隐含结点的归一化参数,它决定该中心对应的基函数的作用范围,σ
ii
又称之为RBF隐含结点的宽度系数。
隐含结点输出在0和1之间,输入与中心的距离越近,
隐含结点的响应就越大。
显然该高斯函数是径向对称的,即对于与基函数中心径向距离相同
的输入,隐含结点都产生相同的输出。
1.2径向基神经网络的应用:
通常情况下,根据科研项目具体情况的需要,通过对径向基神经网络加以改动或调整,
就可以应用在各个领域中,举实例如下:
目标识别是模式识别领域的一项重要研究内容,在这一领域,它能将来自某一目标的多
源信息加以智能化合成,产生比单一信源更精确、更完全的估计和判别。
用经典的贝叶斯统
计方法或智能系统能够解决目标识别和分类问题。
但当情况较为复杂,用统计方法不易解决
的时候,神经网络可以成功的解决这一类问题。
由于人工神经网络具有并行处理、鲁棒性和
自组织等特点而被广泛应用。
人工神经网络对于解决信息融合目标识别和分类问题具有较大
的潜力。
BP神经网络模型被广泛的应用于模式匹配、模式分类、模式识别与模式分析等方
面。
但BP网络模型算法收敛速度很慢,且目标函数存在局部极小点,因此BP网络的效率
不高.而径向基(RBF)神经网络模型在一定程度上克服了这些缺点,其特点是将非监督学
习与监督学习有效结合起来,从而得到很好的识别效果。
改进的RBF网络模型的混合学习算法其步骤为:
(1)给定初始权矩阵wI×H,训练样本逆相关矩阵初始值和误差迭代终止值εmin;
(2)按K-均值聚类算法选取RBF的中心矢量vj(1≤j≤H);
(3)按Zj=φ(‖x-vj‖)=exp(-Σ(xi-vij)2/(2σ2j))计算径向基函数zj(1≤j≤H);
(4)分别计算值K(n)与逆相关矩阵值
(5)计算误差信号E(n)
(7)计算累计误差J(n);
(8)若J(n)≥εmin,转(5);否则转(9);
(9)训练结束。
运用上述步骤对目标进行识别:
假定目标已经存在,考虑有四种类型的目标,设计三层的网络结构,各层神经元个数分
别为3,3,2。
神经网络的输入是由三个传感器的特征量测组成的一个三维向量,输出层的两
个神经元提供了一个值Y=[Y1,Y2]用来对目标的类型进行识别,按四个输出值00,01,10,
11分别来训练网络,00代表目标0,01代表目标1,10代表目标2,11代表目标3。
在每
种目标中选取100个样本进行训练。
训练后的效果说明RBF神经网络的类中心更接近真实
4
类中心,这说明其选择中心矢量的方法优于传统的方法;并且RBF算法的平均识别率更高,
具有更强的聚类能力,使目标识别更加准确。
充分说明径向基(RBF)神经网络对目标进行
识别是非常有效的,具有潜在的应用价值。
2.支撑矢量机
2.1支撑矢量机的概念
统计推断问题又称为预知性学习问题,即根据观测数据(训练样本)推断一个未知系统
的输入—输出依赖关系。
这个问题有极大的理论意义和实践意义。
但由于系统的未知性和观
测数据的有限性,因此这是个十分困难的问题。
随着近代计算机技术的发展,人们开始利用神经网络来解决以上提出的问题,并在一些
实际工程项目中得到成功的应用,但是神经网络没有严格的理论依据,因此对于实际应用中
提出的许多重要设计问题,无法做出准确的回答,只能依靠经验和技巧解决。
20世纪60年
代末,Vapnik和Cervonenkis的研究所取得的突破性进展终于导致了现代意义上的统计学习
理论的建立,这就是目前国际文献上所称的VC理论。
这一理论不仅圆满地回答了人工神经
网络研究与应用中提出的一系列理论性问题,而且构造出一种能克服神经网络局限性的更强
有力的预知性学习算法—支撑矢量机(SVM)方法,根据不同情况,其又可以分为线性支
撑矢量机和非线性支撑矢量机两种。
如图2所示支撑矢量机网络结构:
图2.支撑矢量机(SVM)网络结构示意
支撑矢量机(SVMs)基于结构风险最小化原理,该原理给出了测试误差的上界:
不超
过训练误差和置信范围之和,置信范围取决于VC维的大小,VC维越小则置信范围也越小。
通过最小化这一上界,以得到较小的测试误差,因而SVMs具有强的泛化能力。
SVMs的
实现涉及求解线性约束的二次规划问题,该问题可以收敛到全局最优解。
总结起来,SVM主要体现了以下思想:
1)分类器容量控制的思想。
也即控制分类器集合函数的VC维。
该思想直接来源于统计学
习理论,SVM通过同时控制经验风险和学习机的容量来提高推广能力。
2)通过引入核的思想来控制分类器容量。
若在原始特征空间中实现的分类器结构十分复
杂(对应分类器函数集的vC维比较高),则通过定义适当的核函数诱导出某个非线性变换,用
此变换将原始特征空间映射到一个高维空间,然后在这个新的特征空间中求得最优线性分类
面,以降低分类器的复杂度(即降低分类器函数集的VC维)。
3)通过求解QP来实现容量控制的思想与核的思想。
5
现阶段SVM的主要研究方向如下:
1)SVM提出之后,从理论的角度研究SVM的推广性能一直是SVM领域的研究重点,并取得
了丰硕的成果,这些成果为提高SVM的推广性能提供了理论保证。
2)从SVM实现算法的角度看,求解SVM可以转化成一个二次规划(QP)问题,目前,针对QP
的研究已相当深入,这些研究成果从算法实现上保证了SVM的实用性。
但实际上,通过求解
QP来实现容量控制与核的思想,在实践中还存在众多问题。
其中一个主要问题就是参数选择
与优化问题,包括核函数的选择与参数优化及控制经验风险与分类器函数集VC维的参数c的
优化等。
核函数选择及参数优化是当今SVM领域的研究热点。
3)SVM是一种两类分类器,而在实际应用中要解决多类分类问题。
用SVM构造多类分类器
是SVM领域的又一研究重点。
用SVM构造多类分类器有众多的理论与算法问题需要解决。
一方
面,衡量SVM推广性能的理论成果不能直接应用于由SVM构造的多类分类器之中,因此,有必
要从理论上研究由SVM构造的多类分类器的推广能力,为构造多类分类器提供理论指导。
另
一方面,虽然现阶段SVM的实现算法已高效,但由于多类分类问题往往较复杂,要处理的数
据也比较庞大,因此,多类分类器的高效构造算法的研究就显得非常重要。
2.2支撑矢量机的实际应用举例如下:
支撑矢量机目前的应用研究领域主要包括图像识别(指纹、卫星图像等)与声音、压力等
感知信号的识别。
举一实例如下:
Vapnik等人在美国AT&T实验室做的手写数字识别。
他们利用美国国家邮政总局数据
库提供的7300个训练样本和2000个测试数据设计了多项式、径向基函数、二层神经网络等
不同形式的支撑矢量机,样本的分辨率为16×16像素,故系统维数为256。
实验结果表明3
种SVM求得的支撑矢量数目接近(274、291、254),其中共同的支撑矢量约占80%,识别
误差也接近(4.0%、4.1%、4.2%),优于常规神经网络(5.1%~5.9%)。
近年来有一系列
SVM应用的报道,在模式识别方面的应用有3维物体识别、语音识别、脸像识别、文本分
类、综合语音及图像数据核实人的身份等。
3.小波神经网络
3.1小波神经网络的概念
小波分析方法是近年来得到迅速发展并形成研究热潮的信号分析新技术,被认为是对
Fourier分析方法的突破性进展,在图像分析与处理、奇异性检测等方面已有许多成功的应
用。
使用小波分析方法对噪声进行处理的技术发展迅速,现有的研究多采用小波的多分辨分
析或小波包技术等进行消噪处理,这些方法主要用于从含高频噪声的确定信号中去除噪声,
而且消噪效果与小波函数的选取、阈值的处理方式和消噪算法等有很大关系。
小波变换具有时频局部特性和军焦特性,而神经网络具有自学习、自适应、鲁棒性、容
错性和推广能力。
如何把两者的优势结合起来,一直是人们关注的问题。
一种方法是用小波
分析对信号进行预处理,即以小波空间作为模式识别的特征空间,通过小波分析来实现信号
的特征提取,然后将提取的特征向量送入神经网络处理;另一种即所谓的小波神经网络
(WaveletNeuralNetwork,WNN)或小波网络(WaveletNetworkWN)。
小波神经网络最早是
由法国著名的信息科学研究机构IRLSA的ZhangQinghu等人1992年提出来的。
小波神经
网络是基于小波变换而构成的神经网络模型,即用非线性小波基取代通常的神经元非线性激
励函数(如Sigmoid函数),把小波变换与神经网络有机地结合起来,充分继承了两者的优点。
如图3所示,小波神经网络是基于小波分析而构造的一种新型的前馈型人工神经网络。
它以
小波空间作为模式识别的特征空间,通过将小波基与信号向量的内积进行加权和来实现信号
6
的特征提取,结合了小波变换良好的时频局域化性质及传统神经网络的自学习功能,因而有
较强的逼近与容错能力。
其传递函数为小波函数。
在此采用的小波母函数为:
根据其母小波,信号可以由下式逼近:
式中,wk、1/ak、bk/ak分别是子小波的权系数、伸缩系数和平移系数,K是网络所采用
的神经元个数。
此式可由图1所示的神经网络来实现。
网络参数wk,bk,ak的优化学习通过
最小化能量函数来完成,能量函数为:
其优点有:
结构确定,避免了BP网络在结构设计的盲目性;网络权系数线性分布和学
习目标函数的凸性,使网络的训练过程从根本上避免了局部最优化等问题;有较强的函数学
习能力,可以任意精度逼近任意非线性函数。
小波神经网络具有以下特点。
首先,小波基元及整个网络结构的确定有可靠的理论根据,
可避免BP神经网络等结构设计上的盲目性;其次,网络权系数线性分布和学习目标函数的凸
性,使网络训练过程从根本上避免了局部最优等非线性优化问题;第三,有较强的函数学习
能力和推广能力。
小波还可以与其它类型的神经网络相结合:
例如用网络对信号做自适应小
波分解,网络与小波的结合等。
3.2小波神经网络的科研应用举例
对于配电网输电线的故障定位,由于配电网本身结构的特性,到目前为止,还没有较为
完善的测距方法。
其原因不外乎有两点:
一是采用集中参数模型,故障距离与线路始端测得
的零序电压、电流没有必然的联系;二是采用分布参数的模型,列出的关于故障距离与线路
始端测得的零序电压、电流的关系非常复杂,方程几乎不可能精确求解。
而最重要的是,这
两种方法都是基于故障后的工频分量进行故障测距的。
事实上,仅仅采用工频分量,会丢失
7
较多的故障后的暂态分量的信息。
对故障信号通过小波网络进行分解,以区分出各个频段的信息,而故障距离则是各个频
段信息的函数,然后利用模糊神经网络的逼近性质,用其逼近故障距离,从而构造小波模糊
神经网络来解决故障测距的问题。
小波模糊神经网络将小波变换与模糊神经网络结合起来,
以充分利用电力系统故障时的各种信息,实现较高的测距精度。
由于EMTP仿真系统中的
电源是直接接地的,为了对小电流接地系统有一个真实的说明,如下图所示,本仿真模型采
用了几个变压器模型以实现不接地系统的模拟:
将所研究的长度为20km的输电线分成50等份,获得分别在50等份处发生A相经不同
的过渡电阻(10W、100W等)接地的100个样本,对这些样本按理想输出特性训练,当故
障距离为10km,则不管是多大的过渡电阻,其理想的输出即为10。
依次类推,对100个样
本按本文提出的小波模糊神经网络的算法进行训练,测距的精度不是很高;然后,采用4
个模糊规则,将输电线路200等分,获得分别在200等分处发生A相经不同的过渡电阻接
地的300个样本,对这300个样本进行训练后,再对在输电线其他位置经不同过渡电阻故障
时的数据进行测试,得到的测距结果及误差见下表:
从仿真结果看出,本算法的测距精度较高。
测距精度受过渡电阻的影响较小。
虽然实际
使用时比较繁琐,但可以克服传统配电网输电线故障测距中,由于无法确知输电线的对地分
布电容而造成的测距的误差。
在小电流接地系统线路单相接地故障时,线路始端不仅含有较
为丰富的暂态信息,而且含有大量的工频分量。
利用小波模糊神经网络的方法,能够把这两
部分的信息充分利用起来,实现较为精确的故障测距,基本上消除过渡电阻对测距的影响。
4.反馈网络
4.1反馈网络的概念
从20世纪80年代以来,随着研究的深入,人工神经网络因其良好的非线性映像能力
8
等诸多优点而在诸多领域得到了广泛应用,尤其是前向多层神经网络,在1986年由Rumelhart
等人提出BP算法成功解决了它的训练问题后,成为应用最广泛和最成熟的神经网络,其中
在化工过程系统建模、优化以及控制等方面应用也很多。
但前向多层神经网络是一种静态网
络,其运行时单向传播,没有反馈,只能实现从输入空间到输出空间非线性静态映像而不具
有动态信息处理能力,严格地说并不是一个动力学模型。
许多研究者选择输入变量移动窗口
的技术,在通常的前馈网络中加入延时单元。
此时可以看作把时间信号扩展成空间表示,再
送给静态的前馈网络。
利用静态的多层前馈网络对动态系统进行识别,实际上是将动态时间建模问题变为一个
静态空间建模问题。
这必然出现诸多问题:
动态样本的移动窗口的选择是经验性的,增加时
间序列的点数会提供更多的过程动态信息,但增加了网络结构的复杂程度,使训练时间和难
度加大;但若太少,过程趋势信息表达就会显得不够。
另外需事先假定系统的NAR2MA模
型类,对结构模型进行定阶,特别是随着系统阶次的增加或阶次未知时,迅速膨胀的网络结
构将使学习收敛速度更加缓慢。
此外较多的输入节点也将使相应的辨识系统对外部噪声特别
敏感。
相比之下,动态反馈网络提供了一种极具潜力的选择,代表了神经网络建模、识别与
控制的发展方向。
反馈网络的特点是处理单元之间除前馈连接外还有反馈连接的情况。
同时延网络相比,
反馈网络只需要增加和隐含层单元个数相同的联系单元,这无疑使得网络结构有了较大地减
少,特别是当输入单元较多时。
另外网络的动态特性仅有内部的连接提供,因此无须直接使
用状态作为输入或训练信号,这也是反馈网络相对于静态网络的优越之处。
根据网络结构的
特点,将它们分为两类:
全反馈网络结构和部分反馈网络结构。
4.1.1全反馈网络
全反馈网络的突出代表就是由Hopfield在1982年提出的Hopfield网络。
它是一种单层
对称全反馈结构。
各神经元用M2P模型表示。
这种网络有两种工作方式:
(1)串行(异步)方式:
任何时刻只有一个单元改变状态,其余单元不变(动作顺序可
以随机选择或按某种确定顺序选择)。
(2)并行(同步)方式:
某一时刻所有神经元同时改变状态(常称这种工作方式的网络为
Little模型)。
Hopfield根据系统动力学和统计力学的原理,将“能量函数”的概念引入到对
称Hopfield网络的研究中,给出了网络的稳定性判据。
可以证明,采用Hebb规则进行训练
的Hopfield网络系统总是朝着能量减小的方向变化,最终进入稳定状态,即收敛于某个平衡
点。
由于Hopfield网络的连接是全连接,因此当节点数目比较多时,网络的结构过于复杂,
而网络结构中没有隐含层,使得网络的非线性性能较差,尤其是对于复杂的非线性动态过程
系统,因此在一定程度上限制了它的应用。
图4.Hopfield网络结构示意图
9
4.1.2部分反馈网络
全反馈神经网络结构复杂,在实际应用时往往需要简化,为了保留网络的动态特性,往
往采用部分反馈的形式。
反馈连接有一组所谓联系单元(context)构成,它记忆网络过去的状
态,并在下一时刻连同网络输入一起作为隐含层的输入,这种网络的反馈连接规定了网络的
内部状态和记忆形式,使其输出不仅依赖于当前的输入,也与过去的输出有关。
这一性质使
部分反馈网络具有动态记忆的能力。
部分反馈网络的典型例子有:
(1)Elman网络
Elman网络是在前向网络的基础上将隐含层输出反馈到输入端得到的,隐含层的输出可
以看作系统的状态(虚拟状态),因此这种反馈网络又称为状态反馈网络。
rm
这里对Elman网络进行分析。
设网络外部输入为uk(-1)∈R,输出为yk()∈R隐含
n
层的输出为x()kR∈,该网络可以表示为非线性离散状态空间模型:
12
xk()=+fWx(c(k)Wuk(-1))
xkc()=-xk
(1)
3
yk()=gWxk()()
式中:
1、2、3――网络的联系单元、隐含单元和输出单元相关的权重;uk(-1)――网络
的输入值;x()kxkyk,,c()()――网络隐含层、反馈层和输出层的输出值;W――相应的
连接权值矩阵。
通过将Elman模型写为上述形式,我们可以看出这种形式的反馈神经网络是标准线性空
间的非线性推广,其中隐含层的输出值x(k)为模型的状态向量。
这与动态过程的状态方程
的形式一致,由此揭示了反馈网络用于动态建模的原理。
对于其它类型的反馈神经网络也都
有相应的状态空间表达形式。
(2)Jordan网络
与Elman网络不同,Jordan网络是在前向网络的基础上将输出层输出反馈到输入层得到
的,这里对网络进行分析。
该网络可以表示为非线性离散状态空间模型:
12
xk()=+fWx(c(k)Wuk(-1))
xkc()=-yk
(1)
3
yk()=gWxk()()
其中各符号表示与Elman网络中的符号表示相同。
从上面的式子中我们可以看出,系统
k+1时刻的输出可以表示为k时刻的输出和输入的函数。
反映在网络结构上就是将网络的
输出延迟一个时间步长后反馈到系统的输入端,从而得到Jordan网络结构。
与Elman网络类似的是,Jordan网络也不易识别高阶系统,因此,也可以在Jordan网络的反
馈层加自反馈进行修正,使网络可以记住过去更多时刻的信息,同时网络的非线性也大大提
高。
(3)混合网络结构
10
D.T.Pham等结合这两种网络得特点,提出了一种混合网络结构,即网络中同时包含从
输出层和隐含层来的反馈。
这里对网络进行分析,该网络可以表示为非线性离散状态空间模
型:
12
xk()=+fWx(c(k)Wuk(-1))
?
y
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 神经网络 模型 及其 应用