神经网络的特性篇1
关键词：客户；神经网络；属性约简；数据挖掘。
中图分类号：tp183文献标识码：a文章编号：1009-3044(2011)11-2640-02
1特征属性约简的意义
在数据挖掘中，我们要面对海量的原始数据，在这些数据中，并不是所有的信息都是有用的，如何在其中找到最关键最有用的属性，从而提高模型的效率和准确率，是我们研究的一个重点。把源表的信息原封不动的汇总起来没有太大意义，必须关注用户某些关键指标的波动情况。如在电信用户的挖掘中我们要关注：用户本月话费与往月话费相比是上升还是下降了，幅度有多大？用户通话时长怎样变化？当月的短信费用占总体费用的比例是多少等等。这些衍生的分析信息是数据挖掘不可缺少的输入变量，那么与用户有关的特征就变得更多了。大致有如下几个方面：客户个人属性(包括客户iD、性别、年龄、职业、是否离网、收入等)，客户合同属性(包括入网时长、付费类型、入网渠道、资费标识、消费限额等级等)，客户缴费属性(包括缴费方式、欠费次数、当月金额、当月欠费金额、连续三个月平均消费额、最近三个月消费情况等)，客户通话及短信属性(包括通话时长、通话次数、长途次数比例、拨打客服电话次数等等)。
客户属性如此之多，而且很多属性还需要进一步细化，因此将所有属性都应用于挖掘模型中是不现实的。属性约简是数据挖掘的一个关键步骤，在数据收集阶段，很难确切知道哪些属性是相关的，哪些属性是不重要的，所有的属性都被认为是有用的，全部存在数据库。实际上，数据库中的属性并不是同等重要，有些甚至是冗余的，而且对于特定的数据挖掘任务，用户往往只对属性的某个子集感兴趣。因此要对众多属性进行约简，即在尽量保持数据库分类能力不变的条件下，删除那些不相关或不重要的属性。本文就是利用神经网络的属性约简方法对客户属性进行有效的选择，提高挖掘的效率。
2Bp神经网络
神经网络(neuralnetwork，nn)，亦称人工神经网络(artificialneuralnetwork，ann)，是由大量处理单元(即神经元)互联而成的网络，是对人脑的抽象、简化和模拟，反映人脑的基本特性。神经网络从人脑的生理结构来研究人的智能行为，从而模拟人脑信息处理的功能。Bp神经网络即误差反向传播(errorBackproporgation)网络因为其逼近能力好和成熟的训练方法而成为应用最广泛的神经网络之一。它是一种多层前馈神经网络，由输入层、输出层和隐含层组成，其神经元激励函数是S型函数，输出量为0到1之间的连续量，可实现从输入到输出的非线性映射。Bp算法是用于前馈多层网络的学习算法，它含有输入层、输出层以及处于输入输出层之间的中间层。在中间层(也称为隐层)的神经元也称隐单元。输入输出之间的关系会受隐层状态的影响,当改变隐层的权系数时，整个多层神经网络的性能也会改变。设有一个m层的神经网络，Xi为输入层样本，Uik为第k层的i神经元输入总和，Xik为输出；wij为从第k-1层的第j个神经元到第k层的第i个神经元的权系数，f为各个神经元激发函数，则各变量关系可用下面数学式表示：
人工神经网络具有以下特点：
1)具有高速信息处理的能力；
2)神经网络的知识存储容量大；
3)具有很强的不确定性信息；
4)具有很强的健壮性；
5)一种具有高度非线性的系统。
Bp神经网络适合模拟直感思维，它具有的并行处理、自适应性、容错性和强大的学习能力等特性，都是决策树所需要的；决策树则适用于模拟逻辑思维，它具有的易于分析推理、较强的知识表达能力、导出的规则容易理解等能与神经网络互补。通过神经网络不断的学习调整形成的网络结构，可以去掉冗余信息，从而简化数据的属性维度。客户流失模型的构造如下所示，它包括神经网络特征简约部分以决策树算法对流失客户的划分部分。
在图1中，神经网络部分包括：学习规则的选取、神经网络结构的确定、各种参数的选择，将提取的客户数据作为原始数据输入神经网络，逐步调整客户数据各属性权值大小进行学习。按属性对分类的相关度进行简约。
3Bp网络的学习过程及算法
Bp网络是应用较为广泛的神经网络，它采用有教师的学习规则，算法核心是一边向后传播误差，一边修正误差来不断调节权值，采用两趟传播对每个学习过程进行计算，以实现或逼近得到期望输出。输入信号经过输入层和隐含层，在输出端产生输出信号称为工作信号正向传播。网络权值在信号向前传递中保持不变，各层神经元状态只影响其下一层神经元状态。当不能在输出层得到期望输出时，则转入误差信号的反向传播。网络实际输出与期望输出之间差值即为误差信号，误差信号反向传播是误差信号由输出端逐层向前传播。在反向传播中，由误差反馈进行调整网络权值，通过不断修正权值使网络实际输出更接近期望输出。
Bp网络算法如下：
1)初始化权值为一系列小随机数：
2)给定X1X2…Xn为输入向量，Y1Y2…Yn为目标输出；
3)从第一个隐含层开始计算各层各单元的净输入值：即
其中ojk为输出到j单元上的k单元的输出值；n为与j单元相连的输出单元数；wjk为j单元与k单元之间的连接权值；
4)由净输入值和激活函数得出激活值ajaj=fj(Sj)
5)由激活值aj计算出输出值ojoj=G(aj)(3-24)
其中G为输出函数，中间层的G(aj)=aj：输出层的G则需根据输入输出模式具体确定；
6)由输出层反向逐层计算连接权的修正值wij
7)重复步骤(3)至(6)直到实际输出与期望输出的均方差最小时停止。
4神经网络训练
本文的属性约简以电信客户数据为样本，采用三层的Bp网络结构，输入层根据样本情况将客户属性个数设置为39，隐含层节点为14个，系统中的客户主要分为流失和非流失两类，因此将学习速率设为0.01，输出层节点个数设为2。本文使用的训练数据为某公司某年九月份的约4万条客户样本记录，其中样本的70%作为训练集，30%作为检验集。
在Bp神经网络训练过程中，Bp网络训练结果的评价标准采用误差平方和(SSe)与最大迭代次数。当SSe
将样本数据中的69个相关属性送入神经网络模型进行学习，得到如下图所示的各属性流失相关度，对客户属性按照相关度大小进行排序，结合行业专家的意见和数据分析的结果，采用消费金额、客户在网时长等39个属性作为模型的输入，进行客户挖掘建模。
模型在应用中还需及时更新，因为模型的训练是基于一个时间段内的数据进行的。模型往往代表了这段时间内用户的消费习惯和消费结构。因此用模型预测时，其时效性是明显的。当环境发生变化，用户的行为发生改变时，模型也就需要及时更新，使用新的数据进行训练，不断进行修正和完善以保证其有效性，随着训练样本的增大，模型在准确率方面还将有进一步提高。
参考文献：
[1]吴尚智.基于粗糙集的一种属性值约简算法及其应用[J].计算机应用与软件,2009(2).
[2]王美玲,王念平,李晓.Bp神经网络算法的改进及应用[J].计算机工程与应用,2009(45).
神经网络的特性篇2
1引言
在电路仿真中,电子器件的建模方法主要有物理模型法、宏模型法和神经网络法[1-2].所谓物理模型,就是根据电子器件的物理特性建立模型,但由于器件的参数只有通过生产器件的厂家才能获得,因此普通用户一般不采用此方法建模.宏模型是电路子系统的等效电路,以端点变量对原电路进行精确的描述.电路仿真标准软件pSpice中提供了多项式法、函数法和查表法等用于构造电路的宏模型,但多项式法和函数法都要求器件特性可以用多项式或函数来表达,而大多数电器件特性是不能写出表达式的;查表法则需要大量数据才能保证模型的精度.神经网络用于电子器件建模是近几年提出的新方法,已经用于隧道二极管[3]和传感器建模[4],但目前主要应用于具有简单非线性、可用单神经网络逼近的器件建模.本文针对具有复杂非线性的电子器件建模,提出了分段建模的方法,并应用于建立稳压二极管的电路仿真模型.
2单神经网络用于稳压二极管特性逼近
神经网络用于器件建模一般分为3个过程:a.获取被建模元件的输入输出数据,并作为神经网络的输入输出矢量;b.利用上述输入输出矢量对神经网络进行训练,按期望精度获得网络的权值和阈值;c.在pspice中建立单个神经元和神经网络的模型.选取1n4732a稳压二极管作为研究对象,其伏安特性数据如（表略）对数据归一化处理后,选取具有单隐层的Bp神经网络进行特性逼近,结果当隐层神经元个数为65个时,才达到精度要求.由于隐层神经元个数多,所建器件模型过于复杂,会造成仿真过程时间长甚至不收敛等现象.因此,采用单个神经网络无法建立满意的1n4732a稳压二极管模型.
3稳压二极管模型的分段建模实现
根据1n4732a的电压电流特性,将其分为正向特性曲线部分和反向特性曲线部分,并分别采用Bp神经网络进行逼近.正向和反向训练结果分别（图略）为了适应神经网络训练,在反向特性训练前,先将电流值取反,在pSpice描述时再将电流取反即可.训练结果表明,对正向特性的逼近所需要的神经网络隐层神经元个数为4个,对反向特性的逼近所需要的神经网络隐层神经元个数为5个,作用函数均采用S型函数.将正向特性神经网络和反向特性神经网络分别在pSpice中进行描述[2-3],并采用如图3所示结构形成子电路,即完成建模过程.图中,Sw1和Sw2为电压控制开关,e1和e2为电压控制电压源,受节点1和2之间的电压控制;G(V5+V8)为电压控制电流源,其电流受节点5和8电压之和的控制.通过对Sw1和Sw2导通和关断电压的控制可以完成特性曲线的切换.为验证模型的有效性,在pSpice中,对该模型加一直流扫描电压,其伏安特性曲线如图4所示,符合精度要求.
神经网络的特性篇3
【关键词】图像分类深度卷积神经网络加权压缩近邻
1研究背景
手写数字识别是一个经典的模式识别问题。从0到9这10个阿拉伯数字组成。由于其类别数比较小，它在些运算量很大或者比较复杂的算法中比较容易实现。所以，在模式识别中数字识别一直都是热门的实验对象。卷积神经网络（Convolutionalneuralnetworks，Cnn），在手写体识别中有着良好的性能。卷积神经网络的神经元是局部连接，神经元之间能够共享权值。深度卷积神经网络不但可以解决浅层学习结构无法自动提取图像特征的问题，并且提高了分类的泛化能力和准确度。
2深度卷积神经网络
深度卷积神经网络是一种具有多层监督的神经网络，隐含层中的卷积层和池采样层是实现深度卷积神经网络提取特征的核心模块，并通过使用梯度下降算法最小化损失函数来进行权重参数逐层反向调节，再经过迭代训练提高分类精确度。
深度卷积神经网络的首层是输入层，之后是若干个卷积层和若干个子采样层和分类器。分类器一般采用Softmax，再由分类器去输出相应的分类结果。正常情况下，一个卷积后面都跟一个子采样层。基于卷积层里权值共享和局部连接的特性，可以简化网络的样本训练参数。运算之后，获得的结果通过激活函数输出得到特征图像，再将输出值作为子采样层的输入数据。为了实现缩放、平移和扭曲保持不变，在子采样层中将之前一层对应的特征图中相邻特征通过池化操作合并成一个特征，减少特征分辨率。这样，输入的数据就可以立即传送到第一个卷积层，反复进行特征学习。将被标记的样本输入到Softmax分类器中。
Cnn能够简化网络的样本训练参数，降低计算难度。这些良好的性能是网络在有监督方式下学会的，网络的结构主要有局部连接和权值共享两个特点：
2.1局部连接
深度卷积神经网络中，层与层之间的神经元节点是局部连接，不像Bp神经网络中的连接为全连接。深度卷积神经网络利用局部空间的相关性将相邻层的神经元节点连接相邻的上一层神经元节点。
2.2权重共享
在深度卷积神经网络中，卷积层中每一个卷积滤波器共享相同参数并重复作用，卷积输入的图像，再将卷积的结果变为输入图像的特征图。之后提取出图像的部分特征。
在得到图像的卷积特征之后，需要用最大池采样方法对卷积特征进行降维。用若干个n×n的不相交区域来划分卷积特征，降维后的卷积特征会被这些区域中最大的或平均特征来表示。降维后的特征更方便进行分类。
3实验结果
为了验证卷积神经网络的有效性，本实验中使用以最经典的mniSt和USpS库这两个识别库作为评测标准。手写数字mniSt数据库有集60000个训练样本集，和10000个测试，每个样本向量为28×28=784维表示。手写数字USpS数据库含有7291个训练样本和2007个测试样本，每个样本向量为16×16=256维。
表1给出了卷积神经网络在mniSt和USpS库上的识别结果。从表1中可知，深度卷积神经网络对mnSit库识别率能够达到97.89%，与用Bp算法得到的识别率94.26%相比，提高了两个多百分点。对USpS库识别率能够达到94.34%，与用Bp算法得到的识别率91.28%相比，也提高了三个多百分点。
因此，使用深度卷积神经网络算法训练在图像识别中获得更高识别率。因此，深度卷积神经网络在识别手写体字符时有着较好的分类效果。
4总结
本文介绍深度卷积神经网络的理论知识、算法技术和算法的结构包括局部连接、权重共享、最大池采样以及分类器Softmax。本文通过深度卷积神经网络对两组手写识别库实验来验证Cnn有着较低的出错率。
参考文献
[1]赵元庆，吴华.多尺度特征和神经网络相融合的手写体数字识别简介[J].计算机科学，2013，40（08）：316-318.
[2]王强.基于Cnn的字符识别方法研究[D].天津师范大学，2014.
[3]Krizhevskya，Sutskeveri，HintonGe.imagenetClassificationwithDeepConvolutionalneuralnetworks.advancesinneuralinformationprocessingSystems，2012，25（02），1097-1105.
[4]郝红卫，蒋蓉蓉.基于最近邻规则的神经网络训练样本选择方法[J].自动化学报，2007，33（12）：1247-1251.
作者简介
关鑫（1982-），男，黑龙江省佳木斯市人。硕士研究生学历。现为中国电子科技集团公司第五十四研究所工程师。研究方向为计算机软件工程。
神经网络的特性篇4
摘要:常规piD控制器以其算法简单、可靠性高等优点,在工业生产得到了广泛应用。但是,piD控制器存在控制参数不易在线实时整定、难于对复杂对象进行有效控制等不足。利用神经网络自学习、自适应和非线性映射等特点,将神经网络和piD控制相结合,形成一种piD神经网络控制系统,可对工业中使用的具有大时滞、慢时变、非线性特点的电炉系统进行有效辨识与控制。
关键词:piD神经网络;智能控制器;滞后系统;时变系统;电炉控制系统
中图分类号:tp18文献标识码:a文章编号:1009-3044(2009)28-8028-03
applicationofpiDneuralnetworkinelectricCookerControllingSystems
RenHui,wanGwei-zhi
(instituteofautomation,FuzhouUniversity,Fuzhou350002,China)
abstract:GeneralpiDcontroller,becauseitsalgorithmissimpleandhighreliability,sohasbeenwidelyusedinindustrialproduction.However,piDcontroller,thereisnoteasytolinereal-timecontrolparametertuning,isdifficultforcomplexobjectssuchaslackofeffectivecontrol.Usingneuralnetworkself-learning,adaptiveandnonlinearmappingcharacteristicsofneuralnetworkandpiDcontrolcombinedtoformapiDneuralnetworkcontrolsystemcanbeusedinindustrywithalargetimelag,slowtime-varying,nonlinearcharacteristicsofelectricsystemsforeffectiveidentificationandcontrol.
Keywords:piDneuralnetwork;intelligentcontroller;timelagsystem;time-varyingsystem;electriccookersystems
近年来,随着神经网络理论的发展,将控制中应用最广泛的piD的控制器与具有自学习功能的神经网络相结合,已成为智能控制研究的一个新方向。并且,在这个方向上已取得了一些研究成果。其主要的结合方式是在常规piD控制器的基础上增加一个神经网络模块,利用神经网络来在线调节piD参数,但缺点是结构较复杂。本文介绍的piD神经网络是将piD控制规律融进神经网络之中构成的,实现了神经网络和piD控制规律的本质结合。它属于多层前向网络,但是它与一般的多层前向网络又不完全相同,一般的多层前向网络中的全部神经元的输入输出特性都是相同的,而piD-nn的隐含层是由比例、积分、微分三个单元组成,是一种动态前向网络,更适合于控制系统。各层神经元个数、连接方式、连接权值是按控制规律的基本原则和已有的经验确定的,保证了系统稳定和快速收敛。由于piD神经网络控制器是将神经网络和piD控制规律融为一体,所以其既具有常规piD控制器结构简单、参数物理意义明确之优点,同时又具有神经网络自学习、自适应的功能,可将piD神经网络应用于对工业控制领域的复杂非线性对象的控制。
本文提出一种基于piD神经网络的控制方案,用来对大时滞、慢时变、非线性的电炉系统进行辨识与控制。
1piD神经网络控制系统
1.1piD神经网络的结构
piD神经网络是一个3层的前向网络,包括输入层、隐含层和输出层,其结构如图1所示。网络的输入层有2个神经元,分别对应系统的输人和输出;隐含层有3个神经元,各神经元的输出函数互不相同,分别对应比例(p)、积分(i)、微分(D)3个部分;网络的输出层完成piD-nn控制规律的综合。网络的前向计算实现piD神经网络的控制规律,网络的反向算法实现piD神经网络参数的自适应调整。
1.2控制系统结构及其工作原理
piD神经网络控制系统结构如图2所示。控制系统包含piD神经网络辨识器(piD-nni)和piD神经网络控制器((piD-nnC)。其中r(k)为系统的设定输入,y(k)为被控对象的实际输出,y~(k)为piD-nni的输出,u(k)为piD-nnC的输出。系统的工作原理是:利用神经网络的非线性函数逼近能力和学习记忆功能,由piD-nni在线对被控对象模型进行辨识。它利用输出偏差(e1(k)=y(k)-y~(k)),修正网络权值,使之逐步适应被辨识对象的特性。当它学习到与被控对象基本一致时,piD-nnC利用系统偏差(e2(k)=r(k)-y~(k)),通过反传算法实时调整自身权值,以跟上系统的变化,达到有效控制的目的。
2piD神经网络学习算法
神经网络的特性篇5
关键词:自组织特征映射神经网络;概率神经网络;岩性识别;预测
中图分类号:tp183
0引言
岩性识别是储层评价的重要工作之一,是求解储层参数的基础。测井在勘探中的作用和地位正在日益提高,测井参数值是地下岩石的矿物成分、结构和孔隙度等的综合反映,是岩性分析的基础资料。对于一组特定的测井参数值,它就必然对应着地层中的某一种或某几种岩性。在分析岩心和测井参数对应特征的基础上,划分岩心的岩石类型,并从各类岩石中读取能够代表岩样的测井参数值,确定岩性与测井参数对应关系。
由于井下地质构造的复杂性和测井参数分布的模糊性,传统的数理统计等方法难以准确地反映测井资料与地层岩性的非线性映射关系,识别精度有限,采用具有聚类功能的人工神经网络――自组织特征映射网络(Som)和概率神经网络(pnn)完成测井资料的岩性识别。采用神经网络对测井数据进行岩性识别,具有较强的自组织和自适应性,有较高的容错能力。
1概率神经网络(pnn)
概率神经网络(probabilisticneuralnetwork,pnn)是基于贝叶斯最小风险准则和parzen窗的概率密度函数方法发展而来的一种并行算法,是径向基函数模型的发展[3]。它直接考虑样本空间的概率特性,以样本空间的典型样本作为隐含层的节点,其网络权值是模式样本的分布。
概率神经网络由四个结构层组成:输入层、样本层、累加层和输出层。输入层的节点数是样本向量的维数,将所有样本不变地传给样本层后,样本层将输入向量的各个分向量进行加权求和,然后再用一个非线性算子进行运算,非线性算子取高斯函数:
式中:[wtHX]X为输入向量;w[wtBX]为权值向量;1/R2为平滑因子。オ
然后将计算结果传递到累加层[5],累加层各个节点只与相应类别的样本节点相连,计算同类样本输出值的和,权值都为1。网络的输出层,即竞争层采用胜者为王的学习规则,使具有最大概率的向量的输出为1,其他类别的向量输出为0。这样网络就按Bayes决策[6]将输入的向量分配到具有最大后验概率的类别中去。
2自组织特征映射神经网络(Som)
自组织特征映射网络(Self[CD*2]organizingfeaturemap,Som),接受外界输入模式时,将会分为不同的对应区域,各区域对输入模式具有不同的响应特征。自组织映射学习算法包含:竞争、合作和更新三个过程[7]。
(1)在竞争过程中,确定输出最大的神经元为获胜神经元。由于神经元的激励函数为线性函数,神经元的最大输出取决于其输入ui=∑nj=1wijxj,即输入向量[wtHX]X[wtBX]=[x1,x2,…xn]t和权值向量[wtHX]w[wtBX]i=[wi1,wi2,…win]t,i=1,2,…,m的内积。而该内积在输入向量和权值向量均为归一化向量时,等价于输入向量和权值向量的欧氏距离最小。所谓欧氏距离就是n维欧氏空间中向量[wtHX]Y[wtBX]=[y1,y2,…,yn]和向量[wtHX]Z[wtBX]=[z1,z2,…,zn]的距离,其值为∑ni=1(yi-zi)2。所以当输入向量为[wtHX]X[wtBX]且第c个神经元获胜,满足条件:[wtHX]X[wtBX]-[wtHX]w[wtBX]c=┆min[wtHX]X[wtBX]-[wtHX]w[wtBX]i(i=1,2,…,m)。И
(2)在合作过程中,确定获胜神经元的加强中心。拓扑邻域的中心就是在竞争过程中得到的获胜神经元,在邻域范围内的神经元为兴奋神经元,即加强中心。
(3)在更新过程中,采用Hebb学习规则[8]的改变形式,对网络上获胜神经元拓扑邻域内的神经元进行权值向量的更新。
自组织特征映射神经网络是一种竞争式学习网络,共有两层,输入层各神经元通过权向量将外界信息汇集到输出层的各神经元。采用Kohonen算法,获胜神经元对其邻近神经元的影响是由近及远,由兴奋逐渐转变为抑制,其学习算法中不仅获胜神经元本身要调整权向量,它周围的神经元在其影响下也要程度不同地调整权向量,调整力度依邻域内各神经元距获胜神经元的远近而逐渐衰减。最后使输出层各神经元成为对特定模式类敏感的神经细胞,对应的内星权向量成为各输入模式类的中心向量。并且当两个模式类的特征接近时,代表这两类的神经元在位置上也接近,从而在输出层形成能够反映样本模式类分布情况的有序特征图[9]。
3基于神经网络的岩性识别
通过对已知井段测井数据进行学习,来预测同一地区其他井段的岩性。
3.1岩性样本
为了探讨神经网络在岩性识别中的具体应用,选择一批测井岩性数据用于岩性识别建模工作。选择某地区的资料进行研究,该地区属于碳酸盐地层,选取的样本岩性有3种,即泥岩、砂岩和石灰岩。影响岩性的重要因子有5个,补偿中子空隙度CnL、补偿密度曲线Den、声波时差DtC、自然伽玛GR和微电阻率Rt。通过对历史资料的分析,获得了6组样本数据。
在各种测井工作中,由于不同的测井响应具有各自的测量量纲,数值大小不一,差异较大,无法直接进行定量比较,因而必须对测井数据进行处理,对其归一化,将非地质因素校正到同一水平上。在归一化处理后的测井响应值是没有量纲的,而且其数值在[0,1]范围内变化,消除了不同测井响应在量纲和数量级上的差异。原始数据归一化后的结果数据列出如表1所示。
3.2pnn网络岩性识别仿真
建立pnn网络,其输入层有5个神经元,分别对应5个影响因子,选取的样本有三种不同的岩性,利用二进制格式描述这三种岩性,作为目标向量。利用下面函数创建pnn网络用于岩性识别。
net=newpnn([wtHX]p[wtBZ],[wtHX]t[wtBZ],SpReaD);其中:[wtHX]p[wtBZ]为输入向量;[wtHX]t[wtBZ]为目标向量;SpReaD为分布密度。
运用建立的模型对学习样本仿真,输出结果如表1最后一列所示。
由表1的仿真结果可知,网络成功地将岩性样本分为三类,这与实际情况一致,并且可知第1类为泥岩,┑2类为砂岩,第3类为石灰岩。接下来用一组测试样本,检验模型的未知岩性的识别能力。测试样本数据如表2所示。
运用建立的模型对上表的岩性影响因子测试样本进行仿真,输出结果如表2最后一列所示。仿真结果显示该组测试样本属于第3类,即为石灰岩,与期望输出一致。可见,pnn网络能够正确识别未知岩性样本。
3.3Som网络岩性识别仿真
Som神经元数的选取与样本有多少模式有关。如果神经元数较少,对输入样本类别进行“粗分”,如果神经元数较多,可将输入样本类别“细化”。
选取竞争层神经元为2×3的组织结构,通过距离函数linkdist来计算距离,利用下面函数创建Som网络,用于岩性类别的“粗分”。
由于网络的初始权值相同,权向量是重合的。利用表1的学习样本对网络训练,训练步数的大小影响网络的聚类功能。不断调整训练步数,训练100次后,神经元就可以自组织分布。网络训练结束后权值也就固定了,以后每输入一组新的样本,竞争层的神经元开始竞争,激活与之最为接近的神经元,从而实现岩性自动识别。运用建立的Som网络对学习样本和测试样本进行仿真,聚类结果如表3所示。样本序号类别激发神经元索引
聚类结果表明学习样本分为三类,序号为1,2的样本为第1类,激活第5个神经元;序号为3,5的样本为第2类,激活第4个神经元;序号为4,6的样本为┑3类,激活第1个神经元。而测试样本激活第1个神经元,属于第3类,由学习样本可知,为石灰岩。可见,Som网络能够准确地划分岩性类别。
将上述岩性样本类别“细化”,或者增加更多不同类型的岩性样本,那么应该增加竞争层神经元的数量。选取竞争层神经元为3×4的组织结构,创建Som网络,随着神经元个数的增加,增加训练次数,当训练1000次时,神经元就可以自组织分布。运用建立的Som网络对学习样本和测试样本进行仿真,聚类结果如表4所示。[Jp]
参照样本实际分布曲线,分析聚类结果,当竞争层的神经元数目较多时,几乎每一个样本都被划分为┮焕唷＊从图1可以看出,序号1和2样本、序号3和5样本分别在高维空间相近,而聚类后激活的相应神经元的位置也接近,序号4和6样本相仿程度更高,聚类后激发了同一个神经元1,这和实际情况是吻合的。测试样[LL]本与序号4和6样本极为接近,聚类后激发了同一个神经元,即网络的第1个神经元,所以样本属于第4类。增加竞争层神经元的数量,可以使岩性类别划分更加详细,岩性识别准确。
4结语
采用概率神经网络和自组织特征映射神经网络对岩性进行自动识别是准确的。pnn网络不需要训练,具有结构简单、追加样本容易的特点,是一种具有较强容错能力和机构自适应调整的网络,但需要预设目标向量。Som网络具有效率高,无需监督,能自动对输入模式进行聚类的优势,但输出层的神经元数目多,网络规模较大。仿真结果表明这两种网络用于岩性分类和识别是准确和可靠的,对用于油层、煤层及其勘探等领域,具有重要的参考价值。
参考文献
[1]于代国,孙建孟,王焕增,等.测井识别岩性新方法[CD2]支持向量机方法\[J\].大庆石油地质与开发,2005,24(2):93[CD*2]95.
[2]GaotH,CaoJY,ZhangmL,QiJB.LithologyRecognitionduringoilwellDrillingBasedonFuzzy[CD*2]adaptiveHammingnetwork[a].proceedingsoftheSixthinternationalConferenceonintelligentSystemsDesignandapplications[C].2006:574[CD*2]578.
[3]SpechtDF.probabilisticneuralnetworkandGeneralRegressionneuralnetwork[m].mcGraw-Hill,1996.
[4]taoSong,moJamshidi,RolandRLee,etal.anovelweightedprobabilisticneuralnetworkformRimageSegmentation[a].ieeeinternationalConferenceonSystem,manandCybernetics\[C\].2005,3:2501[CD*2]2506.
[5]HanJ,Kanmberm.Datamining:Conceptsandtechniques[m].SanFrancisco:academicpress,2001.
[6]ChuheeLee,euisunChoi.BayeserrorevaluationoftheGaussianmLClassifier[J].ieeetrans.onGeoscienceandRemoteSensing,2000,38(3):1471[CD*2]1475.
[7]杨建刚.人工神经网络实用教程[m].杭州:浙江大学出版社,2001.
[Jp2][8]paragC,pendharkara.Dataenvelopmentanalysis[CD*2]basedapproachforDatapreprocessing[J].ieeetrans.onKnowledgeandDataengineering,2005,17(10):1379[CD*2]1388.[Jp]
[9]韩力群.人工神经网络教程[m].北京:北京邮电大学出版社,2006.
神经网络的特性篇6
关键词：树叶识别；支持向量机；卷积神经网络
中图分类号tp18文献标识码：a文章编号：1009-3044（2016）10-0194-03
abstract：inthispaper，theconvolutionneuralnetworkrecognitionintheleaves，andtheprocessbyconvolutionofimagevisualization.experimentsshowthattheneuralnetworkapplicationidentificationconvolutionleavesa92%recognitionrate.inaddition，thisneuralnetworkandsupportvectormachinecomparativestudycanbedrawnfromthestudy，convolutionalneuralnetworkineitherspeedoraccuracybetterthansupportvectormachines，visible，convolutionneuralnetworkintheleavesaspecthasgoodapplicationprospects.
Keywordsrecognitionleaves；SVm；convolutionalneuralnetwork
1概述
树叶识别与分类在对于区分树叶的种类，探索树叶的起源，对于人类自身发展、科普具有特别重要的意义。目前的树叶识别与分类主要由人完成，但，树叶种类成千上万种，面对如此庞大的树叶世界，任何一个植物学家都不可能知道所有，树叶的种类，这给进一步研究树叶带来了困难。为了解决这一问题，一些模式识别方法诸如支持向量机（SupportVectormachine，SVm）[1]，K最近邻（k-nearestneighbor，Knn）[2]等被引入，然而，随着大数据时代的到来，这些传统分类算法暴露出越来越多的不足，如训练时间过长、特征不易提取等不足。
上世纪60年代开始，学者们相继提出了各种人工神经网络[3]模型，其中卷积神经网络由于其对几何、形变、光照具有一定程度的不变形，因此被广泛应用于图像领域。其主要特点有：1）输入图像不需要预处理；2）特征提取和识别可以同时进行；3）权值共享，大大减少了需要训练的参数数目，是训练变得更快，适应性更强。
卷积神经网络在国内研究才刚刚起步。Lenet-5[4]就是一种卷积神经网络，最初用于手写数字识别，本文研究将卷积神经网络Lenet-5模型改进并应用于树叶识别中。本文首先介绍一下卷积神经网络和Lenet-5的结构，进而将其应用于树叶识别，设计了实验方案，用卷积神经网络与传统的模式识别算法支持向量机（SVm）进行比较，得出了相关结论，并对进一步研究工作进行了展望。
2人工神经网络
人工神经网络方面的研究很早就已开展，现在的人工神经网络已经发展成了多领域、多学科交叉的独立的研究领域。神经网络中最基本的单元是神经元模型。类比生物神经元，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元的状态。人工神经元模型如图1所示：
上述就是一个简单的神经元模型。在这个模型中，神经元接收来自n个其他神经元传递过来的输入信号，这些信号通过带权重的w进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”来产生输出。
一般采用的激活函数是Sigmoid函数，如式1所示：
[σz=11+e-z]（1）
该函数图像图2所示：
2.1多层神经网络
将上述的神经元按一定的层次结构连接起来，就得到了如图3所示的多层神经网络：
多层神经网络具有输入层，隐藏层和输出层。由于每一层之间都是全连接，因此每一层的权重对整个网络的影响都是特别重要的。在这个网络中，采用的训练算法是随机梯度下降算法[5]，由于每一层之间都是全连接，当训练样本特别大的时候，训练需要的时间就会大大增加，由此提出了另一种神经网络―卷积神经网络。
2.2卷积神经网络
卷积神经网络（Cnn）由于在图像分类任务上取得了非常好的表现而备受人们关注。发展到今天，Cnn在深度学习领域已经成为了一种非常重要的人工神经网络。卷积神经网络的核心在于通过建立很多的特征提取层一层一层地从图片像素中找出关系并抽象出来，从而达到分类的目的，Cnn方面比较成熟的是Lenet-5模型，如图4所示：
在该Lenet-5模型中，一共有6层。如上图所示，网络输入是一个28x28的图像，输出的是其识别的结果。卷积神经网络通过多个“卷积层”和“采样层”对输入信号进行处理，然后在连接层中实现与输出目标之间的映射，通过每一层卷积滤波器提取输入的特征。例如，Lenet-5中第一个卷积层由4个特征映射构成，每个特征映射是一个24x24的神经元阵列。采样层是基于对卷积后的“平面”进行采样，如图所示，在第一个采样层中又4的12x12的特征映射，其中每个神经元与上一层中对应的特征映射的2x2邻域相连接，并计算输出。可见，这种局部相关性的特征提取，由于都是连接着相同的连接权，从而大幅度减少了需要训练的参数数目[6]。
3实验研究
为了将Lenet-5卷积网络用于树叶识别并检验其性能，本文收集了8类树叶的图片，每一类有40张照片，如图5所示的一张树叶样本：
本文在此基础上改进了模型，使用了如图6卷积神经网络模型：
在此模型中，第一个卷积层是由6个特征映射构成，每个特征映射是一个28*28的神经元阵列，其中每个神经元负责从5*5的区域通过卷积滤波器提取局部特征，在这里我们进行了可视化分析，如图7所示：
从图中可以明显地看出，卷积网络可以很好地提取树叶的特征。为了验证卷积神经网络与传统分类算法之间的性能，本文基于python语言，CUDa并行计算平台，训练同样大小8类，一共320张的一批训练样本，采用交叉验证的方法，得到了如表1所示的结论。
可见，无论是识别率上，还是训练时间上，卷积网络较传统的支持向量机算法体现出更好地分类性能。
4总结
本文从人工神经网络出发，重点介绍了卷积神经网络模型Lenet-5在树叶识别上的各种研究并提取了特征且进行了可视化，并与传统分类算法SVm进行比较。研究表明，该模型应用在树叶识别上较传统分类算法取得了较好的结果，对收集的树叶达到了92%的准确率，并大大减少了训练所需要的时间。由于卷积神经网络有如此的优点，因此在人脸识别、语音识别、医疗识别、犯罪识别方面具有很广泛的应用前景。
本文的研究可以归纳为探讨了卷积神经网络在树叶识别上的效果，并对比了传统经典图像分类算法，取得了较好的分类精度。
然而，本文进行实验的样本过少，当数据集过多的时候，这个卷积神经网络算法的可行性有待我们进一步的研究；另外，最近这几年，又有很多不同的卷积神经网络模型出现，我们会继续试验其他的神经网络模型，力求找到更好的分类算法来解决树叶识别的问题。
参考文献：
[1]Bella，Sejnowskit.aninformation-maximizationapproachtoBlindSeparationandBlindDeconvolution[J].neuralComputation，1995，7（6）：1129-59.
[2]altmannS.anintroductiontoKernelandnearest-neighbornonparametricRegression[J].americanStatistician，1992，46（3）：175-185.
[3]RipleyBD，HjortnL.patternRecognitionandneuralnetworks[m].patternrecognitionandneuralnetworks.CambridgeUniversitypress，，1996：233-234.
[4]LécunY，BottouL，BengioY，etal.Gradient-basedlearningappliedtodocumentrecognition[J].proceedingsoftheieee，1998，86（11）：2278-2324.
神经网络的特性篇7
通信技术和计算机技术得到不断的发展和进步过程中，网络资源也逐渐实现了共享，全球信息化顺势成为当今社会的发展潮流。计算机网络是信息传播的主要形式，也是全球范围内数据通信的主要方式，具有方便、快捷，经济等特点。除了日常的信息交流和沟通之外，重要部门需要加密的内部文件、资料、执行方案和个人隐私等信息内容也会通过网路系统实现传输，但是网络数据给人们带来方便的同时，自身也存在极大的风险，因此，如何有效应用信息网络，并保证网络信息传输的安全，是网络安全建设的主要内容之一。
1Bp神经网络中间形式通信方式
文中主要对安全通信的中间形式以达到信任主机间安全通信的目的，在系统中的位置属于安全通信层，该通信层位于系统中网络结构组织的最底层，位置越低，具备的安全性能越高，稳定性更强，不轻易受到干扰，从而在一定程度上增加了技术的实行难度。
如图1所示。安全通信层的插入点是与网卡相接近的位置，即nDiS层。安全通信层中具有明显的优势对数据包进行截获，数据包的类型有FDDi、ethernetS02.3或者ethernetS02.5等，建立其完整的网络协议，数据包实行过滤、加解密或者分析等。并保证上层的协议得到完整的处理。安全通信的中间形式具有的主要功能包括：
(1)根据上层协议发出的数据实行加密处理后，将特征进行提取，并根据网卡从信任主机所接收到的数据实行解密后，对待数据进行还原。
(2)以相关的安全准则为基础，对各种存在的网络协议数据实行具体的过滤和分析。
(3)不同的用户实行相应的身份识别和校验。当前网络环境中，对数据包的过滤分析的技术和身份认证技术相对成熟，进而有效提升安全准则的定义。文中将省略安全通信中间形式的协议的过滤分析、安全准则定义和用户认证工作等内容，注重对Bp神经网络模型在实行数据特征提取和数据还原等方面进行分析，并与其他的加密算法相结合，从而达到增大数据通信保密性的目的。
2Bp神经网络模型
人工神经网络是近年来逐渐兴起的一门学科，该网络主要是由具有适应性的简单单位组成，且具备广泛特点，实现互相连接的网络系统，且能够模仿人的大脑进行活动，具备超强的非线形和大数据并行处理、自训练与学习、自组织与容错等优势。尤其是由Rumelhart指出的多层神经网络，即Bp算法，得到多数的研究学者所重视。
Bp网络是利用多个网络层相结合而成，其中有一个输入层和输出层、一个或者多个隐层，每一层之间的神经单位并不存在相关的连接性。
Bp网络是通过前向传播和反向传播相结合形成，前向传播表现为：输入模式通过输入层、隐层的非线形实行变换处理;而传向输出层，如果在输出层中无法达到期望的输出标准，则需要通过转入反向传播的过程中，把误差值沿着连接的通路逐一进行反向传送，进而修正每一层的连接权值。
实现规范的训练方式，通过同一组持续对Bp网络实行训练，在重复前向传播与误差反向传播的过程中，需要保证网络输出均方误差与给定值相比下，数值较小。
以第四层的Bp网络系统进行分析，即具体的算法实现和学习过程。假设矢量X=(X0，X1…Xn-1)t;第二层有n1个神经元，即X’=(X’0，X’1，…X’n1-1)t第三层有n2个神经元，Xn=(Xn0，Xn1，…，Xnn2-1)t;输出m个神经元，y=(y0，y1，…，ym-1)t。设输入和第二层之间的权值为wab，阈值为θb;第二层与第三层的权值为wbc，阀值为θc;第三层与输出层的权为wcd，阈值为θd。正常情况下会使用非线性连续函数作为转移函数，将函数设为：
3Bp神经网络的数据安全通信设计
当前，数据包过滤和分析的技术、安全准则制定和身份认证技术均达到一定发展程度，因此，文中主要对安全通信的中间形式，以Bp神经网络为实验模型，对网络数据特征的提取和原有数据还原等方面内容实行分析。在Bp神经网络发展的基础上，与相关的认证系统，安全准则和加密算法等技术相结合，能在一定程度上提升数据通信保密性、整体性和有效性，从而达到促进数据传输速度的目的。
Bp网络中含有多个隐层，经过相关的研究证明，无论是处于哪一个闭区间之间的连接函数都能利用一个隐层的Bp网络来靠近，因此，一个3层的Bp网络能够随意完成n维到m维的映射变化。如果网络中含有的隐层单位数较多，具有较多的可选择性，则需要进行慎重考虑;如果隐层中的单元数过少，极有可能会导致训练失败，影响到网络系统训练的发展，因此网络训练所拥有的容错性不强;如果隐层中的单元数过多，则需要花费更长的时间进行学习，得到误差结果也较大，因此为了有效提升训练结果误差的准确性，建议在实际操作过程中，可以依照公式n1=log2n，公式中的n是输入神经的元数值，n1表示的是隐层的单位元数值。
对网络传输数据实行特征提取和数据的还原过程中，详见图2所示。
如图2中所示，三层神经元结合而成的Bp网络，所具有的输入层和输出层每个神经元的个数全部相同，设定个数为n个，中间所隐藏的单元个数为n1=log2n，当输入了学习的样本内容后，利用Bp网络的学习，让输入和输出层保持一致，因为隐层的神经元个数明显小于进入输入层的原始网络数据，而将隐层神经元作为原始网络数据特征的样本。在实行网络传输过程中，只需要将隐层神经元的数据进行传输。作为数据的接收方，收到的数据应该是隐层的神经元数值，如果在此基础上，将数据乘上隐层至输出层的权值即可根据发送方提供的原始网络数据实行还原。通过这一计算法积累的经验，合理与相关的加密算法相结合进行计算，具体如：RSa、DeS等，最大限度降低了网络的总流量，进而提升了数据通信的保密性。
4结论
将特定的网络数据作为具体的训练样本，开展Bp网络训练，把一串8个bit位的代码作为输入样本，在隐层中含有3个神经元，通过Bp网络的学习过程中，需要保证输出与输入数据相一致。实行网络数据传输过程中，接收方应该以事前获得的隐层与输出层之间存在的不同的权系数，使用该系数与接收的隐层神经元数据相乘计算，就能有效恢复原先的网络数据，以及8个bit位的输入层。
因为人工神经网络拥有明显的自学习和自适应、联想与记忆、并行处理以及非线形转换等优势，无需进行复杂数学过程，并能够在样本缺损、资料不完备和参数出现漂移的状态下继续保持稳定的输出模式，基于此，文中主要使用一个3层的Bp网络有效对网络数据实行特征提取和数据还原工作，并以该工作为基础，与相应的加密算法和认证体系相联系结合，通过中间件的形式贯穿在整体系统的主要核心内容，从而不仅能够实现对网络通信技术的过滤和分析，还能够在另一方面保障了数据通讯的完整安全性。
神经网络的特性篇8
花生仁的外衣完整性检测是一种模式识别。根据影响花生仁外衣完整性的颜色特征参数,对花生仁外衣完整性进行识别。在神经网络运用领域里,算法的确定无法用一个完全标准,主要是靠经验来选择的。基于以上原因,花生仁外衣完整性检测神经网络的设计算法选择Bp算法[9],该算法能实现输入与输出之间的非线性映射,对于样本数量有限的情况也同样适用。一个典型的Bp网络结构如图3所示。Bp神经网络通常具有多个隐含层。本文中,隐层神经元采用Sigmoid型传递函数,输出层采用logsig型传递函数。花生仁的外衣完整性检测是一种模式识别。根据影响花生仁外衣完整性的颜色特征参数,对花生仁外衣完整性进行识别。在神经网络运用领域里算法的确定无法用一个完全标准的算法确定,主要是靠经验来选择的。基于以上原因,花生仁外衣完整性检测神经网络的设计算法选择Bp算法。一个典型的Bp网络结构(如图3所示)通常具有一个或多个隐层。其中,隐层神经元通常采用Sigmoid型传递函数,而输出层神经元则采用logsig型传递函数。
Bp识别系统是以Bp神经网络分类器[10]为核心的系统,系统设计如图4所示。Bp神经网络分类器由一个Bp网络训练子系统生成得到,图像由CCD摄像头获得后,由图像采集卡数字化输入计算机,提取特征区域获得颜色特征参数,这些参数输入Bp网络即可得到分类结果。影响花生完整性的颜色特征参数为H,i和S,因此输入层节点数等于3;网络的输出有两种情况,即完好与破损,因此输出层有2个节点;对应于完整和破损这两种判断结果,分别用2位二进制编码为10和01。隐含层的节点数的确定非常重要,数目过少,网络将不能建立正确的判断界,使网络训练不出来或不能识别以前没有的样本,且容错性差;而节点数目过多,学习时间长,使网络的泛化能力降低。本文通过多次反复训练网络,确定隐含层节点数目为40。本研究采用matlab软件及其神经网络工具箱来实现网络建模。在神经网络工具箱中,对神经网络的名称、类型、结构和训练函数等参数进行设置,如表1所示。
建立了Bp神经网络并对网络进行初始化后,就可对网络进行训练了。将训练步数设为500步,将训练目标误差goal参数设置为0.01,结果如图5所示。图5中,横坐标表示本网络的预置训练步数,纵向坐标表示本网络的预置训练误差,水平横线表示期望的目标误差,误差变化曲线如图5所示。由图5可知,当网络训练到170步时,网络误差已经达到期望的目标值0.01,训练即可停止。
本文采用Bp神经网络与计算机视觉技术相结合的手段,建立了一个花生外衣完整性判别系统。实验证明,判别准确率达到87.1%。此系统很容易推广在其他农产品的检测中,只需要改变输入和输出样本数据,重新训练一下Bp网络,即可投入使用。因此,将Bp神经网络运用到农产品的品质检测过程中,具有巨大的潜力和广阔的应用前景。但必须指出的是,此方法高效可行,整个训练过程只用了6s,且本研究建立在静态实验环境下,生产效率依然很低。如果要将此实验结果运用生产实际,必须设计出配套的硬件分级设备,这将是后续研究的重点。
神经网络的特性篇9
关键词：Bp神经网络；人脸识别；奇异值
中图分类号：tp391文献标识码：a文章编号：1007-9599(2011)13-0000-01
FaceRecognitionBasedontheBpneuralnetwork
Liuweiwei
(Chinesepeople'spublicSecurityUniversity,Beijing100872,China)
abstract:inordertoachievethepurposeoffacerecognitionbyclassifyingthefeaturevectoroffaceimage,anewmethodsforfacerecognitiononneuralnetworksispresentedinthispaper.Singularvaluesfeaturesoffaceimagematrixareusedasfeatures,Back-propagation(Bp)networksareusedasrecognition.throughtheexperiments,itshowthatthemethodoffacerecognitionisreliableandhaveaabilityofhighmaneuverability.
Kewwords:Bpneuralnetwork;Facerecognition;Singularvalues
一、引言
人脸识别的发展应用广泛，利用人脸图像进行识别身份容易被接受，具有非打扰性、直接性、唯一性。人脸识别主要是对人脸特征向量分类识别。神经网络可以用做人脸特征的分类器。它是一种模拟人类大脑的思维方式和组织形式而建立的数学模型。具有强大的自适应、自学习、高度容错能力，因此成功运用在模式识别和预测等领域。Bp网络是神经网络中最完美的，采用Bp神经网络可以进行人脸特征向量识别分类。
二、Bp神经网络
Bp网络是一种单向传播的多层前馈神经网络，它包括一个输入层、若干隐含层和一个输出层，上下层之间实现全连接，而每层神经元之间没有连接。利用Bp神经网络可以实现输入向量到输出向量的非线性映射。该网络的前层和后层都有连接权值，每一层有阈值，这些值在初始时刻是随机生成的。在具体的应用中，将特征值向量作为输入向量，特征值所对应的结果作为输出向量，Bp网络载入这些数据训练和学习，从而对连接权值和阈值不断进行修正，使网络达到的最优状态，完成网络的学习和训练过程，为后续的数据分类做准备。因此可以将Bp神经网络作为人脸特征向量的分类器，以达到人脸识别的目的。
三、基于Bp神经网络的人脸识别
人脸识别是基于人脸的唯一性进行识别，这里采用奇异值分解的方法提取人脸特征向量。本实验的数据取自oRL人脸数据库，该库由40人、每人10幅、共400幅人脸图像组成。这些照片包含测试者的不同面部表情。本实验选择两个测试者进行识别，每个测试者的十幅图像作为一个类，每个类的前九幅图像的特征向量作为网络的学习训练样本，第十幅图像的特征向量作为测试数据。
（一）样本数据的获取
采用奇异值分解的方法提取人脸图像的特征向量，这些特征向量作为Bp网络的学习和训练样本数据，对样本数据进行归一化后得到。例如=（0.55650.53230.36750.40620.35990.38540.37030.3062）表示第一个测试者的第一副图像的特征向量，在Bp网络中对应的输出向量为（1，0）。
（二）Bp神经网络的建立
第一，确定隐含层的层数。对于一般的模式识别问题，三层网络可以有效的解决此问题。本试验采用三层网络，输入层的神经元个数为特征向量的维数n=8，隐含层的神经元个数为p=2n+1=17，输出层的神经元个数为输出向量的维数为m=2。隐含层神经元传递函数选用tansig，输出层神经元传递函数选用logsig。输出向量为（1，0）和（0，1）表示为第一个和第二个测试者。
第二，载入样本数据学习和训练。样本数据包括输入向量和输出向量，通过学习和训练不断的修正网络中的权值和阈值。训练曲线的收敛情况如图2.
在matlab环境下运行，采用测试样本进行测试，实验结果输出为（0.98490.0027）；（0.00270.9547），试验结果接近（1，0）和（0，1），分别为一号和二号测试者，实验达到预期结果。
图1.训练曲线
四、结语
运用Bp人工神经网络建立了人脸识别模型，解决了对人脸特征向量进行分类识别的问题，从而达到对人脸识别这一最终目的。识别结果表明，在小样本空间下，运用Bp神经网络的人脸识别运算速度快、操作简单、识别率高，Bp神经网络可以用于人脸识别系统中的识别部分，并且可以扩展到其他模式识别问题。
参考文献：
[1]郝文化.matLaB图像图像应用教程[m].中国水利水电出版社,2004
[2]邵拥军等.基于Bp神经网络的湘西金矿成矿预测[J].中南大学学报,2007
[3]高全学等.SVD用于人脸识别存在的问题及解决方法[J].中国图象图形学报,2006
[4]杨天军,张晓春等.基于Bp神经网络的城市道路交通安全评价研究[J].中国矿业大学学报,2005
神经网络的特性篇10
内容摘要:本文采用神经网络的方法,利用消费者物价指数、工业增加值和货币供给等数据,分别以Bp神经网络、RBF神经网络和elman神经网络建立通货膨胀预测模型。三个模型预测结果表明,采用神经网络方法建立的模型能够较好地预测通货膨胀的变动。通过比较Bp神经网络和elman神经网络预测结果可以看出,带有反馈机制的神经网络模型预测性能优于一般神经网络模型。
关键词:通货膨胀预测神经网络
通货膨胀预测对于一个国家的经济运行非常重要。宏观政策制定者往往密切关注未来的通货膨胀趋势,以作为制定宏观经济政策的参考因素之一。
国外学者对通货膨胀预测做了相关研究。如Gabrielmoser(2007)比较了预测澳大利亚通货膨胀的因素模型、VaR模型和aRima模型三种模型,实证结果表明因素模型优于VaR及aRima模型。KirstinHubrich(2005)的研究利用Randomwalk方法、VaR方法、aR方法、菲利普斯曲线方法等方法预测欧洲地区的通货膨胀。prasadS.B(2008)研究发现,考虑汇率因素会提高通货膨胀的预测精度。CludiaDuarte(2007)将总的通货膨胀指标看作不同层次的分解变量组合,如分解为教育、食品等不同的成分,并将分解后不同层次的成分使用不同的模型进行研究。
国内学者研究了我国通货膨胀的预测问题。如张德生等(2007)利用非参数回归模型建立了我国通货膨胀模型,预测结果良好。陈慎思(2005)研究了我国通货膨胀和GDp增长率之间的关系,研究表明通货膨胀率与GDp增长率之间存在着三次回归模型的非线性关系。
近年来,人工智能和神经网络技术的快速发展使得神经网络在金融及经济学中应用越来越广泛。神经网络对非线性关系模拟预测具有的特有优势,对金融时间序列数据具有很好的预测能力。Saeedmoshirietal(1999)研究了静态、动态及混合型的神经网络在通货膨胀预测方面的应用。eminakamura(2005),S.adnan(2007)利用神经网络对不同国家的通货膨胀建立了相关模型,结果显示利用神经网络方法建立的模型预测结果优于传统的一些模型,如aR模型。本文将使用误差反传(Bp)神经网络、径向基函数(RBF)神经网络及反馈型神经网络(elman)三种不同的神经网络建立我国通货膨胀模型,并比较三种模型的预测能力。
数据选取和神经网络的应用特点
(一)数据选取
数据选取区间从2002年至2008年月度数据,数据来源:锐思数据库(省略)。通货膨胀主要与国内生产总值(GDp)和货币供给情况有关,因此本文建立模型考虑的因素包括消费者物价指数(Cpi),以2000年12月为基期;由于我国没有GDp的月度数据,参考相关文献及研究惯例使用工业增加值增长率月度数据代替GDp增长率指标;货币供给情况选择货币(m2)供给增长率月度数据。以Cpi代表通货膨胀水平。数据处理采用matlab软件。
(二)神经网络的应用特点
Bp神经网络结构如图1所示。图1表示有n1个输入单元,中间有一个或多个隐含层,输出层有nm个输出数据。各层之间互相连接,每个连接的权值不同,Bp神经网络学习过程就是通过学习样本数据中的信息来修正权值的过程。Bp网络是目前应用最为广泛和成功的神经网络,是一种多层网络的“逆推”学习算法。学习过程由信号的前向传播和误差的反向传播两个过程组成。
Bp网络学习过程首先根据样本输入,通过前向传播计算方法得到网络输出,然后计算网络输出与期望输出之差,也就是样本实际输出的误差,按照误差反向传播计算的方法修正相关权值,直到网络输出达到误差要求(朱大奇、史慧,2006)。
基本的RBF神经网络有三层,其结构如图2所示。
RBF神经网络学习过程主要是调整βj的过程,其中βj为隐含层到输出层的连接权重,主要原则是根据输出数据与期望数据之间的误差做相应调整。过程如下:
其中,βj(t)是隐含层单元j在t时刻与输出层的连接权重,η表示学习效率。
elman神经网络的特点是隐含层的输出通过承接层的延迟与存储自联到隐含层的输入,这种自联方式使其对历史状态的数据具有敏感性,内部反馈网络的加入增加了网络本身处理动态信息的能力,从而达到了动态建模的目的(飞思科技产品开发中心,2005),其结构如图3所示。
模型构建及实证分析
下面分别采用上述三种神经网络建立通货膨胀预测模型。三种神经网络各具特点,Bp神经网络是应用最早也是目前应用最广泛的一种神经网络;RBF网络是一种采用局部逼近技术的神经网络,利用了多维空间中传统的严格插值法的研究成果;elman是一种反馈型的网络,其隐含层节点的输出通过承接层再反馈到隐含层,作为隐含层输入的一部分。
为了具有可比性并参考现有相关研究文献,三种模型的输出变量均为下个月的Cpi值,输入变量均使用Cpi的前滞后6期数据、工业增加值增长率滞后3期数据、货币供给增长率滞后3期数据。根据现有数据,得到共78组输入输出样本数据,将前72组数据作为训练样本数据,用来训练建立的神经网络模型;后6组数据作为测试样本,不参与神经网络模型的构建及训练,用来测试比较不同网络的预测性能。
(一)神经网络模型结构
根据相关研究成果,Bp网络模型和RBF网络模型采用三层结构,即具有一个隐含层;elman网络模型采用基本结构,即具有输入层、隐含层、承接层、输出层。采用这样的结构主要是因为目前研究经验表明这样的层次结构已经具有足够能力捕获数据序列的特性,而不需要采用更复杂的神经网络结构。
(二)数据的归一化处理
为了避免因数据不同单位对建立模型的影响,训练神经网络模型之前应对样本数据进行归一化处理,公式如下:
其中X是要归一化的数据序列,min(X)、max(X)分别为X中的最小值和最大值。将模型预测结果采用相反的过程处理得到预测的实际值。
(三)建立预测模型
建立Bp神经网络模型主要是确定隐含层节点数目,训练函数采用trainlm,学习算法采用learngdm,经过试验选择结果最优的结构隐含层节点数为10;建立RBF神经网络主要是确定其径向基函数分布密度参数,试验后选择最优值;建立elman网络模型与Bp网络模型类似,选择第一层传递函数为tansig,第二层传递函数为logsig,其中间层节点数根据试验结果选择最优的一个。确定模型结构后,使用前72组样本数据训练所建立的神经网络,训练完毕后将测试样本的数据输入神经网络,得到神经网络的预测值。预测结果及实际值如图4所示。
从图4可以看出,Bp网络模型的预测性能比RBF网络模型和elman网络模型较差,而RBF网络模型和elman网络模型二者性能上比较接近。在短期内elman网络模型预测结果较好,但是在2-4期间内,RBF网络模型预测性能比elman网络模型好,4-6期间内二者性能基本相当。
(四)模型比较及结果分析
为了更准确地比较不同模型之间的优劣,本文用具体误差指标数据来对比不同模型的性能。选取指标有平方误差和(SSe)、平方误差均值(mSe)、平方误差均方根(RmSe)、绝对误差均值(mae)、绝对百分比误差均值(mape)。模型误差指标比较如表1所示。
从表1可以看出,三种网络模型预测的误差指标均较小,与现有关于我国通货膨胀预测结果相比预测精度较高,主要原因是神经网络针对非线性关系具有较好的预测能力,神经网络可以以任何精度模拟非线性,这个预测结果表明通过神经网络方法建立模型预测通货膨胀是一种可行的方案。由于神经网络具有学习能力,通过加大训练样本的数量,让神经网络具有更多的学习数据,可以获得更好的预测性能。
比较三种模型指标可以发现,Bp网络模型的各项误差指标均高于另外两种模型。Bp网络模型和elman网络模型的主要区别是后者加入了承接层,具有了反馈机制,属于动态建模方法,误差结果显示其性能优于Bp网络模型,这反映出Cpi具有一定的记忆性和反馈性,并且动态建模方法比较适合通货膨胀预测。
比较elman网络模型和RBF网络模型可以看出,elman网络模型的SSe、mSe、RmSe三项指标均低于RBF网络模型,而elman网络模型的mae、mape两项指标均高于RBF网络模型,从这些指标看两个模型性能基本相当,但预测性能均比Bp网络模型好。
预测结果显示:三种神经网络模型用于预测通货膨胀升降时,RBF网络模型最好,其6次预测值升降与实际值升降完全一致;elman网络模型预测结果中5次与实际相符;Bp网络模型有3次相符。这表明采用RBF或elman网络模型能够很好的预测未来通货膨胀的变动方向。在制定宏观经济政策时,不仅要考虑通货膨胀的大小,还要考虑通货膨胀变动方向,即下期的Cpi是升还是降,这对制定相关经济政策具有重要意义。
结论
综上所述,神经网络在金融数据分析中得到广泛应用,本文采用三种不同的神经网络模型针对我国的通货膨胀问题建立了不同的预测模型。实证结果显示,虽然不同模型之间性能不尽相同,但总体上预测结果均较好,表明采用神经网络的方法可以很好的捕获通货膨胀数据序列的特性。同时对比Bp网络模型和elman网络模型可以看出,具有反馈机制的神经网络具有更好的预测功能,说明通货膨胀预测时采用动态建模的方法较好。采用神经网络模型能很好预测通货膨胀的变动方向,可为制定宏观经济政策提供重要依据。
参考文献:
1.朱大奇,史慧.人工神经网络原理及应用[m].科学出版社,2006