神经网络算法的优缺点篇1
【关键字】网络安全神经网络鱼群算法评价
目前应用较广泛的Bp神经网络评价算法存在着网络参数难确定、收敛速度较慢且易陷入极小值等问题。为了解决上述问题，本文应用鱼群算法对Bp神经网络进行了改进，结合网络安全评价实例进行了测试，并将测试数据与标准Bp神经网络进行了比较与分析，取得了理想的结果。
一、基本Bp神经网络算法
Bp神经网络算法是一种采用误差反向传播的多层前馈感知器。其特点是具有分布式的信息存储方式，能进行大规模并行处理，并具有较强的自学习及自适应能力。Bp网络由输入层（感知单元）、计算层（隐藏层）、输出层三部分组成。输入层神经元首先将输入信息向前传递至隐含层节点，经过激活函数预处理后，隐层节点再将输出信息传送至输出层得到结果输出。输入层与输出层节点的个数取决于输入、输出向量的维数，隐含层节点个数目前并没有统一的标准进行参考，需通过反复试错来确定。
二、人工鱼群算法
2.1基本原理
人工鱼群算法是指通过长期对鱼类觅食行为的观察，构造人工鱼来模拟鱼类的觅食、群聚、尾随以及随机行为，从而完成全局最优值的寻找。算法所包含的基本过程如下：觅食行为：鱼类会利用视觉或嗅觉来感知水中食物浓度的高低，以此来选择觅食的路线。聚群行为：鱼类一般会以群体形式进行觅食，以此来躲避天敌的伤害并以最大概率获得准确的觅食路线。尾随行为：当群体中的某条鱼或几条鱼寻找到食物后，其附近的其他同伴会立刻尾随而来，其他更远处的鱼也会相继游过来。随机行为：鱼在水中的活动是不受外界支配的，基本上处于随机状态，这种随机性有利于鱼类更大范围的寻找食物及同伴。
2.2鱼群算法优化Bp神经网络的原理
Bp神经网络在求解最优化问题时容易陷入局部极值，并且网络的收敛速度较慢。鱼群算法通过设定人工鱼个体，模拟鱼群在水中的觅食、尾随和群聚行为，通过个体的局部寻优，最终实现全局寻优。人工鱼在不断感知周围环境状况及同伴状态后，集结在几个局部最优点处，而值较大的最优点附近一般会汇集较多的人工鱼，这有助于判断并实现全局最优值的获取。因此用人工鱼群算法来优化Bp神经网络是一种合理的尝试。
2.3具体工作步骤
①设定Bp神经网络结构，确定隐层节点数目；②设定人工鱼参数，主要包括个体间距离、有效视线范围以及移动步长等；③人工鱼进行觅食、群聚及尾随行为来优化Bp神经网络；④通过设定的状态参量，判断是否达到目标精度；⑤若达到精度要求则输出网络优化权值，并执行网络循环，否则继续改化参数进行优化；⑥输出最终优化参数并进行计算机网络安全评价。
三、实验与结果比较
将网络安全的17项评价指标的分值作为Bp神经网络的输入，网络的期望输出只有一项，即安全综合评价分值。Bp神经网络需要一定数量的已知样本来训练，然后才能用训练好的网络进行评价。目前用于网络安全综合评价的数据还很少，本文采用的是文献[3]里面的15组数据，其中将1～10项用作网络训练，11～15项用作仿真输出。
算法用matlab语言实现。通过实验分析，本文将网络隐含层节点数设为5，权值调整参数α=0.1，阈值调整参数β=0.1，学习精度ε=0.0001。网络经过2000次训练，收敛于所要求的误差，然后对检验样本及专家评价样本进行仿真，结果如表1所示，可以看出，鱼群神经网络模型进行计算机网络安全评价中的平均误差较小，仅为2.13%，仿真值与标准输出值非常接近，说明鱼群神经网络对网络安全评价有很好的泛化和拟合性；而标准Bp神经网络预测结果的平均误差为4.96%，预测值与实际值偏离较大，说明标准Bp神经网络在网络安全评价中拟合性不好，测试效果不佳。
神经网络算法的优缺点篇2
关键词：地形面自由曲面神经网络Bp算法模拟退火
1引言
在水利及土木工程中经常会遇到地形面，地形面是典型的空间自由曲面，地形面在给出时，往往只给出一些反映地形、地貌特征的离散点，而无法给出描述地形面的曲面方程。然而有时需要对地形面进行描述，或者当给出的地形面的点不完整时，需要插补出合理的点。以往大多用最小二乘法或其它曲面拟合方法如三次参数样条曲面、Bezier曲面或非均匀有理B样条曲面等，这些拟合方法的缺点是：型值点一旦给定，就不能更改，否则必须重新构造表达函数；在构造曲线曲率变化较大或型值点奇异时，容易产生畸变，有时需要人为干预；此外，这些方法对数据格式都有要求。
神经网络技术借用基于人类智能（如学习和自适应）的模型、模糊技术方法，利用人类的模糊思想来求解问题，在许多领域优于传统技术。用神经网络进行地形面构造，只要测量有限个点（可以是无序的），不需要其它更多的地形面信息和曲面知识，当地形面复杂或者是测量数据不完整时，用神经网络方法更具优势，而且还可以自动处理型值点奇异情况。
本文提出用Bp神经网络结合模拟退火算法进行地形面的曲面构造。
2模型与算法的选择
为了对地形面进行曲面构造，首先要有一些用于神经网络训练的初始样本点，对所建立的神经网络进行学习训练，学习训练的本质就是通过改变网络神经元之间的连接权值，使网络能将样本集的内涵以联结权矩阵的方式存储起来，从而具有完成某些特殊任务的能力。权值的改变依据是样本点训练时产生的实际输出和期望输出间的误差，按一定方式来调整网络权值，使误差逐渐减少，当误差降到给定的范围内，就可认为学习结束，学习结束后，神经网络模型就可用于地形面的构造。
Bp网是一种单向传播的多层前向网络。网络除输入输出节点外，还有一层或多层的隐层节点，同层节点中没有任何耦合。输入信号从输入层节点依次传过各隐层节点，然后传到输出节点，每一层节点的输出只影响下一层节点的输出。其节点单元传递函数通常为Sigmoid型。Bp算法使神经网络学习中一种广泛采用的学习算法，具有简单、有效、易于实现等优点。但因为Bp算法是一种非线性优化方法，因此有可能会陷入局部极小点，无法得到预期结果，为解决Bp算法的这一缺点，本文将模拟退火算法结合到Bp算法中。
模拟退火算法是神经网络学习中另一种被广泛采用的一种学习算法。它的基本出发点就是金属的退火过程和一般组合优化问题之间的相似性。在金属热加工过程中，要想使固体金属达到低能态的晶格，需要将金属升温熔化，使其达到高能态，然后逐步降温，使其凝固。若在凝固点附近，温度降速足够慢，则金属一定可以形成最低能态。对优化问题来说，它也有类似的过程，它的解空间中的每一个点都代表一个解，每个解都有自己的目标函数，优化实际上就是在解空间中寻找目标函数使其达到最小或最大解。
（如果将网络的训练看成是让网络寻找最低能量状态的过程，取网络的目标函数为它的能量函数，再定义一个初值较大的数为人工温度t。同时，在网络的这个训练过程中，依据网络的能量和温度来决定联结权的调整量（称为步长）。这种做法与金属的退火过程非常相似，所以被称为模拟退火算法。）
模拟退火算法用于神经网络训练的基本思想是，神经网络的连接权值w可看作物体体系内的微观状态，网络实际输出和期望输出的误差e可看作物体的内能，对网络训练的目的就是找到恰当的状态w使其内能e最小，因此设置一个参数t来类比退火温度，然后在温度t下计算当前神经网络的e与上次训练的e的差e，按概率exp(-e/t)来接受训练权值，减小温度t，这样重复多次，只要t下降足够慢，且t0，则网络一定会稳定在最小的状态。
模拟退火算法虽然可以达到全局最优，但需要较长时间，Bp算法采用梯度下降方式使收敛速度相对较快。为取长补短，我们将两种算法结合起来，采用Bp算法的梯度快速下降方式，同时利用模拟退火算法技术按概率随机接受一个不成功的训练结果，使梯度快速下降过程产生一些随机噪声扰动，从而既保证了网络训练的快速度下降，又保证了训练结果的最优性。
3网络结构与学习算法
3.1网络结构
如何选择网络的隐层数和节点数，还没有确切的方法和理论，通常凭经验和实验选取。本文采用的Bp网络结构如图1所示，输入层两个节点，分别输入点的x坐标和y坐标；两层隐层，每层10个节点，输出层一个节点，输出点的z坐标。
3.2学习算法
学习算法的具体过程如下：
其中out_node为输出神经元集合.
4计算实例
为了检验本文算法的有效性,我们用本文算法对黄河下游河滩地形面进行曲面构造,地形面数据按截面给出,我们用奇数截面上的点为学习样本,偶数截面上的点用于检验本算法的精度.表1给出了测量值z1与本文算法计算结果z2,z2为本算法经过大约3500次迭代的结果.由这些数据可以看出，本文算法计算出的值与测量值的误差大约在0.02左右.完全可以满足实际工程要求的精度.
5结语
用神经网络进行地形面的曲面构造,不必求出曲面的方程,只需知道有限个点即可,而且这些点可以是散乱点.与传统方法相比,神经网络方法具有很强的灵活性.
本文将Bp算法和模拟退火算法结合起来,解决了Bp算法容易陷入局部极小的致命缺点.但仍然没有解决Bp算法收敛速度慢的缺点.
neURaLnetwoRKmetHoDtoConStRUCtteRRainSURFaCe
abstract
thispaperpresentsanartificialneuralnetworkapproachtosolvetheproblemofterrainsurfaceconstruction.thismethodtakesadvantageoftheglobalminimumpropertyofSimulatedprocedureonthebasisofBpalgorithm,thuscanjumpoutofthelocalminimumandconvergetotheglobalminimum..thismethodwerevalidatedbysimulatingbottomlandterrainofYellowRiver.
Keywords:terrainsurface;freeformsurface;neuralnetwork;Bpalgorithm;simulatedannealing
参考文献
[1]王铠，张彩明.重建自由曲面的神经网络算法[J].计算机辅助设计与图形学学报，1998，10（3）：193-199
神经网络算法的优缺点篇3
【关键词】遗传算法；Bp神经网络；柴油机；故障诊断
柴油机缸盖振动信号中包含着丰富的工作状态信息，在对其现代诊断技术中，基于振动信号分析的诊断方法显示出了其优越性，利用缸盖振动信号诊断柴油机故障是一种有效方法。故障特征的提取和故障类型的识别是利用振动信号分析法在对柴油机进行故障诊断过程中两个最为重要的过程。根据提取的故障特征识别柴油机的故障类型是一个典型的模式识别问题，对柴油机故障类型识别采用恰当的模式识别方法就尤为重要。神经网络作为一种自适应的模式识别技术，其通过自身的学习机制自动形成所要求的决策区域，而不需要预先给出有关模式的经验知识和判断函数；它可以充分利用状态信息，对来自于不同状态的信息逐一进行训练而获得某种映射关系。鉴于其自身特性，在故障模式识别领域中有着越来越广泛的应用。而据统计，有80%～90%的神经网络模型都是采用了Bp网络或者是它的变形。Bp网络是前向网络的核心部分，是神经网络中最精华、最完美的部分。但是它也存在一些缺陷，例如学习收敛速度、不能保证收敛到全局最小点、网络结构不易确定。遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法。其基本操作是选择、交叉和变异，核心内容是参数编码、初始群体的设定、适应度函数的设计、遗传操作设计和控制参数的设定。遗传算法通过种群随机搜索，对数据进行并行处理，将结果收敛到全局最优解。因此，将遗传算法与Bp神经网络结合应用于柴油机故障诊断中，可以提高网络的性能，避免网络陷入局部极小解，进而实现对设备故障的识别。
1Bp神经网络
1.1Bp神经元模型在柴油机故障诊断中的应用
Bp神经网络是一种多层前馈型神经网络，其神经元的传递是S型函数，输出量为0至1之间的连续量，它可以实现从输入到输出的任意非线性映射。由于权值的调整采用反向传播学习算法，因此也称为其为Bp网络。
图1Bp神经元模型
上图给出一个基本的Bp神经元模型，它具有R个输入，每个输入都通过一个适当的权值和ω下一层相连，网络输入可表示为：
a=f（wp+b）
f就是表示输入/输出关系的传递函数。
Bp神经网络的结构与所有影响齿轮故障的特征因素有关。柴油机运动部件多而复杂，激励源众多且其频率范围宽广，加之噪声的融入，使得柴油机表面振动信号极为复杂。基于这种特点，可以确定用于柴油机故障诊断的Bp神经网络的输入层、输出层隐含层以及节点数等。由小波包提取各柴油机故障的特征值作为输入节点，输出节点数目与柴油机故障类别的数目有关。
1.2Bp神经网络与遗传算法
Bp神经网络又称为反向传播算法，其算法数学意义明确、步骤分明，是神经网络中最为常用、最有效、最活跃的一种网络模型。常用方法梯度下降法和动量法，但是梯度下降法训练速度较慢，效率比较低，训练易陷入瘫痪，而且其实质是单点搜索算法，不具有全局搜索能力；动量法因为学习率的提高通常比单纯的梯度下降法要快一些，但在实际应用中速度还是不够；Bp神经网络学习训练开始时网络的结构参数是随机给定的，因此结果存在一定的随机性。
遗传算法（Geneticalgorithm，Ga）是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型，它是由美国密歇根大学的J.Holland教授于1975年首先提出来的，遗传算法具有很强的宏观搜索能力和良好的全局优化性能，因此将遗传算法与Bp神经网络结合，训练时先用遗传算法对神经网络的权值进行寻找，将搜索范围缩小后，再利用Bp网络来进行精确求解，可以达到全局寻找和快速高效的目的，并且可以避免局部极小点问题。该算法不仅具有全局搜索能力，而且提高了局部搜索能力，从而增强了在搜索过程中自动获取和积累搜索空间知识及自应用地控制搜索的能力，从而使结果的性质得以极大的改善。
2基于遗传算法的Bp神经网络
遗传算法优化Bp神经网络主要分为：Bp神经网络结构确定、遗传算法优化权值和阀值、Bp神经网络训练及预测。其中，Bp神经网络的拓扑结构是根据样本的输入/输出个数确定的，这样就可以确定遗传算法优化参数的个数，从而确定种群个体的编码长度。因为遗传算法优化参数是Bp神经网络的初始权值和阀值，只要网络结构已知，权值和阀值的个数就已知了。神经网络的权值和阀值一般是通过随机初始化为[-0.5，0.5]区间的随机数，这个初始化参数对网络训练的影响很大，但是又无法准确获得，对于相同的初始权重值和阀值，网络的训练结果是一样的，引入遗传算法就是为了优化出最佳的初始权值和阀值。
2.1基于遗传算法的Bp神经网络在柴油机故障诊断中的应用
通过基于遗传算法的Bp神经网络建立小波包特征量与故障之间的对应关系。表1为柴油机常见故障在不同频段的能量分布，构成了人工神经网络的训练样本。表2为网络输出样本，“0”代表没有故障，“1”代表发生故障。利用表1中的训练样本对基于遗传算法的Bp神经网络进行训练，经1000次训练达到了理想训练效果。
表1训练样本
表2网络理想输出
表3待诊断的故障样本
表4诊断结果
将表3中的待诊断的故障样本输入到已经训练好的Bp神经网络，得到诊断结果如表4所示。第1组待诊断的信号第1个输出节点接近1，可以根据训练样本结果判断该组数据故障为供油提前角晚；第2组待诊断的信号第4个输出节点接近1，根据训练样本结果可以判断该组数据故障类型为供油提前角早；第3组待诊断的信号第7个数据节点接近1，可以判断故障类型为针阀卡死，其诊断结果和现场勘查结果一致。
3结语
遗传算法优化Bp神经网络的目的是通过遗传算法得到更好的网络初始值和阀值。通过以上研究可以看出，遗传算法和Bp算法有机的融合，可以有效地弥补Bp神经网络结构、权值和阀值选择上的随机性缺陷，充分利用了遗传算法的全局搜索能力和Bp神经网络的局部搜索能力，克服了传统的Bp神经网络柴油机故障诊断的缺点，提高了柴油机故障诊断的精度。
【参考文献】
神经网络算法的优缺点篇4
关键词：矢量量化；自组织特征映射神经网络；图像压缩；主元分析
中图分类号：tp183文献标识码：a文章编号：1009-3044(2008)36-2731-02
theVectorQuantizationBasedonpCa/SoFmHybridneuralnetwork
HUnGCui-cui,ZHanGJian
(LiaoningUniversityoftechnologyelectronicandinformationengineeringCollege,Jinzhou121001,China)
abstract:inordertoimprovethetwomainshortcomingsoftheKohonen'sself-organizingfeaturemap(SoFm)thatarehighcomputationcomplexityandpoorcodebookquality,theauthorproposesavectorquantizationalgorithmbasedonpCa/SoFmhybridneuralnetworkinthispaper.Descendthedimensionofimportedvectorsbyusingtheprincipalcomponentanalysis(pCa)linearneuralnetwork.andthen,useSoFmneuralnetworktovectorquantization.Bymodifyingthelearning-rateparameter,topologyfieldweightandinitialcodebookoftheSoFmneuralnetworktooptimizenetwork.Simulationresultsdemonstratethattheimagecompressionalgorithmcanshortenthetimeandimprovetheperformanceofcodebook.
Keywords:Vectorquantization(VQ);Self-organizingfeaturemapneuralnetwork(SoFm);imagecompression;principlecomponentanalysis(pCa)
1引言
矢量量化[1,2]技术是一种利用图像数据空间相关性的高效有损压缩方法，它具有压缩比大，编码速度快等优点，目前己广泛用于信号识别、语音编码、图像压缩等领域中。矢量量化优越性的体现离不开性能良好的码书，因而，矢量量化的关键是如何设计一个最佳码书，使得用该码书中的码字表征输入矢量空间分布时所引起的量化平均失真最小。近年几来，许多学者将SoFm神经网络应用于码书的设计[3]。但SoFm算法存在收敛速度慢、计算量大等缺点。陆哲明和孙圣和针对SoFm基本算法的计算量大采用了快速搜索算法，为了提高码书性能对SoFm基本算法的权值调整方法作了一些改进[4]。目前越来越多的研究人员把目光投向将矢量量化与其他的编码方法相结合[5]。例如，矢量量化与小波变换结合的算法[6]，分形变换与矢量量化相结合的算法[7]。pCa是一种有效的图像变换编码算法，它能够提取图像数据的主特征分量，因此能够降低图像输入数据维数。SoFm算法用于图像矢量量化则具有不易受初始码书的影响，同时能够保持图像数据的拓扑结构等优点。为此本文将两者结合，提出了pCa/SoFm混合神经网络图像混合编码算法。先用pCa对图像进行降维处理，再用SoFm神经网络进行码书设计。本文还对码书的初始化的选择问题和神经网络的学习参数进行研究。实验表明，该算法不但大大降低了计算量，而且提高了码书的性能。
2pCa/SoFm混合神经网络的算法
尽管SoFm神经网络比起LBG算法有很大优势，但SoFm算法仍然存在收敛速度慢。计算量大等缺点。因此本文将pCa与SoFm神经网络相结合，提出了pCa/SoFm混合神经网络。pCa/SoFm混合神经网络结构如图1所示，先用pCa线性神经网络对输入矢量降维处理，从而使得压缩图像达到最小失真。然后用SoFm神经网络进行码书设计，pCa线性神经网络采用Sanger提出的广义Hebb算法[8]。
2.1基本pCa/SoFm混合神经网络算法
1)pCa网络权值wpi,j和SoFm网络权值初始化；
2)pCa网络输出矢量Yp(t)：
(1)
n为pCa神经网络输入矢量Xp的维数。
3)wpi,j网络权值调整：
(2)
4)重复步骤(2)至(3)，直至算法收敛。输出矢量Ypi(t)，并将此作为SoFm的输入Xi(t)；
5)计算矢量Xi(t)与权值矢量wi,j(t)的距离：
(3)
6)选择具有最小距离的输出节点，j*作为获胜节点，即：
(4)
7)wij(t)网络权值调整：
(5)
8)重复步骤(5)至(7)，直至算法收敛。
9)取输入训练矢量集的下一个输入矢量，回到步骤(2)反复进行，直到足够的学习次数或满足规定的终止条件为止。
10)保存所有权值wij的值，即设计码书。
2.2pCa/SoFm混合神经网络的初始化和改进
在pCa/SoFm混合神经网络算法中网络的初始化、邻域函数和学习率函数非常重要，它直接影响到网络的收敛速度和码书的性能。本文要对这几个参数进行优化以提高压缩速度和压缩性能。本文采用一种改进的随机选取法，使空间分配均匀，不会出现码字空间分的过细或过粗的现象。首先，按k维矢量所有元素中最重要的单个元素(即k维欧氏空间中最敏感的方向)大小排序；然后按顺序每隔n个矢量取一个矢量作为初始码书的一个码字，完成码书的初始化（n=训练序列中矢量的总数/码书的大小）。
由SoFm基本算法可知，权矢量wi(t+1)的更新实质上是权矢量wit和训练矢量Xi(t)的加权和。其中学习率因子和邻域函数非常重要，它们决定算法的收敛速度。下面推导最优的学习率因子α(t)。由式（5）得：
(6)
可以总结得：
(7)
令多项式的各项相等可得到最优学习率因子：
(8)
其邻域函数取为：
(9)
式中，hcc典型地取为0.8。t为最大迭代次数，初始值σ0和最终值σt典型地取为0.8和0.1。
3实验结果
为了验证算法的有效性，本文把基本SoFm编码算法、基本pCa/SoFm混合神经网络编码算法和改进pCa/SoFm算法分别用于图像的压缩编码。本文采用的是512×512像素，256级灰度的Lena图像用于训练图像进行码书设计。首先将图像分为4×4子块，然后将每一小块的16个像素灰度值作一个训练矢量，送入pCa线性神经网络。pCa线性神经网络输出节点为8维pCa变换系数矢量，同时将它作为SoFm神经网络的输入矢量，用于进行码本设计。进过多次实验，取其平均值作为实验结果，图3给出了各种算法在相同压缩比的情况下恢复图像的对比。表1给出了各算法编码后的尖峰信噪比pSnR和码书设计时间的比较。
从测试的结果可以看出改进pCa/SoFm算法优于基本SoFm算法和基本pCa/SoFm算法，该算法缩短了码书设计的时间，图像的恢复质量有所提高，取得了令人满意的结果。从而证明本文提出的算法是一种行之有效的方法。
4结束语
神经网络算法的优缺点篇5
关键词：神经网络；遗传算法；优化理论
一、引言
在人类的历史上，通过学习与模拟来增强自身适应能力的例子不胜枚举。模拟飞禽，人类可以翱游天空；模拟游鱼，人类可以横渡海洋；模拟昆虫，人类可以纵观千里；模拟大脑，人类创造了影响世界发展的计算机。人类的模拟能力并不仅仅局限于自然现象和其它生命体。自从20世纪后半叶以来，人类正在将其模拟的范围延伸向人类自身。
神经网络是人类对其大脑信息处理机制的模拟，早期的自动机理论假设机器是由类似于神经元的基本元素组成，从而向人们展示了第一个自复制机模型。近年来诸如机器能否思维、基于规则的专家系统是否能胜任人类的工作、以及神经网络能否使机器具有生物功能已成为人工智能关注的焦点。
遗传算法是一种更为宏观意义下的仿生算法，它模仿的机制是一切生命与智能的产生与进化过程。人类之所以能够向其自身的演化学习以增强决策问题的能力，是因为自然演化过程本质就是一个学习与优化的过程。
神经网络和遗传算法都是仿效生物处理模式以获得智能信息处理功能的理论，二者虽然实施方法各异，但目标相近，有很多特点相同，功能类似，对二者进行深入地对比研究，并取长补短，将二者综合运用是非常有意义的课题。
二、神经网络与遗传算法概述
自1943年第一个神经网络模型mp模型提出至今，神经网络的发展非常迅速，特别是1982年提出的Hopfield网络模型和1985年提出的8p算法。使神经网络逐步发展成为用途广泛的系统。神经网络是由大量神经元广泛互连。形成大规模并行处理和分布式的信息存储的复杂网络系统。单一神经元可以有许多输入、输出。神经元之间的相互作用通过连接的权重体现。神经元的输出是其输入的函数。虽然每个神经元的结构和功能极其简单和有限，但大量神经元构成的网络系统的行为则是丰富多彩的。神经网络计算的基本特征是大规模并行处理、容错性、自适应性和自组织性。大规模并行处理指能同时处理与决策有关的因素，虽然单个神经元的动作速度不快。但网络的总体并行处理速度极快。容错性指由于神经网络包含的信息是分布存储的，即使网络某些单元和连接有缺陷，仍可以通过联想得到全部或大部分信息。自适应性和自组织性指它可以通过学习，不断适应环境，增加知识的容量。
遗传算法最早由美国密执安大学的Holland教授在1975年发表的论文“自然和人工系统的适配”一文中提出。它是一种借鉴生物界自然选择思想和遗传机制的全局随机搜索算法，其实现方法是，从一个初始种群出发，不断重复执行选择、杂交和变异的过程，使种群进化越来越接近某一目标。它的基本特征是大规模并行处理、通用性、鲁棒性。大规模并行处理指遗传算法的操作对象是一组可行解而非单个解。搜索路径有多条而非单条，因而具有良好的并行性。通用性指只需利用目标的取值信息，而无需梯度等高价值信息，因而适用于任何大规模、高度非线性的不连续多峰函数的优化以及无解析表达式的目标函数的优化，具有很强的通用性。鲁棒性指算法的择优机制是一种软选择，再加上其良好的并行性，使它具有很好的全局优化性和稳定性。
三、神经网络与遗传算法在优点上的相似性
(一)二者都可对问题进行大规模的并行处理。整体上极大提高了运算速度。这是神经网络和遗传算法优于传统算法的最重要的特征。
对于神经网络来说，虽然每个神经元都要计算连接函数和传递函数(也称作用函数)，但神经元的计算可以分布式地并行进行。对于遗传算法来说，每一个个体都需要根据适应值函数计算适应值，每一代都有很多个体，表面看来也有很大的计算量，但可同时对多个可行解进行操作，所以整体上与传统的计算方法相比，运算时间很短。从这一点来看，神经网络和遗传算法都需要发展分布式并行计算系统来替代传统的计算机，这种计算系统不再是传统计算机顺序执行命令的运行过程，而是希望对输入进行平行处理；这种计算系统不再是只包含一个或几个复杂的计算设备，而是由众多简单设备有机组成在一起共同执行相同的计算功能；一旦适合这种要求的硬件系统得到发展，神经网络和遗传算法将能得到更加广泛地应用，更有效地解决更大规模的实际问题。
(二)二者都具有高度的适应性和容错性
人工神经网络在解决某个具体问题时，可以反复用示例来训练它，在训练的过程中自组织自学习来适应新的情况。而且，由于神经网络中信息的分布式存贮，即使个别神经元出错，也不会导致网络运行的瘫痪，所以总体上具有较强的可靠性；而遗传算法通过每一代的选择过程来淘汰适应值较小的个体，保留适应值较大的个体，从而使收敛的结果趋于适应目标值，通过变异算子将每一代的种群空间扩大到个体空间，使每一个个体都有被选进种群的机会，每一个解都有机会参与计算。
(三)二者都通过对有限个可行解进行操作来获取对整个解空间的求解，实践证明对于其中已经相对成熟的算法，二者具有较好的鲁棒性。
神经网络，如Bp算法，通过对有限个模式的训练和学习来实现对所有模式的识别；事实证明效果很好。遗传算法通过在个体空间中选择有限数目的个体作为种群进行代代操作来实现对个体空间中最优解的搜索。两种方法都选择了较少的操作数目，但由于算法本身的优越性，仍能取得较好的稳定性和收敛性。
四、神经网络与遗传算法在缺点上的相似性
(一)二者优越性的理论分析有待完善。
神经网络与遗传算法各自的种类繁多，神经网络主要有前馈(Bp)神经网络、Hopfield网络、自组织特征映射网络、波尔兹曼机等，其中最有影响的是Bp网络和Hopfleld网络；遗传算法主要有简单遗传算法、统计遗传算法、共同进化遗传算法及其它改进后的遗传算法；针对要解决问题的性质可以选择合适的网络或算法。这些网络或算法已经被诸多实践证明其优越性。
目前神经网络和遗传算法已经在语音识别、模式识别、图像处理和工业控制等领域取得了显著成效。虽然实践已证明了其无比的优越性，但在理论分析上，两者都略有不足。Bp算法和Hopfield网络虽然给出了算法的执行原理及过程，但其优越性的理论仍不严格，即并未对不同情况定量说明，为什么这种算法能够快速收敛或快速求解。对遗传算法来说，早在Holland提出遗传算法之初就提出了著名的模式定理和稳并行性分析来定量说明遗传算法的优越性，并长期以来被人们所接受。但是模式定理只对简单遗传算法有效，因为其证明过程依赖于二进制编码，对非二进制编码收敛性的分析至今也未得出。除此之外，近年来，有很多著名学者也对模式定理的证明过程提出了质疑。所以，找到神经网络和遗传算法优越性的理论基础仍是一项艰巨的科研任务和课题。
(二)在算法的执行过程中参数的确定都需要依赖于人的经验。
建立一个神经网络需要首先确定它的基本结构、学习规则以及工作方式(前馈式还是演化式)，网络结构包括网络的拓扑结构即网络中神经元的连接方式和节点转换函数两部分。结构的优劣对网络的处理能力有很大影响，一个好的结构应能圆满解决问题，同时不出现冗余节点和冗余连接，但不幸的是，神经网络结构的设计基本上还依赖于人的经验，尚没有一个系统的方法来设计一个适当的网络结构。目前，人们在设计网络结构时，只能或者预先指定。或者采用递增或递减的探测方法。
对遗传算法来说，需要针对待解决的问题而设计出编码方案、三个算子(选择、杂交、变异)、进化机制以及各个概率参数，如杂交概率、变异概率等。参数的确定也没有理论支持，只是人为地认为杂交概率的值确定在(0.65，0，9)范围内，变异概率的值确定在(0.001.0.01)比较好，目前，在遗传算法的实际执行过程中一般需要预先指定这两个参数，近来有学者提出在遗传算法的执行过程中动态地改变这些参数的方法也取得了较好的效果。
神经网络算法的优缺点篇6
关键词：无人机神经网络控制技术
中图分类号:tp183文献标识码：a文章编号：1007-9416(2012)07-0010-01
无人机的核心部分是飞行控制系统。无人机进行自主飞行时,控制系统需要有效地对姿态回路部分和水平位置、高度回路部分进行重点控制，才能保持良好的自主飞行适应性。研究表明，智能技术的发展水平在相当大的程度上决定了自主控制技术的发展水平，人工智能系统若要提高对形势的感应能力和外部环境的理解能力，并作出准确、快速反应，需要以获取信息的完整性和准确性为前提支撑。
研究表明，现代绝大多数控制理论在飞行控制系统设计的应用方面，均表现出一定的优势和劣势。
反步控制的优势在于收敛性方面表现较好，可对具有不确定性的未知扰动进行有效处理，缺点是鲁棒性表现较差。反馈线性化的优势在于设计灵活，缺点是对数学模型建立的精确性要求较高，且不能处理具有不确定性的未知扰动。采用变结构的滑模控制技术优势在于响应快捷，且所建数学模型的精确性要求不高，对外部不确定性扰动反应不敏感，缺点是需要进一步提高抖振现象的解决能力。在计算机技术和人工智能技术的发展带动下，人工智能应用于无人机控制系统已具备一定的技术基础，特别是神经网络技术，因其具有良好的学习和推理能力，所以应用最为广泛。本文以无人机的飞行控制应用为中心,重点分析了神经网络技术应用于智能控制的最新成果，为今后的深入研究提供一定的基础支撑。
1、神经网络piD控制技术
piD控制器鲁棒性表现较好，结构相对简单，广泛应用于典型无人机控制系统设计中。但是经典piD对于具有非线性特性的多变量系统，其处理能力较差，不能有效提升系统的抗外扰能力，特别是系统参数变化摄动时，其鲁棒性表现较差，致使系统的飞行动态控制能力较差。近年来，以神经网络智能控制技术的快速发展为支撑，神经网络智能控制技术开始和常规piD控制相融合，优化形成了两种类型的神经网络piD控制器。一种为神经元网络piD控制器，该控制器在传统piD控制器的基础上，融合加入了一个神经元网络控制器，对piD参数进行优化确定;另一种是单神经元piD控制器，它用神经元输入权值跟piD参数进行一一对应，该输入值为经比例、积分、微分处理后的偏差值。
1.1采用神经元网络确定piD控制器参数
神经网络控制器通过对被控对象建立反向模型，构成前馈控制器。神经网络控制器首先学习piD控制器的输出，而后在线进行调整，尽量使反馈误差趋零化，逐步提升自身在系统控制中的主导作用，最终替换反馈控制器的相应作用，但piD反馈控制器继续存在，没有消失。当系统受到外部干扰扰动时，piD反馈控制器可继续发挥作用。采用神经元网络确定piD控制器参数的技术实际上是一种前馈加反馈的特殊控制技术，该技术在提高了系统精度的情况下，同时提高了系统的自适应能力，增强了系统的控制稳定性，改善了控制系统的鲁棒性能。其典型控制原理如图1所示
1.2单神经元piD控制
该种类型的自适应控制器依靠调整加权系数完成自适应和自组织，采用有监督Hebb学习规则对加权系数进行调整。单神经元piD控制器采用具有明确物理意义的算法组织学习，结构也较简单，在环境变化适应性方面，呈现出较好的鲁棒性。其劣势在于由于该种类型控制器为单神经元结构，因此不具备任意函数逼近的能力。
2、自适应神经网络控制技术
针对任意一个非线性连续函数，人工神经网络因具有较强的自学习能力，所以能以任意精度要求逼近，且能够完成并行处理，实现万能函数逼近功能。与传统查表法对比,人工神经网络进行计算时间较短，且不需要大内存容量，在对相邻两个训练点之间的点进行插值计算时，不需要额外的计算消耗。相比典型的自适应线性控制器，研究表明，人工神经网络能够获得较好的期望性能，表现出相对较高的自适应非线性控制能力。人工神经网络能够实现对非线性对象的有效控制，对不确定对象的有效控制，且抗环境干扰能力较强，因此特别适合于实现自适应自主飞行控制。
人工神经网络应用于自适应飞行控制的基本原理为:对飞行器模型进行近似线性化处理，尔后对该控制器添加人工神经元网络,通过逆转换完成非线性控制功能，对飞行中的动态误差，自适应消除其影响，有效提升系统响应。该种类型的神经网络控制器通过在线提升自适应能力,在一定程度上改善了风洞数据依赖度，对动态先验知识的需求也进一步降低,从而减少了飞行控制系统的研发费用。
3、结语
研究表明，常规piD控制器虽然结构较简单，可靠性能表现较好，呈现出良好的鲁棒性，但其缺少自学习、自组织、自适应的能力，这些能力恰恰是神经网络控制器的智能优势。但神经网络也具有一定的缺点，表现为收敛速度较慢，个别情况下不能搜索到全局最优解等。神经网络利用自身较强的并行处理能力和自然容错特性，对非线性飞行系统能够进行较好的智能处理，有效降低了逆误差，可以精确获取无人机控制模型，鲁棒性表现优异。
目前，已在无人机上进行应用的神经网络算法主要是与piD算相融合的智能算法。今后，将自适应控制和神经网络智能控制相结合的控制算法将逐步进入飞行控制实践技术行列,从而大副提升无人机应对不确定环境和复杂问题的能力,真正实现自主飞行。
参考文献
神经网络算法的优缺点篇7
关键词：矩阵式红外热电堆；RBF神经网络；惯性权重因子；粒子群算法
Doi：10.16640/ki.37-1222/t.2017.04.220
1引言
常用的人体入侵检测方法有视频监测、超声波、机电检测、红外检测等，而它的准确性和可靠性对人的生命财产安全起确定性的作用。本文采用的是melexis（迈来芯）的一套矩阵式红外热电堆温度采集装置，其中传感器mLX90621是一款采用16*4像素的红外阵列传感器，可以检测出一副画面中64个点的温度，可以提供的视角范围是，配合电机，它的检测范围可以达到，因此它每一帧可以测得的温度数据有个。相比于传统的检测方法，虽然它的检测像素低，但是在后面的算法计算中，它的计算量会降低，它的优势在于成本低、体积小易于隐蔽，而且不易受环境因素的影响，比如黑夜、电磁干扰等。在人体识别部分，本文采用的是改进RBF神经网络算法，RBF神经网络是一种采用局部接受域来执行函数映射的人工神经网络[1]。而如何确定RBF神经网络的隐层基函数的个数、中心向量以及宽度是训练RBF神经网络的关键所在。假如设定的隐层基函数的个数偏多会造成训练和测试的时间加长，不仅容易产生过拟合[2]，而且还会造成网络的泛化能力下降。相反，设定偏少的话会造成神经网络的收敛误差变大。一般采用K-mean聚类算法来确定径向基函数的个数和中心向量，但其依赖初始中心的选择，只能获得局部最优解[3]。
粒子群算法（pSo）是基于群体智能的优化算法，通过粒子间的合作与竞争的群体智能理论的优化搜索，它可以记忆所有粒子都共享的迄今为止问题的最优解[4]。pSo的优势在于简单且易于实现。但基本pSo的缺点在于其参数是相对固定的，会导致在优化某些函数时，造成精度差、收敛速度慢等。因此本文针对基本pSo的缺点，提出了结合惯性权重模型，将适应度择优选取引入基本pSo算法的方法进行改进。RBF神经网络首先采用最近邻聚类算法来确定隐层基函数的个数，中心向量即为聚类的的均值。同时将改进的粒子群优化算法来优化最近邻聚类算法的聚类半径，从而确定出RBF神经网络最优的隐层基函数和中心向量，使其不用依靠初始中心的选择，减少了现有算法中人为因素的影响，从而有效地提高了RBF神经网络的精度和收敛速度。独立训练特定的RBF网络并合成其预测结果，可以有效得提高神经网络表达对象的准确性[5，6]。将改进pSo优化RBF神经网络的方法应用于人体入侵检测识别中，通过实测数据验证，准确率相对基本RBF神经网络有了显著的提高。
2RBF神经网络设计
2.1RBF基本原理
RBF神经网络，即径向基神经网络，是前馈神经网络的一种，具有三层结构，如图1所示。它的基本思想是用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接（即不需要通过权链接）映射到隐空间，当RBF神经网络的中心确定之后，映射关系也就随之确定了。隐含层的作用是把向量从低维映射到高维，这样低维线性不可分的情况到高维就线性可分了，隐含层空间到输出空间的映射关系是线性的。
（1）假设已经有个聚类中心，分别为：，分别计算与它们之间的距离，。
（2），即到中心的欧式距离最小。
（3）比较与的大小，如果，则就会被设定为一个新的聚类中心，如果，则按照更新，。
（4）重新选取下一个输入的样本数据，返回1）。
（5）所有的输入数据取完则结束。
从上面的算法步骤来看，可以得出，隐层基函数的中心的确定，最主要的因素是聚类半径，若过大，会造成基函数的中心个数较少的情况，从而导致网络的收敛误差偏大，反之则会造成基函数的中心个数较多的情况，从而导致网络的泛化能力下降。因此本文在最近邻聚类算法中选取合适的聚类半径时，采用改进的粒子群算法，最后可以确定出最优的RBF神经网络的隐层基函数的中心向量。
3粒子群优化算法
3.1基本粒子群优化算法
粒子群优化算法（pSo）是由Kennedy和eberhart于1995年提出的一种通过模仿鸟类群体捕食行为研究的群体智能算法[7]。粒子群优化算法的基本思想是通过群体中个体之间的协作和信息共享来寻找最优解[8]。它的优势在于简单容易实现并且没有许多参数的调节[9]，目前已被广泛应用于函数优化、神经网络训练、模糊系统控制以及其他遗传算法的应用领域。在由m个粒子组成的粒子群中，每个搜索空间中的潜在的解由粒子的位置来确定，新的个体在取值时主要由粒子的当前速度、粒子群中的最优个体以及当前粒子的历史最优解3个因素来决定，其中粒子的当前速度控制着搜索的步长，算法的全局以及全局搜索能力由其决定，对pSo的收敛速度和质量有着重要的影响；后两者则主要用于控制搜索的方向，反映了可利用的梯度信息[10]。粒子根据如下三条原则来更新自身状态：（1）保持自身惯性；（2）按自身的最优位置来改变状；（3）按群体的最优位置来改变状态。
算法描述：在一个n维的搜索空间中，是由m个粒子组成的粒子群，其中，为第个粒子的位置为，为速度。其中，为个体极值，为种群的全局极值。接下去粒子会根据公式（6）不断更新自己的速度，根据公式（7）不断更新自己的位置。
3.2惯性权重因子的引入及其改进
为改善粒子群算法的搜索性能，以及基本pSo参数固定优化某些函数时精度较差的问题，Shi和eberhart对基本pSo算法进行了改进，在粒子的速度进化方程中引入惯性权重[11]。一般地，较大的权重有利于提高算法的全局开发能力，而较小的权重则能增强算法的局部搜索能力[12]。因此惯性权重因子对当前速度的大小起决定性因素，提升pSo性能的关键一环是惯性权重因子和调整策略的合理设置[13，14]。将代入公式（6）可得：
上式中，和分别代表第个粒子和最优粒子在第次迭代时相应的函数值。的计算是用来判断目标函数的平整度[16]。由图2可以看出，在迭代时变化越明显，表明目标函数越不平整，相反则表示越平整。通过跟随的变化而变化，以此来实现的动态变化。
4基于改进pSo算法的RBF神经网络训练
前面提到RBF神经网络基函数个数和中心向量难以获取最优的缺点，本文将改进pSo算法应用到RBF神经网络的训练学习中，有效地提高了RBF神经网络的精度和收敛速度，大大地增强了网络的泛化能力。粒子群算法的神经网络训练过程如图3所示。具体的优化步骤如下：
1）首先对样本进行归一化处理。
2）初始化。由参数，，组成粒子群，然后随机赋上初始值，并根据这些S机值来初始化粒子群的位置和速度。
3）计算适应度值。根据得到的RBF神经网络输入输出值，应用公式：
来计算粒子群的适应度值，以此来确定和。其中和分别为训练样本数和输出神经元个数，、分别为第个样本的第个分量的输出值和期望输出值。
4）根据公式（8）更新粒子的位置和速度，得到新的粒子群。
5）判断优化目标是否满足终止条件，若满足，则结束算法；否则返回到（3）。
5实验验证及结果分析
本文在对上述改进pSo算法训练的RBF神经网络算法进行寻优测试后发现，改进后的RBF神经网络算法在寻找最优值时，收敛速度和精度上都优于基本RBF神经网络算法，且大大提高了网络的泛化能力。然后将改进后的RBF神经网络运用到实际的人体识别检测中来进行验证。在实验中，通过mLX90621红外阵列传感器配合电机采集一个空间在不同情况下的温度数据作为实验数据，每一帧有16X36个温度数据，共测得297组数据用于训练。下面附上其中一张实测数据结果验证图（见图4）：
图中坐标轴中显示的温度数据就是实测的空间温度数据，绿色区域为热源干扰物，红色区域为目标。根据采集获得的温度数据将其分为最高温度、最低温度、平均温度三类，在正常情况下，由于人体的正常温度存在一个绝对范围，因此结合这个绝对范围并将分割处理后的图像一起作为训练的特征值对改进pSo算法训练的RBF神经网络进行训练，实现了对人体目标的检测，然后利用训练好的RBF神经网络直接对新的温度数据进行分类，检测并判断每一帧是否有人。
下面分别采集无人无干扰和无人有热源干扰的两种情况下的空间温度数据，用这两组数据作为训练样本对基本RBF神经网络和改进pSo算法训练的RBF神经网络进行训练，训练结果如表1所示：
从训练结果来看，改进后的RBF神经网络算法的训练效果有了很大的提高，无论在无人无干扰还是无人有热源干扰的数据中，测得的无人的准确率都高于基本RBF神经网络。最后用测得的有人有热源干扰的空间温度数据用来进行结果验证，验证结果如表2所示：
重新在一个空间中测得99组有人有干扰的温度数进行结果验证，在基本pSo的基础上引入惯性权重因子，对基本RBF神经网络的训练效果有明显的提升，改进pSo算法训练的RBF神经网络算法测得有人的准确率明显高于基本RBF神经网络。
6结论
对人体识别算法进行了研究，最终确定使用RBF神经网络作为研究对象，并使用最近邻聚类算法来确定RBF神经网络的中心向量，成功地消除了操作时人为因素的参与。本文通过引入动态惯性权重因子对基本pSo算法进行改进，将改进pSo算法训练的RBF神经网络与基本RBF神经网络进行对比，对比训练的过程及结果可以得出，改进后的RBF神经网络在训练效果上有了很大的提升，精度、收敛速度以及稳定性都优于基本RBF神经网络。最后将改进后的RBF神经网络应用到人体入侵检测识别中，经过实测数据验证，虽然改进pSo算法训练的RBF神经网络在排除干扰的问题上提升不是非常明显，但是识别的准确率有了很大的提高，说明改进后的RBF神经网络更加适用于低精度且计算量少的人体入侵检测识别中。
参考文献：
[1]SimonHaykin.neuralnetworks：acomprehensiveFoundation，Secondedition[m].U.S：prentiveHall，1988.
[2]段其昌.一种改进pSo优化RBF神经网络的新方法[J]计算机仿真，2009，26（12）：126-129.
[3]YmoddyandCJDarken.Fastlearninginnetworkoflocallytunedprocessingunites[C].neuralComputation，1989（01）：281-294.
[4]KennedyJandRCeberhart.particleswarmoptimization[C].Conf.neuralnetworks.1995.1942-1948.
[5]王桂洋，张亚庭.基于apSo优化算法的GCHp系统神经网络预测控制[J].计算机测量与控制，2014，22（01）：106-108.
[6]谭子平.基于白适应权值神经网络的piD参数优化[J].计算机光盘软件与应用，2014，17（07）：97-98.
[7]皮倩瑛，叶洪涛.一种动态调节惯性权重的粒子群算法[J].广西科技大学学报，2016，27（03）：26-31.
[8]胡珀，娄渊胜.改进粒子群优化算法在服务组合中的应用[J].计算机工程，2011，37（17）：130-133.
[9]任圆圆，刘培玉，薛素芝.一种新的自适应动态文化粒子群优化算法[J].计算机应用研究，2013（30）11：3240-3243.
[10]于海鹏，翟红生.基于混合策略的自适应粒子群优化算法[J].计算机工程与设计，2014，35（07）：2552-2556.
[11]ShiY，eberhartRC.amodifiedparticleSwarmop-timizer[C]//proceedingsoftheieeeCongressonevolutionaryComputation.nowYork：ieee，1998：303-308.
[12]罗金炎.粒子群优化算法惯性权重的一种动态调整策略[J]沈阳化工大大学学报，2013（04）：371-375.
[13]DeSilvaiJ，RiderimJ，RomeroR，etal.transmissionnetworkexpansionplanningwithsecurityconstraints[J].ieeeprocGenertransmDistrib，2005，152（6）：828-836.
[14]左浩，李雯.混沌粒子群与模糊聚类在图像分割中的应用[J].计算机工程与应用，2012，48（02）：194-196.
[15]田雨波.混合神经网络技术[m].北京：科学出版社，2009.
神经网络算法的优缺点篇8
关键词：Bp神经网络；adaboost算法；遗传算法
中图分类号：F832.332文献标识码：a文章编号：1008-2670(2012)02-0012-08
收稿日期：2011-12-11
基金项目：国家社科基金资助项目“企业金融衍生业务风险测度及管控研究”（10BGJ054）。
作者简介：宿玉海(1964-)，男，山东潍坊人，经济学博士，山东财经大学金融学院教授，研究方向：国际金融；彭雷(1986-)，男，山东潍坊人，山东财经大学金融学院硕士研究生，研究方向：国际金融；郭胜川（1990-），男，山东安丘人，山东大学数学学院学生。
一、引言
商业银行的信用风险管理一直是人们关注的焦点，在引入工程方法进行信用风险的度量后，Bp神经网络信用风险模型以其较强的逼近非线性函数的优势从众多方法中脱颖而出，其对于历史数据的模拟仿真和预测能力也显示出了独特的优势。但是，Bp神经网络信用模型在处理较为复杂的财务数据时，对于数据指标在模型中获得的权值没有一个明确的标准，而是特别依赖于对于历史数据指标的选择，使得模型对于新样本的考察缺乏一个有效的动态权值变动，这就造成了模型在使用过程中的困难。
随着Bp神经网络信用风险管理模型应用的增多，许多学者逐渐认识到Bp神经网络信用风险模型在处理财务数据时存在的问题，采取一系列的措施对Bp神经网络信用风险模型进行了改进，特别是对于权值设定的改进做了大量的工作。Back等［1］建议将遗传算法与神经网络结合起来协同工作，但没有实际讨论引入遗传算法后带来的实际效果；piramuthu等［2］采用符号特征样本的技术处理输入数据取得了较为明显的效果，但是符号特征样本技术则存在较为主观的人为因素影响。国内学者在引进神经网络以后，也为神经网络模型的优化进行了卓有成效的努力。如许佳娜、西宝［3］采用层次分析法对神经网络模型的改进，以及郭英见、吴冲［4］采用DS证据理论将神经网络和SVm的输出结果进行的融合，都在一定程度上增强了神经网络模型的判别准确率，但他们在神经网络的权值修改上仍然没有找到很好的设定规则。
可以看出，许多学者在神经网络良好的泛化能力和模式识别能力上达成了共识，但对于神经网络中占有重要地位的连接权值的修正，没有给出一个较为恰当的标准。本文在探讨改进这一问题时，将遗传算法与adaboost算法分别引入到Bp神经网络信用风险模型中，通过两种模型对于相同的训练样本和预测样本的考察分析，比较两种方法的优劣，从而为Bp神经网络信用风险模型的改进提供一定的参考。
本文结构安排如下：第一部分为引言；第二部分介绍Bp神经网络信用风险模型并评价其缺陷；第三部分使用adaboost算法以及遗传算法对Bp神经网络信用风险模型进行算法寻优；第四部分则通过matlab的模拟进行实证分析并比较实证结果；第五部分根据实证分析的结果得出相应的结论并探讨商业银行在应用过程中应注意的问题。
二、现有Bp神经网络信用风险模型介绍
神经网络算法的优缺点篇9
关键词：短期负荷预测；遗传算法；核主成分；Bp神经网络
短期电力负荷预测主要是指预报未来几小时、一天至几天的电力负荷，电力负荷预测是能量管理系统的重要组成部分[1]。目前神经网络技术在短期负荷预测中使用广泛，并已有许多很成功的应用实例[2]。然而Bp神经网络具有训练速度慢和对初始权值敏感以致容易陷入局部极小点的缺陷。针对以上问题，文章提出了基于核主成分分析法的Bp神经网络模型。利用KpCa对训练样本的输入个数进行降维优选，以较少输入代替原始大量输入，同时信息大部分得以保留。同时将遗传算法与Bp神经网络结合，利用Ga的全局搜索优化Bp网络的结构参数，有效克服Bp算法的局部收敛等问题。
1核主成分分析法
核主成分分析（KernelprincipleComponentanalysis：KpCa）的基本思想为：首先通过非线性映射将非线性可分的原始样本输入空间变换到一个线性可分的高维特征空间，然后在这个新的空间中完成主成分分析，它的核心在于利用核技巧对经典的主成分分析法（principleComponentanalysis）进行的一种非线性推广[3]。
1.1核主成分分析法基本原理
2Ga-Bp神经网络模型
2.1Bp神经网络原理
Bp（Backpropagation）神经网络是一种按误差逆传播算法训练的多层前馈网络，3层Bp网络的结构包括输入层、输出层和一个隐含层。Bp神经网络的基本原理是采用梯度下降法调整权值和阈值使得网络的实际输出值和期望输出值的均方误差值最小。
2.2遗传算法优化Bp神经网络
Bp神经网络局部寻优能力强，但缺点是易于陷入局部极小。遗传算法则具有自适应性、全局优化性。用遗传算法优化Bp神经网络的权值和阈值，解决Bp神经网络易陷入局部极小的问题。实现步骤如下：
（1）参数编码及种群的初始化：个体包含了整个Bp神经网络的所有权值和阈值。文章对个体采用实数编码的方式进行编码。
（2）适应值函数计算：文章把预测输出和期望输出的误差的绝对值的和作为个体适应度值，个体适应度值越小说明个体越优。
（3）选择操作：文章的遗传算法选择操作是以赌法为基础，即基于每个个体的选择概率等于其适应度与整个种群中个体适应度和之比的选择策略，个体适应度越高，被选中的可能性就越大，进入下一代的概率就越大。
（4）交叉操作：因为个体采用的是实数编码，故交叉操作也采用实数交叉法。
（5）变异操作：变异操作是以一个比较小的变异概率选取第i个个体的第j个基因aij进行变异。
（6）循环上述步骤（2）到步骤（5），直到训练目标达到设置的要求或者迭代次数达到设定的目标为止。
3KpCa-GaBp神经网络模型的仿真
为了验证模型的有效行和可行性，文章以湖南某城市2003年11月1日到2003年11月30日的每日整点的负荷数据、日最高最低气温、日类型作为训练样本，则输入变量为27个。将2003年11月1日至2003年11月29日的数据作为预测模型的训练样本，再对训练好的预测模型用29日的数据来预测30日的24个点的负荷数值。
对输入变量进行预处理，剔除不良数据，并对数据进行归一化。将预处理后的数据利用KpCa进行主成分分析，提取前10个特征值的方差贡献率和累计方差贡献率进行统计，统计如表1。
由表1可知，前9个特征值的累积方差贡献率大于90%，则可以选定9个主成分，所以27维的原始数据通过KpCa后实现了降维。
将处理后的数据作为GaBp神经网络的输入，则输入层为9个神经元，输出层神经元为24个，隐含层神经元经过试验法确定为22个。同时以标准的Bp神经网络对未经过KpCa法处理的数据进行预测。两种模型的预测结果如表2。
对短期负荷预测而言，其误差值须控制在3%之内。由表2可知，对于标准的Bp神经网络模型，相对误差绝对值大于3%的有8个。对于KpCa-GaBp模型，相对误差绝对值大于3%的有3个。并且KpCa-GaBp模型的最大相对误差和平均相对误差分别为5.36和1.73，均低于标准Bp神经网络的8.56和3.15。所以可以说明KpCa-GaBp模型具有较高的预测精度。
4结束语
文章将KpCa法、遗传算法与Bp神经网络结合建立短期负荷预测模型，对南方某城市进行负荷预测。结果表明，利用KpCa对原始数据进行筛选，实现了数据的降维，从而减少了Bp神经网络建模时的输入个数。同时利用Ga的全局搜索能力来优化Bp网络的结构参数，有效地克服Bp算法易陷入局部收敛等问题，从而提高了模型的预测速度和预测精度。
参考文献
[1]康重庆，夏清，刘梅.电力系统负荷预测[m].北京：中国电力出版社，2007.
[2]卢建昌，王柳.基于时序分析的神经网络短期负荷预测模型研究[J].中国电力，2005，38（7）：11-14.
[3]孙景文，常鲜戎.基于核主成分分析法和CSm-pSCo优化LSSVR的短期负荷预测[J].广东电力，2015，28（2）：64-69.
[4]李永斌.短期电力负荷预测模型的建立与应用[J].计算机仿真，2011，28（10）：316-319.
[5]黄媛玉，毛戈.基于主成分分析法的遗传神经网络模型对电力系统的短期负荷预测[J].湖南师范大学自然科学学报，2011，34（5）：27-31.
神经网络算法的优缺点篇10
关键词：人工神经网络遗传算法模拟退火算法群集智能蚁群算法粒子群算
1什么是智能算法
智能计算也有人称之为“软计算”，是们受自然（生物界）规律的启迪，根据其原理，模仿求解问题的算法。从自然界得到启迪，模仿其结构进行发明创造，这就是仿生学。这是我们向自然界学习的一个方面。另一方面，我们还可以利用仿生原理进行设计(包括设计算法)，这就是智能计算的思想。这方面的内容很多，如人工神经网络技术、遗传算法、模拟退火算法、模拟退火技术和群集智能技术等。
2人工神经网络算法
“人工神经网络”(artificialneuralnetwork，简称ann)是在对人脑组织结构和运行机制的认识理解基础之上模拟其结构和智能行为的一种工程系统。早在本世纪40年代初期，心理学家mcculloch、数学家pitts就提出了人工神经网络的第一个数学模型，从此开创了神经科学理论的研究时代。其后，frosenblatt、widrow和j.j.hopfield等学者又先后提出了感知模型，使得人工神经网络技术得以蓬勃发展。www.lw881.com
神经系统的基本构造是神经元(神经细胞)，它是处理人体内各部分之间相互信息传递的基本单元。据神经生物学家研究的结果表明，人的一个大脑一般有1010～1011个神经元。每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支——树突组成。轴突的功能是将本神经元的输出信号(兴奋)传递给别的神经元。其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。树突的功能是接受来自其它神经元的兴奋。神经元细胞体将接受到的所有信号进行简单处理(如：加权求和，即对所有的输入信号都加以考虑且对每个信号的重视程度——体现在权值上——有所不同)后由轴突输出。神经元的树突与另外的神经元的神经末梢相连的部分称为突触。
2.1人工神经网络的特点
人工神经网络是由大量的神经元广泛互连而成的系统，它的这一结构特点决定着人工神经网络具有高速信息处理的能力。人脑的每个神经元大约有103～104个树突及相应的突触，一个人的大脑总计约形成1014～1015个突触。用神经网络的术语来说，即是人脑具有1014～1015个互相连接的存储潜力。虽然每个神经元的运算功能十分简单，且信号传输速率也较低(大约100次/秒)，但由于各神经元之间的极度并行互连功能，最终使得一个普通人的大脑在约1秒内就能完成现行计算机至少需要数10亿次处理步骤才能完成的任务。
人工神经网络的知识存储容量很大。在神经网络中，知识与信息的存储表现为神经元之间分布式的物理联系。它分散地表示和存储于整个网络内的各神经元及其连线上。每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。只有通过各神经元的分布式综合效果才能表达出特定的概念和知识。
由于人工神经网络中神经元个数众多以及整个网络存储信息容量的巨大，使得它具有很强的不确定性信息处理能力。即使输入信息不完全、不准确或模糊不清，神经网络仍然能够联想思维存在于记忆中的事物的完整图象。只要输入的模式接近于训练样本，系统就能给出正确的推理结论。
正是因为人工神经网络的结构特点和其信息存储的分布式特点，使得它相对于其它的判断识别系统，如：专家系统等，具有另一个显著的优点：健壮性。生物神经网络不会因为个别神经元的损失而失去对原有模式的记忆。最有力的证明是，当一个人的大脑因意外事故受轻微损伤之后，并不会失去原有事物的全部记忆。人工神经网络也有类似的情况。因某些原因，无论是网络的硬件实现还是软件实现中的某个或某些神经元失效，整个网络仍然能继续工作。
人工神经网络是一种非线性的处理单元。只有当神经元对所有的输入信号的综合处理结果超过某一门限值后才输出一个信号。因此神经网络是一种具有高度非线性的超大规模连续时间动力学系统。它突破了传统的以线性处理为基础的数字电子计算机的局限，标志着人们智能信息处理能力和模拟人脑智能行为能力的一大飞跃。
2.2几种典型神经网络简介
2.2.1多层感知网络(误差逆传播神经网络)
在1986年以rumelhart和mccelland为首的科学家出版的《paralleldistributedprocessing》一书中，完整地提出了误差逆传播学习算法，并被广泛接受。多层感知网络是一种具有三层或三层以上的阶层型神经网络。典型的多层感知网络是三层、前馈的阶层网络，即：输入层i、隐含层(也称中间层)j和输出层k。相邻层之间的各神经元实现全连接，即下一层的每一个神经元与上一层的每个神经元都实现全连接，而且每层各神经元之间无连接。
但bp网并不是十分的完善，它存在以下一些主要缺陷：学习收敛速度太慢、网络的学习记忆具有不稳定性，即：当给一个训练好的网提供新的学习记忆模式时，将使已有的连接权值被打乱，导致已记忆的学习模式的信息的消失。
2.2.2竞争型(kohonen)神经网络
它是基于人的视网膜及大脑皮层对剌激的反应而引出的。神经生物学的研究结果表明：生物视网膜中，有许多特定的细胞，对特定的图形(输入模式)比较敏感，并使得大脑皮层中的特定细胞产生大的兴奋，而其相邻的神经细胞的兴奋程度被抑制。对于某一个输入模式，通过竞争在输出层中只激活一个相应的输出神经元。许多输入模式，在输出层中将激活许多个神经元，从而形成一个反映输入数据的“特征图形”。竞争型神经网络是一种以无教师方式进行网络训练的网络。它通过自身训练，自动对输入模式进行分类。竞争型神经网络及其学习规则与其它类型的神经网络和学习规则相比，有其自己的鲜明特点。在网络结构上，它既不象阶层型神经网络那样各层神经元之间只有单向连接，也不象全连接型网络那样在网络结构上没有明显的层次界限。它一般是由输入层(模拟视网膜神经元)和竞争层(模拟大脑皮层神经元，也叫输出层)构成的两层网络。两层之间的各神经元实现双向全连接，而且网络中没有隐含层。有时竞争层各神经元之间还存在横向连接。竞争型神经网络的基本思想是网络竞争层各神经元竞争对输入模式的响应机会，最后仅有一个神经元成为竞争的胜者，并且只将与获胜神经元有关的各连接权值进行修正，使之朝着更有利于它竞争的方向调整。神经网络工作时，对于某一输入模式，网络中与该模式最相近的学习输入模式相对应的竞争层神经元将有最大的输出值，即以竞争层获胜神经元来表示分类结果。这是通过竞争得以实现的，实际上也就是网络回忆联想的过程。
除了竞争的方法外，还有通过抑制手段获取胜利的方法，即网络竞争层各神经元抑制所有其它神经元对输入模式的响应机会，从而使自己“脱颖而出”，成为获胜神经元。除此之外还有一种称为侧抑制的方法，即每个神经元只抑制与自己邻近的神经元，而对远离自己的神经元不抑制。这种方法常常用于图象边缘处理，解决图象边缘的缺陷问题。
竞争型神经网络的缺点和不足：因为它仅以输出层中的单个神经元代表某一类模式。所以一旦输出层中的某个输出神经元损坏，则导致该神经元所代表的该模式信息全部丢失。
2.2.3hopfield神经网络
1986年美国物理学家j.j.hopfield陆续发表几篇论文，提出了hopfield神经网络。他利用非线性动力学系统理论中的能量函数方法研究反馈人工神经网络的稳定性，并利用此方法建立求解优化计算问题的系统方程式。基本的hopfield神经网络是一个由非线性元件构成的全连接型单层反馈系统。
网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时又都接收所有其它神经元传递过来的信息。即：网络中的神经元t时刻的输出状态实际上间接地与自己的t-1时刻的输出状态有关。所以hopfield神经网络是一个反馈型的网络。其状态变化可以用差分方程来表征。反馈型网络的一个重要特点就是它具有稳定状态。当网络达到稳定状态的时候，也就是它的能量函数达到最小的时候。这里的能量函数不是物理意义上的能量函数，而是在表达形式上与物理意义上的能量概念一致，表征网络状态的变化趋势，并可以依据hopfield工作运行规则不断进行状态变化，最终能够达到的某个极小值的目标函数。网络收敛就是指能量函数达到极小值。如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么hopfield神经网络就能够用于解决优化组合问题。
对于同样结构的网络，当网络参数(指连接权值和阀值)有所变化时，网络能量函数的极小点(称为网络的稳定平衡点)的个数和极小值的大小也将变化。因此，可以把所需记忆的模式设计成某个确定网络状态的一个稳定平衡点。若网络有m个平衡点，则可以记忆m个记忆模式。
当网络从与记忆模式较靠近的某个初始状态(相当于发生了某些变形或含有某些噪声的记忆模式，也即：只提供了某个模式的部分信息)出发后，网络按hopfield工作运行规则进行状态更新，最后网络的状态将稳定在能量函数的极小点。这样就完成了由部分信息的联想过程。
hopfield神经网络的能量函数是朝着梯度减小的方向变化，但它仍然存在一个问题，那就是一旦能量函数陷入到局部极小值，它将不能自动跳出局部极小点，到达全局最小点，因而无法求得网络最优解。
3遗传算法
遗传算法（geneticalgorithms）是基于生物进化理论的原理发展起来的一种广为应用的、高效的随机搜索与优化的方法。其主要特点是群体搜索策略和群体中个体之间的信息交换，搜索不依赖于梯度信息。它是在70年代初期由美国密执根（michigan）大学的霍兰（holland）教授发展起来的。1975年霍兰教授发表了第一本比较系统论述遗传算法的专著《自然系统与人工系统中的适应性》（《adaptationinnaturalandartificialsystems》）。遗传算法最初被研究的出发点不是为专门解决最优化问题而设计的，它与进化策略、进化规划共同构成了进化算法的主要框架，都是为当时人工智能的发展服务的。迄今为止，遗传算法是进化算法中最广为人知的算法。
近几年来，遗传算法主要在复杂优化问题求解和工业工程领域应用方面，取得了一些令人信服的结果，所以引起了很多人的关注。在发展过程中，进化策略、进化规划和遗传算法之间差异越来越小。遗传算法成功的应用包括：作业调度与排序、可靠性设计、车辆路径选择与调度、成组技术、设备布置与分配、交通问题等等。
3.1特点
遗传算法是解决搜索问题的一种通用算法，对于各种通用问题都可以使用。搜索算法的共同特征为：①首先组成一组候选解；②依据某些适应性条件测算这些候选解的适应度；③根据适应度保留某些候选解，放弃其他候选解；④对保留的候选解进行某些操作，生成新的候选解。在遗传算法中，上述几个特征以一种特殊的方式组合在一起：基于染色体群的并行搜索，带有猜测性质的选择操作、交换操作和突变操作。这种特殊的组合方式将遗传算法与其它搜索算法区别开来。
遗传算法还具有以下几方面的特点：
(1)遗传算法从问题解的串集开始嫂索，而不是从单个解开始。这是遗传算法与传统优化算法的极大区别。传统优化算法是从单个初始值迭代求最优解的；容易误入局部最优解。遗传算法从串集开始搜索，覆盖面大，利于全局择优。(2)许多传统搜索算法都是单点搜索算法，容易陷入局部的最优解。遗传算法同时处理群体中的多个个体，即对搜索空间中的多个解进行评估，减少了陷入局部最优解的风险，同时算法本身易于实现并行化。
(3)遗传算法基本上不用搜索空间的知识或其它辅助信息，而仅用适应度函数值来评估个体，在此基础上进行遗传操作。适应度函数不仅不受连续可微的约束，而且其定义域可以任意设定。这一特点使得遗传算法的应用范围大大扩展。
(4)遗传算法不是采用确定性规则，而是采用概率的变迁规则来指导他的搜索方向。
(5)具有自组织、自适应和自学习性。遗传算法利用进化过程获得的信息自行组织搜索时，硬度大的个体具有较高的生存概率，并获得更适应环境的基因结构。
3.2运用领域
前面描述是简单的遗传算法模型，可以在这一基本型上加以改进，使其在科学和工程领域得到广泛应用。下面列举了一些遗传算法的应用领域：①优化：遗传算法可用于各种优化问题。既包括数量优化问题，也包括组合优化问题。②程序设计：遗传算法可以用于某些特殊任务的计算机程序设计。③机器学习：遗传算法可用于许多机器学习的应用，包括分类问题和预测问题等。④经济学：应用遗传算法对经济创新的过程建立模型，可以研究投标的策略，还可以建立市场竞争的模型。⑤免疫系统：应用遗传算法可以对自然界中免疫系统的多个方面建立模型，研究个体的生命过程中的突变现象以及发掘进化过程中的基因资源。⑥进化现象和学习现象：遗传算法可以用来研究个体是如何学习生存技巧的，一个物种的进化对其他物种会产生何种影响等等。⑦社会经济问题：遗传算法可以用来研究社会系统中的各种演化现象，例如在一个多主体系统中，协作与交流是如何演化出来的。
4模拟退火算法
模拟退火算法来源于固体退火原理，将固体加温至充分高，再让其徐徐冷却，加温时，固体内部粒子随温升变为无序状，内能增大，而徐徐冷却时粒子渐趋有序，在每个温度都达到平衡态，最后在常温时达到基态，内能减为最小。根据metropolis准则，粒子在温度t时趋于平衡的概率为e-δe/(kt)，其中e为温度t时的内能，δe为其改变量，k为boltzmann常数。用固体退火模拟组合优化问题，将内能e模拟为目标函数值f，温度t演化成控制参数t，即得到解组合优化问题的模拟退火算法：由初始解i和控制参数初值t开始，对当前解重复“产生新解计算目标函数差接受或舍弃”的迭代，并逐步衰减t值，算法终止时的当前解即为所得近似最优解，这是基于蒙特卡罗迭代求解法的一种启发式随机搜索过程。退火过程由冷却进度表(coolingschedule)控制，包括控制参数的初值t及其衰减因子δt、每个t值时的迭代次数l和停止条件s。
5群体（群集）智能（swarmintelligence）
受社会性昆虫行为的启发，计算机工作者通过对社会性昆虫的模拟产生了一系列对于传统问题的新的解决方法，这些研究就是群集智能的研究。群集智能(swarmintelligence)中的群体(swarm)指的是“一组相互之间可以进行直接通信或者间接通信(通过改变局部环境)的主体，这组主体能够合作进行分布问题求解”。而所谓群集智能指的是“无智能的主体通过合作表现出智能行为的特性”。群集智能在没有集中控制并且不提供全局模型的前提下，为寻找复杂的分布式问题的解决方案提供了基础。
群集智能的特点和优点：群体中相互合作的个体是分布式的(distributed)，这样更能够适应当前网络环境下的工作状态;没有中心的控制与数据，这样的系统更具有鲁棒性(robust)，不会由于某一个或者某几个个体的故障而影响整个问题的求解。可以不通过个体之间直接通信而是通过非直接通信(stimergy)进行合作，这样的系统具有更好的可扩充性(scalability)。由于系统中个体的增加而增加的系统的通信开销在这里十分小。系统中每个个体的能力十分简单，这样每个个体的执行时间比较短，并且实现也比较简单，具有简单性(simplicity)。因为具有这些优点，虽说群集智能的研究还处于初级阶段，并且存在许多困难，但是可以预言群集智能的研究代表了以后计算机研究发展的一个重要方向。
在计算智能(computationalintelligence)领域有两种基于群智能的算法，蚁群算法(antcolonyoptimization)和粒子群算法(particleswarmoptimization)，前者是对蚂蚁群落食物采集过程的模拟，已经成功运用在很多离散优化问题上。
5.1蚁群优化算法
受蚂蚁觅食时的通信机制的启发，90年代dorigo提出了蚁群优化算法(antcolonyoptimization，aco)来解决计算机算法学中经典的“货郎担问题”。如果有n个城市，需要对所有n个城市进行访问且只访问一次的最短距离。
在解决货郎担问题时，蚁群优化算法设计虚拟的“蚂蚁”将摸索不同路线，并留下会随时间逐渐消失的虚拟“信息素”。虚拟的“信息素”也会挥发，每只蚂蚁每次随机选择要走的路径，它们倾向于选择路径比较短的、信息素比较浓的路径。根据“信息素较浓的路线更近"的原则，即可选择出最佳路线。由于这个算法利用了正反馈机制，使得较短的路径能够有较大的机会得到选择，并且由于采用了概率算法，所以它能够不局限于局部最优解。
蚁群优化算法对于解决货郎担问题并不是目前最好的方法，但首先，它提出了一种解决货郎担问题的新思路；其次由于这种算法特有的解决方法，它已经被成功用于解决其他组合优化问题，例如图的着色(graphcoloring)以及最短超串(shortestcommonsupersequence)等问题。
5.2粒子群优化算法
粒子群优化算法(pso)是一种进化计算技术(evolutionarycomputation)，有eberhart博士和kennedy博士发明。源于对鸟群捕食的行为研究。
pso同遗传算法类似，是一种基于叠代的优化工具。系统初始化为一组随机解，通过叠代搜寻最优值。但是并没有遗传算法用的交叉(crossover)以及变异(mutation)。而是粒子在解空间追随最优的粒子进行搜索。
同遗传算法比较，pso的优势在于简单容易实现并且没有许多参数需要调整。目前已广泛应用于函数优化，神经网络训练，模糊系统控制以及其他遗传算法的应用领域。
粒子群优化算法(pso)也是起源对简单社会系统的模拟，最初设想是模拟鸟群觅食的过程，但后来发现pso是一种很好的优化工具。
5.2.1算法介绍
pso模拟鸟群的捕食行为。一群鸟在随机搜索食物，在这个区域里只有一块食物。所有的鸟都不知道食物在那里。但是他们知道当前的位置离食物还有多远。那么找到食物的最优策略是什么呢。最简单有效的就是搜寻目前离食物最近的鸟的周围区域。
pso从这种模型中得到启示并用于解决优化问题。pso中，每个优化问题的解都是搜索空间中的一只鸟。我们称之为“粒子”。所有的粒子都有一个由被优化的函数决定的适应值(fitnessvalue)，每个粒子还有一个速度决定他们飞翔的方向和距离。然后粒子们就追随当前的最优粒子在解空间中搜索。
pso初始化为一群随机粒子(随机解)，然后通过叠代找到最优解，在每一次叠代中，粒子通过跟踪两个“极值”来更新自己。第一个就是粒子本身所找到的最优解，这个解叫做个体极值pbest，另一个极值是整个种群目前找到的最优解，这个极值是全局极值gbest。另外也可以不用整个种群而只是用其中一部分最优粒子的邻居，那么在所有邻居中的极值就是局部极值。
5.2.2pso算法过程
①种群随机初始化。
②对种群内的每一个个体计算适应值(fitnessvalue)。适应值与最优解的距离直接有关。
③种群根据适应值进行复制。
④如果终止条件满足的话，就停止，否则转步骤②。
从以上步骤，我们可以看到pso和遗传算法有很多共同之处。两者都随机初始化种群，而且都使用适应值来评价系统，而且都根据适应值来进行一定的随机搜索。两个系统都不是保证一定找到最优解。但是，pso没有遗传操作如交叉(crossover)和变异(mutation)，而是根据自己的速度来决定搜索。粒子还有一个重要的特点，就是有记忆。
与遗传算法比较，pso的信息共享机制是很不同的。在遗传算法中，染色体(chromosomes)互相共享信息，所以整个种群的移动是比较均匀的向最优区域移动。在pso中,只有gbest(orlbest)给出信息给其他的粒子，这是单向的信息流动。整个搜索更新过程是跟随当前最优解的过程。与遗传算法比较,在大多数的情况下，所有的粒子可能更快的收敛于最优解。
现在已经有一些利用pso代替反向传播算法来训练神经网络的论文。研究表明pso是一种很有潜力的神经网络算法，同时pso速度比较快而且可以得到比较好的结果。
6展望
目前的智能计算研究水平暂时还很难使“智能机器”真正具备人类的常识，但智能计算将在21世纪蓬勃发展。不仅仅只是功能模仿要持有信息机理一致的观点。即人工脑与生物脑将不只是功能模仿，而是具有相同的特性。这两者的结合将开辟一个全新的领域，开辟很多新的研究方向。智能计算将探索智能的新概念，新理论，新方法和新技术，而这一切将在以后的发展中取得重大成就。
参考文献
[1]“ant-colonyoptimizationalgorithms(aco)”，
http://leanair4.mit.edu/docushare/dscgi/ds.py/get/file-378/rg_ee141_w8aco.pdf