神经网络的优化方法篇1
为降低神经网络的冗余连接及不必要的计算代价，将量子免疫克隆算法应用于神经网络的优化过程，通过产生具有稀疏度的权值来优化神经网络结构。算法能够有效删除神经网络中的冗余连接和隐层节点，并同时提高神经网络的学习效率、函数逼近精度和泛化能力。该算法已应用于秦始皇帝陵博物院野外文物安防系统。经实际检验，算法提高了目标分类概率，降低了误报率。
关键词：神经网络；量子免疫克隆算法；目标分类；冗余连接；网络优化
中图分类号：tp273
文献标志码：a
Quantum-inspiredclonalalgorithmbasedmethodforoptimizingneuralnetworks
abstract：
inordertoreducetheredundantconnectionsandunnecessarycomputingcost，quantum-inspiredclonalalgorithmwasappliedtooptimizeneuralnetworks.Bygeneratingneuralnetworkweightswhichhavecertainsparseratio，thealgorithmnotonlyeffectivelyremovedredundantneuralnetworkconnectionsandhiddenlayernodes，butalsoimprovedthelearningefficiencyofneuralnetwork，theapproximationoffunctionaccuracyandgeneralizationability.thismethodhadbeenappliedtowildrelicssecuritysystemofemperorQinshihuangsmausoleumsitemuseum，andtheresultsshowthatthemethodcanraisetheprobabilityoftargetclassificationandreducethefalsealarmrate.
Keywords：
neuralnetwork；quantum-inspiredclonalalgorithm；targetclassification；redundantconnection；networkoptimization
0引言
神经网络已经被广泛地应用于模式分类、函数逼近、信号预测等各种领域，是近年来的研究热点之一[1-2]。在应用过程中，研究人员发现，当神经网络的规模过大会产生连接数量冗余大、计算代价过高的问题，降低了大规模神经网络的实用性。针对此问题，研究人员提出了多种方法在保持神经网络的前提下优化神经网络的结构和参数权值。Leung等[3-4]改进了传统的遗传算法（Geneticalgorithm，Ga）并将其应用于神经网络的结构和权值优化过程，利用遗传算法的快速收敛性来提高神经网络的学习速度，其缺点在于当目标函数维数过大时容易陷入局部最优。Xiao等[5]使用混合优点（HybridGoodpoint，HGp）优化前向神经网络的参数和结构，避免权值陷入局部最优，但其对网络结构的优化没有达到最优。Shu等[6]提出正交模拟褪火（orthogonalSimulatedannealing，oSa）算法，使用褪火算法和正交算法的优点来同时优化神经网络结构和参数，其算法收敛速度快、鲁棒性好，缺点则在于计算代价较大。杜文莉等[7]提出了使用量子差分进化（CooperativeQuantumDifferentialevolution，CQGaDe）算法来优化神经网络权值，使用量子遗传算法优化网络结构和隐层节点数，算法综合了量子遗传算法和量子差分算法的优点，收敛速度快，但其缺点在于需要同时协同两种算法的优化结果，算法复杂度较高，且容易陷入局部最优。tsai等[8]提出混合田口遗传算法（HybridtaguchiGeneticalgorithm，HtGa），将传统的Ga与taguchi方法结合起来，使得算法具有鲁棒性好、收敛性快等优点，但其缺点在于获得最优解的计算代价较大。
量子免疫克隆算法[9-12]（Quantum-inspiredimmuneClonalalgorithm，QiCa）也称为量子遗传算法（QuantumGeneticalgorithm，QGa），其将量子搜索机制和免疫算法克隆选择原理相结合，利用量子编码的叠加性和随机性构造抗体，利用遗传算法的克隆操作产生原始种群和克隆子群实现种群扩张，使搜索空间扩大，提高了局部搜索能力；同时借助全干扰交叉操作避免陷入局部最优。QiCa采用了多状态量子比特编码方式和通用的量子旋转门操作，引入动态调整旋转角机制和量子交叉[11]。QiCa在组合优化问题中具有良好的表现。
针对上述问题，提出了使用量子克隆免疫算法对神经网络的结构和连接权值同时进行优化，通过产生具有一定稀疏度的连接权值对网络隐层数量和连接权值进行优化，提高了算法的效率和收敛速度，避免了算法陷入局部最优。
1带开关权值的神经网络模型
在经典的神经网络理论中，网络结构在初始化后便不再变动，仅通过权值的变化来计算产生结果，这种算法增加了神经网络的结构复杂性，在实际应用中增加了计算结果的代价。Leung等[3-4]提出了带开关权值的神经网络，通过调整开关的通断就能调整神经网络的结构和连接数量，从而减少计算代价。带开关权值的神经网络模型如图1所示[7]。
2.2权值计算及优化方法
根据量子克隆免疫理论，将神经网络权值计算及优化过程分为以下四个过程。
2.2.1权值抗体初始化
量子克隆免疫算法是基于量子计算和遗传算法组成的，其抗体的编码方式采用量子比特编码。一个抗体中的量子位的状态是不确定的，可以为0或1，其状态表示为式（5）：
3.1算法复杂度分析
量子克隆免疫算法的实质是通过量子理论的随机特性提供丰富的种群数量，并通过使用遗传算法对种群进行淘汰和进化，因此其算法的复杂度等于种群生成算法的复杂度：假设神经网络有x个输入，其隐层节点数量为n，输出为y，则网络中的输入与隐层节点间的连接权值ω的数量为：x*n，隐层节点与输出层的连接权值v的数量为：n*y。种群生成需要对所有节点进行权值初始化，并将随机位置的n（nn）个节点的权值设置为0，其算法复杂度为o（n2）。而克隆免疫算法在种群克隆及抗体选择过程中使用遗传算法，因此其算法的复杂度与传统遗传算法相同，其算法复杂度也为o（n2）。因此，使用量子免疫克隆的神经网络优化算法的复杂度为o（n2）。
3.2非线性函数逼近
选取复杂交互非线性函数（ComplicatedinteractionFunction，CiF）：
其中0
选取样本700组，其中500组用于训练，其余200组用于检测性能。神经网络的初始隐层神经元设置为20个，初始网络结构为：2-20-1，初始连接权值为随机值。在此条件下验证不同稀疏度条件下对CiF的二维逼近效果如图3所示。
图3显示随着稀疏度的不断降低，神经网络的逼近能力有所减弱，逼近误差则逐渐增大。这主要是因为神经网络中的连接权值数量降低，造成神经网络的适应性差。具体逼近效果见表2。
从表2中可以看出，隐层节点数量直接影响着神经网络的性能。高稀疏度条件下的计算量大，但逼近精度高；低稀疏度条件下的计算量小，但逼近精度较差。实验表明当稀疏度大于0.6时，算法的逼近精度高于90%，优化后的网络具有较好的非线性逼近能力。当神经网络隐层节点数量低于12时逼近精度大幅下降，说明此时神经网络处理信息的能力也随之大幅减弱，隐层节点的最合适的数量为12～14个，这也符合文献[14]的实验结果。
图4为不同稀疏度下，算法适应度的收敛情况。可以看出量子克隆免疫算法具有很好的收敛特性，算法收敛速度很快，能够在很短的进化次数内收敛至极值，且稀疏度越低，神经网络的连接权值数量越少，算法收敛速度越低，最优适应度越差。
表3为相同条件下，不同算法的最优计算结果，包括目标分类的准确度、隐藏层节点数量等。可以看出，当稀疏度高于0.8时，本文算法收敛性和适应度均优于混沌粒子群（ChaoticparticleSwarmoptimization，CpSo）[15]、粒子群优化算法（particleSwarmoptimization，pSo）[16]、混合田口遗传算法[Hybridtaguchi-Geneticalgorithm，HtGa][8]等其他算法，说明算法具有很好的收敛速度、寻优精度和鲁棒性。
3.3微地震信号目标分类
实验场地选择在秦始皇兵马俑博物馆内K9901号坑旁。所有传感器节点沿公路一侧直线部署，距离公路1m左右。可能产生地震波的活动物体包括人员行走、机动车和挖掘活动。将采集到的微地震信号进行滤波、分帧、特征提取等处理后输入至神经网络进行模式识别。
系统对传感器采集到的数据进行分帧，并使用功率谱二次分析[17]算法对其进行处理，最后将经过预处理的数据输入至神经网络对其进行分类。根据其活动特点，将输出目标分为三类：人员活动、挖掘活动以及机动车辆活动。传感器采集到的三类活动的经典波形如图5所示。
表6中给出了算法的最优计算结果，包括不同稀疏度条件下神经网络的隐藏层节点数量、最优适应度以及分类准确率等。可以看出，算法能够有效减少冗余的隐藏层节点数量，并降低节点连接数量。算法的稀疏度越高，其适应度越好，其分类的准确性越好，但稀疏度高带来的则是计算代价增大、计算复杂度增加。当稀疏度低于0.7时，算法的适应度变差，目标的识别率为90%，在实际应用过程中带来了误判率较高的问题，降低了实用性。因此在秦始皇帝陵博物院野外文物安防系统中使用了稀疏度为0.7的算法对模式识别的神经网络进行优化。
4结语
本文提出了基于量子免疫克隆算法的神经网络优化算法，该算法在训练神经网络优化权值的同时删除了冗余连接和多余的隐层节点，实现了神经网络结构和网络权值的优化。通过经典非线性函数逼近和目标识别检验，算法能够有效地优化神经网络，提高神经网络的优化效率，减少计算复杂度。使用优化后的神经网络已经用于秦始皇帝陵博物院野外文物安防系统中。
参考文献：
[1]QiaoH，ZHoUY，SHaon，etal.Softwarereliabilitypredictionbasedonlearningvectorquantizationneutralnetwork[J].JournalofComputerapplications，2012，32（05）：1436-1438.）（乔辉，周雁舟，邵楠，等.基于学习向量量化神经网络的软件可靠性预测[J].计算机应用，2012，32（5）：1436-1438.）
[2]panY，DenGY，ZHanGQ，etal.Deterministicpredictionofwaveletneuralnetworkmodelanditsapplication[J].JournalofComputerapplications，2013，33（4）：1001-1005.（潘玉民，邓永红，张全柱，等.小波神经网络模型的确定性预测及应用[J].计算机应用，2013，33（4）：1001-1005.）
[3]LeUnGHF，LamHF，LinGSF，etal.tuningofthestructureandparametersofneuralnetworkusinganimprovedgeneticalgorithm[C]//proceedingsofthe27thannualConferenceofieeeindustrialelectronicsSociety.piscataway：ieee，2001：25-30.
[4]LeUnGHF，LamHF，LinGSH，etal.tuningofthestructureandparametersofaneuralnetworkusinganimprovedgeneticalgorithm[J].ieeetransactionsonneuralnetwork，2003，14（1）：79-88.
[5]XiaoC，CaiZ，wanGY，etal.tuningofthestructureandparametersofaneuralnetworkusingagoodpointssetevolutionarystrategy[C]//proceedingsofthe9thinternationalConferenceforYoungComputerScientists.piscataway：ieee，2008：1749-1754.
[6]SHUL，HoSY，HoSJ.tuningthestructureandparametersofaneuralnetworkusinganorthogonalsimulatedannealingalgorithm[C]//proceedingsofthe2009JointConferencesonpervasiveComputing.piscataway：ieee，2009：789-792.
[7]DUw，ZHoUR，ZHoUL，etal.Cooperativequantumdifferentialevolutionalgorithmbasedmethodforoptimizingneuralnetworks[J].JournaloftsinghuaUniversity：Scienceandtechnology，2012，52（3）：331-335.（杜文莉，周仁，赵亮，等.基于量子差分进化算法的神经网络优化方法[J].清华大学学报：自然科学版，2012，52（3）：331-335.）
[8]tSaiJ，CHoUJ，LiUt.tuningthestructureandparametersofaneuralnetworkbyusinghybridtaguchi-geneticalgorithm[J].ieeetransactionsonneuralnetwork，2006，17（1）：69-80.
[9]LiY，JiaoL.Quantum-inspiredimmuneclonalalgorithmanditsapplication[C]//proceedingsofthe2007internationalSymposiumonintelligentSignalprocessingandCommunicationSystems.piscataway：ieee，2007：670-673.
[10]JiaoL，LiY，GonGm，etal.Quantum-inspiredimmuneclonalalgorithmforglobaloptimization[J].ieeetransactionsonSystems，manandCybernetics，partB：Cybernetics，2008，38（5）：1234-1253.
[11]ZHoUC，QianF.improvementofquantumgeneticalgorithmanditsapplication[J].JournalofComputerapplications，2008，28（2）：286-288.（周传华，钱峰.改进量子遗传算法及其应用[J].计算机应用，2008，28（2）：286-288）
[12]ZHoUQ，JianGS，ZHaoX，etal.improvedquantumgeneticalgorithmanditsapplicationintestdatageneration[J].JournalofComputerapplications，2012，32（2）：557-560.（周绮，姜淑娟，赵雪峰，等.改进的量子遗传算法及其在测试数据生成中的应用[J].计算机应用，2012，32（2）：557-560.）
[13]QiaoJ，LeeYG，SCottDS，etal.Self-organizingradialbasisfunctionnetworkforreal-timeapproximationofcontinuous-timedynamicalsystems[J].ieeetransactionsonneuralnetworks，2008，19（3）：460-474.
[14]HanH，QiaoJ，BoY，etal.onstructuredesignforRBFneuralnetworkbasedoninformationstrength[J].actaautomaticaSinica，2012，38（7）：1083-1090.（韩红桂，乔俊飞，薄迎春，等.基于信息强度的RBF神经网络结构设计研究[J].自动化学报，2012，38（7）：1083-1090.）
[15]ZHaoL.FuzzyidentificationandneuralnetworkslearningbasedoncooperativepSoalgorithm[D].Shanghai：ShanghaiJiaotongUniversity，2008.（赵亮.基于协同pSo算法的模糊辨识与神经网络学习[D].上海：上海交通大学，2008.）
神经网络的优化方法篇2
关键词：计算机网络模型；神经网络算法
计算机网络在人们日常生活越来越重要，被广泛应用到各个行业。随着社会不断发展，人们需求不断加高，使计算机得到良好改善，目前，计算机网络运用集线式服务器来实现网络互连，促进网络发展。但是也有很大弊端，过多的联想信息虽然满足人们需求，但是对技术的要求也更加苛刻，现有的技术满足不了计算机网络运行，使人们日常操作不方便。为了解决这一问题，研究人员需要全面优化计算机网络，提高运行能力和性能，运用神经网络算法，使计算机更加适合现代社会发展，储存更多信息。
1神经网络算法概论分析
1.1神经网络算法整体概论神经网络算法是按照人体大脑的思维方式进行模拟，根据逻辑思维进行推理，将信息概念化形成人们认知的符号，呈现在显示屏前。根据逻辑符号按照一定模式进行指令构造，使计算机执行。目前，神经网络被广泛使用，使直观性的思维方式分布式存储信息，建立理论模型。优化网络的神经网络主要是Hop?eld神经网络，是1982年由美国物理学家提出的，它能够模拟神经网络的记忆机理，是全连接的神经网络。Hop?eld神经网络中的每个神经元都能够信号输出，还能够将信号通过其他神经元为自己反馈，那么其也称之为反馈性神经网络。
1.2优化神经网络基本基础Hop?eld神经网络是通过能量函数分析系统，结合储存系统和二元系统的神经网络，Hop?eld神经网络能收敛到稳定的平衡状态，并以其认为样本信息，具备联想记忆能力，使某种残缺信息进行回想还原，回忆成完整信息。但是Hop?eld神经网络记忆储存量有限，而且大多数信息是不稳定的，合理优化计算机联想问题，使Hop?eld神经网络能够建设模型。
1.3神经网络算法优化步骤简述人工神经网络是模拟思维，大多是根据逻辑思维进行简化，创造指令使计算机执行。神经网络算法是按照人体思维进行建设，通过反应问题的方法来表述神经思维的解；利用有效条件和能量参数来构造网络系统，使神经网络算法更加可靠；大多数动态信息需要神经网络来根据动态方程计算，得出数据参数来进行储存。
2神经网络算法的特点与应用
2.1神经网络主要特点神经网络是根据不同组件来模拟生物体思维的功能，而神经网络算法是其中一种程序，将信息概念化，按照一定人们认知的符号来编程指令，使计算机执行，应用于不同研究和工程领域。神经网络在结构上是由处理单元组成，模拟人体大脑神经单元，虽然每个单元处理问题比较简单，但是单元进行组合可以对复杂问题进行预知和处理的能力，还可以进行计算，解决问题能力突出，能够运用在计算机上，可以提高计算机运算准确度，从而保障计算机运行能力。而且一般神经网络有较强容错性，不同单元的微小损伤并不阻碍整体网络运行，如果有部分单元受到损伤，只会制约运算速度，并不妨碍准确度，神经网络在整体性能上能够正常工作。同时，神经网络主干部分受到损伤，部分单元会进行独立计算，依然能够正常工作。
2.2神经网络信息记忆能力神经网络信息存储能力非常强，整体单元组合进行分布式存储。目前，神经网络算法是单元互相连接，形成非线性动态系统，每个单元存储信息较少，大量单元互相结合存储信息大量增加。神经网络具备学习能力，通过学习可以得到神经网络连接结构，在进行日常图像识别时，神经网络会根据输入的识别功能进行自主学习，过后在输入相同图像，神经网络会自动识别。自主学习能力给神经网络带来重要意义，能够使神经网络不断成长，对人们未来日常工作能够很好预测，满足人们的需求。
2.3神经网络的突出优点近年来，人工神经网络得到越来越多人重视，使神经网络得到足够资源进行良好创新。人工神经网络是由大量基本元件构成，对人脑功能的部分特性进行模仿和简化，人工神经网络具备复杂线性关系，与一般计算机相比，在构成原理和功能特点更加先进，人工神经网络并不是按照程序来进行层次运算，而是能够适应环境，根据人们提供的数据进行模拟和分析，完成某种运算。人工神经系统具备优良容错性，由于大量信息存储在神经单元中，进行分布式存储，当信息受到损害时，人工神经系统也可以正常运行。人工神经网络必须要有学习准则制约来能够自主学习，然后进行工作。目前，人工神经网络已经逐步具备自适应和自组织能力，在学习或训练过程中改变突触权重值，以适应周围环境的要求。通过一定学习方式和某些规则，人工神经网络可以自动发现环境特征和规律性，更贴近人脑某些特征。采用并行分布处理方法，使得快速进行大量运算成为可能。神经网络的一个很大的优点是很容易在并行计算机上实现，可以把神经的节点分配到不同的CpU上并行计算。钱艺等提出了一种神经网络并行处理器的体系结构，能以较高的并行度实现典型的前馈网络如Bp网络和典型的反馈网络(如Hop?eld网络)的算法。该算法以SimD(SingleinstructionmultipleData)为主要计算结构，结合这两种网络算法的特点设计了一维脉动阵列和全连通的互连网络，能够方便灵活地实现处理单元之间的数据共享。结合粒子群优化算法和个体网络的并行学习机制，提出了一种基于粒子群优化的并行学习神经网络集成构造方法。
3结束语
全球化的发展，信息交流不断加快，促使各个行业相互融合。神经网络算法具备简单、稳定等不同优势，神经网络研究内容相当广泛，神经网络算法能够与其它算法相互结合，在一定程度提高计算机网络模型运算能力。但是计算机网络模型中神经网络算法学习能力比较低下，梯度下降法不准确，所以需要有关人员进行深度研究，探索神经网络算法，使其更加完善，从而保证计算机整体性能的提高。
参考文献：
[1]陈竺.计算机网络连接增强优化中的神经网络算法[J].电子技术与软件工程,2014(19).
神经网络的优化方法篇3
abstract:throughanalyzingtheshortcomingofBpneuralnetwork,geneticalgorithmandBpneuralnetworkarecombinedinthispaper.Usingtheglobalsearchabilityofgeneticalgorithm,initialweightsandthresholdsofBpneuralnetworkareoptimizedandusedinmachinefaultdiagnosis.theresultsshowthatitcandetectfaultdiagnosisandincreasefaultdiagnosisprecisioninmatLaBsimulation.
关键词:遗传算法;Bp神经网络;故障诊断
Keywords:Geneticalgorithm;Bpneuralnetwork;faultdiagnosis
中图分类号:tH17文献标识码:a文章编号:1006-4311(2010)25-0152-02
0引言
随着人工智能、计算机科学以及信号处理技术的不断发展和进步,故障诊断技术也逐渐的成熟起来。机械故障诊断的根本目标是确诊连续运行机器的潜在故障,保证机器安全有效的运行。所谓确诊就是能够准确地诊断出机器的故障类型、故障严重程度及故障的具置。
当前的故障诊断技术已经发展到了智能化阶段,作为一种新的模式识别技术或一种知识处理方法,人工神经网络在故障诊断领域中显示了其极大的应用潜力[1]。基于梯度下降的Bp网络是应用最广泛也是最成熟的一种人工神经网络,但是它存在着以下突出弱点:网络训练速度慢、容易陷入局部极小、全局搜索能力差等[2]。而遗传算法能够很好地收敛到全局最优解,且有较强的鲁棒性,将遗传算法与神经网络结合起来,就能够取长补短,显著提高网络性能[3~5]。muhlenbein分析了多层感知机网络的局限性,甚至猜想下一代神经网络将是遗传神经网络。
目前遗传算法和神经网络模型的结合主要表现在以下几个方面:①用遗传算法优化网络训练,即优化网络连接权重;②用遗传算法优化神经网络的结构;③用遗传算法优化神经网络的学习规则;④用神经网络优化遗传算法的收敛性。
针对Bp神经网络的特性,遗传算法和Bp神经网络的结合主要体现在用遗传算法优化Bp神经网络的连接权值,以改进Bp神经网络学习梯度算法的收敛速度慢、容易陷入局部最小值、全局搜索能力差等问题,能够很快得到全局最优解。本文所采用的方法就是用遗传算法对Bp神经网络的连接权值进行优化,提高Bp神经网络的性能。
1Ga-Bp神经网络模型的建立
神经网络的权值训练过程实际是一个复杂函数的优化问题,即通过反复调整来寻找最优的连接权值。神经网络权值的整体分布包含着神经系统的全部知识,传统的权值获取方法是采用某种确定的变化规则,在训练中逐步调整,最终得到一个较好的权值分布。采用遗传算法优化Bp神经网络的初始权重,实际上是将整个网络训练分成了两部分:首先采用遗传算法优化网络的初始权重;然后利用Bp算法最终完成网络训练。
1.1利用Ga优化Bp神经网络的初始权值①采用某种编码方案对权值(阈值)进行编码,随机产生一组分布(编码),它就对应着一组神经网络的连接权(阈值)。②输入训练样本,计算它的误差函数值,以误差平方和的倒数作为适应度。若误差越小,适应度越大,反之适应度大。以此来评价连接权值(阈值)的优劣。③选择适应度大的个体,直接遗传给下一代。④再利用交叉,变异等操作对当前群体进化,产生下一代群体。⑤重复②-④,这样初始确定的一组权值(阈值)得到不断进化,直到训练目标满足条件为止。
这样就得到一组编码数据,遗传算法认为该组数据是最优解。然后采用遗传算法的解码,将该组编码数据转换为权重组合,作为初始权值(阈值),进入Bp神经网络的系统中去。
1.2训练神经网络确定Bp神经网络的结构,包括输入层和输出层,以及隐含层的层数和节点数。然后以遗传操作后的数值作为初始权值和阈值,进行网络的训练。训练步骤采用标准Bp算法进行学习,最终得到满足条件的Bp网络。当以另外的样本作为输入层,利用训练好的Bp网络进行仿真时,将得到期望的输出。
2诊断实例
为了验证遗传神经网络的效果,本文引用一个传动机滚动轴承为例进行故障诊断选取其的4的特征参数,包括均方值根、峭度、谐波指标和SQ参数,它们组成输入样本向量。数据如表1所示。
将滚动轴承状态进行编码作为输出向量,定义期望输出向量如表2所示。
2.1遗传神经网络建立优化步骤
2.1.1确定Bp神经网络结构Kolmogorov证明,由输入层、隐含层和输出层组成的三层神经网络可以逼近任何复杂函数。所以本文选择建立三层的Bp神经网络模型,网络中传递函数采用logsig函数和purelin函数。输入层节点根据特征参数确定;输出层有4个节点,对应轴承状态;隐含层根据经验公式(1)计算,并经多次试算确定为8。n=+k(1)
其中:ni为输入层节点数;no为输出层节点数;nh隐含层节点数,k为1～10之间的常数。
2.1.2编码方案的选择遗传算法优化Bp神经网络之前,必须对Bp网络的初始权值和阈值进行编码。常用的编码方式有二进制编码和实数编码两种。为了取得较满意的结果,本文采用了实数编码的方法[7]。将Bp神经网络的每个连接权值和阀值都用一个实数表示,一个网络的权值和阀值用一组实数来表达,每组实数由4部分组成(输入层与隐含层的连接权值,隐含层的阀值,隐含层与输出层的连接权值,输出层的阀值)。所以,对于一个4-8-4的三层网络,它的权值数为8×4+4×8=64个,阀值数为8+4=12个。所以遗传算法个体编码长度为64+12=76,也就是说共有76个参数需要优化。
2.1.3初始种群的产生种群规模的大小与遗传算法的迭代次数和染色体长度都有关系。种群规模越大,计算次数就越多,收敛就越慢;规模太小又会使染色体得不到充分的交叉和变异,得到的结果一般不是很好,可能过早收敛到局部最优解。根据经验,变量较少时,种群规模为30～50,变量较多时,种群规模为100～2000,本文取50。
2.1.4适应度函数计算在遗传算法中,适应度较高的个体遗传到下一代的概率相对较大。在遗传算法优化Bp神经网络过程中,通常选取前向计算网络的输出误差平方和的倒数作为适应度函数:
F==(2)
其中:t、y分别为目标期望输出与实际输出;e为误差平方和;F为第i个染色体的适应度。
2.1.5遗传操作的设计
①选择。选取适应度最好的个体替换适应度最差的个体,然后根据赌法选择新一代个体。其选择概率按照式(3)计算。
p=f/f(3)
其中,f表示种群中第i个染色体的适应度值,f表示种群的适应度值总和,n表示染色体的数目。
②交叉。由于采用实数编码,所以交叉操作方法采用算术交叉法,第k个染色体ak和第l个染色体al在j位的交叉操作方法如下:
akj=akj(1-b)+aijb(4)
alj=alj(1-b)+akjb(5)
式中b是[0,1]间的随机数。
③变异。变异算子也是产生新个体的一种方法,它的主要作用是增强种群的多样性,避免陷入局部最优。对于Bp神经网络初始权值和阈值的优化,通常采用非均匀变异算子。
2.1.6优化Bp神经网络模型的建立最后,得到一组最优的权值和阈值,把它作为Bp神经网络的初始权值和阈值,然后再进行Bp神经网络算法实现,训练模型并进行测试。
2.2结果分析比较
从图1可以看出,网络进化的前20代迅速收敛,进化到60代趋于稳定,接近全局最优。
图2则显示了遗传算法优化网络的权值、阈值所生成的种群最优适应度值随进化代数变化的演化情况。
将Ga寻优后的权值和阈值输入Bp网络进行训练,训练次数为2000次,目标误差设定为1e-3。如图3所示:经过21次训练迭代以后,网络误差为5.4375e-006,小于目标误差0.001,远远超出了指定的精度,训练停止。与传统的Bp网络比较,曲线更为平缓,误差精度更高,训练得到较大改善。
3结束语
机械故障诊断领域是人工神经网络的重要应用领域之一,利用遗传算法来优化Bp神经网络的初始权值和阈值以达到改进Bp算法的目的,从实践结果看,该方法能够有效弥补Bp神经网络的缺点与不足,适用于机械故障诊断。
参考文献:
[1]钟秉林,黄仁.机械故障诊断学(第2版)[m].北京:机械工业出版社,2005.
[2]张良均,曹晶,蒋世忠.神经网络实用教程[m].北京:机械工业出版社,2008.
[3]张磊,尹文龙,张颔.基于遗传算法的Bp网络的优化设计方法[J].科学技术与工程,2008,14(8):3770-3772.
[4]niYX,ShenCm,etal.anovelannFaultDiagnosisSystemsUsingDualGaLoopinanntraining[C].2000ieeepowerengineeringsocietysummermeeting,2000.
[5]CuptaJnD,SextonRS.Comparingbackpropagationwithageneticalgorithmforneuralnetworktraining[J].omega,theinternationalJournalofmanagementScience,1999.
神经网络的优化方法篇4
【关键词】人工鱼群算法；Bp神经网络；时间序列；预测
1.引言
时间序列是由一个低维的具有非线性和确定性的动态系统产生的外表象随机信号但并非是随机信号的时间序列，这些序列中存在着一些与产生该序列的非线性动力学系统相关的固有的确定性和一些几何拓扑不变性。预测是人们根据事物的发展规律、历史和现状，分析影响其变化的因素，对其发展前景和趋势预先进行的一种推测。对于现实中大量存在的非线性、非平稳的复杂动力系统问题，需要确定合适的模型阶数，这是比较困难的，为了更好地解决这一困难，本论文通过建立在对人工鱼群算法和Bp神经网络算法的掌握及应用在时间序列预测上，提出了基于人工鱼群算法和Bp神经网络算法的时间序列预测系统模型[1]。
2.基于人工鱼群算法和Bp神经网络的时间序列预测模型介绍
2.1方法的引出
无论是在自然科学，还是在社会科学领域的实际工作者和研究人员都要和一系列的观测数据打交道，这些观测数据随时间变化而相互关联，其排列顺序与大小体现了不同时刻的观测值之间的相互联系，观测值之间的这种依赖关系或相关性，表征了产生这些数据的现象、过程或系统的某些时间变化特征和规律。我们把这些按照时间顺序产生和排列的观测数据序列称为时间序列。从系统意义上看，时间序列就是某一系统在不同时间（地点、条件等）的响应。在时间序列预测中，Bp神经网络是最常使用的网络。Bp网络是一种非线性神经网络，RobertHechtnielson已证明只有一个隐层的神经网络，只要隐节点足够多，就可以以任意精度逼近一个非线性函数[2]。
但是神经网络方法有它的缺点，比如：
（1）计算速度慢（计算量大，学习算法不成熟，不同的算法针对不同的问题收敛才快些）。
（2）输入信号与训练信号相差加大时，可能导致结果完全错误（不同的区域可能有不同的极值）。
因此可以将人工鱼群算法与Bp神经网络相结合。人工鱼群（artificialFish-swarmalgorithm，aFSa）是一种基于模拟鱼群行为的优化算法，是由李晓磊等于2002年提出的一种新型的寻优算法。aFSa是一种新型的思路，从具体的实施算法到总体的设计理念，都不同于传统的设计和解决方法，但同时它又能与传统方法相融合。因此，aFSa自提出以来，得到了国内外学者的广泛关注，对算法的研究应用已经渗透到多个应用领域，并由解决一维静态优化问题发展到解决多维动态组合优化问题。aFSa己经成为交叉学科中一个非常活跃的前沿性研究问题[3]。
在基本人工鱼群算法（aFSa）中，主要是利用了鱼群的觅食、聚群和追尾行为，从构造单条鱼的底层行为做起，通过鱼群中各个体的局部寻优，达到全局最优值在群体中突现出来的目的。从目前对人工鱼群算法的研究来看，绝大部分集中在如何应用aFSa解决实际问题。通过深入研究和实践发现，aFSa虽然具有很多优良的特性，但它本身也还是存在一些问题，如随着人工鱼数目的增多，将会需求更多的存储空间，也会造成计算量的增长[4]；对精确解的获取能力不够，只能得到系统的满意解域；当寻优的区域较大，或处于变化平坦的区域时，收敛到全局最优解的速度变慢，搜索效率劣化；算法一般在优化初期具有较快的收敛性，而后期却往往收敛较慢。这些算法本身存在的问题，在一定程度上也影响了算法的实际应用[5]。
在当今已经有许多的研究方向，首先采用人工鱼群算法拟合时间序列并求出大量的数据训练神经网络，弥补了历史数据缺乏的问题；然后用训练好的神经网络代替传统的最小二乘法拟合时间序列因素，从而求出预测值。仿真结果表明，此模型能够有效地改善模型的拟合能力并提高预测精度。为实现更好的预测，有时采用神经网络，但前馈神经网络结构难以确定，运用Bp算法时又极易陷入局部解。本文将改进人工鱼群算法与Bp算法相结合的iaFSa+Bp算法，实现了人工鱼群算法的全局搜索能力与Bp算法的局部寻优性能的互补结合。将所设计的神经网络利用matLaB/SimULinK进行传感器控制系统的建模仿真实验结果表明，该算法具有良好辨识效果[6]。
2.2方法的计算流程与实施步骤
由于Bp神经网络存在对初始参数要求高、学习收敛速度慢，网络性能差，优化权值时容易陷入局部极小值等缺陷。而人工鱼群算法具有对初值和参数要求不高，克服局部极值、更好地协调全局和局部搜索能力等优点。因此，将人工鱼群算法与Bp算法相结合的混合算法训练人工神经网络，可实现两种算法的取长补短。
构造人工鱼个体模型是改进人工鱼群算法优化训练Bp神经网络关键，设人工鱼群规模为n，每个人工鱼看为一个前向神经网络，任意两人工鱼个体的和或差其中i，j∈{0，1，.，n—l}）仍看作不同神经网络：待寻优神经网络的参数设有权值矩阵和，其中为第i个隐层神经元与第j个输入神经元之间的权值，为第k个输出神经元与第i个隐层神经元之间的权值；阈值向量和，而为第i个隐层神经元的阈值，为第k个输出神经元的阈值；其参数也随着人工鱼的迭代进化而不断优化。
设神经网络的输入和输出节点分别为和，而网络隐层节点数一般取输入输出节点的平均值，以Sigmoid函数作为Bp网络的激励函数，根据前向网络计算算法求出相应每组输入样本的网络输出结果；把网络输出均方误差的倒数作为改进人工鱼群算法的适应函数（食物浓度）Y来指导人工鱼群的进化。通过人工鱼群算法的优化搜索来训练神经网络的权值和阈值，当神经网络输出均方误差指标达到最小时，搜索出就是最优Bp网络，而该网络相应的权值和阈值等参数也是最佳的。其算法的适应函数表示如下：
式中：参数n，p，，分别为训练样本总数，网络输出神经元的个数，第i个样本的第j个网络输出的目标值，第i个样本依据输入计算出的第j个网络输出的实际值。
基于人工鱼群算法的Bp网络训练算法流程如下：
步骤一：输入人工鱼群的群体规模，最大迭代次数，人工鱼的可视域，人工鱼的最大移动步长，拥挤度因子。
步骤二：设置初始迭代次数，在控制变量可行域内随机生成个人工鱼个体，形成初始鱼群，即产生组，，，且各个分量均为区间内的随机数。
步骤三：计算初始鱼群各人工鱼个体当前位置的食物浓度值，并比较大小，取为最大值者进入公告板，将此鱼赋值给公告板。
步骤四：各人工鱼分别模拟追尾行为和聚群行为，选择行动后值较大的行为实际执行，缺省行为方式为觅食行为。
步骤五：各人工鱼每行动一次后，检验自身的与公告板的，如果优于公告板，则以自身取代之。
步骤六：中止条件判断：判断是否已达到预置的最大迭代次数，若是，则输出计算结果（即公告板的值），否则，转步骤一。
基于人工鱼群算法和Bp神经网络的计算流程图如图1所示。
3.实例仿真分析
本论文对建立时间序列预测的Bp神经网络的过程加以规范化，建立了基于Bp神经网络的时间序列预测的通用方法，并通过实例来检验该时间序列预测模型的预测能力。matLaB神经网络工具箱给出了两种用于提高神经网络推广能力的方法，即正则化方法（Regularization）和提前停止（earlystopping）方法，本文的模型建立过程中，用到正则化方法，利用sim函数可以对训练后的网络进行仿真。sim函数的常用格式如下：
①[Y，pf，aLe，perf]=sim（net，p，pi，ai，t）
②[Y，pf，af，e，perf]=sim（net，{Q，tS}，pi，ai，t）
③[Y，pf，af，e，perf]=sim（net，Q，pi，ai，t）
在sim函数的调用形式①中，输入net为神经网络对象，p为网络输入，pi为输入延迟的初始状态，ai为层延迟的初始状态，t为目标矢量。在函数返回值中，Y为网络输出，pf为训练终止时的输入延迟的初始状态，af为训练终止时的层延迟状态，e为输出和目标矢量之间的误差，perf为神经网络的性能值。该函数中的p、t、pi、Y、e、pf和af等参量可以是单元数组或矩阵。sim函数的调用形式②③用于没有输入的神经网络，其中，Q为批处理数据的个数，tS为神经网络仿真的时间步数。此外，神经网络工具箱还提供了postreg函数，该函数可对训练后网络的实际输出（仿真输出）和目标输出做线性回归分析，以检验神经网络的训练效果。使用matLaB语言进行程序编写，实现基于Bp神经网络的时间序列预测模型，程序片断如图2所示。
根据2.2中提出的方法，在matLaB软件中对算法进行编程与实施，得到的仿真结果如图3所示。
其中，检测误差：SSe=8.0059e-004，rerror21=-0.0054。
4.结语
本文给出了基于人工鱼群算法的Bp神经网络的训练模型，并形成了一种新的Bp网络训练算法。从试验结果比较分析可见：
（1）该方法具有较好的收敛性、初值不敏感和参数不敏感等特点；
（2）算法具有较快的收敛速度，算法收敛过程有明显优势。
（3）算法用于对时间序列的预测，其结果表明是可行的。如何更好地将觅食、聚群和追尾三种优化行为，体现在算法的处理上，以便使运算更加简单，还需要进一步提高。
参考文献
[1]李晓磊，邵之江，钱积新.一种基于动物自治体的寻优模式：鱼群算法[J].系统工程理论与实践，2002，22（11）：32-38.
[2]张冬，明新国等.基于Bp神经网络和设备特性的工业设备备件需求预测[J].机械设计与研究，2010，26（1）：72-77.
[3]康进，刘敬伟.非参数回归估计与人工神经网络方法的预测效果比较[J].统计与决策，2009（23）：153-155.
[4]王西邓.人工鱼群算法的改进研究[D].西安：西安建筑科技大学，2007.
[5]李晓磊.一种新型的智能优化方法——人工鱼群算法[D].杭州：浙江大学，2003.
[6]魏崇辉，金福禄，何亚群.基于粗糙集和神经网络的空军航材消耗预测方法[J].东南大学学报（自然科学版），2004，34（Sup）：68-70.
神经网络的优化方法篇5
关键词：人脸检测；Bp网络；遗传算法；GaBp网络
中图分类号：tp183文献标识码：B文章编号：1004373X(2008)1615403
FaceDetectionBasedonGaBpneuralnetwork
JiaoLibao,penGYan,CHenChunlan
(SichuanUniversityofScience&engineering,Zigong,643000,China)
abstract：theconstringencyoftheconventionalBpneuralnetworkalgorithmistooslowandlocalconstringencyisnotideal,whicheffectworkingperformance.thelackaboveandfaceimagedatatoobig,anewmethodthatthefacedetectionmethodbasedonGaBpneuralnetworkisintroducedinthispaper.makingtheGeneticalgorithm(Ga)searchalgorithmisusedtotrainthenetworkwithupdatingtheweightstominimizetheerrorbetweenthenetworkoutputandthedesiredoutput.thentheBackpropagation(Bp)algorithmisusedtofurthertraintheartificialneuralnetworkusedforfacedetection.theexperimentindicatethisnetworkconvergencerateisnotonlyquick,moreovereasytoachievetheoptimalsolution.thisnetworkhasthehighdetectionprecisiontothefaceimagedetection.
Keywords：facedetection;Bpneuralnetwork;geneticalgorithm;GaBpneuralnetwork
1引言
人脸检测是图像处理和识别领域的一个重要研究的课题，具有广泛的应用价值，例如档案管理系统、人机交互、驾驶执照、身份证的识别检测，刑侦破案中犯罪嫌疑人照片的识别等，可以说人脸检测是一种重要的个人身份鉴别的方法。本文将神经网络和遗传算法有机的结合起来，建立了一种遗传神经网络，然后利用优化后的神经网络较好地解决人脸检测中往往存在的噪声、残缺和戴眼睛的人脸图像等。GaBp网络的应用于人脸检测具有检测速度快、检测精度高等特点。
2遗传算法对Bp网络的优化
2.1Bp神经网络的基本原理
Bp（Backpropagation，反向传播）网络是神经网络的一个分支，又称误差信号反馈网络［1］。误差反向传播的Bp算法简称Bp算法，其基本思想是有导师学习，可按梯度下降法实现快速收敛。典型的Bp网络是3层前馈阶层网络(如图1所示)，即输入层、隐含层（中间层）和输入层。一个3层的Bp网络可以完成任意的n维到m维的非线性映射。
图1Bp网络结构Bp算法的学习过程由正向传播和方向传播组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层，每层神经元（节点）的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转至方向传播，将误差信号（理想与实际输出之差）按连接通路反向计算，由梯度下降法调整各层神经元的权值，使误差信号减小。神经网络理论已经证明Bp网络具有强大的非线性映射的能力，一连续函数或映射均可采用3层网络加以实现。
假设训练集包含m个样本，中间层的单元数是L，对第p个训练样本（p=1，2，…，m），单元j的实际输出为opj，它的第i个输入为opi，则：Upj=∑ni=0wjiopj。
其中wji为神经元i与神经元j之间的连接权值。隐层神经元的输出采用S函数激发：opj=f(upj)=11+exp(－upj)；
误差性能指标函数为：e=∑pep;其中ep=12∑jdpj－opj.2；式中，dpj表示对p个训练样本，单元j的期望输出。训练网络的目的是找到一组权重，使误差函数极小化。根据梯度下降法，输出层及隐含层连接权值学习算法为：
若权值的变化量记为Δwij，取Δwij正比于－epwji，即Δwij=ηδpjopj；其中η为学习因子（可调整权值），令－epuji=δpj，则epwji=epupiupjwji=epujiopj=－δpjopj。用θi和φj分别表示输出单元和隐含层的阈值。其阈值变化分别记为Δθi和Δφj，г蜚兄滴：ИЕ泉i(n+1)=θi(n)+Δθi(n);
φj(n+1)=φj(n)+Δφj(n)И2.2GaBp网络
遗传算法Ga(Geneticalgorithm)是基于生物进化原理的一种具有鲁棒性的自适应优化方法［2］。遗传算法遵循通过基于问题样本适应度函数对初始群体选择、交叉和变异操作,来指导学习和确定搜索的方向。由于采用种群的方式组织搜索,所以它可以在全局解空间内的多个区域内寻求最优解［3］,而且特别适合大规模并行处理。对于Bp网络来说，也存在着不足，Bp算法从本质上讲属于梯度下降算法,因而不可避免的具有一些缺陷,如:易陷入局部极小点［4］、训练速度慢［5］等。还有初始随机加权的大小,会对局部最小部分产生很大的影响［6］。在优化问题中,如果目标函数是多峰的,或者搜索空间不规则，就要求所使用的算法必须具有高度的鲁棒性,以避免在局部最优解附近徘徊［7］。所以遗传算法和Bp网络的结合正好优劣互补。遗传算法和神经网络的结合对于寻求全局最优解其效果要优于单个的使用遗传算法或神经网络，为充分结合遗传算法和Bp神经网络的长处提出了Ga对Bp的优化,从而获得网络的最优设计的新方法。
由于遗传算法的搜索不依赖梯度信息,也不需要求解函数可微,只需要求解适应度函数在约束条件下可解。并且遗传算法具有全局搜索的特性,用遗传算法优化神经网络的连接权和网络结构,可以较好地克服Bp神经网络结构确定过程中所带来的网络振荡,以及网络极易陷入局部解问题,并且有效提高神经网络的泛化能力。因此,利用遗传算法全局性搜索的特点,寻找最为合适的网络连接权和网络结构的方法来改变Bp算法依赖梯度信息的指导,从而达到对网络结构和网络连接权值、阀值的最优配置。
通过使用Ga在由Bp网络初步确定的基本解空间上(网络连接权和神经元阀值的取值范围),通过对基因的选择,交叉变异操作。对样本个体不断择优进化,直至进化K(总的进化代数由初始时给定)代后,选取个体中适应度最大的个体来确定网络的结构和网络的权值和阀值。
GaBp优化算法步骤描述如下：
（1）确定网络结构；
（2）产生初始种群；
（3）输入训练样本；
（4）得到个体误差，计算适应度值；
（5）判断是否满足要求？是，则停止转入（6）；否，则继续训练，对网络进行优化，产生新的阈值和权值；
（6）得到Ga优化的网络。
从算法过程可以看出，Ga优化Bp网络目的是确定网络最优的权值和阈值，而在训练过程中就是要不断调整权值和阈值，直到总误差函数是满足条件，训练结束，其GaBp网络训练的流程图（如图2所示）。
图2GaBp优化算法训练流程3GaBp人脸检测
这里采用oRL人脸数据库进行仿真实验。剑桥olivetli实验室拍摄一系列人脸图像，共有40人，每人有不同的表情或不同视点的10幅图像，计400幅图像（图3为其中一些人脸样本）。这些图像为灰度图像，倾斜角一般不超过20°，这里在每个人的10幅图像中取5幅图像作为训练样本对本系统进行训练，并进行标准化，得到各点灰度值，送入GaBp网络训练，调整权值和阈值,直到误差足够小或迭代到一定的次数，当训练结束，将权值和阈值保存在文件中。在GaBp网络中，由于Bp网络中输出值与期望的输出值之间的误差平方和ep越小，则表示该网络性能越好，可以选择一种适应度函数：f(x)=1ep+1。
图3部分oRL人脸样本接下来将训练好的网络进行分类，装载权值和阈值文件。选择剩余的每个人5幅图像用来分类，进行标准化，送入GaBp网络进行检测。采用基于金字塔的子采样过程，具体过程如下：首先将灰度图像以1.2的比率重采样缩小，而在每一级尺度变化中，以25×25的窗口大小，从上而下，从左到右扫描图像，步长为2个像素，最后将该窗口内的625个像素点的灰度值送入已经训练好的GaBp网络进行人脸的判别，这个过程循环往复，直到尺度变化后的图象小于窗口大小为止。判别过程为：将数据输入GaBp网络后，获得2个输出output（0）和output（1），如果output（0）大于output（1）则判断为检测正确，如果output（0）小于output（1）则判断为检测错误，最后计算出检测精度，如图4所示。
图4GaBp人脸检测流程分别采用本文的算法和传统Bp算法，其识别结果为，如表1所示。
表1两种方法用于人脸检测的效果对比
网络类型收敛步数正确率传统Bp算法38189.5%GaBp算法23693．73%
对2种方法用于人脸检测的效果对比可以看出，基于GaBp网络的人脸检测方法与传统Bp网络的方法相比，检测率高出4个百分点左右。此外，GaBp优化的神经网络在训练过程中不断的调整权值和与阈值，输出网络最优的权值和阈值，使总误差函数
满足条件，训练结束。从而提高训练速度，避免了在局部最优解附近徘徊。因此它的学习速度很快，在同等条件下，传统的Bp网络收敛为381步，而GaBp优化后的网络仅为236步。
4结语
此文介绍一种GaBp神经网络的人脸检测算法,通过实验分析了该算法的性能。测试结果表明,该算法能明显提高检测精度,证明了遗传算法优化的Bp网络在人脸检测的实际应用中是可行的。
参考文献
［1］曾黄麟.智能计算［m］.重庆：重庆大学出版社，2004.
［2］GolderGD.GeneticalgorithmsinSearch,optimizationandmachineLeam［m］.London:addisonwesleypubishingCompanyinc,1990.
［3］Bhatnv,mcavoytJ.DeterminingmodelStructureforneuralmodelsbynetworkstripping［J］.ComputerandChem.engng.,1992,16(4):271281.
［4］潘昊,王晓勇,陈琼,等.基于遗传算法的Bp经网络技术的应用［J］.计算机应用,2005,25(12):27772779.
［5］李敏强,徐博艺,寇纪凇.遗传算法与神经网络的结合［J］.系统工程理论与实践,1999,(2):6569,112.
［6］樊为民.基于遗传算法的神经网络算法研究［J］.太原师范学院学报:自然科学版,2004,3(4):1417.
［7］李建珍.基于遗传算法的人工神经网络学习算法［J］.西北师范大学学报,2002,38(2):3337.
［8］陈耀明.小波变换在图像数据压缩中的应用\.现代电子技术,2007,30(6):136138.
作者简介焦利宝男，1983年出生，河南新乡人，硕士研究生。研究方向为人工智能控制及智能信息处理。
彭男，博士研究生,教授,硕士生导师。研究方向为主要从事计算机应用、人工智能与智能控制、专家系统方面的研究。
神经网络的优化方法篇6
[关键词]遗传神经网络电信业务收入预测
一、引言
电信业务预测是通信网络分阶段建设规划的前提条件，同时也是规划期电信业务量和收入估算的必要条件之一。预测方法的选择直接关系到预测目标的实现和预测结果的精确程度。近年来人工神经网络技术和遗传算法逐渐得到预测科学工作者的重视,误差反向传播(Bp)神经网络已经在预测领域中得到了广泛的应用，是一种由多个神经元以某种规则连接而形成的层次网络结构，其基本原理是这些神经元之间“相互协作”，它有许多优点，对不完全信，具有良好的适应性;对非线性输入输出关系的学习更具有优越性，其描述问题的能力很强。但是Bp算法是一种基于误差函数梯度下降的学习方法，学习过程收敛速度较慢；其次，Bp神经网络训练开始时初始权值是随机给定的，这对网络的训练效果也会有极大影响，甚至导致网络陷入局部最小点。
遗传算法(Ga)有很好的全局搜索能力，能从概率的意义上以随机的方式寻求到问题的最优解。但另一方面，遗传算法应用中容易产生早熟现象，局部寻优能力较差，而遗传算法与神经网络的结合可以发挥各自的优点。本文研究采用遗传神经网络应用到电信业务的训练中，结果表明该方法是可效的。
本文其它结构安排如下：第二部分为遗传神经网络模型的结构与算法介绍；第三部分为数据来源及实证结果分析；最后为本文结论。
二、遗传神经网络模型结构及算法
1.遗传神经网络模型结构
多层前向神经网络在经济领域中是被普遍运用的一种强有力的学习系统，系统结构简单易于编程。在其具体应用中，最重要的首先就是确定网络结构，而网络结构的关键在于隐含层及其结点数。研究表明，对于学习任何函数来讲，一个隐含层足够。因此一个三层前向神经网络可以逼近任意非线性函数。在前向神经网络结构中，如果采用误差反向传播算法(Backpropagation,Bp)来对网络结构的权系数进行学习，那就是我们通常所说的Bp神经网络模型。本研究中的遗传神经网络模型结构就是建立在一个三层前向神经网络基础之上，将遗传算法与神经网络有机地结合起来的一种混合模型。
网络的具体结构如图1
该网络分为三层：第一层为输入层，共有n个节点；第二层为隐含层，共有m个节点；第三层为输出层，有一个节点。网络的目标函数为，式中y为实际输出，Y为期望输出，ep为平方误差函数。
2.遗传神经网络模型的算法
在本模型算法当中，一种改进的遗传算法，被提出来优化模型结构的权值系数。该算法首先利用遗传算法善于发现最优解区域的特点同时，找出网络参数的最优初始值，然后再利用Bp算法的寻优能力来搜索模型参数的最优解空间。算法具体步骤如下：
步骤1：初始化
用遗传算法来优化神经网络，主要是优化神经网络中神经元之间的连接权，初始化种群p(t)。由于网络的连接权是实数，因此本算法采用实数编码方案，避免权重步进变化。网络隐含层转移函数为Sigmoid函数。在编码过程中，以神经网络的所有权值和阈值作为染色体的基因，各个基因组成染色体向量V=[v1,…vk,…vL],vK为染色体中的第k个基因。
步骤2：适应度计算及评价
根据适应度函数值对个体进行评价,对每个个体进行解码得到一个Bp神经网络输入样本,计算出神经网络的输出误差值e，选择适应度函数
(1）
（2）
式中，Ymk,Ymk分别为第m个训练样本的第k个输入节点的期望输出和实际输出。适应度f越高，表明误差平方和越小，就越接近性能要求。
步骤3：遗传操作
(1)选择与复制
保留群体中适应度最高的个体，它不参与交叉和变异运算,而直接将其复制到下一代。群体中的其他个体，采用赌选择法进行选择，这样适应度小的个体也有机会进入被保留。因此保证了群体中个体的多样性，防止算法落入局部最优。如果m个个体中的第i个个体的适应度为fi，则其被选中的概率为：
（3）
（2)交叉
由于权重系数采用实数编码，故本文采用算术交叉方式，以pc的概率对选择后的个体进行交叉。设在个体Xa和个体XB之间进行交叉,交叉算子为
（4）
（5）
式中:，为父代个体基因；,为子代个体基因，a为区间[0,1]上的随机数。两个个体在交叉点后的基因进行交换，从而产生两个新个体。
（3)变异
变异是对按变异概率pm(这里取0.05）选取的个体进行变异,然后随机选取一变异点,变异的基因安=a进行变异操作。若新产生的种群个体的最大适应度小于原种群个体的最大适应度,则用原种群适应度最大的个体替换新种群中适应度最大的个体。
步骤4：产生新种群
将新个体插入到种群p(t)中，产生新的种群p(t+1)，再把新种群个体的连接权赋予神经网络中，并计算新个体的适应度函数，若达到预定值εGa，则进入下一步，否则继续进行遗传操作。
步骤5再用Bp算法训练网络权值
达到所要求的性能指标或最大遗传代数后，将最终群体中的最优个体解码即可得到优化后的网络连接权系数。以Ga遗传出的优化初值作为Bp神经网络的初始权值，再用Bp算法训练直到误差平方和达到指定精度或达到设定的最大迭代次数，算法结束。
模型算法流程图见图2:
三、数据来源及实证结果
1.实验数据来源
本文采用遗传神经网络的方法对我国某地市的电信公司的业务收入进行预测。影响电信企业收入的因素可以分两大类：内部因素和外部因素;内部因素指由企业自身对收入造成影响的主要因素，如产品数量、投入成本、工程投资、固定资产、企业体制等。外部因素指当地经济发展指标、当地人口数量、相关法律法规、消费者偏好、竞争环境等。
2.网络结构确定
以1999年～2003年的数据来预测第2004～2005年的数据，取神经网络的输入层节点数为m=20个，输出量n为1个即电信业务收入，由经验公式:k=(m+n)+c结合试错法，可得隐含层节点数s1=14，输出层数s2=1。
因此建立的网络基本参数为:拓扑结构20－14－1；
3.遗传神经网络训练:
应用遗传操作（选择、交叉、变异）训练神经网络,产生新一代个体，淘汰父代个体，直至达到最大进化代数或者产生最优解。给定精度（εGa=0.005），经遗传优化训练后得到最终的初始权值和阈值。用遗传算法训练得到的初始权值和阈值建立Bp网络模型，并训练网络直至达到指定精度。
4.结果检验
用训练好的权值和阈值的遗传神经网络对2004年和2005年的电信业务进行预测,并将预测结果与一般Bp神经网络预测结果进行比较（见表2）：
从表2的结果可以看出，在建模样本相同下，基于遗传算法的Bp网络模型对两年独立样本的预报精度明显优于Bp网络模型,而且预报结果稳定，收敛速度快、精度高，并且克服了以往凭经验确定网络的拓扑结构的缺陷，提高了网络的精确性和泛化能力。
四、结论
本文为克服Bp神经网络模型所存在易于陷入局部最优解等缺陷而提出了结合遗传算法和神经网络的一种混合模型――遗传神经网络模型，并利用所设计的遗传神经网络模型，选择我国某地市的电信公司数据作为数据样本，对该公司的业务收入进行预测，并对比Bp神经网络模型，实证结果表明，遗传神经网络模型，相对Bp神经网络而言，其预测效率和准确率大大得到提高，在电信业务收入预测方面具有较好的应用前景。
参考文献：
[1]wanGQ,StoCKtonDJ,BaGULeYp.Usingneuralnetworksincostmodeldevelopmentprocess[C].procofthe16thnationalConfonmanufacturingResearch,UK:professionalengineering,2000:59～63
[2]SmitHae,maSonaK.Costestimationpredictivemodeling:regressionversusneural[J].engineeringeconomist,1997,42(2):137～161
[3]何芳陈收:基于扩展卡尔曼滤波的神经网络学习算法在股票预测中的应用[J].系统工程，2003，21(6):75～80
[4]周明孙树栋:遗传算法原理及应用[m].北京:国防工业出版社,2000:56～58
[5]JatomdernD.Gupta,SextonRS.Comparingback-propagationwithageneticalgorithmforneuralnetworktraining[J].omega,1999,(27);679～684
[6]穆阿华周绍磊刘青志:利用遗传算法改进Bp学习算法[J].计算机仿真,2005,22(2):150～156
[7]俞亭超:自适应遗传-人工神经元网络模型及在城市用水量预测中的应用研究[D].杭州:浙江大学,2001
[8]玄光男程润伟:遗传算法与工程优化[m].北京:清华大学出版社，2005
神经网络的优化方法篇7
关键词：电加热炉；Bp神经网络；piD控制
1基于Bp神经网络的piD控制
Bp算法是在导师指导下，适合于多层神经元网络的一种学习，它是建立在梯度下降法的基础上的。理论证明，含有一个隐含层的Bp网络可以实现以任意精度近似任何连续非线性函数。
Bp神经网络结构如图1所示，由三层(输人层、隐含层、输出层)网络组成，使输出层的神经元状态对应piD控制器的三个可调参数Kp、Ki、Kd。通过神经网络的自学习、加权系数调整使神经网络输出对应于某种最优控制律下的piD控制器参数。
基于Bp(Baekpropgation)网络的piD控制系统结构如图2所示，控制器由常规的piD控制器和神经网络两部分组成，常规piD控制器直接对被控对象进行闭环控制，并且其控制参数为Kp、Ki、Kd在线调整方式；神经网络根据系统的运行状态，调节piD控制器的参数，以期达到某种性能指标的最优化，使输出层神经元的输出对应于piD控制器的三个可调参数Kp、Ki、Kd。通过神经网络的自学习、加权系数的调整，使神经网络输出对应于某种最优控制规律下的piD控制器参数。
2改进型Bp神经网络
基本Bp神经网络主要存在以下两个缺陷：其一，传统Bp网络是一个非线形优化问题，不可避免的存在局部极小问题。网络的权值和阀值沿局部改善的方向不断修正，力图达到使误差函数最小化的全局解，但实际上常得到的是局部最优点；其二，学习过程中，误差函数下降慢，学习速度缓，易出现一个长时间的误差坦区，即出现平台。
目前已有不少人对此提出改进的方法。如在修改权值中加入“动量项”，采用Catchy误差估计器代替传统的LmS误差估计器等。本文在此探讨通过变
换梯度来加快网络训练的收敛速度的共轭梯度算法，利用这种算法改善收敛速度与收敛性能。改进共轭梯度算法在不增加算法复杂性的前提下可以提高收敛速度，并且可以沿共轭方向达到全局最优即全局极值点。它要求在算法进行过程中采用线性搜索，本文采用Fletcher-Reeves线性搜索方法，以保证算法的收敛速度。
将改进共轭梯度法应用于Bp网络的控制算法如下：
由于电加热炉是温度参数的定值控制，且存在干扰和对象参数变化的情况，为验证改进Bp神经网络piD控制的效果，分别对其跟踪设定值特性、及适应对象参数变化的能力进行仿真研究，并与基于传统Bp神经网络piD控制器的控制效果进行比较分析。图3为单位阶跃响应曲线，图4为过程对象单位阶跃响应曲线是在控制器参数不变的情况下改变对象G(S)参数的仿真结果。(注:以下各图中实线或“i”均表示改进Bp神经网络piD控制结果，虚线、点线或“t”表传统Bp神经网络piD控制器的控制结果;a、B、C分别表示G(S)三种参数变化了的模型)
从仿真结果看，改进Bp神经网络piD控制器比传统Bp神经网络piD控制器在控制性能上有了一定程度的提高，尤其是在系统稳定时间和抗干扰性方面的优化较为明显。这主要是因为在Bp算法中采用了改进共轭梯度法，加快了Bp算法的收敛速度，从而保证了系统稳定时间较短，又具有较好的泛化能力，因此，具有较强的抗干扰和适应参数变化的能力
4结论
改进共轭梯度Bp算法在不增加算法复杂度的情况下，通过梯度的共轭方向来寻求网络的全局最优值，从而避免网络陷入局部极小值。本文将其替代传统的Bp算法构造智能piD控制器，并进行了以电加热炉为模型的控制系统仿真。结果表明，这种改进算法能够有效提高网络的训练速度，改善网络的收敛性能，避免网络陷入局部极小值，取得了良好的控制性能。
参考文献
［1］陈巍，吴捷.具有辅助调节功能的递归神经网络自适应piD控制［J］.信息与控制，2000，29(5):461-470.
［2］李奇，李世华.一类神经网络智能piD控制算法的分析与改进［J］.控制与决策，1998，13(4):312-316.
［3］李士勇著.模糊控制、神经控制和智能控制论［m］.哈尔滨:哈尔并工业大学出版社，1996.
［4］高隽.人工神经网络原理及仿真实例［m］.北京:机械工业出版社，2003，7-20.
神经网络的优化方法篇8
目前国内外常用的信息安全风险评价模型主要由层次分析法(aHp)、基于概率统计的aLe算法，模糊综合评价法等，也取得了一定的研究成果。但上述算法的基本思想是基于线性映射和概率密度分布的，即各风险指标与最终评价结果之间存在着线性关系[2]。然而，这种关系的存在是否科学至今也没有得到准确的答复，同时这些方法在实施时虽然给出了定量计算的算法，但操作较为繁琐，难以达到快速识别的要求。目前应用较广泛的Bp神经网络评价算法存在着网络参数难确定、收敛速度较慢且易陷入极小值等问题。为了解决上述问题，本文应用鱼群算法对Bp神经网络进行了改进，结合信息安全评价实例进行了测试，并将测试数据与标准Bp神经网络进行了比较与分析，取得了理想的结果。
一、信息安全的概念
所谓的信息安全评估指的是通过分析信息系统所包含的资产总值、识别系统本身的防御机制以及所受到的危险性系数，利用数学模型综合判断出系统当前的风险值。信息安全风险评估主要包括三方面的内容，分别是资产总值识别、外部威胁识别以及脆弱性识别。资产总值识别是为了识别出系统所涉及的资产总值，外部威胁识别指的是识别当前状态下系统受攻击或威胁的程度，而脆弱性识别指的是系统自身的脆弱性程度。其中综合考虑外部威胁以及内部脆弱性可以得出发生风险事件的危害性，而自然总值识别再加上脆弱性识别就可以得到系统的易损性，基于上述过程可以得到信息安全系统的风险值。
二、基本Bp神经网络算法
Bp神经网络算法是一种采用误差反向传播的多层前馈感知器。其特点是具有分布式的信息存储方式，能进行大规模并行处理，并具有较强的自学习及自适应能力。Bp网络由输入层(感知单元)、计算层(隐藏层)、输出层三部分组成。输入层神经元首先将输入信息向前传递至隐含层节点，经过激活函数预处理后，隐层节点再将输出信息传送至输出层得到结果输出。输入层与输出层节点的个数取决于输入、输出向量的维数，隐含层节点个数目前并没有统一的标准进行参考，需通过反复试错来确定。根据Kolmogorov定理，具有一个隐层的三层Bp神经网络能在闭集上以任意精度逼近任意非线性连续函数，所以本文选择单隐层的Bp神经网络。
三、人工鱼群算法
3.1基本原理
通过对鱼类觅食的观察可知，鱼类一般能自行或者尾随其他同伴找到食物数量相对充足的地方。因此，一般鱼类数量较多的地区即为食物相对充足的区域。人工鱼群算法是指通过长期对鱼类觅食行为的观察，构造人工鱼来模拟鱼类的觅食、群聚、尾随以及随机行为，从而完成全局最优值的寻找。算法所包含的基本过程如下：
觅食行为：鱼类会利用视觉或嗅觉来感知水中食物浓度的高低，以此来选择觅食的路线。
聚群行为：鱼类一般会以群体形式进行觅食，以此来躲避天敌的伤害并以最大概率获得准确的觅食路线。
尾随行为：当群体中的某条鱼或几条鱼寻找到食物后，其附近的其他同伴会立刻尾随而来，其他更远处的鱼也会相继游过来。
随机行为：鱼在水中的活动是不受外界支配的，基本上处于随机状态，这种随机性有利于鱼类更大范围的寻找食物及同伴。
3.2鱼群算法优化Bp神经网络的原理
Bp神经网络在求解最优化问题时容易陷入局部极值，并且网络的收敛速度较慢。鱼群算法通过设定人工鱼个体，模拟鱼群在水中的觅食、尾随和群聚行为，通过个体的局部寻优，最终实
现全局寻优。人工鱼在不断感知周围环境状况及
同伴状态后，集结在几个局部最优点处，而值较大的最优点附近一般会汇集较多的人工鱼，这有
助于判断并实现全局最优值的获取。因此用人工鱼群算法来优化Bp神经网络是一种合理的尝试。
3.3具体工作步骤
人工鱼群算法用于优化神经网络时的具体步骤如下：
①设定Bp神经网络结构，确定隐层节点数目;
②设定人工鱼参数，主要包括个体间距离、有效视线范围以及移动步长等;
③人工鱼进行觅食、群聚及尾随行为来优化Bp神经网络;
④通过设定的状态参量，判断是否达到目标精度;
⑤若达到精度要求则输出网络优化权值，并执行网络循环，否则继续改化参数进行优化;
⑥输出最终优化参数并进行计算机网络安全评价。
四、仿真实验
将信息安全风险评估常用的3项评价指标的分值作为Bp神经网络的输入，网络的期望输出只有一项，即安全综合评价分值。目前用于信息安全风险评价的数据还很少，本文采用文献[3]所列的15组典型信息安全单项指标评价数据，其中1-10项作为训练，11-15项用于仿真。通过实际实验分析，本文将权值调整参数α=0.1，阈值调整参数β=0.1，隐层神经元数目为6，学习精度ε=0.0001。网络经过2000次训练，收敛于所要求的误差，人工鱼群算法的相关参数：种群大小为39;可视域为0.8;最大移动步长为0.6;拥挤度因子为3.782。然后对检验样本及专家评价样本进行仿真，结果如表1所示。可以看出，鱼群神经网络得到的仿真结果与期望值之间的平均误差为0.001，而标准Bp神经网络为0.0052，所以鱼群神经网络的得到的仿真精度较高，取得了理想的实验结果。
五、结论
本文将鱼群算法和神经网络结合起来对信息安全评价进行了研究，得到了如下几个结论：
(1)基于鱼群算法优化后的Bp神经网络具有收敛速度快、拟合精度高等优点，克服了标准Bp神经网络收敛速度慢、容易陷入局部极小值的缺点。同时，优化算法编码过程简单，并具有较强的鲁棒性。
(2)本文采用的实验数据仅有15个，基于鱼群算法优化后的Bp神经网络精度有明显提高，避免了由于样本数量少造成的拟合精度低等缺点。
(3)通过将标准Bp神经网络算法与鱼群神经网络算法进行对比发现，后者的收敛速度明显加快并且自组织能力也有一定提高，在实际的工程建设中可以将其代替传统的Bp神经网络算法来进行信息安全的风险评估。
神经网络的优化方法篇9
abstract：intheviewoftheshortageofthewaveletneuralnetworkalgorithm，adaptadaptiveinertiaweightparticleSwarmoptimizationalgorithm（aiw-pSo）asastudyalgorithm，buildtheaiw-pSowaveletneuralnetworkmodeltopredicttheShanghaistockindex.，andmakeacomparisonbetweentheresultsofimprovedalgorithmpredictionmodelwithresultsoftraditionalwaveletneuralnetworkmodel.theresultsshowthattheaiw-pSowaveletneuralnetworkpredictionmodelhasbetterpredictionresultsontheShanghaiStockindex.
关键词：自适应惯性权重粒子群优化算法；小波神经网络；上证指数预测
Keywords：adaptiveinertiaweightparticleSwarmoptimization；waveletneuralnetwork；ShanghaiStockindexprediction
中图分类号：F832.5；F224文献标识码：a文章编号：1006-4311（2014）08-0006-03
0引言
股票市场预测是一个非线性函数值估计和外推问题，随着股市预测问题的复杂性增高，仅仅依靠传统的预测方法或是单一的人工智能模型已经不足以达到人们所期望的要求。近年来，学者们试图将多种股市预测技术结合，使它们优劣互补，从而达到更加理想的股市预测效果。殷光伟、蔺玉佩[1]应用小波理论对混沌模型预测的结果予以重构，实现对原始收益率的预测，结果有了更高的精度。王刚[2]等利用小波将股指数据进行去噪处理，然后利用Bp神经网络进行预测分析，试验结果精准度相对于Bp神经网络方法更高、效果更好。刘海珗[3]等将aR模型、RBF和GRnn神经网络模型进行比较，结果表明若神经网络选择恰当的学习算法时，对上证指数预测结果会更优越。肖冬荣等[4]采用pSo算法训练神经网络对股市进行预测，实证结果表明改进算法易实现且预测精度高。文献[5、6]提出了将遗传算法与Bp神经网络相结合对股市价格进行预测，实证仿真结果证实该改进模型的优越性。Yoshinori[7]等将小波系数作为特征量输入于多阶段模糊推理系统中，并价格涨落进行预测。taeksoo[8]等利用遗传算法和神经网络将小波系数加权后作为特征量预测汇率，效果同样相对较好。而随着小波神经网络快速发展，这些年来其优越的性能使其得到了广泛的应用，但其学习算法的一些缺陷对其在股市预测中的应用得到了限制。而本文所提出的一种自适应粒子群优化算法寻优等能力突出、简单易实现等优势会克服原有缺陷，而将aiw-pSo算法与小波神经网络结合后的新技术将会成为一种全新的、更优越的股票市场预测方法。
1自适应惯性权重粒子群优化算法
自从粒子群算法被提出以来不少学者也是提出各种各样的改进算法来克服其收敛快、容易陷入局部极小值等缺点。如通过产生多子群、增加自适应变异、鱼群算法中聚群行为、混沌理论等去改进粒子群，但在这么多改进算法中必然会存在一些如相互结合的算法之间的性能相互抵消及相互影响等情况，从而导致改进算法在做预测时的结果出现一种“假”的精度高等现象。故本文结合文献[9、10]中所提出的一种自适应惯性权重粒子群优化算法，选择该方法作为小波神经网络的学习算法，来指导小波神经网络的模型拟合。
由pSo算法的基本原理中粒子的位置和速度方程可知，其中ω是为非负数的惯性权重，它使粒子保持运动惯性，使其具有扩展收缩空间的趋势，有助于新区域的搜索。设ωmax为最大惯性权重，ωmin为最小惯性权重，k为当前迭代次数，kmax为算法迭代总次数，则自适应惯性权重ω的方程如下：
ω=ωmax-k（ωmax-ωmin）/kmax
根据个体粒子的寻优能力，给出自适应惯性权重来调整全局搜索能力和局部开发能力。每一维每个粒子在每次迭代时都有不同的惯性权重，这对于提高收敛精度上有较好的效果。而实际应用中常将惯性因子ωmax和ωmin分别设为0.9和0.4。
2基于aiw-pSo小波神经网络预测模型
由上述aiw-pSo算法原理及算法流程，本小节试图将aiw-pSo算法的寻优机制作为学习策略添加到小波神经网络训练过程中，构建aiw-pSo小波神经网络，令小波神经网络和aiw-pSo算法相互取长补短。对于小波神经网络结构问题，输入层节点数为m，隐含层节点数为n，输出层节点数为k，则优化维度D=n×m+k×n+n+n。假设1：输入层到隐含层的权值矩阵为wkj，隐含层和输出层的权值矩阵wji；假设2：小波基函数平移系数bj，向量为B1=（b1，b2，…，bj）；小波基函数伸缩系数aj，向量为B2=（a1，a2，…，aj）；故单个粒子在维度上的顺序编码为包括以上假设1和假设2中的矩阵和向量中的所有元素的一行或一列的向量x=（w11，…，wkj，w11，…，wjib1，…，bj，a1，…，aj）。
优化单隐层小波神经网络结构的主要步骤和基本流程为：
步骤1：对小波神经网络的权值、小波基函数平移系数和伸缩系数进行结构编码，使其对应于aiw-pSo算法中的个体；
步骤2：将权值和小波基函数平移系数和伸缩系数的取值区间赋予aiw-pSo算法的种群，随机初始化种群；
步骤3：结合问题，设定网络类型、结构、小波基函数及初始化各项参数，生成新的网络模型；
步骤4：分别将种群的维度信息解码为网络模型各项参数，对网络进行仿真输出，计算均方误差mSe作为算法的适应度；
步骤5：按照aiw-pSo算法的寻优方式进行迭代，直到某一个体的适应度满足要求，或达到最大迭代步数则终止算法；
步骤6：将算法的最优解解码给小波神经网络，得到经过优化后的wnn模型，进行预测。
aiw-pSo算法训练小波神经网络模型的基本流程如图1所示。
3应用分析
股票指数时间序列是一个很不稳定的动态变化过程，其影响因素众多，其中包括如宏观、微观、政治、经济等因素。如何在上述众多的影响因素中选取主要影响指标作为上证指数预测模型的输入变量将会是一个十分关键的问题。根据文献中和现实股票市场情况，输出变量选为第t日的收盘价，而影响指标选取为上证指数第t-1日的开盘价、最低价、最高价、收盘价和交易量信息共五个。实验数据选取多少应看所预测的指数。过多会增加收集，过少则可能导致结果偏差。故本文所采集的数据是从2010年8月6日至2011年8月6日的一年的共243组上证指数序列，其中前195组用来训练，后48组用来预测。为了消除数据之间的影响，本文利用归一化函数将原始数据的序列归一化到[-1，1]之间，再利用反归一化函数将模拟结果还原到上证指数的时间序列。本文选取的wnn隐含层激励函数为最常用的具有良好的时频局部性的morlet小波，而各层神经元数根据预测的上证指数和影响指标个数设为：输入层为5，输出层为1。根据经验公式及反复测试后隐含层小波基函数个数取10，此时aiw-pSo算法中粒子维度D为80，粒子个数S=40，粒子个体参数初始为（-1，1）的数值，常数c1=c2=2，本文中常将粒子最大速度Vmax初始化为0.5，粒子位置的最大值Xmax确定为1，最大迭代次数kmax为500。
为了而体现改进算法预测的优越性，固将aiw-pSo小波神经网络预测模型与传统小波神经网络预测模型进行对比。两种预测模型程序在matlab2012a工具环境下分别进行5次测试，测试结果如表1所示。
由实验各项结果可知，基于小波神经网络的模型结果不太稳定，波动较大，mape值在1.53%-9.03%之间。为了体现aiw-pSo小波神经网络的优越性，在此我们取该模型最好的预测结果，即预测误差百分比mape为1.53%，此时训练样本的均方误差mSe指标为0.0163，测试样本的预测结果见图2。对于aiw-pSo小波神经网络预测模型预测结果来说，无论是在预测结果稳定性和预测精度方面都较小波神经网络有明显提高，5次测试中mape值都在0.99%-1.25%之间，足以说明该预测模型的优越性，测试样本的预测结果见图3。
4结语
用自适应惯性权重粒子群优化算法训练小波神经网络能够起到很好的网络权值和系数优化效果，而两种算法预测模型结果对比分析表明，本文所建立aiw-pSo小波神经网络预测模型无论是在测试mape、预测稳定性、预测精度上都相对传统小波神经网络优越。说明aiw-pSo小波神经网络预测模型具有更加优越的性能，将会是成为股市预测的一种新型混合算法预测工具。
参考文献：
[1]殷光伟，郑丕谔.基于小波与混沌集成的中国股票市场预测[J].系统工程理论方法应用，2004，13（6）：554-547.
[2]王刚，许晓兵.基于小波分析与神经网络时间序列的股票预测方法[J].金融经济，2013，4（12）：161-162.
[3]刘海珗，白艳萍.时间序列模型和神经网络模型在股票预测中的分析[J].数学的实践与认识，2011，3（2）：14-19.
[4]肖冬荣，杨子天.基于粒子群训练的神经网络股票预测模型[J].统计与决策，2009，12（2）：20-22.
[5]孟祥泽，刘新勇，车海平，袁著祉.基于遗传算法的模糊神经网络股市建模与预测[J].信息与控制，1997，13（10）：388-392.
[6]欧阳林群.Ga神经网络在证券市场预测中的应用研究[J].湖北武汉理工大学学报（信息与管理工程版），2006，28（11）：160-163.
[7]YoshinoriK，Shozo.t.predictionofStocktrendsbyUsingthewavelettransformandthemulti-stageFuzzyinferenleSystemoptimizedbytheGa[J].ieiCetramsFundamentals，2000，83（2）：357-366.
[8]taeksooS，ingooH.optimalsignalmulti-resolutionbygeneticalgorithmtoSupportartificialneuralnetworkforexchangerateforecasting[J].expertSystemwithapplications，2000，18（4）：257-269.
神经网络的优化方法篇10
【关键词】Ga-Bp神经网络；遗传算法；学习规则
1遗传算法基本原理
遗传算法（Geneticalgorithm，简称Ga），最初由美国michigan大学J.Holland教授于1975年提出，模拟达尔文生物进化论的自然选择，遵循“生存竞争、优胜劣汰、适者生存”的竞争机制和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法。Ga的特点是演算简单，并行搜索，直接对结构对象进行操作，不存在求导和函数连续性的限定，搜索效率高，不存在局部收敛问题。
遗传算法的基本操作有选择、交叉和变异。
（1）选择
选择不能创造出新的染色体，只能从旧种群中选择出优秀的个体，生物遗传基因的重组在自然界的生物进化过程中起着非常重要的核心作用。
（2）交叉
交叉是指把两个父代个体中的部分结构加以替换，重组而生成新的个体的操作。遗传操作的交叉算子在遗传算法中起着核心作用。交叉策略可分为单点交叉、多点交叉、均匀交叉等，最常用的交叉算子为单点交叉。
（3）变异
将变异引入遗传算法后，不但可以使遗传算法具有局部的随机搜索能力，又能使遗传算法维持群体的多样性，这样可以防止出现未成熟收敛现象，采用变异操作可以在尽可能大的空间中获得质量较高的优化解。
遗传算法中，交叉算子是因其全局搜索能力强而著称的主要算子，而变异算子是局部搜索能力较强辅助算子的。因为交叉和变异既相互配合又相互竞争，而使遗传算法能够既具有全局搜索能力，又具有局部的均衡能力。现在遗传算法的一个重要研究内容就是如何有效地配合使用交叉和变异操作。
（4）终止条件
当最优个体的适应度达到给定的阈值、或当最优个体的适应度和群体适应度不再上升、或者迭代的次数已经达到预先设定好的代数则算法终止。
2遗传算法在神经网络学习中的应用
目前，广泛研究的Bp算法比较适用于局部搜索，但问题是当网络用Bp算法进行学习时，学习的结果对初始权向量非常的敏感，所以会不可避免地出现一些不尽如人意的问题，如在具体的计算实施过程中，只能凭实验和经验来确定有关参数（如训练速率和惯性系数），假如采用不同的初始权向量可能导致完全不同的输出结果；或是极易陷人局部最小；再就是一旦取的值不合适，就会引起网络的振荡而不能收敛，即使能收敛也会因为收敛速度慢而导致训练时间过长，得不到最佳的权值分布。
解决这个问题可以采用遗传算法来优化Bp的连接权。先使用遗传算法Ga不断地对神经网络的连接权系数进行优化，直到这一代群体的进化状态停止。此时种群经过解码后得到一组参数组合，已经非常接近于最佳的参数组合，在最佳参数组合的基础上再利用Bp算法对它们进行精调操作，就能很快地得到最优解。具体的说，可以用遗传算法来取代一些传统的算法并用于确定神经网络的权重，为人工神经网络提供了非常好的途径，图1为遗传算法与神经网络的结合图。
图1遗传算法的一般流程
（1）产生初始种群――随机产生出一组数值分布，采用适当的编码方案对每个初始权值（或闽值）进行编码，从而构造出一个初始码链；
（2）计算出码链的误差函数后确定其函数的适应度值，一般的染色体的评价函数是运行后返回误差平方和的倒数，误差越大，则适应度会越小；
（3）选出若干最优个体（适应度函数值大）直接遗传给下一代；
（4）对当前一代群体再利用交叉、变异等遗传算子进行处理，直到产生下代群体；
（5）满足终止条件，则继续第6步，否则继续第2步；
（6）输出种群中适应度值最优的染色体作为最优解。
3基于Ga和nn的piD控制器结构形式及控制算法
将遗传算法、神经网络与piD控制相结合，利用Ga的全局搜索能力，对神经网络的权初值学习优化，提高了多层前向网络权系数的学习效率，减小了陷入局部解的可能性，快速地达到全局收敛；神经网络的自学习能力和逼近任意函数的能力，可在线调整piD参数，有效地控制较复杂的被控对象。
基于遗传算法和神经网络的piD控制器系统结构如图2所示。
图2基于Ga-Bp的自学习piD控制器
图2包括三个部分：一是经典的传统piD控制器，可以直接对数控交流伺服系统的位置环进行闭环控制；二是遗传算法Ga的寻优模块，对Bp神经网络的初始权值进行优化学习；三是前向Bp神经网络：可改变自身权系数，实现对piD控制参数的在线调整。
用遗传算法学习优化Bp网络连接权值，学习优（下转第82页）（上接第71页）化的算法为：
用遗传算法学习优化Bp网络的算法可总结如下：
（1）用w表示Bp网络初始权系数的个数，用x表示输入的初始权参数值，则可用x1，x2…xw表征w个x输入，用L表示二进制编码串的长度，则可组成一个w×L位长的二进制编码串，从而构成一个个染色体。
（2）利用解码公式xi=xmin+■yi（i=1，…，w）确定解码方法，切断1中建立的w×L位长的二进制编码，将w个L位长的二进制编码串转换为对之对应的十进制整数代码，记为yi（i=1，2，…，w）。
（3）确定适配函数：考虑到数控交流伺服控制系统的准确性、稳定性和快速性，以控制量、误差和上升时间为约束条件，若e（t）为系统误差，tu为上升时间，u（t）为控制器输出，w1，w2，w3，w4为权值，可定义式J=■w1e（t）+w2u2（t）+w4e（t）dt+w3tu作为参数选择的目标函数，为了防止控制能量过大，上式中引入了控制量u的平方项，w4在未出现超调时值为零，一旦产生超调，将超调量作为最优指标的一项，此时w4大于w1。
（4）交叉和变异。交叉和变异是遗传优化模块的基本操作，但并不是对所有的遗传算子进行交叉和变异，而只是以一定的概率进行。种群的规模和交叉变异的概率的选择对算法都会有较大的影响，交叉概率一般是从0.25到1之间。
4总结
本文将基于遗传算法和神经网络的piD控制方法应用于交流伺服系统，用Ga（遗传算法）优化Bp网络的初始连接权系数，得到一组接近最佳的Bp网络初始权值的参数组合，再通过Bp算法改变网络权值，实现piD参数的在线调整。
【参考文献】
[1]王璞，刘明利.基于题型和知识点的遗传组卷算法的应用[J].科技信息，2010（24）：18-19.
[2]武飞周，薛源.智能算法综述[J].工程地质计算机应用，2005（2）：25-27.
[3]刘双印，徐龙琴，沈玉利.改进小生境遗传算法在元搜索引擎调度优化中的研究[J].重庆师范大学学报：自然科学版，2008（3）：38-40.