神经网络学习方法篇1
Columbia,Canada
machineLearningmethods
intheenvironmental
Sciences
2009,349pp.
Hardcover
iSBn:9780521791922
williamw.Hsieh著
机器学习是计算机智能(也叫人工智能)的一个主要的子领域。它的主要目标就是利用计算的方法从数据中提取信息。神经网络方法,一般被认为是机器学习研究中的第一次突破,它自上世纪80年代以来开始流行,而核方法是在上世纪90年代后半期作为机器学习研究的第二波高潮而到来的。本书对于机器学习方法和它在环境科学中的应用给出了统一的处理。
机器学习方法进入环境科学是在上世纪90年代。已经大量地应用于卫星数据的处理、大气环流模型、天气和气象预报、空气质量预报、环境数据的分析和建模、海洋和水文预报、生态建模、以及雪灾冰川和森林监测等领域。
书中第1-3章主要是为学生们而写的背景性资料,包括在环境科学中应用的标准统计方法。1.主要介绍了概率分布的基本意义、随机变量的平均值与方差、分析两变量关系的相关与回归分析方法等基本统计概念;2.回顾了主成份分析的方法和它的一些变化,以及经典相关分析方法;3.引入了基于时间序列数据的分析方法,如奇异谱分析(SSa)、主振荡型分析(pop)等。
第4-12章为那些标准的线性统计方法提供了有力的非线性转化。4.关于前馈神经网络模型及其最普遍的代表――多层感知哭模型(mLp模型),介绍了mLp模型的一些历史发展知识;5.为mLp神经网络模型所需要的非线性优化的内容;6.探索了几种能够使神经网络模型正确的学习并泛化的方法;7.是关于核方法内容。主要讨论了核方法的数据基础、主要思想以及它的一些缺点,并介绍了从神经网络到核方法的过渡;8.介绍了处理离散型数据的方法――非线性分类;9.介绍了两种核方法(支撑微量回归、SVR和高斯过程、Gp)和一种树方法(分类和回归树方法CaRt);10.关于非线性主成份分析的方法及相关的一些研究方法;11.系统地阐述了mLp和非线性经典相关分析(nLCCa)方法,并以热带太平洋气候变异性数据及它同中纬度气候变异的相关性为例加以说明;12.给出了大量机器学习方法在环境科学众多研究领域中的应用实例如遥感、海洋学、大气科学、水文学及生态学等。
作者williamw.Hsieh是英属哥伦比亚大学地球与海洋科学系及物理与天文学系的教授,主持大气科学项目。作者在环境科学中发展和应用机器学习方法中所做的先驱性工作在国际上享有很高的知名度。已在天气变化、机器学习、海洋学、大气科学和水文学等领域80多篇。
本书主要适用于研究生初期阶段或者高年级的本科生,而且对于那些致力于在各自的研究领域应用这些新方法的研究者和参与者们也是十分有价值的。
朱立峰,
博士后
(中国科学院动物学研究所)
神经网络学习方法篇2
关键词：强化学习；神经网络；马尔科夫决策过程；算法；应用
中图分类号：tp18文献标识码：a文章编号：1009-3044（2012）28-6782-05
在机器学习领域，大致可以将学习分为监督学习、非监督学习和强化学习三大类。强化学习以其在线学习能力和具有无导师制的自适应能力，因此被认为设计智能agent的核心技术之一。从20世纪80年代末开始，随着数学基础日益发展的支持，应用范围不断扩大，强化学习也就成为目前机器学习的研究热点之一。在研究过程中，随着各种方法、技术和算法大量应用于强化学习中，其缺陷和问题也就日渐显现出来，寻找一种更好的方式和算法来促进强化学习的发展和广泛应用，是研究人员探讨和研究的重点。因此，神经网络及其算法以其独特的泛化能力和存储能力成为众多研究人员重视的研究对象。
在此之前，已有大量研究者通过神经网络的特性来加强强化学习的效果及应用。张涛[2]等人利用将Q学习算法和神经网络中的Bp网络、S激活函数相结合，加上神经网络的泛化能力，不仅解决了倒立摆系统的一系列问题，而且还进一步提高了强化学习理论在实际控制系统的应用。林联明在神经网络的基础研究Sarsa强化算法，提出用Bp网络队列保存Saps，解决由于过大而带来的Q值表示问题[3]。强化学习理论在机器控制研究中也应用广泛。段勇在基于行为的移动机器人控制方法基础上，将模糊神经网络与强化学习理论相结合，构成模糊强化系统，解决了连续状态空间和动作空间的强化学习问题和复杂环境中的机器人导航问题[4]。由此可见，将神经网络与强化学习相结合，已经是现今强化学习研究的重点方向，也已经取得了颇丰的成果。但是，如何将神经网络和强化学习理论更好的融合，选择何种算法及模型，如何减少计算量和加快学习算法收敛速度，以此来推动强化学习理论研究更向前发展，解决更多的实际应用问题，这些依然还是待解决的研究课题之一。下面，根据本人对强化学习的研究，朋友给予的指导以及参照前人的研究成果，对基于神经网络的强化学习作个基本概述。
1强化学习
强化学习（reinforcement），又称再励学习或评价学习，它是重要的机器学习方法之一，在机器人控制、制造过程控制、任务调配及游戏中有着广泛的应用。
1.1定义
所谓强化学习就是智能agent从环境状态到行为映射的学习，并通过不断试错的方法选择最优行为策略，以使动作从环境中获得的累积奖赏值最大。
强化学习状态值函数有三个基本表达式，如下：
这三个状态的值函数或状态—动作对函数的值函数是用来表达目标函数，该目标函数是从长期的观点确定什么是最优的动作。其中[γ]为折扣因子，[rt]是agent从环境状态[st]到[st+1]转移后所接受到的奖赏值，其值可以为正，负或零。其中式（1）为无限折扣模型，即agent需要考虑未来h（[h∞]）步的奖赏，且在值函数以某种形式进行累积；式（2）为有限模型，也就是说agent只考虑未来h步的奖赏和。式（3）为平均奖赏模型，agent考虑其长期平均的奖赏值。最优策略可以由（4）式确定
1.2基本原理与一般结构
强化学习就是能够和环境进行交互的智能agent，通过怎样的学习选择能够达到其目标的最优动作。通俗的说，在agent与环境进行交互的过程中，每个行为动作都会获得特定的奖赏值。如果agent的某个行为策略导致环境正的奖赏值（强化信号），那么agent以后产生这个行为策略的趋势就会加强。agent的目标就是对每个离散的状态发现最优策略以期望的折扣奖赏和最大。
在上述定义中描述了强化学习的三个状态值或函数动作对函数来表达目标函数，可以求得最优策略（根据（4）式）。但是由于环境具有不确定性[5]，因此在策略[π]的作用下，状态[st]的值也可以写为
强化学习把学习看作试探评价过程，可用图1描述。强化学习选择一个动作作用于环境，环境受到作用后其状态会发生变化，从一个状态转换到另一个状态，同时产生一个强化信号反馈给agent，即奖惩值。agent接受到奖惩值和环境状态变化，进行学习更新，并根据奖惩值和环境当前状态选择下一个动作，选择的原则是使受到正强化（奖）的概率增大。选择的动作不仅影响立即强化值，而且影响环境下一时刻的状态及最终的强化值。
2神经网络
2.1神经网络概述
神经网络是指模拟人类大脑的神经系统的结构与功能，运用大量的处理部件，采用人工方式构造的一种网络系统。神经网络是一种非线性动力学系统，并且具有以分布式存储和并行协同处理的特点，其理论突破了传统的、串行处理的数字计算机的局限。尽管单个神经元的结构和功能比较简单，但是千千万万个神经元构成的神经网络系统所能表现的行为却是丰富多彩的。
单个神经元的模型如图2所示。
人工神经元模型由一组连接，一个加法器，一个激活函数组成。连接强度可由各连接上的值表示，权值为正表示激活，权值为负表示抑制；加法器用于求输入信号对神经元的相应突触加权之和。激活函数用于限制神经元输出振幅。
神经元还可以用如下公式表示
激活函数主要有阈值函数、分段线性函数、非线性转移函数三种主要形式。
一般来说，神经网络在系统中的工作方式是：接受外界环境的完全或者不完全的状态输入，并通过神经网络进行计算，输出强化系统所需的Q值或V值。人工神经网络是对人脑若干基本特性通过教学方法进行的抽象和模拟，是一种模仿人脑结构及功能的非线性信息处理系统。
2.2强化学习与神经网络的融合
经过研究发现，神经网络的众多优点，可以满足强化学习研究的需要。首先，由于神经网络模仿人的大脑，采用自适应算法，使得agent智能系统更能适应环境的变化。此外，神经网络具有较强的容错能力，这样可以根据对象的主要特征来进行较为精确的模式识别。最后，神经网络又有自学习，自组织能力和归纳能力的特点，不仅增强了agent对不确定环境的处理能力，而且保证了强化学习算法的收敛性。神经网络也有无导师学习机制，正好适用于强化学习。
强化学习和神经网络的融合重点在于如何运用神经网络多重特性，能够快速高效地促进agent智能系统经历强化学习后，选择一条最优行为策略来满足目标需求。强化学习的环境是不确定的，无法通过正例、反例告知采取何种行为。agent必须通过不断试错才能找到最优行为策略。但是在此过程中，会遇到许多问题，比如输出连续的动作空间问题，但可利用神经网络的泛化特征，实现了输出在一定范围内的连续动作空间值[2]。所以，简单的讲，将神经网络和强化学习相融合，主要是利用神经网络强大的存储能力和函数估计能力。目前，在函数估计强化学习研究上，神经网络是研究热点之一。
3马尔科夫决策过程
本文主要论述马尔科夫型环境下的强化学习，可以通过马尔科夫决策过程进行建模。下面给出其形式定义：
基本的pomDp由四个元组成：。S是指一个环境状态集，可以是有限的，可列的或者任意非空集；a为agent行为集合，用a（s）表示在状态s处可用的决策集；奖赏函数R（s，a）：[a×S]->Real；t：[a×S]->pD（S）；t（s，a，s'）为agent在状态s采用a动作使环境状态转移到s'的概率。
一个有限的马尔科夫决策过程有5元组成：；前四个元与上述是一致的，V为准则函数或者目标函数[3]，常用准则函数有期望折扣总报酬、期望总报酬和平均报酬等并且可以是状态值函数或状态-动作对值函数。
马尔科夫决策过程的本质是：当前的状态转变为另一个状态的概率和奖赏值只取决于当前的状态和选择的动作，与过去的动作和状态无关。所以，在马尔科夫环境下，已知状态转移概率函数t和奖赏函数R，可以借助于动态规划技术求解最优行为策略。
4改进的强化学习算法
到目前为止，强化学习领域提出的强化学习算法层出不穷，如Sutton提出的tD算法[6]，watkins提出的Q-Learning算法[7]，Rummery和niranjan于1994提出的Sarsa算法[8]，以及Dyna-Q学习算法[9]等。致力于这方面研究的研究人员，都在极力寻找一种既能保证收敛性，又能提高收敛速度的新型学习算法。本文主要在基于神经网络的特性，研究并提出改进的强化学习算法。
4.1基于模糊神经网络的Q（[λ]）学习算法
Q学习算法是强化学习领域重要的学习算法之一[7，10]，它利用函数Q（x，a）来表达与状态相对应的各个动作的评估。Q学习算法的基本内容为：
（1）任意初始化一个Q（x，a）
（2）初始化s
（3）从决策集中随即选择一个动作a
（4）采取动作策略a，观察[r，][s]'的值
（5）计算[Qs，aQs，a+αr+γmaxa'Qs'，a'-Qs，a]，（11）
（7）重复（2）-（6）步，直到s终结。
式（11）使用下一状态的估计来更新Q函数，称为一步Q学习。将tD（[λ]）的思想引入Q学习过程，形成一种增量式多步Q学习，简称Q（[λ]）学习[11]。步骤与Q算法类似，其计算公式如下：
如果[s=st，a=at]，则[Qst，at=Qst，at+αtγt+γtetst+at]；（12）
4.2基于Bp神经网络的Sarsa算法
描述如下：（1）H是用于保存最近访问的Q值，当满的时候送至神经网络训练。
如果表H已满，则利用H中的样本对网络进行训练，版本号自动增加1
若网络队列q也已满，则队尾元素出队，把新训练的神经网络入队q；
清空训练集；
该算法的主要贡献是引入神经网络队列保存大量的Q值表，从来降低了保存大量Q值所要花费大量的内存空间，更重要的是解决了单个神经网络“增量式”学习所带来的“遗忘”问题。
5强化学习应用
由于强化学习在算法和理论方面的研究越来越深入，在大空间、复杂非线性控制，机器人控制、组合优化和调度等领域呈现出良好的学习性能，使得强化学习在人工智能，控制系统，游戏以及优化调度等领域取得了若干的成功应用，而本文主要介绍基于神经网络的强化学习算法在某些领域的应用。
在非线性控制系统方面，张涛等人[2]将Bp网络运用于Q-Learning算法中，成功解决了连续状态空间的倒立摆平衡控制问题和连续状态空间输入、连续动作空间输出的问题，从而提高了强化学习算法的实际应用价值；在机器人控制方面，应用更为广泛，nelson[13]等人考虑了基于模糊逻辑和强化学习的智能机器人导航问题，并且段勇等人[4]基于该理论，成功地将模糊神经网络和强化学习结合起来，采用残差算法保证函数逼近的快速性和收敛性，有效地解决了复杂环境下机器人导航的问题。在游戏方面，tesauro采用三层Bp神经网络把棋盘上的棋子位置和棋手的获胜概率联系起来，通过训练取得了40盘比赛中只输一盘的好战绩[14]。在优化调度方面，主要包括车间作业调度，电梯调度以及网络路由选择等，RobertCrites等[15]将强化学习和前馈神经网络融合利用，以最终实验结果表明为依据，证明了该算法是目前高层建筑电梯调度算法中最优算法之一。
6结束语
本文将强化学习和神经网络相融合，介绍利用神经网络强大的存储能力、泛化能力及函数估计能力，可以解决强化学习领域遇到的连续状态和动作输入、输出的问题，学习状态空间过大的问题以及不确定环境处理的问题等。基于此，主要论述了三种神经网络和强化学习的改进算法，它们都综合了神经网络的特性。最后，简单介绍了目前基于神经网络的强化学习应用的成功实例。目前，利用神经网络进行强化学习依然是研究热点课题之一。
参考文献：
[1]高阳，陈世福，陆鑫.强化学习研究综述[J].自动化学报，2004，30（1）：86-100.
[2]张涛，吴汉生.基于神经网络的强化学习算法实现倒立摆控制[J].计算机仿真，2006，23（4）：298-300.
[3]林联明，王浩，王一雄.基于神经网络的Sarsa强化学习算法[J].计算机技术与发展，2006，16（1）：30-32.
[4]段勇，徐心如.基于模糊神经网络的强化学习及其在机器人导航中的应用[J].控制与决策，2007，22（5）：525-529.
[5]刘忠，李海红，刘全.强化学习算法研究[J].计算机工程与设计，2008，29（22）：5805-5809.
[6]SuttonRS.Learningtopredictbythemethodsoftemporaldifferences.machineLearning，1988，3：9-44.
[7]watkinsp.Dayan.Q-Learning.machineLearning，1992，8（3）：279-292.
[8]RummeryG，niranjanm.on-lineQ-Learningusingconnectionistsystems.technicalReportCUeD/F-inFenG/tR166，CambridgeUniversityengineeringDepartment，1994.
[9]SuttonRS，BartoaG，williamsR.ReinforcementLearningisdirectadaptiveoptionalcontrol.ieeeControlSystemsmanazine，1991，12（2）：19-22.
[10]SuttonRS，BartoaG.ReinforcementLearning：anintroduction[m].Cambridge：mitpress，1998.
[11]pengJ，Dayanp.Q-learning[J].machineLearning，1992，8（3）：279-292.
[12]KelleyHJ，Cliffem，LutzeFH.pursuit/evasioninorbit[J].JoftheastronauticalSciences，1981，29（3）：277-288.
[13]neLSonHC，YUnG.anintelligentmobilevehiclenavigatorbasedonfuzzylogicandreinforcementlearning[J].ieeetransonSystems，manandCybernetics，partB：Cybernetics，1999，29（2）：314-321.
神经网络学习方法篇3
摘要目前，神经计算及其应用已经渗透到多个学科，并在信号处理、智能控制、模式识别、机器视觉、非线性优化、自动目标识别、知识处理、遥感技术等领域取得了丰硕的成果。神经计算不仅是科学家的兴趣所在，还受到了各国政府和军队等权力部门的密切关注，世界上许多国家和地区的政府及工业界都十分关注并积极投资神经计算技术的研究，其进展不仅将促进科学和技术的进步，还会对各国的国力产生一定的影响。
本文针对神经计算中亟需解决的5个问题进行了研究，包括加快神经网络的学习速度、增强神经网络的可理解性、设计出易于使用的工程化神经计算方法、更好地模拟生物神经系统以及将神经计算与传统人工智能技术相结合。本文的创造性研究成果主要有：
(1)提出了一个快速神经分类器FaC和一个快速神经回归估计器FanRe，实验结果表明，这两个算法学习速度快、归纳能力强，在性能上明显优于目前常用的一些神经网络分类学习算法和回归估计算法。在此基础上，成功地将FaC应用于石油勘探岩性识别领域。
(2)提出了一个神经网络规则抽取算法StaRe，实验结果表明，StaRe可以从训练好的神经网络中抽取出保真度高、精确、简洁的符号规则，从而较好地增强神经网络的可理解性。在此基础上，提出了一个基于神经计算的分类规则挖掘框架neUCRUm，并成功地将其应用于台风预报领域。
(3)提出了一种基于遗传算法的选择性神经网络集成方法GaSen，实验结果表明，GaSen的性能优于目前常用的一些方法。设计了一种多视角神经网络集成方法VS，将神经网络集成应用于多视角人脸识别，不需进行偏转角度预估计就能取得很高的识别精度。设计了一种新型结论组合方法和一种二级集成结构，将神经网络集成应用于肺癌细胞识别，并嵌入到肺癌早期诊断系统LCDS中，大大降低了肺癌细胞的漏识率。
(4)针对前馈网络的单点断路故障，提出了一种基于遗传算法的进化容错神经网络方法eFanet，实验结果表明，该方法不仅可以进化出容错性好、泛化能力强的网络，还较好地保持了网络结构、训练算法与容错处理的独立性。针对前馈网络的多点断路故障，提出了一种三阶段方法t3，并将其应用于FaC网络，实验结果表明，t3方法可以较好地在网络容错能力与结构复杂度之间达成折衷。
(5)提出了一种结合决策树与前馈神经网络的混合决策树方法HDt，描述了树的生长算法和神经处理机制。对增量学习和构造性归纳进行了研究，界定了三种不同的增量学习问题的概念，并给出了HDt的增量学习和构造性归纳算法。实验结果表明，HDt及其增量学习、构造性归纳算法都具有很好的性能。此外，还成功地将HDt应用于情报软件故障诊断。
关键词：神经计算，神经网络，机器学习，快速学习，规则抽取，集成，容错神经网络，混合学习，增量学习，构造性归纳，决策树，知识获取，数据挖掘，遗传算法，进化计算，断路故障，人脸识别，计算机辅助医疗诊断，岩性识别，故障诊断
ContributiotoSeveraliuesofneuralComputing
neuralcomputinganditsalicatiohavealreadycomeintomanydisciplinesandachievedplentifulfruitsindiversifiedfields,includingsignalproceing,intelligentcontrolling,patternrecognition,machinevision,nonlinearoptimization,automatictargetidentification,knowledgeproceing,remoteseing,etc.ithasbecomenotonlythetastesofscientistsbutalsotheinterestsofgovernmentsandforces.thegovernmentsandindustrialcommunitiesofmanycountries/regioaresokeenonneuralcomputingtechniquesthattheyhaveinvestedalargeamountofmoneyoncorreondingresearch.thereforetheprogreofneuralcomputingwillnotonlypromotethedevelopmentofscienceandtechnologybutalsoinfluencethenationalpowers.
inthisdiertation,5problemsstandinginneedofsolutioareinvestigated,whichincludesexpeditingthelearningeedofneuralnetworks,improvingthecompreheibilityofneuralnetworks,designingengineeringneuralcomputingmethodsthatareeasytouse,simulatingbiologicalneuralsystemsmorebetterthanever,andcombiningneuralcomputingwithtraditionalartificialintelligencetechniques.themaincontributioofthisdiertationaresummarizedasfollows:
Firstly,afastneuralclaifiernamedFaCandafastneuralregreionestimatornamedFanReareproposed.experimentalresultsshowthatthosetwoalgorithmsthathavefastlearningabilityandstronggeneralizationabilityreectivelyoutperformsomeprevailingneuralclaificationalgorithmsandneuralregreionestimationalgorithmsatpresent.Besides,FaCissuccefullyaliedinlithologyidentificationofoilexploration.
Secondly,aneuralnetworkruleextractionalgorithmnamedStaReisproposed.experimentalresultsshowthatStaRecanextractaccurateandcompactsymbolicrulesthathavehighfidelity,sothatthecompreheibilityoftrainedneuralnetworksareimproved.additionally,aneuralcomputingbasedclaificationruleminingframeworknamedneUCRUmisproposedandsuccefullyaliedtotyphoonforecastingdomain.
thirdly,ageneticalgorithmbasedselectiveneuralnetworkeemblearoachnamedGaSenisproposed.experimentalresultsshowthatGaSenoutperformspopulareemblearoachesatpresent.then,aviewecificeemblearoachnamedVSisdevelopedtoalyneuralnetworkeembletoviewinvariantfacerecognition,whichhastheabilityofperforminghighqualityrecognitionwithoutviewpre-estimation.moreover,bothanoveloutput-combiningmethodandauniquetwo-layer-eemblearchitecturearedesigned,sothatneuralnetworkeembleisembeddedinthelungcancerearlystagediagnosissystemLCDStoperformlungcancercellidentification,whichgreatlylowerstherateofmiedidentificationoflungcancercells.
Fourthly,ageneticalgorithmbasedaroachnamedeFanetthatevolvesfault-tolerantneuralnetworksforsingle-nodeopenfaultisproposed.experimentalresultsshowthateFanetcanevolveneuralnetworkswithbothrobustfault-tolerantabilityandstronggeneralizationabilitywhilekeepingtheindependenceamongnetworktopology,trainingalgorithm,andfault-tolerantproceing.Besides,athree-phrasearoachnamedt3isproposedformulti-nodeopenfault,whichhasbeenaliedtoFaC.experimentalresultsshowthatt3cantradeoffthefault-tolerantabilityandstructuralcomplexityoftheneuralnetwork.
神经网络学习方法篇4
【关键词】GpS；高程异常；Bp神经网络；拟合模型
ResearchonthemodelsofGpSHeightFittingBasedonBpneuralnetwork
LiYongquan
【abstract】internationalanddomesticmultifariouscontrolnetsinuseofGpS’spositioningtechniquesareonlytosolvethehorizontalcoordinates,buttheheightstillfollowtousethegeometricleveling.therefore,thebasictheoryofneuralnetworkandalgorithmofBparedescribed,DiscusstheproblemofGpSheightfittingbasedonBpneuralnetworkbytrials.Bpneuralnetworkisakindofnonlinearmappingforitsinputsandoutputs，Bpneuralnetworkisahighprecisemethodfortranslatingheight.
【Keywords】GpS；heightanomaly；backpropagationneuralnetworks；fittingmodels
1.引言
GpS平面定位的精度目前已经可以达到毫米级，但相对于平面定位精度，GpS在高程方面的定位精度较低。神经网络是一种高度自适应的非线性动力系统，神经网络的数学理论本质上是非线性数学理论，通过Bp神经网络学习可以得到输入和输出之间的高度非线性映射，因此，使用神经网络可以建立起输入和输出之间的非线性关系。Bp神经网络本身也是一种高精度的高程转换方法。
2.神经网络的模型及Bp算法
2.1神经网络的模型
（1）生物神经元模型。神经元模型是基于生物神经元的特点提出的，人脑由大量的生物神经元组成，神经元之间互相有连接，从而构成一个庞大而复杂的神经元网络。神经元是大脑处理信息的基本单元，结构如图1。神经元由细胞体、树突和轴突三部分组成，其中突触是神经元之间的连接。细胞体是由很多分子形成的综合体，内部含有细胞核、细胞质和细胞膜。细胞体的作用是接受和处理信息。树突是细胞体向外延伸的纤维体，是接受从其他神经元传入信息的入口。轴突是神经元的信息通道，是细胞体向外延伸最长、最粗的树枝纤维体，也叫神经纤维。（2）神经元模型。神经元一般表现为一个多输入（多个树突和细胞体与其他多个神经元轴突末梢突触连接）、单输出（每个神经元只有一个轴突作为输出通道）的非线性器件，通用的结构模型如图2所示。
(3）神经网络模型。神经网络的神经元之间的互连模式有前向网络、有反馈的前向网络、层内有相互结合的前向网络和相互结合型网络四种。
前向网络神经元分层排列，组成输入层、中间层（隐含层）和输出层。每一层的神经元只接受来自前一层神经元的输入，后面的层对前面的层没有信号反馈。输入模式经过各层次的顺序传播，最后在输出层上得到输出。目前对前向网络得出的一致的结论是：甚至是单中间层网络，只要隐节点数目足够多，前向网络就可以通过训练学习样本，以任意精度逼近(或表达)期望目标。
2.2神经网络Bp算法
(1）Bp（Backpropagation）网络模型结构。Bp网络的结构如图4所示，Bp网络具有三层或三层以上神经元的神经网络，包括输入层、中间层（隐层）和输出层。上下层之间实现全连接，而每层神经元之间没有连接。当一对学习样本提供给网络后，神经元的激活值从输入层经各中间层向输出层传播，在输出层的各神经元获得网络的输入响应。接下来，按照减少目标输出和实际输出之间的方向，从输出层反向经过各中间层回到输入层，从而逐层修正各连接权值，这种算法称为“误差反向传播算法”，即Bp算法。
（2）Bp算法的数学描述。Bp算法基本原理是利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。
Bp网络学习规则的指导思想是：对网络权值和阈值的修正要沿着表现函数下降最快的方向――负梯度方向。
xk+1=xk-akgk(1)
其中xk是当前的权值和阈值矩阵，gk是当前表现函数的梯度，ak是学习速率。
三层Bp网络，输入节点xi，中间层节点yi，输出节点zl。输入节点与中间层节点间的网络权值为wji，中间层节点与输出节点间的网络权值为vlj。当输出节点的期望值为tl时，模型计算公式如下。
中间层节点的输出：
yi=f(∑iwjixi-θj)=f(netj)(2)
输出节点的计算输出：
zl=f(∑jvljyj-θl)=f(netl)(3)
3.Bp神经网络用于GpS高程拟合
3.1山区高程异常拟合实例:以本溪GpS和水准资料作为样本来源，进行Bp高程异常拟合。
通过山区高程异常拟合实例，对数据分析可以得到如下结论，学习样本数与测试样本数之比在1/4之间时网络稳定性较好。高程拟合的精度与学习样本数量有关，学习样本数越多，拟合精度就越高。
3.2平原地区高程异常拟合实例:以某市D级GpS部分数据进行实验研究
通过平原地区高程异常拟合实例，对数据分析可以得到如下结论，学习样本数与测试样本数之比在1/3之间时网络稳定性较好。学习样本数对测试对象的精度也有着重要的影响，一般随着学习样本数的增多，中误差会有所改善。这主要是更多的学习样本就更能表述出所研究问题的一些基本特征，进而仿真的效果就能更好。
4.结束语
重点研究基于Bp神经网络的GpS高程异常拟合算法，详细介绍了人工神经网络基本理论，重点讨论了基于Bp神经网络的GpS高程拟合，包括Bp神经网络的基本原理、主要特点。分析了神经网络的Bp算法，包括其数学模型、网络结构。构造了基于Bp神经网络的GpS高程拟合模型，结合具体工程数据进行了神经网络性能分析。
参考文献
[1]国家测绘局测绘发展研究中心.测绘发展研究动态[R].北京：国家测绘局，2008，8：1-7
[2]李征航、黄劲松.GpS测量与数据处理[m].武汉：武汉大学出版社，2005，277-278
[3]曹先革.基于人工神经网络的GpS高程异常拟合方法研究[D]，北京：中国地质大学，2008
[4]徐绍铨．GpS高程拟合系统的研究[J]，武汉：武汉测绘科技大学学报，1999，24(4),11-15
[5]阎平凡.人工神经网络与模拟进化计算[m]，北京:清华大学出版社，2000，5-6
[6]徐丽娜.神经网络控制[m].哈尔滨：哈尔滨工业大学出版社，1999，1-40
神经网络学习方法篇5
用pCa-Bp神经网络模型对公路客运量进行预测，预测精度与收敛速度都不是很理想，为克服pCa-Bp神经网络算法存在的非线性逼近、迭代次数过多，易陷入局部极值等不足，提出将pCa-Bp神经网络模型与动态陡度因子、附加动量因子和动态调整学习率算法结合的方法，给出具体的网络学习方法，并结合实际调查数据进行对比测试，分析结果证明了改进型pCa-Bp神经网络模型对公路客运量预测有效性．
关键词:
pCa-Bp神经网络;动态陡度因子;动态调整学习率算法;客运量;预测
公路客运量预测属于复杂非线性系统问题，早期的预测方法主要有多元线性回归预测模型、自回归模型、自回归滑动平均模型、指数平滑预测模型等．Sherifishak等［1］应用实时数据分析和评价了几种交通客运量预测模型的效果;孙煦、陆化普［2］等对公路客运量预测难以建立精确预测模型的问题，引入基于蚁群优化的支持向量机算法对公路客运量进行预测．这些方法可以实现交通客运量的预测工作，但缺点是没有摆脱建立精确数学模型的困扰，其预测效果很大程度上取决于参数的选取，并且非线性拟合能力不突出．tung、Chrobok、Quek［3-5］等人采用神经网络模型进行预测，证明神经网络得到的结果的精确性较传统预测模型高．董春娇［6］等在传统的Bp(Backpropa-gation)神经络算法中有所改进，采用elman神经网络的交通流短时预测，通过在前馈网络的隐含层中增加一个承接层，作为延时算子使系统具有适应时变特性的能力．在公路客运量的预测方面，神经网络应用较多，但传统的Bp神经网络存在的非线性逼近、迭代次数过多，易陷入局部极值等不足，而且预测结果影响因素分析较少，对预测指标的选取没有进行全面充分的系统考虑．本文在pCa(principleComponentanalysis)与Bp神经网络相结合构成pCa-Bp网络模型的基础上，将动态陡度因子、附加动量因子和动态调整学习率等方法融入模型的运作过程，进一步完善算法，提出改进pCa-Bp神经网络模型，并将其运用到公路客运量的预测．
1pCa-Bp模型的基本原理
公路客运量受人口总数、区域经济发展水平、居民消费水平等多种因素影响．在用Bp神经网络进行模拟预测时，首先要确定对预测指标有影响的主要因素(即系统输入)．运用pCa-Bp神经网络模型可以实现减少输入变量个数，达到降维目的，并使其包含原输入变量群的绝大部分信息，从而提高神经网络的运行效率和预测精度．pCa-Bp神经网络模型流程见图1．
1．1pCa原理［7］在所有的线性组合中选取方差最大的p1为第一主成分．若p1不足以代表原来的m个指标的信息，则选取p2即第二个线性组合．
1．2Bp神经网络原理模型拓扑结构有三层，即输入层、隐含层和输出层，同一层的节点之间相互不关联，异层的神经元间前向连接．当一对样本学习模式提供网络后，神经元的激活值从输入层经中间层向输出层传播，在输出层各神经元获得网络的输入响应．之后，按减少希望输出与实际输出误差的方向，从输出层经各中间层逐层修正各连接权，最后到输入层．
2改进pCa-Bp神经网络模型的思想
本文基于pCa-Bp神经网络模型，采用动态陡度因子、附加动量因子和动态调整学习率算法，将网络模型进行优化，最后将降维的样本集合和优化的权值代入网络，在经过pCa-Bp神经网络训练之后，用检验样本集合对其进行检验．
2．1附加动量法传统Bp算法在调整权值时，只按照当前时刻的负梯度方向调整，没有考虑到以前各次运算中的梯度方向，导致新样本对迭代过程的影响太大，会导致数据训练过程中调整方向发生振荡，导致不稳定和收敛速度慢．附加动量的Bp算法［10］考虑了以前时刻的贡献，其权值迭代公式如下所示。
2．2动态调整学习率［8］传统Bp模型中，学习率是固定的．学习率对模型运算性能影响较大，动态的学习率可以改善训练算法的性能．学习率η与误差函数相关联，在网络的每一步学习过程中动态调整η的值，对不同的误差质的变化，每一步学习后学习率都进行相应的调整．
3改进pCa-Bp模型的预测流程
3．1网络初始化对所得的社会经济指标进行主成分分析，得出输入节点数与输出节点数m，n;采用经验公式确定节点数的上下限，隐节点数的上限作为初始隐节点数l．初始化输入层、隐含层和输出层各神经元间权值wij，wjk．隐含层阈值a，输出层阈值b;给定初始化的学习速率η;网络输入和输出为(X，Y)．
3．2计算隐含层输出根据给定的输入向量X，输入层和隐含层间连接权值wij以及隐含层阀值a，计算隐含层输出H.
4改进pCa-Bp模型在城市交通流预测中的实际应用
为验证模型预测效果，选取山东潍坊市1996年至2005年10个样本为学习样本，将2006至2012年7个样本作为检验样本，数据见表1．利用SpSS统计工具，对数据进行因子分析，根据实验和经验［11］，公式中的参数可以设定为a=1．05，b=0．7，ηmin=0．025;tmax=5000;q=0．85．选取特征值大于1的作为主成分，可以发现当取到3个主成分，其累积贡献率达86．26%＞80%，满足要求，即神经网络的输入节点为3个．将各个参数代入模型之后可以得出:p0=90，pmin=0．1．结果如表2、表3所示．经主成分分析，可以确定出神经网络的输入节点为3个，即:第一个主成分分数=0.208×总人口数－0.102×人均旅行次数－0.112×居民消费指数+0.202×居民消费水平+0.162×机动车保有量+0.212×地区生产总值+0.119×人口密度+0.217×消费总额;第二个主成分分数=0.241×总人口数+0.305×人均旅行次数+0.219×居民消费指数－0.210×居民消费水平－0.253×机动车保有量+0.249×地区生产总值－0.075×人口密度+0.253×消费总额;第三个主成分分数=－0．160×总人口数－0．090×人均旅行次数+0．840×居民消费指数+0．222×居民消费水平－0．097×机动车保有量－0．114×地区生产总值+0．651×人口密度－0.077×消费总额;运用matLaB等软件分别对传统pCa－Bp神经网络以及改进型pCa-Bp神经网络模型进行运算．后七年的公路客运量实际值与预测值数据比较见图3．从上述表格数据可知，改进型pCa-Bp模型的迭代次数2361次，准确率为88．91%比传统的pCa-Bp模型更为理想，预测效果较好．
5结论
神经网络学习方法篇6
关键词Bp神经网络；免疫遗传算法；模拟退火算法；线损
中图分类号：tm744文献标识码：a文章编号：1671-7597（2013）11-0000-00
线损是考核电力网运行部门一个重要经济指标，是电力网供售电过程中损失的电量。线损是技术线损与管理线损之和。对于技术线损则应控制在合理的范围以内，而管理线损要尽力减到最少。线损理论计算得到的电力网技术线损数值是电力网线损分析和指导降损的科学依据。线损计算是节能管理的重要工作。本文主要讨论Bp神经网络算法在配网线损计算中的应用。
1配网线损的计算方法
整个电力网电能损耗计算可以分解为如下元件的电能损耗计算，即35kV及以上电力网为35kV及以上交流线路及变压器的电能损耗计算；20kV配电网为20kV交流线路及公用配电变压器的电能损耗计算；10kV配电网为10kV交流线路及公用配电变压器的电能损耗计算；6kV配电网为6kV交流线路及公用配电变压器的电能损耗计算；0.4kV低压网为0.4kV及以下电力网的电能损耗计算；其它交流元件为并联电容器，并联电抗器，调相机，电压互感器，站用变等；高压直流输电系统：直流线路，接地极系统，换流站（换流变压器、换流阀、交流滤波器、平波电抗器、直流滤波器、并联电抗器、并联电容器和站用变压器）。
目前已有不少计算线损的方法，日均方根电流法应用较多，但它只是对35kV及以上电压的输电网络比较适用，而对于35kV以下的配电网，因为线段数、分支线路、配电变压器数量较多，使得其等值电路的节点数和元件数大大增加，需要花费大量的人、物力计算所需的运行资料，因此在实际应用中日均方根电流方法难以通用。回归分析方法在配网线损计算中也有较为广泛的应用，但该方法难于确定回归方程，对不同配网结构不具通用性，计算结果准确度不高。近年来，神经网络理论的发展与应用为配网理论线损计算提供了新的思路。
2Bp神经网络算法
人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。人工神经网络具有自组织、自学习、良好的容错性和非线性逼近能力，受到学界的关注。实际应用领域中，百分之八十至九十的人工神经网络模型采用了误差反传算法或者为其变化形式的网络模型，在这里简称为Bp网络，Bp网络目前主要应用在模式识别、分类、函数逼近和数据压缩或数据挖掘等方面。
Bp（Backpropagation）神经网络，由信息正向传播及误差反向传播两个过程构成，即误差反向传播算法的学习过程。输入层的每个神经元负责接收来自外界的输入信息，并传递给中间层的每个神经元；中间层是内部信息的处理层，负责信息变换；最后一个隐层传递到
输出层各神经元的信息成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；当输出层的实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。
Bp神经网络模型包括其输入输出模型、误差计算模型、作用函数模型和自学习模型。
2.1作用函数模型
作用函数是反映下层输入对上层节点刺激脉冲强度的函数，一般取为（0，1）内连续取值Sigmoid函数，即为：f（x）=1/（1+e）。
2.2节点输出模型
隐节点输出模型为oj=f（∑wij×Xi-qj），输出节点输出模型为Yk=f（∑tjk×oj-qk），其中f为非线形作用函数；q为神经单元阈值。
2.3误差计算模型
误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数：
ep=1/2×∑（tpi-opi），其中tpi-i节点的期望输出值；opi-i节点计算输出值。
2.4自学习模型
神经网络的学习过程，即连接上层节点之间和下层节点的权重矩阵wij的设定和误差修正过程。Bp网络有师学习方式（即需要设定期望值）和无师学习方式（即只需输入模式）之分。自学习模型为wij（n+1）=h×Фi×oj+a×wij（n），其中h为学习因子；Фi为输出节点i的计算误差；oj为输出节点j的计算输出；a为动量因子。
神经网络可以用作分类、聚类、预测等。神经网络需要有一定量的历史数据，通过历史数据的训练，网络可以学习到数据中隐含的知识。
3Bp神经网络算法在配网线损计算中的应用
基于免疫遗传算法（iGa）的Bp神经网络方法计算的理论线损是在遗传算法（Ga）的基础上引入生物免疫系统中的多样性保持机制和抗体浓度调节机制，有效地克服了Ga算法的搜索效率低、个体多样性差及早熟现象，提高了算法的收敛性能。为了解决Bp神经网络权值随机初始化带来的问题，用多样性模拟退火算法（sanD）进行神经网络权值初始化，该算法设计的Bp神经网络比混合遗传算法有更快收敛速度及较强的全局收敛性能，其准确度优于现有其它计算配电网理论线损的方法，预测精度在原有算法基础上有一定的提高，理论线损的计算结果与实际更加一致。改进后的算法核心是运用了神经网络的现有理论和结构，借鉴了免疫学原理和相关特性，定义了基于免疫学的基本运算规则和运算单元，用遗传算法实现了个体群在群体收敛性和个体多样性之间动态平衡的调整。
4小结
配电网线损是电力工业中一个重要的技术经济指标，准确简便的线损计算对于电力网络优化设计、提高电力系统运行的经济性、安全性及供电质量具有很强的导向作用。Bp神经网络算法有更快收敛速度及较强的全局收敛性能，其准确度优于现有其它计算配电网理论线损的方法，使得理论线损理论计算与实际更逼近。
参考文献
[1]李秀卿，汪海，许传伟，等.基于免疫遗传算法优化的神经网络配电网网损计算[J].电力系统保护与控制，2009，37（11）.
[2]甘德强，王锡凡，王小路.电力系统概率暂态稳定性的分析[J].中国电力，1994，27（4）：32，35.
[3]张健，刘怀东.输电线路概率安全性测度研究[J].电力系统及其自动化学报，2003，12：34，36.
神经网络学习方法篇7
[摘要]该文介绍了神经网络的发展、优点及其应用和发展动向，着重论述了神经网络目前的几个研究热点，即神经网络与遗传算法、灰色系统、专家系统、模糊控制、小波分析的结合。
[关键词]遗传算法灰色系统专家系统模糊控制小波分析
一、前言
神经网络最早的研究20世纪40年代心理学家mcculloch和数学家pitts合作提出的，他们提出的mp模型拉开了神经网络研究的序幕。神经网络的发展大致经过三个阶段：1947~1969年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如mp模型、HeBB学习规则和感知器等；1970~1986年为过渡期，这个期间神经网络研究经过了一个低潮，继续发展。在此期间，科学家们做了大量的工作，如Hopfield教授对网络引入能量函数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1984年，Hiton教授提出Boltzman机模型。1986年Kumelhart等人提出误差反向传播神经网络，简称Bp网络。目前，Bp网络已成为广泛使用的网络；1987年至今为发展期，在此期间，神经网络受到国际重视，各个国家都展开研究，形成神经网络发展的另一个高潮。神经网络具有以下优点：
(1)具有很强的鲁棒性和容错性，因为信息是分布贮于网络内的神经元中。
(2)并行处理方法，使得计算快速。
(3)自学习、自组织、自适应性，使得网络可以处理不确定或不知道的系统。
(4)可以充分逼近任意复杂的非线性关系。
(5)具有很强的信息综合能力，能同时处理定量和定性的信息，能很好地协调多种输入信息关系，适用于多信息融合和多媒体技术。
二、神经网络应用现状
神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下：
(1)图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。
(2)信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。
(3)模式识别。已成功应用于手写字符、汽车牌照、指纹和声音识别，还可用于目标的自动识别和定位、机器人传感器的图像识别以及地震信号的鉴别等。
(4)机器人控制。对机器人眼手系统位置进行协调控制，用于机械手的故障诊断及排除、智能自适应移动机器人的导航。
(5)卫生保健、医疗。比如通过训练自主组合的多层感知器可以区分正常心跳和非正常心跳、基于Bp网络的波形分类和特征提取在计算机临床诊断中的应用。
(6)焊接领域。国内外在参数选择、质量检验、质量预测和实时控制方面都有研究，部分成果已得到应用。
(7)经济。能对商品价格、股票价格和企业的可信度等进行短期预测。
(8)另外，在数据挖掘、电力系统、交通、军事、矿业、农业和气象等方面亦有应用。
三、神经网络发展趋势及研究热点
1.神经网络研究动向
神经网络虽已在许多领域应用中取得了广泛的成功，但其发展还不十分成熟，还有一些问题需进一步研究。
(1)神经计算的基础理论框架以及生理层面的研究仍需深入。这方面的工作虽然很困难，但为了神经计算的进一步发展却是非做不可的。
(2)除了传统的多层感知机、径向基函数网络、自组织特征映射网络、自适应谐振理论网络、模糊神经网络、循环神经网络之外，一些新的模型和结构很值得关注，例如最近兴起的脉冲神经网络(spikingneuralnetwork)和支持向量机(supportvectormachine)。
(3)神经计算技术与其他技术尤其是进化计算技术的结合以及由此而来的混合方法和混合系统，正成为一大研究热点。
(4)增强神经网络的可理解性是神经网络界需要解决的一个重要问题。这方面的工作在今后若干年中仍然会是神经计算和机器学习界的一个研究热点。
(5)神经网络的应用领域将不断扩大，在未来的几年中有望在一些领域取得更大的成功，特别是多媒体技术、医疗、金融、电力系统等领域。
2.研究热点
(1)神经网络与遗传算法的结合。遗传算法与神经网络的结合主要体现在以下几个方面：网络连接权重的进化训练；网络结构的进化计算；网络结构和连接权重的同时进化；训练算法的进化设计。基于进化计算的神经网络设计和实现已在众多领域得到应用，如模式识别、机器人控制、财政等，并取得了较传统神经网络更好的性能和结果。但从总体上看，这方面研究还处于初期阶段，理论方法有待于完善规范，应用研究有待于加强提高。神经网络与进化算法相结合的其他方式也有待于进一步研究和挖掘。
(2)神经网络与灰色系统的结合。灰色系统理论是一门极有生命力的系统科学理论，自1982年华中理工大学的邓聚龙教授提出灰色系统后迅速发展，以初步形成以灰色关联空间为基础的分析体系，以灰色模型为主体的模型体系，以灰色过程及其生存空间为基础与内的方法体系，以系统分析、建模、预测、决策、控制、评估为纲的技术体系。目前，国内外对灰色系统的理论和应用研究已经广泛开展，受到学者的普遍关注。灰色系统理论在在处理不确定性问题上有其独到之处，并能以系统的离散时序建立连续的时间模型，适合于解决无法用传统数字精确描述的复杂系统问题。
神经网络与灰色系统的结合方式有：(1)神经网络与灰色系统简单结合；(2)串联型结合；(3)用神经网络增强灰色系统；(4)用灰色网络辅助构造神经网络；(5)神经网络与灰色系统的完全融合。
(3)神经网络与专家系统的结合。基于神经网络与专家系统的混合系统的基本出发点立足于将复杂系统分解成各种功能子系统模块，各功能子系统模块分别由神经网络或专家系统实现。其研究的主要问题包括：混合专家系统的结构框架和选择实现功能子系统方式的准则两方面。由于该混合系统从根本上抛开了神经网络和专家系统的技术限制，是当前研究的热点。把粗集神经网络专家系统用于医学诊断，表明其相对于传统方法的优越性。
(4)神经网络与模糊逻辑的结合
模糊逻辑是一种处理不确定性、非线性问题的有力工具。它比较适合于表达那些模糊或定性的知识，其推理方式比较类似于人的思维方式，这都是模糊逻辑的优点。但它缺乏有效的自学习和自适应能力。
而将模糊逻辑与神经网络结合，则网络中的各个结点及所有参数均有明显的物理意义，因此这些参数的初值可以根据系统的模糊或定性的知识来加以确定，然后利用学习算法可以很快收敛到要求的输入输出关系，这是模糊神经网络比单纯的神经网络的优点所在。同时，由于它具有神经网络的结构，因而参数的学习和调整比较容易，这是它比单纯的模糊逻辑系统的优点所在。模糊神经网络控制已成为一种趋势，它能够提供更加有效的智能行为、学习能力、自适应特点、并行机制和高度灵活性，使其能够更成功地处理各种不确定的、复杂的、不精确的和近似的控制问题。
模糊神经控制的未来研究应集中于以下几个方面：
(1)研究模糊逻辑与神经网络的对应关系，将对模糊
控制器的调整转化为等价的神经网络的学习过程，用等价的模糊逻辑来初始化神经网络；
(2)完善模糊神经控制的学习算法，以提高控制算法的速度与性能，可引入遗传算法、BC算法中的模拟退火算法等，以提高控制性能；
(3)模糊控制规则的在线优化，可提高控制器的实时性与动态性能；(4)需深入研究系统的稳定性、能控性、能观性以及平衡吸引子、混沌现象等非线性动力学特性。
关于神经网络与模糊逻辑相结合的研究已有很多，比如，用于氩弧焊、机器人控制等。
(5)神经网络与小波分析的结合
小波变换是对Fourier分析方法的突破。它不但在时域和频域同时具有良好的局部化性质，而且对低频信号在频域和对高频信号在时域里都有很好的分辨率，从而可以聚集到对象的任意细节。
利用小波变换的思想初始化小波网络，并对学习参数加以有效约束，采用通常的随机梯度法分别对一维分段函数、二维分段函数和实际系统中汽轮机压缩机的数据做了仿真试验，并与神经网络、小波分解的建模做了比较，说明了小波网络在非线性系统黑箱建模中的优越性。小波神经网络用于机器人的控制，表明其具有更快的收敛速度和更好的非线性逼近能力。
四、结论
经过半个多世纪的发展，神经网络理论在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域取得了广泛的成功，但其理论分析方法和设计方法还有待于进一步发展。相信随着神经网络的进一步发展，其将在工程应用中发挥越来越大的作用。
参考文献：
[1]张曾科.模糊数学在自动化技术中的应用[m].清华大学出版社，1997.
[2]李士勇.模糊控制·神经控制和智能控制论[m].哈尔滨工业大学出版，1996.250-387.
[3]谢联峻.模糊控制在列车自动驾驶中的应用[J].自动化与仪器仪表，1999，(4).
[4]CollierwC，weiland，RJSmartCarts，SmartHighways[J].ieeeSpec-trum，1994，31(4)：27-33.
[5]HatwalH，mikulcikeC.someinverseSolutionstoanautomobilepathtrackingproblemwithinputControlofSteeringandBreaks，Ve-hiclesystemDynamics，1986，(15)：61-71.
[6]KosugeK，Fukudat，asadaH.acquisitionifHumanSkillsforRoboticSystem[C].in：procieeeintSymponintelligenControl，1991.469-489.
[7]王小平，曹立明.遗传算法—理论、应用与软件实现.西安交通大学出版社，2002.
[8]maniezzoV.Geneticevolutionofthetopologhandweightdistribution
ofneuralnetwork[J].ieeetransonneuralnetwork，1994，5(1)35-67.
[9]HarraldpG，Kamstram.evolvingartificialneuralnetworkstocombinefinancialforecase[J].ieeetransonevolComputer，1997，1(1)：39-54.
[10]邓聚龙.灰色系统理论教程.华中理工大学出版社，1990.
[11]吕宏辉，钟珞，夏红霞.灰色系统与神经网络融合技术探索.微机发展，2000，23(4)：67-109.
神经网络学习方法篇8
关键词：多方神经网络学习规则神经网络模型
中图分类号：tp309.7文献标识码：a文章编号：1007-9416（2013）11-0017-01
在密码学中，密钥交换一直是学者们研究的热点。2000年，有学者发现两个神经网络之间的相互学习可以用于密钥交换[1]。此后，这种神经密码被广泛研究。2002年，有学者提出了树形奇偶机模型[2]。此后证明，该模型对神经密码学的发展极为重要。许多专家学者在研究神经密码动态过程中做出了贡献，文献[3]深入研究了神经密码的动态同步过程。2009年，有学者提出了ppm模型[4]。可是，我们仍然有必要去扩展神经密码学的同步对象，使得一组对象都可以共享相同的密钥。文献[5]提出了两种基于神经密码的组密钥协商协议。并且由于神经密码计算复杂度低的特点，很适合应用到无线网络领域。文献[6]提出了一种轻量级的无线传感器网络的密钥建立协议。
1树形奇偶机模型
1.1树形奇偶机的学习规则
树形奇偶机（tpm）是由K个隐藏单元组成。每一个隐藏单元的输出，是由输入向量和权值向量的积的符号来表示的。传统的树形奇偶机之间的学习是通过Hebbian学习规则、anti-Hebbian学习规则和Random-walk学习规则来完成的。
2使用树形奇偶机相互学习进行多神经网络同步
多神经网络同步方法来自于一种经典的数据结构完全二叉树。完全二叉树是指在第i+1层有个节点的二叉树。在这种神经组密钥交换算法中，n个tpms需要一起完成同步并且这n个tpms都作为一个完全二叉树的叶子节点。这种完全二叉树型的神经组密钥交换协议的代表是选举二叉树算法（Btwe）。改进这种Btwe算法，使tpms进行权值更新时，使用公式（1）所表示的基于队列的学习规则，我们称这种算法为nLBtwS。
2.1使用Btwe进行多神经网络同步
在这种Btwe方法中，n个tpms是由完全二叉树中的n个叶子节点表示。在该算法的第j步（从j=1开始）中，这个完全二叉树都可以分解成个子树，每一个子树有个叶子节点。具有相同双亲的叶子节点之间进行相互学习。然后，j自增1，并且在每个子树中，其中的一个节点被选出作为代表，用来继续进行互相学习，其他的点则跟随被选出来的代表点进行学习。如果算法进行到根节点，那么算法结束。此时，所有的tpms都已经完成了同步，并且都具有了相同的权值向量。
2.2使用nLBtwS进行多神经网络同步
nLBtwS进行同步的不同之处在于改变了节点之间相互学习时的学习规则，使具有想吐双亲的叶子节点之间使用公式（1）表示的学习规则来进行学习。仿真实验说明了，使用该学习规则之后的nLBtwS算法比原来的BtwS算法在同步效率上有明显提高，并且能够根据无线网络环境的不同，通过调节学习规则中的参数m能容易的改变通信次数和安全度，可以充分适应无线网络复杂的通信环境和各种级别的安全需求。
3结语
两方神经网络同步过程已经得到了充分的研究，但多神经网络同步的研究和无线网络神经密钥交换协议的研究还需要更多的研究，才能使神经密码用于我们的生产生活中。随着现实生活中对无线网络安全重视程度的提高，神经密码学具有广阔的市场前景。
参考文献
[1]Kinzelw，Kanteri.interactingneuralnetworksandcryptography[m].advancesinSolidStatephysics.SpringerBerlinHeidelberg，2002：383-391.
[2]Kanteri，Kinzelw，Kantere.Secureexchangeofinformationbysynchronizationofneuralnetworks[J].epL（europhysicsLetters），2002，57（1）：141.
[3]Rosen-Zvim，Kanteri，Kinzelw.Cryptographybasedonneuralnetworks—analyticalresults[J].Journalofphysicsa：mathematicalandGeneral，2002，35（47）：L707.
[4]SeoaneLF，Ruttora.Successfulattackonpermutation-parity-machine-basedneuralcryptography[J].physicalReviewe，2012，85（2）：025101.
神经网络学习方法篇9
1评价体系建立的原则依据化工行业的安全评价体系依赖于化工行业的生产实际情况，利用模糊评判模型方法及层次分析法进行综合分析。综合分析依赖于3个方面：（1）化工企业安全文化评价指标；（2）化工企业安全文化指标；（3）化工企业安全文化指标权重。对于要构建的化工企业安全管理评价指标体系这样一个复杂的工程，要求涵盖现在化工企业安全管理的多方面内容。我们这里从六个方面来构建：（1）企业安全物质文化；（2）企业安全行为文化；（3）企业安全制度文化；（4）企业安全观念文化；（5）企业系统文化的持久性；（6）企业系统文化的开放性来建立安全管理评价体系，该管理评价体系又从这6个方面细化为多个条款，依据现有的法律、法规以及国家规范对每个评价指标做了阐释，确定各个条款在这个评价体系中占的权值。2建立化工企业评价指标的意义和方法现代化工企业和其他行业一样处于各行各业飞速发展的信息时代，安全评价体系建设工作是直接影响化工行业发展的大事。安全评价指标体系的完善程度关系化工企业的发展，现代化管理是否达标跟上时代步伐，因此建立化工企业评价指标体系意义重大。（1）理论分析化工企业安全评价体系的特点，论述神经网络技术在该评价体系中的可行性，提出建立基于人工神经网络的化工企业安全评价体系方法。（2）充分考虑化工生产企业的多种因素，确定评价指标各细则条目，条目要求囊括生产过程的所有相关因素。（3）在认真总结前人研究的基础上，结合所构建的安全评价指标体系，以及采集到的各生产工段的安全状况数据，构建了适于化工企业安全评价的基于神经网络技术的Bp网络非线性模型。
二、人工神经网络在化工企业安全管理评价体系中的体现
1人工神经网络技术在化工企业安全评价中的可行性人工神经网络的基础单元是神经元，网状连接的神经元模拟人的大脑活动方式来处理数据信息，这些信息是并行出来的，其网络结构像一个复杂局域网的拓扑图，进行非线性的信息处理和传输。人工神经网络就像人的大脑一样进行活动，接受外界来的信息后训练神经网络，这些神经网络模型边学习、边适应、联想记忆，模拟的神经网络模型避开复杂的数学运算，在非完善数学模式的状态下取得较为理想的分析效果。如今神经网络技术在多个领域受到学术研究和技术应用的青睐，应用在模式识别、智能控制、虚拟技术、人工智能等多个领域。我们知道互联网络拓扑分为多种结构，神经网络模型与之类似也存在多种拓扑连接方式。2Bp神经网络结构在评价体系的设计体现Bp神经网络模式是最常用的神经网络拓扑方式。Bp网络模型模拟人的神经网络处理信息的机理是：当信号m进入输入单元，通过隐单元作用到输出单元，中间含非线性变换的过程，从输出单元输出信号n，神经网络训练任一样本，样本包括输入信号m和期盼的输出值k，k与n之间必然存在差异，通过隐单元的作用减小k和n之间的差异，使误差降低最低。神经网络多次进行这种训练过程，差异到最小时训练终止。Bp网络模型由4个模型组成，输入输出模型、变换函数模型、计算误差模型和自我训练模型。Bp神经网络在安全评价体系中的应用：首先确定神经网络的拓扑结构，该结构的层级是多少，输入层节点、输出层节点以及隐含层的节点到底有多少，信息做到具体化。将神经网络与安全管理评价体系中的相关参数关联，与评价体系关联的参数的种类、数量以及特征都有拓扑结构建立对应关系，确定各参数在管理评价体系中的状态及表达方式。筛选学习样本提供给神经网络进行训练，尽量将样本采集全面，样本越多越能全面的供神经网络学习，尽量把样本选择多样化且有代表性，样本代表企业安全生产过程的各自安全状态，样本的训练过程其实也是对网络中节点间的权值修正和误差拉近的过程。为了降低整个网络的负责度级别，尽量避免选择高难度的函数来作为处理函数，一般选择非线性复杂低的函数作为神经网络的作用函数。安全评价知识库是建立安全评价体系的集中点，输入节点、输出节点以及隐含节点是安全评价知识库的要素，赋予网络节点间的权值也是安全评价知识库的要素，这些要素构成了系统安全评价知识库，为神经网络活动提供支持。联系实际安全生产情况，神经网络不能脱离实际情况，在学习和训练过程都要将实际模拟过程的特征值导入到神经网络。依靠前面建立的系统安全评价知识库多次进行培训学习，每次学习的结果数据作为新的样本充实安全评价知识库，整个过程形成良性循环。3人工神经网络在评价体系中的优点（1）评价处理速度快，基于神经网络的特征，物理结构是并行的，信息处理方式为并行处理，通过选择所有安全评价体系中的指标内容，克服只是片面评价的弊端，全面对化工企业安全管理评价体系和所有影响参数的状态进行评价。（2）优越的自我学习能力，利用神经网络事先构建的知识库和所具有的自适应能力，通过不断训练和学习，结合历史的案例和现在的新技术新知识，建立适应当前生产实际的安全管理评价体系。（3）人工神经网络理论具有很强的容错能力，只有作用函数和数据结构选择恰当才能利用神经网络的特性进行分析处理，得到当前系统安全状态的评价值。基于神经网络的评价方式虽然有很多优点，但是一些有代表性的评价方法如aHp方法，Fuzzy评价方法也具备其存在的空间和价值。基于神经网络的评价方法是通过这些传统有代表性的评价方法总结学习达到目的的。如果评价指标体系中某个参数发生变化时，先利用传统的评价方式获得评价样本，神经网络借助于这些评价样本进一步通过学习训练达到建立完善安全管理评价体系的目的。
三、结语
神经网络学习方法篇10
关键词神经网络控制系统控制科学模型机器人
中图分类号：tp183文献标识码：a
1神经网络控制的发展现状
神经网络控制是模仿人类感觉器官和脑细胞工作原理的控制方法，它是由一些简单的阈值逻辑单元根据平行结构的重量可调节的连接在一起，可以接受大量的信息，处理结果和并行输出信息。系统的硬件仿照神经细胞网络，而软件模拟神经细胞的工作，即每个神经元接收信号，根据相应的规律输出信号。它的优点是能快速处理复杂的控制任务。如图1所示是一种三层的神经网络模型
美国的科学家从大脑中的信息处理的角度来研究一些基本的生理特性方法，利用数学模型来研究大脑细胞的运动与结构和生物神经元，提出了第一个神经网络模型（mp模型），开辟了神经科学研究的时代。心理学家赫布通过大脑在学习后形成的条件反射来对神经细胞进行研究，提出了Hebb规则的神经元连接强度的变化规律。人工智能神经网络系统的研究是从第二十世纪50年代和60年代初开始进行的。计算机科学家提出了感知器模型，模拟动物和人类的认知能力和学习能力，提出了三层感知器隐藏层处理单元的新概念。科学家们还提出了自适应线性神经元模型，这是一个学习研究规律的有效方法。这些新的科研创举使神经网络从理论研究进入实施阶段，从而在人工神经网络的研究领域中引发了第一个高潮。
人工智能起初是一个基于感知器作为函数的数学研究学科，深入分析后开发出了具有局限性的简单网络系统，并有科学家指出：感知器只有单一的求解线性问题，解决简单的非线性问题，就必须采用多层神经网络的隐单元。在当时的条件下，用有效的学习算法来找到一个多层神经网络是非常困难的，从而使许多神经网络研究人员都失去了信心，使神经网络理论进入了停滞阶段。之后，科学家们提出了新的神经网络模型，神经网络的研究取得了突破性的进展。科学家们提出了能量函数的概念以及神经网络的稳定性判据。他们在非线性动力学的几种神经网络模型中的优化问题的解决方案是成功的，对神经网络理论的发展产生了深远的影响。这使得神经网络的研究的重新点燃了复兴之火。不久之后，就有其他科学家提出了用Bp算法来代替多层前馈反向传播算法来训练神经网络，从实践上证明了神经网络具有很强的操作能力，其应用已经渗透到各个领域，并取得了令人鼓舞的进展，如在智能控制，模式识别，自适应滤波和信号处理，非线性优化，传感和机器人，生物医学工程等领域都取得了令人瞩目的伟大成就。这些成果深化了人们对神经网络的了解。
2神经网络控制的应用背景
具有自学习能力的人工神经网络非线性映射能力，联想记忆能力，并行信息处理能力和容错性能都很优异，在科学和技术领域都引起了广泛的关注。相比于复杂系统的控制模型，特别是在系统不确定性的情况下，神经网络控制体现出了无与伦比的优势。
上世纪60年代，科学家们首先正式介绍了神经网络控制系统。第二十世纪60年代初，在美国“阿波罗登月计划中，科学家们还提出了根据在脊椎动物神经系统的网状结构中研究出的一种渐进模型的工作原理，使月球车在复杂的环境中能够具备一定的自控能力。在美国空军技术研究领域，神经网络滤波已经得到了广泛的应用。概率神经网络也被成功地用于解决两个单独电子发射器的相关问题。对神经网络控制的研究主要集中在自适应控制与智能机器人，以及后来的专家系统和模糊神经系统，在这些学术领域中都取得了大量的成果。
神经网络处理非线性和不确定性系统有着巨大的发展空间。可以说，在各种实际问题中，凡是可以采用传统的控制理论来解决的问题，几乎都可以利用神经网络技术来解决问题，而传统的控制技术无法解决的也可以用神经网络来解决。神经网络控制的许多成功案例让人们看到了智能控制时代的到来。当然，由于目前的神经网络硬件的发展，神经网络控制的大规模应用时代尚未到来，具有简单功能的神经元芯片的成功研制却使人对其发展前景信心倍增。
参考文献