神经网络学习规则篇1
【关键词】模糊神经网络；模糊控制；模糊辨识；规则抽取；学习算法
1问题的提出
模糊逻辑和神经网络都适于处理那些被控对象模型难以建立或存在大的不确定性和强非线性的系统.由于神经网络在分布式处理，学习能力，鲁棒性，泛化能力方面具有明显的优势，而模糊系统的优势在于良好的可读性和可分析性，因此，将神经网络的思想融合到模糊辨识和模糊控制模型中就可以实现两者的优势互补.模糊神经网络控制针对双方的特点相互借鉴和利用，比单独的神经网络控制或单独的模糊控制具有更好的控制性能.随着智能控制理论的发展，模糊神经网络控，难以实现系统的实时控制制受到控制界的广泛关注，相继提出了许多控制和辨识的方法.
本文总结了近期我国学者提出的几种新的基于模糊神经网络的系统辨识与控制方法，并通过仿真进行了各自特点的比较，希望可以通过这些比较，对这些研究加以改进和应用.
2模糊神经网络
2.1仿射非线性系统
为了实现非线性系统的实时控制，基于径向基函数网络与tSK型模糊推理系统的函数等价的特点，有学者提出了一种动态模糊神经网络的在线自组织线性算法，从而实现了系统的结构和参数的同时在线自适应.学习速度快是这种模糊神经网络的突出特点.在此基础上，针对未知仿射非线性SiSo系统提出了一种在线自适应模糊神经网络辨识与控制方法.该方法首先采用G2Fnn学习算法实时建模系统的逆动态，实现模糊神经网络的结构和参数的同时在线学习.然后，设计一个鲁棒补偿器与辨识好的模糊神经网络组成复合控制器，并基于Lyapunov稳定性理论设计自适应控制律进一步在线调整网络的权值，实现系统的跟踪控制.
控制目标是设计一个由G2Fnn控制器和鲁棒控制器构成的模糊神经网络自适应鲁棒控制器，使得系统的输出y跟踪给定的参考输入信号ym，对于一个给定的干扰衰减水平常数ρ>0，获得良好的H∞跟踪性能指标.
广义模糊神经网络G2Fnn由四层网络结构组成，分别实现模糊逻辑的模糊化、模糊推理和解模糊化过程.图1所示为单个输出结点G2Fnn的结构.
图1G2Fnn的结构
G2Fnn中有两类学习算法，即结构学习和参数学习.结构学习是通过对每个新的训练数据计算出G2Fnn的输出与期望输出之间的偏差来决定是否产生新的模糊规则或删除多余的规则；参数学习有两个方面，一是当系统产生第nr+1条新的模糊规则时确定新规则前提参数ci（nr+1），σi（nr+1），另一个是当不需要进行结构学习时对第三层与第四层网络之间的权值向量w的调节.
第一层直接将输入语言变量xi（i=1，2，…ni）传递到下一层.
第二层计算输入分量隶属于各语言变量值模糊集合的隶属度，隶属度函数为高斯函数：
式中：cij，σij（i=1，2，…，nr）分别是第i个输入语言变量xi的第j条隶属度函数的中心和宽度；nr为系统产生的规则数.
第三层是规则层，这一层的每个结点代表一条模糊规则，它的作用是用来匹配模糊规则的前提，每个结点的输出可以表示为：
第四层是结点定义语言变量的输出，它的作用是用来匹配模糊规则的结论，实现tSK型模糊推理系统的解模糊化过程.其输出为：
这里，wj为第三层与第四层之间的权值.
使用倒立摆系统方程进行仿真研究，倒立摆的动态方程为：
系统仿真结果如图（图2）：
图2自适应模糊神经网络控制系统跟踪轨迹
由图可知，所设计的控制器实现了模糊神经网络的结构和参数的在线自适应，输出跟踪参考输入信号，系统的误差收敛速度快，鲁棒性好.
由仿真可见，该方法不仅实现了模糊控制规则的自动产生和删除，还保证了闭环系统的全局稳定，并使外部干扰和模糊神经网络逼近误差对系统跟踪误差的影响衰减到一个指定的水平.本方法不需要知道系统的控制增益，设计了一个鲁棒补偿器来抑制模糊神经网络逼近误差和外部干扰的影响.系统鲁棒性好，抗干扰能力强，所设计的控制器可用于系统的实时控制.
2.2网络参数自学习模糊控制
在模糊系统的许多应用中，如模糊推理、模糊逻辑控制器、模糊分类器等，提取模糊规则是一个重要步骤。在新兴的研究领域――数据挖掘中，提取模糊规则也起着重要作用。然而模糊控制规则的获得通过由专家经验给出，这就存在诸如控制规则不够客观、专家经验难以获得等问题。因此研究模糊规则的自动生成有着重要的理论和应用价值。在许多问题中，希望提取出来的模糊规则能够用语言变量表示，以便揭示模糊系统内部的规律，同时这也是模糊系统的一个特色。为了提高抽取复杂系统模糊if-then规则的质量，将具有极好学习能力的神经网络与模糊推理系统相结合，产生了神经-模糊建模方法，这种方法综合了两种形式的特点，提供了一种从数值数据集抽取模糊规则的有效框架。有关领域的研究者们提出了多种模糊逻辑与神经网络结合的方法，给出了各种用于提取模糊if-then规则的神经网络结构框架。
由于径向基函数网络（RBFn）以其结构简单、良好的逼近能力、独特点可分解性以及和模糊推理系统的函数等价性，因此可应用于模糊系统。然而，当一个模糊系统使用学习算法被训练之后可能会影响其可解释性，也就是使得模糊系统的可理解性下降，而可解释性是模糊系统的一个突出特点。为了让模糊系统在具有自学习和自组织性的同时也具有可解释性这一突出特点，以下提出了一种能够有效表达模糊系统可解释性RBF网络结构，并进行了仿真实验，取得较好的仿真结果。
根据测量数据采用各种神经网络自动提取模糊规则的方法，在输入输出空间划分部分运用的是聚类的思想，而大多数其输入输出空间划分数（聚类数）是预先给定，这不免带有一定的盲目性，直接影响规则的提取质量。为此，本文关于初始聚类中心及聚类中心个数的确定方法采用文献7提出的一种聚类神经网络初始聚类中心的确定方法。利用这种基于密度和基于网格的聚类方法，能自动地进行样本空间的划分，针对样本空间划分过程中不同阶段的特点，采用了不同的处理手段，使得该方法在样本空间划分数、聚类学习时间等方面都具有比较明显的优越性（图3）。
图3仿真实验结果
下面针对每个仿真曲面分别给出一组训练样本点为500个，评价样本点为100个的仿真结果图，如图4所示：
图4
从图中，可见各样本数据的预测值与实际值吻合的比较好，只有个别的点误差较大，这与训练样本点的选取有关。另外，在系统模型建立好后，为了检验模型的效果，笔者另外又抽取几组数据样本作为评价样本，结果发现预测值与实际值相比，误差也在允许范围内，效果比较令人满意。
本方法的创新点是提出了一种能够有效表达模糊系统可解释性RBF网络结构，并给出了一种有效的提取模糊规则的算法，这就使模糊系统在具有自学习和自组织性的同时也具有可解释性这一突出特点。利用这种网络结构和算法进行控制器设计，至少有以下的优点：
（1）模糊系统具有很好的可解释性。
（2）该算法克服了RBF中心个数选择的随机性，较好地解决了样本聚类。
（3）提出的增量数据处理方法保证了网络结构能适应不断扩大的数据集。
综上所述，这种RBF模糊神经网络控制算法，对于研究非线性，时变的多变量系统，提供了一种新的思路，具有一定的理论意义和工程应用价值。
2.3其他一些方法
其他的一些最近被提出的，如基于神经模糊网络的方法，基于模糊推理网络的方法（见图5），基于非线性自回归滑动平均模型等，都取得了很好的控制和辨识效果，具有有良好的发展和应用前景.
图56层神经模糊推理网络
3总结
本文系统地叙述了目前研究比较热门的近期我国学者提出的几种新的基于模糊神经网络的系统辨识与控制方法的研究成果，并简要分析了各种方法的优缺点.限于篇幅，除本文介绍的几种方法外，还有一些研究成果没有列出.本文的目的是为在这方面进行研究的学者提供一个系统的参考和建议.
【参考文献】
[1]李佳宁，易建强，等.一种新的基于神经模糊推理网络的复杂系统模糊辨识方法[J].自动化学报，2006，Vol.32，no.5.
[2]王锴，王占林，付永领，祁晓野.基于pnn与Fnn模型神经网络控制器设计与分析[J].北京航空航天大学学报，Vol.32，no.9，2006.
[3]李晓秀，刘国荣，沈细群.仿射非线性系统的在线自适应模糊神经网络辨识与控制[J].湖南大学学报（自然科学版），2006，8，33（4）.
[4]李延新，李光宇，孙辉，李文.基于RBF网络的参数自学习模糊控制的研究[J].微计算机信息，2006，8，22（8）.
神经网络学习规则篇2
摘要：
针对污水处理过程具有非线性、大时变等问题，提出了一种基于递归模糊神经网络的多变量控制方法。该方法通过递归模糊神经网络控制器自适应的获得对操作变量的控制精度，控制器在常规Bp学习算法的基础上采用学习率自适应学习算法且引入了动量项来训练网络参数，避免网络陷入局部最优，提高了网络对系统的控制精度。最后，基于仿真基准模型（BSm1）平台对第五分区中的溶解氧和第二分区中的硝态氮控制进行动态仿真实验，结果表明，与piD、前馈神经网络和常规递归神经网络相比，该方法能有效提高系统的自适应控制精度。
关键词：
污水处理过程；递归模糊神经网络；控制；自适应学习算法；溶解氧；硝态氮；动态仿真
活性污泥法是目前污水处理厂采用最广泛的污水处理方法，其机理为利用生化反应对污水中的污染物进行分解、清除，具有非线性、大时变、大滞后的特点[1-4]。溶解氧(dissolvedoxygen,Do)浓度和硝态氮(nitratenitrogen,Sno)浓度是污水处理过程中的两个重要的运行参数，能否对其进行有效控制是污水处理的关键问题，直接决定了污水处理能否正常运行。目前，在实际应用中污水处理厂多采用piD回路控制对污水处理过程进行控制，但污水处理过程中存在的非线性、大时变特性，使得piD回路控制并不能有效的控制其运行。为了使污水处理过程稳定运行，许多学者把目光转向了智能控制方法。在这些研究中，神经网络具有的非线性映射能力、自适应、自学习能力，以及模糊控制具有的模糊推理拟人机制，成为了人们研究污水处理智能控制过程的研究热点。Belchior等[5]采用一种自适应模糊控制策略和监督模糊控制结合的跟踪控制方法，控制器性能优于pi控制器以及常规模糊控制方法，实现了污水处理过程溶解氧浓度的精确控制。pires等[6]搭建了污水处理碳和氮的去除实验平台，采用基于模糊逻辑规则的专家控制系统对污水处理过程碳和氮的去除，当HRt(hydraulicretentiontime)为3h时，实验结果表明脱氮效率高于85%，硝化效率从12%增加到了50%，提高了碳和氮的去除率。traoré等[7]采用模糊控制器对曝气过程中的溶解氧进行控制，与常规控制相比，能耗指标下降了约40%，但推理规则的确定需要大量的先验经验，且不具备应对环境突变的自学习能力，因此控制精度有待提高。Zeng等[8]采用Bp神经网络模型建立了污染物的去除率和化学药物添加量之间的非线性关系，并提出对Bp网络训练复杂且存在局部极小值进行研究可以提高网络的建模精度。Baruch等[9]提出了应用对角递归神经网络进行建模和自适应控制，取得了良好的效果。Qiao等[10]提出了采用elman神经网络对Do、Sno和mLSS进行控制，仿真实验显示其控制精度较piD、Bp神经网络控制精度有显著提高。虽然国内外学者利用模糊控制和神经网络对污水处理进行控制研究获得了成功应用，但是由于模糊控制不具备自学习能力，控制规则不能动态优化，需要经过反复的实验进行调整才能达到理想的控制效果，而神经网路不能处理结构化知识，是一个“黑箱模型”，不利于对污水处理过程进行知识表达。因此，结合多种智能控制方法的优势对污水处理过程进行控制成为提高运行精度的有效应用。相对于单纯的模糊系统、前馈神经网络和常规递归神经网络，递归模糊神经网络(RFnn)结合了两方面的优势。在处理非线性不确定系统时，RFnn不仅具有模糊推理能力，还包含神经网路的自学习能力；另一方面，递归模糊神经网络具有动态元素，内部的反馈连接用于记忆历史信息。因此，RFnn近些年受到了国内外研究者的关注[11-17]。通过对污水处理过程的分析，本文提出基于递归模糊神经网络对Do和Sno进行控制组成多变量污水处理系统，并对学习算法进行了改进，文中将RFnn应用在污水处理多变量控制中，提高了溶解氧和硝态氮的跟踪控制精度。
1前置反硝化污水处理工艺
前置反硝化工艺（a/o工艺）是污水生物脱氮的典型工艺之一[18-19]。a/o工艺将反硝化和硝化反应串联组成生化反应池，废水首先进入以反硝化反应为基础的缺氧区，然后经过以消化反应为基础的好氧区，一部分好氧区出水回流至缺氧区为反硝化反应提供no3--n。前置反硝化的工艺布局结构如图1所示。a/o工艺主要包含生化反应池和二沉池两部分。生化反应池分为五个分区，前两个分区为厌氧池，后三个分区为好氧池。好氧池出水一部分通过内回流返回生化池第一分区，一部分进入二沉池。二沉池设计为十层分层结构，通过物理沉降分离污泥和清水，上层清水直接排入受纳水体，一部分沉积的污泥通过外回流返回生化反应池。生物脱氮工艺依靠各种厌氧菌和好氧菌的共同作用产生生化反应，使得污泥中有机物分解，是一个及其复杂的过程。国内污水处理厂多采用piD控制器对污水处理进行控制，而常规的控制器难以精确控制这一复杂过程，需借助智能优化算法提升对污水处理过程的控制精度。固本文采用具备混合智能算法优势以及其丰富的动力学特性的递归模糊神经网络来控制污水处理过程。
2基于RFnn的控制系统设计
2.1控制系统结构设计针对污水处理过程的非线性、大时变的特性，采用递归模糊神经网络作为控制器对生化池第五分区的Do和第二分区的Sno进行设定值误差跟踪控制，运用实际输出与设定值的误差以及误差变化率输入递归模糊控制器，通过递归模糊神经网络的非线性映射能力以及丰富的动力学特性自适应的获得精确的控制量增量。并通过引入动量项的梯度下降法逐步对误差进行消除，使系统输出跟踪设定值。控制系统结构如图2所示。在图2中，yr1、yr2分别为溶解氧浓度和硝态氮浓度的设定值，y1、y2分别为溶解氧和硝态氮的实际输出值，e为设定值与实际输出值之间的误差，de/dt为误差变化率，Δu为控制量增量，u1、u2分别为KLa与Qa。误差e以及误差变化率de/dt作为RFnn控制器的输入，用误差e来修正RFnn控制器中的参数。控制器输出为控制量增量Δu，BSm1输入为u1、u2，u1,2为控制量增量与上一时刻的值的加和，如公式(11)、(12)所示。
2.2RFnn控制器设计污水处理过程作为典型的非线性离散系统可以表示。其中：x(k)代表k时刻系统的状态，u(k)代表k时刻的输入，G表征为系统的非线性函数关系。RFnn神经网络具有的非线性动态映射能力可以实现对污水处理过程的精确控制。RFnn控制器设计。RFnn控制器结构由前尖部分和后件部分两部分组成，其多输入单输出的网络拓扑结构如图3所示。网络由六层组成：输入层、隶属函数层、规则层、递归层、tSK层和输出层。网络的前四层为前件网络，用来匹配模糊规则的前件，后两层为后件网络，用来产生模糊规则的后件。网络包含n个输入神经元，其中每个输入包含m个隶属度，m个规则数，m个递归层神经元，m个tSK神经元和一个输出神经元。用ui(k)和oi(k)分别表示网络第k层的第i个神经元的输入和输出，则信号在网络中的传输过程以及各层之间的连接关系可以描述如下：
2.3在线学习算法及参数调整RFnn控制器的参数学习采用自适应学习率且引入动量项的梯度下降算法，公式如(13)~(17)。在线学习参数包括前件参数和后件参数。以溶解氧控制器网络为例，其回路控制的性能指标定义。在控制过程中，由式(4)~(12)计算RFnn控制器的控制量增量输出，由式(1)、(2)计算实时控制量的值，由式(13)~(16)实现参数的在线调整，并且控制器参数学习过程中可以根据污水处理工况的变化通过公式(17)~(20)自适应的调整学习率的大小。硝态氮控制器的性能指标定义及参数调整方法同溶解氧控制器。
2.4性能分析BSm1定义了对控制方案仿真结果的评价标准，其底层评价指标主要是对回路控制器的跟踪性能(如控制精度、控制量波动情况等)进行评价。
3仿真分析
仿真实验中，采用BSm1模型作为模拟污水处理厂的对象。BSm1包含晴好天气、阴雨天气和暴雨天气三个数据文件，每个文件给出了14天的污水入水数据，采样周期为15min.，采用前7天的数据进行训练，后7天的数据作为测试数据，Do浓度设定为2mg/L,Sno浓度设定为1mg/L。通过凑试法，经过反复试验验证，最终确定RFnn的规则数为6，溶解氧控制器参数学习率ηDo自适应策略，动量项学习率λDo为0.005，硝态氮控制器参数学习率ηno采用自适应策略，动量项学习率λno为0.005；piD控制系统中溶解氧控制器的参数Kp_Do、ti_Do、td_Do分别设置为200、15、2，硝态氮控制器的参数Kp_Sno、ti_Sno、td_Sno分别设置为50000、5000、400；Bp神经网络的拓扑结构均选择为1-12-1，Bp神经网络溶解氧控制器学习率为0.15，Bp神经网络硝态氮控制器的学习率为0.12；elman神经网络拓扑结构选择为1-8-1，elman神经网络溶解氧控制器的学习率为0.1，elman神经网络硝态氮控制器的学习率为0.08。仿真结果如图4~图6所示。从图4中可以看出，在控制溶解氧时，基于RFnn的控制方法与基于elman、Bp和piD的控制方法相比具有更好的控制性能；从图5中可以看出，在控制硝态氮时，基于RFnn的控制方法与基于elman、Bp和piD的控制方法相比具有更好的控制性能。图6为控制器网络在控制中调整参数时学习率的变化曲线，从图中可以看出，随着控制进程的不断变化，学习率可以根据控制需要不断的调整以适应工况的变化。表1为四种控制器控制溶解氧精度的比较，基于RFnn控制器的控制系统相较于piD控制器、Bp神经网络控制器和elman神经网络控制器来说，其iae、iSe和Devimax均有效的降低，表明RFnn控制器较其他控制器控制溶解氧时具有更高的精度。表2为四种控制器控制硝态氮精度的比较，基于RFnn控制器的控制系统相较于piD控制器、Bp神经网络控制器和elman神经网络控制器来说，其iae、iSe和Devimax均有效降低，表明RFnn控制器较其他控制器控制硝态氮时具有更高的精度。通过实验证明，基于RFnn控制器的多变量控制系统相较于其他三种控制器提高了对溶解氧浓度和硝态氮浓度的控制精度，实现了准确跟踪设定值的目的。
4结论
神经网络学习规则篇3
关键词:模糊神经网络;扩展卡尔曼滤波;自组织学习
doi:10.3969/j.issn.1001-3695.2010.07.016
fastself-organizinglearningalgorithmbasedonekfforfuzzyneuralnetwork
zhoushang-bo,liuyu-jiong
(collegeofcomputerscience,chongqinguniversity,chongqing400044,china)
abstract:toconstructaneffectivefuzzyneuralnetwork,thispaperpresentedaself-organizinglearningalgorithmbasedonextendedkalmanfilterforfuzzyneuralnetwork.inthealgorithm,thenetworkgrewrulesaccordingtotheproposedgrowingcriteriawithoutpruning,speedinguptheonlinelearningprocess.allthefreeparameterswereupdatedbytheextendedkalmanfilterapproachandtherobustnessofthenetworkwasobviouslyenhanced.thesimulationresultsshowthattheproposedalgorithmcanachievefastlearningspeed,highapproximationprecisionandgenerationcapability.
keywords:fuzzyneuralnetwork;extendedkalmanfilter(ekf);self-organizinglearning
模糊神经网络起源于20世纪80年代后期的日本,由于其简单、实用,已经被广泛应用在工业控制、系统辨识、模式识别、数据挖掘等许多领域[1~4]。然而,如何从可用的数据集和专家知识中获取合适的规则数仍然是一个尚未解决的问题。为了获取模糊规则,研究人员提出了不同的算法,如文献[5]利用正交最小二乘算法确定径向基函数的中心,但是该算法训练速度比较慢;文献[6]提出了基于径向基函数的自适应模糊系统,其算法使用了分层自组织学习策略,但是逼近精度低。扩展卡尔曼滤波(ekf)算法作为一种非线性更新算法,在神经网络中得到了广泛应用。文献[7]利用扩展卡尔曼滤波算法调整多层感知器的权值,文献[8]利用扩展卡尔曼滤波算法调整径向基函数网络的权值。
本文提出了一种模糊神经网络的快速自组织学习算法(sfnn)。该算法基于无须修剪过程的生长准则增加模糊规则,加速了网络学习过程,同时使用ekf调整网络的参数。在该算法中,模糊神经网络结构不是预先设定的,而是在学习过程中动态变化的,即在学习开始前没有一条模糊规则,在学习过程中逐渐增加模糊规则。与传统的模糊神经网络学习算法相比,本算法所得到的模糊规则数并不会随着输入变量的增加而呈指数增长,特别是本算法无须领域的专家知识就可以实现对系统的自动建模及抽取模糊规则。当然,如果设计者是领域专家,其知识也可以直接用于系统设计。本算法所得到的模糊神经网络具有结构小、避免出现过拟合现象等特点。
1sfnn的结构
本文采用与文献[9]相似的网络结构,如图1所示。其中,r是输入变量个数;?x?i(i=1,2,…,r)是输入语言变量;y是系统的输出;mfij是第i个输入变量的第j个隶属函数;r?j表示第j条模糊规则;w?j是第j条规则的结果参数;u是系统总的规则数。
下面是对该网络各层含义的详细描述。
第一层:输入层。每个节点代表一个输入语言变量。
第二层:隶属函数层。每个节点代表一个隶属函数,隶属函数采用如下的高斯函数:
μij=exp(-(x?i-cij)?2σ?2ij);i=1,2,…,r;j=1,2,…,u(1)
其中:r是输入变量数;u是隶属函数个数,也代表系统的总规则数;μij是x?i的第j个高斯隶属函数;cij是x?i的第j个高斯隶属函数的中心;σij是x?i的第j个高斯隶属函数的宽度。
第三层:t-范数层。每个节点代表一个可能的模糊规则的if-部分,也代表一个rbf单元,该层节点个数反映了模糊规则数。如果计算每个规则触发权的t-范数算子是乘法,则在第三层中第j条规则r?j的输出为
φ?j=exp(-?ri=1(x?i-cij)?2σ?2ij);j=1,2,…,u(2)
第四层:输出层。该层每个节点代表一个输出变量,该输出是所有输入变量的叠加。
y(x)=?uj=1w?jφ?j(3)
其中:y是网络的输出;w?j是then-部分。
2sfnn的学习算法
如前文所述,第三层的每个节点代表一个可能的模糊规则的if-部分或者一个rbf单元。如果需要辨识系统的模糊规则数,则不能预先选择模糊神经网络的结构。于是,本文提出一种新的学习算法,该算法可以自动确定系统的模糊规则并能达到系统的特定性能。
2.1模糊规则的产生准则
在模糊神经网络中,如果模糊规则数太多,不仅增加系统的复杂性,而且增加计算负担和降低网络的泛化能力;如果规则数太少,系统将不能完全包含输入/输出状态空间,将降低网络的性能。是否加入新的模糊规则取决于系统误差、可容纳边界和误差下降率三个重要因素。
2.1.1系统误差
误差判据:对于第i个观测数据(x?i,t?i),其中x?i是输入向量,t?i是期望输出,由式(3)计算网络现有结构的全部输出y?i。
定义:e?i=t?i-y?i;i=1,2,…,n(4)
如果e?i>k?ek?e=max[emax×β?i,emin](5)
则说明网络现有结构的性能比较差,要考虑增加一条新的规则;否则,不生成新规则。其中:k?e是根据网络期望的精度预先选择的值;emax是预定义的最大误差;emin是期望的输出精度;β(0<β<1)是收敛因子。
2.1.2可容纳边界
从某种意义上来讲,模糊神经网络结构的学习是对输入空间的高效划分。模糊神经网络的性能和结构与输入隶属函数紧密相关。本文使用的是高斯隶属函数,高斯函数输出随着与中心距离的增加而单调递减。当输入变量采用高斯隶属函数时,则认为整个输入空间由一系列高斯隶属函数所划分。如果某个新样本位于某个已存在的高斯隶属函数覆盖范围内,则该新样本可以用已存在的高斯隶属函数表示,不需要网络生成新的高斯单元。
可容纳边界:对于第i个观测数据(x?i,t?i),计算第i个输入值x?i与已有rbf单元的中心c?j之间的距离d?i(j),即
d?i(j)=x?i-c?j;i=1,2,…,n;j=1,2,…,u(6)
其中:u是现有的模糊规则或rbf单元的数量。令
di,min=argmin(d?i(j))(7)
如果di,min>k?d,k?d=max[dmax×γ?i,dmin](8)
则说明已存在的输入隶属函数不能有效地划分输入空间。因此,需要增加一条新的模糊规则,否则,观测数据可以由已存在的距离它最近的rbf单元表示。其中:k?d是可容纳边界的有效半径;dmax是输入空间的最大长度;dmin是所关心的最小长度;γ(0<γ<1)是衰减因子。
2.1.3误差下降率
传统的学习算法把误差减少率(err)[5]用于网络生长后的修剪过程,算法会因为修剪过程而增加计算负担,降低学习速度。本文把误差减少率用于生长过程形成一种新的生长准则,算法无须经过修剪过程,从而加速网络的学习过程。
给定n个输入/输出数据对(x?i,t?i),t=1,2,…,n,把式(3)看做线性回归模型的一种特殊情况,该线性回归模型为
t(i)=?uj=1h?j(i)θ?j+ε(i)(9)
式(9)可简写为
d=hθ+e(10)
d=t?t∈r?n是期望输出,h=φ?t∈r??n×u是回归量,θ=?w?t∈r?u是权值向量,并且假设e∈r?n是与回归量不相关的误差向量。
对于矩阵φ,如果它的行数大于列数,通过qr分解:
h=pq(11)
可把h变换成一组正交基向量集p=[p?1,p?2,…,p?u]∈r??n×u,其维数与h的维数相同,各列向量构成正交基,q∈r??u×u是一个上三角矩阵。通过这一变换,有可能从每一基向量计算每一个分量对期望输出能量的贡献。把式(11)代入式(10)?可得
d=pqθ+e=pg+e(12)
g的线性最小二乘解为g=(p?tp)??-1p?td,或
g?k=p?t?kdp?t?kp?k;k=1,2,…,u(13)
q和θ满足下面的方程:
qθ=g(14)
当k≠l时,p?k和p?l正交,d的平方和由式(15)给出:
d?td=?uk=1g?2?kp?t?kp?k+e?te(15)
去掉均值后,d的方差由式(16)给出:
n??-1d?td=n??-1?uk=1g?2?kp?t?kp?k+n??-1e?te(16)
由式(16)可以看到,n??-1?uk=1g?2?kp?t?kp?k是由回归量p?k所造成的期望输出方差的一部分。因此,p?k的误差下降率可以定义如下:
err?k=g?2?kp?t?kp?kd?td,1≤k≤u(17)
把式(13)代入式(17)可得
err?k=(p?t?kd)?2p?t?kp?kd?td,1≤k≤u(18)
式(18)为寻找重要回归量子集提供了一种简单而有效的方法,其意义在于err?k揭示了p?k和d的相似性。err?k值越大,表示p?k和d的相似度越大,且p?k对于输出影响越显著。利用err定义泛化因子(gf),gf可以检验算法的泛化能力,并进一步简化和加速学习过程。定义:
gf=?uk=1err?k(19)
如果gf
2.2参数调整
需要注意的是,不管是新生成的隐节点还是已存在的隐节点,都需要对网络参数进行调整。传统的方法是使用lls[10]方法对网络参数进行调整,本文提出使用ekf方法调节网络的参数。由于lls方法在确定最优参数时计算简单、速度快,但该方法对噪声敏感,其学习速度随着信噪比的增加而下降。另外,与lls方法相关的问题是其求解可能是病态的,这使得参数估计变得很困难。ekf方法由于其自适应过程比较复杂,计算速度没有lls方法快,但是ekf方法在噪声环境下具有鲁棒性,使用ekf方法可以实现一种健壮的在线学习算法。网络参数可以用下面的ekf[11]方法进行调整。事实上,网络的参数向量θ可以看做一个非线性系统的状态,并用下面的方程描述:
θ?i=θi-1
t?i=h(θi-1,x?i)+e?i(20)
在当前的估计值i-1处将非线性函数h(θi-1,x?i)展开,则状态模型可以重写为
θ?i=θi-1
t?i=h?iθi-1+ε?i+e?i(21)
其中:ε?i=h(i-1,x?i)-h?ii-1+ρ?i。h?i是如下的梯度向量:
h?i=?h(θ,x?i)?θ|θ=i-1(22)
参数向量θ使用下面的扩展卡尔曼滤波算法更新:
k?i=pi-1h?t?i[h?ipi-1h?t?i+r?i]??-1
θ?i=θi-1+k?i(t?i-h(θi-1,x?i))
p?i=pi-1-k?ih?ipi-1+q?i(23)
其中:k?i是卡尔曼增益矩阵;p?i是逼近误差方差阵;r?i是量测噪声方差阵;q?i是过程噪声方差阵。
全局扩展卡尔曼滤波算法会涉及大型矩阵运算,增加计算负担,因此可以将全局问题划分为一系列子问题从而简化全局方法。网络的前件部分具有非线性特性,利用扩展卡尔曼滤波算法对其进行调整;网络的后件部分具有线性特性,利用卡尔曼滤波算法对其进行调整,该方法等同于将全局方法简化为一系列解耦方法,可以降低计算负担。由于高斯函数的中心对系统的性能影响不明显,为了简化计算,只对高斯隶属函数的宽度进行调整。
前件参数使用如下的扩展卡尔曼滤波算法更新:
k?δ?i=p?δi-1g?t?i[r?i+g?ip?δi-1g?t?i]??-1
δ?i=δi-1+k?δ?i(t?i-wi-1φ?i)
p?δ?i=p?δi-1-k?δ?ig?ip?δi-1+q?i(24)
后件参数使用如下的卡尔曼滤波算法更新:
k?w?i=p?wi-1φ?t?i[r?i+φ?ip?wi-1φ?t?i]??-1
w?i=wi-1+k?w?i(t?i-wi-1φ?i)
p?w?i=p?wi-1-k?w?iφ?ip?wi-1+q?i(25)
2.3模糊规则的增加过程
在sfnn学习算法中,模糊规则增加过程如下:
a)初始参数分配。当得到第一个观测数据(x?1,t?1)时,此时的网络还没有建立起来,因此这个数据将被选为第一条模糊规则:c?0=x?0,δ?1=δ?0,w?1=t?1。其中δ?0是预先设定的常数。
b)生长过程。当得到第i个观测数据(x?i,t?i)时,假设在第三层中已存在u个隐含神经元,根据式(4)(7)和(19),分别计算e?i、di,min、gf。如果
e?i>k?e,di,min>k?d,且gf
则增加一个新的隐含神经元。其中k?e、k?d分别在式(5)和(8)中给出。新增加的隐含神经元的中心、宽度和权值赋值为:cu+1=x?i,δu+1=k?0di,min,wu+1=e?i,其中k?0(k?0>1)是重叠?因子。
c)参数调整。当增加新神经元后,所有已有神经元的参数通过式(24)(25)描述的算法调整。
3仿真研究
时间序列预测在解决许多实际问题中是非常重要的。它在经济预测、信号处理等很多领域都得到了广泛应用。
本文采用的时间序列由mackey-glass差分延迟方程产生,其方程定义为[5]
x(t+1)=(1-a)x(t)+bx(t-τ)1+x??10(t-τ)(27)
为了能够与文献[5,6]在相同的基础上进行比较,取值?δt=p=6,式(27)中的参数选择为:a=0.1,b=0.2,τ=17。预测模型表示为
x(t+6)=f[x(t),x(t-6),x(t-12),x(t-18)](28)
为了获得时间序列,利用式(27)生成2000个数据,式(27)的初始条件为:x(0)=1.2。为了训练和测试,在t=124和t=?1123之间选择1000个样本作为式(28)的输入/输出样本数据。使用前500个数据对作为训练数据集,后面的500个数据对验证该模型的预测性能。图2显示了sfnn生成的模糊规则数;图3显示了从t=124到t=623的训练结果;图4显示了sfnn良好的预测性能。表1列出了sfnn与其他算法的比较结果。表1显示,与ols、rbf-afs算法相比,sfnn具有最少的规则数、最小的误差和良好的泛化能力,同时具有快速的学习速度。sfnn的快速性就在于:采用无须修剪过程的生长准则,加速了网络学习过程;利用扩展卡尔曼滤波调整网络的参数,可以缩短网络的学习周期。从上面的分析可以看出,sfnn具有紧凑的结构、快速的学习速度、良好的逼近精度和泛化能力。
4结束语
sfnn采用在线学习方法、参数估计和结构辨识同时进行,提高了网络的学习速度。基于该方法生成的模糊神经网络具有紧凑的结构,网络结构不会持续增长,避免了过拟合及过训练现象,确保了系统的泛化能力。
参考文献:
[1]
huanghuan,wucong-xin.approximationcapabilitiesofmultilayerfuzzyneuralnetworksonthesetoffuzzy-valuedfunctions[j].informationsciences,2009,179(16):2762-2773.
[2]dengxing-sheng,wangxin-zhou.incrementallearningofdynamicfuzzyneuralnetworksforaccuratesystemmodeling[j].fuzzysetsandsystems,2009,160(7):972-987.
[3]韦玉科,汪仁煌,李江平,等.一种新的数据智能化处理算法[j].计算机应用研究,2008,25(5):1328-1329.
[4]chensheng,hongxia,lukbl,etal.orthogonal-least-squaresregression:aunifiedapproachfordatamodeling[j].neurocompu-?ting,2009,72(10-12):2670-2681.
?[5]chens,cowancfn,grantpm.orthogonalleastsquareslearningalgorithmforradialbasisfunctionnetworks[j].ieeetransonneuralnetworks,1991,2(2):302-309.
[6]chokb,wangbh.radialbasisfunctionbasedadaptivefuzzysystemsandtheirapplicationstosystemidentificationandprediction[j].fuzzysetsandsystems,1996,83(3):325-339.
[7]rivalsi,personnazl.arecursivealgorithmbasedontheextendedkalmanfilterforthetrainingoffeedforwardneuralmodels[j].neurocomputing,1998,20(1):279-294.
[8]simond.trainingradialbasisneuralnetworkswiththeextendedkalmanfilter[j].neurocomputing,2002,48(1):455-475.
[9]wushi-qian,ermj,gaoyang.afastapproachforautomatic?generationoffuzzyrulesbygeneralizeddynamicfuzzyneuralnetworks[j].ieeetransonfuzzysystems,2001,9(4):578-594.
神经网络学习规则篇4
股票市场是一个非线性的系统,本文基于Bp神经网络,以1998年~2008年的上证股市大盘增幅数据作为训练,对以后的一年多数据进行验证,以证实神经网络对股市的预测。
[关键词]Bp神经网络股票市场预测验证
一、神经网络概述
人工神经网络是由大量处理单元广泛互联而成的网络,是对人脑的抽象、简化和模拟,反映人脑的基本特性,它与人脑的相似之处概括为两个方面:一是通过学习过程利用神经网络从外部环境中获取知识;二是内部神经元(突触权值)用来存储获取的知识信息。
一般的神经网络都是可调节的,或者说可训练的,这样一个特定的输入便可得到要求的输出。如图1.1所示:
图1.1输入/目标对应的方法图
1.人工神经元
人工神经元是生物神经元的模拟与抽象,是构成人工神经网络的基本单元,因此构造一个人工神经网络系统,首先要构造人工神经元模型。一个具有n个输入分量的单个神经元模型如图所示:
图1.2单个人工神经元模型
人工神经元的三个基本要素:
(1)一组连接,连接强度由各连接上的权值表示,权值为正表示激活,为负表示抑制。
(2)一个求和单元,用于求取各输入信号的加权和。
(3)一个非线性激活函数,起非线性映射作用并将神经元输出幅度限制在一定范围内(一般限制在[0,1或[-1,+1]之间)。
此外还有一个偏差,即与阈值θ
人工神经元相当于一个多输入单输出的非线性阈值器件。这里的表示它的n个输入,表示与它相连的n个突触的连接强度,对应于生物神经细胞的膜电位;o表示这个人工神经元的输出;θ表示这个人工神经元的阈值.如果输入信号的加权和超过θ,则人工神经元被激活。这样,人工神经元的输出可描述为,式中,表示神经元的输入输出关系的函数称为激活函数或输出函数。
人工信息元的信息处理过程分为三个部分,首先完成输入信号与神经元连接强度的内积运算,然后再将结果通过激活函数,再经过阈值的判断,如果输入值大于阈值门限,则神经元被激活,否则处于抑制状态。
2.人工神经网络模型
人工神经网络是由大量的神经元按照一定的模式(层内连接、循环连接和层间连接)相互连接而成的。按一定规则将神经元连接而成神经网络,才能实现对复杂信息的处理与存储。经过几十年的兴衰,人们己经发展了上百种人工神经网络,但大部分网络都是几种典型网络的变形和组合。一般地说,人工神经网络的连接形式和拓扑结构可分为两大类:即分层型和互联型神经网络。分层型神经网络又分为简单的前馈网络、反馈型前馈网络、和内层互联前馈网络。
二、Bp网络理论
1.Bp网络概述
目前,在众多神经网络中,误差反向传播(errorBackpropagation)网络由于其良好的逼近能力和成熟的训练方法而得到了最为广泛的应用。Bp网络由Rumelhat等人于1985年建立,它是一种多层前馈神经网络,由一个输入层、一个输出层和若干个隐含层所组成。位于同一层的单元之间不允许有连接,各层的单元只能向高层的单元输出激活信号。Bp算法是用于前馈多层网络的学习算法,前馈多层网络的结构一般如图2.1所示
Bp网络含有输入层、输出层以及处于输入输出层之间的中间层。中间层有单层或多层,由于它们和外界没有直接的联系,故也称为隐层。在隐层中的神经元也称隐单元。隐层虽然和外界不连接.但是,它们的状态则影响输入输出之间的关系。这也是说,改变隐层的权系数,可以改变整个多层神经网络的性能。
2.Bp网络的学习过程
Bp网络采用有教师的学习规则,其算法的核心是通过一边向后传播误差,一边修正误差的方法来不断调节网络参数(权、阀值),以实现或逼近所希望的输入、输出映射关系。它对每一个学习过程进行两趟传播计算
(1)工作信号正向传播
输入信号从输入层经隐含层,在输出端产生输出信号。在信号的向前传递过程中网络的权值保持不变,每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出,则转入误差信号的反向传播。
(2)误差信号反向传播
网络的实际输出与期望输出之间差值即为误差信号,误差信号由输出端逐层向前传播。在误差信号反向传播的过程中,网络的权值由误差反馈进行调解。通过权值的不断修正使网络的实际输出更接近期望输出。
3.Bp算法的改进
在实际应用中,传统的基于标准梯度下降法的Bp算法在求解实际问题时很难胜任。为此,人们在标准Bp算法的基础上进行了许多有益的改进,主要目标是为了加快训练速度,避免陷入局部极小值和改善其能力。改进后的Bp网络的训练收敛速度比标准梯度下降法快数十倍乃至数百倍。
Bp算法的改进分为两类,一类是基于标准梯度下降法的算法改进,如动量、自适应学习速率法、弹性Bp法等;另一类是基于数值优化方法的改进,如共轭梯度法、拟牛顿法、Lm算法等。这里介绍最常用的两种方法:动量法、自适应学习速率法。
(1)附加动量的Bp算法
标准Bp算法的权值调节公式为,式中,为本次权值校正量,k为训练次数,为学习速率,为节点误差,为该节点相应的输入值。
附加动量法每一次对连接权或输出阈值进行校正时,按一定比例加上前一次学习时的校正量,即动量项,由此加速网络学习的收敛速度。具体做法是,上式中,mc为动量因子(0
该方法是在反向传播法的基础上在每一个权值的变化上加上一项正比前次权值变化量的值,并根据反向传播法来产生新的权值变化。
附加动量法的实质是将最后一次权值的影响,通过一个动量因子来传递。当动量因子取值为零时,权值的变化仅是根据梯度下降法产生;当动量因子取值为1时,新的权值变化则是设置为最后一次权值的变化,而依梯度法产生的变化部分则被忽略掉了。以此方式,当增加了动量后,促使权值的调节向着误差曲面底部的平均方向变化,当网络权值进入误差曲面底部的平坦区时,将变得很小,于是,从而防止了的出现,有助于使网络从误差曲面的局部极小值中跳出。
根据附加动量法的设计原理,当修正的权值在误差中导致太大的增长结果是,新的权值应被取消而不被采用,并使动量作用停止下来,以使网络不进入较大误差曲面;当新的误差变化率对其旧值超过一个事先设定的最大误差变化率时,也得取消所计算的权值变化。其最大误差变化率可以是任何大于或等于1的值。典型的值取1.04。所以在进行附加动量法的训练程序设计时,必须加进条件判断。
训练程序中对采用动量法的判断条件为:
式中,k为训练次数,SSe为网络误差平方和。
附加动量的引入可使网络在修正其权值时,不仅考虑局部的梯度信息,而且考虑误差曲面最近的变化趋势,其作用如同一个低通滤波器,它允许网络忽略网络上的微小变化特性。在没有附加动量的作用下,网络可能陷入浅的局部极小值,利用附加动量的作用则有可能滑过这些极小值。
(2)自适应学习率调整的Bp算法
在标准Bp算法的权值调节公式中,是步长,表示学习速率,在训练过程中始终保持不变。对于一个特定的问题,要选择适当的学习速率不是一件容易的事情。通常是凭经验或实验获取,但即使这样,对训练开始初期功效较好的学习速率,不见得对后来的训练合适。为了解决这一问题,人们希望在训练过程中,自动调整学习速率。通常调节学习速率的准则是:检查权值的修正值是否真正降低了误差函数,如果确实如此,则说明所选取的学习速率可能小了,可以对其增加一个适当的量,若不是这样,而产生了过调,那么就应该减小学习速率的值。
自适应学习率调整的基本思想是:在保持训练稳定的前提下,使每次用于修正权值的迭代步长尽可能大。较大时,权值的修改量较大,学习的速率就比较快,但有时可能产生振荡,即误差总不能小于某个特别小的值。而当取较小值时,学习的速率就较慢,但一般比较平稳,将使计算量变得很大。自适应学习率调整这一策略在误差增加不太大的范围内,能提高学习速率,在局部区域内获得有一个近最优的学习速率,从而得到比标准Bp算法更快的收敛速度。
下式给出了一种自适应学习速率的调整公式
式中,k为训练次数,SSe为网络误差平方和。
初始学习速率的选取范围可以有很大的随意性。
与采用附加动量时的判断条件相仿,当新误差超过旧误差一定的倍数时,学习速率将减小,否则其学习速率保持不变;当新误差小于旧误差时,学习速率将被增加。此方法可以保证网络总是可以以最大可接受的学习速率进行训练。当一个较大的学习速率仍能够使用网络稳定学习,使其误差继续下降,则增加学习速率,使其以更大的学习速率进行学习。一旦学习速率调得过大,而不能保证误差继续减少,则减少学习速率直到使其学习过程稳定为止。
4.提高网络的推广能力
推广能力(Generalization)是衡量神经网络性能好坏的重要标志。所谓推广能力,就是指神经网络对训练样本以外的新样本数据的正确反映能力。一个“过度训练”(overtraining)的神经网络可能会对训练样本集达到较高的匹配效果,但对于一个新的输入样本矢量却可能会产生与目标矢量差别较大的输出,即神经网络不具有或具有较差的推广能力。
网络设计完成后,要运用样本集进行训练。对推广能力的测试不能用训练集的数据进行,而要用训练集以外的测试数据来进行检测。一般的做法是,将训练集的可用样本随机的分成两部份;一部分作为训练集,一部分作为测试集。隐层结点数一定的情况下,为了获得好的推广能力存在一个最佳训练次数。
三、基于Bp神经网络的股市验证
我们选取上证股市大盘在1998年3月10号到2009年12月2号间的大盘每日涨幅数据作为训练样本和预测样本,训练样本区间选择1998年3月10日-2008年5月21号,共2466个大盘每日涨幅。预测样本为2008年5月22号-2009年12月2号的大盘每日涨幅,共375个数据。
为了加快网络的收敛性,我们对收益率数据进行归一化处理,采用matLaB的premnmx函数,将收益率数据变成的取值为(-1,1)之间的数据。网络训练和仿真完成后再采用matLaB的postmnmx函数将数据反归一化变成实际需要的收益率数据。
1.网络结构设计
神经网络结构设计主要需要确定输入输出的节点数、网络层数、隐层节点数等。由于上证综指收益率数据具有混沌特性,根据《证综指日收益率的混沌特性》这个论文得相空
其中取时间延迟τ=25,嵌入维数m=12。网络的输入节点数取嵌入维数12,将作为输入。网络的输出节点数取1,目标输出
为。
网络层数:1989年RobertHecht-nielson证明了对于任何在闭区间内的一个连续函数都可以用一个隐层的Bp网络来逼近,因而一个三层的Bp网络可以完成任意的n维到m维的映射。基于以上定理我们一般选取一个隐层的Bp网络就可以了。增加层数主要可以更进一步的降低误差,提高精度,但同时也使网络复杂化,从而增加了网络权值的训练时间。而误差精度的提高实际上也可以通过增加隐层中的神经元数目来获得,其训练效果也比增加层数更容易观察和调整。
隐层神经元的选取:隐层神经元的作用是从样本中提取并存储其内在规律,每个神经元有若干个权值,而每个权值都是增强网络映射能力的一个参数。网络训练精度的提高,可以通过采用一个隐层,而增加其神经元数的方法来获得。这在结构实现上,要比增加更多的隐层要简单的多。
那么究竟选取多少个隐层节点才合适?神经元数量太少,网络从样本中获取信息的能力就差,不足以概括和体现样本规律;神经元数量过多,又可能把样本中非规律性的内容,如噪声等也学会记牢,从而出现所谓“过度吻合”问题。因此,如何确定一个适当的神经元个数是我们要着重考虑的问题。Gorman曾认为隐点数s与模式数n的关系为s=log2n,但大多数情况并非如此,网络修剪与增长方法都是根据网络收敛性能的好坏来决定隐点节数的增减,不仅具有很大的盲目性,而且是很费时间的过程。江苏理工大学信息科学研究所的高大启教授在他的论文《有教师的线性基本函数前向三层神经网络结构研究》中给出了三层网络的隐点数经验公式,其中,s为隐点数,m为输入节点数,n为输出节点数。在实际应用,由这个公式确定的隐点数效果较好。本文中m=12,n=1,求出隐层节点数s=7。
网络激活函数的选取:由于归一化后的数据的取值范围在(-1,1)之间,所以本文采用双曲正切S型函数
网络的训练方法:采用将附加动量法和自适应学习率法结合起来使用的改进的Bp算法。
2.网络训练与仿真
本文运用matLaB程序对上文设计好的神经网络进行训练,训练样本区间选择1998年3月10日-2008年5月21号,共2466个大盘每日涨幅,如图1.10。
将训练好的神经网络模型用于仿真2008年5月22号-2009年12月2号的大盘每日涨幅,共375个数据。得到的预测值与真实值见附录,图形见图1.11。
图3.2神经网络预测值与真实值图
四、总结和展望
目前,非线性经济学在资本市场定价方面的研究仍在不断发展中,研究热点主要集中在两个方面:一是对股票价格是否存在非线性甚至是混沌的诊断研究;二是试图建立非线性模型来研究股票价格定价及其变动。迄今为止。资本市场上存在非线性的现象得到较广泛的实证支持。但是否存在混沌,还存在较多的疑问,并没有得到最终的定论。但无论如何。非线性经济学对传统经济学基础的挑战是不容忽视的,它为资本市场定价的研究开辟了一个新的视野,使资本市场的定价行为的研究更接近这种行为本身的真实状况。因此,它在很大程度上预示着资本市场定价理论的未来发展的一个方向。
参考文献:
[1]陈其安,杨秀苔:中国股市的收益分布特征[J].统计与决策.2005,04:110-112
[2]杜修立:涨跌幅限制对中国股市结构及有效性的经验分析[J].财经问题研究.2006,12:54-58
[3]杨再斌:我国证券市场股价运动非线性特征检验[J].上海立信会计学院学报.2006,7:78-83
[4]葛哲学孙志强:神经网络理论与matlab2007实现[m].电子工业出版社.2008年5月
[5]黄诒荣:中国股市分形结构:理论与实证[m].中山大学出版社.2006.3月
神经网络学习规则篇5
［关键词］Bp神经网络农业工程农业管理农业决策
一、引言
采用神经网络算法的信息处理技术，以其较强的计算性和学习性，现如今已经在各工程领域内得到了广泛应用。随着科技不断的发展和研究的不断深入，农业系统中采用的传统分析和管理的方法已经不能满足农业工程领域快速发展的需要。在农业系统中采用神经网络技术可在一定程度上可弥补传统方法的不足，现已成为实现农业现代化的一个重要途径。神经网络现已在农业生产的各个环节得到广泛的应用，从作物营养控制、作物疾病诊断、产量预测到产品分级，显示了巨大的潜力，并正以很快的速度与生产实际相结合。目前应用比较多的Bp神经网络，可通过学习以任意精度逼近任何连续映射，在农业生产与科研中展示出了广阔的应用前景。
Bp人工神经网络方法。人工神经网络是对生物神经网络的简化和模拟的一种信息处理系统，具有很强的信息存贮能力和计算能力，属于一种非经典的数值算法。通常可分为前向神经网络、反馈神经网络和自组织映射神经网络。Bp神经网络(Backpropugationneura1network)是一种单向传播的多层前向神经网络，可通过连续不断的在相对于误差函数斜率下降的方向上计算网络权值以及偏差的变化而逐渐逼近目标值，每一次数字和偏差的变化都与网络误差的影响成正比，并以反向传播的方式传递到每一层，从而实现了神经网络的学习过程。Bp人工神经网络的结构如图所示，Bp神经网络可分为输入层、中间层(隐含层)和输出层，其中输入和输出都只有一层，中间层可有一层或多层。同层的网络结点之间没有连接。每个网络结点表示一个神经元，其传递函数通常采用Sigmoid型函数。Bp神经网络相当于从输入到输出的高度非线性映射，对于样本输入和输出，可以认为存在某一映射函数g，使得y0=g(xi)，i＝1，2，3，…，m，其中m为样本数，xi为输入样本，yo为输出结果。
Bp神经网络的一个显著优点就是其可进行自学习，能够通过训练得到预期的效果。其学习过程由正向传播和反向传播组成，神经网络的输入值经过非线性变换从输入层经隐含层神经元的逐层处理传向输出层，此为正向传播过程。每一层神经元的状态将影响到下一层神经元状态。如果输出层得到的数值与期望输出有一定的偏差，则转入反向传播过程。神经网络通过对输入值和希望的输出值(教师值)进行比较，根据两者之间的差的函数来调整神经网络的各层的连接权值和各个神经元的阈值，最终使误差函数达到最小。其调整的过程是由后向前进行的，称为误差反向传播Bp算法。具体学习过程如下：
（1)随机给各个权值赋一个初始权值，要求各个权值互不相等，且均为较小的非零数。
（2)输入样本集中每一个样本值，确定相应的网络实际输出值。
（3)计算实际的输出值与相应的样本集中的相应输出值的差值。
（4)按极小误差方式调整权值矩阵。
（5)判断网络误差是否小于训练前人为设定的一个较小的值，若小于，则跳出运算，此时的结果为神经网络的最终训练结果；若大于，则继续计算。
（6）判断最大迭代次数是否大于预先设定的数，若小于，返回（2）;若大于，则中止运算，其结果为神经网络的最终训练结果。
上述的计算过程循环进行，直到完成给定的训练次数或达到设定的误差终止值。
二、Bp神经网络在农业工程领域中的应用
1.在农业生产管理与农业决策中的应用
农业生产管理受地域、环境、季节等影响较大，用产生式规则完整描述实际系统，可能会因组合规则过多而无法实现。神经网络的一个显著的优点就是其具有较强的自学习、自适应、自组织能力，通过对有代表性的样本的学习可以掌握学习对象的内在规律，从而可以在一定程度上克服上述信息量大的问题。神经网络在农业生产管理方面可用于农作物生长过程中对农作物生长需求进行预测，从而通过对养分、水分、温度、以及pH值的优化控制达到最优的生长状况。采用神经网络预测算法的主要思想可描述为：（1）收集一定规模的样本集，采用Bp算法进行训练，使网络收敛到预定的精度；（2）将网络权值矩阵保存到一存储介质中，例如文本文件或数据库中；（3）对于待预测数据的输入部分，从存储介质中读出网络连接权值矩阵，然后通过Bp神经网络的前向传播算法计算网络输出，输出结果既是预测出来的数值向量。如霍再林等针对油葵不同阶段的相对土壤含盐浓度对其产量的影响有一定的规律的现象，以油葵的6个成长阶段的土壤溶液含盐的相对浓度为输入样本，相对产量为输出样本，通过比较发现，训练后的神经网络能较好预测油葵产量，采用此方法可补充传统模型的不足，为今后进一步的研究开辟了新路。
在农业决策方面，主要将农业专家面对各种问题时所采取的方法的经验，作为神经网络的学习样本，从而采用神经网络建立的专家系统将从一定程度上弥补了传统方法的不足，将农业决策智能化。如何勇、宋海燕针对传统专家系统自学习能力差的缺点，利用神经网络可自我训练的优点，将神经网络引入专家系统中。将小麦缺素时的田间宏观表现，叶部、茎部、果实症状及引起缺素的原因这五个方面的可信度值作为神经网络的输入量，将农业专家诊断的结论作为输出量，将这些数据作为神经网络的训练数据。实际应用表明此系统自动诊断的结果与专家现场诊断的结果基本一致，从而采用该系统能够取代专家，实现作物的自我诊断，为农业管理方面提供了极大的帮助。如马成林等针对于传统施肥决策方法中非线性关系描述不足的问题，基于数据包分析和Bp神经网络，建立了施肥决策模型，应用表明，在有限的范围内，模型预测结果较为合理，可以反映玉米的需肥特性。刘铖等人提出采用神经网络应用在农业生产决策中，以莜麦播种方式决策为例，通过对产生式规则的分析导出神经网络输入、输出单元数，并通过多次试验确定隐层单元数，用matLaB方针结果表明，采用神经网络作为农业生产决策的方法，取得了较好的效果。谭宗琨提出将基于互联网环境下的神经网络应用在玉米智能农业专家系统中，根据农作物发育进程分成若干个发育期，分别对各个发育期建立管理模型，依照作物各发育期进程时间间隔，由计算机系统自动选取相应的模型进行决策。应用分析的结果表明采用神经网络的玉米智能专家系统已初步接近农业生产的实际。
2.在农产品外观分析和品质评判
农产品的外观，如形状、大小、色泽等在生产过程中是不断变化的，并且受人为和自然等复杂因素的影响较大。农产品的外观直接影响到农产品的销售，研究出农作物外观受人为和自然的影响因素，通过神经网络进行生产预测，可解决农产品由于不良外观而造成的损失。如murase等针对西红柿表皮破裂的现象，西红柿表皮应力的增长与西红柿果肉靠近表皮部分水分的增加有关，当表皮应力超过最大表皮强度时，将导致表皮破裂。用人工神经网络系统，预测在环境温度下的表皮应力，可通过控制环境变量来减少西红柿表皮破裂所造成的损失。
在农业科研和生产中，农产品的品质评判大多是依赖于对农产品外观的辨识。例如对果形尺寸和颜色等外观判别果实的成熟度，作物与杂草的辨别，种子的外观质量检测。由于农业环境的复杂性和生物的多样性，农产品的外观不具有较确定的规律性和可描述性，单一采用图像处理技术辨识农产品的外观时不宜过多采取失真处理和变换，否则则增加图像处理的复杂性，特征判别也相对困难。人工神经网络由于其具有自学习、自组织的能力，比较适宜解决农业领域中许多难以用常规数学方法表达的复杂问题，与图像处理技术相结合后，可根据图像特征进行选择性判别。采用此方法可以部分替代人工识别的工作，提高了生产效率，也有利于实现农业现代化。如Liao等将玉米籽粒图像用34个特征参数作为神经网络的输入变量，将输出的种粒形态分为5类，经过学习的神经网络对完整籽粒分类的准确率达到93％，破籽粒分类的准确率达91％。
3.蔬菜、果实、谷物等农产品的分级和鉴定
在农业生产中，蔬菜、果实、谷物等农产品的分级和鉴定是通过对农产品外观的辨识进行的。传统的农产品外观的辨识方法费时费力、预测可靠度很低，而且多采用人工操作，评价受到操作者主观因素的影响，评判的精度难以保证。利用人工神经网络技术结合图像处理技术可部分代替以往这些主要依靠人工识别的工作，从而大大提高生产效率，实现农业生产与管理的自动化和智能化。
利用Bp神经网络技术对农产品果形尺寸和颜色等外观评判，目前国内外已有不少成果用于实际生产中。何东健等以计算机视觉技术进行果实颜色自动分级为目的，研究了用人工神经网络进行颜色分级的方法。分别用120个着色不同的红星和红富士苹果作为训练样本集对网络进行离线训练。两个品种的苹果先由人工依据标准按着色度分成4级，对每一个品种分别求出7个模式特征值作为Bp网络的输入，用训练好的神经网络进行分级。结果表明红富士和红星果实的平均分级一致率分别为94.2％和94.4％。刘禾等用对称特征、长宽特征、宽度特征、比值特征等一系列特征值来描述果形。采用Bp网络与人工智能相结合，建立果形判别人工神经网络专家系统。试验水果品种为富士和国光。试验表明系统对富士学习率为80％，对非学习样本的富士苹果的果形判别推确率为75％，系统对国光学习率为89％，对非学习样本的国光苹果果形判别系统的难确率为82％。
三、未来的发展方向
人工神经网络的信息处理技术现已在农业工程领域内得到了迅速的应用，采用人工神经网络算法的农业系统能够从一定程度上改善控制效果，但此技术在农业范围内还不够成熟，有待于进一步的研究。今后科研的方向大体上可以从以下几方面着手：
1.人工神经网络算法的改进
人工神经网络算法由于本身具有一定的缺点，从而采用人工神经网络的算法的信息处理技术在应用过程中具有一定的局限性。在今后的研究中，可以从人工神经网络方向着手，改进人工神经网络算法，从而实现其在农业领域内更好的应用。近年来随着模糊算法、蚁群算法等算法的相继出现，将神经网络与其他算法结合在一起已经成为了研究的热门话题，也是未来算法研究的主要方向之一。
2.应用领域的扩展
人工神经网络算法在农业工程方面现已得到了迅速的发展，扩展其在农业工程领域的应用范围是未来的一个主要研究方向。人工神经网络由于其具有自学习能力，可对农业系统的非线形特性进行较好的描述，采用人工神经网络可解决传统方法的不足，从而实现农业现代化。如何将神经网络较好地引入到农业系统，解决农业工程中的部分问题，已是今后农业科研中的一个方向。
四、结束语
神经网络作为一种人工智能范畴的计算方法，具有良好的自学习与数学计算的能力，可通过计算机程序进行模拟运算，现已广泛用于模式识别、管理决策等方面。随着计算机硬件和软件的不断发展与农业工程方面的研究的不断深入，神经网络将在农业管理、农业决策、农作物外观分类、品质评判等方面充分发挥其自学习能力强，计算能力强的优势，通过对样本数据的学习，神经网络可较好地解决农作物生长过程中的作物分类、预测等非线形的问题。在农业工程领域内，神经网络拥有广阔的科研前景。
参考文献:
[1]余英林李海洲:神经网络与信号分析[m].广州:华南理工大学出版社,1996:45
[2]霍再林史海滨孔东等:基于人工神经网络的作物水―盐响应初步研究[J].内蒙古农业大学学报，2003，24（3）：66～70
[3]何勇宋海燕:基于神经网络的作物营养诊断专家系统[J].农业工程学报,2005,21（1）:110～113
[4]马成林吴才聪张书慧等:基与数据包络分析和人工神经网络的变量施肥决策方法研究[J].农业工程学报,2006，20（2）:152～155
[5]刘铖杨盘洪:莜麦播种方式决策的Bp神经网络模型[J].太原理工大学学报，2006,37(5):119～121
[6]谭宗琨:Bp人工神经网络在玉米智能农业专家系统中的应用[J].农业网络信息，2004(10):9～1
[7]LiaoK,LiZ,ReidJF,etal.Knoledge-basedcolordiscriminationofcornkernels[J].aSaepaper[C].92～3579
神经网络学习规则篇6
人脑是自生命诞生以来，生物经过数十亿年漫长岁月进化的结果，是具有高度智能的复杂系统，它不必采用繁复的数字计算和逻辑运算，却能灵活处理各种复杂的，不精确的和模糊的信息，善于理解语言、图象并具有直觉感知等功能。
人脑的信息处理机制极其复杂，从结构上看它是包含有140亿神经细胞的大规模网络。单个神经细胞的工作速度并不高（毫秒级），但它通过超并行处理使得整个系统实现处理的高速性和信息表现的多样性。
因此，从信息处理的角度对人脑进行探究，并由此研制出一种象人脑一样能够“思维”的智能计算机和智能信息处理方法，一直是人工智能追求的目标。
神经网络就是通过对人脑的基本单元---神经元的建模和联结，来探索模拟人脑神经系统功能的模型，并研制一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统。本文介绍神经网络的特征以及近年来有关神经网络和混沌理论、模糊计算和遗传算法等相结合的混合神经网络探究的动态。
一．神经网络和联结主义
回顾认知科学的发展，有所谓符号主义和联结主义两大流派。符号主义从宏观层次上，撇开人脑的内部结构和机制，仅从人脑外在表现出来的智能现象出发进行探究。例如，将记忆、判定、推理、学习等心理活动总结成规律、甚至编制成规则，然后用计算机进行模拟，使计算机表现出各种智能。
符号主义认为，熟悉的基本元素是符号，认知过程是对符号表示的运算。人类的语言，文字的思维均可用符号来描述，而且思维过程只不过是这些符号的存储、变换和输入、输出而已。以这种方法实现的系统具有串行、线性、准确、简洁、易于表达的特征，体现了逻辑思维的基本特性。七十年代的专家系统和八十年代日本的第五代计算机探究计划就是其主要代表。
联接主义则和其不同，其特征是从微观出发。联接主义认为符号是不存在的，认知的基本元素就是神经细胞（神经元），认知过程是大量神经元的联接，以及这种联接所引起的神经元的不同兴奋状态和系统所表现出的总体行为。八十年代再度兴起的神经网络和神经计算机就是这种联接主义的代表。
神经网络的主要特征是摘要：大规模的并行处理和分布式的信息存储，良好的自适应、自组织性，以及很强的学习功能、联想功能和容错功能。和当今的冯．诺依曼式计算机相比，更加接近人脑的信息处理模式。主要表现如下摘要：
神经网络能够处理连续的模拟信号。例如连续灰度变化的图象信号。
能够处理混沌的、不完全的、模糊的信息。
传统的计算机能给出精确的解答，神经网络给出的是次最优的逼近解答。
神经网络并行分布工作，各组成部分同时参和运算，单个神经元的动作速度不高，但总体的处理速度极快。
神经网络信息存储分布于全网络各个权重变换之中，某些单元障碍并不影响信息的完整，具有鲁棒性。
传统计算机要求有准确的输入条件，才能给出精确解。神经网络只要求部分条件，甚至对于包含有部分错误的输入，也能得出较好的解答，具有容错性。
神经网络在处理自然语言理解、图象模式识别、景物理解、不完整信息的处理、智能机器人控制等方面有优势。
符号主义和联接主义两者各有特色，学术界目前有一种看法摘要：认为基于符号主义得传统人工智能和基于联接主义得神经网络是分别描述人脑左、右半脑的功能，反映了人类智能的两重性摘要：精确处理和非精确处理，分别面向熟悉的理性和感性两个方面，两者的关系应该是互补而非互相代替。理想的智能系统及其表现的智能行为应是两者相互结合的结果。
接下去的新问题是，符号ai和联接ai具体如何结合，两者在智能系统中相互关系如何？分别扮演什么角色？目前这方面发表的文献很多，大致有如下几种类型摘要：
1．松耦合模型摘要：符号机制的专家系统和联接机制的神经网络通过一个中间媒介（例如数据文件）进行通讯。
2．紧耦合模型摘要：和松耦合模型相比较，其通讯不是通过外部数据进行，而是直接通过内部数据完成，具有较高的效率。其主要类型有嵌入式系统和黑板结构等。
3．转换模型摘要：将专家系统的知识转换成神经网络，或把神经网络转换成专家系统的知识，转换前的系统称为源系统，转换后的系统称为目标系统，由一种机制转成另一种机制。假如源系统是专家系统，目标系统是神经网络，则可获得学习能力及自适应性；反之，可获得单步推理能力、解释能力及知识的显式表示。当然，转换需要在两种的机制之间，确定结构上的一致性，目前主要新问题是还没有一种完备而精确的转换方法实现两者的转换。有待进一步探究。
4．综合模型摘要：综合模型共享数据结构和知识表示，这时联接机制和符号机制不再分开，两者相互结合成为一个整体，既具有符号机制的逻辑功能，又有联接机制的自适应和容错性的优点和特征。例如联接主义的专家系统等。
近年来神经网络探究的另一个趋向，是将它和模糊逻辑、混沌理论、遗传进化算法等相结合，即所谓“混合神经网络”方法。由于这些理论和算法都是属于仿效生物体信息处理的方法，人们希望通过她们之间的相互结合，能够获得具有有柔性信息处理功能的系统。下面分别介绍。
二．混沌理论和智能信息处理
混沌理论是对貌似无序而实际有序，表面上看来是杂乱无章的现象中，找出其规律，并予以处理的一门学科。早在七十年代，美国和欧洲的一些物理学家、生物学家、数学家就致力于寻求在许许多多不同种类的不规则性之间的联系。生物学家发现在人类的心脏中有混沌现象存在，血管在显微镜下交叉缠绕，其中也有惊人的有序性。在生物脑神经系统中从微观的神经膜电位到宏观的脑电波，都可以观察到混沌的性态，证实混沌也是神经系统的正常特性。
九十年代开始，则更进一步将混沌和神经网络结合起来，提出多种混沌神经网络模型，并探索应用混沌理论的各种信息处理方法。例如，在神经元模型中，引入神经膜的不应性，探究神经元模型的混沌响应，探究在神经网络的方程中，不应性项的定标参数，不定性时间衰减常数等参数的性质，以及这些参数于神经网络混沌响应的关系，并确定混沌---神经网络模型具有混沌解的参数空间。经过试验，由这种混沌神经网络模型所绘出的输出图形和脑电图极为相似。
现代脑科学把人脑的工作过程看成为复杂的多层次的混沌动力学系统。脑功能的物理基础是混沌性质的过程，脑的工作包含有混沌的性质。通过混沌动力学，探究、分析脑模型的信息处理能力，可进一步探索动态联想记忆、动态学习并应用到模式识别等工程领域。例如摘要：
对混沌的随机不规则现象，可利用混沌理论进行非线性猜测和决策。
对被噪声所掩盖的微弱信号，假如噪声是一种混沌现象，则可通过非线性辨识，有效进行滤波。
利用混沌现象对初始值的敏锐依靠性，构成模式识别系统。
探究基于混沌---神经网络自适应存储检索算法。该算法主要包括三个步骤，即摘要：特征提取、自适应学习和检索。
模式特征提取采用从简单的吸引子到混沌的层次分支结构来描述，这种分支结构有可能通过少数几个系统参数的变化来加以控制，使复杂新问题简单化。自适应学习采用神经网络的误差反传学习法。检索过程是通过一个具有稳定吸引子的动力学系统来完成，即利用输入的初始条件和某个吸引子（输出）之间的存在直接对应关系的方法进行检索。利用这种方法可应用于模式识别。例如黑白图象的人脸识别。
三．模糊集理论和模糊工程
八十年代以来在模糊集理论和应用方面，也有很大进展。1983年美国西海岸ai探究所发表了称为ReVeaL的模糊辅助决策系统并投入市场，1986年美国将模糊逻辑导入opS---5，并探究成功模糊专家系统外壳FLopS，1987年英国发表采用模糊pRoLoG的智能系统FRiL等。除此通用工具的研制以外，各国还开发一系列用于专用目的的智能信息处理系统并实际应用于智能控制、模式识别、医疗诊断、故障检测等方面。
模糊集理论和神经网络虽然都属于仿效生物体信息处理机制以获得柔性信息处理功能的理论，但两者所用的探究方法却大不相同，神经网络着眼于脑的微观网络结构，通过学习、自组织化和非线性动力学理论形成的并行分析方法，可处理无法语言化的模式信息。而模糊集理论则着眼于可用语言和概念作为代表的脑的宏观功能，按照人为引入的隶属度函数，逻辑的处理包含有模糊性的语言信息。
神经网络和模糊集理论目标相近而方法各异。因此假如两者相互结合，必能达到取长补短的功能。将模糊和神经网络相结合的探究，约在15年前便已在神经网络领域开始，为了描述神经细胞模型，开始采用模糊语言，把模糊集合及其运算用于神经元模型和描述神经网络系统。目前，有关模糊---神经网络模型的探究大体上可分为两类摘要：一类是以神经网络为主，结合模糊集理论。例如，将神经网络参数模糊化，采用模糊集合进行模糊运算。另一类以模糊集、模糊逻辑为主，结合神经网络方法，利用神经网络的自组织特性，达到柔性信息处理的目的。
和神经网络相比，模糊集理论和模糊计算是更接近实用化的理论，非凡近年来美国和日本的各大公司都纷纷推出各种模糊芯片，研制了型号繁多的模糊推理板，并实际应用于智能控制等各个应用领域，建立“模糊工程”这样一个新领域。日本更首先在模糊家电方面打开市场，带有模糊控制，甚至标以神经---模糊智能控制的洗衣机、电冰箱、空调器、摄象机等已成为新一代家电的时髦产品。我国目前市场上也有许多洗衣机，例如荣事达洗衣机就是采用模糊神经网络智能控制方式的洗衣机。
四．遗传算法
遗传算法（Geneticalgorithm摘要：Ga）是模拟生物的进化现象（自然、淘汰、交叉、忽然变异）的一种概率搜索和最优化方法。是模拟自然淘汰和遗传现象的工程模型。
Ga的历史可追溯到1960年，明确提出遗传算法的是1975年美国michigan大学的Holland博士，他根据生物进化过程的适应现象，提出如下的Ga模型方案摘要：
1．将多个生物的染色体（Chromosmoe）组成的符号集合，按文字进行编码，称为个体。
2．定义评价函数，表示个体对外部环境的适应性。其数值大的个体表示对外部环境的适应性高，它的生存（子孙的延续）的概率也高。
3．每个个体由多个“部分”组合而成，每个部分随机进行交叉及忽然变异等变化，并由此产生子孙（遗传现象）。
4．个体的集合通过遗传，由选择淘汰产生下一代。
遗传算法提出之后，很快得到人工智能、计算机、生物学等领域科学家的高度重视，并在各方面广泛应用。1989年美国Goldberg博士发表一本专著摘要：“GeneticalgorithmsinSearch，optimizationandmachineLearning”。出版后产生较大影响，该书对Ga的数学基础理论，Ga的基本定理、数理分析以及在搜索法、最优化、机器学习等Ga应用方面进行了深入浅出的介绍，并附有pascal模拟程序。
1985年7月在美国召开第一届“遗传算法国际会议”（iCGa）。以后每隔两年召开一次。近年来，遗传算法发展很快，并广泛应用于信息技术的各个领域，例如摘要：
智能控制摘要：机器人控制。机器人路径规划。
工程设计摘要：微电子芯片的布局、布线；通信网络设计、滤波器设计、喷气发动机设计。
图象处理摘要：图象恢复、图象识别、特征抽取。
调度规划摘要：生产规划、调度新问题、并行机任务分配。
优化理论摘要：tSp新问题、背包新问题、图划分新问题。
人工生命摘要：生命的遗传进化以及自增殖、自适应；免疫系统、生态系统等方面的探究。
神经网络、模糊集理论和以遗传算法为代表的进化算法都是仿效生物信息处理模式以获得智能信息处理功能的理论。三者目标相近而方法各异；将它们相互结合，必能达到取长补短、各显优势的效果。例如，遗传算法和神经网络和模糊计算相结合方面就有摘要：
神经网络连续权的进化。
传统神经网络如Bp网络是通过学习，并按一定规则来改变数值分布。这种方法有练习时间过长和轻易陷入局部优化的新问题。采用遗传算法优化神经网络可以克服这个缺点。
神经网络结构的进化。
目前神经网络结构的设计全靠设计者的经验，由人事先确定，还没有一种系统的方法来确定网络结构，采用遗传算法可用来优化神经网络结构。
神经网络学习规则的进化。
神经网络学习规则篇7
关键词：神经网络模糊控制piD控制
0引言
随着我国市场经济的迅速发展，水对人民生活与工业生产的影响日益加强，与此同时用户对供水系统可靠性和供水质量的要求也越来越高；另外，资源的紧缺和人们环保意识的增加，如何把先进的自动化技术、控制技术、通讯及网络技术等应用到供水领域，成为对供水系统的新要求，因此无论是在性能方面考虑还是在节能方面考虑，供水系统都需要巨大的变革。
1传统控制策略
由于变频调速恒压供水系统具有典型的大延迟性、非线性，而且城市用水具有季节性、时间性、水压扰动量大等特点。因此，虽然统治工业控制领域多年的传统piD控制有很多优点并且长期应用于供水系统，但是其固定参数模式致使其不适宜应用于恒压供水系统。由于piD控制拥有很多较好的优点，诸如：原理简单，使用方便，适应强，鲁棒性强等优点。因此在工业控制中人们往往还是会想到piD控制。根据被控对象的不同制定合适的Kp、Ki、KD参数，可以获得满意的控制效果。然而，piD控制并非尽如人意，因为piD控制适合系统模型非时变的情况。对于一个时变系统，由于piD的参数不会随系统变化而动态的调整Kp、Ki、KD参数，这样会使控制作用变差，甚至造成系统不稳定。
与传统piD控制相比，模糊控制具有很多优点。模糊控制是建立在模糊数学基础上的一种智能控制技术，可以达到传统控制策略无法达到的效果。模糊控制能较好得跟随系统状态的变化动态调整自身控制参数，不需要建立精确的控制对象模型，因而在实际上的应用越来越广泛。
但是作为一门较为新型的控制科学，还没有系统的方法来指导设计参数精良的模糊控制器。模糊控制器控制规则的确定以及其可调节性是对其控制效果影响最大的一方面。尤其是控制规则的合理制定是模糊控制中的重要部分。目前存在的主要问题是在建立模糊控制规则时要考虑若干参数的选择是否合适，恰当的选择参数是非常重要的。如在供水系统的水压控制中，系统误差和误差变化率的动态范围需要反复多次整定以满足控制需要。
尽管模糊推理系统的设计（隶属度函数及模糊规则的建立）不主要依靠对象的模型，但是它却相当依靠专家或操作人员的经验和知识。若缺乏这样的经验和知识，则很难期望它能够得到满意的控制效果。神经网络的出现很好的弥补了这一缺陷。神经网络系统的一大特点就是其自学习功能，将这种自学习的方法应用于对模糊特征的分析与建模上，产生了自适应的神经网络技术。这种自适应的神经网络技术对于模糊系统的模型建立是非常有效的工具。而自适应神经模糊系统就是基于数据的建模方法，该系统中的模糊隶属度函数及模糊规则是通过对大量已知数据的学习得到的，而不是基于经验或直觉任意给定的，这对于那些特性还不被人们所完全了解或者特性非常复杂的系统尤为重要。
神经网络可以与模糊控制相结合组成神经网络模糊控制，两者各有所长，神经网络能够通过给定的经验集学习并生成映射规则，但其规则不可见；模糊控制制定的规则虽然可见，但是其自学习能力欠缺，导致其规则的动态调整不足。因此有必要将上述两点结合。
2新型控制策略
由于供水系统的非线性、大惯性及纯滞后性等特点，很显然单纯依靠piD、模糊控制和神经网络控制都不能实现很好的控制效果。因此可以考虑应用一种综合的控制策略以实现对供水系统的良好控制。基于此本文提出了一种新型控制策略――神经模糊piD控制算法，该算法可以综合以上各算法的优点，它不仅具有神经网络控制的自学习自组织能力，还具有模糊控制的鲁棒性强、适应性强的优点，另外还拥有piD控制的实现简单方便等优点，优于以往的算法。
如图显示了神经网络模糊piD控制器的结构框图，该控制器是由三部分组成：
①神经网络控制器：控制模糊规则的动态调整，通过神经网络的自学习，使模糊规则的生成转变为加权系数的确定和调节。根据供水系统的运行状态，调节piD控制器参数，使供水系统最终达到最优控制。
②模糊控制器：对系统的输入输出变量进行模糊化和归一化运算。这些运算的意义是鉴于模糊控制的强鲁棒性和非线性控制作用，对输入到神经网络的模糊规则进行预处理，避免了神经网络采用sigmoid激活函数时，由于输入过大而导致输出饱和。
③传统piD控制器：直接对供水系统的控制过程进行闭环控制，并且三个参数Kp、Ki、KD实行在线调节，使控制作用时刻跟踪系统的变化。
以上过程简要说来就是使输出层神经元的输出状态与piD控制器的Kp、Ki、KD参数相对应，这样可以通过神经网络的自学习能力实现加权系数调整，进而使其稳定状态与piD的最优控制相对应，最终利用piD控制器的输出u来实现对供水系统的水压的控制。
参考文献：
[1]刘萍丽.交流变频恒压供水控制器的设计.大连海事大学硕士学位论文.2005.
[2]谢静，韦力.新型恒压供水系统[J].应用能源技术，11，2010：42-45.
作者简介：
谢静（1968-），女，陕西省咸阳市人，讲师，硕士，研究方向：电工电子、控制工程理论及应用
神经网络学习规则篇8
摘要：旅游需求的预测预报研究一直是旅游学研究的一个重要课题。本文在对到访澳门地区中国内地游客量分析的基础上,运用人工神经网络(ann)的理论和方法,构建了ann模型分析中的3层Bp模型,以澳门近10年（1996-20__）入境来访的中国内地旅游人数为例进行模型验证，模拟结果表明,Bp神经网络预测的结果能够高程度的吻合原始数据，在旅游市场预测中，Bp神经网络预测是一种有效的预测方法。一．问题的提出与分析近年来，对澳门地区的旅游业来说，中国内地旅客是旅游收入的主要来源。目前旅游业已成为澳门地区经济发展特别是第二产业发展的支柱。建立科学的可操作的旅游预测模型是实现澳门地区旅游业持续健康稳定发展的理论基石和前提。由于影响某地旅游人数的因素各异，还不存在普遍适用的神经网络模型。基于此，本文拟用3层Bp神经网络模型来仿真模拟分析和预测澳门地区旅游需求,以此为旅游需求预测提供一种新的方法。二．模型的假设与符号说明1．基本假设1）交通在旅游中通常不是重要的，为了研究的方便（主要是无法获得交通数据），把交通这个影响忽略。2）假设澳门的接待能力都满足需求。3）在本例旅游需求预测模型中，我们考虑的主要因素有：客源地的人口，客源地的总收入，客源地的消费水平，旅游目的地的生活水平。4）为了研究的方便，假定以上四因子之间相互独立，本例旅游需求即为上述四因子的函数，即y=f(GDi,pop,GDe,m-Gp)。就用这四个因素作为人工神经网络模型输入层的神经元。2．符号说明t澳门内地游客量GDi中国内地国民总收入pop中国内地人口总数GDe中国内地国民消费水平m-Gp澳门生产总值三．模型的建立与求解1．人工神经网络模型理论原理
人工神经网络（artificialneuralnetwork）是由大量的、简单元件（神经元）广泛相互联结而成的非线性的、动态的复杂网络信息处理系统，它是在现代神经学研究成果基础上提出的，能模拟人脑的若干基本功能[1]。它具有并行分布的信息处理结构，可以通过“自学习”或“训练”的方式完成某一特定的工作。它可以从积累的工作案例中学习知识，尽可能多地把各种定性或定量的因素作为变量加以输入，从而建立各种影响因素与结论之间的高度非线性映射，采用自适应模式识别方法来完成预测工作[2]。人工神经网络模型尤其是对处理内部规律不甚了解、不能用一组规则或方程进行描述的复杂的、开放的非线性系统显得较为优越。人工神经网络模型一般由处理单元、激活状态、单元输出、连接模式、激活规则、学习规则等6个部分组成。一个多层神经网络中包含有很多个信息处理单元,分布于不同的层次中。根据每项输入和相应的权重获取一个综合信号，当信号超过阈值则激活神经元而产生输出。各类影响因素和最终输出结果之间可以假定存在一种映射,即输出结果＝F（影响因素）。为了寻求最佳的映射关系F，将训练样本集合和输入、输出转化为一种非线性关系，通过对简单非线性函数的复合，从而建立一个高度的非线性映射关系F,最终实现输出值的最优逼近［3］。在人工神经网络的实际应用中，80~90的人工神经网络是采用前馈反向传播网络（back-propagation-network,简称Bp网络）或它的变化形式。Bp神经网络（如图一）是一种单项传播的多层前向神经网络，分为输入层、隐含层和输出层，层与层之间采用全连接方式，同一层单元之间不存在相互连接。它是前向网络的核心部分，体现了人工神经网络最精华的部分[4]。标准的Bp网络是根据w-H学习规则，采用梯度下降算法，对非线性可微函数进行权值训练的多层网络。图一：Bp神经网络的每一层的权值通过学习来调节，其基本处理单元为非线性输入－输出关系，选用S型作用函数：其中：xj为该神经元第i个输入；wij为前一层第i个神经元至该神经元j的连接权值，i＝0时的权值为阈值。其计算步骤如下：（1）给定一组随机的权值和阈值初始值及步长系数η与势态因子α；（2）取学习样本数据，根据学习样本、权值及阀值计算输出，并与学习期望输出比较，当误差满足要求时结束训练，否则将误差向后逐层传播，并修正各层连接权值，调整公式为：其中：k取j结点所在层的前一层所有结点。5）澳门内地旅客人数神经网络模型的建立(一)Bp网络设计网络设计是一个综合性问题，它应满足多种不同要求，例如，希望所涉及的网络有较好的推理能力，易于硬件实现，训练速度快等，其中有较好的推理能力是最主要的。一般来说，推广能力决定于3个主要因素，即问题本身的复杂程度、网络结构以及样本量大小。在一般情况下，旅游需求预测研究中样本的数量是一定的，因此可归结为在样本量一定的情况下，如何选择网络规模的问题。在进行Bp网络预测模型设计中，我们主要考虑以下因素：网络的层数、每层中的神经元个数、初始值的选择、学习速率和期望误差。i)网络的层数已证明：具有偏差和至少一个S型隐含层加上一个线性输出层的网络，能够逼近任何有理函数。所以，本文选择一个3层的Bp网络。ii)每层中神经元的个数输入层和输出层神经元的个数根据解决具体问题的复杂程度而定。为了提高网络训练的精度，可以通过采用一个隐含层，再加上1到2个神经元以加快误差的下降速度即可。因此，本文输入层神经元个数选择为4个，隐含层神经元个数分别选择了9、12、15个，输出层神经元个数选择为1个。iii)初始值的选择由于人工神经网络是一个非线性系统，初始值的选择对于网络学习是否达到局部最小、是否能够收敛以及训练时间的长短都有较大影响。在初始值的选择上一般是使经过初始值加权后的每个神经元的输出值都接近零，这样可以保证每一个神经元的连接权值都能够在它们的S型激活函数变化最大处进行调解。所以，初始值一般选择在（-1,1）之间的随机数。本文的初始值为默认值。iv)学习速率对于任何一个网络都对应一个合适的学习速率。学习速率决定每一次循环训练中所产生的权值的变化量。大的学习速率可以导致网络的不稳定，但是小的学习速率又会导致训练时间延长，收敛速度较慢，不能保证网络的误差能最终趋于最小。综合上述考虑，在学习速率的选择上倾向于选择较小的学习速率以保证网络的稳定性，本文选择的学习速率为0.01。v)期望误差值期望误差值的确定也是通过网络对不同误差值分别进行训练比较后确定的最适合值。所谓的最适合值是相对于所需要的隐含层的节点数来确定的，一个较小的误差值的获得需要增加隐含层的节点以及训练时间。本文经过不断测试，选择0.0001为期望误差值。（二）1．网络训练模式的选择训练网络有两类模式：逐变模式和批变模式。在逐变模式中，每一个输入被作用于网络后，权重和偏置量被更新一次。在批变模式中，所有的输入被应用于网络后，权重和偏置量才被更新一次。使用批变模式不需要为每一层的权重和偏置量设定训练函数，而只需为整个网络制定一个训练函数，使用起来相对方便，因此，本文在进行网络训练时采用批变模式。表格一：年度
澳门的内地游客量(t)（千人）中国内地国民总收入(GDi)（亿元）中国内地人口数(pop)（万人）中国内地居民消费水平（GDe）（元）澳门生产总值（m-Gp）(亿美元)1996604．270142.5122389278966.31997529．877653.1123626300266.71998816．883024.3124761315961.919991645．288189.0125786334659.220__2274．798000.5126743363261.020__3005．7108068.2127627386961.920__4240．4119095.7128453410668.220__5742．0135174.0129227441179.220__9529．7159586.71299884925103.320__10463183956.11307565439115.62．数据和模型的建立神经网络模型要求数据具有：a、易获得性B、可靠性C、可测度性。本项研究采用很可靠的官方发表的数据作为分析的数据源（见表1），主要来自于中国统计局网。用3层Bp网络模型对本例旅游需求进行模拟，根据Bp网络的映射原理，对于样本集合X和输出Y，可以假设存在一映射F。为了寻求F的最佳映射值，Bp网络模型将样本集合的输入、输出转化为非线性优化，通过对简单的非线性函数的复合，建立一个高度的非线性映射关系，实现F值的最优逼近。对于本例旅游需求模型的模拟：其输入层结点数（4个神经元）：中国内地国民总收入（GDi）、中国内地人口总数（pop）、中国内地国民消费水平（GDe）、澳门生产总值（m-Gp）。把澳门内地游客量（t）作为输出结点。从而得出3层前馈反向传播神经网络模型。四．模型结果及分析1网络训练性能的检查。不同个数的隐层单元组成的Bp网络训练曲线如图1，2，3所示。通过比较发现，中间层神经元个数为9和12时，网络的收敛速度比较快。2网络预测性能的考查。在数据列表中选取1996年到20__年的数据作为网络的测试数据。20__、20__年的(文秘站:)游客量检验误差曲线如图4。其仿真结果令人满意，达到预期的效果。图1图2图3图4五．模型的应用与评价（优缺点与改进）从上面的分析可以看出，3层Bp神经网络模型的仿真模拟效果是邻人满意的。可以看出，人工神经网络的拟合精度比较高，主要是基于人工神经网络抗干扰能力强，稳定性好，能自动准确地找出各种输入和输出之间的线性或非线性关系，具有较强的模拟适应能力等特点。在本例对于澳门的内地游客量的旅游预测中Bp神经网络模型是一种有效的预测方法。这一研究方法为旅游学的定量预测研究提供了一种新的思路，也为工程实践问题中的一些研究工作提供了一种非常好的指导方法。虽然Bp网络得到了广泛应用，但其自身也存在一些缺陷和不足，主要包括几个方面的问题。首先，由于学习速率是固定的，因此，网络的收敛速度慢，需要较强的训练时间。再次，网络隐含层的层数和单元数的选择尚无理论上的指导，一般是根据应验或者通过反复试验确定的。因此，网络往往存在很大的冗余性，在一定上也增加了网络学习的负担。六．原题附带问题简析通过对本例旅游需求模型的分析，我们认为在利用数学建模的方法对旅游需求进行预测预报时，对于数据的采集和整理工作需要认真做好。对于数据的分析有助于我们寻求变量间的关系，以形成初步的想法。如何获得数据以及如何获得准确的数据对于我们研究实际问题具有相当重大的意义。收集数据并非多多益善，而是要弄清究竟需要哪些数据，剔除不必要的数据，从而减少冗余的工作。同时，需要什么形式的数据也是我们应该思考的一个问题，这与建立模型的目的和所选择的模型的特点有关。[参考文献][1]王士同，等．问题求解的人工智能：神经网络方法[m].北京：气象出版社，1995.[2]Hillt,marquezo’connorm,Remusw.artificialneuralnetworkmedelsfor
ForecastingandDecisionmaking[J].internationalJournalofForecasting,1993,
神经网络学习规则篇9
关键词：神经网络；VC维；数据挖掘
中图分类号：tp183文献标识码：a文章编号：1009-3044(2008)30-0710-02
aReviewoftheResearchandDevelopmentoftheartificialneuralnets
wanGHui
(Xinjiangpetroleuminstitute,Urumqi830000,China)
abstract:thispaperreviewsthehistoryandthecurrentsituationofthetheoryofneuralnets.itdiscussestwoaspects:theVapnik-Chervonenkisdimensioncalculationandthedatamininginneuralnets.italsotouchesuponsuchresearchareasascalculationtheory,methodsandapplicationofneuralnets.
Keywords:neuralnets;Vapnik-Chervonenkisdimension;Datamining
1引言
本世纪初，科学家们就一直探究大脑构筑函数和思维运行机理。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在计算某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。1943年mcCulloch和pitts结合了神经生理学和数理逻辑的研究描述了一个神经网络的逻辑演算。他们的神经元模型假定遵循一种所谓“有或无”(all-or-none)规则。如果如此简单的神经元数目足够多和适当设置突触连接并且同步操作，mcCulloch和pitts证明这样构成的网络原则上可以计算任何可计算的函数，这标志着神经网络学科的诞生。
2发展历史及现状
2.1人工神经网络理论的形成
早在40年代初，神经解剖学、神经生理学、心理学以及人脑神经元的电生理的研究等都富有成果。其中，神经生物学家mcCulloch提倡数字化具有特别意义。他与青年数学家pitts合作[1]，从人脑信息处理观点出发，采用数理模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性，他们提出了第一个神经计算模型，即神经元的阈值元件模型，简称mp模型，他们主要贡献在于结点的并行计算能力很强，为计算神经行为的某此方面提供了可能性，从而开创了神经网络的研究。50年代初，神经网络理论具备了初步模拟实验的条件。Rochester，Holland与iBm公司的研究人员合作，他们通过网络吸取经验来调节强度，以这种方式模拟Hebb的学习规则，在iBm701计算机上运行，取得了成功，几乎有大脑的处理风格。但最大规模的模拟神经网络也只有1000个神经元，而每个神经元又只有16个结合点。再往下做试验，便受到计算机的限制。人工智能的另一个主要创始人minsky于1954年对神经系统如何能够学习进行了研究，并把这种想法写入他的博士论文中，后来他对Rosenblatt建立的感知器(perceptron)的学习模型作了深入分析。
2.2第一阶段的研究与发展
1958年计算机科学家Rosenblatt基于mp模型，增加了学习机制，推广了mp模型。他证明了两层感知器能够将输入分为两类，假如这两种类型是线性并可分，也就是一个超平面能将输入空间分割，其感知器收敛定理：输入和输出层之间的权重的调节正比于计算输出值与期望输出之差。他提出的感知器模型，首次把神经网络理论付诸工程实现。1960年widrow和Hoff提出了自适应线性元件aDaCine网络模型，是一种连续取值的线性网络，主要用于自适应系统。他们研究了一定条件下输入为线性可分问题，期望响应与计算响应的误差可能搜索到全局最小值，网络经过训练抵消通信中的回波和噪声，它还可应用在天气预报方面。这是第一个对实际问题起作用的神经网络。可以说，他们对分段线性网络的训练有一定作用，是自适应控制的理论基础。widrow等人在70年代，以此为基础扩充了aDaLine的学习能力，80年代他们得到了一种多层学习算法。
Holland于1960年在基因遗传算法及选择问题的数学方法分析和基本理论的研究中，建立了遗传算法理论。遗传算法是一种借鉴生物界自然选择和自然遗传机制的高度并行、随机、自适应搜索算法，从而开拓了神经网络理论的一个新的研究方向。1976年Grossberg提出自适应共振理论(aRt)，这是感知器较完善的模型，即superrised学习方式。本质上说，仍是一种unsuperrised学习方式。随后，他与Carpenter一起研究aRt网络，它有两种结构aRt1和aRt2，能够识别或分类任意多个复杂的二元输入图像，其学习过程有自组织和自稳定的特征，一般认为它是一种先进的学习模型。另外还有werbos提出的Bp理论以及提出的反向传播原理；Fukushima提出了视觉图象识别的neocognitron模型这些研究成果坚定的神经网络理论的继续研究。
2.3第二次研究的高潮阶段
Hopfield于1982年至1986年提出了神经网络集体运算功能的理论框架，随后，引起许多学者研究Hopfield网络的热潮，对它作改进、提高、补充、变形等，至今仍在进行，推动了神经网络的发展。1983年Kirkpatrick等人先认识到模拟退火算法可应用于np完全组合优化问题的求解。这种思想最早是由metropolis等人在1953年提出的，即固体热平衡问题，通过模拟高温物体退火过程的方法，来找全局最优或近似全局最优，并给出了算法的接受准则。这是一种很有效的近似算法。1984年Hinton等人提出了Boltzmann机模型，借用统计物理学中的概念和方法，引入了模拟退火方法，可用于设计分类和学习算法方面，并首次表明多层网络是可训练的。Sejnowski于1986年对它进行了改进，提出了高阶Boltzmann机和快速退火等。
1986年Rumelhart和mcClelland合著的parallelDistributedprocessing:explorationinthemicrostructuresofCognition两卷书出版，对神经网络的进展起了极大的推动作用。它展示了pDp研究集团的最高水平，包括了物理学、数学、分子生物学、神经科学、心理学和计算机科学等许多相关学科的著名学者从不同研究方向或领域取得的成果。他们建立了并行分布处理理论，主要致力于认知的微观研究。尤其是，Rumelhart提出了多层网络Back-propagation法或称errorpropagation法，这就是后来著名的Bp算法。
2.4新发展阶段
90年代以来，人们较多地关注非线性系统的控制问题，通过神经网络方法来解决这类问题已取得了突出的成果，它是一个重要的研究领域。1990年narendra和parthasarathy提出了一种推广的动态神经网络系统及其连接权的学习算法，它可表示非线性特性，增强了鲁棒性。他们给出了一种新的辨识与控制方案，以multilayer网络与recarrent网络统一的模型描述非线性动态系统，并提出了动态Bp参数在线调节方法。尤其是进化计算的概念在1992年形成，促进了这一理论的发展。1993年诞生了国际性杂志evolutionaryComputation。近几年它成为一个热点研究领域。1993年Yip和pao提出了一种带区域指引的进化模拟退火算法，他们将进化策略引入区域指引，它经过选优过程，最终达到求解问题的目的。
从上述各个阶段发展轨迹来看，神经网络理论有更强的数学性质和生物学特征，尤其是神经科学、心理学和认识科学等方面提出一些重大问题，是向神经网络理论研究的新挑战，因而也是它发展的最大机会。90年代神经网络理论日益变得更加外向，注视着自身与科学技术之间的相互作用，不断产生具有重要意义的概念和方法，并形成良好的工具。
3神经网络的发展趋势
3.1神经网络VC维计算
神经计算技术已经在很多领域得到了成功的应用，但由于缺少一个统一的理论框架，经验性成分相当高。最近十年里，很多研究者都力图在一个统一的框架下来考虑学习与泛化的问题。paC(probablyapproximatelyCorrect)学习模型就是这样一个框架。作为paC学习的核心以及学习系统学习能力的度量，VC维(Vapnik-Chervonenkisdimension)在确定神经网络的容量(capacity)、泛化能力(generalization)、训练集规模等的关系上有重要作用。如果可以计算出神经网络的VC维，则我们可以估计出要训练该网络所需的训练集规模；反之，在给定一个训练集以及最大近似误差时，可以确定所需要的网络结构。
anthony将VC维定义为：设F为一个从n维向量集X到{0,1}的函数族，则F的VC维为X的子集e的最大元素数，其中e满足：对于任意S?哿e，总存在函数fs∈F，使得当x∈S时fs(x)=1，x?埸S但x∈e时fs(x)=0。
VC维可作为函数族F复杂度的度量，它是一个自然数，其值有可能为无穷大，它表示无论以何种组合方式出现均可被函数族F正确划分为两类的向量个数的最大值。对于实函数族，可定义相应的指示函数族，该指示函数族的VC维即为原实函数族的VC维。
3.2基于神经网络的数据挖掘
1996年，Fayyad、piatetsky-Shapiro和Smyth对KDD(KnowledgeDiscoveryfromDatabases)和数据挖掘的关系进行了阐述。但是，随着该领域研究的发展，研究者们目前趋向于认为KDD和数据挖掘具有相同的含义，即认为数据挖掘就是从大型数据库的数据中提取人们感兴趣的知识。
数据挖掘的困难主要存在于三个方面：首先，巨量数据集的性质往往非常复杂，非线性、时序性与噪音普遍存在；其次，数据分析的目标具有多样性，而复杂目标无论在表述还是在处理上均与领域知识有关；第三，在复杂目标下，对巨量数据集的分析，目前还没有现成的且满足可计算条件的一般性理论与方法。在早期工作中，研究者们主要是将符号型机器学习方法与数据库技术相结合，但由于真实世界的数据关系相当复杂，非线性程度相当高，而且普遍存在着噪音数据，因此这些方法在很多场合都不适用。如果能将神经计算技术用于数据挖掘，将可望借助神经网络的非线性处理能力和容噪能力，较好地解决这一问题。
4结束语
经过半个多世纪的研究，神经计算目前已成为一门日趋成熟，应用面日趋广泛的学科。本文对神经计算的研究现状和发展趋势进行了综述，主要介绍了神经网络VC维计算、基于神经网络的数据挖掘领域的相关研究成果。需要指出的是，除了上述内容之外，神经计算中还有很多值得深入研究的重要领域，例如：与符号学习相结合的混合学习方法的研究；脉冲神经网络(pulsedneuralnetworks)的研究;循环神经网络(Recurrentneuralnetworks)的研究等；神经网络与遗传算法、人工生命的结合；支持向量机(SupportVectormachine)的研究；神经网络的并行、硬件实现；容错神经网络的研究。
参考文献:
[1]mcCullochwS,pittsw.aLogicalCalculusoftheideasimmanentinnervousactivity,BulletinofmathematicalBiophysics,1943.
[2]n.维纳著，郝季仁译，控制论，科学出版，1985.
[3]VonneumannJ.theGeneralandLogicaltheoryofautomata,CerebralmechanismsinBehavior;theHixonSympsium,1951.
[4]HebbDo.theorganizationofBehavior,newYork:wiley,1949.
[5]陈世福，陈兆乾.人工智能与知识工程[m].南京:南京大学出版社，1998.
[6]SimonHaykin.神经网络原理[m].机械工业出版社（第二版），2004.
神经网络学习规则篇10
[关键词]光伏系统；发电量预测；模糊神经网络
doi：10.3969/j.issn.1673-0194.2017.13.077
[中图分类号]tm615[文献标识码]a[文章编号]1673-0194（2017）13-0180-04
0引言
目前光伏发电量预测的方法主要有神经网络法、灰色预测法、多元线性分析法这三种方法，通过对这三种预测模型进行比较，发现多元线性回归和灰色理论虽然方法较为简单，但是预测误差也较大，而神经网络法预测则可以比较准确但是预测过程较为繁杂。在基于神经网络的预测中，多是以传统的Bp神经网络为基础模型，在此基础上采用一些新的方法对Bp网络加以改进。例如在Bp网络的学习过程中采用Fletcher-Reeves共轭梯度算法，可以提高学习率，部分地简化了预测过程，但输入量过多，且预测的局限性较大。
在对比了众多方法的优缺点之后，发现Bp神经网络普遍存在中间隐层数难以确定、输入数据量过多，且学习时间过长等劣势。因此本文提出了一种基于模糊神经网络的预测模型，所选取的输入量是和当天的发电量相关程度比较大的当天的平均气温以及当天的总日照量，模糊神经网络的结构是由大量的先验知识而设计出来的。在不影响预测精度的情况下，为了降低整个网络的复杂程度，对整个网络的模糊化层中的隶属度函数及去模糊化层的输出函数都做了适当的变化，解决了传统神经网络收敛速度慢的问题，从而使整个神经网络结构简洁，训练速度较快，且预测精度较高。
1模糊神经网络
模糊神经网络是在神经网络和模糊系统的基础上发展起来的，在模糊神经网络出现之前，神经网络与模糊系统都已有了多年的研究历史，都有着较完备的理论基础。
模糊神经网络是一种将模糊逻辑推理的知识性结构和神经网络的自学习能力结合起来的一种局部逼近网络，融合弥补了神经网络在数据处理方面的不足和模糊逻辑在学习方面的缺陷，是一个集语言计算、逻辑推理、分布式处理和非线性动力学过程为一身的系统。因此，它具有处理不确定信息的模糊推理能力和依据样本数据进行学习的能力。模糊神经网络主要利用神经网络结构来实现模糊推理，从而使神经网络的权值具有在模糊逻辑中推理参数的物理意义。
常见的模糊神经网络有基于mamdani推理的和基于takgai-Sugeno推理的这两种模糊神经网络。基于mamdani推理的模糊神经网络多用于模糊逻辑控制器、模糊逻辑决策系统、模糊逻辑辨识系统等方面；基于takgai-Sugeno推理的模糊神经网络则是一种非线性模型，宜于表达复杂系统的动态特性。光伏系统的发电量由于受日照量、温度、湿度、材料转换率等多方面因素的影响，因此，光伏系统的输出是一个不稳定的非线性变化的动态工程，所以本文所采用的就是基于takgai-Sugeno推理的模糊神经网络（简称tS模糊神经网络）。
2tS模糊神经网络
2.1tS模糊逻辑
在tS模糊逻辑系统中，模糊规则有着如下的特殊形式：
R（1）：ifx1isF1l，…，ifxnisFnlthen
yl=p0l+p1lx1+…+pnlxn
3预测模型的建立
3.1输入量的确定
光伏电池之所以能发电，是由于当阳光照射到半导体材料的太阳能电池板上时，光能被吸收在太阳能电池内，并且产生电子（-）和空穴（+），而负价的电子多向n型聚集，正价的空穴多向p型聚集，因此，将太阳能电池的正面和背面接上电极与灯泡等负荷连接，就能产生流。因此，日照量是影响光伏发电发电量的重要因素之一，所以日照量应作为输入量之一。此外光伏发电的发电量还受温度、湿度、安装角度、材料转换率等众多因素的影响，在这众多因素中，温度对光伏发电量的影响是较大的，因此将温度作为另一个输入量输入到预测模型中。
本文的输入量为日照量与温度组成的一个2×1的列向量，因为本文所预测的是晴天一整日的发电量（单位kw・h/日），因此，日照量取一整日的日照量（单位kw・h/日），温度取一整日的平均温度（单位℃）。若输入向量用x表示，一整天的日照量用h表示，温度用t表示，则输入量可表示为下面的形式：
x=[h，t]t
3.2tS型模糊神经网络结构与初始参数的确定
本文是针对全年晴天的当天发电量做出预测的，所以按季节划分将全年的数据划分成了春、夏、冬，由于秋天的日照量与温度和春天的接近，所以在本文中并没有单独列出秋季，而是只按春、夏、冬三季的数据来建模预测。
由已有的先验知识，可将数据按照春、夏、冬三季进行划分，所以模糊神经网络的规则层的隐层节点数也就为三，由于规则层已经确定，故可以知道模糊化层与去模糊化层的隐层节点数均为三个，因此可知本文的模糊神经网络的预测模型结构如图2所示。
3.3tS型模糊神经网络学习算法
设有输入、输出样本为{（xl，dl），l=1，2，…，L}，在这里L表示训练样本的数量，为输入向量，在本文中表示由当天日照量与当天平均温度组成的一个2×1的列向量。将网络误差e设为：
e=■（yl-dl）2-||y-d|22
其中，y=[y1，y2，…，yL]t，表示神经网络的实际输出；d=[d1，d2，…dL]t，表示神经网络的期望输出；||.|2表示向量的2范数。
本文中，在不影响结果的前提下，为了降低神经网络学习算法的复杂度，故将隶属度函数变为：
ωij=exp-■（bij（xil-cij））2
将神经网络的输出函数变为：
yl=■ωij=（p0j+p1jx1l+…+pnjxnl）
因为本文是在matLaB中进行编程预测，所以将各种数据都表示成矩阵的形式，通过对矩阵的处理，使模糊神经网络的理解难度和操作难度都大大降低，因此，规定X=[x1，x2，…，xL]表示输入样本组成的n×L维矩阵；Ω=[ω1，ω2，…，ωL]表示输入样本X的隶属度函数值ωlj所组成的m×L维矩阵；p=[p0，p1，…，pn]表示线性系数pij所组成的m×（n+1）维矩阵；C=[c1，c2，…，cm]表示中心cij所组成的n×m维矩阵；B=[b1，b2，…，bm]表示中心宽度bij所组成的n×m维矩阵。
在训练神经网络时，首先计算隶属度函数值ωlj所组成的矩阵Ω=[ω1，ω2，…，ωL]，在此基础上计算神经网络的输出y及相应的误差e；然后计算误差e对系数矩阵p，B，C的偏导数，根据梯度下降法更新p，B，C；最后利用p，B，C来更新Ω，e等参数。如果未达到退出条件，则继续迭代，达到了，则退出整个迭代过程，最终，就可以完成整个模糊神经网络的训练。在matLaB中矩阵p和B的初始值可以由normrnd函数随机生成，而矩阵C则可以由kmeans函数得到相应的初始聚类中心，通过训练数据的学习过程，得到一个符合要求的模糊神经网络。
4预测模型的训练与结果分析
为了使模糊神经网络的训练有较高的精度，需要大量的数据对模型进行评估训练，本次模拟采用了120组数据进行预测，其中90组作为训练样本，30组作为测试样本，所用的数据均是随机模拟5kw光伏逆变器日发电量数据，在训练过程中，共取了90组数据来训练，因此L=90；而规则数共有3条，因此这里m=3；而输入的是有温度与日照量组成的两行一列的列向量，因此n=2；为了使训练结果更加精确化，这里o置的最大迭代步数为1000，迭代步长为0.001，图3是训练预测结果与实际结果的折线图。
在图中，实线表示预测输出，用“+”表示实际输出，而用虚线表示实际输出与预测输出之间的差值，从图中可以明显看出训练好的模糊神经网络符合要求。随后，再将用于测试的数据带入已训练好的模糊神经网络中，结果如图4所示。
图4是用于测试的数据的实际输出与预测输出的比较，“+”表示实际输出，实线表示预测输出，虚线表示实际输出与预测输出的差值。从预测的结果来看，相较于传统的预测方法来说，本文所提出的模糊神经网络的预测方法，不论是在预测精度上还是在训练收敛速度上，都有一定程度的提高，虽说本文的原始数据并非实测数据，但是本文所用的数据皆是参考了大量资料之后拟合出的数据，所以有实际参考价值。
5结语
为了提高光伏并网系统的稳定性与安全性，本文提出了一种基于模糊神经网络的电量预测模型。根据光伏系统的发电原理与大量的研究资料，确定了以每一天的日照量与平均温度为整个系统的输入量，来对这一整天的光伏系统的发电量做出预测，并且根据已有的先验知识与相关理论，确定了本文所用的模糊神经网络的结构。再通过拟合的符合实际的数据来训练整个模型，最后通过一组测试数据来测试本预测模型是否达到要求。实验结果表明，本模型能较为准确地预测出光伏发电系统一整天的发电量，具有一定的工程应用价值。
主要参考文献