神经网络的正则化方法篇1
[关键词]：贝叶斯Bp神经网络预测流程预测模型仿真分析
一、贝叶斯正则化Bp神经网络算法
为了解决在工程中遇到的一些基于Bp神经网络的问题，可通过减少神经网络的参数数量，降低网络规模，这样就不会出现过拟合的现象，这就是正则化（regularization）方法。为保证用此方法设置的参数能够自适应神经网络并且能够优化，通常采用贝叶斯理论，即通过Levenbergmarquardt（Lm）算法实现这一目的，这也就是我们熟知的贝叶斯正则化Bp神经网络（BayesianRegularizationBpneuralnetwork，BRBpnn）。
二、基于贝叶斯正则化Bp神经网络的性能预测流程
在利用贝叶斯正则化Bp神经网络算法来实现对离心泵性能预测时。可按照图所示的流程图进行：
三、构建基于贝叶斯正则化Bp神经网络性能预测模型
在贝叶斯正则化Bp神经网络中，输入模式对于离心泵性能预测预测结果有比较大影响，选取对离心泵能量性能影响较大的离心泵几何参数（叶轮出口直径（）、叶片出口宽度（）、叶片出口安放角（）、涡壳的基圆直径（）、涡壳进口宽度（）、蜗壳第八断面面积（）、叶片包角（）以及叶片数（））和设计流量（）作为贝叶斯正则化Bp神经网络的输入变量。根据输入模式可以确定输入层神经元数目为9。考虑到BF神经网络的隐含层神经元是径向基函数，该特性使BF神经网络的拟合特性为局部性，于是本文将泵的扬程和效率预测设计为2个相类似结构的贝叶斯正则化Bp神经网络预测模型，即离心泵扬程和效率贝叶斯正则化Bp神经网络预测模型，如图2所示。
四、仿真实验
为了考察建立的离心泵性能贝叶斯正则化Bp神经网络预测模型的有效性，我们采用从沈阳水泵研究所编撰的《全国优秀水力模型汇编》和江苏大学关醒凡教授编撰的《现代泵技术手册》选取57组单级单吸离心泵的设计参数和试验参数作为训练样本数据和目标数据。得到训练样本数据和目标数据输入的离心泵性能贝叶斯正则化Bp神经网络预测模型进行训练学习曲线如图3所示：
为了考察建立的离心泵性能的贝叶斯正则化Bp神经网络预测模型的效果，我们从沈阳水泵研究所编撰的《全国优秀水力模型汇编》和江苏大学关醒凡教授编撰的《现代泵技术手册》选取6组单级单吸离心泵的设计参数和试验参数数据作为检验样本，其具体数据如表1所示。
采用表1的数据和利用已经建立的离心泵性能的贝叶斯正则化Bp神经网络预测模型进行预测离心泵的扬程、效率等性能指标，与谭明高、刘厚林、袁寿其等人所做实验和撰写的文献参数进行对比，其结果如表2所示。
分析表2的离心泵性能的2种改进型Bp神经网络预测模型检验样本预测结果发现：BRBp神经网络预测的扬程最大相对误差的绝对值为6.98%、最小相对误差的绝对值为0.41%、均方根相对误差为5.20%；效率误差最大相对误差的绝对值为5.30%、最小相对误差的绝对值为1.67%、均方根误差为2.98%。LmBp神经网络预测的扬程最大相对误差的绝对值为14.0%、最小相对误差的绝对值为0.06%、均方根相对误差为7.81%；效率误差最大相对误差的绝对值为3.21%、最小相对误差的绝对值为0.17%、均方根误差为1.85%。
通过对上面的结构分析，效率预测精度高一些，扬程预测精度低一些，我们可以推断，这可能与离心泵的影响因素有关。BRBp神经网络预测离心泵扬程精度最高，LmBp神经网络预测离心泵效率精度最高。
需指出的是，虽然贝叶斯正则化Bp神经网络预测离心泵效率精度比LmBp神经网络差一些，但在预测离心泵扬程方面BRBp神经网络预测模型比LmBp神经网络预测模型明显精度更好一些。这是因为贝叶斯正则化Bp神经网络靠贝叶斯统计理论进行确定和训练，由程序自动确定，相对而言更稳定。
五、总结
本章采用贝叶斯正则化Bp神经网络算法，建立了离心泵性能预测模型，最后在沈阳水泵研究所编撰的《全国优秀水力模型汇编》和江苏大学关醒凡教授编撰的《现代泵技术手册》选取57组单级单吸离心泵的设计参数和试验参数进行建模和验证，结果表明离心泵性能贝叶斯正则化Bp神经网络预测模型与原有的离心泵性能LmBp神经网络预测模型一样有效，并且设置参数更简单、更方便，是一种比较有前途的离心泵性能预测方法。
参考文献：
[1]关醒凡.现代泵技术手册[m].宇航出版社，1995.
神经网络的正则化方法篇2
关键词：网络入侵；神经网络；参数优化；人工鱼群算法
中图分类号：tp393文献标识码：a文章编号：2095-2163（2015）03-
applicationofBackpropagationneuralnetworkoptimizingbyartificialFishSwarmalgorithminnetworkintrusionDetection
LiUChun
（networkmanagementCenter，SichuanCollegeofarchitecturaltechnology，DeyangSichuan618000，China）
abstract：inordertodetectthenetworkintrusioneffectively，anartificialfishswarm（aFSa）algorithmisproposedtooptimizetheBpneuralnetwork（Bpnn）intrusiondetectionmodel.inthispaper，firstly，weightsandthresholdcodingstateofBpneuralnetworkisartificialfishoftheaFSa，followedbyartificialfishswarmforaging，polyGroup，rearend，whichisusedtooptimizetheparametersofBpneuralnetwork，tofindtheoptimalparametersoftheBpneuralnetwork；afterthat，usingtheestablishmentofoptimalBpneuralnetworkmodel，thebehaviorofthenetworkintrusionaredetected.inthewindowsXpoperatingsystem，ontheplatformofmatLaB2012bytheKDDcup99datasetofsimulationtest，comparedwiththetraditionalBpneuralnetworkmodel，theproposedmodelcansignificantlyimprovethenetworkintrusiondetectionaccuracyandhasamoreextensiveapplicationprospects.
Keywords：networkintrusion；neuralnetwork；parameteroptimization；artificialFishSwarmalgorithm
0引言
随着互联网规模越来越大，网络的用途越来越广泛，在网络给人们生活带来便利的同时，其受到入侵的可能性页随之增加，未经授权用户对计算机进行操作，可能窃取系统中的信息，给计算机系统造成一定的安全隐患，网络安全问题日渐受到学界关注，在网络安全防御研究领域，网络入侵检测已然成为迫切需要解决的一个重要课题[1-2]。
按照入侵检测方式的不同，可将其分为误用入侵检测和异常入侵检测[3]。其中，误用入侵检测方法主要是依据检测知识库，对网络入侵行为进行匹配，如果检测知识库不完备，则可能存在某些未知的入侵行为无法检测。而异常入侵检测是通过对可接受行为进行描述，如果某项行为与正常行为存在偏差，则认为该行为是入侵行为，异常入侵检测方法能够对未知网络攻击行为进行有效检测，从而成为当前网络入侵研究的热点研究内容[4]。
网络入侵检测是依据网络行为与正常行为进行比较，以判断是否存在网络入侵、攻击行为，因此，可以将网络入侵检测认为是一个数据分类问题。网络入侵检测处理的分类数据属于大样本数据，具有高维、复杂、非线性等特征；相应地，传统的数据分类检测方法在实际应用执行时，即表现了计算速度慢、复杂、正确率低的结果现象[5]。近年来，随着人工智能技术的快速发展，神经网络被越来越多地用于数据分类问题。神经网络有多种类型，其中，Bp神经网络（Backpropagationneuralnetwork，Bpnn）结构简单、学习能力强，切具有非线性逼近映射能力，相较于其它类型的神经网络，Bp神经网络的用途更为广泛。但是，利用Bp神经网络进行网络入侵检测，其检测的准确率与网络的初始权值、阈值等参数有关，为了获得较高的网络入侵检测正确率，就需要对Bp神经网络进行参数优化。即在利用学习样本对Bp神经网络进行训练过程中，不是随机产生Bp神经网络的初始权值和阈值，而是利用智能算法，如粒子群、遗传、蚁群等算法等对Bp神经网络初始权值和阈值进行优化，使Bp神经网络避免陷入局部最优，并且找到全局最优参数，从而使Bp神经网络分类精度更高，网络入侵检测性能也随之提升[6-8]。在这些智能算法中，人工鱼群算法（artificialFishSwarmalgorithm，aFSa）是近年来提出的一种新的智能仿生算法，该算法鲁棒性强，可并行操作，同时便于实现[9]。利用aFSa算法来对Bp神经网络参数进行寻优，能够避免Bp神经网络易陷入局部极小的缺陷，实现了Bp神经网络参数的最优获取，因而可知这是一种非常适合Bp神经网络参数寻优的理想方法。同时，仿真试验又对aFSa-Bpnn（人工鱼群算法优化Bp神经网络）模型的网络入侵检测性能进行了有效验证。
1网络入侵检测数学模型
网络入侵是指未经授权的用户实施的任何试图以非法手段来获取计算机资源的行为。进行网络入侵检测，主要是通过收集网络或系统中的若干关键点的未经授权用户的访问、操作等信息，并对这些信息进行对比分析，以确定系统中是否存在被攻击的迹象[10]。
在计算机网络中，存在两种现象，一种为无入侵信号，一种为有入侵信号，用表示无入侵信号，表示有入侵信号，则网络数据信号数学表达式：
（1）
其中，表示收集到的所有信号，表示在抽样间隔中接收到的信号所有字节的长度；表示网络数据中的噪声，表示入侵信号。
在进行网络入侵检测时，存在噪声，并且，接收到的信息还存在非线性的关系，为了保护网络安全，有效地防范未经授权用户对网络安全形成的潜在隐患，有必要对这些网络访问行为进行识别、检测，由上可知，Bp神经网络即可有效地进行网络入侵检测。
2aFSa优化Bpnn的网络入侵检测模型
2.1人工鱼群算法
aFSa可以地对Bp神经网络进行全面参数寻优，通过模拟鱼群的觅食、聚群、追尾等典型行为，不断地对Bp神经网络参数进行优化[11]。算法中典型行为的实现机理如下：
（1）觅食行为。设Xi表示人工鱼当前所处的位置，Xj表示一个随机选择的位置，对Xi和Xj的食物浓度进行比较，如果Xj处的食物浓度大于Xi处的食物浓度，则向Xj处前进，否则人工鱼留在原处不动，而后，重新随机选择位置Xj，再对Xi和Xj的食物浓度进行判断，反复试探nj次后，如果选取的位置处食物浓度仍然小于初始位置的食物浓度，则人工鱼随机前进一步。该行为的数学描述可如式（2）所示：
（2）
式中，Rand（）表示一个（0，1）之间的随机数；Step表示人工鱼移动的步长。
（2）聚群行为。设nf表示人工鱼视野范围内所有的伙伴数目，Xc表示所有鱼群的中心位置，若Yc/nf>δYi（δ为拥挤度因子），则表明当前人工鱼所处位置的食物浓度小于伙伴处的食物浓度，人工鱼便朝伙伴中心前进一步，否则，人工鱼继续执行觅食行为。这一行为的数学实现则如式（3）所示：
（3）
（3）追尾行为。在人工鱼视野范围内，浓度最高Yj的人工鱼位置为Xmax，若Yj/nf>Yi，则人工鱼群向Xj处前进一步，否则人工鱼执行觅食行为。
（4）
（4）随机行为。人工鱼没有执行明确的觅食或聚群行为，而是在视野范围内随机选择某个位置，随后向其移动，该行为属于人工鱼觅食行为的一种缺省行为。
（5）公告板。公告用于记录食物浓度最高的人工鱼的状态。
2.2Bp神经网络模型
Bp神经网络学习过程如下[12]：
（1）确定Bp神经网络结构。设输入层、隐层和输出层的神经元数分别为n、L和m，网络输入向量为，隐含层输出向量为，网络实际输出向量为，网络输入层神经元节点到隐含层神经元节点的权重系数表示为，隐含层神经元节点到输出层神经元节点的权重系数表示为，训练集的目标输出向量为。此外，分别用和来表示输出神经元和隐神经元的阈值，设：
（5）
于是，得到隐含层各神经元节点的输出为：
（6）
同理，输出层各神经元节点为：
（7）
（2）将输出神经元与目标向量进行比较，计算出输出误差项：
（8）
（9）
（3）依次计算出各权重的调整量：
（10）
（11）
式中，表示网络的学习速率，其取值在0-1之间。
（4）调整网络权重，公式如下：
（12）
（13）
（5）判断是否达到最大迭代次数，如果没有，将网络输出值与期望值进行比较，如果大于误差允许的范围，返回步骤（1），继续迭代，在每次迭代过程中，都进行判断，误差是否达到预定目标，或者是否达到最大迭代次数，如果满足终止条件，则停止迭代。
2.3SaFSa-Bpnn网络入侵检测流程
（1）收集Bp神经网络状态信息，设置人工鱼状态；
（2）随机生成n条人工鱼，每一条人鱼代表一组Bp神经网络参数，用passed_iterate表示Bp神经网络训练迭代的次数；
（3）登记每条人工鱼所在位置的食物浓度，并对每条人工鱼处的食物浓度进行排序登记，将食物浓度值最高处的人工鱼个体的位置及食物浓度登记写入公告板；
（4）随机选择一条人工鱼，对其觅食、追尾和聚群行为后所处位置的食物浓度进行判断，将其所处位置的食物浓度与公告板中的所登记的食物浓度进行比较，如果该人工鱼处的食物浓度高于公告板的食物浓度，则该人工鱼向此方向前进一步。
（5）更新公告板内容，将步骤（4）中得到的最好人工鱼的位置及食物浓度记入公告板。
（6）判断Bp神经网络是否寻优得到最优参数，或训练是否达到最大迭代次数，如果没有满足上述情况，则人工继续执行觅食、追尾、聚群行为，passed_iterate=passed_iterate+1，并转步骤（4）继续迭代执行，如果达到最大迭代次数，则Bp神经网络训练寻优结束，输出公告板中的人工鱼的位置及食物浓度；
（7）根据寻优结束后Bp神经网络模型，进行网络入侵检测。
利用aFSa-Bp神经网络模型，进行网络入侵检测流程如图1所示。
图1aFSa优化Bpnn参数流程
Fig.1theflowchartofBpnnparametersoptimizedbyaFSa
3仿真测试
3.1数据来源
为了验证本文模型的网络入侵检测效果，利用KDDCUp99的数据集进行仿真试验，并在windowsXp，matlab2012软件平台上执行实现。由于Bp神经网络不能直接对字符型数据进行处理，而在KDDCUp99数据集中却包含有大量的字符型数据，因此，在进行实验仿真之前，需将KDDCUp99数据集中的字符型数据转换成整型数据[13]。在利用Bp神经网络进行网络入侵检测时，实质上就是一个分类问题，因此，可将KDDCUp99数据集的分类字段处理成五个类标识：1（“normal"），2（"probe"），3（"DoS"），4（"U2R"），5（"R2L"）。同时，为了有效地提高网络入侵检测正确率，有必要在Bp神经网络进行训练学习时，利用人工鱼群算法对Bp神经网络参数进行优化，训练集来自于文件kddcup.data_10_percent.gz，从中随机选取800条记录，测试集数据则将随机从文件corrected.g中选取300条记录。
在KDDCUp99数据集中，每一个数据集均包含了41个特征属性，而且每一个数据集还对应一种类型的网络入侵行为，为此Bp神经网络输入层有41个神经元，输出层有一个神经元，经过反复试验，当隐含层有22个神经元时，网络收敛速度最快，误差最小，最终确定Bp神经网络结构为41×22×1。利用训练集对Bp神经网络进行训练，再用人工鱼群算法对Bp神经网络参数进行优化，人工鱼群参数可如表1所示。
表1人工鱼群算法参数设置
tab.1parametersettingofartificialfishswarmalgorithm
参数名说明值参数名说明值
Visual可视域18p鱼群规模30
δ拥挤因子0.58Step_max迭代步长0.6
n迭代次数5000
3.2对比模型
为了证明aFSa-Bpnn模型进行网络入侵检测的有效性，在同等情况下，利用传统的Bp神经网络（Bpnn）模型进行对比实验。选择了检测率、误报率和运行速度作为模型网络入侵检测性能的指标评价。在此，仅分别给出检测率和误报率的定义如下：
（14）
（15）
3.3数据处理
在KDDCUp99数据集中，每个数据集有41个特征属性，对其中的字符型数据转换成整型数据，但由于这些数据集中的属性量纲不同，为了有效地检测出网络入侵行为，即需对数据集进行归一化处理，以减少量纲不同对网络入侵检测的影响。归一化处理公式如下：
（16）
式中，表示某属性的最大值；、分别表示某属性的最小值和最大值；表示经过归一化处理后的某属性。
3.4结果与分析
3.4.1检测结果对比
采用Bpnn作为对比模型，以验证aSFa-Bpnn模型进行网络入侵检测时的实际性能，首先编程利用同样的训练集对两种模型进行训练，过程中不同之处却是，在aFSa-Bpnn模型训练的同时，利用人工鱼群算法对Bpnn进行寻优；然后，分别利用测试集对训练后的模型进行验证，两种模型的检测性能对比如表2所示。
表2两检测模型的检测性能对比
tab2performancecomparisonoftwodetectionmodels
检测模型评价指标DoSU2LU2Rprobe
Bpnnrate（%）80.6570.8381.2179.65
error（%）19.3529.1718.7920.35
aFSa-Bpnnrate（%）82.6376.8988.7891.43
error（%）17.3723.1111.228.57
3.4.2运行速度对比
为了验证两种模型的网络入侵检测速度，选取测试集对模型的网络入侵检测时间作为衡量指标，两种模型进行不同类型的入侵检测时间（秒/s）如表3所示。从表3可知，相对于Bpnn模型，aFSa-Bpnn模型的检测时间更少，说明了aFSa-Bpnn模型进行网络入侵检测具有更高效率，因而实时性更强。
表3两种模型的检测时间对比
tab.3detectiontimecomparisonoftwomodels
模型DoSU2LU2Rprobe
Bpnn0.970.890.860.96
aFSa-Bpnn0.760.780.800.64
4结束语
为了有效地对网络入侵进行检测，提出一种人工鱼群算法优化的Bp神经网络的网络入侵检测模型，在Bp神经网络训练时，利用人工鱼群算法对Bp神经网络参数进行优化，获得了Bp神经网络的最优参数，同时加快了Bp神经网络的收敛速度。仿真结果表明，aFSa-Bpnn模型比Bpnn模型检测率更高，误检率更低，同时检测时间更少，这就说明了aFSa-Bpnn模型堪称为一种有效的网络入侵检测模型，其应用前景也将更趋广泛与广阔。
参考文献
[1]戴英侠.系统安全与入侵检测[m].北京：清华大学出版社，2002.
[2]何敏.基于数据挖掘的网络实时入侵检测体系结构的研究[J].计算机与现代化，2011，193（9）：134-136.
[3]姜春茂，张国印，李志聪.基于遗传算法优化SVm的嵌入式网络系统异常入侵检测[J].计算机应用与软件，2011，28（2）：287-289.
[4]闫新娟，谭敏生，严亚周，等.基于隐马尔科夫模型和神经网络的入侵检测研究[J].计算机应用与软件，2012，29（2）：294C297.
[5]牟琦，毕孝儒，库向阳.基于GQpSo算法的网络入侵特征选择方法[J].计算机工程，2011，37（14）：103-16.
[6]周敏.GaRBF在网络入侵检测中的应用研究[J].计算机仿真，2011.28（6）：165-168.
[7]赵俊忠.入侵检测系统中检测技术的研究[J].计算机工程与应用，2005，（2）：11-13.
[8]栾庆林，卢辉斌.自适应遗传算法优化神经网络的入侵检测研究[J].计算机工程与设计，2008，29（12）：3022-3024.
[9]李晓磊.一种新型的智能优化方法一人工鱼群算法[D].杭州：浙江大学，2003.
[10]孙宁青.基于神经网络和CFS特征选择的网络入侵检测系统[J].计算机工程与科学，2010，32（6）：37-39.
[11]江铭炎，袁东风.人工鱼群算法及其应用[m].北京：科学出版社，2012.
神经网络的正则化方法篇3
关键词：入侵检测；神经网络；遗传算法
中图分类号：tp393文献标识码：a文章编号：1674-7712（2013）22-0000-01
入侵是指未经授权的试图绕过计算机或网络的安全机制进行非法数据访问或者篡改数据等危害网络资源保密性、完整性或可用性的行为。入侵检测是一种主动的网络安全防御技术，有效弥补了静态安全防御技术的不足，能够对网络系统提供全面保护。因此，对于入侵检测技术的研究是很有必要的，而智能化的入侵检测技术是其中一个研究重点。
一、入侵检测技术分类
（一）按数据来源分类
1.基于主机的入侵检测。基于主机的入侵检测通常以主机系统事件和日志文件作为主要数据来源加以分析，对攻击事件进行分析、自动检测审计记录来发现攻击，选择适当方法来抵御攻击。基于主机的入侵检测系统保护的目标仅仅是运行该系统的主机，对于网络环境下发生的大规模攻击行为通常做不出及时反应。
2.基于网络的入侵检测。基于网络的入侵检测使用网络中传输的数据包作为主要数据来源，通过统计分析、模式匹配等手段判断是否发生攻击行为，能够实时监控网络中的数据流量，在攻击发生时就能将其检测出来，并做出快速响应。
（二）按检测方法分类
1.异常入侵检测。异常入侵检测是一种基于行为的检测，根据目标系统的正常行为模式创建状态模型不断更新，将用户行为的各参数与模型中的特征值相比较，若两者相差较大则视为入侵行为。在检测过程中，有些正常用户行为仅仅是因为改变了以往的行为习惯而产生了新的行为，这些行为与状态模型库中的值偏差较大，但并不是真正的入侵，会有误报情况出现，误报率较高是异常入侵检测不可避免的问题。
2.误用入侵检测。误用入侵检测是一种基于知识的检测，将已知的攻击方法进行归纳分析创建入侵行为模式状态模型库，将实际用户行为数据与模型中的特征值进行特征匹配或规则匹配，若发现满足条件的匹配则视为入侵行为。但它检测范围很有限，只能检测出预先定义好的已知入侵行为，对未知入侵行为不能做出正确的响应，所以不断更新入侵行为模式库才能保证检测的完整性。
（三）按响应方式分类
1.主动入侵检测。主动入侵检测是在检测出入侵行为后主动对其进行响应处理，采用的响应方式有自动修复目标系统漏洞、强制关闭相关服务端口或者对有可疑行为的用户强制其退出系统登录等。
2.被动入侵检测。被动入侵检测是在检测出入侵行为后只产生报警信息而不主动进行响应处理，系统安全管理员收到报警信息辨别入侵行为，进而对入侵行为进行处理。
（四）按体系结构分类
1.集中式入侵检测。集中式入侵检测将系统的各个模块都集中在一台主机上，包括收集数据、分析数据及响应处理，它适用于网络环境比较简单的情况。
2.分布式入侵检测。分布式入侵检测将系统的各个模块分布到网络上不同的计算机设备中，通过收集合并多个主机的审计数据作为主要数据来源，对这些数据进行分布式监听、集中式分析，并通过检查网络的通信，可以检测出由多个主机共同发起的协同攻击行为，它适用于网络环境比较复杂的情况。
二、智能化入侵检测技术
（一）神经网络
神经网络是基于模仿人脑结构和功能而形成的一种智能化信息处理技术，它具备自适应、自学习的能力，可以发展知识，适合处理背景知识不确定、背景信息很复杂的问题。它的学习方式有两种：一是有监督的学习，利用给定的样本标准进行分类或模仿学习；二是无监督的学习，不给定学习样本，只规定学习方式或某些规则，根据系统所处的环境产生不同的学习内容，自动发现环境特征和规律性，此时具有更接近人脑的功能。正是由于神经网络的自我学习能力使其在入侵检测领域得到了很好的应用。
（二）遗传算法
遗传算法是基于自然选择和遗传机理的自适应全局优化概率搜索算法，该算法通过使用计算机模拟生物遗传和进化过程的方法使得系统具有自学习和优化能力并且适应能力强等特征，它是现代有关智能计算方面的关键技术。遗传算法的优点主要有：对数据对象的个体编码进行运算，有效地使用遗传算子解决非数值个体的优化问题；每一代群体中有多个个体，每一次迭代都是对数据集合中的多个个体进行搜索，所以搜索效率较高；它是一种自适应概率搜索技术，以一定的概率确定是否执行各种遗传操作，所以搜索更灵活。
（三）遗传算法结合神经网络的入侵检测技术
神经网络技术在智能控制、模式识别、信号处理等方面得到了快速发展，已经渗透到计算机的各个应用领域，但仍然存在一些难以解决的问题。由于遗传算法全局搜索能力强，利用它的优点可以克服神经网络算法收敛慢和易局部收敛的问题，两者相结合，也解决了单独利用遗传算法不易在短时间内搜索到接近最优解的问题。
1.将遗传算法用于神经网络训练。将神经网络中所有可能存在的神经元的连接权值编码成二进制码串表示的个体，利用遗传算法进行常规的优化计算。将码串解码成神经网络，通过计算此神经网络的所有训练样本产生的平均误差来确定个体的适应度。采用这种方式遗传算法的运算量较大，当优化设计解决复杂问题的大规模神经网络时，遗传算法的搜索空间会急剧增大。
2.利用遗传算法优化神经网络结构。利用遗传算法优化设计神经网络的结构以及神经网络的学习规则和与之相关联的参数。对于每个选择的个体都解码成未经训练的神经网络，将其结构模式和学习规则编码成码串表示的个体，再对神经网络进行训练以确定神经网络的连接权值，此时遗传算法搜索的空间相对较小。
三、结束语
本文研究了基于神经网络和遗传算法的入侵检测技术，随着神经网络和遗传算法理论的进一步完善，两者结合可以应用在很多技术领域。
参考文献：
神经网络的正则化方法篇4
[关键词]Bp神经网络；岩性识别；改进Bp神经网络
[Doi]10.13939/ki.zgsc.2015.24.063
1主要研究内容
根据国内外研究现状，利用目前研究最透彻的人工神经网络技术-Bp（Backpropagation）人工神经网络，以C#.net为软件工具，通过合理地编写程序，针对低阻、高放射等非常规储层进行识别与判别。主要利用常规测井资料，以实际的岩心、岩屑观察、物性等分析测试资料、试油试产资料为测井参数约束的标准，针对储层的岩性进行预测、判断。从而得出Bp人工神经网络方法在测井数据处理与解释中的优势所在，并指出其缺陷与不足之处。
2Bp神经网络
2.1基本Bp神经网络的设计
基本Bp算法包括两个方面：信号的前向传播和误差的反向传播。即计算实际输出时按从输入到输出的方向进行，而权值和阈值的修正从输出到输入的方向进行。
2.2Bp神经网络算法步骤
（1）初始化网络权值，阈值，及有关参数（如学习因子）。
3Bp神经网络在岩性识别上的应用
3.1地层特征
在储层测井响应特征方面，本文研究油区的泥岩与砂质泥岩均以高自然伽马、正自然电位幅度、微电极无差异或差异幅度小为特征、并且有电阻率相对偏低和高声波时差值的特征，较纯的泥岩层往往还出现井径扩大现象。粉砂岩、泥质砂岩以中.高自然伽马和中一低负异常幅度自然电位及微电极差异幅度小或无差异为特征。视电阻率变化较大。细砂岩为主要储集层，以自然电位高负异常幅度低自然伽马值及微电极差异幅度大为特征。部分储油砂层的自然伽马值偏高。细砂岩含油后一般电阻率较高。
3.2基本Bp网络的构建与实现
3.2.1测井数据的处理
由于各种测井数据量纲不一致，进入网络之前，无论是学习样本或预测数据，都需先进行归一化处理，将它们置于统一的数值量纲范围内，如在[0，1]之间。对于具有近似线性特征的信息，可以采用线性归一化公式：处理。
3.2.2岩性参数的设置
由于在做岩性识别时，我们设置了相应的参数。其中有聚类参数、自然加码、井的深度等。其中聚类设置表示，自然加码的设置是判断输入数据的合法性，井的深度和间隔有利于模仿底层结构。
3.3改进的Bp网络（动量-自适应）的实现
3.3.1增加动量项
附加动量法使网络在修正其权值时，不仅考虑误差在梯度上的作用，且考虑在误差曲面上变化趋势的影响。在没有附加动量的作用下，网络可能陷入浅的局部极小值，利用附加动量的作用有可能滑过这些极小值。
带有附加动量因子的权值和阈值调节公式为：
根据附加动量法的设计原则，当修正的权值在误差中导致太大的增长结果时，新的权值应被取消而不被采用，并使动量作用停止下来，以使网络不进入较大误差曲面；当新的误差变化率超过一个事先设定的最大误差变化率时，也得取消所计算的权值变化。其最大误差变化率可以是任何大于或等于1的值。典型的取值取1.04。所以，在进行附加动量法的训练程序设计时，必须加进条件判断以正确使用其权值修正公式。
训练程序设计中采用动量法的判断条件为：
3.3.2自适应调节学习率
对于一个特定的问题，要选择适当的学习速率不是一件容易的事情。通常是凭经验或实验获取，但即使这样，对训练开始初期功效较好的学习速率，不见得对后来的训练合适。为了解决这个问题，人们自然想到在训练过程中，自动调节学习速率。通常调节学习速率的准则是：检查权值是否真正降低了误差函数，如果确实如此，则说明所选学习速率小了，可以适当增加一个量；若不是这样，那么就应该减少学习速率的值。下式给出了一个白适应学习速率的调整公式：
3.3.3引入陡度因子
误差曲面上存在平坦区域，权值调整进入平坦区的原因是神经元输出进入了变换函数的饱和区，如果调整进入平坦区没法压缩神经元的净输入，就使其输出退出变换函数的饱和。
3.3.4动量-自适应学习速率调整算法
当采用前述的动量法时，Bp算法可以找到全局最优解，而当采用自适应学习速率时，Bp算法可以缩短训练时间，采用这两种方法也可以用来训练神经网络，该方法称为动量-自适应学习速率调整算法。
神经网络的正则化方法篇5
一、模糊化遗传Bpn演算方法的提出
尽管通过已有的研究以及一些简单的模型可以初步判定企业财务业绩是否出现衰退迹象，但由于财务报告舞弊的甄别有着很多挑战性的因素，如舞弊样本量极小、舞弊手法繁多、识别的特征指标不易设定、甄别技术的选择及智能设计较难掌握等，因此甄别虚假财务报告一直是困扰会计界的重大难题。
(一)模糊化遗传Bpn演算方法的必要性 随着信息技术的发展以及人工智能技术的兴起和广泛应用，许多领域的难题迎刃而解。数据挖掘技术(即利用数据库技术来存储管理数据，利用机器学习的方法来分析数据，从而挖掘出大量的隐藏在数据背后的知识)已深受人们关注。会计本身就可以定义为一个信息系统，将数据挖掘技术应用于财务报告舞弊的甄别必将是一个趋势，并且已有学者对该种方法的可行性进行初步探讨。随着数据挖掘技术的改进及发展，发掘实用高效的数据挖掘算法，构建舞弊识别系统，并真正实现舞弊识别才是亟待解决的问题。因此，本文通过比较各种数据挖掘算法的优缺点，综合考虑提出用于会计舞弊识别的模糊化遗传Bpn系统，并对该系统所涵盖的具体算法、该系统的技术优势以及甄别系统的构建进行逐步研究，力求设计出更加行之有效的财务报告舞弊甄别技术。
(二)模糊化遗传Bpn演算方法的提出 数据挖掘技术分为两大类：探索型数据挖掘和预测型数据挖掘。探索型数据挖掘包括一系列在预先未知任何现有模式的情况下，在数据内查找模型的技术。探索型数据挖掘包括分群、关联分析、频度分析技术。预测型挖掘包括一系列在数据中查找特定变量(称为“目标变量”)与其他变量之间关系的技术。预测型挖掘常用的有分类和聚类、数值预测技术。数据挖掘使用的算法很多，主要包括统计分析、机器学习、决策树、粗糙集、人工神经网络和遗传算法等。
舞弊性财务报告的识别过程本身可以认为是一个分类的过程，即分为舞弊及非舞弊的过程。对数据挖掘技术的各种分类算法的优劣具体比较(见表1)。
基于此，综合各种分类算法的优势，本文提出模糊化遗传Bpn财务报告舞弊识别系统。
二、模糊化遗传Bpn的演算方法
模糊化遗传Bpn的演算方法包括模糊逻辑算法、遗传算法以及Bp神经网络算法等。
(一)模糊逻辑算法模糊逻辑算法简单地说是人们对许多决策思维的自然语言描述，并且转换成利用数学模型算法替代的一种应用科学技术。该模型包括三个主要处理程序：模糊化(fuzzifi―cation)、推论(inference)及反模糊化(defuzzification)。
(1)模糊化(fuzzification)：将原始的数据，利用隶属度函数转换成模糊输入，如在观察技术指标时也可以自然语言表示“偏高”、“适中”或“偏低”等。
(2)模糊推论(ruleevaluation,fuzzyinference)：根据模糊输入，依照口语化的规则(1inguisticrules)，产生模糊结果，如透过iF..tHen..的形式将推论加以定式化。
规则：ifxisathenyisB
事实：xisa’
结论：yisb’
(3)反模糊化(defuzzification)：将模糊输出转换成可表达的数据。
(二)遗传算法 遗传算法是模拟生物进化过程的算法，由三个算子组成，即选择、较差、突变。遗传算法具有十分顽强的鲁棒形，在解决大空间、多峰值、非线性、全局优化等复杂度高的问题时具有独特的优势。其可以单独用于数据库中关联规则的挖掘，还可以和其他数据挖掘技术相结合。如用于优化神经网络结构以得到结构简单、性能优良的神经网络结构；用于特征子集选择；用于决策分类器和模糊规则的获取等。遗传算法在数据挖掘技术中占有重要的地位，这是由其本身的特点和优点所决定的。(1)遗传算法的处理对象不是参数本身，而是对参数集进行了编码的个体，可以直接对集合、队列、矩阵、图表等结构进行操作；(2)具有较好的全局搜索性能，减少了陷于局部最优解的风险，同时，遗传算法本身也易于并行化；(3)在标准的遗传算法中，基本上不用搜索空间的知识或其他辅助信息，而仅用适应度函数值来评估个体，并在此基础上进行遗传操作；(4)遗传算法不是采用确定性规则，而是采用概率的变迁规则来指导其搜寻方向。
(三)Bp神经网络 反传递神经网络(Bpn)模式是监督式学习网络(SupervisedLearningnetwork)的一种，在取得训练样本后，透过训练样本输入网络时，告知网络预期的输出结果，而输入训练样本的目的主要是让网络学习，当学习完成后再利用测试样本来进行模式的测试。由于Bp神经网络具有高学习准确度、回想速度快以及能含杂讯资料处理等优点，因此运用最为普遍。其基本原理是利用梯度下降法(thegradientsteepestdescentmethod)的观念，通过学习过程中输出值与期望输出值偏差，不断反向传递至隐藏层和输入层来调整加权值修正量及阀值修正量，使输出值与期望之间的误差予以最小化，进而通过不断学习求得最佳网络模式已达到预测的目的。Bp网络的构架主要分为三层：输入层(inputlayer)、隐藏层(hiddenlayer)及输出层(outputlayer)，各层中基本单元即为处理单元(processingelement，pe)，数个处理单元将组成一层，而若干层则结合成为网络。其中输入层的处理单元代表网络的输入变量，目前许多研究结合模糊逻辑(fuzzylogic)以及遗传算法(Ga)等方式选择Bp神经网络的输入层。输出层用来表示网络的输出变量，其处理单元数目依问题而定。隐藏层主要用以表示输入处理单元间的交互影响，网络可以不只一层隐藏层，也可以没有隐藏层，至于其处理单元数目并无标准方法可决定。
三、模糊化遗传Bpn优势
现存的关于国内外财务报告舞弊识别模型研究，大多设计为Logistic回归模型及神经网络(ann)模型。尽管神经网络对于财务报告舞弊的识别效果和准确性都比logistic回归模型更好，但还是存在一些局限性。而模糊化遗传Bpn正是一种可以弥补单纯神
经网络各种局限性的优势技术。
(一)模糊逻辑与神经网络的结合优势 由于神经网路工作方式是自组织式，即无教师学习网络，模拟人类根据过去经验自动适应无法预测的环境变化。由于没有教师信号，这类网络通常利用竞争的原则进行网络的学习，对知识的获取完全取决于感知。因此单纯的神经网络对于处理数量庞大、种类繁多、而且信息复杂的财务报告而言，显得有些吃力并且不一定十分精确。而模糊逻辑算法对知识的获取则是由专家来控制，其对所提供信息的数量和质量均有一定的保证。另外神经网络内部结构使得追踪产生输出的过程变得困难，缺乏解释能力。而模糊逻辑算法最主要的优点就是可以把专家的策略通过iF-tHen、and、or的关系式轻而易举的定义出来，形成模糊逻辑规则，将其与神经网络相结合可以增强模型的解释力。
(二)遗传算法与神经网络的结合优势 遗传算法和人工神经网络都是将生物学原理应用于科学研究的仿生学理论成果。神经网络相当于一个专家系统知识库，能自动在海量数据中识别、捕捉和提取隐藏规律，并将其包含在神经元之间的连接权值中。遗传算法具有全局搜索、收敛速度快的特点，将其与神经网络结合起来，不仅能发挥神经网络的泛化映射能力，而且使神经网络克服收敛速度慢、容易陷入局部误差极小点、网络结构和学习参数难以确定等缺点；同时还可以优化神经网络的结构和连接权系数，这就满足了求得最优Bpn的必要条件。另外，遗传算法本身计算量较大，每次迭代过程需要大量运算，尤其是当遗传算法收敛到一定程度后，整个解群的素质和最优解素质的改善变得比较困难，导致搜索时间呈指数增长，此时用Bp网络寻求最优参数组合比单纯用Ga搜索要节约大量时间。
四、模糊化遗传Bpn财务报告舞弊甄别系统的构建
模糊化遗传Bpn财务报告舞弊甄别系统由模糊演化(Fuzzy)、遗传算法(Ga)和Bp神经网络三个模块构成。具体系统构建流程如图1所示：
(一)模糊演化模块 在模糊演化模块中，首先需要进行的工作是选择输入变量，即构建财务报告舞弊识别特征指标体系，通过显著性检验筛选进入系统的变量。然后将其模糊化，通过iF-tHen语句建立模糊规则库，再经过反模糊化方法输出模糊后的舞弊特征指标变量。
(二)遗传算法模块 在遗传算法模块中，首先根据模糊逻辑模块选定的舞弊指标变量定义遗传算法适应值函数；同时，设定遗传算法所需变量的范围与精度、族群数量及演化世代数、突变与交换率。然后，通过选择、交叉、突变算子演算产生下一代，输入网络框架计算适应值函数值，如果适合度满足终止条件，将网络结构输入给Bp神经网络模块，否则回到三个算子循环计算。
神经网络的正则化方法篇6
现通过对时用水量变化规律的研究，提出以神经网络法预测城市短期用水量。
1城市供水管网用水量变化规律
在我国城市供水系统中，用水量一般包括居民生活用水、工矿企业生产用水和公共事业用水等。同一城市在一天内的不同时段，用水量会发生显著变化。
虽然城市用水量的变化受气候、生活习惯、生产和生活条件等诸多因素的影响，变化情况也较为复杂，但通过分析不难发现：城市用水量曲线呈现三个周期性的变化，即：一天(24h)为一个周期、一星期(7d)为一个周期、一年(365d)为一个周期，并受增长因素(人口增长，生产发展)的影响。若将预测时段取为1h，则季节因素和增长因素的影响就显得十分缓慢，因此管网时用水量的变化具有两个重要特征：随机性和周期性。
2人工神经网络模型
采用目前应用最广泛的多层前馈神经网络模型(Bp模型)来预测用水量。Bp网络由输入层、输出层及隐含层组成，隐含层可有一个或多个，每层由若干个神经元组成。最基本的三层Bp神经网络的结构如图1所示。隐含单元与输入单元之间、输出单元与隐含单元之间通过相应的传递强度逐个相互联结，用来模拟神经细胞之间的相互联结［1～4］。
Bp神经网络采用误差反馈学习算法，其学习过程由正向传播(网络正算)和反向传播(误差反馈)两部分组成。在正向传播过程中，输入信息经隐含单元逐层处理并传向输出层，如果输出层不能得到期望的输出，则转入反向传播过程，将实际值与网络输出之间的误差沿原来的联结通路返回，通过修改各层神经元的联系权值而使误差减小，然后再转入正向传播过程，反复迭代，直到误差小于给定的值为止。
假设Bp网络每层有n个处理单元，训练集包括m个样本模式对(Xk，Yk)。对第p个训练样本p，单元j的输入总和记为netpj,输出记为opj，则：
如果任意设置网络初始权值，那么对每个输入模式p，网络输出与期望输出一般总有误差，定义网络误差ep：
式中dpj——对第p个输入模式输出单元j的期望输出
可改变网络的各个权重wij以使ep尽可能减小，从而使实际输出值尽量逼近期望输出值，这实际上是求误差函数的极小值问题，可采用梯度最速下降法以使权值沿误差函数的负梯度方向改变。
Bp算法权值修正公式可以表示为：
式中δpj——训练误差
t——学习次数
η——学习因子
f′——激发函数的导数
η取值越大则每次权值的改变越剧烈，这可能导致学习过程发生振荡，因此为了使学习因子的取值足够大而又不致产生振荡，通常在权值修正公式中加入一个势态项［5］，得：
式中α——常数，势态因子
α决定上一次学习的权值变化对本次权值新的影响程度。
3时用水量预测
3.1方法
利用Bp神经网络预测时用水量分为三大步骤：第一步为训练样本的准备和归一化，第二步为神经网络的训练，第三步是利用训练后的神经网络对用水量进行预测［6］。
由于用水量的数值较大，应对其进行一定的预处理，一般可采用初值化、极值化或等比变换。通过这些变换可有效地缩短神经网络训练时间，从而加快网络收敛速度。
3.2实例
采用华北某市2000年24h用水量的实测数据进行预测。在应用神经网络预测模型预测时用水量时，建立了时用水量数据库，共收集了240个样本，每个样本包括24h的时用水量资料。
通过选取不同的输入样本数及不同的隐层单元个数来比较其训练与预测结果的最大相对误差、均方差、程序运行时间以决定网络的结构。经过比较，最后决定采用一个隐层、12个隐层单元、24个输出单元的Bp网进行训练,训练过程中均采用24h的时用水量作为输入与输出节点(即opi与opj)。
由于时用水量变化具有趋势性、周期性及随机扰动性的特点，故预测样本的变化规律将直接影响预测结果的变化趋势，所以在预测时应根据预测对象的情况，选择适当的样本进行预测。
①预测次日24h的时用水量(或某一时刻的用水量)
a.如果这一天处于工作日则选取上一工作日的用水量作为输入样本进行训练，然后预测次日的时用水量。预测结果见图2，与实际用水量的相对误差为-0.02%～0.01%。
b.如果预测日为周末(即周六或周日)则选取前一周(包括上周周末)的实测数据进行训练以使预测更加准确，预测结果见图3。与实际用水量的相对误差为-2%～1%。
②预测一个月的时用水量
可以选取上个月的数据进行训练，也可以选取去年或连续几年同月的时用水量进行预测，不过训练样本数越大、训练时间越长则预测精度越高。预测结果见图4，与实际用水量的相对误差在±1%以内。
3.3预测效果比较
为了考察神经网络模型对城市时用水量的预测效果，同时采用时间序列三角函数分析法、灰色系统理论预测法、小波分析法对上述实例进行了预测，结果表明：时间序列三角函数分析法的预测误差一般为±5%～±7%；灰色系统理论预测法的预测误差大一些，为±5%～±50%；小波分析法误差范围为0%～±25%；而神经网络的最大误差不超过±1%。
可见，神经网络方法对城市时用水量的预测效果明显好于其他方法。
4结语
人工神经网络是一门新兴的交叉学科，利用Bp网络进行预测能拟合任意的非线性函数并且具有准确、简单等特点，实际应用结果表明，用它来预测时用水量是可行的。
参考文献：
［1］Haganmt,menhajmB.trainingfeedforwardnetworkswithmarquartalgorithm［J］.ieeetransonneuralnetworks,1994,5(6):989-993.
［2］KanadChakraborty,ChilukuriKmohan.Forecastingthebehaviorofmultivariatetimeseriesusingneuralnetworks［J］.neuralnetworks,1992，(5)：961-970.
［3］SietsmaJ，DowRJF.Backpropagationnetworksthatgeneralize［J］.neuralnetworks,1999，(12)：65-69.
［4］邵良彬，高树林.基于人工神经网络的投资预测［J］.系统工程理论与实践，1997，17(2)：67-71.
神经网络的正则化方法篇7
关键词：双语教学；教学质量评价；评价指标体系；进化神经网络
作者简介：严太山（1968-），男，湖南祁东人，湖南理工学院信息与通信工程学院，副教授；郭观七（1963-），男，湖南岳阳人，湖南理工学院信息与通信工程学院，教授。（湖南岳阳414000）
基金项目：本文系湖南理工学院教学改革研究项目（项目编号：2013B17）、湖南省教育厅科研基金（项目编号：10C0757）、湖南省自然科学基金（项目编号：11JJ2037）、湖南省高校科技创新团队（项目批准号：湘教通[2012]318号）支持计划资助的研究成果。
中图分类号：G647文献标识码：a文章编号：1007-0079（2013）35-0055-03
高校开展双语教学是高等教育与国际接轨的一条重要途径，也是我国高校教育改革与发展的必然趋势。双语课程教学[1-5]是我国高校普遍实施的一项具有探索性、前瞻性和创新性的教学改革，目前已取得了一定的成效。在逐步推进双语教学的过程中，对双语教学质量进行评价是一项十分重要的工作。由于双语教学与传统教学有着根本的区别，对它们应采取不同的评价方法。但是，在对双语教学质量进行评价的过程中，绝大部分高校都还缺乏适合于双语课程教学的专门评价指标体系，一般都依然沿用非双语课程的评价体系，致使教学管理部门难以获得对双语课程教学课程的有效评价。因此，建立高校双语教学质量评价指标体系，对课程进行定量评价显得十分必要。通过教学质量评价，能使学校能够及时了解双语教学课程的教学效果，有效地总结双语教学的成功经验，及时发现双语教学过程中存在的问题，有针对性地采取有效措施给予调整和完善，促进双语教学质量的不断提高。本文通过对影响双语教学质量的因素进行分析，对评价指标体系设计的原则进行探讨，建立了较完善的双语教学质量评价指标体系。将进化神经网络技术应用于高校双语课程课堂教学质量评价中，建立了高校双语教学质量评价模型，为高校双语教学质量评价提供了有益参考。
一、高校双语教学质量评价指标体系
1.高校双语教学质量评价指标体系的构建原则
构建高校双语教学质量评价指标体系时，首先当然要遵循教育科学的基本规律，在此基础上，还要充分考虑双语教学的特殊性，要体现双语教学课程的教学要求，要以提高双语效果为最终目标。双语教学的实施，要受社会发展程度、整个高等教育环境以及高校内部各种因素等多方面的制约。具体来说，影响高校双语教学质量的因素主要包括教师素质、学生素质、教学方法、教材质量、语言环境、管理体系等几个方面。正是因为影响双语教学质量的因素较多，所以，在对高校双语教学质量进行评价时，完全没必要对所有的教学质量特征都进行评价，往往需要从众多的原始数据和评价信息中筛选出一些有代表性而且独立性较强的主导性指标，用它们作为双语教学质量的评价指标，这样能够科学地、准确地表征双语教学质量的状况。
构建高校双语教学质量评价指标体系时，要遵循的原则主要包括：
（1）系统性原则。系统性评价是对双语教学质量的整体评价，而不单单从某一方面或某一内容去评价。双语教学质量的评价内容要覆盖双语教学各个环节，包括教师的备课、课堂教学过程的实施、作业的布置和评阅、课外的辅导和答疑等。
（2）科学性原则。评价指标体系应层次分明，各项评价指标要有明确的内涵，相互之间不能包含或重叠，更不能互相矛盾。随着教育改革的不断深入，评价指标体系也要不断更新。
（3）可行性原则。双语教学质量评价指标要符合目前高校教育教学改革的实际，评价标准是能够达到的，评价要点必须是可观察、可度量的，评价办法要简单可行、易于操作。
（4）导向性原则。开展双语教学质量评价，目的是为了以评促教、以评促学。在评价过程中，要坚持以学生为本，注重教学过程中学生的主体地位和主体作用的发挥，注重培养学生的能力。双语教学质量评价指标体系不仅仅是评价教师课堂教学质量的标准，更要成为教师教学工作的行为准则和努力方向。
（5）激励性原则。我国大部分高校的双语教学，目前都还处于成长初期，要实现双语教学的稳定发展，在制订评价指标体系时，应该以激励为导向，确保双语教学质量评价指标体系能有效地促进教师与学生在教学过程中共同发展，促进教学质量的提高。要注重教学过程中出现的闪光点，注重在教学过程中营造师生和谐融洽的氛围，并加以激发和鼓励。
2.高校双语教学质量评价指标体系的构成
在广泛开展双语教学调查研究的基础上，结合湖南理工学院双语教学课程的具体教学实践，构建了双语教学质量评价指标体系。设计的评价指标体系包括五个一级指标：教师素质、学生素质、教学过程、教学效果和管理体制，每个一级指标又被分解成若干个具体的二级指标，如图1所示。
其中，x1—x5分别表示教师是否具有较高的专业知识水平、较高的学术水平，是否具有出国经历和较强的外语应用能力，教学能力是否较强，教学态度是否较好；x6—x9分别表示学生否具有较好的专业知识基础，外语能力是否较好，学习态度是否端正，学习能力是否较强；x10—x15分别表示教材的选择是否合适，是否有丰富的教学资源，教学方法是否得当，教学内容是否有一定的广度和深度，课堂气氛是否活跃，考核方式是否合适；x16—x17分别表示学生专业知识掌握程度，外语水平提高程度；x18—x20分别表示教师准入制度是否严格，质量监控是否到位，是否有较强的政策支持力度。
二、基于进化神经网络的高校双语教学质量评价方法
1.一种进化神经网络算法
神经网络是一个模拟人的大脑神经系统的结构和功能来处理信息的复杂网络系统，凭借其强大的自学习、自适应、联想记忆等功能而获得了广泛的应用。在各种类型的神经网络中，Bp神经网络[6-8]是一个杰出的代表，它是一种前向网络。典型的Bp神经网络是由输入层、输出层和一个隐含层组成的三层网络，Bp神经网络的学习算法简称Bp算法，由于基本Bp算法在学习过程中经常发生振荡，容易陷入局部极小值，收敛缓慢。为此，Bp神经网络的学习过程通常采用附加动量法，算法的权值和阈值调节公式为：
（1）
（2）
其中，k为学习次数，α为学习率，mc为动量因子，，。
为了提高Bp神经网络的学习速度和精度，本文采用文献[9]中的基于遗传算法的进化神经网络Bp算法（Ga-Bp算法）来实现高校双语教学质量评价。该进化神经网络Bp算法的基本思想是：首先用遗传算法对神经网络结构、初始连接权、初始阈值以及学习率和动量因子进行全面的优化设计，在解空间中定位出较好的搜索空间；然后用Bp算法在这些小的解空间中对网络的连接权和阈值再次寻优，搜索出最优解。进化神经网络Bp算法（Ga-Bp算法）流程如图2所示。
2.高校双语教学质量评价的Bp神经网络模型
对高校双语教学质量进行评价时，具体的评价指标有20个，即x1，x2……x20，每个评价指标有五个评价等级：优秀、良好、中等、较差、差，评价目标同样也有这五个评价等级。
在算法的评价过程中，我们在对各评价指标进行数值化时，各个等级的取值方法如下：“优秀”取1，“良好”取2，“中等”取3，“较差”取4，“差”取5。在试验时，从测评数据集中选取了不同条件下的32个样本作为学习样本，形成了Bp神经网络的学习样本集，部分学习样本如表1所示。
由于评价指标为20个，所以用于高校双语教学质量评价的Bp神经网络的输入层单元数被选定为20个；同理，由于评价目标等级有5个，所以输出层单元数被选定为5个。为了减小网络规模，提高网络的训练速度，隐含层只设一层，对于隐含层单元数，本文采用如下估算公式来确定：
式中，nH表示隐含层单元数，ni表示输入层单元数，no表示输出层单元数，np表示学习样本数，这里np的值取32。
按照这一估算方法，隐含层单元数估算结果为26个。于是，确定本文高校双语教学质量评价的Bp神经网络结构为20-26-5，如图2所示。
3.评价实例
Bp神经网络进化设计时，遗传算法的参数取值为：pc=0.7，pm=0.1，ph=0.1。Bp神经网络训练时，精度要求为mSe≤10-4。在这一精度要求下，用选取的学习样本集对Bp神经网络进行训练，在经过1265次训练后，Bp神经网络达到收敛。在网络收敛之后再选取5个未曾学习过的新样本让网络进行评价，这些评价样本及评价结果分别如表2和表3所示。
表3评价结果
no.评价目标实际输出
y1y2y3y4y5
1优秀0.9898550.0002920.0014990.0026500.001215
2良好0.0015500.9929850.0008220.0006150.000275
3中等0.0031200.0065200.9870500.0008520.003216
4较差0.0028000.0029520.0015640.9980870.005293
5差0.0018530.0049740.0042680.0055430.988210
从表3的评价结果可以看出，神经网络对这5个样本虽然未曾学习过，但就其评价结果来看，均与评价目标一致。这说明Bp神经网络通过学习已具有较强的推理能力，能实现对高校双语教学质量的正确评价。
三、结语
在分析影响高校双语教学质量的因素和探讨评价指标体系构建原则的基础上，建立了有效的高校双语教学质量评价指标体系。采用进化神经网络方法，建立了高校双语教学质量评价模型。从评价过程来看，这种基于进化神经网络的双语教学质量评价方法具有以下优势：一是建立的评价模型完全依赖于评价数据，不需要考虑传统方法中的权重信息，避免了权重难以合理确定的间题；二是系统具有强大的自学习自适应能力，在环境条件发生变化时，系统只要通过重新学习就能正常工作。所以，进化神经网络技术在双语教学质量评价中的应用，为当前教学质量评价提供了一条新的途径，对建立智能化的高校双语教学质量评价辅助决策系统也具有参考价值。
参考文献：
[1]黄宝强，唐丽娟，肖小聪.双语教学质量评价指标体系的构建[J].中国电力教育，2012，（28）：40-41.
[2]张静，赵静，张进明.试论高校双语教学评价体系的构建[J].高教探索，2007，（6）：14-16.
[3]王韶辉，史仪凯.我国高校双语教学质量评估指标体系构建研究[J].北京大学学报（哲学社会科学版），2007，（5）：291-292，290.
[4]方明，洪荭.财会类本科专业双语教学质量评价实证研究[J].财会通讯，2010，（7）：33-35.
[5]张立倩.双语教学质量评价体系模型的研究[J].内蒙古农业大学学报（社会科学版），2013，15（1）：67-69.
[6]马锐.人工神经网络原理[m].北京：机械工业出版社，2010.
[7]王伟.人工神经网络原理——入门与应用[m].北京：北京航空航天大学出版社，1995.
神经网络的正则化方法篇8
关键词：模糊控制；人工神经网络；人脸识别
中图分类号：tp18文献标识码：a文章编号：1009-3044(2011)16-3904-03
随着人工智能技术的飞速发展，机器视觉已经成为当前人工智能研究领域的一大热点，很多国家的研究人员都开展了对机器视觉的研究，其中以机器视觉识别人脸最为困难，这主要是因为人的面部带有表情，不同的人具有不同的脸，而不同的脸具有不同的表情，不同的表情则具有不同的面部特征，如何让计算机通过机器视觉高效率的识别人脸，成为当前机器视觉和智能机器人关键技术领域的技术难题。
随着模糊逻辑控制算法和人工神经网络算法的发展，对于机器视觉识别人脸特征的算法也有了新的发展，目前多数研究算法所采用的人脸识别从实现技术上来说，主要可以分为以下几个类别：
1)基于人脸几何特征进行的识别算法，该算法运算量较小，原理简单直观，但是识别率较低，适合应用于人群面部的分类，而不适宜于每一个人脸的识别。
2)基于人脸特征的匹配识别算法，这种算法是预先构建常见的人脸特征以及人脸模板，构成人脸特征库，将被识别的人脸与特征库中的人脸进行逐一比对，从而实现人脸识别，该算法识别效率较高，但是应用有一定局限性，只能够识别预先设立的人脸特征库中的人脸模型，因此人脸特征库就成为该算法实现的技术关键。
3)基于统计的人脸识别算法，该算法将人脸面部进行特征参数的划分，如两眼距离大小，五官之间距离等，通过构建统计特征参数模型实现对人脸模型的识别，该算法识别率较高，但是算法实现起来运算量比较大，且识别效率较低。
4)基于模糊逻辑的人脸识别算法，这一类算法主要结合了模糊逻辑和神经网络能够自我训练学习的机制实现对人脸的识别，识别率较高，且算法运算量适中，但是算法的原理较难理解，且模糊逻辑控制规则的建立存在一定技术难度。
本论文主要结合模糊人工神经网络方法，将其应用于计算机人脸识别，以期从中能够找到有效可靠的人脸识别方法及其算法应用，并以此和广大同行分享。
1模糊逻辑及人工神经网络在图像辨识中的应用可行性分析
1)人脸识别的技术难点
由于计算机只能够认识0和1，任何数据，包括图像，都必须要转化为0和1才能够被计算机识别，这样就带来一个很复杂很棘手的问题：如何将成千上万的带有不同表情的人脸转变为数字信号并被计算机识别。由于人的面部带有表情，不同的人具有不同的脸，而不同的脸具有不同的表情，不同的表情则具有不同的面部特征，因此这些都成为了计算机识别人脸特征的技术难点，具体来说，人脸实现计算机识别的主要技术难度包括：
①人脸表情：人有喜怒哀乐等不同表情，不同的表情具有不同的面部特征，因此如何分辨出不同表情下的人脸特征，这是首要的技术难点；
②光线阴影的变换：由于人脸在不同光线照射下会产生阴影，而阴影敏感程度的不一也会增加计算机识别人脸特征的难度；
③其他因素：如人随着年龄的增长面部特征会发生些微变化，人脸部分因为装饰或者帽饰遮挡而增加识别难度，以及人脸侧面不同姿态也会对计算机识别带来技术难度。
2)模糊人工神经网络在人脸辨识中的应用可行性
如上分析所示，计算机识别人脸，需要考虑的因素太多，并且每一种因素都不是线性化处理那么简单，为此，必须要引入新的处理技术及方法，实现计算机对人脸的高效识别。根据前人的研究表明，模糊人工神经网络算法是非常有效的识别算法。
模糊理论和神经网络技术是近年来人工智能研究较为活跃的两个领域。人工神经网络是模拟人脑结构的思维功能，具有较强的自学习和联想功能，人工干预少，精度较高，对专家知识的利用也较少。但缺点是它不能处理和描述模糊信息，不能很好利用已有的经验知识，特别是学习及问题的求解具有黑箱特性，其工作不具有可解释性，同时它对样本的要求较高;模糊系统相对于神经网络而言，具有推理过程容易理解、专家知识利用较好、对样本的要求较低等优点，但它同时又存在人工干预多、推理速度慢、精度较低等缺点，很难实现自适应学习的功能，而且如何自动生成和调整隶属度函数和模糊规则，也是一个棘手的问题。如果将二者有机地结合起来，可以起到互补的效果。
模糊逻辑控制的基本原理并非传统的是与不是的二维判断逻辑，而是对被控对象进行阈值的设计与划分，根据实际值在阈值领域内的变化相应的产生动态的判断逻辑，并将逻辑判断规则进行神经网络的自我学习，逐渐实现智能判断，最终实现准确的逻辑判断。相较于传统的线性判断规则，基于模糊规则的神经网络是高度复杂的非线性网络，同时由于其广阔的神经元分布并行运算，大大提高了复杂对象（如人脸）识别计算的效率，因此，将模糊神经网络算法应用于人脸的智能识别是完全可行的。
2基于模糊人工神经网络的人脸识别方法研究
2.1基于模糊神经网络的人脸识别分类器设计
1)输入、输出层的设计：针对模糊神经网络层的输入层和输出层的特点，需要对识别分类器的输入、输出层进行设计。由于使用Bp神经网络作为识别分类器时，数据源的维数决定输入层节点数量，结合到人脸的计算机识别，人脸识别分类器的输入输出层，应当由人脸特征数据库的类别数决定，如果人脸数据库的类别数为m，那么输入、输出层节点数也为m，由m个神经元进行分布式并行运算，能够极大提高人脸识别的输入和输出速度。
2)隐藏层结点数的选择：由于一般的Bp神经网络都是由3层Bp网络构成：输入层，隐藏层和输出层，隐层的数量越多，Bp神经网络越复杂，那么最终能够实现的运算精度就越高，识别率也就越高；但是随着隐层数量的增加，随之而来的一个突出的问题就是神经网络变的复杂了，神经网络自我训练和学习的时间变长，使得识别效率相对下降，因此提高精度和提高效率是应用模糊神经网络的一个不可避免的矛盾。在这里面向人脸识别的分类器的设计中，仍然采用传统的3层Bp神经网络构建人脸识别分类器，只设计一层隐层，能够在保障识别精度的前提下有效的保障神经网络学习和训练的效率，增加人脸识别的正确率。
3)初始值的选取：在设计了3层Bp神经网络的基础上，需要确定神经网络的输入初始值。由于模糊神经网络是非线性的，不但具有线性网络的全部优点，同时还具有收敛速度快等特点，而初始值的选取在很大程度上影响神经网络的学习训练时间的长短，以及是否最终能够实现收敛输出得到最优值。如果初始值太大，那么对于初始值加权运算后的输出变化率趋向于零，从而使得神经网络自我学习训练趋向于停止，最终无法得到收敛的最优值；相反，我们总是希望初始值在经过每一次加权运算后的输出都接近于零，从而能够保证每一个参与运算的神经元都能够进行调节，最终实现快速的收敛。为此，这里将人脸识别的初始值设定在[0，0.2]之间，初始运算的权值设定在[0，0.1]之间，这样都不太大的输入初始值和权值初始值能够有效的保证神经网络快速的收敛并得到最优值。
如果收敛速度太慢，则需要重新设置权值和阈值。权值和阈值由单独文件保存，再一次进行训练时，直接从文件导出权值和阈值进行训练，不需要进行初始化，训练后的权值和阈值直接导入文件。
2.2人脸识别的神经网络训练算法步骤
1)神经网络的逐层设计步骤：神经网络需要按层进行设计，构建信号输入层、模糊层以及输出层，同时还要构建模糊化规则库，以构建神经网络模糊算法的完整输入输出条件。具体构建人脸识别的神经网络层可以按照下述步骤执行：
Step1，构建信号输入层，以视觉摄像头为坐标原点构建人脸识别坐标系统，这里推荐采用极坐标系统构建识别坐标系，以人脸平面所处的角度与距离作为信号的输入层，按照坐标系的变换得到神经网络信号输入的距离差值和角度差值Δρ，Δθ，作为完整的输入信号。
Step2，构建模糊化层，将上一层信号输入层传输过来的系统人脸识别信号Δρ与Δθ进行向量传输，将模糊化层中的每一个节点直接与输入信号向量的分量相连接，并进行信号矢量化传输；同时在传输的过程中，根据模糊化规则库的条件制约，对每一个信号向量的传输都使用模糊规则，具体可以采用如下的隶属度函数来进行模糊化处理：
(1)
其中cij和σij分别表示隶属函数的中心和宽度。
Step3，构建信号输出层，将模糊化层经过模糊处理之后的信号进行清晰化运算，并作为最终结果输出。
关于模糊规则库的建立，目前所用的方法都是普遍所采用的匹配模糊规则，即计算每一个传输节点在模糊规则上的适用度，适用就进行模糊化规则匹配并进行模糊化处理，不适用则忽略该模糊规则并依次向下行寻找合适的模糊规则。当所有的，模糊规则构建好之后，需要对每条规则的适用度进行归一化运算，运算方法为：
(2)
2)人脸的识别算法按如下步骤执行：
Step1：一个样本向量被提交给网络中的每一个神经元；
Step2：计算它们与输入样本的相似度di；
Step3：由竞争函数计算出竞争获胜的神经元，若获胜神经元的相似度小于等于相似度门限值ν，则计算每个神经元的奖惩系数γi，否则添加新的神经元；
Step4：根据学习算法更新神经元或将新添加的神经元的突触权值置为x；
Step5：学习结束后，判断是否有错误聚类存在，有则删除。
其中，
(3)
di是第i个神经元的相似度值，β为惩罚度系数，ν为相似度的门限值。γ的计算方法是对一个输入样本x，若竞争获胜神经元k的相似度dk≤ν，则获胜神经元的γk为1，其它神经元的γi=-βdi/ν，i≠k；若dk>ν，则添加新的神经元并将其突触权值置为x。
实际上，网络训练的目的是为了提高本算法的权值实用域，即更加精确的实现对人脸特征的识别，从而提高算法的人脸识别率，当训练结束后，即可输出结果。
2.3算法仿真测试
为了验证本论文所提出的人脸识别模糊神经网络算法的有效性和可靠性，对该算法进行仿真测试，同时为了凸显该算法的有效性，将该算法与传统的Bp神经网络算法进行对比仿真测试。
该测试采集样本500张人脸图片，分辨率均为128×128，测试计算机配置为双核处理器，主频2.1GHz，测试软件平台为matlab，分别构建Bp神经网络分类器与本算法的神经网络分类器，对500幅人脸图片进行算法识别测试。
如表1所示，为传统Bp神经网络算法和本论文算法的仿真测试结果对比表格。
从表1所示的算法检测对比结果可以发现：传统的算法也具有人脸特征的识别，但是相较于本论文所提出的改进后的算法，本论文提出的算法具有更高的人脸特征识别率，这表明了本算法具有更好的鲁棒性，神经网络模糊算法的执行上效率更高，因而本算法是具有实用价值的，是值得推广和借鉴的。
3结束语
传统的图像识别技术，很多是基于大规模计算的基础之上的，在运算量和运算精度之间存在着不可调和的矛盾。因人工神经网络技术其分布式信息存储和大规模自适应并行处理满足了对大数据量目标图像的实时处理要求，其高容错性又允许大量目标图像出现背景模糊和局部残缺。相对于其他方法而言，利用神经网络来解决人脸图像识别问题，神经网络对问题的先验知识要求较少，可以实现对特征空间较为复杂的划分，适用于高速并行处理系统来实现。正是这些优点决定了模糊神经网络被广泛应用于包括人脸在内的图像识别。本论文对模糊神经网络在人脸图像识别中的应用进行了算法优化设计，对于进一步提高模糊神经网络的研究与应用具有一定借鉴意义。
参考文献：
[1]石幸利.人工神经网络的发展及其应用[J].重庆科技学院学报:自然科学版,2006(2):99-101.
[2]胡小锋,赵辉.VisralC++/matLaB图像处理与识别实用案例精选[m].北京:人民邮电出版社,2004.
[3]战国科.基于人工神经网络的图像识别方法研究[D].北京:中国计量科学研究院,2007.
[4]王丽华.基于神经网络的图像识别系统的研究[D].北京:中国石油大学,2008.
[5]范立南,韩晓微,张广渊.图像处理与模式识别[m].北京:科学出版社,2007.
[6]金忠.人脸图像特征抽取与维数研究[D].南京:南京理工大学,1999.
神经网络的正则化方法篇9
【关键词】供水管网漏损探测漏损定位神经网络
舰艇的消防系统、冷却水系统、消防系统等都是影响舰艇可靠性、生命力的重要系统。当前舰艇上的管网系统的控制、损管、维修都需要人为干预，但是大量舰艇管网损坏导致的严重事故都表明人为进行管网控制、损管的不可靠性及恢复的缓慢性。
管网漏损不仅浪费了舰艇上宝贵的水资源，更加重了损管的难度，同时由于产生自由液面，降低舰艇的稳性，对舰艇正常作战产生极为不利的影响。因此，及时有效的漏损检测、定位方法显得尤为重要。只有在第一时间发现漏损，并派出相应人员及时修复漏损区域，才能最大限度保存舰艇的作战性能。
近些来，采用传感器对管网进行实时监测的研究越来越多，这得益于电子产品价格越来越廉价，使得管网安装更多的传感器和处理器成为可能。但是仅有数据并不能实现漏损探测、定位，更需要有合适的算法，目前已有大量研究成果。
poulakis等提出了一种基于贝叶斯概率的漏损探测、定位方法，该方法通过仿真实验验证了方法的有效性和可靠性，但是该方法在面对多漏损点时显得计算量过大，成为该方法发展的瓶颈。Farley等提出了一种完全基于枚举法的管道漏损/爆裂探测、定位方法，通过认为制造漏损点验证了方法的实用性。islam等提出了一种基于模糊理论的漏损探测方法，该方法具有理论易理解，实现简单等特点，但是需要的监测点较多。
上述这些方法没有考虑管网（如城市给水管网、舰艇消防管网、舰艇生活水管网）具有随机性、时变性、周期性和非确定性，利用传统的管网分析方法进行爆管点动态定位误差较大，难以在工程实际中有效地应用。本文通过神经网络设计了舰艇管网的分布式控制模型，对于提高舰艇管网可靠性具有一定的实用意义。
1基本原理
本文使用的实验管网如图1所示，该仿真模型为Jowitt等人采用的管网模型，管网中共计有25个节点，37根管道，3个水库，管网具体参数可参见文献[4]。
设管网中节点i与n个节点相连接，其中S个节点流入节点i，节点i流出道其他n-S个节点，由流量平衡方程有：
为便于表达，以某节点有1个节点2点，流向2个节点为例，设该节点水头为p2，流入该节点的水头为p1，流向的2个节点水头分别为p3、p4，由海曾―威廉公式有：
而当任一管段出现破损则会破坏压力的函数关系，因此探测到函数被破坏的所有节点的交集管段即为漏损管段，这是本文实现漏损探测、定位的出发点。
直接利用式（2）一方面计算十分困难，另一方面随着管网的老化，管网的参数会发生变化，对漏损探测、定位带来较大的误差。人工神经网络模型是由大量的简单计算单元广泛连接而组成的一个非线性动力学系统，它具有高度的并行分布式处理、联想记忆、自组织及自学习能力和极强的非线性映射能力。因此本文采用神经网络根据正常状态下，各个节点压力存在函数关系的基本理论来实现管网漏损探测和定位。
2神经网络在漏损点探测定位中的应用
本文在通过神经网络实现漏损探测定位时采用了Bp神经网络模型。基于Bp神经网络的漏损探测定位研究可分为两部分：样本训练和基于Bp神经网络的预测。样本训练需要确定样本训练的数量，这是应用神经网络的关键问题，样本数量少了，预测样本值精度较低，样本数量大了，则会导致训练时间太长甚至难以收敛。本文样本值取为2000，每个节点的用水量为：
d（i）=rand（）*max（D（i））
式中D为节点i的最大用水量，即阀门开度取为最大值对应的用水量。
这样可以得到管网的一个随机的用水量向量[d]=[d1，d2，…，dn]，可以测得在该用水量情况下的节点水头值[p]=[p1，p2，…，pn]。将所有与节点i相连接的节点的水头值[p]=[p1，p2，…，pn]作为网络的输入信号，输出信号则为t=[000]。
当管段存在漏损点时，可以通过在管段设置一个用水量不为0的用户来模拟漏损情况，，当4根管道中至少存在一根管道发生漏损时，则取输出信号为t=[001]；[010]；[011][111]。
向量[p]（神经网络的输入）与t（神经网络的输出）组成一个训练对（训练模式），将所有样本进行有效训练，得到一个稳定的误差小于设定值的神经网络。
将实时得到的水头向量[p]输入网络计算，得到一个输出结果，则可判定节点i所在的管段集合中是否存在漏损。
3基于Bp神经网络的漏损探测、定位结果与分析
下面就节点3与相邻节点组成的系统为例，研究基于Bp神经网络的漏损探测定位方法的有效性。设漏损预测准确率为p，则当每采集n组数据通过神经网络得出管道发生漏损，则预测结果准确率为：
p'≈1-（1-p）n
采集数据越多，且每次都得到相同的判断，预测结果成立概率就越大。本文中由于p约为0.9，因此n取为10时，就可以判断预测结果是正确的。
由表1可知，通过管网中测定的节点水头值预测由节点3组成的小系统是否发生漏损具有较好的效果，虽然输出的不是标准的0和1，但是这样的预测结果足以判断是否发生漏损。
本文输出层亦可采用一个输出层节点，但是通过仿真研究发现，当输出层节点数只有一个时，神经网络收敛性较差，预测结果不如采用三个输出层节点的预测结果。
4结语
针对管网中节点用水量随时间变化较大导致管道漏损探测定位的难点，本文提出基于Bp神经网络的漏损探测、定位方法，将该算法集成于管网中各个微处理器中，可以实现管网分布式智能控制，有效提高管网可靠性。结合该模型运用于真实管网中，将是下一步工作的重点。
参考文献
[1]nicolinim，ZovattoL.optimalLocationandControlofpressureReducingValvesinwaternetworks[J].Journalofwaterresourcesplanningandmanagement，2009，135（3）：178-187.
[2]李霞.城市供水管网漏损定位及控制研究[D].天津：天津大学，2006.
[3]islammS，SadiqR，RodriguezmJ，etc.Leakagedetectionandlocationinwaterdistributionsystemsusingafuzzy-basedmethodology[J].Urbanwaterjournal，2011，8（6）：351-365.
[4]耿为民.给水管网压力调节阀门优化控制[J].给水排水，2009，32（2）：95-98.
[5]林贤坤，张令弥，郭勤涛等.协同进化遗传算法在传感器优化配置中的应用[J].振动与冲击，2009，28（3）：190-194.
[6]巩敦卫，孙晓燕.协同进化遗传算法理论及应用[m].北京：科学出版社，2009.
[7]史峰，王辉，郁磊等.matlab智能算法30个案例分析[m].北京：北京航空航天大学出版社，2011.
[8]张彤，张华，王子才.浮点数编码的遗传算法及其应用[J].哈尔滨工业大学学报，2000，32（4）：59-61.
神经网络的正则化方法篇10
1人工神经网络故障诊断法
利用神经网络进行故障诊断，首先对所得的特征数据进行预处理，剔除不合理数据（外值），并对数据进行约简，消除冗余信息，神经网络的结构（中间层的传递函数和神经元数目）和参数（神经元之间的连接权值和阀值）被确定。再利用测试样本集对此神经网络进行测试，如果故障诊断的正确率没有达到要求，增加训练样本或训练次数，继续对神经网络进行训练；如果故障诊断的正确率达到要求，即可转入故障诊断阶段，此阶段可以在线进行。
2基于专家系统和模糊推理的故障诊断法
模糊推理是采用模糊逻辑由给定的输入到输出的映射过程。首先，利用专家的知识和经验构建知识库，对故障与故障现象、现象与现象以及故障与故障之间的关系进行描述。然后通过专家定制、确定性规则转化、数据挖掘或神经网络技术确定模糊规则。最后通过模糊推理机，得到故障的类型和位置信息。
3基于支持向量机（SVm）的故障诊断法
支持向量机作为一种机器学习算法，具有非凡的泛化能力，与其它智能化方法相比，在解决小样本、非线性和高维模式识别中表现出明显的优势，被应用于图像处理、模式识别和数据分析等领域。从本质上来说，网络故障诊断实际上是一个模式识别问题，可以利用支持向量进行网络故障诊断，具体步骤如下：（1）网络状态信息获取并约简，并将特征数据分为两部分：训练样本集和测试样本集；（2）选择支持向量机的初始化参数，包括核函数的参数和惩罚参数等；（3）利用训练样本集对支持向量机进行训练，得到最优分类超平面；（4）利用测试集检验诊断效果，如果诊断的正确率没有达到要求，增加训练集中的样本，对支持向量机重新进行训练；（5）如果诊断的正确率达到要求，则转到正式工作阶段，进行在线故障诊断。