HI,欢迎来到好期刊网!

神经网络基本原理

时间:2023-06-13 16:08:17

导语:在神经网络基本原理的撰写旅程中,学习并吸收他人佳作的精髓是一条宝贵的路径,好期刊汇集了九篇优秀范文,愿这些内容能够启发您的创作灵感,引领您探索更多的创作可能。

神经网络基本原理

第1篇

[关键词]人力资源管理;人力资源需求预测;BP神经网络

[中图分类号]F270.7[文献标识码]A[文章编号]2095-3283(2013)01-00-02

一、 应用BP神经网络的必要性

随着经济全球化和信息技术的加快发展,我国企业面临着更为严峻的竞争压力。为了适应现代市场需求,企业必须优化配置人力资源,并科学制定人力资源规划。其中,科学的人力资源需求预测是人力资源开发和规划的基础,对人力资源管理活动将产生持续和重要的影响。

企业人力资源需求预测分析方法多种多样。在进行人力资源需求预测时,企业要考虑的因素复杂多变,如企业的目标和经营战略、生产状况的变化、工作设计或组织结构的变化等,而且各种影响因素与预测结果之间的相关性难以用定量的方法表示出来,是非线性相互制约的映射关系。将BP神经网络方法应用于人力资源需求预测领域,弥补和改进了人力资源需求预测分析方法,能较好地实现各指标与需求结果之间非线性关系的映射,对企业人力资源决策具有一定的参考和指导作用。

二、BP神经网络的基本原理

人工神经网络,简称神经网络,是一种包括许多简单的非线性计算单元或联结点的非线性动力系统,是用大量简单的处理单元广泛连接组成的复杂网络。Back-Propagation Network,简称为BP网络,即基于误差反向传播算法的多层前馈网络,是目前应用最成功和广泛的人工神经网络。它由输入层、隐含层和输出层组成。隐含层可以是一层或多层。BP神经网络自身具有的非线性映射、自学习、自适应能力、容易实现并行计算等优点,弥补和改进了供应商选择和评价方法,能较好地实现各指标与评价结果之间非线性关系的映射。

基于BP神经网络,构建供应商的选择评价模型,其基本思想为:假设输入变量为X=(X1,X2,···,Xi)',隐含层输出变量为Y=(Y1,Y2,···,Yj)',输出层变量为Z=(Z1,Z2,···,Zl)',期望输出的目标变量为T=(T1,T2,···,Tl)',Wij、Wjl分别为输入层到隐含层、隐含层到输出层的连接权值(如图1所示)。对于i个输入学习样本X1,X2,···,Xi,已知与其对应的输出样本为Z1,Z2,···,Zl。通过BP算法的学习,沿着负梯度方向不断调整和修正网络连接权值Wij和Wjl,使网络的实际输出Z逐渐逼近目标矢量T,也就是使网络输出层的误差平方和达到最小。

图1三层BP网络结构图三、BP神经网络在企业人力资源需求预测中的应用

根据上述BP神经网络主要思想,以A公司为例,分析如何运用MATLAB工具箱实现基于BP神经网络的企业人力资源需求预测。

1.样本数据处理

选取年份、产值、资产总计、利润4个指标作为输入向量,从业人员作为目标向量(见表1)。在对BP网络进行训练前,应该对数据进行归一化处理,使那些比较大的输入仍落在传递函数梯度大的地方。本例采用MATLAB工具箱中的premnmx()函数把数据归一到[-1,1]之间,如表2所示。

对于BP网络,有一个非常重要的定理。即对于任何在闭区间内的一个连续函数都可以用单隐层的BP网络逼近,因而一个三层BP网络就可以完成任意的n维到m维的映射。本例采用单隐层的BP网络进行从业人员预测。由于输入样本为4维的输入向量,因此,输入层一共有4个神经元,网络只有1个输出数据,则输出层只有1个神经元。隐含层神经元个数根据最佳隐含层神经元数经验公式取15个。因此,网络应该为4×15×1的结构。隐含层神经元的传递函数为S型正切函数tansig(),输出层神经元的传递函数为线性激活函数purelin()。

3.BP网络训练及仿真

建立网络后,对表2中的数据进行训练,训练参数的设定如表3所示,其他参数取默认值。

训练次数12100012目标误差120.00112学习速率120.01训练结果如图1所示,可见经过52次训练后,网络的目标误差达到要求。

图1训练结果网络训练结束后,运用MATLAB工具箱中的sim()函数,将经过归一化后的数据表2进行仿真模拟,获得网络的输出,然后将运算结果通过postmnmx()函数进行反归一化处理,得到BP网络预测值,最后检查BP网络预测值和实际从业人员数之间的误差是否符合要求,如表4所示。

4.预测结果评价

图2反映了该BP网络较好地逼近了输入矢量,即年份、产值(万元)、资产总计(万元)和利润(万元)与目标矢量,即从业人员(人)之间的线性关系。用BP神经网络对现有人力资源状况进行分析拟合,是人力资源需求预测的较理想方法。与传统的人力资源需求预测方法相比,将BP神经网络用于人力资源需求预测,克服了输入矢量和目标矢量非线性、不符合统计规律的问题。BP神经网络模型良好的容错和自学习能力,调用MATLAB工具箱函数,使预测过程更易实现,可以更好地对人力资源进行规划,提高人力资源预测精度。

图2BP神经网络的函数逼近结果将BP神经网络应用于企业人力资源需求预测,能较好地建立起各影响因素与预测结果之间的非线性关系,是企业预测人力资源需求的一种较理想的方法。但BP神经网络也存在着一些不足和问题。主要表现在学习速率太小可能会造成训练时间过长;BP算法可以使权值收敛到某个值,但并不能保证其为误差平面的全局最小值;网络隐含层的层数和单元数的选择一般是根据经验或者通过反复实验确定,网络往往存在很大的冗余性,在一定程度上也增加了网络学习的负担。因此,BP神经网络在企业人力资源需求预测领域的应用仍需根据企业自身实际情况做进一步的改进和完善。

[参考文献]

[1]飞思科技产品研发中心神经网络理论与MATLAB7实现[M]北京:电子工业出版社,2005.

[2](美)海金(Simon Haykin)神经网络原理(原书第2版)[M]叶世伟,史忠植译北京:机械工业出版社,2004.

[3]丛爽面向MATLAB工具箱的神经网络理论与应用[M]中国科学技术大学出版社,1998.

[4]刘跃基于BP神经网络的人力资源估价研究[J]统计与信息论坛,2007(1):96-99.

[5]艳明四种人力资源的定量预测方法及评述[J]统计与决策,2008(7):30-32.

[6]国家统计局固定资产投资统计司,中国行业企业信息中心中国大型房地产与建筑业企业年鉴[M]北京:中国大地出版社,2003-2008.

[7]王文富企业人力资源预测与规划研究[D]天津大学,2004.

第2篇

关键词:故障诊断;遗传算法;神经网络;小波分析

引言

遗传算法GA(GeneticAlgorithms)模拟了达尔文的“适者生存,优胜劣汰”的自然进化论与孟德尔的遗传变异理论是由Michigan大学Holland教授1975年在他的专著AdaptationinNaturalandArtificial首次提出。其基本流程如图1。遗传算法(GA)与传统算法有很多不同之处,主要体现在GA适应性强,其使用的算子是随机的,如交叉、变异和繁殖等算子不受确定性规则的控制。但这种搜索也不是盲目的,而是向全局最优解方向前进。直接使用适值函数进行适值计算,而不需要求优化函数的导数,使一些不可求导的优化函数也可用GA优化;GA具有较强的鲁棒性,它能同时搜索解空间的多个点,从而使之收敛于全局最优解,而不至于陷入局部最优解;另外它还具有智能性和并行性,利用遗传算法的方法,可以解决那些结构尚无人能理解的复杂问题。它已广泛应用于函数优化、组合优化、模式识别和信号处理等领域,在处理复杂优化问题时遗传算法显示了巨大潜力,在实际工程应用中取得了巨大成功。由于上述特点,建立合理的模型,可以将GA用于设备的状态监测和故障诊断之中。本文把近年来的有关GA用于故障诊断的文献进行分析、归纳,总结出GA在故障诊断中的具体应用。

GA用于故障诊断从目前来看,有直接应用于故障诊断之中,主要用于提取特征向量,为诊断的后续处理作准备。有和其他的诊断方法相结合,研究得较多。

一、利用遗传算法提取、优化特征参数

机械故障诊断是一个典型的模式分类问题。在诊断实践中,由于诊断对象的复杂性,故障特征和故障类别的对应关系不甚明了,人们提出了大量的原始特征以进行故障识别。但由于特征向量之间存在一定的关联性,且特征向量对不同故障的敏感程度不同,这对设备诊断的效率和准确率有重要的影响。要对这些特征向量进行优化,使它们能够适应实际需要。

史东锋等对回转机械故障诊断中3类由同步振动引起的故障来分析,应用遗传算法,染色体采用二进制编码方式,以样本类内、类间的距离判据为适应值函数,进行特征选择,高效地剔除原始特征集的冗余特性,提高故障的识别精度。而用常规方法对得到的23个特征量进行分类,由于起高度的冗余性,很难取得理想的分类效果。

二、遗传算法与人工神经网络(ANN)的结合应用

人工神经网络以其强有力的学习和并行处理能力为故障诊断提供了全新的理论方法和实现手段。神经网络通过对经验样本的学习,将知识以权值和阈值的形式存储在网络中。网络的输入是被诊断对象的征兆即特征值,输出则表示发生故障的可能性。神经网络是以神经元为信息处理的基本单元,以神经元间的连接弧为信息通道,多个神经元联结而成的网络结构。神经网络以其独特的联想、记忆和学习功能在机械设备故障诊断领域受到广泛关注,其中研究较多的是BP神经网络及其改进算法。

三、遗传算法与模糊集理论的结合应用

模糊集理论是一种新的数据分析和处理方法,使用模糊集理论可以对决策表进行简化,去除冗余属性。故障模糊诊断的基本原理是利用模糊变换的原理、最大隶属度和阈值原则,根据各故障的原因与征兆之间不同程度的因果关系,在综合考虑所有征兆基础上来诊断旋转机械振动故障的可能原因。将模糊集理论应用到解决旋转机械故障诊断问题时,要计算旋转机械振动故障数据库中的频域征兆,使用模糊集理论对其进行约简,根据约简的结果生成规则。利用得到的规则对故障样例进行诊断。

四、遗传算法与小波理论的结合应用

小波变换作为新的信号处理手段,具有传统傅立叶变换和加窗傅立叶变换无法比拟的优点。其特点是实现了对信号的多分辨率分析,便于对信号的总体和局部进行刻划;且能将信号准确还原。利用它对信号的分解和重构特性,可有针对性地选取有关频带的信息和剔除、降低噪声干扰,这对于机械故障诊断具有很大的实际意义。

第3篇

关键词:神经网络;BP神经网络;计算机;网络故障;检测

中图分类号:TP393.06 文献标识码:A 文章编号:1007-9599 (2012) 15-0000-02

网络故障检测所指的是检测对象一旦有某种故障出现,就立即对其实行检测,从而找出引发网络异常的因素。网络故障检测主要分成三个阶段,分别是采集信息、提取故障征兆以及识别状态,可以说,故障的检测,最根本之处就在于对故障征兆集至故障状态集之间所存在的非线性映射进行求解,在各种各样的神经网络模型中,得到最广泛应用的就应该是BP模型了,针对此通过BP算法来进行计算机网络故障的检测。

1 BP神经网络故障检测原理及算法

1.1 BP神经网络实行故障检测的基本原理

所谓的BP神经网络模型,它主要依靠一个输入和与之相对应的输出来和外界产生联系,神经网络模型训练主要是通过对样本数据的充分采集与 BP算法的有机结合来实行的,通过这一措施,来使得神经网络越来越和组合导航系统中最原始的算法模型所具有的非线性的这一特征几乎一致。具体来说,通过BP神经网络来实行故障检测的基本原理主要包括两个部分,第一个部分是要保证具有足够的样本数量来和神经网络训练之所需相满足,并在此基础上来得出所期望的诊断网络。第二个部分,就是通过诊断输入,来对神经网络进行充分的利用,从而有效实施故障检测。需要注意的是,在对其实行故障检测之前,所需要做的就是对原始的数据,对训练样本的数据等等做出相关的处理,所谓的处理,主要包含了两步,第一是预处理,第二是特征的提取,只有通过这两个步骤,才能够为网络诊断提供更加适合的诊断输入和更加有效的训练样本。

其中,需要引起注意的有三部分的内容,第一,对网络结构确定的一个关键所在就是要对网络结构的规模进行合理且科学的确定,特别是对其中的网络中间层神经元来讲,其个数的选择尤为重要。第二,要注意对训练的样本以及测试的样本进行确定。所谓的训练样本,其所具有的最主要的作用是对网络进行训练;所谓的测试样本,其所具有的主要作用就是要在前者的基础之上,来进行效果的监测。第三,需要做的就是要结合上述训练样本的结果和测试样本的结果,来将两者有机的结合起来,从而最大限度的实现和神经网络的一致性,进而有效进行故障的检测。

1.2 BP神经网络的检测算法

对于神经网络的检测来讲,和其他检测不同的是,它并不需要事先把相关的模式经验知识以及相关的函数判别等等罗列出来,因为它是一种具有自适应性的模式,能够对自身的学习机制进行充分的利用,来形成一个决策区域。网络在进行某一种映射关系的获得的时候,需要通过状态信息来对各种状态的信息进行训练,这一映射关系,会随着环境的不断改变而自行进行调整,从而和瞬息万变的环境相适应。它的具体算法是:

输入:net=

输出:y=

输出的导数为 =y(1-y)

BP神经网络的形成,主要是通过多种神经元之间实现相互的连接而实现的,它所具有的最主要特点就是单向传播,是一种多层前向的网络,它主要分成三个层次,也就是输入层、中间层以及输出层,其中,中间层还可以分成若干个层次,并且对于其中每一层的神经元来讲,它只对前一层的神经元输出予以接受。不仅如此,BP神经网络当中并没有反馈的存在,在同一层中的不同节点来讲,它们之间是不会形成相关的耦合作用的,它所能够影响的也只是下一层节点的输入。

2 基于神经网络的计算机网络故障检测措施

2.1 通过神经网络来实行故障检测的措施

(1)模式识别神经网络。所谓的故障检测,实际上需要做的是进行模式分类和模式的识别,在传统意义上的模式识别技术,它在进行模式的分类的时候,基本上采用的方式都是通过对函数的识别进行充分的利用,来对每一个类别实行划分。那么,在这样的划分模式下,我们假设模式样本的特征空间为N维欧氏空间,同时假设模式的分类为M类,这样,我们就可以从数学模式上来对其进行分类,具体分类方式就是:通过对朱超平面方程的定义,来对N维欧氏空间尽可能地实现最佳分割,并且这一分割的决策区域是M这样的问题。但是,在具体的实践中,如果要对复杂的决策区域进行分割,那必定是十分困难的。所以,必须要准确的选出最适合的函数判别式,来在识别中对函数相关的参数进行识别,从而进行相关的修正措施。

(2)故障预测神经网络。对于故障预测神经网络来讲,它的实现,主要是通过两种方式来完成的,第一种方式是,把神经网络作为主要的函数逼近器,饼子啊次基础上莱迪机组工况的某一些参数实行拟合预测看,这一种方式,最常见的就是本文所研究的BP网络就。第二中方式是充分对输入和输出这两者之间的关系进行考虑,之后,采用带反馈连接的动态神经网络来针对具体的过程或者具体的工作情况参数,来吧动态的模型建立起来,从而实行故障预测。但是从目前其应用程度来看,得到最广泛的应用的应该就是基于多层的前馈网络。

现在,我们站在系统辨别的角度之上,来看前馈网络,它所代表的仅仅只是那些能够通过代数的方程,就能够进行静态映射的扫描,从而实行静态预测的描述,如果把它用在设备的动态建模和动态预测当中,毫无疑问会受到很大的限制。所以,我们可以说,动他的神经网络预测,也就是一个动态时序建模的过程。

(3)专家诊断神经网络。所谓的专家诊断神经网络,也就是把神经网络和专家系统两者之间进行有机的结合,这一有机结合的费那个是主要有两个,第一个是,把专家系统来组合成为神经网络,详细来讲,也就是要针对传统的专家系统,来把其中的建立在符号上的推理直接转变成为建立在数值运算上的推理,这样做的最根本目的就是要把专家系统所具有的执行效率大大提升,并在此基础上来对其学习能力进行充分的利用,从而把专家系统中的学习问题彻底解决好。第二个是,把神经网络看成是一种知识源的具体表达以及具体处理的模型,通过把这一模型和其他的相关知识表达模型的有机结合,来把领域专家的知识充分的表达出来。总的来讲,建立在神经网络基础上的故障检测专家系统,是一种新的知识表达系统,它是通过对大量的节点的一些简单处理,是通过单元与单元之间的相互作用来实现信息处理的。

这一方式,通过对网络信息的保持性的充分利用,来把其中的那些不是很精确的诊断推理实现,是一种简单且有效的方式。

2.2 神经网络故障检测的具体应用

在一般情况下,导致网络故障的因素不外乎是在设置上出现了问题,对于这类原因引起的故障,我们可以把着手点放在软件上面,通过这一入手点,来实行故障的检测,对于把网络的设置改正确了,对本地机主的测试也通过了,但是,他和与之相邻的主机却是不同的,并且,在这一时候,和交换机相连接的端口没有出现网线的松动情况,那么,需要做的就是进行TCP/IP 的重新安装。将具体一点,也就是如果系统处于正常运行的状态的话,实际上,这一时候的残差是和高斯白噪声序列最为接近的时候,这是,期均值就近乎为零,这时,我们把协方差上界用以下的式子来表示:

U(k)=

其中U(k)所表示的是协议方差,它是会随着k的变化而出现不同的统计特性,如果我们定义一些随机变量,采用的方式是:

需要指出的是, 我们可以认为其就是服从于 的分布的,所以,上述的式子又可以表示成为:

从上述的式子中,我们可以用字母N来表示数据床的长度,那么,如果系统是处于正常运行的状态的话,d(k)的数值就会很小;反过来讲,如果系统正处于突发性故障的状态的话, 就不能够和白噪声的特性相满足,所以, ,其中所标示的是阈值,H0所表示的是正常模态,通过实践,如果有故障发生,那么只需要进行一步时延,d(k)就会发生明显的变化,由此来对网络故障进行检测。

3 结束语

总之,到目前为止,网络故障诊断的一个最主要发展趋势就是采用智能化的检测技术来记性,而神经网络有着极佳的非线性映射,有着极强的自适应能力,从而日益被广泛的应用到网络故障的检测当中,也可以说,这是一种值得深入推广的技术。

参考文献:

[1]刘毅.神经网络在网络故障诊断中的应用研究[J].计算机仿真,2010,11

第4篇

关键词:涡轮增压系统;故障诊断;BP神经网络;RBF神经网络;Elman神经网络

中图分类号:U472 文献标识码:A

在现代生产过程中,柴油机作为常见的机械设备之一,广泛应用于动力发电、工程机械等各种领域,其动力性和可靠性的好坏直接影响着整个系统的工作状况。因此,对柴油机进行故障诊断和状态监测,及时发现并排除故障,对增加柴油机工作状态下的安全性与可靠性,减少经济损失,避免事故发生具有重大的意义。传统的柴油机故障诊断与处理方法包括油法、振动噪声法等,但都是以定期保养和事后维修为主,这些方法缺乏事故预见能力、成本高、效率低[1]。随着计算机技术、信号分析处理技术、人工智能的迅猛发展,柴油机故障诊断技术的水平也在不断地提高。以非线性并行分布处理为主的神经网络为柴油机故障诊断技术的研究开辟了新的途径[2]。经过对柴油机的故障资料进行分析,柴油机的涡轮增压系统发生的故障较多,本文只研究柴油机涡轮增压系统故障的诊断,利用MATLAB神经网络工具箱,分别基于BP、RBF和Elman网络进行柴油机的故障诊断,并对三种网络方法诊断结果的可靠性和适用性进行比较和分析。

1 涡轮增压系统的故障分析

根据对柴油机工作过程的分析和实际运行经验,可以确定涡轮增压系统的出现的工作故障的原因和部位主要有:增压器效率下降、空冷器传热恶化、透平保护格栅阻塞、透平通流部分、空气滤清器阻塞、空冷器空气测流阻塞增大和废热锅炉流阻增大。其中后三项故障可以直接由部件特性参数诊断得出,系统的工作状况和前四项故障原因作为网络输出变量由建立的神经网络进行故障诊断,确定柴油机涡轮增压系统是否处于安全运行中。柴油机涡轮增压系统工作状况下可以得到的征兆变量包括排气总管温度、扫气箱压力、平均燃烧最大爆发压力、扫排气道压损系数、增压器转速、压气机出口温度、扫气箱温度、空冷器压损系数、滤网压损系数、废气锅炉压损系数和柴油机工作负荷参数,共11项可以作为网络的输入变量。

根据某型号柴油机技术规范要求,可以得到柴油机无故障时的数据,如下所示[3,4]。

气缸排气温度: 30K

扫气箱压力: 0.06MPa

最大爆发压力: 1MPa

滤网压损系数: 0.1

增压器转速: 1500r/min

空冷器压损系数: 0.1

废气锅炉压损系数: 0.1

扫排气道压损系数: 0.06

压气机出口温度: 30K

扫气箱温度: 40K

其中,由于滤网压损系数、空冷器压损系数和废气锅炉压损系数可以作为部件特性系数,直接进行诊断,所以,排气总管温度、扫气箱压力、最大爆发压力、增压器转速、扫排气道压损系数、压气机出口温度、扫气箱温度和柴油机负荷作为网络的输入变量。由神经网络诊断出的数据参数上下偏差超过以上数据时,则认为柴油机有故障。

2 神经网络模型

2.1 BP神经网络

BP学习算法的基本原理是梯度最快速下降法,通过梯度搜索使网络的实际输出值和期望输出值的误差均方值为最小。BP神经网络是误差反向传播算法的学习过程,如图1所示,输入层各神经元负责接收来自外界的输入信息,并传递给中间层各神经元;中间层是内部信息处理层,负责信息变换,根据信息变化能力的需求;传递到输出层各神经元的信息,完成学习的正向传播处理过程,由输出层向外界输出信息处理[5,6]。

图1 BP神经网络结构

2.2 RBF神经网络

RBF神经网络属于前向神经网络类型,如图2所示。第一层为输入层,由信号源结点组成;第二层是隐含层,隐含层中神经元的变换函数是非线性函数,传递函数为radbas;第三层为输出层,传递函数为线性函数purelin,对输入模式作出响应[7]。

RBF神经网络的基本原理是前馈式神经网络,它具有最佳逼近性能和全局最优特性,并且结构简单,训练速度快,在模式识别、非线性函数逼近等领域的神经网络模型方面应用广泛[8]。

2.3 Elman神经网络

Elman神经网络是一个具有局部记忆单元和反馈连接的局部前向回归网络,主要结构是前馈连接,包括输入层、隐含层、承接层和输出层,其中承接层从隐含层接收反馈信号,用来记忆隐含层神经元的输出值,经过延迟和存储,在输入到隐含层中,这样对历史数据具有敏感性,增强了网络的动态信息处理能力[9]。

图2 RBF网络结构

3 网络设计

3.1 样本数据选取与处理

确定正确的训练样本集是神经网络能够准确故障诊断的一个关键环节,柴油机涡轮增压系统的每一种故障都对应着一个样本,样本的目标值取0,0.5和1来表示诊断出故障的严重程度。确定训练样本,分别取满负荷运行、90%负荷运行、70%负荷运行和半负荷运行四种状况下的数据集,现抽取其中的9组数据作为训练样本,3组数据作为测试样本。由于原始数据幅值不同,甚至相差很大,直接在网络中使用学习速率会变得很慢,无法反应出小的测量值变化,所以要先将训练样本进行归一化处理,处理后的数据对于网络更容易训练和学习[10]。归一化函数如下所示:

Xi =(xi-A)/B

式中:Xi表示归一化后的测试数据,xi表示原始的测试数据,A表示相应的无故障情况下的基准值,B表示最大偏差值的绝对值。

3.2 建立网络并故障诊断

3.2.1 BP神经网络

根据试凑法,选取隐含层节点数为12,第一层传递函数使用tansig函数,第二层传递函数使用logsig函数,训练函数为trainlm函数,训练次数3000,训练目标0.01,学习速率为0.1。

net=newff(minmax(P),[12,5],{'tansig','logsig'},'trainlm');

net.trainParam.epochs=1000;

net.trainParam.goal=0.01;

LP.lr=0.1;

net=train(net,P,T);

如图3所示, 经过32次训练后,网络的性能达到了要求。

图3 BP网络训练结果

利用训练好的BP网络对测试样本进行测试,测试代码为yi=sim(net,pi) i=0,1,2测试结果为:y1=0.0000 0.9999 0.0000 0.0036 0.0000;y2=0.21050.0000 0.5245 0.0000 0.0059y3=0.0000 0.0014 0.0000 1.0000 0.0000测试结果表明,经过训练后,网络可以满足柴油机涡轮系统故障诊断的要求。

3.2.2 RBF神经网络

由于样本数目比较小,将径向基分布常数设定为1.2,由此,利用MATLAB创建一个RBF神经网络如下:spread=1.2;net=newrbe(P,T,spread);经过训练后,对策是样本进行测试,测试结果如下:y1 = 0.0000 1.0550 -0.189 -0.0758 0.0147;y2 =0.0000 -0.0018 0.5196 0.0055 -0.0087;y3 = 0.0000 0.0202 -0.0111 0.9804 0.0028测试结果表明,网络成功诊断出了所有故障。

3.2.3 Elman神经网络

创建单隐层的Elman神经网络,最影响函数性能的是隐含层节点数,通过考虑网络的速度与性能,将隐含层节点数定为15,创建网络如下所示:net=newelm(minmax(P),[15,5],{'tansig','logsig'})net.trainParam.epochs=500;net.trainParam.goal=0.01;net=train(net,P,T);

如图4所示,经过训练和对数据测试后,结果如下所示:y1 = 0.0232 0.8539 0.0050 0.2311 0.0021;y2 = 0.0112 0.0291 0.4829 0.0468 0.0447;y3 = 0.0129 0.2031 0.0146 0.7644 0.0204

图4 Elman神经网络训练结果

测试结果虽然误差较大,但可以测试样本的故障诊断结果。

4 结语

(1)采用神经网络建立故障诊断模型,能够客观的反映柴油机是否故障及严重情况,三种网络均能够满足故障诊断的要求;(2) BP网络具有很强的非线性映射能力,在柴油机故障诊断中应用很成功,但由于BP网络是前向的神经网络,所以收敛速度比较慢,而且有可能收敛到局部极小点;RBF神经网络收敛速度快,当函数的扩展速度spread越大,函数拟合就越平滑,如果数值过大,会使传递函数的作用扩大到全局,丧失了局部收敛的优势,所以在网络设计中需要尝试确定最优解;Elman网络的训练误差曲线比BP网络要平滑,收敛速度很快,能准确的识别所有故障类型,但相对于BP网络和RBF网络,Elman网络的识别误差更大,但并没有影响所建立模型的应用。(3) 由于样本量比较小,对于和训练数据相差很大的数据,所建立的网络可能无法正确诊断。在实际应用中要采用大容量的训练样本,并对样本数据进行分析和检查,如利用小波方法处理非正常的高峰值波动数值等[11]。

参考文献

[1]张蕾. 融合技术在柴油机故障诊断中的应用[J]. 小型内燃机与摩托车,2002,31(3):33-36.

[2]汪云,张幽彤.神经网络在电控柴油机实时的故障诊断[J].汽车工艺与材料,2001,(1):38-40.

[3]马旭凯,谷立臣,李世龙. 基于SOM神经网络的柴油机故障诊断[J]. 机械制造与研究,726-731.81-83.

[4]丁艳君,吴占松.锅炉烟气排放检测软件传感器[N]. 清华大学学报(自然科学版),2002,42(12):1636-1638.

[5]李玉峰,刘玫.基于动量BP网络的柴油机故障诊断[J].控制工程,2007.

[6]傅荟璇,赵红等.MATLAB神经网络应用设计 [M].北京:机械工业出版社,2010.

[7]朱大奇,史慧.人工神经网络原理及应用[M]. 北京:科学出版社,2006.

[8]Luce H,Govind R.Neural network pattern recognizor for detection of failure modes in the SSME[J].AIAA90-1893.

第5篇

 

关键词:  人工神经网络; 类风湿关节炎; 预测

类风湿关节炎(Rheumatoid arthritis ,RA)是一种以关节滑膜发生慢性炎性病变的自身免疫性疾病,其病程多呈进行性进展,致残率高,治愈率低下[1],早期临床表现不典型,单项自身抗体检测的灵敏度和特异性均有不足,类风湿因子的检出率也偏低,容易造成误诊[2,3]。因此医务人员主要是通过敏感性互补的几个检验指标和临床表现对类风湿关节炎作出诊断[4],但在疾病的诊断中往往带有很多的主观因素。近年来发展起来的人工神经网络是种理论化的数学模型,是模仿人脑神经的网络结构及其功能而建立起来的一种信息处理系统,具有自行学习、联想记忆、错误容纳和强大的非线性处理能力[5]。因此人工神经网络常常被应用到临床医学疾病的诊断上。本研究结合类风湿关节炎诊断的8个主要指标,设计一种基于人工神经网络类风湿关节炎的诊断方法,通过对150例样本的网络运算,探讨了人工神经网络对类风湿关节炎诊断的可行性。

1 人工神经网络基本原理

人工神经网络可以通过对外界信息的学习,以特定的方式对这些信息进行处理和概括,从而具备了对这些信息的识别功能,并产生了一个相对应的结论。因此,再次给人工神经网络这样一个相似的条件时,神经网络就会根据已学到的知识,自行推理判断,得到一个我们需要的结果。

1.1 人工神经元

人工神经元是组成人工神经网络的基本处理单元,简称为神经元。如图1显示了一个具有r个输入分量的人工神经元模型[6]。

图1中p(r=1,2,…,r) 为该神经元的输入数据;Wr 为该神经元分别与各输入数据间的连接强度,称为连接权重,权重值的大小代表上一级神经元对下一级神经元的影响程度。b为该神经元的阈值,f(x)为作用于神经元的激励函数,通常采用的是S 型函数,其数学表达式见式(1)[7]:

f(x)=(1+e-Qx)-1(1)

a为神经元的输出数据。神经元将接收信息pi与连接权重wi 的点乘积求和构成其总输入, 在神经元阈值b的作用下经函数f(x)的作用,产生信号输出a。

图1 人工神经元模型

1.2 人工神经网络

人工神经网络是由多个不同的神经元连接而成,一般含有多个层次,每个层次又包含了多个神经元,上一层次的神经元只能对下一层的神经元产生作用,同层神经元间无相互作用[7]。根据神经元的不同连接方式,就形成了不同功能的连接网络模型。比如BP神经网络,Kohonen神经网络,Hopfield神经网络等等,多达数十种。在医学中应用比较广泛的是BP神经(Back Propagation),也就是误差逆向传递网络[8],本研究中采用的也是BP神经网络。BP神经网络一般由输入层,隐含层和输出层构成,其结构模型如图2所示。

神经网络输入层的神经元是接受外界信息的端口,不包括数据运算功能,他将外界的输入数据通过一个连接权重传递给下一隐含层的神经元。隐含层是神经网络的核心部分,数量上可以有一个或多个层次,随着层次的增多,网络结构变得更复杂,网络数据处理功能也增强。网络的最后一层是输出层,输出层接收到隐含层的各项信息,然后经过转换把信息传给外界。

输入层 隐含层 输出层

图2 BP人工神经网络模型

第6篇

关键词: BP神经网络; 支持向量机; 核函数; 数据挖掘

中图分类号: TN711?34 文献标识码: A 文章编号: 1004?373X(2017)11?0111?04

Research on data mining algorithm based on neural network

WANG Chunmei

(School of Computer Science and Technology, Xi’an University of Posts and Telecommunications, Xi’an 710121, China)

Abstract: The neural network can classify and predict the various network models. The data mining algorithm based on BP neural network and SVM is applied to the air quality prediction in Xi’an region. Although the BP neural network and SVM method have different generalization ability and convergence ability, the past historical data is used to train the network model. The experimental results prove that the data mining algorithm can predict the future data accurately.

Keywords: BP neural network; support vector machine; kernel function; data mining

0 引 言

近年来空气污染严重,空气问题不容忽视,准确的空气质量预测具有极大的现实意义。神经网络算法在数据挖掘中占有重要的地位,因为网络模型、复杂度等不同,神经网络可以拟合各种曲线实现分类、预测等多种模式,至今神经网络已经研究出了多种类型来适应不同的要求。

神经网络要求网络模型对训练数据集有比较好的逼近能力,也需要对训练集之外的分布数据能给出比较精准的预测。泛化能力即经过训练学习得到的预测模型,对没有在训练集中出现但是具有一定规则的数据能有比较准确的预测能力,不只是普通的保存学习过的样本,而是需要进行有限次数据的训练,找到未知的规律。

本文基于神经网络的BP算法和SVM算法利用已有的历史数据训练网络模型,对未来的天气进行较为准确的预测工作。

1 BP算法

前馈神经网络是一种典型的神经网络模型,网络具有分层结构,输入数据从输入层进入到前馈神经网络,经过输入层和隐层传递到输出层。不同的前馈网络节点限制函数、神经元个数、隐层个数、权重修改方法能够实现拥有多样能力的前馈神经网络。

只有一个隐层的感知器只能解决输入数据线性能够区分的问题,但很多分类问题的输入数据都是线性不能区分的。要完成线性不可分的难题,需要在结构中加入隐层。含有多隐层的前馈网络相比于单层感知器的区分效果有明显的提升。因为误差相反传递算法经常用于神经网络,所以也叫BP网络。

1.1 基本思想

BP学习过程分为两个过程,即输入数据经过输入层和隐层正向流给输出层,输出层的误差经隐层反传给输入层。正向传播时,输入数据从输入层到达,经过每个隐层的加工后,再传递给最后的输出层。如果输出数据达不到预期目标,则进入误差的反向传递。误差的反向传递是指将最后一层的误差经过某种方法,经网络的隐层反转传递向输入层,将误差均匀给网络每个层的所有神经元节点,因此得到网络每层神经元节点的误差信号,通过节点获得的误差来调整节点。这两部分反复,通过不断地权重修改将误差减少到比较满意的情况,或达到学习次数上限。

1.2 基本原理

三层BP网络模型图如图1所示。

在该三层前馈网络中,为输入向量,代表隐层神经元节点的阈值;隐层输出为图1中是为输出层神经元引入阈值设置的;输出层的输出向量为预期输出网络的隐层和网络输入层的权值用矩阵表示;用表示网络隐层到网络输出层的权值矩阵。

对于输出层来说:

(1)

对于隐层来说:

(2)

转移函数为:

(3)

1.3 学习算法

当网络输出距离预期结果有差距时,代表输出误差。

隐层:

(4)

输入层:

(5)

据式(5)得知,网络误差展开到输入层只和有关,要想减小误差,就要修改神经元的权值。

假设网络有个隐层,神经元数代表网络隐层的输出,为权重,则权重修改公式如下:

输出层:

(6)

第个隐层:

(7)

递推可得:

(8)

在BP算法中,所有的权重修改公式都一样,都取决于学习率、输入和本层的输出误差。模型每层的输出误差和模型的总误差有关系,反映了模型输出的误差。网络中每一个隐层的误差都和前面每个网络层的误差有联系,都是经过网络的输出层一层一层地向前回传。

2 SVM算法

2.1 基本思想

从线性可分的方向来看,支持向量机的本质是寻找一个最优决策超平面,使其两侧和到平面距离最近的数据点之间的距离最大,有良好的泛化推广能力。而对于非线性可分问题,根据Cover定理:如果分类问题在低维上不可分,那么将其非线性地映射到高维特征空间可能是线性可分的,只要变化是非线性的并且特征空间的维度很高,所以模式空间可以从低维变换到高维特征空间,让问题在高维中有很大的可能可分。

2.2 基本原理

SVM方法是一个三层网络构建的过程,分类超平面的向量为网络的权值,隐层使用非线性映射函数把数据输入向量从低维映射到高维的特征向量空间中。

设是维的输入向量,低维输入的空间经过非线性变换到维特征空间:

(9)

式中:是权重;是偏置。

特征空间分类超平面为:

(10)

式中:代表第个输入向量在高S特征空间的像和输入向量在特征空间的像的内积。

使用内积函数得到超平面:

(11)

支持向量机的基本思路是:对于非线性可分问题,让输入样本从非线性低维变化到高维特征空间后,使其在高维特征空间线性可分,让支持向量的个数是去除向量为零,最优超平面判别函数为:

(12)

2.3 学习算法

在使用内积核函数的情况下,SVM学习算法如下:

(1) 训练样本

(2) 在约束条件下求解,让目标函数:最大化的矩阵的第个元素是。

(3) 计算最优的权值:

(4) 对于待分类模式计算判别函数:

根据的值,判断的类别。

向量机的设计不完全依靠设计人员的经验,因为得到的是全局的最优解,泛化能力较强。但是因为矩阵运算耗时,所以训练速度相对缓慢。

3 测试实验

3.1 BP算法实验

首先定义网络结构,根据多次实验,最终确定的网络结构如图2所示。网络的输入层节点数设计为5、输出层节点数选择为4、隐含层节点数选择为100。隐层的转移函数是Sigmoid函数,输出层转移函数为Purelin函数。

由于是时间序列预测,得到了以前数据后,令是第个输入,令是第个输出。输入层节点总数用表示,代表输出层节点的总数。

利用BP算法,根据2013年11月―2014年12月的西安历史空气质量数据,对2015年1月空气质量预测结果折线图如图3所示,数值参照表如表1所示。

3.2 SVM算法实验

本次实验采用Gauss来模拟RBF网络预测空气质量。Gauss核函数需要参数。如果会发生严重的过学习现象,即泛化能力较弱;当时会有前学习现象。

其次需要样本准备,因为历史空气质量的变化趋势能反映空气质量的规律。输入参数是历史的空气质量输出是下一日期的空气质量。是输入空间的维度,是空气质量预测的步长。此处选取来预测未来1个月的空气质量。

使用lssvm的tunelssvm函数,采用最小二乘法对Gauss核函数的参数和SVM参数进行寻优,找到合适的Gauss函数参数,再使用工具箱trainlssvm函数进行训练,然后连续预测得到2015年1月的空气质量预测值。

利用SVM算法,根据2013年11月―2014年12月的西安历史空气质量,对2015年1月空气质量预测结果折线图如图4所示,数值参照表如表2所示。

3.3 实验结果对比

从图5和图6得知,针对得到的样本和实现的算法模型,BP算法模型和SVM支持向量机对2015年1月空气质量的总体走势的预测相差不多,对于实际的空气质量,仍旧有较大的误差。SVM的均方误差略小于BP的均方误差,但是BP算法网络模型需要大量的时间训练,而SVM网络参数寻优使用的时间要少得多。

4 结 语

BP算法在神经网络中使用最普遍,但却不能适用于所有的问题,确定网络的层数和节点数仍然需要网络设计者的经验和不断的试验调整。BP网络还具有学习速率慢,易陷入极小值,泛化能力等问题需要人们解决。SVM由统计和数学理论发展而来,它能够解决分类、回归、预测等问题。对于线性不可分的问题,SVM能够把其对应于特征空间内,使其线性可分。SVM核心在于核函数,不一样的核函数可以模拟不同网络应用在不同问题。但是关于核函数的参数如何选取,在领域内仍然没有一个成熟的理论。数据挖掘中BP算法和SVM算法仍然有一些问题没有统一的解决理论,但是这并不妨碍数据挖掘的潜力。相信随着研究的不断深入,理论的不断完善,这些问题都将会迎刃而解。

参考文献

[1] HAN Jiawei,KAMBER MIcheline,PEI Jian.数据挖掘:概念与技术[M].3版.北京:机械工业出版社,2012.

[2] 张良均.数据挖掘:实用案例分析[M].北京:机械工业出版社,2013.

[3] 陈封能.数据挖掘导论[M].北京:人民邮电出版社,2011.

[4] 朱明.数据挖掘[M].合肥:中国科学技术大学出版社,2008.

[5] 韩力群.人工神经网络理论、设计及应用[M].2版.北京:化学工业出版社,2007.

[6] 王小川.Matlab神经网络43个案例分析[M].北京:北京航空航天大学出版社,2013.

[7] 施彦,韩力群,廉小亲.神经网络设计方法与实例分析[M].北京:北京邮电大学出版社,2009.

[8] 张德丰.Matlab神经网络应用设计[M].北京:机械工业出版社,2011.

第7篇

关键词:BP神经网络;气水识别;预测效果

中图分类号:TP21 文献标识码:A

人工神经网络是人类通过模拟脑神经系统的记忆存储与再现、联想思维、目的行为以及更为不易捉摸的情感和灵感等信息活动,揭示脑物理平面与认知平面的相互联系的作用机理,通过计算机实现学习 、训练、修正、确认和计算的一种计算机信息处理系统。自50年代以来,神经网络技术经历了萌芽、探索、学科的诞生和茁壮成长,成为当今全世界关注的高科技热点,显示出了广阔的应用前景。

BP人工神经网络(Back Propagation Network)是由大量的神经元相互连接而成的自适应非线性动态系统。人工神经网络作为生物控制论的一个成果,其触角已延伸到各个工程领域,吸引着不同专业领域放入专家从事这方面的研究和开发工作,并且在这些领域中形成了新的生长点。人工神经网络从理论探索进入大规模工程实用阶段,到现在也只有短短十几年的时间。它的工作原理和功能特点接近于人脑,不是按给定的程序一步一步地机械执行,而是能够自身适应环境,总结规律,完成运算、识别和控制工作。一般人工神经网络的主要特征为:大规模的并行处理和分布式的信息储存;极强的自学、联想和容错能力;良好的自适应性和自组织性;多输入、多输出的非线性系统。这些特征使它基本符合工程的要求。

1.BP神经网络的基本原理

神经网络系统由大量的神经元广泛连接形成。每一个神经元都是一个基本处理单元, 将从其它众多神经元中接收到的信息, 经过非线性计算,输出给另一些神经元。简单的人工神经元如图4-1所示:X1,X2,...,Xi,...,Xn是第j个神经元接收到的信息ω1j,ω2j,...,ωij,...,ωnj为该神经元与提供信息神经元之间的连接权;θj为单元激活值,为该神经元计算处理后输出的信息,神经元的计算处理函数可选阶跃函数、分段线性函数、函数、 S函数,通常人们选S函数。

对于算法BP网络对神经网络的训练过程,实质上是通过计算输出值与期望值的误差(E),求解输出层单元的一般化误差(dj),再将dj逆传播,求出隐层单元的一般化误差(ei)。通过调整输出层和隐含层及输入层间连接权与隐层、输出层的阀值,直到系统误差降到可接受为止。这时,网络间的连接权和阀值不再改动,以此预测出与训练信息相类似条件的未知信息。

图1给出一个基本的BP神经元模型,它有R个输入,每一个输入都通过一个适当的权值W和下一层相连,网络输出可表示为:

图1 BP神经元模型

2.子洲气藏山西组产层分类

本文以子洲气田山2段储层为研究对象,根据储层产流体性质及其典型井的测井响应综合特征,考虑到生产井的动态生产特征和出水特点,将子洲气藏生产井划分为气井、水井、气水同产井和干井四类,相应的储集层为气层、水层、气水同层和干层。将试气产量大于1×104m3/d,含水率小于10%的储集层归为1类气层;将产气量0.2×104m3/d-1×104m3/d,产水量小于4m3/d的储集层归为2类气层;若储集层仅含残余气和少量可动水,砂层分类中作为干层对待,产气量小于0.2×104m3/d,产水量小于4m3/d;试气产量大于0.2×104m3/d而小于1×104m3/d,产水量大于4m3/d;试气产量大于1×104m3/d,含水率大于10%的储集层归为气水层;试气产量产气小于0.2×104m3/d,产水大于4m3/d,或含水率高于90%的储集层为水层。

依据上述原则选择具有代表性的各类产层:

气层:榆10、榆11、榆12、榆13、洲06、洲07、洲08、洲09、洲10、洲11、洲12、洲13、洲14、洲15、洲16、洲17、洲18、洲19、洲20、洲22、洲23、洲24;

干层:榆14、榆15;

气水层:榆09、榆07、榆08、洲05、洲02、洲03、洲04;

水层:榆01,榆02、榆03;榆04、榆05、洲01。

3.BP神经网络模型的建立和预测

3.1 BP神经网络流程图

在进行BP神经网络的建立和运用时,实际流程如图2。

3.2 BP神经网络的建立

(1)根据试气结果,从24口井,挑选出气层,气水层,水层,干层共24组样本,以补偿中子(CNL),密度(DEN),声波时差(AC),自然伽马(GR),深浅侧向电阻率差(Rt-Rs),5条测井曲线作为样本输入参数。

(2)BP神经网络输入层设为5个节点,分别代表补偿中子(CNL),密度(DEN),声波时差(AC),自然伽马(GR),深浅侧向电阻率差(Rt-Rs),5条测井曲线。含一个隐层,隐层为8个节点,隐层采用S型神经元函数logsig()。输出层为4个节点,分别代表气层,气水层,水层,干层。建立程序,输入样本参数,对样本学习,训练,修正权值和阀值。在对样本进行训练和学习过程中的网络结构如图3。

(3)在训练过程中,取网络动量因子α=0.7,学习因子η=0.9,误差精度ξ=0.0001。开始训练,经过260次训练,误差达到万分之一以下,停止学习,气水识别模型已经建立,此时得到储层类型识别模型。其中输入层到隐层的连接权值和阀值为:

隐层到输出层的连接权值和阀值为:

[-24.562,-2.116,-3.379,22.653,-23.136,-4.673,6.582,-8.383,7.582];

[-1.680,-2.879,-2.743,13.058,-3.695,-2.538,1.274,1.487,8.891];

[13.618,-5.297,7.349,0.597,21.638,-3.294,6.842,4.348,-11.230];

[-10.310,8.314,-2.610,6.840,5.369,-13.568,21.330,5.613,3.637]

3.3 BP神经网络模型预测效果

根据试气结果,我们从30口井选取43个样本,以补偿中子(CNL),密度(DEN),声波时差(AC),自然伽马(GR),深浅侧向电阻率差(Rt-Rs),5条测井曲线数据作为输入数据,利用已经建立的BP神经网络模型进行预测,预测效果如下表:

从上表可以看出,利用该BP神经网络模型在对43个样本进行预测中,其中40个正确,3个错误(与试气结果不符合),符合率达到93.02%,所以该识别模型的预测效果较比较理想,可以弥补交会图只能定性识别储层的缺陷,因此该BP神经网络气水识别模型可以较为精确划分该区域的气水层,可以达到定量识别气层、水层、气水层、干层的目的。

结论

利用该BP神经网络模型预测气水层,符合率达到93.02%,弥补了传统测井解释气水层的弊端,通过网络学习建立模型,避免了大量杂乱信息对分析的影响,预测效果真实可靠。

参考文献

[1]Baldwin.J.L.Bateman,R.M.Weatley,C.L.Application of a neural network to the problem of mineral identification from well logs,3rd Mgls.Borehole Geophys,for Mineral, Geotech&Groundwater Appl.Int.Symp.2002.10.The Log Anslyst,30,2002:121-235.

[2]Kukal G C. A Systematic Approach for the Log Analysis of Tight Gas Sands. SPE 11857:21-30.

第8篇

关键词:遥感影像,监督分类,非监督分类,人工智能神经元网络方法。

引言:遥感影像由于具有丰富的纹理信息,同时具有获取方便、经济、快捷等特点,现已成为探测地物目标综合信息的最直观、最丰富的载体, 在数字城市的建设中占有重要的地位。遥感影像分类技术是遥感影像处理系统的核心功能之一,无论是遥感信息提取,动态变化检测,还是遥感专题制作,遥感数据库的建立等等都离不开它,因此遥感影像分类具有着广泛的应用前景。

遥感影像分类方法

1.1遥感图像分类的基本原理

遥感影像分类的基本原理是:遥感影像中的同类地物在相同条件下(纹理、地形、光照及植被覆盖等)应具有相同或相似的光谱信息特征和空间信息特征, 可以说,计算机用以识别和分类的主要标志是物体的光谱特性。目前的大多数研究还是基于此特征来进行的。

1.2监督分类方法

1.2.1监督分类方法定义

监督分类,又称为训练分类法,即用被确认类别的样本像元去识别其他未知类别像元的过程。在这种分类中,分析者在图像上对每一种类别选取一定数量的训练区,计算机计算每种训练样区的统计或其他信息,每个像元和训练样本作比较,按照不同的规则将其划分到与其最相似的样本类。它是一种由已知样本外推至未知区域类别的方法。

1.2.2监督分类的基本步骤及主要方法

监督分类可分二个基本步骤:

(1)选择训练样本和提取统计信息

训练样本的选择需要分析者对要分类图像所在的区域有所了解,或进行过初步的野外调查,或研究过有关图像和高精度的航空照片,其最终选择的训练样本应尽可能准确地代表整个区域内每个类别的光谱特征差异。其大小、形状和位置必须能同时在图像和实地容易识别和定位。

另外,在选择训练样本时,还必须考虑每一类别训练样本的总数量。作为一个普遍的规则,如果图像有N波段,则每一类别应该至少有10N个训练样本,才能满足一些分类算法中有关计算方差及协方差矩阵的要求。当然总的样本数量应根据区域的异质程度而有所不同。

对于不同的应用环境,监督分类中训练样本的选择和对其统计评价的步骤和方法都会有所不同。

(2)选择合适的分类算法

在监督分类中可以采用许多不同的算法,将一个未知类别的像元划分到一个类别中。常用的几种算法:①平行算法、②最小距离法、③最大似然法

1.3非监督分类

1.3.1非监督分类法概述

非监督分类,也称为聚类分析或点群分析, 是一种无先验(已知)类别标准的分类方法。即在多光谱图像中搜寻、定义其自然相似光谱集群组的过程。长期以来,非监督分类已经发展了近百种不同的自然集群算法。这里仅简述最常用的ISODATA算法。

1.3.2 ISODATA法

ISODATA即重复自组织数据分析技术。经过ISODATA算法得到的集群组只是一些自然光谱组,需要分析者将每个集群组归到其对应的类别中,这个过程通常还需要参考其他的图,或者用户本身对于该区的了解。留下难以归类的图像,对这个残余图像重新运行ISODATA算法,直到所有的集群组都能正确归类。

2.1新的分类方法

分类是人们获取信息的一种重要的手段。传统的分类方法是以经验风险最小化为归纳原则,只有当训练样本数趋于无穷时,其性能才能达到理论上的最优。然而在光谱遥感影像分类中训练样本往往是有限的。当样本不足时,传统的分类方法往往不能达到理想的分类精度,尤其在对高光谱影像的分类中,样本不足的问题更为突出。新的分类方法目前分为:模糊分类、空间结构纹理分类、专家分类、人工智能神经元网络方法,本文着重介绍一下人工智能神经元网络方法。

2.1.2人工智能神经元网络方法

1943年随着神经元的数学模型(MP模型)的首次提出,人工神经网络的研究先后经历了兴起、沉淀和低潮期。20世纪80年代中期以来,神经网络的应用研究取得了很大的成绩。近年来,国内外众多学者已经将其广泛应用到遥感领域。

所谓人工智能神经元网络法(简称神经网络法)是利用计算器模拟人类学习的过程,建立输入和输出数据之间联系的程序。神经网络法从其本质上讲应属于非监督分类的范畴,因为简单实用, 在一定程度上满足了遥感影像分类的精度, 又恰好能有效解决遥感图像处理中常见的困难,因此它很快在遥感图像分析与处理领域得到了广泛地应用,现已日益成为遥感影像分类的有效手段。

人工神经网络具有如下基本特性:

(1)并行分布处理:神经网络具有高度的并行结构和并行实现能力,每个神经元都可根据接收到的信息作独立的运算和处理,然后将结果传送出去,有较好的耐故障能力和较快的总体处理能力;

(2)非线性映射:神经网络具有固有的非线性特性,这源于近似任意非线性变换能力;

(3)通过训练进行学习:神经网络通过研究系统过去的数据记录进行训练,一个经过适当训练的神经网络具有归纳全部数据的能力;

(4)适应与集成:神经网络能够适应在线运行,并能同时进行定量和定性操作。神经网络具有较强适应和信息融合能力,特别适合复杂、大规模和多变量系统的控制。

神经网络监督方法相对于传统的遥感影像分类方法具有的主要优势:

(1)可以处理各种非线性映射和求解各种十分复杂和高度非线性的分类和模式识别问题;

(2)统计方法依赖于模型而神经网络依赖于数据本身;

(3)具有并行处理能力,运算速度高于其他方法;

(4)能最大限度地利用已知类别遥感图像样本集的先验知识,神经网络可以根据这些知识自动进行学习,提炼出规则;

(5)具有联想能力,若训练集中的遥感图像具有代表性,那么求解这些样本的合理规则很可能就是求解原问题的一般性规则,它比其它方法具有更好的联想和推广能力。

结束语

随着遥感技术的纵深发展,遥感数据的时间、空间和光谱分辨率不断提高,传统的分类方法(如最大似然法、K-均值法等)已经不能满足分类精度的要求,因此应采用新的分类方法来提高遥感图像分类精度。但毕竟神经网络法也存在着一定局限性,我们在今后的研究中有几点必须注意:一方面,遥感图像分析与处理本身具有复杂性和多目标性,这样就要求我们在具体工作中必须设计出适合问题的模型,另一方面,人工神经网络在图像重建、图像压缩、图像去噪等方面的应用,虽然不如在遥感影像分类中应用的那么广泛,但也已经显示出其优势和意义,有待我们进一步研究。还要注意将人工神经网络与其它理论技术结合起来,这样它将有更加广阔的应用前景。

参考文献

第9篇

关键词:学生综合素质评价;BP神经网络;算法设计

中图分类号:TP311文献标识码:A文章编号:1009-3044(2009)24-6786-03

BP neural Network Based on the Overall Quality of the Student Evaluation of Algorithm Design

ZHANG Wen-sheng

(Xiamen Gongshang Lvyou Xuexiao, Xiamen 3610012,China)

Abstract: In this paper, the overall quality of the students a variety of evaluation methods carried out in-depth analysis to explore the use of BP neural network theory to evaluate the feasibility of the overall quality, and BP neural network based on the overall quality of the student evaluation of algorithm design.

Key words: evaluation of the overall quality of students; BP neural network; algorithm design

学校德育教育是提高学生综合素质的重要一环,在学校工作中占有举足轻重的地位。德育涉及大量定性和定量的数据处理,为了体现其科学性和公平性,采用先进的计算机技术进行学生综合素质量化评估势在必行。

1 问题的提出

据调查,目前在学校里对学生素质评价的方法,主要有以下几种:

1) 定性描述法

在学期或学年结束时,班主任根据学生在班级、学校和社会活动中的行为表现,运用文字对学生的综合素质进行描述,作为对学生的评价。这种方法在评价学生综合素质时起过一定的作用,但是,由于教师对学生综合素质评价的内容不明确,要求不统一,带有一定的主观片面性和模糊性。

2) 等级划分法

班主任根据平时对学生的观察和了解,对学生的综合素质行为划分出优、良、中、差四个等级。它只能说明每个学生综合素质发展的程度,在班集体中所处的地位,但缺乏具体内容,学生对于自己或他人的优点和缺点、以及个人今后的努力方向都不明确。

3) 自我总结法

这种方法是以学生为主,在教师的指导下总结自己的收获,存在的问题、以及今后的努力方向,并写成书面材料,然后写在操行表的自我总结栏内。这种方法是以学生的自我评价为主,它对于提高学生的自我评价能力,具有一定的促进作用。但是,由于没有老师和同学们参加评价,其评价结果缺乏客观性。

4) 小组评议法

是以班级小组评议为主。通过开评议会的形式,对全组成员分别进行评议,肯定成绩,提出缺点,最后把大家的意见集中起来,作为对学生的评价结果。它具有一定的客观性,可是,没有教师参加评议,影响了评价结果的可信度。

上述各种方法的都有一定的长处,也有一定的缺点。例如,对学生的综合素质的结构,没有明确统一的规定和具体要求;不能同时吸收各方面的意见参加评价;没有制定较为符合需要的综合素质量表和采用科学的测量手段等等。所以,评价的结果往往带有主观片面性,评语内容的不确定性,以及处在同一等级的同学之间存在差异的模糊性。于是最近又提出了对学生综合素质定量进行测量和评价。

5) 定量分数法

将构成学生综合素质的各种因素数量化,并制定出综合素质量表。在具体的进行测量和评价时,把学生综合素质所含每种因素的发展程度分为优、良、中、差四个等级,每个等级分别对应一定的标准值。对不同因素确定不同的权重大小,再综合学生每个因素所取得的标准值,最后得出学生的综合素质分。

用定量的方法对学生的综合素质发展程度进行评价时,不同因素需要确定不同的权重大小。权重的大小对评估结果十分重要,它反映了各指标的相对重要性。由于对不同的因素的权重是人为给定的,而学生综合素质的各项因素对学生的整体素质存在不可确定的影响程度,因些在对学生的测量和评定过程中必然受到主观因素及模糊随机性的影响。并且这种方法需要消耗大量的人力和时间。

为了探讨这个问题,我们根据BP神经网络的基本概念和原理,用神经网络自我学习的方法,对中学生综合素质进行测量和评价。BP神经网络能利用经验样本对神经网络的训练,达到神经网络的自我学习,在网络中自动建立一个多输入变量与输出变量间的非线性映射过程,无需建立具体的数学模型和规则,可以处理那些难以用模型或规则描述的过程或系统。神经网络具有自组织、自学习、自适应的特点,能通过连接权重的不断调整,克服权重确定的困难,弱化人为因素,自动适应信息、学习新知识,最终通过学习训练对实际学习样本提出合理的求解规则,对学生的综合素质的整体评定具有十分重要的意义。首先我们来了解BP神经网络的基本原理。

2BP神经网络的基本原理

1) 神经元网络基本概念

神经网络是单个并行处理元素的集合,从生物学神经系统得到启发。在自然界,网络功能主要由神经节决定,可以通过改变连接点的权重来训练神经网络完成特定的功能。如图1所示。这里,网络将根据输出和目标的比较而进行调整,直到网络输出和目标匹配。

2) 神经元网络结构

图2所示为一个单标量输入且无偏置的神经元。

神经元输出计算公式为:a=f(wp+b)。神经元中的w和b都是可调整的标量参数。可以选择特定的传输函数,通过调整权重 和偏置参量 训练神经网络做一定的工作,或者神经网络自己调整参数以得到想要的结果。

3) BP结构及算法描述

在实际应用中,神经网络用得最广泛的是反向传播网络(BP网络),典型的BP网络是三层网络,包括输入层、隐含层和输出层,各层之间实行全连接。

BP网络是采用Widrow-Hoff学习算法和非线性可微传输函数的多层网络。网络的学习过程由正向和反向传播两部分组成。在正向传播过程中,每一层神经元的状态只影响到下一层神经元网络,如果输出层不能得到期望输出,就是实际输出值与期望输出值之间有误差,那么转入反向传播过程,将误差信号沿原来的连接通路返回,通过修改各层神经元的权值,逐次地向输入层传播去进行计算,再经过正向传播过程,这两个过程的反复运用,使得误差信号最小。实际上,误差达到人们所希望的要求时,网络的学习过程就结束了。

4) 反向传播算法

反向传播学习算法最简单的应用是沿着性能函数最速增加的方向一梯度的负方向更新权重和偏置。这种递归算法可以写成:

xk+1=xk-ak*gk

这里xk是当前权重和偏置向量,gk是当前梯度,ak是学习速率。在神经元中,学习速度又称为“学习速率”,它决定每一次循环训练中所产生的权值变化量(即该值的存在是神经元网络的一个必须的参数)。大的学习速度可能导致系统的不稳定,但小的学习速度将会导致训练较长,收敛速度很慢,通常情况下取值在0-01~0,8之间。

3 基于BP神经网络的学生综合素质量化评估模型

从上述对神经元网络基本概念的研究,我们可以看出BP神经网络主要根据所提供的数据,通过学习和训练,找出输入与输出之间的内在联系,从而求取问题的解,而不是完全依据对问题的经验知识和规则,因而具有自适应功能,这对于弱化权重确定中的人为因素是十分有益的;其次能够处理那些有噪声或不完全的数据,具有泛化功能和很强的容错能力;由于实际对学生量化评估往往是非常复杂的,各个因素之间相互影响,呈现出复杂的非线性关系,人工神经网络为处理这类非线性问题提供了强有力的工具。因此与其它评定方法相比,基于神经网络的评价方法越来越显示出它的优越性。结合学校对学生进行综合素质评估考核的具体问题,我们提出以下设计。

3.1量化评估内容的确定

1) 确定学生的综合素质结构

学生的综合素质结构,主要是根据一定历史阶段的社会要求、学校对学生的传统要求,以及各个不同年龄阶段学生心理和生理发展的特征来确定的,它具有一定的社会性、科学性、可行性。以教育部提出的职业学校学生发展目标为依据,评定内容包括:道德品质与公民素养、学习能力、交流与合作能力、运动与健康、审美与表现、职业技能等6个层次。每个层次又包括各种因素,各层次和因素之间又是相互联系和相互促进的,它既反映了社会的、学校的具体要求,又符合学生综合素质发展和形成的规律。当然,在实际评价学生中,可以根据学校的实际特点进一步确定各要素,进一步构成学生综合素质评价的综合评价指标体系。

2) 学生综合素质评价的结构设计

用BP神经网络进行学生综合素质评价结构的设计如图3所示。对学生的综合素质进行量化评估时,从输入层输入评价学生综合素质的n个评价指标因素信息,经隐含层处理后传入输入层,其输出值y即为学生评估结果。这n个评价指标因素的设置,要考虑到能符合学生综合素质发展和形成的规律,能全面评价学生的综合素质状况。

网络结构的参数选择十分重要,由于输入层与隐含层神经元个数的增加会增加网络的表达能力,不仅会降低系统的性能,同时也会影响其收敛速度和增加噪声干扰。所以首先必须确定输入层神经元的数目。为使模型即有理论价值又有可操作性,本例对应于对学生综合素质考核结构的六个因素,本文采用6个输入神经元,分别为道德品质与公民素养、学习能力、交流与合作能力、运动与健康、审美与表现、职业技能等评价指标。由于目前隐单元数尚无一般的指导原则,为了兼顾网络的学习能力和学习速度,隐含层神经元的个数选择采用试算法,在网络训练过程中进行调整。笔者首先选定15,用训练样本来学习,然后减少隐含层单元数后再进行学习,通过观察训练误差变化的大小来调整隐单元数。其原则是:若在减少隐单元数进行训练时过程平衡(即逐步收敛并达到较小的误差)且误差无显著增加,则说明减少隐单元数是合适的;否则表明隐单元数不宜减少,而应增加隐单元数直到满意为止。选择一个输入神经元为学生综合素质最终评价结果,分别以0、0,5、1对应于学生评议等级的优、良、中三种不同的评价结果。经过多次实验,最后得到适宜的网络模型为6-4-1网络模式。

3.2 量化评估模型

1) 指标体系的规范化处理

根据神经网络计算规则,为了保证输出在线性部分,不到两端去,应保证输入输出在0-1之间,反传达时也一样,输出应在0~1之间。因此要将原始数据归一预处理,变换为[0,1]区间的数值,得到规范化数据,作为输入输出节点的样本数据。原始数据采用我校高一年一个班级的50名学生的学生综合素质各项指标因素样本数据,将实际数据分为两组:前40名学生的各项指标因素成绩样本数据作为学习样本,后10名学生的成绩数据作为测试样本。

2) 学习算法

本模型采用6-4-1BP神经网络结构,其中输入层为6个指标值和一个阈值。模型初始化时对所有的连接权赋予(0,1)上分布的随机数,阈值取1。权值的修正依据带惯性因子的delta规则。根据多次试验的结果,其中,惯性因子α=0.075,学习率η=0.85,将样本数据40组为一次循环,每次循环记录40组样本中最大的学习误差。经过多次的学习,最后观察网络输入与期望输出的相对误差,当误差小于0.005时,学习结束。可以得到如果增大样本的个数,精度还会进一步提高。

本文探讨了神经网络在学生综合素质评价上的应用方法,可取得较为理想的结果,它可以解决用传统统计方法不能或不易解决的问题。但是由于它是一种黑盒方法,无法表达和分析评估系统的输入与输出间的关系,因此也难于对所得结果作任何解释,对求得的结果作统计检验;再者,采用神经网络作评价系统时,由没有一个便于选定最合适的神经网络结构的标准方法,只能花大量时间采用凑试法,从许多次实验中找出“最合适”的一种;还有样本数据需要足够的多,才能得到较为理想的结果。

参考文献:

[1] 高长梅,赵承志,白昆荣.学校德育工作全书(上)[M].北京:人民日报出版社,2005.

[2] 闻新,周露,李翔,张宝伟.MATLAB神经网络仿真与应用[M].北京:科学出版社,2008.

[3] J.P.Marques de sa,Pattern Recognition―Concepts,Methods and Applications[M].北京:清华大学出版社,2006.