展会信息港展会大全

神经网络的原理与应用(院选修课)
来源:互联网   发布日期:2011-10-01 11:43:41   浏览:19447次  

导读:神经网络的原理与应用(院选修课)_小董_新浪博客,小董,...

 

人工神经网络简介

二十世纪是科学技术大发展的世纪,是人类文明的新篇章。经过近半个世纪的努力探索,一门崭新的向人类自身大脑学习的新学科--人工神经网络(Artificial  Neural Network, ANN),已经诞生并正在茁壮成长。它是当今世界关注的高科技热点,并开始显示出美好的广阔的应用前景。

     一 当代信息高科技热点--神经网络

     自80年代中后期以来,全世界特别是一些工业发达国家,掀起了一股竞相研究开发神经网络的热潮。

     在神经网络这个涉及多种学科的新的高科技领域中,吸引了众多的神经生理学家、心理学家、数理科学家、计算机与信息科学家,以及工程师和企业家等。大量的有关神经网络机理、模型、算法、特性分析,以及在各方面应用的学术论文,象雨后春笋般涌现在报刊杂志上和许多学术会议中。一时神经网络以及建立在神经网络原理基础上的神经计算机(Neurocomputer),成为当代高科技领域中方兴未艾的竞争热点。

     人工神经网络应用于化工领域主要是:谱图分析、结构与性能预测、信号处理、过程控制、故障诊断和化学反应产物估计等。关于过程控制和事故诊断是化工界非常重要的应用领域。用神经网络及时报告生产工况并进行控制信息反馈。国外已有人将神经网络用在蒸馏塔中,预测稳态下的可能故障。

      二 脑神经信息处理机制

      脑是人体的中枢神经系统。外界环境以声、光、热化学分子等形式的信号,作用于人的感觉器官,形成听觉、视觉、嗅觉和触觉。感觉器官接受到的信号,以串并联的方式,将信号传至大脑,如下图所示:

      生理物理学家认为,神经元是大脑的基本加工单元。大脑大约包含1012个神经元,每个神经元大约与102-104个其它神经元相连接,形成极为复杂又灵活多样的神经网络。

      神经元有兴奋和抑制两种状态,每一个神经元都是在与之相连的兴奋性突触(Synapse,神经键是神经元与其它神经元的联系部分)和抑制性突触综合作用下活动的。它的兴奋和抑制状态又对其它神经元产生影响。当大量的兴奋性突触进行活动时,神经元的膜电位升高超过一定的阈值后,神经元就被激励,细胞体产生信息输出,此状态相当于计算机中的"1",当大量的抑制性突触影响超过兴奋性突触影响时,神经元膜电位降低,使神经元受到抑制而不发生冲动,从而无信息输出,此状态相当于计算机中的"0"。

      由于脑神经系统按大量神经元连成网络的形式,所产生的连接主义(Connectionism)机制呈现出下面几方面的特征:

      1、处理信息的高度并行性

      相当于统筹法的平行作业法。其特别是用一定的空间复杂性来有效地减低时间复杂性。如果我们将现行计算机按串行顺序执行已编程序的解题方法比拟为排队投票来决定问题的话,那么,神经网络的信息处理方式就相当于众多神经元举手表决,因而能以迅速得多的方式作出判断或求得解答。

      2、信息处理和信息存储合二为一

      神经元既是信息处理单元,又是信息存储单元。信息处理的结果,反映在突触连接强度的变化上,作为神经元间连接键的突触,既是信号转换站,又是信息存储器。这种信息处理和存储的合一,使人在思考和回忆事情时,就用不着像现行计算机那样先找存储地址,而后再提取存储内容。也正是由于这个特别,人脑在回忆问题时,具有从部分信息恢复全部信息的能力。

      例如在神经网络中要保存"他是工人"这样一个概念,就需要有一个神经元代表"他",一个神经元代表"工人"另一个神经元代表"是"。当这三个神经元之间的连接强度都同时使神经元激励时,便代表这个概率的输出。如果要增加新的"知识",神经网络就必需加入另外的神经元及它与各神经元之间的连接,数以万计的神经元互相连接,便构成了神经网络。

     3、能接受和处理模拟的、模糊的和随机的信息

     人类从感观所接受的视觉信息、听觉信息和味觉信息等都是连续的,所见到的环境景物和所听到的语言音响都带有模糊的性质,每天所遇到的要解决的问题往往也都是随机的。人类的脑神经系统能得心应手地处理大量连续的、模糊的和随机的信息,而现行计算机是难以具备这种智能和。

      4、求满意解而不是求精确解

  人类的日常信息处理和运动控制,例如行走、拿取东西、用语言表达意见等,都不是按最优或最精确的方式去求解,而是以能解决问题为原则,即求满意解就可以。这也是电脉冲信号传递速度并不算快的脑神经网络,在识别决策智能方面远快于光速传递信号的现行计算机的重要原因。

      5、具有自组织自学习能力

  脑神经网络可以根据外界环境输入信息,改变突触连接强度,重新安排神经元的相互关系,从而达到自适应于环境变化的目的。

      三 神经网络的多学科性

      神经网络是一门涉及学科非常广的新兴高科技。概括起来,它与下列学科领域有着十分密切的关系。

      1、神经生理学科

      若使人工神经网络能够向生物神经网络学习,就必须通过神经解剖学来了解神经系统的结构,了解脑信息活动的生理特征,它是如何接收信息、传递信息和存储信息的。研究表明,神经系统是一个有层次的、多单元的动态信息处理系统,它接受生物体内外环境的输入信息,加以综合分析处理,然后调节控制机体对环境作出适当反应。

      2、认知科学

      认知科学对脑中物理平面到认知平面的映像表达、编码理论、符号方法等一系列心理活动的观点和方法进行研究。其中连接主义原理颇广泛地为人们所重视和引用。按照这个原理,神经网络中所有处理器(即神经元)的数字化活动形成一个巨大的状态矢量空间。控制处理器相互作用的方程包括连接权值,这种权值在训练过程中按照学习规则变化。

      人工神经网络根据连接主义原理来模拟人脑神经系统的活动。这种模拟模型中突出巨量并行性(Massively Parallelism)和信息分布存储及处理两大特点。

      3、数理科学

      神经网络运算操作和性态分析中,需要用到多方面的数学工具和物理原理。由于神经网络输入--输出函数的非线性特性,所建立的网络模型具有非线性动态系统特性,方程迭代求解的收敛性分析,解的存在性和全局性、稳定性等,要用到李雅普诺夫(Lyapunov)函数(关于稳定性的判别准则)和相平面方法。

      为了使迭代解能跳出局部极小而收敛至全局性的最优解,常利用波耳茨曼机(Boltzmann machine)原理进行模拟退火(Simulated Annealing),或采用带噪声干扰项的随机模型。

      此外,线性代数、组合数学、计算复杂性理论也常常要用到。

      从物理学方面来说,熵(Entyopy)的概念、混沌(Chaos)现象,最小能量函数这些概念,都在神经网络的性态和求解分析过程中出现。(混沌现象的特征:对初值的敏感性,亦即轨道的不稳定性。)

      4、信息论与计算机科学

    已有人将神经网络组合优化问题,等效为信息论中的编码问题。根据最小计算能量函数来求定优化解的问题,可以从汉明(Hamming)距离来进行分析。(Hamming网络常用于各种检测问题。Hamming距离意指在两个二进制信号a=(a1,…,an)与b=(b1,…,bn)中能使不等式ai≠bi成立的i(1≤I≤n)的个数。)当我们按照神经网络信息处理的原则来构造神经计算机时,所有现行计算机科学与工程技术问题都可资借鉴。

    另外,当由现有的电子、光子元件过渡到更深层次的分子器件、量子器件来构造神经网络时,还将涉及更多的微观世界的知识。

四 神经网络的学习机理

    人工神经网络是对生物神经系统的模拟。其信息处理功能是由网络的单元(神经元)的输入输出特性(激活特性)、网络的拓扑结构(神经元的连接方式)、连接权的大小(突触联系强度)和神经元的阈值(可视作特殊的连接权)所决定的。一般而言,神经网络在拓扑结构固定时,其学习归结为连接权的变化。

        1、学习算法

        到目前为止,已经出现许多神经网络模型及相应的学习算法。对学习算法的分类也有多种:

        (1)联想式与非联想式学习

        联想即为映射,它将有限个输入矢量变换成事先给定的矢量,若要求记忆具有容错能力,那么输入矢量邻域同的一切矢量也都应该变换到相应输出矢量的某个邻域内。信息论认为,联想即从信息的一种表示获得另一种表示,从部分信息恢复整体信息。

        (2)监督与无监督学习

        监督学习或称有导师学习,这时利用给定的样本标准进行分类或模仿,另一种是无监督学习或称无导师学习,这时只规定学习方式或某些规则,而具体的学习内容随系统所处环境(即输入信号情况)而异,系统可以自动发现环境特征和规律性,具有更近似于人脑的功能。

        (3)阶层式与相互连接式学习

        相互连接式学习,即每个神经元都和所有其它神经元相连接,全互连网络。而阶层式学习,神经元是分层排列的。

        2、学习规则

        几种具有普通意义的学习规则为:

        (1)随机型学习(Stochastic learning)

赞助本站

人工智能实验室
AiLab云推荐
展开

热门栏目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能实验室 版权所有    关于我们 | 联系我们 | 广告服务 | 公司动态 | 免责声明 | 隐私条款 | 工作机会 | 展会港