第一章：神经网络概述

来源：互联网   发布日期：2011-09-27 11:52:48   浏览：16265次  

神经网络讲什么内容，讲计算模型，计算原理，工作原理，用途，实现方法。& ?1 U% m2 w9 _3 _/ U/ h
1什么是神经网络
' K1 {, P: l$ T& b1.        1神经网络与计算机
6 s4 P7 _6 t' o# K# }8 `% w计算机：
: R9 |0 [6 ?4 ?, e+ f! V        四代计算机
" W, q. U- r# O- M电子管，晶体管，集成电路，大规模集成电路。智能计算机是第5代，智能计算机不容易。速度提高快，智能不见怎么样。/ t4 S; f/ k  E2 I5 |* p
        计算机特点
- f  b' K& ]% `二进制，5部分组成模块，存储程序。结构看：核心部件是中央处理器。专门存储部件，输入输出部件。
5 P2 q- x) B/ N7 ?5 r. |        神经网络发展史
$ V% ~8 {  k+ [, J1 {5 `充满传奇色彩，讲故事。每次讲课都讲历史，过去那些出色成绩的故事，做出出色成绩的人的故事。
1 b( e# `1 D0 O. D, R(1)        神经网络来自人类对自己的研究，背景性研究起始于19世纪末，20世纪初。生物学家要搞清楚人或生命智能的道理。想办法解释自然现象，物理学。/ X" h  N/ L, A; z; F4 G
(2)        现代方式的神经网络研究神经网络研究，1940年，两个科学家：Warren McCulloch, Walter Pitts, 给出人工神经网络模型。现在人们使用的就是他们抽象出的神经元模型。& [1 W% e) H) R+ x, ^# _" U' F+ ~
(3)        hebb规则，1949，生物神经元学习机制。神经元传递信息的原则，互相作用的原则。两个神经原同时兴奋，则两者的连接强度增强。
8 V; q2 r1 i2 D5 ?# A0 A+ [; S(4)        1958年，rosenblatt真正造了一个神经网络，号称perceptron，感知器。
% @" u4 w7 }8 ]2 x; p; h1 Z) J(5)        1960年，Bernard Widrow, Ted Hoff给出自适应线性神经网络，利用了widrow-hoff学习规则，应用于消除回声。真正应用，用于电话消除回声，很简单的元件。
! C7 S4 p* ?+ M% n" X(6)        1969年，minsky与**t的书批评了感知器与自适应线性神经网络，打击了神经网络发展。从此神经网络发展陷入低谷。这个时代是计算机发展飞速，同时带有很多神秘感的时代。很多东西未能搞清楚，很有用，很吸引人的时代。大家都来研究计算机的人工智能是很正常的。Minsky的书中举了一个例子，说神经网络不是万能的。$ r( ^8 A' u7 q
(7)        科学发展需要冷静，1972年，Teuvo Kohonen与James Anderson发明自组织神经网络，Stephen Grossberg观察到自组织神经网络的许多新性质。有很多科学家在逆境中坚持神经网络研究，取得好成绩。我有时感觉在不是很热的环境下更能做出进展来。所以没有必要追求时髦。! O- S8 Z4 a1 f* h
(8)        1960-1980计算机飞速发展，神经网络研究发展平静。计算机的研究发展遇到很多困难。1980年以后，神经网络又一次飞速发展，有点戏剧性。
2 x: J* f6 `" m  Y6 z% ?(9)        1982年Hopfield用统计机制解释神经网络，使人们对神经网络的认识前进了一大步。1986年BP学习算法，解决了minsky与**t的问题。David Rumelhart与James McClelland给出。Hopfield神经网络能解TSP问题，实现了一个神经网络解6个点的TSP问题。很神，后来实践证明也不能求精确解。
# e! `# J5 u$ y(10)        1986年以后，大量的神经网络研究文章和研究项目，发现了很多神经网络的新性质和新应用。人工神经网络一定很有前途，现在缺乏真正的应用，用起来不方便。每个国家都投入很多资金研究神经网络。成果很多，神经网络也就真正成长为一门成熟的科学了。8 `! r" m/ P" v& k1 @8 O
        神经网络特点
4 R5 Z/ `+ K, M$ x* P) d未必二进制，没有明确的存储器，计算，控制分工模糊，没有控制程序，性能好，用起来不方便。不好控制，不好用。+ L* Q8 H7 U9 k: G" U
1.        2神经网络应用
$ T: M5 C! d* g/ R/ e" H3 y领域：
$ c5 _7 c. T( x+ I. J空间技术：飞行器控制系统，飞行器元件仿真，飞行器元件错误探测器。举个例子，飞行器在飞行中判断什么是云彩，有没有风，风力多大。将飞行器飞行的环境数据采集以后训练神经网络，由神经网络控制飞行器前进速度，方向。/ f! O$ n1 @/ q" `
Automotive：交通控制自动指示系统，红绿灯控制，摄像头照相看路上的车有多少，横穿马路人有多少，由此决定红灯还是绿灯，说着容易作着难。$ G$ r. D+ H) a3 @; a. d( g
银行：信贷申请评估器。
0 \! a& n2 f, q& B语音：语音识别，语音压缩，声调识别。现在主要的应用。/ _* M0 N% C- c: c, r2 n
机器人，Defense，Electronics, ebtertainment，Fiancial, Insurance, Manufacturing, Medical, Securities, Transportation。很多领域都用，想用就能用。
0 o: b7 J4 c) _- b' W4 \$ ^0 g1.        3生物基础3 e0 o, U) l# _5 X% k
; }, ~1 ]* _& I$ c6 w
神经纤维，传递信号，数字信号，二进制数。8 t5 P# S' N9 i9 ~
神经突触，数模转换。数字信号转换为模拟信号。$ I& r% b+ x5 g1 q
神经信号，二进制信号。
, n. i# t" p2 Y6 t$ S+ v9 V% n时空整合，将一个时段内的各个模拟信息相加就成了。我开始看焦李成的书，看不懂，看公式，认为相加就是时空整合。3 s0 J5 c7 m+ n: G" g
第二章：神经元模型与神经网络结构
/ c6 l8 a8 [4 q: q2 R+ ?( M本章介绍人工神经网络的数学模型，从神经元开始。" z) e" t& o- |; ?
1多输入神经元模型，7 v  p& L1 c  `% T- F
( ?- \) r9 S: p! V8 ^4 _3 E% t
y=f()- p( X3 X9 V7 w2 g2 a; P
= =WTX-
$ g* v/ D, X$ ~W=(w1,w2,…,wn)T$ y4 M1 M7 g5 x! S1 h
X=(x1,x2,…,xn)T。
+ u! v% U5 v% N2 v$ c9 L解释：7 [' t6 Y4 |3 j+ J
(1)神经元有两种状态，兴奋/抑制。
+ Q8 T5 a3 F' p1 ?. o(2)wi的含义：神经突触的作用，的含义，阈值。兴奋抑制。0 V& K% @; ?2 h# D1 W
(3)时空整合，求和。数模转换后相加。什么是时空整合？笼统，不知道什么意思，暂且理解为求和。
& H; ]0 k) o% X作用函数：  Z$ I) M' a* p5 i% V8 w  i
(1)        hard limit
7 ^- X: d! j9 w& F+ U' f. x) If()= ，=
* A- z. L0 i! b7 X/ H- H
; I& [! \) i; r/ r. r+ {; ?(2)        symmetric hard limit
( o! N" j) z  p, ~* Jf()= ，= 3 q9 h/ d3 k0 b9 ^6 {

2 L( g" N& e( @! V. l(3)        linear
# C2 q& A9 I: ]f()=，= ，线性: l& H: o! a" d- _* }3 m0 O4 J/ y

, I  Q# [: T$ m1 g  M% V" |(4)        saturating linear，
# o! F' L* e2 L4 ^f()= ，= 5 c0 f4 C, O5 X* J  {: e8 N
, B4 @9 C- m/ L6 {) q- R
(5)        symmetric saturating linear
, C8 X* j! J/ d% `8 F2 ~f()= ，=
8 h4 ~' _0 c1 m$ r3 z
$ G0 d( g+ |) q(6)        log-sigmoid
6 Q& {. p8 c7 I4 jf()= ，= - N% t+ y! X  {- e
(7)        hyperbolic tangent sigmoid
" R4 ^- y0 [/ M6 R) a! Sf()= ，= 4 Y8 S/ s6 y8 p) @
(8)        positive linear! s6 Z* ?! S% P$ N+ y, T  ?
f()= ，= 9 y- }! j7 N" O1 K3 v
2神经网络结构
) ?7 y0 G/ ]9 p% P" V( O7 E- S, E(1)        前馈网络
0 b: K8 M+ D4 G3 Z/ h # Q' e/ f# o' ?4 w0 T
(2)        反馈网络
" z+ |; {' B5 d+ X % @. y& Y9 z3 h; ?
(3)        Recurrent神经网络
3 A# _7 S3 ?. _/ |! V* [( i9 v
( n3 ]/ T: |2 l9 _' K) V5 u& A(4)        单层前馈神经网络
/ Y( G2 `( j0 G' N: V问题：
5 y% R+ N3 f. P2 C$ D3 c, ](1)每层有多少个神经元，每个神经元采用什么传递函数，每个连接的权值是多少？5 o6 i" I8 c& r2 @2 ~
(2)针对问题，确定神经网络，即为学习。
1 P. a, c$ T1 B) D, `# ^5 P(3)用作记忆，具有联想能力的记忆函数，象人一样，识别字母，a, b, c, d, e, f, g, …, x, y, z.; |9 I9 \2 l) y- v7 U, T! c
还有其他种类的神经网络，等讲到时再说。
* n' z2 a: c9 E3神经网络学习规则
- ~9 `( [- v/ {! k* C+ n  I! Z自己看，以后慢慢理解。
; u; A4 C4 ?8 C, L1 p/ t4应用实例
7 R$ s/ P$ T$ B4 a; K : Y+ Z7 `8 E; {1 y" l
解采用hard-limit函数神经元  Z' ?& L' a0 Q3 o0 D
: e1 R2 Q$ P8 M2 F

/ X4 Q0 z; X9 a! E

赞助本站