数字神经网络系统

| 首页 | 文章 | 下载 | 图片 | 论坛 | 留言 | 自选风格 |

您现在的位置：晨光科技 >> 文章 >> 技术 >> IT >> 正文

数字神经网络系统

热

数字神经网络系统

［作者：佚名转贴自：http://www.funnyai.com/AI/Book/DigtalNN/index.html 点击数：168 更新时间：2011/2/23 文章录入：admin ］

[注：本站登载的某些文章并不代表本站支持或反对其观点或肯定其真实性]

1.3 Hopfield模型

第一篇基础理论
一、概述

二、生物原型研究

三、神经网络和分布系统

第二篇系统模型
前言

第一章典型神经网络模型

1．1 神经网络的基本机理和结构

1．2 反向传播BP模型

1．3 Hopfield模型

1．4 自适应共振理论ART模型

1．5 Kohonen模型

第二章神经网络控制

2．1 神经网络控制系统的结构

2．2 神经网络控制器与学习

2．3 神经网络控制系统

第三章模糊神经网络

3．1 模糊神经网络概念和结构

3.2 遗传算法

3．3 模糊神经网络的学习

第四章神经模糊控制

4．1 神经模糊控制器

4．2神经模糊控制系统

数字神经网络系统

第一篇基础理论

一、概述
二、生物原型研究
2-1.人体神经结构
人工数字神经网络系统源于人脑神经网络。了解人脑神经网络的组成和原理，有助于对人工神经网络的理解。
2-1-1.神经元
人脑是认识客观世界的器官。研究表明，人的意识、思维、行为等脑的高级功能都与客观世界密切相关。神经科学起始于上个世纪末，1875年意大利解剖学家C.Golgi用染色体法首先识别出单个神经细胞，1889年Caial创立了神经元学说，指出了神经系统是由结构上相对独立的神经细胞构成，在最近几十年来的研究结果认为人脑的神经元效量为1013。每个神经元包含了以下几个结构特性：
2-1-1-1. 细胞体(Cell Body)，其大小在5至100微米的直径不等。细胞体由细胞核，细胞质和细胞膜组成。
2-1-1-2. 铀突(Axon)，是细胞体向其它细胞伸出的最长一条分支，即神经纤维，相当于细胞的输出，每个神经元只有一个。
2-1-1-3. 树突(也称枝晶，Dendrites)，是细胞体向外伸出的许多较短的树状分支，相当于细胞的输入。
2-1-1-4. 突触(Synaptic)，是神经元之间连接的接口。整个脑内突触的数目大约在1014一1015之间，通过突触互连，连接方式不同，其生理作用也不同。突触的信息传递特性可变，因此细胞之间的连接强度可变，这是一种柔性连接，也称为神经元结构的可塑性。
另外，研究表明，神经元细胞膜内外之间存在电位差，称为膜电位。膜外为正，膜内为负。其大小约为几十微伏。膜电压接受神经其它神经元的输入后，电位上升或下降，当转入冲动的时空整合结果，使膜电位上升，而且当超过叫做动作电位的团值时，细胞进入兴奋状态，产生神经冲动，由轴突输出，这个过程称为兴奋。动作阂值电位约为40微伏13传入的冲动时空整合结果使膜电压下降并低于动作电压的闻值时，细胞进入抑制状态，无神经冲动输出。
2-1-2.信息传递
突触是神经细胞间传递信息的结构，突触由三部分构成，即突触前成分，突触间隙和突触后成分。突触所传递的信息采用电传递和化学传递两种方式。突触前成分是神经末梢上一个特化了的部分。突触末梢形成许多球形的小体。小体上直接进入突触连接部分的质膜叫做突触前膜。小体原浆中含有大量的突触小泡，小泡的直径约为200--800埃，内含神经递质。突触前膜外面是突触间隙，是突触前后之间的一个区域，其宽度为100-500埃。突触间隙的液体与细胞外液体是连通的，因此具有相同的离子组成。突触后细胞的一边是突触下膜，它是突触后细胞质膜特化的区域，含有待殊的分子受体。突触的结构示图和突轴信息传递过程。

高等动物神经系统中，突触前的电活动不直接引起突触后成分的活动，不存在电学耦连。突触传递一般通过持殊的化学物质中介，这种物质叫做神经介质或递质，突触的信息传递只能由突触前到突触后，不存在反向活动的机制。因此突触传递是单方向的。兴奋一分泌耦连，神经介质释放和介质在间隙的扩散直到突触后膜的去极化约需o。5-1毫秒，这就是突延迟。用微电极技术研究脊髓前角细胞的模电位。根据突触后电位的反应，将突触分为两种：兴奋性突触和抑制性突触。神经末梢释放介质使突触后膜产生极化反应，即兴奋性突触后电位，这是兴奋性突触。如果释放介质使突触后膜产生超极化反应，即抑制性突触后电位，则是抑制性突触。在许多可兴奋的细胞之间发现电学期连。现已证明，缝隙连接在形态上代表这种耦连。电学突触能够提供更大的传输速率，并在神经细胞间产生整合作用。
另外研究也表明了神经网络的复杂多样性，不仅在于神经元和突触的数量大，组合方式复杂和联系广泛，还在于突触传递机制中，释放神经递质是实现突触传递机制的中心环节，不同的神经递质有着不同的作用性质和特点。神经递质在维持正常生理功能方面起着重要的作用，通过电信号-化学反应信号系统传递神经信息，进行复杂的信息加工，实现对机体的调节控制。

2-2. 神经组织

神经元与神经纤维构成的神经组织具有两种基本特性，即兴奋与传导。当神经元的某一部分受到某种刺激时，在受刺激的部位就产生兴奋。这种兴奋会沿着神经元扩散开来，并在一定的条件下通过突触传达到相连的神经细胞。神经纤维的一部分兴奋起来时产生电位或电流的变化。这就是生物电流，是研究神经兴奋状态的标志。电位的变化非常迅速且短暂，叫做峰形电位。神经兴奋的结果产生神经冲动，神经冲动是能量传递的一种方式。通常，一条神经纤维接受一个适度的刺激时测会产生一个冲动。但当对一个神经来进行刺激时，则会引起若干纤维同时冲动。刺激越强，则发生冲动的神经纤维越多，反之亦然。实验表明，神经冲动的能量并非来自刺激。而是神经纤维本身产生的。刺激的作用是引发神经纤维产生冲动。

对于人体来说，在外界、内界环境刺激下，通过神经系统，机体对刺激产生规律性回答。外部和内部刺激物作用于感受器，引起神经冲动。神经冲动沿着传入神经传达到神经中枢。通过中枢的神经联系，再经传出神经传达到效应器官，引起反应。这就是一个完整的反射过程。产生反射活动的基本结构组成有感受器，传入神经，神经中枢，传出神经和效应器。感受器一舱是神经组织末梢的特殊结构，它把刺激的能量转变为神经的兴奋过程，所以感受器是一种换能装置。

某一特定的反射往往是在刺激特定的感受器后产生的，该特定感受器所在的部位成为这个感受器的感受野。神经中枢是指调节某一特定生理机能的神经细胞群。神经中枢的活动可以通过神经纤维直接影响效应器，在某些情况下，也可以通过体液的道路间接影响效应器，这种体液调节就是指内分泌腺的调节。这时反射是按感受器、传入神经、神经中枢、传出神经、内分泌腺、激素在血液中转运、效应器这样的过程进行。

反射可以分为两种：无条件反射和条件反射。无条件反射是先天性的，一定刺激作用于一定的感受野时。常引起一定的反射。例如，食物入口引起唾液分泌反射，机械刺激角膜产生眨眼反射等。无条件反射使人们能初步适应环境。条件反射是在机体的生活中形成的，它可以随着机体的外部环境和内部状况的变化而变化。条件反射的建立大大扩展了机体的反应范围。比无条件反射有更大的预见性和灵活性，更适应于复杂变化的生存环境。在实际活动中，无条件反射和条件反射的划分有相对的意义，肌体的每一活动都具有这两种反射的性质。在肌体内。无条件反射只有在新生时出现，在这以后由于条件反射不断建立，条件反射和无条件反射越来越不可分割地融合在一起。每次无条件反射出现，都有条件反射参与，而条件反射归根到底是在无条件反射的基础上建立的，它的构成已经把某些无条件反射的成分包括了进去。所以，几乎所有的生理机能都是无条件反射相条件反射的有机统一。

2-3. 视觉神经

眼是人接收来自外部信息的最主要的接收器官，是最为复杂的感官器官。外界物体的光线射入眼中，聚焦后在视网膜上成像，视网膜发出神经冲动达到大脑皮层视区，产生视觉。人眼的简要水平切面如图所示。角膜与晶状体之间是前房，虹膜与晶状体之间是后房，前房、后房之间都充满液体叫房水。晶状体的后方直到视网膜充满透明的胶状物质，叫玻璃体。角膜，房水与晶状体等构成折光系统，它是透明的组织，能把物像形成在视网膜上。在所有的感官系统中，视网膜的结构最复杂。视网膜为感光系统，能感受光的刺激，发放神经冲动。它不仅有一级神经元(感光细胞)，还有二级神经元(双极细胞)和三级神经无(神经节细胞)。

感光细胞有两种，视杆和视锥细胞。二者都与双极细胞形成突触联系。双极细胞外端与视杆细胞和视锥细胞相连，内端与神经节细胞相接。感光细胞的分布是不均匀的，视锥细胞分布在视网膜的中央凹部分。前视杆细胞则分布在视网膜的比较边缘部分。在视神经进入的地方没有感受细胞，形成盲点。视杆细胞的特点是对弱光有高度的感受性，因而是夜视觉的器官。视锥细胞对光的强度有较弱的感受性，因而是昼视觉的器官。视杆细胞中含有夜视觉所必须的视紫红质。视锥细胞中含有昼视觉所必须的视紫质。视锥细胞可以感受和分辨颜色。

视神经是由成柬的神经节细胞的轴突组成，来自两侧的视神经在脑下垂体前方会合成视交叉。在这里组成每一根视神经的神经纤维束在进一步进入脑部之前被重新分组。从视神经交叉再发出的神经束叫作视束。在重新分组时，来自两眼视网膜右侧的纤维合成一束传向脑的右半部．来自两眼视网膜左侧的纤维合成另一束传向脑的左半部(如图所示)。

这两束经过改组的纤维视柬继续向脑内行进，大部分终止于丘脑的两个被分成外侧膝状体的神经核。外腺体的细胞主要有两类，投射细胞相中间神经元。外膝体完成输入信息处理上的第一次分离，然后传送到大脑的第一视区和第二视区。外膝体属丘脑，是眼到视皮层的中继站。这就是视觉通路。视网膜上的光感受细胞通过光化学反应和光生物化学反应，产生光感受器电位和神经脉冲，在视网膜上沿垂直和水平两个方向传递信息。这样的信息沿着视觉通路进行传播。视觉信号按连续步骤进行加工．发生在每一水平的转变相整合。从神经感受野可以作出员完善的分析。中枢神经元的感受野是指能影响某一视神经元反应的视网膜或视野的区域。每个视皮层，外侧膝状体的神经元或视网膜神经细胞节细胞在视网膜上均有其特定的感受野，视网膜上神经细胞的感受野都是同心圆。可分为开中心圆型和闭中心圆型两类。外侧膝状体的神经元的感受野与神馒节细胞相似。皮层神经无的感受野至少可分为三种类型：简单型、复杂型、超复杂型。

HubeL相WieseI于1962年提出了一个组合的感受野模式。具有相同感受野

的视皮层神经元在垂直于皮层表明的方向上呈住状分布．它们是视皮层的基本功能单位，成为超柱。超柱内的神经元对同一感受野中图像和景物的各种持征进行并行的处理和译码，是产生主观感知觉的重要神经基础。现在大体止有两种超住模型及译码理论：特征提取理论和空间频率分析器理论。视觉持征提取理论认为．视觉废层的超柱是由许多不同特征的提取功能柱所组成。每种功能校内的细胞不但感受野相同，其功能也相同，根据功能不同可以分为方位柱，服势柱和颜色柱等。与上述特征提取的超柱模型不同，视觉空间频率分析器的理论则认为．视皮层的神经元类似于傅立叶分析器，每个神经元敏感的空间频率不同。大量的研究结果表明，对复杂图形的视知觉即包含待征提取．又包括空间按空间频率分析的译码过程。此外．视皮层以外的皮层联络区也协同活动。
MHter和Stryker总结了眼优势柱的生理学研究成果之后，建立了眼优势柱模型。他们认为视皮层活动性差异是形成神经元可塑性的基础，活动性差异的统计学规律是优势柱形成的基础．每只限传入刺激引起的视皮层神经元单位发放模式的相关性，比西服同时性传入刺激引起的发放差异，在服优势校形成中具有更大的作用；不仅传入刺激引起的突触前神经活动模式是重要的，突触后的皮层神经元反应模式在服优势校中也是重要的。这些假设基本符合Hebb突触理论观点。

2-4. 脑记忆生理机制

神经生理学家一直在从事脑在何处以及如何记忆的研究。研究结果表明．在脑细胞经受多次某个对象的刺激而保持连续兴奋状态时，只有当这种刺激达到一定强度(阀值)之后，脑细胞里才会留下痕迹。而且当这个对象刺激的频率提高时．阀值降低，记忆更加牢固。

人脑的大量神经细胞都以发射和不发射冲动对行为和精神活动做出贡献。这些细胞之间以多种方式交互作用。动态记忆理论是由桑克在1982年提的，它描述了记忆是如何组织的，记忆是怎样从过去经验中获得智能而自动改变和增长的。当证实过去的经验失败就存储新的经验，即由经验中学习，用联想及从联想中归纳的方法改变结构以适应预测的失败。动态记忆依赖持续运行的神经冲动，或者依赖于可能由重复到达的冲动所强化的神经元内某些活跃的代谢变化和电位变化的保持。通过联系神经元的封闭环(或神经冲动)可能是这种动态记忆机制，每个记忆项目依赖于特定的神经元环或网的活动。事实上人们的记忆容量比神经元多，因此，不同的记忆可能共用部分通路。如果冲动实际上没打留下长时持续的痕迹，那么活动一旦停止．记忆便完全地，不可改变地消失掉。

另外，实验证明记忆不是纯动态的。但是这并不排除最初对神经元的依赖性。冲动的运行必然包含在那种留下记忆痕迹的最初经验中。重复造成更好的记忆这一事实告诉我们．冲动为了以后留下持久的物质变化必须在它选定的道路上循环流动。事实上巩固记忆痕迹的确需要时间作为代价。学习机制表明，突触结构的变化，或者神经蛋白质的变化，是这种持久的静态痕迹。那么神经元原来不起作用，由于活动而可能变得起作用并持续起作用。既然是记忆就存在一个记忆位置的问题。

在神经元生理学中，记忆研究最常用的方法是对人脑进行局部破坏，观察归纳障碍的情况。实验表明记忆与海马有密切的关系。另外与记忆有关的是杏仁体。杏仁体把感觉输入信号会聚成同样-些部分，又把神经纤维深入地送进大脑小的丘脑下部。杏仁体的多种联系构成为认为它能为记忆服务的多种作用的基础。从皮质感觉系统最终一个神经站来的神经纤维到达杏仁体。感觉印象在那里启动记忆系统的一条环路，它依靠杏仁体和丘脑之间的联系。杏仁体和丘脑之间的联系．杏仁体和丘脑下部之间的纽带似乎允许把-种体验与情感通路接合起来。那些纽带通过激活从杏仁体到感觉通路之间的反复联系，也可以便感情影响学习。从杏仁体返回到感觉区的联系的存在，有可能解释一个单一的刺激能引出多种多样的记忆。如当嗅到一种熟悉的食物的气味时能唤起对它的外观、质地和味道记忆。

总的来说．两个主要的记忆回路分别起源于海马和杏仁体，它们负责许多种认知学习。除此之外，还存在用于学习的第二系统。复制刺激反应是该系统中的关键部分，我们称这种学习类型为习惯。习惯是刺激和反应的无意识接合。行为主义心理学家早就证明这种接合是所有学习的基础。行为主义观点中排除了通常意义中的"精神"、"认知"、以及"记忆"这样一些术语。学习可能依靠两个完全不同的系统，其中之一源自认知性习惯，另一个则是认知记忆的基础。这样就可调和行为主义和认知主义学派，行为就可能是对刺激的无意识反应和由认知和期望所指导的行为的接合体。

三、神经网络和分布系统

3-1. 分布系统

3-1-1. 概述

分布系统是在人类周围存在的最为普遍的系统。分布系统与非分布系统存在着较大的差异。非分布系统往往受一个统一命令的指挥，有一个集中发布命令的机构。与之相反，分布系统有多个发布命令的机构，故而称之为分布的。显然分布系统应该包含异步这一层含义，既然没有统一的指挥机构自然表现为非同步。另外，对于分布系统不能期待整个系统为完全有序。即从宏观上看是有序的，而在微观动作上存在着随机性，以实现与其它系统或环境的协调。此外，分布系统中的每个要素相互竞争、协调，在各种制约下作为整体保持一定秩序，适应外界的变动。社会学中的很多现象，如一个人类集团内部，民族之间、国家之间，以至人与人，人类与自然之间等等普遍存在这种现象。

3-1-2. 系统的特点：

3-1-2-1. 分布性

分布性体现在．系统由多个独立智能要素构成。独立的智能要素可以是简单要素，也可以是子系统，它们有某种自主的决定权利。

3-1-2-2. 蠕动性

就分布系统本身而言，有其不确定性，即系统并非固定不变。在此，系统存在某种程度的流动性、模糊性、异步性，各要素之间通过相互作用、相互通信达到协调工作。

3-1-2-3. 自组织

分布系统能适应环境的变化进行自组织，按一种规律或秩序来达到某一目的。自组织与自适应概念相似。自适应是通过自组织(或重构)实现的。系统在自组织过程中不断地从外界环境中吸取信息，不断地重新组织本身。

3-1-2-4. 集中与分布共享

"集中"的含义是指用一个统一的命令体系来控制系统动作。在此我们对这一解释稍加扩展。如果在一个系统中有多个主体、自律要素或子系统，它们执行一个动作，这种情况在客观效果上与执行统一命令相同，我们也使用"集中"这个术语。"分布"与"集中"恰好相对，如果所有的要素接受不同的、独立的信息，进行不同的动作，我们称之为"完全"的分布系统。对于一般的分布系统而言，它往往表现在"集中"与"完全"分布系统之间，即在分布系统中某些要素接受不同的、独立的信息，进行不同的动作，而另外一些要素可能在一个或多个不同的统一的命令体系控制下进行动作。恰当选择分布系统的组成形式有助于使系统的功能可以达到某一最终日的或实现某一秩序。

3-1-2-5. 宏观性

研究分布系统时并不注重每个要素的微观动作，如同在热力学研究中不关心每个气体分子的状态一样。气体分子在微观层次上完全无序，而在宏观层次上看来是均匀的。在分布系统研究中着眼于系统整体的宏观动作或秩序。当然，微观和宏观是相对的概念。

3-2. 人工神经网络

3-2-1. 概述

人工神经网络在80年代中期得到了飞速的发展。1982年美国加州州立理工学院物理学家Hopfield教授提出了Hopfield人工神经网络模型，他将能量函数的概念引入人工神经网络，并给出了稳定性的判据，开拓了人工神经网络用于联想记忆和优化计算的新途径。

人工神经网络模拟人类部分形象思维的能力，是模拟人工智能的一条途径。特别是可以利用人工神经网络解决人工智能研究中所遇到的一些难题。人工神经网络理论的应用已经渗透到多个领域，在计算机视觉、模式识别、智能控制、非线性优化、自适应滤波相信息处理、机器人等方面取得了可喜的进展。

人工神经网络模型发展到今日已有百余种模型，建造的方法也是多种多样，有出自于热力学的．数学方法的，模糊以及混沌方法。对于有规则的网络结构比较适合我们习惯的简洁分析方法。由于网络拓扑结构的规则性，限制了系统的自由性和无序运动，因而可以采用非效力学的其它方法。如对于前馈拓扑结构的人工神经网络，可使用感知器算法、误差反传递算法、竞争学习算法等。尽管如此，鉴于人工神经网络从本质上体现了分布系统的基本性质，所以分布系统的理论和方法均适合人工神经网络的研究。

3-2-2. 人工神经网络的信息处理原理

人工神经网络是由大量称为神经处理单元的自律要素以及这些自律要素相互作用形成的网络。它是在多年来对神经科学研究的基础之上，经过一定的抽象、简化与模拟的人工信息处理模型。它反映了人脑功能的某些基本持性．促又不世人脑的真实写照，形所-个具有高度非线性的大规模非线性动力学系统。必须指出，人工神经网络绝对不是任何意义的人脑的神经网络或其它生物脑。人工神经网络系统基础功能：

3-2-2-1. 学习能力：通过实践进行学习；

3-2-2-2. 自适应能力：系统能适应外界的变化保持良好的性能；

3-2-2-3. 自组织能力：依据外部环境的变化进行自组织，自适应是通过自组织实现的；

3-2-2-4. 容错与自修复能力：对不完整的信息给出正确的解答，或者系统内部发生某些故障时仍能达到良好的状态；

3-2-2-5. 输入输出能力；

3-2-2-6. 知识表示能力；

3-2-2-7. 模式存储、检索能力。

从数学的角度可以归纳为以下几个基础属性：

a) 非线性：人工神经元可以表述为激活和抑制两种基本状态，这就是一种非线性关系。

b) 非局域性：人工神经网络系统是以人工神经元之间的相互作用表现信息的处理和存储能人。系统的整体行为不仅取决于单个神经元的状态，而且取决于它们之间的相互作用，用此来模拟大脑的非局域性。

c) 非凸性：非凸性是指人工神经网络的演化过程在满足一定条件下取决于某特定函数，而且该函数具有多个稳定点，这将导致在不同边界条件下得到不同的结果，这就是系统演变的多样性。

d) 非定常性；表现在人工神经网络具有自组织、自适应和自学习能力。

在分布系统论中假定了分布系统中的大量处理单元都是自律要素，并且通过自律要素间的相互作用体现整体性能相信息处理能力。自律要素的处理能力可以是非常复杂，也可能异常简单。相对而言，在人工神经网络模型中，一般假设神经元是一个非常简单的处理单元．每个单元向其它单元发送兴奋性或抑制性信号。单元表示可能存在的假设，单元之间的相互作用则表示单元之间存在的约束。这些单元的稳定激活模式就是问题的解。

3-3. 企业数字神经网络

企业数字神经系统是人工神经网络系统在企业管理上的一种应用系统。数字神经系统通过对神经元以及神经系统的模仿，确立系统模型，解决企业的信息传递机制和流程问题。系统核心强调信息准确、传递及时、对象合理。业数据交流的双向性、互动性和数据信息的复杂性，数字神经系统的网络模型是一种综合的神经网络模型。根据不同的一些情况，采用反馈神经网络、自组织神经网络模型。

反馈神经网络模型：采用经典的Hopfield网络模型。在反馈神经网络中，输入数据决定反馈系统的初始状态，然后系统经过一系列状态转移后，逐渐收敛于平衡状态。这样的平御伏态就是反馈神经网络经计算后的输出结果。 Hopfield经常被用于资源组合优化问题。

自组织网络模型(Self-organizing Neural NetWork)：Kohonen的自组织特征映射神经网络(seIf-organizing Feature Map)。自组织神经网络是一种无教师学习神经网络，它能模拟人类根据过去经验自动适应无法预测的环境变化。

前言

神经网络、模糊逻辑和进化计算是人工智能目前最新的理论基础；在国际上受到人们的高度关注i也是现在各国学者热衷于研究的前沿课题。人们对这三种新理论的兴趣、不是在十它们的时髦，或者在于它们奇特；而是在于它们在人工智能的实现过程中有着十分重要的应用价值。不少学者不约而同地认为：未来不久的前沿核心技术将是模物逻辑和神经网络结合的新技术——神经模糊技术。
神经网络是基于人类神经网络解剖的基础上的；它描述的是人类神经刚络传递、处理信息的微观过程。并且，企图从这种微观过程来模仿人的智能，探索人的智慧形成、表现形式。

模糊逻辑则基于人类模糊思维这一抽象机理上；它描述的是人类模糊思维的方式、方法相关的宏观过程。同时，期望在这个宏观过程中掘挖人的智能形态，以及模拟人的智能作用。

模糊逻辑是用人类的语言语句表述的，因此，它较为直观，也易于为人所理解。模糊数学为模糊逻辑的研究和开发提供了数学基础。用模糊逻辑去研究人的智能是一个重要的途径。模糊控制是模糊逻辑应用最多最广泛的一个领域。由于模糊控制器是一种非线性的拌制器，其控制机制是用以条件语句表述的控制规则来刻划的；所以，它带有明显人类智能思维的特征。把模糊控制看成是一种智能控制是十分恰当的。模糊控制也存在一个缺陷，这就是没有一种良好的学习架构和方法。这就需要寻找相应的补救办法。

第一章典型神经网络模型

模拟人类实际神经网络的数学方法问世以来，人们已慢慢习惯了把这种人工神经网络直接称为神经网络。神经网络在系统辨识．模式识别，智能控制等领域有着广泛而吸引人的前景。特别在智能控制中，人们对神经网络的自学习功能尤其感兴趣，并且把神经网络这一重要特点看作是解决自动控制中按制器适应能力这个难题的关键钥匙之一。
神经网络的基础在于神经元。

神经元是以生物神经系统的神经细胞为基础的生物模型。在人们对生物神经系统进行研究，以探讨人工智能的机制时，把神经元数学化，从而产生了神经元数学模型。

大量的形式相同的神经元连结在—起就组成了神经网络。神经网络是一个高度非线性动力学系统。虽然，每个神经元的结构和功能都不复杂，但是神经网络的动态行为则是十分复杂的；因此，用神经网络可以表达实际物理世界的各种现象。
神经网络模型是以神经元的数学模型为基础来拥述的。神经网络模型由网络拓扑．节点特点和学习规则来表示。神经网络对人们的巨大吸引力主要在下列几点：
1．并行分布处理。
2．高度鲁棒性和容错能力。
3．分布存储及学习能力。
4．能充分逼近复杂的非线性关系。
在控制领域的研究课题中，不确定性系统的控制问题长期以来都是控制理论研究的中心主题之一，但是这个问题一直没有得到有效的解决。利用神经网络的学习能力，使它在对不确定性系统的控制过程中自动学习系统的特性，从而自动适应系统随时间的特性变异，以求达到对系统的最优控制；显然这是一种十分振奋人心的意向和方法。
人工神经网络的模型现在有数十种之多，在这一章中，主要介绍应用较多的典型的神经网络模型。这些模型包括BP网络、Hopfield网络、ART网络和Kohonen网络。

1.1   神经网络的基本机理和结构
神经网络的基本组成单元是神经元，在数学上的神经元模型是和在生物学上的神经细胞对应的。或者说，人工神经网络理论是用神经元这种抽象的数学模型来描述客观世界的生物细胞的。
很明显，生物的神经细胞是神经网络理论诞生和形成的物质基础和源泉。这样，神经元的数学描述就必须以生物神经细胞的客观行为特性为依据。因此，了解生物神经细胞的行为特性就是一件十分重要而必须的事了。

神经网络的拓朴结构也是以生物学解剖中神经细胞互连的方式为依据的。对神经细胞相互作用情况的揭露也是十分重要的。
1．1．1 神经元及其行为机理
神经元是神经网络基本元素。只有了解神经元才能认识神经网络的本质。在这一节介绍神经元的生物学解副，信息的处理与传递方式，工作功能以及其数学模型。

一、神经元的生物学解剖

在人体内，神经元的结构形式并非是完全相同的；但是，无论结构形式如何，神经元都是由一些基本的成份组成的。神经元的生物学解剖可以用图1—1所示的结构表示。从图中可以看出：神经元是由细胞体，树突和轴突三部分组成。

图1-1 神经元的解剖

1．细胞体
细胞体是由很多分子形成的综合体，内部含有一个细胞核、核糖体、原生质网状结构等，它是神经元活动的能量供应地，在这里进行新陈代谢等各种生化过程。神经元也即是整个细胞，整个细胞的最外层称为细胞膜。

2．树突

细胞体的伸延部分产生的分枝称为树突，树突是接受从其它神经元传人的信息的入口。

3．轴突

细胞体突起的最长的外伸管状纤维称为轴突。轴突最长可达1米以上。轴突是把神经元兴奋的信息传出到其它神经元的出口。

突触，是一个神经元与另一个神经元之间相联系并进行信息传送的结构。突触如图1—2所示。它由突触前成分，突触间隙和突触后成分组成。突触前成分是一·个神经元的轴突末梢。突触间隙是突触前成分与后成分之间的距离空间，间隙一般为200—300Å。突触后成分可以是细胞体，树突或轴突。突触的存在说明：两个神经元的细胞质并不直接连通，两者彼此联系是通过突触这种结构接口的。有时．也把突触看作是神经元之间的连接。

图1-2   突触结构

目前，根据神经生理学的研究，已经发现神经元及其问的突触起码有不同的4种行为。神经元的4种生物行为有：
(1)能处于抑制或兴奋状态；

(2)能产生爆发和平台两种情况；

(3)能产生抑制后的反冲；

(4)具有适应性。

突触的4种生物行为有：

(1)能进行信息综合；

(2)能产生渐次变化的传送；

(3)有电接触和化学接触等多种连接方式；

(4)会产生延时激发。

目前，人工神经网络的研究仅仅是对神经元的第一种行为和突触的第一种行为进行模拟，其它行为尚未考虑。所以，神经网络的研究只是处于起步的初级阶段，后边还有大量的工作等人们去探讨和研究。目前，神经网络的研究已向人们展示了其美好的前景；只要按阶段不断取得进展，神经元和突触的其它行为是完全可以实现人工模拟的。

二.神经元的信息处理与传递

1．神经元的兴奋与抑制
人工神经网络对神经元的兴奋与抑制进行模拟，故而首先应了解神经元的兴奋与抑制状态。
一个神经元的兴奋和抑制两种状态是由细胞膜内外之间不同的电位差来表征的。在抑制状态，细胞膜内外之间有内负外正的电位差，这个电位差大约在-50—-100mv之间。在兴奋状态，则产生内正外负的相反电位差，这时表现为约60—100mv的电脉冲。细胞膜内外的电位差是由膜内外的离子浓度不同导致的。细胞的兴奋电脉冲宽度一般大约为1ms。神经元的兴奋过程电位变化如图1—3所示。

图1-3.神经元的兴奋过程电位变化

2．神经元的信息传递及阀值特性
对神经细脑的研究结果表明：神经元的电脉冲几乎可以不衰减地沿着轴突传送到其它神经元去。

由神经元传出的电脉冲信号通过轴突，首先到达轴突末梢，这时则使其中的囊泡产生变化从而释放神经递质，这种神经递质通过突触的间隙而进入到另一个神经元的树突中。树突上的受体能够接受神经递质从而去改变膜向离子的通透性．使膜外内离子浓度差产生变化；进而使电位产生变化。显然，信息就从一个神经元传送到另一个神经元中。

当神经元接受来自其它神经元的信息时，膜电位在开始时是按时间连续渐渐变化的。当膜电位变化经超出一个定值时，才产生突变上升的脉冲，这个脉冲接着沿轴突进行传递。神经元这种膜电位高达一定阀值才产生脉冲传送的特性称阀值特性。

这种阀值特性从图1—3中也可以看出。

神经元的信息传递除了有阀值特性之外，还有两个特点。一个是单向性传递，即只能从前一级神经元的轴突末梢传向后一级神经元的树突或细胞体，不能反之。另一个是延时性传递．信息通过突触传递，通常会产生0.5—1ms的延时。

3．神经元的信息综合特性

神经元对来自其它神经元的信息有时空综合特性。

在神经网络结构上，大量不同的神经元的轴突末梢可以到达同一个神经元的树突并形成大量突触。来源不同的突触所释放的神经递质都可以对同一个神经元的膜电位变化产生作用。因此，在树突上，神经元可以对不同来源的输入信息进行综合。这就是神经元对信息的空间综合特性。

对于来自同一个突触的信息，神经元可以对于不同时间传人的信息进行综合。故神经元对信息有时间综合特性。

4．神经元、突触的D/A、A/D特性

从神经元轴突上传递的信息是等幅、恒宽、编码的离散电脉冲信号，故而是一个数字量。但在突触中神经递质的释放和树突中膜电位的变化是连续的。故而，这时说明突触有D/A功能。在神经元的树突膜电位高过一定阀值时，则又变成电脉冲方式由轴突传送出去。故而，这个过程说明神经元有A/D功能。

很明显，信息通过一个神经元传递时，神经元对信息执行了D/A、A/D转换过程。

从上面可知，神经元对信息的处理和传递有阀值，D/A、A/D和综合等一系列特性和功能。

三、神经元的数学模型

从神经元的特性和功能可以知道，神经元是一个多输入单输出的信息处理单元，而且，它对信息的处理是非线性的。根据神经元的特性和功能，可以把神经元抽象为一个简单的数学模型。工程上用的人工神经元模型如图1—4所示。

图1—4     神经元的数学模型

在图1—4中，X₁，X₂，……，X_n是神经元的输入，即是来自前级n个神经元的轴突的信息A是i神经元的阎值；W_i1，W_i2……，W_in分别是i神经元对X₁，X₂，……，X_n的权系数，也即突触的传递效率；Y_i是i神经元的输出；f[·]是激发函数，它决定i神经元受到输人X₁，X₂，……，X_n的共同刺激达到阀值时以何种方式输出。
从图1—4的神经元模型，可以得到神经元的数学模型表达式：

(1-1)

图1-5.典型激发函数

对于激发函数f[·]有多种形式，其中最常见的有阶跃型、线性型和S型三种形式，这三种形式如图1—5所示。
为了表达方便；令：

(1-2)

则式(1-1)可写成下式：
Y_i=F[U_i] ；       (1-3)

显然，对于阶跃型激发涵数有：

(1-4)

对于线性型激发函数，有：
f(U_i)=K_u_；(1-5)

对于S型激发函数，有：

(1-6)

对于阶跃型激发函数，它的输出是电位脉冲，故而这种激发函数的神经元称离散输出模型。
对于线性激发函数，它的输出是随输入的激发总量成正比的；故这种神经元称线性连续型模型。

对于用s型激发函数，它的输出是非线性的；故这种神经元称非线性连续型模型。
上面所叙述的是最广泛应用而且人们最熟悉的神经元数学模型；也是历史最长的神经元模型。近若干年来，随着神经网络理论的发展，出现了不少新颖的神经元数学模型，这些模型包括逻辑神经元模型，模糊神经元模型等，并且渐渐也受到人们的关注和重视。

1.1.2 神经网络结构及功能

神经元和神经网络的关系是元素与整体的关系。神经元的结构很简单，工作机理也不深奥；但是用神经元组成的神经网络就非常复杂，其功能也十分奥妙。
人们平常十分清楚砖头是很简单的，但是用简单的砖头，人们就可以筑造出各种美伦美灸的建筑物；无论是优雅的别墅，亦或是高耸雄伟的大厦，或者是粗旷的金字塔，亦或是庄严肃穆的教堂，无一不是由简单的砖头砌堆而成。简单的神经元也是如此，通过不同方式的连接和信息传递，也就能产生丰富多彩的神经网络结构，创造出令人赞叹的优异功能。

一、神经网络

神经网络就是由许多神经元互连在一起所组成的神经结构。把神经元之间相互作用的关系进行数学模型化就可以得到神经网络模型。

1．神经网络的基本属性

神经网络有些基本属性，它们反映了神经网络的特质。

(1)非线性

人脑的思维是非线性的，故人工神经网络模拟人的思维也应是非线性的。

(2)非局域性

非局域性是人的神经系统的一个特性，人的整体行为是非局域性的最明显体现。神经网络以大量的神经元连接模拟人脑的非局域性，它的分布存储是非局域性的一种表现。

(3)非定常性

神经网络是模拟人脑思维运动的动力学系统，它应按不同时刻的外界刺激对自己的功能进行修改，故而它是一个时变的系统。

(4)非凸性

神经网络的非凸性即是指它有多个极值，也即系统具有不只一个的较稳定的平衡状态。这种属性会使系统的演化多样化。神经网络的全局优化算法就反映了这一点，例如模拟退火法。

2．神经网络模型

神经网络在目前已有几十种不同的模型。人们按不同的角度对神经网络进行分类，通常可按5个原则进行神经网络的归类。

按照网络的结构区分，则有前向网络和反馈网络。

按照学习方式区分，则有有教师学习和无教师学习网络。

按照网络性能区分，则有连续型和离散性网络，随机型和确定型网络。

按照突触性质区分，则有一阶线性关联网络和高阶非线性关联网络。

按对生物神经系统的层次模拟区分，则有神经元层次模型，组合式模型，网络层次模型，神经系统层次模型和智能型模型。

通常，人们较多地考虑神经网络的互连结构。一段而言，神经网络有分层网络，层内连接的分层网络．反馈连接的分层网络，互连网络等4种互连结构，这些结构如图1—6所示。
在人们提出的几十种神经网络模型中，人们较多用的是Hopfield网络、BP网络、Kohonen网络和ART(自适应共振理论)网络。

(c) 有反馈连接的分层网络

(d)互连网络

Hopfield网络是最典型的反馈网络模型，它是目前人们研究得最多的模型之一。Hopfield网络是由相同的神经元构成的单层，并且不具学习功能的自联想网络。它需要对称连接。这个网络习以完成制约优化和联想记忆等功能。
BP网络是反向传播(Back Propagation)网络。它是一种多层前向网络，采用最小均方差学习方式。这是一种最广泛应用的网络。它可用于语言综合，识别和自适应控制等用途。BP网路需有教师训练。

Kohonen网络是典型的自组织神经网络，这种网络也称为自组织特征映射网络SOM。它的输入层是单层单维神经元；而输出层是二维的神经元，神经元之间存在以“墨西哥帽”形式进行侧向交互的作用。因而，在输出层中，神经元之间有近扬远抑的反馈特性；从而使Kohonen网络可以作为模式特征的检测器。

ART网络也是一种自组织网络模型。这是一种无教师学习网络。它能够较好地协调适应性，稳定性和复杂性的要求。在ART网络中，通常需要两个功能互补的子系统相互作用．这两个子系统称注意子系统和取向子系统。ART网络主要用于模式识别，它不足之处是在于对转换、失真和规模变化较敏感。

3．神经网络的学习规则

神经网络的学习规则可以粗略分成3类，这些类别分别如下：

第一类学习规则称相关学习规则。这种规则只根据连接间的激活水平改变权系数。

常用于自联想网络，如Hopfield网络。

第二类学习规则称纠错学习规则。这种规则根据输出节点的外部反馈改变权系数。在方法上它和梯度下降法等效，按局部改善最大的方向一步步进行优化，从而最终找到全局优化值。感知器学习就采用这种纠错学习规则．例如BP算法。用于统计性算法的模拟退火算法也属于这种学习规则。

第三类学习规则称无教师学习规则。它是一种对输入测检进行自适应的学习规则。

ART网络的自组织学习算法即属于这一类。

二、神经网络信息处理的数学过程

神经网络信息处理可以用数学过程来说明，这个过程可分为两个阶段；执行阶段和学习阶段。下面以前向网络情况说明这两个阶段。

1．执行阶段

执行阶段是指神经网络对输入信息进行处理，并产生对应的输出过程。在执行阶段，网络的连接结构和权系数是已经确定并且不会变化的。这时有：

(1-7)

X_i(t+1)=f_i[u_i(t+1)] (1-8)

其中：X_i是前级神经元的输出；
W_ij是第i个神经元和前级j个神经元突触的权系数

θ_i：是第i个神经元的阀值；

f_i为第i个神经元的非线性激活函数；

X_i为第i个神经元的输出。

2．学习阶段

学习阶段是指神经网络自完善的阶段；这时，网络按一定的学习规则修改突触的权系数W_ij，以使到结定的测度函数E达到最小。一般取：

E=(T_i,X_i) (1-9)

其中，T_i是教师信号；

X_i是神经元的输出。

学习公式可以表示为下面数学表达式：

(1-10)

其中：Ψ是一个非线性函数；
η_ij是权重变化率；

n是学习时的迭代次数。

对于梯度学习算法，则可以采用下面具体公式：

(1-11)

神经网络对信息的处理一般都需要学习阶段和执行阶段结合，才能实现合理的处理过程。神经网络对信息的学习是为了取得对信息的适应特性，或信息的特征；而神经网络对信息的执行过程是对特征的检索或者是对信息的分类过程。
学习和执行是神经网络不可缺少的两个处理和功能。神经网络的各种有效的行为和作用，都是通过这两个关键的过程来实现的。

通过学习阶段，可以把神经网络训练成对某种信息模式特别敏感，或具有某种特征的动力学系统。通过执行阶段，可以用神经网络识别有关信息模式或特征。

在智能控制中，用神经网络作为控制器，则在学习时就是以神经网络去学习被控对象的特征，从而使神经网络能适应被控对象的输入输出关系；这样，在执行时，神经网络就能以学习到的知识对被控对象实现恰如其分的控制。

1.2反向传播BP模型

学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中，学习算法的研究有着十分重要的地位。目前，人们所提出的神经网络模型都是和学习算法相应的。所以，有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法．而有的算法可能可用于多种模型。不过，有时人们也称算法为模型。
自从40年代Hebb提出的学习规则以来，人们相继提出了各种各样的学习算法。其中以在1986年Rumelhart等提出的误差反向传播法，即BP(error BackPropagation)法影响最为广泛。直到今天，BP算法仍然是自动控制上最重要、应用最多的有效算法。

1．2．1 神经网络的学习机理和机构

在神经网络中，对外部环境提供的模式样本进行学习训练，并能存储这种模式，则称为感知器；对外部环境有适应能力，能自动提取外部环境变化特征，则称为认知器。

神经网络在学习中，一般分为有教师和无教师学习两种。感知器采用有教师信号进行学习，而认知器则采用无教师信号学习的。在主要神经网络如BP网络，Hopfield网络，ART网络和Kohonen网络中；BP网络和Hopfield网络是需要教师信号才能进行学习的；而ART网络和Kohonen网络则无需教师信号就可以学习。所谓教师信号，就是在神经网络学习中由外部提供的模式样本信号。

一、感知器的学习结构

感知器的学习是神经网络最典型的学习。

目前，在控制上应用的是多层前馈网络，这是一种感知器模型，学习算法是BP法，故是有教师学习算法。

一个有教师的学习系统可以用图1—7表示。这种学习系统分成三个部分：输入部，训练部和输出部。

图1-7 神经网络学习系统框图

输入部接收外来的输入样本X，由训练部进行网络的权系数W调整，然后由输出部输出结果。在这个过程中，期望的输出信号可以作为教师信号输入，由该教师信号与实际输出进行比较，产生的误差去控制修改权系数W。
学习机构可用图1—8所示的结构表示。

在图中，X_l，X₂，…，X_n，是输入样本信号，W₁，W₂，…，W_n是权系数。输入样本信号X_i可以取离散值“0”或“1”。输入样本信号通过权系数作用，在u产生输出结果 ∑W_iX_i，即有：

u=∑W_iX_i=W₁X₁+W₂X₂+…+W_nX_n

再把期望输出信号Y(t)和u进行比较，从而产生误差信号e。即权值调整机构根据误差e去对学习系统的权系数进行修改，修改方向应使误差e变小，不断进行下去，使到误差e为零，这时实际输出值u和期望输出值Y(t)完全一样，则学习过程结束。

神经网络的学习一般需要多次重复训练，使误差值逐渐向零趋近，最后到达零。则这时才会使输出与期望一致。故而神经网络的学习是消耗一定时期的，有的学习过程要重复很多次，甚至达万次级。原因在于神经网络的权系数W有很多分量W₁，W₂，----W_n；也即是一个多参数修改系统。系统的参数的调整就必定耗时耗量。目前，提高神经网络的学习速度，减少学习重复次数是十分重要的研究课题，也是实时控制中的关键问题。
二、感知器的学习算法

感知器是有单层计算单元的神经网络，由线性元件及阀值元件组成。感知器如图1-9所示。

图1-9   感知器结构

感知器的数学模型：

(1-12)

其中：f[.]是阶跃函数，并且有

(1-13)

θ是阀值。
感知器的最大作用就是可以对输入的样本分类，故它可作分类器，感知器对输入信号的分类如下：

(1-14)

即是，当感知器的输出为1时，输入样本称为A类；输出为-1时，输入样本称为B类。从上可知感知器的分类边界是：

(1-15)

在输入样本只有两个分量X1，X2时，则有分类边界条件：

(1-16)

即
     W₁X₁+W₂X₂-θ=0       (1-17)

也可写成

(1-18)

这时的分类情况如固1—10所示。
感知器的学习算法目的在于找寻恰当的权系数w＝(w1．w2，…，Wn)，使系统对一个特定的样本x＝(xt，x2，…，xn)熊产生期望值d。当x分类为A类时，期望值d＝1；X为B类时，d=-1。为了方便说明感知器学习算法，把阀值θ并人权系数w中，同时，样本x也相应增加一个分量x_n+1。故令：
W_n+1=-θ，X_n+1=1      (1-19)

则感知器的输出可表示为：

(1-20)

感知器学习算法步骤如下：
1．对权系数w置初值
对权系数w＝(W₁．W₂，…，W_n，W_n+1)的各个分量置一个较小的零随机值，但W_n+1＝
—g。并记为W_l(0)，W₂(0)，…，W_n(0)，同时有Wn+1(0)＝-θ。这里W_i(t)为t时刻从第i个
输入上的权系数，i＝1，2，…，n。W_n+1(t)为t时刻时的阀值。

图1-10 感知器的分类例子

2．输入一样本X＝(X₁，X₂，…，X_n+1)以及它的期望输出d。
期望输出值d在样本的类属不同时取值不同。如果x是A类，则取d＝1,如果x是B类，则取-1。期望输出d也即是教师信号。

3．计算实际输出值Y

4．根据实际输出求误差e

e＝d—Y(t)       (1-21)

5．用误差e去修改权系数

i=1,2,…,n,n+1      (1-22)

其中，η称为权重变化率，0<η≤1

在式(1—22)中，η的取值不能太大．如果1取值太大则会影响w_i(t)的稳定；的取值也不能太小，太小则会使W_i(t)的求取过程收敛速度太慢。

当实际输出和期望值d相同时有：

W_i(t+1)=W_i(t)

6．转到第2点，一直执行到一切样本均稳定为止。

从上面式(1—14)可知，感知器实质是一个分类器，它的这种分类是和二值逻辑相应的。因此，感知器可以用于实现逻辑函数。下面对感知器实现逻辑函数的情况作一些介绍。

例：用感知器实现逻辑函数X₁VX₂的真值：

X₁ 0011

X₂ 0101

X₁V X₂ 0111

以X1VX2＝1为A类，以X1VX2=0为B类，则有方程组

(1-23)

即有：

(1-24)

从式(1—24)有：
W₁≥θ,W₂≥θ

令 W₁=1,W₂=2

则有：θ≤1

取   θ=0.5

则有：X1+X2-0.5=0,分类情况如图1—11所示。

图1-11 逻辑函数X₁VX₂的分类

1．2．2 神经网络学习的梯度算法

从感如器的学习算法可知，学习的目的是在于修改网络中的权系数，使到网络对于所输入的模式样本能正确分类。当学习结束时，也即神经网络能正确分类时，显然权系数就反映了同类输人模式样本的共同特征。换句话讲，权系数就是存储了的输人模式。由于权系数是分散存在的，故神经网络自然而然就有分布存储的特点。

前面的感知器的传递函数是阶跃函数，所以，它可以用作分类器。前面一节所讲的感知器学习算法因其传递函数的简单而存在局限性。

感知器学习算法相当简单，并且当函数线性可分时保证收敛。但它也存在问题：即函数不是线性可分时，则求不出结果；另外，不能推广到一般前馈网络中。

为了克服存在的问题，所以人们提出另一种算法——梯度算法(也即是LMS法)。

为了能实现梯度算法，故把神经元的激发函数改为可微分函数，例如Sigmoid函数，非对称Sigmoid函数为f(X)=1/(1+e^-x),对称Sigmoid函数f(X)=(1-e^-x)/(1+e^-x)；而不采用式(1—13)的阶跃函数。

对于给定的样本集X_i(i＝1，2，，n)，梯度法的目的是寻找权系数W^*，使得f[W^*.X_i]与期望输出Yi尽可能接近。

设误差e采用下式表示：

(1-25)

其中，Y_i＝f〔W^*·X_i]是对应第i个样本X_i的实时输出
Y_i是对应第i个样本X_i的期望输出。

要使误差e最小，可先求取e的梯度：

(1-26)

其中：
(1-27)

令 U_k=W^.X_k,则有：

(1-28)

即有：

(1-29)

最后有按负梯度方向修改权系数W的修改规则：

(1-30)

也可写成：

(1-31)

在上式(1—30)，式(1—31)中，μ是权重变化率，它视情况不同而取值不同，一般取0-1之间的小数。
很明显，梯度法比原来感知器的学习算法进了一大步。其关键在于两点：
1．神经元的传递函数采用连续的s型函数，而不是阶跃函数；

2．对权系数的修改采用误差的梯度去控制，而不是采用误差去控制。故而有更好的动态特能，即加强了收敛进程。

但是梯度法对于实际学习来说，仍然是感觉太慢；所以，这种算法仍然是不理想的。

1．2．3 反向传播学习的BP算法

反向传播算法也称BP算法。由于这种算法在本质上是一种神经网络学习的数学模型，所以，有时也称为BP模型。

BP算法是为了解决多层前向神经网络的权系数优化而提出来的；所以，BP算法也通常暗示着神经网络的拓扑结构是一种无反馈的多层前向网络。故而．有时也称无反馈多层前向网络为BP模型。

在这里，并不要求过于严格去争论和区分算法和模型两者的有关异同。感知机学习算法是一种单层网络的学习算法。在多层网络中．它只能改变最后权系数。因此，感知机学习算法不能用于多层神经网络的学习。1986年，Rumelhart提出了反向传播学习算法，即BP(backpropagation)算法。这种算法可以对网络中各层的权系数进行修正，故适用于多层网络的学习。BP算法是目前最广泛用的神经网络学习算法之一，在自动控制中是最有用的学习算法。

一、BP算法的原理

BP算法是用于前馈多层网络的学习算法，前馈多层网络的结构一般如图1—12所示

图1-12 网络学习结构

它含有输人层、输出层以及处于输入输出层之间的中间层。中间层有单层或多层，由于它们和外界没有直接的联系，故也称为隐层。在隐层中的神经元也称隐单元。隐层虽然和外界不连接．但是，它们的状态则影响输入输出之间的关系。这也是说，改变隐层的权系数，可以改变整个多层神经网络的性能。

设有一个m层的神经网络，并在输入层加有样本X；设第k层的i神经元的输入总和表示为U_i^k，输出X_i^k；从第k—1层的第j个神经元到第k层的第i个神经元的权系数为W_ij各个神经元的激发函数为f，则各个变量的关系可用下面有关数学式表示：

X_i^k=f(U_i^k)   (1-32)

(1-33)

反向传播算法分二步进行，即正向传播和反向传播。这两个过程的工作简述如下。
1．正向传播

输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。

2．反向传播

反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。

二、BP算法的数学表达

BP算法实质是求取误差函数的最小值问题。这种算法采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权系数。

为了说明BP算法，首先定义误差函数e。取期望输出和实际输出之差的平方和为误差函数，则有：

(1-34)

其中：Y_i是输出单元的期望值；它也在这里用作教师信号；
X_i^m是实际输出；因为第m层是输出层。

由于BP算法按误差函数e的负梯度方向修改权系数，故权系数W_ij的修改量Aw_ij，和e

(1-35)

也可写成

(1-36)

其中：η为学习速率，即步长。
很明显，根据BP算法原则，求ae/aW_ij最关键的。下面求ae/aW_ij；有

(1-37)

由于

(1-38)

故而

(1-39)

从而有

(1-40)

令

(1-41)

则有学习公式：

(1-42)

其中：η为学习速率，即步长，一般取0-1间的数。
从上面可知，d_i^k实际仍末给出明显的算法公式，下面求d_i^k的计算公式。

(1-43)

从式(1-32)可知在式(1-43)中，有

(1-44)

为了方便进行求导，取f为连续函数。一般取非线性连续函数，例如Sigmoid函数。当取f为非对称Sigmoid函数时，有：

则有：f'(U_i^k)=f'(U_i^k)(1-f(U_i^k))
             =X_i^k(1-X_i^k)                (1-45)

再考虑式(1—43)中的偏微分项ae／aX_i^k，有两种情况需考虑的：

如果k＝m，则是输出层，这时有Y_i是输出期望值，它是常数。从式(1-34)有

(1-46)

从而有   d_i^m=X_i^m(1-X_i^m)(X_i^m-Y_i) (1-47)

2．如果k

(1-48)

从式(1—41)中，可知有：

(1-49)

从式(1—33)中，可知有：

(1-50)

故而有

(1-51)

最后有：

(1-52)

从上述过程可知：多层网络的训练方法是把一个样本加到输入层，并根据向前传播的规则：

X_i^k=f(U_i^k)

不断一层一层向输出层传递，最终在输出层可以得到输出X_i^m。

把Xim和期望输出Yi进行比较．如果两者不等，则产生误差信号e，接着则按下面公式反向传播修改权系数：

(1-53)

其中

d_i^m=X_i^m(1-X_i^m)(X_i^m-Y_i)

上面公式中，求取本层d_i^k时，要用到高一层的d_i^k+1；可见，误差函数的求取是从输出层开始，到输入层的反向传播过程。在这个过程中不断进行递归求误差。
通过多个样本的反复训练，同时向误差渐渐减小的方向对权系数进行修正，以达最终消除误差。从上面公式也可以知道，如果网络的层数较多时，所用的计算量就相当可观，故而收敛速度不快。

为了加快收敛速度，一般考虑上一次的权系数，并以它作为本次修正的依据之一，故而有修正公式：

(1-54)

其中：η为学习速率，即步长，η＝0．1—0．4左右
ɑ为权系数修正常数，取0．7—0．9左右。

在上面，式(1—53)也称为一般化的Delta法则。对于没有隐层的神经网络，可取

(1-55)

其中：，Y_i为期望输出；
X_j为输出层的实际输出；

X_i为输入层的输入。

这显然是一种十分简单的情况，式(1—55)也称为简单Delta法则。

在实际应用中，只有一般化的Delta法则式(1—53)或式(1—54)才有意义。简单Delta法则式(1—55)只在理论推导上有用。

三、BP算法的执行步骤

在反向传播算法应用于前馈多层网络时，采用Sigmoid为激发面数时，可用下列步骤对网络的权系数W_ij进行递归求取。注意对于每层有n个神经元的时候，即有i＝1，2，…，n；j＝1，2，…，n。对于第k层的第i个神经元，则有n个权系数W_i1，W_i2，…，W_in，另外取多—个W_in+1用于表示阀值θ_i；并且在输入样本X时，取x＝(X₁，X₂，…，X_n，1)。

算法的执行的步骤如下：

1．对权系数W_ij置初值。

对各层的权系数W_ij置一个较小的非零随机数，但其中W_i,n+1=-θ。

2．输入一个样本X＝(x_l，x₂，…，x_n，1)，以及对应期望输出Y＝(Y₁，Y₂，…，Y_n)。

3．计算各层的输出

对于第k层第i个神经元的输出X_i^k，有：

X_i^k=f(U_i^k)

4．求各层的学习误差d_i^k
对于输出层有k＝m，有

d_i^m=X_i^m(1-X_i^m)(X_i^m-Y_i)

对于其他各层，有

5．修正权系数Wij和阀值θ
用式(1—53)时有：

用式(1—54)时有：

其中：

6．当求出了各层各个权系数之后，可按给定品质指标判别是否满足要求。如果满足要求，则算法结束；如果未满足要求，则返回(3)执行。
这个学习过程，对于任一给定的样本X_p＝(X_p1，X_p2，…X_pn，1)和期望输出Y_p=(Y_p1，Y_p2，…，Y_pn)都要执行，直到满足所有输入输出要求为止。

1.3 Hopfield模型

1982年，J．Hopfield提出了可用作联想存储器的互连网络，这个网络称为Hopfield网络模型，也称Hopfield模型。Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接。Hopfield网络有离散型和连续型两种。

反馈神经网络由于其输出端有反馈到其输入端；所以，Hopfield网络在输入的激励下，会产生不断的状态变化。当有输入之后，可以求取出Hopfield的输出，这个输出反馈到输入从而产生新的输出，这个反馈过程一直进行下去。如果Hopfield网络是一个能收敛的稳定网络，则这个反馈与迭代的计算过程所产生的变化越来越小，一旦到达了稳定平衡状态；那么Hopfield网络就会输出一个稳定的恒值。对于一个Hopfield网络来说，关键是在于确定它在稳定条件下的权系数。

应该指出：反馈网络有稳定的，也有不稳定的。对于Hopfield网络来说，还存在如何判别它是稳定网络，亦或是不稳定的问题；而判别依据是什么，也是需要确定的。

1．3．1 离散Hopfield网络

Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0这两个值，所以，也称离散Hopfield神经网络。在离散HopfieId网络中，所采用的神经元是二值神经元；故而，所输出的离散值1和0分别表示神经元处于激活和抑制状态。

首先考虑由三个神经元组成的离散Hopfield神经网络，其结构如图1—13中所示。

在图中，第0层仅仅是作为网络的输人，它不是实际神经元，所以无计算功能；而第一层是实际神经元，故而执行对输人信息和权系数乘积求累加和，并由非线性函数f处理后产生输出信息。f是一个简单的阀值函效，如果神经元的输出信息大于阀值θ，那么，神经元的输出就取值为1；小于阀值θ，则神经元的输出就取值为θ。

图1-13 三神经元组成的Hopfield网络

对于二值神经元，它的计算公式如下

其中：x_i为外部输入。并且有：

Y_i=1,当U_i≥θ_i时

Y_i=0,当U_i<θ_i时

对于一个离散的Hopfield网络，其网络状态是输出神经元信息的集合。对于一个输出层是n个神经元的网络，则其t时刻的状态为一个n维向量：

Y(t)=[Y₁(t),Y₂(t),^...,Y_n(t)]^T

故而，网络状态有2ⁿ个状态；因为Yj(t)(j＝1……n)可以取值为1或0；故n维向量Y(t)有2ⁿ种状态，即是网络状态。

对于三个神经元的离散Hopfield网络，它的输出层就是三位二进制数；每一个三位二进制数就是一种网络状态，从而共有8个网络状态。这些网络状态如图1—14中所示。在图中，立方体的每一个顶角表示一种网络状态。同理，对于n个神经元的输出层，它有2ⁿ个网络状态，也和一个n维超立方体的顶角相对应。

图1-14 三神经元输出层的网络状态

如果Hopfield网络是一个稳定网络，那么在网络的输入端加入一个输入向量，则网络的状态会产生变化，也就是从超立方体的一个顶角转移向另一个顶角，并且最终稳定于一个特定的顶角。

对于一个由n个神经元组成的离散Hopfield网络，则有n*n权系数矩阵w：

W={W_ij} i=1,2,^...,n j=1,2,^...,n

同时，有n维阀值向量θ：

θ=[θ₁,θ₂,^...θ_n]^T

一船而言，w和θ可以确定一个唯一的离散Hopfield网络。对于图1—13所示的三神经元组成的Hopfield网络，也可以改用图1—15所示的图形表示，这两个图形的意义是一样的。考虑离散Hopfield网络的一船节点状态；用Y_j(t)表示第j个神经元，即节点j在时刻t的状态，则节点的下一个时刻(t+1)的状态可以求出如下：

当W_ij在i＝j时等于0，则说明一个神经元的输出并不会反馈到它自己的输入；这时，离教的HopfieId网络称为无自反馈网络。

当W_ij在i＝j时不等于0，则说明—个神经元的输出会反馈到它自己的输入；这时，离散的Hopfield网络称为有自反馈的网络。

图1-15 离散Hopfield网络的另外一种图示

离散Hopfield网络有二种不同的工作方式：

1．串行(异步)方式

在时刻t时，只有某一个神经元j的状态产生变化，而其它n-1个神经元的状态不变这时称串行工作方式。并且有

Y_i(t+1)=Y_j(t) i≠j

在不考虑外部输人时，则有

2．并行(同步)方式

在任一时刻t，所有的神经元的状态都产生了变化；则称并行工作方式。并且有

在不考虑外部输入时，则有

j=1,2,^...,n

对于一个网络来说，稳定性是一个重大的性能指标。

对于离散Hopfield网络，其状态为Y(t)：

Y(t)=[Y₁(t),Y₂(t),^...,Y_n(t)]^T

如果，对于任何△t>0．当神经网络从t＝0开始，有初始状态Y(0)；经过有限时刻t，有：

Y(t+△t)=Y(t)

则称网络是稳定的。

在串行方式下的稳定性称之为串行稳定性。同理，在并行方式的稳定性称之为并行稳定性。在神经网络稳定时，其状态称稳定状态。

从离散的Hopfield网络可以看出：它是一种多输入，含有阀值的二值非线性动力系统。在动力系统中，平衡稳定状态可以理解为系统的某种形式的能量函数在系统运动过程中，其能量值不断减小，最后处于最小值。

对Hopfield网络引入一个Lyapunov函数，即所谓能量函数：

即有：

(1-46)

对于神经元j，其能量函数可表示为

(1-47)

也即是有

神经元j的能量变化量表示为△E_j：

(1-48)

如果存在条件 W_ii=0,i=1,2,...,n

W_ij=W_ji i=1,2,...,n j=1,2,...,n

则有：

(1-49)

其中：E_j为神经元j的能量；

△E_j为神经元j的能量变化；

W_ij为神经元i到神经元j的权系数：

Y_i为神经元j的输出；

X_j为神经元j的外部输入；

θ_j为神经元j的阀值；

△Y_j为神经元j的输出变化。

如果，令

U_j=ΣW_ijY_i+X_j

则△E_j可表示为：

考虑如下两种情况：

1．如果U_j≥θ_j，即神经元j的输入结果的值大于阀值，则U_j-θ_j≥0，则从二值神经元的计算公式知道：Y_j的值保持为1，或者从0变到1。这说明Y_j的变化△Y_j只能是0或正值。这时很明显有△E_j：

△E_j≤0

这说明Hopfield网络神经元的能量减少或不变。

2．如果U_j≤θ_j，即神经元j的输入结果的值小于阀值，则U_j-θ_j≥0，则从二值神经元的计算公式可知：Y_j的值保持为0，或者从1变到0。这说明Y_j的变化△Y_j只能是零或负位。这时则有△E_j：

△E_j≤0

这也说明Hopfield网络神经元的能量减少。

上面两点说明了Hopfield网络在权系数矩阵W的对角线元素为0，而且W矩阵元素对称时，Hopfield网络是稳定的。

Coben和Grossberg在1983年给出了关于Hopfield网络稳定的充分条件，他们指出：

如果Hopfield网络的权系数矩阵w是一个对称矩阵，并且，对角线元素为0．则这个网络是稳定的。即是说在权系数矩阵W中，如果

i=j时，W_ij=0

i≠j时，W_ij=W_ji

则Hopfield网络是稳定的。

应该指出：这只是Hopfield网络稳定的充分条件．而不是必要条件。在实际中有很多稳定的Hopfield网络，但是它们并不满足权系数矩阵w是对称矩阵这一条件。

上面的分析可知：

无自反馈的权系数对称Hopfield网络是稳定的网络。它如图1—16，图1—17所示。

图1-16 对角线权系数为0的对称Hopfield网络

图1-17 对角线权系数为0的对称网另一图示

Hopfield网络的一个功能是可用于联想记忆，也即是联想存储器。这是人类的智能特点之一。人类的所谓“触景生情”就是见到一些类同过去接触的景物，容易产生对过去情景的回昧和思忆。对于Hopfield网络，用它作联想记忆时，首先通过一个学习训练过程确定网络中的权系数，使所记忆的信息在网络的n维超立方体的某一个顶角的能量最小。当网络的权系数确定之后，只要向网络给出输入向量，这个向量可能是局部数据．即不完全或部分不正确的数据，但是网络仍然产生所记忆的信息的完整输出。1984年Hopfield开发了一种用n维Hopfield网络作联想存储器的结构。在这个网络中，权系数的赋值规则为存储向量的外积存储规则(out product storage prescription)，其原理如下：

设有m个样本存储向量x₁，x₂，…，x_m

X_1={X_11,X_21,..._,X_m1}

X_2={X_12,X_22,...,X_m2}

_......

X_m={X_m1,X_m2,...,X_mm}

把这m个样本向量存储人Hopfield网络中，则在网络中第i，j两个节点之间权系数的值为：

其中：k为样本向量X_k的下标，k＝1，2，…m；

i，j分别是样本向量X_k的第i，j分量X_i，X_j的下标；i，j＝1，2，…n。

对联想存储器的联想检索过程如下：

给定一个向量X。进行联想检索求取在网络中的存储内容。这时，把向量

X={X₁,X₂,...X_n}

的各个分量x₁，x₂，…，x_n赋于相对应的节点j，(j＝1，2，…，n)，则节点有相应的初始状态Y_j(0)，则有

Y_j(0)=X_j，j＝1，2，…，n

接着，在Hopfield网络中按动力学系统原则进行计算，得

Y_j(t+1)=f[ΣW_ijY_j(0)-θ_j] , i,j＝1，2，…，n

其中，f[·]是非线性函数，可取阶跃函数。

通过状态不断变化，最后状态会稳定下来．最终的状态是和给定向量x最接近的样本向量。所以，Hopfield网络的最终输出也就是给定向量联想检索结果。这个过程说明，即使给定向量并不完全或部分不正确，也能找到正确的结果。在本质上，它也有滤波功能。

1．3．2连续Hopfield网络

连续Hopfield网络的拓朴结构和离散Hopfield网络的结构相同。这种拓朴结构和生物的神经系统中大量存在的神经反馈回路是相一致的。在连续Hopfield网络中，和离散Hopfield网络一样，其稳定条件也要求W_ij=W_ji。
连续Hopfield网络和离散Hopfield网络不同的地方在于其函数g不是阶跃函数，而是S形的连续函数。一般取

g(u)=1/(1+e^-u) (1-50)

连续Hopfield网络在时间上是连续的．所以，网络中各神经元是处于同步方式工作的。考虑对于一个神经细胞，即神经元j，其内部膜电位状态用u_j表示．细胞膜输入电容为C_j，细胞膜的传递电阻为R_j，输出电压为V_j，外部输入电流用I_j表示，则连续Hopfield网络可用图1—18所示的电路表示。

(1-51)

其中：n是神经网络神经元的个数

v_j(t)为输出电位；

U_j(t)为输入电位。

图1-18 连续Hopfield网络的电路形式

对于连续Hopfield网络，Hopfield给出如下稳定性定理：

给出能量函数E(t)

(1-52)

其中：g^-1(v)是V_j(t)＝g_j(u_j(t))的反函数。

如果连续Hopfield网络中神经元传递函数是单调增长的连续并有界函数，并且W_ij＝W_ji，则有

当并且仅当

时，有

这个定理的意义可以解释如下：当网络神经元的传递函数是S函数，并且网络权系数矩阵对称；则随时间的变化网络的能量会下降或不变；而且仅当输出电位随时间变化不变时．网络的能量才会不变。换而言之，在上述条件下的网络是能量不变或下降的。

这个定理的证明过程如下：

对能量函数E(t)求时间的导数dE(t)／dt，则有

(1-53)

如果存在Wij＝Wji，则上式可写为

(1-54)

从连续Hopfield网络的动态方程，有

(1-55)

故上面(1—54)式可写成

(1-56)

由于 V_j(t)=g_j(U_j(t)) (1-57)

故而有 U_j(t)=g_j^-1(V_j(t)) (1-58)

从而有

(1-59)

从 g(u)=1/(1+exp(-u)) (1-60)

可知其反函数为单调升函数。因而对于dE(t)／dt中的g_j^-1(v_j(t))，必有单调升的特点．则其导数必定大于0，即

[g_j^-1(v_j(t))]'>0

同时容易知道

C_j>0

很明显，在dE(t)／dt时，必定有

而且当，仅当

有

至此，则定理证明完毕。

这个定理说明Hopfield网络的能量函数E(t)是单调下降的；如果E(t)有下界，即有确定的极小值；那么网络必定是稳定的。而且，可以知道稳定点对应于能量函数的下界，即极小值。

下一步工作，只需证明能量函数有下界，那么．就可以证明网络是稳定的。

可以证明，如果Hopfield网络的传递函数g是连续而且有界的，那么，能量函数E(t)是有界的。

最后，有如下结论：

当Hopfield网络的神经元传递函数g是连续且有界的，例如Sigmoid函数，并且网络的权系数矩阵对称，则这个连续Hopfield网络是稳定的。在实际应用中，任何一个系统，如果其优化问题可以用能量函数E(t)作为目标函数，那么，总可以用连续Hopfield网络对其进行求解。由于引入能量函数E(t)，Hopfield使神经网络和问题优化直接对应；这种工作是具开拓性的。利用神经网络进行优化计算，就是在神经网络这一动力系统给出初始的估计点，即初始条件；然后随网络的运动传递而找到相应极小点。这样，大量的优化问题都可以用连续的Hopfield网来求解。这也是Hopfield网络用于神经计算的基本原因。

1．3．1 离散Hopfield网络

首先考虑由三个神经元组成的离散Hopfield神经网络，其结构如图1—13中所示。

图1-13 三神经元组成的Hopfield网络

对于二值神经元，它的计算公式如下

其中：x_i为外部输入。并且有：

Y_i=1,当U_i≥θ_i时

Y_i=0,当U_i<θ_i时

对于一个离散的Hopfield网络，其网络状态是输出神经元信息的集合。对于一个输出层是n个神经元的网络，则其t时刻的状态为一个n维向量：

Y(t)=[Y₁(t),Y₂(t),^...,Y_n(t)]^T

故而，网络状态有2ⁿ个状态；因为Yj(t)(j＝1……n)可以取值为1或0；故n维向量Y(t)有2ⁿ种状态，即是网络状态。

图1-14 三神经元输出层的网络状态

对于一个由n个神经元组成的离散Hopfield网络，则有n*n权系数矩阵w：

W={W_ij} i=1,2,^...,n j=1,2,^...,n

同时，有n维阀值向量θ：

θ=[θ₁,θ₂,^...θ_n]^T

当W_ij在i＝j时等于0，则说明一个神经元的输出并不会反馈到它自己的输入；这时，离教的HopfieId网络称为无自反馈网络。

当W_ij在i＝j时不等于0，则说明—个神经元的输出会反馈到它自己的输入；这时，离散的Hopfield网络称为有自反馈的网络。

图1-15 离散Hopfield网络的另外一种图示

离散Hopfield网络有二种不同的工作方式：

1．串行(异步)方式

在时刻t时，只有某一个神经元j的状态产生变化，而其它n-1个神经元的状态不变这时称串行工作方式。并且有

Y_i(t+1)=Y_j(t) i≠j

在不考虑外部输人时，则有

2．并行(同步)方式

在任一时刻t，所有的神经元的状态都产生了变化；则称并行工作方式。并且有

在不考虑外部输入时，则有

j=1,2,^...,n

对于一个网络来说，稳定性是一个重大的性能指标。

对于离散Hopfield网络，其状态为Y(t)：

Y(t)=[Y₁(t),Y₂(t),^...,Y_n(t)]^T

如果，对于任何△t>0．当神经网络从t＝0开始，有初始状态Y(0)；经过有限时刻t，有：

Y(t+△t)=Y(t)

则称网络是稳定的。

在串行方式下的稳定性称之为串行稳定性。同理，在并行方式的稳定性称之为并行稳定性。在神经网络稳定时，其状态称稳定状态。

对Hopfield网络引入一个Lyapunov函数，即所谓能量函数：

即有：

(1-46)

对于神经元j，其能量函数可表示为

(1-47)

也即是有

神经元j的能量变化量表示为△E_j：

(1-48)

如果存在条件 W_ii=0,i=1,2,...,n

W_ij=W_ji i=1,2,...,n j=1,2,...,n

则有：

(1-49)

其中：E_j为神经元j的能量；

△E_j为神经元j的能量变化；

W_ij为神经元i到神经元j的权系数：

Y_i为神经元j的输出；

X_j为神经元j的外部输入；

θ_j为神经元j的阀值；

△Y_j为神经元j的输出变化。

如果，令

U_j=ΣW_ijY_i+X_j

则△E_j可表示为：

考虑如下两种情况：

△E_j≤0

这说明Hopfield网络神经元的能量减少或不变。

△E_j≤0

这也说明Hopfield网络神经元的能量减少。

上面两点说明了Hopfield网络在权系数矩阵W的对角线元素为0，而且W矩阵元素对称时，Hopfield网络是稳定的。

Coben和Grossberg在1983年给出了关于Hopfield网络稳定的充分条件，他们指出：

如果Hopfield网络的权系数矩阵w是一个对称矩阵，并且，对角线元素为0．则这个网络是稳定的。即是说在权系数矩阵W中，如果

i=j时，W_ij=0

i≠j时，W_ij=W_ji

则Hopfield网络是稳定的。

上面的分析可知：

无自反馈的权系数对称Hopfield网络是稳定的网络。它如图1—16，图1—17所示。

图1-16 对角线权系数为0的对称Hopfield网络

图1-17 对角线权系数为0的对称网另一图示

设有m个样本存储向量x₁，x₂，…，x_m

X_1={X_11,X_21,..._,X_m1}

X_2={X_12,X_22,...,X_m2}

_......

X_m={X_m1,X_m2,...,X_mm}

把这m个样本向量存储人Hopfield网络中，则在网络中第i，j两个节点之间权系数的值为：

其中：k为样本向量X_k的下标，k＝1，2，…m；

i，j分别是样本向量X_k的第i，j分量X_i，X_j的下标；i，j＝1，2，…n。

对联想存储器的联想检索过程如下：

给定一个向量X。进行联想检索求取在网络中的存储内容。这时，把向量

X={X₁,X₂,...X_n}

的各个分量x₁，x₂，…，x_n赋于相对应的节点j，(j＝1，2，…，n)，则节点有相应的初始状态Y_j(0)，则有

Y_j(0)=X_j，j＝1，2，…，n

接着，在Hopfield网络中按动力学系统原则进行计算，得

Y_j(t+1)=f[ΣW_ijY_j(0)-θ_j] , i,j＝1，2，…，n

其中，f[·]是非线性函数，可取阶跃函数。

1．3．2连续Hopfield网络

g(u)=1/(1+e^-u) (1-50)

(1-51)

其中：n是神经网络神经元的个数

v_j(t)为输出电位；

U_j(t)为输入电位。

图1-18 连续Hopfield网络的电路形式

对于连续Hopfield网络，Hopfield给出如下稳定性定理：

给出能量函数E(t)

(1-52)

其中：g^-1(v)是V_j(t)＝g_j(u_j(t))的反函数。

如果连续Hopfield网络中神经元传递函数是单调增长的连续并有界函数，并且W_ij＝W_ji，则有

当并且仅当

时，有

这个定理的证明过程如下：

对能量函数E(t)求时间的导数dE(t)／dt，则有

(1-53)

可知其反函数为单调升函数。因而对于dE(t)／dt中的g_j^-1(v_j(t))，必有单调升的特点．则其导数必定大于0，即

[g_j^-1(v_j(t))]'>0

同时容易知道

C_j>0

很明显，在dE(t)／dt时，必定有

而且当，仅当

有

至此，则定理证明完毕。

下一步工作，只需证明能量函数有下界，那么．就可以证明网络是稳定的。

可以证明，如果Hopfield网络的传递函数g是连续而且有界的，那么，能量函数E(t)是有界的。

最后，有如下结论：

1．4．4 ART模型的学习算法

ART模型是一种有自组织能力的神经网络模型，它是通过竞争机制在F2中建立对应于输入模式I的编码的。
在F2中形成对应于输人模式I的编码；在本质上就是对外界输入模式I进行学习，使网络的权系数取得恰当的对应值。这就要按照一定的规则或者学习算法来对权系数进行修改。

下面分别就F₁到F₂，F₂到F₁的权系数学习过程进行介绍。

一、自下而上的权系数学习算法

所谓自下而上，也即是从F₁到F₂的方向；自下而上的权系数就是从F₁到F₂的权系数。F₁中的神经元用N_i表示，F₂中的神经元用N_j表示；则从F₁的神经元N_i到F₂的神经元N_j的权系数用w_ij表示。

在学习时，权系数W_ij用下面的方程来修正：

(1-63)

其中：f(x_j)是神经元N_j到F₁的输出信号；

h(X_i)是神经元N_i到F₂的输出信号；

E_ij是参数；

K₁是参数。

对于参数E_ij，一般按下式选取

(1-64)

其中：L为常数L^-1＝1/L。

如果取K1为常数，并且有K₁＝KL，则权系数W_ij的微分方程可以写成

这个方程说明：当F₂层中神经元N_j的输出为正时，来自F₁层中神经元N_i正的输出信号以速率(1-W_ij)Lh(X_i)Kf(X_j)来影响权系数Wij的改变。
在上面方程中，所有输入神经元中i≠k的输出信号h(X_k)的总和；这个信号也就是F₁中除N_i以外的其它所有神经元对F₂中神经元N_j的输人信号。ART模型就根据这个信号的大小来增强与Nj相对应的连接权系数。

二、自上而下的权系数的学习算法

从F₂到F₁的权系数称为自上而下的权系数，它用W_ji表示。权系数W_ji满足如下方程：

(1-65)

其中：f(x_j)是神经元N_j到F₁的输出信号；

h(X_i)是神经元N_i到F₂的输出信号；

K₂，E_ji是参数，一般简单取K₂＝E_ji-1

很明显，W_ji的微分方程可以写成下式：

如果从F₂来的学习期望和外部输入在F₁中不能匹配时；调整子系统A就会产生一个重置信导到F₂中去，改变F₂的状态，取消原来的学习期望输出。显然，在这时取向子系统处于工作状态。输入模式为I，它是一个n维向量，故有n个元素。当I输人到ART网络的F₁层时，它就会送m个大小固定为P的信号到A中。这样，从输入端到A的所有激励信号为n’P。同样，F₁中的神经元也同时产生一个大小固定为Q的抑制信号送到A中；F₁中的激活模式为X，而对应于激活模式X从F1到A的激话连接个数为I；那么，从F₁到A的所有的抑制信号为IQ。如存在条件

n'p>IQ

则说明激励作用大于抑制作用．则取向子系统A就会收到激励信号，并产生一个重置信号到F₂中，令

(1-67)

并称为取向子系统的警戒线参数。

考虑在n'P>IQ时有

	(1-68)
显然有	(1-68)
	(1-69)

这时，则A会产生重置信号到F₂。反亦反之。
当A把重置信号送到F₂时，F₂中的神经元的输出按下式进行修正：

(1-70)

其中：T_j是从F₁来的到F₂的输入模式；

J是F₂中神经元的一些集合；这些神经元在学习过程中末被置以新值。

在学习的过程中，每个学习周期开始把J置为(n+1，n+2，……m)。随着学习过程的继续，在这个周期内每次递归都应从J中清去一个F₂神经元的下标．直到产生了正确的匹配才停止。

自适应共振理论模型ART的数学分析以及学习算法有关情况可以用图1—26所示的框图表示。

图1-26 数学分析及算法有关图示

1．4．5 ART模型的Lippman学习算法

ART网络有多种学习算法，在这部分介绍Lippman在1987年提出的算法。这个算法的步骤及执行过程如下：

一、初始化

初始化时对从F₁到F₂的权系数W_ij，F₂到F₁的权系数W_ji以及警戒值P进行初设定。

1．F₁到F₂的权系数w_ij初始化

W_ij的初始值按下式设定：

(1-71)

其中：n为输入向量I的元素个数；

L为大于1的常数，一般取L＝2。

为了方便，可直接取：

(1-72)

W_ij(0)的值不能太大，太大则网络可能把识别层F2的所有神经元都分配给一个输入模式。

2．F₂到F₁的权系数W_ij初始化

W_ji的初始值取为1，即有

W_ji(0)=1 (1-73)

Wji(0)的值不能太小，太小则导致比较层F1不匹配。

3．警戒值P的初始化

P的值按下列范围选取：

0≤P≤1 (1-74)

P的值的选择要恰当。P的值太大，则网络会过细辩别差异iP的值太小，则容易把稍有某点相似的输入模式都当作同一类。在学习中，一开始取小的P值，进行粗分类；然后，逐渐增大警戒值P，进行逐步细分类。

二、输入一个新的模式

三、进行匹配度计算

由于识别层是输入向量I的分类器，为了考虑输入向量I和识别层中对应的神经元相关的权系数形态是否匹配，故而要求其匹配程度。这时，计算识别层每个神经元j的激活量Y_j。

(1-75)

其中：Yj为识别层神经元j的激活值；

Si为比较层神经元i的输出；

k是学习的次数。

四、选择最优匹配神经元C

ART网络在识别层通过横向抑制，从而使到只有激活值最大的神经元c才能输出1，其它神经元则输出0。神经元C的激活值用Yc表示，则：

	(1-76)
考虑识别层的神经元传递函数f为阶跃型函数，即有输出Uj
	(1-77)

其中：Y_j是神经元j的激活值；

θ_j是神经元j的阀值；

U_j是神经元j的输出。

五、比较和试验警戒值

识别层的神经元在选择出最优匹配的神经元之后，则有1输出，故而比较层增益控制输出0。依据2／3规则，比较层中U和I的元素均为1的神经元被激活。取向子系统A则对比较层输出的向量s和输入向量I进行比较，如果相似率低于警戒值P，则向识别层发出重置信号，对识别层进行清零。向量S和向量I的相似率用R表示，则有

(1-78)

其中：‖S‖是s向量的元素值之和，‖s‖＝ΣS_i；

‖I‖是I向量的元素值之和，‖I‖=ΣI_i

在上面‖S‖和‖I‖的实际计算方法如下：

S＝101O1011 ‖S‖＝5

I=11111001 ‖II‖=6

由于比较层输出s是由输入向量I和识别层输出向量U共同作用产生的；同时，因神经元c的输出为1，向量U在本质上是等于取得最优匹配的神经元c从F₂到F₁的权系数向量W_ci。

按2/3规则，两个输入同时为1时输出才能为1。则向量s的元素s_i；可表示为：

S_i=W_ci^.I_i(1-79)

故而

(1-80)

如果相似率R大于警值P，即有

R>P

则转向第七点执行，否则继续向下执行第六点。

六、最优匹配无效及其处理

如果相似率R小于警戒值p，即R

这时，重置信号到识别层去对神经元清0，则原来选中的最优匹配神经元为0，也说明取消了该神经元的优胜性；把比较层增益控制设置为输出1，转到第三点，重复上面过程。

在识别层一个神经元所取得的相似率大于警似值，则转向策七点，结束分类过程。

在识别层的全部神经元都被搜索过，但没有一个神经元能匹配，则经学习后确定识别层—个神经元作为输入模式的最优匹配单元；然后停止分类学习过程；则输入模式被存储。分类过程结束时，则从F₂到F₁的权系数全部为1；比较层输出S等于I，相似率等于1。

七、自学习过程

自学习时，给出一组模式样本向量，按一定顺序作为网络的输入向量，对ART网络的权系数进行调整．使相似类向量都激活识别层同一神经元。

自学习算法如下：

1．计算F₁到F₂的权系数W_ij

计算公式如下：

(1-81)

其中：S_i是比较层输出向量S的第i个元素；

j是识别和最优匹配神经元序号；

W_ij是比较层神经元i与识别层神经元j之间的权系数

L是大于1的常数。

2．计算F₂到F₁的权系数W_ji

把W_ji调整为等于向量S中相应元素的二进制值：

W_ji=S_i(1-82)

在实际求W_ij和W_ji时，可以采用下面的有效式子。

	(1-83)
考虑到学习次数k，则上面式子写成
	(1-84)

用其它向量对网络继续进行学习时，则会把这些向量中元素值为0的对应权系数置0。这样．一组向量全部学习完毕时，则这组向量的元素中有多少个0，则相应位置中的权系数都被置0。学习之后所存储的权系数形态，是全组向量的“交”形式。这时的权系数形态也是全组向量基本特征。显然，这等于抽取插入模式的特征。

3．比较层输出S中1的个数越多，则从F₁到F₂的权系数W_ij越小。

从F1到F2的权系数调整公式为：

(1-85)

在分母中，ΣS_k是比较层输出S中1的个数，它表示了向量S的“大小”。显然，ΣS_k越大则W_ij越小。也就是比较层输出S的“大小”对权系数W_ij有自动调节作用。

这是一个重要特点，它可以判别两个输入向量中，其中一个是否是另一个的子集。ART网络在自学习过程结束之后，则自动返回第二点；从而准备开始对输入的新模式进行分类。

在上面Lippman学习算法中可以看出有如下一些特点：

1．F2到F1t的权系数Wij(0)必须初始值取1。

因为．比较层的输出s是由输入向量I和最优匹配神经元的权系数Wji；按2/3规则产生。只有I和Wji都为1，s的元素才会为1。

如果W_ji(0)＝0，则S的元素会全部为0。则无法进行模式识别。

实际上，搜索过程是一个“剪裁”与输入向量不匹配的存储模式元素的过程，这是一个不可逆的过程；一旦权系数取值为0，那么，学习算法是无法使其再取非零的值的。

2．抽取输入模式的特征

对于一组相似的向量，会被ART网络中识别层F₂中的一个神经元识别为同一类。

在用这组相似的向量对网络执行学习时，第一个向量学习的结果选中F₂中的一个神经元。

1．5 Kohonen模型

在对人类的神经系统及脑的研究中，人们发现：人脑的某些区域对某种信息或感觉敏感，如人脑的某一部分进行机械记忆特别有效；而某一部分进行抽象思维特别有效。这种情况使人们对大脑的作用的整体性与局部性特征有所认识。

对大脑的研究说明，大脑是由大量协同作用的神经元群体组成的。大脑的神经网络是一个十分复杂的反馈系统；在这个系统含有各种反馈作用，有整体反馈，局部反馈；另外，还有化学交互作用。在大脑处理信息的过程中，聚类是其极其重要的功能。大脑通过聚类过程从而识别外界信号，并产生自组织过程。

依据大脑对信号处理的特点，在1981年，T．Kohonen提出了一种神经网络模型，也就是自组织特征映射模型SOM(Seh—Organizing fenture Map)。

Kohonen认为人的大脑有如下特点：

1．大脑的神经元虽然在结构上相同，但是它们的排序不同。排序不是指神经元位置的移动，而是指神经元的有关参数在神经网络受外部输入刺激而识别事物的过程中产生变动。

2．大脑中神经元参数在变动之后形成特定的参数组织；具有这种特定参数组织的神经网络对外界的特定事物特别敏感。

3．根据生物学和神经生理学，大脑皮层分成多种不同的局部区域，各个区域分别管理某种专门的功能，比如听觉、视觉、思维等。

4．大脑中神经元的排序受遗传决定，但会在外界信息的刺激下，不断接受传感信号，不断执行聚类过程，形成经验信息，对大脑皮层的功能产生自组织作用，形成新功能。

Kohonen的思想在本质上是希望解决有关外界信息在人脑中自组织地形成概念的问题。对于一个系统来说，就是要解决一个系统在受外界信息作用时在内部自组织地形成对应表示形式。这包括神经网络的权系数调整。

神经网络的自调整过程和大脑的自组织过程是相仿的。由于神经网络是由可以自调整的神经元组成；所以，可以自组织成对外界信息中某一种特征敏感的形式。

1．5．1 神经元的侧向交互原理

目前对人脑的研究说明：大脑皮层中，神经元是呈2维空间排列的；它的输人信号很明显来自两个部分。这种输人情况如图1—27所示。在图中可以看出：有外部区域的输入和同一区域的反馈输入。

图1—27 大脑神经网络2维结构示图

神经元之间的信息交互方式有很多种，不过研究表明：相邻近的神经元之间的局部交互的方式是侧向交互。这种侧向交互方式遵从下列有关规则：

1．以发出信号的神经元为圆心，对近邻的神经元的交互作用表现为兴奋性侧反馈；

2．以发出信号的神经元为圆心，对远邻的神经元的交互作用表现为抑制性侧反馈。

图1-28 侧交互模式

这种规则说明近邻者相互激励，远邻者相互抑制。一般而言，近邻是指从发出信号的神经元为圆心．半径约为50—500µm左右的神经元；远邻是指半径为200µm—2mm左右的神经元。比远邻更远的神经元则表现的是弱激励作用。这样，这种局部交互方式如图1—28所示。由于这种交互作用的曲线类似于墨西哥人带的帽子，所以也称这种交互方式为“墨西哥帽”。

神经网络中，邻近的各个神经元之间通过相互的侧向交互作用，从而产生相竞争的过程，自适应地形成了针对特殊信息的组织结构。很明显，这种结构可以成为检测特殊信息的特殊检测器。这样，神经网格的自组织过程和行为，可以成为一种检测各种不同信息模式的检测相识别器。这也是自组织持征映射的意义所在。

1．5．2二维阵列SOM模型

自组织特征映射SOM模型可以用二维阵列表示。这种结构如图1-29所示。

图1-29 二维阵列SOM模型

二维阵列神经网络由输入层和竞争层组成。输入层是一维的神经元。竞争层是二维的神经元。输入层的神经元和二维阵列竞争层的神经元每个都相互连接。二维阵列竞争层也称输出层。

在二维阵列竞争层中，可以清楚看出：每一个输出神经元都和最近相邻的8个神经元相连；当然，最边沿的神经元和3—5个神经元相连，但这只是最边沿的神经元才会这样。而从二维阵列内部一般有：每个输出神经元和8个最相邻的神经元相连。在SOM模型中，对于神经元j，它的外部输入信号可以用I_j表示：

(1-86)

其中：x_i是外部输入信号；

W_ij是输入神经元i到输出神经元j之间的权系数。

对神经元j来说，它的输出Y_j的活动可以用如下微分方程表示：

(1-87)

其中：S_j是和神经元j相联系的神经元子集；

r_k是系数，它和权系数和横向连接结构有关；

g(Y_j)是非线性损失，如神经元饱和，分流和泄漏效应等。

神经元的输入情况可以用因1—30来表示。

图1-30 神经元的输入情况

神经元的输出Y_j的初始分布可能是随机的；但随着时间的变化，由于输出层神经元有侧向交互的作用，Y_i的分布就会因对环境的组织而形成“气泡”状，这种状态如图1—28所示。

在神经网络中，随外部环境的输入，神经元的权系数是自适应变化的；这一过程就是神经网络自学习的过程。神经元自适应过程是和其输出值，外部输入，权系数都有关系，一般用如下方程表示：

(1-88)

其中：w_j是权系数向量，W_j＝(W_1j，W_2j，…W_nj)^T；

X是输入向量，X＝(X₁，X₂，…，X_n)^T；

α,β是正的标量常数。

神经元在自适应过程中所形成的“气泡”，在本质上是产生和输入模式对于表示形态。

而这种“气泡”是以特定的神经元c为中心的，并且是以一定半径所包围的神经元子集Nc，如果令

Y_j∈(0,1)

β∈(0,α)

并且有

这在实质上要求神经元在所给定的半径范围之内的Nc子集中时，则其输出为1；而在子集N_c之外时，则其输出为0。同时，系数β在神经元处于N_c之内时，取值为α；否则取值为0。

很明显，这时的神经元自适应过程表示如下：

	(1-89)
考虑j∈N_c和j/∈N_c两种情况，则自组织过程可用两个不同条件的式子表示，并且有
	(1-90)

上式说明：在自组织过程中，SOM模型神经元所处的位置对学习结果有影响。当和中心神经元C的距离较近，在给定半径之内时，权系数以输入模式和现行权系数Wj之差的一定水平进行修改；和神经元C的距离较远，则权系数不变。

1．5．3 SOM模型的学习算法

在神经网络的SOM模型中，每一个权系数的有序序列 Wj=(W1j，W2j，...Wnj)都可以看作是神经网络的一种内部表示，它是有序的输入序列X=(X1，X2，...，Xn)的相对应映象。

SOM模型可以实现自组织功能。自组织的目的就是通过调整权系数Wij，使神经网络收敛于一种表示形态，在这一表示形态中的一个神经元只对某种输入模式特别匹配或特别

敏感。换而言之．自组织映射的目的就是使神经元的权系数的形态表示可以间接模仿输入的信号模式。
自组织特征映射SOM的学习算法是由两部分组成的，这两部分如下

1．最优匹配神经元的选择；

2．网络中权系数的自组织过程。

这两部分是相互相成的，它们共同作用才能完成自组织特征映射的学习过程。选择最优匹配神经元实质是选择输入模式对应的中心神经元C。权系数的自组织过程则是以“墨西哥帽”的形态来使输入模式得以存放。

每执行一次学习，则SOM网络中就会对外部输入模式执行一次自组织适应过程；其结果是强化现行模式的映射形态，弱化以往模式的映射形态。下面分别对自组织特征映射SOM的学习算法两个部分进行介绍。

一、最优匹配神经元的选择

设有输入模式x

x＝(x₁，x₂，…，x_n)^T

对于自组织特征映射SOM网络的输出层神经元j，则有权系数向量W_j

W_j=(W_1j,W_2j,...W_nj)^Tj=1,2,...,n

权系数向量是对输入模式的映射，也即是说，权系数向量某一形态对应于某一输入模式。输入模式x和权系数W_j的匹配程度是用两者的内积表示的，即用X^TW_j表示。内积最大处正是“气泡”中心。内积x^Tw_j最大时，则必定有x和W_j之间的向量差的范数‖x—W_j‖最小，这个最小矩离就确定了最优匹配的神经元C；从而有“气泡”中心C，满足：

(1-91)

其中：Wc是神经元c的权系数向量。

这个式子也就是匹配规则。

上面式子说明：气泡中心就是神经元C，它的权系数向量Wc同输入模式x有最优匹配。

注意‖x—W_j‖是欧几里德距离。它由下面式子求出：

(1-92)

根据匹配规则求出的Wc是神经元C的权系数向量，它是以C为中心的气泡的一种表示形态；Wc的表示形态就是和输人模式x的最优匹配。一般称wc是x的最优匹配。在求出Wc之后，也即是求出了气泡中心C。接着，就可以考虑对神经元C为中心的邻域Nc有关神经元的权系数的自组织过程。因为，Wc虽然是求出的对输入模式x的最优匹配；但wc仍然不是充分表示X；为了使见能够在改进之后，其形态能充分表示x；故还应对权系数向量Wc进行自组织学习，才能真正形成对应x的气泡。

二、网络权系数的自组织

在SOM网络中，每一个输出神经元都接收相同的输入模式X。对于输出神经元j来说，其最简单的输出是线性的；并且，可以用下式表示：

	(1-93)
在权系数进行自组织学习时，权系数的调整方程如下：
	(1-94)

其中：Y(t)是随时间t变化的递减增益函数；

Yj(t)是输出神经元i的输出；

Xi(t)是输入神经元i的输人；

Wij(t)是输入神经元i和输出神经元j在时间t时的权系数；

r是常系数。

对于气泡中心神经元c，以其为中心考虑一个邻近的区域Nc。Nc是以神经元C为中心的某一半径范围内全部神经元的集合。

在Nc区域之内，所有神经元的输出为1；在Nc区域之外，所有神经元的输出为0。即有

如果令常系数r为1，即

r=1

则权系数的调整方程成为

(1-95)

图1-31 邻近区域Nc随时向的变化

区域Nc的范围宽度是时变的，在开始时可以选择范围宽一些，通常不妨为网络宽度的一半以上；随着时间的推移，Nc向以C为中心的小范围单调变小，最后甚至可以终结在神经元C处，即Nc＝{C}。

邻近区域Nc随时间而变化的示意图如图1—31中所示。从图中可以看出Nc(tk-1)时的范围比Nc(tk-2)时要小；也就是说，随时间的推移所考虑的邻近区域变小。当到达时间tk时，邻近区域Nk则处在神经元c处，也即处于气泡中心位置。

上面式(1—95)的权系数调整方程可以写为下面形式

在离散系统中，如果以△t为采样周期T，则有△t＝1T。所以，权系灵敏调整方程写成

考虑离散系统中的权系数调整为差分方程：

即是：

(1-96)

这就是权系数自组织的离散数字表达式。

对于增益函数η(t)而言，它是一个随时间变化的递减函数。一般要求

实际上有

0<η(t+k)<1 k=1,2,...,∞

在实际的权系数自组织过程中，对于连续系统，取：

或者

对于离散系统，则取

或者

从上面可以看出：无论是连续系统还是离散系统，随时间的增加或采样周期的推移，增益函数7的值会越来越小。通常取500≤t≤10000或500≤t+k≤10000时，结束自组织过程。

1．5．4 SOM模型学习的具体步骤

在计算机中可以采取一定的恰当步骤对自组织特征映射模型SOM进行学习。这些步骤介绍如下：

一、权系数初始化

对于有n个输入神经元，P个输出神经元的SOM网络，对连接输入神经元和输出神经元之间的权系数设定为小的随机数a，一般有：

同时，设定邻近区域的初始半径。

二、给出一个新的输入模式X_k

Xk={X_1k,X_2k,...X_nk}

k=1,2,...

三、求模式X_k和所有的出神经元的距离

对于输出神经元j，它和特定的输入模式X_k之间的距离用d_jk表示，并且有

	(1-97)
j=1,2,...,p

四、选择最优匹配的输出神经元C

和输入模式X_k的距离最小的神经元就是最优匹配的输出神经元c。

用W_c表示神经元C对输入神经元的权系数向量，则应有

(1-98)

五、修正权系数

根据设定的邻近区域，或递减变小后的区域，对区域Nc中的神经元进行权系数修正。

修正按下式执行

W_ij(t+1)=W_ij(t)+η(t)[X_i(t)-W_ij(t)] (1-99)

对于区域Nc外的神经元，其权系数不变，即有

W_ij(t+1)=W_ij(t) (1-100)

其中，η(t)是递减的增益函数，并且有0<η(t)<1。
通常取：

	(1-101)
或
	(1-102)

六、对于不同的t＝1，2，…，z(500≤z≤10000)，雷新返回第2步去执行。

在自组织特征映射模型的学习中，当N_c不止包含一个神经元时，这种竞争学习实际上是泄漏竞争学习。
在学习中，增益函数η(t)也即是学习率。由于学习率η(t)随时间的增加而渐渐趋向零．因此，保证了学习过程必然是收敛的。

自组织特征映射网络的学习是一种无教师的学习，输人信号模式是环境自行给出的，而不是人为给出的。当然，这种学习也可以是有教师的，这时则是人为给出教师信号作为输入肋M模型在检索时是按下面方式对输入模式进行分类的：

首先对输入层输入模式x，再找出在输出层中和它有员优匹配的神经元C。则表示输入模式x属于神经元c所对应的类别。

SOM网络学习的不足有如下二点：

第一，当输入模式较少时，分类结果依赖于模式输入的先后次序。

第二，和ART网络不一样，SOM网络在没有经过完整的重新学习之前，不能加入新的类别。

Kohonen已经证明：在学习结束时．每个权系数向量w_j都近似落入到由神经元j所对应的类别的输入模式空间的中心，可以认为权系数向量w_j形成了这个输入模式空间的概率结构。所以，权系数向量W_j可作为这个输入模式的最优参考向量。

自组织特征映射网络由于有上述作用，所以很适宜用于数据的量化；故也称作学习向量量化器。

第二章神经网络控制

神经网络控制的研究始于20世纪60年代，1960年，widrow和Hoff首先把神经网络用于控制系统。 Kilmer和McCulloch提出了KMB神经网络模型，并在“阿波罗”登月计划中应用取得良好的效果。1964年，widrow等用神经网络对小车倒立摆系统控制取得了成功。70年代神经网络研究处于低谷，所以神经网络控制没有再发展。在80年代后期开始，神经网络控制随着形势发展至重受到重视．但大多数集中在自适应控制方法上。目前，正朝智能控制深度的方向发展。

神经网络控制可以分为监视控制，逆控制，神经适应控制，实用反向传播控制和适应评价控制等。

在智能控制系统中，最重要的有两点。一点是和知识基有关的推理机型，另—点是随环境变化的适应能力。一般而言．推理是以符号为元素执行的．而客观世界中的信号是数值，为了理解过程的状态．需要实施数值数据到符号数据的映射，这就要把数值数据进行分类。

另外，对过程的控制需要自适应控制器。神经网络的分类功能和学习能力使到它可以有效地用于智能控制系统。
神经网络用于控制系统是“物尽其用”的必然结果。目前，神经网络在各种控制系统的应用及典型例子如表2—1所示。

表2-1 神经网络控制概况

控制方法神经网络典型例子

自适应线性控制 Hopfield
　

ARTⅡ
Chi等(1990)
Zak(1990)

Kumar,Gucz(1990)

自适应非线性控制 BP
　

　

　

Kohonen

　

CMAC
Goldberg等(1998)
Bassi，Beckey(1989)

Sanner,Akin(1990)

Ungar等(1990)

Graf等(1988)

Martinez等(1988)

Atkenson等(1989)

2．1 神经网络控制系统的结构

神经网络的非线性，学习功能，并行处理和综合能力，使到它十分适用于智能控制：神经网络控制系统的形式很多。英国Glasgow大学K.J.Hunt等神经网络控制系统分为监视控制、直接逆控制、模型参考控制、内部模型控制、预测控制、适应控制等。IEEE神经网络协会出版刊物主席Toshio Fukuda教授和“神经计算应用手册”作者P.J.Werbos则把神经网络控制系统主要分成如下五大类：
1．监视控制(Supervised Control)
2．逆控制(Inverse Control)
3．神经适应控制(Neural Adaptive Control)
4．实用反问传播控制(Back—propagation of Utility)
5．适应评价控制(Adaptive Critics)
根据这五大类的划分情况，神经网络控制系统有五类不同的结构；而且，神经网络在控制系统中的位置和功能有所不向．学习方法也相异。

2.1.1监视控制系统

用神经网络模拟人的作用而组成的控制器去对被控对象执行控制称为监视控制。在很多情况中，人们可以根据对象的输出状态而提供恰当的控制信号，从而实现良好的控制；也即是说人们在系统中能执行反馈控制作用。往往在这种情况中，无法取得对象的分析模型；也即是说，用标准的控制技术无法设计出合适的控制器。
由子交替逼近的专家系统可以用于提供知识表达和控制形式；所以．神经网络可以用于模拟人的作用的控制器中。监视控制系统的结构如图2—1中所示。从图中可知：神经网络的功能在于取代人的控制作用。

图2-1 监视控制系统的结构

在监视控制系统中，神经网络需要脱机进行训练。训练时是采用一系列示教数据的，这些数据是人们执行人工控制时的输入输出数据。输入数据一般是传感器所检测出的数据，输出数据则是人所确定的数据。也就是说，神经网络的学习是执行传感输入到人工控制作用的影射。这种控制在机器人控制等领域中有相当大的作用。

2.1.2 逆控制系统

逆控制系统有时也称直接逆控制系统。在逆控制系统中，如果被控对象的模型用F表示，那么，神经网络所构成的控制器的模型则是F^-1，也即是说是一个逆模型。逆控制系统的结构如图2—2所示。

图2-2 逆控制系统的结构

如果被控对象的模型可以表示为F

y=F(u)   (2.1)

那么，逆控制系统中神经网络控制器的模型则为F^-1：

u=F^-1(y)   (2.2)

在实际上，被控对象可以是一个未知的系统；在被控对象输入端加入u*，则其输出就会产生y*。用y*作为输人，u*作为输出去对神经网络进行训练．则得到的神经网络就是被控对象的逆模型。在训练时，神经网络的实际输出用u’表示。则用(u'-u*)这个偏差可以控制网络的训练过程。

一般来说，为了获取良好的逆动力学性能．通常在训练神经网络时所取值的范围比实际对象的输入输出数据的取值范围要大一些。

在逆控制系统，神经网络直接连在控制回路作为控制器用。则控制效果严重地依赖于控制器对对象逆向模型的真实程度。由于这种系统缺少反馈环节；所以，其鲁棒性严迈不足。对于要求有—定鲁棒性的应用目的，这种控制系统则存在问题。

一般而言．通过在线学习可以在一定程度克服其鲁棒性不好的问题。在允许在线学习的情况中．在线学习可以调整神经网络的参数．使神经网络对逆模型的真实度提高。直接逆控制在机器人中应用较为广泛。

2．1．3 神经适应控制系统

神经适应控制是把神经网络用于传统适应控制方法而产生的新的控制方法。

神经适应控制有两种基本形式。一种是模型参考适应控制，一种自校正调节器。

神经网络模型参考适应控制系统的结构如图2—3所示。它由参考模型M，非线性对象P，神经网络N_c，神经网络N_i等四个主要环节组成。

神经网络模型参考适应控制简称NMRAC(Neural Model Reference Adaptive Control)．在系统结构中，参考模型M是期望模型，其输出y_m是期望输出。参考模型M由下式描述：

M={r(t),y_m(t)}   (2.3)

图2-3 神经网络模型参考适应控制系统的结构

神经网络Ni是非线性对象P的辩识器。它主要是利用对象P当前和以前时刻的输入输出数据来预报下一时刻对象的输出。预报输出Y_p和对象输出y_p的伯差e_i反映了预报的准确度：

(2.4)

神经网络N_c是控制器。它根据自身输出，对象输出和给定信号r而产生下时刻的控制信号u。N_c通常是N_i对对象辨识之后所得到的对象逆模型。

NMRAC控制的目的在于产生一个恰当的控制信号u(k)，使对象输出y_p和参考模型的输出y_m的偏差小于给定误差值c，即

(2.5)

y_p和y_m的偏差用e_c来表示，可以写下式：

e_c(k)=y_p(k)-y_m(k) (2.6)

如果e_c＝0．则说控制结果和期望值一样。在NMRAC控制系统中，首先对辨识器Ni进行训练，预报偏差e_i用于训练N_i。如果学习之后，N_i能精确地描述对象P，并P的逆模型存在；那么，则有Ni输出y_p(k+1)：

(2.7)

设参考模型为

y_m(k+1)=h[y_m(k),y_m(k-1),......y_m(k-s)]+r(k)   (2.8)

则有逆模型

以ym(k+1)取代yp(k+1)，代入式(2．9)有

u(k)=g^-1{h[y_m(k),y_m(k-1),......,y_m(k-s)]+r(k)-f[y_p(k),y_p(k-1),......,y_p(k-n)]}-g'[u(k-1),......,u(k-m)]               (2.10)

为了构成控制器，用对象输出y_p取代式(2．10)中的参考模型输出y_m，有

u(k)=g^-1{h[y_p(k),y_p(k-1),......,y_p(k-s)]+r(k)-f[y_p(k),y_p(k-1),......,y_p(k-n)]}-g'[u(k-1),......,u(k-m)]                (2.11)

用式(2．11)就可以组成神经网络控制器Ne。显然，控制器Nc的输入由三部分组成，即是给定r(t)，对象输出yp(t)和控制器的输出u(t)。

如果对象P的逆模型难以用式(2．9)表示，那么．可以用辨识器Ni的输出和参考模型M输出的偏差；或者对象输出和参考模型的偏差ec＝yp(k)—ym(k)对神经网络Nc进行训练．从而最终确定Nc。

神经网络自校正控制简称NSTC(Neural Self-Tuning Control)。在这种控制方式中，神经网络是一个自校正调节器。

设对象模型和式(2．7)式同，则有

y_p(k+1)=f[y_p(k),y_p(k-1),......,y_p(k-n)]+g[u(k),u(k-1),......,u(k-m)]      (2.12)

如果对象的逆模型存在，则得

u(k)＝g^-1{y_p(k+1)-f[y_p(k),y_p(k-1),......y_p(k-n)]}-g'[u(k-1),......,u(k-m)]    (2.13)

在g-1[·]和g’[·]未知时，可以采用两个神经网络通过学习来逼近。则所得的神经网
络控制器就是一个自校正控制器。这个系统就是NSTC系统。在系统中，要求y_p(k+1)向I(k+1)逼近，故而上式(2.13)可写成：

u(k)=g^-1{r(k+1)-f[y_p(k),y_p(k-1),......,y_p(k-n)]}-g'[u(k-1),......,u(k-m)]     (2.14)

NSTC系统的结构如图2—4所示。很明显

图2-4 NSTC系统的结构

神经网络控制器Nc是出实现g‘和g功能的两个网络组成的。学习训练时，用偏差信
号e_p_。

e_p=r(k+1)-y_p(k+1)

来描述神经网络对逆模型的逼近程度。

2．1．4 实用反向传播控制和适应评价控制

实用反向传播控制和适应评价控制是用神经网络实现最优控制的通用方法。这两种方法有着不同的思想。

一、实用反向传播(Back-propagation of utility)控制

实用反向传播是依时间反向传播的一种扩展算法。由Werbos提出的依时间反向传播
(Back—Propagation through time)是一种通常用于训练循环网络的算法。在其基础上发展的
实用反向传搅在控制系统上可以形成间接逆控制系统。这种系统如图2—5所示。
在这种系统中，一般是在逆模型神经网络执行误差反向传播时，其最后一层误差是由正
模型神经网络的误差反传过来的。很明显，在控制系统中，对象的正向模型Ni的作用是进
行误差回传。在实际应用中．这种方法存在—些问题；既然，反向传播的信号是通过正向模
型的；所以，实用反向传播算法需要一个良好的模型。但是．要用神经网络建立一个好的模
型并非—件容易的事。

图2-5 实用反向传播控制

实用反向传播在目前要很透彻描述还存在一定困难；但是，它毕业是—种具有多方面应用潜力的方法。

二、适应评价控制

适应评价(Adaptive Critics)概念是增强学习(Reinforcement Learning)的扩充方法。增强学习是Barto等人提出来的；它用两个神经网络执行工作。适应评价控制的结构如图2-6所示。

图2-6 适应评价网络

适应评价的学习机构由一个联想搜索单元ASE(Associative Search Element)和一个适应评价单元(Adaptive Critic Element)组成。在学习时，ASE在增强反馈的影响下通过搜索求取输入与输出的相联关系；ACE构成比增强反馈单独可以提供的更丰富的信息评价函数。在这种学习算法中，ASE是作用网络；ACE是评价网络；并且无需被控过程的模型。

这种由两个网络组成的适应评价算法已经在很多小的控制问题上取得了很好的效果。但是，由于评价的输出J用于表示总效果，也即表示评价结果；而评价结果不足以确定作用网络在学习中寻优的方向。所以，在大的控制问题还有各种困难。

和实用反向传播一样，适应评价在目前还存在不少困难；但是它仍是一种有潜力的方法。

2．2 神经网络控制器与学习

在神经网络控制系统中，有时需要对对象进行仿真；所以，在系统中设置有神经对象仿真器NPE(Neural Plant Emulator)；同时，在系统中还有神经控制器NC(Neural Controller)。不论对象仿真器PC，还是神经控制器NC，都需要学习；而对于控制系统中，联机学习是最重要的。在这一节中，介绍对象仿真器，神经控制器，学习训练的结构，联机学习方法及算法。

2．2．1 对象仿真器及神经控制器

在控制中，大量采用多层前向神经网络。多层神经网络MNN(Multilayer Neural Network)可以认为是一个有映射学习能力的结构。基于映射能力，得到两种通用的神经控制结构：即对象仿真器PE和神经控制器NC。

对于一个单输人单输出的过程，从数字控制技术可知有如下离散数学模型：

y(k+1)=f[y(k),y(k-1),......,y(k-P+1),u(k),u(k-1),......,u(k-Q)]      (2.15)

其中：y是输出，u是输入，k是离散时间系数，P，Q是正整数．f[·]是函数。

在很多情况中，对象的输入信号u是在幅度上范围有限的；既存在下限u_m和上限u_M对于任何k，有

u_m≤u(k)≤u_M(2.16)

在描述对象的式(2．15)中，对应P，Q的估计值分别用P，q表示。

一、对象仿真器PE

对象仿真器PE的作用和意义如图2—7所示。其中，图2—7(a)表示PE在按制系统和对象之间的关系；图2—7(b)表示PE的框图。在图中u(k)Z^-1和u(k-1)是一样的．z^-1是延时算子，其意义是延时一拍，即延时一个采样周期。

从图中看出，用多层神经网络MNN组成的PE有p+q+1=m个输入，一个输出。它可以用于对式(2．15)描述的对象进行仿真。PE的映射功用Ψ_E(.)表示，输出用y_E表示当输入为m维向量X_E(k)，且

X_E(k)=[y(k),......,y(k-p+1),u(k),......,u(k-q)]^T(2．17)

则仿真器PE有输出

y_E=Ψ_E(X_E)     (2.18)

对仿真器进行训练，应使仿真误差e_E

e_E=y(k+1)-y_E

_{达到最小。}

(a)

(b)

图2-7 对象仿真器PE

二、神经控制器NC

神经控制器NC的作用和意义如图2-8所示。图2-8(a)是NC在系统中的位置，图2-8(b)是NC框图。

假定由式(2．15)所描述的过程对象是可逆的，则会存在函数g[·]，并且有

u(k)=g[y(k+1),y(k),......,y(k-p+1),u(k-1),u(k-2),......,u(k-Q)]      (2.19)

以神经网络可实现式(2．19)所描述的对象逆模型。并且，输入为m维向量X_c，输出为U_c，则输出输入关系表示为

U_c=ψ_c(X_c)    (2.20)

其中：ψ_c为输入输出映射。
如果ψ_c(·)的输出逼近g(·)的输出．则逆模型的神经网络可以看作是控制器。在k时刻，假设输入x_c(k)为

Xc(k)=[r(k+1),y(k),......,y(k-p+1),u(k-1)...,u(k-q)]^T     (2.21)

在上式(2．21)中，以给定输入r(k+1)取代未知的y(k+1)；p和q分别是P和Q的估计值。

根据式(2．20)，则神经网络控制器NC有输出

u_c(k)=ψ_c[r(k+1),y(k),...,y(k-p+1),u(k-1),...,u(k-q)]    (2.22)

在神经网络控制器NC的训练结果足以使输出偏差e(k)＝r(k)-y(k)保持为一个很小的值时．则有

X_c(k)=[r(k+1),r(k),...,r(k-p+1),u(k-1),...,u(k-q)]^T    (2.23)

在上式中，是以r(t)取代y(t)；这个式子明显突出了神经网络控制NC的前馈特性。

(a)

(b)

图2-8 神经控制器NC

2．2．2学习训练的结构

在神经网络控制器的训练中，一般要求对象输出的偏差e(k)＝r(k)—y(k)所定义的偏差函数J最小化。为了能采用梯度法进行学习，同时还需考虑J对NC输出的微分，即δ=—3J／Juc。有S之后，通过BP算法就可以改善NC的权系数。在这种基础上，考虑直接逆控制，直接适应控制和间接适应控制的训陈结构。直接逆控制中的神经网络控制器NC是对象的逆模型。因此，可以通过图2-9所示的结构训练逆模型。

图2-9 直接逆控制训练结构

在K+1时刻，设神经网络控制器NC的学习输入为X_c^*(k)
X_c^*(k)=[y(k+1),y(k),...,y(k-p+1),u(k-1),...,u(k-q)]^T    (2.24)

则神经网络控制器NC有输出U_c(k)

u_c(k)=ψ_c[X_c^*(k)]    (2.25)

即有

u_c(k)=ψ_c[y(k+1),y(k),...,y(k-p+1),u(k-1),...,u(k-q)]    (2.26)

对于NC而言，有训练输出偏差e_c

e_c(k)＝u(k)一u_c(k)     (2.27)

定义偏差函数J为

J(k)=0．5[e_c(k)]²=0．5[u(k)—u_c(k)]²    (2.28)

则J对u_c的导数为δ_k

(2.29)

很明显，这种训陈结构用BP算法是十分方便的。

二、直接适应控制训练结构

直接适应控制中，神经网络控制器NC是通过对象的输出偏差e(k)＝r(k)-y(k)来实现训练效果判别和训练的执行的。显然，这和逆模型的训练不同。这种训练结构如图2—10所示。

图2-10 直接适应控制训练结构

假定对象的逆模型存在．那么，应有式(2．19)所示的形式。如果逆模型是准确的．那么，以逆模型构成的神经控制器NC对对象的控制总可以使输出偏差e(k)＝r(k)—v(k)趋于无穷小。

直接适应控制不是先给出逆模型，而是根据输出的偏差e，去对Nc进行训练．令其逼近于逆模型。在直接适应控制结构中，先期已知的条件有两个：

1．神经网络控制器NC有式(2．19)的结构形式。

2．输出偏差e(k)＝r(k)—y(k)

为了进行训练，偏差函数J的格式取

J(k)=0.5[e(k)]²=0.5[r(k)-y(k)]²    (2.30)

由于，NC的输出为u(k)，而在训练中需要求取偏差函数J对M的导数，则有3

(2.31)

其中：ζ_k是二进制因子，取1或0，它用于说明对输入u(k)的约束。同时避免错误训练NC而无法跟踪给定输入I。

令

(2.32)

对于以式(2．15)、(2．16)描述的系统，在k时刻ζk取值如下

(2.33)

在式(2．31)中加入电等于在Nc输出和对象输入之间存在一个限幅器。当式(2．16)所表示的u(k)产生错误输出而超界时，这时限幅器就会饱和，同时，式(2．31)产生因ζ_k=0而得到的ζ_k＝0；这时就会禁止学习。而当给定输入r可以被跟随时，则学习正常执行。

三、间接适应控制训练结构

间接适应控制与直接适应控制不同；神经网络控制器的训练的依据是给定信号r和对象仿真器的偏差e_E＝r(k)—y_E(k)；而对象仿真器的训练的依据是对象输出y(k)与对象仿真器输出y_E(k)的偏差e_c＝y(k)—y_E(k)。间接适应控制训练结构如图2—11所示。

图2-11 间接适应控制训练结构

在训练时，偏差函数J对NC输出u的导数δ=-aJ／au，它的算术符号足以指示出J的梯度方向。

在不少实际情况中，式(2．31)中的导数

可以容易地用导数的符号，即+1或-1取代；不过，这不带有普遍性。所以，通常需要求导数d_y(k)／d_u(k)的结果；但是，d_y(k)／d_u(k)的结果是相当难求取的。

在间接适应控制中，对象仿真器PE用于计算偏差函数J对NC输出u的导数6。由于PE是一个多层前向网络。采用BP算法可以容易计算出δ。这就克服了d_y(k)／d_u(k)在前述的求取困难的问题。

图2—11所示的结构还有一个特别的优点，这就是当对象的逆模型不能求取时，这种结构特别有用。为了改进控制器的性能，NC和PE可以认为是m维输入单输出的多层神经网络的可变部件和固定部件。对于PE，可以采用对象足够丰富的有关数据进行前期的脱机训练；然后，再把NC、PE进行联机训练。在某种意义上讲，既是执行系统对象辨识的；所以．对于状态变化迅速的系统，考虑到鲁捧性，修改PE的频繁度比修改Nc的频繁度高是合理的。

2．2．3联机学习方法及算法

神经网络控制需要良好的控制器，而神经网络控制器的训练收敛速度和时间相当长，这使到在实际控制中执行联机学习几乎不可能。为了使神经网络控制器可以进行实时学习，人们对提高训练收敛速度进行了不少研究。这些研究的主要思想有如下几种：

1．开发有效的BP算法。

2．在多层神经网络结构中，对象结构知识具体化。

3．和控制结构相关的神经网络混合系统。

4．预学习和有效的初始化过程。

在控制系统中，如果提高采样频率，显然，每个采样周期Ts执行一次学习，就会减少学习时间。但是，实际控制系统中，往往对采样周期Ts有一定的要求。比如温度，化学反应控制过程等就要求采样周期Ts较长。同时，高速采样也会要求系统有相应的复杂控制结构；从而使代价提高。

如果在不改变采样频率的条件下提高学习频率；很明显会减少学习时间。这样在联机中学习就成为可能；神经网络控制实时学习就可以实现。

为了实现实时学习，考虑学习周期TL，由于学习周期TL只是由计算机运算时间决定，所以，一般学习周期TL比采样周期Ts要小得多。显然，只要在一个采样周期Ts中执行多次学习周期TL会大大加快学习过程。

一、对象仿真器PE训练学习

假定在k+1时刻对象的输出为y(k+1)，而对象先前的p-1+t个输出值存贮在存贮器中，即有y(k),y(k-1),...,y(k-p+1-t)

同时，对象的输人为u(k+1)，而先前的q+t个输入值存在存贮器中，即有

u(k),u(k-1),...,u(k-q-t)

很明显可以用X_E(k-i)，y(k+1-i)数据对对系统的PE进行训练。当取i=0,1,2,...,t-1时，显然有t对X_E(k-i)，y(k+1-i)。并且注意，这是在采样序号k+1时，也即k+1为定值时对PE执行训练。k+1时刻第i个m维输人学习向量为

X_E.i(k-i)=[y(k-i),y(k-1-i),...,y(k-p+1-i),u(k-i),u(k-1-i),...,u(k-q-i)]^T    (2.34)

则在PE的输出产生输出结果y_E(k+1-i)

y_E.i(k+1-i)=ψ_E[X_E.i(k-1)]    (2.35)

考虑偏差函数J_E

其中：1≥λ₀≥λ₁≥...≥λ_t-1是一个权系数序列，它们的作用用于强调最新的数据，减弱旧数据的影响。

对象仿真器PE训练的结果应使偏差函数J_E最小。

对象仿真器PE执行训练，为了方便说明训练算法起见，考虑在采样序号为k的时刻的m维输入学习向量X_Ei(k-1-i)，根据式(2．34)有

X_E.i(k-1-i)=[y(k-1-i),...,y(k-p-i),u(k-1-i),...,u(k-q-1-i)]^T    (2.36)

在学习中，BP算法以下式表示

BP(ψ，X，y，y_E，i)

其中：BP为四算法名称，为映射，x为输入向量，y为期望输出，yE，i为实际输出。

PF训练的算法过程如下：

Step1：READ y(k)

step2：{仿真器PE训练 }

i——t-1

REPEAT

y_E_,i——E(X_E,i)

BP(ψ_E,X_E,i,λ_iy(k-i),y_E,i)

i——i-1

UNTIL(i<0)

Step 3：{产生控制信号u}

X_c——[r(k+1),y(k),...,y(k-p+1),u(k-1),...,u(k-q)]^T or [r(k+1),r(k),...,r(k-p+1),u(k-1),...,u(k-q)]^T

u(k)——ψ_c(X_c)

Step 4：以u(k)去控制对象，并持续T_s时间。

Step 5：{数据移动}

i——t-1

REPEAT

X_E,i=X_E,i-1

i——i-1

UNTIL(i=0)；

Step 6：{产生最新数据向量}

X_E,0——[y(k),y(k-1),...,y(k-p+1),u(k),...,u(k-q)]^T

Step 7：k——k+1

Step 8：转向Step 1

对象仿真器PE训练例子：设k=10，则采样结果有y(10)，并且取p=3,q=2,t=3.则在存贮器中存放有(p—1+t)＝5个先前输出值y1即

y(9)，y(8)，……，y(5)

同时，有(q+t)＝5个先前的控制值u，即

u(9)，u(8)，…，u(5)

则PE的输入学习向量为：

X_E,0(9)＝[y(9)，y(8)，y(7)，u(9)，u(8)，u(7)]^T

X_E,1(8)；[y(8)，y(7)，y(6)，u(8)，u(7)，u(6)]^T

X_E,2(7)＝[y(7)，y(6)，y(5)，u(7)，u(6)，u(5)]^T

用PE^k·i表示取在采样时刻k时，第i次学习后的状态；用ψ_E^k.i表示PE^k·i所执行的映射．则有ψ^10.0,ψ^10.1,ψ^10.2。

图2-12 对象仿真器PE的训练

根据式(2．35)．对于第k时刻应有

y_E,i(k-i)=ψ_E^k,i[X_E,i(k-1-i)]   (2.37)

从而有

y_E,0(10)=ψ_E^10,0[X_E,0(9)]

y_E,1(9)=ψ_E^10,1[X_E,1(8)]

y_E,2(8)=ψ_E^10,2[X_E,2(7)]

很明显，有

ψ_E^9,0(.)=ψ_E^10,1(.)

即有

ψ_E^k,0(.)=ψ_E^k+1,1(.)

在这个例子中，PE训练的情况如图2—12所示。

二、神经控制器NC训练学习

神经网络控制器NC的训练学习有两种不同的逼近方法，一种是直接逆控制误差逼近(The Direct Inverse Control Error Approach)，另一种是预测输出误差逼近(The Predicted Output Error Approach)。根据上述这两种不同的逼近方法其训练学习的过程不同。

1．直接逆控制误差逼近训练学习

假定在k+1采样时刻的现行输出为y(k+1)；y先前的P-1+t个值，u先前的q+t个值存贮在存贮器中；有y(k)…，y(k-p+1-t)；u(k)…，u(k-q-t)。

从图2—9所示的直接逆控制结构可知：可以用X_c^*(k-i)，u(k-i)数据对对神经网络控制器NC进行训练；其中

X_c^*(k)=[y(k+1),...,y(k-p+1),u(k-1),...,u(k-q)]^T       (2.38)

当取i＝0，1，…，t-1，时，显然有t对X_c^*(k—i)，u(k—i)；它们用于k+1时刻对NC的训练。

k+1时刻的第i个m维输入学习向量为

X^*_c,i(k-i)=[y(k+1-i),......,y(k-p+1-i),u(k-1-i),......,u(k-q-i)]^T      (2.39)

则在神经控制器NC的输出有u_c(k—i)

u_c,i(k-i)=ψ_c[X^*_c,i(k-i)]         (2.40)

考虑偏差函数J_c。

(2.41)

其中：1≥λ₀≥λ₁≥...≥λ_t-1

并有δ_k,i=-aJ_c/a_uc,i

δ_k,i=λ_i[u(k-i)-u_c,i(k-i)]     (2.42)

从式(2．41)看出，以J_c为训练时的偏差函数并不直接涉及系统的输出y的偏差。因此，会产生神经控制器NC训练结果为零偏差，但控制性能很差的效果。所以，为了克服这种问题，一般把直接逆控制误差最小化的训练方法和其它方法，例如与对象输出误差最小化的法相结合，从而使NC训练和控制性能效果都能取得良好的结果。为了便于说明神经控制器NC的训练．考虑在采样序号为k时的m维学习向量X^*_c,i(k-1-i)

X^*_c,i(k-1-i)=[y(k-i),y(k-1-i)...,y(y(k-p-i),u(k-2-i),...,u(k-q-1-i)]^T     (2.43)

在学习中，BP算法以下式表示

BP(ψ,X,u,u_c,i)

其中：ψ为NC映射，x为输入学习向量，u为NC期望输出，u_c_,i为NC实际输出。

NC的训练算法过程如下：

Step 1:READ y(k)

Step 2:{取最新数据向量}

X^*_c,0——[y(k),...,y(k-p),u(k-2),...,u(k-q-1)]^T

Step 3:{控制器训练}

i——t-1

REPEAT

u_c,i——ψ_c(X^*_c,i)

BP(ψ_c,X^*_c,i,λ_iu(k-1-i),λ_iu_c,i)

i——i-1

UNTIL(i<0)

Step 4:{产生控制信号u}

X_c=[r(k+1),y(k),...,y(k+1-p),u(k-1),...,u(k-q)]^T or [r(k+1),r(k)...,r(k+1-p),u(k-1),...,u(k-q)]^T

u(k)——ψ_c(X_c)

Step 5:用u(k)去控制对象，并持续T。

Step 6:{数据移动}

i——t-1

REPEAT

X*c,i——X*ci-1

i——i-1

UNTIL(I=0)

Step 7:K——k+1

Step 8:转向Step 1

用直接逆控制偏差逼近法对NC训练的例子：设现行采样时刻为k＝9，故对象有输出y(9)；取P=2,q＝3，t=3，则在存贮器中存放有(p+t-1)＝4个先前输出值y，即

y(8),y(7),y(6),y(5)

同时，有(q+1)＝5个先前控制值u，即

u(7),u(6),u(5),u(4),u(3)

根据式(2．43)，则NC的输入学习向量在k＝9时有

X^*_c,0(8)=[y(9)，y(8)，y(7)，u(7)，u(6)，u(5)]^T

X^*_c,1(7)＝[y(8)，y(7)，y(6)，u(6)，u(5)，u(4)]^T

X^*_c,2(6)＝[y(7)，y(6)，y(5)，u(5)，u(4)，u(3)]^T

用NC^k·1表示NC在采样时刻k时．第i次学习后的状态；用ψ_c^k.i表示NC^k.i所实现的映射．则有ψ_c^9.0_,ψ_c^9.1_,ψ_c^9.2

根据式(2．40)，在第k采样周期中，有

u_c,i(k-i)=ψ_c^k+1,i[X^*_c,i(k-i)]    (2.44)

从而有映射结果：

u_c,0(8)=ψ_c^9,0[X^*_c,0(8)]

u_c,1(7)=ψ_c^9,1[X^*_c,1(7)]

u_c,2(6)=ψ_c^9,2[X^*_c,2(6)]

而训练NC时，有数据输入u(8)，u(7)，u(6)它们和u_c,0(8)，u_c,1(7)，u_c,2(6)的偏差就组成了式(2．41)所示的偏差函数Jc。

在实际训练中需要把图2—10所示的直接适应控制或图2—11所示的间接适应控制方法和直接逆控制误差逼近方法相结合，才能实现取得对象输出误差最小的结果。

把间接适应控制的简单学习和直接逆控制误差逼近的多次学习相结合，从而在一个采样周期含有4个训练周期。这种情况如图2—13所示。

在图2—13中．左边3个学习训练过程是神经网络控制器NC单独学习的过程，其学习步骤在上面已经给出。而右边的1个学习训练过程是间接适应控制和直接逆控制误差逼近相结合的学习；由于这时采样时刻是k＝9，故对象仿真器表示为PE⁹，神经控制器表示NC⁹在PE⁹和NC⁹相结合的学习中，输入的训练学习数据对为r(9)，X_c(8)，并有

X_c(8)=[r(9),y(8),y(7),u(7),u(6),u(5)]^T

而r(9)是采样时刻k＝9时的给定输入信号

(b)

图2-13 直接逆控制误差和间接适应控制逼近NC的过程

神经网络控制器NC在这时的状态用NC⁹表示．则其映射用ψ_c⁹，根据式(2．21)(2．22)从而有控制输出u_c(8)：

u_c(8)=ψ_c⁹[X_c(8)]

对象仿真器PE这时的状态用PE⁹表示，则其映射用ψ_E⁹表示，这时有X_E(8)

X_E(8)=[y(8),y(7),y(6),uc(8),u(7),u(6)]^T

从而有PE输出y_E(9)

y_E(9)=ψ_E⁹[X_E(8)]

利用偏差e_E．即e_E＝r(9)—y_E(9)，取偏差函数J_E

J_E＝0.5[r(9)-y_E(9)]²

则可以对NC进行训练学习。

2．预测输出误差逼近训练学习

直接逆控制误差逼近是以神经网络控制器NC输出的控制信号uc和期望控制信号u的误差进行逼近训练的。预测输出误差逼近的训练方法与之不同，它是以对象仿真器PE的输出yE和期望给定r的误差进行训练的，训练的对象是神经网络控制器NC。预测输出误差逼近训练学习的系统结构框图如图2—14所示。

图2-14 预测输出误差逼近训练的结构

从图2—14所示结构可知：NC接收输入向量X_c，从而产生u^*输出；而PE接收输入向量x_E，x_E由u*，y形成，从而产生输出y^*。最后有

e_E=r-y^*

则可用于构成偏差函数J，用于训练。

假定在k+1采样周期内，给定值r有t个值存贮于存贮器中．即有

r(k+1-i) i=0,1,......,t-1

即是 r(k+1),r(k),......,r(k+2-t)

对象输出y有包括y(k+1)在内的p+t个值存于存贮器中，即有

y(k+1),y(k),y(k-1),......,y(k+2-p-t)

控制器输出u的先前q+t个值也存于存贮器中，即有

u(k-1),u(k-2),...,u(k-q-t)

从式(2．21)和式(2．23)可知在存贮器中等于存放了x_c．i(k-i)

X_c,i(k-i)=[r(k+1-i),y(k-i),...,y(k-p+1-i),u(k-1-i),u(k-2-i),...,u(k-q-i)]^T

^或者

X_c,i(k-i)=[r(k+1-i),r(k-i),...,r(k-p+1-i),u(k-1-i),u(k-2-i),...,u(k-q-i)]^T

在进入k+1采样周期时，神经网络控制器NC的状态为NC^k+1，1，故其映射表示为ψ_c^k+1；对象仿真器PE不执行学习，其状态表示为PE^k+1，映射表示为ψ_E^k+1。

首先，在有输入向量x_c.i(k-i)时，NC产生输出u^*

u^*(k-i)=ψ_c^k+1,i[X_c,i(k-i)]      (2.45)

很明显，则在对象的输入形成向量X^*_E,i(k-i)

X^*_E,i(k-i)=[y(k-i),...,y(k-p+1-i),u^*(k-i),...,u^*(k-q-i)]^T   (2.46)

随后，则由对象仿真器PE输出预测值y^*

y^*(k+1-i)=ψ_E^k+1[X^*_E,i(k-i)]   (2.47)

最后，则可以得到预测偏差e_E

e_E=r(k+1-i)-y^*(k+1-i)   (2.48)

取偏差函数J_E为

(2.49)

神经网络控制器NC训练过程可以理解如下：把NC和PE看成一个单一的多层神经网络MNN，在k+1采样周期中，每一个输入向量X_c．i(k—i)，i＝0，1，…，t-1；都会产生相应的预测偏差如式(2.48)所示。训练的目的就是使式(2．49)所示的偏差函数JE最小化。

神经网络控制器KC的预测输出误差逼近方法进行训练学习的过程中，考虑k采样时刻的输入向量X_c,i(k-1-i)

X_c,i(k-1-i)=[r(k-i),y(k-1-i),...,y(k-p-i),u(k-2-i),...,u(k-q-1-i)]^T         (2.50)

或者

X_c,i(k-1-i)=[r(k-i),r(k-1-i),...,r(k-p-i),u(k-2-i),...,u(k-q-1-i)]^T         (2.51)

在结构中，把NC和PE看成一个单一的网络，并且用(ψ_c+ψ_E)表示。则BP算法用下式表示

BP(ψ_c+ψ_E,X,r,y^*)

其中：ψ_c+ψ_E为NC和PE组成的单一网络，x为输入学习向量，r为给定值即期望值，y*为预测输出。
NC的训练算法步骤如下：

Step 1:READ y(k)

Step 2:{NC通过预测误差逼近训练}

i——t-1

REPEAT

j——0

REPEAT

u_j^*——ψ_c(X_c,i+j)

j——j+1

UNTIL(j>q)

{产生PE的输入向量}

X^*_E,i——[y(k-1-i),...,y(k-p-i),u₀*,u₁*,...,u_q*]^T

{产生预测输出}

y*——E(X^*_E,i)

BP(ψ_c+ψ_E,X_c,i,λ_ir(k-i),λ_iy*)

i——i-1

UNTIL(i=0)

Step 3:{用最新数据训练}

BP(ψ_c+ψ_E,X_c,0,λ_ir(k),λ_iy(k))

Step 4:{数据移动}

i——t+q+1

REPEAT

Xc,i——Xc,i-1

i——i-1

UNTIL(i=0)

Step 5:{产生控制信号}

X_c,0=[r(k+1),y(k),...,y(k+1-p),u(k-1),...,u(k-q)]^T or [r(k+1),r(k),...,r(k+1-p),u(k-1),...,u(k-q)]^T

u(k)——ψ_c(X_c,0)

Step 6：用u(k)去控制对象，并持续T。

Step 7：k—k+1

Step 8：转回Step 1

下面给出一个用预测输出误差逼近方法训练NC的例子：假定现行采样周期为k=9，则有对象输出y(k)，取P＝2，q＝3，t=3；则在存贮器中存有先前输出值y共(p+t-1)=4个，即y(8),y(7),y(6),y(5)

同时，有(q+t)=5个先前控制值u，即

u(7),u(6),u(5),u(4),u(3)

根据式(2．50)，则有

x_c.0(8)＝[r(9)，y(8)，y(7)，u(7)，u(6)，u(5)]^T

x_c.1(7)＝[r(8)，y(7)，y(6)，u(6)，u(5)，u(4)]^T

x_c.2(6)＝[r(7)，y(6)，y(5)，u(5)，u(4)，u(3)]^T

参考图2—14所示的学习结构，则学习过程如图2—15中所示。

(a)

(b)

图2—15 预测输出误差逼近训练NC

2．3 神经网络控制系统

神经网络控制系统在本质上讲是由神经网络构成控制器的控制系统。这种控制系统最吸引人之处是在于控制器具有学习功能，从而可以对不明确的对象进行学习式控制．使对象的输出与给定值的偏差趋于无穷小。

在这一节中，介绍几个实际具体的神经网络控制系统，井给出这些系统的控制结果。

2．3．1 离散系统的神经适应控制

对于一个线性离散系统，进行神经适应控制时，其系统的结构框图如图2—16所示。在图中可以看出：它包括神经网络控制器NC，对象仿真器PE和学习机构，以及被控对象。PE的输入有控制量u和对象输出量y两种，NC的输入则有给定值r、本身的输出U和对象输出量y。系统中的NC和PE都是在工作中执行联机学习的，这是一个实时学习的控制系统。

图2-16 离散系统神经控制结构

一、被控对象

被控对象可以用下面线性方程表示

A(q^-1)y(k)=B(q^-1)u(k) (2.52)

其中：

A(q^-1)=1+a₁q^-1+...+a_nq^-n；

B(q^-1)=b₁q^-1+...+b_mq^-m；

q^-1是延时算子，q^-1y(k)=y(k-1)；

y(k)是输出；

u(k)是输入。

对于被控对象的表达式，它满足下列3个条件：

1．m，n是有上界的，并且已知。

2．B(q-1)是一个稳定的多项式。

3．系数b₁≠0。

m．n有界，则可以明确用其上界值构造NC和PE的输入，从而得出具体的NC和PE，便于实际有效训练。B(q-1)稳定，则可保证控制器的闭环控制稳定。b₁≠0，是控制器所需的。

二、对象仿真器和神经控制器

对象仿真器PE和神经控制器NC都用线性神经网络构成。而且在结构上，都是一个输入层和一个输出层，而没有中层隐层的2层神经网络所构成。

1．对象仿真器PE

对象仿真器PE的结构如图2—17所示。在图中可看出：PE的输入向量为x(k-1)，输出为y(k)．权系数向量为w(k-1)。

图2-17 对象仿真器PE的结构

考虑在k时刻，则这时有输入向量x(k)

x(k)＝[x₁(k)，x₂(k)，…，x_n(k)，x_n+1(k)，…，x_n+m(k)]^T
＝[-y(k)，…，-y(k-n+1)，u(k)，…，u(k-m+1)]^T (2.53)

而PE的权系数向量为w(k)

w(k)＝[w₁(k)，w₂(k)，…，w_n(k)，w_n+1(k)，…，w_{n+ m}(k)]^T (2.54)

由于对象仿真器PE是由线性神经网络构成，其输出y由下式求出

	(2.55)
在实时训练中，权系数采用Widrow-Hoff规则进行更新，即
	(2.56)

其中：α∈(0，2)，是衰减因子：

E是接近于0的小数，用于防止在x^T(k)x(k)等于0时分母为0；

e(k+1)是输出偏差，e(k+1)＝y(k+1)-y_E(k+1)。

利用式(2．56)进行学习训练，最终目的就是使输出偏差e(k+1)最小化。而且，当e(k+1)——U时，从式(2．56)看出有w(k+1)＝w(k)。

2．神经控制器NC

神经控制器NC也是二层神经网络构成，输入端有n+m个，输出端有一个。它的结构如图2—18所示。输入为z(k)，输出为控制量u(k)。

在k时刻，NC的输入为z(k)．有

z(k)＝[z₁(k)，z₂(k)，…，z_n+1(k)，z_n+2(k)，…，z_n+m(k)]^T
=[r(k+1)，-x₁(k)，…，-x_n(k)，-x_n+2(k)，…，x_n+m(k)]^T
=[r(k+1)，y(k)…，y(k-n+2)，-u(k-1)，…，-u(k-m+1)]^T (2.57)

注意在式(2．57)中没有-Xn+1(k)，即y(k-n-1)这项。

神经控制器NC的权系数向量为W'(k)有

	(2.58)
显然．NC的权系数向量w’(k)是PE的权系数向量W(k)的函数。由NC产生的控制输出信号u(k)，由下式求出：
	(2.59)

图2-18 神经控制器NC的结构

3．控制系统的信息处理过程

在图2—16所示的神经网络控制系统中，信息的处理过程和步骤如下：

(1)取给定值r(k+1)，取对象输出值y(k)。

(2)用原有权系数向量W(k-1)，通过式(2．55)计算对象仿真器PE的预测输出y_E(k)

(3)计算偏差e(k)＝y(k)—y_E(k)，并且利用式(2．56)计算出新的权系数向量W(k)。

(4)用式(2．58)更新神经控制器NC的权系数向量w'(k)。

(5)神经控制器Nc通过式(2．59)产生控制量u(k)。

三、控制系统的闭环性能分析

在确立闭环系统的性能之前先考虑对象仿真器的一些性质。

设W₀是对象仿真器PE训练之后得到的最终权系数向量

W₀=[W₀₁,W₀₂,...,W_0n+m]^T (2.60)

则W₀满足下式

(2.61)

也即是说在权系数为W₀向量时，PE能精确预测对象的输出。

引理：由式(2．53)—(2．55)所表述的对象仿真器PE，满足如下性质：

证明：

考虑权系数误差ΔW(k)

ΔW(k)=W(K)-W₀ (2.62)

根据式(2．55)，(2．6I)，(2．62)，则系统输出误差e(k)可以表达为权系数误差ΔW的函数，即

=-X^T(k-1)ΔW(k-1) (2.63)

把式(2．56)两边减去W₀，可求出权系数误差，则得：

(2.64)

把上式(2．64)两边平方有

(2.65)

从式(2.63)可知

      e(k)=-X^T(k-1)ΔW(k-1)

即有

代入式(2.65)，有

(2.66)

从式(2.66)中，有

α∈(O，2)，故即α＞0；

X(k-1)/XT(k-1)，XT(k-1)X(k-1)都为正；

e(k)2也必定大于0，ε是趋于0的正数。

所以，在式(2.66)中

(2.67)

的结果确定了[ΔW(k)]²-[ΔW(k-1)]²的正负。

令 H=x^T(k-1)x(k-1)

则式(2.67)可写为：

则有

从而可知

最后有

[ΔW(k)]²-[ΔW(k-1)]²<0           (2.68)

式(2．68)说明引理的性质(1)成立。

根据性质(1)，则当k——∞，则有w(k)＝W₀．故而在式(2．66)中两边都为0。这也就是必定有

(2.69)

可见，引理的性质(2)成立。

证毕。

有了上面的引理，就可以给出由式(2．53)—(2．59)组成的控制结构对对象式(2．52)执行适应控制的闭环性质定理。

定理：在对象由式(2．52)描述的控制中，式(2．53)—(2．59)构成的适应控制有如下的闭环性质：

(1)输入信号u(t)，输出信号y(t)都是有界的。

证明：

设系统的跟踪误差用e'(k)表示

e'(k)=y(k)-r(k)               (2.70)

y(k)由式(2．61)给出。

r(k)可由式(2．57)，(2．58)，(2．59)求出，先用W_n+1(k)乘〔2．59)两边，则有

W_n+1(k-1)u(k-1)=r(k)+W₁(k-1)(-X₁(k-1))+.....,+W_n(k-1)(-X_n(k-1))+W_n+2(k-1)(-X_n+2(k-1))+......,Wn+m(k-1)(-Xn+m(k-1))

整理后有

r(k)=W₁(k-1)X₁(k-1)+......,+W_n(k-1)X_n(k-1)+W_n+1(k-1)u(k-1)+W_n+2(k-1)X_n+2(k-1)+......,+W_n+m(k-1)X_n+m(k-1)

(2.71)

由于 u(k-1)=Xn+1(k-1)

故而有

(2.72)

从式(2.61)和式(2.72)，则有

(2.73)

从引理的性质(2)有

(2.74)

只要证明x^T(k-1)x(k-1)是有界的，就可以证明e(∞)＝0，也就可以证明定理中的性质(2)。

下面证明‖x(k-1)‖有限。

从对象式(2．52)有关条件，对象的输入输出信号满足

(2.75)

其中：1≤i≤k；m₁<∞；m₂<∞。

根据式(2．52)对象的满足条件，从式(2．53)则有

(2.76)

既然，给定信号r是有界的，所以跟踪误差有

(2.77)

从而有|e'(k)|+m3≥|y(k)|

由此，式(2．76)可以写为：

(2.78)

其中：0≤C₁≤∞；0≤C₂≤∞。

假设跟踪误差e'(k)有界，则从式(2．78)可知：‖x(k)‖同样有界；这样从式(2．74)可知

(2.79)

显然，定理的性质(2)成立。
假设跟踪误差e'(k)无界，则存在时刻序列|kn|，令

(2.80)

取m4＝max(1，ε)

考虑

(2.81)

对式(2.81)取极限有

(2.82)

这个极限存在说明e'(K)有界，假设其无界不成立。

由于e'(k)有界，故式(2．79)是必定成立的。由于e'(k)＝y(k)-r(k),而r(k)有界,所以，y(k)有界。从式(2．75)可知u(k)也有界。则定理的两个性质成立。

证毕。

四、系统实际运行情况

当对象的结构不同时，可以用于检验图2-16所示的神经适应控制系统的运行结果。对象仿真器PE，神经控制器NC分别由式(2.52)-(2.55)和式(2.57)-(2.59)所描述；学习时采用式(2．56)和式(2．58)。

1．对有噪声的稳定对象的控制

对象由下式表示

设对象仿真器PE和神经控制器NC输入的向量为6个元素，有n＝m＝3。在训练学习时PE的权系数向量更新取α和ε的值如下：

权系数向量的初始值取
W(0)=[0,0,0,1,0,0]^T

图2-19 给定值r和对象输出y

图2-20 NC产生的控制信号u

图2-21 PE的学习过程W(k)的变化

噪声是平均值为零的高斯白噪声。

给定输入r是幅值为1的方波；每方波周期采样80次。

控制结果和情况如图2—19和图2—20所示。其中图2—19是对象输出和给定值的情况；图2—20是NC产生的控制信号u(k)。
很明显，对象仿真器能正确地预测对象的动态过程。

图2—21给出了对象仿真器PE的学习过程。

2．对不稳定对象的控制

不稳定对象由下式表示

在系统中，PE和NC的输入都采用6个元素的向量，故n＝m＝3。在训练学习时．PE权系数向量更新取α和ε的值为

权系数向量初始化取值为

W(0)=[0,0,0,1,0,0]^T

给定输入r为幅度为1的方波，方波每周期采样80次。

控制情况和结果以及邢学习时的w(k)变化情况分别如图2—22，图2—23，图2—24所示。对于不稳定对象，显然在过渡过程中有较大的超调；但在PE学习之后，对象输出能跟踪给定r。

图2-22 给定r和对象输出y的波形

图2-23 NC产生的控制信号U的波形

图2-24 PE学习时W(k)的变化情况

2．3．2 水温神经网络控制系统

温度控制是人们在工业．家庭生活等各个领域经常遇到的控制系统。水温控制是温度控制的一种类型。采用神经网络对水温控制是一种新的控制方式和控制手段。在这个水温控制系统中，神经网络的训练采取第2．2节神经网络控制器与学习中所介绍的联机学习方法与算法。

一、温度控制系统的模型

对一个连续温度控制系统，可以用下面数学表达式来描述

(2.83)

其中：t是时间；

y(t)是输出温度；

f(t)是加给系统的热量；

Y_o是室温，一胶为常数；

c是系统的热容量；

R是系统边界与周围的热阻。

假定在式(2—83)中，RC是常数，从阶跃响应准则可以得到其对应的离散系统脉冲传递函数的表达式：

(2.84)

其中：u(k)为系统输人；
y(k)为系统输出；
T_s为采样周期；
a(T_s)和b(T₈)由下式决定：

(2.85)

在式(2．85)中。α，β是由R，C确定的常数。
在一般温度控制中，输出温度不允许超过一定的极限值，也即是(2．83)所描述的系统具有饱和的非线性特性。故控制对象可以表达为：

(2.86)

对于一个具体的系统，有

α=1.00151*10^-4       β=8.67973*10^-3

r=40.0               Y_o=25.0℃

0≤u(k)≤5            T_s>10S

这是一个实际水缸对象得到的有关参数。

把式(2．15)和式(2．86)作比较；显然有p＝1，Q＝0。根据所选择的参数，系统是一个水缸的单输入单输出温度控制系统；这个系统在室温到70℃之间呈现出线性特性，而再升到80℃左右则变成非线性同时达到饱和。

二、水缸温度控制系统和神经网络结构

水缸温度控制系统的结构如图2—25所示，它由水缸，计算机，接口部件，检测器，功率控制部件和加热器组成。

图2-25 水缸温度控制系统结构

给定信号输入计算机作为控制的期望信号。计算机通过A/D转换等接口部件接收温度检测器所检测的结果，在计算机内部以软件算法执行学习以及神经网络的处理，产生控制信号去控制功率驱动部件，再使加热器以恰当的功率加热；加热器以PWM方式执行功率调节。

温度检测器为半导体温度传感器件，A/D转换器为8位，计算机产生的控制信号在0—5V之间，它用于产生PWM的脉宽，加热器功率为1.3KW，水缸是一个含7升水的小水缸。

考虑神经网络组成的对象仿真器PE和神经控制器NC都用4层的多层神经网络组成。通过式(2．86)可知，神经网络有两个输入，一个为y(k)，一个为u(k)。这两个输入都归一化到-1和+1之间。每个隐层含有6个传递函数为s函数的神经元。而输出层则是一个线性神经元。所以，PE和NC的结构如图2—26中所示

图2-26 PE和NC的结构

在计算机中．神经网络控制器是通过软件算法实现的。在整个系统中，神经网络控制器和对象仿真器的位置和作用如图2—27中所示。从图中可以看出对象仿真器PE的输入是u(k)和y(k)，而输出只有一个y_E；神经控制器NC也有两个输入，分别为r(k+1)和u(k-1)，而输出则是u(k)。很明显，这是一种间接适应控制结构，采用这种结构有利于对水缸的特性进行学习。

图2-27 系统的神经网络控制结构

对于图2—26所示的对象仿真器邢和神经网络控制器NC，在实时学习时采用下面规则对权系数进行修改，即

(2.87)

也即是新的权系数Wn+1为

(2.88)

其中：n是训练学习次数序号：

w是权系数；

η是学习速率；η＞O；

u>0，是修正系数；

J是误差函数。

在对PE和NC执行实时学习之前，首先对PE进行脱机的粗训练。对PE的脱机训练是以对对象的阶跃响应试验或脉冲响应试验所纪录的数据为依据的。为了得到对象的输入输出数据，把脉冲加到对象的输入端，同时把对象的输入输出数据纪录下来。为了复盖控制空间的相关的范围，在所纪录的数据对中选择10对能代表控制范围的数据。为了使控制效果有一定的裕废，最小和最大的数据应比实际控制范围要宽一些。

在PE通过脱机训练之后，可以得出了其初步的权系数；对于NC则随机赋于小的权系数，以避免传递函数为s函数的神经元饱和。在这样初始条件下，则可以对系统执行实时运行和学习。

三、实际控制过程及结果

对于实际水缸的水温控制系统，它的控制给定曲线是一条阶梯温度曲线；这条给定的温度曲线为：

它的图形如图2-28所示。

图2-28 给定温度曲线

在系统实际运行时，由于水温升高是较为缓慢的，所以对水温的采样周期选择为30秒。这种采样周期合符水缸水温控制的实际情况。

在每个采样周期，对象仿真器PE更新15次，神经控制器NC执行11个学习周期。在神经控制器的11个学习周期中，有10个周期采用有关的多次学习逼近，有1个周期采用间接适应控制的学习方法。这些学习方法在2．2节中的联机学习方法及算法已进行了介绍。

在最初的10次试验中，神经控制器NC在每个采样周期中的多次学习逼近采用的是预测输出误差逼近；也即是说，在每个采样周期中有10个预测输出误差逼近学习周期，1个间接适应控制学习周期。
在随后的各次试验中，则在每个采样周期中，用5个直接逆控制误差逼近学习周期和5个预测输出误差逼近学习周期。

在神经网络实时学习中，学习参数选择如下：

学习速率η＝0.1；

修正系数α=0.2；

学习时的偏差函数采用误差平方函数，形式如式(2．41)所示。

通过34次实时试验，神经网络在实时学习中确定了权系数，则用这些权系数所最终描述的神经网络PE和NC对系统执行控制，可得出如图2—29所示的控制效果。

图2-29 34次试验后所得的控制效果

在图2—29中，上图是给定温度曲线r(k)和控制结果曲线y(k)的变化情况。在给定温度以阶跃形式从室温升到35℃时，大约经过10个采样周期，系统输出会很好地跟踪给定35℃的温度。这时因为室温的温度大约为25℃。当给定温度从35℃阶跃上升到55℃时，大约经过18个采样周期，输出能很好地跟踪给定的55℃，而当给定温度从55℃再以阶跃形式上升到75℃时，大约经过四个采样周期后输出能跟踪给定的最终温度75℃。这种特性和水缸的特性有关，因为越接近80℃，水缸的非线性特性越明显。总的控制情况说明：通过实时学习的神经网络对象仿真器PE和神经网络控制器NC能满意地实现对水缸水温的控制。

在图2—29中，下因给出的是神经控制器Nc的输出控制信号；很明显，在采样周期次数序号为k＝0—10时，NC的输出u(k)是一幅值为5的方波；而在采样序号k＝60—78时．PE输出u(k)是一幅值为5而宽度为9分钟的方波；而在k=120—140时，NC输出U(k)是幅值为5同时宽度为10分钟的方波。

当空温为20℃，而控制给定温度曲线由下式给出：

则控制的情况如图2—30所示。

图2—30 阶跃及匀速给定的响应情况

在图2—30中，上图是系统的给定温度曲线r(k)以及系统的输出温度曲线的响应情况，从图中看出系统有良好的响应特性，特别是匀速给定的上升温度曲线，即在(60小于K≤120时有很好的跟踪能力。在图中，当k＝50时，人为加入+5℃的干扰；而在k＝150℃时，加入人为的-5℃干扰；而情况表明控制系统有很快的适应能力。图2—30的下图则是神经控制器Nc的输出控制信号U(k)的波形。

第三章模糊神经网络

模糊逻辑和神经网络的发展使到近十年以来智能控制得到十分重要的进展；由于模糊逻辑和神经网络又是两个截然不同的领域；它们的基础理论相差较远。但是，它们都是智能的仿真方法。是否可以把它们结合起来而加以应用呢?从客观实践和理论的溶合上讲是完全可以令它们结合的。把模糊逻辑和神经网络相结合就产生了—种新的技术领域：这就是模糊神经网络。模糊神经网络是正在不断探讨和研究的一个新领域。在目前，模糊神经网络有如下三种形式：

1．逻辑模糊神经网络

2．算术模糊神经网络

3．混合模糊神经网络

模糊神经网络就是具有模糊权系数或者输入信号是模糊量的神经网络。上面三种形式的模糊神经网络中所执行的运算方法不同。

模糊神经网络无论作为逼近器，还是模式存储器，都是需要学习和优化权系数的。学习算法是模糊神经网络优化权系数的关键。对于逻辑模糊神经网络，可采用基于误差的学习算法，也即是监视学习算法。对于算术模糊神经网络，则有模糊BP算法，遗传算法等。对于混合模糊神经网络，目前尚未有合理的算法；不过，混合模糊神经网络一般是用于计算而不是用于学习的，它不必一定学习。
模糊神经网络可用于模糊回归、模糊控制器、模糊专家系统、模糊谱系分析、模糊矩阵方程、通用逼近器。

在控制领域中，所关心的是由模糊神经网络构成的模糊控制器。在这一章中．介绍模糊神经网络的基本结构、遗传算法、模糊神经网络的学习算法，以及模糊神经网络的应用。

3．1 模糊神经网络概念和结构

模糊神经网络是一种新型的神经网络，它是在网络中引入模糊算法或模糊权系数的神经网络。模糊神经网络的特点在于把模糊逻辑方法和神经网络方法结合在一起。

对于模糊神经网络而言，最重要的有如下三点：

第一，模糊神经元模型的开发；

第二，模糊权系数模型的开发；

第三．模糊神经网络学习算法的开发。

1974年，S.C.Lee以和E.T.Lee在Cybernetics杂志上发表了“”Fuzzy sets and neural networks”一文，首次把模糊集和神经网络联系在一起；接着，在1975年，他们又在Math.Biosci杂志上发表厂“Fuzzy neural networks”一文，明确地对模糊神经网络进行了研究。在文章中，作者用0和1之间的中间值推广了McCulloch-Pitts神经网络模型。在以后一段时间中，由于神经网络的研究仍处于低潮，所以在这方面的研究没有取得什么进展。1985年，J.M Keller和D.Huut提出f把模糊隶属函数和感知器算法相结合。1989年T．Yamakawa提出了初始的模糊神经元．这种模糊神经元具有模糊权系数，但输入信号是实数。1992年，T．Yamakawa又提出了新的模糊神经元，新的模糊神经元的每个输入端不是具有单一的权系数，而是模糊权系数和实权系数串联的集合。同年，K.Nakamura和M.Tokunaga分别也提出了和T．Yamakawa的新模糊神经元类同的模糊神经元。1992年，D.Nauck和R.Kruse提出用单一模糊权系数的模糊神经元进行模糊控制及过程学习。而在这一年，I.Requena和M.Delgado提出了具有实数权系数，模糊阀值和模糊输入的模糊神经元。1990年到1992年期间，M．M．Gupta提出了多种模糊神经元模型，这些模型中有类同上面的模糊神经元模型．还有含模糊权系数并可以输入模糊量的模糊神经元。1992年开始，J．J．Backley发表了多篇关于混合模糊神经网络的文章，它们也反映了人们近年来的兴趣点。

在下面分别对模物神经网络的不同结构形式进行介绍。这些结构包括逻辑模糊神经网络、算术模糊神经网络、混合模糊神经网络、其他模糊神经网络。

3.1.1 逻辑模糊神经网络

逻辑模糊神经网络是由逻辑模糊神经元组成的。逻辑模糊神经元是具有模糊权系数，并且可对输入的模糊信号执行逻辑操作的神经元。模糊神经元所执行的模糊运算有逻辑运算、算水运算和其它运算。无论如何，模糊神经元的基础是传统神经元。它们可从传统神经元推导出。

可执行模物运算的模糊神经网络是从一般神经网络发展而得到的。对于一般神经网络．它的基本单元是传统神经元。传统神经元的模型是由下式描述的：

(3-1)

当阀值θ_i=0 时，有

(3-2)

其中：X_j是神经元的输入；

W_ij是权系数；

f[·]是非线性激发函数；

Y_i是神经元的输出。

如果把式(3—2)中的有关运算改为模糊运算，从而可以得到基于模糊运算的模糊神经元，这种神经元的模型可以用下面式(3—3)表示：

(3-3)

其中：⊕表示模糊加运算；
⊙表示模糊乘运算。
同理，式(3—3)中的运算也可以用模糊逻辑运算取代。从而有“或”神经元：

(3-4)

或者表示为：

(3-5)

同理也就有“与”神经元的模型如下：

(3-6)

或者表示为：

(3-7)

下面专门考虑基于模糊逻辑运算的模糊神经网络的有关特性。

一、网络的模型

对于一个神经元，考虑其输入信号是以隶属函数表示，而不是以绝对值表示，则把输人向量表示为：

(3-8)

很明显，这些输入信号是在(n+1)维超立方体[0,1]ⁿ⁺¹之内，隶属函数的隶属度为[0，1]间的值，而输入信号是隶属函数，也即是以论域元素及其隶属度表示，故在式(3-8)中，X_n(t)是模糊量。

同理，网络中的权系数向量也可用起立方体[0，1]ⁿ⁺¹中的信号表示：

(3-9)

在式(3-9)中，权系数W_n(t)模糊量，这时的神经元结构如图3-1所示。

对于输入X1,X2[0,1]，定义AND操作为T映射：

T:[0,1]*[0,1]——[0,1]

即

(3-10)

同理，定义OR操作为S映射
S:[0,1]*[0,1]——[0,1]
即

(3-11)

并且，定义N操作为N映射：

N:[0,1]——[0,1]

即

Y_N=N[X₁]=1-X₁              (3-12)

故而有 N(0)=1，N(1)＝0，NN(x)＝X

对于T，S算子，则有如下重要性质：

T(0，0)＝0 S(0，0)＝0
T(1，1)＝1 S(1，1)=1
T(1，X)＝X S(0，X)＝X
T(X，Y)＝T(Y，X) S(X，Y)＝S(Y，X)
同时，根据Morgan定理，则有如下关系：
T(X1，X2)＝1-S(1-X1，1-X2)
S(X1，X2)＝1-T(1-X1，1-X2)
在基于模糊逻辑操作的模糊神经网络中，神经网络的输入和权系数向量有：
X(t)∈[0,1]ⁿ⁺¹
W(t)∈[0,1]ⁿ⁺¹
则在神经网络模型(3—2)中，权系数和输入信号的乘操作用T操作取代，求和操作由s操作取代，则有：

(3-13)

其中：f|·|是非线性函数。

图3-1 模糊神经元模型

二、单极到双极的变换

上面的模糊逻辑操作是定义在[0，1]正区间内的；所以，神经网络的状态也就局限于[0，1]正区间内。为了考虑神经网络的激发和抑制特性，需要考虑神经网络的正和负的输入向量。所以，神经网络的输人和权系数取[-1，1]区间的值。

为了说明在[-1，1]区间的逻辑操作，故按照先前[0，1]区间的单极性情况，再转换到新的[-1，1]区间的双极性情况中，则随后就可以定义在[-1，1]区间的有关逻辑操作。

考虑单极信号X(t)∈[0，1]，则对应双极信号Z(t)∈[-1，1]定义为：

Z(t)=2X(t)-1          (3-14)

同理，N[Z]定义为：

N[Z]=-Z(t)            (3-15)

用式(3—14)可以把在[0，1]区间定义的S，T操作转换成在[-1，1]区间的操作。

在[-1，1]区间的T(AND)，S(OR)操作性质如下：

T(-1,-1)=-1           S(-1,-1)=-1

T(1，1)=1 S(1，1)＝1

T(1，Z)＝Z S(-1，Z)＝Z

T(Z₁，Z₂)＝T(Z₂，Z₁) S(Z₁，Z₂)＝S(Z₂，Z₁)

在[-1，1]区间，T，S的Morgan定理为

T(Z₁，Z₂)=-S(-Z₁，-Z₂)

S(Z₁，Z₂)＝-T(-Z₁，-Z₂)

利用变换式(3—14)可以把n+1维向量x(t)∈[0，1]ⁿ⁺¹转换成n+1维向量Z(t)∈[-1，1]ⁿ⁺¹。这时，神经元的操作和输出可以表示如下：

Y=f[u]∈[-1,1]              (3-16)

其中：

上式(3-16)也可以写成：

或

或

在式(3—16)中f[·]的定义如下

f[u(t)]=|u(t)|^g·sgn[u(t)], g>0            (3-17)

其中：g是增益参数，它用于控制S函数的激发水平。

3．1．2 算术模糊神经网络

算术模糊神经网络是可以对输入模糊信号执行模糊算术运算，并含有模糊权系数的神经网络。通常，算术模糊神经网络也称为常规模糊神经网络，或称标推模糊神经网络。

常规模糊神经网络一般简称为RFNN(Regular Fuzzy Neural Net)或称为FNN(Fuzzy Neural Net)。在一般情况下，都把常规模糊神经网络简称为FNN。

常规模糊神经网络有三种基本类型，并分别用FNN1，FNN2，FNN3表示。这三种类型的意义如下：

1．FNN1是含有模糊权系数，而输入信号为实数的网络。

2．FNN2是含有实数权系数，而输入信号为模糊数的网络。

3．FNN3是含有模糊权系数，而输入信号为模糊数的网络。

下面先对模糊算术运算的定义进行介绍，随后说明常规模糊神经网络的结构和性质。

一、模糊算术运算

模糊算术运算包括有模糊乘和模糊加两种基本运算，它们的定义分别说明如下：

1．模糊乘

设N，M是两个模糊集，它们的隶属函数分别为：

则N和M的模糊乘用下式表示：

(3-18)

其中：符号⊙表示模糊乘运算。
模糊乘P的隶属函数由下式给出：

(3-19)

即

(3-20)

式(3—19)，(3—20)定义了基于扩张原理的模糊乘运算。模糊乘的意义如图3—2所示。

图3-2 模糊乘

2．模糊加

设N，M是两个模糊集，它们的隶属函数分别为：

则N和M模糊加用下式表示

(3-21)

其中：符号⊕表示模糊加运算。
模糊和H的隶属函数由下式给出：

(3-22)

或

(3-23)

式(3—22)，(3—23)定义了基于扩张原理的模糊加运算。模糊加的意义如图3—3所示。

图3-3 模糊加

3．非线性映射

设N是一个模糊集，f[·]是非线性映射，则N的非线性映射定义如下

非线性映射结果G的隶属溺数由下式给出

(3-24)

或

(3-25)

一般，在神经网络中的激发函数也称传递函数；传递函数通常采用S函数，即有f(x)＝1/[1+exp(-X)]故而，模糊神经网络中模糊量的非线性映射就是S函数；并用f[·]表示。式(3—24)，(3—25)定义基于扩张原理的非线性映射。它的意义如图3—4所示。

图3-4 非线性映射

常规模糊神经网络最典型的结构是FNN3型结构，而FNN1，FNN2型结构和FNN3相同；其运算过程都可以从FNN3型结构及运算过程中推出。在FNN3中，权系数和输入信号都是模糊数，而神经元对信息的处理采用模糊加、模糊乘和非线性的S函数。

典型的FNN3的结构如图3—5所示。它是一个三层神经网络，有含2个神经元的输入层，含2个神经元的隐层和含1个神经元的输出层。网络中的神经元分别用编号1—5标出。

图3-5 算术模糊神经网络

很明显，对神经元3．它的输人为U₃：

(3-25)

对于神经元4，其输入为U₄：

(3-26)

用O₃，O₄分别表示神经元3，4的输出，则有

(3-27)

对于神经元5，其输入为U₅，输出为Y，则有

(3-28)

(3-29)

最后的输出Y，是由传递函数S函数求出的，故模糊数YE[0，1]。
对于模糊神经网络，在输入为N，M时其输出为Y；则可以看作N，M通过神经网络后映射为Y，并表示为：

(3-30)

三、常规模糊神经网络的性质
用L表示所有实模糊数的集合；而Lx L用Ω表示，称为2维模糊数空间。

设N，M∈L，Y∈L，则从Ω到L的映射F：Ω——L，可表示为

(3-31)

当并且仅当

则有

则称映射f：Ω——L是单调的。

考虑图3—5所示的模糊神经网络，并用FNN表示，则有映射

如果在图3—5中输入的信号是N'，M'，并且有

(3-32)

(3-33)

令

(3-34)

则有

(3-35)

令

(3-36)

则有

(3-37)

从而有

(3-38)

(3-39)

令

(3-40)

则有

(3-41)

最后利用扩张原理和S函数f(x)＝(1+e^-x)^-1计算输出

(3-42)

(3-43)

隶属函数分别为：

(3-44)

(3-45)

由于

，故

(3-46)

很明显，对于图3—5所示的模糊神经网络，它是一个单调的网络。
实际上，可以把上述情况扩展到一级的常规模糊神经网络。最后有如下结论：

对于一个模糊神经网络，如果它的算术运算是基于扩张原则的，则这个模糊神经网络是—个单调的网络。即

则有

从上面的结论可知：对于任何从o到L的连续单调映射，都可以用基于扩张原理的常规模糊神经网络进行逼近。反之，如果映射是非单调的，则不能用常规模糊神经网络进行逼近。

3．1．3混合模糊神经网络

混合模糊神经网络简称HFNN(Hybrid Fuzzy Neural Net)。在网络的拓扑结构上，混合模糊神经网络和常规模糊神经网络是一样的。它们之间的不同仅在于如下两点功能：

1．输入到神经元的数据聚合方法不同；

2．神经元的激发函数，即传递函数不同。

在混合模糊神经网络中，任何操作都可以用于聚合数据，任何函数都可以用作传递函数去产生网络的输出。对于专门的应用用途，可选择与之相关而有效的聚合运算和传递函数。而在常规模糊神经网络，也即标准模糊神经网络中，数据的聚合方法采用模糊加或乘运算，传递函数采用S函数。

下面就以具体的混合模糊神经网络来说明它的网络操作情况；然后再介绍这种网络的性质。

一、混台模糊神经网络的操作

为了具体说明在混合模糊神经网络的操作过程，首先考虑图3—6所示的网络拓扑结构。在这个网络中各个神经元的聚合运算和传递函数可以是不同的。正是因为它不象常规模糊神经网络那样采用标准的加、乘运算以及s函数，而是可随意在任何层任何神经元采用不同的操作，所以，它被称为混合(Hybrid)模糊神经网络。

图3-6 混合模糊神经网络

1．输入层和第1院层的工作情况
在第1隐层中一共有K个神经元，在输入层中有2个节点和第1隐层的一个神经元连接；也即是说，第1隐层的每个神经元有2个输入端。

设L是所有实模糊数的集合，在图3—6中，N、M、Ak、Bk、Ck、Q、J是实模捌数。用E表示两个模糊效之间相等的程度测量，并且在N＝M时，有

则在第1隐层的第k个神经元的输入用I_1k表示，有

(3-47)

其中．A_k，B_k是权系数1c。
很明显，在混合模糊神经元中，输入信号N，M和权系数A_k，B_k之间的交互作用是用测度E(N，A_k)，E(M，B_k)来量度的，最后求出它的最大值为结果输入。

在混合模糊神经网络第1隐层中，传递函数f为阶跃函数，并且有输出λ_k

(3-48)

其中：t为神经网络的阀值，t>0；1≤k≤K。
在这里，第1隐层的所有神经元的传递函数相同，阀值相同。

2．第2隐层的工作情况

在第2隐层中．第1个神经元的权系数为1。从图3—6中看出，输入第2隐层第1个神经元的输入数据为I₂₁，即有

(3-49)

由于λ_k是实数0或1，故I₂₁是精确值。
该神经元的传递函数采用相同函数，故有

f(X)=X (3-50)

故而，这个神经元的输出θ等于其输入I₂₁，即

θ=I₂₁ (3-51)

对于第2隐层第2个神经元，它的权系数分别为C1，C2．…，Ck。所以，其输入表示为I₂₂．并有

(3-52)

并且λ_k，Ck的取值如下

(3-53)

同时，式(3—52)中的符号Σ是模糊加的标准操作，其意义由式(3—22)，(3—23)给出。
这个神经元的传递函数也采用相同函数，故而有输出J，

(3-54)

3．输出层的工作情况
在输出层中，权系数为10但是输出层神经元的聚合操作是除法；所以．输出神经元的输人数据为I

(3-55)

传递函数也采用相同函数，所以输出等于输人，即有

从上面分析可以知道，图3—6所示的混合模糊神经网络的最后输出P可表示为

(3-56)

当在λ_k＝1时，则有

(3-57)

二、混合模糊神经网络的性质
混合模糊神经网络由于它所采用的运算和常规模糊神经网络不同；所以，它有独特的性质。如果用F表示图3—6所示的由相等测量E，阀值t，权系数Ak，Bk，Ck所构造的混合模糊神经网络；那么，F是一个通用逼近器。
换而言之，图3—6所示的混合模糊神经网络可以逼近任意的双输入单输出模糊函数。

1.基本定义和概念

L表示所有实模糊数的集合；则Ω表示2维实模糊数集合，即 Ω＝LxL。

定义1：模糊数N、M的。截集用N(α)，M(α)表示，则有

其中，n1(α)是。截集N(α)的下界元素，n2(α)是N(α)的上界元素；m1(α)是M(α)的下界元素，m2(α)是M(α)的上界元素。

模糊数N，M的Hausdorff心13测度由下式给出：

(3-58)

定义2：在集合L中，模糊数N，M之间的距离用d表示，并由下式给出

(3-59)

定义3：在2维实模糊数集合Ω＝L xL中，两个2维模糊数(N1，M1)和(N2，M2)之间的距离用D表示，并且由下式给出：

(3-60)

定义4：F是连续映射
F：Ω——L

其中：N，M是L的模掘数，Y也是L中的模糊数。

2．通用逼近器定理

定理：图3—6中由E，t，Ak，Bk，Ck所构造的模糊神经网络F是一个通用逼近器。

证明：

设u是Ω中的紧子集，F是U到L的连续映射，HFNN是由Ak，Bk，Ck，E，t所定义的空间F中的混合模糊神经网络。

对于模糊数N，M，有映射

(3-61)

同时，把N，M输入混合模糊神经网络HFNN，有输出：

(3-62)

存在无穷小的数ε>0，如果对于U中的所有(N，M)都有

(3-63)

(3-64)

其中：D是距离，如式(3—59)所示。
则说明HFNN可以逼近映射F；也即是说F是一个通用逼近器。
下面给出证明过程：
(1)设对于给定ε>0，令

(3-65)

则对应存在δ>o，令

(3-66)

其中：D(N₁．M₁)，(N₂，M₂)属于U。
对U中的每一个(N，M)，令

(3-67)

这即是紧集合U的开复盖(open cover)。因此，存在有限子复盖(subcover):

(3-68)

令Nk＝Ak，Mk＝Bk，以及映射F为

(3-69)

其中：1≤k≤K。
考虑U中任意给出的(N，M)，对于映射F有

(3-70)

由于在式(3—69)，(3—70)中的映射F相同；同时从式(3—68)可知

故而必定有：

也即是有 (3-71)

或者 (3-72)

(2)对于图3-6所示的混合模糊神经网络，由于其输入是(N，M)；同时，(N，M) 属于紧集合U，而且必须至少是

集合中的元素之一，亦即N＝A_k，M＝B_k，1≤k≤K。令

G={k|λ_k=1,1≤k≤K}       (3-73)

由于λ_k不可能全部为0，故G是非空集。所以，有θ>0。
用m表示G所含的基本元素；为简单起见，设G＝{1，2，…，m}，则有

(3-74)

(3-75)

从而有

(3-76)

(3)考虑距离d

可写成

(3-77)

对于d(A，B)，如果β>0，A，B∈L。则有

同理，对于式(3—77)就有

(3-78)

(4)对于L中的A，B，C，有

(3-79)

首先，对于A，B，C的α截集有

这都是闭区间。故有

从式(3—59)，可知式(3—79)成立。

(5)最后考虑d(Q’，Q)

从式(3—76)．(3—77)，(3—78)可知

(3-81)

从中有

也可写成

故从式(3—79)，则有

(3-82)

从式(3—72)，则有

(3-83)

再从式(3—81)有

3.2 遗传算法

生物的进化是一个奇妙的优化过程，它通过选择淘汰，突然变异，基因遗传等规律产生适应环境变化的优良物种。遗传算法是根据生物进化思想而启发得出的一种全局优化算法。

遗传算法的概念最早是由Bagley J.D在1967年提出的；而开始遗传算法的理论和方法的系统性研究的是1975年，这一开创性工作是由Michigan大学的J.H.Holland所实行。当时，其主要目的是说明自然和人工系统的自适应过程。

遗传算法简称GA(Genetic Algorithm)，在本质上是一种不依赖具体问题的直接搜索方法。遗传算法在模式识别、神经网络、图像处理、机器学习、工业优化控制、自适应控制、生物科学、社会科学等方面都得到应用。在人工智能研究中，现在人们认为“遗传算法、自适应系统、细胞自动机、混沌理论与人工智能一样，都是对今后十年的计算技术有重大影响的关键技术”。

3．2．1 遗传算法的基本概念

遗传算法的基本思想是基于Darwin进化论和Mendel的遗传学说的。

Darwin进化论最重要的是适者生存原理。它认为每一物种在发展中越来越适应环境。物种每个个体的基本特征由后代所继承，但后代又会产生一些异于父代的新变化。在环境变化时，只有那些熊适应环境的个体特征方能保留下来。

Mendel遗传学说最重要的是基因遗传原理。它认为遗传以密码方式存在细胞中，并以基因形式包含在染色体内。每个基因有特殊的位置并控制某种特殊性质；所以，每个基因产生的个体对环境具有某种适应性。基因突变和基因杂交可产生更适应于环境的后代。经过存优去劣的自然淘汰，适应性高的基因结构得以保存下来。

由于遗传算法是由进化论和遗传学机理而产生的直接搜索优化方法；故而在这个算法中要用到各种进化和遗传学的概念。这些概念如下：

一、串(String)

它是个体(Individual)的形式，在算法中为二进制串，并且对应于遗传学中的染色体(Chromosome)。

二、群体(Population)

个体的集合称为群体，串是群体的元素

三、群体大小(Population Size)

在群体中个体的数量称为群体的大小。

四、基因(Gene)

基因是串中的元素，基因用于表示个体的特征。例如有一个串S＝1011，则其中的1，0，1，1这4个元素分别称为基因。它们的值称为等位基因(Alletes)。

五、基因位置(Gene Position)

一个基因在串中的位置称为基因位置，有时也简称基因位。基因位置由串的左向右计算，例如在串S＝1101中，0的基因位置是3。基因位置对应于遗传学中的地点(Locus)。

六、基因特征值(Gene Feature)

在用串表示整数时，基因的特征值与二进制数的权一致；例如在串S=1011中，基因位置3中的1，它的基因特征值为2；基因位置1中的1，它的基因特征值为8。

七、串结构空间S^S

在串中，基因任意组合所构成的串的集合。基因操作是在结构空间中进行的。串结构空间对应于遗传学中的基因型(Genotype)的集合。

八、参数空间S^P

这是串空间在物理系统中的映射，它对应于遗传学中的表现型(Phenotype)的集合。

九、非线性

它对应遗传学中的异位显性(Epistasis)

十、适应度(Fitness)

表示某一个体对于环境的适应程度。

遗传算法还有一些其它的概念，这些概念在介绍遗传算法的原理和执行过程时，再进行说明。

3．2．2遗传算法的原理

遗传算法GA把问题的解表示成“染色体”，在算法中也即是以二进制编码的串。并且，在执行遗传算法之前，给出一群“染色体”，也即是假设解。然后，把这些假设解置于问题的“环境”中，并按适者生存的原则，从中选择出较适应环境的“染色体”进行复制，再通过交叉，变异过程产生更适应环境的新一代“染色体”群。这样，一代一代地进化，最后就会收敛到最适应环境的一个“染色体”上，它就是问题的最优解。

一、遗传算法的目的

典型的遗传算法CGA(Canonical Genetic Algorithm)通常用于解决下面这一类的静态最优化问题：

考虑对于一群长度为L的二进制编码b_i，i＝1，2，…，n；有

b_i∈{0,1}^L        (3-84)

给定目标函数f，有f(b_i)，并且

0i)<∞

同时
f(b_i)≠f(b_i+1)

求满足下式

max{f(b_i)|b_i∈{0,1}^L}            (3-85)

的b_i。

很明显，遗传算法是一种最优化方法，它通过进化和遗传机理，从给出的原始解群中，不断进化产生新的解，最后收敛到一个特定的串b_i处，即求出最优解。

二、遗传算法的基本原理

长度为L的n个二进制串bi(i＝1，2，…，n)组成了遗传算法的初解群，也称为初始群体。在每个串中，每个二进制位就是个体染色体的基因。根据进化术语，对群体执行的操作有三种：

1．选择(Selection)

这是从群体中选择出较适应环境的个体。这些选中的个体用于繁殖下一代。故有时也称这一操作为再生(Reproduction)。由于在选择用于繁殖下一代的个体时，是根据个体对环境的适应度而决定其繁殖量的，故而有时也称为非均匀再生(differential reproduction)。

2．交叉(Crossover)

这是在选中用于繁殖下一代的个体中，对两个不同的个体的相同位置的基因进行交换，从而产生新的个体。

3．变异(Mutation)

这是在选中的个体中，对个体中的某些基因执行异向转化。在串bi中，如果某位基因为1，产生变异时就是把它变成0；反亦反之。

遗传算法的原理可以简要给出如下：

choose an intial population

determine the fitness of each individual

perform selection

repeat

    perform crossover

    perform mutation

    determine the fitness of each individual

    perform selection

until some stopping criterion applies

这里所指的某种结束准则一般是指个体的适应度达到给定的阀值；或者个体的适应度的变化率为零。

三、遗传算法的步骤和意义

1．初始化

选择一个群体，即选择一个串或个体的集合b_i，i=1，2，...n。这个初始的群体也就是问题假设解的集合。一般取n＝30-160。

通常以随机方法产生串或个体的集合b_i,i＝1，2，...n。问题的最优解将通过这些初始假设解进化而求出。

2．选择

根据适者生存原则选择下一代的个体。在选择时，以适应度为选择原则。适应度准则体现了适者生存，不适应者淘汰的自然法则。

给出目标函数f，则f(bi)称为个体bi的适应度。以

(3-86)

为选中bi为下一代个体的次数。

显然．从式(3—86)可知：

(1)适应度较高的个体，繁殖下一代的数目较多。

(2)适应度较小的个体，繁殖下一代的数目较少；甚至被淘汰。

这样，就产生了对环境适应能力较强的后代。对于问题求解角度来讲，就是选择出和最优解较接近的中间解。

3．交叉
对于选中用于繁殖下一代的个体，随机地选择两个个体的相同位置，按交叉概率P。在选中的位置实行交换。这个过程反映了随机信息交换；目的在于产生新的基因组合，也即产生新的个体。交叉时，可实行单点交叉或多点交叉。

例如有个体

S1=100101

S2=010111

选择它们的左边3位进行交叉操作，则有

S1=010101

S2=100111

一般而言，交叉幌宰P。取值为0.25—0.75。

4．变异

根据生物遗传中基因变异的原理，以变异概率Pm对某些个体的某些位执行变异。在变异时，对执行变异的串的对应位求反，即把1变为0，把0变为1。变异概率Pm与生物变异极小的情况一致，所以，Pm的取值较小，一般取0.01-0.2。

例如有个体S＝101011。

对其的第1，4位置的基因进行变异，则有

S'=001111

单靠变异不能在求解中得到好处。但是，它能保证算法过程不会产生无法进化的单一群体。因为在所有的个体一样时，交叉是无法产生新的个体的，这时只能靠变异产生新的个体。也就是说，变异增加了全局优化的特质。

5．全局最优收敛(Convergence to the global optimum)

当最优个体的适应度达到给定的阀值，或者最优个体的适应度和群体适应度不再上升时，则算法的迭代过程收敛、算法结束。否则，用经过选择、交叉、变异所得到的新一代群体取代上一代群体，并返回到第2步即选择操作处继续循环执行。

图3—7中表示了遗传算法的执行过程。

图3-7 遗传算法原理

3．2．3遗传算法的应用

遗传算法在很多领域都得到应用；从神经网络研究的角度上考虑，最关心的是遗传算法在神经网络的应用。在遗传算法应用中，应先明确其特点和关键问题，才能对这种算法深入了解，灵活应用，以及进一步研究开发。

一、遗传算法的特点

1．遗传算法从问题解的中集开始嫂索，而不是从单个解开始。

这是遗传算法与传统优化算法的极大区别。传统优化算法是从单个初始值迭代求最优解的；容易误入局部最优解。遗传算法从串集开始搜索，复盖面大，利于全局择优。

2．遗传算法求解时使用特定问题的信息极少，容易形成通用算法程序。

由于遗传算法使用适应值这一信息进行搜索，并不需要问题导数等与问题直接相关的信息。遗传算法只需适应值和串编码等通用信息，故几乎可处理任何问题。

3．遗传算法有极强的容错能力

遗传算法的初始串集本身就带有大量与最优解甚远的信息；通过选择、交叉、变异操作能迅速排除与最优解相差极大的串；这是一个强烈的滤波过程；并且是一个并行滤波机制。故而，遗传算法有很高的容错能力。

4．遗传算法中的选择、交叉和变异都是随机操作，而不是确定的精确规则。

这说明遗传算法是采用随机方法进行最优解搜索，选择体现了向最优解迫近，交叉体现了最优解的产生，变异体现了全局最优解的复盖。

5．遗传算法具有隐含的并行性

遗传算法的基础理论是图式定理。它的有关内容如下：

(1)图式(Schema)概念

一个基因串用符号集{0，1，*}表示，则称为一个因式；其中*可以是0或1。例如：H=1x x 0 x x是一个图式。

(2)图式的阶和长度

图式中0和1的个数称为图式的阶，并用0(H)表示。图式中第1位数字和最后位数字间的距离称为图式的长度，并用δ(H)表示。对于图式H＝1x x0x x，有0(H)＝2，δ(H)＝4。

(3)Holland图式定理

低阶，短长度的图式在群体遗传过程中将会按指数规律增加。当群体的大小为n时，每代处理的图式数目为0(n³)。

遗传算法这种处理能力称为隐含并行性(Implicit Parallelism)。它说明遗传算法其内在具有并行处理的特质。

二、遗传算法的应用关键

遗传算法在应用中最关键的问题有如下3个

1．串的编码方式

这本质是问题编码。一般把问题的各种参数用二进制编码，构成子串；然后把子串拼接构成“染色体”串。串长度及编码形式对算法收敛影响极大。

2．适应函数的确定

适应函数(fitness function)也称对象函数(object function)，这是问题求解品质的测量函数；往往也称为问题的“环境”。一般可以把问题的模型函数作为对象函数；但有时需要另行构造。

3．遗传算法自身参数设定

遗传算法自身参数有3个，即群体大小n、交叉概率P_c和变异概率P_m。

群体大小n太小时难以求出最优解，太大则增长收敛时间。一般n＝30-160。交叉概率P_c太小时难以向前搜索，太大则容易破坏高适应值的结构。一般取Pc=0.25-0.75。变异概率P_m太小时难以产生新的基因结构，太大使遗传算法成了单纯的随机搜索。一般取P_m＝0．01—0．2。

三、遗传算法在神经网络中的应用

遗传算法在神经网络中的应用主要反映在3个方面：网络的学习，网络的结构设计，网络的分析。
1．遗传算法在网络学习中的应用
在神经网络中，遗传算法可用于网络的学习。这时，它在两个方面起作用
(1)学习规则的优化
用遗传算法对神经网络学习规则实现自动优化，从而提高学习速率。
(2)网络权系数的优化
用遗传算法的全局优化及隐含并行性的特点提高权系数优化速度。
2．遗传算法在网络设计中的应用
用遗传算法设计一个优秀的神经网络结构，首先是要解决网络结构的编码问题；然后才能以选择、交叉、变异操作得出最优结构。编码方法主要有下列3种：
(1)直接编码法
这是把神经网络结构直接用二进制串表示，在遗传算法中，“染色体”实质上和神经网络是一种映射关系。通过对“染色体”的优化就实现了对网络的优化。
(2)参数化编码法
参数化编码采用的编码较为抽象，编码包括网络层数、每层神经元数、各层互连方式等信息。一般对进化后的优化“染色体”进行分析，然后产生网络的结构。
(3)繁衍生长法
这种方法不是在“染色体”中直接编码神经网络的结构，而是把一些简单的生长语法规则编码入“染色体”中；然后，由遗传算法对这些生长语法规则不断进行改变，最后生成适合所解的问题的神经网络。这种方法与自然界生物地生长进化相一致。
3．遗传算法在网络分析中的应用
遗传算法可用于分析神经网络。神经网络由于有分布存储等特点，一般难以从其拓扑结构直接理解其功能。遗传算法可对神经网络进行功能分析，性质分析，状态分析。
遗传算法虽然可以在多种领域都有实际应用，并且也展示了它潜力和宽广前景；但是，遗传算法还有大量的问题需要研究，目前也还有各种不足。首先，在变量多，取值范围大或无给定范围时，收敛速度下降；其次，可找到最优解附近，但无法精确确定最扰解位置；最后，遗传算法的参数选择尚未有定量方法。对遗传算法，还需要进一步研究其数学基础理论；

还需要在理论上证明它与其它优化技术的优劣及原因；还需研究硬件化的遗传算法；以及遗传算法的通用编程和形式等。

3．3 模糊神经网络的学习

在模糊神经网络中，混合模糊神经网络在目前还是表示一种算法，所以它不存在学习问题。所谓学习，是指对逻辑模糊神经网络和常规模彻神经网络而言的。在这一节中，分别介绍逻辑模糊神经网络的学习，算术模糊神经网络的学习方法。

3．3．1 逻辑模糊神经网络的学习算法

考虑图3—1所示的模糊神经元模型。在图中，xi，i＝O，1，…，n，是模糊输入信号；W_j，j＝0 ，1，…，n，是模糊权系数。

逻辑模糊神经网络的神经元模型是由式(3—3)来描述的。对于“或”神经元用式(3—4)(3-5)表示，而“与”神经元则用式(3—6)(3—7)表示。

设Y_d是输出的期望值，Y_d∈[-1，1]。而Y是模糊神经元的实际输出；则有输出误差e:

e-Y_d-Y∈[-1,1]

执行学习的目的就是修改神经元中的权系数W'和增益参数g。使到输出的误差e最小。学习结构框图如图3—8所示。

图3-8 模糊神经元学习框架

如果输入的信号属于[0，1]ⁿ⁺¹超立方体空间的，则先变换到[-1，1]ⁿ⁺¹超立方体空间。再送入神经元中，神经元的输出Y和给定的期望值Y_d比较。产生误差e。学习机构根据误差的情况分别对权系数W和激发函数的增益g进行修改。使神经元的输出Y趋于期望Y_d。

考虑神经元的输入和权系数向量分别如式(3—8)，式(3—9)所示。

X(t)=[X₀(t),X₁(t),...,X_n(t)]^T∈[0,1]ⁿ⁺¹

W(t)=[W₀(t),W₁(t),...,W_n(t)]^T∈[0,1]ⁿ⁺¹

令

Z_i(t)=2X_i(t)-1

W_i'(t)=2W_i(t)-1

则有

Z(t)=[Z₀(t),Z₁(t),...,Z_n(t)]^T∈[-1,1]ⁿ⁺¹

W'(t)=[W₀'(t),W₁'(t),...,W_n'(t)]^T∈[0,1]ⁿ⁺¹

模糊神经元的学习算法如下

1．权系数W'的学习算法

W'(t+1)=W'(t)OR ΔW'(t)=S[W'(t),ΔW'(t)]              (3-87)

其中

ΔW'(t)=Z(t) AND e(t)=T|Z(t),e(t)|

2．S函数的增益g的学习算法

g(t+1)=g(t) OR Δg(t)=S|g(t),Δg(t)|      (3-88)

其中

Δg(t)=u(t) AND e(t)=T[u(t),e(t)]

图3-9 模糊神经元的学习结构

在上面式(3—87)中，结出了模糊神经元权系数学习的算法；它也表示了一种模糊神经结构的实际模型。如果认为权系数是外部输人和树突输入之间的模糊关系，那么，模糊神经网络是可以通过经验进行学习的。
在上面式(3—88)中，修改g实际上是修改激发的灵敏度。因为参数g影响S函数的斜率，很明显也就影响神经元受激发的灵敏度。

模糊神经元的学习结构如图3—9中所示。

在图3—9中，很明显有2个学习环节，一个是权系数W'的学习环节，另一个是增益g的学习环节，它们是相互独立的。在这两个环节中，其中的Z-1处理框图是表示延时一个采样周期，故而它的输入为W'(t+1)时，输出为W'(t)；输入为g(t+1)时，输出为g(t)。就是说这时Z-1的z是脉冲传递函数的符号；而不是双极信号z(t)中的信号。

3．3．2算术模糊神经网络的学习算法

算术模糊神经网络也称常规模糊神经网络，对算术模糊神经网络的学习算法随着这种网络的提出也同时提出了，但在这方面的研究方法有多种，而这些方法各有特点；在不同的场合和条件下有各自的优点。1992年，Buckley和Hayashi提出了模糊反向传播算法；同时．Ishibuchi等人提出了基于。截集的反向传播法。1994年，Buckley和Hayashi提出模糊神经网络的遗传算法。1995年，Ishibuchi等人提出了具有三角模糊权的模糊神经网络的学习算法。还有人提出了一些其它的算法。

在各种学习算法中，较有实际意义的是具有三角模糊权的模糊神经网络的学习算法．和遗传学习算法。

对于具有三角模物权的模城神经网络的学习算法，首先考虑模数数的模糊乘式(3—20)和模糊加式(3—23)。模糊非线性映射式(3—25)，这些运算都是在水平截集的情况中执行的。

对于α截集，为了方便书写，这里不采用式(3—58)的表示方法，而采用下面表示方法：

对于模糊数N的α截集，用N[α]表示，并且有：

(3-89)

其中：N(n)是隶属函数，R是全体实数集。
由于模糊数的水平截集是一个闭区间，故α截集N[α]可以表示为

(3-90)

其中n_L(α)是N[α]的下限值；
n_u(α)是N[α]的上限值。
根据区问算法，模糊数的运算可以写成α截集的运算

(3-91)



(3-93)

在b_u(α)>b_L(α)>0的情况中，则式(3—92)可以简化为

(3-94)

一、算术模糊神经网络输出的计算

考虑一个三层的前向神经网络，用I表示输入层，H表示隐层，O表示输出层。假设其输入、输出、权系数和阀值都是模糊量；其中输人、输出是任意模糊量，但权系数和阀值是三角模糊量。这种模糊神经网络如图3—10所示。

图3-10 模糊神经网络

很明显，对于图3—10所示的网络有如下输入输出关系，输人层的输出为I_i:
I_i=X_i i=1,2,...,nI            (3-95)

隐层的输出为Hj：

H_j=f(U_j),j=1,2,...,nH           (3-96)

(3-97)

输出层的输出为Ok：
O_k=f(U_k),k=1,2,...,nO             (3-98)

(3-99)

在上面(3—95)到(3—99)式中，X_i是模糊输入，W_ji，W_kj是模糊权系数，θ_j，θ_k是模糊阀值。

为方便计算，在图3—10所示的模糊神经网络中，采用水平截集进行计算。对于α截集，则模糊神经网络输入输出关系可以写为下面式子：

对于输入层，有

I_i[α]=X_i[α]         (3-100)

对于隐层，有

H_j[α]=f(U_j[α])        (3-101)

(3-102)

对于输出层，有
O_k[α]=f(U_k[α])           (3-103)

(3-104)

从上面(3—100)到(3—104)式中，可以看出：神经网络的模糊量α截集输出是由输入，隐层和阀值的α截集计算出来的。在输入的模糊量的α截集X_i[α]是非负的，即有

X_i[α]=[X_L(α),X_U(α)]          (3-105)

并且

0≤X_L(α)≤X_U(α)

从而，对于输入层，隐层及输出层，可以用下列式子计算：

1．对于输入层：

I_i[α]=X_i[α]=[X_iL(α),X_iU(α)]           (3-106)

2．对于隐层：

H_j[α]=[h_jL(α),h_jU(α)]
          =[f(U_jL(α)),f(U_jU(α))]      (3-107)

其中

(3-108)

(3-109)

3．对于输出层

O_k[α]=[O_kL(α),O_kU(α)]
        =[f(U_kL(α)),f(U_kU(α))]      (3-110)

其中

(3-111)

(3-112)

二、模糊神经网络的学习

在模糊神经网络的学习中首先要给出目标函数，然后给出学习算法公式，再给出学习步骤。

图3-11 目标函数

1．目标函数

考虑对应于模糊输人Xi， i＝1，2，…，nI，有目标输出T_k， k＝1，2，…，nO；对于网络的第k个输出端O_k的α截集以及相应的目标输出T_k，可以定义目标函数e。

在图3—11中，取O_k和T_k的α截集的上限值和下限值的误差的平方，并用 α值进行加权作为目标函数e，有

e_k(α)=e_kL(α)+e_kU(α)       (3-113)

其中：e_kL( α)是O_k和T_k的 α截集的下限值的误差平方的。加权值：

(3-114)

e_kU(α)是O_k和T_k的α截集的上限值的误差平方的 α加权值：

(3-115)

从而O_k和T_k的α截集的目标函数可以定义为e( α)

(3-116)

则输入输出对X_i，T_k的目标函数可以给出如下：

(3-117)

2．学习算法

假设三角模糊权系数W_kj，W_ji可以用三个参数表示，即

W_kj=(W_kjL,W_kjC,W_kjU)           (3-118)

其中：W_kjL是权系数的最小值，即其零截集的下限值；

W_kjC是权系数的中值，即其顶角所对应的值；

W_kjU是权系数的最大值，即其零截集的上限值；

W_ji=(W_jiL,W_jiC,W_jiU)           (3-119)

其中参数的意义和W_kj中的类同。

很明显，有

(3-120)

(3-121)

由于W_kj是表示隐层和输出层之间的权系数，可以先考虑其学习算法。根据梯度法．可以用目标函数对Wkj进行修正：

(3-122)

(3-123)

其中： η是学习常数， β是修改常数。

在上面式(3-122)，(3-123)中，说明利用目标函数e修改权系数的零截集下限值WkjL以及上限值WkjU；故而也就修改了权系数Wkj。

很明显，在式(3—122)(3—123)中，关键在于求取：

从e( α)的定义可知：e( α)必定是权系数W_kj的函数，故而也是W_kj的 α截集的上下限值的函数，即有

e( α)=g(W_kjL( α),W_kjU( α))          (3-124)

而W_kjL，W_kjU分别是W_kj的零截集的上下限值，则可知：

W_kjL( α)是W_kjL或W_kjU的函数；W_kjU( α)也是W_kjL或W_kjU的函数。

从全微分的角度则有：

(3-125)

(3-126)

为了求式(3—125)(3—126)的结果，很明显，需要求出W_kjL、W_kjU和W_kjL( α)、W_kjU( α)之间的关系。由于权系数W_kj是一个三角对称模糊数，它的形状如图3—12所示。

图3-12 W_kjL、W_kjU和W_kjL( α)、W_kjU( α)的关系示意

在图3-12中，可以看出有

即有 X=α.Y

实际上：

故有

即

最后有

(3-127)

(3-128)

把式(3—127)(3—128)改写为下列形式

(3-129)

(3-130)

上两式则明显说明W_kjL、W_kjU和W_kjL( α)、W_kjU( α)的关系。
从而式(3—125)(3—126)则为：

(3-131)

(3-132)

很明显，要求取^ae( α)/^aW_kjL，^ae( α)/W_kjU的结果，应首先求出^ae( α)/^aW_kjL( α)和^ae( α)/W_kjU( α)的结果。由于从式(3—110)—(3—115)可知：e( α)、U_kL( α)和W_kjL( α)之间，e( α)、U_kU( α)和W_kjU( α)之间有一定的函数关系。故而有：

(3-133)

(3-134)

考虑：

由于 O_kL( α)=f(U_kL( α))

而

故而

f'(X)=f(X).(1-f(X))

(3-135)

(3-136)

对于^aU_kL( α)/^aW_kjL( α)和^aU_kU( α)/^aW_kjU( α)，应考虑W_kjL( α)和W_kjU( α)的值不同的情况。

(1)当0 ≤W_kjL( α) ≤W_kjU( α)时

(3-137)

(3-138)

(2)当W_kjL( α) ≤W_kjU( α) ≤0时

(3-139)

(3-140)

(3)当W_kjL( α)<0 ≤W_kjU( α)时

(3-141)

(3-142)

很明显；从式(3—131)—(3—142)则能求出

的值，从而式(3—122)、(3—123)可解。

最后，对称三角形模糊权系数W_kj可以用下面公式进行学习校正

W_kjL(t+1)=W_kjL(t)+ ΔW_kjL(t)           (3-143)

W_kjU(t+1)=W_kjU(t)+ ΔW_kjU(t)           (3-144)

(3-145)

在校正之后．有可能出现W_kjL>W_kjU的情况，这时．令

W_kjL(t+1)=min{W_kjL(t+1),W_kjU(t+1)}

W_kjU(t+1)=max{W_kjL(t+1),W_kjU(t+1)}

对于模糊权系数W_ji和模糊阀值 θ_j， θ_k．也可以采用模糊权系数W_kj的校正方法进行校正。

3．学习步骤

假设有m个模糊向量输入输出对(X_P，T_P)，P＝1，2，…，m；用于神经网络学习的截集有n个，即 α₁， α₂， α₃，...， α_n，在这种条件下，模糊神经网络的学习算法如下步骤：

(1)对模糊杖系数和模糊阀值取初值。

(2)对 α＝ α₁， α₂， α₃，...， α_n，重复执行第(3)步。

(3)对I=1，2，…’m；重复执行下列过程：

正向计算：对应于模糊输入向量X_p，求其输出模糊向量O_p，并计算O_p的。截集上下限。

反向传播：用目标函数e( α)，校正神经网络的模糊权系数和模糊阀值。

(4)如果预定的结束条件未能满足，则返回第(2)步；否则校正结束。

3．3．3 模糊神经网络的遗传学习算法

在模糊神经网络中，也可以采用遗传学习算法对参数进行学习。在这一节中，用一个具体的例子说明遗传学习算法在模糊神经网络参数学习中的情况及其结果。

一、一些基本概念

在这一节中，假设所考虑的模糊量是实数模糊集。为了简单起见，这些实数模糊集表示为：A、B、……、W、V。模糊量A在x处的隶属度表示为A(x)。

模糊量A的α截集表示为：

A[α]={x|A(x)≥α},0<α≤1

下面给出三角模糊数的定义：

由3个数字a
1．当x≤a，或x≥c时，N(x)=0；

当x＝b时，N(x)=1。

2．在[a，b]区间，从(a，0)到(b，1)，y＝N(x)是一条直线段；

在[b，c]区间，从(b，1)到(c，0)，y＝N(x)是一条直线段。

同理，可以给出三角形模糊数定义：

由3个数字a
1．当x≤a，或x≥c时，N(x)=0；

当x＝b时，N(x)=1。

2．在[a，b]区间，y＝N(x)是一条单调增曲线；

在[b，c]区间，y＝N(x)是一条单调减曲线。

无论是三角模糊数或三角形模糊数，都表示为：N＝(a/b/c)。

如果a≥0，则称N≥0。

模糊数N的模糊测度表示为f_uzz(N)，并且有：

f_uzz(N)＝b—a

如果有f_uzz(M)≥f_uzz(N)，则称M比N更模糊。

如果有M(x)≥N(x)，对所有x，则表示为M≥N。

二、模糊神经网络结构

在这一节中，所给出的模糊神经网络是三层前向网络，它的输人，权系数都是模糊数。模糊神经网络的结构如图3—13中所示。

图3-13 模糊神经网络

在图3—13中，输入X．权系数w，v是三角模糊数，输出Y和目标T可以是三角形模糊数。

除了输入层之外，所有的神经元都有激发函数y＝f(x)，并且f是连续从R到[-t,t]的非单调减映射，t是正整数，R是实数域。

在隐层中，第i个神经元的输入为I_i，有：

I_i=X.W_i, 1≤i≤4              (3.146)

而第i个神经元的输出为Z_i：

Z_i=f(I_i), 1
在输出层，输出神经元的输入为I₀

(3.148)

而在输出层产生的输出为Y

Y=f(I₀)                       (3.149)

为了对模糊神经网络进行学习，所用的训练数据为

(X₁,T_I),1≤I≤L

其中：T_I是在x₁为输入时所需的输出。

学习中，实际输出为Y₁， 1≤I≤L。

图3—13中所示的模糊神经网络的学习问题就是在输人为x₁时，找寻最优的权系数W_i，V_i，使实际输出Y_l逼近于T₁，1≤1≤L。

三、模糊神经网络的遗传学习算法

遗传算法是一种直接随机搜索方法，它的主要步骤包括编码、选择、交叉、变异等。其原理在3．2节中已说明。在这里只对优化过程的目标函数及一些参数加以介绍。

1．模糊救

因3—13所示的模糊神经网络，优化的目的是找寻最优的权系数W_i、V_i：

W_i=(W_i1/W_i2/W_i3)                  (3.150)

V_i=(V_i1/V_i2/V_i3)                  (3.151)

其中：1≤i≤4

W_i2=(W_i1+W_i3)/2

V_i2=(V_i1+V_i3)/2

从上两式可知：只要知道W_i1、W_i3和V_i1、V_i3，就可以确定权系数W_i和V_i。因此，遗传算法只需对模糊权系数W_i、V_i的支持集进行追踪寻优即可。因此，群体的个体编码表示为P：

P=(W₁₁,W₁₃,......,V₄₁,V₄₃)             (3.152)

P的编码采用二进制数。

2．遗传算法的有关参数

遗传算法的参数主要有3个，它们分别是群体数s，交叉车c，变异率M。一般是按经验进行选取。在这里，这些参数确定如下：

S＝2000

C=0．8

M＝0．0009

3．优化的目标函数

设Y₁的α截集为Y₁[α]，有

Y_l[α]=[y_l1(α),y_l2(α)]                 (3.153)

设T_l的α截集为T_l[α]，有

T_l[]=[t_l1(α),t_l2(α)]                   (3.154)

α∈{0,0.1,0.1,......,0.9,1.0}

则定义

(3.155)

(3.156)

E=E₁+E₂

遗传算法的目的就是寻找恰当的权系数Wi，Vi的值趋于0。

4．模糊神经网络的激发函数

图3—13所示的模糊神经网络中，隐层和输出层的激发函数f的意义如下：

(3.157)

其中：t是正整数，一般根据应用情况选择t的值。由于输出的目标模糊数T在[-1，1]区间之内，故在输出层中t的值通常取1。
四、学习情况

采用遗传算法对图3—13的模糊神经网络进行学习之后，可得出在不同输入输出要求下的学习结果。在这里给出一些具体的学习结果。

1．基本概念

(1)相同模糊度

如果对于输入X₁和目标T_I，存在：

f_uzz(X_I)＝f_uzz(T_I)， 1≤I≤L

则称输入和输出有相同模糊度，亦称等模糊。

(2)过模糊

如果对于输入X1和目标T1，存在：

f_uzz(X_I)uzz(T_I), 1≤I≤L

则称输出为过模糊。

(3)欠模糊

如果对于输人X1和目标TI，存在

f_uzz(X_I)>f_uzz(T_I),1≤I≤L

则称输出为欠模糊。

2．等模糊的学习结果

训练数据用模糊函数F产生，故而有

T=F(X)                               (3.158)

由于是等模糊学习，故而必须选取函数F使

f_uzz(T)=f_uzz(X)

故而，选择如下式子

T=-X+1                               (3.159)

从而，当X在[-1，1]区间时，则T处于[-2，2]区间。

给出训练数据如下表3—1所示。

表3-1 等模糊训练数据

编号

输入X

输出T

1 (-1/-0.75/-0.5) (1.5/1.75/2)

2 (-0.25/0/0.25) (0.75/1/1.25)

3 (0.5/0.75/1) (0/0.25/0.5)

在表3—1中，模糊数是三角或三角形模糊数，故用(a／b／c)方式表示。从表中看出：它们是对称三角模糊数。

在学习时，隐层和输出层的激发函数f都取式(3．157)，不过由于输出层的目标T处于[-2,2]，故t取值为2。在输出层f还加上一个需学习的偏置项，从而使神经网络可以学习-X+1，而得到T。在这种情况下，遗传学习取得很好的结果。并且，其权系数可以是实数。

3．过模糊的学习结果

训练数据采用如下公式产生：

T=A.X

其中：X在[-0．5，0．5]区间，

A＝(1／1．5／2)

故而，目标T处于[-1，1]区间。

显然有：fuzz(T)>fuzz(X)，即过模糊的结果。

训练数据给出如下表3—2所示。

表3-2 过模糊训练数据

编号输入X f_uzz(X) 输出T fuzz(T)

1 (-0.5/-0.25/0) 0.5 (-1/-0.375/0) 1

2 (-0.25/0/0.25) 0.5 (-0.5/0/0.5) 1

3 (0/0.25/0.5) 0.5 (0/0.375/1) 1

在表3—2中，x是三角模糊数，T是三角形模糊数。

在隐层和输出层中，激发函数f中的t取值为1，所有的权系数都是模糊数。遗传算法对训练数据执行很好的学习，并可使偏差E＝0。

4．欠模糊的学习结果

训练数据由如下公式产生：

T=1/X

其中：X可在(-m，1)或[1，m]区间取值。故而T处于[-1，1]区间中。

显然有欠模糊结果：fuzz(T)
为了训练，把X的值在[1，3]区间中选取，T是三角形模糊数。

训练数据给出如下表3—3所示。

表3-3 欠模糊训练数据

编号输入X f_uzz(X) 输出T fuzz(T)

1 (1/1.25/1.5) 0.5 1/3

2 (1.5/1.75/2) 0.5 1/6

3 (2/2.25/2.5) 0.5 1/10

4 (2.5/2.75/3) 0.5 1/15

在隐层中，激发函数f中的t取值为3。

模糊神经网络不能对这些训练数据进行学习。其主要原因在于式(3．157)所表示的激发函数是线性压缩函数，它无法满足对T＝1／x这种非线性函数的逼近。如果f采用非线性压缩函数，则会较好进行学习。

第四章神经模糊控制

用神经网络去实现模糊控制则称为神经模糊控制(Neuro-Fuzzy Control)。神经模糊控制是神经网络应用的一个重要方向。这种控制最吸引人的是能够对神经网络进行学习，从而可对模糊控制系统实现优化。

神经模糊控制有两种不同的实现方法。一种是用常规神经元和模糊神经元组成网络实现模糊控制；另一种是用模糊神经元组成网络实现控制。

模糊神经网络FNN3是典型的网络，Buckley等人证明了FNN3是一种单调映射，故而FNN3不是通用逼近器，但混合模糊神经网络HFNN则是通用逼近器。

模糊控制的控制曲面具有单调的特征，所以，模糊神经网络可以用于模糊控制。模糊控制中较多采用Mamdani以及Takagi-Sugeno推理。对于Mamdani推理，控制规则形式为：

Ri：if x is Ai and y is Bi then Z is Ci每条规则的击发强度为：

α_i=μ_Ai(X₀)Λμ_Bi(y₀)         (4.1)

其中：X0，Y0为输入。

则从控制规则中得到的控制为：

μ_c(z)＝V_i[α_iμ_ci(z)]         (4.2)

对于Takagi-Sugeno推理，控制规则的形式为：

Ri：if x is Ai and y is Bi then Z=fi(x,y)每条规则的击发强度为

α_i=μ_Ai(X₀)Λμ_Bi(y₀)

则从所有控制规则推得的结果为

(4.3)

很明显对于Mamdani推理，采用模糊神经元就可以建立模糊控制器；对于Takagi-Sugeno推理，则需要常规神经元和模糊神经元组成的网络来完成。故而．不同的推理方式对应的模糊神经网络有所不同。

4．1 神经模糊控制器

神经模糊控制器是用神经网络构成的模糊控制器；神经模糊控制器是神经模糊控制的核心。神经模糊控制器最关留的是结构和学习问题。

神经模糊控制器的结构应该是一种这样的拓扑结构，它可以处理模糊信息，并能完成模糊推理。

神经模糊控制器的学习则是一种能完成模糊推理的神经网络的学习。

在这一节中，介绍神经模糊控制器的结构及学习算法。

4．1．1 逻辑神经元组成的神经模糊控制器

逻辑神经元是模糊神经元的一种类型，用逻辑神经元可以构成执行Mamdani推理的模糊控制器。在这种模糊控制器中，每条控制规则可以用一个模糊神经网络实现。

一、模糊控制系统的参数

考虑一个模糊控制的过程，并且具有如下约定的参数：

在时间t时的输人为u(t)，输出为y(t)；设给定为s，则S也是输出的目标值。

设采样周期为T，并在离散时间t＝T，2T……时对输出进行检测。则偏差及偏差变化率求取如下：

e(t)=y(t)-s                  (4.4)

Δe(t)=[e(t)-e(t-T)]/T         (4.5)

对于模物控制器，其输入为e(t)，Δe(t)，模糊值输出为O(t)，反模糊化后的输出为U(t)。

模糊控制器的控制规则集为：

R_r：if e=A_i and Δe=B_i then O=C_p

1≤r≤g

在神经模糊控制器中，关键的是如何根据输入e、Δe而得到0，也即是实现模糊控制规则。

设A_i∈[a₁，b₁]，B_j∈[a₂，b₂]，C_p∈[a₃，b₃]，则在e、Δe和O的论域中，选取如下离散的点：

1．在[a1，b1]中取的离散点为X_i，并且有：

X_o=a₁                    (4.6)

X_i=a₁+i(b₁-a₁)/N₁        (4.7)

其中：1≤i≤N₁，N₁为正整数。

2.在[a₂，b₂]中取的离散点为y_i，并且有

y_o=a₂                  (4.8)

y_i=a₂+i(b₂-a₂)/N₂          (4.9)

其中：1≤i≤N₂，N₂为正整数。

3．在[a₃,b₃]中取的离散点为Z_i，并且有

Z_o=a₃                     (4.10)

Z_i=a₃+i(b₃-a₃)/N₃         (4.11)

其中：13，N₃为正整数。

对于给出的模糊控制规则中的模糊量A_i，B_j，C_p则有离散的隶属度：

A_i(x_j),0≤j≤N₁

B_j(y_k),0≤k≤N₂

C_p(Z_i),0≤i≤N₃

二、实现控制规则的神经网络

逻辑神经元组成的模糊神经网络如图4—1中所示。它有m个输入神经元，分别表示为I₁，I₂……I_m；同时有n个输出神经元，分别表示为Q₁，Q₂，…，Q_n。

设训练数据集为输入V_k和目标D_k，1≤k≤K，并且V_k和D_k都是向量：

V_k=(V_k1,V_k2,……,V_km)           (4.12)

D_k=(D_k1,D_k2,……,D_kn)           (4.13)

在给定输入为V_k时，有输出向量Q_k：

Q_k=(Q_k1,Q_k2,……,Q_kn)              (4.14)

在输入神经元I_j和输出神经元Q_i之间的权系数为r_ji，i＝1，2，……，n， j＝1，2，……，m。

在输出神经元Q_i中有偏置项θ_i，用θ表示θ_i向量，则有：

θ=(θ₁,θ₂,……,θ_n)          (4.15)

图4-1 模糊神经网络

在图4—1中，神经元是逻辑神经元，故而当给定输入V_k后，则有输出

也可以用一个通式表示上面所有的n个式子

Q_ki=[(V_k1∧r_li)∨......∨(V_km∧r_mi)]∨θ_i            (4.16)

1≤i≤n

在图4—1中，把输入V_k看成是一个行向量，把偏置项θ看成—个行向量，并令

(4.17)

则可以用向量方程描述神经网络的输入和输出如下

Q_k=(V_koR)∨θ                 (4.18)

对于模糊控制器而言，它可以是由控制规则集组成。对于控制规则集

R_r:if e=Ai and Δe=Bj then Q=C_p

1≤r≤g

则可以用一个神经网络模块实现一条规则，如果用n个神经网络模块则可以实现n条规则；也即是实现一个模糊控制器。

下面说明如何用一个神经网络模块实现一条控制规则。

在图4—1所示的神经网络可看成一个模块。根据式(4．6)(4．7)所表示的模糊量Ai所取的离散点有N₁+1个；式(4．8)(4．9)所表示的模糊量Bj所取的离散点有N₂+1个；式(4．10)(4．11)所表示的模糊量C_p所取的离散点有N₃+1个。令图4—1所示的神经网络模块中。

m=(N₁+1)+(N₂+1)=N₁+N₂+2                (4.19)

n=N₃+1                                 (4.20)

在输人的m个神经元中，把其中的N₁+1个神经元用于输入Ai；其中的N₂+1个神经元用于输入Bj。而输出的n个神经元用于目标C_p。并以此进行学习，则可以在学习结束时，得到能实现一条规则的一个神经网络模块。学习时，

A_i(X₀)——I₁

A_i(X₁)——I₂

……

A_i(X_N1)——I_N1+1

而同时

B_j(y₀)=I_N1+2

B_j(y₁)=I_N1+3

……

B_j(y_N2)=I_m

并且，输出目标为：

C_p(Z₀)——Q₁

C_p(Z₁)——Q₂

……

C_p(Z_N3)——Q_n

在控制规则集中，一共有g条规则，最后用g个神经网络模块，则可以实现模糊控制器。这个控制器即是神经模糊控制器。

4．1．2 神经模糊控制器的学习算法

图4—1所示的逻辑神经网络所组成的神经模糊控制器可以用改进的梯度法进行学习。

设给出的训练输人为Vk，目标为Dk，1≤k≤K，并且：

V_k=(V_k1,V_k2,…,V_km)

D_k=(D_k1,D_k2,…,D_kn)

而图4—1所示的网络在输入为V_k时，实际输出为Q_k。学习的目的，则是令Q_k逼近于D_k。实质上，就是修改网络的权系数r_ji，使到网络的插出Q_k趋于目标D_k。换而言之，也即是使式(4．18)中的Q_k＝D_k时，求其解R。即在

D_k=(V_koR)∨θ                     (4.21)

中，给出Dk，Vk，θ，求R。

为了进行学习，取目标函数J

(4.22)

学习算法是采用改进的梯度算法，这个算法用下面两个公式表示

(4.23)

(4.24)

其中：l＝1，2，3，……是迭代次数

η_i，i＝1，2，是学习速率，

α_i，i＝1，2，是动量常数。

在式(4．23)(4．24)中，Δr_ji和Δθ_i的意义如下

(4.25)

(4.26)

对于Δr_ji，可计算如下

(4.27)

(4.28)

对于式(4．28)，可以解释如下：假定m＝2，n＝1，同时忽略下标k。则输入有V₁，V₂，对于V₁有权系数r₁，对于V₂有权系数r₂；两输出偏置项为θ。

设V₁＝0．7，V₂＝0．3，r₁＝1，r₂＝0．5，θ＝0．则根据式(4．18)有：

故而有

设V₁＝0．7，V₂＝0．3，r₁＝0.6，r₂＝0．5，θ＝0．则根据式(4．18)有：

故而有

很明显，式(4．28)的意义是恰当的。

同样，对于Δθ_i，可计算如下：

(4.29)

(4.30)

为了保证r_ji(l+1)和θ_i(l+1)的值能处于[0，1]区间，故而给出附加的约束条件如下：

1．在式(4．23)中，如果式子右边得到的数值小于0，则令r_ji(l+1)＝0；如果式子右边得到的数值大于1，则令r_ji(l+1)＝1。

2．在式(4．24)中，如果式子右边得到的数值小于0，则令θ_i(l+1)＝0；如果式子右边得到的数值大于1，则令θ_i(l+1)＝1。

式(4.23)(4．24)所表示的学习算法对所选择的r_ji、的初值较为敏感。在初值选择时一般选θ_i=0。

4．1．3 多种神经元组成的神经模糊控制器

神经模糊控制器可以由多种神经元组成，这些神经元包括常规神经元，或神经元和与神经元等模糊神经元等。神经模糊控制器根据不同的推理规则，有不同的结构；所需的神经元不同，对于相同的推理规则其结构也不同。

一、Mamdani推理的模糊控制器
Mamdani推理规则的形式如下：
R_i：if x₁=A_i1 and x₂=A_i2 and ...... and x_n=A_in then y=B_j

当输入信号为精确值X0时有：

X₀＝{x₀₁，x₀₂，……，x_0n}

则对于前件，有隶属度：

A_i1(x₀₁)，A_i2(x₀₂)，……，A_in(x_0n)

对于第i条推理规则，则得到其前件的适合度W_i：

W_i=A_i1(x₀₁)∧A_i2(x₀₂)∧，……，∧A_in(x_0n) (4.31)

第i条推理规则的推理结果为

W_i∧B_i

全部规则在X₀作用时得到的推理结果为

B^*＝U_i(W_i∧B_i)                       (4.32)

根据Mamdani推理规则，用经向基函数RBF(Radial Basis Function)为激发函数的神经元，与神经元，或神经元，则可以组成模糊控制器。为了方便说明这种神经模糊控制器，考虑只在4条控制规则的情况。

对于模糊控制器来说，有2个输入x₁，x₂，1个输出y。

输人x₁的空间的模糊划分为“大”(L)，“小”(S)，并表示为A₁₁＝L，A₂₁＝S。

输入x₂的空间的模糊划分也为“大”(L)，“小”(S)，并表示为A₁₂＝L，A₂₂＝S。

输出y的空间的模糊划分为“大”(L)，“偏大”(ML)，“中”(M)，“小”(S)。

从而有4条推理规则：

if x₁=L and x₂=L then y=L
if x₁=L and x₂=S then y=ML
if x₁=S and x₂=L then y=M
if x₁=S and x₂=S then y=S
也可以写成：
if x₁=A₁₁ and x₂=A₁₂ then y=B₁
if x₁=A₁₁ and x₂=A₂₂ then y=B₂
if x₁=A₂₁ and x2=A₁₂ then y=B₃
if x₁=A₂₁ and x₂=A₂₂ then y=B₄
能完成这4条控制规则的神经模糊控制器如图4—2所示。

图4-2 Mamdani推理神经模糊控制器

当输入信号为x₁⁰，x₂⁰时，对第1—4条推理规则分别产生前件的适合度为W₁，W₂，W₃，W₄：

W₁=A₁₁(x₁⁰)∧A₁₂(x₂⁰)

W₂=A₁₁(x₁⁰)∧A₂₂(x₂⁰)

W₃=A₂₁(x₁⁰)∧A₁₂(x₂⁰)

W₄=A₂₁(x₁⁰)∧A₂₂(x₂⁰)

从而，对应的第1—4条规则所产生的推理结果分别是：

y₁=W₁∧B₁

y₂=W₂∧B₂

y₃=W₃∧B₃

y₄=W₄∧B₄

全部推理规则产生的最终结果为

(4.33)

即有

(4.34)

在图4—2中。所示的神经网络一共有5层，它们组成了一个模糊控制器．下面分别说明各层的意义和作用。

第1层：这是输入节点，只用于输入X1，X2的值。

第2层：这是模糊化层。这里的神经元是用径向基函数为激发函数的。径向基函数一般用高斯函数，钟形函数，梯形函数或三角形函数。径向基函数用于表述模糊量的隶属函数。

高斯函数(Gaussian function)的表达式如下：

G(x；a,c)=exp{-[(x-c)/a]²}               (4.35)

其中：c是函数的中心，

a是函数的宽度。

高斯函数的形状如图4—3所示。

钟形函数(Bell shape function)的表达式如下：

(4.36)

其中：c是函数的中心，

a是函数的宽度，

b是边缘的斜率参数。

钟形函数的形状如图4—4所示，在图中也给出了有关参数a，b，c的意义。

图4-3 高斯函数

图4-4 钟形函数

梯形函数(Trapezoidal function)的表达式如下

(4.37)

其中：a是梯形左边底角顶点坐标，
b是梯形左边顶角顶点坐标，
c是梯形右边顶角顶点坐标，
d是梯形右边底角顶点坐标。
梯形函数的形状如图4—5所示。
三角形函数(Triangular function)的表达式如下

(4.38)

其中：a是三角形左边底角顶点坐标，

b是三角形顶角顶点坐标，

c是三角形右边底顶角顶点坐标。

图4-5 梯形函数

三角形函数的形状如图4—6所示

图4-6 三角形函数

显然，当在输入层有精确信号x输入，则在第2层就可以在径向基函数激发下产生对应的隶属度A(x)。
第3层完成控制规则的前件作用，它们是与神经元，用于产生每条规则的适合度。在图4—2中．第2层与第3层之间有连接，但没有权系数。显然有

W₁=A₁₁(x₁)∧A₁₂(x₂)

W₂=A₁₁(x₁)∧A₂₂(x₂)

W₃=A₂₁(x₁)∧A₁₂(x₂)

W₄=A₂₁(x₁)∧A₂₂(x₂)

第4层是或神经元，它用于完成控制规则后件的功能，产生每条规则对应于输入所产生的输出。第3层与第4层之间的连接权系数是控制规则的后件模糊量。故而有：

y₁=W₁∧B₁

y₂=W₂∧B₂

y₃=W₃∧B₃

y₄=W₄∧B₄

第5层是输出层，它用于产生控制规则的总输出。输出层是或神经元，在第4层和第5层之间的连接没有权系数。故而最后输出有：

二、Takagi-Sugeno推理的神经模糊控制器

T—S推理的形式可以表示如下：

if x is A and y is B then Z=f(x,y)

为了方便说明问题，考虑如下4条具体的控制规则

if x=A₁ and y=B₁ then Z=a₁₀+a₁₁x+a₁₂y

if x=A₁ and y=B₂ then Z=a₂₀+a₂₁x+a₂₂y

if x=A₂ and y=B₁ then Z=a₃₀+a₃₁x+a₃₂y

if x=A₂ and y=B₂ then Z=a₄₀+a₄₁x+a₄₂y

根据这4条规则，对于前件，则有适合度

W₁=A₁(x)∧B₁(y)
W₂=A₂(x)∧B₂(y)
W₃=A₃(x)∧B₃(y)
W₄=A₄(x)∧B₄(y)

而在这4条规则的后件，则有输出

Z₁=a₁₀+a₁₁x+a₁₂y

Z₂=a₂₀+a₂₁x+a₂₂y

Z₃=a₃₀+a₃₁x+a₃₂y

Z₄=a₄₀+a₄₁x+a₄₂y

图4—7 Takagi-Sugeno推理神经模糊控制器

考虑这4条规则的总输出，则有

可以完成T—S推理的上述4条规则的神经网络如图4—7所示。在图4—7中的网络分成上下部分。上部分含有4层，下部分也有4层；上下两部分的输出再通过一个神经元Q产生最后的输出。

下面分别说明这个网络各部分的功能。

1．上部分网络

第1层：是输入层，它只是一个输入节点，并不是神经元。

第2层：是模糊化层。这层的神经元的激发函数采用高斯函数等径向基函数。在这一层可产生隶属度输出：A1(x)，A2(x)，B1(y)．B2(y)。

第3层：执行前件的功能，也就是求前件的适合度。这层采用与神经元；并且有

W₁=A₁(x)∧B₁(y)

W₂=A₁(x)∧B₂(y)

W₃=A₂(x)∧B₁(y)

W₄=A₂(x)∧B₂(y)

第4层；这层和第2层一样，也是常规神经元。第3层和第4层之间的连接没有权系数，并且．在第4层的神经元的激发函数为：

         f(x)=1/x

故而，有：

         p=1/∑W_i

2．下部分网络

第1层：和上部分网络一样，这一层只是输入节点。

第2层：它是常规神经元，并且在第1层和第2层之间存在连接权系数。权系数为a₁₁，

a₂₁，a₃₁，a₄₁，a₁₂，a₂₂，a₃₂，a₄₂。在这一层中，神经元的阀值为-a₁₀，-a₂₀，-a₃₀，-a₄₀。故而有输出：

Z₁=a₁₀+a₁₁x+a₁₂y

Z₂=a₂₀+a₂₁x+a₂₂y

Z₃=a₃₀+a₃₁x+a₃₂y

Z₄=a₄₀+a₄₁x+a₄₂y

第3层：用于求取每条规则输出的适合度，第3层和第2层之间的连接没有权系数；这里的第3层和上部分网络的第3层连接也没有权系数。并且，这一层的神经元是求积神经元。即有：

M₁=W₁Z₁M₂=W₂Z₂

M₃=W₃Z₃M₄=W₄Z₄

第4层：用于对策3层的输出求和。故它是一个常规神经元。这一层和第3层连接没有权系数。并且激发函数f(x)＝x。故有：

N=∑W_iZ_i

3．最终输出神经元Q

最终输出神经元Q是一个求积神经元。它的作用对输入信号求乘积。Q和P，N的连接没有权繁数。所以，Q的输出为

显然，图4—7完全可以实现上面所给出的执行T—S推理的4条规则的功能。也即是它是一个能完成T—S推理的神经模糊控制器。

4．2神经模糊控制系统

神经模糊控制系统是用神经网络作为控制器实现模糊推理控制的系统。

模糊控制系统有一个很明显的缺点：这就是它缺乏有效的学习机制。神经模糊控制系统的优异之处则在于可以用神经网络的学习机制补偿模糊控制系统原有的缺点；

神经模糊控制系统是以基于网络的适应模糊推理系统ANFIS(Adaptive Network-based Fuzzy Inference System)组成的。ANFIS也称适应神经模糊推理系统(Adaptive Neuro-Fuzzy Inference System)。在前面有关章节中所介绍的神经模糊控制器也就是典型的ANFIS。

典型的反馈控制系统框图如图4—8所示，它由控制器和被控对象组成。被控对象一般由一组差分方程描述。这些方程说明了被控对象状态x(t)的特性。而对于控制器而言，通常是用g表示其静态函数，这也就是被控对象x(t)状态对控制作用u(t)的影射。

图4-8 反馈控制系统框图

对于框图，可以有以下方程

x(k+1)=f(x(k),u(k))

u(k)=g(x(k))

在控制工程中，其中心的问题是：为了达到预期的控制目的，就是要找出作为对象输出状态x的函数的控制作用u。

用神经网络构成模糊控制器，就是用神经网络实现模糊映射；并且对一个被控对象进行控制。

在这一节中，先介绍神经模糊控制系统的有关结构，再介绍神经模糊控制系统的具体应用情况。

4．2．1 神经模糊控制系统结构

神经模糊控制系统的结构是和所采用的控制方式有关的。神经模糊控制有多种不同的控制方式，这些方式包括模仿经验控制，逆控制，专门学习控制，反馈线性化及滑模控制，其它方式控制。在这一部分，分别简要介绍这些控制方式及控制系统的结构。

一、模仿经验控制

模仿经验控制在本质上是把人们的经验加以总结，然后用神经模糊控制器模仿人的有关经验，从而实现对被控对象的控制。模仿专家的经验进行控制是模糊控制器的本来的目的。对一些复杂的系统，例如化学反应过程，地下铁道，交通系统等，人类的专家可以很好的实现控制，神经模糊控制器可以模仿这些专家，实现对复杂系统的有效控制。

一船而言，专家给出的经验是以模糊条件语句的方式给出的，而条件语句中的模糊量隶属函数也较粗糙；所以在应用时还需要进行较多的试验和误差处理，以重新定义隶属函数。

采用神经模糊控制器来进行模仿经验控制，则可以采用神经网络的学习机制，并利用其对数字信息，如输入输出数据的学习处理，从而可以对隶属函数进行重新定义。最后，取得较合理的结果。

这种方法不但可以用于控制系统；如果，目标系统可以用人类经验进行模仿；那么．所得到的模糊推理系统是模糊专家系统。故而，这种方法也可以用于系统诊断和分析。

二、逆控制

逆控制是神经模糊控制的一种控制方式，这种控制方式来自于神经网络控制方法。

神经模糊逆控制的作用如图4—9所示。为了简便起见，假设被控设备只有一个输出状态x(k)和一个输人u(k)。控制分成两个阶段：即学习阶段和应用阶段。

(a)

(b)

图4-9 神经模糊逆控制

在学习阶段，采用随机输入集，可以得到被控对象所产生的相应输出。学习阶段如图4-9(a)所示。在图中，ANFIS用于学习被控对象的逆模型。在学习时，采用随机输入信号u(k)以及输出信号x(k)，x(k+1)这些信息。

在应用阶段，系统的结构如图4—9(b)所示。被控对象的逆模型用作控制器直接对被控对象进行控制。如果对象的逆模型是精确的，也即是x(k)，x(k+1)到u(k)的映射是精确的，确的，则用u(k)去对对象进行控制必定能产生结果x(k+1)。这个结果会逼近给定x_d(k)。这个系统在控制的角度讲是一个纯单周期延时系统。

这种控制方法看起来只需一个唯一的学习任务，也就是寻找对象的逆模型。这就要求有一个先决的条件，即对象的逆模型存在。但是，并非所有的对象存在逆模型．进一步讲，网络络误差[c_u(k)]²的最小化并不能确保整个系统误差‖x_d(k)-x(k)‖²的最小化。

要克服这个问题，可采用ANFIS构成适应逆控制系统。

三、专门学习控制

逆控制所存在的主要问题是以神经网络的误差最小化取代整个系统的误差最小化。在神经模糊控制中，直接使系统误差最小化的一种方法是所谓“专门学习”方法。这种方法如图4-10中所示：

(a)

(b)

图4-10 神经模糊逆控制

为了使反向传播误差信号通过图4—10中的对象框图，故而需要求取可以代表对象性能的模型。事实上，为了采用BP学习算法，需要知道对象的雅可比矩阵(Jacobian matrix)，在该矩阵中，其i行j列的元素等于对象的第i次输出对其第i次输入的导数。

如果对象的雅可比矩阵不容易求取，则可以在两个连续的时刻对对象在线进行输入和输出变化处理，以估计雅可比矩阵。

专门学习控制的结构如图4—10(a)中所示。给定信号为x_d(k+1)，在ANFIS控制器中输入系统的输出x(k)，然后把ANFIS输出u(k)以及系统输出x(k)作为对象的输人。把对象输出x(k+1)和给定信号x_d(k+1)进行比较，产生的误差e_x用于对ANFIS控制器校正。校正过程采用BP算法。很明显，这是以整个系统的误差最小化为目标进行学习的。

通常人们不习惯在每个时刻k去表明所需的对象输出x(k)，在参考模型适应控制中，所需的整个系统的性能可以用一个通常是线性的模型来表示，这个模型可以成功地满足控制目的。这种方法如图4—10(b)中所示。在图中，所需的输出x_d(k+1)通过所需模型产生。

四、反馈线性化及滑模糊控制

在连续时间域中，动态系统的运动方程可以用典型的形式表达如下

x⁽ⁿ⁾(t)=f(x(t),x(t),x⁽²⁾(t),......,x^(n-1)(t))+bu(t)            (4.39)

其中：f是未知连续函数，

b是控制增益。

系统控制的目的是使状态向量

X=[x,x,x⁽²⁾,......,x^(n-1)]^T                 (4.40)

即随所需的轨迹

X_d=[x_d,x_d,x_d⁽²⁾,......,x_d^(n-1)]^T           (4.41)
如果定义误差向量为
e=X-X_d                                            (4.42)
则控制目的是设计一个控制u(t)，使得在t——∞时，e——0。
如果f是已知的，则式(4—39)可以简化为线性系统，故它是一个典型线性化系统。
在f已知时，采用下面控制u(t)：
u(t)=-f(X(t))+X_d⁽ⁿ⁾+k^T_e           (4.43)
将把原有的非线性系统转换成线性系统：
e⁽ⁿ⁾(t)+k₁e^(n-1)+……+k_(n-1)e+k_n＝0              (4.44)
这里，K＝[k_n，k_(n-1)，……，k₁]^T是恰当选择的向量，它应保证满足式(4．44)闭环线性系统的特性。
但在式(4．39)中，f是未知函数，从直觉上应选择控制u(t)为：
u(t)=-F(X,p)+x_d⁽ⁿ⁾+k^T_e+V               (4.45)
其中：F是足以逼近f的参数化函数，
V是附加输入。
当采用控制u(t)时，则得到的闭环系统按如下求出：
1．在式(4．43)中，k^Te满足式(4．44)，即有：
u(t)=-f(X(t))+x_d(n)               (4.46)
2．从式(4．45)，(4．46)则有
-f(x(t))+x_d⁽ⁿ⁾＝-F(X，p)+x_d⁽ⁿ⁾+k^Te+V
从而有
kTe=F(X,p)-f(X(t))-V
即有：
e⁽ⁿ⁾+k₁e^(n-1)+......+k_(n-1)e+k_u=(F-f)-V               (4.47)
式(4．47)表述了用式(4．45)所示的控制时得到的闭环系统。
很显明，存在两个问题：
1．需要逐渐修改参数向量P，使到对于所有的X，有F(X，p)≈f(x)
2．在F逼近f的整个过程中，需要加上附加控制V以保证总体稳定性。
解决策一个问题不难，采用模糊神经网络就可以通过参数学习逼近f。
解决第二个问题则可以采用滑模控制。
这种控制方式只能用于反馈可线性化的系统。
五、其他控制方式
其它控制方式还有增益排表控制(Gain Scheduling Control)，随机方法，增强学习(Reinforcement learning)法等。增益排表控制一般用于一阶Sugeno模糊模型，而随机方法一般用于复杂控制系统。对于对象模型不清楚的或不是很有效的，则可以用增强学习方法。
4．2．2典型的神经模糊控制系统
神经模糊控制系统可以用多种神经网络来实现。这些神经网络可以是正向前馈网络，也可以是反馈网络。既可以用模糊神经网络，也可以用径向基函数，也可以用单向线性响应函数作为激发函数的神经元。在这一节中，给出两十分典型的例子，一个是采用模糊推理网络的例子，一个是采用单向线性响应激发函数的例子。它们构成了结构不同的神经模糊控制系统。而它们各自有着明显不同的特点，但在学习上都是取得较好的效果。
一、模糊推理网络构成的控制系统
这是一个采用简化模糊推理网络SFIN(Simplified Fuzzy Inference Network)组成的神经模糊控制系统，由于采用了神经网络，故而在系统中的控制器是自校正模糊逻辑控制器STFLC(Self-Tuning Fuzzy Logic Controller)。下面对这个系统进行简要介绍。
1．简化模糊推理网络
模糊逻辑控制器是执行Takagi-Sugeno推理的控制器．考虑控制器为多输入单输出结构。控制规则有如下形式：
if X is A_i then y_i=f_i(X)
其中：X=[x₁,x₂,......,x_m]^T
      A_i=[A_1i,A_2i,......,A_mi]
      f_i(X)=[P_0i+P_1ix₁+......+P_mix_m]
      i=1,2,......,n。
在控制规则中，X是输入；A_i是模糊量；A_ki是第k一个输入分量x_k的第i个模彻量。f_i(X)是对应于输人x的输出，P_ki是第6规则中后件二项式中的输入量系数。
对于第i条规则，其匹配度用D_i表示，并且有
D_i=A_1i(x₁)*A_2i(x₂)*......*A_mi(x_m)                 (4.48)
其中：x₁，x₂，……，x_m为输入精确量
A_1i(x₁)为x₁对A_1i的隶属度，其余A_1i(x₂)，……，A_mi(x_m)同理。
所有的控制规则产生的总输出为y：

(4.49)

模糊量A_ki(x_k)用钟形函数或高斯函数表示，故而有：

(4.50)

或者

A_ki(x_k)=exp(-{[(x_k-a_ki)/b_ki]²}^cki)              (4.51)

其中：a_ki，b_ki，c_ki是函数的参数；改变这些参数则函效会产生相应的变化。故而模糊量的形状也产生变化。
当系统是一个双输入单输出系统时，则模糊推理网络的结构如图4—11所示。

在这个网络中有两个输入，每个输入被划分成3个模糊量。对于输入x₁，有L₁(大)，M₁(中)，s₁(小)这3个隶属函数；对于输入x₂，有I₂(大)，M₂(中)，S₂(小)这3个隶属函数。故而有9条控制规则：

if x₁ is L₁ and x₂ is L₂ then y₁=f₁(x₁,x₂)

if x₁ is L₁ and x₂ is M₂ then y₂=f₂(x₁,x₂)

if x₁ is L₁ and x₂ is S₂ then y₃=f₃(x₁,x₂)

if x₁ is M₁ and x₂ is L₂ then y₄=f₄(x₁,x₂)

if x₁ is M₁ and x₂ is M₂ then y₅=f₅(x₁,x₂)

if x₁ is M₁ and x₂ is S₂ then y₆=f₆(x₁,x₂)

if x₁ is S₁ and x₂ is L₂ then y₇=f₇(x₁,x₂)

if x₁ is S₁ and x₂ is M₂ then y₈=f₈(x₁,x₂)

if x₁ is S₁ and x₂ is S₂ then y₉=f₉(x₁,x₂)

对应于图4—11中的模糊划分，则输入空间被划分成9个模糊子空间，如图4—12中所示。

图4-11 简化的模糊推理网络SFIN

图4—11所示的模糊推理网络表示的控制规则中，由于只有两个输入，故而有

y_i=f_i(X)=f_i(x₁,x₂), i=1,2,......,9

即是：y_i=p_0i+p_1ix₁+p_2ix₂          (4.52)

如果对图4—11所示的网络进行优化，则相应对于控制规则的前件和后件进行优化。

当对控制规则进行前件优化时，也即对网络的第二层神经元进行优化，这时也即是对径向基函数的参数a_ki，b_ki，c_ki进行优化；其中k是输入量下标号，即k＝1，2，i是控制规则条数号，即i=1，2，…，9。从控制规则集中可知，有模物量：

A₁₁=A₁₂=A₁₃=L₁       A₂₁=A₂₂=A₂₃=L₂

A₁₄=A₁₅=A₁₆=M₁       A₂₄=A₂₅=A₂₆=M₂

A₁₇=A₁₈=A₁₉=S₁       A₂₇=A₂₈=A₂₉=S₂

当对控制规则的后件进行优化时，也即是对f_i(x₁，x₂)中的系数p_0i，p_1i，p_2i进行优化。

图4-12 模糊子空间

2．神经模糊控制器的优化
当在简化的模糊推理网络SFIN中的X₁端输入偏差信号e(k)＝y_d(k)-y(k)；其中y_d(k)为给定信号，y(k)为对象实际输出信号。在x₂端输入偏差变化率Δe(k)＝e(k)-e(k-1)。而在SFIN输出端输出的是增量控制信号Δu(k)＝u(k)-u(k-1)。则SFIN可以看作一个参数化的模糊控制器。

对SFIN考虑二个优化过程。一个是SFIN初始化的监视学习优化；另一个SFIN的在线自适应学习优化。

(1)SFIN的初始化监视学习

给出用于SFIN初始化的教师信号数据。

T{[e(i),Δe(i)]——Δu(i)|i=1:N}            (4.53)

其中：e(i)，Δe(i)是输入

Δu(i)是输出。

初始化教师数据来自系统控制人员的控制数据，优化时采用的目标函数为I₀：

(4.54)

其中：SFIN[e(i)，Ae(i)]表示数据对e(i)，Ae(I)输入SFIN之后得到的输出。
用W表示SFIN中的普通参数，它可以用下式进行校正：

(4.55)

其中：η(k)是学习速率，1>η(k)>0。

(i)前件参数估计

偏差e所取的模糊量个数表示为N_e。i偏差变化率Δe所取的模糊量个数表示为N_Δe。

根据先验知识，偏差e和偏差变化率Δe的边界分别是：

S_e≤e≤B_e

S_Δe≤Δe≤B_Δe

则前件的初始参数可以选择如下

(ii)后件参数估计

从上可知，在SFIN中有控制规则为N_r条：

N_r=N_e*N_Δe      (4.56)

由于控制规则的后件为y_i＝f_i(x)＝p_0i+p_1ix₁+p_2ix₂，也即有参数p_0i，p_1i，p_2i。所以，总的后件参数为Ng；

Ng=3Nr              (4.57)

要求取Ng个参数，则要求有Ng个输入输出教师数据对：

{[e(q),Δe(q)]——Δu(q)},q=1:Ng              (4.58)

并通过这Ng个数据对才能形成Ng个方程的方程组．以求取后件的Ng个参数。

当在SFIN输入Ng对[e(q)，e(q)]，q＝1:Ng数据时，则从式(4．49)有：

(4.59)

在上面式(4.59)中，需要求f_i中的参数p_0i,p_1i,p_2i，则可写成

(4.60)

用P表示后件f_i的参数向量．M为Di的Ng*Ng短阵．U＝[Δu(1)，Δu(2)，……，Δu(Ng)]T，则式(4.60)可以写成如下矩阵形式：

MP=U        (4.61)

显然，解矩阵方程式(4．61)，则有

P=M^-1U

从而可得后件参数向量P，也即得出后件参数，p_0i，p_1i，p_2i，i＝1:9。

(2)SFIN的在线自适应学习优化

模糊推理网络SFIN是作为模糊控制器的，由它组成的模糊控制系统的框图如图4-13所示。

图4-13 模糊控制系统

在给出了SFIN的初始化参数之后，则可以对SFIN进行在线自适应学习优化。在优化时采用如下性能指标：

(4.62)

其中：h是偏差平方累加个数，
l是加权控制增量平方累加个数，
θ(i)是加权因子。
在上式中y_d(k-i)-y(k-i)＝e(k-i)，即偏差。
在线自适应时系统SFIN中参数W的校正采用下式

(4.63)

在式(4．63)中，对J(k)的偏微分求取如下

很明显^aJ(k)/^aw和^aΔu(k-i-1)/^aw成比例．即有

(4.65)

在上面式子中，Δu(k-i)是可从神经网络的输出求得的

Δu(k-i)=SFIN[e(k-i),Δe(k-i);W(k)] (4.66)

3．控制系统的运行结果

对于给定的对象，采用SFIN可实现神经模糊控制并取满意的结果。

(1)被控对象PL

被控对象PL表示如下：

PL(V₁,V₂,V₃,V₄,V₅,y_d)

其中：y_d是设定的期望点。

被控对象的输入输出关系由下式表示

y_k+1=f(y_k,y_k-1,y_k-2)+g(k,y_k-3,y_k-4,U_k-2)+(1.1+V₁)u_k-1+(1+V₂)u_k+Z_k       (4.67)

其中：

(4.68)

g(k,y_k-3,y_k-4,U_k-2)=V₄Sin[0.08(y_k-3+y_k-4)]U_k-2+V₅cos(0.05kπ)         (4.69)

g(·)是干扰信号，

V_i(i＝1，2，…，5)是实参数。

Z_k是白噪声，其最大幅值为0．1。

(2)训练数据集

给出的训练数据集如表4—1所示，它一共有30组训练数据。这些数据用于对SFIN进行初始化监视学习，从而确定SFIN的初始参数。

表4-1 数据训练集

k E(k) ΔE(k) ΔU(k) k E(k) ΔE(k) ΔU(k)

1 3.0000 0.0000 0.1893 16 -0.1472 -0.5316 0.0462

2 2.8228 -0.1772 0.1732 17 -0.2259 -0.0787 0.0024

3 2.3440 -0.4788 0.1421 18 -0.1874 0.0385 -0.0040

4 1.6426 -0.7014 0.1063 19 0.0424 0.2298 0.0079

5 0.5628 -1.0798 0.0578 20 0.1303 0.0879 0.0116

6 -0.1911 -0.7539 0.0255 21 5.0000 0.0000 0.5576

7 -0.5456 -0.3545 -0.0058 22 4.4161 -0.5839 0.4120

8 -0.2664 0.2792 -0.0061 23 3.3792 -1.0370 0.2718

9 -0.2132 0.0532 -0.0031 24 1.5370 -1.8442 0.1901

10 -0.0111 0.2021 0.0030 25 0.3928 -1.1442 0.0687

11 4.0000 0.0000 0.3415 26 -0.3001 -0.6930 -0.0643

12 3.6478 -0.3522 0.2901 27 -0.1572 0.1429 0.0465

13 2.8956 -0.7522 0.2093 28 0.1582 0.3154 0.0102

14 1.5613 -1.3242 0.1322 29 0.2118 0.0535 0.0367

15 0.3844 -1.1769 0.0893 30 0.2653 0.0535 0.0207

(3)自适应在线学习及结果

考虑对有关的参数学习时所选取的值如下：

前件有关参数有偏差e的模糊量参数a_e,b_e,c_e；偏差变化率Δe的模糊量参数a_Δe,b_Δe,c_Δe,在学习这些参数时的学习速率η分别选值为

a_e,a_Δe,c_e,c_Δe的学习速率η＝10^-6

b_e,b_Δe学习速率η=10^-8

后件有关参数是其二项式参数P，它的学习速率η＝0．00125。

在学习时所用的式(4．65)中的参数取：

h=1   l=0 θ=15

同时，学习公式(4．63)的迭代步数取3。

系统运行的情况如图4—14所示。

图4-14 较大干扰时SFIN运行情况

在图4—14中分别给出了3条响应曲线，这3条响应曲线分别用①②③标记。

对于响应曲线①，它是把设定点在k＝50时进行改变的响应情况。这时被控对象参数变化如下：

PL(0,0,0,0,0,3.5)——PL(0,0,0,0,0,7.0)

对于响应曲线②，它是在k=70时参数改变所产生的响应情况。被控对象参数改变如下：

PL(0,0,0,0,0,6.0)——PL(-0.25,0.45,0.5,0,0,6.0)

对于响应曲线②，它是在k＝30时产生干扰的响应情况。被控对象参数改变如下

PL(0,0,0,0,0,4.5)——PL(0,0,0,0.35,0.25,4.5)

单向线性响应URL(Unidirectional Linear Response)神经元可以构成模糊神经网络，从而可以构成神经模糊控制器。在这一节中介绍用URL模糊网络控制的控制系统。

1．URL模糊网络

ULR神经元是在输入信号取值为正时有线性特性，而输人为负时则输出为零的神经元。URL神经元的结构和特性可用图4—15说明。在图中，(a)是神经元结构，可见它和一般神经元是一样的；(b)是神经元特性．可见它取正值时为线性，而输入取负值时则输出为零。

(a)

(b)

图4-15 URL神经元及特性

在图4—15中，x₁，x₂，……，x_n是输入的模糊变量，U_x1，U_x2，……，U_xm分别是对应的隶属函数，W_i是x_i，i＝1，2，……，n和神经元的连接权系数，θ是阀值，f(x)是神经元的输出，则有：

(4.70)

(4.71)

采用URL神经元组成单层或多层神经网络，并可以实现各种基本或组合的模糊逻辑函数。

例1 用URL网络实现模糊蕴含关系：

考虑URL网络的结构如图4—16所示。它一共有3个URL神经元，并分为2层。输人有2个模糊量U_x+U_y。

图4-16 URL网络

很明显，作为输出U_x——y=f3，即有

(4.72)

令

故有：

从图4—16中，可以看出f₁、f₂的求取如下：

f₁=f(W₁'U_x+W₂"U_y-')
f₂=f(W₁"U_x+W₂'U_y-")
令

f₁=f(-U_x+U_y+1)
f₂=f(-U_x+U_y)
显然

               (4.73)

从式(4．73)中可知，当f1>0，f2≤0时有

这时，由于有f2≤0，即有

-Ux+Uy≤0

也即是   1-Ux+Uy≤1

故而式(4．73)表明ULR网络实现的功能为

例2 用ULR网络实现有界和功能U_x⊕y＝1Λ(1-U_x+U_y)。
采用图4—16的同一ULR网络，并且令：

则有

U_x⊕y=f(W₁f₁-W₂f₂-θ)
    =f(f₁-f₂)

则有

    f1=f(Ux+Uy)

    f2=f(Ux+Uy-1)

显然

    f1=Ux+Uy

        (4.74)

当f_2≤0时，有U_x+U_y-1≤0，即

U_x+U_y≤1

故而有

U_x⊕y=1Λ(U_x+U_y)

可以由URL网络实现。

2.ULR模糊控制器

ULR模糊控制器是用ULR网络实现模糊推理规则的，图4—17给出了一个含有4条控制规则的ULR网络，在这个控制器中采用局部最大平均法LMOM(Localized Mean of Maximum Method)进行精确化。

图4-17 ULR模糊控制器

在图4—17中，一共有5层结构，在每一层中，神经元的作用是相同的，在下面分别介绍各层的作用：

(1)第1层

这是输入节点，它不执行任何操作。

(2)第2层

这是隶属函数层，它是控制规则中前件的模糊量的隶属函数。控制规则有如下形式：

if x₁ is A_1i and x₂ is A_2i then y is B_i

在这一层中，神经元表述了U_A1i、U_A2i等隶属函数。在这一层中，得到的对应于输入的隶属度、U_A1i(x₁)、U_A2i(x₂)。

在ULR网络中，采用三角隶属函数。所以在这一层中，每一个节点也是用一个URL网络构成的。ULR网络实现三角隶属函数的结构如图4—18所示。

图4-18 ULR网络实现的三角隶属函数

对于三角隶属函数，所表达的方法如下；

对于三角隶属函数可以用其高的横坐标交点c，c点到右边顶角的距离R，c点到左边顶角的距离L这三外参数表示。故而，有三角隶属函数的图形如图4—19所示。

图4-19 三角隶属函数的形状

从图4—19可以看出

(4.75)

由于

故而

(4.76)

对于y₁，根据ULR特性，在输入x<C-L时，输出为0。

对于y₂，根据ULR特性，在输入x<C时，输出为0。

如果用y1—y2为输入，则有：

①x＜C-L时，输出为0

②x＜C时．输出为y1

③x＜C+R时，输出为y₁-y₂

④x≥C+R时，有y₁-y₂＜0，故输出为0。

很明显：可以得到(C-L)，C'，，(C+R)三点组成的三角形，对于上图4-18，如果令

则有

利用y1，y2可以实现三角隶属函数功能，只要修改参数R、L、C，则可以实现不同的三角隶属函数。
(3)第3层
这是前件运算层，执行最小运算Λ．这一层采用二层ULR神经网络形成。如图4-20所示。

图4-20 前件最小化运算

从图4-20中，可知其功能为：

f₁=f(U_r1-U_r2-0)=f(U_r1-U_r2)

f₂=f(U_r1-0)=f(U_r1)

Z_r=f(-f₁+f₂-0)=f(-f₁+f₂)

下面分别分析三种不同的输人情况：

①当有U_r1<U_r2时

f₁=f(U_r1-U_r2)=0

f₂=f(U_r1)=U_r1

从而有

Z_r=f(-f₁+f₂)
    =f(0+U_r1)
    =U_r1

②当有U_r1>U_r2时

f₁=f(U_r1-U_r2)=U_r1-U_r2

f₂=f(U_r1)U_r1

则

Z_r=f(-f₁+f₂)
    =f(-U_r1+U_r2+U_r1)
    =U_r2

当有Ur1=Ur2时

f₁=f(U_r1-U_r2)=0

f₂=f(U_r1)=U_r1

则

Z_r=f(-f₁+f₂)=f(U_r1)=U_r1

从上可知：图4—20的URL网络实现了最小化运算。

(4)第4层

这是后件运算层，它执行两种操作。一种是把前件最小化运算结果再对后件模糊量求最小运算；另一种操作是执行反模糊化。这两种操作那是由局部最大平均法LMOM(Local Mean-of-Maximum)反模糊化方法实现的。

LMOM方法可以用图4—21进行说明。

图4-21 LMOM法反模糊化

在图4—21中，a是三角形(C-L)，A，(C+R)的底边的中点，故a的坐标为

当隶属度为1时，反模糊化的结果为C。
当隶属度为0时，反模糊化的结果为。

当隶属度为Z_r时，则有

即

反模糊化的结果为：(C-m)

      (4.77)

设后件三角隶属函数为r，前件最小化结果为Z_r，则反模糊化结果用U_r^-1(Z_r)表示，有

     (4.78)

反模物化可采用下面图4—22的结构。

图4-22 反模糊化接点

在图中取

显然有

由于

故而

     (4.79)

(5)第5层

最后输出判决层。输出采用规则前件的最小隶属度为加权系数，对本规则的后件反模糊化结果进行加权，取加权平均值为最后判决结果F。

        (4.80)

3．ULR模糊控制器学

ULR模糊控制器中，需要学习要是含有隶属函数的第2，4两层。

在学习时，目标函数用Q表示，而隶属函数的参数用P表示，学习的目的就是使目标函数Q达到最小。一般目标函数Q用输出的期望与实际误差来描述。

用梯度法对URL网络的第2，4层进行学习．就是按-^aQ／^aP方向修改参数P，即

(4.81)

由于Q有时较为复杂，在修改时要首先考虑^aQ／^aP，也可写作

(4.82)

在上式中．aQ／aF为了方便起见可以用下式求取

(4.83)

显然，这是可以直接求得的。

下面分别对第2，4层中隶属函数的学习进行说明

对于第4层的隶属函数学习，其算法如下：

由于第5层输出为F，并且

而第4层输出为U^r-1(Z_r)，并且

则有

    (4.84)

                  (4.85)

        (4.86)

         (4.87)

其中：Sj是第j条规则的语言变量，r是语言变量值。

显然．采用式(4．84)—(4．87)，可求^aF／^aP。

对于第2层而言，如果要求^aF／^aP，则应考虑：

       (4.88)

其中：U_ri是第2层的输出

由于

      (4.89)

其中：Ak是第k条规则的前件语言变量

其中：U_r^-1(Z_r)是U_r^-1(Z_r)的导数。

同时，根据式(4．75)、(4．76)则^aU_ri／^aP很容易求取。

这样则对于第2层；^aF／^aP可以求出。

在式(4．82)中，由于^aQ／^aF，^aF／^aP都在第2，4层可以求出，故而能对这两层的隶属函数进行学习。一般^aQ／^aF不取实际值．只取其符号，即有：

最后有：

4．ULR模糊控制器对倒立摆的控制

对倒立摆的控制采用下列9条由条件语句组成的控制规则实现．如表4—2所示。

控    制

角度变化率Δθ

PO2 ZE2 NE2

角度θ
PO1 PL PM ZE

ZE1 PS ZE NS

NE1 ZE NM NL

角度θ是倒立摆和平衡位置的夹角，它的范围取-12°—+12°。角度变化率Δθ的范围取每秒-12°，即-12°／S，到每秒+12°，即+12°／S。

倒立摆安装在一个小车上，为了使倒立摆能处于平衡状态，故而要对小车进行控制。

角度θ，角度变化率Δθ以及控制的模糊量都是取三角隶属函数，它们的参数分别如表4—3中所示。

表4-1 隶属函数

模糊量
C L R

PO1
ZE1

NE1
0.3
0.0

-0.3
0.3
0.3

5000
5000
0.3

0.3

PO2
ZE2

NE2
1.0
0.0

-1.0
1.0
1.0

5000
5000
1.0

1.0

PL
PM

PS

ZE

NS

NM

NL
20.0
10.0

5.0

0.0

-5.0

-10.0

-20.0
5.0
5.0

4.0

1.0

5.0

6.0

0.0
0.0
6.0

5.0

1.0

4.0

5.0

5.0

模糊控制器的输入有角度和角度变化率，它们都归一化到[-1，1]区间。实际控制的结果如图4—23中所示。从图中可知，在执行了大约500步左右工作，则可以达到平衡状态，图中给出的是初始角度不同时的工作过程状态。

(a)

(b)

图4-23 倒立摆平衡仿真结果