神经网络的生理学背景
- 思维过程是神经元的连接活动过程，由大量突触相互动态联系着的众多神经元协同作用来完成；
- 大脑的思维源于从神经元到神经网络再到神经回路的功能逐级整合；
- 大脑对信息的加工可以理解为复杂的多次特征提取过程；
- 在大脑中，数据的传输和处理是同步进行的。
感知器要点
- 人工神经网络的神经元用传递函数对输入的线性加权进行非线性处理以产生输出；
- 感知器是一种二分类的监督学习算法，通过自适应调整权重解决线性分类问题；
- 感知器的神经元之间通过权值进行传递信息，权重的确定根据误差来进行调节；
- 感知器不能解决以异或为代表的线性不可分问题。
多层感知器要点
- 在感知器的输入层和输出层之间添加隐藏层，就可以得到多层感知器；
- 多层感知器是一类前馈神经网络，采用的是反向传播的学习方式；
- 反向传播算法要根据误差函数的梯度来调整权重系数，需要应用求导的链式法则；
- 单个隐藏层就能使多层感知器以任意精度逼近任意复杂度的连续函数。
径向基函数神经网络要点
- 径向基网络采用局部逼近方式，每个神经元只对特定的输入信号产生作用
- 径向基网络的隐藏神经元使用径向基函数作为传递函数，常用的径向基函数是高斯函数；
- 径向基函数可以将低维空间上的线性不可分问题转化为高维空间上的线性可分问题；
- 使用高斯函数的径向基网络可以用K均值聚类算法结合递归最小二乘法进行训练。
自组织特征映射要点
- 自组织映射是一类无监督学习的神经网络，模拟了生物神经系统的竞争性学习机制；
- 自组织映射的将任意维度的输入模式转换为一维或二维的离散映射，得到的特征映射是拓扑有序的；
- 在拓扑映射中，输出神经元的空间位置对应了输入数据的模式或特征；
- 自组织映射网络的训练包括竞争过程、合作过程和自适应过程等几个主要步骤。
模糊神经网络要点
- 模糊神经网络是神经网络和模糊逻辑结合形成的混合智能系统；
- 模糊神经网络的输入信号、权重系数和输出信号全都是模糊集合；
- 模糊神经网络的主要学习算法包括基于水平集的方法和基于遗传算法的方法；
- 模糊神经网络具有和传统神经网络类似的通用逼近特性。
人工智能3, 人工神经网络笔记1