深度学习框架下的神经网络深度信念网络要点
- 深度信念网络是一种生成模型，能够建立输入和输出的联合概率分布；
- 受限玻尔兹曼机是构成深度信念网络的基本单元，是由可见层和隐藏层构成的神经网络；
- 受限玻尔兹曼机的训练方法是对比散度法，通过可见层和隐藏层的多轮交互实现；
- 深度神经网络的通用训练方式是无监督逐层预训练和有监督微调的结合。
深度学习框架下的神经网络卷积神经网络要点
- 卷积神经网络是应用了卷积运算的神经网络，适用于处理网格化数据；
- 卷积神经网络具有稀疏感知性、参数共享性和平移不变性；
- 卷积神经网络的结构包括交替出现的卷积层、激活层和池化层，以及作为输出的全连接层；
- 卷积神经网络的作用是逐层提取输入对象的特征。
深度学习框架下的神经网络循环神经网络要点
- 循环神经网络是具有记忆的神经网络，适用于处理序列化数据
- 循环神经网络引入反馈结构，能够在时间上共享参数，从而具有记忆；
- 循环神经网络的扩展包括双向循环网络和深度循环网络；
- 递归神经网络能够处理具有层次化结构的数据，可以看成循环神经网络的推广。
深度学习框架下的神经网络生成式对抗网络要点
- 生成式对抗网络是一类运行在零和博弈框架下的无监督学习算法，由生成器和判别器构成；
- 生成器的目的是精确模拟真实数据的分布判别器的目的是精确区分真实数据和生成数据；
- 生成式对抗网络的主要优点是超越了传统神经网络分类和特征提取的功能，能够按照真实数据的特点生成新的数据
- 生成式对抗网络的主要问题是理论基础的缺失。
深度学习框架下的神经网络|长短期记忆网络要 点
- 长短期记忆网络可以实现任意长度的记忆，对信息进行长期而精确的跟踪；
- 长短期记忆单元的组成包括记忆模块、输入门、遗忘门和输出门；
- 长短期记忆网络根据当前的输入、当前的记忆和前一时刻的输出确定当前的输出；
- 长短期记忆网络能够解决梯度弥散的问题。
概率图模型要点
- 概率图模型是概率论与图论的结合，是用图 论表 现随机变量之 间的条件依赖关系的建模方法；
- 贝叶斯网络是有向无环图， 侧重于表示随机 变量之间的依赖关系；
- 马尔可夫随机场是无向图， 侧重于表示随 机变量之间的相互作用；
- 概率图模型体现了“表示-推断-学习”的问题解决框架。
深度学习之外的人工智能集群智能要点
- 集群智能是由众多简单个体通过自组织和去中心化的简单合作实现的智能；
- 集群智能具有可扩展性、并行性和容错性等特点；
- 集群智能体现出微观个体之间的相互作用
能够实现整体大于部分之和的效果，其实例是蚁群算法； - 集群智能在人工智能中的应用代表的是从宏观模仿到微观解构的方向转变。
深度学习之外的人工智能|迁移学习要点
- 迁移学习是运用 已学习的知识来求解不同但相关 领域问题的新的机器学习方法，目的是让机器学会学习”；
- 迁移学习适用于跨领域和小数据的学习任 务；
- 迁移学习的任务类型可以分为归纳迁移学习，直推式迁移学习和无监督迁移学习；
- 迁移学习的学习方法包括基于样本、 基于特 征、基于模型和基于关系。
深度学习之外的人工智能|知识图谱要点
- 知识图谱是由大量的概念实体以及它们之间的关 系构成的语义网络；
- 用知识图谱实现从特殊到一般的归纳推 理，典型的方法是路径排序算法；
- 用知识图谱实现从一般到特殊的演绎推 理， 典型的方法是马尔可夫逻辑网和概率 软逻辑；
- 用知识图谱实现数值推理， 典型的方法是基 于分布式知识表示的方法。
应用场景|计算机视觉要点
- 在传统的计算机视觉方法中，特征设计和分类器训练是割裂的；
- 以卷积神经网络为代表的深度结构可 以实现 通用的物体识别算法；
- 深度残差网络将输 出和输入之间的残差作 为拟合对象，解决了深度神经网络训练难的问题；
- 密集连接网络采用全连接方式，实现了特征的高度重用，降低了参数数量和训练难度。
人工智能3, 深度学习与神经网络笔记1