1.浅层学习（shallow learning）

BP算法，Multi-layer Preception，只含有一层隐层节点。

2.深度学习（Deep learning）

A：思想：对堆叠的多个层，对输入的信息多层表达，逐层初始化，无监督学习，

 

3.神经网络（Neural Network）

传统神网络：bp算法， 迭代训练，随机设定初始值，计算输出，标签比较，从新设定初始值（梯度下降法）。层数多了之后就不好使。

2006年，hinton提出的新神经网络：

1）首先逐层构建单层神经元，这样每次都是训练一个单层网络。

2）当所有层训练完后，Hinton使用wake-sleep算法进行调优.

1）wake阶段：认知过程，通过外界的特征和向上的权重（认知权重）产生每一层的抽象表示（结点状态），并且使用梯度下降修改层间的下行权重（生成权重）。也就是“如果现实跟我想象的不一样，改变我的权重使得我想象的东西就是这样的”。

2）sleep阶段：生成过程，通过顶层表示（醒时学得的概念）和向下权重，生成底层的状态，同时修改层间向上的权重。也就是“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个概念”。

Deep learning训练过程具体如下：

 1）使用自下上升非监督学习（就是从底层开始，一层一层的往顶层训练）：

2）自顶向下的监督学习（就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调）：