Convolutional Neural Networks :::: A look back in time

本文基于深度学习在图像识别的相关理论，分析了深度学习的基本模型和方法，并在相关图
数据集上实验论证；另外鉴于深度学习多用于大样本集，本文基于小样本提出了一种改进
法，具体工作内容如下： （1）分析深度学习中卷积神经网络（Convolutional Neural
Networks，CNNs）的基本原理，研究其训练过程和模型结构。其中卷积层通过卷积运算，
以使原信号增强，并且降低噪声，提高信噪比；降采样对卷积层的图像进行子抽样，在保证
有用信息不降低的基础上，减少数据处理量。将其在MNIST手写字体数据集上进行实验，通
对比分析了该方法和其他经典算法在识别率和时间方面的优劣。 （2）针对于卷积神经网络
练时间过长这一缺陷，分析了深度学习中深度信念网络（Deep Belief Networks
DBNs）的基本原理、训练过程和模型结构。DBNs的分层训练机制大大减少了训练难度，减
了训练时间。

引入Softmax作为模型的分类器，将其在MNIST手写字体数据集上进行实验，实验表明：深度信念网络在识别率上和卷积神经网络持平，但训练方法的改善使得消耗时间大大减少。此外，该方法在自然场景CIFAR-10库上也有较好的实验效果。 （3）鉴于深度学习多适用于较大的数据集，针对小样本提出了一种改进的深度信念网络结构：深度信念网络整个过程可以分为预训练和参数微调两个阶段，改进的算法在预训练阶段对样本进行降采样；在参数微调阶段引入随机隐退（Dropout），将隐含层的结点随机清零掉一部分，保持其权重不更新。将改进的模型在MNIST子集和ORL数据集上进行实验，实验表明：在小样本中，引入降采样和随机隐退后，深度信念网络在识别率和耗时方面都有不错的改善，过拟合现象得到有效缓解。