1、假设m-1层为输入层。在BP神经网络中，层神经元节点和m-1层所有神经元节点连接。卷积神经网络中，m层的神经元节点只与和它相近的三个节点连接。这样大大降低了神经网络架构的参数规模。1.2 权重共享在卷积神经网络中，卷积层的每一个卷积滤波器重复的作用于整个感受野中，对输入图像进行卷积，卷积结果构成了输入图像的特征图，提取出图像的局部特征。每一个卷积滤波器共享相同的参数，包括相同的权重矩阵和偏置项。图1.2 权重共享示意图在上图中层特征图像包含个神经元，不同的连接线之间权重参数是共享的，我们仍然可以用梯度下降法去学习共享权重参数，只需要对原有的梯度下降法做一个很小的改进，共享权重的梯度是共享连接参
2、数梯度之和。共享权重的好处是在对图像进行特征提取时不用考虑局部特征的位置。而且权重共享提供了一种有效的方式，使要学习的卷积神经网络模型参数数量大大降低。1.3 最大池采样另一个关于卷积神经网络的重要概念是最大池釆样，它是一种非线性降采样方法。在通过卷积获取图像特征之后是利用这些特征进行分类。我们可以用所有提取到的特征数据进行分类器的训练，但这通常会产生极大的计算量。例如：对于一个4848像素的图像，假设我们通过在卷积层定义了300个44大小的卷积滤波器，每个卷积核与图像卷积都会得到一个（48-4+1）（48-4+1）维的卷积特征，由于有300个特征，所以每个样例都会得到一个4545300=60
3、7,500维的卷积特征向量。学习一个如此规模特征输入的分类器十分困难，很容易出现过拟合现象，得不到合理的结果。所以我们在获取图像的卷积特征后，要通过最大池采样方法对卷积特征进行降维。我们将卷积特征划分为数个nn的不相交区域，用这些区域的最大（或平均）特征来表示降维后的卷积特征。这些降维后的特征更容易进行分类。最大池釆样在计算机视觉中的价值体现在两个方面：（1）它减小了来自上层隐藏层的计算复杂度（2）这些池化单元具有平移不变性，即使图像有小的位移，提取到的特征依然会保持不变。为了理解池化的不变性，我们假设有一个最大池层级联在卷积层之后。一个像素点可以在输入图像上的八个方向平移。如果最大池层的滤波
4、窗口尺寸是22的，卷积层中一个像素往8个可能的方向平移，其中有三个方向会产生同样的输出。如果最大池层的滤波窗口增加到33，平移不变的方向会增加到5个。由于增强了对位移的鲁棒性，最大池采样方法是一个高效的降低数据维度的采样方法。1.4 Softmax回归Softmax回归是在逻辑回归的基础上扩张而来，它的目的是为了解决多分类问题。在这类问题中，训练样本的种类一般在两个以上。Softmax回归在类似手写数字识别问题中可以取得很好的分类效果，这个问题是为了对0-9这10个手写数字进行区分。Softmax回归是有监督学习算法，它也可以与深度学习或无监督学习方法结合使用。二、 卷积神经网络在交通标示识别
5、中的应用道路交通标示识别是智能交通系统的重要组成部分，它对车辆行驶过程中道路上出现的标示信息进行采集和识别，及时对驾驶员做出提示或警告，在紧急时刻直接控制车辆的操作，以预防交通事故的发生，保证行车安全。它是车辆智能化和自动驾驶技术的重要软件支撑，具有重要的理论意义和实用价值。卷积神经网络是分层神经网络，由卷积层和子抽样层交替组成，来模拟视觉神经的简单细胞和复杂细胞，卷积神经网络不同模型的区别之处在于卷积层和子抽样层的实现方式和它们的训练方式。下图是卷积神经网络的主要架构的简单描述。图1 卷积神经网络简单描述2.1卷积层的构建一个卷积层的参数包括：输入图像和特征图像的数量，图像的尺寸大小，每一层
6、图像有相同的尺寸（Mx，My），卷积核的尺寸大小（Kx，Ky），每一个尺寸为（Kx，Ky）的卷积核作用于输入图像的有效区域；跳过因子（Sx，Sy）定义了有多少像素在x，y方向被卷积核跳过。经过卷积层特征提取后得到的输出图像尺寸由以下公式得到。 上式中n表示层数，Ln层每一幅图像和Ln-1层Mn-1幅图像连接，每一幅图像的神经元共享权重，但是输入不同。2.2采样层的构造方法本系统对卷积神经网络的实现最大的不同在于使用了最大池采样层来替代子抽样层。在对卷积神经网络的实现中，这些层被池抽样和均化操作取代，相邻的像素在卷积时被跳过，以达到降釆样的目的。最大池采样层的输出是由尺寸为（Kx，Ky）大小的非
7、重叠矩阵取最大值得到的。最大池采样提供了局部位移不变性，通过（Kx，Ky）因子对输入图像的每一个方向进行降釆样。本实验中，最大池采样是通过一个22滤波窗口作用在特征图像区域，提取窗口中的最大值作为采样特征，对特征图像进行降采样。2.3分类层的构建我们可以选择卷积滤波器的卷积核尺寸，最大池采样矩阵和跳过因子将最后一层卷积层的输出图像降采样到一个像素，一个全连接层将最后一个卷积层的输出结合为一个一维特征矩阵。在分类任务中最后一层通常是一个全连接层将每一个单像素图像和输出层的每一种可能的分类相连接。我们使用softmax回归作为最后一层的激励函数，每一个神经元的输出代表分类结果的可能性。2.4图像预
8、处理每一幅原始彩色图像包含一个有边界的交通标示，图像的尺寸从1515到250250像素不等，实际的交通标示并不总是处于彩色图像的中心位置，边界窗口属于交通标示的一部分。训练样本集包含26640个交通标示图像，测试样本集包含12569个交通标示图像。我们只获取图像边框和它包含的部分，卷积神经网络的实现需要相同尺寸大小的训练图像，所有的交通标示图像都将被归一化到4848像素大小尺寸。图像经过处理后矩形边框x，y，轴的比例变化也会有所不同。我们将交通标示的矩形表框都归一化为正方形的边框。由于采集到的训练样本有明显的光照变化，我们需要将图像进行对比度归一化。我们尝试了三种不同的归一化方式：1.将原始图
9、像的三幅RGB彩色通道图像像素增减一个靠近图像平均像素强度的标准偏差进行线性扩展。2.将原始图像的三幅彩色通道图像像素增减两个靠近图像平均像素强度的标准偏差进行线性扩展。3.将图像进行限制对比度自适应直方图均衡化（Contrast-limited Adaptive Histogram Equalization）。我们分别对5个交通标不数据样本在灰度空间和彩色空间进行了实验，结果如下图2 图像归一化处理效果图其中左边部分是在灰度空间进行对比度归一化处理，右边部分是在彩色空间进行对比度变换。第一行是原始图像，第2,3和4行分别对应以上三种方法对原始图像处理后的效果图。从中可以发现，图像的可视效果明
10、显变好，这会大大有利于卷积神经网络的特征提取工作，提取出的特征对原图像更有代表性。2.5卷积神经网络实验结果早先采用不同的正则化方式和不同网络深度的实验表明在图像分类实验中深度神经网络比浅层神经网络架构的效果要好。因此我们构建了一个包含7个隐藏层的卷积神经网络。输入层包含3个颜色通道的4848尺寸大小的输入图像或者是一个4848大小的灰度图像。输出层包含43个神经元代表43种分类。卷积神经网络每一层的参数设置如图所示。表1 卷积神经网络参数表层数种类图像个数尺寸卷积核尺寸输入层1 or 348481卷积层1004646332最大池层23232150202044101052508867全连接池2
11、0043对训练图像进行位移，尺度和旋转畸变可以明显的改进训练结；在每一代训练开始，每一幅交通标示图像进行随机畸变处理，畸变参数值在的范围内服从离散均匀分布。图像的位移畸变参数范围为T%，尺度畸变范围为：1S/100，旋转畸变参数为Ro，最终的输入图像通过训练样本扭曲后使用双线性插值法得到。卷积神经网络在灰度图像和彩色图像上的训练训练结果如下表示。表2 卷积神经网络用于灰度图像分类的结果畸变T（%） S（%） R（o）误识率（%）NO 1a 2a CLAHE3.433.653.182.732.282.321.791.772.102.421.821.532.131.971.741.552.021.
12、421.40表3 卷积神经网络用于彩色图像分类的结果2.832.982.781.762.111.911.411.991.611.861.881.801.851.661.581.37从结果可以看出卷积神经网络在处理彩色空间图像上的识别效果要优于灰度图像。对图像进行对比受限直方图均衡化预处理要比其他两种方法处理后的识别临床更高。增加对图像位移，尺度和旋转的畸变程度，训练效果会逐渐增强，对交通标示图像的误识率也会逐渐降低。通过以上实验我们得到了的最低误识率。为了展示卷积神经网络的工作机制，我们图形化了卷积神经网络第一层的在训练过程中得到的权重，为了展示方便，我们采用99尺寸的卷积滤波器对输入图像进行
13、卷积，学习到的滤波器对应输入图像的点，边缘和其他特征。图3 卷积滤波器参数可视化示意图卷积神经网络第一个卷积层学习得到的卷积滤波器，输入图像的3个彩色通道图像通过300个99大小的卷积核和下一层100个经过卷积产生的输出图像连接。每一个展示的滤波器图像都是3个RGB彩色通道对应的卷积滤波器的叠加。2.6卷积神经网络和多层感知器结合的实验结果本实验中我们通过GTARB提供的图像特征样本去训练多层感知器用于交通标示识别问题，这是因为这些图像特征样本提供了额外息，弥补了卷积神经网络只使用原始图像进行训练带来的信息遗漏。由于釆用HUE特征训练多层感知器产生的识别率不够充分，我们只采用HOG和HAAR特
14、征用于多层感知器的训练。我们构建了三种不同的多层感知器，从结果可以看出卷积神经网络在处理彩色空间图像上的效果要优于灰度图像。MLP 1包含一个有200个神经元的隐藏层，MLP 2包含一个由500个神经元组成的隐藏层，MLP 3包含两个隐藏层，分别由500个和250个神经元组成。多层感知器采用共辄梯度下降法训练，结果如下表4多层感知器分类结果。表4 多层感知器分类结果HOG01HOG02HOG03HOG04MLP16.864.555.9612.92MLP26.774.585.7812.34MLP37.184.845.8810.94通过HOG特征训练得到的三种多层感知器的识别效果差别并不大，由于H
15、AAR特征是是高维特征（11584维），所以需要更加复杂的多层感知器进行训练，这需要更长的训练时间和更好的机器性能，所以我们并不采用通过HAAR特征训练的多层感知器。由于卷积神经网络和多层感知器都是计算图像的近似后验分类概率，我们可以引入投票机制，将卷积神经网络和多层感知器的输出加上一个权重系数，通过训练对两个分类器的权重进行调节，得到系统最终的分类结果。我们将采用畸变和限制对比度直方图均衡化处理的原始图像训练得到的卷积神经网络和釆用三种HOG特征训练得到的多层感知器结合进行分类实验，各种不同组合架构的错误识别率结果如下所示。表5 卷积神经网络和多层感知器分类结果MLP1/CNN0.950.9
16、21.01MLP2/CNN1.000.97MLP3/CNN0.96采用卷积神经网络和MLP3相结合的分类方法取得的最低误识率0.92%。最终的错误分类交通标示图像如图所示，左边是卷积神经网络在取得1.37%正确识别率的误分类图像，右图是卷积神经网络和多层感知器结合的误分类图像。从图中可以看出，大部分被错误识别的交通标示受到光照和畸变等因素影响较大，肉眼也很难分清。图4 本实验最终误分类图像三、 总结文中构建了更适合解决图像分类问题的卷积神经网络，加深了隐含层的层数。一共包含7个隐藏层，这使得神经网络能更好的提取图像的特征。我们将最后一层输出层的分类器改为softmax回归函数，这使得提取出的图像能够被更好的类。从实验结果来看也取得了很好的识别效果。由于卷积神经网络是自动提取图像的特征信息，我们将通过人工规则提取的图像HOG特征作为训练样本，训练多层感知器作为补充，来提高对于交通标示的识别率。实验表明，将HOG特征训练的多层感知器和用原图训练的卷积神经网络结合能够使识别率在一定程度上降低。另外，可以考虑基于多列深度卷积神经网络的识别系统，在训练过程中只采用采集到的原始图像，识别过程中也只采用原始图像进行识别，可以省去了人工特征提取过程，使系统实时性和实际可用性大大增加。
