CN111191583A - 基于卷积神经网络的空间目标识别***及方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的空间目标识别***及方法以解决现有的深度学习无法兼顾识别精度和计算量的技术问题。本发明包括模型训练和目标识别，模型训练包括输入正负样本，利用稀疏化卷积神经网络提取特征，训练分类器，形成学习字典；目标识别包括输入图像，预处理，输入模型进行匹配，输出结果。本发明的有益技术效果在于：在保证准确性的前提下提高了识别效率，节约了存储空间，有利于更高效的硬件设计。

Description

基于卷积神经网络的空间目标识别***及方法

技术领域

本发明涉及深度学习技术领域，具体涉及一种基于卷积神经网络的空间识别***及方法。

背景技术

空间目标识别是指一个特殊目标（或一种类型的目标）从其它目标（或其它类型的目标）中被区分出来的过程。它既包括两个非常相似目标的识别，也包括一种类型的目标同其他类型目标的识别。空间目标识别就是如何从序列图像中将目标提取出来。空间目标检测和识别是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域。

近年来，随着人工智能技术的发展，基于深度学习的图像识别技术得到了长足的进步，围绕这一技术产生落地应用惠及医疗、自动驾驶、时尚等重要领域。当前，使用深度学习工具提取模型特征已成为主流技术。深度学习领域也产生了众多模型，例如经典的卷积神经网络、深度置信网络、自动编码器、生成对抗网络等，其中卷积神经网络由于具有强大的抽象和提取高层语义特征的能力，在语音、图像、视频等领域取得了巨大的成功，得到了广泛的应用。

但是，常规的卷积神经网络想要精确的识别结果就需要尽可能多的提取特征，但是特征太多又不利于计算速度，而且会加重硬件的负担，甚至不能支持如此大的计算量，以上，似乎进入了一个两难的境地，如何在保证识别精度的前提下简化计算成为了亟待解决的问题。

发明内容

本发明提供一种基于卷积神经网络的空间目标识别***及方法以解决现有的深度学习无法兼顾识别精度和计算量的技术问题。

为解决上述技术问题，本发明采用如下技术方案：

设计一种基于卷积神经网络的空间目标识别***，包括计算单元和存储单元，计算单元包括用于提取特征的卷积层、用于降低维度的池化层、用于组合特征的全连接层，卷积层包括用于分离目标和背景的稀疏卷积模块；存储单元包括用于存储权重值和偏置值的RAM模块、用于存储分类标签的ROM模块。

进一步的，卷积层包括第一数据缓冲模块和特征分类模块，池化层包括第二数据缓冲模块，全连接层包括乘法器、累加器、比较器、残差计算器。

进一步的，稀疏卷积模块包括稀疏向量与稠密向量的内积计算器。

还包括一种空间目标识别模型的构建方法，包括以下步骤：

S1：输入训练样本集，选择带有标签的具有背景图案的正负目标样本，制作空中目标静态和视频图像数据集，存储于设备硬盘；

S2：建立稀疏化卷积神经网络，该网络采用剪枝算法，将空间目标的特征分为稀疏特征矩阵和稠密特征矩阵，稀疏特征矩阵代表背景，稠密特征矩阵代表目标；

S3：初始化上述神经网络的参数，之后对上述训练样本集中的样本逐个进行特征提取、特征分类和样本标注，并且在上述操作的过程中所述空间目标识别***会对神经网络的参数进行更新；对特征的处理主要包括：

（1）颜色特征与选择；

（2）纹理特征与选择；

（3）形状特征与选择；

（4）空间特征与选择；

S4：全部样本识别完成以后，即可得到空间目标识别模型。

进一步的，训练样本集包括正、负目标样本一万张，其中正目标样本指含有所述空间目标的图像样本，负目标样本指其它不含所述空间目标的图像样本。

进一步的，卷积神经网络对图像进行卷积操作以后将结果经过激活函数ReLU和偏置后输入池化层。

进一步的，空间目标的特征还包括颜色、纹理、形状。

进一步的，训练样本集在训练以前，需要进行预处理：编码，设置阈值，模式改善，正规化，离散模式运算。

还包括一种空间目标识别方法，包括如下步骤：

Ⅰ、将待识别的图像输入空间目标识别模型中的存储单元中；

Ⅱ、利用稀疏卷积神经网络对图像进行特征提取；

Ⅲ、将上述特征的参数和所述空间目标识别模型中的参数进行匹配，若参数完全匹配，则表示待识别图像中含有目标，否则判断图像为背景。

进一步的，步骤Ⅱ中图像在进行特征提取前先进行预处理，将图像调整为与空间目标识别模型的训练样本表观特性相同。

与现有技术相比，本发明的有益技术效果在于：

1.本发明利用稀疏化卷积神经网络，采用图像分割和激活函数优化技术，有效设计网络深度与宽度以及链接方式，提取目标特征模型，训练基于提取目标的形状、颜色、纹理、光照、位置关系和语义表达等特征的任务检索和精准分类，形成目标识别分类器，从而提升空间目标的识别准确性和高效性。

2.本发明实现了粗粒度剪枝可以实现和非结构化剪枝相似的稀疏比例，同时近乎没有精度上面的损失，通过量化对稀疏规律和预测精度进行权衡，解决了在保证更结构化的稀疏的同时维持模型的精度。

3.本发明稀疏化的结构由于索引节省了存储空间，在相同的准确率阈值下粗粒度剪枝可以比细粒度达到更好的压缩率，解决了硬件加速设计的效率和模型的精确度，这更适合硬件加速的目的。

4.本发明稀疏化的结构解决了粗粒度稀疏化与细粒度稀疏相比可以节省两倍的存储的空间，因为存储成本要比算术操作的运算成本高两个数量级，稀疏化结构的规律性可以导致更高效的硬件设计。

附图说明

图1为本发明基于卷积神经网络的空间目标识别***的硬件结构图。

图2为本发明基于卷积神经网络的空间目标识别模型的训练方法流程图。

图3为本发明基于卷积神经网络的空间目标识别方法的原理图。

图4为传统卷积神经网络的信号连接的原理图。

图5本发明卷积神经网络的信号连接的原理图。

图6为本发明稀疏卷积神经网络目标识别算法原理。

具体实施方式

下面结合附图和实施例来说明本发明的具体实施方式，但以下实施例只是用来详细说明本发明，并不以任何方式限制本发明的范围。

实施例1：一种基于卷积神经网络的空间目标识别***，参见图1，整个***硬件根据CNN网络结构进行设计，利用FPGA硬件电路并行特性将每一层设计为单独的一个模块，最后的分类层利用集成学习字典分类器来完成输入数据的分类结果，再经过反向传播算法计算出所需要更新的权值。***首先由控制器初始化每一层卷积核Kernel的权重数值索引地址，根据索引地址从RAM模块当中加载权重数值和偏置值。在前向传播时将输入数据通过输入信号进入数据缓冲区，然后根据每层的输出特征图的个数与卷积核完成卷积运算，将运算的结果经过激活函数ReLU和偏置完成当前层的最终输出特征图并输入下一层当中。当经过池化层时进行下采样运算，从而降低特征图的维数。最后Softmax分类器根据输入的数据通过查找ROM中与之对应的数值在经过概率转换后完成最终的输出结果。在反向传播时，根据ROM当中的标签与输出结果进行比较得出每一层的残差保存至RAM当中，计算完成后根据所设定的学习率来完成所有卷积层中卷积核的权值和偏置值的更新，并将更新后的权值由控制器保存到相应的存储位置，直至所有训练数据输入完成。

实施例2：一种空间目标识别模型，参见图2，该模型针对样本首先提取特征，然后对识别的特征进行分类，比如将车灯标记为A，将车轮标记为B，然后将这些分过类的特征进行组合，形成识别不同车型的分类器，也就是分类词典，至此完成模型的构建，具体的：

（1）创建正负样本

正样本是指待检目标样本，本实施例中目标为汽车，负样本指其它不包含目标的任意图片，如背景，所有的样本图片都被归一化为同样的尺寸大小，本实施例中20x20。为了使分类检测准确率较好，训练样本设置为1万张空间目标静态和视频图像数据以保证训练的精度需要。

（2）提取目标特征

特征提取就是要对原始数据进行变换，得到最能反映分类本质的特征。主要包括：颜色、纹理、形状和空间特征。

颜色特征描述了图像或图像区域所对应的景物的表面性质，常用的颜色特征有图像片特征、颜色通道直方图特征等；纹理通常定义为图像的某种局部性质，或是对局部区域中像素之间关系的一种度量，本发明纹理特征提取采用以灰度级的空间相关矩阵即共生矩阵为基础的方法；形状是刻画物体的基本特征之一，形状特征有两类表示方法，一类是形状轮廓特征描述，另一类是形状区域特征。形状轮廓特征主要有：直线段描述、样条拟合曲线、博立叶描述子、内角直方图以及高斯参数曲线等等，形状区域特征主要有：形状的无关矩、区域的面积、形状的纵横比等；空间特征是指图像中分割出来的多个目标之间的相互的空间位置或者相对方向关系，有相对位置信息，比如上下左右，也有绝对位置信息，提取空间特征的方法的基本思想为对图像进行分割后，提取出特征后，对这些特征建立索引。

（3）建模

目标建模是目标重要特征的几何描述，模型的表示包含反映物体的所有相关特征信息，但没用任何冗余特征信息，并且将这些特征信息以某种方式组织起来，使得物体识别***的不同组元能够容易访问这些特征信息。模型对象是特征与特征之间的空间结构关系；主要的选择准则，一是模型的假设是否适用于当前问题；二是模型所需的计算复杂度是否能够承受，或者是否有尽可能高效精确或者近似的算法。物体模型表达方法主要包括：局部的统计特征，即 generative 模型、或者物体特征之间的相互关系定义，比如位置关系等，即 discriminative 模型，或者是二者的混合模型。目标建模的方法包括：（1）实体表示，如实体几何、点云、体网络、体素；２）边界表示，如表面网格、参数曲面、细分曲面、隐式曲面。在描述模型中，对每类物体建模，然后使用极大似然或是贝叶斯推理得到类别信息。

（4）匹配

匹配也叫特征选择，是根据目标的特征模板与目标特征进行匹配，如果特征值完全匹配，即可获得识别结果，即为特征选择。目标匹配过程是指用一个扫描子窗口在待检测的图像中不断的移位滑动，子窗口每到一个位置，就会计算出该区域的特征，然后用我们训练好的分类器对该特征进行筛选，判定该区域是否为目标。然后因为目标在图像的大小可能和你训练分类器时使用的样本图片大小不一样，所以就需要对这个扫描的子窗口变大或者变小，再在图像中滑动，再匹配一遍。

（5）定位

按照训练样本数据集格式标准构建空间目标数据集，数据集中每张图对应一个标签，标签标明了图片名称，图片中初始目标的类别以及目标外接矩形的坐标和宽高，至此模型构建完成。

实施例3：一种空间目标识别方法，参见图2，目标识别主要包括空间目标图像输入，目标预处理，稀疏化的卷积神经网络，特征提取和特征选择，提取的目标特征与目标特征集成学习字典匹配对比，最后输出识别的目标。具体的：

1、预处理

完成图像信息的采集、模数转换、滤波、消除模糊、减少噪声、纠正几何失真等预处理操作，在不改变图像承载的本质信息的前提下，使得每张图像的表观特性（如物体形状边缘、颜色分布、纹理、整体明暗、尺寸大小等）尽可能的一致，以便于之后的处理过程。

上述预处理包括五种运算，(1) 编码：实现模式的有效描述，适合计算机运算。(2)阀值或者滤波运算：按需要选出某些函数，抑制另一些。(3) 模式改善：排除或修正模式中的错误，或不必要的函数值。(4) 正规化：使某些参数值适应标准值，或标准值域。(5) 离散模式运算：离散模式处理中的特殊运算。

2、稀疏化卷积神经网络

参见图5，采用稀疏卷积神经网络进行正负样本处理，即目标和背景分离（剪枝算法），获得目标特征，形成具有稀疏特征和稠密特征的两部分矩阵，稀疏矩阵以背景为特征，稠密矩阵以目标为特征，并将两部分矩阵分别表示为W、I。同时对背景矩阵W可以继续分为W1、I1，以提取更精细的目标特征。因此，通过***的训练可以构成多层次的精细目标分类器（目标特征学习字典）。目标识别的过程实质就是对空间目标采用稀疏神经卷积进行背景分离，并提取空间目标特征的过程，然后在此基础上，将特征与分类器中的特征目标进行对比，其相似度越高即为识别结果。

与传统的神经网络相比，传统的卷积神经网络采用输入输出层全连结构，计算量大，而稀疏卷积神经网络采用的是先对目标和背景采用剪枝技术进行分离，形成稀疏（粗粒度）和稠密（细粒度）两个矩阵，再进行卷积计算（特征提取），以此循环形成更为精细的稀疏（粗粒度）和稠密（细粒度）两个矩阵，直到提取的特征值过程中损失的信息能量最小。剪枝算法就是把神经网络中两个神经元之间的连接剪掉参见图5，也就是把相应的系数设置成零。

利用上述稀疏卷积网络进行特征提取就是对空间图片在剪枝的基础上，进行直接稀疏卷积，直接稀疏卷积算法去除了输入特征矩阵中的数据复制，该算法将卷积核矩阵的规模扩展到输入矩阵的相同大小。对于延展后的卷积核行展开生成向量Wm，其长度为C*H*W。假设卷积层有M个卷积核，对每一个卷积核进行延展后得到了的权重矩阵M*（C*H*W）。对于该批次任务下的输入矩阵以行展开的方式形成列向量I,其长度为C*H*W。那么，在计算卷积的过程中，对于不同感知区域的元素可以通过调整向量I的起始指针，使得卷积核映射到正确的局部区域。

特征提取包括卷积核矩阵的延展和特征指针的更新。在卷积核矩阵的延展中，将权重为M*（C*R*S）的稀疏矩阵，按照CSR格式表达，对于输出通道m中的第j个非零元素（c，y，x）有：

x=col%s

y=(col/s)%R

C=col/(S*R)

其中col=colidx[j]，那么，延展后的权重矩阵大小为M*(C*H*W)，同一个非零元素（c，y，x）的CSR格式列指针更新为：colidx[j]=(c*H+y)*W+x。

指针的更新可以表示为：O_m,y,x=W_mI_y,w+x。其核心在于实现稀疏向量与稠密向量的内积运算。对于计算输出矩阵中的点（m,y,x）,需要完成的MAC操作取决于稀疏向量W_m的非零元素数目。由于对同一输出通道m中的所有点，稀疏向量Wm是恒定不变的，所以计算这些输出节点所需要的MAC操作数相等。在直接稀疏卷积算法中矩阵I^virtual是由向量I生成，其中每一个列向量的起始指针所指向的元素为I[y,W+x]。根据这一特点，我们仅将向量I的元素常驻内存，而不是存储整个稠密矩阵。

考虑到卷积CNN模型中，所有卷积层经过权重删减后的稀疏度存在差异，通过下列方式来计算当前卷积层的稀疏度：

Sparsity=1.0-Nnonzero/M*kernel_size

其中，Nnonzero为当前卷积层的所有非零元素数目，M为当前卷积层输出通道数，kernel_size为卷积核规模大小。对于不同稀疏度的卷积层，设置一个阈值。稀疏度大于该阈值的卷积层采用优化的直接稀疏卷积方式，小于该阈值的卷积层仍采用传统的降维方式。

3、特征提取与选择

对原始数据进行变换，得到最能反映分类本质的特征。主要包括：（1）颜色特征。颜色特征描述了图像或图像区域所对应的景物的表面性质，常用的颜色特征有图像片特征、颜色通道直方图特征等；（2）纹理特征。纹理通常定义为图像的某种局部性质，或是对局部区域中像素之间关系的一种度量。纹理特征提取的一种有效方法是以灰度级的空间相关矩阵即共生矩阵为基础的，其他方法还有基于图像友度差值直方图的特征提取和基于图像灰度共生矩阵的特征提取；（3）形状特征。形状是刻画物体的基本特征之一，形状特征有两类表示方法，一类是形状轮廓特征描述，另一类是形状区域特征。形状轮廓特征主要有：直线段描述、样条拟合曲线、博立叶描述子、内角直方图以及高斯参数曲线等等，形状区域特征主要有：形状的无关矩、区域的面积、形状的纵横比等。（4）空间特征。空间特征是指图像中分割出来的多个目标之间的相互的空间位置或者相对方向关系，有相对位置信息，比如上下左右，也有绝对位置信息，常用的提取空间特征的方法的基本思想为对图像进行分割后，提取出特征后，对这些特征建立索引。特征提取所用算法：包括Haar特征、LBP特征、Haar-like特征。

特征选择是根据目标的特征模板与目标特征进行匹配，如果特征值完全匹配，即可获得识别结果，即为特征选择。

4、输出结果

将上述与模型特征匹配的图像标记为“有目标”，然后存储至内存单元，不匹配的图像标记为“无目标”，同样存储在内存单元，以上，完成一次目标识别。

上面结合附图和实施例对本发明作了详细的说明，但是，所属技术领域的技术人员能够理解，在不脱离本发明宗旨的前提下，还可以对上述实施例中的各个具体参数进行变更，形成多个具体的实施例，均为本发明的常见变化范围，在此不再一一详述。

Claims (10)

1.一种基于卷积神经网络的空间目标识别***，包括计算单元和存储单元，其特征在于，所述计算单元包括用于提取特征的卷积层、用于降低维度的池化层、用于组合特征的全连接层，所述卷积层包括用于分离目标和背景的稀疏卷积模块；所述存储单元包括用于存储权重值和偏置值的RAM模块、用于存储分类标签的ROM模块。

2.根据权利要求1所述的基于卷积神经网络的空间目标识别***，其特征在于，所述卷积层包括第一数据缓冲模块和特征分类模块，所述池化层包括第二数据缓冲模块，所述全连接层包括乘法器、累加器、比较器、残差计算器。

3.根据权利要求1所述的基于卷积神经网络的空间目标识别***，其特征在于，所述稀疏卷积模块包括稀疏向量与稠密向量的内积计算器。

4.一种空间目标识别模型的构建方法，涉及权利要求1所述的基于卷积神经网络的空间目标识别***，其特征在于，包括以下步骤：

S1：输入训练样本集；

S2：建立稀疏化卷积神经网络空间目标识别***，该***包括卷积层、池化层、全连接层，所述卷积层采用剪枝算法，将空间目标的特征分为稀疏特征矩阵和稠密特征矩阵，所述稀疏特征矩阵代表背景，所述稠密特征矩阵代表目标；

S3：初始化上述神经网络的参数，之后对上述训练样本集中的样本逐个进行特征提取、特征分类和样本标注，并且在上述操作的过程中所述空间目标识别***会对所述神经网络的参数进行更新；

S4：全部样本识别完成以后，即可得到空间目标识别模型。

5.根据权利要求4所述的空间目标识别模型的构建方法，其特征在于，所述卷基层的输出结果经过激活函数ReLU和偏置后输入池化层。

6.根据权利要求4所述的空间目标识别模型的构建方法，其特征在于，所述训练样本集包括正、负目标样本一万张，其中正目标样本指含有所述空间目标的图像样本，负目标样本指其它不含所述空间目标的图像样本。

7.根据权利要求4所述的空间目标识别模型的构建方法，其特征在于，所述空间目标的特征还包括颜色、纹理、形状。

8.根据权利要求4所述的空间目标识别模型的构建方法，其特征在于，所述训练样本集在训练以前，需要进行预处理：编码，设置阈值，模式改善，正规化，离散模式运算。

9.一种空间目标识别方法，涉及权利要求4所述的空间目标识别模型，其特征在于，包括如下步骤：

Ⅰ、将待识别的图像输入所述空间目标识别模型中的存储单元中；

Ⅱ、利用稀疏卷积神经网络对所述图像进行特征提取；

Ⅲ、将上述特征的参数和所述空间目标识别模型中的参数进行匹配，若参数完全匹配，则表示待识别图像中含有目标，否则判断图像为背景。

10.根据权利要求9所述的空间目标识别方法，其特征在于，所述步骤Ⅱ中图像在进行特征提取前先进行预处理，将图像调整为与所述空间目标识别模型的训练样本表观特性相同。

Images