CN108520273A - 一种基于目标检测的稠密小商品快速检测识别方法 - Google Patents

Abstract

一种基于目标检测的稠密小商品快速检测识别方法：通过python或者matlab编程语言对采集的商品图片进行处理；建立卷积神经网络模型，包括卷积层、池化层以及全连接层，模型中包括卷积和RoIpooling；通过训练样本对卷积神经网络模型、区域建议网络模型的分类和边界框回归进行多任务联合训练，通过反向传播对卷积神经网络模型中的卷积核参数进行学习更新，通过验证集确定卷积神经网络模型的超参数，直到损失函数达到目标设定值；通过测试集对训练好的卷积神经模型的识别精度进行测试。本发明能够对商品数目及分布高效准确地统计，大大提高商品供应商以及商场管理人员的工作效率，节约人工成本，具有较大的商用价值。

Description

一种基于目标检测的稠密小商品快速检测识别方法

技术领域

本发明涉及一种稠密小商品快速检测识别方法。特别是涉及一种基于目标检测的稠密小商品快速检测识别方法。

背景技术

随着计算机视觉原理的广泛应用，通过计算机图像处理技术对目标进行检测的研究深受国内外学者的重视。目标检测可以分为两个关键的子任务：目标分类和目标定位，即能够在一幅含有一个或多个目标物体的图像中准确地判断出每个目标物体所属类别，并给出相应的边界框。

传统的目标检测算法有以下弊端：1)通过滑动窗口方法选取候选框，数目冗余，计算复杂；2)通过手工设计的模板来提取区域的特征，这种方式提取到的特征往往是低层次的，并且过分受到人的思想概念影响，因此不足以完全表达目标物体。

为了克服手工设计特征提取器的局限性，让机器自动学习获得图像的更高层次的特征，Hinton等人在2006年提出深度学习的观点，并指出图像的高层特征可以由低层的特征组成。由于强大的建模能力和自动的端到端的学习方式，深度卷积神经网络可以从大量数据中学习到有效特征，避免了传统方法人工设计特征的弊端。近几年，采用深度神经网络来提取特征在目标识别领域取得了巨大的成功，如VGGNet、GoogleNet、ResNet等，但现有的网络模型对于物体几何形变的适应能力几乎完全来自于数据本身所具有的多样性，其模型内部并不具有适应几何形变的机制。因此，对于不同几何形变下的稠密分布的小商品检测与识别效果较差，究其根本，是因为现有的卷积神经网络模型中采用的卷积操作本身具有固定的几何结构，而由其层叠搭建而成的卷积网络的几何结构也是固定的，所以不具有对于几何形变建模的能力。如何增强模型自身对物体在不同尺寸、姿态等几何形变下的适应能力，是目前目标识别领域中面临的关键挑战，也是提高稠密分布小商品的检测效率与识别精度的关键。

发明内容

本发明所要解决的技术问题是，提供一种能够提升小商品这类分布稠密的小目标物体的识别精度的基于目标检测的稠密小商品快速检测识别方法。

本发明所采用的技术方案是：一种基于目标检测的稠密小商品快速检测识别方法，包括如下步骤：

1)通过python或者matlab编程语言对采集的商品图片进行处理：对每幅图片采用统一格式进行命名，将图片中的80％作为训练集，20％作为测试集，其中训练集中的60％作为训练样本，20％作为验证样本，对训练集和测试集中每个图片的目标物体进行人工标注，并将标注信息保存在图片对应的xml文件中；

2)建立卷积神经网络模型，所述卷积神经网络模型包括卷积层、池化层以及全连接层，模型中包括卷积和RoIpooling；

3)通过训练样本对卷积神经网络模型、区域建议网络模型的分类和边界框回归进行多任务联合训练，通过反向传播对卷积神经网络模型中的卷积核参数w进行学习更新，通过验证集确定卷积神经网络模型的超参数，直到损失函数达到目标设定值；

4)通过测试集对训练好的卷积神经模型的识别精度进行测试。

步骤1)中所述的人工标注，是采用矩形框将图片中的目标物体框住，并标注出矩形框左上角和右下角的坐标，指明该物体的类别。

步骤2)中：

所述的卷积为：

所述的RoI pooling为：

式中，w是卷积核参数，m₀是卷积核的感受野M的左上角坐标，m_n是卷积核感受野M中的点坐标，Δm_n是卷积核内各点坐标的偏移量，p和q代表感受野内各位置的像素值，m'₀是池化核感受野的左上角坐标，m是池化核感受野中的点的坐标，bin表示池化核区域，(x,y)表示池化核区域内的点坐标，Δm_xy表示池化核区域内点的偏移量。

步骤3)中所述的超参数包括：学习率、正则化参数、神经网络的层数、每一个隐层中神经元的个数、迭代次数、小批量数据的大小、输出神经元的编码方式、代价函数的选择、权重初始化的方法、神经元激活函数的种类和参加训练模型数据的规模。

步骤3)中所述的损失函数如下：

其中，L'_cls表示分类的损失函数，L_reg表示边界框回归的损失函数，N_cls是分类的样本数目，N_reg是回归的边界框数目，p是预测为目标的概率，p_n是第n个样本预测为目标的概率，是第n个样本标签信息，β∈(0,1)是用来平衡正样本和负样本的因子，(1-p_n)^α是限制模型更加专注于难分类的样本，α是一个自然数，可根据具体识别任务进行设定，t_n是一个向量，表示预测边界框的坐标，是一个向量，表示人工标注的边界框的坐标，smooth_L1是L1正则化损失函数，t表示边界框的向量。

本发明的一种基于目标检测的稠密小商品快速检测识别方法，通过在卷积神经网络模型中采用可形变的卷积和RoIpooling操作，在目标检测算法中采用创新的损失函数来训练出能够实现对小商品检测识别的模型。本发明通过使用输入真实场景下的商品图片作为训练样本和测试样本，并进行去均值，归一化等预处理操作；采用本发明的卷积神经网络模型，可以较好地适应不同几何形变下的商品目标，增加了模型对不同尺寸、形态下的目标地自适应能力，此外，分类的损失函数，通过对原有的交叉熵损失函数进行改进，减少易分类样本的对损失函数的影响，使得模型对稠密的小目标物体更加有效地学习。本发明以商品为目标，通过深度学习的方法对商品的品牌、类别等多种信息检测，对其数目及分布高效准确地统计，大大提高商品供应商以及商场管理人员的工作效率，节约人工成本，具有较大的商用价值。

附图说明

图1是本发明一种基于目标检测的稠密小商品快速检测识别方法的流程图。

具体实施方式

下面结合实施例和附图对本发明的一种基于目标检测的稠密小商品快速检测识别方法做出详细说明。

本发明的一种基于目标检测的稠密小商品快速检测识别方法，是针对小商品这类目标物体在图片中分布稠密，以及现有的卷积神经网络模型对目标物体几何形变的适应能力差的特点，本发明的方法，通过采用卷积和RoI Pooling操作，使其对不同几何形变的商品照片具备自适应能力。

如图1所示，本发明的一种基于目标检测的稠密小商品快速检测识别方法，包括如下步骤：

1)通过python或者matlab编程语言对采集的商品图片进行处理：对每幅图片采用统一格式进行命名，将图片中的80％作为训练集，20％作为测试集，其中训练集中的60％作为训练样本，20％作为验证样本，对训练集和测试集中每个图片的目标物体进行人工标注，并将标注信息保存在图片对应的xml文件中；所述的人工标注，是采用矩形框将图片中的目标物体框住，并标注出矩形框左上角和右下角的坐标，指明该物体的类别。

2)建立卷积神经网络模型，所述卷积神经网络模型包括卷积层、池化层以及全连接层，模型中包括卷积和RoI pooling；其中：

所述的卷积为：

所述的RoI pooling为：

式中，w是卷积核参数，m₀是卷积核的感受野M的左上角坐标，m_n是卷积核感受野M中的点坐标，Δm_n是卷积核内各点的偏移量，p和q代表感受野内各位置的像素值，m'₀池化核的感受野的左上角坐标，bin(x,y)表示池化核区域内的点坐标，Δm_xy表示池化核区域内点的偏移量。

3)通过训练样本对卷积神经网络模型、区域建议网络模型的分类和边界框回归进行多任务联合训练，通过反向传播对卷积神经网络模型中的卷积核参数w进行学习更新，通过验证集确定卷积神经网络模型的超参数，直到损失函数达到目标设定值；其中，

所述的超参数包括：学习率、正则化参数、神经网络的层数、每一个隐层中神经元的个数、学习的回合数、小批量数据的大小、输出神经元的编码方式、代价函数的选择、权重初始化的方法、神经元激活函数的种类和参加训练模型数据的规模。

所述的损失函数如下：

其中，N_cls是分类的样本数目，N_reg是回归的边界框数目，p是预测为目标的概率，p_n是第n个样本预测为目标的概率，是第n个样本标签信息，β∈(0,1)是用来平衡正样本和负样本的因子，(1-p_n)^α是限制模型更加专注于难分类的样本，α是一个自然数，可根据具体识别任务进行设定，t_n是一个向量，表示预测边界框的坐标，是一个向量，表示人工标注的边界框的坐标，smooth_L1是L1正则化损失函数，t表示边界框的向量。

4)通过测试集对训练好的卷积神经模型的识别精度进行测试。

Claims (5)

1.一种基于目标检测的稠密小商品快速检测识别方法，其特征在于，包括如下步骤：

1)通过python或者matlab编程语言对采集的商品图片进行处理：对每幅图片采用统一格式进行命名，将图片中的80％作为训练集，20％作为测试集，其中训练集中的60％作为训练样本，20％作为验证样本，对训练集和测试集中每个图片的目标物体进行人工标注，并将标注信息保存在图片对应的xml文件中；

2)建立卷积神经网络模型，所述卷积神经网络模型包括卷积层、池化层以及全连接层，模型中包括卷积和RoIpooling；

3)通过训练样本对卷积神经网络模型、区域建议网络模型的分类和边界框回归进行多任务联合训练，通过反向传播对卷积神经网络模型中的卷积核参数w进行学习更新，通过验证集确定卷积神经网络模型的超参数，直到损失函数达到目标设定值；

4)通过测试集对训练好的卷积神经模型的识别精度进行测试。

2.根据权利要求1所述的一种基于目标检测的稠密小商品快速检测识别方法，其特征在于，步骤1)中所述的人工标注，是采用矩形框将图片中的目标物体框住，并标注出矩形框左上角和右下角的坐标，指明该物体的类别。

3.根据权利要求1所述的一种基于目标检测的稠密小商品快速检测识别方法，其特征在于，步骤2)中：

所述的卷积为：

所述的RoI pooling为：

式中，w是卷积核参数，m₀是卷积核的感受野M的左上角坐标，m_n是卷积核感受野M中的点坐标，Δm_n是卷积核内各点坐标的偏移量，p和q代表感受野内各位置的像素值，m'₀是池化核感受野的左上角坐标，m是池化核感受野中的点的坐标，bin表示池化核区域，(x,y)表示池化核区域内的点坐标，Δm_xy表示池化核区域内点的偏移量。

4.根据权利要求1所述的一种基于目标检测的稠密小商品快速检测识别方法，其特征在于，步骤3)中所述的超参数包括：学习率、正则化参数、神经网络的层数、每一个隐层中神经元的个数、迭代次数、小批量数据的大小、输出神经元的编码方式、代价函数的选择、权重初始化的方法、神经元激活函数的种类和参加训练模型数据的规模。

5.根据权利要求1所述的一种基于目标检测的稠密小商品快速检测识别方法，其特征在于，步骤3)中所述的损失函数如下：

其中，L'_cls表示分类的损失函数，L_reg表示边界框回归的损失函数，N_cls是分类的样本数目，N_reg是回归的边界框数目，p是预测为目标的概率，p_n是第n个样本预测为目标的概率，是第n个样本标签信息，β∈(0,1)是用来平衡正样本和负样本的因子，(1-p_n)^α是限制模型更加专注于难分类的样本，α是一个自然数，可根据具体识别任务进行设定，t_n是一个向量，表示预测边界框的坐标，是一个向量，表示人工标注的边界框的坐标，smooth_L1是L1正则化损失函数，t表示边界框的向量。