CN109685780B - 一种基于卷积神经网络的零售商品识别方法 - Google Patents

Abstract

本发明公开一种基于卷积神经网络的零售商品识别方法，首先使用一个通用的粗粒度的数据集训练一个定制的yolov3目标检测器，接着输入待检测图像，得到一系列初级语义对象，然后根据一系列规则组合初级语义对象为高级语义对象，最后通过判断需检测的目标的属性与各个高级语义对象的属性间的相似度对比得到所需目标。本发明使得基于通用的粗粒度数据集训练得到的检测器在一定条件下也可用于完成细粒度分类任务；相比于传统方法直接采集目标类别的数据进行训练，本发明可极大地降低数据采集成本和在生产环境下使用的门槛。

Description

一种基于卷积神经网络的零售商品识别方法

技术领域

本发明属于目标识别技术，具体涉及一种基于卷积神经网络的零售商品识别方法。

背景技术

在零售行业，传统的零售模式是通过人工扫描条形码或二维码对零售商品进行识别。近年来，随着深度学习方法在各个领域的应用不断深入，人工智能技术已经广泛的应用于人们的日常生活中，在零售行业的体现就是无人超市或便利店的出现。由于其不存在收银员，相比于传统超市大大节省了人力成本，同时相比于人工收银台，其无人版本所占的空间更小，从而允许店主在同样的空间内布置更多收银通道，直接提高了收银效率。而无人收银台的一个主要组件，商品检测器则依赖目标检测技术。

作为一个计算机视觉领域中长期存在的，基础的且具有挑战性的问题，目标检测在近几十年的研究中一直都是热点。目标检测的目标是在给定的图片里，从给定的类别(例如人类，汽车，自行车，狗和猫)中分辨出是否存在，存在几个目标实例。如果目标存在，返回每个目标实例的空间位置和大小。目标检测在人工智能和信息技术中，包括机器人视觉，消费级电子产品，安全领域，自动驾驶，人机交互，上下文依赖的图像检索，智能化视频监测，和增强现实等诸多领域有着十分广泛的应用。而在目标检测技术中，基于深度卷积网络(DCNN)的目标检测器拥有相对较好的效果。基于DCNN的目标检测器通常依赖大量的需检测目标的图像数据进行训练，由于数据收集能力的限制，就需要依赖对目标上下文信息进行显式编码。

物理世界中，视觉对象出现在特定的环境中，而且通常与其他相关对象共存。在心理学研究上有很确凿的证据表明，上下文在人类目标识别中起着至关重要的作用。人们已经认识到，尤其是当目标的外表特征因为过小的目标大小，遮挡，或较差的图像质量而表现不足时，适当的上下文建模有助于目标检测与识别。

目前在目标检测领域最先进的技术可以在不显式利用任何上下文信息的情况下检测目标。因为DCNN从多个抽象层次中学习层次表示，一般认为DCNN可以隐式的利用上下文信息，但是隐式上下文带来了一个问题：检测器对特定目标的识别能力极度依赖训练集。我们无法利用已有的训练结果来识别新的目标，即使其拥有与原目标相似的特征属性。因此在基于DCNN的检测器中寻找显式的上下文信息仍然是有价值的。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于卷积神经网络的零售商品识别方法，基于网络上公开的粗粒度数据集进行模型训练，从而完成针对特定目标的、细粒度的目标检测。

技术方案：本发明的一种基于卷积神经网络的零售商品识别方法，先利用通用的粗粒度数据集训练一个yolov3目标检测器，再向其中输入图像得到一系列粗粒度目标的类别和位置信息，然后根据事先定义的包含关系组合低级语义对象得到一系列高级语义对象；最后在这些对象中选取需要检测的细粒度目标；

具体包括以下步骤：

步骤1：从公开数据集的类别集合中按照如下规则筛选粒度合适的类别：1. 该类别与目标零售商品的外观或是包装外观相关(如盒子，瓶子等)；2.该类别与目标零售商品的包装内容相关；3.类别名称不能包含任何品牌信息；然后将选取好的这些类别所对应的图片组成训练集(建议分类训练集中每个类别图片数量在1000张以上，类别数在30以上且图片大小不小于512*512像素)；

步骤2：使用步骤1选取的训练集训练yolov3目标检测器，得到一个训练后目标检测器；

步骤3：将待检测图像输入步骤2中得到的训练后目标检测器，得到一系列低级语义对象的类别以及它们的位置；

步骤4：选取合适的μ_a,μ_b，确定包含关系：

对于低级语义对象A，B，若A∩B＝A，或者

且

则

其中S(A)指低级语义对象A的边界框的面积，μ_a和μ_b用于在某个对象的边界框并不完全落在另一个对象的边界框中时确定它们两个之间是否存在包含关系；

步骤5：将步骤4中得到的低级语义对象集合S＝{t₁,t₂,...t_n}按映射

转化为初始高级语义对象集合S’＝{T₁,T₂...T_n}；其中T_i＝{t_i}；

步骤6：按照以下规则合并对象：

对于高级语义对象T_a,T_b，若存在T_a,T_b,t_i,t_j，t_i∈T_a且t_j∈T_b，

或者 c_ti≠c_tj，且

则合并T_a，T_b为它们的并集，即 T_n+1＝T_a∪T_b，从S’中删除T_a,T_b并添加T_n+1；其中，高级语义对象指低级语义对象的集合；

重复该步骤，直到高级语义对象集合中不存在满足以上所提到规则的对象对，即直至S′不再变化最终得到S″＝{T_o,T_o+1,...T_p}；

步骤7：对于需检测的对象，人工给出其包含的低级语义对象类别，在步骤 6中得到的高级语义对象中检索，若人工给出的类别集合是某个高级语义对象的类别集合的子集，则它就是需要检测的目标。

进一步的，所述步骤1中公开数据集是指从网络公开数据集中筛选出分类数据集和目标检测数据集，其中分类数据集只需图像中所含的目标类别信息，目标检测数据集则需图像中目标的类别和边界框两个属性。

进一步的，所述步骤2的详细步骤为：

(2.1)训练特征提取器：首先在yolov3的特征提取器顶端加上一个全局平均池化层、两个线性层和一个softmax层，进而得到一个分类器；然后对该分类器进行训练，读取训练集图像为RGB图像做中心裁剪，归一化处理后输入网络，对于输出正确是否采用交叉熵损失函数进行衡量；持续训练直到精确度到90％以上结束；

(2.2)在已构建的卷积神经网络上进行修改：首先去掉最后的全局平均池化层、两个线性层和一个softmax层；然后从中提取3个尺度的特征映射，通过多个卷积层和上采样层相连接，最后输出一个52*52*(c+5b)的张量，其中c为数据集中的类别数，b为每个单元预测的边界框数量(一般取2)，进而构成完整的 yolov3网络结构，其中特征提取部分各个卷积核的初始权值使用预训练步骤中得到的权值，使用步骤1中所得目标检测数据集训练新的网络，得到最终使用的目标检测器。

有益效果：本发明通过在现有的目标检测器的基础上对复杂目标的上下文信息进行显式建模，从而实现对细粒度目标的检测；使得使用公开的粗粒度数据集训练网络得到的检测器也可以完成一定条件下的细粒度分类任务。

综上所述，本发明直接采集目标类别的数据进行训练，极大降低了数据采集成本，也降低在生产环境下的使用门槛。

附图说明

图1为训练特征提取器时使用的网络结构；

图2为训练目标检测器时使用的网络结构；

图3为图1和图2中各个模板的细分结构示意图；

图4为实施例1中的识别流程图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

如图1至图3所示，本发明的一种基于卷积神经网络的零售商品识别方法，包括下述步骤：

步骤1：数据集的收集，从网络上已经公开的数据集(比如OpenIamge， ImageNet等)中筛选出分类数据集和目标检测数据集，其中分类数据集只需要图像中所含的目标类别信息，目标检测数据集则需要图像中目标的类别和边界框两个属性。在类别的选择上应选择语义化程度较低的类别(例如相对于“可乐瓶”，“雪碧瓶”等，“饮料瓶”或者“瓶子”明显是更好的选择)以获取更好的感知能力。这在ImageNet数据集中体现在类别的WordNet ID因尽可能靠近整棵WordNet 树的中部(该数据集的所有类别及其之间的关系是WordNet的一个子图)而像 Open Image则可以直接选取第二级分类的类别。

步骤2：训练特征提取器，首先在yolov3的特征提取器顶端加上一个全局平均池化层，两个线性层和一个softmax层得到一个分类器(此时网络的结构见图 1)，对该分类器进行训练，读取训练集图像为RGB图像，深度为8位，缩放图像使其较短边长度为416，再做中心裁剪，得到416×416×3的张量，将取值在[0,255]的值归一化到[-0.5,0.5]再输入网络，对于输出正确是否采用交叉熵损失函数进行衡量。训练方法采用随机梯度下降(SGD)，学习速率取0.01。持续训练直到top1精确度到90％以上结束。

步骤3：训练目标检测器，在步骤2中构建的卷积神经网络上进行修改:1. 去掉最后的全局平均池化层，两个线性层和一个softmax层；2.从中提取3个尺度的特征映射，通过多个卷积层和上采样层相连接，最后输出一个52×52× (c+5b)的张量，其中c为数据集中的类别数，b为每个单元预测的边界框数量 (一般取2)，如上及构成完整的yolov3网络结构，具体结构见图2，其中特征提取部分各个卷积核的初始权值使用预训练步骤中得到的权值，使用步骤1中得到的目标检测数据集训练新的网络，得到可以使用的目标检测器。

步骤4：包含关系建模

定义低级语义对象为(c,B)，其中c为低级语义对象的类别，B为低级语义对象边界框，定义边界框为(x_lt,y_lt,x_rb,y_rb)其中x_lt,y_lt,x_rb,y_rb分别为低级语义对象边界框的左上，右下坐标的x，y坐标值，且x_rb≥x_lt，y_lt≥y_rb

定义边框计算之间的计算A∩B和A∪B：对于低级语义对象 A＝(c_a,(x_lta,y_lta,x_rba,y_rba))和B＝(c_b,(x_ltb,y_ltb,x_rbb,y_rbb))：

A∪B＝(min(x_lta,x_ltb),max(x_rba,x_rbb),min(y_lta,y_ltb),max(y_rba,y_rbb))

如果max(x_lta,x_ltb)≤min(x_rba,x_rbb)且max(y_lta,y_ltb)≤min(y_rba,y_rbb):

A∩B＝(max(x_lta,x_ltb),min(x_rba,x_rbb),max(y_lta,y_ltb),min(y_rba,y_rbb))

否则A∩B不存在

定义边界框的面积S(B)＝(x_rb-x_lt)(y_rb-y_lt)

定义包含关系：对于初级目标A、B:

若A∩B＝A，则

若

且

则

步骤5：构建高级语义对象

从前几步可以得到一个包含低级语义对象的集合，其中每个低级语义对象包含一个类别和一个边界框。

对于集合S＝{t₁,t₂,...t_n}，构造S’＝{T₁,T₂...T_n}，其中S为前几步得到的低级语义对象的集合，t_k为低级语义对象，T_k＝{t_k}。

循环检查S′，若存在T_a,T_b,t_i,t_j，ti∈T_a且tj∈T_b，

或者c_ti≠c_tj，且

则T_n+1＝T_i∪T_j,持续检查直至S’中没有满足要求的集合对，最终得到S”＝{T_o,T_o+1,...T_p}

步骤6：有价值目标提取

对于需要检测的高级目标，人工指定其所包含的低级目标类别，得到 T_t＝{c₁,c₂,...c_n}。在S”中检索T_s＝{t_s1,t_s2,...t_sn},若

则T_s为需检测的目标。其边界框为

其中c_tsi为t_si的类别，B_tsi为t_si的边界框。

实施例1：

本实施例以某商品为例，采用本发明的基于卷积神经网络的零售商品识别方法进行检测识别，如图4所示，通过对识别检测目标进行上下文信息进行显式建模，从而实现对细粒度目标的检测；使得使用公开的粗粒度数据集训练网络得到的检测器完成一定条件下的细粒度分类任务，最终能够精准快速的完成商品的识别。

Claims (5)

1.一种基于卷积神经网络的零售商品识别方法，其特征在于：先利用通用的粗粒度数据集训练一个yolov3目标检测器，再向其中输入图像得到一系列粗粒度目标的类别和位置信息，然后根据事先定义的包含关系组合低级语义对象得到一系列高级语义对象；最后在这些对象中选取需要检测的细粒度目标；

具体包括以下步骤：

步骤1：从公开数据集的类别集合中按照对应规则筛选粒度合适的类别，然后将选取好的类别所对应的图片组成训练集：

步骤2：使用步骤1选取的训练集训练yolov3目标检测器，得到一个训练后目标检测器；

步骤3：将待检测图像输入步骤2中得到的训练后目标检测器，得到一系列低级语义对象的类别以及它们的位置；

步骤4：选取合适的μ_a，μ_b，确定包含关系：

对于低级语义对象A，B，若A∩B＝A，或者

且

则

其中S(A)指低级语义对象A的边界框的面积，μ_a和μ_b分别用于在某个对象的边界框并不完全落在另一个对象的边界框中时确定它们两个之间是否存在包含关系；

步骤5：将步骤4中得到的低级语义对象集合S＝{t₁，t₂，...t_n}按映射

转化为初始高级语义对象集合S’＝{T₁，T₂...T_n}；其中T_i＝{t_i}；

步骤6：按照以下规则合并对象：

对于高级语义对象T_a，T_b，若存在T_a，T_b，t_i，t_j，t_i∈T_a且t_j∈T_b，

或者c_ti≠c_tj，且

则合并T_a，T_b为它们的并集，即T_n+1＝T_a∪T_b，从S’中删除T_a，T_b并添加T_n+1；其中，高级语义对象指低级语义对象的集合；

重复该步骤，直到高级语义对象集合中不存在满足以上所提到规则的对象对，即直至S′不再变化最终得到S″＝{T_o，T_o+1，...T_p}；

步骤7：对于需检测的对象，人工给出其包含的低级语义对象类别，在步骤6中得到的高级语义对象中检索，如果人工给出的类别集合是某个高级语义对象的类别集合的子集，则它就是需要检测的目标。

2.根据权利要求1所述的基于卷积神经网络的零售商品识别方法，其特征在于：所述步骤1中公开数据集是指从网络公开数据集中筛选出分类数据集和目标检测数据集，其中分类数据集只需图像中所含的目标类别信息，目标检测数据集则需图像中目标的类别和边界框两个属性。

3.根据权利要求1所述的基于卷积神经网络的零售商品识别方法，其特征在于：所述步骤1的分类训练集中每个类别图片数量在1000张以上，类别数在30以上且图片大小不小于512*512像素。

4.根据权利要求1所述的基于卷积神经网络的零售商品识别方法，其特征在于：所述步骤2的详细步骤为：

(2.1)训练特征提取器：首先在yolov3的特征提取器顶端加上一个全局平均池化层、两个线性层和一个softmax层，进而得到一个分类器；然后对该分类器进行训练，读取训练集图像为RGB图像做中心裁剪，归一化处理后输入网络，对于输出正确是否采用交叉熵损失函数进行衡量；持续训练直到精确度到90％以上结束；

(2.2)在已构建的卷积神经网络上进行修改：首先去掉最后的全局平均池化层、两个线性层和一个softmax层；然后从中提取3个尺度的特征映射，通过多个卷积层和上采样层相连接，最后输出一个52*52*(c+5b)的张量，其中c为数据集中的类别数，b为每个单元预测的边界框数量，进而构成完整的yolov3网络结构，其中特征提取部分各个卷积核的初始权值使用预训练步骤中得到的权值，使用步骤1中所得目标检测数据集训练新的网络，得到最终使用的目标检测器。

5.根据权利要求1所述的基于卷积神经网络的零售商品识别方法，其特征在于：步骤1中的筛选规则为：

(a)该类别与目标零售商品的外观或是包装外观相关；

(b)该类别与目标零售商品的包装内容相关；

(c)类别名称不能包含任何品牌信息。

Images