CN110458096A - 一种基于深度学习的大规模商品识别方法 - Google Patents

Abstract

本发明属于图像识别技术领域，公开了一种基于深度学习的大规模商品识别方法，包括如下步骤：S1：建立商品检测模型；S2：将待检测图片输入至商品检测模型，获取待检测图片中所有的商品定位数据；S3：建立商品分类模型；S4：将待检测图片输入至商品分类模型，根据所有的商品定位数据，获取对应的商品类别数据。本发明解决了现有技术存在的精度难以满足大规模项目需求、训练样本需求极大、无法快速迭代更新、样本复用性低、设备要求高、特征表达能力有限、工作量巨大以及运算速度慢的问题。

Description

一种基于深度学习的大规模商品识别方法

技术领域

本发明属于图像识别技术领域，具体涉及一种基于深度学习的大规模商品识别方法。

背景技术

商品自动结算主要是根据图片中的信息，利用目标检测方法，抽取图像中的信息，检测出图像中含有的商品列表。在一般情况下，都需要能够对多商品图像(图像中含有多款不同商品)进行检测识别，最终得到图像中商品列表。目标检测任务不仅仅需要识别静态图像中有什么物体，是什么类别，还需要预测物体所在的位置。在物体检测领域中，普遍使用目标检测或目标分割方法在一个模块中实现对物***置的定位和分类，最终识别出静态图像中的所有目标物体。

现有技术存在的缺点：

1)现有技术的一般目标检测或分割方法，这对于小规模(目标类别较小)的商品自动结算项目，可以达到较好的效果，但是对于商品类别较为庞大的大规模商品自动结算项目，却显得逐渐乏力；

2)精度难以满足大规模项目需求；现有技术在识别数目上千时，模型训练难度大大增加，精度也随之下降，难以保证稳定性，无法达到项目商用要求；

3)训练样本需求极大，采集成本剧增；对于新增商品训练阶段需要采集的样本数目极大，大大增加人工标注的成本；

4)无法快速迭代更新。随着识别数目的增加，训练速度会随之骤减，同时训练次数要求也随之增加，最终导致模型更新周期更长，无法适应市场的快速迭代特性；

5)样本复用性低；现有技术所使用的训练样本耦合性强，即多个物体在同一张图，导致物体间数据存在一定的关系，无法实现完全的解耦，最终导致高成本采集得到的数据，只能服务于某些特定需求，无法适用于所有场景；

6)设备要求高；现有技术将定位与分类集合在一个模块中，对设备要求(如设备内存、显存)随着识别目标类别增加而极速增长，进而导致设备成本大大提高；特别针对高并发、响应速度快的应用需求，对于集群设备要求更高；

7)对于传统的检测和分类方法如SVM，相对深度学习由于结构简单，特征表达能力有限而无法应对大规模的目标识别；

8)在制作训练样本时需要对每个商品进行分割，这将带来巨大的工作量，且运算速度慢。

发明内容

为了解决现有技术存在的上述问题，本发明目的在于提供一种基于深度学习的大规模商品识别方法，用于解决现有技术存在的精度难以满足大规模项目需求、训练样本需求极大、无法快速迭代更新、样本复用性低、设备要求高、特征表达能力有限、工作量巨大以及运算速度慢的问题。

本发明所采用的技术方案为：

一种基于深度学习的大规模商品识别方法，包括如下步骤：

S1：建立商品检测模型；

S2：将待检测图片输入至商品检测模型，获取待检测图片中所有的商品定位数据；

S3：建立商品分类模型；

S4：将待检测图片输入至商品分类模型，根据所有的商品定位数据，获取对应的商品类别数据。

进一步地，步骤S1中，建立商品检测模型的具体方法包括如下步骤：

S1-1：将现有的多场景多商品数据集进行数据增强处理；

S1-2：将增强后数据集输入检测网络进行迭代训练；

S1-3：判断是否符合检测网络迭代结束条件，若是则输出最优的商品检测模型，否则返回步骤S1-2；

当前交并比达到预设检测网络交并比阈值或当前迭代次数达到预设检测网络迭代次数阈值，符合检测网络迭代结束条件。

进一步地，步骤S1-1中，将多场景多商品数据集分为检测网络训练集和检测网络测试集，检测网络训练集包括不少于90000张训练图片，训练图片内包括不少于1300类商品和场景数据；

检测网络测试集包括不少于20000张测试图片，测试图片内包括不少于1000类商品和场景数据。

进一步地，步骤S1-1中，数据增强处理的方法包括旋转、裁剪、平移、镜像和亮度改变。

进一步地，步骤S1-2中，使用SoftNMS算法进行迭代训练。

进一步地，步骤S3中，建立商品分类模型的具体方法包括如下步骤：

S3-1：将负样本加入现有的商品单类数据集；

S3-2：将商品单类数据集输入分类网络，进行迭代训练；

S3-3：判断是否符合分类网络迭代结束条件，若是则输出最优的商品分类模型，否则返回步骤S3-2；

当交并比达到预设分类网络交并比阈值或当前迭代次数达到预设分类网络迭代次数阈值，符合分类网络迭代结束条件。

进一步地，步骤S3-1中，将商品单类数据集分为分类网络训练集和分类网络测试集，分类网络训练集包括不少于90000张训练图片，训练图片内包括不少于1300类商品和场景数据，且每类商品的训练图片数量属于60-100张；

分类网络测试集包括不少于20000张测试图片，测试图片内包括不少于1000类商品和场景数据，且每类商品的测试图片数量属于60-100张。

进一步地，基于深度学习的大规模商品识别方法还包括以下步骤：

周期性获取新商品数据集，并更新多场景多商品数据集和商品单类数据集，其中，所述的新商品数据集的新商品图片数量不少于60张。

进一步地，步骤S4中，商品类别数据的商品类别与商品单类数据集中的商品类别保持一致。

本发明的有益效果为：

(1)精度提高，达到商用标准；识别模块一分为二，不同模块使用该方向最优的网络结构进行训练即可；训练难度大大降低，模型精度提升，识别能力更加稳定；

(2)解决了商品遮挡问题；在商品遮挡小于50％情况下，检测网络仍然能够有效的检测出来；

(3)所需训练样本减少，采集成本下降；对于新增商品，只需要每类采集60张或以上的单品数据用于分类即可；由于商品检测模块能够对所有商品(无论新旧)进行有效检测定位，故无需新增检测模块训练数据；对比与一般目标检测方法，新样本采集数量大大下降，采集成本也随之下降；

(4)快速迭代更新；由于商品检测模块能够对所有商品(无论新旧)进行有效检测定位，故无需新增检测模块训练数据，因此只需要采集一定量数据，进而更新物体分类模块即可，能够跟上市场更新速度；

(5)类别间数据不相关，能够重复利用；由于检测模块不关心物体类别，同时分类模块所需数据为单品数据，即使某商品临时下架，只需要将该类商品剔出训练集，更新分类模块模型即可，不会影响其他商品。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是基于深度学习的大规模商品识别方法的流程图。

具体实施方式

下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本发明公开的功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本发明阐述的实施例中。

应当理解，本发明使用的术语仅用于描述特定实施例，并不意在限制本发明的示例实施例。若术语“包括”、“包括了”、“包含”和/或“包含了”在本发明中被使用时,指定所声明的特征、整数、步骤、操作、单元和/或组件的存在性,并且不排除一个或多个其他特征、数量、步骤、操作、单元、组件和/或他们的组合存在性或增加。

应当理解，还应当注意到在一些备选实施例中，所出现的功能/动作可能与附图出现的顺序不同。例如,取决于所涉及的功能/动作,实际上可以实质上并发地执行,或者有时可以以相反的顺序来执行连续示出的两个图。

应当理解，在下面的描述中提供了特定的细节,以便于对示例实施例的完全理解。然而,本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出***，以避免用不必要的细节来使得示例不清楚。在其他实例中，可以不以不必要的细节来示出众所周知的过程、结构和技术，以避免使得示例实施例不清楚。

实施例1：

如图1所示，一种基于深度学习的大规模商品识别方法，包括如下步骤：

S1：建立商品检测模型，具体方法包括如下步骤：

S1-1：将现有的多场景多商品数据集进行数据增强处理，多场景多商品数据集包括在多个不同背景及光线环境下多种不同商品的图片；

将多场景多商品数据集分为检测网络训练集和检测网络测试集，检测网络训练集包括不少于90000张训练图片，训练图片内包括不少于1300类商品和场景数据；

检测网络测试集包括不少于20000张测试图片，测试图片内包括不少于1000类商品和场景数据；

数据增强处理的方法包括旋转、裁剪、平移、镜像和亮度改变；

S1-2：将增强后数据集输入检测网络，使用SoftNMS算法进行迭代训练；

检测网络使用Faster Rcnn inception resnet与SoftNMS检测网络结构模型，精确度和召回率均超过96％；

传统检测框抑制方法(非极大值抑制NMS)直接将和得分最大的检测框的IOU大于某个阈值的其他框的得分置零，这使得两个靠的较近或者有少许遮挡的目标只能检测出一个，准确性低；本发明的检测网络使用SoftNMS算法替换传统的NMS算法，增加了检测框的准确性；SoftNMS目标检测框根据最大得分检测框的IOU更新得分，让IOU越大的框得分越低，使得没有完全抑制重叠框“发展”，从而增加了遮挡商品的检测召回率；

S1-3：判断是否符合检测网络迭代结束条件，若是则输出最优的商品检测模型，否则返回步骤S1-2；

当前交并比达到预设检测网络交并比阈值或当前迭代次数达到预设检测网络迭代次数阈值，符合检测网络迭代结束条件；

S2：将待检测图片输入至商品检测模型，获取待检测图片中所有的商品定位数据；

本文分别对商品类别数目进行预实验，分别选用了300、600、1000、1300、2000类商品训练分类网络，实验证明在商品类别增加的同时要保持精确度必须增加分类器样本的个数，同时存在相似商品的时候增加相似商品的样本数目有利于提高相似商品的识别率；经过预实验本发明得到商品类别和每类样本个数的经验值如下表1商品类别和样本数量经验值结果表所示，解决传统检测方法对于商品种类大于1000时模型难以收敛的问题；

表1

类别数目N	N≤600	600≤N≤1300	1300≤N≤2000	N≥2000
					所需图片数目n	n>60	n>80	n>150	N>200

S3：建立商品分类模型，针对不同的应用场景可训练不同的商品分类模型，增加了商品分类模型的灵活性；商品分类模型采用inception_v4作为分类网络的基础网络进行训练，精确度超过98％，具体方法包括如下步骤：

S3-1：将负样本加入现有的商品单类数据集，商品单类数据集包括在不同背景及光线环境下拍摄单个商品的数据，商品单类数据集中商品摆放姿势、拍摄角度随机变换；

将商品单类数据集分为分类网络训练集和分类网络测试集，分类网络训练集包括不少于90000张训练图片，训练图片内包括不少于1300类商品和场景数据，且每类商品的训练图片数量属于60-100张；

分类网络测试集包括不少于20000张测试图片，测试图片内包括不少于1000类商品和场景数据，且每类商品的测试图片数量属于60-100张；

S3-2：将商品单类数据集输入分类网络，进行迭代训练；

S3-3：判断是否符合分类网络迭代结束条件，若是则输出最优的商品分类模型，否则返回步骤S3-2；

当交并比达到预设分类网络交并比阈值或当前迭代次数达到预设分类网络迭代次数阈值，符合分类网络迭代结束条件；

提高了商品分类模型的自动化程度，只需按要求搜集好需要识别的每类商品的图片即可启动分类网络训练和商品分类模型发布，使用时工作简化，任何非技术人员都可以操控商品分类模型，使得模型更灵活；

S4：将待检测图片输入至商品分类模型，根据所有的商品定位数据，获取对应的商品类别数据；

商品类别数据的商品类别与商品单类数据集中的商品类别保持一致。

作为优选，基于深度学习的大规模商品识别方法还包括以下步骤：

周期性获取新商品数据集，并更新多场景多商品数据集和商品单类数据集，其中，所述的新商品数据集的新商品图片数量不少于60张；

由于商品外观更新迭代快，因此商品分类模型对新商品快速的学习显得尤为重要，本发明对于新增商品只需收集新商品的样本并训练商品分类模型即可，让商品分类模型对新增商品具有很好的扩展性、灵活性和可控性，减少工作量和时间成本。

本发明使用了商品检测模型和商品分类模型，识别效果和稳定性，并能够快速迭代更新，为商品自动结算任务提供强有力的技术支持，有效解决商品自动结算场景特有的技术难点，其中检测网络采用大规模数据进行训练，只负责对静态图像中的目标物体进行检测和定位，但不需要关注该目标物体是什么，基于大量数据训练的检测网络即使面对未知的场景都具有很好的抗干扰能力；分类网络作为检测网络的级联网络，只负责对检测网络检测到的目标物体进行类别判断，商品检测任务一分为二，在保证较高的识别正确率的前提下，大大地提升了模型的扩展能力；检测网络能够适用于不同的应用场景以及一些未知的商品，因此针对不同的应用场景只需要优化商品分类模型，这样简化了模型更新的工作量；基于大量数据训练的检测网络即使面对未知的场景都具有很好的抗干扰能力。

本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (9)

1.一种基于深度学习的大规模商品识别方法，其特征在于：包括如下步骤：

S1：建立商品检测模型；

S2：将待检测图片输入至商品检测模型，获取待检测图片中所有的商品定位数据；

S3：建立商品分类模型；

S4：将待检测图片输入至商品分类模型，根据所有的商品定位数据，获取对应的商品类别数据。

2.根据权利要求1所述的基于深度学习的大规模商品识别方法，其特征在于：所述的步骤S1中，建立商品检测模型的具体方法包括如下步骤：

S1-1：将现有的多场景多商品数据集进行数据增强处理；

S1-2：将增强后数据集输入检测网络进行迭代训练；

S1-3：判断是否符合检测网络迭代结束条件，若是则输出最优的商品检测模型，否则返回步骤S1-2；

当前交并比达到预设检测网络交并比阈值或当前迭代次数达到预设检测网络迭代次数阈值，符合检测网络迭代结束条件。

3.根据权利要求2所述的基于深度学习的大规模商品识别方法，其特征在于：所述的步骤S1-1中，将多场景多商品数据集分为检测网络训练集和检测网络测试集，所述的检测网络训练集包括不少于90000张训练图片，所述的训练图片内包括不少于1300类商品和场景数据；

所述的检测网络测试集包括不少于20000张测试图片，所述的测试图片内包括不少于1000类商品和场景数据。

4.根据权利要求2所述的基于深度学***移、镜像和亮度改变。

5.根据权利要求2所述的基于深度学习的大规模商品识别方法，其特征在于：所述的步骤S1-2中，使用SoftNMS算法进行迭代训练。

6.根据权利要求1所述的基于深度学习的大规模商品识别方法，其特征在于：所述的步骤S3中，建立商品分类模型的具体方法包括如下步骤：

S3-1：将负样本加入现有的商品单类数据集；

S3-2：将商品单类数据集输入分类网络，进行迭代训练；

S3-3：判断是否符合分类网络迭代结束条件，若是则输出最优的商品分类模型，否则返回步骤S3-2；

当交并比达到预设分类网络交并比阈值或当前迭代次数达到预设分类网络迭代次数阈值，符合分类网络迭代结束条件。

7.根据权利要求6所述的基于深度学习的大规模商品识别方法，其特征在于：所述的步骤S3-1中，将商品单类数据集分为分类网络训练集和分类网络测试集，所述的分类网络训练集包括不少于90000张训练图片，所述的训练图片内包括不少于1300类商品和场景数据，且每类商品的训练图片数量属于60-100张；

所述的分类网络测试集包括不少于20000张测试图片，所述的测试图片内包括不少于1000类商品和场景数据，且每类商品的测试图片数量属于60-100张。

8.根据权利要求1所述的基于深度学习的大规模商品识别方法，其特征在于：还包括以下步骤：

周期性获取新商品数据集，并更新多场景多商品数据集和商品单类数据集，其中，所述的新商品数据集的新商品图片数量不少于60张。

9.根据权利要求1所述的基于深度学习的大规模商品识别方法，其特征在于：所述的步骤S4中，商品类别数据的商品类别与商品单类数据集中的商品类别保持一致。