CN115393639A - 商品智能打标方法、***、终端设备及可读存储介质 - Google Patents
商品智能打标方法、***、终端设备及可读存储介质 Download PDFInfo
- Publication number
- CN115393639A CN115393639A CN202210978554.3A CN202210978554A CN115393639A CN 115393639 A CN115393639 A CN 115393639A CN 202210978554 A CN202210978554 A CN 202210978554A CN 115393639 A CN115393639 A CN 115393639A
- Authority
- CN
- China
- Prior art keywords
- commodities
- marking
- commodity
- model
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000003860 storage Methods 0.000 title claims description 8
- 238000012549 training Methods 0.000 claims abstract description 77
- 238000013507 mapping Methods 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims description 40
- 230000002860 competitive effect Effects 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 7
- 230000001680 brushing effect Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000001502 supplementing effect Effects 0.000 claims description 4
- 102100040401 DNA topoisomerase 3-alpha Human genes 0.000 claims description 3
- 101000611068 Homo sapiens DNA topoisomerase 3-alpha Proteins 0.000 claims description 3
- 101100261006 Salmonella typhi topB gene Proteins 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 101150032437 top-3 gene Proteins 0.000 claims description 3
- 238000002372 labelling Methods 0.000 abstract description 13
- 239000000047 product Substances 0.000 description 18
- 230000000694 effects Effects 0.000 description 9
- 230000036961 partial effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 241000531116 Blitum bonus-henricus Species 0.000 description 1
- 235000008645 Chenopodium bonus henricus Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种商品智能打标方法，包括从真实快销的场景图片中随机选取M张场景图片，对其中的待学习商品进行标记，在标记后从原场景图像中分割出来，得到n张商品图像作为训练集；其中，n＜＜m，m为M张场景图片中实际待学习商品图像总数；将M张场景图片中未被标记的商品分割出来生成未标注集；利用训练集和未标注集训练改进的Mixmatch模型直至模型收敛，生成目标分类器；将未标注集输入至目标分类器，将分类结果与映射表进行匹配，生成商品打标结果；映射表包含未标注集所在原图的文件名和坐标信息。本申请只需要标注少量的样本就能提升商品标注结果的准确性，加快迭代周期，标记过程更加智能化、耗时少且过程更简单。
Description
技术领域
本申请涉及计算机软件及快销技术领域，尤其涉及一种商品智能打标方法、***、终端设备及可读存储介质。
背景技术
随着人工智能在快销领域的不断发展，目标检测在商品识别中大规模的运用已成为趋势。它不仅能够提高业务员巡店的工作效率，还能帮助企业快速了解终端门店的铺货销售详情。
然而，在实际应用中，建立一个精确的商品检测模型需要有大量的样本数据来训练，在训练模型前若采用传统的人工打标方式必然要花费大量的人力成本，且耗时长。也有采用机器学习辅助打标的方法，如迭代模型策略，即先用一批数据训练一个弱检测模型，通过弱检测模型自动标记一批数据，通过人工检查修改后，再训练出一个更强的模型，通过重复上述过程，直到识别性能满足要求。但这种方式下的弱检测模型的分类能力往往较差，一方面需要人工修正的工作量大，迭代周期长；另一方面，这种方式容易受到漏标样本的影响，导致最终训练出的模型识别效果并不理想。
发明内容
本申请的目的在于提供一种商品智能打标方法、***、终端设备及可读存储介质，以解决现有的商品打标方法中存在的工作量大、耗时长、智能化程度低且容易影响商品检测模型识别精确度的问题。
为实现上述目的，本申请提供一种商品智能打标方法，包括：
从真实快销的场景图片中随机选取M张场景图片，对其中的待学习商品进行标记，并在标记后从原场景图像中分割出来，得到n张商品图像以作为训练集；其中，n＜＜m，m为M张场景图片中实际待学习商品图像总数；
将M张场景图片中未被标记的商品分割出来，生成未标注集；
利用所述训练集和所述未标注集训练改进的Mixmatch模型，直至模型收敛，生成目标分类器；
将所述未标注集输入至所述目标分类器，将分类结果与映射表进行匹配，生成商品打标结果；所述映射表包含未标注集所在原图的文件名和坐标信息。
进一步地，所述将分类结果与映射表进行匹配，生成打标结果，包括：
若未标注集中图片分类结果的置信度大于第一预设值，则将当前图片预测为对应的商品类别，生成识别结果；
根据所述识别结果，按照识别顺序与所述映射表中的坐标信息进行匹配，并按照文件名进行信息聚合，生成对应场景图片的商品打标结果。
进一步地，所述训练改进的Mixmatch模型，包括：
粗分类器训练阶段，用于在竞品数量小于第二预设值时，训练得到用于分类未标记商品的粗分类器；
粗分类器优化阶段，用于人工对于粗分类器的数据进行随机刷选，若刷选结果中存在竞品被误识别为本品或本品被漏识别时，补充竞品数据或漏识别的本品数据至训练集，以对粗分类器优化训练。
进一步地，所述将M张场景图片中未被标记的商品分割出来，包括：
利用商品检测模型将M张场景图片中未被标记的商品分割出来，所述商品检测模型根据cascadeRcnn算法训练得到。
进一步地，在所述利用商品检测模型将M张场景图片中未被标记的商品分割出来之后，还包括：
获取商品检测模型输出的检测结果，计算所述检测结果与人工标记目标的交并比；其中，检测结果为输入商品的坐标信息，人工标记目标为人工标记商品的坐标信息；
若所述交并比大于0.5，则将对应的场景图片丢弃；
若所述交并比小于或等于0.5，则将对应的场景图片中的商品图像切割出来，作为未标注集。
进一步地，在所述利用所述训练集和所述未标注集训练改进的Mixmatch模型之前，还包括获取改进的Mixmatch模型，包括：
执行负样本过滤策略，包括：
将未标注集输入目标分类器进行预测，计算正样本和负样本的置信度；
针对置信度小于第二预设值的正样本，利用以下公式提高负样本的置信值，并降低正样本的置信值：
其中，
f(t)＝min(0.4,0.1+(1-e-3*t/150)/2)；
式中，P为Mixmatch模型多个分支预测值的平均，Ppos代表正样本模型预测值，Pneg代表负样本模型预测值，t表示迭代轮次，f(t)随着迭代轮次不断增加。
进一步地，所述获取改进的Mixmatch模型，还包括执行未标注集欠采样策略，包括：
利用训练集训练得到Resnet18分类器模型，利用Resnet18分类器模型对所述未标注集进行分类，输出每张场景图片的模型预测结果；
根据所述模型预测结果，取TOP3进行求和，得到每张场景图片的得分：
score＝sum(top3(P′pos))；
式中，P′pos为Resnet18分类器模型输出中正样本类的概率；
对得分进行排序，将得分大于第二预设值的采样权重设为1，利用以下公式计算得分小于第二预设值的采样权重：
f(R)＝(R/Ncls*4)/(G-R)；
式中，G为未标注集中的商品总数，Ncls为要学习商品的类别数；
根据采样权重的大小，按照预设条件减少低采样权重对应的样本加入Mixmatch模型的训练过程。
本申请还提供一种商品智能打标***，包括：
训练集生成单元，用于从真实快销的场景图片中随机选取M张场景图片，对其中的待学习商品进行标记，并在标记后从原场景图像中分割出来，得到n张商品图像以作为训练集；其中，n＜＜m，m为M张场景图片中实际待学习商品图像总数；
未标注集生成单元，用于将M张场景图片中未被标记的商品分割出来，生成未标注集；
训练单元，用于利用所述训练集和所述未标注集训练改进的Mixmatch模型，直至模型收敛，生成目标分类器；
打标结果生成单元，用于将所述未标注集输入至所述目标分类器，将分类结果与映射表进行匹配，生成商品打标结果；所述映射表包含未标注集所在原图的文件名和坐标信息。
本申请还提供一种终端设备，包括：
一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上任一项所述的商品智能打标方法。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的商品智能打标方法。
相对于现有技术，本申请的有益效果在于：
本申请针对弱分类器存在的问题，提出一种基于少量样本学习的商品智能打标方法，通过充分利用无标记数据，只需要标注少量的样本，就能大大提升智能标注的准确性，进而加快迭代周期。并且标注人员无需标记图片中存在的所有待学习商品，标记过程更简单。同时，针对标记的负样本数量较少，难以覆盖所有其他无需学习的商品类别，或者无需学习商品占无标样本过多导致的模型训练过程中数据不均衡问题，本申请还通过提出一种负样本采样和鉴别方法，有效提高模型标记竞品的准确性。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请某一实施例提供的商品智能打标方法的流程示意图；
图2是本申请某一实施例提供的传统的Mixmatch模型的结构示意图；
图3是本申请又一实施例提供的商品智能打标方法的流程示意图；
图4是本申请某一实施例提供的商品智能打标***的结构示意图。
图5是本申请某一实施例提供的终端设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
应当理解，在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，本申请某一实施例提供一种商品智能打标方法。如图1所示，该商品智能打标方法包括步骤S10至步骤S40。各步骤具体如下：
S10、从真实快销的场景图片中随机选取M张场景图片，对其中的待学习商品进行标记，并在标记后从原场景图像中分割出来，得到n张商品图像以作为训练集；其中，n＜＜m，m为M张场景图片中实际待学习商品图像总数。
本步骤中，首先采集一批未标注的且包含大量商品图像的场景图片集，该场景是指快销领域真实场景，例如可以为货架、端架、冰箱等快销场景；其中，一个商品对应一个商品图像，场景图片中包含多少个商品图像，就包含多少个商品。通常为了保证训练效果，场景图片需要尽可能的多，例如成千上万张，具体数量可以根据真实应用环境所选择，在此不作任何限制。
在获取了大量场景图片后，从中随机选取M张场景图片，然后对其中的待学习商品进行标记。在标记好后将其从原场景图像中分割出来，则得到了n张商品图像。本步骤中，设m为M张场景图片中实际待学习商品图像总数，由于本方法中只需要标记较少数量的样本，因此此处生成的n张商品图像的数量是远远小于m的。
在一个优选的实施方式中，由于后续的标注图像只有少量的商品图像，因此要保证采集的商品图像的样本全面性相对较好，例如某件商品具有多个不同的面，如包装的抽纸，通常为长方体，有6个面。那针对这种商品，获取数据时需要对商品6个面的图像均进行采集。
示例性的，本实施例中选取的M张场景图片中的任一待学习商品出现的频度应大于某个阈值。通常，一张场景图片中会包含大量商品，而某一商品在上述场景图片中可以出现多次。也即场景图片中商品种类数量可以小于商品个数。
假设训练一个分类器的每类商品最低数据要求为阈值T。如300张，则当前图片集中商品的出现频度应大于T，频度计算为所有场景图像中该商品的出现总次数。需要说明的是，之所以要设定阈值，是因为分类器需要有足够的数据去训练，当商品数据不足时分类器容易过拟合，造成泛化识别性能不足。
在一个实施例中，对M张场景图片中待学习商品进行标记，包括利用LabelImage对待学习商品进行标注。
具体地，人工随机选择一部分未标注过的场景图片，对其中的少量待学习商品图像进行标记。若图片中存在与待学习商品非常相似的竞品，则标记为others类。此处也是通过随机选择部分相似商品进行人工标注。其中，竞品是指与本品非常相似的商品，即商品间整体外观非常相似，只有部分区域存在差异，且差异区域面积较小，人眼不易区分。
需要说明的是，标记时要求每类待学习商品的标记数量也应当大于某个阈值，且数量尽可能均衡。本实施例中，主要通过人工标注工具LabelImage进行标注，标注的具体操作为部分标记，也即粗略对场景图像中的待学习商品进行部分标注，即采用随机标注或者不标注，且满足部分标注的数量远小于商品出现的频度，此时则可认为是少量标注。
进一步地，当标记好后，将标记的商品图像进行抠图，得到训练集。其中抠图是指根据人工标注的结果(类别和位置信息)，将该商品图片(子图)从原场景图片的对应位置中分割出来。作为优选地实施方式，训练集也可通过线下上传待学习商品和相似竞品的图像进行补充。
S20、将M张场景图片中未被标记的商品分割出来，生成未标注集。
本步骤中，利用商品检测模型将M张场景图片中未被标记的商品分割出来，所述商品检测模型根据cascadeRcnn算法训练得到。
在一个具体地实施方式中，为了训练出通用的商品检测模型，首先需要采集大量的货架、端架、冰箱等快销场景的真实图片。通过这些真实图片训练得到通用商品检测器，用于检测分割出所有的商品图片。由于真实场景的复杂性，如商品包装差异、斜拍、光照等影响，要求训练集覆盖饮料、食品、日化等各个行业，且包含各种成像条件下的图片。为了保证商品检测模型的分割效果，本实施例优选收集上万张图片素材，训练了一个基于CascadeRcnn算法且能够进行全商品检测的商品检测模型。该检测模型为通用检测模型，不针对具体商品。
需要说明的是，Cascade Rcnn算法主要解决在目标检测中，检测框不是特别准，容易出现噪声干扰的问题。它为两阶段检测网络，通过级联几个检测网络达到不断优化预测结果的目的。采用cascadeRCNN的好处在于，在密集货架图像中，检测框较为准确，能较好地检测出所有的商品。检测框的准确性，极大地影响后面半监督学习分类的分类效果。
在一个示例性的实施例中，在将M张场景图片中未被标记的商品分割出来之后，为了生成未标注集，还包括执行以下步骤：
1)获取商品检测模型输出的检测结果，计算所述检测结果与人工标记目标的交并比IOU；其中，检测结果为输入商品的坐标信息，记为B1，人工标记目标为人工标记商品的坐标信息，记为B2；因此，IOU计算公式为：
2)若所述交并比大于0.5，则将对应的场景图片丢弃；
3)若所述交并比小于或等于0.5，则将对应的场景图片中的商品图像切割出来，作为未标注集。
S30、利用所述训练集和所述未标注集训练改进的Mixmatch模型，直至模型收敛，生成目标分类器。
本步骤中，将训练集和未标注集输入到优化后的Mixmatch模型中进行训练，直到模型的损失函数在多个轮次中不再下降，即模型收敛，保存Mixmatch分类器的模型参数，生成目标分类器。
请参阅图2，提供了一种传统的Mixmatch模型的结构。需要说明的是，传统的Mixmatch模型采用fakelabel的策略处理未打标样本，将两个随机数据增强分支的结果做平均，减少fakelabel的噪声，然后锐化输出标签，使得未标记样本识别结果更倾向一个特定的结果，Mixup数据增强也能较好处理一定噪声的数据，缓解模型过拟合问题，这在半监督学习中也尤为重要。
由于整套打标***的效率直接受到Mixmatch半监督模型性能影响。若分类结果差，则需要多轮数据补充，迭代训练。而mixmatch模型在商品自动打标***中面临两个关键难题：
1)负样本类(其他商品，无需识别)的多样性，负样本间的相关性偏低，形态***，但标注的负样本商品类别只是其中非常小的一部分。
2)负样本多，类别不均衡问题，导致半监督模型生成的伪标签含有大量的噪声。
因此，本实施例在传统的Mixmatch模型上作出了两个方面的改进，以得到改进的Mixmatch模型。具体如下：
第一是执行负样本过滤策略。由于成千上万的未标记负样本类经过mixmatch模型进行学习训练，其分类结果可能被错分为正样本类，误差随着网络迭代训练不断误差传递，影响最终的模型分类效果。为此，我们需要在模型的训练过程中，对可能的负样本的模型输出进行调整，调整策略如下：针对判别为正样本，但置信度较低的样本，提高负样本的置信值，并降低正样本的置信值。
具体地，执行负样本过滤策略，包括以下步骤：
将未标注集输入目标分类器进行预测，计算正样本和负样本的置信度；
针对置信度小于第二预设值的正样本，利用以下公式提高负样本的置信值，并降低正样本的置信值：
其中，
f(t)＝min(0.4,0.1+(1-e-3*t/150)/2)；
式中，P为Mixmatch模型多个分支预测值的平均，Ppos代表正样本模型预测值，Pneg代表负样本模型预测值，t表示迭代轮次，f(t)随着迭代轮次不断增加。
第二是执行负样本数据过多时的执行欠采样策略，包括：
利用训练集训练得到Resnet18分类器模型，利用Resnet18分类器模型对所述未标注集进行分类，输出每张场景图片的模型预测结果；
根据所述模型预测结果，取TOP3进行求和，得到每张场景图片的得分：
score＝sum(top3(P′pos))；
式中，P′pos为Resnet18分类器模型输出中正样本类的概率；
对得分进行排序，并事先预估一个本品在所有货架的陈列数量值R，作为第二预设值；将得分排在R前面的图片，即得分大于第二预设值的采样权重设为1，利用以下公式计算得分小于第二预设值的采样权重：
f(R)＝(R/Ncls*4)/(G-R)；
式中，G为未标注集中的商品总数，Ncls为要学习商品的类别数。
根据采样权重的大小，按照预设条件减少低采样权重对应的样本加入Mixmatch模型的训练过程。
S40、将所述未标注集输入至所述目标分类器，将分类结果与映射表进行匹配，生成商品打标结果；所述映射表包含未标注集所在原图的文件名和坐标信息。
本步骤中，首先将未标注集输入至目标分类器进行分类，然后将分类结果与映射表进行匹配，生成商品打标结果，包括：
若未标注集中图片分类结果的置信度大于第一预设值，则将当前图片预测为对应的商品类别，生成识别结果；
根据所述识别结果，按照识别顺序与所述映射表中的坐标信息进行匹配，并按照文件名进行信息聚合，生成对应场景图片的商品打标结果。
本实施例中，若某一场景图片分类结果的置信度大于第一预设值，则将当前场景图片预测为待学习商品类别；也即满足：
cls＝argmax(pred)s.t.max(softmax(pred))>Ts；
式中，cls为预测类别，softmax(pred)为置信度，pred为目标分类器的输出，Ts为第一预设值。
将当前场景图片与所述映射表匹配，得到商品所在原图的文件名和坐标信息，生成商品打标结果。
可以理解的是，此处的映射表(MAP)用于保存商品子图在场景图片的位置坐标信息。子图抠出来后进入分类器，分类器的输出类别和MAP中的位置信息，共同构成打标输出结果。通过分类器的分类结果和对应MAP中的信息，生成对应原图标记文件，其中，框的位置信息来源于通用的商品检测模型，类别为目标分类器的输出类别。
然而，在实际应用中，还会存在一种情况，即利用训练好的分类器对未标注集进行分类时，会出现某种竞品被大量错识别为待学习商品，或者待学习商品的待学习商品图像的其他角度图像未被正确识别的情况。由此可以说明步骤S30训练得到的目标分类器的分类效果还有待提高。
为了解决这一问题，在一个具体地实施方式中，训练改进的Mixmatch模型主要包括：
粗分类器训练阶段，用于在竞品数量小于第二预设值时，训练得到用于分类未标记商品的粗分类器；
粗分类器优化阶段，用于人工对于粗分类器的数据进行随机刷选，若刷选结果中存在竞品被误识别为本品或本品被漏识别时，补充竞品数据或漏识别的本品数据至训练集，以对粗分类器优化训练。
本实施例中，在将未标注集输入至目标分类器之后，通常还需要人工粗略核检未标注集输入目标分类器的分类结果，然后补充少量错误数据至训练集以对Mixmatch模型优化，如图3所示。具体包括以下内容：
当出现竞品被误识为待学习商品，或待学习商品图像的其他角度图像未被正确识别时，分别补充误识别图像和待学习商品图像的其他角度图像至训练集中；
利用补充后的训练集和对未标注集对所述目标分类器迭代训练，直至模型收敛，得到优化后的目标分类器；
将所述未标注集输入至优化后的目标分类器以进行分类。
本实施例中，若出现竞品被误识为待学习商品，则将少量误识别商品图像加入others类，例如可以选取少量图片s＜＜m(某竞品出现在场景图像集中的总数量)，s一般为2到3张即可。
同理，若待学习商品图像的其他角度图像未被正确识别，比如某个侧面图像未被正确识别或漏识别，也对应补充少量的侧面图像加入到对应类别的训练集中。优选地，补充数量小于10张。
进一步地，本实施中粗略核检的方法具体为：将未标注集中的结果依预测类别分到不同的集合中，每个集合依次依置信得分进行排序，选择置信度低于0.95且高于0.7的部分进行人工核对。可以理解，此处的置信度低于0.95且高于0.7只是一种优选方式，其数值范围大小可以根据需要进行调整，在此不作任何限定。
综上所述，本申请实施例针对弱分类器存在的问题，提出一种基于少量样本学习的商品智能打标方法，通过充分利用无标记数据，只需要标注少量的样本，就能大大提升智能标注的准确性，进而加快迭代周期。并且标注人员无需标记图片中存在的所有待学习商品，标记过程更简单。同时，针对标记的负样本数量较少，难以覆盖所有其他无需学习的商品类别，或者无需学习商品占无标样本过多导致的模型训练过程中数据不均衡问题，本申请还通过提出一种负样本采样和鉴别方法，有效提高模型标记竞品的准确性。
请参阅图4，本申请某一实施例还提供一种商品智能打标***，包括：
训练集生成单元01，用于从真实快销的场景图片中随机选取M张场景图片，对其中的待学习商品进行标记，并在标记后从原场景图像中分割出来，得到n张商品图像以作为训练集；其中，n＜＜m，m为M张场景图片中实际待学习商品图像总数；
未标注集生成单元02，用于将M张场景图片中未被标记的商品分割出来，生成未标注集；
训练单元03，用于利用所述训练集和所述未标注集训练改进的Mixmatch模型，直至模型收敛，生成目标分类器；
打标结果生成单元04，用于将所述未标注集输入至所述目标分类器，将分类结果与映射表进行匹配，生成商品打标结果；所述映射表包含未标注集所在原图的文件名和坐标信息。
可以理解的是，本实施例提供的商品智能打标***用于执行如上述任一项实施例所述的商品智能打标方法，并实现与其相同的效果，此处不再进一步赘述。
请参阅图5，本申请某一实施例提供了一种终端设备，包括：
一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的商品智能打标方法。
处理器用于控制该终端设备的整体操作，以完成上述的商品智能打标方法的全部或部分步骤。存储器用于存储各种类型的数据以支持在该终端设备的操作，这些数据例如可以包括用于在该终端设备上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
在一示例性实施例中，终端设备可以被一个或多个应用专用集成电路(Application Specific 1ntegrated Circuit，简称AS1C)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行如上述任一项实施例所述的商品智能打标方法，并达到如上述方法一致的技术效果。
在另一示例性实施例中，还提供一种包括计算机程序的计算机可读存储介质，该计算机程序被处理器执行时实现如上述任一项实施例所述的商品智能打标方法的步骤。例如，该计算机可读存储介质可以为上述包括计算机程序的存储器，上述计算机程序可由终端设备的处理器执行以完成如上述任一项实施例所述的商品智能打标方法，并达到如上述方法一致的技术效果。
最后应说明的是，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种商品智能打标方法，其特征在于，包括：
从真实快销的场景图片中随机选取M张场景图片，对其中的待学习商品进行标记，并在标记后从原场景图像中分割出来，得到n张商品图像以作为训练集；其中，n＜＜m，m为M张场景图片中实际待学习商品图像总数；
将M张场景图片中未被标记的商品分割出来，生成未标注集；
利用所述训练集和所述未标注集训练改进的Mixmatch模型，直至模型收敛，生成目标分类器；
将所述未标注集输入至所述目标分类器，将分类结果与映射表进行匹配，生成商品打标结果；所述映射表包含未标注集所在原图的文件名和坐标信息。
2.根据权利要求1所述的商品智能打标方法，其特征在于，所述将分类结果与映射表进行匹配，生成打标结果，包括：
若未标注集中图片分类结果的置信度大于第一预设值，则将当前图片预测为对应的商品类别，生成识别结果；
根据所述识别结果，按照识别顺序与所述映射表中的坐标信息进行匹配，并按照文件名进行信息聚合，生成对应场景图片的商品打标结果。
3.根据权利要求1所述的商品智能打标方法，其特征在于，所述训练改进的Mixmatch模型，包括：
粗分类器训练阶段，用于在竞品数量小于第二预设值时，训练得到用于分类未标记商品的粗分类器；
粗分类器优化阶段，用于人工对于粗分类器的数据进行随机刷选，若刷选结果中存在竞品被误识别为本品或本品被漏识别时，补充竞品数据或漏识别的本品数据至训练集，以对粗分类器优化训练。
4.根据权利要求1所述的商品智能打标方法，其特征在于，所述将M张场景图片中未被标记的商品分割出来，包括：
利用商品检测模型将M张场景图片中未被标记的商品分割出来，所述商品检测模型根据cascadeRcnn算法训练得到。
5.根据权利要求4所述的商品智能打标方法，其特征在于，在所述利用商品检测模型将M张场景图片中未被标记的商品分割出来之后，还包括：
获取商品检测模型输出的检测结果，计算所述检测结果与人工标记目标的交并比；其中，检测结果为输入商品的坐标信息，人工标记目标为人工标记商品的坐标信息；
若所述交并比大于0.5，则将对应的场景图片丢弃；
若所述交并比小于或等于0.5，则将对应的场景图片中的商品图像切割出来，作为未标注集。
6.根据权利要求1所述的商品智能打标方法，其特征在于，在所述利用所述训练集和所述未标注集训练改进的Mixmatch模型之前，还包括获取改进的Mixmatch模型，包括：
执行负样本过滤策略，包括：
将未标注集输入目标分类器进行预测，计算正样本和负样本的置信度；
针对置信度小于第二预设值的正样本，利用以下公式提高负样本的置信值，并降低正样本的置信值：
其中，
f(t)＝min(0.4，0.1+(1-e-3*t/150)/2)；
式中，P为Mixmatch模型多个分支预测值的平均，Ppos代表正样本模型预测值，Pneg代表负样本模型预测值，t表示迭代轮次，f(t)随着迭代轮次不断增加。
7.根据权利要求6所述的商品智能打标方法，其特征在于，所述获取改进的Mixmatch模型，还包括执行未标注集欠采样策略，包括：
利用训练集训练得到Resnet18分类器模型，利用Resnet18分类器模型对所述未标注集进行分类，输出每张场景图片的模型预测结果；
根据所述模型预测结果，取TOP3进行求和，得到每张场景图片的得分：
score＝sum(top3(P′pos))；
式中，P′pos为Resnet18分类器模型输出中正样本类的概率；
对得分进行排序，将得分大于第二预设值的采样权重设为1，利用以下公式计算得分小于第二预设值的采样权重：
f(R)＝(R/Ncls*4)/(G-R)；
式中，G为未标注集中的商品总数，Ncls为要学习商品的类别数；
根据采样权重的大小，按照预设条件减少低采样权重对应的样本加入Mixmatch模型的训练过程。
8.一种商品智能打标***，其特征在于，包括：
训练集生成单元，用于从真实快销的场景图片中随机选取M张场景图片，对其中的待学习商品进行标记，并在标记后从原场景图像中分割出来，得到n张商品图像以作为训练集；其中，n＜＜m，m为M张场景图片中实际待学习商品图像总数；
未标注集生成单元，用于将M张场景图片中未被标记的商品分割出来，生成未标注集；
训练单元，用于利用所述训练集和所述未标注集训练改进的Mixmatch模型，直至模型收敛，生成目标分类器；
打标结果生成单元，用于将所述未标注集输入至所述目标分类器，将分类结果与映射表进行匹配，生成商品打标结果；所述映射表包含未标注集所在原图的文件名和坐标信息。
9.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一项所述的商品智能打标方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的商品智能打标方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210978554.3A CN115393639B (zh) | 2022-08-16 | 2022-08-16 | 商品智能打标方法、***、终端设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210978554.3A CN115393639B (zh) | 2022-08-16 | 2022-08-16 | 商品智能打标方法、***、终端设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115393639A true CN115393639A (zh) | 2022-11-25 |
| CN115393639B CN115393639B (zh) | 2023-08-11 |
Family
ID=84121240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210978554.3A Active CN115393639B (zh) | 2022-08-16 | 2022-08-16 | 商品智能打标方法、***、终端设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115393639B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116128954A (zh) * | 2022-12-30 | 2023-05-16 | 上海强仝智能科技有限公司 | 一种基于生成网络的商品布局识别方法、装置及存储介质 |
| CN116311219A (zh) * | 2023-01-29 | 2023-06-23 | 广州市玄武无线科技股份有限公司 | 一种基于透视变换的地堆本品占地面积计算方法及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018026119A (ja) * | 2016-07-29 | 2018-02-15 | 株式会社野村総合研究所 | 分類システム、分類システムの制御方法、およびプログラム |
| CN107871144A (zh) * | 2017-11-24 | 2018-04-03 | 税友软件集团股份有限公司 | ***商品名分类方法、***、设备及计算机可读存储介质 |
| WO2019062811A1 (zh) * | 2017-09-27 | 2019-04-04 | 缤果可为（北京）科技有限公司 | 图像自动采集和标注设备及方法 |
| JP2019212157A (ja) * | 2018-06-07 | 2019-12-12 | 大日本印刷株式会社 | 商品特定装置、プログラム及び学習方法 |
| CN111723209A (zh) * | 2020-06-28 | 2020-09-29 | 上海携旅信息技术有限公司 | 半监督文本分类模型训练方法、文本分类方法、***、设备及介质 |
| CN112257767A (zh) * | 2020-10-16 | 2021-01-22 | 浙江大学 | 针对类不均衡数据的产品关键零部件状态分类方法 |
| WO2021046951A1 (zh) * | 2019-09-09 | 2021-03-18 | 安徽继远软件有限公司 | 图像识别方法、***及存储介质 |
| CN113850249A (zh) * | 2021-12-01 | 2021-12-28 | 深圳市迪博企业风险管理技术有限公司 | 一种图表信息格式化提取方法 |
| CN113869211A (zh) * | 2021-09-28 | 2021-12-31 | 杭州福柜科技有限公司 | 图像自动标注和标注质量自动评价方法及*** |
| CN114186056A (zh) * | 2021-12-14 | 2022-03-15 | 广州华多网络科技有限公司 | 商品标签标注方法及其装置、设备、介质、产品 |
| CN114529351A (zh) * | 2022-03-10 | 2022-05-24 | 上海微盟企业发展有限公司 | 一种商品类目预测方法、装置、设备及存储介质 |
-
2022
- 2022-08-16 CN CN202210978554.3A patent/CN115393639B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018026119A (ja) * | 2016-07-29 | 2018-02-15 | 株式会社野村総合研究所 | 分類システム、分類システムの制御方法、およびプログラム |
| WO2019062811A1 (zh) * | 2017-09-27 | 2019-04-04 | 缤果可为（北京）科技有限公司 | 图像自动采集和标注设备及方法 |
| CN107871144A (zh) * | 2017-11-24 | 2018-04-03 | 税友软件集团股份有限公司 | ***商品名分类方法、***、设备及计算机可读存储介质 |
| JP2019212157A (ja) * | 2018-06-07 | 2019-12-12 | 大日本印刷株式会社 | 商品特定装置、プログラム及び学習方法 |
| WO2021046951A1 (zh) * | 2019-09-09 | 2021-03-18 | 安徽继远软件有限公司 | 图像识别方法、***及存储介质 |
| CN111723209A (zh) * | 2020-06-28 | 2020-09-29 | 上海携旅信息技术有限公司 | 半监督文本分类模型训练方法、文本分类方法、***、设备及介质 |
| CN112257767A (zh) * | 2020-10-16 | 2021-01-22 | 浙江大学 | 针对类不均衡数据的产品关键零部件状态分类方法 |
| CN113869211A (zh) * | 2021-09-28 | 2021-12-31 | 杭州福柜科技有限公司 | 图像自动标注和标注质量自动评价方法及*** |
| CN113850249A (zh) * | 2021-12-01 | 2021-12-28 | 深圳市迪博企业风险管理技术有限公司 | 一种图表信息格式化提取方法 |
| CN114186056A (zh) * | 2021-12-14 | 2022-03-15 | 广州华多网络科技有限公司 | 商品标签标注方法及其装置、设备、介质、产品 |
| CN114529351A (zh) * | 2022-03-10 | 2022-05-24 | 上海微盟企业发展有限公司 | 一种商品类目预测方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 许重建等: "基于深度学习的HS Code产品归类方法研究" * |
| 陈宇: "基于机器视觉的无人便利店商品购置***研究与设计" * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116128954A (zh) * | 2022-12-30 | 2023-05-16 | 上海强仝智能科技有限公司 | 一种基于生成网络的商品布局识别方法、装置及存储介质 |
| CN116128954B (zh) * | 2022-12-30 | 2023-12-05 | 上海强仝智能科技有限公司 | 一种基于生成网络的商品布局识别方法、装置及存储介质 |
| CN116311219A (zh) * | 2023-01-29 | 2023-06-23 | 广州市玄武无线科技股份有限公司 | 一种基于透视变换的地堆本品占地面积计算方法及装置 |
| CN116311219B (zh) * | 2023-01-29 | 2024-02-09 | 广州市玄武无线科技股份有限公司 | 一种基于透视变换的地堆本品占地面积计算方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115393639B (zh) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115393639B (zh) | 商品智能打标方法、***、终端设备及可读存储介质 | |
| US10467502B2 (en) | Surface defect detection | |
| CN111340126B (zh) | 物品识别方法、装置、计算机设备和存储介质 | |
| Guo et al. | Paired regions for shadow detection and removal | |
| Lapedriza et al. | Are all training examples equally valuable? | |
| US11928594B2 (en) | Systems and methods for creating training data | |
| CN111061890A (zh) | 一种标注信息验证的方法、类别确定的方法及装置 | |
| US7643674B2 (en) | Classification methods, classifier determination methods, classifiers, classifier determination devices, and articles of manufacture | |
| CN111160469A (zh) | 一种目标检测***的主动学习方法 | |
| CN109857878B (zh) | 物品标注方法及装置、电子设备及存储介质 | |
| KR20230082750A (ko) | 영상처리 및 딥러닝 기반의 절화 품질 관리 시스템 및 방법 | |
| US20210166028A1 (en) | Automated product recognition, analysis and management | |
| CN110580299B (zh) | 生成对象的推荐语的配图的方法、***、设备及存储介质 | |
| CN112508659B (zh) | 商品结算处理方法、装置及计算设备、计算机存储介质 | |
| Wu et al. | Express parcel detection based on improved faster regions with CNN features | |
| CN115035344A (zh) | 数据评估方法、***及计算机可读存储介质 | |
| Shobana et al. | Fruit Freshness Detecting System Using Deep Learning and Raspberry PI | |
| Aarts et al. | Cloning object detectors | |
| Miller | Probabilistic object detection with an ensemble of experts | |
| CN114943865B (zh) | 基于人工智能的目标检测样本优化方法及相关设备 | |
| CN111598078A (zh) | 一种基于序列优化的物体检测的方法及*** | |
| US12050663B2 (en) | Auto-enrollment for a computer vision recognition system | |
| CN114972883B (zh) | 基于人工智能的目标检测样本生成方法及相关设备 | |
| CN109800769B (zh) | 产品分类控制方法、装置、计算机设备及存储介质 | |
| US20240153124A1 (en) | Methods and apparatuses for amount of object using two dimensional image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |