CN109741144B

CN109741144B - 商品核验方法、装置、主机及设备

Info

Publication number: CN109741144B
Application number: CN201910009098.XA
Authority: CN
Inventors: 魏秀参; 崔权; 杨磊
Original assignee: Xuzhou Kuangshi Data Technology Co ltd; Nanjing Kuangyun Technology Co ltd; Beijing Kuangshi Technology Co Ltd
Current assignee: Xuzhou Kuangshi Data Technology Co ltd; Nanjing Kuangyun Technology Co ltd; Beijing Kuangshi Technology Co Ltd
Priority date: 2019-01-04
Filing date: 2019-01-04
Publication date: 2021-08-10
Anticipated expiration: 2039-01-04
Also published as: CN109741144A

Abstract

本申请涉及商品零售技术领域，提供一种商品核验方法、装置、主机及设备。其中，商品核验方法包括：获取包含待核验商品的核验图像；利用预训练的目标检测模型检测核验图像中的待核验商品，并根据检测结果生成待核验商品的清单；获取已付款商品的清单；将待核验商品的清单与已付款商品的清单进行对比，若两个清单中商品的种类以及每种商品的数量均一致，则确定待核验商品与已付款商品一致。上述商品核验方法基于目标检测算法自动执行，无需人工介入，有效节省了人力资源成本，避免了核验过程中的人为错误，符合零售行业无人化的发展趋势。

Description

商品核验方法、装置、主机及设备

技术领域

本申请涉及商品零售技术领域，具体而言，涉及一种商品核验方法、装置、主机及设备。

背景技术

无人化是目前商品零售行业的重要发展趋势之一，一些购物场所已经开始支持顾客在购物过程中自主付款，然后在顾客离开购物场所时再核验其携带的商品是与已付款商品是否一致，避免顾客将忘记付款的商品带走。然而，在现有技术中，这一核验过程仍由人工负责，不仅增加了人力成本，也与无人化的零售理念背道而驰。

发明内容

有鉴于此，本申请实施例提供一种商品核验方法、装置、主机及设备，采用基于目标检测的方法自动进行商品核验，改善了商品核验过程需要人工介入的问题。

为实现上述目的，本申请实施例提供如下技术方案：

第一方面，本申请实施例一种商品核验方法，包括：

获取包含待核验商品的核验图像；

利用预训练的目标检测模型检测所述核验图像中的所述待核验商品，并根据检测结果生成所述待核验商品的清单，其中，所述目标检测模型为目标检测算法使用的神经网络模型，所述待核验商品的清单包括所述待核验商品的种类以及每种待核验商品的数量；

获取已付款商品的清单，所述已付款商品的清单包括已付款商品的种类以及每种已付款商品的数量；

将所述待核验商品的清单与所述已付款商品的清单进行对比，若两个清单中商品的种类以及每种商品的数量均一致，则确定所述待核验商品与所述已付款商品一致。

上述方法根据目标检测的结果生成待核验商品的清单，并验证待核验商品的清单内容与已付款商品的清单内容是否一致，进而确定待核验商品是否已经付款。整个商品核验过程基于目标检测算法自动执行，无需人工介入，有效节省了人力资源成本，避免了核验过程中的人为错误，符合零售行业无人化的发展趋势。

在一些实施例中，在所述利用预训练的目标检测模型检测所述核验图像中的所述待核验商品之前，所述方法还包括：

利用预采集的单品图像和/或组合图像训练所述目标检测模型，并利用所述组合图像测试所述目标检测模型，其中，所述单品图像是指仅包含商品集中的单件商品的图像，所述组合图像是指包含所述商品集中的多种商品的组合的图像，所述商品集是指为训练所述目标检测模型所准备的商品的集合。

由于在实际核验环境中进行商品核验时，待核验商品可能包括多种商品的组合，因此用同样包含多种商品的组合的组合图像进行目标检测模型的训练和测试具有较好的效果。而单品图像具有采集方便的优点，特别是在商品集中增加新的商品时，只需补充采集少量该新商品的单品图像即可进行新模型的训练。或者，也可以在训练时结合组合图像以及单品图像。

在一些实施例中，所述单品图像是在所述单件商品放置于旋转台上且旋转至不同的位置时，通过设置于不同的拍摄角度的图像采集设备采集到的。

在采集单品图像时，尽量使图像采集设备采集到单件商品在各个视角下的图像，以便模拟实际核验环境下待核验商品的各种摆放角度，有利于目标检测模型的训练。

在一些实施例中，所述单品图像是在所述单件商品分别按照正面朝上以及背面朝上的方式放置于所述旋转台上时，通过所述图像采集设备采集到的。

对于一些商品，例如盒状、包状的商品，其正面和背面的外观可能存在较大区别，可以分正面朝上和背面朝上两种方式分别进行单品图像的采集，使得单品图像集更加完备。

在一些实施例中，每个组合图像对应预设的多种组合密集程度中的一种，每种组合密集程度对应所述组合图像中商品的种数的一个分布区间以及商品的总数量的一个分布区间。

在实际核验环境中，摆放商品的区域通常是有限的，因此在待核验商品的数量不同时，体现为核验图像中待核验商品的密度不同，在采集组合图像时也采集不同商品密度的图像，以使组合图像集更贴近实际的核验图像。

在一些实施例中，每个组合图像中商品的种类以及其中每种商品的数量随机确定。

实际核验环境下待核验商品的种类和其中每种商品的数量往往是随机的，因此随机确定组合图像的内容有利于模拟实际的核验过程，改善目标检测模型的质量。

在一些实施例中，每个组合图像中商品的随机摆放。

实际核验环境下待核验商品的摆放位置往往是随机的，因此将商品随机摆放后再采集组合图像的有利于模拟实际的核验过程，改善目标检测模型的质量。

在一些实施例中，所述商品集中包括多个类别的商品，每个类别中包括的多种商品在外观上具有相似性。

在商品集中包含外观相似的商品，体现了商品集细粒度的特征，从而将基于该商品集的单品图像和/或组合图像用于训练目标检测模型，训练好的模型也能够有效区分外观近似的商品。

在一些实施例中，利用所述单品图像训练所述目标检测模型，并利用所述组合图像测试所述目标检测模型，包括：

对每个单品图像进行前后景分割，获得仅包含所述单件商品的前景图像；

根据背景图像以及选取的多个前景图像生成合成图像，多次选取前景图像后，获得多个合成图像；

利用所述多个合成图像训练所述目标检测模型；

利用所述组合图像测试所述目标检测模型。

在这些实施例中，只需要有限的单品图像就可以组合生成大量的合成图像，避免了将大量时间花费在训练集的采集上，同时，各单品图像对应的前景图像之间可以自由组合，前景图像与背景图像之间也可以自由组合，从而训练集可以有效覆盖商品核验的不同场景，有利于提高目标检测模型的质量，进而改善商品核验结果。

在一些实施例中，所述单品图像与所述组合图像在不同的环境下采集。

单品图像的采集环境和实际的核验图像的采集环境很可能是不同的，因此若单品图像用于训练模型而组合图像用于测试模型，也可以让二者在不同的环境下采集，以模拟训练环境和实际核验环境的差异。

在一些实施例中，利用所述组合图像训练所述目标检测模型，并利用所述组合图像测试所述目标检测模型，包括：

利用一部分组合图像训练所述目标检测模型；

利用另一部分组合图像测试所述目标检测模型。

在这些实施中，直接从组合图像集中选择训练集和测试集，实施起来比较简单，并且由于组合图像中包含多种商品的组合，与实际的核验图像的内容近似，因此训练出的目标检测模型用于商品核验效果也较好。

在一些实施例中，所述目标检测模型采用有监督的训练，训练用的图像对应的监督信号采用以下三种中的一种：

所述训练用的图像中商品的清单，其中，所述商品的清单包括所述训练用的图像中商品的种类以及每种商品的数量；

所述训练用的图像中每件商品的中心位置以及种类；

所述训练用的图像中每件商品的包围框以及种类。

以上三种监督信号的监督效果由弱至强，可以根据实际需求进行选择。

在一些实施例中，所述训练所述目标检测模型，包括：

每轮训练时，将本轮训练用的图像输入至所述目标检测模型，根据所述目标检测模型输出的预测结果计算用于评估目标检测效果的评估指标，并在所述评估指标的计算结果满足预设要求时终止训练，将训练终止时的模型确定为训练好的目标检测模型；

或

每轮训练时，将本轮训练用的图像输入至所述目标检测模型，根据所述目标检测模型输出的预测结果计算用于评估目标检测效果的评估指标，并在所述目标检测模型训练终止后，将每轮训练后保存的模型中在所述评估指标上表现最优的模型确定为训练好的目标检测模型；

所述测试所述目标检测模型，包括：

将测试用的图像输入至所述训练好的目标检测模型，根据所述训练好的目标检测模型输出的预测结果计算所述评估指标，并在所述评估指标的计算结果满足所述预设要求时，将所述训练好的目标检测模型确定为通过测试的目标检测模型。

可以通过评估指标来量化评估目标检测模型的预测效果，以及测试训练好的目标检测模型是否能够投入实际使用，有效保障了模型的质量，避免因模型性能不佳影响商品的核验结果。

在一些实施例中，在所述将所述训练好的目标检测模型确定为通过测试的目标检测模型之后，所述方法还包括：

将在实际核验环境下采集的包含多种商品的组合的图像输入至所述通过测试的目标检测模型，根据所述通过测试的目标检测模型输出的预测结果计算所述评估指标，并在所述评估指标的计算结果满足所述预设要求时确定所述通过测试的目标检测模型可用于检测所述核验图像中的所述待核验商品，其中，所述实际核验环境是指采集所述核验图像的环境。

虽然目标检测模型已经通过测试集的测试，但测试图像的采集环境和实际核验环境不一定是完全相同的，因此还可以在实际核验环境下再次测试模型是否能够满足商品核验任务的需求，避免因模型在实际核验环境中表现不佳影响商品的核验结果。

在一些实施例中，所述评估指标包括以下至少一种：

在全部待评估图像中，对包含的每种商品的数量都预测正确的待评估图像所占的比例；

在全部待评估图像中，每个待评估图像的预测误差的均值，其中，一个待评估图像的预测误差是指该待评估图像包含的、每种商品的数量的预测误差之和；

在全部种类的商品中，每种商品的预测错误占比的均值，其中，一种商品的预测错误占比是指该种商品的数量在每个待评估图像中的预测误差之和、与该种商品的数量在每个待评估图像中的真实值之和的比值；

在全部种类的商品中，每种商品的一致性的均值，其中，一种商品的一致性是指该种商品的数量在每个待评估图像中的较小值之和、与该种商品的数量在每个待评估图像中的较大值之和的比值，该种商品的数量在一个待评估图像中的较小值是指该种商品的数量在该待评估图像中的预测值与真实值中的较小者，该种商品的数量在一个待评估图像中的较大值是指该种商品的数量在该待评估图像中的预测值与真实值中的较大者。

第二方面，本申请实施例提供一种商品核验装置，包括：

图像获取模块，用于获取包含待核验商品的核验图像；

第一清单获取模块，用于利用目标检测模型检测所述核验图像中的所述待核验商品，并根据检测结果生成所述待核验商品的清单，其中，所述目标检测模型为目标检测算法使用的神经网络模型，所述待核验商品的清单包括所述待核验商品的种类以及每种待核验商品的数量；

第二清单获取模块，用于获取已付款商品的清单，所述已付款商品的清单包括已付款商品的种类以及每种已付款商品的数量；

核验模块，用于将所述待核验商品的清单与所述已付款商品的清单进行对比，若两个清单中商品的种类以及每种商品的数量均一致，则确定所述待核验商品与所述已付款商品一致。

第三方面，本申请实施例提供一种商品核验主机，包括：存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行第一方面或第一方面的任意一个可能的实施例提供的方法的步骤。

第四方面，本申请实施例提供一种商品核验设备，包括：第三方面提供的商品核验主机以及图像采集设备，所述图像采集设备与所述商品核验主机连接，用于采集核验图像并将所述核验图像发送至所述商品核验主机。

在一些实施例中，所述设备还包括：输出设备，与所述商品核验主机连接，所述商品核验主机还用于在获得表示待核验商品的清单与已付款商品的清单中商品的种类以及每种商品的数量是否一致的核验结果后，控制所述输出设备输出所述核验结果。

输出设备可以以图像、语音等方式向顾客或者其他相关人员输出核验结果，以使这些人获知核验结果并采取相应措施。

在一些实施例中，所述商品核验设备还包括：通道阻挡设备，与所述商品核验主机连接，所述商品核验主机还用于在确定待核验商品的清单与已付款商品的清单中商品的种类以及每种商品的数量一致时，控制所述通道阻挡设备开放出入购物场所的通道。

通道阻挡设备可以是闸机、闸门等设备，在尚未进行商品核验时阻塞通道，使得顾客无法通行，在核验成功后开放通道，使得顾客可以离开购物场所，若核验不成功，则可以继续阻塞通道，使得携带有未付款商品的顾客无法离开购物场所。

第五方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行第一方面或第一方面的任意一个可能的实施例提供的方法的步骤。

为使本申请的上述目的、技术方案和有益效果能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例提供的一种商品核验主机的结构示意图；

图2示出了本申请实施例提供的一种商品核验设备的结构示意图

图3示出了本申请实施例提供的一种商品核验方法的流程图；

图4示出了本申请实施例提供的单品图像的一种采集方式的示意图；

图5示出了本申请实施例提供的组合图像的一种采集方式的示意图；

图6示出了本申请实施例提供的一种商品核验装置的功能模块图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于将一个实体或者操作与另一个实体或操作区分开来，而不能理解为指示或暗示相对重要性，也不能理解为要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

图1示出了本申请实施例提供的一种商品核验主机的结构示意图。参照图1，商品核验主机100包括一个或多个处理器102以及一个或多个存储装置104，这些组件通过总线***106和/或其他形式的连接机构(未示出)互连。

处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制商品核验主机100中的其他组件以执行期望的功能。

存储装置104可以各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行计算机程序指令，以实现本申请实施例提供的商品核验方法的步骤以及/或者其他期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。

可以理解，图1所示的结构仅为示意，商品核验主机100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。于本申请实施例中，商品核验主机100可以是，但不限于台式机、笔记本电脑、智能手机、智能穿戴设备、车载设备等实体设备。商品核验主机100还可以是虚拟机等虚拟设备。

本申请实施例还提供一种商品核验设备200，如图2所示。参照图2，商品核验设备200包括商品核验主机220以及图像采集设备210，二者相互连接并可以进行数据通信，连接方式可以是有线的也可以是无线的。

其中，商品核验主机220可以采用，但不限于图1示出的商品核验主机100。图像采集设备210可以是，但不限于摄像头等设备，图像采集设备210采集到核验图像后，将其发送给商品核验主机220，商品核验主机220接收核验图像，进而执行本申请实施例提供的商品核验方法。

图3示出了本申请实施例提供的一种商品核验方法的流程图。在阐述时，结合图2示出的商品核验设备200进行阐述，但并不表示该商品核验方法仅能够在商品核验设备200中应用。例如，该商品核验方法也可以只在商品核验主机100中应用，其中核验图像不通过图像采集设备210获取。为阐述方便，进一步将商品核验设备200的应用场景限制在购物场所(如超市等)的出口处，用于顾客在离开购物场所时核验其携带的商品，但显然的，这不应当视为对本申请保护范围的限制。例如，商品核验设备200也可以出于功能展示目的执行该商品核验方法。

参照图3，商品核验方法包括：

步骤S30：商品核验主机220获取包含待核验商品的核验图像。

待核验商品是指需要进行核验的商品，例如，顾客在购物场所购物后，企图离开购物场所时携带的商品。核验图像可以由图像采集设备210采集，例如，图像采集设备210可以设置于一置物台上方，其视场覆盖置物台，顾客可以主动将待核验商品放置于置物台上，然后触发图像采集设备210采集核验图像，图像采集设备210将采集到的图像发送给商品核验主机220，从而核验图像为商品核验主机220所获取。其中，触发图像采集设备210的采集行为的方式不作限定，例如顾客可以通过点击按钮、点击触控屏、语音控制等方式向商品核验主机220下达指令，使商品核验主机220控制图像采集设备210进行核验图像的采集。

步骤S31：商品核验主机220利用目标检测(objectdection)模型检测核验图像中的待核验商品，并根据检测结果生成待核验商品的清单。

其中，目标检测模型为目标检测算法使用的神经网络模型，目标检测算法是指利用预训练的目标检测模型从图像中检测出特定目标的算法，例如，包括但不限于Faster－RCNN、Mask－RCNN、FPN等算法，这里，要检测的特定目标就是指待核验商品。目标检测模型以核验图像作为输入，其输出可以是模型预测出的核验图像中每件待核验商品的位置以及种类，在步骤S31执行之前用包含待核验商品的图像对目标检测模型进行训练，可以使得该模型具备检测待核验商品的能力。其中，待核验商品的位置可以是核验图像中待核验商品的包围框(bounding box)，待核验商品的种类可以是该商品的名称和/或规格(如重量、体积、价格等)，还可以是该商品的ID编码等。

根据核验图像中每件待核验商品的种类进行分类统计，就可以获得核验图像中包括哪几种待核验商品，以及每种待核验商品的数量，即获得了待核验商品的清单。例如，待核验商品的清单可以是如下形式：

商品种类	数量
		品牌A的啤酒	3
品牌B的牛奶	2
		品牌C的铅笔	20

可以理解的，待核验商品的清单还可以包括其他信息，例如每种商品的价格等等。

步骤S32：商品核验主机220获取已付款商品的清单。

已付款商品是指在开始核验之前已经进行了结算的商品，已付款商品的清单包括已付款商品的种类以及每种已付款商品的数量。在一些实现方式中，商品核验主机220可以从服务器上获取已付款商品的清单，清单的一种可能的生成方式如下：顾客在其使用的终端设备(如手机等)上安装购物场所的运营者开发的应用程序，在购物过程中利用该应用程序提供的扫码功能扫描了商品的条码，并在核验之前使用终端设备将扫描过的商品的清单提交至服务器，服务器返回对应的付款链接后，顾客在终端设备上完成对这些商品的付款，服务器确认顾客的付款行为后，将终端设备之前提交的清单标记为已付款。

可以理解的，已付款商品的清单还可能通过其他方式生成，以上生成方式仅仅是一种示例。例如，也可以由终端设备生成并发送给服务器。此外，商品核验主机220也不一定要从独立的服务器获取已付款商品的清单，例如，商品核验主机220本身就是服务器，直接和终端设备进行交互，在其本地生成已付款商品的清单。

步骤S33：商品核验主机220将待核验商品的清单与已付款商品的清单进行对比。

若两个清单中商品的种类以及每种商品的数量均一致，则商品核验主机220确定待核验商品与已付款商品一致，即核验成功，否则商品核验主机220确定核验商品与已付款商品不一致，即核验失败。核验完成后可以生成核验结果，核验结果中可以包含两个清单中商品的种类以及每种商品的数量是否一致的信息。

在一些实现方式中，商品核验设备200还包括与商品核验主机220连接的输出设备230。商品核验主机220在获得核验结果后，可以控制输出设备230输出核验结果。其中，输出设备230可以是，但不限于显示器、扬声器等设备，根据设备的不同，其输出信息的方式可以是图像、语音等方式。核验结果输出后，与商品核验相关的人员，例如顾客等可以获知核验结果，并根据核验结果采取相应的措施。例如，当核验结果表明核验商品中存在尚未付款的商品时，顾客可以对这些商品进行付款，然后重新进行核验。

在一些实现方式中，商品核验设备200还包括与商品核验主机220连接的通道阻挡设备240。通道阻挡设备240在顾客尚未进行商品核验时阻塞出入购物场所的通道，使得顾客无法通行，商品核验主机220在确定待核验商品的清单与已付款商品的清单中商品的种类以及每种商品的数量一致时，控制通道阻挡设备240开放通道，使得顾客可以离开购物场所，而在两个清单不一致时，可以让通道阻挡设备240继续阻塞通道，使得顾客在未完成对全部商品的付款时无法离开购物场所。其中，通道阻挡设备240可以是，但不限于闸机、闸门等设备，在这些实施例中，将对顾客的放行与商品核验的结果结合起来，有利于实现购物场所的无人化管理。

可以理解的，在步骤S33执行完后，商品核验设备200还可以对核验结果进行其他处理，例如存储、分析等等，不再一一列举。

综上所述，本申请实施例提供的商品核验方法根据目标检测算法的结果生成待核验商品的清单，并验证待核验商品的清单内容与已付款商品的清单内容是否一致，进而确定待核验商品是否已经付款。整个商品核验过程无需人工介入，有效节省了人力资源成本，避免了核验过程中的人为错误，符合零售行业无人化的发展趋势。同时，随着深度学习领域研究的不断进展，可以预见目标检测算法的精度还将不断提高，从而商品核验的准确度也将不断提高，即该方法有良好的应用前景。

在一些实现方式中，在执行步骤S31之前，该方法还包括：

利用预采集的单品图像和/或组合图像训练目标检测模型，并利用组合图像测试目标检测模型。

其中，单品图像是指仅包含商品集中的单件商品的图像，组合图像是指包含商品集中的多种商品的组合的图像，商品集是指为训练目标检测模型所准备的商品的集合，商品集中的商品涵盖可能的核验商品，当然还可以包含更多的商品。

进一步的，商品集中包括多个类别的商品，每个类别的商品中包括的多个种类的(在本文中也常简称多种)商品，每种商品的数量为多个。例如，在一个可能的商品集中，可以包括膨化食品、果仁果脯、干货、冲调、方便面、甜品、饮料、酒、罐头、巧克力、口香糖、糖果、调味料、个人护理、纸巾和文具共17个类别的商品，在巧克力这个类别下又可以包括品牌A的黑巧克力、品牌A的白巧克力、品牌B的牛奶巧克力共3种巧克力，每种巧克力可以准备5件。可以理解的，上述商品类别、种类、数量均为示例性的，不构成对本申请保护范围的限制。

可选的，商品集的每个类别中包括的多种商品中的部分或全部在外观上具有相似性，例如品牌A的黑巧克力和品牌A的白巧克力其包装都是长条状的塑料包装，包装表面的文字也类似，只是包装表面的巧克力图案前者为黑色，后者为白色。在商品集中包含外观相似的商品，体现了商品集细粒度的特征，即基于该商品集的单品图像和/或组合图像用于训练目标检测模型，训练好的模型也能够有效区分外观近似的商品，因为这些外观近似的商品已经被包含在训练样本的图像中。

基于商品集中的某件商品，可以采集仅包含该商品的图像，即该商品的单品图像，一件商品的单品图像可以采集一个或多个。单品图像的采集方式不作限定，例如可以采用图4示出的方式。参照图4，在一水平台面上设置一个旋转台，要采集图像的单件商品放置于旋转台上，在旋转台附近设置多个图像采集设备，每个图像采集设备与旋转台呈不同的拍摄角度，其中，拍摄角度可以指图像采集设备的主轴与旋转台所在水平面的夹角，例如在图4中，共有4个图像采集设备，其拍摄角度分别为0°、30°、45°以及90°(90°时图像采集设备位于旋转台正上方)，需要指出，此处的图像采集设备是指采集单品图像时使用的，不是指用于采集核验图像的图像采集设备210。在采集过程中，旋转台是可旋转的，当商品旋转至不同位置时，各图像采集设备都要分别采集相应的单品图像。例如，旋转台每旋转9°暂停一下，由4个图像采集设备各自采集一个单品图像，共采集4个单品图像，则旋转一周后共采集360°/9°＊4＝160个针对该商品的单品图像。针对商品集中的每种商品都采集其对应的单品图像，构成单品图像集，比如对于上面例举的商品集，单品图像集可以包括160个品牌A的黑巧克力的单品图像，160个品牌A的白巧克力的单品图像，等等。

对于部分商品，其外观存在正面和背面的概念，例如包装或盒装的商品。这类商品正面朝上放置时，背面将被遮挡，背面朝上放置时，正面将被遮挡，并且其正面和背面的外观可能存在一定的区别，导致其采用不同方式放置时，看起来像是两种不同的商品。对这类商品在采集单品图像时，可以将其分别按照正面朝上以及背面朝上的方式放置于旋转台，并分别按照上面阐述的方式进行采集，这样获得的单品图片才能比较完整地显示这类商品的外观。可以理解的，若某种商品不存在正面和背面，或者正面和背面外观没有明显区别，或者正常情况下只会固定某一面朝上放置，则也可以只对该商品的单面进行单品图像的采集。

由于单品图像可用于训练目标检测模型，因此在采集单品图像时，通过上面介绍的方法尽量使图像采集设备采集到单件商品在各个视角下的图像，以便模拟实际核验环境下待核验商品的各种摆放角度，有利于目标检测模型的训练，而目标检测模型质量的提高，将直接改善商品核验的准确性。

基于上述商品集中的多种商品，还可以采集包含多种商品的组合的图像，即组合图像。这里所称的多种商品的组合是指每个组合图像可能包含不同种类的商品，每种商品可能包含一个或多个，同时即使两个组合图像中的商品的种类及数量完全相同，但其摆放的位置、摆放的方式不同，也属于不同的组合图像。显然，难以穷举所有的组合图像，可以根据实际需求采集若干张组合图像作为组合图像集。

组合图像的采集方式不作限定，例如可以采用图5示出的方式。参照图5，在一水平台面上设置一个用于放置商品的放置区域，例如，可以是一张矩形的纸板，要采集图像的多种商品放置于该区域内。在放置区域上方设置一图像采集设备，该图像采集设备的视场覆盖放置区域，以使位于该区域内的商品都能够被采集到。设置放置区域是为了模拟实际的核验环境，因为实际中放置待核验商品的置物台面积有限，也不可能任由顾客放置商品，当然在一些实现方式中也可以不设置放置区域，此时相当于默认放置区域就是图像采集设备的视场覆盖范围。需要指出，此处的图像采集设备是指采集组合图像时使用的，不是指用于采集核验图像的图像采集设备210。

在一些实施例中，每个组合图像可以对应预设的多种组合密集程度中的一种，每种组合密集程度对应组合图像中商品的种数(即，商品的种类的数量)的一个分布区间以及商品的总数量的一个分布区间。例如，组合密集程度分成低、中、高三种：

组合密集程度	商品种数	商品总数量
			低	3～5	3～10
中	5～8	10～15
			高	8～10	15～20

以组合密集程度为低时为例，意味着组合图像中包含3至5种商品，同时组合图像中商品的总数量为3至10，至于其中每种商品的数量，则不限制其分配方式。假设要采集30000张组合图像，则可以按照低、中、高三种组合密集程度分别采集10000张。

之前已经提到，在实际核验环境中，摆放商品的区域是有限的，因此在待核验商品的数量不同时，体现为核验图像中待核验商品的密度不同。由于组合图像可用于训练目标检测模型，因此在采集组合图像时，区分不同的组合密集程度，以使在放置区域内商品呈现不同的密度，从而可以模拟实际的核验图像，改善模型训练的效果。

在一些实施例中，采集每个组合图像中商品的种类以及其中每种商品的数量可以随机确定。例如，先在计算机上用随机算法生成每次采集组合图像使用的商品的清单，然后从商品集中获取对应的商品放到放置区域内进行采集。以上面的组合密集程度为低时为例，一种可能的做法是：随机算法每次从商品种类3至5中随机确定一个值，比如3，然后再从商品集所有的商品中随机确定3种商品，然后再从商品的总数量3－10中随机确定一个值，比如10，然后再随机确定每种商品的数量，比如3、3、4，当然在确定时需要保证每种商品的数量大于0且不超过商品集中此种商品的总数量。可以理解的，上述只是一种示例性的随机算法，随机算法也可以采用其他实现方式。

可选的，在放置时还可以对商品进行扫码，生成放置商品的清单，并与随机算法生成的清单在计算机上做对比，确认放置的商品和算法指定的商品是一致的，避免错误放置商品，破坏组合图像的随机性。

由于实际核验环境下待核验商品的种类和其中每种商品的数量往往是随机的，因此随机确定组合图像的内容有利于模拟实际的核验过程，改善目标检测模型的质量。

在一些实施例中，每个组合图像中商品的随机摆放。需要指出，由于摆放商品可能会涉及人工操作，故这里所称的随机摆放不是绝对意义上的随机摆放，而是指组合图像中呈现的摆放效果，即商品的摆放并不是总按照某种特定的规律进行摆放的(例如，总是同一种商品放在一起)，而是可以采取更加自由的摆放方式。对于同样的商品，通过随机摆放后，可以采集到多张不同的组合图像，可以充分挖掘这些商品的训练价值。

由于实际核验环境下待核验商品的摆放位置很可能是随机的(根据顾客的意愿确定)，因此将商品随机摆放后再采集组合图像，有利于模拟实际的核验时商品复杂的放置状况，改善目标检测模型的质量。

以上提到的确定组合密集程度、随机确定商品的种类和数量、随机摆放商品作为采集组合图像时可选的方式，可以独立实施，也可以相互结合实施。

下面介绍目标检测模型的训练和测试。目标检测模型可以基于组合图像训练以及测试。

例如，在一些实现方式中，可以利用组合图像集中的一部分图像作为训练集训练目标检测模型，利用组合图像集中的另一部分图像作为测试集测试目标检测模型。训练集和测试集的并集可以是整个组合图像集，也可以只是整个组合图像集的一部分。直接从组合图像集中选择训练集和测试集，实施起来比较简单，并且由于在实际核验环境中进行商品核验时，待核验商品可能包括多种商品的组合，因此用同样包含多种商品的组合(即，与核验图像内容相似)的组合图像进行目标检测模型的训练和测试具有较好的效果。

为较好地模拟核验图像，在可选的方案中，组合图像的采集环境可以模拟实际核验环境，例如采用和实际核验环境类似的光照条件、周边环境、图像采集设备与商品的相对位置关系等等，若实际核验环境有多种，则可以分别进行模拟。

目标检测模型也可以基于单品图像训练并基于组合图像测试。

单品图像可以直接用于训练，但之前也提到，在实际核验环境中进行商品核验时，核验图像中可能包括多种核验商品的组合，为更好的模拟核验图像，在一些实现方式中，可以基于单品图像生成合成图像，并利用合成图像训练目标检测模型。具体步骤如下：

首先，对单品图像集中的每个单品图像进行前后景分割，获得仅包含单件商品的前景图像，对全部的单品图像处理完毕后，获得前景图像集。例如，若单品图像在相对固定的环境下采集，可以直接通过背景减除的方式提取前景图像。又例如，也可以将部分单品图像进行前后景标注后训练一个卷积神经网络来提取前景图像。当然还可以采用其他方式，不再一一举例。

其次，根据背景图像以及选取的多个前景图像生成合成图像。背景图像可以是单品图像的采集背景，也可以来自于预设的背景图像库，该背景图像库可以包括实际核验环境中可能的背景图像。从前景图像集中选取多个前景图像的方式不作限定，例如可以参考组合图像的采集过程，将每个前景图像视为一种商品进行随机选取。所谓合成图像，是指将选取出的多个前景图像和背景图像叠加在一起生成的图像，其中，多个前景图像作为该合成图像的前景，即合成图像中包含的商品。各个前景图像在合成图像中的位置不作限定，例如可以参考组合图像的采集过程，将每个前景图像视为一种商品在合成图像中随机摆放。反复选取不同的前景图像生成合成图像，共获得多个合成图像；

最后，将多个合成图像作为训练集训练目标检测模型，并将多个组合图像作为测试集测试目标检测模型，当然在一些实现方式中，也可以只将组合图像中的一部分作为测试集。

在这些实现方式中，只需要有限的单品图像就可以组合生成大量的合成图像，避免了将大量时间花费在训练集的采集上，同时，各单品图像对应的前景图像之间可以自由组合，前景图像与背景图像之间也可以自由组合，从而训练集可以有效覆盖商品核验的不同场景，有利于提高目标检测模型的质量，进而改善商品核验结果。

此外，单品图像采集比较方便，无需大量摆放商品，特别是在商品集中增加新的商品时，只需补充采集少量该新商品的单品图像即可进行新模型的训练，即单品图像集具有良好的扩展性。与采用组合图像进行训练相比，无需将新商品与商品集中现有的商品分别进行组合并采集，其工作量较小。虽然组合图像具有接近核验图像的优点，但根据单品图像生成的合成图像由于可以视为组合了多种单品图像，因此也是对核验图像的良好模拟，其训练效果良好。

进一步的，若利用单品图像进行模型训练，利用组合图像进行模型测试，则单品图像与组合图像可以在不同的环境下采集。其原因在于，单品图像的采集环境和实际核验环境很可能是不同的，因此让组合图像在另一种环境下采集，可以模拟训练环境(即单品图像的采集环境)和实际核验环境的差异，从而测试出在某一环境下训练好的模型换个环境是否仍然可用，有利于使训练出的模型更加稳健。

可以理解的，在一些实现方式中，也可以在训练目标检测模型时既使用单品图像(包括直接使用单品图像或使用合成图像)又使用部分组合图像，而在测试目标检测模型时使用组合图像，以获得比较接近于实际核验图像的测试结果。

在一些实现方式中，目标检测模型采用有监督的训练，训练用的图像对应的监督信号(即，训练样本的标签)采用以下三种中的一种：

其一，采用训练用的图像中商品的清单，其中，商品的清单包括训练用的图像中商品的种类以及每种商品的数量，这里所称的训练用的图像是指训练集中的图像，不区分到底采用单品图像(或合成图像)还是组合图像作为训练集。

其二，采用训练用的图像中每件商品的中心位置以及商品的种类，其中，每件商品的中心位置可以根据商品包含的全部像素的位置进行推算。

其三，采用训练用的图像中每件商品的包围框以及商品的种类，其中，包围框可以是恰好包括商品在内的矩形框。

以上三种监督信号的监督效果由弱至强，越强的监督信号意味这对模型的预测精度要求越高，可以根据实际需求进行选择。关于监督信号的标注，对于单品图像，其对应的商品种类是可知的，商品在图像中的位置则可以通过前后景分割自动获知，当然采用人工标注也是可以的；对于合成图像，由于每个前景图像的位置在合成时是可知的，并且前景图像的种类已经标注，所以合成图像的监督信号可以自动生成；对于组合图像，可以采取人工标注的方式。

由于商品核验的准确度直接与经济因素挂钩，而商品核验的准确度主要取决于目标检测模型的检测精度，因此在一些实现方式中，可以设计一些评估指标在模型的训练和测试等环节对模型的检测效果进行评估，避免质量不高的模型被应用于实际的商品核验，造成购物双方的损失。

例如，有N(N≥1)个待评估图像，同时商品集中共有K(K≥1)种商品，将N个待评估图像输入至目标检测模型，模型会输出检测结果，包括对商品的位置和种类的预测，统计后可以获得商品的种类以及每种商品的数量的预测值，同时，待评估图像事先经过标注，可能的标注方式上面已经阐述，根据标注结果可以获得待评估图像商品的种类以及每种商品的数量的真实值，其中，待评估图像具体是何种图像不作限定，例如，可以是训练集或测试集中的图像。

为便于阐述，作如下定义：P_i,k表示第i个待评估图像中第k种商品的数量的预测值，若模型预测结果表明待评估图像中不包括第k种商品，则可以认为预测值为0，便于计算。GT_i,k表示第i个待评估图像中第k种商品的数量的真实值，CD_i,k表示第i个待评估图像中第k种商品的数量的真实值和预测值之差的绝对值。

评估指标可以包括，但不限于以下指标：

(1)在全部待评估图像中，对包含的每种商品的数量都预测正确的待评估图像所占的比例。

将该评估指标记为A1，A1可以用公式表示为：

其中，函数δ(·)在括号内表达式的值为0时返回1，否则返回0，即若模型对某一待评估图像包含的每种商品的数量都预测正确，则

的值为1，否则为0。指标A1按照图像进行评估，A1越大(越接近于1)，表明模型预测正确的待评估图像在全部待评估图像中占比越大，模型性能越好。

(2)在全部待评估图像中，每个待评估图像的预测误差的均值，其中，一个待评估图像的预测误差是指该待评估图像包含的、每种商品的数量的预测误差之和。

将该评估指标记为A2，A2可以用公式表示为：

其中，第k种商品在第i个待评估图像中的数量的预测误差就是CD_i,k，第i个待评估图像的预测误差就是

指标A2按照图像进行评估，指标A2越小(越接近于0)，表明平均来看，模型在每个待评估图像上的预测误差都较小，模型性能越好。

(3)在全部种类的商品中，每种商品的预测错误占比的均值，其中，一种商品的预测错误占比是指该种商品在每个待评估图像中的数量的预测误差之和、与该种商品在每个待评估图像中的数量的真实值之和的比值。

将该评估指标记为A3，A3可以用公式表示为：

其中，第k种商品在第i个待评估图像中的数量的预测误差就是CD_i,k，第k种商品在每个待评估图像中的数量的预测误差之和就是

第k种商品在第i个待评估图像中的数量的真实值就是GT_i,k，第k种商品在每个待评估图像中的数量的真实值之和就是

第k种商品的预测错误占比就是

指标A3按照商品种类进行评估，指标A3越小(越接近于0)，表明平均来看，模型在每个商品种类上的预测误差都较小，模型性能越好。

(4)在全部种类的商品中，每种商品的一致性的均值，其中，一种商品的一致性是指该种商品的数量在每个待评估图像中的较小值之和、与该种商品的数量在每个待评估图像中的较大值之和的比值，该种商品的数量在一个待评估图像中的较小值是指该种商品的数量在该待评估图像中的预测值与真实值中的较小者，该种商品的数量在一个待评估图像中的较大值是指该种商品的数量在该待评估图像中的预测值与真实值中的较大者。

将该评估指标记为A4，A4可以用公式表示为：

其中，第k种商品在第i个待评估图像中的较小值就是min(GT_i,k,P_i,k)，第k种商品在每个待评估图像中的较小值之和就是

第k种商品在第i个待评估图像中的较大值就是max(GT_i,k,P_i,k)，第k种商品在每个待评估图像中的较小值之和就是

指标A4越大(越接近于1)，表明平均来看，模型在每个商品种类上的预测值与真实值都较接近，模型性能越好。

在目标检测模型的训练过程中，上述评估指标的一种可能的用法为：

每轮训练时，将本轮训练用的图像输入至目标检测模型，根据目标检测模型输出的预测结果计算评估指标，并在评估指标的计算结果满足预设要求时终止训练，将训练终止时的模型确定为训练好的目标检测模型。

神经网络模型的训练分为多轮，每轮训练都会选取一批图像(对应于上面的N个待评估图像)，计算的指标可以选择上面4个指标中的一个或多个，当然也可以选择其他的能够评估模型预测效果的指标。上述预设要求可以是指针对指标设定的某个阈值，以指标A1为例，可以设置一个阈值0.99，只有当某轮训练后计算出的指标A1的值超过0.99，才算满足预设要求，由于指标A1越接近于1模型性能越好，现在指标A1的值已经超过0.99，可以认为模型已经训练好，因此可以停止训练。若同时采用多个评估指标，可以为每个评估指标都设置阈值，当某轮训练后所有的评估指标都满足阈值限定的条件时，才停止训练。此外，需要指出，这些评估指标和目标检测模型的预测结果密切相关，因此在评估指标表现较好时，模型必然已经收敛，不会出现训练终止而模型未收敛的情况。

若训练了预定的时间或者预定的轮数之后，评估指标仍然不能满足预设要求，可以采取相应的措施，例如补充新的训练用的图像重新进行训练。

在目标检测模型的训练过程中，上述评估指标的另一种可能的用法为：

每轮训练时，将本轮训练用的图像输入至目标检测模型，根据目标检测模型输出的预测结果计算评估指标并保存本轮训练后的模型，在目标检测模型训练终止后，将每轮保存的模型中在评估指标上表现最优的模型确定为训练好的目标检测模型。

其中，训练终止的条件不作限定，例如可以是模型收敛、训练了预定的轮数、训练了预定的时间中的一个或多个条件的组合。模型在训练轮数过多时，其性能不一定会上升，反而可能因过拟合等原因导致性能下降，体现为评估指标的计算结果变差。因此可以从每轮训练后缓存的模型中选择在评估指标上表现最优的模型作为训练好的目标检测模型，而不是直接选择训练终止时的模型。

若在评估指标上表现最优的模型性能仍然不佳，例如，其对应的评估指标的数值并不理想，可以采取相应的措施，例如补充新的训练用的图像重新进行训练。

在目标检测模型的测试过程中，上述评估指标的另一种可能的用法为：

将测试用的图像输入至训练好的目标检测模型，根据训练好的目标检测模型输出的预测结果计算评估指标，并在评估指标的计算结果满足预设要求时，将训练好的目标检测模型确定为通过测试的目标检测模型。这里所称的测试用的图像，可以是指整个测试集中的图像，也可以是指测试集中的一部分图像，对于后者可以进行多次测试。

若根据测试用的图像计算出的评估指标不满足预设要求，可以采取相应的措施，例如补充新的训练用的图像重新进行训练，然后再重新测试。

在一些实现方式中，通过测试的目标检测模型可以直接投入使用，即作为实际商品核验时要使用的模型，在另一些实现方式中，考虑到测试用的图像的采集环境和实际核验环境不一定是完全相同的，因此还可以在实际核验环境下再次测试模型是否能够满足商品核验任务的需求，避免因模型在实际核验环境中表现不佳影响商品的核验结果。具体可以采用如下做法：

将在实际核验环境下采集的包含多种商品的组合的图像输入至通过测试的目标检测模型，根据通过测试的目标检测模型输出的预测结果计算评估指标，并在评估指标的计算结果满足预设要求时确定通过测试的目标检测模型可用于检测核验图像中的待核验商品。

在模型的训练和测试等环节对模型引入评估指标，以此来量化评估目标检测模型的预测效果，以及测试训练好的目标检测模型是否能够投入实际使用，有效保障了模型的质量，有利于改善商品核验结果的准确性。

此外，根据一些评估指标的计算结果重新设计目标检测模型，以指标A3为例，根据K种商品中每种商品计算出的

的值还可以判断出某种商品是否难以检测(该值较大)，对于难以检测的商品，一种可能的做法是补充该商品的样本重新训练，另一种可能的做法是单独为这种商品设计一个新的检测模型，在商品核验时同时使用原来目标检测模型和新的模型同时使用，原来的模型只用来检测除难检测商品以外的其他种类的商品，新的模型只用来检测难检测的商品，再结合二者的检测结果生成商品的清单。

本申请实施例还提供一种商品核验装置300，如图6所示。参照图6，该装置包括：

图像获取模块610，用于获取包含待核验商品的核验图像；

第一清单获取模块620，用于利用预训练的目标检测模型检测所述核验图像中的所述待核验商品，并根据检测结果生成所述待核验商品的清单，其中，所述目标检测模型为目标检测算法使用的神经网络模型，所述待核验商品的清单包括所述待核验商品的种类以及每种待核验商品的数量；

第二清单获取模块630，用于获取已付款商品的清单，所述已付款商品的清单包括已付款商品的种类以及每种已付款商品的数量；

核验模块640，用于将所述待核验商品的清单与所述已付款商品的清单进行对比，若两个清单中商品的种类以及每种商品的数量均一致，则确定所述待核验商品与所述已付款商品一致。

本申请实施例提供的商品核验装置600，其实现原理及产生的技术效果在前述方法实施例中已经介绍，为简要描述，装置实施例部分未提及之处，可参考方法施例中相应内容。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得计算机设备执行本申请各个实施例所述方法的全部或部分步骤。前述的计算机设备包括：个人计算机、服务器、移动设备、智能穿戴设备、网络设备、虚拟设备等各种具有执行程序代码能力的设备，前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟、磁带或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种商品核验方法，其特征在于，包括：

获取包含待核验商品的核验图像；

将所述待核验商品的清单与所述已付款商品的清单进行对比，若两个清单中商品的种类以及每种商品的数量均一致，则确定所述待核验商品与所述已付款商品一致；

在所述利用预训练的目标检测模型检测所述核验图像中的所述待核验商品之前，所述方法还包括：

利用预采集的单品图像和/或组合图像训练所述目标检测模型，并利用所述组合图像测试所述目标检测模型，其中，所述单品图像是指仅包含商品集中的单件商品的图像，所述组合图像是指包含所述商品集中的多种商品的组合的图像，每个组合图像对应预设的多种组合密集程度中的一种，每种组合密集程度对应所述组合图像中商品的种数的一个分布区间以及商品的总数量的一个分布区间，所述商品集是指为训练所述目标检测模型所准备的商品的集合，在训练和测试所述目标检测模型的过程中，采用以下评估指标中的至少一种评估所述目标检测模型的目标检测效果：

2.根据权利要求1所述的商品核验方法，其特征在于，所述单品图像是在所述单件商品放置于旋转台上且旋转至不同的位置时，通过设置于不同的拍摄角度的图像采集设备采集到的。

3.根据权利要求2所述的商品核验方法，其特征在于，所述单品图像是在所述单件商品分别按照正面朝上以及背面朝上的方式放置于所述旋转台上时，通过所述图像采集设备采集到的。

4.根据权利要求1所述的商品核验方法，其特征在于，每个组合图像中商品的种类以及其中每种商品的数量随机确定。

5.根据权利要求1所述的商品核验方法，其特征在于，每个组合图像中的商品随机摆放。

6.根据权利要求1-5中任一项所述的商品核验方法，其特征在于，所述商品集中包括多个类别的商品，每个类别中包括的多种商品在外观上具有相似性。

7.根据权利要求1所述的商品核验方法，其特征在于，利用所述单品图像训练所述目标检测模型，并利用所述组合图像测试所述目标检测模型，包括：

利用所述多个合成图像训练所述目标检测模型；

利用所述组合图像测试所述目标检测模型。

8.根据权利要求7所述的商品核验方法，其特征在于，所述单品图像与所述组合图像在不同的环境下采集。

9.根据权利要求1所述的商品核验方法，其特征在于，利用所述组合图像训练所述目标检测模型，并利用所述组合图像测试所述目标检测模型，包括：

利用一部分组合图像训练所述目标检测模型；

利用另一部分组合图像测试所述目标检测模型。

10.根据权利要求7-9中任一项所述的商品核验方法，其特征在于，所述目标检测模型采用有监督的训练，训练用的图像对应的监督信号采用以下三种中的一种：

所述训练用的图像中每件商品的中心位置以及种类；

所述训练用的图像中每件商品的包围框以及种类。

11.根据权利要求7-9中任一项所述的商品核验方法，其特征在于，所述训练所述目标检测模型，包括：

每轮训练时，将本轮训练用的图像输入至所述目标检测模型，根据所述目标检测模型输出的预测结果计算所述评估指标，并在所述评估指标的计算结果满足预设要求时终止训练，将训练终止时的模型确定为训练好的目标检测模型；

或

每轮训练时，将本轮训练用的图像输入至所述目标检测模型，根据所述目标检测模型输出的预测结果计算所述评估指标，并在所述目标检测模型训练终止后，将每轮训练后保存的模型中在所述评估指标上表现最优的模型确定为训练好的目标检测模型；

所述测试所述目标检测模型，包括：

12.根据权利要求11所述的商品核验方法，其特征在于，在所述将所述训练好的目标检测模型确定为通过测试的目标检测模型之后，所述方法还包括：

13.根据权利要求11所述的商品核验方法，其特征在于，所述评估指标还包括以下至少一种：

在全部待评估图像中，每个待评估图像的预测误差的均值，

其中，一个待评估图像的预测误差是指该待评估图像包含的、每种商品的数量的预测误差之和。

14.一种商品核验装置，其特征在于，包括：

图像获取模块，用于获取包含待核验商品的核验图像；

第一清单获取模块，用于利用预训练的目标检测模型检测所述核验图像中的所述待核验商品，并根据检测结果生成所述待核验商品的清单，其中，所述目标检测模型为目标检测算法使用的神经网络模型，所述待核验商品的清单包括所述待核验商品的种类以及每种待核验商品的数量；

核验模块，用于将所述待核验商品的清单与所述已付款商品的清单进行对比，若两个清单中商品的种类以及每种商品的数量均一致，则确定所述待核验商品与所述已付款商品一致；

所述目标检测模型利用预采集的单品图像和/或组合图像进行训练，并利用所述组合图像进行测试，其中，所述单品图像是指仅包含商品集中的单件商品的图像，所述组合图像是指包含所述商品集中的多种商品的组合的图像，每个组合图像对应预设的多种组合密集程度中的一种，每种组合密集程度对应所述组合图像中商品的种数的一个分布区间以及商品的总数量的一个分布区间，所述商品集是指为训练所述目标检测模型所准备的商品的集合，在训练和测试所述目标检测模型的过程中，采用以下评估指标中的至少一种评估所述目标检测模型的目标检测效果：

15.一种商品核验主机，其特征在于，包括：存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行权利要求1-13中任一项所述的方法的步骤。

16.一种商品核验设备，其特征在于，包括：权利要求15所述的商品核验主机以及图像采集设备，所述图像采集设备与所述商品核验主机连接，用于采集核验图像并将所述核验图像发送至所述商品核验主机。

17.根据权利要求16所述的商品核验设备，其特征在于，所述设备还包括：输出设备，与所述商品核验主机连接，所述商品核验主机还用于在获得表示待核验商品的清单与已付款商品的清单中商品的种类以及每种商品的数量是否一致的核验结果后，控制所述输出设备输出所述核验结果。

18.根据权利要求16或17所述的商品核验设备，其特征在于，所述商品核验设备还包括：通道阻挡设备，与所述商品核验主机连接，所述商品核验主机还用于在确定待核验商品的清单与已付款商品的清单中商品的种类以及每种商品的数量一致时，控制所述通道阻挡设备开放出入购物场所的通道。

19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行权利要求1-13中任一项所述的方法的步骤。