CN111222382A - 一种基于图像的商品结算方法、装置、介质及电子设备 - Google Patents

Abstract

本发明实施例提供了一种基于图像的商品结算方法、装置、介质及电子设备，包括：对所获取的待结算图像进行检测，确定出上述待结算图像中待结算商品的区域图像；对所待结算商品的区域图像进行低维度映射，获得对应于上述待结算商品的特征向量；基于上述待结算商品的特征向量，在预设的特征向量识别数据库中识别出上述待结算商品的特征向量所对应的价格信息；将所识别出的价格信息求和，输出上述待结算图像的结算总价格。本发明实施例的技术方案在零售结算场景中，无需结算员操作，对用户放置在结算台上的商品进行识别，实现了自动、快速、准确地识别商品类别与数量计算结算金额，降低了成本。

Description

一种基于图像的商品结算方法、装置、介质及电子设备

技术领域

本发明涉及基于商品识别及结算技术领域，具体而言，涉及一种基于图像的商品结算方法及一种基于图像的商品结算装置。

背景技术

目前的商品结算方式主要包括以下几种方式：

(1)基于条码识别的商品识别技术：商品包装上印刷的条码是识别商品的唯一性标识，对应了商品在商品库中的唯一编号。基于条码识别的商品识别技术通过图像识别技术，识别商品条码、确定商品的编号，然后在商品库中读取商品的名称、类别、价格等信息，完成商品结算等功能，能够减少结算人员手工输入商品信息的人力和时间，提高结算效率。由于商品条码已成为行业标准，条码识别设备技术较成熟、成本较低，该技术已广泛应用于超市、商场等零售场景。

(2)基于射频识别的商品识别技术：射频识别是一种基于无线通信的标签识别技术。基于射频识别的商品识别技术，首先将射频识别电子标签安装与商品包装上。在识别时，通过射频识别读取设备读取商品射频识别电子标签信息、获取商品编号，在商品库中读取商品的名称、类别、价格等信息，完成商品结算等功能，减少结算人员手工输入商品信息的人力和时间，提高结算效率。但由于射频识别电子标签、读取器等设备部署成本较高，该技术尚未大规模应用于零售场景。

(3)图像识别技术：目前图像识别技术的成熟方法主要采用深度神经网络模型，使用大规模图像数据训练神经网络，具体的技术包括图像中的目标检测和目标分类。

而上述现有技术方案存在以下缺点：

(1)在零售结算场景中需要结算人员复杂的操作，首先需寻找商品包装上条码的位置、手持条码识别设备、设备扫描器与条码对准扫描等操作，并且需要对多件商品进行逐一扫描操作，耗费大量人力，延长结算时间。

(2)由于需要提前为商品安装RFID电子标签，RFID电子标签高昂的部署和维护成本很高，难以广泛应用于零售场景。

(3)目前针对细粒度的对象识别如商品识别，一般的深度神经网络模型仍难以达到较高准确率，而采用更深的网络结构一方面会增加计算时间，另一方面导致模型训练困难。此外，由于商品外观的相似性，仅通过一般的分类损失函数进行网络训练难以达到较好的区分效果。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例的目的在于提供一种基于图像的商品结算方法及一种基于图像的商品结算装置，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的结算时间长、结算操作复杂、电子标签成本高以及现有图像识别技术实用性低等一个或者多个问题。

本发明实施例的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的第一方面，提供一种基于图像的商品结算方法，包括：

对所获取的待结算图像进行检测，确定出上述待结算图像中待结算商品的区域图像；

对所待结算商品的区域图像进行低维度映射，获得对应于上述待结算商品的特征向量；

基于上述待结算商品的特征向量，在预设的特征向量识别数据库中识别出上述待结算商品的特征向量所对应的价格信息；

将所识别出的价格信息求和，输出上述待结算图像的结算总价格。

在本发明的一个实施例中，上述对所获取的待结算图像进行检测，确定出上述待结算图像中待结算商品的区域图像，包括：

将上述待结算图像进行归一化处理，确定出上述待结算图像中的不变量并转换为符合预设标准形式的归一化待结算图像；

通过预训练的商品检测模型对上述归一化待结算图像进行商品检测，确定出上述归一化待结算图像中包围待结算商品的包围盒坐标信息，并截取上述包围盒坐标信息区域内的图像；

从上述包围盒坐标信息区域内的图像中截取出上述各待结算商品的区域图像。

在本发明的一个实施例中，上述预训练的商品检测模型包括：

将训练图像、待结算商品包围盒坐标信息以及商品类别作为商品检测模型的训练样本输入上述商品检测模型；

将预设的包围盒回归损失函数和预设的商品分类损失函数求和确定为上述商品检测模型的总损失函数；

基于上述训练样本和上述总损失函数，通过随机梯度下降算法对上述商品检测模型进行训练，输出上述预训练的商品检测模型。

在本发明的一个实施例中，上述对所待结算商品的区域图像进行低维度映射，获得对应于上述待结算商品的特征向量，包括：

将上述待结算商品的区域图像输入预训练的特征嵌入神经网络模型后，将上述待结算商品的区域图像映射为低维度的特征向量。

在本发明的一个实施例中，上述预训练的特征嵌入神经网络模型包括：

将训练图像进行归一化处理后的图像以及商品类别作为特征嵌入神经网络模型的训练样本；

将预设的归一化指数损失函数确定为上述特征嵌入神经网络模型的损失函数；

基于上述训练样本和上述损失函数，通过随机梯度下降算法对上述特征嵌入神经网络模型进行训练，输出上述预训练的特征嵌入神经网络模型。

在本发明的一个实施例中，上述基于上述待结算商品的特征向量，在预设的特征向量识别数据库中识别出上述待结算商品的特征向量所对应的价格信息，包括：

计算上述待结算商品的特征向量与预设的特征向量识别数据库中已入库商品的特征向量之间的相似度，确定出相似度最高的已入库商品的特征向量；

根据上述相似度最高的已入库商品的特征向量所对应的商品类别，查询出对应的价格信息；

将上述价格信息确定为上述待结算商品的价格信息。

在本发明的一个实施例中，上述预设的特征向量识别数据库中已入库商品的特征向量包括：

对已入库商品的图像进行归一化处理，获得符合预设标准格式的已入库商品的图像；

通过预训练的特征嵌入神经网络模型对上述预设标准格式的已入库商品的图像作前向传播运算，获得出上述已入库商品的图像的低维度的特征向量；

基于上述已入库商品的图像的低维度的特征向量建立特征向量识别数据库。

根据本发明实施例的第二方面，提供一种基于图像的商品结算装置，包括：

确定模块，用于对所获取的待结算图像进行检测，确定出上述待结算图像中待结算商品的区域图像；

特征向量获取模块，用于对所待结算商品的区域图像进行低维度映射，获得对应于上述待结算商品的特征向量；

识别模块，用于基于上述待结算商品的特征向量，在预设的特征向量识别数据库中识别出上述待结算商品的特征向量所对应的价格信息；

输出模块，用于将所识别出的价格信息求和，输出上述待结算图像的结算总价格。

根据本发明实施例的第三方面，提供了一种计算机可读介质，其上存储有计算机程序，上述程序被处理器执行时实现如上述实施例中第一方面上述的基于图像的商品结算方法。

根据本发明实施例的第四方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如上述实施例中第一方面上述的基于图像的商品结算方法。

本发明实施例提供的技术方案可以包括以下有益效果：

本发明实施例提供了一种基于图像的商品结算方法、装置、介质及电子设备，包括：对所获取的待结算图像进行检测，确定出上述待结算图像中待结算商品的区域图像；对所待结算商品的区域图像进行低维度映射，获得对应于上述待结算商品的特征向量；基于上述待结算商品的特征向量，在预设的特征向量识别数据库中识别出上述待结算商品的特征向量所对应的价格信息；将所识别出的价格信息求和，输出上述待结算图像的结算总价格。本发明实施例的技术方案在零售结算场景中，无需结算员操作，对用户放置在结算台上的商品进行识别，实现了自动、快速、准确地识别商品类别与数量计算结算金额，降低了成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本发明的一个实施例的基于图像的商品结算方法的流程图。

图2示意性的示出了根据本发明的一个实施例的商品通过自助结算台进行入库扫描的流程图；

图3示意性的示出了根据本发明的一个实施例的确定出各待结算商品的区域图像的流程图；

图4示意性的示出了根据本发明的一个实施例的商品检测模型的训练流程图；

图5示意性示出了根据本发明的一个实施例的特征嵌入神经网络模型的训练示意图；

图6示意性示出了根据本发明的一个实施例的建立特征向量识别数据库的示意图；

图7示意性示出了根据本发明的一个实施例的基于图像的商品结算***的框图；

图8示意性示出了根据本发明的一个实施例的基于图像的商品结算装置的框图；

图9示出了适于用来实现本发明实施例的电子设备的计算机***的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示意性示出了根据本发明的一个实施例的基于图像的商品结算方法的流程图。

参照图1所示，根据本发明的一个实施例的基于图像的商品结算方法，包括以下步骤：

步骤S110，对所获取的待结算图像进行检测，确定出上述待结算图像中待结算商品的区域图像；

步骤S120，对所待结算商品的区域图像进行低维度映射，获得对应于上述待结算商品的特征向量；

步骤S130，基于上述待结算商品的特征向量，在预设的特征向量识别数据库中识别出上述待结算商品的特征向量所对应的价格信息；

步骤S140，将所识别出的价格信息求和，输出上述待结算图像的结算总价格。

图1所示实施例的技术方案在零售结算场景中，无需结算员操作，对用户放置在结算台上的商品进行识别，实现了自动、快速、准确地识别商品类别与数量计算结算金额，降低了相关成本。

以下对图1中所示的各个步骤的实现细节进行详细阐述：

在步骤S110中，对所获取的待结算图像进行检测，确定出上述待结算图像中待结算商品的区域图像。

在本发明的一个实施例中，上述步骤S110之前，还包括：通过预先架设的自助结算设备获取待结算图像，具体的，预先架设的自助结算设备主要包括：置物台(置物筐、包围台等)、照明设备(LED灯等)、摄录设备(摄像头、相机、手机等)，通过该摄录设备也可以为智能图像识别算法提供相应的训练图像以及为商品入库时提供商品图像。

在本发明的一个实施例中，基于前述方案，上述摄录设备的架设可以根据实际需求进行调整，根据识别所需求的图像质量、视频质量、光线等原因，选取相应参数的摄录设备进行架设。

在本发明的一个实施例中，可以采用俯视和侧视两个彩色摄像头对商品的外观信息进行拍摄，对于每个摄像头，商品每旋转X度采集一次图像，共采集Y张图像。

在本发明的一个实施例中，基于前述方案，步骤S110是对所获取的待结算图像进行有效性检测以及识别商品是否完整，因此，在步骤S110之前架设摄录设备的过程中需要从多个角度对动物进行拍摄，以在采集商品的相关信息，例如：商品的条形码、价格、名称等信息，为后期能够准确的识别出商品提供数据基础。

在本发明的一个实施例中，基于前述方案，上述自助结算台所设置摄录设备是提供图像的基础设施，可以根据不同的存储方式将摄录设备所摄录视频进行保存，所拍摄的视频可以存储在云端，或存储在本地外接的设备存储中。

图2示意性的示出了根据本发明的一个实施例的商品通过自助结算台进行入库扫描的流程图。

参照图2所示，根据本发明的一个实施例的确定出各待结算商品的区域图像的流程，包括以下步骤：

步骤S210，获取一件商品；

步骤S220，通过扫描输入该商品的条形码、价格、名称等信息；

步骤S230，对商品进行拍摄；

步骤S240，判断拍摄的图像数量是否为预设的Y张，如过不是，返回步骤S230重新拍摄；如果是，执行后续步骤；

步骤S250，将上述拍摄的图像分别存入商品数据库和训练图片库。

在本发明的一个实施例中，上述步骤S110中具体包括：将上述待结算图像进行归一化处理，确定出上述待结算图像中的不变量并转换为符合预设标准形式的归一化待结算图像；通过预训练的商品检测模型对上述归一化待结算图像进行商品检测，确定出上述归一化待结算图像中包围待结算商品的包围盒坐标信息，并截取上述包围盒坐标信息区域内的图像；从上述包围盒坐标信息区域内的图像中截取出上述各待结算商品的区域图像。

图3示意性的示出了根据本发明的一个实施例的确定出各待结算商品的区域图像的流程图。

参照图3所示，根据本发明的一个实施例的确定出各待结算商品的区域图像的流程，包括以下步骤：

步骤S310，用户将待结算商品放置于自助结算台上，摄录设备自动拍摄全部待结算商品图像；

步骤S320，对待结算图像进行归一化处理，作为预训练的商品检测模型的输入；

步骤S330，用训练好的检测模型初始化预训练的商品检测模型；

步骤S340，使用预训练的商品检测模型检测待结算图像中的待结算商品，得到待结算商品在待结算图像中的包围盒坐标；

在本发明的一个实施例中，上述包围盒坐标至少包括包围盒的左上角坐标(x1，y1)和右下角坐标(x2，y2)。

步骤S350，按照商品包围盒坐标截取上述各待结算商品的区域图像。

在本发明的一个实施例中，上述确定出各待结算商品的区域图像为在线处理过程。

在本发明的一个实施例中，基于前述方案，上述预训练的商品检测模型可以通过以下方式获得：

将训练图像、待结算商品包围盒坐标信息以及商品类别作为商品检测模型的训练样本输入上述商品检测模型；

将预设的包围盒回归损失函数和预设的商品分类损失函数求和确定为上述商品检测模型的总损失函数；

基于上述训练样本和上述总损失函数，通过随机梯度下降算法对上述商品检测模型进行训练，输出上述预训练的商品检测模型。

图4示意性的示出了根据本发明的一个实施例的商品检测模型的训练流程图。

参照图4所示，根据本发明的一个实施例的商品检测模型的训练流程，包括以下步骤：

步骤S410，将批量的入库商品图像进行归一化、颜色平衡等预处理；

步骤S420，将训练图像与对应的商品包围盒坐标及商品类别作为轻量级商品检测模型的训练样本；

步骤S3430，使用预训练模型初始化商品检测模型；

步骤S440，用包围盒回归损失函数和商品分类损失函数求和作为商品检测模型的总损失函数，采用随机梯度下降算法训练商品检测模型；

步骤S450，保存商品检测模型。

在本发明的一个实施例中，上述商品检测模型的训练流程为离线处理过程。

在步骤S120中，对所待结算商品的区域图像进行低维度映射，获得对应于上述待结算商品的特征向量。

在本发明的一个实施例中，上述对所待结算商品的区域图像进行低维度映射，获得对应于上述待结算商品的特征向量，包括：将上述待结算商品的区域图像输入预训练的特征嵌入神经网络模型后，将上述待结算商品的区域图像映射为低维度的特征向量。

在本发明的一个实施例中，基于前述方案，预训练的特征嵌入神经网络模型通过以下方式进行训练：将训练图像进行归一化处理后的图像以及商品类别作为特征嵌入神经网络模型的训练样本；将预设的归一化指数损失函数确定为上述特征嵌入神经网络模型的损失函数；基于上述训练样本和上述损失函数，通过随机梯度下降算法对上述特征嵌入神经网络模型进行训练，输出上述预训练的特征嵌入神经网络模型。

图5示意性示出了根据本发明的一个实施例的特征嵌入神经网络模型的训练示意图。

参照图5所示，根据本发明的一个实施例的特征嵌入神经网络模型的训练流程，包括以下步骤：

步骤S510，将批量的训练商品图像进行归一化、颜色平衡等预处理；

步骤S520，将训练图像与商品类别作为特征嵌入神经网络模型的训练样本；

步骤S530，使用预训练模型初始化特征嵌入神经网络模型；

步骤S540，使用归一化指数损失函数计算特征嵌入神经网络模型的网络损失，采用随机梯度下降法训练特征嵌入神经网络模型；

步骤S550，保存特征嵌入神经网络模型。

在本发明的一个实施例中，上述建立特征向量识别数据库为离线处理过程。

在步骤S130中，基于上述待结算商品的特征向量，在预设的特征向量识别数据库中识别出上述待结算商品的特征向量所对应的价格信息。

在本发明的一个实施例中，上述在预设的特征向量识别数据库中识别出上述待结算商品的特征向量所对应的价格信息，具体包括：计算上述待结算商品的特征向量与预设的特征向量识别数据库中已入库商品的特征向量之间的相似度，确定出相似度最高的已入库商品的特征向量；根据上述相似度最高的已入库商品的特征向量所对应的商品类别，查询出对应的价格信息；将上述价格信息确定为上述待结算商品的价格信息。

在本发明的一个实施例中，基于前述方案，上述预设的特征向量识别数据库中已入库商品的特征向量包括：对已入库商品的图像进行归一化处理，获得符合预设标准格式的已入库商品的图像；通过预训练的特征嵌入神经网络模型对上述预设标准格式的已入库商品的图像作前向传播运算，获得出上述已入库商品的图像的低维度的特征向量；基于上述已入库商品的图像的低维度的特征向量建立特征向量识别数据库。

图6示意性示出了根据本发明的一个实施例的建立特征向量识别数据库的示意图。

参照图6所示，根据本发明的一个实施例的建立特征向量识别数据库，包括以下步骤：

步骤S610，对获取的已入库商品图片进行归一化等处理；

步骤S620，使用训练好的识别模型初始化特征嵌入神经网络模型；

步骤S630，使用特征嵌入神经网络模型对已入库商品图片进行前向传播运算，提取已入库商品图片的特征向量；

步骤S640，对于全部已入库商品图片的特征向量建立特征向量识别数据库；

步骤S650，保存建立特征向量识别数据库。

在本发明的一个实施例中，上述建立特征向量识别数据库为离线处理过程。

步骤S140，将所识别出的价格信息求和，输出上述待结算图像的结算总价格。

在本发明的一个实施例中，对识别出的待识别商品的价格信息进行求和后，即可计算出待识别图像的总结算金额，实现了自动、快速、准确地识别商品类别与数量并计算总结算金额。

在本发明的一个实施例中，上述识别出的价格信息求和，输出上述待结算图像的结算总价格为在线处理过程。

需要说明的是，上述内容，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

以下介绍本发明的装置实施例，可以用于执行本发明上述的基于图像的商品结算方法。

图7示意性示出了根据本发明的一个实施例的基于图像的商品结算***的框图。

参照图7所示，根据本发明的一个实施例的基于图像的商品结算***700，包括：自助结算台701、数据线702、自助结算装置703；其中，

自助结算台701，用于提供放置商品、照明、拍摄等功能；

数据线702，用于连接自助结算台701和自助结算装置703，提供数据通道传输数据；

自助结算装置703，用于通过从数据线702获取待结算商品图像并进行分析，确定出总结算金额。

图8示意性示出了根据本发明的一个实施例的基于图像的商品结算装置的框图。

参照图8所示，根据本发明的一个实施例的基于图像的商品结算装置800，包括：

确定模块801，用于对所获取的待结算图像进行检测，确定出上述待结算图像中待结算商品的区域图像；

特征向量获取模块802，用于对所待结算商品的区域图像进行低维度映射，获得对应于上述待结算商品的特征向量；

识别模块803，用于基于上述待结算商品的特征向量，在预设的特征向量识别数据库中识别出上述待结算商品的特征向量所对应的价格信息；

输出模块804，用于将所识别出的价格信息求和，输出上述待结算图像的结算总价格。

由于本发明的示例实施例的基于图像的商品结算装置的各个功能模块与上述基于图像的商品结算方法的示例实施例的步骤对应，因此对于本发明装置实施例中未披露的细节，请参照本发明上述的基于图像的商品结算方法的实施例。

下面参考图9，其示出了适于用来实现本发明实施例的电子设备的计算机***900的结构示意图。图9示出的电子设备的计算机***900仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，计算机***900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有***操作所需的各种程序和数据。CPU901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本申请的***中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中的屏幕控制实现及展示方法。

例如，上述的电子设备可以实现如图1中所示的：步骤S110，对所获取的待结算图像进行检测，确定出上述待结算图像中待结算商品的区域图像；步骤S120，对所待结算商品的区域图像进行低维度映射，获得对应于上述待结算商品的特征向量；步骤S130，基于上述待结算商品的特征向量，在预设的特征向量识别数据库中识别出上述待结算商品的特征向量所对应的价格信息；步骤S140，将所识别出的价格信息求和，输出上述待结算图像的结算总价格。

又如，上述的电子设备可以实现如图2所示的各个步骤。

又如，上述的电子设备可以实现如图3所示的各个步骤。

又如，上述的电子设备可以实现如图4所示的各个步骤。

又如，上述的电子设备可以实现如图5所示的各个步骤。

又如，上述的电子设备可以实现如图6所示的各个步骤。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于图像的商品结算方法，其特征在于，包括：

对所获取的待结算图像进行检测，确定出所述待结算图像中待结算商品的区域图像；

对所待结算商品的区域图像进行低维度映射，获得对应于所述待结算商品的特征向量；

基于所述待结算商品的特征向量，在预设的特征向量识别数据库中识别出所述待结算商品的特征向量所对应的价格信息；

将所识别出的价格信息求和，输出所述待结算图像的结算总价格。

2.根据权利要求1所述的基于图像的商品结算方法，其特征在于，所述对所获取的待结算图像进行检测，确定出所述待结算图像中待结算商品的区域图像，包括：

将所述待结算图像进行归一化处理，确定出所述待结算图像中的不变量并转换为符合预设标准形式的归一化待结算图像；

通过预训练的商品检测模型对所述归一化待结算图像进行商品检测，确定出所述归一化待结算图像中包围待结算商品的包围盒坐标信息，并截取所述包围盒坐标信息区域内的图像；

从所述包围盒坐标信息区域内的图像中截取出所述各待结算商品的区域图像。

3.根据权利要求2所述的基于图像的商品结算方法，其特征在于，所述预训练的商品检测模型包括：

将训练图像、待结算商品包围盒坐标信息以及商品类别作为商品检测模型的训练样本输入所述商品检测模型；

将预设的包围盒回归损失函数和预设的商品分类损失函数求和确定为所述商品检测模型的总损失函数；

基于所述训练样本和所述总损失函数，通过随机梯度下降算法对所述商品检测模型进行训练，输出所述预训练的商品检测模型。

4.根据权利要求1所述的基于图像的商品结算方法，其特征在于，所述对所待结算商品的区域图像进行低维度映射，获得对应于所述待结算商品的特征向量，包括：

将所述待结算商品的区域图像输入预训练的特征嵌入神经网络模型后，将所述待结算商品的区域图像映射为低维度的特征向量。

5.根据权利要求4所述的基于图像的商品结算方法，其特征在于，所述预训练的特征嵌入神经网络模型包括：

将训练图像进行归一化处理后的图像以及商品类别作为特征嵌入神经网络模型的训练样本；

将预设的归一化指数损失函数确定为所述特征嵌入神经网络模型的损失函数；

基于所述训练样本和所述损失函数，通过随机梯度下降算法对所述特征嵌入神经网络模型进行训练，输出所述预训练的特征嵌入神经网络模型。

6.根据权利要求1所述的基于图像的商品结算方法，其特征在于，所述基于所述待结算商品的特征向量，在预设的特征向量识别数据库中识别出所述待结算商品的特征向量所对应的价格信息，包括：

计算所述待结算商品的特征向量与预设的特征向量识别数据库中已入库商品的特征向量之间的相似度，确定出相似度最高的已入库商品的特征向量；

根据所述相似度最高的已入库商品的特征向量所对应的商品类别，查询出对应的价格信息；

将所述价格信息确定为所述待结算商品的价格信息。

7.根据权利要求6所述的基于图像的商品结算方法，其特征在于，所述预设的特征向量识别数据库中已入库商品的特征向量包括：

对已入库商品的图像进行归一化处理，获得符合预设标准格式的已入库商品的图像；

通过预训练的特征嵌入神经网络模型对所述预设标准格式的已入库商品的图像作前向传播运算，获得出所述已入库商品的图像的低维度的特征向量；

基于所述已入库商品的图像的低维度的特征向量建立特征向量识别数据库。

8.一种基于图像的商品结算装置，其特征在于，包括：

确定模块，用于对所获取的待结算图像进行检测，确定出所述待结算图像中待结算商品的区域图像；

特征向量获取模块，用于对所待结算商品的区域图像进行低维度映射，获得对应于所述待结算商品的特征向量；

识别模块，用于基于所述待结算商品的特征向量，在预设的特征向量识别数据库中识别出所述待结算商品的特征向量所对应的价格信息；

输出模块，用于将所识别出的价格信息求和，输出所述待结算图像的结算总价格。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至7中任一项所述的基于图像的商品结算方法。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任一所述的基于图像的商品结算方法。

Images