CN113553457A - 基于图像的商品检索方法、装置、设备和存储介质 - Google Patents

Abstract

本申请公开了一种基于图像的商品检索方法、装置、设备和存储介质，该方法包括：响应于店铺终端设备上传的检索触发信号，提取检索触发信号中的商品图片；将商品图片输入至一个商品识别模型以使商品识别模型输出商品SKU值；根据SKU值查询商品SKU值所对应的多个包装SKU值及与包装SKU值对应的采购价格；将包装SKU值和采购价格反馈至店铺终端设备；响应于店铺终端设备上传的选择触发信号，生成购物车条目数据，购物车条目数据包含包装SKU值、采购价格和推荐采购数目。本申请的有益之处在于：通过图片检索的方法能有效检索商品并产生可以直接下单的购物车条目。

Description

基于图像的商品检索方法、装置、设备和存储介质

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种基于图像的商品检索方法。

背景技术

相关技术中，通过互联网平台的方式，将多个店铺的订单进行汇集，然后再向供应商进行统一的采购和物流取货，然后再由承运车辆按照采购订单配送至对应的店铺，以降低诸如便利店等店铺的仓储成本，提高采购的灵活度。

现在存在店铺需要采购的商品较多，如果利用以外的字段检索，则容易耗费较长的时间，并且不方便操作，如果采用收藏或购物车的方式则会导致商品条目过多失去节约操作的目的，并且有仓储的变化，收藏和购物车中的商品条目也容易失效。

发明内容

本申请的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本申请的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本申请的一些实施例提出了基于图像的商品检索方法、装置、电子设备和存储介质，来解决以上背景技术部分提到的技术问题。

作为本申请的第一方面，本申请的一些实施例提供了一种基于图像的商品检索方法，包括如下步骤：响应于店铺终端设备上传的检索触发信号，提取检索触发信号中的商品图片；将商品图片输入至一个商品识别模型以使商品识别模型输出商品SKU值；根据SKU值查询商品SKU值所对应的多个包装SKU值及与包装SKU值对应的采购价格；将包装SKU值和采购价格反馈至店铺终端设备；响应于店铺终端设备上传的选择触发信号，生成购物车条目数据，购物车条目数据包含包装SKU值、采购价格和推荐采购数目。

作为本申请的第二方面，本申请的一些实施例提供了一种基于图像的商品检索装置，包括：提取模块，用于提取检索出发信号中商品图片的采集位置数据，以及店铺终端设备的设备编码数据；识别模块，用于将商品图片输入至商品识别模型使商品识别模型输出商品SKU值；查询模块，用于根据SKU值查询商品SKU值所对应的多个包装SKU值及与包装SKU值对应的采购价格中的采购价格为当前采购价格；反馈模块，用于将包装SKU值和采购价格反馈至店铺终端设备；下单模块，用于将店铺终端设备上传的选择触发信号，下单生成购物车条目数据输出。

作为本申请的第三方面，本申请的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。

作为本申请的第四方面，本申请的一些实施例提供了一种存储介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。

本申请的有益之处在于：通过图片检索的方法能有效检索商品并产生可以直接下单的购物车条目。

本申请一些实施例可能产生如下的具体有益效果：通过图片关联到包装SKU值，节约了操作步骤即使商品条目失效，也对其本身并无影响；基于店铺分类的商品识别模型有助于模型训练和提高结果输出的置信度；异地关联进行检索的方式，帮助店铺用户获取新品。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。

另外，贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。

图1是相关技术中店铺进行“拼单”采购的模式示意图；

图2是根据本申请一种实施例的基于图像的商品检索方法的流程图；

图3是根据本申请一种实施例的基于图像的商品检索方法中一部分具体步骤的流程图；

图4是根据本申请一种实施例的基于图像的商品检索方法中又一部分具体步骤的流程图；

图5是根据本申请一种实施例的基于图像的商品检索方法中再一部分具体步骤的流程图；

图6是根据本申请一种实施例的基于图像的商品检索方法中另一部分具体步骤的流程图；

图7是根据本申请一种实施例的基于图像的商品检索装置的结构图；

图8是根据本申请一种实施例的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现， 而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。

另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要注意，本申请中提及的“ 第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本申请中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本申请实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的， 而并不是用于对这些消息或信息的范围进行限制。

下面将参考附图并结合实施例来详细说明本申请。

参照图2所示，本申请公开的一个实施例的基于图像的商品检索方法包括如下步骤：

步骤S01：响应于店铺终端设备上传的检索触发信号，提取检索触发信号中的商品图片。

步骤S02：将商品图片输入至一个商品识别模型以使商品识别模型输出商品SKU值。

步骤S03：根据SKU值查询商品SKU值所对应的多个包装SKU值及与包装SKU值对应的采购价格。

步骤S04：将包装SKU值和采购价格反馈至店铺终端设备。

步骤S05：响应于店铺终端设备上传的选择触发信号，生成购物车条目数据，购物车条目数据包含包装SKU值、采购价格和推荐采购数目。这里所指的采购价格为当前电商平台的采购价格，即即时更新的价格，避免类似于收藏和购物车过期导致“拼单”的采购价格过期的缺陷。采用这样方案，可以使用户即时下单提高下单便捷性。

作为具体方案，店铺终端设备具有触摸屏和摄像头，其可以被构造为一个智能手机。店铺终端设备的检索触发信号可以由采集商品图片的操作或操作结果而产生。具体应用场景分别两种，其中一种是店铺用户采集自家店铺的商品图片以实现自动识别和下单的操作，另一种是店铺用户采集其他店铺或场所的商品图片以扩展自己的商品品类。

为了能够适于这两种应用场景，如图3所示，作为优选方案，上述基于图像的商品检索方法还包括如下步骤：提取检索触发信号中的商品图片的采集位置数据；提取检索触发信号中的店铺终端设备的设备编码数据；根据设备编码数据获取与之对应的店铺注册位置；判断采集位置数据是否符合店铺注册位置，如果是则根据店铺注册位置查询店铺分组，如果否则根据采集位置数据中的位置获取最近的其他店铺的店铺注册位置，根据其他店铺的店铺注册位置查询店铺分组位置；根据店铺分组位置确定选择商品识别模型。

通过这样的方案，判断用户是在自家店铺还是在其他场所，根据场所不同选择不同的商品识别模型。众所周知，神经网络模型的训练需要训练集数据具有一定的稳定特征，且具有足够数据量。

如果仅采用一个店铺终端设备的历史数据生成训练集数据，则会产生数据量不足的问题，如果采用所有***内店铺终端设备的历史数据进行训练，则会因为商品图片数据特征过于分散无法使模型训练收敛，或者完成训练后模型准确性较差。

鉴于以上，本申请提供了一种依靠店铺分组解决以上问题的技术方案。通过研究发现，同等规模的店铺在商品摆放上本身具有一定的相似性，并且如果它们在地域上相近，它们在采购行为上也具有一定的相似性。

因此，为了更便于训练商品识别模型，使其更好的对商品图片进行识别，基于以上的特点，形成一定的店铺分组，从而使店铺分组内部店铺可以借鉴彼此的历史数据，即获得足够的训练数据同时又使训练数据本身具有一定的关联性，便于模型训练。

尤其是在检索自家店铺以外的商品图片时，通过检索最近店铺所属的店铺分组获取商品识别模型进行检索，提高了检索效率和准确性。

作为优选方案，如图4所示，上述基于图像的商品检索方法还包括如下步骤：至少根据店铺终端设备的店铺注册位置将店铺终端设备划分成不同的店铺分组；为每个店铺分组配置一个商品识别模型，商品识别模型由店铺分组内的店铺终端设备上传的历史商品图片数据和历史商品SKU值分别作为输入数据和输出数据训练而成。

作为一种优选的方案，提取检索触发信号中商品图片的采集位置数据以及店铺终端设备的设备编码数据，将获取到的设备编码数据与之对应的店铺注册位置进行比较，判断采集位置数据是否符合店铺注册位置，如果符合则根据店铺注册位置查询店铺分组，如果不相符则根据采集位置数据中的位置获取最近的其他店铺的店铺注册位置，根据其他店铺的店铺注册位置查询店铺分组位置。

鉴于以上，如图4所示，作为进一步的优选方案，上述基于图像的商品检索方法还包括如下步骤：至少根据店铺终端设备的店铺注册位置将店铺终端设备划分成不同的店铺分组；为每个店铺分组配置一个商品识别模型，商品识别模型由店铺分组内的店铺终端设备上传的历史商品图片数据和历史商品SKU值分别作为输入数据和输出数据训练而成。

如图5所示，作为具体方案，店铺分组的具体方法包括如下步骤：

获取店铺终端设备的历史采购订单数据。

根据历史采购订单数据计算店铺终端设备的平均订单价值。

使平均订单价值作为第三维度建立三维坐标系。

获取店铺终端设备在以上三维坐标系中的坐标值，三维坐标系另外两个维度的坐标为店铺终端设备的店铺注册位置在平面地图内的二维坐标。

以店铺终端设备在三维坐标系中的坐标值进行K-Means聚类运算。

根据K-Means聚类运算结果划分所述店铺分组。

更具体而言，这里所指的历史订单为店铺的采购订单。使平均订单价值作为第三维度建立三维坐标系。其他两个维度为根据地理位置建立二维坐标系，店铺在二维坐标系中的坐标值结合第三维度的平均订单价值构成这个三维坐标系。比如，假设三维坐标系坐标轴为X、Y、Z，其中店铺在X、Y轴的坐标分为店铺在平面地图上位置坐标，Z轴坐标为该店铺的平均订单值。其中，平均订单价值为店铺在观测周期所有采购订单的订单价值的平均值。获取店铺在以上三维坐标系中的坐标值。位置坐标可以通过地图和定位数据获取，订单平均价值通过计算历史数据获得。作为优选方案，观测周期为季度或年度。这样较长的时间周期可以比较稳定的反应店铺的特性。

店铺分组实质为一个店铺的集合，从数据体现角度，其可以被表达为店铺的ID；当然，也可以表达为店铺的名称，但是文字本身不适于数据处理，优选还是店铺的唯一店铺ID编码，或者可以采用店铺用户的唯一账户ID，这两者的作用是相同的。

继续参照图6所示，步骤S02具体包括如下步骤：商品识别模型输出若干检测框以及对应检测框的商品SKU值；判断每个检测框及其商品SKU值置信度是否满足置信度阈值，如果是则保留商品SKU值，如果否则向店铺终端设备发送检测框以提示用户重新采集图像；除去重复的商品SKU值，相同的SKU值仅保存一个检测框进行置信度阈值判断。

在采集商品图片时，可能会出现多个相同商品的图像，此时只需要保留其中一个即可。作为优选方案，也可以分别生成同一个商品的多个检测框的对应的置信度，采用置信度最高的一个进行置信度判断。

另外，需要说明的是，本申请的商品识别模型可以为一个卷积神经网络模型，其能实现检测框生成以及检测框内图像分类（分类对应到商品SKU）的功能，这样的卷积神经网络模型在图像识别领域为一般技术人员所熟知的技术方案，如果构建这个网络是本领域技术人员根据功能需求而能实现的，其并非是本申请的重点，在此不加赘述。

如图7所示，作为实施方式的基于图像的商品检索装置，具体包括：提取模块，用于提取检索出发信号中商品图片的采集位置数据，以及店铺终端设备的设备编码数据；识别模块，用于将商品图片输入至商品识别模型使商品识别模型输出商品SKU值；查询模块，用于根据SKU值查询商品SKU值所对应的多个包装SKU值及与包装SKU值对应的采购价格中的采购价格为当前采购价格；反馈模块，用于将包装SKU值和采购价格反馈至店铺终端设备；下单模块，用于将店铺终端设备上传的选择触发信号，下单生成购物车条目数据输出。

如图8所示，电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储装置808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM803中，还存储有电子设备800操作所需的各种程序和数据。处理装置801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

通常，以下装置可以连接至I/O接口805：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806：包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置807；包括例如磁带、硬盘等的存储装置808：以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备800，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图8中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。

特别地，根据本申请的一些实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的一些实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中，该计算机程序可以通过通信装置809从网络上被下载和安装，或者从存储装置808被安装，或者从ROM802被安装。在该计算机程序被处理装置801执行时，执行本申请的一些实施例的方法中限定的上述功能。

需要说明的是，本申请的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本申请的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperTextTransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，adhoc端对端网络)，以及任何当前已知或未来研发的网络。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的一些实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言―诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言：诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。

也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。

例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑设备(CPLD)等等。

以上描述仅为本申请的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请的实施例中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于图像的商品检索方法，其特征在于：

所述基于图像的商品检索方法包括如下步骤：

响应于所述店铺终端设备上传的检索触发信号，提取所述检索触发信号中的商品图片；

将所述商品图片输入至一个商品识别模型以使所述商品识别模型输出商品SKU值；

根据所述SKU值查询所述商品SKU值所对应的多个包装SKU值及与包装SKU值对应的采购价格；

将所述包装SKU值和所述采购价格反馈至所述店铺终端设备；

响应于所述店铺终端设备上传的选择触发信号，生成购物车条目数据，所述购物车条目数据包含所述包装SKU值、所述采购价格和推荐采购数目。

2.根据权利要求1所述基于图像的商品检索方法，其特征在于：

所述基于图像的商品检索方法还包括如下步骤：

提取所述检索触发信号中的所述商品图片的采集位置数据；

提取所述检索触发信号中的所述店铺终端设备的设备编码数据；

根据所述设备编码数据获取与之对应的店铺注册位置；

判断所述采集位置数据是否符合所述店铺注册位置，如果是则根据所述店铺注册位置查询店铺分组，如果否则根据所述采集位置数据中的位置获取最近的其他店铺的店铺注册位置，根据其他店铺的店铺注册位置查询店铺分组位置；

根据所述店铺分组位置确定选择所述商品识别模型。

3.根据权利要求2所述基于图像的商品检索方法，其特征在于：

所述基于图像的商品检索方法还包括如下步骤：

至少根据所述店铺终端设备的店铺注册位置将所述店铺终端设备划分成不同的店铺分组；

为每个所述店铺分组配置一个所述商品识别模型，所述商品识别模型由所述店铺分组内的所述店铺终端设备上传的历史商品图片数据和历史商品SKU值分别作为输入数据和输出数据训练而成。

4.根据权利要求5所述基于图像的商品检索方法，其特征在于：

所述至少根据所述店铺终端设备的店铺注册位置将所述店铺终端设备划分成不同的店铺分组包括如下步骤：

获取店铺终端设备的历史采购订单数据；

根据所述历史采购订单数据计算店铺终端设备的平均订单价值；

使平均订单价值作为第三维度建立三维坐标系；

获取店铺终端设备在以上三维坐标系中的坐标值，所述三维坐标系另外两个维度的坐标为所述店铺终端设备的店铺注册位置在平面地图内的二维坐标；

以店铺终端设备在三维坐标系中的坐标值进行K-Means聚类运算；

根据K-Means聚类运算结果划分所述店铺分组。

5.根据权利要求4所述基于图像的商品检索方法，其特征在于：

所述将所述商品图片输入至一个商品识别模型以使所述商品识别模型输出商品SKU值包括如下步骤：

所述商品识别模型输出若干检测框以及对应所述检测框的所述商品SKU值；

判断每个所述检测框及其所述商品SKU值置信度是否满足置信度阈值，如果是则保留所述商品SKU值，如果否则向所述店铺终端设备发送所述检测框以提示用户重新采集图像。

6.根据权利要求5所述基于图像的商品检索方法，其特征在于：

所述将所述商品图片输入至一个商品识别模型以使所述商品识别模型输出商品SKU值包括如下步骤：

除去重复的商品SKU值，相同的SKU值仅保存一个检测框进行所述置信度阈值判断。

7.根据权利要求6所述基于图像的商品检索方法，其特征在于：

所述根据所述SKU值查询所述商品SKU值所对应的多个包装SKU值及与包装SKU值对应的采购价格中的采购价格为当前的采购价格。

8.一种基于图像的商品检索装置，包括：

提取模块，用于提取所述检索出发信号中所述商品图片的采集位置数据，以及所述店铺终端设备的设备编码数据；

识别模块，用于将所述商品图片输入至所述商品识别模型使所述商品识别模型输出商品SKU值；

查询模块，用于根据所述SKU值查询所述商品SKU值所对应的多个包装SKU值及与包装SKU值对应的采购价格中的采购价格为当前采购价格；

反馈模块，用于将所述包装SKU值和所述采购价格反馈至所述店铺终端设备；

下单模块，用于将所述店铺终端设备上传的选择触发信号，下单生成购物车条目数据输出。

9.一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述处理器实现如权利要求1至7任意一项所述的方法。

10.一种存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的方法。

Images