CN111178265A - 商品识别方法及装置 - Google Patents

Abstract

本申请公开了一种商品识别方法及装置，属于互联网技术领域。在本申请中，由于用户在将商品拿出柜外时会经过柜门开启侧的柜体边缘，因此，通过在该柜体边缘设置图像采集装置即可以采集到用户手持商品的图像，进而根据采集的图像和重力变化量，通过商品识别模型即可以识别出用户选购的商品，无需在每层货架上方均设置对应的图像采集装置。同时，由于本申请是直接通过商品识别模型对用户拿取商品的多张图像中用户手持的商品进行识别，而不是通过对比货架上的商品图像的变化来识别商品，因此，降低了对货架上商品的摆放方式以及商品的类型的要求，提高了识别准确率和识别效率。

Description

商品识别方法及装置

技术领域

本申请涉及互联网技术领域，特别涉及一种商品识别方法及装置。

背景技术

当前，随着智能化的发展，在商场、学校、写字楼等公共场所中，自动售货柜得以大规模的落地应用。自动售货柜分为封闭式自动售货柜和开放式自动售货柜两种。其中，开放式自动售货柜是通过在开门式冰柜的基础上增加智能门锁、图像采集装置、重力传感器和工控机等部件改造而成。用户在开放式自动售货柜上购买商品时，可以通过扫码打开柜门选购商品，自动售货柜可以识别用户选购的商品，进而在用户关闭柜门之后，对识别出的用户选购的商品进行结算。

相关技术中，自动售货柜包括多层货架，每层货架上可以设置有一个重力传感器，并且，每层货架的上方可以设置有一个图像采集装置。在用户扫码打开柜门前，可以通过每层货架对应的图像采集装置对相应货架上的商品进行图像采集，并通过每层货架的重力传感器来检测货架上摆放的商品的重力。在用户选购商品结束关闭柜门后，再次通过每层货架对应的图像采集装置对货架上的商品进行图像采集，并且，再次通过每层货架的重力传感器来检测货架上摆放的商品的重力。之后，可以通过对比柜门开启之前和关闭之后采集到的各层货架上的商品图像以及各层货架上的重力，来确定用户选购的商品。

由此可见，相关技术中为了保证能对每层货架上的商品进行监控，需要在每层货架上方设置一个图像采集装置。另外，当采用上述方法来确定用户选购的商品时，为了保证能够通过对比两张商品图像得出用户拿取的商品，要求商品按照一定方式进行摆放，尤其是不可堆叠，且商品还需要满足一定的要求，例如，对于软包装零食商品的支持度较低，这将导致自动售货柜内商品摆放的灵活度降低，且会对自动售货柜售卖商品种类造成一定限制，影响用户体验。

发明内容

本申请实施例提供了一种商品识别方法、装置及存储介质，通过本申请实施例提供的方法来识别用户从自动售货柜中选购的商品，可以降低自动售货柜的成本，提高自动售货柜内商品摆放的灵活度，并减小对自动售货柜售卖商品种类的限制。所述技术方案如下：

一方面，提供了一种商品识别方法，所述方法包括：

获取多张图像，所述多张图像由设置在自动售货柜的柜体边缘的图像采集装置在所述柜门开启直至所述柜门关闭的过程中采集得到，所述柜体边缘是指柜门开启侧对应的柜体的边缘，且所述多张图像中包含有用户手持商品的图像；

确定所述自动售货柜内商品的重力变化量；

根据所述多张图像、所述重力变化量和商品识别模型，确定商品识别结果。

可选地，所述获取用户拿取商品时的多张图像，包括：

当监测到所述柜门或所述柜门上的智能锁开启时，向所述图像采集装置发送图像采集指令，所述图像采集指令用于控制所述图像采集装置开启以进行图像采集；

当监测到所述柜门和所述智能锁均关闭时，向所述图像采集装置发送停止采集指令，所述停止采集指令用于控制所述图像采集装置停止采集图像；

接收所述图像采集装置在所述图像采集指令的接收时间和所述停止采集指令的接收时间之间采集的多张图像。

可选地，所述确定所述自动售货柜内商品的重力变化量，包括：

当监测到所述柜门或所述柜门上的智能锁开启时，向所述自动售货柜的重力传感器发送重力采集指令，所述重力采集指令用于控制所述重力传感器开启以进行重力采集；

当监测到所述柜门和所述智能锁均关闭时，向所述重力传感器发送停止重力采集指令，所述停止重力采集指令用于控制所述重力传感器停止采集重力；

接收所述重力传感器在所述重力采集指令的接收时间和所述停止重力采集指令的接收时间之间采集的多个重力值；

根据所述多个重力值确定所述重力变化量。

可选地，所述根据所述多张图像、所述重力变化量和商品识别模型，确定商品识别结果，包括：

将所述多张图像和所述重力变化量作为所述商品识别模型的输入，通过所述商品识别模型得到多个商品标识和每个商品标识对应的置信度；

根据所述多个商品标识和每个商品标识对应的置信度，确定所述商品识别结果。

可选地，所述根据所述多个商品标识和每个商品标识对应的置信度，确定所述商品识别结果，包括：

如果所述多个商品标识中存在指定商品标识，则将所述多个商品标识中的指定商品标识进行删除，将所述指定商品标识对应的置信度进行删除，所述指定商品标识是指预先设置的所述自动售货柜中不允许售卖的商品的标识；

根据删除后的商品标识和每个商品标识的置信度，确定所述商品识别结果。

另一方面，提供了一种商品识别装置，所述装置包括：

获取模块，用于获取多张图像，所述多张图像由设置在自动售货柜的柜体边缘的图像采集装置在所述柜门开启直至所述柜门关闭的过程中采集得到，所述柜体边缘是指柜门开启侧对应的柜体的边缘，所述多张图像中包含有用户手持商品的图像；

确定模块，用于确定所述自动售货柜内商品的重力变化量；

识别模块，用于根据所述多张图像、所述重力变化量和商品识别模型，确定商品识别结果。

可选地，所述获取模块具体用于：

当监测到所述柜门或所述柜门上的智能锁开启时，向所述图像采集装置发送图像采集指令，所述图像采集指令用于控制所述图像采集装置开启以进行图像采集；

当监测到所述柜门和所述智能锁均关闭时，向所述图像采集装置发送停止采集指令，所述停止采集指令用于控制所述图像采集装置停止采集图像；

接收所述图像采集装置在所述图像采集指令的接收时间和所述停止采集指令的接收时间之间采集的多张图像。

可选地，所述确定模块具体用于：

当监测到所述柜门或所述柜门上的智能锁开启时，向所述自动售货柜的重力传感器发送重力采集指令，所述重力采集指令用于控制所述重力传感器开启以进行重力采集；

当监测到所述柜门和所述智能锁均关闭时，向所述重力传感器发送停止重力采集指令，所述停止重力采集指令用于控制所述重力传感器停止采集重力；

接收所述重力传感器在所述重力采集指令的接收时间和所述停止重力采集指令的接收时间之间采集的多个重力值；

根据所述多个重力值确定所述重力变化量。

可选地，所述识别模块包括：

识别子模块，用于将所述多张图像和所述重力变化量作为所述商品识别模型的输入，通过所述商品识别模型得到多个商品标识和每个商品标识对应的置信度；

确定子模块，用于根据所述多个商品标识和每个商品标识对应的置信度，确定所述商品识别结果。

可选地，所述确定子模块具体用于：

如果所述多个商品标识中存在指定商品标识，则将所述多个商品标识中的指定商品标识进行删除，将所述指定商品标识对应的置信度进行删除，所述指定商品标识是指预先设置的所述自动售货柜中不允许售卖的商品的标识；

根据删除后的商品标识和每个商品标识的置信度，确定所述商品识别结果。

另一方面，提供了一种商品识别装置，所述商品识别装置包括处理器、通信接口、存储器和通信总线；

其中，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信；

所述存储器用于存放计算机程序；

所述处理器用于执行所述存储器上所存放的程序，以实现前述提供商品识别方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现前述提供的商品识别方法的步骤。

另一方面，提供了一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行前述的商品识别方法的步骤。

本申请实施例提供的技术方案带来的有益效果至少包括：

在本申请实施例中，可以获取用户选购商品时的多张图像，并确定自动售货柜内商品的重力变化量，根据该多张图像、重力变化量和商品识别模型来确定商品识别结果。由于用户在将商品拿出柜外时会经过柜门开启侧的柜体边缘，因此，通过在该柜体边缘设置图像采集装置即可以采集到用户手持商品的图像，进而根据采集的图像和重力变化量，通过商品识别模型即可以识别出用户选购的商品，无需在每层货架上方均设置对应的图像采集装置。同时，由于本申请是直接对用户拿取商品的多张图像中用户手持的商品进行识别，而不是通过对比货架上的商品图像的变化来识别商品，因此，降低了对货架上商品的摆放方式以及商品的类型的要求，提高了识别准确率和识别效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种自动售货***架构图；

图2是本申请实施例提供的一种自动售货柜的结构示意图；

图3是本申请实施例提供的一种商品识别方法流程图；

图4是本申请实施例提供的一种购物流程图；

图5是本申请实施例提供的一种商品识别装置的结构示意图；

图6是本申请实施例提供的一种控制设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在对本申请实施例进行详细的解释说明之前，先对本申请实施例涉及的***架构予以介绍。

图1是本申请实施例提供的商品识别方法所涉及的一种自动售货***。如图1所示，该自动售货***包括自动售货柜101、用户终端102和服务器103。

其中，如图2所示，自动售货柜101可以包括柜体1011、货架1012、重力传感器1013、图像采集装置1014、显示器1015、智能锁1016、内置于柜体1011中的控制设备(图中未示出)以及柜门(图中未示出)。当然，该自动售货柜还可以包括灯条、电源模块等其他部件结构，本申请实施例对此不做限定。

其中，图像采集装置1014可以设置在柜门开启侧对应的柜体1011的边缘。如图2所示，假设第一边缘为柜门旋转轴所在的边缘，第二边缘为柜门开启侧对应的柜体101的边缘。图像采集装置1014即可以设置在第二边缘上。为了保证图像采集装置1014能够采集到用户手持商品的图像，该图像采集装置1014可以设置在最上层货架的上方，并且，该图像采集装置1014的视野范围可以覆盖包含第二边缘在内的用户取出商品时所需经过的区域。

可选地，该图像采集装置1014的数量可以为多个。在这种情况下，在第一边缘上也可以设置图像采集装置1014，以增大图像采集区域范围，并且，可以采集到多种角度不同的图像。

自动售货柜101自上而下可以包括多层货架1012。如图2所示，每层货架1012的底面上可以设置有重力传感器，以对相应货架上的商品的重力进行检测。

显示器1015可以位于柜体1011的正面的顶端或底端，也可以位于柜体1011的侧面，本申请实施例对此不做限定。该显示器1015可以用于显示该自动售货柜101内的商品的商品信息、该自动售货柜101的使用说明、诸如商品广告等推广信息以及购物二维码等。其中，该购物二维码可以包含有开锁请求信息。

另外，在本申请实施例中，智能锁1016设置在柜门上。重力传感器1013、图像采集装置1014、显示器1015和智能锁1016均可以与内置于柜体1011中的控制设备进行通信。该控制设备可以接收重力传感器1013采集的重力值以及图像采集装置1014采集的图像，并通过本申请实施例提供的方法来根据接收到的重力值和图像进行商品识别。除此之外，该控制设备可以向智能锁1016发送开启指令以控制智能锁1016自动开锁，并且，当用户关闭柜门之后，智能锁1016可以自动关锁，并向控制设备发送关锁通知。该控制设备还可以向显示器发送待显示的信息，以供显示器进行显示。另外，在本申请实施例中，柜门上还可以设置有其他用于检测柜门开关的传感器，本申请实施例在此不做限定。

自动售货柜101的控制设备与服务器103建立有通信连接，服务器103与用户终端102建立有通信连接。

其中，用户终端102可以通过扫描自动售货柜101的显示器1016上显示的二维码，来向服务器103发送请求自动售货柜101开锁的开锁请求。服务器103可以根据用户终端102发送的开锁请求，向自动售货柜的控制设备发送开锁指令，控制设备可以根据该开锁指令控制门锁1016开锁。之后，用户可以打开自动售货柜101的柜门选购商品。在用户选购商品的过程中，自动售货柜101的图像采集装置1014和重力传感器1013可以向控制设备发送采集的图像和重力值，控制设备可以根据接收到的信息识别用户选购的商品，从而得到商品识别结果。之后，当检测到自动售货柜的门锁1016关锁之后，控制设备可以将该商品识别结果发送至服务器103。服务器103可以根据该商品识别结果生成订单，并向用户发送订单，进行结算。

需要说明的是，上述用户终端102可以为智能手机、平板电脑等移动终端。服务器103可以为一台单独的服务器，也可以为一个服务器集群。另外，应当理解的是，上述图2所示的结构并不构成对自动售货柜101的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

接下来对本申请实施例提供的商品识别方法进行介绍。

图3是本申请实施例提供的一种商品识别方法的流程图。如图3所示，该方法可以应用于图2所示的自动售货柜的控制设备中，该方法可以包括以下步骤：

步骤301：获取多张图像，该多张图像由设置在自动售货柜的柜体边缘的图像采集装置在柜门开启直至柜门关闭的过程中采集得到，柜体边缘是指柜门开启侧对应的柜体的边缘，多张图像中包含有用户手持商品的图像。

由前述关于自动售货柜的介绍可知，自动售货柜的显示器上可以显示有购物二维码。可选地，也可以在自动售货柜的柜体上设置购物二维码。当用户想要购买自动售货柜内的商品时，可以通过用户终端扫描该购物二维码。当然，在一些可能的实现方式中，自动售货柜上也可以设置人脸识别设备，通过采集用户人脸图像来进行人脸识别，以开锁购物。本申请实施例对此不做限定。

示例性地，以扫描二维码开锁为例，用户终端可以通过小程序或者是购物应用来扫描该购物二维码。其中，该购物二维码可以包含有开门请求信息。在这种情况下，当扫描该购物二维码之后，用户终端可以获取到开门请求信息，并根据该开门请求信息向服务器发送开门请求。其中，该开门请求信息中包含有该自动售货柜的标识信息，该开门请求中也携带有自动售货柜的标识信息。

在生成开门请求之后，用户终端可以将该开门请求发送至服务器。其中，该开门请求中携带自动售货柜的标识信息。服务器在接收到该开门请求之后，可以根据该标识信息向对应的自动售货柜发送开启指令。

可选地，在服务器向自动售货柜发送开启指令之前，服务器还可以对用户终端所对应的用户身份以及权限等信息进行验证。在这种情况下，前述的用户终端发送的开门请求中还可以携带有该用户终端当前登录的小程序或购物应用的用户账号以及支付权限信息。其中，该支付权限信息用于指示用户是否已授权开启免密支付。服务器可以获取该用户账号的支付权限信息，如果该支付权限信息指示用户已授权开启免密支付，则服务器可以向自动售货柜发送开启指令。如果该支付权限信息指示用户未开启免密支付，则服务器可以向用户终端发送提示信息，以提示用户开启免密支付。

当然，在一些可能的场景下，服务器也可以直接获取开门请求中的支付权限信息而不进行验证，以待后续结算时使用，本申请实施例对此不做限定。

自动售货柜的控制设备在接收到服务器发送的开启指令之后，可以控制自动售货柜的智能锁开启。当控制设备监测到柜门或者智能锁任一开启时，该控制设备可以向自动售货柜的柜体边缘设置的图像采集装置发送图像采集指令。该图像采集指令可以用于控制图像采集装置开启以进行图像采集。

其中，控制设备可以向智能锁下发开启指令，智能锁在接收到该开启指令之后，可以开锁。智能锁开启之后可以向控制设备发送开锁通知，以通知控制设备智能锁已开锁。此时，控制设备可以向图像采集装置下发图像采集指令。或者，在智能锁开启之后，控制设备可以通过其他传感器检测柜门是否已被打开，如果检测到柜门已被打开，则控制设备可以向图像采集装置发送图像采集指令。

在门锁开启之后，用户可以打开自动售货柜的柜门选购商品。由于图像采集装置在门锁开启的同时也已经开启，因此，在用户选购商品的过程中，图像采集装置将会按照一定的采样周期进行图像采集，从而得到多张图像。另外，由于图像采集装置的视野范围覆盖包含有柜门开启侧对应的柜体边缘的区域，因此，当用户手持选购的商品经过柜体边缘将商品拿出柜外时，将会经过图像采集装置的视野范围，这样，图像采集装置可以采集到用户手持商品的图像。也即，该多张图像中将会包含有用户手持商品的图像。

用户在选购完商品之后，可以关闭柜门，柜门关闭之后，门锁可以自动落锁，并向控制设备发送用于指示门锁已关闭的关锁通知。控制设备在接收到关锁通知之后，可以确定智能锁和柜门均关闭，此时，可以向图像采集装置发送停止采集指令。图像采集装置在接收到该停止采集指令之后，可以停止进行图像采集。

在停止图像采集之后，图像采集装置可以将在图像采集指令的接收时间和停止采集指令的接收时间之间采集的多张图像一次性发送至控制设备。

可选地，图像采集装置也可以在采集图像的过程中，每采集到一张图像，即实时向控制设备发送一张图像。

可选地，在一种可能的情况中，图像采集装置采集的可能是一个视频流，此时，该多张图像可以是指该视频流包含的多帧图像。

步骤302：确定自动售货柜内商品的重力变化量。

在本申请实施例中，控制设备在监测到柜门或柜门上的智能锁开启时，还可以向重力传感器下发重力采集指令，重力采集指令用于控制重力传感器开启以进行重力采集；当监测到柜门和智能锁均关闭时，向重力传感器发送停止重力采集指令，停止重力采集指令用于控制重力传感器停止采集重力；接收重力传感器在重力采集指令的接收时间和停止重力采集指令的接收时间之间采集的多个重力值；根据多个重力值确定重力变化量。

其中，控制设备监测柜门和柜门上的智能锁的开关的方式可以参考前述步骤301中的相关实现方式，本申请实施例在此不再赘述。

重力传感器从开始采集重力起，可以实时将采集到的重力值发送至控制设备，控制设备可以将接收到的重力值与接收时间对应存储。其中，控制设备可以在每接收到一个重力值时，将该重力值与当前时刻之前最近一次接收到的重力值进行比较，以确定重力是否发生变化以及发生变化的变化量。具体地，当当前接收到的重力值与上一个接收到的重力值之间的差值处于预设波动范围之内时，可以确定重力未发生变化，如果当前接收到的重力值与上一个接收到的重力值之间的差值不处于预设波动范围之内，则可以计算二者之间的差值，将二者之间的差值作为重力变化量。

其中，在货架上的商品未发生变化的情况下，重力传感器可能会存在检测波动，预设波动范围即是指重力传感器检测重力值时可能存在的误差波动范围。该预设波动范围的上限值和下限值远远小于商品的最小重力值。

其中，存储的最小重力值是该自动售货柜内的质量最小的商品的重力值。预设阈值是指允许的最大波动误差。

需要说明的是，在确定重力发生的情况下，当前接收到的重力值可能比上一次接收到的重力值小，此时，该重力变化量即为用户拿取的商品的重力。可选地，当前接收到的重力值也可能比上一次接收到的重力值大，此时，则说明用户将拿取的商品又放回了货架，也即，该重力变化量为用户放回商品的重力。基于此，根据对柜门开启到关闭期间的货架的重力监测，可能会得到一个或多个重力变化量，控制设备可以通过正负号来记录拿取商品时对应的重力变化量以及放回商品时所对应的重力变化量，并且，控制设备可以记录每个重力变化量所对应的时间。也即，检测到重力发生变化的时刻。

另外，需要说明的是，上述步骤301和步骤302可以同时执行，也可以先执行步骤302，再执行步骤301，本申请实施例不对步骤301和步骤302的执行顺序进行限定。

步骤303：根据多张图像、重力变化量和商品识别模型，确定商品识别结果。

在获取到多张图像和重力变化量之后，控制设备可以通过商品识别模型来确定商品识别结果。

其中，商品识别模型是预先通过大量的训练样本训练得到的。其中，训练样本可以为商品图像和该商品图像中的商品的重力值，该商品图像可以是对自动售货柜内可能售卖的各种商品进行图像采集得到。需要说明的是，在本申请实施例中，自动售货柜内可能售卖的商品是指能够以自动售卖柜这种售卖方式来进行售卖的商品，例如，可以为饮品、零食等有外包装的商品，也可以为生鲜水果类商品。对于每张商品图像，可以商品图像中包含的商品信息进行标定。之后，可以将商品图像、该商品图像中的商品的重力值和该商品图像对应的标定信息作为初始模型的输入，对初始模型进行训练，从而得到训练好的商品识别模型。需要说明的是，商品识别模型的训练过程可以在控制设备上完成，也可以在服务器中完成，或者是其他设备中完成，本申请实施例在此不再赘述。

在进行商品识别时，控制设备可以将多张图像和重力变化量作为商品识别模型的输入，通过该商品识别模型得到多个商品标识和每个商品标识对应的置信度，根据多个商品标识和每个商品标识对应的置信度，确定商品识别结果。

需要说明的是，多张图像中可能存在不包含有用户手持商品的图像，也可能包含多张用户手持商品的图像，并且，多张用户手持商品的图像中的商品可能不是同一种商品。另外，重力变化量可能是一个，也可能是多个。基于此，控制设备可以根据多张图像中每张图像的时间戳和重力变化量对应的时间信息，确定与每张图像匹配的重力变化量。例如，从开启柜门的开始起，一直到第30秒，重力均未发生变化，则对于从开启柜门开始到第30秒期间采集到的所有图像，与这些图像匹配的重力变化量均为0。假设第30秒的时候，重力发生了变化，且重力变化量为x，一直到第40秒，重力都均未再次发生变化，则对于这10秒内采集到的图像，与这些图像匹配的重力变化量为x。

控制设备可以依次将接收到的多张图像中的每张图像与相应图像对应的重力变化量作为商品识别模型的输入，来对相应图像进行识别，从而得到相应图像的识别结果。其中，识别结果可能为空，在这种情况下，可以确定相应图像中不包含有商品。可选地，识别结果也可能包含有从相应图像中识别得到的一个或多个商品标识以及每个商品标识的置信度。为了方便后续描述，可以将识别结果不为空的图像称为第一图像。控制设备可以从每张第一图像的识别结果中获取置信度大于预设置信度的商品标识。之后，控制设备可以将从每张第一图像的识别结果中获取的商品标识取并集，从而得到商品识别结果。

在一些可能的场景中，设置在不同区域内的自动售货柜允许售卖的商品可能不同。例如，设置在校园中的自动售卖柜中可能不允许售卖碳酸饮料或酒品等产品。或者，在一些可能的场景中，根据区域内的用户购买行为，自动售货柜内可能不会售卖某些商品。在这种情况下，在训练商品识别模型时，即可以根据本区域内自动售货柜计划要售卖的商品来获取训练样本，进而对商品识别模型进行训练。

可选地，在上述场景中，为了减少训练工作，对于应用于任何区域内的商品识别模型，均可以根据自动售货柜可能售卖的所有商品来获取训练样本，进而对商品识别模型进行训练。此时，训练样本中包括的商品的种类要远远多于前述按照区域训练时训练样本中包括的商品的种类。在这种情况下，对于各个区域，服务器中可以存储有相应区域内不允许售卖的商品的标识，或者，服务器中可以存储有各个自动售货柜内不允许售卖的商品的标识。基于此，控制设备在得到每张图像的识别结果之后，对于识别结果包括的多个商品标识，控制设备可以查找该多个商品标识中是否存在指定商品标识，该指定商品标识即为当前自动售货柜不允许售卖的商品标识，或者，该自动售货柜所在区域内不允许售卖的商品的标识。如果该多个商品标识中存在指定商品标识，控制设备可以将指定商品标识以及指定商品标识对应的置信度进行删除。之后，控制设备可以根据删除指定商品标识之后的商品标识，确定商品识别结果。

其中，控制商品根据删除指定商品标识之后的商品标识，确定商品识别结果的实现过程，可以参考前述根据第一图像的识别结果确定商品识别结果的过程，本申请实施例在此不再赘述。

在本申请实施例中，在商品识别模型输出结果之后，通过删除自动售货柜不允许售卖的商品的标识，可以避免将自动售货柜内本不会售卖的商品的标识误作为最终的商品识别结果，可以降低商品识别结果的错误率。并且，采用上述方法时，可以不必针对每种场景训练商品识别模型，减少了训练工作量。

在确定商品识别结果之后，控制设备可以将该商品识别结果发送至服务器。服务器在接收到该商品识别结果之后，可以根据商品识别结果中包括的识别出的商品标识，获取对应的商品价格，进而根据该商品价格生成购物订单。之后，服务器可以根据该购物订单完成结算。

其中，如果在步骤301中，服务器在开锁之前即验证了用户终端开启了免密支付，则服务器可以直接与支付服务器进行交互来完成结算，之后，服务器可以将购物订单发送至用户终端，此时，该购物订单中可以包含有商品识别结果中包含的商品标识、每个商品标识对应的商品价格以及支付总值，除此之外，该购物订单中还可以包括用于指示订单已支付的提示信息。

可选地，如果服务器在开锁之前未验证用户终端是否已开启免密支付，而是获取了支付权限信息，则服务器可以根据该支付权限信息判断用户终端是否已开启免密支付。如果用户终端已开启免密支付，则服务器可以参照上述方法进行结算，并向用户终端发送购物订单。如果用户终端未开启免密支付，则服务器可以向用户终端发送用于指示进行订单结算的购物订单，此时，该购物订单包含有商品识别结果中包含的商品标识、每个商品标识对应的商品价格以及支付总值。用户终端可以在接收到该购物订单之后，可以显示该购物订单和支付选项。当用户选择支付选项之后，用户终端可以向支付服务器发送支付指令，支付服务器在接收到支付指令之后，可以进行结算，并在结算完成之后向前述的服务器发送支付完成通知消息，服务器在接收到该支付完成通知消息之后，可以向用户终端反馈支付成功的通知消息，用户终端显示该支付成功的通知消息，从而完成购物流程。

在本申请实施例中，可以获取用户选购商品时的多张图像，并确定自动售货柜内商品的重力变化量，根据该多张图像、重力变化量和商品识别模型来确定商品识别结果。由于用户在将商品拿出柜外时会经过柜门开启侧的柜体边缘，因此，通过在该柜体边缘设置图像采集装置即可以采集到用户手持商品的图像，进而根据采集的图像和重力变化量，通过商品识别模型即可以识别出用户选购的商品，无需在每层货架上方均设置对应的图像采集装置，降低了成本。同时，由于本申请是直接对用户拿取商品的多张图像中用户手持的商品进行识别，而不是通过对比货架上的商品图像的变化来识别商品，因此，降低了对货架上商品的摆放方式以及商品的类型的要求，提高了识别准确率和识别效率。

图4是本申请实施例示出的一种自动售货***内各个设备之间交互实现购物的购物流程图。如图4所示，用户终端可以扫描二维码，从而向服务器发送开门请求，服务器在接收到开门请求之后，可以向对应的自动售货柜的控制设备发送开启指令。控制设备在接收到开启指令后，可以向自动售货柜的智能锁下发该开启指令。智能锁在开启指令控制下开锁，并向控制设备反馈开锁通知，以通知控制设备智能锁已开启。之后，控制设备可以控制图像采集装置和重力传感器开启进行信息采集。门锁开启之后，用户可以开门选购商品，商品选购完成之后，关闭柜门，门锁自动落锁，并向控制设备发送关锁通知。控制设备在接收到关锁通知之后，向图像采集装置和重力传感器发送用于指示停止信息采集的指令，图像采集装置和重力传感器可以停止信息采集并向控制设备发送采集到的信息。之后，控制设备可以根据接收到的信息通过商品识别模型来进行商品识别，从而得到商品识别结果。将得到的商品识别结果输出至服务器。服务器可以根据该商品识别结果生成购物订单，并下发购物订单至用户终端，用户终端可以根据购物订单进行结算，从而完成购物。

接下来对本申请实施例提供的商品识别装置进行介绍。

参见图5，本申请实施例提供了一种商品识别装置500，该商品识别装置可以应用于图2所示的自动售货柜中，该装置500包括：

获取模块501，用于获取多张图像，多张图像由设置在自动售货柜的柜体边缘的图像采集装置在柜门开启直至柜门关闭的过程中采集得到，柜体边缘是指柜门开启侧对应的柜体的边缘，多张图像中包含有用户手持商品的图像；

确定模块502，用于确定自动售货柜内商品的重力变化量；

识别模块503，用于根据多张图像、重力变化量和商品识别模型，确定商品识别结果。

可选地，获取模块501具体用于：

当监测到柜门或柜门上的智能锁开启时，向图像采集装置发送图像采集指令，图像采集指令用于控制图像采集装置开启以进行图像采集；

当监测到柜门和智能锁均关闭时，向图像采集装置发送停止采集指令，停止采集指令用于控制图像采集装置停止采集图像；

接收图像采集装置在图像采集指令的接收时间和停止采集指令的接收时间之间采集的多张图像。

可选地，确定模块502具体用于：

当监测到柜门或柜门上的智能锁开启时，向自动售货柜的重力传感器发送重力采集指令，重力采集指令用于控制重力传感器开启以进行重力采集；

当监测到柜门和智能锁均关闭时，向重力传感器发送停止重力采集指令，停止重力采集指令用于控制重力传感器停止采集重力；

接收重力传感器在重力采集指令的接收时间和停止重力采集指令的接收时间之间采集的多个重力值；

根据多个重力值确定重力变化量。

可选地，识别模块503包括：

识别子模块，用于将多张图像和重力变化量作为商品识别模型的输入，通过商品识别模型得到多个商品标识和每个商品标识对应的置信度；

确定子模块，用于根据多个商品标识和每个商品标识对应的置信度，确定商品识别结果。

可选地，确定子模块具体用于：

如果多个商品标识中存在指定商品标识，则将多个商品标识中的指定商品标识进行删除，将指定商品标识对应的置信度进行删除，指定商品标识是指预先设置的自动售货柜中不允许售卖的商品的标识；

根据删除后的商品标识和每个商品标识的置信度，确定商品识别结果。

综上所述，本申请实施例可以获取用户选购商品时的多张图像，并确定自动售货柜内商品的重力变化量，根据该多张图像、重力变化量和商品识别模型来确定商品识别结果。由于用户在将商品拿出柜外时会经过柜门开启侧的柜体边缘，因此，通过在该柜体边缘设置图像采集装置即可以采集到用户手持商品的图像，进而根据采集的图像和重力变化量，通过商品识别模型即可以识别出用户选购的商品，无需在每层货架上方均设置对应的图像采集装置，降低了成本。同时，由于本申请是直接对用户拿取商品的多张图像中用户手持的商品进行识别，而不是通过对比货架上的商品图像的变化来识别商品，因此，降低了对货架上商品的摆放方式以及商品的类型的要求，提高了识别准确率和识别效率。

需要说明的是：上述实施例提供的商品识别装置在进行商品识别时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的商品识别装置与商品识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图6是本申请实施例提供的一种用于进行商品识别的控制设备600的结构示意图。上述图3所示的实施例中的控制设备的功能即可以通过图6中所示的控制设备来实现。该服务器可以是后台服务器集群中的服务器。具体来讲：

处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，其中，，该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的商品识别方法。

在一些实施例中，控制设备600还可选包括有：***设备接口603和至少一个***设备。处理器601、存储器602和***设备接口603之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口603相连。具体地，***设备包括：射频电路604、定位组件605和电源606中的至少一种。

***设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和***设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和***设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它控制设备进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

定位组件605用于定位控制设备600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件605可以是基于美国的GPS(GlobalPositioning System，全球定位***)、中国的北斗***或欧盟的伽利略***的定位组件。

电源606用于为控制设备600中的各个组件进行供电。电源606可以是交流电、直流电、一次性电池或可充电电池。当电源606包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

应当理解的是，上述图6所示的结构并不构成对控制设备600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

另外，本申请实施例不仅提供了一种控制设备，包括处理器和用于存储处理器可执行指令的存储器，其中，处理器被配置为执行图3所示的商品识别方法，而且，本申请实施例还提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，该计算机程序被处理器执行时可以实现图3所示的商品识别方法。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述图3所示实施例提供的商品识别方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种商品识别方法，其特征在于，所述方法包括：

获取多张图像，所述多张图像由设置在自动售货柜的柜体边缘的图像采集装置在所述柜门开启直至所述柜门关闭的过程中采集得到，所述柜体边缘是指柜门开启侧对应的柜体的边缘，所述多张图像中包含有用户手持商品的图像；

确定所述自动售货柜内商品的重力变化量；

根据所述多张图像、所述重力变化量和商品识别模型，确定商品识别结果。

2.根据权利要求1所述的方法，其特征在于，所述获取用户拿取商品时的多张图像，包括：

当监测到所述柜门或所述柜门上的智能锁开启时，向所述图像采集装置发送图像采集指令，所述图像采集指令用于控制所述图像采集装置开启以进行图像采集；

当监测到所述柜门和所述智能锁均关闭时，向所述图像采集装置发送停止采集指令，所述停止采集指令用于控制所述图像采集装置停止采集图像；

接收所述图像采集装置在所述图像采集指令的接收时间和所述停止采集指令的接收时间之间采集的多张图像。

3.根据权利要求1所述的方法，其特征在于，所述确定所述自动售货柜内商品的重力变化量，包括：

当监测到所述柜门或所述柜门上的智能锁开启时，向所述自动售货柜的重力传感器发送重力采集指令，所述重力采集指令用于控制所述重力传感器开启以进行重力采集；

当监测到所述柜门和所述智能锁均关闭时，向所述重力传感器发送停止重力采集指令，所述停止重力采集指令用于控制所述重力传感器停止采集重力；

接收所述重力传感器在所述重力采集指令的接收时间和所述停止重力采集指令的接收时间之间采集的多个重力值；

根据所述多个重力值确定所述重力变化量。

4.根据权利要求1-3任一所述的方法，其特征在于，所述根据所述多张图像、所述重力变化量和商品识别模型，确定商品识别结果，包括：

将所述多张图像和所述重力变化量作为所述商品识别模型的输入，通过所述商品识别模型得到多个商品标识和每个商品标识对应的置信度；

根据所述多个商品标识和每个商品标识对应的置信度，确定所述商品识别结果。

5.根据权利要求4所述的方法，其特征在于，所述根据所述多个商品标识和每个商品标识对应的置信度，确定所述商品识别结果，包括：

如果所述多个商品标识中存在指定商品标识，则将所述多个商品标识中的指定商品标识进行删除，将所述指定商品标识对应的置信度进行删除，所述指定商品标识是指预先设置的所述自动售货柜中不允许售卖的商品的标识；

根据删除后的商品标识和每个商品标识的置信度，确定所述商品识别结果。

6.一种商品识别装置，其特征在于，所述装置包括：

获取模块，用于获取多张图像，所述多张图像由设置在自动售货柜的柜体边缘的图像采集装置在所述柜门开启直至所述柜门关闭的过程中采集得到，所述柜体边缘是指柜门开启侧对应的柜体的边缘，所述多张图像中包含有用户手持商品的图像；

确定模块，用于确定所述自动售货柜内商品的重力变化量；

识别模块，用于根据所述多张图像、所述重力变化量和商品识别模型，确定商品识别结果。

7.根据权利要求6所述的装置，其特征在于，所述获取模块具体用于：

当监测到所述柜门或所述柜门上的智能锁开启时，向所述图像采集装置发送图像采集指令，所述图像采集指令用于控制所述图像采集装置开启以进行图像采集；

当监测到所述柜门和所述智能锁均关闭时，向所述图像采集装置发送停止采集指令，所述停止采集指令用于控制所述图像采集装置停止采集图像；

接收所述图像采集装置在所述图像采集指令的接收时间和所述停止采集指令的接收时间之间采集的多张图像。

8.根据权利要6所述的装置，其特征在于，所述确定模块具体用于：

当监测到所述柜门或所述柜门上的智能锁开启时，向所述自动售货柜的重力传感器发送重力采集指令，所述重力采集指令用于控制所述重力传感器开启以进行重力采集；

当监测到所述柜门和所述智能锁均关闭时，向所述重力传感器发送停止重力采集指令，所述停止重力采集指令用于控制所述重力传感器停止采集重力；

接收所述重力传感器在所述重力采集指令的接收时间和所述停止重力采集指令的接收时间之间采集的多个重力值；

根据所述多个重力值确定所述重力变化量。

9.根据权利要求6-8任一所述的装置，其特征在于，所述识别模块包括：

识别子模块，用于将所述多张图像和所述重力变化量作为所述商品识别模型的输入，通过所述商品识别模型得到多个商品标识和每个商品标识对应的置信度；

确定子模块，用于根据所述多个商品标识和每个商品标识对应的置信度，确定所述商品识别结果。

10.根据权利要求9所述的装置，其特征在于，所述确定子模块具体用于：

如果所述多个商品标识中存在指定商品标识，则将所述多个商品标识中的指定商品标识进行删除，将所述指定商品标识对应的置信度进行删除，所述指定商品标识是指预先设置的所述自动售货柜中不允许售卖的商品的标识；

根据删除后的商品标识和每个商品标识的置信度，确定所述商品识别结果。

Images