CN108961547A - 一种商品识别方法、无人售货机及计算机可读存储介质 - Google Patents
一种商品识别方法、无人售货机及计算机可读存储介质 Download PDFInfo
- Publication number
- CN108961547A CN108961547A CN201810697456.6A CN201810697456A CN108961547A CN 108961547 A CN108961547 A CN 108961547A CN 201810697456 A CN201810697456 A CN 201810697456A CN 108961547 A CN108961547 A CN 108961547A
- Authority
- CN
- China
- Prior art keywords
- commodity
- image
- user
- type
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F9/00—Details other than those peculiar to special kinds or types of apparatus
- G07F9/002—Vending machines being part of a centrally controlled network of vending machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种商品识别方法、无人售货机及计算机可读存储介质，该方法应用于无人售货机，包括：当检测到无人售货机的门正在关闭时，通过摄像头采集无人售货机门外一定范围内的视频数据；通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置；根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量。实施本发明实施例，可以提高商品识别准确性。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种商品识别方法、无人售货机及计算机可读存储介质。
背景技术
随着人工智能技术的不断发展，无人售货机已逐渐出现在人们生活中，因此，如何识别无人售货机中被用户取走的商品已成为一个亟待解决的技术问题。目前，一种重要的商品识别方法为：当检测到无人售货机的门被关闭时，扫描无人售货机中每个商品上的射频识别(Radio Frequency Identification，RFID)标签，将扫描的RFID标签与存储的RFID标签进行比较，将存储的RFID标签中除扫描的RFID标签之外的标签对应的商品确定为被用户取走的商品。然而，上述方法中由于RFID标签容易损坏，以致商品识别准确性较低。
发明内容
本发明实施例提供一种商品识别方法、无人售货机及计算机可读存储介质，用于提高商品识别准确性。
第一方面提供一种商品识别方法，该方法应用于无人售货机，包括：
当检测到所述无人售货机的门正在关闭时，通过摄像头采集所述无人售货机门外一定范围内的视频数据；
通过训练的目标物体检测模型识别所述视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置；
根据所述图像商品的种类、数量和位置以及所述用户位置确定被用户取走的商品的种类和数量。
第二方面提供一种无人售货机，包括用于执行第一方面提供的商品识别方法的单元。
第三方面提供一种无人售货机，包括处理器、存储器、摄像头和收发器，所述处理器、所述存储器、所述摄像头和所述收发器相互连接，其中，所述摄像头用于采集视频数据，所述收发器用于与电子设备进行通信，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于调用所述程序指令执行第一方面提供的商品识别方法。
第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行第一方面提供的商品识别方法。
第五方面提供了一种应用程序，该应用程序用于在运行时执行第一方面提供的商品识别方法。
本发明实施例中，当检测到无人售货机的门正在关闭时，通过摄像头采集无人售货机门外一定范围内的视频数据，通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置，根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量。先识别出视频数据中图像商品的种类、数量和位置以及用户位置，之后根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量，从而可以排除在图像中但不是被用户取走的商品，因此，可以提高商品识别准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种商品识别方法的流程示意图；
图2是本发明实施例提供的另一种商品识别方法的流程示意图；
图3是本发明实施例提供的一种无人售货机的结构示意图；
图4是本发明实施例提供的另一种无人售货机的结构示意图；
图5是本发明实施例提供的一种图像示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种商品识别方法、无人售货机及计算机可读存储介质，用于提高商品识别准确性。以下分别进行详细说明。
请参阅图1，图1是本发明实施例提供的一种商品识别方法的流程示意图。其中，该商品识别方法应用于无人售货机。如图1所示，该商品识别方法可以包括以下步骤。
101、当检测到无人售货机的门正在关闭时，通过摄像头采集无人售货机门外一定范围内的视频数据。
本实施例中，由于用户在拿取商品后关门的那瞬间依然会停留在无人售货机门外附近的位置，因此，当检测到无人售货机的门正在关闭时，通过摄像头采集无人售货机门外一定范围内的视频数据，可以是通过摄像头采集一定时间段内无人售货机门外一定范围内的视频数据，也可以是通过摄像头采集无人售货机门外一定范围内的K帧视频数据。其中，K是预先设置好的大于1的整数。其中，摄像头可以是一个，也可以是多个，可以设置在无人售货机上，也可以设置在其他地方，但必须与无人售货机之间建立连接关系。当摄像头为多个时，可以将摄像头安装在不同的地方，以便可以同时采集到不同角度的图像。
102、通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置。
本实施例中，通过摄像头采集到无人售货机门外一定范围内的视频数据之后，通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置，即通过训练的目标物体检测模型识别视频数据中的商品种类、每种商品的数量和位置以及用户位置(即用户所在的位置)。此外，为了减少识别的图像数量，以便提高商品识别效率，可以先从视频数据中选取N帧图像，之后通过训练的目标物体检测模型识别N帧图像包括的商品和用户得到图像商品的种类、数量和位置以及用户位置。其中，N为大于1的整数。当只有一个摄像头采集视频数据时，从视频数据中选取N帧图像，可以是间隔一帧选取一帧，也可以是间隔两帧选取一帧，还可以是选取中间的部分帧，还可以是通过其他方式选取。当多个摄像头同时采集视频数据时，多个摄像头采集的视频数据的选取规则可以相同，也可以不同。其中，训练的目标物体检测模型可以为SSD网络模型，也可以为YOLO网络模型，还可以为Faster-rcnn网络模型，还可以为其它能够识别目标物体的模型。
103、根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量。
本实施例中，通过训练的目标物体检测模型识别出视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置之后，根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量，可以先从图像商品中选取位置处于用户位置范围内的商品获得被用户取走的商品。请参阅图5，图5是本发明实施例提供的一种图像示意图。如图5所示，图像中包括一个用户和两罐饮料，一罐饮料被用户拿在手里，而一罐饮料位于用户后方的架子上，用户手上的饮料的位置区域处于用户的位置区域内，因此，该饮料可以被确定为被用户取走的饮料，而位于用户后方的饮料的位置区域处于用户的位置区域外，因此，该饮料被确定为不是被用户取走的饮料。之后根据图像商品的种类和数量确定被用户取走的商品的种类和数量，即根据步骤102中获得的图像商品的种类和数量以及上述获得的被用户取走的商品确定被用户取走的商品的种类和数量。
在图1所描述的商品识别方法中，当检测到无人售货机的门正在关闭时，通过摄像头采集无人售货机门外一定范围内的视频数据，通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置，根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量。先识别出视频数据中图像商品的种类、数量和位置以及用户位置，之后根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量，从而可以排除在图像中但不是被用户取走的商品，因此，可以提高商品识别准确性。
请参阅图2，图2是本发明实施例提供的另一种商品识别方法的流程示意图。其中，该商品识别方法应用于无人售货机。如图2所示，该商品识别方法可以包括以下步骤。
201、采集包括商品图像和用户图像的训练图像。
本实施例中，可以提前采集包括商品图像和用户图像的训练图像，商品图像可以包括所有商品中每种商品不同角度和不同距离的图像，用户图像可以包括用户不同角度和不同距离的图像。
202、标注商品图像中每张图像中商品的位置和种类以及用户图像中每张图像中用户的位置和种类，获得标注信息。
本实施例中，采集到训练图像之后，标注商品图像中每张图像中商品的位置和种类以及用户图像中每张图像中用户的位置和种类得到标注信息。标注商品图像中每张图像中商品的位置以及用户图像中每张图像中用户的位置，可以是标注出每张图像中商品或用户所在左上角的坐标点和右下角的坐标点，也可以是标注出每张图像中商品或用户所在右上角的坐标点和左下角的坐标点。此处用户的种类为用户。
203、将训练图像转换为设定像素的图像，获得转换图像。
本实施例中，采集到训练图像之后，可以将训练图像转换为设定像素的图像得到转换图像，即将训练图像转换为同样高度和宽度的图像，也即全部转换为m*n像素的图像，以便步骤204中对目标物体检测模型进行训练时，可以提高训练速率。其中，步骤202和步骤203可以并行执行，也可以串行执行。
204、使用转换图像和标注信息训练目标物体检测模型，获得训练的目标物体检测模型。
本实施例中，标注出商品图像中每张图像中商品的位置和种类以及用户图像中每张图像中用户的位置和种类得到标注信息，以及将训练图像转换为设定像素的图像得到转换图像之后，将使用转换图像和标注信息训练目标物体检测模型得到训练的目标物体检测模型。目标物体检测模型与训练的目标物体检测模型的模型架构相同，但参数不同。其中，目标物体检测模型与训练的目标物体检测模型可以为SSD网络模型，也可以为YOLO网络模型，还可以为Faster-rcnn网络模型，还可以为其它能够识别目标物体的模型。
在一个实施例中，标注出商品图像中每张图像中商品的位置和种类以及用户图像中每张图像中用户的位置和种类得到标注信息之后，可以直接使用训练图像和标注信息训练目标物体检测模型得到训练的目标物体检测模型，即不执行步骤203。
205、当检测到通过包括无人售货机的标识的二维码与电子设备建立连接时，打开无人售货机的门锁。
本实施例中，正常情况下无人售货机的门锁处于关闭状态，当用户通过手机等电子设备扫描到包括无人售货机的标识的二维码时，电子设备与无人售货机将建立连接，因此，当检测到通过包括无人售货机的标识的二维码与电子设备建立连接时，表明有人需要购买无人售货机中的商品，将打开无人售货机的门锁，以便用户可以拉开无人售货机的门而拿取商品。
206、当检测到无人售货机的门正在关闭时，通过摄像头采集无人售货机门外一定范围内的视频数据。
本实施例中，无人售货机的门打开之后，用户拿到需要的商品之后或用户不需要购买商品时，用户将关闭无人售货机的门。由于用户在拿取商品后关门的那瞬间依然会停留在无人售货机门外附近的位置，因此，当检测到无人售货机的门正在关闭时，通过摄像头采集无人售货机门外一定范围内的视频数据，可以是通过摄像头采集一定时间段内无人售货机门外一定范围内的视频数据，也可以是通过摄像头采集无人售货机门外一定范围内的K帧视频数据。其中，K是预先设置好的大于1的整数。其中，摄像头可以是一个，也可以是多个，可以设置在无人售货机上，也可以设置在其他地方，但必须与无人售货机之间建立连接关系。当摄像头为多个时，可以将摄像头安装在不同的地方，以便可以同时采集到不同角度的图像。
207、通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置。
本实施例中，通过摄像头采集到无人售货机门外一定范围内的视频数据之后，通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置，即通过训练的目标物体检测模型识别视频数据中的商品种类、每种商品的数量和位置以及用户位置(即用户所在的位置)。此外，为了减少识别的图像数量，以便提高商品识别效率，可以先从视频数据中选取N帧图像，之后将N帧图像转换为设定像素的图像得到N帧转换图像，最后通过训练的目标物体检测模型识别N帧转换图像包括的商品和用户得到图像商品的种类、数量和位置以及用户位置。此外，由于N帧转换图像的像素均相同，因此，可以减少训练的目标物体检测模型的识别时间，从而可以进一步提高图像的识别效率。其中，N为大于1的整数。当只有一个摄像头采集视频数据时，从视频数据中选取N帧图像，可以是间隔一帧选取一帧，也可以是间隔两帧选取一帧，还可以是选取中间的部分帧，还可以是通过其他方式选取。当多个摄像头同时采集视频数据时，多个摄像头采集的视频数据的选取规则可以相同，也可以不同。需不需要将N帧图像转换为设定像素的图像，可以根据训练目标物体检测模型的图像而定，当训练目标物体检测模型的图像均为设定像素的图像时，N帧图像也需要进行转换；当训练目标物体检测模型的图像没有统一为设定像素的图像时，N帧图像将不需要进行转换。
208、根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量。
本实施例中，通过训练的目标物体检测模型识别出视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置之后，根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量，可以先从图像商品中选取位置处于用户位置范围内的商品获得被用户取走的商品。请参阅图5，图5是本发明实施例提供的一种图像示意图。如图5所示，图像中包括一个用户和两罐饮料，一罐饮料被用户拿在手里，而一罐饮料位于用户后方的架子上，用户手上的饮料的位置区域处于用户的位置区域内，因此，该饮料可以被确定为被用户取走的饮料，而位于用户后方的饮料的位置区域处于用户的位置区域外，因此，该饮料被确定为不是被用户取走的饮料。之后根据图像商品的种类和数量确定被用户取走的商品的种类和数量，即根据步骤207中获得的图像商品的种类和数量以及上述获得的被用户取走的商品确定被用户取走的商品的种类和数量。
209、根据被用户取走的商品的种类和数量计算被用户取走的商品的商品价格，并通过电子设备扣除商品价格金额。
本实施例中，根据图像商品的种类、数量和位置以及用户位置确定出被用户取走的商品的种类和数量之后，当被用户取走的商品的数量等于0时，表明用户未从无人售货机取走商品将结束。当被用户取走的商品的数量大于0时，表明用户从无人售货机取走了商品，根据被用户取走的商品的种类和数量计算被用户取走的商品的商品价格，并通过电子设备扣除商品价格金额，可以实现自动结算，可以省去用户结算的过程，从而可以提高用户体验。
210、向电子设备发送包括商品价格金额的支付信息。
本实施例中，通过电子设备扣除商品价格金额之后，将向电子设备发送包括商品价格金额的支付信息。
在图2所描述的商品识别方法中，先识别出视频数据中图像商品的种类、数量和位置以及用户位置，之后根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量，从而可以排除在图像中但不是被用户取走的商品，因此，可以提高商品识别准确性。
请参阅图3，图3是本发明实施例提供的一种无人售货机的结构示意图。如图3所示，该无人售货机可以包括：
采集单元301，用于当检测到无人售货机的门正在关闭时，通过摄像头采集无人售货机门外一定范围内的视频数据；
识别单元302，用于通过训练的目标物体检测模型识别采集单元301采集的视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置；
确定单元303，用于根据识别单元302获得的图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量。
作为一种可能的实施方式，确定单元303可以包括：
第一选取子单元3031，用于从识别单元302获得的图像商品中选取位置处于用户位置范围内的商品，获得被用户取走的商品；
确定子单元3032，用于根据识别单元302获得的图像商品的种类和数量确定第一选取子单元3031获得的被用户取走的商品的种类和数量。
作为一种可能的实施方式，采集单元301，具体用于通过摄像头采集一定时间段内无人售货机门外一定范围内的视频数据。
作为一种可能的实施方式，识别单元302可以包括：
第二选取子单元3021，用于从采集单元301采集的视频数据中选取N帧图像，N为大于1的整数；
识别子单元3022，用于通过训练的目标物体检测模型识别选取子单元3021选取的N帧图像包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置。
作为一种可能的实施方式，采集单元301，还用于采集包括商品图像和用户图像的训练图像，商品图像可以包括所有商品中每种商品不同角度和不同距离的图像，用户图像可以包括用户不同角度和不同距离的图像；
该无人售货机还可以包括：
标注单元304，用于标注采集单元301采集的商品图像中每张图像中商品的位置和种类以及用户图像中每张图像中用户的位置和种类，获得标注信息；
训练单元305，用于使用采集单元301采集的训练图像和标注单元304标注的标注信息训练目标物体检测模型，获得训练的目标物体检测模型。
作为一种可能的实施方式，该无人售货机还可以包括：
转换单元306，用于将采集单元301采集的训练图像转换为设定像素的图像，获得转换图像；
训练单元305，具体用于使用转换单元306转换得到的转换图像和标注单元304标注的标注信息训练目标物体检测模型，获得训练的目标物体检测模型。
具体地，识别子单元3022，用于通过训练单元305获得的训练的目标物体检测模型识别N帧图像包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置。
作为一种可能的实施方式，识别单元302还可以包括：
转换子单元3023，用于将选取子单元3021选取的N帧图像转换为设定像素的图像，获得N帧转换图像；
识别子单元3022，具体用于通过训练的目标物体检测模型识别转换子单元3023得到的N帧转换图像包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置。
作为一种可能的实施方式，该无人售货机还可以包括：
检测单元307，用于检测是否通过包括无人售货机的标识的二维码与电子设备建立连接
打开单元308，用于当检测单元307检测到通过包括无人售货机的标识的二维码与电子设备建立连接时，打开无人售货机的门锁。
作为一种可能的实施方式，当被用户取走的商品的数量大于0时，该无人售货机还可以包括：
计算单元309，用于根据确定子单元3032确定的被用户取走的商品的种类和数量计算被用户取走的商品的商品价格；
扣除单元310，用于通过电子设备扣除计算单元309计算的商品价格金额。
作为一种可能的实施方式，该无人售货机还可以包括：
发送单元311，用于向检测单元307检测到的电子设备发送包括扣除单元310扣除的商品价格金额的支付信息。
在图3所描述的无人售货机中，当检测到无人售货机的门正在关闭时，通过摄像头采集无人售货机门外一定范围内的视频数据，通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置，根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量。先识别出视频数据中图像商品的种类、数量和位置以及用户位置，之后根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量，从而可以排除在图像中但不是被用户取走的商品，因此，可以提高商品识别准确性。
可以理解的是，本实施例的无人售货机的单元的功能可根据上述商品识别方法实施例中的方法具体实现，其具体实现过程可以参照上述商品识别方法实施例的相关描述，此处不再赘述。
请参阅图4，图4是本发明实施例公开的另一种无人售货机的结构示意图。如图4所示，该无人售货机可以包括至少一个处理器401、存储器402、至少一个摄像头403、收发器404和总线405，处理器401、存储器402、摄像头403和收发器404之间通过总线405连接，其中：
摄像头403，用于当检测到无人售货机的门正在关闭时，采集无人售货机门外一定范围内的视频数据；
存储器402用于存储计算机程序，计算机程序包括程序指令，处理器401用于调用存储器402存储的程序指令执行以下步骤：
通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置；
根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量。
作为一种可能的实施方式，处理器401根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量包括：
从图像商品中选取位置处于用户位置范围内的商品，获得被用户取走的商品；
根据图像商品的种类和数量确定被用户取走的商品的种类和数量。
作为一种可能的实施方式，摄像头403采集无人售货机门外一定范围内的视频数据包括：
采集一定时间段内无人售货机门外一定范围内的视频数据。
作为一种可能的实施方式，处理器401通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置包括：
从视频数据中选取N帧图像，N为大于1的整数；
通过训练的目标物体检测模型识别N帧图像包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置。
作为一种可能的实施方式，摄像头403，还用于采集包括商品图像和用户图像的训练图像，商品图像可以包括所有商品中每种商品不同角度和不同距离的图像，用户图像可以包括用户不同角度和不同距离的图像；
处理器401还用于调用存储器402存储的程序指令执行以下步骤：
标注商品图像中每张图像中商品的位置和种类以及用户图像中每张图像中用户的位置和种类，获得标注信息；
使用训练图像和标注信息训练目标物体检测模型，获得训练的目标物体检测模型。
作为一种可能的实施方式，处理器401还用于调用存储器402存储的程序指令执行以下步骤：
将训练图像转换为设定像素的图像，获得转换图像；
处理器401使用训练图像和标注信息训练目标物体检测模型，获得训练的目标物体检测模型包括：
使用转换图像和标注信息训练目标物体检测模型，获得训练的目标物体检测模型。
作为一种可能的实施方式，处理器401从视频数据中选取N帧图像之后，处理器401通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置还包括：
将N帧图像转换为设定像素的图像，获得N帧转换图像；
处理器401通过训练的目标物体检测模型识别N帧图像包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置包括：
通过训练的目标物体检测模型识别N帧转换图像包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置。
作为一种可能的实施方式，处理器401还用于调用存储器402存储的程序指令执行以下步骤：
当检测到通过包括无人售货机的标识的二维码与电子设备建立连接时，打开无人售货机的门锁。
作为一种可能的实施方式，当被用户取走的商品的数量大于0时，处理器401还用于调用存储器402存储的程序指令执行以下步骤：
根据被用户取走的商品的种类和数量计算被用户取走的商品的商品价格；
通过电子设备扣除商品价格金额。
作为一种可能的实施方式，收发器404，用于向电子设备发送包括商品价格金额的支付信息。
在图4所描述的无人售货机中，当检测到无人售货机的门正在关闭时，通过摄像头采集无人售货机门外一定范围内的视频数据，通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置，根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量。先识别出视频数据中图像商品的种类、数量和位置以及用户位置，之后根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量，从而可以排除在图像中但不是被用户取走的商品，因此，可以提高商品识别准确性。
在一个实施例中提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时使处理器执行图1或图2的商品识别方法。
在一个实施例中提供了一种应用程序，该应用程序用于在运行时执行图1或图2的商品识别方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。
以上对本发明实施例所提供的商品识别方法、无人售货机及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (13)
1.一种商品识别方法，其特征在于，所述方法应用于无人售货机，包括：
当检测到所述无人售货机的门正在关闭时，通过摄像头采集所述无人售货机门外一定范围内的视频数据；
通过训练的目标物体检测模型识别所述视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置；
根据所述图像商品的种类、数量和位置以及所述用户位置确定被用户取走的商品的种类和数量。
2.根据权利要求1所述的方法，其特征在于，所述根据所述图像商品的种类、数量和位置以及所述用户位置确定被用户取走的商品的种类和数量包括：
从所述图像商品中选取位置处于所述用户位置范围内的商品，获得被用户取走的商品；
根据所述图像商品的种类和数量确定所述被用户取走的商品的种类和数量。
3.根据权利要求2所述的方法，其特征在于，所述通过摄像头采集所述无人售货机门外一定范围内的视频数据包括：
通过摄像头采集一定时间段内所述无人售货机门外一定范围内的视频数据。
4.根据权利要求3所述的方法，其特征在于，所述通过训练的目标物体检测模型识别所述视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置包括：
从所述视频数据中选取N帧图像，所述N为大于1的整数；
通过训练的目标物体检测模型识别所述N帧图像包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
采集包括商品图像和用户图像的训练图像，所述商品图像包括所有商品中每种商品不同角度和不同距离的图像，所述用户图像包括用户不同角度和不同距离的图像；
标注所述商品图像中每张图像中商品的位置和种类以及所述用户图像中每张图像中用户的位置和种类，获得标注信息；
使用所述训练图像和所述标注信息训练目标物体检测模型，获得训练的目标物体检测模型。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
将所述训练图像转换为设定像素的图像，获得转换图像；
所述使用所述训练图像和所述标注信息训练目标物体检测模型，获得训练的目标物体检测模型包括：
使用所述转换图像和所述标注信息训练目标物体检测模型，获得训练的目标物体检测模型。
7.根据权利要求6所述的方法，其特征在于，所述从所述视频数据中选取N帧图像之后，所述通过训练的目标物体检测模型识别所述视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置还包括：
将所述N帧图像转换为所述设定像素的图像，获得N帧转换图像；
所述通过训练的目标物体检测模型识别所述N帧图像包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置包括：
通过训练的目标物体检测模型识别所述N帧转换图像包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置。
8.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
当检测到通过包括所述无人售货机的标识的二维码与电子设备建立连接时，打开所述无人售货机的门锁。
9.根据权利要求8所述的方法，其特征在于，当所述被用户取走的商品的数量大于0时，所述方法还包括：
根据所述被用户取走的商品的种类和数量计算所述被用户取走的商品的商品价格；
通过所述电子设备扣除所述商品价格金额。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
向所述电子设备发送包括所述商品价格金额的支付信息。
11.一种无人售货机，其特征在于，包括用于执行如权利要求1-10任一项权利要求所述的商品识别方法的单元。
12.一种无人售货机，其特征在于，包括处理器、存储器、摄像头和收发器，所述处理器、所述存储器、所述摄像头和所述收发器相互连接，其中，所述摄像头用于采集视频数据，所述收发器用于与电子设备进行通信，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于调用所述程序指令执行如权利要求1-10任一项所述的商品识别方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-10任一项所述的商品识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810697456.6A CN108961547A (zh) | 2018-06-29 | 2018-06-29 | 一种商品识别方法、无人售货机及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810697456.6A CN108961547A (zh) | 2018-06-29 | 2018-06-29 | 一种商品识别方法、无人售货机及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108961547A true CN108961547A (zh) | 2018-12-07 |
Family
ID=64484271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810697456.6A Pending CN108961547A (zh) | 2018-06-29 | 2018-06-29 | 一种商品识别方法、无人售货机及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108961547A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109711472A (zh) * | 2018-12-29 | 2019-05-03 | 北京沃东天骏信息技术有限公司 | 训练数据生成方法和装置 |
| CN109840502A (zh) * | 2019-01-31 | 2019-06-04 | 深兰科技（上海）有限公司 | 一种基于ssd模型进行目标检测的方法及设备 |
| CN109840503A (zh) * | 2019-01-31 | 2019-06-04 | 深兰科技（上海）有限公司 | 一种确定种类信息的方法及装置 |
| CN109919211A (zh) * | 2019-02-26 | 2019-06-21 | 南京旷云科技有限公司 | 商品识别方法、装置、***和计算机可读介质 |
| CN109948515A (zh) * | 2019-03-15 | 2019-06-28 | 百度在线网络技术（北京）有限公司 | 物体的类别识别方法和装置 |
| CN110264522A (zh) * | 2019-06-24 | 2019-09-20 | 北京百度网讯科技有限公司 | 物品操作者的检测方法、装置、设备和存储介质 |
| WO2020143179A1 (zh) * | 2019-01-08 | 2020-07-16 | 虹软科技股份有限公司 | 物品识别方法及***、电子设备 |
| CN113723383A (zh) * | 2021-11-03 | 2021-11-30 | 武汉星巡智能科技有限公司 | 异视角同步识别同区域商品的订单生成方法及智能售货机 |
| CN113935697A (zh) * | 2021-12-15 | 2022-01-14 | 畅捷通信息技术股份有限公司 | 一种自动售货机的备货方法、装置及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204573A (zh) * | 2016-07-07 | 2016-12-07 | Tcl集团股份有限公司 | 一种智能冰箱的食品管理方法及*** |
| CN106952402A (zh) * | 2017-03-22 | 2017-07-14 | 帮团成都电子商务有限责任公司 | 一种数据处理方法及装置 |
| CN107103503A (zh) * | 2017-03-07 | 2017-08-29 | 阿里巴巴集团控股有限公司 | 一种订单信息确定方法和装置 |
| CN107134053A (zh) * | 2017-04-19 | 2017-09-05 | 石道松 | 智能售货门店 |
| CN107146325A (zh) * | 2017-07-13 | 2017-09-08 | 杭州宗盛智能科技有限公司 | 自动售货机及其控制方法、控制装置和*** |
| CN107833361A (zh) * | 2017-09-28 | 2018-03-23 | 中南大学 | 一种基于图像识别的自动售货机掉货检测的方法 |
| CN107862515A (zh) * | 2017-12-25 | 2018-03-30 | 东莞弘驰智能技术有限公司 | 一种售货方法及*** |
| CN108171172A (zh) * | 2017-12-27 | 2018-06-15 | 惠州Tcl家电集团有限公司 | 自助购物方法、自助售卖机及计算机可读存储介质 |
-
2018
- 2018-06-29 CN CN201810697456.6A patent/CN108961547A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204573A (zh) * | 2016-07-07 | 2016-12-07 | Tcl集团股份有限公司 | 一种智能冰箱的食品管理方法及*** |
| CN107103503A (zh) * | 2017-03-07 | 2017-08-29 | 阿里巴巴集团控股有限公司 | 一种订单信息确定方法和装置 |
| CN106952402A (zh) * | 2017-03-22 | 2017-07-14 | 帮团成都电子商务有限责任公司 | 一种数据处理方法及装置 |
| CN107134053A (zh) * | 2017-04-19 | 2017-09-05 | 石道松 | 智能售货门店 |
| CN107146325A (zh) * | 2017-07-13 | 2017-09-08 | 杭州宗盛智能科技有限公司 | 自动售货机及其控制方法、控制装置和*** |
| CN107833361A (zh) * | 2017-09-28 | 2018-03-23 | 中南大学 | 一种基于图像识别的自动售货机掉货检测的方法 |
| CN107862515A (zh) * | 2017-12-25 | 2018-03-30 | 东莞弘驰智能技术有限公司 | 一种售货方法及*** |
| CN108171172A (zh) * | 2017-12-27 | 2018-06-15 | 惠州Tcl家电集团有限公司 | 自助购物方法、自助售卖机及计算机可读存储介质 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109711472A (zh) * | 2018-12-29 | 2019-05-03 | 北京沃东天骏信息技术有限公司 | 训练数据生成方法和装置 |
| WO2020143179A1 (zh) * | 2019-01-08 | 2020-07-16 | 虹软科技股份有限公司 | 物品识别方法及***、电子设备 |
| US11335092B2 (en) | 2019-01-08 | 2022-05-17 | Arcsoft Corporation Limited | Item identification method, system and electronic device |
| CN109840502A (zh) * | 2019-01-31 | 2019-06-04 | 深兰科技（上海）有限公司 | 一种基于ssd模型进行目标检测的方法及设备 |
| CN109840503A (zh) * | 2019-01-31 | 2019-06-04 | 深兰科技（上海）有限公司 | 一种确定种类信息的方法及装置 |
| CN109840503B (zh) * | 2019-01-31 | 2021-02-26 | 深兰科技（上海）有限公司 | 一种确定种类信息的方法及装置 |
| CN109919211A (zh) * | 2019-02-26 | 2019-06-21 | 南京旷云科技有限公司 | 商品识别方法、装置、***和计算机可读介质 |
| CN109948515B (zh) * | 2019-03-15 | 2022-04-15 | 百度在线网络技术（北京）有限公司 | 物体的类别识别方法和装置 |
| CN109948515A (zh) * | 2019-03-15 | 2019-06-28 | 百度在线网络技术（北京）有限公司 | 物体的类别识别方法和装置 |
| CN110264522A (zh) * | 2019-06-24 | 2019-09-20 | 北京百度网讯科技有限公司 | 物品操作者的检测方法、装置、设备和存储介质 |
| CN110264522B (zh) * | 2019-06-24 | 2021-07-13 | 北京百度网讯科技有限公司 | 物品操作者的检测方法、装置、设备和存储介质 |
| CN113723383A (zh) * | 2021-11-03 | 2021-11-30 | 武汉星巡智能科技有限公司 | 异视角同步识别同区域商品的订单生成方法及智能售货机 |
| CN113935697A (zh) * | 2021-12-15 | 2022-01-14 | 畅捷通信息技术股份有限公司 | 一种自动售货机的备货方法、装置及存储介质 |
| CN113935697B (zh) * | 2021-12-15 | 2022-04-08 | 畅捷通信息技术股份有限公司 | 一种自动售货机的备货方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108961547A (zh) | 一种商品识别方法、无人售货机及计算机可读存储介质 | |
| CN109035579A (zh) | 一种商品识别方法、无人售货机及计算机可读存储介质 | |
| CN108985359A (zh) | 一种商品识别方法、无人售货机及计算机可读存储介质 | |
| CN109003390A (zh) | 一种商品识别方法、无人售货机及计算机可读存储介质 | |
| US11151427B2 (en) | Method and apparatus for checkout based on image identification technique of convolutional neural network | |
| US11501614B2 (en) | Skip-scanning identification method, apparatus, and self-service checkout terminal and system | |
| CN109409175A (zh) | 结算方法、装置和*** | |
| CN108416901A (zh) | 智能货柜内货品识别方法及装置、智能货柜 | |
| CN111626201B (zh) | 商品检测方法、装置及可读存储介质 | |
| CN109670452A (zh) | 人脸检测方法、装置、电子设备和人脸检测模型 | |
| CN108345912A (zh) | 一种基于rgbd信息与深度学习的商品快速结算*** | |
| CN109165645A (zh) | 一种图像处理方法、装置以及相关设备 | |
| CN107066978A (zh) | 一种人群信息采集分析方法和*** | |
| CN104166841A (zh) | 一种视频监控网络中指定行人或车辆的快速检测识别方法 | |
| CN108596137A (zh) | 一种基于图像识别算法的商品扫描录入方法 | |
| JP7036401B2 (ja) | 学習用サーバ、不足学習用画像収集支援システム、及び不足学習用画像推定プログラム | |
| CN108830180A (zh) | 电子考勤方法、装置及电子设备 | |
| CN109754009A (zh) | 物品识别方法、装置、售货***和存储介质 | |
| CN112508109B (zh) | 一种图像识别模型的训练方法及装置 | |
| CN108229418A (zh) | 人体关键点检测方法和装置、电子设备、存储介质和程序 | |
| CN110493595A (zh) | 摄像头的检测方法和装置、存储介质及电子装置 | |
| CN111951258A (zh) | 一种基于边缘计算的货架缺货预警分析***及方法 | |
| CN109840503A (zh) | 一种确定种类信息的方法及装置 | |
| CN110458198A (zh) | 多分辨率目标识别方法及装置 | |
| EP3901818A1 (en) | Method and system for analyzing commodities on supermarket shelf |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181207 |