CN111783528A - 监控货架上的物品的方法、计算机和*** - Google Patents

监控货架上的物品的方法、计算机和*** Download PDF

Info

Publication number
CN111783528A
CN111783528A CN202010443796.3A CN202010443796A CN111783528A CN 111783528 A CN111783528 A CN 111783528A CN 202010443796 A CN202010443796 A CN 202010443796A CN 111783528 A CN111783528 A CN 111783528A
Authority
CN
China
Prior art keywords
image
shelf
monitoring
items
monitoring image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010443796.3A
Other languages
English (en)
Other versions
CN111783528B (zh
Inventor
王璟璟
吴江旭
胡淼枫
聂铭君
马事伟
张然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202010443796.3A priority Critical patent/CN111783528B/zh
Publication of CN111783528A publication Critical patent/CN111783528A/zh
Priority to PCT/CN2021/088992 priority patent/WO2021233058A1/zh
Application granted granted Critical
Publication of CN111783528B publication Critical patent/CN111783528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

本公开提出一种监控货架上的物品的方法、计算机和***，涉及计算机技术领域。该方法通过获取不同时间拍摄的货架的监控图像，识别每个监控图像中的物品，并对不同时间的各监控图像的变化进行检测，根据识别的每个监控图像中的物品以及检测的不同时间的各监控图像的变化，及时和准确地确定该货架上的物品的变化情况，方便工作人员及时和准确地对货架上的物品进行管理。

Description

监控货架上的物品的方法、计算机和***
技术领域
本公开涉及计算机技术领域，特别涉及一种监控货架上的物品的方法、计算机和***。
背景技术
商场的货架上摆放很多物品，用户从货架上选择欲购买的物品，还可以将不欲购买的物品放回货架。物品被用户拿走后，货架上就会出现缺少物品的情况，需要补充物品。商场的工作人员会盘点货架上的物品，补充缺少的物品，将位置错误的物品摆放到正确的位置。
发明内容
发明人发现，基于人工经验的货架物品的管理方式，工作人员常常不能及时发现需要补充的物品和摆放错误的物品，造成货架物品的管理时效性差、准确性低。
本公开实施例提出一种基于图像监控技术实现的货架物品的管理方案，其通过获取不同时间拍摄的货架的监控图像，识别每个监控图像中的物品，并对不同时间的各监控图像的变化进行检测，根据识别的每个监控图像中的物品以及检测的不同时间的各监控图像的变化，就可以及时和准确地确定该货架上的物品的变化情况，方便工作人员及时和准确地对货架上的物品进行管理。
本公开一些实施例提出一种监控货架上的物品的方法，包括：
获取不同时间拍摄的货架的第一监控图像和第二监控图像；
识别所述第一监控图像中的各个物品；
识别所述第二监控图像中的各个物品；
对所述第一监控图像和所述第二监控图像的变化进行检测；
根据识别的所述第一监控图像中的各个物品和所述第二监控图像中的各个物品和检测的所述第一监控图像和所述第二监控图像的变化，确定所述货架上的物品的变化情况。
在一些实施例中，确定所述货架上的物品的变化情况包括：
如果识别的所述第一监控图像中第一位置处的物品与所述第二监控图像中第一位置处的物品相同，并且所述第一监控图像中第一位置处的图像和所述第二监控图像中第一位置处的图像有变化，确定所述货架上第一位置处的物品的数量发生变化；
或者，如果识别的所述第一监控图像中第二位置处的物品与所述第二监控图像中第二位置处的物品不同，确定所述货架上第二位置处的物品的种类发生变化；
或者，如果识别的所述第一监控图像和所述第二监控图像中较早拍摄的监控图像中第三位置处无物品，并且较晚拍摄的监控图像中第三位置处有物品，确定所述货架上第三位置处补充了物品；
或者，如果识别的所述第一监控图像和所述第二监控图像中较早拍摄的监控图像中第四位置处有物品，并且较晚拍摄的监控图像中第四位置处无物品，确定所述货架上第四位置处缺少了物品。
在一些实施例中，确定所述货架上第一位置处的物品的数量发生变化包括：
获取所述第一监控图像中第一位置处的图像的亮度信息和所述第二监控图像中第一位置处的图像的亮度信息；
如果所述第一监控图像和所述第二监控图像中较早拍摄的监控图像中第一位置处的图像的亮度大于较晚拍摄的监控图像中第一位置处的图像的亮度，确定所述货架上第一位置处的物品的数量减少；
如果所述第一监控图像和所述第二监控图像中较晚拍摄的监控图像中第一位置处的图像的亮度大于较早拍摄的监控图像中第一位置处的图像的亮度，确定所述货架上第一位置处的物品的数量增加。
在一些实施例中，确定所述货架上第一位置处的物品的数量发生变化包括：
获取所述第一监控图像中第一位置处的图像的特征点数量和所述第二监控图像中第一位置处的图像的特征点数量；
如果所述第一监控图像和所述第二监控图像中较早拍摄的监控图像中第一位置处的图像的特征点数量大于较晚拍摄的监控图像中第一位置处的图像的特征点数量，确定所述货架上第一位置处的物品的数量减少；
如果所述第一监控图像和所述第二监控图像中较晚拍摄的监控图像中第一位置处的图像的特征点数量大于较早拍摄的监控图像中第一位置处的图像的特征点数量，确定所述货架上第一位置处的物品的数量增加。
在一些实施例中，利用变化检测模型对所述第一监控图像和所述第二监控图像的变化进行检测；
所述变化检测模型包括依次级联的卷积网络和反卷积网络，
所述卷积网络包括依次级联的多个处理模块和中间卷积层，每个处理模块包括依次级联的第一卷积层和池化层；
所述反卷积网络包括依次级联的多个反处理模块，每个反处理模块包括依次级联的反卷积层和第二卷积层，所述第二卷积层配置为对与所述第二卷积层级联的反卷积层的输出和与所述第二卷积层的通道数量相同的第一卷积层所属处理模块的输出的叠加数据进行卷积处理。
在一些实施例中，识别所述第一监控图像或所述第二监控图像中的各个物品包括：
确定所述第一监控图像或所述第二监控图像中物品的检测框；
比较所述检测框的图像特征与数据库中的各个物品的图像特征；
将与所述检测框的图像特征匹配的数据库中的相应物品确定为所述检测框中的物品。
在一些实施例中，确定检测框包括：基于标定的监控图像中的货架的区域和货架的隔板的位置，确定所述第一监控图像或所述第二监控图像中位于货架的隔板上的物品的检测框。
在一些实施例中，还包括：在获取第一监控图像和第二监控图像之后，对所述第一监控图像和所述第二监控图像进行分类，当分类结果表明所述第一监控图像和所述第二监控图像符合预设要求时，再执行识别所述第一监控图像和所述第二监控图像中的各个物品。
在一些实施例中，还包括：
如果所述货架上第一位置处的物品的数量减少，发出第一位置处的物品需要补充的提示；
或者，如果所述货架上第一位置处的物品的数量增加，发出第一位置处的物品已经补充的提示；
或者，如果所述货架上第二位置处的物品的种类发生变化，发出第二位置处的物品摆放错误的提示；
或者，如果所述货架上第三位置处补充了物品，发出第三位置处的物品已经补充的提示；
或者，如果所述货架上第四位置处缺少了物品，发出第四位置处的物品需要补充的提示。
本公开一些实施例提出一种监控货架上的物品的计算机，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行任一个实施例所述的监控货架上的物品的方法。
本公开一些实施例提出一种监控货架上的物品的***，包括：
监控货架上的物品的计算机；以及
摄像装置，被配置为定期拍摄货架的监控图像，并传输给所述计算机。
本公开一些实施例提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一个实施例所述的监控货架上的物品的方法的步骤。
附图说明
下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。根据下面参照附图的详细描述，可以更加清楚地理解本公开。
显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开一些实施例的监控货架上的物品的方法的流程示意图。
图2示出了本公开一些实施例的摄像头的安装位置示意图。
图3示出了本公开一些实施例的变化检测模型的示意图。
图4示出本公开一些实施例的监控货架上的物品的计算机的示意图。
图5示出本公开一些实施例的监控货架上的物品的***的示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
图1示出本公开一些实施例的监控货架上的物品的方法的流程示意图。
如图1所示，该实施例的方法包括：
在步骤110，摄像装置定期拍摄货架的监控图像，并传输给监控货架上的物品的计算机(简称计算机)。
下面列举摄像装置一些示例性的参数，但不限于所举示例。分辨率例如在500万像素以上，1080逐行扫描(Progressive scanning)。焦距例如为2.8mm(毫米)或4mm，相应的拍摄距离为0.5m到1.5m之间。拍摄模式例如支持RTSP(Real Time Streaming Protocol，实时流传输协议)流，RTMP(Real Time Messaging Protocol，实时消息传输协议)流和定时拍摄功能。拍摄间隔可以通过拍摄时间段和拍摄频率设置，例如，每天早9:00到晚9:00,每隔设定时间(如10分钟)拍摄一次。供电方式例如可以是电池供电，供电时间在三个月以上。网络连接方式例如可以是wifi(Wireless Fidelity)连接或者移动通信卡(如***移动通信卡)连接。安装方式例如可以是摄像头和电池分体安装，其摄像头可以用子母带粘贴在货架的适当位置，电池用线与摄像头连接，也可以摄像头和电池连体安装，二者合为一体，固定在货架支撑板下面。
图2示出了本公开一些实施例的摄像头的安装位置示意图。图中示出2列货架，摄像装置200固定在左侧货架上，用来拍摄右侧货架的监控图像。
在步骤120，计算机获取摄像装置不同时间拍摄的货架的各个监控图像，识别每个监控图像中的物品。
例如，针对不同时间拍摄的货架的第一监控图像和第二监控图像，计算机识别该第一监控图像中的各个物品，识别该第二监控图像中的各个物品。
在一些实施例中，在获取监控图像之后，计算机对该监控图像进行分类，当分类结果表明该监控图像符合预设要求时，再执行识别该监控图像中的各个物品的操作。
其中，计算机可以利用图像分类模型对监控图像进行分类，例如，分类为正常、过亮、过暗、倾斜、模糊、图像存在遮挡物体等，针对分类为正常的监控图像，执行识别该监控图像中的各个物品的操作，针对其他类别，不执行识别该监控图像中的各个物品的操作。从而，过滤由于成像质量(如图像过暗、过亮、图像倾斜严重、图像模糊)、环境干扰(如图像中货架被人、购物车等其他物体遮挡)等造成的不符合要求的监控图像，提高物品识别的准确性。
其中，图像分类模型例如可以利用训练图像对resnet-50等卷积神经网络进行训练得到，训练用的损失函数为用于多分类任务的交叉熵，然后利用梯度下降的方法迭代更新卷积神经网络的参数，直至满足预设的训练终止条件，如迭代达到一定的次数，或者，损失的变化小于预设值。
第一监控图像和第二监控图像的其中一个是基准图，另一个是待检测图。通常可以将货架上的物品陈列标准且完整时拍摄的货架的监控图像作为基准图。例如，商城运营时间是每天早9:00到晚9:00，可以将早9:00货架上的物品陈列标准且完整时拍摄的货架的监控图像作为基准图，将早9:00以后每隔10分钟拍摄的货架的监控图像作为各个待检测图。
在一些实施例中，计算机识别监控图像(如第一监控图像或第二监控图像等)中的各个物品的方法包括：
在步骤121，确定监控图像中物品的检测框。
在拍摄的监控图像中，除了货架之外可能还会存在其他背景，分析时会造成计算误差，因此，通过标定货架的区域，可以确定图像中哪些区域是货架图像。在摄像装置固定好后，在监控图像上人工标定货架的区域，即在监控图像上用矩形框标记出货架区域，并记录矩形框的坐标。为了确定物品在货架上的位置，需要知道货架的隔板的位置。在摄像装置固定好后，在监控图像上人工标定货架的隔板的位置，即在监控图像的货架区域中用直线段标记出货架的隔板，并记录直线段的端点坐标。基于标定的监控图像中的货架的区域和货架的隔板的位置，确定监控图像中位于货架的隔板上的物品的检测框。
例如，将监控图像输入单阶段目标检测模型，如YOLO(You only look once)、SSD(Single Shot MultiBox Detector，单次多盒检测器)等，单阶段目标检测模型输出监控图像中所有物品的检测框的信息，如检测框的位置、大小等信息。
在步骤122，比较该检测框的图像特征与数据库中的各个物品的图像特征，将与该检测框的图像特征匹配的数据库中的相应物品确定为该检测框中的物品。
采集每个已知物品的一个或多个图像，利用特征提取模型提取这些图像的特征，将已知物品的标识以及该已知物品的图像特征保存到数据库。利用特征提取模型提取检测框的图像特征。计算检测框的图像特征与数据库中的每个物品的图像特征之间的距离，该距离例如可以是欧式距离，当最小距离小于预设阈值后，将与该检测框距离最小的数据库中的物品确定为检测框中的物品。其中，物品的标识例如可以是物品的库存保有单位(Stock keeping Unit，SKU)，SKU是对每一个物品的唯一标识。其中，特征提取模型例如可以利用训练图像对resnet-50等卷积神经网络进行训练得到，训练用的损失函数为三元中心损失(triplet-center loss，TCL)函数，即三元损失(triplet loss)函数与中心损失(center loss)函数之和，然后利用梯度下降的方法迭代更新卷积神经网络的参数，直至满足预设的训练终止条件，如迭代达到一定的次数，或者，损失的变化小于预设值。训练好的卷积神经网络即为特征提取模型。将一张图像输入特征提取模型，就可以输出该图像相应的特征，特征维度例如为256。
数据库中存储的信息如下表所示：
序号 SKU 特征向量 时间戳
0 10242674 [0.32，0.52，0.01…] 2020.02.14
1 10242674 [0.12，0.35，0.04…] 2020.02.14
2 264951002 [0.08，0.03，0.81…] 2020.01.01
在步骤130，针对不同时间拍摄的货架的第一监控图像和第二监控图像，计算机对该第一监控图像和该第二监控图像的变化进行检测。
在一些实施例中，利用变化检测模型对该第一监控图像和该第二监控图像的变化进行检测。将该第一监控图像和该第二监控图像叠加(或者说，拼接)后输入变化检测模型，输出与输入图像大小一致的输出图像，输出图像是表示该第一监控图像和该第二监控图像的变化的图像。该第一监控图像和该第二监控图像的变化包括：该第一监控图像和该第二监控图像中相同位置处的图像没有变化(如图3中空白圆圈所示)和该第一监控图像和该第二监控图像中相同位置处的图像有变化，其中。该第一监控图像和该第二监控图像中相同位置处的图像有变化可进一步细化为：该第一监控图像和该第二监控图像中相同位置处的物品图像消失(如图3中带点的圆圈所示)或物品图像变化(如图3中带斜线的圆圈所示)。
其中，变化检测模型包括依次级联的卷积网络和反卷积网络；该卷积网络包括依次级联的多个处理模块和中间卷积层，每个处理模块包括依次级联的第一卷积层和池化(pooling)层；该反卷积网络包括依次级联的多个反处理模块，每个反处理模块包括依次级联的反卷积层和第二卷积层，该第二卷积层配置为对与该第二卷积层级联的反卷积层的输出和与该第二卷积层的通道数量相同的第一卷积层所属处理模块的输出的叠加数据(或者说，拼接数据)进行卷积处理。
图3示出了本公开一些实施例的变化检测模型的示意图。图3中的变化检测模型300包括4个处理模块311，312，313，314，中间卷积层320，4个反处理模块331，332，333，334，其中，每个处理模块311，312，313，314包括第一卷积层和池化层，每个反处理模块331，332，333，334包括反卷积层和第二卷积层。处理模块311，312，313，314中的第一卷积层均是3×3卷积核，通道数依次为：64、128、256、512，中间卷积层320的为通道数为1024，反处理模块331，332，333，334中的第二卷积层均是3×3卷积核，通道数依次为512、256、128、64。
在步骤140，计算机根据识别的该第一监控图像中的各个物品和该第二监控图像中的各个物品和检测的该第一监控图像和该第二监控图像的变化，确定该货架上的物品的变化情况。
在一些实施例中，确定该货架上的物品的变化情况的方法包括：
如果识别的该第一监控图像中第一位置处的物品与该第二监控图像中第一位置处的物品相同，并且该第一监控图像中第一位置处的图像和该第二监控图像中第一位置处的图像有变化，确定该货架上第一位置处的物品的数量发生变化；
或者，如果识别的该第一监控图像中第二位置处的物品与该第二监控图像中第二位置处的物品不同，确定该货架上第二位置处的物品的种类发生变化；
或者，如果识别的该第一监控图像和该第二监控图像中较早拍摄的监控图像中第三位置处无物品，并且较晚拍摄的监控图像中第三位置处有物品，确定该货架上第三位置处补充了物品；
或者，如果识别的该第一监控图像和该第二监控图像中较早拍摄的监控图像中第四位置处有物品，并且较晚拍摄的监控图像中第四位置处无物品，确定该货架上第四位置处缺少了物品。
在一些实施例中，确定该货架上第一位置处的物品的数量发生何种变化的方法包括：获取该第一监控图像中第一位置处的图像的亮度信息(如第一监控图像中第一位置的区域内的图像像素的亮度均值)和该第二监控图像中第一位置处的图像的亮度信息(如第二监控图像中第一位置的区域内的图像像素的亮度均值)；如果该第一监控图像和该第二监控图像中较早拍摄的监控图像中第一位置处的图像的亮度大于较晚拍摄的监控图像中第一位置处的图像的亮度，确定该货架上第一位置处的物品的数量减少；如果该第一监控图像和该第二监控图像中较晚拍摄的监控图像中第一位置处的图像的亮度大于较早拍摄的监控图像中第一位置处的图像的亮度，确定该货架上第一位置处的物品的数量增加。
在另一些实施例中，确定该货架上第一位置处的物品的数量发生何种变化的方法包括：获取该第一监控图像中第一位置处的图像的特征点数量和该第二监控图像中第一位置处的图像的特征点数量；如果该第一监控图像和该第二监控图像中较早拍摄的监控图像中第一位置处的图像的特征点数量大于较晚拍摄的监控图像中第一位置处的图像的特征点数量，确定该货架上第一位置处的物品的数量减少；如果该第一监控图像和该第二监控图像中较晚拍摄的监控图像中第一位置处的图像的特征点数量大于较早拍摄的监控图像中第一位置处的图像的特征点数量，确定该货架上第一位置处的物品的数量增加。其中，特征点例如为ORB(Oriented FAST and Rotated BRIEF)算法提取的特征点。ORB算法是一种快速特征点提取和描述的算法。ORB算法分为两部分，分别是特征点提取和特征点描述。特征提取是由FAST(features from accelerated segment test，加速分段测试提取特征)算法发展来的，特征点描述是根据BRIEF(Binary Robust Independent ElementaryFeatures，二元鲁棒独立基本特征)特征描述算法改进的。
如果该货架上第一位置处的物品的数量减少，发出第一位置处的物品需要补充的提示；或者，如果该货架上第一位置处的物品的数量增加，发出第一位置处的物品已经补充的提示；或者，如果该货架上第二位置处的物品的种类发生变化，发出第二位置处的物品摆放错误的提示；或者，如果该货架上第三位置处补充了物品，发出第三位置处的物品已经补充的提示；或者，如果该货架上第四位置处缺少了物品，发出第四位置处的物品需要补充的提示。
上述确定该货架上的物品的变化情况的示例可以参考如下表格，其中，变化检测是指两个监控图像中相同位置处的物品图像变化情况。
Figure BDA0002505048820000111
上述货架上的物品的变化情况对应的业务含义如下：
假设t1时刻的监控图像显示货架上某位置摆放了物品Sku1，随后的t2时刻的监控图像显示货架上该位置处没有物品，说明该位置处的物品卖光了，需要补充物品，可以发出Sku1需要补充的提示。
假设t1时刻的监控图像显示货架上某位置处没有物品，随后的t2时刻的监控图像显示货架上该位置处摆放了物品Sku2，说明该位置处补充了物品，可以发出Sku2已经补充的提示。
假设t1时刻和随后的t2时刻的监控图像均显示货架上某位置处摆放了物品Sku3，但是，t2时刻的监控图像相对于t1时刻的监控图像该位置处的图像的亮度或/和特征点数量降低20％，说明物品Sku3卖出去一部分，还有一部分未卖出，此时，可以发出Sku3需要补充的提示，也可以等Sku3全部卖光后再发出Sku3需要补充的提示。
假设t1时刻和随后的t2时刻的监控图像均显示货架上某位置处摆放了物品Sku4，但是，t2时刻的监控图像相对于t1时刻的监控图像该位置处的图像的亮度或/和特征点数量升高20％，说明补充了物品Sku4，可以发出Sku4已经补充的提示。
假设t1时刻的监控图像显示货架上某位置处摆放了物品Sku5，随后的t2时刻的监控图像显示货架上该位置处摆放了物品Sku6，说明Sku6未放回到原位置，发出Sku6摆放错误的提示。
假设t1时刻和随后的t2时刻的监控图像均显示货架上某位置处摆放了物品Sku7，且变化检测发现物品图像无变化，说明Sku7一直是原始状态，没有人购买。
在一些实施例中，在货架对面安装小型无线摄像装置，拍摄角度对准货架。摄像装置固定后，调整拍摄图像的亮度，分辨率等，调整好，在监控图像中用矩形框标注出货架的区域，用直线段标注出货架的隔板。设定拍摄间隔，如每10分钟拍摄并上传一张监控图像。设定工作时间，如8：00～22：00，其余时间休眠。计算机接收摄像装置传来的各个监控图像，将8：00拍摄的监控图像作为基准图，将8：00后各个时间点拍摄的监控图像作为待检测图，识别每个监控图像中的物品，并比较每个待检测图相对于基准图的变化，根据识别的每个监控图像中的物品和检测的每个待检测图相对于基准图的变化，利用步骤140描述的策略，实时地确定该货架上的物品的变化情况，并发出相应的提示。一个示例性的某商场的监控数据例如为：
Figure BDA0002505048820000131
上述基于图像监控技术实现的货架物品的管理方案，其通过获取不同时间拍摄的货架的监控图像，识别每个监控图像中的物品，并对不同时间的各监控图像的变化进行检测，根据识别的每个监控图像中的物品以及检测的不同时间的各监控图像的变化，就可以及时和准确地确定该货架上的物品的变化情况，方便工作人员及时和准确地对货架上的物品进行管理。
图4示出本公开一些实施例的监控货架上的物品的计算机的示意图。
如图4所示，该实施例的计算机400包括：存储器410以及耦接至该存储器410的处理器420，处理器420被配置为基于存储在存储器410中的指令，执行前述任意一些实施例中的监控货架上的物品的方法。
其中，存储器410例如可以包括***存储器、固定非易失性存储介质等。***存储器例如存储有操作***、应用程序、引导装载程序(Boot Loader)以及其他程序等。
计算机400还可以包括输入输出接口430、网络接口440、存储接口450等。这些接口430，440，450以及存储器410和处理器420之间例如可以通过总线460连接。其中，输入输出接口430为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口440为各种联网设备提供连接接口。存储接口450为SD卡、U盘等外置存储设备提供连接接口。
图5示出本公开一些实施例的监控货架上的物品的***的示意图。
如图5所示，该实施例的***500包括监控货架上的物品的计算机400以及一个或多个摄像装置200。
摄像装置200，被配置为定期拍摄货架的监控图像，并传输给该计算机400。
计算机400，被配置为基于接收的监控图像，执行前述任意一些实施例中的监控货架上的物品的方法。
本公开一些实施例还提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任意一些实施例中的监控货架上的物品的方法的步骤。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、***、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机程序代码的非瞬时性计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (12)

1.一种监控货架上的物品的方法，其特征在于，包括：
获取不同时间拍摄的货架的第一监控图像和第二监控图像；
识别所述第一监控图像中的各个物品；
识别所述第二监控图像中的各个物品；
对所述第一监控图像和所述第二监控图像的变化进行检测；
根据识别的所述第一监控图像中的各个物品和所述第二监控图像中的各个物品和检测的所述第一监控图像和所述第二监控图像的变化，确定所述货架上的物品的变化情况。
2.根据权利要求1所述的方法，其特征在于，确定所述货架上的物品的变化情况包括：
如果识别的所述第一监控图像中第一位置处的物品与所述第二监控图像中第一位置处的物品相同，并且所述第一监控图像中第一位置处的图像和所述第二监控图像中第一位置处的图像有变化，确定所述货架上第一位置处的物品的数量发生变化；
或者，如果识别的所述第一监控图像中第二位置处的物品与所述第二监控图像中第二位置处的物品不同，确定所述货架上第二位置处的物品的种类发生变化；
或者，如果识别的所述第一监控图像和所述第二监控图像中较早拍摄的监控图像中第三位置处无物品，并且较晚拍摄的监控图像中第三位置处有物品，确定所述货架上第三位置处补充了物品；
或者，如果识别的所述第一监控图像和所述第二监控图像中较早拍摄的监控图像中第四位置处有物品，并且较晚拍摄的监控图像中第四位置处无物品，确定所述货架上第四位置处缺少了物品。
3.根据权利要求2所述的方法，其特征在于，确定所述货架上第一位置处的物品的数量发生变化包括：
获取所述第一监控图像中第一位置处的图像的亮度信息和所述第二监控图像中第一位置处的图像的亮度信息；
如果所述第一监控图像和所述第二监控图像中较早拍摄的监控图像中第一位置处的图像的亮度大于较晚拍摄的监控图像中第一位置处的图像的亮度，确定所述货架上第一位置处的物品的数量减少；
如果所述第一监控图像和所述第二监控图像中较晚拍摄的监控图像中第一位置处的图像的亮度大于较早拍摄的监控图像中第一位置处的图像的亮度，确定所述货架上第一位置处的物品的数量增加。
4.根据权利要求2所述的方法，其特征在于，确定所述货架上第一位置处的物品的数量发生变化包括：
获取所述第一监控图像中第一位置处的图像的特征点数量和所述第二监控图像中第一位置处的图像的特征点数量；
如果所述第一监控图像和所述第二监控图像中较早拍摄的监控图像中第一位置处的图像的特征点数量大于较晚拍摄的监控图像中第一位置处的图像的特征点数量，确定所述货架上第一位置处的物品的数量减少；
如果所述第一监控图像和所述第二监控图像中较晚拍摄的监控图像中第一位置处的图像的特征点数量大于较早拍摄的监控图像中第一位置处的图像的特征点数量，确定所述货架上第一位置处的物品的数量增加。
5.根据权利要求1所述的方法，其特征在于，利用变化检测模型对所述第一监控图像和所述第二监控图像的变化进行检测；
所述变化检测模型包括依次级联的卷积网络和反卷积网络，
所述卷积网络包括依次级联的多个处理模块和中间卷积层，每个处理模块包括依次级联的第一卷积层和池化层；
所述反卷积网络包括依次级联的多个反处理模块，每个反处理模块包括依次级联的反卷积层和第二卷积层，所述第二卷积层配置为对与所述第二卷积层级联的反卷积层的输出和与所述第二卷积层的通道数量相同的第一卷积层所属处理模块的输出的叠加数据进行卷积处理。
6.根据权利要求1所述的方法，其特征在于，识别所述第一监控图像或所述第二监控图像中的各个物品包括：
确定所述第一监控图像或所述第二监控图像中物品的检测框；
比较所述检测框的图像特征与数据库中的各个物品的图像特征；
将与所述检测框的图像特征匹配的数据库中的相应物品确定为所述检测框中的物品。
7.根据权利要求6所述的方法，其特征在于，确定检测框包括：
基于标定的监控图像中的货架的区域和货架的隔板的位置，确定所述第一监控图像或所述第二监控图像中位于货架的隔板上的物品的检测框。
8.根据权利要求1所述的方法，其特征在于，还包括：
在获取第一监控图像和第二监控图像之后，对所述第一监控图像和所述第二监控图像进行分类，当分类结果表明所述第一监控图像和所述第二监控图像符合预设要求时，再执行识别所述第一监控图像和所述第二监控图像中的各个物品。
9.根据权利要求2所述的方法，其特征在于，还包括：
如果所述货架上第一位置处的物品的数量减少，发出第一位置处的物品需要补充的提示；
或者，如果所述货架上第一位置处的物品的数量增加，发出第一位置处的物品已经补充的提示；
或者，如果所述货架上第二位置处的物品的种类发生变化，发出第二位置处的物品摆放错误的提示；
或者，如果所述货架上第三位置处补充了物品，发出第三位置处的物品已经补充的提示；
或者，如果所述货架上第四位置处缺少了物品，发出第四位置处的物品需要补充的提示。
10.一种监控货架上的物品的计算机，其特征在于，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-9中任一项所述的监控货架上的物品的方法。
11.一种监控货架上的物品的***，其特征在于，包括：
权利要求10所述的监控货架上的物品的计算机；以及
摄像装置，被配置为定期拍摄货架的监控图像，并传输给所述计算机。
12.一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-9中任一项所述的监控货架上的物品的方法的步骤。
CN202010443796.3A 2020-05-22 2020-05-22 监控货架上的物品的方法、计算机和*** Active CN111783528B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010443796.3A CN111783528B (zh) 2020-05-22 2020-05-22 监控货架上的物品的方法、计算机和***
PCT/CN2021/088992 WO2021233058A1 (zh) 2020-05-22 2021-04-22 监控货架上的物品的方法、计算机和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010443796.3A CN111783528B (zh) 2020-05-22 2020-05-22 监控货架上的物品的方法、计算机和***

Publications (2)

Publication Number Publication Date
CN111783528A true CN111783528A (zh) 2020-10-16
CN111783528B CN111783528B (zh) 2022-12-02

Family

ID=72754432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010443796.3A Active CN111783528B (zh) 2020-05-22 2020-05-22 监控货架上的物品的方法、计算机和***

Country Status (2)

Country Link
CN (1) CN111783528B (zh)
WO (1) WO2021233058A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021233058A1 (zh) * 2020-05-22 2021-11-25 北京沃东天骏信息技术有限公司 监控货架上的物品的方法、计算机和***
CN113821674A (zh) * 2021-11-23 2021-12-21 北京中超伟业信息安全技术股份有限公司 一种基于孪生神经网络的智能货物监管方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320379A (zh) * 2018-02-28 2018-07-24 成都果小美网络科技有限公司 基于图像比对的售货方法、装置和无人售货机
CN109726759A (zh) * 2018-12-28 2019-05-07 北京旷视科技有限公司 无人售货方法、装置、***、电子设备及计算机可读介质
CN110472515A (zh) * 2019-07-23 2019-11-19 阿里巴巴集团控股有限公司 货架商品检测方法及***
CN110490516A (zh) * 2019-08-01 2019-11-22 广州织点智能科技有限公司 一种无人便利店货架物品检测方法及装置
US20200021742A1 (en) * 2018-07-10 2020-01-16 Boe Technology Group Co., Ltd. Monitoring method for goods shelf, monitoring system for goods shelf and goods shelf

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140019390A1 (en) * 2012-07-13 2014-01-16 Umami, Co. Apparatus and method for audio fingerprinting
CN108898104A (zh) * 2018-06-29 2018-11-27 北京旷视科技有限公司 一种物品识别方法、装置、***及计算机存储介质
CN110647816B (zh) * 2019-08-26 2022-11-22 合肥工业大学 一种用于货架药品实时监测的目标检测方法
CN111783528B (zh) * 2020-05-22 2022-12-02 北京沃东天骏信息技术有限公司 监控货架上的物品的方法、计算机和***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320379A (zh) * 2018-02-28 2018-07-24 成都果小美网络科技有限公司 基于图像比对的售货方法、装置和无人售货机
US20200021742A1 (en) * 2018-07-10 2020-01-16 Boe Technology Group Co., Ltd. Monitoring method for goods shelf, monitoring system for goods shelf and goods shelf
CN109726759A (zh) * 2018-12-28 2019-05-07 北京旷视科技有限公司 无人售货方法、装置、***、电子设备及计算机可读介质
CN110472515A (zh) * 2019-07-23 2019-11-19 阿里巴巴集团控股有限公司 货架商品检测方法及***
CN110490516A (zh) * 2019-08-01 2019-11-22 广州织点智能科技有限公司 一种无人便利店货架物品检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021233058A1 (zh) * 2020-05-22 2021-11-25 北京沃东天骏信息技术有限公司 监控货架上的物品的方法、计算机和***
CN113821674A (zh) * 2021-11-23 2021-12-21 北京中超伟业信息安全技术股份有限公司 一种基于孪生神经网络的智能货物监管方法及***

Also Published As

Publication number Publication date
CN111783528B (zh) 2022-12-02
WO2021233058A1 (zh) 2021-11-25

Similar Documents

Publication Publication Date Title
CN111246204B (zh) 一种基于相对亮度偏差的脏污检测方法和装置
CN110060237B (zh) 一种故障检测方法、装置、设备及***
CN108683907B (zh) 光学模组像素缺陷检测方法、装置及设备
CN108734162B (zh) 商品图像中目标识别方法、***、设备及存储介质
CN109117824B (zh) 商品的管理方法、装置、电子设备及储存介质
CN111783528B (zh) 监控货架上的物品的方法、计算机和***
US11113841B1 (en) Self-learning three-dimensional boundaries from images
CN112100425B (zh) 基于人工智能的标签标注方法、装置、电子设备及介质
CN110910314B (zh) 一种货架场景图像的拼接方法及装置
CN113111844B (zh) 一种作业姿态评估方法、装置、本地终端及可读存储介质
CN109376631A (zh) 一种基于神经网络的回环检测方法及装置
CN110533654A (zh) 零部件的异常检测方法及装置
CN109829397A (zh) 一种基于图像聚类的视频标注方法、***以及电子设备
CN111369317B (zh) 订单生成方法、装置、电子设备及存储介质
CN110827269A (zh) 农作物生长变化状况检测方法、装置、设备及介质
WO2020183837A1 (ja) 計数システム、計数装置、機械学習装置、計数方法、部品配置方法、および、プログラム
CN111582032A (zh) 行人检测方法、装置、终端设备及存储介质
CN116343228A (zh) 一种水表智能读数方法及***
CN113592390A (zh) 一种基于多传感器融合的仓储数字孪生的方法与***
CN113111801A (zh) 自动售货机的货品校验方法、设备和存储介质
CN111160450A (zh) 一种基于神经网络的果蔬称重方法及储存介质、装置
CN110119675B (zh) 一种产品识别方法和装置
CN110942444A (zh) 物体检测方法和装置
CN114612897A (zh) 一种智能果蔬称重打票方法、装置、电子设备及存储介质
CN109035558B (zh) 一种用于无人售货柜的商品识别算法在线学习***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant