WO2021233058A1 - 监控货架上的物品的方法、计算机和*** - Google Patents

监控货架上的物品的方法、计算机和*** Download PDF

Info

Publication number
WO2021233058A1
WO2021233058A1 PCT/CN2021/088992 CN2021088992W WO2021233058A1 WO 2021233058 A1 WO2021233058 A1 WO 2021233058A1 CN 2021088992 W CN2021088992 W CN 2021088992W WO 2021233058 A1 WO2021233058 A1 WO 2021233058A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
shelf
items
monitoring
item
Prior art date
Application number
PCT/CN2021/088992
Other languages
English (en)
French (fr)
Inventor
王璟璟
吴江旭
胡淼枫
聂铭君
马事伟
张然
Original Assignee
北京沃东天骏信息技术有限公司
北京京东世纪贸易有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京沃东天骏信息技术有限公司, 北京京东世纪贸易有限公司 filed Critical 北京沃东天骏信息技术有限公司
Publication of WO2021233058A1 publication Critical patent/WO2021233058A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present disclosure relates to the field of computer technology, and in particular to a method, computer and system for monitoring items on shelves.
  • the embodiment of the present disclosure proposes a management solution for shelf items based on image monitoring technology. It acquires the monitored images of the shelves taken at different times, identifies the items in each monitored image, and analyzes the changes in each monitored image at different times. For detection, according to the identified items in each monitoring image and the changes in each monitoring image at different times of detection, the changes of the items on the shelf can be determined in a timely and accurate manner, which is convenient for the staff to check the shelf in a timely and accurate manner. The items on the site are managed.
  • Some embodiments of the present disclosure propose a method for monitoring items on a shelf, including:
  • determining the change of items on the shelf includes:
  • the identified item at the first location in the first surveillance image is the same as the item at the first location in the second surveillance image, and the image at the first location in the first surveillance image and the first surveillance image 2. There is a change in the image at the first position in the monitoring image, and it is determined that the number of items at the first position on the shelf has changed;
  • determining that the quantity of items at the first position on the shelf has changed includes:
  • determining that the quantity of items at the first position on the shelf has changed includes:
  • a change detection model is used to detect changes in the first monitoring image and the second monitoring image
  • the change detection model includes a convolutional network and a deconvolutional network that are sequentially cascaded,
  • the convolutional network includes a plurality of processing modules and an intermediate convolutional layer that are sequentially cascaded, and each processing module includes a first convolutional layer and a pooling layer that are sequentially cascaded;
  • the deconvolution network includes a plurality of deconvolution modules cascaded in sequence, each deconvolution module includes a deconvolution layer and a second convolution layer cascaded in sequence, and the second convolution layer is configured to match all The output of the cascaded deconvolution layer of the second convolution layer and the output superimposed data of the processing module to which the first convolution layer belongs to the same number of channels as the second convolution layer are subjected to convolution processing.
  • identifying each item in the first surveillance image or the second surveillance image includes:
  • the corresponding item in the database that matches the image feature of the detection frame is determined as the item in the detection frame.
  • determining the detection frame includes: based on the area of the shelf in the calibrated surveillance image and the position of the shelf of the shelf, determining that the first surveillance image or the second surveillance image is located on the shelf of the shelf The detection frame of the item.
  • the method further includes: after acquiring the first monitoring image and the second monitoring image, classifying the first monitoring image and the second monitoring image, and when the classification result shows that the first monitoring image and the second monitoring image When the second surveillance image meets a preset requirement, the identification of each item in the first surveillance image and the second surveillance image is executed.
  • it further includes:
  • Some embodiments of the present disclosure propose a computer for monitoring items on a shelf, including: a memory; and a processor coupled to the memory, and the processor is configured to execute any task based on instructions stored in the memory.
  • a method for monitoring items on a shelf according to an embodiment.
  • Some embodiments of the present disclosure propose a system for monitoring items on a shelf, including: a computer that monitors the items on the shelf; and a camera device configured to periodically take a monitoring image of the shelf and transmit it to the computer.
  • Some embodiments of the present disclosure propose a non-transitory computer-readable storage medium on which a computer program is stored.
  • the program is executed by a processor, the steps of the method for monitoring items on a shelf described in any of the embodiments are implemented.
  • Fig. 1 shows a schematic flowchart of a method for monitoring items on a shelf according to some embodiments of the present disclosure.
  • Fig. 2 shows a schematic diagram of the installation position of the camera of some embodiments of the present disclosure.
  • Fig. 3 shows a schematic diagram of a change detection model of some embodiments of the present disclosure.
  • FIG. 4 shows a schematic diagram of a computer monitoring items on a shelf according to some embodiments of the present disclosure.
  • FIG. 5 shows a schematic diagram of a system for monitoring items on a shelf according to some embodiments of the present disclosure.
  • Fig. 1 shows a schematic flowchart of a method for monitoring items on a shelf according to some embodiments of the present disclosure.
  • the method of this embodiment includes: steps 110-140.
  • step 110 the camera device periodically captures the monitoring images of the shelves and transmits them to the computer (referred to as the computer) that monitors the items on the shelves.
  • the computer referred to as the computer
  • the resolution is above 5 million pixels, and 1080 progressive scanning (Progressive scanning).
  • the focal length is, for example, 2.8 mm (millimeters) or 4 mm, and the corresponding shooting distance is between 0.5 m and 1.5 m.
  • the shooting mode for example, supports RTSP (Real Time Streaming Protocol) streaming, RTMP (Real Time Messaging Protocol) streaming and timing shooting functions.
  • the shooting interval can be set by the shooting time period and shooting frequency, for example, every day from 9:00 am to 9:00 pm, shooting once every set time (such as 10 minutes).
  • the power supply mode may be battery power supply, for example, and the power supply time is more than three months.
  • the network connection mode may be, for example, a wifi (Wireless Fidelity) connection or a mobile communication card (such as a fourth-generation mobile communication card) connection.
  • the installation method can be a separate installation of the camera and the battery.
  • the camera can be attached to the appropriate position of the shelf with a mother-and-child tape, and the battery can be connected to the camera with a cable, or the camera and the battery can be installed in one piece. Below the shelf support plate.
  • Fig. 2 shows a schematic diagram of the installation position of the camera of some embodiments of the present disclosure.
  • the figure shows two rows of shelves, and the camera device 200 is fixed on the left shelf, and is used to capture the surveillance image of the right shelf.
  • step 120 the computer obtains each monitoring image of the shelf captured by the camera device at different times, and recognizes the items in each monitoring image.
  • the computer recognizes each item in the first monitoring image and recognizes each item in the second monitoring image.
  • the computer classifies the surveillance image, and when the classification result indicates that the surveillance image meets the preset requirements, the operation of identifying each item in the surveillance image is performed.
  • the computer can use the image classification model to classify the monitored image, for example, it is classified as normal, too bright, too dark, oblique, blurred, and there are obstructing objects in the image, etc., for the classified as normal monitoring image, perform recognition in the monitoring image
  • the operation of each item in the surveillance image will not be performed to identify each item in the surveillance image.
  • imaging quality such as images that are too dark, too bright, severely tilted, and blurred
  • environmental interference such as shelves in the image being blocked by people, shopping carts, and other objects.
  • the image classification model can be obtained by training convolutional neural networks such as resnet-50 using training images, and the loss function used for training is cross-entropy for multi-classification tasks, and then the convolutional neural network is updated iteratively using the gradient descent method. Until the preset training termination condition is met, such as the iteration reaches a certain number of times, or the change in loss is less than the preset value.
  • One of the first monitoring image and the second monitoring image is a reference image, and the other is a to-be-detected image.
  • the monitoring image of the shelf taken when the items on the shelf are displayed in a standard and complete state can be used as the reference map.
  • the operating time of the mall is from 9:00 a.m. to 9:00 p.m.
  • the monitoring images of the shelves taken when the items on the shelves are displayed standard and complete at 9:00 a.m. can be used as the reference map.
  • the monitoring images of the shelves taken in 10 minutes are used as the images to be inspected.
  • the method for the computer to identify each item in the surveillance image includes: steps 121-122.
  • step 121 the detection frame of the item in the surveillance image is determined.
  • the position of the shelf partitions is manually calibrated on the surveillance image, that is, the shelf partitions are marked with a straight line segment in the shelf area of the surveillance image, and the end coordinates of the straight line segment are recorded. Based on the area of the shelf in the calibrated surveillance image and the position of the shelf of the shelf, the detection frame of the item located on the shelf of the shelf in the surveillance image is determined.
  • the monitoring image is input to a single-stage target detection model, such as YOLO (You only look once), SSD (Single Shot MultiBox Detector), etc., and the single-stage target detection model outputs the detection of all items in the monitoring image Box information, such as the position and size of the detection box.
  • a single-stage target detection model such as YOLO (You only look once), SSD (Single Shot MultiBox Detector), etc.
  • step 122 the image feature of the detection frame is compared with the image feature of each item in the database, and the corresponding item in the database that matches the image feature of the detection frame is determined as the item in the detection frame.
  • the feature extraction model is used to extract the image features of the detection frame. Calculate the distance between the image feature of the detection frame and the image feature of each item in the database. The distance can be, for example, the Euclidean distance. When the minimum distance is less than a preset threshold, the item in the database with the smallest distance from the detection frame will be calculated. Determined as the item in the detection box.
  • the identifier of the item may be, for example, the inventory keeping unit (SKU) of the item, and the SKU is a unique identifier for each item.
  • the feature extraction model can be obtained by training convolutional neural networks such as resnet-50 using training images.
  • the training loss function is a triple-center loss (triplet-center loss, TCL) function, that is, triplet loss (triplet loss). ) Function and the center loss (center loss) function, and then use the gradient descent method to iteratively update the parameters of the convolutional neural network until the preset training termination condition is met, such as the iteration reaches a certain number of times, or the change in loss is less than default value.
  • the trained convolutional neural network is the feature extraction model. Input an image into the feature extraction model, and then the corresponding feature of the image can be output.
  • the feature dimension is, for example, 256.
  • Serial number SKU Feature vector Timestamp 0 10242674 [0.32, 0.52, 0.01...] 2020.02.14 1 10242674 [0.12, 0.35, 0.04...] 2020.02.14 2 264951002 [0.08, 0.03, 0.81...] 2020.01.01
  • step 130 for the first monitoring image and the second monitoring image of the shelf taken at different times, the computer detects the change of the first monitoring image and the second monitoring image.
  • a change detection model is used to detect changes in the first monitoring image and the second monitoring image.
  • the first monitoring image and the second monitoring image are superimposed (or spliced) into the change detection model, and an output image with the same size as the input image is output.
  • the output image represents the first monitoring image and the second monitoring image The image of the change.
  • the changes of the first monitoring image and the second monitoring image include: the image at the same position in the first monitoring image and the second monitoring image does not change (as shown by the blank circle in FIG. 3) and the first monitoring image There is a change in the image at the same position as in the second monitoring image.
  • the image at the same position in the first surveillance image and the second surveillance image has changes that can be further refined as: the image of the item at the same position in the first surveillance image and the second surveillance image disappears (as shown in Figure 3) Dotted circle) or the item image change (as shown by the slashed circle in Figure 3).
  • the change detection model includes a convolutional network and a deconvolutional network that are sequentially cascaded;
  • the convolutional network includes a plurality of processing modules and an intermediate convolutional layer that are sequentially cascaded, and each processing module includes a first volume that is sequentially cascaded The deconvolutional layer and the pooling layer;
  • the deconvolutional network includes a plurality of deconvolutional modules cascaded in sequence, and each deconvolutional module includes a deconvolutional layer and a second convolutional layer that are cascaded sequentially.
  • the second The convolutional layer is configured to superimpose the output of the deconvolutional layer cascaded with the second convolutional layer and the output of the processing module to which the first convolutional layer belongs to the same number of channels as the second convolutional layer. , Splicing data) for convolution processing.
  • Fig. 3 shows a schematic diagram of a change detection model of some embodiments of the present disclosure.
  • the change detection model 300 in FIG. 3 includes 4 processing modules 311, 312, 313, 314, an intermediate convolutional layer 320, and 4 anti-processing modules 331, 332, 333, 334, of which each processing module 311, 312, 313, 314 include a first convolutional layer and a pooling layer, and each de-processing module 331, 332, 333, 334 includes a deconvolutional layer and a second convolutional layer.
  • the first convolutional layers in the processing modules 311, 312, 313, and 314 are all 3 ⁇ 3 convolution kernels, and the number of channels is 64, 128, 256, 512, and the number of channels for the middle convolutional layer 320 is 1024.
  • the second convolutional layers in the anti-processing modules 331, 332, 333, and 334 are all 3 ⁇ 3 convolution kernels, and the number of channels is 512, 256, 128, and 64 in sequence.
  • step 140 the computer determines the items on the shelf according to the identified items in the first surveillance image and the items in the second surveillance image, and the detected changes in the first surveillance image and the second surveillance image. The change situation.
  • the method of determining the change of items on the shelf includes:
  • the identified item at the first location in the first surveillance image is the same as the item at the first location in the second surveillance image, and the image at the first location in the first surveillance image and the second surveillance image are There is a change in the image at the first position, and it is determined that the number of items at the first position on the shelf has changed;
  • the method for determining the change in the number of items at the first position on the shelf includes: acquiring brightness information of the image at the first position in the first surveillance image (for example, the first surveillance image in the first surveillance image). The average brightness of the image pixels in the area of a location) and the brightness information of the image at the first location in the second monitoring image (such as the average brightness of the image pixels in the area of the first location in the second monitoring image); if The brightness of the image at the first position in the monitoring image captured earlier in the first monitoring image and the second monitoring image is greater than the brightness of the image at the first position in the monitoring image captured later, and it is determined that the first position on the shelf is The number of items at the location is reduced; if the brightness of the image at the first location in the surveillance image captured later in the first surveillance image and the second surveillance image is greater than the image at the first location in the surveillance image captured earlier The brightness determines the increase in the number of items in the first position on the shelf.
  • the method for determining how the number of items at the first position on the shelf has changed includes: acquiring the number of feature points of the image at the first position in the first surveillance image and the second surveillance image The number of feature points in the image at the first position in the first monitoring image and the second The number of feature points in the image at the first position determines that the number of items at the first position on the shelf decreases; The number of feature points of the image is greater than the number of feature points of the image at the first position in the monitoring image taken earlier, and it is determined that the number of items at the first position on the shelf has increased.
  • the feature points are, for example, feature points extracted by the ORB (Oriented FAST and Rotated Brief) algorithm.
  • ORB algorithm is a fast feature point extraction and description algorithm.
  • the ORB algorithm is divided into two parts, namely feature point extraction and feature point description.
  • Feature extraction is developed by the FAST (features from accelerated segment test) algorithm.
  • the feature point description is based on the BRIEF (Binary Robust Independent Elementary Features) feature description algorithm. .
  • the surveillance image at t1 shows that there is an item Sku1 on the shelf at a certain position
  • the subsequent surveillance image at t2 shows that there is no item on the shelf at that position, indicating that the items at this location are sold out and you need to replenish items, you can send out Sku1 Need to add hints.
  • the surveillance images at time t1 and the subsequent time at t2 both show that an item Sku3 is placed on the shelf.
  • the surveillance image at time t2 is relative to the surveillance image at time t1.
  • the brightness or/and feature points of the image at that location The quantity is reduced by 20%, which means that part of the item Sku3 has been sold, and part of it has not been sold.
  • the surveillance images at time t1 and the subsequent time at t2 both show that the item Sku4 is placed on the shelf.
  • the surveillance image at time t2 is relative to the surveillance image at time t1.
  • the brightness or/and feature points of the image at that location A 20% increase in the quantity indicates that the item Sku4 has been supplemented, and a reminder that Sku4 has been supplemented can be issued.
  • the surveillance image at t1 shows that the item Sku5 is placed on the shelf at a certain position
  • the subsequent surveillance image at t2 shows that the item Sku6 is placed on the shelf at that position, indicating that Sku6 has not been placed back to its original position, and Sku6 is issued Wrong prompt.
  • a small wireless camera device is installed on the opposite side of the shelf, and the shooting angle is aimed at the shelf. After the camera device is fixed, adjust the brightness, resolution, etc. of the captured image. After the adjustment is completed, the area of the shelf is marked with a rectangular frame in the monitoring image, and the partition of the shelf is marked with a straight line.
  • Set the shooting interval such as shooting and uploading a surveillance image every 10 minutes.
  • Set the working time such as 8:00 ⁇ 22:00, and sleep in the rest of the time.
  • the computer receives each surveillance image from the camera device, uses the surveillance image taken at 8:00 as the reference map, and uses the surveillance images taken at various time points after 8:00 as the map to be tested, identifies the items in each surveillance image, and Compare the changes of each to-be-detected image with respect to the reference image, and use the strategy described in step 140 to determine the shelf in real time according to the items in each monitored image identified and the changes of each detected image relative to the reference image. And send out corresponding reminders on the changes of the items on the website.
  • An exemplary monitoring data of a shopping mall is, for example:
  • the above-mentioned management scheme of shelf items based on image monitoring technology realizes that by acquiring the monitoring images of the shelves taken at different times, identifying the items in each monitoring image, and detecting the changes of each monitoring image at different times, according to the recognized The items in each monitoring image and the changes of each monitoring image at different times of detection can timely and accurately determine the changes of the items on the shelf, which is convenient for the staff to manage the items on the shelf in time and accurately.
  • FIG. 4 shows a schematic diagram of a computer monitoring items on a shelf according to some embodiments of the present disclosure.
  • the computer 400 of this embodiment includes a memory 410 and a processor 420 coupled to the memory 410.
  • the processor 420 is configured to execute any of the foregoing embodiments based on instructions stored in the memory 410. Method of monitoring the items on the shelf.
  • the memory 410 may include, for example, a system memory, a fixed non-volatile storage medium, and the like.
  • the system memory stores, for example, an operating system, an application program, a boot loader (Boot Loader), and other programs.
  • the computer 400 may also include an input/output interface 430, a network interface 440, a storage interface 450, and the like. These interfaces 430, 440, 450 and the memory 410 and the processor 420 may be connected via a bus 460, for example.
  • the input and output interface 430 provides a connection interface for input and output devices such as a display, a mouse, a keyboard, and a touch screen.
  • the network interface 440 provides a connection interface for various networked devices.
  • the storage interface 450 provides a connection interface for external storage devices such as SD cards and U disks.
  • FIG. 5 shows a schematic diagram of a system for monitoring items on a shelf according to some embodiments of the present disclosure.
  • the system 500 of this embodiment includes a computer 400 that monitors items on a shelf and one or more camera devices 200.
  • the camera device 200 is configured to periodically take a monitoring image of the shelf and transmit it to the computer 400.
  • the computer 400 is configured to execute the method for monitoring items on a shelf in any of the foregoing embodiments based on the received monitoring image.
  • Some embodiments of the present disclosure also propose a non-transitory computer-readable storage medium on which a computer program is stored.
  • the program is executed by a processor, the steps of the method for monitoring items on a shelf in any of the foregoing embodiments are implemented.
  • the embodiments of the present disclosure can be provided as a method, a system, or a computer program product. Therefore, the present disclosure may adopt the form of a complete hardware embodiment, a complete software embodiment, or an embodiment combining software and hardware. Moreover, the present disclosure may take the form of a computer program product implemented on one or more non-transitory computer-readable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) containing computer program codes. .
  • These computer program instructions can also be stored in a computer-readable memory that can direct a computer or other programmable data processing equipment to work in a specific manner, so that the instructions stored in the computer-readable memory produce an article of manufacture including the instruction device.
  • the device implements the functions specified in one process or multiple processes in the flowchart and/or one block or multiple blocks in the block diagram.
  • These computer program instructions can also be loaded on a computer or other programmable data processing equipment, so that a series of operation steps are executed on the computer or other programmable equipment to produce computer-implemented processing, so as to execute on the computer or other programmable equipment.
  • the instructions provide steps for implementing the functions specified in one process or multiple processes in the flowchart and/or one block or multiple blocks in the block diagram.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

本公开提出一种监控货架上的物品的方法、计算机和***，涉及计算机技术领域。该方法通过获取不同时间拍摄的货架的监控图像，识别每个监控图像中的物品，并对不同时间的各监控图像的变化进行检测，根据识别的每个监控图像中的物品以及检测的不同时间的各监控图像的变化，及时和准确地确定该货架上的物品的变化情况，方便工作人员及时和准确地对货架上的物品进行管理。

Description

监控货架上的物品的方法、计算机和***
相关申请的交叉引用
本申请是以CN申请号为202010443796.3，申请日为2020年5月22日的申请为基础，并主张其优先权，该CN申请的公开内容在此作为整体引入本申请中。
技术领域
本公开涉及计算机技术领域，特别涉及一种监控货架上的物品的方法、计算机和***。
背景技术
商场的货架上摆放很多物品，用户从货架上选择欲购买的物品，还可以将不欲购买的物品放回货架。物品被用户拿走后，货架上就会出现缺少物品的情况，需要补充物品。商场的工作人员会盘点货架上的物品，补充缺少的物品，将位置错误的物品摆放到正确的位置。
发明内容
发明人发现，基于人工经验的货架物品的管理方式，工作人员常常不能及时发现需要补充的物品和摆放错误的物品，造成货架物品的管理时效性差、准确性低。
本公开实施例提出一种基于图像监控技术实现的货架物品的管理方案，其通过获取不同时间拍摄的货架的监控图像，识别每个监控图像中的物品，并对不同时间的各监控图像的变化进行检测，根据识别的每个监控图像中的物品以及检测的不同时间的各监控图像的变化，就可以及时和准确地确定该货架上的物品的变化情况，方便工作人员及时和准确地对货架上的物品进行管理。
本公开一些实施例提出一种监控货架上的物品的方法，包括：
获取不同时间拍摄的货架的第一监控图像和第二监控图像；
识别所述第一监控图像中的各个物品；
识别所述第二监控图像中的各个物品；
对所述第一监控图像和所述第二监控图像的变化进行检测；
根据识别的所述第一监控图像中的各个物品和所述第二监控图像中的各个物品 和检测的所述第一监控图像和所述第二监控图像的变化，确定所述货架上的物品的变化情况。
在一些实施例中，确定所述货架上的物品的变化情况包括：
如果识别的所述第一监控图像中第一位置处的物品与所述第二监控图像中第一位置处的物品相同，并且所述第一监控图像中第一位置处的图像和所述第二监控图像中第一位置处的图像有变化，确定所述货架上第一位置处的物品的数量发生变化；
或者，如果识别的所述第一监控图像中第二位置处的物品与所述第二监控图像中第二位置处的物品不同，确定所述货架上第二位置处的物品的种类发生变化；
或者，如果识别的所述第一监控图像和所述第二监控图像中较早拍摄的监控图像中第三位置处无物品，并且较晚拍摄的监控图像中第三位置处有物品，确定所述货架上第三位置处补充了物品；
或者，如果识别的所述第一监控图像和所述第二监控图像中较早拍摄的监控图像中第四位置处有物品，并且较晚拍摄的监控图像中第四位置处无物品，确定所述货架上第四位置处缺少了物品。
在一些实施例中，确定所述货架上第一位置处的物品的数量发生变化包括：
获取所述第一监控图像中第一位置处的图像的亮度信息和所述第二监控图像中第一位置处的图像的亮度信息；
如果所述第一监控图像和所述第二监控图像中较早拍摄的监控图像中第一位置处的图像的亮度大于较晚拍摄的监控图像中第一位置处的图像的亮度，确定所述货架上第一位置处的物品的数量减少；
如果所述第一监控图像和所述第二监控图像中较晚拍摄的监控图像中第一位置处的图像的亮度大于较早拍摄的监控图像中第一位置处的图像的亮度，确定所述货架上第一位置处的物品的数量增加。
在一些实施例中，确定所述货架上第一位置处的物品的数量发生变化包括：
获取所述第一监控图像中第一位置处的图像的特征点数量和所述第二监控图像中第一位置处的图像的特征点数量；
如果所述第一监控图像和所述第二监控图像中较早拍摄的监控图像中第一位置处的图像的特征点数量大于较晚拍摄的监控图像中第一位置处的图像的特征点数量，确定所述货架上第一位置处的物品的数量减少；
如果所述第一监控图像和所述第二监控图像中较晚拍摄的监控图像中第一位置 处的图像的特征点数量大于较早拍摄的监控图像中第一位置处的图像的特征点数量，确定所述货架上第一位置处的物品的数量增加。
在一些实施例中，利用变化检测模型对所述第一监控图像和所述第二监控图像的变化进行检测；
所述变化检测模型包括依次级联的卷积网络和反卷积网络，
所述卷积网络包括依次级联的多个处理模块和中间卷积层，每个处理模块包括依次级联的第一卷积层和池化层；
所述反卷积网络包括依次级联的多个反处理模块，每个反处理模块包括依次级联的反卷积层和第二卷积层，所述第二卷积层配置为对与所述第二卷积层级联的反卷积层的输出和与所述第二卷积层的通道数量相同的第一卷积层所属处理模块的输出的叠加数据进行卷积处理。
在一些实施例中，识别所述第一监控图像或所述第二监控图像中的各个物品包括：
确定所述第一监控图像或所述第二监控图像中物品的检测框；
比较所述检测框的图像特征与数据库中的各个物品的图像特征；
将与所述检测框的图像特征匹配的数据库中的相应物品确定为所述检测框中的物品。
在一些实施例中，确定检测框包括：基于标定的监控图像中的货架的区域和货架的隔板的位置，确定所述第一监控图像或所述第二监控图像中位于货架的隔板上的物品的检测框。
在一些实施例中，还包括：在获取第一监控图像和第二监控图像之后，对所述第一监控图像和所述第二监控图像进行分类，当分类结果表明所述第一监控图像和所述第二监控图像符合预设要求时，再执行识别所述第一监控图像和所述第二监控图像中的各个物品。
在一些实施例中，还包括：
如果所述货架上第一位置处的物品的数量减少，发出第一位置处的物品需要补充的提示；
或者，如果所述货架上第一位置处的物品的数量增加，发出第一位置处的物品已经补充的提示；
或者，如果所述货架上第二位置处的物品的种类发生变化，发出第二位置处的物 品摆放错误的提示；
或者，如果所述货架上第三位置处补充了物品，发出第三位置处的物品已经补充的提示；
或者，如果所述货架上第四位置处缺少了物品，发出第四位置处的物品需要补充的提示。
本公开一些实施例提出一种监控货架上的物品的计算机，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行任一个实施例所述的监控货架上的物品的方法。
本公开一些实施例提出一种监控货架上的物品的***，包括：监控货架上的物品的计算机；以及摄像装置，被配置为定期拍摄货架的监控图像，并传输给所述计算机。
本公开一些实施例提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一个实施例所述的监控货架上的物品的方法的步骤。
附图说明
下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。根据下面参照附图的详细描述，可以更加清楚地理解本公开。
显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开一些实施例的监控货架上的物品的方法的流程示意图。
图2示出了本公开一些实施例的摄像头的安装位置示意图。
图3示出了本公开一些实施例的变化检测模型的示意图。
图4示出本公开一些实施例的监控货架上的物品的计算机的示意图。
图5示出本公开一些实施例的监控货架上的物品的***的示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
图1示出本公开一些实施例的监控货架上的物品的方法的流程示意图。
如图1所示，该实施例的方法包括：步骤110-140。
在步骤110，摄像装置定期拍摄货架的监控图像，并传输给监控货架上的物品的计算机(简称计算机)。
下面列举摄像装置一些示例性的参数，但不限于所举示例。分辨率例如在500万像素以上，1080逐行扫描(Progressive scanning)。焦距例如为2.8mm(毫米)或4mm，相应的拍摄距离为0.5m到1.5m之间。拍摄模式例如支持RTSP(Real Time Streaming Protocol，实时流传输协议)流，RTMP(Real Time Messaging Protocol，实时消息传输协议)流和定时拍摄功能。拍摄间隔可以通过拍摄时间段和拍摄频率设置，例如，每天早9:00到晚9:00,每隔设定时间(如10分钟)拍摄一次。供电方式例如可以是电池供电，供电时间在三个月以上。网络连接方式例如可以是wifi(Wireless Fidelity)连接或者移动通信卡(如***移动通信卡)连接。安装方式例如可以是摄像头和电池分体安装，其摄像头可以用子母带粘贴在货架的适当位置，电池用线与摄像头连接，也可以摄像头和电池连体安装，二者合为一体，固定在货架支撑板下面。
图2示出了本公开一些实施例的摄像头的安装位置示意图。图中示出2列货架，摄像装置200固定在左侧货架上，用来拍摄右侧货架的监控图像。
在步骤120，计算机获取摄像装置不同时间拍摄的货架的各个监控图像，识别每个监控图像中的物品。
例如，针对不同时间拍摄的货架的第一监控图像和第二监控图像，计算机识别该第一监控图像中的各个物品，识别该第二监控图像中的各个物品。
在一些实施例中，在获取监控图像之后，计算机对该监控图像进行分类，当分类结果表明该监控图像符合预设要求时，再执行识别该监控图像中的各个物品的操作。
其中，计算机可以利用图像分类模型对监控图像进行分类，例如，分类为正常、过亮、过暗、倾斜、模糊、图像存在遮挡物体等，针对分类为正常的监控图像，执行识别该监控图像中的各个物品的操作，针对其他类别，不执行识别该监控图像中的各个物品的操作。从而，过滤由于成像质量(如图像过暗、过亮、图像倾斜严重、图像模糊)、环境干扰(如图像中货架被人、购物车等其他物体遮挡)等造成的不符合要求的监控图像，提高物品识别的准确性。
其中，图像分类模型例如可以利用训练图像对resnet-50等卷积神经网络进行训练得到，训练用的损失函数为用于多分类任务的交叉熵，然后利用梯度下降的方法迭代更新卷积神经网络的参数，直至满足预设的训练终止条件，如迭代达到一定的次数， 或者，损失的变化小于预设值。
第一监控图像和第二监控图像的其中一个是基准图，另一个是待检测图。通常可以将货架上的物品陈列标准且完整时拍摄的货架的监控图像作为基准图。例如，商城运营时间是每天早9:00到晚9:00，可以将早9:00货架上的物品陈列标准且完整时拍摄的货架的监控图像作为基准图，将早9:00以后每隔10分钟拍摄的货架的监控图像作为各个待检测图。
在一些实施例中，计算机识别监控图像(如第一监控图像或第二监控图像等)中的各个物品的方法包括：步骤121-122。
在步骤121，确定监控图像中物品的检测框。
在拍摄的监控图像中，除了货架之外可能还会存在其他背景，分析时会造成计算误差，因此，通过标定货架的区域，可以确定图像中哪些区域是货架图像。在摄像装置固定好后，在监控图像上人工标定货架的区域，即在监控图像上用矩形框标记出货架区域，并记录矩形框的坐标。为了确定物品在货架上的位置，需要知道货架的隔板的位置。在摄像装置固定好后，在监控图像上人工标定货架的隔板的位置，即在监控图像的货架区域中用直线段标记出货架的隔板，并记录直线段的端点坐标。基于标定的监控图像中的货架的区域和货架的隔板的位置，确定监控图像中位于货架的隔板上的物品的检测框。
例如，将监控图像输入单阶段目标检测模型，如YOLO(You only look once)、SSD(Single Shot MultiBox Detector，单次多盒检测器)等，单阶段目标检测模型输出监控图像中所有物品的检测框的信息，如检测框的位置、大小等信息。
在步骤122，比较该检测框的图像特征与数据库中的各个物品的图像特征，将与该检测框的图像特征匹配的数据库中的相应物品确定为该检测框中的物品。
采集每个已知物品的一个或多个图像，利用特征提取模型提取这些图像的特征，将已知物品的标识以及该已知物品的图像特征保存到数据库。利用特征提取模型提取检测框的图像特征。计算检测框的图像特征与数据库中的每个物品的图像特征之间的距离，该距离例如可以是欧式距离，当最小距离小于预设阈值后，将与该检测框距离最小的数据库中的物品确定为检测框中的物品。其中，物品的标识例如可以是物品的库存保有单位(Stock keeping Unit，SKU)，SKU是对每一个物品的唯一标识。其中，特征提取模型例如可以利用训练图像对resnet-50等卷积神经网络进行训练得到，训练用的损失函数为三元中心损失(triplet-center loss，TCL)函数，即三元损失 (triplet loss)函数与中心损失(center loss)函数之和，然后利用梯度下降的方法迭代更新卷积神经网络的参数，直至满足预设的训练终止条件，如迭代达到一定的次数，或者，损失的变化小于预设值。训练好的卷积神经网络即为特征提取模型。将一张图像输入特征提取模型，就可以输出该图像相应的特征，特征维度例如为256。
数据库中存储的信息如下表所示：
序号 SKU 特征向量 时间戳
0 10242674 [0.32，0.52，0.01…] 2020.02.14
1 10242674 [0.12，0.35，0.04…] 2020.02.14
2 264951002 [0.08，0.03，0.81…] 2020.01.01
在步骤130，针对不同时间拍摄的货架的第一监控图像和第二监控图像，计算机对该第一监控图像和该第二监控图像的变化进行检测。
在一些实施例中，利用变化检测模型对该第一监控图像和该第二监控图像的变化进行检测。将该第一监控图像和该第二监控图像叠加(或者说，拼接)后输入变化检测模型，输出与输入图像大小一致的输出图像，输出图像是表示该第一监控图像和该第二监控图像的变化的图像。该第一监控图像和该第二监控图像的变化包括：该第一监控图像和该第二监控图像中相同位置处的图像没有变化(如图3中空白圆圈所示)和该第一监控图像和该第二监控图像中相同位置处的图像有变化，其中。该第一监控图像和该第二监控图像中相同位置处的图像有变化可进一步细化为：该第一监控图像和该第二监控图像中相同位置处的物品图像消失(如图3中带点的圆圈所示)或物品图像变化(如图3中带斜线的圆圈所示)。
其中，变化检测模型包括依次级联的卷积网络和反卷积网络；该卷积网络包括依次级联的多个处理模块和中间卷积层，每个处理模块包括依次级联的第一卷积层和池化(pooling)层；该反卷积网络包括依次级联的多个反处理模块，每个反处理模块包括依次级联的反卷积层和第二卷积层，该第二卷积层配置为对与该第二卷积层级联的反卷积层的输出和与该第二卷积层的通道数量相同的第一卷积层所属处理模块的输出的叠加数据(或者说，拼接数据)进行卷积处理。
图3示出了本公开一些实施例的变化检测模型的示意图。图3中的变化检测模型300包括4个处理模块311，312，313，314，中间卷积层320，4个反处理模块331，332，333，334，其中，每个处理模块311，312，313，314包括第一卷积层和池化层，每个反处理模块331，332，333，334包括反卷积层和第二卷积层。处理模块311，312， 313，314中的第一卷积层均是3×3卷积核，通道数依次为：64、128、256、512，中间卷积层320的为通道数为1024，反处理模块331，332，333，334中的第二卷积层均是3×3卷积核，通道数依次为512、256、128、64。
在步骤140，计算机根据识别的该第一监控图像中的各个物品和该第二监控图像中的各个物品和检测的该第一监控图像和该第二监控图像的变化，确定该货架上的物品的变化情况。
在一些实施例中，确定该货架上的物品的变化情况的方法包括：
如果识别的该第一监控图像中第一位置处的物品与该第二监控图像中第一位置处的物品相同，并且该第一监控图像中第一位置处的图像和该第二监控图像中第一位置处的图像有变化，确定该货架上第一位置处的物品的数量发生变化；
或者，如果识别的该第一监控图像中第二位置处的物品与该第二监控图像中第二位置处的物品不同，确定该货架上第二位置处的物品的种类发生变化；
或者，如果识别的该第一监控图像和该第二监控图像中较早拍摄的监控图像中第三位置处无物品，并且较晚拍摄的监控图像中第三位置处有物品，确定该货架上第三位置处补充了物品；
或者，如果识别的该第一监控图像和该第二监控图像中较早拍摄的监控图像中第四位置处有物品，并且较晚拍摄的监控图像中第四位置处无物品，确定该货架上第四位置处缺少了物品。
在一些实施例中，确定该货架上第一位置处的物品的数量发生何种变化的方法包括：获取该第一监控图像中第一位置处的图像的亮度信息(如第一监控图像中第一位置的区域内的图像像素的亮度均值)和该第二监控图像中第一位置处的图像的亮度信息(如第二监控图像中第一位置的区域内的图像像素的亮度均值)；如果该第一监控图像和该第二监控图像中较早拍摄的监控图像中第一位置处的图像的亮度大于较晚拍摄的监控图像中第一位置处的图像的亮度，确定该货架上第一位置处的物品的数量减少；如果该第一监控图像和该第二监控图像中较晚拍摄的监控图像中第一位置处的图像的亮度大于较早拍摄的监控图像中第一位置处的图像的亮度，确定该货架上第一位置处的物品的数量增加。
在另一些实施例中，确定该货架上第一位置处的物品的数量发生何种变化的方法包括：获取该第一监控图像中第一位置处的图像的特征点数量和该第二监控图像中第一位置处的图像的特征点数量；如果该第一监控图像和该第二监控图像中较早拍摄的 监控图像中第一位置处的图像的特征点数量大于较晚拍摄的监控图像中第一位置处的图像的特征点数量，确定该货架上第一位置处的物品的数量减少；如果该第一监控图像和该第二监控图像中较晚拍摄的监控图像中第一位置处的图像的特征点数量大于较早拍摄的监控图像中第一位置处的图像的特征点数量，确定该货架上第一位置处的物品的数量增加。其中，特征点例如为ORB(Oriented FAST and Rotated BRIEF)算法提取的特征点。ORB算法是一种快速特征点提取和描述的算法。ORB算法分为两部分，分别是特征点提取和特征点描述。特征提取是由FAST(features from accelerated segment test，加速分段测试提取特征)算法发展来的，特征点描述是根据BRIEF(Binary Robust Independent Elementary Features，二元鲁棒独立基本特征)特征描述算法改进的。
如果该货架上第一位置处的物品的数量减少，发出第一位置处的物品需要补充的提示；或者，如果该货架上第一位置处的物品的数量增加，发出第一位置处的物品已经补充的提示；或者，如果该货架上第二位置处的物品的种类发生变化，发出第二位置处的物品摆放错误的提示；或者，如果该货架上第三位置处补充了物品，发出第三位置处的物品已经补充的提示；或者，如果该货架上第四位置处缺少了物品，发出第四位置处的物品需要补充的提示。
上述确定该货架上的物品的变化情况的示例可以参考如下表格，其中，变化检测是指两个监控图像中相同位置处的物品图像变化情况。
Figure PCTCN2021088992-appb-000001
Figure PCTCN2021088992-appb-000002
上述货架上的物品的变化情况对应的业务含义如下：
假设t1时刻的监控图像显示货架上某位置摆放了物品Sku1，随后的t2时刻的监控图像显示货架上该位置处没有物品，说明该位置处的物品卖光了，需要补充物品，可以发出Sku1需要补充的提示。
假设t1时刻的监控图像显示货架上某位置处没有物品，随后的t2时刻的监控图像显示货架上该位置处摆放了物品Sku2，说明该位置处补充了物品，可以发出Sku2已经补充的提示。
假设t1时刻和随后的t2时刻的监控图像均显示货架上某位置处摆放了物品Sku3，但是，t2时刻的监控图像相对于t1时刻的监控图像该位置处的图像的亮度或/和特征点数量降低20％，说明物品Sku3卖出去一部分，还有一部分未卖出，此时，可以发出Sku3需要补充的提示，也可以等Sku3全部卖光后再发出Sku3需要补充的提示。
假设t1时刻和随后的t2时刻的监控图像均显示货架上某位置处摆放了物品Sku4，但是，t2时刻的监控图像相对于t1时刻的监控图像该位置处的图像的亮度或/和特征点数量升高20％，说明补充了物品Sku4，可以发出Sku4已经补充的提示。
假设t1时刻的监控图像显示货架上某位置处摆放了物品Sku5，随后的t2时刻的监控图像显示货架上该位置处摆放了物品Sku6，说明Sku6未放回到原位置，发出Sku6摆放错误的提示。
假设t1时刻和随后的t2时刻的监控图像均显示货架上某位置处摆放了物品Sku7，且变化检测发现物品图像无变化，说明Sku7一直是原始状态，没有人购买。
在一些实施例中，在货架对面安装小型无线摄像装置，拍摄角度对准货架。摄像装置固定后，调整拍摄图像的亮度，分辨率等，调整好，在监控图像中用矩形框标注出货架的区域，用直线段标注出货架的隔板。设定拍摄间隔，如每10分钟拍摄并上传一张监控图像。设定工作时间，如8：00～22：00，其余时间休眠。计算机接收摄像装置传来的各个监控图像，将8：00拍摄的监控图像作为基准图，将8：00后各个时 间点拍摄的监控图像作为待检测图，识别每个监控图像中的物品，并比较每个待检测图相对于基准图的变化，根据识别的每个监控图像中的物品和检测的每个待检测图相对于基准图的变化，利用步骤140描述的策略，实时地确定该货架上的物品的变化情况，并发出相应的提示。一个示例性的某商场的监控数据例如为：
Figure PCTCN2021088992-appb-000003
上述基于图像监控技术实现的货架物品的管理方案，其通过获取不同时间拍摄的货架的监控图像，识别每个监控图像中的物品，并对不同时间的各监控图像的变化进行检测，根据识别的每个监控图像中的物品以及检测的不同时间的各监控图像的变化，就可以及时和准确地确定该货架上的物品的变化情况，方便工作人员及时和准确地对货架上的物品进行管理。
图4示出本公开一些实施例的监控货架上的物品的计算机的示意图。
如图4所示，该实施例的计算机400包括：存储器410以及耦接至该存储器410的处理器420，处理器420被配置为基于存储在存储器410中的指令，执行前述任意一些实施例中的监控货架上的物品的方法。
其中，存储器410例如可以包括***存储器、固定非易失性存储介质等。***存储器例如存储有操作***、应用程序、引导装载程序(Boot Loader)以及其他程序等。
计算机400还可以包括输入输出接口430、网络接口440、存储接口450等。这些接口430，440，450以及存储器410和处理器420之间例如可以通过总线460连接。其中，输入输出接口430为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口440为各种联网设备提供连接接口。存储接口450为SD卡、U盘等外置存储设备提供连接接口。
图5示出本公开一些实施例的监控货架上的物品的***的示意图。
如图5所示，该实施例的***500包括监控货架上的物品的计算机400以及一个或多个摄像装置200。
摄像装置200，被配置为定期拍摄货架的监控图像，并传输给该计算机400。
计算机400，被配置为基于接收的监控图像，执行前述任意一些实施例中的监控货架上的物品的方法。
本公开一些实施例还提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任意一些实施例中的监控货架上的物品的方法的步骤。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、***、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机程序代码的非瞬时性计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (12)

  1. 一种监控货架上的物品的方法，包括：
    获取不同时间拍摄的货架的第一监控图像和第二监控图像；
    识别所述第一监控图像中的各个物品；
    识别所述第二监控图像中的各个物品；
    对所述第一监控图像和所述第二监控图像的变化进行检测；
    根据识别的所述第一监控图像中的各个物品和所述第二监控图像中的各个物品和检测的所述第一监控图像和所述第二监控图像的变化，确定所述货架上的物品的变化情况。
  2. 根据权利要求1所述的方法，其中，确定所述货架上的物品的变化情况包括：
    如果识别的所述第一监控图像中第一位置处的物品与所述第二监控图像中第一位置处的物品相同，并且所述第一监控图像中第一位置处的图像和所述第二监控图像中第一位置处的图像有变化，确定所述货架上第一位置处的物品的数量发生变化；
    或者，如果识别的所述第一监控图像中第二位置处的物品与所述第二监控图像中第二位置处的物品不同，确定所述货架上第二位置处的物品的种类发生变化；
    或者，如果识别的所述第一监控图像和所述第二监控图像中较早拍摄的监控图像中第三位置处无物品，并且较晚拍摄的监控图像中第三位置处有物品，确定所述货架上第三位置处补充了物品；
    或者，如果识别的所述第一监控图像和所述第二监控图像中较早拍摄的监控图像中第四位置处有物品，并且较晚拍摄的监控图像中第四位置处无物品，确定所述货架上第四位置处缺少了物品。
  3. 根据权利要求2所述的方法，其中，确定所述货架上第一位置处的物品的数量发生变化包括：
    获取所述第一监控图像中第一位置处的图像的亮度信息和所述第二监控图像中第一位置处的图像的亮度信息；
    如果所述第一监控图像和所述第二监控图像中较早拍摄的监控图像中第一位置处的图像的亮度大于较晚拍摄的监控图像中第一位置处的图像的亮度，确定所述货架上第一位置处的物品的数量减少；
    如果所述第一监控图像和所述第二监控图像中较晚拍摄的监控图像中第一位置 处的图像的亮度大于较早拍摄的监控图像中第一位置处的图像的亮度，确定所述货架上第一位置处的物品的数量增加。
  4. 根据权利要求2所述的方法，其中，确定所述货架上第一位置处的物品的数量发生变化包括：
    获取所述第一监控图像中第一位置处的图像的特征点数量和所述第二监控图像中第一位置处的图像的特征点数量；
    如果所述第一监控图像和所述第二监控图像中较早拍摄的监控图像中第一位置处的图像的特征点数量大于较晚拍摄的监控图像中第一位置处的图像的特征点数量，确定所述货架上第一位置处的物品的数量减少；
    如果所述第一监控图像和所述第二监控图像中较晚拍摄的监控图像中第一位置处的图像的特征点数量大于较早拍摄的监控图像中第一位置处的图像的特征点数量，确定所述货架上第一位置处的物品的数量增加。
  5. 根据权利要求1所述的方法，其中，利用变化检测模型对所述第一监控图像和所述第二监控图像的变化进行检测；
    所述变化检测模型包括依次级联的卷积网络和反卷积网络，
    所述卷积网络包括依次级联的多个处理模块和中间卷积层，每个处理模块包括依次级联的第一卷积层和池化层；
    所述反卷积网络包括依次级联的多个反处理模块，每个反处理模块包括依次级联的反卷积层和第二卷积层，所述第二卷积层配置为对与所述第二卷积层级联的反卷积层的输出和与所述第二卷积层的通道数量相同的第一卷积层所属处理模块的输出的叠加数据进行卷积处理。
  6. 根据权利要求1所述的方法，其中，识别所述第一监控图像或所述第二监控图像中的各个物品包括：
    确定所述第一监控图像或所述第二监控图像中物品的检测框；
    比较所述检测框的图像特征与数据库中的各个物品的图像特征；
    将与所述检测框的图像特征匹配的数据库中的相应物品确定为所述检测框中的物品。
  7. 根据权利要求6所述的方法，其中，确定检测框包括：
    基于标定的监控图像中的货架的区域和货架的隔板的位置，确定所述第一监控图像或所述第二监控图像中位于货架的隔板上的物品的检测框。
  8. 根据权利要求1所述的方法，还包括：
    在获取第一监控图像和第二监控图像之后，对所述第一监控图像和所述第二监控图像进行分类，当分类结果表明所述第一监控图像和所述第二监控图像符合预设要求时，再执行识别所述第一监控图像和所述第二监控图像中的各个物品。
  9. 根据权利要求2所述的方法，还包括：
    如果所述货架上第一位置处的物品的数量减少，发出第一位置处的物品需要补充的提示；
    或者，如果所述货架上第一位置处的物品的数量增加，发出第一位置处的物品已经补充的提示；
    或者，如果所述货架上第二位置处的物品的种类发生变化，发出第二位置处的物品摆放错误的提示；
    或者，如果所述货架上第三位置处补充了物品，发出第三位置处的物品已经补充的提示；
    或者，如果所述货架上第四位置处缺少了物品，发出第四位置处的物品需要补充的提示。
  10. 一种监控货架上的物品的计算机，包括：
    存储器；以及
    耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-9中任一项所述的监控货架上的物品的方法。
  11. 一种监控货架上的物品的***，包括：
    权利要求10所述的监控货架上的物品的计算机；以及
    摄像装置，被配置为定期拍摄货架的监控图像，并传输给所述计算机。
  12. 一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-9中任一项所述的监控货架上的物品的方法的步骤。
PCT/CN2021/088992 2020-05-22 2021-04-22 监控货架上的物品的方法、计算机和*** WO2021233058A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010443796.3 2020-05-22
CN202010443796.3A CN111783528B (zh) 2020-05-22 2020-05-22 监控货架上的物品的方法、计算机和***

Publications (1)

Publication Number Publication Date
WO2021233058A1 true WO2021233058A1 (zh) 2021-11-25

Family

ID=72754432

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/088992 WO2021233058A1 (zh) 2020-05-22 2021-04-22 监控货架上的物品的方法、计算机和***

Country Status (2)

Country Link
CN (1) CN111783528B (zh)
WO (1) WO2021233058A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783528B (zh) * 2020-05-22 2022-12-02 北京沃东天骏信息技术有限公司 监控货架上的物品的方法、计算机和***
CN113821674B (zh) * 2021-11-23 2022-02-25 北京中超伟业信息安全技术股份有限公司 一种基于孪生神经网络的智能货物监管方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140019390A1 (en) * 2012-07-13 2014-01-16 Umami, Co. Apparatus and method for audio fingerprinting
CN108320379A (zh) * 2018-02-28 2018-07-24 成都果小美网络科技有限公司 基于图像比对的售货方法、装置和无人售货机
CN108898104A (zh) * 2018-06-29 2018-11-27 北京旷视科技有限公司 一种物品识别方法、装置、***及计算机存储介质
CN109726759A (zh) * 2018-12-28 2019-05-07 北京旷视科技有限公司 无人售货方法、装置、***、电子设备及计算机可读介质
CN110472515A (zh) * 2019-07-23 2019-11-19 阿里巴巴集团控股有限公司 货架商品检测方法及***
CN110647816A (zh) * 2019-08-26 2020-01-03 合肥工业大学 一种用于货架药品实时监测的目标检测方法
CN111783528A (zh) * 2020-05-22 2020-10-16 北京沃东天骏信息技术有限公司 监控货架上的物品的方法、计算机和***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833857B (zh) * 2018-07-10 2021-01-15 京东方科技集团股份有限公司 一种货架监控方法、***以及货架
CN110490516A (zh) * 2019-08-01 2019-11-22 广州织点智能科技有限公司 一种无人便利店货架物品检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140019390A1 (en) * 2012-07-13 2014-01-16 Umami, Co. Apparatus and method for audio fingerprinting
CN108320379A (zh) * 2018-02-28 2018-07-24 成都果小美网络科技有限公司 基于图像比对的售货方法、装置和无人售货机
CN108898104A (zh) * 2018-06-29 2018-11-27 北京旷视科技有限公司 一种物品识别方法、装置、***及计算机存储介质
CN109726759A (zh) * 2018-12-28 2019-05-07 北京旷视科技有限公司 无人售货方法、装置、***、电子设备及计算机可读介质
CN110472515A (zh) * 2019-07-23 2019-11-19 阿里巴巴集团控股有限公司 货架商品检测方法及***
CN110647816A (zh) * 2019-08-26 2020-01-03 合肥工业大学 一种用于货架药品实时监测的目标检测方法
CN111783528A (zh) * 2020-05-22 2020-10-16 北京沃东天骏信息技术有限公司 监控货架上的物品的方法、计算机和***

Also Published As

Publication number Publication date
CN111783528A (zh) 2020-10-16
CN111783528B (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
CN108734162B (zh) 商品图像中目标识别方法、***、设备及存储介质
CN109284733B (zh) 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法
CN108985199B (zh) 商品取放操作的检测方法、装置及存储介质
US20160098636A1 (en) Data processing apparatus, data processing method, and recording medium that stores computer program
CN110726724A (zh) 缺陷检测方法、***和装置
WO2021233058A1 (zh) 监控货架上的物品的方法、计算机和***
CN109829397B (zh) 一种基于图像聚类的视频标注方法、***以及电子设备
CN111667001B (zh) 目标重识别方法、装置、计算机设备和存储介质
CN111340126A (zh) 物品识别方法、装置、计算机设备和存储介质
US20140270362A1 (en) Fast edge-based object relocalization and detection using contextual filtering
CN112100425B (zh) 基于人工智能的标签标注方法、装置、电子设备及介质
US10671887B2 (en) Best image crop selection
CN111310706B (zh) 一种商品价签识别方法及装置、电子设备、存储介质
CN110969045B (zh) 一种行为检测方法、装置、电子设备和存储介质
US10659680B2 (en) Method of processing object in image and apparatus for same
CN109559336B (zh) 对象追踪方法、装置及存储介质
WO2022105027A1 (zh) 图像识别方法、***、电子设备及存储介质
US20210272170A1 (en) Method, Device, Electronic Apparatus and Storage Medium for Generating Order
US10592775B2 (en) Image processing method, image processing device and image processing system
CN113920502A (zh) 一种云台调整方法、装置、设备及介质
WO2020183837A1 (ja) 計数システム、計数装置、機械学習装置、計数方法、部品配置方法、および、プログラム
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
CN115115825A (zh) 图像中的对象检测方法、装置、计算机设备和存储介质
CN111160450A (zh) 一种基于神经网络的果蔬称重方法及储存介质、装置
WO2021138893A1 (zh) 车牌识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21809873

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21809873

Country of ref document: EP

Kind code of ref document: A1