CN115600953A - 仓库库位的监控方法、装置、计算机设备和存储介质 - Google Patents

仓库库位的监控方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115600953A
CN115600953A CN202110769235.7A CN202110769235A CN115600953A CN 115600953 A CN115600953 A CN 115600953A CN 202110769235 A CN202110769235 A CN 202110769235A CN 115600953 A CN115600953 A CN 115600953A
Authority
CN
China
Prior art keywords
area
warehouse
state
goods
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110769235.7A
Other languages
English (en)
Inventor
杨秉川
鲁豫杰
方牧
李陆洋
陈鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visionnav Robotics Shenzhen Co Ltd
Original Assignee
Visionnav Robotics Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visionnav Robotics Shenzhen Co Ltd filed Critical Visionnav Robotics Shenzhen Co Ltd
Priority to CN202110769235.7A priority Critical patent/CN115600953A/zh
Priority to KR1020220081351A priority patent/KR20230008612A/ko
Priority to US17/855,872 priority patent/US20230007831A1/en
Priority to EP22182621.7A priority patent/EP4116906A1/en
Priority to JP2022108074A priority patent/JP7352694B2/ja
Publication of CN115600953A publication Critical patent/CN115600953A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Emergency Management (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种仓库库位的监控方法、装置、计算机设备和存储介质。所述方法包括：首先获取仓库库位区域的视频数据，并基于该视频数据获取目标图像。从而可基于深度学习图像识别技术，通过类别检测模型对目标图像进行检测，可以准确且有效地识别出仓库中出现的人类、车辆和货物等对象。进而对各个库位中对象的状态进行检测，获得检测结果，该检测结果会被实时共享至仓库调度***，从而实现对仓库库位的实时监控，进而大大提高了对仓库库位识别的准确度。此外，本申请中所检测到的检查结果将被实时共享到用户的仓库调度***，为企业提供库位安全信息的同时，还可辅助巡检机器人等智能化设备的无人化作业。

Description

仓库库位的监控方法、装置、计算机设备和存储介质
技术领域
本申请涉及仓库库位管理技术领域，特别是涉及一种仓库库位的监控方法、装置、计算机设备和存储介质。
背景技术
随着仓库库位管理技术的发展，仓库中的场景越来越复杂，即存在叉车、工作人员、货物等多种混合场景，常常采用激光传感器的方法对仓库库位进行监控，从而实现仓库库位的管理。
然而，采用激光传感器的方法，只能监控仓库库位中是否存在货物，不能区分被检测对象的种类，从而导致误检测事件增多，存在对仓库库位识别的准确度低的情况。
发明内容
基于此，有必要针对上述技术问题，提供一种仓库库位的监控方法、装置、计算机设备和存储介质。
一种仓库库位的监控方法，该方法包括：
获取仓库库位区域的视频数据，并基于该视频数据获得与仓库库位区域对应的目标图像；该仓库库位区域包括库位区域和该库位周边的区域；基于类别检测模型对该目标图像进行检测，确定该目标图像中出现的各个对象所属的类别，该类别至少包括人类、车辆、以及货物中的一种；基于该各个对象所属的类别，对各个库位中对象的状态进行检测，得到检测结果；该检测结果至少包括人类是否进入仓库库位区域、车辆状态信息、以及库位存货信息中的一种；将该检测结果发送至仓库调度***，以使得该仓库调度***对该仓库库位区域进行监控。
在其中一个实施例中，获取仓库库位区域的视频数据，并基于该视频数据获得与仓库库位区域对应的目标图像，包括：
获取仓库库位区域的视频数据；对该视频数据进行解码处理，得到与视频数据对应的解码图像；将该解码图像进行校准处理，得到校准图像；将该校准图像进行降采样处理，得到与仓库库位区域对应的目标图像。
在其中一个实施例中，基于类别检测模型对该目标图像进行检测，确定该目标图像中出现的各个对象所属的类别，包括：
获取训练好的类别检测模型；基于该类别检测模型，对该目标图像进行特征提取，得到与该目标图像对应的图像特征；根据该图像特征确定该目标图像中出现的各个对象所属的类别。
在其中一个实施例中，基于该各个对象所属的类别，对各个库位中对象的状态进行检测，得到检测结果，包括：
当该类别为车辆时，确定该车辆是否进入仓库库位区域，并当车辆进入仓库库位区域时发出报警信息；当该类别为货物时，对该视频数据中表征库位区域的区域图像进行状态滤波处理，并基于状态滤波处理的结果确定库位存货信息；当该类别为人类时，确定该人类是否进入仓库库位区域，并当人类进入仓库库位区域时发出报警信息。
在其中一个实施例中，当该类别为货物时，对该视频数据中表征库位区域的区域图像进行状态滤波处理，并基于状态滤波处理的结果确定库位存货信息，包括：
当该库位区域确定有货物时，判断该货物是否处于放正状态；当该货物处于放正状态时，基于该视频数据中表征库位的区域图像进行多次状态滤波，得到与状态滤波次数对应的多个第一状态滤波结果，并判断该库位区域周围是否存在车辆；当获得多个且连续的相同第一状态滤波结果、该库位区域周围存在车辆、且该库位区域与车辆的距离大于距离阈值时，或者，当获得多个且连续的相同第一状态滤波结果、且该库位区域周围不存在车辆时，则确定该库位区域的使用信息，并通过与货物对应的货物信息确定货物种类；将该库位区域的使用信息、以及该货物种类作为库位区域的库位存货信息。
在其中一个实施例中，当获得多个且连续的相同第一状态滤波结果、该库位区域周围存在车辆、且该库位区域与车辆的距离小于或等于距离阈值时，停止确定该库位区域的使用信息。
在其中一个实施例中，当该库位区域确定无货物时，基于该视频数据中表征库位的区域图像进行多次状态滤波，得到与状态滤波次数对应的多个第二状态滤波结果、并判断该库位区域周围是否存在车辆；当获得多个且连续的相同第二状态滤波结果、该库位区域周围存在车辆、且该库位区域与车辆的距离大于距离阈值时，或者，当获得多个且连续的相同第一状态滤波结果、且该库位区域周围不存在车辆时，则确定该库位区域的库位区域的使用信息，并将该使用信息作为该库位区域的库位存货信息。
一种仓库库位的监控装置，所述装置包括：
获取模块，用于获取仓库库位区域的视频数据，并基于该视频数据获得与仓库库位区域对应的目标图像；该仓库库位区域包括库位区域和该库位周边的区域；
确定模块，用于基于类别检测模型对该目标图像进行检测，确定该目标图像中出现的各个对象所属的类别，该类别至少包括人类、车辆、以及货物中的一种；
检测模块，用于基于该各个对象所属的类别，对各个库位中对象的状态进行检测，得到检测结果；该检测结果至少包括人类是否进入仓库库位区域、车辆状态信息、以及库位存货信息中的一种；
发送模块，用于将该检测结果发送至仓库调度***，以使得该仓库调度***对该仓库库位区域进行监控。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述任一所述的仓库库位的监控的方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一所述的仓库库位的监控的方法。
上述仓库库位的监控方法、装置、计算机设备和存储介质，首先获取仓库库位区域的视频数据，并基于该视频数据获取与仓库库位区域对应的目标图像。从而可基于深度学习图像识别技术，通过类别检测模型对目标图像进行检测，可以准确且有效地识别出仓库中出现的人类、车辆和货物等对象。进而可对各个库位中对象的状态进行检测，获得检测结果，该检测结果会被实时共享至仓库调度***，从而实现对仓库库位的实时监控，大大提高了对仓库库位识别的准确度。此外，本申请中所检测到的检查结果将被实时共享到用户的仓库调度***，为企业提供库位安全信息的同时，还可辅助巡检机器人等智能化设备的无人化作业。
附图说明
图1为一个实施例中仓库库位的监控方法的应用环境图；
图2为一个实施例中仓库库位的监控方法的流程示意图；
图3为一个实施例中仓库库位的监控方法的使用场景图；
图4为一个实施例中获取目标图像步骤的流程示意图；
图5为一个实施例中获得检测结果步骤的流程示意图；
图6为一个实施例中类别为货物时确定库位存货信息步骤的流程示意图；
图7为一个实施例中仓库库位区域中对象状态的检测方法的流程示意图；
图8为一个实施例中仓库库位的监控方法的前期调试的流程示意图；
图9为另一个实施例中仓库库位的监控方法的流程示意图；
图10为一个实施例中仓库库位的监控方法的数据流图；
图11为一个实施例中仓库库位的监控装置的结构框图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的仓库库位的监控方法，可以应用于如图1所示的应用环境中。其中，摄像设备102通过网络与计算机设备104进行通信。摄像设备102对仓库库位区域进行视频采集，得到对应的视频数据，并传输至计算机设备104；计算机设备104获取该视频数据，并基于该视频数据获得与仓库库位区域对应的目标图像；计算机设备104基于类别检测模型对目标图像进行检测，确定目标图像中出现的各个对象所属的类别；计算机设备104基于各个对象所属的类别，对各个库位中对象的状态进行检测，得到检测结果；计算机设备104将检测结果发送至仓库调度***，以使得仓库调度***对仓库库位进行监控。其中，摄像设备102可以但不限于是各种视频采集装置，如高清摄像头、视觉传感器、带有摄像功能的手机。计算机设备104具体可以是终端或服务器，其中，终端可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种仓库库位的监控方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
步骤202，获取仓库库位区域的视频数据，并基于该视频数据获得与仓库库位区域对应的目标图像；该仓库库位区域包括库位区域和该库位周边的区域。
其中，库位区域可以是仓储存储区，库位周边的区域可以是月台装载区。该摄像设备可以用少量且成本低的视觉传感器。
具体地，摄像设备对仓库库位区域进行视频监控，获得仓库库位区域的视频数据；摄像设备通过交换机将视频数据发送至计算机设备，该计算机设备接收仓库库位区域的视频数据；计算机设备基于该视频数据获取与仓库库位区域对应的目标图像。
在其中一个实施例中，摄像设备与计算机设备通过交换机实现视频流(视频数据传输)传输，其中，摄像设备与交换机可以通过有线网络实现数据流，交换机与计算机设备可以通过有线网络或者移动通信技术(比如5G，5th Generation Mobile CommunicationTechnology，第五代通信技术)实现数据流。
在其中一个实施例中，基于部署在仓储存储区和月台装载区的摄像设备实时获取仓库库位的视频数据；该视频数据通过有线网络传输至交换机，计算机设备的监控程序基于交换机不断的获取视频流，并基于该视频流，计算机设备获取与仓库库位区域对应的目标图像。其中，该摄像设备可以为具备红外功能的相机，因此在无照明情况下依然能够进行实时检测任务，为夜间工作的智能化设备提供信息支持，降低运营成本。非常适用于仓储物流、制造、航空等领域的各类平面仓储、货物转运等场景。
步骤204，基于类别检测模型对该目标图像进行检测，确定该目标图像中出现的各个对象所属的类别，该类别至少包括人类、车辆、以及货物中的一种。
具体地，计算机设备将获取的目标图像输入至类别检测模型中进行检测，基于目标图像中出现的各个对象，将各个对象按照所属的类别进行分类，获得检测结果。例如，计算机设备将目标图像输入至类别检测模型，该类别检测模型按照人类、车辆、货物的类别对目标图像中出现的对象进行分类，获得该目标图像中出现的类别。
步骤206，基于该各个对象所属的类别，对各个库位中对象的状态进行检测，得到检测结果；该检测结果至少包括人类是否进入仓库库位区域、车辆状态信息、以及库位存货信息中的一种。
其中，库位存货信息包括库位是否被使用、以及库位中货物的种类。
具体地，计算机设备基于状态评估模块，按照与类别对应的检测方式，对各个库位中对象进行检测，获得与各个库位中对象的状态对应的检测结果。例如，计算机设备通过状态评估模块对各个库位中对象进行检测，按照与类别对应的检测方式，得到与类别对应的检测结果，例如，库位区域中人员状态、车辆状态、库位是否有货物、以及库位中货物的种类。从而能够根据货物的种类实现智能分拣的功能。
步骤208，将该检测结果发送至仓库调度***，以使得该仓库调度***对该仓库库位区域进行监控。
其中，仓库调度***为RCS***(Robots Control System，机器人调度***),也可以叫中控调度***，主要用于机器人调度。
具体地，计算机设备将检测结果发送至RCS***，该RCS***基于该检测结果对该仓库库位区域进行调度。例如，计算机设备与RCS可以通过wifi或者5G进行网络连接，通过Http和Json_rpc的方式将检测结果发送至RCS***，以指示仓库无人叉车的动作。
上述仓库库位的监控方法中，首先获取仓库库位区域的视频数据，并基于该视频数据获取与仓库库位区域对应的目标图像。从而可深度学习图像识别技术，通过类别检测模型对目标图像进行检测，可以准确且有效地识别出仓库中出现的人类、车辆和货物等对象，进而可对各个库位中对象的状态进行检测，获得检测结果；最后该检测结果会被实时共享至仓库调度***，从而实现对仓库库位的实时监控，大大提高了对仓库库位识别的准确度。
在一个可选实施例中，如图3所示，摄像设备分别获取仓储暂存区和月台装卸车中的视频数据，并通过有线网络将视频数据发送至交换机，交换机可以通过有线网络或者5G技术将视频数据发送至计算机设备，计算机设备的监控程序不断的获取视频流，基于该视频流，计算机设备获取与仓储暂存区、月台装卸车对应的目标图像；基于该目标图像，计算机设备通过类别检测模型，获取该目标图像中各个对象的类别；计算机设备基于各个对象的类别，按照与类别对应的检测方式，获得与类别对应的检测结果；计算机设备可以通过5G技术或者wifi与RCS***进行网络连接，通过Http和Json_rpc的方式将检测结果发送至RCS***，以指示仓库无人叉车的动作，其中RCS***与无人叉车可以通过5G技术或者wifi进行连接，从而实现对仓库库位的实时监控，进而提高对仓库库位识别的准确度。
在一个实施例中，如图4所示，获取仓库库位区域的视频数据，并基于该视频数据获得与仓库库位区域对应的目标图像，包括：
步骤402，获取仓库库位区域的视频数据。
具体地，计算机设备的监控程序通过交换机，连续获取仓库库位区域的视频流。例如，库位检测摄像头将与仓库库位区域对应的视频数据输入至计算机设备的图像处理模块，该图像处理模块用于图像采集和预处理。
步骤404，对该视频数据进行解码处理，得到与视频数据对应的解码图像。
具体地，计算机设备将视频数据输入至图像处理模块后，对视频数据进行解码处理，获得与视频数据对应的解码图像。
步骤406，将该解码图像进行校准处理，得到校准图像。
具体地，针对于不同的摄像设备，对应的型号不同，使得解码图像畸变，计算机设备将解码图像进行参数调整，调整解码图像的畸变区域，获得校准图像。
步骤408，将该校准图像进行降采样处理，得到与仓库库位区域对应的目标图像。
具体地，计算机设备通过对该校准图像进行降采样处理，得到与仓库库位区域对应的目标图像，从而减少图像的计算量，并且计算机设备保存该与仓库库位区域对应的视频数据。
在本实施例中，计算机设备获取仓库库位区域的视频数据，基于该视频数据，进行解码处理获得解码图像，实现视频转化为图像的过程；再通过对解码图像校准处理，获得校准图像，从而解决不同摄像设备导致的图像畸变的问题；然后计算机设备通过将校准图像进行降采样处理，获得目标图像，以此减少目标图像的计算量。
在一个实施例中，基于类别检测模型对该目标图像进行检测，确定该目标图像中出现的各个对象所属的类别，包括：获取训练好的类别检测模型；基于该类别检测模型，对该目标图像进行特征提取，得到与该目标图像对应的图像特征；根据该图像特征确定该目标图像中出现的各个对象所属的类别。
具体地，计算机设备获取与仓库库位区域对应的目标图像后，加载训练完成后的类别检测模型，将目标图像输入至类别检测模型进行特征提取，当该类别检测模型完成前向计算后，得到与该目标图像对应的图像特征，该类别检测模型根据图像特征，对目标图像中出现的各个对象进行分类，获得与各个对象的类别。例如，计算机设备将获取的目标图像输入深度学习物体检测分类模块，加载训练完成后的分类模型，进行前向计算，获得目标图像中与人员、货物、车辆对应的特征，根据目标图像中出现的特征进行整理，确定目标图像中各个对象所属的类别。
在本实施例中，计算机设备通过训练好的类别检测模型，获得与目标图像对应的图像特征，根据该图像特征确定目标图像中出现的各个对象所属的类别。因此，利用深度学习技术可以减少对环境的依赖度(如场地、周边、光照等等)，并且能够有效的识别仓库库位区域的人员、货物、以及车辆，从而实现智能化的分类，提高库位监控识别的准确度。
在一个实施例中，如图5所示，基于该各个对象所属的类别，对各个库位中对象的状态进行检测，得到检测结果，包括：
步骤502，当该类别为车辆时，确定该车辆是否进入仓库库位区域，并当车辆进入仓库库位区域时发出报警信息。
具体地，计算机设备基于摄像设备库位分配配置表，对仓库库位区域进行检测，当类别为车辆时，若计算机设备检测到车辆进入仓库库位区域，计算机设备发出报警信息。其中，报警信息可以通过部署在仓库库位区域中的指示灯、喇叭进行报警，也可以发送报警信息至计算机设备的显示界面进行报警，也可以发送报警信息至RCS***进行报警。例如，当类别为车辆时，计算机设备通过检测仓库库位区域是否有车辆进入，若有车辆进入仓库库位区域，则仓库中的喇叭和指示灯分别通过声音、灯光进行警示，同时，发送报警文字至计算机设备的显示界面，并且将该报警信息发送至RCS***，直至车辆离开仓库库位区域。
步骤504，当该类别为货物时，对该视频数据中表征库位区域的区域图像进行状态滤波处理，并基于状态滤波处理的结果确定库位存货信息。
具体地，计算机设备基于摄像设备库位分配配置表，对各个库位进行检测，当类别为货物时，计算机设备设置滤波次数，对该视频数据中标准库位区域的区域图像进行多次状态滤波处理，获得与滤波次数对应的状态滤波结果，并基于状态滤波处理结果确定库位存货信息。
在其中一个实施例中，计算机设备通过状态评估模块获取摄像设备库位分配配置表，对仓库库位区域中各个库位进行检测，当类别为货物时，基于视频数据中表征库位区域的各帧区域图像，对每一帧的区域图像进行相应的状态滤波，获取与帧数对应的状态滤波结果，并且基于各帧区域图像对应的状态滤波结果，将上一帧区域图像对应的状态滤波结果与当前帧区域图像对应的状态滤波结果进行对比，获取多个对比结果，基于对比结果确定库位存货信息。
在其中一个实施例中，计算机设备通过状态评估模块获取摄像设备库位分配配置表，对仓库库位区域中各个库位进行检测，当类别为货物时，基于视频数据中表征库位区域的当前帧对应的区域图像，对当前帧区域图像进行多次状态滤波处理，获取与滤波次数对应的状态滤波结果，将当前帧区域图像中上一次状态滤波结果和当前状态滤波结果进行对比，获得多个对比结果，基于对比结果确定库位存货信息。
步骤506，当该类别为人类时，确定该人类是否进入仓库库位区域，并当人类进入仓库库位区域时发出报警信息。
具体地，当类别为人类时，计算机设备通过检测区域确定人类是否进入仓库库位区域，当检测到人类进入仓库库位区域时，计算机设备发出报警信息。其中，报警信息可以通过部署在仓库库位区域中的指示灯、喇叭进行报警，也可以发送报警信息至计算机设备的显示界面进行报警，也可以发送报警信息至RCS***进行报警。例如，当类别为人类时，计算机设备通过检测仓库库位区域是否有人进入，若有人类进入仓库库位区域或者库位周边的区域，则仓库中的喇叭和指示灯分别通过声音、灯光进行警示，同时，发送报警文字至计算机设备的显示界面，并且将该报警信息发送至RCS***，直至人类离开仓库库位区域。
在本实施例中，当类别为车辆时，确定该车辆是否进入仓库库位区域，并当车辆进入仓库库位区域时发出报警信息；当类别为货物时，对视频数据中表征库位区域的区域图像进行状态滤波处理，并基于状态滤波处理的结果确定库位存货信息；当类别为人类时，确定该人类是否进入仓库库位区域，并当人类进入仓库库位区域时发送报警信息。因此，按照与类别对应的检测方式进行检测，能够及时对人员、车辆进行安全监控，以及能够及时获取仓库库位区域中各个库位的存货信息，从而提高库位监控识别的准确度。
在一个实施例中，如图6所示，当该类别为货物时，对该视频数据中表征库位区域的区域图像进行状态滤波处理，并基于状态滤波处理的结果确定库位存货信息，包括：
步骤602，当该库位区域确定有货物时，判断该货物是否处于放正状态。
具体地，计算机设备对库位区域进行检测，当库位区域确定库位有货物时，基于该库位与货物的位置关系，判断该货物是否处于放正状态。其中，该库位与货物的位置关系为货物的全部整体是否在库位区域中。
在其中一个实施例中，当计算机设备判断该货物不处于放正状态时，仓库中的喇叭和指示灯分别通过声音、灯光进行警示，同时，发送报警文字至计算机设备的显示界面，并且将该报警信息发送至RCS***。
步骤604，当该货物处于放正状态时，基于该视频数据中表征库位的区域图像进行多次状态滤波，得到与状态滤波次数对应的多个第一状态滤波结果，并判断该库位区域周围是否存在车辆。
具体地，基于摄像设备库位分配配置表，对各个库位进行检测，当类别为货物，且货物处于放正状态时，计算机设备设置滤波次数，并基于视频数据中标准库位的区域图像进行多次状态滤波，获取多个第一状态滤波结果；计算机设备判断库位区域周围是否存在车辆。
步骤606，当获得多个且连续的相同第一状态滤波结果、该库位区域周围存在车辆、且该库位区域与车辆的距离大于距离阈值时，或者，当获得多个且连续的相同第一状态滤波结果、且该库位区域周围不存在车辆时，则确定该库位区域的使用信息，并通过与货物对应的货物信息确定货物种类。
具体地，计算机设备获取多个第一状态滤波结果，当获取到与滤波次数一致且连续的相同第一状态滤波结果、计算机设备检测到库位区域存在车辆、且库位区域与车辆的距离大于距离阈值时，或者，当获得多个且连续的相同第一状态滤波结果、且计算机设备检测到库位区域周围不存在车辆时，基于第一状态滤波结果确定该库位区域中库位占用状态，并且通过获取货物信息确定货物种类。
在其中一个实施例中，计算机设备的状态评估模块获取摄像设备库位分配配置表，对仓库库位区域中各个库位进行检测，当类别为货物，且库位有货物时，设定状态滤波的次数，如在1分钟内进行20次状态滤波，基于视频数据中表征库位区域，获取至少20帧区域图像，对每一帧的区域图像进行相应的状态滤波，获取相应的第一状态滤波结果，并且计算机设备检测该库位区域周围是否存在车辆。
例如，当第一状态滤波结果第一次出现连续20次为有货且库位周围没有车辆时，即将上一帧区域图像对应的滤波结果与当前帧区域图像对应的滤波结果进行对比，获取20个对比结果都为有货时，确定该库位为有货状态，并在计算机设备的显示界面上显示该库位为红色，即表示有货。或者，当第一状态滤波结果第一次出现连续20次为有货、库位区域周围存在车辆、且该车辆与库位区域的距离大于距离阈值(例如，距离阈值为2m，该车辆与库位区域的距离超过2m)时，即将上一帧区域图像对应的滤波结果与当前帧区域图像对应的滤波结果进行对比，获取20个对比结果都为有货时，确定该库位为有货状态，并在计算机设备的显示界面上显示该库位为红色，即表示有货。当未达到滤波次数时，计算机设备增加滤波次数直至出现连续且20次相同的滤波结果。计算机设备获取通过货物信息确定货物的种类。
在其中的一个实施例中，计算机设备的状态评估模块获取摄像设备库位分配配置表，对仓库库位区域中各个库位进行检测，当类别为货物，且库位有货物时，设定状态滤波的次数，如在1分钟内进行20次状态滤波，基于视频数据中表征库位区域的当前帧对应的区域图像，对当前帧区域图像进行至少20次的状态滤波，获取相应的第一状态滤波结果，并且计算机设备检测该库位区域周围是否存在车辆。
例如，当第一状态滤波结果第一次出现连续20次为有货且库位周围没有车辆时，即将当前帧区域图像中上一次滤波结果和当前滤波结果进行对比，获得20个对比结果都为有货时，确定该库位为有货状态，并在计算机设备的显示界面上显示该库位为红色，即表示有货。或者，当第一状态滤波结果第一次出现连续20次为有货、库位区域周围存在车辆、且该车辆与库位区域的距离大于距离阈值(例如，距离阈值为2m，该车辆与库位区域的距离超过2m)时，即将当前帧区域图像中上一次滤波结果和当前滤波结果进行对比，获得20个对比结果都为有货时，确定该库位为有货状态，并在计算机设备的显示界面上显示该库位为红色，即表示有货。当未达到滤波次数时，计算机设备增加滤波次数直至出现连续且20次相同的滤波结果。计算机设备获取通过货物信息确定货物的种类。
步骤608，将该库位区域的使用信息、以及该货物种类作为库位区域的库位存货信息。
具体地，计算机设备将库位区域的使用信息、以及库位中货物的种类，共同作为库位区域的库位存货信息。该计算机设备将库位存货信息保存，并输出值RCS***和计算机设备的显示模块。例如，计算机设备将库位区域中库位的使用情况、以及库位中货物的种类，作为库位区域的库位存货信息，通过Http和Json_rpc的方式发送至RCS***，以指示仓库无人叉车的动作，其中RCS***与无人叉车可以通过5G技术或者wifi进行连接。其中，当计算机设备的界面程序下发获取图像指令后，通过Http和Rpclib将图像输入至计算机设备的显示模块中。
在本实施例中，当库位区域确定有货时，计算机设备通过判断货物是否处于放正状态，及时确保货物在库位中是否是安全存放；当货物处于放正状态时，基于视频数据中表征库位的区域图像进行多次状态滤波，得到第一状态滤波结果，并判断该库位区域周围是否存在车辆；当获得多个且连续的相同第一状态滤波结果、该库位区域周围存在车辆、且该库位区域与车辆的距离大于距离阈值时，或者，当获得多个且连续的相同第一状态滤波结果、且该库位区域周围不存在车辆时，则确定库位区域的使用信息，并通过与货物对应的货物信息确定货物种类，将库位区域的使用信息、以及货物种类作为库位区域的库位存货信息。因此，不仅能够及时得到库位区域中各个库位的占用状态，并且能够获取库位存放货物的种类，从而及时获取仓库库位区域中各个库位的存货信息，从而提高库位监控识别的准确度。
在一个实施例中，当获得多个且连续的相同第一状态滤波结果、该库位区域周围存在车辆、且该库位区域与车辆的距离小于或等于距离阈值时，停止确定该库位区域的使用信息。
具体地，计算机设备获得多个第一状态滤波结果，当获取到与滤波次数一致且连续的相同第一状态滤波结果、计算机设备检测到库位区域周围存在车辆、且该库位区域与车辆的距离小于或等于距离阈值时，停止确定该库位区域的使用信息，其中，确定该库位区域的使用信息为刷新该库位区域的占用状态。
在其中一个实施例中，计算机设备的状态评估模块获取摄像设备库位分配配置表，对仓库库位区域中的各个库位进行检测，当类别为货物、且该库位有货物(即车辆放置货物至该库位)时，设定状态滤波的次数，如在1分钟内进行20次状态滤波，基于视频数据中表征库位区域，获取至少20帧区域图像，对每一帧的区域图像进行相应的状态滤波，获取相应的第一状态滤波结果，并且该库位区域与车辆的距离小于或等于距离阈值(即该库位区域周围中车辆放置货物还未离开)，该距离阈值可以通过计算机设备进行设置，例如计算机设备设置距离阈值为2米。
当无人叉车接收RCS***的存放指令，驶入库位区域时，该指令为无人叉车要将货物存放至无货物存放的库位，该库位标识为蓝色，其中，计算机设备的显示界面将有货物存放的库位用红色标识该库位，将没有货物存放的库位用蓝色标识该库位。计算机设备在无人叉车将货物运输至库位进行存放之后，对该库位进行状态滤波，当该库位的第一状态滤波结果第一次连续出现20次为有货，并且无人叉车距离库位的距离为小于或等于2米时，计算机设备的显示界面停止该库位的刷新，即计算机设备的显示界面仍显示该库位为蓝色，而且仓库中的喇叭和指示灯分别通过声音、灯光进行警示，同时，发送报警文字至计算机设备的显示界面，并且将该报警信息发送至RCS***，直至库位与无人叉车的距离大于2米，计算机设备重新开始刷新该库位，即该库位由蓝色标识变为红色标识。
在本实施例中，当获得多个且连续的相同第一状态滤波结果、该库位区域周围存在车辆、且该库位区域与车辆的距离小于或等于距离阈值时，停止确定该库位区域的使用信息。因此，计算机设备能够及时监控车辆与库位区域的距离，进而及时反馈车辆的运行状态，从而实现对车辆的安全监控。
在一个实施例中，当该库位区域确定无货物时，基于该视频数据中表征库位的区域图像进行多次状态滤波，得到与状态滤波次数对应的多个第二状态滤波结果、并判断该库位区域周围是否存在车辆；当获得多个且连续的相同第二状态滤波结果、该库位区域周围存在车辆、且该库位区域与车辆的距离大于距离阈值时，或者，当获得多个且连续的相同第一状态滤波结果、且该库位区域周围不存在车辆时，则确定该库位区域的库位区域的使用信息，并将该使用信息作为该库位区域的库位存货信息。
具体地，基于摄像设备库位分配配置表，对各个库位进行检测，当库位区域确定无货物时，计算机设备设置滤波次数，并基于视频数据中标准库位的区域图像进行多次状态滤波，获取多个第二状态滤波结果；计算机设备判断库位区域周围是否存在车辆；计算机设备获取多个第二状态滤波结果，当获取到与滤波次数一致且连续的相同第二状态滤波结果、计算机设备检测到库位区域周围存在车辆、且该库位区域与车辆的距离大于距离阈值时，或者，当获得多个且连续的相同第一状态滤波结果、且计算机设备检测到库位区域周围不存在车辆时，基于第二状态滤波结果确定该库位区域中库位占用状态，并且将该使用信息作为该库位区域的库位存货信息。
在其中一个实施例中，计算机设备通过状态评估模块获取摄像设备库位分配配置表，对仓库库位区域中各个库位进行检测，当库位区域确定无货物时，设定滤波次数，如在1分钟内进行20次状态滤波，基于视频数据中表征库位区域，获取至少20帧区域图像，对每一帧的区域图像进行相应的状态滤波，获取相应的第二状态滤波结果，并且计算机设备检测该库位区域周围是否存在车辆。
例如，当第二状态滤波结果第一次出现连续20次为无货且库位周围没有车辆时，即将上一帧区域图像对应的滤波结果与当前帧区域图像对应的滤波结果进行对比，获取20个对比结果都为无货时，确定该库位为无货状态，并在计算机设备的显示界面上显示该库位为蓝色，即表示无货。或者，当第一状态滤波结果第一次出现连续20次为无货、库位区域周围存在车辆、且该车辆与库位区域的距离大于距离阈值(例如，距离阈值为2m，该车辆与库位区域的距离超过2m)时，即将上一帧区域图像对应的滤波结果与当前帧区域图像对应的滤波结果进行对比，获取20个对比结果都为无货时，确定该库位为无货状态，并在计算机设备的显示界面上显示该库位为蓝色，即表示无货。当未达到滤波次数时，计算机设备增加滤波次数直至出现连续且20次相同的滤波结果。
在其中的一个实施例中，计算机设备通过状态评估模块获取摄像设备库位分配配置表，对仓库库位区域中各个库位进行检测，当库位区域确定无货物时，设定滤波次数，如在1分钟内进行20次状态滤波，基于视频数据中表征库位区域的当前帧对应的区域图像，对当前帧区域图像进行至少20次的状态滤波，获取相应的第二状态滤波结果，并且计算机设备检测该库位区域周围是否存在车辆。
例如，当第二状态滤波结果第一次出现连续20次为无货且库位周围没有车辆时，即将当前帧区域图像中上一次滤波结果和当前滤波结果进行对比，获得20个对比结果都为无货时，确定该库位为无货状态，并在计算机设备的显示界面上显示该库位为蓝色，即表示无货。或者，当第一状态滤波结果第一次出现连续20次为无货、库位区域周围存在车辆、且该车辆与库位区域的距离大于距离阈值(例如，距离阈值为2m，该车辆与库位区域的距离超过2m)时，即将当前帧区域图像中上一次滤波结果和当前滤波结果进行对比，获得20个对比结果都为无货时，确定该库位为无货状态，并在计算机设备的显示界面上显示该库位为蓝色，即表示无货。当未达到滤波次数时，计算机设备增加滤波次数直至出现连续且20次相同的滤波结果。
在本实施例中，当库位区域确定无货物时，基于视频数据中表征库位区域的区域图像进行多次状态滤波，得到第二状态滤波结果，并判断该库位区域周围是否存在车辆；当获得多个且连续的相同第二状态滤波结果、该库位区域周围存在车辆、且该库位区域与车辆的距离大于距离阈值时，或者，当获得多个且连续的相同第一状态滤波结果、且该库位区域周围不存在车辆时，则确定库位区域的库位区域的使用信息，并将使用信息作为库位区域的库位存货信息。因此，能够及时获取仓库库位区域中各个库位的存货信息，以指示仓库无人叉车仓库可存放的库位。
在其中一个实施例中，当无人叉车接收RCS***的取货指令，驶出库位区域时，该指令为无人叉车要从有货物存放且标识为红色的库位中取出货物，在无人叉车将货物从存放的库位取出之后，对该库位进行状态滤波，当该库位的第一状态滤波结果第一次连续出现20次为有货，并且无人叉车距离库位的距离为小于或等于2米时，计算机设备的显示界面停止该库位的刷新，即计算机设备的显示界面仍显示该库位为红色，而且仓库中的喇叭和指示灯分别通过声音、灯光进行警示，同时，发送报警文字至计算机设备的显示界面，并且将该报警信息发送至RCS***，直至库位与无人叉车的距离大于2米，计算机设备重新开始刷新该库位，即该库位由红色标识变为蓝色标识。
在本实施例中，当获得多个且连续的相同第一状态滤波结果、该库位区域周围存在车辆、且该库位区域与车辆的距离小于或等于距离阈值时，停止确定该库位区域的使用信息。因此，计算机设备能够及时监控车辆与库位区域的距离，进而及时反馈车辆的运行状态，从而实现对车辆的安全监控。
为了便于更加清楚的了解仓库库位区域中对象状态的检测方案，下面提供了一个较为详细的实施例来描述。针对于仓库库位区域中对象状态的检测方案，具体如图7所示，其中，监控***可以理解为计算机设备，监控***将获得仓库库位区域中对象所属的类别进行状态检测，首先对仓库库位区域、库位区域分别进行检测，其中，当检测整个仓库库位区域中有人员进入时，仓库中的喇叭和指示灯分别通过声音、灯光进行警示，同时，发送报警文字至监控***的显示界面，并且将该报警信息发送至RCS***，直至人类离开仓库库位区域；当对仓库区域中各个库位进行检测时，结合相机库位分配配置表，判断各个库位中是否有车辆或者有货物。当出现车辆时，通过仓库中的喇叭、指示灯进行报警，发送报警文字至监控***的显示界面，并且将该报警信息发送至RCS***，直至车辆离开该库位。当库位中有货时，首先判断该库位中货物是否放正，若放歪，则监控***可以通过显示界面进行报警，也可以通过喇叭、指示灯进行报警，并将该报警信息发送至RCS***，以确保货物处于安全放置状态。当该库位存在货物，且货物处于放正状态，或者该库位无货物时，设定滤波次数，并且分别判断本次状态滤波结果与上一状态滤波结果是否一致、状态滤波是否达到滤波次数、以及进行滤波判断过程中是否出现车辆。其中，当出现连续相同的状态滤波结果，且达到滤波次数、库位区域周围存在车辆、且库位区域与车辆的距离大于距离阈值时，或者，当出现连续相同的状态滤波结果，且达到滤波次数、库位区域周围没有车辆出现时，改变库位状态，并记录库位占用状态，若该库位存在货物时，监控***通过获取库位中货物信息确定货物种类信息。因此，对于当库位存在货物时，监控***将库位占用状态和货物种类信息记录并输出至RCS***，以指示仓库无人叉车的动作；当库位无货物时，监控***将该库位的占用情况记录并输出至RCS***，以指示仓库无人叉车的动作。因此，监控***能够将各对象的状态按照对于所属的类别进行检测，从而及时获取仓库库位区域中各个库位的存货信息，从而提高库位监控识别的准确度。
为了便于更清楚的了解本申请的技术方案，下面提供一个较为详细的实施例来描述。在对仓库库位进行监控时，首先进行监控***的前期调试，其中，监控***可以理解为计算机设备，具体如图8所示，即检测相机(即摄像设备)的安装与调整，搭建监控服务器环境，再标定相机的内参，并采用切图工具对仓库库位区域进行库位划分，再通过检测获取检测数据，该采集的检测数据包括单独一个人员、很多人员、单独车辆、多辆车辆、各个角度和位置的车辆、有人叉车、车辆附近有人员、单独货物、多种货物(即存在各种种类、间距、角度、以及位置的货物)、车辆正在搬运货物、货物旁边有车辆、车辆正在搬运货物且旁边有人、货物旁边有人和车辆、人在叉车上操作、人在托盘上站的(若有托盘)等，并对检测数据进行数据清晰、样本均衡、数据标注、以及模型训练获得训练完成的类别检测模型，再将该模型导入，输入测试程序，以及设置运行模型，最后将RCS***与监控***连接，进行对接测试，当对接测试完成后，将调试好的监控***运用在如图1所示的应用环境中。
针对于仓库库位的监控方案，具体如图9所示，首先监控***中的监控程序不断的从摄像设备中的库位检测摄像头获取视频流，其中，计算机设备可以为监控***；将视频流输入至图像采集和预处理模块进行处理获得目标图像，其中，该模块将输入的视频进行解码处理获得解码图像，再调整该解码图像中畸变，然后进行降采样处理，以减少计算量，并将原始素材的视频流进行保存；将目标图像输入至深度学习物体检测分类模块进行分类，获得目标图像中出现的各个对象所属的类别，其中，先加载训练完成的类别检测模型，再将目标图像输入至类别检测模型中进行前向计算，获得各个对象所属的类别；将各个对象所属的类别输入至状态评估模块，将获取到的库位货物状态及种类、暂存区人员状态、暂存区车辆状态，作为状态结果；最后将状态结果记录至监控***，并且监控***通过HTTP+Json_rpc，将状态结果输出至RCS***和界面显示***中，若界面程序下发获取图像的指令后，通过HTTP+Rpclib将图像输入监控***的显示模块中，从而实现对仓库库位的实时监控，进而提高对仓库库位识别的准确度。
由于该界面显示模块(即为界面***)通过网络传输图片和状态信息，因此界面程序可以部署在库位监控服务器上、客户的服务器上、平板电脑上等等，有很强的便携性；该界面显示模块的显示程序可以点击摄像设备总览地图或输入固定的相机标识号，选择某个固定的相机图像进行预览；并且该界面显示模块还可以远程控制，完成部分配置的功能。
在上述实施例中，视频数据在监控***中的库位监控界面(即界面显示模块)、监控***中的深度学习库位监控感知模块、RCS***中流通情况，具体请参考图10，图中的双向箭头代表数据双向流通，其中，Xml配置库位表对应于相机库位分配配置表，即包含每个相机的坐标、内外参数、包含的库位信息等。深度学习库位监控感知模块对应监控***；库位监控界面对应监控***输出的显示模块。深度学习库位监控感知模块和显示界面之间通过Json_rpc和Rpclib进行通讯。Json_rpc是个公用接口，即和界面程序通讯，与RCS***通讯，主要传输的是库位、人和车的状态。由于Json_rpc不能传输图像，因此采用RpclibMessage pack将图像传输给界面程序。
针对于视频数据在监控***的库位监控界面(即界面显示模块)、深度学习库位监控感知模块、RCS***中流通情况,其中，监控***可以理解为计算机设备，首先库位监控界面会下发要观看的相机号(即摄像设备)至深度学习库位监控感知模块，而深度学习库位监控感知模块会传输图片给库位监控界面，其中，界面程序可以控制感知模块完成标定、采集数据、记录日志等工作，可以读写xml库位表。深度学习库位监控感知模块和RCS***之间的数据也是双向流通的，深度学习库位监控感知模块会发状态给RCS***，RCS***也可以单独询问人员和车辆位置，或深度学习库位监控感知模块不刷新和初始化等。
应该理解的是，虽然图2、4-7、9-10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、4-7、9-10中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图11所示，提供了一种仓库库位的监控装置，包括：获取模块1102、确定模块1104、检测模块1106和发送模块1108，其中：
获取模块1102，用于获取仓库库位区域的视频数据，并基于该视频数据获得与仓库库位区域对应的目标图像；该仓库库位区域包括库位区域和该库位周边的区域。
确定模块1104，用于基于类别检测模型对该目标图像进行检测，确定该目标图像中出现的各个对象所属的类别，该类别至少包括人类、车辆、以及货物中的一种。
检测模块1106，用于基于该各个对象所属的类别，对各个库位中对象的状态进行检测，得到检测结果；该检测结果至少包括人类是否进入仓库库位区域、车辆状态信息、以及库位存货信息中的一种。
发送模块1108，用于将该检测结果发送至仓库调度***，以使得该仓库调度***对该仓库库位区域进行监控。
在一个实施例中，该获取模块1102，具体用于获取仓库库位区域的视频数据；对该视频数据进行解码处理，得到与视频数据对应的解码图像；将该解码图像进行校准处理，得到校准图像；将该校准图像进行降采样处理，得到与仓库库位区域对应的目标图像。
在一个实施例中，该确定模块1104，具体用于获取训练好的类别检测模型；基于该类别检测模型，对该目标图像进行特征提取，得到与该目标图像对应的图像特征；根据该图像特征确定该目标图像中出现的各个对象所属的类别。
在一个实施例中，该检测模块1106，具体用于当该类别为车辆时，确定该车辆是否进入仓库库位区域，并当车辆进入仓库库位区域时发出报警信息；当该类别为货物时，对该视频数据中表征库位区域的区域图像进行状态滤波处理，并基于状态滤波处理的结果确定库位存货信息；当该类别为人类时，确定该人类是否进入仓库库位区域，并当人类进入仓库库位区域时发出报警信息。
在一个实施例中，该检测模块1108，用于当该库位区域确定有货物时，判断该货物是否处于放正状态；当该货物处于放正状态时，基于该视频数据中表征库位的区域图像进行多次状态滤波，得到与状态滤波次数对应的多个第一状态滤波结果，并判断该库位区域周围是否存在车辆；当获得多个且连续的相同第一状态滤波结果、该库位区域周围存在车辆、且该库位区域与车辆的距离大于距离阈值时，或者，当获得多个且连续的相同第一状态滤波结果、且该库位区域周围不存在车辆时，则确定该库位区域的使用信息，并通过与货物对应的货物信息确定货物种类；将该库位区域的使用信息、以及该货物种类作为库位区域的库位存货信息。
在一个实施例中，该检测模块1108，还用于当获得多个且连续的相同第一状态滤波结果、该库位区域周围存在车辆、且该库位区域与车辆的距离小于或等于距离阈值时，停止确定该库位区域的使用信息。
在一个实施例中，该检测模块1108，还用于当该库位区域确定无货物时，基于该视频数据中表征库位的区域图像进行多次状态滤波，得到与状态滤波次数对应的多个第二状态滤波结果、并判断该库位区域周围是否存在车辆；当获得多个且连续的相同第二状态滤波结果、该库位区域周围存在车辆、且该库位区域与车辆的距离大于距离阈值时，或者，当获得多个且连续的相同第一状态滤波结果、且该库位区域周围不存在车辆时，则确定该库位区域的库位区域的使用信息，并将该使用信息作为该库位区域的库位存货信息。
关于仓库库位的监控装置的具体限定可以参见上文中对于仓库库位的监控方法的限定，在此不再赘述。上述仓库库位的监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储仓库库位的监控数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种仓库库位的监控方法。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种仓库库位的监控方法，其特征在于，所述方法包括：
获取仓库库位区域的视频数据，并基于所述视频数据获得与仓库库位区域对应的目标图像；所述仓库库位区域包括库位区域和所述库位周边的区域；
基于类别检测模型对所述目标图像进行检测，确定所述目标图像中出现的各个对象所属的类别，所述类别至少包括人类、车辆、以及货物中的一种；
基于所述各个对象所属的类别，对各个库位中对象的状态进行检测，得到检测结果；所述检测结果至少包括人类是否进入仓库库位区域、车辆状态信息、以及库位存货信息中的一种；
将所述检测结果发送至仓库调度***，以使得所述仓库调度***对所述仓库库位区域进行监控。
2.根据权利要求1所述的方法，其特征在于，所述获取仓库库位区域的视频数据，并基于所述视频数据获得与仓库库位区域对应的目标图像，包括：
获取仓库库位区域的视频数据；
对所述视频数据进行解码处理，得到与视频数据对应的解码图像；
将所述解码图像进行校准处理，得到校准图像；
将所述校准图像进行降采样处理，得到与仓库库位区域对应的目标图像。
3.根据权利要求1所述的方法，其特征在于，所述基于类别检测模型对所述目标图像进行检测，确定所述目标图像中出现的各个对象所属的类别，包括：
获取训练好的类别检测模型；
基于所述类别检测模型，对所述目标图像进行特征提取，得到与所述目标图像对应的图像特征；
根据所述图像特征确定所述目标图像中出现的各个对象所属的类别。
4.根据权利要求1所述的方法，其特征在于，所述基于所述各个对象所属的类别，对各个库位中对象的状态进行检测，得到检测结果，包括：
当所述类别为车辆时，确定所述车辆是否进入仓库库位区域，并当车辆进入仓库库位区域时发出报警信息；
当所述类别为货物时，对所述视频数据中表征库位区域的区域图像进行状态滤波处理，并基于状态滤波处理的结果确定库位存货信息；
当所述类别为人类时，确定所述人类是否进入仓库库位区域，并当人类进入仓库库位区域时发出报警信息。
5.根据权利要求4所述的方法，其特征在于，所述当所述类别为货物时，对所述视频数据中表征库位区域的区域图像进行状态滤波处理，并基于状态滤波处理的结果确定库位存货信息，包括：
当所述库位区域确定有货物时，判断所述货物是否处于放正状态；
当所述货物处于放正状态时，基于所述视频数据中表征库位的区域图像进行多次状态滤波，得到与状态滤波次数对应的多个第一状态滤波结果，并判断所述库位区域周围是否存在车辆；
当获得多个且连续的相同第一状态滤波结果、所述库位区域周围存在车辆、且所述库位区域与车辆的距离大于距离阈值时，或者，当获得多个且连续的相同第一状态滤波结果、且所述库位区域周围不存在车辆时，则确定所述库位区域的使用信息，并通过与货物对应的货物信息确定货物种类；
将所述库位区域的使用信息、以及所述货物种类作为库位区域的库位存货信息。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
当获得多个且连续的相同第一状态滤波结果、所述库位区域周围存在车辆、且所述库位区域与车辆的距离小于或等于距离阈值时，停止确定所述库位区域的使用信息。
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
当所述库位区域确定无货物时，基于所述视频数据中表征库位的区域图像进行多次状态滤波，得到与状态滤波次数对应的多个第二状态滤波结果、并判断所述库位区域周围是否存在车辆；
当获得多个且连续的相同第二状态滤波结果、所述库位区域周围存在车辆、且所述库位区域与车辆的距离大于距离阈值时，或者，当获得多个且连续的相同第一状态滤波结果、且所述库位区域周围不存在车辆时，则确定所述库位区域的库位区域的使用信息，并将所述使用信息作为所述库位区域的库位存货信息。
8.一种仓库库位的监控装置，其特征在于，所述装置包括：
获取模块，用于获取仓库库位区域的视频数据，并基于所述视频数据获得与仓库库位区域对应的目标图像；所述仓库库位区域包括库位区域和所述库位周边的区域；
确定模块，用于基于类别检测模型对所述目标图像进行检测，确定所述目标图像中出现的各个对象所属的类别，所述类别至少包括人类、车辆、以及货物中的一种；
检测模块，用于基于所述各个对象所属的类别，对各个库位中对象的状态进行检测，得到检测结果；所述检测结果至少包括人类是否进入仓库库位区域、车辆状态信息、以及库位存货信息中的一种；
发送模块，用于将所述检测结果发送至仓库调度***，以使得所述仓库调度***对所述仓库库位区域进行监控。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110769235.7A 2021-07-07 2021-07-07 仓库库位的监控方法、装置、计算机设备和存储介质 Pending CN115600953A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110769235.7A CN115600953A (zh) 2021-07-07 2021-07-07 仓库库位的监控方法、装置、计算机设备和存储介质
KR1020220081351A KR20230008612A (ko) 2021-07-07 2022-07-01 창고 저장 위치의 모니터링 방법, 컴퓨터 디바이스 및 저장 매체
US17/855,872 US20230007831A1 (en) 2021-07-07 2022-07-01 Method for warehouse storage-location monitoring, computer device, and non-volatile storage medium
EP22182621.7A EP4116906A1 (en) 2021-07-07 2022-07-01 Method for warehouse storage-location monitoring, computer device, and non-volatile storage medium
JP2022108074A JP7352694B2 (ja) 2021-07-07 2022-07-05 倉庫ロケーションの監視方法、コンピュータ装置及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110769235.7A CN115600953A (zh) 2021-07-07 2021-07-07 仓库库位的监控方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN115600953A true CN115600953A (zh) 2023-01-13

Family

ID=82547483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110769235.7A Pending CN115600953A (zh) 2021-07-07 2021-07-07 仓库库位的监控方法、装置、计算机设备和存储介质

Country Status (5)

Country Link
US (1) US20230007831A1 (zh)
EP (1) EP4116906A1 (zh)
JP (1) JP7352694B2 (zh)
KR (1) KR20230008612A (zh)
CN (1) CN115600953A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117371762A (zh) * 2023-12-04 2024-01-09 中兴耀维科技江苏有限公司 基于环境监控远程部署管理平台
CN117557968A (zh) * 2024-01-11 2024-02-13 深圳市明心数智科技有限公司 监控方法、装置、存储介质及计算机设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115904165B (zh) * 2022-11-07 2023-09-12 北京国电通网络技术有限公司 运输节点图展示方法、装置、电子设备和计算机可读介质
CN116068956B (zh) * 2023-03-07 2023-07-14 深圳华龙讯达信息技术股份有限公司 基于plc的生产线过程监视***及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5069936B2 (ja) 2007-04-18 2012-11-07 日立Ｇｅニュークリア・エナジー株式会社 資材保管位置管理システムおよびその方法
US8111923B2 (en) 2008-08-14 2012-02-07 Xerox Corporation System and method for object class localization and semantic class based image segmentation
US20110320322A1 (en) * 2010-06-25 2011-12-29 Symbol Technologies, Inc. Inventory monitoring using complementary modes for item identification
CN108694540A (zh) * 2012-06-12 2018-10-23 实耐宝公司 库存控制***
US20140267776A1 (en) 2013-03-15 2014-09-18 MJK Holding. LLC Tracking system using image recognition
US9894350B2 (en) 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
JP6238028B2 (ja) * 2016-03-11 2017-11-29 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
CN113632117A (zh) 2018-12-21 2021-11-09 动态2人工智能公司 仓库管理方法和***
JP6918908B2 (ja) 2019-12-04 2021-08-11 三菱ロジスネクスト株式会社 荷役システム
CN111311630B (zh) * 2020-01-19 2023-05-23 上海智勘科技有限公司 在仓储管理中通过视频智能统计货物数量的方法和***
CN112001228A (zh) * 2020-07-08 2020-11-27 上海品览数据科技有限公司 一种基于深度学习的视频监控仓库出入库计数***及方法
CN112307786B (zh) 2020-10-13 2022-07-08 上海迅邦电子科技有限公司 一种多个不规则二维码批量定位识别方法
CN112418764A (zh) * 2020-11-24 2021-02-26 上海治云智能科技有限公司 一种5g可视化仓管***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117371762A (zh) * 2023-12-04 2024-01-09 中兴耀维科技江苏有限公司 基于环境监控远程部署管理平台
CN117371762B (zh) * 2023-12-04 2024-02-20 中兴耀维科技江苏有限公司 基于环境监控远程部署管理平台
CN117557968A (zh) * 2024-01-11 2024-02-13 深圳市明心数智科技有限公司 监控方法、装置、存储介质及计算机设备
CN117557968B (zh) * 2024-01-11 2024-04-30 深圳市明心数智科技有限公司 监控方法、装置、存储介质及计算机设备

Also Published As

Publication number Publication date
US20230007831A1 (en) 2023-01-12
EP4116906A1 (en) 2023-01-11
KR20230008612A (ko) 2023-01-16
JP7352694B2 (ja) 2023-09-28
JP2023010638A (ja) 2023-01-20

Similar Documents

Publication Publication Date Title
CN115600953A (zh) 仓库库位的监控方法、装置、计算机设备和存储介质
US20230316762A1 (en) Object detection in edge devices for barrier operation and parcel delivery
CN111770306B (zh) 场景监控方法、装置、计算机设备和存储介质
CN113515985B (zh) 自助过磅***、过磅检测方法、设备及存储介质
CN106355367A (zh) 仓库监控管理装置
CN108805184B (zh) 一种固定空间、车辆上的图像识别方法及***
CN111191507A (zh) 智慧社区的安全预警分析方法及***
CN111274934A (zh) 在仓储管理中智能监控叉车运行轨迹的实现方法和***
CN107122743A (zh) 安防监控方法、装置和电子设备
US20200302177A1 (en) Intelligent video analysis
CN111581436A (zh) 目标识别方法、装置、计算机设备和存储介质
WO2021233058A1 (zh) 监控货架上的物品的方法、计算机和***
CN111723767B (zh) 一种图像处理方法、装置及计算机存储介质
CN110677448A (zh) 关联信息推送方法、装置和***
CN112528825A (zh) 一种基于图像识别的车站乘客招援服务方法
US20230111865A1 (en) Spatial motion attention for intelligent video analytics
KR20140056674A (ko) 사고 처리 지원 방법 및 이를 위한 장치
CN114241354A (zh) 仓库人员行为识别方法、装置、计算机设备、存储介质
CN114022070A (zh) 盘库方法、装置、设备及存储介质
Huang et al. A bus crowdedness sensing system using deep-learning based object detection
CN111698642A (zh) 告警分发方法、设备及计算机存储介质
CN116798258A (zh) 车位占用状态确定方法、装置、电子设备和存储介质
CN114548860B (zh) 一种粮仓监控安全防护方法、装置、设备和介质
KR102633205B1 (ko) 인공신경망을 이용해 교통상황에 대한 특이패턴을 감지하는 장치
CN113515989B (zh) 移动对象、烟火检测方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination