CN110118973A - 仓库智能感知识别方法、装置及电子设备 - Google Patents

仓库智能感知识别方法、装置及电子设备 Download PDF

Info

Publication number
CN110118973A
CN110118973A CN201910443885.5A CN201910443885A CN110118973A CN 110118973 A CN110118973 A CN 110118973A CN 201910443885 A CN201910443885 A CN 201910443885A CN 110118973 A CN110118973 A CN 110118973A
Authority
CN
China
Prior art keywords
warehouse
event
target
point cloud
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910443885.5A
Other languages
English (en)
Other versions
CN110118973B (zh
Inventor
朱建强
周庆华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yameilijia Technology Co Ltd
Original Assignee
Hangzhou Yameilijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yameilijia Technology Co Ltd filed Critical Hangzhou Yameilijia Technology Co Ltd
Priority to CN201910443885.5A priority Critical patent/CN110118973B/zh
Publication of CN110118973A publication Critical patent/CN110118973A/zh
Application granted granted Critical
Publication of CN110118973B publication Critical patent/CN110118973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Warehouses Or Storage Devices (AREA)

Abstract

本发明提供了一种仓库智能感知识别方法、装置及电子设备,方法包括:获取激光雷达扫描仓库时得到的仓库激光点云全景图;该仓库激光点云全景图为在预先构建的仓库统一坐标系下的点云拼接图;在该仓库统一坐标系中,仓库的空间区域分别和区域属性、业务感知识别规则精确映射;对上述仓库激光点云全景图进行点云分析和自动解算,得到待监测的目标和事件,根据目标和事件在仓库统一坐标系中对应的坐标,调取相应的摄像装置对目标和事件进行视频采集及图像分析,判断出该事件的事件类型;将上述目标和事件的坐标、事件类型及视频图像进行上报。本发明能够基于激光雷达和视频监控的智能联动,实现仓库空间区域的智能目标和事件监测和识别。

Description

仓库智能感知识别方法、装置及电子设备
技术领域
本发明涉及智能识别技术领域,尤其是涉及一种仓库智能感知识别方法、装置及电子设备。
背景技术
物流园区仓库,尤其是涉及重度物流作业的仓库,其占用情况、人员作业监控、货物检测、叉车作业等情况的实时感知和智能识别对于仓库的作业效率和安全十分重要。在仓库的数字化感知和管理上,传统的技术手段面临着许多瓶颈:
(1)基于视频的技术在空间位置感知和运动目标监测上存在先天不足,且算力消耗巨大,总体成本较高。从视频图像还原立体空间的精确位置、速度等参数存在先天不足。同时,图像识别算法的开发复杂且通用性不强、受场景影响较大、精度难以提高且消耗的算力较大,难以大规模推广应用。
(2)基于传感器的技术受到传感器布置、传感器稳定性、传感器维护以及总体成本的限制,难以大规模应用。基于RFID、定位技术、毫米波雷达等传感器的感知技术,需要布置大量的传感器,总体成本较高。同时,传感器的管理和维护需要大量的工作,增加了运维难度。另外,传感器难以反映精确的空间坐标信息,在涉及精确的空间感知和事件监控上存在不足。
发明内容
本发明的目的在于提供一种仓库智能感知识别方法、装置及电子设备,能够基于激光雷达和视频监控的智能联动,实现在统一坐标系下的数字仓库空间的智能目标和事件监测和识别,达到精确空间定位、联动监测、高精度识别的目标,满足对仓库空间作业效率和安全的要求。
本发明提供的一种仓库智能感知识别方法,所述方法包括:
获取激光雷达扫描仓库时得到的仓库激光点云全景图;所述仓库激光点云全景图为在预先构建的仓库统一坐标系下的点云拼接图;在所述仓库统一坐标系中,仓库的空间区域分别和区域属性、业务感知识别规则精确映射;
对所述仓库激光点云全景图进行点云分析和自动解算,得到待监测的目标和事件;
根据所述目标和事件在所述仓库统一坐标系中对应的坐标,调取相应的摄像装置对所述目标和事件进行视频采集;
对采集的所述目标和事件的视频图像,进行图像分析,以判断所述事件的事件类型;
将所述目标和事件的所述坐标、所述事件类型及所述视频图像进行上报。
进一步的,在获取激光雷达扫描仓库时得到的仓库激光点云全景图的步骤之前,还包括:
获取所述仓库的空间区域中,各个子区域在实体仓库坐标系下对应的区域属性及业务感知识别规则;
建立所述仓库的全局激光地图,以确定所述仓库的数字仓库坐标系;
将所述实体仓库坐标系与所述数字仓库坐标系进行统一标定,得到所述仓库统一坐标系,以使各个所述子区域对应的区域属性及业务感知识别规则一一映射于所述数字仓库坐标系中。
进一步的,获取所述仓库的空间区域中各个子区域对应的区域属性及业务规则的步骤,包括:
对所述仓库的空间区域进行网格化处理,建立所述仓库的实体仓库坐标系;
基于所述仓库的实体仓库坐标系及空间区域内的业务属性,将所述仓库的空间区域切分为多个子区域;
根据每个所述子区域对应的业务属性,确定每个所述子区域对应的区域属性;
为每个所述子区域匹配对应的业务感知识别规则。
进一步的,在获取激光雷达扫描仓库时得到的仓库激光点云全景图的步骤之前,还包括:
接收用户输入的所述激光雷达和所述摄像装置的位置信息,及所述摄像装置的配置参数;
根据所述激光雷达和所述摄像装置的位置信息,在所述仓库统一坐标系中对所述激光雷达和所述摄像装置的位置进行标定;
根据所述摄像装置的配置参数,在所述仓库统一坐标系中对所述摄像装置进行配置。
进一步的,获取激光雷达扫描仓库时得到的仓库激光点云全景图的步骤,包括:
收集每个布设于所述仓库中的激光雷达,实时扫描所述仓库的空间区域时得到的激光点云;
在所述仓库统一坐标系下,对各个所述激光点云进行点云拼接,得到所述仓库激光点云全景图。
进一步的,对所述仓库激光点云全景图进行点云分析和自动解算,得到待监测的目标和事件的步骤,包括:
将所述仓库激光点云全景图与初始仓库全景激光点云进行比对分析,及基于激光对运动目标大小、速度和姿态上的解算,从所述仓库激光点云全景图中分离出目标区域下所述业务感知识别规则对应的目标和事件;
当所述目标和事件的判定数据达到预设阈值时,将所述目标和事件作为所述待监测的目标和事件。
进一步的,对采集的所述目标和事件的视频图像,进行图像分析,以判断所述事件的事件类型的步骤,包括:
调用预设的视频图像算法,对所述目标和事件的视频图像进行图像分析,确定所述目标对应的所述事件的事件类型。
本发明还提供一种仓库智能感知识别装置,所述装置包括:
点云图获取模块,用于获取激光雷达扫描仓库时得到的仓库激光点云全景图;所述仓库激光点云全景图为在预先构建的仓库统一坐标系下的点云拼接图;在所述仓库统一坐标系中,仓库的空间区域分别和区域属性、业务感知识别规则精确映射;
点云分析解算模块,竽对所述仓库激光点云全景图进行点云分析和自动解算,得到待监测的目标和事件;
联动调取摄像模块,用于根据所述目标和事件在所述仓库统一坐标系中对应的坐标,调取相应的摄像装置对所述目标和事件进行视频采集;
图像分析模块,用于对采集的所述目标和事件的视频图像,进行图像分析,以判断所述事件的事件类型;
目标事件上报模块,用于将所述目标和事件的所述坐标、所述事件类型及所述视频图像进行上报。
本发明还提供一种电子设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如第一方面所述的仓库智能感知识别方法的步骤。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的仓库智能感知识别方法的步骤。
本发明提供的仓库智能感知识别方法中,首先获取激光雷达扫描仓库时得到的仓库激光点云全景图;该仓库激光点云全景图为在预先构建的仓库统一坐标系下的点云拼接图;在该仓库统一坐标系中,仓库的空间区域分别和区域属性、业务感知识别规则精确映射;然后对上述仓库激光点云全景图进行点云分析和自动解算,得到待监测的目标和事件,进一步根据目标和事件在仓库统一坐标系中对应的坐标,调取相应的摄像装置对目标和事件进行视频采集;在采集目标和事件的视频图像后,进行图像分析,判断出该事件的事件类型;最后将上述目标和事件的坐标、事件类型及视频图像进行上报。本发明能够基于激光雷达和视频监控的智能联动,实现在仓库统一坐标系下的仓库空间区域的智能目标和事件监测和识别,达到精确空间定位、联动监测、高精度识别的目标,满足对仓库空间作业效率和安全的要求。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种仓库智能感知识别方法的流程图;
图2为本发明实施例提供的另一种仓库智能感知识别方法的流程图;
图3为本发明实施例提供的另一种仓库智能感知识别方法的流程图;
图4为本发明实施例提供的另一种仓库智能感知识别方法的流程图;
图5为本发明实施例提供的另一种仓库智能感知识别方法的流程图;
图6为本发明实施例提供的一种仓库智能感知识别装置的结构图;
图7为本发明实施例提供的另一种仓库智能感知识别装置的结构图;
图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的一种仓库智能感知识别方法,该方法能够基于精确空间坐标实现激光雷达和摄像装置的自动联动,并基于实时点云分析和图像识别自动判断目标和事件类型,智能识别自动上报,实现对坐标化的数字仓库空间的智能监测。图1示出了本实施例提供的一种仓库智能感知识别方法的流程图,该方法具体包括以下步骤:
步骤S102,获取激光雷达扫描仓库时得到的仓库激光点云全景图;仓库激光点云全景图为在预先构建的仓库统一坐标系下的点云拼接图;在仓库统一坐标系中,仓库的空间区域分别和区域属性、业务感知识别规则精确映射。
具体应用中,在仓库的空间区域内布设有激光雷达和摄像装置(如摄像头),可以实现对仓库空间区域的全覆盖。通过激光雷达对仓库空间区域的扫描,可以得到多个激光点云,将点云在预先构建的仓库统一坐标系下进行拼接,即可得到仓库激光点云全景图。由于在仓库统一坐标系中,仓库的空间区域分别和区域属性、业务感知识别规则实现了精确映射,所以后续对点云分析和解算时可以确定出业务感知识别规则要求下的目标和事件。
步骤S104,对仓库激光点云全景图进行点云分析和自动解算,得到待监测的目标和事件。
具体的,将仓库激光点云全景图与初始仓库全景激光点云进行比对分析,及基于激光对运动目标大小、速度和姿态上的解算,从仓库激光点云全景图中分离出目标区域下业务感知识别规则对应的目标和事件,上述目标可以是仓库中的工作人员,也可以是仓库中的货物、货架、设备等。事件比如:叉车违规作业、人员暴力作业或违规入侵或占用等。当目标和事件的判定数据达到预设阈值时,将目标和事件作为待监测的目标和事件。上述判定数据可以包括目标大小、移动目标、区域占用、目标姿态、目标相互作用、运动速度、高度等空间静态和动态信息,以这些判定数据形成触发条件。当探测到的事件产生或者判定数据达到预设阈值时,即判定触发条件成立,并启动下一步联动监测分析,也就是确定出需要进一步监测的目标和事件。
步骤S106,根据目标和事件在仓库统一坐标系中对应的坐标,调取相应的摄像装置对目标和事件进行视频采集。
根据点云分析获取的触发条件及精确空间坐标,按照坐标、视野覆盖、空间换算算法,自动联动最佳视野的摄像头对该触发事件进行拍摄,采集视频图像分析所需的原始素材。
对于固定安装的相机,按照预定规则确定并调取最佳摄像机视野。对于云台控制相机,其优选的云台控制逻辑是根据触发条件的空间方位,自动转动摄像机方位,抓取视频图像资料,完成拍摄之后,自动回复至初始方位角,或者根据新的触发条件自动调整方位角完成新的触发事件的视频图像拍摄。
步骤S108,对采集的目标和事件的视频图像,进行图像分析,以判断事件的事件类型。
根据采集的视频图像资料,调用视频图像算法,确定该触发事件的目标类型以及该触发条件下的目标及事件类型。事件类型包括:货物堆积高度超标、设备运行速度超速或者货架倾斜角度超标等。当事件发生时,通过视频图像分析,根据雷达检测事件的精确坐标,获取需要识别的目标区域,并判定事件的主体和客体的目标类型,包括人、车、货、设备、设施。
步骤S110,将目标和事件的坐标、事件类型及视频图像进行上报。
结合点云分析的目标大小、速度、姿态以及基于点云的目标识别结果,结合该事件发生方位下的图像识别结果,确定所监测到的事件类型,确定事件发生的坐标、事件,调取摄像机采集视频图像素材用于留存。并将事件的判定结果、素材以及精确的空间位置进行上报,比如:将检测并判定的最终事件结果以及视频图像记录、精确的空间位置、发生的区域信息,按照约定的数据格式打包为完整信息,上报给数字仓库管理***。
本发明实施例提供的访求,能够基于激光雷达和视频监控的智能联动,实现在仓库统一坐标系下的仓库空间区域的智能目标和事件监测和识别,达到精确空间定位、联动监测、高精度识别的目标,满足对仓库空间作业效率和安全的要求。
下面对构建仓库统一坐标系的过程进行详细的说明,参见图2所示,具体包括以下步骤:
步骤S202,获取仓库的空间区域中,各个子区域在实体仓库坐标系下对应的区域属性及业务感知识别规则。
具体实现时,先针对仓库的物理空间,建立仓库的实体仓库坐标系,然后进行子区域的切分、确定每个子区域对应的区域属性及为每个子区域进行业务感知识别规则的匹配。具体的过程参见图3所示,包括以下步骤:
步骤S302,对仓库的空间区域进行网格化处理,建立仓库的实体仓库坐标系。
结合仓库的竣工设计资料、改造施工设计资料、三维设计模型以及实际勘测资料,对仓库的物理立体空间进行网格化,确定仓库空间的坐标零点,建立仓库的实体仓库坐标系F(x,y,z)。该坐标系构成了对物理仓库空间的数字化描述,可以为下一步的数字仓库空间坐标的校准以及空间实体属性信息的赋值提供支持。
步骤S304,基于仓库的实体仓库坐标系及空间区域内的业务属性,将仓库的空间区域切分为多个子区域。
在仓库的实体仓库坐标系下,将仓库的空间区域按照业务属性进行切分,业务属性也就是不同区域的使用用途,比如:堆放货物、货物分拣、装卸货物等,基于这些不同的业务属性,将仓库的空间区域切分为多个子区域。
步骤S306,根据每个子区域对应的业务属性,确定每个子区域对应的区域属性。
基于每个子区域对应的业务属性,进一步确定其对应的区域属性,比如:堆货区、月台区、走道、车道、仓储区、装卸货区、建包区、分拣区、公共空间、杂物区等。
步骤S308,为每个子区域匹配对应的业务感知识别规则。
对不同区域或区域属性进行需要感知和识别的规则的匹配,形成完整的语义信息。业务感知识别规则包括但不限于货架姿态、堆货高度、速度、设备设施损坏、叉车违规作业、人员暴力作业、违规入侵或占用等内容。所有的空间或区域与业务感知识别规则之间精确匹配,建立时空模型与业务规则之间的关联驱动关系,得到仓库的初始特征地图。
步骤S204,建立仓库的全局激光地图,以确定仓库的数字仓库坐标系。
基于激光雷达、全景相机、卫星定位一体化背包,对全仓库空间进行动态扫描,形成仓库全空间的激光点云、全景图片,把卫星定位、点云和图像数据整体叠加为全局地图。进一步,经过人工校核和验证后形成统一坐标化的高精度数字仓库地图。该数字仓库空间以固定基础设施为主,剔除临时性、移动的物体目标,作为数字仓库的基底空间地图。基于该地图,确定坐标零点并建立仓库的数字仓库坐标系G(x,y,z)。
步骤S206,将实体仓库坐标系与数字仓库坐标系进行统一标定,得到仓库统一坐标系,以使各个子区域对应的区域属性及业务感知识别规则一一映射于仓库统一坐标系中。
具体的,将实体仓库坐标系F(x,y,z)和数字仓库坐标系G(x,y,z)统一标定为O(x,y,z),即仓库统一坐标系,以使实体区域及业务感知识别规则实现在数字仓库的一一映射。
将数字仓库坐标系G(x,y,z)与实体仓库坐标系F(x,y,z)精确融合,赋予数字仓库空间属性信息。依据实体仓库网格化、区域切分和业务感知识别规则匹配,实现仓库物理空间及属性向数字空间的精确映射,实现高精度地图和特征地图的完全融合。通过仓库空间的空间数字化和语义信息、业务感知识别规则的完善,为下一步的规则驱动智能监控识别建立基础支撑信息。
在另一种实施方式中,在构建仓库统一坐标系之后,获取激光雷达扫描仓库时得到的仓库激光点云全景图的步骤之前,还包括激光雷达和摄像装置的标定过程及参数配置过程,具体的参见图4所示,包括以下步骤:
步骤S402,接收用户输入的激光雷达和摄像装置的位置信息,及摄像装置的配置参数。
步骤S404,根据激光雷达和摄像装置的位置信息,在仓库统一坐标系中对激光雷达和摄像装置的位置进行标定。
步骤S406,根据摄像装置的配置参数,在仓库统一坐标系中对摄像装置进行配置。
具体应用中,在仓库统一坐标系O(x,y,z)中,标定激光雷达和摄像装置的位置,配置视野、方位角、监控范围等参数,界定每个摄像头的联动监控范围。
本发明实施例通过在仓库空间布置激光雷达和摄像头,可以实现对仓库空间的全覆盖。一种优选的雷达布置实施例为库顶固态面阵激光雷达为主、重点区域侧向布置为辅的激光雷达布置方式。在库顶雷达布置时,考虑对仓库物理空间高度的覆盖、雷达FOV覆盖角度和探测距离、仓库空间遮挡物,确定库顶雷达布置点位。一种优选的摄像头布置实施例为固定角度的摄像机和带云台控制相机相结合的布置方案。其中,固定角度的摄像机实现基础场景覆盖,云台控制相机用于重要区域的快速联动监测。
在另一种实施方式中,上述获取激光雷达扫描仓库时得到的仓库激光点云全景图的步骤,具体包括以下步骤,参见图5所示:
步骤S502,收集每个布设于仓库中的激光雷达,实时扫描仓库的空间区域时得到的激光点云。
从仓库中布置的激光雷达获取激光雷达的实时探测的激光点云。
步骤S504,在仓库统一坐标系下,对各个激光点云进行点云拼接,得到仓库激光点云全景图。
根据激光雷达的布置方位和仓库统一坐标系,实现多点云的全局统一配准,进一步拼接为仓库全空间的实时动态的仓库激光点云全景图。
本发明实施例提供的仓库智能感知识别方法,采用激光雷达实现了数字化仓库的精确坐标化,同时,基于激光雷达实现实时的厘米级精确空间感知和目标探测;实时的激光雷达探测能够实现对于空间占用、超高、超速、货物姿态、异常堆积、运动目标跟踪、目标相互作用的精确感知;激光雷达和摄像头通过统一的空间坐标实现智能联动,摄像头可以快速实现对目标事件的抓拍,不需要人工干预。由于摄像头的智能联动功能,可以有效降低摄像头布置数量。
上述方法能够对仓库进行物理空间和特征空间的精确复制,并通过全局覆盖的激光雷达和摄像头实现智能联动监控。基于点云和图像分析,自动判定事件类型、目标类型、发生地点等关键信息,并采集关键的视频图像素材,自动上发、自动报警。基于该方法,可以对整个仓库空间进行厘米级精度的精确监控,实现了全空间覆盖,解决了传统监控方法精度不足的问题。通过联动监测和智能分析,节省了库内管理的工作量,提高了数字化仓库管理水平,有利于仓库作业的标准化管理和全过程智能监控,提高了安全水平和作业效率,本发明实施例具有很好的实际运行效果。
基于上述方法实施例,本发明实施例还提供一种仓库智能感知识别装置,参见图6所示,该装置包括:点云图获取模块602、点云分析解算模块604、联动调取摄像模块606、图像分析模块608和目标事件上报模块610。
其中,点云图获取模块,用于获取激光雷达扫描仓库时得到的仓库激光点云全景图;仓库激光点云全景图为在预先构建的仓库统一坐标系下的点云拼接图;在仓库统一坐标系中,仓库的空间区域分别和区域属性、业务感知识别规则精确映射;点云分析解算模块,竽对仓库激光点云全景图进行点云分析和自动解算,得到待监测的目标和事件;联动调取摄像模块,用于根据目标和事件在仓库统一坐标系中对应的坐标,调取相应的摄像装置对目标和事件进行视频采集;图像分析模块,用于对采集的目标和事件的视频图像,进行图像分析,以判断事件的事件类型;目标事件上报模块,用于将目标和事件的坐标、事件类型及视频图像进行上报。
图7示出了另一种仓库智能感知识别装置的结构示意图,该装置除了包括与上一实施例类似的点云图获取模块702、点云分析解算模块704、联动调取摄像模块706、图像分析模块708和目标事件上报模块710外,还包括:统一坐标系构建模块712和位置标定和参数配置模块714。
其中,上述统一坐标系构建模块712用于:获取仓库的空间区域中,各个子区域在实体仓库坐标系下对应的区域属性及业务感知识别规则;建立仓库的全局激光地图,以确定仓库的数字仓库坐标系;将实体仓库坐标系与数字仓库坐标系进行统一标定,得到仓库统一坐标系,以使各个子区域对应的区域属性及业务感知识别规则一一映射于数字仓库坐标系中。
进一步的,上述统一坐标系构建模块712还用于:对仓库的空间区域进行网格化处理,建立仓库的实体仓库坐标系;基于仓库的实体仓库坐标系及空间区域内的业务属性,将仓库的空间区域切分为多个子区域;根据每个子区域对应的业务属性,确定每个子区域对应的区域属性;为每个子区域匹配对应的业务感知识别规则。
上述位置标定和参数配置模块714,用于接收用户输入的激光雷达和摄像装置的位置信息,及摄像装置的配置参数;根据激光雷达和摄像装置的位置信息,在仓库统一坐标系中对激光雷达和摄像装置的位置进行标定;根据摄像装置的配置参数,在仓库统一坐标系中对摄像装置进行配置。
上述点云图获取模块702还用于,收集每个布设于仓库中的激光雷达,实时扫描仓库的空间区域时得到的激光点云;在仓库统一坐标系下,对各个激光点云进行点云拼接,得到仓库激光点云全景图。
上述点云分析解算模块704还用于:将仓库激光点云全景图与初始仓库全景激光点云进行比对分析,及基于激光对运动目标大小、速度和姿态上的解算,从仓库激光点云全景图中分离出目标区域下业务感知识别规则对应的目标和事件;当目标和事件的判定数据达到预设阈值时,将目标和事件作为待监测的目标和事件。
上述图像分析模块708还用于:调用预设的视频图像算法,对目标和事件的视频图像进行图像分析,确定目标对应的事件的事件类型。
上述模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等,或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接,或其任意组合。两个或更多个模块可以组合为单个模块,并且任何一个模块可以分成两个或更多个单元。
为便于理解,图8示出根据本申请的一些实施例的可以实现本申请思想的电子设备800的示例性硬件和软件组件的示意图。例如,处理器820可以用于电子设备800上,并且用于执行本申请中的功能。
电子设备800可以是通用计算机或特殊用途的计算机,两者都可以用于实现本申请的仓库智能感知识别方法。本申请尽管仅示出了一个计算机,但是为了方便起见,可以在多个类似平台上以分布式方式实现本申请描述的功能,以均衡处理负载。
例如,电子设备800可以包括连接到网络的网络端口810、用于执行程序指令的一个或多个处理器820、通信总线830和不同形式的存储介质840,例如,磁盘、ROM或RAM,或其任意组合。示例性地,计算机平台还可以包括存储在ROM、RAM或其他类型的非暂时性存储介质或其任意组合中的程序指令。根据这些程序指令可以实现本申请的方法。电子设备800还包括计算机与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(Input/Output,I/O)接口850。
为了便于说明,在电子设备800中仅描述了一个处理器。然而,应当注意,本申请中的电子设备800还可以包括多个处理器,因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如,若电子设备800的处理器执行步骤A和步骤B,则应该理解,步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如,第一处理器执行步骤A,第二处理器执行步骤B,或者第一处理器和第二处理器共同执行步骤A和B。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述交易数据的同步方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***和装置的具体工作过程,可以参考方法实施例中的对应过程,本申请中不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的描述中,需要说明的是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种仓库智能感知识别方法,其特征在于,所述方法包括:
获取激光雷达扫描仓库时得到的仓库激光点云全景图;所述仓库激光点云全景图为在预先构建的仓库统一坐标系下的点云拼接图;在所述仓库统一坐标系中,仓库的空间区域分别和区域属性、业务感知识别规则精确映射;
对所述仓库激光点云全景图进行点云分析和自动解算,得到待监测的目标和事件;
根据所述目标和事件在所述仓库统一坐标系中对应的坐标,调取相应的摄像装置对所述目标和事件进行视频采集;
对采集的所述目标和事件的视频图像,进行图像分析,以判断所述事件的事件类型;
将所述目标和事件的所述坐标、所述事件类型及所述视频图像进行上报。
2.根据权利要求1所述的方法,其特征在于,在获取激光雷达扫描仓库时得到的仓库激光点云全景图的步骤之前,还包括:
获取所述仓库的空间区域中,各个子区域在实体仓库坐标系下对应的区域属性及业务感知识别规则;
建立所述仓库的全局激光地图,以确定所述仓库的数字仓库坐标系;
将所述实体仓库坐标系与所述数字仓库坐标系进行统一标定,得到所述仓库统一坐标系,以使各个所述子区域对应的区域属性及业务感知识别规则一一映射于所述数字仓库坐标系中。
3.根据权利要求2所述的方法,其特征在于,获取所述仓库的空间区域中各个子区域对应的区域属性及业务规则的步骤,包括:
对所述仓库的空间区域进行网格化处理,建立所述仓库的实体仓库坐标系;
基于所述仓库的实体仓库坐标系及空间区域内的业务属性,将所述仓库的空间区域切分为多个子区域;
根据每个所述子区域对应的业务属性,确定每个所述子区域对应的区域属性;
为每个所述子区域匹配对应的业务感知识别规则。
4.根据权利要求1所述的方法,其特征在于,在获取激光雷达扫描仓库时得到的仓库激光点云全景图的步骤之前,还包括:
接收用户输入的所述激光雷达和所述摄像装置的位置信息,及所述摄像装置的配置参数;
根据所述激光雷达和所述摄像装置的位置信息,在所述仓库统一坐标系中对所述激光雷达和所述摄像装置的位置进行标定;
根据所述摄像装置的配置参数,在所述仓库统一坐标系中对所述摄像装置进行配置。
5.根据权利要求1所述的方法,其特征在于,获取激光雷达扫描仓库时得到的仓库激光点云全景图的步骤,包括:
收集每个布设于所述仓库中的激光雷达,实时扫描所述仓库的空间区域时得到的激光点云;
在所述仓库统一坐标系下,对各个所述激光点云进行点云拼接,得到所述仓库激光点云全景图。
6.根据权利要求1所述的方法,其特征在于,对所述仓库激光点云全景图进行点云分析和自动解算,得到待监测的目标和事件的步骤,包括:
将所述仓库激光点云全景图与初始仓库全景激光点云进行比对分析,及基于激光对运动目标大小、速度和姿态上的解算,从所述仓库激光点云全景图中分离出目标区域下所述业务感知识别规则对应的目标和事件;
当所述目标和事件的判定数据达到预设阈值时,将所述目标和事件作为所述待监测的目标和事件。
7.根据权利要求1所述的方法,其特征在于,对采集的所述目标和事件的视频图像,进行图像分析,以判断所述事件的事件类型的步骤,包括:
调用预设的视频图像算法,对所述目标和事件的视频图像进行图像分析,确定所述目标对应的所述事件的事件类型。
8.一种仓库智能感知识别装置,其特征在于,所述装置包括:
点云图获取模块,用于获取激光雷达扫描仓库时得到的仓库激光点云全景图;所述仓库激光点云全景图为在预先构建的仓库统一坐标系下的点云拼接图;在所述仓库统一坐标系中,仓库的空间区域分别和区域属性、业务感知识别规则精确映射;
点云分析解算模块,竽对所述仓库激光点云全景图进行点云分析和自动解算,得到待监测的目标和事件;
联动调取摄像模块,用于根据所述目标和事件在所述仓库统一坐标系中对应的坐标,调取相应的摄像装置对所述目标和事件进行视频采集;
图像分析模块,用于对采集的所述目标和事件的视频图像,进行图像分析,以判断所述事件的事件类型;
目标事件上报模块,用于将所述目标和事件的所述坐标、所述事件类型及所述视频图像进行上报。
9.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1至7任一所述的仓库智能感知识别方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述的仓库智能感知识别方法的步骤。
CN201910443885.5A 2019-05-27 2019-05-27 仓库智能感知识别方法、装置及电子设备 Active CN110118973B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910443885.5A CN110118973B (zh) 2019-05-27 2019-05-27 仓库智能感知识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910443885.5A CN110118973B (zh) 2019-05-27 2019-05-27 仓库智能感知识别方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110118973A true CN110118973A (zh) 2019-08-13
CN110118973B CN110118973B (zh) 2020-12-18

Family

ID=67523282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910443885.5A Active CN110118973B (zh) 2019-05-27 2019-05-27 仓库智能感知识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110118973B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110719442A (zh) * 2019-10-12 2020-01-21 深圳市镭神智能***有限公司 一种安防监控***
CN111998832A (zh) * 2020-08-12 2020-11-27 河北雷神科技有限公司 一种基于激光点云的利用无人机准确定位目标物的巡检方法
CN112291520A (zh) * 2020-10-26 2021-01-29 浙江大华技术股份有限公司 异常事件识别方法、装置、存储介质及电子装置
CN112464853A (zh) * 2020-12-09 2021-03-09 辽宁省视讯技术研究有限公司 一种基于多数据输入的场景分析***
CN112559838A (zh) * 2019-09-10 2021-03-26 天津京东深拓机器人科技有限公司 一种无人仓运行情况分析方法和装置
CN112581451A (zh) * 2020-12-21 2021-03-30 北京科技大学 一种基于激光雷达的仓库线卷位置检测***及方法
CN112800849A (zh) * 2020-12-31 2021-05-14 熊猫汽车(上海)有限公司 视频监控方法、视频监控装置、电子设备和存储介质
CN113447936A (zh) * 2020-12-07 2021-09-28 兰剑智能科技股份有限公司 Agv智能叉车及地堆库存区域站台状态的检测方法、装置
CN113503920A (zh) * 2021-07-09 2021-10-15 浙江省交通集团检测科技有限公司 一种仓库物料监测***及监测方法
CN113762862A (zh) * 2020-12-28 2021-12-07 京东城市(北京)数字科技有限公司 货物异常监测的方法、装置、电子设备和存储介质
CN114548860A (zh) * 2022-01-27 2022-05-27 北京良安科技有限公司 一种粮仓监控安全防护方法、装置、设备和介质
CN114639069A (zh) * 2022-03-11 2022-06-17 平安国际智慧城市科技股份有限公司 一种危废储存仓储预警方法、装置、电子设备及存储介质
WO2022213606A1 (zh) * 2021-04-08 2022-10-13 华为技术有限公司 一种摄像机数据处理方法及装置
CN115218918A (zh) * 2022-09-20 2022-10-21 上海仙工智能科技有限公司 一种智能导盲方法及导盲设备
CN116449393A (zh) * 2023-06-15 2023-07-18 天津美腾科技股份有限公司 一种针对大中型料堆多传感器测量方法和***

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003337172A (ja) * 2002-05-17 2003-11-28 Mitsubishi Heavy Ind Ltd レーザレーダ監視システム
CN103234537A (zh) * 2013-01-24 2013-08-07 上海市上海中学 一种仓库自动导航机械车定位方法
CN107862759A (zh) * 2017-10-31 2018-03-30 东华大学 一种仓储智能巡检装置及方法
CN109081272A (zh) * 2018-10-23 2018-12-25 西安中科光电精密工程有限公司 一种基于激光与视觉混合引导的无人转运叉车及方法
CN109084732A (zh) * 2018-06-29 2018-12-25 北京旷视科技有限公司 定位与导航方法、装置及处理设备
CN109255302A (zh) * 2018-08-15 2019-01-22 广州极飞科技有限公司 目标物识别方法及终端、移动装置控制方法及终端
CN109377550A (zh) * 2018-10-11 2019-02-22 泉州市宏恩新能源汽车科技有限公司 一种三维立体无人超市
CN109521403A (zh) * 2017-09-19 2019-03-26 百度在线网络技术(北京)有限公司 多线激光雷达的参数标定方法及装置、设备及可读介质
CN109564651A (zh) * 2016-05-19 2019-04-02 思比机器人公司 用于自动生成将产品分配到商店内的货架结构的货架图的方法
CN109573443A (zh) * 2019-01-15 2019-04-05 杭州大氚智能科技有限公司 一种仓储分拣***
CN109583415A (zh) * 2018-12-11 2019-04-05 兰州大学 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
CN109635132A (zh) * 2018-12-10 2019-04-16 Oppo(重庆)智能科技有限公司 一种自动化仓库管理方法、***及终端设备
CN208819329U (zh) * 2018-09-18 2019-05-03 沈阳瑞治科技有限公司 一种能够进行实时定位预警的安监***
CN109752713A (zh) * 2019-01-17 2019-05-14 南京硕基信息科技有限公司 一种雷达视频监视方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003337172A (ja) * 2002-05-17 2003-11-28 Mitsubishi Heavy Ind Ltd レーザレーダ監視システム
CN103234537A (zh) * 2013-01-24 2013-08-07 上海市上海中学 一种仓库自动导航机械车定位方法
CN109564651A (zh) * 2016-05-19 2019-04-02 思比机器人公司 用于自动生成将产品分配到商店内的货架结构的货架图的方法
CN109521403A (zh) * 2017-09-19 2019-03-26 百度在线网络技术(北京)有限公司 多线激光雷达的参数标定方法及装置、设备及可读介质
CN107862759A (zh) * 2017-10-31 2018-03-30 东华大学 一种仓储智能巡检装置及方法
CN109084732A (zh) * 2018-06-29 2018-12-25 北京旷视科技有限公司 定位与导航方法、装置及处理设备
CN109255302A (zh) * 2018-08-15 2019-01-22 广州极飞科技有限公司 目标物识别方法及终端、移动装置控制方法及终端
CN208819329U (zh) * 2018-09-18 2019-05-03 沈阳瑞治科技有限公司 一种能够进行实时定位预警的安监***
CN109377550A (zh) * 2018-10-11 2019-02-22 泉州市宏恩新能源汽车科技有限公司 一种三维立体无人超市
CN109081272A (zh) * 2018-10-23 2018-12-25 西安中科光电精密工程有限公司 一种基于激光与视觉混合引导的无人转运叉车及方法
CN109635132A (zh) * 2018-12-10 2019-04-16 Oppo(重庆)智能科技有限公司 一种自动化仓库管理方法、***及终端设备
CN109583415A (zh) * 2018-12-11 2019-04-05 兰州大学 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
CN109573443A (zh) * 2019-01-15 2019-04-05 杭州大氚智能科技有限公司 一种仓储分拣***
CN109752713A (zh) * 2019-01-17 2019-05-14 南京硕基信息科技有限公司 一种雷达视频监视方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DYLAN SCHWESINGER ET AL.: "A 3D Approach to Infrastructure-Free Localization in Large Scale Warehouse Environments", 《2016 IEEE INTERNATIONAL CONFERENCE ON AUTOMATION SCIENCE AND ENGINEERING (CASE)》 *
魏志强 等: "基于激光雷达三维图像建模的机器人拆码垛控制***", 《智能工程》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112559838A (zh) * 2019-09-10 2021-03-26 天津京东深拓机器人科技有限公司 一种无人仓运行情况分析方法和装置
CN110719442A (zh) * 2019-10-12 2020-01-21 深圳市镭神智能***有限公司 一种安防监控***
CN111998832A (zh) * 2020-08-12 2020-11-27 河北雷神科技有限公司 一种基于激光点云的利用无人机准确定位目标物的巡检方法
CN112291520A (zh) * 2020-10-26 2021-01-29 浙江大华技术股份有限公司 异常事件识别方法、装置、存储介质及电子装置
CN113447936A (zh) * 2020-12-07 2021-09-28 兰剑智能科技股份有限公司 Agv智能叉车及地堆库存区域站台状态的检测方法、装置
CN112464853B (zh) * 2020-12-09 2024-02-23 辽宁省视讯技术研究有限公司 一种基于多数据输入的场景分析***
CN112464853A (zh) * 2020-12-09 2021-03-09 辽宁省视讯技术研究有限公司 一种基于多数据输入的场景分析***
CN112581451A (zh) * 2020-12-21 2021-03-30 北京科技大学 一种基于激光雷达的仓库线卷位置检测***及方法
CN112581451B (zh) * 2020-12-21 2024-02-23 北京科技大学 一种基于激光雷达的仓库线卷位置检测***及方法
CN113762862A (zh) * 2020-12-28 2021-12-07 京东城市(北京)数字科技有限公司 货物异常监测的方法、装置、电子设备和存储介质
CN112800849A (zh) * 2020-12-31 2021-05-14 熊猫汽车(上海)有限公司 视频监控方法、视频监控装置、电子设备和存储介质
WO2022213606A1 (zh) * 2021-04-08 2022-10-13 华为技术有限公司 一种摄像机数据处理方法及装置
CN113503920A (zh) * 2021-07-09 2021-10-15 浙江省交通集团检测科技有限公司 一种仓库物料监测***及监测方法
CN114548860A (zh) * 2022-01-27 2022-05-27 北京良安科技有限公司 一种粮仓监控安全防护方法、装置、设备和介质
CN114548860B (zh) * 2022-01-27 2022-12-06 北京良安科技股份有限公司 一种粮仓监控安全防护方法、装置、设备和介质
CN114639069A (zh) * 2022-03-11 2022-06-17 平安国际智慧城市科技股份有限公司 一种危废储存仓储预警方法、装置、电子设备及存储介质
CN115218918B (zh) * 2022-09-20 2022-12-27 上海仙工智能科技有限公司 一种智能导盲方法及导盲设备
CN115218918A (zh) * 2022-09-20 2022-10-21 上海仙工智能科技有限公司 一种智能导盲方法及导盲设备
CN116449393A (zh) * 2023-06-15 2023-07-18 天津美腾科技股份有限公司 一种针对大中型料堆多传感器测量方法和***
CN116449393B (zh) * 2023-06-15 2023-09-22 天津美腾科技股份有限公司 一种针对大中型料堆多传感器测量方法和***

Also Published As

Publication number Publication date
CN110118973B (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN110118973A (zh) 仓库智能感知识别方法、装置及电子设备
Geraldes et al. UAV-based situational awareness system using deep learning
CN111712826B (zh) 用于跟踪货物承载器的***和方法
KR101856488B1 (ko) 3차원 맵핑을 이용하는 객체 추적 방법, 이를 이용한 장치 및 컴퓨터-판독가능 매체
CN109484935A (zh) 一种电梯轿厢监控方法、装置及***
CN110287519A (zh) 一种集成bim的建筑工程施工进度监测方法及***
US20130335415A1 (en) Converged security management system and method
US9898539B2 (en) Device management apparatus and device search method
CN116298701B (zh) 一种基于数字孪生***的配电网故障检测方法及相关装置
US10183398B2 (en) Enhanced system and method for control of robotic devices
US20230007831A1 (en) Method for warehouse storage-location monitoring, computer device, and non-volatile storage medium
CN111179461A (zh) 基于bim模型的巡检记录生成方法、设备及存储介质
CN103901884A (zh) 信息处理方法和信息处理设备
CN106647738A (zh) 一种无人搬运车的对接路径确定方法及***及无人搬运车
CN111770450B (zh) 一种车间生产监控服务器、移动终端及应用
CA2512944A1 (en) Ct-analyst: a software system for zero latency, high fidelity emergency assessment of airborne chemical, biological, radiological (cbr) threats
CN113486779A (zh) 输电线路全景智能巡检***
US20200169702A1 (en) Enhanced Video System
CN117470246A (zh) 路径规划方法、装置、存储介质及电子设备
CN109168173A (zh) 基站运维管理方法、装置及电子设备
CN106248058B (zh) 一种对于仓储运输工具的定位方法、装置及***
Lee et al. Leveraging suas for infrastructure network exploration and failure isolation
Markley et al. Hybridization of photogrammetry and laser scanning technology for as-built 3D CAD models
CN116842209A (zh) 一种基于时空影像数据库的遥感影像在线服务方法
Alzubi et al. Applications of cyber-physical systems in construction projects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant