CN113233359B - 基于三维场景还原的智能塔吊障碍物规避方法及装置 - Google Patents
基于三维场景还原的智能塔吊障碍物规避方法及装置 Download PDFInfo
- Publication number
- CN113233359B CN113233359B CN202110782663.3A CN202110782663A CN113233359B CN 113233359 B CN113233359 B CN 113233359B CN 202110782663 A CN202110782663 A CN 202110782663A CN 113233359 B CN113233359 B CN 113233359B
- Authority
- CN
- China
- Prior art keywords
- obstacle
- dimensional
- dimensional space
- tower crane
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000009467 reduction Effects 0.000 title claims abstract description 30
- 230000009471 action Effects 0.000 claims abstract description 77
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 239000000463 material Substances 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims description 52
- 238000004891 communication Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 10
- 230000004888 barrier function Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 238000002592 echocardiography Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims 3
- 230000007613 environmental effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 239000000725 suspension Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C23/00—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
- B66C23/88—Safety gear
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/16—Applications of indicating, registering, or weighing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/18—Control systems or devices
- B66C13/40—Applications of devices for transmitting control pulses; Applications of remote control devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Automation & Control Theory (AREA)
- Control And Safety Of Cranes (AREA)
Abstract
本申请提供了一种基于三维场景还原的智能塔吊障碍物规避方法及装置,可包括:实时更新三维建筑工程模型,并将三维建筑工程模型分割为若干三维空间单位,以及将智能塔吊的实际工作空间中障碍物的点云数据映射至各个三维空间单位,其中三维建筑工程模型包括实际工作空间的三维建筑结构和物料。确定智能塔吊的作业动作预案中各个作业动作的多个关联三维空间单位,并根据各个关联三维空间单位的点云数据,分别确定各个作业动作与关联三维空间单位的匹配度。当作业动作与关联三维空间单位的匹配度低于报警阈值时,根据关联三维空间单位中障碍物的点云数据,确定障碍物的类别。根据障碍物的类别,向智能塔吊发送规避障碍物的调控指令。
Description
技术领域
本申请涉及智慧工地技术领域,尤其涉及一种基于三维场景还原的智能塔吊障碍物规避方法及装置。
背景技术
塔吊即塔式起重机,是一种重要的工程设施。塔吊通过起升、变幅、回转等动作,能够对大型物料执行垂直方向和水平方向的移动输运,因此在建筑工地等场景下被广泛应用。不过传统的塔吊需要驾驶员在操作仓进行驾驶,尤其是对障碍物的感知以及对当前工作空间的环境状态的判断,主要还是依赖于驾驶员的技能和经验。可想而知,人工难以精准的确定塔吊与障碍物的距离;并且,驾驶员在操作过程中处于驾驶舱内,也难以判断塔吊的起重臂所处的工作空间的环境状态,例如风速、湿度等。
智能塔吊是一种结合了物联网、空间状态感知、智能分析、高精度自动控制等功能的塔吊***,能够实现无人驾驶和自主作业。智能塔吊实际工作空间是智能塔吊执行挂载、起升、下降、卸载物料等作业的立体空间范围,这些作业环节也是保障作业安全的重要环节。但是现有技术中还未出现在三维建筑工程模型对智能塔吊的实际工作空间进行三维场景还原,以获取三维场景的实际结构、物料、以及出现的障碍物的类别,进而实现冲突风险预警和生成针对性地调控指令的方法或装置。
发明内容
本申请提供了一种基于三维场景还原的智能塔吊障碍物规避方法及装置,以期解决或部分解决背景技术中涉及的上述问题或现有技术中的其它至少一个不足。
本申请提供了这样一种基于三维场景还原的智能塔吊障碍物规避方法,可包括:实时更新三维建筑工程模型,并将三维建筑工程模型分割为若干三维空间单位,以及将智能塔吊的实际工作空间中障碍物的点云数据映射至各个三维空间单位,其中三维建筑工程模型包括实际工作空间的三维建筑结构和物料。确定智能塔吊的作业动作预案中各个作业动作的多个关联三维空间单位,并根据各个关联三维空间单位的点云数据,分别确定各个作业动作与关联三维空间单位的匹配度。当作业动作与关联三维空间单位的匹配度低于报警阈值时,根据关联三维空间单位中障碍物的点云数据,确定障碍物的类别。根据障碍物的类别,向智能塔吊发送规避障碍物的调控指令。
在一些实施方式中,在实时更新三维建筑工程模型,并将三维建筑工程模型分割为若干三维空间单位,以及将智能塔吊的实际工作空间中障碍物的点云数据映射至各个三维空间单位之前,还可包括:由雷达探测装置向自身探测范围发射激光或者毫米波,并接收自身探测范围内的障碍物的各个点反射的回波,以及分析出障碍物的各个点的位置信息,将障碍物的各个点的位置信息整合为自身探测范围中障碍物的点位数据。由红外线传感器探测自身探测范围内的障碍物的各个点的温度信息,将障碍物的各个点的温度信息整合为自身探测范围中障碍物的温度数据。将点位数据和温度数据整合为障碍物的点云数据,按照无线物联网的通讯协议将点云数据上传。
在一些实施方式中,在实时更新三维建筑工程模型,并将三维建筑工程模型分割为若干三维空间单位,以及将智能塔吊的实际工作空间中障碍物的点云数据映射至各个三维空间单位之前,还可包括:采集并上传实际工作空间的空间环境数据。
在一些实施方式中,实时更新三维建筑工程模型,并将三维建筑工程模型分割为若干三维空间单位,以及将智能塔吊的实际工作空间中障碍物的点云数据映射至各个三维空间单位,可包括:实时更新三维建筑工程模型,并在三维建筑工程模型中解析出实际工作空间的具***置;根据实际工作空间的若干工作空间单元,将三维建筑工程模型对应分割为若干三维空间单位;以及分别将障碍物点云数据和空间环境数据映射至各个三维空间单位。
在一些实施方式中,确定智能塔吊的作业动作预案中各个作业动作的多个关联三维空间单位,并根据各个关联三维空间单位的点云数据,分别确定各个作业动作与关联三维空间单位的匹配度,可包括:实时获取智能塔吊的作业动作预案,并确定作业动作预案分布的多个三维空间单位,对多个三维空间单位进行时序化排列;根据时序化排列的结果,确定作业动作对应的三维空间单位的多个关联三维空间单位;结合多个关联三维空间单位的障碍物点云数据和空间环境数据,分析作业动作与各个关联三维空间单位的匹配度。
在一些实施方式中,当作业动作与关联三维空间单位的匹配度低于报警阈值时,根据关联三维空间单位中障碍物的点云数据,确定障碍物的类别,可包括:当作业动作与关联三维空间单位的匹配度低于报警阈值时,调取关联三维空间单位中障碍物的点云数据,点云数据包括历史数据和实时数据;以及根据点云数据,分析障碍物的各个点的变化状态和温度属性,确定障碍物的类别。
在一些实施方式中,调控指令可包括:向智能塔吊发送暂停作业指令;和/或向智能塔吊发送绕行指令。
本申请还提供了这样一种基于三维场景还原的智能塔吊障碍物规避装置,可包括:三维场景还原模块、匹配度分析模块、障碍物类别确定模块和调控指令生成模块。三维场景还原模块用于实时更新三维建筑工程模型,并将三维建筑工程模型分割为若干三维空间单位,以及将智能塔吊的实际工作空间中障碍物的点云数据映射至各个三维空间单位,其中三维建筑工程模型包括实际工作空间的三维建筑结构和物料。匹配度分析模块用于确定智能塔吊的作业动作预案中各个作业动作的多个关联三维空间单位,并根据各个关联三维空间单位的点云数据,分别确定各个作业动作与关联三维空间单位的匹配度。障碍物类别确定模块用于当作业动作与关联三维空间单位的匹配度低于报警阈值时,根据关联三维空间单位中障碍物的点云数据,确定障碍物的类别。调控指令生成模块用于根据障碍物的类别,向智能塔吊发送规避障碍物的调控指令。
在一些实施方式中,还可包括:点云数据采集模块。点云数据采集模块可包括:多个雷达探测装置、多个红外线传感器和第一无线通讯单元。多个雷达探测装置部署于智能塔吊的实际工作空间,用于向自身探测范围发射激光或者毫米波,并接收自身探测范围内的障碍物的各个点反射的回波,以及分析出障碍物的各个点的位置信息,将障碍物的各个点的位置信息整合为自身探测范围中障碍物的点位数据。多个红外线传感器部署于智能塔吊的实际工作空间,用于探测自身探测范围内的障碍物的各个点的温度信息,将障碍物的各个点的温度信息整合为自身探测范围中障碍物的温度数据。用于将点位数据和温度数据整合为障碍物的点云数据,按照无线物联网的通讯协议将点云数据上传。
在一些实施方式中,还可包括:空间环境数据采集模块。空间环境数据采集模块可包括:多个环境传感装置和第二无线通讯单元。多个环境传感装置部署于智能塔吊的实际工作空间,用于采集实际工作空间的空间环境数据。第二无线通讯单元用于按照无线物联网的通讯协议上传空间环境数据。
在一些实施方式中,三维场景还原模块的执行步骤可包括:实时更新三维建筑工程模型,并在三维建筑工程模型中解析出实际工作空间的具***置。根据实际工作空间的若干工作空间单元,将三维建筑工程模型对应分割为若干三维空间单位。分别将障碍物点云数据和空间环境数据映射至各个三维空间单位。
在一些实施方式中,匹配度分析模块的执行步骤可包括:实时获取智能塔吊的作业动作预案,并确定作业动作预案分布的多个三维空间单位,对多个三维空间单位进行时序化排列;根据时序化排列的结果,确定作业动作对应的三维空间单位的多个关联三维空间单位;结合多个关联三维空间单位的障碍物点云数据和空间环境数据,分析作业动作与各个关联三维空间单位的匹配度。
在一些实施方式中,障碍物类别确定模块的执行步骤可包括:当作业动作与关联三维空间单位的匹配度低于报警阈值时,调取关联三维空间单位中障碍物的点云数据,点云数据包括历史数据和实时数据。根据点云数据,分析障碍物的各个点的变化状态和温度属性,确定障碍物的类别。
在一些实施方式中,调控指令可包括:向智能塔吊发送暂停作业指令;和/或向智能塔吊发送绕行指令。
根据上述的实施方式的技术方案可至少获得以下至少一个有益效果。
根据本申请一实施方式的基于三维场景还原的智能塔吊障碍物规避方法及装置,通过在三维建筑工程模型中还原智能塔吊的实际工作空间,以及将智能塔吊的实际工作空间的点云数据和空间环境数据对应映射至三维建筑工程模型的空间区域,能够准确的确定三维场景的实际结构、物料、以及出现的障碍物的类别,避免了驾驶员主观判断的误差,还能够根据障碍物的类别,针对性的生成避障调控指令,有效地降低了智能塔吊在作业过程中对驾驶员的依赖度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是根据本申请的示例性实施方式的用于基于三维场景还原的智能塔吊障碍物规避方法的流程图;以及
图2是根据本申请的示例性实施方式的基于三维场景还原的智能塔吊障碍物规避装置的结构示意图。
具体实施方式
为了更好地理解本申请,将参考附图对本申请的各个方面做出更详细的说明。应理解,这些详细说明只是对本申请的示例性实施方式的描述,而非以任何方式限制本申请的范围。在说明书全文中,相同的附图标号指代相同的元件。表述“和/或”包括相关联的所列项目中的一个或多个的任何和全部组合。
在附图中,为了便于说明,已稍微调整了元素的大小、尺寸和形状。附图仅为示例而并非严格按比例绘制。如在本文中使用的,用语“大致”、“大约”以及类似的用语用作表近似的用语,而不用作表程度的用语,并且旨在说明将由本领域普通技术人员认识到的、测量值或计算值中的固有偏差。另外,在本申请中,各步骤处理描述的先后顺序并不必然表示这些处理在实际操作中出现的顺序,除非有明确其它限定或者能够从上下文推导出的除外。
还应理解的是,诸如“包括”、“包括有”、“具有”、“包含”和/或“包含有”等表述在本说明书中是开放性而非封闭性的表述,其表示存在所陈述的特征、元件和/或部件,但不排除一个或多个其它特征、元件、部件和/或它们的组合的存在。此外,当诸如“...中的至少一个”的表述出现在所列特征的列表之后时,其修饰整列特征,而非仅仅修饰列表中的单独元件。此外,当描述本申请的实施方式时,使用“可”表示“本申请的一个或多个实施方式”。并且,用语“示例性的”旨在指代示例或举例说明。
除非另外限定,否则本文中使用的所有措辞(包括工程术语和科技术语)均具有与本申请所属领域普通技术人员的通常理解相同的含义。还应理解的是,除非本申请中有明确的说明,否则在常用词典中定义的词语应被解释为具有与它们在相关技术的上下文中的含义一致的含义,而不应以理想化或过于形式化的意义解释。
需要说明的是,在不冲突的情况下,本申请中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本申请。
图1是根据本申请的示例性实施方式的用于基于三维场景还原的智能塔吊障碍物规避方法的流程图。
如图1所示,本申请提出了这样一种基于三维场景还原的智能塔吊障碍物规避方法,可包括:步骤S1,实时更新三维建筑工程模型,并将三维建筑工程模型分割为若干三维空间单位,以及将智能塔吊的实际工作空间中障碍物的点云数据映射至各个三维空间单位,其中三维建筑工程模型包括实际工作空间的三维建筑结构和物料。步骤S2,确定智能塔吊的作业动作预案中各个作业动作的多个关联三维空间单位,并根据各个关联三维空间单位的点云数据,分别确定各个作业动作与关联三维空间单位的匹配度。步骤S3,当作业动作与关联三维空间单位的匹配度低于报警阈值时,根据关联三维空间单位中障碍物的点云数据,确定障碍物的类别。步骤S4,根据障碍物的类别,向智能塔吊发送规避障碍物的调控指令。
在一些实施方式中,当智能塔吊的车身位于建筑工地的某一位置时,根据其自身的属性,例如起重臂的长度,必然匹配有一定的工作空间。为了能够精准的智能塔吊的起重臂距离障碍物的距离,以及该工作空间各个位置的环境状态,例如温度、湿度或风速等,首先在该实际工作空间中部署多个点云数据采集模块和多个空间环境数据采集模块,每个点云数据采集模块和空间环境数据采集模块可采集自身探测范围内的点云数据和空间环境数据。
具体地,点云数据采集模块可包括雷达探测装置和红外线传感器。雷达探测装置可为激光雷达或毫米波雷达,在此不做限制。首先由雷达探测装置向自身探测范围发射激光或者毫米波,并接收自身探测范围内的障碍物的各个点反射的回波,以及分析出障碍物的各个点的位置信息,将障碍物的各个点的位置信息整合为自身探测范围中障碍物的点位数据,以便判断障碍物的各个点距离智能塔吊的实际距离,以及为判断智能塔吊的作业动作预案中各个作业动作是否会经过障碍物所处位置提供数据支撑。进一步地,由于人是恒温动物,其身体温度通常在36度至40度之间波动,而物体可随着环境温度而变化,例如冬天可降低在零度以下,而夏季可高达五十度左右高温,因此利用温度信息辨别障碍物的类别更为准确。为了识别障碍物的类别,例如人员、固定物体或移动机器人,可由红外线传感器探测自身探测范围内的障碍物的各个点的温度信息。进一步地,将障碍物的各个点的温度信息整合为自身探测范围中障碍物的温度数据,以便后续步骤根据温度数据判断障碍物的类别,进而根据障碍物的类别下达对应的调控指令。更进一步地,将点位数据和温度数据整合为障碍物的点云数据,按照无线物联网的通讯协议将点云数据上传。
具体地,空间环境数据采集模块可包括多种环境传感器。由于影响智能塔吊作业的环境因素主要包括风速、湿度和温度等,因此在工作空间内的多个位置设置多种环境传感装置,例如风速传感器、湿度传感器和热敏传感器,以采集工作空间内的多种环境数据,避免大风、大雨等天气状态下的作业,为智能塔吊的安全作业提供空间环境数据支撑。最终,按照无线物联网的通讯协议上传空间环境数据。
需要说明的是,设置点云数据采集模块和空间环境数据采集模块的数量可根据智能塔吊的实际工作空间的情况进行设定,例如当工作空间较小时,在保证空间特征的精准性的和完整性的前提下,可减少上述装置的设置数量,以压缩成本。当然空间环境数据采集模块的种类也可根据智能塔吊的实际工作空间的实际情况或智能塔吊的自身属性进行选择,在此均不做限制。
在一些实时方式中,为了精准且方便的确定智能塔吊的作业动作与其分布的空间区域的匹配度,需要对实际工作空间进行离散,以获得多个工作空间单元。需要说明的是,上述实际工作空间为能够覆盖智能塔吊作业动作的完整的立体空间,且每个工作空间单元的体积可根据实际情况进行调整。在本申请中,每个工作空间单元的形状可为空间立方体,但并不限于此。
在一些实施方式中,由于工地作业是持续进行的,因此不同时间点的建筑结构都会存在变化,为了能够准确的把握智能塔吊实时的实际工作空间的三维建筑结构和物料,需要实时更新三维建筑工程模型。需要说明的是可从云端实时获取最新的三维建筑工程模型,也可对预先存储的三维建筑工程模型进行更新,在此不做限制。进一步地,在三维建筑工程模型中解析出智能塔吊的实际工作空间的具***置。更进一步地,根据实际工作空间的多个工作空间单元,将三维建筑工程模型对应分割为多个三维空间单位。同样地,该三维空间单位可为空间立方体,也可为任意立体形状,在此不做限制。进一步地,根据多个点云数据采集模块的覆盖范围和部署位置,以及空间环境数据采集模块的覆盖范围,分别将障碍物的点云数据和空间环境数据映射至各个三维空间单位。即将各个三维空间单位与其对应的障碍物点云数据和空间环境数据进行匹配,以备后续调用。
在一些实施方式中,实时获取智能塔吊的作业动作预案,并确定作业动作预案分布的多个三维空间单位,对多个三维空间单位进行时序化排列。根据时序化排列的结果,即各个作业动作与其下一个作业动作的关联,确定作业动作对应的三维空间单位的多个关联三维空间单位,以及各个关联三维空间单位的障碍物点云数据和空间环境数据。进一步地,根据各个作业动作对应的多个关联三维空间单位的空间状态,即其障碍物点云数据和空间环境数据,判断该空间状态下,是否允许当前作业动作的执行,进而分析出各个作业动作与其对应的关联三维空间单位的匹配度。
在一些实施方式中,当某作业动作与其对应的各个关联三维空间单位的匹配度低于预警阈值时,调取关联三维空间单位中障碍物的点云数据,即障碍物的各个点的点位数据和温度数据。需要说明的是,点云数据包括历史数据和实时数据。根据历史点云位数据和实时点位数据,可以分析障碍物各个点的变化情况,例如变化速度等。进一步地,根据障碍物的各个点的变化情况,可确定该障碍物是静物还是动物,以及该障碍物的变化速率。当然,根据障碍物的各个点的变化情况是无法判定其具体类别,还需要结合温度数据对其类别进行更准确的判定。具体地,由于人是恒温动物,其身体温度通常在36度至40度之间波动,而物体可随着环境温度而变化,例如冬天可降低在零度以下,而夏季可高达五十度左右高温,因此利用温度信息辨别障碍物的类别更为准确。当其温度稳定的维持在一定的预设的温度范围时,例如36度至40度之间,则判定其为人类。若其温度可随着环境温度而变化,则判定该障碍物为普通物体。结合障碍物各个点的变化情况,如该障碍物还能够移动,则判定其为智能机器人。
在一些实施方式中,根据障碍物的类别,发出对应的风险预警信号,例如让障碍物的类别为人类时,则发出高等级预警信号;当障碍物为智能机器人时,发出中等级预警信号;当障碍物为其他普通静物时,则发出低等级预警信号。进一步地,根据障碍物的类别,向智能塔吊发送对应的调控指令。具体地,当障碍物为人类时,可发送暂停作业指令。当障碍物为机器人时,根据情况可发送暂停作业指令或绕行作业指令。当障碍物为普通静物时,根据该物体的位置,可向智能塔吊发送绕行指令。
需要说明的是,具体的调控指令可根据实际需求进行设定,并不限于上述。
根据本申请一实施方式的基于三维场景还原的智能塔吊障碍物规避方法,通过在三维建筑工程模型中还原智能塔吊的实际工作空间,以及将智能塔吊的实际工作空间的点云数据和空间环境数据对应映射至三维建筑工程模型的空间区域,能够准确的确定三维场景的实际结构、物料、以及出现的障碍物的类别,避免了驾驶员主观判断的误差,还能够根据障碍物的类别,针对性的生成避障调控指令,有效地降低了智能塔吊在作业过程中对驾驶员的依赖度。
图2是根据本申请的示例性实施方式的基于三维场景还原的智能塔吊障碍物规避装置的结构示意图。如图2所示,
本申请还提供了这样一种基于三维场景还原的智能塔吊障碍物规避装置,可包括:三维场景还原模块1、匹配度分析模块2、障碍物类别确定模块3和调控指令生成模块4。三维场景还原模块1用于实时更新三维建筑工程模型,并将三维建筑工程模型分割为若干三维空间单位,以及将智能塔吊的实际工作空间中障碍物的点云数据映射至各个三维空间单位,其中三维建筑工程模型包括实际工作空间的三维建筑结构和物料。匹配度分析模块2用于确定智能塔吊的作业动作预案中各个作业动作的多个关联三维空间单位,并根据各个关联三维空间单位的点云数据,分别确定各个作业动作与关联三维空间单位的匹配度。障碍物类别确定模块3用于当作业动作与关联三维空间单位的匹配度低于报警阈值时,根据关联三维空间单位中障碍物的点云数据,确定障碍物的类别。调控指令生成模块4用于根据障碍物的类别,向智能塔吊发送规避障碍物的调控指令。
在一些实施方式中,还可包括:点云数据采集模块。点云数据采集模块可包括:多个雷达探测装置、多个红外线传感器和第一无线通讯单元。多个雷达探测装置部署于智能塔吊的实际工作空间,用于向自身探测范围发射激光或者毫米波,并接收自身探测范围内的障碍物的各个点反射的回波,以及分析出障碍物的各个点的位置信息,将障碍物的各个点的位置信息整合为自身探测范围中障碍物的点位数据。多个红外线传感器部署于智能塔吊的实际工作空间,用于探测自身探测范围内的障碍物的各个点的温度信息,将障碍物的各个点的温度信息整合为自身探测范围中障碍物的温度数据。用于将点位数据和温度数据整合为障碍物的点云数据,按照无线物联网的通讯协议将点云数据上传。
在一些实施方式中,还可包括:空间环境数据采集模块。空间环境数据采集模块可包括:多个环境传感装置和第二无线通讯单元。多个环境传感装置部署于智能塔吊的实际工作空间,用于采集实际工作空间的空间环境数据。第二无线通讯单元用于按照无线物联网的通讯协议上传空间环境数据。
在一些实施方式中,三维场景还原模块1的执行步骤可包括:实时更新三维建筑工程模型,并在三维建筑工程模型中解析出实际工作空间的具***置。根据实际工作空间的若干工作空间单元,将三维建筑工程模型对应分割为若干三维空间单位。分别将障碍物点云数据和空间环境数据映射至各个三维空间单位。
在一些实施方式中,匹配度分析模块2的执行步骤可包括:实时获取智能塔吊的作业动作预案,并确定作业动作预案分布的多个三维空间单位,对多个三维空间单位进行时序化排列;根据时序化排列的结果,确定作业动作对应的三维空间单位的多个关联三维空间单位;结合多个关联三维空间单位的障碍物点云数据和空间环境数据,分析作业动作与各个关联三维空间单位的匹配度。
在一些实施方式中,障碍物类别确定模块3的执行步骤可包括:当作业动作与关联三维空间单位的匹配度低于报警阈值时,调取关联三维空间单位中障碍物的点云数据,点云数据包括历史数据和实时数据。根据点云数据,分析障碍物的各个点的变化状态和温度属性,确定障碍物的类别。
在一些实施方式中,调控指令可包括:向智能塔吊发送暂停作业指令;和/或向智能塔吊发送绕行指令。
在一些实施方式中,匹配度分析模块2和调控指令生成模块4与智能塔吊可通过上下行接口进行信息和指令的交互,其余模块之间可通过无线物联网进行信息交互。
需要说明的是,本申请的装置是用于实现基于三维场景还原的智能塔吊障碍物规避方法而设置的。
根据本申请一实施方式的基于三维场景还原的智能塔吊障碍物规避装置,通过在三维建筑工程模型中还原智能塔吊的实际工作空间,以及将智能塔吊的实际工作空间的点云数据和空间环境数据对应映射至三维建筑工程模型的空间区域,能够准确的确定三维场景的实际结构、物料、以及出现的障碍物的类别,避免了驾驶员主观判断的误差,还能够根据障碍物的类别,针对性的生成避障调控指令,有效地降低了智能塔吊在作业过程中对驾驶员的依赖度。
如上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明。应理解的是,以上所述仅为本发明的具体实施方式,并不用于限制本发明。凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于三维场景还原的智能塔吊障碍物规避方法,其特征在于,包括:
实时更新三维建筑工程模型,并将所述三维建筑工程模型分割为若干三维空间单位,以及将智能塔吊的实际工作空间中障碍物的点云数据映射至各个所述三维空间单位,其中所述三维建筑工程模型包括所述实际工作空间的三维建筑结构和物料;
确定所述智能塔吊的作业动作预案中各个作业动作的多个关联三维空间单位,并根据各个所述关联三维空间单位的点云数据,分别确定各个所述作业动作与所述关联三维空间单位的匹配度;
当所述作业动作与所述关联三维空间单位的匹配度低于报警阈值时,根据所述关联三维空间单位中所述障碍物的点云数据,确定所述障碍物的类别;以及
根据所述障碍物的类别,向所述智能塔吊发送规避所述障碍物的调控指令,其中,
所述确定所述智能塔吊的作业动作预案中各个作业动作的多个关联三维空间单位,并根据各个所述关联三维空间单位的点云数据,分别确定各个所述作业动作与所述关联三维空间单位的匹配度,包括:
实时获取所述智能塔吊的作业动作预案,并确定所述作业动作预案分布的多个所述三维空间单位,对多个所述三维空间单位进行时序化排列;
根据所述时序化排列的结果,确定所述作业动作对应的三维空间单位的多个关联三维空间单位;
结合多个所述关联三维空间单位的障碍物点云数据和空间环境数据,分析所述作业动作与各个所述关联三维空间单位的匹配度。
2.根据权利要求1所述的基于三维场景还原的智能塔吊障碍物规避方法,其特征在于,在所述实时更新三维建筑工程模型,并将所述三维建筑工程模型分割为若干三维空间单位,以及将智能塔吊的实际工作空间中障碍物的点云数据映射至各个所述三维空间单位之前,还包括:
由雷达探测装置向自身探测范围发射激光或者毫米波,并接收自身探测范围内的障碍物的各个点反射的回波,以及分析出所述障碍物的各个点的位置信息,将所述障碍物的各个点的位置信息整合为自身探测范围中所述障碍物的点位数据;
由红外线传感器探测自身探测范围内的所述障碍物的各个点的温度信息,将所述障碍物的各个点的温度信息整合为自身探测范围中所述障碍物的温度数据;以及
将所述点位数据和所述温度数据整合为所述障碍物的点云数据,按照无线物联网的通讯协议将所述点云数据上传。
3.根据权利要求2所述的基于三维场景还原的智能塔吊障碍物规避方法,其特征在于,在所述实时更新三维建筑工程模型,并将所述三维建筑工程模型分割为若干三维空间单位,以及将智能塔吊的实际工作空间中障碍物的点云数据映射至各个所述三维空间单位之前,还包括:
采集并上传所述实际工作空间的空间环境数据。
4.根据权利要求3所述的基于三维场景还原的智能塔吊障碍物规避方法,其特征在于,所述实时更新三维建筑工程模型,并将所述三维建筑工程模型分割为若干三维空间单位,以及将智能塔吊的实际工作空间中障碍物的点云数据映射至各个所述三维空间单位,包括:
实时更新三维建筑工程模型,并在所述三维建筑工程模型中解析出所述实际工作空间的具***置;
根据所述实际工作空间的若干工作空间单元,将所述三维建筑工程模型对应分割为若干三维空间单位;以及
分别将所述障碍物点云数据和所述空间环境数据映射至各个所述三维空间单位。
5.根据权利要求4所述的基于三维场景还原的智能塔吊障碍物规避方法,其特征在于,所述当所述作业动作与所述关联三维空间单位的匹配度低于报警阈值时,根据所述关联三维空间单位中所述障碍物的点云数据,确定所述障碍物的类别,包括:
当所述作业动作与所述关联三维空间单位的匹配度低于报警阈值时,调取所述关联三维空间单位中所述障碍物的点云数据,所述点云数据包括历史数据和实时数据;以及
根据所述点云数据,分析所述障碍物的各个点的变化状态和温度属性,确定所述障碍物的类别。
6.根据权利要求1所述的基于三维场景还原的智能塔吊障碍物规避方法,其特征在于,所述调控指令包括:
向所述智能塔吊发送暂停作业指令;和/或
向所述智能塔吊发送绕行指令。
7.一种基于三维场景还原的智能塔吊障碍物规避装置,其特征在于,包括:
三维场景还原模块,用于实时更新三维建筑工程模型,并将所述三维建筑工程模型分割为若干三维空间单位,以及将智能塔吊的实际工作空间中障碍物的点云数据映射至各个所述三维空间单位,其中所述三维建筑工程模型包括所述实际工作空间的三维建筑结构和物料;
匹配度分析模块,用于确定所述智能塔吊的作业动作预案中各个作业动作的多个关联三维空间单位,并根据各个所述关联三维空间单位的点云数据,分别确定各个所述作业动作与所述关联三维空间单位的匹配度;
障碍物类别确定模块,用于当所述作业动作与所述关联三维空间单位的匹配度低于报警阈值时,根据所述关联三维空间单位中所述障碍物的点云数据,确定所述障碍物的类别;以及
调控指令生成模块,用于根据所述障碍物的类别,向所述智能塔吊发送规避所述障碍物的调控指令,其中,
所述确定所述智能塔吊的作业动作预案中各个作业动作的多个关联三维空间单位,并根据各个所述关联三维空间单位的点云数据,分别确定各个所述作业动作与所述关联三维空间单位的匹配度,包括:
实时获取所述智能塔吊的作业动作预案,并确定所述作业动作预案分布的多个所述三维空间单位,对多个所述三维空间单位进行时序化排列;
根据所述时序化排列的结果,确定所述作业动作对应的三维空间单位的多个关联三维空间单位;
结合多个所述关联三维空间单位的障碍物点云数据和空间环境数据,分析所述作业动作与各个所述关联三维空间单位的匹配度。
8.根据权利要求7所述的基于三维场景还原的智能塔吊障碍物规避装置,其特征在于,还包括:点云数据采集模块,
其中,所述点云数据采集模块包括:
多个雷达探测装置,部署于所述智能塔吊的实际工作空间,用于向自身探测范围发射激光或者毫米波,并接收自身探测范围内的障碍物的各个点反射的回波,以及分析出所述障碍物的各个点的位置信息,将所述障碍物的各个点的位置信息整合为自身探测范围中所述障碍物的点位数据;
多个红外线传感器,部署于所述智能塔吊的实际工作空间,用于探测自身探测范围内的所述障碍物的各个点的温度信息,将所述障碍物的各个点的温度信息整合为自身探测范围中所述障碍物的温度数据;以及
第一无线通讯单元,用于将所述点位数据和所述温度数据整合为所述障碍物的点云数据,按照无线物联网的通讯协议将所述点云数据上传。
9.根据权利要求8所述的基于三维场景还原的智能塔吊障碍物规避装置,其特征在于,还包括:空间环境数据采集模块,
其中,所述空间环境数据采集模块包括:
多个环境传感装置,部署于所述智能塔吊的实际工作空间,用于采集所述实际工作空间的空间环境数据;
第二无线通讯单元,用于按照无线物联网的通讯协议上传所述空间环境数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110782663.3A CN113233359B (zh) | 2021-07-12 | 2021-07-12 | 基于三维场景还原的智能塔吊障碍物规避方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110782663.3A CN113233359B (zh) | 2021-07-12 | 2021-07-12 | 基于三维场景还原的智能塔吊障碍物规避方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113233359A CN113233359A (zh) | 2021-08-10 |
CN113233359B true CN113233359B (zh) | 2021-11-16 |
Family
ID=77135408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110782663.3A Active CN113233359B (zh) | 2021-07-12 | 2021-07-12 | 基于三维场景还原的智能塔吊障碍物规避方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113233359B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113911925A (zh) * | 2021-09-14 | 2022-01-11 | 杭州大杰智能传动科技有限公司 | 用于智能塔吊工作空间预警监测的***及方法 |
CN114677375B (zh) * | 2022-05-27 | 2022-10-21 | 杭州未名信科科技有限公司 | 一种智能塔吊集群的协同控制方法、装置、存储介质及终端 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108584729A (zh) * | 2018-07-19 | 2018-09-28 | 苏州远征魂车船技术有限公司 | 一种智能避障塔吊 |
CN111476879A (zh) * | 2019-01-24 | 2020-07-31 | 北京京东尚科信息技术有限公司 | 一种点云数据的处理方法、终端及存储介质 |
CN111994778A (zh) * | 2020-09-08 | 2020-11-27 | 高旭辉 | 一种建筑工程更换冷却器的吊具装置 |
CN112418103A (zh) * | 2020-11-24 | 2021-02-26 | 中国人民解放***箭军工程大学 | 一种基于动态双目视觉的桥式起重机吊装安全防撞***及方法 |
CN113031005A (zh) * | 2021-02-22 | 2021-06-25 | 江苏大学 | 基于激光雷达的吊车动态障碍物识别方法 |
-
2021
- 2021-07-12 CN CN202110782663.3A patent/CN113233359B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108584729A (zh) * | 2018-07-19 | 2018-09-28 | 苏州远征魂车船技术有限公司 | 一种智能避障塔吊 |
CN111476879A (zh) * | 2019-01-24 | 2020-07-31 | 北京京东尚科信息技术有限公司 | 一种点云数据的处理方法、终端及存储介质 |
CN111994778A (zh) * | 2020-09-08 | 2020-11-27 | 高旭辉 | 一种建筑工程更换冷却器的吊具装置 |
CN112418103A (zh) * | 2020-11-24 | 2021-02-26 | 中国人民解放***箭军工程大学 | 一种基于动态双目视觉的桥式起重机吊装安全防撞***及方法 |
CN113031005A (zh) * | 2021-02-22 | 2021-06-25 | 江苏大学 | 基于激光雷达的吊车动态障碍物识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113233359A (zh) | 2021-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113233359B (zh) | 基于三维场景还原的智能塔吊障碍物规避方法及装置 | |
AU2011251868B2 (en) | Method and apparatus for mining vehicle safety arrangements | |
US20170233231A1 (en) | Control augmentation apparatus and method for automated guided vehicles | |
JP2017154577A (ja) | 無人航空機を用いた施設内点検システム | |
ES2914630T3 (es) | Sistema y método para la operación autónoma de maquinaria pesada | |
US20080262669A1 (en) | Autonomous vehicle controller | |
US20200372814A1 (en) | On-board command unit for a drone system, drone and drone system including the on-board command unit | |
CN110612234A (zh) | 用于校准交通工具传感器的***和方法 | |
CN110988871B (zh) | 一种无人机载穿墙雷达高层建筑墙体健康离线检测***及检测方法 | |
CN113791621B (zh) | 一种自动驾驶牵引车与飞机对接方法及*** | |
CN111624641A (zh) | 一种防爆型油库区智能巡检机器人 | |
CN113911925A (zh) | 用于智能塔吊工作空间预警监测的***及方法 | |
CN107590878A (zh) | 一种无人机飞行安全预测评估装置及方法 | |
CN104731092A (zh) | 一种移动机器人多方位避障*** | |
CN110673627A (zh) | 一种森林无人机搜寻方法 | |
CN115793649A (zh) | 一种电缆沟自动巡检装置及巡检方法 | |
CN116022657A (zh) | 路径规划方法、装置和起重机 | |
CN204270146U (zh) | 一种移动机器人多方位避障*** | |
JP7069632B2 (ja) | 制御装置、移動体、及び移動体の分散制御プログラム | |
CN110632945A (zh) | 一种直升机着陆方法及*** | |
CN113110534A (zh) | 一种小型无人机控制与感知*** | |
CN111942585A (zh) | 一种无人机监测燃气管道的方法 | |
CN111954188A (zh) | 一种机器人控制方法、装置、终端和介质 | |
CN111121639A (zh) | 一种刚柔一体的建筑物狭窄空间的裂缝检测*** | |
WO2021171792A1 (ja) | 通信ポイント決定装置、通信ポイント決定方法およびプログラム、並びに点検システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |