CN112631266A - 一种移动机器人感知障碍信息的方法、装置 - Google Patents

一种移动机器人感知障碍信息的方法、装置 Download PDF

Info

Publication number
CN112631266A
CN112631266A CN201910892943.2A CN201910892943A CN112631266A CN 112631266 A CN112631266 A CN 112631266A CN 201910892943 A CN201910892943 A CN 201910892943A CN 112631266 A CN112631266 A CN 112631266A
Authority
CN
China
Prior art keywords
mobile robot
dimensional
data
point
expansion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910892943.2A
Other languages
English (en)
Inventor
龙学雄
李建禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikrobot Technology Co Ltd
Original Assignee
Hangzhou Hikrobot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikrobot Technology Co Ltd filed Critical Hangzhou Hikrobot Technology Co Ltd
Priority to CN201910892943.2A priority Critical patent/CN112631266A/zh
Priority to PCT/CN2020/115818 priority patent/WO2021052403A1/zh
Priority to JP2022517836A priority patent/JP7314411B2/ja
Priority to KR1020227012806A priority patent/KR20220066325A/ko
Priority to EP20865409.5A priority patent/EP4033324B1/en
Publication of CN112631266A publication Critical patent/CN112631266A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本申请公开了一种基于深度相机的移动机器人感知障碍信息的方法，该方法包括，获取深度图像数据；将深度图像数据转换为移动机器人坐标系下的数据；将所述移动机器人坐标系下的数据转换为移动机器人移动平面内投影，得到二维数据；在移动机器人行进路线范围内检测二维数据，根据检测的二维数据，获得障碍信息。本申请解决了常规避障传感器无法进行立体感知和避障的缺陷，可以感知大范围、多层次的障碍。

Description

一种移动机器人感知障碍信息的方法、装置
技术领域
本发明涉及机器人定位导航领域，特别地，涉及一种移动机器人感知障碍信息的方法。
背景技术
移动机器人感知障碍常用的传感方式包括超声、红外和激光，其中，超声无法感知障碍物的准确位置和范围；红外则只能对单个方向进行感知；二维激光可以感知周围环境的详细的障碍物信息，但是只能感知其安装平面内的障碍物，对低矮障碍物或者更高的悬空障碍物无法进行感知。
发明内容
本发明提供了一种移动机器人感知障碍信息的方法，以立体地感知周围空间中的障碍信息。
本发明提供的一种移动机器人感知障碍信息的方法，其特征在于，该方法包括，
获取深度图像数据；
将深度图像数据转换为移动机器人坐标系下的数据；
将所述移动机器人坐标系下的数据转换为移动机器人移动平面内投影，得到二维数据；
在移动机器人行进路线范围内检测二维数据；
根据检测的二维数据，获得障碍信息。
其中，所述将深度图像数据转换为移动机器人坐标系下的数据包括，
对于深度图像数据中的任一像素点，通过相机外参、像素点的深度值、相机内参、以及像素点的坐标值，得到该像素点在移动机器人坐标系下的三维点坐标，
将深度图像数据中所有像素点转换为移动机器人坐标系下的三维点坐标后，得到移动机器人坐标系下的三维点构成的三维点云；
在移动机器人行进路线范围内检测二维数据，包括，
建立用于检测移动机器人行进路线范围内障碍的搜索窗口，在搜索窗口范围内搜索二维数据。
较佳地，所述通过相机外参、像素点的深度值、相机内参、以及像素点的坐标值，得到该像素点在移动机器人坐标系下的三维点坐标，包括，
根据深度相机的外参，得到移动机器人坐标系到深度相机坐标系的转换关系矩阵；
计算所述转换关系矩阵、像素点的深度值、相机内参矩阵的逆矩阵以及由像素点坐标值构成的矩阵的乘积，所得到的结果为像素点在移动机器人坐标系下的三维点坐标；
其中，由像素点坐标值构成的矩阵为
Figure BDA0002209336880000021
u、v为像素点的深度图坐标。
较佳地，所述将所述移动机器人坐标下的数据转换为移动机器人移动平面内投影，得到二维数据，包括，
对于移动机器人坐标系下的任一三维点坐标，将三维点坐标中垂直于移动机器人移动平面的坐标值舍弃，或者，将三维点坐标中垂直于移动机器人移动平面的坐标值设置为0，得到该三维点在移动机器人移动平面内的二维投影；
将移动机器人坐标系下的所有三维点坐标转换为移动机器人移动平面内二维投影后，得到二维投影构成的二维点云。
较佳地，所述建立用于检测移动机器人行进路线范围内障碍的搜索窗口，在搜索窗口范围内搜索二维数据，包括，
在移动机器人前进方向建立所述搜索窗口，所述搜索窗口与移动机器人的相对位置固定，
所述根据检测的二维数据，获得障碍信息包括，检测搜索窗口范围内是否存在二维点云，如果是，则判定检测到障碍。
较佳地，所述将所述移动机器人坐标系下的数据转换为移动机器人移动平面内投影，得到二维数据，包括，
对转换后的移动机器人坐标系下的数据进行筛选，保留运动过程中有可能被触碰障碍对应的数据；
将保留的运动过程中有可能被触碰障碍对应的数据，转换为移动机器人移动平面内投影，得到二维数据。
较佳地，所述移动机器人承载面为地面，所述保留运动过程中有可能被触碰障碍对应的数据包括，将所述移动机器人坐标系下的三维点坐标中z值大于第一阈值、且小于第二阈值的三维点予以保留。
较佳地，该方法还包括，根据搜索窗口内最近障碍的位置，判断移动机器人是否需要避障，如果是，则触发获取移动机器人行进的可行区域。
较佳地，所述获取移动机器人行进的可行区域包括，
以移动机器人本体在承载面投影中心为起点，等角度地设置至少一条射线，将射线上距离所述起点最近的二维点作为障碍轮廓，得到障碍轮廓二维点；
对于障碍轮廓的任意二维点，以该二维点为圆心、以延伸距离为半径设置膨胀圆周；获取经过所述起点与所述膨胀圆周相切的两条切线；将两条切线所夹的圆弧作为该障碍轮廓二维点的膨胀边界，其中，所夹圆弧的圆心角小于等于180°，所述延伸距离至少为移动机器人本体在承载面投影的中心与轮廓之间的最大距离；
获取所有障碍轮廓二维点的膨胀边界，将所有二维点的膨胀边界的包络作为膨胀轮廓，以膨胀轮廓为界，将靠近移动机器人的一侧区域为可行区域，另一侧为不可行区域。
较佳地，所述对于障碍轮廓的任意二维点，以该二维点为圆心、以延伸距离为半径设置膨胀圆周，包括，
将当前障碍轮廓的二维点坐标转换为极坐标；
根据转换的二维点极坐标、和延伸距离，确定膨胀圆周在极坐标系下的方程；
所述获取经过所述起点与所述膨胀圆周相切的两条切线，包括，
根据所述膨胀圆周在极坐标系下的方程，确定当前障碍轮廓的二维点膨胀圆周的切线角度范围；
所述将两条切线所夹的圆弧作为该障碍轮廓二维点的膨胀边界，包括，
在所述切线角度范围内，
将设置的当前极角值代入所述膨胀圆周在极坐标系下的方程，求解圆弧点的矢径值；提取矢径值中较小的值，得到切线所夹的圆弧点的极坐标，
设置下一极角值，返回执行所述将设置的当前极角值代入所述膨胀圆周在极坐标系下的方程步骤，直到切线所夹圆弧段上的圆弧坐标点计算完毕；
基于圆弧点形成当前二维点的膨胀边界。
较佳地，所述以移动机器人本体在承载面投影中心为起点，等角度地设置至少一条极线射线还包括，从图像视野边界开始、以移动机器人本体在承载面投影中心为起点等角度地取射线，形成栅格，
所述基于圆弧点形成当前二维点的膨胀边界包括，
如果当前栅格内没有膨胀轮廓的二维点，则将计算的圆弧坐标点中位于该栅格的圆弧坐标点作为该栅格膨胀轮廓的二维点；
如果当前栅格内具有既有膨胀轮廓的二维点，则判断计算的圆弧坐标点中位于栅格内的圆弧坐标点和既有膨胀轮廓的二维点哪个距离移动机器人本体在承载面投影中心更近，将靠近所述投影中心的点作为该栅格膨胀轮廓的二维点；
将所有栅格内膨胀轮廓的二维点作为当前二维点的膨胀边界。
本发明提供的一种移动机器人感知障碍信息的装置，该装置包括，
第一数据转换模块，将深度图像数据转换为移动机器人坐标系下的数据；
第二数据转换模块，将所述移动机器人坐标系下的数据转换为移动机器人移动平面内投影，得到二维数据；
感知模块，在移动机器人行进路线范围内检测二维数据，获得障碍信息。
本发明还提供一种移动机器人，所述移动机器人本体包括，
安装于移动机器人本体的深度相机，获取深度图像数据；
障碍感知模组，将深度图像数据转换为移动机器人坐标系下的数据；将所述移动机器人坐标系下的数据转换为移动机器人移动平面内投影，得到二维数据；在移动机器人的视野范围内检测二维数据，获得障碍信息；
移动控制模组，根据障碍信息，形成移动指令；
执行机构模组，执行所述移动指令。
本发明还提供一种计算机可读存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述基于深度相机的移动机器人感知障碍信息的方法的步骤。本发明将深度图像数据转换为移动机器人移动平面内投影，基于二维投影数据进行搜索，获得障碍信息，得到类似于二维激光的数据，解决了常规避障传感器无法进行立体感知和避障的缺陷，可以感知大范围、多层次的障碍物；不同于对深度数据的一般处理方法，将点云数据投影到地平面，从而使得在应用上，在二维环境中进行避障控制的成熟技术得以广泛应用；既能够利用三维传感器的三维感知信息，又能够在二维环境中进行快速的路径规划。
附图说明
图1为本申请实施例基于深度图像数据感知障碍的一种流程示意图。
图2为移动机器人通过搜索窗口感知避障范围内最近距离障碍的一种示意图。
图3为感知障碍轮廓的一种示意图。
图4为膨胀轮廓的一种示意图。
图5为本发明实施例实现膨胀轮廓的一种流程示意图。
图6为一场景的示意图。
图7为基于图6场景的深度图像数据感知的二维点云、以及基于感知的二维点云所确定的轮廓膨胀结果示意图。
图8为本申请实施例基于深度相机的移动机器人避障***的一种示意图。
图9为本申请实施例障碍感知模组的一种示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
深度相机所获取的深度图像数据，是基于像素点坐标以像素点灰度值表征空间点之间距离值(深度值)的数据，可以表示为p(u，v，d)，其中，u、v为图像坐标系下像素点的坐标，d为该像素点对应的空间三维点的深度值。移动机器人在平面内移动时，高度方向的信息对于其移动而言是冗余的；而将由深度相机所得到的三维点集合(点云)投影到二维平面内，得到二维点集合(点云)，由于不同高度层次的障碍物信息均保存在投影平面内，而不仅仅是投影平面内的障碍物的点，这样，同样保留了空间三维环境的障碍信息，换言之，是以二维点的形式保存空间三维信息，这样，对于在平面移动的移动机器人，能够在二维平面内进行路径的规划和控制，处理的复杂度得以降低，响应能力得以提高。
基于此，本申请根据深度图像数据，将深度图像中一定高度范围内的三维点转换为移动机器人坐标系的三维点，并将移动机器人坐标系的三维点降为二维平面进行处理；在二维平面中，取极坐标上距离最近的点作为障碍物轮廓，得到类似于二维激光的数据进行避障，既能够利用三维传感器的三维感知信息，又能够在二维环境中进行快速的路径规划。
参见图1所示，图1为本申请实施例基于深度图像数据感知障碍的一种流程示意图。
步骤101，获取当前深度图像数据；
在该步骤中，通过安装于移动机器人本体的深度相机实时获取当前物理空间的深度图像数据，得到稠密深度图；其中，深度相机可以是基于立体视觉的深度相机和基于飞行时间(ToF)的深度相机。
步骤102，将深度图像数据转换为移动机器人坐标系下的数据，即，将深度图像数据中的每个像素点坐标(u，v)转换为移动机器人坐标系下的三维点坐标。
其中，
移动机器人坐标系原点与移动机器人中心重合，为机器人的本体的坐标系，以机器人前进的方向为x轴，与x轴在同一平面、与x轴垂直、且向左的方向为y轴、与x、y轴所在平面垂直向上的方向为z轴，其中，x、y轴所在平面可视为移动机器人移动平面，与移动机器人本体承载面平行，例如，移动机器人本体承载面通常为地面，则x轴、y轴所在平面与地面平行。
根据深度相机与移动机器人坐标系的相对位姿，即深度相机的外参，可得到移动机器人坐标系到深度相机坐标系的转换关系，其中，所述外参可预先进行标定，转换关系Abc可表示为：
Figure BDA0002209336880000061
其中，Rbc为相机坐标系相对移动机器人坐标系之间的相对旋转矩阵，为3×3的矩阵，Tbc为相机坐标系相对移动机器人坐标系之间的相对位移矩阵，为3×1的矩阵。
对于深度图像数据中的任意像素点(u，v，d)，进行坐标变换，得到移动机器人坐标系下的三维点坐标Pb(x，y，z)；当深度图像数据中的所有像素点都进行坐标变换之后，所得到的三维点集合，该集合又称为三维点云。
坐标变换的数学表达为：
Figure BDA0002209336880000062
其中，d为标量，为像素点的深度值，K为相机内参。
步骤103，对三维点集合中的三维点进行筛选。
对于转换到机器人坐标系下的三维点，通常需要区分是否是地面的三维点，是否是障碍的三维点，是否是机器人上方空间三维点，故而，通过设置高度下限可以将地面三维点剔除，通过设置高度上限可以将机器人上方空间的三维点剔除，便于机器人在必要时可在物体底下穿行；完成筛选之后，剩下的三维点则全部是场景中的障碍物，包括在机器人行走路径上的和不在机器人行走路径上的。即，将三维点坐标z值大于第一阈值、且小于第二阈值的三维点予以保留，其中，第一阈值小于第二阈值，数学表达为，满足下式的三维点予以保留。
hlow＜z＜hhigh
通过该步骤，可将实际环境中的地面点云和移动机器人高度之上的点云予以剔除，保留运动过程中有可能触碰的点云，使得对障碍的感知更准确。
对于较为空旷的环境，由于机器人上方空间三维点数量几乎没有，也可以不进行三维点的筛选。
步骤104，将筛选后的三维点进行二维投影。
由于筛选出来的点云仍然是三维的，而对于在平面内移动的移动机器人来说，高度方向的信息是多余信息，故
对于筛选出的任一三维点坐标Pb(x，y，z)，将坐标中的z轴坐标值舍去或设置为0，仅保留x、y的坐标值，由此得到二维点坐标PP(x，y)，以将筛选后的三维点进行二维投影；
所有的三维点坐标的z轴坐标值均舍去，得到二维点集合，以用二维点来表征障碍，从而方便搜索机器人的可行区域。
步骤105，在移动机器人前进方向建立搜索窗口，用于检测机器人行进路线范围内的障碍。
参见图2所示，图2为移动机器人通过搜索窗口感知避障范围内最近距离障碍的一种示意图，其中，搜索窗口为三维立体的，虚线框为搜索窗口在移动平面的投影，即搜索窗口的俯视图。搜索窗口(虚线所示)与移动机器人的相对位置固定，搜索窗口垂直于机器人行进方向的截面的大小至少大于等于机器人在该截面上的投影大小，可选地，搜索窗口为矩形框体，矩形框体的长度按照需要避障距离设定。可选地，搜索窗口为二维的平面，该平面平行于移动机器人承载面，平面的形状为矩形，矩形的长度按照需要避障距离设定，矩形的宽度至少大于等于移动机器人本体前进方向的可通行宽度。
当机器人移动时，在搜索窗体范围内基于二维点云进行搜索，若检测到一定距离范围内有障碍，则需要进行避障。通过检测避障范围内最近障碍物的位置，如图2所示，在搜索框内二维点A点为最近障碍，可以确定机器人当前是否减速、停车以及采取避障措施。
步骤106，根据搜索窗体内最近障碍的位置，判断移动机器人是否需要避障，如果是，则执行步骤107，否则，返回步骤101，
步骤107，进行障碍轮廓膨胀，以实时形成移动机器人行进的可行区域，其中，轮廓膨胀是基于感知的障碍边界向外延伸一定距离，以表示不可行区域，机器人中心不能出现在该区域，否则会发生碰撞；延伸的距离至少为：机器人本体在承载面投影的中心与轮廓之间的最大距离。
具体为，将二维点云中射线上距离最近的二维点作为障碍边界，得到障碍轮廓的二维点；基于障碍轮廓二维点进行膨胀，得到膨胀轮廓二维点；将膨胀轮廓二维点作为移动机器人行进的可行区域。
参见图3所示，图3为感知障碍轮廓的一种示意图。深度相机水平视场范围内从视野边界(例如，图3中图像的边界1到边界2范围)开始、以机器人本体在承载面投影中心为起点等角度地取射线，形成栅格，射线上距离机器人本体在承载面投影中心最近的二维点取为障碍边界(轮廓)，若射线上没有二维点则说明该方向没有障碍。其中，射线间的角度越小，障碍轮廓的二维点也越多，障碍的轮廓越准确。
参见图4所示，图4为膨胀轮廓的一种示意图。在移动机器人前进方向上，对于障碍轮廓上的任意二维点，以该二维点为圆心、膨胀的延伸距离为半径形成一膨胀圆周，将过机器人本体在承载面投影的中心与所述膨胀圆周相切的两切线所夹的圆弧作为该二维点的膨胀边界；其中，所夹圆弧的圆心角小于等于180°。
对障碍轮廓上的所有二维点逐个取膨胀圆周、取切线所夹的圆弧，得到所有二维点的膨胀边界，较佳地，将所有二维点的膨胀边界的包络作为膨胀轮廓，从而得到移动机器人行进的可行区域。
参见图5所示，图5为本发明实施例实现膨胀轮廓的一种流程示意图。结合图4所示，以机器人本体在承载面投影中心为极点，机器人前进方向为极轴，建立极坐标系；
步骤501，确定当前障碍轮廓的二维点膨胀圆周的切线角度范围。可以具体包括，
提取当前障碍轮廓的二维点PP(x，y)，转换为极坐标P(R，θp)；
根据二维点的极坐标、以及膨胀圆周的半径r，膨胀圆周的方程为：
ρ2-2ρRcos(θ-θp)+R2＝r2
为求取过极点的圆周方程的切线，令
Δ＝(2Rcos(θ-θp))2-4(R2-r2)＝0
求解上式，得到：
Figure BDA0002209336880000081
步骤502，计算圆周上切线所夹圆弧点的坐标，具体为：
令极角θ满足
Figure BDA0002209336880000082
且以角度
Figure BDA0002209336880000083
为步长设置极角θ值，将设置的极角θ值代入所述膨胀圆周的方程，求解矢径ρ值；由于求解的是一元二次方程，因此，得到两个解，取矢径ρ值中较小的值，以使得切线所夹圆弧的圆心角小于等于180°，从而得到一圆弧点的极坐标。反复执行所述步骤502，直至达到设定要求，例如，达到设定的圆弧坐标点的总数阈值，由此得到切线所夹的圆弧极坐标点集合，基于该集合所形成的圆弧作为障碍轮廓当前二维点的膨胀边界。较佳地，将极角θ按照划分栅格的角度进行等分，得到步长角度
Figure BDA0002209336880000091
(如图4所示)。或者，设定步长角度，步长越小，得到的圆弧坐标点越多。
步骤503，提取障碍轮廓的下一二维点，返回步骤501，直至障碍轮廓所有点都取完毕。较佳地，为了减少计算量，可以等间距地提取障碍轮廓的二维点。
步骤504，基于圆弧坐标点形成膨胀轮廓的二维点；
实施方式之一，将所有圆弧坐标点的包络作为膨胀轮廓；
实施方式之二，从所有圆弧坐标点筛选膨胀轮廓的二维点，具体为，对于深度相机水平视场范围内划分有栅格的情形(从视野边界开始、以机器人本体在承载面投影中心为起点等角度地取多条射线，形成栅格)，如果当前栅格内没有膨胀轮廓的二维点，则将步骤502计算的圆弧坐标点中位于该栅格的圆弧坐标点作为该栅格膨胀轮廓的二维点；如果当前栅格内已有膨胀轮廓的二维点，则判断步骤502计算的圆弧坐标点中位于栅格内的圆弧坐标点和既有膨胀轮廓的二维点哪个距离机器人本体在承载面投影中心更近，将靠近所述投影中心的点作为该栅格膨胀轮廓的二维点；将所有栅格内膨胀轮廓的二维点的连线(包络)作为膨胀轮廓。
参见图6所示，图6示出了一场景的示意图。参见图7所示，图7示出了基于图6场景的深度图像数据感知的二维点云、以及基于感知的二维点云所确定的轮廓膨胀结果示意图。
基于感知的障碍轮廓膨胀，其应用之一是移动机器人可以进行路径规划和运动控制、避障控制，以图7所示的障碍轮廓膨胀感知为例，没有障碍轮廓膨胀的区域是可行进区域，与实际场景一致；以膨胀轮廓为界，靠近机器人的一侧为可行区域，另一侧为不可行区域。
本申请实施例将深度图像转换为机器人坐标系下的点云后，通过对点云以按照设定的高度阈值进行筛选，将实际环境中的地面点云和机器人高度之上的点云剔除，从而利用了运动过程中有可能触碰的点云进行障碍的感知；利用深度相机得到的三维点云对于移动机器人在平面内运动时高度方向的信息是冗余的特性，将筛选的三维点云投影到二维平面内，这样，二维点云同样保留了三维环境中的障碍物信息，只是以二维点的形式保存，鉴于在二维平面内进行路径规划和控制则能够利用很多成熟的方法，从而为机器人的避障提供了更多便利。在二维的地图中，直接在障碍物原始点云上通过圆周进行采样得到障碍物膨胀轮廓，全程不需要栅格化，避免了栅格化过程中的耗时增加和精度损失，为避障控制提供更好的数据。
参见图8所示，图8为本申请实施例基于深度相机的移动机器人避障***的一种示意图。安装于移动机器人本体的深度相机获取当前深度图像数据，障碍感知模组通过深度数据获取障碍信息，并生成障碍膨胀轮廓，移动控制模组根据障碍膨胀轮廓进行路径规划和移动控制，生成移动指令，执行机构按照移动指令行进，从而驱动机器人进行避障。
参见图9所示，图9为本申请实施例障碍感知模组的一种示意图。障碍感知模组包括，
第一数据转换模块，将深度图像数据转换为移动机器人坐标系下的数据；
第二数据转换模块，将所述移动机器人坐标系下的数据转换为移动机器人移动平面内投影，得到二维数据；
感知模块，在移动机器人行进路线范围内检测二维数据，根据检测的二维数据，获得障碍信息。
所述障碍感知模组还包括，
筛选模块，对第一数据转换模块转换后的数据进行筛选，保留属于移动机器人移动平面内的数据。
所述障碍感知模组还包括，
获取可行区域模块，以移动机器人本体在承载面投影中心为起点，等角度地设置至少一条射线，将射线上距离所述起点最近的二维点作为障碍轮廓，得到障碍轮廓二维点；
对于障碍轮廓的任意二维点，以该二维点为圆心、以延伸距离为半径设置膨胀圆周；获取经过所述起点与所述膨胀圆周相切的两条切线；将两条切线所夹的圆弧作为该障碍轮廓二维点的膨胀边界，其中，所夹的圆弧的圆心角小于等于180°，所述延伸距离至少为机器人本体在承载面投影的中心与轮廓之间的最大距离；
获取所有障碍轮廓二维点的膨胀边界，将所有二维点膨胀边界的包络作为膨胀轮廓二维点，得到移动机器人行进的可行区域。
所述第一数据转换模块还包括，对于深度图像数据中的任一像素点，通过相机外参、像素点的深度值、相机内参、以及像素点的坐标值，得到该像素点在移动机器人坐标系下的三维点坐标，
将深度图像数据中所有像素点转换为移动机器人坐标系下的三维点坐标，得到移动机器人坐标系下的三维点构成的三维点云。
所述第二数据转换模块还包括，对于移动机器人坐标系下的任一三维点坐标，将三维点坐标中垂直于移动机器人移动平面内的坐标值舍弃，或者，将三维点坐标中垂直于移动机器人移动平面内的坐标值设置为0，得到该三维点在移动机器人移动平面内的二维投影；
将移动机器人坐标系下的所有三维点坐标转换为移动机器人移动平面内二维投影，得到二维投影构成的二维点云。
所述感知模块还包括，在移动机器人前进方向建立所述搜索窗口，所述搜索窗口与移动机器人的相对位置固定，
检测搜索窗口范围内是否存在二维点云，如果是，则判定检测到障碍；
根据搜索窗口内最近障碍的位置，判断移动机器人是否需要避障，如果是，则触发获取移动机器人行进的可行区域。
所述获取可行区域模块还包括，将当前障碍轮廓的二维点坐标转换为极坐标；
根据转换的二维点极坐标、和延伸距离，确定膨胀圆周在极坐标系下的方程；
根据所述膨胀圆周在极坐标系下的方程，确定当前障碍轮廓的二维点膨胀圆周的切线角度范围；
在所述切线角度范围内，
将设置的当前极角值代入所述膨胀圆周在极坐标系下的方程，求解圆弧点的矢径值；提取矢径值中较小的值，得到切线所夹的圆弧点的极坐标，
设置下一极角值，返回执行所述将设置的当前极角值代入所述膨胀圆周在极坐标系下的方程步骤，直至切线所夹圆弧段上坐标点计算完毕；
将基于所有圆弧点所形成的圆弧作为当前二维点的膨胀边界。
本申请实施例还提供一种基于深度相机的移动机器人，包括存储器和处理器，存储器存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述基于深度相机的移动机器人感知障碍信息的步骤。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取深度图像数据；
将深度图像数据转换为移动机器人坐标系下的数据；
将所述移动机器人坐标系下的数据转换为移动机器人移动平面内投影，得到二维数据；
在移动机器人行进路线范围内检测二维数据，根据检测的二维数据，获得障碍信息。
对于装置/网络侧设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种移动机器人感知障碍信息的方法，其特征在于，该方法包括，
获取深度图像数据；
将深度图像数据转换为移动机器人坐标系下的数据；
将所述移动机器人坐标系下的数据转换为移动机器人移动平面内投影，得到二维数据；
在移动机器人行进路线范围内检测二维数据；
根据检测的二维数据，获得障碍信息。
2.如权利要求1所述的方法，其特征在于，所述将深度图像数据转换为移动机器人坐标系下的数据包括，
对于深度图像数据中的任一像素点，通过相机外参、像素点的深度值、相机内参、以及像素点的坐标值，得到该像素点在移动机器人坐标系下的三维点坐标，
将深度图像数据中所有像素点转换为移动机器人坐标系下的三维点坐标后，得到移动机器人坐标系下的三维点构成的三维点云；
所述在移动机器人行进路线范围内检测二维数据，包括，
建立用于检测移动机器人行进路线范围内障碍的搜索窗口，在搜索窗口范围内搜索二维数据。
3.如权利要求2所述的方法，其特征在于，所述通过相机外参、像素点的深度值、相机内参、以及像素点的坐标值，得到该像素点在移动机器人坐标系下的三维点坐标，包括，
根据深度相机的外参，得到移动机器人坐标系到深度相机坐标系的转换关系矩阵；
计算所述转换关系矩阵、像素点的深度值、相机内参矩阵的逆矩阵以及由像素点坐标值构成的矩阵的乘积，所得到的结果为像素点在移动机器人坐标系下的三维点坐标；
其中，由像素点坐标值构成的矩阵为
Figure FDA0002209336870000011
u、v为像素点的深度图坐标。
4.如权利要求2所述的方法，其特征在于，所述将所述移动机器人坐标下的数据转换为移动机器人移动平面内投影，得到二维数据，包括，
对于移动机器人坐标系下的任一三维点坐标，将三维点坐标中垂直于移动机器人移动平面的坐标值舍弃，或者，将三维点坐标中垂直于移动机器人移动平面的坐标值设置为0，得到该三维点在移动机器人移动平面内的二维投影；
将移动机器人坐标系下的所有三维点坐标转换为移动机器人移动平面内二维投影后，得到二维投影构成的二维点云。
5.如权利要求2所述的方法，其特征在于，所述建立用于检测移动机器人行进路线范围内障碍的搜索窗口，在搜索窗口范围内搜索二维数据，包括，
在移动机器人前进方向建立所述搜索窗口，所述搜索窗口与移动机器人的相对位置固定，
所述根据检测的二维数据，获得障碍信息包括，
检测搜索窗口范围内是否存在二维点云，如果是，则判定检测到障碍。
6.如权利要求1至5任一所述的方法，其特征在于，所述将所述移动机器人坐标系下的数据转换为移动机器人移动平面内投影，得到二维数据，包括，
对转换后的移动机器人坐标系下的数据进行筛选，保留运动过程中有可能被触碰障碍对应的数据；
将保留的运动过程中有可能被触碰障碍对应的数据，转换为移动机器人移动平面内投影，得到二维数据。
7.如权利要求6所述的方法，其特征在于，所述移动机器人承载面为地面，所述保留运动过程中有可能被触碰对应数据包括，将所述移动机器人坐标系下的三维点坐标中z值大于第一阈值、且小于第二阈值的三维点予以保留。
8.如权利要求1至5任一所述的方法，其特征在于，该方法还包括，根据搜索窗口内最近障碍的位置，判断移动机器人是否需要避障，如果是，则触发获取移动机器人行进的可行区域。
9.如权利要求8所述的方法，其特征在于，所述获取移动机器人行进的可行区域包括，
以移动机器人本体在承载面投影中心为起点，等角度地设置至少一条射线，将射线上距离所述起点最近的二维点作为障碍轮廓，得到障碍轮廓二维点；
对于障碍轮廓的任意二维点，以该二维点为圆心、以延伸距离为半径设置膨胀圆周；获取经过所述起点与所述膨胀圆周相切的两条切线；将两条切线所夹的圆弧作为该障碍轮廓二维点的膨胀边界，其中，所夹圆弧的圆心角小于等于180°，所述延伸距离至少为移动机器人本体在承载面投影的中心与轮廓之间的最大距离；
获取所有障碍轮廓二维点的膨胀边界，将所有二维点的膨胀边界的包络作为膨胀轮廓，以膨胀轮廓为界，将靠近移动机器人的一侧区域为可行区域，另一侧为不可行区域。
10.如权利要求9所述的方法，其特征在于，所述对于障碍轮廓的任意二维点，以该二维点为圆心、以延伸距离为半径设置膨胀圆周，包括，
将当前障碍轮廓的二维点坐标转换为极坐标；
根据转换的二维点极坐标、和延伸距离，确定膨胀圆周在极坐标系下的方程；
所述获取经过所述起点与所述膨胀圆周相切的两条切线，包括，
根据所述膨胀圆周在极坐标系下的方程，确定当前障碍轮廓的二维点膨胀圆周的切线角度范围；
所述将两条切线所夹的圆弧作为该障碍轮廓二维点的膨胀边界，包括，
在所述切线角度范围内，
将设置的当前极角值代入所述膨胀圆周在极坐标系下的方程，求解圆弧点的矢径值；提取矢径值中较小的值，得到切线所夹的圆弧点的极坐标，
设置下一极角值，返回执行所述将设置的当前极角值代入所述膨胀圆周在极坐标系下的方程步骤，直到切线所夹圆弧段上的圆弧坐标点计算完毕；
基于圆弧点形成当前二维点的膨胀边界。
11.如权利要求10所述的方法，其特征在于，所述以移动机器人本体在承载面投影中心为起点，等角度地设置至少一条极线射线还包括，从图像视野边界开始、以移动机器人本体在承载面投影中心为起点等角度地取射线，形成栅格，
所述基于圆弧点形成当前二维点的膨胀边界包括，
如果当前栅格内没有膨胀轮廓的二维点，则将计算的圆弧坐标点中位于该栅格的圆弧坐标点作为该栅格膨胀轮廓的二维点；
如果当前栅格内具有既有膨胀轮廓的二维点，则判断计算的圆弧坐标点中位于栅格内的圆弧坐标点和既有膨胀轮廓的二维点哪个距离移动机器人本体在承载面投影中心更近，将靠近所述投影中心的点作为该栅格膨胀轮廓的二维点；
将所有栅格内膨胀轮廓的二维点作为当前二维点的膨胀边界。
12.一种移动机器人感知障碍信息的装置，其特征在于，该装置包括，
第一数据转换模块，将深度图像数据转换为移动机器人坐标系下的数据；
第二数据转换模块，将所述移动机器人坐标系下的数据转换为移动机器人移动平面内投影，得到二维数据；
感知模块，在移动机器人行进路线范围内检测二维数据，根据检测的二维数据，获得障碍信息。
13.一种移动机器人，其特征在于，所述移动机器人本体包括，
安装于移动机器人本体的深度相机，获取深度图像数据；
障碍感知模组，将深度图像数据转换为移动机器人坐标系下的数据；将所述移动机器人坐标系下的数据转换为移动机器人移动平面内投影，得到二维数据；在移动机器人行进路线范围内检测二维数据，根据检测的二维数据，获得障碍信息；
移动控制模组，根据障碍信息，形成移动指令；
执行机构模组，执行所述移动指令。
14.一种计算机可读存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至11任一所述基于深度相机的移动机器人感知障碍信息的方法的步骤。
CN201910892943.2A 2019-09-20 2019-09-20 一种移动机器人感知障碍信息的方法、装置 Pending CN112631266A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910892943.2A CN112631266A (zh) 2019-09-20 2019-09-20 一种移动机器人感知障碍信息的方法、装置
PCT/CN2020/115818 WO2021052403A1 (zh) 2019-09-20 2020-09-17 一种移动机器人感知障碍信息的方法、装置
JP2022517836A JP7314411B2 (ja) 2019-09-20 2020-09-17 移動ロボットの障害物情報感知方法、装置
KR1020227012806A KR20220066325A (ko) 2019-09-20 2020-09-17 이동 로봇용 장애물 정보 감지 방법, 장치
EP20865409.5A EP4033324B1 (en) 2019-09-20 2020-09-17 Obstacle information sensing method and device for mobile robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910892943.2A CN112631266A (zh) 2019-09-20 2019-09-20 一种移动机器人感知障碍信息的方法、装置

Publications (1)

Publication Number Publication Date
CN112631266A true CN112631266A (zh) 2021-04-09

Family

ID=74883386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910892943.2A Pending CN112631266A (zh) 2019-09-20 2019-09-20 一种移动机器人感知障碍信息的方法、装置

Country Status (5)

Country Link
EP (1) EP4033324B1 (zh)
JP (1) JP7314411B2 (zh)
KR (1) KR20220066325A (zh)
CN (1) CN112631266A (zh)
WO (1) WO2021052403A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114255252A (zh) * 2022-02-28 2022-03-29 新石器慧通（北京）科技有限公司 障碍物轮廓获取方法、装置、设备及计算机可读存储介质
CN116185044A (zh) * 2023-04-26 2023-05-30 威康(深圳)智能有限公司 一种机器人集群***的控制方法、装置、设备及***

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113110457B (zh) * 2021-04-19 2022-11-15 杭州视熵科技有限公司 在室内复杂动态环境中智能机器人的自主覆盖巡检方法
CN113190003B (zh) * 2021-05-06 2024-05-31 珠海格力智能装备有限公司 Agv避障方法、装置、计算机可读存储介质和处理器
CN113568003B (zh) * 2021-07-26 2022-11-01 奥特酷智能科技(南京)有限公司 一种用于机场地勤车的防撞预警***及方法
CN114265412B (zh) * 2021-12-29 2023-10-24 深圳创维数字技术有限公司 车辆控制方法、装置、设备及计算机可读存储介质
CN114509064A (zh) * 2022-02-11 2022-05-17 上海思岚科技有限公司 一种自主扩展传感器数据处理的方法、接口及设备
CN115406445B (zh) * 2022-08-18 2024-05-17 四川华丰科技股份有限公司 多传感器数据融合处理方法及机器人避障方法
CN116009559B (zh) * 2023-03-24 2023-06-13 齐鲁工业大学(山东省科学院) 一种输水管道内壁巡检机器人及检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140031980A1 (en) * 2011-11-11 2014-01-30 Jens-Steffen Gutmann Systems and methods for extending slam to multiple regions
CN105629989A (zh) * 2015-12-28 2016-06-01 电子科技大学 基于最小外包圆和最大内接圆的障碍区域划分方法
CN106441275A (zh) * 2016-09-23 2017-02-22 深圳大学 一种机器人规划路径的更新方法及装置
CN106599108A (zh) * 2016-11-30 2017-04-26 浙江大学 一种三维环境中多模态环境地图构建方法
CN109407705A (zh) * 2018-12-14 2019-03-01 厦门理工学院 一种无人机躲避障碍物的方法、装置、设备和存储介质
CN110202577A (zh) * 2019-06-15 2019-09-06 青岛中科智保科技有限公司 一种实现障碍物检测的自主移动机器人及其方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3994950B2 (ja) 2003-09-19 2007-10-24 ソニー株式会社 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
JP5803043B2 (ja) 2010-05-20 2015-11-04 アイロボット コーポレイション 移動式ロボットシステム及び移動式ロボットを作動させる方法
CN106969770B (zh) * 2017-05-31 2021-04-06 深圳中智卫安机器人技术有限公司 一种机器人及其导航方法、计算机可读存储介质
US11427218B2 (en) * 2017-08-04 2022-08-30 Sony Corporation Control apparatus, control method, program, and moving body
CN108733045B (zh) * 2017-09-29 2022-01-04 北京猎户星空科技有限公司 机器人及其避障方法以及计算机可读存储介质
CN108256430B (zh) * 2017-12-20 2021-01-29 北京理工大学 障碍物信息获取方法、装置及机器人
CN109048926A (zh) * 2018-10-24 2018-12-21 河北工业大学 一种基于立体视觉的机器人智能避障***及方法
CN109947097B (zh) * 2019-03-06 2021-11-02 东南大学 一种基于视觉和激光融合的机器人定位方法及导航应用

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140031980A1 (en) * 2011-11-11 2014-01-30 Jens-Steffen Gutmann Systems and methods for extending slam to multiple regions
CN105629989A (zh) * 2015-12-28 2016-06-01 电子科技大学 基于最小外包圆和最大内接圆的障碍区域划分方法
CN106441275A (zh) * 2016-09-23 2017-02-22 深圳大学 一种机器人规划路径的更新方法及装置
CN106599108A (zh) * 2016-11-30 2017-04-26 浙江大学 一种三维环境中多模态环境地图构建方法
CN109407705A (zh) * 2018-12-14 2019-03-01 厦门理工学院 一种无人机躲避障碍物的方法、装置、设备和存储介质
CN110202577A (zh) * 2019-06-15 2019-09-06 青岛中科智保科技有限公司 一种实现障碍物检测的自主移动机器人及其方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114255252A (zh) * 2022-02-28 2022-03-29 新石器慧通（北京）科技有限公司 障碍物轮廓获取方法、装置、设备及计算机可读存储介质
CN116185044A (zh) * 2023-04-26 2023-05-30 威康(深圳)智能有限公司 一种机器人集群***的控制方法、装置、设备及***
CN116185044B (zh) * 2023-04-26 2023-06-27 威康(深圳)智能有限公司 一种机器人集群***的控制方法、装置、设备及***

Also Published As

Publication number Publication date
EP4033324A1 (en) 2022-07-27
EP4033324A4 (en) 2022-11-02
WO2021052403A1 (zh) 2021-03-25
EP4033324B1 (en) 2024-05-01
KR20220066325A (ko) 2022-05-24
JP7314411B2 (ja) 2023-07-25
JP2022548743A (ja) 2022-11-21

Similar Documents

Publication Publication Date Title
CN112631266A (zh) 一种移动机器人感知障碍信息的方法、装置
EP4145393B1 (en) Vehicle localization
EP3361278B1 (en) Autonomous vehicle localization based on walsh kernel projection technique
EP3519770B1 (en) Methods and systems for generating and using localisation reference data
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
KR102032070B1 (ko) 깊이 맵 샘플링을 위한 시스템 및 방법
CN110807350B (zh) 用于面向扫描匹配的视觉slam的***和方法
US11915099B2 (en) Information processing method, information processing apparatus, and recording medium for selecting sensing data serving as learning data
KR102143108B1 (ko) 차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기
US11250288B2 (en) Information processing apparatus and information processing method using correlation between attributes
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
JP2021523443A (ja) Ｌｉｄａｒデータと画像データの関連付け
TW201638833A (zh) 使用圖像資料之位置資料及縮放空間表示之物件偵測
EP3349143B1 (en) Nformation processing device, information processing method, and computer-readable medium
CN110674705A (zh) 基于多线激光雷达的小型障碍物检测方法及装置
CN112346463B (zh) 一种基于速度采样的无人车路径规划方法
KR102519666B1 (ko) 이미지 변환 장치 및 방법
US20220254062A1 (en) Method, device and storage medium for road slope predicating
JP2017526083A (ja) 位置特定およびマッピングの装置ならびに方法
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US11629963B2 (en) Efficient map matching method for autonomous driving and apparatus thereof
CN110705385A (zh) 一种障碍物角度的检测方法、装置、设备及介质
CN113551679A (zh) 一种示教过程中的地图信息构建方法、构建装置
US20230401748A1 (en) Apparatus and methods to calibrate a stereo camera pair

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Hikvision Robot Co.,Ltd.

Address before: 310052 5 / F, building 1, building 2, no.700 Dongliu Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20210409

RJ01 Rejection of invention patent application after publication