CN108932736A - 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 - Google Patents
二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 Download PDFInfo
- Publication number
- CN108932736A CN108932736A CN201810539585.2A CN201810539585A CN108932736A CN 108932736 A CN108932736 A CN 108932736A CN 201810539585 A CN201810539585 A CN 201810539585A CN 108932736 A CN108932736 A CN 108932736A
- Authority
- CN
- China
- Prior art keywords
- laser radar
- point
- coordinate
- data
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 43
- 238000000605 extraction Methods 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 230000007613 environmental effect Effects 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000001105 regulatory effect Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 230000007717 exclusion Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000011897 real-time detection Methods 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 239000012141 concentrate Substances 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 238000002156 mixing Methods 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 239000006185 dispersion Substances 0.000 claims 1
- 238000013461 design Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000004387 environmental modeling Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开了一种二维激光雷达点云数据处理方法,通过激光雷达扫描采集环境数据,进行点云数据预处理,将以激光雷达为坐标点的极坐标系转换为机器人位姿校准时使用的直角坐标系,然后采用区域分割、特征提取、点云分割、二维激光雷达和摄像头融合检测算法实现对环境信息的有效检测识别,利用摄像头的孔针模型与激光雷达进行三维坐标融合,使机器人根据偏差校准自身位姿。本发明同时公开了一种动态机器人位姿校准的方法,采用摄像头作为辅助检测传感器,融合激光雷达获取机器人实时位姿状态;与期望位姿状态进行比较,获得校准***的调节量,并不断进行校准,直到激光雷达检测到的机器人位姿与期望位姿的偏差量小于某一阈值,则完成整个闭环位姿校准过程。
Description
技术领域
本发明涉及一种二维激光雷达点云数据处理方法/算法,及其应用于动态机器人位姿校准***的设计。
背景技术
就目前的发展状况来看,智能机器人技术还面临着种种难题,为此出现了很多机器人赛事,其考查的重点之一就是智能机器人环境建模问题,环境建模是智能机器人实现环境信息交流的唯一渠道,因此技术突破势在必行。近年来,我国在交通、电力传输、建筑等行业应用的驱动下,激光雷达技术发展迅猛。激光雷达采集到的丰富的点云数据,信息量庞大,常用数据存储格式不统一,存储数据时存在种种不足,数据精度很难保证,因此,激光雷达点云数据的后处理一直是一个重要课题。
为了克服二维激光雷达信息量庞大,常用数据存储格式不统一,存储数据时存在种种不足,数据精度很难保证的问题,研究二维激光雷达作业流程,优化设计作业方案,是非常有意义的。
目前,二维激光雷达利用测距原理,能够准确感知机器人所处环境信息,在智能机器人导航、定位、避障、路径规划等研究领域受到了极大关注。研究点云数据处理的算法,能够更高效、实用地应用于机器人对环境信息的感知,为完成路径规划、地图构建、机器定位等功能提供技术支持。
发明内容
本发明针对现有技术不足,提出了一种二维激光雷达点云数据的有效处理方法,并采用二维激光雷达与摄像头融合的方法,实现二维激光雷达动态机器人位姿校准。
本发明所采用的技术方案:
一种二维激光雷达点云数据处理方法,对通过激光雷达扫描采集的环境原始数据首先进行点云数据预处理,将以激光雷达为坐标点的极坐标系转换为机器人位姿校准时使用的直角坐标系,然后采用区域分割算法、特征提取算法、点云分割算法、二维激光雷达和摄像头融合检测算法实现对环境信息的有效检测识别,所述的区域分割算法的使用判定方法为:如果连续的两个扫描点距离小于某一阈值,则将这两个扫描点归于同一个区块;对比连续的两个扫描点,如果它们的距离大于某一阈值,连续的数据就从这个扫描点分割开;最后,把一帧完整的点云数据分割成为几个区块;所述的特征提取算法包括Split-and-Merge的直线特征提取算法和霍夫变换的圆弧特征提取算法,利用霍夫变换获取圆心坐标;所述的二维激光雷达和摄像头融合检测算法,利用摄像头的孔针模型与激光雷达进行三维坐标融合;根据此模型获取转换矩阵,再将参数矩阵在程序中与激光雷达圆心数据进行融合,使激光雷达得到的圆心坐标在摄像头图像坐标系中找到对应的像素点;摄像头根据此中心坐标获取的静态偏差,使机器人根据偏差校准自身位姿。
一种利用所述二维激光雷达点云数据处理方法实现动态机器人位姿校准的方法,首先将激光雷达与摄像头与机器人固连,且摄像头与雷达相对位置不变;其次,通过以下步骤进行动态机器人位姿校准:1)利用激光雷达扫描周围环境,获取DSM并使用算法处理获取机器人实时位姿状态;2)摄像头图像融合,即摄像头作为辅助检测传感器,融合于激光雷达以获取更精确的机器人实时位姿状态;3)将检测获取的机器人实时位姿状态数据,与期望位姿状态进行比较,获得校准***的调节量;4)利用机器人运动或发射机构,执行位姿校准,得到一个新的机器人位姿;5)激光雷达实时检测当前位姿状态,反馈至执行机构再一次进行校准;6)如此循环,令机器人不断进行校准,直到激光雷达检测到的机器人位姿与期望位姿的偏差量小于某一阈值,则完成整个闭环位姿校准过程,最终达到期望位姿。
本发明的有益效果:
1、本发明二维激光雷达点云数据处理方法/算法,结合二维激光雷达,研究了各种算法对点云数据进行去噪滤波、区域分割、特征提取、点云分割处理,解决了原始数据复杂和精度低的问题。
2、本发明开发设计了一个基于二维激光雷达的机器人位姿校准***,封装、集成了点云数据处理模块、算法,能够实时检测机器人位姿,并及时反馈修正,效率高,能够更高效、实用地应用于机器人对环境信息的感知;并且保证在有雾,有霾等天气机器人能够获取位姿信息。
3、本发明二维激光雷达点云数据处理方法/算法,直线特征提取采用了动态阈值的解决方案,减小了下述情况的出现的概率:阈值dT影响特征提取效果,阈值dT过大会导致特征点提取遗漏。阈值dT过小会导致分割过密,二者都会影响直线拟合的效果,同时也加大了运算量。
4、本发明二维激光雷达点云数据处理方法/算法,包括Split-and-Merge的直线特征提取算法和霍夫变换的圆弧特征提取算法,对直线和圆弧检测精度很高,利用霍夫变换成功的检测出了柱子并获取圆心坐标,并且其他非圆弧信息并未被误判,算法适应性较强。
附图说明
图1为本发明二维激光雷达点云数据处理方法/算法流程图;
图2为特征提取算法中Split-and-Merg直线特征提取步骤;
图3为激光雷达和摄像头坐标融合建模的针孔模型的坐标示意图;
图4为本发明动态机器人位姿校准***设计硬件平台总体框图;
图5为本发明动态机器人位姿校准方法流程图。
具体实施方式
下面通过具体实施方式,对本发明的技术方案做进一步的详细描述。
实施例1
参见图1,本发明二维激光雷达点云数据处理方法,对通过激光雷达扫描采集的环境原始数据首先进行点云数据预处理,将以激光雷达为坐标点的极坐标系转换为机器人位姿校准时使用的直角坐标系,然后采用区域分割算法、特征提取算法、点云分割算法、二维激光雷达和摄像头融合检测算法实现对环境信息的有效检测识别,其过程包括:
所述的区域分割算法的使用判定方法为:如果连续的两个扫描点距离小于某一阈值,则将这两个扫描点归于同一个区块;对比连续的两个扫描点,如果它们的距离大于某一阈值,连续的数据就从这个扫描点分割开;最后,把一帧完整的点云数据分割成为几个区块;一般情况下,扫描点的分布呈非均匀分布,距离激光雷达近的扫描点更加密集,而距离激光雷达远的扫描点密度更小;
所述的特征提取算法包括Split-and-Merge的直线特征提取算法和霍夫变换的圆弧特征提取算法,利用霍夫变换获取圆心坐标;并且其他非圆弧信息未被误判,算法适应性较强;
所述的二维激光雷达和摄像头融合检测算法,利用摄像头的孔针模型与激光雷达进行三维坐标融合;根据此模型获取转换矩阵,再将参数矩阵在程序中与激光雷达圆心数据进行融合,使激光雷达得到的圆心坐标在摄像头图像坐标系中找到对应的像素点;摄像头根据此中心坐标获取的静态偏差,使机器人根据偏差校准自身位姿;摄像头根据此中心坐标获取对方飞盘在着陆台上的静态偏差,使机器人根据偏差校准自身位姿,以瞄准对方飞盘进行击盘任务。
实施例2
参见图1、图2,本实施例的二维激光雷达点云数据处理方法,与实施例1的不同之处在于:所述点云数据预处理算法,包括滤波算法、排除异常值和坐标变换;滤波算法、排除异常值能有效地消除环境中的干扰信息;坐标变换将以激光雷达为坐标点的极坐标系转换为机器人位姿校准时使用的直角坐标系;
1)采用的滤波算法如下:
由于环境的干扰,激光雷达返回的扫描数据中包括噪声。使用合适的滤波算法能有效地消除噪音。选定窗口宽度为7的中值滤波器,能将离散的点云数据中的噪声有效滤除,并且保留有用的原始数据边缘信息,从而使其周围的数据都能更加靠近真实值,以便于下一步算法处理,计算公式如下:
xmid=med{xi-s,...xi-1,xi,xi+1,...,xi+s}
其中s代表窗口大小,med{}代表取中值操作函数,xi代表激光雷达探测的单个数据,xmid代表中值滤波之后的数据。
2)坐标变换:
由于激光雷达采集得到的点云数据是以激光雷达为原点的极坐标点,而机器人位姿校准使用的是直角坐标系,通过以下关系式计算得到目标坐标:
X=ρ cosΘ
Y=ρ sinΘ
式中,ρ表示激光雷达扫描目标物体所测量到的目标点的距离信息,Θ表示其角度信息;(X,Y)表示目标物体在以机器人为中心的直角坐标系中的坐标,单位mm。
实施例3
参见图1,本实施例的二维激光雷达点云数据处理方法,与实施例2的不同之处在于:所述区域分割算法,设当某一扫描点A距离激光雷达中心点O为D时,设定分割距离阈值为d,则当扫描点距离激光雷达中心为3D时,阈值调整为3d;根据实际应用情况也可以选用非线性函数来定义自适应分割阈值;采用的区域分割算法如下:
a、计算点集中连续两点间的距离
b、判断Dj和阈值θ的关系,
如果Dj,大于阈值θ,则认为点(x,y)是两个区域的分割点,阈值的选择一般按照动态阈值的方式。按照上述步骤一步步进行后,最终可以分割出N个相互间没有连接的区域{Al,A2...AN};
c、判断每个区域内数据点的个数,如果某个区域包含数据点的个数小于等于N个,那么该区域被视为噪声区域,舍弃这些噪声点,不进行处理;
激光雷达有效测距距离为A,角度分辨率为B,则相邻扫描点之间的距离最小为C:
C=2×A×sinB
根据该值设定合适的分隔阈值;
利用OpenCV对不同的区域用不同的颜色进行显示分割(同一种颜色并不代表在同一区域,只是颜色有限,几种颜色在循环使用),不同特征的物体,被分别分割出来,为后续的提取做好铺垫。
实施例4
参见图1、图2,本实施例的二维激光雷达点云数据处理方法,与前述各实施例的不同之处在于:所述特征提取算法包括直线提取算法和圆弧特征提取算法:
1)直线提取算法
直线特征提取中采取Split-and-Merge算法,设区域ai的第一个点和最后一个点分别为ks(Xs,Ys)和ke(Xe,Ye);两点之间的连线为L,连线长度为da;区域ali内点Mk到L的距离记dk,设点到L距离的阈值为dT,如果dk>dT,则以点pk为分割点将区域ali分成两部分;否则,不进行分割,并采用最小二乘法对ali中的激光数据点进行直线拟合,求取直线参数(k,b);重复上述步骤,直到这个区域内的所有直线特征提取完成。
阈值dT影响特征提取效果,阈值dT过大会导致特征点提取遗漏。阈值dT过小会导致分割过密,二者都会影响直线拟合的效果,同时也加大了运算量。本发明采用了动态阈值的解决方案,将会减小上述情况的出现的概率。
实线表示区域点集,选取L=dT;根据提取特征的首末点长度,判断是否拟合区域内数据点是否可以拟合为一条线段;区域内的所有数据点都均匀分布于其周围,线段拟合结果较好;而在区域内选取L=dT,相对于同一条拟合直线区域内点的分布太分散导致拟合线段的结果较差。综上所述,如果根据激光雷达数据点集区域端点之间连线长度dL的大小来选取动态的阈值dT,在一定程度能提高算法线段拟合的效果;
2)圆弧特征提取算法
完成区域分割后,将激光雷达扫描的数据分为几个块区,每个块区主要包含撕裂点(BreakPoint)、角点(Corner)、直线、圆弧几个重要的特征;
Hough变换,采用一种类似于投票的机制,某一参数获得的票数越多,则存在圆弧的概率越大。利用前文已将点云图进行区域分割,分成的多个点集,分别进行Hough变换,可减少处理数据,方便地计算圆弧的位置与半径。
设点云图中有一点(X,Y),存在无数个圆会经过该点,每个圆对应一组(a,b,R)参数;设立一个票箱,将所有可能的(a,b,R)参数放入其中,当某组参数出现一次,票箱中的票数+1;将所有点都扫描后,查看票箱数目,票数最多的点即为圆出现概率最大的点。设定一个阈值,若最多的票数小于该阈值,则认为此区域不存在圆,否则认为圆存在。该方法准确,实用性强。
实施例5
参见图1、图2,本实施例的二维激光雷达点云数据处理方法,与实施例4的不同之处在于:所述的点云分割算法包括聚类分割算法和随机抽样一致性算法:
1)聚类分割算法:
聚类分割的基本原理为:假设存在m个数据点,在m维空间内,设定点与点之间的一个特征距离;假如m个数据点分为n类(n≤m),同时将距离最小的两类合并;然后再计算类与类之间的距离;迭代上述过程,最后完成分割的时候,需要满足任意两类间的距离都大于设定的阈值,或者类的个数小于指定的数目;
聚类的分割方法一般为两步:首先根据点云数据特征识别聚类模式,然后将具有相同模式的点云分割在一起;在聚类方法中每个点都与一个特征向量相关联,特征向量又包含了若干个几何或者辐射度量值;然后,在特征空间中通过聚类的方法(如K-mean法、最大似然方法和模糊聚类法)分割点云数据。
2)随机抽样一致性算法:
随机抽样一致性算法的基本思想:针对具体的问题进行参数估计的时候,首先需要设定一个判断准则,再利用判断准则不断删除与估计的参数不一致的数据,迭代使用判断准则,然后通过剔除之后的有效输入数据来估计准确的参数,它规定在满足一定的置信概率时,基本子集的最小抽样数M与取得至少一个正确子集的概率P(P>ε)满足如下关系:
P=(1-(1-ε)m)M
其中,ε为错误的数据概率,m为参数估计的最小数据量;
RANSAC方法在点云分割中主要是应用在区域生长的方法中,嵌入这种方法减小噪声影响,节省时间。对于给定数目为m的点集Q,随机选取能够构造种子面最低参数要求的n(n≤m)个数据点,建立种子面参数模型S,以平面模型为例:
(1)计算最小抽样数M;
(2)利用求概率P公式从数据集合中选择m个点(m=3),计算模型ax+by+cz+d=0的参数;
(3)根据点到平面模型的距离d=|ax+by+cz+d|,设定一个阈值δ=|dt|;
(4)计算所有点到平面模型的距离,如果d满足0≤|d|≤|dt|,将点归为有效点,否则归为无效点;
(5)重复(2)到(4)的步骤M次,统计每次分类后有效点的数目,选择有效点最多时对应的平面参数为最终的平面分割结果。
实施例6
参见图1、图2、图3,本实施例的二维激光雷达点云数据处理方法,与前述各实施例的不同之处在于:所述的二维激光雷达与摄像头融合算法,过程如下:
以激光雷达的坐标作为世界坐标,利用摄像头的孔针模型将物体的世界坐标转换到摄像头的图像坐标;首先将摄像头与激光雷达固定在一个支架上,通过移动目标物体或是支架,读取图像上的着陆台中心坐标和激光雷达测得的柱子圆心坐标,然后通过解超定方程组求出M矩阵;保持之前摄像头和激光雷达的相对位置关系,将激光雷达圆心坐标与M矩阵进行运算即可得到当前柱子中心坐标在摄像头图像上的像素坐标;
采用针孔模型方法,实现将激光雷达所在的三维空间坐标系中的物体投影到成像平面的转换;建立激光雷达与摄像头坐标系,设一目标物体为点P(Xl,Yl,Zl),其在摄像头视图坐标系下,坐标表示为P(Xc,Yc,Zc);在摄像头成像坐标系中,用坐标P(X,Y)表示,设摄像头成像***焦距为f;整个成像过程就是物体三维空间坐标在以上坐标系之间的转换过程;
物体点P从激光雷达坐标系到摄像头像素坐标系的整体变换公式如下:
其中,K为摄像机内参数矩阵,[R t]为摄像机外参数矩阵,M为投影矩阵;
利用摄像头的理想变换模型,可以简化得到如下转换关系式:
即求得M矩阵后,激光雷达采集到的目标物体坐标经上式便可得到其在摄像头上的对应像素坐标,完成两传感器坐标融合,实现激光雷达为摄像头提供检测ROI区域与图像中心坐标。
实施例7
参见图4,图5。本实施例为利用前述二维激光雷达点云数据处理方法实现动态机器人位姿校准的方法的具体实施方式,实现动态机器人位姿校准。
如图4所示,一块稳压电源板输出稳定电压24V、12V、5V,分别为底盘电机、miniPC和激光雷达、主控板和摄像头提供驱动电源。摄像头与激光雷达分别使用USB和以太网口与miniPC进行数据通信。miniPC负责完成激光雷达单独检测机器人位姿程序运行,同时也负责摄像头检测飞盘并与激光雷达融合检测输出击打飞盘机器人所需位姿状态。miniPC通过有线串口与主控进行数据通信,由此主控可获得激光雷达与融合检测的机器人位姿调节量。
主控根据位姿调节量,校准机器人位姿。设计步骤如下:
首先将激光雷达与摄像头与机器人固连,且摄像头与雷达相对位置不变;其次,通过以下步骤进行动态机器人位姿校准:
1)利用激光雷达扫描周围环境,获取DSM(数字表面模型)并使用算法处理获取机器人实时位姿状态;
2)摄像头图像融合,即摄像头作为辅助检测传感器,融合于激光雷达以获取更精确的机器人实时位姿状态;
3)将检测获取的机器人实时位姿状态数据,与期望位姿状态进行比较,获得校准***的调节量;
4)利用机器人运动或发射机构,执行位姿校准,得到一个新的机器人位姿;
5)激光雷达实时检测当前位姿状态,反馈至执行机构再一次进行校准;
6)如此循环,令机器人不断进行校准,直到激光雷达检测到的机器人位姿与期望位姿的偏差量小于某一阈值,则完成整个闭环位姿校准过程,最终达到期望位姿。
实施例8
参见图4、图5,本实施例的动态机器人位姿校准的方法,与实施例7不同的是:
步骤1)包括两个步骤:
a、二维激光雷达点云数据采集,即雷达采集原始点云数据发送到电脑/终端;
b、点云数据处理,即:基于步骤a雷达采集的DSM(数字表面模型),进行去噪滤波、区域分割、点云分割、特征提取。得到初步机器人实时位姿信息;
所述步骤2)包括两个步骤:
c、数据采集;
d、坐标转换,即以激光雷达的坐标作为世界坐标,利用摄像头的孔针模型将物体的世界坐标转换到摄像头的图像坐标,并解超定方程组求出M矩阵。
为了保证步骤c数据的准确,摄像头的分辨率要在960p以上。
为了保证步骤d数据的准确,理论上6个标定点就可以求出M矩阵各元素值。实际求取过程中,由于标定存在一定的误差,使用6个以上标定点进行标定,通过解超定方程组降低误差。
Claims (9)
1.一种二维激光雷达点云数据处理方法,对通过激光雷达扫描采集的环境原始数据首先进行点云数据预处理,将以激光雷达为坐标点的极坐标系转换为机器人位姿校准时使用的直角坐标系,然后采用区域分割算法、特征提取算法、点云分割算法、二维激光雷达和摄像头融合检测算法实现对环境信息的有效检测识别,其特征在于:
所述的区域分割算法的使用判定方法为:如果连续的两个扫描点距离小于某一阈值,则将这两个扫描点归于同一个区块;对比连续的两个扫描点,如果它们的距离大于某一阈值,连续的数据就从这个扫描点分割开;最后,把一帧完整的点云数据分割成为几个区块;
所述的特征提取算法包括Split-and-Merge的直线特征提取算法和霍夫变换的圆弧特征提取算法,利用霍夫变换获取圆心坐标;
所述的二维激光雷达和摄像头融合检测算法,利用摄像头的孔针模型与激光雷达进行三维坐标融合;根据此模型获取转换矩阵,再将参数矩阵在程序中与激光雷达圆心数据进行融合,使激光雷达得到的圆心坐标在摄像头图像坐标系中找到对应的像素点;摄像头根据此中心坐标获取的静态偏差,使机器人根据偏差校准自身位姿。
2.根据权利要求1所述的二维激光雷达点云数据处理方法,其特征在于:所述点云数据预处理算法,包括滤波算法、排除异常值和坐标变换;滤波算法、排除异常值能有效地消除环境中的干扰信息;坐标变换将以激光雷达为坐标点的极坐标系转换为机器人位姿校准时使用的直角坐标系;
1)采用的滤波算法如下:
选定窗口宽度为7的中值滤波器,能将离散的点云数据中的噪声有效滤除,并且保留有用的原始数据边缘信息,从而使其周围的数据都能更加靠近真实值,以便于下一步算法处理,计算公式如下:
xmid=med{xi-s,...xi-1,xi,xi+1,...,xi+s}
其中s代表窗口大小,med{}代表取中值操作函数,xi代表激光雷达探测的单个数据,xmid代表中值滤波之后的数据。
2)坐标变换:
由于激光雷达采集得到的点云数据是以激光雷达为原点的极坐标点,而机器人位姿校准使用的是直角坐标系,通过以下关系式计算得到目标坐标:
X=ρ cos Θ
Y=ρ sin Θ
式中,ρ表示激光雷达扫描目标物体所测量到的目标点的距离信息,Θ表示其角度信息;(X,Y)表示目标物体在以机器人为中心的直角坐标系中的坐标,单位mm。
3.根据权利要求2所述的二维激光雷达点云数据处理方法,其特征在于:设当某一扫描点A距离激光雷达中心点O为D时,设定分割距离阈值为d,则当扫描点距离激光雷达中心为3D时,阈值调整为3d;根据实际应用情况也可以选用非线性函数来定义自适应分割阈值;采用的区域分割算法如下:
a、计算点集中连续两点间的距离
b、判断Dj和阈值θ的关系,
如果Dj,大于阈值θ,则认为点(x,y)是两个区域的分割点,阈值的选择一般按照动态阈值的方式。按照上述步骤一步步进行后,最终可以分割出N个相互间没有连接的区域{Al,A2...AN};
c、判断每个区域内数据点的个数,如果某个区域包含数据点的个数小于等于N个,那么该区域被视为噪声区域,舍弃这些噪声点,不进行处理;
激光雷达有效测距距离为A,角度分辨率为B,则相邻扫描点之间的距离最小为C:
C=2×A×sinB
根据该值设定合适的分隔阈值;
利用OpenCV对不同的区域用不同的颜色进行显示分割,不同特征的物体,被分别分割出来,为后续的提取做好铺垫。
4.根据权利要求1、2或3所述的二维激光雷达点云数据处理方法,其特征在于:所述特征提取算法包括直线提取算法和圆弧特征提取算法:
1)直线提取算法
直线特征提取中采取Split-and-Merge算法,设区域ai的第一个点和最后一个点分别为ks(Xs,Ys)和ke(Xe,Ye);两点之间的连线为L,连线长度为da;区域ali内点Mk到L的距离记dk,设点到L距离的阈值为dT,如果dk>dT,则以点pk为分割点将区域ali分成两部分;否则,不进行分割,并采用最小二乘法对ali中的激光数据点进行直线拟合,求取直线参数(k,b);重复上述步骤,直到这个区域内的所有直线特征提取完成;
实线表示区域点集,选取L=dT;根据提取特征的首末点长度,判断是否拟合区域内数据点是否可以拟合为一条线段;区域内的所有数据点都均匀分布于其周围,线段拟合结果较好;而在区域内选取L=dT,相对于同一条拟合直线区域内点的分布太分散导致拟合线段的结果较差;根据激光雷达数据点集区域端点之间连线长度dL的大小来选取动态的阈值dT,在一定程度能提高算法线段拟合的效果;
2)圆弧特征提取算法
完成区域分割后,将激光雷达扫描的数据分为几个块区,每个块区主要包含撕裂点、角点、直线、圆弧几个重要的特征;
设点云图中有一点(X,Y),存在无数个圆会经过该点,每个圆对应一组(a,b,R)参数;设立一个票箱,将所有可能的(a,b,R)参数放入其中,当某组参数出现一次,票箱中的票数+1;将所有点都扫描后,查看票箱数目,票数最多的点即为圆出现概率最大的点。设定一个阈值,若最多的票数小于该阈值,则认为此区域不存在圆,否则认为圆存在。
5.根据权利要求4所述的二维激光雷达点云数据处理方法,其特征在于:所述的点云分割算法包括聚类分割算法和随机抽样一致性算法:
1)聚类分割算法:
假设存在m个数据点,在m维空间内,设定点与点之间的一个特征距离;假如m个数据点分为n类,所述n≤m,同时将距离最小的两类合并;然后再计算类与类之间的距离;迭代上述过程,最后完成分割的时候,需要满足任意两类间的距离都大于设定的阈值,或者类的个数小于指定的数目;
聚类的分割方法一般为两步:首先根据点云数据特征识别聚类模式,然后将具有相同模式的点云分割在一起;在聚类方法中每个点都与一个特征向量相关联,特征向量又包含了若干个几何或者辐射度量值;然后,在特征空间中通过聚类的方法分割点云数据。
2)随机抽样一致性算法:
针对具体的问题进行参数估计的时候,首先需要设定一个判断准则,再利用判断准则不断删除与估计的参数不一致的数据,迭代使用判断准则,然后通过剔除之后的有效输入数据来估计准确的参数,它规定在满足一定的置信概率时,基本子集的最小抽样数M与取得至少一个正确子集的概率P(P>ε)满足如下关系:
P=(1-(1-ε)m)M
其中,ε为错误的数据概率,m为参数估计的最小数据量;
对于给定数目为m的点集Q,随机选取能够构造种子面最低参数要求的n(n≤m)个数据点,建立种子面参数模型S,以平面模型为例:
(1)计算最小抽样数M;
(2)利用求概率P公式从数据集合中选择m个点(m=3),计算模型ax+by+cz+d=0的参数;
(3)根据点到平面模型的距离d=|ax+by+cz+d|,设定一个阈值δ=|dt|;
(4)计算所有点到平面模型的距离,如果d满足0≤|d|≤|dt|,将点归为有效点,否则归为无效点;
(5)重复(2)到(4)的步骤M次,统计每次分类后有效点的数目,选择有效点最多时对应的平面参数为最终的平面分割结果。
6.根据权利要求1、2、3或5所述的二维激光雷达点云数据处理方法,其特征在于:所述的二维激光雷达与摄像头融合算法,过程如下:
以激光雷达的坐标作为世界坐标,利用摄像头的孔针模型将物体的世界坐标转换到摄像头的图像坐标;首先将摄像头与激光雷达固定在一个支架上,通过移动目标物体或是支架,读取图像上的着陆台中心坐标和激光雷达测得的柱子圆心坐标,然后通过解超定方程组求出M矩阵;保持之前摄像头和激光雷达的相对位置关系,将激光雷达圆心坐标与M矩阵进行运算即可得到当前柱子中心坐标在摄像头图像上的像素坐标;
采用针孔模型方法,实现将激光雷达所在的三维空间坐标系中的物体投影到成像平面的转换;建立激光雷达与摄像头坐标系,设一目标物体为点P(Xl,Yl,Zl),其在摄像头视图坐标系下,坐标表示为P(Xc,Yc,Zc);在摄像头成像坐标系中,用坐标P(X,Y)表示,设摄像头成像***焦距为f;整个成像过程就是物体三维空间坐标在以上坐标系之间的转换过程;
物体点P从激光雷达坐标系到摄像头像素坐标系的整体变换公式如下:
其中,K为摄像机内参数矩阵,[R t]为摄像机外参数矩阵,M为投影矩阵;
利用摄像头的理想变换模型,可以简化得到如下转换关系式:
即求得M矩阵后,激光雷达采集到的目标物体坐标经上式便可得到其在摄像头上的对应像素坐标,完成两传感器坐标融合,实现激光雷达为摄像头提供检测ROI区域与图像中心坐标。
7.一种利用权利要求1所述二维激光雷达点云数据处理方法实现动态机器人位姿校准的方法,首先将激光雷达与摄像头与机器人固连,且摄像头与雷达相对位置不变;其次,通过以下步骤进行动态机器人位姿校准:
1)利用激光雷达扫描周围环境,获取DSM并使用算法处理获取机器人实时位姿状态;
2)摄像头图像融合,即摄像头作为辅助检测传感器,融合于激光雷达以获取更精确的机器人实时位姿状态;
3)将检测获取的机器人实时位姿状态数据,与期望位姿状态进行比较,获得校准***的调节量;
4)利用机器人运动或发射机构,执行位姿校准,得到一个新的机器人位姿;
5)激光雷达实时检测当前位姿状态,反馈至执行机构再一次进行校准;
6)如此循环,令机器人不断进行校准,直到激光雷达检测到的机器人位姿与期望位姿的偏差量小于某一阈值,则完成整个闭环位姿校准过程,最终达到期望位姿。
8.根据权利要求7所述的动态机器人位姿校准的方法,其特征在于:步骤1)包括:
a、二维激光雷达点云数据采集,即雷达采集原始点云数据发送到电脑/终端;
b、点云数据处理,即:基于步骤a雷达采集的DSM(数字表面模型),进行去噪滤波、区域分割、点云分割、特征提取;得到初步机器人实时位姿信息。
9.根据权利要求7或8所述的动态机器人位姿校准的方法,其特征在于:步骤2)包括:
c、数据采集;
d、坐标转换,即以激光雷达的坐标作为世界坐标,利用摄像头的孔针模型将物体的世界坐标转换到摄像头的图像坐标,并解超定方程组求出M矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810539585.2A CN108932736B (zh) | 2018-05-30 | 2018-05-30 | 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810539585.2A CN108932736B (zh) | 2018-05-30 | 2018-05-30 | 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108932736A true CN108932736A (zh) | 2018-12-04 |
CN108932736B CN108932736B (zh) | 2022-10-11 |
Family
ID=64449645
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810539585.2A Active CN108932736B (zh) | 2018-05-30 | 2018-05-30 | 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108932736B (zh) |
Cited By (73)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584183A (zh) * | 2018-12-05 | 2019-04-05 | 吉林大学 | 一种激光雷达点云去畸变方法及*** |
CN109696168A (zh) * | 2019-02-27 | 2019-04-30 | 沈阳建筑大学 | 一种基于激光传感器的移动机器人几何地图创建方法 |
CN109709801A (zh) * | 2018-12-11 | 2019-05-03 | 智灵飞(北京)科技有限公司 | 一种基于激光雷达的室内无人机定位***及方法 |
CN109737968A (zh) * | 2019-03-07 | 2019-05-10 | 中山大学 | 基于二维LiDAR和智能手机的室内融合定位方法 |
CN109760064A (zh) * | 2019-03-25 | 2019-05-17 | 广东电网有限责任公司 | 一种移动机器人自身位置的调整方法和装置 |
CN109765901A (zh) * | 2019-02-18 | 2019-05-17 | 华南理工大学 | 基于线激光与双目视觉的动态代价地图导航方法 |
CN109784333A (zh) * | 2019-01-22 | 2019-05-21 | 中国科学院自动化研究所 | 基于点云带权通道特征的三维目标检测方法及*** |
CN109799513A (zh) * | 2019-01-04 | 2019-05-24 | 广西大学 | 一种基于二维激光雷达数据中直线特征的室内未知环境定位方法 |
CN109859274A (zh) * | 2018-12-24 | 2019-06-07 | 深圳市银星智能科技股份有限公司 | 机器人、其物体标定方法及视教交互方法 |
CN109920011A (zh) * | 2019-05-16 | 2019-06-21 | 长沙智能驾驶研究院有限公司 | 激光雷达与双目摄像头的外参标定方法、装置及设备 |
CN109933075A (zh) * | 2019-04-12 | 2019-06-25 | 成都宇俊盛科技有限公司 | 一种用于全自动无人轨道车辆的单线激光雷达测障方法 |
CN109991618A (zh) * | 2019-05-13 | 2019-07-09 | 上海理工大学 | 一种嵌入式轮椅式护理床及其自动对接方法 |
CN110082779A (zh) * | 2019-03-19 | 2019-08-02 | 同济大学 | 一种基于3d激光雷达的车辆位姿定位方法及*** |
CN110082781A (zh) * | 2019-05-20 | 2019-08-02 | 东北大学秦皇岛分校 | 基于slam技术与图像识别的火源定位方法及*** |
CN110108269A (zh) * | 2019-05-20 | 2019-08-09 | 电子科技大学 | 基于多传感器数据融合的agv定位方法 |
CN110142805A (zh) * | 2019-05-22 | 2019-08-20 | 武汉爱速达机器人科技有限公司 | 一种基于激光雷达的机器人末端校准方法 |
CN110188696A (zh) * | 2019-05-31 | 2019-08-30 | 华南理工大学 | 一种水面无人装备多源感知方法及*** |
CN110412596A (zh) * | 2019-07-10 | 2019-11-05 | 上海电机学院 | 一种基于图像信息和激光点云的机器人定位方法 |
CN110554696A (zh) * | 2019-08-14 | 2019-12-10 | 深圳市银星智能科技股份有限公司 | 机器人***、机器人及基于激光雷达的机器人导航方法 |
CN110736456A (zh) * | 2019-08-26 | 2020-01-31 | 广东亿嘉和科技有限公司 | 稀疏环境下基于特征提取的二维激光实时定位方法 |
CN110780305A (zh) * | 2019-10-18 | 2020-02-11 | 华南理工大学 | 一种基于多线激光雷达的赛道锥桶检测及目标点追踪方法 |
CN110794223A (zh) * | 2019-11-13 | 2020-02-14 | 中国船舶重工集团公司第七二四研究所 | 基于工业机器人的数字多通道雷达天线标校***及方法 |
CN110873883A (zh) * | 2019-11-29 | 2020-03-10 | 上海有个机器人有限公司 | 融合激光雷达和imu的定位方法、介质、终端和装置 |
CN111115300A (zh) * | 2020-03-31 | 2020-05-08 | 上海驭矩信息科技有限公司 | 一种自动化集装箱装卸装置及方法 |
CN111123925A (zh) * | 2019-12-19 | 2020-05-08 | 天津联汇智造科技有限公司 | 一种移动机器人导航***以及方法 |
CN111161353A (zh) * | 2019-12-31 | 2020-05-15 | 深圳一清创新科技有限公司 | 车辆定位方法、装置、可读存储介质和计算机设备 |
CN111192328A (zh) * | 2019-12-31 | 2020-05-22 | 芜湖哈特机器人产业技术研究院有限公司 | 基于二维激光雷达的车厢容器三维扫描***点云处理方法 |
CN111238496A (zh) * | 2020-01-14 | 2020-06-05 | 深圳市锐曼智能装备有限公司 | 机器人位姿确认方法、装置、计算机设备及存储介质 |
CN111340834A (zh) * | 2020-03-10 | 2020-06-26 | 山东大学 | 基于激光雷达和双目相机数据融合的衬板装配***及方法 |
CN111359913A (zh) * | 2019-12-06 | 2020-07-03 | 雷传栋 | 一种通过激光雷达分选矿石的方法 |
CN111443692A (zh) * | 2018-12-27 | 2020-07-24 | 北京奇虎科技有限公司 | 机器人避障处理方法、电子设备及计算机可读存储介质 |
CN111522022A (zh) * | 2020-04-20 | 2020-08-11 | 西安电子科技大学 | 基于激光雷达的机器人进行动态目标检测方法 |
CN111515945A (zh) * | 2020-04-10 | 2020-08-11 | 广州大学 | 机械臂视觉定位分拣抓取的控制方法、***及装置 |
CN111610523A (zh) * | 2020-05-15 | 2020-09-01 | 浙江工业大学 | 一种轮式移动机器人的参数校正方法 |
CN111624622A (zh) * | 2020-04-24 | 2020-09-04 | 库卡机器人(广东)有限公司 | 障碍物检测方法、装置 |
CN111694009A (zh) * | 2020-05-07 | 2020-09-22 | 南昌大学 | 一种定位***、方法以及装置 |
CN111813135A (zh) * | 2020-06-29 | 2020-10-23 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 双坐标系全空域阵列波束跟踪方法 |
CN111812668A (zh) * | 2020-07-16 | 2020-10-23 | 南京航空航天大学 | 绕机检查装置及其定位方法、存储介质 |
CN111854697A (zh) * | 2020-06-22 | 2020-10-30 | 中国船舶重工集团公司第七一六研究所 | 基于视觉传感器的识别定位定姿*** |
CN112070770A (zh) * | 2020-07-16 | 2020-12-11 | 国网安徽省电力有限公司检修分公司 | 一种高精度三维地图与二维栅格地图同步构建方法 |
CN112082491A (zh) * | 2020-09-11 | 2020-12-15 | 苏州杰锐思智能科技股份有限公司 | 基于点云的高度检测方法 |
CN112102620A (zh) * | 2020-11-09 | 2020-12-18 | 南京慧尔视智能科技有限公司 | 一种雷达与球机联动的监测方法 |
CN112180362A (zh) * | 2019-07-05 | 2021-01-05 | 北京地平线机器人技术研发有限公司 | 雷达与相机之间的转换位姿确定方法、装置以及电子设备 |
CN112198491A (zh) * | 2020-09-30 | 2021-01-08 | 广州赛特智能科技有限公司 | 一种基于低成本二维激光雷达的机器人三维感知***及其方法 |
CN112215867A (zh) * | 2020-10-23 | 2021-01-12 | 劢微机器人科技(深圳)有限公司 | 点云数据分割方法、设备、存储介质及装置 |
CN112465908A (zh) * | 2020-11-30 | 2021-03-09 | 深圳市优必选科技股份有限公司 | 一种物体定位方法、装置、终端设备及存储介质 |
CN112884900A (zh) * | 2021-02-10 | 2021-06-01 | 广东高德星光智能科技有限公司 | 无人机的降落定位方法、装置、存储介质及无人机机巢 |
CN112987010A (zh) * | 2021-01-28 | 2021-06-18 | 上海思岚科技有限公司 | 一种用于机器人的多雷达建图的***及方法 |
CN113064576A (zh) * | 2021-04-09 | 2021-07-02 | 北京云迹科技有限公司 | 一种音量调节方法、装置、可移动设备及存储介质 |
CN113256729A (zh) * | 2021-03-17 | 2021-08-13 | 广西综合交通大数据研究院 | 激光雷达与相机的外参标定方法、装置、设备及存储介质 |
CN113281775A (zh) * | 2021-05-26 | 2021-08-20 | 珠海市一微半导体有限公司 | 一种基于激光扫描信息的充电座定位方法、芯片及机器人 |
CN113379732A (zh) * | 2021-07-07 | 2021-09-10 | 群周科技(上海)有限公司 | 一种基于机载激光雷达的线缆目标检测方法 |
CN113436274A (zh) * | 2021-06-28 | 2021-09-24 | 兰剑智能科技股份有限公司 | 一种移动机器人的校准方法、装置及设备 |
CN113534110A (zh) * | 2021-06-24 | 2021-10-22 | 香港理工大学深圳研究院 | 一种多激光雷达***静态标定方法 |
CN113748693A (zh) * | 2020-03-27 | 2021-12-03 | 深圳市速腾聚创科技有限公司 | 路基传感器的位姿校正方法、装置和路基传感器 |
CN113748357A (zh) * | 2020-03-27 | 2021-12-03 | 深圳市速腾聚创科技有限公司 | 激光雷达的姿态校正方法、装置和*** |
CN113740355A (zh) * | 2020-05-29 | 2021-12-03 | 清华大学 | 一种射线检测机器人的边界防护方法及*** |
CN113776530A (zh) * | 2020-09-11 | 2021-12-10 | 北京京东乾石科技有限公司 | 一种点云地图构建方法、装置、电子设备和存储介质 |
CN114072252A (zh) * | 2019-05-03 | 2022-02-18 | I-Mc公司 | 用于在工件的制造过程中控制工件的方法和设备 |
CN114115231A (zh) * | 2021-10-25 | 2022-03-01 | 南京工业大学 | 适用于医院场景下移动机器人空间位姿点云校正方法及*** |
CN114179851A (zh) * | 2021-12-07 | 2022-03-15 | 南京理工大学 | 一种铁路设备限界检测装置及方法 |
CN114326695A (zh) * | 2020-10-12 | 2022-04-12 | 财团法人工业技术研究院 | 自走车跟随***及自走车跟随方法 |
CN114721001A (zh) * | 2021-11-17 | 2022-07-08 | 长春理工大学 | 一种基于多传感器融合的移动机器人定位方法 |
CN114895625A (zh) * | 2022-07-13 | 2022-08-12 | 上海航天壹亘智能科技有限公司 | 基于多传感器信息融合的控制装置、方法及数控机床 |
CN115542340A (zh) * | 2022-12-01 | 2022-12-30 | 广东工业大学 | 基于距离已知参照物的路侧双固态激光雷达点云融合方法 |
WO2023016392A1 (en) * | 2021-08-09 | 2023-02-16 | Zhejiang Huaray Technology Co., Ltd. | Systems and methods for pose determination of a mobile subject |
CN115930791A (zh) * | 2022-12-02 | 2023-04-07 | 湖北润铁轨道装备有限公司 | 一种多模态数据的集装箱货物位置与尺寸检测方法 |
WO2023123890A1 (zh) * | 2021-12-30 | 2023-07-06 | 上海禾赛科技有限公司 | 激光雷达位姿的诊断方法、激光雷达及自动驾驶车辆 |
CN116443527A (zh) * | 2023-06-13 | 2023-07-18 | 上海木蚁机器人科技有限公司 | 基于激光雷达的托盘叉取方法、装置、设备和介质 |
CN116540260A (zh) * | 2023-04-20 | 2023-08-04 | 中国人民解放军国防科技大学 | 一种基于单线激光雷达的三维成像方法、***及介质 |
WO2023240805A1 (zh) * | 2022-06-13 | 2023-12-21 | 之江实验室 | 一种基于滤波校正的网联车超速预警方法及*** |
CN117314903A (zh) * | 2023-11-28 | 2023-12-29 | 四川港投云港科技有限公司 | 一种大宗商品室内仓储激光雷达3d点云数据处理方法 |
CN117893412A (zh) * | 2024-03-15 | 2024-04-16 | 北京理工大学 | 一种点云数据滤除方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100176270A1 (en) * | 2009-01-09 | 2010-07-15 | Lau Kam C | Volumetric error compensation system with laser tracker and active target |
KR101223184B1 (ko) * | 2012-09-14 | 2013-01-21 | (주)선영종합엔지니어링 | 등거리 관측을 이용한 수준측량 시스템 |
CN106444757A (zh) * | 2016-09-27 | 2017-02-22 | 成都普诺思博科技有限公司 | 基于直线特征地图的ekf‑slam算法 |
CN107991683A (zh) * | 2017-11-08 | 2018-05-04 | 华中科技大学 | 一种基于激光雷达的机器人自主定位方法 |
-
2018
- 2018-05-30 CN CN201810539585.2A patent/CN108932736B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100176270A1 (en) * | 2009-01-09 | 2010-07-15 | Lau Kam C | Volumetric error compensation system with laser tracker and active target |
KR101223184B1 (ko) * | 2012-09-14 | 2013-01-21 | (주)선영종합엔지니어링 | 등거리 관측을 이용한 수준측량 시스템 |
CN106444757A (zh) * | 2016-09-27 | 2017-02-22 | 成都普诺思博科技有限公司 | 基于直线特征地图的ekf‑slam算法 |
CN107991683A (zh) * | 2017-11-08 | 2018-05-04 | 华中科技大学 | 一种基于激光雷达的机器人自主定位方法 |
Non-Patent Citations (4)
Title |
---|
ZHANG XU,ET AL: "《Point cloud registration with 2D and 3D fusion information on mobile robot integrated vision system》", 《2013 ROBIO》 * |
徐君,等: "《一种基于激光传感器的自适应直线提取算法》", 《计算机工程与应用》 * |
林鸿生: "《三维成像激光雷达图像与摄像机图像的融合》", 《内燃机与动力装置》 * |
邹鑫慈,等: "《二维激光雷达室内定位数据预处理方法研究》", 《矿山测量》 * |
Cited By (105)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584183A (zh) * | 2018-12-05 | 2019-04-05 | 吉林大学 | 一种激光雷达点云去畸变方法及*** |
CN109584183B (zh) * | 2018-12-05 | 2020-05-29 | 吉林大学 | 一种激光雷达点云去畸变方法及*** |
CN109709801B (zh) * | 2018-12-11 | 2024-02-02 | 智灵飞(北京)科技有限公司 | 一种基于激光雷达的室内无人机定位***及方法 |
CN109709801A (zh) * | 2018-12-11 | 2019-05-03 | 智灵飞(北京)科技有限公司 | 一种基于激光雷达的室内无人机定位***及方法 |
CN109859274A (zh) * | 2018-12-24 | 2019-06-07 | 深圳市银星智能科技股份有限公司 | 机器人、其物体标定方法及视教交互方法 |
CN111443692A (zh) * | 2018-12-27 | 2020-07-24 | 北京奇虎科技有限公司 | 机器人避障处理方法、电子设备及计算机可读存储介质 |
CN109799513B (zh) * | 2019-01-04 | 2023-06-23 | 广西大学 | 一种基于二维激光雷达数据中直线特征的室内未知环境定位方法 |
CN109799513A (zh) * | 2019-01-04 | 2019-05-24 | 广西大学 | 一种基于二维激光雷达数据中直线特征的室内未知环境定位方法 |
CN109784333B (zh) * | 2019-01-22 | 2021-09-28 | 中国科学院自动化研究所 | 基于点云带权通道特征的三维目标检测方法及*** |
CN109784333A (zh) * | 2019-01-22 | 2019-05-21 | 中国科学院自动化研究所 | 基于点云带权通道特征的三维目标检测方法及*** |
CN109765901A (zh) * | 2019-02-18 | 2019-05-17 | 华南理工大学 | 基于线激光与双目视觉的动态代价地图导航方法 |
CN109696168A (zh) * | 2019-02-27 | 2019-04-30 | 沈阳建筑大学 | 一种基于激光传感器的移动机器人几何地图创建方法 |
CN109737968A (zh) * | 2019-03-07 | 2019-05-10 | 中山大学 | 基于二维LiDAR和智能手机的室内融合定位方法 |
CN110082779A (zh) * | 2019-03-19 | 2019-08-02 | 同济大学 | 一种基于3d激光雷达的车辆位姿定位方法及*** |
CN109760064A (zh) * | 2019-03-25 | 2019-05-17 | 广东电网有限责任公司 | 一种移动机器人自身位置的调整方法和装置 |
CN109933075A (zh) * | 2019-04-12 | 2019-06-25 | 成都宇俊盛科技有限公司 | 一种用于全自动无人轨道车辆的单线激光雷达测障方法 |
CN114072252A (zh) * | 2019-05-03 | 2022-02-18 | I-Mc公司 | 用于在工件的制造过程中控制工件的方法和设备 |
CN114072252B (zh) * | 2019-05-03 | 2024-03-15 | I-Mc公司 | 用于在工件的制造过程中控制工件的方法和设备 |
CN109991618A (zh) * | 2019-05-13 | 2019-07-09 | 上海理工大学 | 一种嵌入式轮椅式护理床及其自动对接方法 |
CN109920011A (zh) * | 2019-05-16 | 2019-06-21 | 长沙智能驾驶研究院有限公司 | 激光雷达与双目摄像头的外参标定方法、装置及设备 |
CN110082781A (zh) * | 2019-05-20 | 2019-08-02 | 东北大学秦皇岛分校 | 基于slam技术与图像识别的火源定位方法及*** |
CN110108269A (zh) * | 2019-05-20 | 2019-08-09 | 电子科技大学 | 基于多传感器数据融合的agv定位方法 |
CN110142805A (zh) * | 2019-05-22 | 2019-08-20 | 武汉爱速达机器人科技有限公司 | 一种基于激光雷达的机器人末端校准方法 |
CN110188696A (zh) * | 2019-05-31 | 2019-08-30 | 华南理工大学 | 一种水面无人装备多源感知方法及*** |
CN112180362A (zh) * | 2019-07-05 | 2021-01-05 | 北京地平线机器人技术研发有限公司 | 雷达与相机之间的转换位姿确定方法、装置以及电子设备 |
CN112180362B (zh) * | 2019-07-05 | 2024-04-23 | 北京地平线机器人技术研发有限公司 | 雷达与相机之间的转换位姿确定方法、装置以及电子设备 |
CN110412596A (zh) * | 2019-07-10 | 2019-11-05 | 上海电机学院 | 一种基于图像信息和激光点云的机器人定位方法 |
CN110554696A (zh) * | 2019-08-14 | 2019-12-10 | 深圳市银星智能科技股份有限公司 | 机器人***、机器人及基于激光雷达的机器人导航方法 |
CN110554696B (zh) * | 2019-08-14 | 2023-01-17 | 深圳银星智能集团股份有限公司 | 机器人***、机器人及基于激光雷达的机器人导航方法 |
CN110736456B (zh) * | 2019-08-26 | 2023-05-05 | 广东亿嘉和科技有限公司 | 稀疏环境下基于特征提取的二维激光实时定位方法 |
CN110736456A (zh) * | 2019-08-26 | 2020-01-31 | 广东亿嘉和科技有限公司 | 稀疏环境下基于特征提取的二维激光实时定位方法 |
CN110780305B (zh) * | 2019-10-18 | 2023-04-21 | 华南理工大学 | 一种基于多线激光雷达的赛道锥桶检测及目标点追踪方法 |
CN110780305A (zh) * | 2019-10-18 | 2020-02-11 | 华南理工大学 | 一种基于多线激光雷达的赛道锥桶检测及目标点追踪方法 |
CN110794223A (zh) * | 2019-11-13 | 2020-02-14 | 中国船舶重工集团公司第七二四研究所 | 基于工业机器人的数字多通道雷达天线标校***及方法 |
CN110873883B (zh) * | 2019-11-29 | 2023-08-29 | 上海有个机器人有限公司 | 融合激光雷达和imu的定位方法、介质、终端和装置 |
CN110873883A (zh) * | 2019-11-29 | 2020-03-10 | 上海有个机器人有限公司 | 融合激光雷达和imu的定位方法、介质、终端和装置 |
CN111359913A (zh) * | 2019-12-06 | 2020-07-03 | 雷传栋 | 一种通过激光雷达分选矿石的方法 |
CN111123925A (zh) * | 2019-12-19 | 2020-05-08 | 天津联汇智造科技有限公司 | 一种移动机器人导航***以及方法 |
CN111161353B (zh) * | 2019-12-31 | 2023-10-31 | 深圳一清创新科技有限公司 | 车辆定位方法、装置、可读存储介质和计算机设备 |
CN111192328B (zh) * | 2019-12-31 | 2023-06-02 | 芜湖哈特机器人产业技术研究院有限公司 | 基于二维激光雷达的车厢容器三维扫描***点云处理方法 |
CN111192328A (zh) * | 2019-12-31 | 2020-05-22 | 芜湖哈特机器人产业技术研究院有限公司 | 基于二维激光雷达的车厢容器三维扫描***点云处理方法 |
CN111161353A (zh) * | 2019-12-31 | 2020-05-15 | 深圳一清创新科技有限公司 | 车辆定位方法、装置、可读存储介质和计算机设备 |
CN111238496A (zh) * | 2020-01-14 | 2020-06-05 | 深圳市锐曼智能装备有限公司 | 机器人位姿确认方法、装置、计算机设备及存储介质 |
CN111340834B (zh) * | 2020-03-10 | 2023-05-12 | 山东大学 | 基于激光雷达和双目相机数据融合的衬板装配***及方法 |
CN111340834A (zh) * | 2020-03-10 | 2020-06-26 | 山东大学 | 基于激光雷达和双目相机数据融合的衬板装配***及方法 |
CN113748693A (zh) * | 2020-03-27 | 2021-12-03 | 深圳市速腾聚创科技有限公司 | 路基传感器的位姿校正方法、装置和路基传感器 |
CN113748693B (zh) * | 2020-03-27 | 2023-09-15 | 深圳市速腾聚创科技有限公司 | 路基传感器的位姿校正方法、装置和路基传感器 |
CN113748357B (zh) * | 2020-03-27 | 2023-06-30 | 深圳市速腾聚创科技有限公司 | 激光雷达的姿态校正方法、装置和*** |
CN113748357A (zh) * | 2020-03-27 | 2021-12-03 | 深圳市速腾聚创科技有限公司 | 激光雷达的姿态校正方法、装置和*** |
WO2021196938A1 (zh) * | 2020-03-31 | 2021-10-07 | 上海驭矩信息科技有限公司 | 一种自动化集装箱装卸装置及方法 |
CN111115300B (zh) * | 2020-03-31 | 2020-06-30 | 上海驭矩信息科技有限公司 | 一种自动化集装箱装卸装置及方法 |
CN111115300A (zh) * | 2020-03-31 | 2020-05-08 | 上海驭矩信息科技有限公司 | 一种自动化集装箱装卸装置及方法 |
US11748891B2 (en) | 2020-03-31 | 2023-09-05 | Shanghai Master Matrix Information Technology Co., Ltd. | Automatic container loading and unloading apparatus and method |
CN111515945A (zh) * | 2020-04-10 | 2020-08-11 | 广州大学 | 机械臂视觉定位分拣抓取的控制方法、***及装置 |
CN111522022A (zh) * | 2020-04-20 | 2020-08-11 | 西安电子科技大学 | 基于激光雷达的机器人进行动态目标检测方法 |
CN111522022B (zh) * | 2020-04-20 | 2023-03-28 | 西安电子科技大学 | 基于激光雷达的机器人进行动态目标检测方法 |
CN111624622A (zh) * | 2020-04-24 | 2020-09-04 | 库卡机器人(广东)有限公司 | 障碍物检测方法、装置 |
CN111694009A (zh) * | 2020-05-07 | 2020-09-22 | 南昌大学 | 一种定位***、方法以及装置 |
CN111610523A (zh) * | 2020-05-15 | 2020-09-01 | 浙江工业大学 | 一种轮式移动机器人的参数校正方法 |
CN111610523B (zh) * | 2020-05-15 | 2023-11-07 | 浙江工业大学 | 一种轮式移动机器人的参数校正方法 |
CN113740355A (zh) * | 2020-05-29 | 2021-12-03 | 清华大学 | 一种射线检测机器人的边界防护方法及*** |
CN111854697A (zh) * | 2020-06-22 | 2020-10-30 | 中国船舶重工集团公司第七一六研究所 | 基于视觉传感器的识别定位定姿*** |
CN111854697B (zh) * | 2020-06-22 | 2021-08-10 | 中国船舶重工集团公司第七一六研究所 | 基于视觉传感器的识别定位定姿*** |
CN111813135A (zh) * | 2020-06-29 | 2020-10-23 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 双坐标系全空域阵列波束跟踪方法 |
CN111813135B (zh) * | 2020-06-29 | 2023-03-31 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 双坐标系全空域阵列波束跟踪方法 |
CN111812668A (zh) * | 2020-07-16 | 2020-10-23 | 南京航空航天大学 | 绕机检查装置及其定位方法、存储介质 |
CN112070770A (zh) * | 2020-07-16 | 2020-12-11 | 国网安徽省电力有限公司检修分公司 | 一种高精度三维地图与二维栅格地图同步构建方法 |
CN112082491A (zh) * | 2020-09-11 | 2020-12-15 | 苏州杰锐思智能科技股份有限公司 | 基于点云的高度检测方法 |
CN113776530A (zh) * | 2020-09-11 | 2021-12-10 | 北京京东乾石科技有限公司 | 一种点云地图构建方法、装置、电子设备和存储介质 |
CN112198491A (zh) * | 2020-09-30 | 2021-01-08 | 广州赛特智能科技有限公司 | 一种基于低成本二维激光雷达的机器人三维感知***及其方法 |
CN112198491B (zh) * | 2020-09-30 | 2023-06-09 | 广州赛特智能科技有限公司 | 一种基于低成本二维激光雷达的机器人三维感知***及其方法 |
CN114326695B (zh) * | 2020-10-12 | 2024-02-06 | 财团法人工业技术研究院 | 自走车跟随***及自走车跟随方法 |
CN114326695A (zh) * | 2020-10-12 | 2022-04-12 | 财团法人工业技术研究院 | 自走车跟随***及自走车跟随方法 |
CN112215867A (zh) * | 2020-10-23 | 2021-01-12 | 劢微机器人科技(深圳)有限公司 | 点云数据分割方法、设备、存储介质及装置 |
CN112102620A (zh) * | 2020-11-09 | 2020-12-18 | 南京慧尔视智能科技有限公司 | 一种雷达与球机联动的监测方法 |
CN112465908A (zh) * | 2020-11-30 | 2021-03-09 | 深圳市优必选科技股份有限公司 | 一种物体定位方法、装置、终端设备及存储介质 |
CN112465908B (zh) * | 2020-11-30 | 2023-09-22 | 深圳市优必选科技股份有限公司 | 一种物体定位方法、装置、终端设备及存储介质 |
CN112987010A (zh) * | 2021-01-28 | 2021-06-18 | 上海思岚科技有限公司 | 一种用于机器人的多雷达建图的***及方法 |
CN112884900A (zh) * | 2021-02-10 | 2021-06-01 | 广东高德星光智能科技有限公司 | 无人机的降落定位方法、装置、存储介质及无人机机巢 |
CN113256729A (zh) * | 2021-03-17 | 2021-08-13 | 广西综合交通大数据研究院 | 激光雷达与相机的外参标定方法、装置、设备及存储介质 |
CN113064576A (zh) * | 2021-04-09 | 2021-07-02 | 北京云迹科技有限公司 | 一种音量调节方法、装置、可移动设备及存储介质 |
CN113281775A (zh) * | 2021-05-26 | 2021-08-20 | 珠海市一微半导体有限公司 | 一种基于激光扫描信息的充电座定位方法、芯片及机器人 |
CN113534110B (zh) * | 2021-06-24 | 2023-11-24 | 香港理工大学深圳研究院 | 一种多激光雷达***静态标定方法 |
CN113534110A (zh) * | 2021-06-24 | 2021-10-22 | 香港理工大学深圳研究院 | 一种多激光雷达***静态标定方法 |
CN113436274A (zh) * | 2021-06-28 | 2021-09-24 | 兰剑智能科技股份有限公司 | 一种移动机器人的校准方法、装置及设备 |
CN113379732A (zh) * | 2021-07-07 | 2021-09-10 | 群周科技(上海)有限公司 | 一种基于机载激光雷达的线缆目标检测方法 |
WO2023016392A1 (en) * | 2021-08-09 | 2023-02-16 | Zhejiang Huaray Technology Co., Ltd. | Systems and methods for pose determination of a mobile subject |
CN114115231B (zh) * | 2021-10-25 | 2023-07-25 | 南京工业大学 | 移动机器人空间位姿点云校正方法及*** |
CN114115231A (zh) * | 2021-10-25 | 2022-03-01 | 南京工业大学 | 适用于医院场景下移动机器人空间位姿点云校正方法及*** |
CN114721001A (zh) * | 2021-11-17 | 2022-07-08 | 长春理工大学 | 一种基于多传感器融合的移动机器人定位方法 |
CN114179851A (zh) * | 2021-12-07 | 2022-03-15 | 南京理工大学 | 一种铁路设备限界检测装置及方法 |
CN114179851B (zh) * | 2021-12-07 | 2024-02-13 | 南京理工大学 | 一种铁路设备限界检测装置及方法 |
WO2023123890A1 (zh) * | 2021-12-30 | 2023-07-06 | 上海禾赛科技有限公司 | 激光雷达位姿的诊断方法、激光雷达及自动驾驶车辆 |
WO2023240805A1 (zh) * | 2022-06-13 | 2023-12-21 | 之江实验室 | 一种基于滤波校正的网联车超速预警方法及*** |
CN114895625A (zh) * | 2022-07-13 | 2022-08-12 | 上海航天壹亘智能科技有限公司 | 基于多传感器信息融合的控制装置、方法及数控机床 |
CN115542340A (zh) * | 2022-12-01 | 2022-12-30 | 广东工业大学 | 基于距离已知参照物的路侧双固态激光雷达点云融合方法 |
CN115930791B (zh) * | 2022-12-02 | 2024-01-12 | 湖北润铁轨道装备有限公司 | 一种多模态数据的集装箱货物位置与尺寸检测方法 |
CN115930791A (zh) * | 2022-12-02 | 2023-04-07 | 湖北润铁轨道装备有限公司 | 一种多模态数据的集装箱货物位置与尺寸检测方法 |
CN116540260A (zh) * | 2023-04-20 | 2023-08-04 | 中国人民解放军国防科技大学 | 一种基于单线激光雷达的三维成像方法、***及介质 |
CN116443527A (zh) * | 2023-06-13 | 2023-07-18 | 上海木蚁机器人科技有限公司 | 基于激光雷达的托盘叉取方法、装置、设备和介质 |
CN116443527B (zh) * | 2023-06-13 | 2023-09-08 | 上海木蚁机器人科技有限公司 | 基于激光雷达的托盘叉取方法、装置、设备和介质 |
CN117314903A (zh) * | 2023-11-28 | 2023-12-29 | 四川港投云港科技有限公司 | 一种大宗商品室内仓储激光雷达3d点云数据处理方法 |
CN117314903B (zh) * | 2023-11-28 | 2024-03-15 | 四川港投云港科技有限公司 | 一种大宗商品室内仓储激光雷达3d点云数据处理方法 |
CN117893412A (zh) * | 2024-03-15 | 2024-04-16 | 北京理工大学 | 一种点云数据滤除方法、装置、设备及存储介质 |
CN117893412B (zh) * | 2024-03-15 | 2024-06-11 | 北京理工大学 | 一种点云数据滤除方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108932736B (zh) | 2022-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108932736A (zh) | 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 | |
CN108229366B (zh) | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 | |
CN110281231B (zh) | 无人化fdm增材制造的移动机器人三维视觉抓取方法 | |
CN106774296A (zh) | 一种基于激光雷达和ccd摄像机信息融合的障碍检测方法 | |
WO2021109575A1 (zh) | 基于融入全局视觉和局部视觉的机器人视觉引导方法和装置 | |
CN109636837B (zh) | 一种单目相机与毫米波雷达外参标定准确性的评价方法 | |
CN110443898A (zh) | 一种基于深度学习的ar智能终端目标识别***及方法 | |
CN114417616A (zh) | 一种装配机器人遥操作环境的数字孪生建模方法及*** | |
CN109272554A (zh) | 一种识别目标的坐标系定位和语义地图构建的方法及*** | |
CN107066975B (zh) | 基于深度传感器的视频识别与跟踪***及其方法 | |
CN108564657A (zh) | 一种基于云端的地图构建方法、电子设备和可读存储介质 | |
CN115032648B (zh) | 一种基于激光雷达密集点云的三维目标识别与定位方法 | |
CN114022560A (zh) | 标定方法及相关装置、设备 | |
CN104778465A (zh) | 一种基于特征点匹配的目标跟踪方法 | |
CN109034065A (zh) | 一种基于点云的室内场景物体提取方法 | |
CN107972027A (zh) | 机器人的定位方法和装置、机器人 | |
WO2021103558A1 (zh) | 基于rgb-d数据融合的机器人视觉引导方法和装置 | |
CN114299039B (zh) | 一种机器人及其碰撞检测装置和方法 | |
CN117392328B (zh) | 一种基于无人机集群的三维实景建模方法及*** | |
CN109079777B (zh) | 一种机械臂手眼协调作业*** | |
Du et al. | Recognition of mobile robot navigation path based on K-means algorithm | |
RU198460U1 (ru) | Устройство технического зрения малого беспилотного летательного аппарата | |
CN112347974A (zh) | 人体头部姿态估计算法及操作员工作状态识别*** | |
CN116189054A (zh) | 基于神经网络的人机协作方法及人机协作*** | |
CN116309871A (zh) | 一种面向生态园场景的激光雷达和相机在线标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |