CN108828606A - 一种基于激光雷达和双目可见光相机联合测量方法 - Google Patents
一种基于激光雷达和双目可见光相机联合测量方法 Download PDFInfo
- Publication number
- CN108828606A CN108828606A CN201810240140.4A CN201810240140A CN108828606A CN 108828606 A CN108828606 A CN 108828606A CN 201810240140 A CN201810240140 A CN 201810240140A CN 108828606 A CN108828606 A CN 108828606A
- Authority
- CN
- China
- Prior art keywords
- matrix
- visible light
- laser radar
- light camera
- binocular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000691 measurement method Methods 0.000 title abstract description 4
- 239000011159 matrix material Substances 0.000 claims abstract description 106
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000013519 translation Methods 0.000 claims abstract description 36
- 238000000354 decomposition reaction Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000009795 derivation Methods 0.000 claims description 5
- 239000000758 substrate Substances 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 28
- 238000003672 processing method Methods 0.000 abstract description 2
- 210000001503 joint Anatomy 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000350052 Daniellia ogea Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Manufacturing & Machinery (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种基于激光雷达和双目可见光相机联合测量方法,能够简便、高效地获得目标更加准确和稠密的三维信息。该联合测量方法将激光雷达假设成一个具有固定内参的相机设备,将三维点云数据直接投影为二维图像,采用图像处理的方法,利用二维图像之间的匹配标定出激光雷达设备和双目相机之间的旋转、平移关系;其中创新性的引入求矩阵范数和矩阵迹的思想进行旋转矩阵的求解;最终将激光雷达和双目立体视觉点云数据融合,不但可以获得精确的位置和姿态信息,而且可以重建出目标表面特殊的纹理、特征信息,这对于军用领域中的航天器交汇对接,敌对卫星捕获等、以及民用领域中的工件测量、无人驾驶等都有很高的应用价值。
Description
技术领域
本发明属于雷达与视觉测量技术领域,涉及一种三维信息测量的方法。
背景技术
双目视觉主要研究如何利用计算机实现人眼的功能,即利用二维投影图像实现对客观世界三维场景的感知、识别和理解。随着计算机技术的迅速发展,人们对三维模型的需求越来越多。双目立体视觉测量工作原理是由不同位置的两台拍摄一幅场景,根据空间点在两幅图像中的视差,获得该点的三维坐标值。
视觉测量***经过长期发展,已经出现了多种先进的图像处理方法。但是视觉***仍然只能在工程环境,如工业化或者实验室场景中使用。在对测量精度要求严格的场景中,例如卫星的自主交汇对接和避障中,非合作航天器或卫星的捕获中,极小的误差就会导致灾难性的后果,这种情况下,视觉***还不能作为主要手段单独使用。视觉测量***的限制来源于测量原理的限制,不管通过主动照明或者被动光源,测量结果往往过于依赖于反射光的强度,因此这种测量方式在敏感的照明条件下,对于成像中的弱纹理区域,物体特征提取与匹配很难实现,导致测量不准确。
激光雷达又称激光扫描仪,是一种新兴的遥感手段,它利用激光测距原理,通过实时的激光束空间角位移来获取目标物表面点的三维坐标信息。三维激光扫描技术集光、机、电等各种技术于一身,它是传统测绘计量技术经过精密的传感工艺整合和多种现代高科技手段集成而发展起来的,是对多种传统测绘技术的概括及一体化。三维激光扫描技术是一门新兴的测绘技术,是测绘领域GPS技术之后的又一次技术革命。由于技术上突破了传统的单点测量方法,其最大特点就是精度高、速度快、逼近原形,是目前国内外测绘领域研究关注的热点之一。
激光雷达测量***与双目视觉测量***相比,虽然单点测量精度更高,但如果对整个目标场景扫描,则存在相对数据稀疏、扫描频率相对低的缺点,而且激光雷达只对距离信息敏感,对纹理不敏感,所以激光雷达点云数据缺失纹理信息,而且缺少表面特殊特征或颜色信息。
中国专利文献CN 107421465 A(一种基于激光跟踪仪的双目视觉拼接方法)提出了采用激光跟踪仪(并不是激光雷达测量***)和双目视觉***进行三维数据拼接的方法。激光跟踪仪实质相当于一台能激光干涉测距和自动跟踪测角测距的全站仪,区别之处在于它没有望远镜。激光跟踪仪的关键设备是反射器靶标,造价比较昂贵,为一种光学逆反射器,它把所有沿光轴方向入射的光线沿原路反射回去,进入干涉***,与参考光发生干涉实现对位移的高精度测量。激光跟踪仪根据接收回来的光束在位置检测器上的偏差来带动转镜转动,直至入射光通过目标反射镜的中心,使***重新达到跟踪平衡状态。此方案中对于目标的测量完全是依靠双目视觉***,为了解决遮挡现象,围绕目标旋转双目***,重建出多组三维点云数据。引入激光跟踪仪的目的,是将多组双目点云数据全部转换到统一的激光跟踪仪坐标系下,从而实现目标的全部表面的三维重建。为了实现多组点云的融合,***必须先要获得相机和激光跟踪仪之间的旋转、平移关系,该方法分别建立激光跟踪仪坐标系,发射器靶标坐标系,双目相机坐标系三个坐标系,通过分别标定出激光跟踪仪与靶标坐标系的位置关系,双目相机与靶标坐标系之间的位置关系,进而求出激光跟踪仪和双目相机坐标系之间的位置关系,为后续的点云数据拼接做准备。此方法中使用的反射器靶标造价昂贵,无法使用很多,这样对于双目相机和靶标坐标系的标定是非常不利的,因为使用的特征点太少,而且占整个相机成像视场太小,相机标定的精度不会很高。工业中对于表面纹理信息不是非常丰富的工件(比如纯色的)进行测量,使用双目视觉测量手段也是很难实现的,双目特征误匹配率非常高。
国防科学技术大学焦宏伟的博士论文“基于成像激光雷达与双CCD复合的三维精细成像技术研究”一文中提出了一种利用三维靶标来实现激光雷达与相机的标定方法。该方案使用的三维靶标由三个面组成,三个面上全部绘制网格,激光雷达扫描的数据中找不到网格点的三维坐标,因为雷达扫描数据是没有平面特征点的。为了实现标定,文章中必须要先将激光雷达数据中各个面的点集筛选开来,然后各自拟合平面,拟合出三个面再求三个面的交点作为激光雷达坐标系中的最重要的一个三维点,然后再根据设计网格时候的网格尺寸和三个面各自的方程,算出其他网格点的三维坐标。同时这个三面网格立体靶标在相机图像中是很容易提取出其所有的网格点的二维图像坐标的,这样利用上面的三维坐标和对应的二维坐标利用类似于张正友标定法就可以先算出投影矩阵,然后再算出旋转矩阵和平移矩阵,至此就完成了激光雷达和相机之间的标定。这种标定方法存在一些问题:
1)计算工作量过大,流程繁杂。因为首先要准确的将三个面的点集筛选开来,还要拟合平面,再匹配三维网格点和图像中的网格点之后,然后才能进行标定流程。
2)容易引入累积误差,精度没保证。三个平面的拟合过程必然是有误差的,就导致三面交点的求解有误差引入,进而计算出的其他网格坐标都是有误差的。后面用的是类似张正友标定法中的,先求投影矩阵,然后求旋转,平移矩阵。此类方法得出的结果往往并不好,因为依赖的标定点需要非常多,而且必须对标定的数据进行优化才能得到好的标定值。
3)标定中要使用尽量多的网格点以减小误差,因为立体靶标是三面的,为了让相机拍摄到尽量多的网格点,对靶标的放置就有要求,如果随意放置,拍摄出的网格点在图像中的布局不规则,在做三维网格点与二维图像的网格点匹配时候很难自动完成,如果点非常多的话,人工介入处理就非常麻烦。
发明内容
本发明提供一种基于激光雷达和双目可见光相机联合测量方法,能够简便、高效地获得目标更加准确和稠密的三维信息,不但可以获得精确的位置和姿态信息,而且可以重建出目标表面特殊的纹理、特征信息。
本发明技术实现的关键在于:激光雷达和双目相机之间的的标定,双目相机之间的标定;从而可以实现激光雷达获得的点云数据和双目相机测量获取的点云数据进行融合测量,最终可获得非合作目标的相对更加精确和稠密的点云数据。
对于如何实现对激光雷达和双目相机的联合标定,总结本发明的设计构思以及理论分析如下:
对于激光雷达与双目可见光相机的标定,使用激光雷达和双目相机中的左相机都对立体靶标进行扫描和成像,将激光雷达假设成一个具有固定内参的相机设备,利用设定的合适的参数将空间三维靶标投影到二维图像上,利用图像处理的手段得到靶标中心坐标,利用计算机视觉中的对极几何理论,先采用8点法计算出两个设备之间的基础矩阵F,进而求出本质矩阵E。基于本质矩阵E,本发明特别引入一种求矩阵范数和求矩阵迹的推导思路,提出了一种新的通过分解本质矩阵求解旋转矩阵R、平移矩阵T的方法。
上述方法过程同样适用于双目相机之间的标定。
以上标定方法具体的理论推导如下:
设pl和pr分别为左右图像中对应的特征点,Ml、Mr分别为左右两个成像设备的内参矩阵,根据计算机视觉中对极几何理论,有:
矩阵E称为本质矩阵,矩阵F称为基础矩阵,都是3*3的矩阵。公式(1)可化为:
其中:pl=[x1 y1]T,pr=[x2 y2]T,
利用8对以上的匹配点就可以求出基础矩阵F。然后再通过公式(2)求得本质矩阵E。为了减小误差,尽量采用足够多的匹配点进行解算。
标定最想得到的是两个成像设备之间的旋转和平移矩阵。
本质矩阵的性质:
E=RS (4)
E*T=RS*T=0 (5)
其中,R为设备间的旋转矩阵,S为平移矩阵T构造的反对称矩阵。
利用奇异值分解的方法可得T的值,这里注意T是归一化的,缺少一个比例系数,并不是两个设备之间真实的平移向量。要在求出R以后才能再去求比例系数。
求出T以后,假设T=[t1 t2 t3]T,就是求解旋转矩阵R了。R的求解其实是一个最优化问题,本发明创新性的引入求矩阵范数和矩阵迹的思想进行推导,方程如下:
问题转化为:
其中M=SET进行奇异值分解:
M=UDVT (8)
因为Z=VTRU为正交矩阵,故Zii≤1
则当Z=VTRU=I,trace(MRS)最大。
则R=V*UT (10)
实验过程中发现,R有两个解。原因是本质矩阵的一个性质:特征值有一个为零,另外两个相等,即:
则对于奇异值分解:M=[U1 U2 U3]D[V1 V2 V3]T (11)
U3的正负取值,使得奇异值分解都是成立的。而如何判定哪个R正确呢?因为R(1)值代表左设备的X轴在右设备X轴上的投影,应为正的,如果解算过程中发现R(1)为负,则这时候,把U3取负,再带入解算,就正确了。至此R就得到了。
前面提到T的值缺少一个比例系数,这时候只要利用刚标定出来的R和T对两组对应点进行重建,用两个点三维空间的真实距离除以计算值就可以得到需要的比例系数了,当然,为了减小误差,可以计算多组数据求平均值即可。
为了验证以上本质矩阵分解理论的正确性,实验过程中构造了20组R、T矩阵,利用公式(4)算出本质矩阵,再用上述方法进行分解反求R、T,结果与构造的R、T完全相同,证明了分解理论的正确性。
对于激光雷达的扫描成像,本发明优化设计立体靶标为球型靶标。无论是激光雷达还是相机,从任何角度扫描或拍摄都是一个圆球或圆斑,激光雷达扫描出的圆球点云在投影到二维图像时候必然就是一个圆斑了。这样,在进行圆斑中心坐标的提取就相对简单,而且激光雷达的投影图像和相机的图像中,所有圆斑的布局顺序是一样的,中心点的匹配就可以自动完成,速度很快。
由于圆斑中心的匹配可以很容易的自动完成,所以整个靶标可以使用很多的圆球以减小误差。每个圆斑中心的提取都是独立的,特征点越多,利用8点法求出本质矩阵E误差越小,不会像传统方法那样引入累积误差。再利用本发明提出的分解本质矩阵求旋转、平移的方法,就可以准确分解得到设备间的旋转R、平移矩阵T。
基于以上设计构思以及理论分析,本发明最终给出以下解决方案:
该基于激光雷达和双目可见光相机联合测量方法,其特征在于:包括以下步骤:
1)搭建测量***,并设立坐标系;所述实验设备包括激光雷达、双目可见光相机;
2)激光雷达与双目可见光相机的标定
设置球型靶标,即在平整的基板上布置多个圆球,各圆球之间的间距已知;
激光雷达对球型靶标进行扫描得到三维点云数据,将激光雷达假设成一个具有固定内参的相机设备,将三维点云数据投影得到第一组二维图像;
使用双目可见光相机其中一个相机对球型靶标进行成像得到第二组二维图像;
利用图像处理的手段分别得到两组二维图像中的所有圆球的中心坐标,基于两组中心坐标,依据计算机视觉中对极几何理论,先采用8点法计算出激光雷达和双目可见光相机之间的基础矩阵F,进而求出本质矩阵E;
按照公式E*T=RS*T=0,S为平移矩阵T构造的反对称矩阵,根据本质矩阵E求解得到激光雷达和双目可见光相机之间的平移矩阵T;
然后根据E=RS,按照求矩阵范数和求矩阵迹的推导思路进行最优化求解,推导得出当trace(SETRS)最大时满足trace(||E-RS||)最小,根据R=V*UT计算得出旋转矩阵R,其中V和U为对SET进行奇异值分解得到的两个酉矩阵;即完成激光雷达与双目可见光相机的标定;
3)双目可见光相机之间的标定
设置靶标,双目可见光相机中的两个相机分别对靶标进行成像,得到两组二维图像,利用图像处理的手段分别得到两组二维图像中靶标的对应特征点坐标,基于两组特征点坐标,依据计算机视觉中对极几何理论,先采用8点法计算出双目可见光相机之间的基础矩阵F,进而求出本质矩阵E;
按照公式E*T=RS*T=0,S为平移矩阵T构造的反对称矩阵,根据本质矩阵E求解得到双目可见光相机之间的平移矩阵T;
然后根据E=RS,按照求矩阵范数和求矩阵迹的推导思路进行最优化求解,推导得出当trace(SETRS)最大时满足trace(||E-RS||)最小,根据R=V*UT计算得出旋转矩阵R,其中V和U为对SET进行奇异值分解得到的两个酉矩阵;即完成双目可见光相机之间的标定;
需要说明的是,以上区分步骤2)、步骤3)只是表明这是两个独立的过程,并非是对先后顺序的限定,即:可以先进行步骤2)再进行步骤3),也可以先进行步骤3)再进行步骤2);而且,在都选择球型标靶的情况下这两个步骤可以同时进行。
4)测量、融合
激光雷达对被测目标进行扫描得到第一组三维点云数据;
双目可见光相机对被测目标进行成像,根据步骤3)标定得到的平移矩阵T和旋转矩阵R进行三维重建,得到第二组三维点云数据;
根据步骤2)标定得到的平移矩阵T和旋转矩阵R,对第一组三维点云数据进行相应的平移、旋转变换,完成两组三维点云数据的融合。
进一步优化的,步骤3)中靶标可采用棋盘格标定板。相比步骤2)特别设置的球型靶标,步骤3)采用常规的棋盘格标定板能够使最终位姿测量的精度更高。
进一步优化的,步骤2)中所设置的球型靶标,其基板上多个圆球大小相同,等间距布置。如此,能够方便步骤2)标定更为精确,从而使最终点云融合的效果更好。
进一步优化的,根据本质矩阵E求解平移矩阵T,可采用SVD分解的方式。当然,现有技术中对此还有很多其他常规求解方式。
进一步优化的,双目可见光相机的两个相机分别置于激光雷达的左右两侧。由于联合测量只对重合区域进行融合,所以如此设置可使重合区域更大,则最终融合的范围更完整。
进一步优化的,若所采用的双目相机并非工业相机(内参已知),则在步骤2)之前,最好先对双目相机的单个相机的内参进行标定。具体可利用张正友标定法完成双目相机单个相机的内参的标定。
本发明的技术效果如下:
1、本发明将激光雷达和双目立体视觉点云数据融合,可以弥补各自的缺点,获得目标更加准确和稠密的三维信息,不但可以获得精确的位置和姿态信息,而且可以重建出目标表面特殊的纹理、特征信息,这对于军用领域中的航天器交汇对接,敌对卫星捕获等,以及民用领域中的工件测量,无人驾驶等都有很高的应用价值。
2、对于多组点云之间的融合,现有的方法大都采用的是基于点云坐标和局部特征相似度进行匹配的方法,比如迭代最近点、基于薄板样条的匹配方法、一致点漂移和基于全局与局部特征的匹配方法。由于一组点云数据往往有几百万个点,如果每次融合都重新采用传统的方法进行配准,工作量将非常大,效率很低。
而本发明中将激光雷达假设成一个具有固定内参的相机设备,将三维点云数据直接投影为二维图像,采用图像处理的方法,利用二维图像之间的匹配标定出激光雷达设备和双目相机之间的旋转、平移关系。这样,就可以对任意多组的点云数据直接利用标定出的旋转、平移关系进行融合。本发明只需进行一次标定,时间复杂度和空间复杂度都远远小于传统的方法,大大减少了工作量。
3、本发明创新性地引入求矩阵范数和矩阵迹的思想进行旋转矩阵的求解,与先求出多组的R、T、再进行优化的常规方法相比,本发明的这种求解方法计算量更小,标定速度更快,不会引入更多的累积误差,标定的准确度更高,从而使得最终的位姿测量精度更高。
4、本发明优化设计立体靶标为球型靶标,进行靶标的对应特征点坐标提取时简便快捷,而且整个靶标可以使用很多的圆球以减小误差。
附图说明
图1为为测量总流程图。
图2为相机与激光雷达标定流程图。
图3为双目测量流程图。
图4为双目相机标定使用的棋盘格标定板。
图5为激光雷达与相机联合标定的立体靶标。
图6为激光雷达三维点云图。
图7为激光雷达点云截取靶标处的三维点云图。
图8为激光雷达靶标三维点云投影到二维的图像。
图9为滤波后图像。
图10为二值化处理后的图像。
图11为提取的40个圆斑中心。
图12为相机图像处理后提取的靶标中心。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本实施例搭建的测量***,激光雷达架设在双目相机中间,双目相机测量***的总坐标系建立在左相机上,原点建立在光心处,相机成像平面的u方向为X方向,v方向为Y方向,光轴方向为Z轴方向。
测量***中采用的相机为京航JHSM300f。像元大小3.2*3.2μm,分辨率2048*1536。采用两台可随意放置构成双目测量***。
激光雷达采用的是FARO Focus3D X330 HDR,是一款具有超长扫描距离的高速三维扫描仪。扫描范围0.6-330米;测量误差在10m和25m时误差为±2mm,;反射率分别为90%和10%;分辨率为大于7000万彩色像素;垂直分辨率为0.009度;水平分辨率为0.009度。
如图1所示,总体测量过程为:
首先利用张正友标定法完成双目相机单个相机的内参的标定,利用本发明提出的矩阵求解方法完成双目相机之间的旋转、平移关系的标定。再完成双目左相机与激光雷达设备之间的旋转、平移关系的标定。然后利用标定的结果,首先完成双目相机的测量从而重建目标的三维点云,最后完成双目点云与激光雷达点云的融合。
如图2所示,双目相机(之一)与激光雷达标定的过程为:
首先将激光雷达假设成一个具有固定内参的相机设备,先假设出它的焦距,光心位置,然后对其扫描得到的三维点云进行投影到2D图像,经过滤波,二值化处理就可以提取出立体靶标,进而提取靶标中心。对双目中左相机的靶标图像采用同样的方法提取出靶标中心,两组图像的靶标中心利用对极几何的原理,采用8点法求解出基础矩阵F,进而求本质矩阵E,然后对本质矩阵SVD分解,最后得到两个设备间的旋转、平移矩阵。
双目相机之间的标定与上面的方法类似。
双目相机测量的流程图,如图3所示。首先进行双目相机相机标定(包括双目相机内参的标定和双目相机之间的标定),然后分别对左右图像进行特征提取和匹配,获取视差图进而重建出目标的三维点云。
下面结合具体的试验案例,对本发明进行说明,步骤如下:
步骤1)搭建实验设备,并设立坐标系。
步骤2)双目相机测量***的标定:
采用两个JHSM300f相机构成双目测量***,利用张正友标定法和图4所示棋盘格标定板对相机进行标定,标定结果如下:
左相机内参矩阵:
右相机内参矩阵:
利用1458组对应点求解出本质矩阵。
并用本发明提出的方法分解求得旋转、平移矩阵。分解得到右相机到左相机的旋转、平移关系为:
为了验证本发明求解的旋转平移关系更好,用得到的矩阵对这1458个点进行三维坐标的重建,对比真实距离与计算值之间的误差,与Matlab中自带的传统方法进行比较。
Matlab中自带的传统方法,求解的旋转、平移矩阵为:
T=[-332.284802560441 -2.10062465311190 6.67091696474354]
表1求解方法效果对比
真值(mm) | 本发明方法(mm) | Matlab传统方法(mm) |
50 | 49.7691 | 50.2390 |
100 | 99.8966 | 100.6317 |
150 | 149.8056 | 150.5668 |
200 | 199.8594 | 200.4737 |
70.7107 | 70.3406 | 71.1591 |
400 | 399.6709 | 400.6941 |
从表1中数据可以明显看出,本发明方法求解的结果比Matlab自带的方法精度要高很多。
步骤3)激光雷达与双目左相机的标定
首先利用图5所示的球型靶标获取激光雷达的扫描数据,如图6所示,然后单独截取立体靶标处的三维数据,如图7所示。
现在将激光雷达假设成一个相机,为其设定合适的内参矩阵:
对靶标点云进行投影为2D图像,如图8所示。对图像进行滤波,得到如图9所示图像,然后二值化得图10所示图像。提取圆斑中心,如图11所示。
获取左相机图像,设定合适的阈值进行二值化提取,进而提取靶标中心,如图12所示。
对两组靶标中心采用8点法求解出本质矩阵,然后对本质矩阵进行分解得到两个设备间的旋转平移关系。
T=[0.203788030063619 -0.124632794510692 -0.0517513804995891]
步骤4)点云融合
根据标定结果,双目测量***重建点云,对激光雷达点云数据进行相应的平移、旋转变换,完成两组三维点云数据的融合。
实验结果表明:
双目测量***对于目标上强纹理区域,比如颜色特征明显的红色,蓝色圆环,角点区域都可以很好的重建出来,但是对于其他地方的弱纹理区域是很难重建的。
激光雷达获取的点云数据范围较大,但是激光雷达只对距离信息敏感,而对目标上的的颜色,特殊特征是不敏感的,所以扫描出的点云只有距离信息。
通过将两组点云数据的融合,可以很好的弥补各自的缺点,获得非合作目标更加准确和丰富的三维信息。
为了验证本次测量实验的测量精度,采用了高精度的旋转平台Zolix RAK200,定位误差小于0.005度。通过比较计算值和实际旋转、平移值,得出算法满足1m距离下相对距离测量误差小于0.05m@1m,相对角度测量误差小于0.4°@1m。多组高精度数据结果,也验证了本发明提出的本质矩阵分解求取旋转、平移矩阵的方法的正确性;无论是在军用、民用领域,都有很高的应用价值。
Claims (7)
1.一种基于激光雷达和双目可见光相机联合测量方法,其特征在于:包括以下步骤:
1)搭建测量***,并设立坐标系;所述实验设备包括激光雷达、双目可见光相机;
2)激光雷达与双目可见光相机的标定
设置球型靶标,即在平整的基板上布置多个圆球,各圆球之间的间距已知;
激光雷达对球型靶标进行扫描得到三维点云数据,将激光雷达假设成一个具有固定内参的相机设备,将三维点云数据投影得到第一组二维图像;
使用双目可见光相机其中一个相机对球型靶标进行成像得到第二组二维图像;
利用图像处理的手段分别得到两组二维图像中的所有圆球的中心坐标,基于两组中心坐标,依据计算机视觉中对极几何理论,先采用8点法计算出激光雷达和双目可见光相机之间的基础矩阵F,进而求出本质矩阵E;
按照公式E*T=RS*T=0,S为平移矩阵T构造的反对称矩阵,根据本质矩阵E求解得到激光雷达和双目可见光相机之间的平移矩阵T;
然后根据E=RS,按照求矩阵范数和求矩阵迹的推导思路进行最优化求解,推导得出当trace(SETRS)最大时满足trace(||E-RS||)最小,根据R=V*UT计算得出旋转矩阵R,其中V和U为对SET进行奇异值分解得到的两个酉矩阵;即完成激光雷达与双目可见光相机的标定;
3)双目可见光相机之间的标定
设置靶标,双目可见光相机中的两个相机分别对靶标进行成像,得到两组二维图像,利用图像处理的手段分别得到两组二维图像中靶标的对应特征点坐标,基于两组特征点坐标,依据计算机视觉中对极几何理论,先采用8点法计算出双目可见光相机之间的基础矩阵F,进而求出本质矩阵E;
按照公式E*T=RS*T=0,S为平移矩阵T构造的反对称矩阵,根据本质矩阵E求解得到双目可见光相机之间的平移矩阵T;
然后根据E=RS,按照求矩阵范数和求矩阵迹的推导思路进行最优化求解,推导得出当trace(SETRS)最大时满足trace(||E-RS||)最小,根据R=V*UT计算得出旋转矩阵R,其中V和U为对SET进行奇异值分解得到的两个酉矩阵;即完成双目可见光相机之间的标定;
4)测量、融合
激光雷达对被测目标进行扫描得到第一组三维点云数据;
双目可见光相机对被测目标进行成像,根据步骤3)标定得到的平移矩阵T和旋转矩阵R进行三维重建,得到第二组三维点云数据;
根据步骤2)标定得到的平移矩阵T和旋转矩阵R,对第一组三维点云数据进行相应的平移、旋转变换,完成两组三维点云数据的融合。
2.根据权利要求1所述的基于激光雷达和双目可见光相机联合测量方法,其特征在于:步骤3)中靶标为棋盘格标定板。
3.根据权利要求1所述的基于激光雷达和双目可见光相机联合测量方法,其特征在于:所述球型靶标的基板上,多个圆球大小相同,等间距布置。
4.根据权利要求1所述的基于激光雷达和双目可见光相机联合测量方法,其特征在于:根据本质矩阵E求解平移矩阵T是采用SVD分解的方式。
5.根据权利要求1所述的基于激光雷达和双目可见光相机联合测量方法,其特征在于:双目可见光相机的两个相机分别置于激光雷达的左右两侧。
6.根据权利要求1所述的基于激光雷达和双目可见光相机联合测量方法,其特征在于:在步骤2)之前,先对双目可见光相机的单个相机的内参进行标定。
7.根据权利要求6所述的基于激光雷达和双目可见光相机联合测量方法,其特征在于:利用张正友标定法完成双目可见光相机单个相机的内参的标定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810240140.4A CN108828606B (zh) | 2018-03-22 | 2018-03-22 | 一种基于激光雷达和双目可见光相机联合测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810240140.4A CN108828606B (zh) | 2018-03-22 | 2018-03-22 | 一种基于激光雷达和双目可见光相机联合测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108828606A true CN108828606A (zh) | 2018-11-16 |
CN108828606B CN108828606B (zh) | 2019-04-30 |
Family
ID=64154253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810240140.4A Active CN108828606B (zh) | 2018-03-22 | 2018-03-22 | 一种基于激光雷达和双目可见光相机联合测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108828606B (zh) |
Cited By (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109472831A (zh) * | 2018-11-19 | 2019-03-15 | 东南大学 | 面向压路机施工过程的障碍物识别测距***及方法 |
CN109598765A (zh) * | 2018-12-21 | 2019-04-09 | 浙江大学 | 基于球形标定物的单目相机与毫米波雷达外参联合标定方法 |
CN109614889A (zh) * | 2018-11-23 | 2019-04-12 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
CN109785431A (zh) * | 2018-12-18 | 2019-05-21 | 天津理工大学 | 一种基于激光网格的道路地面三维特征采集方法及装置 |
CN109816774A (zh) * | 2018-12-31 | 2019-05-28 | 天合光能股份有限公司 | 一种基于无人机的三维重建***及三维重建方法 |
CN109828250A (zh) * | 2019-03-28 | 2019-05-31 | 森思泰克河北科技有限公司 | 一种雷达标定方法、标定装置及终端设备 |
CN109901123A (zh) * | 2018-12-24 | 2019-06-18 | 文远知行有限公司 | 传感器标定方法、装置、计算机设备和存储介质 |
CN109934877A (zh) * | 2019-03-15 | 2019-06-25 | 苏州天准科技股份有限公司 | 一种用于2d激光-双目相机联合标定的标定方法 |
CN110021046A (zh) * | 2019-03-05 | 2019-07-16 | 中国科学院计算技术研究所 | 相机与激光雷达组合传感器的外参数标定方法及*** |
CN110223226A (zh) * | 2019-05-07 | 2019-09-10 | 中国农业大学 | 全景图像拼接方法及*** |
CN110349257A (zh) * | 2019-07-16 | 2019-10-18 | 四川大学 | 一种基于相位伪映射的双目测量缺失点云插补方法 |
CN110349221A (zh) * | 2019-07-16 | 2019-10-18 | 北京航空航天大学 | 一种三维激光雷达与双目可见光传感器的融合标定方法 |
CN110412564A (zh) * | 2019-07-29 | 2019-11-05 | 哈尔滨工业大学 | 一种基于多传感器融合的列车车皮识别与测距方法 |
CN110456377A (zh) * | 2019-08-15 | 2019-11-15 | 中国人民解放军63921部队 | 一种基于三维激光雷达的卫星来袭异物检测方法和*** |
CN110579764A (zh) * | 2019-08-08 | 2019-12-17 | 北京三快在线科技有限公司 | 深度相机和毫米波雷达的配准方法、装置、电子设备 |
CN110599546A (zh) * | 2019-08-28 | 2019-12-20 | 贝壳技术有限公司 | 一种获取三维空间数据的方法、***、装置和存储介质 |
CN110675436A (zh) * | 2019-09-09 | 2020-01-10 | 中国科学院微小卫星创新研究院 | 基于3d特征点的激光雷达与立体视觉配准方法 |
CN110930442A (zh) * | 2019-11-26 | 2020-03-27 | 广东技术师范大学 | 基于标定块的机器人手眼标定中关键点位置确定方法与装置 |
CN110969669A (zh) * | 2019-11-22 | 2020-04-07 | 大连理工大学 | 基于互信息配准的可见光与红外相机联合标定方法 |
CN111340797A (zh) * | 2020-03-10 | 2020-06-26 | 山东大学 | 一种激光雷达与双目相机数据融合检测方法及*** |
CN111383279A (zh) * | 2018-12-29 | 2020-07-07 | 阿里巴巴集团控股有限公司 | 外参标定方法、装置及电子设备 |
CN111487642A (zh) * | 2020-03-10 | 2020-08-04 | 国电南瑞科技股份有限公司 | 基于三维激光和双目视觉的变电站巡检机器人定位导航***及方法 |
CN111508020A (zh) * | 2020-03-23 | 2020-08-07 | 北京国电富通科技发展有限责任公司 | 融合图像与激光雷达的电缆三维位置计算方法、装置 |
CN111880192A (zh) * | 2020-07-31 | 2020-11-03 | 湖南国天电子科技有限公司 | 一种基于水面和水下目标预警的海洋监测浮标装置及*** |
US10859684B1 (en) | 2019-11-12 | 2020-12-08 | Huawei Technologies Co., Ltd. | Method and system for camera-lidar calibration |
CN112101222A (zh) * | 2020-09-16 | 2020-12-18 | 中国海洋大学 | 一种基于无人艇多模态传感器的海面三维目标检测方法 |
CN112099031A (zh) * | 2020-11-09 | 2020-12-18 | 天津天瞳威势电子科技有限公司 | 一种车辆测距方法及装置 |
CN112212784A (zh) * | 2020-09-01 | 2021-01-12 | 长春工程学院 | 一种点激光位移传感器与双目相机坐标融合的方法及*** |
CN112258517A (zh) * | 2020-09-30 | 2021-01-22 | 无锡太机脑智能科技有限公司 | 激光雷达栅格地图的自动修图方法和装置 |
CN112379390A (zh) * | 2020-11-18 | 2021-02-19 | 成都通甲优博科技有限责任公司 | 基于异源数据的位姿测量方法、装置、***及电子设备 |
CN112416000A (zh) * | 2020-11-02 | 2021-02-26 | 北京信息科技大学 | 无人驾驶方程式赛车环境感知和导航方法及转向控制方法 |
CN112489110A (zh) * | 2020-11-25 | 2021-03-12 | 西北工业大学青岛研究院 | 一种水下动态场景光学混合三维成像方法 |
CN112529965A (zh) * | 2020-12-08 | 2021-03-19 | 长沙行深智能科技有限公司 | 一种激光雷达与单目相机的标定方法及装置 |
CN112598729A (zh) * | 2020-12-24 | 2021-04-02 | 哈尔滨工业大学芜湖机器人产业技术研究院 | 融合激光与相机的目标物体识别与定位方法 |
CN112634318A (zh) * | 2020-12-31 | 2021-04-09 | 中国海洋大学 | 一种水下维修机器人的遥操作***和方法 |
CN112648998A (zh) * | 2020-08-06 | 2021-04-13 | 成都道克科技有限公司 | 一种基于形状与颜色的无人机合作靶标自主引导测量方法 |
CN112785649A (zh) * | 2019-11-11 | 2021-05-11 | 北京京邦达贸易有限公司 | 激光雷达和相机的标定方法、装置、电子设备及介质 |
WO2021092805A1 (zh) * | 2019-11-13 | 2021-05-20 | 中新智擎科技有限公司 | 一种多模态数据融合方法、装置及智能机器人 |
CN112902874A (zh) * | 2021-01-19 | 2021-06-04 | 中国汽车工程研究院股份有限公司 | 图像采集装置及方法、图像处理方法及装置、图像处理*** |
CN112907681A (zh) * | 2021-02-26 | 2021-06-04 | 北京中科慧眼科技有限公司 | 基于毫米波雷达与双目相机的联合标定方法和*** |
CN113109833A (zh) * | 2021-04-02 | 2021-07-13 | 北京理明智能科技有限公司 | 一种基于可见光与激光雷达融合的仿生三维成像***及方法 |
CN113176544A (zh) * | 2021-03-05 | 2021-07-27 | 河海大学 | 一种边坡雷达影像与地形点云的误匹配校正方法 |
CN113205563A (zh) * | 2021-06-03 | 2021-08-03 | 河南科技大学 | 一种自动驾驶传感器联合标定靶和标定方法 |
CN113288424A (zh) * | 2021-04-14 | 2021-08-24 | 上海大学 | 用于光学手术导航***视场标定的标定板及标定方法 |
CN113379894A (zh) * | 2021-06-10 | 2021-09-10 | 西安亚思工业自动化控制有限公司 | 一种棒材的三维数据模型重构方法 |
CN113379844A (zh) * | 2021-05-25 | 2021-09-10 | 成都飞机工业(集团)有限责任公司 | 一种飞机大范围表面质量检测方法 |
CN113376617A (zh) * | 2020-02-25 | 2021-09-10 | 北京京东乾石科技有限公司 | 雷达标定结果准确性的评价方法、装置、存储介质及*** |
CN113447948A (zh) * | 2021-05-28 | 2021-09-28 | 淮阴工学院 | 一种基于ros机器人的相机与多激光雷达融合方法 |
WO2021195939A1 (zh) * | 2020-03-31 | 2021-10-07 | 深圳市大疆创新科技有限公司 | 一种双目拍摄装置的外参的标定方法、可移动平台及*** |
CN113538591A (zh) * | 2021-06-18 | 2021-10-22 | 深圳奥锐达科技有限公司 | 一种距离测量装置与相机融合***的标定方法及装置 |
CN113763303A (zh) * | 2021-11-10 | 2021-12-07 | 北京中科慧眼科技有限公司 | 基于双目立体视觉的实时地面融合方法、***和智能终端 |
CN113759365A (zh) * | 2021-10-11 | 2021-12-07 | 内蒙古方向图科技有限公司 | 双目视觉三维光学图像与地基雷达数据融合方法和*** |
CN113776515A (zh) * | 2021-08-31 | 2021-12-10 | 南昌工学院 | 一种机器人导航方法、装置、计算机设备和存储介质 |
CN114167866A (zh) * | 2021-12-02 | 2022-03-11 | 桂林电子科技大学 | 一种智能物流机器人及控制方法 |
CN114723825A (zh) * | 2022-04-21 | 2022-07-08 | 中冶赛迪重庆信息技术有限公司 | 用于无人行车场景下的相机坐标映射方法、***、介质及电子终端 |
CN115239821A (zh) * | 2022-07-15 | 2022-10-25 | 小米汽车科技有限公司 | 参数信息确定方法、装置、车辆、电子设备及存储介质 |
CN115797185A (zh) * | 2023-02-08 | 2023-03-14 | 四川精伍轨道交通科技有限公司 | 一种基于图像处理、复球面的坐标转换的方法 |
CN116027269A (zh) * | 2023-03-29 | 2023-04-28 | 成都量芯集成科技有限公司 | 一种平面场景定位方法 |
CN116342710A (zh) * | 2023-02-10 | 2023-06-27 | 深圳市中图仪器股份有限公司 | 用于激光跟踪仪的双目相机的标定方法 |
CN117523105A (zh) * | 2023-11-24 | 2024-02-06 | 哈工大郑州研究院 | 激光雷达和多相机数据融合的三维场景重建方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104574376A (zh) * | 2014-12-24 | 2015-04-29 | 重庆大学 | 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法 |
CN104573646A (zh) * | 2014-12-29 | 2015-04-29 | 长安大学 | 基于激光雷达和双目相机的车前行人检测方法及*** |
CN107421465A (zh) * | 2017-08-18 | 2017-12-01 | 大连理工大学 | 一种基于激光跟踪仪的双目视觉拼接方法 |
-
2018
- 2018-03-22 CN CN201810240140.4A patent/CN108828606B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104574376A (zh) * | 2014-12-24 | 2015-04-29 | 重庆大学 | 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法 |
CN104573646A (zh) * | 2014-12-29 | 2015-04-29 | 长安大学 | 基于激光雷达和双目相机的车前行人检测方法及*** |
CN107421465A (zh) * | 2017-08-18 | 2017-12-01 | 大连理工大学 | 一种基于激光跟踪仪的双目视觉拼接方法 |
Non-Patent Citations (1)
Title |
---|
董方新 等: "立体视觉和三维激光***的联合标定方法", 《仪器仪表学报》 * |
Cited By (89)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109472831A (zh) * | 2018-11-19 | 2019-03-15 | 东南大学 | 面向压路机施工过程的障碍物识别测距***及方法 |
WO2020103427A1 (zh) * | 2018-11-23 | 2020-05-28 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
CN109614889A (zh) * | 2018-11-23 | 2019-04-12 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
CN109614889B (zh) * | 2018-11-23 | 2020-09-18 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
EP3876141A4 (en) * | 2018-11-23 | 2022-01-05 | Huawei Technologies Co., Ltd. | OBJECT DETECTION METHOD, ASSOCIATED DEVICE, AND COMPUTER STORAGE MEDIUM |
CN109785431A (zh) * | 2018-12-18 | 2019-05-21 | 天津理工大学 | 一种基于激光网格的道路地面三维特征采集方法及装置 |
CN109598765B (zh) * | 2018-12-21 | 2023-01-03 | 浙江大学 | 基于球形标定物的单目相机与毫米波雷达外参联合标定方法 |
CN109598765A (zh) * | 2018-12-21 | 2019-04-09 | 浙江大学 | 基于球形标定物的单目相机与毫米波雷达外参联合标定方法 |
CN109901123A (zh) * | 2018-12-24 | 2019-06-18 | 文远知行有限公司 | 传感器标定方法、装置、计算机设备和存储介质 |
CN109901123B (zh) * | 2018-12-24 | 2023-12-01 | 文远知行有限公司 | 传感器标定方法、装置、计算机设备和存储介质 |
CN111383279A (zh) * | 2018-12-29 | 2020-07-07 | 阿里巴巴集团控股有限公司 | 外参标定方法、装置及电子设备 |
CN111383279B (zh) * | 2018-12-29 | 2023-06-20 | 阿里巴巴集团控股有限公司 | 外参标定方法、装置及电子设备 |
CN109816774A (zh) * | 2018-12-31 | 2019-05-28 | 天合光能股份有限公司 | 一种基于无人机的三维重建***及三维重建方法 |
CN109816774B (zh) * | 2018-12-31 | 2023-11-17 | 江苏天策机器人科技有限公司 | 一种基于无人机的三维重建***及三维重建方法 |
CN110021046A (zh) * | 2019-03-05 | 2019-07-16 | 中国科学院计算技术研究所 | 相机与激光雷达组合传感器的外参数标定方法及*** |
CN109934877B (zh) * | 2019-03-15 | 2023-06-09 | 苏州天准科技股份有限公司 | 一种用于2d激光-双目相机联合标定的标定方法 |
CN109934877A (zh) * | 2019-03-15 | 2019-06-25 | 苏州天准科技股份有限公司 | 一种用于2d激光-双目相机联合标定的标定方法 |
CN109828250A (zh) * | 2019-03-28 | 2019-05-31 | 森思泰克河北科技有限公司 | 一种雷达标定方法、标定装置及终端设备 |
CN109828250B (zh) * | 2019-03-28 | 2020-07-21 | 森思泰克河北科技有限公司 | 一种雷达标定方法、标定装置及终端设备 |
CN110223226B (zh) * | 2019-05-07 | 2021-01-15 | 中国农业大学 | 全景图像拼接方法及*** |
CN110223226A (zh) * | 2019-05-07 | 2019-09-10 | 中国农业大学 | 全景图像拼接方法及*** |
CN110349257B (zh) * | 2019-07-16 | 2020-02-28 | 四川大学 | 一种基于相位伪映射的双目测量缺失点云插补方法 |
CN110349221A (zh) * | 2019-07-16 | 2019-10-18 | 北京航空航天大学 | 一种三维激光雷达与双目可见光传感器的融合标定方法 |
CN110349257A (zh) * | 2019-07-16 | 2019-10-18 | 四川大学 | 一种基于相位伪映射的双目测量缺失点云插补方法 |
CN110412564A (zh) * | 2019-07-29 | 2019-11-05 | 哈尔滨工业大学 | 一种基于多传感器融合的列车车皮识别与测距方法 |
CN110579764A (zh) * | 2019-08-08 | 2019-12-17 | 北京三快在线科技有限公司 | 深度相机和毫米波雷达的配准方法、装置、电子设备 |
CN110579764B (zh) * | 2019-08-08 | 2021-03-09 | 北京三快在线科技有限公司 | 深度相机和毫米波雷达的配准方法、装置、电子设备 |
CN110456377A (zh) * | 2019-08-15 | 2019-11-15 | 中国人民解放军63921部队 | 一种基于三维激光雷达的卫星来袭异物检测方法和*** |
CN110599546A (zh) * | 2019-08-28 | 2019-12-20 | 贝壳技术有限公司 | 一种获取三维空间数据的方法、***、装置和存储介质 |
CN110675436A (zh) * | 2019-09-09 | 2020-01-10 | 中国科学院微小卫星创新研究院 | 基于3d特征点的激光雷达与立体视觉配准方法 |
CN112785649A (zh) * | 2019-11-11 | 2021-05-11 | 北京京邦达贸易有限公司 | 激光雷达和相机的标定方法、装置、电子设备及介质 |
US10859684B1 (en) | 2019-11-12 | 2020-12-08 | Huawei Technologies Co., Ltd. | Method and system for camera-lidar calibration |
WO2021093240A1 (en) * | 2019-11-12 | 2021-05-20 | Huawei Technologies Co., Ltd. | Method and system for camera-lidar calibration |
WO2021092805A1 (zh) * | 2019-11-13 | 2021-05-20 | 中新智擎科技有限公司 | 一种多模态数据融合方法、装置及智能机器人 |
CN110969669B (zh) * | 2019-11-22 | 2021-12-03 | 大连理工大学 | 基于互信息配准的可见光与红外相机联合标定方法 |
CN110969669A (zh) * | 2019-11-22 | 2020-04-07 | 大连理工大学 | 基于互信息配准的可见光与红外相机联合标定方法 |
CN110930442A (zh) * | 2019-11-26 | 2020-03-27 | 广东技术师范大学 | 基于标定块的机器人手眼标定中关键点位置确定方法与装置 |
CN113376617B (zh) * | 2020-02-25 | 2024-04-05 | 北京京东乾石科技有限公司 | 雷达标定结果准确性的评价方法、装置、存储介质及*** |
CN113376617A (zh) * | 2020-02-25 | 2021-09-10 | 北京京东乾石科技有限公司 | 雷达标定结果准确性的评价方法、装置、存储介质及*** |
CN111340797B (zh) * | 2020-03-10 | 2023-04-28 | 山东大学 | 一种激光雷达与双目相机数据融合检测方法及*** |
CN111487642A (zh) * | 2020-03-10 | 2020-08-04 | 国电南瑞科技股份有限公司 | 基于三维激光和双目视觉的变电站巡检机器人定位导航***及方法 |
CN111340797A (zh) * | 2020-03-10 | 2020-06-26 | 山东大学 | 一种激光雷达与双目相机数据融合检测方法及*** |
CN111508020B (zh) * | 2020-03-23 | 2024-05-07 | 北京国电富通科技发展有限责任公司 | 融合图像与激光雷达的电缆三维位置计算方法、装置 |
CN111508020A (zh) * | 2020-03-23 | 2020-08-07 | 北京国电富通科技发展有限责任公司 | 融合图像与激光雷达的电缆三维位置计算方法、装置 |
WO2021195939A1 (zh) * | 2020-03-31 | 2021-10-07 | 深圳市大疆创新科技有限公司 | 一种双目拍摄装置的外参的标定方法、可移动平台及*** |
CN111880192B (zh) * | 2020-07-31 | 2021-06-29 | 湖南国天电子科技有限公司 | 一种基于水面和水下目标预警的海洋监测浮标装置及*** |
CN111880192A (zh) * | 2020-07-31 | 2020-11-03 | 湖南国天电子科技有限公司 | 一种基于水面和水下目标预警的海洋监测浮标装置及*** |
CN112648998A (zh) * | 2020-08-06 | 2021-04-13 | 成都道克科技有限公司 | 一种基于形状与颜色的无人机合作靶标自主引导测量方法 |
CN112212784B (zh) * | 2020-09-01 | 2022-02-08 | 长春工程学院 | 一种点激光位移传感器与双目相机坐标融合的方法及*** |
CN112212784A (zh) * | 2020-09-01 | 2021-01-12 | 长春工程学院 | 一种点激光位移传感器与双目相机坐标融合的方法及*** |
CN112101222A (zh) * | 2020-09-16 | 2020-12-18 | 中国海洋大学 | 一种基于无人艇多模态传感器的海面三维目标检测方法 |
CN112258517A (zh) * | 2020-09-30 | 2021-01-22 | 无锡太机脑智能科技有限公司 | 激光雷达栅格地图的自动修图方法和装置 |
CN112416000B (zh) * | 2020-11-02 | 2023-09-15 | 北京信息科技大学 | 无人驾驶方程式赛车环境感知和导航方法及转向控制方法 |
CN112416000A (zh) * | 2020-11-02 | 2021-02-26 | 北京信息科技大学 | 无人驾驶方程式赛车环境感知和导航方法及转向控制方法 |
CN112099031A (zh) * | 2020-11-09 | 2020-12-18 | 天津天瞳威势电子科技有限公司 | 一种车辆测距方法及装置 |
CN112379390A (zh) * | 2020-11-18 | 2021-02-19 | 成都通甲优博科技有限责任公司 | 基于异源数据的位姿测量方法、装置、***及电子设备 |
CN112489110A (zh) * | 2020-11-25 | 2021-03-12 | 西北工业大学青岛研究院 | 一种水下动态场景光学混合三维成像方法 |
CN112529965A (zh) * | 2020-12-08 | 2021-03-19 | 长沙行深智能科技有限公司 | 一种激光雷达与单目相机的标定方法及装置 |
CN112598729A (zh) * | 2020-12-24 | 2021-04-02 | 哈尔滨工业大学芜湖机器人产业技术研究院 | 融合激光与相机的目标物体识别与定位方法 |
CN112598729B (zh) * | 2020-12-24 | 2022-12-23 | 哈尔滨工业大学芜湖机器人产业技术研究院 | 融合激光与相机的目标物体识别与定位方法 |
CN112634318A (zh) * | 2020-12-31 | 2021-04-09 | 中国海洋大学 | 一种水下维修机器人的遥操作***和方法 |
CN112902874A (zh) * | 2021-01-19 | 2021-06-04 | 中国汽车工程研究院股份有限公司 | 图像采集装置及方法、图像处理方法及装置、图像处理*** |
CN112907681A (zh) * | 2021-02-26 | 2021-06-04 | 北京中科慧眼科技有限公司 | 基于毫米波雷达与双目相机的联合标定方法和*** |
CN113176544A (zh) * | 2021-03-05 | 2021-07-27 | 河海大学 | 一种边坡雷达影像与地形点云的误匹配校正方法 |
CN113109833A (zh) * | 2021-04-02 | 2021-07-13 | 北京理明智能科技有限公司 | 一种基于可见光与激光雷达融合的仿生三维成像***及方法 |
CN113288424A (zh) * | 2021-04-14 | 2021-08-24 | 上海大学 | 用于光学手术导航***视场标定的标定板及标定方法 |
CN113379844A (zh) * | 2021-05-25 | 2021-09-10 | 成都飞机工业(集团)有限责任公司 | 一种飞机大范围表面质量检测方法 |
CN113447948A (zh) * | 2021-05-28 | 2021-09-28 | 淮阴工学院 | 一种基于ros机器人的相机与多激光雷达融合方法 |
CN113205563A (zh) * | 2021-06-03 | 2021-08-03 | 河南科技大学 | 一种自动驾驶传感器联合标定靶和标定方法 |
CN113379894B (zh) * | 2021-06-10 | 2023-08-01 | 西安亚思工业自动化控制有限公司 | 一种棒材的三维数据模型重构方法 |
CN113379894A (zh) * | 2021-06-10 | 2021-09-10 | 西安亚思工业自动化控制有限公司 | 一种棒材的三维数据模型重构方法 |
CN113538591B (zh) * | 2021-06-18 | 2024-03-12 | 深圳奥锐达科技有限公司 | 一种距离测量装置与相机融合***的标定方法及装置 |
CN113538591A (zh) * | 2021-06-18 | 2021-10-22 | 深圳奥锐达科技有限公司 | 一种距离测量装置与相机融合***的标定方法及装置 |
CN113776515B (zh) * | 2021-08-31 | 2022-06-10 | 南昌工学院 | 一种机器人导航方法、装置、计算机设备和存储介质 |
CN113776515A (zh) * | 2021-08-31 | 2021-12-10 | 南昌工学院 | 一种机器人导航方法、装置、计算机设备和存储介质 |
CN113759365B (zh) * | 2021-10-11 | 2024-05-31 | 内蒙古方向图科技有限公司 | 双目视觉三维光学图像与地基雷达数据融合方法和*** |
CN113759365A (zh) * | 2021-10-11 | 2021-12-07 | 内蒙古方向图科技有限公司 | 双目视觉三维光学图像与地基雷达数据融合方法和*** |
CN113763303A (zh) * | 2021-11-10 | 2021-12-07 | 北京中科慧眼科技有限公司 | 基于双目立体视觉的实时地面融合方法、***和智能终端 |
CN114167866B (zh) * | 2021-12-02 | 2024-04-12 | 桂林电子科技大学 | 一种智能物流机器人及控制方法 |
CN114167866A (zh) * | 2021-12-02 | 2022-03-11 | 桂林电子科技大学 | 一种智能物流机器人及控制方法 |
CN114723825A (zh) * | 2022-04-21 | 2022-07-08 | 中冶赛迪重庆信息技术有限公司 | 用于无人行车场景下的相机坐标映射方法、***、介质及电子终端 |
CN115239821B (zh) * | 2022-07-15 | 2023-03-31 | 小米汽车科技有限公司 | 参数信息确定方法、装置、车辆、电子设备及存储介质 |
CN115239821A (zh) * | 2022-07-15 | 2022-10-25 | 小米汽车科技有限公司 | 参数信息确定方法、装置、车辆、电子设备及存储介质 |
CN115797185A (zh) * | 2023-02-08 | 2023-03-14 | 四川精伍轨道交通科技有限公司 | 一种基于图像处理、复球面的坐标转换的方法 |
CN116342710A (zh) * | 2023-02-10 | 2023-06-27 | 深圳市中图仪器股份有限公司 | 用于激光跟踪仪的双目相机的标定方法 |
CN116342710B (zh) * | 2023-02-10 | 2024-01-30 | 深圳市中图仪器股份有限公司 | 用于激光跟踪仪的双目相机的标定方法 |
CN116027269A (zh) * | 2023-03-29 | 2023-04-28 | 成都量芯集成科技有限公司 | 一种平面场景定位方法 |
CN117523105A (zh) * | 2023-11-24 | 2024-02-06 | 哈工大郑州研究院 | 激光雷达和多相机数据融合的三维场景重建方法 |
CN117523105B (zh) * | 2023-11-24 | 2024-05-28 | 哈工大郑州研究院 | 激光雷达和多相机数据融合的三维场景重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108828606B (zh) | 2019-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108828606B (zh) | 一种基于激光雷达和双目可见光相机联合测量方法 | |
CN110044300B (zh) | 基于激光器的两栖三维视觉探测装置及探测方法 | |
CN103971353B (zh) | 采用激光辅助大型锻件测量图像数据的拼接方法 | |
CN102927908B (zh) | 机器人手眼***结构光平面参数标定装置及方法 | |
CN109323650B (zh) | 测量***中视觉图像传感器与光点测距传感器测量坐标系的统一方法 | |
Shang et al. | Measurement methods of 3D shape of large-scale complex surfaces based on computer vision: A review | |
CN105716542B (zh) | 一种基于柔性特征点的三维数据拼接方法 | |
CN104101331B (zh) | 基于全光场相机的非合作目标位姿测量 | |
CN108594245A (zh) | 一种目标物运动监测***及方法 | |
CN105115560B (zh) | 一种船舱舱容的非接触测量方法 | |
Yang et al. | Panoramic UAV surveillance and recycling system based on structure-free camera array | |
CN103292710A (zh) | 一种应用双目视觉视差测距原理的距离测量方法 | |
CN106403900B (zh) | 飞行物追踪定位***及方法 | |
CN103759669A (zh) | 一种大型零件的单目视觉测量方法 | |
CN102692214A (zh) | 一种狭窄空间双目视觉测量定位装置及方法 | |
CN110044374A (zh) | 一种基于图像特征的单目视觉测量里程的方法及里程计 | |
CN110889873A (zh) | 一种目标定位方法、装置、电子设备及存储介质 | |
CN110132226A (zh) | 一种无人机巡线的距离及方位角测量***和方法 | |
CN109238247A (zh) | 一种面向大空间复杂现场的六自由度测量方法 | |
CN108010125A (zh) | 基于线结构光和图像信息的真实尺度三维重建***及方法 | |
CN108279677A (zh) | 基于双目视觉传感器的轨道机器人检测方法 | |
CN112461204B (zh) | 卫星对动态飞行目标多视角成像联合计算航行高度的方法 | |
CN103630118B (zh) | 一种立体高光谱成像装置 | |
Wu et al. | Passive ranging based on planar homography in a monocular vision system | |
Ji et al. | Comparison of two panoramic sensor models for precise 3d measurements |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |