CN113447948B - 一种基于ros机器人的相机与多激光雷达融合方法 - Google Patents

一种基于ros机器人的相机与多激光雷达融合方法 Download PDF

Info

Publication number
CN113447948B
CN113447948B CN202110588529.XA CN202110588529A CN113447948B CN 113447948 B CN113447948 B CN 113447948B CN 202110588529 A CN202110588529 A CN 202110588529A CN 113447948 B CN113447948 B CN 113447948B
Authority
CN
China
Prior art keywords
state
point cloud
fish
individual
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110588529.XA
Other languages
English (en)
Other versions
CN113447948A (zh
Inventor
张青春
何孝慈
郭振久
姚胜
王刚
孟凡东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Jiuzhou Longteng Scientific And Technological Achievement Transformation Co ltd
Original Assignee
Huaiyin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaiyin Institute of Technology filed Critical Huaiyin Institute of Technology
Priority to CN202110588529.XA priority Critical patent/CN113447948B/zh
Publication of CN113447948A publication Critical patent/CN113447948A/zh
Application granted granted Critical
Publication of CN113447948B publication Critical patent/CN113447948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于ROS机器人的相机与多激光雷达融合方法，分别使用激光雷达和相机对标定板进行图像采集，对激光雷达采集到的数据进行拟合平面，并用人工鱼群算法进行多激光雷达之间的配准；提取相机采集图像的角点和激光雷达采集点云的角点；根据角点的二维和三维结构，求解相机坐标系与三维场景结构的世界坐标系之间的位姿关系和二维与三维数据之间变换的最优解，完成数据融合。本发明算法效率高，实用性强；能够使机器人对周围环境的感知更加精准。

Description

一种基于ROS机器人的相机与多激光雷达融合方法
技术领域
本发明涉及一种数据融合方法，尤其涉及一种深度相机和激光雷达的图像融合方法。
背景技术
激光雷达是实现移动机器人和汽车自动驾驶环境感知的重要传感器之一，适用于复杂交通环境感知，所得到的深度图精度较高但分辨率低，获得的深度图十分稀疏，容易忽视小目标。双目立体视觉作为计算机视觉的重要分支被广泛应用于汽车无人驾驶技术当中，但是由于图像数据受光照等环境因素影响较大，导致了其所得深度图精度偏低。所以在移动机器人和汽车自动驾驶等领域中需要一种深度图融合方法，使得生成的深度图即精确又稠密。但现有技术中往往不能对多激光雷达配准以及相机数据与激光雷达数据进行有效融合。
发明内容
发明目的：本发明的目的是提供一种能够对相机数据与激光雷达数据进行有效融合的方法。
技术方案：本发明的基于ROS机器人的相机与多激光雷达融合方法包括以下步骤：
(1)使用多激光雷达采集标定板的三维点云数据，并拟合出标定板所在的平面；
(2)用人工鱼群算法进行多激光雷达之间的配准；
(3)使用相机采集标定板的二维图像，提取二维图像中标定板的角点；
(4)在三维点云数据中提取标定板的角点；
(5)根据已获得角点的标定板二维和三维图像数据，求解相机坐标系与三维场景结构的世界坐标系之间的位姿关系和二维与三维数据之间变换的最优解，完成数据融合。
所述步骤(1)中拟合标定板所在平面的步骤为：从激光雷达所采集到的点云中，随机选取3个不共线的点，由此3个点构造三维平面的一般性方程，并初始化为此幅点云对应的平面；计算点云中其余所有点到此平面的距离；统计距离值小于所给阈值的点的个数，并计算满足此阈值的点的个数占所有点的比例；如果计算的占比满足一定的阈值，则认为当前所得的平面参数为此幅点云拟合得出的平面，结束迭代；否则从头开始继续拟合平面，直至达到最大迭代次数为止。
所述步骤(2)中，定义人工鱼结构体，每个个体鱼维数为6，其中3维表示旋转，3维表示平移，定义人工鱼群优化器类，并初始化该优化器的参数以及算法在空间中的搜索角度；设置鱼群中个体鱼的个数，对所有的个体鱼进行初始化，随机选取一个个体鱼并认为此个体鱼为全局最优个体；以激光雷达对应面的一幅点云当前所处的状态为人工鱼的状态，对每条鱼i执行人工鱼群的觅食行为、随机行为、聚群行为以及追尾行为；得到每条人工鱼当前所处的状态；记录当前鱼群中的最优个体X_best，以及计算得到的点云平面之间的最小距离值；
判断当前最小距离值是否满足阈值或者是否达到最大迭代次数，如果满足则输出全局最优个体，根据最优个体鱼的6维数据值计算两激光雷达之间的刚性变换，将源点云数据变换到目标点云数据，算法结束；否则对每条鱼i执行人工鱼群的觅食行为、随机行为、聚群行为以及追尾行为得到人工鱼当前所处的状态，直至求解出最优值。
步骤(2)中执行觅食行为对人工鱼状态进行寻优，具体步骤为：如当前状态X1点云中的所有点到对应的目标点云平面之间的距离Dmin(X1)与状态X2点云中所有点到对应目标点云平面之间的距离Dmin(X2)满足Dmin(X1)＞Dmin(X2)，将状态X1更新为X2；
当状态S1和X2的关系不满足Dmin(X1)＞Dmin(X2)时，则在可移动距离范围内重新随机选择一个状态X2，继续进行上述比较，如果尝试的次数达到预设值后仍然不满足条件，则随机选择一个状态，从状态X1到状态X2更新后所处的状态Xnext按照下式计算：
Figure GDA0004069881050000021
其中step为步长表示下一次可以移动距离的最大值，rand()表示在0和1之间产生的随机数。
步骤(2)中，当觅食行为中尝试若干次后仍不能找到更小距离值，则进行随机行为；所述随机行为的下一个状态按下式计算：
Xnext＝X1+visual×rand()。
步骤(2)中，执行聚群行为控制人工鱼群的运动方向和密度，对于状态为X2时的人工鱼，设其最大探知范围内的个体鱼的数目为Nn。这Nn个鱼的中心位置为Sc，计算
Figure GDA0004069881050000022
的值；若
Figure GDA0004069881050000023
且0＜δ＜1，表示在Xc处有比较多的食物，即满足觅食行为中的大小关系，并且个体鱼之间的距离适中，说明此时找到一个状态比当前状态更优，让当前状态更新为这个更优的状态；否则执行觅食行为。
步骤(2)中，执行追尾行为寻找最优个体鱼，所述最优个体为满足Dmin(X1)＞Dmin(X2)，并且该个体Xnext周围的个体鱼数目Nn满足若
Figure GDA0004069881050000024
且0＜δ＜1，当状态为X1时，在其感知距离内寻找到的某一个个体为Xnext，比较两个状态下源点云中的所有点到目标点云平面的距离，如果满足Dmin(X1)＞Dmin(Xnext)，并且该个体Xnext周围的个体鱼数目Nn满足若
Figure GDA0004069881050000025
且0＜δ＜1；表示该个体Xnext为当前发现的最优个体，其他个体鱼应更新自己的状态为最优个体鱼的状态；否则执行觅食行为。
步骤(3)中，对标定板的四个角点分别贴上四种不同颜色的贴纸，使用相机采集图像，对图像中的像素点进行遍历，寻找具有四种颜色的区域，对每个区域的像素点位置取最边缘值，将边缘值作为角点在相机采集的图像中的像素坐标。
步骤(4)包括：使用直通滤波和条件滤波去除标定板上无用的点云数据；对标定板的四条边所在的进行拟合，得到四条边所在直线的空间一般式；求取相邻两条直线在三维空间的交点，求出的交点即为所求的激光雷达点云角点。
步骤(5)包括：根据已经获得角点坐标的二维图像和三维点云，求解出相机坐标系与三维世界坐标系之间的绝对旋转矩阵R和平移向量T；根据求得的R和T获取相机坐标系与三维世界坐标系之间的位姿关系；利用求解PNP问题的方法求出三维与二维数据之间变换的最优解，完成数据融合。
有益效果：与现有技术相比，本发明具有如下显著优点：在进行图像融合时能够弥补激光雷达和相机各自的缺陷，生成的深度图像更加精细准确，且程序简单，易于实现，算法效率高，实时性强，提升环境感知的准确度。
附图说明
图1为本发明的流程图；
图2为用人工鱼群算法进行多激光雷达之间的配准流程图；
图3为标定板角点采集示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。如图1所示，本发明提供一种基于ROS机器人的相机与多激光雷达融合方法，用于同时搭载相机和多激光雷达的ROS机器人的图像处理，包括如下步骤：
(1)使用多激光雷达采集标定板的三维点云数据，并拟合出标定板所在的平面；从激光雷达所采集到的点云中，随机选取3个不共线的点，由此3个点构造三维平面的一般性方程，并初始化为此幅点云对应的平面；计算点云中其余所有点到此平面的距离；统计距离值小于所给阈值的点的个数，并计算满足此阈值的点的个数占所有点的比例；如果计算的占比满足一定的阈值，则认为当前所得的平面参数为此幅点云拟合得出的平面，结束迭代；否则从头开始继续拟合平面，直至达到最大迭代次数为止。
(2)用人工鱼群算法进行多激光雷达之间的配准；
定义人工鱼结构体，每个个体鱼维数为6，其中3维表示旋转，3维表示平移，定义人工鱼群优化器类，并初始化该优化器的参数以及算法在空间中的搜索角度；设置鱼群中个体鱼的个数，对所有的个体鱼进行初始化，随机选取一个个体鱼并认为此个体鱼为全局最优个体；以激光雷达对应面的一幅点云当前所处的状态为人工鱼的状态，对每条鱼i执行人工鱼群的觅食行为、随机行为、聚群行为以及追尾行为；得到每条人工鱼当前所处的状态；记录当前鱼群中的最优个体X_best，以及计算得到的点云平面之间的最小距离值；
判断当前最小距离值是否满足阈值或者是否达到最大迭代次数，如果满足则输出全局最优个体，根据最优个体鱼的6维数据值计算两激光雷达之间的刚性变换，将源点云数据变换到目标点云数据，算法结束；否则对每条鱼i执行人工鱼群的觅食行为、随机行为、聚群行为以及追尾行为得到人工鱼当前所处的状态，直至求解出最优值，采用人工鱼群进行求解最优个体的步骤如图2所示。
执行觅食行为寻优可避免人工鱼群算法陷入局部最优状态；如当前状态X1点云中的所有点到对应的目标点云平面之间的距离Dmin(X1)与状态X2点云中所有点到对应目标点云平面之间的距离Dmin(X2)满足Dmin(X1)＞Dmin(X2)，将状态X1更新为X2；
当状态X1和X2的关系不满足Dmin(X1)＞Dmin(S2)时，则在可移动距离范围内重新随机选择一个状态S2，继续进行上述比较，如果尝试的次数达到了预设的值仍然不满足条件，则随机选择一个状态，从状态S1到状态S2更新后所处的状态Xnext按照下式计算：
Figure GDA0004069881050000041
其中step为步长表示下一次可以移动距离的最大值，rand()表示在0和1之间产生的随机数。
当觅食行为中尝试若干次后仍不能找到更小距离值，则进行随机行为，所及行为有利于算法陷入局部最优状态；进行随机行为的人工鱼的下一个状态按下式计算：
Xnext＝X1+visual×rand()。
执行聚群行为控制人工鱼群的运动方向和密度，对于状态为X2时的人工鱼，设其最大探知范围内的个体鱼的数目为Nn，这Nn条鱼的中心位置为Xc，若
Figure GDA0004069881050000042
且0＜δ＜1，表示在Xc处有比较多的食物，即满足觅食行为中的大小关系，并且个体鱼之间的距离适中，说明此时找到一个状态比当前状态更优，让当前状态更新为这个更优的状态；否则执行觅食行为。
执行追尾行为的目的是寻找最优个体鱼，所述最优个体为满足Dmin(X1)＞Dmin(X2)，并且该个体Xnext周围的个体鱼数目Nn满足若
Figure GDA0004069881050000043
且0＜δ＜1。当状态为X1时，在其感知距离内寻找到的某一个个体为Xnext，比较两个状态下源点云中的所有点到目标点云平面的距离，如果满足Dmin(X1)＞Dmin(Xnext)，并且该个体Xnext周围的个体鱼数目Nn满足若
Figure GDA0004069881050000051
且0＜δ＜1；表示该个体Xnext为当前发现的最优个体，其他个体鱼应更新自己的状态为最优个体鱼的状态：否则执行觅食行为。
(3)使用相机采集标定板的二维图像，提取二维图像中标定板的角点，具体步骤为：对标定板的四个角点分别贴上四种不同颜色的贴纸，使用相机采集图像，对图像中的像素点进行遍历，寻找具有四种颜色的区域，对每个区域的像素点位置取最边缘值，将边缘值作为角点在相机采集的图像中的像素坐标。
(4)在三维点云数据中提取标定板的角点，具体步骤为：使用直通滤波和条件滤波去除标定板上无用的点云数据；对标定板的四条边所在的进行拟合，得到四条边所在直线的空间一般式；求取相邻两条直线在三维空间的交点，求出的交点即为所求的激光雷达点云角点。其中得到标定板四条边所在直线空间一般式的方法如下：
假设三维点云数据中的一个点P＝(x，y，z)，通过公式
Figure GDA0004069881050000052
和
Figure GDA0004069881050000053
Figure GDA0004069881050000054
可以计算出点P所在的激光线数，其中，Ange是激光线束的一个俯仰角且是由点的三维坐标所求得，gene是比例因子且为一固定的数值，n就是所要求取的点P所位于的激光线束的条数。
接着求取相邻两条直线在三维空间的交点，求出的交点即为所求的激光雷达点云角点，其步骤如下：
在已知空间直线的一般方程的情况下，设点P1＝(x1，y1，z1)和点P2＝(x2，y2，z2)为直线L1上的两点，点P3＝(x3，y3，z3)和点P4＝(x4，y4，z4)为直线L2上的两点，则两直线对应的方向向量分别表示为：
Figure GDA0004069881050000055
求得同时垂直于直线L1和L2的法向量
Figure GDA0004069881050000056
借助直线L1上一个任意的点P1与直线的法向量
Figure GDA0004069881050000057
可以构造一个同时过直线L1和向量
Figure GDA0004069881050000058
的平面，记作A1(x-x1)+B1(y-y1)+C1(z-z1)+D1＝0。该式所确定的平面与L2联立一个线性方程组，可以求得一点Q1，记作Q1＝(X1，Y1，Z1)，该点则为平面与L2的交点。同理，可以得到一点Q2，记作Q2＝(X2，Y2，Z2)，则该点为平面与L1的交点。
由于L1与L2为两条互相异面的直线，则通过拟合所得到的直线交点估算为上面所求得的Q1与Q2的坐标平均值。
(5)根据已获得角点的标定板二维和三维图像数据，求解相机坐标系与三维场景结构的世界坐标系之间的位姿关系和二维与三维数据之间变换的最优解，完成数据融合。
根据已经获得角点坐标的二维图像和三维点云，求解出相机坐标系与三维世界坐标系之间的绝对旋转矩阵R和平移向量T；根据求得的R和T获取相机坐标系与三维世界坐标系之间的位姿关系；利用求解PNP问题的方法求出三维与二维数据之间变换的最优解，完成数据融合。
计算绝对旋转矩阵R和平移向量T以及三维与二维数据之间变换的最优解的具体步骤如下：
设空间中的点为[XW，YW，Zw，1]W，二维图像上的对应点为[X，Y，1]w，则三维点变换到二维点的求解过程有如下表达式：
Figure GDA0004069881050000061
其中，fx、fy、u0、v0是从相机参数中读到的固定系数，则上述变换中有R11、R12、R13、R21、R22、R23、R31、R32、R33、T1、T2、T3共12个未知数，将上述公式展开得：x＝Xw×(fx×R11+u0×R31)+Yw×(fx×R12+u0×R32)+Zw×(fx×R13+u0×R33)+fx×T1+u0×T3
y＝Xw×(fx×R21+v0×R31)+Yw×(fy×R22+v0×R32)+Zw×(fy×R23+v0×R33)+fy×T2+v0×T3
旋转矩阵是一个正交矩阵，向量组的每一行和每一列的内积为0，根据正交矩阵的性质得出该矩阵秩、自由度都为3，在上式平移向量中存在3个未知解，恰好角点的2D和3D结构提供了由Sw，Yw，Zw，x，y确定的两个方程。从数学方程式基本求解性质上可以得知6个未知数需要6个方程式联立求解，一种是由3组三维和二维点确立方程组求解，另一种是由其他多对点通过SVD分解求解。

Claims (4)

1.一种基于ROS机器人的相机与多激光雷达融合方法，用于同时搭载相机和多激光雷达的ROS机器人的图像处理，其特征在于，包括如下步骤：
(1)使用多激光雷达采集标定板的三维点云数据，并拟合出标定板所在的平面；
(2)用人工鱼群算法进行多激光雷达之间的配准；
(3)使用相机采集标定板的二维图像，提取二维图像中标定板的角点；
(4)在三维点云数据中提取标定板的角点；
(5)根据已获得角点的标定板二维和三维图像数据，求解相机坐标系与三维场景结构的世界坐标系之间的位姿关系和二维与三维数据之间变换的最优解，完成数据融合；
所述步骤(2)中，定义人工鱼结构体，每个个体鱼维数为6，其中3维表示旋转，3维表示平移，定义人工鱼群优化器类，并初始化该优化器的参数以及算法在空间中的搜索角度；设置鱼群中个体鱼的个数，对所有的个体鱼进行初始化，随机选取一个个体鱼并认为此个体鱼为全局最优个体；以激光雷达对应面的一幅点云当前所处的状态为人工鱼的状态，对每条鱼i执行人工鱼群的觅食行为、随机行为、聚群行为以及追尾行为；得到每条人工鱼当前所处的状态；记录当前鱼群中的最优个体X_best，以及计算得到的点云平面之间的最小距离值；
判断当前最小距离值是否满足阈值或者是否达到最大迭代次数，如果满足则输出全局最优个体，根据最优个体鱼的6维数据值计算两激光雷达之间的刚性变换，将源点云数据变换到目标点云数据，算法结束；否则对每条鱼i执行人工鱼群的觅食行为、随机行为、聚群行为以及追尾行为得到人工鱼当前所处的状态，直至求解出最优值；
步骤(2)中执行觅食行为对人工鱼状态进行寻优，具体步骤为：如当前状态X1点云中的所有点到对应的目标点云平面之间的距离Dmin(X1)与状态X2点云中所有点到对应目标点云平面之间的距离Dmin(X2)满足Dmin(X1)>Dmin(X2)，将状态X1更新为X2；
当状态X1和X2的关系不满足Dmin(X1)＞Dmin(X2)时，则在可移动距离范围内重新随机选择一个状态X2，继续进行上述比较，如果尝试的次数达到预设值后仍然不满足条件，则随机选择一个状态，从状态X1到状态X2更新后所处的状态Xnext按照下式计算：
Figure FDA0004054474530000011
其中step为步长表示下一次可以移动距离的最大值，rand()表示在0和1之间产生的随机数；
所述步骤(2)中，当觅食行为中尝试若干次后仍不能找到更小距离值，则进行随机行为；所述随机行为的下一个状态按下式计算：
Xnext＝X1+visual×rand()；
所述步骤(2)中，执行聚群行为控制人工鱼群的运动方向和密度，对于状态为X2时的人工鱼，设其最大探知范围内的个体鱼的数目为Nn，这Nn个鱼的中心位置为Xc，计算
Figure FDA0004054474530000021
的值；若
Figure FDA0004054474530000022
且0＜δ＜1，表示在Xc处有比较多的食物，即满足觅食行为中的大小关系，并且个体鱼之间的距离适中，说明此时找到一个状态比当前状态更优，让当前状态更新为这个更优的状态；否则执行觅食行为；
所述步骤(2)中，执行追尾行为寻找最优个体鱼，所述最优个体为满足Dmin(X1)＞Dmin(X2)，并且该个体Xnext周围的个体鱼数目Nn满足若
Figure FDA0004054474530000023
且0＜δ＜1，当状态为X1时，在其感知距离内寻找到的某一个个体为Xnext，比较两个状态下源点云中的所有点到目标点云平面的距离，如果满足Dmin(X1)＞Dmin(Xnext)，并且该个体Xnext周围的个体鱼数目Nn满足若
Figure FDA0004054474530000024
且0＜δ＜1；表示该个体Xnext为当前发现的最优个体，其他个体鱼应更新自己的状态为最优个体鱼的状态；否则执行觅食行为；
所述步骤(4)包括：使用直通滤波和条件滤波去除标定板上无用的点云数据；对标定板的四条边所在的进行拟合，得到四条边所在直线的空间一般式；求取相邻两条直线在三维空间的交点，求出的交点即为所求的激光雷达点云角点。
2.根据权利要求1所述的基于ROS机器人的相机与多激光雷达融合方法，其特征在于，所述步骤(1)中拟合标定板所在平面的步骤为：从激光雷达所采集到的点云中，随机选取3个不共线的点，由此3个点构造三维平面的一般性方程，并初始化为此幅点云对应的平面；计算点云中其余所有点到此平面的距离；统计距离值小于所给阈值的点的个数，并计算满足此阈值的点的个数占所有点的比例；如果计算的占比满足一定的阈值，则认为当前所得的平面参数为此幅点云拟合得出的平面，结束迭代；否则从头开始继续拟合平面，直至达到最大迭代次数为止。
3.根据权利要求1所述的基于ROS机器人的相机与多激光雷达融合方法，其特征在于，所述步骤(3)中，对标定板的四个角点分别贴上四种不同颜色的贴纸，使用相机采集图像，对图像中的像素点进行遍历，寻找具有四种颜色的区域，对每个区域的像素点位置取最边缘值，将边缘值作为角点在相机采集的图像中的像素坐标。
4.根据权利要求1所述的基于ROS机器人的相机与多激光雷达融合方法，其特征在于，所述步骤(5)包括：根据已经获得角点坐标的二维图像和三维点云，求解出相机坐标系与三维世界坐标系之间的绝对旋转矩阵R和平移向量T；根据求得的R和T获取相机坐标系与三维世界坐标系之间的位姿关系；利用求解PNP问题的方法求出三维与二维数据之间变换的最优解，完成数据融合。
CN202110588529.XA 2021-05-28 2021-05-28 一种基于ros机器人的相机与多激光雷达融合方法 Active CN113447948B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110588529.XA CN113447948B (zh) 2021-05-28 2021-05-28 一种基于ros机器人的相机与多激光雷达融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110588529.XA CN113447948B (zh) 2021-05-28 2021-05-28 一种基于ros机器人的相机与多激光雷达融合方法

Publications (2)

Publication Number Publication Date
CN113447948A CN113447948A (zh) 2021-09-28
CN113447948B true CN113447948B (zh) 2023-03-21

Family

ID=77810315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110588529.XA Active CN113447948B (zh) 2021-05-28 2021-05-28 一种基于ros机器人的相机与多激光雷达融合方法

Country Status (1)

Country Link
CN (1) CN113447948B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117706942B (zh) * 2024-02-05 2024-04-26 四川大学 一种环境感知与自适应驾驶辅助电子控制方法及***

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290305B2 (en) * 2009-02-13 2012-10-16 Harris Corporation Registration of 3D point cloud data to 2D electro-optical image data
US10852419B2 (en) * 2017-10-20 2020-12-01 Texas Instruments Incorporated System and method for camera radar fusion
CN108010036B (zh) * 2017-11-21 2020-01-21 江南大学 一种基于rgb-d相机的物体对称轴检测方法
CN108828606B (zh) * 2018-03-22 2019-04-30 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN110223379A (zh) * 2019-06-10 2019-09-10 于兴虎 基于激光雷达的三维点云重建方法
CN110444014A (zh) * 2019-07-01 2019-11-12 淮阴工学院 基于反向st-mrf车辆跟踪算法的防追尾预警方法
CN110349221A (zh) * 2019-07-16 2019-10-18 北京航空航天大学 一种三维激光雷达与双目可见光传感器的融合标定方法
CN110988857A (zh) * 2019-12-18 2020-04-10 中国人民解放军空军工程大学 基于人工鱼群算法的空中作战加油空域定位方法
CN112729344B (zh) * 2020-12-30 2022-09-13 珠海市岭南大数据研究院 无需参照物的传感器外参标定方法
CN112669393B (zh) * 2020-12-31 2021-10-22 中国矿业大学 一种激光雷达与相机联合标定方法

Also Published As

Publication number Publication date
CN113447948A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN109598765B (zh) 基于球形标定物的单目相机与毫米波雷达外参联合标定方法
CN112396664B (zh) 一种单目摄像机与三维激光雷达联合标定及在线优化方法
CN111914715B (zh) 一种基于仿生视觉的智能车目标实时检测与定位方法
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
Weon et al. Object Recognition based interpolation with 3d lidar and vision for autonomous driving of an intelligent vehicle
Gao et al. Ground and aerial meta-data integration for localization and reconstruction: A review
CN111476242A (zh) 一种激光点云语义分割方法及装置
CN111274943A (zh) 一种检测方法、装置、电子设备及存储介质
Choe et al. Fast point cloud segmentation for an intelligent vehicle using sweeping 2D laser scanners
WO2021195939A1 (zh) 一种双目拍摄装置的外参的标定方法、可移动平台及***
CN113447948B (zh) 一种基于ros机器人的相机与多激光雷达融合方法
CN116258817A (zh) 一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和***
CN112907573A (zh) 一种基于3d卷积的深度补全方法
CN113838069B (zh) 基于平面度约束的点云分割方法和***
CN112950786A (zh) 一种基于神经网络的车辆三维重建方法
CN112182122A (zh) 一种移动机器人工作环境导航地图的获取方法及装置
Iz et al. An image-based path planning algorithm using a UAV equipped with stereo vision
Alagöz A note on depth estimation from stereo imaging systems
Abduldayem et al. 3D reconstruction of complex structures with online profiling and adaptive viewpoint sampling
Chen et al. 3D object detection of cars and pedestrians by deep neural networks from unit-sharing one-shot NAS
Su Vanishing points in road recognition: A review
Bueno et al. Textureless object recognition and arm planning for a mobile manipulator
CN111678511B (zh) 一种机器人的多传感器融合定位方法和***
CN118191873A (zh) 一种基于光场图像的多传感器融合测距***及方法
CN112530014B (zh) 一种多无人机室内场景三维重建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240612

Address after: 230000 Room 203, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee after: Hefei Jiuzhou Longteng scientific and technological achievement transformation Co.,Ltd.

Country or region after: China

Address before: 223003 Jiangsu Huaian economic and Technological Development Zone, 1 East Road.

Patentee before: HUAIYIN INSTITUTE OF TECHNOLOGY

Country or region before: China