CN110517303A - 一种基于双目相机和毫米波雷达的融合slam方法及*** - Google Patents
一种基于双目相机和毫米波雷达的融合slam方法及*** Download PDFInfo
- Publication number
- CN110517303A CN110517303A CN201910814532.1A CN201910814532A CN110517303A CN 110517303 A CN110517303 A CN 110517303A CN 201910814532 A CN201910814532 A CN 201910814532A CN 110517303 A CN110517303 A CN 110517303A
- Authority
- CN
- China
- Prior art keywords
- data
- radar
- millimetre
- image
- binocular camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000012937 correction Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000004888 barrier function Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000000452 restraining effect Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- VIKNJXKGJWUCNN-XGXHKTLJSA-N norethisterone Chemical compound O=C1CC[C@@H]2[C@H]3CC[C@](C)([C@](CC4)(O)C#C)[C@@H]4[C@@H]3CCC2=C1 VIKNJXKGJWUCNN-XGXHKTLJSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于双目相机和毫米波雷达的融合SLAM方法及***，包括以下步骤，包括以下步骤，通过双目相机和毫米波雷达采集图像和雷达数据；分别对图像和雷达数据进行处理，得到图像对应的深度图，并将雷达数据映射到图像中；对图像和雷达数据的处理结果进行融合，并根据融合后结果建立SLAM地图。本发明的有益效果：通过双目相机和毫米波雷达采集数据，并对采集到的数据分别进行处理和融合，从而提升定位的精度和地图的准确性。此方法成本低廉，计算快速，有很强的应用性。
Description
技术领域
本发明涉及车辆建图及定位的技术领域，尤其涉及一种一种基于双目相机和毫米波雷达的融合SLAM方法及***。
背景技术
在车辆高级驾驶辅助***(ADAS)中，定位和建图是不可缺少的技术，比如在弱GPS或者无GPS时车辆需要依赖即时定位与地图构建(SLAM)技术进行导航和路径规划。
目前车辆高级驾驶辅助***普遍采集摄像机和激光雷达的方式进行信息采集，但是激光雷达价格昂贵，成本比较高，所以本文提出了基于双目相机和毫米波雷达的数据融合的方式。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明目的是提供一种基于双目相机和毫米波雷达的融合SLAM方法，双目相机和毫米波雷达均安装在汽车的正前方，可通过标定的方式得出雷达的坐标系相对于双目相机的坐标系的变换关系，当雷达采集到前方某个点的距离后，可通过此变换关系得出在图像坐标系的位置，并与双目计算得出的深度进行数据融合，从而提升定位的精度和地图的准确性。此方法成本低廉，计算快速，有很强的应用性。
为解决上述技术问题，本发明提供如下技术方案：一种基于双目相机和毫米波雷达的融合SLAM方法，包括以下步骤，通过双目相机和毫米波雷达采集图像和雷达数据；分别对图像和雷达数据进行处理，得到图像对应的深度图，并将雷达数据映射到图像中；对图像和雷达数据的处理结果进行融合，并根据融合后结果建立SLAM地图。
作为本发明所述的基于双目相机和毫米波雷达的融合SLAM方法的一种优选方案，其中：还包括，对所述双目相机进行标定，获取所述双目相机的参数。
作为本发明所述的基于双目相机和毫米波雷达的融合SLAM方法的一种优选方案，其中：所述对图像进行处理包括以下步骤，对所述双目相机采集到的图像进行校正，包括畸变校正和立体校正；对校正后的图像进行匹配，获取匹配后的深度图。
作为本发明所述的基于双目相机和毫米波雷达的融合SLAM方法的一种优选方案，其中：所述对雷达数据进行处理分析包括以下步骤，对毫米波雷达的数据进行处理分析，排除虚假目标，获取运动路径上的障碍物的距离。
作为本发明所述的基于双目相机和毫米波雷达的融合SLAM方法的一种优选方案，其中：所述数据融合包括以下步骤，对所述双目相机和所述毫米波雷达进行标定；将所述雷达数据中障碍物的点映射到所述双目相机的图像中；通过滤波算法得到更可靠的深度信息。
作为本发明所述的基于双目相机和毫米波雷达的融合SLAM方法的一种优选方案，其中：所述对图像和雷达数据的处理结果进行融合包括时间融合和数据融合。
作为本发明所述的基于双目相机和毫米波雷达的融合SLAM方法的一种优选方案，其中：所述通过滤波算法得到更可靠的深度信息包括以下步骤，计算图像处理中的深度信息符合高斯分布，根据历史测试数据和真值得出其均方差σ1，其概率记为处理后的雷达数据符合高斯分布，均方差为σ2，其概率记为计算目标点达到预设的跟踪次数时深度值是否收敛，深度值收敛时认为此目标点的深度信息可信，并在深度图的附加信息中显著标记。
作为本发明所述的基于双目相机和毫米波雷达的融合SLAM方法的一种优选方案，其中：所述建立SLAM地图基于数据融合后得到的深度图和其对应的彩色图。
本发明解决的又一个技术问题是提供一种基于双目相机和毫米波雷达的融合SLAM***，将基于双目相机和毫米波雷达的融合SLAM方法的应用于SLAM地图中。
为解决上述技术问题，本发明提供如下技术方案：一种基于双目相机和毫米波雷达的融合SLAM***，包括，双目相机，所述双目相机能够采集图像信息；毫米波雷达，所述毫米波雷达能够采集雷达数据；图像处理单元，所述图像处理单元对所述采集到的图像信息进行处理，构建深度图；雷达数据处理单元，所述雷达数据处理单元对所述采集到的雷达数据进行处理，并完成雷达到相机的标定；融合单元，所述融合单元能够融合雷达映射得到的深度数据和双目计算得到的深度数据；建图单元，所述建图单元根据所述融合单元处理的结果建立SLAM地图。
本发明的有益效果：本发明提供的一种基于双目相机和毫米波雷达的融合SLAM方法及***，通过安装在汽车的正前方的双目相机和毫米波雷达采集数据，得出雷达的坐标系相对于双目相机的坐标系的变换关系，当雷达采集到前方某个点的距离后，可通过此变换关系得出在图像坐标系的位置，并与双目计算得出的深度进行数据融合，从而提升定位的精度和地图的准确性。此方法成本低廉，计算快速，有很强的应用性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明所述基于双目相机和毫米波雷达的融合SLAM方法的流程示意图；
图2为本发明第一个实施例中所述四种坐标系的坐标系对应关系示意图；
图3为本发明第二个实施例所述基于双目相机和毫米波雷达的融合SLAM***的***结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
再其次，本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
对于车辆的驾驶辅助来说，定位与环境地图的创建是关键技术之一，包括了对汽车进行精确定位和环境地图的信息两个方面，这两者互相影响，因此需要进行同步定位和地图创建的工作。
参照图1，本实施例提供了一种基于双目相机和毫米波雷达的数据融合SLAM方法，其特征在于：包括以下步骤，
步骤一：通过双目相机100和毫米波雷达200采集图像和雷达数据。具体的，该步骤还包括，
对双目相机100进行标定，获取双目相机100的参数。对双目相机的标定包括分别获取左、右相机的内外参数；通过立体标定对左、右图像进行立体校准和对齐，最后确定左、右相机的相对位置关系，即中心距。
双目相机的标定可以分为内参标定和外参标定两个部分。其中，相机内参反映的是相机坐标系到图像坐标系之间的投影关系，由于相机标定的目的之一是为了建立物体从三维世界到成像平面上各坐标点的对应关系，所以首先需要定义以下几个坐标系：世界坐标系(XW，YW，ZW)，用户定义的三维世界的坐标系，为了描述目标物在真实世界里的位置而被引入。单位为m；相机坐标系(XC，YC，ZC)，在相机上建立的坐标系，为了从相机的角度描述物***置而定义，作为沟通世界坐标系和图像、像素坐标系的中间一环，单位为m；图像坐标系(x，y)，为了描述成像过程中物体从相机坐标系到图像坐标系的投影透射关系而引入，方便进一步得到像素坐标系下的坐标，单位为m；像素坐标系(u，v)，为了描述物体成像后的像点在数字图像上的坐标而引入，是我们真正从相机内读取到的信息所在的坐标系。单位为个(像素数目)。参照图2，图2表示了以上几个坐标系之间的关系。
以上坐标系间的关系为，世界坐标系通过刚体变换转换为相机坐标系，然后相机坐标系通过透视投影变换变为图像坐标系。通过以上变换，能够得到将世界坐标系转换到像素坐标系的方法。
在本实施例中，相机的标定采用张氏标定法，该方法利用平面棋盘格队相机进行标定。假设标定棋盘位于世界坐标中ZW＝0的平面，通过坐标系的变换可以得出：
其中，u、v表示像素坐标系中的坐标，u0，x0，γ(由于制造误差产生的两个坐标轴偏斜参数，通常很小，一般认为等于0)，表示5个相机内参，R、t示相机外参，(XW，YW，ZW)表示世界坐标系中的坐标。
令则：
其中，(xw，yw)为标定物坐标，(u，v)为像素坐标，使用棋盘格作为标定物，并对棋盘格的每个角的点进行标记，包括其在像素坐标系的坐标和世界坐标系的坐标，通过4组以上的点就可以求解出H矩阵的值。可以理解的是，为了减少误差，一般会选取更多的点进行标定。
完成对双目相机的标定后，通过双目相机100采集图像，通过毫米波雷达200采集雷达数据。
所谓的毫米波雷达，就是指工作频段在毫米波频段的雷达，测距原理跟一般雷达一样，也就是把无线电波(雷达波)发出去，然后接收回波，根据收发之间的时间差测得目标的位置数据。毫米波雷达就是这个无线电波的频率是毫米波频段。
步骤二：分别对图像和雷达数据进行处理，得到图像对应的深度图，并将雷达数据映射到图像中。其中，对图像进行处理包括以下步骤，
并对双目相机100采集到的图像进行校正，包括畸变校正和立体校正。其中，畸变校正包括以下步骤，将源图像像素坐标系通过内参矩阵转化成相机坐标系；通过畸变系数校正图像的相机坐标；校正后通过内参矩阵将相机坐标系转换成图像像素坐标系，并根据源图像坐标的像素值赋值给新的图像坐标。
立体校正可以采用Bouguet校正算法，具体的，Bouguet算法是使两幅图像中每一幅重投影次数最小化、同时使观测面积最大化。给定立体图像间的旋转矩阵和平移(R，T)，将右图像平面旋转到左图像平面的旋转矩阵R被分离成图像之间的两部分，称其为左、右相机的两个合成旋转矩阵rleft和rright。每个相机旋转一半，其主光线平行地指向其原主光线指向的向量和方向，该旋转能使相机共面，但行不对准。矩阵Rr将左图像绕投影中心旋转，使得极线变成水平、且极点在无穷远处，左、右相机的行对准通过设定来实现：
Rleft＝Rrrleft
Rright＝Rrrright
通过上述的两个整体旋转矩阵，就能够得到理想的平行配置的双目立体系图像。校正后根据需要对图像进行裁剪，需重新选择一个图像中心，和图像边缘从而让左、右叠加部分最大。
对校正后的图像进行匹配，获取匹配后的深度图。获取视差图，通过立体校正后得到左、右两幅图像，匹配点是在同一行上的，可以使用OpenCV中的BM算法或者SGBM算法计算视差图。对视差图空洞填充，视差图中视差值不可靠的视差大多数是由于遮挡引起，或者光照不均匀引起，可以用附近可靠的视差值进行填充。将视差图转换为深度图，转换可以通过内参fx，左、右相机光心间的距离(基线距离)和视差值计算得出。
对雷达数据进行处理分析包括以下步骤，
对毫米波雷达的数据进行处理分析，排除虚假目标，获取运动路径上的障碍物的距离。
步骤三：对图像和雷达数据的处理结果进行融合，并根据融合后结果建立SLAM地图。具体的，对图像和雷达数据的处理结果进行融合包括时间融合和数据融合。其中，时间融合是指，根据毫米波雷达功能工作手册，其采样周期为50ms，即采样帧速率为20帧/秒，而相机采样帧速率为25帧/秒。为了保证数据的可靠性，以相机采样速率为基准，摄像机每采一帧图像，选取毫米波雷达上一帧缓存的数据，即完成共同采样一帧雷达与视觉融合的数据，从而保证了毫米波雷达数据和相机数据在时间上的同步。
数据融合包括以下步骤，对双目相机100和毫米波雷达200进行标定；
将雷达数据中障碍物的点映射到双目相机100的图像中；
通过滤波算法得到更可靠的深度信息。具体的，通过滤波算法得到更可靠的深度信息包括以下步骤，
计算图像处理中的深度信息符合高斯分布，根据历史测试数据和真值得出其均方差σ1，其概率记为
处理后的雷达数据符合高斯分布，均方差为σ2，其概率记为
计算目标点达到预设的跟踪次数时深度值是否收敛，深度值收敛时认为此目标点的深度信息可信，并在深度图的附加信息中显著标记。
步骤四：建立SLAM地图基于数据融合后得到的深度图和其对应的彩色图。
在实际应用中，例如汽车行驶在一个室内停车场中，此时可以通过双目相机100和毫米波雷达200分别实时采集数据，通常双目相机100的帧率设为25fps，毫米波雷达200的帧率设为20fps，两者采集的数据都带有参考同一时钟源的时间戳，通过图像处理单元300实时计算图像的深度信息，同时通过雷达数据处理单元400计算雷达数据通过坐标变换映射后的图像数据，当此图像数据在双目中具有深度时，在UI界面中标记并触发融合算法，融合单元500进行数据融合，建图单元600进行建图。
场景一：
为了验证本发明提供的基于双目相机和毫米波雷达的融合SLAM方法在在车辆高级驾驶辅助***中定位和建图的效果，选择在一个装有高速运动捕捉装置的封闭停车场内进行测试，通过高速运动捕捉装置实时捕捉车辆的运动轨迹，并以此结果作为真值参考。
具体的，测试车辆在指定的位置安装好双目相机和毫米波雷达，完成自身的标定和互相之间的标定后，分别启动两个程序，一个程序使用本方法，另一个程序使用双目的视觉SLAM方法，分别保存两个方法下的运动轨迹，并与真值进行对比，多次测试(本实施例中测试50次)取平均值作为最终误差，对比结果如下表所示：
表1：不同SLAM方法下的定位和建图效果对比
| 本发明(双目相机+毫米波雷达) | 传统方法(视觉) | |
| 平移误差 | 2.32％ | 3.14％ |
| 旋转误差 | 0.017[deg/m] | 0.025[deg/m] |
从测试结果中可以看出，通过本发明提供的基于双目相机和毫米波雷达的融合SLAM方法的进行定位和建图，得到的误差要小于传统的视觉SLAM方法下得到的误差，实际使用中能够提升定位的精度和地图的准确性。
实施例2
参照图3的示意，本实施例提供了一种基于双目相机和毫米波雷达的融合SLAM***，能够将第一个实施例所述的一种基于双目相机和毫米波雷达的融合SLAM方法应用于该***中。
具体的，该***包括软件模块和硬件模块，其中，硬件模块包括双目相机100和毫米波雷达200，双目相机100能够采集图像信息，毫米波雷达200能够采集雷达数据。
可以理解的是，软件模块需要在计算机上运行，包括图像处理单元300，雷达数据处理单元400、融合单元500和建图单元600。具体的，图像处理单元300对采集到的图像信息进行处理，构建深度图；雷达数据处理单元400对采集到的雷达数据进行处理，并完成雷达到相机的标定；融合单元500能够融合雷达映射得到的深度数据和双目计算得到的深度数据；建图单元600根据融合单元500处理的结果建立SLAM地图。
软件模块具体的处理方法均可参见实施例1中基于双目相机和毫米波雷达的融合SLAM方法，此处不做详细叙述。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种基于双目相机和毫米波雷达的融合SLAM方法，其特征在于：包括以下步骤，
通过双目相机(100)和毫米波雷达(200)采集图像和雷达数据；
分别对图像和雷达数据进行处理，得到图像对应的深度图，并将雷达数据映射到图像中；
对图像和雷达数据的处理结果进行融合，并根据融合后结果建立SLAM地图。
2.如权利要求1所述的基于双目相机和毫米波雷达的数据融合SLAM方法，其特征在于：还包括，对所述双目相机(100)进行标定，获取所述双目相机(100)的参数。
3.如权利要求2所述的基于双目相机和毫米波雷达的数据融合SLAM方法，其特征在于：所述对图像进行处理包括以下步骤，
对所述双目相机(100)采集到的图像进行校正，包括畸变校正和立体校正；
对校正后的图像进行匹配，获取匹配后的深度图。
4.如权利要求3所述的基于双目相机和毫米波雷达的数据融合SLAM方法，其特征在于：所述对雷达数据进行处理分析包括以下步骤，
对毫米波雷达的数据进行处理分析，排除虚假目标，获取运动路径上的障碍物的距离。
5.如权利要求4所述的基于双目相机和毫米波雷达的数据融合SLAM方法，其特征在于：所述数据融合包括以下步骤，
对所述双目相机(100)和所述毫米波雷达(200)进行标定；
将所述雷达数据中障碍物的点映射到所述双目相机(100)的图像中；
通过滤波算法得到更可靠的深度信息。
6.如权利要求5所述的基于双目相机和毫米波雷达的数据融合SLAM方法，其特征在于：所述对图像和雷达数据的处理结果进行融合包括时间融合和数据融合。
7.如权利要求6所述的基于双目相机和毫米波雷达的数据融合SLAM方法，其特征在于：所述通过滤波算法得到更可靠的深度信息包括以下步骤，
计算图像处理中的深度信息符合高斯分布，根据历史测试数据和真值得出其均方差σ1，其概率记为
处理后的雷达数据符合高斯分布，均方差为σ2，其概率记为
计算目标点达到预设的跟踪次数时深度值是否收敛，深度值收敛时认为此目标点的深度信息可信，并在深度图的附加信息中显著标记。
8.如权利要求7所述的基于双目相机和毫米波雷达的数据融合SLAM方法，其特征在于：所述建立SLAM地图基于数据融合后得到的深度图和其对应的彩色图。
9.一种基于双目相机和毫米波雷达的融合SLAM***，其特征在于：包括，
双目相机(100)，所述双目相机(100)能够采集图像信息；
毫米波雷达(200)，所述毫米波雷达(200)能够采集雷达数据；
图像处理单元(300)，所述图像处理单元(300)对所述采集到的图像信息进行处理，构建深度图；
雷达数据处理单元(400)，所述雷达数据处理单元(400)对所述采集到的雷达数据进行处理，并完成雷达到相机的标定；
融合单元(500)，所述融合单元(500)能够融合雷达映射得到的深度数据和双目计算得到的深度数据；
建图单元(600)，所述建图单元(600)根据所述融合单元(500)处理的结果建立SLAM地图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910814532.1A CN110517303B (zh) | 2019-08-30 | 2019-08-30 | 一种基于双目相机和毫米波雷达的融合slam方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910814532.1A CN110517303B (zh) | 2019-08-30 | 2019-08-30 | 一种基于双目相机和毫米波雷达的融合slam方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110517303A true CN110517303A (zh) | 2019-11-29 |
| CN110517303B CN110517303B (zh) | 2023-06-30 |
Family
ID=68629478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910814532.1A Active CN110517303B (zh) | 2019-08-30 | 2019-08-30 | 一种基于双目相机和毫米波雷达的融合slam方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110517303B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111060881A (zh) * | 2020-01-10 | 2020-04-24 | 湖南大学 | 一种毫米波雷达外参数在线标定方法 |
| CN111398961A (zh) * | 2020-03-17 | 2020-07-10 | 北京百度网讯科技有限公司 | 用于检测障碍物的方法和装置 |
| CN111445507A (zh) * | 2020-04-16 | 2020-07-24 | 北京深测科技有限公司 | 一种非视域成像的数据处理方法 |
| CN111538029A (zh) * | 2020-04-24 | 2020-08-14 | 江苏盛海智能科技有限公司 | 一种视觉与雷达融合的测量方法及终端 |
| CN111862234A (zh) * | 2020-07-22 | 2020-10-30 | 中国科学院上海微***与信息技术研究所 | 双目相机自标定方法及*** |
| CN111898582A (zh) * | 2020-08-13 | 2020-11-06 | 清华大学苏州汽车研究院（吴江） | 双目摄像头及毫米波雷达的障碍物信息融合方法及*** |
| CN112184832A (zh) * | 2020-09-24 | 2021-01-05 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于增强现实技术的可见光相机与雷达联合探测方法 |
| CN112233163A (zh) * | 2020-12-14 | 2021-01-15 | 中山大学 | 一种激光雷达立体相机融合的深度估计方法、装置及其介质 |
| CN113625271A (zh) * | 2021-07-29 | 2021-11-09 | 中汽创智科技有限公司 | 基于毫米波雷达和双目相机的同时定位与建图方法 |
| CN113640802A (zh) * | 2021-07-30 | 2021-11-12 | 国网上海市电力公司 | 一种基于多融合传感器的机器人空间定位方法和*** |
| CN113759365A (zh) * | 2021-10-11 | 2021-12-07 | 内蒙古方向图科技有限公司 | 双目视觉三维光学图像与地基雷达数据融合方法和*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140203959A1 (en) * | 2013-01-18 | 2014-07-24 | Caterpillar Inc. | Object recognition system having radar and camera input |
| CN108326845A (zh) * | 2017-12-11 | 2018-07-27 | 浙江捷尚人工智能研究发展有限公司 | 基于双目相机和激光雷达的机器人定位方法、装置及*** |
| CN108608466A (zh) * | 2018-02-26 | 2018-10-02 | 北京克路德人工智能科技有限公司 | 一种双目相机和激光雷达联合的机器人定位方法 |
| CN109631855A (zh) * | 2019-01-25 | 2019-04-16 | 西安电子科技大学 | 基于orb-slam的高精度车辆定位方法 |
-
2019
- 2019-08-30 CN CN201910814532.1A patent/CN110517303B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140203959A1 (en) * | 2013-01-18 | 2014-07-24 | Caterpillar Inc. | Object recognition system having radar and camera input |
| CN108326845A (zh) * | 2017-12-11 | 2018-07-27 | 浙江捷尚人工智能研究发展有限公司 | 基于双目相机和激光雷达的机器人定位方法、装置及*** |
| CN108608466A (zh) * | 2018-02-26 | 2018-10-02 | 北京克路德人工智能科技有限公司 | 一种双目相机和激光雷达联合的机器人定位方法 |
| CN109631855A (zh) * | 2019-01-25 | 2019-04-16 | 西安电子科技大学 | 基于orb-slam的高精度车辆定位方法 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111060881B (zh) * | 2020-01-10 | 2022-05-13 | 湖南大学 | 一种毫米波雷达外参数在线标定方法 |
| CN111060881A (zh) * | 2020-01-10 | 2020-04-24 | 湖南大学 | 一种毫米波雷达外参数在线标定方法 |
| CN111398961A (zh) * | 2020-03-17 | 2020-07-10 | 北京百度网讯科技有限公司 | 用于检测障碍物的方法和装置 |
| CN111398961B (zh) * | 2020-03-17 | 2022-07-15 | 北京百度网讯科技有限公司 | 用于检测障碍物的方法和装置 |
| CN111445507A (zh) * | 2020-04-16 | 2020-07-24 | 北京深测科技有限公司 | 一种非视域成像的数据处理方法 |
| CN111445507B (zh) * | 2020-04-16 | 2023-07-18 | 北京深测科技有限公司 | 一种非视域成像的数据处理方法 |
| CN111538029A (zh) * | 2020-04-24 | 2020-08-14 | 江苏盛海智能科技有限公司 | 一种视觉与雷达融合的测量方法及终端 |
| CN111862234A (zh) * | 2020-07-22 | 2020-10-30 | 中国科学院上海微***与信息技术研究所 | 双目相机自标定方法及*** |
| CN111862234B (zh) * | 2020-07-22 | 2023-10-20 | 中国科学院上海微***与信息技术研究所 | 双目相机自标定方法及*** |
| CN111898582A (zh) * | 2020-08-13 | 2020-11-06 | 清华大学苏州汽车研究院（吴江） | 双目摄像头及毫米波雷达的障碍物信息融合方法及*** |
| CN111898582B (zh) * | 2020-08-13 | 2023-09-12 | 清华大学苏州汽车研究院（吴江） | 双目摄像头及毫米波雷达的障碍物信息融合方法及*** |
| CN112184832A (zh) * | 2020-09-24 | 2021-01-05 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于增强现实技术的可见光相机与雷达联合探测方法 |
| CN112233163A (zh) * | 2020-12-14 | 2021-01-15 | 中山大学 | 一种激光雷达立体相机融合的深度估计方法、装置及其介质 |
| CN113625271A (zh) * | 2021-07-29 | 2021-11-09 | 中汽创智科技有限公司 | 基于毫米波雷达和双目相机的同时定位与建图方法 |
| CN113625271B (zh) * | 2021-07-29 | 2023-10-27 | 中汽创智科技有限公司 | 基于毫米波雷达和双目相机的同时定位与建图方法 |
| CN113640802A (zh) * | 2021-07-30 | 2021-11-12 | 国网上海市电力公司 | 一种基于多融合传感器的机器人空间定位方法和*** |
| CN113640802B (zh) * | 2021-07-30 | 2024-05-17 | 国网上海市电力公司 | 一种基于多融合传感器的机器人空间定位方法和*** |
| CN113759365A (zh) * | 2021-10-11 | 2021-12-07 | 内蒙古方向图科技有限公司 | 双目视觉三维光学图像与地基雷达数据融合方法和*** |
| CN113759365B (zh) * | 2021-10-11 | 2024-05-31 | 内蒙古方向图科技有限公司 | 双目视觉三维光学图像与地基雷达数据融合方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110517303B (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110517303A (zh) | 一种基于双目相机和毫米波雷达的融合slam方法及*** | |
| US10634500B2 (en) | Aircraft and obstacle avoidance method and system thereof | |
| US7552025B2 (en) | Position data interpolation method, position detecting sensor and position measuring device | |
| CN107704821B (zh) | 一种弯道的车辆位姿计算方法 | |
| EP3637371B1 (en) | Map data correcting method and device | |
| TWI391874B (zh) | 地圖建置方法與裝置以及利用該地圖的定位方法 | |
| US9357208B2 (en) | Method and system for dynamically calibrating vehicular cameras | |
| WO2022127532A1 (zh) | 一种激光雷达与imu的外参标定方法、装置及设备 | |
| CN103020957B (zh) | 移动机器人机载摄像机位置标定方法 | |
| CN109143215A (zh) | 一种基于双目视觉与v2x通信的协同预警设备与方法 | |
| CN103679707A (zh) | 基于双目相机视差图的道路障碍物检测***及检测方法 | |
| CN110288659B (zh) | 一种基于双目视觉的深度成像及信息获取方法 | |
| WO2020041668A1 (en) | Signals of opportunity aided inertial navigation | |
| Lee et al. | Extrinsic and temporal calibration of automotive radar and 3D LiDAR | |
| CN109410234A (zh) | 一种基于双目视觉避障的控制方法及控制*** | |
| US20210097280A1 (en) | Image targeting via targetable 3d data | |
| CN110715670A (zh) | 一种基于gnss差分定位构建驾考全景三维地图的方法 | |
| CN109883433A (zh) | 基于360度全景视图的结构化环境中车辆定位方法 | |
| CN116228539A (zh) | 一种无人机遥感图像拼接的方法 | |
| CN112985415B (zh) | 一种室内定位方法及*** | |
| CN105403886B (zh) | 一种机载sar定标器图像位置自动提取方法 | |
| US20190148813A1 (en) | Imaging system and method for accurately directing antennas | |
| Roh et al. | Aerial image based heading correction for large scale SLAM in an urban canyon | |
| CN110861643A (zh) | 一种无人驾驶车辆单向隧道通行方法及无人驾驶车辆 | |
| JP2002350532A (ja) | レーダアンテナ調整誤差補正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |