CN113239948A - 一种面向毫米波雷达与视频图像的数据融合方法及*** - Google Patents

一种面向毫米波雷达与视频图像的数据融合方法及*** Download PDF

Info

Publication number
CN113239948A
CN113239948A CN202110270383.4A CN202110270383A CN113239948A CN 113239948 A CN113239948 A CN 113239948A CN 202110270383 A CN202110270383 A CN 202110270383A CN 113239948 A CN113239948 A CN 113239948A
Authority
CN
China
Prior art keywords
stick
image
coordinate system
white
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110270383.4A
Other languages
English (en)
Other versions
CN113239948B (zh
Inventor
徐杰
梁晨晨
刘天弼
冯瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202110270383.4A priority Critical patent/CN113239948B/zh
Publication of CN113239948A publication Critical patent/CN113239948A/zh
Application granted granted Critical
Publication of CN113239948B publication Critical patent/CN113239948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供一种面向毫米波雷达与视频图像的数据融合方法及***，其方法包括以下步骤：步骤S1，建立含有黑色幕布以及在该黑色幕布前根据预定距离等距平行设置有等长的n个白色木棍的检测场景；步骤S2，通过毫米波雷达对检测场景进行检测，得到n个白色木棍在雷达坐标系中x轴与y轴上的坐标值；步骤S3，通过摄像头对检测场景进行拍摄得到木棍图像；步骤S4，对木棍图像进行数字图像处理得到n个白色木棍在木棍图像中的坐标值作为该白色木棍在图像坐标系中y轴与z轴上的坐标值；步骤S5，根据预定距离、白色木棍在雷达坐标系中以及在图像坐标系中的坐标值，将雷达坐标系以及图像坐标系基于y轴进行映射从而完成雷达坐标系以及图像坐标系的融合。

Description

一种面向毫米波雷达与视频图像的数据融合方法及***
技术领域
本发明属于数字图像处理及多传感器数据融合领域，涉及一种毫 米波雷达和图像数据融合的配准方法设计，具体涉及一种基于木棍检 测的面向毫米波雷达与视频图像的数据融合方法及***。
背景技术
近年来，随着自动驾驶技术的发展，多传感器检测技术慢慢走入 人们的视野，通过多传感器对路况进行检测，可以在主动安全方面发 挥重要作用。例如毫米波雷达以及车载摄像头，其中毫米波雷达受环 境影响的因素较少，可以测量出前方范围内目标的径向距离和速度； 摄像头可以基于传统机器学习或深度学习的目标检测，检测出前方目 标的位置，为自动驾驶车辆的动作决策提供重要参考。如何将这些多 传感器之间的数据进行融合，从而更好地为自动驾驶技术提供帮助， 也是目前车辆主动安全的热门研究方向。
传统的毫米波雷达和图像识别数据融合方法包括时间融合和空 间融合。在空间融合上，大多采用坐标系转换的方法，即，将世界坐 标系、雷达坐标系、摄像头坐标系进行坐标转换，图1示出了各个坐 标系在自动驾驶车辆上的分布，具体为：雷达坐标系XrOrYr，图像 坐标系XcOcYc以及世界坐标系XwOwYw。这种坐标系转换方法可 以使得摄像头坐标系、雷达坐标系中测定的物体具***置在世界坐标 系中进行对应，从而得到实际世界物体在图像画面中的位置，进而完 成后续的目标配准和目标识别等操作。
然而，在进行图像坐标系的对应时，对于理想的针孔模型不能十 分准确地描述摄像头真实的成像几何关系，尤其在摄像头使用广角镜 头时，实际成像在远离图像中心处会出现较大的畸变。即，通过真实 镜头在成像平面上实际成的像和通过针孔模型在成像平面上理想成 的像不同，距离投影中心越远，畸变越严重。
传统的方法是采用张正友标定法等标定方法，从数学理论的角度 进行配准，在图像数据源头就进行校正。
但是，即使通过上述方法在理论层面完成了标定，在实际运用中， 特别是与雷达的配合中测距，仍存在一定的误差。且上述方法的步骤 繁多，需要很多个阶段的配准，导致每个阶段的误差积累放大，最终 的融合效果在准确度上依然不尽如人意。
发明内容
为解决上述问题，提供一种雷达和图像各自最终识别结果为基准 的、具有高准确率的面向毫米波雷达与视频图像的数据融合方法及系 统，本发明采用了如下技术方案：
本发明提供了一种面向毫米波雷达与视频图像的数据融合方法， 用于对毫米波雷达以及摄像头的坐标数据进行融合，其特征在于，包 括以下步骤：步骤S1，建立含有黑色幕布以及在该黑色幕布前根据 预定距离等距平行设置有等长的n个白色木棍的检测场景，白色木棍 垂直于水平面；步骤S2，通过毫米波雷达对检测场景进行检测，得 到n个白色木棍在对应于水平面的雷达坐标系中x轴与y轴上的坐标 值Xrn以及Yrn；步骤S3，通过摄像头对检测场景进行拍摄得到木 棍图像；步骤S4，对木棍图像进行数字图像处理得到n个白色木棍 的木棍中心点在木棍图像中的坐标值作为该白色木棍在对应于竖平 面的图像坐标系中y轴与z轴上的坐标值Ycn以及Zcn；步骤S5， 根据预定距离、白色木棍在雷达坐标系中的坐标以及在图像坐标系中 的坐标值，将雷达坐标系以及图像坐标系基于y轴进行映射从而完成 雷达坐标系以及图像坐标系的融合。
本发明提供的面向毫米波雷达与视频图像的数据融合方法，还可 以具有这样的技术特征，其中，图像坐标系以及雷达坐标系基于y轴 的映射为：将木棍图像中各个白色木棍之间的像素距离与雷达坐标系 中毫米波雷达测得的各个白色木棍之间的角度进行对应。
本发明提供的面向毫米波雷达与视频图像的数据融合方法，还可 以具有这样的技术特征，其中，图像坐标系以及雷达坐标系基于y轴 的映射为：将木棍图像中各个白色木棍之间的像素距离与雷达坐标系 中毫米波雷达测得的各个白色木棍之间在y轴上的距离进行对应。
本发明提供的面向毫米波雷达与视频图像的数据融合方法，还可 以具有这样的技术特征，其中，步骤S4包括以下子步骤：步骤S4-1， 对木棍图像采用预定边缘检测算法得到木棍边缘点的边缘点位置；步 骤S4-2，基于最小二乘法对木棍边缘点进行直线拟合从而使得边缘点 位置沿对应于白色木棍边缘的直线排布；步骤S4-3，根据各个直线所 对应的边缘点位置计算各个直线之间的直线距离，并将该直线距离最 短的两根直线判定为同一白色木棍的左右边缘；步骤S4-4，根据每个 白色木棍的左右边缘所对应的边缘点位置，基于预定中心点计算方法 确定木棍中心点。
本发明提供的面向毫米波雷达与视频图像的数据融合方法，还可 以具有这样的技术特征，其中，预定中心点计算方法为：取左右边缘 两端的4个木棍边缘点的边缘点位置，并将计算4个木棍边缘点的中 心点坐标作为白色木棍的中心点。
本发明提供的面向毫米波雷达与视频图像的数据融合方法，还可 以具有这样的技术特征，其中，预定中心点计算方法为：根据边缘点 位置计算左右边缘的中心线，并将该中心线的中点作为白色木棍的木 棍中心点。
本发明提供的面向毫米波雷达与视频图像的数据融合方法，还可 以具有这样的技术特征，其中，步骤S4中木棍中心点的确定方法为： 预先在白色木棍的中心点标记具有预定色彩的标记点并存储预定色 彩的RGB值，根据该RGB值识别出木棍图像中的各个标记点从而得 到木棍中心点。
本发明提供的面向毫米波雷达与视频图像的数据融合方法，还可 以具有这样的技术特征，其中，白色木棍的长度为50-150cm，宽度 为2-10cm，预定距离为20-40cm。
本发明提供的面向毫米波雷达与视频图像的数据融合方法，还可 以具有这样的技术特征，其中，毫米波雷达以及摄像头均安装在无人 驾驶车辆的正前方中央并在对应于z轴的竖直方向上保持对齐。
本发明还提供了一种面向毫米波雷达与视频图像的数据融合系 统，用于对毫米波雷达以及摄像头的坐标数据进行融合，其特征在于， 包括：检测场景，含有黑色幕布以及在该黑色幕布前根据预定距离等 距平行设置有等长的若干个白色木棍；毫米波雷达，用于对检测场景 进行检测，得到每个白色木棍在对应于水平面的雷达坐标系中x轴与 y轴上的坐标值Xrn以及Yrn；摄像头，用于对检测场景进行拍摄得 到木棍图像；中心点确定部，对木棍图像进行数字图像处理得到每个 白色木棍的木棍中心点在木棍图像中的坐标值作为该白色木棍在对 应于竖平面的图像坐标系中y轴与z轴上的坐标值Ycn以及Zcn；坐 标融合部，根据预定距离、白色木棍在雷达坐标系中的坐标以及在图 像坐标系中的坐标值，将图像坐标系以及雷达坐标系基于y轴进行映 射从而完成图像坐标系以及雷达坐标系的融合。
发明作用与效果
根据本发明的面向毫米波雷达与视频图像的数据融合方法及系 统，由于通过毫米波雷达与摄像头对若干等距平行设置的白色木棍进 行检测，雷达测出的是雷达坐标系中白色木棍的位置，摄像头得到的 是图像坐标系中白色木棍的图像，通过数字图像处理识别出木棍中心 点在图像坐标系中的位置。接下来，采用数据配准的方法，建立配准 矩阵，形成从雷达坐标系与图像坐标系的映射关系，因此，通过这样 的映射关系，不仅可以省去传统雷达与图像数据融合中的关键步骤 “坐标系切换”，而且在主动安全相关项目-ADAS时可以直接从摄像 头图像上换算实际距离，而不用受摄像头图像畸变的影响，也省去了 各种坐标转换带来的偏差的变化不确定性的麻烦。
附图说明
图1是无人驾驶车辆上的雷达坐标系、图像坐标系以及世界坐标系的 分布示意图；
图2是本发明实施例一中面向毫米波雷达与视频图像的数据融合方 法的流程示意图；
图3是本发明实施例一中检测场景的示意图；
图4是图3中检测场景对应的俯视图；
图5是本发明实施例一的sobel算子示意图；
图6是本发明实施例一中雷达坐标系与图像坐标系的配准示意图；
图7是本发明实施例一中坐标换算矩阵的示意图；以及
图8是本发明实施例二中雷达坐标系与图像坐标系的配准示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于 明白了解，以下结合实施例及附图对本发明的面向毫米波雷达与视频 图像的数据融合方法及***作具体阐述。
<实施例>
本实施例的面向毫米波雷达与视频图像的数据融合方法应用于 自动驾驶车辆，该自动驾驶车辆的正前方中央安装有毫米波雷达和摄 像头，毫米波雷达距离地面40cm，摄像头距离地面70cm，摄像头和 雷达在竖直方向上(本实施例中对应与Z轴)保持垂直对齐。车辆可 以通过摄像头以及雷达对前方的目标进行感应以及检测。
图2是本发明实施例一中面向毫米波雷达与视频图像的数据融 合方法的流程示意图。
如图2所示，面向毫米波雷达与视频图像的数据融合方法具体包 括以下步骤：
步骤S1，建立检测场景，该检测场景含有黑色幕布以及在该黑 色幕布前根据预定距离等距平行设置有等长的若干个白色木棍的，白 色木棍垂直于水平面。
图3是本发明实施例一中检测场景的示意图，图4是图3中检测 场景对应的俯视图。
如图3及图4所示，本实施例的检测场景中选用黑底幕布10以 及若干并排的白色木棍20作为工具。
黑底幕布10设置于离自动驾驶车辆30较远的位置(至少大于白 色木棍与自动驾驶车辆的距离)，并且保证摄像机画面中被黑色幕布 铺满
各个白色木棍20为等长木棍，本实施例中，白色木棍的直径为 4cm，长度为50cm。白色木棍设置后的效果图如图3所示，各个白 色木棍间距离均保持在20cm，竖直且相互平行地放置在纯黑幕布和 自动驾驶车辆30的前脸之间，并分布在毫米波雷达和摄像头的视野 边界内。本实施例中，白色木棍所在的平面到摄像头之前的距离设置 为20cm，一共设有n个白色木棍。
在竖平面的上下方向上，要保证木棍上下可以占满摄像头上下距 离；在水平面的左右方向上，如图4所示，由于毫米波雷达左右视野 边界(即图4中示出的雷达最左视野线和雷达最右视野线)角度一般 小于摄像头检测的左右视野边界(即图4中示出的摄像头最左视野线 和摄像头最右视野线)角度，所以要让白色木棍尽可能多但不能超过 雷达的左右监测范围。白色木棍之间可以用绳子串联，并保持照明条 件良好，便于摄像头捕捉。
毫米波雷达工作在毫米波波段(millimeter wave)，工作频率在 30～100GHz，波长在1～10mm之间的电磁波，通过向障碍物发射电 磁波并接收回波来精确探测目标的方向和距离。雷达的波束只在水平 方向传播，无法识别目标高度信息。雷达输出数据包括对象ND、纵 向坐标Xr、横向坐标Yr、纵向相对速度、运动状态以及横向相对速 度，本实施例中，步骤S2会获取到n个白色木棍的纵向坐标Xrn以 及横向坐标Yrn。
步骤S2，通过毫米波雷达对检测场景进行检测，得到每个白色 木棍在对应于水平面的雷达坐标系中x轴与y轴上的坐标值，即Xrn 以及Yrn。
本实施例中，由于毫米波雷达在水平方向上传播波束并对白色木 棍进行检测，因此测量得到的白色木棍的位置可以近似地作为白色木 棍的中心点，即，在雷达视野中，白色木棍体现为左右间隔距离相近 的几个点，其带有的Xrn、Yrn值近似为其在XrOrYr平面中实际的 坐标值。后续需要配准的是Yrn的值，即点在Yr轴上的投影长度值。
步骤S3，通过摄像头对检测场景进行拍摄得到木棍图像。
步骤S4，对木棍图像进行数字图像处理得到每个白色木棍的木 棍中心点在木棍图像中的坐标值作为该白色木棍在对应于竖平面的 图像坐标系中y轴与z轴上的坐标值Ycn以及Zcn。
本实施例中，在摄像头拍摄的木棍图像中，白色木棍占据在木棍 图像的不同像素点位置。先采用数字图像处理技术识别图像中的边缘 点，再采用直线拟合算法将这些点连接起来，之后再寻找到木棍中心 点位置，记录下其在XcOcZc平面的位置。该过程具体包括步骤S4-1 至步骤S4-4：
步骤S4-1，对木棍图像采用预定边缘检测算法得到木棍边缘点的 边缘点位置。本实施例中，预定边缘检测算法采用canny算法，具体 为：先对原始图像进行高斯滤波，再选用sobel算子(该sobel算子 用于识别竖直边缘，具体如图5所示)计算图像的梯度和梯度方向， 然后再非极大值抑制，最后采用双阈值筛选边缘的方式来获得图像的 边缘点位置，将其呈现在一张feature map上。
步骤S4-2，基于最小二乘法对木棍边缘点进行直线拟合从而使得 边缘点位置沿对应于白色木棍边缘的直线排布。本实施例中，考虑到 测得的木棍边缘点可能有歪斜偏差的，所以采用基于最小二乘法的直 线拟合算法来矫正这些边缘，提取到一条直线的精确位置。直线拟合 得到最终结果是木棍边缘点所构成的直线在XrOrZr平面上的位置。
步骤S4-3，根据各个直线所对应的边缘点位置计算各个直线之间 的直线距离，并将该直线距离最短的两根直线判定为同一白色木棍的 左右边缘。
本实施例中，在步骤S4-2中得到若干条直线在像素平面的位置 后，由于不确定哪些直线属于同一根木棍的左右边缘，所以通过步骤 S4-3遍历整个像素平面，确定与当前选择的直线距离值最短的直线并 将这两根直线作为同一根白色木棍的左右边缘，其对应的公式为： y1＝wnx1+bn，y2＝wjx2+bj中，使得|bn-bj|最小且|wn-wj|<δ，式中，δ 为确定两边缘平行的阈值，xi、yi为各个木棍边缘点的坐标，wn、wj为直线的斜率，bn、bj为直线之间的间隔，满足以上两个条件的即认 为是同一根木棍的左右边缘。
步骤S4-4，根据每个白色木棍的左右边缘所对应的边缘点位置， 基于预定中心点计算方法确定木棍中心点。本实施例中，预定中心点 计算方法为：取两条直线的两头一共4个点，取四个点的中心点，可 作为木棍的目标中心点，雷达测到的点的位置也是这个中心点。
步骤S5，根据预定距离、白色木棍在雷达坐标系中的坐标以及 在图像坐标系中的坐标值，将雷达坐标系以及图像坐标系基于y轴进 行映射，从而构建出对应的坐标换算矩阵并完成雷达坐标系以及图像 坐标系的融合。
本实施例的步骤S5是直接建立雷达坐标系与图像坐标系之间关 于同一个点的位置映射。具体地，雷达坐标系对应于水平面XrOrYr 面，而图像坐标系对应于竖直面XcOcYc面，Yc和Yr面同方向，所 以根据步骤S2得到的n个白色木棍在Yr上的坐标值Yrn以及步骤S4得到的n个白色木棍在Yc上的坐标值Ycn可以建立一一对应的映 射关系，从而使得木棍图像中各个白色木棍之间的像素距离与雷达坐 标系中各个白色木棍在Yr轴上的距离进行对应，如图6所示，将两 个坐标系融合在一起，可以发现Yr和Yc之间的差值在变化，这是 由于摄像头畸变等因素造成的。即为要求的雷达和图像数据配准的映 射关系，其形式为如图7所示的1 x n的变换矩阵(即坐标换算矩阵)。
得到坐标换算矩阵后，该坐标换算矩阵可存储在自动驾驶车辆的 控制模块中。在后续通过毫米波雷达以及摄像头进行目标识别以及坐 标转换时，一旦毫米波雷达以及摄像头各自检测到了目标在雷达坐标 系以及图像坐标系中的坐标点，就能够根据坐标换算矩阵对这些目标 在y轴上的坐标进行换算，并确定毫米波雷达以及摄像头各自检测到 的目标是否为同一个目标。
例如，摄像头测到了A、B、C、D四个物体，将物体A图像坐 标系中的坐标值通过坐标换算矩阵进行换算，即可得到理论上的物体 A在雷达平面应该在的位置Xr，此时再拿来实际的雷达测到的数据， 遍历雷达测得的物体A’、B’、C’、D’，发现只有A’的距离与之前 A算出的理论值的范围在一定阈值内，则认为是摄像头拍摄的图像中 的A和雷达中测到的A’同一个物体。至此，就知道了物体A就是 物体A’，进而获取到该物体A的雷达距离数据和视觉数据，这样就 达到了数据融合。
另外，本实施例通过上述方法完成雷达坐标系以及图像坐标系的 融合后得到的坐标换算矩阵是与摄像头和毫米波雷达的拍摄参数和 检测参数相绑定的，若自动驾驶车辆的摄像头或毫米波雷达在后续过 程中调整了对应的参数，则需要重新通过上述过程建立坐标换算矩 阵。
本实施例中，上述面向毫米波雷达与视频图像的数据融合方法中 的步骤S4以及S5也可以预先处理为对应的计算机程序形成中心点确 定部以及坐标融合部，含有该中心点确定部以及坐标融合部的计算机 程序与检测场景、毫米波雷达以及摄像头可以构成一种面向毫米波雷 达与视频图像的数据融合***，自动驾驶车辆可以通过该数据融合系 统实现雷达坐标以及摄像头坐标的对齐和融合。
实施例一作用与效果
根据本实施例一提供的面向毫米波雷达与视频图像的数据融合 方法及***，由于通过毫米波雷达与摄像头对若干等距平行设置的白 色木棍进行检测，雷达测出的是雷达坐标系中白色木棍的位置，摄像 头得到的是图像坐标系中白色木棍的图像，通过数字图像处理识别出 木棍中心点在图像坐标系中的位置。接下来，采用数据配准的方法， 建立配准矩阵，形成从雷达坐标系与图像坐标系的映射关系，因此， 通过这样的映射关系，不仅可以省去传统雷达与图像数据融合中的关 键步骤“坐标系切换”，而且在主动安全相关项目-ADAS时可以直接 从摄像头图像上换算实际距离，而不用受摄像头图像畸变的影响，也 省去了各种坐标转换带来的偏差的变化不确定性的麻烦。
<实施例二>
本实施例二中，对于与实施例一具有同样结构的构成要素赋予同 样的符号并省略相应的说明。
与实施例一相比，本实施例二进一步考虑到图像坐标系和雷达坐 标系在y轴上的对应关系(即Yr和Yc的对应关系)，可能与木棍到 汽车的距离有关(参考图4)。因此，本实施例二中对步骤S5进行了 对应调整，具体地：
具体地，雷达坐标系对应于水平面XrOrYr面，而图像坐标系对 应于竖直面XcOcYc面，Yc和Yr面同方向，接下来使得木棍图像中 各个白色木棍之间的像素距离与毫米波雷达测得的各个白色木棍之 间的角度进行对应，如图7所示。这样，就考虑到了雷达测量的x， y方向的两个维度参数，也不用受木棍到摄像头雷达的距离的影响。
<变形例一>
本变形例一中，对于与实施例一具有同样结构的构成要素赋予同 样的符号并省略相应的说明。
与实施例一相比，本变形例一的区别在于步骤S4-4中确定木棍 中心点的预定中心点计算方法有所不同，具体地，该预定中心点计算 方法为：
取bm＝(bn+bj)/2,wm＝(wn+wj)/2作为中心点所在直线，即，根 据边缘点位置计算左右边缘的中心线，进一步取该中心线的中点作为 木棍的中心点。
<变形例二>
本变形例二中，对于与实施例一具有同样结构的构成要素赋予同 样的符号并省略相应的说明。
与实施例一相比，本变形例二的区别在于步骤S4中确定木棍中 心点在木棍图像中的坐标值的方式有所不同，具体地：
本变形例二中，利用数字图像中可以识别目标颜色RGB的原理， 在白色木棍中心位置预先设置一个红色或者蓝色等具有鲜艳色彩的 标记点，并记录下该标记点对应的RGB值。接下来，在步骤S4中， 可以直接通过数字图像识别出这些标记点，进而直接定位此处为木棍 中心并获取对应的坐标值。
上述实施例以及变形例仅用于举例说明本发明的具体实施方式， 而本发明不限于上述实施例以及变形例的描述范围。
例如，在上述实施例一及二中，毫米波雷达以及摄像头设置在自 动驾驶车辆上，最终得到的坐标换算矩阵用在自动驾驶车辆的目标识 别技术中。在本发明的其他方案中，也可以针对其他任意需要毫米波 雷达以及摄像头进行多传感器定位的场景。
例如，在上述实施例一及二中，白色木棍之间的间距为20cm， 在本发明的其他方案中，白色木棍之间的间距可以在10-40cm之间适 应性地调整，只需保证各个白色木棍之间均保持等距。另外，适当缩 短木棍间距离，在图像雷达共同的视野域中添加更多的木棍，可以增 大配准的分辨率，提高精确程度。
例如，在上述实施例一及二中，白色木棍的直径为4cm，长度为 50cm。在实际应用中，白色木棍的长度可以在50-150cm、宽度可以 在2-10cm之间进行调整。
例如，在上述实施例一中，白色木棍到摄像头的距离设置有20m， 在实际应用中，白色木棍到摄像头的距离可以在10-20m范围内进行 调整，但需要保证各个白色木棍均平行设置，且位于毫米波雷达以及 摄像头都的视野边界内。
例如，在上述实施例一及二中，是以毫米波雷达测量得到的坐标 就是白色木棍的中心点坐标为准进行描述的。在本发明的其他方案 中，由于雷达选型的不同，有的雷达测量到的是木棍最靠近雷达的一 侧，此时需要在雷达测得的结果上加上白色木棍的半径作为白色木棍 的中心点坐标，即木棍中心在y方向上，其中心点实际离雷达距离为 原有距离加上木棍半径。

Claims (10)

1.一种面向毫米波雷达与视频图像的数据融合方法，用于对毫米波雷达以及摄像头的坐标数据进行融合，其特征在于，包括以下步骤：
步骤S1，建立含有黑色幕布以及在该黑色幕布前根据预定距离等距平行设置有等长的n个白色木棍的检测场景，所述白色木棍垂直于水平面；
步骤S2，通过所述毫米波雷达对所述检测场景进行检测，得到n个所述白色木棍在对应于所述水平面的雷达坐标系中x轴与y轴上的坐标值Xrn以及Yrn；
步骤S3，通过所述摄像头对所述检测场景进行拍摄得到木棍图像；
步骤S4，对所述木棍图像进行数字图像处理得到n个所述白色木棍的木棍中心点在所述木棍图像中的坐标值作为该白色木棍在对应于竖平面的图像坐标系中y轴与z轴上的坐标值Ycn以及Zcn；
步骤S5，根据所述预定距离、所述白色木棍在所述雷达坐标系中的坐标值以及在所述图像坐标系中的坐标值，将所述雷达坐标系以及所述图像坐标系基于所述y轴进行映射从而完成所述雷达坐标系以及所述图像坐标系的融合。
2.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：
其中，所述图像坐标系以及所述雷达坐标系基于所述y轴的映射为：
将所述木棍图像中各个所述白色木棍之间的像素距离与雷达坐标系中所述毫米波雷达测得的各个所述白色木棍之间的角度进行对应。
3.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：
其中，所述图像坐标系以及所述雷达坐标系基于所述y轴的映射为：
将所述木棍图像中各个所述白色木棍之间的像素距离与雷达坐标系中所述毫米波雷达测得的各个所述白色木棍之间在y轴上的距离进行对应。
4.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：
其中，所述步骤S4包括以下子步骤：
步骤S4-1，对所述木棍图像采用预定边缘检测算法得到所述木棍边缘点的边缘点位置；
步骤S4-2，基于最小二乘法对所述木棍边缘点进行直线拟合从而使得所述边缘点位置沿对应于所述白色木棍边缘的直线排布；
步骤S4-3，根据各个所述直线所对应的边缘点位置计算各个所述直线之间的直线距离，并将该直线距离最短的两根直线判定为同一所述白色木棍的左右边缘；
步骤S4-4，根据每个所述白色木棍的左右边缘所对应的所述边缘点位置，基于预定中心点计算方法确定所述木棍中心点。
5.根据权利要求4所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：
其中，所述预定中心点计算方法为：
取所述左右边缘两端的4个所述木棍边缘点的边缘点位置，并将计算4个所述木棍边缘点的中心点坐标作为所述白色木棍的中心点。
6.根据权利要求4所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：
其中，所述预定中心点计算方法为：
根据所述边缘点位置计算所述左右边缘的中心线，并将该中心线的中点作为所述白色木棍的木棍中心点。
7.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：
其中，所述步骤S4中木棍中心点的确定方法为：
预先在所述白色木棍的中心点标记具有预定色彩的标记点并存储所述预定色彩的RGB值，根据该RGB值识别出所述木棍图像中的各个所述标记点从而得到所述木棍中心点。
8.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：
其中，所述白色木棍的长度为50-150cm，宽度为2-10cm，
所述预定距离为20-40cm。
9.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：
其中，所述毫米波雷达以及所述摄像头均安装在无人驾驶车辆的正前方中央并在对应于所述z轴的竖直方向上保持对齐。
10.一种面向毫米波雷达与视频图像的数据融合***，用于对毫米波雷达以及摄像头的坐标数据进行融合，其特征在于，包括：
检测场景，含有黑色幕布以及在该黑色幕布前根据预定距离等距平行设置有等长的若干个白色木棍；
毫米波雷达，用于对所述检测场景进行检测，得到每个所述白色木棍在对应于水平面的雷达坐标系中x轴与y轴上的坐标值Xrn以及Yrn；
摄像头，用于对所述检测场景进行拍摄得到木棍图像；
中心点确定部，对所述木棍图像进行数字图像处理得到每个所述白色木棍的木棍中心点在所述木棍图像中的坐标值作为该白色木棍在对应于竖平面的图像坐标系中y轴与z轴上的坐标值Ycn以及Zcn；
坐标融合部，根据所述预定距离、所述白色木棍在所述雷达坐标系中的坐标以及在所述图像坐标系中的坐标值，将所述图像坐标系以及所述雷达坐标系基于所述y轴进行映射从而完成所述图像坐标系以及所述雷达坐标系的融合。
CN202110270383.4A 2021-03-12 2021-03-12 一种面向毫米波雷达与视频图像的数据融合方法及*** Active CN113239948B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110270383.4A CN113239948B (zh) 2021-03-12 2021-03-12 一种面向毫米波雷达与视频图像的数据融合方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110270383.4A CN113239948B (zh) 2021-03-12 2021-03-12 一种面向毫米波雷达与视频图像的数据融合方法及***

Publications (2)

Publication Number Publication Date
CN113239948A true CN113239948A (zh) 2021-08-10
CN113239948B CN113239948B (zh) 2022-10-14

Family

ID=77130189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110270383.4A Active CN113239948B (zh) 2021-03-12 2021-03-12 一种面向毫米波雷达与视频图像的数据融合方法及***

Country Status (1)

Country Link
CN (1) CN113239948B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039765A1 (en) * 2014-05-05 2017-02-09 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
CN109035309A (zh) * 2018-07-20 2018-12-18 清华大学苏州汽车研究院（吴江） 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
US20190120955A1 (en) * 2017-10-20 2019-04-25 Texas Instruments Incorporated System and method for camera radar fusion
CN111323771A (zh) * 2020-03-02 2020-06-23 南京理工大学 基于固定距离的毫米波雷达与视频数据融合方法
CN111368706A (zh) * 2020-03-02 2020-07-03 南京航空航天大学 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN111652097A (zh) * 2020-05-25 2020-09-11 南京莱斯电子设备有限公司 一种图像毫米波雷达融合目标检测方法
CN111693998A (zh) * 2020-04-26 2020-09-22 智慧互通科技有限公司 一种基于雷达和图像数据检测车辆位置的方法及装置
CN112215306A (zh) * 2020-11-18 2021-01-12 同济大学 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN112363167A (zh) * 2020-11-02 2021-02-12 重庆邮电大学 一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039765A1 (en) * 2014-05-05 2017-02-09 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
US20190120955A1 (en) * 2017-10-20 2019-04-25 Texas Instruments Incorporated System and method for camera radar fusion
CN109035309A (zh) * 2018-07-20 2018-12-18 清华大学苏州汽车研究院（吴江） 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN111323771A (zh) * 2020-03-02 2020-06-23 南京理工大学 基于固定距离的毫米波雷达与视频数据融合方法
CN111368706A (zh) * 2020-03-02 2020-07-03 南京航空航天大学 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN111693998A (zh) * 2020-04-26 2020-09-22 智慧互通科技有限公司 一种基于雷达和图像数据检测车辆位置的方法及装置
CN111652097A (zh) * 2020-05-25 2020-09-11 南京莱斯电子设备有限公司 一种图像毫米波雷达融合目标检测方法
CN112363167A (zh) * 2020-11-02 2021-02-12 重庆邮电大学 一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法
CN112215306A (zh) * 2020-11-18 2021-01-12 同济大学 一种基于单目视觉与毫米波雷达融合的目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HARALD ANGLBERGER等: "Radar and Optical Image Fusion using Airborne Sensor Data from the Heligoland Island", 《2018 19TH INTERNATIONAL RADAR SYMPOSIUM》 *
梁翼: "基于毫米波雷达及深度学习视觉信息融合的前方车辆检测方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *
胡远志等: "基于激光雷达点云与图像融合的车辆目标检测方法", 《汽车安全与节能学报》 *

Also Published As

Publication number Publication date
CN113239948B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN111436216B (zh) 用于彩色点云生成的方法和***
CN112907676B (zh) 传感器的标定方法、装置、***、车辆、设备及存储介质
CN109931939B (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
EP3438777B1 (en) Method, apparatus and computer program for a vehicle
Alismail et al. Automatic calibration of a range sensor and camera system
US9185402B2 (en) Traffic camera calibration update utilizing scene analysis
CN110244282B (zh) 一种多相机***和激光雷达联合***及其联合标定方法
US5937079A (en) Method for stereo image object detection
CN103065323B (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN111462503B (zh) 车辆测速方法、装置及计算机可读存储介质
CN109410264B (zh) 一种基于激光点云与图像融合的前方车辆距离测量方法
Xie et al. Infrastructure based calibration of a multi-camera and multi-lidar system using apriltags
US11410334B2 (en) Vehicular vision system with camera calibration using calibration target
CN108805910A (zh) 多目车载记录仪、目标检测方法、智能驾驶***及汽车
CN110827361B (zh) 基于全局标定架的相机组标定方法及装置
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
CN113327296B (zh) 基于深度加权的激光雷达与相机在线联合标定方法
KR20200071960A (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
CN110750153A (zh) 一种无人驾驶车辆的动态虚拟化装置
CN113920183A (zh) 基于单目视觉的车前障碍物测距方法
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN114120283A (zh) 一种道路场景三维语义分割中未知障碍物的判别方法
CN111382591A (zh) 一种双目相机测距校正方法及车载设备
Nedevschi Online cross-calibration of camera and lidar

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant