CN116679267A - 基于雷达和影像的联合标定方法、装置、设备及存储介质 - Google Patents

基于雷达和影像的联合标定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116679267A
CN116679267A CN202310651500.0A CN202310651500A CN116679267A CN 116679267 A CN116679267 A CN 116679267A CN 202310651500 A CN202310651500 A CN 202310651500A CN 116679267 A CN116679267 A CN 116679267A
Authority
CN
China
Prior art keywords
radar
image
region
points
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310651500.0A
Other languages
English (en)
Inventor
李海鹏
陈亚军
赵昕
张礼兵
赵继丹
赵志勇
姚翠霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PowerChina Kunming Engineering Corp Ltd
Original Assignee
PowerChina Kunming Engineering Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PowerChina Kunming Engineering Corp Ltd filed Critical PowerChina Kunming Engineering Corp Ltd
Priority to CN202310651500.0A priority Critical patent/CN116679267A/zh
Publication of CN116679267A publication Critical patent/CN116679267A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请公开了一种基于雷达和影像的联合标定方法、装置、设备及存储介质，方法包括根据第一预设算法对图像数据进行二值化处理，保留颜色值大于等于第一预设阈值的区域，以形成感兴趣区域；根据第二预设算法对感兴趣区域进行第一预设次数的腐蚀，形成第一图像区域；根据第三预设算法对第一图像区域进行第二预设次数的膨胀，以形成第二图像区域；获取第二图像区域的最小包围盒；根据第四预设算法将雷达数据中的所有雷达点映射至图像数据，并判断所有雷达点是否均位于最小包围盒内；若是，则判定为完成标定。本申请计算简便，不需要计算相机内外参数矩阵、坐标系转换等中间过程，只要得到数据点对即可直接计算出映射矩阵。

Description

基于雷达和影像的联合标定方法、装置、设备及存储介质
技术领域
本申请涉及目标检测技术领域，尤其涉及一种基于雷达和影像的联合标定方法、装置、设备及存储介质。
背景技术
随着无人驾驶技术研究的不断深入，目前智能车辆的控制算法已比较成熟，对周围人员、车辆等环境的感知一直是制约无人驾驶的一大影响因素。解决途径之一是增加车辆传感器，但传感器种类众多(常见的如单目相机、双目相机、激光雷达、毫米波雷达、超声波雷达等)，这样就不得不进行传感器间的标定，将传感器数据进行匹配融合，为后续的目标识别和跟踪算法提供可靠的数据支撑。
中国专利“一种雷达和相机的联合标定方法、装置及介质”(专利申请号：202210697885.X)公开了一种雷达和相机的联合标定方法、装置及介质。该方法需获取相机拍摄的视频数据、雷达监测的雷达测量数据、标定车辆上传的GPS运动数据、相机GPS坐标、雷达GPS坐标。以相机为坐标原点建立全局UTM坐标系，再基于标定车辆的GPS点迹及雷达点迹，得到全局UTM坐标系与雷达坐标系之间的映射关系。中国专利“一种基于统计分析的毫米波雷达与视觉相机动态标定方法”(专利申请号：202111663846.X)公开了基于统计分析的毫米波雷达与视觉相机动态标定方法。该方法首先建立毫米波雷达和视觉相机的坐标系，确定旋转角、位移量和动态标定目标移动位置，再根据所述旋转角、位移量和动态标定目标移动位置采集毫米波雷达和视觉相机投影动态数据，采用统计分析的方法确定毫米波雷达相对视觉相机的旋转角和位移量。中国专利“一种基于LM算法的毫米波雷达与摄像头联合标定方法”(专利申请号：201910624873.2)公开一种基于LM算法的毫米波雷达与摄像头联合标定方法。该方法首先固定毫米波雷达与摄像头的位置，并测量两者的相对位置关系；接着打开摄像头采集数据，并采用相机内参标定方法标定相机的内参；然后同时打开毫米波雷达和摄像头，放置标定目标进行数据采集；再对采集的数据进行融合，并使用LM算法来实现坐标转移矩阵的联合标定。
上述标定方法均能够对毫米波雷达和相机进行标定，但存在如下不足：需要的标定设备较多，除了常用的角反射器等标定目标外，有些还需要GPS定位设备，且对设备的定位精度要求较高；对毫米波雷达和相机的安装位置要求较高；在采集标定数据时，对毫米波雷达和相机的时间戳要求较高；对映射矩阵的求解过程较为繁琐，步骤较多。
发明内容
本申请的主要目的在于提供一种基于雷达和影像的联合标定方法、装置、设备及存储介质，以解决现有技术中标定流程复杂繁琐的问题。
为实现上述目的，本申请提供了如下技术方案：
一种基于雷达和影像的联合标定方法，所述雷达与所述影像分别固定装设于外部的应用平台上，且所述雷达的检测端与所述影像的检测端均朝向标定目标，所述雷达与所述影像分别用于获取所述标定目标的雷达数据和图像数据，所述联合标定方法包括：
根据第一预设算法对所述图像数据进行二值化处理，保留颜色值大于等于第一预设阈值的区域，以形成感兴趣区域；
根据第二预设算法对所述感兴趣区域进行第一预设次数的腐蚀，形成第一图像区域；
根据第三预设算法对所述第一图像区域进行第二预设次数的膨胀，以形成第二图像区域；
获取所述第二图像区域的最小包围盒；
根据第四预设算法将所述雷达数据中的所有雷达点映射至所述图像数据，并判断所有雷达点是否均位于所述最小包围盒内；
若是，则判定为完成标定。
作为本申请的进一步改进，根据第一预设算法对所述图像数据进行二值化处理，保留颜色值大于等于第一预设阈值的区域，以形成感兴趣区域，包括：
获取所述图像数据的所有像素点的颜色值；
将小于等于所述第一预设阈值的颜色值调整为1；
将大于所述第一预设阈值的颜色值调整至0，形成所述感兴趣区域。
作为本申请的进一步改进，根据第二预设算法对所述感兴趣区域进行第一预设次数的腐蚀，形成第一图像区域，包括：
获取所述感兴趣区域并根据所述感兴趣区域的尺寸定义第一预设尺寸的第一卷积核；
通过所述第一卷积核的中心点分别所述感兴趣区域的所有像素点进行所述第一预设次数的比对；
分别判断每次比对时所述第一卷积核是否位于所述感兴趣区域内；
若有所述第一卷积核没有位于所述感兴趣区域内，则删除对应所述比对轮次的像素点；
保留所述第一卷积核位于所述感兴趣区域内的所有像素点并形成所述第一图像区域。
作为本申请的进一步改进，根据第三预设算法对所述第一图像区域进行第二预设次数的膨胀，以形成第二图像区域，包括：
获取所述第一图像区域并根据所述第一图像区域的尺寸定义第二预设尺寸的第二卷积核；
通过所述第二卷积核的中心点分别所述第一图像区域的所有像素点进行所述第二预设次数的比对；
分别判断每次比对时所述第二卷积核是否与第一图像区域有重叠；
若所述第二卷积核与第一图像区域有重叠，则与第一图像区域有重叠第二卷积核的中心点所对应的像素点赋予0颜色值，以形成膨胀点；
合并所有膨胀点以及所述第一图像区域，以形成所述第二图像区域。
作为本申请的进一步改进，根据第四预设算法将所述雷达数据中的所有雷达点映射至所述图像数据，并判断所有雷达点是否均位于所述最小包围盒内，包括：
通过所述雷达重复第三预设次数发射第一电磁波至标定目标，以得到数量与所述第三预设次数相匹配的若干个雷达点；
基于若干个雷达点根据式(1)的映射关系定义单应性矩阵H：
其中，u和v为所述标定目标的位置信息，x和y为所述标定目标在所述图像数据中的像素坐标值，H为所述单应性矩阵，且
求解所述单应性矩阵得到像素坐标系与标定目标的世界坐标系相吻合的所有雷达点；
在所述图像数据中输出所有雷达点；
判断所有雷达点是否均位于所述最小包围盒内。
作为本申请的进一步改进，在所述图像数据中输出所有雷达点，之后，包括：
分别判断每个雷达点是否静止；
若否，则删除非静止的雷达点，保留静止的雷达点；
判断所述静止的雷达点是否有且仅有一个；
若否，则对所有静止的雷达点进行滤波，以删除所有静止的雷达点中检测距离与所述标定目标的检测距离不匹配的离群点。
作为本申请的进一步改进，根据第四预设算法将所述雷达数据中的所有雷达点映射至所述图像数据，并判断所有雷达点是否均位于所述最小包围盒内，之前，包括：
在同一时间段内分别通过所述雷达与所述影像分别采集所述雷达数据和所述图像数据至少四次；
分别获取所述标定目标在每个雷达数据中的检测信息(u,v)；
获取所述标定目标的中心点在每个图像数据中的坐标信息(x,y)；
将基于同一次采集的检测信息(u,v)与所述坐标信息(x,y)组成一组数据点对，以形成需至少四组数据点对。
为实现上述目的，本申请提供了如下技术方案：
一种基于雷达和影像的联合标定装置，所述基于雷达和影像的联合标定装置应用于如上述的基于雷达和影像的联合标定方法，所述基于雷达和影像的联合标定装置包括：
图像数据二值化处理模块，用于根据第一预设算法对所述图像数据进行二值化处理，保留颜色值大于等于第一预设阈值的区域，以形成感兴趣区域；
图像数据腐蚀模块，用于根据第二预设算法对所述感兴趣区域进行第一预设次数的腐蚀，形成第一图像区域；
图像数据膨胀模块，用于根据第三预设算法对所述第一图像区域进行第二预设次数的膨胀，以形成第二图像区域；
最小包围盒获取模块，用于获取所述第二图像区域的最小包围盒；
雷达点映射模块，用于根据第四预设算法将所述雷达数据中的所有雷达点映射至所述图像数据，并判断所有雷达点是否均位于所述最小包围盒内；
标定判断模块，用于若所有雷达点均位于所述最小包围盒内，则判定为完成标定。
为实现上述目的，本申请提供了如下技术方案：
一种电子设备，包括处理器、以及与所述处理器耦接的存储器，所述存储器存储有可被所述处理器执行的程序指令；所述处理器执行所述存储器存储的所述程序指令时实现如上述的基于雷达和影像的联合标定方法。
为实现上述目的，本申请提供了如下技术方案：
一种存储介质，所述存储介质内存储有程序指令，所述程序指令被处理器执行时实现能够实现如上述的基于雷达和影像的联合标定方法。
本申请通过对图像数据进行二值化处理，保留颜色值大于等于第一预设阈值的区域，以形成感兴趣区域；对感兴趣区域进行腐蚀和膨胀，得到感兴趣区域的边界；再获取边界的最小包围盒并将雷达数据中的所有雷达点映射至图像数据，并判断所有雷达点是否均位于最小包围盒内；若是，则判定为完成标定。本申请对标定场地环境要求不高，只要毫米波雷达能够准确识别出标定目标位置信息即可，对周围存在的距标定目标较远或移动的物体并不会干扰标定的准确性；对标定目标的形状不敏感，只对标定目标的颜色信息敏感，对标定目标的放置位置也无具体要求。且除了标定目标外，不需要其他额外设备；对时间戳同步要求不高，只要毫米波雷达和摄像头在同一时间段内采集即可；计算简便，不需要计算相机内外参数矩阵、坐标系转换等中间过程，只要得到数据点对即可直接计算出映射矩阵(即单应性矩阵)；对相机和毫米波雷达的安装位置无严格要求，只要两者能同时检测到标定目标即可。
附图说明
图1为本申请基于雷达和影像的联合标定方法一个实施例的流程步骤示意图；
图2为本申请基于雷达和影像的联合标定装置一个实施例的功能模块示意图；
图3为本申请电子设备一个实施例的结构示意图；
图4为本申请存储介质一个实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”“第二”“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”“第二”“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其他实施例相结合。
如图1所示，本实施例提供了基于雷达和影像的联合标定方法的一个实施例，在本实施例中，雷达与影像分别固定装设于外部的应用平台上，且雷达的检测端与影像的检测端均朝向标定目标，雷达与影像分别用于获取标定目标的雷达数据和图像数据。
其中，联合标定方法包括如下步骤：
步骤S1，根据第一预设算法对图像数据进行二值化处理，保留颜色值大于等于第一预设阈值的区域，以形成感兴趣区域。
优选地，第一预设算法可设置为固定阈值法、Otsu算法、自适应阈值算法、Niblack算法、Sauvola算法等；其中，固定阈值法、Otsu算法为全局阈值法，自适应阈值算法、Niblack算法、Sauvola算法为局部阈值法。
优选地，上述算法的宗旨在于寻找一个基于图像数据的合理的颜色值，各个算法所确定的阈值可能不同，用户可根据实际需要选择所需的算法，本实施不再赘述上述各个现有算法。
步骤S2，根据第二预设算法对感兴趣区域进行第一预设次数的腐蚀，形成第一图像区域。
优选地，图像的腐蚀是一种形态学运算，主要用于寻找图像的极小区域。其中，腐蚀类似“领域被蚕食”，将图像中的高亮区域或白色部分进行缩减细化，其运行结果图比原图的高亮区域更小。形态学转换主要针对的是二值图像(0或1)，即上述步骤S1中的二值化处理后的感兴趣区域。图像腐蚀类似于“领域被蚕食”，将图像中的高亮区域或白色部分进行缩减细化，其运行结果图比原图的高亮区域更小。腐蚀主要对象包括二值图像和卷积核。
可以理解为，腐蚀的方法为将卷积核的中心点和图像上的像素点一个一个进行对比，如果卷积核上的所有点都在图像的范围内，则该点保留，否则将该点去掉；在图像完成一次腐蚀后，腐蚀后图像仍在腐蚀前图像的范围内，在直观层面可以得到腐蚀后图像的像素点比腐蚀前图像的像素点要少，类似于图像的边界被腐蚀掉了一层。
步骤S3，根据第三预设算法对第一图像区域进行第二预设次数的膨胀，以形成第二图像区域。
优选地，图像的膨胀同样是一种形态学运算，主要用于寻找图像的极大区域。其中，膨胀类似于“领域扩张”，将图像的高亮区域或白色部分进行扩张，其运行结果图比原图的高亮区域更大。图像膨胀是图像腐蚀的逆过程，往往先通过腐蚀使图像的线条变窄并去除噪点，再进行图像膨胀。
可以理解为，用卷积核的中心点和图像上的像素点及像素点周围一定范围的像素点一个一个比对，如果卷积核上有一个点落在图像的范围内，则该点就为赋值为0，即黑；在图像完成一次膨胀后，膨胀后的图像包括了膨胀前的图像的所有范围，在直观层面可以得到膨胀后的像素点比膨胀前的像素要多，类似于图像的边界向外部膨胀了一层。
其中，卷积核可以看作对图像局部的加权求和，对应局部感知，其原理在于观察某个物体时既不能观察每个像素也不能一次观察整体，而是先从局部开始认识，从而对应了卷积。
进一步地，卷积核的大小一般有1x1、3x3、5x5等的尺寸(一般为奇数x奇数)。卷积核的个数就对应输出的通道数，需要说明的是对于输入的每个通道，输出每个通道上的卷积核是不一样的。比如输入是28x28x192(WxDxK,K代表通道数)，然后在3x3的卷积核，卷积通道数为128，那么卷积的参数有3x3x192x128，其中前两个对应的每个卷积里面的参数，后两个对应的卷积总的个数，一般理解为，卷积核的权值共享只在每个单独通道上有效，至于通道与通道间的对应的卷积核独立不共享。
优选地，在卷积神经网络中，一般情况下，卷积核越大，感受野越大，看到的图片信息越多，所获得的图像全局特征越好。但尺寸大的卷积核会导致计算量的暴增，不利于模型深度的增加，计算性能也会降低。
步骤S4，获取第二图像区域的最小包围盒。
优选地，本实施例中的最小包围盒为矩形。
步骤S5，根据第四预设算法将雷达数据中的所有雷达点映射至图像数据，并判断所有雷达点是否均位于最小包围盒内；若所有雷达点均位于最小包围盒内，则执行步骤S6。
步骤S6，判定为完成标定。
优选地，通常对同一图像的腐蚀和膨胀分别进行一次即可，即第一预设次数与第二预设次数均为1。
进一步地，步骤S1具体包括如下步骤：
步骤S11，获取图像数据的所有像素点的颜色值。
步骤S12，将小于等于第一预设阈值的颜色值调整为1。
步骤S13，将大于第一预设阈值的颜色值调整至0，形成感兴趣区域。
优选地，颜色值包括RGB三色，是三通道数据，每个通道值是0-255。而二值图是单通道，颜色只有0和1；其中0为黑，1为白。
进一步地，步骤S2具体包括如下步骤：
步骤S21，获取感兴趣区域并根据感兴趣区域的尺寸定义第一预设尺寸的第一卷积核。
优选地，步骤S21中的第一卷积核对应上述图像腐蚀的卷积核。
步骤S22，通过第一卷积核的中心点分别感兴趣区域的所有像素点进行第一预设次数的比对。
步骤S23，分别判断每次比对时第一卷积核是否位于感兴趣区域内；若有第一卷积核没有位于感兴趣区域内，则执行步骤S24。
步骤S24，删除第一卷积核没有位于感兴趣区域内所对应比对轮次的像素点。
步骤S25，保留第一卷积核位于感兴趣区域内的所有像素点并形成第一图像区域。
进一步地，步骤S3具体包括如下步骤：
步骤S31，获取第一图像区域并根据第一图像区域的尺寸定义第二预设尺寸的第二卷积核。
优选地，步骤S31中的第二卷积核对应上述图像膨胀的卷积核。
步骤S32，通过第二卷积核的中心点分别第一图像区域的所有像素点进行第二预设次数的比对。
步骤S33，分别判断每次比对时第二卷积核是否与第一图像区域有重叠；若第二卷积核与第一图像区域有重叠，则执行步骤S34。
步骤S34，将与第一图像区域有重叠第二卷积核的中心点所对应的像素点赋予0颜色值，以形成膨胀点。
步骤S35，合并所有膨胀点以及第一图像区域，以形成第二图像区域。
进一步地，步骤S5具体包括如下步骤：
步骤S51，通过雷达重复第三预设次数发射第一电磁波至标定目标，以得到数量与第三预设次数相匹配的若干个雷达点。
步骤S52，基于若干个雷达点根据式(1)的映射关系定义单应性矩阵H：
其中，u和v为标定目标的位置信息，x和y为标定目标在图像数据中的像素坐标值，H为单应性矩阵，且
优选地，根据式(1)展开后得到式(2)：
具体地，由于H具有9个未知量，理论上需要至少9个等式才能够进行求解，则本实施例的H可使用齐次坐标系，将h33的值设置为1，则未知量的个数减少至8个，可通过四组数据点对即可求解H。
步骤S53，求解单应性矩阵得到像素坐标系与标定目标的世界坐标系相吻合的所有雷达点。
步骤S54，在图像数据中输出所有雷达点。
步骤S55，判断所有雷达点是否均位于最小包围盒内；若所有雷达点均位于最小包围盒内，则执行步骤S6。
进一步地，步骤S54之后，还包括如下步骤：
步骤S10，分别判断每个雷达点是否静止；若有雷达点为非静止，则执行步骤S20。
步骤S20，删除非静止的雷达点，保留静止的雷达点。
步骤S30，判断静止的雷达点是否有且仅有一个；若静止的雷达点不仅有一个，则执行步骤S40。
步骤S40，对所有静止的雷达点进行滤波，以删除所有静止的雷达点中检测距离与标定目标的检测距离不匹配的离群点。
进一步地，步骤S5之前，还包括如下步骤：
步骤S100，在同一时间段内分别通过雷达与影像分别采集雷达数据和图像数据至少四次。
步骤S200，分别获取标定目标在每个雷达数据中的检测信息(u,v)。
步骤S300，获取标定目标的中心点在每个图像数据中的坐标信息(x,y)。
步骤S400，将基于同一次采集的检测信息(u,v)与坐标信息(x,y)组成一组数据点对，以形成需至少四组数据点对。
优选地，步骤S400的至少四组数据点对用于求解上述的单应性矩阵H。
优选地，上述所提及的算法均可通过C++、Java、Python等实现。
本实施例通过对图像数据进行二值化处理，保留颜色值大于等于第一预设阈值的区域，以形成感兴趣区域；对感兴趣区域进行腐蚀和膨胀，得到感兴趣区域的边界；再获取边界的最小包围盒并将雷达数据中的所有雷达点映射至图像数据，并判断所有雷达点是否均位于最小包围盒内；若是，则判定为完成标定。本申请对标定场地环境要求不高，只要毫米波雷达能够准确识别出标定目标位置信息即可，对周围存在的距标定目标较远或移动的物体并不会干扰标定的准确性；对标定目标的形状不敏感，只对标定目标的颜色信息敏感，对标定目标的放置位置也无具体要求。且除了标定目标外，不需要其他额外设备；对时间戳同步要求不高，只要毫米波雷达和摄像头在同一时间段内采集即可；计算简便，不需要计算相机内外参数矩阵、坐标系转换等中间过程，只要得到数据点对即可直接计算出映射矩阵(即单应性矩阵)；对相机和毫米波雷达的安装位置无严格要求，只要两者能同时检测到标定目标即可。
如图2所示，本实施例提供了基于雷达和影像的联合标定装置的一个实施例，在本实施例中，基于雷达和影像的联合标定装置应用于如上述的基于雷达和影像的联合标定方法，该联合标定装置包括图像数据二值化处理模块1、图像数据腐蚀模块2、图像数据膨胀模块3、最小包围盒获取模块4、雷达点映射模块5、标定判断模块6。
其中，图像数据二值化处理模块1，用于根据第一预设算法对图像数据进行二值化处理，保留颜色值大于等于第一预设阈值的区域，以形成感兴趣区域；图像数据腐蚀模块2，用于根据第二预设算法对感兴趣区域进行第一预设次数的腐蚀，形成第一图像区域；图像数据膨胀模块3，用于根据第三预设算法对第一图像区域进行第二预设次数的膨胀，以形成第二图像区域；最小包围盒获取模块4，用于获取第二图像区域的最小包围盒；雷达点映射模块5，用于根据第四预设算法将雷达数据中的所有雷达点映射至图像数据，并判断所有雷达点是否均位于最小包围盒内；标定判断模块6，用于若所有雷达点均位于最小包围盒内，则判定为完成标定。
进一步地，图像数据二值化处理模块包括依次电性连接或相互电性连接的第一图像数据二值化处理子模块、第二图像数据二值化处理子模块、第三图像数据二值化处理子模块。
其中，第一图像数据二值化处理子模块用于获取图像数据的所有像素点的颜色值；第二图像数据二值化处理子模块用于将小于等于第一预设阈值的颜色值调整为1；第三图像数据二值化处理子模块用于将大于第一预设阈值的颜色值调整至0，形成感兴趣区域。
进一步地，图像数据腐蚀模块包括依次电性连接或相互电性连接的第一图像数据腐蚀子模块、第二图像数据腐蚀子模块、第三图像数据腐蚀子模块、第四图像数据腐蚀子模块、第五图像数据腐蚀子模块。
其中，第一图像数据腐蚀子模块用于获取感兴趣区域并根据感兴趣区域的尺寸定义第一预设尺寸的第一卷积核；第二图像数据腐蚀子模块用于通过第一卷积核的中心点分别感兴趣区域的所有像素点进行第一预设次数的比对；第三图像数据腐蚀子模块用于分别判断每次比对时第一卷积核是否位于感兴趣区域内；第四图像数据腐蚀子模块用于若有第一卷积核没有位于感兴趣区域内，则删除第一卷积核没有位于感兴趣区域内所对应比对轮次的像素点；第五图像数据腐蚀子模块用于保留第一卷积核位于感兴趣区域内的所有像素点并形成第一图像区域。
进一步地，图像数据膨胀模块包括依次电性连接或相互电性连接的第一图像数据膨胀子模块、第二图像数据膨胀子模块、第三图像数据膨胀子模块、第四图像数据膨胀子模块、第五图像数据膨胀子模块。
其中，第一图像数据膨胀子模块用于获取第一图像区域并根据第一图像区域的尺寸定义第二预设尺寸的第二卷积核；第二图像数据膨胀子模块用于通过第二卷积核的中心点分别第一图像区域的所有像素点进行第二预设次数的比对；第三图像数据膨胀子模块用于分别判断每次比对时第二卷积核是否与第一图像区域有重叠；第四图像数据膨胀子模块用于若第二卷积核与第一图像区域有重叠，则将与第一图像区域有重叠第二卷积核的中心点所对应的像素点赋予0颜色值，以形成膨胀点；第五图像数据膨胀子模块用于合并所有膨胀点以及第一图像区域，以形成第二图像区域。
进一步地，雷达点映射模块包括依次电性连接或相互电性连接的第一雷达点映射子模块、第二雷达点映射子模块、第三雷达点映射子模块、第四雷达点映射子模块、第五雷达点映射子模块、第六雷达点映射子模块。
其中，第一雷达点映射子模块用于通过雷达重复第三预设次数发射第一电磁波至标定目标，以得到数量与第三预设次数相匹配的若干个雷达点。
第二雷达点映射子模块用于基于若干个雷达点根据式(1)的映射关系定义单应性矩阵H：
其中，u和v为标定目标的位置信息，x和y为标定目标在图像数据中的像素坐标值，H为单应性矩阵，且
第三雷达点映射子模块用于求解单应性矩阵得到像素坐标系与标定目标的世界坐标系相吻合的所有雷达点。
第四雷达点映射子模块用于在图像数据中输出所有雷达点。
第五雷达点映射子模块用于判断所有雷达点是否均位于最小包围盒内。
第六雷达点映射子模块用于若所有雷达点均位于最小包围盒内，则判定为完成标定。
进一步地，联合标定装置包括电性连接于第四雷达点映射子模块并依次电性连接的雷达点判断模块、雷达点筛除模块、雷达点数量判断模块、雷达点滤波模块。
其中，雷达点判断模块用于分别判断每个雷达点是否静止；雷达点筛除模块用于若有雷达点为非静止，则，删除非静止的雷达点，保留静止的雷达点；雷达点数量判断模块用于判断静止的雷达点是否有且仅有一个；雷达点滤波模块用于若静止的雷达点不仅有一个，则对所有静止的雷达点进行滤波，以删除所有静止的雷达点中检测距离与标定目标的检测距离不匹配的离群点。
进一步地，联合标定装置包括电性连接于雷达点映射模块并依次电性连接的雷达与影像数据采集模块、检测信息获取模块、坐标信息获取模块、数据点对形成模块。
其中，雷达与影像数据采集模块用于在同一时间段内分别通过雷达与影像分别采集雷达数据和图像数据至少四次；检测信息获取模块用于分别获取标定目标在每个雷达数据中的检测信息(u,v)；坐标信息获取模块用于获取标定目标的中心点在每个图像数据中的坐标信息(x,y)；数据点对形成模块用于将基于同一次采集的检测信息(u,v)与坐标信息(x,y)组成一组数据点对，以形成需至少四组数据点对。
需要说明的是，本装置实施例基于上述方法实施例，本装置实施例的拓展和限定部分参见上述方法实施例即可，本实施例不再赘述。
本实施例通过对图像数据进行二值化处理，保留颜色值大于等于第一预设阈值的区域，以形成感兴趣区域；对感兴趣区域进行腐蚀和膨胀，得到感兴趣区域的边界；再获取边界的最小包围盒并将雷达数据中的所有雷达点映射至图像数据，并判断所有雷达点是否均位于最小包围盒内；若是，则判定为完成标定。本申请对标定场地环境要求不高，只要毫米波雷达能够准确识别出标定目标位置信息即可，对周围存在的距标定目标较远或移动的物体并不会干扰标定的准确性；对标定目标的形状不敏感，只对标定目标的颜色信息敏感，对标定目标的放置位置也无具体要求。且除了标定目标外，不需要其他额外设备；对时间戳同步要求不高，只要毫米波雷达和摄像头在同一时间段内采集即可；计算简便，不需要计算相机内外参数矩阵、坐标系转换等中间过程，只要得到数据点对即可直接计算出映射矩阵(即单应性矩阵)；对相机和毫米波雷达的安装位置无严格要求，只要两者能同时检测到标定目标即可。
图3展示了本申请电子设备的一个实施例，参见图3，该电子设备7包括处理器71及和处理器71耦接的存储器72。
存储器72存储有用于实现上述任一实施例的基于雷达和影像的联合标定方法的程序指令。
处理器71用于执行存储器72存储的程序指令以进行基于雷达和影像的联合标定。
其中，处理器71还可以称为CPU(Central Processing Unit，中央处理单元)。处理器71可能是一种集成电路芯片，具有信号的处理能力。处理器71还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
进一步地，图4为本申请一实施例的存储介质的结构示意图，参见图4，本申请实施例的存储介质8存储有能够实现上述所有方法的程序指令81，其中，该程序指令81可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其他的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所做的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围。
以上对发明的具体实施方式进行了详细说明，但其只作为范例，本申请并不限制于以上描述的具体实施方式。对于本领域的技术人员而言，任何对该发明进行的等同修改或替代也都在本申请的范畴之中，因此，在不脱离本申请的精神和原则范围下所作的均等变换和修改、改进等，都应涵盖在本申请的范围内。

Claims (10)

1.一种基于雷达和影像的联合标定方法，所述雷达与所述影像分别固定装设于外部的应用平台上，且所述雷达的检测端与所述影像的检测端均朝向标定目标，所述雷达与所述影像分别用于获取所述标定目标的雷达数据和图像数据，其特征在于，所述联合标定方法包括：
根据第一预设算法对所述图像数据进行二值化处理，保留颜色值大于等于第一预设阈值的区域，以形成感兴趣区域；
根据第二预设算法对所述感兴趣区域进行第一预设次数的腐蚀，形成第一图像区域；
根据第三预设算法对所述第一图像区域进行第二预设次数的膨胀，以形成第二图像区域；
获取所述第二图像区域的最小包围盒；
根据第四预设算法将所述雷达数据中的所有雷达点映射至所述图像数据，并判断所有雷达点是否均位于所述最小包围盒内；
若是，则判定为完成标定。
2.根据权利要求1所述的基于雷达和影像的联合标定方法，其特征在于，根据第一预设算法对所述图像数据进行二值化处理，保留颜色值大于等于第一预设阈值的区域，以形成感兴趣区域，包括：
获取所述图像数据的所有像素点的颜色值；
将小于等于所述第一预设阈值的颜色值调整为1；
将大于所述第一预设阈值的颜色值调整至0，形成所述感兴趣区域。
3.根据权利要求1所述的基于雷达和影像的联合标定方法，其特征在于，根据第二预设算法对所述感兴趣区域进行第一预设次数的腐蚀，形成第一图像区域，包括：
获取所述感兴趣区域并根据所述感兴趣区域的尺寸定义第一预设尺寸的第一卷积核；
通过所述第一卷积核的中心点分别所述感兴趣区域的所有像素点进行所述第一预设次数的比对；
分别判断每次比对时所述第一卷积核是否位于所述感兴趣区域内；
若有所述第一卷积核没有位于所述感兴趣区域内，则删除对应所述比对轮次的像素点；
保留所述第一卷积核位于所述感兴趣区域内的所有像素点并形成所述第一图像区域。
4.根据权利要求1所述的基于雷达和影像的联合标定方法，其特征在于，根据第三预设算法对所述第一图像区域进行第二预设次数的膨胀，以形成第二图像区域，包括：
获取所述第一图像区域并根据所述第一图像区域的尺寸定义第二预设尺寸的第二卷积核；
通过所述第二卷积核的中心点分别所述第一图像区域的所有像素点进行所述第二预设次数的比对；
分别判断每次比对时所述第二卷积核是否与第一图像区域有重叠；
若所述第二卷积核与第一图像区域有重叠，则与第一图像区域有重叠第二卷积核的中心点所对应的像素点赋予0颜色值，以形成膨胀点；
合并所有膨胀点以及所述第一图像区域，以形成所述第二图像区域。
5.根据权利要求1所述的基于雷达和影像的联合标定方法，其特征在于，根据第四预设算法将所述雷达数据中的所有雷达点映射至所述图像数据，并判断所有雷达点是否均位于所述最小包围盒内，包括：
通过所述雷达重复第三预设次数发射第一电磁波至标定目标，以得到数量与所述第三预设次数相匹配的若干个雷达点；
基于若干个雷达点根据式(1)的映射关系定义单应性矩阵H：
其中，u和v为所述标定目标的位置信息，x和y为所述标定目标在所述图像数据中的像素坐标值，H为所述单应性矩阵，且
求解所述单应性矩阵得到像素坐标系与标定目标的世界坐标系相吻合的所有雷达点；
在所述图像数据中输出所有雷达点；
判断所有雷达点是否均位于所述最小包围盒内。
6.根据权利要求5所述的基于雷达和影像的联合标定方法，其特征在于，在所述图像数据中输出所有雷达点，之后，包括：
分别判断每个雷达点是否静止；
若否，则删除非静止的雷达点，保留静止的雷达点；
判断所述静止的雷达点是否有且仅有一个；
若否，则对所有静止的雷达点进行滤波，以删除所有静止的雷达点中检测距离与所述标定目标的检测距离不匹配的离群点。
7.根据权利要求1所述的基于雷达和影像的联合标定方法，其特征在于，根据第四预设算法将所述雷达数据中的所有雷达点映射至所述图像数据，并判断所有雷达点是否均位于所述最小包围盒内，之前，包括：
在同一时间段内分别通过所述雷达与所述影像分别采集所述雷达数据和所述图像数据至少四次；
分别获取所述标定目标在每个雷达数据中的检测信息(u,v)；
获取所述标定目标的中心点在每个图像数据中的坐标信息(x,y)；
将基于同一次采集的检测信息(u,v)与所述坐标信息(x,y)组成一组数据点对，以形成需至少四组数据点对。
8.一种基于雷达和影像的联合标定装置，所述基于雷达和影像的联合标定装置应用于如权利要求1至7之一所述的基于雷达和影像的联合标定方法，其特征在于，所述基于雷达和影像的联合标定装置包括：
图像数据二值化处理模块，用于根据第一预设算法对所述图像数据进行二值化处理，保留颜色值大于等于第一预设阈值的区域，以形成感兴趣区域；
图像数据腐蚀模块，用于根据第二预设算法对所述感兴趣区域进行第一预设次数的腐蚀，形成第一图像区域；
图像数据膨胀模块，用于根据第三预设算法对所述第一图像区域进行第二预设次数的膨胀，以形成第二图像区域；
最小包围盒获取模块，用于获取所述第二图像区域的最小包围盒；
雷达点映射模块，用于根据第四预设算法将所述雷达数据中的所有雷达点映射至所述图像数据，并判断所有雷达点是否均位于所述最小包围盒内；
标定判断模块，用于若所有雷达点均位于所述最小包围盒内，则判定为完成标定。
9.一种电子设备，其特征在于，包括处理器、以及与所述处理器耦接的存储器，所述存储器存储有可被所述处理器执行的程序指令；所述处理器执行所述存储器存储的所述程序指令时实现如权利要求1至7中任一项所述的基于雷达和影像的联合标定方法。
10.一种存储介质，其特征在于，所述存储介质内存储有程序指令，所述程序指令被处理器执行时实现能够实现如权利要求1至7中任一项所述的基于雷达和影像的联合标定方法。
CN202310651500.0A 2023-06-02 2023-06-02 基于雷达和影像的联合标定方法、装置、设备及存储介质 Pending CN116679267A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310651500.0A CN116679267A (zh) 2023-06-02 2023-06-02 基于雷达和影像的联合标定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310651500.0A CN116679267A (zh) 2023-06-02 2023-06-02 基于雷达和影像的联合标定方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116679267A true CN116679267A (zh) 2023-09-01

Family

ID=87781736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310651500.0A Pending CN116679267A (zh) 2023-06-02 2023-06-02 基于雷达和影像的联合标定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116679267A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117368879A (zh) * 2023-12-04 2024-01-09 北京海兰信数据科技股份有限公司 雷达图的生成方法、装置、终端设备及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117368879A (zh) * 2023-12-04 2024-01-09 北京海兰信数据科技股份有限公司 雷达图的生成方法、装置、终端设备及可读存储介质
CN117368879B (zh) * 2023-12-04 2024-03-19 北京海兰信数据科技股份有限公司 雷达图的生成方法、装置、终端设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN109035320B (zh) 基于单目视觉的深度提取方法
CN111563923B (zh) 获得稠密深度图的方法及相关装置
CN109598765B (zh) 基于球形标定物的单目相机与毫米波雷达外参联合标定方法
CN110766758B (zh) 标定方法、装置、***及存储装置
CN109828250B (zh) 一种雷达标定方法、标定装置及终端设备
CN113447923A (zh) 目标检测方法、装置、***、电子设备及存储介质
CN112489140B (zh) 姿态测量方法
CN112270719B (zh) 相机标定方法、装置及***
CN112465877B (zh) 一种基于运动状态估计的卡尔曼滤波视觉追踪稳定方法
CN113421305A (zh) 目标检测方法、装置、***、电子设备及存储介质
CN116679267A (zh) 基于雷达和影像的联合标定方法、装置、设备及存储介质
CN114862929A (zh) 三维目标检测方法、装置、计算机可读存储介质及机器人
CN116630216A (zh) 基于雷达和影像的目标融合方法、装置、设备及存储介质
Tsai et al. Design of vision‐based indoor positioning based on embedded system
CN111336938A (zh) 一种机器人及其物体距离检测方法和装置
CN112927276B (zh) 图像配准方法、装置、电子设备及存储介质
CN116224255A (zh) 一种基于雷达数据的相机检测数据校准方法及***
CN115713564A (zh) 相机标定方法及装置
CN114415129A (zh) 基于多项式模型的视觉与毫米波雷达联合标定方法及装置
CN115037866A (zh) 成像方法、装置、设备及存储介质
CN113763457A (zh) 落差地形的标定方法、装置、电子设备和存储介质
CN117554949B (zh) 一种联动式目标接力跟踪方法和***
CN115953484B (zh) 探测设备的参数标定方法和装置、存储介质及电子装置
CN115331421B (zh) 路侧多传感环境感知方法、装置及***
CN113759363B (zh) 目标定位方法、装置、监控***和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination