CN113256734B - 一种车载感知传感器标定方法、***及电子设备 - Google Patents
一种车载感知传感器标定方法、***及电子设备 Download PDFInfo
- Publication number
- CN113256734B CN113256734B CN202110552158.XA CN202110552158A CN113256734B CN 113256734 B CN113256734 B CN 113256734B CN 202110552158 A CN202110552158 A CN 202110552158A CN 113256734 B CN113256734 B CN 113256734B
- Authority
- CN
- China
- Prior art keywords
- radar
- coordinate system
- camera
- calibration
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 113
- 238000005259 measurement Methods 0.000 claims abstract description 22
- 238000013519 translation Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000009434 installation Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本申请公开了一种车载感知传感器标定方法、***及电子设备,涉及车辆环境感知技术领域,该方法包括:对摄像头进行标定,建立摄像头投影坐标系,并以摄像头采集的标定图像的左上角为原点,建立图像坐标系;对雷达进行标定,获取雷达的第一探测误差,并建立雷达投影坐标系;基于摄像头的标定结果、以及摄像头投影坐标系分别与图像坐标系和雷达投影坐标系之间的关系,将雷达投影坐标系中任一点坐标转换到图像坐标系,作为探测坐标;基于该点的实测坐标和探测坐标,得到雷达的第二探测误差,对第一探测误差和第二探测误差进行加权求和,得到雷达的误差标定结果。本申请,通过摄像头标定结果对雷达的标定参数进行优化,可有效提高雷达的校准精度。
Description
技术领域
本申请涉及车辆环境感知技术领域,具体涉及一种车载感知传感器标定方法、***及电子设备。
背景技术
目前,随着智能驾驶技术快速发展,对车载感知传感器性能要求越来越高。车辆下线后,由于安装及测量误差等原因,导致车载感知传感器的安装存在一定误差,因此,需要对各车载传感器进行校准,而各车载传感器的标定精度及准确度是感知性能好坏的前提。
相关技术中,如毫米波雷达及单目摄像头等车载感知传感器的标定,多采用单独标定。但是,采用不同设备单独进行标定,不仅增加了车辆标定时间,对操作人员的标定技术具有一定的要求,而且雷达标定结果的准确度较低,需多次标定来保证雷达的标定精度。
发明内容
针对现有技术中存在的缺陷之一,本申请的目的在于提供一种车载感知传感器标定方法、***及电子设备,以解决相关技术中雷达标定结果的准确度较低,需多次标定来保证雷达标定精度的问题。
本申请第一方面提供一种车载感知传感器标定方法,上述车载感知传感器包括摄像头和雷达,其包括步骤:
对上述摄像头进行标定,以摄像头中心在地面的投影为原点,建立摄像头投影坐标系,并以摄像头采集的标定图像的左上角为原点,建立图像坐标系;
对上述雷达进行标定,获取雷达的第一探测误差,并以雷达中心在地面的投影为原点,建立雷达投影坐标系;
基于摄像头的标定结果、以及上述摄像头投影坐标系分别与图像坐标系和雷达投影坐标系之间的关系,将雷达投影坐标系中任一点坐标转换到图像坐标系,作为探测坐标;
基于该点的实测坐标和探测坐标,得到上述雷达的第二探测误差,对上述第一探测误差和第二探测误差进行加权求和,得到雷达的误差标定结果。
一些实施例中,对上述摄像头进行标定之前,还包括:
确定摄像头安装到位;
安装并调整标定架,至上述摄像头中心与标定架中心在同一轴线上,且标定架上的摄像头标定板中心与摄像头中心在同一垂直高度。
一些实施例中,对上述雷达进行标定,获取雷达的第一探测误差,具体包括:
分别设置雷达安装的水平角度、横摆角度和俯仰角度的预设范围、以及雷达中心点与标定架上反射板中心点连接与水平面的水平夹角阈值;
调整上述雷达的安装位置,至雷达的水平角度、横摆角度和俯仰角度均在对应的预设范围内,且雷达中心点与雷达反射板中心点的连线与水平面的夹角小于水平夹角阈值;
移动上述标定架至雷达前方一定距离处,获取上述雷达测得的雷达与标定架之间的纵向探测值;
获取上述雷达与标定架之间的纵向实测值,以上述纵向实测值和纵向探测值的差值作为纵向误差值;
移动上述标定架至雷达前方指定位置,获取上述雷达测得的雷达与标定架之间的横向探测值;
获取上述雷达与标定架之间的横向实测值,以上述横向实测值和横向探测值的差值作为横向误差值,以上述纵向误差值和横向误差值作为雷达的第一探测误差。
一些实施例中,对上述雷达进行标定,还包括:
调节标定架使标定架中心与雷达中心高度一致,横向移动上述标定架,直至雷达无法正确识别,以雷达最后一次正确识别的距离作为雷达探测的横向探测阈值,并得到雷达的横向角度阈值。
一些实施例中,对上述雷达进行标定,还包括:
调节标定架使标定架中心与雷达中心高度一致,朝远离雷达的方向移动上述标定架,直至雷达无法正确识别,以雷达最后一次正确识别的距离作为雷达探测的纵向探测阈值。
一些实施例中,上述建立摄像头投影坐标系之前还包括:
以摄像头中心为原点,建立摄像头坐标;上述摄像头坐标系的X轴为车辆前行方向,其Y轴为车辆竖直向下方向,其Z轴为摄像头光轴方向;
上述摄像头投影坐标系的X轴为车辆前行方向,其Y轴为车辆朝左方向,其Z轴为车辆竖直向上方向,上述摄像头投影坐标系与上述摄像头坐标系之间为平移和旋转关系;
上述雷达投影坐标系的X轴为车辆前行方向,其Y轴为车辆朝左方向,其Z轴为车辆竖直向上方向,上述雷达投影坐标系与摄像头投影坐标系之间为平移关系。
一些实施例中,基于摄像头的标定结果、以及上述摄像头投影坐标系分别与图像坐标系和雷达投影坐标系之间的关系,将雷达投影坐标系中任一点坐标转换到图像坐标系,具体包括:
基于摄像头的标定结果、以及小孔成像模型,确定摄像头坐标系与图像坐标系之间的关系;
基于上述摄像头投影坐标系与上述摄像头坐标系之间的平移和旋转关系,得到图像坐标系与摄像头投影坐标系之间的关系;
基于雷达投影坐标系与摄像头投影坐标系之间的平移关系、以及图像坐标系与摄像头投影坐标系之间的关系,将雷达投影坐标系中的坐标转换到图像坐标系。
本申请第二方面提供一种车载感知传感器标定***,其包括:
第一标定模块,用于分别对摄像头和雷达进行标定,并获取雷达的第一探测误差;
第一构建模块,用于以摄像头中心在地面的投影为原点,建立摄像头投影坐标系,并以摄像头采集的标定图像的左上角为原点,建立图像坐标系;
第二构建模块,用于以雷达中心在地面的投影为原点,建立雷达投影坐标系;
坐标转换模块,用于基于上述摄像头投影坐标系分别与图像坐标系和雷达投影坐标系之间的关系,将雷达投影坐标系中任一点坐标转换到图像坐标系,作为探测坐标;
第二标定模块,用于基于该点的实测坐标和探测坐标,得到上述雷达的第二探测误差,并对上述第一探测误差和第二探测误差进行加权求和,得到雷达的误差标定结果。
一些实施例中,上述***还包括标定架,上述标定架上安装有摄像头标定板和雷达反射板;
上述第一标定模块用于利用标定架对摄像头和雷达进行标定。
本申请第三方面提供一种用于车载感知传感器标定的电子设备,包括处理器和存储器,上述处理器执行上述存储器中的代码实现上述的方法。
本申请提供的技术方案带来的有益效果包括:
本申请的车载感知传感器标定方法及装置,由于对摄像头和雷达进行标定,并获取雷达的第一探测误差后,可分别建立摄像头投影坐标系、图像坐标系、以及雷达投影坐标系,并分别获取摄像头投影坐标系与图像坐标系和雷达投影坐标系之间的关系,然后,将雷达投影坐标系中任一点坐标转换到图像坐标系,作为探测坐标,基于该点的实测坐标和探测坐标,得到雷达的第二探测误差,即可对第一探测误差和第二探测误差进行加权求和,得到雷达的误差标定结果;因此,通过摄像头标定结果对雷达的标定参数进行优化,可有效提高雷达的校准精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例中车载感知传感器标定方法的流程图;
图2为本申请实施例中各坐标系空间关系示意图;
图3为图1中步骤S3的详细流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本申请实施例提供了一种车载感知传感器标定方法、***及电子设备,其能解决相关技术中雷达标定结果的准确度较低,需多次标定来保证雷达标定精度的问题。
本实施例的车载感知传感器包括摄像头和雷达。可选地,摄像头为单目摄像头,雷达为毫米波雷达。
如图1所示,本实施例的车载感知传感器标定方法,包括以下步骤:
S1.对上述摄像头进行标定,以摄像头中心在地面的投影为原点,建立摄像头投影坐标系,并以摄像头采集的标定图像的左上角为原点,建立图像坐标系。
S2.对上述雷达进行标定,获取雷达的第一探测误差,并以雷达中心在地面的投影为原点,建立雷达投影坐标系。
S3.基于摄像头的标定结果、以及上述摄像头投影坐标系分别与图像坐标系和雷达投影坐标系之间的关系,将雷达投影坐标系中任一点坐标转换到图像坐标系,作为探测坐标。
S4.基于该点的实测坐标和探测坐标,得到上述雷达的第二探测误差,对上述第一探测误差和第二探测误差进行加权求和,得到雷达的误差标定结果。
本实施例的标定方法,由于对摄像头和雷达进行标定,并获取雷达的第一探测误差后,可分别建立摄像头投影坐标系、图像坐标系、以及雷达投影坐标系,并分别获取摄像头投影坐标系与图像坐标系和雷达投影坐标系之间的关系,然后,将雷达投影坐标系中任一点坐标转换到图像坐标系,作为探测坐标,基于该点的实测坐标和探测坐标,得到雷达的第二探测误差,即可对第一探测误差和第二探测误差进行加权求和,得到雷达的误差标定结果;因此,通过摄像头标定结果对雷达的标定参数进行优化,可有效提高雷达的校准精度。
在上述实施例中的基础上,本实施例中,对上述摄像头进行标定之前,还包括以下步骤:
首先,安装摄像头,并确定摄像头安装到位。其中,如摄像头未装配到位,则需要重新安装摄像头。
然后,安装并调整标定架,至上述摄像头中心与标定架中心在同一轴线上,且标定架上的摄像头标定板中心与摄像头中心在同一垂直高度。摄像头中心即摄像头的镜头中心。
随后,即可通过计算机设备及CAN总线完成摄像头的标定。
可选地,在雷达标定前,车辆需要进行四轮定位以保证车辆姿态。完成车辆姿态确认后,将标定架移至车辆正前方,利用水平仪保证标定架水平,随后使用标定架左右两侧的激光水平仪找到车辆中心轴线,使之与标定架轴线垂直,即垂直于车辆前进方向,保证车辆前进轴线与标定架的轴线重合。
进一步地,上述步骤S2中,对上述雷达进行标定,获取雷达的第一探测误差,具体包括以下步骤:
首先,分别设置雷达安装的水平角度、横摆角度和俯仰角度的预设范围、以及雷达中心点与标定架上反射板中心点的连线与水平面夹角的水平夹角阈值。
然后,调整上述雷达的安装位置,至雷达的水平角度、横摆角度和俯仰角度均在对应的预设范围内,且雷达中心点与雷达反射板中心点的连线与水平面的夹角小于水平夹角阈值,表明雷达已正确安装。
具体地,先对雷达进行垂直方向标定,即利用水平仪检查雷达的水平角度是否在水平角度的预设范围,检查雷达的横摆角度是否在横摆角度的预设范围,以及检查雷达的俯仰角度是否在俯仰角度的预设范围;若雷达的水平角度、横摆角度和俯仰角度均在对应的预设范围内,则表明雷达垂直方向已安装到位,若有任一角度超出其预设范围,则需要调整雷达安装螺栓,以保证雷达垂直方向安装到位。
随后可对雷达进行水平方向标定,即将标定架放在雷达正前方指定位置处,使标定架上的雷达反射板中心与雷达前表面中心的连线与车辆前进方向的轴线重合,调节雷达反射板使反射板中心至地面的高度与雷达中心高度一致。本实施例中,雷达通过CAN总线分别连接计算机设备及整车OBD(On-Board Diagnostic,车载诊断***)接口,通过雷达标定程序读取雷达中心点与反射板中心点之间的纵向距离A和横向距离B,以得到雷达中心点与反射板中心点连线与水平面之间的水平夹角θ1,其中,θ1=tan-1(B/A)。
比较水平夹角θ1与水平夹角阈值θ之间大小,当θ1小于θ时,表明雷达水平方向安装到位;当θ1大于或等于θ时,表明雷达水平方向未安装到位,需要重新进行水平矫正,直至θ1小于θ。
最后,可对雷达进行纵向距离精度标定和横向距离精度标定,以得到雷达的第一探测误差。
该获取第一探测误差具体包括以下步骤:
首先,移动上述标定架至雷达前方一定距离处,获取上述雷达测得的雷达与标定架之间的纵向探测值。
其次,获取上述雷达与标定架之间的纵向实测值,以上述纵向实测值和纵向探测值的差值作为纵向误差值。
具体地,纵向误差值Δd1=d1-d2,其中d1为雷达与标定架之间的纵向实测值,d2为雷达与标定架之间的纵向探测值。
可选地,为了得到更为准确的误差值,可移动标定架至雷达前方不同位置,以获取多组纵向探测值和纵向实测值,计算多个纵向误差值,并以多个纵向误差值的平均值作为标定的纵向误差值。
然后,移动上述标定架至雷达前方指定位置,获取上述雷达测得的雷达与标定架之间的横向探测值。
最后,获取上述雷达与标定架之间的横向实测值,以上述横向实测值和横向探测值的差值作为横向误差值。
具体地,横向误差值Δs1=s1-s2,其中s1为雷达与标定架之间的横向实测值,s2为雷达与标定架之间的横向探测值。
可选地,为了得到更为准确的误差值,可移动标定架至雷达前方不同指定位置,以获取多组横向探测值和横向实测值,计算多个横向误差值,并以多个横向误差值的平均值作为标定的横向误差值。
本实施例中,上述纵向误差值Δd1和横向误差值Δs1即为雷达的第一探测误差。
进一步地,对上述雷达进行标定,还包括对雷达进行横向探测范围标定,具体包括以下步骤:
调节标定架使标定架中心与雷达中心高度一致,横向移动上述标定架,直至雷达无法正确识别,以雷达最后一次正确识别的距离作为雷达探测的横向探测阈值,并得到雷达的横向角度阈值。其中,雷达中心即雷达前表面中心。
进一步地,对上述雷达进行标定,还包括对雷达进行纵向探测范围标定,具体包括以下步骤:
调节标定架使标定架中心与雷达中心高度一致,朝远离雷达的方向移动上述标定架,直至雷达无法正确识别,以雷达最后一次正确识别的距离作为雷达探测的纵向探测阈值。
具体地,将标定架设置在雷达前方一定位置处,并确定雷达可准确探测识别到该处。然后每次朝远离雷达的方向移动标定架0.1m,并通过雷达标定程序确认雷达是否能准确探测识别,直至雷达无法正确识别,以该雷达最后一次正确识别的距离作为雷达探测的纵向探测阈值。
如图2所示,本实施例中,上述建立摄像头投影坐标系之前还包括以下步骤:
以摄像头中心为原点,建立摄像头坐标Oc-xcyczc;上述摄像头坐标系的X轴为车辆前行方向,其Y轴为车辆竖直向下方向,其Z轴为摄像头光轴方向。
上述图像坐标系Op-xpypzp,其X轴为车辆前行方向,其Y轴为车辆竖直向下方向,其Z轴根据空间坐标系右手法则确定。
上述摄像头投影坐标系的X轴为车辆前行方向,其Y轴为车辆朝左方向(驾驶员朝左方向),其Z轴为车辆竖直向上方向,上述摄像头投影坐标系与上述摄像头坐标系之间为平移和旋转关系;
以雷达中心在地面的投影为原点的雷达投影坐标系,其X轴为车辆前行方向,其Y轴为车辆朝左方向,其Z轴为车辆竖直向上方向,上述雷达投影坐标系与摄像头投影坐标系之间为平移关系。
如图3所示,本实施例中,上述步骤S3中,基于摄像头的标定结果、以及上述摄像头投影坐标系分别与图像坐标系和雷达投影坐标系之间的关系,将雷达投影坐标系中任一点坐标转换到图像坐标系,作为探测坐标,具体包括以下步骤:
S31.基于摄像头的标定结果、以及小孔成像模型,确定摄像头坐标系与图像坐标系之间的关系。
S32.基于上述摄像头投影坐标系与上述摄像头坐标系之间的平移和旋转关系,得到图像坐标系与摄像头投影坐标系之间的关系。
S33.基于上述雷达投影坐标系与摄像头投影坐标系之间的平移关系、以及图像坐标系与摄像头投影坐标系之间的关系,将雷达投影坐标系中的坐标转换到图像坐标系,作为探测坐标。
具体地,上述雷达和摄像头分别单独标定时雷达探测面的法向量和摄像头光轴分别与车身纵向对称面平行。因此,雷达投影坐标系Orw-xrwyrwzrw与摄像头投影坐标系Ocw-xcwycwzcw是空间中平行的两个坐标系。
上述摄像头坐标系与图像坐标系之间的关系如下:
a=xczc=xp-c(x)f(x)
b=yczc-yp-c(y)f(y)
其中,c(x)和c(y)为摄像头的光轴偏移量;f(x)和f(y)为摄像头的焦距,均为通过上述摄像头标定获得的摄像头内参数。
基于上述摄像头投影坐标系与上述摄像头坐标系之间的平移和旋转关系,可以得到二者之间的坐标转换公式如下:
xcyczc=-d-sinθ-cosθcosφsinθxcwycwzcw+Hcosθsinθ
其中,φ为雷达的横向角度阈值,θ为上述水平夹角阈值,H为摄像头安装高度。
由于地面是平面,且目标在地面上,即目标在摄像头投影坐标系当中有zcw=0,进而得到图像坐标系到摄像头投影坐标系之间的转换公式:
xcw=aycwcosθ+aHsinθ
ycw=H(cosθ-bsinθ)+sinθ
基于之前的雷达与摄像头的标定,雷达投影坐标系和摄像头投影坐标系的相互转换主要是平移实现,可以得到:
xcw=xcw-lx
ycw=yrw+ly
其中,lx为雷达投影坐标系X轴与摄像头投影坐标系X轴之间的距离,ly为雷达投影坐标系Y轴与摄像头投影坐标系Y轴之间的距离,可通过测量得到。
通过上述各关系,可得到雷达投影坐标系中的坐标到图像坐标系中的转换如下:
xp=c(x)+(xrw-lx)f(x)Hsinθ+(yrw+ly)cosθ
yp=c(y)+[Hcosθ-(yrw+ly)sinθ]f(y)Hsinθ+(yrw+ly)cosθ
即得到该点的探测坐标(xp,yp),再基于该点的实测坐标,可得到雷达的第二探测误差(Δd2,Δs2)。
将上述第一探测误差(Δd1,Δs1)与上述第二探测误差(Δd2,Δs2)与进行加权求和,即分别将Δd1与Δd2进行加权求和,将Δs1与Δs2进行加权求和。利用摄像头标定的结果对雷达标定结果进行优化,以对雷达的纵向和横向精度进行优化,即可将标定结果进行保存,完成标定。
本实施例中,第一探测误差和第二探测误差的权重可基于实车的台架试验或标定要求进行设置。
本申请实施例的车载感知传感器标定***包括第一标定模块、第一构建模块、第二构建模块、坐标转换模块和第二标定模块。
上述第一标定模块用于分别对摄像头和雷达进行标定,并获取雷达的第一探测误差。
上述第一构建模块用于以摄像头中心在地面的投影为原点,建立摄像头投影坐标系,上述第一构建模块还用于以摄像头采集的标定图像的左上角为原点,建立图像坐标系。
上述第二构建模块用于以雷达中心在地面的投影为原点,建立雷达投影坐标系。
上述坐标转换模块用于基于上述摄像头投影坐标系分别与图像坐标系和雷达投影坐标系之间的关系,将雷达投影坐标系中任一点坐标转换到图像坐标系,作为雷达的探测坐标。
上述第二标定模块用于基于该点的实测坐标和探测坐标,得到上述雷达的第二探测误差,第二标定模块还用于对所述第一探测误差和第二探测误差进行加权求和,得到雷达的误差标定结果。
本实施例中,上述***还包括标定架,上述标定架上安装有摄像头标定板和雷达反射板,摄像头标定板和雷达反射板可随标定架的、进行前后左右移动;雷达反射板表面可反射毫米雷达波。上述第一标定模块用于利用标定架对摄像头和雷达进行标定。
可选地,雷达反射板采用金属玻璃制成,雷达反射板中心应与雷达前表面中心等高。
本实施例的***还包括标定用工具,如螺丝刀、激光笔等。
优选地,毫米波雷达可固定安装在车辆前保险杠或前防撞梁上,并与整车CAN通讯;单目摄像头可安装在前挡风玻璃内侧,通过CAN总线分别与整车和毫米波雷达进行通讯。
计算机设备包含有雷达标定和单目摄像头标定程序,并通过CAN总线分别与毫米波雷达和单目摄像头连接,通过计算机设备的雷达和摄像头标定程序进行雷达和摄像头标定,并通过显示界面显示用户标定结果,同时利用一套可视化的人机交互界面,可满足用户的感知需求。
本申请实施例的用于车载感知传感器标定的电子设备包括处理器和存储器,上述处理器执行上述存储器中的代码实现上述的方法。
具体地,上述处理器执行上述存储器中的代码实现如下车载感知传感器标定方法:
对上述摄像头进行标定,以摄像头中心在地面的投影为原点,建立摄像头投影坐标系,并以摄像头采集的标定图像的左上角为原点,建立图像坐标系;
对上述雷达进行标定,获取雷达的第一探测误差,并以雷达中心在地面的投影为原点,建立雷达投影坐标系;
基于摄像头的标定结果、以及上述摄像头投影坐标系分别与图像坐标系和雷达投影坐标系之间的关系,将雷达投影坐标系中任一点坐标转换到图像坐标系,作为探测坐标;
基于该点的实测坐标和探测坐标,得到上述雷达的第二探测误差,对上述第一探测误差和第二探测误差进行加权求和,得到雷达的误差标定结果。
进一步地,上述处理器执行上述存储器中的代码还可还实现如下操作:
基于摄像头的标定结果、以及小孔成像模型,确定摄像头坐标系与图像坐标系之间的关系;
基于所述摄像头投影坐标系与所述摄像头坐标系之间的平移和旋转关系,得到图像坐标系与摄像头投影坐标系之间的关系;
基于雷达投影坐标系与摄像头投影坐标系之间的平移关系、以及图像坐标系与摄像头投影坐标系之间的关系,将雷达投影坐标系中的坐标转换到图像坐标系。
优选地,上述处理器执行上述存储器中的代码还可实现前述车载感知传感器标定方法中的其他步骤。
本实施例的标定***,适用于上述各标定方法,可在一个标定工位采用一套设备实现雷达和摄像头的标定,适用范围广,且可通过摄像头的标定结果对雷达的标定参数进行优化,以有效提高雷达的校准精度。
本申请不局限于上述实施方式,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围之内。
Claims (9)
1.一种车载感知传感器标定方法,其特征在于,所述车载感知传感器包括摄像头和雷达,其包括步骤:
对所述摄像头进行标定,以摄像头中心在地面的投影为原点,建立摄像头投影坐标系,并以摄像头采集的标定图像的左上角为原点,建立图像坐标系;
对所述雷达进行标定,获取雷达的第一探测误差,并以雷达中心在地面的投影为原点,建立雷达投影坐标系;
基于摄像头的标定结果、以及所述摄像头投影坐标系分别与图像坐标系和雷达投影坐标系之间的关系,将雷达投影坐标系中任一点坐标转换到图像坐标系,作为探测坐标;
基于该点的实测坐标和探测坐标,得到所述雷达的第二探测误差,对所述第一探测误差和第二探测误差进行加权求和,得到雷达的误差标定结果;
对所述雷达进行标定,获取雷达的第一探测误差,具体包括:
分别设置雷达安装的水平角度、横摆角度和俯仰角度的预设范围、以及雷达中心点与标定架上反射板中心点连接与水平面的水平夹角阈值;
调整所述雷达的安装位置,至雷达的水平角度、横摆角度和俯仰角度均在对应的预设范围内,且雷达中心点与雷达反射板中心点的连线与水平面的夹角小于水平夹角阈值;
移动所述标定架至雷达前方一定距离处,获取所述雷达测得的雷达与标定架之间的纵向探测值;
获取所述雷达与标定架之间的纵向实测值,以所述纵向实测值和纵向探测值的差值作为纵向误差值;
移动所述标定架至雷达前方指定位置,获取所述雷达测得的雷达与标定架之间的横向探测值;
获取所述雷达与标定架之间的横向实测值,以所述横向实测值和横向探测值的差值作为横向误差值,以所述纵向误差值和横向误差值作为雷达的第一探测误差。
2.如权利要求1所述的车载感知传感器标定方法,其特征在于,对所述摄像头进行标定之前,还包括:
确定摄像头安装到位;
安装并调整标定架,至所述摄像头中心与标定架中心在同一轴线上,且标定架上的摄像头标定板中心与摄像头中心在同一垂直高度。
3.如权利要求1所述的车载感知传感器标定方法,其特征在于,对所述雷达进行标定,还包括:
调节标定架使标定架中心与雷达中心高度一致,横向移动所述标定架,直至雷达无法正确识别,以雷达最后一次正确识别的距离作为雷达探测的横向探测阈值,并得到雷达的横向角度阈值。
4.如权利要求3所述的车载感知传感器标定方法,其特征在于,对所述雷达进行标定,还包括:
调节标定架使标定架中心与雷达中心高度一致,朝远离雷达的方向移动所述标定架,直至雷达无法正确识别,以雷达最后一次正确识别的距离作为雷达探测的纵向探测阈值。
5.如权利要求1所述的车载感知传感器标定方法,其特征在于,所述建立摄像头投影坐标系之前还包括:
以摄像头中心为原点,建立摄像头坐标;所述摄像头坐标系的X轴为车辆前行方向,其Y轴为车辆竖直向下方向,其Z轴为摄像头光轴方向;
所述摄像头投影坐标系的X轴为车辆前行方向,其Y轴为车辆朝左方向,其Z轴为车辆竖直向上方向,所述摄像头投影坐标系与所述摄像头坐标系之间为平移和旋转关系;
所述雷达投影坐标系的X轴为车辆前行方向,其Y轴为车辆朝左方向,其Z轴为车辆竖直向上方向,所述雷达投影坐标系与摄像头投影坐标系之间为平移关系。
6.如权利要求5所述的车载感知传感器标定方法,其特征在于,基于摄像头的标定结果、以及所述摄像头投影坐标系分别与图像坐标系和雷达投影坐标系之间的关系,将雷达投影坐标系中任一点坐标转换到图像坐标系,具体包括:
基于摄像头的标定结果、以及小孔成像模型,确定摄像头坐标系与图像坐标系之间的关系;
基于所述摄像头投影坐标系与所述摄像头坐标系之间的平移和旋转关系,得到图像坐标系与摄像头投影坐标系之间的关系;
基于雷达投影坐标系与摄像头投影坐标系之间的平移关系、以及图像坐标系与摄像头投影坐标系之间的关系,将雷达投影坐标系中的坐标转换到图像坐标系。
7.一种车载感知传感器标定***,采用如权利要求1所述的车载感知传感器标定方法,其特征在于,其包括:
第一标定模块,用于分别对摄像头和雷达进行标定,并获取雷达的第一探测误差;
第一构建模块,用于以摄像头中心在地面的投影为原点,建立摄像头投影坐标系,并以摄像头采集的标定图像的左上角为原点,建立图像坐标系;
第二构建模块,用于以雷达中心在地面的投影为原点,建立雷达投影坐标系;
坐标转换模块,用于基于所述摄像头投影坐标系分别与图像坐标系和雷达投影坐标系之间的关系,将雷达投影坐标系中任一点坐标转换到图像坐标系,作为探测坐标;
第二标定模块,用于基于该点的实测坐标和探测坐标,得到所述雷达的第二探测误差,并对所述第一探测误差和第二探测误差进行加权求和,得到雷达的误差标定结果。
8.如权利要求7所述的车载感知传感器标定***,其特征在于:所述***还包括标定架,所述标定架上安装有摄像头标定板和雷达反射板;
所述第一标定模块用于利用标定架对摄像头和雷达进行标定。
9.一种用于车载感知传感器标定的电子设备,其特征在于,包括处理器和存储器,所述处理器执行所述存储器中的代码实现如权利要求1至6任一项权利要求所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110552158.XA CN113256734B (zh) | 2021-05-20 | 2021-05-20 | 一种车载感知传感器标定方法、***及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110552158.XA CN113256734B (zh) | 2021-05-20 | 2021-05-20 | 一种车载感知传感器标定方法、***及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113256734A CN113256734A (zh) | 2021-08-13 |
CN113256734B true CN113256734B (zh) | 2023-05-09 |
Family
ID=77183124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110552158.XA Active CN113256734B (zh) | 2021-05-20 | 2021-05-20 | 一种车载感知传感器标定方法、***及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113256734B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115201796B (zh) * | 2022-07-26 | 2024-04-30 | 白犀牛智达(北京)科技有限公司 | 一种车辆传感器的外参校正方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3477334A1 (en) * | 2017-10-24 | 2019-05-01 | Veoneer Sweden AB | Automatic radar sensor calibration |
US10726579B1 (en) * | 2019-11-13 | 2020-07-28 | Honda Motor Co., Ltd. | LiDAR-camera calibration |
CN112541953A (zh) * | 2020-12-29 | 2021-03-23 | 江苏航天大为科技股份有限公司 | 一种基于雷达信号和视频同步坐标映射的车辆检测方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109061610A (zh) * | 2018-09-11 | 2018-12-21 | 杭州电子科技大学 | 一种摄像头与雷达的联合标定方法 |
CN109949371A (zh) * | 2019-03-18 | 2019-06-28 | 北京智行者科技有限公司 | 一种用于激光雷达和相机数据的标定方法 |
CN110310339B (zh) * | 2019-07-04 | 2021-05-04 | 厦门金龙联合汽车工业有限公司 | 一种标定装置及一种雷达与摄像头联合标定方法及*** |
CN112558023B (zh) * | 2019-09-25 | 2024-03-26 | 华为技术有限公司 | 传感器的标定方法和装置 |
CN112070841A (zh) * | 2020-07-01 | 2020-12-11 | 北京中科原动力科技有限公司 | 一种毫米波雷达与摄像头快速联合标定方法 |
-
2021
- 2021-05-20 CN CN202110552158.XA patent/CN113256734B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3477334A1 (en) * | 2017-10-24 | 2019-05-01 | Veoneer Sweden AB | Automatic radar sensor calibration |
US10726579B1 (en) * | 2019-11-13 | 2020-07-28 | Honda Motor Co., Ltd. | LiDAR-camera calibration |
CN112541953A (zh) * | 2020-12-29 | 2021-03-23 | 江苏航天大为科技股份有限公司 | 一种基于雷达信号和视频同步坐标映射的车辆检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113256734A (zh) | 2021-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102506943B1 (ko) | 차량 레이더 검사 시스템 및 그 방법 | |
US20070009149A1 (en) | Method and device for the contactless optical determination of the 3D position of an object | |
CN110907905A (zh) | 一种毫米波雷达安装位置的标定装置及方法 | |
CN112284416B (zh) | 一种自动驾驶定位信息校准装置、方法及存储介质 | |
CN111256592B (zh) | 结构光传感器的外参标定装置及方法 | |
CN112363130B (zh) | 车载传感器标定方法、存储介质及*** | |
CN215526103U (zh) | 车载雷达标定*** | |
CN112684432A (zh) | 激光雷达标定方法、装置、设备及存储介质 | |
EP4119977A1 (en) | Method and apparatus for calibrating a vehicle-mounted lidar, vehicle and storage medium | |
US20230281873A1 (en) | Method for calibrating a portable reference sensor system, portable reference sensor system and use of the portable reference sensor system | |
CN113256734B (zh) | 一种车载感知传感器标定方法、***及电子设备 | |
CN113567964A (zh) | 激光雷达自动测试方法及装置、*** | |
CN111105465B (zh) | 一种摄像装置校准方法、装置、***电子设备及存储介质 | |
CN109712198B (zh) | 一种高级驾驶辅助***的标定方法 | |
CN111538008A (zh) | 变换矩阵确定方法、***及装置 | |
CN105571491A (zh) | 基于双目视觉的汽车底盘数据测量***及其方法 | |
CN111879261A (zh) | 一种相机组件、车轮定位***以及车轮定位方法 | |
CN215867088U (zh) | 一种标定毫米波雷达的***及交通工具 | |
CN115861444A (zh) | 一种基于立体靶标的视觉传感器外参标定方法 | |
CN113744342B (zh) | 一种单目相机外参标定***及方法 | |
CN114814865A (zh) | 用于车辆测距的方法和***、车辆及程序产品 | |
CN111141252B (zh) | 一种单目标定测距的方法及*** | |
CN114720951A (zh) | 一种车载毫米波雷达与摄像头航向角联合标定方法 | |
CN114119771A (zh) | 一种毫米波雷达和相机联合标定方法 | |
CN109029438B (zh) | 一种在有限区域内的车辆定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220124 Address after: 430000 No. n3010, 3rd floor, R & D building, building n, Artificial Intelligence Science Park, Wuhan Economic and Technological Development Zone, Hubei Province Applicant after: Lantu Automobile Technology Co.,Ltd. Address before: 430056 No. 1 Dongfeng Avenue, Wuhan economic and Technological Development Zone, Hubei, Wuhan Applicant before: Dongfeng Motor GROUP Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |