CN113096187A - 一种车辆与障碍物相对位置自动获取方法 - Google Patents

一种车辆与障碍物相对位置自动获取方法 Download PDF

Info

Publication number
CN113096187A
CN113096187A CN202110487005.1A CN202110487005A CN113096187A CN 113096187 A CN113096187 A CN 113096187A CN 202110487005 A CN202110487005 A CN 202110487005A CN 113096187 A CN113096187 A CN 113096187A
Authority
CN
China
Prior art keywords
vehicle
coordinate system
calibration
sphere
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110487005.1A
Other languages
English (en)
Other versions
CN113096187B (zh
Inventor
周奎
丁松
付勇智
张友兵
杨亚会
张宇丰
刘瀚文
赵毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Automotive Technology
Original Assignee
Hubei University of Automotive Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Automotive Technology filed Critical Hubei University of Automotive Technology
Priority to CN202110487005.1A priority Critical patent/CN113096187B/zh
Publication of CN113096187A publication Critical patent/CN113096187A/zh
Application granted granted Critical
Publication of CN113096187B publication Critical patent/CN113096187B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种车辆与障碍物相对位置自动获取的方法，是在车载激光雷达标定场正中间位置的上方摄像头，在标定场场地两个对角处分别布置球体特征标定物，检测出标定场内的球体特征标定物的球心的世界坐标，并检测待获取标定车辆外轮廓，计算出车辆外轮廓的外接矩形并获取该外接矩形正中心的世界坐标，以车辆外轮廓的外接矩形的正中心为车体坐标系原点，将车体坐标系的X轴、Y轴设置为分别与车辆外轮廓的外接矩形的两条边平行，通过车体坐标系与世界坐标系的旋转平移转系，最终计算出球体特征标定物的球心在车体坐标系中的坐标。本发明能够自动获取车***姿及其与障碍物的相对位置关系，降低了标定激光雷达时对车辆摆放位姿的要求，提高了激光雷达标定效率与精度。

Description

一种车辆与障碍物相对位置自动获取方法
技术领域
本发明涉及自动驾驶和智能网联汽车技术领域，特别是传感器标定领域,具体涉及一种车辆与障碍物相对位置自动获取方法。
背景技术
智能网联汽车或自动驾驶汽车的车载激光雷达标定往往在特定场景完成，标定车载传感器是智能网联汽车或自动驾驶汽车开发测试的前序步骤，目前在标定智能网联汽车车载激光雷达时，通常会在标定场景中布置特征标定物用于标定，由于车体坐标系位置及坐标系原点位置固定，对车辆停放的位姿有严格的要求，这就导致标定车辆的停放难度较大，降低了标定精度，甚至导致标定失败，极大影响了车载激光雷达的标定效率。由于标定场景及特征标志物位置固定，则需要保证在进行激光雷达标定时按规定的位姿进行停放，进而才能保证预先存储的特定标定物与车体的相对位置关系的有效性；目前做法是在摆放车辆时通常由人手工操作，缺乏标准化和自动化的获取车体与特征标定物相对位置关系的方式，手工调整车辆位姿，效率低，难度高，且标定结果的精度存在一定的不确定性，甚至导致标定失败的情况发生。
发明内容
本发明的目的在于提供一种车辆与障碍物相对位置自动获取方法，以解决目前智能网联汽车或自动驾驶汽车的车载激光雷达在特定场景中进行标定的过程中，缺乏标准化和自动化的获取车体与特征标定物相对位置关系的方式，车体摆放难度较高，车载激光雷达的标定效率和标定精度较低，易导致标定失败等技术问题。
为解决上述技术问题，本发明提供的一种车辆与障碍物相对位置自动获取方法，是在车载激光雷达标定场正中间位置的上方设置用于获取标定场内状态的摄像头，在标定场场地两个对角处分别布置球体特征标定物，然后检测出标定场内的球体特征标定物的球心的世界坐标，并检测待获取标定车辆外轮廓，接着计算出车辆外轮廓的外接矩形并获取该外接矩形正中心的世界坐标，再以车辆外轮廓的外接矩形的正中心为车体坐标系原点，将车体坐标系的X轴、Y轴设置为分别与车辆外轮廓的外接矩形的两条边平行，再通过车体坐标系与世界坐标系的旋转平移关系，最终计算出球体特征标定物的球心在车体坐标系中的坐标。
优选的，车辆与障碍物相对位置自动获取方法具体包括以下步骤：
(1)在车辆车载激光雷达标定场地的两个对角处各布置一组球体特征标定物，且每组球体特征标定物是由呈正三角形分布的三个表面为高哑光的球体构成；
(2)将摄像头置于车载激光雷达标定场地的正中间上方，摄像头的高度需保证其拥有完整、清晰的标定场地的视野，并使摄像头成像平面与标定场地的平面保持水平，再将车辆停放于标定场地正中间区域内且保证车头航向角在0°-180°之间；
(3)对置于车辆车载激光雷达标定场地正中间上方的摄像头的内参矩阵及外参矩阵进行标定，并将摄像头的内、外参矩阵存储于标定运算计算机中；
(4)载入并保存一张标定车辆未进入标定场地时的图像并对该图像进行灰度化处理，对得到的灰度图进行高斯滤波与平滑处理，然后检测经高斯滤波与平滑处理后的图像中的圆，提取出圆心坐标即球心在二维像素坐标系下的坐标，接着将球心在二维像素坐标系下的坐标转换到世界坐标系下，得出球心在世界坐标系下的坐标(二维坐标)并存储于标定计算机中；
(5)载入待标定车辆未进入标定场时的图像获取球体球心的世界坐标(二维坐标)的同时，通过混合高斯模型对经上述步骤(4)中高斯滤波与平滑处理后的图像进行背景建模并存储建模结果，即背景图像；
(6)在保证车头航向角在0°-180°内的前提下，将车辆以任意位姿停放在标定场内，获取并载入待标定车辆进入标定场后的当前景帧图像；
(7)获取并载入车辆停放在标定场内的当前景帧图像Pvehicle，再将当前景帧图像Pvehicle进行高斯滤波处理后与预先存储于标定计算机中的背景帧图像Pempty作为输入，使用背景差分法对图像进行处理，计算出与背景偏离超过一定阈值的像素区域作为待标定车辆在图像中的所在区域，获取一张仅包含待标定车辆的前景像素图；
(8)对上述步骤(7)中所获得的前景像素图进行二值化和高斯滤波与平滑处理，然后检测待获取标定车辆的外轮廓信息，提取车辆外轮廓中处于最***的两个对角点并获取其在像素坐标系下的坐标，以这两个对角点构造待标定车辆外轮廓的外接矩形；
(9)以上述步骤(8)中构造的外接矩形的几何中心点为车体坐标系的原点，将车体坐标系的原点设置在高于地面且能保证摄像头具有覆盖整个标定场地的清晰视野的平面上，从车体坐标系的原点分别向外接矩形的两条边作垂线，获取垂线与外接矩形的边的交点在像素坐标系中的坐标；
(10)通过像素坐标系下和世界坐标系下的坐标转换公式分别计算得到上述步骤(9)中车体坐标系的原点、垂线与外接矩形的边的交点在世界坐标系中的坐标，再计算出车体此时的航向角(即车体坐标系相对于世界坐标系的旋转角度)；
(11)最后计算出球体特征标定物的球心在车体坐标系下的坐标。
优选的，所述步骤(1)中每个球体的半径为0.6m，每组球体特征标定物中相邻球体的球心之间距离为2.2m，将每组球体特征标定物的正中心置于车体坐标系原点8-10m的距离处。
优选的，所述步骤(3)是利用张正友棋盘格标定法对置于标定场的正中间位置上方的摄像头的内参矩阵及外参矩阵进行标定；且像素坐标系下和世界坐标系下的坐标转换公式为：
Figure BDA0003050801920000041
u，v为某点在像素坐标系中的坐标，Xw,Yw,Zw为该点在世界坐标系中的坐标，K为摄像头的内参矩阵，R、T为摄像头的外参矩阵。
优选的，所述步骤(4)是使用OpenCV中的函数cvLoadImage()载入并保存一张标定车辆未进入标定场时的图像；
所述步骤(4)是通过cvtColor()函数对该图像进行灰度化处理；
所述步骤(4)是利用霍夫梯度法检测经高斯滤波与平滑处理后的图像中的圆；
所述步骤(4)是通过OpenCV中的椭圆拟合函数fitEllipse()输出所有圆的圆心坐标，表示为矩阵Ocam：
Figure BDA0003050801920000042
(u1,v1)..(u6,v6)分别代表两组球体特征标定物中六个球体的球心在像素坐标系下的坐标，球心在世界坐标系下的坐标表示为Oword：
Figure BDA0003050801920000043
(xw1,yw1)..(xw6,yw6)为球体特征标定物中六个球体的球心在二维世界坐标系下的横、纵坐标，r为球体半径。
优选的，所述步骤(5)是利用OpenCV中的混合高斯背景模型构建函数BackgroundSubtraatorMOG()对经所述步骤(4)中高斯滤波与平滑处理后的图像进行背景建模。
优选的，所述步骤(8)是使用Canny算法检测待获取标定车辆的外轮廓信息。
优选的，所述步骤(10)计算车体此时航向角θ的计算公式为：
Figure BDA0003050801920000051
此时各个球体的球心在车体坐标系下的坐标计算公式为：
Figure BDA0003050801920000052
其中，(x,y)为球心在二维世界坐标系下的坐标，则该球心在车体坐标系下的坐标为(x',y',r-k)，r为球体半径，k为车体坐标系XY平面距离地面的距离，r-k为球心在车体坐标系中Z轴上的坐标。
优选的，所述步骤(11)是通过所述公式(2)和公式(3)计算球体特征标定物的球心在车体坐标系下的坐标，所有球体特征标定物的球心在车体坐标系下的纵坐标均为k-r，球体特征标定物的球心在车体坐标系下的坐标集合表示为Ovehicle：
Figure BDA0003050801920000053
(xV1,yV1,zV1)..(xV6,yV6,zV6)为两组球体特征标定物中六个球体的球心在车体坐标系下的坐标。
优选的，所述车载激光雷达的标定场景为静态场景。
采用上述技术方案，本发明具有如下有益效果：
本发明车辆与障碍物相对位置自动获取方法构思合理，操作流程简单，是一种在标定智能网联汽车或自动驾驶汽车车载激光雷达时，快速确定车体坐标系及特征标定物在车体坐标系中坐标的方法；本发明利用图像处理技术，实时获取标定场内的图像信息确定车辆与特征标定物的相对位置关系，可以在规定的活动范围内随意摆放车辆，极大降低了标定车载激光雷达时对摆放位姿的要求，为激光雷达标定步骤规范化、流程化、自动化提奠定了技术基础。
本发明是基于摄像头来确定车辆与特征标定物之间的相对位置，允许在规定的范围内随意停放车辆，不需要严格保证唯一的车身位姿，极大提高了车载激光雷达标定的效率和准确性，可为批量生产的自动驾驶汽车车载激光雷达快速全自动化标定提供切实可行的技术方案和工程落地条件。
本发明能够有效降低标定车载激光雷达时车辆位姿摆放的要求，提高激光雷达标定效率与精度，解决了传统的基于特征标志物的激光雷达标定方法，需要按照规定的车身位姿摆放、精准摆放的难度较大、误差较高等技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明车辆与障碍物相对位置自动获取方法的摄像头放置状态图；
图2为本发明车辆与障碍物相对位置自动获取方法的标定场地的俯视图；
图3为本发明车辆与障碍物相对位置自动获取方法中确定球体特征标定物的球心的世界坐标的流程简图；
图4为本发明车辆与障碍物相对位置自动获取方法中背景差分处理过程流程简图；
图5为本发明车辆与障碍物相对位置自动获取方法中车辆外轮廓检测输出流程简图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合具体的实施方式对本发明做进一步的解释说明。
本发明具体实施的一种车辆与障碍物相对位置自动获取方法，是在车载激光雷达标定场地正中间上方设置用于获取标定场内状态的摄像头，在标定场地两个对角处分别布置球体特征标定物，然后检测出标定场内的球体特征标定物的球心的世界坐标，并检测待获取标定车辆外轮廓，接着计算出车辆外轮廓的外接矩形并获取该外接矩形正中心的世界坐标，再以车辆外轮廓的外接矩形的正中心为车体坐标系原点，将车体坐标系的X轴、Y轴设置为分别与车辆外轮廓的外接矩形的两条边平行，再通过车体坐标系与世界坐标系的旋转平移关系，最终计算出球形特征标定物的球心在车体坐标系中的坐标，得到球形特征标定物与车体的相对位置关系。
本发明车辆与障碍物相对位置自动获取方法，具体包括以下步骤：
(1)在车辆车载激光雷达标定场的两个对角处(如图1所示，本实施例中是在自动驾驶汽车车载激光雷达标定场景的左上角和右下角)各布置一组球体特征标定物，且每组球体特征标定物由呈正三角形分布的三个表面为高哑光的球体构成，具体分布形式见图1；其中，每个球体的半径为0.6m，每组球体特征标定物中相邻球体的球心之间距离为2.2m，将每组球体特征标定物的正中心置于车体坐标系原点8-10m的距离处。
(2)将一个高清的摄像头置于车辆车载激光雷达标定场的正中间位置上方，摄像头成像平面与标定场平面保持水平，摄像头高度为h米(h为一切可行的范围内的数值)，即摄像头的高度需保证其拥有完整、清晰的标定场地的视野，如图1所示；再将车辆停放于如图2所示的标定场地正中间区域内，且保证车头航向角在0°-180°之间即可。
(3)利用张正友棋盘格标定法对置于标定场地的正中间位置上方的摄像头的内参矩阵K及外参矩阵R,T(即摄像头坐标系到世界坐标系的旋转、平移矩阵)进行标定，并将摄像头的内、外参矩阵存储于标定运算计算机中；其中，像素坐标系下和世界坐标系下的坐标转换公式为：
Figure BDA0003050801920000081
其中，u，v为某点在像素坐标系中的坐标，Xw,Yw,Zw为该点在世界坐标系中的坐标，K为摄像头的内参矩阵，R、T为摄像头的外参矩阵。
(4)使用OpenCV中的函数cvLoadImage()载入一张标定车辆未进入标定场地时的图像并保存，通过cvtColor()函数对该图像进行灰度化处理，对得到的灰度图进行高斯滤波与平滑处理(通过GaussionBlur()函数进行)，然后利用霍夫梯度法(cvHougcircle()函数)检测经高斯滤波与平滑处理后的图像中的圆，并通过OpenCV中的椭圆拟合函数fitEllipse()输出所有圆的圆心坐标，表示为矩阵Ocam：
Figure BDA0003050801920000082
(u1,v1)..(u6,v6)分别代表两组球体特征标定物中六个球体的球心在二维像素坐标系下的坐标，再将球心在像素坐标系下的坐标(u1,v1)..(u6,v6)通过公式(1)所示的坐标转换公式转换到世界坐标系下并存储于标定计算机中，且只提取球心在二维世界坐标系内的坐标(暂不考虑Z轴)，其在世界坐标系下的坐标表示为Oword：
Figure BDA0003050801920000091
流程如图3所示；其中(xw1,yw1)..(xw6,yw6)为特征标定物球体在二维世界坐标系下的横、纵坐标，r为球体半径，以上操作在调试阶段完成后，后续操作中就无需再进行，后续直接使用以上已经存储在标定计算机中的数据即可。
(5)载入待标定车辆未进入标定场时的图像获取球体球心的世界坐标的同时，以上述步骤(4)中经过高斯滤波与平滑处理后的图像作为背景模型构建的输入，并利用OpenCV中的混合高斯背景模型构建函数BackgroundSubtraatorMOG()对经上述步骤(4)中高斯滤波与平滑处理后的图像进行背景建模，并存储建模结果即背景帧图像Pempty；由于标定场景为固定场景，因此基于高斯混合模型构建的背景帧图像Pempty不用实时进行更新。
(6)在保证车头航向角在0°-180°内的前提下，将车辆以任意位姿(位置+姿态)停放在标定场内，获取并载入待标定车辆进入标定场后的当前景帧图像Pvehicle，且载入前景帧图像Pvehicle后在标定完成之前，车辆位姿不能再发生变化；其中，如图2中所示，车辆按照从下方进入停车区域，从上方驶出停车区域。
(7)获取并载入车辆停放在标定场内的当前景帧图像Pvehicle，再将当前景帧图像Pvehicle进行降噪处理后与预先存储于标定计算机中的背景帧图像Pempty作为输入，使用背景差分法对图像进行处理，即将当前景帧图像Pvehicle与背景帧图像Pempty进行相减操作，计算出与背景偏离超过一定阈值T(T为在一切合理范围内的数值)的像素区域作为待标定车辆在图像中的所在区域，直接输出待标定车辆在图像中的位置、大小、形状等信息，即获取一张仅包含待标定车辆的前景像素图，流程如图4所示。其中，由于本发明的标定场场景为静态场景，可为背景差分法提供特征静止不变、光照条件变化程度极小的标定场景，同时也能保证摄像头处于静止状态不会出现抖动的情况，可避免背景差分法的技术缺陷，提高目标区域输出的精度。
(8)对上述步骤(7)中所获得的前景像素图进行二值化、高斯滤波与平滑处理，使用Canny算法检测待获取标定车辆的外轮廓信息，提取车辆的外轮廓中处于最***的两个对角点并获取其在像素坐标系下的坐标，以这两个对角点构造待标定车辆外轮廓的外接矩形，流程如图5所示。
(9)以上述步骤(8)中构造的外接矩形的几何中心点C为车体坐标系的原点，将车体坐标系的原点设置在高度距离地面为k米(k米为一切合理范围内的值，即保证摄像头具有覆盖整个标定场地的清晰视野)的平面上，点C在图像坐标系中的坐标为(ucen,vcen)，从点C分别向外接矩形的两条边作垂线，获取垂线与外接矩形的边的交点在图像坐标系中的坐标，即D(utrs,vtrs)、F(ulon,vlon,)；其中，点D为向车头方向作的垂线与外接矩形的交点，点F为向右边车身方向作的垂线与外接矩形的交点，从点C指向点F的方向为车体坐标系X轴的方向，从点C指向点D的方向为车体坐标系Y轴的方向，如图2所示。
(10)通过公式(1)分别计算得到上述步骤(9)中点C、点D、点F在世界坐标系中的坐标(xC,yC)、(xD,yD)、(xF,yF)；再计算出车体此时的航向角θ，计算公式为：
Figure BDA0003050801920000101
此时各个球体的球心在车体坐标系下的坐标计算公式为：
Figure BDA0003050801920000111
其中，(x,y)为球心在二维世界坐标系下的坐标，则该球心在车体坐标系下的坐标为(x',y',r-k)，r为球体半径，k为车体坐标系XY平面距离地面的距离，r-k为球心在车体坐标系中Z轴上的坐标。
(11)由上述公式(2)和公式(3)计算球体特征标定物的球心在车体坐标系下的坐标；球体特征标定物的球心在车体坐标系下的坐标集合表示为Ovehicle：
Figure BDA0003050801920000112
(xV1,yV1,zV1)...(xV6,yV6,zV6)为两组球体特征标定物中六个球体的球心在车体坐标系下的坐标，车体坐标系原点C在距离地面高度为k米的平面上，则所有球体的球心在车体坐标系Z坐标轴上的值均为k-r。
本发明构思合理，操作流程简单，利用图像处理技术实时获取标定场内的图像信息以确定车体与特征标定物的相对位置关系，能够降低摆放车辆的难度，提高激光雷达标定效率与精度，车辆可以在规定的活动范围内随意摆放，以达到标定目的。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种车辆与障碍物相对位置自动获取方法，其特征在于，在车载激光雷达标定场正中间位置的上方设置用于获取标定场内状态的摄像头，在标定场场地两个对角处分别布置球体特征标定物，然后检测出标定场内的球体特征标定物的球心的世界坐标，并检测待获取标定车辆外轮廓，接着计算出车辆外轮廓的外接矩形并获取该外接矩形正中心的世界坐标，再以车辆外轮廓的外接矩形的正中心为车体坐标系原点，将车体坐标系的X轴、Y轴设置为分别与车辆外轮廓的外接矩形的两条边平行，再通过车体坐标系与世界坐标系的旋转平移转系，最终计算出球体特征标定物的球心在车体坐标系中的坐标。
2.如权利要求1所述的车辆与障碍物相对位置自动获取方法，其特征在于，具体包括以下步骤：
(1)在车辆车载激光雷达标定场地的两个对角处各布置一组球体特征标定物，且每组球体特征标定物是由呈正三角形分布的三个表面为高哑光的球体构成；
(2)将摄像头置于车载激光雷达标定场地的正中间上方，摄像头的高度需保证其拥有完整、清晰的标定场地的视野，并使摄像头成像平面与标定场地的平面保持水平，再将车辆停放于标定场地正中间区域内且保证车头航向角在0°-180°之间；
(3)对置于车辆车载激光雷达标定场地正中间上方的摄像头的内参矩阵及外参矩阵进行标定，并将摄像头的内、外参矩阵存储于标定运算计算机中；
(4)载入并保存一张标定车辆未进入标定场地时的图像并对该图像进行灰度化处理，对得到的灰度图进行高斯滤波与平滑处理，然后检测经高斯滤波与平滑处理后的图像中的圆，提取出圆心坐标即球心在二维像素坐标系下的坐标，接着将球心在二维像素坐标系下的坐标转换到世界坐标系下，得出球心在世界坐标系下的坐标并存储于标定计算机中；
(5)载入待标定车辆未进入标定场时的图像获取球体球心的世界坐标的同时，通过混合高斯模型对经上述步骤(4)中高斯滤波与平滑处理后的图像进行背景建模并存储建模结果，即背景图像；
(6)在保证车头航向角在0°-180°内的前提下，将车辆以任意位姿停放在标定场内，获取并载入待标定车辆进入标定场后的当前景帧图像；
(7)获取并载入车辆停放在标定场内的当前景帧图像Pvehicle，再将当前景帧图像Pvehicle进行高斯滤波处理后与预先存储于标定计算机中的背景帧图像Pempty作为输入，使用背景差分法对图像进行处理，计算出与背景偏离超过一定阈值的像素区域作为待标定车辆在图像中的所在区域，获取一张仅包含待标定车辆的前景像素图；
(8)对上述步骤(7)中所获得的前景像素图进行二值化和高斯滤波与平滑处理，然后检测待获取标定车辆的外轮廓信息，提取车辆外轮廓中处于最***的两个对角点并获取其在像素坐标系下的坐标，以这两个对角点构造待标定车辆外轮廓的外接矩形；
(9)以上述步骤(8)中构造的外接矩形的几何中心点为车体坐标系的原点，将车体坐标系的原点设置在高于地面且能保证摄像头具有覆盖整个标定场地的清晰视野的平面上，从车体坐标系的原点分别向外接矩形的两条边作垂线，获取垂线与外接矩形的边的交点在图像坐标系中的坐标；
(10)通过像素坐标系下和世界坐标系下的坐标转换公式分别计算得到上述步骤(9)中车体坐标系的原点、垂线与外接矩形的边的交点在世界坐标系中的坐标，再计算出车体此时的航向角；
(11)最后计算出球体特征标定物的球心在车体坐标系下的坐标。
3.如权利要求2所述的车辆与障碍物相对位置自动获取方法，其特征在于：所述步骤(1)中每个球体的半径为0.6m，每组球体特征标定物中相邻球体的球心之间距离为2.2m，将每组球体特征标定物的正中心置于车体坐标系原点8-10m的距离处。
4.如权利要求2所述的车辆与障碍物相对位置自动获取方法，其特征在于：所述步骤(3)是利用张正友标定法对置于标定场的正中间位置上方的摄像头的内参矩阵及外参矩阵进行标定；且像素坐标系下和世界坐标系下的坐标转换公式为：
Figure FDA0003050801910000031
上式(1)中u，v为某点在像素坐标系中的坐标，Xw,Yw,Zw为该点在世界坐标系中的坐标，K为摄像头的内参矩阵，R、T为摄像头的外参矩阵。
5.如权利要求2所述的车辆与障碍物相对位置自动获取方法，其特征在于：所述步骤(4)是使用OpenCV中的函数cvLoadImage()载入并保存一张标定车辆未进入标定场时的图像；
所述步骤(4)是通过cvtColor()函数对该图像进行灰度化处理；
所述步骤(4)是利用霍夫梯度法检测经高斯滤波与平滑处理后的图像中的圆；
所述步骤(4)是通过OpenCV中的椭圆拟合函数fitEllipse()输出所有圆的圆心坐标，表示为矩阵Ocam：
Figure FDA0003050801910000032
(u1,v1)..(u6,v6)分别代表两组球体特征标定物中六个球体的球心在像素坐标系下的坐标，球心在世界坐标系下的坐标表示为Oword：
Figure FDA0003050801910000033
(xw1,yw1)..(xw6,yw6)为球体特征标定物中六个球体的球心在二维世界坐标系下的横、纵坐标，r为球体半径。
6.如权利要求2所述的车辆与障碍物相对位置自动获取方法，其特征在于：所述步骤(5)是利用OpenCV中的混合高斯背景模型构建函数BackgroundSubtraatorMOG()对经所述步骤(4)中高斯滤波与平滑处理后的图像进行背景建模。
7.如权利要求2所述的车辆与障碍物相对位置自动获取方法，其特征在于：所述步骤(8)是使用Canny算法检测待获取标定车辆的外轮廓信息。
8.如权利要求2所述的车辆与障碍物相对位置自动获取方法，其特征在于：所述步骤(10)计算车体此时航向角θ的计算公式为：
Figure FDA0003050801910000041
此时各个球体的球心在车体坐标系下的坐标计算公式为：
Figure FDA0003050801910000042
其中，(x,y)为球心在二维世界坐标系下的坐标，则该球心在车体坐标系下的坐标为(x',y',r-k)，r为球体半径，k为车体坐标系XY平面距离地面的距离，r-k为球心在车体坐标系中Z轴上的坐标。
9.如权利要求8所述的车辆与障碍物相对位置自动获取方法，其特征在于：所述步骤(11)是通过所述公式(2)和公式(3)计算球体特征标定物的球心在车体坐标系下的坐标，所有球体特征标定物的球心在车体坐标系下的纵坐标均为k-r，球体特征标定物的球心在车体坐标系下的坐标集合表示为Ovehicle：
Figure FDA0003050801910000043
(xV1,yV1,zV1)..(xV6,yV6,zV6)为两组球体特征标定物中六个球体的球心在车体坐标系下的坐标。
10.如权利要求1所述的车辆与障碍物相对位置自动获取方法，其特征在于：所述车载激光雷达的标定场景为静态场景。
CN202110487005.1A 2021-05-03 2021-05-03 一种车辆与障碍物相对位置自动获取方法 Expired - Fee Related CN113096187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110487005.1A CN113096187B (zh) 2021-05-03 2021-05-03 一种车辆与障碍物相对位置自动获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110487005.1A CN113096187B (zh) 2021-05-03 2021-05-03 一种车辆与障碍物相对位置自动获取方法

Publications (2)

Publication Number Publication Date
CN113096187A true CN113096187A (zh) 2021-07-09
CN113096187B CN113096187B (zh) 2022-05-17

Family

ID=76681258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110487005.1A Expired - Fee Related CN113096187B (zh) 2021-05-03 2021-05-03 一种车辆与障碍物相对位置自动获取方法

Country Status (1)

Country Link
CN (1) CN113096187B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115083208A (zh) * 2022-07-20 2022-09-20 深圳市城市交通规划设计研究中心股份有限公司 人车冲突预警方法、预警分析方法、电子设备及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110102592A1 (en) * 2009-10-30 2011-05-05 Valeo Vision System of gauging a camera suitable for equipping a vehicle
CN103871071A (zh) * 2014-04-08 2014-06-18 北京经纬恒润科技有限公司 一种用于全景泊车***的摄像头外参标定方法
CN106405555A (zh) * 2016-09-23 2017-02-15 百度在线网络技术（北京）有限公司 用于车载雷达***的障碍物检测方法和装置
CN107133988A (zh) * 2017-06-06 2017-09-05 科大讯飞股份有限公司 车载全景环视***中摄像头的标定方法及标定***
CN107966700A (zh) * 2017-11-20 2018-04-27 天津大学 一种用于无人驾驶汽车的前方障碍物检测***及方法
CN108490830A (zh) * 2018-03-16 2018-09-04 合肥工业大学 一种基于机器视觉的自动洗车的控制装置及其控制方法
CN109557525A (zh) * 2019-01-31 2019-04-02 浙江工业大学 一种激光雷达式车辆外廓尺寸测量仪的自动标定方法
CN109767473A (zh) * 2018-12-30 2019-05-17 惠州华阳通用电子有限公司 一种全景泊车装置标定方法及装置
CN109849782A (zh) * 2017-11-30 2019-06-07 比亚迪股份有限公司 虚拟全景辅助驾驶装置及其显示方法、车辆
CN110488234A (zh) * 2019-08-30 2019-11-22 北京百度网讯科技有限公司 车载毫米波雷达的外参标定方法、装置、设备及介质
CN111145260A (zh) * 2019-08-30 2020-05-12 广东星舆科技有限公司 一种基于车载的双目标定方法
CN111862672A (zh) * 2020-06-24 2020-10-30 北京易航远智科技有限公司 基于顶视图的停车场车辆自定位及地图构建方法
CN112224132A (zh) * 2020-10-28 2021-01-15 武汉极目智能技术有限公司 一种车用全景环视障碍物预警方法
CN112233188A (zh) * 2020-10-26 2021-01-15 南昌智能新能源汽车研究院 一种基于激光雷达的车顶全景相机及其标定方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110102592A1 (en) * 2009-10-30 2011-05-05 Valeo Vision System of gauging a camera suitable for equipping a vehicle
CN103871071A (zh) * 2014-04-08 2014-06-18 北京经纬恒润科技有限公司 一种用于全景泊车***的摄像头外参标定方法
CN106405555A (zh) * 2016-09-23 2017-02-15 百度在线网络技术（北京）有限公司 用于车载雷达***的障碍物检测方法和装置
CN107133988A (zh) * 2017-06-06 2017-09-05 科大讯飞股份有限公司 车载全景环视***中摄像头的标定方法及标定***
CN107966700A (zh) * 2017-11-20 2018-04-27 天津大学 一种用于无人驾驶汽车的前方障碍物检测***及方法
CN109849782A (zh) * 2017-11-30 2019-06-07 比亚迪股份有限公司 虚拟全景辅助驾驶装置及其显示方法、车辆
CN108490830A (zh) * 2018-03-16 2018-09-04 合肥工业大学 一种基于机器视觉的自动洗车的控制装置及其控制方法
CN109767473A (zh) * 2018-12-30 2019-05-17 惠州华阳通用电子有限公司 一种全景泊车装置标定方法及装置
CN109557525A (zh) * 2019-01-31 2019-04-02 浙江工业大学 一种激光雷达式车辆外廓尺寸测量仪的自动标定方法
CN110488234A (zh) * 2019-08-30 2019-11-22 北京百度网讯科技有限公司 车载毫米波雷达的外参标定方法、装置、设备及介质
CN111145260A (zh) * 2019-08-30 2020-05-12 广东星舆科技有限公司 一种基于车载的双目标定方法
CN111862672A (zh) * 2020-06-24 2020-10-30 北京易航远智科技有限公司 基于顶视图的停车场车辆自定位及地图构建方法
CN112233188A (zh) * 2020-10-26 2021-01-15 南昌智能新能源汽车研究院 一种基于激光雷达的车顶全景相机及其标定方法
CN112224132A (zh) * 2020-10-28 2021-01-15 武汉极目智能技术有限公司 一种车用全景环视障碍物预警方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
朱政泽 等: "基于延迟补偿的网联式自主驾驶车辆协同控制", 《***仿真学报》 *
汪佩 等: "基于单线激光雷达与视觉融合的负障碍检测算法", 《计算机工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115083208A (zh) * 2022-07-20 2022-09-20 深圳市城市交通规划设计研究中心股份有限公司 人车冲突预警方法、预警分析方法、电子设备及存储介质
CN115083208B (zh) * 2022-07-20 2023-02-03 深圳市城市交通规划设计研究中心股份有限公司 人车冲突预警方法、预警分析方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN113096187B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
US20220148213A1 (en) Method for fully automatically detecting chessboard corner points
CN106326892B (zh) 一种旋翼式无人机的视觉着陆位姿估计方法
CN112223285B (zh) 一种基于组合测量的机器人手眼标定方法
CN106340044B (zh) 摄像机外参自动标定方法及标定装置
CN112308916B (zh) 一种基于图像靶标的目标位姿识别方法
CN111508027B (zh) 摄像机外参标定的方法和装置
CN107194399A (zh) 一种视觉定标的方法、***及无人机
CN110823252B (zh) 一种多线激光雷达和单目视觉的自动标定方法
CN106485757A (zh) 一种基于实心圆标定板的立体视觉***标定平台及标定方法
CN113379712B (zh) 一种基于计算机视觉的钢桥螺栓病害检测方法及***
CN113156411A (zh) 一种车载激光雷达标定方法
WO2021017352A1 (zh) 激光雷达-摄像机联合标定靶和联合标定方法
CN113096187B (zh) 一种车辆与障碍物相对位置自动获取方法
CN113793270A (zh) 一种基于无人机姿态信息的航拍图像几何校正方法
EP4095803A1 (en) Image processing method and apparatus
CN114972531B (zh) 一种角点检测方法、设备及可读存储介质
CN115014371A (zh) 一种用于智慧粮库粮食转运车的定位与建图方法、装置及存储介质
CN115792865A (zh) 一种基于相机和机械式激光雷达外参标定方法、***、介质及车辆
CN110543612B (zh) 一种基于单目视觉测量的集卡定位方法
CN112907677B (zh) 一种单帧图像的相机标定方法、装置及存储介质
CN114202548A (zh) 一种叉车托盘的定位方法、装置、存储介质及电子设备
CN110969661B (zh) 图像处理装置及方法、位置标定***及方法
CN206968999U (zh) 一种无人机及视觉定标的***
CN116758142A (zh) 一种图像地理配准的缺陷组件定位方法及装置
CN109584296A (zh) 一种基于单目视觉的叉车识别测距方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220517

CF01 Termination of patent right due to non-payment of annual fee