CN107133985B - 一种基于车道线消逝点的车载摄像机自动标定方法 - Google Patents

一种基于车道线消逝点的车载摄像机自动标定方法 Download PDF

Info

Publication number
CN107133985B
CN107133985B CN201710261492.3A CN201710261492A CN107133985B CN 107133985 B CN107133985 B CN 107133985B CN 201710261492 A CN201710261492 A CN 201710261492A CN 107133985 B CN107133985 B CN 107133985B
Authority
CN
China
Prior art keywords
image
coordinate system
lane line
coordinates
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710261492.3A
Other languages
English (en)
Other versions
CN107133985A (zh
Inventor
薛远
陈向成
陈高灿
李兵
张勇
程腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Zhixing Technology Co ltd
Original Assignee
Changzhou Zhixing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Zhixing Technology Co ltd filed Critical Changzhou Zhixing Technology Co ltd
Priority to CN201710261492.3A priority Critical patent/CN107133985B/zh
Publication of CN107133985A publication Critical patent/CN107133985A/zh
Application granted granted Critical
Publication of CN107133985B publication Critical patent/CN107133985B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提出了一种基于车道线消逝点的车载摄像机自动标定方法，包括：获取车辆位于车道中间时摄像机拍摄的图像，图像中包括清晰的左右车道线；对图像进行处理，获得图像中左右车道线方程，计算图像中左右车道线的交点P0以及左右车道线分别与图像下边线的交点P1、P2在图像坐标系中的坐标；建立世界坐标系，获得图像中点P0、P1、P2对应的真实空间点P0'、P1'、P2'在世界坐标系中的坐标；根据图像中点P0、P1、P2在图像坐标系中的坐标以及对应的真实空间点P0'、P1'、P2'在世界坐标系中的坐标，求取标定矩阵。本发明方法车辆只需在车道正中行驶或停在车道中间，即可自动对拍摄的图像进行处理，查询当前所在车道宽度后求得标定矩阵，标定精度高，操作简单方便，不需人工干预，可实时进行标定。

Description

一种基于车道线消逝点的车载摄像机自动标定方法
技术领域
本发明涉及汽车图像处理领域，尤其涉及一种基于车道线消逝点的车载摄像机自动标定方法。
背景技术
近些年，汽车辅助驾驶(Advanced Driver Assistance Systems)技术迅速发展，车辆前碰撞预警(Forward Collision Warning)及车道偏离预警(Lane DepartureWarning)是其中重要部分。这两项功能都属于计算机视觉应用，主要从摄像机获取的图像信息出发计算三维空间中物体的几何信息，以确定车辆与前方障碍物的距离以及车辆是否偏离车道线，而实现上述功能的前提是需要对车载摄像机进行准确标定。一般假设摄像机所拍摄到的图像与三维空间中的物体之间存在以下一种简单的线性关系：[像]＝M[物]，其中矩阵M可以看成是摄像机成像的几何模型，矩阵M中的参数就是摄像机参数，摄像机标定过程就是求解这个矩阵M的过程，矩阵M为标定矩阵。
现有的一些标定方法是通过在车辆前方或路面上摆放特定形状和尺寸的工具，进行图像处理后获得标定矩阵，这类方法在标定过程中需一直使用工具，且需人工参与，操作不方便。有的通过摄像机内部GPS芯片提取相机的倾角信息，通过一系列复杂计算，得到标定矩阵，这类方法在实际实施中较为繁琐，计算量大，标定条件较为苛刻。
发明内容
为解决上述问题，本发明提出了一种基于车道线消逝点的车载摄像机自动标定方法，不需要形状、尺寸已知的标定参照物，可实时进行标定，方法简单易操作。
本发明的具体技术方案如下：一种基于车道线消逝点的车载摄像机自动标定方法，具体包括：
步骤1、获取车辆位于车道中间时摄像机拍摄的图像，所述图像为车头前方场景，图像中包括清晰的左右车道线；
步骤2、对图像进行处理，建立图像坐标系，获得图像中的左右车道线方程，计算图像中左右车道线的交点P0以及左右车道线分别与图像下边线的交点P1、P2在图像坐标系中的坐标；
步骤3、建立世界坐标系，获得图像中点P0、P1、P2对应的真实空间点P0'、P1'、P2'在世界坐标系中的坐标，其中点P0'为真实左右车道线的消逝点，点P1'和P2'分别为真实左右车道线上的点；
步骤4、根据图像中点P0、P1、P2在图像坐标系中的坐标以及对应的真实空间点P0'、P1'、P2'在世界坐标系中的坐标，求取标定矩阵。
作为本发明的进一步改进，所述步骤2具体包括：
2.1、定义图像左上角的第一个像素为坐标原点，图像的横向为X轴，纵向为Y轴，建立以像素为单位的图像坐标系；
2.2、先对图像进行Canny边缘检测，得到二值化图像，再对二值化图像进行霍夫变换直线检测，检测出图像中左右车道线的直线方程：左车道线的直线方程为y1＝k1x1+b1，右车道线的直线方程为y2＝k2x2+b2，其中(x1,y1)为图像中左车道线上的像素在图像坐标系中的坐标，(x2,y2)为图像中右车道线上的像素在图像坐标系中的坐标，k1为左车道线的直线斜率，k2为右车道线的直线斜率，b1为左车道线的直线截距，b2为右车道线的直线截距，k1、k2、b1、b2在霍夫变换直线检测中获得；
2.3、由识别出的左右车道线的直线方程，计算图像中两车道线的交点P0在图像坐标系中的坐标：P0(x0,y0)，其中
Figure BDA0001274871360000021
计算图像中两条车道线与图像下边缘的交点P1、P2在图像坐标系中的坐标：P1(x1',y1')，其中
Figure BDA0001274871360000022
y′1＝H，P2(x′2,y′2)，其中
Figure BDA0001274871360000023
y′2＝H，H为图像在纵向的像素数。
本发明的有益效果：本发明方法利用车道线作为标定参照物，车辆只需在车道正中行驶或停在车道中间，即可自动对摄像机拍摄的图像进行处理，查询当前所在车道宽度后求得标定矩阵，标定精度高，操作简单方便，不需人工干预，可实时进行标定；本发明方法选取左右车道线分别与车头相交的点及左右车道线的消逝点作为标定点，建立图像坐标系和世界坐标系，求取上述点分别在图像坐标系和世界坐标系下的坐标，从而求取标定矩阵，计算量小，标定时间快，无标定条件限制。
附图说明
图1是本发明方法的流程图。
图2是本发明建立的图像坐标系及关键点位置示意图。
图3是本发明建立的与图像坐标系对应的世界坐标系示意图。
具体实施方式
如图1所示，本发明提供的一种基于车道线消逝点的车载摄像机自动标定方法，具体包括以下步骤：
步骤1、获取车辆位于车道中间时摄像机拍摄的图像，所述图像为车头前方场景，图像中包括清晰的左右车道线。
步骤2、对图像进行处理，建立图像坐标系，获得图像中的左右车道线方程，计算图像中左右车道线的交点P0以及左右车道线分别与图像下边缘的交点P1、P2在图像坐标系中的坐标，具体包括：
2.1、定义图像左上角的第一个点为坐标原点，图像的横向为X轴，纵向为Y轴，建立如图2所示的图像坐标系；
2.2、左右车道线识别技术为现有技术，本发明先对图像进行Canny边缘检测，得到二值化图像，再对二值化图像进行霍夫变换直线检测，检测出图像中左右车道线的直线方程：左车道线的直线方程为y1＝k1x1+b1，右车道线的直线方程为y2＝k2x2+b2，其中(x1,y1)为图像中左车道线上的像素在图像坐标系中的坐标，(x2,y2)为图像中右车道线上的像素在图像坐标系中的坐标，k1为左车道线的直线斜率，k2为右车道线的直线斜率，b1为左车道线的直线截距，b2为右车道线的直线截距，k1、k2、b1、b2在霍夫变换直线检测中获得；
2.3、由识别出的左右车道线直线方程，计算图像中两车道线的交点P0在图像坐标系中的坐标：P0(x0,y0)，其中
Figure BDA0001274871360000031
车道线消逝点在图像中用两车道线的交点表示；计算图像中两条车道线与图像下边缘的交点P1、P2在图像坐标系中的坐标：P1(x′1,y′1)，其中
Figure BDA0001274871360000032
y′1＝H，P2(x′2,y′2)，其中
Figure BDA0001274871360000033
y′2＝H，H为图像在纵向上的像素数。
步骤3、建立世界坐标系，获得图像中点P0、P1、P2对应的真实空间点P0'、P1'、P2'在世界坐标系中的坐标，具体为：
以图像中P1P2线段的中点对应的真实空间点为原点，车头正对的真实空间方向为Y轴正方向，P1对应的真实空间点指向P2对应的真实空间点的方向为X轴正方向，Z轴垂直于空间路面，建立如图3所示的世界坐标系；
由于图像中的点P1、P2对应的真实空间点P1'、P2'距离车头通常不超过2米，可近似两点P1'、P2'在世界坐标系中的Y轴上的坐标为0。根据相机小孔成像原理，两条车道线的消逝点在无穷远处(平行线相交于无穷远)，即地平线上的某一点，故点P0'距离车辆的距离为无穷远。但对于一般焦距为2-8mm(行车记录仪及车辆辅助驾驶***常用类型)的摄像机参数，可近似点P0'在世界坐标系中的Y轴上的坐标为10000，此时真实车道线的消逝点可用分别位于左右车道线上的两点表示。因为标定过程选取的图像上的点对应的P0'、P1'、P2'三点在真实空间中为路面上的点，所以上述三点在世界坐标系中的Z轴上的坐标都为0。综上获得真实空间点P0'、P1'、P2'在世界坐标系中的坐标分别为:P0'(-D/2,10000),(D/2,10000)，P'1(-D/2,0)，P2'(D/2,0),其中D为通过查阅获得的车辆所在车道的标准宽度。
步骤4、根据图像中点P0、P1、P2在图像坐标系中的坐标以及对应的真实空间点P0'、P1'、P2'在世界坐标系中的坐标，求取标定矩阵。
图像与真实空间之间的关系可用下式表示：
Figure BDA0001274871360000041
其中，
Figure BDA0001274871360000042
为标定矩阵，(x,y)为图像中的像素点在图像坐标系中的坐标，(u,v)为对应的真实空间点在世界坐标系中的坐标，t为系数。
将P0、P1、P2、P0'、P1'、P2'的坐标代入上式，其中为了避免矩阵出现奇异性，P0也用两个坐标(x0-0.5,y0)、(x0+0.5,y0)表示，得到：
Figure BDA0001274871360000043
其中矩阵参数a11至a32，以及系数t1至t4均可通过求解线性方程得出，从而求得标定矩阵M，完成车载摄像机的标定。

Claims (1)

1.一种基于车道线消逝点的车载摄像机自动标定方法，其特征在于，所述方法包括：
步骤1、获取车辆位于车道中间时摄像机拍摄的图像，所述图像为车头前方场景，图像中包括清晰的左右车道线；
步骤2、对图像进行处理，建立图像坐标系，获得图像中的左右车道线方程，计算图像中左右车道线的交点P0以及左右车道线分别与图像下边线的交点P1、P2在图像坐标系中的坐标；具体包括：
2.1、定义图像左上角的第一个像素为坐标原点，图像的横向为X轴，纵向为Y轴，建立以像素为单位的图像坐标系；
2.2、先对图像进行Canny边缘检测，得到二值化图像，再对二值化图像进行霍夫变换直线检测，检测出图像中左右车道线的直线方程：左车道线的直线方程为y＝k1x+b1，右车道线的直线方程为y＝k2x+b2，其中(x,y)为图像中车道线上的像素在图像坐标系中的坐标，k1为左车道线的直线斜率，k2为右车道线的直线斜率，b1为左车道线的直线截距，b2为右车道线的直线截距，k1、k2、b1、b2在霍夫变换直线检测中获得；
2.3、由识别出的左右车道线的直线方程，计算图像中两车道线的交点P0在图像坐标系中的坐标：P0(x0,y0)，其中
Figure FDA0002347336030000011
计算图像中两条车道线与图像下边缘的交点P1、P2在图像坐标系中的坐标：P1(x1,y1)，其中
Figure FDA0002347336030000012
y1＝H，P2(x2,y2)，其中
Figure FDA0002347336030000013
y2＝H，H为图像在纵向的像素数；
步骤3、建立世界坐标系，获得图像中点P0、P1、P2对应的真实空间点P0'、P1'、P2'在世界坐标系中的坐标，其中点P0'为真实左右车道线的消逝点，P1'和P2'分别为真实左右车道线上的点；
步骤4、根据图像中点P0、P1、P2在图像坐标系中的坐标以及对应的真实空间点P0'、P1'、P2'在世界坐标系中的坐标，求取标定矩阵，具体为：
图像与真实空间之间的关系可用下式表示：
Figure FDA0002347336030000014
其中，
Figure FDA0002347336030000021
为标定矩阵，(x,y)为图像中的像素点在图像坐标系中的坐标，(u,v)为对应的真实空间点在世界坐标系中的坐标，t为系数；其中矩阵参数a11至a32，以及系数t均可通过求解线性方程得出，从而求得标定矩阵M，完成车载摄像机的标定。
CN201710261492.3A 2017-04-20 2017-04-20 一种基于车道线消逝点的车载摄像机自动标定方法 Active CN107133985B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710261492.3A CN107133985B (zh) 2017-04-20 2017-04-20 一种基于车道线消逝点的车载摄像机自动标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710261492.3A CN107133985B (zh) 2017-04-20 2017-04-20 一种基于车道线消逝点的车载摄像机自动标定方法

Publications (2)

Publication Number Publication Date
CN107133985A CN107133985A (zh) 2017-09-05
CN107133985B true CN107133985B (zh) 2020-05-12

Family

ID=59716674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710261492.3A Active CN107133985B (zh) 2017-04-20 2017-04-20 一种基于车道线消逝点的车载摄像机自动标定方法

Country Status (1)

Country Link
CN (1) CN107133985B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584305A (zh) * 2017-09-29 2019-04-05 宝沃汽车（中国）有限公司 全景***标定方法、装置及车辆
CN110555885B (zh) * 2018-05-31 2023-07-04 海信集团有限公司 一种车载相机的标定方法、装置及终端
CN110570475A (zh) * 2018-06-05 2019-12-13 上海商汤智能科技有限公司 车载摄像头自标定方法及装置和车辆驾驶方法及装置
CN110858405A (zh) * 2018-08-24 2020-03-03 北京市商汤科技开发有限公司 车载摄像头的姿态估计方法、装置和***及电子设备
CN109572715A (zh) * 2018-11-01 2019-04-05 北京海纳川汽车部件股份有限公司 自动驾驶车辆的车道偏离预警方法、装置及自动驾驶车辆
CN109859278B (zh) * 2019-01-24 2023-09-01 惠州市德赛西威汽车电子股份有限公司 车载相机***相机外参的标定方法及标定***
CN110163176B (zh) * 2019-05-28 2021-06-18 北京百度网讯科技有限公司 车道线变化位置识别方法、装置、设备和介质
CN112184821B (zh) * 2019-07-01 2023-03-10 上海安亭地平线智能交通技术有限公司 相机翻滚角的调整方法和装置、存储介质、电子设备
CN110435528A (zh) * 2019-07-04 2019-11-12 华南师范大学 一种用于低照度环境下的智能远光灯控制方法及***
CN110718068B (zh) * 2019-09-27 2020-12-08 华中科技大学 一种道路监控摄像机安装角度估计方法
CN112489136B (zh) * 2020-11-30 2024-04-16 商汤集团有限公司 标定方法、位置确定方法、装置、电子设备及存储介质
CN112529968A (zh) * 2020-12-22 2021-03-19 上海商汤临港智能科技有限公司 摄像设备标定方法、装置、电子设备及存储介质
CN112927309B (zh) * 2021-03-26 2024-04-09 苏州欧菲光科技有限公司 一种车载相机标定方法、装置、车载相机及存储介质
CN113223300A (zh) * 2021-04-13 2021-08-06 河北科技大学 一种基于车载视频图像的交通事故车速测量方法
CN114120258B (zh) * 2022-01-26 2022-05-03 深圳佑驾创新科技有限公司 一种车道线识别方法、装置及存储介质
CN114659489A (zh) * 2022-03-11 2022-06-24 苏州清研微视电子科技有限公司 一种基于凸透镜成像原理的前车距离检测方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927748A (zh) * 2014-04-09 2014-07-16 东南大学 一种基于多矩形图像距离转换模型的坐标标定方法
CN103927754A (zh) * 2014-04-21 2014-07-16 大连理工大学 一种车载摄像机的标定方法
CN104063877A (zh) * 2014-07-16 2014-09-24 中电海康集团有限公司 一种候选车道线混合判断识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927748A (zh) * 2014-04-09 2014-07-16 东南大学 一种基于多矩形图像距离转换模型的坐标标定方法
CN103927754A (zh) * 2014-04-21 2014-07-16 大连理工大学 一种车载摄像机的标定方法
CN104063877A (zh) * 2014-07-16 2014-09-24 中电海康集团有限公司 一种候选车道线混合判断识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
车载单目相机的在线自标定算法研究;刘明晴;《中国优秀硕士学位论文全文数据库-工程科技II辑》;20170315(第3期);第C035-219页第4章，第2.2.2节，第5.2节 *

Also Published As

Publication number Publication date
CN107133985A (zh) 2017-09-05

Similar Documents

Publication Publication Date Title
CN107133985B (zh) 一种基于车道线消逝点的车载摄像机自动标定方法
CN107738612B (zh) 基于全景视觉辅助***的自动泊车停车位检测与识别***
CN107463918B (zh) 基于激光点云与影像数据融合的车道线提取方法
CN108647638B (zh) 一种车辆位置检测方法及装置
US20200041284A1 (en) Map road marking and road quality collecting apparatus and method based on adas system
CN109389064B (zh) 一种车辆特征获取方法及装置
EP3678096B1 (en) Method for calculating a tow hitch position
Yan et al. A method of lane edge detection based on Canny algorithm
EP1394761A2 (en) Obstacle detection device and method therefor
CN110555407B (zh) 路面车辆空间识别方法及电子设备
CN110334678A (zh) 一种基于视觉融合的行人检测方法
CN104700414A (zh) 一种基于车载双目相机的前方道路行人快速测距方法
Kum et al. Lane detection system with around view monitoring for intelligent vehicle
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN105206109A (zh) 一种基于红外ccd的车辆雾天识别预警***及方法
CN109827516B (zh) 一种通过车轮来测量距离的方法
CN109447908A (zh) 一种基于立体视觉的钢卷识别定位方法
Liu et al. Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN111178150A (zh) 车道线检测方法、***及存储介质
CN112489106A (zh) 基于视频的车辆尺寸测量方法、装置、终端及存储介质
CN114419143A (zh) 深度测量方法、深度测量设备及存储介质
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
WO2018222122A1 (en) Methods for perspective correction, computer program products and systems
Sun Vision based lane detection for self-driving car

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant