CN109712194B - 车载环视***及其立体标定方法和计算机可读存储介质 - Google Patents
车载环视***及其立体标定方法和计算机可读存储介质 Download PDFInfo
- Publication number
- CN109712194B CN109712194B CN201811504874.5A CN201811504874A CN109712194B CN 109712194 B CN109712194 B CN 109712194B CN 201811504874 A CN201811504874 A CN 201811504874A CN 109712194 B CN109712194 B CN 109712194B
- Authority
- CN
- China
- Prior art keywords
- camera
- vehicle body
- image
- coordinates
- reference matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明适用于汽车辅助驾驶领域,提供了一种车载环视***及立体标定方法。所述方法包括:获取利用摄像头采集的车身四周的鱼眼图像,进行畸变校正,得到校正后的图像和成像中心的坐标;根据成像中心的坐标计算得到摄像头内参矩阵;根据对应图像中平面标定板的像素坐标以及摄像头内参矩阵确定每个摄像头在车身坐标系下的外参矩阵;根据校正后的图像对应的摄像头内参矩阵和每个摄像头在车身坐标系下的外参矩阵,确定三维空间中每个点到平面图像像素坐标的映射关系。本发明实现过程简洁,操作简单,减少了计算过程中的参数个数,无需进行摄像头之间的坐标变换,所需采集图像数目比传统方法少,仍可保证标定结果的精确性,不需要立体标定块,降低了成本。
Description
技术领域
本发明属于汽车辅助驾驶领域,尤其涉及一种车载环视***及其立体标定方法和计算机可读存储介质。
背景技术
随着现代社会发展日益加快,汽车的需求量也在逐步增加,车辆数目的增加对驾驶员的驾驶水平提出了更高的要求。通常情况下驾驶员只能借助倒车镜和后视镜观察车辆的两侧和后方,这导致了车辆剐蹭和各类交通事故的发生。为了解决由于视角限制、障碍物遮挡、道路拥挤等造成的车辆行驶安全问题,近年来,提出了采用多个摄像头采集车辆周围信息,还原车辆环视360度影像的需求,主要核心在于车辆周围环境的立体标定。
通常情况下,车载环视***的立体标定采用立体标定块标定,完成三维世界坐标与图像二维坐标之间的映射。该方法对标定块的制作工艺要求较高,提高了成本,很难在市场上推广使用。
发明内容
本发明的目的在于提供一种车载环视***及其立体标定方法和计算机可读存储介质,旨在解决采用立体标定块标定,对标定块的制作工艺要求较高,提高了成本的问题。
第一方面,本发明提供了一种车载环视***的立体标定方法,所述方法包括:
获取利用摄像头采集的车身四周的鱼眼图像,进行畸变校正,得到校正后的图像和成像中心的坐标;对于每个摄像头,至少采集两张将平面标定板摆放在不同位置和角度后的图像;
根据成像中心的坐标计算得到摄像头内参矩阵;
建立车身坐标系,在车身坐标系测量每个摄像头拍摄到的平面标定板的摆放位置的世界坐标,根据对应图像中平面标定板的像素坐标以及摄像头内参矩阵确定每个摄像头在车身坐标系下的外参矩阵;
根据校正后的图像对应的摄像头内参矩阵和每个摄像头在车身坐标系下的外参矩阵,确定三维空间中每个点到平面图像像素坐标的映射关系。
第二方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述的车载环视***的立体标定方法的步骤。
第三方面,本发明提供了一种车载环视***,包括:
一个或多个处理器;
存储器;以及
一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,其特征在于,所述处理器执行所述计算机程序时实现如上述的车载环视***的立体标定方法的步骤。
在本发明中,由于利用摄像头采集车身四周的鱼眼图像,对于每个摄像头,至少采集两张将平面标定板摆放在不同位置和角度后的图像;计算摄像头内参矩阵和每个摄像头在车身坐标系下的外参矩阵;根据校正后的图像对应的摄像头内参矩阵和每个摄像头在车身坐标系下的外参矩阵,确定三维空间中每个点到平面图像像素坐标的映射关系。因此本发明的车载环视***的立体标定方法实现过程简洁,操作简单,减少了计算过程中的参数个数,无需进行摄像头之间的坐标变换,所需采集图像数目比传统方法少,并仍可保证标定结果的精确性,不需要立体标定块,降低了成本。
附图说明
图1是本发明实施例一提供的车载环视***的立体标定方法的流程图。
图2是车身坐标系下需要测量的空间距离及平面标定板位置示意图。
图3是本发明实施例三提供的车载环视***的具体结构框图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
实施例一:
请参阅图1,本发明实施例一提供的车载环视***的立体标定方法包括以下步骤:需注意的是,若有实质上相同的结果,本发明的车载环视***的立体标定方法并不以图1所示的流程顺序为限。
S101、获取利用摄像头采集的车身四周的鱼眼图像,进行畸变校正,得到校正后的图像和成像中心的坐标;对于每个摄像头,至少采集两张将平面标定板摆放在不同位置和角度后的图像。
在本发明实施例一中,所述摄像头可以是分别位于车身前后左右的四个鱼眼镜头。当然,本发明不限于摄像头的数量、种类和安装位置,只要能保证采集到车辆周围360度全部图像信息即可。例如大型货车可以采用6到8个摄像头保证采集到车辆周围360度全景。
所述获取利用摄像头采集的车身四周的鱼眼图像,进行畸变校正,得到校正后的图像和成像中心的坐标具体可以为:
获取利用摄像头采集的车身四周的鱼眼图像,根据摄像头的中心坐标、像素宽高比和焦距,利用等距投影公式,模拟鱼眼图像的成像特点,即利用小孔成像公式,对鱼眼图像进行畸变校正,得到校正后的图像以及成像中心的坐标。
该步骤中仅涉及摄像头的中心坐标、像素宽高比和焦距三组参数,减少了传统校正算法中的多个畸变系数。
等距投影公式具体为r'=f·θ;
小孔成像公式,即正常无畸变摄像头成像模型具体为:r=f·tanθ,
其中,r'是摄像头中的成像高度,r是无畸变摄像头中的成像高度,f是摄像头的焦距,θ是入射光角度。
校正前的鱼眼图像与校正后的图像中每个点的成像高度为该点到成像中心的距离。初始时,成像中心即为鱼眼图像的中心和校正后的图像的中心。
S102、根据成像中心的坐标计算得到摄像头内参矩阵。
S103、建立车身坐标系,在车身坐标系测量每个摄像头拍摄到的平面标定板的摆放位置的世界坐标,根据对应图像中平面标定板的像素坐标以及摄像头内参矩阵A确定每个摄像头在车身坐标系下的外参矩阵。
在本发明实施例一中,将所有平面标定板放置在同一个车身坐标系,避免了摄像头之间位置关系的转换,降低了计算的复杂程度和计算量。如图2所示,以车身中心为原点,地面平面为X-O-Y平面建立车身坐标系。将平面标定板放置在正对摄像头的位置,或放置在两个摄像头的重叠区域,或其他方便测量空间坐标的位置,仅需保证每个摄像头中至少可以拍摄到一幅平面标定板的内容。
外参矩阵包括旋转矩阵R和平移矩阵T。
S104、根据校正后的图像对应的摄像头内参矩阵和每个摄像头在车身坐标系下的外参矩阵,确定三维空间中每个点到平面图像像素坐标的映射关系。
在本发明实施例一中,S104具体可以为:
根据公式确定三维空间中每个点到平面图像像素坐标的映射矩阵P,A是校正后的图像对应的摄像头内参矩阵,R是每个摄像头在车身坐标系下的外参矩阵中的旋转矩阵,T是每个摄像头在车身坐标系下的外参矩阵中的平移矩阵,[X,Y,Z]为空间中任意一个点在车身坐标系下的三维坐标,(x,y)为平面图像像素坐标。
理想情况下成像中心即鱼眼图像的中心,但由于制作工艺等误差,摄像头中心点等参数会有所偏差。因此在本发明实施例一中,在S101之后,所述方法还可以包括以下步骤:
对摄像头参数进行精确化,并根据精确的摄像头参数得到精确的校正后的图像。具体可以为:在预设范围内遍历摄像头的初始参数,通过鱼眼图像中平面标定板的标定点像素坐标与参数值,得到映射后的像素坐标,与校正后的图像中平面标定板的标定点像素坐标比对,得到精确的摄像头参数,并根据精确的摄像头参数得到精确的校正后的图像。
实施例二:
本发明实施例二提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如本发明实施例一提供的车载环视***的立体标定方法的步骤。
实施例三:
图3示出了本发明实施例三提供的车载环视***的具体结构框图,一种车载环视***100包括:一个或多个处理器101、存储器102、以及一个或多个计算机程序,其中所述处理器101和所述存储器102通过总线连接,所述一个或多个计算机程序被存储在所述存储器102中,并且被配置成由所述一个或多个处理器101执行,所述处理器101执行所述计算机程序时实现如本发明实施例一提供的车载环视***的立体标定方法的步骤。
在本发明中,由于利用摄像头采集车身四周的鱼眼图像,对于每个摄像头,至少采集两张将平面标定板摆放在不同位置和角度后的图像;计算摄像头内参矩阵和每个摄像头在车身坐标系下的外参矩阵;根据校正后的图像对应的摄像头内参矩阵和每个摄像头在车身坐标系下的外参矩阵,确定三维空间中每个点到平面图像像素坐标的映射关系。因此本发明的车载环视***的立体标定方法实现过程简洁,操作简单,减少了计算过程中的参数个数,无需进行摄像头之间的坐标变换,所需采集图像数目比传统方法少,并仍可保证标定结果的精确性,不需要立体标定块,降低了成本。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,RandomAccess Memory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种车载环视***的立体标定方法,其特征在于,所述方法包括:
获取利用摄像头采集的车身四周的鱼眼图像,根据摄像头的中心坐标、像素宽高比和焦距,利用等距投影公式,模拟鱼眼图像的成像特点,即利用小孔成像公式,对鱼眼图像进行畸变校正,得到校正后的图像以及成像中心的坐标;对于每个摄像头,采集两张将平面标定板摆放在不同位置和角度后的图像;所述小孔成像公式,即正常无畸变摄像头成像模型具体为:r=f·tanθ,其中,r是无畸变摄像头中的成像高度,f是摄像头的焦距,θ是入射光角度;校正前的鱼眼图像与校正后的图像中每个点的成像高度为该点到成像中心的距离;
建立车身坐标系,在车身坐标系测量每个摄像头拍摄到的平面标定板的摆放位置的世界坐标,根据对应图像中平面标定板的像素坐标以及摄像头内参矩阵确定每个摄像头在车身坐标系下的外参矩阵;
根据校正后的图像对应的摄像头内参矩阵和每个摄像头在车身坐标系下的外参矩阵,确定三维空间中每个点到平面图像像素坐标的映射关系。
2.如权利要求1所述的方法,其特征在于,所述摄像头至少包括分别位于车身前后左右的四个鱼眼镜头。
3.如权利要求1所述的方法,其特征在于,等距投影公式具体为r'=f·θ,其中,r'是摄像头中的成像高度。
5.如权利要求1所述的方法,其特征在于,在获取利用摄像头采集的车身四周的鱼眼图像,进行畸变校正,得到校正后的图像和成像中心的坐标之后,所述方法还包括:
对摄像头参数进行精确化,并根据精确的摄像头参数得到精确的校正后的图像。
6.如权利要求5所述的方法,其特征在于,所述对摄像头参数进行精确化,并根据精确的摄像头参数得到精确的校正后的图像具体为:
在预设范围内遍历摄像头的初始参数,通过鱼眼图像中平面标定板的标定点像素坐标与参数值,得到映射后的像素坐标,与校正后的图像中平面标定板的标定点像素坐标比对,得到精确的摄像头参数,并根据精确的摄像头参数得到精确的校正后的图像。
7.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的车载环视***的立体标定方法的步骤。
8.一种车载环视***,包括:
一个或多个处理器;
存储器;以及
一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的车载环视***的立体标定方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811504874.5A CN109712194B (zh) | 2018-12-10 | 2018-12-10 | 车载环视***及其立体标定方法和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811504874.5A CN109712194B (zh) | 2018-12-10 | 2018-12-10 | 车载环视***及其立体标定方法和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109712194A CN109712194A (zh) | 2019-05-03 |
CN109712194B true CN109712194B (zh) | 2021-09-24 |
Family
ID=66255722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811504874.5A Active CN109712194B (zh) | 2018-12-10 | 2018-12-10 | 车载环视***及其立体标定方法和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109712194B (zh) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110517202B (zh) * | 2019-08-30 | 2023-07-28 | 的卢技术有限公司 | 一种车身摄像头标定方法及其标定装置 |
CN110675458B (zh) * | 2019-10-08 | 2023-03-31 | Oppo广东移动通信有限公司 | 用于摄像头标定的方法、装置及存储介质 |
CN110930457B (zh) * | 2019-10-15 | 2023-02-28 | 中国第一汽车股份有限公司 | 一种摄像头标定方法、装置、车辆及存储介质 |
CN110992428B (zh) * | 2019-10-29 | 2024-04-05 | 惠州市德赛西威智能交通技术研究院有限公司 | 一种摄像头一致性的智能检测方法和检测装置 |
CN111223038B (zh) * | 2019-12-02 | 2023-06-09 | 上海赫千电子科技有限公司 | 一种车载环视图像的自动拼接方法及显示装置 |
CN113065999B (zh) * | 2019-12-16 | 2023-03-10 | 杭州海康威视数字技术股份有限公司 | 车载全景图生成方法、装置、图像处理设备及存储介质 |
CN113066158B (zh) * | 2019-12-16 | 2023-03-10 | 杭州海康威视数字技术股份有限公司 | 一种车载环视方法及装置 |
CN111080718A (zh) * | 2019-12-23 | 2020-04-28 | 中科院微电子研究所昆山分所 | 一种用于720度环境探测的摄像模组标定方法及设备 |
CN111260729B (zh) * | 2020-01-10 | 2022-08-19 | 格兰菲智能科技有限公司 | 用于车载环视***中鱼眼镜头标定的方法及装置 |
CN111260721B (zh) * | 2020-01-13 | 2023-08-15 | 深圳市美鼎恒自动化科技有限公司 | 远距离多相机对位方法、装置及相关设备 |
CN113212305B (zh) * | 2020-01-21 | 2024-05-31 | 上海赫千电子科技有限公司 | 一种应用于自驾旅游的车顶摄像头***的使用方法 |
CN113212304A (zh) * | 2020-01-21 | 2021-08-06 | 上海赫千电子科技有限公司 | 一种应用于自驾旅游的车顶摄像头*** |
CN111340890B (zh) * | 2020-02-20 | 2023-08-04 | 阿波罗智联(北京)科技有限公司 | 相机外参标定方法、装置、设备和可读存储介质 |
CN113496520B (zh) * | 2020-04-02 | 2024-05-28 | 北京四维图新科技股份有限公司 | 摄像机转俯视图的方法、装置及存储介质 |
TWI778368B (zh) * | 2020-06-08 | 2022-09-21 | 威盛電子股份有限公司 | 車載鏡頭的自動校正方法以及車載鏡頭裝置 |
CN111783597B (zh) * | 2020-06-24 | 2022-12-13 | 中国第一汽车股份有限公司 | 行车轨迹线的标定方法、装置、计算机设备和存储介质 |
CN111899307B (zh) * | 2020-07-30 | 2023-12-29 | 浙江大学 | 一种空间标定方法、电子设备及存储介质 |
CN112102417B (zh) * | 2020-09-15 | 2024-04-19 | 阿波罗智联(北京)科技有限公司 | 确定世界坐标的方法和装置 |
WO2022088103A1 (zh) * | 2020-10-30 | 2022-05-05 | 华为技术有限公司 | 一种图像标定方法及装置 |
CN112270311B (zh) * | 2020-11-25 | 2023-12-19 | 武汉理工大学 | 一种基于车载环视逆投影的近目标快速检测方法及*** |
CN112330755B (zh) * | 2020-11-26 | 2022-09-30 | 展讯通信(上海)有限公司 | 环视***的标定评价方法及装置、存储介质、终端 |
CN112465915A (zh) * | 2020-11-26 | 2021-03-09 | 广州敏视数码科技有限公司 | 一种车载环视***标定方法 |
CN112465920A (zh) * | 2020-12-08 | 2021-03-09 | 广州小鹏自动驾驶科技有限公司 | 一种视觉传感器标定方法及装置 |
CN112967344B (zh) * | 2021-03-09 | 2023-12-08 | 阿波罗智联(北京)科技有限公司 | 相机外参标定的方法、设备、存储介质及程序产品 |
CN113240752B (zh) * | 2021-05-21 | 2024-03-22 | 中科创达软件股份有限公司 | 一种内参和外参协同标定方法和装置 |
CN113870357B (zh) * | 2021-09-15 | 2022-08-30 | 福瑞泰克智能***有限公司 | 摄像头外参标定方法、装置、感知设备和存储介质 |
CN117152274B (zh) * | 2023-11-01 | 2024-02-09 | 三一重型装备有限公司 | 掘进机双目摄像头的位姿校正方法及***、可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102364299A (zh) * | 2011-08-30 | 2012-02-29 | 刘桂华 | 一种多个结构光投影三维型面测量头的标定技术 |
CN102930544A (zh) * | 2012-11-05 | 2013-02-13 | 北京理工大学 | 一种车载摄像机的参数标定*** |
CN107767422A (zh) * | 2017-09-18 | 2018-03-06 | 深圳开阳电子股份有限公司 | 一种鱼眼镜头的校正方法、装置及便携式终端 |
CN108596982A (zh) * | 2018-04-24 | 2018-09-28 | 深圳市航盛电子股份有限公司 | 一种简易的车载多目摄像机环视***标定方法及装置 |
CN108765496A (zh) * | 2018-05-24 | 2018-11-06 | 河海大学常州校区 | 一种多视点汽车环视辅助驾驶***及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2938159C (en) * | 2013-02-04 | 2021-07-27 | Valorisation-Recherche, Limited Partnership | Omnistereo imaging |
-
2018
- 2018-12-10 CN CN201811504874.5A patent/CN109712194B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102364299A (zh) * | 2011-08-30 | 2012-02-29 | 刘桂华 | 一种多个结构光投影三维型面测量头的标定技术 |
CN102930544A (zh) * | 2012-11-05 | 2013-02-13 | 北京理工大学 | 一种车载摄像机的参数标定*** |
CN107767422A (zh) * | 2017-09-18 | 2018-03-06 | 深圳开阳电子股份有限公司 | 一种鱼眼镜头的校正方法、装置及便携式终端 |
CN108596982A (zh) * | 2018-04-24 | 2018-09-28 | 深圳市航盛电子股份有限公司 | 一种简易的车载多目摄像机环视***标定方法及装置 |
CN108765496A (zh) * | 2018-05-24 | 2018-11-06 | 河海大学常州校区 | 一种多视点汽车环视辅助驾驶***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109712194A (zh) | 2019-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109712194B (zh) | 车载环视***及其立体标定方法和计算机可读存储介质 | |
CN109741455B (zh) | 一种车载立体全景显示方法、计算机可读存储介质及*** | |
CN111223038B (zh) | 一种车载环视图像的自动拼接方法及显示装置 | |
CN108263283B (zh) | 多编组变角度车辆全景环视***标定及拼接方法 | |
JP5455124B2 (ja) | カメラ姿勢パラメータ推定装置 | |
JP5739584B2 (ja) | 車両周辺視角化のための3次元映像合成装置およびその方法 | |
CN105825475B (zh) | 基于单摄像头的360度全景影像生成方法 | |
JP5944687B2 (ja) | 外因パラメータのみのサラウンドビューカメラ自動較正 | |
CN110363819B (zh) | 智能汽车中图像采集设备标定的方法和相关设备 | |
WO2022088103A1 (zh) | 一种图像标定方法及装置 | |
JP2008193188A (ja) | カメラ校正装置及び方法並びに車両 | |
CN113362228A (zh) | 基于改进畸变校正和标记拼接的环视图像拼接方法及*** | |
CN108596982A (zh) | 一种简易的车载多目摄像机环视***标定方法及装置 | |
CN106994936A (zh) | 一种3d全景泊车辅助*** | |
CN106060427A (zh) | 基于单摄像头的全景成像方法及其装置 | |
CN115239922A (zh) | 基于双目相机的ar-hud三维坐标重建方法 | |
CN111382591B (zh) | 一种双目相机测距校正方法及车载设备 | |
CN113658262B (zh) | 相机外参标定方法、装置、***及存储介质 | |
CN111640062A (zh) | 一种车载环视图像的自动拼接方法 | |
JP2023505891A (ja) | 環境のトポグラフィを測定するための方法 | |
CN111627067B (zh) | 一种双目相机的标定方法及车载设备 | |
CN116740192A (zh) | 一种车载环视***的标定方法、标定***及智能汽车 | |
CN110246184B (zh) | 一种车载相机外参确定方法、装置、设备及*** | |
CN114754779B (zh) | 一种定位与建图方法、装置及电子设备 | |
CN113610927B (zh) | 一种avm摄像头参数标定方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |