CN114463439A - 一种基于图像标定技术的车载相机修正方法及装置 - Google Patents
一种基于图像标定技术的车载相机修正方法及装置 Download PDFInfo
- Publication number
- CN114463439A CN114463439A CN202210065258.4A CN202210065258A CN114463439A CN 114463439 A CN114463439 A CN 114463439A CN 202210065258 A CN202210065258 A CN 202210065258A CN 114463439 A CN114463439 A CN 114463439A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- target vehicle
- coordinate system
- mounted camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012937 correction Methods 0.000 title claims abstract description 54
- 238000005516 engineering process Methods 0.000 title claims abstract description 36
- 238000006243 chemical reaction Methods 0.000 claims abstract description 49
- 230000003068 static effect Effects 0.000 claims abstract description 19
- 238000003702 image correction Methods 0.000 claims abstract description 9
- 238000010276 construction Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 14
- 238000005452 bending Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 108091008695 photoreceptors Proteins 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及一种基于图像标定技术的车载相机修正方法及装置,涉及汽车技术领域,该方法包括以下步骤:控制目标车辆处于静止状态,利用目标车辆的车载相机拍摄参照物,获得参照物对应目标车辆的第一方位,构建第一坐标系;控制目标车辆处于行驶状态并经过第一坐标系的原点时,获得参照物对应目标车辆的第二方位,构建第二坐标系;计算获得第二坐标系上坐标与第一坐标系上坐标的转换对应关系;基于转换对应关系,对在目标车辆处于行驶状态时,车载相机拍摄的图像中的物体进行坐标修正。本申请在车辆处于静止状态以及行驶状态下,对参照物进行图像采集,获得对应的坐标转换关系,从而对车载相机进行图像修正,以保障图像采集的方位准确性。
Description
技术领域
本申请涉及汽车技术领域,具体涉及一种基于图像标定技术的车载相机修正方法及装置。
背景技术
当今汽车技术领域,在自动驾驶、倒车影像等功能方面,需要用到AR技术。其工作中需要借助车载相机进行图像获取,但是由于车辆在行驶过程中的上下起伏,会对相机的拍摄视角造成影像,从而造成一定的图像偏差,最终导致对物体的定位出现偏差,不利于自动驾驶以及倒车影像等功能的实施。
因此,为解决图像采集的视角偏差,急需一种车载相机修正技术。
发明内容
本申请提供一种基于图像标定技术的车载相机修正方法及装置,基于图像标定技术,在车辆处于静止状态以及行驶状态下,对参照物进行图像采集,结合建立的坐标系进行比对,获得对应的坐标转换关系,从而在车辆行驶状态下,对车载相机进行图像修正,以保障图像采集的方位准确性。
第一方面,本申请提供了一种基于图像标定技术的车载相机修正方法,所述方法包括以下步骤:
控制目标车辆处于静止状态,在目标车辆所在地面布设多个参照物,利用所述目标车辆的车载相机拍摄所述参照物,获得所述参照物对应所述目标车辆的第一方位,基于所述车载相机拍摄的所述参照物对应所述目标车辆的第一方位以及所述目标车辆的方位,构建第一坐标系;
控制所述目标车辆处于行驶状态并经过所述第一坐标系的原点时,利用所述目标车辆的车载相机拍摄所述参照物,获得所述参照物对应所述目标车辆的第二方位,基于所述车载相机拍摄的所述参照物对应所述目标车辆的第二方位以及所述目标车辆的方位,构建第二坐标系;
基于同一所述参照物在所述第一坐标系和所述第二坐标系上的坐标之间的关系,计算获得所述第二坐标系上坐标与所述第一坐标系上坐标的转换对应关系;
向所述目标车辆配置所述转换对应关系,基于所述转换对应关系,对在所述目标车辆处于行驶状态时,所述车载相机拍摄的图像中的物体进行坐标修正;其中,
所述第一坐标系以及所述第二坐标系中的原点相同,且均为所述目标车辆的方位。
具体的,所述控制目标车辆处于静止状态,在目标车辆所在地面布设多个参照物,利用所述目标车辆的车载相机拍摄所述参照物,获得所述参照物对应所述目标车辆的第一方位,基于所述车载相机拍摄的所述参照物对应所述目标车辆的第一方位以及所述目标车辆的方位,构建第一坐标系中,包括以下步骤:
控制目标车辆处于静止状态,在目标车辆所在地面布设多个参照物;
利用所述目标车辆的车载相机拍摄所述参照物,获取多个所述参照物的第一拍摄坐标以及所述目标车辆的实际坐标;
根据多个所述参照物的第一拍摄坐标以及所述目标车辆的实际坐标,构建所述第一坐标系。
具体的,所述利用所述目标车辆的车载相机拍摄所述参照物,获得所述参照物对应所述目标车辆的方位,基于所述车载相机拍摄的所述参照物对应所述目标车辆的方位以及所述目标车辆的方位,构建第二坐标系中,包括以下步骤:
所述利用所述目标车辆的车载相机拍摄所述参照物;
获得所述车载相机拍摄获得的所述参照物对应所述目标车辆的方位;
以所述目标车辆为原点,基于所述车载相机拍摄的所述参照物对应所述目标车辆的方位,计算获得所述参照物的第二拍摄坐标;
基于所述目标车辆的实际坐标以及所述参照物的所述第二拍摄坐标,构建第二坐标系。
进一步的,对在所述目标车辆处于行驶状态时,所述车载相机拍摄的图像中的物体进行坐标修正之后,所述方法还包括以下步骤:
获得坐标修正后的图像;
基于坐标修正后的图像,进行AR图像构建。
具体的,所述转换对应关系对应一坐标转换公式;
所述坐标转换公式为:
uv'=K*R-1*K-1*uv;其中,
uv为修正前图像坐标,K为车载相机内参系数,R为车辆姿态参数,uv'为修正后图像坐标。
第二方面,本申请提供了一种基于图像标定技术的车载相机修正装置,所述装置包括:
第一坐标系建立模块,其用于基于目标车辆处于静止状态时,通过车载相机拍摄预设的多个参照物,获得所述参照物对应所述目标车辆的第一方位以及所述目标车辆的方位,构建第一坐标系;
第二坐标系建立模块,其用于基于所述目标车辆并经过所述第一坐标系的原点时,通过车载相机拍摄预设的多个参照物,获得所述参照物对应所述目标车辆的第二方位以及所述目标车辆的方位,构建第二坐标系;
坐标换算模块,其用于基于同一所述参照物在所述第一坐标系和所述第二坐标系上的坐标之间的关系,计算获得所述第二坐标系上坐标与所述第一坐标系上坐标的转换对应关系;
图像修正模块,其用于基于所述转换对应关系,对在所述目标车辆处于行驶状态时,所述车载相机拍摄的图像中的物体进行坐标修正;其中,
所述第一坐标系以及所述第二坐标系中的原点相同,且均为所述目标车辆的方位。
进一步的,所述第一坐标系建立模块还用于获取基于目标车辆处于静止状态时,通过车载相机拍摄的预设的多个所述参照物的第一拍摄坐标以及所述目标车辆的实际坐标;
所述第一坐标系建立模块还用于根据多个所述参照物的第一拍摄坐标以及所述目标车辆的实际坐标,构建所述第一坐标系。
进一步的,所述第二坐标系建立模块还用于基于所述目标车辆并经过所述第一坐标系的原点时,通过车载相机拍摄预设的多个参照物,获得所述参照物对应所述目标车辆的方位;
所述第二坐标系建立模块还用于以所述目标车辆为原点,基于所述车载相机拍摄的所述参照物对应所述目标车辆的方位,计算获得所述参照物的第二拍摄坐标;
所述第二坐标系建立模块还用于基于所述目标车辆的实际坐标以及所述参照物的所述第二拍摄坐标,构建第二坐标系。
进一步的,所述装置还包括:
AR构建模块,其用于基于坐标修正后的图像,进行AR图像构建。
具体的,所述坐标换算模块配置一坐标转换公式;
所述坐标转换公式为:
uv'=K*R-1*K-1*uv;其中,
uv为修正前图像坐标,K为车载相机内参系数,R为车辆姿态参数,uv'为修正后图像坐标。
本申请提供的技术方案带来的有益效果包括:
本申请基于图像标定技术,在车辆处于静止状态以及行驶状态下,对参照物进行图像采集,结合建立的坐标系进行比对,获得对应的坐标转换关系,从而在车辆行驶状态下,对车载相机进行图像修正,以保障图像采集的方位准确性。
附图说明
术语解释:
AR:Augmented Reality,增强现实技术;
IMU:Inertial Measurement Unit,惯性测量单元。
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例中提供的基于图像标定技术的车载相机修正方法的步骤流程图;
图2为本申请实施例中提供的基于图像标定技术的车载相机修正方法的参照物设定示意图;
图3为本申请实施例中提供的基于图像标定技术的车载相机修正方法的地面偏差示意图;
图4为本申请实施例中提供的基于图像标定技术的车载相机修正方法的R矩阵的原理示意图;
图5为本申请实施例中提供的基于图像标定技术的车载相机修正装置的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图对本申请的实施例作进一步详细说明。
本申请实施例提供一种基于图像标定技术的车载相机修正方法及装置,基于图像标定技术,在车辆处于静止状态以及行驶状态下,对参照物进行图像采集,结合建立的坐标系进行比对,获得对应的坐标转换关系,从而在车辆行驶状态下,对车载相机进行图像修正,以保障图像采集的方位准确性。
为达到上述技术效果,本申请的总体思路如下:
一种基于图像标定技术的车载相机修正方法,该方法包括以下步骤:
S1、控制目标车辆处于静止状态,在目标车辆所在地面布设多个参照物,利用目标车辆的车载相机拍摄参照物,获得参照物对应目标车辆的第一方位,基于车载相机拍摄的参照物对应目标车辆的第一方位以及目标车辆的方位,构建第一坐标系;
S2、控制目标车辆处于行驶状态并经过第一坐标系的原点时,利用目标车辆的车载相机拍摄参照物,获得参照物对应目标车辆的第二方位,基于车载相机拍摄的参照物对应目标车辆的第二方位以及目标车辆的方位,构建第二坐标系;
S3、基于同一参照物在第一坐标系和第二坐标系上的坐标之间的关系,计算获得第二坐标系上坐标与第一坐标系上坐标的转换对应关系;
S4、向目标车辆配置转换对应关系,基于转换对应关系,对在目标车辆处于行驶状态时,车载相机拍摄的图像中的物体进行坐标修正;其中,
第一坐标系以及第二坐标系中的原点相同,且均为目标车辆的方位。
以下结合附图对本申请的实施例作进一步详细说明。
第一方面,参见图1~4所示,本申请实施例提供一种基于图像标定技术的车载相机修正方法,该方法包括以下步骤:
S1、控制目标车辆处于静止状态,在目标车辆所在地面布设多个参照物,利用目标车辆的车载相机拍摄参照物,获得参照物对应目标车辆的第一方位,基于车载相机拍摄的参照物对应目标车辆的第一方位以及目标车辆的方位,构建第一坐标系;
S2、控制目标车辆处于行驶状态并经过第一坐标系的原点时,利用目标车辆的车载相机拍摄参照物,获得参照物对应目标车辆的第二方位,基于车载相机拍摄的参照物对应目标车辆的第二方位以及目标车辆的方位,构建第二坐标系;
S3、基于同一参照物在第一坐标系和第二坐标系上的坐标之间的关系,计算获得第二坐标系上坐标与第一坐标系上坐标的转换对应关系;
S4、向目标车辆配置转换对应关系,基于转换对应关系,对在目标车辆处于行驶状态时,车载相机拍摄的图像中的物体进行坐标修正;其中,
第一坐标系以及第二坐标系中的原点相同,且均为目标车辆的方位。
本申请实施例中,基于图像标定技术,在车辆处于静止状态以及行驶状态下,对参照物进行图像采集,结合建立的坐标系进行比对,获得对应的坐标转换关系,从而在车辆行驶状态下,对车载相机进行图像修正,以保障图像采集的方位准确性。
需要说明的是,本申请实施例的技术方案主要用于车辆AR功能中,
故而,本申请实施例的技术方案对应的应用场景具有一定的实时性要求,要求算法不能太复杂,同时缺少精确的位置服务,故采用图像识别的方案解决识别不稳定的缺陷,提出了基于图像标定的方法,使用人工标定地面特征点的方法,替换算法检测,构建出相机空间的标尺;
使用本申请实施例的技术能够大大提升了运行速度,但是在车辆运行过程中,由于地面不平整,容易出现抬头或者下俯现象;
针对这个问题,本发明根据IMU提供的车辆姿态信息,动态修正标定点,从而避免了检测地面与实际地面不重叠导致的虚拟对象“漂浮”现象。
具体的,所述控制目标车辆处于静止状态,在目标车辆所在地面布设多个参照物,利用所述目标车辆的车载相机拍摄所述参照物,获得所述参照物对应所述目标车辆的第一方位,基于所述车载相机拍摄的所述参照物对应所述目标车辆的第一方位以及所述目标车辆的方位,构建第一坐标系中,包括以下步骤:
控制目标车辆处于静止状态,在目标车辆所在地面布设多个参照物;
利用所述目标车辆的车载相机拍摄所述参照物,获取多个所述参照物的第一拍摄坐标以及所述目标车辆的实际坐标;
根据多个所述参照物的第一拍摄坐标以及所述目标车辆的实际坐标,构建所述第一坐标系。
具体的,所述利用所述目标车辆的车载相机拍摄所述参照物,获得所述参照物对应所述目标车辆的方位,基于所述车载相机拍摄的所述参照物对应所述目标车辆的方位以及所述目标车辆的方位,构建第二坐标系中,包括以下步骤:
所述利用所述目标车辆的车载相机拍摄所述参照物;
获得所述车载相机拍摄获得的所述参照物对应所述目标车辆的方位;
以所述目标车辆为原点,基于所述车载相机拍摄的所述参照物对应所述目标车辆的方位,计算获得所述参照物的第二拍摄坐标;
基于所述目标车辆的实际坐标以及所述参照物的所述第二拍摄坐标,构建第二坐标系。
进一步的,对在所述目标车辆处于行驶状态时,所述车载相机拍摄的图像中的物体进行坐标修正之后,所述方法还包括以下步骤:
获得坐标修正后的图像;
基于坐标修正后的图像,进行AR图像构建。
具体的,所述转换对应关系对应一坐标转换公式;
所述坐标转换公式为:
uv'=K*R-1*K-1*uv;其中,
uv为修正前图像坐标,K为车载相机内参系数,R为车辆姿态参数,uv'为修正后图像坐标。
本申请实施例在具体实施时,包括以下操作流程:
第一步,如说明书附图的图2所示:
以车辆为原点,在地面上的不同坐标位置放置醒目的红色点,这些红点拍摄在图像上,形成了图像坐标系中的标尺点;
基于图像坐标系对应的标尺,可计算出图像上标尺范围内任意一点的实际位置坐标;
坐标计算方法:找到该点最近的4个标尺点,根据线性插值公式计算该点的坐标。
第二步,如说明书附图的图3所示:
由于车辆运动过程中的抬头或者下俯现行,导致照片中的地面与标定时的地面发生了位移,所以需要重新计算图像标尺;
坐标转换公式为:uv'=K*R-1*K-1*uv;
其中,uv为修正前图像坐标,K为车载相机内参系数,R为车辆姿态参数,uv'为修正后图像坐标。
uv一般描述图像坐标系下的坐标,它的单位为像素,图像的左上角为坐标原点,右下角为(w,h),w为图像的宽,h为图像的高,例如w=1920,h=1080;
K指的是相机的内参矩阵,和镜头和感光器有关,描述了像素坐标和相机坐标的关系,K的计算公式如下:
K矩阵中的各个参数(s除外)单位也是像素,s通常=0;
其中,fx、s、x0、fy以及y0都是相机的内参;
fx是水平(图像宽)方向的焦距;
fy是垂直(图像高)方向的焦距;
x0和y0分别是光心的水平垂直坐标;
s为skew,表示感光器和透镜可能有一定的旋转,不是完全的正对,当s=0时,则表示感光器正对透镜。
相机坐标和像素坐标的计算关系如下:
其中Zc=1,是相机空间的坐标,指的是眼睛从相机的位置视角观察世界的样子,z轴向前,x轴向右,y轴向下,它的含义可以这样理解:在如下的小孔成像过程中,世界的万物被小孔(镜头)倒立在另一侧,如果Zc=1,相当于物体被等比例缩小在一个纸片中,纸片和小孔的距离就是Zc;
相机坐标(纸片上的坐标,Zc=1)通常比较小,和物体被缩小到这个纸片上了一样;
K矩阵就是这个相机空间和像素坐标的转换关系。
上述过程C=K-1*uv,计算出相机空间的坐标C后,R指的是惯导给出的车辆位置姿态,简单的理解就是车辆的抬头或者下扣的数学量,乘以它的逆之后就消除了车辆的俯仰颠簸的影响,得到了车辆在水平情况下的相机坐标;
再由K计算到像素坐标,就得到了修正后的像素位置。uv'=K*R-1*K-1*uv,矩阵的计算从右往左依次进行,原始uv,左乘K逆,得到原始的相机空间坐标,左乘R逆,消除车辆的俯仰角度,得到车辆水平下的相机空间,左乘K之后得到新的像素坐标。
另外,当R=单位矩阵E的情况,即俯仰角=0,E*K=K,就存在的消除的情况,最后的结果肯定也是uv‘=uv,当有俯仰角时,不会消除;矩阵运算不支持交换律,左乘和右乘的结果也是不一样的,必须严格按照顺序计算。
如说明书的图4所示,对R矩阵进行补充说明:
R矩阵同样是3*3的矩阵,表示旋转矩阵,它实际由三个轴的旋转组成:roll、pitch和yaw,惯导传感器直接给出了这三个旋转分量,可计算出旋转矩阵,本申请实施例只用到了pitch,对应下方公式中的β;
其中,
需要说明的是,本申请实施例中,K是像素坐标和相机坐标的中间运算矩阵,R是车辆姿态的旋转矩阵,对应的计算过程如下:
(1)图像上某个像素坐标为UV,像素是归一化的坐标,故而对应只有x坐标和y坐标,再加上z=1,即为(u,v,1),左乘K-1得到该像素的相机坐标点(cx,cy,cz);
(2)相机坐标点((cx,cy,cz)左乘R-1,得到修正俯仰角后的新位置(cx’,cy’,cz’);
(3)(cx’,cy’,cz’)左乘R,得到新的像素坐标(u’,v’,w’),归一化w之后得到新的像素坐标(u’/w’,v’/w’)。
第二步,交通流融合:
根据障碍车相对于本车的位置和修正后的标尺,线性插值计算出对应的图像坐标,并在该图像坐标按照AR的通用方法进行图像融合。
另外,给出一种基于本申请实施例的技术方案,给出一种对应的操作流程,称之为一种基于图像标定技术的AR构建方法,该方法包括以下流程:
A1、利用车载相机拍摄实时图像,获得障碍车在第二坐标系上的坐标;
A2、基于所述第二坐标系上坐标与所述第一坐标系上坐标的转换对应关系,进行修正,获得所述障碍车对应在第一坐标系上的坐标;
A3、基于所述实时图像的图像数据、交通数据流以及所述障碍车对应在第一坐标系上的坐标,进行AR构建。
其中,交通数据流包含当前交通基本参数,诸如道路参数、障碍车行驶参数,作为后期AR构建的数据基础。
第二方面,参见图5所示,本申请实施例提供一种基于图像标定技术的车载相机修正装置,该装置包括:
第一坐标系建立模块,其用于基于目标车辆处于静止状态时,通过车载相机拍摄预设的多个参照物,获得所述参照物对应所述目标车辆的第一方位以及所述目标车辆的方位,构建第一坐标系;
第二坐标系建立模块,其用于基于所述目标车辆并经过所述第一坐标系的原点时,通过车载相机拍摄预设的多个参照物,获得所述参照物对应所述目标车辆的第二方位以及所述目标车辆的方位,构建第二坐标系;
坐标换算模块,其用于基于同一所述参照物在所述第一坐标系和所述第二坐标系上的坐标之间的关系,计算获得所述第二坐标系上坐标与所述第一坐标系上坐标的转换对应关系;
图像修正模块,其用于基于所述转换对应关系,对在所述目标车辆处于行驶状态时,所述车载相机拍摄的图像中的物体进行坐标修正;其中,
所述第一坐标系以及所述第二坐标系中的原点相同,且均为所述目标车辆的方位。
本申请实施例中,基于图像标定技术,在车辆处于静止状态以及行驶状态下,对参照物进行图像采集,结合建立的坐标系进行比对,获得对应的坐标转换关系,从而在车辆行驶状态下,对车载相机进行图像修正,以保障图像采集的方位准确性。
需要说明的是,本申请实施例的技术方案主要用于车辆AR功能中,
故而,本申请实施例的技术方案对应的应用场景具有一定的实时性要求,要求算法不能太复杂,同时缺少精确的位置服务,故采用图像识别的方案解决识别不稳定的缺陷,提出了基于图像标定的方法,使用人工标定地面特征点的方法,替换算法检测,构建出相机空间的标尺;
使用本申请实施例的技术能够大大提升了运行速度,但是在车辆运行过程中,由于地面不平整,容易出现抬头或者下俯现象;
针对这个问题,本发明根据IMU提供的车辆姿态信息,动态修正标定点,从而避免了检测地面与实际地面不重叠导致的虚拟对象“漂浮”现象。
进一步的,所述第一坐标系建立模块还用于获取基于目标车辆处于静止状态时,通过车载相机拍摄的预设的多个所述参照物的第一拍摄坐标以及所述目标车辆的实际坐标;
所述第一坐标系建立模块还用于根据多个所述参照物的第一拍摄坐标以及所述目标车辆的实际坐标,构建所述第一坐标系。
进一步的,所述第二坐标系建立模块还用于基于所述目标车辆并经过所述第一坐标系的原点时,通过车载相机拍摄预设的多个参照物,获得所述参照物对应所述目标车辆的方位;
所述第二坐标系建立模块还用于以所述目标车辆为原点,基于所述车载相机拍摄的所述参照物对应所述目标车辆的方位,计算获得所述参照物的第二拍摄坐标;
所述第二坐标系建立模块还用于基于所述目标车辆的实际坐标以及所述参照物的所述第二拍摄坐标,构建第二坐标系。
进一步的,所述装置还包括:
AR构建模块,其用于基于坐标修正后的图像,进行AR图像构建。
具体的,所述坐标换算模块配置一坐标转换公式;
所述坐标转换公式为:uv'=K*R-1*K-1*uv;其中,
uv为修正前图像坐标,K为车载相机内参系数,R为车辆姿态参数,uv'为修正后图像坐标。
本申请实施例在具体实施时,包括以下工作流程:
第一步,标尺构建:
以车辆为原点,在地面上的不同坐标位置放置醒目的红色点,这些红点拍摄在图像上,形成了图像坐标系中的标尺点;
基于图像坐标系对应的标尺,可计算出图像上标尺范围内任意一点的实际位置坐标;
坐标计算方法:找到该点最近的4个标尺点,根据线性插值公式计算该点的坐标。
第二步,坐标换算:
由于车辆运动过程中的抬头或者下俯现行,导致照片中的地面与标定时的地面发生了位移,所以需要重新计算图像标尺;
uv'=K*R-1*K-1*uv;其中,
uv为修正前图像坐标,K为车载相机内参系数,R为车辆姿态参数,uv'为修正后图像坐标。
第二步,交通流融合:
根据障碍车相对于本车的位置和修正后的标尺,线性插值计算出对应的图像坐标,并在该图像坐标按照AR的通用方法进行图像融合。
另外,给出一种基于本申请实施例的技术方案,给出一种对应的操作流程,称之为一种基于图像标定技术的AR构建装置,该装置包括:
坐标获取模块,其用于接收车载相机拍摄的实时图像,获得障碍车在第二坐标系上的坐标;
坐标修正模块,其用于基于所述第二坐标系上坐标与所述第一坐标系上坐标的转换对应关系,进行修正,获得所述障碍车对应在第一坐标系上的坐标;
AR构建模块,其用于基于所述实时图像的图像数据、交通数据流以及所述障碍车对应在第一坐标系上的坐标,进行AR构建。
其中,交通数据流包含当前交通基本参数,诸如道路参数、障碍车行驶参数,作为后期AR构建的数据基础。
需要说明的是,在本申请中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于图像标定技术的车载相机修正方法,其特征在于,所述方法包括以下步骤:
控制目标车辆处于静止状态,在目标车辆所在地面布设多个参照物,利用所述目标车辆的车载相机拍摄所述参照物,获得所述参照物对应所述目标车辆的第一方位,基于所述车载相机拍摄的所述参照物对应所述目标车辆的第一方位以及所述目标车辆的方位,构建第一坐标系;
控制所述目标车辆处于行驶状态并经过所述第一坐标系的原点时,利用所述目标车辆的车载相机拍摄所述参照物,获得所述参照物对应所述目标车辆的第二方位,基于所述车载相机拍摄的所述参照物对应所述目标车辆的第二方位以及所述目标车辆的方位,构建第二坐标系;
基于同一所述参照物在所述第一坐标系和所述第二坐标系上的坐标之间的关系,计算获得所述第二坐标系上坐标与所述第一坐标系上坐标的转换对应关系;
向所述目标车辆配置所述转换对应关系,基于所述转换对应关系,对在所述目标车辆处于行驶状态时,所述车载相机拍摄的图像中的物体进行坐标修正;其中,
所述第一坐标系以及所述第二坐标系中的原点相同,且均为所述目标车辆的方位。
2.如权利要求1所述的基于图像标定技术的车载相机修正方法,其特征在于,所述控制目标车辆处于静止状态,在目标车辆所在地面布设多个参照物,利用所述目标车辆的车载相机拍摄所述参照物,获得所述参照物对应所述目标车辆的第一方位,基于所述车载相机拍摄的所述参照物对应所述目标车辆的第一方位以及所述目标车辆的方位,构建第一坐标系中,包括以下步骤:
控制目标车辆处于静止状态,在目标车辆所在地面布设多个参照物;
利用所述目标车辆的车载相机拍摄所述参照物,获取多个所述参照物的第一拍摄坐标以及所述目标车辆的实际坐标;
根据多个所述参照物的第一拍摄坐标以及所述目标车辆的实际坐标,构建所述第一坐标系。
3.如权利要求1所述的基于图像标定技术的车载相机修正方法,其特征在于,所述利用所述目标车辆的车载相机拍摄所述参照物,获得所述参照物对应所述目标车辆的方位,基于所述车载相机拍摄的所述参照物对应所述目标车辆的方位以及所述目标车辆的方位,构建第二坐标系中,包括以下步骤:
所述利用所述目标车辆的车载相机拍摄所述参照物;
获得所述车载相机拍摄获得的所述参照物对应所述目标车辆的方位;
以所述目标车辆为原点,基于所述车载相机拍摄的所述参照物对应所述目标车辆的方位,计算获得所述参照物的第二拍摄坐标;
基于所述目标车辆的实际坐标以及所述参照物的所述第二拍摄坐标,构建第二坐标系。
4.如权利要求1所述的基于图像标定技术的车载相机修正方法,其特征在于,对在所述目标车辆处于行驶状态时,所述车载相机拍摄的图像中的物体进行坐标修正之后,所述方法还包括以下步骤:
获得坐标修正后的图像;
基于坐标修正后的图像,进行AR图像构建。
5.如权利要求2所述的基于图像标定技术的车载相机修正方法,其特征在于,所述转换对应关系对应一坐标转换公式;
所述坐标转换公式为:
uv'=K*R-1*K-1*uv;其中,
uv为修正前图像坐标,K为车载相机内参系数,R为车辆姿态参数,uv'为修正后图像坐标。
6.一种基于图像标定技术的车载相机修正装置,其特征在于,所述装置包括:
第一坐标系建立模块,其用于基于目标车辆处于静止状态时,通过车载相机拍摄预设的多个参照物,获得所述参照物对应所述目标车辆的第一方位以及所述目标车辆的方位,构建第一坐标系;
第二坐标系建立模块,其用于基于所述目标车辆并经过所述第一坐标系的原点时,通过车载相机拍摄预设的多个参照物,获得所述参照物对应所述目标车辆的第二方位以及所述目标车辆的方位,构建第二坐标系;
坐标换算模块,其用于基于同一所述参照物在所述第一坐标系和所述第二坐标系上的坐标之间的关系,计算获得所述第二坐标系上坐标与所述第一坐标系上坐标的转换对应关系;
图像修正模块,其用于基于所述转换对应关系,对在所述目标车辆处于行驶状态时,所述车载相机拍摄的图像中的物体进行坐标修正;其中,
所述第一坐标系以及所述第二坐标系中的原点相同,且均为所述目标车辆的方位。
7.如权利要求6所述的基于图像标定技术的车载相机修正装置,其特征在于:
所述第一坐标系建立模块还用于获取基于目标车辆处于静止状态时,通过车载相机拍摄的预设的多个所述参照物的第一拍摄坐标以及所述目标车辆的实际坐标;
所述第一坐标系建立模块还用于根据多个所述参照物的第一拍摄坐标以及所述目标车辆的实际坐标,构建所述第一坐标系。
8.如权利要求6所述的基于图像标定技术的车载相机修正装置,其特征在于:
所述第二坐标系建立模块还用于基于所述目标车辆并经过所述第一坐标系的原点时,通过车载相机拍摄预设的多个参照物,获得所述参照物对应所述目标车辆的方位;
所述第二坐标系建立模块还用于以所述目标车辆为原点,基于所述车载相机拍摄的所述参照物对应所述目标车辆的方位,计算获得所述参照物的第二拍摄坐标;
所述第二坐标系建立模块还用于基于所述目标车辆的实际坐标以及所述参照物的所述第二拍摄坐标,构建第二坐标系。
9.如权利要求6所述的基于图像标定技术的车载相机修正装置,其特征在于,所述装置还包括:
AR构建模块,其用于基于坐标修正后的图像,进行AR图像构建。
10.如权利要求7所述的基于图像标定技术的车载相机修正装置,其特征在于,所述坐标换算模块配置一坐标转换公式;
所述坐标转换公式为:
uv'=K*R-1*K-1*uv;其中,
uv为修正前图像坐标,K为车载相机内参系数,R为车辆姿态参数,uv'为修正后图像坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210065258.4A CN114463439B (zh) | 2022-01-18 | 2022-01-18 | 一种基于图像标定技术的车载相机修正方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210065258.4A CN114463439B (zh) | 2022-01-18 | 2022-01-18 | 一种基于图像标定技术的车载相机修正方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114463439A true CN114463439A (zh) | 2022-05-10 |
CN114463439B CN114463439B (zh) | 2023-04-11 |
Family
ID=81408834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210065258.4A Active CN114463439B (zh) | 2022-01-18 | 2022-01-18 | 一种基于图像标定技术的车载相机修正方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114463439B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120246953A1 (en) * | 2009-10-06 | 2012-10-04 | Thomas Engel | Coordinate measuring device having positional change sensors |
CN103529838A (zh) * | 2013-09-23 | 2014-01-22 | 南京航空航天大学 | 自动导引车的多目视觉导引驱动装置及其协同标定方法 |
CN107878561A (zh) * | 2017-09-26 | 2018-04-06 | 惠州市德赛西威汽车电子股份有限公司 | 一种动态倒车轨迹线描画方法及其装置 |
CN109427077A (zh) * | 2017-08-29 | 2019-03-05 | 安波福电子(苏州)有限公司 | 一种用于标定汽车环视***的处理器 |
CN109764858A (zh) * | 2018-12-24 | 2019-05-17 | 中公高科养护科技股份有限公司 | 一种基于单目相机的摄影测量方法及*** |
CN109903341A (zh) * | 2019-01-25 | 2019-06-18 | 东南大学 | 一种车载摄像机外参动态自标定方法 |
JP2019120629A (ja) * | 2018-01-10 | 2019-07-22 | 三菱電機株式会社 | 位置計算装置、位置計算プログラム及び座標マーカ |
CN110827358A (zh) * | 2019-10-15 | 2020-02-21 | 深圳数翔科技有限公司 | 一种应用于自动驾驶汽车的相机标定方法 |
CN112102413A (zh) * | 2020-07-22 | 2020-12-18 | 西安交通大学 | 一种基于虚车道线的车载相机自动标定方法 |
CN112720457A (zh) * | 2020-12-03 | 2021-04-30 | 深圳众为兴技术股份有限公司 | 机器人标定方法、装置、电子设备及存储介质 |
CN113870357A (zh) * | 2021-09-15 | 2021-12-31 | 福瑞泰克智能***有限公司 | 摄像头外参标定方法、装置、感知设备和存储介质 |
-
2022
- 2022-01-18 CN CN202210065258.4A patent/CN114463439B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120246953A1 (en) * | 2009-10-06 | 2012-10-04 | Thomas Engel | Coordinate measuring device having positional change sensors |
CN103529838A (zh) * | 2013-09-23 | 2014-01-22 | 南京航空航天大学 | 自动导引车的多目视觉导引驱动装置及其协同标定方法 |
CN109427077A (zh) * | 2017-08-29 | 2019-03-05 | 安波福电子(苏州)有限公司 | 一种用于标定汽车环视***的处理器 |
CN107878561A (zh) * | 2017-09-26 | 2018-04-06 | 惠州市德赛西威汽车电子股份有限公司 | 一种动态倒车轨迹线描画方法及其装置 |
JP2019120629A (ja) * | 2018-01-10 | 2019-07-22 | 三菱電機株式会社 | 位置計算装置、位置計算プログラム及び座標マーカ |
CN109764858A (zh) * | 2018-12-24 | 2019-05-17 | 中公高科养护科技股份有限公司 | 一种基于单目相机的摄影测量方法及*** |
CN109903341A (zh) * | 2019-01-25 | 2019-06-18 | 东南大学 | 一种车载摄像机外参动态自标定方法 |
CN110827358A (zh) * | 2019-10-15 | 2020-02-21 | 深圳数翔科技有限公司 | 一种应用于自动驾驶汽车的相机标定方法 |
CN112102413A (zh) * | 2020-07-22 | 2020-12-18 | 西安交通大学 | 一种基于虚车道线的车载相机自动标定方法 |
CN112720457A (zh) * | 2020-12-03 | 2021-04-30 | 深圳众为兴技术股份有限公司 | 机器人标定方法、装置、电子设备及存储介质 |
CN113870357A (zh) * | 2021-09-15 | 2021-12-31 | 福瑞泰克智能***有限公司 | 摄像头外参标定方法、装置、感知设备和存储介质 |
Non-Patent Citations (3)
Title |
---|
JIAYI LI 等: "Deep neural network for remote-sensing image interpretation: status and perspectives", 《GEOSCIENCES》 * |
陆林东: "基于计算机视觉的前方车辆位姿估计方法研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 * |
高力 等: "车载前视序列影像动态标定技术研究", 《绘测技术装备》 * |
Also Published As
Publication number | Publication date |
---|---|
CN114463439B (zh) | 2023-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6612297B2 (ja) | 道路の垂直輪郭検出 | |
KR101592740B1 (ko) | 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법 | |
US11393126B2 (en) | Method and apparatus for calibrating the extrinsic parameter of an image sensor | |
JP3868876B2 (ja) | 障害物検出装置及び方法 | |
CN109155066B (zh) | 用于机动车辆的环境区域的两个图像之间的运动估计的方法,计算装置,驾驶员辅助***以及机动车辆 | |
JP4555876B2 (ja) | 車載カメラのキャリブレーション方法 | |
JP6354425B2 (ja) | 車載カメラの取り付け姿勢検出方法およびその装置 | |
JP4975592B2 (ja) | 撮像装置 | |
US20110216194A1 (en) | Camera calibration apparatus | |
US20140104424A1 (en) | Imaging surface modeling for camera modeling and virtual view synthesis | |
CN112489136B (zh) | 标定方法、位置确定方法、装置、电子设备及存储介质 | |
CN102163331A (zh) | 采用标定方法的图像辅助*** | |
TW201403553A (zh) | 自動校正鳥瞰影像方法 | |
JP5959311B2 (ja) | データ導出装置、及び、データ導出方法 | |
CN109074480B (zh) | 用于检测机动车辆的环境区域的图像中的滚动快门效应的方法、计算装置、驾驶员辅助***以及机动车辆 | |
US10453173B2 (en) | Panel transform | |
TW201443827A (zh) | 鏡頭影像校正系統及鏡頭影像校正方法 | |
EP3326146B1 (en) | Rear cross traffic - quick looks | |
JPH09223227A (ja) | 車両用環境認識装置 | |
CN109345591A (zh) | 一种车辆自身姿态检测方法和装置 | |
JP2018136739A (ja) | キャリブレーション装置 | |
CN111260538B (zh) | 基于长基线双目鱼眼相机的定位及车载终端 | |
CN114463439B (zh) | 一种基于图像标定技术的车载相机修正方法及装置 | |
KR20170114523A (ko) | Avm용 주행 자동 공차 보정 장치 및 방법 | |
EP3389015A1 (en) | Roll angle calibration method and roll angle calibration device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |