CN104517283B - 用于车辆上摄像机的在线校准的***、车辆和方法 - Google Patents
用于车辆上摄像机的在线校准的***、车辆和方法 Download PDFInfo
- Publication number
- CN104517283B CN104517283B CN201410496131.3A CN201410496131A CN104517283B CN 104517283 B CN104517283 B CN 104517283B CN 201410496131 A CN201410496131 A CN 201410496131A CN 104517283 B CN104517283 B CN 104517283B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- camera
- video camera
- parameter
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013519 translation Methods 0.000 claims abstract description 45
- 238000012552 review Methods 0.000 claims abstract description 24
- 238000013507 mapping Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及用于车辆上摄像机的在线校准的***、车辆和方法。用于车辆(1)上摄像机(2、3、4)的在线校准的方法被提供。摄像机(2、3、4)在摄像机图像坐标系中具有摄像机旋转参数、θ、ψ与摄像机平移参数xc、yc、zc,并且车辆具有车辆坐标系。所述方法包括:在车辆(1)相对于地面移动的同时,使用平行几何方法校准摄像机旋转参数、θ、ψ,并独立于摄像机旋转参数、θ、ψ校准摄像机平移参数xc、yc。
Description
技术领域
本发明涉及用于车辆(vehicle)上摄像机(camera)的在线校准(calibration)的***、车辆和方法。
背景技术
一辆车可能包括一个或更多个用于捕获其周围环境的图像的摄像机。所述图像可用于检测诸如路上的车道或交通标志的目标的存在,或可给驾驶员提供车辆的紧接附近的视图(view)。车辆的紧接附近的视图可用于在停车时辅助驾驶员,或可用于提高安全性,因为驾驶员能够观看到在正常驾驶位置中对他遮挡住的区域。还可从捕获的一张或多张图像检测危险或隐患,并然后给驾驶员提供警告,或者可结合驾驶员辅助***使用该信息,以有效地控制车辆并避免危险。
典型地,在车辆上提供几个摄像机,例如四个。来自每个摄像机的图像可被组合,以提供顶视图(也称为鸟瞰图)或全景图的形式的360°图像。为了提供不间断的360°视图,来自相邻摄像机(例如前摄像机和侧摄像机)的图像可彼此重叠。
可对摄像机进行校准以确定摄像机相对于其周围环境的位置和取向。对车辆而言,可确定摄像机相对于已知基准(datum)(例如前轴中心)的位置和取向,以便来自摄像机的图像可被用于例如将多个摄像机视图准确组合成单个环绕视图并准确确定障碍物的范围。
可在车辆制造期间执行摄像机的校准。但是,已开发出了在车辆驾驶的同时自动校准摄像机的***,以补偿在车辆寿命内可能出现的未对准,或在其制造之后对安装在车辆上的摄像机的位置进行校准。例如,DE 10 2009 057 996 A1公开了用于确定摄像机相对于车辆位置的位置的***。这样的在车辆移动的同时对摄像机进行校准的***可被称为在线校准***。
发明内容
本发明的目的是提供一种用于车辆上摄像机的在线校准的方法和***,其使得能够进行准确的校准,并且其可使用较少的处理资源被执行。
通过独立权利要求的主题解决了这一目的。进一步的有利特征是从属权利要求的主题。
一种用于车辆上摄像机的在线校准的方法被提供。摄像机在摄像机图像坐标系中具有摄像机旋转参数、θ、ψ以及摄像机平移参数x、y、z,并且车辆具有车辆坐标系。所述方法包括:在车辆相对于地面移动的同时,使用平行几何方法校准摄像机旋转参数、θ、ψ,并且独立于摄像机旋转参数、θ、ψ校准摄像机平移参数xc、yc。
摄像机旋转参数通过欧拉角、θ、ψ表示,而摄像机平移参数通过笛卡尔坐标系xc、yc、zc表示,这里,zc是摄像机在地面之上的高度,xc表示汽车长度上的方向,而yc是汽车宽度上的方向。可使用平行几何方法(诸如WO 2012/143036 A1中公开的平行几何方法)确定摄像机旋转参数、θ、ψ,并且可选地,确定高度zc。
根据本发明,在与摄像机旋转参数、θ、ψ分离的步骤中对摄像机的平移参数xc、yc进行校准。这避免了由于试图同时求解多个独立变量而造成的数据模糊(dataambiguity),其中,如果在单个方法中校准旋转参数和平移参数,则可能出现所述数据模糊。
在一个实施案例中,由于可在不知晓摄像机平移参数xc、yc的情况下实施平行几何方法,因此在第一步骤中使用该方法来校准摄像机旋转参数以及摄像机高度zc。因此,通过首先校准旋转参数、θ、ψ和高度参数zc,并通过在第二独立阶段中校准平移参数xc、yc,来将整个校准分为两个阶段。因此,避免了由于同时求解相互依赖的参数而造成的任何准确度下降。
摄像机可以是每秒捕获许多图像或帧的数字或模拟的视频摄像机。可在显示图像的同时捕获图像并存储数据。可同时地或在收集数据集之后的后来时间执行对图像的分析,以识别图像中的一个或更多个特征并跟踪特征的轨迹。还可收集多个数据集以进一步提高校准的准确度。表示实际的车辆移动的数据(例如车辆速度和换向角(steeringangle))可同时被收集,并与图像和/或从图像获得的数据相关联。
在一实施例中,通过确定相对于车辆坐标系的摄像机平移参数xc、yc的差,并将偏移(offset)施加至摄像机图像坐标系中的平移参数xc、yc,来校准摄像机平移参数xc、yc。计算该偏移以对该差进行补偿。
可在车辆沿弯曲路径移动的同时对摄像机平移参数xc、yc进行校准。因此,在一实施例中,所述方法包括确定车辆正沿弯曲路径移动,并在车辆沿弯曲路径移动的同时对摄像机平移参数xc、yc进行校准。换向盘的位置可从车辆控制单元获得,并被评估以确定车辆正沿直线还是沿弯曲路径行驶。在一些实施例中,仅在车辆正沿弯曲路径移动的同时才可发生对平移参数xc、yc的校准。
在一实施例中,通过确定摄像机图像坐标系中的车辆转向(turning)中心与车辆坐标系中的车辆转向中心之间的差,来对摄像机平移参数xc、yc进行校准。
特别地,可通过跟踪摄像机在一时间段上捕获的至少两个图像中的两个或更多个特征,将所述两个或更多个特征映射到地平面,使弧与映射的特征拟合,并根据弧计算摄像机图像坐标系中的车辆转向中心,来确定摄像机图像坐标系中的车辆转向中心。
可通过测量车辆换向角,并根据车辆换向角计算车辆坐标系中的车辆转向中心,来确定车辆坐标系中的车辆转向中心。
如果摄像机图像坐标系中与车辆坐标系中的车辆转向中心的位置的差被确定,则确定要添加至摄像机平移参数xc、yc的偏移,使得摄像机图像坐标系中的车辆转向中心的位置与车辆坐标系中的车辆转向中心的位置对应。该偏移然后被施加至摄像机平移参数xc、yc。
为了进一步提高校准的准确度,可在车辆沿逆时针弯曲的弯曲路径和沿顺时针弯曲的弯曲路径移动(即,驾驶员正换向至左面或至右面)的同时,对摄像机平移参数xc、yc进行校准。
还可通过在车辆沿具有不同半径的弯曲路径移动的同时(即,在车辆正通过平缓曲线或陡峭曲线移动至左面或至右面时)对摄像机平移参数xc、yc进行校准,来提高校准的准确度。
典型地,用于校准摄像机旋转参数的平行几何方法仅在车辆正沿直线行驶的情况下被执行。因此,在进一步的实施例中,所述方法包括确定车辆正沿直线行驶,并使用平行几何方法校准摄像机旋转参数、θ、ψ。例如,换向盘角度可被用于确定车辆正沿直线行驶。基于平行几何原理的各种方法可被用于确定摄像机旋转参数,以及可选地,确定摄像机高度zc。
在一实施例中,平行几何方法包括:在车辆沿直线行驶的同时,对来自摄像机在一时间段上捕获的至少两个图像的两个或更多个纵向特征进行跟踪,并且调整摄像机旋转,使得从摄像机图像坐标系映射到车辆坐标系时所记录的轨迹平行。
如果要确定摄像机的高度,则这可通过在跟踪纵向特征的同时记录车辆速度、并确定特征在预定时间段中在摄像机图像中已移动的距离来执行。
可通过确定根据摄像机图像测量的距离与根据车辆速度计算的预测距离之间的差,根据该差计算摄像机的高度的偏移,并将该偏移添加至摄像机高度的存储值,来对摄像机的高度进行校准。
还提供了一种计算机程序产品,其包括其上有形地实施的代码,当在处理器上执行所述代码时,使所述处理器执行上述实施例之一的方法。
计算机程序产品可为诸如光驱动器、硬盘、闪存等的数据载体。如果计算机程序要升级或增强现有***,则该实施例可能是有用的。
还可将计算机程序存储在用于图像捕获和/或图像处理的设备或***中的存储器中。如果设备和***被提供以用于安装在车辆中,则可使用该实施例。
提供了一种包括校准单元的***,该校准单元包括:用于从至少一个摄像机接收图像的第一输入装置;用于存储摄像机平移参数xc、yc、zc以及摄像机旋转参数、θ、ψ的存储器;用于接收实际的车辆换向角的第二输入装置;用于接收实际的车辆速度的第三输入装置;以及用于执行上述实施例之一的方法的处理装置。处理装置可包括存储器,该存储器包括有形代码,当通过处理装置执行该有形代码时,使处理装置执行上述实施例之一的方法。
***可进一步包括至少一个摄像机以及用于显示来自摄像机的图像的显示器。
典型地,在车辆上设置几个摄像机,例如四个。来自每个摄像机的图像可被组合,以提供顶视图(也称为鸟瞰图)或全景图的形式的360°图像。典型地,为了提供不间断的360°视图,来自相邻摄像机(例如前摄像机和侧摄像机)的图像彼此重叠。可使用由处理单元实施的另外方法对来自两个或更多个摄像机的图像进行组合。使用这里描述的方法之一对摄像机的校准可被用于去除或减小由不同摄像机捕获的图像内的特征的位置差,以提供“无缝”组合图像。
提供了一种车辆,其包括安装在车辆上的至少一个摄像机和上述实施例之一的***。
附图说明
现在将参照附图对实施例进行描述。
图1示出车辆和车辆坐标系的示意图。
图2示出包括摄像机和用于校准摄像机的***的车辆的示意图。
图3示出用于车辆上摄像机的在线校准的方法的示意图。
图4示出用于校准摄像机平移参数的方法的示意图。
图5示出用于校准摄像机旋转参数的方法的示意图。
具体实施方式
图1示出车辆1和车辆坐标系xv、yv、zv的示意图。车辆坐标系是具有基准的笛卡尔坐标系,在本实施例中基准被取作前轴中心。在车辆坐标系中,方向xv在车辆长度方向上延伸,方向yv在车辆宽度方向上,并且方向zv在车辆高度方向上。由于基准位于前轴中心,因此,-yv延伸至车辆左面,+yv延伸至车辆右面,-xv为前轴的前面,+xv为前轴的后面,+zv在前轴上面,且–zv在前轴下面。
图2示出包括四个摄像机的车辆1的示意侧视图,其中三个摄像机2、3、4示出在车辆1的视图中。摄像机2被定位为捕获车辆前面的环境,摄像机3被定位为捕获面向车辆左侧的环境,摄像机4被定位为捕获车辆后面的环境,并且未示出的摄像机被定位于车辆右手侧以捕获车辆1右面的环境。
摄像机具有广的视野,以便能捕获车辆1的紧接附近的完整360°图像。然而,这里描述的方法可用于具有较小视野的摄像机,可用于包含仅单个摄像机或多于四个摄像机的车辆。
摄像机具有内在参数和外在参数。摄像机外在参数描述摄像机图像坐标系,该摄像机图像坐标系包含三个旋转参数、θ、ψ和三个平移参数xc、yc、zc。三个平移参数xc、yc、zc在图2中示出。
希望摄像机图像坐标系的这些参数与真实世界的那些参数对应,例如,与车辆坐标系的那些参数对应,使得摄像机的图像中所捕获的特征的位置可准确映射到它们在真实世界中的位置。该映射可用于检测车辆附近的目标,例如危险。该信息可用于警告车辆驾驶员,或可被驾驶员辅助***使用,使得车辆驾驶员辅助***自动采取适当行动以避免危险。
当在工厂中将摄像机安装在车辆上时,可对摄像机外在参数(extrinsics)的旋转参数、θ、ψ和平移参数xc、yc、zc进行校准。但是,摄像机外在参数可随时间变动,例如因为摄像机在车辆上的位置稍微地变化,或者,由于摄像机在其制备之后被装配于车辆,因此摄像机可能要求校准。校准摄像机的一种方式是使用在线校准方法在摄像机移动的同时(并且由于摄像机安装在车辆上,因此在车辆移动的同时)对摄像机进行校准。
车辆1包括含有校准单元6的***5,该校准单元6具有耦接至摄像机以使其能接收来自这些摄像机的图像的第一输入端7、以及用于显示来自摄像机的图像的显示器11。校准单元6还包括用于接收实际车辆换向角的第二输入端8、以及用于接收实际车辆速度的第三输入端9。校准单元6还包括用于安装在车辆1上的摄像机2、3、4中的至少一个的在线校准的处理装置10。
图3示出根据第一实施例的用于车辆上摄像机(诸如图2所示的安装在车辆1上的摄像机2、3、4之一)的在线校准的方法20的示意图。
在第一步骤中,在车辆相对于地面移动的同时,使用平行几何方法21(诸如WO2012/143036 A1中公开的平行几何方法)对摄像机旋转参数、θ、ψ进行校准。在第二步骤22中独立于摄像机旋转参数、θ、ψ并且独立于校准摄像机旋转参数的方法21对摄像机平移参数xc、yc进行校准。
可首先执行平行几何方法21,之后执行第二步骤22。因此,在对摄像机旋转参数、θ、ψ进行校准后,执行进一步的校准以对摄像机平移参数xc、yc进行校准。
在方法22中,通过确定相对于车辆坐标系(因此,相对于真实世界)的摄像机平移参数之间的差来对摄像机平移参数xc、yc进行校准。如果差被确定,则将偏移施加给摄像机图像坐标系中的平移参数,以对该差进行补偿。
在车辆沿弯曲路径移动的同时对摄像机平移参数xc、yc、zc进行校准。因此,第二步骤22包括接收来自车辆(例如来自车辆控制单元)的有关车辆速度和换向盘角度的数据23,以便确定车辆正相对于地面沿弯曲路径移动。在步骤24中从摄像机接收图像,并且在步骤25中记录来自车辆的图像和数据。在步骤26中,识别第一图像内的至少两个特征。对同一摄像机收集的后续图像进一步分析,以确定所述两个或更多个特征的位置,并在摄像机在一时间段上捕获的两个或更多个图像上对这些特征的位置进行跟踪。该数据被用于识别摄像机图像坐标系中的车辆转向中心Tc以及车辆坐标系中的车辆转向中心Tv。
图4示出用于确定摄像机图像坐标系中的车辆转向中心Tc及车辆坐标系中的车辆转向中心Tv的方法的示意图。示出了具有后摄像机3的车辆1沿弯曲路径移动。在所示的例子中,确定了针对五个图像的两个特征30、31相对于地面的位置,使弧32、33与图像30、31形成的轨迹中的每一个拟合,并根据这些弧32、33计算车辆转向中心Tc。
来自车辆的有关换向盘角度的实际数据被用于计算车辆坐标系中的车辆转向中心Tv。对摄像机图像坐标系中的车辆转向中心Tc与车辆坐标系中的车辆转向中心Tv之间的位置进行比较,如果存在差34,则该差可被用于计算被施加给摄像机参数xc、yc的偏移35,由此对摄像机平移参数xc、yc进行校准。
回到图3,在用于校准摄像机旋转参数、θ、ψ的平行几何方法21中,在步骤24中收集来自摄像机的数据,并且在步骤25中,在车辆沿直线行驶的同时收集来自车辆的数据。
如果车辆相对于地面沿直线移动,则可通过对摄像机在一时间段上捕获的至少两个图像中的两个或更多个纵向特征进行跟踪,来执行摄像机旋转参数的在线校准。例如,可使用WO 2012/143036 A1中公开的平行几何方法。
调整摄像机旋转、θ、ψ,使得在从摄像机图像坐标系映射至车辆坐标系时,所记录的纵向特征的轨迹平行。这在图5中示出。
图5示出安装在车辆40上的两个摄像机所捕获的图像的示意图。在前摄像机45捕获的图像41中,示出了两个纵向特征42、43,例如路上的车道标记。在后摄像机46捕获的图像44中,捕获到相同的两个纵向特征42’、43’。可以看出,图像41中捕获的纵向特征42、43与图像44中捕获的纵向特征42’、43’的位置之间存在偏移47。由于两个摄像机45、46捕获相同的纵向特征,因此在两个图像41、44中纵向特征的位置应相同。因此,差47可被用于调整摄像机旋转参数,使得在两个图像41、44中纵向特征42、43的位置相同。
也通过在跟踪纵向特征的同时记录车辆速度来使用平行几何方法确定摄像机高度zc。这使得能够确定特征在预定时间段中在摄像机图像中已移动的距离。通过使用三角测量,可确定摄像机高度zc。
也可通过确定从摄像机图像测量的距离与从车辆速度计算的预测距离之间的差,来对摄像机高度zc进行校准。如果该差被确定,则这可被用于计算能添加至存储的摄像机高度值的偏移。
概括而言,在与摄像机旋转参数、θ、ψ的校准分离的方法步骤中对摄像机平移参数xc、yc进行校准,以便避免由于试图同时求解多个独立变量而造成的数据模糊,其中,如果在单个方法中校准旋转参数和平移参数,则可能出现该数据模糊。诸如WO 2012/143036 A1中公开的方法的现有技术平行几何方法可被用于对摄像机旋转参数、θ、ψ进行校准,并且,可选地,可被用于对高度zc进行校准。
Claims (13)
1.一种用于车辆(1)上摄像机(2、3、4)的在线校准的方法,摄像机(2、3、4)在摄像机图像坐标系中具有摄像机旋转参数θ、ψ和摄像机平移参数xc、yc、zc,并且车辆具有车辆坐标系,所述方法包括:
在车辆(1)相对于地面移动的同时,使用平行几何方法校准摄像机旋转参数θ、ψ,
确定车辆(1)正沿弯曲路径移动,以及
在车辆沿弯曲路径移动的同时,独立于摄像机旋转参数θ、ψ校准摄像机平移参数xc、yc,
其中,通过以下步骤来校准摄像机平移参数xc、yc:
跟踪摄像机(2、3、4)在一时间段上捕获的至少两个图像中的两个或更多个特征,
将所述两个或更多个特征映射到地平面,
使弧与映射的特征拟合,
根据弧计算摄像机图像坐标系中的车辆转向中心Tc,
确定车辆换向角,
根据车辆换向角计算车辆坐标系中的车辆转向中心Tv,
确定摄像机图像坐标系中的车辆转向中心Tc与车辆坐标系中的车辆转向中心Tv之间的差,
确定要添加至摄像机平移参数xc、yc以使得摄像机图像坐标系中的车辆转向中心Tc的位置与车辆坐标系中的车辆转向中心Tv的位置对应的偏移,以及
将偏移施加至摄像机平移参数xc、yc。
2.根据权利要求1所述的方法,其特征在于,通过确定摄像机平移参数xc、yc相对于车辆坐标系的差并将偏移施加至摄像机图像坐标系中的平移参数xc、yc,来校准摄像机平移参数xc、yc。
3.根据权利要求1或权利要求2所述的方法,其特征在于,在已校准摄像机旋转参数θ、ψ后,对摄像机平移参数xc、yc进行校准。
4.根据权利要求3所述的方法,其特征在于,在车辆沿逆时针弯曲的弯曲路径和沿顺时针弯曲的弯曲路径移动的同时,对摄像机平移参数xc、yc进行校准。
5.根据权利要求3所述的方法,其特征在于,当车辆沿具有不同半径的弯曲路径移动的同时,对摄像机平移参数xc、yc进行校准。
6.根据权利要求1或权利要求2所述的方法,还包括:确定车辆(1)正沿直线行驶,并使用平行几何方法对摄像机旋转参数θ、ψ进行校准。
7.根据权利要求6所述的方法,其特征在于,所述平行几何方法包括:
在车辆(1)沿直线行驶的同时,对来自摄像机在一时间段上捕获的至少两个图像的两个或更多个纵向特征进行跟踪,
调整摄像机旋转参数,使得当从摄像机图像坐标系映射至车辆坐标系时,所记录的轨迹平行。
8.根据权利要求7所述的方法,还包括:通过在跟踪纵向特征的同时记录车辆(1)的速度,并确定特征在预定时间段中在摄像机图像中已移动的距离,来确定摄像机(2、3、4)的高度zc。
9.根据权利要求8所述的方法,还包括:确定根据摄像机图像测量的距离与根据车辆速度计算的预测距离之间的差,根据所述差计算摄像机的高度zc的偏移,并将所述偏移添加至摄像机的高度zc的存储值。
10.一种计算机可读存储介质,存储有代码,所述代码在处理器上执行时使所述处理器执行权利要求1至9之一所述的方法。
11.一种包括校准单元的***(5),所述校准单元包括:
第一输入装置(7),用于从至少一个摄像机(2、3、4)接收图像,
存储器,用于存储摄像机平移参数xc、yc、zc和摄像机旋转参数0、ψ,
第二输入装置(8),用于接收实际的车辆换向角,
第三输入装置(9),用于接收实际的车辆速度,
处理装置(10),用于执行权利要求1至9之一所述的方法。
12.根据权利要求11所述的***(5),还包括至少一个摄像机和用于显示来自摄像机的图像的显示器(11)。
13.一种车辆(1),包括安装在车辆(1)上的至少一个摄像机(2、3、4)和权利要求11或权利要求12所述的***(5)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13186955.4 | 2013-10-01 | ||
EP13186955.4A EP2858035B1 (en) | 2013-10-01 | 2013-10-01 | System, vehicle and method for online calibration of a camera on a vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104517283A CN104517283A (zh) | 2015-04-15 |
CN104517283B true CN104517283B (zh) | 2019-04-23 |
Family
ID=49293523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410496131.3A Active CN104517283B (zh) | 2013-10-01 | 2014-09-25 | 用于车辆上摄像机的在线校准的***、车辆和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9792683B2 (zh) |
EP (1) | EP2858035B1 (zh) |
JP (1) | JP6486045B2 (zh) |
CN (1) | CN104517283B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014117888A1 (de) * | 2014-12-04 | 2016-10-13 | Connaught Electronics Ltd. | Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems |
EP3125196B1 (en) * | 2015-07-29 | 2018-02-21 | Continental Automotive GmbH | Drive-by calibration from static targets |
CN113280763B (zh) * | 2015-10-06 | 2023-04-28 | 实耐宝公司 | 具有高级诊断和不停止定位的车轮对准器 |
EP3174007A1 (en) * | 2015-11-30 | 2017-05-31 | Delphi Technologies, Inc. | Method for calibrating the orientation of a camera mounted to a vehicle |
CN105698737B (zh) * | 2016-01-29 | 2018-08-21 | 深圳市美好幸福生活安全***有限公司 | 用于安全预警产品的校准***和方法 |
SE541447C2 (en) * | 2016-11-18 | 2019-10-01 | Scania Cv Ab | An arrangement for monitoring the surrounding area of a vehicle, a vehicle comprising such an arrangement and a method for monitoring the surrounding area of a vehicle |
DE102016224095A1 (de) * | 2016-12-05 | 2018-06-07 | Robert Bosch Gmbh | Verfahren zum Kalibrieren einer Kamera und Kalibriersystem |
DE102017221940A1 (de) * | 2017-12-05 | 2019-06-06 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Fahrerassistenzsystem zum Steuern eines Kraftfahrzeugs und Kraftfahrzeug |
EP3531376B1 (en) * | 2018-02-21 | 2020-09-30 | Ficosa Adas, S.L.U. | Calibrating a camera of a vehicle |
EP3534333A1 (en) | 2018-02-28 | 2019-09-04 | Aptiv Technologies Limited | Method for calibrating the position and orientation of a camera relative to a calibration pattern |
CN110246184B (zh) * | 2018-03-07 | 2021-06-11 | 杭州海康威视数字技术股份有限公司 | 一种车载相机外参确定方法、装置、设备及*** |
DE102018204451A1 (de) * | 2018-03-22 | 2019-09-26 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems |
CN109782755B (zh) * | 2018-12-27 | 2022-05-31 | 广东飞库科技有限公司 | 控制agv进行校准、agv校准位置的方法、计算机存储介质及agv |
CN111798521B (zh) * | 2019-04-09 | 2023-10-31 | Oppo广东移动通信有限公司 | 标定方法、装置、存储介质及电子设备 |
WO2024121668A1 (en) * | 2022-12-06 | 2024-06-13 | Precision Planting Llc | Calibrations for a vision based system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6690840B1 (en) * | 2000-02-08 | 2004-02-10 | Tektronix, Inc. | Image alignment with global translation and linear stretch |
WO2012113810A1 (fr) * | 2011-02-24 | 2012-08-30 | Mobiclip | Procédé de calibrage d'un dispositif de prise de vue stéréoscopique |
WO2012143036A1 (en) * | 2011-04-18 | 2012-10-26 | Connaught Electronics Limited | Online vehicle camera calibration based on continuity of features |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7366595B1 (en) * | 1999-06-25 | 2008-04-29 | Seiko Epson Corporation | Vehicle drive assist system |
JP3796449B2 (ja) * | 2002-01-31 | 2006-07-12 | キヤノン株式会社 | 位置姿勢決定方法および装置並びにコンピュータプログラム |
JP4743818B2 (ja) * | 2003-04-04 | 2011-08-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム |
DE102007043905A1 (de) * | 2007-09-14 | 2008-05-29 | Daimler Ag | Verfahren und Vorrichtung zur Kalibrierung einer an einem Objekt angeordneten omnidirektionalen Kamera |
WO2010038224A1 (en) * | 2008-10-01 | 2010-04-08 | Hi-Key Limited | A method and a system for calibrating an image capture device |
JP4751939B2 (ja) * | 2009-03-31 | 2011-08-17 | アイシン精機株式会社 | 車載カメラの校正装置 |
DE102009057996A1 (de) | 2009-11-12 | 2011-05-19 | Daimler Ag | Verfahren zur Bestimmung einer Position einer Kamera mit einem zugehörigen Kamera-Koordinatensystem relativ zu einer Position eines Fahrzeuges oder Fahrzeuggespannes mit einem zugehörigen Fahrzeug-Koordinatensystem |
JP5299231B2 (ja) * | 2009-11-17 | 2013-09-25 | 富士通株式会社 | キャリブレーション装置 |
US9294733B2 (en) * | 2010-09-06 | 2016-03-22 | Aisin Seiki Kabushiki Kaisha | Driving assist apparatus |
JP5454934B2 (ja) * | 2010-09-21 | 2014-03-26 | アイシン精機株式会社 | 運転支援装置 |
WO2012145818A1 (en) * | 2011-04-25 | 2012-11-01 | Magna International Inc. | Method and system for dynamically calibrating vehicular cameras |
EP2618305B1 (de) * | 2012-01-20 | 2014-04-30 | ESG Elektroniksystem- und Logistik-GmbH | Verfahren und Vorrichtung zur Online-Kalibrierung von Fahrzeug-Kameras |
-
2013
- 2013-10-01 EP EP13186955.4A patent/EP2858035B1/en active Active
-
2014
- 2014-09-18 JP JP2014189779A patent/JP6486045B2/ja active Active
- 2014-09-25 CN CN201410496131.3A patent/CN104517283B/zh active Active
- 2014-10-01 US US14/503,580 patent/US9792683B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6690840B1 (en) * | 2000-02-08 | 2004-02-10 | Tektronix, Inc. | Image alignment with global translation and linear stretch |
WO2012113810A1 (fr) * | 2011-02-24 | 2012-08-30 | Mobiclip | Procédé de calibrage d'un dispositif de prise de vue stéréoscopique |
WO2012143036A1 (en) * | 2011-04-18 | 2012-10-26 | Connaught Electronics Limited | Online vehicle camera calibration based on continuity of features |
Also Published As
Publication number | Publication date |
---|---|
CN104517283A (zh) | 2015-04-15 |
JP6486045B2 (ja) | 2019-03-20 |
JP2015072269A (ja) | 2015-04-16 |
US9792683B2 (en) | 2017-10-17 |
US20150092058A1 (en) | 2015-04-02 |
EP2858035A1 (en) | 2015-04-08 |
EP2858035B1 (en) | 2020-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104517283B (zh) | 用于车辆上摄像机的在线校准的***、车辆和方法 | |
EP3598874B1 (en) | Systems and methods for updating a high-resolution map based on binocular images | |
JP6350374B2 (ja) | 路面検出装置 | |
CN108733039A (zh) | 一种机器人室内导航定位的方法与装置 | |
CN102806913A (zh) | 一种新型的车道线偏离检测方法及装置 | |
JP6520740B2 (ja) | 物体検出方法、物体検出装置、およびプログラム | |
CN104204726A (zh) | 移动物***置姿态估计装置和移动物***置姿态估计方法 | |
JP2017138660A5 (zh) | ||
WO2018179281A1 (ja) | 物体検出装置及び車両 | |
JP2017147629A (ja) | 駐車位置検出システム及びそれを用いた自動駐車システム | |
US10554951B2 (en) | Method and apparatus for the autocalibration of a vehicle camera system | |
CN111164648B (zh) | 移动体的位置推断装置及位置推断方法 | |
CN110546456B (zh) | 用于底盘测量的方法和设备 | |
CN104427255A (zh) | 车载相机的图像处理方法和使用该方法的图像处理设备 | |
JP4940177B2 (ja) | 交通流計測装置 | |
KR101431373B1 (ko) | 스테레오 정합을 이용한 차량의 움직임 측정 장치 | |
WO2019021876A1 (ja) | 車載カメラのキャリブレーション装置及び方法 | |
CN105480227A (zh) | 主动驾驶技术中基于红外雷达与视频图像信息融合的方法 | |
CN109883432B (zh) | 位置确定方法、装置、设备及计算机可读存储介质 | |
CN112529935A (zh) | 目标车辆运动状态识别方法及装置 | |
JP2018055222A (ja) | 走路検出方法及び走路検出装置 | |
CN105787455A (zh) | 一种引入图像虚拟引导线的车道保持控制算法 | |
CN111539305B (zh) | 一种地图构建方法及***、车辆及存储介质 | |
JP7003972B2 (ja) | 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム | |
JP2020006845A (ja) | 線路曲率推定装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |