CN106233330A - 用于在用于车辆的立体视频***内识别相对偏航角改变的方法和控制设备 - Google Patents

用于在用于车辆的立体视频***内识别相对偏航角改变的方法和控制设备 Download PDF

Info

Publication number
CN106233330A
CN106233330A CN201480073849.XA CN201480073849A CN106233330A CN 106233330 A CN106233330 A CN 106233330A CN 201480073849 A CN201480073849 A CN 201480073849A CN 106233330 A CN106233330 A CN 106233330A
Authority
CN
China
Prior art keywords
image
camera
angle
another
dimensional video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480073849.XA
Other languages
English (en)
Other versions
CN106233330B (zh
Inventor
J·希尔西贝歇尔
B·迈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN106233330A publication Critical patent/CN106233330A/zh
Application granted granted Critical
Publication of CN106233330B publication Critical patent/CN106233330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于在用于车辆(100)的立体视频***(102)上识别相对偏航角改变(106)的方法。所述立体视频***(102)具有第一相机(110)和第二相机(112)，所述第一相机(110)和第二相机(112)对准共同的检测范围(114)并且布置成彼此错开一个立体基线(116)。所述方法具有读入步骤、求取步骤、确定步骤和比较步骤。在读入步骤中，从相机(110、112)读入图像对并从所述第一相机(110)读入另一图像。所述图像对包括所述第一相机(110)的在第一时刻检测的第一图像和所述第二相机(112)的在所述第一时刻检测的第二图像。所述另一图像是在时间上与所述第一时刻错开的另一时刻检测的。在求取步骤中，在应用所述图像对、所述立体基线(116)和立体视觉法处理准则的情况下在所述检测范围(114)内求取静止面(108、122)，以便获得所述立体视频***(102)的倾斜角(124)。在确定步骤中，在应用所述图像对的所述第一图像、所述另一图像和对应变换处理准则的情况下确定所述静止面(108)，以便获得比较角。在此，当所述立体视频***(102)在所述第一时刻与所述另一时刻之间已经运动了路程(126)时，检测所述第一图像与所述另一图像之间的对应变换。在比较步骤中，在应用比较准则的情况下，把所述倾斜角(124)与所述比较角进行比较，以便识别相对偏航角改变(106)。

Description

用于在用于车辆的立体视频***内识别相对偏航角改变的方 法和控制设备
技术领域
本发明涉及一种用于在用于车辆或其他可运动***的立体视频***上识别相对偏航角改变的方法，还涉及相应的控制设备以及相应的计算机程序产品。
背景技术
在立体相机的情况下，相机之间的角度的小改变就影响整个***的精确度。
DE 10 2004 062 275 A1描述用于求取立体相机的校准参数的方法和装置。
发明内容
在此背景下，借助本发明提出根据独立权利要求的用于在用于车辆的立体视频***上识别相对偏航角改变的方法、使用所述方法的控制设备以及相应的计算机程序产品。有利的构型由各从属权利要求和说明书得出。
基于立体视觉法(Stereoskopie)的对象空间识别具有高的识别概率和高的识别速率。在此，即使在静止的立体相机***的情况下，立体视觉法也起作用。所述立体视觉法仅仅易受两个相机的相对定位改变的影响。例如，由于热或冷效应容易使所述相机中的一个相对于另一相机转动。则第一相机的第一参考点相对于第二相机的第二参考点具有不正确的移位，其中所述第一和所述第二参考点代表这些相机的拍摄区域中的相同的点。通过所述移位错误地求取相对于所识别对象的距离。感觉平坦的对象倾斜了。为了补偿角度误差，可以匹配这些参考点中的至少一个。
基于相机中的一个的在时间上和在空间上错开的图像的单目分析处理，可以同样在空间上分辨对象。在此，图像之间的空间距离起类似于在立体视觉法的情况下相机之间的立体基线(Steorobasis)的作用。则在图像之间可以确定一种对应变换，该对应变化代表图像之间的改变。与立体视觉法相反，单目分析处理可以对两个相机之间的相对角度误差不敏感。
具有两个相机的立体视觉法即可以通过这些相机中的一个的单目分析处理通过对应变换来保障。
尤其平坦的静止对象可以用来补偿角度误差，其方式是：这样补偿角度，使得用两个测量方法(立体视觉的、单目视觉的)相同地测量所检测对象。
提出一种用于在用于车辆的立体视频***上识别相对偏航角改变的方法，其中，立体视频***具有第一相机和第二相机，所述第一相机和所述第二相机对准共同的检测范围，并且布置成彼此错开一个立体基线，其中所述方法具有下列步骤：
从这些相机读入图像对，并从第一相机读入另一图像，其中，图像对包括第一相机的在第一时刻检测的第一图像和第二相机的在第一时刻检测的第二图像，并且所述另一图像是在时间上与第一时刻错开的另一时刻检测的；
在应用图像对、立体基线和立体视觉法处理准则的情况下在检测范围中求取静止面(有利地尤其是地面)，以便获得所述立体视频***的倾斜角，有利地是立体视频***的相对于静止面的俯仰角。
在应用图像对的第一图像、另一图像和对应变换处理准则的情况下确定所述静止面，以便获得比较角，其中，当立体视频***在第一时刻和另一时刻之间已经运动了一段路程时，检测第一图像和另一图像之间的对应变换；并且
在应用比较准则的情况下把所述倾斜角与所述比较角——即两个面倾斜量进行比较，以便识别相对偏航角改变。
对于相对偏航角改变——亦称偏航角偏移，可以理解为这两个相机的侧方向角(Seitenrichtungwinkel)之差。立体基线可以是相机的空间距离。图像可以通过逐列和逐行布置的像点的图象信息来代表。静止面可以是车道表面，并可以相对于车辆运动。立体视觉法处理准则可以代表三角测量法。对应变换处理准则可以被用来产生两个图像之间的对应变换的矢量场——例如光流。在此，倾斜角是由立体视频***求取的平面与参考平面之间的夹角。因此，当所述求取的平面和参考平面不一致时，则所述倾斜角不等于零。不仅所求取的平面而且所述参考平面都是虚拟平面，它们基于所述静止面和两个不同的处理准则来求取。
可以读入至少一个另外的图像对，其中，所述另外的图像对是在时间上与所述图像对错开地检测的。可以在应用所述另外的图像对的情况下来求取另一倾斜角。所述方法可以具有运动识别步骤，在该运动识别步骤中，把所述倾斜角与所述另一倾斜角进行比较，以便识别立体视频***的俯仰运动。当固定在车辆上的立体视频***基于车辆的自身运动实施俯仰运动时，相机到静止面上的视角改变。然而所识别的倾斜角的最终改变不代表失准(Dekalibrierung)。通过运动识别可以避免关于相对偏航角改变的错误结论。
可以读入所述另一图像作为所述另外的图像对的组成部分。通过多次应用图像或图像信息，可以减小所使用的计算容量和存储容量。
当在此和后续不仅应涉及地面而且应涉及所观察的静止面的平移(例如通过俯仰或转向运动)的俯仰运动小于阈值时，实施比较步骤。当所述俯仰运动小于所述阈值时，可以避免错误地识别相对偏航角改变。
可以在应用俯仰运动的情况下确定比较角。可以在识别比较角时考虑俯仰运动。则在车辆运动的情况下也可以校准立体视频***。
所述方法可以具有立体视频***再校准步骤，其中，当相对偏航角改变大于公差值时，相机的相对偏航角在应用相对偏航角改变的情况下被再校准。这可以匹配这些相机中的一个的参考点。同样可以匹配两个相机的参考点。参考点可以是相应相机的参考坐标原点。参考点可以与相应相机的像点坐标一致。即使相机由于外部影响物理地相对转动，通过再校准也可以使立体视频***持久地保持校准。在此，直至达到某种程度，借助偏航角改变也可以补偿相机距离上产生的误差。
所述再校准可以逐步进行，其中，最大以预给定的角度分别修正各个偏航角，以便对立体视频***进行再校准。通过在校准时限界角度步长，可以避免校准过度。通过所述限界可以将立体视频***逐步地置于所希望的状态中。
在确定步骤中，逐列或逐行确定第一图像与另一图像之间的光流矢量(Flussvektor)，以便找到静止面并确定比较角。通过逐行或逐列搜索静止面，所述方法可以用小的计算能力迅速地实施。
此外，提出一种用于在用于车辆的立体视频***上识别相对偏航角改变的控制设备，其中，所述立体视频***具有第一相机和第二相机，所述第一相机和第二相机对准共同的检测范围，并且布置成彼此错开一个立体基线，其中，所述控制设备具有下列特征：
用于从所述相机读入图像对和从第一相机读入另一图像的装置，其中，所述图像对包括第一相机的在第一时刻检测的第一图像和第二相机的在该第一时刻检测的第二图像，并且所述另一图像是在时间上与第一时刻错开的另一时刻检测的；
用于在应用所述图像对、立体基线和立体视觉法处理准则的情况下在所述检测范围内求取静止面以便获得立体视频***的倾斜角的装置；
用于在应用所述图像对的第一图像、所述另一图像和对应变换处理准则的情况下确定所述静止面以便获得比较角的装置，其中，当立体视频***在第一时刻和另一时刻之间已经运动了一段路程时，检测第一图像与另一图像之间的对应变换；以及
用于在应用比较准则的情况下把所述倾斜角与所述比较角进行比较以便识别相对偏航角改变的装置。
本发明所基于的任务也可以通过本发明的控制设备形式的实施变形方案迅速而高效地解决。
控制设备当前可以理解为电设备，该电设备处理传感器信号并据此输出控制信号和/或数据信号。所述控制设备可以具有接口，该接口可以以硬件方式和/或以软件方式构成。在以硬件方式构成时，所述接口例如可以是所谓的***ASIC的一部分，该部分包含控制设备的各种各样的功能。但所述接口也可能是独立的集成电路或至少部分地由分立器件组成。在以软件方式构成时，所述接口例如可以是与其他软件模块共存于微控制器上的软件模块。
一种具有程序代码的计算机程序产品也是有利的，该程序代码可以存储在诸如半导体存储器、硬盘存储器或光学存储器等机器可读的载体上，并且用于当所述程序产品在计算机或装置上执行时执行根据上述实施方式中任一种的方法。
术语“相对偏航角改变”以及有时使用的名称“偏航角偏移”涉及立体视频***中的两个相机的主视向之间的相对角度。所提及的光流仅仅是用于确定第二面倾斜的变量。在这里可考虑其他对应方法(例如同源确定(Homographie-Bestimmung))。算法的核心由用两种不同的方法(空间上、时间上)确定面(有利的：地面)倾斜组成。一般还能够将所述方法应用于多于两个相机。对于单相机途径(Mono-Kamera-Pfad)，所述方法仍可以通过倾斜角估计通过消失点确定(Fluchtpunktbestimmung)用作有利的构造。
附图说明
以下参照附图示例性地进一步阐述本发明。附示图出：
图1：具有立体视频***和根据本发明的一种实施例的用于识别相对偏航角改变的控制设备的车辆的示图；
图2：根据本发明的一种实施例的用于在用于车辆的立体视频***上识别相对偏航角改变的控制设备的方框图；
图3：根据本发明的一种实施例的用于在用于车辆的立体视频***上识别相对偏航角改变的方法的流程图；以及
图4：根据本发明的一种实施例的用于在用于车辆的立体视频***上识别相对偏航角改变的方法的流程的流程图。
具体实施方式
在以下对本发明的有利实施例的描述中，对于不同的图中所示出的和起类似作用的元素使用相同的或相似的附图标记，其中，对这些元素不再赘述。
图1示出具有立体视频***102和根据本发明的一种实施例的用于识别相对偏航角改变106——亦称偏航角偏移的控制设备104的车辆100的示图。控制设备104可以是立体视频***102的一部分或者实施成单独的装置。
车辆100在面108上向前运动。立体视频***102具有第一相机110和第二相机112。相机110、112对准车辆100前方行驶方向上的共同的检测范围114。第一相机110在车辆100中布置在左边。第二相机112在车辆100中布置在右边。相机110、112彼此具有距离116。距离116可以称为立体基线116。立体视频***102构造用于：在应用立体基线116和立体视觉法的情况下在空间上检测在所述检测范围114内的对象118，并且，为了车辆100的安全功能和舒适功能，例如提供对象118相对于车辆100的位置。
当由两个相机114检测在所述检测范围114内为简单起见位置固定的对象118时，在两个相机图像中分配给对象118的像点被分类为对象118。所述像点的坐标分别给出各相机110、112相对于对象118的高度角和方位角(Seitenwinkel)。通过三角测量法用已知的立体基线116计算对象118到车辆100的距离
在此，相机112以在此示例性示出的相对偏航角改变106围绕初始位置转动。由此在像点中得出错误的仰角和/或侧角，因为转动了的相机112具有移动了的检测范围120。在移动了的检测范围120的像点中，对象118相对于未移动的检测范围114侧向错开。现在错误地计算对象118到车辆100的距离。
当由失准的相机110、112检测面108时，则面108由于相对偏航角改变106被识别为倾斜面122，该倾斜面则不存在。倾斜面122是纯虚拟的。倾斜面122相对于面108张开倾斜角124。
控制设备104构造用于在所述实施例中从左边的相机110读入另一相机图像。所述另一相机图像在所述实施例中就像是车辆100向后错开一段路程126的情况下拍摄的。还可以在车辆100后移了另一段路程之后，读入所述另一相机图像。当在所述另一相机图像中检测对象118时，则其图像坐标在所述另一图像与当前的相机图像之间移动了与路程126对应的量值。这个量值可以表达为具有量值和方向的矢量。所述矢量可以表示为光流。
因为单个相机不可以具有相对偏航角改变，所以当在所述另一图像中检测面108时面108被识别为没有倾斜角——即具有等于零的倾斜角。
通过在此提出的方案，合并面108的识别结果。面108在立体视频***102中的识别通过光流保证。当识别相对偏航角改变106时，则可以重新校准相机110、112，直至在立体视频***102中识别面108没有倾斜角124为止。可以校准立体视频***102，其方式是，在一个或两个相机图像中匹配偏航角参考。
通过应用已经存在的中间结果节省资源。所述光流、视差和车道表面108例如已经是对象检测所需要的，并且在当前的立体视频控制设备102上(部分地在现场可编程门阵列(FPGA)硬件中)实现并可以调用。
基于立体视频相机***102的所求取的车道表面122可以借助来自光流的相应数据来检验合理性。
车道表面108可以从光流确定，没有必要完全实现可以从二维图像序列确定三维结构的SfM(Structure from Motion，从运动恢复结构)。为此，可以逐列递增计算车道表面108。对于每个列，开始在图像最下面一行开始收集属于车道表面108的所有光流矢量。接着，用统计估计方法确定车道108的最优倾斜角。所述方案是线性的并且对于控制设备104而言是最优的。
图2示出根据本发明的一种实施例的用于在用于车辆的立体视频***上识别相对偏航角改变的控制设备的方框图。控制设备104可以被用在根据图1的车辆中。控制设备104具有用于读入的装置200、用于求取的装置202、用于确定的装置204和用于比较的装置206。所述立体视频***如在图1中那样具有第一相机和第二相机，所述第一相机和所述第二相机对准共同的检测范围并且布置成彼此错开一个立体基线。用于读入的装置200构造用于从这些相机读入图像对并且从第一相机读入另一图像。所述图像对包括第一相机的在第一时刻检测的第一图像和第二相机的在所述第一时刻检测的第二图像。所述另一图像是在时间上与第一时刻错开的另一时刻检测的。用于求取的装置202构造用于在应用所述图像对、立体基线和立体检测处理准则的情况下在所述检测范围内求取静止面，以便在立体视频***中获得相对于所述静止面的倾斜角。用于确定的装置204构造用于在应用所述图像对的第一图像、所述另一图像和光流处理准则的情况下确定所述静止面，以便获得比较角。在此，当所述立体视频***在第一时刻和所述另一时刻之间已经运动了一段路程时，检测所述第一图像与所述另一图像之间的光流。用于比较的装置206构造用于在应用比较准则的情况下把所述倾斜角与比较角进行比较，以便识别相对偏航角改变。
在一种实施例中，控制设备104具有用于读入的装置200和用于比较的装置206。用于读入的装置200构造用于从立体视频***读入所述静止面的倾斜角并且读入比较角。用于比较的装置206构造用于在应用比较准则的情况下把倾斜角与比较角进行比较，以便识别相对偏航角改变。
图3示出根据本发明的一种实施例的用于在用于车辆的立体视频***上识别相对偏航角改变的方法300的流程图。所述方法可以如图1和2中的那样在控制设备上执行。方法300具有读入步骤302、求取步骤304、确定步骤306和比较步骤308。所述立体视频***具有第一相机和第二相机，所述第一相机和第二相机对准共同的检测范围并且布置成彼此错开一个立体基线。在读入步骤302中，从这些相机读入图像对，并从所述第一相机读入另一图像。所述图像对包括所述第一相机的在第一时刻检测的图像和所述第二相机的在所述第一时刻检测的第二图像。所述另一图像是在时间上与第一时刻错开的另一时刻检测的。在求取步骤304中，在应用所述图像对、立体基线和立体视觉法处理准则的情况下在所述检测范围内求取静止面，以便获得所述立体视频***相对于所述静止面的倾斜角。在确定步骤306中，在应用所述图像对的第一图像、所述另一图像和光流处理准则的情况下确定所述静止面，以便获得比较角。在此，当所述立体视频***在所述第一时刻与所述另一时刻之间已经运动了一段路程时，检测所述第一图像和所述另一图像之间的光流。在比较步骤308中，在应用比较准则的情况下把所述倾斜角与所述比较角进行比较，以便识别相对偏航角改变。
在一种实施例中，在读入步骤302中读入至少一个另外的图像对。所述另外的图像对是在时间上与所述图像对错开地检测的。在求取步骤304中，在应用所述另外的图像对的情况下求取另一倾斜角。另外，所述方法还具有运动识别步骤，其中把所述倾斜角与所述另一倾斜角进行比较，以便识别立体视频***的俯仰运动。通过立体视频***的运动，所述相机的视角改变到检测范围上。
在一种实施例中，在读入步骤302中，读入所述另一图像作为所述另外的图像对的组成部分。倾斜角的求取周期性地进行。在此，将所述图像对的共有的图像用于立体视觉法。将这些相机中的一个的相继的图像用于光流。
在一种实施例中，当所述俯仰运动小于阈值时，执行比较步骤308。例如，当两个相继的图像对之间的运动小于5°，尤其小于2°，尤其小于0.5°时，进行比较。
在一种实施例中，在确定步骤306中，在应用所述俯仰运动的情况下确定所述比较角。为此，在计算两个图像之间的光流时，考虑这两个图像之间的俯仰运动的角度。在光流的情况下，所述俯仰运动均匀地影响光流的所有矢量。偏航运动同样相等地影响所有矢量。
在一种实施例中，所述方法具有再校准立体视频***的步骤。在此，当相对偏航角改变大于公差值时，在应用相对偏航角改变的情况下再校准所述相机的各个偏航角。所述再校准机械地、电子地和在算法上地进行，优选算法地进行。在此，在这些用于立体视觉法的图像中的至少一个中移动参考。这些相机中的至少一个还可以逆着相对偏航角改变旋转。
在一种实施例中，所述再校准逐步地进行。最大以预给定的角度分别修正各个偏航角，以便再校准所述立体视频***。当所述相对偏航角改变大于所述公差值时，在至少一个图像中以预定义的步长(Schritt)移动所述参考。例如可以将所述参考移动预确定数量的像点。通过小的步长可以使修正角渐进地匹配于最优值。
在一种实施例中，在确定步骤306中，逐列或逐行地确定第一图像和所述另一图像之间的光流矢量，以便找到所述静止面并确定比较角。通过光流矢量的逐行或逐列的分析处理，可以简单地找到所述静止面的界限。所找到的界限可以用作用于下一行或列的定向。以此可以迅速地找到所述静止面。
换句话说，图3示出用于基于立体表面确定和单表面确定来确定失准的立体视频相机***的偏航角的方法300的流程图。
车道平面可以借助于立体视频相机***来确定。同样可以基于运动的相机借助于光流实施包括车道平面的场景的3D重构(Structure from Motion；SfM)。通过这些做法的结合可以识别立体视频相机***的失准，并连续地通过自校准进行再校准。至今用于连续自校准的方案不是计算量非常繁重，就是在确定偏航角时不精确。
这里介绍的方案描述由单目特征和立体特征的组合分析处理组成的校准视频***。
SfM可以用于所述确定(例如，当无论如何都要对于其他功能进行计算时)，然而使用(先前已提及的)列方案明显更有效，而不必基于光流进行完整的重构。基于纯视觉的SfM方案可以不估计重构环境的尺度。但是因为在当前情况下只需要角度，所以这对所述算法不是问题。
检验左相机与右相机之间的偏航角，求取可能失准的相机***。在此，偏航角的确定通过从立体图像对求取的车道表面与从光流求取的车道表面之间的比较进行。
由此，得出比至今做法更精确的偏航角确定。借助所求取的偏航角在再校准之后能够在视差图中实现更精确的距离检测。
在此介绍的方案可以实时地在当前的控制设备硬件上被实现。
图4示出根据本发明的一种实施例的用于在用于车辆的立体视频***上识别相对偏航角改变的方法的流程的流程图。根据这种实施例，流程400以立体视频***图像校正402开始。所述校正不是单(相机)途径(mono-Pfad)的前提，仅仅是简化。一般所述表面的倾斜角还可以在未校正的图像上计算。对于立体(相机)途径，虽然必须进行校正，但这也可以在视差估计和距离估计之后进行。校正402提供经校正的图像。接着，对于流程400将实施两个并行的分支。在第一分支中，读入立体视频***的经校正的立体图像对404用于视差估计406。在视差估计406中建立立体图像对404的视差图408。视差图408在第一车道表面估计410中被用于求取立体图像对404中的车道的平面的第一位置412。在第二分支中读入至少两个在时间上错开拍摄的单图像414用于确定光流416。在单图像414之间提供二维光流矢量418作为光流。所述光流矢量418由第二车道表面估计420用于求取在单图像414中的车道的平面的第二位置422。流程400的这两个支路再次汇合，其方式是，把第一位置412与第二位置422彼此比较。当识别出这两个位置412，422的偏差时，进行立体视频***的自校准424。因为流程400将不断地实施，所以自校准424是连续的。
求取左边与右边相机之间的偏航角是立体视频相机***的连续自校准的必要组成部分。
基于简单方案(naiver Ansatz)——例如极线约束(Epipolar-Bedingung)监测所述校准。只有在识别出所述***失准时，才进行滚转角和俯仰角的自校准。
在多个步骤中求取剩余的偏航角误差。虽然应在俯仰角和滚转角的补偿之后补偿所述偏航角误差，但这并非是必要的，因为单独地补偿所述偏航角。首先基于立体视频相机***计算车道表面412。由车道表面计算410能够确定所述平面相对于相机***的倾斜角。对于随后的立体图像对404重复所述过程。倾斜角中的偏差例如指示车辆的俯首(Einnicken)。相应的修正在下列步骤中来考虑。
对于两个图像中的一个，计算在两个时刻之间图像中的光流416。当相机***由于车辆行驶在两个时刻之间已经运动了时，可以由所述数据求取车道表面422。随后，由所计算的车道表面422确定车道表面422相对于相机***的倾斜角。基于光流416的车道表面计算420可以或者通过3D重构进行(SfM)，或者车道表面422以统计回归方式直接由流场418的发散度确定。
当已经确认车辆俯首(Einnicken)时，可以在另一计算中由立体视觉法考虑不同的倾斜角之间的所测差值。
在这种情况下同样可以停止相机偏航角的确定。
对于车辆不存在俯仰的情况，可以简单地确定相机之间的偏航角的必要修正。
当车道表面确定410、420的由立体视觉法得到的倾斜角与车道表面确定410、420的由SfM方法得到的倾斜角不同时，立体视频相机***存在失准。立体相机***的偏航角对立体相机***的车道表面412的确定410具有直接影响并且可以由此被求取。
***的稳定性可以通过适当的更新策略来提高。例如可以确定最大补偿角。因此，在多次实施所述方法之后，所述偏航角逐步地接近其最优值。
立体视频相机***的机械失准可能由于相机的转动或移动实现。当车辆处在运动中时，重新校准所述***，因为所述校准取决于光流。
偏航角误差的确定可以被用作立体视频相机***的连续自校准的组成部分。
所描述的和在图中示出的实施例是仅仅示例性地选取的。可以完整地或在各个特征方面使不同的实施例彼此结合。一种实施例也可以通过另一种实施例的特征来补充。
另外，可以重复并且以不同于所描述的顺序的顺序来执行根据本发明的方法步骤。
如果一种实施例包括第一特征和第二特征之间的“和/或”连接，则这可以这样解读：所述实施例根据一种实施方式不仅具有所述第一特征而且具有所述第二特征并且根据另一种实施方式或者仅仅具有所述第一特征或者仅仅具有所述第二特征。

Claims (10)

1.一种用于在用于车辆(100)的立体视频***(102)上识别相对偏航角改变(106)的方法(300)，其中，所述立体视频***(102)具有第一相机(110)和第二相机(112)，所述第一相机(110)和所述第二相机(112)对准共同的检测范围(114)并且布置成彼此错开一个立体基线(116)，其中，所述方法(300)具有以下步骤：
从这些相机(110，112)读入(302)图像对(404)并从所述第一相机(110)读入另一图像，其中，所述图像对(404)包括所述第一相机(110)的在第一时刻检测的第一图像和所述第二相机(112)的在所述第一时刻检测的第二图像，并且所述另一图像是在时间上与所述第一时刻错开的另一时刻检测的；
在应用所述图像对(404)、所述立体基线(116)和立体视觉法处理准则的情况下在所述检测范围(114)内求取(304)静止面(108，122)，以便获得所述立体视频***(102)的倾斜角(124)；
在应用所述图像对(404)的所述第一图像、所述另一图像和对应变换处理准则的情况下确定(306)所述静止面(108)，以便获得比较角，其中，当所述立体视频***(102)在所述第一时刻与所述另一时刻之间已经运动了一段路程(126)时，检测所述第一图像与所述另一图像之间的对应变换；并且
在应用比较准则的情况下把所述倾斜角(124)与所述比较角进行比较(308)，以便识别相对偏航角改变(106)。
2.根据权利要求1所述的方法(300)，在该方法中，在所述读入步骤(302)中读入至少一个另外的图像对(404)，其中，所述另外的图像对(404)是在时间上与所述图像对(404)错开地检测的，其中，在所述求取步骤(304)中，在应用所述另外的图像对(404)的情况下求取另一倾斜角(124)，并且所述方法(300)具有运动识别步骤，在所述运动识别步骤中，把所述倾斜角(124)与所述另一倾斜角(124)进行比较，以便识别所述立体视频***(102)的俯仰运动。
3.根据权利要求2所述的方法(300)，在该方法中，在所述读入步骤(302)中读入所述另一图像作为所述另外的图像对(404)的组成部分。
4.根据权利要求2或3所述的方法(300)，在该方法中，当所述俯仰运动小于阈值时，实施所述比较步骤(308)。
5.根据权利要求2至4中任一项所述的方法(300)，在该方法中，在所述确定步骤(306)中，在应用所述俯仰运动的情况下确定所述比较角。
6.根据以上权利要求中任一项所述的方法(300)，其具有所述立体视频***(102)的再校准步骤，其中，当所述相对偏航角改变(106)大于公差值时，所述相机(110，112)的相对偏航角的修正在应用所述相对偏航角改变(106)的情况下进行。
7.根据权利要求6所述的方法(300)，在该方法中，所述再校准逐步地进行，其中，最大以预给定的角度分别修正各个偏航角，以便再校准所述立体视频***(102)。
8.根据以上权利要求中任一项所述的方法(300)，在该方法中，在所述确定步骤(306)中，逐行或逐列确定所述第一图像和所述另一图像之间的光流矢量，以便找到所述静止面(108)并确定所述比较角。
9.一种用于在用于车辆(100)的立体视频***(102)上识别相对偏航角改变(106)的控制设备(104)，其中，所述立体视频***(102)具有第一相机(110)和第二相机(112)，所述第一相机(110)和所述第二相机(112)对准共同的检测范围(114)并且布置成彼此错开一个立体基线(116)，其中，所述控制设备(104)具有以下特征：
用于从这些相机(110，112)读入(302)图像对(404)并从所述第一相机(110)读入另一图像的装置(200)，其中，所述图像对(404)包括所述第一相机(110)的在第一时刻检测的第一图像和所述第二相机(112)的在所述第一时刻检测的第二图像，并且所述另一图像是在时间上与所述第一时刻错开的另一时刻检测的；
用于在应用所述图像对(404)、所述立体基线(116)和立体视觉法处理准则的情况下在所述检测范围(114)内求取(304)静止面(108，122)以便获得所述立体视频***(102)的倾斜角(124)的装置(202)；
用于在应用所述图像对(404)的所述第一图像、所述另一图像和对应变换处理准则的情况下确定(306)所述静止面(108)以便获得比较角的装置(204)，其中，当所述立体视频***(102)在所述第一时刻与所述另一时刻之间已经运动了一段路程(126)时，检测所述第一图像与所述另一图像之间的对应变换；以及
用于在应用比较准则的情况下把所述倾斜角(124)与所述比较角进行比较(308)以便识别所述相对偏航角改变(106)的装置(206)。
10.一种具有程序代码的计算机程序产品，用于当在设备上执行所述程序产品时实施根据权利要求1至8中任一项所述的方法。
CN201480073849.XA 2014-01-24 2014-12-02 用于在用于车辆的立体视频***内识别相对偏航角改变的方法和控制设备 Active CN106233330B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014201271.6 2014-01-24
DE102014201271.6A DE102014201271A1 (de) 2014-01-24 2014-01-24 Verfahren und Steuergerät zum Erkennen einer Veränderung eines relativen Gierwinkels innerhalb eines Stereo-Video-Systems für ein Fahrzeug
PCT/EP2014/076281 WO2015110207A1 (de) 2014-01-24 2014-12-02 Verfahren und steuergerät zum erkennen einer veränderung eines relativen gierwinkels innerhalb eines stereo-video-systems für ein fahrzeug

Publications (2)

Publication Number Publication Date
CN106233330A true CN106233330A (zh) 2016-12-14
CN106233330B CN106233330B (zh) 2019-04-30

Family

ID=52002967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480073849.XA Active CN106233330B (zh) 2014-01-24 2014-12-02 用于在用于车辆的立体视频***内识别相对偏航角改变的方法和控制设备

Country Status (6)

Country Link
US (1) US10013762B2 (zh)
EP (1) EP3097537B1 (zh)
JP (1) JP6317456B2 (zh)
CN (1) CN106233330B (zh)
DE (1) DE102014201271A1 (zh)
WO (1) WO2015110207A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171744A (zh) * 2017-12-26 2018-06-15 努比亚技术有限公司 一种双目虚化中视差图的确定方法、移动终端及存储介质
WO2018120857A1 (zh) * 2016-12-30 2018-07-05 华为技术有限公司 一种基于流媒体技术的视频数据的处理方法及装置
CN111971956A (zh) * 2019-03-09 2020-11-20 核心光电有限公司 用于动态立体校准的方法及***
US11240484B2 (en) 2017-10-23 2022-02-01 Sony Corporation Information processing apparatus and information processing method for stereo imaging based on corrected parameters

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11019330B2 (en) * 2015-01-19 2021-05-25 Aquifi, Inc. Multiple camera system with auto recalibration
EP3139346B1 (en) * 2015-09-01 2019-01-16 Veoneer Sweden AB Vision system for a motor vehicle and method of controlling a vision system
CN106014570A (zh) * 2016-05-09 2016-10-12 黄安武 处理汽车尾气中一氧化碳的方法及***
EP3252712B1 (en) * 2016-06-01 2019-08-21 Veoneer Sweden AB Vision system and method for a motor vehicle
EP3279830B1 (en) * 2016-08-02 2020-10-28 Veoneer Sweden AB A vision system and method for a motor vehicle
DE102016218799A1 (de) * 2016-09-29 2018-03-29 Robert Bosch Gmbh Kamerasystem und Fahrzeug umfassend ein derartiges Kamerasystem
WO2019082700A1 (ja) * 2017-10-26 2019-05-02 パイオニア株式会社 制御装置、制御方法、プログラム及び記憶媒体
DE102019114817B4 (de) * 2019-06-03 2021-12-02 Karl Storz Se & Co. Kg Bildgebungssystem und Verfahren zur Beobachtung
CN111504255B (zh) * 2020-04-28 2022-06-21 湖北三江航天万峰科技发展有限公司 一种基于机器视觉的三维对准精度自动测量装置及方法
DE102020214093A1 (de) 2020-11-10 2022-05-12 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Detektieren eines bewegten Objekts

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007263669A (ja) * 2006-03-28 2007-10-11 Denso It Laboratory Inc ３次元座標取得装置
EP2131598A2 (de) * 2008-06-05 2009-12-09 Hella KGaA Hueck & Co. Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems
DE102008041761A1 (de) * 2008-09-02 2010-03-04 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung eines relativen Gierwinkels
CN102168972A (zh) * 2010-12-15 2011-08-31 中国资源卫星应用中心 一种基于rpc的三线阵立体卫星区域网平差改进及检校方法
CN102325262A (zh) * 2011-09-26 2012-01-18 比比威株式会社 立体摄像装置控制***
CN103076005A (zh) * 2012-12-26 2013-05-01 中国空间技术研究院 一种立体测绘与宽幅成像一体化的光学成像方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004062275A1 (de) 2004-12-23 2006-07-13 Aglaia Gmbh Verfahren und Vorrichtung zum Ermitteln eines Kalibrierparameters einer Stereokamera
KR101618551B1 (ko) * 2014-07-02 2016-05-09 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007263669A (ja) * 2006-03-28 2007-10-11 Denso It Laboratory Inc ３次元座標取得装置
EP2131598A2 (de) * 2008-06-05 2009-12-09 Hella KGaA Hueck & Co. Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems
DE102008041761A1 (de) * 2008-09-02 2010-03-04 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung eines relativen Gierwinkels
CN102168972A (zh) * 2010-12-15 2011-08-31 中国资源卫星应用中心 一种基于rpc的三线阵立体卫星区域网平差改进及检校方法
CN102325262A (zh) * 2011-09-26 2012-01-18 比比威株式会社 立体摄像装置控制***
CN103076005A (zh) * 2012-12-26 2013-05-01 中国空间技术研究院 一种立体测绘与宽幅成像一体化的光学成像方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
BERTHOLD K.P.HORN 等: "Determining Optical Flow", 《ARTIFICIAL INTELLIGENCE》 *
BJORN BARROIS 等: "3D Pose Estimation of Vehicles Using a Stereo Camera", 《2009 IEEE INTELLIGENT VEHICLES SYMPOSIUM》 *
J.MORAT 等: "Evaluation Method for Automotive Stereo-Vision Systems", 《2007 IEEE INTELLIGENT VEHICLES SYMPOSIUM》 *
MASAFUMI NAKAGAWA 等: "A Stereo Self-adjustment Methodology for Resuming Active Camera Operation", 《PSIVT 2009: ADVANCES IN IMAGE AND VIDEO TECHNOLOGY》 *
THAO DANG 等: "Self-calibration for Active Automotive Stereo Vision", 《INTELLIGENT VEHICLES SYMPOSIUM 2006》 *
华瑾 等: "基于双目立体视觉伺服的智能车室内弯道控制", 《现代电子技术》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018120857A1 (zh) * 2016-12-30 2018-07-05 华为技术有限公司 一种基于流媒体技术的视频数据的处理方法及装置
CN108271068A (zh) * 2016-12-30 2018-07-10 华为技术有限公司 一种基于流媒体技术的视频数据的处理方法及装置
US11240484B2 (en) 2017-10-23 2022-02-01 Sony Corporation Information processing apparatus and information processing method for stereo imaging based on corrected parameters
CN108171744A (zh) * 2017-12-26 2018-06-15 努比亚技术有限公司 一种双目虚化中视差图的确定方法、移动终端及存储介质
CN111971956A (zh) * 2019-03-09 2020-11-20 核心光电有限公司 用于动态立体校准的方法及***

Also Published As

Publication number Publication date
JP2017506382A (ja) 2017-03-02
DE102014201271A1 (de) 2015-07-30
WO2015110207A1 (de) 2015-07-30
EP3097537A1 (de) 2016-11-30
EP3097537B1 (de) 2019-08-07
US20160335755A1 (en) 2016-11-17
US10013762B2 (en) 2018-07-03
JP6317456B2 (ja) 2018-04-25
CN106233330B (zh) 2019-04-30

Similar Documents

Publication Publication Date Title
CN106233330B (zh) 用于在用于车辆的立体视频***内识别相对偏航角改变的方法和控制设备
EP3158731B1 (en) System and method for adjusting a baseline of an imaging system with microlens array
CN109155066B (zh) 用于机动车辆的环境区域的两个图像之间的运动估计的方法，计算装置，驾驶员辅助***以及机动车辆
US9706188B2 (en) Binocular camera resetting method and binocular camera resetting apparatus
EP2743889A2 (en) Stereoscopic camera object detection system and method of aligning the same
US10810762B2 (en) Image processing apparatus
US8494307B2 (en) Method and apparatus for determining misalignment
Nienaber et al. A comparison of low-cost monocular vision techniques for pothole distance estimation
CN105324792B (zh) 用于估计移动元件相对于参考方向的角偏差的方法
CN104392450A (zh) 确定相机焦距与旋转角度的方法、相机标定方法及***
CN103983186A (zh) 双目视觉***校正方法及校正设备
JP6478318B2 (ja) 車両運動パラメータ推定装置
CN106225676A (zh) 三维测量方法、装置及***
US11295478B2 (en) Stereo camera calibration method and image processing device for stereo camera
CN111733673B (zh) 基于移动平台的路面不平度非接触测量方法及其装置
Miksch et al. Automatic extrinsic camera self-calibration based on homography and epipolar geometry
KR101597163B1 (ko) 스테레오 카메라 교정 방법 및 장치
US11259001B2 (en) Stereo image processing device
US10134136B2 (en) Image processing apparatus and image processing method
CN111986248B (zh) 多目视觉感知方法、装置及自动驾驶汽车
JPWO2018235256A1 (ja) ステレオ計測装置及びシステム
KR101199913B1 (ko) 크로스 타입 스테레오 비전 시스템 및 이를 이용한 거리 측정 방법
KR102371634B1 (ko) 스테레오 카메라의 거리 추출 방법
CN114279410B (zh) 摄像头测距方法
WO2024099786A1 (en) Image processing method and method for predicting collisions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant