CN106610280A - 用于利用新的光学分辨率生成立体图的方法 - Google Patents

用于利用新的光学分辨率生成立体图的方法 Download PDF

Info

Publication number
CN106610280A
CN106610280A CN201611113890.2A CN201611113890A CN106610280A CN 106610280 A CN106610280 A CN 106610280A CN 201611113890 A CN201611113890 A CN 201611113890A CN 106610280 A CN106610280 A CN 106610280A
Authority
CN
China
Prior art keywords
camera
frame
image
resolution ratio
fragment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611113890.2A
Other languages
English (en)
Inventor
A·E·汤普森
D·R·吉尼亚克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tough Operator Of Moral
Dura Operating LLC
Original Assignee
Tough Operator Of Moral
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tough Operator Of Moral filed Critical Tough Operator Of Moral
Publication of CN106610280A publication Critical patent/CN106610280A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Mechanical Engineering (AREA)

Abstract

本申请涉及一种用于利用新的光学分辨率生成立体图的方法。提供了一种在机动车辆中使用的立体测绘***和方法。立体测绘***和方法被配置为执行具有不同分辨率和不同视野的相机的立体测绘。第一相机提供经处理用于物体检测的中程到远程范围图像。图像处理器将第二相机对应的帧的分辨率与第一相机未使用的帧匹配，其中对应的帧和未使用的帧在时间上相关。未使用的帧是没有写入物体检测数据的第一相机拍摄的图像。

Description

用于利用新的光学分辨率生成立体图的方法
技术领域
本发明涉及立体测绘的***和方法，具体地涉及使用两个具有不同分辨率的相机进行立体测绘的***和方法。
背景技术
立体测绘是包括两个相机的***，其允许处理相机图像以确定使用单个相机可能难以获得的信息。例如，立体测绘允许利用相机图像的位移几何形状来确定对象的深度。具体地，对极几何矩阵可以用于确定物体的深度，其能够被机动车辆主动控制***用于处理碰撞警告或进行校正动作。
目前，立体测绘***需要两个相同分辨率的相机。因而，相机被配置以提供类似的视野，而这限制了测绘能力。因而，需要额外的摄像机来捕获更大的视野增加了车辆生产的成本。因此，仍然需要可使用不同视野的多个相机的立体测绘***以便降低生产成本。
发明内容
提供了一种在机动车辆中使用的立体测绘***和方法。立体测绘***和方法被配置为提供物体相对于机动车辆的三维距离。所述***包括第一相机和第二相机。第一相机被配置为检测在机动车辆中程和远程范围内的物体。第二相机被配置为检测相对第一相机在机动车辆短程范围内的物体。第一相机具有第一相机分辨率和第一视野。第二相机具有第二相机分辨率和第二视野。第二相机分辨率不同于第一相机分辨率。第二视野比第一视野更宽。
所述***还包括图像处理器。图像处理器包括第一处理片段和第二处理片段。第一处理片段被配置为处理第一相机的图像以便检测对象。具体地，第一处理片段在处理期结束时捕获图像帧并处理使用的图像帧，以便针对多个使用的帧检测图像，而第一相机剩余帧是未使用的帧。
第二处理片段被配置为处理第二相机。第二处理片段处理第二相机对应的帧。对应的帧在时间上对应于第一相机未使用的帧。第二处理片段处理对应的帧，以将对应帧的分辨率与第一相机未使用的帧匹配。
所述***还包括图像测绘片段。图像测绘片段将第一相机未使用帧的预定像素区域与第二相机对应帧的对应像素区域匹配。图像处理器还被配置利用第二相机的对应帧来处理第一相机未使用的帧，以便确定未使用的帧和对应的帧的预定像素区域内物体的深度和距离。
还提供一种配置用于处理第一相机和第二相机的相机胶片以便在机动车辆中执行立体测绘的方法。所述方法包括：提供具有第一相机分辨率的第一相机。第一相机被配置为检测中程和远程范围内的物体。第二相机被配置为相对第一相机检测在短程范围内的物体。第一相机具有第一相机分辨率和第一视野。第二相机具有第二相机分辨率和第二视野，其中第二相机分辨率与第一相机分辨率不同。第二视野比第一视野更宽。
所述方法包括提供图像处理器的步骤。图像处理器包括第一处理片段和第二处理片段。第一处理片段被配置为处理第一相机的图像以便检测对象。具体地，第一处理片段在处理期结束时捕获图像帧并处理使用的图像帧，以便针对多个使用的帧检测图像，而第一相机的剩余帧是未使用的帧。
第二处理片段被配置为处理第二相机。第二处理片段处理第二相机对应的帧，对应的帧在时间上对应于第一相机未使用的帧，且其中第二处理片段处理对应的帧，以将对应的帧的分辨率与第一相机未使用的帧匹配。
所述方法还包括提供图像测绘片段的步骤。图像测绘片段将第一相机未使用帧的预定像素区域与第二相机对应帧的对应像素区域匹配，其中图像处理器还被配置利用第二相机的对应帧处理第一相机未使用的帧，以便确定未使用的帧和对应的帧的预定像素区域内物体的深度和距离。
附图说明
附图中所阐述的实施例本质上是说明性的和示例性的，且不旨在限制权利要求限定的主题。当结合相同的结构用相同的附图标记表示的以下附图阅读时，能够更好地理解以下详细描述的说明性实施例，且其中：
图1是示出第一和第二相机视野的机动车辆的示意图；
图2是示出第一相机图像使用的帧和未使用的帧以及第二相机图像对应的帧的示意图；
图3是示出***操作的图；
图4是示出识别感兴趣区域，裁剪图像帧以及去除失真的图像测绘片段的示意图；
图5是示出对极几何概念的图；以及
图6是示出立体测绘方法的步骤的图。
具体实施方式
提供了一种用于机动车辆200的立体测绘***10和方法100。具体地，立体测绘***10和方法100被配置为执行具有不同分辨率和不同视野的相机的立体测绘。立体测绘***10和方法100被配置为提供物体相对于机动车辆200的三维距离。
现在参照图1，提供了一种具有用于立体测绘***10的机动车辆200。所述***10包括第一相机12和第二相机14。第二相机14被配置为检测相对第一相机12的短程范围内的物体。在特定方面，第一相机12被配置为具有大约50度的视野，然而，应当理解，提供视野是为了说明目的，且第一相机12和第二相机可以部分基于相机规格和***需要而具有除了这里提供的以外的更大或更小度数的视野。
第一相机12安装在机动车辆200上，以便设置在与第二相机14不同的垂直和水平平面上。例如，第一相机12可以安装成升高到第二相机14上方和第二相机14之后。因此，从每个相机12、14拍摄的图像提供了不同的相机角度，其使得图像相对于彼此具有位移几何形状。然后利用对极几何的概念可使用图像的位移几何形状来确定如距离和深度等信息。
示例性地示出第一相机12相对于第二相机14固定地安装至挡风玻璃210的上部，且被配置为检测中程和远程范围内的物体。第一相机12具有第一相机分辨率16和第一视野18。
第二相机14具有第二相机分辨率20和第二视野22。第二相机分辨率20不同于第一相机分辨率16。示例性地示出第二相机14安装至机动车辆200的前保险杠220上，且被设置在第一相机12下方。配置第二相机14用于近距离物体识别，近距离是相对于第一相机12，第一相机12被配置用于针对距离比第二相机12更远的物体的物体识别。
第二视野22比第一视野18宽，且第二相机14的空间分辨率大于第一相机12的空间分辨率。为了说明，第一相机12具有1080p的分辨率而第二相机14具有752p的分辨率，且第一相机12被配置为以50度的相机角度提供用于远至150m物体的物体检测的图像，而第二相机14被配置为以180度的相机角度提供用于远至50m物体的物体检测的图像。
图1还示出了固定至机动车辆200的第一相机12，以便在由线“AZ-1”指示的固定方位角上进行拍摄。同样，第二相机14相对于机动车辆200设置在第一相机12的前面，且也固定到机动车辆200上以便也在固定方位角“AZ-1”进行拍摄。拍摄方位角通常相对于机动车辆200的运动是轴向的，其中第一相机12和第二相机14的相机角度沿着相应的第一相机12和第二相机14的固定方位角“AZ-1”二等分。
再次参照图1，***10还包括图像处理器24。图像处理器24包括第一处理片段26和第二处理片段28。图像处理器24，第一处理片段26和第二处理片段28可以是写入印刷电路板的可执行程序或者下载到如用于机动车辆100的主动控制***的控制单元的处理器上的可编程计算机程序。
再次参照图1，以及现在参照图2和图3，第一处理片段26被配置为处理第一相机12的图像以便检测物体。第一相机12的图像被传输至图像处理器24，其中图像处理器24执行第一处理片段26以捕获由第一相机12拍摄的图像帧。
图2示出了在处理期结束时捕获第一相机12的图像帧的第一处理片段26，以便生成如虚线所示的使用的帧30。第一处理片段26处理每个使用的帧30，以便检测多个使用的帧30中每一个内的物体。为了本文使用，第一相机12图像的剩余帧被称为未使用的帧32。使用的帧30绘制有关于图像信息的细节，并且其因此比未使用的帧32的数据大小更大。如图3所示，可以进一步处理使用的帧30用于物体检测应用。
图2还示出了第一处理片段26还被配置为捕获不同分辨率的图像帧。为了说明，示出第一处理片段26捕获第一图像分辨率的图像帧和第二图像分辨率的第二图像帧。第二图像分辨率低于第一图像分辨率，且与第二相机14的图像分辨率相当。例如，第一图像分辨率可为16位，而第二图像分辨率可为8位，且其中如使用的图像帧30中所示的较暗轮廓的人所指示的，与未使用的图像帧32中示出的较亮轮廓的人以及对应的帧34相比，第二相机图像帧的分辨率也是8位。
第二处理片段28被配置为处理来自第二相机14的图像。第二处理片段28处理第二相机14的对应的帧34。为了本文使用，对应的帧34涉及第二相机14拍摄的图像帧，其在时间上对应于第一相机12的未使用的帧32。第二处理片段28还配置为处理对应的帧34，以便匹配对应的帧34与第一相机12的未使用的帧32的分辨率。
图2示出了由相应的第一相机12和第二相机14拍摄的顺序图像帧。以不同的相机速率拍摄各个帧。第一相机12为每秒第一帧数(“FPS-1”)，并且第二相机14为每秒第二帧数(“FPS-2”)。每秒第二帧数FPS-2是每秒第一帧数FPS-1的倍数。为了说明，第二相机14显示以第一相机12的两倍的速率生成图像帧。例如，第一相机12可为60的每秒第一帧FPS-1速率和第二相机14可为30的每秒第二帧FPS-2。因此，匹配未使用的帧32与对应的帧34可能需要第一处理片段26使其图像捕获与未使用的帧32生成速率匹配，以使得图像的分辨率和图片匹配。虚线示出了使用的帧32和在时间上相关的对应的帧34。为了说明，假设第一相机12的帧速率是每秒两(2)帧，因此第一处理片段26命令第二相机14以每秒1帧捕获图像。
再次参照图1且现在参照图4，所述***10还包括图像测绘片段36。图像测绘片段36将第一相机12未使用的帧32的预定像素区域与第二相机14的对应的帧34的对应像素区域匹配。因此，图像测绘片段36获得空间分辨率和视野的相同区域的图像，但其为从不同视野获取并具有相同分辨率。
图1示出从第一相机12和第二相机拍摄的重叠相机(线条部分)图像。图4示出了将从第一相机12拍摄的图像和从第二相机14拍摄的图像绘制在一起。图像处理器24被配置成识别第一和第二相机14的图像两者的感兴趣区域38。为了说明，图像处理器24被示出为识别由第二相机14拍摄的对应的帧34的感兴趣区域38。
感兴趣区域38可以由在第一相机12和第二相机14的视野之间的重合来确定(由线条部分识别)。对应的帧34的感兴趣区域38与未使用的帧32的感兴趣区域38是相同的像素区域。因此，图像测绘片段36可以利用极线校正来确定图像信息，图5提供了极线校正的概念。图4还示出了图像处理器24从对应的帧34裁剪感兴趣区域38之外的区域，以便减少处理的数据量。
图像处理器24还可配置成从裁剪后的图像中去除失真。具体地，图像处理器24可以执行调整像素信息以消除失真的软件程序。应当进一步理解，在第二处理片段28将对应的帧34与相关未使用的帧32的分辨率匹配之前或之后，图像处理器24可识别感兴趣区域38，裁剪并从对应的和未使用的帧32去除失真。优选地，图像处理器24在立体测绘之前执行感兴趣区域38的识别，裁剪和失真消除，以便减少处理时间。
图像处理器24还被配置为利用第二相机14的对应的帧34处理第一相机12的未使用的帧32，以便确定未使用的帧32和对应的帧34的预定像素区域内的物体的深度和距离。如上所述，如深度，距离和物体识别的信息可以通过利用对极几何的概念来完成。因此，关于物体的范围估计，路面信息和路边信息的信息可以利用具有两种不同分辨率的相机来获得。
此外，图像处理器24被配置为在立体测绘状态和物体检测状态之间交替。在立体测绘状态中，图像测绘片段36将第一相机12的帧的预定像素区域与在时间上与第一相机12的帧对应的第二相机14的帧的对应像素区域匹配。在物体检测状态中，图像处理器24处理第一相机12图像以检测物体。因此，在物体检测状态下，进行物体检测且可将信息发送到机动车辆200的主动控制***240。然而，在立体测绘状态下，可确定如深度、距离等关于图像的信息。应当理解，所述信息可以被发送至主动控制***以与检测到的物体一起被处理以执行机动车辆200的转向、制动等功能。
现在参照图5，提供了示出***10操作的图。所述***10在机动车辆200中实施。图像处理器24和图像测绘片段36可以被写到印刷电路板上且被设置为与第一相机12和第二相机14以及机动车辆100的主动控制***240的控制单元230电通信。
图5示出了由第一相机12和第二相机14收集并被传送到图像处理器24的图像，其中使用的帧30用于物体检测。未使用的帧32连同第二相机14的对应的帧34由图像处理器24顺序地处理。具体地，处理对应的帧34以与在时间上相关的未使用的帧32的分辨率匹配。
图5示出了被处理以用于物体检测的使用的帧30，其中未使用的帧32和对应的帧34被发送至图像测绘片段36，其中在立体测绘前识别感兴趣区域38，实施裁剪和失真调整。图像测绘片段36将未使用的帧32连同对应的帧34一起处理以确定与相机图像相关的包括道路几何形状，到物体的距离和物体的深度的空间信息。
图5还示出了图像测绘片段36的信息如何可以被用于执行跟踪和物体检测操作。例如，图像测绘片段36的信息可以用于分类物体、跟踪物体，以及提供关于物体的分类的确定性。
现在参照图10，提供了配置用于处理执行立体测绘的方法100。所述方法从步骤110和120开始，提供第一相机12和第二相机14。第一相机12被配置为检测中程和远程范围内的物体。第二相机14被配置为检测相比第一相机12在短程范围内的物体。
第一相机12具有第一相机分辨率16和第一视野18。第二相机14具有第二相机分辨率20和第二视野22，其中第二相机分辨率20与第一相机分辨率16不同。第二视野22比第一视野18更宽。
第二相机14具有第二相机分辨率20和第二视野22。第二相机分辨率20与第一相机分辨率16不同。说明性地示出安装在车辆前保险杠220上且设置在第一相机12下方的第二相机14。第二视野22比第一视野18更宽，并且相对于第一相机12具有更短的范围。
为了说明，第一相机12具有1080p的分辨率而第二相机14具有752p的分辨率，且第一相机12被配置为以50度的相机角度提供用于远至150m物体的物体检测的图像，而第二相机14被配置为以180度的相机角度提供用于远至50m物体的物体检测的图像。
第一相机12和第二相机14可以安装在机动车辆200上，以便设置在彼此不同的垂直和水平平面上，其中相机沿着相同的方位角定向以便收集从不同的角度拍摄的相同的图像。例如，第一相机12可以安装成升高到第二相机14上方和第二相机14之后。因此，从每个相机12、14拍摄的图像提供了不同的相机角度，其使得图像相对于彼此具有位移几何形状。然后利用极线校正的概念可使用图像的位移几何形状来确定如距离和深度等信息。
所述方法100包括步骤130，捕获第一相机12的图像帧以便生成使用的帧30，其中第一相机12的剩余帧是未使用的帧32。图像处理器24执行步骤130。图像处理器24包括第一处理片段26和第二处理片段28。方法100包括从第一相机12捕获图像帧并处理使用的图像帧以便检测物体的步骤。
通过使第一处理片段26处理第一相机12的图像来执行步骤130以便检测物体。发送第一相机12图像至图像处理器24，其中图像处理器24执行第一处理片段26以捕获第一相机12拍摄的图像帧以便生成使用的图像帧。所述方法100还可包括步骤160，将使用的图像帧传送到主动控制***240以便执行车辆功能或产生碰撞警告，或两者。
方法100包括步骤140，其匹配第二相机14的对应的帧34与第一相机12的未使用的帧32的分辨率，其中对应的帧34在时间上与未使用的帧32相对应。可由第二处理片段28执行步骤。第二处理片段28处理第二相机14的对应的帧34。为了本文使用，对应的帧34涉及第二相机14拍摄的图像帧，其在时间上对应第一相机12的未使用的帧32。第二处理片段28还被配置为处理对应的帧34以便匹配对应的帧34与第一相机12的未使用的帧32的分辨率。
方法100还包括步骤150，立体匹配具有调整的分辨率的对应的帧34与未使用的帧32以便获得图像信息。立体匹配步骤可由图像测绘片段36执行。图像测绘片段36匹配第一相机12的未使用的帧32的预定像素区域与第二相机14的对应的帧34的对应像素区域。因此，图像测绘片段36获得相同相机覆盖区域的图像，但其为从不同视野获取并具有相同分辨率。
图像处理器24还被配置为利用第二相机14的对应的帧34处理第一相机12的未使用的帧32以便确定未使用帧32和对应的帧34的预定像素区域内物体的深度和距离。如上所述，诸如深度，距离和物体识别的信息可以通过利用对极几何的概念来完成。因此，可通过具有两种不同分辨率的相机来获得关于物体的范围估计、路面信息和路边信息的信息。
根据方法100的另一方面，图像处理器24可以被配置为在立体测绘状态和物体检测状态之间交替。在立体测绘状态中，图像测绘片段36将第一相机12的帧的预定像素区域与在时间上与第一相机12的帧相关的第二相机14的帧的对应像素区域匹配。在物体检测状态中，图像处理器24处理第一相机12图像以检测物体。因此，在物体检测状态下，进行物体检测且可将信息发送到主动控制***。然而，在立体测绘状态下，可确定如深度，距离等关于图像的信息。应当理解，所述信息可以被发送至主动控制***以与检测到的物体一起被处理以执行机动车辆200的转向、制动等功能。
方法100还可包括为每个未使用的帧32和对应的帧34识别感兴趣区域38的步骤。图像处理器24可以执行识别感兴趣区域38的步骤。感兴趣区域38可以由在第一相机12和第二相机14的视野之间重合(由线条部分识别)来确定。对应的帧34的感兴趣区域38与未使用的帧32的感兴趣区域38是相同的像素区域。因此，图像测绘片段36可以利用对极几何来确定图像信息。
所述方法100还可包括从对应的帧34和未使用的帧32裁剪感兴趣区域38之外的区域以便减少处理的数据量的步骤。所述方法100还可包括从对应的帧34和未使用的帧32去除失真的步骤。图像处理器24可执行裁剪和失真解决的步骤。具体地，图像处理器24可以执行调整像素信息以消除失真的软件程序。应当进一步理解，在第二处理片段28将对应的帧34与相关未使用的帧32的分辨率匹配之前或之后，图像处理器24可识别感兴趣区域38，裁剪并从对应的和未使用的帧32去除失真。优选地，图像处理器24在立体测绘之前执行感兴趣区域38的识别，裁剪和失真消除，以便减少处理时间。
虽然这里已经示出和描述了具体实施例，但是应当理解，在不脱离所要求保护的主题的精神和范围的情况下，可以进行各种其他改变和修改。此外，尽管在此描述了所要求保护的主题的各个方面，但是这些方面不需要组合使用。

Claims (20)

1.一种用于机动车辆的立体测绘***，所述***被配置为确定物体相对于机动车辆的三维距离，所述***包括：
第一相机，其具有第一相机分辨率；
第二相机，其具有第二相机分辨率，所述第二相机分辨率不同于所述第一相机分辨率；
图像处理器，其具有第一处理片段和第二处理片段，所述第一处理片段被配置为捕获所述第一相机的帧以生成使用的帧和未使用的帧，其中所述图像处理器被配置为处理所述使用的帧以用于物体检测，所述第二处理片段被配置为处理所述第二相机，其中所述第二处理片段处理所述第二相机的对应的帧，所述对应的帧在时间上对应于所述第一相机的所述未使用的帧，以便匹配所述对应的帧的分辨率与所述第一相机的所述未使用的帧的分辨率；以及
图像测绘片段，所述图像测绘片段匹配所述第一相机的所述未使用的帧的像素区域与所述第二相机的所述对应的帧的对应像素区域，其中所述图像处理器还被配置为利用所述第二相机的所述对应的帧处理所述第一相机的所述未使用的帧以便确定物体的范围估计。
2.如权利要求1所述的立体测绘***，其中所述第一处理片段以第一速率处理所述第一相机的图像，且其中所述第二处理片段以第二速率处理所述第二相机的图像，所述第一速率是所述第二速率的两倍。
3.如权利要求2所述的立体测绘***，其中所述第一相机具有每秒第一帧数且第二相机具有每秒第二帧数，所述每秒第一帧数是所述每秒第二帧数的倍数，其中所述未使用的帧的图像分辨率与所述对应的图像帧的图像分辨率相同。
4.如权利要求2所述的立体测绘***，其中所述图像处理器还被配置为在立体测绘状态和物体检测状态之间交替，其中在立体测绘状态下，所述图像测绘片段将所述第一相机的帧的预定像素区域与在时间上与所述第一相机的所述帧相关的所述第二相机的帧的对应像素区域匹配，且其中在物体检测状态下，所述第一处理器处理第一相机图像以检测物体。
5.如权利要求2所述的立体测绘***，其中所述图像处理器还被配置为识别第一相机图像和第二相机图像两者的感兴趣区域，所述感兴趣区域是相同的像素区域，且其中从图像中裁剪所述感兴趣区域之外的区域以减少处理的数据量，且其中进一步处理经裁剪的图像以去除失真。
6.如权利要求5所述的立体测绘***，其中所述第一相机被配置为具有至少50度的相机视野角度。
7.如权利要求6所述的立体测绘***，其中所述第一相机安装成升高到所述第二相机上方。
8.如权利要求7所述的立体测绘***，其中所述第一相机分辨率大于所述第二相机分辨率。
9.权利要求8所述的立体测绘***，其中所述第一相机分辨率为1080p且所述第二相机分辨率为752p。
10.如权利要求9所述的立体测绘***，其中所述第一相机固定至所述机动车辆以便以固定方位角拍摄，且其中所述第二相机设置在所述第一相机的前面且固定至所述机动车辆以便以所述固定方位角拍摄。
11.一种用于机动车辆的方法，所述方法被配置用于执行立体测绘，所述方法包括步骤：
提供具有第一相机分辨率的第一相机，所述第一相机被配置成检测中程和远程范围内的物体；
提供具有第二相机分辨率的第二相机，所述第二相机分辨率与所述第一相机分辨率不同；所述第二相机被配置为检测相对于所述第一相机的短程范围，所述第二相机还被配置为相对于所述第一相机具有更宽的相机视野；
从所述第一相机捕获图像帧并处理使用的图像帧以便检测物体，其中图像处理器具有提供的第一处理片段和第二处理片段，所述第一处理片段被配置成捕获所述第一相机的帧以生成使用的帧和未使用的帧，其中所述图像处理器被配置为处理所述使用的帧以进行物体检测；
匹配所述第二相机的对应的帧的分辨率与所述第一相机的未使用的帧的分辨率，所述第二处理片段被配置为处理所述第二相机，其中所述第二处理片段处理所述第二相机的对应的帧，所述对应的帧在时间上对应所述第一相机的所述未使用的帧，以使对应的帧的分辨率与所述第一相机的未使用的帧匹配；以及
利用所述未使用的帧进行所述对应的帧的立体测绘以获得图像信息，其中图像测绘片段将所述第一相机的所述未使用帧的预定像素区域与所述第二相机的所述对应的帧的对应像素区域匹配，其中所述图像处理器还被配置为利用所述第二相机的所述对应的帧来处理所述第一相机的所述未使用的帧以便确定物体的范围估计。
12.如权利要求11所述的用于机动车辆的方法，还包括步骤：所述第一处理片段以第一速率处理第一相机图像，且所述第二处理片段以第二速率处理第二相机图像，所述第二速率是所述第一速率的两倍。
13.如权利要求12所述的用于机动车辆的方法，其中所述第一相机具有每秒第一帧数且所述第二相机具有每秒第二帧数，所述每秒第一帧数是所述每秒第二帧数的倍数，其中所述未使用的帧的图像分辨率与所述对应的图像帧的图像分辨率相同。
14.如权利要求13所述的用于机动车辆的方法，还包括步骤：所述图像处理器在立体测绘状态和物体检测状态之间交替，其中在所述立体测绘状态下，所述图像测绘片段将所述第一相机的帧的预定像素区域与在时间上与所述第一相机的所述帧相关的所述第二相机的帧的对应像素区域匹配，且其中在所述物体检测状态下，所述第一处理器处理所述第一相机图像以检测物体。
15.如权利要求13所述的用于机动车辆的方法，还包括步骤：所述图像处理器识别所述第一相机图像和所述第二相机图像两者的感兴趣区域，所述感兴趣区域是相同的像素区域，以及裁剪所述感兴趣区域之外的区域以减少处理的数据量，以及从经裁剪的图像去除失真。
16.如权利要求13所述的用于机动车辆的方法，其中所述第一相机被配置为具有至少50度的相机视野角度。
17.如权利要求16所述的用于机动车辆的方法，其中所述第一相机安装成升高到所述第二相机上方。
18.如权利要求17所述的用于机动车辆的方法，其中所述第一相机分辨率大于所述第二相机分辨率。
19.如权利要求18所述的用于机动车辆的方法，其中所述第一相机分辨率为1080p且所述第二相机分辨率为752p。
20.如权利要求19所述的用于机动车辆的方法，其中所述第一相机固定至所述机动车辆以便以固定方位角拍摄，且其中所述第二相机设置在所述第一相机的前面且固定至所述机动车辆以便以所述固定方位角拍摄。
CN201611113890.2A 2015-10-27 2016-10-27 用于利用新的光学分辨率生成立体图的方法 Pending CN106610280A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/924,075 2015-10-27
US14/924,075 US20170113611A1 (en) 2015-10-27 2015-10-27 Method for stereo map generation with novel optical resolutions

Publications (1)

Publication Number Publication Date
CN106610280A true CN106610280A (zh) 2017-05-03

Family

ID=57209240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611113890.2A Pending CN106610280A (zh) 2015-10-27 2016-10-27 用于利用新的光学分辨率生成立体图的方法

Country Status (3)

Country Link
US (1) US20170113611A1 (zh)
EP (1) EP3163506A1 (zh)
CN (1) CN106610280A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308066A (zh) * 2017-07-27 2019-02-05 安波福技术有限公司 用于自动化车辆的传感器故障补偿***
CN111818308A (zh) * 2019-03-19 2020-10-23 温州洪启信息科技有限公司 基于大数据的安防监控探头分析处理方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102077575B1 (ko) 2015-05-19 2020-02-17 엘지전자 주식회사 차량 운전 보조 장치 및 차량
CN109785225B (zh) * 2017-11-13 2023-06-16 虹软科技股份有限公司 一种用于图像矫正的方法和装置
CN109785390B (zh) * 2017-11-13 2022-04-01 虹软科技股份有限公司 一种用于图像矫正的方法和装置
EP3825649A4 (en) * 2018-07-18 2022-04-20 Mitsumi Electric Co., Ltd. DISTANCE CAMERA
US20210306538A1 (en) * 2019-01-28 2021-09-30 Magna Electronics Inc. Vehicular forward camera module with cooling fan and air duct
US11833972B1 (en) 2022-05-13 2023-12-05 Magna Mirrors Holding Gmbh Vehicle overhead console with cooling fan

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
WO2012029301A1 (ja) * 2010-08-31 2012-03-08 パナソニック株式会社 撮影装置、再生装置、および画像処理方法
US9066085B2 (en) * 2012-12-13 2015-06-23 Delphi Technologies, Inc. Stereoscopic camera object detection system and method of aligning the same
CN110213565B (zh) * 2013-01-15 2021-03-09 移动眼视力科技有限公司 成像***和用于深度计算的方法
JP6155471B2 (ja) * 2013-03-11 2017-07-05 パナソニックＩｐマネジメント株式会社 画像生成装置、撮像装置および画像生成方法
KR101439013B1 (ko) * 2013-03-19 2014-09-05 현대자동차주식회사 스테레오 영상 처리 장치 및 방법
WO2014148031A1 (ja) * 2013-03-19 2014-09-25 パナソニック株式会社 画像生成装置、撮像装置および画像生成方法
CN111199218A (zh) * 2014-01-30 2020-05-26 移动眼视力科技有限公司 用于车辆的控制***、和图像分析***
CN112580456A (zh) * 2014-05-14 2021-03-30 御眼视觉技术有限公司 用于路缘检测和行人危险评估的***和方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308066A (zh) * 2017-07-27 2019-02-05 安波福技术有限公司 用于自动化车辆的传感器故障补偿***
CN111818308A (zh) * 2019-03-19 2020-10-23 温州洪启信息科技有限公司 基于大数据的安防监控探头分析处理方法
CN111818308B (zh) * 2019-03-19 2022-02-08 江苏海内软件科技有限公司 基于大数据的安防监控探头分析处理方法

Also Published As

Publication number Publication date
US20170113611A1 (en) 2017-04-27
EP3163506A1 (en) 2017-05-03

Similar Documents

Publication Publication Date Title
CN106610280A (zh) 用于利用新的光学分辨率生成立体图的方法
US10097812B2 (en) Stereo auto-calibration from structure-from-motion
CN109690623B (zh) 用于识别场景中的相机的姿势的***和方法
KR101811157B1 (ko) 사발형 영상 시스템
CN106462996B (zh) 无失真显示车辆周边环境的方法和装置
CN107306338A (zh) 用于对象检测和跟踪的全景摄像机***
EP2667325A1 (en) Method for determining an analysis region in a camera image, camera system and motor vehicle with a camera system
CN103810475B (zh) 一种目标物识别方法及装置
JP2007527569A (ja) 立体視に基づく差し迫った衝突の検知
CN110225238B (zh) 场景重建***、方法以及非暂态电脑可读取媒介质
WO2018222122A1 (en) Methods for perspective correction, computer program products and systems
JP6151535B2 (ja) パラメータ取得装置、パラメータ取得方法及びプログラム
KR20170064652A (ko) 에고모션 추정 시스템 및 방법
KR20140054710A (ko) 3차원 지도 생성 장치 및 3차원 지도 생성 방법
EP3002709A1 (en) Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle
JP6065629B2 (ja) 物体検知装置
JP2019532540A (ja) 動力車両を運転する際に動力車両のドライバーを支援する方法、ドライバー支援システム及び動力車両
JP6635621B2 (ja) 自動車用視覚システム及び視覚システムを制御する方法
JP2005217883A (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
EP3629292A1 (en) Reference point selection for extrinsic parameter calibration
JP2004354256A (ja) キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
JP2004110521A (ja) 変位データ抽出方法及び物体検出装置
CN108701349B (zh) 显示车辆周围环境前视图的方法和装置及相应车辆
KR20160136757A (ko) 단안 카메라를 이용한 장애물 검출장치
EP3389015A1 (en) Roll angle calibration method and roll angle calibration device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170503