CN108367714B - 填充由镜子或其他车辆部件遮挡的周围视野区域 - Google Patents

填充由镜子或其他车辆部件遮挡的周围视野区域 Download PDF

Info

Publication number
CN108367714B
CN108367714B CN201680064142.1A CN201680064142A CN108367714B CN 108367714 B CN108367714 B CN 108367714B CN 201680064142 A CN201680064142 A CN 201680064142A CN 108367714 B CN108367714 B CN 108367714B
Authority
CN
China
Prior art keywords
image
blind spot
image data
time
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680064142.1A
Other languages
English (en)
Other versions
CN108367714A (zh
Inventor
安德列亚斯·U·屈恩勒
凯茜·L·布恩
李政
汉斯·M·莫林
马顿·G·久里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bendix Commercial Vehicle Systems LLC
Original Assignee
Bendix Commercial Vehicle Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bendix Commercial Vehicle Systems LLC filed Critical Bendix Commercial Vehicle Systems LLC
Publication of CN108367714A publication Critical patent/CN108367714A/zh
Application granted granted Critical
Publication of CN108367714B publication Critical patent/CN108367714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

一种成像***、方法和计算机可读介质，填充车辆的***区域的图像中的盲点区域。内在或外在的盲点数据与包括车辆速度和转向角信息的车辆运动数据一起使用，以确定***区域的一系列图像的一个或多个部分，该***区域的图像包括或将包括图像中的一个或多个盲点障碍物。预测在未来时刻待被遮挡的图像的部分、从多个源同时所获取的重叠图像的部分、或两者被获取并用作图像补丁。通过将一个或多个图像补丁合并到包括一个或多个盲点障碍物的图像的部分中，盲点区域恢复单元操作以缝合在一起得到没有盲点障碍物的恢复图像。

Description

填充由镜子或其他车辆部件遮挡的周围视野区域
技术领域
本文的实施方式总体涉及视觉/成像***，并且更具体地涉及提供围绕车辆(例如货运卡车)的一个或多个区域的未受遮挡鸟瞰图的车辆拐角和/或周围视野照相机***。本文的示例性实施方式将结合使用用于非铰接货运卡车的单侧放置的照相机的第一应用和使用两个(2)照相机的***的第二应用来进行描述，所述两个照相机包括侧面放置的第一照相机和用于非铰接货运卡车的前置/拐角放置的第二照相机。然而，可以理解，这些实施方式不仅限于这些应用，而且可以用于许多其他应用，包括例如360°周围视野照相机***以及包括一个或多个成像获取单元的其他移动***或静止***。
背景技术
为了向操作员提供车辆周围的区域的一个或多个图像，将照相机放置在车辆上是常见的。这有助于提高操作员相对于车辆附近状况的意识，以避免碰撞并辅助操纵车辆在装载码头等处附近的停靠或运动。出于这些原因并且为了试图提供车辆周围区域的“周围视野”，照相机已经定位于车辆上的各个位置，例如在前端、后端、左侧和右侧。这些照相机为操作员提供了相对于车辆的各种视野，包括前视野、后视野、左视野、和右视野。在一些应用中，通过将这些视野邻接或“拼接”成用于在车辆的仪表板等上显示的单一图像进行组合，以出于操作员的方便而在当前设置中提供车辆的实时全景或鸟瞰图。
周围视野照相机可以有利地安装在车辆的选定结构的拐角处。然而，在这些拐角处的视野通常被车辆内在的镜子或其他突起遮挡，导致在所得到的周围视野中的遮挡点或空白点，使驾驶员难以看到相对于车辆的***区域的完整图像。另外，在使用周围视野照相机***期间，邻近车辆的物体会遮挡由一个或多个照相机所获取的图像。车辆外部的这些其他突起或结构也导致在得到的周围视野中的遮挡点或空白点，使驾驶员难以看到相对于车辆的***区域的完整图像。
因此，期望提供没有这些限制的车辆周围视野***并且向车辆操作员提供逼真的、栩栩如生的图像，而不会在图像中引入任何盲点或盲点伪影或其他混淆物，并且特别是期望提供可以填充由车辆部件(例如镜子)遮挡或被其他外来物体等遮挡的周围视野区域的车辆周围视野***。
发明内容
本文中的实施方式总体提供填充包含在相关运动物体(例如车辆)的***区域的图像中的部分障碍物。为了便于描述实施方式，本文中描述一般概念的示例性实施方式涉及机动车辆，但是有利技术和结构组合的适用性不限于仅应用于机动车辆。相反，当在物体和物体***的区域之间存在相对运动时以及在物体和物体的***区域之间不存在相对运动时，本文的实施方式提供了在应用中填充相关物体***区域所获取的图像中包含的部分障碍物。
根据特定的示例性实施方式，成像***、方法和计算机可读介质填充车辆***区域的图像中的盲点区域。内在或外在的盲点数据与包括车辆速度和转向角信息的车辆运动数据以及根据需要或期望的与车辆相关的其他信息一起使用，以确定***区域的一系列图像的一个或多个部分，该***区域的图像包括或将包括图像中的一个或多个盲点障碍物。预测在未来时刻待被遮挡的图像的部分、从多个源同时所获取的重叠图像的部分、或两者被获取并用作图像补丁。通过将一个或多个图像补丁合并到包括一个或多个盲点障碍物的图像的部分中，盲点区域恢复单元操作以缝合在一起得到没有盲点障碍物的恢复图像。
根据另一特定示例性实施方式，成像***填充相关运动车辆的***区域中的盲点区域。该***包括处理器和与处理器可操作地耦合的非瞬态存储器。也与处理器可操作地耦合，该***包括图像获取单元、预测盲点区域确定单元和当前盲点区域恢复单元。非瞬态存储器存储表示相关车辆的***区域的盲点区域的内在盲点数据以及表示相关车辆的运动速度的运动数据。图像获取单元被配置成接收表示在第一时刻采集的相关车辆的***区域的第一图像的第一图像数据，以及被配置成接收表示在第一时刻之后的第二时刻采集的相关车辆的***区域的第二图像的第二图像数据。预测盲点区域确定单元被配置成在第一时刻确定根据内在盲点数据和运动数据在第二时刻在盲点区域中的第一图像的一部分。当前盲点区域恢复单元被配置成在第二时刻通过合并以下i)和ii)：i)第一图像数据的选定部分，对应于预测在第二时刻在盲点区域中的第一图像的部分；ii)第二图像数据；生成恢复的第二图像数据：生成恢复的第二图像数据。所生成的恢复的第二图像数据表示在第二时刻未受盲点区域遮挡的相关车辆的***区域的恢复的第二图像。
根据又一特定示例性实施方式，图像获取单元包括第一照相机和第二照相机。第一照相机被配置成：在第一时刻从相对于相关车辆的第一视角采集表示相关车辆的***区域的第一图像的第一图像数据；以及在第二时刻从第一视角采集表示在第二时刻相关车辆的***区域的第二图像的第二图像数据。第二照相机被配置成：在第一时刻从相对于相关车辆的与第一视角不同的第二视角采集表示相关车辆的***区域的辅助图像的辅助图像数据。在一种形式中，与处理器可操作地耦合的盲点重叠区域确定单元被配置成确定在第一时刻在盲点区域中的第一图像的第一部分，以及与在第一时刻在盲点区域中的第一图像的第一部分重叠的辅助图像的第一部分。此后，当前盲点区域恢复单元通过合并以下i)和ii)：i)辅助图像数据的第一部分，对应于与在第一时刻在盲点区域中第一图像的第一部分重叠的辅助图像的第一部分；ii)在第一图像数据的第一部分处的第一图像数据，第一图像数据的第一部分对应于在第一时刻在盲点区域中第一图像的第一部分；生成恢复的第一图像数据，其中所生成的恢复的第一图像数据表示在第一时刻未受盲点区域遮挡的相关车辆的***区域的恢复的第一图像。在另一种形式中，盲点重叠区域确定单元确定与预测在第二时刻在盲点区域中的第一图像的部分重叠的辅助图像的第一部分。此后，当前盲点区域恢复单元通过合并以下i)和ii)：i)辅助图像数据的第一部分，对应于与预测在第二时刻在盲点区域中的第一图像的部分重叠的辅助图像的第一部分；ii)在第二图像数据的第一部分处的第二图像数据，第二图像数据的第一部分对应于根据内在盲点数据和运动数据在盲点中的第二图像的第一部分；生成恢复的第二图像数据，其中，所生成的恢复的第二图像数据表示在第二时刻未受盲点区域遮挡的相关车辆的***区域的恢复的第二图像。
根据又一特定示例性实施方式，相关成像***中的方法填充相关车辆的***区域中的盲点区域。根据该方法，表示相关车辆的***区域的盲点区域的内在盲点数据被存储在与相关成像***的处理器可操作地耦合的非瞬态存储器中。表示相关车辆的运动速度的运动数据被存储在非瞬态存储器中。该方法包括在第一时刻使用与相关成像***的处理器可操作地耦合的图像获取单元，获取第一图像数据，第一图像数据表示在第一时刻相关车辆的***区域的第一图像。该方法还包括在第一时刻使用与相关成像***的处理器可操作地耦合的图像获取单元，获取辅助图像数据，辅助图像数据表示在第一时刻采集的相关车辆的***区域的辅助图像。该方法还包括通过与处理器可操作地耦合的盲点重叠区域确定单元并且根据内在盲点数据来确定：在第一时刻在盲点区域中的第一图像的第一部分；和与在第一时刻在盲点区域中的第一图像的第一部分重叠的辅助图像的第一部分。该方法还包括通过与处理器可操作地耦合的当前盲点区域恢复单元，通过合并以下i)和ii)：i)辅助图像数据的第一部分，对应于与在第一时刻在盲点区域中第一图像的第一部分重叠的辅助图像的第一部分；ii)在第一图像数据的第一部分处的第一图像数据，第一图像数据的第一部分对应于在第一时刻在盲点区域中第一图像的第一部分；生成恢复的第一图像数据，其中所生成的恢复的第一图像数据表示在第一时刻未受盲点区域遮挡的相关车辆的***区域的恢复的第一图像。
根据又一特定示例性实施方式，相关成像***中的方法填充相关车辆的***区域中的盲点区域。根据该方法，表示相关车辆的***区域的盲点区域的内在盲点数据被存储在与相关成像***的处理器可操作地耦合的非瞬态存储器中。表示相关车辆的运动速度的运动数据被存储在非瞬态存储器中。该方法包括在第一时刻使用与相关成像***的处理器可操作地耦合的图像获取单元，获取第一图像数据，第一图像数据表示在第一时刻相关车辆的***区域的第一图像。该方法还包括在第一时刻之后的第二时刻使用图像获取单元，获取第二图像数据，第二图像数据表示在第一时刻之后的第二时刻相关车辆的***区域的第二图像。该方法还包括在第一时刻通过与相关成像***的处理器可操作地耦合的预测盲点区域确定单元，确定根据内在盲点和运动数据预测在第二时刻在盲点区域中的第一图像的一部分。该方法还包括在第二时刻通过与相关成像***的处理器可操作地耦合的当前盲点区域恢复单元，通过合并以下i)和ii)：i)第一图像数据的选定部分，对应于预测在第二时刻在盲点区域中的第一图像的部分；和ii)第二图像数据；生成恢复的第二图像数据，其中所生成的恢复的第二图像数据表示在第二时刻未受盲点区域遮挡的相关车辆的***区域的恢复的第二图像。
根据又一特定示例性实施方式，非临时性计算机可读存储介质存储一个或多个可由一个或多个处理器执行的用于填充相关车辆的***区域中的盲点区域的指令序列。指令在由一个或多个处理器执行时使一个或多个处理器执行以下步骤：将表示相关车辆的***区域的盲点区域的内在盲点数据存储在与相关成像***的处理器可操作地耦合的非瞬态存储器中，并且将表示相关车辆的运动速度的运动数据存储在非瞬态存储器中。指令在被执行时进行另外的步骤：在第一时刻使用与相关成像***的处理器可操作地耦合的图像获取单元，获取第一图像数据，第一图像数据表示在第一时刻相关车辆的***区域的第一图像。指令在被执行时进行另外的步骤：在第一时刻之后的第二时刻使用图像获取单元，获取第二图像数据，第二图像数据表示在第一时刻之后的第二时刻相关车辆的***区域的第二图像。指令在被执行时进行另外的步骤：在第一时刻通过与相关成像***的处理器可操作地耦合的预测盲点区域确定单元，确定根据内在盲点和运动数据预测在第二时刻在盲点区域中的第一图像的一部分。指令在被执行时进行另外的步骤：在第二时刻通过与相关成像***的处理器可操作地耦合的当前盲点区域恢复单元，通过合并以下i)和ii)：i)第一图像数据的选定部分，对应于预测在第二时刻在盲点区域中的第一图像的部分；和ii)第二图像数据；生成恢复的第二图像数据，其中所生成的恢复的第二图像数据表示在第二时刻未受盲点区域遮挡的相关车辆的***区域的恢复的第二图像。
附图说明
阅读以下描述且参考附图，本文的实施方式的前述和其他特征对于涉及填充车辆***区域的图像中的盲点区域的本成像***、方法和计算机可读介质的本领域技术人员而言将是显而易见的，其中：
图1a是其中应用了的成像照相机***的车根据一个实施方式辆的透视图，其示出车辆上的单一的第一照相机的安装状况；
图1b是示出安装在图1a的车辆中的第一照相机的广义遮挡视野的示意性俯视平面图；
图1c是示出结合安装在图1a的车辆中的第二照相机的视野，安装在图1的车辆中的第一照相机的广义遮挡视野的示意性俯视平面图；
图2a是由图1a和1b的成像照相机***在相应的第一时刻和第二时刻所获取的一系列第一和第二图像的示意性平面图；
图2b是由图1c的成像照相机***在第一时刻获取的第一图像的示意性平面图；
图2c是由图1c的成像照相机***在相应的第一时刻和第二时刻所获取的一系列第一和第二图像的示意性平面图；
图3是示出适于执行本文的示例性实施方式的计算机***的框图，并且可以在该计算机***上实施示例性实施方式；
图4是存储在图3的计算机***的存储器中并且可由根据示例性实施方式的填充车辆***区域的图像中的盲点区域的计算机***的处理器执行的一组代码模块的框图；
图5a-5d示出一对相邻图像的配准过程，其示出在图像之间的接缝处的连接以合并或另外根据一个实施方式将图像拼接到一起；和
图6是示出根据示例性实施方式的填充车辆的***区域的图像中的盲点区域的整体方法的流程图；
图7是示出根据另一示例性实施方式的填充车辆的***区域的图像中的盲点区域的总体方法的流程图；和
图8a-8d示出由本文的实施方式选择性地生成的简单的说明性示例图像。
具体实施方式
现在参考附图，其中所示出的仅出于描述而不是限制实施方式的目的，本文的示例性实施方式涉及用于车辆的周围视野照相机***100，其具有放置在车辆上的选定位置处的一个或多个照相机，以及涉及用于从周围视野照相机***提供无遮挡图像的***和方法。本文中的实施方式还适用于将一个或多个照相机放置在车辆上的各个位置处，例如在车辆的拐角处以及车辆的各种一个或多个基本上矩形部分的拐角处。应该理解，本文的实施方式适用于许多不同的照相机放置方案以及适用于具有各种视野、分辨率和可能需要或期望的其他特征的多种不同的照相机类型。
作为实施方式的代表并且特别是首先参考图1a，此处所示出的立体俯视图示出车辆110，其中应用了根据一个实施方式的周围视野照相机***100，其示出支撑在车辆110的主体140上的选定位置处的照相机120、130的布置。图1b和图1c是示出安装在图1a的车辆110的主体140上的每个照相机120、130的视场的示意性俯视平面图。
尽管基本运送板式卡车112在图1a-1c中被示出为车辆110，然而车辆110可以是任何其他车辆，例如定期客运汽车或具有总体基本上矩形形状的任何其他类型的运动或静止的设备。此外，所示的板式卡车112(所示的车辆110)当然也被配置成位于例如路面等的地面上并相对于例如路面等的地面运动，将受益于本文中各个实施方式的周围视野照相机***100包括各种静止监测***等或者被配置成位于工厂地板或制造设施等上并相对于其运动的机器人设备(例如自动导向车辆(AGV))。在示例性实施方式的以下解释中，出于平面度计算等的目的，假定地面为水平面，并且这些一个或多个照相机的“高度”是指相对于地面的高度。
如图1a所示，照相机(图像拾取设备)120和130安装在车辆110的最上部。第一照相机120例如被放置在车辆110的货仓部分的右上方的前部，以及第二照相机130例如被放置在车辆110的驾驶室的左上方的顶部。照相机120和130在本文和下文中在该实施方式和待描述的实施方式中可简单地称为图像获取单元、照相机、或每个照相机，而不必区分彼此。尽管照相机如所示出的进行布置，但是它们的位置可以根据一个实施方式被对等地互换成多个相对位置，例如通过将第一照相机120定位在车辆110的左上方的前部，以及将第二照相机130定位在车辆110的右上方的后部。第一照相机120的视场被固定到车辆的乘客门的侧视镜125遮挡。然而，第二照相机的视场由于其位于车辆驾驶室顶部的相对位置而没有被遮挡。
应该理解，照相机120和130被布置在车辆110上，使得第一照相机120的光轴朝向车辆110的前方和侧方向下倾斜约15°-45°的角度，类似地，第二照相机130的光轴朝向车辆110的前方向下倾斜约15°-45°的角度。还应该理解，每个图像获取单元或照相机的视场(即每个照相机可以采集图像的空间区域)通常是半球形的总体形状并且非常大。更具体地，在所示的实施方式中，照相机120和130各自具有约180°的视场，并且在工业中常称为“鱼眼”透镜照相机或成像器。照相机120和130可以是可从Silicon Micro Systems购买的BlueEagle DC3K-1-LVD型或可从其他来源购买并且具有实施方式的期望特征的任何类似照相机。
图1b示出第一照相机120从上方观看的可用视场122，换句话说，当投影到车辆110的前方基本上平坦的地面上时，前方/侧方定向的第一图像获取单元或照相机120的基本上半球形视场的部分。前方/侧方定向的第一照相机120的基本上半球形视场的其余部分通常被该区域中车辆110的总体前部形状所遮挡。另外，反射镜125遮挡视野135的区域140，其中例如潜在地围绕车辆附近的物体(未示出)的区域(例如区域150)当前被镜子遮挡(如图中所示)，以及尽管第二区域152当前是可见的，但是将来会被镜子遮挡，例如在在由照相机120所采集的下一图像帧处会被镜子遮挡。
类似地，图1c示出第二照相机130从上方观看的可用视野132，换句话说，当投影到车辆110前方的地面上时，后方定向的第二照相机的基本上半球形视野的部分。第二照相机130的视野132与第一照相机120的视野135重叠，使得在所示的两(2)个照相机实施方式中，相对于第一照相机120由镜子遮挡的区域(例如区域150)可由第二照相机120直接观看。即，区域150相对于第一照相机120的视野同时被遮挡，而通过第二照相机130是可观看的。
应该理解，在所示实施方式中，前方定向的第一照相机120主要采集位于车辆110的前方和右侧的预定区域内的包括路面的物体或物体的图像。类似地，在所示实施方式中，前方定向的第二照相机130主要采集定位在车辆110的前方和左、右侧的预定区域内的包括路面的物体或物体的图像。然而，照相机120和130的视野135和132在一个区域中重叠。重叠区域在该实施方式中以及在在本文的其他实施方式中被称为公用视场或重叠视场。
图2a是根据使用单一照相机在一个时段上成像的实施方式，当车辆相对于车辆的***区域向前运动时，在相应的第一时刻202和第二时刻204处通过图1a和1b的成像照相机***所获取的一系列的第一图像210和第二图像212的示意性平面图。根据一个实施方式，与处理器可操作地耦合的图像获取单元被配置成接收表示在第一时刻202所采集的相关车辆的总体上以201示出的***区域的第一图像210的第一图像数据220。第一图像数据220可以是例如表示***区域的第一图像210的像素数据。类似地，图像获取单元被配置成接收表示在第一时刻202之后在第二时刻204所采集的相关车辆的***区域201的第二图像212的第二图像数据222。同样类似地，第二图像数据222可以例如是表示***区域的第二图像212的像素数据。如所示出的，第一图像210被导致第一图像210中的盲点区域206的障碍物(例如镜子125)遮挡。
下文更详细描述的预测盲点区域确定单元被配置成根据内在盲点数据和运动数据在第一时刻202处确定预测在第二时刻204在盲点区域206'中的第一图像210的部分211。在下文也更详细描述的当前盲点区域恢复单元被配置成通过合并第一图像数据的选定部分221(对应于预测为第二时刻204在盲点区域206'中的第一图像的部分211)和第二图像数据222，在第二时刻204生成恢复的第二图像数据210'。在示例性实施方式中，所生成的恢复的第二图像数据210'表示在第二时刻未受盲点区域206遮挡的相关车辆的***区域的恢复的第二图像212。所生成的恢复的第二图像数据210'包括第二图像212的第一部分A和第二部分B，与在第二时刻204预测在盲点区域206'中中的第一图像的部分211组合。该部分基本上被“拼接”到在第二图像212的第一部分A和第二部分B之间所生成的恢复的第二图像数据210'，由此消除了在第二时刻获取的相对于原始第二图像数据210恢复的第二图像数据210'中的盲点。
图2b是根据在第一时刻由图1c的成像照相机***所获取的第一图像的另一实施方式的示意性平面图。图1c的成像照相机***包括两个(2)图像获取单元；即具有重叠视场的第一照相机和第二照相机120、130，其中照相机同时获取它们各自的包括重叠区域的图像。第一照相机120被配置成在第一时刻202从相对于相关车辆的第一视角采集表示相关车辆的***区域201的第一图像210的第一图像数据220。类似地，第二照相机130被配置成在同样的第一时刻202从相对于相关车辆的与第一视角不同的第二视角采集表示相关车辆的***区域201的辅助图像230的辅助图像数据240。下文待更详细描述的盲点重叠区域确定单元被配置成根据内在盲点数据在第一时刻202确定在第一时刻202第一图像210在盲点205中的的第一部分213，以及与第一时刻202在盲点205中第一图像210的第一部分213重叠的辅助图像的第一部分232。
继续参考图2b，待在下文更详细描述的当前盲点区域恢复单元被配置成通过合并辅助图像数据的第一部分242(对应于第一时刻与盲点205中的第一图像210的第一部分重叠的辅助图像的第一部分232)与对应于在第一时刻202在盲点区域中第一图像的第一部分的第一图像数据的第一部分处的第一图像数据210，生成恢复的第一图像数据260。所生成的恢复的第一图像数据260表示在第一时刻未被盲点区域遮挡的相关车辆的***区域的恢复的第一图像270。本质上，恢复的第一图像数据260是在先前由盲点205中的第一图像210的第一部分213所获取的位置处拼接到第一图像数据220中的辅助图像的第一部分232，由此消除在第一时刻202处恢复的第一图像270中的盲点。
图2c是根据在相应的第一时刻和第二时刻由图1c的成像照相机***所获取的一系列第一图像和第二图像的另一实施方式的示意性平面图。图1c的成像照相机***包括两个(2)图像获取单元；即具有重叠视场的第一照相机和第二照相机120、130。第一照相机120被配置成在第一时刻202从相对于相关车辆的第一视角采集表示相关车辆的***区域201的第一图像210的第一图像数据220。类似地，第二照相机130被配置成在第一时刻202从相对于相关车辆的与第一视角不同的第二视角采集表示相关车辆的***区域201的辅助图像230的辅助图像数据240。在下文待更详细地描述的盲点重叠区域被配置成根据内在盲点数据和运动数据，确定与预测在第二时刻204在盲点区域中的第一图像210的部分206重叠的辅助图像230的第一部分272。
当前盲点区域恢复单元被配置成根据内在盲点数据和运动数据，通过合并辅助图像数据的第一部分272(对应于与预测在第二时刻于盲点区域中的第一图像210的部分206重叠的辅助图像的第一部分)和在第二图像数据的第一部分处的第二图像数据(对应于盲点中第二图像的第一部分)，生成恢复的第二图像数据270。所生成的恢复的第二图像数据270表示在第二时刻未被盲点区域遮挡的相关车辆的***区域的恢复的第二图像280。
图3示出可以在其上实施示例性实施方式的计算机***300的示例。计算机***300适合于实施本文所述的任何周围视野照相机***100的功能。
计算机***300包括总线302或者用于传送信息的其他通信机构以及与总线302耦合的用于处理信息的处理器304。计算机***300还包括耦合到总线302的用于存储信息和待通过处理器304执行的指令的主存储器306(例如随机存取存储器(RAM)或其他动态存储设备)。在执行待通过处理器304执行的指令期间，主存储器306还可以用于存储临时变量或其他中间信息。计算机***300还包括耦合到总线302的用于存储静态信息和用于处理器304的指令的只读存储器(ROM)308或其他静态存储设备。存储设备310(例如磁盘、光盘、SD存储器和/或快闪存储器)被提供并且被耦合到的总线302，用于存储信息和指令。
计算机***300可以经由总线302耦合到用户接口311。用户接口311可以包括用于对结合示例性实施方式在上文描述的车辆的用户显示信息的显示器312(如阴极射线管(CRT)或液晶显示器(LCD))。根据需要或期望的，用户接口311还可以包括被耦合到总线302的用于向处理器304传送信息和命令选择的输入设备314(例如包括字母数字键和其他键的键盘)。另一类型的用户输入设备是用于向处理器304传送方向信息和命令选择并用于控制显示器312上的光标运动光标控制器316(例如鼠标、轨迹球、光标方向键和/或触摸屏)。该输入设备典型地具有在两个轴(第一轴(例如，x)和第二轴(例如，y))上的两个自由度，其允许设备指定在平面中的位置。例如，可以提供输入设备314以使技术人员能够在计算机***300上执行各种服务(例如执行软件或固件更新)以下载数据等。在这些实施方式中，输入设备314可以对用户是不可用的或者简单地对车辆操作员禁用访问和/或使用。
示例性实施方式的一个方面涉及使用计算机***300来实施本文的示例性实施方式的车辆周围视野照相机***，以提供车辆(例如货运卡车)周围的区域中的盲点区域的填充，并且提供***和用于校准和使用这种周围视野照相机***的方法。根据示例性实施方式，响应于执行一个或多个序列的包含在主存储器306中的一个或多个指令，由计算机***300提供环绕物品(例如车辆、卡车)的区域的盲点区域的填充的步骤。这样的指令可以从另一计算机可读介质(如存储设备310)读入到主存储器306中。包含在主存储器306中的指令序列的执行使处理器304执行本文描述的过程步骤。在多个处理设备中的一个或多个处理器还可以用于执行包含在主存储器306中的指令序列。在替代实施方式中，可以使用硬连线电路代替软件指令或与软件指令组合以实施示例性实施方式。因此，本文描述的实施方式不限于硬件电路和软件的任何特定组合。
根据示例性实施方式，非临时性计算机可读存储介质306、308、310存储用于填充相关车辆的***区域中的盲点区域的一个或多个指令序列，其中所述指令在由计算机***300的一个或多个处理器304执行时，使一个或多个处理器304执行步骤。这些步骤例如包括：将表示相关车辆的***区域的盲点区域的内在盲点数据存储在与相关成像***的处理器可操作地耦合的非瞬态存储器中，以及将表示相关车辆的运动速度的运动数据存储在非瞬态存储器中。步骤还包括：在第一时刻使用与相关成像***的处理器可操作地耦合的图像获取单元来获取第一图像数据，该第一图像数据表示在第一时刻相关车辆的***区域的第一图像；以及在第一时刻之后的第二时刻使用图像获取单元来获取第二图像数据，该第二图像数据表示在第一时刻之后的第二时刻相关车辆的***区域的第二图像。步骤还包括：在第一时刻通过与相关成像***的处理器可操作地耦合的预测盲点区域确定单元来根据内在盲点数据和运动数据确定预计在第二时刻时将处于盲点区域中的第一图像的一部分。示例性实施方式的步骤还包括：在第二时刻通过与相关成像***的处理器可操作地耦合的当前盲点区域恢复单元，通过合并i)第一图像数据的选定部分(对应于预测在第二时刻在盲点区域中的第一图像的部分)和ii)第二图像数据，生成恢复的第二图像数据，其中所生成的恢复的第二图像数据表示在第二时刻未受盲点区域遮挡的相关车辆的***区域的恢复的第二图像。
根据另一示例性实施方式，非临时性计算机可读存储介质306、308、310存储用于填充相关车辆的***区域中的盲点区域的一个或多个指令序列，其中所述指令在由计算机***300的一个或多个处理器304执行时，使一个或多个处理器304执行步骤。这些步骤例如包括：将表示相关车辆的***区域的盲点区域的内在盲点数据存储在与相关成像***的处理器可操作地耦合的非瞬态存储器中。步骤还包括：在第一时刻使用与相关成像***的处理器可操作地耦合的图像获取单元来获取第一图像数据，该第一图像数据表示在第一时刻采集的相关车辆的***区域的第一图像；以及在第一时刻使用与相关成像***的处理器可操作地耦合的图像获取单元来获取辅助图像数据，该辅助图像数据表示在第一时刻采集的相关车辆的***区域的辅助图像。步骤还包括：通过与所述处理器可操作地耦合的盲点重叠区域确定单元以及根据内在盲点数据，确定：在第一时刻在盲点区域中的第一图像的第一部分；以及在第一时刻与在盲点区域中的第一图像的第一部分重叠的辅助图像的第一部分。另外，步骤包括：通过与处理器可操作地耦合的当前盲点区域恢复单元，通过合并i)辅助图像数据的第一部分(对应于在第一时刻与在盲点区域中的第一图像的第一部分重叠的辅助图像的第一部分)和ii)在第一图像数据的第一部分(对应于在第一时刻在盲点区域中的第一图像的第一部分)处的第一图像数据，生成恢复的第一图像数据，其中所生成的恢复的第一图像数据表示在第一时刻未受盲点区域遮挡的相关车辆的***区域的恢复的第一图像。
如本文所使用的术语“计算机可读介质”是指参与向用于执行的处理器304提供指令的任何介质。这样的介质可以采取多种形式，包括但不限于非易失性介质和易失性介质。非易失性介质包括例如光盘或磁盘，例如存储设备310。易失性介质包括动态存储器，例如主存储器306。如本文所使用的，有形介质可以包括易失性介质和非易失性介质。常见形式的计算机可读介质包括例如软盘、可折叠磁盘、硬盘、磁卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASHPROM、CD、DVD或任何其他存储芯片或盒式磁带、或计算机可读取的任何其他介质。
计算机可读介质的各种形式可以涉及将一个或多个指令的一个或多个序列传送到用于执行的处理器304。例如，指令最初可以承载在远程计算机的磁盘上。远程计算机可以将指令加载到其动态存储器中，并使用调制解调器通过电话线发送指令。计算机***300本地的调制解调器可以接收电话线上的数据，并使用红外发射器将数据转换为红外信号。耦合到总线302的红外检测器可以接收红外信号中携带的数据并将数据放置在总线302上。总线302将数据传送到主存储器306，处理器304从主存储器306检索并执行指令。由主存储器306接收的指令可以可选地在由处理器304执行之前或之后存储在存储设备310上。
计算机***300还包括耦合到总线302的通信接口318。通信接口318将双向数据通信耦合计算机***300提供给连接到企业(或其他预定网络322)的VPN链路320。在示例性实施方式中，VPN链路320是无线链路。通信接口318还将双向数据通信耦合，将计算机***300双向数据通信耦合于与照相机组332(包括一个(1)、两个(2)或多个照相机)连接的视频链路330。在本文的示例性实施方式中，一个(1)或两个(2)照相机包括例如照相机120和130。
图4是根据本文的实施方式的包括多个模块的处理模块组400的框图，该多个模块用于通过选择性地填充图像的部分从周围视野照相机***提供无遮挡图像。每个模块可由上文结合图3描述的处理器304执行。根据一个实施方式，以下结合处理模块组400描述的模块或单元402-460中的一个或多个或全部可以包括上文结合图3描述的计算机***300形式的硬件。为了简化、可缩放性和用于例如用以实施升级等的变化的适应性，根据示例性实施方式，周围视野照相机***的处理器304被配置成执行以一个或多个软件模块或功能单元的形式的软件代码，该功能单元包括与处理器可操作地耦合的图像获取单元402。图像获取单元402被配置成接收表示在第一时刻采集的相关车辆的***区域的第一图像的第一图像数据，以及接收表示在第一时刻之后的第二时刻采集的相关车辆的***区域的第二图像的第二图像数据。预测盲点区域确定单元404与处理器可操作地耦合，并且被配置成在第一时刻确定在第二时刻根据内在盲点和运动数据预测在盲点区域中的第一图像的一部分。当前盲点区域恢复单元406与处理器可操作地耦合并且通过将i)第一图像数据的选定部分(对应于预测在第二时刻处于盲点区域的第一图像的部分)和ii)第二图像数据合并，生成恢复的第二图像数据。以此方式并且根据示例性实施方式，所生成的恢复的第二图像数据表示在第二时刻未受盲点区域遮挡的相关车辆的***区域的恢复的第二图像。
在示例性实施方式中，图像输出单元410与处理器可操作地耦合，并且被配置成根据所生成的恢复的第二图像数据在相关人可读显示设备312上生成恢复的第二图像的视觉表征。
另外，为了确定在车辆与成像***之间的相对运动，处理模块组400还包括根据一个实施方式的与处理器304可操作地耦合的车辆运动确定单元412。车辆运动确定单元412被配置成根据车辆速度和车辆转向角信号生成运动数据。在一个具体实施方式中，车辆运动确定单元412包括：车辆速度确定单元414，其接收表示相关车辆的速度的车辆速度信号；以及车辆转向确定单元416，其接收表示相关车辆的转向角的车辆转向角信号。在一个实施方式中，车辆速度确定单元414可以是生成表示相关车辆的速度的车辆速度信号的速度传感器，并且车辆转向确定单元416可以是生成表示相关车辆的转向角的车辆转向角信号的转向角传感器。额外的传感器(例如偏航角速度传感器或车身角度传感器)也可以提供输入。
继续参考图4，根据一个实施方式，处理模块组400还包括平面度确定和评价单元420、422。平面度确定单元420可操作地与处理器304耦合并且被配置成根据例如将在下文描述的平面度确定模型来确定对应于预测在第二时刻处于盲点区域中的第一图像的部分的第一图像数据的选定部分的第一平面度量度，以及第二图像数据的第二平面度量度。平面度确定单元420主要根据预测组、单应性和对比度测量方程进行操作。另外，平面度确定和评价单元420、422在示例性实施方式中可协作地操作。就这一点而言，平面度评价单元422与处理器304可操作地耦合并且被配置成确定第一和第二平面度量度相对于预定平面度量度标准的平面度一致性级别，并且配置成根据所确定的平面度一致性级别选择性地生成平面度一致性信号424。应该理解，根据示例性实施方式，平面度确定单元420被配置成根据平面度评价算法来确定第一和第二平面度量度。还应该理解，根据示例性实施方式，当前盲点区域恢复单元406被配置成根据平面度一致性信号的逻辑电平，选择性地合并表示预定中性图像的默认空白图像数据。
在一个实施方式中，图像获取单元402包括被配置成根据图像数据帧集合采集图像数据的一个或多个照相机450、452，其中多个帧组中的每个图像数据帧集合按照预定的时间间隔被连续地获取。在示例性实施方式中，在第一时刻与第二时刻之间的时间是预定帧时间间隔的整数倍。具体地，在包括单一的或仅一个(1)照相机的示例性实施方式中，图像获取单元402的照相机450被配置成在第一时刻从相对于相关车辆的第一视角采集表示相关车辆的***区域的第一图像的第一图像数据，以及被配置成在第二时刻从相对于车辆的相同第一视角采集表示在第二时刻相关车辆的***区域的第二图像的第二图像数据。在该实施方式中，使用II类相似变换模型。相似变换(或者更简单地，相似度)是由回归缩放组成的等距。在由缩放反射组成的欧几里德变换的情况下，相似度具有矩阵表征：
Figure GDA0002853974480000171
可以以块的形式更简洁地写为：
Figure GDA0002853974480000172
缩放符s表示各向同性缩放。相似变换也表现为等形变换，因为它保留了“形状”(形式)。平面相似变换具有四个自由度，缩放导致比欧几里德变换多一个自由度。相似度可以计算两点对应。
相似变换模型用在单一照相机实施方式中，以使用车辆运动角度θ和以第一tx运动量和第二ty运动量在第一x方向和第二y方向上的平移运动，基于当前时刻图像的那些部分的位置x、y，预测未来某一时刻图像的部分的位置x'、y'。在各帧之间的运行时间中，地面运动等于车辆速度乘以运行时间的距离。车辆改变方向的角度等于偏航角速度(可以测量)乘以运行时间。这些值(距离和旋转)是图像预测方程的输入，其中它们分别是平移值和旋转值。
在本文的包括两个(2)图像获取单元(例如一对照相机)的实施方式中，图像获取单元402的第一照相机450被配置成在第一时刻从相对于相关车辆的第一视角采集表示相关车辆的***区域的第一图像的第一图像数据。相应地，第二照相机452被配置成在相同的第一时刻从相对于相关车辆的与第一视角不同的第二视角采集表示相关车辆的***区域的辅助图像的辅助图像数据。
在包括两(2)个照相机的示例性实施方式中，表示相关车辆的***区域的辅助图像的辅助图像的数据提供了用于通过选择性地填充图像的部分从周围视野照相机***提供无遮挡图像的有价值的信息。然而，在这方面，处理模块组400还包括与处理器304可操作地耦合的盲点重叠区域确定单元460。
单应性矩阵技术的使用在映射或另外执行在表示由第二照相机获取的相关车辆的***区域的辅助图像的辅助图像数据之间的视角转换成表示由第一照相机获取的相关车辆的***区域的第一图像的第一图像数据的选定部分。另外，使用单应性技术，根据示例性实施方式完成立体偏斜去除。实施方式可以选择性地执行用于确定在两(2)个照相机实施方式中的每个照相机450、452的单应性矩阵参数的校准过程，其中对每个照相机单独确定的单应性矩阵H至少提供了在来自相应的照相机的得到的图像中的偏斜误差，以及最终将在显示设备312上向操作员显示在合成得到的图像中的照相机对之间的最小量的偏斜，这将在下面更详细地描述。
在校准之后获取每个活动照相机的初始或“默认”单应性矩阵。在本文的两个(2)照相机实施方式中，单应性矩阵用于通过平面投影变换将原始图像转换成转换后的图像。具体地，平面投影变换被用于映射或另外进行在表示由第二照相机所获取的相关车辆的***区域的辅助图像的辅助图像数据之间视点转换成表示由第一照相机所获取的相关车辆的***区域的第一图像的第一图像数据的选定部分。原始图像上每个点的坐标用(x，y)表示，转换图像上每个点的坐标用(X，Y)表示。原始图像上的坐标(x，y)与转换后的图像上的坐标(X，Y)之间的关系由下面的公式使用单应性矩阵H来表示。单应性矩阵H是3×3矩阵，并且矩阵的每个元素由h1至h9表示。此外，h9＝1(矩阵被归一化，使得h9＝1)。根据公式，坐标(x，y)和坐标(X，Y)之间的关系也可以用下面的公式表示。
Figure GDA0002853974480000191
Figure GDA0002853974480000192
如果原始图像和转换图像之间的四点坐标的对应关系是已知的，则单应性矩阵H是唯一确定的。一旦获取单应性矩阵H，则可以根据上述公式将原始图像上的给定点转换为转换后的图像上的点。在本文的示例性实施方式中，初始或标称单应性矩阵H被接收并存储在存储器310中以供稍后使用和/或通过一个或多个后续校准步骤等进行进一步改进。
关于获取初始单应性矩阵，获取或者以其他方式导出与单应性相关误差值相关的误差值。根据示例性实施方式，执行数值优化函数以找到使总配准误差更小的单应性矩阵值。在一个实施方式中，数值优化步骤包括单纯形法以提高在所获取的图像与正方形或矩形模板之间的保真度。在计算期间，根据数值优化期间所获取的结果调整单应性矩阵值。然后，使用或采用改进的单应性矩阵值使原始图像数据无偏斜。然后再次针对已知的正方形或矩形网格图像测试该图像，以确定改进的单应性相关校准参数值。
在本文的两个(2)照相机实施方式中，使用所确定的单应性矩阵和优化的透镜失真特征参数来生成未失真且填充的鸟瞰图，其中另外被镜子或其他车辆部件遮挡的区域无缝地呈现给车辆操作员。
在具有两个(2)照相机的***的第一示例性实施方式中，盲点重叠区域确定单元460被配置成根据内在盲点数据和运动数据在第一时刻，确定在第一时刻在盲点区域中的第一图像的第一部分，以及与在第一时刻在盲点区域中的第一图像的第一部分重叠的辅助图像的第一部分。此后，当前盲点区域恢复单元406可操作以通过合并以下i)和ii)：i)辅助图像数据的第一部分，对应于与在第一时刻在盲点区域中第一图像的第一部分重叠的辅助图像的第一部分；ii)在第一图像数据的第一部分处的第一图像数据，第一图像数据的第一部分对应于在第一时刻在盲点区域中第一图像的第一部分；生成恢复的第一图像数据。根据该实施方式，使用内在盲点数据，但不需要运动数据，这是因为图像(特别是图像的重叠区域)被获取或以其他方式基本上同时获取。在任何情况下，由此生成的恢复的第一图像数据表示在第一时刻未受盲点区域遮挡的相关车辆的***区域的恢复的第一图像。
在具有两(2)个照相机的***的第二示例性实施方式中，盲点重叠区域确定单元460被配置成根据内在盲点数据和运动数据确定辅助图像的第一部分，该辅助图像的第一部分与预测在第二时刻在盲点区域中的第一图像的部分重叠。此后，当前盲点区域恢复单元406可操作以通过合并以下i)和ii)根据内在盲点数据和运动数据生成恢复的第二图像数据：i)辅助图像数据的第一部分，对应于与预测在第二时刻处于盲点区域中的第一图像的部分重叠的辅助图像的第一部分；ii)在第二图像数据的第一部分处的第二图像数据，第二图像数据的第一部分对应于在盲点中的第二图像的第一部分。由此生成的恢复的第二图像数据表示在第二时刻未受盲点区域遮挡的相关车辆的***区域的恢复的第二图像。
图5a-5d示出显示图像之间的接缝处的连接的一对相邻图像的配准过程。这些图示出为了将图像的部分拼接成另一图像，例如由相邻照相机120、130或单一照相机120所获取的一对图像552、554所形成的合成图像500的未补偿示例。可以看出，图像被很好地表示，但是它们之间的重叠在接缝556处失调。
用于合并图像552、556的方法包括从图像提取边缘并对第n个照相机对的第一照相机确定边缘阈值的步骤，类似地，该方法包括相对于第n个照相机对的第二个照相机提取边缘并执行阈值分析和/或比较。第一边缘阈值可以通过标准方法确定，例如查找直方图最小值或Otsu方法。更具体地，在第n个照相机对的第一图像的图像中提取边缘，以及在图像中确定边缘阈值。相应地，在第n个照相机对的第二个照相机的图像中提取边缘，并且在下一个步骤中，在第n个照相机对的第二个照相机的图像中获取边缘阈值。根据示例性实施方式，第二图像的边缘阈值被选择为使得在配准区域中找到多个或略微更多的边缘像素。边缘像素的这种略微可能的过度意味着当正确地配准时，第一图像的所有边缘像素应该具有匹配的对应物。也就是说，第二边缘像素集合应该是第一边缘像素集合的超集。量化第一图像的边缘像素的数量的量度被匹配，因此被适当地用于示例性实施方式中。此后，使用例如像素在相同位置重叠的百分比、Haussdorf距离、Jacard距离或用于点集之间的距离的类似度量的技术来确定照相机对或图像错误配准的误差。
图5b示出由一对图像552、554形成的合成图像500'的示例，并且通过在初始合成图像500上执行一次补偿来补偿。类似地，图5c示出由一对图像552、554形成的合成图像500”的示例，并且通过在合成图像500'上执行一次补偿来补偿。可以看出，图像被很好地表示，并且在重叠区域处的接缝556在视觉上不存在。有利地选择配准区域以使其覆盖可能的接缝或图像拼接位置的两侧。
图5d示出由一对图像552'、556'所形成的合成图像500”的示例，用于合并图像552'、556'的方法包括从图像提取在点P1-P8处的图像对比度边缘的步骤，并且确定用于第n个照相机对的第一照相机的边缘对比度阈值，类似地，该方法包括相对于第n个照相机对的第二照相机提取边缘和执行阈值分析和/或比较。
根据示例性实施方式，计算匹配量度量，以确定在补丁和其周围环境之间的配准质量或匹配。匹配度量被确定并且与预定的最大值进行比较以确定图像552'、556'中的一个或两个应该被调整的量，其中：
Figure GDA0002853974480000211
如果所有差值平均指示与周围环境相比的较浅或较深的补丁，则将平均差值添加到补丁区域中的所有像素。这种添加使补丁边界与周围环境更加无缝融合。
鉴于上述的结构特征和功能特征，参照图6将更好地理解根据示例性实施方式的方法600。然而为了简化说明的目的，图6的方法600被示出和描述为连续执行，但是应该理解和明白，示例性实施方式不受所示顺序的限制，因为一些方面可以以不同顺序发生和/或与本文所示和描述的其他方面同时发生。此外，根据示例性实施方式，不需要所有示出的特征来实施方法600。本文描述的方法600适合于以硬件、软件和/或其任何一个或多个组合来实施。例如，方法600可以由逻辑和/或由计算机***300(图3)使用图4的处理模块组400的功能单元402-460来实施以及在任何或所有的周围视野照相机***100(例如上述***)中实施。
通常，周围视野***向车辆驾驶员提供车辆周围的环境的显示。多个照相机被用来生成该视野，首先将具有重叠区域的相邻图像“拼接”在一起，然后对合成图像的整体配准进行优化。根据本文中的示例性实施方式并且为了获取最佳观看质量和障碍物检测性能，本文的***和方法提供了在车辆***区域的图像中的盲点区域的增强填充，该车辆包括设置在车辆上的一个、两个或更多个照相机以及耦合有上述的周围视野照相机***。
现在参考图6，示出了用于填充相关车辆的***区域中的盲点区域的相关成像***中的方法600。
在第一步骤610，表示相关车辆的***区域的盲点区域的内在盲点数据被存储在与相关成像***的处理器可操作地耦合的非瞬态存储器中。
在步骤620，表示相关车辆的运动速度的运动数据被存储在非瞬态存储器中。
该方法还包括：在步骤630中，使用与相关成像***的处理器可操作地耦合的图像获取单元，在第一时刻获取第一图像数据。第一图像数据表示在第一时刻相关车辆的***区域的第一图像。
该方法还包括：在步骤640中，在第一时刻之后的第二时刻，使用图像获取单元，获取第二图像数据。第二图像数据表示在第一时刻之后的第二时刻相关车辆的***区域的第二图像。
在步骤650，在第一时刻使用预测盲点区域确定单元，根据内在盲点数据和运动数据，确定预测在第二时刻处于盲点区域中的第一图像的一部分。
在步骤660第二时刻由与相关成像***的处理器可操作地耦合的当前盲点区域恢复单元生成恢复的第二图像数据。根据所示出的实施方式，通过合并以下i)和ii)，生成恢复的第二图像数据：i)第一图像数据的选定部分，其对应于预测第二时刻处于盲点区域中的第一图像的部分，ii)第二图像数据。在该实施方式中，所生成的恢复的第二图像数据表示在第二时刻未受盲点区域遮挡的相关车辆的***区域的恢复的第二图像。
在前述结构和上述功能特征的另外的视图中，参照图7将更好地理解根据示例性实施方式的另一方法700。然而，为了简化说明的目的，图7被示出和描述为连续执行，但是应该明白和理解，示例性实施方式未受所示顺序限制，因为一些方面可以以不同顺序发生和/或与本文所示和描述的其他方面同时发生。此外，根据示例性实施方式，不要求所有示出的特征来实施方法700。本文描述的方法700合适地适用于以硬件、软件和/或其任何一个或多个组合来实现。例如，方法700、600可以使用图4的处理模块组400的功能单元402-460或者在周围视野照相机***100(例如上述***)由逻辑和/或由计算机***300(图3)来实现。
通常，周围视野照相机***对车辆驾驶员提供车辆周围的环境的显示。多个照相机被用来生成该视野，具有重叠区域的相邻图像被“拼接”在一起，然后对合成图像的整体配准进行优化。根据本文中的示例性实施方式并且为了获取最佳观看质量和障碍物检测性能，本文的***和方法提供了车辆***区域的图像中的盲点区域的增强填充，该车辆包括设置在车辆上的一个、两个或更多个照相机以及与上述的周围视野照相机***耦合。
现在参考图7，示出了用于填充相关车辆的***区域中的盲点区域的相关成像***中的方法700。
在第一步骤710，表示相关车辆的***区域的盲点区域的内在盲点数据被存储在与相关成像***的处理器可操作地耦合的非瞬态存储器中。
在步骤720，表示相关车辆的运动速度的运动数据被存储在非瞬态存储器中。
该方法还包括：在730处，使用与相关成像***的处理器可操作地耦合的图像获取单元，在第一时刻获取第一图像数据。在所示实施方式中，第一图像数据表示在第一时刻采集的相关车辆的***区域的第一图像。
在步骤740，在第一时刻，使用与相关成像***的处理器可操作地耦合的图像获取单元来获取辅助图像数据。辅助图像数据表示在第一时刻采集的相关车辆的***区域的辅助图像。
该方法还包括，在步骤750，通过与处理器可操作地耦合的盲点重叠区域确定单元并根据内在盲点数据，选择性地确定运动数据：在第一时刻在盲点区域中的第一图像的第一部分；以及在第一时刻与盲点区域中第一图像的第一部分重叠的辅助图像的第一部分。在上述示例中，运动数据对于进行盲点预测在参照图2c描述的实施方式中是有用的，但是在参考图2b描述的实施方式中，运动数据某些程度上是无用的，其中图像是同时获取的，其包括重叠区域和盲点区域。
更进一步地，方法700包括：在步骤760，通过合并以下i)和ii)，通过与处理器可操作地耦合的当前盲点区域恢复单元，生成恢复的第一图像数据：i)辅助图像数据的第一部分，其对应于在盲点区域中与第一图像的第一部分在第一时刻重叠的辅助图像的第一部分，ii)在第一图像数据的第一部分处的第一图像数据，其对应于在第一时刻的在盲点区域中的第一图像的第一部分。在该实施方式中，所生成的恢复的第一图像数据表示在第一时刻未由盲点区域遮挡的相关车辆的***区域的恢复的第一图像。
图8a示出根据一个实施方式的与车辆相邻的区域812的图像810。为便于讨论，区域812具有以简单的交叉影线示出的图案814。所示的图像810是没有任何障碍物和/或盲点的完整图像。
图8b示出包括遮挡图8a的图像810的一部分的遮挡区域816的图像820。
图8c示出根据本文的实施方式的恢复图像830，其中图8b的图像820(包括遮挡图8a的图像810的部分的遮挡区域816)已经通过添加盲点填充部分818而被补救。可以看出，盲点填充部分818被无缝拼接到图8b的图像820中。
图8d示出根据本文的实施方式的未恢复图像840，其中图8b的图像820(包括遮挡图8a的图像810的部分的遮挡区域816)不能通过添加盲点填充部分818而被合理地补救。相反，可以看出，图8c的盲点填充部分818相反用黑暗或灰色的区域850代替，因为没有对操作员呈现可会引起混淆等的质量差的恢复图像而对于车辆操作员是有用的。
以上描述了示例性实施方式。当然，不可能描述组件或方法的每个可想到的组合，但是本领域的普通技术人员将认识到，示例性实施方式的许多另外的组合和置换是可能的。因此，本申请旨在涵盖落入所附权利要求的精神和范围内的所有这些改变、修改和变化，所述权利要求根据其公正、合法和平等地授权的宽度来解释。

Claims (32)

1.一种填充相关车辆的***区域中的盲点区域的成像***，所述***包括：
处理器；
非瞬态存储器，所述非瞬态存储器与所述处理器可操作地耦合，并且所述非瞬态存储器存储表示所述相关车辆的***区域的盲点区域的内在盲点数据以及表示所述相关车辆的运动速度的运动数据；
图像获取单元，所述图像获取单元与所述处理器可操作地耦合，并且所述图像获取单元被配置成接收表示在第一时刻采集的所述相关车辆的所述***区域的第一图像的第一图像数据，以及被配置成接收表示在第一时刻之后的第二时刻采集的所述相关车辆的所述***区域的第二图像的第二图像数据；
预测盲点区域确定单元，所述预测盲点区域确定单元与所述处理器可操作地耦合，并且所述预测盲点区域确定单元被配置成在所述第一时刻根据所述内在盲点数据和所述运动数据确定被预测为在所述第二时刻处于所述盲点区域中的所述第一图像的一部分；和
当前盲点区域恢复单元，所述当前盲点区域恢复单元与所述处理器可操作地耦合，并且所述当前盲点区域恢复单元被配置成通过合并以下i)和ii)在所述第二时刻生成恢复的第二图像数据：i)所述第一图像数据的选定部分，对应于被预测为在所述第二时刻处于所述盲点区域中的所述第一图像的所述部分；和ii)所述第二图像数据，其中所生成的所述恢复的第二图像数据表示在所述第二时刻未受所述盲点区域遮挡的所述相关车辆的所述***区域的恢复的第二图像。
2.根据权利要求1所述的成像***，还包括：
图像输出单元，所述图像输出单元与所述处理器可操作地耦合，并被配置成根据所生成的恢复的第二图像数据，在相关人可读显示设备上生成所述恢复的第二图像的视觉表征。
3.根据前述权利要求1所述的成像***，还包括：
车辆运动确定单元，所述车辆运动确定单元与所述处理器可操作地耦合，并且包括：
车辆速度确定单元，所述车辆速度确定单元接收表示所述相关车辆的速度的车辆速度信号；和
车辆转向确定单元，所述车辆转向确定单元接收表示所述相关车辆的转向角的车辆转向角信号，
其中所述车辆运动确定单元被配置成根据所述车辆速度和车辆转向角信号，生成所述运动数据。
4.根据前述权利要求1所述的成像***，还包括：
平面度确定单元，所述平面度确定单元与所述处理器可操作地耦合，并且被配置成根据平面度确定模型来确定：
对应于被预测为在所述第二时刻处于所述盲点区域中的所述第一图像的所述部分的所述第一图像数据的所述选定部分的第一平面度量度；和
所述第二图像数据的第二平面度量度；和
平面度评价单元，所述平面度评价单元与所述处理器可操作地耦合，并且被配置成：
相对于预定平面度度量标准，确定所述第一平面度量度和所述第二平面度量度的平面度一致性级别；和
根据所确定的平面度一致性级别选择性地生成平面度一致性信号。
5.根据权利要求4所述的成像***，其中：
所述平面度确定单元被配置成根据平面度评价算法确定所述第一平面度量度和所述第二平面度量度；和
所述当前盲点区域恢复单元被配置成根据所述平面度一致性信号的逻辑电平，选择性地合并表示预定中性图像的默认空白图像数据与所述第二图像数据。
6.根据前述权利要求1所述的成像***，其中：
所述图像获取单元包括被配置成采集作为一系列图像数据帧集合的图像数据的照相机，所述图像数据帧集合中的每个图像数据帧集合是在预定时间间隔后连续获取的；和
在所述第一时刻与所述第二时刻之间的时间是所述预定时间间隔的整数倍。
7.根据权利要求1所述的成像***，其中，所述图像获取单元包括：
第一照相机，所述第一照相机被配置成：在所述第一时刻从相对于所述相关车辆的第一视角采集表示所述相关车辆的所述***区域的所述第一图像的所述第一图像数据；以及在所述第二时刻从所述第一视角采集表示在所述第二时刻所述相关车辆的所述***区域的所述第二图像的所述第二图像数据；和
第二照相机，所述第二照相机被配置成：在所述第一时刻从相对于所述相关车辆的与所述第一视角不同的第二视角采集表示所述相关车辆的所述***区域的辅助图像的辅助图像数据。
8.根据权利要求7所述的成像***，还包括：
盲点重叠区域确定单元，所述盲点重叠区域确定单元与所述处理器可操作地耦合，并被配置成在所述第一时刻根据所述内在盲点数据和所述运动数据来确定：
在所述第一时刻处于所述盲点区域中的所述第一图像的第一部分；和
与在所述第一时刻处于所述盲点区域中的所述第一图像的所述第一部分重叠的所述辅助图像的第一部分，
其中，所述当前盲点区域恢复单元被配置成通过合并以下i)和ii)来生成恢复的第一图像数据：i)所述辅助图像数据的第一部分，对应于与在所述第一时刻处于所述盲点区域中的所述第一图像的所述第一部分重叠的所述辅助图像的所述第一部分；ii)在所述第一图像数据的第一部分处的所述第一图像数据，所述第一图像数据的第一部分对应于在所述第一时刻处于所述盲点区域中的所述第一图像的所述第一部分，其中所生成的所述恢复的第一图像数据表示在所述第一时刻未被所述盲点区域遮挡的所述相关车辆的所述***区域的恢复的第一图像。
9.根据权利要求7所述的成像***，还包括：
盲点重叠区域确定单元，所述盲点重叠区域确定单元与所述处理器可操作地耦合，并被配置成根据所述内在盲点数据和所述运动数据来确定与被预测为在所述第二时刻处于所述盲点区域中的所述第一图像的所述部分重叠的所述辅助图像的第一部分，
其中，所述当前盲点区域恢复单元被配置成根据所述内在盲点数据和所述运动数据通过合并以下i)和ii)来生成所述恢复的第二图像数据：i)所述辅助图像数据的第一部分，对应于与被预测在所述第二时刻处于所述盲点区域中的所述第一图像的所述部分重叠的所述辅助图像的所述第一部分；ii)在所述第二图像数据的第一部分处的所述第二图像数据，所述第二图像数据的第一部分对应于处于所述盲点区域中的所述第二图像的所述第一部分，其中，所生成的所述恢复的第二图像数据表示在所述第二时刻未受所述盲点区域遮挡的所述相关车辆的所述***区域的恢复的第二图像。
10.一种填充相关车辆的***区域中的盲点区域的成像***，所述***包括：
处理器；
与所述处理器可操作地耦合的非瞬态存储器，所述非瞬态存储器存储表示所述相关车辆的***区域的盲点区域的内在盲点数据；
图像获取单元，所述图像获取单元与所述处理器可操作地耦合，并被配置成接收表示在第一时刻采集的所述相关车辆的所述***区域的第一图像的第一图像数据，并且被配置成接收表示在所述第一时刻采集的所述相关车辆的所述***区域的辅助图像的辅助图像数据；
盲点重叠区域确定单元，所述盲点重叠区域确定单元与所述处理器可操作地耦合，并被配置成在所述第一时刻根据所述内在盲点数据来确定：
在所述第一时刻处于所述盲点区域中的所述第一图像的第一部分；和
与在所述第一时刻处于所述盲点区域中的所述第一图像的所述第一部分重叠的所述辅助图像的第一部分；和
当前盲点区域恢复单元，所述当前盲点区域恢复单元与所述处理器可操作地耦合，并且被配置成通过合并以下i)和ii)来生成恢复的第一图像数据：i)所述辅助图像数据的第一部分，对应于与在所述第一时刻处于所述盲点区域中所述第一图像的所述第一部分重叠的所述辅助图像的所述第一部分；ii)在所述第一图像数据的第一部分处的所述第一图像数据，所述第一图像数据的第一部分对应于在所述第一时刻处于所述盲点区域中的所述第一图像的所述第一部分，其中所生成的所述恢复的第一图像数据表示在所述第一时刻未受所述盲点区域遮挡的所述相关车辆的所述***区域的恢复的第一图像。
11.根据权利要求10所述的成像***，还包括：
图像输出单元，所述图像输出单元与所述处理器可操作地耦合，并被配置成根据所生成的恢复的第一图像数据，在相关人可读显示设备上生成所述恢复的第一图像的视觉表征。
12.根据前述权利要求10所述的成像***，其中，所述图像获取单元包括：
第一照相机，所述第一照相机被配置成：在所述第一时刻从相对于所述相关车辆的第一视角采集表示所述相关车辆的所述***区域的所述第一图像的所述第一图像数据；和
第二照相机，所述第二照相机被配置成：在所述第一时刻从相对于所述相关车辆的与所述第一视角不同的第二视角采集表示所述相关车辆的所述***区域的辅助图像的辅助图像数据。
13.根据前述权利要求10所述的成像***，还包括：
平面度确定单元，所述平面度确定单元与所述处理器可操作地耦合，并且被配置成根据平面度确定模型来确定所述辅助图像数据的所述第一部分的平面度量度，所述辅助图像数据的所述第一部分对应于与在所述第一时刻处于所述盲点区域中的所述第一图像的所述第一部分重叠的所述辅助图像的所述第一部分；和
平面度评价单元，所述平面度评价单元与所述处理器可操作地耦合，并且被配置成：
相对于预定平面度度量标准，确定所述平面度量度的平面度一致性级别；和
根据所确定的所述平面度一致性级别，选择性地生成平面度一致性信号。
14.根据权利要求13所述的成像***，其中：
所述平面度确定单元被配置成根据平面度评价算法确定所述平面度量度；和
所述当前盲点区域恢复单元被配置成根据平面度一致性信号的逻辑电平，选择性地合并表示预定中性图像的默认空白图像数据与在所述第一图像数据的第一部分处的第一图像数据，所述第一图像数据的第一部分对应于在所述第一时刻处于所述盲点区域中的所述第一图像的所述第一部分。
15.一种在相关成像***中用于填充相关车辆的***区域中的盲点区域的方法，所述方法包括：
将表示所述相关车辆的***区域的盲点区域的内在盲点数据存储在与所述相关成像***的处理器可操作地耦合的非瞬态存储器中；
将表示所述相关车辆的运动速度的运动数据存储在所述非瞬态存储器中；
使用与所述相关成像***的所述处理器可操作地耦合的图像获取单元在第一时刻获取第一图像数据，所述第一图像数据表示在所述第一时刻所述相关车辆的所述***区域的第一图像；
使用所述图像获取单元在所述第一时刻之后的第二时刻获取第二图像数据，所述第二图像数据表示在所述第一时刻之后的第二时刻所述相关车辆的所述***区域的第二图像；
由与所述相关成像***的处理器可操作地耦合的预测盲点区域确定单元在所述第一时刻根据所述内在盲点数据和所述运动数据来确定被预测为在所述第二时刻处于所述盲点区域中的所述第一图像的一部分；和
由与所述相关成像***的处理器可操作地耦合的当前盲点区域恢复单元在所述第二时刻通过合并以下i)和ii)来生成恢复的第二图像数据：i)所述第一图像数据的选定部分，对应于被预测为在所述第二时刻处于所述盲点区域中的所述第一图像的所述部分；和ii)所述第二图像数据，其中所生成的所述恢复的第二图像数据表示在所述第二时刻未受所述盲点区域遮挡的所述相关车辆的所述***区域的恢复的第二图像。
16.根据权利要求15所述的方法，还包括：
由与所述相关成像***的所述处理器可操作地耦合的图像输出单元，根据所生成的所述恢复的第二图像数据，在相关人可读显示设备上生成所述恢复的第二图像的视觉表征。
17.根据前述权利要求15所述的方法，还包括：
由与所述相关成像***的所述处理器可操作地耦合的车辆运动确定单元的车辆速度确定单元，接收表示所述相关车辆的速度的车辆速度信号；
由所述车辆运动确定单元的车辆转向确定单元，接收表示所述相关车辆的转向角的车辆转向角信号；和
由车辆运动确定单元根据所述车辆速度和车辆转向角信号生成所述运动数据。
18.根据前述权利要求15所述的方法，还包括：
由与所述处理器可操作地耦合的平面度确定单元根据平面度确定模型确定：
对应于被预测为在所述第二时刻处于所述盲点区域中的所述第一图像的所述部分的所述第一图像数据的所述选定部分的第一平面度量度；和
所述第二图像数据的第二平面度量度；
由与处理器可操作地耦合的平面度评价单元确定所述第一平面度量度和所述第二平面度量度相对于预定平面度度量标准的平面度一致性级别；和
由所述平面度评价单元根据所确定的所述平面度一致性级别选择性地生成平面度一致性信号。
19.根据权利要求18所述的方法，其中：
所述确定所述第一平面度量度和所述第二平面度量度包括：由所述平面度确定单元根据平面度评价算法确定所述第一平面度量度和所述第二平面度量度；和
所述由所述当前盲点区域恢复单元合并所述第一图像的选择部分与所述第二图像数据包括：根据所述平面度一致性信号的逻辑电平，选择性地合并表示预定中性图像的默认空白图像数据与所述第二图像数据。
20.根据前述权利要求15所述的方法，其中：
所述获取所述第一图像数据和所述第二图像数据包括：使用被配置成采集图像数据的成像单元的照相机，采集作为一系列图像数据帧集合的所述第一图像数据和所述第二图像数据，所述图像数据帧集合的每个图像数据帧集合由所述照相机按照预定时间间隔相继获取；和
在所述第一时刻与所述第二时刻之间的时间是所述预定时间间隔的整数倍。
21.根据前述权利要求15所述的方法，还包括：
由第一照相机在所述第一时刻从相对于所述相关车辆的第一视角采集表示所述相关车辆的所述***区域的所述第一图像的所述第一图像数据；
由所述第一照相机在所述第二时刻从所述第一视角采集表示在所述第二时刻所述相关车辆的所述***区域的所述第二图像的第二图像数据；和
由第二照相机在所述第一时刻从相对于所述相关车辆的与所述第一视角不同的第二视角采集表示所述相关车辆的所述***区域的辅助图像的辅助图像数据。
22.根据权利要求21所述的方法，还包括：
由与所述处理器可操作地耦合的盲点重叠区域确定单元在所述第一时刻根据所述内在盲点数据和所述运动数据确定：
在所述第一时刻处于所述盲点区域中的所述第一图像的第一部分；和
与在所述第一时刻处于所述盲点区域中的所述第一图像的所述第一部分重叠的所述辅助图像的第一部分，和
其中，所述当前盲点区域恢复单元被配置成通过合并以下i)和ii)来生成恢复的第一图像数据：i)所述辅助图像数据的第一部分，对应于与在所述第一时刻处于所述盲点区域中的所述第一图像的所述第一部分重叠的所述辅助图像的所述第一部分；ii)在所述第一图像数据的第一部分处的所述第一图像数据，所述第一图像数据的第一部分对应于在所述第一时刻处于所述盲点区域中的所述第一图像的所述第一部分，其中所生成的所述恢复的第一图像数据表示在所述第一时刻未受所述盲点区域遮挡的所述相关车辆的所述***区域的恢复的第一图像。
23.根据权利要求21所述的方法，还包括：
由与所述处理器可操作地耦合的盲点重叠区域确定单元根据所述内在盲点数据和所述运动数据来确定所述辅助图像的第一部分，所述辅助图像的第一部分与被预测为在所述第二时刻处于所述盲点区域中的所述第一图像的所述部分重叠，
其中，所述当前盲点区域恢复单元被配置成根据所述内在盲点数据和所述运动数据通过合并以下i)和ii)来生成恢复的第二图像数据：i)所述辅助图像数据的第一部分，对应于与被预测为在所述第二时刻处于所述盲点区域中的所述第一图像的所述部分重叠的所述辅助图像的所述第一部分；ii)在所述第二图像数据的第一部分处的所述第二图像数据，所述第二图像数据的第一部分对应于处于所述盲点区域中所述第二图像的所述第一部分，其中所生成的所述恢复的第二图像数据表示在所述第二时刻未受所述盲点区域遮挡的所述相关车辆的所述***区域的恢复的第二图像。
24.一种在相关成像***中用于填充相关车辆的***区域中的盲点区域的方法，所述方法包括：
将表示所述相关车辆的***区域的盲点区域的内在盲点数据存储在与所述相关成像***的处理器可操作地耦合的非瞬态存储器中；
使用与所述相关成像***的所述处理器可操作地耦合的图像获取单元在第一时刻获取第一图像数据，所述第一图像数据表示在所述第一时刻所述相关车辆的所述***区域的第一图像；
使用与所述相关成像***的所述处理器可操作地耦合的所述图像获取单元在所述第一时刻获取辅助图像数据，所述辅助图像数据表示在所述第一时刻采集的所述相关车辆的所述***区域的辅助图像；
由与所述处理器可操作地耦合的盲点重叠区域确定单元根据所述内在盲点数据来确定：
在所述第一时刻处于所述盲点区域中的所述第一图像的第一部分；和
与在所述第一时刻处于所述盲点区域中的所述第一图像的所述第一部分重叠的所述辅助图像的第一部分；和
由与所述处理器可操作地耦合的当前盲点区域恢复单元，通过合并以下i)和ii)来生成恢复的第一图像数据：i)所述辅助图像数据的第一部分，对应于与在所述第一时刻处于所述盲点区域中的所述第一图像的所述第一部分重叠的所述辅助图像的所述第一部分；ii)在所述第一图像数据的第一部分处的所述第一图像数据，所述第一图像数据的第一部分对应于在所述第一时刻处于所述盲点区域中的所述第一图像的所述第一部分，其中所生成的所述恢复的第一图像数据表示在所述第一时刻未受所述盲点区域遮挡的所述相关车辆的所述***区域的恢复的第一图像。
25.根据权利要求24所述的方法，还包括：
由与所述相关成像***的所述处理器可操作地耦合的图像输出单元，根据所生成的所述恢复的第二图像数据，在相关人可读显示设备上生成所述恢复的第二图像的视觉表征。
26.根据前述权利要求24所述的方法，还包括：
由第一照相机从相对于所述相关车辆的第一视角，采集表示所述相关车辆的所述***区域的所述第一图像的所述第一图像数据；和
由第二照相机从相对于所述相关车辆的与所述第一视角不同的第二视角，采集表示所述相关车辆的所述***区域的所述辅助图像的所述辅助图像数据。
27.根据前述权利要求24所述的方法，还包括：
由与处理器可操作地耦合的平面度确定单元根据平面度确定模型来确定所述辅助图像数据的所述第一部分的平面度量度，所述辅助图像数据的所述第一部分对应于与在所述第一时刻处于所述盲点区域中的所述第一图像的所述第一部分重叠的所述辅助图像的所述第一部分；和
由与所述处理器可操作地耦合的平面度评价单元，确定相对于预定的平面度度量标准的平面度一致性级别；和
由平面度评价单元，根据所确定的所述平面度一致性级别，选择性地生成平面度一致性信号。
28.根据权利要求27所述的方法，其中：
确定所述平面度量度包括，根据平面度评价算法确定所述平面度量度；和
所述合并对应于与处于所述盲点区域中的所述第一图像的所述第一部分重叠的所述辅助图像的所述第一部分的所述辅助图像数据的所述第一部分包括：由所述当前盲点区域恢复单元，根据所述平面度一致性信号的逻辑电平，选择性地合并表示预定中性图像的默认空白图像数据与在所述第一图像数据的第一部分处的所述第一图像数据，所述第一图像数据的第一部分对应于在所述第一时刻处于所述盲点区域中的所述第一图像的所述第一部分。
29.一种存储用于填充相关车辆的***区域中的盲点区域的一个或多个指令序列的非暂时性计算机可读存储介质，其中所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行以下步骤：
将表示所述相关车辆的***区域的盲点区域的内在盲点数据存储在与相关成像***的处理器可操作地耦合的非瞬态存储器中；
将表示所述相关车辆的运动速度的运动数据存储在所述非瞬态存储器中；
使用与所述相关成像***的所述处理器可操作地耦合的图像获取单元在第一时刻获取第一图像数据，所述第一图像数据表示在所述第一时刻所述相关车辆的所述***区域的第一图像；
使用所述图像获取单元在所述第一时刻之后的第二时刻获取第二图像数据，所述第二图像数据表示在所述第一时刻之后的第二时刻所述相关车辆的所述***区域的第二图像；
由与所述相关成像***的处理器可操作地耦合的预测盲点区域确定单元在所述第一时刻根据所述内在盲点和所述运动数据确定被预测为在所述第二时刻处于所述盲点区域中的所述第一图像的一部分；和
由与所述相关成像***的处理器可操作地耦合的当前盲点区域恢复单元在所述第二时刻通过合并以下i)和ii)来生成恢复的第二图像数据：i)所述第一图像数据的选定部分，对应于被预测为在所述第二时刻处于所述盲点区域中的所述第一图像的所述部分；和ii)所述第二图像数据，其中所生成的所述恢复的第二图像数据表示在所述第二时刻未受所述盲点区域遮挡的所述相关车辆的所述***区域的恢复的第二图像。
30.根据前述权利要求29所述的非暂时性计算机可读存储介质，所述指令在被执行时使所述一个或多个处理器执行包括以下另外的步骤：
由第一照相机在所述第一时刻从相对于所述相关车辆的第一视角采集表示所述相关车辆的所述***区域的所述第一图像的所述第一图像数据；
由所述第一照相机在所述第二时刻从所述第一视角采集表示在所述第二时刻所述相关车辆的所述***区域的所述第二图像的第二图像数据；和
由第二照相机在所述第一时刻从相对于所述相关车辆的与所述第一视角不同的第二视角采集表示所述相关车辆的所述***区域的辅助图像的辅助图像数据。
31.根据权利要求30所述的非暂时性计算机可读存储介质，所述指令在被执行时使所述一个或多个处理器执行包括以下另外的步骤：
由与所述处理器可操作地耦合的盲点重叠区域确定单元，在所述第一时刻根据所述内在盲点数据和所述运动数据确定：
在所述第一时刻处于所述盲点区域中的所述第一图像的第一部分；和
与在所述第一时刻处于所述盲点区域中的所述第一图像的所述第一部分重叠的所述辅助图像的第一部分，和
其中，所述当前盲点区域恢复单元被配置成通过合并以下i)和ii)来生成恢复的第一图像数据：i)所述辅助图像数据的第一部分，对应于与在所述第一时刻处于所述盲点区域中的所述第一图像的所述第一部分重叠的所述辅助图像的所述第一部分；ii)在所述第一图像数据的第一部分处的所述第一图像数据，所述第一图像数据的第一部分对应于在所述第一时刻处于所述盲点区域中的所述第一图像的所述第一部分，其中所生成的所述恢复的第一图像数据表示在所述第一时刻未受所述盲点区域遮挡的所述相关车辆的所述***区域的恢复的第一图像。
32.根据权利要求30所述的非暂时性计算机可读存储介质，所述指令在被执行时使所述一个或多个处理器执行包括以下另外的步骤：
由与所述处理器可操作地耦合的盲点重叠区域确定单元根据所述内在盲点数据和所述运动数据确定所述辅助图像的第一部分，所述辅助图像的第一部分与被预测为在所述第二时刻处于所述盲点区域中的所述第一图像的所述部分重叠，
其中，所述当前盲点区域恢复单元被配置成根据所述内在盲点数据和所述运动数据通过合并以下i)和ii)来生成恢复的第二图像数据：i)所述辅助图像数据的第一部分，对应于与在所述第一时刻处于所述盲点区域中的所述第一图像的所述第一部分重叠的所述辅助图像的所述第一部分；ii)在所述第二图像数据的第一部分处的所述第二图像数据，所述第二图像数据的第一部分对应于处于所述盲点区域中的所述第二图像的所述第一部分，其中所生成的所述恢复的第二图像数据表示在所述第二时刻未受所述盲点区域遮挡的所述相关车辆的所述***区域的恢复的第二图像。
CN201680064142.1A 2015-10-30 2016-10-27 填充由镜子或其他车辆部件遮挡的周围视野区域 Active CN108367714B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/927,983 US9902322B2 (en) 2015-10-30 2015-10-30 Filling in surround view areas blocked by mirrors or other vehicle parts
US14/927,983 2015-10-30
PCT/US2016/059036 WO2017075164A1 (en) 2015-10-30 2016-10-27 Filling in surround view areas blocked by mirrors or other vehicle parts

Publications (2)

Publication Number Publication Date
CN108367714A CN108367714A (zh) 2018-08-03
CN108367714B true CN108367714B (zh) 2021-03-23

Family

ID=57233948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680064142.1A Active CN108367714B (zh) 2015-10-30 2016-10-27 填充由镜子或其他车辆部件遮挡的周围视野区域

Country Status (5)

Country Link
US (1) US9902322B2 (zh)
EP (1) EP3368373B1 (zh)
CN (1) CN108367714B (zh)
CA (1) CA3003719C (zh)
WO (1) WO2017075164A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102426631B1 (ko) * 2015-03-16 2022-07-28 현대두산인프라코어 주식회사 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치
JP6493143B2 (ja) * 2015-10-15 2019-04-03 株式会社デンソー 表示制御装置及び表示制御プログラム
KR101850795B1 (ko) * 2015-11-09 2018-04-20 엘지전자 주식회사 주차 수행 장치 및 차량
CN108369746A (zh) * 2015-12-21 2018-08-03 罗伯特·博世有限公司 用于多相机交通工具***的动态图像融合
JP2018117320A (ja) * 2017-01-20 2018-07-26 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置
US10694105B1 (en) 2018-12-24 2020-06-23 Wipro Limited Method and system for handling occluded regions in image frame to generate a surround view
US11072368B2 (en) * 2019-01-22 2021-07-27 Deere & Company Dynamically augmented bird's-eye view
DE102019201702A1 (de) 2019-02-11 2020-08-13 Conti Temic Microelectronic Gmbh Modulares inpainting Verfahren
WO2020227080A1 (en) 2019-05-03 2020-11-12 Stoneridge Electronics, AB Vehicle recording system utilizing event detection
CN112004051B (zh) * 2019-05-27 2022-10-25 奥迪股份公司 用于车辆的图像显示***、相应的方法和存储介质
CN113228135B (zh) * 2021-03-29 2022-08-26 华为技术有限公司 一种盲区图像获取方法及相关终端装置
GB2609615A (en) * 2021-08-03 2023-02-15 Continental Automotive Gmbh Vehicle surround view system and method thereof
US20230274554A1 (en) * 2022-02-28 2023-08-31 Continental Autonomous Mobility US, LLC System and method for vehicle image correction

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1621272A (zh) * 2005-01-10 2005-06-01 张奎杰 一种汽车后视装置
CN101277432A (zh) * 2007-03-26 2008-10-01 爱信艾达株式会社 驾驶辅助方法以及驾驶辅助装置
US20100134593A1 (en) * 2008-11-28 2010-06-03 Aisin Seiki Kabushiki Kaisha Bird's-eye image generating apparatus
CN103158620A (zh) * 2013-03-25 2013-06-19 中国电子科技集团公司第三十八研究所 一种车辆行人检测跟踪预警***
CN103854335A (zh) * 2012-12-05 2014-06-11 厦门雅迅网络股份有限公司 一种行车记录仪全景视频生成方法
EP2860691A2 (en) * 2013-10-11 2015-04-15 Fujitsu Limited Image processing apparatus, method and program
CN204605659U (zh) * 2014-10-09 2015-09-02 周海鸥 贴敷包被于汽车驾驶室a、c柱消除盲区的视频显示装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5668675A (en) * 1995-01-18 1997-09-16 Fredricks; Ronald J. Opto-electronic aid for alignment of exterior vehicle mirrors to minimize blind spot effects
EP2410741A1 (en) 1999-04-16 2012-01-25 Panasonic Corporation Image processing apparatus and monitoring system
JP4497133B2 (ja) 2006-07-12 2010-07-07 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
US7602276B2 (en) 2007-01-17 2009-10-13 Visteon Global Technologies, Inc. Variable blind spot warning system
EP1974998B1 (en) 2007-03-26 2011-05-25 Aisin AW Co., Ltd. Driving support method and driving support apparatus
JP4412380B2 (ja) 2007-10-02 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法及びコンピュータプログラム
US20090244741A1 (en) * 2008-03-31 2009-10-01 Ford Global Technologies, Llc. System, apparatus and method for active mirrors with blind spot detection
US20100220406A1 (en) * 2008-03-31 2010-09-02 Ford Global Technologies, Llc Blind Spot Detection System
US8087791B2 (en) * 2009-04-15 2012-01-03 Toyota Motor Engineering And Manufacturing North America, Inc. Methods and systems for adjusting the position of vehicle outside mirrors
JP5299688B2 (ja) 2009-06-03 2013-09-25 アイシン精機株式会社 車両周辺監視方法及び車両周辺監視装置
JP2013541915A (ja) 2010-12-30 2013-11-14 ワイズ オートモーティブ コーポレーション 死角地帯の表示装置および方法
DE102011010860A1 (de) 2011-02-10 2012-08-16 Connaught Electronics Ltd. Verfahren und Fahrerassistenzsystem zum Anzeigen von Bildern in einem Kraftfahrzeug sowie Kraftfahrzeug
US9139135B2 (en) 2012-09-07 2015-09-22 Musaid A. ASSAF System and method that minimizes hazards of blind spots while driving
KR101439369B1 (ko) 2012-12-20 2014-09-11 현대오트론 주식회사 차량의 사각지대 감지 장치 및 방법
DE102012025322B4 (de) 2012-12-22 2014-08-21 Audi Ag Kraftfahrzeug mit Kamera-Monitor-System
KR101435659B1 (ko) 2013-02-01 2014-08-28 조선대학교산학협력단 사각지대 모니터링 장치
US9834143B2 (en) 2013-05-23 2017-12-05 GM Global Technology Operations LLC Enhanced perspective view generation in a front curb viewing system
JP2014235639A (ja) 2013-06-04 2014-12-15 日産自動車株式会社 車両表示装置
US20150156383A1 (en) 2013-12-04 2015-06-04 Magna Electronics Inc. Vehicle vision system with camera having liquid lens optic
CN103625366A (zh) 2013-12-10 2014-03-12 国家电网公司 一种用于观察汽车两侧盲区的装置及其使用方法
CN103985134B (zh) 2014-06-04 2017-04-05 无锡维森智能传感技术有限公司 一种环视标定合成效果的检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1621272A (zh) * 2005-01-10 2005-06-01 张奎杰 一种汽车后视装置
CN101277432A (zh) * 2007-03-26 2008-10-01 爱信艾达株式会社 驾驶辅助方法以及驾驶辅助装置
US20100134593A1 (en) * 2008-11-28 2010-06-03 Aisin Seiki Kabushiki Kaisha Bird's-eye image generating apparatus
CN103854335A (zh) * 2012-12-05 2014-06-11 厦门雅迅网络股份有限公司 一种行车记录仪全景视频生成方法
CN103158620A (zh) * 2013-03-25 2013-06-19 中国电子科技集团公司第三十八研究所 一种车辆行人检测跟踪预警***
EP2860691A2 (en) * 2013-10-11 2015-04-15 Fujitsu Limited Image processing apparatus, method and program
CN204605659U (zh) * 2014-10-09 2015-09-02 周海鸥 贴敷包被于汽车驾驶室a、c柱消除盲区的视频显示装置

Also Published As

Publication number Publication date
CA3003719A1 (en) 2017-05-04
EP3368373B1 (en) 2019-06-05
EP3368373A1 (en) 2018-09-05
US9902322B2 (en) 2018-02-27
CA3003719C (en) 2019-11-26
WO2017075164A1 (en) 2017-05-04
CN108367714A (zh) 2018-08-03
US20170120817A1 (en) 2017-05-04

Similar Documents

Publication Publication Date Title
CN108367714B (zh) 填充由镜子或其他车辆部件遮挡的周围视野区域
US10919458B2 (en) Method and system for calibrating vehicular cameras
CN108475437B (zh) 具有角落放置摄像机的车辆360°环视***，校准***和方法
US10922559B2 (en) Automatic surround view homography matrix adjustment, and system and method for calibration thereof
US10192309B2 (en) Camera calibration device
JP4695167B2 (ja) 車両の後方視認システムの歪みを補正し且つ像を強調する方法及び装置
JP4863922B2 (ja) 運転支援システム並びに車両
CN110678872A (zh) 通过使用神经网络图像处理的、作为3d限界框的直接载具检测
KR20160072190A (ko) 사발형 영상 시스템
JP2009129001A (ja) 運転支援システム、車両、立体物領域推定方法
KR20090103165A (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
US10602125B2 (en) Camera-parameter-set calculation apparatus, camera-parameter-set calculation method, and recording medium
US9682655B2 (en) Method and device for operating a vehicle
US11880993B2 (en) Image processing device, driving assistance system, image processing method, and program
CN114202588B (zh) 一种车载环视相机快速自动标定方法和装置
CN110796711A (zh) 全景***标定方法、装置、计算机可读存储介质及车辆
JP2012198857A (ja) 接近物体検知装置及び接近物体検知方法
KR20150014311A (ko) 어라운드뷰 제공 장치, 방법 및 차량
CN114723615A (zh) 结合灰度图像与彩色图像以在车中创建高分辨率覆盖图像
JP6855254B2 (ja) 画像処理装置、画像処理システム、及び、画像処理方法
JP2009077022A (ja) 運転支援システム及び車両
US20230339349A1 (en) Method and apparatus for displaying ego-vehicle surroundings within an ego-vehicle with support of electrical charging
JP2020145548A (ja) 画像調整装置および画像調整プログラム
KR20170010869A (ko) Avm 시스템의 공차 보정 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant