CN113892258A - 用于表示移动平台周围环境的调和的被遮挡区域的方法 - Google Patents

用于表示移动平台周围环境的调和的被遮挡区域的方法 Download PDF

Info

Publication number
CN113892258A
CN113892258A CN202080039342.8A CN202080039342A CN113892258A CN 113892258 A CN113892258 A CN 113892258A CN 202080039342 A CN202080039342 A CN 202080039342A CN 113892258 A CN113892258 A CN 113892258A
Authority
CN
China
Prior art keywords
image
occluded
area
mobile platform
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080039342.8A
Other languages
English (en)
Inventor
M·弗里贝
C·戈图尔
P·N·普拉巴卡尔
A·兰詹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Zhixing Germany Co ltd
Original Assignee
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH filed Critical Continental Automotive GmbH
Publication of CN113892258A publication Critical patent/CN113892258A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

公开了一种用于相对于移动平台的第一和第二成像装置的对象区域表示移动平台的周围环境的被遮挡区域的方法，该方法包括下列步骤：确定德尔塔区域，该区域是周围环境的第二被遮挡区域与周围环境的第一被遮挡区域的差异，第二被遮挡区域在第二时间步相对于第一和第二成像装置的对象区域被遮挡，第一被遮挡区域在第一时间步相对于第一和第二成像装置的对象区域被遮挡；确定第一重叠图像和第二重叠图像，其为第一成像装置的图像或第二成像装置的图像与德尔塔区域的重叠，其中，两个图像都在第一时间步拍摄；确定第一和第二成像装置的图像的光学特性的差异；在至少一个重叠图像内调和光学特性的差异。

Description

用于表示移动平台周围环境的调和的被遮挡区域的方法
本发明涉及一种用于表示移动平台周围环境的被遮挡区域的方法，该区域相对于移动平台的第一和第二成像装置的对象区域被遮挡。
移动平台可以是至少部分自动化的移动***，例如至少半自动车辆和/或包括驾驶员辅助***的车辆。
这类车辆可包括使车辆周围环境可视化的驾驶员辅助***。该驾驶员辅助***可称为全景环视***，并通常包括一个或多个例如摄像机或视频***等成像装置，这些装置可安装在车辆上，例如安装在车辆顶部，其中，每个成像装置可提供不同观察区域或相对于周围环境具有不同观察角度。这意味着不同成像装置的对象区域是不同的，其中，对象区域是成像装置能对实际存在于该区域的对象进行图像拍摄的区域。
由于物理和光学限制，这类成像装置典型情况下具有“盲点”区域，这意味着所述成像装置的实际图像具有被遮挡的周围环境区域。例如，这可能是移动平台下方的地面区域，例如被车辆本身遮挡的车辆下方地面。
即使在两个对象区域重叠的区域，不同成像装置拍摄的、指向周围环境不同区段的原始图像之间的光学特性也可能存在差异。基于具有合成区域不同光学特性的不同成像装置的这类图像合成用于呈现被遮挡区域的图像，其中，源自不同成像装置的每个区段会降低合成图像的整体视觉质量。
车辆引擎盖下方的区域特别重要，因为在泊车或越野条件下要用到这类被遮挡区域的图像。移动平台周围不同成像装置图像光学特性的差异可能与所用成像装置的亮度差异、颜色差异有关，包括与所生成图像的质量问题，以及例如可能会破坏或干扰此类图像合成的阴影或其他问题等周围环境条件有关。
因此，本发明如独立权利要求所述，涉及一种用于表示移动平台周围环境的被遮挡区域的方法、一种全景环视***、一种移动平台、一种计算机程序以及一种计算机可读存储介质。
本发明有益的更改在从属权利要求中陈述。在说明书、权利要求书和附图中公开的至少两个特征的所有组合都属于本发明范围。为避免重复，根据该方法公开的特征也应根据所述***加以应用并可要求予以保护。
为解释所述方法，对方法步骤加以说明，但不应理解为所述方法受此方法步骤的顺序限制，正如每个专业人员所知，本发明的任务可使用不同的方法步骤顺序解决。
本发明的各个方面基于，可对诸如车辆等移动平台的被遮挡区域的内部予以合成，如果实际被遮挡区域是可见的，以此方式将通过成像装置在一先前时间步拍摄图像所获得的图像数据表示被遮挡区域。这意味着，在第二时间步被遮挡的区域有可能在第一时间步在成像装置的对象区域中是可见的，因为包括成像装置的移动平台在第一和第二时间步之间移动。
本发明的一方面提供一种用于相对于移动平台的第一和第二成像装置的对象区域表示移动平台的周围环境的被遮挡区域的方法。
在所述方法的一步骤中，确定一德尔塔(delta)区域，该区域是周围环境的第二被遮挡区域与周围环境的第一被遮挡区域的差异。在第二时间步，第二被遮挡区域相对于第一和第二成像装置的对象区域被遮挡。此外，在第一时间步，周围环境的第一被遮挡区域相对于第一和第二成像装置的对象区域被遮挡。
在另一步骤中，确定第一重叠图像和第二重叠图像，其为第一成像装置的图像或第二成像装置的图像与德尔塔区域的重叠，其中，这两个图像都是在第一时间步拍摄的。
在另一步骤中，确定第一和第二成像装置的图像的光学特性的差异。
在另一步骤中，在至少一个重叠图像内调和光学特性的差异。
这类被遮挡区域是由单一成像装置生成的表示移动平台的完整周围环境的图像的物理限制造成的。此外，即使使用多于一个成像装置，其中每个成像装置相对于移动平台指向不同方向，也可能存在相对于成像装置的对象区域属于被遮挡区域的周围环境区域。
成像装置的对象区域是成像装置能在该区域中生成对象图像的区域。
有鉴于此，所述移动平台包括至少半自动化***，该***至少具有半自动化功能，但移动平台还包括车辆和其他移动机器，包括驾驶员辅助***。移动平台的其他示例还可以是使用多个传感器的驾驶员辅助***、例如机器人真空吸尘器或机器人割草机等移动式多传感器机器人、多传感器监控***、制造机器、个人助理或访问控制***。这些***中的每一个都可以是全自动化***或半自动化***。
根据一个方面，用于调和至少第二被遮挡区域的方法包括补偿成像装置的原始图像的可能源自所述成像装置所用光学***的光学失真的方法。
图像的光学特性典型情况下可通过图像的单个像素的颜色和/或亮度表示。除了图像的最小单元的这类光学特性外，还可能存在与例如结构和阴影区域等像素组相关的光学特性。
这些光学特性的调和可涉及光学特性从具有第一光学特性的图像的一个位置到具有第二光学特性的图像的另一位置的连续和平滑的过渡。有各种各样的技术可用于图像调和。调和的示例可以是在第二重叠区域内的调和、不同方向的调和、被遮挡区域内或区域外所识别梯度的调和等等。
即使移动平台所用成像装置的实际图像内的该区域在其对象区域之外，使用这种合成不同成像装置的图像的区段的方法也能表示被遮挡区域。通过调和被遮挡区域的表示的区段，改进了该区域的表示质量，该被遮挡区域由该被遮挡区域的至少两个成像装置在该区域相对于所使用的成像装置未被遮挡的时间点拍摄的图像的区段组成。
第一和第二成像装置的图像的光学特性差异可使用适用于光学特性平滑过渡的图像区域加以确定，并且该区域的选择也可以考虑由成像装置实际拍摄的周围环境的图像内的平滑过渡。例如在车辆内部的屏幕上可视化被遮挡区域的这种合成和调和的表示，可以向车辆乘客或驾驶员提供令人愉悦的画面，并在表示被遮挡区域的画面内没有恼人的刺眼对比。由此，尤其改善了车辆发动机盖区域下方等被遮挡区域的表示。
在另一方面中，通过比较第一成像装置的图像内的至少第一参考区域和第二成像装置的图像内的至少第二参考区域的光学特性确定光学特性的差异。
将光学特性参考到被遮挡区域之外的图像区域的优点是，被遮挡区域的表示自动与所使用的成像装置的实际对象区域相匹配。
在另一方面中，第一参考区域和第二参考区域分别选自第一成像装置和第二成像装置的对象区域，其中，两个对象区域重叠。
从重叠的至少两个成像装置的对象区域确定这些成像装置的图像的光学特性的差异，导致对两个图像的光学特性的良好描述。这可以确定该位置的光学特性的差异，在该位置，组合图像的强烈对比度可能令人讨厌，因为在该位置处不同成像装置的两个图像彼此相邻。
在另一方面中，第一和第二成像装置的图像的光学特性的差异通过参考区域内对光学特性求平均加以确定。这可提高所确定差异的准确性。
在另一方面中，参考区域具有相同的大小并在周围环境的相应对象区域中彼此重叠。
根据另一方面，可使用不同的参考区域多次执行用于表示周围环境的被遮挡区域的所述方法。光学特性的差异参照周围环境的不同方向特征化处理，其中，考虑有关不同方向的光学特性差异，在至少一个重叠图像内执行相应调和。
根据另一方面，关于光学特性梯度调和第一和/或第二重叠图像，所述光学特性梯度通过光学特性的差异和与被遮挡区域相关的长度定义。
为了基于所确定的光学特性的差异定义这类梯度，相关的长度例如可以是被遮挡区域的边界线，例如前方边界线，或是位置边界线，它可以是整条边界线或边界线的部分。
根据一个方面，第二被遮挡区域的调和可包括通过根据所确定的第一成像装置的光学特性调整与第一重叠图像和第二重叠图像之间的边界相邻的第二重叠图像的像素来调和第二重叠图像。
从第一重叠图像和第二重叠图像的边界线出发，平行于第二被遮挡区域的前侧边界线设置的第二重叠图像的每个像素关于其光学特性被线性调整，以使第二被遮挡区域的侧面边界的像素与第二图像装置的光学特性相匹配。中间的所有像素分别根据产生的梯度进行调整适配。
可对第二重叠图像的剩余区域进行调整，使其与第二成像装置的特殊特性相匹配。
这意味着，在用于调和的至少一个重叠图像中存在平滑过渡。可在考虑第一和第二成像装置的图像的光学特性差异的绝对值和距离的情况下计算梯度，所述距离如上文解释例如通过被遮挡区域的长度的一半加以定义。
根据另一方面，第一或第二重叠图像的调和包括调整与梯度的值和方向相对应的第一或第二重叠图像的每个像素的光学特性值。
每个像素的光学特性值的调整适配可使用线性公式1计算：
OP＝(1-t)·OP2+(t·OP1) (1)
其中，OP代表像素被调整到的光学特性，该像素与所确定的OP1的距离为1-t，或与所确定的OP2的位置的距离为t。OP2和OP1代表第一和第二成像装置在各相应位置的图像光学特性。
基于与被遮挡区域外部的参考区域的光学特性差异，调整对应于强度和方向的梯度的重叠图像的每个像素的光学特性值的优点是光学特性的平滑过渡，其中，该过渡可以与表示移动平台周围环境的实际对象区域的光学特性相匹配。
根据另一方面，光学特性值是亮度值和/或颜色值。
如上所述，单一像素的光学特性可通过亮度值和颜色值给出。颜色值取决于所用的颜色模型，典型情况下包括三种颜色的三个值。亮度或单个颜色的调和可使用不同的技术完成，但使用公式1进行调和是一种较简单和较迅捷的方法，而且工作量小、效果好。这意味着，可通过如上所述使用所确定的梯度对像素进行线性调整适配，以与亮度相同的方式对每个单一颜色进行调和。
根据另一方面，使用移动平台的移动数据确定德尔塔区域。
例如在第一时间步的时间点，被遮挡的区域可以不属于至少两个成像装置的对象区域的一部分。如果移动平台正在移动，则被遮挡区域也在移动，并以与第二个时间步解释的相同方式加以定义。在第一时间步定义被遮挡区域后，可使用移动平台的移动数据在第二时间步更新周围环境的位置数据。为了确定移动平台的移动数据，例如可以使用自身移动数据或源于控制器局域网总线(CAN)的数据确定德尔塔区域。控制器局域网的总线数据包括例如转向和速度数据、从图像中所确定的、涉及自身移动的移动数据。
如果移动矢量给出了两个时间步之间的移动距离和移动方向，则可定义移动矢量，以便将第一时间步的被遮挡区域转移到第二时间步的被遮挡区域。
根据另一方面，第一成像装置指向移动平台的前方方向，而第二成像装置至少部分地指向移动平台的运动方向。
如果第二成像装置至少部分指向平台的移动方向，则第二成像装置在第一时间步的图像与实际被遮挡区域重叠，并且该图像可提供表示被遮挡区域所需的重叠区域。
根据另一方面，第二被遮挡区域通过调和的第二重叠图像、第一重叠图像和第一被遮挡区域的表示的区段表示。
如果移动平台直线移动，则不需要调和被遮挡区域的表示，因为被遮挡区域可通过指向移动平台前方的图像装置的图像数据更新。
如果移动平台转向不同的方向，则需要源于不同成像装置的被遮挡区域图像数据来更新。
要完整更新被遮挡区域的表示，需要先前被遮挡区域的一区段、指向移动平台前面的第一成像装置的图像的一区段、以及第二成像装置的图像的一区段即第二重叠区域。该第二重叠区域如上所述被调和，以便调整适配至少两个成像装置的其他区段和实际图像。
下面示意性示出所述方法的另一方面：
在时间点t来自移动平台前面、右侧和左侧的图像数据i为：i_f、i_r、i_l；
以及在时间点t-1为：i_f[t-1]、i_r[t-1]、i_l[t-1]，
这些图像数据由四个原始全景环视摄像机图像提供；
以及在时间点t-1被覆盖区域的图像块：g[t-1]；
使用移动平台的运动数据mv_x、mv_y来应用投影表面的亮度和/或颜色调和；
使用下式实施图像块的转换：g[x,y,t]＝g[x+mv_x,y+mv_y,t-1]，其中，移动矢量在图像块内；
使用下式实施图像块的转换：g[x,y,t]＝i_f,i_r,i_l,i_r[x+mv_x,y+mv_y,t-1]，其中，移动矢量在图像块外，
使用移动数据mv_x、mv_y。
所述方法的另一方面通过以下步骤示意性展示：
-车辆启动
-全景环视***启动
-多台摄像机连续采集实时摄像机数据
-保留多台摄像机的上一帧数据
-监控源于车辆的自身移动信息
-以先前所存储的原始数据调和图像
-构建历史地平面视图
-渲染亮度校正盲点地平面
移动平台可包括指向不同方向的四台成像装置，以覆盖移动平台的整个周围环境，但不包括移动平台下方的被遮挡区域。出于泊车目的或为了户外活动，车辆驾驶员能访问该隐藏的被遮挡区域的表示会很有帮助。
根据另一方面，被遮挡区域的表示被存储在车辆动力循环之间。这可提供关于例如先前行程中处于泊车位置的车辆被遮挡区域信息，对驶离泊车位置提供支持。
根据另一方面，在可移动平台的屏幕上展示被遮挡区域的表示。作为屏幕上的图片的该表示可在泊车或户外活动时为驾驶员提供支持。
本发明的另一方面涉及一种设置用于执行根据上面所述的方法的装置。这种装置能以容易接近和可运输的方式执行所述方法。
本发明的另一方面涉及一种包括指令的计算机程序，当计算机执行该程序时，所述指令使计算机执行上述方法。
本发明的另一方面涉及一种存储有上述计算机程序的计算机可读存储介质。
现在将详细参考其示例在附图中说明的本发明的示例性实施方式。
图1展示向左转向的移动平台的俯视图，该移动平台包括第一和第二被遮挡区域；
图2展示包括屏幕和全景环视***的车辆；以及
图3示出用于表示周围环境的被遮挡区域的步骤。
附图仅是示意图，并仅用于本发明的说明。本发明的优点和特征及其实现方法将通过以下结合附图描述的实施方式加以阐述。然而，本发明可以不同方式实施，并不应解释为仅限于这里所述的实施方式。
用于描述本发明实施方式的附图中公开的形状、尺寸、比例、角度和数量仅是示例，因此，本发明不限于所示细节。除非另有说明，否则单数形式的术语可包括复数形式。在解释一元素时，尽管没有明确说明，但该元素被解释为包括误差范围。
应理解的是，尽管这里可用术语“第一”、“第二”等描述不同的元素/元件，但这些元素不应受这些术语的限制。这些术语仅用于将一元素区别于另一元素。例如，在不脱离本发明范围的情况下，第一元素可被称为第二元素，与此相似，第二元素可被称为第一元素。
本发明的实施方式可彼此独立实施，也可相互依存联合实施。
图1展示与移动平台相关的被遮挡区域20a在如上所定义的第一时间步在地平面上的俯视图。所述移动平台可包括驾驶员辅助***和/或全景环视***。在该示例性实施方式中，移动平台包括针对移动平台指向四个不同方向的至少四个成像装置，以获得移动平台的实际周围环境的全景环视图。成像装置的设置方式是，指向移动平台前面的成像装置能拍摄移动平台前面的对象区域F。指向移动平台后面的成像装置能拍摄移动平台后面区域中的对象区域B。对象区域L和对象区域R分别对应于指向移动平台左侧和右侧的相应成像装置能拍摄的移动平台的左侧对象区域或右侧对象区域。
其相应成像装置的对象区域可能重叠，但为了表示周围环境，定义了上述区域F、B、L和R，从而构成这些区域之间如图1所示的边界线11、12、13、14。
由于移动平台例如向左的移动，如图1所示，第一被遮挡区域20a转换为第二被遮挡区域20b。这是因为成像装置与移动平台一起移动，导致每个单一成像装置的新对象区域也定义了对应的第二被遮挡区域20b。
为在移动平台移动到新位置并产生第二被遮挡区域20b后更新第一被遮挡区域20a的给定表示，第二被遮挡区域20b的表示如图1所示，可从三个区段A、B和C合成。
在步骤S1中，确定德尔塔(delta)区域A-B。德尔塔区域A-B是相对于第一成像装置F和第二成像装置L的对象区域在第二时间步周围环境的第二被遮挡区域20b与相对于第一成像装置F和第二成像装置L的对象区域在第一时间步周围环境的第一被遮挡区域20a的差异。
在步骤S2中，确定第一重叠图像A和第二重叠图像B，其中，这里所述的分别是第一成像装置的图像和第二成像装置的图像与德尔塔区域A-B的重叠，其中，两个图像都是在第一时间步拍摄的。第一成像装置的图像是前置成像装置的对象区域F的图像，第二成像装置的图像是移动平台的左侧成像装置的对象区域L的图像。用于定义第一重叠区域A和第二重叠区域B的区段通过两个图像与德尔塔区域A-B的重叠定义，是两个重叠区域A、B的总和。
第一重叠区域A和第一被遮挡区域20a的表示的仍保持被遮挡的区段C的光学特性可能已相互适配，因为用于表示第一被遮挡区域20a的图像数据可以以指向移动平台的前方对象区域F的图像装置的图像为基础。
第二重叠区域B的光学特性，即第二成像装置指向移动平台的左侧对象区域L的图像的重叠，可不同于指向移动平台的前方对象区域的第一成像装置的图像的光学特性。
在步骤S3中，确定第一和第二成像装置的图像光学特性差异。
尤其是，可通过比较第一成像装置F的图像内的至少第一参考区域Rf和第二成像装置L的图像内的至少第二参考区域Rs的光学特性确定光学特性的差异。
尤其是，如果两个成像装置的对象区域与Rf-Rs重叠，则至少第一参考区域Rf和至少第二参考区域Rs是周围环境区域。这意味着，例如在边界线11处，第一成像装置(在此示例中为指向前方对象区域F的成像装置)的对象区域和第二成像装置(在此示例中为指向左侧对象区域L的成像装置)的对象区域都重叠。为了表示周围环境，定义了例如线11的边界线，其中这些对象区域的图像彼此相邻。
该参考区域可处于距第一被遮挡区域20a的任何距离和位置处，例如在边界线11处直接邻近第一被遮挡区域20a。
尤其是，第一和第二成像装置的图像光学特性差异可通过对第一参考区域Rf和第二参考区域Rs内的光学特性求平均加以确定，用于确定第一成像装置的图像和第二成像装置的图像的光学特性差异。
尤其是，两个参考区域Rf和Rs大小相同并在周围环境的相应对象区域中重叠。
第二重叠图像B根据光学特性梯度被调和，光学特性梯度由如上所述的光学特性差异和相对于第一被遮挡区域的长度定义。尤其是，该长度可以是从被遮挡区域前部到被遮挡区域后部的距离的一半。
第二重叠图像的调和尤其包括根据梯度的值和方向对第二重叠图像的每个像素的光学特性值进行调整适配。这意味着，第二重叠图像的每个图像像素的光学特性对应于与重叠区域内的点的距离而被采用，其中，从参考前置成像装置的图像的光学特性所确定的值开始，直到左侧成像装置所确定的光学特性的值，亮度差异被确定直到被遮挡区域的中间。
从第一重叠图像A和第二重叠图像B的边界线11出发，平行于第二被遮挡区域20b的前侧边界线设置的第二重叠图像B的每个像素相对于其光学特性被线性调整，以使第二被遮挡区域的侧面边界的像素与第二图像装置的光学特性相匹配。中间的所有像素分别根据产生的梯度进行调整适配。每个像素的光学特性值的调整适配可使用线性公式1计算：
Op＝(1-t)·OP2+(t·OP1)
其中，t是如上所述相对于OP1和OP2的典型距离。
其中，OP1和OP2为第一参考区域Rf和第二参考区域Rs的光学特性。可对第二重叠图像的剩余区域进行调整，使其与第二成像装置的特殊特性相匹配。
这意味着，在用于调和的至少一个重叠图像中存在平滑过渡。
图2示意性展示包括屏幕220和全景环视***的车辆200。
图3示意性展示包括如上所述的步骤S1至S4的方法。

Claims (15)

1.用于相对于移动平台(200)的第一和第二成像装置的对象区域表示移动平台(200)的周围环境的被遮挡区域(20a、20b)的方法，该方法包括下列步骤：
确定德尔塔区域(A、B)(S1)，该区域是周围环境的第二被遮挡区域(20b)与周围环境的第一被遮挡区域(20a)的差异，第二被遮挡区域在第二时间步相对于第一和第二成像装置的对象区域被遮挡，第一被遮挡区域在第一时间步相对于第一和第二成像装置的对象区域被遮挡；
确定第一重叠图像(A)和第二重叠图像(B)(S2)，其为第一成像装置的图像或第二成像装置的图像与德尔塔区域(A、B)的重叠，其中，两个图像都在第一时间步拍摄；
确定第一和第二成像装置的图像的光学特性的差异(S3)；
在至少一个重叠图像(A、B)内调和光学特性的差异(S4)。
2.根据权利要求1所述的方法，其中，通过比较第一成像装置的图像内的至少第一参考区域(Rf)和第二成像装置的图像内的至少第二参考区域(Rs)的光学特性确定光学特性的差异。
3.根据权利要求2所述的方法，其中，如果两个成像装置的对象区域重叠，则所述至少第一参考区域(Rf)和所述至少第二参考区域(Rs)是周围环境的区域。
4.根据上述权利要求中任一权利要求所述的方法，其中，相对于光学特性梯度调和第一重叠图像(A)和/或第二重叠图像(B)，所述光学特性梯度通过光学特性的差异和与第一被遮挡区域(20a)相关的长度定义。
5.根据权利要求4所述的方法，其中，第一重叠图像(20a)或第二重叠图像(20b)的调和包括调整与梯度的值和方向相对应的第一重叠图像(20a)或第二重叠图像(20b)的每个像素的光学特性值。
6.根据上述权利要求中任一权利要求所述的方法，其中，所述光学特性值是亮度值和/或颜色值。
7.根据上述权利要求中任一权利要求所述的方法，其中，使用移动平台(200)的移动数据确定德尔塔区域(A、B)。
8.根据上述权利要求中任一权利要求所述的方法，其中，第一成像装置指向移动平台(200)的前方，而第二成像装置至少部分地指向移动平台的运动方向。
9.根据上述权利要求中任一权利要求所述的方法，其中，第二被遮挡区域(20b)通过被调和的第二重叠图像(B)、第一重叠图像(A)和第一被遮挡区域(C)的表示的区段表示。
10.根据权利要求9所述的方法，其中，第二被遮挡区域(B)的表示存储在车辆的动力循环之间。
11.根据上述权利要求中任一权利要求所述的方法，其中，在移动平台(200)的屏幕(220)上展示第二被遮挡区域(B)的表示。
12.一种设置用于执行权利要求1至11中任一权利要求所述的方法的全景环视***(210)。
13.一种移动平台(200)，优选为车辆(200)，包括用于可视化被遮挡区域(20a、20b)的表示的屏幕(220)和根据权利要求12所述的全景环视***(210)。
14.一种包括指令的计算机程序，当计算机执行该程序时，所述指令使计算机执行根据权利要求1至11所述的方法。
15.一种存储有根据权利要求14所述的计算机程序的计算机可读存储介质。
CN202080039342.8A 2019-05-29 2020-05-20 用于表示移动平台周围环境的调和的被遮挡区域的方法 Pending CN113892258A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19177339.9 2019-05-29
EP19177339.9A EP3745715A1 (en) 2019-05-29 2019-05-29 Method for representing a harmonized obscured area of an environment of a mobile platform
PCT/EP2020/064016 WO2020239555A1 (en) 2019-05-29 2020-05-20 Method for representing a harmonized obscured area of an environment of a mobile platform

Publications (1)

Publication Number Publication Date
CN113892258A true CN113892258A (zh) 2022-01-04

Family

ID=66912521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080039342.8A Pending CN113892258A (zh) 2019-05-29 2020-05-20 用于表示移动平台周围环境的调和的被遮挡区域的方法

Country Status (5)

Country Link
US (1) US20220321836A1 (zh)
EP (1) EP3745715A1 (zh)
JP (1) JP7444902B2 (zh)
CN (1) CN113892258A (zh)
WO (1) WO2020239555A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3745715A1 (en) * 2019-05-29 2020-12-02 Continental Automotive GmbH Method for representing a harmonized obscured area of an environment of a mobile platform

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6813391B1 (en) * 2000-07-07 2004-11-02 Microsoft Corp. System and method for exposure compensation
CN103501415A (zh) * 2013-10-01 2014-01-08 中国人民解放军国防科学技术大学 一种基于重叠部分结构变形的视频实时拼接方法
CN104240211A (zh) * 2014-08-06 2014-12-24 中国船舶重工集团公司第七0九研究所 用于视频拼接的图像亮度与色彩均衡方法及***
DE102013020949A1 (de) * 2013-12-12 2015-06-18 Connaught Electronics Ltd. Verbessertes Alpha-Blending von Bildern eines Kamerasystems eines Kraftfahrzeugs
JP2015222934A (ja) * 2014-05-23 2015-12-10 カルソニックカンセイ株式会社 車両周囲表示装置
GB2559758A (en) * 2017-02-16 2018-08-22 Jaguar Land Rover Ltd Apparatus and method for displaying information
EP3745715A1 (en) * 2019-05-29 2020-12-02 Continental Automotive GmbH Method for representing a harmonized obscured area of an environment of a mobile platform

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3297040B1 (ja) * 2001-04-24 2002-07-02 松下電器産業株式会社 車載カメラの画像合成表示方法及びその装置
GB2378340A (en) * 2001-07-31 2003-02-05 Hewlett Packard Co Generation of an image bounded by a frame or of overlapping images
JP2011114536A (ja) * 2009-11-26 2011-06-09 Alpine Electronics Inc 車両周辺画像提供装置
JP5906696B2 (ja) * 2011-11-30 2016-04-20 アイシン精機株式会社 車両周辺撮影装置および車両周辺画像の処理方法
GB201409182D0 (en) * 2014-05-23 2014-07-09 Pragmatic Printing Ltd Capacitive detection system
JP6091586B1 (ja) * 2015-11-12 2017-03-08 三菱電機株式会社 車両用画像処理装置および車両用画像処理システム
US10958834B2 (en) * 2016-07-22 2021-03-23 Immervision, Inc. Method to capture, store, distribute, share, stream and display panoramic image or video
GB2559760B (en) * 2017-02-16 2019-08-28 Jaguar Land Rover Ltd Apparatus and method for displaying information

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6813391B1 (en) * 2000-07-07 2004-11-02 Microsoft Corp. System and method for exposure compensation
CN103501415A (zh) * 2013-10-01 2014-01-08 中国人民解放军国防科学技术大学 一种基于重叠部分结构变形的视频实时拼接方法
DE102013020949A1 (de) * 2013-12-12 2015-06-18 Connaught Electronics Ltd. Verbessertes Alpha-Blending von Bildern eines Kamerasystems eines Kraftfahrzeugs
JP2015222934A (ja) * 2014-05-23 2015-12-10 カルソニックカンセイ株式会社 車両周囲表示装置
CN104240211A (zh) * 2014-08-06 2014-12-24 中国船舶重工集团公司第七0九研究所 用于视频拼接的图像亮度与色彩均衡方法及***
GB2559758A (en) * 2017-02-16 2018-08-22 Jaguar Land Rover Ltd Apparatus and method for displaying information
EP3745715A1 (en) * 2019-05-29 2020-12-02 Continental Automotive GmbH Method for representing a harmonized obscured area of an environment of a mobile platform

Also Published As

Publication number Publication date
EP3745715A1 (en) 2020-12-02
WO2020239555A1 (en) 2020-12-03
JP7444902B2 (ja) 2024-03-06
JP2022532204A (ja) 2022-07-13
US20220321836A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
CN104851076B (zh) 用于商用车的全景环视泊车辅助***及摄像头安装方法
Liu et al. Bird’s-eye view vision system for vehicle surrounding monitoring
EP3729803B1 (en) Multi camera image processing
US7139412B2 (en) Image synthesis display method and apparatus for vehicle camera
US8063752B2 (en) Camera unit with driving corridor display functionality for a vehicle, method for displaying anticipated trajectory of a vehicle, and system for generating driving corridor markers
EP2629506A1 (en) Two-step brightness adjustment in around-view systems
CN112224132B (zh) 一种车用全景环视障碍物预警方法
KR101077584B1 (ko) 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법
JP2007141098A (ja) 画像処理装置及び画像処理方法
US20130287316A1 (en) Image synthesis apparatus and image synthesis method
US20100002074A1 (en) Method, device, and computer program for reducing the resolution of an input image
CN114339185A (zh) 用于车辆相机图像的图像彩色化
EP3076655B1 (en) Imaging settings changing device, imaging system, and imaging settings changing method
JP2007110572A (ja) 複数カメラ画像合成表示装置
JP2004015205A (ja) マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法
CN113892258A (zh) 用于表示移动平台周围环境的调和的被遮挡区域的方法
CN110428361A (zh) 一种基于人工智能的多路图像采集方法
CN112640413A (zh) 用于显示周围环境的模型的方法、控制设备和车辆
US10943334B2 (en) Method and system for representation of vehicle surroundings with reduced artefacts
JP2009083744A (ja) 合成画像調整装置
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
CN107548501B (zh) 用于驾驶员辅助***的图像合成装置
KR101293263B1 (ko) 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법
KR20110088680A (ko) 복수개의 영상을 합성한 합성 영상에 대한 보정 기능을 구비하는 영상 처리 장치
JPWO2020239555A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230109

Address after: Germany Ingolstadt

Applicant after: Continental Zhixing Germany Co.,Ltd.

Address before: Hannover

Applicant before: CONTINENTAL AUTOMOTIVE GmbH

TA01 Transfer of patent application right