CN107438538B - 用于显示车辆的车辆周围环境的方法 - Google Patents

用于显示车辆的车辆周围环境的方法 Download PDF

Info

Publication number
CN107438538B
CN107438538B CN201680021133.4A CN201680021133A CN107438538B CN 107438538 B CN107438538 B CN 107438538B CN 201680021133 A CN201680021133 A CN 201680021133A CN 107438538 B CN107438538 B CN 107438538B
Authority
CN
China
Prior art keywords
vehicle
image
virtual
camera
virtual camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680021133.4A
Other languages
English (en)
Other versions
CN107438538A (zh
Inventor
J·D·埃斯帕扎加西亚
R·卡诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN107438538A publication Critical patent/CN107438538A/zh
Application granted granted Critical
Publication of CN107438538B publication Critical patent/CN107438538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于显示车辆(1)的车辆周围环境的方法，其包括：借助多个摄像机(3a，3b，3c，3d)检测摄像机图像中的车辆周围环境；将所述摄像机图像投影到虚拟空间中的几何投影面；为虚拟摄像机的可视区域创建深度地图，所述深度地图描述几何投影面的多个点至虚拟空间中的虚拟摄像机的距离；计算所述虚拟摄像机的图像(10)，所述图像描绘所述虚拟空间中的几何投影面；基于所述深度地图求取所述虚拟摄像机的图像的确定的区域，在所述确定的区域中，所述几何投影面处于相对于所述虚拟摄像机的确定的距离范围中；在描绘所述确定的区域(12)的区域中对所述虚拟摄像机的图像(10)进行模糊处理。

Description

用于显示车辆的车辆周围环境的方法
技术领域
本发明涉及一种用于显示车辆的车辆周围环境的方法。
背景技术
驾驶辅助***的目的在于：在引导车辆时支持驾驶员。对驾驶员的这种支持例如可以通过以下功能进行：
-显示车辆的近距离中的周围环境，以便避免与不在驾驶员的直接视野中的障碍物的碰撞，
-接管驾驶员的任务，以便提高驾驶员的驾驶舒适性，
-监控驾驶员的活动并且在危险情况下进行干预，和/或
-在驾驶员的不必须在场的情况下自动化行驶。
本发明尤其涉及一种用于借助合成的视图显示车辆周围环境的方法，如这尤其在所谓的环绕视图***(Surround-View-System)中进行的那样。在这种环绕视图***中，多个摄像机典型地如此布置在车辆上，使得进行车辆周围环境的360°审视。在此，典型地将布置在车辆上的摄像机、典型地四个摄像机的摄像机图像投影到典型地具有密码(Schlüssel)形式的几何投影面上。这借助基于内在的和外在的摄像机校准的像点分配(Bildpunktzuweisung)(Image-Mapping)进行。
DE102011121473A1公开了一种用于通过借助机动车的摄像机检测机动车的周围环境区域的摄像机图像来将图像显示在机动车的显示装置上的方法。
US2014/0139676A1公开了一种用于车辆的可视***(Sichtsystem)，该可视***包括至少一个图像传感器、控制装置和显示装置。
发明内容
根据本发明的用于显示车辆的车辆周围环境的方法包括：借助多个摄像机检测摄像机图像中的车辆周围环境；将摄像机图像投影到虚拟空间中的几何投影面；为虚拟摄像机的可视区域创建深度地图，所述深度地图描述几何投影面的多个点相对于虚拟空间中的虚拟摄像机的距离；计算虚拟摄像机的图像，所述图像描绘所述虚拟空间中的几何投影面；基于深度地图求取虚拟摄像机的图像的确定的区域，在所述确定的区域中，几何投影面处于相对于虚拟摄像机的确定的距离范围中，并且在描绘确定的区域的区域中对虚拟摄像机的图像进行模糊处理(Weichzeichnen)。
以这种方式在观察计算出的图像时引导驾驶员的视线。尤其也对虚拟摄像机的图像与通过虚拟摄像机描绘的车辆周围环境——所述车辆周围环境处于几何投影面的确定的区域中——之间的意外的(unbeabsichtigt)差异进行模糊处理并且因此隐藏。这种意外的差异有时由以下情况得出：虚拟空间中的几何投影面以其形式不准确重现车辆周围环境。
优选实施方式示出本发明的优选扩展方案。
有利的是，基于车辆周围环境对几何投影面进行建模。因此，使虚拟摄像机的图像与通过虚拟摄像机描绘的车辆周围环境之间的意外的差异最小化。
也有利的是，确定的距离范围是在相对于虚拟摄像机的最小距离外延伸的范围。因此实现深度效果，并且虚拟摄像机的图像显得特别生动形象。
还有利的是，在虚拟空间中布置有车辆的虚拟模型，并且如此创建深度地图，使得在虚拟空间中布置有车辆的虚拟模型，并且如此创建深度地图，使得所述深度地图对于虚拟摄像机的图像的区域——在所述区域中检测车辆1的虚拟模型14——描述车辆1的虚拟模型14的在所述深度地图中描绘的点相对于虚拟摄像机的距离。车辆的虚拟模型向用户给定在虚拟摄像机的图像中的参考点。通过在创建深度地图时考虑车辆的虚拟模型，所述虚拟模型适应虚拟摄像机的图像并且因此不被察觉为车辆周围环境中的异物。
也有利的是，该方法包括使虚拟摄像机对准虚拟空间中的确定的感兴趣的点。以这种方式，使用户的注意力集中在确定的点上。
此外，有利的是，确定的感兴趣的点是如下点：在所述点处，车辆接近对象。因此，向用户指出该接近并且可以防止碰撞。
设置用于实施根据本发明的方法的设备同样是有利的并且具有根据本发明的方法的优点。
附图说明
以下参考附图详细描述本发明的实施例。在附图中，
图1示出第一实施方式中的根据本发明的方法的流程图；
图2示出具有用于实施第一实施方式中的方法的设备的车辆；
图3示出虚拟摄像机的图像，其中，未对摄像机图像的预确定的区域进行模糊处理；
图4示出虚拟摄像机的图像，所述虚拟摄像机的图像借助第一实施方式中的根据本发明的方法已产生；
图5示出虚拟摄像机的图像，所述虚拟摄像机的图像借助第二实施方式中的根据本发明的方法已产生。
具体实施方式
图1示出第一实施方式中的用于显示车辆1的车辆周围环境的根据本发明的方法的流程图。通过用于显示车辆1的车辆周围环境的设备2来实施该方法。车辆1在图2中示例性示出。
第一摄像机3a、第二摄像机3b、第三摄像机3c和第四摄像机3d布置在车辆1上。摄像机3a、3b、3c、3d中的每个分别配备有鱼眼镜头，以便分别检测车辆1的车辆周围环境的尽可能大的片断(Ausschnitt)。第一摄像机3a布置在车辆的右侧外后视镜处。在此，第一摄像机3a的光学轴沿着车辆1的横轴远离(wegrichten)车辆1。第二摄像机3b布置在车辆1的车辆前部。在此，第二摄像机3b的光学轴沿着车辆1的纵轴远离车辆。第三摄像机3c布置在车辆1的左侧外后视镜处。在此，第三摄像机3c的光学轴沿着车辆1的横轴远离车辆。第四摄像机3d布置在车辆1的车辆的后部处。在此，第四摄像机3d的光学轴沿着车辆1的纵轴远离车辆1。摄像机3a、3b、3c、3d中的每个分别通过信号线路与用于显示车辆1的车辆周围环境的设备2耦合。在此，用于显示车辆1的车辆周围环境的设备2是数字计算单元。
只要用于显示车辆1的车辆周围环境的设备2运行，则开始根据本发明的方法。在开始该方法之后实施步骤S1。
在第一步骤S1中，借助摄像机3a、3b、3c、3d在摄像机图像中检测车辆1的车辆周围环境。在此，由摄像机3a、3b、3c、3d中的每个检测图像并且将该图像传输给设备2。相邻布置在车辆1上的摄像机3a、3b、3c、3d的摄像机图像彼此重叠并且因此在一个片断中描绘车辆周围环境的相同区域。
在第一步骤S1之后实施第二步骤S2。
在第二步骤S2中，将摄像机图像投影到虚拟空间中的几何投影面上。在此，虚拟空间是通过设备2计算地产生的数学空间。虚拟空间是围绕车辆1的实际空间的数学表示。车辆1的虚拟模型14布置在虚拟空间中。几何投影面在虚拟空间中包围车辆1的虚拟模型14。
基于车辆周围环境对几何投影面进行建模。为此，借助车辆传感装置对车辆周围环境进行扫描。车辆传感装置是用于车辆1的周围环境检测的例如基于超声传感器、立体摄像机或激光雷达***的***。检测如下距离值：所述距离值描述布置在车辆周围环境中的对象相对于车辆1的距离。将所述距离值传递到虚拟空间中并且相应于距离值来匹配几何投影面相对于车辆1的虚拟模型14的距离。
在将摄像机图像投影到几何投影面上时，将摄像机3a、3b、3c、3d的摄像机图像作为纹理(Textur)布置到几何投影面上。在此，如此矫正摄像机图像，使得在摄像机图像中显示的在车辆周围环境中的实际的对象出现在几何投影面的如下位置处：所述位置相对于车辆1的虚拟模型14的态势(Lage)相应于实际的对象相对于车辆1的态势。
在第二步骤S2之后实施第三步骤S3。
在第三步骤S3中，计算虚拟摄像机的图像10，该图像描绘虚拟空间中的几何投影面。
为此，首先确定虚拟空间中的虚拟摄像机的位置和定向。在此，虚拟摄像机的位置例如是在车辆1的模型14的右后方。因此，摄像机布置在虚拟空间中的车辆1的模型14的后部的区域中。虚拟摄像机的定向示例性地选择沿着车辆1的模型14的右侧在车辆1的模型14的前部的方向上。
虚拟摄像机10的图像由像点的矩阵构成。基于虚拟摄像机的位置和定向，对于每个像点推算：在像点中显示几何投影面的哪个部分或点。相应于布置在投影面的相应的部分或点上的纹理选择虚拟摄像机的图像的像点的颜色值和/或亮度值。
图3示出虚拟摄像机的图像，其中，还未进行模糊处理。在虚拟摄像机的图像10的左边区域中布置有车辆1的虚拟模型14。在车辆1的虚拟模型14周围的区域中，可以看见具有其上存储为纹理的摄像机图像的几何投影面。在虚拟摄像机的图像10的处于车辆1的虚拟模型14的前面右边的区域11中，在虚拟摄像机的图像与通过虚拟摄像机描绘的车辆周围环境之间存在意外的差异。显而易见的是，单个的车辆15两次显示。
单个的车辆15两次显示，因为一方面在第一摄像机3a的摄像机图像中并且另一方面在第二摄像机3b的摄像机图像中描绘该车辆。在将摄像机图像投影到几何投影面上时，单个的车辆15未布置在几何投影面的同一点处，因为几何投影面的形式不完全相应于车辆周围环境中的形式。
在第三步骤S3之后，实施第四步骤S4。
在第四步骤S4中，对于虚拟摄像机的可视区域创建深度地图，所述深度地图描述几何投影面的多个点相对于虚拟空间中的虚拟摄像机的距离。虚拟摄像机的可视区域相应于在虚拟摄像机的图像中显示的区域。
对于虚拟摄像机的图像10的每个像点计算：在几何投影面的在所述像点中描绘的点相对于虚拟摄像机的位置具有什么样的距离。在深度地图中将该距离存储为距离值。在该实施方式中，深度地图即同样具有多个距离值，如虚拟摄像机的图像10具有像点那样。深度地图的每个距离值分配有虚拟摄像机的图像10的像点。
在此，如此创建深度地图，使得深度地图对于虚拟摄像机的图像的区域——在所述区域中检测车辆1的虚拟模型14——描述车辆1的虚拟模型14的在所述区域中描绘的点相对于虚拟空间中的虚拟摄像机的距离。因此，当对于所属的像点的几何投影面由车辆的虚拟模型14遮挡时，将描述与车辆1的虚拟模型14之间的距离的距离值记录(eintragen)到深度地图中。
在第四步骤S4之后实施第五步骤S5。
在第五步骤S5中，基于深度地图求取虚拟摄像机的图像的确定的区域12，在所述确定的区域中，几何投影面处于相对于虚拟摄像机的确定的距离范围中。
在第一实施方式中，确定的距离范围是在相对于虚拟摄像机的最小距离外延伸的范围。最小距离是在虚拟空间中的距离。在此，最小距离通过阈值限定。将深度地图的距离值中的每个与阈值进行比较。如果距离值高于阈值，则虚拟摄像机的图像10的属于该距离值的像点属于确定的区域12。如果距离值低于阈值或等于阈值，则虚拟摄像机的属于该距离值的像点不属于确定的区域12。
在第五步骤S5之后实施第六步骤S6。
在第六步骤S6中，在如下区域中对虚拟摄像机的图像进行模糊处理：在所述区域中描绘确定的区域12。为此，在虚拟摄像机的图像10的确定区域12上例如应用高斯模糊处理或能够进行模糊处理的任意其他图形滤波器。
图4示出虚拟摄像机的图像10，该图像已根据本发明的第一实施方式产生。在虚拟摄像机的图像的左侧区域中布置有车辆1的虚拟模型14。在围绕车辆1的虚拟模型14的区域中，可见具有在其上存储为纹理的摄像机图像的几何投影面。在虚拟摄像机的图像10的上部区域中，描绘确定的区域12，该确定的区域被模糊处理并且描绘真实世界的处于车辆1前面的区域。几何投影面在该确定的区域中具有根据深度地图大于阈值的相对于虚拟摄像机的距离。在此可见的是，也已对区域11进行模糊处理，在该区域中存在意外的差异。
在实施第六步骤S6之后，方法返回第一步骤S1。因此，在循环中实施该方法。当设备2不运行时，结束该方法。
因此，根据本发明，根据虚拟摄像机的位置产生深度地图。此外，产生车辆周围环境的部分经模糊处理的画面。在此，可以相应于实际摄像机的聚焦区域来匹配图像深度。可以动态地匹配该效果，以便对人类眼睛的特性进行仿真。这尤其可以通过如下方式进行：改变在第五步骤S5中使用的阈值。
本发明的第二实施方式相应于本发明的第一实施方式。然而，在此，根据本发明的方法附加地包括另一步骤，在所述另一步骤中，使虚拟摄像机对准虚拟空间中的确定的感兴趣的点。在此，确定的感兴趣的点是如下点：在所述点处车辆接近对象。
为此，借助车辆1的距离传感装置求取：车辆1是否接近对象。感兴趣的点在此是车辆周围环境的区域的中心，在所述中心中，车辆1接近对象。虚拟摄像机的位置如此选择，使得虚拟摄像机在虚拟空间中直接处于感兴趣的点16上方，并且虚拟摄像机的定向如此选择，使得虚拟摄像机俯视感兴趣的点16。
图5示出虚拟摄像机的图像10，该图像已根据本发明的第二实施方式计算。在虚拟摄像机的图5中示出的图像中，可见车辆1的虚拟模型14的后部。在处于车辆1的虚拟模型14右后方的聚焦区域13中，车辆1接近对象。将感兴趣的点置于所述聚焦区域13的中心。
在虚拟摄像机的所选择的位置和定向的情况下，在该区域中平的且相应于行车道表面布置的几何投影面相对于虚拟摄像机的距离随着相对于感兴趣的点16的距离增大而增大。在此，第一实施方式的阈值在第二实施方式中如此选择，使得几何投影面的处于聚焦区域13中的这种点分别具有相对于虚拟摄像机的处于阈值以下的距离。因此，聚焦区域13相应于处于根据本发明的确定的区域12外的区域。
因此，对不处于聚焦区域13中的虚拟摄像机的图像10的区域进行模糊处理。因此，仅仅清晰地显示虚拟摄像机的图像中的聚焦区域13。因此，使驾驶员的注意力转向到该区域。
应当指出的是，可以在根据本发明的方法中由模糊处理排除几何投影面的预定义的区域。
除了上述书面公开之外，还明确地指出图1至5的公开。

Claims (7)

1.一种用于显示车辆(1)的车辆周围环境的方法，该方法包括：
借助多个摄像机(3a，3b，3c，3d)在摄像机图像中检测所述车辆周围环境；
将所述摄像机图像投影到虚拟空间中的几何投影面上；
对于虚拟摄像机的可视区域创建深度地图，所述深度地图描述几何投影面的多个点相对于所述虚拟空间中的虚拟摄像机的距离；
计算所述虚拟摄像机的图像(10)，所述图像描绘所述虚拟空间中的几何投影面；
基于所述深度地图求取所述虚拟摄像机的图像的确定的区域，在所述确定的区域中，所述几何投影面处于相对于所述虚拟摄像机的确定的距离范围中；
在如下区域中对所述虚拟摄像机的图像(10)进行模糊处理：在所述区域中描绘所述确定的区域(12)。
2.根据权利要求1所述的方法，其特征在于，基于所述车辆周围环境对所述几何投影面进行建模。
3.根据权利要求1或2所述的方法，其特征在于，所述确定的距离范围是在相对所述虚拟摄像机的最小距离外延伸的范围。
4.根据权利要求1或2所述的方法，其特征在于，
在所述虚拟空间中布置有所述车辆(1)的虚拟模型(14)；
如此创建所述深度地图，使得对于所述虚拟摄像机的图像的、检测到所述车辆(1)的虚拟模型(14)的那些区域来说，所述深度地图描述所述车辆(1)的虚拟模型(14)的在所述图像的这些区域中描绘的点相对于所述虚拟摄像机的距离。
5.根据权利要求1或2所述的方法，其特征在于，该方法还包括：
使所述虚拟摄像机对准所述虚拟空间中的确定的感兴趣的点。
6.根据权利要求5所述的方法，其特征在于，所述确定的感兴趣的点是如下点：在所述点处，所述车辆(1)接近对象。
7.一种设备(2)，所述设备设置用于实施根据上述权利要求中任一项所述的方法。
CN201680021133.4A 2015-04-10 2016-03-30 用于显示车辆的车辆周围环境的方法 Active CN107438538B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015206477.8A DE102015206477A1 (de) 2015-04-10 2015-04-10 Verfahren zur Darstellung einer Fahrzeugumgebung eines Fahrzeuges
DE102015206477.8 2015-04-10
PCT/EP2016/056863 WO2016162245A1 (de) 2015-04-10 2016-03-30 Verfahren zur darstellung einer fahrzeugumgebung eines fahrzeuges

Publications (2)

Publication Number Publication Date
CN107438538A CN107438538A (zh) 2017-12-05
CN107438538B true CN107438538B (zh) 2021-05-04

Family

ID=55650404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680021133.4A Active CN107438538B (zh) 2015-04-10 2016-03-30 用于显示车辆的车辆周围环境的方法

Country Status (7)

Country Link
US (1) US10290080B2 (zh)
EP (1) EP3281178A1 (zh)
JP (1) JP6559253B2 (zh)
KR (1) KR102490272B1 (zh)
CN (1) CN107438538B (zh)
DE (1) DE102015206477A1 (zh)
WO (1) WO2016162245A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11256931B2 (en) 2010-04-19 2022-02-22 SMR Patent S.à.r.l Rearview device simulation
US10861338B2 (en) * 2016-05-05 2020-12-08 Harman International Industries, Incorporated Systems and methods for driver assistance
DE102016211227A1 (de) * 2016-06-23 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
DE102016225066A1 (de) 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Rundumsichtsystem für ein Fahrzeug
JPWO2018167999A1 (ja) * 2017-03-17 2020-01-16 パナソニックＩｐマネジメント株式会社 プロジェクタ及びプロジェクタシステム
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
US20190349571A1 (en) * 2018-05-11 2019-11-14 Ford Global Technologies, Llc Distortion correction for vehicle surround view camera projections
EP3570063B1 (de) * 2018-05-14 2023-08-30 dSPACE GmbH Verfahren zur schnellen abschätzung einer perspektivischen verdeckung in einer simulation eines bildgebenden sensors
GB2573792B (en) * 2018-05-17 2022-11-09 Denso Corp Surround monitoring system for vehicles
US11892818B2 (en) 2018-10-17 2024-02-06 Niagara Bottling, Llc Dock door automation systems and methods
EP3726473A1 (en) 2019-04-18 2020-10-21 SMR Patents S.à.r.l. Method for rearview device simulation
US11820290B2 (en) * 2021-04-14 2023-11-21 Niagara Bottling, Llc Trailer alignment detection for dock automation using vision system and dynamic depth filtering
DE102022124085A1 (de) 2022-09-20 2024-03-21 Connaught Electronics Ltd. Darstellung von Bilddaten in einem Fahrzeug abhängig von Sensordaten

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1179958A1 (en) * 1999-04-16 2002-02-13 Matsushita Electric Industries Co., Ltd. Image processing device and monitoring system
WO2008150153A1 (en) * 2007-06-08 2008-12-11 Tele Atlas B.V. Method of and apparatus for producing a multi-viewpoint panorama
CN101953163A (zh) * 2008-02-20 2011-01-19 歌乐牌株式会社 车辆周边图像显示***
CN103959341A (zh) * 2011-12-07 2014-07-30 罗伯特·博世有限公司 用于呈现车辆环境的方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300334B2 (ja) * 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
JP2005258792A (ja) * 2004-03-11 2005-09-22 Olympus Corp 画像生成装置、画像生成方法、および画像生成プログラム
JP2007022415A (ja) 2005-07-20 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
EP2710512A1 (en) * 2011-05-16 2014-03-26 Valeo Schalter und Sensoren GmbH Vehicle and method for operating a camera arrangement for a vehicle
DE102011121473A1 (de) 2011-12-17 2013-06-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung eines Kraftfahrzeugs,Fahrerassistenzeinrichtung, Kraftfahrzeug und Computerprogramm
US9743002B2 (en) 2012-11-19 2017-08-22 Magna Electronics Inc. Vehicle vision system with enhanced display functions
JP5945255B2 (ja) * 2013-08-27 2016-07-05 日本電信電話株式会社 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1179958A1 (en) * 1999-04-16 2002-02-13 Matsushita Electric Industries Co., Ltd. Image processing device and monitoring system
WO2008150153A1 (en) * 2007-06-08 2008-12-11 Tele Atlas B.V. Method of and apparatus for producing a multi-viewpoint panorama
CN101953163A (zh) * 2008-02-20 2011-01-19 歌乐牌株式会社 车辆周边图像显示***
CN103959341A (zh) * 2011-12-07 2014-07-30 罗伯特·博世有限公司 用于呈现车辆环境的方法

Also Published As

Publication number Publication date
JP2018518863A (ja) 2018-07-12
US10290080B2 (en) 2019-05-14
CN107438538A (zh) 2017-12-05
EP3281178A1 (de) 2018-02-14
JP6559253B2 (ja) 2019-08-14
WO2016162245A1 (de) 2016-10-13
US20180040103A1 (en) 2018-02-08
DE102015206477A1 (de) 2016-10-13
KR102490272B1 (ko) 2023-01-20
KR20170135952A (ko) 2017-12-08

Similar Documents

Publication Publication Date Title
CN107438538B (zh) 用于显示车辆的车辆周围环境的方法
US10899277B2 (en) Vehicular vision system with reduced distortion display
US8880344B2 (en) Method for displaying images on a display device and driver assistance system
JP6522630B2 (ja) 車両の周辺部を表示するための方法と装置、並びに、ドライバー・アシスタント・システム
JP6756228B2 (ja) 車載表示制御装置
US10558221B2 (en) Method for assisting in a parking operation for a motor vehicle, driver assistance system and a motor vehicle
US10477102B2 (en) Method and device for determining concealed regions in the vehicle environment of a vehicle
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
US20110175752A1 (en) Methods and Apparatuses for Informing an Occupant of a Vehicle of Surroundings of the Vehicle
US20130242101A1 (en) Method and Device for Representing Obstacles in a Parking Assistance System of Motor Vehicles
KR20190047027A (ko) 차량의 차량 주변 리어뷰 미러 조망을 제공하는 방법
JP2012227913A (ja) 車両のサラウンドビューシステム
CN107249934B (zh) 无失真显示车辆周边环境的方法和装置
CN109415018B (zh) 用于数字后视镜的方法和控制单元
US10733464B2 (en) Method, system and device of obtaining 3D-information of objects
KR102124298B1 (ko) 후방 교차 교통-퀵 룩스
JP2016149613A (ja) カメラパラメータ調整装置
EP2605101B1 (en) Method for displaying images on a display device of a driver assistance device of a motor vehicle, computer program and driver assistance device carrying out the method
JP6494764B2 (ja) 表示制御装置、表示装置及び表示制御方法
CN112334947A (zh) 基于传感器和存储器表示周围环境的方法、显示装置和具有显示装置的车辆
CN108290499B (zh) 带有自适应周围环境图像数据处理功能的驾驶员辅助***
KR102447414B1 (ko) 차량 환경의 적어도 일부의 이미지 표현을 제공하는 방법, 컴퓨터 프로그램 제품 및 운전자 보조 시스템
EP4310768B1 (en) Driver assistance system
CN117501685A (zh) 摄像***及用于摄像***的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant