CN111902845A - 用图像中虚拟的、拉长距离标记来表示机动车辆的环境区域的方法、计算机程序产品以及显示*** - Google Patents
用图像中虚拟的、拉长距离标记来表示机动车辆的环境区域的方法、计算机程序产品以及显示*** Download PDFInfo
- Publication number
- CN111902845A CN111902845A CN201980010735.3A CN201980010735A CN111902845A CN 111902845 A CN111902845 A CN 111902845A CN 201980010735 A CN201980010735 A CN 201980010735A CN 111902845 A CN111902845 A CN 111902845A
- Authority
- CN
- China
- Prior art keywords
- distance
- image
- motor vehicle
- real
- represented
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007613 environmental effect Effects 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000004590 computer program Methods 0.000 title claims abstract description 9
- 239000003550 marker Substances 0.000 claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 description 6
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/12—Shadow map, environment map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/012—Dimensioning, tolerancing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种用于在图像(16)中表示机动车辆(1)的环境区域(13)的方法,其中环境区域(13)的真实图像由机动车辆(1)的多个真实相机(5,6,7,8)捕获,并且图像(16)从这些真实图像生成,其至少部分地表示环境区域(13),其中图像(16)从布置在环境区域(13)中的虚拟相机(14)的视角来表示,并且图像(16)被生成为碗形,其中至少一个虚拟拉长距离标记(18,19,20)被表示在图像(16)中,由此到机动车辆(1)的距离在虚拟碗形中被符号化。本发明还涉及一种用于机动车辆(1)的计算机程序产品和显示***(2)。
Description
技术领域
本发明涉及一种用于在图像中表示机动车辆的环境区域的方法。
背景技术
环境区域的真实图像由机动车辆的多个真实相机捕获,并且从这些真实图像生成图像,该图像至少部分地表示环境区域。该图像是从布置在环境区域中的虚拟相机的视角来表示的。图像分别以碗形生成和呈现。这意味着图像被生成并以特定的“畸变”或弯曲的表示来表示。
此外,用于变换图像的方法是已知的,其中机动车辆的环境区域至少部分地由来自虚拟地布置在环境区域中的虚拟相机的视角的图像来表示,这是现有技术中已知的。
因此,在DE 10 2013 013 364 A1中,提供了一种用于低畸变成像环境图像数据的方法,该环境图像数据由布置在机动车辆上的多个相机生成。
此外,在US 2011/0032357 A1中描述了一种图像处理设备,通过该设备捕获机动车辆的环境区域的图像。捕获的图像被转换成从虚拟视线的角度观看的图像。虚拟视线从环境区域中的预定位置延伸到预定方向。
此外,已知图像由虚拟相机提供。然后,虚拟相机通常可以以虚构的方式任意地布置在机动车辆周围。通过变换真实图像来提供图像。真实图像通常由机动车辆的多个真实相机提供。通过多个真实相机,机动车辆的环境区域通常被完全捕获。真实图像可以由虚拟相机选择和变换,使得从虚拟相机的视角提供图像。因此,在机动车辆的环境区域中的虚拟相机不是真实存在的,而是描述真实图像的变换和选择,使得虚拟相机的期望视角由图像显示。通常,图像的提供由变换决定,该变换包括平移和多个旋转。因此,每个真实图像例如从相应真实相机的相机坐标系变换到机动车辆坐标系,并且虚拟相机的位置最终可以设置在机动车辆坐标系中。
特别是在这种碗形的图像表示中,由于图像视图的弯曲,实际情况是,精确的位置以及因此到机动车辆的距离不再能够被准确地识别和估计。
发明内容
本发明的目的是提供一种用于在图像中表示机动车辆的环境区域的方法,其中图像以碗形生成,并且可以以改进的方式识别和估计机动车辆的环境区域中的位置。此外,本发明的目的是提供一种用于机动车辆的计算机程序产品以及显示***。
本发明的一个方面涉及一种用于表示机动车辆的环境区域的方法,其中该表示在图像中实现。在该方法中,环境区域的多个真实图像的捕获由机动车辆的多个真实相机执行。然后从这些真实图像中生成图像,该图像也可以被称为整体图像。因此,该公共图像是从多个真实图像生成的。该环境区域在该图像中至少被部分表示。该图像是从布置在环境区域中的虚拟相机的视角来表示的。图像被生成并表示为碗形,因此具有弯曲的图像平面。
在图像中表示至少一个虚拟的、拉长距离标记,通过该距离标记,在环境区域中的位置与机动车辆之间的距离在虚拟碗形中符号化。因此,图像的观察者能够更好地识别和估计由碗形弯曲表示的环境区域中的位置距离变得更简单。即使在图像中示出了该弯曲的表示,也可以直观地以改进的方式识别环境区域中特定位置到机动车辆的真实距离,并且因此也可以以改进的方式估计彼此之间的位置。
由于在具有碗形的图像中彼此之间的位置距离和/或到机动车辆的位置之间的距离与图像中的环境区域的平面表示中的不同,所以至少一个虚拟拉长距离标记的显示对于该图像的观察者也非常有帮助。
通过不仅表示一般的距离标记、诸如例如点,而且表示拉长距离标记,到机动车辆的距离也更广泛,甚至更容易理解地用这样的线来符号化。通过这种拉长距离标记,还表示了非常精细和虚拟的元素,这不需要图像的广泛覆盖,特别是在这种弯曲的图像表示中,因为它是由碗形出现的,所以更准确的关联是不可能的,但是在这种情况下,非常精细的虚拟元素被示出,特别是重叠的,从而避免了图像的广泛的不希望的覆盖,特别是在弯曲的区域。通过在机动车辆(特别是机动车辆的外侧)和拉长距离标记的位置之间实现一定的距离范围或距离区,也可以有利地识别该拉长距离标记上的多个位置到机动车辆的距离。具体而言,然后可以认识到,该拉长距离标记上的多个位置都与机动车辆、特别是与机动车辆的相关外侧具有相同或基本相同的真实距离。
优选地,该拉长距离标记平行于或基本平行于机动车辆延伸,特别是平行于机动车辆的外侧。因此,上述优点再次得到改善。有利地,可以独立于在车辆的环境区域中的图像中存在和显示的特定对象来表示距离标记。因此,基本上不需要在环境区域中识别特定对象并在图像中表示,然后在对象处或对象上具体表示该距离标记,然后显示该对象到机动车辆的距离。具体而言,只有图像的碗形的测量比例或映射受到虚拟拉长距离标记的影响,也独立于环境区域中的特定对象,以能够在该弯曲的图像表示中获得对位置和到机动车辆的距离的改善的感觉。
可以提供的是,这种拉长距离标记的长度由用户手动预设。特别地,还可以手动预设到机动车辆的距离实际上由这种虚拟距离标记来指示。因此,用户可以例如执行输入,通过该输入,他预设距离标记的长度和/或由拉长距离标记表示的与机动车辆的距离。
多个这样的虚拟拉长距离标记也可以在图像中表示。它们可以一个接一个地布置,也可以一个接一个地排成一排。这些距离标记也可以至少部分地彼此平行延伸。
然而,类似地,这种拉长距离标记也可能自动显示在图像上。因此,这种距离标记的长度也可以在该情况下自动预设和显示。也可以自动选择要被符号化地表示的、环境区域中的位置到机动车辆的距离。自动选择和表示可以根据表征机动车辆操作状态的参数来实现。附加地或替代地,可以根据环境区域的配置来实现这种自动选择。因此,在这种情况下,可以考虑环境区域中的对象的数量和/或类型和/或位置,以决定在哪里、多长时间以及以何种方式生成这种至少一个虚拟拉长距离标记,并据此进行表示。例如,在环境条件下,许多这样的对象位于机动车辆的环境区域中,因此机动车辆相对靠近且相邻地被多个对象包围,可以实现拉长距离标记的这种选择和显示。例如,在通过狭窄处和/或在停车操作中可能是这种情况。
在有利的实施方式中,机动车辆的至少一个真实尺寸被预设为已知,并且根据该已知尺寸确定图像中的拉长距离标记的至少一个位置,该拉长距离标记符号化在图像中相对于图像中机动车辆的表示的真实距离。这意味着,相对于正确的距离显示,该拉长距离标记依赖于机动车辆的部分部件的已知和存储的尺寸,特别是长度和/或宽度和/或高度的尺寸。由于这些尺寸是已知的,并且在这种情况下实质上是不变的,所以它们总是作为重要的度量来呈现。在这种情况下,可以在图像中确定该部件的局部较小的图像度量,并且该度量可以与真实度量相关联。据此,人们实质上获得了在这种情况下的比例、图像中的该部件的尺寸或机动车辆的局部区域尺寸、以及该度量在图像中对应的真实尺寸。据此,可以再次确定在该图像中的到机动车辆的距离,该距离又对应于真实环境或真实环境区域中的真实距离。由此,可以以非常简单但精确的方式确定拉长距离标记,并在图像中显示非常准确的位置。
有利地,校准真实相机,并且根据校准确定图像中距离标记的至少一个位置,该距离标记符号化图像中相对于图像中机动车辆的表示的真实距离。这种替代配置还允许以相对简单但精确的方式正确地表示图像中的距离,并且显示相对于机动车辆在图像中的位置如此精确的拉长距离标记。
当校准相机时,在环境中的位置到机动车辆到相机的世界的至少一个真实距离之间、并且因此分别到像素场中的像素的位置的至少一个真实距离之间的、特别是数学的关系被创建。测量校准相机的内在和外在参数,例如镜头畸变、相机位置及其旋转,并用物理模型计算它们。校准后计算一系列参数。这些参数存储在存储器中。参数可以变化和适应。
在有利的实施方式中,提供了仅根据机动车辆的至少一个尺寸并且仅根据相机的校准来确定图像中距离标记的至少一个位置,该距离标记符号化图像中相对于图像中的机动车辆的表示的真实距离。这是一种非常有利的实施方式,在这里非常简单和快速地允许非常准确地确定这种拉长距离标记。在这种情况下,不需要进一步的信息。特别地,因此不再需要考虑实际确定距离的机动车辆上的传感器的信息。在这种情况下,例如不再需要使用机动车辆的超声波传感器的信息来测量这方面的距离,然后将其显示在图像中。因此,节省了相当多的计算工作,并且显示的准确度仍然非常高。
优选地,拉长距离标记被表示为线。该线可以显示为实线或虚线或点划线等。在这方面,显示器也可以变化。
在有利的实施方式中,提供的是,拉长距离标记被表示为周向闭合,这意味着拉长距离标记被显示为机动车辆周围的闭合框架或闭合边界。这是一种非常有利的实施方式,因为即使在这方面具有环境区域的弯曲的视角表示,观察者也可以简单且快速地识别它,在该环境区域中,机动车辆周围的位置存在相同的距离。特别是在虚拟相机的视角中,其不是从顶部居中显示的,因此不是作为鸟瞰视角,在这方面,对于观察者来说,距离估计会出现进一步的不确定性。尤其是然后,为了能够在三维立体图中、也位于机动车辆周围的所有位置的这些倾斜的视角中识别,其中存在与机动车辆周向距离相等的区或区域,这是非常有利的实施方式。因此,利用这种周向距离标记,周向距离区域或距离区也限定在该距离标记和机动车辆之间。
在有利的实施方式中,因此提供的是,拉长距离标记被生成为完全包围机动车辆的线。
在另一个有利的实施方式中,提供的是,显示至少两个分离的距离标记,每个距离标记符号化单独的真实距离。这些距离标记可以在颜色和/或结构上表示为不同。因此,它们可以被非常简单和快速地识别,并且由此分别被符号化的距离也可以被直观地感知。由此可以避免观察者的错误解释。
附加地或替代地,可以提供的是,至少一个距离标记具有动态显示,例如可以闪烁和/或可以增加和减少其亮度和/或可以变化其颜色配置。如果要表示一个限制距离、特别是表示机动车辆到例如环境区域中的一个对象的临界位置情况的限制距离,这尤其可以实现。
可以提供的是,至少两个分开的距离标记都在图像中显示为机动车辆的周向线。由此,多个识别的距离区的交错布置、特别是完全围绕机动车辆延伸、被实质上符号化。
可以提供的是,至少一个距离标记在图像中被表示为覆盖。
在另一个有利的实施方式中,可以提供的是,距离标记在图像中的位置和/或几何形状根据虚拟相机的视角的变化而共同变化。因此,分别新出现的和将要被表示的距离的表示实质上是实时虚拟地允许的。因此,观察者还可以立即识别到,环境区域中的位置到机动车辆的特定距离随着视角的变化而变化。
可以提供的是,距离标记的表示的类型可以由用户设置。这可以涉及这种拉长距离标记的颜色表示和/或长度和/或宽度。但是,它也可以与其他调整设置相关。具体而言,还可以输入时间点和/或用户期望这种显示的距离标记的环境情况和/或驾驶情况。当然,这些方面也可以在替代实施方式中自动实现。此外,可以提供的是,在距离标记的自动选择和显示中,用户在显示之前被通知这种显示将被实现,其中他然后也可以仅例如通过启动来开始实际显示。
在另一个有利的实施方式中,可以提供的是,除了符号化距离的拉长距离标记的表示之外,距离的值以及因此的数值被表示在图像上。由此,不仅如此表示拉长距离标记,而且还另外显示该距离标记表示的实际距离的信息。附加地或替代地,还可以提供的是,除了符号化距离的拉长距离标记的表示之外,还表示箭头,该箭头显示拉长距离标记的位置和机动车辆之间的部分,在拉长距离标记的位置和机动车辆之间存在距离。因此,准确度再次增加,因为这里的点基本上由箭头标记,在这些点之间实际上存在相应的距离,实质上垂直于机动车辆的外侧并且垂直于拉长距离标记,该标记显示为平行于或基本平行于机动车辆的外侧延伸。由此可以再次提高由碗形表示产生的弯曲的图像中的距离的准确度和直观理解。
优选地,可以提供的是,图像被表示为机动车辆和环境区域的2D俯视图。在进一步有利的实施方式中,提供的是,图像被表示为3D视图。
可以提供的是,图像被显示在触敏显示单元上。
然后,可以特别提供的是,用户可以通过触摸显示单元上的距离标记来手动移动已经显示的拉长距离标记,使得另一个距离由此由当时新定位的距离标记单独符号化地显示。因此,用户个人设置更加可变和充分可能。
类似地,可以输入期望距离的值,特别是也可以通过用户的语音输入来输入,并且相关联的拉长距离标记可以在图像中自动在位置中准确显示。
本发明的另一个独立方面涉及一种用于在图像中表示机动车辆的环境区域的方法。在该方法中,通过机动车辆的多个真实相机来执行捕获环境区域的真实图像。该图像是从这些真实图像生成的,这些真实图像至少部分地表示了环境区域。该图像是从布置在环境区域中的虚拟相机的视角来表示的。在图像中表示至少一个虚拟的拉长距离标记,通过该标记在图像中符号化到机动车辆的距离。机动车辆的至少一个真实尺寸被预设为已知,并且根据该已知尺寸确定图像中距离标记的至少一个位置,该距离标记符号化图像中相对于图像中机动车辆的表示的真实距离。附加地或替代地,可以提供校准真实相机,并且根据该校准或校准信息来确定图像中距离标记的至少一个位置,该距离标记符号化图像中相对于图像中机动车辆的表示的真实距离。
因此,也可以实现上述优点。与用于在图像中表示机动车辆的环境区域的方法相关的上述第一独立方面的实现被认为是该另一独立方面的有利实现。
本发明的一个方面涉及一种计算机程序产品,其被形成用于当计算机程序产品在可编程计
算机设备上执行时执行根据本发明的方法。
本发明的一个方面涉及一种具有评估单元、显示单元和至少一个真实相机的显示***,其中该显示***适于执行根据本发明的方法。评估单元可以例如集成在真实相机和/或显示单元中,或者作为分离的单元存在。
本发明的一个方面涉及一种机动车辆,特别是承用车,包括根据本发明的显示***或其有利的实施方式。
针对该方法及其优点提出的优选实施例相应地适用于计算机程序产品、适用于显示***以及适用于机动车辆。
通过“顶部”、“底部”、“前部”、“后部”、“水平”、“垂直”、“深度方向”、“宽度方向”、“高度方向”等的指示,指定了虚拟相机或真实相机或移动车辆的预期用途和预期布置的位置和方位。
从权利要求、附图和附图描述中,本发明的进一步特征是显而易见的。以上描述中提到的特征和特征组合以及以下附图描述中提到的和/或单独在附图中示出的特征和特征组合不仅可用于各自指定的组合,而且可用于其他组合,而不脱离本发明的范围。因此,实施方式也被认为是由本发明所包含和公开的,这些实施方式没有在附图中明确示出和解释,而是从所解释的实施方式的分离的特征组合中产生并能够由这些特征组合产生。实施方式和特征组合也被认为是公开的,因此不包括最初制定的独立权利要求的所有特征。此外,实施方式和特征组合应被认为是公开的,特别是由上述实施方式公开的,这些实施方式超出或偏离权利要求关系中所述的特征组合。
附图说明
下面,基于示意图更详细地解释本发明的实施例。
这里示出:
图1是具有显示***的实施例的机动车辆的实施例的示意性俯视图;
图2是机动车辆环境区域中虚拟相机的虚拟布置的示意图;
图3是虚拟相机的特定视角中碗形图像的表示;
图4是示意图,其中虚拟相机直接设置在机动车辆上方,并且图像作为鸟瞰图生成;
图5是由虚拟相机根据图4中的位置生成的作为鸟瞰视角的图像的表示,其中在该图像中表示了多个拉长距离标记;和
图6是图像的另一个实施例的表示,其中用符号化距离的附加数值和附加箭头来表示多个拉长距离标记。
在附图中,相同或功能相同的元件被提供有相同的附图标记。
具体实施方式
在图1中,示意性地示出了根据本发明实施例的具有显示***2的机动车辆1的俯视图。在该实施例中,显示***2包括评估单元3和显示单元4。此外,在该实施例中,显示***2包括第一真实相机5、第二真实相机6、第三真实相机7和第四真实相机8。根据该实施例,第一真实相机5设置在机动车辆1的前部9,第二真实相机6设置在机动车辆1的右部10,第三真实相机7设置在机动车辆1的后部11,并且第四真实相机8设置在机动车辆1的左部12。然而,真实相机5、6、7、8的布置是多种可能的,然而,优选地,使得机动车辆1和/或机动车辆1的环境区域13能够至少部分地被捕获。
特别地,真实相机5、6、7、8具有宽的拍摄范围,例如可以大于180°。例如,可以通过真实相机5、6、7、8的物镜的鱼眼透镜来提供宽的捕获范围。因此,显示***2可以例如形成为环境视觉***(CMS-camera monitoring system(相机监控***))或电子后视镜,或者形成为机动车辆的另外的驾驶员辅助***,其中环境区域13至少部分地被捕获。
真实相机5、6、7、8可以是CMOS(complementary metal-oxide semi-conductor,互补金属氧化物半导体)相机或CCD(电荷耦合器件)相机或其他图像捕获设备,其可以提供环境区域13和/或机动车辆1的帧。真实相机5、6、7、8尤其是视频相机,它们连续地提供帧的图像序列。然后,评估单元3例如实时处理帧的图像序列。评估单元3可以例如设置在相应的真实相机5、6、7、8内或者显示单元4内。然而,评估单元3也可以设置在相应的相机5、6、7、8或显示单元4之外的机动车辆1内的任何其他位置,并且因此形成为与真实相机5、6、7、8和显示单元4分离的单元。
例如,显示单元4可以形成为液晶显示器(liquid crystal display,LCD)。显示单元4可以不同地设置在机动车辆1中,然而,优选地,使得机动车辆1的用户可以无阻碍地看到显示单元4。
多个真实图像由真实相机5、6、7、8捕获。真实图像至少部分地从相应真实相机5、6、7、8的视角示出了环境区域13。优选地,捕获的真实图像至少部分重叠。
图2示出了机动车辆1的环境区域13中虚拟相机14的虚拟布置。虚拟相机14可以不同地布置在环境区域13中。优选地,虚拟相机14被布置在(特别是图像的碗形的)预设的虚拟相机位置15。根据虚拟相机14的相应虚拟相机位置15及其方位,确定虚拟相机14对环境区域13和/或机动车辆1的视角。虚拟相机14的视角例如可以分别在实时和预定的计算时间内进行调整。
在图3中,示出了图像16,因为它可以在机动车辆1的显示单元4上表示。图像16从真实相机5、6、7和8的多个真实图像生成。在图3中,从虚拟相机14的相机位置15a表示环境区域13。因此,该视角从机动车辆1的顶部和后方指向前方。这里,图像16特别是弯曲的,因此表现为图2所示的碗形,其中机动车辆1表现为碗形的中心和碗形的底部17。在图像16中,表示了第一虚拟拉长距离标记18。它符号化环境区域13中的位置到机动车辆1的真实距离。这里,距离标记18被表示为线,具体地被表示为围绕机动车辆1延伸的完全封闭的线。因此,它符号化围绕机动车辆1延伸的相同距离或至少基本相同的距离。优选地,该拉长距离标记18显示为图像16上的覆盖。因此,通过该拉长距离标记18,还形成了距离区或距离范围的边界或界限,该边界或界限围绕机动车辆1出现并且完全是周向的。通过该第一距离标记18,符号化地确定了到机动车辆1外侧的一致或基本一致的距离。
这里,在该实施例中,200mm的距离特别由该第一距离标记18显示。如在图3的表示中显而易见的,第一距离标记18也由于该三维表示中的单独视角而被相应地绘制,此外,该三维表示还具有碗形,因此是弯曲的表示。因此,虽然实际上虚拟地表示到机动车辆1的周向总是相同的距离,但是在虚拟图像16中产生了到机动车辆1的外侧的不同的虚拟距离。
在该实施例中,提供的是,与第一距离标记18分离的第二拉长距离标记19被表示为在图3的图像16中的虚拟距离标记。它符号化大于第一距离的第二距离,其中第一距离由第一距离标记18符号化地表示。该第二距离标记19在所示实施例中也形成为线,该线在此被特别表示并围绕机动车辆1的完全周向封闭地画出。
此外,优选地,在所示实施例中,在图像16中绘制第三个、另外的虚拟的和分离的距离标记20。它再次大于第一距离标记18和19,并因此以比距离标记18和19更大的相关距离包围机动车辆1。通过另外的距离标记20,其也被画成线形并且优选地完全围绕机动车辆1延伸,符号化第三距离,在此例如为600mm。具体地,由第二距离标记19符号化地表示的真实距离是到机动车辆1的相应外侧位置的40mm。
可以提供的是,相对于机动车辆1在环境区域的底部确定距离标记。然而,环境区域13中的位置到机动车辆1的距离也可以在与环境区域13的底部隔开的特定高度中确定。
在有利的实施方式中,可以提供的是,可以由用户手动选择或自动预设要显示的真实距离是要被确定并显示在环境区域13中的位于环境区域13的底部到机动车辆1的位置上、还是要被确定并显示在一定的高度上。
通过虚拟的拉长距离标记18、19、20,在该弯曲的表示的图像16中符号化地指示了环境区域13中的位置到机动车辆1、特别是到机动车辆1的外侧的真实距离。
特别地,机动车辆1的至少一个真实尺寸被预设为已知。根据该至少一个已知的尺寸,确定该图像16中距离标记18、19、20的位置,这些标记符号化图像16中相对于图像中的机动车辆1的表示的真实距离。这意味着使用已知的真实尺寸,并且在图像16中确定该真实尺寸的度量。根据图像16中的这个度量,环境区域13中的真实距离然后被转换或缩放为图像16中的这个虚构虚拟距离。这意味着例如从第一距离标记18到机动车辆1的一个外侧的距离表示被缩放到该图像中机动车辆1的尺寸。因此,距离标记18在图像16中的该位置的确定有利地仅通过将机动车辆1的真实尺寸作为基础来实现,该真实尺寸然后被用于图像16中的转换,和/或距离标记18在图像16中的该位置的确定有利地仅依赖于真实相机5、6、7、8的校准并因此基于该校准信息来实现。优选地,仅这两种可能性中的至少一种,但是最大程度地这两种可能性,优选地分别用于确定和计算距离标记在图像16中相对于机动车辆1的位置。
不使用进一步的信息,该信息例如可以通过机动车辆1上的距离确定传感器来获得。因此,超声波传感器或雷达传感器或激光雷达传感器的信息尤其没有被考虑。因此,图像16中的虚拟距离标记18、19、20的这种表示的确定是非常简单但又非常准确地允许的。
再次提及的是,图3中示出的虚拟相机14的视角仅被示例性地理解,并且非常多样的其他相机位置15、15a以及因此非常多样的其他视角是允许的。据此,然后再次产生至少一个距离标记18、19、20的不同视角显示的表示和位置。
在图4中,虚拟相机14的位置以非常简化的表示示出,其中这里生成鸟瞰视角。在该实施方式中,然后生成图像16,如图5中示例性示出的。这里也再次示出了示例性的距离标记18、19和20。与图3相比,在这里,距离标记也是线形配置的,其优选地完全围绕机动车辆1延伸。这里,它们示例性地不显示为实线,而是显示为点线或点划线或虚线。此外,在这里,在有利的实施方式中,也可以在图3中实现,提供的是,除了指示特定距离值的线之外,在图像16上还显示特定数值18a,19a和20a。优选地,还显示测量单位。
另外或替代地,距离标记18、19和20也可以具有不同的颜色,使得它们也可以在这方面有所区别。它们可以静态显示,也可以动态显示。此外,它们可以可选地闪烁和/或变化颜色和/或变化颜色表示的亮度。
在图6中,在另一个实施例中示出了图像16,其优选地表示为碗形的鸟瞰视角。与图5相比,这里提供的是,拉长距离标记18仅被表示为部分地围绕机动车辆1延伸。这里,仅表示为平行于或基本平行于机动车辆1的右部外侧,因此平行于乘客侧。这里,具有特定测量单位的特定数值18a也附加地再次显示在图像16上。此外,在有利的实施方式中还显示了箭头18b,其在机动车辆1的另一侧和距离标记18之间延伸。因此,这里显示了特定的位置,在这些位置之间的、在图像16中被符号化地表示的真实距离将被理解。同样也提供有另一个距离标记19,其中特定数值19a和箭头19b在这里也优选地附加显示。图5和图6中的表示也可以在三维视图中表示,如图3中相应所示。这里也可以提供该虚拟相机14可以定位在其中的非常不同的虚拟相机位置15、15a。距离标记18、19和20的表示可以根据虚拟相机14的视角的变化和/或根据环境区域13的变化和/或根据机动车辆1的操作状态的变化而变化,特别是也以动态方式变化。特定数值18a、19a、20a和/或箭头18b、19b的显示也可以根据这些提及的参数和/或影响因素来实现,特别是也可以动态方式实现显示。特别是通过手动输入,特别是经由显示***2的操作单元,距离标记18、19、20的数量和/或类型尤其可以由用户手动设置。在这种情况下,如果数值18a、19a、20a和/或箭头18b和/或19b也被实质地显示,也可以由用户单独设置。
为了确定距离标记、特别是关于图像16中与到机动车辆1的真实距离的表示相关的缩放位置,在有利的实施方式中不需要表征机动车辆1的操作状态的信息,诸如车速和/或转向角。
Claims (14)
1.一种用于在图像(16)中表示机动车辆(1)的环境区域(13)的方法,其中环境区域(13)的真实图像由机动车辆(1)的多个真实相机(5,6,7,8)捕获,并且图像(16)从这些真实图像中生成,其至少部分地表示环境区域(13),其中图像(16)从布置在环境区域(13)中的虚拟相机(14)的视角来表示,并且图像(16)被生成为碗形,
其特征在于
在图像(16)中表示至少一个虚拟拉长距离标记(18,19,20),通过所述标记,到机动车辆(1)的距离在虚拟碗形中符号化,其中
将机动车辆(1)的至少一个真实尺寸预设为已知,并根据已知尺寸来确定符号化相对于图像(16)中的机动车辆(1)的表示的真实距离的、图像(16)中的距离标记(18,19,20)的至少一个位置。
2.根据权利要求1所述的方法,
其特征在于
校准所述真实相机(5,6,7,8),并且根据所述校准来确定符号化相对于图像(6)中的机动车辆(1)的表示的真实距离的、图像(16)中的距离标记(18,19,20)的至少一个位置。
3.根据权利要求1和2所述的方法,
其特征在于
仅根据机动车辆(1)的至少一个尺寸并且仅根据校准来确定符号化图像(16)中相对于图像(16)中机动车辆(1)的表示的真实距离的、图像(16)中的距离标记(18,19,20)的至少一个位置。
4.根据前述权利要求中任一项所述的方法,其特征在于
距离标记(18,19,20)被生成为图像(16)中的线,其被表示为至少在某些区域中平行于或至少基本平行于机动车辆(1)的外侧延伸。
5.根据权利要求4所述的方法,
其特征在于
所述距离标记(18,19,20)被生成为完全包围机动车辆(1)的线。
6.根据前述权利要求中任一项所述的方法,
其特征在于
在图像(16)中表示至少两个分离的距离标记(18,19,20),每个距离标记符号化单独的距离,其中所述距离标记(18,19,20)在颜色和/或结构上表示为不同。
7.根据前述权利要求中任一项所述的方法,
其特征在于
所述至少一个距离标记(18,19,20)被表示为图像(16)中的覆盖。
8.根据前述权利要求中任一项所述的方法,
其特征在于
所述图像(16)中的所述距离标记(18,19,20)的位置和/或几何形状根据虚拟相机(14)的视角的变化而共同变化。
9.根据前述权利要求中任一项所述的方法,
其特征在于
所述距离标记(18,19,20)的表示的类型可以由用户设置。
10.根据前述权利要求中任一项所述的方法,
其特征在于
除了符号化所述距离的拉长距离标记(18,19,20)的表示之外,还表示图像(16)中的距离值(18a,19a,20a)和/或箭头(18b,19b),所述箭头符号化拉长距离标记(18,19,20)与机动车辆(1)的位置之间的部分,在所述拉长距离标记(18,19,20)与机动车辆(1)的位置之间存在距离。
11.根据前述权利要求中任一项所述的方法,
其特征在于
所述图像(16)被表示为机动车辆(1)和环境区域(13)的2D俯视图。
12.根据前述权利要求中任一项所述的方法,
其特征在于
所述图像(16)被表示为3D视图。
13.一种计算机程序产品,当所述计算机程序产品在可编程计算机设备上执行时,用于执行根据前述权利要求中的任一项所述的方法。
14.一种用于机动车辆(1)的显示***(2),具有评估单元(2)、显示单元(4)和多个真实相机(5,6,7,8),所述显示***(2)被形成为执行根据权利要求1至12中任一项所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018102047.3 | 2018-01-30 | ||
DE102018102047.3A DE102018102047A1 (de) | 2018-01-30 | 2018-01-30 | Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem |
PCT/EP2019/050583 WO2019149497A1 (en) | 2018-01-30 | 2019-01-10 | Method for representing an environmental region of a motor vehicle with virtual, elongated distance markers in an image, computer program product as well as display system |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111902845A true CN111902845A (zh) | 2020-11-06 |
CN111902845B CN111902845B (zh) | 2024-07-19 |
Family
ID=65138958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980010735.3A Active CN111902845B (zh) | 2018-01-30 | 2019-01-10 | 用图像中虚拟的、拉长距离标记来表示机动车辆的环境区域的方法、计算机程序产品以及显示*** |
Country Status (7)
Country | Link |
---|---|
US (1) | US11816787B2 (zh) |
EP (1) | EP3746987A1 (zh) |
JP (1) | JP7341149B2 (zh) |
KR (2) | KR20200116135A (zh) |
CN (1) | CN111902845B (zh) |
DE (1) | DE102018102047A1 (zh) |
WO (1) | WO2019149497A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018100211A1 (de) * | 2018-01-08 | 2019-07-11 | Connaught Electronics Ltd. | Verfahren zum Erzeugen einer Darstellung einer Umgebung durch Verschieben einer virtuellen Kamera in Richtung eines Innenspiegels eines Fahrzeugs; sowie Kameraeinrichtung |
JP6964276B2 (ja) | 2018-03-07 | 2021-11-10 | パナソニックIpマネジメント株式会社 | 表示制御装置、車両周辺表示システムおよびコンピュータプログラム |
DE102022124085A1 (de) | 2022-09-20 | 2024-03-21 | Connaught Electronics Ltd. | Darstellung von Bilddaten in einem Fahrzeug abhängig von Sensordaten |
DE102022125774A1 (de) | 2022-10-06 | 2024-04-11 | Connaught Electronics Ltd. | Anzeigen von Bilddaten in einem Fahrzeug mit sich verändernder Projektionsfläche |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1460375A (zh) * | 2001-03-29 | 2003-12-03 | 松下电器产业株式会社 | 后视***的图像显示方法和装置 |
JP2012001126A (ja) * | 2010-06-18 | 2012-01-05 | Clarion Co Ltd | 車両用周辺監視装置 |
US20160286170A1 (en) * | 2015-03-26 | 2016-09-29 | Mando Corporation | Surround view system for a vehicle |
CN106575432A (zh) * | 2014-09-17 | 2017-04-19 | 英特尔公司 | 碗形成像***中的对象可视化 |
CN107615757A (zh) * | 2015-05-29 | 2018-01-19 | 日产自动车株式会社 | 信息呈现*** |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3522317B2 (ja) | 1993-12-27 | 2004-04-26 | 富士重工業株式会社 | 車輌用走行案内装置 |
JP2003023623A (ja) | 2001-07-06 | 2003-01-24 | Sharp Corp | 車両用周辺モニタ装置 |
JP5057936B2 (ja) * | 2007-11-09 | 2012-10-24 | アルパイン株式会社 | 鳥瞰画像生成装置および方法 |
EP2285109B1 (en) | 2008-05-29 | 2018-11-28 | Fujitsu Limited | Vehicle image processor, and vehicle image processing system |
EP2511137B1 (en) * | 2011-04-14 | 2019-03-27 | Harman Becker Automotive Systems GmbH | Vehicle Surround View System |
JP5941663B2 (ja) * | 2011-11-30 | 2016-06-29 | 住友建機株式会社 | 建設機械用モニタシステム |
EP2620917B1 (en) * | 2012-01-30 | 2019-08-28 | Harman Becker Automotive Systems GmbH | Viewing system and method for displaying an environment of a vehicle |
JP5911775B2 (ja) * | 2012-08-21 | 2016-04-27 | 富士通テン株式会社 | 画像生成装置、画像表示システム及び画像生成方法 |
TWI578271B (zh) * | 2012-10-23 | 2017-04-11 | 義晶科技股份有限公司 | 動態影像處理方法以及動態影像處理系統 |
DE102013013364A1 (de) | 2013-08-09 | 2014-03-06 | Daimler Ag | Verfahren zum verzerrungsarmen Abbilden einer Fahrzeugumgebung auf einem Fahrzeug-Display |
CN105765966B (zh) | 2013-12-19 | 2020-07-10 | 英特尔公司 | 碗形成像*** |
JP5776995B2 (ja) * | 2014-03-11 | 2015-09-09 | クラリオン株式会社 | 車両用周辺監視装置 |
JP2016063390A (ja) | 2014-09-18 | 2016-04-25 | 富士通テン株式会社 | 画像処理装置、及び画像表示システム |
JP6575445B2 (ja) * | 2015-09-30 | 2019-09-18 | アイシン精機株式会社 | 車両用画像処理装置 |
US10262466B2 (en) * | 2015-10-14 | 2019-04-16 | Qualcomm Incorporated | Systems and methods for adjusting a combined image visualization based on depth information |
WO2017141256A1 (en) * | 2016-02-21 | 2017-08-24 | Hi-Park Solutions Ltd. | Method and system for dynamically mapping items |
US10922559B2 (en) * | 2016-03-25 | 2021-02-16 | Bendix Commercial Vehicle Systems Llc | Automatic surround view homography matrix adjustment, and system and method for calibration thereof |
JP6211157B1 (ja) * | 2016-09-01 | 2017-10-11 | 三菱電機株式会社 | キャリブレーション装置およびキャリブレーション方法 |
EP3510562A1 (en) * | 2016-09-07 | 2019-07-17 | Starship Technologies OÜ | Method and system for calibrating multiple cameras |
JP7106846B2 (ja) * | 2017-11-24 | 2022-07-27 | 株式会社アイシン | 周辺監視装置 |
EP3576010A1 (en) * | 2018-05-31 | 2019-12-04 | KPIT Technologies Ltd. | System and method for detection of free parking space for a vehicle |
JP7208356B2 (ja) * | 2018-09-26 | 2023-01-18 | コーヒレント・ロジックス・インコーポレーテッド | 任意の世界ビューの生成 |
CN110232716A (zh) * | 2019-05-31 | 2019-09-13 | 深圳市道通智能航空技术有限公司 | 一种相机标定方法、装置和电子设备 |
US11593996B2 (en) * | 2021-02-09 | 2023-02-28 | Waymo Llc | Synthesizing three-dimensional visualizations from perspectives of onboard sensors of autonomous vehicles |
-
2018
- 2018-01-30 DE DE102018102047.3A patent/DE102018102047A1/de active Pending
-
2019
- 2019-01-10 KR KR1020207024792A patent/KR20200116135A/ko not_active IP Right Cessation
- 2019-01-10 US US16/965,167 patent/US11816787B2/en active Active
- 2019-01-10 JP JP2020541759A patent/JP7341149B2/ja active Active
- 2019-01-10 KR KR1020237016329A patent/KR102653816B1/ko active IP Right Grant
- 2019-01-10 WO PCT/EP2019/050583 patent/WO2019149497A1/en unknown
- 2019-01-10 CN CN201980010735.3A patent/CN111902845B/zh active Active
- 2019-01-10 EP EP19701157.0A patent/EP3746987A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1460375A (zh) * | 2001-03-29 | 2003-12-03 | 松下电器产业株式会社 | 后视***的图像显示方法和装置 |
JP2012001126A (ja) * | 2010-06-18 | 2012-01-05 | Clarion Co Ltd | 車両用周辺監視装置 |
CN106575432A (zh) * | 2014-09-17 | 2017-04-19 | 英特尔公司 | 碗形成像***中的对象可视化 |
US20160286170A1 (en) * | 2015-03-26 | 2016-09-29 | Mando Corporation | Surround view system for a vehicle |
CN107615757A (zh) * | 2015-05-29 | 2018-01-19 | 日产自动车株式会社 | 信息呈现*** |
Also Published As
Publication number | Publication date |
---|---|
US11816787B2 (en) | 2023-11-14 |
KR20230074291A (ko) | 2023-05-26 |
CN111902845B (zh) | 2024-07-19 |
WO2019149497A1 (en) | 2019-08-08 |
JP7341149B2 (ja) | 2023-09-08 |
JP2021513152A (ja) | 2021-05-20 |
DE102018102047A1 (de) | 2019-08-01 |
KR102653816B1 (ko) | 2024-04-01 |
EP3746987A1 (en) | 2020-12-09 |
US20210125401A1 (en) | 2021-04-29 |
KR20200116135A (ko) | 2020-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111902845B (zh) | 用图像中虚拟的、拉长距离标记来表示机动车辆的环境区域的方法、计算机程序产品以及显示*** | |
US10290080B2 (en) | Method for displaying a vehicle environment of a vehicle | |
US8947533B2 (en) | Parameter determining device, parameter determining system, parameter determining method, and recording medium | |
US20130321629A1 (en) | Dynamic guideline overlay with image cropping | |
CN109961483B (zh) | 汽车及单目摄像头的标定方法、*** | |
EP3534109B1 (en) | Depth measuring method and system | |
US20130242101A1 (en) | Method and Device for Representing Obstacles in a Parking Assistance System of Motor Vehicles | |
US20130322697A1 (en) | Speed Calculation of a Moving Object based on Image Data | |
KR20110120301A (ko) | 차량 탑재 카메라의 교정에 사용할 수 있는 교정 지표와, 교정 지표를 사용한 차량 탑재 카메라의 교정 방법, 및 교정 지표를 사용한 차량 탑재 카메라의 교정 장치를 위한 프로그램 | |
JP4914365B2 (ja) | 見通し距離測定装置 | |
CN112489136B (zh) | 标定方法、位置确定方法、装置、电子设备及存储介质 | |
US11562576B2 (en) | Dynamic adjustment of augmented reality image | |
US9802539B2 (en) | Distance and direction estimation of a target point from a vehicle using monocular video camera | |
CN111091494A (zh) | 影像拼接处理方法以及其*** | |
WO2018222122A1 (en) | Methods for perspective correction, computer program products and systems | |
CN114724104B (zh) | 一种视认距离检测的方法、装置、电子设备、***及介质 | |
CN109415020B (zh) | 辉度控制装置、辉度控制***以及辉度控制方法 | |
JP3666348B2 (ja) | 距離認識装置 | |
CN114919584A (zh) | 机动车定点目标测距方法、装置及计算机可读存储介质 | |
KR101697229B1 (ko) | 차량용 영상 정합을 위한 차선 정보 기반의 자동보정장치 및 그 방법 | |
CN117073988B (zh) | 抬头显示虚像距离测量***及方法、电子设备 | |
JP6841553B2 (ja) | 撮像装置 | |
CN107886472B (zh) | 全景泊车***的图像拼接校准方法和图像拼接校准装置 | |
CN116051652A (zh) | 一种参数标定方法及电子设备、存储介质 | |
CN112465920A (zh) | 一种视觉传感器标定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |