CN115968485A - 用于在显示装置上显示车辆环境的方法、处理单元和车辆 - Google Patents

Abstract

本发明涉及一种用于在显示装置(7)上显示车辆(1)的环境的方法，该方法至少具有以下步骤：‑利用至少两个摄像头采集环境，其中，各摄像头具有不同的视域，其中，相邻摄像头的视域重叠；‑由不同摄像头的至少两个单个图像创建全景图像(RB)，其中，单个图像投影到参考平面中以创建全景图像(RB)；‑通过三角测量法从同一摄像头的至少两个不同的单个图像获知环境中的至少一个对象(O)的深度信息；‑依赖于获知的深度信息来生成至少一个叠加结构(20)，其中，每个叠加结构(20)都唯一地配属给成像的对象(O)；‑在显示装置(7)上显现包含至少一个对象(O)和至少一个生成的叠加结构(20)的所创建的全景图像(RB)，使得至少一个叠加结构(20)在相应配属的对象(O)上显示和/或与相应配属的对象相邻地显示。

Description

用于在显示装置上显示车辆环境的方法、处理单元和车辆

技术领域

本发明涉及一种用于在显示装置上显示车辆尤其是商用车辆的环境的方法、用于执行所述方法的处理单元以及车辆。

背景技术

根据现有技术已知，由多个摄像头的单个图像创建全景图像并在显示装置上显现给乘员。为此已知的是，单个图像投影到参考平面上，例如车辆下方的水平平面，相应地旋转且由此创建组合的全景图像。这种方法的缺点是，以确定高度突出于参考平面的凸起的对象在全景图像中向后倾斜地显现，由此其尺寸比例失真。因而，观察者无法直观地在几何学方面解读这些对象。根据全景图像的定向由此变得困难。

这种影响可以被降至最小，其方式是，通过附加传感器获知所检测对象的高度，并且尺寸比例的失真利用附加的高度信息补偿。在这里缺点是，并非所有车辆中都存在这种附加的传感器和/或附加的传感器是昂贵的。此外，计算成本增加。

DE 10 2017 108 254 B4中示例性说明，创建由单个图像合成的图像并在显示器上显现。在此，单个图像分别由多个摄像头采集。通过两个或更多个图像的三角测量法可以关于对象、尤其是对象的定位获知深度信息。此外，可以在时段上跟踪对象。

根据DE 10 2015 105 248 A1规定，在两部分式的车辆上，在第一部分车辆上布置有第一摄像头，并且在第二部分车辆上布置有第二摄像头。第一摄像头的第一图像和第二摄像头的第二图像通过单应矩阵投影到底部平面或参考平面上，之后，第一图像和第二图像旋转，以便由此生成环境的组合图像。

在DE 100 35 223A1中说明，由多个单个图像创建整体图像或全景图像，并且在此，车辆本身作为人造图形对象或叠加结构投影到全景图像中。

在EP 3 293 700 B1中说明，由摄像头的多个单个图像通过运动恢复结构方法重建环境的部分，进而获知针对单个对象的深度信息。在此，获知质量量度，以获得环境的优化重建。通过多个摄像头或单个图像的组合，这也可以在全景中实施。

在DE 10 2018 100 909 A1中说明，通过运动恢复结构方法获得当前环境的重建并且在神经网络中归类或分类对象。

发明内容

由此出发，本发明的任务是说明一种用于在显示装置上显示车辆环境的方法，其可利用较少硬件成本和计算成本执行并且可实现使观察者在环境中简单定向。该任务还说明一种处理单元和车辆。

该任务通过根据权利要求1的方法以及根据其他独立权利要求的处理单元和车辆解决。从属权利要求说明优选的改进方案。

因而，根据本发明规定一种用于在显示装置上显示车辆环境的方法以及用于执行该方法的处理单元，该方法至少具有以下步骤：

首先，尤其在邻近区域中利用至少两个摄像头采集围绕车辆的环境，其中，各摄像头具有不同的视域，其中，相邻摄像头的视域至少局部地、尤其是在边沿侧重叠。接着，根据由此获知的单个图像创建全景图像，其中，每个单个图像由不同的摄像头几乎在同一时间点采集并且单个图像投影到参考平面中以创建全景图像，例如通过单应矩阵。

因此，单个图像不创建三维全景图像，而是创建在其中通过相应地组合单个图像作为二维投影显现环境的全景图像。由此，如果全景图像在显示装置上显示，则在摄像头相应布置和取向情况下可以实现鸟瞰环境。

在根据本发明的方法的另一步骤中，获知所采集的环境中的至少一个对象的深度信息，其中，深度信息通过三角测量法从同一摄像头的至少两个不同的单个图像，优选通过所谓的运动恢复结构方法获知，其中，至少一个对象优选从至少两个不同的视点在至少两个不同的单个图像中成像。因而针对获知深度信息不使用立体摄像头***。更确切地说，仅通过摄像头的单个图像的图像处理来获得环境的或对象的立体重建，由此可以推导出深度信息。

依赖于先前通过SfM方法获知的深度信息来生成至少一个叠加结构，其中，每个叠加结构唯一地配属给成像的对象。在另一步骤中，在显示装置上实现包含至少一个对象和至少一个生成的叠加结构的所创建的全景图像的显现，使得至少一个叠加结构在相应配属的对象上显示和/或与相应配属的对象相邻地显示。

因此，按照有利方式可以无需额外传感器，仅基于图像处理方法，尤其是运动恢复结构，在显示装置上显现叠加结构。其可在使用先前获知的深度信息的情况下有针对性地在显示装置上显现在其上也显现对象的定位或与该定位相邻地显现。即使在显示装置上在全景图像内无法直观地在几何学方面解读地显现相应的对象，叠加结构可以有助于根据全景图像来实现可靠的定向，这是因为叠加结构在显示装置上增强或强调关于对象的重要信息。由此可以至少补偿凸起的对象由于投影到参考平面中而在全景图像中产生的失真。

补充地，也可以通过显现叠加结构来克服该问题，即，两个相邻摄像头的单个图像的重叠区域中的对象经常“消失”或无法充分感知，这是因为这些对象在各自的摄像头视野中向后倾斜并且在全景图像中通常甚至不出现或至少无法充分感知。然而，在叠加结构中根据上述方法包含这种对象并且因而也显现在全景图像中。

为此优选规定，在显示装置上，条形和/或多边形和/或文本作为叠加结构在相应配属的对象上显示和/或与相应配属的对象相邻地显示。因而也可以显示简单结构作为叠加，它们足以用于强调对象以便定向。例如可以仅规定条形，其在显示装置上在相应配属的对象的外边沿上显示和/或与相应配属的对象的外边沿相邻地显示，其中，条形优选垂直于相应配属对象的对象法线，其中，对象法线可以从深度信息获得。在此，各自的对象的外边界被理解为外边沿，其中，条形或各自的叠加结构至少在离本车辆最近的外边沿或边界上叠加。由此可以在全景图像上通过条形识别出对象朝着本车辆的方向的边界。由此使得观察者可以明确看到，例如在停车或调度过程中，在不碰触对象的情况下本车辆可以被调度或定位直至空间中的哪个点。

补充或替选于条形地优选规定，多边形作为叠加结构如在显示装置上成像，使得多边形至少部分、优选完全跨越相应配属的对象。由此不仅可以向显示装置的观察者显示各自的对象朝本车辆的方向的边界，而且也可识别出对象的延展，从而更明显地在显示装置上强调对象。如果各自的对象的对象轮廓和/或对象形状通过SfM方法从环境重建中已知，则多边形也可以匹配于对象轮廓或对象形状。如果对象轮廓或对象形状未知，则例如假定矩形作为多边形，其覆盖各自的对象的在全景图像中成像的对象点。

优选还规定，至少一个叠加结构在显示装置上以预先确定的颜色显示或者以依赖于关于相应配属的对象所获知的深度信息的颜色显示。由此还可以通过颜色编码向观察者提供关于对象的空间特征的信息。在此优选规定，至少一个叠加结构的颜色依赖于车辆和相应配属的对象之间的对象间距，其中，对象间距从关于相应配属的对象所获知的深度信息获得。由此可以给在显示装置上远离本车辆的叠加结构赋予例如指示出较低危险的颜色，例如绿颜色。而在显示装置上靠近本车辆的叠加结构可以被赋予指示出较高危险的颜色，例如红颜色。在此，依赖于对象间距的任意色阶都是可行的。

优选还可以规定，各自的对象的叠加结构的颜色和/或类型依赖于配属给对象的运动指标，其中，运动指标表明，各自的对象是能够运动的，例如人或车辆，还是持久静止的，例如建筑物或路灯，其中，运动指标从关于相应配属的对象所获知的深度信息获得。由此可以在显示装置上补充性地强调：当由于全景图像上的失真而无法直接且明确地识别对象时，基于所显示的对象的潜在运动将会发生哪种附加危险。

优选可以规定，从深度信息获知相应配属的对象的对象轮廓和/或对象形状，并且借助深度学习算法通过与已知的对象轮廓和/或已知的对象形状的比较而从对象轮廓和/或对象形状推导出针对对象的运动指标。由此可以取消计算复杂的对象追踪，取而代之地使用存储在车辆中或通过相应的数据连接可由车辆访问的数据库中的已知对象的比较。

替选或补充地(为了可信度检查)然而也可以规定，在时段上(zeitlich)跟踪对象上的在单个图像中成像的对象点，以便推导出针对相关对象的运动指标。因刺，例如可以通过差异图像的形成来获知，单个图像像点在时段上的行为如何并且由此推断出对象的运动。

优选还可以规定，至少一个叠加结构在显示装置上不透明或至少部分透明地显示，从而至少一个叠加结构完全或至少部分地关于透明度在相应配属的对象上和/或与相应配属的对象相邻地覆盖全景图像。由此，各自的对象可以通过叠加结构被强调，然而观察者同时可以识别位于其后方的对象，以便必要时对会发生来自对象的何种危险自动进行可信度检查。有利地，叠加结构的透明度也可以类似于颜色编码依赖于关于对象的深度信息地确定。例如，与车辆具有较大对象间距的对象相比与车辆具有较小对象间距的对象能够以更高的透明度显示，由此更明显地强调更加相关的对象。

优选还规定，显示装置具有显示像素，其中，全景图像的全景图像点在显示装置的显示像素上显示，其中，包含在全景图像中的对象在对象像素上显现出，其中，对象像素是显示像素的子集，其中，分配给各自的对象的叠加结构在显示装置上在各自的对象像素上显示或者叠加和/或与各自的对象像素相邻地显示或者叠加。优选由此实现叠加结构的叠加，其方式是，在显示装置上将具有至少一个叠加结构的叠加图像叠加给具有至少一个对象的全景图像，使得分配给各自的对象的叠加结构在显示装置上在各自的对象像素上显示和/或与各自的对象像素相邻地显示。

因此，首先根据深度信息进行如下预处理，即，创建其中优选仅在如下定位处显现出叠加机构的叠加图像，对象全景图像中在这些定位上成像或与这些定位相邻地成像。通过加法或乘法或任意其他运算可以将这两个图像同时显示在显示装置上，以实现根据本发明的叠加。

替选或补充地然而也可以规定，全景图像自身包含至少一个叠加结构，其中，全景图像在对象在其上成像的全景图像点处被调整和/或与在对象在其上成像的全景图像点相邻地被调整，使得配属给各自的对象的叠加结构在显示装置上在各自的对象像素上显示和/或与各自的对象像素相邻地显示。显示装置在此情况下仅传输用于显现的图像，通过相应地“操纵”像点来预先相应地“提供”叠加结构，以便在该图像中显现出叠加结构。

优选还规定，在其中通过三角测量法获知深度信息的至少两个单个图像由同一摄像头从至少两个不同的视点采集，其中，深度信息通过三角测量法依赖于至少两个视点之间的底边长度来获知。由此可以确保在SfM方法范围内可靠地获知深度信息。在此优选可以规定，摄像头通过车辆自身的运动(即，车辆动态的改变)或者通过主动调整摄像头无车辆动态改变地引入到不同的视点。

优选规定，环境在全景范围内在全景图像中成像，其中，全景范围大于单个摄像头的视域，其中，全景范围的视角为360°，并且其中，全景图像由不同摄像头的至少两个几乎同时采集的单个图像组成。因而可以实现在当前时间点优选无间隙地成像出围绕车辆的整个环境以及叠加结构针对整个全景视域的叠加。

优选还可以规定，在显示装置上显现配属给车辆的等值线作为另外的叠加结构，其中，以相对于本车辆的车辆外侧的固定的等值间距显示出等值线。因此，车辆本身也可以被视为配属了叠加机构的对象，观察者可以根据这些叠加机构定向。在此，等值线的定位依赖于通过单个图像获知的空间信息。例如能够以1m的间隔围绕本车辆地显现出等值线。依赖于等值间距，叠加结构也可以利用色阶进行颜色编码，从而用红色显示靠近车辆的等值线并且用绿色显示远离车辆的等值线，而针对位于它们之间的等值线则利用相应的颜色渐变。等值线的透明度也可以依赖于等值间距地变化，从而使得观察者能以简单的方式识别相对于车辆的间距。

因此，其中执行根据本发明的方法的根据本发明车辆具有至少两个摄像头，其中，各摄像头具有不同的视域，其中，相邻摄像头的视域至少局部地尤其是在边沿侧重叠。车辆中还设置有显示装置以及根据本发明的处理单元，其中，显示装置被构造成显示包含至少一个对象和至少一个生成的叠加结构(作为全景图像的部分或独立的叠加图像)的所创建的全景图像，使得至少一个叠加结构在相应配属的对象上显示和/或与相应配属的对象相邻地显示。

在此优选规定，每个单个摄像头具有视角大于等于120°，尤其是大于等于170°的视域，其中，摄像头例如被设计成鱼眼摄像头，其布置在车辆的在从包括前侧、后侧或至少一个纵向侧的组中选出的至少两个侧上。利用这种布置方案，在相应的视角下可以实现几乎无间隙地采集环境，以便将其显现在鸟瞰图中。单个摄像头为此优选对准环境的邻近区域，也就是地面，以实现以鸟瞰图显现。

附图说明

以下结合实施例进一步阐述本发明。其中：

图1示出了用于执行根据本发明的方法的车辆的示意图；

图2示出了已采集的单个图像的细节图；

图2a示出了在唯一摄像头的两个单个图像内成像的对象的细节图；

图2b示出了根据图1的车辆内的显示装置的细节图；和

图3示出了在显示装置上显示的环境的细节图。

具体实施方案

图1示意性示出车辆1，尤其是商用车辆，其根据所示实施方式在前侧2a上(例如在车顶衬垫内)具有前置摄像头3a，并且在后侧2b上具有后部空间摄像头3b。此外，在车辆1的纵向侧2c上，例如在反光镜上布置侧向摄像头3c。也可以在车辆1内设置其他未示出的摄像头3，以检测环境U，尤其是检测邻近区域N(距离车辆1最远10m的环境)。

每个摄像头3都具有视域4，其中，前置摄像头3a的前方视域4a向前取向、后部空间摄像头3b的后部空间视域4b向后取向、侧向摄像头3c的侧向视域4c相对于车辆1的相应的侧取向。为了能够检测环境U的相关部分，尤其是邻近区域N，摄像头3朝向车辆1在其上运动的地面取向。

摄像头3的数量和定位优选如下选择，即，相邻摄像头3的视域4在邻近区域N内重叠，从而所有视域4一起可以无间隙且因而全面地覆盖邻近区域N。摄像头3为此可以分别例如被实施为鱼眼摄像头，它们分别以等于或大于170°的可见角度W覆盖视域4。

每个摄像头3分别发送图像信号SB，它们表征在视域4内的在各自的摄像头3的传感器上成像的环境U。图像信号SB被发送至处理单元6，其中，处理单元6被构造成根据每个摄像头3的图像信号SB生成单个图像EBk(连续脚标k)。在此，第k个单个图像EBk根据图2具有环境U在其上成像的数量为Ni的单个图像像点EBkPi(连续脚标i从0至Ni)。在此，根据图2a，属于环境U中的对象O的对象点PPn(连续脚标n)配属给确定的单个图像像点EBkPi。

在处理单元6中通过单个图像EBk投影到参考平面RE中，例如投影到车辆1下方的水平平面(参见平行于通过图2a中的xO和yO展开的平面)中，通过透视变换，例如依赖于单应矩阵，借助全景算法A1，从不同摄像头3的单个图像EBk创建出具有数量为Np的全景图像像点RBPp(连续脚标p从0到Np)的全景图像RB。在全景图像RB中，围绕车辆1的环境U至少在邻近区域N内朝所有侧无间隙地成像(参见图3)，这对应于360°的视角W。因而针对全景图像RB得到大于摄像头3的单个视域4的全景范围4R。邻近区域N的该全景图像RB可以在显示装置7上输出给乘员，例如车辆1的驾驶员，从而驾驶员例如可以在停车过程或调度过程中按照其定向。由此可以向观察者示出环境U的鸟瞰图。

在此，根据图2b，显示装置7具有数量为Nm的显示像素APm(连续脚标m从0到Nm)，其中，每个全景图像像点RBPp在显示装置7的确定的显示像素Apm上显现，从而得到对于观察者而言可在显示装置7上看到的全景图像RB。显示像素APm的动态子集是对象像素OAPq(连续脚标q)，在其上显现来自环境U的对象O(仅在图2b中示意出)。给对象像素OAPq配属有全景图像像点RBPp，来自环境U的确定的对象O或者确定对象点PPn在其上成像。

在这种显现的情况下，基于应用全景算法A1会在全景图像RB的图像边沿处出现失真。为了解决该问题，根据本发明建议，使已创建的全景图像RB与从针对成像对象O的深度信息TI得出的其他信息叠加。

在此，深度信息TI利用所谓的运动恢复结构(SfM)方法从单个摄像头3的多个单个图像EBk获得。深度信息TI的提取根据摄像头方式针对每个摄像头3单独实施。在SfM方法中，环境U中的具有其对象点PPn的相关的三维对象O由相应的摄像头3从至少两个不同视点SP1、SP2采集，如图2a所示。接着，通过三角测量法T可以关于相应的三维对象O获得深度信息TI：

为此，针对例如前置摄像头3a的第一单个图像EB1中的至少一个第一单个图像像点EB1P1以及前置摄像头3a的第二单个图像EB2中的至少一个第一单个图像像点EB2P1确定图像坐标xB、yB。两个单个图像EB2由前置摄像头3a在不同的视点SP1、SP2采集，也就是说，车辆1或前置摄像头3a在单个图像EB1、EB2之间运动了底边长度L。两个第一单个图像像点EB1P1、EB2P1在各自的单个图像EB1、EB2中如下选择，即，它们被配属给相应成像的三维对象O上的同一对象点PPn。

以此方式，可以针对环境U中的一个或多个对象O分别计算针对一个或多个对象点PPn的一对或多对单个图像像点EB1Pi、EB2Pi。为了简化该进程，在各自的单个图像EB1、EB2中的一定数量的单个图像像点EB1Pi、EB2Pi可以组合成特征点MP1、MP2(参见图2)，其中，待组合的单个图像像点EB1Pi、EB2Pi如下选择，即，将各自的特征点MP1、MP2配属给三维对象O上的可明确定位的确定特征M。特征M例如可以是三维对象O上的拐角ME或外边缘MK(参见图2a)。

按照近似方式，接下来通过三角测量法T从单个图像像点EB1Pi、EB2Pi或特征点MP1、MP2的针对各自的对象O获知的图像坐标xB、yB计算或估计出三维对象O或对象点PPj或特征M的绝对的、实际的对象坐标xO、yO、zO(世界坐标)。为了能够执行三角测量法T，使用在前置摄像头3a的视点SP1、SP2之间的相应获知的底边长度L。

接着，如果针对足够数量的对象点PPi或对象O的特征M已执行三角测量法T，则根据由此获知的对象坐标xO、yO、zO可以根据几何学观察来获知车辆1相对于各自的三维对象O的定位和定向，也就是姿态。如果已知对象O的多个对象点PPj或特征M的精确的对象坐标xO、yO、zO，则可以由处理单元6基于此至少也估计出对象形状FO和/或对象轮廓CO。对象形状FO和/或对象轮廓CO可以输送给深度学习算法A2以用于后续处理。

按照所描述的方式，也可以由车辆1内的其他各摄像头3检测对象O及其对象坐标xO、yO、zO并且以此获知空间内的其定位和定向。

为了更准确地获知深度信息TI，可以补充地规定，利用相应的摄像头3采集多于两个的单个图像EB1、EB2，并通过三角测量法T如上面描述的那样评估和/或补充地执行光束法平差。

如已述，针对SfM方法从相应的摄像头3的至少两个不同视点SP1、SP2观察对象O，如图2a示意性示出。为此，相应的摄像头3受控地运动到不同的视点SP1、SP2。在此，结合里程计数据OD可以获知，根据该运动在视点SP1、SP2之间得到何种底边长度L。为此可以应用不同的方法：

如果整个车辆1运动，则已经由此获得相应摄像头3的运动。这理解为，车辆1以其整体主动地(例如通过驱动系)或被动地(例如由于下坡)处于运动中。如果在运动期间由相应的摄像头3在时间偏差内采集至少两个单个图像EB1、EB2，则可以利用里程计数据OD的帮助来获知底边长度L，根据里程计数据可以推导出车辆运动进而推导出摄像头运动。通过里程计来获知配属给单个图像EB1、EB2的两个视点SP1、SP2。

车辆1的车轮上的主动和/或被动的车轮转速传感器13的车轮转速信号S13例如可以用作为里程计数据OD。根据它们可以依赖于时间偏差地获知，车辆1或相应的摄像头3在视点SP1、SP2之间已经运动了多远，底边长度L对应于此运动距离。为了在车辆1运动时使得里程计确定底边长度L更准确，可以使用车辆1内可用的其他里程计数据OD。例如可以使用相应地传感式或分析式确定的转向角LW和/或偏航率G，以便也考虑车辆4的转动运动。

然而并非强制性地仅使用车辆里程计，也就是说，结合车辆1上的运动传感器来评判车辆运动。补充或替选地也可以使用视觉里程计。在视觉里程计的情况下可以根据相应的摄像头3的图像信号SB或根据所检测的单个图像EB1、EB2中的信息连续获知摄像头定位，只要至少在开始时就已知例如确定的对象点PPn的对象坐标xO、yO、zO。因此，里程计数据OD也可以包含与如此获知的摄像头定位的相关性，这是因为由此可以推导出在两个视点SP1、SP2之间的车辆运动或者直接推导出底边长度L。

然而原则上也可以规定主动调节摄像头3，而不改变整个车辆1的运动状态。因而，相应摄像头3的任何运动都是可能的，以使其受控地且可测量地引入不同视点SP1、SP2。

接下来，依赖于通过SfM方法针对确定对象O获知的深度信息TI，全景图像RB可以如图3所示出那样与叠加结构20叠加。在此可以如下实施叠加，即，显示装置7通过全景图像信号SRB传输全景图像RB并通过叠加信号SO传输具有相应的叠加结构20的待叠加的叠加图像OB。显示装置7在相应的显示像素APm上显现两个图像RB、OB，例如通过像素加法或像素乘法或任何其他像素运算。替选地，全景图像RB可以在处理单元6中在相应的全景图像点RBPp上也直接被改变或者被调整，从而显示装置7通过全景图像信号SRB传输包含叠加结构20的全景图像RB用于显示。

在此，将附加的叠加结构20唯一地配属给环境U中的确定对象O。由此可以向观察者展示针对相应的对象O的附加信息，这使得根据显示而在环境U中的定向更加便捷。叠加结构20为此例如可以是条形20a和/或多边形20b和/或文本20c，补充地，它们可以依赖于相应配属的深度信息TI编码。

叠加如下地实施，即，叠加结构20在显示装置7的分配给对象O的对象像素OAPq上出现或与所述对象像素相邻地出现。相应的对象像素OAPq可以通过全景算法A1动态地由处理单元6识别。基于此可以创建叠加图像OB或者直接改变或调整全景图像RB的全景图像点RBPp，从而相应的叠加结构20在显示装置7上的相应的对象O上出现或与该相应的对象相邻地出现。

条形20a例如可以显现在显示装置7的显示像素APm上，该条形位于相应的对象O的外边缘MK上或与该外边缘相邻，该外边缘最接近车辆1。条形20a的取向可以如下选择，即，条形20a垂直于对象法线NO，如图3所示，从而如果对象O例如不具有笔直的外边缘MK，则条形20a在所有情况下均表明了对象O的外边界。对象法线NO可以从针对该对象的深度信息TI，即，从定位和定向估计出，其由SfM方法得出。

为了强调配属给对象O的条形20a在显示装置7上的定位，可以对也配属给条形20a的对象O的对象像素OAPq以固定的颜色F着色。由此，对象O本身更清楚地显现，从而在显现对象O时可能出现的失真不太能被察觉到。在对象像素OAPq的范围内作为其他叠加结构20，具有对象形状OF或对象轮廓OC的多边形20b以确定的颜色F叠加给全景图像RB。如果在SfM方法中无法明确确定对象形状OF或对象轮廓OC，则也可以仅假定对象O是矩形，其从车辆1出发地观察在条形20a的“后方”延伸。另外的叠加结构20在该情况下是具有四个拐角的多边形20b。

例如可以选择黑色作为颜色F。然而，颜色F也可以依赖于与相应的对象O的对象间距OA。条形20a本身可以在颜色方面依赖于与相应的对象O的对象间距OA地编码。在此，车辆1和对象O之间的对象间距OA同样从通过SfM方法获得的关于该对象的深度信息TI中得到，即，从定位和定向中得到。

如果在SfM方法中获知对象间距OA低于1m，则相应的叠加结构20(即，条形20a和/或多边形20b)的颜色F例如以警告颜色，尤其是以红色显现。如果对象O的对象间距OA在1m到5m之间的范围内，则黄色可以用作针对配属给该对象O的叠加结构20的颜色F。当对象间距OA大于5m时，可以规定绿色作为颜色F。以此方式可以更清楚地向观察者显示，哪种风险来自相应的对象O。因为深度信息TI由单个图像EBk获得，所以源于全景算法A1的失真对叠加结构20没有影响，并且因而可以从本车辆1出发在显示装置7的正确定位处显现这些失真。

此外，相应的叠加结构20可以在显示装置7上不透明或至少部分透明地显示，从而至少一个叠加结构20完全或至少部分地在透明度方面在相应配属的对象O上和/或与相应配属的对象相邻地覆盖全景图像RB。

补充地，叠加结构20的颜色F可以依赖于运动指标B地选择。因此，可以根据SfM方法如所描述那样获知针对相应识别到的对象O的对象轮廓OC和/或对象形状OF。然而，根据SfM方法无法直接推断出对象O的动态。然而，如果对象轮廓OC和/或对象形状OF在处理单元6中被输送给深度学习算法A2，则可以进行至少一次对象O的分类，由此可以推断出对象O的可能的动态。

在此，相应对象O的对象轮廓OC和/或对象形状OF可以与已知对象比较。已知对象可以存储在数据库中，该数据库例如存储在相对于车辆固定的存储器内或者可以通过车辆1的移动数据连接来访问。根据已知对象在数据库中的条目可以确定，所检测的对象O是人、建筑物还是车辆等。关于此可以给每个检测对象O都配属存储在数据库中的运动指标B，该运动指标表明对象O是否和如何以正常方式在环境U中运动。由此可以推断出，是否提高对于对象O(例如是人的情况下)的注意力。相应地，叠加结构20(例如条形20a和/或多边形20b)或另外的叠加结构20可以相应于运动指标B编码，例如在颜色方面。补充地，文本20c作为另外的叠加结构20例如能够以“！”(感叹号)等形式显出。

然而，对象O的运动指标B也可以如下估计，即，在时间方面跟踪配属给环境U中的对象点PPn的单个图像像点EBkPi。这例如可以通过连续的单个图像EBk的差异的像素形式的图像来实现。由此同样可以推断出相应对象O的运动。

此外，可以叠加作为叠加结构20的等值线20d(参见图3)，它们分别表示相对于车辆外侧1a的固定的等值间距AI。

附图标记列表(说明书组成部分)

1           车辆

1a          车辆外侧

2a          前侧

2b          后侧

2c          纵向侧

3           摄像头

3a          前置摄像头

3b          后部空间摄像头

3c          侧向摄像头

4           视域

4a          前方视域

4b          后部空间视域

4c          侧面视域

4R          全景范围

6           处理单元

7           显示装置

13          车轮转速传感器

20          叠加结构

20a         条形

20b         多边形

20c         文本

20d         等值线

A1          全景算法

A2          深度学习算法

AI          等值间距

APm         第m个显示像素

B           运动指标

EBk         摄像头3的第k个单个图像

EBkPi       第k个单个图像EBk的第i个单个图像像点

F           颜色

G           偏航率

L           底边长度

LW          转向角

M           特征

ME          拐角

MK          外边缘

MP1         第一单个图像E1中的特征点

MP2         第二单个图像E2中的特征点

N           邻近区域

Ni          单个图像像点EBkPi的数量

Nm          显示像素APm的数量

Np          全景图像像点RBPp的数量

O           对象

OAPq        第q个对象像素

OA          对象间距

OB          叠加图像

OC          对象轮廓

OD          里程计数据

OF          对象形状

ON          对象法线

PPn         对象O的第n个对象点

RB          全景图像

RBPp        第p个全景图像像点

RE          参考平面

S13         车轮转速信号

SB          图像信号

SO          叠加信号

SP1、SP2     摄像头3的视点

SRB         全景图像信号

TI          深度信息

T           三角测量法

U           环境

xB、yB       图像坐标

xO、yO、zO    对象坐标

i、k、m、n、p、q 脚标

Claims (19)

1.用于在显示装置(7)上显示车辆(1)、尤其是商用车辆的环境(U)的方法，所述方法至少具有以下步骤：

-利用至少两个摄像头(3)采集所述环境(U)，其中，各摄像头(3)具有不同的视域(4)，其中，相邻摄像头(3)的视域(4)至少局部重叠；

-由至少两个单个图像(EBk)创建全景图像(RB)，其中，每个单个图像(EBk)都由不同的摄像头(3)采集并且所述单个图像(EBk)投影到参考平面(RE)中以创建所述全景图像(RB)；

-获知所采集的环境(U)中的至少一个对象(O)的深度信息(TI)，其中，所述深度信息(TI)通过三角测量法(T)从同一摄像头(3)的至少两个不同的单个图像(EBk)中获知，其中，所述至少一个对象(O)在所述至少两个不同的单个图像(EBk)中成像；和

-依赖于获知的深度信息(TI)来生成至少一个叠加结构(20)，其中，每个叠加结构(20)都唯一地配属给成像的对象(O)；和

-在所述显示装置(7)上显示包含所述至少一个对象(O)和至少一个生成的叠加结构(20)的所创建的全景图像(RB)，使得所述至少一个叠加结构(20)在相应配属的对象(O)上显示和/或与相应配属的对象相邻地显示。

2.根据权利要求1所述的方法，其特征在于，在所述显示装置(7)上，条形(20a)和/或多边形(20b)和/或文本(20c)作为叠加结构(20)在相应配属的对象(O)上显示和/或与相应配属的对象相邻地显示。

3.根据权利要求2所述的方法，其特征在于，所述条形(20a)在所述显示装置(7)上在相应配属的对象(O)的外边缘(MK)上显示和/或与相应配属的对象的外边缘相邻地显示，其中，所述条形(20a)优选垂直于所述相应配属的对象(O)的对象法线(NO)，其中，所述对象法线(NO)从深度信息(TI)获得。

4.根据权利要求2或3所述的方法，其特征在于，在所述显示装置(7)上，多边形(20b)作为叠加结构(20)成像，使得所述多边形(20b)至少部分、优选完全跨越相应配属的对象(O)。

5.根据前述权利要求中任一项所述的方法，其特征在于，所述至少一个叠加结构(20)在所述显示装置(7)上以预先确定的颜色(F)显示或者以依赖于关于相应配属的对象(O)的所获知的深度信息(TI)的颜色(F)显示。

6.根据权利要求5所述的方法，其特征在于，所述至少一个叠加结构(20)的颜色(F)依赖于车辆(1)和相应配属的对象(O)之间的对象间距(OA)，其中，所述对象间距(OA)从关于相应配属的对象(O)的所获知的深度信息(TI)获得。

7.根据权利要求5或6所述的方法，其特征在于，针对各自的对象(O)的叠加结构(20)的颜色(F)和/或类型依赖于配属给所述对象(O)的运动指标(B)，其中，所述运动指标(B)表明所述对象(O)能够运动或是持久静止，其中，所述运动指标(B)从关于相应配属的对象(O)的所获知的深度信息(TI)获得。

8.根据权利要求7所述的方法，其特征在于，从所述深度信息(TI)获知相应配属的对象(O)的对象轮廓(OC)和/或对象形状(OF)，并且借助深度学习算法(A2)通过与已知的对象轮廓(OC)和/或已知的对象形状(OF)的比较来从所述对象轮廓(OC)和/或所述对象形状(OF)推导出针对相关对象(O)的运动指标(B)。

9.根据权利要求7或8所述的方法，其特征在于，在时间上跟踪所述对象(O)上的、在单个图像(EBk)中成像的对象点(PPn)，以便推导出针对相关对象(O)的运动指标(B)。

10.根据前述权利要求中任一项所述的方法，其特征在于，所述至少一个叠加结构(20)在所述显示装置(7)上不透明或至少部分透明地显示，从而所述至少一个叠加结构(20)在相应配属的对象(O)上和/或与相应配属的对象相邻地完全或至少部分覆盖全景图像(RB)。

11.根据前述权利要求中任一项所述的方法，其特征在于，所述显示装置(7)具有显示像素(APm)，其中，所述全景图像(RB)的全景图像点(RBPp)在所述显示装置(7)的显示像素(APm)上显示，其中，包含在所述全景图像(RB)中的对象(O)在对象像素(OAPq)上显现出，其中，所述对象像素(AWPq)是所述显示像素(APm)的子集，

其中，配属给各自的对象(O)的叠加结构(20)在所述显示装置(7)上在各自的对象像素(OAPq)上显示和/或与各自的对象像素相邻地显示。

12.根据权利要求11所述的方法，其特征在于，具有至少一个叠加结构(20)的叠加图像(OB)在所述显示装置(7)上被叠加给具有至少一个对象(O)的全景图像(RB)，使得配属给各自的对象(O)的叠加结构(20)在所述显示装置(7)上在各自的对象像素(OAPq)上显示和/或与各自的对象像素相邻地显示。

13.根据权利要求11或12所述的方法，其特征在于，所述全景图像(RB)包含所述至少一个叠加结构(20)，其中，在对象(O)在其上成像的全景图像点(RBPp)处和/或与对象(O)在其上成像的全景图像点相邻地调整所述全景图像(RB)，使得配属给各自的对象(O)的叠加结构(20)在所述显示装置(7)上在各自的对象像素(OAPq)上显示和/或与各自的对象像素相邻地显示。

14.根据前述权利要求中任一项所述的方法，其特征在于，由同一摄像头(3)从至少两个不同的视点(SP1、SP2)采集通过三角测量法(T)从其中获知深度信息(TI)的所述至少两个单个图像(EBk)，其中，通过三角测量法(T)依赖于至少两个视点(SP1、SP2)之间的底边长度(L)地获知所述深度信息(TI)。

15.根据前述权利要求中任一项所述的方法，其特征在于，在全景范围(4R)之内所述环境(U)在所述全景图像(RB)中成像，其中，所述全景范围(4R)大于单个摄像头(3)的视域(4)，其中，所述全景范围(4R)的视角(W)为360°，和

其中，所述全景图像(RB)由不同的摄像头(3)的至少两个几乎同时采集的单个图像(EBk)组成。

16.根据前述权利要求中任一项所述的方法，其特征在于，配属给所述车辆(1)的等值线(20d)作为叠加结构(20)显现在所述显示装置(7)上，其中，以相对于本车辆(1)的车辆外侧(1a)固定的等值间距(AI)显示所述等值线(20d)。

17.用于执行根据前述权利要求中任一项所述的方法的处理单元(6)。

18.具有至少两个摄像头(3)的车辆(1)，其中，各摄像头(3)具有不同的视域(4)，其中，相邻摄像头(3)的视域(4)至少局部重叠，所述车辆具有显示装置(7)以及根据权利要求17所述的处理单元(6)，

其中，所述显示装置(7)被构造成显示包含至少一个对象(O)的所创建的全景图像(RB)和至少一个生成的叠加结构(20)，使得所述至少一个叠加结构(20)在相应配属的对象(O)上显示和/或与相应配属的对象相邻地显示。

19.根据权利要求18所述的车辆(1)，其特征在于，每个单个摄像头(3)具有视角(W)大于等于120°，尤其是大于等于170°的视域(4)。

Images