CN102442311B - 确定与车辆周边环境有关的编辑的图像数据的方法和设备 - Google Patents

确定与车辆周边环境有关的编辑的图像数据的方法和设备 Download PDF

Info

Publication number
CN102442311B
CN102442311B CN201110317059.XA CN201110317059A CN102442311B CN 102442311 B CN102442311 B CN 102442311B CN 201110317059 A CN201110317059 A CN 201110317059A CN 102442311 B CN102442311 B CN 102442311B
Authority
CN
China
Prior art keywords
vehicle
image
editor
relevant
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110317059.XA
Other languages
English (en)
Other versions
CN102442311A (zh
Inventor
T·福克
H·范齐策维兹
T·恩格尔贝格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN102442311A publication Critical patent/CN102442311A/zh
Application granted granted Critical
Publication of CN102442311B publication Critical patent/CN102442311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种用于确定与车辆的周边环境有关的编辑的图像数据的方法和设备,以及一种具有程序编码的计算机程序产品。所述方法具有结合的步骤(314),在所述步骤中将地图信息与所述车辆的位置和定向以及由车辆的周边环境探测装置探测到的周边环境的图像结合,以获得周边环境的与位置相关的图像。此外,所述方法还包括编辑的步骤(320),在所述步骤中用至少一个符号对与位置相关的图像进行编辑,所述符号被分配给与位置相关的影像中已分类的物体,以确定编辑的图像数据。

Description

确定与车辆周边环境有关的编辑的图像数据的方法和设备
技术领域
本发明涉及一种用于确定与车辆周边环境有关的编辑的图像数据的方法和设备,以及一种相应的计算机程序。
背景技术
DE102009005505A1描述了一种用于相对于来自设置在机动车辆上的至少一个摄像机的图像的虚拟摄像位置来生成机动车辆的周边环境的影像的方法。摄像机图像被换算到虚拟的摄像机位置上,并且通过添加关于机动车辆周边环境的其他信息被校正。
已知的用于车辆周边环境鸟瞰视图的***限于对单个图像的矫正、组合和对鸟瞰视图的简单示出。
发明内容
在此背景下,通过本发明提出了如各独立权利要求所述的一种用于确定与车辆周边环境有关的编辑的图像数据的方法、一种用于确定与车辆周边环境有关的编辑的图像数据的设备、以及一种相应的计算机程序产品。由各个从属权利要求和下面的描述给出有利的设计方案。
本发明的核心是,示出车辆周围环境的合成的、概括的、直观的可视化显示,在这种可视化显示中,在车辆显示器,优选的是在控制单元的显示器中强调对于行驶任务来说重要的物体,如与碰撞有关的障碍物、路边石或者街道标志以及信息(例如禁止停车区域、停车费用或距离网格)。依据本发明的方案实现了对于驾驶员非常重要的特殊信息附加***或者说一种新类型的示图。这些特殊信息部分地通过图像处理的算法生成,部分地通过与(如用在导航***中的)数字地图的连接和与互联网的连接获得。有利地,可以借助于依据本发明的方案避免下述情况,即由于矫正和改变视角失去了对于真实世界的相对参照。此外,可以为驾驶员直观地、正确地显示距离和间距。这是通过以相对于可能的障碍物的间距信息的形式在测量技术上对驾驶员进行支持实现的。
此外,可以在发现停车场时通过以鸟瞰视角直观地***禁止停车区域为驾驶员提供支持。对并非完全由摄像机探测到的物体的矫正,有时是非常易误解的图像或者导致与人的视觉感官不相符的图像。这种缺陷可以通过依据本发明***合成的物体而得以消除,所述合成的物体产生驾驶员非常容易理解的显示。
通过***特殊信息或者说通过这种示图,对于驾驶员来说通过避免事故或破坏交通规则而增大了直接的益处。此外,以依据本发明的方式对车辆周边环境的显示还提高了“环视***”的感受质量。
本发明提出了一种用于确定与车辆周边环境有关的编辑的图像数据的方法,所述方法具有下列步骤:
结合的步骤,在所述步骤中将地图信息与车辆的位置和定向以及周边环境的影像结合,其中影像呈现了从车辆的周边环境探测装置探测到的信息,以获得周边环境的与位置相关的影像;以及
编辑的步骤,在所述步骤中用至少一个符号对与位置相关的影像进行编辑,所述符号被分配给与位置相关的影像中已分类的物体,以确定编辑的图像数据。
所述周边环境可以表示车辆的周围环境或在车辆的周围环境中的区域。结合可以表示一个过程,信息通过这个过程相互建立联系,彼此结合或彼此校准。地图信息可以包括数字地图。此外,地图信息还可以包括涉及周边环境的特殊信息,例如与停车场有关的特殊信息。地图信息可以被预先确定,并且被存储在车辆的数据载体上或者通过车辆的通讯接口接收。地图信息也可以由车辆周边环境中的基础设施提供,并且传输到车辆上。位置可以表示车辆的当前场所和车辆的当前取向的定向。位置和定向可以借助于已知的位置确定技术获取。影像可以描绘出由一个或多个周边环境探测装置探测的周边环境的区域。因此,该影像可以描绘车辆的当前周边环境。与位置有关的影像可以将地图信息的分配给车辆的位置的信息以及周边环境的影像的信息相互组合。在结合的步骤或者在编辑的步骤中,可以借助于已知的物体分类方法执行物体分类。已分类的物体可以是车辆、人、行车道标志、或行车道边界、路标或停车空位。可以对应于物体分类来选择符号,并且将符号分配给已分类的物体。这种编辑可以是与位置相关的影像的信息与物体的信息的叠加或混合。在此,与位置相关的影像的部分被符号替换或者被符号部分地或完全地覆盖。所述符号可以使物体的表示简化。例如,符号可以表示车辆或者行人。符号可以例如比所表示的物体具有更小的信息密度。编辑的图像数据可以借助于显示装置显示。编辑的图像数据可以是鸟瞰视角视图,也就是说从上面示出车辆和特别地示出周边环境。为此,可以选择一个虚拟的摄像位置,从而生成车辆及其周边环境的俯视图。然而,摄像机的其他的虚拟参照点以及编辑的信息的表示形式同样是可行的。
所述方法可以包括使符号的指向和/或尺寸与编辑的图像数据中的已分类的物体相匹配的步骤。用于在图像数据中示出信息的符号可以通过符合比例尺的实施方式和布置来增强编辑的数据的真实度的观感。由此,驾驶员可以更容易地将示图与感知的实际情况相联系。
在编辑的步骤中,可以通过距离具体化对与位置有关的影像进行编辑,其中距离具体化被设计用于在编辑的图像数据中示出已分类的物体与车辆之间的间距和/或在对于车辆可驶入的自由平面中的距离线之间的间距。距离具体化可以通过网格的设计而被实施为距离网格。同样可行的是,具有离车辆间距相同的线条的示图或实施为文字。通过***距离信息,可以为驾驶员建立编辑的图像数据与车辆的周边环境之间的关系。
此外,在编辑的步骤中,基于车辆的预计运动轨迹和/或识别到的已分类物体的轨迹对与位置有关的影像进行编辑。车辆的预计运动轨迹可以由车辆的当前数据,如速度和转向角或偏航率获得。
同样地,可以在图像数据中额外考虑物体的所识别的运动轨迹时预先确定与物体的预计接触点或碰撞点。运动轨迹可以作为行驶路径被***,该行驶路径包括车辆的外部尺寸大小,从而能够可靠地并快速地识别出或者强调与意味着碰撞危险的物体的交叉。
此外,地图信息可以包括关于停车空间的信息,该信息在结合的步骤中与车辆的位置结合。在编辑的步骤中,可以通过被分配给停车空间的符号对位置有关的影像进行编辑。停车空间可以被称为交通平面,该交通平面被设置用于车辆停车。同样地,停车空间还可以包括并非设置用于停车的区域,或者禁止停车的区域。停车空间还可以包括在车辆的周围环境中的停车楼和停车库。在与停车空间有关的信息中,可以同样地包含关于需缴纳的停车费的信息。与停车空间有关的信息可以由停车场的基础设施提供。
由此,地图信息可以由至少一个车辆远程服务***接收,其中地图信息包括关于车辆需缴纳的费用的信息。在此,可以向车辆远程服务***传输数据,以缴纳费用。通过信息从服务提供商经车辆远程服务***,如互联网或公众、街道运营者或停车场运营者的私人网络的无线传输可以向驾驶员传输实时的和及时的信息。如果对于使用停车空间或交通空间产生了费用,如停车场花费或过路费,则可以由此不用现金直接从车辆通过网络连接完成必需的支付过程。
根据本发明的另一种实施方式,可以在编辑的步骤中确定对于车辆的当前行驶任务重要的物体,并且在编辑的图像数据中进行强调。在此,强调的程度可以与重要的物体相对于车辆的间距有关。因此,例如可以识别并且特别地突出显示位于车辆的周边环境中的障碍物或禁止区域。对来自图像信息的物体的强调可以通过信号色或不同的亮度水平实现。也可以强调在编辑的图像数据中的棱边。
在编辑的步骤中,通过来自地图信息的数字地图对与位置相关的影像进行补充。在此,不同的行驶情况产生示出的不同可能性。例如,识别的周边环境通过结合附加的信息得以扩展。为此,可以在更高的行驶速度下增加示出的平面。在借助于周边环境探测装置识别的车辆周边环境之外的平面可以通过地图信息进行补充。对所示出的周边环境的扩展也可以在大部分情况下在一个方向实现。为此,可以考虑当前的行驶状态。例如沿行驶方向提供示图范围的扩展。地图信息也可以完全地或部分地覆盖图像信息,其中还可行的是透明的示图。
本发明还提供了一种用于确定与车辆周边环境有关的编辑的图像数据的设备,其中所述设备包括下列特征:
用于将地图信息与车辆的位置和定向以及周边环境的影像结合的装置,其中影像呈现了从车辆的周边环境探测装置探测到的信息,以获得周边环境的与位置相关的影像;以及
用至少一个符号对与位置相关的影像进行编辑的装置,所述符号被分配给与位置相关的影像中已分类的物体,以确定编辑的图像数据。
所述设备可以是信息***,特别是导航***,或者它们的一部分。在本发明中,设备可以被理解为对传感器信号进行处理并根据该传感器信号输出控制信号的电子装置。该设备可以具有接口,该接口可以被设计为硬件式的和/或软件式的。在构造为硬件式的情况下,这些接口可以例如是所谓的ASIC***的一部分,该***包含所述设备的各种功能。然而,接口还可以是独立的集成电路,或者至少部分由分立器件组成。在构造为软件式的情况下,所述接口可以是例如在微处理器上除了其他软件模块之外还设有的软件模块。
还有利的是一种具有程序编码的计算机程序产品,所述程序编码被存储在机器可读的载体,如半导体存储器、硬盘存储器或光学存储器上,并且当在与计算机相应的装置上执行程序时,计算机程序产品执行根据前面所描写的实施方式中任意一项的方法。
附图说明
下面将借助于附图对本发明进行示例性地详细阐述。其中:
图1示出了依据本发明实施例的方法的流程图;
图2以示意图示出了具有依据本发明实施例的设备的车辆;
图3以框图示出了依据本发明实施例的俯视-***的实施例;以及
图4示出了以依据本发明实施例的多摄像机***为基础的车辆周边环境可视化的可能的显示形式。
具体实施方式
在下面对本发明的优选的实施例所进行的描述中,对于在不同的附图中所示出的、起相似作用的元件应用相同的或相似的附图标记,其中省去了对这些元件的重复描述。
图1根据本发明的一种实施例示出了用于确定与车辆周边环境有关的编辑的图像数据的方法的流程图。在步骤110中,将地图信息与车辆的位置、车辆的定向和周边环境的影像结合。通过这种结合得到了与位置有关的影像。在步骤120中,将与位置有关的影像与至少一个符号进行编辑,以获得编辑的图像数据。在此,该符号被分配给一种已分类的物体,该物体属于与位置有关的影像。
地图信息、与位置有关的信息和周边环境的影像可以通过适当的接口被传输给上述操作程序,或者借助于之前的方法步骤被确认。例如,可以由摄像机***和一个相应的图像编辑装置提供影像。车辆的位置和车辆的定向或指向可以由卫星定位***或者由光学位置确定***提供。通过结合的步骤110建立地图信息与周边环境影像以及与车辆的位置和定向的关系。由此得到车辆周边环境的与位置相关的影像。在此,可以首先借助于一个或多个方法步骤执行对物体的识别和分类。接下来,可以在与位置有关的影像中为每个识别的或已分类的物体或者选定的识别的或已分类的物体分配一个来自于所提供的数据库的相应的符号。编辑过的图像数据可以被输出并且由显示装置显示。
图2根据本发明的一种实施例示出了用于确定与车辆200的周边环境有关的编辑的图像数据的设备的框图。该设备具有摄像机***202、用于结合的装置204、用于编辑的装置206和显示装置208。在该设备上可以实施用于确定与车辆200的周边环境有关的编辑的图像数据的方法。
摄像机***202被构造用于接收车辆200的周边环境的大量图像。从这些图像可以编排出周边环境的影像。该影像可以包含视角偏移,从而能够从鸟瞰视角描述周边环境。周边环境中的物体可以被识别并分类。装置204被构造用于将周边环境的影像与车辆200的地图信息和位置结合。为此,该装置204可以具有相应的接口。在装置204中从影像、地图信息和位置获得的与位置有关的影像由装置206进一步编辑。装置206被构造用于为在与位置有关的影像中识别的物体分配符号,并且由这些符号和与位置有关的影像得到编辑的图像数据。具有相应符号的数据库可以存储在装置206中。编辑的图像数据由装置206输出给显示装置208。显示装置208被构造用于为车辆的乘客例如在屏幕上显示编辑的图像数据。
图3根据本发明的一种实施例示出了用于确定与车辆的周边环境有关的编辑的图像数据的设备的框图。根据此实施例,该设备是俯视***。
该设备具有一个周边环境探测装置,该装置包括多个摄像机302和/或一个或多个雷达装置、超声波装置或激光雷达装置。此外,该设备还具有生成装置306、识别装置308、具有位置确定装置312的定位装置310、具有数字地图316和联接互联网318的入口的合并装置314以及具有符号数据库322的分配装置320。
生成装置306被构造用于控制摄像机302的视频摄像图像的记录,以及用于执行三维周边环境地图和俯视图像的生成。基于由生成装置306形成的信息,识别装置308被构造用于执行基于视频的物体识别和分类。此外,基于视频执行对地标的识别。定位装置310具有通向位置确定装置312的接口,该接口能够基于通过GPS或伽利略***(Galileo)的卫星定位来向位置确定装置312提供关于车辆位置的信息。该位置确定装置312被构造用于基于车辆的位置和/或基于地标执行自身定位。合并装置314具有连接数字地图316和互联网318的接口。该合并装置314被构造用于执行视频数据与数字地图316的合并以及与互联网318的数据的合并。分配装置320被构造用于将符号数据库322中的符号分配给识别出的物体。此外,该分配装置320被构造用于执行俯视图像、互联网图像和合成图像元素的图像组合。可以在显示器中执行图像组合的显示。
下面将依据图3对基于多摄像机***的车辆周边环境可视化的不同实施例进行描述。
此***的基础是多摄像机***,其中围绕车辆布置有多个摄像机302,从而对车辆周边环境进行完整地探测。由这些摄像机302的数据可以生成所谓的“俯视示图”(在图4中示出),并且显示在显示器上。对俯视示图的计算以及所有其他的用于产生附加信息的算法都优选地,但非强制地直接在控制单元中执行。
接下来,对多种实现方式进行描述,这些实现方式意味着利用的提高。根据图3,依据本发明的***由多个分别包含下述功能的模块组成。多摄像机***302与视频输入模块306连接。在这个视频输入模块306中记录单个视频摄像机302的图像。通过获取视频图像的景深信息(如从运动信息恢复三维场景结构)的方法计算出探测的车辆周边环境的三维周边环境地图。这可选地也可在应用现有的周边环境传感器304,如超声波传感器以及雷达传感器和激光雷达传感器的情况下实现。在3D周边环境地图的基础上,单个摄像机302的视频图像数据被换算为俯视视角并且相互组合。从由此获得的信息开始,在物体识别模块308中通过已知的技术探测存在的物体和地标并且尽可能地将其分类。在控制单元中必然存在的基于GPS/伽利略***的自身车辆的定位通过已知的基于视频的定位技术借助于识别到的地标,如SLAM而得以扩展。这是在定位模块310中实现的。在实现定位后,在合并模块314中将来自已描述的视频处理装置和数字地图316的数据合并。在合成模块320中,为已分类的物体和地标分配标准符号。在此,这些符号来自数据库322,其中数据库被细分为地形类型的符号。此模块的中心功能是将合成的元素和之前生成的俯视图的需示出的图像组合。
根据一种实施方式,将禁止停车区域的信息以位置正确的或者说对于驾驶员可直观感知的方式***到俯视图像中。关于禁止停车区域的大小和位置的信息可以由数字地图中提取出,这在一种实现方案的情况下可以在控制单元中简单地实现。为此,重要的前提是借助于GPS/伽利略***和/或基于视频的地标定位来参考数字地图为自身车辆定位。此外,可以通过图像处理方法识别停车障碍区,并且相应地进行显示。根据一种实施例,可以通过交通标志识别或对不平的停车障碍表面的识别将禁止停车区域(存储在地图中的禁止停车区域和在视频图像中识别的禁止停车区域)相互印证。
根据一种实施例,通过与数字地图316连接,可选地扩展为经移动手机联接或DSRC收费***的互联网连接318,而将停车费用的信息***到俯视图像中,并且还通过无线电通信开展相应的记账过程。
根据一种实施方式,可以借助于图像编辑方法,如“从运动信息恢复三维场景结构”或梯度探察方法和边缘探察方法,以与平面估算法联合的方式在摄像机图像中探察出街道边石或停车标记并且将这些街道边石或停车标记以特别强调的方式显示在俯视图像中。在此,这种强调可以随着与街道边石的距离而改变。这种相关性将通过示图的类型和方式如下进行编排。紧靠车辆的边石相对于其他远离的街道边石会被更明显地强调。这种强调可以这样实现,即应被强调的颜色,如信号颜色或街道边石的亮度,被相应地增强。这同样适用于被探察到的障碍物,例如作为被识别的物体而在俯视图像中被强调的停车楼的墙墩或花盆。
根据一种实施例,可以将在多摄像机图像中借助于相应的方法探察到的物体在视频图像中进行测量和分类。在物体分类的基础上,在俯视图像中借助于标准符号实现了对已分类物体的显示,所述标准符号符合比例尺地并且在彩色摄像机***中以正确识别的颜色被突出显示在俯视图像中。用于在街道交通中出现的物体的相近的标准符号例如是包含在数据库322中的标准汽车符号或标准行人符号。
通过矫正和透视示图可能导致驾驶员对实际存在的间隔和距离产生误解。根据一种实施例,该问题可以通过在俯视图像中***距离网格得以解决,所述距离网格被限制在围绕自身车辆的探察的自由平面的区域上。由此,驾驶员在其可行驶的平面内获得对于实际存在的间隔最佳的参考。在自身车辆和在行驶方向上与碰撞相关的障碍物之间的间距也可以被附加地突出显示在俯视图像中。在此,通过结合所识别到的其他位于探测区域中的车辆的轨迹对自身行驶路径的预测实现对相关物体的选择。在这种情况下,计算并显示出与预测碰撞点的距离,如图4所示。其他的选择标准可以是最近的障碍物或者是通过驾驶员信息***的触摸屏进行手动选择。除了提到的距离信息外,还例如以半透明的形式,在俯视图像中***自身的预测行驶路径。在此,基于测量的转向角和车辆的偏航率执行对行驶路径的预测。
根据一种实施方式,可以通过与数字地图316的连接来从俯视图像和数字地图316产生混合示图。在此,在两种示图类型之间的过渡可以是平滑的,或者通过与速度有关的变焦水平进行调节。然而混合的示图也可以由真实的俯视摄像机图像和半透明的地图影像以正确的比例尺生成。
根据一种实施例,替代地图图像可以使用例如存储在数据库或通过互联网联接传输到车辆中的空中摄影或卫星图像。在此,也可以通过将卫星图像半透明地叠加在俯视摄像机示图上以实现混合示图。可能的服务提供商如购物中心、博览会和餐馆经互联网或数据载体提供它们各自的停车楼或停车场的空中摄影图或定向平面图或平面布置图,由此数据库得以补充。为了有效利用控制单元上的计算机资源,规定,在实际显示之前的时间点对数据库中的空中摄影图或平面布置图进行预处理。这意味着,图像借助于图像编辑方法在需识别的阻止停车平面和物体方面不是在其存储在数据库时已经“被标记”,就是使车辆尽可能地接近“目标区域”。
根据一种实施例,俯视示图如下根据情况改变,即对虚拟摄像机进行定位,使该虚拟摄像机为驾驶员提供对驾驶员重要的场景的最佳视角。这可以被设计为,例如在进入倒档时,虚拟的摄像机位置被选择为大致在发动机罩上方,从而使驾驶员在显示器中看到他自己的车辆和在行驶方向上尽可能多的周边环境。无论是虚拟摄像机的位置还是虚拟摄像机的观看方向、视角和变焦水平,虚拟摄像机都可以随转向角和当前的自身速度而改变。
作为多摄像机图像的俯视示图的替代,可以在显示器中实现车辆周边环境的全景示图。在此,单个摄像机的图像不能被转变为立体的,而是只能通过预处理,使这些图像拼接为高品质的全景图像。然而在此,不能得到完整的用于显示的全景图像,而是仅得到与确定的观察方向相对应的全景图像的一部分。关于显示哪个观察方向的决定,是由驾驶员通过在触摸显示屏上滚动或通过例如在控制单元上的iDrive或键盘输入确定的。替代地,可以根据识别出的行驶情况自动选择虚拟摄像机的观察方向。其示例为,在倒车或者进入倒档时观察方向向后,在驶过停车空位时观察方向朝向侧面或者倾斜地向后。根据各种行驶情况,观察角度范围也通过***按比例决定。在此,重要的是,以合适的方式向驾驶员提供一个定向,它的多摄像机***正好在这个方向上进行观察。这里例如可以通过车辆符号形式的罗盘实现,在该车辆符号中,当前的观察方向和当前的观察角度被特别地着色。
根据一种实施例,对于俯视图像和叠加的合成元素的示出可以使用一种用于产生三维影像的显示***。例如可以使用自动立体观测***,在此***中无需使用3D眼镜。
图4根据本发明的一种实施例示出了编辑的图像数据的示出形式。示出的是在当前行驶路径中的关系重大的障碍物。示出的两个车辆200和402位于一条街道404上。以发亮的方式示出了围绕车辆402的一个圆形区域406。在车辆200的后面以行驶路径的形式示出了行驶路线408。在行驶路径408内是两个车辆200和402之间的距离数据410,在该实施例中例如是6m。在该实施例中,表示自身车辆的车辆200处于泊车的行驶情况。为此,驾驶员已经挂入倒档,并且在车辆200中对应于倒车行驶信号匹配有“泊车”情况下的示图。为此,基于当前的驾驶方向、当前的偏航率和当前的转向回转角度求出行驶线路并且示出为行驶路径408。如果在求出的当前行驶路径408中存在关系重大的障碍物,则在这种情况下,在示图中通过发亮的区域406特别地强调车辆402。此外,距离信息410被***到视图中,该信息描述了两个车辆200和402之间的距离。其他的障碍物,例如道路边石或边界元素同样能够被识别出,并且可以附加地被强调。距离信息410也可以通过其他的类型和方式示出。为此,以预设的间距圆形地环绕车辆200显示线条。该线条可以仅在可驶入的平面上显示。作为这些线条的替代,还可以通过投影到行车道上的网格实现距离示出。车辆200和402在这种示图上以符号形式的车辆替代。由此,还可以示出车辆402的远离车辆200的一侧。车辆200作为自身的车辆以方向盘示图标明。
这些描述和在附图中示出的实施例仅被选择为实例性的。不同的实施例可以完全地相互结合或者对于单个特征相互结合。一个实施例也可以由其他实施例的特征补充。此外,依据本发明的方法步骤可以被重复,并且以与所描述的顺序不同的顺序实施。如果实施例中在第一特征/步骤和第二特征/步骤之间包括“和/或”连接关系,则可以将此解读为,该实施例根据一种实施方式既具有第一特征/步骤也具有第二特征/步骤,而根据第二种实施方式仅具有第一特征/步骤或仅具有第二特征/步骤。

Claims (9)

1.一种用于确定与车辆(200)的周边环境有关的编辑的图像数据的方法,所述方法具有下列步骤:
结合的步骤(110;314),在所述步骤中,将地图信息与所述车辆(200)的位置和定向以及周边环境的影像结合,其中所述影像呈现了由车辆的周边环境探测装置探测到的信息,以获得周边环境的与位置相关的影像;以及
编辑的步骤(120;320),在所述编辑的步骤中,用至少一个符号对与位置相关的影像进行编辑,所述符号被分配给与位置相关的影像中已分类的物体,以及使符号的指向和/或尺寸与所述编辑的图像数据中已分类的物体相匹配,以确定编辑的图像数据,其中所述已分类的物体是实体的障碍物或道路标识。
2.按照权利要求1所述的方法,其特征在于,在所述编辑的步骤(120)中,通过距离具体化对与位置有关的影像进行编辑,其中所述距离具体化被设计用于在所述编辑的图像数据中示出已分类的物体与所述车辆(200)之间的间距和/或在车辆可驶入的自由平面中的距离线之间的间距。
3.按照前述权利要求中任意一项所述的方法,其特征在于,在所述编辑的步骤(120)中,基于所述车辆(200)的预计运动轨迹(408)和/或识别到的所述已分类的物体的轨迹对与位置有关的影像进行编辑。
4.按照前述权利要求1或2所述的方法,其特征在于,在所述编辑的步骤(120)中确定对于所述车辆(200)的当前行驶任务重要的物体(402),并且在所述编辑的图像数据中进行强调,其中强调的程度与所述重要的物体相对于所述车辆的间距有关。
5.按照前述权利要求1或2所述的方法,其特征在于,所述地图信息包括与停车空间有关的信息,所述信息在所述结合的步骤(110)中与所述车辆(200)的位置和定向结合并且在所述编辑的步骤(120)中用分配给停车空间的符号对与位置有关的影像进行编辑。
6.按照前述权利要求1或2所述的方法,其特征在于,所述地图信息由至少一个车辆远程服务***接收,并且包括关于所述车辆(200)需缴纳的费用的信息,并且其中向所述车辆远程服务***传输数据,以缴纳费用。
7.按照前述权利要求1或2所述的方法,其特征在于,在所述编辑的步骤(120)中,以来自地图信息的数字地图(322)对与位置有关的影像进行补充。
8.一种设备,用于确定与车辆(200)周边环境有关的编辑的图像数据的设备,其中所述设备包括下列特征:
用于将地图信息与所述车辆的位置和定向以及周边环境的影像结合的装置(204),其中所述影像呈现了由车辆的周边环境探测装置探测到的信息,以获得周边环境的与位置相关的影像;以及
用至少一个符号对与位置相关的影像进行编辑的装置(206),所述符号被分配给与位置相关的影像中已分类的物体,其中使符号的指向和/或尺寸与所述编辑的图像数据中已分类的物体相匹配,以确定编辑的图像数据,其中所述已分类的物体是实体的障碍物或道路标识。
9.按照权利要求8所述的设备,其特征在于,所述设备是信息***。
CN201110317059.XA 2010-10-06 2011-10-08 确定与车辆周边环境有关的编辑的图像数据的方法和设备 Active CN102442311B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010042063.8A DE102010042063B4 (de) 2010-10-06 2010-10-06 Verfahren und Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs
DE102010042063.8 2010-10-06

Publications (2)

Publication Number Publication Date
CN102442311A CN102442311A (zh) 2012-05-09
CN102442311B true CN102442311B (zh) 2016-01-20

Family

ID=45403038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110317059.XA Active CN102442311B (zh) 2010-10-06 2011-10-08 确定与车辆周边环境有关的编辑的图像数据的方法和设备

Country Status (5)

Country Link
US (1) US8712103B2 (zh)
CN (1) CN102442311B (zh)
DE (1) DE102010042063B4 (zh)
FR (1) FR2965764B1 (zh)
IT (1) ITMI20111728A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9854209B2 (en) * 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
KR101265711B1 (ko) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3d 차량 주변 영상 생성 방법 및 장치
WO2013086249A2 (en) * 2011-12-09 2013-06-13 Magna Electronics, Inc. Vehicle vision system with customized display
US10338385B2 (en) * 2011-12-14 2019-07-02 Christopher V. Beckman Shifted reality display device and environmental scanning system
DE102012102771A1 (de) * 2012-03-30 2013-10-02 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Darstellung einer Fahrzeugumgebung
JP5857224B2 (ja) * 2012-03-30 2016-02-10 パナソニックIpマネジメント株式会社 駐車支援装置、及び駐車支援方法
CN103035005B (zh) * 2012-12-13 2015-08-05 广州致远电子股份有限公司 一种全景泊车的标定方法,及装置,一种自动标定方法
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
US9499168B2 (en) * 2013-01-09 2016-11-22 Mitsubishi Electric Corporation Vehicle periphery display device
JP6105416B2 (ja) * 2013-07-17 2017-03-29 矢崎総業株式会社 表示装置
DE102013215408A1 (de) 2013-08-06 2015-03-05 Bayerische Motoren Werke Aktiengesellschaft Anzeigesystem für ein Fahrzeug und Verfahren für die Anzeige einer Fahrzeugumgebung
CN104512329B (zh) * 2013-09-27 2017-04-05 比亚迪股份有限公司 倒车安全辅助方法、装置及汽车
US9558408B2 (en) * 2013-10-15 2017-01-31 Ford Global Technologies, Llc Traffic signal prediction
US20150106010A1 (en) * 2013-10-15 2015-04-16 Ford Global Technologies, Llc Aerial data for vehicle navigation
DE102014201801B4 (de) * 2014-01-31 2021-11-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur perspektivischen Darstellung eines Fahrzeugumfeldes mit einem Fahrzeug-Modell auf einer Fahrzeuganzeige und Anzeigesystem
US9298993B2 (en) * 2014-02-27 2016-03-29 Xerox Corporation On-street vehicle parking occupancy estimation via curb detection
US9359009B2 (en) * 2014-03-22 2016-06-07 Ford Global Technologies, Llc Object detection during vehicle parking
DE102014205511A1 (de) * 2014-03-25 2015-10-01 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zur anzeige von objekten auf einer fahrzeuganzeige
DE102015202863A1 (de) * 2015-02-17 2016-08-18 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges
JP6613795B2 (ja) * 2015-10-16 2019-12-04 株式会社デンソー 表示制御装置および車両制御装置
DE102015220831A1 (de) * 2015-10-26 2017-04-27 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen von Landmarken für eine Ortsbestimmung für ein bewegliches Objekt sowie Verfahren und Vorrichtung zur Ortsbestimmung für ein bewegliches Objekt
DE102015223471A1 (de) * 2015-11-26 2017-06-01 Bayerische Motoren Werke Aktiengesellschaft System zum Einparken eines Fahrzeugs
JP6724653B2 (ja) * 2015-12-21 2020-07-15 株式会社Jvcケンウッド 車両用表示装置、表示方法および表示プログラム
DE102016205870A1 (de) 2016-04-08 2017-10-12 Robert Bosch Gmbh Verfahren zur Bestimmung einer Pose eines wenigstens teilautomatisiert fahrenden Fahrzeugs in einer Umgebung mittels Landmarken
KR102513745B1 (ko) * 2016-04-15 2023-03-24 주식회사 에이치엘클레무브 운전 지원 장치
CN105721793B (zh) * 2016-05-05 2019-03-12 深圳市歌美迪电子技术发展有限公司 一种驾驶距离校正方法及装置
US10982970B2 (en) * 2016-07-07 2021-04-20 Saab Ab Displaying system and method for displaying a perspective view of the surrounding of an aircraft in an aircraft
US10397089B2 (en) * 2016-08-04 2019-08-27 Here Global B.V. Method and apparatus for using virtual probe points for routing or navigation purposes
US20180152628A1 (en) * 2016-11-30 2018-05-31 Waymo Llc Camera peek into turn
US10282074B2 (en) * 2017-03-10 2019-05-07 GM Global Technology Operations LLC Method and apparatus for enhancing top view image
JP6967603B2 (ja) * 2017-03-17 2021-11-17 ユニティ アイピーアール エイピーエスUnity Ipr Aps 自動化されたカメラコリジョンおよび構図保存のための方法およびシステム
US10339813B2 (en) * 2017-04-17 2019-07-02 GM Global Technology Operations LLC Display control systems and methods for a vehicle
KR20180123354A (ko) * 2017-05-08 2018-11-16 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
GB2565075B (en) * 2017-07-31 2020-05-20 Jaguar Land Rover Ltd Vehicle controller and method
CN108492523A (zh) * 2018-05-21 2018-09-04 四川斐讯信息技术有限公司 一种基于智能穿戴设备的安全防护方法及***
US11373067B2 (en) * 2018-08-10 2022-06-28 Nec Corporation Parametric top-view representation of scenes
DE102018214874B3 (de) * 2018-08-31 2019-12-19 Audi Ag Verfahren und Anordnung zum Erzeugen einer mit Bildinformationen texturierten Umfeldkarte eines Fahrzeugs und Fahrzeug umfassend eine solche Anordnung
EP3626585A1 (en) * 2018-09-21 2020-03-25 Visteon Global Technologies, Inc. Driver assistance system and method for displaying traffic information
CN109472742B (zh) * 2018-10-09 2023-05-23 珠海大轩信息科技有限公司 自动调整融合区域的算法及其实现方法
US11598864B2 (en) 2018-12-27 2023-03-07 Wipro Limited Method and system for testing LiDAR sensors
CN109849936A (zh) * 2019-03-07 2019-06-07 无锡众创未来科技应用有限公司 一种车辆周边局部障碍物地图的生成方法
DE102019105790A1 (de) * 2019-03-07 2020-09-10 Man Truck & Bus Se Kraftfahrzeug mit einer Mehrzahl von Sensoreinrichtungen zur Umfelderfassung
DE102019207303A1 (de) * 2019-05-20 2020-11-26 Robert Bosch Gmbh Verfahren und System zum Erstellen einer Lokalisierungskarte für ein Fahrzeug
CN111652027B (zh) * 2019-09-20 2021-07-02 任元华 无声车辆即时识别平台
DE102020213147A1 (de) 2020-10-19 2022-04-21 Continental Automotive Gmbh Verfahren für ein Kamerasystem sowie Kamerasystem
US11792499B2 (en) 2021-10-21 2023-10-17 Raytheon Company Time-delay to enforce data capture and transmission compliance in real and near real time video
US11696011B2 (en) 2021-10-21 2023-07-04 Raytheon Company Predictive field-of-view (FOV) and cueing to enforce data capture and transmission compliance in real and near real time video
US11700448B1 (en) 2022-04-29 2023-07-11 Raytheon Company Computer/human generation, validation and use of a ground truth map to enforce data capture and transmission compliance in real and near real time video of a local scene
CN116028435B (zh) * 2023-03-30 2023-07-21 深圳市深航华创汽车科技有限公司 行车记录仪的数据处理方法、装置、设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822563B2 (en) * 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US7103460B1 (en) * 1994-05-09 2006-09-05 Automotive Technologies International, Inc. System and method for vehicle diagnostics
JP4615766B2 (ja) * 2000-12-15 2011-01-19 本田技研工業株式会社 駐車支援装置
JP2003102000A (ja) * 2001-09-26 2003-04-04 Clarion Co Ltd 車両後方監視方法、車両後方監視装置及び信号処理装置
DE10250021A1 (de) 2002-10-25 2004-05-13 Donnelly Hohe Gmbh & Co. Kg Verfahren zum Betrieb eines Darstellungssystems in einem Fahrzeug zum Auffinden eines Parkplatzes
US7451041B2 (en) * 2005-05-06 2008-11-11 Facet Technology Corporation Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route
EP1792775B1 (de) * 2005-12-02 2018-03-07 Volkswagen Aktiengesellschaft Kraftfahrzeug mit einem sensor zum erkennen eines hindernisses in einer umgebung des kraftfahrzeuges
DE102008060684B4 (de) 2008-03-28 2019-05-23 Volkswagen Ag Verfahren und Vorrichtung zum automatischen Einparken eines Kraftfahrzeugs
US8305444B2 (en) 2008-11-14 2012-11-06 Toyota Motor Engineering & Manufacturing North America, Inc. Integrated visual display system

Also Published As

Publication number Publication date
US20120087546A1 (en) 2012-04-12
FR2965764B1 (fr) 2015-05-15
FR2965764A1 (fr) 2012-04-13
DE102010042063A1 (de) 2012-01-19
ITMI20111728A1 (it) 2012-04-07
CN102442311A (zh) 2012-05-09
US8712103B2 (en) 2014-04-29
DE102010042063B4 (de) 2021-10-28

Similar Documents

Publication Publication Date Title
CN102442311B (zh) 确定与车辆周边环境有关的编辑的图像数据的方法和设备
CN108417087B (zh) 一种车辆安全通行***及方法
CN107851125B (zh) 通过车辆和服务器数据库进行两步对象数据处理以生成、更新和传送精确道路特性数据库的***和方法
CN107850672B (zh) 用于精确车辆定位的***和方法
US7386394B2 (en) Navigation and inspection system
JP2020115348A (ja) 自律車両ナビゲーションのための疎な地図
US8195386B2 (en) Movable-body navigation information display method and movable-body navigation information display unit
CN107850453A (zh) 匹配道路数据对象以生成和更新精确道路数据库的***和方法
CN108734979A (zh) 交通信号灯检测***及方法
US20140172189A1 (en) Method and control device for providing a course of a road ahead
KR101700681B1 (ko) 공간정보를 이용한 차량 네비게이션의 위치정확도 향상을 위한 영상정보 제공방법 및 그 제공장치
JP4093026B2 (ja) 道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラム
US11082616B2 (en) Overlooking image generation system for vehicle and method thereof
JP2008139320A (ja) 道路環境情報通知装置及び道路環境情報通知プログラム
Cao et al. Amateur: Augmented reality based vehicle navigation system
CN102037327A (zh) 用于产生交叉点视图图像的方法及计算机实施的***
EP4290185A1 (en) Mixed reality-based display device and route guide system
WO2023145402A1 (ja) 交通流計測システムおよび交通流計測方法
US20220390252A1 (en) Use of predefined (pre-built) graphical representations of roads for autonomous driving of vehicles and display of route planning
WO2023145403A1 (ja) 交通流計測システムおよび交通流計測方法
JP2023109019A (ja) 交通流計測システムおよび交通流計測方法
JP2023131981A (ja) 重畳画像表示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant