CN103765439A - 用于环境表示的方法 - Google Patents

用于环境表示的方法 Download PDF

Info

Publication number
CN103765439A
CN103765439A CN201280042239.4A CN201280042239A CN103765439A CN 103765439 A CN103765439 A CN 103765439A CN 201280042239 A CN201280042239 A CN 201280042239A CN 103765439 A CN103765439 A CN 103765439A
Authority
CN
China
Prior art keywords
demonstration group
disparity map
picture point
demonstration
free space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280042239.4A
Other languages
English (en)
Other versions
CN103765439B (zh
Inventor
U·弗兰克
D·普法伊费尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Publication of CN103765439A publication Critical patent/CN103765439A/zh
Application granted granted Critical
Publication of CN103765439B publication Critical patent/CN103765439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种用于环境表示的方法,其中分别拍摄环境(U)的两个图像并借助立体图像处理获得视差图。根据本发明,在所述视差图中通过如下方式识别出无障碍的自由空间(F):使视差图的每个像点根据相应像点的视差值或者被分派给无障碍的地面(B)或者被分派给多个显示组(S1 1至Sn u)之一,其中相同宽度的显示组(S1 1至Sn u)由与图像平面距离相同或相近的像点形成,其中借助一个显示组(S1 1至Sn u)或多个显示组(S1 1至Sn u)使所述环境(U)中位于自由空间(F)外的目标(O1至Ok)被模型化。

Description

用于环境表示的方法
技术领域
本发明涉及一种用于环境表示的方法,其中分别拍摄环境的两个图像并且借助立体图像处理/体视图像处理获取视差图。
背景技术
由文献DE102009009047A1已知用于目标检测的方法,其中分别拍摄环境的两个图像并且借助立体图像处理获取视差图。视差图也称为距离图像(Entfernungsbild)。由获取的视差来确定环境的景深图/高度地图,其中识别自由空间边界线,其划定环境的无障碍的区域。在自由空间边界线之外并且沿着自由空间边界线分割景深图,其方法是适合宽度的显示组(组合成一组的图像元素,Segment)由与图像平面/层相同或相似距离的像素形成。每个显示组的高度被估计为位于在无障碍的区域之外的目标的显示组,从而使每个显示组通过其底点的二维位置(通过与车辆纵轴线的距离和角度给出)以及其高度得到表征。视差图和景深图三维地描述和表示环境。
发明内容
作为本发明的基础的任务在于,提出一种相对于现有技术得到改善的用于环境表示的方法。
该任务按照本发明以具有权利要求1中所给出特征的方法来完成。
本发明有利的设计方案是从属权利要求的主题。
在用于环境表示的方法中分别拍摄环境的两个图像并且借助立体图像处理获取视差图。
按照本发明,在视差图中通过如下方式识别出无障碍的自由空间:使视差图的每个像点根据相应像点的视差值或者被分派给无障碍的地面或者被分派给多个显示组之一。其中相同宽度的显示组由与图像平面距离相同或相近的像点形成,其中借助一个显示组或多个显示组使所述环境中位于自由空间外的目标被模型化。
通过视差图描述的三维环境通过无障碍的自由空间得以近似。该自由空间例如是可行驶的区域,然而其并非必须是绝对平面的。自由空间通过柱状显示组限制,该柱状显示组整体地使包围自由空间的目标模型化。这些显示组在最简单情况下位于地面上并对在相应显示组的区域中的目标的平均高度进行近似。具有变化高度的目标、例如侧面的骑自行车的人便通过分段恒定的高度函数来描述。
也称为“stixel(柱状物建模)”的显示组是对目标的紧凑和鲁棒/稳健的表示,仅需要有限的数据量。对于每个stixel都存储位置和高度。该表示以特别有利的方式适用于必要情况下的随后步骤,例如目标形成和场景解读。“Stixel”表示是在与应用相关的立体分析与应用专有的分析处理之间的理想接口。
与现有技术相比,直接来自于视差图的无障碍自由空间的按照本发明的识别以特别有利的方式实现了:不需要为获得自由空间而额外地获得景深图。由此降低了工作的复杂性并且可以节省处理相关的资源。此外,由于直接由视差图识别出自由空间,所以可以通过全局优化根据可灵活限定的误差范围来获得最优表示。
此外,通过将每个像点或者分派给无障碍的地面或者分派给一个显示组,使得能够在一个图像间隙或图像条中存在多个目标,从而完整地、无缺陷地实现了环境表示。因此也可能的是,“以第二顺序”表示目标。换句话说:因为不是仅仅搜索“最可能的”目标,而是考虑了所有目标,所以不存在大的背景目标遮盖在视差图中更小的和可能重要的目标。
另外,通过按照本发明的方法整体上显著降低了错误的stixel的出现概率并且显著提高了立体分析也就是说立体图像处理的作用范围。该提高特别是在50%至100%的范围中。如果作用范围的提高是不需要的,那么以特别有利的方式可能的是,在获取两个图像的图像获取单元之间的基本宽度是可减小的,从而需要更小的安装空间并且可以实现设计上的优势。
附图说明
在下文中根据附图进一步阐述本发明的实施例。其中:
图1示意地示出根据现有技术的车辆环境的二维示图,其具有无障碍的自由空间和用于使环境中的目标模型化的多个显示组;以及
图2示意地示出根据本发明方法的车辆环境的二维示图,其具有无障碍的自由空间和用于对环境中的目标进行模型化的多个显示组。
具体实施方式
彼此相应的部分在所有附图中设有相同的附图标记。
图1示出根据现有技术的、车辆(未示出)的环境U的二维示图,其具有无障碍的自由空间F和用于使环境U中的目标O1至Ok模型化的多个显示组S1至Sm。
显示组S1至Sm——也称为“stixel”——使目标O1至Ok模型化,所述目标限制了所规定的无障碍的自由空间F。为了建立所示示图而采用由文献DE102009009047A1已知的用于目标检测的方法。
在此,首先分别拍摄环境U的两个图像并且借助立体图像处理获取视差图。由获取的视差确定环境U的景深图。
识别未详细示出的自由空间边界线,该自由空间边界线划定了环境U的无障碍的自由空间F。在自由空间边界线之外并且沿着自由空间边界线以如下方式分割景深图:由与一个图像获取单元或多个图像获取单元的图像平面距离相同或相近的像点——也称为像素——来形成具有预定宽度的显示组S1至Sm。该图像获取单元是摄像机。
所发现的自由空间边界线向具有任意预定宽度的显示组S1至Sm的逼近提供了设计为柱状的所述显示组S1至Sm的距离。在图像获取单元到环境U的取向已知——例如在设有图像获取单元的车辆前方的道路的所示例子中——并且三维走向已知的情况下,在图像中得出显示组S1至Sm的相应的底点。
随后估计每个显示组S1至Sm的高度,从而使每个显示组S1至Sm通过底点的二维位置以及其高度得到表征。
高度的估计在动态编程中借助对在相应显示组S1至Sm的区域中所有三维点的基于直方图的分析处理实现。
不具有显示组S1至Sm的区域是这些其中由自由空间分析没有发现目标O1至Ok的区域。
不利的是,如果在景深图的分析中没有获取到小的或更远的目标O1至Ok,则没有显示组S1至Sm生成。这由此导致:具有少量视差测量值的小的目标O1至Ok仅仅覆盖由噪声提供的小的信号强度。因此对目标O1至Ok的检测可能性随距离(增大)而下降并且在所述的stixel范围中产生“孔”,这是因为无法分派每个像点。
假如在景深图的间隙中在相应的视角下具有多个目标O1至Ok,则算法决定目标O1至Ok中的最近的一个。为了实现对于干扰的鲁棒性,同时发生的单元的证据被一并分析处理。在此,最多可能是视差图的每个间隙有一个显示组S1至Sm,从而以不利的方式被限制到每个间隙一个平面。在罕见的、但是在实际中重要的情况下,可能例如房子掩盖一个位于在其前面的篱笆,从而该篱笆不能被检测到并且因此不再是可见的。因为仅仅表示出了最近的目标O1至Ok,所以不能表示显示组覆盖的目标O1至Ok,例如位于在车辆后面的行人。
此外,显示组S1至Sm必须站立在地面表面B上。这可能对于在一定高度上伸出的目标导致错误的解读。
再者,景深图中的干扰可能导致存在错误的显示组S1至Sm。
图2根据本发明方法示出了与图1相同的环境U的二维示图,该环境具有无障碍的自由空间F和用于使环境U中的目标O1至Ok模型化的多个显示组S1 1至Sn u
与由现有技术已知的根据图1的按照文献DE102009009047A1的方法的不同之处在于,本发明方法不再需要借助景深图的步骤。
虽然,同样首先借助于图像获取单元分别拍摄环境U的两个图像并且借助于立体图像处理获取视差图。图像获取单元是摄像机,然而也可以设计为光混合检测器、三维摄像机、激光雷达和/或雷达。例如对于立体图像处理可以应用在“H.Hirschmüller:Accurate and efficient stereo processingby semi-global matching and mutual information.CVPR2005,SanDiego,CA.Volume2.(June2005),pp.807–814”中描述的方法。
但是,以如下方式直接在视差图中识别无障碍的自由空间F:使视差图的每个像点根据相应像点的视差值或者被分配给无障碍的地面B或者分配给多个显示组S1 1至Sn u之一。所基于的几何上的假设是:通常在多个平面E1至En中存在目标O1至Ok的深度梯级。也就是说存在如下可能:在视差图的间隙中可以示出多个目标O1至Ok。为了能示出该深度梯级,根据在相应间隙中平面E1至En的数量多个显示组S1 1至Sn u叠置地设置在视差图的相关间隙中。在此,符号n说明在视差图的相应间隙中的显示组号码,而符号u、所谓的图像间隙符号说明在视差图中的相应间隙的号码。在示出的实施例中,视差图分为三个平面E1至E3。
自由空间F在此由使目标O1至Ok模型化的显示组S1 1至Sn u界定。因为每个像点都被分派,所以在所谓的stixel范围中不产生“孔”。也就是说,如在示出的实施例中示出的那样,可以使环境U中的所有目标O1至Ok都被表示出,其中显著提高了立体图像处理的有效的作用范围,从而也可以获取更远的目标O1至Ok。
在此,使相同宽度的显示组S1 1至Sn u由与图像获取单元的图像平面距离相同或相近的像点形成,借助该图像获取单元来获取图像。借助显示组S1 1至Sn u又在自由空间F外使目标O1至Ok模型化。在此,每个显示组S1 1至Sn u通过底点的二维位置以及其高度得到表征。也可以替代或附加于所示的垂直设置,使显示组S1 1至Sn u以未详细示出的方式水平地设置。
在同一个间隙中叠置有多个显示组S1 1至Sn u的所示方案中,需要对相应显示组S1 1至Sn u的下棱边和上棱边作出特别精确的分析。也就是说,除了显示组S1 1至Sn u的竖直边界之外也确定其水平边界。
显示组S1 1至Sn u的水平和竖直边界借助能量函数的数学优化由像点的视差值确定。在此,优选使用二次能量函数。然而这不是必要的。
特别优选地,使用动态编程进行数学优化,其中在所述动态编程中相互独立地确定相邻的间隙。由于彼此独立地确定显示组S1 1至Sn u涉及一维问题,该问题借助于动态编程可以特别有效地得以解决。动态编程例如按照“David Gallup,Marc Pollefeys and Jan-Michael Frahm:3dreconstruction using an n-layer heightmap;In:Proc.DAGM,pages1–10,September2010”实施。
为了产生环境U的有表现力的表示,给显示组S1 1至Sn u分派多种多样的属性。为此,在待优化的函数中考虑相应像点的运动信息、待确定目标级的对应关系、灰度值信息和/或颜色信息。此外,确定显示组S1 1至Sn u与一个或多个目标O1至Ok的对应关系,并给所述显示组S1 1至Sn u设置关于其对应关系的信息。
描述在空间中的运动的运动信息优选通过对相应像点的光流(optischen Fluss)进行积分来获取,并被分派给每个显示组S1 1至Sn u作为运动向量,其中为此顺序地获取并且处理多个视差图并且光流由相继的视差图中的变化获取。因此,对于显示组S1 1至Sn u中的每一个估计出真实的运动。相应的方法例如由用于6D版本的工作已知,该工作在文献DE102005008131A1中公开。该运动信息进一步简化了对目标O1至Ok的分组,因为可以检查出一致的/兼容的运动进行检查。
基于对运动信息处理的认识和可能性,也可以表示出运动的情景并且例如将其用于对目标O1至Ok的预期运动进行预测。这种类型的运动跟踪也作为“tracking”是已知的。在此,为了确定显示组S1 1至Sn u的运动而获取车辆自身运动并且对其进行考虑以用于补偿。显示组S1至Sm的紧凑性和鲁棒性由在相应显示组S1 1至Sn u的范围中多个像点的积分以及——在使用tracking时——由在时间上的附加的积分引起。
相应显示组S1 1至Sn u的底点的位置、显示组S1 1至Sn u的高度和运动信息优选借助于所谓的场景流获取。场景流涉及如下种类的方法:由至少两个依次的立体图像对尝试尽可能对于每个像点获取在空间中正确的运动及其三维位置。
显示组S1 1至Sn u具有明确的相邻关系,由此可以将它们非常简单地分组到目标O1至Ok。在最简单的情况下,对于每个显示组S1 1至Sn u可以仅仅传输距离和高度,在显示组S1 1至Sn u的已知宽度下由一个符号产生角度,也就是在图像中的间隙。
所示出的stixel范围——其也是所谓的多层stixel范围——代表在环境U中的几何情况并且以特别的方式也适用于另外的处理步骤。
在此,可以基于所识别出的显示组S1 1至Sn u在车辆中生成用于驾驶员辅助***的信息,在所述车辆上设有用于拍摄图像的图像获取单元。
例如,在自动运动的车辆中根据所确定的自由空间F能用于注意力控制或用于进行规划/计划。
另外,可以估计在车辆与通过显示组S1 1至Sn u表示的目标O1至Ok相撞之前所剩余的时间。此外,可以将行驶通道设置到无障碍自由空间F中,该自由空间应该由车辆利用,其中获取目标O1至Ok中至少一个与行驶通道的侧向间距。
同样地重要的是:识别出特别是运动的目标O1至Ok从而为转弯辅助***、自动行车灯电路、行人保护***和紧急制动***提供支持。
再者,另外的传感器的信息与被分派给显示组S1 1至Sn u的、用于支持驾驶员辅助***的信息在同一个传感器组合***中被组合。为此特别考虑有源传感器,例如激光雷达。
附图标记列表
B 地面
E1 平面
E2 平面
E3 平面
F 自由空间
O1至Ok  目标
S1至Sm 显示组
S1 1至Sn u 显示组
U 环境

Claims (10)

1.一种用于环境表示的方法,其中分别拍摄环境(U)的两个图像并且借助立体图像处理获得视差图,
其特征在于,在所述视差图中通过如下方式识别出无障碍的自由空间(F):使视差图的每个像点根据相应像点的视差值或者被分派给无障碍的地面(B)或者被分派给多个显示组(S1 1至Sn u)之一,其中相同宽度的显示组(S1 1至Sn u)由与图像平面距离相同或相近的像点形成,其中借助一个显示组(S1 1至Sn u)或多个显示组(S1 1至Sn u)使所述环境(U)中位于自由空间(F)外的目标(O1至Ok)被模型化。
2.根据权利要求1所述的方法,其特征在于,如果在视差图的一个间隙中在不同平面(E1至E3)内示出多个目标(O1至Ok),则在视差图的该一个间隙中使多个显示组(S1 1至Sn u)叠置。
3.根据权利要求1或2所述的方法,其特征在于,作为显示组(S1 1至Sn u)的边界相应地确定出侧边界、下边界和上边界。
4.根据权利要求3所述的方法,其特征在于,显示组(S1 1至Sn u)的边界借助于能量函数的数学优化由像点的视差值来确定。
5.根据权利要求4所述的方法,其特征在于,使用二次能量函数。
6.根据权利要求4或5所述的方法,其特征在于,使用动态编程进行数学优化,其中在所述动态编程中相互独立地确定相邻的间隙。
7.根据权利要求3至6之一所述的方法,其特征在于,在确定显示组(S1 1至Snu)的边界时考虑相应像点的运动信息、灰度值信息和/或颜色信息。
8.根据权利要求7所述的方法,其特征在于,依次获得多个视差图并对所述多个视差图进行处理,其中通过对相应像点的光流进行积分而由相继的视差图中的变化获得运动信息并将所述运动信息分派给每个显示组(S1 1至Sn u)作为运动向量。
9.根据上述权利要求之一所述的方法,其特征在于,确定出显示组(S1 1至Sn u)与一个或多个目标(O1至Ok)的对应关系,给显示组(S1 1至Sn u)设置关于其对应关系的信息。
10.根据上述权利要求之一所述的方法,其特征在于,基于显示组(S1 1至Sn u)生成供拍摄图像的图像获取单元所在的车辆中的驾驶员辅助***使用的信息。
CN201280042239.4A 2011-08-30 2012-07-21 用于环境表示的方法 Active CN103765439B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE201110111440 DE102011111440A1 (de) 2011-08-30 2011-08-30 Verfahren zur Umgebungsrepräsentation
DE102011111440.1 2011-08-30
PCT/EP2012/003091 WO2013029722A2 (de) 2011-08-30 2012-07-21 Verfahren zur umgebungsrepräsentation

Publications (2)

Publication Number Publication Date
CN103765439A true CN103765439A (zh) 2014-04-30
CN103765439B CN103765439B (zh) 2017-06-13

Family

ID=46508910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280042239.4A Active CN103765439B (zh) 2011-08-30 2012-07-21 用于环境表示的方法

Country Status (4)

Country Link
US (1) US9042639B2 (zh)
CN (1) CN103765439B (zh)
DE (1) DE102011111440A1 (zh)
WO (1) WO2013029722A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112106059A (zh) * 2018-02-14 2020-12-18 罗伯特·博世有限公司 对车辆的环境进行成像的方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012021617A1 (de) 2012-11-06 2013-05-16 Daimler Ag Verfahren zur Objektdetektion
DE102013200409A1 (de) * 2013-01-14 2014-07-17 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überwachen eines Umfelds eines Fahrzeugs und Verfahren zum Durchführen einer Notbremsung
DE102014007994A1 (de) 2014-06-05 2014-11-27 Daimler Ag Verfahren zur Erkennung von Lichtsignalen von Verkehrsteilnehmern
US9928430B2 (en) * 2015-04-10 2018-03-27 GM Global Technology Operations LLC Dynamic stixel estimation using a single moving camera
JP6326641B2 (ja) * 2015-08-21 2018-05-23 パナソニックIpマネジメント株式会社 画像処理装置および画像処理方法
WO2017090326A1 (ja) * 2015-11-27 2017-06-01 株式会社リコー 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム
US11328822B2 (en) * 2017-02-01 2022-05-10 Conflu3Nce Ltd Multi-purpose interactive cognitive platform
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
KR102054926B1 (ko) * 2018-02-27 2019-12-12 주식회사 만도 Free Space 신호 기반 근거리 컷인 차량 검출 시스템 및 방법
US10678253B2 (en) * 2018-05-24 2020-06-09 GM Global Technology Operations LLC Control systems, control methods and controllers for an autonomous vehicle
DE102019211582A1 (de) * 2019-08-01 2021-02-04 Robert Bosch Gmbh Verfahren zum Erstellen einer Höhenkarte
DE102020208068A1 (de) 2020-06-30 2021-12-30 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Erkennung eines in einem Überwachungsbereich erscheinenden Objekts, Computerprogramm, Speichermedium und Steuereinrichtung
DE102020208066B3 (de) 2020-06-30 2021-12-23 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren Objekterkennung Computerprogramm, Speichermedium und Steuereinrichtung
CN112033351B (zh) * 2020-08-05 2023-03-24 青岛聚好联科技有限公司 基于单目摄像头的距离测定方法及电子设备
DE102021211764A1 (de) 2021-10-19 2023-04-20 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Erkennen eines Hintergrunds einer Verkehrsszene

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005008131A1 (de) 2005-01-31 2006-08-03 Daimlerchrysler Ag Objektdetektion auf Bildpunktebene in digitalen Bildsequenzen
US8428305B2 (en) * 2008-04-24 2013-04-23 GM Global Technology Operations LLC Method for detecting a clear path through topographical variation analysis
DE102009009047A1 (de) 2009-02-16 2010-08-19 Daimler Ag Verfahren zur Objektdetektion

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112106059A (zh) * 2018-02-14 2020-12-18 罗伯特·博世有限公司 对车辆的环境进行成像的方法

Also Published As

Publication number Publication date
US9042639B2 (en) 2015-05-26
CN103765439B (zh) 2017-06-13
DE102011111440A1 (de) 2012-06-28
US20140205184A1 (en) 2014-07-24
DE102011111440A8 (de) 2013-04-04
WO2013029722A2 (de) 2013-03-07
WO2013029722A3 (de) 2013-06-20

Similar Documents

Publication Publication Date Title
CN103765439A (zh) 用于环境表示的方法
JP7485749B2 (ja) ビデオベースの位置決め及びマッピングの方法及びシステム
CN112912920B (zh) 用于2d卷积神经网络的点云数据转换方法和***
CN102317954B (zh) 检测对象的方法
EP3082066B1 (en) Road surface gradient detection device
EP3082068B1 (en) Traveling road surface detection device and traveling road surface detection method
WO2020104423A1 (en) Method and apparatus for data fusion of lidar data and image data
JP4702569B2 (ja) 車両用画像処理装置
JP6201148B2 (ja) キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム
US10165246B2 (en) Method and device for processing stereoscopic data
JP2014138420A (ja) 自律車両用の奥行き検知方法及びシステム
KR101573576B1 (ko) Avm 시스템의 이미지 처리 방법
CN112204614B (zh) 来自非固定相机的视频中的运动分割
CN111627001B (zh) 图像检测方法及装置
CN111295667B (zh) 图像立体匹配的方法和辅助驾驶装置
CN108197590B (zh) 一种路面检测方法、装置、终端及存储介质
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
KR20180059188A (ko) 딥 러닝을 이용한 동적 장애물이 없는 배경 위주의 3차원 지도 생성 방법
US20220398856A1 (en) Method for reconstruction of a feature in an environmental scene of a road
JP6278790B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
US11460855B1 (en) Systems and methods for sensor calibration
JP6398218B2 (ja) 自己位置算出装置及び自己位置算出方法
CN111754388B (zh) 一种建图方法及车载终端
CN115235493B (zh) 一种基于矢量地图进行自动驾驶定位的方法及装置
CN107844749B (zh) 路面检测方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Stuttgart, Germany

Patentee after: Mercedes Benz Group Co.,Ltd.

Address before: Stuttgart, Germany

Patentee before: DAIMLER AG

CP01 Change in the name or title of a patent holder