CN103366156B - 道路结构检测和跟踪 - Google Patents

道路结构检测和跟踪 Download PDF

Info

Publication number
CN103366156B
CN103366156B CN201310120915.1A CN201310120915A CN103366156B CN 103366156 B CN103366156 B CN 103366156B CN 201310120915 A CN201310120915 A CN 201310120915A CN 103366156 B CN103366156 B CN 103366156B
Authority
CN
China
Prior art keywords
line
candidate line
image
bunch
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310120915.1A
Other languages
English (en)
Other versions
CN103366156A (zh
Inventor
W.张
J.王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN103366156A publication Critical patent/CN103366156A/zh
Application granted granted Critical
Publication of CN103366156B publication Critical patent/CN103366156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及道路结构检测和跟踪。一种检测行驶道路中的道路边缘以用于畅通路径检测的方法。在各种时间步帧捕获输入图像。从捕获的图像生成发光强度图像和黄色图像。执行边缘分析。跟踪在下一帧中识别的候选线。根据所跟踪的候选线估计下一帧中的消失点。在下一帧中选择相应的候选线。为每个候选线识别在捕获的图像中的感兴趣区域。从感兴趣区域提取与候选线有关的特征并将其输入到分类器。分类器赋予候选线识别候选线是否为道路边缘的概率的置信度值。如果置信度值大于预定值，则将潜在的候选线识别为可靠的道路边缘。

Description

道路结构检测和跟踪
技术领域
一个实施例大体上涉及识别道路结构以检测行驶的畅通路径。
背景技术
视觉成像***在车辆中用来增强车辆内诸如自动驾驶***或半自动驾驶***的应用。这样的***可用来通过转向***、节流控制、制动控制来自动地或半自动地控制车辆或甚至用于车道偏离报警***。
畅通路径检测***识别在其中操作沿道路行驶的车辆的畅通路径。对行驶路径进行针对包括所有非道路表面的对象的感测，以便车辆可以沿不间断的行驶路径行驶。可以检测图像内的特征并按照其形式和与道路的关系进行分析。然而，此类方法可能由于大量的数据处理而较慢或者不能区分畅通路径特征和非畅通路径特征。此外，为了检测畅通路径而分析整个图像也是耗时的数据处理量巨大的。
发明内容
一个实施例的优点是识别捕获的图像内的道路结构，该图像提供了在其中执行畅通路径检测的目标区域。识别图像内的目标区域不仅加速了用于检测畅通路径的整个处理时间，而且减少了不正确地识别畅通路径的机会或错误报警。本文所述实施例生成用于图像内的线簇的发光强度图像和黄色图像。将来自发光强度图像和黄色图像的线簇合并，并且对合并的线簇执行潜在候选线检测。识别图像中的消失点。执行线跟踪和消失点跟踪以细化消失点和潜在候选线的识别。然后将候选线提供给分类器以便识别候选线是否为道路边缘。然后利用识别的道路边缘来限定道路的边界以有助于畅通路径检测。
一个实施例设想一种检测行驶道路中的道路边缘以用于畅通路径检测的方法。利用图像捕获装置捕获车辆外部的场景的输入图像。在各种时间步帧捕获输入图像。生成来自捕获的图像的变换后的图像。对变换后的图像执行边缘分析以用于检测候选线。在捕获的图像中识别随候选线变化的初始消失点。跟踪在下一帧中识别的候选线。根据所跟踪的候选线估计下一帧中的消失点。选择与下一帧的消失点相关联的下一帧中的相应候选线。为每个候选线识别在捕获的图像中的感兴趣区域。每个感兴趣区域包括相应的候选线和相应的候选线的周围区域。从感兴趣的区域提取与候选线有关的特征。将提取的特征输入到分类器以便识别候选线是否为潜在的道路边缘。分类器赋予候选线置信度值，该值识别候选线是否为道路边缘的概率。根据大于预定值的置信度值而将潜在的候选线识别为可靠的道路边缘。
本发明提供下列技术方案。
技术方案1. 一种检测行驶道路中的道路边缘以用于畅通路径检测的方法，所述方法包括下列步骤：
利用图像捕获装置捕获车辆外部的场景的输入图像，所述输入图像在各种时间步帧被捕获；
从所述捕获的图像生成变换后的图像；
对所述变换后的图像执行边缘分析以用于检测候选线；
在所述捕获的图像中识别随所述候选线变化的初始消失点；
跟踪在下一帧中识别的所述候选线；
根据所述跟踪的候选线估计所述下一帧中的消失点；
选择与所述下一帧的所述消失点相关联的所述下一帧中的相应候选线；
为每个候选线识别在所述捕获的图像中的感兴趣区域，每个感兴趣区域包括相应的候选线和所述相应的候选线的周围区域；
从所述感兴趣的区域提取与所述候选线有关的特征；
将所述提取的特征输入到分类器以便识别所述候选线是否为潜在的道路边缘，所述分类器赋予所述候选线置信度值，所述置信度值识别所述候选线是否为所述道路边缘的概率；以及
根据大于预定值的所述置信度值而将所述潜在的候选线识别为可靠的道路边缘。
技术方案2. 根据技术方案1所述的方法，其中生成变换后的图像包括从所述捕获的图像生成发光强度图像和黄色图像，并且其中对所述发光强度图像和所述黄色图像执行边缘分析以检测候选线。
技术方案3. 根据技术方案2所述的方法，其中对所述发光强度图像和所述黄色图像执行边缘分析包括在每个相应的图像中识别与边缘相关联的像素以及聚集具有基本上类似的梯度角的边缘像素以便检测线簇。
技术方案4. 根据技术方案3所述的方法，其中聚集所述边缘像素进一步基于边缘像素之间的局部连通性，其中局部连通性包括用具有基本上类似的梯度角的连续像素形成连通链。
技术方案5. 根据技术方案3所述的方法，其中在所述发光强度图像和所述黄色图像中识别的所述检测的线簇被合并为组合线簇。
技术方案6. 根据技术方案5所述的方法，其中通过识别所述组合线簇中的亮条而识别所述组合线簇中的所述候选线，所述亮条在整个候选线的宽度上从暗区到亮区到暗区转变，其中所述亮条为代表所述行驶道路中的车道标志的候选线。
技术方案7. 根据技术方案5所述的方法，其中通过识别所述组合线簇中的暗条而识别所述组合线簇中的所述候选线，所述暗条在整个候选线的宽度上从亮区到暗区到亮区转变，其中所述暗条为代表路缘的候选线。
技术方案8. 根据技术方案5所述的方法，其中所述初始消失点在亮条和暗条合并的区域中被确定。
技术方案9. 根据技术方案8所述的方法，其中利用包括在彼此的预定范围内的亮条和暗条的候选线而细化所述初始消失点的位置。
技术方案10. 根据技术方案5所述的方法，其中由在所述组合线簇中具有至少预定长度的线来识别在所述组合线簇中的所述候选线，其中在所述组合线簇内大于预定距离的线被识别为代表所述潜在道路边缘的候选线。
技术方案11. 根据技术方案1所述的方法，其中跟踪所述候选线包括确定所述下一帧中的候选线是否与来自所述上一帧的所述候选线匹配，并且其中如果发现匹配，则在所述下一帧中的相应的匹配候选线被用于估计所述下一帧的所述消失点。
技术方案12. 根据技术方案1所述的方法，其中所述上一帧中的所述消失点被用来限定用于在所述下一帧中的消失点检测的搜索区域。
技术方案13. 根据技术方案1所述的方法，其中为每个候选线识别所述捕获的图像中的感兴趣区域包括选择在所述候选线的每一侧上预定距离的区域。
技术方案14. 根据技术方案1所述的方法，其中所述分类器基于预训练的道路边缘模型，以用于估计相应的候选线是否为随由所述分类器分析的所述提取的特征变化的道路边缘。
技术方案15. 根据技术方案1所述的方法，其中所述分类器包括用于对每个候选线分类的支持向量机。
技术方案16. 根据技术方案1所述的方法，还包括将所述候选线归类到左侧簇和右侧簇中的步骤，其中当相应的候选线与所述捕获的图像内的所述车辆的发动机罩线的左侧相交时所述相应的候选线被归类到所述左侧簇中，其中当相应的候选线与所述捕获的图像内的所述车辆的所述发动机罩线的右侧相交时所述相应的候选线被归类到所述右侧簇中，并且其中所述发动机罩线的所述右侧和所述发动机罩线的所述左侧被沿着所述车辆的中心纵向延伸的中心线分隔。
技术方案17. 根据技术方案16所述的方法，其中在相应的簇内的一组相应的候选线在所述一组候选线满足分组标准时被分组为单个候选线，所述分组标准包括在所述相应的一组候选线之间的最大间距阈值。
技术方案18. 根据技术方案17所述的方法，其中在一组内的候选线中具有最高置信度值的所述组内的相应的候选线被用作用于所述形成的组的所述置信度值。
技术方案19. 根据技术方案1所述的方法，其中还包括将所述识别的道路边缘和对应的置信度图输入到畅通路径检测技术中以用于辅助畅通路径检测的步骤。
技术方案20. 根据技术方案1所述的方法，其中生成变换后的图像包括利用色彩变换以生成作为红信道和绿信道的平均值的图像。
附图说明
图1是整合了畅通路径检测***的车辆的示意图。
图2示出道路结构检测和跟踪技术的宽泛的概述框图。
图3示出用于线检测和消失点检测的方法的流程图。
图4示出道路结构跟踪技术。
图5示出基于学习的道路边缘检测技术。
图6示出识别道路边缘的候选线的图像。
具体实施方式
图1中示出整合了用于识别畅通行驶路径的道路边缘检测***的车辆12。道路边缘检测***包括安装到车辆12的图像捕获装置14。图像捕获装置14与处理单元16通信。
图像捕获装置14可包括捕获行驶道路的图像的摄像机或其它成像装置。图像捕获装置14捕获车辆前方的图像以用来识别行驶的畅通路径。优选地，图像捕获装置14被构造用于进行连续的图像捕获。由图像捕获装置14捕获的图像可存储在图像捕获装置14的存储器中，传递到非车载存储装置，或者可以传递到处理单元16用于分析。此外，可以使用不止一个图像捕获装置，以便向后和/或在车辆两侧捕获图像以用于畅通路径检测。对于全景视图***来说，四个广视野(180度+)摄像机和前视窄视野(~50度)摄像机执行畅通路径检测。可以在分析中使用在车辆后方捕获的图像以用于识别车辆前方的行驶道路中的畅通路径。
捕获的图像优选地为具有已知像素大小的二维图像。该图像包含多个可识别的像素。每一个像素包括对应于表示色彩强度值的预定色彩表上的色彩的一组位。
如图1所示的处理单元16为单个单元；然而，应当理解，处理单元16的功能可由在软件、硬件和/或专用集成电路中实现的一个或多个装置来执行。处理单元16可以是通用处理器、包括中央微处理器或中央处理器的数字计算机、ASIC、或具有非易失性存储器的其它处理模块、只读存储器、可编程只读存储器、RAM、模数转换电路、数模转换电路、输入/输出电路、缓冲能力和诸如数字信号处理的合适信号调节。处理单元16设计成利用来自本文所述装置以及车辆内的其它装置或***的输入执行算法。
处理单元16确定捕获的图像中的畅通路径。畅通路径被用来沿行驶道路引导车辆。处理单元16可执行如上所述引导功能，或者可以将结果传递到执行引导功能的第二应用。
图2示出用来识别道路边缘的道路结构检测和跟踪技术的宽泛概述的框图，该道路边缘用作边界以用于识别有助于畅通路径检测技术的区域。视频输入模块20联接到线聚集和消失点检测模块22与消失点和线跟踪模块24。
视频输入模块20包括图像捕获装置，该装置捕获在识别畅通行驶路径中使用的车辆前方和/或后方的图像。捕获的图像包括行驶道路和有助于识别道路边界的特征。
线聚集和消失点检测模块22基于消失点检测和线聚集而识别捕获的图像内的候选线。
消失点和线跟踪模块24跟踪在上一帧中检测到的道路结构的候选线并跟踪下一帧中的道路结构。消失点和线跟踪模块24与线聚集和消失点检测模块22协同地通信和交换信息以用于识别潜在的候选道路结构。
来自线聚集和消失点检测模块22的结果被输出到基于学习的道路边缘检测模块26。基于学习的道路边缘检测模块26基于预训练的道路边缘模型对识别的道路结构执行分类以便输出关于道路边缘的可靠决策。
图3示出了示出用于执行线检测和消失点检测的过程的流程图。在步骤30中，分析来自捕获的视频的图像帧。将选定的帧传输到用于独立的图像处理的两个不同的信道以便检测潜在的候选线。本文所定义的候选线是指潜在的道路边缘，其包括但不限于车道标志、路缘、草地边缘、砾石边缘、或限定道路或车道的边界的任何其它特征。
在步骤31中，将选定的图像传输到第一信道以便将该图像变换为发光强度图像。
在步骤32中，对发光强度图像执行边缘分析和线聚集。边缘分析和线聚集技术将基于边缘的过滤器应用于捕获的图像的特征以便通过在捕获的图像内生成差异化的响应而增强相应的候选线的边缘检测。差异化的响应有助于区分与候选线(例如，车道标志)相关联的像素和与非候选线(例如，无标记的地面区段)相关联的像素。将边缘过滤器(例如，Sobel过滤器)应用于发光强度图像以获得竖直和水平梯度，然后使用这些梯度来确定梯度量值和梯度角。将每个像素的梯度量值与阈值比较以提取具有大于预定阈值的梯度量值的边缘点。边缘分析在图像数据中识别与边缘相关联的像素，然后利用图像中的边缘像素来确定潜在的候选线。
为了基于像素的发光强度将与潜在的车道标志或路缘相关联的潜在像素分组，边缘像素的线聚集被利用。线聚集涉及逐一扫描边缘像素。对于每个边缘像素来说，对相应的像素的周围区域进行搜索以找到具有与该相应像素类似的梯度角的其它边缘像素。将具有类似梯度角的像素聚集在一起并赋予相同的线索引。在对每个像素进行扫描和分组之后，提取具有相应的长度和竖直方向扩散的线组并将其识别为潜在的线簇以便进一步处理。水平线不处理，因为这样的线不可能是道路结构的组件。
在步骤33中，将初始捕获的输入图像从RGB或Yuv彩色图像变换为黄色图像。初始捕获的输入图像内的每个像素基于红绿蓝(RGB)或Yuv (YCbCr)色彩模型。选择和利用黄色图像是因为在灰度图像中黄色车道标志和道路表面之间的低对比度(因为两者具有类似的强度)，这使得黄色的车道标志不容易被检测。为了检测黄色车道标志，使用相应的变换，这增强了黄色车道标志和道路表面之间的对比度。变换使得浅灰色或淡蓝色的道路表面更暗，而淡黄色的车道标志则更亮。结果，黄色车道标志在变换后的图像中表现为亮条。可以使用备选算法，该算法仅利用一个变换后的图像来代替发光强度图像和黄色图像。使用作为红信道和绿信道的平均值的变换后的图像信道，这可以检测所有车道标志和暗条，并且通过取消一个信道处理和线簇合并步骤而节省处理时间。
在步骤34中，对在步骤33中识别的黄色图像执行边缘分析和线聚集。此处使用如在步骤32中描述的用于边缘分析和线聚集的相同技术。
在步骤35中，将从发光强度图像和黄色图像识别的线簇合并。也就是说，从发光强度图像和黄色图像检测的线簇可具有某些重叠，这意味着可以在两个图像中检测到一根线。因此，将检测的线簇合并以形成包括从这两个图像检测到的所有线且消除冗余线检测的一个线簇。为了合并相应的线簇，检查在来自一簇(黄色图像线簇)的每个线与来自另一簇(强度图像线簇)的线之间的线距离和线梯度角相似性。如果每个簇彼此很接近，并且两个簇在梯度角方面基本上相同，则执行向一个线簇的合并。通过将两个图像用于线检测并且在执行线簇合并之后，应该检测到在正常道路场景中属于道路的所有线。诸如下列的所有以下道路结构线检测和跟踪以及消失点检测和跟踪都基于这种合并的线簇：用于潜在车道标志的“亮条”、用于潜在路缘的“暗条”、以及用于其它潜在的道路边缘或道路线的“长线”。
在步骤36中，将亮线条检测和暗线条检测应用于合并的线簇。亮线条代表潜在的车道标志，而暗线条代表潜在的路缘。道路上的线通常具有某些特定属性。例如，车道标志通常是在侧面具有两个平行的结合线的白色或黄色的窄条(短的或长的)，并且比周围的道路表面更亮。路缘可具有在竖直表面(垂直于道路地面)上的自身阴影，该阴影比周围表面更暗。在一些高速公路和乡村道路上，道路边缘通常由在道路表面和非道路表面(即，草地、沙土或植物)之间的过渡边缘限定。该过渡边缘通常由平行于道路车道取向的单个长线表示。在结构化道路上，车道由上述车道标志、路缘或其它道路边缘限定，这些道路边缘均平行于道路取向且在等于车道宽度的一定距离处被隔开。为了确定道路结构，需要检测捕获的图像中作为车道标志、路缘和其它道路边缘的候选项的亮条、暗条和长线。
对于在合并的线簇中的每个检测到的线来说，平均梯度(在线上的所有像素中)表示从线的一侧向另一侧的强度转变的角度和量值。亮条具有暗-亮-暗的转变。因此，如果两个线紧靠(接近车道标志宽度)、彼此基本上平行(在地平面上)并且具有面朝外的相反的梯度，则这两个线形成结合可能是候选车道标志的亮条的线对。类似地，暗条具有亮-暗-亮的转变。如果靠近的基本上平行的线对具有面向内的相反的梯度，则其结合可能是候选路缘的暗条。
在步骤37中，也可以识别捕获的图像中的长线。如果确定检测到的线具有在图像中延伸相当大的距离的长度，则存在候选线是与道路结构相关联的线的指示。单个长线被限定为在投影的地平面上在y轴线中(假设车辆前进方向与道路取向相同)伸展长距离的线，并且不具有靠近且具有相反梯度的相邻线。这些单一的长线可以是某些道路边缘的候选项。
在步骤38中，基于候选线结果识别消失点。基于所识别的亮条和长暗条而估计初始消失点。此外，识别其它暗条和单一的长线以细化消失点。选择紧邻估计的初始消失点结束的线以便细化消失点。因此，基于如本文所述检测到的线识别道路结构。
图4示出道路结构跟踪技术。在步骤40中，在上一帧中检测到的道路结构被用来跟踪当前帧中的线和消失点。也就是说，在当前帧中跟踪被发现紧邻上一帧的估计的消失点的线和消失点。因此，在上一帧中经过消失点的线和消失点被用来限定在当前帧中的搜索区域以便识别下一帧中的消失点。
在步骤41中，选择当前帧以用于分析下一时间步帧的捕获的图像。变换彩色图像以获得发光强度图像和黄色图像。
在步骤42中，从发光强度图像和黄色图像识别线簇。然后合并候选线簇。
在步骤43中，除了单一长线之外，在下一帧中还检测对称的线对。
在步骤44中，将下一帧中的线与上一帧中检测到的线(来自步骤40)进行比较。与在上一帧中过消失点的线匹配的下一帧中的线将被识别为用于消失点估计的候选项。应当理解，道路结构不应从一帧向下一帧突然改变(以高的帧速率(>=10fps)和/或具有自车移动补偿（self-vehicle movement compensation）)。因此，当前帧中检测到的道路结构能有助于在下一帧中的道路结构检测。例如，消失点检测可以被约束在上一帧中检测到的消失点的小的相邻区域中。此外，如果在上一帧中过VP(消失点)的线与当前帧中位置上接近的线匹配并且具有类似的特征，则当前帧中的该匹配线将是上一帧中过VP线的成功跟踪，并且在当前帧中用于消失点检测和道路边缘检测。除了有助于道路结构检测之外，跟踪也可以提高道路结构检测精度/置信度。例如，在几个连续的帧中检测到并成功跟踪的道路边缘线比仅出现在一个帧中的线更可能是真实道路边缘。
在步骤45中，上一帧中的消失点被用来限定下一帧中的搜索区域。也就是说，靠近上一帧的消失点的捕获的图像内的区域被用来细化用于下一帧中的估计消失点的搜索区域。由于下一帧的消失点不应与上一帧变化太大，要求下一帧中的估计消失点在离上一帧中的消失点相应的范围内防止误识别在远离上一消失点的某个位置处的消失点的偏差的结果。
消失点(VP)跟踪实施如下。在上一帧中检测到的VP的位置(u,v)被定义为当前帧中的VP的初始位置。围绕初始VP位置的小的搜索窗口被定义为VP检测区域。对落入该区域的所有VP候选项进行评价。每个VP候选项与基于交叉线数量和线长度计算的得分相关联。具有最高得分且落入窗口中的VP候选项被检测为消失点。通过限定初始位置和搜索窗口，VP跟踪排除了落在搜索窗口以外的所有线交叉点，并且因此减少了处理时间并改善了VP检测的鲁棒性。
过VP线的跟踪实施如下。将过VP线与检测到的线簇中的每个线进行比较。每个线对的匹配得分被定义为其距离、梯度角和线取向相似度的函数。相比必须通过亮条和暗条/长线检测来选择用于VP和道路结构检测的车道候选项的道路结构检测，道路结构跟踪中的成功的跟踪线被直接选作用于VP估计和道路结构检测的候选线。
道路结构跟踪不是道路结构检测的替代方式。相反，跟踪和检测两者在每个后续的帧中用来彼此互补。跟踪可以帮助选择候选线并提高其置信度，并且细化消失点搜索区域以节省VP检测努力，而检测则找到要跟踪的线和消失点。从图4中的道路结构跟踪技术生成的结果作为反馈提供给图3中描述的道路结构检测技术，反之亦然。上一帧的道路结构检测技术的检测结果被道路结构跟踪技术用来估计下一帧的消失点。此外，道路结构跟踪技术的跟踪结果被用作识别下一帧中的道路结构线的依据。
道路线聚集和消失点检测技术的结果被提供给基于学习的道路边缘检测模块。图5示出了基于学习的道路边缘检测技术。
在步骤50中，将消失点候选项和候选线输入到通过道路线聚集和消失点检测技术确定的基于学习的道路边缘检测模块。
在步骤51中，对于下一帧的图像内的每个识别的线来说，相对于包括该线和周围区域的区域而识别图像中感兴趣的区域。该区域被识别为图像补丁并且可以是诸如矩形的包含所选线的任何类型的边界。应当理解，该边界不限于矩形，而可以是充分包围所选线和周围区域的形状。图6示出了候选线的一个示例。
在步骤52中，提取在感兴趣区域内的图像补丁的特征。
在步骤53中，基于使用预训练的道路边缘模型(即分类器)而执行对图像补丁内的特征的分类。分类识别相应的特征是否为道路边缘。分类可通过选择用来在识别为道路边缘或不是道路边缘之间提供平衡的参数而执行。应当理解，如本文所用的道路边缘旨在包括车道标志、路缘和限定道路边界的其它道路结构或标志。分类器可以是任何分类器，包括但不限于支持向量机或神经网络训练程序。
在步骤54中，候选线被归类到右簇和左簇中。将候选线归类到每个簇中可以基于每个候选线相对于在图像的底部上表示车辆发动机罩线的选定水平行的相交位置。也就是说，图像的底部线(行)被用于左线簇和右线簇的分组。每个检测到的道路结构线被延长至在图像的底部线处相交。将相交位置与竖直延伸的假想车辆中心线相比较，该中心线被假设为在图像的中间。如果某个线在假想中心线左侧上相交，并且其到中心线的距离大于车辆宽度的一半(车辆不应在道路边缘以外)，则将相应的线分组到左边缘候选簇中。类似地，如果某个线在假想中心线右侧上相交，并且其到中心线的距离大于车辆宽度的一半，则将相应的线分组到右边缘候选簇中。
在步骤55中，紧邻彼此的候选线被分组为单个道路边缘。每个相应的候选道路边缘具有提供是否为道路边缘的置信度值的分类概率。置信度值优选地基于0至1的范围。赋予每个相应的候选道路边缘的置信度值由分类器来分配。在一组道路边缘内，在该组内具有最大分类概率的相应的道路边缘被用作所形成的组的置信度值。
在步骤56中，在左簇和/或右簇中具有大于预定置信度阈值的置信度值的道路边缘被识别为可靠的道路边缘。优选地，使用大于0.95的预定置信度阈值。然而，可以使用除0.95之外的预定置信度阈值。
图6示出了在捕获的图像中高亮的候选道路边缘70-76的示例。候选线中的每一个将具有相关联的置信度值。每个线将被识别为在右簇或左簇中。例如，候选线70和71位于车辆的左侧并且被聚集在左侧簇中。候选线72-76位于车辆的右侧并且被聚集在右侧簇中。底部线77和中心线78被用来确定相应的候选线是否应分组到左簇或右簇中。底部线77表示在图像中的车辆发动机罩线以用于识别与相应的候选线的交点的位置。中心线78表示竖直延伸的车辆中心线，该线被假设为在图像的中间。
图6中还显示，在左侧簇中，仅候选线70与图像的底部线77相交，这是道路边缘的可靠指示。参考右侧簇，线72-74与底部线77相交。应当理解，虽然线71和75如图所示由于摄像机的视野有限而在捕获的图像以外的位置处与底部线77相交，但线71和75应被添加到左簇和右簇中。
诸如路缘的道路边缘可包括由道路结构模块检测的几个线。每个线以及其对应的相邻区域自身不能很好地代表路缘。相反，一组线及其周围的区域将涵盖从道路表面到路缘以外的非道路表面的整个道路边缘过渡。这种分组也提供了比在其相应的组中的任何线更准确的道路边缘定位，这可以有助于在后续帧中的道路边缘跟踪和检测。
为了将属于单个道路边缘的边缘候选线分组，检查在每个潜在的分组线之间的距离和它们的取向相似度，以及它们的分类概率。如果发现两个或更多个线非常靠近(例如，在地平面上<0.5m)并且基本上平行，则满足上述标准的相应的线中的每一个被分组到一个道路边缘候选项中，并且它们的相邻区域被分组到一个相邻区域中。从分组的相邻区域中提取相应的特征并将其输入到道路边缘分类模块中以对其道路边缘概率求精。
图6示出了该示例，对于右侧簇来说，并且更具体地对于候选线72-74来说，由于相应的候选线中的每一个彼此紧邻，候选线72-74被分组为单个道路边缘。此外，候选线72-74各自具有指示候选线为道路边缘的概率的不同的置信度值。当分组为单个道路边缘时，该组整体上将使用相对于该组中的所有置信度线具有最高置信度值的该组内的相应候选线的相应置信度值。为了将属于单个道路边缘的边缘候选线分组，检查在每个潜在的分组线之间的距离和它们的取向相似度，以及它们的分类概率。如果发现两个或更多个线非常靠近(例如，在地平面上<0.5m)并且基本上平行，则满足上述标准的相应的线中的每一个被分组到一个道路边缘候选项中，并且它们的相邻区域被分组到一个相邻区域中。例如，候选线72可具有0.92的置信度值，候选线73可具有0.97的置信度值，并且候选线74可具有0.94的置信度值。当被分组为单个道路边缘时，该组将使用0.97的置信度值，该值是在被分组的相应候选线中最高的置信度值。因此，将从基于学习的道路边缘检测模块中选择来自右侧簇和/或左侧簇的候选线作为具有大于诸如0.95的阈值的置信度值的可靠道路边缘。
所选的可靠道路边缘将被用来确定道路区域，以便可以识别行驶道路内的畅通路径。这样减少了畅通路径检测的错误报警。通过识别捕获的图像中的道路边界，被识别为在检测到的道路边缘边界内部的畅通路径区域的区域被赋予较高置信度，而在检测到的道路边缘边界以外的区域被赋予较低的置信度。这使畅通路径检测***能通过使用识别的道路边缘边界而细化畅通路径检测结果。
虽然已详细描述了本发明的某些实施例，但本发明所涉及的领域的技术人员将会知道用于实践由以下权利要求限定的本发明的各种备选设计和实施例。

Claims (20)

1.一种检测行驶道路中的道路边缘以用于畅通路径检测的方法，所述方法包括下列步骤：
利用图像捕获装置捕获车辆外部的场景的输入图像，所述输入图像在各种时间步帧被捕获；
从所述捕获的图像生成变换后的图像；
对所述变换后的图像执行边缘分析以用于检测候选线；
在所述捕获的图像中识别随所述候选线变化的初始消失点；
跟踪在下一帧中识别的所述候选线；
根据所述跟踪的候选线估计所述下一帧中的消失点；
选择与所述下一帧的所述消失点相关联的所述下一帧中的相应候选线；
为每个候选线识别在所述捕获的图像中的感兴趣区域，每个感兴趣区域包括相应的候选线和所述相应的候选线的周围区域；
从所述感兴趣的区域提取与所述候选线有关的特征；
将所述提取的特征输入到分类器以便识别所述候选线是否为潜在的道路边缘，所述分类器赋予所述候选线置信度值，所述置信度值识别所述候选线是否为所述道路边缘的概率；以及
根据大于预定值的所述置信度值而将所述潜在的候选线识别为可靠的道路边缘。
2.根据权利要求1所述的方法，其中生成变换后的图像包括从所述捕获的图像生成发光强度图像和黄色图像，并且其中对所述发光强度图像和所述黄色图像执行边缘分析以检测候选线。
3.根据权利要求2所述的方法，其中对所述发光强度图像和所述黄色图像执行边缘分析包括在每个相应的图像中识别与边缘相关联的像素以及聚集具有类似的梯度角的边缘像素以便检测线簇。
4.根据权利要求3所述的方法，其中聚集所述边缘像素进一步基于边缘像素之间的局部连通性，其中局部连通性包括用具有类似的梯度角的连续像素形成连通链。
5.根据权利要求3所述的方法，其中在所述发光强度图像和所述黄色图像中识别的所述检测的线簇被合并为组合线簇。
6.根据权利要求5所述的方法，其中通过识别所述组合线簇中的亮条而识别所述组合线簇中的所述候选线，所述亮条在整个候选线的宽度上从暗区到亮区到暗区转变，其中所述亮条为代表所述行驶道路中的车道标志的候选线。
7.根据权利要求5所述的方法，其中通过识别所述组合线簇中的暗条而识别所述组合线簇中的所述候选线，所述暗条在整个候选线的宽度上从亮区到暗区到亮区转变，其中所述暗条为代表路缘的候选线。
8.根据权利要求5所述的方法，其中所述初始消失点在亮条和暗条合并的区域中被确定。
9.根据权利要求8所述的方法，其中利用包括在彼此的预定范围内的亮条和暗条的候选线而细化所述初始消失点的位置。
10.根据权利要求5所述的方法，其中由在所述组合线簇中具有至少预定长度的线来识别在所述组合线簇中的所述候选线，其中在所述组合线簇内大于预定距离的线被识别为代表所述潜在道路边缘的候选线。
11.根据权利要求1所述的方法，其中跟踪所述候选线包括确定所述下一帧中的候选线是否与来自上一帧的所述候选线匹配，并且其中如果发现匹配，则在所述下一帧中的相应的匹配候选线被用于估计所述下一帧的所述消失点。
12.根据权利要求1所述的方法，其中上一帧中的所述消失点被用来限定用于在所述下一帧中的消失点检测的搜索区域。
13.根据权利要求1所述的方法，其中为每个候选线识别所述捕获的图像中的感兴趣区域包括选择在所述候选线的每一侧上预定距离的区域。
14.根据权利要求1所述的方法，其中所述分类器基于预训练的道路边缘模型，以用于估计相应的候选线是否为随由所述分类器分析的所述提取的特征变化的道路边缘。
15.根据权利要求1所述的方法，其中所述分类器包括用于对每个候选线分类的支持向量机。
16.根据权利要求1所述的方法，还包括将所述候选线归类到左侧簇和右侧簇中的步骤，其中当相应的候选线与所述捕获的图像内的所述车辆的发动机罩线的左侧相交时所述相应的候选线被归类到所述左侧簇中，其中当相应的候选线与所述捕获的图像内的所述车辆的所述发动机罩线的右侧相交时所述相应的候选线被归类到所述右侧簇中，并且其中所述发动机罩线的所述右侧和所述发动机罩线的所述左侧被沿着所述车辆的中心纵向延伸的中心线分隔。
17.根据权利要求16所述的方法，其中在相应的簇内的一组相应的候选线在所述一组候选线满足分组标准时被分组为单个候选线，所述分组标准包括在所述相应的一组候选线之间的最大间距阈值。
18.根据权利要求17所述的方法，其中在一组内的候选线中具有最高置信度值的所述组内的相应的候选线被用作用于所述组的所述置信度值。
19.根据权利要求1所述的方法，其中还包括将所述识别的道路边缘和对应的置信度图输入到畅通路径检测技术中以用于辅助畅通路径检测的步骤。
20.根据权利要求1所述的方法，其中生成变换后的图像包括利用色彩变换以生成作为红信道和绿信道的平均值的图像。
CN201310120915.1A 2012-04-09 2013-04-09 道路结构检测和跟踪 Active CN103366156B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/441,963 US8750567B2 (en) 2012-04-09 2012-04-09 Road structure detection and tracking
US13/441,963 2012-04-09
US13/441963 2012-04-09

Publications (2)

Publication Number Publication Date
CN103366156A CN103366156A (zh) 2013-10-23
CN103366156B true CN103366156B (zh) 2016-08-17

Family

ID=49290315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310120915.1A Active CN103366156B (zh) 2012-04-09 2013-04-09 道路结构检测和跟踪

Country Status (3)

Country Link
US (1) US8750567B2 (zh)
CN (1) CN103366156B (zh)
DE (1) DE102013205950B4 (zh)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130202155A1 (en) * 2012-02-03 2013-08-08 Gopal Gudhur Karanam Low-cost lane marker detection
US9633436B2 (en) * 2012-07-26 2017-04-25 Infosys Limited Systems and methods for multi-dimensional object detection
US9224053B1 (en) * 2013-07-31 2015-12-29 Google Inc. Combining multiple estimates of an environment into a consolidated estimate for an autonomous vehicle
KR20150059489A (ko) * 2013-11-22 2015-06-01 현대자동차주식회사 협로 검출 방법과 협로 검출 장치 및 협로 검출 시스템
US9395192B1 (en) 2013-12-20 2016-07-19 Google Inc. Methods and systems for road and lane boundary tracing
JP2015121954A (ja) * 2013-12-24 2015-07-02 株式会社デンソー 輝度値算出装置及び車線検出システム
KR101962700B1 (ko) * 2013-12-24 2019-03-28 주식회사 만도 디포그센서를 이용한 차선인식 시스템 및 방법
KR101605514B1 (ko) * 2014-02-28 2016-04-01 주식회사 코아로직 차선 인식 장치 및 방법
FR3019508B1 (fr) * 2014-04-08 2017-12-08 Alstom Transp Tech Procede de detection de rails sur lesquels circule un vehicule ferroviaire
JP6130809B2 (ja) * 2014-04-25 2017-05-17 本田技研工業株式会社 車線認識装置
GB201410612D0 (en) * 2014-06-13 2014-07-30 Tomtom Int Bv Methods and systems for generating route data
CN104063711B (zh) * 2014-06-23 2018-04-06 西北工业大学 一种基于K‑means方法的走廊消失点快速检测算法
JP6193819B2 (ja) * 2014-07-11 2017-09-06 株式会社Ｓｏｋｅｎ 走行区画線認識装置
US9628659B2 (en) * 2015-01-08 2017-04-18 GM Global Technology Operations LLC Method and apparatus for inspecting an object employing machine vision
CN104766337B (zh) * 2015-04-27 2017-10-20 西北工业大学 一种基于跑道边界增强的飞机着陆视觉增强方法
DE102016205780A1 (de) 2016-04-07 2017-10-12 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Einstellen eines Reglers eines Fahrzeugs sowie Regelungssystem für ein Fahrzeug
US9969389B2 (en) * 2016-05-03 2018-05-15 Ford Global Technologies, Llc Enhanced vehicle operation
US10670418B2 (en) * 2016-05-04 2020-06-02 International Business Machines Corporation Video based route recognition
US9881230B2 (en) 2016-05-11 2018-01-30 International Business Machines Corporation System and method for automated road identification in distant traffic camera images
US10108866B2 (en) * 2016-05-26 2018-10-23 GM Global Technology Operations LLC Method and system for robust curb and bump detection from front or rear monocular cameras
EP3291133B1 (en) * 2016-08-31 2021-09-29 Veoneer Sweden AB Vision system and method for a motor vehicle
EP3529742A1 (en) * 2016-10-24 2019-08-28 Starship Technologies OÜ Sidewalk edge finder system and method
KR102480416B1 (ko) * 2016-12-23 2022-12-23 삼성전자주식회사 차선 정보를 추정하는 방법 및 전자 장치
US10421452B2 (en) * 2017-03-06 2019-09-24 GM Global Technology Operations LLC Soft track maintenance
CN107220976B (zh) * 2017-05-17 2020-11-20 南京航空航天大学 一种航拍公路图像的公路定位方法
WO2018217193A1 (en) 2017-05-24 2018-11-29 Google Llc Bayesian methodology for geospatial object/characteristic detection
KR102499398B1 (ko) * 2017-08-09 2023-02-13 삼성전자 주식회사 차선 검출 방법 및 장치
CN109583280A (zh) * 2017-09-29 2019-04-05 比亚迪股份有限公司 车道线识别方法、装置、设备及存储介质
US10895460B2 (en) * 2017-11-06 2021-01-19 Cybernet Systems Corporation System and method for generating precise road lane map data
EP3480726B1 (en) 2017-11-07 2023-09-13 Arriver Software AB A vision system and method for autonomous driving and/or driver assistance in a motor vehicle
JP6981850B2 (ja) * 2017-11-09 2021-12-17 株式会社Soken 運転支援システム
CN107895151A (zh) * 2017-11-23 2018-04-10 长安大学 一种强光照条件下基于机器视觉的车道线检测方法
CN108171682B (zh) * 2017-12-04 2022-04-19 北京中科慧眼科技有限公司 基于远景的双目同步曝光率检测方法、***及存储介质
CN110019872B (zh) * 2017-12-21 2023-08-22 佳能株式会社 索引装置和方法、对象图像检索装置和方法以及监视***
CN110377670B (zh) * 2018-04-11 2021-11-26 腾讯大地通途（北京）科技有限公司 一种确定道路要素信息的方法、装置、介质及设备
CN109034047B (zh) * 2018-07-20 2021-01-22 京东方科技集团股份有限公司 一种车道线检测方法及装置
CN109272536B (zh) * 2018-09-21 2021-11-09 浙江工商大学 一种基于Kalman滤波的道线灭点跟踪方法
US11199847B2 (en) * 2018-09-26 2021-12-14 Baidu Usa Llc Curvature corrected path sampling system for autonomous driving vehicles
US11068724B2 (en) * 2018-10-11 2021-07-20 Baidu Usa Llc Deep learning continuous lane lines detection system for autonomous vehicles
KR102633140B1 (ko) 2018-10-23 2024-02-05 삼성전자주식회사 주행 정보를 결정하는 방법 및 장치
JP7136663B2 (ja) * 2018-11-07 2022-09-13 日立Astemo株式会社 車載制御装置
US11287267B2 (en) 2019-03-13 2022-03-29 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11255680B2 (en) 2019-03-13 2022-02-22 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11402220B2 (en) 2019-03-13 2022-08-02 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11096026B2 (en) 2019-03-13 2021-08-17 Here Global B.V. Road network change detection and local propagation of detected change
US11280622B2 (en) 2019-03-13 2022-03-22 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11287266B2 (en) 2019-03-13 2022-03-29 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
CN113785302A (zh) * 2019-04-26 2021-12-10 辉达公司 自主机器应用中的路口姿态检测
KR20210034253A (ko) 2019-09-20 2021-03-30 삼성전자주식회사 위치 추정 장치 및 방법
GB2589902A (en) * 2019-12-12 2021-06-16 Continental Automotive Romania Srl Lane detection method
CN111325770B (zh) * 2020-02-13 2023-12-22 中国科学院自动化研究所 基于rgbd相机的目标跟随方法、***、装置
JP7458940B2 (ja) * 2020-09-01 2024-04-01 日立Astemo株式会社 画像処理装置
JP2022060118A (ja) * 2020-10-04 2022-04-14 株式会社Subaru 区画線認識装置
CN112132109A (zh) * 2020-10-10 2020-12-25 北京百度网讯科技有限公司 车道线处理和车道定位方法、装置、设备及存储介质
CN112433203B (zh) * 2020-10-29 2023-06-20 同济大学 一种基于毫米波雷达数据的车道线形检测方法
EP4298867A1 (en) * 2021-02-26 2024-01-03 Valeo Vision Method for controlling an automotive lighting device
WO2023056126A1 (en) * 2021-09-29 2023-04-06 Canoo Technologies Inc. Vanishing point determination, symmetry-based boundary refinement, and component detection for vehicle object detection or other applications
US12033340B2 (en) * 2022-03-24 2024-07-09 Honda Motor Co., Ltd. System, information processing apparatus, vehicle, and method
CN114724117B (zh) * 2022-06-07 2022-09-13 腾讯科技（深圳）有限公司 车道线关键点数据生成方法、装置、电子设备及存储介质
DE102022115720A1 (de) 2022-06-23 2023-12-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Assistenzsystem für eine informationsfilterbasierte Fahrschlauchschätzung eines Kraftfahrzeugs

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339616A (zh) * 2008-08-12 2009-01-07 北京中星微电子有限公司 道路识别方法及装置
CN101620732A (zh) * 2009-07-17 2010-01-06 南京航空航天大学 道路行驶线的视觉检测方法
CN101630412A (zh) * 2008-07-18 2010-01-20 通用汽车环球科技运作公司 基于相机的车道标志检测
CN102156977A (zh) * 2010-12-22 2011-08-17 浙江大学 一种基于视觉的道路检测方法
CN102227758A (zh) * 2008-11-28 2011-10-26 日立汽车***株式会社 摄像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4016735B2 (ja) * 2001-11-30 2007-12-05 株式会社日立製作所 レーンマーク認識方法
JP4852919B2 (ja) * 2005-07-25 2012-01-11 アイシン・エィ・ダブリュ株式会社 車両乗上制御システム及び車両乗上制御方法
US7835578B2 (en) * 2006-04-19 2010-11-16 Sarnoff Corporation Automated video-to-text system
US8145677B2 (en) * 2007-03-27 2012-03-27 Faleh Jassem Al-Shameri Automated generation of metadata for mining image and text data
EP2195688B1 (en) * 2007-08-30 2018-10-03 Valeo Schalter und Sensoren GmbH Method and system for weather condition detection with image-based road characterization
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
DE102010050167B4 (de) * 2010-10-30 2012-10-25 Audi Ag Verfahren und Vorrichtung zur Bestimmung eines plausiblen Fahrstreifens zur Führung eines Fahrzeugs sowie Kraftwagen
DE102011109569A1 (de) * 2011-08-05 2013-02-07 Conti Temic Microelectronic Gmbh Verfahren zur Fahrspurerkennung mittels einer Kamera
US9626599B2 (en) * 2012-04-09 2017-04-18 GM Global Technology Operations LLC Reconfigurable clear path detection system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630412A (zh) * 2008-07-18 2010-01-20 通用汽车环球科技运作公司 基于相机的车道标志检测
CN101339616A (zh) * 2008-08-12 2009-01-07 北京中星微电子有限公司 道路识别方法及装置
CN102227758A (zh) * 2008-11-28 2011-10-26 日立汽车***株式会社 摄像装置
CN101620732A (zh) * 2009-07-17 2010-01-06 南京航空航天大学 道路行驶线的视觉检测方法
CN102156977A (zh) * 2010-12-22 2011-08-17 浙江大学 一种基于视觉的道路检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于动态图像的道路检测技术的研究;陶丽媛;《中国优秀硕士学位论文全文数据库》;20110615(第6期);全文 *

Also Published As

Publication number Publication date
DE102013205950A1 (de) 2013-10-24
US8750567B2 (en) 2014-06-10
US20130266175A1 (en) 2013-10-10
CN103366156A (zh) 2013-10-23
DE102013205950B4 (de) 2020-03-19

Similar Documents

Publication Publication Date Title
CN103366156B (zh) 道路结构检测和跟踪
CN105187785B (zh) 一种基于动态选取显著特征的跨卡口行人识别***与方法
CN103778786B (zh) 一种基于显著车辆部件模型的交通违章检测方法
Kong et al. Detecting abandoned objects with a moving camera
CN103425967B (zh) 一种基于行人检测和跟踪的人流监控方法
CN104246821B (zh) 三维物体检测装置和三维物体检测方法
CN107705288A (zh) 伪目标运动强干扰下的危险气体泄漏红外视频检测方法
CN108549864A (zh) 面向车载热成像行人检测的感兴趣区域过滤方法和装置
CN105913040A (zh) 暗视觉条件下的双摄像头实时行人检测***
CN107424142A (zh) 一种基于图像显著性检测的焊缝识别方法
AU2008210192A1 (en) Method of moving target tracking and number accounting
CN101094413A (zh) 用于视频监控的实时运动检测方法
CN106128115A (zh) 一种基于双摄像机检测道路交通信息的融合方法
CN105741324A (zh) 移动平台上的运动目标检测识别与跟踪方法
CN109670515A (zh) 一种用于无人机影像中建筑物变化的检测方法及***
RU2395787C2 (ru) Способ обнаружения объектов
CN102915433A (zh) 基于字符组合的车牌定位和识别方法
CN101383005B (zh) 一种利用辅助规则纹理的乘客目标图像和背景分离方法
CN104318266B (zh) 一种图像智能分析处理预警方法
CN103366154A (zh) 可重配置的畅通路径检测***
CN106447701A (zh) 用于图像相似性确定、对象检测和跟踪的方法和装置
CN105320927A (zh) 车道线检测方法及***
CN105930803A (zh) 一种基于Edge Boxes的前车检测方法及装置
Stone et al. Forward looking anomaly detection via fusion of infrared and color imagery
CN101369312B (zh) 检测图像中交叉口的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant