CN109426801B - 一种车道线实例检测方法和装置 - Google Patents

一种车道线实例检测方法和装置 Download PDF

Info

Publication number
CN109426801B
CN109426801B CN201810694443.3A CN201810694443A CN109426801B CN 109426801 B CN109426801 B CN 109426801B CN 201810694443 A CN201810694443 A CN 201810694443A CN 109426801 B CN109426801 B CN 109426801B
Authority
CN
China
Prior art keywords
lane line
pixels
image data
distance
line pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810694443.3A
Other languages
English (en)
Other versions
CN109426801A (zh
Inventor
黄泽铧
王泮渠
陈鹏飞
李天�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tusimple Inc
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tusimple Inc filed Critical Tusimple Inc
Publication of CN109426801A publication Critical patent/CN109426801A/zh
Application granted granted Critical
Publication of CN109426801B publication Critical patent/CN109426801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种车道线实例检测方法和装置，用以解决现有技术中无法准确有效地检测出车道线实例的问题。该方法包括：从车辆驾驶环境的图像数据中提取出车道线图像数据；其中，车道线图像中包括多个车道线像素；从车道线图像数据中识别出多组车道线像素；其中，每组内的车道线像素具有相同的特征；将一组车道线像素确定为一个车道线实例，得到多个车道线实例。

Description

一种车道线实例检测方法和装置
技术领域
本发明涉及计算机视觉领域，特别涉及一种车道线实例检测方法和装置。
背景技术
目前，高级辅助驾驶***(Advanced Driver Assistance Systems，ADAS)的一个主要研究点在于提高车辆自身或者车辆行驶的安全性并减少道路事故。智能车辆和无人驾驶车辆有望解决道路安全、交通问题和乘客的舒适性问题。在针对智能车辆或无人车辆的研究任务中，车道线检测是一个复杂且具有挑战性的任务。车道线作为道路的一个主要部分，起到为无人驾驶车辆提供参考、指导安全驾驶的作用。
在目前的技术方案中，通常通过语义分割的方法来识别图像中的车道线。语义分割方法通过给图像数据中的每个像素标定一个类别，来得到由相同类别的像素构成的物体。
但是，目前的车道线检测方案无法准确有效地在车道线类别的像素中检测出不同的车道线实例。
发明内容
有鉴于此，本发明实施例提供了一种车道线实例检测方法和装置，用以解决现有技术中无法准确有效地检测出车道线实例的问题。
一方面，本申请实施例提供了一种车道线实例检测方法，包括：
从车辆驾驶环境的图像数据中提取出车道线图像数据；其中，车道线图像中包括多个车道线像素；
从车道线图像数据中识别出多组车道线像素；其中，每组内的车道线像素具有相同的特征；
将一组车道线像素确定为一个车道线实例，得到多个车道线实例。
另一方面，本申请实施例提供了一种车道线实例检测装置，包括：
提取模块，用于从车辆驾驶环境的图像数据中提取出车道线图像数据；其中，车道线图像中包括多个车道线像素；
识别模块，用于从车道线图像数据中识别出多组车道线像素；其中，每组内的车道线像素具有相同的特征；
确定模块，用于将一组车道线像素确定为一个车道线实例，得到多个车道线实例。
另一方面，本申请实施例提供了一种车道线实例检测装置，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以执行：
从车辆驾驶环境的图像数据中提取出车道线图像数据；其中，车道线图像中包括多个车道线像素；
从车道线图像数据中识别出多组车道线像素；其中，每组内的车道线像素具有相同的特征；
将一组车道线像素确定为一个车道线实例，得到多个车道线实例。
根据本发明实施例提供的技术方案，车道线实例检测方法从车辆驾驶环境的图像数据中提取出车道线图像，车道线图像中包括多个车道线像素；从车道线图像数据中识别出多组车道线像素，每组内的车道线像素具有相同的特征；将一组车道线像素确定为一个车道线实例，得到多个车道线实例；从而能够有效准确地识别出车道线类别中的车道线实例，能够解决现有技术中无法准确有效地检测出车道线实例的问题。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本申请实施例提供的车道线实例检测方法的处理流程图；
图2为图1中步骤102的处理流程图；
图3为图1中步骤103的处理流程图；
图4为本申请实施例中训练神经网络的示意图；
图5为根据图4训练得到的神经网络模型；
图6为本申请实施例中的相关图像示例；
图7为本申请实施例提供的车道线实例检测装置的结构框图；
图8为本申请实施例提供的车道线实例检测装置的另一结构框图；
图9为本申请实施例提供的车道线实例检测装置的另一结构框图；
图10为本申请实施例提供的车道线实例检测装置的另一结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
针对现有技术中存在无法准确有效地检测出车道线实例的问题，本申请实施例提供了一种车道线实例检测方法和装置，用以解决该问题。
在本申请实施例提供的车道线实例检测方案中，车道线实例检测装置从车辆驾驶环境的图像数据中提取出车道线图像，车道线图像中包括多个车道线像素；从车道线图像数据中识别出多组车道线像素，每组内的车道线像素具有相同的特征；将一组车道线像素确定为一个车道线实例，得到多个车道线实例；从而能够有效准确地识别出车道线类别中的车道线实例，能够解决现有技术中无法准确有效地检测出车道线实例的问题。
以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
图1示出了本申请实施例提供的车道线实例检测方法的处理流程，该方法包括如下的处理过程：
步骤101、车道线实例检测装置从车辆驾驶环境的图像数据中提取出车道线图像数据；其中，车道线图像中包括多个车道线像素。
其中，图像数据可以是通过车辆上的车载摄像头获取的。
从图像数据中提取出车道线图像数据的操作，可以通过多种方式实现，包括通过语义分割的方式从图像数据中提取出车道线图像数据。具体包括：将图像数据作为输入提供给预先训练得到的语义分割模型，语义分割模型输出得到车道线图像数据。其中，语义分割模型是预先根据驾驶环境的历史图像数据和真实数据迭代训练神经网络得到的，并且训练得到的语义分割模型可以用于车道线的图像检测和处理。
在具体应用的过程中，还可以通过其它方式提取出车道线图像数据，本申请这里不做具体限定。
步骤102、从车道线图像数据中识别出多组车道线像素；其中，每组内的车道线像素具有相同的特征；
具体地，步骤102可以包括如图2所示的如下步骤：
步骤1021、将车道线图像数据中的车道线像素作为输入提供给预先根据三元损失函数训练得到的车道线实例检测模型。
具体地，车道线图像数据可以是通过语义分割模型从图像数据中提取出来的特征图，该特征图中只包括车道线像素。
步骤1022、车道线实例检测模型确定任意两个车道线像素在特征空间中的距离。
具体地，车道线实例检测模型确定任意两个车道线像素在特征空间中的特征表达之间的距离。
车道线实例检测模型可以随机地选取一个车道线像素作为第一像素或者是锚像素，还可以根据预先设置的规则来选取车道线像素；并确定与第一像素在特征空间中的特征表达的距离最近的特征表达对应的第二像素，以及与第一像素距离的特征表达的距离最远的特征表达对应的第三像素。
步骤1023、车道线实例检测模型根据确定得到的距离，得到距离度量空间中的多组车道线像素；其中，每组内的车道线像素具有的相同的特之间的距离小于组间任意两个车道线像素之间的距离。
在该步骤中，由于车道线实例检测模型已经确定得到了任意两个车道线像素在特征空间中的特征表达之间的距离，能够得到在距离度量空间中聚类的多组车道线像素；其中，通过可视化的操作可以将聚类的多组车道线像素输出到距离度量空间中，从而可以清楚地观察到车道线像素的特征表达的聚类情况。
其中，车道线实例检测模型是预先根据真实数据并使用三元损失函数对神经网络进行有监督的迭代训练得到的，该训练得到的神经网络可以用于车道线实例检测。
步骤103、将一组车道线像素确定为一个车道线实例，得到多个车道线实例。
具体地，步骤103可以如图3所示，包括如下步骤：
步骤1031、对距离度量空间中的所有车道线像素进行聚类，提取得到多组车道线像素；
由于在步骤1023中，车道线实例检测模型已经得到距离度量空间中的多组车道线像素，通过聚类的方法可以提取得到这多组车道线像素；
步骤1032、将一组车道线像素确定为一个车道线实例，得到多个车道线实例。
在如图1所示的处理过程中，在步骤102中，在通过图像处理得到的车道线图像中，车道线像素在特征空间中的特征表达是分散分布的，仅根据车道线图像无法有效地在属于车道线类别的多个像素特征表达中识别出不同车道线实例。通过三元损失函数能够确定得到任意两个车道线像素之间的距离，能够有效地区分出距离一个车道线像素距离最近的像素和距离最远的像素，从而输出得到多组车道线像素，其中组内车道线像素之间的距离小于组间车道线像素之间的距离。并且进一步地，通过聚类的方法提取得到多组车道线像素，一组车行道像素也即一个车道线实例，从而得到多个车道线实例。可见通过本申请实施例提供的方法，能够有效地识别得到车道线实例，能够解决现有技术中无法准确有效地检测出车道线实例的问题。
下面通过一个具体实例来进一步地说明本申请实施例的技术方案。
在具体应用中，为了实现如图1所示的处理，可以预先迭代训练深度神经网络，分别得到实现步骤102和步骤103的功能的模型，也即训练得到语义分割模型进行语义分割，并且通过三元损失函数训练得到车道线实例检测模型来进行车道线实例检测，分别实现步骤102和步骤103的功能。
图4中示出了一个训练神经网络的示意图，在图4中将图像数据作为输入提供给深度神经网络，这里的深度神经网络包括两个分支，一个分支用于训练得到语义分割模型，另一个分支用于训练得到车道线实例检测模型。
输入的图像数据可以是车辆的驾驶环境的历史图像数据，以及该驾驶环境的真实数据；其中，真实数据中包括对物体类别的正确标注，真实数据也可以被称为实例图。
在图4中，深度神经网络左边的部分用于根据输入的图像数据和真实数据训练得到语义分割模型，深度神经网络右边的部分用于根据输入的图像数据和真实数据通过三元损失函数训练得车道线实例检测模型。
训练得到的模型如图5所示。训练得到的语义分割模型用于对输入的图像数据进行标定，输出得到语义分割结果，也即车道线图像，其中包括多个车道线像素；也即语义分割模型输出得到像素级别的车道线信息。
图6示出了相关的图像示例，图6左边的图像为一个原始的图像数据，图6中间部分的图像为执行了语义分割、标注了车道线类别后的图像数据，图6右边的图像为提取出的车道线图像。
通过三元损失函数训练得到的车道线实例检测模型用于针对输入的车道线图像中的车道线像素，确定任意两个像素在特征空间中的特征表达之间的距离；根据确定得到的距离，在距离度量空间中输出车道线像素，得到距离度量空间中的多组车道线像素。
在图5中，进一步针对距离度量空间中的多组车道线像素进行聚类操作，提取出多组车道线像素，一组车道线像素即为一个车道线实例。
从而，如图5所示的处理过程能够识别提取出输入图像数据中的车道线实例，能够解决现有技术中无法准确有效地检测出车道线实例的问题。
基于相同的发明构思，本申请实施例还提供了一种车道线实例检测装置。
如图7所示，本申请实施例提供的车道线实例检测装置包括：
提取模块71，用于从车辆驾驶环境的图像数据中提取出车道线图像数据；
识别模块72，用于从车道线图像数据中识别出多组车道线像素；其中，每组内的车道线像素具有相同的特征；
确定模块73，用于将一组车道线像素确定为一个车道线实例，得到多个车道线实例。
其中，提取模块71从车辆驾驶环境的图像数据中提取出车道线图像数据，包括：将图像数据作为输入提供给预先训练得到的语义分割模型，语义分割模型输出得到车道线图像数据。
识别模块72从车道线图像数据中识别出多组车道线像素，包括：将车道线图像数据中的车道线像素作为输入提供给预先根据三元损失函数训练得到的车道线实例检测模型；车道线实例检测模型确定任意两个车道线像素在特征空间中的距离；车道线示例检测模型根据确定得到的距离，得到距离度量空间中的多组车道线像素；其中，每组内的车道线像素具有相同的特征，包括：在距离度量空间中，组内任意两个车道线像素之间的距离小于组间任意两个车道线像素之间的距离。也即识别模块72实现如图2所示的处理过程。
确定模块73将一组车道线像素确定为一个车道线实例，得到多个车道线实例，包括：对距离度量空间中的所有车道线像素进行聚类，提取得到多组车道线像素；将一组车道线像素确定为一个车道线实例，得到多个车道线实例。也即，确定模块73实现如图3所示的处理过程。
进一步地，如图8所示，本申请提供的车道线实例检测装置还可以包括：
第一预训练模块74，用于预先根据驾驶环境的历史图像数据和真实数据迭代训练神经网络得到用于车道线检测的语义分割模型。
第二预训练模块75，用于预先根据真实数据并使用三元损失函数对神经网络进行有监督的迭代训练，得到用于车道线实例检测的车道线实例检测模型；其中，车道线实例检测模型表达多个像素和像素之间的距离的对应关系。
在另一些实施例中，第一预训练模块74和第二预训练模块75也可以合并设置为预训练模块76，如图9所示，预训练模块76的功能和第一预训练模块74以及第二预训练模块75相同。
通过如图7、图8或者图9所示的装置，针对提取模块71提取得到的车道线图像数据，识别模块72能够通过三元损失函数确定得到任意两个车道像素之间的距离，能够有效地区分出距离一个车道线像素距离最近的像素和距离最远的像素，得到距离度量空间中的多组车道线像素，并提取得到多组车道线像素，将一组车道线像素确定为一个车道线实例，能够得到多个车道线实例。从而，本申请实施例提供的装置能够有效地识别得到车道线实例，能够解决现有技术中无法准确有效地检测出车道线实例的问题。
基于相同的发明构思，本申请实施例还提供了一种车道线实例检测装置。
如图10所示，本申请实施例提供的车道线包括一个处理器1001和至少一个存储器1002，至少一个存储器1002中存储有至少一条机器可执行指令，处理器1001执行至少一条机器可执行指令以执行：
从车辆驾驶环境的图像数据中提取出车道线图像数据；其中，车道线图像中包括多个车道线像素；
从车道线图像数据中识别出多组车道线像素；其中，每组内的车道线像素具有相同的特征；
将一组车道线像素确定为一个车道线实例，得到多个车道线实例。其中，处理器1001执行至少一条机器可执行指令以执行从车辆驾驶环境的图像数据中提取出车道线图像数据，包括：将图像数据作为输入提供给预先训练得到的语义分割模型，语义分割模型输出得到车道线图像数据。
处理器1001执行至少一条机器可执行指令还执行：预先根据驾驶环境的历史图像数据和真实数据迭代训练神经网络得到用于车道线检测的语义分割模型。
处理器1001执行至少一条机器可执行指令以实现从车道线图像数据中识别出多组车道线像素，包括：将车道线图像数据中的车道线像素作为输入提供给预先根据三元损失函数训练得到的车道线实例检测模型；车道线实例检测模型确定任意两个车道线像素在特征空间中的距离；车道线实例检测模型根据确定得到的距离，得到距离度量空间中的多组车道线像素；其中，每组内的车道线像素具有相同的特征，包括：在距离度量空间中，组内任意两个车道线像素之间的距离小于组间任意两个车道线像素之间的距离。
处理器1001执行至少一条机器可执行指令还实现：预先根据真实数据并使用三元损失函数对神经网络进行有监督的迭代训练，得到用于车道线实例检测模型；其中，车道线实例检测模型表达多个像素和像素之间的距离的对应关系。
处理器1001执行至少一条机器可执行指令以执行将一组车道线像素确定为一个车道线实例，得到多个车道线实例，包括：对距离度量空间中的所有车道线像素进行聚类，提取得到多组车道线像素；将一组车道线像素确定为一个车道线实例，得到多个车道线实例。
根据本申请实施例提供的装置，针对提取得到的车道线图像数据，通过三元损失函数确定得到任意两个车道像素之间的距离，能够有效地区分出距离一个车道线像素距离最近的像素和距离最远的像素，得到距离度量空间中的多组车道线像素，并提取得到多组车道线像素，将一组车道线像素确定为一个车道线实例，能够得到多个车道线实例。从而，本申请实施例提供的装置能够有效地识别得到车道线实例，能够解决现有技术中无法准确有效地检测出车道线实例的问题。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (15)

1.一种车道线实例检测方法，其特征在于，包括：
将车辆驾驶环境的图像数据作为输入提供给预先训练得到的语义分割模型，从所述语义分割模型中输出得到一个车道线图像的车道线图像数据；其中，所述一个车道线图像中包括多个车道线像素；
根据预先训练的车道线实例检测模型从所述车道线图像数据中识别出多组车道线像素，包括：
确定所述多个车道线像素中的任意两个在特征空间中的距离，以区分出距离一个车道线像素距离最近的像素和距离最远的像素；及
根据确定得到的所述距离，得到距离度量空间中的所述多组车道线像素；其中，在距离度量空间中，组内任意两个车道线像素之间的距离小于组间任意两个车道线像素之间的距离；及
将一组车道线像素确定为一个车道线实例，得到多个车道线实例。
2.根据权利要求1所述的方法，其特征在于，还包括：
预先根据所述驾驶环境的历史图像数据和真实数据迭代训练神经网络得到用于车道线检测的所述语义分割模型。
3.根据权利要求1所述的方法，其特征在于，从所述车道线图像数据中识别出所述多组车道线像素，还包括：
将所述车道线图像数据中的车道线像素作为输入提供给预先根据三元损失函数训练得到的车道线实例检测模型；其中，所述车道线实例检测模型用以确定所述多个车道线像素中的任意两个在特征空间中的所述距离，且用以根据确定得到的所述距离，得到距离度量空间中的所述多组车道线像素。
4.根据权利要求3所述的方法，其特征在于，还包括：
预先根据真实数据并使用所述三元损失函数对神经网络进行有监督的迭代训练，得到所述车道线实例检测模型；其中，所述车道线实例检测模型表达多个像素和像素之间的距离的对应关系。
5.根据权利要求3所述的方法，其特征在于，将一组车道线像素确定为一个车道线实例，得到所述多个车道线实例，包括：
对距离度量空间中的所有车道线像素进行聚类，提取得到所述多组车道线像素；及
将一组车道线像素确定为一个车道线实例，得到所述多个车道线实例。
6.一种车道线实例检测装置，其特征在于，包括：
提取模块，用于将车辆驾驶环境的图像数据作为输入提供给预先训练得到的语义分割模型，从所述语义分割模型中输出得到一个车道线图像的车道线图像数据；其中，所述一个车道线图像中包括多个车道线像素；
识别模块，用于根据预先训练的车道线实例检测模型从所述车道线图像数据中识别出多组车道线像素，包括：
确定所述多个车道线像素中的任意两个在特征空间中的距离，以区分出距离一个车道线像素距离最近的像素和距离最远的像素；及
根据确定得到的所述距离，得到距离度量空间中的所述多组车道线像素；其中，在距离度量空间中，组内任意两个车道线像素之间的距离小于组间任意两个车道线像素之间的距离；及
确定模块，用于将一组车道线像素确定为一个车道线实例，得到多个车道线实例。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第一预训练模块，用于预先根据所述驾驶环境的历史图像数据和真实数据迭代训练神经网络得到用于车道线检测的所述语义分割模型。
8.根据权利要求6所述的装置，其特征在于，所述识别模块从所述车道线图像数据中识别出所述多组车道线像素，还包括：
将所述车道线图像数据中的车道线像素作为输入提供给预先根据三元损失函数训练得到的车道线实例检测模型；其中，所述车道线实例检测模型用以确定所述多个车道线像素中的任意两个在特征空间中的所述距离，且用以根据确定得到的所述距离，得到距离度量空间中的所述多组车道线像素。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第二预训练模块，用于预先根据真实数据并使用所述三元损失函数对神经网络进行有监督的迭代训练，得到用于车道线实例检测的所述车道线实例检测模型；其中，所述车道线实例检测模型表达多个像素和像素之间的距离的对应关系。
10.根据权利要求8所述的装置，其特征在于，所述确定模块将一组车道线像素确定为一个车道线实例，得到所述多个车道线实例，包括：
对距离度量空间中的所有车道线像素进行聚类，提取得到所述多组车道线像素；及
将一组车道线像素确定为一个车道线实例，得到所述多个车道线实例。
11.一种车道线实例检测装置，其特征在于，包括一个处理器和至少一个存储器，所述至少一个存储器中存储有至少一条机器可执行指令，所述处理器执行所述至少一条机器可执行指令以执行：
将车辆驾驶环境的图像数据作为输入提供给预先训练得到的语义分割模型，从所述语义分割模型中输出得到一个车道线图像的车道线图像数据；其中，所述一个车道线图像中包括多个车道线像素；
根据预先训练的车道线实例检测模型从所述车道线图像数据中识别出多组车道线像素，包括：
确定所述多个车道线像素中的任意两个在特征空间中的距离，以区分出距离一个车道线像素距离最近的像素和距离最远的像素；及
根据确定得到的所述距离，得到距离度量空间中的所述多组车道线像素；其中，在距离度量空间中，组内任意两个车道线像素之间的距离小于组间任意两个车道线像素之间的距离；及
将一组车道线像素确定为一个车道线实例，得到多个车道线实例。
12.根据权利要求11所述的装置，其特征在于，所述处理器执行所述至少一条机器可执行指令还执行：
预先根据所述驾驶环境的历史图像数据和真实数据迭代训练神经网络得到用于车道线检测的所述语义分割模型。
13.根据权利要求11所述的装置，其特征在于，所述处理器执行所述至少一条机器可执行指令以实现从所述车道线图像数据中识别出所述多组车道线像素，还包括：
将所述车道线图像数据中的车道线像素作为输入提供给预先根据三元损失函数训练得到的车道线实例检测模型；其中，所述车道线实例检测模型用以确定所述多个车道线像素中的任意两个在特征空间中的所述距离，且用以根据确定得到的所述距离，得到距离度量空间中的所述多组车道线像素。
14.根据权利要求13所述的装置，其特征在于，所述处理器执行所述至少一条机器可执行指令还实现：
预先根据真实数据并使用所述三元损失函数对神经网络进行有监督的迭代训练，得到用于车道线实例检测的所述车道线实例检测模型；其中，所述车道线实例检测模型表达多个像素和像素之间的距离的对应关系。
15.根据权利要求13所述的装置，其特征在于，所述处理器执行所述至少一条机器可执行指令以执行将一组车道线像素确定为一个车道线实例，得到所述多个车道线实例，包括：
对距离度量空间中的所有车道线像素进行聚类，提取得到所述多组车道线像素；及
将一组车道线像素确定为一个车道线实例，得到所述多个车道线实例。
CN201810694443.3A 2017-08-23 2018-06-29 一种车道线实例检测方法和装置 Active CN109426801B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
USUS15/684,791 2017-08-23
US15/684,791 US10303956B2 (en) 2017-08-23 2017-08-23 System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection

Publications (2)

Publication Number Publication Date
CN109426801A CN109426801A (zh) 2019-03-05
CN109426801B true CN109426801B (zh) 2021-05-25

Family

ID=65436210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810694443.3A Active CN109426801B (zh) 2017-08-23 2018-06-29 一种车道线实例检测方法和装置

Country Status (2)

Country Link
US (1) US10303956B2 (zh)
CN (1) CN109426801B (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970564B2 (en) 2017-09-30 2021-04-06 Tusimple, Inc. System and method for instance-level lane detection for autonomous vehicle control
US10970553B2 (en) * 2017-11-15 2021-04-06 Uatc, Llc Semantic segmentation of three-dimensional data
WO2019110583A1 (en) * 2017-12-07 2019-06-13 Ventana Medical Systems, Inc. Deep-learning systems and methods for joint cell and region classification in biological images
US10599146B2 (en) * 2018-03-26 2020-03-24 Ford Global Technologies, Llc Action-conditioned vehicle control
DE102018213191A1 (de) * 2018-05-09 2019-11-14 Conti Temic Microelectronic Gmbh Verfahren zur Fahrspur- und Fahrbahndetektion
US10902616B2 (en) * 2018-08-13 2021-01-26 Nvidia Corporation Scene embedding for visual navigation
US11294949B2 (en) 2018-09-04 2022-04-05 Toyota Connected North America, Inc. Systems and methods for querying a distributed inventory of visual data
US10832062B1 (en) * 2018-09-28 2020-11-10 Zoox, Inc. Image embedding for object tracking
US10346693B1 (en) * 2019-01-22 2019-07-09 StradVision, Inc. Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
KR102177880B1 (ko) * 2019-03-08 2020-11-12 현대모비스 주식회사 자율주행용 클래스 레이블링 장치
US11676284B2 (en) * 2019-03-22 2023-06-13 Nvidia Corporation Shape fusion for image analysis
CN111738034B (zh) * 2019-03-25 2024-02-23 杭州海康威视数字技术股份有限公司 车道线的检测方法和装置
CN110163109B (zh) * 2019-04-23 2021-09-17 浙江大华技术股份有限公司 一种车道线标注方法及装置
CN110502982B (zh) * 2019-07-11 2024-03-05 平安科技（深圳）有限公司 一种检测高速公路中障碍物的方法、装置及计算机设备
CN110427860B (zh) * 2019-07-26 2022-03-25 武汉中海庭数据技术有限公司 一种车道线识别方法、装置及存储介质
US11321406B2 (en) 2019-07-31 2022-05-03 Walmart Apollo, Llc Personalized ranking using deep attribute extraction and attentive user interest embeddings
US20210034945A1 (en) * 2019-07-31 2021-02-04 Walmart Apollo, Llc Personalized complimentary item recommendations using sequential and triplet neural architecture
US11586943B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network inputs in automotive predictive maintenance
US11853863B2 (en) 2019-08-12 2023-12-26 Micron Technology, Inc. Predictive maintenance of automotive tires
US11748626B2 (en) 2019-08-12 2023-09-05 Micron Technology, Inc. Storage devices with neural network accelerators for automotive predictive maintenance
US11586194B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network models of automotive predictive maintenance
US11635893B2 (en) 2019-08-12 2023-04-25 Micron Technology, Inc. Communications between processors and storage devices in automotive predictive maintenance implemented via artificial neural networks
US11775816B2 (en) 2019-08-12 2023-10-03 Micron Technology, Inc. Storage and access of neural network outputs in automotive predictive maintenance
US11361552B2 (en) * 2019-08-21 2022-06-14 Micron Technology, Inc. Security operations of parked vehicles
US10993647B2 (en) 2019-08-21 2021-05-04 Micron Technology, Inc. Drowsiness detection for vehicle control
US11042350B2 (en) 2019-08-21 2021-06-22 Micron Technology, Inc. Intelligent audio control in vehicles
US11702086B2 (en) 2019-08-21 2023-07-18 Micron Technology, Inc. Intelligent recording of errant vehicle behaviors
US11498388B2 (en) 2019-08-21 2022-11-15 Micron Technology, Inc. Intelligent climate control in vehicles
US11435946B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Intelligent wear leveling with reduced write-amplification for data storage devices configured on autonomous vehicles
US11436076B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Predictive management of failing portions in a data storage device
US11409654B2 (en) 2019-09-05 2022-08-09 Micron Technology, Inc. Intelligent optimization of caching operations in a data storage device
US11693562B2 (en) 2019-09-05 2023-07-04 Micron Technology, Inc. Bandwidth optimization for different types of operations scheduled in a data storage device
US11650746B2 (en) 2019-09-05 2023-05-16 Micron Technology, Inc. Intelligent write-amplification reduction for data storage devices configured on autonomous vehicles
US11120280B2 (en) 2019-11-15 2021-09-14 Argo AI, LLC Geometry-aware instance segmentation in stereo image capture processes
US11940804B2 (en) * 2019-12-17 2024-03-26 Motional Ad Llc Automated object annotation using fused camera/LiDAR data points
US11250648B2 (en) 2019-12-18 2022-02-15 Micron Technology, Inc. Predictive maintenance of automotive transmission
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US11531339B2 (en) 2020-02-14 2022-12-20 Micron Technology, Inc. Monitoring of drive by wire sensors in vehicles
US11709625B2 (en) 2020-02-14 2023-07-25 Micron Technology, Inc. Optimization of power usage of data storage devices
US11481862B2 (en) * 2020-02-26 2022-10-25 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for real-time, simultaneous object detection and semantic segmentation
DE102020202811A1 (de) * 2020-03-05 2021-09-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Fahrzeugsteuerung
US11841479B2 (en) 2020-07-31 2023-12-12 Chevron U.S.A. Inc. Systems and methods for identifying subsurface features as a function of position in a subsurface volume of interest
US11733424B2 (en) 2020-07-31 2023-08-22 Chevron U.S.A. Inc. Systems and methods for identifying subsurface features as functions of feature positions in a subsurface volume of interest
CN112257623B (zh) * 2020-10-28 2022-08-23 长沙立中汽车设计开发股份有限公司 一种路面清洁度判定和自动清扫方法及自动清扫环卫装置
CN112801021B (zh) * 2021-02-09 2022-07-08 福州大学 基于多级语义信息的车道线检测方法及***
US11816841B2 (en) * 2021-03-17 2023-11-14 Huawei Technologies Co., Ltd. Method and system for graph-based panoptic segmentation
US11367289B1 (en) * 2021-07-16 2022-06-21 Motional Ad Llc Machine learning-based framework for drivable surface annotation
CN114022865A (zh) * 2021-10-29 2022-02-08 北京百度网讯科技有限公司 基于车道线识别模型的图像处理方法、装置、设备和介质
CN113989300A (zh) * 2021-10-29 2022-01-28 北京百度网讯科技有限公司 车道线分割的方法、装置、电子设备和存储介质
CN114693934B (zh) * 2022-04-13 2023-09-01 北京百度网讯科技有限公司 语义分割模型的训练方法、视频语义分割方法及装置
CN114677442B (zh) * 2022-05-26 2022-10-28 之江实验室 一种基于序列预测的车道线检测***、装置和方法
CN116168201B (zh) * 2023-04-13 2023-06-20 智道网联科技(北京)有限公司 无需精确标注数据的车道线分割方法及装置

Family Cites Families (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US7103460B1 (en) 1994-05-09 2006-09-05 Automotive Technologies International, Inc. System and method for vehicle diagnostics
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
WO2003093857A2 (en) 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
US6777904B1 (en) 2003-02-25 2004-08-17 Ford Global Technologies, Llc Method and system for controlling a motor
US8082101B2 (en) 2004-04-08 2011-12-20 Mobileye Technologies Ltd. Collision warning system
WO2005098739A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Pedestrian detection
WO2005098751A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Crowd detection
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
EP1790541A2 (en) 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Systems and methods for detecting obstructions in a camera field of view
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US7689559B2 (en) 2006-02-08 2010-03-30 Telenor Asa Document similarity scoring and ranking method, device and computer program product
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
EP2383679A1 (en) 2006-12-06 2011-11-02 Mobileye Technologies Limited Detecting and recognizing traffic signs
US20080249667A1 (en) 2007-04-09 2008-10-09 Microsoft Corporation Learning and reasoning to enhance energy efficiency in transportation systems
US7839292B2 (en) 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
US8041111B1 (en) 2007-10-15 2011-10-18 Adobe Systems Incorporated Subjective and locatable color theme extraction for images
US9176006B2 (en) 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
US8670592B2 (en) * 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
US8634593B2 (en) * 2008-04-24 2014-01-21 GM Global Technology Operations LLC Pixel-based texture-less clear path detection
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US9117133B2 (en) 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
US20100049397A1 (en) 2008-08-22 2010-02-25 Garmin Ltd. Fuel efficient routing
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US9459515B2 (en) 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
US8175376B2 (en) 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
RU2011143140A (ru) 2009-03-26 2013-05-10 Конинклейке Филипс Электроникс Н.В. Способ и устройство для изменения изображения посредством использования карты внимания, основанной на частоте цвета
US8271871B2 (en) 2009-04-30 2012-09-18 Xerox Corporation Automated method for alignment of document objects
US8392117B2 (en) 2009-05-22 2013-03-05 Toyota Motor Engineering & Manufacturing North America, Inc. Using topological structure for path planning in semi-structured environments
US8645480B1 (en) 2009-07-19 2014-02-04 Aaron T. Emigh Trust representation by similarity
JP2011176748A (ja) 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
US9280711B2 (en) 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US9118816B2 (en) 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
EP2448251B1 (en) 2010-10-31 2019-09-25 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
WO2012068154A1 (en) 2010-11-15 2012-05-24 Huawei Technologies Co., Ltd. Method and system for video summarization
US9251708B2 (en) 2010-12-07 2016-02-02 Mobileye Vision Technologies Ltd. Forward collision warning trap and pedestrian advanced warning system
US8401292B2 (en) 2011-04-26 2013-03-19 Eastman Kodak Company Identifying high saliency regions in digital images
US9233659B2 (en) 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
KR101777875B1 (ko) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
US9183447B1 (en) 2011-06-09 2015-11-10 Mobileye Vision Technologies Ltd. Object detection using candidate object alignment
DE112012003140T5 (de) 2011-07-28 2014-06-26 Honda Motor Co., Ltd. Drahtloses Energieübertragungsverfahren
DE102011083749B4 (de) 2011-09-29 2015-06-11 Aktiebolaget Skf Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes
US9297641B2 (en) 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
FR2984254B1 (fr) 2011-12-16 2016-07-01 Renault Sa Controle de vehicules autonomes
JP5605381B2 (ja) 2012-02-13 2014-10-15 株式会社デンソー クルーズ制御装置
US9042648B2 (en) 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
US9476970B1 (en) 2012-03-19 2016-10-25 Google Inc. Camera based localization
CN102663356B (zh) * 2012-03-28 2015-04-08 柳州博实唯汽车科技有限公司 车道线提取及偏离预警方法
US9134402B2 (en) 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
US9025880B2 (en) 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
US9120485B1 (en) 2012-09-14 2015-09-01 Google Inc. Methods and systems for smooth trajectory generation for a self-driving vehicle
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
US9092430B2 (en) 2013-01-02 2015-07-28 International Business Machines Corporation Assigning shared catalogs to cache structures in a cluster computing system
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
WO2014111814A2 (en) 2013-01-15 2014-07-24 Mobileye Technologies Limited Stereo assist with rolling shutters
US9277132B2 (en) 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
US9111355B1 (en) 2013-03-13 2015-08-18 Hrl Laboratories, Llc Selective color processing for vision systems that enables optimal detection and recognition
US9147255B1 (en) 2013-03-14 2015-09-29 Hrl Laboratories, Llc Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms
US9342074B2 (en) 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
CN105659304B (zh) 2013-06-13 2020-01-03 移动眼视力科技有限公司 车辆、导航***及生成并递送导航信息的方法
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9122954B2 (en) 2013-10-01 2015-09-01 Mobileye Vision Technologies Ltd. Performing a histogram using an array of addressable registers
US9738280B2 (en) 2013-10-03 2017-08-22 Robert Bosch Gmbh Adaptive cruise control with on-ramp detection
US9299004B2 (en) 2013-10-24 2016-03-29 Adobe Systems Incorporated Image foreground detection
US9330334B2 (en) 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
US9150220B2 (en) 2013-12-04 2015-10-06 Mobileye Vision Technologies Ltd. Systems and methods for mimicking a leading vehicle
CA2935617C (en) 2013-12-30 2023-09-12 Craig Arnold Tieman Connected vehicle system with infotainment interface for mobile devices
EP3100206B1 (en) 2014-01-30 2020-09-09 Mobileye Vision Technologies Ltd. Systems and methods for lane end recognition
US9664789B2 (en) * 2014-02-20 2017-05-30 Mobileye Vision Technologies Ltd. Navigation based on radar-cued visual imaging
CN103793925B (zh) 2014-02-24 2016-05-18 北京工业大学 融合时空特征的视频图像视觉显著程度检测方法
DE102014205170A1 (de) 2014-03-20 2015-11-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug
CN105100134A (zh) 2014-04-28 2015-11-25 思科技术公司 屏幕共享缓存管理
CN112580456A (zh) 2014-05-14 2021-03-30 御眼视觉技术有限公司 用于路缘检测和行人危险评估的***和方法
US9720418B2 (en) 2014-05-27 2017-08-01 Here Global B.V. Autonomous vehicle monitoring and control
US10572744B2 (en) 2014-06-03 2020-02-25 Mobileye Vision Technologies Ltd. Systems and methods for detecting an object
US9457807B2 (en) 2014-06-05 2016-10-04 GM Global Technology Operations LLC Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver
EP3154835A1 (en) * 2014-06-10 2017-04-19 Mobileye Vision Technologies Ltd. Top-down refinement in lane marking navigation
US9554030B2 (en) 2014-09-29 2017-01-24 Yahoo! Inc. Mobile device image acquisition using objects of interest recognition
US9746550B2 (en) 2014-10-08 2017-08-29 Ford Global Technologies, Llc Detecting low-speed close-range vehicle cut-in
KR101664582B1 (ko) 2014-11-12 2016-10-10 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
US10115024B2 (en) 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
JP6421684B2 (ja) 2015-04-17 2018-11-14 井関農機株式会社 乗用草刈機
US10074041B2 (en) * 2015-04-17 2018-09-11 Nec Corporation Fine-grained image classification by exploring bipartite-graph labels
US10635761B2 (en) 2015-04-29 2020-04-28 Energid Technologies Corporation System and method for evaluation of object autonomy
DE102015211926A1 (de) 2015-06-26 2016-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs
CN107925476B (zh) 2015-07-23 2020-11-10 日本电气株式会社 路由切换设备、路由切换***和路由切换方法
US9587952B1 (en) 2015-09-09 2017-03-07 Allstate Insurance Company Altering autonomous or semi-autonomous vehicle operation based on route traversal values
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
US9568915B1 (en) 2016-02-11 2017-02-14 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling autonomous or semi-autonomous vehicle
US9535423B1 (en) 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
US10032067B2 (en) * 2016-05-28 2018-07-24 Samsung Electronics Co., Ltd. System and method for a unified architecture multi-task deep learning machine for object recognition
CN106980641B (zh) * 2017-02-09 2020-01-21 上海媒智科技有限公司 基于卷积神经网络的无监督哈希快速图片检索***及方法
US10546242B2 (en) * 2017-03-03 2020-01-28 General Electric Company Image analysis neural network systems

Also Published As

Publication number Publication date
US20190065867A1 (en) 2019-02-28
CN109426801A (zh) 2019-03-05
US10303956B2 (en) 2019-05-28

Similar Documents

Publication Publication Date Title
CN109426801B (zh) 一种车道线实例检测方法和装置
US10762376B2 (en) Method and apparatus for detecting text
CN108229386B (zh) 用于检测车道线的方法、装置和介质
KR102565279B1 (ko) 객체 검출 방법, 객체 검출을 위한 학습 방법 및 그 장치들
US11113546B2 (en) Lane line processing method and device
US11049275B2 (en) Method of predicting depth values of lines, method of outputting three-dimensional (3D) lines, and apparatus thereof
JP2018194912A (ja) 路上障害物検出装置，方法，およびプログラム
US10984588B2 (en) Obstacle distribution simulation method and device based on multiple models, and storage medium
CN109034086B (zh) 车辆重识别方法、装置及***
KR20200060194A (ko) 차선들의 깊이값을 예측하는 방법, 3차원 차선들을 출력하는 방법 및 그 장치
CN108256454B (zh) 一种基于cnn模型的训练方法、人脸姿态估测方法及装置
CN111046971A (zh) 图像识别方法、装置、设备及计算机可读存储介质
CN109840463B (zh) 一种车道线识别方法和装置
CN110956081A (zh) 车辆与交通标线位置关系的识别方法、装置及存储介质
CN112654998B (zh) 一种车道线检测方法和装置
KR20210098515A (ko) 표적 검출, 지능형 주행 방법, 장치, 디바이스 및 저장매체
CN113255444A (zh) 图像识别模型的训练方法、图像识别方法和装置
CN109241893B (zh) 基于人工智能技术的道路选择方法、装置及可读存储介质
CN116664873B (zh) 图像信息处理方法、装置及存储介质
CN109523570B (zh) 运动参数计算方法及装置
Al Mamun et al. Efficient lane marking detection using deep learning technique with differential and cross-entropy loss.
CN116872961A (zh) 用于智能驾驶车辆的控制***
CN112232317B (zh) 用于目标朝向识别的目标检测方法及装置、设备及介质
CN113963238A (zh) 多任务感知识别模型的构建方法以及多任务感知识别方法
CN110705695B (zh) 搜索模型结构的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant