CN109426801B - 一种车道线实例检测方法和装置 - Google Patents
一种车道线实例检测方法和装置 Download PDFInfo
- Publication number
- CN109426801B CN109426801B CN201810694443.3A CN201810694443A CN109426801B CN 109426801 B CN109426801 B CN 109426801B CN 201810694443 A CN201810694443 A CN 201810694443A CN 109426801 B CN109426801 B CN 109426801B
- Authority
- CN
- China
- Prior art keywords
- lane line
- pixels
- image data
- distance
- line pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 62
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 43
- 230000011218 segmentation Effects 0.000 claims description 32
- 238000005259 measurement Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 2
- 230000014509 gene expression Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种车道线实例检测方法和装置,用以解决现有技术中无法准确有效地检测出车道线实例的问题。该方法包括:从车辆驾驶环境的图像数据中提取出车道线图像数据;其中,车道线图像中包括多个车道线像素;从车道线图像数据中识别出多组车道线像素;其中,每组内的车道线像素具有相同的特征;将一组车道线像素确定为一个车道线实例,得到多个车道线实例。
Description
技术领域
本发明涉及计算机视觉领域,特别涉及一种车道线实例检测方法和装置。
背景技术
目前,高级辅助驾驶***(Advanced Driver Assistance Systems,ADAS)的一个主要研究点在于提高车辆自身或者车辆行驶的安全性并减少道路事故。智能车辆和无人驾驶车辆有望解决道路安全、交通问题和乘客的舒适性问题。在针对智能车辆或无人车辆的研究任务中,车道线检测是一个复杂且具有挑战性的任务。车道线作为道路的一个主要部分,起到为无人驾驶车辆提供参考、指导安全驾驶的作用。
在目前的技术方案中,通常通过语义分割的方法来识别图像中的车道线。语义分割方法通过给图像数据中的每个像素标定一个类别,来得到由相同类别的像素构成的物体。
但是,目前的车道线检测方案无法准确有效地在车道线类别的像素中检测出不同的车道线实例。
发明内容
有鉴于此,本发明实施例提供了一种车道线实例检测方法和装置,用以解决现有技术中无法准确有效地检测出车道线实例的问题。
一方面,本申请实施例提供了一种车道线实例检测方法,包括:
从车辆驾驶环境的图像数据中提取出车道线图像数据;其中,车道线图像中包括多个车道线像素;
从车道线图像数据中识别出多组车道线像素;其中,每组内的车道线像素具有相同的特征;
将一组车道线像素确定为一个车道线实例,得到多个车道线实例。
另一方面,本申请实施例提供了一种车道线实例检测装置,包括:
提取模块,用于从车辆驾驶环境的图像数据中提取出车道线图像数据;其中,车道线图像中包括多个车道线像素;
识别模块,用于从车道线图像数据中识别出多组车道线像素;其中,每组内的车道线像素具有相同的特征;
确定模块,用于将一组车道线像素确定为一个车道线实例,得到多个车道线实例。
另一方面,本申请实施例提供了一种车道线实例检测装置,包括一个处理器和至少一个存储器,至少一个存储器中存储有至少一条机器可执行指令,处理器执行至少一条机器可执行指令以执行:
从车辆驾驶环境的图像数据中提取出车道线图像数据;其中,车道线图像中包括多个车道线像素;
从车道线图像数据中识别出多组车道线像素;其中,每组内的车道线像素具有相同的特征;
将一组车道线像素确定为一个车道线实例,得到多个车道线实例。
根据本发明实施例提供的技术方案,车道线实例检测方法从车辆驾驶环境的图像数据中提取出车道线图像,车道线图像中包括多个车道线像素;从车道线图像数据中识别出多组车道线像素,每组内的车道线像素具有相同的特征;将一组车道线像素确定为一个车道线实例,得到多个车道线实例;从而能够有效准确地识别出车道线类别中的车道线实例,能够解决现有技术中无法准确有效地检测出车道线实例的问题。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1为本申请实施例提供的车道线实例检测方法的处理流程图;
图2为图1中步骤102的处理流程图;
图3为图1中步骤103的处理流程图;
图4为本申请实施例中训练神经网络的示意图;
图5为根据图4训练得到的神经网络模型;
图6为本申请实施例中的相关图像示例;
图7为本申请实施例提供的车道线实例检测装置的结构框图;
图8为本申请实施例提供的车道线实例检测装置的另一结构框图;
图9为本申请实施例提供的车道线实例检测装置的另一结构框图;
图10为本申请实施例提供的车道线实例检测装置的另一结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
针对现有技术中存在无法准确有效地检测出车道线实例的问题,本申请实施例提供了一种车道线实例检测方法和装置,用以解决该问题。
在本申请实施例提供的车道线实例检测方案中,车道线实例检测装置从车辆驾驶环境的图像数据中提取出车道线图像,车道线图像中包括多个车道线像素;从车道线图像数据中识别出多组车道线像素,每组内的车道线像素具有相同的特征;将一组车道线像素确定为一个车道线实例,得到多个车道线实例;从而能够有效准确地识别出车道线类别中的车道线实例,能够解决现有技术中无法准确有效地检测出车道线实例的问题。
以上是本发明的核心思想,为了使本技术领域的人员更好地理解本发明实施例中的技术方案,并使本发明实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明实施例中技术方案作进一步详细的说明。
图1示出了本申请实施例提供的车道线实例检测方法的处理流程,该方法包括如下的处理过程:
步骤101、车道线实例检测装置从车辆驾驶环境的图像数据中提取出车道线图像数据;其中,车道线图像中包括多个车道线像素。
其中,图像数据可以是通过车辆上的车载摄像头获取的。
从图像数据中提取出车道线图像数据的操作,可以通过多种方式实现,包括通过语义分割的方式从图像数据中提取出车道线图像数据。具体包括:将图像数据作为输入提供给预先训练得到的语义分割模型,语义分割模型输出得到车道线图像数据。其中,语义分割模型是预先根据驾驶环境的历史图像数据和真实数据迭代训练神经网络得到的,并且训练得到的语义分割模型可以用于车道线的图像检测和处理。
在具体应用的过程中,还可以通过其它方式提取出车道线图像数据,本申请这里不做具体限定。
步骤102、从车道线图像数据中识别出多组车道线像素;其中,每组内的车道线像素具有相同的特征;
具体地,步骤102可以包括如图2所示的如下步骤:
步骤1021、将车道线图像数据中的车道线像素作为输入提供给预先根据三元损失函数训练得到的车道线实例检测模型。
具体地,车道线图像数据可以是通过语义分割模型从图像数据中提取出来的特征图,该特征图中只包括车道线像素。
步骤1022、车道线实例检测模型确定任意两个车道线像素在特征空间中的距离。
具体地,车道线实例检测模型确定任意两个车道线像素在特征空间中的特征表达之间的距离。
车道线实例检测模型可以随机地选取一个车道线像素作为第一像素或者是锚像素,还可以根据预先设置的规则来选取车道线像素;并确定与第一像素在特征空间中的特征表达的距离最近的特征表达对应的第二像素,以及与第一像素距离的特征表达的距离最远的特征表达对应的第三像素。
步骤1023、车道线实例检测模型根据确定得到的距离,得到距离度量空间中的多组车道线像素;其中,每组内的车道线像素具有的相同的特之间的距离小于组间任意两个车道线像素之间的距离。
在该步骤中,由于车道线实例检测模型已经确定得到了任意两个车道线像素在特征空间中的特征表达之间的距离,能够得到在距离度量空间中聚类的多组车道线像素;其中,通过可视化的操作可以将聚类的多组车道线像素输出到距离度量空间中,从而可以清楚地观察到车道线像素的特征表达的聚类情况。
其中,车道线实例检测模型是预先根据真实数据并使用三元损失函数对神经网络进行有监督的迭代训练得到的,该训练得到的神经网络可以用于车道线实例检测。
步骤103、将一组车道线像素确定为一个车道线实例,得到多个车道线实例。
具体地,步骤103可以如图3所示,包括如下步骤:
步骤1031、对距离度量空间中的所有车道线像素进行聚类,提取得到多组车道线像素;
由于在步骤1023中,车道线实例检测模型已经得到距离度量空间中的多组车道线像素,通过聚类的方法可以提取得到这多组车道线像素;
步骤1032、将一组车道线像素确定为一个车道线实例,得到多个车道线实例。
在如图1所示的处理过程中,在步骤102中,在通过图像处理得到的车道线图像中,车道线像素在特征空间中的特征表达是分散分布的,仅根据车道线图像无法有效地在属于车道线类别的多个像素特征表达中识别出不同车道线实例。通过三元损失函数能够确定得到任意两个车道线像素之间的距离,能够有效地区分出距离一个车道线像素距离最近的像素和距离最远的像素,从而输出得到多组车道线像素,其中组内车道线像素之间的距离小于组间车道线像素之间的距离。并且进一步地,通过聚类的方法提取得到多组车道线像素,一组车行道像素也即一个车道线实例,从而得到多个车道线实例。可见通过本申请实施例提供的方法,能够有效地识别得到车道线实例,能够解决现有技术中无法准确有效地检测出车道线实例的问题。
下面通过一个具体实例来进一步地说明本申请实施例的技术方案。
在具体应用中,为了实现如图1所示的处理,可以预先迭代训练深度神经网络,分别得到实现步骤102和步骤103的功能的模型,也即训练得到语义分割模型进行语义分割,并且通过三元损失函数训练得到车道线实例检测模型来进行车道线实例检测,分别实现步骤102和步骤103的功能。
图4中示出了一个训练神经网络的示意图,在图4中将图像数据作为输入提供给深度神经网络,这里的深度神经网络包括两个分支,一个分支用于训练得到语义分割模型,另一个分支用于训练得到车道线实例检测模型。
输入的图像数据可以是车辆的驾驶环境的历史图像数据,以及该驾驶环境的真实数据;其中,真实数据中包括对物体类别的正确标注,真实数据也可以被称为实例图。
在图4中,深度神经网络左边的部分用于根据输入的图像数据和真实数据训练得到语义分割模型,深度神经网络右边的部分用于根据输入的图像数据和真实数据通过三元损失函数训练得车道线实例检测模型。
训练得到的模型如图5所示。训练得到的语义分割模型用于对输入的图像数据进行标定,输出得到语义分割结果,也即车道线图像,其中包括多个车道线像素;也即语义分割模型输出得到像素级别的车道线信息。
图6示出了相关的图像示例,图6左边的图像为一个原始的图像数据,图6中间部分的图像为执行了语义分割、标注了车道线类别后的图像数据,图6右边的图像为提取出的车道线图像。
通过三元损失函数训练得到的车道线实例检测模型用于针对输入的车道线图像中的车道线像素,确定任意两个像素在特征空间中的特征表达之间的距离;根据确定得到的距离,在距离度量空间中输出车道线像素,得到距离度量空间中的多组车道线像素。
在图5中,进一步针对距离度量空间中的多组车道线像素进行聚类操作,提取出多组车道线像素,一组车道线像素即为一个车道线实例。
从而,如图5所示的处理过程能够识别提取出输入图像数据中的车道线实例,能够解决现有技术中无法准确有效地检测出车道线实例的问题。
基于相同的发明构思,本申请实施例还提供了一种车道线实例检测装置。
如图7所示,本申请实施例提供的车道线实例检测装置包括:
提取模块71,用于从车辆驾驶环境的图像数据中提取出车道线图像数据;
识别模块72,用于从车道线图像数据中识别出多组车道线像素;其中,每组内的车道线像素具有相同的特征;
确定模块73,用于将一组车道线像素确定为一个车道线实例,得到多个车道线实例。
其中,提取模块71从车辆驾驶环境的图像数据中提取出车道线图像数据,包括:将图像数据作为输入提供给预先训练得到的语义分割模型,语义分割模型输出得到车道线图像数据。
识别模块72从车道线图像数据中识别出多组车道线像素,包括:将车道线图像数据中的车道线像素作为输入提供给预先根据三元损失函数训练得到的车道线实例检测模型;车道线实例检测模型确定任意两个车道线像素在特征空间中的距离;车道线示例检测模型根据确定得到的距离,得到距离度量空间中的多组车道线像素;其中,每组内的车道线像素具有相同的特征,包括:在距离度量空间中,组内任意两个车道线像素之间的距离小于组间任意两个车道线像素之间的距离。也即识别模块72实现如图2所示的处理过程。
确定模块73将一组车道线像素确定为一个车道线实例,得到多个车道线实例,包括:对距离度量空间中的所有车道线像素进行聚类,提取得到多组车道线像素;将一组车道线像素确定为一个车道线实例,得到多个车道线实例。也即,确定模块73实现如图3所示的处理过程。
进一步地,如图8所示,本申请提供的车道线实例检测装置还可以包括:
第一预训练模块74,用于预先根据驾驶环境的历史图像数据和真实数据迭代训练神经网络得到用于车道线检测的语义分割模型。
第二预训练模块75,用于预先根据真实数据并使用三元损失函数对神经网络进行有监督的迭代训练,得到用于车道线实例检测的车道线实例检测模型;其中,车道线实例检测模型表达多个像素和像素之间的距离的对应关系。
在另一些实施例中,第一预训练模块74和第二预训练模块75也可以合并设置为预训练模块76,如图9所示,预训练模块76的功能和第一预训练模块74以及第二预训练模块75相同。
通过如图7、图8或者图9所示的装置,针对提取模块71提取得到的车道线图像数据,识别模块72能够通过三元损失函数确定得到任意两个车道像素之间的距离,能够有效地区分出距离一个车道线像素距离最近的像素和距离最远的像素,得到距离度量空间中的多组车道线像素,并提取得到多组车道线像素,将一组车道线像素确定为一个车道线实例,能够得到多个车道线实例。从而,本申请实施例提供的装置能够有效地识别得到车道线实例,能够解决现有技术中无法准确有效地检测出车道线实例的问题。
基于相同的发明构思,本申请实施例还提供了一种车道线实例检测装置。
如图10所示,本申请实施例提供的车道线包括一个处理器1001和至少一个存储器1002,至少一个存储器1002中存储有至少一条机器可执行指令,处理器1001执行至少一条机器可执行指令以执行:
从车辆驾驶环境的图像数据中提取出车道线图像数据;其中,车道线图像中包括多个车道线像素;
从车道线图像数据中识别出多组车道线像素;其中,每组内的车道线像素具有相同的特征;
将一组车道线像素确定为一个车道线实例,得到多个车道线实例。其中,处理器1001执行至少一条机器可执行指令以执行从车辆驾驶环境的图像数据中提取出车道线图像数据,包括:将图像数据作为输入提供给预先训练得到的语义分割模型,语义分割模型输出得到车道线图像数据。
处理器1001执行至少一条机器可执行指令还执行:预先根据驾驶环境的历史图像数据和真实数据迭代训练神经网络得到用于车道线检测的语义分割模型。
处理器1001执行至少一条机器可执行指令以实现从车道线图像数据中识别出多组车道线像素,包括:将车道线图像数据中的车道线像素作为输入提供给预先根据三元损失函数训练得到的车道线实例检测模型;车道线实例检测模型确定任意两个车道线像素在特征空间中的距离;车道线实例检测模型根据确定得到的距离,得到距离度量空间中的多组车道线像素;其中,每组内的车道线像素具有相同的特征,包括:在距离度量空间中,组内任意两个车道线像素之间的距离小于组间任意两个车道线像素之间的距离。
处理器1001执行至少一条机器可执行指令还实现:预先根据真实数据并使用三元损失函数对神经网络进行有监督的迭代训练,得到用于车道线实例检测模型;其中,车道线实例检测模型表达多个像素和像素之间的距离的对应关系。
处理器1001执行至少一条机器可执行指令以执行将一组车道线像素确定为一个车道线实例,得到多个车道线实例,包括:对距离度量空间中的所有车道线像素进行聚类,提取得到多组车道线像素;将一组车道线像素确定为一个车道线实例,得到多个车道线实例。
根据本申请实施例提供的装置,针对提取得到的车道线图像数据,通过三元损失函数确定得到任意两个车道像素之间的距离,能够有效地区分出距离一个车道线像素距离最近的像素和距离最远的像素,得到距离度量空间中的多组车道线像素,并提取得到多组车道线像素,将一组车道线像素确定为一个车道线实例,能够得到多个车道线实例。从而,本申请实施例提供的装置能够有效地识别得到车道线实例,能够解决现有技术中无法准确有效地检测出车道线实例的问题。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (15)
1.一种车道线实例检测方法,其特征在于,包括:
将车辆驾驶环境的图像数据作为输入提供给预先训练得到的语义分割模型,从所述语义分割模型中输出得到一个车道线图像的车道线图像数据;其中,所述一个车道线图像中包括多个车道线像素;
根据预先训练的车道线实例检测模型从所述车道线图像数据中识别出多组车道线像素,包括:
确定所述多个车道线像素中的任意两个在特征空间中的距离,以区分出距离一个车道线像素距离最近的像素和距离最远的像素;及
根据确定得到的所述距离,得到距离度量空间中的所述多组车道线像素;其中,在距离度量空间中,组内任意两个车道线像素之间的距离小于组间任意两个车道线像素之间的距离;及
将一组车道线像素确定为一个车道线实例,得到多个车道线实例。
2.根据权利要求1所述的方法,其特征在于,还包括:
预先根据所述驾驶环境的历史图像数据和真实数据迭代训练神经网络得到用于车道线检测的所述语义分割模型。
3.根据权利要求1所述的方法,其特征在于,从所述车道线图像数据中识别出所述多组车道线像素,还包括:
将所述车道线图像数据中的车道线像素作为输入提供给预先根据三元损失函数训练得到的车道线实例检测模型;其中,所述车道线实例检测模型用以确定所述多个车道线像素中的任意两个在特征空间中的所述距离,且用以根据确定得到的所述距离,得到距离度量空间中的所述多组车道线像素。
4.根据权利要求3所述的方法,其特征在于,还包括:
预先根据真实数据并使用所述三元损失函数对神经网络进行有监督的迭代训练,得到所述车道线实例检测模型;其中,所述车道线实例检测模型表达多个像素和像素之间的距离的对应关系。
5.根据权利要求3所述的方法,其特征在于,将一组车道线像素确定为一个车道线实例,得到所述多个车道线实例,包括:
对距离度量空间中的所有车道线像素进行聚类,提取得到所述多组车道线像素;及
将一组车道线像素确定为一个车道线实例,得到所述多个车道线实例。
6.一种车道线实例检测装置,其特征在于,包括:
提取模块,用于将车辆驾驶环境的图像数据作为输入提供给预先训练得到的语义分割模型,从所述语义分割模型中输出得到一个车道线图像的车道线图像数据;其中,所述一个车道线图像中包括多个车道线像素;
识别模块,用于根据预先训练的车道线实例检测模型从所述车道线图像数据中识别出多组车道线像素,包括:
确定所述多个车道线像素中的任意两个在特征空间中的距离,以区分出距离一个车道线像素距离最近的像素和距离最远的像素;及
根据确定得到的所述距离,得到距离度量空间中的所述多组车道线像素;其中,在距离度量空间中,组内任意两个车道线像素之间的距离小于组间任意两个车道线像素之间的距离;及
确定模块,用于将一组车道线像素确定为一个车道线实例,得到多个车道线实例。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第一预训练模块,用于预先根据所述驾驶环境的历史图像数据和真实数据迭代训练神经网络得到用于车道线检测的所述语义分割模型。
8.根据权利要求6所述的装置,其特征在于,所述识别模块从所述车道线图像数据中识别出所述多组车道线像素,还包括:
将所述车道线图像数据中的车道线像素作为输入提供给预先根据三元损失函数训练得到的车道线实例检测模型;其中,所述车道线实例检测模型用以确定所述多个车道线像素中的任意两个在特征空间中的所述距离,且用以根据确定得到的所述距离,得到距离度量空间中的所述多组车道线像素。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
第二预训练模块,用于预先根据真实数据并使用所述三元损失函数对神经网络进行有监督的迭代训练,得到用于车道线实例检测的所述车道线实例检测模型;其中,所述车道线实例检测模型表达多个像素和像素之间的距离的对应关系。
10.根据权利要求8所述的装置,其特征在于,所述确定模块将一组车道线像素确定为一个车道线实例,得到所述多个车道线实例,包括:
对距离度量空间中的所有车道线像素进行聚类,提取得到所述多组车道线像素;及
将一组车道线像素确定为一个车道线实例,得到所述多个车道线实例。
11.一种车道线实例检测装置,其特征在于,包括一个处理器和至少一个存储器,所述至少一个存储器中存储有至少一条机器可执行指令,所述处理器执行所述至少一条机器可执行指令以执行:
将车辆驾驶环境的图像数据作为输入提供给预先训练得到的语义分割模型,从所述语义分割模型中输出得到一个车道线图像的车道线图像数据;其中,所述一个车道线图像中包括多个车道线像素;
根据预先训练的车道线实例检测模型从所述车道线图像数据中识别出多组车道线像素,包括:
确定所述多个车道线像素中的任意两个在特征空间中的距离,以区分出距离一个车道线像素距离最近的像素和距离最远的像素;及
根据确定得到的所述距离,得到距离度量空间中的所述多组车道线像素;其中,在距离度量空间中,组内任意两个车道线像素之间的距离小于组间任意两个车道线像素之间的距离;及
将一组车道线像素确定为一个车道线实例,得到多个车道线实例。
12.根据权利要求11所述的装置,其特征在于,所述处理器执行所述至少一条机器可执行指令还执行:
预先根据所述驾驶环境的历史图像数据和真实数据迭代训练神经网络得到用于车道线检测的所述语义分割模型。
13.根据权利要求11所述的装置,其特征在于,所述处理器执行所述至少一条机器可执行指令以实现从所述车道线图像数据中识别出所述多组车道线像素,还包括:
将所述车道线图像数据中的车道线像素作为输入提供给预先根据三元损失函数训练得到的车道线实例检测模型;其中,所述车道线实例检测模型用以确定所述多个车道线像素中的任意两个在特征空间中的所述距离,且用以根据确定得到的所述距离,得到距离度量空间中的所述多组车道线像素。
14.根据权利要求13所述的装置,其特征在于,所述处理器执行所述至少一条机器可执行指令还实现:
预先根据真实数据并使用所述三元损失函数对神经网络进行有监督的迭代训练,得到用于车道线实例检测的所述车道线实例检测模型;其中,所述车道线实例检测模型表达多个像素和像素之间的距离的对应关系。
15.根据权利要求13所述的装置,其特征在于,所述处理器执行所述至少一条机器可执行指令以执行将一组车道线像素确定为一个车道线实例,得到所述多个车道线实例,包括:
对距离度量空间中的所有车道线像素进行聚类,提取得到所述多组车道线像素;及
将一组车道线像素确定为一个车道线实例,得到所述多个车道线实例。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
USUS15/684,791 | 2017-08-23 | ||
US15/684,791 US10303956B2 (en) | 2017-08-23 | 2017-08-23 | System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109426801A CN109426801A (zh) | 2019-03-05 |
CN109426801B true CN109426801B (zh) | 2021-05-25 |
Family
ID=65436210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810694443.3A Active CN109426801B (zh) | 2017-08-23 | 2018-06-29 | 一种车道线实例检测方法和装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10303956B2 (zh) |
CN (1) | CN109426801B (zh) |
Families Citing this family (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10970564B2 (en) | 2017-09-30 | 2021-04-06 | Tusimple, Inc. | System and method for instance-level lane detection for autonomous vehicle control |
US10970553B2 (en) * | 2017-11-15 | 2021-04-06 | Uatc, Llc | Semantic segmentation of three-dimensional data |
WO2019110583A1 (en) * | 2017-12-07 | 2019-06-13 | Ventana Medical Systems, Inc. | Deep-learning systems and methods for joint cell and region classification in biological images |
US10599146B2 (en) * | 2018-03-26 | 2020-03-24 | Ford Global Technologies, Llc | Action-conditioned vehicle control |
DE102018213191A1 (de) * | 2018-05-09 | 2019-11-14 | Conti Temic Microelectronic Gmbh | Verfahren zur Fahrspur- und Fahrbahndetektion |
US10902616B2 (en) * | 2018-08-13 | 2021-01-26 | Nvidia Corporation | Scene embedding for visual navigation |
US11294949B2 (en) | 2018-09-04 | 2022-04-05 | Toyota Connected North America, Inc. | Systems and methods for querying a distributed inventory of visual data |
US10832062B1 (en) * | 2018-09-28 | 2020-11-10 | Zoox, Inc. | Image embedding for object tracking |
US10346693B1 (en) * | 2019-01-22 | 2019-07-09 | StradVision, Inc. | Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same |
KR102177880B1 (ko) * | 2019-03-08 | 2020-11-12 | 현대모비스 주식회사 | 자율주행용 클래스 레이블링 장치 |
US11676284B2 (en) * | 2019-03-22 | 2023-06-13 | Nvidia Corporation | Shape fusion for image analysis |
CN111738034B (zh) * | 2019-03-25 | 2024-02-23 | 杭州海康威视数字技术股份有限公司 | 车道线的检测方法和装置 |
CN110163109B (zh) * | 2019-04-23 | 2021-09-17 | 浙江大华技术股份有限公司 | 一种车道线标注方法及装置 |
CN110502982B (zh) * | 2019-07-11 | 2024-03-05 | 平安科技(深圳)有限公司 | 一种检测高速公路中障碍物的方法、装置及计算机设备 |
CN110427860B (zh) * | 2019-07-26 | 2022-03-25 | 武汉中海庭数据技术有限公司 | 一种车道线识别方法、装置及存储介质 |
US11321406B2 (en) | 2019-07-31 | 2022-05-03 | Walmart Apollo, Llc | Personalized ranking using deep attribute extraction and attentive user interest embeddings |
US20210034945A1 (en) * | 2019-07-31 | 2021-02-04 | Walmart Apollo, Llc | Personalized complimentary item recommendations using sequential and triplet neural architecture |
US11586943B2 (en) | 2019-08-12 | 2023-02-21 | Micron Technology, Inc. | Storage and access of neural network inputs in automotive predictive maintenance |
US11853863B2 (en) | 2019-08-12 | 2023-12-26 | Micron Technology, Inc. | Predictive maintenance of automotive tires |
US11748626B2 (en) | 2019-08-12 | 2023-09-05 | Micron Technology, Inc. | Storage devices with neural network accelerators for automotive predictive maintenance |
US11586194B2 (en) | 2019-08-12 | 2023-02-21 | Micron Technology, Inc. | Storage and access of neural network models of automotive predictive maintenance |
US11635893B2 (en) | 2019-08-12 | 2023-04-25 | Micron Technology, Inc. | Communications between processors and storage devices in automotive predictive maintenance implemented via artificial neural networks |
US11775816B2 (en) | 2019-08-12 | 2023-10-03 | Micron Technology, Inc. | Storage and access of neural network outputs in automotive predictive maintenance |
US11361552B2 (en) * | 2019-08-21 | 2022-06-14 | Micron Technology, Inc. | Security operations of parked vehicles |
US10993647B2 (en) | 2019-08-21 | 2021-05-04 | Micron Technology, Inc. | Drowsiness detection for vehicle control |
US11042350B2 (en) | 2019-08-21 | 2021-06-22 | Micron Technology, Inc. | Intelligent audio control in vehicles |
US11702086B2 (en) | 2019-08-21 | 2023-07-18 | Micron Technology, Inc. | Intelligent recording of errant vehicle behaviors |
US11498388B2 (en) | 2019-08-21 | 2022-11-15 | Micron Technology, Inc. | Intelligent climate control in vehicles |
US11435946B2 (en) | 2019-09-05 | 2022-09-06 | Micron Technology, Inc. | Intelligent wear leveling with reduced write-amplification for data storage devices configured on autonomous vehicles |
US11436076B2 (en) | 2019-09-05 | 2022-09-06 | Micron Technology, Inc. | Predictive management of failing portions in a data storage device |
US11409654B2 (en) | 2019-09-05 | 2022-08-09 | Micron Technology, Inc. | Intelligent optimization of caching operations in a data storage device |
US11693562B2 (en) | 2019-09-05 | 2023-07-04 | Micron Technology, Inc. | Bandwidth optimization for different types of operations scheduled in a data storage device |
US11650746B2 (en) | 2019-09-05 | 2023-05-16 | Micron Technology, Inc. | Intelligent write-amplification reduction for data storage devices configured on autonomous vehicles |
US11120280B2 (en) | 2019-11-15 | 2021-09-14 | Argo AI, LLC | Geometry-aware instance segmentation in stereo image capture processes |
US11940804B2 (en) * | 2019-12-17 | 2024-03-26 | Motional Ad Llc | Automated object annotation using fused camera/LiDAR data points |
US11250648B2 (en) | 2019-12-18 | 2022-02-15 | Micron Technology, Inc. | Predictive maintenance of automotive transmission |
US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
US11531339B2 (en) | 2020-02-14 | 2022-12-20 | Micron Technology, Inc. | Monitoring of drive by wire sensors in vehicles |
US11709625B2 (en) | 2020-02-14 | 2023-07-25 | Micron Technology, Inc. | Optimization of power usage of data storage devices |
US11481862B2 (en) * | 2020-02-26 | 2022-10-25 | Beijing Jingdong Shangke Information Technology Co., Ltd. | System and method for real-time, simultaneous object detection and semantic segmentation |
DE102020202811A1 (de) * | 2020-03-05 | 2021-09-09 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung zur Fahrzeugsteuerung |
US11841479B2 (en) | 2020-07-31 | 2023-12-12 | Chevron U.S.A. Inc. | Systems and methods for identifying subsurface features as a function of position in a subsurface volume of interest |
US11733424B2 (en) | 2020-07-31 | 2023-08-22 | Chevron U.S.A. Inc. | Systems and methods for identifying subsurface features as functions of feature positions in a subsurface volume of interest |
CN112257623B (zh) * | 2020-10-28 | 2022-08-23 | 长沙立中汽车设计开发股份有限公司 | 一种路面清洁度判定和自动清扫方法及自动清扫环卫装置 |
CN112801021B (zh) * | 2021-02-09 | 2022-07-08 | 福州大学 | 基于多级语义信息的车道线检测方法及*** |
US11816841B2 (en) * | 2021-03-17 | 2023-11-14 | Huawei Technologies Co., Ltd. | Method and system for graph-based panoptic segmentation |
US11367289B1 (en) * | 2021-07-16 | 2022-06-21 | Motional Ad Llc | Machine learning-based framework for drivable surface annotation |
CN114022865A (zh) * | 2021-10-29 | 2022-02-08 | 北京百度网讯科技有限公司 | 基于车道线识别模型的图像处理方法、装置、设备和介质 |
CN113989300A (zh) * | 2021-10-29 | 2022-01-28 | 北京百度网讯科技有限公司 | 车道线分割的方法、装置、电子设备和存储介质 |
CN114693934B (zh) * | 2022-04-13 | 2023-09-01 | 北京百度网讯科技有限公司 | 语义分割模型的训练方法、视频语义分割方法及装置 |
CN114677442B (zh) * | 2022-05-26 | 2022-10-28 | 之江实验室 | 一种基于序列预测的车道线检测***、装置和方法 |
CN116168201B (zh) * | 2023-04-13 | 2023-06-20 | 智道网联科技(北京)有限公司 | 无需精确标注数据的车道线分割方法及装置 |
Family Cites Families (98)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
US7103460B1 (en) | 1994-05-09 | 2006-09-05 | Automotive Technologies International, Inc. | System and method for vehicle diagnostics |
US7783403B2 (en) | 1994-05-23 | 2010-08-24 | Automotive Technologies International, Inc. | System and method for preventing vehicular accidents |
US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
WO2003093857A2 (en) | 2002-05-03 | 2003-11-13 | Donnelly Corporation | Object detection system for vehicle |
US6777904B1 (en) | 2003-02-25 | 2004-08-17 | Ford Global Technologies, Llc | Method and system for controlling a motor |
US8082101B2 (en) | 2004-04-08 | 2011-12-20 | Mobileye Technologies Ltd. | Collision warning system |
WO2005098739A1 (en) | 2004-04-08 | 2005-10-20 | Mobileye Technologies Limited | Pedestrian detection |
WO2005098751A1 (en) | 2004-04-08 | 2005-10-20 | Mobileye Technologies Limited | Crowd detection |
US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
EP1790541A2 (en) | 2005-11-23 | 2007-05-30 | MobilEye Technologies, Ltd. | Systems and methods for detecting obstructions in a camera field of view |
US8164628B2 (en) | 2006-01-04 | 2012-04-24 | Mobileye Technologies Ltd. | Estimating distance to an object using a sequence of images recorded by a monocular camera |
US7689559B2 (en) | 2006-02-08 | 2010-03-30 | Telenor Asa | Document similarity scoring and ranking method, device and computer program product |
US7786898B2 (en) | 2006-05-31 | 2010-08-31 | Mobileye Technologies Ltd. | Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications |
EP2383679A1 (en) | 2006-12-06 | 2011-11-02 | Mobileye Technologies Limited | Detecting and recognizing traffic signs |
US20080249667A1 (en) | 2007-04-09 | 2008-10-09 | Microsoft Corporation | Learning and reasoning to enhance energy efficiency in transportation systems |
US7839292B2 (en) | 2007-04-11 | 2010-11-23 | Nec Laboratories America, Inc. | Real-time driving danger level prediction |
US8041111B1 (en) | 2007-10-15 | 2011-10-18 | Adobe Systems Incorporated | Subjective and locatable color theme extraction for images |
US9176006B2 (en) | 2008-01-15 | 2015-11-03 | Mobileye Vision Technologies Ltd. | Detection and classification of light sources using a diffraction grating |
US8670592B2 (en) * | 2008-04-24 | 2014-03-11 | GM Global Technology Operations LLC | Clear path detection using segmentation-based method |
US8699754B2 (en) * | 2008-04-24 | 2014-04-15 | GM Global Technology Operations LLC | Clear path detection through road modeling |
US8634593B2 (en) * | 2008-04-24 | 2014-01-21 | GM Global Technology Operations LLC | Pixel-based texture-less clear path detection |
US8751154B2 (en) * | 2008-04-24 | 2014-06-10 | GM Global Technology Operations LLC | Enhanced clear path detection in the presence of traffic infrastructure indicator |
US9117133B2 (en) | 2008-06-18 | 2015-08-25 | Spectral Image, Inc. | Systems and methods for hyperspectral imaging |
US20100049397A1 (en) | 2008-08-22 | 2010-02-25 | Garmin Ltd. | Fuel efficient routing |
US8126642B2 (en) | 2008-10-24 | 2012-02-28 | Gray & Company, Inc. | Control and systems for autonomously driven vehicles |
US9459515B2 (en) | 2008-12-05 | 2016-10-04 | Mobileye Vision Technologies Ltd. | Adjustable camera mount for a vehicle windshield |
US8175376B2 (en) | 2009-03-09 | 2012-05-08 | Xerox Corporation | Framework for image thumbnailing based on visual similarity |
RU2011143140A (ru) | 2009-03-26 | 2013-05-10 | Конинклейке Филипс Электроникс Н.В. | Способ и устройство для изменения изображения посредством использования карты внимания, основанной на частоте цвета |
US8271871B2 (en) | 2009-04-30 | 2012-09-18 | Xerox Corporation | Automated method for alignment of document objects |
US8392117B2 (en) | 2009-05-22 | 2013-03-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Using topological structure for path planning in semi-structured environments |
US8645480B1 (en) | 2009-07-19 | 2014-02-04 | Aaron T. Emigh | Trust representation by similarity |
JP2011176748A (ja) | 2010-02-25 | 2011-09-08 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US9280711B2 (en) | 2010-09-21 | 2016-03-08 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
US9118816B2 (en) | 2011-12-06 | 2015-08-25 | Mobileye Vision Technologies Ltd. | Road vertical contour detection |
US8509982B2 (en) | 2010-10-05 | 2013-08-13 | Google Inc. | Zone driving |
EP2448251B1 (en) | 2010-10-31 | 2019-09-25 | Mobileye Vision Technologies Ltd. | Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter |
WO2012068154A1 (en) | 2010-11-15 | 2012-05-24 | Huawei Technologies Co., Ltd. | Method and system for video summarization |
US9251708B2 (en) | 2010-12-07 | 2016-02-02 | Mobileye Vision Technologies Ltd. | Forward collision warning trap and pedestrian advanced warning system |
US8401292B2 (en) | 2011-04-26 | 2013-03-19 | Eastman Kodak Company | Identifying high saliency regions in digital images |
US9233659B2 (en) | 2011-04-27 | 2016-01-12 | Mobileye Vision Technologies Ltd. | Pedestrian collision warning system |
KR101777875B1 (ko) | 2011-04-28 | 2017-09-13 | 엘지디스플레이 주식회사 | 입체 영상 표시장치와 그 입체 영상 조절 방법 |
US9183447B1 (en) | 2011-06-09 | 2015-11-10 | Mobileye Vision Technologies Ltd. | Object detection using candidate object alignment |
DE112012003140T5 (de) | 2011-07-28 | 2014-06-26 | Honda Motor Co., Ltd. | Drahtloses Energieübertragungsverfahren |
DE102011083749B4 (de) | 2011-09-29 | 2015-06-11 | Aktiebolaget Skf | Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes |
US9297641B2 (en) | 2011-12-12 | 2016-03-29 | Mobileye Vision Technologies Ltd. | Detection of obstacles at night by analysis of shadows |
FR2984254B1 (fr) | 2011-12-16 | 2016-07-01 | Renault Sa | Controle de vehicules autonomes |
JP5605381B2 (ja) | 2012-02-13 | 2014-10-15 | 株式会社デンソー | クルーズ制御装置 |
US9042648B2 (en) | 2012-02-23 | 2015-05-26 | Microsoft Technology Licensing, Llc | Salient object segmentation |
US9476970B1 (en) | 2012-03-19 | 2016-10-25 | Google Inc. | Camera based localization |
CN102663356B (zh) * | 2012-03-28 | 2015-04-08 | 柳州博实唯汽车科技有限公司 | 车道线提取及偏离预警方法 |
US9134402B2 (en) | 2012-08-13 | 2015-09-15 | Digital Signal Corporation | System and method for calibrating video and lidar subsystems |
US9025880B2 (en) | 2012-08-29 | 2015-05-05 | Disney Enterprises, Inc. | Visual saliency estimation for images and video |
US9120485B1 (en) | 2012-09-14 | 2015-09-01 | Google Inc. | Methods and systems for smooth trajectory generation for a self-driving vehicle |
US9111444B2 (en) | 2012-10-31 | 2015-08-18 | Raytheon Company | Video and lidar target detection and tracking system and method for segmenting moving targets |
US9092430B2 (en) | 2013-01-02 | 2015-07-28 | International Business Machines Corporation | Assigning shared catalogs to cache structures in a cluster computing system |
US8788134B1 (en) | 2013-01-04 | 2014-07-22 | GM Global Technology Operations LLC | Autonomous driving merge management system |
WO2014111814A2 (en) | 2013-01-15 | 2014-07-24 | Mobileye Technologies Limited | Stereo assist with rolling shutters |
US9277132B2 (en) | 2013-02-21 | 2016-03-01 | Mobileye Vision Technologies Ltd. | Image distortion correction of a camera with a rolling shutter |
US9111355B1 (en) | 2013-03-13 | 2015-08-18 | Hrl Laboratories, Llc | Selective color processing for vision systems that enables optimal detection and recognition |
US9147255B1 (en) | 2013-03-14 | 2015-09-29 | Hrl Laboratories, Llc | Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms |
US9342074B2 (en) | 2013-04-05 | 2016-05-17 | Google Inc. | Systems and methods for transitioning control of an autonomous vehicle to a driver |
US9438878B2 (en) | 2013-05-01 | 2016-09-06 | Legend3D, Inc. | Method of converting 2D video to 3D video using 3D object models |
CN105659304B (zh) | 2013-06-13 | 2020-01-03 | 移动眼视力科技有限公司 | 车辆、导航***及生成并递送导航信息的方法 |
US9315192B1 (en) | 2013-09-30 | 2016-04-19 | Google Inc. | Methods and systems for pedestrian avoidance using LIDAR |
US9122954B2 (en) | 2013-10-01 | 2015-09-01 | Mobileye Vision Technologies Ltd. | Performing a histogram using an array of addressable registers |
US9738280B2 (en) | 2013-10-03 | 2017-08-22 | Robert Bosch Gmbh | Adaptive cruise control with on-ramp detection |
US9299004B2 (en) | 2013-10-24 | 2016-03-29 | Adobe Systems Incorporated | Image foreground detection |
US9330334B2 (en) | 2013-10-24 | 2016-05-03 | Adobe Systems Incorporated | Iterative saliency map estimation |
US9150220B2 (en) | 2013-12-04 | 2015-10-06 | Mobileye Vision Technologies Ltd. | Systems and methods for mimicking a leading vehicle |
CA2935617C (en) | 2013-12-30 | 2023-09-12 | Craig Arnold Tieman | Connected vehicle system with infotainment interface for mobile devices |
EP3100206B1 (en) | 2014-01-30 | 2020-09-09 | Mobileye Vision Technologies Ltd. | Systems and methods for lane end recognition |
US9664789B2 (en) * | 2014-02-20 | 2017-05-30 | Mobileye Vision Technologies Ltd. | Navigation based on radar-cued visual imaging |
CN103793925B (zh) | 2014-02-24 | 2016-05-18 | 北京工业大学 | 融合时空特征的视频图像视觉显著程度检测方法 |
DE102014205170A1 (de) | 2014-03-20 | 2015-11-26 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug |
CN105100134A (zh) | 2014-04-28 | 2015-11-25 | 思科技术公司 | 屏幕共享缓存管理 |
CN112580456A (zh) | 2014-05-14 | 2021-03-30 | 御眼视觉技术有限公司 | 用于路缘检测和行人危险评估的***和方法 |
US9720418B2 (en) | 2014-05-27 | 2017-08-01 | Here Global B.V. | Autonomous vehicle monitoring and control |
US10572744B2 (en) | 2014-06-03 | 2020-02-25 | Mobileye Vision Technologies Ltd. | Systems and methods for detecting an object |
US9457807B2 (en) | 2014-06-05 | 2016-10-04 | GM Global Technology Operations LLC | Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver |
EP3154835A1 (en) * | 2014-06-10 | 2017-04-19 | Mobileye Vision Technologies Ltd. | Top-down refinement in lane marking navigation |
US9554030B2 (en) | 2014-09-29 | 2017-01-24 | Yahoo! Inc. | Mobile device image acquisition using objects of interest recognition |
US9746550B2 (en) | 2014-10-08 | 2017-08-29 | Ford Global Technologies, Llc | Detecting low-speed close-range vehicle cut-in |
KR101664582B1 (ko) | 2014-11-12 | 2016-10-10 | 현대자동차주식회사 | 자율주행차량의 주행경로 생성장치 및 방법 |
US10115024B2 (en) | 2015-02-26 | 2018-10-30 | Mobileye Vision Technologies Ltd. | Road vertical contour detection using a stabilized coordinate frame |
JP6421684B2 (ja) | 2015-04-17 | 2018-11-14 | 井関農機株式会社 | 乗用草刈機 |
US10074041B2 (en) * | 2015-04-17 | 2018-09-11 | Nec Corporation | Fine-grained image classification by exploring bipartite-graph labels |
US10635761B2 (en) | 2015-04-29 | 2020-04-28 | Energid Technologies Corporation | System and method for evaluation of object autonomy |
DE102015211926A1 (de) | 2015-06-26 | 2016-12-29 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs |
CN107925476B (zh) | 2015-07-23 | 2020-11-10 | 日本电气株式会社 | 路由切换设备、路由切换***和路由切换方法 |
US9587952B1 (en) | 2015-09-09 | 2017-03-07 | Allstate Insurance Company | Altering autonomous or semi-autonomous vehicle operation based on route traversal values |
US9858496B2 (en) * | 2016-01-20 | 2018-01-02 | Microsoft Technology Licensing, Llc | Object detection and classification in images |
US9568915B1 (en) | 2016-02-11 | 2017-02-14 | Mitsubishi Electric Research Laboratories, Inc. | System and method for controlling autonomous or semi-autonomous vehicle |
US9535423B1 (en) | 2016-03-29 | 2017-01-03 | Adasworks Kft. | Autonomous vehicle with improved visual detection ability |
US10032067B2 (en) * | 2016-05-28 | 2018-07-24 | Samsung Electronics Co., Ltd. | System and method for a unified architecture multi-task deep learning machine for object recognition |
CN106980641B (zh) * | 2017-02-09 | 2020-01-21 | 上海媒智科技有限公司 | 基于卷积神经网络的无监督哈希快速图片检索***及方法 |
US10546242B2 (en) * | 2017-03-03 | 2020-01-28 | General Electric Company | Image analysis neural network systems |
-
2017
- 2017-08-23 US US15/684,791 patent/US10303956B2/en active Active
-
2018
- 2018-06-29 CN CN201810694443.3A patent/CN109426801B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US20190065867A1 (en) | 2019-02-28 |
CN109426801A (zh) | 2019-03-05 |
US10303956B2 (en) | 2019-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109426801B (zh) | 一种车道线实例检测方法和装置 | |
US10762376B2 (en) | Method and apparatus for detecting text | |
CN108229386B (zh) | 用于检测车道线的方法、装置和介质 | |
KR102565279B1 (ko) | 객체 검출 방법, 객체 검출을 위한 학습 방법 및 그 장치들 | |
US11113546B2 (en) | Lane line processing method and device | |
US11049275B2 (en) | Method of predicting depth values of lines, method of outputting three-dimensional (3D) lines, and apparatus thereof | |
JP2018194912A (ja) | 路上障害物検出装置,方法,およびプログラム | |
US10984588B2 (en) | Obstacle distribution simulation method and device based on multiple models, and storage medium | |
CN109034086B (zh) | 车辆重识别方法、装置及*** | |
KR20200060194A (ko) | 차선들의 깊이값을 예측하는 방법, 3차원 차선들을 출력하는 방법 및 그 장치 | |
CN108256454B (zh) | 一种基于cnn模型的训练方法、人脸姿态估测方法及装置 | |
CN111046971A (zh) | 图像识别方法、装置、设备及计算机可读存储介质 | |
CN109840463B (zh) | 一种车道线识别方法和装置 | |
CN110956081A (zh) | 车辆与交通标线位置关系的识别方法、装置及存储介质 | |
CN112654998B (zh) | 一种车道线检测方法和装置 | |
KR20210098515A (ko) | 표적 검출, 지능형 주행 방법, 장치, 디바이스 및 저장매체 | |
CN113255444A (zh) | 图像识别模型的训练方法、图像识别方法和装置 | |
CN109241893B (zh) | 基于人工智能技术的道路选择方法、装置及可读存储介质 | |
CN116664873B (zh) | 图像信息处理方法、装置及存储介质 | |
CN109523570B (zh) | 运动参数计算方法及装置 | |
Al Mamun et al. | Efficient lane marking detection using deep learning technique with differential and cross-entropy loss. | |
CN116872961A (zh) | 用于智能驾驶车辆的控制*** | |
CN112232317B (zh) | 用于目标朝向识别的目标检测方法及装置、设备及介质 | |
CN113963238A (zh) | 多任务感知识别模型的构建方法以及多任务感知识别方法 | |
CN110705695B (zh) | 搜索模型结构的方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |