CN110879961A - 利用车道模型的车道检测方法和装置 - Google Patents
利用车道模型的车道检测方法和装置 Download PDFInfo
- Publication number
- CN110879961A CN110879961A CN201910813171.9A CN201910813171A CN110879961A CN 110879961 A CN110879961 A CN 110879961A CN 201910813171 A CN201910813171 A CN 201910813171A CN 110879961 A CN110879961 A CN 110879961A
- Authority
- CN
- China
- Prior art keywords
- cluster
- lane
- test
- lanes
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
一种利用车道模型检测车道的CNN的学习方法及学习装置和利用该学习方法和学习装置的测试方法及测试装置,该学习方法包括:(a)学习装置从包括车道的至少一个图像数据组获取车道的信息或支持其他装置获取该车道的信息,车道的信息由构成车道中的各个车道的像素的坐标的各个集合表示;(b)学习装置利用构成各个车道的像素的坐标来计算各个车道的车道建模函数的至少一个函数参数或支持其他装置计算;以及(c)学习装置利用聚类算法,将函数参数分类为K个群集组,或支持其他装置分类,并按群集组分别赋予至少一个群集ID,或支持其他装置赋予,并生成表示关于成为与车道的类型对应的群集ID的概率的GT信息的群集ID GT向量,或支持其他装置生成。
Description
技术领域
本发明涉及一种利用车道模型(lane model)检测车道的CNN(卷积神经网络)的学习方法及学习装置和利用该学习方法和学习装置的测试方法及测试装置。更具体而言涉及一种包括以下步骤为特征的学习方法和学习装置以及基于此的测试方法及测试装置:(a)学习装置从包括所述车道的至少一个图像数据组获取所述车道的信息或支持其他装置获取该信息,而所述车道的信息的特征在于由构成所述车道中的各个车道的像素的坐标的各个集合表示;(b)所述学习装置利用构成所述各个车道的所述像素的所述坐标来计算所述各个车道的车道建模函数的至少一个函数参数或支持其他装置计算该至少一个函数参数;以及(c)所述学习装置利用聚类算法,将所述函数参数分类为K个群集组,或支持其他装置进行该分类,并按所述群集组分别赋予至少一个群集ID,或支持其他装置赋予该至少一个群集ID,并生成表示关于成为与所述车道的类型对应的所述群集ID的概率的GT信息的群集ID GT向量,或支持其他装置生成该群集ID GT向量。
背景技术
深度学习是用于将事物或数据聚类或分类的技术。例如,计算机无法单凭照片区分狗和猫,而人可以轻易区分。为此研发了所谓“机器学习(Machine Learning)”的方法。这是一种将很多数据输入到计算机,并将类似数据进行分类的技术。如果输入与储存的狗照片类似的照片,则计算机就会将其分类为狗照片。
有关如何分类数据,已有了很多机器学习算法,如“决策树”或“贝叶斯网络”、“支持向量机(SVM)”、“人工神经网络”等为代表。其中,深度学习是人工神经网络的后裔。
深度卷积神经网络(Deep Convolutional Neural Network;Deep CNN)可谓深层学习领域的飞速发展核心。为了解决文字识别问题,早在90年代就已经使用了CNN,而像现在如此广泛应用,得益于最近的研究成果。这样的深度CNN在2012年ImageNet图像分类大赛中战胜了其他竞争者,赢得了冠军。然后,卷积神经网络成为了Machine Learning领域中非常有用的工具。
图1是现有技术中利用深度CNN要在照片中检测的各种输出的图。
具体而言,分类(Classification)是识别要从照片检测出的类的类型(例如,如图1所示,识别检测出的个体是人、羊还是狗)的检测方法,检测(Detection)是将要从照片检测出的类的所有个体以分别包含在边界框的形式进行检测的方法,分割(Segmentation)是在照片中将特定个体区域区别于其他个体区域而进行分割的方法。随着近来深度学习(Deep learning)技术备受瞩目,分类、检测及分割也趋于大量使用深度学习。
图2是简略示出利用CNN的现有技术中的车道检测方法的图,图3是简略示出一般性CNN分割过程的图。
首先,如图3所示,根据现有技术的车道检测方法,学习装置接收输入图像,并通过在多个卷积层执行多次卷积运算和ReLU等非线性运算来获得特征图,再对此特征图在反卷积层执行多次反卷积运算,并执行根据归一化指数(SoftMax)的运算,从而获得分割结果。
另外,如图2所示,在现有技术中,用于车道检测的分割结果如图2中间所示,由车道(lane)和背景(background)两种构成。这样的车道相关的分割结果来自概率估计(Probability Estimation)。在如此生成的车道候选像素中,对是车道的概率高的各个像素进行采样,找到车道后,利用基于找到的车道像素获得的车道模型函数,确定最终车道。
但是,这种根据现有技术的检测方法由于需要在输入图像中的所有像素中区分相应像素是否为车道而存在运算量大的问题。
发明内容
本发明的目的在于解决所有上述问题。
本发明的另一目的在于在输入图像中检测车道时,提供与现有技术方法相比运算量更小的方法。
另外,本发明的又另一目的在于提供能够学习车道模型的CNN学习方法。
另外,本发明的又另一目的在于利用车道模型准确检测车道的方法。
根据本发明一方面,提供一种利用车道模型检测至少一个车道的CNN(卷积神经网络)的学习方法,其特征在于,包括以下步骤:(a)学习装置从包括所述车道的至少一个图像数据组获取所述车道的信息或支持其他装置获取该信息,而所述车道的信息的特征在于由构成所述车道中的各个车道的像素的坐标的各个集合表示;(b)所述学习装置利用构成所述各个车道的所述像素的所述坐标来计算所述各个车道的车道建模函数的至少一个函数参数或支持其他装置计算该至少一个函数参数;以及(c)所述学习装置利用聚类算法,将所述函数参数分类为K个群集组,或支持其他装置进行该分类,并按所述群集组分别赋予至少一个群集ID,或支持其他装置赋予该至少一个群集ID,并生成表示关于成为与所述车道的类型对应的所述群集ID的概率的GT信息的群集ID GT向量,或支持其他装置生成该群集IDGT向量。
在一实施例中,提供一种学习方法,其特征在于,还包括以下步骤:(d)所述学习装置针对从所述至少一个图像数据组获取的输入图像学习能够预测与所述输入图像内的至少一个所述车道对应的至少一个所述群集ID的所述CNN的装置参数,或支持其他装置学习,其中,所述(d)步骤包括以下步骤:(d1)所述学习装置使至少一个卷积层通过对所述输入图像执行一次以上的卷积运算来生成至少一个特征图;(d2)所述学习装置将从所述卷积层输出的特定特征图提供给FC层,从而使所述FC层生成所述输入图像内的所述车道的群集ID分类的结果向量;以及(d3)所述学习装置使损失层以所述群集ID分类的所述结果向量及所述群集ID GT向量为参考,算出至少一个分类损失,并反向传播所述分类损失以使所述CNN的所述装置参数最优化。
在一实施例中,提供一种学习方法,其特征在于,所述群集ID GT向量为具有K+1维度的向量,(i)在判断为所述输入图像上存在所述车道的情况下,如果在所述输入图像的所述车道中存在属于作为K个所述群集ID中的特定群集ID的Ck的特定车道,则用1填满所述群集ID GT向量的第k维度,用0填满与所述群集ID中的不存在于所述输入图像的其他群集ID中的每个对应的所述群集ID GT向量的其他维度,并且用0填满所述群集ID GT向量的第K+1维度,(ii)在判断为所述输入图像上不存在所述车道的情况下,用0填满所述群集ID GT向量的第1维度至第K维度,用1填满所述群集ID GT向量的所述K+1维度,其中,k是1至K的整数,在所述(d3)步骤中,所述群集ID分类的所述结果向量为具有K+1维度的向量。
在一实施例中,提供一种学习方法,其特征在于,在所述(b)步骤中,表示包含于所述车道(Li,j)的中点坐标(x,y)的所述车道建模函数,通过以下数学式表示:x=f(y;θi,j),其中,Li,j={(x,y)|(x,y)是第i输入图像的第j车道的所述中点坐标}={(x,y)|x=f(y;θi,j)},θi,j表示所述第i输入图像的所述第j车道的所述函数参数中的各个函数参数。
在一实施例中,提供一种学习方法,其特征在于,所述车道建模函数的所述车道模型是参数化的模型,所述函数参数利用回归算法被算出,所述回归算法根据所述车道模型使用不同的算法。
在一实施例中,提供一种学***方误差算法。
在一实施例中,提供一种学***均值作为各个群集组代表值(θk),所述学习方法还包括以下步骤:(e)所述学习装置生成与所预测的群集ID中的每个对应的所述各个群集组代表值或者支持其他装置生成所述各个群集组代表值,并且确定由所述各个群集组代表值(θk)表达的各个所预测车道或者支持其他装置确定该各个所预测车道。
在一实施例中,提供一种学习方法,其特征在于,利用所预测的群集ID中的至少一部分来算出所述各个群集组代表值,并且以关于所述结果向量的各向量分量是否大于已设定的值的信息为参考,确定所预测的群集ID的所述至少一部分。
在一实施例中,提供一种学***行的两侧的任意方向上存在于规定像素数量以内的区域为基础,算出表示在所述各个所预测车道的周边是否存在GT车道中的任一GT车道的至少一个存在损失或者支持其他装置算出该至少一个存在损失;(g)在所述各个所预测车道的周边识别出所述GT车道中的任一GT车道的情况下,所述学习装置以所述各个所预测车道的各个像素(f(y|θk),y)和与所述各个所预测车道分别对应的所述GT车道的各个像素(xGT,y)之间的各距离差(xGT-f(y|θk))为参考来算出至少一个距离回归损失或者支持其他装置算出该至少一个距离回归损失;(h)所述学习装置通过反向传播所述存在损失及所述距离回归损失或者支持其他装置反向传播所述存在损失及所述距离回归损失而使所述CNN的所述装置参数最优化。
在一实施例中,提供一种学习方法,其特征在于,在所述(f)步骤之前,还包括以下步骤:(f0)所述学习装置从所述特定特征图中提取表示所述各个所预测车道的所述像素(f(y|θk),y)周边的各个区域的至少一个区域特征中的各个区域特征或者支持其他装置提取该各个区域特征;其中,以所提取的区域特征为基础算出所述存在损失及所述距离回归损失。
在一实施例中,提供一种学习方法,其特征在于,在所述(f)步骤中,使用交叉熵来算出所述存在损失;在所述(g)步骤中,使用至少一个欧几里得距离回归损失来算出所述距离回归损失。
根据本发明提供的另一方面,提供一种利用车道模型来检测至少一个车道的CNN(卷积神经网络)的测试方法,其特征在于,包括以下步骤:(a)在使用所述CNN的学***行的两侧的任意方向上存在于规定像素数量以内的区域为基础,算出表示在所述各个学***均值 作为各个测试用群集组代表值(θk),其中,k为1至K之间的值。
在一实施例中,提供一种测试方法,其特征在于,还包括以下步骤:(e)所述测试装置从所述特定测试用特征图中提取表示各个测试用预测车道的所述像素(f(y|θk),y)周边的各个区域的至少一个区域特征中的各个区域特征或者支持其他装置提取该各个区域特征;(f)所述测试装置以实际车道的坐标是否从所述各个测试用预测车道的坐标在与x轴平行的方向存在于规定像素数量以内的区域为基础,判断所述实际车道中的一个车道是否存在于所述各个测试用预测车道的周边,并且在周边存在所述实际车道中的一个车道时,计算所述实际车道中的一个实际车道的坐标与所述测试用预测车道坐标之间的各个距离或者支持其他装置计算该各个距离;以及(g)所述测试装置通过使所述测试用预测车道移动所述各个距离的量而确定移动后的测试用预测车道或者支持其他装置确定该移动后的测试用预测车道。
在一实施例中,提供一种测试方法,其特征在于,在所述(d)步骤中,所述各个测试用群集组代表值通过使用所预测的测试用群集ID中的至少一部分来获取,其中,所预测的测试用群集ID的所述至少一部分以关于所预测的测试用群集ID分类的所述结果向量中的各向量的分量是否大于已设定的值的信息为参考而被确定。
根据本发明提供的又另一方面,提供一种利用车道模型检测至少一个车道的CNN(卷积神经网络)的学习装置,其特征在于,包括:通讯部,用于获得包含车道的图像数据组;以及处理器,执行如下过程:(i)从包括所述车道的所述图像数据组获取所述车道的信息,或支持其他装置获取该信息,而所述车道的信息的特征在于由构成所述车道中的各个车道的像素的坐标的各个集合表示;(ii)利用构成所述各个车道的所述像素的所述坐标来计算所述各个车道的车道建模函数的至少一个函数参数或支持其他装置计算该至少一个函数参数;(iii)利用聚类算法,将所述函数参数分类为K个群集组,或支持其他装置进行该分类,并按所述群集组分别赋予至少一个群集ID,或支持其他装置赋予该至少一个群集ID,并生成表示关于成为与所述车道的类型对应的所述群集ID的概率的GT信息的群集ID GT向量,或支持其他装置生成该群集ID GT向量。
在一实施例中,提供一种学习装置,其特征在于,所述处理器,还执行过程(iv)针对从所述至少一个图像数据组获取的输入图像学习能够预测与所述输入图像内的至少一个所述车道对应的至少一个所述群集ID的所述CNN的装置参数,或支持其他装置学习,其中,所述过程(iv)包括如下过程:(iv-1)使至少一个卷积层对所述输入图像执行一次以上的卷积运算,从而生成至少一个特征图;(iv-2)将从所述卷积层输出的特定特征图提供给FC(全连接)层,使所述FC层生成所述输入图像内的所述车道的群集ID分类的结果向量;(iv-3)使损失层以所述群集ID分类的所述结果向量及所述群集ID GT向量为参考,算出至少一个分类损失,并反向传播所述分类损失,从而使所述CNN的所述装置参数最优化。
在一实施例中,提供一种学习装置,其特征在于,所述群集ID GT向量为具有K+1维度的向量,(i)在判断为所述输入图像上存在所述车道的情况下,如果在所述输入图像的所述车道中存在属于作为K个所述群集ID中的特定群集ID的Ck的特定车道,则用1填满所述群集ID GT向量的第k维度,用0填满与所述群集ID中的不存在于所述输入图像的其他各个群集ID对应的所述群集ID GT向量的其他维度,并且用0填满所述群集ID GT向量的第K+1维度,(ii)在判断为所述输入图像上不存在所述车道的情况下,用0填满所述群集ID GT向量的第1维度至第K维度,用1填满所述群集ID GT向量的所述K+1维度,其中,k是1至K的整数,在所述(iv-3)过程中,所述群集ID分类的所述结果向量为具有K+1维度的向量。
在一实施例中,提供一种学习装置,其特征在于,在所述(ii)过程中,表示包含于所述车道(Li,j)的中点坐标(x,y)的所述车道建模函数,通过以下数学式表示:x=f(y;θi,j),其中,Li,j={(x,y)|(x,y)是第i输入图像的第j车道的所述中点坐标}={(x,y)|x=f(y;θi,j)},θi,j表示所述第i输入图像的所述第j车道的所述函数参数中的各个函数参数。
在一实施例中,提供学习装置,其特征在于,所述车道建模函数的所述车道模型是参数化的模型,所述函数参数利用回归算法被算出,所述回归算法根据所述车道模型使用不同的算法。
在一实施例中,提供一种学***方误差算法。
在一实施例中,提供一种学***均值作为各个群集组代表值(θk),所述处理器进一步执行以下过程:(v)生成与所预测的群集ID中的每个对应的所述各个群集组代表值或者支持其他装置生成所述各个群集组代表值,并且确定由所述各个群集组代表值(θk)表达的各个所预测车道或者支持其他装置确定该各个所预测车道。
在一实施例中,提供一种学习装置,其特征在于,利用所预测的群集ID中的至少一部分来算出所述各个群集组代表值,并且以关于所述结果向量的各向量分量是否大于已设定的值的信息为参考,确定所预测的群集ID的所述至少一部分。
在一实施例中,提供一种学***行的两侧的任意方向上存在于规定像素数量以内的区域为基础,算出表示在所述各个所预测车道的周边是否存在GT车道中的任一GT车道的至少一个存在损失或者支持其他装置算出该至少一个存在损失;(vii)在所述各个所预测车道的周边识别出所述GT车道中的任一GT车道的情况下,以所述各个所预测车道的各个像素(f(y|θk),y)和与所述各个所预测车道分别对应的所述GT车道的各个像素(xGT,y)之间的各距离差(xGT-f(y|θk))为参考来算出至少一个距离回归损失或者支持其他装置算出该至少一个距离回归损失;(viii)通过反向传播所述存在损失及所述距离回归损失或者支持其他装置反向传播所述存在损失及所述距离回归损失而使所述CNN的所述装置参数最优化。
在一实施例中,提供一种学习装置,其特征在于,在所述(vi)过程之前,进一步执行以下过程:(vi-0)从所述特定特征图中提取表示所述各个所预测车道的所述像素(f(y|θk),y)周边的各个区域的至少一个区域特征中的各个区域特征或者支持其他装置提取该各个区域特征,其中,以所提取的区域特征为基础算出所述存在损失及所述距离回归损失。
在一实施例中,提供一种学习装置,其特征在于,在所述(vi)过程中,使用交叉熵来算出所述存在损失,在所述(vii)过程中,使用至少一个欧几里得距离回归损失来算出所述距离回归损失。
根据本发明又另一方面,提供利用车道模型来检测至少一个车道的CNN(卷积神经网络)的测试装置,其特征在于,包括:通讯部,在使用所述CNN的学***行的两侧的任意方向上存在于规定像素数量以内的区域为基础,算出表示在各个所预测车道的周边是否存在所述GT车道中的任一GT车道的至少一个存在损失或支持其他装置算出该至少一个存在损失;(viii)在所述各个学***均值作为各个测试用群集组代表值(θk),其中,k为1至K之间的值。
在一实施例中,提供一种测试装置,其特征在于,所述处理器进一步执行以下过程:(IV)从所述特定测试用特征图中提取表示各个测试用预测车道的所述像素(f(y|θk),y)周边的各个区域的至少一个区域特征中的各个区域特征或者支持其他装置提取该各个区域特征;(V)以实际车道的坐标是否从所述各个测试用预测车道的坐标在与x轴平行的方向上存在于规定像素数量以内的区域为基础,判断所述实际车道中的一个车道是否存在于所述各个测试用预测车道的周边,并且在周边存在所述实际车道中的一个车道时,计算所述实际车道中的一个实际车道的坐标与所述测试用预测车道坐标之间的各个距离或者支持其他装置计算该各个距离;以及(VI)使所述测试用预测车道移动所述各个距离的量而确定移动后的测试用预测车道或者支持其他装置确定该移动后的测试用预测车道。
在一实施例中,提供一种测试装置,其特征在于,在所述(III)过程中,所述各个测试用群集组代表值通过使用所预测的测试用群集ID中的至少一部分来获取,其中,所预测的测试用群集ID的所述至少一部分以关于所预测的测试用群集ID分类的所述结果向量中的各向量的分量是否大于已设定的值的信息为参考而被确定。
根据本发明,通过对车道的模型化及聚类,从学习数据生成用于车道模型学习的数据,并以此为基础,在输入图像中参照对车道的车道模型函数的群集ID,执行求得车道模型函数参数的学习。
进一步,根据本发明,可以提供的有益效果是,通过CNN学习,从输入图像中找到车道模型函数,并以此为基础检测车道。
进一步,根据本发明,由于运算时仅使用被检测出的车道模型的周边特征图,因此可用比现有技术方法更少的运算量来检测车道。
附图说明
为了说明本发明实施例附加的下面附图仅仅是本发明一些实施例的一部分,本技术领域所属领域的技术人员(以下“普通技术人员”),可以基于这些附图获得其他附图而无需进行创造性工作。
图1是现有技术中利用深度CNN要在照片中检测的各种输出的图。
图2是简略示出利用CNN的现有技术中的车道检测方法的图。
图3是简略示出现有技术中一般性CNN分割过程的图。
图4是根据本发明的利用车道模型检测至少一个车道的CNN学习方法的流程图。
图5是示出根据本发明的从至少一个图像数据组获取车道建模函数及群集ID的过程的图。
图6是示意性示出根据本发明的用于车道检测的CNN的学习方法的图。
图7是示意性示出根据本发明的通过学习装置检测出的车道的群集ID分类结果向量的示例的图。
图8是示意性示出基于根据本发明获取的预测车道确认在与预测车道坐标的X轴平行的两侧的任意方向上是否存在GT车道坐标的过程的图。
图9是示意性示出根据本发明的从特征图仅提取预测的车道的相应像素的周边的一定区域的图。
图10是示意性示出根据本发明的参照预测车道的相应像素与GT车道的相应像素之间的距离算出至少一个距离回归损失的过程的图。
图11是示意性示出根据本发明的通过车道检测用测试装置的基于车道模型的车道检测过程的图。
具体实施方式
以下所描述的有关本发明的详细说明参考将本发明可以实施的具体实施例作为示例而示出的附图。足够详细地描述了这些实施例,以使本技术领域技术人员能够实施本发明。应当理解,本发明的多种实施例彼此不同,但不必相互排斥。例如,在不脱离关于一个实施例的本发明的精神和范围的情况下,在此记载的具体形状、结构及特性可以体现为其他实施例。而且,应当理解,在不脱离本发明的精神和范围的情况下,可以改变每个公开的实施例中的各个构成要素的位置或布置。因此,后述的详细说明并非意在限定,如果适当地描述,则本发明的范围仅由与其权利要求所主张的内容等同的所有范围和所附权利要求来限定。附图中类似的参照符号,从多种层面上意指相同或类似的功能。
本发明提供的各个种图像可以包括与铺砌或未铺砌道路相关的图像,此时,可以假设在道路环境可能出现的客体(假设汽车、人、动物、植物、物体、飞机或无人机之类的飞行体、以及其他障碍物),但不一定要局限于此,本发明中提供的各个种图像也可以是与道路无关的图像(假设与未铺砌道路、胡同、工地、大海、湖泊、江、山、林、沙漠、天空、室内相关的图像),此时可以假设可能在未铺砌道路、胡同、工地、大海、湖泊、江、山、林、沙漠、天空、室内环境出现的客体(诸如汽车、人、动物、植物、物体、飞机或无人机之类的飞行体、其他障碍物),但是并不局限于此。
此外,本发明的详细说明及权利要求中出现的“包括”一词及其变形词并非意在排除其他技术特征、附加物、构成要素或步骤。对于普通技术人员而言,本发明的其他目的、优点及特性,部分将从本说明书可见,另一部分将从本发明的实施例中得到体现。后述的示例和图示都是作为实例提供,并非意在限定本发明。
下面,为了让具备本技术领域普通技术人员能够容易地实施本发明,将参照附图详细说明本发明的具体实施例。
图4是根据本发明的利用车道模型检测至少一个车道的CNN学习方法的流程图。
如图4所示,本发明提供的利用CNN通过车道模型检测车道的学习方法包括:步骤S01,从图像数据组中获取关于车道的信息;步骤S02,利用车道的中点坐标的像素信息来算出各车道的车道建模函数的函数参数;步骤S03,利用聚类算法来将车道建模函数的函数参数分类为K个群集组,并且生成表示与在至少一个图像数据组内的各个输入图像中存在的车道的类型对应的一个以上的群集ID信息的群集ID GT向量;步骤S04,通过对输入图像执行一次以上的卷积运算而生成至少一个特征图;步骤S05,通过将特定特征图提供给FC层而生成群集ID分类的结果向量,并且以群集ID分类的结果向量及群集ID GT向量为参考,算出至少一个分类损失;步骤S06,生成与预测出的群集ID(即,群集ID分类结果向量)对应的群集组代表值,并且确定由群集组代表值(θk)表示的预测车道;步骤S07,算出表示在获得的预测车道周边是否存在GT车道中的任一GT车道的存在损失;步骤S08,在预测车道周边存在GT车道的情况下,参考预测车道的相应像素和与其对应的GT车道的相应像素之间的距离差,算出至少一个距离回归损失;以及步骤S09,通过反向传播分类损失、存在损失及距离回归损失而使CNN的装置参数最优化。但是,本发明的步骤S01至S09不是必须存在的步骤,本发明可以由仅通过步骤S01至S03生成群集ID GT向量的发明构成,也可以在无论采取任何方式(即,不一定必须通过步骤S01~S03的方法)获取群集ID GT向量的情况下,由仅通过步骤S04至S09学习的发明构成。
根据本发明的可以利用车道模型检测出车道的CNN学习方法从至少一个图像数据组获取(i)关于车道的中点坐标的信息及(ii)对通过它们获取的车道建模函数的函数参数进行聚类的群集ID GT向量;然后,提出了一种通过学习装置预测输入图像中的车道建模函数并并使用该函数来找到存在于输入图像中的车道的中点坐标的方法。
图5是从至少一个图像数据组中获取车道建模函数及群集ID的流程图。
如图5所示,在步骤S01中,从至少一个图像数据组可以获取用构成车道的像素的坐标的集合表示的车道的信息。
例如,从图5的至少一个图像数据组内的特定输入图像510中获取关于车道的像素信息,获得关于车道像素的中点坐标的信息。此时,车道的中点坐标可以被表示为(x,y)来表示,车道被定义为车道的中点坐标的集合。车道被表示为Li,j={(x,y)|(x,y)为第i输入图像的第j车道的中点坐标}。
进一步,在步骤S02中,利用车道的中点坐标像素信息,计算各个车道的车道建模函数的函数参数,或通过计算所述参数来算出车道建模函数,而表示包含在车道集合(Li,j)的中点坐标(x,y)的车道建模函数通过下述数学式来表示:
【数学式1】
x=f(y;θi,j)
其中,Li,j={(x,y)|(x,y)表示第i输入图像的第j车道的中点坐标}={(x,y)|x=f(y;θi,j)},θi,j表示第i输入图像的第j车道的各个函数参数。
利用图5的特定输入图像510的车道信息(像素信息),寻找可以表示为x=f(y;θi,j)的函数参数的结果被示例性表示为如图5中间的照片520所示。利用经过这些过程得出的像素信息,可以算出各个车道的车道模型参数。即,可以通过定义能够最好地表示车道的集合(Li,j)所包含的中点的函数来表示车道。
此时,车道建模函数是已参数化的函数,所述函数参数可以利用回归算法算出。此外,所述回归算法可以根据所述车道建模函数使用不同的算法。
另外,车道建模函数可以用多项式函数体现,所述回归算法可以使用最小平方误差算法。
步骤S03是利用聚类算法将函数参数分类成K个群集组,生成表示与在至少一个图像数据组内的各个输入图像中存在的车道的类型对应的群集ID信息的群集ID GT向量。此步骤是为了生成学习数据而定义车道群集ID的过程。此步骤,具体而言,通过将聚类算法应用于函数参数而分类为K个群集组,通过按每个群集组赋予各自的群集ID,生成表示关于作为与车道的类型对应的群集ID的准确概率的GT信息的群集ID GT向量。
即,利用聚类算法,在所有图像中,将车道建模函数的所有函数参数分类为K个群集组,学习装置学习CNN的装置参数,从而以预测输入图像内的车道属于哪个一群集ID的方式学习。
聚类是将N个数据分为K个群集(组)的方法。(此时,N≥K)。典型的聚类包括k-means聚类、spectral聚类等方法,在本发明可使用任一聚类方法。另外,聚类是将长相类似的数据分组到相同群集(组)的方法。
包含在学习用数据的至少一个图像数据组的图像中存在的车道的N个参数θi,j被区分为K个群集。此时,各个车道Li,j必须包含于唯一的群集Ck。(1≤k≤K)。即,任何两个群集都不会作为它们的要素(element)共享车道。此处,表示车道Li,j的群集ID是k。
参照图5中图像530,实线是利用GT车道的函数参数绘制的车道,虚线示例性示出利用包含与群集对应的GT车道的函数参数的相应群集代表群集组值绘制的车道。如图5的图像530所示,群集的代表群集组值,虽然不能完美地呈现GT车道,但是呈现出非常类似于GT车道的样子。
虽然使用特征图内的特征(Feature)直接从输入图像预测函数参数并不容易,但是用于检测车道的函数参数或装置参数的学习可以可以基于这样的过程执行。因此,本发明的目标是在输入图像中预测车道的群集ID。一旦知道群集ID,就能找出具有对应函数参数的大概的车道建模函数,借此可以更准确地找出车道。
图6是示意性示出根据本发明的用于车道检测的CNN的学习方法的图。
如图4及图6所示,在步骤S04中,对于从至少一个图像数据组获取的输入图像,学习装置为了学习能够预测与输入图像内至少一个车道对应的至少一个群集ID的CNN装置参数(device parameter),学习装置使至少一个卷积层610对输入图像进行一次以上卷积运算,从而生成至少一个特征图620。
在步骤S05中,如图6所示,从特征图生成群集ID分类的结果向量,以群集ID分类的结果向量及群集ID GT向量为参考生成分类损失。即,学习装置将由卷积层输出的特定特征图620提供给FC(Fully Connected)层630,使FC层630生成输入图像内的车道群集ID分类的结果向量640,以群集ID分类的结果向量及群集ID GT向量为参考生成至少一个分类损失。此时,算出的群集ID分类损失通过反向传播被用于最优化CNN的装置参数。
另一方面,群集ID GT向量是具有包括至少一个图像数据组的各个图像中存在的车道群集ID的K+1维度向量的向量,(i)在判断为输入图像中存在车道的情况下,如果输入图像的车道中存在属于作为K个群集ID中特定群集ID的Ck的特定车道,则用1填满群集IDGT向量的第K维度,用0填满与群集ID中的不存在于输入图像的其他群集ID中的每个对应的群集ID GT向量的其他维度,用0填满群集ID GT向量的第K+1维度;(ii)在判断为输入图像上不存在车道的情况下,用0填满群集ID GT向量的第1至第K维度,用1填满群集ID GT向量的第K+1维度。
例如,与图5中图像530对应的群集ID GT向量用1填满K+1维度中的第i,第j,第k维度,用0填满剩余维度(包括第k+1维度)。如果所输入的图像中不存在车道,则群集ID GT向量会用0,0,…,0,1填满。
图7是示意性示出根据本发明的通过学习装置检测出的车道群集ID分类结果向量的示例的图。
如图6及图7所示,通过将特征图620输入到FC层630,输出群集ID分类结果向量640,群集ID分类结果向量将被算出为K+1维度的向量以对应于群集ID GT向量。在图7的示例中,算出的群集ID分类结果向量是用(0.60,0.01,0.30,…,0.03)表示的向量。即,在图7的示例中,输入的图像中存在群集ID与C1及C3对应的车道的概率被算出为较高。如果确定输入的图像群集ID GT向量包含群集IDC1和C3,即,群集ID GT向量为(1,0,1,0,….0)时,以表示为作为算出的群集ID分类结果向量的(0.60,0.01,0.30,…,0.03)的向量及表示为作为群集ID GT向量的(1,0,1,0,….0)的向量为参考,算出群集ID分类损失。此群集ID分类损失lc可以被算出为群集ID分类结果向量及群集ID GT向量之间的交叉熵损失。
在步骤S06中,获取与被预测的群集ID对应的群集组代表值,获取作为预测车道的群集组代表值(θk)。如步骤S03中说明,由于各个群集组将包含于自身群集组的各个车道的函数参数的平均值作为代表值(θk),因此学***均参数)代表所述车道的样子的预测车道或者支持其他装置来确定。
此时,利用预测出的群集ID的至少一部分,获取各个群集组的代表值,以关于群集ID分类结果向量的各个向量分量是否高于预定的临界值的信息为参考,选择预测出的至少一部分群集ID。接下来,利用求得的群集Ck的参数代表值θk,根据θk运算x=f(y|θk),从而可以利用表示车道样子的车道模型来获取预测车道。
进一步,再次参考图6,经过上述过程之后,可以执行学习预测的车道的中点坐标与GT车道的中点坐标之间的距离差的过程。学习装置针对群集ID分类结果向量中作为具有大于预定临界值的值的群集的拟建群集(Proposed Cluster)中的每一个,每个y生成两个输出(存在损失及距离回归损失),或支持其他装置生成该两个输出。
首先,在步骤S07中,算出表示获取的预测车道周边是否存在GT车道的存在损失。如图6所示,将特征图620和算出的群集ID分类结果向量640输入到感兴趣区域(ROI:RegionOf Interest)池化层650后,通过用于检测车道的存在与否的FC层660,从而可算出表示获取的预测车道周边是否存在GT的存在损失le。
图8是基于获取的预测车道确认在与预测车道坐标的X轴平行的两侧的任意方向上是否存在GT车道坐标的过程的图。参考图8所示,用虚线表示的线表示利用预测的群集ID获得的预测车道。学***行的两侧的任意方向上在预定像素数以内的区域内是否存在GT车道坐标,算出表示所述各个预测车道周边是否存在GT车道中的一个的至少一个存在损失。存在损失是表示在周边的GT车道中哪一个近的标记(label),可用二维度向量表示。例如,获得的预测车道周边存在GT车道中的一个时可用[1,0]表示,获得的预测车道周边不存在GT车道时可用[0,1]表示。
此情况下,如上所述,可使用对获得的预测车道各个y值运算f(y│θ_k)而得到的各个坐标的X轴方向上确认一定像素数以内的周边区域内是否存在GT车道中的一个的中点的方法。此时周边区域用R={(x,y)|y为固定,|x-f(y│θ_k)|<d}表示,GT车道中某一个中点坐标用(xGT,y)表示。
进一步,如图4及图6所示,步骤S08中,预测车道周边存在GT车道时,算出作为预测车道的相应像素与GT车道相对像素之间的距离之差的距离回归损失。如图6所示,将特征图620和群集ID分类结果向量640输入到ROI池化层650,并通过用于检测GT车道与检测到的预测车道之间的距离的FC层670后,在预测车道周边存在GT车道的情况下,就可算出作为预测车道的相应像素与GT车道的相应像素之间的距离之差的距离回归损失lr。
图10示出参照预测车道的相应像素与GT车道的相应像素之间的距离算出至少一个距离回归损失的过程,如图10中示例性所示,在预测车道周边存在GT车道的情况下,算出预测车道的各个像素(f(y|θk),y)与对应于其的GT车道的像素(xGT,y)(1010)之间的距离之差xGT-f(y|θk)(1020),从而算出距离回归损失lr。
图8的示例中,如用实线表示的预定区域810,当从各个预测车道的像素向X轴方向寻找左右一定距离时,如果如同预测车道像素坐标的X轴+方向上存在的实线上的像素那样存在GT车道,则第一输出,即存在损失为[1,0];第二输出,即距离回归损失可参照两个像素X坐标值的差获得。但是,如图8中的预定的区域820,从预测车道像素坐标向X轴方向寻找左右一定距离时,如果用实线表示的各个预测车道像素周边不存在GT车道,则第一输出,即存在损失为[0,1];第二输出,即距离回归损失生成为[无关],[无关]是不会使用于学习。
另一方面,ROI池化层650如示出从特征图提取预测车道的相应像素的周边的区域特征(areal feature)的样态的图9所示,执行从特征图提取表示预测车道的相应(f(y│θ_k),y)像素920周边的一定区域910的特征的功能。学习装置利用通过ROI池化层650提取的特征图,计算两种输出(存在损失及距离礼回归损失)或支持其他装置计算该两种输出。此时,学习装置还包括从所述特征图提取表示预测车道的相应像素920周边的一定区域910的区域特征的步骤,且基于提取的区域特征,执行算出存在损失及距离回归损失的过程。
即,由于本发明并不使用基于输入图像的所有特征图的像素计算周边是否存在车道的方法,如图9所示,仅提取预测的车道的相应像素的周边的一定区域进行运算,所以大大减少了运算量。
并且,执行通过反向传播分类损失、存在损失及距离回归损失来最优化学习装置的参数的步骤S09。
另一方面,因为存在损失使用的是用于识别周边是否存在车道的损失,所以可视为分类。从而,存在损失可使用交叉熵等来算出。并且,因为距离回归损失是将通过学习获得的坐标值与实际GT坐标之间的距离之差作为损失使用,所以可视为回归损失。从而,距离回归损失可使用欧几里得距离损失等算出。
如果通过利用图4至图10说明的学习过程对学习装置的参数进行最优化,则使用利用此种参数的测试装置,在实际道路行驶时,从输入图像中检测车道。
图11是示意性示出根据本发明的通过车道检测用测试装置的基于车道模型的车道检测过程的图。
如图11所示,如果利用了学习装置所学习的参数的测试装置获得测试图像,对获得的测试图像,卷积层1110通过进行一次以上卷积运算来生成至少一个测试用特征图1120,并将测试用特征图1120输入到FC层1130,从测试图像获得表示车道的群集组群集ID的预测值的向量形态的测试用群集ID分类结果向量1140。
然后,测试装置以关于所预测的测试用群集ID分类的结果向量1140中各个向量分量是否大于预定值的信息为参考使用所预测的测试用群集ID中的至少一部分,获得各个所述测试用代表值,确定用所述测试用群集组代表值(θk)表示所述车道各个形状的测试用预测车道。在此,当各个车道(Li,j)分别包含于测试用群集组中对应于自身的一个测试用群集组Ck(在此,k是1至K之间的值),并且对应于所述各个车道Li,j的测试用群集ID分别用k表示时,各个测试用群集组具有对于包含于测试用各个群集组的所述各个车道所述函数参数的各自的平均值作为测试用各个群集组代表值θk。
然后,测试装置利用用各个群集组代表值表示的车道,执行以下过程。即,测试装置(i)从代表值模型参数利用数学式{(x,y)|x=f(y;θi,j)},针对各个y值求x值;(ii)在预测的车道的相应像素位置处通过ROI池化1150提取特征后;(iii)通过FC层1160提取的特征识别周边是否存在车道;(iv)如果存在车道,则通过FC层1170计算实际车道与群集代表值车道的位置之差;(v)通过将用群集代表值求得的点移动相应差量来获得实际车道。即,测试装置执行以下步骤:从特征图提取表示预测车道的相应像素的周边的一定区域的区域特征;基于获得的测试用预测车道,识别在测试用预测车道坐标的X轴方向上预定像素数以内的区域内是否存在车道,如果存在实际车道,则计算实际车道与测试用预测车道坐标的位置之差;将测试用预测车道相应移动位置差量,算出测试用预测车道,从而确定预测车道。测试步骤中的实际车道并不是GT车道,而是在测试用输入图像内的实际车道。通过过程(iii)的存在分类过程,可以识别在相应ROI是否存在车道;实际车道与基于群集代表值预测的车道之差,可通过过程(iv)的距离回归过程,利用ROI内的图像特征进行预测,并可通过这些位置之差的值确定预测车道。
因此,根据本发明的方法,可以提出以下方法:通过对车道的模型化及聚类,从学习数据获取用于车道模型学习的数据,并以此为基础,在输入图像中,执行求得关于车道的车道模型函数的参数的学习,从输入图像中找到车道模型函数,并且可以以此为基础,检测车道。进一步,因为运算时仅使用被检测出的车道模型周边的特征图,可用少于现有方法的运算量检测车道。
本技术领域的普通技术人员能够理解,上面说明的图像,诸如所述训练图像、测试图像等图像数据的发送和接收可通过所述学习装置及所述测试装置的通信部实现,用于执行特征图和运算的数据可通过所述学习装置及所述测试装置的处理器(和/或存储器)保存/维持,而卷积运算、反卷积运算、损失值运算过程主要可由所述学习装置及所述测试装置的处理器执行,但本发明不限于此。
以上说明的根据本发明的实施例是以通过多种计算机构成要素执行的程序指令的形式体现,从而可载入计算机可读存储介质中。所述计算机可读存储介质可单独或组合包含程序指令、数据文件、数据结构等。记录在所述计算机可读存储介质上的程序指令可以是为了本发明特别设计和组成,或是计算机软件领域的技术人员公知和使用的。计算机可读存储介质的示例包括硬盘、软盘及磁带等磁介质、CD-ROM、DVD等光学记录介质、光磁盘(floptical disk)等磁-光介质(magneto-optical media),以及ROM、RAM、闪存存储器等为了储存并执行程序指令而特别构成的硬件装置。程序指令的示例不仅包括由编译器编成的机械语代码,还包括可使用解释器由计算机执行的高级语言代码。所述硬件装置为执行根据本发明的处理可被构成为由一个或多个软件模块来运行,反之亦然。
以上用具体构成要素等特定事项和限定的实施例及附图来说明了本发明,但这只是为了帮助对本发明更全面的理解而提供的,本发明并不仅限于所述实施例,在本发明所属的技术领域中具有公知常识的人,可以基于这样的记载进行多样的修改和改变。
因此,本发明的思想不应局限于所述说明的实施例而定,不仅是所附的专利请求范围,与本权利要求范围均等或等价的变形都属于本发明思想范围。
Claims (28)
1.一种利用车道模型检测至少一个车道的卷积神经网络CNN的学习方法,其特征在于,包括以下步骤:
(a)学习装置从包括所述车道的至少一个图像数据组获取所述车道的信息或支持其他装置从包括所述车道的至少一个图像数据组获取所述车道的信息,其中所述车道的信息的特征在于由构成所述车道中的各个车道的像素的坐标的各个集合表示;
(b)所述学习装置利用构成所述各个车道的所述像素的所述坐标来计算所述各个车道的车道建模函数的至少一个函数参数或支持其他装置利用构成所述各个车道的所述像素的所述坐标来计算所述各个车道的车道建模函数的至少一个函数参数;以及
(c)所述学习装置利用聚类算法将所述函数参数分类为K个群集组,或支持其他装置利用聚类算法将所述函数参数分类为K个群集组,并按所述群集组分别赋予至少一个群集ID,或支持其他装置按所述群集组分别赋予至少一个群集ID,并生成表示关于成为与所述车道的类型对应的所述群集ID的概率的GT信息的群集ID GT向量,或支持其他装置生成该群集ID GT向量。
2.根据权利要求1所述的学习方法,其特征在于,还包括以下步骤:
(d)所述学习装置针对从所述至少一个图像数据组获取的输入图像学习能够预测与所述输入图像内的至少一个所述车道对应的至少一个所述群集ID的所述CNN的装置参数,或支持其他装置针对从所述至少一个图像数据组获取的输入图像学习能够预测与所述输入图像内的至少一个所述车道对应的至少一个所述群集ID的所述CNN的装置参数,
其中,所述(d)步骤包括以下步骤:
(d1)所述学习装置使至少一个卷积层通过对所述输入图像执行一次以上的卷积运算来生成至少一个特征图;
(d2)所述学习装置将从所述卷积层输出的特定特征图提供给FC层,从而使所述FC层生成所述输入图像内的所述车道的群集ID分类的结果向量;以及
(d3)所述学习装置使损失层以所述群集ID分类的所述结果向量及所述群集ID GT向量为参考,算出至少一个分类损失,并反向传播所述分类损失以使所述CNN的所述装置参数最优化。
3.根据权利要求2所述的学习方法,其特征在于,
所述群集ID GT向量为具有K+1维度的向量,(i)在判断为所述输入图像上存在所述车道的情况下,如果在所述输入图像的所述车道中存在属于作为K个所述群集ID中的特定群集ID的Ck的特定车道,则用1填满所述群集ID GT向量的第k维度,用0填满与所述群集ID中的不存在于所述输入图像的其他群集ID中的每个对应的所述群集ID GT向量的其他维度,并且用0填满所述群集ID GT向量的第K+1维度,(ii)在判断为所述输入图像上不存在所述车道的情况下,用0填满所述群集ID GT向量的第1维度至第K维度,用1填满所述群集ID GT向量的所述K+1维度,
其中,k是1至K的整数,
在所述(d3)步骤中,所述群集ID分类的所述结果向量为具有K+1维度的向量。
4.根据权利要求3所述的学习方法,其特征在于,
在所述(b)步骤中,表示包含于所述车道(Li,j)的中点坐标(x,y)的所述车道建模函数通过以下数学式表示:
x=f(y;θi,j)
其中,Li,j={(x,y)|(x,y)是第i输入图像的第j车道的所述中点坐标}={(x,y)|x=f(y;θi,j)},θi,j表示所述第i输入图像的所述第j车道的所述函数参数中的各个函数参数。
5.根据权利要求4所述的学习方法,其特征在于,
所述车道建模函数的所述车道模型是参数化的模型,所述函数参数利用回归算法被算出,所述回归算法根据所述车道模型使用不同的算法。
6.根据权利要求5所述的学习方法,其特征在于,
所述车道模型是多项式函数,所述回归算法是最小平方误差算法。
7.根据权利要求4所述的学习方法,其特征在于,
在所述(c)步骤中,
在所述车道中的各个车道(Li,j)分别包含在所述群集组中的与其对应的一个群集组(Ck)中且用k表示与所述各个车道(Li,j)对应的所述群集ID当中的各个群集ID的状态下,
所述学习方法还包括以下步骤:
(e)所述学习装置生成与所预测的群集ID中的每个对应的所述各个群集组代表值或者支持其他装置生成所述各个群集组代表值,并且确定由所述各个群集组代表值(θk)表达的各个所预测车道或者支持其他装置确定该各个所预测车道。
8.根据权利要求7所述的学习方法,其特征在于,
利用所预测的群集ID中的至少一部分来算出所述各个群集组代表值,并且以关于所述结果向量的各向量分量是否大于已设定的值的信息为参考确定所预测的群集ID的所述至少一部分。
9.根据权利要求7所述的学习方法,其特征在于,还包括以下步骤:
(f)所述学***行的两侧的任意方向上存在于规定像素数量以内的区域为基础,算出表示在所述各个所预测车道的周边是否存在GT车道中的任一GT车道的至少一个存在损失或者支持其他装置算出该至少一个存在损失;
(g)在所述各个所预测车道的周边识别出所述GT车道中的任一GT车道的情况下,所述学习装置以所述各个所预测车道的各个像素(f(y|θk),y)和与所述各个所预测车道分别对应的所述GT车道的各个像素(xGT,y)之间的各距离差(xGT-f(y|θk))为参考来算出至少一个距离回归损失或者支持其他装置算出该至少一个距离回归损失;
(h)所述学习装置通过反向传播所述存在损失及所述距离回归损失或者支持其他装置反向传播所述存在损失及所述距离回归损失而使所述CNN的所述装置参数最优化。
10.根据权利要求9所述的学习方法,其特征在于,
在所述(f)步骤之前,还包括以下步骤:
(f0)所述学习装置从所述特定特征图中提取表示所述各个所预测车道的所述像素(f(y|θk),y)周边的各个区域的至少一个区域特征中的各个区域特征或者支持其他装置提取该各个区域特征;
其中,以所提取的区域特征为基础算出所述存在损失及所述距离回归损失。
11.根据权利要求9所述的学习方法,其特征在于,
在所述(f)步骤中,使用交叉熵来算出所述存在损失;
在所述(g)步骤中,使用至少一个欧几里得距离回归损失来算出所述距离回归损失。
12.一种利用车道模型来检测至少一个车道的卷积神经网络CNN的测试方法,其特征在于,包括以下步骤:
(a)在使用所述CNN的学***行的两侧的任意方向上存在于规定像素数量以内的区域为基础,算出表示在所述各个学习用预测车道的周边是否存在GT车道中的任一GT车道的至少一个存在损失或支持其他装置算出该至少一个存在损失;(viii)在所述各个学习用预测车道的周边识别出所述GT车道中的任一GT车道的情况下,以所述各个预测车道的像素(f(y|θk),y)和与各个所预测车道分别对应的所述GT车道中的各个GT车道的像素(xGT,y)之间的各距离差(xGT-f(y|θk))为参考,算出至少一个距离回归损失或者支持其他装置算出该至少一个距离回归损失;(ix)通过反向传播所述分类损失、所述存在损失及所述距离回归损失,而使所述CNN的装置参数最优化;
(b)所述测试装置通过对所述测试图像执行一次以上的卷积运算而生成至少一个测试用特征图或者支持其他装置生成该至少一个测试用特征图;
(c)所述测试装置通过将所述测试用特征图中的特定测试用特征图提供给FC(全连接)层,而使所述FC层生成所述测试图像内的所述车道的测试用群集ID分类的结果向量,所述测试用群集ID分类的结果向量包含至少一个针对所述车道中的各个车道预测的测试用群集ID;以及
(d)所述测试装置生成与所预测的各个测试用群集ID对应的各个测试用群集组代表值或者支持其他装置生成该各个测试用群集组代表值,并且确定由所述各个测试用群集组代表值(θk)表达所述车道的各形状的所预测的各个测试用车道或者支持其他装置确定该各个测试用车道;
13.根据权利要求12所述的测试方法,其特征在于,还包括以下步骤:
(e)所述测试装置从所述特定测试用特征图中提取表示各个测试用预测车道的所述像素(f(y|θk),y)周边的各个区域的至少一个区域特征中的各个区域特征或者支持其他装置提取该各个区域特征;
(f)所述测试装置以实际车道的坐标是否从所述各个测试用预测车道的坐标在与x轴平行的方向上存在于规定像素数量以内的区域为基础,判断所述实际车道中的一个车道是否存在于所述各个测试用预测车道的周边,并且在周边存在所述实际车道中的一个车道时,计算所述实际车道中的一个实际车道的坐标与所述测试用预测车道坐标之间的各个距离或者支持其他装置计算该各个距离;以及
(g)所述测试装置通过使所述测试用预测车道移动所述各个距离的量而确定移动后的测试用预测车道或者支持其他装置确定该移动后的测试用预测车道。
14.根据权利要求12所述的测试方法,其特征在于,
在所述(d)步骤中,所述各个测试用群集组代表值通过使用所预测的测试用群集ID中的至少一部分来获取,其中,所预测的测试用群集ID的所述至少一部分以关于所预测的测试用群集ID分类的所述结果向量中的各向量的分量是否大于已设定的值的信息为参考而被确定。
15.一种利用车道模型检测至少一个车道的卷积神经网络CNN的学习装置,其特征在于,包括:
通讯部,用于获得包含车道的图像数据组;以及
处理器,执行如下过程:
(i)从包括所述车道的所述图像数据组获取所述车道的信息,或支持其他装置获取该信息,所述车道的信息的特征在于由构成所述车道中的各个车道的像素的坐标的各个集合表示;
(ii)利用构成所述车道中的各个车道的所述像素的所述坐标来计算所述各个车道的车道建模函数的至少一个函数参数或支持其他装置计算该至少一个函数参数;
(iii)利用聚类算法,将所述函数参数分类为K个群集组,或支持其他装置进行该分类,并按所述群集组分别赋予至少一个群集ID,或支持其他装置赋予该至少一个群集ID,并生成表示关于成为与所述车道的类型对应的所述群集ID的概率的GT信息的群集ID GT向量,或支持其他装置生成该群集ID GT向量。
16.根据权利要求15所述的学习装置,其特征在于,
所述处理器还执行如下过程:(iv)针对从所述至少一个图像数据组获取的输入图像学习能够预测与所述输入图像内的至少一个所述车道对应的至少一个所述群集ID的所述CNN的装置参数,或支持其他装置学习,其中,所述过程(iv)包括如下过程:
(iv-1)使至少一个卷积层对所述输入图像执行一次以上的卷积运算,从而生成至少一个特征图;
(iv-2)将从所述卷积层输出的特定特征图提供给FC(全连接)层,使所述FC层生成所述输入图像内的所述车道的群集ID分类的结果向量;
(iv-3)使损失层以所述群集ID分类的所述结果向量及所述群集ID GT向量为参考,算出至少一个分类损失,并反向传播所述分类损失,从而使所述CNN的所述装置参数最优化。
17.根据权利要求16所述的学习装置,其特征在于,
所述群集ID GT向量为具有K+1维度的向量,(i)在判断为所述输入图像上存在所述车道的情况下,如果在所述输入图像的所述车道中存在属于作为K个所述群集ID中的特定群集ID的Ck的特定车道,则用1填满所述群集ID GT向量的第k维度,用0填满与所述群集ID中的不存在于所述输入图像的其他各个群集ID对应的所述群集ID GT向量的其他维度,并且用0填满所述群集ID GT向量的第K+1维度,(ii)在判断为所述输入图像上不存在所述车道的情况下,用0填满所述群集ID GT向量的第1维度至第K维度,用1填满所述群集ID GT向量的所述K+1维度,
其中,k是1至K的整数,
在所述(iv-3)过程中,所述群集ID分类的所述结果向量为具有K+1维度的向量。
18.根据权利要求17所述的学习装置,其特征在于,
在所述(ii)过程中,
表示包含于所述车道(Li,j)的中点坐标(x,y)的所述车道建模函数通过以下数学式表示:
x=f(y;θi,j)
其中,Li,j={(x,y)|(x,y)是第i输入图像的第j车道的所述中点坐标}={(x,y)|x=f(y;θi,j)},θi,j表示所述第i输入图像的所述第j车道的所述函数参数中的各个函数参数。
19.根据权利要求18所述的学习装置,其特征在于,
所述车道建模函数的所述车道模型是参数化的模型,所述函数参数利用回归算法被算出,所述回归算法根据所述车道模型使用不同的算法。
20.根据权利要求19所述的学习装置,其特征在于,
所述车道模型是多项式函数,所述回归算法是最小平方误差算法。
21.根据权利要求18所述的学习装置,其特征在于,
在所述(iii)过程中,
在所述车道(Li,j)中的各个车道分别包含在所述群集组中的与其对应的一个群集组(Ck)中且在用k表示与所述各个车道(Li,j)对应的所述群集ID当中的各个群集ID的状态下,
所述处理器进一步执行以下过程:
(v)生成与所预测的群集ID中的每个对应的所述各个群集组代表值或者支持其他装置生成所述各个群集组代表值,并且确定由所述各个群集组代表值(θk)表达的各个所预测车道或者支持其他装置确定该各个所预测车道。
22.根据权利要求21所述的学习装置,其特征在于,
利用所预测的群集ID中的至少一部分来算出所述各个群集组代表值,并且以关于所述结果向量的各向量分量是否大于已设定的值的信息为参考确定所预测的群集ID的所述至少一部分。
23.根据权利要求21所述的学习装置,其特征在于,
所述处理器进一步执行以下过程:
(vi)以所述GT车道中的任一GT车道的坐标是否从所述各个所预测车道的坐标在与x轴平行的两侧的任意方向上存在于规定像素数量以内的区域为基础,算出表示在所述各个所预测车道的周边是否存在GT车道中的任一GT车道的至少一个存在损失或者支持其他装置算出该至少一个存在损失;
(vii)在所述各个所预测车道的周边识别出所述GT车道中的任一GT车道的情况下,以所述各个所预测车道的各个像素(f(y|θk),y)和与所述各个所预测车道分别对应的所述GT车道的各个像素(xGT,y)之间的各距离差(xGT-f(y|θk))为参考来算出至少一个距离回归损失或者支持其他装置算出该至少一个距离回归损失;
(viii)通过反向传播所述存在损失及所述距离回归损失或者支持其他装置反向传播所述存在损失及所述距离回归损失而使所述CNN的所述装置参数最优化。
24.根据权利要求23所述的学习装置,其特征在于,
在所述(vi)过程之前,进一步执行以下过程:
(vi-0)从所述特定特征图中提取表示所述各个所预测车道的所述像素(f(y|θk),y)周边的各个区域的至少一个区域特征中的各个区域特征或者支持其他装置提取该各个区域特征,
其中,以所提取的区域特征为基础算出所述存在损失及所述距离回归损失。
25.根据权利要求23所述的学习装置,其特征在于,
在所述(vi)过程中,使用交叉熵来算出所述存在损失,
在所述(vii)过程中,使用至少一个欧几里得距离回归损失来算出所述距离回归损失。
26.一种利用车道模型来检测至少一个车道的卷积神经网络CNN的测试装置,其特征在于,包括:
通讯部,在使用所述CNN的学***行的两侧的任意方向上存在于规定像素数量以内的区域为基础,算出表示在各个所预测车道的周边是否存在GT车道中的任一GT车道的至少一个存在损失或支持其他装置算出该至少一个存在损失;(viii)在所述各个学习用预测车道的周边识别出所述GT车道中的任一GT车道的情况下,以所述各个所预测车道的像素(f(y|θk),y)和与所述各个所预测车道分别对应的所述GT车道中的各个GT车道的像素(xGT,y)之间的各距离差(xGT-f(y|θk))为参考,算出至少一个距离回归损失或支持其他装置算出该至少一个距离回归损失;(ix)通过反向传播所述分类损失、所述存在损失及所述距离回归损失,从而使所述CNN的装置参数最优化;以及
处理器,执行以下过程:(I)通过对所述测试图像执行一次以上的卷积运算而生成至少一个测试用特征图或者支持其他装置生成该至少一个测试用特征图;(II)通过将所述测试用特征图中的特定测试用特征图提供给FC(全连接)层,而使所述FC层生成所述测试图像内的所述车道的测试用群集ID分类的结果向量,所述测试用群集ID分类的结果向量包含至少一个针对所述车道中的各个车道预测的测试用群集ID;以及(III)生成与所预测的各个测试用群集ID对应的各个测试用群集组代表值或者支持其他装置生成该各个测试用群集组代表值,并且确定由所述各个测试用群集组代表值(θk)表达所述车道的各形状的所预测的各个测试用车道或者支持其他装置确定该各个测试用车道;
27.根据权利要求26所述的测试装置,其特征在于,
所述处理器进一步执行以下过程:
(IV)从所述特定测试用特征图中提取表示各个测试用预测车道的所述像素(f(y|θk),y)周边的各个区域的至少一个区域特征中的各个区域特征或者支持其他装置提取该各个区域特征;
(V)以实际车道的坐标是否从所述各个测试用预测车道的坐在与x轴平行的方向上存在于规定像素数量以内的区域为基础,判断所述实际车道中的一个车道是否存在于所述各个测试用预测车道的周边,并且在周边存在所述实际车道中的一个车道时,计算所述实际车道中的一个实际车道的坐标与所述测试用预测车道坐标之间的各个距离或者支持其他装置计算该各个距离;以及
(VI)使所述测试用预测车道移动所述各个距离的量而确定移动后的测试用预测车道或者支持其他装置确定该移动后的测试用预测车道。
28.根据权利要求26所述的测试装置,其特征在于,
在所述(III)过程中,所述各个测试用群集组代表值通过使用所预测的测试用群集ID中的至少一部分来获取,其中,所预测的测试用群集ID的所述至少一部分以关于所预测的测试用群集ID分类的所述结果向量中的各向量的分量是否大于已设定的值的信息为参考而被确定。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/121,640 | 2018-09-05 | ||
US16/121,640 US10275667B1 (en) | 2018-09-05 | 2018-09-05 | Learning method, learning device for detecting lane through lane model and testing method, testing device using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110879961A true CN110879961A (zh) | 2020-03-13 |
CN110879961B CN110879961B (zh) | 2023-10-17 |
Family
ID=66248244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910813171.9A Active CN110879961B (zh) | 2018-09-05 | 2019-08-30 | 利用车道模型的车道检测方法和装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10275667B1 (zh) |
EP (1) | EP3620958B1 (zh) |
JP (1) | JP6980289B2 (zh) |
KR (1) | KR102279388B1 (zh) |
CN (1) | CN110879961B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2694021C1 (ru) * | 2015-12-14 | 2019-07-08 | Моушен Метрикс Интернешэнл Корп. | Способ и устройство идентификации частей фрагментированного материала в пределах изображения |
CN110246180A (zh) * | 2019-05-17 | 2019-09-17 | 福州瑞芯微电子股份有限公司 | 一种基于深度学习的教师位置检测方法及*** |
CN111126327B (zh) * | 2019-12-30 | 2023-09-15 | 中国科学院自动化研究所 | 车道线检测方法、***、车载***及车辆 |
CN111141306A (zh) * | 2020-01-07 | 2020-05-12 | 深圳南方德尔汽车电子有限公司 | 基于A-star全局路径规划方法、装置、计算机设备及存储介质 |
CN111666808A (zh) * | 2020-04-20 | 2020-09-15 | 中汽数据有限公司 | 一种生成车辆典型变道测试工况的方法 |
US20220227397A1 (en) * | 2021-01-19 | 2022-07-21 | Baidu Usa Llc | Dynamic model evaluation package for autonomous driving vehicles |
CN116543365B (zh) * | 2023-07-06 | 2023-10-10 | 广汽埃安新能源汽车股份有限公司 | 一种车道线识别方法、装置、电子设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09223218A (ja) * | 1996-02-15 | 1997-08-26 | Toyota Motor Corp | 走路検出方法及び装置 |
US20090245582A1 (en) * | 2008-03-26 | 2009-10-01 | Honda Motor Co., Ltd. | Lane recognition apparatus for vehicle, vehicle thereof, and lane recognition program for vehicle |
WO2012011713A2 (ko) * | 2010-07-19 | 2012-01-26 | 주식회사 이미지넥스트 | 차선 인식 시스템 및 방법 |
WO2017041396A1 (zh) * | 2015-09-10 | 2017-03-16 | 百度在线网络技术(北京)有限公司 | 一种车道线数据的处理方法、装置、存储介质及设备 |
JP2017076371A (ja) * | 2015-08-27 | 2017-04-20 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド | 自動式移動体のための経路決定方法 |
WO2017087041A1 (en) * | 2015-11-16 | 2017-05-26 | Iteris, Inc. | Traffic detection with multiple outputs depending on type of object detected |
JP2018088151A (ja) * | 2016-11-29 | 2018-06-07 | 株式会社Soken | 境界線推定装置 |
US10007865B1 (en) * | 2017-10-16 | 2018-06-26 | StradVision, Inc. | Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same |
KR101882743B1 (ko) * | 2017-04-17 | 2018-08-30 | 인하대학교 산학협력단 | 콘볼루션 신경망 기반-계층적 특징 모델링을 이용한 효율적인 객체 검출 방법 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102628654B1 (ko) * | 2016-11-07 | 2024-01-24 | 삼성전자주식회사 | 차선을 표시하는 방법 및 장치 |
KR101949448B1 (ko) * | 2017-04-25 | 2019-02-18 | 서울대학교산학협력단 | 가우시안 프로세스 회귀분석을 이용한 클러스터링 방법 및 그 장치 |
KR101896406B1 (ko) * | 2018-03-13 | 2018-10-22 | 연세대학교 산학협력단 | 블랙박스 영상을 이용한 딥러닝 기반의 픽셀 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램 |
-
2018
- 2018-09-05 US US16/121,640 patent/US10275667B1/en active Active
-
2019
- 2019-06-04 EP EP19178066.7A patent/EP3620958B1/en active Active
- 2019-08-27 KR KR1020190105469A patent/KR102279388B1/ko active IP Right Grant
- 2019-08-30 CN CN201910813171.9A patent/CN110879961B/zh active Active
- 2019-09-03 JP JP2019160073A patent/JP6980289B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09223218A (ja) * | 1996-02-15 | 1997-08-26 | Toyota Motor Corp | 走路検出方法及び装置 |
US20090245582A1 (en) * | 2008-03-26 | 2009-10-01 | Honda Motor Co., Ltd. | Lane recognition apparatus for vehicle, vehicle thereof, and lane recognition program for vehicle |
WO2012011713A2 (ko) * | 2010-07-19 | 2012-01-26 | 주식회사 이미지넥스트 | 차선 인식 시스템 및 방법 |
JP2017076371A (ja) * | 2015-08-27 | 2017-04-20 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド | 自動式移動体のための経路決定方法 |
WO2017041396A1 (zh) * | 2015-09-10 | 2017-03-16 | 百度在线网络技术(北京)有限公司 | 一种车道线数据的处理方法、装置、存储介质及设备 |
WO2017087041A1 (en) * | 2015-11-16 | 2017-05-26 | Iteris, Inc. | Traffic detection with multiple outputs depending on type of object detected |
JP2018088151A (ja) * | 2016-11-29 | 2018-06-07 | 株式会社Soken | 境界線推定装置 |
KR101882743B1 (ko) * | 2017-04-17 | 2018-08-30 | 인하대학교 산학협력단 | 콘볼루션 신경망 기반-계층적 특징 모델링을 이용한 효율적인 객체 검출 방법 |
US10007865B1 (en) * | 2017-10-16 | 2018-06-26 | StradVision, Inc. | Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same |
Non-Patent Citations (2)
Title |
---|
BRODY HUVAL ET AL.: "An Empirical Evaluation of Deep Learning on Highway Driving" * |
DAVY NEVEN ET AL: "Towards End-to-End Lane Detection: an Instance Segmentation Approach" * |
Also Published As
Publication number | Publication date |
---|---|
CN110879961B (zh) | 2023-10-17 |
EP3620958C0 (en) | 2023-11-29 |
KR20200027888A (ko) | 2020-03-13 |
EP3620958B1 (en) | 2023-11-29 |
EP3620958A1 (en) | 2020-03-11 |
KR102279388B1 (ko) | 2021-07-21 |
JP6980289B2 (ja) | 2021-12-15 |
JP2020038661A (ja) | 2020-03-12 |
US10275667B1 (en) | 2019-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110889318B (zh) | 利用cnn的车道检测方法和装置 | |
CN110879961B (zh) | 利用车道模型的车道检测方法和装置 | |
CN111091105B (zh) | 基于新的边框回归损失函数的遥感图像目标检测方法 | |
CN110874564B (zh) | 分类车线后补像素检测车线的方法及装置 | |
CN109614985B (zh) | 一种基于密集连接特征金字塔网络的目标检测方法 | |
JP6875021B2 (ja) | 有用な学習データを取捨選別するためのcnn基盤の学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置 | |
KR102337376B1 (ko) | 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
CN111666921A (zh) | 车辆控制方法、装置、计算机设备和计算机可读存储介质 | |
US10303981B1 (en) | Learning method and testing method for R-CNN based object detector, and learning device and testing device using the same | |
CN111105010A (zh) | 使用具有不同标签集的多个带标签数据库的方法及装置 | |
KR102320985B1 (ko) | 멀티 카메라 시스템 내의 더블 임베딩 구성을 이용하여 도로 이용자 이벤트를 검출하기 위해 이용될 세그먼테이션 성능 향상을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 | |
CN111931764A (zh) | 一种目标检测方法、目标检测框架及相关设备 | |
CN111508252B (zh) | 利用v2x信息集成技术更新高清地图的方法和装置 | |
JP2020038669A (ja) | 複数のビデオフレームを利用してcnnのパラメータを最適化するための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置 | |
Zelener et al. | Cnn-based object segmentation in urban lidar with missing points | |
CN110909588B (zh) | 基于cnn的用于车道线检测的方法和装置 | |
KR102372687B1 (ko) | 비최대값 억제를 학습하는 병합 네트워크를 이용한 이종 센서 융합을 위한 학습 방법 및 학습 장치 | |
CN117011566A (zh) | 一种目标检测方法、检测模型训练方法、装置及电子设备 | |
Sunil et al. | Identifying oil pads in high spatial resolution aerial images using faster R-CNN | |
Lee | Deep Convolutional Neural Network Based Single Tree Detection Using Volumetric Module From Airborne Lidar Data | |
Cira et al. | Impact of Image Size and Image Overlap on the Prediction Performance of Convolutional Neural Networks Trained for Road Classification | |
CN117541824A (zh) | 标识的识别方法和装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |