CN105046235B - 车道线的识别建模方法和装置、识别方法和装置 - Google Patents
车道线的识别建模方法和装置、识别方法和装置 Download PDFInfo
- Publication number
- CN105046235B CN105046235B CN201510482990.1A CN201510482990A CN105046235B CN 105046235 B CN105046235 B CN 105046235B CN 201510482990 A CN201510482990 A CN 201510482990A CN 105046235 B CN105046235 B CN 105046235B
- Authority
- CN
- China
- Prior art keywords
- image
- lane line
- region
- model
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000001914 filtration Methods 0.000 claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 29
- 230000009466 transformation Effects 0.000 claims description 23
- 230000003287 optical effect Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000013481 data capture Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
- G06F18/21375—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps involving differential geometry, e.g. embedding of pattern manifold
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种车道线的识别建模方法和装置、识别方法和装置。所述车道线的识别建模方法包括:基于二维滤波,从图像中识别车道线的图像区域;利用识别得到的图像区域,构造模型训练数据;利用所述模型训练数据,训练基于卷积神经网络的车道线识别模型。本发明实施例提供的车道线的识别建模方法和装置、识别方法和装置提高了对车道线进行检测的检测准确率。
Description
技术领域
本发明实施例涉及基于位置服务技术领域,尤其涉及一种车道线的识别建模方法和装置、识别方法和装置。
背景技术
在各种基于位置服务技术中,对车道线的位置、类型、宽度、颜色以及数量的检测,对于自动/辅助驾驶、地图导航以及地理基础数据生成都有着重要的意义。
现有的车道线的检测基本遵循这样的过程:对原始图像进行边缘检测,对边缘检测的结果进行二值化处理,对二值化处理进行Hough变换、随机Hough变换或者ransac算法提取车道线,最后对提取的车道线进行精细化处理。上述方法在图像清晰,车道线没有被其他物体遮挡的情况下,对车道线的识别准确率较高。但是,一旦图像中车道线的边缘不是十分清晰,或者车道线被其他物体遮挡,现有的检测方法的检测准确率并不高。
发明内容
针对上述技术问题,本发明实施例提供了一种车道线的识别建模方法和装置、识别方法和装置,以提高对车道线进行检测的检测准确率。
第一方面,本发明实施例提供了一种车道线的识别建模方法,所述方法包括:
基于二维滤波,从图像中识别车道线的图像区域;
利用识别得到的图像区域,构造模型训练数据;
利用所述模型训练数据,训练基于卷积神经网络的车道线识别模型。
第二方面,本发明实施例还提供了一种车道线的识别建模装置,所述装置包括:
识别模块,用于基于二维滤波,从图像中识别车道线的图像区域;
构造模块,用于利用识别得到的图像区域,构造模型训练数据;
训练模块,用于利用所述模型训练数据,训练基于卷积神经网络的车道线识别模型。
第三方面,本发明实施例还提供了一种车道线的识别方法,所述方法包括:
基于二维滤波,从图像中识别车道线的图像区域;
将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型,得到所述模型的输出概率;
基于所述输出概率,进行模型重建,以识别输入图像中的车道线。
第四方面,本发明实施例还提供了一种车道线的识别装置,所述装置包括:
区域识别模块,用于基于二维滤波,从图像中识别车道线的图像区域;
概率计算模块,用于将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型,得到所述模型的输出概率;
模型重建模块,用于基于所述输出概率,进行模型重建,以识别输入图像中的车道线。
本发明实施例提供的车道线的识别方法,通过基于二维滤波,从图像中识别车道线的图像区域,将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型,得到所述模型的输出概率,基于所述输出概率,进行模型重建,以识别输入图像中的车道线,从而综合考虑图像中车道线图像区域中可能出现的各种异常情况,提高了对车道线进行检测的检测准确率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1是本发明第一实施例提供的车道线的识别建模方法的流程图;
图2是本发明第二实施例提供的车道线的识别建模方法的流程图;
图3是本发明第三实施例提供的车道线的识别建模方法中识别步骤的流程图;
图4是本发明第四实施例提供的车道线的识别建模方法中构造步骤的流程图;
图5是本发明第四实施例提供的感兴趣区域的示意图;
图6是本发明第五实施例提供的车道线的识别方法的流程图;
图7A是本发明第五实施例提供的大量遮挡场景下的车道线识别的识别结果图;
图7B是本发明第五实施例提供的阴影场景下的车道线识别的识别结果图;
图7C是本发明第五实施例提供的光照变换场景下的车道线识别的识别结果图;
图7D是本发明第五实施例提供的地面标记干扰场景下的车道线识别的识别结果图;
图8是本发明第六实施例提供的车道线的识别方法的流程图;
图9是本发明第七实施例提供的车道线的识别建模装置的结构图;
图10是本发明第八实施例提供的车道线的识别装置的结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
第一实施例
本实施例提供了车道线的识别建模方法的一种技术方案。所述车道线的识别建模方法由车道线的识别建模装置执行。并且,所述车道线的识别建模装置可以集成在个人电脑、工作站或者服务器等计算设备中。
参见图1,所述车道线的识别建模方法包括:
S11,基于二维滤波,从图像中识别车道线的图像区域。
所述图像是在行车道路上实际采集的,包含车道线的图像数据。以往的车道线识别方法大都存在着适应性不强,识别准确率不高的问题。具体表现在于,一旦图像的采集环境有所变化,比如,图像中的车道线大量的被其他物体所遮挡,或者图像中出现了大量的阴影区域,则对于图像中的车道线的识别结果会出现虚警或者误判。
本实施例为了提高车道线识别的适应性和准确率,提供了一种车道线的识别模型的训练方法,也就是车道线的识别建模方法。通过所述车道线的识别建模方法,能够训练用于准确识别图像中的车道线的卷积神经网络。而且,所述卷积神经网络能够适应图像的场景变化,适应范围更广。
具体的,可以通过对图像的滤波,对车道线的图像区域进行增强,再根据增强以后,获取所述车道线的图像区域。更为具体的,构造了用于对所述图像进行滤波的hat-like滤波核,通过所述hat-like滤波核对图像的滤波增强车道线的图像区域,根据增强的图像区域获取所述车道线对应的连通域,最后所述连通域的边界进行直线拟合,从而完成对车道线的图像区域的识别。
S12,利用识别得到的图像区域,构造模型训练数据。
完成对所述车道线的图像区域的识别之后,基于所述车道线的图像区域,构造用于训练车道线识别模型的模型训练数据。
具体的,可以将所述车道线的图像区域向外进行扩宽,并将扩宽后的图像区域作为感兴趣区域。所述感兴趣区域就是用于训练所述车道线识别模型的训练数据。
S13,利用所述模型训练数据,训练基于卷积神经网络的车道线识别模型。
在本发明中,所述车道线识别模型是一个基于卷积神经网络的车道线识别模型。所述卷积神经网络包括若干卷积层和子采样层。所述卷积层的数量与所述子采样层的数量相同。所述卷积神经网络还包括若干全连接层。获取到输入至所述卷积神经网络的图像之后,所述卷积神经网络能够给出所述图像属于真实车道线的概率的取值,也就是所述车道线识别模型的输出概率的取值。
本实施例通过基于二维滤波,从图像中识别车道线的图像区域,利用识别得到的图像区域,构造模型训练数据,以及利用所述模型训练数据,训练基于卷积神经网络的车道线识别模型,实现了对图像中车道线图像区域中可能出现的各种异常情况的综合考虑,提高了对车道线进行检测的检测准确率。
第二实施例
本实施例以本发明上述实施例为基础,进一步的提供了车道线的识别建模方法的一种技术方案。在该技术方案中,在基于二维滤波,从背景图像中识别车道线的图像区域之前,还包括:对原始图像进行逆投射变换,以调整所述原始图像的光轴方向为垂直于地面的方向。
参见图2,所述车道线的识别建模方法包括:
S21,对原始图像进行逆投射变换,以调整所述原始图像的光轴方向为垂直于地面的方向。
可以理解的是,一般在采集道路的路面图像时,用于采集图像的相机的光轴会在大致平行与路面的方向上采集图像。为了使输入至卷积神经网络的车道线图像的特征更为统一,提高对车道线进行识别的识别准确率,需要对图像采集时光轴与路面不垂直的图像进行逆投射变换。
所述逆投射变换又被称为逆透视映射,用于将相机获取到的二维图像中的像素点映射至一个三维空间。更为具体的,假设采集图像时相机的俯仰角、偏航角以及翻滚角分别是α、β和γ,相机竖直和水平方向的焦距分别是fu、fv,相机光心坐标点的横坐标及纵坐标分别是cu、cv,归一化参数为s,则根据式(1)进行逆投射变换:
其中,(u,v)是像素点在二维图像中的位置坐标,(xw,yw,zw)是像素点在变换后的三维空间中的位置坐标。
S22,基于二维滤波,从图像中识别车道线的图像区域。
S23,利用识别得到的图像区域,构造模型训练数据。
S24,利用所述模型训练数据,训练基于卷积神经网络的车道线识别模型。
本实施例通过在基于二维滤波,从图像中识别车道线的图像区域之前,对原始图像进行逆投射变换,以调整所述原始图像的光轴方向为垂直于地面的方向,使得输入至所述卷积神经网络中的图像在被输入至卷积神经网络之前进行了光轴方向的统一,提高了图像中车道线的准确识别率。
第三实施例
本实施例以本发明的上述实施例为基础,进一步的提供了车道线的识别建模方法中识别步骤的一种技术方案。在该技术方案中,基于二维滤波,从图像中识别车道线的图像区域包括:利用具有不同宽度参数和高度参数的hat-like滤波核,对背景图像进行滤波,并选择图像边沿最为明显的一幅图像,作为滤波结果图像;对所述滤波结果图像进行二值化,形成至少一个连通域;利用改进的ransac算法,对所述连通域进行边界的直线拟合。
参见图3,基于二维滤波,从图像中识别车道线的图像区域包括:
S31,利用不同宽度参数和高度参数的hat-like滤波核,对背景图像进行滤波,并选择图像边沿最为明显的一幅图像,作为滤波结果图像。
所述hat-like滤波核的滤波操作由如下公式给出:
其中,I(x,y)是滤波后像素点的灰度取值,I(u,v)是滤波前像素点的灰度取值,w是滤波过程的宽度参数,h是滤波过程的高度参数。理想的情况下,参数w与车道线本身的宽度相等,参数h与车道线本身的高度相等。
由于相机的拍摄参数变化、车道线本身的尺寸差异,对于不同的车道线应该应用具有不同宽度参数和高度参数的hat-like滤波核。因此,在本实施例中,利用具有不同宽度参数和高度参数的一组hat-like滤波核对图像分别进行滤波,再从滤波结果中找图像增强效果最为明显的一幅图像,将该图像作为滤波结果图像。
S32,对所述滤波结果图像进行二值化,形成至少一个连通域。
因为经过了hat-like滤波核的图像增强处理,所述滤波结果图像中车道线对应的区域与图像的其他区域有着更为明显的差别。此时,对于所述滤波结果图像进行二值化,则二值化的结果更为可信。
对于所述滤波结果图像进行二值化处理的操作具体是:将像素的灰度取值高于预设灰度门限的像素作为所述连通域内的像素,并将像素的灰度取值低于或者等于预设灰度门限的像素作为所述连通域外的像素。按照上述操作,在所述滤波结果图像内形成至少一个连通域。一般来讲,所述连通域标识了图像中车道线的大致的位置区域。
S33,利用改进的ransac算法,对所述连通域进行边界的直线拟合。
经过滤波和二值化处理以后,在用于训练所述车道线识别模型内部形成了若干连通域。由于图像中可能出现光照不均,或者车道线可能被其他物体遮挡,所获取到的连通域的实际边界可能并不是直线。因此,本实施例采用改进的ransac算法对连通域的边界进行直线拟合。
Ransac(Random sample consensus,随机抽样一致性)算法是根据一组包含异常数据的样本数据集,计算出数据的数学模型参数,得到有效样本数据的算法。现有的ransac算法在进行直线拟合时,并不考虑用于拟合直线的样本点的响应强度。换句话说,在现有的ransac算法中,所有的样本点具有相同的地位。相对于常规的ransac算法,本实施例提供的ransac算法将不同样本点的响应强度作为该样本点的加权参数,对各个样本点进行加权,再根据加权以后的数值进行直线拟合。
具体的,可以在所述连通域的边界处选取若干个样本点,将这些样本的灰度值作为它们自身的加权参数,来计算当前模型所涵盖的内点的个数。这样,经过多次的迭代计算,即可以得到根据本实施例提供的改进的ransac算法拟合得到的直线。
本实施例通过利用不同宽度参数和高度参数的hat-like滤波核,对背景图像进行滤波,并选择图像边沿最为明显的一幅图像,作为滤波结果图像,对所述滤波结果图像进行二值化,形成至少一个连通域,以及利用改进的ransac算法,对所述连通域进行边界的直线拟合,实现了对车道线的图像区域的准确识别。
第四实施例
本实施例以本发明的上述实施例为基础,进一步的提供了车道线的识别建模方法中构造步骤的流程图。在该技术方案中,利用识别得到的图像区域,构造模型训练数据包括:对所述连通域进行扩宽,形成图像上的感兴趣区域;将包含所述感兴趣区域的图像作为所述模型训练数据。
参见图4,利用识别得到的图像区域,构造模型训练数据包括:
S41,对所述连通域进行扩宽,形成图像上的感兴趣区域。
对进行过边界线拟合的连通域,进行边界的扩宽。具体的,可以在宽度方向上,对所述连通域扩宽预定个数的像素点,然后在高度方向上,对所述连通域扩宽预定个数的像素点。这样,就形成了扩宽以后的感兴趣区域。
S42,将包含所述感兴趣区域的图像作为所述模型训练数据。
图5示出了所述感兴趣区域的一个示例。参见图5,在该示例中,实线51所框定的区域就是所述感兴趣区域。
之所以对所述车道线对应的连通域进行扩宽,将扩宽得到的感兴趣区域作为模型训练的训练数据,是考虑让训练数据不仅包含需要被识别的目标图像,还包括一些背景图像信息,将这些背景图像信息作为所述车道线的上下文,从而有助于提高训练得到的车道线识别模型的识别准确率。
本实施例通过对所述连通域进行扩宽,形成图像上的感兴趣区域,将包含所述感兴趣区域的图像作为所述模型训练数据,从而实现了对模型训练数据的构造,使得能够依据构造的训练数据对车道线识别模型进行建模。
第五实施例
本实施例提供了车道线的识别方法的一种技术方案。与本发明上述实施例介绍的车道线的识别建模方法的不同之处在于,所述车道线的识别建模方法是用于对车道线识别模型进行建模,而本实施例提供的车道线的识别方法是运用上述实施例建立的车道线识别模型来从图像中识别车道线。
参见图6,所述车道线识别方法包括:
S61,基于二维滤波,从图像中识别车道线的图像区域。
在本实施例中,采用与本发明第三实施例中描述的方式从图像中识别车道线的图像区域。也就是,先利用hat-like滤波核对图像进行滤波,在对滤波后的图像进行二值化处理,最后利用改进的ransac算法对二值化后得到的连通域的边界进行直线拟合,从而实现对车道线的图像区域的识别。
S62,将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型,得到所述模型的输出概率。
将已经识别了车道线的图像区域的图像输入至所述卷积神经网络,在获取到输入的图像以后,所述卷积神经网络对所述图像进行计算,输出所述图像中各个已经识别的车道线的图像区域属于真实的车道线的图像区域的概率
S63,基于所述输出概率,进行模型重建,以识别输入图像中的车道线。
在本实施例中,根据深度搜索技术进行模型重建,以识别输入图像中的车道线。具体的,将可能的车道线分为k组,计算每组车道线中每根车道线的长度权重,相互之间的角度差异权重和距离差异权重。其中,车道线的长度权重由式(3)给出:
其中,H和li分别表示车道线的高度和宽度。
第i条车道线与第j条车道线之间的角度差异权重由式(4)给出:
其中,θi表示第i条车道线的角度,θj表示第j条车道线的角度,σangle表示角度差异阈值。
第i条车道线与第j条车道线之间的距离差异权重由式(5)给出:
其中,lmax表示距离最大阈值,lmin表示距离最小阈值。
接着,上述三种参数与模型的输出概率,也就是属于真实车道线的概率,共同构成了模型重建的目标函数:
能够使得式(6)示出的目标函数的取值最大的一组车道线,就可以被认定为真实的车道线。
采用上述的车道线的识别方法,能够适应样本图像的不同拍摄场景的变化。图7示出了几种特殊场景下拍摄的样本图像。图7A示出了大量遮挡场景下的样本图像。图7B示出了含有阴影的场景下的样本图像。图7C示出了光照变化场景下的样本图像。图7D示出了地面标记干扰场景下的样本图像。利用本实施例提供的车道线的识别方法对这些样本图像进行车道线的识别,都能够准确的识别出样本图像中的车道线。图7A至图7D中的实线71、72、73、74框定的区域即是识别到的车道线。
本实施例通过基于二维滤波,从图像中识别车道线的图像区域,将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型,得到所述模型的输出概率,以及基于所述输出概率,进行模型重建,以识别输入图像中的车道线,能够适应输入图像的不同变化,提高了车道线的识别准确率。
第六实施例
本实施例以本发明的第五实施例为基础,进一步的提供了车道线的识别方法的一种技术方案。在该技术方案中,在基于二维滤波,从图像中识别车道线的图像区域之前,还包括:对原始图像进行逆投射变换,以调整所述原始图像的光轴方向为垂直于地面的方向。
参见图8,所述车道线的识别方法包括:
S81,对原始图像进行逆投射变换,以调整所述原始图像的光轴方向为垂直于地面的方向。
与模型的训练过程类似,在需要识别车道线的样本图像中,也会出现拍摄时光轴并不垂直与地面的图像。对于这种情况,同样需要对原始图像进行逆投射变换。具体的逆投射变换过程可以参看本发明第二实施例中的描述。
S82,基于二维滤波,从图像中识别车道线的图像区域。
S83,将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型,得到所述模型的输出概率。
S84,基于所述输出概率,进行模型重建,以识别输入图像中的车道线。
本实施例通过在基于二维滤波,从图像中识别车道线的图像区域之前,对原始图像进行逆投射变换,以调整所述原始图像的光轴方向为垂直于地面的方向,使得需要识别车道线的图像在被输入至卷积神经网络之前进行了光轴方向的统一,提高了图像中车道线的准确识别率。
第七实施例
本实施例提供了车道线的识别建模装置的一种技术方案。参见图9,所述车道线的识别建模装置包括:识别模块92、构造模块93以及训练模块94。
所述识别模块92用于基于二维滤波,从图像中识别车道线的图像区域。
所述构造模块93用于利用识别得到的图像区域,构造模型训练数据。
所述训练模块94用于利用所述模型训练数据,训练基于卷积神经网络的车道线识别模型。
进一步的,所述车道线的识别建模装置还包括:变换模块91。
所述变换模块91用于在基于二维滤波,从背景图像中识别车道线的图像区域之前,对原始图像进行逆投射变换,以调整所述原始图像的光轴方向为垂直于地面的方向。
进一步的,所述变换模块91具体用于:根据如下公式对所述原始图像进行逆投射变换:
其中,α、β、γ分别是相机的俯仰角、偏航角以及翻滚角,fu、fv是相机竖直和水平方向的焦距,cu、cv是相机光心坐标点的横坐标及纵坐标,u、v分别表示变换前图像的二维平面内坐标点的横坐标及纵坐标,xw、yw及zw分别表示变换后三维空间中所述坐标点的三维坐标,s为归一化参数。
进一步的,所述识别模块92包括:滤波单元、二值化单元以及拟合单元。
所述滤波单元用于利用具有不同宽度参数和高度参数的hat-like滤波核,对背景图像进行滤波,并选择图像边沿最为明显的一幅图像,作为滤波结果图像。
所述二值化单元用于对所述滤波结果图像进行二值化,形成至少一个连通域。
所述拟合单元用于利用改进的ransac算法,对所述连通域进行边界的直线拟合。
进一步的,所述构造模块93包括:扩宽单元以及数据获取单元。
所述扩宽单元用于对所述连通域进行扩宽,形成图像上的感兴趣区域。
所述数据获取单元用于将包含所述感兴趣区域的图像作为所述模型训练数据。
第八实施例
本实施例提供了车道线的识别装置的一种技术方案。参见图10,所述车道线的识别装置包括:区域识别模块102、概率计算模块103以及模型重建模块104。
所述区域识别模块102用于基于二维滤波,从图像中识别车道线的图像区域。
所述概率计算模块103用于将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型,得到所述模型的输出概率。
所述模型重建模块104用于基于所述输出概率,进行模型重建,以识别输入图像中的车道线。
进一步的,所述车道线的识别装置还包括:逆投射变换模块101。
所述逆投射变换模块101用于在基于二维滤波,从图像中识别车道线的图像区域之前,对原始图像进行逆投射变换,以调整所述原始图像的光轴方向为垂直于地面的方向。
进一步的,所述模型重建模块104具体用于:
根据如下公式进行模型重建:
其中,和分别代表第i根车道线的长度和属于真实车道线的概率,分别代表第i根和第j根车道线的角度相似和距离远近的约束关系。
本领域普通技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个计算装置上,或者分布在多个计算装置所组成的网络上,可选地,他们可以用计算机装置可执行的程序代码来实现,从而可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件的结合。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间的相同或相似的部分互相参见即可。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (16)
1.一种车道线的识别建模方法,其特征在于,包括:
基于二维滤波,从图像中识别车道线的图像区域;
利用识别得到的图像区域,构造模型训练数据;
利用所述模型训练数据,训练基于卷积神经网络的车道线识别模型;
其中,所述车道线识别模型的输出为所述图像区域属于车道线的概率。
2.根据权利要求1所述的方法,其特征在于,在基于二维滤波,从背景图像中识别车道线的图像区域之前,还包括:
对原始图像进行逆投射变换,以调整所述原始图像的光轴方向为垂直于地面的方向。
3.根据权利要求2所述的方法,其特征在于,对原始图像进行逆投射变换,以调整所述原始图像的光轴方向为垂直与地面的方向包括:
根据如下公式对所述原始图像进行逆投射变换:
其中,α、β、γ分别是相机的俯仰角、偏航角以及翻滚角,fu、fv是相机竖直和水平方向的焦距, cu、cv是相机光心坐标点的横坐标及纵坐标,u、v分别表示变换前图像的二维平面内坐标点的横坐标及纵坐标,xw、yw及zw分别表示变换后三维空间中所述坐标点的三维坐标,s为归一化参数。
4.根据权利要求1至3任一所述的方法,其特征在于,基于二维滤波,从图像中识别车道线的图像区域包括:
利用具有不同宽度参数和高度参数的hat-like滤波核,对背景图像进行滤波,并选择图像边沿最为明显的一幅图像,作为滤波结果图像;
对所述滤波结果图像进行二值化,形成至少一个连通域;
利用改进的ransac算法,对所述连通域进行边界的直线拟合。
5.根据权利要求4所述的方法,其特征在于,利用识别得到的图像区域,构造模型训练数据包括:
对所述连通域进行扩宽,形成图像上的感兴趣区域;
将包含所述感兴趣区域的图像作为所述模型训练数据。
6.一种车道线的识别建模装置,其特征在于,包括:
识别模块,用于基于二维滤波,从图像中识别车道线的图像区域;
构造模块,用于利用识别得到的图像区域,构造模型训练数据;
训练模块,用于利用所述模型训练数据,训练基于卷积神经网络的车道线识别模型;
其中,所述车道线识别模型的输出为所述图像区域属于车道线的概率。
7.根据权利要求6所述的装置,其特征在于,还包括:
变换模块,用于在基于二维滤波,从背景图像中识别车道线的图像区域之前,对原始图像进行逆投射变换,以调整所述原始图像的光轴方向为垂直于地面的方向。
8.根据权利要求7所述的装置,其特征在于,所述变换模块具体用于:
根据如下公式对所述原始图像进行逆投射变换:
其中,α、β、γ分别是相机的俯仰角、偏航角以及翻滚角,fu、fv是相机竖直和水平方向的焦距, cu、cv是相机光心坐标点的横坐标及纵坐标,u、v分别表示变换前图像的二维平面内坐标点的横坐标及纵坐标,xw、yw及zw分别表示变换后三维空间中所述坐标点的三维坐标,s为归一化参数。
9.根据权利要求6至8任一所述的装置,其特征在于,所述识别模块包括:
滤波单元,用于利用具有不同宽度参数和高度参数的hat-like滤波核,对背景图像进行滤波,并选择图像边沿最为明显的一幅图像,作为滤波结果图像;
二值化单元,用于对所述滤波结果图像进行二值化,形成至少一个连通域;
拟合单元,用于利用改进的ransac算法,对所述连通域进行边界的直线拟合。
10.根据权利要求9所述的装置,其特征在于,所述构造模块包括:
扩宽单元,用于对所述连通域进行扩宽,形成图像上的感兴趣区域;
数据获取单元,用于将包含所述感兴趣区域的图像作为所述模型训练数据。
11.一种车道线的识别方法,其特征在于,包括:
基于二维滤波,从图像中识别车道线的图像区域;
将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型,得到所述模型的输出概率;
基于所述输出概率,进行模型重建,以识别输入图像中的车道线。
12.根据权利要求11所述的方法,其特征在于,在基于二维滤波,从图像中识别车道线的图像区域之前,还包括:
对原始图像进行逆投射变换,以调整所述原始图像的光轴方向为垂直于地面的方向。
13.根据权利要求11或12所述的方法,其特征在于,基于所述输出概率,进行模型重建,以识别输入图像中的车道线包括:
根据如下公式进行模型重建:
其中,k代表将所述输入图像中的车道线分为了k组,Lk代表每组中车道线的根数,和分别代表第i根车道线的长度和属于真实车道线的概率,、 分别代表第i根和第j根车道线的角度相似和距离远近的约束关系。
14.一种车道线的识别装置,其特征在于,包括:
区域识别模块,用于基于二维滤波,从图像中识别车道线的图像区域;
概率计算模块,用于将已经识别了车道线的图像区域的图像输入至基于卷积神经网络的车道线识别模型,得到所述模型的输出概率;
模型重建模块,用于基于所述输出概率,进行模型重建,以识别输入图像中的车道线。
15.根据权利要求14所述的装置,其特征在于,还包括:
逆投射变换模块,用于在基于二维滤波,从图像中识别车道线的图像区域之前,对原始图像进行逆投射变换,以调整所述原始图像的光轴方向为垂直于地面的方向。
16.根据权利要求14或15所述的装置,其特征在于,所述模型重建模块具体用于:
根据如下公式进行模型重建:
其中,k代表将所述输入图像中的车道线分为了k组,Lk代表每组中车道线的根数,和分别代表第i根车道线的长度和属于真实车道线的概率,、分别代表第i根和第j根车道线的角度相似和距离远近的约束关系。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510482990.1A CN105046235B (zh) | 2015-08-03 | 2015-08-03 | 车道线的识别建模方法和装置、识别方法和装置 |
JP2018505645A JP6739517B2 (ja) | 2015-08-03 | 2015-12-31 | 車線認識のモデリング方法、装置、記憶媒体及び機器、並びに車線の認識方法、装置、記憶媒体及び機器 |
PCT/CN2015/100175 WO2017020528A1 (zh) | 2015-08-03 | 2015-12-31 | 车道线的识别建模方法、装置、存储介质和设备及识别方法、装置、存储介质和设备 |
KR1020187005239A KR102143108B1 (ko) | 2015-08-03 | 2015-12-31 | 차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기 |
US15/750,127 US10699134B2 (en) | 2015-08-03 | 2015-12-31 | Method, apparatus, storage medium and device for modeling lane line identification, and method, apparatus, storage medium and device for identifying lane line |
EP15900291.4A EP3321842B1 (en) | 2015-08-03 | 2015-12-31 | Lane line recognition modeling method, apparatus, storage medium, and device, recognition method and apparatus, storage medium, and device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510482990.1A CN105046235B (zh) | 2015-08-03 | 2015-08-03 | 车道线的识别建模方法和装置、识别方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105046235A CN105046235A (zh) | 2015-11-11 |
CN105046235B true CN105046235B (zh) | 2018-09-07 |
Family
ID=54452764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510482990.1A Active CN105046235B (zh) | 2015-08-03 | 2015-08-03 | 车道线的识别建模方法和装置、识别方法和装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10699134B2 (zh) |
EP (1) | EP3321842B1 (zh) |
JP (1) | JP6739517B2 (zh) |
KR (1) | KR102143108B1 (zh) |
CN (1) | CN105046235B (zh) |
WO (1) | WO2017020528A1 (zh) |
Families Citing this family (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105046235B (zh) * | 2015-08-03 | 2018-09-07 | 百度在线网络技术(北京)有限公司 | 车道线的识别建模方法和装置、识别方法和装置 |
CN105426861B (zh) * | 2015-12-02 | 2019-05-21 | 百度在线网络技术(北京)有限公司 | 车道线确定方法及装置 |
US9494438B1 (en) * | 2015-12-15 | 2016-11-15 | Honda Motor Co., Ltd. | System and method for verifying map data for a vehicle |
CN105654064A (zh) * | 2016-01-25 | 2016-06-08 | 北京中科慧眼科技有限公司 | 车道线检测方法和装置及高级驾驶辅助*** |
CN107220580B (zh) * | 2016-03-22 | 2022-08-09 | 敦泰电子有限公司 | 基于投票决策和最小二乘法的图像识别随机取样一致算法 |
CN106415602B (zh) * | 2016-08-25 | 2019-12-03 | 深圳市锐明技术股份有限公司 | 一种成对车道线的检测方法和装置 |
CN106529505A (zh) * | 2016-12-05 | 2017-03-22 | 惠州华阳通用电子有限公司 | 一种基于图像视觉的车道线检测方法 |
CN108241829A (zh) * | 2016-12-23 | 2018-07-03 | 乐视汽车(北京)有限公司 | 车辆行驶图像识别方法 |
CN108268813B (zh) * | 2016-12-30 | 2021-05-07 | 北京文安智能技术股份有限公司 | 一种车道偏离预警方法、装置及电子设备 |
CN106845424B (zh) * | 2017-01-24 | 2020-05-05 | 南京大学 | 基于深度卷积网络的路面遗留物检测方法 |
CN108509826B (zh) * | 2017-02-27 | 2022-03-01 | 千寻位置网络有限公司 | 一种遥感影像的道路识别方法及其*** |
CN107092862A (zh) * | 2017-03-16 | 2017-08-25 | 浙江零跑科技有限公司 | 一种基于卷积神经网络的车道边缘检测方法 |
KR102499398B1 (ko) * | 2017-08-09 | 2023-02-13 | 삼성전자 주식회사 | 차선 검출 방법 및 장치 |
CN109426800B (zh) * | 2017-08-22 | 2021-08-13 | 北京图森未来科技有限公司 | 一种车道线检测方法和装置 |
CN109426824B (zh) * | 2017-08-28 | 2021-05-25 | 阿里巴巴(中国)有限公司 | 道路交通标线的识别方法和装置 |
DE102017216802A1 (de) * | 2017-09-22 | 2019-03-28 | Continental Teves Ag & Co. Ohg | Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug |
CN109726615A (zh) * | 2017-10-30 | 2019-05-07 | 北京京东尚科信息技术有限公司 | 一种道路边界的识别方法和装置 |
CN108090456B (zh) * | 2017-12-27 | 2020-06-19 | 北京初速度科技有限公司 | 识别车道线模型的训练方法、车道线识别方法及装置 |
CN108229386B (zh) * | 2017-12-29 | 2021-12-14 | 百度在线网络技术(北京)有限公司 | 用于检测车道线的方法、装置和介质 |
CN108491811A (zh) * | 2018-03-28 | 2018-09-04 | 中山大学 | 一种基于fpga的超低功耗实时车道线检测的方法 |
CN110348273B (zh) * | 2018-04-04 | 2022-05-24 | 北京四维图新科技股份有限公司 | 神经网络模型训练方法、***及车道线识别方法、*** |
CN108615358A (zh) * | 2018-05-02 | 2018-10-02 | 安徽大学 | 一种道路拥堵检测方法及装置 |
CN108694386B (zh) * | 2018-05-15 | 2021-08-10 | 华南理工大学 | 一种基于并联卷积神经网络的车道线检测方法 |
CN108960183B (zh) * | 2018-07-19 | 2020-06-02 | 北京航空航天大学 | 一种基于多传感器融合的弯道目标识别***及方法 |
CN110795961B (zh) * | 2018-08-01 | 2023-07-18 | 新疆万兴信息科技有限公司 | 一种车道线检测方法、装置、电子设备及介质 |
CN110796606B (zh) * | 2018-08-01 | 2023-07-07 | 新疆万兴信息科技有限公司 | 一种确定IPM matrix参数的方法、装置、电子设备及介质 |
DE102018214697A1 (de) * | 2018-08-30 | 2020-03-05 | Continental Automotive Gmbh | Fahrbahnkartierungsvorrichtung |
CN109117825B (zh) * | 2018-09-04 | 2020-01-17 | 百度在线网络技术(北京)有限公司 | 车道线处理方法和装置 |
CN109446886B (zh) * | 2018-09-07 | 2020-08-25 | 百度在线网络技术(北京)有限公司 | 基于无人车的障碍物检测方法、装置、设备以及存储介质 |
CN109389046B (zh) * | 2018-09-11 | 2022-03-29 | 昆山星际舟智能科技有限公司 | 用于自动驾驶的全天候物体识别与车道线检测方法 |
US10311338B1 (en) * | 2018-09-15 | 2019-06-04 | StradVision, Inc. | Learning method, learning device for detecting lanes on the basis of CNN and testing method, testing device using the same |
DE102018216413A1 (de) * | 2018-09-26 | 2020-03-26 | Robert Bosch Gmbh | Vorrichtung und Verfahren zur automatischen Bildverbesserung bei Fahrzeugen |
CN109389650B (zh) * | 2018-09-30 | 2021-01-12 | 京东方科技集团股份有限公司 | 一种车载相机的标定方法、装置、车辆和存储介质 |
US11068724B2 (en) * | 2018-10-11 | 2021-07-20 | Baidu Usa Llc | Deep learning continuous lane lines detection system for autonomous vehicles |
KR102483649B1 (ko) * | 2018-10-16 | 2023-01-02 | 삼성전자주식회사 | 차량 위치 결정 방법 및 차량 위치 결정 장치 |
CN109345547B (zh) * | 2018-10-19 | 2021-08-24 | 天津天地伟业投资管理有限公司 | 基于深度学习多任务网络的交通车道线检测方法及装置 |
CN109598268B (zh) * | 2018-11-23 | 2021-08-17 | 安徽大学 | 一种基于单流深度网络的rgb-d显著目标检测方法 |
CN111368605B (zh) * | 2018-12-26 | 2023-08-25 | 易图通科技(北京)有限公司 | 车道线提取方法及装置 |
WO2020139357A1 (en) * | 2018-12-27 | 2020-07-02 | Didi Research America, Llc | Using image pre-processing to generate a machine learning model |
WO2020139355A1 (en) * | 2018-12-27 | 2020-07-02 | Didi Research America, Llc | System for automated lane marking |
US10990815B2 (en) | 2018-12-27 | 2021-04-27 | Beijing Didi Infinity Technology And Development Co., Ltd. | Image pre-processing in a lane marking determination system |
US11023745B2 (en) * | 2018-12-27 | 2021-06-01 | Beijing Didi Infinity Technology And Development Co., Ltd. | System for automated lane marking |
US11087173B2 (en) | 2018-12-27 | 2021-08-10 | Beijing Didi Infinity Technology And Development Co., Ltd. | Using image pre-processing to generate a machine learning model |
CN109685850B (zh) * | 2018-12-29 | 2024-05-28 | 百度在线网络技术(北京)有限公司 | 一种横向定位方法及车载设备 |
CN109740554A (zh) * | 2019-01-09 | 2019-05-10 | 宽凳(北京)科技有限公司 | 一种道路边缘线识别方法及*** |
US10346693B1 (en) * | 2019-01-22 | 2019-07-09 | StradVision, Inc. | Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same |
CN109816050A (zh) * | 2019-02-23 | 2019-05-28 | 深圳市商汤科技有限公司 | 物***姿估计方法及装置 |
CN110163109B (zh) * | 2019-04-23 | 2021-09-17 | 浙江大华技术股份有限公司 | 一种车道线标注方法及装置 |
CN110413942B (zh) * | 2019-06-04 | 2023-08-08 | 上海汽车工业(集团)总公司 | 车道线方程筛选方法及其筛选模块 |
CN110569730B (zh) * | 2019-08-06 | 2022-11-15 | 福建农林大学 | 一种基于U-net神经网络模型的路面裂缝自动识别方法 |
CN112446230B (zh) * | 2019-08-27 | 2024-04-09 | 中车株洲电力机车研究所有限公司 | 车道线图像的识别方法及装置 |
CN110525436A (zh) * | 2019-08-27 | 2019-12-03 | 中国第一汽车股份有限公司 | 车辆换道控制方法、装置、车辆和存储介质 |
CN112686080A (zh) * | 2019-10-17 | 2021-04-20 | 北京京东乾石科技有限公司 | 进行车道线检测的方法和装置 |
CN112926354A (zh) * | 2019-12-05 | 2021-06-08 | 北京超星未来科技有限公司 | 一种基于深度学习的车道线检测方法及装置 |
CN111126209B (zh) * | 2019-12-09 | 2024-06-14 | 博泰车联网科技(上海)股份有限公司 | 车道线检测方法及相关设备 |
CN111192216B (zh) * | 2019-12-31 | 2023-04-21 | 武汉中海庭数据技术有限公司 | 一种车道线平滑处理方法及*** |
CN111191619B (zh) * | 2020-01-02 | 2023-09-05 | 北京百度网讯科技有限公司 | 车道线虚线段的检测方法、装置、设备和可读存储介质 |
US11798187B2 (en) * | 2020-02-12 | 2023-10-24 | Motive Technologies, Inc. | Lane detection and distance estimation using single-view geometry |
CN111310737B (zh) * | 2020-03-26 | 2023-10-13 | 山东极视角科技股份有限公司 | 一种车道线检测方法及装置 |
EP4130668A4 (en) * | 2020-04-18 | 2023-05-31 | Huawei Technologies Co., Ltd. | METHOD FOR DETERMINING AN ABNORMAL LANE LINE RECOGNITION EVENT, AND LANE LINE RECOGNITION APPARATUS AND SYSTEM |
CN111539401B (zh) * | 2020-07-13 | 2020-10-23 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的车道线检测方法、装置、终端及存储介质 |
CN112434585A (zh) * | 2020-11-14 | 2021-03-02 | 武汉中海庭数据技术有限公司 | 一种车道线的虚实识别方法、***、电子设备及存储介质 |
CN112902987B (zh) * | 2021-02-02 | 2022-07-15 | 北京三快在线科技有限公司 | 一种位姿修正的方法及装置 |
CN113011293B (zh) * | 2021-03-05 | 2022-09-30 | 郑州天迈科技股份有限公司 | 一种行道线参数实时提取方法 |
CN113537002B (zh) * | 2021-07-02 | 2023-01-24 | 安阳工学院 | 一种基于双模神经网络模型的驾驶环境评估方法及装置 |
CN113298050B (zh) * | 2021-07-21 | 2021-11-19 | 智道网联科技(北京)有限公司 | 车道线识别模型训练方法、装置及车道线识别方法、装置 |
CN113344929B (zh) * | 2021-08-09 | 2021-11-05 | 深圳智检慧通科技有限公司 | 一种焊点视觉检测识别方法、可读存储介质及设备 |
CN114758310B (zh) * | 2022-06-13 | 2022-10-28 | 山东博昂信息科技有限公司 | 一种基于高速监控相机的车道线检测方法、***及装置 |
CN115240435A (zh) * | 2022-09-21 | 2022-10-25 | 广州市德赛西威智慧交通技术有限公司 | 一种基于ai技术的车辆违章行驶检测方法、装置 |
CN116580373B (zh) * | 2023-07-11 | 2023-09-26 | 广汽埃安新能源汽车股份有限公司 | 一种车道线优化方法、装置、电子设备和存储介质 |
CN117114141B (zh) * | 2023-10-20 | 2024-02-27 | 安徽蔚来智驾科技有限公司 | 模型训练的方法、评估方法、计算机设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004029659A2 (en) * | 2002-06-14 | 2004-04-08 | Honda Giken Kogyo Kabushiki Kaisha | Pedestrian detection and tracking with night vision |
CN102201167A (zh) * | 2010-04-07 | 2011-09-28 | 宫宁生 | 基于视频的汽车车道自动识别方法 |
CN104598892A (zh) * | 2015-01-30 | 2015-05-06 | 广东威创视讯科技股份有限公司 | 一种危险驾驶行为预警方法及*** |
CN104657727A (zh) * | 2015-03-18 | 2015-05-27 | 厦门麦克玛视电子信息技术有限公司 | 一种车道线的检测方法 |
CN104766058A (zh) * | 2015-03-31 | 2015-07-08 | 百度在线网络技术(北京)有限公司 | 一种获取车道线的方法和装置 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08202877A (ja) * | 1995-01-31 | 1996-08-09 | Toyota Motor Corp | 画像認識装置 |
GB9804112D0 (en) * | 1998-02-27 | 1998-04-22 | Lucas Ind Plc | Road profile prediction |
US7375728B2 (en) * | 2001-10-01 | 2008-05-20 | University Of Minnesota | Virtual mirror |
US7774113B2 (en) * | 2002-04-10 | 2010-08-10 | Trw Limited | Cameras to determine vehicle heading |
JP4328692B2 (ja) * | 2004-08-11 | 2009-09-09 | 国立大学法人東京工業大学 | 物体検出装置 |
US7831098B2 (en) * | 2006-11-07 | 2010-11-09 | Recognition Robotics | System and method for visual searching of objects using lines |
US8098889B2 (en) * | 2007-01-18 | 2012-01-17 | Siemens Corporation | System and method for vehicle detection and tracking |
JP5014237B2 (ja) * | 2008-04-23 | 2012-08-29 | 本田技研工業株式会社 | レーンマーカ認識装置、車両、及びレーンマーカ認識用プログラム |
US8751154B2 (en) * | 2008-04-24 | 2014-06-10 | GM Global Technology Operations LLC | Enhanced clear path detection in the presence of traffic infrastructure indicator |
US8855917B2 (en) * | 2008-10-16 | 2014-10-07 | Csr Technology Inc. | System and method for use of a vehicle back-up camera as a dead-reckoning sensor |
US9547795B2 (en) * | 2011-04-25 | 2017-01-17 | Magna Electronics Inc. | Image processing method for detecting objects using relative motion |
EP2574511B1 (en) | 2011-09-30 | 2016-03-16 | Honda Research Institute Europe GmbH | Analyzing road surfaces |
KR101295077B1 (ko) | 2011-12-28 | 2013-08-08 | 전자부품연구원 | 다양한 도로 상황에서의 차선 검출 및 추적 장치 |
US9576214B1 (en) * | 2012-01-23 | 2017-02-21 | Hrl Laboratories, Llc | Robust object recognition from moving platforms by combining form and motion detection with bio-inspired classification |
US9053372B2 (en) * | 2012-06-28 | 2015-06-09 | Honda Motor Co., Ltd. | Road marking detection and recognition |
JP6056319B2 (ja) * | 2012-09-21 | 2017-01-11 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
WO2014070448A1 (en) * | 2012-10-31 | 2014-05-08 | Tk Holdings, Inc. | Vehicular path sensing system and method |
US20150276400A1 (en) * | 2013-03-13 | 2015-10-01 | Electronic Scripting Products, Inc. | Reduced homography for ascertaining conditioned motion of an optical apparatus |
US9821813B2 (en) * | 2014-11-13 | 2017-11-21 | Nec Corporation | Continuous occlusion models for road scene understanding |
KR102267562B1 (ko) * | 2015-04-16 | 2021-06-22 | 한국전자통신연구원 | 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법 |
CN104809449B (zh) * | 2015-05-14 | 2018-09-21 | 重庆大学 | 适用于高速公路视频监控***的车道虚线分界线自动检测方法 |
US10062010B2 (en) * | 2015-06-26 | 2018-08-28 | Intel Corporation | System for building a map and subsequent localization |
CN105046235B (zh) | 2015-08-03 | 2018-09-07 | 百度在线网络技术(北京)有限公司 | 车道线的识别建模方法和装置、识别方法和装置 |
-
2015
- 2015-08-03 CN CN201510482990.1A patent/CN105046235B/zh active Active
- 2015-12-31 EP EP15900291.4A patent/EP3321842B1/en active Active
- 2015-12-31 WO PCT/CN2015/100175 patent/WO2017020528A1/zh active Application Filing
- 2015-12-31 KR KR1020187005239A patent/KR102143108B1/ko active IP Right Grant
- 2015-12-31 US US15/750,127 patent/US10699134B2/en active Active
- 2015-12-31 JP JP2018505645A patent/JP6739517B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004029659A2 (en) * | 2002-06-14 | 2004-04-08 | Honda Giken Kogyo Kabushiki Kaisha | Pedestrian detection and tracking with night vision |
CN102201167A (zh) * | 2010-04-07 | 2011-09-28 | 宫宁生 | 基于视频的汽车车道自动识别方法 |
CN104598892A (zh) * | 2015-01-30 | 2015-05-06 | 广东威创视讯科技股份有限公司 | 一种危险驾驶行为预警方法及*** |
CN104657727A (zh) * | 2015-03-18 | 2015-05-27 | 厦门麦克玛视电子信息技术有限公司 | 一种车道线的检测方法 |
CN104766058A (zh) * | 2015-03-31 | 2015-07-08 | 百度在线网络技术(北京)有限公司 | 一种获取车道线的方法和装置 |
Non-Patent Citations (1)
Title |
---|
基于增强现实的车辆辅助导航***的设计与研究;杨生兰;《http://www.doc88.com/p-6728255884908.html》;20140917;1-83 * |
Also Published As
Publication number | Publication date |
---|---|
KR20180034529A (ko) | 2018-04-04 |
EP3321842A1 (en) | 2018-05-16 |
EP3321842B1 (en) | 2020-04-29 |
CN105046235A (zh) | 2015-11-11 |
WO2017020528A1 (zh) | 2017-02-09 |
EP3321842A4 (en) | 2018-08-15 |
US10699134B2 (en) | 2020-06-30 |
JP2018523875A (ja) | 2018-08-23 |
JP6739517B2 (ja) | 2020-08-12 |
KR102143108B1 (ko) | 2020-08-10 |
US20180225527A1 (en) | 2018-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105046235B (zh) | 车道线的识别建模方法和装置、识别方法和装置 | |
CN104778721B (zh) | 一种双目图像中显著性目标的距离测量方法 | |
CN108710875A (zh) | 一种基于深度学习的航拍公路车辆计数方法及装置 | |
CN106960210B (zh) | 目标检测的方法和装置 | |
CN109520500B (zh) | 一种基于终端拍摄图像匹配的精确定位及街景库采集方法 | |
AU2017387638A2 (en) | Computer vision systems and methods for detecting and modeling features of structures in images | |
CN105628951A (zh) | 用于测量对象的速度的方法和装置 | |
CN109214422B (zh) | 基于dcgan的停车数据修补方法、装置、设备及存储介质 | |
CN106871906B (zh) | 一种盲人导航方法、装置及终端设备 | |
US11430087B2 (en) | Using maps comprising covariances in multi-resolution voxels | |
CN105608417A (zh) | 交通信号灯检测方法及装置 | |
US20210192840A1 (en) | Maps comprising covariances in multi-resolution voxels | |
WO2021017211A1 (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
CN114943893A (zh) | 一种土地覆盖分类的特征增强网络 | |
CN110636248B (zh) | 目标跟踪方法与装置 | |
Martinez-Sanchez et al. | Skyline variations allow estimating distance to trees on landscape photos using semantic segmentation | |
Griesbaum et al. | Direct local building inundation depth determination in 3-D point clouds generated from user-generated flood images | |
CN111696147B (zh) | 一种基于改进YOLOv3模型的深度估计方法 | |
CN104008374B (zh) | 一种矿井图像中基于条件随机场的矿工检测方法 | |
Kusetogullari et al. | Unsupervised change detection in landsat images with atmospheric artifacts: a fuzzy multiobjective approach | |
CN117292076A (zh) | 工程机械局部作业场景动态三维重构方法及*** | |
CN111754388B (zh) | 一种建图方法及车载终端 | |
CN108335321B (zh) | 基于多角度照片的地表砾石尺度信息自动提取方法 | |
CN108399413B (zh) | 一种图片拍摄区域识别及地理定位方法及装置 | |
CN111241218A (zh) | 一种地点识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |