CN113903015B - 车道线识别方法及装置 - Google Patents
车道线识别方法及装置 Download PDFInfo
- Publication number
- CN113903015B CN113903015B CN202111496191.1A CN202111496191A CN113903015B CN 113903015 B CN113903015 B CN 113903015B CN 202111496191 A CN202111496191 A CN 202111496191A CN 113903015 B CN113903015 B CN 113903015B
- Authority
- CN
- China
- Prior art keywords
- lane line
- image
- clustering
- characteristic value
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开一种车道线识别方法,涉及自动驾驶领域,计算机设备将车辆前方的道路图像输入至第一模型中,得到道路图像中的每个像素点对应的二值化特征值,再将二值化特征值输入第二模型中,得到每个二值化特征值对应的聚类特征值,而后根据聚类特征值将二值化特征值进行聚类,得到多个聚类簇,最终根据每个聚类簇中包括的二值化特征值,确定道路图像中的车道线分割结果。本发明实现了传统车道线实例分割模型的解耦,将传统车道线实例分割模型中的两个分支分解为各自独立的第一模型和第二模型,使得第一模型和第二模型可以分别基于各自的训练集进行训练,从而提升了车道线分割结果的准确性。
Description
技术领域
本发明涉及自动驾驶技术领域,尤其涉及一种车道线识别方法及装置。
背景技术
在车辆自动驾驶的过程中,车辆摄像设备需要实时拍摄车辆前方的道路图像,经过处理后将车道线投影至鸟瞰图中,从而辅助车辆自动驾驶。这种以车辆摄像设备为主要传感器,设计算法从车辆前方的道路图像中识别出每条车道线的技术,在本领域中又称作车道线实例分割。
现有技术中的车道线实例分割,采用基于深度神经网络的传统车道线实例分割模型,将实时采集的道路图像输入至上述模型中,在通过上述模型中的车道线分割分支输出道路图像中每个像素点的二值化特征值的同时,还会通过另一个特征向量分支输出道路图像中每个像素点的聚类特征值。结合特征向量分支的结果,进一步将道路图像中每个像素点的二值化特征值转化成车道线分割结果,使得每条车道线上的像素点有相同的标识,不同车道线上的像素点标识不同,从而实现车道线实例分割。
但是,在传统车道线实例分割模型中,特征向量分支和车道线分割分支共享一个主干模型,为了兼顾两个分支的性能,会使主干模型的整体输出结果准确性下降,同时,由于多任务模型的输入为摄像头采集的道路图像,使得聚类特征向量的提取引入了更多噪声,降低了车道线实例分割的准确性。
发明内容
本发明提供一种车道线识别方法及装置,解决了车道线分割结果的准确性较低的问题。
为达到上述目的,本发明采用如下技术方案:
第一方面,本发明提供一种车道线识别方法,该方法包括:
将车辆前方的道路图像输入第一模型中,得到道路图像中的每个像素点对应的二值化特征值;
将二值化特征值输入第二模型中,得到每个二值化特征值对应的聚类特征值,聚类特征值用于标识二值化特征值距其所在的车道线的中心点的距离;
根据聚类特征值将二值化特征值进行聚类,得到多个聚类簇;
根据每个聚类簇中包括的二值化特征值,确定道路图像中的车道线分割结果。
结合第一方面,在一种可能的实现方式中,在将车辆前方的道路图像输入第一模型中之前,还包括:获取包括标注信息的原始样本图像,标注信息包括车道线语义标签和车道线实例标签,原始样本图像为在不同场景、不同视角下采集的多张车辆前方的道路图像;其中,车道线语义标签用于区分原始样本图像中的车道线上的像素点和背景像素点,车道线实例标签用于区分原始样本图像中不同的车道线;根据原始样本图像和由所述车道线语义标签生成的包含二值化特征值的的第一标注图像建立第一样本数据集;根据第一标注图像和由所述车道线实例标签生成的第二标注图像建立第二样本数据集;利用第一样本数据集对第一神经网络进行训练,得到第一模型;利用第二样本数据集对第二神经网络进行训练,得到第二模型。
结合第一方面和上述可能的实现方式,在另一种可能的实现方式中,利用第一样本数据集对第一神经网络进行训练,得到第一模型,包括:以第一样本数据集中的原始样本图像作为输入,并以第一标注图像中的二值化特征值作为标签,对第一神经网络进行训练;当第一神经网络输出的原始样本图像的二值化特征值与对应的第一标注图像中的二值化特征值之间的差距小于第一阈值时,确定第一神经网络训练完成,得到第一模型。
结合第一方面和上述可能的实现方式,在另一种可能的实现方式中,根据第二样本数据集对第二神经网络进行训练,得到第二模型,包括:以第二样本数据集中的第一标注图像作为输入,并以第二标注图像中的车道线实例标签作为标签,对第二神经网络进行训练;当第二神经网络输出的像素点的聚类特征值满足目标条件时,确定第二神经网络训练完成,得到第二模型;其中,目标条件为:聚类特征值使得位于同一条车道线上的像素点之间的距离小于第二阈值,且使得位于不同车道线上的像素点之间的距离大于第三阈值,第二阈值小于第三阈值。
结合第一方面,在一种可能的实现方式中,将车辆前方的道路图像输入第一模型中,得到道路图像中的每个像素点对应的二值化特征值,还包括:根据道路图像中的每个像素点对应的二值化特征值,确定与道路图像对应的二值化图像。
结合第一方面,在一种可能的实现方式中,根据聚类特征值将所述二值化特征值进行聚类,得到多个聚类簇,具体包括:利用聚类算法对聚类特征值对应的二值化特征值进行聚类,得到多个以二值化特征值为数据点的聚类簇。
结合第一方面,在一种可能的实现方式中,根据每个聚类簇中包括的二值化特征值,确定道路图像中的车道线分割结果,包括:根据每个聚类簇中包括的二值化特征值,确定每个聚类簇对应的车道线;对每个聚类簇对应的车道线进行可视化处理,得到道路图像中的车道线分割结果。
第二方面,本发明提供一种车辆行驶装置,车辆行驶装置包括:
第一预测模块,用于将车辆前方的道路图像输入第一模型中,得到道路图像中的每个像素点对应的二值化特征值;
第二预测模块,用于将二值化特征值输入第二模型中,得到每个二值化特征值对应的聚类特征值,聚类特征值用于标识二值化特征值距其所在的车道线的中心点的距离;
聚类模块,用于根据聚类特征值将二值化特征值进行聚类,得到多个聚类簇;
确定模块,用于根据每个聚类簇中包括的二值化特征值,确定道路图像中的车道线分割结果。
结合第二方面,在一种可能的实现方式中,上述车道线识别装置还包括:获取模块,用于获取包括标注信息的原始样本图像,标注信息包括车道线语义标签和车道线实例标签,原始样本图像为在不同场景、不同视角下采集的多张车辆前方的道路图像;其中,车道线语义标签用于区分原始样本图像中的车道线上的像素点和背景像素点,车道线实例标签用于区分不同的车道线;第一样本建立模块,用于根据原始样本图像和由所述车道线语义标签生成的包含二值化特征值的第一标注图像建立第一样本数据集;第二样本建立模块,用于根据第一标注图像和包括每个像素点的二值化特征值和由所述车道线实例标签生成的的第二标注图像建立第二样本数据集;第一训练模块,用于利用第一样本数据集对第一神经网络进行训练,得到第一模型;第二训练模块,用于利用第二样本数据集对第二神经网络进行训练,得到第二模型。
结合第二方面和上述可能的实现方式,在另一种可能的实现方式中,第一训练模块,具体用于以第一样本数据集中的原始样本图像作为输入,并以第一标注图像中的二值化特征值作为标签,对第一神经网络进行训练;当第一神经网络输出的原始样本图像的二值化特征值与对应的第一标注图像中的二值化特征值之间的差距小于第一阈值时,确定第一神经网络训练完成,得到第一模型。
结合第二方面和上述可能的实现方式,在另一种可能的实现方式中,第二训练模块,具体用于以第二样本数据集中的第一标注图像作为输入,并以第二标注图像中的车道线实例标签作为标签,对第二神经网络进行训练;当第二神经网络输出的像素点的聚类特征值满足目标条件时,确定第二神经网络训练完成,得到第二模型;其中,目标条件为:聚类特征值使得位于同一条车道线上的像素点之间的距离小于第二阈值,且使得位于不同车道线上的像素点之间的距离大于第三阈值,第二阈值小于第三阈值。
结合第二方面,在一种可能的实现方式中,第一预测模块还用于根据道路图像中的每个像素点对应的二值化特征值,确定与道路图像对应的二值化图像。
结合第二方面,在一种可能的实现方式中,聚类模块具体用于利用聚类算法对聚类特征值对应的二值化特征值进行聚类,得到多个以二值化特征值为数据点的聚类簇。
结合第二方面,在一种可能的实现方式中,确定模块具体用于根据每个聚类簇中包括的二值化特征值,确定每个聚类簇对应的车道线;对每个聚类簇对应的车道线进行可视化处理,得到道路图像中的车道线分割结果。
第三方面,本发明提供一种车道线识别装置,该车辆行驶装置包括:处理器和存储器。存储器用于存储计算机程序代码,计算机程序代码包括计算机指令。当处理器执行计算机指令时,车辆行驶装置执行如第一方面及其任一种可能的实现方式的车道线识别方法。
第四方面,本发明提供一种计算机可读存储介质,其上存储有计算机指令,当计算机指令在车辆行驶装置上运行时,使得车辆行驶装置执行如第一方面或第一方面的可能的实现方式中任意一项的车道线识别方法。
本发明实施例提供的车道线识别方法,计算机设备将车辆前方的道路图像输入至第一模型中,得到道路图像中的每个像素点对应的二值化特征值,再将二值化特征值输入第二模型中,得到每个二值化特征值对应的聚类特征值,而后根据聚类特征值将二值化特征值进行聚类,得到多个聚类簇,最终根据每个聚类簇中包括的二值化特征值,确定道路图像中的车道线分割结果。本实施例将传统车道线实例分割模型中的两个模型分支解耦,单独使用第一模型和第二模型分别获得输出结果,分别提高了两个模型输出结果的准确性,从而提高了最终的车道线分割结果的准确性。同时,由于第二模型的输入为道路图像的二值化特征值,相对于现有技术中的道路图像,其噪点更少,输出的聚类特征值也会更准确,进一步提升了车道线分割结果的准确性。
附图说明
图1为本发明实施例提供的一种车道线识别方法的应用场景示意图;
图2为本发明实施例提供的一种车道线识别方法的流程图;
图3为本发明实施例提供的第一模型处理流程示意图;
图4为本发明实施例提供的模型处理流程示意图;
图5为本发明实施例提供的另一种车道线识别方法的流程图;
图6为本发明实施例提供的第一模型训练方法的流程图;
图7为本发明实施例提供的第二模型训练方法的流程图;
图8为本发明实施例提供的一种车道线识别装置的组成示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
另外,“基于”或“根据”的使用意味着开放和包容性,因为“基于”或“根据”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。
为了解决现有技术中车道线分割结果的准确性较低的问题,本发明实施例提供了一种车道线识别方法及装置,计算机设备将车辆前方的道路图像输入第一模型中,得到道路图像中的每个像素点对应的二值化特征值,再将二值化特征值输入第二模型中,得到每个二值化特征值对应的聚类特征值,其中,聚类特征值用于标识二值化特征值距其所在的车道线的中心点的距离,而后根据聚类特征值将二值化特征值进行聚类,得到多个聚类簇,并最终根据每个聚类簇中包括的二值化特征值,确定道路图像中的车道线分割结果。
这样,本发明将传统车道线实例分割模型中的两个模型分支解耦,单独使用第一模型和第二模型分别获得输出结果,分别提高了两个模型输出结果的准确性,从而提高了最终的车道线分割结果的准确性。同时,由于第二模型的输入为道路图像的二值化特征值,相对于现有技术中的道路图像,其噪点更少,输出的聚类特征值也会更准确,进一步提升了车道线分割结果的准确性。
本发明实施例提供的车道线识别方法的执行主体为计算机设备。该计算机设备可以是车载终端,也可以是服务器,还可以是服务器集群。图1为本发明实施例提供的一种车道线识别方法的应用场景示意图,在车辆行驶过程中,车载摄像设备101可以获取实时的道路图像102,而后通过计算机设备103对道路图像进行车道线实例分割,得到车道线分割结果104,从而辅助车辆进行自动驾驶。
基于上述车道线识别方法的应用场景示意图的介绍,本发明实施例提供一种车道线识别方法,应用于计算机设备,如图2所示,车道线识别方法可以包括以下步骤S201-步骤S204。
S201、将车辆前方的道路图像输入第一模型中,得到道路图像中的每个像素点对应的二值化特征值。
其中,道路图像可以是通过车载摄像头拍摄的三通道彩色图像。二值化特征值可以用于区分车道线上的像素点和背景图像上的像素点。可以理解的是,车道线上的每个像素点的二值化特征值相同,背景图像上的每个像素点的二值化特征值相同,且车道线上的像素点的二值化特征值与背景图像上的像素点的二值化特征值不同。示例性的,车道线上的每个像素点的二值化特征值可以都为1,背景图像上的每个像素点的二值化特征值可以都为0。
在一种可能的实现方式中,道路图像可以是通过车载摄像头拍摄的三通道彩色图像。计算机设备在接收到道路图像后,可以将三通道的道路图像输入至第一模型中,第一模型可以提取该道路图像中的每个像素点,并输出每个像素点的二值化特征值。可以理解的是,通过道路图像中每个像素点的二值化特征值,第一模型可以输出一个能够区分出车道线上的像素点和背景图像上的像素点的二值化图像,以图3示出的第一模型处理流程示意图为例,将道路图像102输入第一模型,可以得到道路图像102对应的二值化图像105,该二值化图像105可以是单通道的灰度图。将二值化图像105与对应的道路图像102做对比,可以用于可视化地评估第一模型的性能强弱。
S202、将二值化特征值输入第二模型中,得到每个二值化特征值对应的聚类特征值,聚类特征值用于标识二值化特征值距其所在的车道线的中心点的距离。
S203、根据聚类特征值将二值化特征值进行聚类,得到多个聚类簇。
可以理解的是,步骤S201通过语义分割的方式,识别出了道路图像中的每个像素点是否位于车道线上。然而,为了实现车道线识别,仅仅通过步骤S201区分出车道线上的像素点和背景图像上的像素点是不够的,在此基础上,还需要根据每个像素点的位置,对像素点进行聚类,以使位于同一车道线上的像素点属于同一类,位于不同车道线上的像素点属于不同类。
在一种可能的实现方式中,在步骤S201的基础上,计算机设备将二值化特征值输入第二模型中,可以得到每个二值化特征值对应的聚类特征值,聚类特征值可以用于标识二值化特征值对应的像素点所处的位置。具体的,聚类特征值可以用于标识二值化特征值对应的像素点距其所在的车道线的中心点的距离,使得计算机设备可以基于聚类特征值,通过基于划分的典型聚类算法,例如k均值聚类算法,对每个像素点进行聚类,从而得到多个以所述二值化特征值为数据点的聚类簇。
S204、根据每个聚类簇中包括的二值化特征值,确定道路图像中的车道线分割结果。
可以理解的是,上述步骤S203和S204通过对每个像素点对应的二值化特征值进行聚类,得到了多个聚类簇,计算机设备可以根据每个聚类簇中包括的二值化特征值,确定每个聚类簇对应的车道线,并对每个像素点做可视化处理,区别出不同的车道线,从而实现车道线实例分割。
在一种可能的实现方式中,计算机设备可以通过对车道线上的像素点进行着色处理,可视化地展示道路图像中的车道线分割结果,具体的,针对同一聚类簇中的车道线上的像素点,对其着相同的颜色,针对不同聚类簇中的车道线上的像素点,对其着不同的颜色,从而使得各条车道线的颜色不同,可视化地实现不同车道线的识别。在另一种可能的实现方式中,计算机设备还可以针对同一聚类簇中的车道线上的像素点,对其可视化地输出相同的灰度,针对不同聚类簇中的车道线上的像素点,对其可视化地输出不同的灰度,从而使得各条车道线的明暗程度不同,可视化地实现不同车道线的识别。可以理解的是,可视化地区分各条车道线的方式较多,在此不做过多赘述。
结合本实施例中的步骤S201-步骤S204,如图4所示,图4示出了一种模型处理流程示意图,其中第一模型和第二模型前后级联,从而实现本实施例中的车道线识别方法。
本实施例中的车道线识别方法,计算机设备将车辆前方的道路图像输入至第一模型中,得到道路图像中的每个像素点对应的二值化特征值,再将二值化特征值输入第二模型中,得到每个二值化特征值对应的聚类特征值,而后根据聚类特征值将二值化特征值进行聚类,得到多个聚类簇,最终根据每个聚类簇中包括的二值化特征值,确定道路图像中的车道线分割结果。本实施例将传统车道线实例分割模型中的两个模型分支解耦,单独使用第一模型和第二模型分别获得输出结果,分别提高了两个模型输出结果的准确性,从而提高了最终的车道线分割结果的准确性。同时,由于第二模型的输入为道路图像的二值化特征值,相对于现有技术中的道路图像,其噪点更少,输出的聚类特征值也会更准确,进一步提升了车道线分割结果的准确性。
在一种可能的实现方式中,在上述实施例的基础上,如图5所示,在将车辆前方的道路图像输入第一模型中之前,还包括:
S501、获取包括标注信息的原始样本图像,标注信息包括车道线语义标签和车道线实例标签,原始样本图像为在不同场景、不同视角下采集的多张车辆前方的道路图像;其中,车道线语义标签用于区分原始样本图像中的车道线上的像素点和背景像素点,车道线实例标签用于区分原始样本图像中不同的车道线。
可以理解的是,本实施例涉及第一模型和第二模型的训练方法,以此实现上述实例中的车道线识别方法。
具体的,计算机设备可以获取包括标注信息的原始样本图像,该标注信息可以包括人工标注的车道线语义标签和车道线实例标签,车道线语义标签可以包括原始样本图像中每个像素点的二值化特征值,该原始样本图像为可以包括在不同场景、不同视角下采集的多张车辆前方的道路图像。示例性的,该原始样本图像可以包括有大车视角的道路图像和小车视角的道路图像,每张道路图像中都包括人工标注好的车道线语义标签和车道线实例标签。
S502、根据原始样本图像和由车道线语义标签生成的包含二值化特征值的第一标注图像建立第一样本数据集。
可以理解的是,对原始样本图像中的道路图像中的每个像素点人工标注二值化特征值后,即为第一标注图像。
具体的,原始样本图像中的每个道路图像和其对应的第一标注图像可以为一组第一样本数据。进一步的,根据多个道路图像和其对应的第一标注图像,可以建立第一样本数据集,该第一样本数据集可以用于训练上述实施例中的第一模型。
S503、根据所述第一标注图像和由车道线实例标签生成的第二标注图像建立第二样本数据集。
可以理解的是,对第一标注图像中的每个像素点人工标注车道线实例标签后,即为第二标注图像。
具体的,每个第一标注图像和其对应的第二标注图像可以为一组第一样本数据。进一步的,根据多个第一标注图像和其对应的第二标注图像,可以建立第二样本数据集,该第二样本数据集可以用于训练上述实施例中的第二模型。
S504、利用第一样本数据集对第一神经网络进行训练,得到第一模型。
S505、利用第二样本数据集对第二神经网络进行训练,得到第二模型。
具体的,计算机设备可以利用第一样本数据集,以第一样本数据集中的原始样本图像为输入,以第一标注图像中的二值化特征值作为标签,对第一神经网络进行训练,得到第一模型。计算机设备还可以利用第二样本数据集,以第二样本数据集中的第一标注图像为输入,以第二标注图像中的车道线实例标签作为标签,对第二神经网络进行训练,得到第二模型。
本实施例中,计算机设备通过获取包括标注信息的原始样本图像,根据原始样本图像和由所述车道线语义标签生成的包含二值化特征值的第一标注图像建立第一样本数据集,根据所述第一标注图像和由所述车道线实例标签生成的第二标注图像建立第二样本数据集,并利用第一样本数据集对第一神经网络进行训练,得到第一模型,利用第二样本数据集对第二神经网络进行训练,得到第二模型,实现了对上述实施例中所使用的第一模型和第二模型的单独训练,从而提升了第一模型输出的二值化特征值和第二模型输出的聚类特征值的准确性,提升了车道线分割结果的准确性。另外,由于原始样本图像包括了在不同场景、不同视角下采集的多张车辆前方的道路图像,以此训练出的第一模型和第二模型的性能更好,可以更好的适应在不同场景、不同视角下的车道线识别。
在一种可能的实现方式中,在上述实施例的基础上,如图6所示,利用第一样本数据集对第一神经网络进行训练,得到第一模型,包括:
S601、以第一样本数据集中的原始样本图像作为输入,并以第一标注图像中的二值化特征值作为标签,对第一神经网络进行训练;
S602、当第一神经网络输出的原始样本图像的二值化特征值与对应的第一标注图像中的二值化特征值之间的差距小于第一阈值时,确定第一神经网络训练完成,得到第一模型。
可以理解的是,第一模型的训练过程即是对第一神经网络的参数信息进行不断迭代优化,以使第一模型输出的原始样本图像的二值化特征值与对应的第一标注图像中的二值化特征值之间的差距小于第一阈值的过程。第一阈值可以是预设的期望值,第一阈值越小,训练完成后得到的第一模型的预测结果就越准确。
具体地,计算机设备可以以第一样本数据集中的原始样本图像作为输入,并以第一标注图像中的二值化特征值作为标签,对第一神经网络进行训练,当第一神经网络输出的原始样本图像的二值化特征值与对应的第一标注图像中的二值化特征值之间的差距小于第一阈值时,确定第一神经网络训练完成,得到第一模型。除此之外,对第一模型的训练还可以通过设置迭代次数来实现,即模型训练的迭代次数达到预设迭代次数后,无论第一神经网络输出的原始样本图像的二值化特征值与对应的第一标注图像中的二值化特征值之间的差距为多少,都会结束第一神经网络训练,得到第一模型。此处对于第一模型的训练方式不做限定。
本实施例中,计算机设备以第一样本数据集中的原始样本图像作为输入,并以第一标注图像中的二值化特征值作为标签,对第一神经网络进行训练,当第一神经网络输出的原始样本图像的二值化特征值与对应的第一标注图像中的二值化特征值之间的差距小于第一阈值时,确定第一神经网络训练完成,得到第一模型。本实施例为第一模型提供了具体的模型训练方式,同时,通过适度地降低第一阈值,可以在一定限度内提升第一模型的预测准确度,从而提升车道线分割结果的准确性。
在一种可能的实现方式中,在上述实施例的基础上,如图7所示,利用第二样本数据集对第二神经网络进行训练,得到第二模型,包括:
S701、以第二样本数据集中的第一标注图像作为输入,并以第二标注图像中的车道线实例标签作为标签,对第二神经网络进行训练;
S702、当第二神经网络输出的像素点的聚类特征值满足目标条件时,确定第二神经网络训练完成,得到第二模型;
其中,目标条件为:聚类特征值使得位于同一条车道线上的像素点之间的距离小于第二阈值,且使得位于不同车道线上的像素点之间的距离大于第三阈值,第二阈值小于第三阈值。
其中,第二阈值可以是位于同一条车道线上的像素点之间的最大距离,第三阈值可以是位于不同车道线上的像素点之间的最小距离。
可以理解的是,第二模型的训练过程即是对第二神经网络的参数信息进行不断迭代优化,以使第二模型输出的聚类特征值能够满足目标条件的过程。
具体地,计算机设备可以以第二样本数据集中的第一标注图像作为输入,并以第二标注图像中的车道线实例标签作为标签,对第二神经网络进行训练,当第二神经网络输出的像素点的聚类特征值满足目标条件时,确定第二神经网络训练完成,得到第二模型。
本实施例中,计算机设备对第二模型的训练方式与上述实施例中的第一模型的训练方式相同,通过对第二模型进行训练,能够使得第二模型输出的聚类特征值能够满足目标条件,即同一条车道线上的像素点之间的距离小于第二阈值,且位于不同车道线上的像素点之间的距离大于第三阈值,为后续区分不同车道线提供了数据基础。
图8示出了上述实施例中车道线识别装置的一种可能的组成示意图,如图8所示,该车道线识别装置可以包括:第一预测模块81、第二预测模块82、聚类模块83和确定模块84。
第一预测模块81,用于将车辆前方的道路图像输入第一模型中,得到道路图像中的每个像素点对应的二值化特征值;
第二预测模块82,用于将二值化特征值输入第二模型中,得到每个二值化特征值对应的聚类特征值,聚类特征值用于标识二值化特征值距其所在的车道线的中心点的距离;
聚类模块83,用于根据聚类特征值将二值化特征值进行聚类,得到多个聚类簇;
确定模块84,用于根据每个聚类簇中包括的二值化特征值,确定道路图像中的车道线分割结果。
可选的,在上述实施例的基础上,上述车道线识别装置还包括:获取模块85,用于获取包括标注信息的原始样本图像,标注信息包括车道线语义标签和车道线实例标签,原始样本图像为在不同场景、不同视角下采集的多张车辆前方的道路图像;其中,车道线语义标签用于区分原始样本图像中的车道线上的像素点和背景像素点,车道线实例标签用于区分不同的车道线;第一样本建立模块86,用于根据原始样本图像和由所述车道线语义标签生成的包含二值化特征值的第一标注图像建立第一样本数据集;第二样本建立模块87,用于根据第一标注图像和由所述车道线实例标签生成的第二标注图像建立第二样本数据集;第一训练模块88,用于利用第一样本数据集对第一神经网络进行训练,得到第一模型;第二训练模块89,用于利用第二样本数据集对第二神经网络进行训练,得到第二模型。
可选的,第一训练模块88,具体用于以第一样本数据集中的原始样本图像作为输入,并以第一标注图像中的二值化特征值作为标签,对第一神经网络进行训练;当第一神经网络输出的原始样本图像的二值化特征值与对应的第一标注图像中的二值化特征值之间的差距小于第一阈值时,确定第一神经网络训练完成,得到第一模型。
可选的,第二训练模块89,具体用于以第二样本数据集中的第一标注图像作为输入,并以第二标注图像中的车道线实例标签作为标签,对第二神经网络进行训练;当第二神经网络输出的像素点的聚类特征值满足目标条件时,确定第二神经网络训练完成,得到第二模型;其中,目标条件为:聚类特征值使得位于同一条车道线上的像素点之间的距离小于第二阈值,且使得位于不同车道线上的像素点之间的距离大于第三阈值,第二阈值小于第三阈值。
可选的,第一预测模块81,还用于根据道路图像中的每个像素点对应的二值化特征值,确定与道路图像对应的二值化图像。
可选的,聚类模块83,具体用于利用聚类算法对聚类特征值对应的标签值进行聚类,得到多个以二值化特征值为数据点的聚类簇。
可选的,确定模块84,具体用于根据每个聚类簇中包括的二值化特征值,确定每个聚类簇对应的车道线;对每个聚类簇对应的车道线进行可视化处理,得到道路图像中的车道线分割结果。
本发明实施例提供的车道线识别装置,用于执行上述车道线识别方法,因此可以达到与上述车道线识别方法相同的效果。
本发明实施例还提供一种计算机设备,包括处理器和存储器;存储器用于存储计算机程序代码,计算机程序代码包括计算机指令;当处理器执行计算机指令时,计算机设备执行本发明前述实施方式提供的车道线识别方法。
本发明实施例还提供一种计算机存储介质,存储有一条或多条计算机指令,用于在执行时实现本发明前述实施方式提供的车道线识别方法。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何在本发明揭露的技术范围内的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种车道线识别方法,其特征在于,包括:
将车辆前方的道路图像输入第一模型中,得到所述道路图像中的每个像素点对应的二值化特征值;
将所述二值化特征值输入第二模型中,得到每个所述二值化特征值对应的聚类特征值,所述聚类特征值用于标识所述二值化特征值距其所在的车道线的中心点的距离;所述聚类特征值满足目标条件;所述目标条件为:所述聚类特征值使得位于同一条车道线上的像素点之间的距离小于第二阈值,且使得位于不同车道线上的像素点之间的距离大于第三阈值,所述第二阈值小于所述第三阈值;
根据所述聚类特征值将所述二值化特征值进行聚类,得到多个聚类簇;
根据每个所述聚类簇中包括的二值化特征值,确定所述道路图像中的车道线分割结果。
2.根据权利要求1所述的方法,其特征在于,在将车辆前方的道路图像输入第一模型中之前,还包括:
获取包括标注信息的原始样本图像,所述标注信息包括车道线语义标签和车道线实例标签,所述原始样本图像为在不同场景、不同视角下采集的多张车辆前方的道路图像;其中,所述车道线语义标签用于区分所述原始样本图像中的车道线上的像素点和背景像素点,所述车道线实例标签用于区分所述原始样本图像中不同的车道线;
根据所述原始样本图像和由所述车道线语义标签生成的包含二值化特征值的第一标注图像,建立第一样本数据集;
根据所述第一标注图像和由所述车道线实例标签生成的第二标注图像,建立第二样本数据集;
利用所述第一样本数据集对第一神经网络进行训练,得到第一模型;
利用所述第二样本数据集对第二神经网络进行训练,得到第二模型。
3.根据权利要求2所述的方法,其特征在于,所述利用所述第一样本数据集对第一神经网络进行训练,得到第一模型,包括:
以所述第一样本数据集中的原始样本图像作为输入,并以所述第一标注图像中的二值化特征值作为标签,对所述第一神经网络进行训练;
当所述第一神经网络输出的原始样本图像的二值化特征值与对应的所述第一标注图像中的二值化特征值之间的差距小于第一阈值时,确定所述第一神经网络训练完成,得到第一模型。
4.根据权利要求2所述的方法,其特征在于,所述根据所述第二样本数据集对第二神经网络进行训练,得到第二模型,包括:
以所述第二样本数据集中的第一标注图像作为输入,并以所述第二标注图像中的车道线实例标签作为标签,对所述第二神经网络进行训练;
当所述第二神经网络输出的所述像素点的聚类特征值满足目标条件时,确定所述第二神经网络训练完成,得到第二模型。
5.根据权利要求1所述的方法,其特征在于,所述根据所述聚类特征值将所述二值化特征值进行聚类,得到多个聚类簇,具体包括:
利用聚类算法对所述二值化特征值对应的聚类特征值进行聚类,得到多个以所述二值化特征值为数据点的聚类簇。
6.根据权利要求1所述的方法,其特征在于,所述根据每个所述聚类簇中包括的二值化特征值,确定所述道路图像中的车道线分割结果,包括:
根据每个所述聚类簇中包括的二值化特征值,确定每个所述聚类簇对应的车道线;
对每个所述聚类簇对应的车道线进行可视化处理,得到所述道路图像中的车道线分割结果。
7.一种车道线识别装置,其特征在于,包括:
第一预测模块,用于将车辆前方的道路图像输入第一模型中,得到所述道路图像中的每个像素点对应的二值化特征值;
第二预测模块,用于将所述二值化特征值输入第二模型中,得到每个所述二值化特征值对应的聚类特征值,所述聚类特征值用于标识所述二值化特征值距其所在的车道线的中心点的距离;所述聚类特征值满足目标条件;所述目标条件为:所述聚类特征值使得位于同一条车道线上的像素点之间的距离小于第二阈值,且使得位于不同车道线上的像素点之间的距离大于第三阈值,所述第二阈值小于所述第三阈值;
聚类模块,用于根据所述聚类特征值将所述二值化特征值进行聚类,得到多个聚类簇;
确定模块,用于根据每个所述聚类簇中包括的二值化特征值,确定所述道路图像中的车道线分割结果。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
获取模块,用于获取包括标注信息的原始样本图像,所述标注信息包括车道线语义标签和车道线实例标签,所述原始样本图像为在不同场景、不同视角下采集的多张车辆前方的道路图像;其中,所述车道线语义标签用于区分所述原始样本图像中的车道线上的像素点和背景像素点,所述车道线实例标签用于区分不同的车道线;
第一样本建立模块,用于根据所述原始样本图像和由所述车道线语义标签生成的包含二值化特征值的第一标注图像建立第一样本数据集;
第二样本建立模块,用于根据所述第一标注图像和由所述车道线实例标签生成的第二标注图像建立第二样本数据集;
第一训练模块,用于利用所述第一样本数据集对第一神经网络进行训练,得到第一模型;
第二训练模块,用于利用所述第二样本数据集对第二神经网络进行训练,得到第二模型。
9.一种计算机设备,其特征在于,所述计算机设备包括:处理器和存储器;所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;当所述处理器执行所述计算机指令时,所述计算机设备执行如权利要求1-6中任意一项所述的车道线识别方法。
10.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在计算机设备上运行时,使得所述计算机设备执行权利要求1-6中任意一项所述的车道线识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111496191.1A CN113903015B (zh) | 2021-12-09 | 2021-12-09 | 车道线识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111496191.1A CN113903015B (zh) | 2021-12-09 | 2021-12-09 | 车道线识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113903015A CN113903015A (zh) | 2022-01-07 |
CN113903015B true CN113903015B (zh) | 2022-04-05 |
Family
ID=79025441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111496191.1A Active CN113903015B (zh) | 2021-12-09 | 2021-12-09 | 车道线识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113903015B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109886081A (zh) * | 2018-12-31 | 2019-06-14 | 武汉中海庭数据技术有限公司 | 一种车道线形点串提取方法和装置 |
CN110363182A (zh) * | 2019-07-24 | 2019-10-22 | 北京信息科技大学 | 基于深度学习的车道线检测方法 |
CN110427860A (zh) * | 2019-07-26 | 2019-11-08 | 武汉中海庭数据技术有限公司 | 一种车道线识别方法、装置及存储介质 |
CN110781768A (zh) * | 2019-09-30 | 2020-02-11 | 奇点汽车研发中心有限公司 | 目标对象检测方法和装置、电子设备和介质 |
CN112699711A (zh) * | 2019-10-22 | 2021-04-23 | 珠海格力电器股份有限公司 | 车道线检测方法、装置、存储介质及电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9704057B1 (en) * | 2014-03-03 | 2017-07-11 | Accusoft Corporation | Methods and apparatus relating to image binarization |
-
2021
- 2021-12-09 CN CN202111496191.1A patent/CN113903015B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109886081A (zh) * | 2018-12-31 | 2019-06-14 | 武汉中海庭数据技术有限公司 | 一种车道线形点串提取方法和装置 |
CN110363182A (zh) * | 2019-07-24 | 2019-10-22 | 北京信息科技大学 | 基于深度学习的车道线检测方法 |
CN110427860A (zh) * | 2019-07-26 | 2019-11-08 | 武汉中海庭数据技术有限公司 | 一种车道线识别方法、装置及存储介质 |
CN110781768A (zh) * | 2019-09-30 | 2020-02-11 | 奇点汽车研发中心有限公司 | 目标对象检测方法和装置、电子设备和介质 |
CN112699711A (zh) * | 2019-10-22 | 2021-04-23 | 珠海格力电器股份有限公司 | 车道线检测方法、装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113903015A (zh) | 2022-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109426801B (zh) | 一种车道线实例检测方法和装置 | |
CN110705405B (zh) | 目标标注的方法及装置 | |
CN109753928B (zh) | 违章建筑物识别方法和装置 | |
Dehghan et al. | View independent vehicle make, model and color recognition using convolutional neural network | |
CN112528878A (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
CN110543892A (zh) | 一种基于多层随机森林的零部件识别方法 | |
US20180349716A1 (en) | Apparatus and method for recognizing traffic signs | |
US11398098B2 (en) | Real time traffic sign recognition | |
CN111145209A (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
CN111507226B (zh) | 道路图像识别模型建模方法、图像识别方法及电子设备 | |
CN111274926B (zh) | 图像数据筛选方法、装置、计算机设备和存储介质 | |
CN109190504B (zh) | 汽车图像数据的处理方法、装置及可读存储介质 | |
CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
CN112381840B (zh) | 一种用于定损视频中车辆外观部件标注的方法及*** | |
CN104915642A (zh) | 前方车辆测距方法及装置 | |
CN111340831A (zh) | 点云边缘检测方法和装置 | |
CN108509826B (zh) | 一种遥感影像的道路识别方法及其*** | |
CN115830399A (zh) | 分类模型训练方法、装置、设备、存储介质和程序产品 | |
CN115100469A (zh) | 一种基于分割算法的目标属性识别方法、训练方法和装置 | |
CN115050002A (zh) | 图像标注模型训练方法、装置、电子设备及存储介质 | |
CN109241893B (zh) | 基于人工智能技术的道路选择方法、装置及可读存储介质 | |
CN110659631B (zh) | 车牌识别方法和终端设备 | |
CN114037886A (zh) | 图像识别方法、装置、电子设备和可读存储介质 | |
CN112819834B (zh) | 基于人工智能的胃部病理图像的分类方法和装置 | |
CN107729863B (zh) | 人体指静脉识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000 Patentee after: Shenzhen Youjia Innovation Technology Co.,Ltd. Address before: 518051 401, building 1, Shenzhen new generation industrial park, No. 136, Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong Province Patentee before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd. |
|
CP03 | Change of name, title or address |