CN116503821B - 基于点云数据和图像识别的道路标识识别方法及*** - Google Patents

基于点云数据和图像识别的道路标识识别方法及*** Download PDF

Info

Publication number
CN116503821B
CN116503821B CN202310724151.0A CN202310724151A CN116503821B CN 116503821 B CN116503821 B CN 116503821B CN 202310724151 A CN202310724151 A CN 202310724151A CN 116503821 B CN116503821 B CN 116503821B
Authority
CN
China
Prior art keywords
data
road
depth
identification
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310724151.0A
Other languages
English (en)
Other versions
CN116503821A (zh
Inventor
王勇
林修全
陈涛
黄涛银
张波
于松松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Economic Development Geographic Information Survey And Design Institute Co ltd
Original Assignee
Chengdu Economic Development Geographic Information Survey And Design Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Economic Development Geographic Information Survey And Design Institute Co ltd filed Critical Chengdu Economic Development Geographic Information Survey And Design Institute Co ltd
Priority to CN202310724151.0A priority Critical patent/CN116503821B/zh
Publication of CN116503821A publication Critical patent/CN116503821A/zh
Application granted granted Critical
Publication of CN116503821B publication Critical patent/CN116503821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了基于点云数据和图像识别的道路标识识别方法及***，包括：获取点云数据和目标图像；提取边缘数据，确定深度数据；形成三维像素矩阵；对点云数据进行聚类分析获取疑似道路标识的数据作为疑似数据；获取疑似元素；根据疑似元素的R通道、G通道和B通道数据判断疑似元素是否为道路标识，以及对应的道路标识种类。本发明基于点云数据和图像识别的道路标识识别方法及***，通过将点云数据中识别出的疑似数据反向映射回目标图像中，可以有效的提高道路标识的识别精度，将悬挂的其他类型的标识噪音过滤掉；同时，还可以准确的识别道路标识的种类，为后续交通大数据的调整提供了准确的依据。

Description

基于点云数据和图像识别的道路标识识别方法及***
技术领域
本发明涉及道路标识自动识别技术，具体涉及基于点云数据和图像识别的道路标识识别方法及***。
背景技术
道路标识的自动识别在交通管制和路线规划等方面都有极为广阔的应用，从而提高交通效率和减少交通拥堵；不同于自动驾驶技术中所使用的道路标识识别，在交通管制、城市道路数据等方面的应用中，对于道路标识的识别需要有更高的精度，同时不需要很强的实时性。
目前应用在城市道路数据的道路标识识别已经广泛使用点云技术进行识别，点云是分布在N维空间的离散点集，主要以三维为主，它通常是对物体表面信息的离散采样。三维扫描技术的迅速发展使得点云数据的获取更加方便简单，而点云驱动的计算机图形学在智能机器人、自动驾驶、数字城市等领域日益彰显其广阔的应用前景。点云处理技术包括点云滤波、分割、配准、特征提取、曲面重建等。
但是对于道路标识识别来说，道路周边所悬挂的广告牌、道路临时指示牌、红绿灯等物体都会在点云数据中产生噪声，现有技术中这些数据普遍采用人力进行甄别，工作量很大。
发明内容
为了至少克服现有技术中的上述不足，本申请的目的在于提供基于点云数据和图像识别的道路标识识别方法及***。
第一方面，本申请实施例提供了基于点云数据和图像识别的道路标识识别方法，包括：
获取预设区域内的点云数据和对应所述点云数据的目标图像；所述目标图像包含道路和配置于道路的道路标识，且沿所述道路方向拍摄；
对所述目标图像进行图像识别，提取出道路的边缘数据，并根据所述边缘数据对应的锐度信息确定深度数据；
根据所述边缘数据和所述深度数据为所述目标图像的像素矩阵赋值形成三维像素矩阵；所述三维像素矩阵中的元素为六维序列；所述六维序列包括R通道、G通道、B通道、X坐标、Y坐标和Z坐标；其中所述Z坐标对应所述深度数据；
对所述点云数据进行聚类分析获取疑似道路标识的数据作为疑似数据；
将所述三维像素矩阵匹配进所述点云数据中，并获取所述三维像素矩阵中对应所述点云数据中疑似数据的元素作为疑似元素；
根据所述疑似元素的R通道、G通道和B通道数据判断所述疑似元素是否为道路标识，以及对应的道路标识种类。
本申请实施例实施时，需要获取一个区域内的点云数据和对应的目标图像，应当理解的是，对于同一个预设区域来说，目标图像可能不止一张，需要根据预设区域内道路情况进行选择，如根据路口和道路长度情况进行具体选择。其中点云数据和目标图像的获取可以同时进行，即通过同一辆信息采集车辆进行点云数据和目标图像的采集。其中为了保证道路识别的准确性，需要在目标图像拍摄时沿道路方向进行拍摄，其拍摄方向也应当被记录在目标图像的相关数据中供后续使用。
本申请实施例中，可以基于现有的边缘识别技术提取出道路的边缘数据，并根据这些边缘数据所对应的锐度信息确定这些边缘数据对应的深度，由于目标图像一般是2D采集图像，所以需要根据相机的情况和锐度情况对沿目标图像垂直纸面方向的道路长度信息进行判断，判断结果即为深度数据。通过深度数据可以将目标图像的二维状态改变为带有深度信息的三维状态，并具体表征为三维像素矩阵。其中三维像素矩阵中边缘数据所对应的坐标应当带有深度数据，同时，其他数据可以根据需要进行相应的赋值。
基于现有技术对点云数据进行聚类分析可以提取出可能为道路标识的数据，应当理解的是本申请实施例中所提到的道路标识为悬挂式的标识，而非路面标识；对点云数据的聚类分析属于成熟的现有技术，本申请实施例不多做复述。为了更加准确的判断识别出的道路标识是否为正确的道路标识，以及为哪种道路标识，本申请实施例通过将点云数据中识别出的疑似数据反向映射回目标图像中，可以有效的提高道路标识的识别精度，将悬挂的其他类型的标识噪音过滤掉；同时，还可以准确的识别道路标识的种类，为后续交通大数据的调整提供了准确的依据。
在一种可能的实现方式中，根据所述边缘数据对应的锐度信息确定深度数据包括：
根据拍摄所述目标图像的拍摄设备的相关参数计算所述目标图像的景深数据；
根据所述锐度信息从所述边缘数据中寻找出两侧锐度大于预设值的点作为锐度分界点；
根据所述景深数据计算所述锐度分界点的深度坐标作为基准深度坐标，并将所述目标图像中道路起点处作为零深度坐标；
根据所述景深数据、所述锐度信息、所述零深度坐标和所述基准深度坐标进行深度数据插值形成所述边缘数据对应的深度数据。
在一种可能的实现方式中，根据所述景深数据、所述锐度信息、所述零深度坐标和所述基准深度坐标进行深度数据插值形成所述边缘数据对应的深度数据包括：
将所述零深度坐标和所述基准深度坐标之间的区域作为第一插值区域，并将所述边缘数据中非第一插值区域作为第二插值区域；
基于所述景深数据计算所述目标图像中的深度折算函数；所述深度折算函数为目标图像中线条长度和实际线条长度的对应关系；
根据所述深度折算函数对所述第一插值区域进行深度数据插值形成第一深度坐标，并根据所述深度折算函数对所述第二插值区域进行深度数据插值形成第二深度坐标；
获取所述第二深度坐标对应的锐度信息，并联立锐度变化函数和所述深度折算函数对所述第二深度坐标进行修正形成第三深度坐标；所述锐度变化函数为所述第二插值区域内深度数据和锐度的对应关系；
将所述第一深度坐标和第三深度坐标合并形成所述边缘数据对应的深度数据。
在一种可能的实现方式中，根据所述边缘数据和所述深度数据为所述目标图像的像素矩阵赋值形成三维像素矩阵包括：
根据所述目标图像的拍摄位置在所述点云数据中坐标计算所述零深度坐标对应的边缘数据在所述点云数据中的坐标作为基准坐标；
根据所述基准坐标和所述目标图像的拍摄方向计算每个边缘数据在所述点云数据中的坐标作为边缘数据坐标；
将所述边缘数据坐标和所述深度数据赋值于所述像素矩阵中的边缘数据形成三维像素矩阵。
在一种可能的实现方式中，根据所述疑似元素的R通道、G通道和B通道数据判断所述疑似元素是否为道路标识，以及对应的道路标识种类包括：
将所述疑似元素的R通道、G通道和B通道数据输入标识识别模型中，并将所述标识识别模型的输出结果作为识别结果。
在一种可能的实现方式中，所述标识识别模型的建立包括：
收集道路标识的样本，并将所述道路标识的样本分为警告标识、禁令标识和指示标识；所述道路标识的样本包括从多个角度获取的道路标识的图像；
在RGB色彩空间中分别建立警告标识、禁令标识和指示标识的识别标准；
根据所述识别标准建立分类模型；
基于分类后的所述道路标识的样本对卷积神经网络进行训练，形成警告标识识别模型、禁令标识识别模型和指示标识识别模型；
将所述分类模型、警告标识识别模型、禁令标识识别模型和指示标识识别模型作为所述标识识别模型。
在一种可能的实现方式中，将所述疑似元素的R通道、G通道和B通道数据输入标识识别模型中，并将所述标识识别模型的输出结果作为识别结果包括：
将所述疑似元素的R通道、G通道和B通道数据输入标识识别模型；
通过所述分类模型对所述疑似元素进行分类，分类结果为警告标识、禁令标识、指示标识或无标识；
将分类至警告标识的所述疑似元素通过所述警告标识识别模型进行识别；
将分类至禁令标识的所述疑似元素通过所述禁令标识识别模型进行识别；
将分类至指示标识的所述疑似元素通过所述指示标识识别模型进行识别；
将所述警告标识识别模型、所述禁令标识识别模型和所述指示标识识别模型的输出结果以及所述分类模型输出的无标识结果作为所述标识识别模型的输出结果。
在一种可能的实现方式中，在RGB色彩空间中分别建立警告标识、禁令标识和指示标识的识别标准包括：
计算所述道路标识的样本中R通道数值的平均值作为第一平均值，G通道数值的平均值作为第二平均值，以及B通道数值的平均值作为第三平均值；
所述禁令标识的识别标准为在一张图像中所述第一平均值在第一预设区间内，所述第二平均值小于第一预设值，所述第三平均值落入第二预设区间或第三预设区间；
所述警告标识的识别标准为在一张图像中所述第二平均值和所述第三平均值之间的比例小于第二预设值，且所述第一平均值在所述第一预设区间内；
所述指示标识的识别标准为在一张图像中所述第三平均值大于第三预设值，所述第一平均值和所述第二平均值之间的比例小于所述第二预设值。
第二方面，本申请实施例提供了基于点云数据和图像识别的道路标识识别***，包括：
获取单元，被配置为获取预设区域内的点云数据和对应所述点云数据的目标图像；所述目标图像包含道路和配置于道路的道路标识，且沿所述道路方向拍摄；
图像识别单元，被配置为对所述目标图像进行图像识别，提取出道路的边缘数据，并根据所述边缘数据对应的锐度信息确定深度数据；
赋值单元，被配置为根据所述边缘数据和所述深度数据为所述目标图像的像素矩阵赋值形成三维像素矩阵；所述三维像素矩阵中的元素为六维序列；所述六维序列包括R通道、G通道、B通道、X坐标、Y坐标和Z坐标；其中所述Z坐标对应所述深度数据；
聚类单元，被配置为对所述点云数据进行聚类分析获取疑似道路标识的数据作为疑似数据；
匹配单元，被配置为将所述三维像素矩阵匹配进所述点云数据中，并获取所述三维像素矩阵中对应所述点云数据中疑似数据的元素作为疑似元素；
判断单元，被配置为根据所述疑似元素的R通道、G通道和B通道数据判断所述疑似元素是否为道路标识，以及对应的道路标识种类。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明基于点云数据和图像识别的道路标识识别方法及***，通过将点云数据中识别出的疑似数据反向映射回目标图像中，可以有效的提高道路标识的识别精度，将悬挂的其他类型的标识噪音过滤掉；同时，还可以准确的识别道路标识的种类，为后续交通大数据的调整提供了准确的依据。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本申请实施例方法步骤示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请实施例的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其它操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。
请结合参阅图1，为本发明实施例所提供的基于点云数据和图像识别的道路标识识别方法的流程示意图，进一步地，所述基于点云数据和图像识别的道路标识识别方法具体可以包括以下步骤S1-步骤S6所描述的内容。
S1：获取预设区域内的点云数据和对应所述点云数据的目标图像；所述目标图像包含道路和配置于道路的道路标识，且沿所述道路方向拍摄；
S2：对所述目标图像进行图像识别，提取出道路的边缘数据，并根据所述边缘数据对应的锐度信息确定深度数据；
S3：根据所述边缘数据和所述深度数据为所述目标图像的像素矩阵赋值形成三维像素矩阵；所述三维像素矩阵中的元素为六维序列；所述六维序列包括R通道、G通道、B通道、X坐标、Y坐标和Z坐标；其中所述Z坐标对应所述深度数据；
S4：对所述点云数据进行聚类分析获取疑似道路标识的数据作为疑似数据；
S5：将所述三维像素矩阵匹配进所述点云数据中，并获取所述三维像素矩阵中对应所述点云数据中疑似数据的元素作为疑似元素；
S6：根据所述疑似元素的R通道、G通道和B通道数据判断所述疑似元素是否为道路标识，以及对应的道路标识种类。
本申请实施例实施时，需要获取一个区域内的点云数据和对应的目标图像，应当理解的是，对于同一个预设区域来说，目标图像可能不止一张，需要根据预设区域内道路情况进行选择，如根据路口和道路长度情况进行具体选择。其中点云数据和目标图像的获取可以同时进行，即通过同一辆信息采集车辆进行点云数据和目标图像的采集。其中为了保证道路识别的准确性，需要在目标图像拍摄时沿道路方向进行拍摄，其拍摄方向也应当被记录在目标图像的相关数据中供后续使用。
本申请实施例中，可以基于现有的边缘识别技术提取出道路的边缘数据，并根据这些边缘数据所对应的锐度信息确定这些边缘数据对应的深度，由于目标图像一般是2D采集图像，所以需要根据相机的情况和锐度情况对沿目标图像垂直纸面方向的道路长度信息进行判断，判断结果即为深度数据。通过深度数据可以将目标图像的二维状态改变为带有深度信息的三维状态，并具体表征为三维像素矩阵。其中三维像素矩阵中边缘数据所对应的坐标应当带有深度数据，同时，其他数据可以根据需要进行相应的赋值。
基于现有技术对点云数据进行聚类分析可以提取出可能为道路标识的数据，应当理解的是本申请实施例中所提到的道路标识为悬挂式的标识，而非路面标识；对点云数据的聚类分析属于成熟的现有技术，本申请实施例不多做复述。为了更加准确的判断识别出的道路标识是否为正确的道路标识，以及为哪种道路标识，本申请实施例通过将点云数据中识别出的疑似数据反向映射回目标图像中，可以有效的提高道路标识的识别精度，将悬挂的其他类型的标识噪音过滤掉；同时，还可以准确的识别道路标识的种类，为后续交通大数据的调整提供了准确的依据。
在一种可能的实现方式中，根据所述边缘数据对应的锐度信息确定深度数据包括：
根据拍摄所述目标图像的拍摄设备的相关参数计算所述目标图像的景深数据；
根据所述锐度信息从所述边缘数据中寻找出两侧锐度大于预设值的点作为锐度分界点；
根据所述景深数据计算所述锐度分界点的深度坐标作为基准深度坐标，并将所述目标图像中道路起点处作为零深度坐标；
根据所述景深数据、所述锐度信息、所述零深度坐标和所述基准深度坐标进行深度数据插值形成所述边缘数据对应的深度数据。
本申请实施例实施时，通过拍摄目标图像的拍摄设备的光圈、焦距等信息可以计算出景深数据，即目标图像中可以保持清晰的范围；其中清晰程度可以根据锐度信息进行确认，即通过锐度信息找出对应景深数据的分界点，在景深数据可以计算的情况下，可以获取该分界点的深度数据，并将其作为基准深度坐标；而目标图像中道路起点一般为图像拍摄位置，该位置是已知的，通过这些数据对边缘数据对应的深度数据可以进行插值处理生成。
在一种可能的实现方式中，根据所述景深数据、所述锐度信息、所述零深度坐标和所述基准深度坐标进行深度数据插值形成所述边缘数据对应的深度数据包括：
将所述零深度坐标和所述基准深度坐标之间的区域作为第一插值区域，并将所述边缘数据中非第一插值区域作为第二插值区域；
基于所述景深数据计算所述目标图像中的深度折算函数；所述深度折算函数为目标图像中线条长度和实际线条长度的对应关系；
根据所述深度折算函数对所述第一插值区域进行深度数据插值形成第一深度坐标，并根据所述深度折算函数对所述第二插值区域进行深度数据插值形成第二深度坐标；
获取所述第二深度坐标对应的锐度信息，并联立锐度变化函数和所述深度折算函数对所述第二深度坐标进行修正形成第三深度坐标；所述锐度变化函数为所述第二插值区域内深度数据和锐度的对应关系；
将所述第一深度坐标和第三深度坐标合并形成所述边缘数据对应的深度数据。
本申请实施例实施时，根据景深相关的数据可以计算出图像中的深度折算函数，其计算方式属于现有技术，常用于图像捕捉物体尺寸测量技术；本申请实施例中将边缘数据分为了第一插值区域和第二插值区域，第一插值区域是较为清晰的区段，可以直接通过深度折算函数进行插值；而第二插值区域则为锐度较低的区段，一般也离拍摄地点较远，所以可以通过锐度变化函数和深度折算函数联立进行精度较高深度数据获取。
在一种可能的实现方式中，根据所述边缘数据和所述深度数据为所述目标图像的像素矩阵赋值形成三维像素矩阵包括：
根据所述目标图像的拍摄位置在所述点云数据中坐标计算所述零深度坐标对应的边缘数据在所述点云数据中的坐标作为基准坐标；
根据所述基准坐标和所述目标图像的拍摄方向计算每个边缘数据在所述点云数据中的坐标作为边缘数据坐标；
将所述边缘数据坐标和所述深度数据赋值于所述像素矩阵中的边缘数据形成三维像素矩阵。
本申请实施例实施时，需要将目标图像对应到点云数据的坐标系中，一般点云数据是有完整的坐标系的，所以对于点云数据的坐标体系本申请实施例不多做复述。具体的，需要基于目标图像的拍摄位置作为进准进行基准位置确定，并根据拍摄方向和之前获取的深度数据计算边缘数据在点云数据中的坐标，最终完成三维像素矩阵。
在一种可能的实现方式中，根据所述疑似元素的R通道、G通道和B通道数据判断所述疑似元素是否为道路标识，以及对应的道路标识种类包括：
将所述疑似元素的R通道、G通道和B通道数据输入标识识别模型中，并将所述标识识别模型的输出结果作为识别结果。
在一种可能的实现方式中，所述标识识别模型的建立包括：
收集道路标识的样本，并将所述道路标识的样本分为警告标识、禁令标识和指示标识；所述道路标识的样本包括从多个角度获取的道路标识的图像；
在RGB色彩空间中分别建立警告标识、禁令标识和指示标识的识别标准；
根据所述识别标准建立分类模型；
基于分类后的所述道路标识的样本对卷积神经网络进行训练，形成警告标识识别模型、禁令标识识别模型和指示标识识别模型；
将所述分类模型、警告标识识别模型、禁令标识识别模型和指示标识识别模型作为所述标识识别模型。
本申请实施例实施时，需要基于训练好的标识识别模型进行道路表示的识别，其中可以根据现行的标识标准对标识进行分类，并剔除不常用的标识，即将道路标识分为警告标识、禁令标识和指示标识。分类完成后，需要根据不同类别的RGB数据建立分类模型，该分类模型基于RGB数据进行分类，属于较为简单的分类模型。在分类完成后对于每个分类可以训练相应的卷积神经网络进而生成对应的识别模型，由于本申请实施例中已经先对道路标识进行了分类，不同分类的卷积神经网络模型也会较为简单，可以直接采用现有的YOLO系列实现，极大的减少了识别模型的训练成本。
在一种可能的实现方式中，将所述疑似元素的R通道、G通道和B通道数据输入标识识别模型中，并将所述标识识别模型的输出结果作为识别结果包括：
将所述疑似元素的R通道、G通道和B通道数据输入标识识别模型；
通过所述分类模型对所述疑似元素进行分类，分类结果为警告标识、禁令标识、指示标识或无标识；
将分类至警告标识的所述疑似元素通过所述警告标识识别模型进行识别；
将分类至禁令标识的所述疑似元素通过所述禁令标识识别模型进行识别；
将分类至指示标识的所述疑似元素通过所述指示标识识别模型进行识别；
将所述警告标识识别模型、所述禁令标识识别模型和所述指示标识识别模型的输出结果以及所述分类模型输出的无标识结果作为所述标识识别模型的输出结果。
本申请实施例实施时，警告标识识别模型、禁令标识识别模型和指示标识识别模型的输出结果也可以包括识别失败，即当警告标识识别模型、禁令标识识别模型或指示标识识别模型的输出结果为识别失败，或者分类模型输出结果为无标识时，判定该道路标识为非真的道路标识。
在一种可能的实现方式中，在RGB色彩空间中分别建立警告标识、禁令标识和指示标识的识别标准包括：
计算所述道路标识的样本中R通道数值的平均值作为第一平均值，G通道数值的平均值作为第二平均值，以及B通道数值的平均值作为第三平均值；
所述禁令标识的识别标准为在一张图像中所述第一平均值在第一预设区间内，所述第二平均值小于第一预设值，所述第三平均值落入第二预设区间或第三预设区间；
所述警告标识的识别标准为在一张图像中所述第二平均值和所述第三平均值之间的比例小于第二预设值，且所述第一平均值在所述第一预设区间内；
所述指示标识的识别标准为在一张图像中所述第三平均值大于第三预设值，所述第一平均值和所述第二平均值之间的比例小于所述第二预设值。
本申请实施例实施时，对于警告标识、禁令标识、指示标识的分类，可以根据对应的颜色进行分类，其中对于禁令来说，一般会有一定数量的红色，以及白底或者蓝底，同时可能会有黑色部分，所以根据上述内容进行的分类。同样的对于禁令标识来说，会以黄底黑边为主，其上的内容一般也为黑色，所以需要B通道和G通道的数值基本相似。同样的对于以蓝色底色为主的指示标识也是基于上述思路进行判断的。
基于同样的发明构思，还提供了基于点云数据和图像识别的道路标识识别***，所述***包括：
获取单元，被配置为获取预设区域内的点云数据和对应所述点云数据的目标图像；所述目标图像包含道路和配置于道路的道路标识，且沿所述道路方向拍摄；
图像识别单元，被配置为对所述目标图像进行图像识别，提取出道路的边缘数据，并根据所述边缘数据对应的锐度信息确定深度数据；
赋值单元，被配置为根据所述边缘数据和所述深度数据为所述目标图像的像素矩阵赋值形成三维像素矩阵；所述三维像素矩阵中的元素为六维序列；所述六维序列包括R通道、G通道、B通道、X坐标、Y坐标和Z坐标；其中所述Z坐标对应所述深度数据；
聚类单元，被配置为对所述点云数据进行聚类分析获取疑似道路标识的数据作为疑似数据；
匹配单元，被配置为将所述三维像素矩阵匹配进所述点云数据中，并获取所述三维像素矩阵中对应所述点云数据中疑似数据的元素作为疑似元素；
判断单元，被配置为根据所述疑似元素的R通道、G通道和B通道数据判断所述疑似元素是否为道路标识，以及对应的道路标识种类。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显然本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网格设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于点云数据和图像识别的道路标识识别方法，其特征在于，包括：
获取预设区域内的点云数据和对应所述点云数据的目标图像；所述目标图像包含道路和配置于道路的道路标识，且沿所述道路的方向拍摄；
对所述目标图像进行图像识别，提取出道路的边缘数据，并根据所述边缘数据对应的锐度信息确定深度数据；
根据所述边缘数据和所述深度数据为所述目标图像的像素矩阵赋值形成三维像素矩阵；所述三维像素矩阵中的元素为六维序列；所述六维序列包括R通道、G通道、B通道、X坐标、Y坐标和Z坐标；其中所述Z坐标对应所述深度数据；
对所述点云数据进行聚类分析获取疑似道路标识的数据作为疑似数据；
将所述三维像素矩阵匹配进所述点云数据中，并获取所述三维像素矩阵中对应所述点云数据中疑似数据的元素作为疑似元素；
根据所述疑似元素的R通道、G通道和B通道数据判断所述疑似元素是否为道路标识，以及对应的道路标识种类；
根据所述边缘数据对应的锐度信息确定深度数据包括：
根据拍摄所述目标图像的拍摄设备的相关参数计算所述目标图像的景深数据；
根据所述锐度信息从所述边缘数据中寻找出两侧锐度大于预设值的点作为锐度分界点；
根据所述景深数据计算所述锐度分界点的深度坐标作为基准深度坐标，并将所述目标图像中道路起点处作为零深度坐标；
根据所述景深数据、所述锐度信息、所述零深度坐标和所述基准深度坐标进行深度数据插值形成所述边缘数据对应的深度数据。
2.根据权利要求1所述的基于点云数据和图像识别的道路标识识别方法，其特征在于，根据所述景深数据、所述锐度信息、所述零深度坐标和所述基准深度坐标进行深度数据插值形成所述边缘数据对应的深度数据包括：
将所述零深度坐标和所述基准深度坐标之间的区域作为第一插值区域，并将所述边缘数据中非第一插值区域作为第二插值区域；
基于所述景深数据计算所述目标图像中的深度折算函数；所述深度折算函数为目标图像中线条长度和实际线条长度的对应关系；
根据所述深度折算函数对所述第一插值区域进行深度数据插值形成第一深度坐标，并根据所述深度折算函数对所述第二插值区域进行深度数据插值形成第二深度坐标；
获取所述第二深度坐标对应的锐度信息，并联立锐度变化函数和所述深度折算函数对所述第二深度坐标进行修正形成第三深度坐标；所述锐度变化函数为所述第二插值区域内深度数据和锐度的对应关系；
将所述第一深度坐标和第三深度坐标合并形成所述边缘数据对应的深度数据。
3.根据权利要求1所述的基于点云数据和图像识别的道路标识识别方法，其特征在于，根据所述边缘数据和所述深度数据为所述目标图像的像素矩阵赋值形成三维像素矩阵包括：
根据所述目标图像的拍摄位置在所述点云数据中坐标计算所述零深度坐标对应的边缘数据在所述点云数据中的坐标作为基准坐标；
根据所述基准坐标和所述目标图像的拍摄方向计算每个边缘数据在所述点云数据中的坐标作为边缘数据坐标；
将所述边缘数据坐标和所述深度数据赋值于所述像素矩阵中的边缘数据形成三维像素矩阵。
4.根据权利要求1所述的基于点云数据和图像识别的道路标识识别方法，其特征在于，根据所述疑似元素的R通道、G通道和B通道数据判断所述疑似元素是否为道路标识，以及对应的道路标识种类包括：
将所述疑似元素的R通道、G通道和B通道数据输入标识识别模型中，并将所述标识识别模型的输出结果作为识别结果。
5.根据权利要求4所述的基于点云数据和图像识别的道路标识识别方法，其特征在于，所述标识识别模型的建立包括：
收集道路标识的样本，并将所述道路标识的样本分为警告标识、禁令标识和指示标识；所述道路标识的样本包括从多个角度获取的道路标识的图像；
在RGB色彩空间中分别建立警告标识、禁令标识和指示标识的识别标准；
根据所述识别标准建立分类模型；
基于分类后的所述道路标识的样本对卷积神经网络进行训练，形成警告标识识别模型、禁令标识识别模型和指示标识识别模型；
将所述分类模型、警告标识识别模型、禁令标识识别模型和指示标识识别模型作为所述标识识别模型。
6.根据权利要求5所述的基于点云数据和图像识别的道路标识识别方法，其特征在于，将所述疑似元素的R通道、G通道和B通道数据输入标识识别模型中，并将所述标识识别模型的输出结果作为识别结果包括：
将所述疑似元素的R通道、G通道和B通道数据输入标识识别模型；
通过所述分类模型对所述疑似元素进行分类，分类结果为警告标识、禁令标识、指示标识或无标识；
将分类至警告标识的所述疑似元素通过所述警告标识识别模型进行识别；
将分类至禁令标识的所述疑似元素通过所述禁令标识识别模型进行识别；
将分类至指示标识的所述疑似元素通过所述指示标识识别模型进行识别；
将所述警告标识识别模型、所述禁令标识识别模型和所述指示标识识别模型的输出结果以及所述分类模型输出的无标识结果作为所述标识识别模型的输出结果。
7.根据权利要求5所述的基于点云数据和图像识别的道路标识识别方法，其特征在于，在RGB色彩空间中分别建立警告标识、禁令标识和指示标识的识别标准包括：
计算所述道路标识的样本中R通道数值的平均值作为第一平均值，G通道数值的平均值作为第二平均值，以及B通道数值的平均值作为第三平均值；
所述禁令标识的识别标准为在一张图像中所述第一平均值在第一预设区间内，所述第二平均值小于第一预设值，所述第三平均值落入第二预设区间或第三预设区间；
所述警告标识的识别标准为在一张图像中所述第二平均值和所述第三平均值之间的比例小于第二预设值，且所述第一平均值在所述第一预设区间内；
所述指示标识的识别标准为在一张图像中所述第三平均值大于第三预设值，所述第一平均值和所述第二平均值之间的比例小于所述第二预设值。
8.使用权利要求1~7任意一项所述方法的基于点云数据和图像识别的道路标识识别***，其特征在于，包括：
获取单元，被配置为获取预设区域内的点云数据和对应所述点云数据的目标图像；所述目标图像包含道路和配置于道路的道路标识，且沿所述道路的方向拍摄；
图像识别单元，被配置为对所述目标图像进行图像识别，提取出道路的边缘数据，并根据所述边缘数据对应的锐度信息确定深度数据；
赋值单元，被配置为根据所述边缘数据和所述深度数据为所述目标图像的像素矩阵赋值形成三维像素矩阵；所述三维像素矩阵中的元素为六维序列；所述六维序列包括R通道、G通道、B通道、X坐标、Y坐标和Z坐标；其中所述Z坐标对应所述深度数据；
聚类单元，被配置为对所述点云数据进行聚类分析获取疑似道路标识的数据作为疑似数据；
匹配单元，被配置为将所述三维像素矩阵匹配进所述点云数据中，并获取所述三维像素矩阵中对应所述点云数据中疑似数据的元素作为疑似元素；
判断单元，被配置为根据所述疑似元素的R通道、G通道和B通道数据判断所述疑似元素是否为道路标识，以及对应的道路标识种类。
CN202310724151.0A 2023-06-19 2023-06-19 基于点云数据和图像识别的道路标识识别方法及*** Active CN116503821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310724151.0A CN116503821B (zh) 2023-06-19 2023-06-19 基于点云数据和图像识别的道路标识识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310724151.0A CN116503821B (zh) 2023-06-19 2023-06-19 基于点云数据和图像识别的道路标识识别方法及***

Publications (2)

Publication Number Publication Date
CN116503821A CN116503821A (zh) 2023-07-28
CN116503821B true CN116503821B (zh) 2023-08-25

Family

ID=87323283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310724151.0A Active CN116503821B (zh) 2023-06-19 2023-06-19 基于点云数据和图像识别的道路标识识别方法及***

Country Status (1)

Country Link
CN (1) CN116503821B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456285A (zh) * 2023-12-21 2024-01-26 宁波微科光电股份有限公司 基于tof相机与深度学习模型的地铁屏蔽门异物检测方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105374039A (zh) * 2015-11-16 2016-03-02 辽宁大学 基于轮廓锐度的单目图像深度信息估计方法
CN106560835A (zh) * 2015-09-30 2017-04-12 高德软件有限公司 一种路牌识别方法及装置
CN107463918A (zh) * 2017-08-17 2017-12-12 武汉大学 基于激光点云与影像数据融合的车道线提取方法
JP2018173749A (ja) * 2017-03-31 2018-11-08 株式会社パスコ 道路標示検出装置、道路標示検出方法、プログラム、及び道路面検出装置
CN109959911A (zh) * 2019-03-25 2019-07-02 清华大学 基于激光雷达的多目标自主定位方法及装置
CN110378942A (zh) * 2018-08-23 2019-10-25 北京京东尚科信息技术有限公司 基于双目相机的障碍物标识方法、***、设备和存储介质
CN112967283A (zh) * 2021-04-22 2021-06-15 上海西井信息科技有限公司 基于双目摄像头的目标识别方法、***、设备及存储介质
CN113221648A (zh) * 2021-04-08 2021-08-06 武汉大学 一种基于移动测量***的融合点云序列影像路牌检测方法
CN113484875A (zh) * 2021-07-30 2021-10-08 燕山大学 一种基于混合高斯排序的激光雷达点云目标分级识别方法
CN113674355A (zh) * 2021-07-06 2021-11-19 中国北方车辆研究所 一种基于相机与激光雷达的目标识别与定位方法
CN113935428A (zh) * 2021-10-25 2022-01-14 山东大学 基于图像识别的三维点云聚类识别方法及***
CN115761550A (zh) * 2022-12-20 2023-03-07 江苏优思微智能科技有限公司 一种基于激光雷达点云和相机图像融合的水面目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727272B2 (en) * 2019-06-19 2023-08-15 Nvidia Corporation LIDAR-based detection of traffic signs for navigation of autonomous vehicles

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106560835A (zh) * 2015-09-30 2017-04-12 高德软件有限公司 一种路牌识别方法及装置
CN105374039A (zh) * 2015-11-16 2016-03-02 辽宁大学 基于轮廓锐度的单目图像深度信息估计方法
JP2018173749A (ja) * 2017-03-31 2018-11-08 株式会社パスコ 道路標示検出装置、道路標示検出方法、プログラム、及び道路面検出装置
CN107463918A (zh) * 2017-08-17 2017-12-12 武汉大学 基于激光点云与影像数据融合的车道线提取方法
CN110378942A (zh) * 2018-08-23 2019-10-25 北京京东尚科信息技术有限公司 基于双目相机的障碍物标识方法、***、设备和存储介质
CN109959911A (zh) * 2019-03-25 2019-07-02 清华大学 基于激光雷达的多目标自主定位方法及装置
CN113221648A (zh) * 2021-04-08 2021-08-06 武汉大学 一种基于移动测量***的融合点云序列影像路牌检测方法
CN112967283A (zh) * 2021-04-22 2021-06-15 上海西井信息科技有限公司 基于双目摄像头的目标识别方法、***、设备及存储介质
CN113674355A (zh) * 2021-07-06 2021-11-19 中国北方车辆研究所 一种基于相机与激光雷达的目标识别与定位方法
CN113484875A (zh) * 2021-07-30 2021-10-08 燕山大学 一种基于混合高斯排序的激光雷达点云目标分级识别方法
CN113935428A (zh) * 2021-10-25 2022-01-14 山东大学 基于图像识别的三维点云聚类识别方法及***
CN115761550A (zh) * 2022-12-20 2023-03-07 江苏优思微智能科技有限公司 一种基于激光雷达点云和相机图像融合的水面目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种利用无人机载点云的道路设施提取方法;程铁洪等;《北京测绘》;第34卷(第11期);1649-1652 *

Also Published As

Publication number Publication date
CN116503821A (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN107463918B (zh) 基于激光点云与影像数据融合的车道线提取方法
CN107516077B (zh) 基于激光点云和影像数据融合的交通标牌信息提取方法
CN106296666B (zh) 一种彩色图像去阴影方法和应用
EP2811423B1 (en) Method and apparatus for detecting target
CN111179152B (zh) 一种道路标识识别方法及装置、介质、终端
CN111626277B (zh) 一种基于治超站交调指标分析的车辆跟踪方法及装置
CN107633516A (zh) 一种识别路面变形类病害的方法和装置
CN103020623A (zh) 交通标志检测方法和交通标志检测设备
CN108052904B (zh) 车道线的获取方法及装置
JP6653361B2 (ja) 路面標示画像処理装置、路面標示画像処理方法及び路面標示画像処理プログラム
CN106709412B (zh) 交通标志检测方法和装置
CN116503821B (zh) 基于点云数据和图像识别的道路标识识别方法及***
CN106951898B (zh) 一种车辆候选区域推荐方法及***、电子设备
CN115717894A (zh) 一种基于gps和普通导航地图的车辆高精度定位方法
CN109949593A (zh) 一种基于路口先验知识的交通信号灯识别方法及***
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN109635799B (zh) 一种燃气表字轮数字的识别方法
JP4747122B2 (ja) 特定領域自動抽出システム、特定領域自動抽出方法、および、プログラム
CN109858310A (zh) 车辆和交通标志检测方法
CN113781537A (zh) 一种轨道弹条扣件缺陷识别方法、装置和计算机设备
CN111382658A (zh) 一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法
CN113239733A (zh) 一种多车道车道线检测方法
Thomas et al. Smart car parking system using convolutional neural network
US9953238B2 (en) Image processing method and system for extracting distorted circular image elements
CN112598674B (zh) 用于车辆的图像处理方法、装置及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant