CN115565152A - 融合车载激光点云与全景影像的交通标志牌提取方法 - Google Patents

融合车载激光点云与全景影像的交通标志牌提取方法 Download PDF

Info

Publication number
CN115565152A
CN115565152A CN202211057902.XA CN202211057902A CN115565152A CN 115565152 A CN115565152 A CN 115565152A CN 202211057902 A CN202211057902 A CN 202211057902A CN 115565152 A CN115565152 A CN 115565152A
Authority
CN
China
Prior art keywords
traffic sign
vehicle
traffic
semi
panoramic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211057902.XA
Other languages
English (en)
Other versions
CN115565152B (zh
Inventor
马浩
陈思耘
张攀科
毛明楷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Geo Vision Tech Co ltd
Original Assignee
Beijing Geo Vision Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Geo Vision Tech Co ltd filed Critical Beijing Geo Vision Tech Co ltd
Priority to CN202211057902.XA priority Critical patent/CN115565152B/zh
Publication of CN115565152A publication Critical patent/CN115565152A/zh
Application granted granted Critical
Publication of CN115565152B publication Critical patent/CN115565152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请的实施例提供了融合车载激光点云与全景影像的交通标志牌提取方法、装置、设备和计算机可读存储介质。所述方法包括获取车载全景影像；对所述车载全景影像进行切块，得到多个小图像窗口；基于Transformer的深度学习目标检测框架和半监督学习策略，对多个所述小图像窗口进行处理，得到交通标志牌的具体类别以及对应内容；将所述交通标志牌的具体类别以及对应内容，映射到车载点云中，得到矢量化的交通标志牌。以此方式，实现了对交通标志牌的精准识别。

Description

融合车载激光点云与全景影像的交通标志牌提取方法
技术领域
本申请的实施例涉及数据处理领域，尤其涉及融合车载激光点云与全景影像的交通标志牌提取方法、装置、设备和计算机可读存储介质。
背景技术
随着城市车辆的增加和道路交通***的完善，交通标志的种类也日益丰富。交通标志识别技术的完善将推动自动驾驶和辅助驾驶的成熟。准确的识别交通标志并做出提醒或决策，可减少交通事故，保障交通和安全驾驶。
由于车辆在实际道路上获取的图片容易受到光照强度、天气状况等因素的影响，且交通标志目标往往只占整张图片的极小部分，这使得交通标志识别的识别面临诸多挑战。
因此，如何提升交通标牌的精细识别是目前亟需解决问题。
发明内容
根据本申请的实施例，提供了一种融合车载激光点云与全景影像的交通标志牌提取方案。
在本申请的第一方面，提供了一种融合车载激光点云与全景影像的交通标志牌提取方法。该方法包括：
获取车载全景影像；
对所述车载全景影像进行切块，得到多个小图像窗口；
基于Transformer的深度学习目标检测框架和半监督学习策略，对多个所述小图像窗口进行处理，得到交通标志牌的具体类别以及对应内容；
将所述交通标志牌的具体类别以及对应内容，映射到车载点云中，得到矢量化的交通标志牌。
进一步地，所述半监督学习策略包括：
教师学生模型联合工作的半监督策略；
其中，教师模型和学生模型均采用ResNet卷积神经网络作为骨干网络。
进一步地，所述基于Transformer的深度学习目标检测框架和半监督学习策略，对多个所述小图像窗口进行处理，得到交通标志牌的具体类别以及对应内容包括：
基于Transformer的深度学习目标检测框架和半监督学习策略，训练粗分类模型；
将多个所述小图像窗口，输入至所述粗分类模型，得到交通标志牌的类别及在全景中的位置；
将所述交通标志牌的类别及在全景中的位置，输入至细分类模型中，得到交通标志牌的具体类别以及对应内容。
进一步地，所述将多个所述小图像窗口，输入至所述粗分类模型，得到交通标志牌的类别及在全景中的位置包括：
通过教师学生模型中的ResNet卷积神经网络，提取多个所述小图像窗口中的图像特征；
通过基于Transformer的深度学习目标检测框架，对所述图像特征进行处理，得到基于注意力的特征描述；
基于所Transformer的深度学习目标检测框架头部网络部分的前馈神经网络，对所述特征描述进行处理，输出交通标志牌的类别及在全景中的位置。
进一步地，所述细分类模型通过如下方式进行训练：
生成训练样本集合，其中，训练样本包括带有标注信息的交通标志牌；所述标注信息为交通标志牌的具体类别以及对应内容；
利用所述训练样本集合中的样本对细分类模型进行训练，以带有标注信息的交通标志牌的类别作为输入，以交通标志牌的具体类别以及对应内容作为输出，当输出的交通标志牌的具体类别以及对应内容与标注的交通标志牌的具体类别以及对应内容的统一率满足预设阈值时，完成对细分类模型的训练。
在本申请的第二方面，提供了一种融合车载激光点云与全景影像的交通标志牌提取装置。该装置包括：
获取模块，用于获取车载全景影像；
切分模块，用于对所述车载全景影像进行切块，得到多个小图像窗口；
识别模块，用于基于Transformer的深度学习目标检测框架和半监督学习策略，对多个所述小图像窗口进行处理，得到交通标志牌的具体类别以及对应内容；
提取模块，用于将所述交通标志牌的具体类别以及对应内容，映射到车载点云中，得到矢量化的交通标志牌。
在本申请的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
在本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本申请的第一方面的方法。
本申请实施例提供的融合车载激光点云与全景影像的交通标志牌提取方法，通过获取车载全景影像；对所述车载全景影像进行切块，得到多个小图像窗口；基于Transformer的深度学习目标检测框架和半监督学习策略，对多个所述小图像窗口进行处理，得到交通标志牌的具体类别以及对应内容；将所述交通标志牌的具体类别以及对应内容，映射到车载点云中，得到矢量化的交通标志牌，实现了对交通标志牌的精准识别。
应当理解，发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本申请的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本申请各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了本申请的实施例提供的方法所涉及的***架构图。
图2示出了根据本申请的实施例的融合车载激光点云与全景影像的交通标志牌提取方法的流程图；
图3示出了根据本申请的实施例的基于Transformer结构的半监督学习框架进行交通标志的探测的流程图；
图4示出了根据本申请的实施例的多层次特征聚合模块示意图；
图5示出了根据本申请的实施例的交通标识牌粗略识别示意图；
图6示出了根据本申请的实施例的交通标识牌精细识别示意图；
图7示出了根据本申请的实施例的融合车载激光点云与全景影像的交通标志牌提取装置的方框图；
图8示出了适于用来实现本申请实施例的终端设备或服务器的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在 A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
图1示出了可以应用本申请的融合车载激光点云与全景影像的交通标志牌提取方法或融合车载激光点云与全景影像的交通标志牌提取装置的实施例的示例性***架构100。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如模型训练类应用、视频识别类应用、网页浏览器应用、社交平台软件等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、 103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts GroupAudio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
当终端设备101、102、103为硬件时，其上还可以安装有视频采集设备。视频采集设备可以是各种能实现采集视频功能的设备，如摄像头、传感器等等。用户可以利用终端101、102、103上的视频采集设备来采集视频。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103 上显示的数据处理的后台服务器。后台服务器可以对接收到的数据进行分析等处理，并可以将处理结果(例如训练结果)反馈给终端设备。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。特别地，在目标数据不需要从远程获取的情况下，上述***架构可以不包括网络，而只包括终端设备或服务器。
如图2所示，是本申请实施例融合车载激光点云与全景影像的交通标志牌提取方法的流程图。从图2中可以看出，本实施例的融合车载激光点云与全景影像的交通标志牌提取方法，包括以下步骤：
S210，获取车载全景影像。
在本实施例中，用于融合车载激光点云与全景影像的交通标志牌提取方法的执行主体(例如图1所示的服务器)可以通过有线方式或者无线连接的方式获取车载全景影像。
进一步地，上述执行主体可以获取与之通信连接的电子设备(例如图1 所示的终端设备)发送的车载全景影像，也可以是预先存储于本地的车载全景影像。
在一些实施例中，所述车载全景影像通常是通过车载设备实时进行拍摄的影像，包括各类交通标志牌。
S220，对所述车载全景影像进行切块，得到多个小图像窗口。
在一些实施例中，由于车载全景影像尺寸较大，若不加以处理，直接运用深度学习算法探测交通标志牌，会浪费大量的运算资源。
因此，在本公开中，首先对交通标志牌进行分块处理，即将大幅的全景影像划分为若干的小图像窗口，以便提高运算速度以及后续的识别精准度。
S230，基于Transformer的深度学习目标检测框架和半监督学习策略，对多个所述小图像窗口进行处理，得到交通标志牌的具体类别以及对应内容。
在一些实施例中，参考图3，本公开可采用教师-学生模型联合工作的半监督策略。利用一系列经过人工标记的训练集训练教师模型，令教师模型指导学生模型为未标记数据集生成伪标签，在训练的迭代过程中学生模型不断更新和优化教师模型。
其中，教师模型与学生模型中均采用ResNet卷积神经网络作为骨干网络提取图像特征。
进一步地，基于教师学生模型提取的图像特征，通过Transformer结构得到基于自注意力的特征描述，并输出得分较高的object queries(对象查询)，其中在Transformer的Encoder(编码器)部分设计了可考虑多尺度信息的网络结构，聚合局部特征和全局特征。
进一步地，在Transformer的深度学习目标检测框架的头部网络部分，采用一个前馈神经网络(即一个包含三层的多层感知机模块)用于预测交通标志的类别与位置。
具体地，首先基于Transformer完成对交通标志的粗略探测。基于多层次的采样策略，所述Transformer设计了考虑局部与全局信息的多层次特征聚合模块，如图4所示，在三个尺度下进行特征的自注意力表达。由ResNet网络抽取包含交通标志的图像特征并进行生成多阶段的特征图后，将其按不同尺度的小窗口进行划分，如图4所示，在尺度1中将多阶段的特征图划分为4 ×4个窗口，对于每个像素点对应的query，仅关注其所在的小窗口内的一系列关键keys，进而得到考虑局部信息的自注意力表达的多阶段特征图。
在完成scale1中的自注意力计算后，将考虑局部信息的多阶段特征图划分为2×2个窗口，如图4所示的尺度2所示，自注意力计算方式与在scale1 中相同。在2×2的小窗口内完成自注意力计算后，不再将多阶段的特征图进行小窗口的划分，直接在图像全局(尺度3)寻找采样位置，得到考虑全局的自注意力表达。
需要说明的是，在每个尺度的Transformer Encoder的自注意力计算中，模块都进行了N次编码，如图4中的×N，经过在三个尺度下的Transformer Encoder的自注意力计算后，将CNN抽取的特征图编码得到综合局部与全局信息的多尺度自注意力特征，并输出数量为M的object queries。而后对object queries在Transformer Decoder(解码器)中进行解码，通过前馈神经网络完成交通标志的粗略探测。即，得到交通标志牌的类别及在全景中的位置，参考图5；所述交通标志牌的类别包括交通标志牌的外形特征，例如标志牌的颜色和形状等。
在一些实施例中，半监督学习可同时利用标记数据与非标记数据训练深度学习模型，在训练阶段同时训练老师模型和学生模型。
其中，老师模型向学生模型生成伪标签，指导学生模型取得更好的目标检测性能，而学生模型通过不断向老师模型进行反馈来更新教师模型，达到教师模型和学生模型共同学习，互相促进的效果。
在教师模型和学生模型联合工作的阶段中，训练数据包括标记数据{Ds} 与未标记数据{Du}，总体的计算包含训练{Ds}产生的监督损失与训练{Du}产生的非监督损失。在训练未标记数据时，分别对未标记数据进行随机弱数据增强和强数据增强，首先让教师模型为弱数据增强的未标记数据生成伪标签，然后令学生模型学习强数据增强的未标记数据，使预测结果与伪标签保持一致。
需要说明的是，在模型优化中，只对学生模型的参数进行反向传播，为了让教师模型产生更加稳定和准确的伪标签，可通过EMA(指数平均移动) 不断更新教师模型，选取教师模型作为最终的训练参数。
在一些实施例中，基于粗略探测结果，即粗分类结果，从车载全景影像中抠出对应的交通标志牌；
将抠出的交通标志牌输入至细分类模型中，得到交通标志牌的具体类别以及对应内容。
其中，交通标志牌的具体类别以及对应内容包括：
根据标志牌具体内容将其记录为不同的警示、指示等类别，如减速让行、直行、限速和/或限高等。
进一步地，所述细分类模型通过如下方式进行训练：
生成训练样本集合，其中，训练样本包括带有标注信息的交通标志牌；所述标注信息为交通标志牌的具体类别以及对应内容；
利用所述训练样本集合中的样本对细分类模型进行训练，以带有标注信息的交通标志牌的类别及在全景中的位置作为输入，以交通标志牌的具体类别以及对应内容作为输出，当输出的交通标志牌的具体类别以及对应内容与标注的交通标志牌的具体类别以及对应内容的统一率满足预设阈值时，完成对细分类模型的训练。
S240，将所述交通标志牌的具体类别以及对应内容，映射到车载点云中，得到矢量化的交通标志牌。
参考图6，将所述交通标志牌的具体类别以及对应内容，映射到车载点云中，得到矢量化的交通标志牌，即实现交通标志牌的矢量化。
下面给出根据本公开的融合车载激光点云与全景影像的交通标志牌提取方法，进行交通标志牌提取，得到的具体实验数据：
训练使用的显卡显存为12G，速度384bit，带宽547.7GB/S。测试使用的显卡显存为8G，速度256bit，带宽448GB/s。在表1中分别展示了实验在预测值与真值的交并比(IOU)分别设为0.5，0.75及0.5～0.9的平均精度，表示为AP50，AP75，APall。
三个实验的平均精度及平均召回率
Figure RE-GDA0003965904370000091
表1
另外测试了实验中IOU设为0.5～0.9下不同类别标牌的平均精度及平均召回率，表示为AP，AR，结果如表2所示。
Figure RE-GDA0003965904370000092
Figure RE-GDA0003965904370000101
表2
可见，通过本公开的方法，能够精准识别出交通标识牌的具体类别以及对应内容，参考图6。
根据本公开的实施例，实现了以下技术效果：
能够在真实自然的车载影像中完成交通标志的目标检测任务。通过本公开的基于Transformer的深度学习目标检测框架和半监督学习策略，将全景中携带丰富属性信息的交通标志映射到与其配准的车载点云中，实现了交通标志牌的矢量化。同时大幅度提升了交通标识牌的识别精度。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本申请所述方案进行进一步说明。
图7示出了根据本申请的实施例的融合车载激光点云与全景影像的交通标志牌提取装置700的方框图如图7所示，装置700包括：
获取模块710，用于获取车载全景影像；
切分模块720，用于对所述车载全景影像进行切块，得到多个小图像窗口；
识别模块730，用于基于Transformer的深度学习目标检测框架和半监督学习策略，对多个所述小图像窗口进行处理，得到交通标志牌的具体类别以及对应内容；
提取模块740，用于将所述交通标志牌的具体类别以及对应内容，映射到车载点云中，得到矢量化的交通标志牌。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图8示出了适于用来实现本申请实施例的终端设备或服务器的结构示意图。
如图8所示，终端设备或服务器包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有终端设备或服务器操作所需的各种程序和数据。CPU 801、ROM 802 以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线 804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本申请的实施例，上文方法流程步骤可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的***中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器 (EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序，当上述前述程序被一个或者一个以上的处理器用来执行描述于本申请的方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种融合车载激光点云与全景影像的交通标志牌提取方法，其特征在于，包括：
获取车载全景影像；
对所述车载全景影像进行切块，得到多个小图像窗口；
基于Transformer的深度学习目标检测框架和半监督学习策略，对多个所述小图像窗口进行处理，得到交通标志牌的具体类别以及对应内容；
将所述交通标志牌的具体类别以及对应内容，映射到车载点云中，得到矢量化的交通标志牌。
2.根据权利要求1所述的方法，其特征在于，所述半监督学习策略包括：
教师学生模型联合工作的半监督策略；
其中，教师模型和学生模型均采用ResNet卷积神经网络作为骨干网络。
3.根据权利要求2所述的方法，其特征在于，所述基于Transformer的深度学习目标检测框架和半监督学习策略，对多个所述小图像窗口进行处理，得到交通标志牌的具体类别以及对应内容包括：
基于Transformer的深度学习目标检测框架和半监督学习策略，训练粗分类模型；
将多个所述小图像窗口，输入至所述粗分类模型，得到交通标志牌的类别及在全景中的位置；
基于交通标志牌在全景中的位置，将粗分类模型探测得到的交通标志牌从全景中抠出，并输入至细分类模型中，得到交通标志牌的具体类别以及对应内容。
4.根据权利要求3所述的方法，其特征在于，所述将多个所述小图像窗口，输入至所述粗分类模型，得到交通标志牌的类别及在全景中的位置包括：
通过教师学生模型中的ResNet卷积神经网络，提取多个所述小图像窗口中的图像特征；
通过基于Transformer的深度学习目标检测框架，对所述图像特征进行处理，得到基于注意力的特征描述；
基于所Transformer的深度学习目标检测框架头部网络部分的前馈神经网络，对所述特征描述进行处理，输出交通标志牌的类别及在全景中的位置。
5.根据权利要求4所述的方法，其特征在于，所述细分类模型通过如下方式进行训练：
生成训练样本集合，其中，训练样本包括带有标注信息的交通标志牌；所述标注信息为交通标志牌的具体类别以及对应内容；
利用所述训练样本集合中的样本对细分类模型进行训练，以带有标注信息的交通标志牌的类别作为输入，以交通标志牌的具体类别以及对应内容作为输出，当输出的交通标志牌的具体类别以及对应内容与标注的交通标志牌的具体类别以及对应内容的统一率满足预设阈值时，完成对细分类模型的训练。
6.一种融合车载激光点云与全景影像的交通标志牌提取装置，其特征在于，包括：
获取模块，用于获取车载全景影像；
切分模块，用于对所述车载全景影像进行切块，得到多个小图像窗口；
识别模块，用于基于Transformer的深度学习目标检测框架和半监督学习策略，对多个所述小图像窗口进行处理，得到交通标志牌的具体类别以及对应内容；
提取模块，用于将所述交通标志牌的具体类别以及对应内容，映射到车载点云中，得到矢量化的交通标志牌。
7.根据权利要求6所述的装置，其特征在于，所述半监督学习策略包括：
教师学生模型联合工作的半监督策略；
其中，教师模型和学生模型均采用ResNet卷积神经网络作为骨干网络。
8.根据权利要求7所述的装置，其特征在于，所述基于Transformer的深度学习目标检测框架和半监督学习策略，对多个所述小图像窗口进行处理，得到交通标志牌的具体类别以及对应内容包括：
基于Transformer的深度学习目标检测框架和半监督学习策略，训练粗分类模型；
将多个所述小图像窗口，输入至所述粗分类模型，得到交通标志牌的类别及在全景中的位置；
将所述交通标志牌的类别及在全景中的位置，输入至细分类模型中，得到交通标志牌的具体类别以及对应内容。
9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～5中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～5中任一项所述的方法。
CN202211057902.XA 2022-08-31 2022-08-31 融合车载激光点云与全景影像的交通标志牌提取方法 Active CN115565152B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211057902.XA CN115565152B (zh) 2022-08-31 2022-08-31 融合车载激光点云与全景影像的交通标志牌提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211057902.XA CN115565152B (zh) 2022-08-31 2022-08-31 融合车载激光点云与全景影像的交通标志牌提取方法

Publications (2)

Publication Number Publication Date
CN115565152A true CN115565152A (zh) 2023-01-03
CN115565152B CN115565152B (zh) 2023-05-30

Family

ID=84738730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211057902.XA Active CN115565152B (zh) 2022-08-31 2022-08-31 融合车载激光点云与全景影像的交通标志牌提取方法

Country Status (1)

Country Link
CN (1) CN115565152B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107516077A (zh) * 2017-08-17 2017-12-26 武汉大学 基于激光点云和影像数据融合的交通标牌信息提取方法
CN111695486A (zh) * 2020-06-08 2020-09-22 武汉中海庭数据技术有限公司 一种基于点云的高精度方向标志牌目标提取方法
CN112487884A (zh) * 2020-11-16 2021-03-12 香港中文大学（深圳） 一种交通违法行为检测方法、装置及计算机可读存储介质
CN113361428A (zh) * 2021-06-11 2021-09-07 浙江澄视科技有限公司 一种基于图像的交通标志检测方法
CN113449555A (zh) * 2020-03-26 2021-09-28 深圳市丰驰顺行信息技术有限公司 交通标志识别方法、装置、计算机设备及存储介质
CN114067288A (zh) * 2021-11-16 2022-02-18 武汉中海庭数据技术有限公司 一种交通标志牌提取方法、***、电子设备及存储介质
CN114495044A (zh) * 2020-10-26 2022-05-13 顺丰科技有限公司 标牌识别方法、装置、计算机设备以及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107516077A (zh) * 2017-08-17 2017-12-26 武汉大学 基于激光点云和影像数据融合的交通标牌信息提取方法
CN113449555A (zh) * 2020-03-26 2021-09-28 深圳市丰驰顺行信息技术有限公司 交通标志识别方法、装置、计算机设备及存储介质
CN111695486A (zh) * 2020-06-08 2020-09-22 武汉中海庭数据技术有限公司 一种基于点云的高精度方向标志牌目标提取方法
CN114495044A (zh) * 2020-10-26 2022-05-13 顺丰科技有限公司 标牌识别方法、装置、计算机设备以及存储介质
CN112487884A (zh) * 2020-11-16 2021-03-12 香港中文大学（深圳） 一种交通违法行为检测方法、装置及计算机可读存储介质
CN113361428A (zh) * 2021-06-11 2021-09-07 浙江澄视科技有限公司 一种基于图像的交通标志检测方法
CN114067288A (zh) * 2021-11-16 2022-02-18 武汉中海庭数据技术有限公司 一种交通标志牌提取方法、***、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
虞敏: "融合全景影像和车载LiDAR点云的交通标志提取" *

Also Published As

Publication number Publication date
CN115565152B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN113326764B (zh) 训练图像识别模型和图像识别的方法和装置
CN111709240A (zh) 实体关系抽取方法、装置、设备及其存储介质
EP3740935B1 (en) Visual tracking by colorization
CN113191256A (zh) 车道线检测模型的训练方法、装置、电子设备及存储介质
CN115880536B (zh) 数据处理方法、训练方法、目标对象检测方法及装置
CN114648676B (zh) 点云处理模型的训练和点云实例分割方法及装置
CN112749695A (zh) 文本识别的方法和装置
CN114037985A (zh) 信息提取方法、装置、设备、介质及产品
CN116932919B (zh) 信息推送方法、装置、电子设备和计算机可读介质
CN112686243A (zh) 智能识别图片文字的方法、装置、计算机设备及存储介质
CN113705716A (zh) 图像识别模型训练方法、设备、云控平台及自动驾驶车辆
CN112712036A (zh) 交通标志识别方法、装置、电子设备及计算机存储介质
CN114495128A (zh) 字幕信息检测方法、装置、设备以及存储介质
CN111680491A (zh) 文档信息的抽取方法、装置和电子设备
CN110633716A (zh) 一种目标对象的检测方法和装置
CN116994021A (zh) 图像检测方法、装置、计算机可读介质及电子设备
CN114821247A (zh) 一种模型的训练方法、装置、存储介质及电子装置
CN114417878A (zh) 语义识别方法、装置、电子设备及存储介质
CN110909506A (zh) 平面设计物料生成的方法和装置
CN113344121B (zh) 训练招牌分类模型和招牌分类的方法
CN116958512A (zh) 目标检测方法、装置、计算机可读介质及电子设备
US20220390249A1 (en) Method and apparatus for generating direction identifying model, device, medium, and program product
CN113111167A (zh) 基于深度学习模型的接处警文本车辆型号提取方法和装置
CN115565152B (zh) 融合车载激光点云与全景影像的交通标志牌提取方法
CN115761698A (zh) 一种目标检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant