CN112733741A - 交通标识牌识别方法、装置和电子设备 - Google Patents

交通标识牌识别方法、装置和电子设备 Download PDF

Info

Publication number
CN112733741A
CN112733741A CN202110047590.3A CN202110047590A CN112733741A CN 112733741 A CN112733741 A CN 112733741A CN 202110047590 A CN202110047590 A CN 202110047590A CN 112733741 A CN112733741 A CN 112733741A
Authority
CN
China
Prior art keywords
traffic signboard
traffic
detection
signboard
target picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110047590.3A
Other languages
English (en)
Inventor
袁志宏
张炳刚
韦松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhitu Technology Co Ltd
Original Assignee
Suzhou Zhitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhitu Technology Co Ltd filed Critical Suzhou Zhitu Technology Co Ltd
Priority to CN202110047590.3A priority Critical patent/CN112733741A/zh
Publication of CN112733741A publication Critical patent/CN112733741A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种交通标识牌识别方法、装置和电子设备。其中，该方法包括：获取目标视频，从目标视频中提取多个目标图片；将多个目标图片输入预先训练完成的交通标识牌检测模型中，输出多个目标图片包含的交通标识牌的检测结果；其中，检测结果表征交通标识牌的检测框的位置；通过交叉二次判别分析的方式识别多个检测框内的交通标识牌的类型。该方式中通过交叉二次判别分析的方式识别交通标识牌的类型，可以提高分类速度和分类准确率；当分类类别种类发生变化时，不需要重新训练交通标识牌检测模型，从而降低交通标识牌检测模型的训练成本。

Description

交通标识牌识别方法、装置和电子设备
技术领域
本发明涉及神经网络技术领域，尤其是涉及一种交通标识牌识别方法、装置和电子设备。
背景技术
相关技术中，交通标识牌目标检测与识别的方法包含基于统计的分类方法、基于句法的分类方法和基于神经网络的分类方法。其中，当前针对交通标识牌分类的方法中，主要存在以下几个方面的问题：
分类过程中实时性与准确性难以平衡，当准确率较高时，往往推理时间下降。基于卷积神经网络的分类方法中，当分类类别发生变化时，模型需要重新训练，增加训练成本。基于机器学习的分类方法中，需要反复调参，而且分类时间较慢。基于度量学习的相似度计算分类方法中，数据降维的同时，信息损失，造成分类精度的降低。
综上，上述交通标识牌目标检测与识别的方法存在实时性与准确性难以平衡，重新训练模型导致训练成本较高，分类时间较慢，分类精度较低等问题。
发明内容
有鉴于此，本发明的目的在于提供一种交通标识牌识别方法、装置和电子设备，以提高分类速度和分类准确率，降低模型的训练成本。
第一方面，本发明实施例提供了一种交通标识牌识别方法，方法包括：获取目标视频，从目标视频中提取多个目标图片；将多个目标图片输入预先训练完成的交通标识牌检测模型中，输出多个目标图片包含的交通标识牌的检测结果；其中，检测结果表征交通标识牌的检测框的位置；通过交叉二次判别分析的方式识别多个检测框内的交通标识牌的类型。
在本发明较佳的实施例中，上述方法还包括：获取交通标识牌的数据集；其中，数据集包括：样本图片和样本图片包含的交通标识牌的类型；将数据集划分为训练集、验证集和测试集；基于训练集训练至少一个交通标识牌检测模型；基于验证集调整至少一个训练中的交通标识牌检测模型的参数；通过测试集验证至少一个调整参数后的交通标识牌检测模型的识别准确度，将识别准确度最高的交通标识牌检测模型作为训练完成的交通标识牌检测模型。
在本发明较佳的实施例中，上述通过交叉二次判别分析的方式识别多个检测框内的交通标识牌的类型的步骤，包括：对当前目标图片和上一目标图片进行图片跟踪，得到跟踪结果；其中，当前目标图片和上一目标图片为目标视频的相邻帧，并且当前目标图片为上一目标图片的下一帧；如果跟踪结果表征当前目标图片和上一目标图片不一致，通过交叉二次判别分析的方式识别当前目标图片的检测框内的交通标识牌的类型；如果跟踪结果表征当前目标图片和上一目标图片一致，将上一目标图片的检测框内的交通标识牌的类型作为当前目标图片的检测框内的交通标识牌的类型。
在本发明较佳的实施例中，上述对当前目标图片和上一目标图片进行图片跟踪，得到跟踪结果的步骤，包括：基于当前目标图片的第一检测框的位置与上一目标图片的第二检测框的位置，确定第一检测框和第二检测框的交并比；如果交并比大于或等于预设的交并比阈值，检测结果表征当前目标图片和上一目标图片一致；如果交并比小于交并比阈值，检测结果表征当前目标图片和上一目标图片不一致。
在本发明较佳的实施例中，上述通过交叉二次判别分析的方式识别多个检测框内的交通标识牌的类型的步骤，包括：对多个检测框放大至预设尺寸；从放大后的检测框中提取放大后的交通标识牌；通过交叉二次判别分析的方式识别放大后的交通标识牌的类型。
在本发明较佳的实施例中，上述通过交叉二次判别分析的方式识别放大后的交通标识牌的类型的步骤，包括：将放大后的交通标识牌输入交通标识牌检测模型的主干网络中，输出交通标识牌的高维特征向量；对高维特征向量进行全局平均池化处理和归一化处理，得到交通标识牌的特征向量；通过交叉二次判别分析的方式，基于交通标识牌的特征向量和预先获得的样本库中包含的多个交通标识牌样本的特征向量，确定交通标识牌的类型；其中，样本库包含交通标识牌样本的特征向量和交通标识牌样本的类型。
在本发明较佳的实施例中，上述通过交叉二次判别分析的方式，基于交通标识牌的特征向量和预先获得的样本库中包含的多个交通标识牌样本的特征向量，确定交通标识牌的类型的步骤，包括：通过交叉二次判别分析的方式计算交通标识牌的特征向量和预先获得的样本库中包含的多个交通标识牌样本的特征向量的相似度；按照相似度由高到低的顺序，依次确定预设数量的交通标识牌对应的类型；确定预设数量的交通标识牌对应的类型中数量最多的类型；将数量最多的类型作为交通标识牌的类型。
第二方面，本发明实施例还提供一种交通标识牌识别装置，装置包括：目标图片提取模块，用于获取目标视频，从目标视频中提取多个目标图片；检测结果输出模块，用于将多个目标图片输入预先训练完成的交通标识牌检测模型中，输出多个目标图片包含的交通标识牌的检测结果；其中，检测结果表征交通标识牌的检测框的位置；交通标识牌类型识别模块，用于通过交叉二次判别分析的方式识别多个检测框内的交通标识牌的类型。
第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述的交通标识牌识别方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述的交通标识牌识别方法的步骤。
本发明实施例带来了以下有益效果：
本发明实施例提供的一种交通标识牌识别方法、装置和电子设备，从目标视频中提取多个目标图片，通过交通标识牌检测模型输出目标图片包含的交通标识牌的检测结果，通过交叉二次判别分析的方式识别检测结果包含的检测框内的交通标识牌的类型。该方式中通过交叉二次判别分析的方式识别交通标识牌的类型，可以提高分类速度和分类准确率；当分类类别种类发生变化时，不需要重新训练交通标识牌检测模型，从而降低交通标识牌检测模型的训练成本。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种交通标识牌识别方法的流程图；
图2为本发明实施例提供的另一种交通标识牌识别方法的流程图；
图3为本发明实施例提供的一种交通标识牌检测模型的训练过程的示意图；
图4为本发明实施例提供的一种交通标识牌识别方法的流程示意图；
图5为本发明实施例提供的一种交通标识牌识别的训练过程示意图；
图6为本发明实施例提供的一种交通标识牌识别的测试过程示意图；
图7为本发明实施例提供的一种交叉二次判别分析过程的示意图；
图8为本发明实施例提供的一种相似度的计算过程示意图；
图9为本发明实施例提供的一种交通标识牌识别装置的结构示意图；
图10为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，交通标识牌目标检测与识别的方法可概括为以下几种类别：
(1)基于统计的分类方法
基于统计的识别技术理论上较完善方法也很多，通常也较为有效。如今形成了一个完整的体系。其基本思想是利用各类概率的分布特征，即直接利用各类概率密度函数、后验概率等，或隐含的利用上述概念进行分类识别。其中应用比较多的技术有聚类分析法、统计决策法、最近邻法、支持向量机方法等。基于聚类分析的分类方法，思想直观、方法简单，能适用在类域分布复杂的情况，但由于交通标志的维数较高，计算量较大，限制了它在实际交通标志识别中的应用。为了简化分类器设计，提高分类精度，也有采用多层决策树的分类方法，如根据颜色、形状以及标志的内容设计三层决策树的分类方法，每个树的节点都是一个统计分类器。多层决策树分类方法具有并行结构，可以采用并行算法实现，以提高处理速度，但优化的决策树设计是难点，目前，大都依靠经验知识，且分类器的参数选择较为复杂。基于支持向量机的分类器是一种基于结构风险最小化原则的分类算法，具有结构简单，泛化能力强的优点。该算法不足之处是以标志的全部像素为特征，特征空间较大，网络复杂，分类时需要高维映射，计算量较大。
(2)基于句法的分类方法
利用目标的结构特征对目标进行描述和识别的句法模式识别方法，在交通标志识别中也是人们的关注点之一。如根据颜色、形状、基本图元以及相互的位置，建立语义网对交通标志进行描述，采用LISP语言在符号化的工作站上编程实现，对于不确定性知识，采用证据理论融合的方法，对交通标志进行分类。目前，对交通标志先验知识的计算机标识、语义网的构成以及结构的分析、算法的实时性等方面还需要进一步改进。
(3)基于神经网络的分类方法
神经网络分类方法是目前交通标识牌识别中研究和应用最多的一类算法，取得了较多的成果。卷积神经网络具有对二维图像位置平移、比例缩放、倾斜或者其他形式变形的高度不变性的优点，在交通标识识别方面具有很大的优势。
然而，上述交通标识牌目标检测与识别的方法存在以下几个方面的问题：分类过程中实时性与准确性难以平衡。当准确率较高时，往往推理时间下降。基于卷积神经网络的分类方法中，当分类类别发生变化时，模型需要重新训练，增加训练成本。基于机器学习的分类方法中，需要反复调参，而且分类时间较慢。基于度量学习的相似度计算分类方法中，数据降维的同时，信息损失，造成分类精度的降低。
基于此，本发明实施例提供的一种交通标识牌识别方法、装置和电子设备，够快速准确的实现交通标识牌分类，提高自动驾驶环境感知能力；在交通标识牌分类类别发生变化时，不需要重新训练模型。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种交通标识牌识别方法进行详细介绍。
实施例一：
本发明实施例提供一种交通标识牌识别方法，参见图1所示的一种交通标识牌识别方法的流程图，该交通标识牌识别方法包括如下步骤：
步骤S102，获取目标视频，从目标视频中提取多个目标图片。
目标视频为想要进行交通标识牌识别的视频，本实施例中的交通标识牌可以为显示交通法规及道路信息的图形符号，例如：警告标识牌、禁令标识牌、指示标识牌、指路标识牌、旅游区标识牌、道路施工安全标识牌、限速标识牌等。
从目标视频中可以按帧提取目标图片，目标图片中可能包含交通标识牌，也可能不包含交通标识牌。
步骤S104，将多个目标图片输入预先训练完成的交通标识牌检测模型中，输出多个目标图片包含的交通标识牌的检测结果；其中，检测结果表征交通标识牌的检测框的位置。
本实施例中可以预先训练交通标识牌检测模型，将多个目标图片输入交通标识牌检测模型中，输出的检测结果可以表征交通标识牌的检测框的位置。其中，检测框可以包含交通标识牌，检测结果可以为traffic sign(交通标识)标签(有traffic sign标签这说明有交通标识牌)，以及四个坐标(检测框中心坐标(x，y)、检测框宽w、高h),单位为像素。
在交通标识牌检测模型中可以对目标图片进行像素跟踪，对交通视频的上下帧可以利用卡尔曼跟踪算法进行跟踪，判断上下帧是否一致。如果一致，则可以不对下一帧的进行检测，直接将上一帧的检测结果作为下一帧的检测结果；如果不一致，则需要对下一帧进行检测。
步骤S106，通过交叉二次判别分析的方式识别多个检测框内的交通标识牌的类型。
交叉二次判别分析法(Cross-view Quadratic Discriminant Analysis，XQDA)可以实现测试样本的快速准确分类，同时在更改分类类别时，交通标识牌检测模型不需要重新训练，减少模型重训练的成本。
本实施例中的交叉二次判别法，可以将将训练集和验证集变为归一化后的高维特征向量，分别计算训练集和验证集的协方差矩阵∑T，∑V，然后求计算(∑T^(-1)*∑V)的特征值和特征向量，最后求实对称矩阵M。可以看作根据训练集和验证集，学习出一个降维矩阵w，对高维特征向量实现降维。从而实现快速比较的过程。
本发明实施例提供的一种交通标识牌识别方法，从目标视频中提取多个目标图片，通过交通标识牌检测模型输出目标图片包含的交通标识牌的检测结果，通过交叉二次判别分析的方式识别检测结果包含的检测框内的交通标识牌的类型。该方式中通过交叉二次判别分析的方式识别交通标识牌的类型，可以提高分类速度和分类准确率；当分类类别种类发生变化时，不需要重新训练交通标识牌检测模型，从而降低交通标识牌检测模型的训练成本。
实施例二：
本发明实施例还提供另一种交通标识牌识别方法；该方法在上述实施例方法的基础上实现；该方法重点描述训练交通标识牌检测模型的具体实现方式。如图2所示的另一种交通标识牌识别方法的流程图，该交通标识牌识别方法包括如下步骤：
步骤S202，训练交通标识牌检测模型。
训练交通标识牌检测模型时，可以准备交通场景下的交通标识牌数据集，将数据集分为训练集和验证集，测试集。利用神经网络开始训练，训练结束挑选最优交通标识牌检测模型，可以通过下述步骤执行：
获取交通标识牌的数据集；其中，数据集包括：样本图片和样本图片包含的交通标识牌的类型；将数据集划分为训练集、验证集和测试集；基于训练集训练至少一个交通标识牌检测模型；基于验证集调整至少一个训练中的交通标识牌检测模型的参数；通过测试集验证至少一个调整参数后的交通标识牌检测模型的识别准确度，将识别准确度最高的交通标识牌检测模型作为训练完成的交通标识牌检测模型。
参见图3所示的一种交通标识牌检测模型的训练过程的示意图，准备数据集之后，对数据进行预处理并建立模型，对模型进行调整，最后选择最优的模型作为训练好的模型。
准确交通图片(即本实施例中的样本图片)中带有交通标识牌的数据集70000张，然后将数据集分为训练集，验证集，测试集。其中测试集用于训练，验证集用于辅助模型(即本实施例中的交通标识牌检测模型)训练调参，测试集用于最终验证模型性能好坏。训练过程中，设置图片归一化大小，学习率等训练参数。训练过程中，观测训练过程中的损失曲线，当训练集的loss(损失值)降低到一定程度，验证集上的准确率不再上升时，停止训练。并根据测试集，选择最优模型。
步骤S204，获取目标视频，从目标视频中提取多个目标图片。
参见图4所示的一种交通标识牌识别方法的流程示意图，可以先获取多个待检测图片(待检测图片即为本实施例中的目标图片)。
步骤S206，将多个目标图片输入预先训练完成的交通标识牌检测模型中，输出多个目标图片包含的交通标识牌的检测结果；其中，检测结果表征交通标识牌的检测框的位置。
如图4所示，将任意一张带有交通标识牌的图片送入模型，模型即完成交通标识牌的检测过程，并输出交通标识牌的检测结果。其检测结果，包括traffic sign标签，以及四个坐标(检测框中心坐标(x，y)、检测框宽w、高h),单位为像素。
步骤S208，通过交叉二次判别分析的方式识别多个检测框内的交通标识牌的类型。
如图4所示，对交通视频的上一帧进行像素跟踪，上下帧之间的检测框利用卡尔曼跟踪算法进行跟踪，判断当前目标图片和上一目标图片的检测结果是否一致。如一致，则说明跟踪成功，则当前目标图片和上一目标图片的分类的结果一致，无需再一次进行识别；若不一致，则可能说明跟踪过程变现为新目标出现，则需要对当前目标图片的交通标识牌重新进行识别；可以通过下述步骤执行：
如图4所示，对当前目标图片和上一目标图片进行图片跟踪，得到跟踪结果；其中，当前目标图片和上一目标图片为目标视频的相邻帧，并且当前目标图片为上一目标图片的下一帧；如果跟踪结果表征当前目标图片和上一目标图片不一致，通过交叉二次判别分析的方式识别当前目标图片的检测框内的交通标识牌的类型；如果跟踪结果表征当前目标图片和上一目标图片一致，将上一目标图片的检测框内的交通标识牌的类型作为当前目标图片的检测框内的交通标识牌的类型。
根据视频上下帧的检测结果，对上下帧图片检测出的交通标志牌进行跟踪。跟踪过程主要依赖交通标识牌检测模型中输出的检测坐标。根据上下帧中检测框，求两个检测检测框的交并比，即根据检测框的像素坐标，分别求两个检测框的交集以及并集，例如：
基于当前目标图片的第一检测框的位置与上一目标图片的第二检测框的位置，确定第一检测框和第二检测框的交并比；如果交并比大于或等于预设的交并比阈值，检测结果表征当前目标图片和上一目标图片一致；如果交并比小于交并比阈值，检测结果表征当前目标图片和上一目标图片不一致。
若交集与并集的比值大于或等于预设的交并比阈值，即为跟踪成功，跟踪成功即代表上下帧之间的目标是同类目标，无需重复进行识别。若交集与并集的比值小于交并比阈值，即为跟踪失败，跟踪失败过程可能为目标消失，目标消失则无需识别，若跟踪过程为新目标出现，则需要进行进一步识别。
如图4所示，根据交通标识牌检测输出结果，对交通标识牌的检测框放大，若上述步骤跟踪失败，同样需要对交通标识牌的检测框放大。因此可输出放大后的交通标识牌图片，例如：对多个检测框放大至预设尺寸；从放大后的检测框中提取放大后的交通标识牌；通过交叉二次判别分析的方式识别放大后的交通标识牌的类型。
根据上述步骤中的检测结果，以及输出的四个坐标，对图片的检测框作放大。其中保持中心坐标不变。宽和高扩大在原来的基础上进行放大。根据四个坐标可以求出检测框的四个角点坐标，再根据中心坐标以及放大倍数可以求出放大后的四个角点坐标。然后利用放大后的四个角点坐标对原图进行裁剪，即可输出放大后的交通标识牌图片。若跟踪失败，同样需要进行对图片的检测框作放大的操作。
对于放大后的交通标识牌图片利用卷积神经网络backbone(主干网络)部分，输出交通标识牌的高维特征向量，对高维特征向量进行全局平均池化处理以及归一化处理，可输出每张图的特征向量。例如：
将放大后的交通标识牌输入交通标识牌检测模型的主干网络中，输出交通标识牌的高维特征向量；对高维特征向量进行全局平均池化处理和归一化处理，得到交通标识牌的特征向量；通过交叉二次判别分析的方式，基于交通标识牌的特征向量和预先获得的样本库中包含的多个交通标识牌样本的特征向量，确定交通标识牌的类型；其中，样本库包含交通标识牌样本的特征向量和交通标识牌样本的类型。
标识牌检测模型的backbone部分只有卷积层，池化层，没有全连接层。对放大后的交通标识牌图片，首先统一调整为固定大小。本实施例实现过程可以调整为32x32x3的大小，经过神经网络backbone部分后(可以使用ResNet18的主网络)，图片变为4x4x512的高维向量，将该向量进行全局平均池化后变为1x1x512维的向量，此外，对512维度进行归一化处理，使数据分布在0到1之间。
之后，建立预先建立的交通标识牌样本库，将上述步骤输出的特征向量与样本库进行比较。利用交叉二次判别分析的方法，可快速得出测试图片与样本库每张图片的相似度。例如：
通过交叉二次判别分析的方式计算交通标识牌的特征向量和预先获得的样本库中包含的多个交通标识牌样本的特征向量的相似度；按照相似度由高到低的顺序，依次确定预设数量的交通标识牌对应的类型；确定预设数量的交通标识牌对应的类型中数量最多的类型；将数量最多的类型作为交通标识牌的类型。
参见图5所示的一种交通标识牌识别的训练过程示意图、图6所示的一种交通标识牌识别的测试过程示意图，构建含有交通标识牌的丰富样本库，将测试的交通标识牌经过上述操作后，与样本库中的图片进行比较。比较过程采用交叉二次判别分析的方法。即将样本库分为训练集和验证集。
参见图7所示的一种交叉二次判别分析过程的示意图，首先将训练集和验证集经过上述操作变为归一化后的高维(512)特征向量。分别求训练集和验证集的协方差矩阵∑T，∑V，然后求计算(∑T^(-1)*∑V)的特征值，特征向量。可得特征值(γ1，γ2，γ3…γr…γn)，特征向量(W1，W2，W3…Wr…Wn)。在(γ1，γ2，γ3…γr)大于1的情况下，计算(W1，W2，W3…Wr)。最后求实对称矩阵M。
其中，M＝∑T^(′-1)-∑V^(′-1)。因此可看作根据训练集和验证集，可学习出一个降维矩阵w。而且在实验过程得出在512维的特征库中可得49维的W子空间矩阵。因此512高维特征向量实现降维。从而实现快速比较的过程。其中W为512x49维的降维矩阵，M为49x49的对称矩阵。
参见图8所示的一种相似度的计算过程示意图，可以根据马氏距离公式，D((x,y))＝(x-y)^TWMW^T(x-y)，可求出测试样本与特征库中每一张图片的相似度。
这里的相似度可以用距离表示，其中距离越小，表示相似度越高，反之相似度越低。此外，当分类类别增加时，根据学习后的W矩阵，能够自动将类别之间进行区分，从而完成分类，而不需要重新训练模型。但是，当分类类别大幅增多时，分类模型可能需要重新学习，重新训练。
根据上述步骤中得出的相似度，取距离最小的前K个(K可以为预设数量)距离，并得到这K个样本所对应的标签。然后选取其中标签类别最多的为输出分类结果。如表1所示，本实施例中的在实验中选取K＝26时，所对应准确率最高。
表1交通标志牌不同K值对结果的影响表
Figure BDA0002897931020000131
对于本发明实施例提供的方法的准确率和速度测试，如表2所示，本实施例中CNN与XQDA的分类方法，分类速率是普通卷积网络的10倍。其中，本实施例的单帧分类时间为0.8ms,而resnet18神经网络的分类时间为8ms。本实施例中CNN与XQDA的分类方法，在结合最近邻分类方法时，在当前样本库中，分类准确率为99.49％，与当前主流的神经网络分类方法的准确率不相上下。如resnet18网络在本样本库上的分类准确率为99.49％，ghostnet网络在本样本库上的分类准确率为97.25％。
表2本实施例交通标志牌与其他方法的比较结果表
Figure BDA0002897931020000141
本发明实施例提供的上述方法，可以利用卷积神经网络(CNN)的backbone部分，对数据样本库提取特征，从而实现了快速准确的提取样本库中的样本特征；还可以利用交叉二次判别分析(XQDA)的方法，实现测试样本的快速准确分类，同时在更改分类类别时，CNN模型不需要重新训练，减少模型重训练的成本；基于CNN与XQDA的分类方法，不仅能够快速提高分类速度，同时保持分类准确率。
本实施例中提出的分类发明不仅分类准确率高，而且分类速度远高于其他分类方法。本实施例中提出的分类方法，当分类类别种类发生变化时，不需要重新训练模型，减少了模型的训练成本。
实施例三：
对应于上述方法实施例，本发明实施例提供了一种交通标识牌识别装置，如图9所示的一种交通标识牌识别装置的结构示意图，该交通标识牌识别装置包括：
目标图片提取模块91，用于获取目标视频，从目标视频中提取多个目标图片；
检测结果输出模块92，用于将多个目标图片输入预先训练完成的交通标识牌检测模型中，输出多个目标图片包含的交通标识牌的检测结果；其中，检测结果表征交通标识牌的检测框的位置；
交通标识牌类型识别模块93，用于通过交叉二次判别分析的方式识别多个检测框内的交通标识牌的类型。
本发明实施例提供的一种交通标识牌识别装置，从目标视频中提取多个目标图片，通过交通标识牌检测模型输出目标图片包含的交通标识牌的检测结果，通过交叉二次判别分析的方式识别检测结果包含的检测框内的交通标识牌的类型。该方式中通过交叉二次判别分析的方式识别交通标识牌的类型，可以提高分类速度和分类准确率；当分类类别种类发生变化时，不需要重新训练交通标识牌检测模型，从而降低交通标识牌检测模型的训练成本。
上述装置还包括：交通标识牌检测模型训练模块，用于获取交通标识牌的数据集；其中，数据集包括：样本图片和样本图片包含的交通标识牌的类型；将数据集划分为训练集、验证集和测试集；基于训练集训练至少一个交通标识牌检测模型；基于验证集调整至少一个训练中的交通标识牌检测模型的参数；通过测试集验证至少一个调整参数后的交通标识牌检测模型的识别准确度，将识别准确度最高的交通标识牌检测模型作为训练完成的交通标识牌检测模型。
上述交通标识牌类型识别模块，用于对当前目标图片和上一目标图片进行图片跟踪，得到跟踪结果；其中，当前目标图片和上一目标图片为目标视频的相邻帧，并且当前目标图片为上一目标图片的下一帧；如果跟踪结果表征当前目标图片和上一目标图片不一致，通过交叉二次判别分析的方式识别当前目标图片的检测框内的交通标识牌的类型；如果跟踪结果表征当前目标图片和上一目标图片一致，将上一目标图片的检测框内的交通标识牌的类型作为当前目标图片的检测框内的交通标识牌的类型。
上述交通标识牌类型识别模块，用于基于当前目标图片的第一检测框的位置与上一目标图片的第二检测框的位置，确定第一检测框和第二检测框的交并比；如果交并比大于或等于预设的交并比阈值，检测结果表征当前目标图片和上一目标图片一致；如果交并比小于交并比阈值，检测结果表征当前目标图片和上一目标图片不一致。
上述交通标识牌类型识别模块，用于对多个检测框放大至预设尺寸；从放大后的检测框中提取放大后的交通标识牌；通过交叉二次判别分析的方式识别放大后的交通标识牌的类型。
上述交通标识牌类型识别模块，用于将放大后的交通标识牌输入交通标识牌检测模型的主干网络中，输出交通标识牌的高维特征向量；对高维特征向量进行全局平均池化处理和归一化处理，得到交通标识牌的特征向量；通过交叉二次判别分析的方式，基于交通标识牌的特征向量和预先获得的样本库中包含的多个交通标识牌样本的特征向量，确定交通标识牌的类型；其中，样本库包含交通标识牌样本的特征向量和交通标识牌样本的类型。
上述交通标识牌类型识别模块，用于通过交叉二次判别分析的方式计算交通标识牌的特征向量和预先获得的样本库中包含的多个交通标识牌样本的特征向量的相似度；按照相似度由高到低的顺序，依次确定预设数量的交通标识牌对应的类型；确定预设数量的交通标识牌对应的类型中数量最多的类型；将数量最多的类型作为交通标识牌的类型。
本发明实施例提供的交通标识牌识别装置，与上述实施例提供的交通标识牌识别方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
实施例四：
本发明实施例还提供了一种电子设备，用于运行上述交通标识牌识别方法；参见图10所示的一种电子设备的结构示意图，该电子设备包括存储器100和处理器101，其中，存储器100用于存储一条或多条计算机指令，一条或多条计算机指令被处理器101执行，以实现上述交通标识牌识别方法。
进一步地，图10所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。
其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述交通标识牌识别方法，具体实现可参见方法实施例，在此不再赘述。
本发明实施例所提供的交通标识牌识别方法和装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和/或电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种交通标识牌识别方法，其特征在于，所述方法包括：
获取目标视频，从所述目标视频中提取多个目标图片；
将多个所述目标图片输入预先训练完成的交通标识牌检测模型中，输出多个所述目标图片包含的交通标识牌的检测结果；其中，所述检测结果表征所述交通标识牌的检测框的位置；
通过交叉二次判别分析的方式识别多个所述检测框内的所述交通标识牌的类型。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取交通标识牌的数据集；其中，所述数据集包括：样本图片和所述样本图片包含的交通标识牌的类型；
将所述数据集划分为训练集、验证集和测试集；
基于所述训练集训练至少一个所述交通标识牌检测模型；
基于所述验证集调整至少一个训练中的所述交通标识牌检测模型的参数；
通过所述测试集验证至少一个调整参数后的所述交通标识牌检测模型的识别准确度，将所述识别准确度最高的所述交通标识牌检测模型作为训练完成的交通标识牌检测模型。
3.根据权利要求1所述的方法，其特征在于，通过交叉二次判别分析的方式识别多个所述检测框内的所述交通标识牌的类型的步骤，包括：
对当前目标图片和上一目标图片进行图片跟踪，得到跟踪结果；其中，所述当前目标图片和所述上一目标图片为所述目标视频的相邻帧，并且所述当前目标图片为所述上一目标图片的下一帧；
如果所述跟踪结果表征所述当前目标图片和所述上一目标图片不一致，通过交叉二次判别分析的方式识别所述当前目标图片的检测框内的所述交通标识牌的类型；
如果所述跟踪结果表征所述当前目标图片和所述上一目标图片一致，将所述上一目标图片的检测框内的所述交通标识牌的类型作为所述当前目标图片的检测框内的所述交通标识牌的类型。
4.根据权利要求3所述的方法，其特征在于，对当前目标图片和上一目标图片进行图片跟踪，得到跟踪结果的步骤，包括：
基于当前目标图片的第一检测框的位置与上一目标图片的第二检测框的位置，确定所述第一检测框和所述第二检测框的交并比；
如果所述交并比大于或等于预设的交并比阈值，检测结果表征所述当前目标图片和所述上一目标图片一致；
如果所述交并比小于所述交并比阈值，检测结果表征所述当前目标图片和所述上一目标图片不一致。
5.根据权利要求1所述的方法，其特征在于，通过交叉二次判别分析的方式识别多个所述检测框内的所述交通标识牌的类型的步骤，包括：
对多个所述检测框放大至预设尺寸；
从放大后的所述检测框中提取放大后的所述交通标识牌；
通过交叉二次判别分析的方式识别放大后的所述交通标识牌的类型。
6.根据权利要求5所述的方法，其特征在于，通过交叉二次判别分析的方式识别放大后的所述交通标识牌的类型的步骤，包括：
将所述放大后的所述交通标识牌输入所述交通标识牌检测模型的主干网络中，输出所述交通标识牌的高维特征向量；
对所述高维特征向量进行全局平均池化处理和归一化处理，得到所述交通标识牌的特征向量；
通过交叉二次判别分析的方式，基于所述交通标识牌的特征向量和预先获得的样本库中包含的多个交通标识牌样本的特征向量，确定所述交通标识牌的类型；其中，所述样本库包含交通标识牌样本的特征向量和所述交通标识牌样本的类型。
7.根据权利要求6所述的方法，其特征在于，通过交叉二次判别分析的方式，基于所述交通标识牌的特征向量和预先获得的样本库中包含的多个交通标识牌样本的特征向量，确定所述交通标识牌的类型的步骤，包括：
通过交叉二次判别分析的方式计算所述交通标识牌的特征向量和预先获得的样本库中包含的多个交通标识牌样本的特征向量的相似度；
按照相似度由高到低的顺序，依次确定预设数量的交通标识牌对应的类型；
确定所述预设数量的交通标识牌对应的类型中数量最多的类型；
将所述数量最多的类型作为所述交通标识牌的类型。
8.一种交通标识牌识别装置，其特征在于，所述装置包括：
目标图片提取模块，用于获取目标视频，从所述目标视频中提取多个目标图片；
检测结果输出模块，用于将多个所述目标图片输入预先训练完成的交通标识牌检测模型中，输出多个所述目标图片包含的交通标识牌的检测结果；其中，所述检测结果表征所述交通标识牌的检测框的位置；
交通标识牌类型识别模块，用于通过交叉二次判别分析的方式识别多个所述检测框内的所述交通标识牌的类型。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1-7任一项所述的交通标识牌识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现权利要求1-7任一项所述的交通标识牌识别方法的步骤。
CN202110047590.3A 2021-01-14 2021-01-14 交通标识牌识别方法、装置和电子设备 Pending CN112733741A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110047590.3A CN112733741A (zh) 2021-01-14 2021-01-14 交通标识牌识别方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110047590.3A CN112733741A (zh) 2021-01-14 2021-01-14 交通标识牌识别方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN112733741A true CN112733741A (zh) 2021-04-30

Family

ID=75591540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110047590.3A Pending CN112733741A (zh) 2021-01-14 2021-01-14 交通标识牌识别方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN112733741A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113823180A (zh) * 2021-09-29 2021-12-21 国网山东省电力公司临朐县供电公司 一种标识牌悬挂装置及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919939A (zh) * 2017-03-14 2017-07-04 潍坊学院 一种交通标识牌跟踪识别方法及***
CN106934374A (zh) * 2017-03-14 2017-07-07 潍坊学院 一种雾霾场景中交通标识牌的识别方法及***
CN110659550A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 交通标志牌识别方法、装置、计算机设备和存储介质
CN111178282A (zh) * 2019-12-31 2020-05-19 武汉中海庭数据技术有限公司 一种道路交通限速标志定位识别方法及装置
WO2020109016A1 (de) * 2018-11-26 2020-06-04 Osram Gmbh Verfahren zum gemeinsamen detektieren, verfolgen und klassifizieren von objekten
WO2020151166A1 (zh) * 2019-01-23 2020-07-30 平安科技（深圳）有限公司 多目标跟踪方法、装置、计算机装置及可读存储介质
WO2020151172A1 (zh) * 2019-01-23 2020-07-30 平安科技（深圳）有限公司 运动目标检测方法、装置、计算机设备及存储介质
WO2020164282A1 (zh) * 2019-02-14 2020-08-20 平安科技（深圳）有限公司 基于yolo的图像目标识别方法、装置、电子设备和存储介质
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
WO2020187095A1 (zh) * 2019-03-20 2020-09-24 深圳市道通智能航空技术有限公司 一种目标跟踪方法、装置和无人机

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919939A (zh) * 2017-03-14 2017-07-04 潍坊学院 一种交通标识牌跟踪识别方法及***
CN106934374A (zh) * 2017-03-14 2017-07-07 潍坊学院 一种雾霾场景中交通标识牌的识别方法及***
CN110659550A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 交通标志牌识别方法、装置、计算机设备和存储介质
WO2020109016A1 (de) * 2018-11-26 2020-06-04 Osram Gmbh Verfahren zum gemeinsamen detektieren, verfolgen und klassifizieren von objekten
WO2020151166A1 (zh) * 2019-01-23 2020-07-30 平安科技（深圳）有限公司 多目标跟踪方法、装置、计算机装置及可读存储介质
WO2020151172A1 (zh) * 2019-01-23 2020-07-30 平安科技（深圳）有限公司 运动目标检测方法、装置、计算机设备及存储介质
WO2020164282A1 (zh) * 2019-02-14 2020-08-20 平安科技（深圳）有限公司 基于yolo的图像目标识别方法、装置、电子设备和存储介质
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
WO2020187095A1 (zh) * 2019-03-20 2020-09-24 深圳市道通智能航空技术有限公司 一种目标跟踪方法、装置和无人机
CN111178282A (zh) * 2019-12-31 2020-05-19 武汉中海庭数据技术有限公司 一种道路交通限速标志定位识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴磊;张震;程伟伟;张斌;: "圆形交通标志牌识别***的仿生设计", 电子测量与仪器学报, no. 03 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113823180A (zh) * 2021-09-29 2021-12-21 国网山东省电力公司临朐县供电公司 一种标识牌悬挂装置及方法

Similar Documents

Publication Publication Date Title
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN111428723B (zh) 字符识别方法及装置、电子设备、存储介质
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和***
CN112508975A (zh) 一种图像识别方法、装置、设备及存储介质
CN106156777B (zh) 文本图片检测方法及装置
CN107784288A (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN111524145A (zh) 图片智能裁剪方法、***、计算机设备及存储介质
CN112861917B (zh) 基于图像属性学习的弱监督目标检测方法
CN113361432B (zh) 一种基于深度学习的视频文字端到端检测与识别的方法
CN113052170B (zh) 一种无约束场景下的小目标车牌识别方法
CN111368636A (zh) 目标分类方法、装置、计算机设备和存储介质
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN112348116A (zh) 利用空间上下文的目标检测方法、装置和计算机设备
CN114861842B (zh) 少样本目标检测方法、装置和电子设备
CN112766246A (zh) 基于深度学习的文档标题识别方法、***、终端及介质
CN112784494B (zh) 假阳性识别模型的训练方法、目标识别方法及装置
CN112733741A (zh) 交通标识牌识别方法、装置和电子设备
CN112580624A (zh) 基于边界预测的多方向文本区域检测方法和装置
CN115512207A (zh) 一种基于多路特征融合及高阶损失感知采样的单阶段目标检测方法
CN111931767B (zh) 一种基于图片信息度的多模型目标检测方法、装置、***及存储介质
CN111881732B (zh) 一种基于svm的人脸质量评价方法
CN114898306A (zh) 一种检测目标朝向的方法、装置及电子设备
CN113033593B (zh) 基于深度学习的文本检测训练方法及装置
CN114743045A (zh) 一种基于双分支区域建议网络的小样本目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination