CN111488770A - 交通标志识别方法、神经网络模型的训练方法和装置 - Google Patents

交通标志识别方法、神经网络模型的训练方法和装置 Download PDF

Info

Publication number
CN111488770A
CN111488770A CN201910081841.2A CN201910081841A CN111488770A CN 111488770 A CN111488770 A CN 111488770A CN 201910081841 A CN201910081841 A CN 201910081841A CN 111488770 A CN111488770 A CN 111488770A
Authority
CN
China
Prior art keywords
image
information
traffic sign
historical
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910081841.2A
Other languages
English (en)
Inventor
李亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN201910081841.2A priority Critical patent/CN111488770A/zh
Publication of CN111488770A publication Critical patent/CN111488770A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种交通标志识别方法、神经网络模型的训练方法和装置。其中，交通标志的识别方法包括：获取当前道路图像中交通标志牌区域的当前子图像的位置信息和类别信息，其中，所述位置信息和类别信息是利用预设目标检测模型对所述当前道路图像中的待识别交通标志牌图像进行特征提取得到的；按照所述位置信息和所述类别信息，利用卷积神经网络CNN对所述当前子图像进行特征提取，得到所述当前子图像的特征序列；根据所述特征序列和预设卷积循环神经网络CRNN模型，得到所述当前子图像对应的目标语义信息，所述CRNN模型使得图像的特征序列与其对应的语义信息相关联。通过采用上述技术方案，提升了交通标志的识别精度。

Description

交通标志识别方法、神经网络模型的训练方法和装置
技术领域
本发明涉及图像处理技术领域，具体涉及一种交通标志识别方法、神经网络模型的训练方法和装置。
背景技术
随着当前智能交通技术的发展，自动驾驶和辅助驾驶技术正受到更多的重视。在自动驾驶和辅助驾驶领域，精准的感知***是一切其他***能正确工作的前提，而交通牌识别是车辆感知***中的一个重要功能。精准的交通牌识别是车辆对于环境做出正确反应的基础，对于自动驾驶车辆的正常驾驶和安全驾驶起着至关重要的作用。
目前交通标志牌有很多种类，这些交通牌中有很多外观特征比较接近，利用现有的图像分类方法难以达到精准区分，并且不能有效提取交通标志牌中的语义信息，不利于车辆对交通标志信息加以利用。
发明内容
本发明实施例公开一种交通标志识别方法、神经网络模型的训练方法和装置，提高了交通标志牌的识别精度。
第一方面，本发明实施例公开了一种交通标志的识别方法，该方法包括：
获取当前道路图像中交通标志牌区域的当前子图像的位置信息和类别信息，其中，所述位置信息和类别信息是通过对所述当前道路图像中的待识别交通标志牌图像进行特征提取得到的；
按照所述位置信息和所述类别信息，利用卷积神经网络CNN对所述当前子图像进行特征提取，得到所述当前子图像的特征序列；
根据所述特征序列和预设卷积循环神经网络CRNN模型，得到所述当前子图像对应的目标语义信息，所述CRNN模型使得道路图像中交通标志牌区域的子图像的特征序列与其对应的语义信息相关联。
作为一种可选的实施方式，在本发明实施例第一方面中，所述CRNN模型通过以下方式构建：
获取历史道路图像中仅包含有交通标志牌位置区域的历史子图像及其语义信息，其中，所述历史子图像是利用预设目标检测模型对所述历史道路图像中的待识别交通标志牌图像进行特征提取得到的；
对所述历史子图像进行特征提取，得到所述历史子图像的特征序列；
基于多个历史子图像的特征序列及其对应的语义信息生成训练样本集；
基于机器学习算法对初始神经网络模型进行训练，得到CRNN模型，所述CRNN模型使得所述训练样本集中每个历史子图像的特征序列与其对应的语义信息相关联。
作为一种可选的实施方式，在本发明实施例第一方面中，所述CRNN模型通过以下方式构建：
获取历史道路图像中仅包含有交通标志牌位置区域的历史子图像及其语义信息，其中，所述历史子图像是利用预设目标检测模型对所述历史道路图像中的待识别交通标志牌图像进行特征提取得到的；
对所述历史子图像进行特征提取，得到所述历史子图像的特征序列；
基于多个历史子图像的特征序列及其对应的语义信息生成训练样本集；
基于机器学习算法对初始神经网络模型进行训练，得到CRNN模型，所述CRNN模型使得所述训练样本集中每个历史子图像的特征序列与其对应的语义信息相关联。
作为一种可选的实施方式，在本发明实施例第一方面中，对所述当前道路图像中的待识别交通标志牌图像进行特征提取得到当前子图像的位置信息，包括：
利用预设目标检测模型中的全卷积网络层，对所述当前道路图像中的待识别交通标志牌图像进行特征提取，得到所述交通标志牌图像的初始特征，所述初始特征至少包括交通标志牌的边缘特征；
利用预设目标检测模型中的特征提取网络层，并基于所述初始特征确定包含有交通标志牌的最佳候选提取框，将所述最佳候选提取框所在位置作为交通标志牌的定位边界框的位置，并利用基于区域的卷积神经网络R-CNN，输出包含有定位边界框及其内部交通标志牌的当前子图像。
作为一种可选的实施方式，在本发明实施例第一方面中，基于所述初始特征确定包含有交通标志牌的最佳候选提取框，还包括：
对所述初始特征进行分离卷积，得到分离矩阵；
基于所述分离矩阵确定包含有交通标志牌的最佳候选提取框。
作为一种可选的实施方式，在本发明实施例第一方面中，利用卷积神经网络CNN对所述当前子图像进行特征提取，得到所述当前子图像的特征序列，包括：
利用卷积神经网络CNN，按照从左至右的方向对所述当前子图像进行特征提取，使得每列特征图均对应一个特征向量，各列特征图所对应的特征向量组成所述当前子图像的特征序列。
作为一种可选的实施方式，在本发明实施例第一方面中，根据所述特征序列和预设卷积循环神经网络CRNN模型，得到所述当前子图像对应的目标语义信息，包括：
基于所述卷积循环神经网络模型中的循环神经网络RNN将所述特征序列转化为字符序列；
基于所述卷积循环神经网络模型中的转录层，并根据预设条件概率对所述字符序列进行去冗余处理，得到目标字符序列对应的目标语义信息；其中，所述预设条件概率的对数似然函数为所述卷积循环神经网络模型的损失函数。
作为一种可选的实施方式，在本发明实施例第一方面中，基于所述卷积循环神经网络模型中的转录层，并根据预设条件概率对所述字符序列进行去冗余处理，得到目标字符序列对应的目标语义信息，包括：
利用连接时序分类器CTC从预设词典中选取概率最高的字符序列作为目标字符序列；其中，所述预设词典为所有合法的交通标志牌语义的集合。
第二方面，本发明实施例还提供了一种交通标志的识别装置，该装置包括：
当前子图像信息获取模块，被配置为获取当前道路图像中交通标志牌区域的当前子图像的位置信息和类别信息，其中，所述位置信息和类别信息是通过对所述当前道路图像中的待识别交通标志牌图像进行特征提取得到的；
当前特征序列确定模块，被配置为按照所述位置信息和所述类别信息，利用卷积循环神经网络CNN对所述当前子图像进行特征提取，得到所述当前子图像的特征序列；
第一语义信息识别模块，被配置为根据所述特征序列和预设卷积循环神经网络CRNN模型，得到所述当前子图像对应的目标语义信息，所述CRNN模型使得道路图像中交通标志牌区域的子图像的特征序列与其对应的语义信息相关联。
作为一种可选的实施方式，在本发明实施例第二方面中，所述CRNN模型通过以下方式构建：
历史子图像信息获取模块，被配置为获取历史道路图像中仅包含有交通标志牌位置区域的历史子图像及其类别信息和语义信息，其中，所述历史子图像及其类别信息是利用预设目标检测模型对所述历史道路图像中的待识别交通标志牌图像进行特征提取得到的；
历史特征序列确定模块，被配置为对所述历史子图像进行特征提取，得到所述历史子图像的特征序列；
第一训练样本集生成模块，被配置为基于多个历史子图像的特征序列、类别信息及对应的语义信息生成第一训练样本集；
神经网络模型训练模块，用于基于机器学习算法对初始神经网络模型进行训练，得到CRNN模型，所述CRNN模型使得所述第一训练样本集中每个历史子图像的特征序列、类别信息与其对应的语义信息相关联。
作为一种可选的实施方式，在本发明实施例第二方面中，对所述当前道路图像中的待识别交通标志牌图像进行特征提取得到当前子图像的位置信息通过如下方式实现：
初始特征确定模块，被配置为利用预设目标检测模型中的全卷积网络层，对所述当前道路图像中的待识别交通标志牌图像进行特征提取，得到所述交通标志牌图像的初始特征，所述初始特征至少包括交通标志牌的边缘特征；
最佳候选提取框确定模块，被配置为利用预设目标检测模型中的特征提取网络层，并基于所述初始特征确定包含有交通标志牌的最佳候选提取框，将所述最佳候选提取框所在位置作为交通标志牌的定位边界框的位置，并利用基于区域的卷积神经网络R-CNN，输出包含有定位边界框及其内部交通标志牌的当前子图像。
作为一种可选的实施方式，在本发明实施例第二方面中，所述最佳候选提取框确定模块具体被配置为：
对所述初始特征进行分离卷积，得到分离矩阵；
基于所述分离矩阵确定包含有交通标志牌的最佳候选提取框，将所述最佳候选提取框所在位置作为交通标志牌的定位边界框的位置，并利用基于区域的卷积神经网络R-CNN，输出包含有定位边界框及其内部交通标志牌的当前子图像。
作为一种可选的实施方式，在本发明实施例第二方面中，所述当前特征序列确定模块具体被配置为：
利用卷积神经网络CNN，按照从左至右的方向对所述当前子图像进行特征提取，使得每列特征图均对应一个特征向量，各列特征图所对应的特征向量组成所述当前子图像的特征序列。
作为一种可选的实施方式，在本发明实施例第二方面中，所述第一语义信息识别模块包括：
字符序列转化单元，被配置为基于所述卷积循环神经网络模型中的循环神经网络RNN将所述特征序列转化为字符序列；
语义信息确定单元，被配置为基于所述卷积循环神经网络模型中的转录层，并根据预设条件概率对所述字符序列进行去冗余处理，得到目标字符序列对应的目标语义信息；其中，所述预设条件概率的对数似然函数为所述卷积循环神经网络模型的损失函数。
作为一种可选的实施方式，在本发明实施例第二方面中，所述语义信息确定单元，具体被配置为：
利用连接时序分类器CTC从预设词典中选取概率最高的字符序列作为目标字符序列；其中，所述预设词典为所有合法的交通标志牌语义的集合。
第三方面，本发明实施例还公开了一种神经网络模型的训练方法，该方法包括：
获取历史道路图像中仅包含有交通标志牌位置区域的历史子图像及其类别信息和语义信息，其中，所述历史子图像及其类别信息是利用预设目标检测模型对所述历史道路图像中的待识别交通标志牌图像进行特征提取得到的，预设目标检测模型使得交通标志牌的类别信息与语义信息相关联；
对所述历史子图像进行特征提取，得到所述历史子图像的特征序列；
基于多个历史子图像的特征序列、类别信息及对应的语义信息生成第一训练样本集；
基于机器学习算法对初始神经网络模型进行训练，得到CRNN模型，所述CRNN模型使得所述第一训练样本集中每个历史子图像的特征序列、类别信息与其对应的语义信息相关联。
作为一种可选的实施方式，在本发明实施例第三方面中，所述预设目标检测模型是通过以下方式构建的：
获取标注有交通标志牌的位置信息、类别信息和语义信息的历史道路样本图像；
提取所述历史道路样本图像中交通标志牌的位置信息，并基于多个所述位置信息及其对应的类别信息和语义信息生成第二训练样本集；
基于机器学习算法建立预设目标检测模型，所述预设目标检测模型使得所述第二训练样本集中每个类别信息与其对应的语义信息相关联。
作为一种可选的实施方式，在本发明实施例第三方面中，在得到所述CRNN模型之后，所述方法还包括：
利用全部历史道路样本图像及其对应的位置信息和类别信息，以及所述历史道路样本图像中的历史子图像对应的语义信息，对级联的所述预设目标检测模型和所述CRNN模型进行端对端训练。
第四方面，本发明实施例还公开了一种神经网络模型的训练装置，该装置包括：
历史子图像信息获取模块，被配置为获取历史道路图像中仅包含有交通标志牌位置区域的历史子图像及其类别信息和语义信息，其中，所述历史子图像及其类别信息是利用预设目标检测模型对所述历史道路图像中的待识别交通标志牌图像进行特征提取得到的，预设目标检测模型使得交通标志牌的类别信息与语义信息相关联；
历史特征序列确定模块，被配置为对所述历史子图像进行特征提取，得到所述历史子图像的特征序列；
第一训练样本集生成模块，被配置为基于多个历史子图像的特征序列、类别信息及对应的语义信息生成第一训练样本集；
神经网络模型训练模块，用于基于机器学习算法对初始神经网络模型进行训练，得到CRNN模型，所述CRNN模型使得所述第一训练样本集中每个历史子图像的特征序列、类别信息与其对应的语义信息相关联。
作为一种可选的实施方式，在本发明实施例第四方面中，所述预设目标检测模型是通过以下方式构建的：
历史道路样本图像获取模块，被配置为获取标注有交通标志牌的位置信息、类别信息和语义信息的历史道路样本图像；
第二训练样本集生成模块，被位置为提取所述历史道路样本图像中交通标志牌的位置信息，并基于多个所述位置信息及其对应的类别信息和语义信息生成第二训练样本集；
预设目标检测模型训练模块，被配置为基于机器学习算法建立预设目标检测模型，所述预设目标检测模型使得所述第二训练样本集中每个类别信息与其对应的语义信息相关联。
作为一种可选的实施方式，在本发明实施例第四方面中，所述装置还包括：
端对的训练模块，被配置为利用全部历史道路样本图像及其对应的位置信息和类别信息，以及所述历史道路样本图像中的历史子图像对应的语义信息，对级联的所述预设目标检测模型和所述CRNN模型进行端对端训练。
第五方面，本发明实施例还提供了一种交通标志的识别方法，包括：
获取当前道路图像；
提取所述当前道路图像中交通标志牌的当前位置信息；
基于所述当前位置信息和预设目标检测模型，确定所述交通标志牌的类别信息，并根据所述类别信息确定交通标志牌的语义信息，其中，预设目标检测模型使得交通标志牌的类别信息与所述语义信息相关联。
第六方面，本发明实施例还提供了一种交通标志的识别装置，包括：
当前道路图像获取模块，被配置为获取当前道路图像；
当前位置特征提取模块，被配置为提取所述当前道路图像中交通标志牌的当前位置信息；
第二语义信息识别模块，被配置为基于所述位置信息和预设目标检测模型，确定所述交通标志牌的类别信息，并根据所述类别信息确定交通标志牌的语义信息，其中，预设目标检测模型使得交通标志牌的类别信息与所述语义信息相关联。
第七方面，本发明实施例还提供了一种神经网络模型的训练方法，包括：
获取标注有交通标志牌的位置信息、类别信息和语义信息的历史道路样本图像；
提取所述历史道路样本图像中交通标志牌的位置信息，并基于多个所述位置信息及其对应的类别信息和语义信息生成第二训练样本集；
基于机器学习算法建立预设目标检测模型，所述预设目标检测模型使得所述第二训练样本集中每个类别信息与其对应的语义信息相关联。
第七方面，本发明实施例还提供了一种神经网络模型的训练装置，包括：
历史道路样本图像获取模块，被配置为获取标注有交通标志牌的位置信息、类别信息和语义信息的历史道路样本图像；
第二训练样本集生成模块，被位置为提取所述历史道路样本图像中交通标志牌的位置信息，并基于多个所述位置信息及其对应的类别信息和语义信息生成第二训练样本集；
预设目标检测模型训练模块，被配置为基于机器学习算法建立预设目标检测模型，所述预设目标检测模型使得所述第二训练样本集中每个类别信息与其对应的语义信息相关联。
第八方面，本发明实施例还提供了一种车载终端，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明任意实施例所提供的交通标志的识别方法的部分或全部步骤，或者神经网络模型的训练方法的部分或全部步骤。
第九方面，本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的交通标志的识别方法，或者神经网络模型的训练方法的部分或全部步骤的指令。
第十方面，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明任意实施例所提供的交通标志的识别方法，或者神经网络模型的训练方法的部分或全部步骤。
本发明实施例的技术方案，通过利用预设目标检测模型对当前道路图像进行识别，可得到当前道路图像中交通标志牌区域的当前子图像的位置信息和类别信息。通过将子图像的位置信息和类别信息输入预设卷积循环神经网络模型，可得到子图像对应的目标语义信息，使得交通标志牌的识别结果更加准确。
本发明实施例的发明点包括：
1、交通标志牌的识别由级联的预设目标检测模型和预设卷积循环神经网络模型实现。其中，预设目标检测模型用于对道路图像中的交通标志牌进行定位和分类，预设卷积循环神经网络模型则根据预设目标检测模型的输出对交通标志牌进行进一步的语义特征提取，以提高交通标志牌的识别精度，是本发明实施例的发明点之一。
2、预设目标检测模型中，在确定交通标志牌的最佳候选提取框之前，通过对主干网络的输出进行分离卷积，可得到分离矩阵，这样可以在保证模型的表征能力大致不变的情况下减少计算量和网络参数的数量，从而提升计算速度和减少内存使用，是本发明实施例的发明点之一。
3、引入双向长短期记忆网络(Long Short-Term Memory，LSTM)单元将特征序列转化为字符序列，可以提取到更高级语义特征，是本发明实施例的发明点之一。
4、在完成预设目标检测模型和预设卷积循环神经网络模型的训练后，将这两模型级联并进行进一步的端对端训练调优，可使得模型的识别效果进一步得到提升，是本发明实施例的发明点之一。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种神经网络模型的训练方法的流程示意图；
图2是本发明实施例提供的一种交通标志的识别方法的流程示意图；
图3是本发明实施例提供的一种预设目标检测模型的示意图；
图4是本发明实施例提供的一种分离卷积的示意图；
图5是本发明实施例提供的又一种神经网络模型的训练方法的流程示意图；
图6是本发明实施例提供的又一种交通标志的识别方法的流程示意图；
图7是本发明实施例提供的一种神经网络模型的训练装置的结构框图；
图8是本发明实施例提供的一种交通标志的识别装置的结构框图；
图9是本发明实施例提供的又一种神经网络模型的训练装置的结构框图；
图10是本发明实施例提供的又一种交通标志的识别装置的结构框图；
图11是本发明实施例提供的一种车载终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
请参阅图1，图1是本发明实施例提供的一种神经网络模型的训练方法的流程示意图。该方法可应用于自动驾驶中，由神经网络模型的训练装置来执行，该装置可通过软件和/或硬件的方式实现，一般可集成在车载电脑、车载工业控制计算机(Industrialpersonal Computer，IPC)等车载终端中，本发明实施例不做限定。本实施例提供的神经网络模型主要针对的是用于识别简单交通标志牌的预设目标检测模型，其中，简单交通标志一般是指仅由图形、符号或少量字符组成的标志，例如警告标志、禁令标志、指示标志、指路标志、旅游区标志、道路施工安全标志和限速标志等。如图1所示，本实施例提供的神经网络模型的训练方法具体包括：
110、获取标注有交通标志牌的位置信息、类别信息和语义信息的历史道路样本图像。
本实施例中，训练模型采用有监督的训练方式，因而所用的所有样本图像都需具有相应标注，即历史道路样本图像中的每一个标志牌都需要有对应的位置信息、具体类别信息和语义信息标注。
为了保证检测模型的精准度，需要有尽量多的训练样本图像，即历史道路样本图像。在本申请实施例中，样本图像可来源于摄像机的视频流和网络数据集。对于视频流数据，摄像机需要进行单目标定并记录摄像机的内部参数和畸变参数。根据摄像机参数对单帧图像进行校正，使用相关图像后处理技术将图片变换为无畸变或接近无畸变状态。对于校正之后的道路样本图像进行标注后即可构建样本库以便模型训练。
在训练神经网络模型的过程中需要将样本图像输入神经网络，在样本输入网络之前可以对样本用图像增强技术进行一些变换，例如对图像进行随机的裁切，随机调整图像的对比度、亮度、色彩饱和度和伽玛值(数值在一定范围内)，如此可以增加样本空间的随机性。这样设置相当于对样本数量进行扩充，间接地增加模型的泛化能力，以使训练完成的模型能够适应不同光照环境，不同质量的图像。
120、提取历史道路样本图像中交通标志牌的位置信息，并基于多个位置信息及其对应的类别信息和语义信息生成训练样本集。
130、基于机器学习算法建立预设目标检测模型，所述预设目标检测模型使得第二训练样本集中每个类别信息与其对应的语义信息相关联。
由于预设目标检测模型是目标检测和分类模型，所以在训练过程中可以利用所有的训练图像样本进行训练。在训练过程中，可以使用一个或者多个GPU(GraphicsProcessing Unit，图形处理器)进行训练，每个GPU上的图片batch-size(批尺寸)可以设为2，每个图片的ROI(region of interest，感兴趣区域)数量在训练和测试中可以分别设为2000和1000。在训练过程中，关于对训练模型进行优化的优化算法，优选使用基于动量的随机梯度下降算法，其中，可将参数衰减设为0.0001，动量设为0.9，并根据训练进度逐步调整学习率。或者也可以使用Adam(一种替代传统随机梯度下降过程的一阶优化算法)、RMSProp(一种深度神经网络优化算法)等优化算法。
本实施例通过建立预设目标检测模型，可建立简单交通标志牌类别信息与语义信息的一对一映射关系，以达到直接快速获得语义信息的目的，省去了进一步对标志牌语义信息的解析过程。
在得到预设目标检测模型后，可利用该模型对摄像头实时采集到的当前道路图像中的简单交通标志牌进行定位和识别，具体方法请参阅图2，图2是本发明实施例提供一种交通标志的识别方法的流程示意图，该方法可以由交通标志的识别装置来执行，该装置可通过软件和/或硬件的方式实现，一般可集成在车载电脑、车载工业控制计算机(Industrial personal Computer，IPC)等车载终端中，本发明实施例不做限定。本实施例提供的一种交通标志的识别方法主要针对的是简单交通标志牌的识别，如图2所示，该方法包括：
S210、获取当前道路图像。
其中，当前道路图像可通过车辆中的摄像头来实时获取。
S220、提取当前道路图像中交通标志牌的当前位置信息。
示例性的，交通标志牌的当前位置信息可通过包含交通标志牌的定位边界框(BoundingBox)来确定，每个定位边界框可由左上角和右下角两个坐标组成，或也可由一个坐标及边界框的宽度和高度组成。
S230、基于当前位置信息和预设目标检测模型，确定交通标志牌的类别信息，并根据类别信息确定交通标志牌的语义信息，其中，预设目标检测模型使得类别信息与语义信息相关联。
通过利用预设目标检测模型，可确定当前位置处交通标志牌的类别信息。由于类别信息与语义信息存在一对一的映射关系，因此，通过类别信息可直接确定出交通标志牌的语义信息。
本实施例中，预设目标检测模型可以Xception(深度可分卷积)网络为主干网络的Light-Head-RCNN(Light Head Region based convolutional Network，轻量头部基于区域的卷积网络网络)来实现。现有的基于卷积神经网络法的目标检测模型可以被分为两类：单步检测器和两步检测器，单步检测器例如YOLO(You only look once，实施对象检测***)、SSD(singleshot multibox detector，单发多箱探测器)等目标检测模型相具有较高的速度但是精度较低，两步检测器例如Faster R-CNN(Faster Regions with ConvolutionNeural Network，更加快速的基于区域的卷积神经网络)等目标检测模型具有更高的精度但是速度较慢。考虑到本实施例中的目标检测模型将运用在自动驾驶***中，识别的速度需要达到实时并且需要保证较高的精度，因此，本实施例优选采用由Xception作为主干网络的Light-Head-RCNN模型作为交通标志牌的***与分类器。Light-Head-RCNN属于两步检测算法，其具有较高的精度，但是不同于传统的两步目标检测算法，其速度相较于传统的两步检测模型有了大幅的提升。下面通过图3来对预设目标检测模型进行详细说明。
如图3所示，Light-Head-RCNN主要分为三个部分：第一部分是仅有卷积层和池化层组成的主干网络，主要作用为提取图像特征得到特征图；第二部分是一个特征图，是由主干网络的最后一层进行分离卷积得到；第三部分是一个轻量级的R-CNN(Regions withConvolution Neural Network，基于区域的卷积神经网络)子网络。
首先介绍模型的主干网络，也就是模型的第一部分，模型的主干网络作为特征提取器，优选为全卷积网络，以适用于各种尺寸图像的输出。在这里可以选用预训练的ResNet(Residual Neural Network，残差神经网络)或XCeption网络的全卷积层。
对于模型的第二部分—特征图，是对主干网络的输出进行单次分离卷积而得到，分离卷积的过程可将k×k的卷积分解为k×1和1×k的卷积，从而可以在保证模型的表征能力大致不变的情况下减少计算量和网络参数的数量，以提升计算速度和减少内存使用。
在第二部分得到特征图的过程中，可利用RPN(Region Proposal Network，特征提取网络)来实现。该网络是一个基于滑动窗口的全卷积网络，与主干网路的倒数第二层卷积层相连。网络中含有一系列预设的锚点框(anchor)，锚点框分别有三种不同的纵横比{1：2，1：1，2：1}和五种不同的尺寸{322，642，1282，2562，5122}共十五种不同的形状来覆盖不同的物体形状。由于在众多的提取(proposal)中会含有大量交叠提取框，所以采用非极大值抑制(Non Maximum Suppression)的办法来削减交叠的提取提议框。在提取框被送入ROI(预测子网络之前，设置非极大值抑制交叠比IOU(Intersection over Union，重叠度)的阈值为0.7，而后根据锚点与真实边界框的交叠比来赋予训练标签。如果锚点与任意真实边界框的交叠比大于0.7，则锚点被赋予正标签，如果锚点对某一真实边界框拥有最大交叠比也会被赋予正标签。如果锚点与所有真实边界框的交叠比均小余0.3，则被赋予负标签。由此，可确定最佳候选提取框。
第三部分R-CNN子网络主要由一个通道数为2048的全连接层与两个小型全连接层构成，两个小型全连接层分别负责目标的分类和目标位置的回归。分类层的通道数由全部类别的总数决定(如有500个分类则通道数为500)，回归层的通道数为4，因为不管采用何种方式来标注边界框都仅需四个数字来唯一确定边界框位置和大小，例如：左上角顶点坐标与检测框的宽度与高度，或者左上角顶点与右下角顶点坐标。
本实施例中，通过利用Light-Head-RCNN模型对实时获取到的图像进行识别，可确定出道路图像中简单交通标志牌的位置信息和分类信息。其中，该位置信息所对应的图像即为上文中最佳候选提取框中的图像，也即仅包含标志牌区域的图像。下文中把通过Light-Head-RCNN模型得到的位置信息所对应的图像简称为道路图像中包含交通标志牌区域的子图像。
上述实施例已实现对简单交通标志牌语义信息的识别，而对于复杂交通标志牌，即一般设在简单标志之下，含有较多的文字以及数字等字符，可起到辅助说明作用的标志，例如“限速60km/h”，“前方施工请绕行”等标志，由于这类标志难以通过类别信息直接确定出其语义信息，因此需利用额外的算法来提取其语义信息。本发明实施例优选采用预设CRNN(Convolutional Recurrent Neural Network，卷积循环神经网络)模型对通过Light-Head-RCNN模型得到的子图像和其对应的分类信息输入作进一步的语义提取工作。下面首先对该模型的训练方法进行介绍。
实施例二
请参阅图4，图4是本发明实施例提供的又一种神经网络模型的训练方法的流程示意图。该方法可应用于自动驾驶中，可由神经网络模型的训练装置来执行，该装置可通过软件和/或硬件的方式实现，一般可集成在车载电脑、车载工业控制计算机(Industrialpersonal Computer，IPC)等车载终端中，本发明实施例不做限定。本实施例提供的神经网络模型主要针对的是用于识别复制交通标志牌的卷积循环神经网络模型。如图5所示，本实施例提供的神经网络模型的训练方法具体包括：
S310、获取历史道路图像中仅包含有交通标志牌位置区域的历史子图像及其类别信息和语义信息。
其中，历史子图像及其类别信息是利用上述预设目标检测模型对历史道路图像中的待识别交通标志牌图像进行特征提取得到的。
一种实现方式中，基于上述实施例一中对预设目标检测模型的介绍，利用预设目标检测模型对当前道路图像中的待识别交通标志牌图像进行特征提取得到当前子图像的位置信息通过如下方式实现：
利用预设目标检测模型中的全卷积网络，对当前道路图像中的待识别交通标志牌图像进行特征提取，得到交通标志牌图像的初始特征，所述初始特征至少包括交通标志牌的边缘特征；
利用上述Light-Head-RCNN模型中的RPN网络，并基于初始特征确定包含有交通标志牌的最佳候选提取框，该最佳候选提取框可以矩形框的形式体现，该矩形框可由多种方式唯一确定，例如：通过左上角顶点坐标与矩形框的宽度与高度，或者左上角顶点与右下角顶点坐标来确定；
将最佳候选提取框所在位置作为交通标志牌的定位边界框的位置，并利用R-CNN网络，输出包含有定位边界框及其内部交通标志牌的当前子图像。
优选的，在基于初始特征确定包含有交通标志牌的最佳候选提取框之前，还可基于初始特征对交通标志牌图像进行分离卷积，得到分离矩阵；相应的，根据分离矩阵确定包含有交通标志牌的最佳候选提取框。这样设置可在保证模型的表征能力大致不变的情况下减少计算量和网络参数的数量，从而提升计算速度和减少内存使用。
S320、对历史子图像进行特征提取，得到历史子图像的特征序列。
S330、基于多个历史子图像的特征序列、类别信息及对应的语义信息生成第一训练样本集。
S340、基于机器学习算法对初始神经网络模型进行训练，得到CRNN模型，所述CRNN模型使得第一训练样本集中每个历史子图像的特征序列、类别信息与其对应的语义信息相关联。
本实施例中，CRNN模型主要由三个部分组成：卷积神经网络，循环神经网络和转录层。卷积神经网络由输入的子图像提取出固定数量的特征序列，特征序列被输入由LSTM模块组成的双向循环神经网络得到初步的预测序列，再由转录层去掉预测序列中的冗余部分得到最终的预测序列。模型的整体结构如图5所示。下面，分别对CRNN模型中的各个部分进行介绍：
特征序列提取：在CRNN模型中，卷积层由标准CNN(Convolutional NeuralNetworks，卷积神经网络)模型中的卷积层和最大值池化层构成。这样的组件用于从输入图像中提取序列化的特征表达。在输入网络之前，所有的图像的高度可被归一化到同样的高度，图像的宽度不必全部相同(因为文字序列的长度不定)。
然后，可从特征图中抽取出一系列的特征向量作为循环神经网络的输入。准确来讲，特征序列中地的每一个特征向量由特征图的每一列从左至右提取得到，意味着第i个特征向量由第i列特征图得到。在本实施例中，由于卷积，最大值池化和逐元素的激活函数都是在局部区域操作，所以它们都具有传递不变性的特征。所以最终特征图上的每一列对应于原始输入子图像中的一个矩形区域。
在传统的CRNN模型中，使用了VGG-16的卷积层作为主干网络，但VGG网络参数较多，且精度较差，所以在本实施例中优选使用已训练的mobile-net中的卷积层作为CRNN的主干网络。
序列识别：在CRNN模型中，卷积网络之上是一个深度双向RNN(Recurrent NeuralNetwork，循环神经网络)，用于将特征序列转化为字符序列。在本申请中，将卷积层输出的长度为T的特征序列X记为{X1,…XT}，循环网络的每一个输出y由整个序列X得到。使用循环神经网络的优势有三点，首先，RNN具有很强的利用序列中上下文信息的能力，在基于图像的序列识别问题中可以有效利用上下文线索，相较于基于单字符识别的方法更加稳定。第二，RNN可以利用方向传播算法传递梯度(梯度指反向传播算法中神经网络每一层之间的梯度)直至输入层，可以在本实施例的卷积循环神经网络模型中与卷积层一同训练。第三，RNN网络可以处理任意长度的序列。
在本模型中的循环神经网络中，使用了LSTM(Long Short-Term Memory，长短期记忆网络)单元，LSTM单元包含了一个记忆单元和三个乘法门(分别为输入门，输出门和遗忘门)。记忆单元可以存储之前的上下文，输入、输出门可以使上下文保存较长的一段时间，同时遗忘门可以清除上下文。这种设计使得LSTM可以获取到较长范围的依赖关系，适用于场景文字识别问题。
LSTM单元是具有方向性的，它可以利用过去的(在RNN网络的一层中，对于第i个LSTM单元，该单元可利用从1到i-1个单元的隐藏状态)上下文(context)，而对于大部分文字序列识别问题(包括交通标志牌语义提取)前后两个方向的上下文都很有用并且有互补性。因此我们可以将两个LSTM序列构成一个双向LSTM序列，并且多个双向LSTM可以堆叠组成一个深度双向LSTM网络。这样的网络结构可以提取到更高级语义特征。在CRNN模型中，可以通过反向传播算法将梯度与RNN网络传递到底层的CNN网络中。
转录层：在CRNN模型中转录层由一个CTC(connectionist temporal classifier，连接时序分类器)层实现，它的作用是依据条件概率将RNN的预测序列转化为目标序列，这个条件概率的对数似然函数作为整个网络的目标损失函数。因此对于整个卷积循环神经网络模型，只需要包含标志牌的图像和对应于标志牌语义的结构化字符序列。
转录层的具体实现有两种模式：有词典(lexicon)和无词典的模式。词典是一系列标签序列的集合，用于限制和辅助CTC的预测。在本申请实施例中，词典应为所有合法的标志牌语义的集合。在基于词典的模式中，CTC从词典中选取概率最高的标签序列作为输出序列。在无词典模式中，预测并不受到任何限制但也失去了词典的支持。
在交通标志牌识别问题中，因为标志牌的内容十分有限，所以使用基于词典的CTC模块更为合适，词典容量越大，分布越接近于真实数据，每个元素的频率就更接近元素的真实概率。
可选的，在输出预测时可以利用标志牌的类别信息(由预设目标检测模型得到)和一些交通牌的做一定的校验，如果未通过校验则给与适当反馈，例如“标志内容无法识别”等，以避免输出错误预测对自动驾驶***造成误导。
本实施例中的CRNN模型，相对于预设目标检测模型，CRNN模型的复杂度相对较低，同时训练难度较低，因此优选使用Adadealta算法来自动计算每个维度上的梯度，使模型更快收敛。由于CRNN模型更小，输入图像储存也更小，可以将每张GPU上的batch-size设为64或128(视GPU显存大小而定)让模型更加快速稳定的收敛。
进一步的，在将预设目标检测模型和CRNN模型分别训练完成之后，可将两个模型级联进行进一步的调优，具体可利用全部历史道路样本图像及其对应的位置信息和类别信息，以及历史道路样本图像中的历史子图像对应的语义信息，对级联的预设目标检测模型和CRNN模型进行端对端训练这种多任务训练和梯度传递的方式，可使模型效果进一步提升。由于两个网络已经经过了训练，所以在此次训练中初始学习率须设置更低。训练样本可以使用全部样本图片，需要注意的是在将子图像输入CRNN模型时可只输入复杂标志牌。在训练过程中，由于有两个神经网络模型级联，所占显存较大，因此batch-size可以设为1。
在完成CRNN模型的训练后，可利用该模型对摄像头实时采集到的当前道路图像中的幅值交通标志牌进行识别，具体方法请参阅图6，图6是本发明实施例提供又一种交通标志的识别方法的流程示意图，该方法可由交通标志的识别装置来执行，该装置可通过软件和/或硬件的方式实现，一般可集成在车载电脑、车载工业控制计算机(Industrialpersonal Computer，IPC)等车载终端中，本发明实施例不做限定。本实施例提供的一种交通标志的识别方法主要针对的是复杂交通标志牌的识别，如图6所示，该方法包括：
S410、获取当前道路图像中交通标志牌区域的当前子图像的位置信息和类别信息。
其中，位置信息和类别信息是利用预设目标检测模型对当前道路图像中的待识别交通标志牌图像进行特征提取得到的，具体的提取方式过程可参见上述实施例提供的内容，本实施例不再赘述。
S420、按照位置信息和类别信息，利用卷积神经网络CNN对当前子图像进行特征提取，得到当前子图像的特征序列。
作为一种可选的实施方式，利用对当前子图像进行特征提取，得到当前子图像的特征序列可包括：利用卷积神经网络CNN，按照从左至右的方向对当前子图像进行特征提取，使得每列特征图均对应一个特征向量，各列特征图所对应的特征向量组成当前子图像的特征序列。在本实施例中，由于卷积，最大值池化和逐元素的激活函数都是在局部区域操作，所以它们都具有传递不变性的特征。所以最终特征图上的每一列对应于原始输入子图像中的一个矩形区域。
S430、根据特征序列和预设卷积循环神经网络CRNN模型，得到当前子图像对应的目标语义信息，所述CRNN模型使得道路图像中交通标志牌区域的子图像的特征序列与其对应的语义信息相关联。
作为一种可选的实施方式，根据特征序列和预设卷积循环神经网络CRNN模型，得到当前子图像对应的目标语义信息，包括：
基于卷积循环神经网络模型中的循环神经网络RNN将特征序列转化为字符序列；
基于卷积循环神经网络模型中的转录层，并根据预设条件概率对字符序列进行去冗余处理，得到目标字符序列对应的目标语义信息；其中，预设条件概率的对数似然函数为卷积循环神经网络模型的损失函数。
需要说明的是，在本实施例的RNN中，将两个LSTM序列构成一个双向LSTM序列，并且多个双向LSTM可以堆叠组成一个深度双向LSTM网络。这样的网络结构可以提取到更高级语义特征。
还需要说明的是，本实施例在基于卷积循环神经网络模型中的转录层，并根据预设条件概率对字符序列进行去冗余处理，得到目标字符序列对应的目标语义信息，包括：
利用连接时序分类器CTC从预设词典中选取概率最高的字符序列作为目标字符序列；其中，预设词典为所有合法的交通标志牌语义的集合。这样设置是因为标志牌的内容十分有限，所以使用基于词典的CTC模块更为合适，词典容量越大，分布越接近于真实数据，每个元素的频率就更接近元素的真实概率。
本实施例提供的技术方案，通过利用预设目标检测模型对当前道路图像进行识别，可得到当前道路图像中交通标志牌区域的当前子图像的位置信息和类别信息。通过将子图像的位置信息和类别信息输入预设卷积循环神经网络模型，可得到子图像对应的目标语义信息，使得交通标志牌的识别结果更加准确。
实施例三
请参阅图7，图7是本发明实施例提供的一种神经网络模型的训练装置的结构框图。如图7所示，该装置包括：历史道路样本图像获取模块510、第二训练样本集生成模块520和预设目标检测模型训练模块530，其中，
历史道路样本图像获取模块510，被配置为获取标注有交通标志牌的位置信息、类别信息和语义信息的历史道路样本图像；
第二训练样本集生成模块520，被位置为提取所述历史道路样本图像中交通标志牌的位置信息，并基于多个所述位置信息及其对应的类别信息和语义信息生成第二训练样本集；
预设目标检测模型训练模块530，被配置为基于机器学习算法建立预设目标检测模型，所述预设目标检测模型使得所述第二训练样本集中每个类别信息与其对应的语义信息相关联。
本实施例中，通过建立预设目标检测模型，可建立简单交通标志牌类别信息与语义信息的一对一映射关系，以达到直接快速获得语义信息的目的，省去了进一步对标志牌语义信息的解析过程。
在得到预设目标检测模型后，可利用该模型对摄像头实时采集到的当前道路图像中的简单交通标志牌进行定位和识别。
请参阅图8，图8是本发明实施例提供的一种交通标志的识别装置的结构图。如图8所示，该装置包括：当前道路图像获取模块610、当前位置特征提取模块620和第二语义信息识别模块630。其中，
当前道路图像获取模块610，被配置为获取当前道路图像；
当前位置特征提取模块620，被配置为提取所述当前道路图像中交通标志牌的当前位置信息；
第二语义信息识别模块630，被配置为基于所述位置信息和预设目标检测模型，确定所述交通标志牌的类别信息，并根据所述类别信息确定交通标志牌的语义信息，其中，预设目标检测模型使得所述类别信息与所述语义信息相关联。
通过利用预设目标检测模型，可确定当前位置处交通标志牌的类别信息。由于类别信息与语义信息存在一对一的映射关系，因此，通过类别信息可直接确定出交通标志牌的语义信息。
实施例四
请参阅图9，图9是本发明实施例提供的又一种神经网络模型的训练装置的结构框图。如图9所示，该装置包括：历史子图像信息获取模块710、历史特征序列确定模块720、第一训练样本集生成模块730和神经网络模型训练模块740。其中，
历史子图像信息获取模块710，被配置为获取历史道路图像中仅包含有交通标志牌位置区域的历史子图像及其类别信息和语义信息，其中，所述历史子图像及其类别信息是利用预设目标检测模型对所述历史道路图像中的待识别交通标志牌图像进行特征提取得到的，预设目标检测模型使得交通标志牌的类别信息与所述语义信息相关联；
历史特征序列确定模块720，被配置为对所述历史子图像进行特征提取，得到所述历史子图像的特征序列；
第一训练样本集生成模块530，被配置为基于多个历史子图像的特征序列、类别信息及对应的语义信息生成第一训练样本集；
神经网络模型训练模块740，用于基于机器学习算法对初始神经网络模型进行训练，得到CRNN模型，所述CRNN模型使得所述第一训练样本集中每个历史子图像的特征序列、类别信息与其对应的语义信息相关联。
本实施例中，通过建立预设卷积循环神经网络模型，可建立复杂交通标志牌类别信息与语义信息的一对一映射关系，以达到直接快速获得语义信息的目的，提升交通标志牌的识别精度。
在上述实施例的基础上，所述预设目标检测模型是通过以下方式构建的：
历史道路样本图像获取模块，被配置为获取标注有交通标志牌的位置信息、类别信息和语义信息的历史道路样本图像；
第二训练样本集生成模块，被位置为提取所述历史道路样本图像中交通标志牌的位置信息，并基于多个所述位置信息及其对应的类别信息和语义信息生成第二训练样本集；
预设目标检测模型训练模块，被配置为基于机器学习算法建立预设目标检测模型，所述预设目标检测模型使得所述第二训练样本集中每个类别信息与其对应的语义信息相关联。
在上述实施例的基础上，所述装置还包括：
端对的训练模块，被配置为利用全部历史道路样本图像及其对应的位置信息和类别信息，以及所述历史道路样本图像中的历史子图像对应的语义信息，对级联的所述预设目标检测模型和所述CRNN模型进行端对端训练。
在得到预设卷积循环神经网络后，可利用该模型对摄像头实时采集到的当前道路图像中的复杂交通标志牌进行定位和识别。请参阅图10，图10是本发明实施例提供的又一种交通标志的识别装置的结构框图。如图10所示，该装置包括：当前子图像信息获取模块810、当前特征序列确定模块820和第一语义信息识别模块830，其中，
当前子图像信息获取模块810，被配置为获取当前道路图像中交通标志牌区域的当前子图像的位置信息和类别信息，其中，所述位置信息和类别信息是通过对所述当前道路图像中的待识别交通标志牌图像进行特征提取得到的；
当前特征序列确定模块820，被配置为按照所述位置信息和所述类别信息，利用卷积循环神经网络CNN对所述当前子图像进行特征提取，得到所述当前子图像的特征序列；
第一语义信息识别模块830，被配置为根据所述特征序列和预设卷积循环神经网络CRNN模型，得到所述当前子图像对应的目标语义信息，所述CRNN模型使得道路图像中交通标志牌区域的子图像的特征序列与其对应的语义信息相关联。
在上述实施例的基础上，所述CRNN模型通过以下方式构建：
历史子图像信息获取模块，被配置为获取历史道路图像中仅包含有交通标志牌位置区域的历史子图像及其类别信息和语义信息，其中，所述历史子图像及其类别信息是利用预设目标检测模型对所述历史道路图像中的待识别交通标志牌图像进行特征提取得到的；
历史特征序列确定模块，被配置为对所述历史子图像进行特征提取，得到所述历史子图像的特征序列；
第一训练样本集生成模块，被配置为基于多个历史子图像的特征序列、类别信息及对应的语义信息生成第一训练样本集；
神经网络模型训练模块，用于基于机器学习算法对初始神经网络模型进行训练，得到CRNN模型，所述CRNN模型使得所述第一训练样本集中每个历史子图像的特征序列、类别信息与其对应的语义信息相关联。
在上述实施例的基础上，对所述当前道路图像中的待识别交通标志牌图像进行特征提取得到当前子图像的位置信息通过如下方式实现：
初始特征确定模块，被配置为利用预设目标检测模型中的全卷积网络层，对所述当前道路图像中的待识别交通标志牌图像进行特征提取，得到所述交通标志牌图像的初始特征，所述初始特征至少包括交通标志牌的边缘特征；
最佳候选提取框确定模块，被配置为利用预设目标检测模型中的特征提取网络层，并基于所述初始特征确定包含有交通标志牌的最佳候选提取框，将所述最佳候选提取框所在位置作为交通标志牌的定位边界框的位置，并利用基于区域的卷积神经网络R-CNN，输出包含有定位边界框及其内部交通标志牌的当前子图像。
在上述实施例的基础上，所述最佳候选提取框确定模块具体被配置为：
对所述初始特征进行分离卷积，得到分离矩阵；
基于所述分离矩阵确定包含有交通标志牌的最佳候选提取框，将所述最佳候选提取框所在位置作为交通标志牌的定位边界框的位置，并利用基于区域的卷积神经网络R-CNN，输出包含有定位边界框及其内部交通标志牌的当前子图像。
在上述实施例的基础上，所述当前特征序列确定模块具体被配置为：
利用卷积神经网络CNN，按照从左至右的方向对所述当前子图像进行特征提取，使得每列特征图均对应一个特征向量，各列特征图所对应的特征向量组成所述当前子图像的特征序列。
在上述实施例的基础上，所述第一语义信息识别模块包括：
字符序列转化单元，被配置为基于所述卷积循环神经网络模型中的循环神经网络RNN将所述特征序列转化为字符序列；
语义信息确定单元，被配置为基于所述卷积循环神经网络模型中的转录层，并根据预设条件概率对所述字符序列进行去冗余处理，得到目标字符序列对应的目标语义信息；其中，所述预设条件概率的对数似然函数为所述卷积循环神经网络模型的损失函数。
在上述实施例的基础上，所述语义信息确定单元，具体被配置为：
利用连接时序分类器CTC从预设词典中选取概率最高的字符序列作为目标字符序列；其中，所述预设词典为所有合法的交通标志牌语义的集合。
本发明实施例所提供的车辆的定位装置可执行本发明任意实施例所提供的车辆的定位方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的车辆的定位方法。
实施例五
请参阅图11，图11是本发明实施例提供的一种车载终端的结构示意图。如图11所示，该车载终端可以包括：
存储有可执行程序代码的存储器901；
与存储器901耦合的处理器902；
其中，处理器902调用存储器901中存储的可执行程序代码，执行本发明任意实施例所提供的交通标志的识别方法，或者神经网络模型的训练方法。
本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的交通标志的识别方法，或者神经网络模型的训练方法的部分或全部步骤的指令。
本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明任意实施例所提供的交通标志的识别方法，或者神经网络模型的训练方法的部分或全部步骤。
在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在本发明所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。
另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种基于自动驾驶电子导航地图的驾驶策略生成方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (16)

1.一种交通标志的识别方法，其特征在于，包括：
获取当前道路图像中交通标志牌区域的当前子图像的位置信息和类别信息，其中，所述位置信息和类别信息是通过对所述当前道路图像中的待识别交通标志牌图像进行特征提取得到的；
按照所述位置信息和所述类别信息，利用卷积神经网络CNN对所述当前子图像进行特征提取，得到所述当前子图像的特征序列；
根据所述特征序列和预设卷积循环神经网络CRNN模型，得到所述当前子图像对应的目标语义信息，所述CRNN模型使得道路图像中交通标志牌区域的子图像的特征序列与其对应的语义信息相关联。
2.根据权利要求1所述的方法，其特征在于，所述CRNN模型通过以下方式构建：
获取历史道路图像中仅包含有交通标志牌位置区域的历史子图像及其类别信息和语义信息，其中，所述历史子图像及其类别信息是利用预设目标检测模型对所述历史道路图像中的待识别交通标志牌图像进行特征提取得到的，所述预设目标检测模型使得交通标志牌的类别信息与语义信息相关联；
对所述历史子图像进行特征提取，得到所述历史子图像的特征序列；
基于多个历史子图像的特征序列、类别信息及对应的语义信息生成第一训练样本集；
基于机器学习算法对初始神经网络模型进行训练，得到CRNN模型，所述CRNN模型使得所述第一训练样本集中每个历史子图像的特征序列、类别信息与其对应的语义信息相关联。
3.根据权利要求1-2任一项所述的方法，其特征在于，对所述当前道路图像中的待识别交通标志牌图像进行特征提取得到当前子图像的位置信息，包括：
利用预设目标检测模型中的全卷积网络层，对所述当前道路图像中的待识别交通标志牌图像进行特征提取，得到所述交通标志牌图像的初始特征，所述初始特征至少包括交通标志牌的边缘特征；
利用预设目标检测模型中的特征提取网络层，并基于所述初始特征确定包含有交通标志牌的最佳候选提取框，将所述最佳候选提取框所在位置作为交通标志牌的定位边界框的位置，并利用基于区域的卷积神经网络R-CNN，输出包含有定位边界框及其内部交通标志牌的当前子图像。
4.根据权利要求3任一项所述的方法，其特征在于，基于所述初始特征确定包含有交通标志牌的最佳候选提取框，包括：
对所述初始特征进行分离卷积，得到分离矩阵；
基于所述分离矩阵确定包含有交通标志牌的最佳候选提取框。
5.根据权利要求1-4任一所述的方法，其特征在于，利用卷积神经网络CNN对所述当前子图像进行特征提取，得到所述当前子图像的特征序列，包括：
利用卷积神经网络CNN，按照从左至右的方向对所述当前子图像进行特征提取，使得每列特征图均对应一个特征向量，各列特征图所对应的特征向量组成所述当前子图像的特征序列。
6.根据权利要求1-5任一所述的方法，其特征在于，根据所述特征序列和预设卷积循环神经网络CRNN模型，得到所述当前子图像对应的目标语义信息，包括：
基于所述卷积循环神经网络模型中的循环神经网络RNN将所述特征序列转化为字符序列；
基于所述卷积循环神经网络模型中的转录层，并根据预设条件概率对所述字符序列进行去冗余处理，得到目标字符序列对应的目标语义信息；其中，所述预设条件概率的对数似然函数为所述卷积循环神经网络模型的损失函数。
7.根据权利要求6所述的方法，其特征在于，基于所述卷积循环神经网络模型中的转录层，并根据预设条件概率对所述字符序列进行去冗余处理，得到目标字符序列对应的目标语义信息，包括：
利用连接时序分类器CTC从预设词典中选取概率最高的字符序列作为目标字符序列；其中，所述预设词典为所有合法的交通标志牌语义的集合。
8.一种交通标志的识别装置，其特征在于，包括：
当前子图像信息获取模块，被配置为获取当前道路图像中交通标志牌区域的当前子图像的位置信息和类别信息，其中，所述位置信息和类别信息是利用通过对所述当前道路图像中的待识别交通标志牌图像进行特征提取得到的；
当前特征序列确定模块，被配置为按照所述位置信息和所述类别信息，利用卷积循环神经网络CNN对所述当前子图像进行特征提取，得到所述当前子图像的特征序列；
语义信息识别模块，被配置为根据所述特征序列和预设卷积循环神经网络CRNN模型，得到所述当前子图像对应的目标语义信息，所述CRNN模型使得道路图像中交通标志牌区域的图像的特征序列与其对应的语义信息相关联。
9.一种神经网络模型的训练方法，其特征在于，包括：
获取历史道路图像中仅包含有交通标志牌位置区域的历史子图像及其类别信息和语义信息，其中，所述历史子图像及其类别信息是利用预设目标检测模型对所述历史道路图像中的待识别交通标志牌图像进行特征提取得到的，所述预设目标检测模型使得交通标志牌的类别信息与语义信息相关联；
对所述历史子图像进行特征提取，得到所述历史子图像的特征序列；
基于多个历史子图像的特征序列、类别信息及对应的语义信息生成第一训练样本集；
基于机器学习算法对初始神经网络模型进行训练，得到CRNN模型，所述CRNN模型使得所述第一训练样本集中每个历史子图像的特征序列、类别信息与其对应的语义信息相关联。
10.根据权利要求9所述的方法，其特征在于，所述预设目标检测模型是通过以下方式构建的：
获取标注有交通标志牌的位置信息、类别信息和语义信息的历史道路样本图像；
提取所述历史道路样本图像中交通标志牌的位置信息，并基于多个所述位置信息及其对应的类别信息和语义信息生成第二训练样本集；
基于机器学习算法建立预设目标检测模型，所述预设目标检测模型使得所述第二训练样本集中每个类别信息与其对应的语义信息相关联。
11.根据权利要求10所述的方法，其特征在于，在得到所述CRNN模型之后，所述方法还包括：
利用全部历史道路样本图像及其对应的位置信息和类别信息，以及所述历史道路样本图像中的历史子图像对应的语义信息，对级联的所述预设目标检测模型和所述CRNN模型进行端对端训练。
12.一种神经网络模型的训练装置，其特征在于，包括：
历史子图像信息获取模块，被配置为获取历史道路图像中仅包含有交通标志牌位置区域的历史子图像及其类别信息和语义信息，其中，所述历史子图像及其类别信息是利用预设目标检测模型对所述历史道路图像中的待识别交通标志牌图像进行特征提取得到的，所述预设目标检测模型使得交通标志牌的类别信息与语义信息相关联；
历史特征序列确定模块，被配置为对所述历史子图像进行特征提取，得到所述历史子图像的特征序列；
第一训练样本集生成模块，被配置为基于多个历史子图像的特征序列、类别信息及对应的语义信息生成第一训练样本集；
神经网络模型训练模块，用于基于机器学习算法对初始神经网络模型进行训练，得到CRNN模型，所述CRNN模型使得所述第一训练样本集中每个历史子图像的特征序列、类别信息与其对应的语义信息相关联。
13.一种交通标志的识别方法，其特征在于，包括：
获取当前道路图像；
提取所述当前道路图像中交通标志牌的当前位置信息；
基于所述当前位置信息和预设目标检测模型，确定所述交通标志牌的类别信息，并根据所述类别信息确定交通标志牌的语义信息，其中，预设目标检测模型使得交通标志牌的类别信息与所述语义信息相关联。
14.一种交通标志的识别装置，其特征在于，包括：
当前道路图像获取模块，被配置为获取当前道路图像；
当前位置特征提取模块，被配置为提取所述当前道路图像中交通标志牌的当前位置信息；
语义信息识别模块，被配置为基于所述位置信息和预设目标检测模型，确定所述交通标志牌的类别信息，并根据所述类别信息确定交通标志牌的语义信息，其中，预设目标检测模型使得交通标志牌的类别信息与所述语义信息相关联。
15.一种神经网络模型的训练方法，其特征在于，包括：
获取标注有交通标志牌的位置信息、类别信息和语义信息的历史道路样本图像；
提取所述历史道路样本图像中交通标志牌的位置信息，并基于多个所述位置信息及其对应的类别信息和语义信息生成第二训练样本集；
基于机器学习算法建立预设目标检测模型，所述预设目标检测模型使得所述第二训练样本集中每个类别信息与其对应的语义信息相关联。
16.一种神经网络模型的训练装置，其特征在于，包括：
历史道路样本图像获取模块，被配置为获取标注有交通标志牌的位置信息、类别信息和语义信息的历史道路样本图像；
第二训练样本集生成模块，被位置为提取所述历史道路样本图像中交通标志牌的位置信息，并基于多个所述位置信息及其对应的类别信息和语义信息生成第二训练样本集；
预设目标检测模型训练模块，被配置为基于机器学习算法建立预设目标检测模型，所述预设目标检测模型使得所述第二训练样本集中每个类别信息与其对应的语义信息相关联。
CN201910081841.2A 2019-01-28 2019-01-28 交通标志识别方法、神经网络模型的训练方法和装置 Withdrawn CN111488770A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910081841.2A CN111488770A (zh) 2019-01-28 2019-01-28 交通标志识别方法、神经网络模型的训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910081841.2A CN111488770A (zh) 2019-01-28 2019-01-28 交通标志识别方法、神经网络模型的训练方法和装置

Publications (1)

Publication Number Publication Date
CN111488770A true CN111488770A (zh) 2020-08-04

Family

ID=71791550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910081841.2A Withdrawn CN111488770A (zh) 2019-01-28 2019-01-28 交通标志识别方法、神经网络模型的训练方法和装置

Country Status (1)

Country Link
CN (1) CN111488770A (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931683A (zh) * 2020-08-25 2020-11-13 腾讯科技（深圳）有限公司 图像识别方法、装置及计算机可读存储介质
CN111931693A (zh) * 2020-08-31 2020-11-13 平安国际智慧城市科技股份有限公司 基于人工智能的交通标志识别方法、装置、终端及介质
CN112560609A (zh) * 2020-12-03 2021-03-26 北京百度网讯科技有限公司 路况预估方法、建立路况预估模型的方法及对应装置
CN112712066A (zh) * 2021-01-19 2021-04-27 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
CN112818823A (zh) * 2021-01-28 2021-05-18 建信览智科技(北京)有限公司 一种基于票据内容和位置信息的文本抽取方法
CN113348463A (zh) * 2021-04-26 2021-09-03 华为技术有限公司 一种信息处理方法及装置
CN113762257A (zh) * 2021-09-30 2021-12-07 时趣互动（北京）科技有限公司 一种美妆品牌图像中标志的识别方法及装置
CN113963329A (zh) * 2021-10-11 2022-01-21 浙江大学 一种基于双阶段卷积神经网络的数字类交通标志检测识别方法
CN114419594A (zh) * 2022-01-17 2022-04-29 智道网联科技(北京)有限公司 智慧交通路牌的识别方法及装置
CN114495061A (zh) * 2022-01-25 2022-05-13 青岛海信网络科技股份有限公司 一种道路交通标志牌识别方法及装置
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
CN117523535A (zh) * 2024-01-08 2024-02-06 浙江零跑科技股份有限公司 一种交通指示牌的识别方法、终端设备以及存储介质
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving
CN113762257B (zh) * 2021-09-30 2024-07-05 时趣互动（北京）科技有限公司 一种美妆品牌图像中标志的识别方法及装置

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12020476B2 (en) 2017-03-23 2024-06-25 Tesla, Inc. Data synthesis for autonomous control systems
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11797304B2 (en) 2018-02-01 2023-10-24 Tesla, Inc. Instruction set architecture for a vector computational unit
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11983630B2 (en) 2018-09-03 2024-05-14 Tesla, Inc. Neural networks for embedded devices
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11908171B2 (en) 2018-12-04 2024-02-20 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
CN111931683B (zh) * 2020-08-25 2023-09-05 腾讯科技（深圳）有限公司 图像识别方法、装置及计算机可读存储介质
CN111931683A (zh) * 2020-08-25 2020-11-13 腾讯科技（深圳）有限公司 图像识别方法、装置及计算机可读存储介质
CN111931693A (zh) * 2020-08-31 2020-11-13 平安国际智慧城市科技股份有限公司 基于人工智能的交通标志识别方法、装置、终端及介质
US11887376B2 (en) 2020-12-03 2024-01-30 Beijing Baidu Netcom Science Technology Co., Ltd. Method and apparatus of estimating road condition, and method and apparatus of establishing road condition estimation model
CN112560609A (zh) * 2020-12-03 2021-03-26 北京百度网讯科技有限公司 路况预估方法、建立路况预估模型的方法及对应装置
CN112712066A (zh) * 2021-01-19 2021-04-27 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
CN112818823A (zh) * 2021-01-28 2021-05-18 建信览智科技(北京)有限公司 一种基于票据内容和位置信息的文本抽取方法
CN112818823B (zh) * 2021-01-28 2024-04-12 金科览智科技(北京)有限公司 一种基于票据内容和位置信息的文本抽取方法
WO2022226723A1 (zh) * 2021-04-26 2022-11-03 华为技术有限公司 一种信息处理方法及装置
CN113348463B (zh) * 2021-04-26 2022-05-10 华为技术有限公司 一种信息处理方法及装置
CN113348463A (zh) * 2021-04-26 2021-09-03 华为技术有限公司 一种信息处理方法及装置
CN113762257A (zh) * 2021-09-30 2021-12-07 时趣互动（北京）科技有限公司 一种美妆品牌图像中标志的识别方法及装置
CN113762257B (zh) * 2021-09-30 2024-07-05 时趣互动（北京）科技有限公司 一种美妆品牌图像中标志的识别方法及装置
CN113963329A (zh) * 2021-10-11 2022-01-21 浙江大学 一种基于双阶段卷积神经网络的数字类交通标志检测识别方法
CN113963329B (zh) * 2021-10-11 2022-07-05 浙江大学 一种基于双阶段卷积神经网络的数字类交通标志检测识别方法
CN114419594A (zh) * 2022-01-17 2022-04-29 智道网联科技(北京)有限公司 智慧交通路牌的识别方法及装置
CN114495061A (zh) * 2022-01-25 2022-05-13 青岛海信网络科技股份有限公司 一种道路交通标志牌识别方法及装置
CN114495061B (zh) * 2022-01-25 2024-04-05 青岛海信网络科技股份有限公司 一种道路交通标志牌识别方法及装置
CN117523535A (zh) * 2024-01-08 2024-02-06 浙江零跑科技股份有限公司 一种交通指示牌的识别方法、终端设备以及存储介质
CN117523535B (zh) * 2024-01-08 2024-04-12 浙江零跑科技股份有限公司 一种交通指示牌的识别方法、终端设备以及存储介质

Similar Documents

Publication Publication Date Title
CN111488770A (zh) 交通标志识别方法、神经网络模型的训练方法和装置
CN113688652B (zh) 一种异常驾驶行为的处理方法和装置
Busta et al. Deep textspotter: An end-to-end trainable scene text localization and recognition framework
CN106960206B (zh) 字符识别方法和字符识别***
CN108960189B (zh) 图像再识别方法、装置及电子设备
CN110276253A (zh) 一种基于深度学习的模糊文字检测识别方法
CN107506763A (zh) 一种基于卷积神经网络的多尺度车牌精准定位方法
CN111260666A (zh) 图像处理方法及装置、电子设备、计算机可读存储介质
CN111046971A (zh) 图像识别方法、装置、设备及计算机可读存储介质
KR102197930B1 (ko) 번호판 인식 방법 및 시스템
CN112949578B (zh) 车灯状态识别方法、装置、设备及存储介质
CN112861739A (zh) 端到端文本识别方法、模型训练方法及装置
CN115131797A (zh) 一种基于特征增强金字塔网络的场景文本检测方法
CN111274981A (zh) 目标检测网络构建方法及装置、目标检测方法
CN116311279A (zh) 样本图像的生成、模型训练、字符识别方法、设备及介质
CN112348028A (zh) 一种场景文本检测方法、批改方法、装置、电子设备及介质
CN113963333B (zh) 一种基于改进yolof模型的交通标志牌检测方法
CN111523351A (zh) 神经网络的训练方法、装置和电子设备
CN117765485A (zh) 基于改进的深度残差网络的车型识别方法、装置和设备
CN116884003B (zh) 图片自动标注方法、装置、电子设备及存储介质
CN111291754A (zh) 一种文本级联检测方法、装置及存储介质
KR102026280B1 (ko) 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템
CN111898570A (zh) 基于双向特征金字塔网络的图像中文本识别方法
CN116958512A (zh) 目标检测方法、装置、计算机可读介质及电子设备
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211123

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province

Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
WW01 Invention patent application withdrawn after publication

Application publication date: 20200804

WW01 Invention patent application withdrawn after publication