CN114550137B - 识别交通标志牌的方法、装置和电子设备 - Google Patents

识别交通标志牌的方法、装置和电子设备 Download PDF

Info

Publication number
CN114550137B
CN114550137B CN202210172954.5A CN202210172954A CN114550137B CN 114550137 B CN114550137 B CN 114550137B CN 202210172954 A CN202210172954 A CN 202210172954A CN 114550137 B CN114550137 B CN 114550137B
Authority
CN
China
Prior art keywords
feature extraction
feature
traffic sign
branches
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210172954.5A
Other languages
English (en)
Other versions
CN114550137A (zh
Inventor
李耀萍
贾双成
朱磊
单国航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidao Network Technology Beijing Co Ltd
Original Assignee
Zhidao Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidao Network Technology Beijing Co Ltd filed Critical Zhidao Network Technology Beijing Co Ltd
Priority to CN202210172954.5A priority Critical patent/CN114550137B/zh
Publication of CN114550137A publication Critical patent/CN114550137A/zh
Application granted granted Critical
Publication of CN114550137B publication Critical patent/CN114550137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及了一种识别交通标志牌的方法、装置和电子设备。该方法包括：通过输入层获得图像信息，图像信息包括交通标志牌的图像；通过多个特征提取分支分别处理图像信息，得到多尺度融合的交通标志牌特征；通过输出层处理多尺度融合的交通标志牌特征，确定并且输出交通标志牌的顶点坐标信息；其中，多个特征提取分支中的至少一个分支与输入层相连，多个特征提取分支的至少一个分支与输出层相连，多个特征提取分支各自提取的特征图的分辨率不同，每个特征提取分支包括串联的多级特征提取模块，不同特征提取分支中相同级的特征提取模块与下一相同级的特征提取模块之间分别相连。本申请能够有效提升针对多种尺寸的交通标志牌的识别准确率。

Description

识别交通标志牌的方法、装置和电子设备
技术领域
本申请涉及人工智能技术领域，尤其涉及一种识别交通标志牌的方法、装置和电子设备。
背景技术
随着计算机技术和人工智能技术的快速发展，人工智能技术被应用到越来越多的场景中，如识别交通标志牌等。
然而，申请人发现相关技术使用同一个模型对多种尺寸的交通标志牌进行识别时，识别准确度有待提升。
发明内容
为解决或部分解决相关技术中存在的问题，本申请提供一种识别交通标志牌的方法、装置和电子设备，能够提升针对多种尺寸的交通标志牌的识别准确度。
本申请的第一个方面提供了一种识别交通标志牌的方法，包括：通过输入层获得图像信息，图像信息包括交通标志牌的图像；通过多个特征提取分支分别处理图像信息，得到多尺度融合的交通标志牌特征；通过输出层处理多尺度融合的交通标志牌特征，确定并且输出交通标志牌的顶点坐标信息；其中，多个特征提取分支中的至少一个分支与输入层相连，多个特征提取分支的至少一个分支与输出层相连，多个特征提取分支各自提取的特征图的分辨率不同，每个特征提取分支包括串联的多级特征提取模块，不同特征提取分支中相同级的特征提取模块与下一相同级的特征提取模块之间分别相连。
根据本申请的某些实施例，多个特征提取分支分别与输入层相连，多个特征提取分支各自包括的特征提取模块的级数相同，并且不同特征提取分支中相同级的特征提取模块各自包括的残差结构数量不同。
根据本申请的某些实施例，多个特征提取分支分别与输入层相连，多个特征提取分支各自包括的特征提取模块的级数不同，并且不同特征提取分支中相同级的特征提取模块各自包括的残差结构数量不同。
根据本申请的某些实施例，多个特征提取分支中特征提取模块的级数与分辨率之间负相关。
根据本申请的某些实施例，多个特征提取模块各自包括的残差结构数量与分辨率之间负相关。
根据本申请的某些实施例，特征提取模块包括：特征采样单元，用于对当前级的上一相同级的特征提取模块各自输出的特征图分别进行复制、上采样和/或下采样，得到当前级的相同尺度的特征图；特征融合单元，用于对当前级的相同尺度特征图进行融合，得到融合特征图；特征提取单元，包括至少一个残差结构，多个残差结构之间串联，用于处理融合特征图，获得特征图。
根据本申请的某些实施例，对特征图进行下采样包括：对特征图进行卷积操作或者池化操作。
根据本申请的某些实施例，上述方法还可以包括：基于交通标志牌的顶点坐标信息从图像信息中获取交通标志牌图像；对交通标志牌图像进行识别，得到交通标志信息。
本申请的第二方面提供了一种识别交通标志牌的装置，包括：图像信息输入模块，用于通过输入层获得图像信息，图像信息包括交通标志牌的图像；多尺度融合特征获得模块，用于通过多个特征提取分支分别处理图像信息，得到多尺度融合的交通标志牌特征；其中，多个特征提取分支中的至少一个分支与输入层相连，多个特征提取分支的至少一个分支与输出层相连，多个特征提取分支各自提取的特征图的分辨率不同，每个特征提取分支包括串联的多级特征提取模块，不同特征提取分支中相同级的特征提取模块与下一相同级的特征提取模块之间分别相连；顶点坐标输出模块，用于通过输出层处理多尺度融合的交通标志牌特征，确定并且输出交通标志牌的顶点坐标信息。
本申请的第三方面提供了一种电子设备，包括：处理器；存储器，其上存储有可执行代码，当上述可执行代码被处理器执行时，使得处理器执行上述方法。
本申请的第四方面还提供了一种计算机可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行上述方法。
本申请的第五方面还提供了一种计算机程序产品，包括可执行代码，可执行代码被处理器执行时实现上述方法。
本申请提供的识别交通标志牌的方法、装置和电子设备，通过多个特征提取分支分别提取多种分辨率的特征图，并且对多种分辨率的特征图进行逐级融合，得到多尺度融合的交通标志牌特征，使得特征图中能够包括丰富的高分辨率特征信息和低分辨率的特征信息。本申请能够从图像信息中分别准确地提取具有不同尺寸的交通标志牌的顶点坐标，提升识别准确度。
本申请提供的识别交通标志牌的方法、装置和电子设备，通过多个串联的残差结构构建特征提取模块，使得可以有效提升特征图的感受野，适合于交通标志牌的顶点识别的场景。
本申请提供的识别交通标志牌的方法、装置和电子设备，至少部分特征提取模块各自包括多个串联的残差结构，多个串联的残差结构可以有效减少因为梯度弥散或者梯度***导致的：模型识别准确度随着网络深度过深而下降的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1示意性示出了根据本申请实施例的识别交通标志牌的一种应用场景示意图；
图2示意性示出了根据本申请实施例的可以应用识别交通标志牌的方法、装置和电子设备的示例性***架构；
图3示意性示出了根据本申请实施例的识别交通标志牌的方法的流程图；
图4示意性示出了根据本申请实施例的标志牌识别模型的一种结构示意图；
图5示意性示出了根据本申请实施例的标志牌识别模型的另一种结构示意图；
图6示意性示出了根据本申请实施例的标志牌识别模型的另一种结构示意图；
图7示意性示出了根据本申请实施例的特征提取模块的一种结构示意图；
图8示意性示出了根据本申请实施例的特征提取模块的另一种结构示意图；
图9示意性示出了根据本申请实施例的识别交通标志牌的装置的方框图；
图10示意性示出了根据本申请实施例的一种电子设备的方框图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在此使用的术语“包括”、“包含”等表明了特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
交通标志牌的顶点识别在现阶段是一个研究火热的问题。相关技术中分为两大类：基于传统算法识别和基于神经网络识别。相关技术基于神经网络识别交通标志牌的顶点时，由于交通标志牌可能具有多种尺寸，使用同一个模型对具有不同尺寸的交通标志牌进行识别时，识别效果差异较大，导致整体识别准确率不佳。
本申请实施例通过高分辨率特征提取分支提取具有高分辨率的特征图，通过低分辨率特征提取分支提取具有低分辨率的特征图，使得能够从图像信息中分别提取具有不同尺寸的交通标志牌的顶点坐标，提升识别准确度。此外，将不同特征提取分支各自提取的特征图进行同级融合，有效提升了特征图中包括的高分辨率特征和低分辨率特征，能够针对不同尺寸的交通标志牌提取出高质量的特征，进一步提升了识别效果。
以下将通过图1至图10对本申请实施例的一种识别交通标志牌的方法、装置和电子设备进行详细描述。
图1示意性示出了根据本申请实施例的识别交通标志牌的一种应用场景示意图。
参见图1，是某处公路的示意图。公路上方或两侧可以设置有交通标志牌，以提示交通信息。交通标志用于以文字或符号传递引导、限制、警告或指示信息的道路设施。交通标志分为主标志和辅助标志两大类。主标志包括但不限于：警告标志、禁令标志、指示标志、指路标志、旅游区标志和道路施工安全标志等。
例如，图1中的三角形交通标志牌属于警告标志，指示前方道路右侧变窄。图1中的矩形交通标志牌属于指路标志。
以具有辅助驾驶或者自动驾驶功能的车辆的拍摄装置的场景为例，车辆在道路上行驶过程中可以通过拍摄装置拍摄多帧图像。同一个交通标志牌的图像在拍摄的图像中的占比可能不断变化，如随着车辆距离交通标志牌的距离越近，上述占比越高。由于需要对拍摄的多帧图像进行交通标识识别以实现辅助驾驶或者实现自动驾驶，对识别速度要求较高。
此外，如果由设置在车辆上的计算设备进行交通标识识别，受限于计算设备的计算性能有限，对交通标志牌识别模型的处理速度和离线处理性能等提出了更高的要求。
参见图1，矩形交通标志牌具有四个顶点，三角形交通标志牌具有三个顶点。顶点的顶点坐标可以表示为(xi，yi)，i是大于或者等于1的整数。通过识别出的交通标识便于规划或修整辅助/自动驾驶策略，如加减速、避障、路径规划等。
图2示意性示出了根据本申请实施例的可以应用识别交通标志牌的方法、装置和电子设备的示例性***架构。需要注意的是，图2所示仅为可以应用本申请实施例的***架构的示例，以帮助本领域技术人员理解本申请的技术内容，但并不意味着本申请实施例不可以用于其他设备、***、环境或场景。
参见图2，根据该实施例的***架构200可以包括移动设备201、202、203，网络204和云端205。网络204用以在移动设备201、202、203和云端205之间提供通信链路的介质。网络204可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用移动设备201、202、203通过网络204与其他可移动设备和云端205进行交互，以接收或发送信息等，如发送模型训练请求、交通标志牌识别请求和接收经训练的模型参数、交通标志信息等。移动设备201、202、203可以安装有各种通讯客户端应用，例如，车机应用、网页浏览器应用、数据库类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等应用等。
移动设备201、202、203包括但不限于汽车、机器人、平板电脑、膝上型便携计算机等等可以支持上网、人机交互等功能的电子设备。
云端205可以接收模型训练请求、交通标志牌识别请求等，调整模型参数进行模型训练、下发模型拓扑结构、下发经训练的模型参数、下发识别得到的交通标志信息等，还可以发送实时交通标志信息给移动设备201、202、203。例如，云端205可以为后台管理服务器、服务器集群、车联网等。
需要说明的是，移动设备、网络和云端的服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的可移动设备、网络和云端。
图3示意性示出了根据本申请实施例的识别交通标志牌的方法的流程图。
参见图3，该实施例提供了一种识别交通标志牌的方法，该方法包括操作S310～操作S330，具体如下所示。
在操作S310中，通过输入层获得图像信息，图像信息包括交通标志牌的图像。
其中，图像信息可以是由设置在车辆上的拍摄装置进行拍摄而得到的。拍摄装置可以是单目拍摄装置。此外，也可以使用双目拍摄装置等，可以对双目拍摄装置拍摄的两个图像进行图像融合后，再进行交通标志识别。另外，图像也可以是智能手机或者具有拍照功能的装置所拍摄的照片等。
例如，图像可以是车载摄像头所拍摄的一帧或多帧图像。拍摄的图像中可以包括至少一个交通标识牌的图像。交通标志牌是安装在道路上方或侧方的指示牌，交通标志牌的形状包括三角形、矩形、多边形等。例如，对于矩形交通标志牌而言，其具有4个顶点(拍摄的图像中可能仅显示了交通标志牌的部分顶点)。拍摄的图像中的交通标志牌的数量并不局限一个，也可能是多个。
需要说明的是，本申请的技术方案能很好地适用于车辆在移动过程中由拍摄装置拍摄的图像：该场景下车辆可能在高速移动，拍摄的图像的帧率较高，需要能够快速地从图像帧中识别出交通标志牌的顶点。此外，不同时刻拍摄的图像中同一个交通标志牌的图像大小的变化幅度较大，如从占据图像面积的0.1％(如交通标志牌距离拍摄装置较远)～30％(或更大，如交通标志牌距离拍摄装置较近)等，本申请能够实现由计算能力有限的移动终端设备，快速地从多帧图像中识别出交通标志牌的顶点坐标。
在操作S320中，通过多个特征提取分支分别处理图像信息，得到多尺度融合的交通标志牌特征。
其中，多个特征提取分支中的至少一个分支与输入层相连，多个特征提取分支的至少一个分支与输出层相连，多个特征提取分支各自提取的特征图的分辨率不同，每个特征提取分支包括串联的多级特征提取模块，不同特征提取分支中相同级的特征提取模块与下一相同级的特征提取模块之间分别相连。
例如，多个特征提取分支可以包括至少一条用于提取高分辨率特征图的特征提取分支，还可以包括至少一条用于提取低分辨率特征图的特征提取分支。特征提取模块可以由至少一层卷积层构成。
在某些实施例中，按照尺寸划分可以将交通标志牌划分成小型交通标志牌、中型交通标志牌以及大型交通标志牌等。图像信息中可以包含一个或多个具有不同尺寸的交通标志牌。此外，随着车辆与交通标志牌之间的距离发生改变，也会导致采集的图像中的交通标志牌的大小发生改变。为了能够较好地对多种尺寸的交通标志牌(如小型、中型以及大型交通标志牌)以及不同图像占比的交通标志牌图像进行顶点识别，各特征提取分支的采用的卷积核和卷积通道数之间可以互不相同。
例如，特征提取分支有多条，每一条特征提取分支对图像至少进行两次卷积计算。例如，卷积计算采用的卷积核包括但不限于：1×1、2×2、3×3、5×5、7×7等。卷积计算的步长可以为1、2、3、5、7等。每个特征提取模块可以输出一个特征图，以便进行多尺度特征图融合。
例如，每一条特征提取分支对图像进行n次卷积计算，其中，n＞＝2，且n为整数。例如，某个特征提取分支的特征提取模块采用的卷积核为3×3，步长为2。
卷积计算过程可以如下所示：首先，初始化卷积核N×N，其中N为[1,7]区间内的正奇数。然后，设定卷积通道数。接着，根据卷积核N×N和卷积通道数对图像进行卷积计算。
例如，假设有3条特征提取分支，第1条特征提取分支对图像进行首次卷积计算时，采用卷积核1×1、卷积通道数Channels＝512来对图像进行卷积计算，其中卷积核1×1重点关注的是图像中的小型交通标志牌。第2条特征提取分支对图像进行首次卷积计算时，采用卷积核3×3、卷积通道数Channels＝256来对图像进行卷积计算，其中卷积核3×3可以主要用于识别图像中的中型交通标志牌。第3条特征提取分支对图像进行首次卷积计算时，采用卷积核5×5、卷积通道数Channels＝128来对图像进行卷积计算，其中卷积核5×5可以主要用于识别图像中的大型交通标志牌。本实施例中通过设置不同大小的卷积核N×N(如上述的卷积核5×5、卷积核3×3卷积核1×1)，以此提高对不同尺寸的交通标志牌的识别效果。
具体地，获取携带有交通标志牌元素的图像，沿第1条特征提取分支、第2条特征提取分支以及第3条特征提取分支分别对图像依次进行卷积计算。例如，沿第1条特征提取分支的卷积采用卷积核1×1、卷积通道数Channels＝512对图像进行卷积计算。沿第2条特征提取分支的卷积采用卷积核3×3、卷积通道数Channels＝256对图像进行卷积计算。沿第3条特征提取分支的首次卷积采用卷积核5×5、卷积通道数Channels＝128对图像进行卷积计算。
在通过各特征提取分支的特征提取模块提取到不同分辨率的特征图之后，将多条特征提取分支各自的最后一个特征提取模块提取的不同分辨率的特征图，融合至分辨率最高的特征提取分支输出的特征图，得到多尺度融合的特征图。
此外，由于模型包括能够提取高分辨率的特征图的特征提取分支和能够提取低分辨率的特征图的特征提取分支，这两类特征提取分支并行连接，并且在不同分支之间进行多尺度特征融合，使得每一个高分辨率到低分辨率的特征图都从其它并行表示的特征图中反复接收信息，从而得到具有丰富的高分辨率特征和低分辨率特征的特征图。
在操作S330中，通过输出层处理多尺度融合的交通标志牌特征，确定并且输出交通标志牌的顶点坐标信息。
例如，可以将多尺度融合的特征图中像素值大于预设阈值的像素的坐标作为顶点坐标。
本申请实施例中，将输入的图像信息下降至多路特征提取分支，每个特征提取分支中分别传播若干个体征提取模块，并且将特征提取模块提取的不同尺度的特征图进行融合，使得可以随时保持高分辨率的特征图，而不仅仅靠从低分辨率的特征图中通过上采样来恢复高分辨率的特征图，能够有效提升针对多种尺寸的交通标志牌的识别效果。
图4示意性示出了根据本申请实施例的标志牌识别模型的一种结构示意图。
参见图4，多个特征提取分支分别与输入层相连，多个特征提取分支各自包括的特征提取模块的级数相同，并且不同特征提取分支中相同级的特征提取模块各自包括的残差结构数量不同。其中，采用残差结构进行特征提取，相对于普通的卷积层能够有效减少梯度弥散、梯度***等导致的模型难以训练等问题。此外，采用残差结构还能增加模型深度，有助于提升模型识别率。
参见图4，以标志牌识别模型包括至少三条特征提取分支进行示例性说明，其中，至少三条特征提取分支各自提取的特征图的分辨率由高到低，如前一条或前两条特征提取分支为高分辨率特征提取分支，其余特征提取分支为低分辨率特征提取分支。至少三条特征提取分支并行连接，并且在不同分支之间进行多尺度特征融合，使得每一个高分辨率到低分辨率的特征图都从其它并行表示的特征图中反复接收信息，从而得到具有丰富的低分辨率特征的高分辨率特征图。
例如，至少一个高分辨率特征提取分支分别与输入层相连，至少一个低分辨率特征提取分支分别与输入层相连，至少一个高分辨率特征提取分支和至少一个低分辨率特征提取分支各自包括的特征提取模块的级数相同。
图4中的每个方框表示一个特征提取模块。至少部分特征提取模块各自可以由一个或多个残差结构构成。图4中输入的图像信息(img)下降到至少三个分支后，分别传播若干个特征提取模块，将不同分支的相同级的特征提取模块提取的特征图进行融合。上述融合过程进行多次，如图4中的n级可以为8级，相应地进行了8次融合过程，最后将融合的特征图传输到第一个分支(如高分辨率的特征提取分支)，以便从融合后的高分辨率的特征图中确定交通标志牌的顶点坐标。
例如，特征提取模块可以包括：特征采样单元、特征融合单元和特征提取单元。
其中，特征采样单元用于对当前级的上一相同级的特征提取模块各自输出的特征图分别进行复制、上采样和/或下采样，得到当前级的相同尺度的特征图。例如，对低分辨率的特征图进行上采样，对高分辨率的特征图进行下采样，对相同级的特征图进行复制传输。具体地，通过上采样下采样/>填充(pooling)等方式将不同尺度的特征图变为相同尺度的特征图。例如，对特征图进行下采样可以包括：对特征图进行卷积操作或者池化操作。
例如，函数α(Xi，k)表示从分辨率i到k，对Xi上采样或下采样。可以采用特定步长的3×3卷积核做下采样。例如，向一个卷积核3×3做步长为2×2的下采样。对于上采样，可以采用最简单的近邻抽样，从1×1卷积校准通道的数量。如果i＝k，则α(Xi，k)指示一个识别连接(→)：α(Xi，k)＝Xi。
特征融合单元用于对当前级的相同尺度特征图进行融合，得到融合特征图。
特征提取单元包括至少一个残差结构，多个残差结构之间串联，用于处理融合特征图，获得特征图。这样可以通过卷积操作得到特征图。
图5示意性示出了根据本申请实施例的标志牌识别模型的另一种结构示意图。
参见图5，多个特征提取分支分别与输入层相连，多个特征提取分支各自包括的特征提取模块的级数不同，并且不同特征提取分支中相同级的特征提取模块各自包括的残差结构数量不同。
例如，至少一个高分辨率特征提取分支分别与输入层相连，至少一个低分辨率特征提取分支分别与输入层相连，至少一个低分辨率特征提取分支各自包括的特征提取模块的级数，大于至少一个高分辨率特征提取分支各自包括的特征提取模块的级数。
在某些实施例中，多个特征提取分支中特征提取模块的级数与分辨率之间负相关。例如，高分辨率的特征提取分支中的特征提取模块的数量，少于低分辨率的特征提取分支中的特征提取模块的数量。
例如，可以通过残差结构提取特征图，串联的残差结构越多，模型体量越大，通过减少高分辨率特征提取分支中的特征提取模块的数量，可以减小标志牌识别模型的体量，减少模型占用的存储空间。
图6示意性示出了根据本申请实施例的标志牌识别模型的另一种结构示意图。
参见图6，从分支的角度来分，标志牌识别模型包括四个特征提取分支。从级别角度来分，标志牌识别模型包括多个重复的基础单元，如8个重复的基础单元(可以具有更多或更少的基础单元)。图像分别输入至各特征提取分支之后，各特征提取分支分别对图像进行特征提取。具体地，多个特征提取模块各自包括的残差结构数量与分辨率之间负相关。
图6中每个特征提取分支包括多个串联的特征提取模块。第四分支的特征提取模块与下一级特征提取模块之间的连接关系没有全部展示出来，如没有示出其与第一特征提取分支和第二特征提取分支的特征提取模块之间的连接关系。
例如，标志牌识别模型可以包括四个特征提取分支。其中，至少一个高分辨率特征提取分支包括：第一分支和第二分支，第一分支和第二分支提取的特征图的分辨率依次降低。至少一个低分辨率特征提取分支包括：第三分支和第四分支，第三分支和第四分支提取的特征图的分辨率依次降低。其中，第二分支中的特征提取模块包括的残差结构的数量大于第一分支中的特征提取模块包括的残差结构的数量。
图6中不同特征提取分支的特征提取模块各自包括的残差结构的数量不同。例如，第一特征提取分支的特征提取模块包括1个残差结构。第二特征提取分支的特征提取模块包括串联的2个残差结构。第三特征提取分支的特征提取模块包括串联的4个残差结构。第四特征提取分支的特征提取模块包括串联的8个残差结构。其中，多个串联的残差结构有助于提升感受野，使得模型更加适合于从多帧图像信息中识别具有小尺寸的交通标志牌的顶点的场景。
图6中的4个特征提取分支提取的特征图的分辨率逐渐减小，可以分别用于识别具有不同尺寸的交通标志牌。例如，大分辨率识别小尺寸的交通标志牌。低分辨率识别大尺寸的交通标志牌。4个特征提取分支可以将输入降低到足够小的分辨率。
图6所示的标志牌识别模型的测试结果如表1所示。
本实施例中，能够提取多种分辨率的特征图的特征提取分支并行连接。在特征提取过程中，在并行的特征提取分支直接反复交换信息来进行多尺度的重复融合。具体地，利用相同深度和相似级别的低分辨率特征图来提升高分辨率的特征图的表示能力，反之亦然。因此，有效提升基于多尺度融合的交通标志牌特征确定的交通标志牌的顶点坐标。
图7示意性示出了根据本申请实施例的特征提取模块的一种结构示意图。
参见图7，第一批量归一化(Batch Normalization，简称BN)层，对待识别图片进行批量归一化处理。
第一卷积层对批量归一化处理后的图像信息进行卷积计算，得到第一特征图。
第二批量归一化层，对第一特征图进行批量归一化处理，得到第二特征图。
激活函数层，用于对第二特征图进行激活操作。
第二卷积层对经过激活处理后的第二特征图进行卷积计算，得到第三特征图。
对第三特征图和待识别图片按照预置残差融合算法进行特征融合，得到特征提取模块输出的特征图。
在对图像(或者特征图)进行批量归一化处理时，可以先获取图像的像素值，根据图像的像素值计算出对应的平均值和方差，设定与图像对应的缩放系数和平移系数，根据与图像对应的平均值、方差、缩放系数和平移系数对图像进行批量归一化处理。
需要说明的是，图7所示的特征提取模块的结构仅为示例性示出，在此不做限定。例如，特征提取模块还可以包括更多批量归一化层、卷积层和激活层等。此外，特征提取模块中的各层之间的顺序可以改变。例如，可以先通过卷积层对图像进行卷积操作，得到特征图。然后，通过批量归一化层对特征图进行批量归一化操作等。
例如，可以采用式(1)对图像(或者特征图)的批量归一化处理。
其中，xi为图像内的像素值，μ为根据图像中的像素值计算的平均值，σ2为根据图像中的像素值计算的方差，γ为与图像对应的缩放系数，β为与图像对应的平移系数，xinew为经过批量归一化处理后的像素值，ε为大于0的常数，作用是不让分母为0。
其中，σ2可以采用式(2)进行计算。
式(2)中的n为第一卷积特征图的像素值的个数，xi为第一卷积特征图内的像素值，μ可以采用式(3)进行计算。
式(2)中的n为第一卷积特征图的像素值的个数，xi为第一卷积特征图内第i个像素的像素值。
请一并参考图6和图7，在将图像分别传输至四个特征提取分支后，对于至少部分特征提取分支中的特征提取模块，可以采用如上方式进行特征提取。
图8示意性示出了根据本申请实施例的特征提取模块的另一种结构示意图。
参见图8，残差结构是一个结构块。残差结构不是让网络直接拟合原先的映射，而是拟合残差映射。比如用H(x)来表示最优解映射，但是让堆叠的非线性层去拟合另一个映射F(x)＝H(x)-x，原始映射被重新转换为F(x)+x。
实际上，把残差逼近至0和把此映射逼近另一个非线性层相比要容易的多。使用残差的解法收敛速度要比不用残差的普通解法要快得多。
F(x)+x的公式可以通过具有快捷连接的前馈神经网络来实现，快捷连接跳过一个或多个层。且不增加参数和复杂性。
参见图8，输入图像是256维(dimensions，简称d)，依次经过两次卷积操作，每次卷积操作的卷积核是3×3，步长可以为2。在经过卷积操作之后需要通过激活函数(如relu函数)进行激活。图像信息经过残差结构处理后，输出信息的维度仍然是256维。
需要说明的是，残差结构最后用的是相加(add，⊕)，而非拼接(concat，通道数会增加)。使用add是为了实现特征图相加，并且维持通道数不变。
在某些实施例中，上述方法还可以包括如下操作。
首先，基于交通标志牌的顶点坐标信息从图像信息中获取交通标志牌图像。
然后，对交通标志牌图像进行识别，得到交通标志信息。
这样便于基于交通标志信息进行辅助/自动驾驶规划，如识别的交通标志信息是前方学校区域，则可以控制车速不超过30km/h。
需要说明的是，标志牌识别模型的模型训练过程可以是离线训练或者在线训练，可以在云端进行模型训练。移动设备可以从云端下载经训练的交通标志牌识别模型的模型拓扑和模型参数，以便实现在移动设备识别交通标志牌信息。移动设备也可以将交通状态信息上报给云端，以便云端利用经训练的交通标志牌识别模型识别交通标志牌信息，并且由云端将识别的交通标志牌信息发送(或广播)给一个或多个移动设备。
本申请的另一方面还提供了一种识别交通标志牌的装置。
图9示意性示出了根据本申请实施例的识别交通标志牌的装置的方框图。
参见图9，该识别交通标志牌的装置900可以包括：图像信息输入模块910、多尺度融合特征获得模块920和顶点坐标输出模块930。
图像信息输入模块910用于通过输入层获得图像信息，图像信息包括交通标志牌的图像。
多尺度融合特征获得模块920用于通过多个特征提取分支分别处理图像信息，得到多尺度融合的交通标志牌特征；其中，多个特征提取分支中的至少一个分支与输入层相连，多个特征提取分支的至少一个分支与输出层相连，多个特征提取分支各自提取的特征图的分辨率不同，每个特征提取分支包括串联的多级特征提取模块，不同特征提取分支中相同级的特征提取模块与下一相同级的特征提取模块之间分别相连。
顶点坐标输出模块930用于通过输出层处理多尺度融合的交通标志牌特征，确定并且输出交通标志牌的顶点坐标信息。
在某些实施例中，多个特征提取分支分别与输入层相连，多个特征提取分支各自包括的特征提取模块的级数相同，并且不同特征提取分支中相同级的特征提取模块各自包括的残差结构数量不同。
在某些实施例中，多个特征提取分支分别与输入层相连，多个特征提取分支各自包括的特征提取模块的级数不同，并且不同特征提取分支中相同级的特征提取模块各自包括的残差结构数量不同。
在某些实施例中，多个特征提取分支中特征提取模块的级数与分辨率之间负相关。
在某些实施例中，多个特征提取模块各自包括的残差结构数量与分辨率之间负相关。
在某些实施例中，上述特征提取模块可以包括：特征采样单元、特征融合单元和特征提取单元。
其中，特征采样单元用于对当前级的上一相同级的特征提取模块各自输出的特征图分别进行复制、上采样和/或下采样，得到当前级的相同尺度的特征图。特征融合单元用于对当前级的相同尺度特征图进行融合，得到融合特征图。特征提取单元包括至少一个残差结构，多个残差结构之间串联，用于处理融合特征图，获得特征图。
在某些实施例中，特征采样单元具体用于对特征图进行下采样包括：对特征图进行卷积操作或者池化操作。
在某些实施例中，上述装置900还包括：交通标志牌图像获取模块和交通标志信息获取模块。
其中，交通标志牌图像获取模块用于基于交通标志牌的顶点坐标信息从图像信息中获取交通标志牌图像。
交通标志信息获取模块用于对交通标志牌图像进行识别，得到交通标志信息。
关于上述实施例中的装置900，其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
本申请的另一方面还提供了一种电子设备。
图10示意性示出了根据本申请实施例的一种电子设备的方框图。
参见图10，电子设备1000包括存储器1010和处理器1020。
处理器1020可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器1010可以包括各种类型的存储单元，例如***内存、只读存储器(ROM)和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。***内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。***内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1010可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或可写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器1010上存储有可执行代码，当可执行代码被处理器1020处理时，可以使处理器1020执行上文述及的方法中的部分或全部。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种识别交通标志牌的方法，其特征在于，包括：
通过输入层获得图像信息，所述图像信息包括交通标志牌的图像；
通过多个特征提取分支分别处理所述图像信息，得到多尺度融合的交通标志牌特征；
通过输出层处理所述多尺度融合的交通标志牌特征，确定并且输出所述交通标志牌的顶点坐标信息；
其中，多个所述特征提取分支中的至少一个分支与所述输入层相连，多个所述特征提取分支的至少一个分支与所述输出层相连，多个所述特征提取分支各自提取的特征图的分辨率不同，每个特征提取分支包括串联的多级特征提取模块，不同特征提取分支中相同级的特征提取模块与下一相同级的特征提取模块之间分别相连。
2.根据权利要求1所述的方法，其特征在于，多个所述特征提取分支分别与所述输入层相连，多个所述特征提取分支各自包括的特征提取模块的级数相同，并且不同特征提取分支中相同级的特征提取模块各自包括的残差结构数量不同。
3.根据权利要求1所述的方法，其特征在于，多个所述特征提取分支分别与所述输入层相连，多个所述特征提取分支各自包括的特征提取模块的级数不同，并且不同特征提取分支中相同级的特征提取模块各自包括的残差结构数量不同。
4.根据权利要求3所述的方法，其特征在于，多个所述特征提取分支中特征提取模块的级数与分辨率之间负相关。
5.根据权利要求2或3所述的方法，其特征在于，多个所述特征提取模块各自包括的残差结构数量与分辨率之间负相关。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述特征提取模块包括：
特征采样单元，用于对当前级的上一相同级的特征提取模块各自输出的特征图分别进行复制、上采样和/或下采样，得到当前级的相同尺度的特征图；
特征融合单元，用于对当前级的相同尺度特征图进行融合，得到融合特征图；
特征提取单元，包括至少一个残差结构，多个残差结构之间串联，用于处理所述融合特征图，获得特征图。
7.根据权利要求6所述的方法，其特征在于，对特征图进行下采样包括：对特征图进行卷积操作或者池化操作。
8.根据权利要求6所述的方法，其特征在于，还包括：
基于所述交通标志牌的顶点坐标信息从所述图像信息中获取交通标志牌图像；
对所述交通标志牌图像进行识别，得到交通标志信息。
9.一种识别交通标志牌的装置，其特征在于，包括：
图像信息输入模块，用于通过输入层获得图像信息，所述图像信息包括交通标志牌的图像；
多尺度融合特征获得模块，用于通过多个特征提取分支分别处理所述图像信息，得到多尺度融合的交通标志牌特征；其中，多个所述特征提取分支中的至少一个分支与所述输入层相连，多个所述特征提取分支的至少一个分支与输出层相连，多个所述特征提取分支各自提取的特征图的分辨率不同，每个特征提取分支包括串联的多级特征提取模块，不同特征提取分支中相同级的特征提取模块与下一相同级的特征提取模块之间分别相连；
顶点坐标输出模块，用于通过输出层处理所述多尺度融合的交通标志牌特征，确定并且输出所述交通标志牌的顶点坐标信息。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行根据权利要求1-8中任一项所述的方法。
CN202210172954.5A 2022-02-22 2022-02-22 识别交通标志牌的方法、装置和电子设备 Active CN114550137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210172954.5A CN114550137B (zh) 2022-02-22 2022-02-22 识别交通标志牌的方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210172954.5A CN114550137B (zh) 2022-02-22 2022-02-22 识别交通标志牌的方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN114550137A CN114550137A (zh) 2022-05-27
CN114550137B true CN114550137B (zh) 2024-04-09

Family

ID=81677710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210172954.5A Active CN114550137B (zh) 2022-02-22 2022-02-22 识别交通标志牌的方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN114550137B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298791A (zh) * 2019-07-08 2019-10-01 西安邮电大学 一种车牌图像的超分辨率重建方法和装置
CN110414417A (zh) * 2019-07-25 2019-11-05 电子科技大学 一种基于多层次融合多尺度预测的交通标志牌识别方法
CN111754438A (zh) * 2020-06-24 2020-10-09 安徽理工大学 基于多分支门控融合的水下图像复原模型及其复原方法
CN112200192A (zh) * 2020-12-03 2021-01-08 南京风兴科技有限公司 一种车牌识别方法及装置
CN112598045A (zh) * 2020-12-17 2021-04-02 中国工商银行股份有限公司 训练神经网络的方法、图像识别方法及图像识别装置
CN113361334A (zh) * 2021-05-18 2021-09-07 山东师范大学 基于关键点优化和多跳注意图卷积行人重识别方法及***
CN113537246A (zh) * 2021-08-12 2021-10-22 浙江大学 一种基于对抗学习的灰度图像同时上色超分方法
CN113762209A (zh) * 2021-09-22 2021-12-07 重庆邮电大学 一种基于yolo的多尺度并行特征融合路标检测方法
CN113989773A (zh) * 2021-10-27 2022-01-28 智道网联科技(北京)有限公司 用于自动驾驶的基于BiSeNet的交通标志识别方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345449B (zh) * 2018-07-17 2020-11-10 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
US20200311492A1 (en) * 2019-03-31 2020-10-01 Cortica Ltd Object detector having shallow neural networks

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298791A (zh) * 2019-07-08 2019-10-01 西安邮电大学 一种车牌图像的超分辨率重建方法和装置
CN110414417A (zh) * 2019-07-25 2019-11-05 电子科技大学 一种基于多层次融合多尺度预测的交通标志牌识别方法
CN111754438A (zh) * 2020-06-24 2020-10-09 安徽理工大学 基于多分支门控融合的水下图像复原模型及其复原方法
CN112200192A (zh) * 2020-12-03 2021-01-08 南京风兴科技有限公司 一种车牌识别方法及装置
CN112598045A (zh) * 2020-12-17 2021-04-02 中国工商银行股份有限公司 训练神经网络的方法、图像识别方法及图像识别装置
CN113361334A (zh) * 2021-05-18 2021-09-07 山东师范大学 基于关键点优化和多跳注意图卷积行人重识别方法及***
CN113537246A (zh) * 2021-08-12 2021-10-22 浙江大学 一种基于对抗学习的灰度图像同时上色超分方法
CN113762209A (zh) * 2021-09-22 2021-12-07 重庆邮电大学 一种基于yolo的多尺度并行特征融合路标检测方法
CN113989773A (zh) * 2021-10-27 2022-01-28 智道网联科技(北京)有限公司 用于自动驾驶的基于BiSeNet的交通标志识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
纹理边缘引导的深度图像超分辨率重建;李宇翔;邓慧萍;向森;吴谨;朱磊;;中国图象图形学报;20181016(第10期);全文 *

Also Published As

Publication number Publication date
CN114550137A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
WO2019223382A1 (zh) 单目深度估计方法及其装置、设备和存储介质
CN112465828A (zh) 一种图像语义分割方法、装置、电子设备及存储介质
CN111915660B (zh) 基于共享特征和注意力上采样的双目视差匹配方法及***
CN109300151B (zh) 图像处理方法和装置、电子设备
CN112307978B (zh) 目标检测方法、装置、电子设备及可读存储介质
CN111310770B (zh) 目标检测方法和装置
CN107830869B (zh) 用于车辆的信息输出方法和装置
CN109118456B (zh) 图像处理方法和装置
CN113673562B (zh) 一种特征增强的方法、目标分割方法、装置和存储介质
CN115205150A (zh) 图像的去模糊方法、装置、设备、介质及计算机程序产品
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN110110696B (zh) 用于处理信息的方法和装置
CN110827341A (zh) 一种图片深度估计方法、装置和存储介质
CN110852250B (zh) 一种基于最大面积法的车辆排重方法、装置及存储介质
CN114550137B (zh) 识别交通标志牌的方法、装置和电子设备
US20240161478A1 (en) Multimodal Weakly-Supervised Three-Dimensional (3D) Object Detection Method and System, and Device
CN115393868B (zh) 文本检测方法、装置、电子设备和存储介质
CN111626298A (zh) 一种实时图像语义分割装置及分割方法
CN116453086A (zh) 识别交通标志的方法、装置和电子设备
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
CN112487943B (zh) 关键帧去重的方法、装置和电子设备
CN111382696A (zh) 用于检测目标的边界点的方法和装置
CN112085035A (zh) 图像处理方法、装置、电子设备和计算机可读介质
CN115223134A (zh) 识别交通标志牌的方法、装置和电子设备
CN116310408B (zh) 一种建立事件相机与帧相机数据关联的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant