CN115273032A

CN115273032A - 交通标志识别方法、装置、设备及介质

Info

Publication number: CN115273032A
Application number: CN202210919319.9A
Authority: CN
Inventors: 李德辉
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2022-07-29
Filing date: 2022-07-29
Publication date: 2022-11-01

Abstract

本申请公开了一种交通标志识别方法、装置、设备及介质，该方法包括：对待检测交通图像进行交通标志体检测，得到待检测交通图像对应的交通体区域图像；确定交通体区域图像中的N个锚框，对每个锚框对应区域进行交通标志检测，得到交通标志体区域图像对应的交通标志区域图像；对交通标志区域图像进行标志类型检测，得到待检测交通图像中交通标志的类型信息，基于类型信息获得待检测交通图像的交通标志识别结果。该技术方案能够更细粒度地提取到交通体区域图像中每一交通标志区域的图像特征，通过对交通标志区域图像进行标志类型检测，结合了更为精细且全面的特征来确定待检测交通图像的交通标志识别结果，提高了交通标志识别结果的准确性。

Description

交通标志识别方法、装置、设备及介质

技术领域

本发明一般涉及智能交通技术领域，具体涉及一种交通标志识别方法、装置、设备及介质。

背景技术

随着科学技术的不断发展，自动驾驶、辅助驾驶、智能导航等智能交通技术已经越来越多地应用到用户的日常生活中。在智能交通技术的应用中，为了精准地对用户进行智能导航，并保证自动驾驶和辅助驾驶的安全性，对交通灯等交通标志的识别显得尤为重要。

目前，相关技术中可以将驾驶过程中拍摄的图像输入分类模型，分类模型先检测出图像中交通灯所在位置，并进行裁剪得到检测框区域，然后对检测框区域进行分类识别，得到交通灯的识别结果。

然而灯体上通常有多个交通灯，当多个交通灯亮起时，表达的语义往往较为复杂。目前无法穷尽交通灯的语义，基于有限的语义进行模型训练，使得模型性能较差，实际应用中无法识别灯体的多属性语义，这也就导致对交通灯识别的准确度较低。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种交通标志识别方法、装置、设备及介质，能够更细粒度地提取到交通标志体区域图像中每一交通标志区域的图像特征，从而提高了待检测交通图像的交通标志识别结果的准确性。所述技术方案如下：

根据本申请的一个方面，提供了一种交通标志识别方法，该方法包括：

对待检测交通图像进行交通标志体检测，得到所述待检测交通图像对应的交通体区域图像；

确定所述交通体区域图像中的N个锚框，对每个所述锚框对应区域进行交通标志检测，得到所述交通标志体区域图像对应的交通标志区域图像；N个锚框中每个锚框对应的尺寸和位置不同，所述N为大于或等于1的整数；

对所述交通标志区域图像进行标志类型检测，得到所述待检测交通图像中交通标志的类型信息，基于所述类型信息获得所述待检测交通图像的交通标志识别结果。

根据本申请的另一方面，提供了一种交通标志识别装置，该装置包括：

交通体检测模块，用于对待检测交通图像进行交通标志体检测，得到所述待检测交通图像对应的交通体区域图像；

标志区域检测模块，用于确定所述交通体区域图像中的N个锚框，对每个所述锚框对应区域进行交通标志检测，得到所述交通标志体区域图像对应的交通标志区域图像；N个锚框中每个锚框对应的尺寸和位置不同，所述N为大于或等于1的整数；

识别模块，用于对所述交通标志区域图像进行标志类型检测，得到所述待检测交通图像中交通标志的类型信息，基于所述类型信息获得所述待检测交通图像的交通标志识别结果。

根据本申请的另一方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如上述的交通标志识别方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序用于实现如上述的交通标志识别方法。

根据本申请的另一方面，提供了一种计算机程序产品，其上包括指令，该指令被执行时实现如上述的交通标志识别方法。

本申请实施例中提供的交通标志识别方法、装置、设备及介质，通过对待检测交通图像进行交通标志体检测，得到待检测交通图像对应的交通体区域图像，然后确定交通体区域图像中的N个锚框，并对每个锚框对应区域进行交通标志检测，得到交通标志体区域图像对应的交通标志区域图像，并对交通标志区域图像进行标志类型检测，得到待检测交通图像中交通标志的类型信息，基于类型信息获得待检测交通图像的交通标志识别结果。本申请中的技术方案相比于现有技术而言，一方面，在得到交通体区域图像这一指导信息后通过确定交通体区域图像中的N个锚框的方式，能够更精细地对每个锚框对应区域进行交通标志检测，更细粒度地提取到交通体区域图像中每一交通标志区域的图像特征，以便基于更细节的特征识别图像中的交通标志，能够有效提高交通标志的识别准确度。另一方面，通过对交通标志区域图像进行标志类型检测，结合了更为精细且全面的特征来确定待检测交通图像的交通标志识别结果，也能够在一定程度上使得本申请所提供方法的识别准确度相比于现有技术有明显提升。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本申请实施例提供的相关技术中增强得到的样本与真实样本的对比结构示意图；

图2为本申请实施例提供的交通标志识别的应用***的***架构图；

图3为本申请实施例提供的交通标志识别方法的流程示意图；

图4为本申请实施例提供的交通标志识别的结构示意图；

图5为本申请实施例提供的获得交通标志区域方法的流程示意图；

图6为本申请实施例提供的通过检测网络得到输出参数的结构示意图；

图7为本申请另一实施例提供的检测网络的内部结构示意图；

图8为本申请实施例提供的对交通标志体区域图像进行预处理的结构示意图；

图9为本申请实施例提供的训练检测网络方法的流程示意图；

图10为本申请实施例提供的对获得交通标志识别结果方法的流程示意图；

图11为本申请实施例提供的对交通标志区域图像进行预处理的结构示意图；

图12为本申请实施例提供的对分类网络的内部结构示意图；

图13为本申请实施例提供的交通标志识别方法的流程示意图；

图14为本申请实施例提供的交通标志识别方法的结构示意图；

图15为本申请实施例提供的获取交通标志区域的结构示意图；

图16为本申请实施例提供的获得交通标志识别结果的结构示意图；

图17为本申请实施例提供的交通标志识别装置的结构示意图；

图18为本申请实施例提供的交通标志识别装置的结构示意图；

图19为本申请实施例示出的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。为了便于理解，下面对本申请实施例涉及的一些技术术语进行解释：

(1)人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件主要包括计算机视觉、语音处理技术、自然语言技术以及机器学习/深度学习等几大方向。

(2)机器学习(Machine Learning，ML)：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎么模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习使人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

(3)卷积神经网络(Convolutional Neural Network，CNN)：是一种包含卷积计算且由深度结构的前馈神经网络(Feedforward Neural Network)，是深度学***移不变分类。

(4)交通标志：是指用文字或符号传递引导、限制、警告或指示信息的道路设施。又称道路标志、道路交通标志。交通标志有多重类型，可以用各种方式区分为：主要标志和辅助标志；可动式标志和固定式标志；照明标志、发光标志和反光标志；以及反应行车环境变换的可变信息标志，例如可以包括道路中的限速牌、交通灯等。

(5)交通信号灯：是指指挥交通运行的信号灯，一般由红、绿、黄灯三组成，红灯表示禁行，绿灯表示通行，黄灯表示警示。可分为：机动车信号灯、非机动车信号灯、人行横道信号灯、方向指示线指示灯、车道信号灯、闪光警告信号灯、道路与铁路平面交叉路口信号灯。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请实施例提供的方案涉及人工智能的神经网络等技术，具体通过下述实施例进行说明。

目前，相关技术中可以采用两段式的方法，先检测出交通灯的所在位置，然后进行裁剪得到检测框区域，并对裁剪区域进行分类处理，得到交通灯的识别结果，其中，每一类交通灯视为一种分类类别。然而该方法在判断识别结果的过程中是由于将每种灯体视为一种类别，因此每个灯体只对应一种语义，当一个灯体上有多个灯亮起(多亮灯)时，无法识别灯体的多属性语义，另外，如果把多亮灯定义为单独的一类，例如一个灯体上同时有左转红灯和直行红灯亮起时，可以定义该灯体的类别为“左转红灯且直行红灯”，则多个交通灯不同形状、颜色、数量、类型组合得到的类别数量较多，在定位分类结果的类别时无法列举完全，从而使得模型性能较差，导致对交通灯识别的准确度较低。同时，由于稀有类别灯样本数量过少，在建设数据集时，需要根据现有的样本通过增强处理得到，然而通过增强得到的样本效果却与真实样本情况不符，请参见图1所示，例如竖向的右转红灯可以由竖向左转红灯翻转得到，但是对于横向的右转红灯，通过增强(翻转或旋转)得到的增强样本与真实的横向右转红灯是不相符合的，导致横向的右转样本数量不足，从而使得训练的模型识别准确度较低。

基于上述缺陷，本申请提供了一种交通标志识别方法、装置、设备及介质，与现有技术相比，在得到交通体区域图像这一指导信息后通过进行交通标志检测，从而能够更细粒度地提取到交通体区域图像中每一交通标志区域的图像特征，并且通过对交通标志区域图像进行标志类型检测，能够结合了更为精细且全面的特征来确定待检测交通图像的交通标志识别结果，提高了交通标志识别结果的准确性。

图2是本申请实施例提供的一种交通标志识别方法的实施环境架构图。如图2所示，该实施环境架构包括：终端10和服务器20。

其中，在图像识别领域，对待检测交通图像中的交通标志进行识别的过程即可以在终端10执行，也可以在服务器20执行。例如，通过终端10采集待检测交通图像，可以在终端10本地进行图像识别，得到待识别交通标志的识别结果；也可以将待检测交通图像发送至服务器20，使得服务器20获取待检测交通图像，根据待检测交通图像进行图像识别，得到待识别交通标志的识别结果，然后将待识别交通标志的识别结果发送至服务器20，以实现对待检测交通图像中待识别交通标志的类型结果识别。

本申请实施例提供的交通标志识别方案，可以应用于常见的自动驾驶、车辆导航场景、地图数据采集场景、道路数据采集场景、智慧交通场景、辅助驾驶场景等。在上述应用场景中，通常需要采集道路实景图像，然后对道路实景图像进行分析，以获取交通标志的识别结果等信息，并基于这些信息进行后续的操作，例如进行地图更新，出行路线规划、控制车辆自动驾驶等。

另外，终端10上可以运行有操作***，该操作***可以包括但不限于安卓***、IOS***、Linux***、Unix、windows***等，还可以包括用户界面(User Interface，UI)层，可以通过UI层对外提供交通实景图像的显示以及待识别交通标志的识别结果的显示，另外，可以基于应用程序接口(Application Programming Interface，API)将图像识别所需的交通实景图像发送至服务器20。

可选的，终端10可以是各类AI应用场景中的终端设备。例如，终端10可以是笔记本电脑、平板电脑、台式计算机、车载终端、智能语音交互设备、智能家电、移动设备、飞行器等，移动设备例如可以是智能手机、便携式音乐播放器、个人数字助理、专用消息设备、便携式游戏设备等各种类型的终端，本申请实施例对此不进行具体限定。

服务器20可以是一台服务器，也可以是由若干台服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

终端10与服务器20之间通过有线或无线网络建立通信连接。可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。

为了便于理解和说明，下面通过图3至图19详细阐述本申请实施例提供的交通标志识别方法、装置、设备及介质。

图3所示为本申请实施例的交通标志识别方法的流程示意图，该方法可以由计算机设备执行，该计算机设备可以是上述图2所示***中的服务器20或者终端10，或者，该计算机设备也可以是终端10和服务器20的结合。如图3所示，该方法包括：

S101、对待检测交通图像进行交通标志体检测，得到待检测交通图像对应的交通体区域图像。

上述待检测交通图像可以是对包含交通标志的交通全景进行拍摄获得的图像。该待检测交通图像可以包括待检测交通标志，还可以包括背景信息。其中，交通标志是构成图像的基本内容，用于标识地理环境中存在的一些警示情况。交通标志可以包括照明警示标志、发光警示标志和反光警示标志等，该交通标志例如可以为交通灯。另外，背景信息是指待检测交通图像中除待检测交通标志外的图像信息，例如可以是车辆、道路、杆、建筑物、天空、地面、树木等。

该待检测交通图像可以是在各种不同场景下拍摄的图像，例如可以是在不同道路、不同天气、不同角度下对包含交通标志的画面进行拍摄的图像。

示例性地，上述交通标志例如可以包括直行、左转、右转、左转直行、右转直行、掉头、连续下坡等指示箭头类型，也可以包括指示公交车专用道的公交车图案，指示非机动车道的自行车图案、指示机动车道的小轿车图案，指示过街天桥、地下通道的阶梯图案。

本申请实施例中，可以是通过调用图像采集装置对包含交通标志的画面进行图像采集，以获取待检测交通图像，也可以是通过云端获取，还可以是通过数据库或区块链获取待检测交通图像，还可以是通过外部设备导入获取待检测交通图像。

在一种可能的实现方式中，上述图像采集装置可以是摄像机或者照相机，也可以是激光雷达、毫米波雷达等雷达设备，该图像采集装置是位于车辆中的图像采集设备，如行车记录仪、安装在车辆挡风玻璃上且镜头朝向车辆行驶方向的摄像机等。

其中，该摄像机可以是单目摄像机、双目摄像机、深度摄像机、三维摄像机等。可选的，在通过摄像机进行图像获取的过程中，可以控制摄像机开启摄像模式，实时扫描摄像机视野中的交通标志，并按指定帧率进行拍摄，得到道路视频，并处理生成待检测交通图像。在通过雷达设备进行图像获取的过程中，可以通过雷达设备实时向交通标志发射探测信号，然后接收交通标志反射回的回波信号，基于探测信号与回波信号之间的差异，确定交通标志的特征数据，基于该特征数据，确定待检测交通图像。

需要说明的是，上述待检测交通图像可以是图像序列的格式，也可以三维点云图像格式，还可以是视频图像格式。

在其中一个实施例中，计算机设备在获取到待检测交通图像后，可以通过预设的特征提取规则对待检测交通图像进行交通标志体检测，得到待检测交通图像对应的交通体区域图像。需要说明的是，上述交通体区域图像可以包括交通体目标区域，该交通体目标区域是指仅包括交通体的图像。该目标区域可以是矩形区域，也可以是圆形区域，三角形区域等。

可选的，上述特征提取规则是指根据实际应用场景，对待识别图像预先设置的特征提取策略，可以是训练后的交通体区域预测模型，也可以是通用的特征提取算法等。作为一种可实现方式，可以通过交通体区域预测模型对待识别图像进行特征提取处理，得到交通标志体在待检测交通图像中的目标区域。其中，交通体区域预测模型是通过对样本数据进行训练，从而学习到具备交通标志体提取能力的网络结构模型。交通体区域预测模型是输入为待检测交通图像，输出为交通体在待检测交通图像中的交通体目标区域，即输出为交通体区域图像，且具有对待检测交通图像进行图像识别的能力，是能够预测交通体区域图像的神经网络模型。交通体区域预测模型可以包括多层网络结构，不同层的网络结构对输入其的数据进行不同的处理，并将其输出结果传输至下一网络层，直至通过最后一个网络层进行处理，得到交通体在待检测交通图像中的交通体目标区域。

需要说明的是，上述对待检测交通图像进行交通标志体检测，得到待检测交通图像对应的交通体区域图像的各个实现方式仅仅是作为一种示例，本申请实施例对此不做限定。

在其中一个实施例中，考虑到计算机设备所提供的计算资源有限，为了减小图像处理过程中的计算量，计算机设备在获取到待检测交通图像后，可以对直接采集到的待检测交通图像进行压缩处理，得到处理后的待检测交通图像。

可选的，可以采用有损压缩方式，也可以采用无损压缩方式，对较高分辨率的待检测交通图像进行压缩处理，通过忽略人的视觉不敏感的次要信息来提高压缩比，以得到处理后的待检测交通图像。

作为一种可实现方式，可以根据计算资源的实际处理需求预先设定分辨率阈值，在获取到待检测交通图像后，可以确定待检测交通图像的分辨率，当该待检测交通图像的分辨率小于分辨率阈值时，则无需对该待检测交通图像进行压缩处理，可以直接进行后续处理流程。当该待检测交通图像的分辨率不小于分辨率阈值时，则需要对该待检测交通图像进行压缩处理，得到处理后的待检测交通图像，再进行后续处理流程。

本实施例中通过对待检测交通图像进行压缩处理，能够减少待检测交通图像表示的数据量，仅需使用较少的计算资源进行图像识别处理，进而节省了计算资源。

本实施例中通过对待检测交通图像进行交通标志体检测，能够精准地得到交通体在待检测交通图像中的目标区域，即得到交通体区域图像，从而使得针对正确的交通体区域图像获取更细粒度的交通标志区域图像的图像特征，进而使得确定出的交通标志识别结果更准确。

S102、确定交通体区域图像中的N个锚框，对每个锚框对应区域进行交通标志检测，得到交通标志体区域图像对应的交通标志区域图像；N个锚框中每个锚框对应的尺寸和位置不同，N为大于或等于1的整数。

需要说明的是，上述锚框用于选定模型输入图像中的预设区域，例如可以选定交通体区域，该锚框是指以锚点为中心，根据预设算法定义的多个先验框，该先验框的形状例如可以是矩形、三角形、菱形、圆形等。

其中，上述N个锚框是基于历史交通体图像和历史交通体图像的真实类别结果训练获得的，历史交通体图像包含标注的交通体区域。当该先验框的形状为矩形时，可以是以每个像素为中心生成的多个大小和宽高比不同的先验框，该大小和宽高比是基于历史交通体图像和历史交通体图像的真实类别结果训练获得的。上述历史交通体图像包含标注的交通体区域。当该先验框的形状为圆形时，可以是以每个像素为中心生成的多个半径不同的先验框，该半径是基于历史交通体图像和历史交通体图像的真实类别结果训练获得的。

作为一种可选的实施方式，假设历史交通体图像的宽和高分别为w和h，分别以图像的每个像素为中心生成不同形状的锚框，设大小为s∈(0,1]且宽高比为r>0，则当中心位置确定时，可以确定出对应的锚框。例如分别设定一组S₁、S₂、...、S_n和一组宽高比r₁,r₂、...、r_m。如果以每个像素为中心时使用所有的大小和宽高比的组合，则可以得到whnm个锚框。虽然这些锚框可能覆盖了所有的真实边界框，但计算复杂度容易过高，因此，通常只对包含S₁和r₁的大小和宽高比的组合感兴趣，即：(S₁，r₁)，(S₁，r₂)，(S₁，r_m)，(S₂，r₁)，(S₃，r₁)，...，(S_n，r₁)，即以相同像素为中心的锚框的数量为n+m-1，则对于整个历史交通体图像，一共生成wh(n+m-1)个锚框。

作为另一种可实现方式，可以获取历史交通体图像，然后统计历史交通体图像中目标框的宽高比，利用k均值法聚类产生k个宽高比例值，锚框的长宽比分别对应于聚类产生的k个值，就得到k类形状不一的锚框。

具体地，在得到待检测交通图像对应的交通体区域图像后，可以对交通体区域图像进行交通标志检测进行交通标志检测，例如可以通过特征检测策略进行交通标志检测处理，得到交通标志体区域图像对应的交通标志区域图像。可选的，该特征检测策略是指根据实际应用场景预先设置的用于进行特征提取和检测的策略，可以是训练完成得到的检测网络，也可以是通用的特征提取算法等。作为一种可实现方式，可以通过检测网络对交通体区域图像进行交通标志检测，得到交通标志体区域图像对应的交通标志区域图像的图像特征。其中，该检测网络是通过对样本数据进行训练，从而学习到具备特征提取能力的网络结构模型。检测网络的输入为多个子区域中的每一子区域，输出为每一子区域的图像特征，且具有对每一子区域进行图像识别的能力，是能够预测每一子区域的图像特征的神经网络模型。该检测网络可以包括多层网络结构，不同层的网络结构对输入其的数据进行不同的处理，并将其输出结果传输至下一网络层，直至通过最后一个网络层进行处理，得到每一子区域的图像特征。

作为另一种可实现方式，在通过特征提取算法对交通体区域图像进行交通标志检测，得到交通体标志体区域对应的交通标志区域图像的图像特征，该特征提取算法例如可以是采用尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)算法，也可以是加速稳健特征((Speeded Up Robust Features，SURF)算法，还可以是ORB特征检测(Oriented FAST and Rotated BRIEF，ORB)等。

可以理解的是，分别对交通体标志体区域进行特征提取，得到交通标志区域图像的图像特征不同。

作为又一种可实现方式，还可以通过查询预先建立的模板图像数据库，将交通体区域图像的图像特征与模板图像数据库中的图像特征进行比对，确定出交通体区域图像中与模板图像数据库中模板图像特征比对一致的部分，然后将该特征比对一致的部分确定为交通标志在交通体区域图像中的交通标志目标区域。其中，模板图像数据库可以根据实际应用场景中的交通标志的图像特征信息进行灵活配置，是对不同交通体类型、交通体形态和结构等特征的交通标志进行汇总和整理后构建的。

需要说明的是，上述对交通体区域图像进行交通标志检测，得到交通标志体区域图像对应的交通标志区域图像的各个实现方式仅仅是作为一种示例，本申请实施例对此不做限定。

本实施例中通过对交通体区域图像进行交通标志检测，从而能够更细粒度地提取到每一交通标志区域的图像特征，进一步提高了对交通标志识别结果进行识别的准确性。

S103、对交通标志区域图像进行标志类型检测，得到待检测交通图像中交通标志的类型信息，基于类型信息获得待检测交通图像的交通标志识别结果。

需要说明的是，上述标志类型检测用于检测交通标志区域图像中交通标志的类型信息，其中，该交通标志的类型信息包括交通标志的形状信息、颜色信息、状态信息。可选的，形状信息例如可以是直行、左转、右转、掉头等，颜色信息例如可以是红色、黄色和绿色，状态信息例如可以是静止状态和运动状态。

具体地，在获得交通标志区域图像后，可以将交通标志区域图像输入训练好的分类网络中，确定待检测交通图像的交通标志识别结果。也可以是采用分类算法确定交通标志识别结果。

需要说明的是，上述分类网络是通过样本学习具备交通标志识别能力的模型结构，分类网络的输入为交通标志区域图像，输出为待检测交通图像的交通标志识别结果，是一个能够预测交通标志识别结果的神经网络模型。

作为一种可实现方式，该分类网络可以包括全连接层和激活函数，在获取到交通标志区域图像后，可以通过全连接层对交通标志区域图像进行处理，得到全连接向量特征，并采用激活函数对全连接向量特征进行处理，得到交通标志识别结果，该识别结果包括多个交通标志类型，也可以包括在交通标志类型下的多个类型属性。

作为另一种可实现方式，可以相应领域的先验知识的方式，提取交通标志区域图像中的特征信息，并通过聚类算法对特征信息进行聚类处理，得到聚类结果，然后利用人工先验的标志特征知识确定特征信息中每个聚类结果的识别结果，从而得到交通标志识别结果。其中，上述聚类算法可以是聚类函数，聚合函数例如可以用Mean、Pool、LSTM等。

作为又一种可实现方式，还可以查询预先建立的已知交通标志类型的标志特征数据库，将从交通标志区域图像中提取到的未知类型的特征信息与已知标志类型的标志特征数据库的标志特征进行比对，将标志特征相同的标志类型确定为待检测交通图像的交通标志识别结果。其中，该标志特征库可以是对不同交通标志类型、标志形态和结构等特征的标志数据进行汇总和分类整理后构建的。其中，上述交通标志识别结果用于标识待检测交通图像中的交通标志，以便能够通过交通标志识别结果快速获取到交通标志的信息、特点等。

例如，待检测交通图像的交通标志识别结果可以包括待检测交通图像的交通标志类型，或者可以包括待检测交通图像在交通标志类型下的多个交通标志属性。示例性地，交通标志类型可以是机动车信号灯、非机动车信号灯、人行横道信号灯等。其中，机动车信号灯对应的交通标志属性例如可以是直行绿灯、左转红灯、右转绿灯等。不同交通标志属性对应的交通标志的功能不同。例如，直行绿灯标志具有指示车辆可直行的功能；左转红灯标志具有指示车辆禁止左转的功能；右转绿灯标志具有指示车辆可右转通行的功能。

请参见图4所示，在获取到待检测交通图像3-1时，可以对待检测交通图像3-1进行交通标志体检测，得到待检测交通图像对应的交通体区域图像3-2，然后对交通体区域图像3-2进行交通标志检测，得到交通标志体区域图像3-2对应的交通标志区域图像3-3，并对交通标志区域图像3-3进行标志类型检测，得到待检测交通图像中交通标志的类型信息3-4，基于类型信息3-4获得待检测交通图像的交通标志识别结果3-5。

本申请实施例中提供的交通标志识别方法，相比于现有技术而言，一方面，在得到交通体区域图像这一指导信息后通过确定交通体区域图像中的N个锚框的方式，便于更精细地对每个锚框对应区域进行交通标志检测，从而能够更细粒度地提取到交通体区域图像中每一交通标志区域的图像特征，以便基于更细节的特征识别图像中的交通标志，能够有效提高交通标志的识别准确度。另一方面，通过对交通标志区域图像进行标志类型检测，能够结合了更为精细且全面的特征来确定待检测交通图像的交通标志识别结果，很大程度上提升了对待检测交通图像中交通标志识别结果的准确度。还可以应用于自动驾驶***中，对待检测交通图像中的交通标志进行准确的预测，极大地提升了交通标志识别的质量和效率，为自动驾驶的准确导航和路况分析处理提供了强有力的支持。

在本申请的另一实施例中，可以对交通体区域图像进行交通标志检测，得到交通标志体区域图像对应的交通标志区域图像。图5提供了得到交通标志体区域图像对应的交通标志区域图像的具体实现方式。请参见图5所示，具体包括：

S201、将交通体区域图像输入检测网络，对每个锚框对应区域进行特征提取，获得交通体区域图像中每一个锚框对应的位置偏移量和尺寸偏移量。

需要说明的是，上述检测网络是一个输入为交通体区域图像，输出为锚框对应的位置偏移量和尺寸偏移量的识别结果，且具有对交通体区域图像进行交通体区域检测的能力，能够预测每个锚框对应的位置偏移量和尺寸偏移量的神经网络模型。该检测网络用于负责建立交通体区域图像与锚框对应的位置偏移量和尺寸偏移量之间的关系，其模型参数已处于最优的状态。

其中，该检测网络可以包括但不限于卷积层、归一化层和激活函数，卷积层、归一化层和激活函数可以包括一层，或者也可以包括多层。卷积层用于对交通体区域图像中边缘和纹理特征进行特征提取；归一化层用于对卷积层得到的图像特征进行归一化处理，例如可以将图像特征减去均值除以方差，得到均值为零，方差为一的正态分布，可以防止梯度***和梯度消失；其中，上述激活函数可以是Sigmoid函数，也可以是Tanh函数，还可以是ReLU函数，通过将归一化处理的特征图经过激活函数处理，能够将其结果映射到0～1之间。

一种可能的实现方式中，请参见6所示，上述检测网络可以包括基础卷积模块和可分离卷积模块，可以将交通体区域图像6-1输入检测网络6-2，通过检测网络6-2中的基础卷积模块对锚框进行特征提取，得到特征图，并通过可分离卷积模块进行卷积处理，得到输出参数6-3，该输出参数包括提取到的每一类锚框对应的位置偏移量和尺寸偏移量，以及通过激活函数确定出预设框对应的置信度以及类别结果。其中，该置信度用于表征预设框中存在交通标志的概率，类别结果用于预设框中是否存在交通标志。

可以理解的是，上述位置偏移量可以包括预设框相对锚框的中心点横坐标偏移量和纵坐标偏移量，上述尺寸偏移量可以包括预设框相对锚框的宽度偏移量和高度偏移量。

S202、基于锚框的位置、锚框的尺寸、锚框对应的位置偏移量和尺寸偏移量确定锚框对应的预设框。

具体地，在得到锚框对应的位置偏移量和尺寸偏移量后，可以根据锚框的位置、锚框的尺寸、锚框对应的位置偏移量和尺寸偏移量对锚框进行修正处理，得到锚框对应的预设框。其中，可以采用预设的修正算法进行处理。例如在确定锚框对应的预设框的位置时，可以将锚框的位置与锚框对应的位置偏移量进行相加处理，在确定锚框对应的预设框的尺寸时，可以是将锚框的尺寸与锚框对应的尺寸偏移量进行相加处理，从而得到锚框对应的预设框的位置和尺寸。

示例性地，假设确定出锚框的位置偏移量(中心点横坐标偏移量和纵坐标偏移量)为(Δx,Δy)和尺寸偏移量(宽度偏移量和高度偏移量)分别为Δw和Δh时，且确定出锚框的位置(中心点横坐标和纵坐标)为(x₁,y₁)，锚框的尺寸(宽度和高度)为w₁和h₁时，则可以确定出该锚框对应的预设框的位置坐标为(x₁+Δx，y₁+Δy)，预设框的宽度尺寸为Δw+w₁，预设框的高度尺寸为Δh+h₁，即可确定出该锚框对应的预设框。

进一步地，对于交通体区域图像上的每个特征点，可以对每一类锚框采用上述修正算法进行处理，得到每一类锚框对应的预设框，因此，可以得到N个锚框对应的N个预设框。其中，该N个预设框中可以包括存在交通标志的框，也可以包括不存在交通标志的框。

S203、对N类锚框对应的预设框中的无效预设框进行滤除，基于剩余锚框对应区域得到交通标志区域图像。

需要说明的是，上述剩余锚框对应区域是指锚框选定的区域。上述无效预设框是指与真实预测框偏差过大的预设框，该真实预设框是指仅包含交通标志区域的预设框。无效预设框中例如可以是不完全包含交通标志区域的预设框，也可以是不仅包含交通标志区域，还包含背景区域的预设框。其中，背景是指交通体区域图像中除交通标志之外的其余图像，例如可以包括交通体区域图像中的树木、天空、道路、杆、车辆等。

可以理解的是，在交通标志检测的过程中在同一目标的位置上会产生大量的预设框，这些预设框相互之间可能会有重叠，此时需要利用非极大值抑制(Non-Maximum-Suppression，NMS)算法修消除冗余的无效预设框，确定出最佳的目标预设框，即基于剩余锚框所选定的区域确定交通标志区域图像。其中，上述极大值抑制算法例如可以是用DIoU-NMS算法。

作为一种可选的实施方式，可以将上述N个预设框进行归类汇总得到预设框列表及其对应的置信度得分列表，则上述非极大值抑制算法流程可以为：获取预设框列表及其对应的置信度得分列表，并设定阈值，该阈值用于删除重叠较大的预设框。可以先根据置信度得分进行排序，选择置信度最高的预设框添加至最终输出列表中，将其从预设框列表中删除，计算所有预设框的面积，并基于预设框的面积计算置信度最高的预设框与其他预设框的重叠度(重叠区域面积比例)IoU，删除IoU大于阈值的预设框，并重复上述过程，直至预设框列表为空。

例如：获取的预设框列表中有六个矩形框，假设六个矩形框在置信度得分列表按照从小到大的顺序，对应的置信度分别为：A、B、C、D、E、F。在进行非极大值抑制算法的中，可以从最大置信度矩形框的置信度F开始，分别判断置信度为A～E的矩形框与置信度为F的矩形框的重叠度IoU是否大于设定的阈值，假设置信度为B、D与置信度为F的重叠度超过阈值，则去掉置信度为B、D的矩形框，标记并保留置信度为F的第一个矩形框，然后从剩下的置信度为A、C、E的矩形框中，选取置信度最大的E，然后判断置信度为E的矩形框与置信度为A、C的重叠度，当重叠度大于设定的阈值时，则去掉置信度为A、C的矩形框，标记并保留置信度为E的第二个矩形框，通过重复上述过程，即可确定出被保留下来的矩形框，从而得到对应的交通体区域图像。

本申请实施例中通过将交通体区域图像输入检测网络，能够精准地确定出每一类锚框对应的位置偏移量和尺寸偏移量，从而基于锚框的位置、锚框的尺寸、锚框对应的位置偏移量和尺寸偏移量精准地确定锚框对应的预设框，进而提高了确定交通标志区域图像的准确度。

在本申请的另一实施例中，可以对交通体区域图像进行特征提取，得到每一类锚框对应的位置偏移量和尺寸偏移量。请参见图7所示，可以通过对交通体区域图像7-1通过基础卷积模块7-2进行基础卷积处理，得到第一特征图7-3；基础卷积处理依次包括卷积、归一化和激活函数处理；并对第一特征图7-3通过可分离卷积模块7-4进行可分离卷积处理，得到第二特征图7-5，然后对第二特征图7-5通过基础卷积模块7-6进行基础卷积处理，得到输出参数7-7，该输出参数可以包括位置偏移量和尺寸偏移量。

具体地，在获取到交通体区域图像后，可以基于锚框确定交通体区域图像的目标区域，该目标区域为锚框在交通体区域图像中选定的区域，然后对目标区域通过基础卷积模块依次进行卷积、归一化和激活函数处理，得到第一特征图，该基础卷积模块可以是ConvBnRelu模块，其中，ConvBnRelu模块中包含依次相连接的Conv卷积层、Bn层和Relu层，Conv卷积层运算用于提取交通体区域图像锚框中边缘以及纹理等图像特征，得到交通体区域图像的图像特征，Bn层用于对Conv卷积层提取到的图像特征进行归一化处理，其输入为Conv卷积层的输出特征，过滤图像特征中的噪声特征，得到过滤后的图像特征，然后将过滤后的图像特征通过激活函数进行线性映射，加强特征提取模型的泛化能力，得到第一特征图。其中，该第一特征图中包括多个特征点。

在得到第一特征图后，可以对第一特征图通过可分离卷积模块处理，该可分离卷积模块包括一个或多个DW-PW卷积层，可以将第一特征图通过DW卷积和PW卷积依次进行处理，其中，DW卷积用于滤波，PW卷积用于转换通道，该DW-PW卷积层可以包括depthwise层和BN层和Relu层，依次执行卷积处理、归一化、激活函数处理，从而将归一化后的权重特征加权至每个通道的特征上，得到第二特征图，然后对第二特征图进行基础卷积处理，依次通过Conv卷积层提取第二特征图中的特征，然后通过Bn层用于对Conv卷积层提取到的特征进行归一化处理，其输入为Conv卷积层的输出特征，得到归一化处理的特征，然后将归一化处理后的特征通过激活函数进行处理，得到输出参数，该输出参数可以包括预测框相对锚框的位置偏移量、尺寸偏移量，预测框对应的置信度、预测框对应的类别结果。

可选的，在可分离卷积处理时，可以将DW-PW卷积层的数量设置为多个，也可以设置为一个，其中，DW-PW卷积层的数量越多，则可以提取到不同粒度的信息，使得提取到特征图的信息越全面，进而得到的位置偏移量和尺寸偏移量越准确。

需要说明的是，上述DW卷积(Depthwise Convolution)不同于常规卷积操作，Depthwise Convolution的一个卷积核负责一个通道，一个通道只被一个卷积核卷积。而常规卷积每个卷积核是同时操作输入图片的每个通道。

例如：对于一张5×5像素尺寸、三通道彩色输入图片(shape为5×5×3)，Depthwise Convolution首先经过第一次卷积运算，不同于常规卷积，DW完全是在二维平面内进行。卷积核的数量与上一层的通道数相同(通道和卷积核一一对应)，所以一个三通道的图像经过运算后生成了3个Feature map。

Depthwise Convolution完成后的Feature map数量与输入层的通道数相同，无法扩展Feature map的数量。而且这种运算对输入层的每个通道独立进行卷积运算，没有有效的利用不同通道在相同空间位置上的feature信息。因此需要PW卷积(PointwiseConvolution)来将这些Feature map进行组合生成新的Feature map。

其中，Pointwise Convolution的运算与常规卷积运算非常相似，它的卷积核的尺寸为1×1×M，M为上一层的通道数。所以这里的卷积运算会将上一步的map在深度方向上进行加权组合，生成新的Feature map。有几个卷积核就有几个输出Feature map。也就是说，Depthwise层，只改变feature map的大小，不改变通道数。而Pointwise层则相反，只改变通道数，不改变大小。

本实施例中通过基于锚框确定交通体区域图像的目标区域，并对对目标区域进行基础卷积处理和可分离卷积处理，能够提取到图像中更细粒度的信息，并且在可分离卷积中通过DW和PW卷积处理，能够降低参数量，提升检测速度。

在本申请的另一实施例中，在将交通体区域图像进行交通标志检测之前，还可以根据预设尺寸参数对交通体区域图像进行尺寸调整处理。

具体地，上述得到的交通体区域图像的大小、形状可能不同，需要对交通体区域图像进行尺寸调整处理，使得将其调整为大小、形状满足检测网络的输入要求的图像。

其中，可以获取交通体区域图像的位置信息和尺寸信息，然后基于交通体区域图像的位置信息和尺寸信息，按照预设的尺寸参数，对交通体区域图像进行图像缩放和扩充处理，并将交通体区域的坐标位置进行映射处理。

需要说明的是，上述预设尺寸参数可以是根据检测网络是实际输入需求自定义设置的，可以包括预设尺寸信息或位置信息。可以获取交通体区域图像的位置信息和尺寸信息，当交通体区域图像的位置信息和尺寸信息不符合预设参数时，需要对交通体区域图像进行图像缩放resize和扩充处理padding。

可选的，上述图像缩放可以采用resize函数来改变图像的大小，例如可以包括如下插值方式来实现：最近邻插值、三次样条插值、线性插值、区域插值。

作为一种可实现方式，在对交通体区域图像进行扩充处理时，可以是采用预设软件进行处理，用户可以根据实际需求自定义设置相关参数，该参数例如可以是用户自定义选择的功能选项“扩展”和“尺寸”，然后运行该预设软件，使其按照相关参数对对交通体区域图像的交通标志区域进行尺寸扩展，从而得到处理后的图像，该处理后的图像符合检测网络的输入要求的图像。其中，预设软件可以是图像处理软件。

其中，在对交通标志区域进行尺寸扩充处理时，可以是以交通标志区域为中心，按照预设比例进行扩充处理。该预设比例是根据实际需求自定义设置的，例如，该交通标志区域与处理后的图像的尺寸扩展的预设比例可以是1：2，1：3，1：4，2：3等任意值。

例如，当确定出交通标志区域在交通体区域图像中对应的尺寸为W×H时，假设按照尺寸确定的预设比例为1：2，对目标区域进行尺寸扩充处理得到处理后的图像，则得到的该处理后的图像的尺寸为2W×2H，且该处理后的图像包含了交通标志区域。

示例性地，在获取到交通体区域图像后，可以根据预设模型输入规则判断该交通体区域图像是否需要进行调整处理，当不需要进行调整处理时，可以直接对交通体区域图像进行特征提取，以获得每一类锚框对应的位置偏移量和尺寸偏移量。请参见图8所示，当需要进行调整处理时，可以根据实际需求选取预设的尺寸参数，例如选取一个预设的边长s，然后将交通标志体区域图像按照预设比例地进行图像缩放resize处理，且图像缩放resize处理后长边为s，则对于交通体区域图像的短边，可以以交通标志区域为中心，按照预设比例进行扩充处理，例如可以通过两侧对称地进行图像扩充padding，使得处理后的交通体区域图像大小为s*s，然后再根据交通体区域图像与处理后的交通体区域图像之间的映射关系，将交通标志区域的坐标映射至尺寸为s*s的处理后的交通体区域图像上，从而可以通过该处理后的交通体区域图像进行特征提取，以获取对每类锚框对应位置偏移量和尺寸偏移量。

在本申请的另一实施例中，还提供了对检测网络进行训练的训练过程的具体实现方式。请参见图9所示，具体包括：

S301、获得历史交通体图像中的M个锚框；每个锚框对应的尺寸和位置不同，M为大于或等于1的整数，历史交通体图像包含标注的交通体区域。

具体地，上述该历史交通体图像可以是多个，也可以是一个，其中，每个历史交通体图像可以包括至少一个交通标志，例如该历史交通体图像可以包括机动车交通信号灯标志、也可以是非机动车交通信号灯标志，还可以是人行道交通信号灯标志。

在获取到历史交通体图像后，该历史交通体图像的大小、形状不同，不满足训练第一初始网络时的输入要求，因此需要对其进行处理，可以根据预设参数对历史交通体图像进行尺寸调整处理，例如可以选取一个固定的边长s，然后将交通体按照预设比例进行图像缩放，使得缩放后的图像的长边为s，然后对于短边，可以是以交通体区域为中心，在两侧对称地进行图像扩充处理，使得处理后的图像大小为s*s，并根据处理后的图像与历史交通体图像的映射关系，将交通标志区域的坐标映射至大小为s*s的处理后的图像上，从而得到符合输入第一初始网络的输入要求的历史交通体图像。

然后确定历史交通体图像的锚框，可以将历史交通体图像的宽度和高度作为检测特征，基于该检测特征采用k-mean算法对进行聚类处理，得到M个簇，根据每个簇类中心点的位置坐标所对应的长和宽确定锚框尺寸，将该M类的类心确定为对应锚框的宽度和高度。不同类锚框的尺寸和位置也不同。

S302、将历史交通体图像输入第一初始网络，对历史交通体图像进行特征提取，获得M个锚框中每一类锚框对应的位置偏移量和尺寸偏移量。

需要说明的是，上述第一初始网络是一个输入为历史交通体图像，输出为每一类锚框对应的位置偏移量和尺寸偏移量，且具有对历史交通体图像进行特征提取的能力，能够预测历史交通体图像中每一类锚框对应的位置偏移量和尺寸偏移量的神经网络模型。该第一初始网络可以是进行迭代训练时的初始模型，即第一初始网络的模型参数处于初始的状态，也可以是上一轮迭代训练中调整后的模型，即第一初始网络的模型参数处于中间的状态。可以将历史交通体图像输入第一初始网络，得到输出结果，该输出结果可以包括预测框相对每一类锚框对应的位置偏移量和尺寸偏移量，预测框对应的置信度、预测框对应的类别结果。其中，类别结果用于表征预测框中是否包含交通标志，置信度用于表征预测框内的图像为交通标志的概率。

将历史交通体图像输入第一初始网络后，可以通过基础卷积模块对历史交通体图像依次进行卷积、归一化和激活函数处理，得到对应的第一样本特征图，然后通过可分离卷积模块对该样本特征图进行卷积处理，得到第二样本特征图，并通过基础卷积模块对第二样本特征图依次进行卷积、归一化和激活函数处理，从而得到第一初始网络的输出结果。

其中，基础卷积模块可以包括依次相连接Conv卷积层、Bn层和Relu层。可以将历史交通体图像通过Conv卷积层提取历史交通体图像中每个锚框的边缘以及纹理等图像特征，得到历史交通体图像的图像特征，然后通过Bn层对卷积层提取的图像特征按照正态分布进行归一化处理，以过滤图像特征中的噪声特征，得到过滤后的图像特征，并通过激活层对过滤后的图像特征进行非线性映射，加强特征提取模型的泛化能力，得到第一样本特征图。其中，该第一样本特征图中包括多个特征点。上述可分离卷积模块可以包括DW卷积层和PW卷积层。

S303、针对M个锚框中每一个锚框，基于锚框的位置、锚框的尺寸、锚框对应的位置偏移量和尺寸偏移量确定锚框对应的预测框。

S304、对M个锚框对应的预测框中的无效预设框进行滤除，得到第一初始网络的预测交通体区域。

具体地，对于M个锚框中的每一个锚框，在得到锚框对应的位置偏移量和尺寸偏移量后，可以根据锚框的位置、锚框的尺寸、锚框对应的位置偏移量和尺寸偏移量对锚框进行修正处理，得到锚框对应的预设框，从而得到M个预测框。然后采用非极大值抑制算法对M个锚框对应的预测框中的无效预测框进行滤除，从而得到第一初始网络的预测交通体区域。

S305、基于预测交通体区域和标注的交通体区域之间的损失函数，按照损失函数最小化，采用迭代算法对第一初始网络进行迭代训练，得到检测网络。

在得到输出结果后，可以基于输出结果和对交通体区域的标注结果，构建损失函数，按照损失函数最小化对待构建的第一初始网络进行优化处理，得到检测网络，根据输出结果和标注结果之间的差异，对待构建的第一初始网络中的参数进行更新，以实现对第一初始网络进行训练的目的，其中，上述标注结果可以是人工对历史交通体图像进行标注得到的识别结果。

可选的，上述对待构建的第一初始网络中的参数进行更新，可以是对待构建的第一初始网络中的权重矩阵以及偏置矩阵等矩阵参数进行更新。其中，上述权重矩阵、偏置矩阵包括但不限于是待验证的第一初始网络中的卷积层、前馈网络层、全连接层中的矩阵参数。

其中，通过损失函数对待验证的第一初始网络的参数进行更新时，可以是根据损失函数确定待验证的第一初始网络未收敛时，通过调整模型中的参数，以使得待验证的第一初始网络收敛，从而得到检测网络。待验证的第一初始网络收敛，可以是指待验证的第一初始网络对输出结果与标注结果之间的差值小于预设阈值，或者，输出结果与标注结果之间的差值的变化率趋近于某一个较低值。当计算的损失函数较小，或者，与上一轮迭代输出的损失函数之间的差值趋近于0，则认为待验证的第一初始网络收敛，即可得到检测网络。

在本申请的另一实施例中，还提供了第一预测模型的损失函数的具体实现。一种可能的实现方式中，第一初始模型的损失函数包括第一分量、第二分量、第三分量和第三分量。第一分量用于表征预测框相对锚框之间的位置偏移量损失；第二分量用于表征预测框相对锚框之间的尺寸偏移量损失；第三分量用于表征预测框对应的预测置信度与真实置信度之间的损失；第四分量用于表征预测框对应的预测类别结果与真实类别结果之间的损失。

其中，上述构建的损失函数可以是第一分量、第二分量、第三分量和第四分量之和。通过在损失函数中设置第一分量、第二分量，能够缩小预测框和第一初始模型输入的历史交通体图像对应的锚框之间的位置偏移量，以及预测框和第一初始模型输入的历史交通体图像对应的锚框之间的尺寸偏移量之间的差异，从而能够全面地确定预测框相对锚框的位置偏移量和尺寸偏移量，且通过设置第三分量和第四分量，能够对确定最终预测交通体区域提供指导信息，使得得到的检测网络达到更优。

本申请实施例中，在构建损失函数以得到检测网络时，综合了真实类别结果与第一初始模型的预测类别结果之间的差异，预测框和输入第一初始模型的历史交通体图像对应的锚框之间的位置偏移量差异，以及预测框和输入第一初始模型的历史交通体图像对应的锚框之间的尺寸偏移量差异，基于该损失函数对第一初始模型进行训练，能够更准确且全面地迭代训练第一初始模型中的模型参数，使得得到的检测网络更优，进而使得确定的交通标志区域图像准确度更高。

在本申请的另一实施例中，在模型训练过程中，还可以为损失函数中第一分量、第二分量、第三分量以及第四分量分配合理的权重系数，使得模型的预测差异与实际业务需求高度匹配，也能带来模型性能的提升。在一种可能的实现方式中，在确定损失函数时，可以通过确定第一分量、第二分量、第三分量以及第四分量的权重系数，根据第一分量、第二分量、第三分量以及第四分量的权重系数、第一分量、第二分量、第三分量以及第四分量确定损失函数。其中，上述第一分量的权重系数与预测框相对锚框之间的位置偏移量的重要程度相关；第二分量的权重系数与预测框相对锚框之间的尺寸偏移量的重要程度相关；上述第三分量的权重系数与预测框对应的置信度的重要程度相关；第四分量的权重系数与预测框对应的预测类别结果的重要程度相关。

其中，第一分量的权重系数与预测框相对锚框之间的位置偏移量的重要程度呈正相关，即第一分量的权重系数越大，则表示预测框相对锚框之间的位置偏移量的重要程度的重要程度越高。同理，第二分量的权重系数与预测框相对锚框之间的尺寸偏移量的重要程度呈正相关，即第二分量的权重系数越大，则表示预测框相对锚框之间的尺寸偏移量的重要程度越高。第三分量的权重系数与预测框对应的置信度的重要程度呈正相关，即第三分量的权重系数越大，则表示预测框对应的置信度的重要程度越高。第四分量的权重系数与预测框对应的预测类别结果的重要程度呈正相关，即第四分量的权重系数越大，则预测框对应的预测类别结果的重要程度越高。

上述第一分量、第二分量、第三分量、第四分量以及损失函数之间满足以下公式：

Y＝a₁*y₁+a₂*y₂+a₃*y₃+a₄*y₄

其中，Y为上述第一初始模型训练过程中的损失函数，y₁为第一分量，a₁为第一分量的权重系数，y₂为第二分量，a₂为第二分量的权重系数,y₃为第三分量，a₃为第三分量的权重系数，y₄为第四分量，a₄为第四分量的权重系数。,

本申请实施例中，还可以根据交通标志识别方法应用的业务场景，合理确定第一分量、第二分量、第三分量和第四分量的权重系数。一种可能的实现方式中，根据业务需求确定预测框相对锚框之间的位置偏移量、尺寸偏移量、预测框对应的预测置信度、预测类别结果的重要程度比例，并根据重要程度比例确定第一分量、第二分量、第三分量和第四分量的权重系数。

示例性地，上述损失函数可以是通过如下公式所示：

其中，上述公式中的第一行公式参数表示预测框相对锚框的位置偏移量损失，第二行公式参数表示预测框相对锚框的尺寸偏移量损失，S表示输出特征图的宽度和高度，B表示输出特征图每个位置上的锚框数量，

表示输出特征图在ij位置是否存在交通标志，如果存在则值为1，否则为0；第三行公式参数表示置信度损失；第四行公式参数是类别损失；α，β，γ分别表示第一分量、第二分量、第三分量和第四分量的权重系数，x_ij表示特征图在ij位置上锚框的真实中心点横坐标值，y_ij表示特征图在ij位置上对应的真实中心点纵坐标值，W_ij表示特征图在ij位置上对应的锚框的宽度，h_ij表示在ij位置上对应的锚框的高度，C_ij表示在ij位置上对应的锚框的真实置信度，p(k)表示真实类别结果，

表示预测框相对锚框的中心点横坐标偏移量，

表示预测框相对锚框的中心点纵坐标偏移量，

表示预测框相对锚框的宽度偏移量，

表示预设框相对锚框的高度偏移量，

表示预测框的置信度，

表示预测框的预测类别结果。

本实施例中通过设置第一分量、第二分量、第三分量和第四分量构建损失函数，能够通过优化四部分损失函数，使得准确地对第一初始网络中的模型参数进行调整，从而使得检测网络达到更优，进而能够实现对交通标志进行更准确地识别。

在本申请的另一实施例中，还提供了对交通标志区域图像进行标志类型检测，得到待检测交通图像的交通标志的交通标志识别结果的一种实现方式。请参见图10所示，具体包括：

S401、对交通标志区域图像进行裁剪处理，获得交通标志图像。

需要说明的是，上述交通标志区域图像可以包括交通标志图像，还可以包括除交通标志区域之外的背景区域，为了提高对交通标志图像识别的准确度，在得到交通标志区域图像后，可以对交通标志区域图像进行裁剪处理，去掉冗余的背景区域，从而得到交通标志图像。该交通标志图像仅包含交通标志区域。

具体地，在对交通标志区域图像进行裁剪处理的过程中，可以通过图像识别，确定交通标志区域图像上的背景区域，然后通过图像处理软件对背景区域进行图像裁剪处理，则剩余图像即为仅包含交通标志区域的交通标志图像。作为另一种可实现方式，可以通过图像识别，确定交通标志区域图像上的交通标志区域，然后通过图像处理软件对交通标志区域进行裁剪处理，则得到仅包含交通标志区域的交通标志图像。并按照不同的尺寸和缩放比例，对仅包含交通标志区域的交通标志图像进行调整，得到可输入分类网络的交通标志图像。

示例性地，请参见图11所示，一般来说，由于交通标志区域接近正方形，可以根据实际需求定义目标尺寸的边长s1，然后将交通标志区域图像按照预设缩放比例，对其进行调整，使得交通标志图像的尺寸为s1*s1。

S402、将交通标志图像输入分类网络进行标志类型检测，得到交通标志图像的像素信息和形状信息。

S403、基于像素信息和形状信息进行语义预测，获得交通标志图像的预测语义，根据预测语义确定待检测交通图像的交通标志识别结果。

需要说明的是，上述分类网络是基于历史交通标志区域图像以及历史交通标志区域图像的历史分类结果训练获得的，该历史交通标志区域图像标注有交通标志区域。该分类网络是一个输入为交通标志图像，输出为交通标志图像的交通标志识别结果，且具有对交通标志图像进行交通标志类型识别的能力，能够预测交通标志识别结果的神经网络模型。

该分类网络用于负责建立交通标志图像的特征与目标交通标志类型之间的关系，其模型参数已处于最优的状态。其中，该分类网络可以包括但不限于卷积层、全连接层和激活函数，卷积层、全连接层可以包括一层，或者也可以包括多层。卷积层用于对交通标志图像进行特征提取，全连接层主要是用于对卷积层处理后的特征进行分类的作用。其中，可以将交通标志图像通过卷积层进行处理，得到卷积特征，然后将卷积特征通过全连接层进行处理，得到全连接向量，然后将全连接向量通过激活函数进行处理，从而得到检测网络的输出结果，该输出结果包括交通标志的要素类型，或者可以包括交通标志在交通标志类型下的多个交通标志属性。

其中，上述激活函数可以是Sigmoid函数，也可以是Tanh函数，还可以是ReLU函数，通过将全连接向量经过激活函数处理，能够将其结果映射到0～1之间。

在一个实施例中，请参见图12所示，上述分类网络可以包括特征提取网络12-2和目标分类网络12-3，将交通标志图像12-1依次通过特征提取网络12-2和目标分类网络12-3进行处理，得到交通标志识别结果12-4。其中，该特征提取网络用于对交通标志图像进行标志类型进行检测，提取到交通标志图像的像素信息和形状信息，目标分类网络用于基于像素信息和形状信息进行语义预测，得到交通标志图像的预测语义，并根据预测语义确定待检测交通图像的交通标志识别结果。其中，上述像素信息可以包括不同颜色的像素信息，例如可以是红色、绿色和黄色。上述形状信息可以包括不同的形状，例如可以是直行、左转、右转等。

一种可能的实现方式中，上述特征提取网络可以包括基础卷积模块、可分离模块和池化模块，该基础卷积模块可以是ConvBnRelu模块，其中，ConvBnRelu模块中包含依次相连接的Conv卷积层、Bn层和Relu层，通过Conv卷积层、Bn层和Relu层提取到交通标志图像的特征信息，上述可分离卷积模块可以包括DW-PW卷积层，该DW-PW卷积层可以包括一个或多个，基于特征信息进行更细粒度的特征提取，并通过池化模块进行特征降维，得到像素信息和形状信息。

需要说明的是，上述池化模块可以包括池化层，该池化层也称为欠采样或下采样。其作用是进行特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性，即进行特征选择，降低特征数量，避免过拟合，并从而减少参数数量。

可选的，上述池化层可以是：最大池化(Max Pooling)、平均池化(Mean Pooling)。其中最大池化一般是取一个区域内所有神经元的最大值。平均池化一般是取区域内所有神经元的平均值。

本实施例中通过最大池化层能够提取局部区域最大值，它不仅对局部小特征感受较好，而且可以消除非极大值，降低上采样的计算复杂度，因此随着网络深度增加，将卷积计算核最大池化运算交替进行，可以进一步细化图像特征。

上述目标分类网络的处理具体可以包括：通过多分类函数对像素信息和形状信息进行运算，输出交通标志类型。还可以通过多元二分类对像素信息和形状信息进行运算，输出融合特征属性。可选的，上述多分类函数可以是softmax函数，上述多元二分类函数可以是多个sigmoid函数，一个sigmoid函数可以实现一个二分类预测。其中，上述多分类函数的作用是用来加入非线性因素，因为线性模型的表达能力不够，能够把输入的连续实值变换为0和1之间的输出。

示例性地，将像素信息和形状信息输入目标分类网络中，目标分类网络的预测结果可以包括“机动车信号灯”、“非机动车信号灯”和“人行横道信号灯”等交通标志类型中的任意一个。其中，预测结果还可以包括交通标志属性，例如交通标志类型“机动车信号灯”对应的标志属性可以是“直行绿灯”、“左转红灯”、“右转红灯”、“右转绿灯”中的多个。

其中，以三分类为例，介绍多分类函数的输出。例如，多分类函数能够预测的交通标志类型分别为“机动车信号灯”、“非机动车信号灯”和“人行横道信号灯”，上述目标分类网络的输出结果可以是通过向量表示，例如可以是一个3*1维的向量，该向量中的每一个元素对应一个交通标志类型，向量中的每个元素值表示交通标志为对应标签种类的概率。假设多分类函数的输出向量为[0.61，0.31，0.08]，则表示交通标志为“机动车信号灯”的概率为0.61，交通标志为“非机动车信号灯”的概率为0.31，交通标志为“人行横道信号灯”的概率为0.08，可以选择概率最大的元素值作为交通标志的预测结果，即将“机动车信号灯”作为交通标志的识别结果。

以三元二分类为例，介绍多元二分类函数的输出。例如，多元二分类函数能够预测的标志属性用“直行绿灯”、“左转红灯”、“右转绿灯”、“右转红灯”表示，其输出结果可以是通过向量表示，例如可以是一个4*1维的向量，该向量中的每一个元素对应一个标志属性，向量中的每个元素值表示交通标志为对应标志属性的概率。假设三元二分类函数的输出向量为[0.51，0.15，0.22、0.62]，则表示这个交通标志为“直行绿灯”的概率为0.51，交通标志为“左转红灯”的概率为0.15，交通标志为“右转绿灯”的概率为0.22，交通标志为“右转红灯”的概率为0.62。假设预设阈值为0.5，将概率大于预设阈值的概率的元素值为作为交通标志的预测结果，即将“直行绿灯”和“右转红灯”作为多元二分类函数的识别结果。

本申请实施例中，通过将交通标志图像输入分类网络进行标志类型检测，能够精准地确定出交通标志图像的像素信息和形状信息，很大程度上提高了确定交通标志的识别结果的准确度，能够更加精准地得到识别结果，实现更高精度的交通标志识别。

在本申请的另一实施例中，还提供了对分类网络进行训练的训练过程的具体实现方式。该训练过程包括：获取历史交通标志区域图像，基于历史交通标志区域图像确定历史交通标志图像，历史交通标志图像标注有对应的历史分类结果；然后基于历史交通标志图像和历史分类结果训练分类网络。

具体地，在获取到历史交通标志区域图像后，可以对历史交通标志图像进行裁剪处理，得到裁剪后的历史交通标志区域图像，然后对历史交通标志区域图像进行尺寸调整和数据增强处理，得到历史交通标志图像。例如可以按照不同的尺寸和缩放比例，将裁剪后的历史交通标志区域图像进行调整，并进行数据增强处理，得到历史交通标志图像。

需要说明的是，数据增强是一种通过让有限的数据产生更多的等价数据来人工扩展训练数据集的技术。其中，计算机视觉领域的数据增强算法大致可以分为两类：第一类是基于图像处理技术的数据增强，第二类是基于深度学习的数据增强算法。

上述基于图像处理技术的数据增强可以包括几何变换、颜色变换、旋转/反射变换、噪声注入、内核过滤器、混合图像、随机擦除、缩放变换、移动、翻转变换、裁剪等。上述基于深度学习的数据增强算法可以包括特征空间增强、对抗生成、基于GAN的数据增强(GAN-based Data Augmentation)、神经风格转换等。

与现有技术中相比，本申请中经过裁剪后的历史交通区域图像没有交通体背景区域的形状限制，对于稀有类别的交通标志，能够便于用其它类型同颜色的交通标志进行数据增强得到，从而得到数量充足、类别均衡的历史交通标志图像，进而使得训练出的分类网络准确度更高。

在基于历史交通标志图像和历史分类结果训练分类网络的过程中，可以将历史交通标志图像输入第二初始网络进行标志类型检测，得到历史交通标志图像的像素信息和形状信息，基于历史交通标志图像的像素信息和形状信息进行语义预测，获得历史交通标志图像的预测语义，根据预测语义确定历史交通标志图像的预测结果，根据历史交通标志图像的预测结果与历史分类结果，计算损失函数，按照损失函数最小化，采用迭代算法迭代调整第二初始网络的参数，得到分类网络。

具体地，计算机设备在得到历史交通标志图像后，可以将其按照一定比例随机分为训练集和验证集，其中，训练集用于对第二初始网络进行训练，以得到训练好的分类网络，验证集用于对训练好的检测网络进行验证，以验证分类网络性能的好坏。然后分别将训练集的历史交通标志图像输入第二初始网络进行标志类型检测，首先通过初始特征提取网络和初始目标分类网络进行处理，将历史交通标志图像通过初始特征提取网络中的依次相连接的Conv卷积层、Bn层和Relu层进行卷积、归一化和激活函数处理，得到输出特征，然后将该输出特通过DW-PW卷积模块和池化模块进行特征提取和特征降维处理，从而提取到历史交通标志图像的像素信息和形状信息。

将历史交通标志图像的像素信息和形状信息通过初始目标分类网络，分别经过全连接层和激活函数进行处理，得到样本全连接向量，并使用激活函数对样本全连接向量进行处理，得到对应的输出结果。利用训练集对待构建的特征提取网络、目标分类网络进行训练，得到待验证的特征提取网络、目标分类网络。

需要说明的是，上述第二初始模型是一个输入为历史交通标志图像，输出为历史交通标志图像的预测结果，且具有对历史交通标志图像进行信息提取和分类检测的能力，能够预测历史交通标志图像的预测结果的神经网络模型。该第二初始模型可以是进行迭代训练时的初始模型，即第二初始模型的模型参数处于初始的状态，也可以是上一轮迭代训练中调整后的模型，即第二初始模型的模型参数处于中间的状态。可以将历史交通标志图像输入第二初始模型，得到输出结果。该输出结果包括历史交通标志图像的交通标志类型，或者可以包括历史交通标志图像在交通标志类型下的多个交通标志属性。

计算机设备在训练分类网络的过程中，利用验证集中对待验证的特征提取网络和目标分类网络，按照损失函数最小化对待验证的特征提取网络和目标分类网络进行优化处理，得到特征提取网络和目标分类网络，根据该验证集输入待验证的分类网络和标注结果之间的差异，对待构建的特征提取网络和目标分类网络中的参数进行更新，以实现对特征提取网络和目标分类网络进行训练的目的，其中，上述标注结果可以是人工对历史图像进行标注得到的交通标志识别结果。

可选的，上述对待验证的特征提取网络和目标分类网络中的参数进行更新，可以是对待构建的特征提取网络和目标分类网络中的权重矩阵以及偏置矩阵等矩阵参数进行更新。其中，上述权重矩阵、偏置矩阵包括但不限于是待验证的特征提取网络和目标分类网络中的卷积层、前馈网络层、全连接层中的矩阵参数。

本申请实施例中，可以使用损失函数计算验证集输入待验证的分类网络中得到的结果和标签结果的损失值，从而对待验证的特征提取网络和目标分类网络中的参数进行更新。可选的，损失函数可以使用交叉熵损失函数，归一化交叉熵损失函数，或者可以使用Focalloss。

其中，通过损失函数对待验证的特征提取网络和目标分类网络的参数进行更新时，可以是根据损失函数确定待验证的特征提取网络和目标分类网络未收敛时，通过调整模型中的参数，以使得待验证的特征提取网络和目标分类网络收敛，从而得到特征提取网络和目标分类网络。待验证的特征提取网络和目标分类网络收敛，可以是指待验证的特征提取网络和目标分类网络对验证集的输出结果与训练数据的标注结果之间的差值小于预设阈值，或者，输出结果与训练数据的标注结果之间的差值的变化率趋近于某一个较低值。当计算的损失函数较小，或者，与上一轮迭代输出的损失函数之间的差值趋近于0，则认为待验证的特征提取网络和目标分类网络收敛，即可得到分类网络。

需要说明的是，本申请实施例中分类网络中的特征提取网络、目标分类网络的迭代训练是两个独立的处理过程，可以仅进行特征提取网络的迭代训练，也可以仅进行目标分类网络的迭代训练。当然，也可以对特征提取网络、目标分类网络均进行迭代训练，对二者的执行顺序不作限定，可以是在一次迭代训练中串联执行，也可以是并行执行。

为了更好的理解本申请实施例，下面来进一步说明本申请提出的交通标志识别的方法的完整流程图方法。如图13所示，该方法可以包括以下步骤：

S501、对待检测交通图像进行交通标志体检测，得到待检测交通图像对应的交通体区域图像。

具体地，请参见图14所示，以交通标志为交通信号灯为例，可以通过图像采集装置或车载拍照设备进行图像采集，具体是对行驶在前方的道路进行拍照，以获取待检测交通图像，该待检测交通图像不仅包括待识别交通标志(交通信号灯)，还可以包括背景信息。

计算机设备在获取到到待检测交通图像后，考虑到计算资源有限，可以采用有损压缩方式或无损压缩方式对直接采集到的待检测交通图像进行压缩处理，得到处理后的待检测交通图像。

然后确定灯体检测网络输出层每个位置的锚框数量，可以将处理后的待检测交通图像的宽和高作为特征，并采用k-means算法对处理后的待检测交通图像进行聚类，得到多个簇，该簇的数量可以为锚框的数量，并根据每个簇中心点的位置坐标所对应的长和宽确定锚框尺寸。通过训练好的灯体检测网络对处理后的待检测交通图像进行特征提取处理，具体是将待检测交通图像输入至灯体检测网络中的基础卷积模块和可分离卷积模块中，依次通过基础卷积模块中的卷积层、归一化层和激活层，得到特征图，然后再将特征图通过可分离卷积模块进行卷积处理，得到卷积后的特征图，并将卷积后的特征图通过基础卷积模块中的卷积层、归一化层和激活层，从而得到预测框相对锚框的位置偏移量和尺寸偏移量，基于锚框的位置、锚框的尺寸、锚框对应的位置偏移量和尺寸偏移量确定锚框对应的预设框，并采用非极大值抑制算法将无效预设框进行滤除，得到灯体区域图像。

S502、根据预设尺寸参数对交通体区域图像进行尺寸调整处理。

以交通标志为交通信号灯为例，在得到灯体区域图像后，可以对其进行裁剪，得到裁剪后的灯体区域图像，然后进行预处理，通过获取灯体区域图像的位置信息和尺寸信息，基于裁剪后的灯体区域图像的位置信息和尺寸信息，按照预设的尺寸参数，该尺寸参数例如是一个预设边长s，然后对灯体区域图像进行图像缩放且图像缩放resize处理后长边为s，则对于灯体区域图像的短边，可以是以交通灯区域为中心，按照预设比例进行扩充处理，例如可以通过两侧对称地进行图像扩充padding，使得处理后的灯体区域图像大小为s*s，然后再根据灯体区域图像与处理后的灯体区域图像之间的映射关系，将交通灯区域的坐标映射至尺寸为s*s的处理后的灯体区域图像上。

S503、确定交通体区域图像中的N个锚框，并将交通体区域图像输入检测网络，对每个锚框对应区域进行特征提取，获得每一个锚框对应的位置偏移量和尺寸偏移量。

具体地，可以获取灯体区域图像的尺寸，该尺寸包括宽度和高度，对于灯体区域图像中的每个特征点，将宽度和高度作为检测特征，基于该检测特征采用k-mean算法对进行聚类处理，得到N个簇，基于每个簇类中心点的位置坐标所对应的长和宽确定锚框尺寸，将该N类的类心确定为对应锚框的宽度和高度。不同类锚框的尺寸和位置也不同。

请参见图15所示，当获取的灯体区域图像的尺寸为144*256时，将输入通道数为3，图像尺寸为144*256灯体区域图像输入LED检测网络，通过LED检测网络中的ConvBnRelu模块进行处理，得到输出通道数为16，图像尺寸为72*128的第一特征图，然后将第一特征图通过LED检测网络中的可分离卷积模块进行特征提取处理，得到输出通道数为256，图像尺寸为18*32的第二特征图，并将输出通道数为256，图像尺寸为18*32的第二特征图继续通过LED检测网络中的ConvBnRelu模块进行处理，从而得到输出通道数为6n，图像尺寸为18*32的输出结果。该输出结果包括每一类锚框对应的位置偏移量(中心横坐标偏移量和中心纵坐标偏移量)、尺寸偏移量(宽度偏移量和高度偏移量)、预测框对应的置信度和预测类别结果。

需要说明的是，为了减小计算量，上述可分离卷积采用depthwise-pointwise设计，且该LED检测网络的输出通道数为N*(4+1+c)，其中，N为确定的锚框数量，4表示对每个锚框的位置偏移量和尺寸偏移量的参数数量，其中，位置偏移量可以包括中心横坐标和中心纵坐标的偏移量，尺寸偏移量可以包括宽度偏移量和高度偏移量。1表示预设框中存在交通标志的置信度数量，c表示预设框中是否存在交通标志的目标类别数量，本实施例中确定的是预设框中存在交通标志的类别，则c为1。因此，LED检测网络的输出通道数为N*(4+1+1)，即6*N。

其中，上述ConvBnRelu模块中包含依次相连接的Conv卷积层、Bn层和Relu层，在通过LED检测网络中的ConvBnRelu模块进行处理得到第一特征图的过程中，可以通过Conv卷积层提取灯体区域中每个锚框中边缘以及纹理等图像特征，得到灯体区域图像的图像特征，并通过Bn层过滤图像特征中的噪声特征，得到过滤后的图像特征，然后将过滤后的图像特征通过Relu层(激活函数)进行线性映射，加强特征提取模型的泛化能力，得到尺寸为72*128的第一特征图。其中，该第一特征图中包括多个特征点。

上述可分离卷积模块可以包括多个依次连接的DW-PW层，在得到图像尺寸为72*128的第一特征图后，可以将其输入可分离模块中的第一个DW-PW层进行卷积提取处理，得到输出通道数为64，图像尺寸为36*64的特征图，然后将输出通道数为64，图像尺寸为36*64的特征图通过可分离模块中的第二个DW-PW层进行卷积提取处理，得到输出通道数为128，图像尺寸为18*32的特征图，同理，并将输出通道数为128，图像尺寸为18*32的特征图依次通过可分离模块中的第三个DW-PW层和第四个DW-PW层进行卷积提取处理，得到输出通道数为256，图像尺寸为18*32的第二特征图。其中，该第二特征图中包括多个特征点。

可选的，上述DW-PW层还可以包括多个BN层和Relu层，该BN层用于进行归一化处理，得到归一化特征，该Relu层包括激活函数，用于将其结果映射到0～1之间。

S504、基于锚框的位置、锚框的尺寸、锚框对应的位置偏移量和尺寸偏移量确定锚框对应的预设框。

S505、对N类锚框对应的预设框中的无效预设框进行滤除，基于剩余锚框对应区域得到交通标志区域图像。

具体地，在得到锚框对应的位置偏移量和尺寸偏移量后，可以对每一类锚框采用预设的修正算法，基于锚框的位置、锚框的尺寸、锚框对应的位置偏移量和尺寸偏移量对锚框进行修正处理，得到N类锚框对应的N个预设框，其中，该N个预设框中可以包括存在交通灯的框，也可以包括不存在交通灯的框。然后采用非极大值抑制算法对N个预设框中的无效预设框进行滤除，从而得到仅包含交通灯区域的预设框，从而得到对应的交通灯区域图像。

S506、对交通标志区域图像进行裁剪处理，获得交通标志图像。

在得到交通灯区域图像后，可以通过图像处理软件对交通灯区域图像进行裁剪处理，去掉冗余的背景区域，从而得到交通灯图像。该交通灯图像仅包含交通灯区域，然后按照不同的尺寸和缩放比例，对仅包含交通灯区域的交通灯图像进行调整处理，可以根据实际定义目标尺寸的边长s1，然后将交通灯区域图像按照预设缩放比例，对其进行调整，使得交通灯图像的尺寸为s1*s1。

S507、将交通标志图像输入分类网络进行标志类型检测，得到交通标志图像的像素信息和形状信息。

S508、基于像素信息和形状信息进行语义预测，获得交通标志图像的预测语义，根据预测语义确定待检测交通图像的交通标志识别结果。

具体地，请参见图16所示，在得到交通灯图像后，且该交通灯图像的图像尺寸为64*64，则将输入通道数为3，图像尺寸为64*64的交通灯图像输入分类网络，通过LED分类网络中的ConvBnRelu模块进行处理，得到输出通道数为16，图像尺寸为32*32的第三特征图，然后将第三特征图通过LED分类网络中的可分离卷积模块进行特征提取处理，得到输出通道数为256，图像尺寸为4*4的第四特征图，并将第四特征图通过LED分类网络中的池化模块MaxPool进行最大池化处理，从而得到输出通道数为256，图像尺寸为1*1的特征图，然后通过LED分类网络中的全连接层FC对其进行处理，得到输出通道数为C1，图像尺寸为1*1的特征图，并通过激活函数对其进行处理，从而得到输出结果，该输出结果可以是1*C1的向量，该向量中的每个位置的向量值表示结果为该位置对应类别的概率值。然后将概率值与预设阈值进行比较，可以将概率值大于预设阈值的位置对应的列表为作为交通灯的预测结果，假设确定出待检测交通图像的交通灯识别结果分别为“掉头绿灯”、“左转红灯”和“右转绿灯”。

其中，上述可分离卷积模块可以包括多个依次连接的DW-PW层，在得到图像尺寸为图像尺寸为32*32的第三特征图后，可以将其输入可分离模块中的第一个DW-PW层进行卷积提取处理，得到输出通道数为64，图像尺寸为16*16的特征图，然后将输出通道数为64，图像尺寸为16*16的特征图通过可分离模块中的第二个DW-PW层进行卷积提取处理，得到输出通道数为128，图像尺寸为8*8的特征图，同理，并将输出通道数为128，图像尺寸为8*8的特征图通过可分离模块中的第三个DW-PW层进行卷积提取处理，得到输出通道数为256，图像尺寸为4*4的第四特征图。其中，该第四特征图中包括多个特征点。

进一步地，当需要进行自动驾驶辅助驾驶时，计算机设备可以将上述交通灯识别结果“掉头绿灯”、“左转红灯”和“右转绿灯”进行语义整合处理，从而解析得到“可以掉头和右转，禁止左转”的语义提示信息，以使得车辆可以根据语义提示信息执行对应操作。

本实施例中能够通过对待检测交通图像进行交通标志体检测，从而得到粗粒度的交通体区域图像，并通过确定交通体区域图像中的N个锚框的方式，能够更精细地对每个锚框对应区域进行交通标志检测，能够更细粒度地提取到交通体区域图像中每一交通标志区域的图像特征，然后通过对交通标志区域图像进行标志类型检测，结合了精细且全面的特征来解析得到待检测交通图像的交通标志识别结果，提高了交通标志识别结果的准确性。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

另一方面，图17为本申请实施例提供的一种交通标志识别装置的结构示意图。该装置可以为终端或服务器内的装置，如图17所示，该装置700包括：

交通体检测模块710，用于对待检测交通图像进行交通标志体检测，得到待检测交通图像对应的交通体区域图像；

标志区域检测模块720，用于确定交通体区域图像中的N个锚框，对每个锚框对应区域进行交通标志检测，得到交通标志体区域图像对应的交通标志区域图像；N个锚框中每个锚框对应的尺寸和位置不同，N为大于或等于1的整数；

识别模块730，用于对交通标志区域图像进行标志类型检测，得到待检测交通图像中交通标志的类型信息，基于类型信息获得待检测交通图像的交通标志识别结果。

在一些实施例中，请参见图18所示，上述标志区域检测模块720，，包括：

获取单元721，用于确定交通体区域图像中的N个锚框；每个锚框对应的尺寸和位置不同，N为大于或等于1的整数；

特征提取单元722，用于将交通体区域图像输入检测网络，对每个锚框对应区域进行特征提取，获得交通体区域图像中每一个锚框对应的位置偏移量和尺寸偏移量；

确定单元723，用于基于锚框的位置、锚框的尺寸、锚框对应的位置偏移量和尺寸偏移量确定锚框对应的预设框；

滤除单元724，用于对N类锚框对应的预设框中的无效预设框进行滤除，基于剩余锚框对应区域得到交通标志区域图像。

在一些实施例中，上述特征提取单元722，具体用于：

基于锚框确定交通体区域图像的目标区域；

对目标区域进行基础卷积处理，得到第一特征图；基础卷积处理依次包括初始卷积处理、归一化处理和激活函数处理；

对第一特征图进行可分离卷积处理，得到第二特征图；

对第二特征图进行基础卷积处理，得到位置偏移量和尺寸偏移量。

在一些实施例中，上述装置，还用于：

根据预设尺寸参数对交通体区域图像进行尺寸调整处理。

在一些实施例中，上述装置，还用于：

获取交通体区域图像的位置信息和尺寸信息；

基于交通体区域图像的位置信息和尺寸信息，按照预设的尺寸参数，对交通体区域图像进行图像缩放和扩充处理，并将交通体区域的坐标位置进行映射处理。

在一些实施例中，检测网络的训练过程包括：

获得历史交通体图像中的M个锚框；每个锚框对应的尺寸和位置不同，M为大于或等于1的整数，历史交通体图像包含标注的交通体区域；

将历史交通体图像输入第一初始网络，对历史交通体图像进行特征提取，获得M个锚框中每一个锚框对应的位置偏移量和尺寸偏移量；

针对M个锚框中每一个锚框，基于锚框的位置、锚框的尺寸、锚框对应的位置偏移量和尺寸偏移量确定锚框对应的预测框；

对M个锚框对应的预测框中的无效预测框进行滤除，得到第一初始网络的预测交通体区域；

基于预测交通体区域和标注的交通体区域之间的损失函数，按照损失函数最小化，采用迭代算法对第一初始网络进行迭代训练，得到检测网络。

在一些实施例中，损失函数包括第一分量、第二分量、第三分量以及第四分量；

第一分量用于表征预测框相对锚框之间的位置偏移量损失；

第二分量用于表征预测框相对锚框之间的尺寸偏移量损失；

第三分量用于表征预测框对应的预测置信度与真实置信度之间的损失；

第四分量用于表征预测框对应的预测类别结果与真实类别结果之间的损失。

在一些实施例中，上述识别模块730，具体用于：

对交通标志区域图像进行裁剪处理，获得交通标志图像；

将交通标志图像输入分类网络进行标志类型检测，得到交通标志图像的像素信息和形状信息；

基于像素信息和形状信息进行语义预测，获得交通标志图像的预测语义，根据预测语义确定待检测交通图像的交通标志识别结果。

在一些实施例中，分类网络的训练过程，包括：

获取历史交通标志区域图像，基于每个历史交通标志区域图像确定历史交通标志图像；每个历史交通标志图像标注有对应的历史分类结果；

基于每个历史交通标志图像和每个历史分类结果训练每个分类网络。

在一些实施例中，每个装置，还用于：

将历史交通标志图像输入第二初始网络进行标志类型检测，得到历史交通标志图像的像素信息和形状信息；

基于历史交通标志图像的像素信息和形状信息进行语义预测，获得历史交通标志图像的预测语义，根据预测语义确定历史交通标志图像的预测结果。

根据历史交通标志图像的预测结果与历史分类结果，计算损失函数，按照损失函数最小化，采用迭代算法迭代调整第二初始网络的参数，得到分类网络。

在一些实施例中，上述装置，还用于：

对历史交通标志区域图像进行尺寸调整和数据增强处理，得到历史交通标志图像。

可以理解的是，本实施例的交通标志识别装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，在此不再赘述。

综上所述，本申请实施例提供的细胞数据注释装置，一方面，在得到交通体区域图像这一指导信息后通过确定交通体区域图像中的N个锚框的方式，能够更精细地对每个锚框对应区域进行交通标志检测，从而能够更细粒度地提取到交通体区域图像中每一交通标志区域的图像特征，以便基于更细节的特征识别图像中的交通标志，能够有效提高交通标志的识别准确度。另一方面，通过对交通标志区域图像进行标志类型检测，能够结合了更为精细且全面的特征来确定待检测交通图像的交通标志识别结果，也能够在一定程度上使得本申请所提供方法的识别准确度相比于现有技术有明显提升。

另一方面，本申请实施例提供的设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如上述的交通标志识别方法。

下面参考图19，图19为本申请实施例的终端设备的计算机***的结构示意图。

如图19所示，计算机***300包括中央处理单元(CPU)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分303加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有***300操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。

以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分303从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本申请的***中限定的上述功能。

需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器，包括：交通体检测模块、标志区域检测模块及识别模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，交通体检测模块还可以被描述为“用于对待检测交通图像进行交通标志体检测，得到所述待检测交通图像对应的交通体区域图像”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序，当上述前述程序被一个或者一个以上的处理器用来执行描述于本申请的交通标志识别方法：

综上所述，本申请实施例中提供的交通标志识别方法、装置、设备及介质，通过对待检测交通图像进行交通标志体检测，得到待检测交通图像对应的交通体区域图像，然后确定交通体区域图像中的N个锚框，并对每个锚框对应区域进行交通标志检测，得到交通标志体区域图像对应的交通标志区域图像，并对交通标志区域图像进行标志类型检测，得到待检测交通图像中交通标志的类型信息，基于类型信息获得待检测交通图像的交通标志识别结果。本申请中的技术方案相比于现有技术而言，一方面，在得到交通体区域图像这一指导信息后通过确定交通体区域图像中的N个锚框的方式，能够更精细地对每个锚框对应区域进行交通标志检测，从而能够更细粒度地提取到交通体区域图像中每一交通标志区域的图像特征，以便基于更细节的特征识别图像中的交通标志，能够有效提高交通标志的识别准确度。另一方面，通过对交通标志区域图像进行标志类型检测，能够结合了更为精细且全面的特征来确定待检测交通图像的交通标志识别结果，也能够在一定程度上使得本申请所提供方法的识别准确度相比于现有技术有明显提升。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims

1.一种交通标志识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，对每个所述锚框对应区域进行交通标志检测，得到所述交通标志体区域图像对应的交通标志区域图像，包括：

将所述交通体区域图像输入检测网络，对每个所述锚框对应区域进行特征提取，获得所述交通体区域图像中每一个所述锚框对应的位置偏移量和尺寸偏移量；

基于所述锚框的位置、所述锚框的尺寸、所述锚框对应的位置偏移量和尺寸偏移量确定所述锚框对应的预设框；

对所述N个锚框对应的预设框中的无效预设框进行滤除，基于剩余锚框对应区域得到所述交通标志区域图像。

3.根据权利要求2所述的方法，其特征在于，对每个所述锚框对应区域进行特征提取，获得每一个所述锚框对应的位置偏移量和尺寸偏移量，包括：

基于所述锚框确定所述交通体区域图像的目标区域；

对所述目标区域进行基础卷积处理，得到第一特征图；所述基础卷积处理依次包括初始卷积处理、归一化处理和激活函数处理；

对所述第一特征图进行可分离卷积处理，得到第二特征图；

对所述第二特征图进行所述基础卷积处理，得到所述位置偏移量和所述尺寸偏移量。

4.根据权利要求1所述的方法，其特征在于，在对所述交通体区域图像进行交通标志检测之前，所述方法还包括：

根据预设尺寸参数对所述交通体区域图像进行尺寸调整处理。

5.根据权利要求4所述的方法，其特征在于，根据预设尺寸参数对所述交通体区域图像进行尺寸调整处理，包括：

获取所述交通体区域图像的位置信息和尺寸信息；

基于所述交通体区域图像的位置信息和尺寸信息，按照预设的尺寸参数，对所述交通体区域图像进行图像缩放和扩充处理，并将交通体区域的坐标位置进行映射处理。

6.根据权利要求2或3所述的方法，其特征在于，所述检测网络的训练过程包括：

获得历史交通体图像中的M个锚框；每个所述锚框对应的尺寸和位置不同，所述M为大于或等于1的整数，所述历史交通体图像包含标注的交通体区域；

将所述历史交通体图像输入第一初始网络，对所述历史交通体图像进行特征提取，获得所述M个锚框中每一个锚框对应的位置偏移量和尺寸偏移量；

针对所述M个锚框中每一个锚框，基于所述锚框的位置、所述锚框的尺寸、所述锚框对应的位置偏移量和尺寸偏移量确定所述锚框对应的预测框；

对所述M个锚框对应的预测框中的无效预测框进行滤除，得到所述第一初始网络的预测交通体区域；

基于所述预测交通体区域和所述标注的交通体区域之间的损失函数，按照损失函数最小化，采用迭代算法对所述第一初始网络进行迭代训练，得到检测网络。

7.根据权利要求6所述的方法，其特征在于，所述损失函数包括第一分量、第二分量、第三分量以及第四分量；

所述第一分量用于表征所述预测框相对锚框之间的位置偏移量损失；

所述第二分量用于表征所述预测框相对锚框之间的尺寸偏移量损失；

所述第三分量用于表征预测框对应的预测置信度与真实置信度之间的损失；

所述第四分量用于表征预测框对应的预测类别结果与真实类别结果之间的损失。

8.根据权利要求1所述的方法，其特征在于，对所述交通标志区域图像进行标志类型检测，得到所述待检测交通图像中交通标志的类型信息，基于所述类型信息获得所述待检测交通图像的交通标志识别结果，包括：

对所述交通标志区域图像进行裁剪处理，获得交通标志图像；

将所述交通标志图像输入分类网络进行标志类型检测，得到所述交通标志图像的像素信息和形状信息；

基于所述像素信息和所述形状信息进行语义预测，获得所述交通标志图像的预测语义，根据所述预测语义确定所述待检测交通图像的交通标志识别结果。

9.根据权利要求8所述的方法，其特征在于，所述分类网络的训练过程，包括：

获取历史交通标志区域图像，基于所述历史交通标志区域图像确定历史交通标志图像；所述历史交通标志图像标注有对应的历史分类结果；

基于所述历史交通标志图像和所述历史分类结果训练所述分类网络。

10.根据权利要求9所述的方法，其特征在于，基于所述历史交通标志图像和所述历史分类结果训练所述分类网络，包括：

将所述历史交通标志图像输入第二初始网络进行标志类型检测，得到所述历史交通标志图像的像素信息和形状信息；

基于所述历史交通标志图像的像素信息和所述形状信息进行语义预测，获得所述历史交通标志图像的预测语义，根据所述预测语义确定所述历史交通标志图像的预测结果；

根据所述历史交通标志图像的预测结果与历史分类结果，计算损失函数，按照所述损失函数最小化，采用迭代算法迭代调整第二初始网络的参数，得到所述分类网络。

11.根据权利要求9所述的方法，其特征在于，基于所述历史交通标志区域图像确定历史交通标志图像，包括：

对所述历史交通标志区域图像进行尺寸调整和数据增强处理，得到历史交通标志图像。

12.一种交通标志识别装置，其特征在于，所述装置包括：

13.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器用于执行所述程序时实现如权利要求1-11任一项所述的交通标志识别方法。

14.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序用于实现如权利要求1-11任一项所述的交通标志识别方法。

15.一种计算机程序产品，其特征在于，所述计算机程序产品中包括指令，当所述指令被执行时实现如权利要求1-11任一项所述的交通标志识别方法。