CN113963060A - 基于人工智能的车信图像处理方法、装置及电子设备 - Google Patents

Abstract

本申请提供了一种基于人工智能的车信图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品；应用于地图领域，方法包括：基于多个车信类型的车信图像样本，生成对应多个车信类型的车信公共模板，获取车信公共模板的标定点集合；对包括目标车信的车信图像进行特征提取处理，得到车信图像的特征图；对特征图进行标定点掩码回归处理，得到车信图像中对应每个标定点的预测掩码，对特征图进行标定点位置回归处理，得到车信图像中对应每个标定点的预测坐标；基于预测掩码，确定对应目标车信的车信类型的多个目标标定点，基于每个目标标定点的预测坐标，确定车信图像中目标车信的位置。通过本申请，能够提高目标车信的位置检测效率。

Description

基于人工智能的车信图像处理方法、装置及电子设备

技术领域

本申请涉及电子地图技术，尤其涉及一种基于人工智能的车信图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

人工智能（AI，Artificial Intelligence）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用***。

电子地图中需要准确而高效地反映现实世界各类道路要素的信息变化，车信的标定点检测能够帮助相应的地图要素和母库要素进行空间位置的精准比对，将车信变化实时更新至电子地图中，因此高效且准确的车信标定点检测尤为重要。

相关技术中提供了目标对象的关键点检测技术，例如人脸关键点检测技术，但是由于车信种类复杂多样，相关技术中的关键点检测技术无法高效应用于车信检测领域以适应不同类型的车信。

发明内容

本申请实施例提供一种基于人工智能的车信图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够通过公共模板以及标定点掩码回归处理，适应性检测多种类型目标车信的位置，从而提高目标车信的位置检测效率。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种基于人工智能的车信图像处理方法，包括：

对包括目标车信的车信图像进行特征提取处理，得到所述车信图像的特征图；

基于多个车信类型的车信图像样本，生成对应所述多个车信类型的车信公共模板，并获取所述车信公共模板的标定点集合；

其中，所述标定点集合包括与每个所述车信类型对应的多个标定点；

对所述特征图进行标定点掩码回归处理，得到所述车信图像中对应每个所述标定点的预测掩码，并对所述特征图进行标定点位置回归处理，得到所述车信图像中对应每个所述标定点的预测坐标；

基于所述预测掩码，从所述标定点集合中确定对应所述目标车信的车信类型的多个目标标定点，并基于每个所述目标标定点的预测坐标，确定所述车信图像中目标车信的位置。

本申请实施例提供一种基于人工智能的车信图像处理装置，包括：

特征模块，用于对包括目标车信的车信图像进行特征提取处理，得到所述车信图像的特征图；

模板模块，用于基于多个车信类型的车信图像样本，生成对应所述多个车信类型的车信公共模板，并获取所述车信公共模板的标定点集合；

其中，所述标定点集合包括与每个所述车信类型对应的多个标定点；

回归模块，用于对所述特征图进行标定点掩码回归处理，得到所述车信图像中对应每个所述标定点的预测掩码，并对所述特征图进行标定点位置回归处理，得到所述车信图像中对应每个所述标定点的预测坐标；

位置模块，用于基于所述预测掩码，从所述标定点集合中确定对应所述目标车信的车信类型的多个目标标定点，并基于每个所述目标标定点的预测坐标，确定所述车信图像中目标车信的位置。

在上述方案中，所述模板模块，还用于：提取每个所述车信图像样本的车信；对多个所述车信进行尺寸调整处理，得到具有相同尺寸的车信；对多个具有相同尺寸的车信进行合并处理，得到对应所述多个车信类型的车信公共模板。

在上述方案中，所述特征模块，还用于：提取所述车信图像的卷积特征，并对所述车信图像的卷积特征进行最大池化处理，得到所述车信图像的池化特征；对所述车信图像的池化特征进行多次残差迭代处理，得到所述车信图像的残差迭代处理结果，并将所述残差迭代处理结果作为所述车信图像的特征图。

在上述方案中，所述标定点掩码回归处理是通过掩码回归网络执行的，所述掩码回归网络包括第一池化层、第一全连接层以及第一特征提取层，所述回归模块，还用于：通过所述第一特征提取层对所述车信图像的特征图进行多次掩码特征提取处理，得到所述特征图的掩码回归特征；通过所述第一池化层对所述特征图的掩码回归特征进行平局池化处理，得到所述特征图的平均掩码池化特征；通过所述第一全连接层对所述特征图的平均掩码池化特征进行第一全连接处理，得到针对每个所述标定点的预测掩码。

在上述方案中，所述标定点位置回归处理是通过坐标回归网络执行的，所述坐标回归网络包括第二池化层、第二全连接层以及第二特征提取层；所述回归模块，还用于：通过所述第二特征提取层对所述车信图像的特征图进行多次位置特征提取处理，得到所述特征图的位置回归特征；通过所述第二池化层对所述特征图的位置回归特征进行平局池化处理，得到所述特征图的平均位置池化特征；通过所述第二全连接层对所述特征图的平均位置池化特征进行第二全连接处理，得到针对每个所述标定点的预测坐标。

在上述方案中，所述标定点位置回归处理是通过M个回归网络以及后置坐标回归网络执行的，M为大于或者等于1的整数；所述回归模块，还用于：通过所述M个回归网络对所述车信图像进行前置回归处理，得到所述车信图像的前置回归处理结果；通过所述后置坐标回归网络对所述前置回归处理结果进行后置坐标回归处理，得到针对每个所述标定点的预测坐标。

在上述方案中，所述回归模块，还用于：当M取值为1时，通过所述回归网络，对所述特征图进行前置回归处理，得到所述车信图像的前置回归处理结果；当M取值大于1时，通过所述M个回归网络中的第m回归网络，对所述第m回归网络的输入进行回归处理，并将所述第m回归网络输出的第m回归处理结果传输到第m+1回归网络以继续进行回归处理，得到对应所述第m+1回归处理结果；其中，m为取值从1开始递增的整数变量，m的取值范围为

，当m取值为1时，所述第m回归网络的输入为所述特征图，当m取值为2

时，所述第m回归网络的输入为第m-1回归网络输出的第m-1回归处理结果，当m取值为M-1时，所述第m+1回归网络的输出是所述前置回归处理结果。

在上述方案中，所述第m回归网络包括第m坐标回归网络和第m热图堆叠网络，所述回归模块，还用于：通过所述m坐标回归网络对所述第m回归网络的输入进行第m坐标回归处理，得到针对每个所述标定点的第m预测坐标；基于每个所述标定点的预测掩码，从所述多个标定点中选择出多个有效标定点；基于所述多个有效标定点，确定对应所述车信图像的第m热图；对所述特征图进行上采样处理，并将所述特征图的上采样处理结果与所述第m热图进行堆叠处理，得到所述第m回归处理结果。

在上述方案中，所述回归模块，还用于：针对每个所述标定点执行以下处理：当对应所述标定点的预测掩码小于掩码阈值时，将对应的标定点确定为有效标定点；获取每个所述有效标定点的第m预测坐标，并针对所述车信图像的每个图像坐标执行以下处理：确定所述图像坐标与每个所述第m预测坐标之间的距离；获取多个所述距离中的最小距离；当所述最小距离大于距离阈值时，将所述图像坐标的热度值确定为一；当所述最小距离不大于所述距离阈值时，将与所述最小距离负相关的计算值确定为所述图像坐标的热度值；基于每个所述图像坐标的热度值，生成对应所述车信图像的第m热图。

在上述方案中，所述标定点位置回归处理是通过热图回归网络执行的，所述热图回归网络包括N个级联的下采样层、N个级联的上采样层以及卷积层，其中，N为大于或者等于2的整数；所述回归模块，还用于：通过所述N个级联的下采样层对所述特征图进行下采样处理，得到下采样处理结果；通过所述卷积层对所述下采样处理结果进行卷积处理，得到所述特征图的热图特征；通过所述N个级联的上采样层对所述热图特征进行上采样处理，得到对应所述特征图的预测热图；基于所述预测热图，确定针对每个所述标定点的预测坐标。

在上述方案中，所述回归模块，还用于：针对每个所述标定点执行以下处理：获取所述预测热图中对应所述标定点的多个图像坐标的热度值；基于所述热度值，对所述预测热图的多个图像坐标进行降序排序处理；将排序在首位的图像坐标作为所述标定点的预测坐标。

本申请实施例提供一种电子设备，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的基于人工智能的车信图像处理方法。

本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于被处理器执行时，实现本申请实施例提供的基于人工智能的车信图像处理方法。

本申请实施例提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现本申请实施例提供的基于人工智能的车信图像处理方法。

本申请实施例具有以下有益效果：

获取对应多个车信类型的车信公共模板的标定点集合，对车信图像的特征图进行标定点掩码回归处理以及标定点位置回归处理，得到车信图像中对应每个标定点的预测掩码以及对应每个标定点的预测坐标，由于标定点掩码回归处理以及标定点位置回归处理是基于相同特征图得到的，可以有效提高预测准确度，将预测掩码和预测坐标结合可以适应于多个车信类型的位置检测，提高车信检测效率。

附图说明

图1是相关技术中人脸关键点检测示意图；

图2A是本申请实施例提供的车信示意图；

图2B是本申请实施例提供的车信示意图；

图2C是本申请实施例提供的车信示意图；

图2D是本申请实施例中被遮挡的车信的示意图；

图3是本申请实施例提供的基于人工智能的车信图像处理***的结构示意图；

图4是本申请实施例提供的电子设备的结构示意图；

图5是本申请实施例提供的车信图像处理方法的车信标定点检测模型的架构示意图；

图6A是本申请实施例提供的基于人工智能的车信图像处理方法的流程示意图；

图6B是本申请实施例提供的基于人工智能的车信图像处理方法的流程示意图；

图6C是本申请实施例提供的基于人工智能的车信图像处理方法的流程示意图；

图6D是本申请实施例提供的基于人工智能的车信图像处理方法的流程示意图；

图7是本申请实施例提供的车信图像处理方法的三维重建示意图；

图8是本申请实施例提供的车信图像处理方法的车信对比图；

图9是本申请实施例提供的车信图像处理方法的通用模板示意图；

图10是本申请实施例提供的车信图像处理方法的掩码与坐标关系示意图；

图11是本申请实施例提供的热图回归网络的示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

1）车信：指在道路上用线条、箭头、文字、立面标记、突起路标和轮廓标等向交通参与者传递引导、限制、警告等交通信息的标识。其作用是管制和引导交通。

2）标定点（landmarks）：为车信箭头预先定义的一组关键点位置，例如，直行箭头的尖点，通过关键点位置可以得到车信的***框，从而检测得到车信在图像中的位置，不同帧数据中的同一个车信箭头的关键点位置可以用于下游三维重建的匹配点数据使用，提高重建精度和成功率。

3）热图（heat map）：热图因其丰富的色彩变化和生动饱满的信息常用于提供额外的纹理信息或监督信息，通过热图可以对关键点进行编码，离关键点距离越近，热图上对应坐标的像素值越高。

4）智能车路协同***（IVICS，Intelligent Vehicle InfrastructureCooperative Systems），简称车路协同***，是智能交通***(ITS)的一个发展方向。车路协同***是采用先进的无线通信和新一代互联网等技术，全方位实施车车、车路动态实时信息交互，并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理，充分实现人车路的有效协同，保证交通安全，提高通行效率，从而形成的安全、高效和环保的道路交通***。

相关技术中可以实现人脸关键点检测以及人体关键点检测，以人脸关键点检测为例，是在给定人脸关键点的标定位置后，通过给定任意含有人脸的图像作为模型输入，输出对应标定位置的预测，以坐标的形式给出，参见图1，图1是相关技术中人脸关键点检测示意图，人脸中眉毛、嘴巴、鼻子、眼睛等部分的关键点的位置均被检测出来并标识在人脸中，申请人发现相关技术尚未将人脸关键点检测技术应用于车信关键点检测，即便将人脸关键点检测技术应用于车信关键点检测，由于车信类型很多，每种类型的关键点标定位置以及关键点数目各不相同，参见图2A、图2B以及图2C，图2A、图2B以及图2C均是本申请实施例提供的车信示意图，图2A示出的车信为直行箭头，直行箭头的每个拐角点均是标定点（例如，标定点1-标定点5、以及标定点28-标定点29），连接拐角点可以形成对应的车信，因此将拐角点作为标定点，图2B示出的车信为掉头箭头，掉头箭头的每个拐角点均是标定点（例如，标定点21-标定点29），图2C示出的车信为三向箭头，三向箭头的每个拐角点均是标定点（例如，标定点1-标定点20、以及标定点28-标定点29），从图2A、图2B以及图2C可以看出，不同车信的拐角不同，因此不同车信具有不同的关键点，而人脸关键点检测技术所针对的对象是人脸，不同的人脸图像具有相同的标定点，例如，所有人脸的眉毛、嘴巴、眼睛、鼻子均处于类似的相对位置，因此人脸关键点检测技术无法基于相同的模型对多种车信进行关键点检测，参见图2D，图2D是本申请实施例中被遮挡的车信的示意图，车信图像存在模糊，遮挡，破损等情况，人脸关键点技术在这些情况中仍然会输出标定点的位置，但是针对车信检测若是输出这些标定点的位置会造成检测误差。

本申请实施例提供一种基于人工智能的车信图像处理方法、装置、电子设备、计算机可读存储介质以及计算机程序产品，能够通过公共模板以及标定点掩码回归处理，适应性检测多种类型目标车信的位置，从而提高目标车信的位置检测效率。

本申请实施例提供的车信图像处理方法可以由各种电子设备实施，例如可以由终端设备或服务器单独实施，也可以由终端和服务器协同实施。

下面说明电子设备实施为车信图像处理***中的服务器时示例性应用，参见图3，图3是本申请实施例提供的基于人工智能的车信图像处理***的结构示意图，终端400通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。

在一些实施例中，基于人工智能的车信图像处理***的功能是基于服务器200实现的，在用户使用终端400的过程中，用户可以为路面信息采集员，终端400收集车信图像样本发送至服务器200，以使服务器200对车信标定点检测模型进行基于多个损失函数的训练，将训练完成的车信标定点检测模型集成在服务器200中，响应于终端400接收到用户所拍摄的车信图像，终端400将车信图像发送至服务器200，服务器200通过车信标定点检测模型确定出车信图像的目标车信的位置，并发送至终端400，以使终端400基于车信图像以及目标车信的位置执行智能车路协同***中的地图图像处理任务。

在另一些实施例中，当本申请实施例提供的车信图像处理方法由终端单独实施时，在上文所描述的各种应用场景中，终端可以运行车信标定点检测模型以确定出目标车信的位置，终端基于车信图像以及目标车信的位置执行智能车路协同***中的地图图像处理任务。

在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。

接下来，说明本申请实施例提供的用于实施基于人工智能的车信图像处理方法的电子设备的结构，如前，本申请实施例提供的电子设备可以是图3中的服务器200。参见图4，图4是本申请实施例提供的电子设备的结构示意图，图4所示的服务器200包括：至少一个处理器210、存储器250、至少一个网络接口220。服务器200中的各个组件通过总线***240耦合在一起。可理解，总线***240用于实现这些组件之间的连接通信。总线***240除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线***240。

处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

存储器250可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。

存储器250包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器（ROM，Read Only Memory），易失性存储器可以是随机存取存储器（RAM，Random Access Memory）。本申请实施例描述的存储器250旨在包括任意适合类型的存储器。

在一些实施例中，存储器250能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作***251，包括用于处理各种基本***服务和执行硬件相关任务的***程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；网络通信模块252，用于经由一个或多个（有线或无线）网络接口220到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证（WiFi）、和通用串行总线（USB，UniversalSerial Bus）等。

在一些实施例中，本申请实施例提供的基于人工智能的车信图像处理装置可以采用软件方式实现，图4示出了存储在存储器250中的基于人工智能的车信图像处理装置255，其可以是程序和插件等形式的软件，包括以下软件模块：特征模块2551、模板模块2552、回归模块2553以及位置模块2554，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分，将在下文中说明各个模块的功能。

在一些实施例中，终端或服务器可以通过运行计算机程序来实现本申请实施例提供的基于人工智能的车信图像处理方法。举例来说，计算机程序可以是操作***中的原生程序或软件模块；可以是本地（Native）应用程序（APP，Application），即需要在操作***中安装才能运行的程序，如地图APP；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。

将结合本申请实施例提供的服务器200的示例性应用和实施，说明本申请实施例提供的基于人工智能的车信图像处理方法。

参见图5，图5是本申请实施例提供的车信图像处理方法的车信标定点检测模型的架构示意图，车信标定点检测模型该模型采取的是双阶段式从粗到精的关键点回归方式，车信标定点检测模型的输入是车信图像，例如地面箭头图像，车信图像的空间尺寸调整到固定的尺寸，例如高为238像素，宽为184像素，通道数目为3，经过作为骨架网络的特征提取网络得到特征图后，将该特征图分别送入关键点分支（坐标回归网络）和掩码分支（掩码回归网络），其中关键点分支分为两个阶段，第一个阶段为关键点的粗回归，第二阶段是对关键点的精细回归，该分支最终输出是公共模板上对应关键点的坐标，掩码分支用于掩码的回归，所输出的掩码用来选择哪些关键点坐标（关键点分支的输出）应该被保留并输出。

在一些实施例中，掩码分支的输入是作为骨架网络的特征提取网络得到特征图后，该特征图经过掩码回归网络后得到1*1*29维的掩码张量，对每个维度元素进行映射处理，大于0.5的元素置为1，其他元素置为0，得到最终的掩码张量。

在一些实施例中，关键点分支的第一阶段输入也是经过特征提取网络得到特征图，该特征图经过第一阶段的关键点回归网络得到第一阶段的1*1*58维的关键点坐标张量，通过掩码提取出关键点集合，掩码为0对应的关键点组成的集合，并用该集合生成热图，热图高为238像素，宽为184像素，热图是通过在关键点位置上放置一个有界距离场的方式生成的，参见公式（1）：

（1）；

其中，（x，y）是热图的空间坐标，

是空间坐标的热度值，Landmarks是关键点分支第一阶段经过掩码选择后的关键点集合，

是关键点，

是距离阈值，c是个常数，可以根据分辨率的大小进行调整，限定

的大小如果超出c的话就置为零，c可以为5。

在一些实施例中，热图和进行上采样得到的特征图堆叠在一起作为关键点分支第二阶段的输入，上采样得到的特征图的高为238像素，宽为184像素，经过第二阶段的回归网络，得到第二阶段的1*1*58维的关键点坐标张量，由于存在29个关键点，每个关键点存在横轴和纵轴两个坐标，因此总共58维。

在一些实施例中，如果掩码的值为1（代表该关键点不属于该车信类型的关键点或者该关键点是模糊，遮挡和破损的关键点），则对应的关键点坐标需要置为（0，0），参见图10，图10是本申请实施例提供的掩码与坐标关系示意图，掩码张量和关键点张量的对应关系如图10所示，关键点坐标张量（1*1*58维）中每两个元素表征是一个关键点坐标，掩码分支输出的掩码张量（1*1*29维）每个元素对应一个关键点，修正后的关键点张量和掩码张量为车信标定点检测模型的最终输出。

参见图6A，图6A是本申请实施例提供的基于人工智能的车信图像处理方法的流程示意图，将结合图6A示出的步骤101-104进行说明，其中，步骤101和步骤102的执行顺序不限。

在步骤101中，对包括目标车信的车信图像进行特征提取处理，得到车信图像的特征图。

在一些实施例中，参见图6B，图6B是本申请实施例提供的基于人工智能的车信图像处理方法的流程示意图，步骤101中对包括目标车信的车信图像进行特征提取处理，得到车信图像的特征图，可以通过步骤1011-1012实现。

在步骤1011中，提取车信图像的卷积特征，并对车信图像的卷积特征进行最大池化处理，得到车信图像的池化特征。

在步骤1012中，对车信图像的池化特征进行多次残差迭代处理，得到车信图像的残差迭代处理结果，并将残差迭代处理结果作为车信图像的特征图。

作为示例，通过图5中的骨架网络执行步骤1011以及步骤1012，骨架网络包括卷积网络、池化网络以及多个级联的残差网络，通过卷积网络提取车信图像的卷积特征；通过池化网络对车信图像的卷积特征进行最大池化处理，得到车信图像的池化特征，通过多个级联的残差网络对车信图像的池化特征进行多个层次的残差处理，并对残差迭代处理结果作为车信图像的特征图，骨架网络的结构参见表1。

表1骨架网络结构表

在步骤102中，基于多个车信类型的车信图像样本，生成对应多个车信类型的车信公共模板，并获取车信公共模板的标定点集合。

在一些实施例中，标定点集合包括与每个车信类型对应的多个标定点；步骤102中基于多个车信类型的车信图像样本，生成对应多个车信类型的车信公共模板，可以通过以下技术方案实现：提取每个车信图像样本的车信；对多个车信进行尺寸调整处理，得到具有相同尺寸的车信；对多个具有相同尺寸的车信进行合并处理，得到对应多个车信类型的车信公共模板。

作为示例，参见图9，图9是本申请实施例提供的车信图像处理方法的通用模板示意图，图2A示出了车信类型为直行箭头的车信图像，图2B示出了车信类型为掉头箭头的车信图像，图2C示出了车信类型为三向箭头的车信图像，提取图2A、图2B以及图2C的车信图像中的车信，将提取出的直行箭头、掉头箭头以及三向箭头进行尺寸统一处理，使得提取得到的三个车信具有相同的尺寸并具有相同的方向，得到具有相同的尺寸并具有相同的方向的直行箭头、掉头箭头以及三向箭头，进行合并处理，得到图9示出的公共模板，图9示出标定点1-标定点29，合并得到的车信公共模板同时包括直行箭头、掉头箭头以及三向箭头，本申请实施例除了图2A、图2B以及图2C示出的车信之外，还包括其他的车信类型的车信，例如右转箭头的车信、左转箭头的车信、直行左转箭头的车信，直行右转箭头的车信，直行掉头箭头的车信，左转掉头箭头的车信，左转右转箭头的车信等等，将这些车信进行合并也可以得到车信公共模板。

作为示例，车信公共模板的标定点集合包括与每个车信类型对应的多个标定点，标定点集合包括标定点1至标定点29，其中，包括直行箭头的标定点1至标定点5以及标定点28至标定点29，还包括掉头箭头的标定点21至标定点29，还包括三向箭头的标定点1至标定点16、标定点20以及标定点28至标定点29。

在一些实施例中，除了路面箭头，车信还可以为路标，例如限速40的路标，禁止左转的路标，在实施本申请实施例时可以将所有车信类型进行合并，得到包括所有车信类型的车信公共模板，也可以仅针对部分车信类型进行合并，例如，仅针对路面箭头的车信类型进行合并，合并处理的来源车信类型决定了后续能够进行标定点检测的车信类型。

在步骤103中，对特征图进行标定点掩码回归处理，得到车信图像中对应每个标定点的预测掩码，并对特征图进行标定点位置回归处理，得到车信图像中对应每个标定点的预测坐标。

在一些实施例中，参见图6C，图6C是本申请实施例提供的基于人工智能的车信图像处理方法的流程示意图，步骤103中对特征图进行标定点掩码回归处理，得到车信图像中对应每个标定点的预测掩码，可以通过步骤1031-1033实现。

在步骤1031中，通过第一特征提取层对车信图像的特征图进行多次掩码特征提取处理，得到特征图的掩码回归特征。

在步骤1032中，通过第一池化层对特征图的掩码回归特征进行平局池化处理，得到特征图的平均掩码池化特征。

在步骤1033中，通过第一全连接层对特征图的平均掩码池化特征进行第一全连接处理，得到针对每个标定点的预测掩码。

作为示例，标定点掩码回归处理是通过掩码回归网络执行的，掩码回归网络包括第一池化层、第一全连接层以及第一特征提取层，通过第一特征提取层对车信图像的特征图进行多次掩码特征提取处理，得到特征图的掩码回归特征，进行特征提取处理时会进行卷积特征提取处理，归一化处理以及激活处理，通过第一池化层对特征图的掩码回归特征进行平局池化处理，得到特征图的平均掩码池化特征，通过第一全连接层对特征图的平均掩码池化特征进行第一全连接处理，得到针对每个标定点的预测掩码，若是采取上述示例的车信公共模板，则存在29个标定点，预测掩码是1*1*29维张量，每个维度的元素值取值是0至1，预测掩码的值越大，表征对应标定点不属于目标车信的车信类型的可能性越大，或者表征对应标定点处于被遮挡状态的可能性越大。

作为示例，掩码回归网络的训练是基于交叉熵损失函数进行的，通过掩码回归网络确定车信图像样本中每个标定点（公共车信模板中每个标定点）属于无效标定点的预测概率，将预测概率以及预标记类别代入交叉熵损失函数，以确定交叉熵损失函数取得最小值时掩码回归网络的参数，满足以下条件至少之一即标记为无效标定点：标定点不符合车信图像样本对应的车信类型，标定点处于遮挡状态，标定点处于磨损状态。

在一些实施例中，标定点位置回归处理是通过坐标回归网络执行的，坐标回归网络包括第二池化层、第二全连接层以及第二特征提取层；步骤103中对特征图进行标定点位置回归处理，得到车信图像中对应每个标定点的预测坐标，可以通过以下技术方案实现：通过第二特征提取层对车信图像的特征图进行多次位置特征提取处理，得到特征图的位置回归特征；通过第二池化层对特征图的位置回归特征进行平局池化处理，得到特征图的平均位置池化特征；通过第二全连接层对特征图的平均位置池化特征进行第二全连接处理，得到针对每个标定点的预测坐标。

作为示例，标定点位置回归处理是通过坐标回归网络执行的，坐标回归网络包括第二池化层、第二全连接层以及第二特征提取层，通过第二特征提取层对车信图像的特征图进行多次掩码特征提取处理，得到特征图的坐标回归特征，进行特征提取处理时会进行卷积特征提取处理，归一化处理以及激活处理，通过第二池化层对特征图的位置回归特征进行平局池化处理，得到特征图的平均位置池化特征，通过第二全连接层对特征图的平均位置池化特征进行第二全连接处理，得到针对每个标定点的预测坐标，若是采取上述示例的车信公共模板，则存在29个标定点，预测坐标是1*1*58维张量，每个标定点对应2个维度，横坐标维度以及纵坐标维度。

作为示例，坐标回归网络的训练也是基于交叉熵损失函数进行的，通过坐标回归网络确定车信图像样本中每个标定点（公共车信模板中每个标定点）的预测坐标，将预测坐标以及预标记坐标代入交叉熵损失函数，以确定交叉熵损失函数取得最小值时坐标回归网络的参数。

在一些实施例中，参见图6D，图6D是本申请实施例提供的基于人工智能的车信图像处理方法的流程示意图，标定点位置回归处理是通过M个回归网络以及后置坐标回归网络执行的，M为大于或者等于1的整数；步骤103中对特征图进行标定点位置回归处理，得到车信图像中对应每个标定点的预测坐标，可以通过步骤1034-1035实现。

在步骤1034中，通过M个回归网络对车信图像进行前置回归处理，得到车信图像的前置回归处理结果。

在一些实施例中，步骤1034中通过M个回归网络对车信图像进行前置回归处理，得到车信图像的前置回归处理结果，可以通过以下技术方案实现：当M取值为1时，通过回归网络，对特征图进行前置回归处理，得到车信图像的前置回归处理结果；当M取值大于1时，通过M个回归网络中的第m回归网络，对第m回归网络的输入进行回归处理，并将第m回归网络输出的第m回归处理结果传输到第m+1回归网络以继续进行回归处理，得到对应第m+1回归处理结果；其中，m为取值从1开始递增的整数变量，m的取值范围为

，当m取值为1时，第m回归网络的输入为特征图，当m取值为2

时，第m回归网络的输入为第m-1回归网络输出的第m-1回归处理结果，当m取值为M-1时，第m+1回归网络的输出是前置回归处理结果。

作为示例，参见图5，图5中第一阶段示出的关键点回归网络所执行的处理、热图生成处理以及堆叠处理均属于前置回归处理，由M个回归网络中任意一个回归网络执行，例如，当M为1时，如图5所示，通过回归网络，对特征图进行前置回归处理，得到车信图像的前置回归处理结果，作为第二阶段的关键点回归网络的输入，第二阶段的关键点回归网络即为后置坐标回归网络，当M大于1时，则将特征图输入至多个级联的回归网络中，将最后一个回归网络的输出作为前置回归处理结果，作为第二阶段的关键点回归网络的输入。

在一些实施例中，第m回归网络包括第m坐标回归网络和第m热图堆叠网络，上述通过M个回归网络中的第m回归网络，对第m回归网络的输入进行回归处理，可以通过以下技术方案实现：通过第m坐标回归网络对第m回归网络的输入进行第m坐标回归处理，得到针对每个标定点的第m预测坐标；基于每个标定点的预测掩码，从多个标定点中选择出多个有效标定点；基于多个有效标定点，确定对应车信图像的第m热图；对特征图进行上采样处理，并将特征图的上采样处理结果与第m热图进行堆叠处理，得到第m回归处理结果。

作为示例，参见图5，图5中第一阶段示出的关键点回归网络所执行的处理、热图生成处理以及堆叠处理均属于前置回归处理，由M个回归网络中任意一个回归网络执行，以m取值为2，M取值为3进行说明，通过第3坐标回归网络对第3回归网络的输入进行第3坐标回归处理，得到针对每个标定点的第3预测坐标，基于每个标定点的预测掩码，从多个标定点中选择出多个有效标定点，当针对标定点1的预测掩码大于掩码阈值时，将预测掩码赋值为一，则表征该标定点需要被屏蔽，当针对标定点1的预测掩码不大于掩码阈值时，将预测掩码赋值为零，则表征该标定点不需要被屏蔽，预测掩码不大于掩码阈值为有效标定点，基于多个有效标定点，确定对应车信图像的第m热图，对特征图进行上采样处理，并将特征图的上采样处理结果与第m热图进行堆叠处理，得到第m回归处理结果。

在一些实施例中，上述基于每个标定点的预测掩码，从多个标定点中选择出多个有效标定点，可以通过以下技术方案实现：针对每个标定点执行以下处理：当对应标定点的预测掩码小于掩码阈值时，将对应的标定点确定为有效标定点；上述基于多个有效标定点，确定对应车信图像的第m热图，可以通过以下技术方案实现：获取每个有效标定点的第m预测坐标，并针对车信图像的每个图像坐标执行以下处理：确定图像坐标与每个第m预测坐标之间的距离；获取多个距离中的最小距离；当最小距离大于距离阈值时，将图像坐标的热度值确定为一；当最小距离不大于距离阈值时，将与最小距离负相关的计算值确定为图像坐标的热度值；基于每个图像坐标的热度值，生成对应车信图像的第m热图。

作为示例，热图是通过在标定点位置上放置一个有界距离场的方式生成的，参见公式（2）：

（2）；

其中，（x，y）是热图的空间坐标，

是空间坐标的热度值，Landmarks是标定点分支第一阶段经过掩码选择后的标定点集合，

是关键点，

是距离阈值，c是个常数，可以根据分辨率的大小进行调整，限定

的大小如果超出c的话就置为零，c可以为5。

在步骤1035中，通过后置坐标回归网络对前置回归处理结果进行后置坐标回归处理，得到针对每个标定点的预测坐标。

作为示例，后置坐标回归处理通过后置坐标回归网络实现，后置坐标回归网络包括第三池化层、第三全连接层以及第三特征提取层，通过第三特征提取层对前置回归处理结果进行多次位置特征提取处理，得到前置回归处理结果的位置回归特征，进行特征提取处理时会进行卷积特征提取处理，归一化处理以及激活处理，通过第三池化层对前置回归处理结果的位置回归特征进行平局池化处理，得到前置回归处理结果的平均位置池化特征，通过第三全连接层对前置回归处理结果的平均位置池化特征进行第三全连接处理，得到针对每个标定点的预测坐标，若是采取上述示例的车信公共模板，则存在29个标定点，预测坐标是1*1*58维张量，每个标定点对应2个维度，横坐标维度以及纵坐标维度。

作为示例，后置坐标回归网络与M个回归网络是级联关系，其中，M个回归网络也是级联关系，后置坐标回归网络与M个回归网络作为一个整体进行训练，整体训练也是基于交叉熵损失函数进行的，通过坐标回归网络确定车信图像样本中每个标定点（公共车信模板中每个标定点）的预测坐标，将预测坐标以及预标记坐标代入交叉熵损失函数，以确定交叉熵损失函数取得最小值时坐标回归网络的参数。

在一些实施例中，标定点位置回归处理是通过热图回归网络执行的，热图回归网络包括N个级联的下采样层、N个级联的上采样层以及卷积层，其中，N为大于或者等于2的整数；步骤103中对特征图进行标定点位置回归处理，得到车信图像中对应每个标定点的预测坐标，可以通过以下技术方案实现：通过N个级联的下采样层对特征图进行下采样处理，得到下采样处理结果；通过卷积层对下采样处理结果进行卷积处理，得到特征图的热图特征；通过N个级联的上采样层对热图特征进行上采样处理，得到对应特征图的预测热图；基于预测热图，确定针对每个标定点的预测坐标。

作为示例，参见图11，图11是本申请实施例提供的热图回归网络的示意图，热图回归网络可以是一个U型网络结构，通过N个下采样网络、N个上采样网络以及一个卷积网络（卷积层）组成，N为大于或者等于1的整数，即形成一个U形网络结构，每个下采样网络是一个残差网络，每个上采样网络也是一个残差网络，通过多个下采样网络以及卷积网络之后输出的是特征图的热图特征，通过N个级联的上采样层对热图特征进行上采样处理，得到对应特征图的预测热图；基于预测热图，确定针对每个标定点的预测坐标，通过计算热图最大值所在位置来间接得到标定点的位置。

在一些实施例中，上述基于预测热图，确定针对每个标定点的预测坐标可以通过以下技术方案实现：针对每个标定点执行以下处理：获取预测热图中对应标定点的多个图像坐标的热度值；基于热度值，对预测热图的多个图像坐标进行降序排序处理；将排序在首位的图像坐标作为标定点的预测坐标。

在步骤104中，基于预测掩码，从标定点集合中确定对应目标车信的车信类型的多个目标标定点，并基于每个目标标定点的预测坐标，确定车信图像中目标车信的位置。

在一些实施例中，当标定点的预测掩码小于掩码阈值时，将对应的标定点确定为目标标定点；基于每个目标标定点的预测坐标，确定车信图像中目标车信的位置。

作为示例，当标定点的预测掩码小于掩码阈值时，将对应的标定点确定为有效标定点，例如，当针对标定点1的预测掩码为0时（小于掩码阈值），将对应的标定点确定为有效标定点，则表征该标定点不需要被屏蔽，基于每个目标标定点的预测坐标，确定车信图像中目标车信的位置，例如，有效标定点为图9中的标定点1至标定点5以及标定点28至标定点29，则基于标定点1至标定点5以及标定点28至标定点29的预测坐标可以确定整个直行箭头在车信图像中的位置。

下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。

在一些实施例中，在电子地图中，各类标志、标牌、标线的数据，对于用户的驾驶导航体验非常重要，因此电子地图中需要准确而高效地反映现实世界各类道路要素的信息变化，参见图7，图7是本申请实施例提供的车信图像处理方法的三维重建示意图，通过三维重建的方式将真实世界的地面交通图像重建为三维效果图，在三维效果图中保留了真实世界的地面交通图的建筑以及车信等信息，例如，真实世界的地面交通图中第一车信701在三维效果图中保留为第二车信702。地图数据的生产链条比较长，包含数据采集，离线识别，数据更新等操作，每天在全国各大城市采集的原始数据经过离线处理，更新每个城市地图的要素数据母库，再推送到地图App等客户端，离线处理不仅需要检测识别出各种车信的内容和位置，还需要与历史数据资料进行差分比对，发现道路交通的变化信息，参见图8，图8是本申请实施例提供的车信图像处理方法的车信对比图，2020年5月所采集的图像与2020年7月所采集的图像相比，相同地理位置的限速牌限速值（车信）发生了改变，车辆限制的标志也消失了（2020年5月所采集的图像中包括第三车信801，但是2020年7月所采集的图像中第三车信801被替换为第四车信802），这类要素的信息变化对于电子地图的导航体验非常重要，需要及时处理，利用计算机视觉技术可以极大提升处理数据的自动化程度，同时也对视觉算法的精度和效率均提出了更高的要求。为了实现数据的差分比对，可以采用三维重建的方式，第一步需要对历史数据进行三维重建，第二步就需要利用定位技术计算出新采集的图像在三维地图中的位姿，从而通过投影关系判断出三维地图中的道路要素是否发生了变化，在第二步中，标定点检测能够帮助相应的地图要素和母库要素进行空间位置的精准比对，提高差分比对的准确度，在用户使用终端的过程中，用户可以为路面信息采集员，终端收集车信图像样本发送至服务器，以使服务器对车信标定点检测模型进行基于多个损失函数的训练，将训练完成的车信标定点检测模型集成在服务器中，响应于终端接收到用户所拍摄的车信图像，终端将车信图像发送至服务器，服务器通过车信标定点检测模型确定出车信图像的目标车信的位置，并发送至终端，以使终端基于车信图像执行地图任务图像处理。

本申请实施例提供了一种车信公共模板以及车信标定点检测模型，在车信公共模板的定义下，可以通过车信标定点检测模型统一检测所有类型的车信的关键点，车信标定点检测模型中的掩码分支有效解决了实际应用场景中地面箭头因为破损，遮挡，模糊等原因造成的关键点缺失问题，为下游任务提供准确的关键点信息。

在一些实施例中，本申请实施例提供了包括多种类型的车信的通用模板（车信公共模板），参见图9，总共29个关键点（标定点），地面关键点检测任务就是对于输入的车信图像，给出车信图像中目标车信的标定点在图像中的位置，并屏蔽掉因为模糊，破损和遮挡造成的缺失关键点。

在已有上述车信公共模板的情况下，若是将人脸检测技术应用到车信检测，则只能回归出固定的29个标定点的预测位置，无法针对各种类型的车信输出对应的位置预测结果，除非首先对车信进行类型识别，并根据类型的不同通过对应的检测网络进行回归处理，得到对应的标定点位置，缺点在于导致模型结构复杂且计算量大。

在一些实施例中，车信标定点检测模型该模型采取的是双阶段式从粗到精的关键点回归方式，车信标定点检测模型的输入是车信图像，例如地面箭头图像，车信图像的空间尺寸调整到固定的尺寸，例如高为238像素，宽为184像素，经过作为骨架网络的特征提取网络得到特征图后，将该特征图分别送入关键点分支（坐标回归网络）和掩码分支（掩码回归网络），其中关键点分支分为两个阶段，第一个阶段为关键点的粗回归，第二阶段是对关键点的精细回归，该分支最终输出是公共模板上对应关键点的坐标，掩码分支用于掩码的回归，所输出的掩码用来选择哪些关键点坐标（关键点分支的输出）应该被保留并输出。

在一些实施例中，掩码分支的输入是作为骨架网络的特征提取网络得到特征图后，该特征图经过掩码回归网络后得到1*1*29维的掩码张量，对每个维度元素进行映射处理，大于0.5的元素置为1，其他元素置为0，得到最终的掩码张量。

在一些实施例中，关键点分支的第一阶段输入也是经过特征提取网络得到特征图，该特征图经过第一阶段的关键点回归网络得到第一阶段的1*1*58维的关键点坐标张量，通过掩码提取出关键点集合，掩码为0对应的关键点组成的集合，并用该集合生成热图，热图高为238像素，宽为184像素，热图是通过在关键点位置上放置一个有界距离场的方式生成的，参见公式（3）：

（3）；

其中，（x，y）是热图的空间坐标，

是空间坐标的热度值，Landmarks是关键点分支第一阶段经过掩码选择后的关键点集合，

是关键点，

是距离阈值，c是个常数，可以根据分辨率的大小进行调整，限定

的大小如果超出c的话就置为零，c可以为5。

在一些实施例中，热图和进行上采样得到的特征图堆叠在一起作为关键点分支第二阶段的输入，上采样得到的特征图的高为238像素，宽为184像素，经过第二阶段的回归网络，得到第二阶段的1*1*58维的关键点坐标张量，由于存在29个关键点，每个关键点存在横轴和纵轴两个坐标，因此总共58维。

在一些实施例中，如果掩码的值为1（代表该关键点不属于该车信类型的关键点或者该关键点是模糊，遮挡和破损的关键点），则对应的关键点坐标需要置为（0，0），参见图10，图10是本申请实施例提供的车信图像处理方法的掩码与坐标关系示意图，掩码张量和关键点张量的对应关系如图10所示，关键点张量中每两个元素表征是一个关键点坐标，掩码分支输出上的每个元素对应一个关键点，修正后的关键点张量和掩码张量为车信标定点检测模型的最终输出。

通过本申请实施例提供的基于人工智能的车信图像处理方法，将预测掩码和预测坐标结合可以适应于多个车信类型的位置检测，由于引入了预测掩码可以有效识别遮挡损坏的标定点，从而提高位置检测准确度，从而能够给下游任务提供准确的车信关键点位置数据，基于车信关键点位置数据在三维场景重建中提供关联箭头的点位匹配关系，在地图业务中也可以通过车信标定点检测模型的掩码分支给出的分值结合车信的类型来判断该车信是否属于高置信类型。

本申请实施例提供的车信标定点检测模型虽然采用的级联方式进行从粗到精的模式，也可以尝试单阶段或者其他结构来进行关键点的预测，其次，可以直接回归坐标点，也可以改成回归关键点热图，进而通过计算热图最大值所在位置来间接得到关键点的位置。

下面继续说明本申请实施例提供的基于人工智能的车信图像处理装置255的实施为软件模块的示例性结构，在一些实施例中，如图4所示，存储在存储器250的基于人工智能的车信图像处理装置255中的软件模块可以包括：特征模块2551，用于对包括目标车信的车信图像进行特征提取处理，得到车信图像的特征图；模板模块2552，用于基于多个车信类型的车信图像样本，生成对应多个车信类型的车信公共模板，并获取车信公共模板的标定点集合；其中，标定点集合包括与每个车信类型对应的多个标定点；回归模块2553，用于对特征图进行标定点掩码回归处理，得到车信图像中对应每个标定点的预测掩码，并对特征图进行标定点位置回归处理，得到车信图像中对应每个标定点的预测坐标；位置模块2554，用于基于所述预测掩码，从标定点集合中确定对应目标车信的车信类型的多个目标标定点，并基于每个所述目标标定点的预测坐标，确定所述车信图像中目标车信的位置。

在一些实施例中，模板模块2552，还用于：提取每个车信图像样本的车信；对多个车信进行尺寸调整处理，得到具有相同尺寸的车信；对多个具有相同尺寸的车信进行合并处理，得到对应多个车信类型的车信公共模板。

在一些实施例中，特征模块2551，还用于：提取车信图像的卷积特征，并对车信图像的卷积特征进行最大池化处理，得到车信图像的池化特征；对车信图像的池化特征进行多次残差迭代处理，得到车信图像的残差迭代处理结果，并将残差迭代处理结果作为车信图像的特征图。

在一些实施例中，标定点掩码回归处理是通过掩码回归网络执行的，掩码回归网络包括第一池化层、第一全连接层以及第一特征提取层，回归模块2553，还用于：通过第一特征提取层对车信图像的特征图进行多次特征提取处理，得到特征图的掩码回归特征；通过第一池化层对特征图的回归特征进行平局池化处理，得到特征图的平均掩码池化特征；通过第一全连接层对特征图的平均位置池化特征进行第二全连接处理，得到针对每个标定点的预测掩码。

在一些实施例中，标定点位置回归处理是通过坐标回归网络执行的，坐标回归网络包括第二池化层、第二全连接层以及第二特征提取层；回归模块2553，还用于：通过第二特征提取层对车信图像的特征图进行多次位置特征提取处理，得到特征图的位置回归特征；通过第二池化层对特征图的回归特征进行平局池化处理，得到特征图的平均位置池化特征；通过第二全连接层对特征图的平均位置池化特征进行第二全连接处理，得到针对每个标定点的预测坐标。

在一些实施例中，标定点位置回归处理是通过M个回归网络以及后置坐标回归网络执行的，M为大于或者等于1的整数；回归模块2553，还用于：通过M个回归网络对车信图像进行前置回归处理，得到车信图像的前置回归处理结果；通过后置坐标回归网络对前置回归处理结果进行后置坐标回归处理，得到针对每个标定点的预测坐标。

在一些实施例中，回归模块2553，还用于：当M取值为1时，通过所述回归网络，对所述特征图进行前置回归处理，得到所述车信图像的前置回归处理结果；当M取值大于1时，通过所述M个回归网络中的第m回归网络，对所述第m回归网络的输入进行回归处理，并将所述第m回归网络输出的第m回归处理结果传输到第m+1回归网络以继续进行回归处理，得到对应所述第m+1回归处理结果；其中，m为取值从1开始递增的整数变量，m的取值范围为

，当m取值为1时，所述第m回归网络的输入为所述特征图，当m取值为2

时，所述第m回归网络的输入为第m-1回归网络输出的第m-1回归处理结果，当m取值为M-1时，所述第m+1回归网络的输出是所述前置回归处理结果。

在一些实施例中，第m回归网络包括第m坐标回归网络和第m热图堆叠网络，回归模块2553，还用于：通过第m坐标回归网络对第m回归网络的输入进行第m坐标回归处理，得到针对每个标定点的第m预测坐标；基于每个标定点的预测掩码，从多个标定点中选择出多个有效标定点；基于多个有效标定点，确定对应车信图像的第m热图；对特征图进行上采样处理，并将特征图的上采样处理结果与第m热图进行堆叠处理，得到第m回归处理结果。

在一些实施例中，回归模块2553，还用于：针对每个标定点执行以下处理：当对应标定点的预测掩码小于掩码阈值时，将对应的标定点确定为有效标定点；获取每个有效标定点的第m预测坐标，并针对车信图像的每个图像坐标执行以下处理：确定图像坐标与每个第m预测坐标之间的距离；获取多个距离中的最小距离；当最小距离大于距离阈值时，将图像坐标的热度值确定为一；当最小距离不大于距离阈值时，将与最小距离负相关的计算值确定为图像坐标的热度值；基于每个图像坐标的热度值，生成对应车信图像的第m热图。

在一些实施例中，标定点位置回归处理是通过热图回归网络执行的，热图回归网络包括N个级联的下采样层、N个级联的上采样层以及卷积层，其中，N为大于或者等于2的整数；回归模块2553，还用于：通过N个级联的下采样层对特征图进行下采样处理，得到下采样处理结果；通过卷积层对下采样处理结果进行卷积处理，得到特征图的热图特征；通过N个级联的上采样层对热图特征进行上采样处理，得到对应特征图的预测热图；基于预测热图，确定针对每个标定点的预测坐标。

在一些实施例中，回归模块2553，还用于：针对每个标定点执行以下处理：获取预测热图中对应标定点的多个图像坐标的热度值；基于热度值，对预测热图的多个图像坐标进行降序排序处理；将排序在首位的图像坐标作为标定点的预测坐标。

本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的基于人工智能的车信图像处理方法。

本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的基于人工智能的车信图像处理方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件***中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

综上所述，通过本申请实施例获取对应多个车信类型的车信公共模板的标定点集合，对车信图像的特征图进行标定点掩码回归处理以及标定点位置回归处理，得到车信图像中对应每个标定点的预测掩码以及对应每个标定点的预测坐标，将预测掩码和预测坐标结合可以适应于多个车信类型的位置检测。

以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (15)

1.一种基于人工智能的车信图像处理方法，其特征在于，所述方法包括：

基于多个车信类型的车信图像样本，生成对应所述多个车信类型的车信公共模板，并获取所述车信公共模板的标定点集合；

其中，所述标定点集合包括与每个所述车信类型对应的多个标定点；

对包括目标车信的车信图像进行特征提取处理，得到所述车信图像的特征图；

对所述特征图进行标定点掩码回归处理，得到所述车信图像中对应每个所述标定点的预测掩码，并对所述特征图进行标定点位置回归处理，得到所述车信图像中对应每个所述标定点的预测坐标；

基于所述预测掩码，从所述标定点集合中确定对应所述目标车信的车信类型的多个目标标定点，并基于每个所述目标标定点的预测坐标，确定所述车信图像中目标车信的位置。

2.根据权利要求1所述的方法，其特征在于，所述基于多个车信类型的车信图像样本，生成对应所述多个车信类型的车信公共模板，包括：

提取每个所述车信图像样本的车信；

对多个所述车信进行尺寸调整处理，得到具有相同尺寸的车信；

对多个具有相同尺寸的车信进行合并处理，得到对应所述多个车信类型的车信公共模板。

3.根据权利要求1所述的方法，其特征在于，所述对包括目标车信的车信图像进行特征提取处理，得到所述车信图像的特征图，包括：

提取所述车信图像的卷积特征，并对所述车信图像的卷积特征进行最大池化处理，得到所述车信图像的池化特征；

对所述车信图像的池化特征进行多次残差迭代处理，得到所述车信图像的残差迭代处理结果，并将所述残差迭代处理结果作为所述车信图像的特征图。

4.根据权利要求1所述的方法，其特征在于，所述标定点掩码回归处理是通过掩码回归网络执行的，所述掩码回归网络包括第一池化层、第一全连接层以及第一特征提取层，所述对所述特征图进行标定点掩码回归处理，得到所述车信图像中对应每个所述标定点的预测掩码，包括：

通过所述第一特征提取层对所述车信图像的特征图进行多次掩码特征提取处理，得到所述特征图的掩码回归特征；

通过所述第一池化层对所述特征图的掩码回归特征进行平局池化处理，得到所述特征图的平均掩码池化特征；

通过所述第一全连接层对所述特征图的平均掩码池化特征进行第一全连接处理，得到针对每个所述标定点的预测掩码。

5.根据权利要求1所述的方法，其特征在于，所述标定点位置回归处理是通过坐标回归网络执行的，所述坐标回归网络包括第二池化层、第二全连接层以及第二特征提取层；

所述对所述特征图进行标定点位置回归处理，得到所述车信图像中对应每个所述标定点的预测坐标，包括：

通过所述第二特征提取层对所述车信图像的特征图进行多次位置特征提取处理，得到所述特征图的位置回归特征；

通过所述第二池化层对所述特征图的位置回归特征进行平局池化处理，得到所述特征图的平均位置池化特征；

通过所述第二全连接层对所述特征图的平均位置池化特征进行第二全连接处理，得到针对每个所述标定点的预测坐标。

6.根据权利要求1所述的方法，其特征在于，所述标定点位置回归处理是通过M个回归网络以及后置坐标回归网络执行的，M为大于或者等于1的整数；

所述对所述特征图进行标定点位置回归处理，得到所述车信图像中对应每个所述标定点的预测坐标，包括：

通过所述M个回归网络对所述车信图像进行前置回归处理，得到所述车信图像的前置回归处理结果；

通过所述后置坐标回归网络对所述前置回归处理结果进行后置坐标回归处理，得到针对每个所述标定点的预测坐标。

7.根据权利要求6所述的方法，其特征在于，所述通过所述M个回归网络对所述车信图像进行前置回归处理，得到所述车信图像的前置回归处理结果，包括：

当M取值为1时，通过所述回归网络，对所述特征图进行前置回归处理，得到所述车信图像的前置回归处理结果；

当M取值大于1时，通过所述M个回归网络中的第m回归网络，对所述第m回归网络的输入进行回归处理，并将所述第m回归网络输出的第m回归处理结果传输到第m+1回归网络以继续进行回归处理，得到对应所述第m+1回归处理结果；

其中，m为取值从1开始递增的整数变量，m的取值范围为

，当m取值为1时，所述第m回归网络的输入为所述特征图，当m取值为2

时，所述第m回归网络的输入为第m-1回归网络输出的第m-1回归处理结果，当m取值为M-1时，所述第m+1回归网络的输出是所述前置回归处理结果。

8.根据权利要求7所述的方法，其特征在于，所述第m回归网络包括第m坐标回归网络和第m热图堆叠网络，所述通过所述M个回归网络中的第m回归网络，对所述第m回归网络的输入进行回归处理，包括：

通过所述m坐标回归网络对所述第m回归网络的输入进行第m坐标回归处理，得到针对每个所述标定点的第m预测坐标；

基于每个所述标定点的预测掩码，从所述多个标定点中选择出多个有效标定点；

基于所述多个有效标定点，确定对应所述车信图像的第m热图；

对所述特征图进行上采样处理，并将所述特征图的上采样处理结果与所述第m热图进行堆叠处理，得到所述第m回归处理结果。

9.根据权利要求8所述的方法，其特征在于，

所述基于每个所述标定点的预测掩码，从所述多个标定点中选择出多个有效标定点，包括：

针对每个所述标定点执行以下处理：当对应所述标定点的预测掩码小于掩码阈值时，将对应的标定点确定为有效标定点；

所述基于所述多个有效标定点，确定对应所述车信图像的第m热图，包括：

获取每个所述有效标定点的第m预测坐标，并针对所述车信图像的每个图像坐标执行以下处理：

确定所述图像坐标与每个所述第m预测坐标之间的距离；

获取多个所述距离中的最小距离；

当所述最小距离大于距离阈值时，将所述图像坐标的热度值确定为一；

当所述最小距离不大于所述距离阈值时，将与所述最小距离负相关的计算值确定为所述图像坐标的热度值；

基于每个所述图像坐标的热度值，生成对应所述车信图像的第m热图。

10.根据权利要求1所述的方法，其特征在于，所述标定点位置回归处理是通过热图回归网络执行的，所述热图回归网络包括N个级联的下采样层、N个级联的上采样层以及卷积层，其中，N为大于或者等于2的整数；

所述对所述特征图进行标定点位置回归处理，得到所述车信图像中对应每个所述标定点的预测坐标，包括：

通过所述N个级联的下采样层对所述特征图进行下采样处理，得到下采样处理结果；

通过所述卷积层对所述下采样处理结果进行卷积处理，得到所述特征图的热图特征；

通过所述N个级联的上采样层对所述热图特征进行上采样处理，得到对应所述特征图的预测热图；

基于所述预测热图，确定针对每个所述标定点的预测坐标。

11.根据权利要求10所述的方法，其特征在于，所述基于所述预测热图，确定针对每个所述标定点的预测坐标，包括：

针对每个所述标定点执行以下处理：

获取所述预测热图中对应所述标定点的多个图像坐标的热度值；

基于所述热度值，对所述预测热图的多个图像坐标进行降序排序处理；

将排序在首位的图像坐标作为所述标定点的预测坐标。

12.一种基于人工智能的车信图像处理装置，其特征在于，所述装置包括：

特征模块，用于对包括目标车信的车信图像进行特征提取处理，得到所述车信图像的特征图；

模板模块，用于基于多个车信类型的车信图像样本，生成对应所述多个车信类型的车信公共模板，并获取所述车信公共模板的标定点集合；

其中，所述标定点集合包括与每个所述车信类型对应的多个标定点；

回归模块，用于对所述特征图进行标定点掩码回归处理，得到所述车信图像中对应每个所述标定点的预测掩码，并对所述特征图进行标定点位置回归处理，得到所述车信图像中对应每个所述标定点的预测坐标；

位置模块，用于基于所述预测掩码，从所述标定点集合中确定对应所述目标车信的车信类型的多个目标标定点，并基于每个所述目标标定点的预测坐标，确定所述车信图像中目标车信的位置。

13.一种电子设备，其特征在于，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至11任一项所述的基于人工智能的车信图像处理方法。

14.一种计算机可读存储介质，其特征在于，存储有可执行指令，所述可执行指令被处理器执行时实现权利要求1至11任一项所述的基于人工智能的车信图像处理方法。

15.一种计算机程序产品，其特征在于，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现权利要求1至11任一项所述的基于人工智能的车信图像处理方法。

Images