CN111582268B - 一种车牌图像处理方法、装置以及计算机存储介质 - Google Patents

Abstract

本申请公开了一种车牌图像处理方法、装置以及计算机存储介质，该车牌图像处理方法包括：获取待处理的车牌图像，其中，车牌图像中至少包括车牌；基于待处理的车牌图像的像素数据计算车牌的倾斜角度；基于待处理的车牌图像创建背景色分布图，并根据车牌的倾斜角度旋转背景色分布图，得到旋转背景色分布图；将待处理的车牌图像和旋转背景色分布图进行背景融合，得到目标车牌图像。通过上述方法，本申请可以恢复车牌图像中车牌的原有颜色，提高车牌图像处理效果和准确性。

Description

一种车牌图像处理方法、装置以及计算机存储介质

技术领域

本申请涉及交通监控技术领域，特别是涉及一种车牌图像处理方法、装置以及计算机存储介质。

背景技术

目前，新能源汽车使用绿底车牌，且从底部到顶部，车牌背景色从绿色渐变到白色。在交通监控场景中，对车牌进行抓拍时，车牌较为平滑的表面将反射补光灯发出的强光，导致图像中车牌所在位置处，因为过度曝光致使背景色变浅变淡，甚至丢失颜色信息而呈现白色。

现有的车牌图像处理技术只能在现有色彩的基础上进行增强并优化色彩，提高图像的清晰度，但不能恢复出车牌图像上因过曝而丢失的颜色信息，无法满足车牌颜色恢复的需求。

发明内容

本申请提供一种车牌图像处理方法、装置以及计算机存储介质，以解决现有技术无法满足车牌颜色恢复的需求的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种车牌图像处理方法，所述车牌图像处理方法包括：

获取待处理的车牌图像，其中，所述车牌图像中至少包括车牌；

基于所述待处理的车牌图像的像素数据计算所述车牌的倾斜角度；

基于所述待处理的车牌图像创建背景色分布图，并根据所述车牌的倾斜角度旋转所述背景色分布图，得到旋转背景色分布图；

将所述待处理的车牌图像和所述旋转背景色分布图进行背景融合，得到目标车牌图像。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种车牌图像处理装置，所述车牌图像处理装置包括包括处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如上述车牌图像处理方法的步骤。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机存储介质，其中，计算机存储介质存储有计算机程序，计算机程序被执行时实现上述车牌图像处理方法的步骤。

区别于现有技术，本申请的有益效果在于：车牌图像处理装置获取待处理的车牌图像，其中，车牌图像中至少包括车牌；基于待处理的车牌图像的像素数据计算车牌的倾斜角度；基于待处理的车牌图像创建背景色分布图，并根据车牌的倾斜角度旋转背景色分布图，得到旋转背景色分布图；将待处理的车牌图像和旋转背景色分布图进行背景融合，得到目标车牌图像。通过上述方法，本申请可以恢复车牌图像中车牌的原有颜色，提高车牌图像处理效果和准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的车牌图像处理方法一实施例的流程示意图；

图2是图1的车牌图像处理方法S102的具体流程示意图；

图3是图2的车牌图像处理方法S203的具体流程示意图；

图4是图1的车牌图像处理方法S103的具体流程示意图；

图5是本申请提供的车牌图像处理装置一实施例的结构示意图；

图6是本申请提供的计算机存储介质一实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为解决现有技术无法满足车牌颜色恢复的需求的问题，对于现在的新能源汽车绿色车牌，这类车牌图像需要进行颜色增强处理以及颜色恢复处理，以使其更加符合车牌实物和人眼视觉效果。

因此，本申请提供了一种车牌图像处理方法。具体请参阅图1，图1是本申请提供的车牌图像处理方法一实施例的流程示意图。本申请的车牌图像处理方法应用于一种车牌图像处理装置，车牌图像处理装置可以为例如智能手机、平板电脑、笔记本电脑、电脑或者可穿戴设备等终端设备，也可以是交通监控***。在下述实施例的描述中，统一使用处理装置进行车牌图像处理方法的描述。

如图1所示，本实施例的车牌图像处理方法具体包括以下步骤：

S101：获取待处理的车牌图像，其中，车牌图像至少包括车牌。

其中，处理装置获取待处理的车牌图像。处理装置可以通信连接外部摄像装置，而摄像装置可以安装在道路上或移动的汽车上。摄像装置按照预设周期对道路上的信息进行采集，将采集到的信息作为待处理的车牌图像或将采集到的信息合成为待处理的车牌图像发送给处理装置。

另外，处理装置也可以接入外部存储设备，外部存储设备可以为移动硬盘、软盘驱动器、U盘或光盘驱动器等；其中，外部存储设备中存储有待处理的车牌图像，处理装置可以直接从外部存储设备获取待处理的车牌图像。

进一步地，由于在交通监控的过程中，处理装置会获取大量的交通图像。其中，交通图像中部分图像不存在车辆信息，此时，处理装置可以通过车辆识别筛选中交通图像中包括车牌的车牌图像，从而降低图像处理任务以及提高处理准确度。

S102：基于待处理的车牌图像的像素数据计算车牌的倾斜角度。

其中，本申请的像素数据可以为RGB颜色数据，也可以为YUV三通道数据。在本实施例中，处理装置通过YUV三通道数据计算车牌图像中车牌的倾斜角度，其中，Y通道数据表述图像亮度信息，U通道数据、V通道数据表示图像色度信息。

本步骤102具体可以包括：

S201：基于待处理的车牌图像计算权重分布图。

其中，处理装置分析待处理的车牌图像的YUV三通道数据，并根据YUV三通道数据计算权重分布图。

当车牌图像处于过曝状态时，过曝区域处的整体亮度较高，且整体色度较低，呈现出浅淡颜色或白色。处理装置可以综合像素点的亮度和色度信息，计算出像素点处于车牌背景区域的权重值。车牌前景（包括字符与边框）区域都是黑色，在过曝状态中仍然能够保持黑色或深灰色，因此这些区域处像素点的权重值较低；处于车牌背景（不包括字符和边框的其它部分）区域的像素点，因亮度或色度较高，通常具有较高的权重值。这样，处理装置可以通过计算权重分布图将车牌前景与车牌背景区分开。

其中，权重分布图由车牌图像所有像素点的权重值组成，用于生成后续的边缘图像，以测定车牌的倾斜角度，同时也作为后续背景融合过程所需要的权重，以生成颜色恢复后的车牌图像。

进一步地，处理装置遍历车牌图像中的所有像素点，计算每个像素点的权重值，产生尺寸大小与车牌图像相同的二维数组，计算公式如下：

其中，、、分别依次表示待处理的车牌图像中，第m行、第n列像素点的YUV通道数值，、、均为固定参数，表示权重分布图中，第m行、第n列元素的数值，为次方。

S202：基于权重分布图计算待处理的车牌图像的边缘图像。

其中，处理装置计算二维数组中每个元素在权重分布图中的水平方向中心差分和垂直方向中心查分，得到两幅中心差分图，计算公式如下：

其中，、分别依次表示权重分布图的第m行、第n列元素的下一个元素和上一个元素；、分别依次表示权重分布图的第n列、第m行元素的下一个元素和上一个元素；、分别依次表示权重分布图的第m行、第n列元素处的水平差分和垂直差分。

其中，位于权重分布图中第一行、最后一行、第一列以及最后一列上的元素的差分直接置为0。

进一步地，处理装置计算权重分布图的水平差分和垂直差分的绝对值之和，得到待处理的车牌图像的边缘图像，计算公式如下：

其中，、分别依次表示权重分布图在第m行、第n列元素的水平差分和垂直差分，表示边缘图像中第m行、第n列元素数值，表示求绝对值的运算符号。

S203：基于边缘图像计算车牌的倾斜角度。

其中，处理装置基于上述边缘图像计算车牌图像中车牌的倾斜角度，具体步骤如下：

S301：计算边缘图像的行累加之和，并计算行累加之和的平均值。

其中，处理装置计算边缘图像的行累加之和，计算公式如下：

其中，表示边缘图像中第m行、第n列元素数值，N表示边缘图像的总列数，也等于待处理的车牌图像的总列数，表示边缘图像中第m行所有元素的累加和。

按上述计算公式，处理装置计算边缘图像中所有行的元素累加和，可以得到M个数值，其中，M表示边缘图像的总行数，也等于待处理的车牌图像的总行数。

一方面，处理装置可以计算M个数值的平均值；另一方面，处理装置还可以将这M个数值按从大到小顺序降序排列，并取预设序号之前的行的累加数值，即前q个值并计算其平均值。

S302：设定投影最大值、车牌倾斜角初始值以及转动步长初始值，其中投影最大值初始化为所述行累加之和的平均值。

其中，处理装置设定车牌倾斜角初始值：，设定转动步长初始值：，其中，A是常量，设定投影最大值：。

S303：根据车牌倾斜角初始值以及转动步长初始值计算第一旋转角度和第二旋转角度。

其中，处理装置设定第一旋转角度：，第二旋转角度：。

S304：将边缘图像分别按照第一旋转角度和第二旋转角度旋转，得到第一边缘图像和第二边缘图像，并计算第一边缘图像的投影最大值和第二边缘图像的投影最大值。

其中，处理装置将边缘图像分别按照第一旋转角度和第二旋转角度旋转，得到第一边缘图像和第二边缘图像，并计算第一边缘图像的投影最大值和第二边缘图像的投影最大值，计算方式与计算的方式相同，在此不再赘述。

S305：选择行累加之和的平均值、第一边缘图像的投影最大值和第二边缘图像的投影最大值中的最大值作为投影最大值，并将最大值对应的旋转角度作为车牌倾斜角初始值。

其中，处理装置根据上述计算结果更新参数值，具体计算公式如下：

其中，max（）表示求最大值，表示中最大的那个值所对应的旋转角度，即中的值。

进一步地，处理装置不断重复S303~S305，直至重复次数达到预设次数j，j为常量。重复计算结束后，处理装置获取最终的t值，并令θ=-t，则θ为待处理的车牌图像中车牌的倾斜角度。

S103：基于待处理的车牌图像创建背景色分布图，并根据车牌的倾斜角度旋转背景色分布图，得到旋转背景色分布图。

其中，处理装置根据上述车牌的倾斜角度θ，计算车牌在车牌图像中占据的行数和列数，计算公式如下：

其中，M、N表示待处理车牌的总行数和总列数，、表示车牌的高度和宽度，即车牌占据车牌图像的行数和列数。

进一步地，处理装置设定YUV色域上的k个顺序排列的颜色点，并指定这些颜色点在车牌上的k个相对位置，其中，k为常量。具体地，颜色点及其相对位置的设置形式如下：

处理装置根据上述的颜色点及其相对位置，采用线性插值的方法生成个新颜色点，以新颜色点Y通道的计算为例，计算公式如下所示：

其中，i表示新颜色点的编号，取值范围为[0，-1]，为第i个新颜色点的相对位置，、表示设定的点位置中距离最近的两个相邻点，也即处于该两点之间，、表示点位置、对应的颜色点的Y通道值，表示新颜色点Y通道值。

进一步地，处理装置创建尺寸与待处理的车牌图像尺寸相同的背景分布图，并将上述个颜色点依次填充至背景色分布图中。填充起始行列号、结束行列号计算方式如下：

其中，、分别为起始行号、结束行号；、分别为起始列号、结束列号。

以背景色分布图中的Y通道填充为例，填充方法如下式所示：

其中，表示新颜色点中，第个颜色点的Y通道值，表示背景色分布图中第m行、第n列像素的Y通道值。

进一步地，处理装置根据倾斜角度旋转背景色分布图，对背景色分布图的三个颜色通道分别以角度θ旋转，得到的旋转背景色分布图用于背景色融合，具体步骤如下：

S401：计算背景色分布图像素的总行数和总列数。

其中，处理装置获取上述计算的倾斜角度θ，并计算背景色分布图像素的总行数M和总列数N。

S402：根据背景色分布图像素的总行数和总列数以及倾斜角度计算旋转背景色分布图的总行数和总列数。

其中，处理装置计算旋转背景色分布图的总行数和总列数，计算公式如下：

其中，符号表示向上取整符号，、分别依次表示旋转背景色分布图的总行数和总列数。

S403：分别计算背景色分布图和旋转背景色分布图的中心位置。

其中，处理装置计算背景色分布图和旋转背景色分布图的中心位置，计算公式如下：

其中，、表示背景色分布图的中心位置，、表示旋转背景色分布图的中心位置。

S404：根据背景色分布图和旋转背景色分布图的中心位置的关系将背景色分布图像素映射为旋转背景色分布图像素，从而得到旋转背景色分布图。

其中，处理装置需要计算旋转背景色分布图像素，首先，计算背景色分布图中对应像素的行列号：

其中，表示四舍五入取整符号，m、n表示背景色分布图的行号和列号，、表示旋转背景色分布图的行号和列号。

则，旋转背景色分布图像素可以为：

其中，、分别表示背景色分布图和旋转背景色分布图中第m行、第n列像素值。

其中，计算旋转背景色分布图的总行数和总列数时，计算公式更改为：

通过按照车牌的倾斜角度，旋转背景色分布图，保证旋转后的背景色分布图和待处理的车牌图像的倾斜角度保持一致。这样再将待处理的车牌图像和旋转背景色分布图进行融合，保证不出现错位问题。

S104：将待处理的车牌图像和旋转背景色分布图进行背景融合，得到目标车牌图像。

其中，处理装置以权重分布图为权重，将旋转背景色分布图与待处理的车牌图像进行加权融合。由于融合后车牌背景过于平滑，视觉效果不够真实，因此处理装置可以先对待处理的车牌图像进行高斯滤波或均值滤波，再计算待处理的车牌图像和滤波图像的差值，得到待处理的车牌图像的噪声分布图。在进行融合时，加入上述噪声分布图，使目标车牌图像更自然。

例如，处理装置可以在待处理的车牌图像的Y通道上进行高斯滤波，得到滤波图像，计算公式为：

其中，表示3行3列的高斯滤波模板中第i行、第j列元素；表示待处理的车牌图像中第m+i-2行、第n+j-2列处的像素的Y通道值，表示滤波图像中第m行，第n列处的像素的Y通道值。进一步地，处理装置将计算带处理的车牌图像和滤波图像的差值，得到待处理的车牌图像的噪声分布图，计算公式为：

其中，表示待处理的车牌图像中第m行、第n列处的像素的Y通道值，表示噪声分布图中第m行、第n列处的像素的Y通道值。

处理装置将待处理的车牌图像与旋转背景色分布图进行加权融合，计算公式如下：

其中，、、分别表示待处理的车牌图像中第m行、第n列像素的YUV三通道值；、、分别表示旋转背景色分布图中第m行、第n列像素的YUV三通道值；、、分别表示目标车牌图像中第m行、第n列像素的YUV三通道值。

其中，本实施例无需借助车牌图像背景区域的原始颜色信息，通过预先设定背景色分布图、背景色与原图像融合的方法，快速准确地将车牌背景色恢复至正常水平。

处理装置按照上述方式计算每一个像素点，最终得到目标车牌图像。

在本实施例中，车牌图像处理装置获取待处理的车牌图像，其中，车牌图像中至少包括车牌；基于待处理的车牌图像的像素数据计算车牌的倾斜角度；基于待处理的车牌图像创建背景色分布图，并根据车牌的倾斜角度旋转背景色分布图，得到旋转背景色分布图；将待处理的车牌图像和旋转背景色分布图进行背景融合，得到目标车牌图像。通过上述方法，本申请可以恢复车牌图像中车牌的原有颜色，提高车牌图像处理效果和准确性。

为了实现上述实施例的车牌图像处理方法，本申请还提供了一种车牌图像处理装置，具体请参阅图5，图5是本申请提供的车牌图像处理装置一实施例的结构示意图。

如图5所示，本实施例的车牌图像处理装置500包括处理器51、存储器52、输入输出设备53以及总线54。

该处理器51、存储器52、输入输出设备53分别与总线54相连，该存储器52中存储有计算机程序，处理器51用于执行计算机程序以实现上述实施例的车牌图像处理方法。

在本实施例中，处理器51还可以称为CPU（Central Processing Unit，中央处理单元）。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。处理器51还可以是GPU（Graphics Processing Unit，图形处理器），又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上图像运算工作的微处理器。GPU的用途是将计算机***所需要的显示信息进行转换驱动，并向显示器提供行扫描信号，控制显示器的正确显示，是连接显示器和个人电脑主板的重要元件，也是“人机对话”的重要设备之一。显卡作为电脑主机里的一个重要组成部分，承担输出显示图形的任务，对于从事专业图形设计的人来说显卡非常重要。通用处理器可以是微处理器或者该处理器51也可以是任何常规的处理器等。

本申请还提供一种计算机存储介质，如图6所示，计算机存储介质600用于存储计算机程序61，计算机程序61在被处理器执行时，用以实现如本申请车牌图像处理方法实施例中所述的方法。

本申请车牌图像处理方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在设备中，例如一个计算机可读取存储介质。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种车牌图像处理方法，其特征在于，所述车牌图像处理方法包括：

获取待处理的车牌图像，其中，所述车牌图像中至少包括车牌；

基于所述待处理的车牌图像的像素数据计算所述车牌的倾斜角度；

基于所述待处理的车牌图像创建背景色分布图，并根据所述车牌的倾斜角度旋转所述背景色分布图，得到旋转背景色分布图；

将所述待处理的车牌图像和所述旋转背景色分布图进行背景融合，得到目标车牌图像；

所述基于所述待处理的车牌图像的像素数据计算所述车牌的倾斜角度的步骤，包括：

基于所述待处理的车牌图像计算权重分布图；其中，所述权重分布图由车牌图像所有像素点的权重值组成，每个像素点的权重值由以下公式计算：

其中，、、分别依次表示待处理的车牌图像中，第m行、第n列像素点的YUV通道数值，、、均为固定参数， 表示权重分布图中，第m行、第n列元素的数值，为次方；

基于所述权重分布图计算所述待处理的车牌图像的边缘图像；

基于所述边缘图像计算所述车牌的倾斜角度。

2.根据权利要求1所述的车牌图像处理方法，其特征在于，

所述基于所述权重分布图计算所述待处理的车牌图像的边缘图像的步骤，包括：

根据所述权重分布图计算水平中心差分和垂直中心差分；

计算所述水平中心差分和所述垂直中心差分的绝对值之和，得到所述待处理的车牌图像的边缘图像。

3.根据权利要求1所述的车牌图像处理方法，其特征在于，

所述基于所述边缘图像计算所述车牌的倾斜角度的步骤包括：

计算所述边缘图像的行累加之和，并计算所述行累加之和的平均值；

设定投影最大值、车牌倾斜角初始值以及转动步长初始值，其中所述投影最大值初始化为所述行累加之和的平均值；

根据所述车牌倾斜角初始值以及所述转动步长初始值计算第一旋转角度和第二旋转角度；

将所述边缘图像分别按照所述第一旋转角度和所述第二旋转角度旋转，得到第一边缘图像和第二边缘图像，并计算所述第一边缘图像的投影最大值和所述第二边缘图像的投影最大值；

选择所述行累加之和的平均值、所述第一边缘图像的投影最大值和所述第二边缘图像的投影最大值中的最大值作为所述投影最大值，并将所述最大值对应的旋转角度作为所述车牌倾斜角初始值；

重复执行上述步骤，直至重复次数达到预设次数，并将最后的所述车牌倾斜角初始值的相反数作为所述车牌的倾斜角度。

4.根据权利要求3所述的车牌图像处理方法，其特征在于，

所述计算所述边缘图像的行累加之和，并计算所述行累加之和的平均值的步骤，包括：

计算所述边缘图像的行累加之和，得到所有行的累加数值；

将所述所有行的累加数值从大到小顺序降序排列；

计算预设序号之前的行的累加数值的平均值，作为所述行累加之和的平均值。

5.根据权利要求1所述的车牌图像处理方法，其特征在于，

所述基于所述待处理的车牌图像创建背景色分布图，并根据所述车牌的倾斜角度旋转所述背景色分布图，得到旋转背景色分布图的步骤，包括：

根据所述车牌的倾斜角度计算所述车牌在车牌图像中的位置；

设定预设色域的颜色点在所述车牌上的位置；

根据所述车牌在车牌图像中的位置、所述颜色点在所述车牌上的位置生成目标颜色点；

创建所述背景色分布图，其中，所述背景色分布图的尺寸与所述待处理的车牌图像的尺寸一致；

将所述目标颜色点填充到所述背景色分布图；

旋转填充后的背景色分布图，以得到所述旋转背景色分布图。

6.根据权利要求5所述的车牌图像处理方法，其特征在于，

所述旋转填充后的背景色分布图，以得到所述旋转背景色分布图的步骤，包括：

计算所述背景色分布图像素的总行数和总列数；

根据所述背景色分布图像素的总行数和总列数以及所述倾斜角度计算所述旋转背景色分布图的总行数和总列数；

分别计算所述背景色分布图和所述旋转背景色分布图的中心位置；

根据所述背景色分布图和所述旋转背景色分布图的中心位置的关系将所述背景色分布图像素映射为所述旋转背景色分布图像素，从而得到所述旋转背景色分布图。

7.根据权利要求1所述的车牌图像处理方法，其特征在于，

所述将所述待处理的车牌图像和所述旋转背景色分布图进行背景融合，得到目标车牌图像的步骤，包括：

对所述待处理的车牌图像进行高斯滤波，得到滤波图像；

将所述待处理的车牌图像、所述滤波图像以及所述旋转背景色分布图进行加权融合，得到所述目标车牌图像。

8.一种车牌图像处理装置，其特征在于，所述车牌图像处理装置包括包括处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1~7中任一项所述车牌图像处理方法的步骤。

9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序被执行时实现如权利要求1~7中任一项所述车牌图像处理方法的步骤。

Images