CN109493280B - 图像处理方法、装置、终端及存储介质 - Google Patents
图像处理方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN109493280B CN109493280B CN201811305849.4A CN201811305849A CN109493280B CN 109493280 B CN109493280 B CN 109493280B CN 201811305849 A CN201811305849 A CN 201811305849A CN 109493280 B CN109493280 B CN 109493280B
- Authority
- CN
- China
- Prior art keywords
- image
- license plate
- reconstruction model
- sequence
- image sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 29
- 238000012544 monitoring process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种图像处理方法、装置、终端及介质，其中方法包括：获取目标车辆的初始车牌图像序列，所述初始车牌图像序列包括至少两帧初始车牌图像；调用优化的车牌重建模型对所述初始车牌图像序列进行车牌重建，得到目标车牌图像；根据所述目标车牌图像确定所述目标车辆的车牌信息。本发明实施例可以解决图像模糊和信息丢失等问题，提高车牌信息的准确性。
Description
技术领域
本发明涉及互联网技术领域，具体涉及图像处理技术领域，尤其涉及一种图像处理方法、一种图像处理装置、一种终端及一种计算机存储介质。
背景技术
面对车辆数量的急剧增长，相关的车辆任务也日渐繁重，例如通过目标车辆的车牌信息跨摄像头追随目标车辆，通过目标车辆的车牌信息确定目标车辆的车主，等等。由此可见，在执行相关的车辆任务的过程中，如何获取准确的车牌信息尤其重要。现有的车牌信息的获取方法主要是：获取目标车辆的一帧车牌图像，然后对该帧车牌图像进行识别，得到目标车辆的车牌信息。实践发现：由于车辆的快速行驶、光照条件的变换以及摄像头抖动等原因，容易导致获取到的目标车辆的车牌图像出现图像模糊和信息丢失等问题，从而使得识别出的车牌信息的准确性较低。
发明内容
本发明实施例提供了一种图像处理方法、装置、终端及计算机存储介质，可以解决图像模糊和信息丢失等问题，提高车牌信息的准确性。
一方面，本发明实施例提供了一种图像处理方法，所述图像处理方法包括：
获取目标车辆的初始车牌图像序列，所述初始车牌图像序列包括至少两帧初始车牌图像，所述初始车牌图像的分辨率低于预设阈值；
调用优化的车牌重建模型对所述初始车牌图像序列进行车牌重建，得到目标车牌图像，所述目标车牌图像的分辨率高于所述预设阈值；其中，所述优化的车牌重建模型采用多帧图像超分辨率方式训练优化得到；
根据所述目标车牌图像确定所述目标车辆的车牌信息，所述车牌信息包括车牌号码和车牌归属地。
另一方面，本发明实施例提供了一种图像处理装置，所述图像处理装置包括：
获取单元，用于获取目标车辆的初始车牌图像序列，所述初始车牌图像序列包括至少两帧初始车牌图像，所述初始车牌图像的分辨率低于预设阈值；
处理单元，用于调用优化的车牌重建模型对所述初始车牌图像序列进行车牌重建，得到目标车牌图像，所述目标车牌图像的分辨率高于所述预设阈值；其中，所述优化的车牌重建模型采用多帧图像超分辨率方式训练优化得到；
确定单元，用于根据所述目标车牌图像确定所述目标车辆的车牌信息，所述车牌信息包括车牌号码和车牌归属地。
再一方面，本发明实施例提供了一种终端，所述终端包括输入设备和输出设备，所述终端还包括：
处理器，适于实现一条或一条以上指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或一条以上指令，所述一条或一条以上指令适于由所述处理器加载并执行如下步骤：
获取目标车辆的初始车牌图像序列，所述初始车牌图像序列包括至少两帧初始车牌图像，所述初始车牌图像的分辨率低于预设阈值；
调用优化的车牌重建模型对所述初始车牌图像序列进行车牌重建，得到目标车牌图像，所述目标车牌图像的分辨率高于所述预设阈值；其中，所述优化的车牌重建模型采用多帧图像超分辨率方式训练优化得到；
根据所述目标车牌图像确定所述目标车辆的车牌信息，所述车牌信息包括车牌号码和车牌归属地。
再一方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质存储有一条或一条以上指令，所述一条或一条以上指令适于由处理器加载并执行如下步骤：
获取目标车辆的初始车牌图像序列，所述初始车牌图像序列包括至少两帧初始车牌图像，所述初始车牌图像的分辨率低于预设阈值；
调用优化的车牌重建模型对所述初始车牌图像序列进行车牌重建，得到目标车牌图像，所述目标车牌图像的分辨率高于所述预设阈值；其中，所述优化的车牌重建模型采用多帧图像超分辨率方式训练优化得到；
根据所述目标车牌图像确定所述目标车辆的车牌信息，所述车牌信息包括车牌号码和车牌归属地。
本发明实施例在获取目标车辆的车牌信息时，可以获取目标车辆的低分辨率的初始车牌图像序列，调用优化的车牌重建模型对初始车牌图像序列进行车牌重建，得到高分辨率的目标车牌图像；对初始车牌图像序列进行车牌重建，可以解决初始车牌图像序列的图像模糊以及信息丢失等问题，从而可以提高根据目标车牌图像所确定的车牌信息的准确性。另外，本发明实施例所采用的优化的车牌重建模型是采用多帧图像超分辨方法训练优化得到的，采用多帧图像超分辨方法的训练方式可以使得模型学习到更多的图像信息，提高优化的车牌重建模型的鲁棒性，从而可以更好地对初始车牌图像序列进行车牌重建，保证目标车牌图像的图像质量。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像处理方法的应用场景图；
图2是本发明实施例提供的一种图像处理方法的流程示意图；
图3是本发明实施例提供的一种配准处理的示意图；
图4是本发明实施例提供的一种对齐处理的示意图；
图5是本发明另一实施例提供的一种图像处理方法的流程示意图；
图6是本发明实施例提供的一种图像叠加的示意图；
图7是本发明实施例提供的一种图像处理装置的结构示意图；
图8是本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
分辨率又可称为解析度、解像度，是一个用于度量位图图像内的像素数量的参数，即图像的分辨率是指图像中单位英寸中所包含的像素点数。图像的分辨率越大，表明该图像中单位英寸中所包含的像素点数越多，即该图像的清晰度越高。采用摄像头拍摄目标车辆的车牌图像时，车牌图像的分辨率通常与摄像头和目标车辆之间的距离相关，摄像头与目标车辆之间的距离越小，摄像头对该目标车辆进行拍摄所得到的车牌图像的分辨率越高。本发明实施例的相关技术提及：由于目标车辆的快速行驶、光照条件的变换以及摄像头抖动等原因，容易导致摄像头所拍摄到的目标车辆的车牌图像较模糊，图像信息不完整。此时若直接对获取到目标车辆的一帧车牌图像进行识别，容易导致识别出的车牌信息的准确性较低。
基于此，本发明实施例提出了一种图像处理方案，该图像处理方案可以应用在交通监测场景下，如图1所示。首先，可以获取目标车辆的初始车牌图像序列，该初始车牌图像序列可以包括至少两帧初始车牌图像，所述初始车牌图像的分辨率低于预设阈值；此处的目标车辆可以是进入交通监测***的监测范围内的任意车辆，也可以是交通监测***监测到的存在违章行驶的车辆，还可以是用户指定的车辆，等等；初始车牌图像是摄像组件对目标车辆进行拍摄得到的图像，预设阈值可以根据实际业务需求设置。其次，可以调用优化的车牌重建模型对该初始车牌图像序列进行车牌重建，得到目标车牌图像；其中，该目标车牌图像的分辨率高于预设阈值，优化的车牌重建模型采用多帧图像超分辨率方式训练优化得到，所谓的超分辨率方式是指：通过硬件或者软件的方法提高图像的分辨率的方式。然后，可以根据目标车牌图像确定目标车辆的车牌信息，此处的车牌信息可以包括车牌号码和车牌归属地，该车牌号码是指表示目标车辆的车辆身份的号码，车牌归属地是指车牌的注册地，例如车牌归属地为“渝”，那么表示该车牌的注册地是重庆，即该车牌是在重庆注册登记的。
由此可见，本发明实施例所提出的图像处理方案具有如下优点：①不局限于一帧车牌图像，而是获取的初始车牌图像序列，该初始车牌图像序列中包括至少两帧初始车牌图像，使得优化的车牌重建模型可以利用更多的车牌图像信息进行车牌重建，从而使得重建得到的目标车牌图像较清晰，图像信息较完整。②本发明实施例是根据重建后的目标车牌图像确定目标车辆的车牌信息，由于目标车牌图像的分辨率较高，图像信息完整，因此得到的车牌信息的准确性较高。③本发明实施例所采用的优化的车牌重建模型是采用多帧图像超分辨方法训练优化得到的，采用多帧图像超分辨方法的训练方式可以使得模型学习到更多的车牌图像信息，提高优化的车牌重建模型的鲁棒性，从而可以更好地对初始车牌图像序列进行车牌重建，保证目标车牌图像的图像质量。
基于上述的描述，本发明实施例提出一种图像处理方法，该图像处理方法可以由终端执行，此处的终端可以包括但不限于：台式计算机、膝上计算机、平板电脑、智能手机，以及配置有处理器的摄像装备。请参见图2，该图像处理方法可包括以下步骤S201-S203：
S201，获取目标车辆的初始车牌图像序列。
目标车辆可以包括但不限于：进入摄像头监测范围内的任意车辆、摄像头监测到存在违章行驶的车辆、或者用户指定的车辆，等等。在获取目标车辆的初始车牌图像序列时，可以通过摄像头对目标车辆进行拍摄以得到目标车辆的初始车牌图像序列，该初始车牌图像序列包括至少两帧初始车牌图像，该初始车牌图像的分辨率低于预设阈值。其中，该预设阈值可以根据实际业务需求或者经验值设置。
由前述可知，车牌图像的分辨率通常与摄像头和目标车辆之间的距离相关，摄像头与目标车辆之间的距离越小，摄像头对该目标车辆进行拍摄所得到的车牌图像的分辨率越高；摄像头与目标车辆之间的距离越大，摄像头对该目标车辆进行拍摄所得到的车牌图像的分辨率越低。因此，在获取目标车辆的初始车牌图像序列时，可以检测摄像头与目标车辆之间的距离是否大于预设距离，该预设距离可以根据经验值设置。若大于，则对目标车辆进行拍摄以得到目标车辆的初始车牌图像序列。
S202，调用优化的车牌重建模型对初始车牌图像序列进行车牌重建，得到目标车牌图像。
在获取到初始车牌图像序列之后，可以调用优化的车牌重建模型对初始车牌图像序列进行车牌重建以得到高分辨率的目标车牌图像，即该目标车牌图像的分辨率高于预设阈值，其中，优化的车牌重建模型采用多帧图像超分辨率方式训练优化得到。
在一种实施方式中，由于初始车牌图像序列是通过摄像组件对目标车辆进行拍摄得到的，而由于拍摄角度、拍摄距离以及光照条件等因素的影响，可能导致初始车牌图像序列中的各帧初始车牌图像中的特征关键点没有一一匹配、存在初始车牌图像的特征关键点缺失，各帧初始车牌图像未对齐等情况，所谓的对齐是指各帧初始车牌图像排列形成一条直线。因此，为了使得优化的车牌重建模型可以更好地对初始车牌图像序列进行车牌重建，提高目标车牌图像的图像质量，本发明实施例在调用优化的车牌重建模型对初始车牌图像序列进行车牌重建之前，可以采用特征关键点匹配算法对初始车牌图像序列进行配准处理，其配准处理的示意图可以参见图3所示。
其中，此处的特征关键点匹配算法可以包括但不限于：SIFT(Scale-invariantfeature transform，尺度不变特征变换)算法、SURF(Speeded Up Robust Feature，加速稳健特征)算法、FAST(Features from Accelerated Segment Test)算法，等等。通过对初始车牌图像序列进行配准处理，可以使得各帧初始车牌图像中的特征关键点可以一一匹配以及各帧初始车牌图像的特征关键点完整。采用图像对齐算法对初始车牌图像序列进行对齐处理，其对齐处理的示意图可以参见图4所示。其中，此处的图像对齐算法可以包括但不限于：ECC(Enhanced Correlation Coefficient)算法、NMI(Normalization MutualInformation)算法、MI(Mutual Information)算法，等等。
S203，根据目标车牌图像确定目标车辆的车牌信息，该车牌信息包括车牌号码和车牌归属地。
由于目标车牌图像的分辨率高于预设阈值，即目标车牌图像较清晰，因此可以在得到目标车牌图像之后，对目标车牌图像进行识别以得到目标车辆的车牌信息，该车牌信息可以包括车牌号码和车牌归属地。
本发明实施例在获取目标车辆的车牌信息时，可以获取目标车辆的低分辨率的初始车牌图像序列，调用优化的车牌重建模型对初始车牌图像序列进行车牌重建，得到高分辨率的目标车牌图像；对初始车牌图像序列进行车牌重建，可以解决初始车牌图像序列的图像模糊以及信息丢失等问题，从而可以提高根据目标车牌图像所确定的车牌信息的准确性。另外，本发明实施例所采用的优化的车牌重建模型是采用多帧图像超分辨方法训练优化得到的，采用多帧图像超分辨方法的训练方式可以使得模型学习到更多的图像信息，提高优化的车牌重建模型的鲁棒性，从而可以更好地对初始车牌图像序列进行车牌重建，保证目标车牌图像的图像质量。
请参见图5，是本发明实施例提供的另一种图像处理方法的流程示意图。该图像处理方法可以由终端执行，此处的终端可以包括但不限于：台式计算机、膝上计算机、平板电脑、智能手机，以及配置有处理器的摄像装备。请参见图5，该图像处理方法可包括以下步骤S501-S506：
S501，获取用于模型训练的样本集。
此处的样本集包括样本车辆的第一图像序列及第二图像，该样本车辆为进入摄像组件拍摄范围内的任一车辆；第一图像序列可以包括至少两帧第一图像，第一图像的分辨率低于预设阈值，第二图像的分辨率高于预设阈值。第一图像序列中的第一图像的数量可以根据实际业务需求设置，例如可以选取5帧第一图像构建第一图像序列，也可以选取10帧第一图像构建第一图像序列，等等。
具体的，可以从摄像组件拍摄范围内的车辆中任意选取一车辆作为样本车辆，然后使用车辆跟随算法对该样本车辆进行跟随，在跟随过程中摄像头可以检测摄像头与样本车辆之间的距离。当摄像头与样本车辆之间的距离小于预设距离时，摄像头可以对样本车辆进行拍摄得到分辨率大于预设阈值的高分辨率车辆图像；当摄像头与样本车辆之间的距离大于或等于预设距离时，摄像头可以对样本车辆进行拍摄得到多帧分辨率小于预设阈值的低分辨率车辆图像。然后使用车牌定位算法对该高分辨率车辆图像进行车牌定位，以从该高分辨率车辆图像中截取出车牌图像，并将从高分辨率车辆图像中截取到的车牌图像作为第二图像；并使用车牌定位算法对多帧低分辨率车辆图像进行车牌定位，以分别从多帧低分辨率车辆图像中截取出多帧车牌图像，并将从多帧低分辨率车辆图像中截取到的多帧车牌图像均作为第一图像，所述多帧第一图像按照拍摄时间的先后顺序构成第一图像序列。
其中，此处的车牌定位算法可以包括但不限于：RefineDet[1]目标检测算法、SNIP算法、R-FCN算法，等等。优选的，本发明实施例采用RefineDet[1]目标检测算法作为车牌定位算法，可以较精确地定位出各车辆图像(包括高分辨率车辆图像和各帧低分辨率车辆图像)中的车牌位置，使得第一图像序列和第二图像的准确性更高，为后续的对齐处理和配准处理提供有力的支持。并且该RefineDet[1]目标检测算法无需引入池化过程，可以较大程度地提高车牌定位的处理效率。
由此可见，本发明实施例所采用的样本集中的车牌图像(包括第一图像和第二图像)均是通过摄像头对样本车辆进行拍摄得到的真实车牌图像，采用真实车牌图像进行模型训练，可以提高车牌重建模型的泛化能力，所谓的泛化能力是指车牌重建模型准确地进行车牌重建的重建能力
S502，构建车牌重建模型。
S503，采用多帧图像超分辨率方式以及样本集对车牌重建模型进行训练优化得到优化的车牌重建模型。
在步骤S502-S503中，可以基于机器学习算法构建一个车牌重建模型，该车牌重建模型是一个基于卷积神经网络的模型。然后采用多帧图像超分辨率方式以及样本集对该车牌重建模型进行训练优化得到优化的车牌重建模型，所谓的多帧图像超分辨率方式是指对多帧分辨率小于预设阈值的车牌图像进行车牌重建以提高分辨率的方式。其中，步骤S503可具体包括如下步骤s11-s13：
s11，对第一图像序列和第二图像进行预处理。
此处的预处理可以包括对齐处理和空间转换处理，相应的，对第一图像序列和所述第二图像进行预处理的具体实施方式可以是：首先，可以从第一图像序列中选取参考图像，该参考图像是第一图像序列中分辨率最高的一帧图像，或者参考图像是第一图像序列中的任一帧图像。
其次，可以采用参考图像对第一图像序列中除参考图像之外的其他第一图像进行配准及对齐处理得到对齐后的第一图像序列；以及采用参考图像对第二图像进行对齐处理得到对齐后的第二图像。具体的，可以采用SIFT算法等关键特征点匹配算法以参考图像为基准，对第一图像序列中除参考图像之外的其他第一图像进行配准处理；采用ECC算法等图像对齐算法以参考图像为基准，分别对第一图像序列中除参考图像之外的其他第一图像以及第二图像进行对齐处理，从而得到对齐后的第一图像序列和对齐后的第二图像序列。需要说明的是，配准处理和对齐处理并无先后顺序，可以先进行配准处理再进行对齐处理，也可先进行对齐处理再进行配准处理，或者配准处理和对齐处理同时进行，本发明实施例对此不作限定。
然后，可以将对齐后的第一图像序列进行空间转换处理得到预处理后的第一图像序列；以及将对齐后的第二图像进行空间转换处理得到预处理后的第二图像。其中，将对齐后的第一图像序列进行空间转换处理得到预处理后的第一图像序列的具体实施方式可以是：将对齐后的第一图像序列从第一颜色空间转换至第二颜色空间，此处的第一颜色空间可以为RGB颜色空间，第二颜色空间可以为YCrCb颜色空间，其中YCrCb颜色空间中的Y表示纹理分量，CrCb表示颜色分量；在第二颜色空间中提取对齐后的第一图像序列中的各帧图像的纹理分量以构成预处理后的第一图像序列。将对齐后的第二图像进行空间转换处理得到预处理后的第二图像的具体实施方式可以是：将对齐后的第二图像从第一颜色空间转换至第二颜色空间；在第二颜色空间中提取对齐后的第二图像的纹理分量作为预处理后的第二图像。
s12，调用车牌重建模型根据预处理后的第二图像对预处理后的第一图像序列进行车牌重建得到重建图像。
首先，可以调用车牌重建模型根据预处理后的第二图像对预处理后的第一图像序列进行车牌重建得到中间图像。具体的，可以将预处理后的第二图像输入至车牌重建模型中，以及将预处理后的第一图像序列组成N个通道输入至车牌重建模型中，N的取值与预处理后的第一图像序列中的纹理分量的数量相同，例如预处理后的第一图像序列中的纹理分量有5个，那么N就等于5。车牌重建模型可以将预处理后的第二图像作为模型的拟合目标，然后对预处理后的第一图像序列进行车牌重建，得到中间图像。
在得到中间图像之后，可以将中间图像与参考图像进行叠加，如图6所示。具体的，由于中间图像是车牌重建模型对对齐后的第一图像序列中的纹理分量(即预处理后的第一图像序列)进行车牌重建得到的，因此中间图像中只包含了纹理分量，无颜色分量。所以，在将中间图像与参考图像进行叠加时，可以将中间图像的纹理分量和参考图像的颜色分量进行叠加。然后，可以将叠加得到的图像从第二颜色空间转换至第一颜色空间得到重建图像，该重建图像的分辨率大于第一图像序列中的各第一图像的分辨率。
本发明实施例只将纹理分量输入至车牌重建模型，可以使得车牌重建模型在进行车牌重建的过程中，关注于对图像细节进行增强和丰富，尽量保持颜色不变。车牌重建模型拟合的是预处理后的第一图像序列和预处理后的第二图像之间的残差，所谓的残差是指图像的高频和细节部分，减轻了车牌重建模型的拟合压力。
s13，根据重建图像和第二图像优化车牌重建模型得到优化的车牌重建模型。
可以先获取车牌重建模型的损失函数，该损失函数包括字符损失和结构损失；再根据重建图像和第二图像计算损失函数的值；最后按照减少损失函数的值的原则，调整车牌重建模型的模型参数以得到优化的车牌重建模型。在对车牌重建模型进行优化的过程中，可以重复执行步骤s11-s13，直至车牌重建模型的损失函数的值满足预设条件，此处的预设条件包括但不限于：损失函数的值最小，或者损失函数的值满足预设取值范围；可以将此时的车牌重建模型作为优化的车牌重建模型。
其中，根据重建图像和第二图像计算损失函数的值的具体实施方式可以是：①获取第二图像的二进制掩码。具体的，可以使用图像二值化对第二图像进行二值化处理，得到字符的二进制掩码，该二进制掩码用于表示第二图像中的字符部分。②采用二进制掩码确定第二图像与重建图像的字符像素和背景像素。③获取第二图像与重建图像之间的字符损失值和结构损失值。其中，字符损失值为第二图像的字符像素与重建图像的字符像素之间的字符相似性，结构损失值为第二图像的背景像素与重建图像的背景像素之间的背景相似性。④根据字符损失值和结构损失值确定损失函数的值。
具体的，在计算第二图像和重建图像之间的字符损失值时，可以采用相似性算法计算第二图像的字符像素与重建图像的字符像素之间的字符相似性以得到字符损失值，此处的相似性算法可以包括但不限于：欧式距离算法、汉明距离算法、余弦角相似性算法，等等。在计算第二图像和重建图像之间的结构损失值时，在一种实施方式中，可以采用SSIM(Structural Similarity Index，结构相似性算法)算法计算第二图像的背景像素与重建图像的背景像素之间的背景相似性以得到结构损失值。再一种实施方式中，可以对第二图像和重建图像分别进行归一化处理，然后分别计算归一化后的第二图像和归一化后的重建图像之间的图像块照明度(图像块的均值)的相似性、对比度(图像块的方差)的相似性和像素向量的相似性，然后将图像块照明度的相似性、对比度的相似性和像素向量的相似性的乘积作为结构损失值。
由于车牌重建模型的损失函数不仅包括字符损失还包括结构损失，因此在按照减少损失函数的值的原则，调整车牌重建模型的模型参数以得到优化的车牌重建模型的过程中，可以抵消字符损失无法衡量图像的结构相似性的缺陷，可以弥补字符损失没有作用的背景像素部分。并且分开计算字符损失和结构损失，可以避免因拍摄角度、拍摄距离以及光照条件的因素导致模型拟合过多的噪声的问题，提高了模型训练优化的成功率。需要说明的是，在其他实施例中，也可以根据重建图像和对齐后的第二图像优化车牌重建模型得到优化的车牌重建模型，其原理与步骤s13类似，在此不再赘述。
S504，获取目标车辆的初始车牌图像序列，该初始车牌图像序列包括至少两帧初始车牌图像，该初始车牌图像的分辨率低于预设阈值。
终端可以从交通监测***处获取该初始车牌图像序列，也可以调用终端所配置的摄像头对目标车辆进行拍摄以获取该初始车牌图像序列。在一种实施方式中，终端从交通监测***处获取该初始车牌图像序列。具体的，交通监测***可以从监测到的车辆中确定目标车辆，对该目标车辆进行拍摄，得到该目标车辆的车辆图像序列，该车辆图像序列包括至少两帧车辆图像；然后将该车辆图像序列发送至终端。终端可以接收该车辆图像序列，然后采用车牌定位算法对该车辆图像序列中的各帧车辆图像进行车牌定位，从而截取出各帧车辆图像的车牌图像，并将截取到各帧车辆图像的车牌图像作为初始车牌图像以构建目标车辆的初始车牌图像序列。再一种实施方式中，终端调用配置的摄像头对目标车辆进行拍摄得到目标车辆的车辆图像序列，然后采用车牌定位算法对该车辆图像序列中的各帧车辆图像进行车牌定位，从而截取出各帧车辆图像的车牌图像，并将截取到各帧车辆图像的车牌图像作为初始车牌图像以构建目标车辆的初始车牌图像序列，初始车牌图像序列中的各初始车牌图像按照拍摄时间的先后顺序排列。
S505，调用优化的车牌重建模型对初始车牌图像序列进行车牌重建，得到目标车牌图像。该目标车牌图像的分辨率高于预设阈值；其中，优化的车牌重建模型采用多帧图像超分辨率方式训练优化得到。
在调用优化的车牌重建模型对初始车牌图像序列进行车牌重建之前，可以对初始车牌图像序列进行预处理，即对初始车牌图像序列进行配准处理、对齐处理以及空间转换处理，得到预处理后的初始车牌图像序列。然后将预处理后的初始车牌图像序列输入至优化的车牌重建模型中以进行车牌重建，得到重建的车牌图像。将重建的车牌图像与对齐后的初始车牌图像序列中的任意车牌图像进行叠加，将叠加得到的车牌图像作为目标车牌图像。
由于初始车牌图像序列中的各初始车牌图像按照拍摄时间的先后顺序组合，且各初始车牌图像是互为相邻的帧间图像，帧间图像的图像信息之间具有互补的能力，因此调用优化的车牌重建模型对初始车牌图像序列进行车牌重建时，可以学习到帧间图像的时间信息和空间信息(例如位置信息)，并将学习到的信息融合进目标车牌图像中，可以使得目标车牌图像的图像信息更加完整。
S506，根据目标车牌图像确定目标车辆的车牌信息，该车牌信息包括车牌号码和车牌归属地。
本发明实施例在获取目标车辆的车牌信息时，可以获取目标车辆的低分辨率的初始车牌图像序列，调用优化的车牌重建模型对初始车牌图像序列进行车牌重建，得到高分辨率的目标车牌图像；对初始车牌图像序列进行车牌重建，可以解决初始车牌图像序列的图像模糊以及信息丢失等问题，从而可以提高根据目标车牌图像所确定的车牌信息的准确性。另外，本发明实施例所采用的优化的车牌重建模型是采用多帧图像超分辨方法训练优化得到的，采用多帧图像超分辨方法的训练方式可以使得模型学习到更多的图像信息，提高优化的车牌重建模型的鲁棒性，从而可以更好地对初始车牌图像序列进行车牌重建，保证目标车牌图像的图像质量。
基于上述图像处理方法实施例的描述，本发明实施例还提供一种图像处理装置，所述图像处理装置可以是运行于终端中的一个计算机程序(包括程序代码)，也可以是包含在终端中的一个实体装置。该图像处理装置可以实行图2或者图5所示的方法。请参见图7，该图像处理装置可以运行如下单元：
获取单元101，用于获取目标车辆的初始车牌图像序列，所述初始车牌图像序列包括至少两帧初始车牌图像，所述初始车牌图像的分辨率低于预设阈值；
处理单元102，用于调用优化的车牌重建模型对所述初始车牌图像序列进行车牌重建，得到目标车牌图像，所述目标车牌图像的分辨率高于所述预设阈值；其中，所述优化的车牌重建模型采用多帧图像超分辨率方式训练优化得到；
确定单元103，用于根据所述目标车牌图像确定所述目标车辆的车牌信息，所述车牌信息包括车牌号码和车牌归属地。
在一种实施方式中，所述获取单元101还可用于：获取用于模型训练的样本集，所述样本集包括样本车辆的第一图像序列及第二图像，所述样本车辆为进入摄像组件拍摄范围内的任一车辆；所述第一图像序列包括至少两帧第一图像，所述第一图像的分辨率低于所述预设阈值，所述第二图像的分辨率高于所述预设阈值；
所述处理单元102还可用于：构建车牌重建模型；采用所述多帧图像超分辨率方式以及所述样本集对所述车牌重建模型进行训练优化得到所述优化的车牌重建模型。
再一种实施方式中，所述处理单元102在用于采用所述多帧图像超分辨率方式以及所述样本集对所述车牌重建模型进行训练优化得到所述优化的车牌重建模型时，具体用于：
对所述第一图像序列和所述第二图像进行预处理；
调用所述车牌重建模型根据预处理后的第二图像对预处理后的第一图像序列进行车牌重建得到重建图像；
根据所述重建图像和所述第二图像优化所述车牌重建模型得到所述优化的车牌重建模型。
再一种实施方式中，所述预处理包括对齐处理和空间转换处理；相应的，所述处理单元102在用于对所述第一图像序列和所述第二图像进行预处理时，具体用于：
从所述第一图像序列中选取参考图像，所述参考图像是所述第一图像序列中分辨率最高的一帧图像，或者所述参考图像是所述第一图像序列中的任一帧图像；
采用所述参考图像对所述第一图像序列中除所述参考图像之外的其他第一图像进行配准及对齐处理得到对齐后的第一图像序列；以及采用所述参考图像对所述第二图像进行对齐处理得到对齐后的第二图像；
将所述对齐后的第一图像序列进行空间转换处理得到预处理后的第一图像序列；以及将所述对齐后的第二图像进行空间转换处理得到预处理后的第二图像。
再一种实施方式中，所述处理单元102在用于将所述对齐后的第一图像序列进行空间转换处理得到预处理后的第一图像序列时，具体用于：将所述对齐后的第一图像序列从第一颜色空间转换至第二颜色空间；在所述第二颜色空间中提取所述对齐后的第一图像序列中的各帧图像的纹理分量以构成预处理后的第一图像序列；
所述处理单元102在用于将所述对齐后的第二图像进行空间转换处理得到预处理后的第二图像时，具体用于：将所述对齐后的第二图像从所述第一颜色空间转换至所述第二颜色空间；在所述第二颜色空间中提取所述对齐后的第二图像的纹理分量作为预处理后的第二图像。
再一种实施方式中，所述处理单元102在用于调用所述车牌重建模型根据预处理后的第二图像对预处理后的第一图像序列进行车牌重建得到重建图像时，具体用于：
调用所述车牌重建模型根据预处理后的第二图像对预处理后的第一图像序列进行车牌重建得到中间图像；
将所述中间图像与所述参考图像进行叠加；
将叠加得到的图像从第二颜色空间转换至第一颜色空间得到重建图像。
再一种实施方式中，所述处理单元102在用于根据所述重建图像和所述第二图像优化所述车牌重建模型得到所述优化的车牌重建模型时，具体用于：
获取所述车牌重建模型的损失函数，所述损失函数包括字符损失和结构损失；
根据所述重建图像和所述第二图像计算所述损失函数的值；
按照减少所述损失函数的值的原则，调整所述车牌重建模型的模型参数以得到所述优化的车牌重建模型。
再一种实施方式中，所述处理单元102在根据所述重建图像和所述第二图像计算所述损失函数的值时，具体用于：
获取所述第二图像的二进制掩码；
采用所述二进制掩码确定所述第二图像与所述重建图像的字符像素和背景像素；
获取所述第二图像与所述重建图像之间的字符损失值和结构损失值；所述字符损失值为所述第二图像的字符像素与所述重建图像的字符像素之间的字符相似性；所述结构损失值为所述第二图像的背景像素与所述重建图像的背景像素之间的背景相似性；
根据所述字符损失值和所述结构损失值确定所述损失函数的值。
根据本发明的一个实施例，图2和图5所示的方法所涉及的各个步骤均可以是由图7所示的图像处理装置中的各个单元来执行的。例如，图2中所示的步骤S201-S203可以分别由图7中所示的获取单元101、处理单元102以及确定单元103来执行；又如，图5中所示的步骤S501和S504可由图7中所示的获取单元101来执行，步骤S502、S503以及S505可由图7中所示的处理单元102来执行，步骤S506可由图7中所示的确定单元103来执行。
根据本发明的另一个实施例，图7所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本发明的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图5中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图7中所示的图像处理装置设备，以及来实现本发明实施例的图像处理方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
本发明实施例在获取目标车辆的车牌信息时，可以获取目标车辆的低分辨率的初始车牌图像序列，调用优化的车牌重建模型对初始车牌图像序列进行车牌重建，得到高分辨率的目标车牌图像；对初始车牌图像序列进行车牌重建，可以解决初始车牌图像序列的图像模糊以及信息丢失等问题，从而可以提高根据目标车牌图像所确定的车牌信息的准确性。另外，本发明实施例所采用的优化的车牌重建模型是采用多帧图像超分辨方法训练优化得到的，采用多帧图像超分辨方法的训练方式可以使得模型学习到更多的图像信息，提高优化的车牌重建模型的鲁棒性，从而可以更好地对初始车牌图像序列进行车牌重建，保证目标车牌图像的图像质量。
基于上述方法实施例以及装置实施例的描述，本发明实施例还提供一种终端。请参见图8，该终端至少包括处理器201、输入设备202、输出设备203以及计算机存储介质204。所述输入设备202中还可包括摄像组件，摄像组件可用于获取目标车辆的初始车牌图像序列和/或用于模型训练的样本集，所述摄像组件可以是终端出厂时配置在终端上的组件，也可以是与终端相连接的外部组件，例如交通监测***中的摄像头。其中，终端内的处理器201、输入设备202、输出设备203以及计算机存储介质204可通过总线或其他方式连接。
计算机存储介质204可以存储在终端的存储器中，所述计算机存储介质204用于存储计算机程序，所述计算机程序包括程序指令，所述处理器201用于执行所述计算机存储介质204存储的程序指令。处理器201(或称CPU(Central Processing Unit，中央处理器))是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；在一个实施例中，本发明实施例所述的处理器201可以用于根据获取到的目标车辆的初始车牌图像序列进行一系列的图像处理，包括：获取目标车辆的初始车牌图像序列，所述初始车牌图像序列包括至少两帧初始车牌图像，所述初始车牌图像的分辨率低于预设阈值；调用优化的车牌重建模型对所述初始车牌图像序列进行车牌重建，得到目标车牌图像，所述目标车牌图像的分辨率高于所述预设阈值；其中，所述优化的车牌重建模型采用多帧图像超分辨率方式训练优化得到；根据所述目标车牌图像确定所述目标车辆的车牌信息，所述车牌信息包括车牌号码和车牌归属地，等等。
本发明实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是终端中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作***。并且，在该存储空间中还存放了适于被处理器201加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一种实施方式中，可由处理器201加载并执行计算机存储介质中存放的一条或一条以上指令，以实现上述有关图像处理实施例中的方法的相应步骤；具体实现中，计算机存储介质中的一条或一条以上指令由处理器201加载并执行如下步骤：
获取目标车辆的初始车牌图像序列，所述初始车牌图像序列包括至少两帧初始车牌图像，所述初始车牌图像的分辨率低于预设阈值；
调用优化的车牌重建模型对所述初始车牌图像序列进行车牌重建，得到目标车牌图像，所述目标车牌图像的分辨率高于所述预设阈值；其中，所述优化的车牌重建模型采用多帧图像超分辨率方式训练优化得到；
根据所述目标车牌图像确定所述目标车辆的车牌信息，所述车牌信息包括车牌号码和车牌归属地。
再一种实施方式中，所述一条或一条以上指令还可由处理器201加载并具体执行：
获取用于模型训练的样本集，所述样本集包括样本车辆的第一图像序列及第二图像，所述样本车辆为进入摄像组件拍摄范围内的任一车辆；所述第一图像序列包括至少两帧第一图像，所述第一图像的分辨率低于所述预设阈值，所述第二图像的分辨率高于所述预设阈值；
构建车牌重建模型；
采用所述多帧图像超分辨率方式以及所述样本集对所述车牌重建模型进行训练优化得到所述优化的车牌重建模型。
再一种实施方式中，在采用所述多帧图像超分辨率方式以及所述样本集对所述车牌重建模型进行训练优化得到所述优化的车牌重建模型时，所述一条或一条以上指令由处理器201加载并具体执行：
对所述第一图像序列和所述第二图像进行预处理；
调用所述车牌重建模型根据预处理后的第二图像对预处理后的第一图像序列进行车牌重建得到重建图像；
根据所述重建图像和所述第二图像优化所述车牌重建模型得到所述优化的车牌重建模型。
再一种实施方式中，所述预处理包括对齐处理和空间转换处理；相应的，在对所述第一图像序列和所述第二图像进行预处理时，所述一条或一条以上指令由处理器201加载并具体执行：
从所述第一图像序列中选取参考图像，所述参考图像是所述第一图像序列中分辨率最高的一帧图像，或者所述参考图像是所述第一图像序列中的任一帧图像；
采用所述参考图像对所述第一图像序列中除所述参考图像之外的其他第一图像进行配准及对齐处理得到对齐后的第一图像序列；以及采用所述参考图像对所述第二图像进行对齐处理得到对齐后的第二图像；
将所述对齐后的第一图像序列进行空间转换处理得到预处理后的第一图像序列；以及将所述对齐后的第二图像进行空间转换处理得到预处理后的第二图像。
再一种实施方式中，在将所述对齐后的第一图像序列进行空间转换处理得到预处理后的第一图像序列时，所述一条或一条以上指令由处理器201加载并具体执行：
将所述对齐后的第一图像序列从第一颜色空间转换至第二颜色空间；
在所述第二颜色空间中提取所述对齐后的第一图像序列中的各帧图像的纹理分量以构成预处理后的第一图像序列；
所述将所述对齐后的第二图像进行空间转换处理得到预处理后的第二图像，包括：
将所述对齐后的第二图像从所述第一颜色空间转换至所述第二颜色空间；
在所述第二颜色空间中提取所述对齐后的第二图像的纹理分量作为预处理后的第二图像。
再一种实施方式中，在调用所述车牌重建模型根据预处理后的第二图像对预处理后的第一图像序列进行车牌重建得到重建图像时，所述一条或一条以上指令由处理器201加载并具体执行：
调用所述车牌重建模型根据预处理后的第二图像对预处理后的第一图像序列进行车牌重建得到中间图像；
将所述中间图像与所述参考图像进行叠加；
将叠加得到的图像从第二颜色空间转换至第一颜色空间得到重建图像。
再一种实施方式中，在根据所述重建图像和所述第二图像优化所述车牌重建模型得到所述优化的车牌重建模型时，所述一条或一条以上指令由处理器201加载并具体执行：
获取所述车牌重建模型的损失函数，所述损失函数包括字符损失和结构损失；
根据所述重建图像和所述第二图像计算所述损失函数的值；
按照减少所述损失函数的值的原则，调整所述车牌重建模型的模型参数以得到所述优化的车牌重建模型。
再一种实施方式中，在根据所述重建图像和所述第二图像计算所述损失函数的值时，所述一条或一条以上指令由处理器201加载并具体执行：
获取所述第二图像的二进制掩码；
采用所述二进制掩码确定所述第二图像与所述重建图像的字符像素和背景像素；
获取所述第二图像与所述重建图像之间的字符损失值和结构损失值；所述字符损失值为所述第二图像的字符像素与所述重建图像的字符像素之间的字符相似性；所述结构损失值为所述第二图像的背景像素与所述重建图像的背景像素之间的背景相似性；
根据所述字符损失值和所述结构损失值确定所述损失函数的值。
本发明实施例在获取目标车辆的车牌信息时，可以获取目标车辆的低分辨率的初始车牌图像序列，调用优化的车牌重建模型对初始车牌图像序列进行车牌重建，得到高分辨率的目标车牌图像；对初始车牌图像序列进行车牌重建，可以解决初始车牌图像序列的图像模糊以及信息丢失等问题，从而可以提高根据目标车牌图像所确定的车牌信息的准确性。另外，本发明实施例所采用的优化的车牌重建模型是采用多帧图像超分辨方法训练优化得到的，采用多帧图像超分辨方法的训练方式可以使得模型学习到更多的图像信息，提高优化的车牌重建模型的鲁棒性，从而可以更好地对初始车牌图像序列进行车牌重建，保证目标车牌图像的图像质量。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取目标车辆的初始车牌图像序列，所述初始车牌图像序列包括至少两帧初始车牌图像，所述初始车牌图像的分辨率低于预设阈值；
调用优化的车牌重建模型对所述初始车牌图像序列进行车牌重建，得到目标车牌图像，所述目标车牌图像的分辨率高于所述预设阈值；其中，所述优化的车牌重建模型采用多帧图像超分辨率方式及样本集对车牌重建模型进行训练优化得到；所述训练优化的方法包括：对所述样本集中样本车辆的第一图像序列和第二图像进行预处理；调用所述车牌重建模型根据预处理后的第二图像对预处理后的第一图像序列进行车牌重建得到重建图像；根据所述重建图像和所述第二图像优化所述车牌重建模型得到所述优化的车牌重建模型；
根据所述目标车牌图像确定所述目标车辆的车牌信息，所述车牌信息包括车牌号码和车牌归属地。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取用于模型训练的样本集，所述样本集包括所述样本车辆的第一图像序列及第二图像，所述样本车辆为进入摄像组件拍摄范围内的任一车辆；所述第一图像序列包括至少两帧第一图像，所述第一图像的分辨率低于所述预设阈值，所述第二图像的分辨率高于所述预设阈值；
构建所述车牌重建模型；
采用所述多帧图像超分辨率方式以及所述样本集对所述车牌重建模型进行训练优化得到所述优化的车牌重建模型。
3.如权利要求1所述的方法，其特征在于，所述预处理包括对齐处理和空间转换处理；所述对所述样本集中样本车辆的第一图像序列和第二图像进行预处理，包括：
从所述第一图像序列中选取参考图像，所述参考图像是所述第一图像序列中分辨率最高的一帧图像，或者所述参考图像是所述第一图像序列中的任一帧图像；
采用所述参考图像对所述第一图像序列中除所述参考图像之外的其他第一图像进行配准及对齐处理得到对齐后的第一图像序列；以及采用所述参考图像对所述第二图像进行对齐处理得到对齐后的第二图像；
将所述对齐后的第一图像序列进行空间转换处理得到预处理后的第一图像序列；以及将所述对齐后的第二图像进行空间转换处理得到预处理后的第二图像。
4.如权利要求3所述的方法，其特征在于，所述将所述对齐后的第一图像序列进行空间转换处理得到预处理后的第一图像序列，包括：
将所述对齐后的第一图像序列从第一颜色空间转换至第二颜色空间；
在所述第二颜色空间中提取所述对齐后的第一图像序列中的各帧图像的纹理分量以构成预处理后的第一图像序列；
所述将所述对齐后的第二图像进行空间转换处理得到预处理后的第二图像，包括：
将所述对齐后的第二图像从所述第一颜色空间转换至所述第二颜色空间；
在所述第二颜色空间中提取所述对齐后的第二图像的纹理分量作为预处理后的第二图像。
5.如权利要求1-4任一项所述的方法，其特征在于，所述调用所述车牌重建模型根据预处理后的第二图像对预处理后的第一图像序列进行车牌重建得到重建图像，包括：
调用所述车牌重建模型根据预处理后的第二图像对预处理后的第一图像序列进行车牌重建得到中间图像；
将所述中间图像与参考图像进行叠加；
将叠加得到的图像从第二颜色空间转换至第一颜色空间得到重建图像。
6.如权利要求1-4任一项所述的方法，其特征在于，所述根据所述重建图像和所述第二图像优化所述车牌重建模型得到所述优化的车牌重建模型，包括：
获取所述车牌重建模型的损失函数，所述损失函数包括字符损失和结构损失；
根据所述重建图像和所述第二图像计算所述损失函数的值；
按照减少所述损失函数的值的原则，调整所述车牌重建模型的模型参数以得到所述优化的车牌重建模型。
7.如权利要求6所述的方法，其特征在于，所述根据所述重建图像和所述第二图像计算所述损失函数的值，包括：
获取所述第二图像的二进制掩码；
采用所述二进制掩码确定所述第二图像与所述重建图像的字符像素和背景像素；
获取所述第二图像与所述重建图像之间的字符损失值和结构损失值；所述字符损失值为所述第二图像的字符像素与所述重建图像的字符像素之间的字符相似性；所述结构损失值为所述第二图像的背景像素与所述重建图像的背景像素之间的背景相似性；
根据所述字符损失值和所述结构损失值确定所述损失函数的值。
8.一种图像处理装置，其特征在于，包括：
获取单元，用于获取目标车辆的初始车牌图像序列，所述初始车牌图像序列包括至少两帧初始车牌图像，所述初始车牌图像的分辨率低于预设阈值；
处理单元，用于调用优化的车牌重建模型对所述初始车牌图像序列进行车牌重建，得到目标车牌图像，所述目标车牌图像的分辨率高于所述预设阈值；其中，所述优化的车牌重建模型采用多帧图像超分辨率方式及样本集对车牌重建模型进行训练优化得到；所述训练优化的方法包括：对所述样本集中样本车辆的第一图像序列和第二图像进行预处理；调用所述车牌重建模型根据预处理后的第二图像对预处理后的第一图像序列进行车牌重建得到重建图像；根据所述重建图像和所述第二图像优化所述车牌重建模型得到所述优化的车牌重建模型；
确定单元，用于根据所述目标车牌图像确定所述目标车辆的车牌信息，所述车牌信息包括车牌号码和车牌归属地。
9.一种终端，包括输入设备和输出设备，其特征在于，还包括：
处理器，适于实现一条或一条以上指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或一条以上指令，所述一条或一条以上指令适于由所述处理器加载并执行如权利要求1-7任一项所述的图像处理方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条或一条以上指令，所述一条或一条以上指令适于由处理器加载并执行如权利要求1-7任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811305849.4A CN109493280B (zh) | 2018-11-02 | 2018-11-02 | 图像处理方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811305849.4A CN109493280B (zh) | 2018-11-02 | 2018-11-02 | 图像处理方法、装置、终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109493280A CN109493280A (zh) | 2019-03-19 |
| CN109493280B true CN109493280B (zh) | 2023-03-14 |
Family
ID=65693771
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811305849.4A Active CN109493280B (zh) | 2018-11-02 | 2018-11-02 | 图像处理方法、装置、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109493280B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862038B (zh) * | 2020-07-17 | 2024-05-14 | 中国医学科学院阜外医院 | 一种斑块检测方法、装置、设备及介质 |
| CN113111806A (zh) * | 2021-04-20 | 2021-07-13 | 北京嘀嘀无限科技发展有限公司 | 用于目标识别的方法和*** |
| CN115984840A (zh) * | 2022-12-20 | 2023-04-18 | 航天科技控股集团股份有限公司 | 一种保障***用油料车的身份信息识别***及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2081150A1 (en) * | 2008-01-18 | 2009-07-22 | Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO | Method of improving the resolution of a moving object in a digital image sequence |
| CN104809461A (zh) * | 2015-05-08 | 2015-07-29 | 内蒙古科技大学 | 结合序列图像超分辨率重建的车牌识别方法及*** |
| CN106251289A (zh) * | 2016-07-21 | 2016-12-21 | 北京邮电大学 | 一种基于深度学习和自相似性的视频超分辨率重建方法 |
| CN106296586A (zh) * | 2016-08-18 | 2017-01-04 | 电子科技大学 | 基于凸组合方式的多帧低分辨率图像超分辨率重建方法 |
| CN106600536A (zh) * | 2016-12-14 | 2017-04-26 | 同观科技（深圳）有限公司 | 一种视频图像超分辨率重建方法及装置 |
| CN107123089A (zh) * | 2017-04-24 | 2017-09-01 | 中国科学院遥感与数字地球研究所 | 基于深度卷积网络的遥感图像超分辨重建方法及*** |
| CN107273894A (zh) * | 2017-06-15 | 2017-10-20 | 珠海习悦信息技术有限公司 | 车牌的识别方法、装置、存储介质及处理器 |
| CN107480772A (zh) * | 2017-08-08 | 2017-12-15 | 浙江大学 | 一种基于深度学习的车牌超分辨率处理方法及*** |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9251565B2 (en) * | 2011-02-03 | 2016-02-02 | Massachusetts Institute Of Technology | Hyper-resolution imaging |
| US9774865B2 (en) * | 2013-12-16 | 2017-09-26 | Samsung Electronics Co., Ltd. | Method for real-time implementation of super resolution |
-
2018
- 2018-11-02 CN CN201811305849.4A patent/CN109493280B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2081150A1 (en) * | 2008-01-18 | 2009-07-22 | Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO | Method of improving the resolution of a moving object in a digital image sequence |
| CN104809461A (zh) * | 2015-05-08 | 2015-07-29 | 内蒙古科技大学 | 结合序列图像超分辨率重建的车牌识别方法及*** |
| CN106251289A (zh) * | 2016-07-21 | 2016-12-21 | 北京邮电大学 | 一种基于深度学习和自相似性的视频超分辨率重建方法 |
| CN106296586A (zh) * | 2016-08-18 | 2017-01-04 | 电子科技大学 | 基于凸组合方式的多帧低分辨率图像超分辨率重建方法 |
| CN106600536A (zh) * | 2016-12-14 | 2017-04-26 | 同观科技（深圳）有限公司 | 一种视频图像超分辨率重建方法及装置 |
| CN107123089A (zh) * | 2017-04-24 | 2017-09-01 | 中国科学院遥感与数字地球研究所 | 基于深度卷积网络的遥感图像超分辨重建方法及*** |
| CN107273894A (zh) * | 2017-06-15 | 2017-10-20 | 珠海习悦信息技术有限公司 | 车牌的识别方法、装置、存储介质及处理器 |
| CN107480772A (zh) * | 2017-08-08 | 2017-12-15 | 浙江大学 | 一种基于深度学习的车牌超分辨率处理方法及*** |
Non-Patent Citations (8)
| Title |
|---|
| "Beyond Human-level License Plate Super-resolution with Progressive Vehicle Search and Domain Priori GAN";Wu Liu et al.;《ACM Multimedia》;20171231;全文 * |
| "Eyes on the Target: Super-Resolution and License-Plate Recognition in Low-Quality Surveillance Videos";HILARIO SEIBEL, JR. et al.;《IEEE Access》;20171231;第5卷;全文 * |
| "Registration Errors: Are They Always Bad for Super-Resolution？";Guilherme Holsbach Costa et al.;《IEEE TRANSACTIONS ON SIGNAL PROCESSING》;20091031;第57卷(第10期);全文 * |
| "web of science, vehicle license super resolution";Qizi Huangpeng et al.;《2015 IEEE International Conference on Progress in Informatics and Computing（PIC 2015）》;20151231;全文 * |
| "基于卷积神经网络的深度图像超分辨重构";丁雯庆;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180415(第04期);全文 * |
| "基于学习的车牌图像超分辨重建技术研究";王鹏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20121015(第10期);全文 * |
| "多帧图像超分辨率重建算法研究";唐磊;《中国优秀硕士学位论文全文数据库 信息科技辑》;20110715(第01期);全文 * |
| "车牌图像超分辨率重建算法研究";熊智;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109493280A (zh) | 2019-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cozzolino et al. | Noiseprint: A CNN-based camera model fingerprint | |
| CN110569702B (zh) | 视频流的处理方法和装置 | |
| Kim et al. | Fully deep blind image quality predictor | |
| Gu et al. | A fast reliable image quality predictor by fusing micro-and macro-structures | |
| Verdoliva et al. | A feature-based approach for image tampering detection and localization | |
| CN111222513B (zh) | 车牌号码识别方法、装置、电子设备及存储介质 | |
| CN109493280B (zh) | 图像处理方法、装置、终端及存储介质 | |
| Bammey et al. | An adaptive neural network for unsupervised mosaic consistency analysis in image forensics | |
| WO2021137946A1 (en) | Forgery detection of face image | |
| CN111784624B (zh) | 目标检测方法、装置、设备及计算机可读存储介质 | |
| CN110532746B (zh) | 人脸校验方法、装置、服务器及可读存储介质 | |
| CN112435223B (zh) | 目标检测方法、装置及存储介质 | |
| CN103632362A (zh) | 图像匹配处理方法、装置及*** | |
| CN112785480B (zh) | 基于频域变换和残差反馈模块的图像拼接篡改检测方法 | |
| Chai et al. | Supervised and unsupervised learning of parameterized color enhancement | |
| US9679218B2 (en) | Method and apparatus for image matching | |
| CN113239937A (zh) | 镜头偏移检测方法、装置、电子设备及可读存储介质 | |
| CN113469971A (zh) | 一种图像匹配方法及检测装置、存储介质 | |
| CN110516731B (zh) | 一种基于深度学习的视觉里程计特征点检测方法及*** | |
| CN112651333A (zh) | 静默活体检测方法、装置、终端设备和存储介质 | |
| Almasri et al. | Rgb guided thermal super-resolution enhancement | |
| CN112052702A (zh) | 一种识别二维码的方法和装置 | |
| CN112911341B (zh) | 图像处理方法、解码器网络训练方法、装置、设备和介质 | |
| Wang et al. | A unified framework of source camera identification based on features | |
| CN114693554B (zh) | 一种大数据图像处理方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |