CN112967213A - 车牌图像增强方法、装置、设备及存储介质 - Google Patents

车牌图像增强方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112967213A
CN112967213A CN202110159856.3A CN202110159856A CN112967213A CN 112967213 A CN112967213 A CN 112967213A CN 202110159856 A CN202110159856 A CN 202110159856A CN 112967213 A CN112967213 A CN 112967213A
Authority
CN
China
Prior art keywords
license plate
enhanced
background image
fused
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110159856.3A
Other languages
English (en)
Inventor
熊光银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hongdian Technologies Corp
Original Assignee
Shenzhen Hongdian Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hongdian Technologies Corp filed Critical Shenzhen Hongdian Technologies Corp
Priority to CN202110159856.3A priority Critical patent/CN112967213A/zh
Publication of CN112967213A publication Critical patent/CN112967213A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种车牌图像增强方法、装置、设备及存储介质。其方法包括:获取待增强车牌各顶点相互之间的第一位置关系以及待融合背景图像中车牌位置各顶点相互之间的第二位置关系;根据所述第一位置关系和所述第二位置关系计算出待增强车牌与待融合背景图像之间的透视变换矩阵;根据所述变换矩阵将所述待增强车牌融合至所述待融合背景图像的车牌位置处,获得增强的车牌图像。该方法通过透视变换矩阵将车牌与真实背景图像进行融合的方式有效降低透视畸变,而且避免了虚拟构建背景难以取代真实背景以及车牌畸变与虚拟构建背景畸变难以保持一致等缺陷对增强图像的影响。

Description

车牌图像增强方法、装置、设备及存储介质
技术领域
本申请属于数据处理技术领域,尤其涉及一种车牌图像增强方法、装置、设备及存储介质。
背景技术
面向大数据的深度学习技术,为了得到高精度的算法模型,深度学习网络需要使用大量已标注的数据进行训练。监督学习是深度学习任务中最重要且应用最广泛的一种,在有监督学习中,数据样本集是基础,数据样本集的大小、标签质量直接决定着算法模型的应用效果。
目前的车牌识别技术中,为提高识别车牌的算法模型的准确性,除了几何变换(比如翻转、旋转、裁剪、变形、缩放)、颜色变换(比如噪声、模糊、颜色变换、擦除、填充)、样本叠加(比如像素叠加、裁剪叠加)等比较传统的数据增强方法外,还提出通过图像合成的方式来实现数据增强,以解决传统数据增强方法中存在的样本采集难度大、工作量多、耗时长等缺陷。但是,发明人发现,现有的通过图像合成的数据增强方法会存在透视畸变、虚拟构建背景难以取代真实背景以及人造车牌畸变与虚拟构建背景畸变难以保持一致等缺陷,而这些缺陷会导致合成的增强数据与实际应用场景差距过大,从而出现算法模型训练精度高但实际应用效果差的问题。
发明内容
有鉴于此,本申请实施例提供了一种车牌图像增强方法、装置、设备及存储介质,可以有效降低透视畸变、虚拟构建背景难以取代真实背景以及人造车牌畸变与虚拟构建背景畸变难以保持一致等缺陷对增强图像的影响。
本申请实施例的第一方面提供了一种车牌图像增强方法,所述车牌图像增强方法包括:
获取待增强车牌各顶点相互之间的第一位置关系以及待融合背景图像中车牌位置各顶点相互之间的第二位置关系;
根据所述第一位置关系和所述第二位置关系计算出待增强车牌与待融合背景图像之间的透视变换矩阵;
根据所述变换矩阵将所述待增强车牌融合至所述待融合背景图像的车牌位置处,获得增强的车牌图像。
结合第一方面,在第一方面的第一种可能实现方式中,所述根据所述第一位置关系和所述第二位置关系计算出待增强车牌与待融合背景图像之间的透视变换矩阵的步骤,还包括:
识别所述待增强车牌的车牌类型和所述待融合背景图像中车牌位置所表征的车牌类型;
将所述待增强车牌的车牌类型与所述待融合背景图像中车牌位置所表征车牌类型进行比对,确定所述待增强车牌与所述待融合背景图像中的车牌位置之间的尺寸差值;
根据所述尺寸差值对所述第二位置关系进行差值补偿处理,根据所述第一位置关系和差值补偿后的第二位置关系计算出待增强车牌与待融合背景图像之间的透视变换矩阵。
结合第一方面,在第一方面的第二种可能实现方式中,所述获取待增强车牌各顶点相互之间的第一位置关系以及待融合背景图像中车牌位置各顶点相互之间的第二位置关系的步骤之前,还包括:
触发预设的车牌合成模型生成待增强车牌,并获取所述待增强车牌合成时所采用的素材信息;
根据所述待增强车牌合成时所采用的素材信息从预设的真实背景图像库中选取与所述待增强车牌匹配的待融合背景图像。
结合第一方面的第二种可能实现方式,在第一方面的第三种可能实现方式中,所述预设的车牌合成模型中配置有用于合成车牌的底板素材库、文字素材库、铆钉图库、车牌框素材库以及蒙版素材库,所述触发预设的车牌合成模型生成待增强车牌的步骤,包括:
为所述预设的车牌合成模型中的各素材库配置随机函数,根据所述随机函数产生的随机数从所述各素材库中选取用于合成待增强车牌的素材。
结合第一方面的第二种可能实现方式,在第一方面的第四种可能实现方式中,所述根据所述待增强车牌合成时所采用的素材信息从预设的真实背景图像库中选取与所述待增强车牌匹配的待融合背景图像的步骤,包括:
根据所述待增强车牌合成时所采用的素材信息确定所述待增强车牌的适用车型;
根据所述适用车型从所述预设的真实背景图像库中选取与所述待增强车牌匹配的车牌背景图像作为待融合背景图像。
结合第一方面的第二种可能实现方式,在第一方面的第五种可能实现方式中,所述根据所述待增强车牌合成时所采用的素材信息从预设的真实背景图像库中选取与所述待增强车牌匹配的待融合背景图像的步骤,包括:
根据所述待增强车牌合成时所采用的素材信息确定所述待增强车牌的尺寸信息;
获取所述真实背景图像库中存储的各车牌背景图像的车牌位置尺寸信息,将所述待增强车牌的尺寸信息与任一车牌背景图像的车牌位置尺寸信息进行比对,判断所述待增强车牌的尺寸是否小于或等于所述进行比对的车牌背景图像的车牌位置尺寸;
若是,将所述进行比对的车牌背景图像选取为与所述待增强车牌匹配的待融合背景图像。
结合第一方面,在第一方面的第六种可能实现方式中,所述根据所述变换矩阵将所述待增强车牌融合至所述待融合背景图像的车牌位置处,获得增强的车牌图像的步骤,包括:
根据所述变换矩阵将所述待增强车牌变换成与所述待融合背景图像中车牌位置的形状一致;
根据变换后的待增强车牌创建掩模矩阵,所述掩模矩阵中配置有图像融合时待增强车牌所占的融合权值;
利用所述掩模矩阵,将所述变换后的待增强车牌按照所述融合权值加权叠加至所述待融合背景图像中车牌位置处,获得增强的车牌图像。
本申请实施例的第二方面提供了一种车牌图像增强装置,所述车牌图像增强装置包括:
获取模块,用于获取待增强车牌各顶点相互之间的第一位置关系以及待融合背景图像中车牌位置各顶点相互之间的第二位置关系;
计算模块,用于根据所述第一位置关系和所述第二位置关系计算出待增强车牌与待融合背景图像之间的透视变换矩阵;
融合模块,用于根据所述变换矩阵将所述待增强车牌融合至所述待融合背景图像的车牌位置处,获得增强的车牌图像。
本申请实施例的第三方面提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面任意一项所述车牌图像增强方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项所述车牌图像增强方法的步骤。
本申请实施例与现有技术相比存在的有益效果是:
本申请获取待增强车牌各顶点相互之间的第一位置关系以及待融合背景图像中车牌位置各顶点相互之间的第二位置关系;根据所述第一位置关系和所述第二位置关系计算出待增强车牌与待融合背景图像之间的透视变换矩阵;根据所述变换矩阵将所述待增强车牌融合至所述待融合背景图像的车牌位置处,获得增强的车牌图像。该方法通过透视变换矩阵将车牌与真实背景图像进行融合的方式有效降低透视畸变,而且避免了虚拟构建背景难以取代真实背景以及车牌畸变与虚拟构建背景畸变难以保持一致等缺陷对增强图像的影响。
本申请通过车牌合成模型合成车牌的方式生成待增强车牌,使得待增强车牌的样式类型丰富性强,克服了人工采集样本车牌所存在采集难度大、工作量多、耗时长等缺陷,另外,还克服了诸如军车、使馆车、港澳入境车等特殊车牌可采集资源少或无法采集的缺陷。
本申请通过采集真实的车牌背景图像取代虚拟构建背景,保留了人工采集样本的真实性特点。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种车牌图像增强方法的基本方法流程示意图;
图2为本申请实施例提供的车牌图像增强方法中计算透视变换矩阵的一种方法流程图;
图3为本申请实施例提供的车牌图像增强方法中对车牌进行尺寸补偿前后的一种示意图;
图4为本申请实施例提供的车牌图像增强方法中获取待增强车牌和待融合背景图像的一种方法流程示意图;
图5为本申请实施例提供的车牌图像增强方法中根据待增强图像选取待融合背景图像时的一种方法流程示意图;
图6为本申请实施例提供的车牌图像增强方法中根据待增强图像选取待融合背景图像时的另一种方法流程示意图;
图7为本申请实施例提供的车牌图像增强方法中根据待增强图像选取待融合背景图像时的另一种方法流程示意图;
图8为本申请实施例提供的车牌图像增强方法中创建的一种掩模矩阵示意图;
图9为本申请实施例提供的一种车牌图像增强装置的结构示意图;
图10为本申请实施例提供的一种实现车牌图像增强方法的电子设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的***、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。
本申请的一些实施例中,请参阅图1,图1为本申请实施例提供的一种车牌图像增强方法的基本方法流程示意图,详述如下:
步骤S11:获取待增强车牌各顶点相互之间的第一位置关系以及待融合背景图像中车牌位置各顶点相互之间的第二位置关系。
本实施例中,所述待增强车牌被配置为合成车牌,具体可以通过构建车牌合成模型,由车牌合成模型来生成。合成车牌具有标准尺寸,其外形呈现为规则的矩形形状。在本实施例中,根据待增强车牌的长、宽两个尺寸参数可以确定该待增强车牌各顶点相互之间的第一位置关系。由于待增强车牌呈规则的矩形状,所以待增强车牌具有四个顶点,所述第一位置关系即为该待增强车牌四个顶点之间的相互位置关系。所述待融合背景图像为人工采集到的、真实的车牌背景图像。在本实施例中,预先通过人工采集多样化的车牌背景图像,将这些真实的车牌背景图像进行存储得到一个真实背景图像库,当需要执行车牌图像增强操作时,可以从该真实背景图像库中获取任意一张车牌背景图像作为待融合背景图像。对于该真实背景图像库,其存储的车牌背景图像作为执行车牌图像增强操作时所需的真实背景图像素材,尽可能多样化地覆盖各种车型(如小轿车、大客车、大货车等)、各种场景(如道路、车库、高架等)以及各种天气(如晴天、阴天、雨天、雪天等)的车牌背景图像。车牌背景图像中包含有车牌,而且由于车牌背景图像在拍摄时受到镜头透视畸变影响,因为车牌背景图像中的车牌外形呈现为一般四边形形状。该一般四边形形状在车牌背景图像中所处的位置即为车牌位置。当一个车牌背景图像作为待融合背景图像时,根据该车牌背景图像中一般四边形的四个顶点所处位置及其各边边长即可获得车牌位置四个顶点相互之间的第二位置关系。
步骤S12:根据所述第一位置关系和所述第二位置关系计算出待增强车牌与待融合背景图像之间的透视变换矩阵。
本实施例中,第一位置关系P1中待增强车牌的四个顶点为P1=(point1,point2,point3,point4),将该四个顶点(point1,point2,point3,point4)作为车牌透视变换前的坐标。第二位置关系P2中待融合背景图像车牌位置的四个顶点为p2=(post_point1,post_point2,post_point3,post_point4),将该四个顶点(post_point1,post_point2,post_point3,post_point4)作为车牌透视变换后的坐标。根据该车牌透视变换前以及透视变换后的坐标,利用OpenCV工具库中getPerspectiveTransform函数计算出合成车牌与待融合背景图像之间的透视变换矩阵warpMatrix,即warpMatrix=getPerspectiveTransform(p1,p2)。
步骤S13:根据所述变换矩阵将所述待增强车牌融合至所述待融合背景图像的车牌位置处,获得增强的车牌图像。
本实施例中,根据透视变换矩阵将待增强车牌进行透视变换处理,可以将待增强车牌原本呈现的规则矩形形状变换成与待融合背景图像的车牌位置相一致的一般四边形形状,使得待增强车牌与待融合背景图像的车牌位置可以叠加重合。然后,通过图像叠加融合的方式将所述待增强车牌融合至所述待融合背景图像的车牌位置处,以此即可获得增强的车牌图像。
上述实施例通过透视变换矩阵将待增强车牌原本呈现的规则矩形形状变换成与待融合背景图像中车牌位置一致的一般四边形形状,然后将变换后的待增强图像通过叠加融合的方式融合至该待融合背景图像中得到增强的车牌图像。该增强的车牌图像中车牌采用的是合成车牌,样式类型丰富性强,背景图像采用的是真实采集的背景图像,避免了虚拟构建背景难以取代真实背景以及车牌畸变与虚拟构建背景畸变难以保持一致等缺陷对增强图像的影响。
在本实施例中,图2为本申请实施例提供的车牌图像增强方法中计算透视变换矩阵的一种方法流程图。详细如下:
步骤S21:识别所述待增强车牌的车牌类型和所述待融合背景图像中车牌位置所表征的车牌类型;
步骤S22:将所述待增强车牌的车牌类型与所述待融合背景图像中车牌位置所表征车牌类型进行比对,确定所述待增强车牌与所述待融合背景图像中的车牌位置之间的尺寸差值;
步骤S23:根据所述尺寸差值对所述第二位置关系进行差值补偿处理,根据所述第一位置关系和差值补偿后的第二位置关系计算出待增强车牌与待融合背景图像之间的透视变换矩阵。
本申请的一些实施例中,在计算透视变换矩阵时,还可以同时考虑不同车牌类型之间尺寸大小差异的影响,根据待增强车牌与待融合背景图像中的车牌位置设置尺寸补偿值deltaP,将p2+deltaP作为透视变换后的坐标。最后,利用OpenCV工具库中getPerspectiveTransform函数计算出待增强车牌与待融合背景图像之间的透视变换矩阵warpMatrix,即warpMatrix=getPerspectiveTransform(p1,p2+deltaP)。
在本实施例中,通过图像识别的方式确定待增强车牌的车牌类型以及待融合背景图像中车牌位置所表征的车牌类型。对于不同的车牌类型配置有对应的标准尺寸,通过识别待增强车牌的尺寸,将该识别出的尺寸与标准尺寸进行相似度比对来确定该车牌的车牌类型;通过识别待融合背景图像中车牌位置的尺寸,将该识别出的尺寸与标准尺寸进行相似度比对来确定该车牌位置所表征的车牌类型。当获取到待增强车牌的车牌类型和待融合背景图像中车牌位置所表征的车牌类型后,将所述待增强车牌的车牌类型与所述待融合背景图像中车牌位置所表征的车牌类型进行比对,比对该两车牌类型对应标准尺寸的大小差异,确定待增强车牌与待融合背景图像中的车牌位置之间的尺寸差值。进而,根据尺寸差值对第二位置关系进行差值补偿处理,再根据第一位置关系和差值补偿后的第二位置关系计算出待增强车牌与待融合背景图像之间的透视变换矩阵;由此,通过透视变换矩阵获得的变换后的待增强车牌形状与待融合背景图像中的车牌位置的形状更匹配。
示例性的,请一并参阅图3,图3为本申请实施例提供的车牌图像增强方法中对车牌进行尺寸补偿前后的一种示意图。假设待增强车牌为小型新能源车牌,标准尺寸为48cm×14cm。待融合背景图像中车牌位置的尺寸为44cm×14cm(如图示由于拍摄时镜头的透视畸变,待融合背景图像中车牌位置呈一般四边形形状,上边长为W1,下边长为W2)。如图3所示,透视变换后待融合车牌的尺寸补偿为W1边长和W2边长各自的两端补偿1/2*(48-44)/44=1/22倍边长值。
本申请的一些实施例中,请参阅图4,图4为本申请实施例提供的车牌图像增强方法中获取待增强车牌和待融合背景图像的一种方法流程示意图。详细如下:
步骤S41:触发预设的车牌合成模型生成待增强车牌,并获取所述待增强图像合成时所采用的素材信息;
步骤S42:根据所述待增强车牌合成时所采用的素材信息从预设的真实背景图像库中选取与所述待增强车牌匹配的待融合背景图像。
本实施例中,预先构建一个车牌合成模型,用于生成增强图像所需的车牌。在本实施例中,该车牌合成模型中创建有用于合成车牌的底板素材库、文字素材库、铆钉图库、车牌框素材库以及蒙版素材库等多个合成车牌所需的素材数据库。在本实施例中,通过官方公开的规范文件中规定的车牌标准创建获得底板素材库和文字素材库。通过实车采集或爬虫获取不同角度铆钉照片,再使用PS抠图等方式获取不同角度铆钉,并将铆钉角度添加到铆钉图片命名规则中,从而得到铆钉图库。通过试车采集或爬虫获取不同类型的车牌框,再使用PS抠图等方式进行车牌框提取,从而获得车牌框素材库。通过网络爬虫或自制等方式创建获得蒙版素材库。所述车牌合成模型通过随机函数产生的随机数从各个素材数据库中选取素材,然后使用OpenCV等工具将选取的素材合成为车牌,得到待增强车牌。
示例性的,通过为所述预设的车牌合成模型中的各素材库配置随机函数,根据所述随机函数产生的随机数从所述各素材库中选取用于合成待增强车牌的素材。在本实施例中,获取增强车牌图像时,结合用户的需求,可以根据随机函数产生随机数的方式从底板素材库中选取底板素材以及从文字素材库中选取文字素材,并将选取出来的底板素材与选取出来的文字素材进行随机组合,获得基础合成车牌。进而,基于铆钉图库配置的随机函数产生0-1之间的随机数r1,若r1>0.5,则使用OpenCV等工具从铆钉图库中随机选择两个相近角度铆钉叠加到基础合成车牌的上面两个铆钉位置,否则从铆钉图库中随机选择四个相近角度铆钉叠加到基础合成车牌的四个铆钉位置,以此得到经过一次叠加的合成车牌。基于车牌框素材库配置的随机函数产生0-1之间的随机数r2,若r2>0.5,则使用OpenCV等工具从车牌框素材库中随机选择车牌框叠加到基础合成车牌或者经过一次叠加的合成车牌中,否则此次叠加为空,得到经过二次叠加的合成车牌。基于蒙版素材库配置的随机函数产生0-1之间的随机数r3,产生(0,1)随机数r,若r3>0.5,则使用OpenCV等工具从蒙版图库中随机选择蒙版叠加到基础合成车牌或者经过一次叠加的合成车牌或者二次叠加的合成车牌中,否则此次叠加为空,得到经过三次叠加的合成车牌。可以理解的是,上述获得的基础合成车牌、经过一次叠加的合成车牌、经过二次叠加的合成车牌、经过三次叠加的合成车牌均可以成为待增强车牌。可以理解的是,上述实施例中随机函数产生的随机数是示例性的,不作为本申请的限制,随机函数的设置可由用户自定义配置。
在本实施例中,获得待增强车牌后,根据该待增强车牌从预设的真实背景图像库中选取与所述待增强车牌匹配的待融合背景图像。预设的真实背景图像库中存储的车牌背景图像是多样化的,覆盖有各种车型(如小轿车、大客车、大货车等)、各种场景(如道路、车库、高架等)以及各种天气(如晴天、阴天、雨天、雪天等)的车牌背景图像。在本实施例中,基于待增强图像合成时所采用的素材信息,可以根据待增强车牌所选取的底板素材和车牌框素材,从预设的真实背景图像库中进行筛选,选取车型匹配的车牌背景图像,或/及根据待增强车牌所选取的蒙版素材,从预设的真实背景图像库中进行筛选,选取天气匹配的车牌背景图像,由此实现从预设的真实背景图像库中选取得到与待增强车牌匹配的待融合背景图像。
本申请的一些实施例中,请参阅图5,图5为本申请实施例提供的车牌图像增强方法中根据待增强图像选取待融合背景图像时的一种方法流程示意图,详细如下:
步骤S51:根据所述待增强车牌合成时所采用的素材信息确定所述待增强车牌的适用车型;
步骤S52:根据所述适用车型从所述预设的真实背景图像库中选取与所述待增强车牌匹配的车牌背景图像作为待融合背景图像。
本实施例中,在本实施例中,确定待增强车牌的适用车型时,可以通过训练神经网络分类模型或者创建车牌特征与适用车型之间的映射关系表等方式,实现根据车牌特征来确定该车牌的适用车型。预设的真实背景图像库中存储有多种车型的车牌背景图像,例如小轿车、大货车、客车等等,在先去待融合背景图像时,尽量选择与待增强车牌类型相一致的背景图像。例如,若待增强车牌为双排黄牌等特殊类型的车牌时,其适用车型为大货车,此时应当根据适用车型,从该预设的真实背景图像库中选取背景为大货车的车牌背景图像作为待融合背景图像。又例如,待增强车牌为普通的单排车牌时,其适用车型多样,可以是小轿车、客车等各种车型,此时可以根据适用车型,从该预设的真实背景图像库中随机选取车型匹配的车牌背景图像作为待融合背景图像。
本申请的一些实施例中,请参阅图6,图6为本申请实施例提供的车牌图像增强方法中根据待增强图像选取待融合背景图像时的另一种方法流程示意图。详细如下:
步骤S61:根据所述待增强车牌合成时所采用的素材信息确定所述待增强车牌的尺寸信息;
步骤S62:获取所述真实背景图像库中存储的各车牌背景图像的车牌位置尺寸信息,将所述待增强车牌的尺寸信息与任一车牌背景图像的车牌位置尺寸信息进行比对,判断所述待增强车牌的尺寸是否小于或等于所述进行比对的车牌背景图像的车牌位置尺寸;
步骤S63:若是,将所述进行比对的车牌背景图像选取为与所述待增强车牌匹配的待融合背景图像。
本实施例中,待增强车牌在与待融合背景图像进行融合时,需要待增强车牌完全覆盖待融合背景图像中车牌位置的面积范围,因此,车牌图像增强过程中,选取待融合背景图像时可以先根据待增强车牌合成时所采用的素材信息确定该待增强车牌的尺寸信息,以及针对真实背景图像库中存储的各种车牌背景图像,获取这些车牌背景图像的车牌位置尺寸信息。然后通过将待增强车牌的尺寸信息与任一车牌背景图像的车牌位置尺寸信息进行比对,判断出待增强车牌的尺寸是否小于或等于该进行比对的车牌背景图像的车牌位置尺寸。若小于,则说明该进行比对的车牌背景图像满足待增强车牌完全覆盖待融合背景图像中车牌位置的面积范围的要求,此时,可以将该进行比对的车牌背景图像选取为与待增强车牌匹配的待融合背景图像。
本申请的一些实施例中,请参阅图7,图7为本申请实施例提供的车牌图像增强方法中根据待增强图像选取待融合背景图像时的另一种方法流程示意图。详细如下:
步骤S71:根据所述变换矩阵将所述待增强车牌变换成与所述待融合背景图像中车牌位置的形状一致;
步骤S72:根据变换后的待增强车牌创建掩模矩阵,所述掩模矩阵中配置有图像融合时待增强车牌所占的融合权值;
步骤S73:利用所述掩模矩阵,将所述变换后的待增强车牌按照所述融合权值加权叠加至所述待融合背景图像中车牌位置处,获得增强的车牌图像。
本实施例中,请一并参阅图8,图8为本申请实施例提供的车牌图像增强方法中创建的一种掩模矩阵示意图。如图8所示,以掩模矩阵的边界处为基准,向掩模矩阵内方向配置待增强车牌所占的融合权值逐步增大,即越向掩模矩阵内部,待增强车牌显示越清晰;向掩模矩阵外方向配置待增强车牌所占的融合权值均为0,即车牌位置外部的背景只取待融合背景图像中的背景。在本实施例中,通过变换矩阵将所述待增强车牌变换成与所述待融合背景图像中车牌位置的形状一致后,根据变换后的待增强车牌的形状创建掩模矩阵边框81,然后再按照预先设定好的融合权值配置尺工具82为所述掩模矩阵配置图像融合时待增强车牌所占的融合权值,至此可得到用于进行图像融合的掩模矩阵。进而,利用该创建好的掩模矩阵,将所述变换后的待增强车牌按照所述掩模矩阵中的融合权值加权叠加至所述待融合背景图像中车牌位置处,从而获得增强的车牌图像。
可以理解的是,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本申请的一些实施例中,请参阅图9,图9为本申请实施例提供的一种车牌图像增强装置的结构示意图,详述如下:
所述车牌图像增强装置包括:获取模块91、计算模块92以及融合模块93。其中,所述获取模块91用于获取待增强车牌各顶点相互之间的第一位置关系以及待融合背景图像中车牌位置各顶点相互之间的第二位置关系。所述计算模块92用于根据所述第一位置关系和所述第二位置关系计算出待增强车牌与待融合背景图像之间的透视变换矩阵。所述融合模块93用于根据所述变换矩阵将所述待增强车牌融合至所述待融合背景图像的车牌位置处,获得增强的车牌图像。
所述车牌图像增强装置,与上述的车牌图像增强方法一一对应。
在本申请的一些实施例中,请参阅图10,图10为本申请实施例提供的一种实现车牌图像增强方法的电子设备的示意图。如图10所示,该实施例的电子设备10包括:处理器101、存储器102以及存储在所述存储器102中并可在所述处理器101上运行的计算机程序103,例如车牌图像增强程序。所述处理器101执行所述计算机程序102时实现上述各个车牌图像增强方法实施例中的步骤。或者,所述处理器101执行所述计算机程序103时实现上述各装置实施例中各模块/单元的功能。
示例性的,所述计算机程序103可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器102中,并由所述处理器101执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序103在所述电子设备10中的执行过程。例如,所述计算机程序103可以被分割成:
获取模块,用于获取待增强车牌各顶点相互之间的第一位置关系以及待融合背景图像中车牌位置各顶点相互之间的第二位置关系;
计算模块,用于根据所述第一位置关系和所述第二位置关系计算出待增强车牌与待融合背景图像之间的透视变换矩阵;
融合模块,用于根据所述变换矩阵将所述待增强车牌融合至所述待融合背景图像的车牌位置处,获得增强的车牌图像。
所述电子设备可包括,但不仅限于,处理器101、存储器102。本领域技术人员可以理解,图10仅仅是电子设备10的示例,并不构成对电子设备10的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器101可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器102可以是所述电子设备10的内部存储单元,例如电子设备10的硬盘或内存。所述存储器102也可以是所述电子设备10的外部存储设备,例如所述电子设备10上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器102还可以既包括所述电子设备10的内部存储单元也包括外部存储设备。所述存储器102用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器102还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种车牌图像增强方法,其特征在于,包括:
获取待增强车牌各顶点相互之间的第一位置关系以及待融合背景图像中车牌位置各顶点相互之间的第二位置关系;
根据所述第一位置关系和所述第二位置关系计算出待增强车牌与待融合背景图像之间的透视变换矩阵;
根据所述变换矩阵将所述待增强车牌融合至所述待融合背景图像的车牌位置处,获得增强的车牌图像。
2.根据权利要求1所述的车牌图像增强方法,其特征在于,所述根据所述第一位置关系和所述第二位置关系计算出待增强车牌与待融合背景图像之间的透视变换矩阵的步骤,还包括:
识别所述待增强车牌的车牌类型和所述待融合背景图像中车牌位置所表征的车牌类型;
将所述待增强车牌的车牌类型与所述待融合背景图像中车牌位置所表征车牌类型进行比对,确定所述待增强车牌与所述待融合背景图像中的车牌位置之间的尺寸差值;
根据所述尺寸差值对所述第二位置关系进行差值补偿处理,根据所述第一位置关系和差值补偿后的第二位置关系计算出待增强车牌与待融合背景图像之间的透视变换矩阵。
3.根据权利要求1所述的车牌图像增强方法,其特征在于,所述获取待增强车牌各顶点相互之间的第一位置关系以及待融合背景图像中车牌位置各顶点相互之间的第二位置关系的步骤之前,还包括:
触发预设的车牌合成模型生成待增强车牌,并获取所述待增强车牌合成时所采用的素材信息;
根据所述待增强车牌合成时所采用的素材信息从预设的真实背景图像库中选取与所述待增强车牌匹配的待融合背景图像。
4.根据权利要求3所述的车牌图像增强方法,其特征在于,所述预设的车牌合成模型中配置有用于合成车牌的底板素材库、文字素材库、铆钉图库、车牌框素材库以及蒙版素材库,所述触发预设的车牌合成模型生成待增强车牌的步骤,包括:
为所述预设的车牌合成模型中的各素材库配置随机函数,根据所述随机函数产生的随机数从所述各素材库中选取用于合成待增强车牌的素材。
5.根据权利要求3所述的车牌图像增强方法,其特征在于,所述根据所述待增强车牌合成时所采用的素材信息从预设的真实背景图像库中选取与所述待增强车牌匹配的待融合背景图像的步骤,包括:
根据所述待增强车牌合成时所采用的素材信息确定所述待增强车牌的适用车型;
根据所述适用车型从所述预设的真实背景图像库中选取与所述待增强车牌匹配的车牌背景图像作为待融合背景图像。
6.根据权利要求3所述的车牌图像增强方法,其特征在于,所述根据所述待增强车牌合成时所采用的素材信息从预设的真实背景图像库中选取与所述待增强车牌匹配的待融合背景图像的步骤,包括:
根据所述待增强车牌合成时所采用的素材信息确定所述待增强车牌的尺寸信息;
获取所述真实背景图像库中存储的各车牌背景图像的车牌位置尺寸信息,将所述待增强车牌的尺寸信息与任一车牌背景图像的车牌位置尺寸信息进行比对,判断所述待增强车牌的尺寸是否小于或等于所述进行比对的车牌背景图像的车牌位置尺寸;
若是,将所述进行比对的车牌背景图像选取为与所述待增强车牌匹配的待融合背景图像。
7.根据权利要求1所述的车牌图像增强方法,其特征在于,所述根据所述变换矩阵将所述待增强车牌融合至所述待融合背景图像的车牌位置处,获得增强的车牌图像的步骤,包括:
根据所述变换矩阵将所述待增强车牌变换成与所述待融合背景图像中车牌位置的形状一致;
根据变换后的待增强车牌创建掩模矩阵,所述掩模矩阵中配置有图像融合时待增强车牌所占的融合权值;
利用所述掩模矩阵,将所述变换后的待增强车牌按照所述融合权值加权叠加至所述待融合背景图像中车牌位置处,获得增强的车牌图像。
8.一种车牌图像增强装置,其特征在于,所述车牌图像增强装置包括:
获取模块,用于获取待增强车牌各顶点相互之间的第一位置关系以及待融合背景图像中车牌位置各顶点相互之间的第二位置关系;
计算模块,用于根据所述第一位置关系和所述第二位置关系计算出待增强车牌与待融合背景图像之间的透视变换矩阵;
融合模块,用于根据所述变换矩阵将所述待增强车牌融合至所述待融合背景图像的车牌位置处,获得增强的车牌图像。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述车牌图像增强方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述车牌图像增强方法的步骤。
CN202110159856.3A 2021-02-05 2021-02-05 车牌图像增强方法、装置、设备及存储介质 Pending CN112967213A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110159856.3A CN112967213A (zh) 2021-02-05 2021-02-05 车牌图像增强方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110159856.3A CN112967213A (zh) 2021-02-05 2021-02-05 车牌图像增强方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112967213A true CN112967213A (zh) 2021-06-15

Family

ID=76274258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110159856.3A Pending CN112967213A (zh) 2021-02-05 2021-02-05 车牌图像增强方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112967213A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469929A (zh) * 2021-09-03 2021-10-01 北京美摄网络科技有限公司 训练数据生成方法、装置、电子设备及计算机可读存储介质
CN113807302A (zh) * 2021-09-26 2021-12-17 重庆紫光华山智安科技有限公司 车牌识别算法准确率测试方法、装置、电子设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504744A (zh) * 2014-12-31 2015-04-08 深圳市捷顺科技实业股份有限公司 一种合成车牌图像的拟真方法及装置
CN108268871A (zh) * 2018-02-01 2018-07-10 武汉大学 一种基于卷积神经网络的端到端的车牌识别方法和***
KR102008283B1 (ko) * 2019-01-23 2019-08-07 (주)토페스 번호판인식방법 및 이를 수행하는 번호판인식장치
CN111274927A (zh) * 2020-01-17 2020-06-12 北京三快在线科技有限公司 一种训练数据的生成方法、装置、电子设备和存储介质
WO2020237937A1 (zh) * 2019-05-24 2020-12-03 深圳市商汤科技有限公司 一种图像处理方法及装置、电子设备和存储介质
CN112101349A (zh) * 2020-09-01 2020-12-18 北京智芯原动科技有限公司 一种车牌样本生成方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504744A (zh) * 2014-12-31 2015-04-08 深圳市捷顺科技实业股份有限公司 一种合成车牌图像的拟真方法及装置
CN108268871A (zh) * 2018-02-01 2018-07-10 武汉大学 一种基于卷积神经网络的端到端的车牌识别方法和***
KR102008283B1 (ko) * 2019-01-23 2019-08-07 (주)토페스 번호판인식방법 및 이를 수행하는 번호판인식장치
WO2020237937A1 (zh) * 2019-05-24 2020-12-03 深圳市商汤科技有限公司 一种图像处理方法及装置、电子设备和存储介质
CN111274927A (zh) * 2020-01-17 2020-06-12 北京三快在线科技有限公司 一种训练数据的生成方法、装置、电子设备和存储介质
CN112101349A (zh) * 2020-09-01 2020-12-18 北京智芯原动科技有限公司 一种车牌样本生成方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHAIKH, S ET AL.: "A novel approach for Automatic Number Plate Recognition", 2013 INTERNATIONAL CONFERENCE ON INTELLIGENT SYSTEMS AND SIGNAL PROCESSING (ISSP), pages 375 - 380 *
刘雄飞等: "基于行扫描和小波变换的车牌定位算法", 计算机应用与软件, no. 05, pages 279 - 282 *
方洪宾: "1:250000遥感地质填图方法和技术", 北京:地质出版社, pages: 51 - 53 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469929A (zh) * 2021-09-03 2021-10-01 北京美摄网络科技有限公司 训练数据生成方法、装置、电子设备及计算机可读存储介质
CN113469929B (zh) * 2021-09-03 2021-12-03 北京美摄网络科技有限公司 训练数据生成方法、装置、电子设备及计算机可读存储介质
CN113807302A (zh) * 2021-09-26 2021-12-17 重庆紫光华山智安科技有限公司 车牌识别算法准确率测试方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN106778928B (zh) 图像处理方法及装置
CN113256778B (zh) 生成车辆外观部件识别样本的方法、装置、介质及服务器
CN106096542B (zh) 基于距离预测信息的图像视频场景识别方法
US10824910B2 (en) Image processing method, non-transitory computer readable storage medium and image processing system
CN108256547A (zh) 生成用于基于机器学习的对象识别***的训练图像
US20200364910A1 (en) Line drawing generation
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
CN112967213A (zh) 车牌图像增强方法、装置、设备及存储介质
CN112184585B (zh) 一种基于语义边缘融合的图像补全方法及***
CN111274927A (zh) 一种训练数据的生成方法、装置、电子设备和存储介质
CN112528477B (zh) 道路场景仿真方法、设备、存储介质及装置
EP3657390A1 (en) Object recognition system and method using simulated object images
CN114792416A (zh) 一种目标检测方法及装置
CN115063785B (zh) 高速公路场景使用目标识别模型定位车牌的方法及装置
CN114037640A (zh) 图像生成方法及装置
CN116433903A (zh) 实例分割模型构建方法、***、电子设备及存储介质
CN115641415A (zh) 基于卫星影像生成三维场景的方法、装置、设备及介质
CN105528616A (zh) 人脸识别方法和装置
CN111488930A (zh) 分类网络的训练方法、目标检测方法、装置和电子设备
CN114842035A (zh) 基于深度学习的车牌脱敏方法、装置、设备及存储介质
CN114332796A (zh) 一种多传感器融合体素特征图生成方法及***
CN115019297B (zh) 一种基于颜色增广的实时车牌检测识别方法和装置
TWI801717B (zh) 一種實物圖像生成方法及裝置、設備、非暫態電腦可讀存儲介質及電腦程式產品
CN111062863B (zh) 3d模型与经纬度坐标绑定方法、装置、设备及存储介质
CN114240734A (zh) 图像数据增广方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination