CN112419186B - 一种车牌图像的批量生成方法、装置及计算机设备 - Google Patents
一种车牌图像的批量生成方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN112419186B CN112419186B CN202011315205.0A CN202011315205A CN112419186B CN 112419186 B CN112419186 B CN 112419186B CN 202011315205 A CN202011315205 A CN 202011315205A CN 112419186 B CN112419186 B CN 112419186B
- Authority
- CN
- China
- Prior art keywords
- license plate
- coordinate system
- plate image
- image data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000009466 transformation Effects 0.000 claims abstract description 67
- 238000013508 migration Methods 0.000 claims abstract description 22
- 230000005012 migration Effects 0.000 claims abstract description 22
- 238000003062 neural network model Methods 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 44
- 239000002689 soil Substances 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 18
- 206010069747 Burkholderia mallei infection Diseases 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 239000003086 colorant Substances 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 239000004927 clay Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/604—Rotation of whole images or parts thereof using coordinate rotation digital computer [CORDIC] devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种车牌图像的批量生成方法、装置及计算机设备,其中,该批量生成方法包括:根据真实车牌图像数据,生成数字车牌图像数据;在数字车牌图像数据随机加入泥土噪声,生成叠加车牌图像数据;对叠加车牌图像数据进行坐标系变换,生成目标坐标系数据;根据随机真实车牌图像、预设风格迁移深度神经网络模型以及目标坐标系数据,生成目标车牌图像。通过实施本发明,解决了相关技术中存在的由于稀有类型车牌较少,导致的车牌分类识别效果较差的问题。可以根据观测到的较少的车牌图像,批量生成与交通摄像头观测到的真实车牌图像极为相似的车牌图像,更接近真实场景,可以对数字车牌图像的颜色进行高效地变换以及调整。
Description
技术领域
本发明涉及图像处理领域,具体涉及一种车牌图像的批量生成方法、装置及计算机设备。
背景技术
随着科技的发展,智能交通***成为未来交通***发展的方向。车牌号码作为机动车特有的身份标识信息,在智能交通***中的汽车车牌分类识别问题是至关重要的一部分,而由于特定类型车牌样本(例如使馆车牌)的稀缺,导致训练数据分布极其不平衡,训练出的车牌类型分类器不尽人意,进一步使车牌号的识别效果大打折扣。
相关技术中,为了解决上述问题,可以采用扩充数据集、对数据集进行重采样、人造数据以及改变分类算法等方法,而在实际应用中,对于汽车车牌分类检测问题,扩充数据集并不适用,由于稀有车牌被捕获的概率极低,很难通过扩充数据集方法得到提高识别效果;而对数据集进行重采样,本质上将并没有增加车牌信息,且容易造成模型过拟合;对于人造数据方法,目前的人造车牌数据方法只是生成数码的车牌,与真实数据差异太大,无法对模型进行有效的训练;对于改变分类算法方法,由于采用深度学***衡,识别效果也堪忧。因此,如何提高特定类型车牌的数量成为了亟待解决的问题。
发明内容
有鉴于此,本发明实施例提供了一种车牌图像的批量生成方法、装置及计算机设备,以解决相关技术中由于稀有类型车牌较少,导致的车牌分类识别效果较差的问题。
根据第一方面,本发明实施例提供了一种车牌图像的批量生成方法,包括:根据真实车牌图像数据,生成数字车牌图像数据;在所述数字车牌图像数据随机加入泥土噪声,生成叠加车牌图像数据;对所述叠加车牌图像数据进行坐标系变换,生成目标坐标系数据;根据随机真实车牌图像、预设风格迁移深度神经网络模型以及所述目标坐标系数据,生成目标车牌图像。
结合第一方面,在第一方面第一实施方式中,所述根据真实车牌图像数据,生成数字车牌图像数据,包括:根据所述真实车牌图像数据,生成多个单字矢量图形文件;根据所述单字矢量图形文件,生成像素阵列文件;根据预设车牌图像标准,生成标准车牌背景图像,以及调整所述像素阵列文件,生成标准单字图像;将所述标准单字图像与所述标准车牌背景图像叠加,生成所述数字车牌图像数据。
结合第一方面,在第一方面第二实施方式中,所述在所述数字车牌图像数据随机加入泥土噪声,生成叠加车牌图像数据,包括:根据预设真实车牌分辨率,调整所述数字车牌图像数据的分辨率;根据调整后的数字车牌图像数据的分辨率,在预设泥土噪声数据库中随机提取对应的泥土噪声图像;将调整分辨率后的数字车牌图像数据与所述泥土噪声图像叠加,生成所述叠加车牌图像数据。
结合第一方面第二实施方式,在第一方面第三实施方式中,所述对所述叠加车牌图像数据进行坐标系变换,生成目标坐标系数据,包括:根据所述叠加车牌图像数据,生成物体坐标系数据;根据所述物体坐标系数据,计算第一坐标系变换矩阵,生成世界坐标系数据;根据所述世界坐标系数据,计算第二坐标系变换矩阵;根据所述物体坐标系数据、第一坐标系变换矩阵、第二坐标系变换矩阵以及预设投影变换矩阵,生成目标坐标系数据,所述目标坐标系为相机坐标系。
结合第一方面第三实施方式,在第一方面第四实施方式中,通过下述公式,计算所述目标坐标系数据:
[xper yper zper 1]T=MperMcamMrotZMrotYMrotX[xobj yobj zobj 1]T,
其中:[xobj yobj zobj 1]T表示所述物体坐标系数据,Mper表示预设投影变换矩阵,Mcam表示第二坐标系变换矩阵,MrotZMrotYMrotX表示第一坐标系变换矩阵,[xper yper zper 1]T表示目标坐标系数据。
结合第一方面第四实施方式,在第一方面第五实施方式中,通过下述公式,确定所述第一坐标系变换矩阵:
其中,α、β、γ的取值范围均为[-15°,15°],表示车牌在空间的主动旋转角度;
通过下述公式,确定所述第二坐标系变换矩阵:
结合第一方面,在第一方面第六实施方式中,所述预设风格迁移深度神经网络模型为基于前向传播的风格迁移模型。
根据第二方面,本发明实施例提供了一种车牌图像的批量生成装置,包括:数字车牌图像数据生成模块,用于根据真实车牌图像数据,生成数字车牌图像数据;叠加车牌图像数据生成模块,用于在所述数字车牌图像数据随机加入泥土噪声,生成叠加车牌图像数据;变换模块,用于对所述叠加车牌图像数据进行坐标系变换,生成目标坐标系数据;目标车牌图像生成模块,用于根据随机真实车牌图像、预设风格迁移深度神经网络模型以及所述目标坐标系数据,生成目标车牌图像。
根据第三方面,本发明实施例提供了一种计算机设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行第一方面或者第一方面的任意一种实施方式中所述的车牌图像的批量生成的方法。
根据第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第二方面或者第二方面的任意一种实施方式中所述的车牌图像的批量生成方法的步骤。
本发明技术方案,具有如下优点:
本发明提供了一种车牌图像的批量生成方法、装置及计算机设备,其中,该批量生成方法包括:根据真实车牌图像数据,生成数字车牌图像数据;在数字车牌图像数据随机加入泥土噪声,生成叠加车牌图像数据;对叠加车牌图像数据进行坐标系变换,生成目标坐标系数据;根据随机真实车牌图像、预设风格迁移深度神经网络模型以及目标坐标系数据,生成目标车牌图像。结合真实车牌图像数据以及随机噪声,并进行坐标系以及视角的转换,可以根据观测到的较少的车牌图像,批量生成与交通摄像头观测到的真实车牌图像极为相似的车牌图像,更接近真实场景,以及可以对数字车牌图像的颜色进行高效地变换以及调整。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中车牌图像的批量生成方法的一个具体示例的流程图;
图2为本发明实施例中车牌图像的批量生成方法中生成数字图像车牌的一个具体示例的流程图;
图3为本发明实施例中车牌图像的批量生成方法中生成叠加图像车牌的一个具体示例的流程图;
图4为本发明实施例中车牌图像的批量生成方法中坐标系转换的一个具体示例的流程图;
图5为本发明实施例中车牌图像的批量生成装置的一个具体示例的原理框图;
图6为本发明实施例中计算机设备的一个具体示例图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,还可以是两个元件内部的连通,可以是无线连接,也可以是有线连接。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
在汽车车牌分类识别问题中,由于特定类型车牌样本的稀缺,导致U车牌分类器的训练数据分布极其不平衡,进而大致分类识别效果大打折扣,为了从根本上解决上述问题,本发明实施例提供了一种车牌图像的批量生成方法、装置及计算机设备,目的是快速、高效地生成稀有车牌图像。
本发明实施例提供了一种车牌图像的批量生成方法,如图1所示,包括:
步骤S11:根据真实车牌图像数据,生成数字车牌图像数据;在本实施例中,真实车牌图像数据可以是真实存在的车牌图片,例如路口摄像头直接采集到的真实车辆上的车牌图像数据;数字图像数据是经过数字化处理之后生成的像素数据;具体地,根据摄像头采集到的真实车辆上的车牌数据,以及国际车牌标准,经过仿真生成任意类型的数字车牌图像数据。
步骤S12:在数字车牌图像数据随机加入泥土噪声,生成叠加车牌图像数据;在本实施例中,泥土噪声可以是随机噪声的一种,用于表征较为接近交通路口摄像头所采集到的车牌图像的噪声;对上述数字车牌图像数据进行进一步地仿真处理,生成接近真实车牌的数字化车牌图像;上述仿真处理可以包括调整图像数据的分辨率以及叠加随机噪声。
步骤S13:对叠加车牌图像数据进行坐标系变换,生成目标坐标系数据;在本实施例中,是将三维空间坐标数据转换为二维图像数据;叠加车牌图像数据所在的坐标系可以是物体坐标系,即object坐标系,进行第一次坐标系变换,根据object坐标系的叠加车牌图像数据,生成世界坐标系的叠加车牌图像数据;再进行第二次坐标系变换,根据世界坐标系的叠加车牌图像数据,生成相机坐标系数据,最后对相机坐标系数据进行视角变换,生成目标坐标系数据。具体地,object坐标系的原点为生成的叠加车牌的中心点,该object坐标系的xoy平面设置于叠加车牌平面,叠加车牌前面指向为z轴正方向,叠加车牌上方为y轴正方向,叠加车牌右方为x轴正方向;所述世界坐标系坐标轴的设置方式为右手坐标系,x轴指向右方,y轴指向上方;相机坐标系的原点为相机采集设备,坐标轴的设置方式为左手系,x轴指向右方,y轴指向上方。
步骤S14:根据随机真实车牌图像、预设风格迁移深度神经网络模型以及目标坐标系数据,生成目标车牌图像。在本实施例中,随机真实车牌图像可以是通过任意路口设置的摄像头,采集到的真实车辆上的真实车牌数据;目标坐标系数据,可以是经过坐标系转换以及视角转换后生成的数字化图像;将随机采集到的真实图像数据以及数字化图像输入至预设风格迁移深度神经网络模型中,令上述数字化图像根据上述真实图像数据的风格进行迁移,生成风格迁移后的车牌图像,也就是目标车牌图像。
本发明公开了一种车牌图像的批量生成方法,该批量生成方法包括:根据真实车牌图像数据,生成数字车牌图像数据;在数字车牌图像数据随机加入泥土噪声,生成叠加车牌图像数据;对叠加车牌图像数据进行坐标系变换,生成目标坐标系数据;根据随机真实车牌图像、预设风格迁移深度神经网络模型以及目标坐标系数据,生成目标车牌图像。结合真实车牌图像数据以及随机噪声,并进行坐标系以及视角的转换,可以根据观测到的较少的车牌图像,批量生成与交通摄像头观测到的真实车牌图像极为相似的车牌图像,更接近真实场景,以及可以对数字车牌图像的颜色进行高效地变换以及调整。
作为本发明一个可选实施方式,如图2所示,上述步骤S11,根据真实车牌图像数据,生成数字车牌图像数据,包括:
步骤S21:根据真实车牌图像数据,生成多个单字矢量图形文件;在本实施例中,单字矢量图形文件可以是单个字的Adobe Illustrator文件,即.ai文件;生成该单字矢量图形文件的具体的过程可以是,根据真实车牌图像,生成单个字的Adobe Illustrator文件,包括汉字(例如各省简称)、字母、数字以及符号。根据真实车牌图像生成的多个单字矢量图形文件的结构与真实车牌图像的结构一致。
步骤S22:根据单字矢量图形文件,生成像素阵列文件;在本实施例中,像素阵列文件可以是位图文件,可以称之为点阵图像或绘制图像,是由像素(例如,图片元素)的单个点组成的,这些点可以进行不同的排列和染色以构成图样;像素阵列文件为矩形图像,所述矩阵图像的边界即为各单个字的最大边界。具体地,可以是将矢量图形文件中的单个字取出,生成矩形图像。
步骤S23:根据预设车牌图像标准,生成标准车牌背景图像,以及调整像素阵列文件,生成标准单字图像;在本实施例中,预设车牌图像标准可以是国际标准,包括标准车牌的长度以及颜色;根据国际标准中标准车牌的长度以及颜色,生成单个字的矩形背景图像,即标准车牌背景图像。其次,根据国际标准,调整像素阵列文件的大小以及文字位置,生成标准单字图像。
步骤S24:将标准单字图像与标准车牌背景图像叠加,生成数字车牌图像数据。在本实施例中,将根据国际标准调整生成的标准单字图像以及标准车牌背景图像,生成数字车牌图像数据。
作为本发明一个可选实施方式,如图3所示,上述步骤S12,在数字车牌图像数据随机加入泥土噪声,生成叠加车牌图像数据,包括:
步骤S31:根据预设真实车牌分辨率,调整数字车牌图像数据的分辨率;在本实施例中,预设真实车牌分辨率可以是通过任意交通路口设置的摄像头采集到的真实车牌图像的分辨率,将数字车牌图像数据调整为预设真实车牌分辨率,使得生成的数字车牌图像数据更加逼真接近于真实图像。
步骤S32:根据调整后的数字车牌图像数据的分辨率,在预设泥土噪声数据库中随机提取对应的泥土噪声图像;在本实施例中,将数字车牌图像数据调整为预设真实车牌分辨率后,此时,数字车牌图像数据的分辨率即为预设真实车牌分辨率;预设泥土噪声数据库可以存储有多种分辨率的泥土噪声的数据库,即为泥土噪声模板;具体地,在泥土噪声模板中随机截取一泥土噪声图像块,上述泥土噪声图像块的分辨率与预设真实车牌分辨率相同;也就是在泥土噪声图像块中随机截取一分辨率为预设真实车牌分辨率的噪声图像块。
步骤S33:将调整分辨率后的数字车牌图像数据与泥土噪声图像叠加,生成叠加车牌图像数据。在本实施例中,将随机截取出的泥土噪声块叠加于数字车牌图像数据上,生成叠加车牌图像数据,使得生成的数字车牌图像数据更加逼真接近于真实图像,随机截取泥土噪声图像块增加了噪声的多样性,也可以避免了训练模型中的过拟合问题。
作为本发明一个可选实施方式,如图4所示,上述步骤S13,对叠加车牌图像数据进行坐标系变换,生成目标坐标系数据,包括:
步骤S41:根据叠加车牌图像数据,生成物体坐标系数据;在本实施例中,叠加车牌图像数据可以是数字化图像,该数字化图像上的各个点在物体坐标系中的坐标可以表示为[x y 0 1]T。
步骤S42:根据物体坐标系数据,计算第一坐标系变换矩阵,生成世界坐标系数据;在本实施例中,预先设置真实车牌图像在空间中的主动旋转范围为[-15°,15°]中的任意值,则将物体坐标系数据转换生成世界坐标系数据的坐标变换矩阵可以是根据预先设置真实车牌图像在空间中的主动旋转范围确定的。
具体地,可以根据下述公式确定第一坐标系变换矩阵:
确定第一坐标系变换矩阵:
其中,α、β、γ的取值范围均为[-15°,15°],表示车牌在空间的主动旋转角度,所述第一坐标系变换矩阵包括x轴变换矩阵、y轴变换矩阵以及z轴变换矩阵。
步骤S43:根据世界坐标系数据,计算第二坐标系变换矩阵;在本实施例中,相机坐标系的坐标轴可以是u,v,w,相机设备或眼睛位置(eye postion)可以表示为e=[0 0 ez]T,其中ez可以表示相机设备与真实车牌的距离;从相机设备拍摄真实车票的观察方向(gazepostion)可以表示为g=[0 0 -1]T,视点正上方向(view-up vector)表示为t=[0 1 0]T,将世界坐标系数据转换生成相机坐标系数据的第二坐标系变换矩阵的具体计算过程可以是:
w=w×u=[0 1 0]T,
步骤S44:根据物体坐标系数据、第一坐标系变换矩阵、第二坐标系变换矩阵以及预设投影变换矩阵,生成目标坐标系数据,目标坐标系为相机坐标系。在本实施例中,预设投影变换矩阵可以是:
其中:
具体地,计算目标坐标系数据:
[xper yper zper 1]T=MperMcamMrotZMrotYMrotX[xobj yobj zobj 1]T,
其中:[xobj yobj zobj 1]T表示物体坐标系数据,Mper表示预设投影变换矩阵,Mcam表示第二坐标系变换矩阵,MrotZMrotYMrotX表示第一坐标系变换矩阵,[xper yper zper 1]T表示目标坐标系数据。
可选地,在本发明的一些实施例中,进行初始物体坐标系数据可以是[xobj yobjzobj 1]T,经过上述坐标系变换后,生成的目标坐标系数据可以是[xper yper zper 1]T。而设置于交通路口的摄像头采集到的车牌上的尺寸为width×height,可以对目标坐标系数据进行视口变换(viewport transformation),此时坐标系的变换可以是:坐标范围从[-1,1]×[-1,1]变换为[0,width]×[0,height],此时,可以通过下述公式计算最终目标坐标系:
作为本发明一个可选实施方式,该车牌图像的批量生成方法中所用到的预设风格迁移深度神经网络模型为基于前向传播的风格迁移模型。在本实施例中,预设风格迁移深度神经网络模型的训练过程可以是根据预设输入数据以及预设输出数据训练初始神经网络模型,经过多次训练后,生成预设风格迁移深度神经网络模型。当此时再向预设风格迁移深度神经网络模型输入随机真实图像以及初始图像后,该风格迁移模型可以输出与上述随机真是图像的较为相似的初始图像。
本发明实施例还提供了一种车牌图像的批量生成装置,如图5所示,包括:
数字车牌图像数据生成模块51,用于根据真实车牌图像数据,生成数字车牌图像数据;详细实施内容可参见上述方法实施例中步骤S11的相关描述。
叠加车牌图像数据生成模块52,用于在数字车牌图像数据随机加入泥土噪声,生成叠加车牌图像数据;详细实施内容可参见上述方法实施例中步骤S12的相关描述。
变换模块53,用于对叠加车牌图像数据进行坐标系变换,生成目标坐标系数据;详细实施内容可参见上述方法实施例中步骤S13的相关描述。
目标车牌图像生成模块54,用于根据随机真实车牌图像、预设风格迁移深度神经网络模型以及目标坐标系数据,生成目标车牌图像。详细实施内容可参见上述方法实施例中步骤S14的相关描述。
本发明公开了一种车牌图像的批量生成装置,包括:数字车牌图像数据生成模块51,用于根据真实车牌图像数据,生成数字车牌图像数据;叠加车牌图像数据生成模块52,用于在数字车牌图像数据随机加入泥土噪声,生成叠加车牌图像数据;变换模块53,用于对叠加车牌图像数据进行坐标系变换,生成目标坐标系数据;目标车牌图像生成模块54,用于根据随机真实车牌图像、预设风格迁移深度神经网络模型以及目标坐标系数据,生成目标车牌图像。结合真实车牌图像数据以及随机噪声,并进行坐标系以及视角的转换,可以根据观测到的较少的车牌图像,批量生成与交通摄像头观测到的真实车牌图像极为相似的车牌图像,更接近真实场景,以及可以对数字车牌图像的颜色进行高效地变换以及调整。
本发明实施例还提供了一种计算机设备,如图6所示,该计算机设备可以包括处理器61和存储器62,其中处理器61和存储器62可以通过总线60或者其他方式连接,图6中以通过总线60连接为例。
处理器61可以为中央处理器(Central Processing Unit,CPU)。处理器61还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器62作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施例中的车牌图像的批量生成方法对应的程序指令/模块。处理器61通过运行存储在存储器62中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的车牌图像的批量生成方法。
存储器62可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储处理器61所创建的数据等。此外,存储器62可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器62可选包括相对于处理器61远程设置的存储器,这些远程存储器可以通过网络连接至处理器61。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器62中,当被所述处理器61执行时,执行如图1所示实施例中的车牌图像的批量生成方法。
上述计算机设备具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解,此处不再赘述。
本发明实施例还提供了一种非暂态计算机可读介质,非暂态计算机可读存储介质存储计算机指令,计算机指令用于使计算机执行如上述实施例中任意一项描述的车牌图像的批量生成方法,其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;存储介质还可以包括上述种类的存储器的组合。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (9)
1.一种车牌图像的批量生成方法,其特征在于,包括:
根据真实车牌图像数据,生成数字车牌图像数据;
在所述数字车牌图像数据随机加入泥土噪声,生成叠加车牌图像数据;
对所述叠加车牌图像数据进行坐标系变换,生成目标坐标系数据;
根据随机真实车牌图像、预设风格迁移深度神经网络模型以及所述目标坐标系数据,生成目标车牌图像;
所述对所述叠加车牌图像数据进行坐标系变换,生成目标坐标系数据,包括:
根据所述叠加车牌图像数据,生成物体坐标系数据;
根据所述物体坐标系数据,计算第一坐标系变换矩阵,生成世界坐标系数据;
根据所述世界坐标系数据,计算第二坐标系变换矩阵;
根据所述物体坐标系数据、第一坐标系变换矩阵、第二坐标系变换矩阵以及预设投影变换矩阵,生成目标坐标系数据,所述目标坐标系为相机坐标系。
2.根据权利要求1所述的方法,其特征在于,所述根据真实车牌图像数据,生成数字车牌图像数据,包括:
根据所述真实车牌图像数据,生成多个单字矢量图形文件;
根据所述单字矢量图形文件,生成像素阵列文件;
根据预设车牌图像标准,生成标准车牌背景图像,以及调整所述像素阵列文件,生成标准单字图像;
将所述标准单字图像与所述标准车牌背景图像叠加,生成所述数字车牌图像数据。
3.根据权利要求1所述的方法,其特征在于,所述在所述数字车牌图像数据随机加入泥土噪声,生成叠加车牌图像数据,包括:
根据预设真实车牌分辨率,调整所述数字车牌图像数据的分辨率;
根据调整后的数字车牌图像数据的分辨率,在预设泥土噪声数据库中随机提取对应的泥土噪声图像;
将调整分辨率后的数字车牌图像数据与所述泥土噪声图像叠加,生成所述叠加车牌图像数据。
4.根据权利要求1所述的方法,其特征在于,通过下述公式,计算所述目标坐标系数据:
[xper yper zper 1]T=MperMcamMrotzMrotYMrotX[xobj yobj zobj 1]T,
其中:[xobj yobj zobj 1]T表示所述物体坐标系数据,Mper表示预设投影变换矩阵,Mcam表示第二坐标系变换矩阵,MrotzMrotYMrotX表示第一坐标系变换矩阵,[xper yper zper 1]T表示目标坐标系数据。
5.根据权利要求4所述的方法,其特征在于,通过下述公式,确定所述第一坐标系变换矩阵:
其中,α、β、γ的取值范围均为[-15°,15°],表示车牌在空间的主动旋转角度;
通过下述公式,确定所述第二坐标系变换矩阵:
其中,l为近裁平面左边界x坐标值;r为近裁平面右边界x坐标值;b为近裁平面下边界y坐标值;t为近裁平面上边界y坐标值;n为近裁平面z坐标值;f为远裁z坐标值。
6.根据权利要求1所述的方法,其特征在于,所述预设风格迁移深度神经网络模型为基于前向传播的风格迁移模型。
7.一种车牌图像的批量生成装置,其特征在于,包括:
数字车牌图像数据生成模块,用于根据真实车牌图像数据,生成数字车牌图像数据;
叠加车牌图像数据生成模块,用于在所述数字车牌图像数据随机加入泥土噪声,生成叠加车牌图像数据;
变换模块,用于对所述叠加车牌图像数据进行坐标系变换,生成目标坐标系数据;
目标车牌图像生成模块,用于根据随机真实车牌图像、预设风格迁移深度神经网络模型以及所述目标坐标系数据,生成目标车牌图像;
所述变换模块,用于:
根据所述叠加车牌图像数据,生成物体坐标系数据;
根据所述物体坐标系数据,计算第一坐标系变换矩阵,生成世界坐标系数据;
根据所述世界坐标系数据,计算第二坐标系变换矩阵;
根据所述物体坐标系数据、第一坐标系变换矩阵、第二坐标系变换矩阵以及预设投影变换矩阵,生成目标坐标系数据,所述目标坐标系为相机坐标系。
8.一种计算机设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行权利要求1-6中任一项所述的车牌图像的批量生成方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的车牌图像的批量生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011315205.0A CN112419186B (zh) | 2020-11-20 | 2020-11-20 | 一种车牌图像的批量生成方法、装置及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011315205.0A CN112419186B (zh) | 2020-11-20 | 2020-11-20 | 一种车牌图像的批量生成方法、装置及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112419186A CN112419186A (zh) | 2021-02-26 |
CN112419186B true CN112419186B (zh) | 2024-03-26 |
Family
ID=74776971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011315205.0A Active CN112419186B (zh) | 2020-11-20 | 2020-11-20 | 一种车牌图像的批量生成方法、装置及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112419186B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106169076A (zh) * | 2016-07-22 | 2016-11-30 | 中山大学 | 一种基于透视变换的角度车牌图像库搭建方法 |
CN109255772A (zh) * | 2018-08-27 | 2019-01-22 | 平安科技(深圳)有限公司 | 基于风格迁移的车牌图像生成方法、装置、设备及介质 |
CN110503716A (zh) * | 2019-08-12 | 2019-11-26 | 中国科学技术大学 | 一种机动车车牌合成数据生成方法 |
CN110689000A (zh) * | 2018-07-05 | 2020-01-14 | 山东华软金盾软件股份有限公司 | 一种基于生成复杂环境下车牌样本的车辆车牌识别方法 |
WO2020017829A1 (ko) * | 2018-07-16 | 2020-01-23 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 노이즈 패턴을 이용한 차량 번호판 이미지 생성 방법 및 그 장치 |
CN111784569A (zh) * | 2020-09-04 | 2020-10-16 | 平安国际智慧城市科技股份有限公司 | 成对车牌图像及车辆图像的生成方法、装置、介质及设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6828971B2 (en) * | 2001-04-12 | 2004-12-07 | Matsushita Electric Industrial Co., Ltd. | Animation data generation apparatus, animation data generation method, animated video generation apparatus, and animated video generation method |
TWI496090B (zh) * | 2012-09-05 | 2015-08-11 | Ind Tech Res Inst | 使用深度影像的物件定位方法與裝置 |
US10846845B2 (en) * | 2018-07-25 | 2020-11-24 | Fei Company | Training an artificial neural network using simulated specimen images |
-
2020
- 2020-11-20 CN CN202011315205.0A patent/CN112419186B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106169076A (zh) * | 2016-07-22 | 2016-11-30 | 中山大学 | 一种基于透视变换的角度车牌图像库搭建方法 |
CN110689000A (zh) * | 2018-07-05 | 2020-01-14 | 山东华软金盾软件股份有限公司 | 一种基于生成复杂环境下车牌样本的车辆车牌识别方法 |
WO2020017829A1 (ko) * | 2018-07-16 | 2020-01-23 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 노이즈 패턴을 이용한 차량 번호판 이미지 생성 방법 및 그 장치 |
CN109255772A (zh) * | 2018-08-27 | 2019-01-22 | 平安科技(深圳)有限公司 | 基于风格迁移的车牌图像生成方法、装置、设备及介质 |
CN110503716A (zh) * | 2019-08-12 | 2019-11-26 | 中国科学技术大学 | 一种机动车车牌合成数据生成方法 |
CN111784569A (zh) * | 2020-09-04 | 2020-10-16 | 平安国际智慧城市科技股份有限公司 | 成对车牌图像及车辆图像的生成方法、装置、介质及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112419186A (zh) | 2021-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111353969B (zh) | 道路可行驶区域的确定方法、装置及计算机设备 | |
KR101836304B1 (ko) | 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법과 장치 | |
US10429193B2 (en) | Method and apparatus for generating high precision map | |
CN104376552B (zh) | 一种3d模型与二维图像的虚实配准方法 | |
CN113819890B (zh) | 测距方法、装置、电子设备及存储介质 | |
CN113936139B (zh) | 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及*** | |
CN113610044B (zh) | 基于自注意力机制的4d毫米波三维目标检测方法及*** | |
CN111028350B (zh) | 一种利用双目立体相机构建栅格地图的方法 | |
CN112651881B (zh) | 图像合成方法、装置、设备、存储介质以及程序产品 | |
CN112052855A (zh) | 一种基于深度学习的车牌识别方法及装置 | |
KR20160088814A (ko) | 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법 | |
CN113763569A (zh) | 一种在三维仿真中使用的图像标注方法及装置、电子设备 | |
CN112419186B (zh) | 一种车牌图像的批量生成方法、装置及计算机设备 | |
CN116681965A (zh) | 一种目标检测模型的训练方法及目标检测方法 | |
CN115063759B (zh) | 一种三维车道线检测方法、装置、交通工具及存储介质 | |
CN114882085B (zh) | 一种基于单一立方体三维点云配准方法及*** | |
CN113902927A (zh) | 一种融合了图像与点云信息的综合信息处理方法 | |
CN114266879A (zh) | 三维数据增强、模型训练检测方法、设备及自动驾驶车辆 | |
CN114332186A (zh) | 一种无监督单视图船舶深度估计方法 | |
Du et al. | Validation of vehicle detection and distance measurement method using virtual vehicle approach | |
CN114419949B (zh) | 一种汽车后视镜影像重建方法及后视镜 | |
CN118097123B (zh) | 基于点云和图像的三维目标检测方法、***、设备和介质 | |
CN116958685A (zh) | 基于信息融合的目标检测方法、装置、设备及存储介质 | |
CN116883489A (zh) | 标志牌定位方法、电子设备和存储介质 | |
Liu et al. | An Algorithm on Monocular 3D Object Detection Based on Depth Estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |