CN114037986A - 一种用于智慧城市的车牌识别方法及装置 - Google Patents
一种用于智慧城市的车牌识别方法及装置 Download PDFInfo
- Publication number
- CN114037986A CN114037986A CN202111302470.XA CN202111302470A CN114037986A CN 114037986 A CN114037986 A CN 114037986A CN 202111302470 A CN202111302470 A CN 202111302470A CN 114037986 A CN114037986 A CN 114037986A
- Authority
- CN
- China
- Prior art keywords
- license plate
- layer
- feature extraction
- feature
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 73
- 230000004927 fusion Effects 0.000 claims abstract description 37
- 230000007246 mechanism Effects 0.000 claims abstract description 34
- 238000011176 pooling Methods 0.000 claims abstract description 32
- 230000004913 activation Effects 0.000 claims abstract description 21
- 230000003321 amplification Effects 0.000 claims abstract description 10
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 10
- 238000010586 diagram Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 11
- 101100323284 Mus musculus Ankrd27 gene Proteins 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013178 mathematical model Methods 0.000 claims description 4
- 238000011144 upstream manufacturing Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000010276 construction Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于智慧城市的车牌识别方法及装置，识别方法包括获取分割完成的车牌图像，获取训练好的车牌图像分类网络，利用重建子网对车牌图像进行超分辨率重建，利用分类子网对超分车牌图像进行分类等步骤。分类子网包括中部卷积层、残差特征提取单元、尾部全局平均池化层、尾部全连接层和尾部softmax激活层，重建子网包括头部卷积层、GMT特征提取机构、特征融合单元和图像放大单元。本发明将重建子网和分类子网连接在一起构成一个网络，重建子网重建后输出的图像最有利于低分辨率车牌识别，网络对低分辨率车牌识别准确率高，部署后运行速度也比常规的两步方法更快，能够更好地满足智慧城市的建设需要。
Description
技术领域
本发明属于人工智能技术领域，具体地说，涉及一种用于智慧城市的车牌识别方法及装置。
背景技术
随着人工智能、云计算、物联网和新一代信息技术的发展，智慧城市逐渐从概念转变为现实，为居民提供更加便捷完备的基础设施。依赖新型技术手段，使城市管理智能化，进一步调动政府、企业和市民的积极性，提升人民的安全感和幸福感。
智慧交通是智慧城市的重要组成部分，目前我国已经在道路上布设了大量监控探头，能够快速获取车牌、车型和驾驶员状态等信息，监督规范交通行为。在一些场景下，车辆距离监控探头比较远，车牌在采集到的图像中分辨率比较低，而现有的技术对低分辨率车牌识别准确率偏低，有待于进一步改进。
发明内容
针对现有技术中上述的不足，本发明提供一种用于智慧城市的车牌识别方法及装置，以提高对低分辨率车牌识别的准确率，满足智慧城市建设的需要。
为了达到上述目的，本发明采用的解决方案是：一种用于智慧城市的车牌识别方法，包括以下步骤：
S1、获取分割完成的车牌图像，获取训练好的车牌图像分类网络，所述车牌图像分类网络包括重建子网和分类子网，所述分类子网的输入端连接于所述重建子网的输出端；
S2、将所述车牌图像输入所述重建子网，利用所述重建子网对所述车牌图像进行超分辨率重建，获得分辨率大于所述车牌图像的超分车牌图像，然后将所述超分车牌图像输入所述分类子网，利用所述分类子网对所述超分车牌图像进行分类，以获取所述车牌图像中所包含的信息；
所述分类子网包括中部卷积层、残差特征提取单元、尾部全局平均池化层、尾部全连接层和尾部softmax激活层，多个所述残差特征提取单元首尾顺次连接，所述重建子网通过所述中部卷积层与所述残差特征提取单元连接，所述尾部全局平均池化层、所述尾部全连接层和所述尾部softmax激活层首尾顺次连接，所述尾部全局平均池化层的输入端连接于最后一个所述残差特征提取单元的输出端；
其中，所述残差特征提取单元包括四个首尾顺次连接的特征提取模块，第二个所述特征提取模块的输出端与第四个所述特征提取模块的输出端之间设有残差连接；所述特征提取模块包括顺次连接的分类3*3卷积层、BN层和分类ReLU激活层，每个所述残差特征提取单元中，第一个所述特征提取模块中分类3*3卷积层的步长为2，第二、第三和第四个所述特征提取模块中分类3*3卷积层的步长均为1。
进一步地，所述重建子网包括头部卷积层、GMT特征提取机构、特征融合单元和图像放大单元；
所述头部卷积层用于对所述车牌图像进行初步特征提取，输出得到浅层特征图；多个所述GMT特征提取机构首尾顺次连接，前一个GMT特征提取机构的输出作为后一个GMT特征提取机构的输入，所述GMT特征提取机构用于提取所述浅层特征图中的深层特征；所述特征融合单元用于将所述浅层特征图和所有所述GMT特征提取机构输出的特征图融合，然后生成输出中间特征图；所述图像放大单元用于对所述中间特征图进行超分辨率重建，输出得到超分车牌图像。
进一步地，所述特征融合单元包括多个融合模块，所述融合模块与所述GMT特征提取机构对应设置，第一个所述融合模块同时以所述浅层特征图和第一个GMT特征提取机构输出的特征图作为输入，下游的各个所述融合模块依次将对应的GMT特征提取机构输出的特征图与上游融合模块输出的特征图融合，最终输出得到中间特征图。
进一步地，所述融合模块可以用如下数学公式表示：
Gr＝σr1(fr1([(Ln+Fn),Ln,Fn]))
其中，Ln和Fn为所述融合模块的输入，Ln表示所述浅层特征图或上游融合模块输出的特征图，Fn表示与所述融合模块对应的GMT特征提取机构输出的特征图，fr1表示卷积核大小为1*1的卷积操作，σr1表示非线性激活函数ReLU，[·]表示对其中的特征图进行拼接操作，Gr为所述融合模块输出的特征图。
进一步地，所述GMT特征提取机构可以用如下数学模型表示：
G1＝[σ1(f31(NM-1)),σ2(f51(NM-1))]
G2＝σ3(f11(fc(G1)*G1))
G3＝[σ4(f32(G2)),σ5(f52(G2))]
G4＝σ6(f12(fs(G3,N0)*G3))
NM＝G4+NM-1
其中，NM-1为所述GMT特征提取机构的输入，f31和f32均表示卷积核大小为3*3的卷积操作，f51和f52表示卷积核大小为5*5的卷积操作，f11和f12均表示卷积核大小为1*1的卷积操作，σ1、σ2、σ3、σ4、σ5和σ6均表示非线性激活函数ReLU，[·]表示对其中的特征图进行拼接操作，fc()表示通道注意力模块，所述通道注意力模块以G1特征图作为输入，生成输出通道调制图，通道调制图与G1特征图相乘，为G1特征图不同的图层分配不同的权重参数，N0表示所述浅层特征图，fs()表示空间注意力模块，所述空间注意力模块同时以G3特征图和所述浅层特征图作为输入，生成输入空间调制图，空间调制图与G3特征图相乘，为G3特征图不同的通道分配不同的权重参数，NM为所述GMT特征提取机构输出的特征图。
进一步地，所述通道注意力模块包括第一支路、第二支路、第三支路和sigmoid激活层，所述第一支路、所述第二支路和所述第三支路均包括顺次连接的全局池化层、第一全连接层、ReLU激活层和第二全连接层；所述第一支路末端输出的第一调制图减去所述第二支路末端输出的第二调制图后，再与所述第三支路末端输出的第三调制图相加，生成融合调制图，最后所述融合调制图经过所述sigmoid激活层激活后，输出得到所述通道调制图；
其中，所述第一支路中全局池化层为全局中值池化操作，也就是计算特征图各个图层的中位数，所述第二支路中全局池化层为全局平均池化操作，所述第三支路中全局池化层为全局最大池化操作。
进一步地，所述空间注意力模块的数学模型为：
K＝σs(fs1([N0,G3]))
Ks＝δs(fs2([MeanP(K),VarP(K),MaxP(K)]))
其中，N0表示所述浅层特征图，N0和G3特征图同时作为所述空间注意力模块的输入，[·]表示对其中的特征图在通道方向上进行拼接操作，fs1和fs2均表示卷积核大小为1*1的卷积操作，σs表示ReLU激活函数，δs表示sigmoid激活函数，MeanP()表示对特征图在通道方向上做全局平均池化操作，VarP()表示对特征图在通道方向上做全局方差池化操作，也就是计算特征图各个通道的方差值，MaxP()表示对特征图在通道方向上做全局最大池化操作，Ks表示所述空间调制图。
在本发明中，除了部分做特别说明的卷积层和亚像素卷积层外，其余卷积操作过程中，步长均为1，卷积操作前后特征图长宽尺寸不变。
本发明还提供了一种用于智慧城市的车牌识别装置，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如上所述的用于智慧城市的车牌识别方法。
本发明的有益效果是：
(1)本发明将重建子网和分类子网连接在一起构成一个网络，训练时，先将分类子网训练完成，然后固定分类子网中的参数，对重建子网进行训练，训练完成后，重建子网重建后输出的图像最有利于低分辨率车牌识别，若采用常规的两步方法(即先利用单独的超分辨率网络重建低分辨率车牌图像，然后将重建后的车牌图像输入单独的分类网络)，超分重建过程中，会重建出更多对分类存在干扰的信息，重建后的图像对分类准确率提高幅度相对不大，而且模型部署后运行时间也比整体的一个模型更长；
(2)特征融合单元中设置了多个与GMT特征提取机构对应的融合模块，发明人根据自身实际工作经验，设计了融合模块内部结构，实现了多次逐步地融合网络中不同深度的特征，测试表明，这种融合方式显示出更强的抑制输入图像平滑区域的效果，实现了更高质量的超分图像重建，这对识别极低分辨率的车牌图像具有重要作用；
(3)GMT特征提取机构中采用了多通道特征提取结构，考虑到本发明的最终目的是对车牌图像进行分类识别，需要对部分区域特征进行重点学习，所以在GMT特征提取机构中设计了通道注意力模块和空间注意力模块，在测试过程中，实验人员创造性地发现，第一支路末端输出的第一调制图减去所述第二支路末端输出的第二调制图后，再与所述第三支路末端输出的第三调制图相加，比将三个支路输出的调制图同时相加具有更好的识别效果，本发明中的通道注意力模块具有显著的进步；
(4)为了对通道注意力模块调制后输出的特征图更好地调制，使得空间注意力模块的调制效果与通道注意力模块的调制效果互相促进，而不是互相抑制，本发明中，同时将G3特征图和浅层特征图作为空间注意力模块的输入，这样输入空间注意力模块的特征图中包含更多底层信息，与此配合地，在常规空间注意力模块中引入了全局方差池化操作，测试结果表明，采用本发明的空间注意力模块后，能够显著提升网络对低分辨率车牌图像的识别准确率。
附图说明
图1为本发明的车牌图像分类网络结构示意图；
图2为图1所示车牌图像分类网络中融合模块的结构示意图；
图3为图1所示车牌图像分类网络中GMT特征提取机构的内部结构示意图；
图4为图1所示车牌图像分类网络中通道注意力模块的内部结构示意图；
图5为图1所示车牌图像分类网络中空间注意力模块的内部结构示意图；
图6为图1所示车牌图像分类网络中图像放大单元的内部结构示意图；
图7为图1所示车牌图像分类网络中残差特征提取单元内部结构示意图；
附图中：
1-车牌图像，2-重建子网，21-头部卷积层，22-GMT特征提取机构，23-特征融合单元，24-图像放大单元，25-融合模块，26-通道注意力模块，261-第一支路，262-第二支路，263-第三支路，27-空间注意力模块，3-分类子网，4-残差特征提取单元，41-分类3*3卷积层，42-BN层，43-分类ReLU激活层，44-特征提取模块，5-尾部全局平均池化层，6-尾部全连接层，7-尾部softmax激活层，8-中部卷积层。
具体实施方式
以下结合附图对本发明作进一步描述：
实施例1：
借助深度学习框架，按照图1所示的结构搭建车牌图像1分类网络，本实施例中设置了六个GMT特征提取机构22和五个残差特征提取单元4。头部卷积层21和中部卷积层8均是卷积核大小为3*3的卷积层，融合模块25的结构如图2所示，GMT特征提取机构22的内部结构如图3所示，通道注意力模块26的内部结构如图4所示，空间注意力模块27的内部结构如图5所示，图像放大单元24采用现有的技术实现，其内部结构如图6所示，包括顺次连接的3*3卷积层，亚像素卷积层和第二个3*3卷积层，本实施例中图像放大单元24将图像长宽尺寸放大8倍。残差特征提取单元4内部结构如图7所示。
输入网络的车牌图像1，经过头部卷积层21后，获得通道数量为48的浅层特征图。对于输入GMT特征提取机构22的特征图，先分别通过两个卷积核大小不同的卷积操作，均输出通道数量为48的特征图，拼接后得到通道数量为96的G1特征图，经过通道注意力模块26调制后降维，得到通道数量为48的G2特征图。然后再次通过两个卷积核大小不同的卷积操作，拼接得到通道数量为96的G3特征图，经过空间注意力模块27调制并降维，输出通道数量为48的特征图，该特征图与输入GMT特征提取机构22的特征图相加后，作为GMT特征提取机构22的输出。
特征融合单元23包括多个融合模块25，对于输入融合模块25的两个特征图先通过相加融合，然后再与第一次融合的特征图拼接，经过降维输出通道数量为48的Gr特征图。对于输入通道注意力模块26的特征图，经过全局池化层、第一全连接层、ReLU激活层和第二全连接层后，第一支路261、第二支路262和第三支路263输出的调制图长度均为96。对于第一全连接层，输入元素个数为96，输出元素个数为24，对于第二全连接层，输入元素个数为24，输出元素个数为96。对于输入空间注意力模块27的两个特征图，经过拼接降维后，获得通道数量为48的特征图，然后在通道方向上做全局池化，将得到的三个调制图拼接，并降维为通道为1的空间调制图，最后利用sigmoid函数激活。对于图像放大单元24，输出的超分车牌图像通道数量为3，经过中部卷积层8后，通道数量提升为32。
特征提取模块44包括顺次连接的分类3*3卷积层41，BN层42，分类ReLU激活层43，对于输入每个残差特征提取单元4的特征图，经过第一个特征提取模块44的3*3卷积层后，特征图的长宽尺寸减小一半，通道数量便于原来的两倍。特征图经过后面第二、第三和第四个特征提取模块44的3*3卷积层后，特征图长宽尺寸和通道数量均保持不变。为了使网络能够适应不同大小的输入，本发明设置了尾部全局平均池化层5，对特征图空间方向进行全局平均池化操作，这样输入尾部全连接层6的元素个数固定为1024，尾部全连接层6输出元素个数则与需要分类的总数相同，最后经过尾部softmax激活层7激活。
在本发明中，输入车牌图像分类网络的车牌图像1是经过分割处理后的图像，输入车牌图像分类网络的每个图像中只包含一个汉字、字母或数字信息。模型训练前，先收集处理制作需要的车牌图像1数据集，数据集被划分为训练集A、训练集B和测试集，原始获得的数据集图像为高分辨率图像，通过对车牌图像1下采样获得对应的低分辨率车牌图像1。训练时，先去掉重建子网2部分，利用训练集A中的高分辨率图像单独训练分类子网3部分，损失函数采用交叉熵。分类子网3训练完成后，把重建子网2与分类子网3连接在一起，将训练好的分类子网3中参数固定，然后利用训练集A和训练集B中的低分辨率图像训练车牌图像分类网络，以更新重建子网2中的参数。训练过程中，损失函数同样为交叉熵，epoch设置为1500，学习率固定设置为0.0001，batch-size为8。模型训练完成后，利用测试集中低分辨率图像进行测试，结果显示，本发明对低分辨率车牌图像1的识别正确率为98.2％，说明本发明所提供的方法能够以较高准确率地识别低分辨率车牌图像1，满足智慧城市的实际需要。
实施例2：
为了体现通道注意力模块26和空间注意力模块27的作用，在实施例2中设置了对比实验。在实施例1的基础上单独去除GMT特征提取机构22中空间注意力模块27，作为实施例2A。在实施例1的基础上去除GMT特征提取机构22中空间注意力模块27和通道注意力模块26，作为实施例2B。保证实施过程、数据集、batch-size和epoch等条件完全相同的情况下进行对比实验，实验结果如下表所示：
从以上结果可以看出，设置空间注意力模块27和通道注意力模块26均有助于提高对低分辨率车牌的识别准确率。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (8)
1.一种用于智慧城市的车牌识别方法，其特征是：包括以下步骤：
S1、获取分割完成的车牌图像，获取训练好的车牌图像分类网络，所述车牌图像分类网络包括重建子网和分类子网，所述分类子网的输入端连接于所述重建子网的输出端；
S2、将所述车牌图像输入所述重建子网，利用所述重建子网对所述车牌图像进行超分辨率重建，获得分辨率大于所述车牌图像的超分车牌图像，然后将所述超分车牌图像输入所述分类子网，利用所述分类子网对所述超分车牌图像进行分类，以获取所述车牌图像中所包含的信息；
所述分类子网包括中部卷积层、残差特征提取单元、尾部全局平均池化层、尾部全连接层和尾部softmax激活层，多个所述残差特征提取单元首尾顺次连接，所述重建子网通过所述中部卷积层与所述残差特征提取单元连接，所述尾部全局平均池化层、所述尾部全连接层和所述尾部softmax激活层首尾顺次连接，所述尾部全局平均池化层的输入端连接于最后一个所述残差特征提取单元的输出端；
其中，所述残差特征提取单元包括四个首尾顺次连接的特征提取模块，第二个所述特征提取模块的输出端与第四个所述特征提取模块的输出端之间设有残差连接；所述特征提取模块包括顺次连接的分类3*3卷积层、BN层和分类ReLU激活层，每个所述残差特征提取单元中，第一个所述特征提取模块中分类3*3卷积层的步长为2，第二、第三和第四个所述特征提取模块中分类3*3卷积层的步长均为1。
2.根据权利要求1所述的用于智慧城市的车牌识别方法，其特征是：所述重建子网包括头部卷积层、GMT特征提取机构、特征融合单元和图像放大单元；
所述头部卷积层用于对所述车牌图像进行初步特征提取，输出得到浅层特征图；多个所述GMT特征提取机构首尾顺次连接，所述GMT特征提取机构用于提取所述浅层特征图中的深层特征；所述特征融合单元用于将所述浅层特征图和所有所述GMT特征提取机构输出的特征图融合，然后生成输出中间特征图；所述图像放大单元用于对所述中间特征图进行超分辨率重建，输出得到超分车牌图像。
3.根据权利要求2所述的用于智慧城市的车牌识别方法，其特征是：所述特征融合单元包括多个融合模块，所述融合模块与所述GMT特征提取机构对应设置，第一个所述融合模块同时以所述浅层特征图和第一个GMT特征提取机构输出的特征图作为输入，下游的各个所述融合模块依次将对应的GMT特征提取机构输出的特征图与上游融合模块输出的特征图融合，最终输出得到中间特征图。
4.根据权利要求3所述的用于智慧城市的车牌识别方法，其特征是：所述融合模块可以用如下数学公式表示：
Gr＝σr1(fr1([(Ln+Fn),Ln,Fn]))
其中，Ln和Fn为所述融合模块的输入，Ln表示所述浅层特征图或上游融合模块输出的特征图，Fn表示与所述融合模块对应的GMT特征提取机构输出的特征图，fr1表示卷积核大小为1*1的卷积操作，σr1表示非线性激活函数ReLU，[·]表示对其中的特征图进行拼接操作，Gr为所述融合模块输出的特征图。
5.根据权利要求2所述的用于智慧城市的车牌识别方法，其特征是：所述GMT特征提取机构可以用如下数学模型表示：
G1＝[σ1(f31(NM-1)),σ2(f51(NM-1))]
G2＝σ3(f11(fc(G1)*G1))
G3＝[σ4(f32(G2)),σ5(f52(G2))]
G4＝σ6(f12(fs(G3,N0)*G3))
NM＝G4+NM-1
其中，NM-1为所述GMT特征提取机构的输入，f31和f32均表示卷积核大小为3*3的卷积操作，f51和f52表示卷积核大小为5*5的卷积操作，f11和f12均表示卷积核大小为1*1的卷积操作，σ1、σ2、σ3、σ4、σ5和σ6均表示非线性激活函数ReLU，[·]表示对其中的特征图进行拼接操作，fc()表示通道注意力模块，所述通道注意力模块以G1特征图作为输入，生成输出通道调制图，N0表示所述浅层特征图，fs()表示空间注意力模块，所述空间注意力模块同时以G3特征图和所述浅层特征图作为输入，生成输入空间调制图，NM为所述GMT特征提取机构输出的特征图。
6.根据权利要求5所述的用于智慧城市的车牌识别方法，其特征是：所述通道注意力模块包括第一支路、第二支路、第三支路和sigmoid激活层，所述第一支路、所述第二支路和所述第三支路均包括顺次连接的全局池化层、第一全连接层、ReLU激活层和第二全连接层；所述第一支路末端输出的第一调制图减去所述第二支路末端输出的第二调制图后，再与所述第三支路末端输出的第三调制图相加，生成融合调制图，最后所述融合调制图经过所述sigmoid激活层激活后，输出得到所述通道调制图；
其中，所述第一支路中全局池化层为全局中值池化操作，所述第二支路中全局池化层为全局平均池化操作，所述第三支路中全局池化层为全局最大池化操作。
7.根据权利要求6所述的用于智慧城市的车牌识别方法，其特征是：所述空间注意力模块的数学模型为：
K＝σs(fs1([N0,G3]))
Ks＝δs(fs2([MeanP(K),VarP(K),MaxP(K)]))
其中，N0表示所述浅层特征图，N0和G3特征图同时作为所述空间注意力模块的输入，[·]表示对其中的特征图在通道方向上进行拼接操作，fs1和fs2均表示卷积核大小为1*1的卷积操作，σs表示ReLU激活函数，δs表示sigmoid激活函数，MeanP()表示对特征图在通道方向上做全局平均池化操作，VarP()表示对特征图在通道方向上做全局方差池化操作，MaxP()表示对特征图在通道方向上做全局最大池化操作，Ks表示所述空间调制图。
8.一种用于智慧城市的车牌识别装置，包括处理器和存储器，所述存储器储存有计算机程序，其特征是：所述处理器通过加载所述计算机程序，用于执行如权利要求1至7任一项所述的用于智慧城市的车牌识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111302470.XA CN114037986A (zh) | 2021-11-04 | 2021-11-04 | 一种用于智慧城市的车牌识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111302470.XA CN114037986A (zh) | 2021-11-04 | 2021-11-04 | 一种用于智慧城市的车牌识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114037986A true CN114037986A (zh) | 2022-02-11 |
Family
ID=80136371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111302470.XA Pending CN114037986A (zh) | 2021-11-04 | 2021-11-04 | 一种用于智慧城市的车牌识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114037986A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549962A (zh) * | 2022-03-07 | 2022-05-27 | 重庆锐云科技有限公司 | 一种园林植物叶病分类方法 |
| CN115358931A (zh) * | 2022-10-20 | 2022-11-18 | 运易通科技有限公司 | 一种用于仓库物流***的图像重建方法及设备 |
| CN115546779A (zh) * | 2022-11-26 | 2022-12-30 | 成都运荔枝科技有限公司 | 一种物流货车车牌识别方法及设备 |
| CN115690853A (zh) * | 2022-12-30 | 2023-02-03 | 广州蚁窝智能科技有限公司 | 手势识别方法及电动卫生罩启闭控制*** |
| CN117853738A (zh) * | 2024-03-06 | 2024-04-09 | 贵州健易测科技有限公司 | 一种用于对茶叶分级的图像处理方法及设备 |
-
2021
- 2021-11-04 CN CN202111302470.XA patent/CN114037986A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549962A (zh) * | 2022-03-07 | 2022-05-27 | 重庆锐云科技有限公司 | 一种园林植物叶病分类方法 |
| CN114549962B (zh) * | 2022-03-07 | 2024-06-21 | 重庆锐云科技有限公司 | 一种园林植物叶病分类方法 |
| CN115358931A (zh) * | 2022-10-20 | 2022-11-18 | 运易通科技有限公司 | 一种用于仓库物流***的图像重建方法及设备 |
| CN115358931B (zh) * | 2022-10-20 | 2023-01-03 | 运易通科技有限公司 | 一种用于仓库物流***的图像重建方法及设备 |
| CN115546779A (zh) * | 2022-11-26 | 2022-12-30 | 成都运荔枝科技有限公司 | 一种物流货车车牌识别方法及设备 |
| CN115546779B (zh) * | 2022-11-26 | 2023-02-07 | 成都运荔枝科技有限公司 | 一种物流货车车牌识别方法及设备 |
| CN115690853A (zh) * | 2022-12-30 | 2023-02-03 | 广州蚁窝智能科技有限公司 | 手势识别方法及电动卫生罩启闭控制*** |
| CN115690853B (zh) * | 2022-12-30 | 2023-04-28 | 广州蚁窝智能科技有限公司 | 手势识别方法及电动卫生罩启闭控制*** |
| CN117853738A (zh) * | 2024-03-06 | 2024-04-09 | 贵州健易测科技有限公司 | 一种用于对茶叶分级的图像处理方法及设备 |
| CN117853738B (zh) * | 2024-03-06 | 2024-05-10 | 贵州健易测科技有限公司 | 一种用于对茶叶分级的图像处理方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114037986A (zh) | 一种用于智慧城市的车牌识别方法及装置 | |
| CN111369563B (zh) | 一种基于金字塔空洞卷积网络的语义分割方法 | |
| CN110084274B (zh) | 实时图像语义分割方法及***、可读存储介质和终端 | |
| CN112651973A (zh) | 基于特征金字塔注意力和混合注意力级联的语义分割方法 | |
| CN111524135A (zh) | 基于图像增强的输电线路细小金具缺陷检测方法及*** | |
| DE102018117813A1 (de) | Zeitlich stabile Datenrekonstruktion mit einem externen rekurrenten neuronalen Netzwerk | |
| CN109285162A (zh) | 一种基于局部区域条件随机场模型的图像语义分割方法 | |
| CN112381097A (zh) | 一种基于深度学习的场景语义分割方法 | |
| CN111523546A (zh) | 图像语义分割方法、***及计算机存储介质 | |
| CN113344188A (zh) | 基于通道注意力模块的轻量级神经网络模型 | |
| CN112489050A (zh) | 一种基于特征迁移的半监督实例分割算法 | |
| CN109447897B (zh) | 一种真实场景图像合成方法及*** | |
| DE102019130311A1 (de) | Transponierte schwachbesetzte matrix multipliziert mit dichtbesetzter matrix für ein training neuronaler netzwerke | |
| CN107784303A (zh) | 车牌识别方法及装置 | |
| CN110097110B (zh) | 一种基于目标优化的语义图像修复方法 | |
| CN108229300A (zh) | 视频分类方法、装置、计算机可读存储介质和电子设备 | |
| CN111382759A (zh) | 一种像素级分类方法、装置、设备及存储介质 | |
| CN109993806A (zh) | 一种颜色识别方法、装置及电子设备 | |
| CN117197763A (zh) | 基于交叉注意引导特征对齐网络的道路裂缝检测方法和*** | |
| KR20230073751A (ko) | 레이아웃 기반의 동일 화풍 영상 생성 시스템 및 방법 | |
| CN114882524A (zh) | 一种基于全卷积神经网络的单目三维手势估计方法 | |
| CN109711269A (zh) | 一种基于3d卷积谱空特征融合的高光谱图像分类算法 | |
| CN115546031A (zh) | 一种用于仓库顶棚检查的图像增强方法及装置 | |
| CN114544172A (zh) | 基于深度置信网络的旋转机械故障诊断方法、***及介质 | |
| CN113436198A (zh) | 一种协同图像超分辨率重建的遥感图像语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |