CN117912003A - 基于深度学习的车牌识别方法及*** - Google Patents
基于深度学习的车牌识别方法及*** Download PDFInfo
- Publication number
- CN117912003A CN117912003A CN202410086770.6A CN202410086770A CN117912003A CN 117912003 A CN117912003 A CN 117912003A CN 202410086770 A CN202410086770 A CN 202410086770A CN 117912003 A CN117912003 A CN 117912003A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- license plate
- illumination
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000005286 illumination Methods 0.000 claims abstract description 167
- 238000012937 correction Methods 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000003702 image correction Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 17
- 125000006850 spacer group Chemical group 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 description 48
- 238000004590 computer program Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度学习的车牌识别方法及***，该方法包括：获取各样本车牌在预设光照信息照射下的图像得到样本光照图像，对各样本光照图像进行图像增强得到样本增强图像；基于样本增强图像确定模型分类损失；对各样本增强图像进行矫正得到样本矫正图像；根据各样本矫正图像的光照像素特征、像素关联特征和轮廓特征计算模型特征损失确定模型预测损失；根据模型预测损失、模型特征损失和模型分类损失对车牌识别模型进行模型训练；将待识别车牌图像输入模型训练后的车牌识别模型进行识别得到输出车牌。本发明实施例中，车牌识别模型能有效地学习到样本矫正图像中的光照信息、关联信息和轮廓信息，提高了车牌识别模型的车牌识别的准确性。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于深度学习的车牌识别方法及***。
背景技术
车牌识别是计算机视频图像识别技术在车辆牌照识别中的一种应用。车牌识别在高速公路车辆管理中得到广泛应用，在停车场管理中，车牌识别技术也是识别车辆身份的主要手段。然而数据量的不断增大对快速准确识别车牌内容提出了新的挑战。
现有的车牌识别过程中，一般是基于车牌样本图像的轮廓特征对车牌识别模型进行模型训练，但由于模型训练过程中特征种类单一，使得训练后的车牌识别模型的车牌识别准确性低下。
发明内容
本发明实施例的目的在于提供一种基于深度学习的车牌识别方法及***，旨在解决现有的车牌识别准确性低下的问题。
本发明实施例是这样实现的，一种基于深度学习的车牌识别方法，所述方法包括：
获取各样本车牌在预设光照信息照射下的图像，得到样本光照图像，并对各样本光照图像进行图像增强，得到样本增强图像；
将各样本增强图像输入车牌识别模型中的分类网络进行光照分类，并根据光照分类结果确定模型分类损失；
根据各样本增强图像的标注类别，将各样本增强图像输入所述车牌识别模型中对应的特征识别通道；
根据所述特征识别通道获取各样本增强图像的间隔符坐标和角点坐标，并根据所述间隔符坐标和所述角点坐标生成角点定位线；
根据各角点定位线的长度和位置确定图像矫正角度，并根据所述图像矫正角度对各样本增强图像进行矫正，得到样本矫正图像；
分别提取各样本矫正图像的光照像素特征、像素关联特征和轮廓特征，并根据所述光照像素特征、所述像素关联特征和所述轮廓特征生成样本特征矩阵；
根据各样本矫正图像对应的样本车牌的标准特征矩阵和所述样本特征矩阵计算模型特征损失，并分别对各样本增强图像进行遮挡处理，得到样本遮挡图像；
将各样本遮挡图像输入所述车牌识别模型中的遮挡预测网络进行图像生成，得到样本生成图像，并对各样本生成图像进行图像判别，得到判别结果；
根据各样本生成图像与对应的样本增强图像之间的图像相似度生成样本判别信息，并根据所述判别结果和所述样本判别信息计算模型预测损失；
根据所述模型预测损失、所述模型特征损失和所述模型分类损失计算模型总损失，并根据所述模型总损失对所述车牌识别模型进行模型训练；
将待识别车牌图像输入模型训练后的所述车牌识别模型进行识别，得到输出车牌。
优选的，所述分别提取各样本矫正图像的光照像素特征、像素关联特征和轮廓特征，包括：
根据所述特征识别通道中的第一编码层对各样本矫正图像进行图像卷积，得到所述光照像素特征；
根据所述特征识别通道中的第二编码层对各样本矫正图像进行二值化处理，得到二值化图像，并对所述二值化图像进行轮廓提取，得到所述轮廓特征；
获取所述预设光照信息中的光源相对位置、光照角度、光照颜色和光照强度；
针对各样本矫正图像，根据对应的所述光源相对位置、所述光照角度和所述光照强度确定目标关联信息，所述目标关联信息包括待提取的关联区域位置、关联区域形状和关联提取顺序；
根据各关联区域位置和各关联区域形状对相对应的样本矫正图像进行特征提取，得到图像提取特征，并根据所述提取顺序信息对各图像提取特征进行特征组合，得到所述像素关联特征。
优选的，所述将各样本增强图像输入车牌识别模型中的分类网络进行光照分类，包括：
根据各样本增强图像对应的所述预设光照信息中的光照角度、光照颜色和光照强度，确定目标颜色簇群；
根据所述分类网络分别对各样本增强图像进行采样，得到采样图像，并根据各采样图像确定对应的样本增强图像的采样像素；
分别计算各样本增强图像的采样像素与对应的目标颜色簇群中各颜色簇之间的颜色距离；
针对各样本增强图像，根据最小颜色距离对应的颜色簇确定分类标识，并根据所述分类标识对各样本增强图像进行光照分类。
优选的，所述将待识别车牌图像输入模型训练后的所述车牌识别模型进行识别，得到输出车牌，包括：
将所述待识别车牌图像输入模型训练后的所述车牌识别模型，并根据模型训练后的所述车牌识别模型中的遮挡预测网络对所述待识别车牌图像进行图像生成，得到车牌生成图像；
根据模型训练后的所述车牌识别模型中的分类网络对所述车牌生成图像进行光照分类，得到光照类别，并根据所述光照类别确定模型训练后的所述车牌识别模型中各特征识别通道中的目标识别通道；
根据所述目标识别通道对所述车牌生成图像进行矫正，并对矫正后的车牌生成图像进行车牌识别，得到所述输出车牌。
本发明实施例的另一目的在于提供一种基于深度学习的车牌识别***，所述***包括：
车牌照射模块，用于获取各样本车牌在预设光照信息照射下的图像，得到样本光照图像，并对各样本光照图像进行图像增强，得到样本增强图像；
光照分类模块，用于将各样本增强图像输入车牌识别模型中的分类网络进行光照分类，并根据光照分类结果确定模型分类损失；
图像矫正模块，用于根据各样本增强图像的标注类别，将各样本增强图像输入所述车牌识别模型中对应的特征识别通道；
根据所述特征识别通道获取各样本增强图像的间隔符坐标和角点坐标，并根据所述间隔符坐标和所述角点坐标生成角点定位线；
根据各角点定位线的长度和位置确定图像矫正角度，并根据所述图像矫正角度对各样本增强图像进行矫正，得到样本矫正图像；
特征提取模块，用于分别提取各样本矫正图像的光照像素特征、像素关联特征和轮廓特征，并根据所述光照像素特征、所述像素关联特征和所述轮廓特征生成样本特征矩阵；
根据各样本矫正图像对应的样本车牌的标准特征矩阵和所述样本特征矩阵计算模型特征损失；
预测损失模块，用于分别对各样本增强图像进行遮挡处理，得到样本遮挡图像；
将各样本遮挡图像输入所述车牌识别模型中的遮挡预测网络进行图像生成，得到样本生成图像，并对各样本生成图像进行图像判别，得到判别结果；
根据各样本生成图像与对应的样本增强图像之间的图像相似度生成样本判别信息，并根据所述判别结果和所述样本判别信息计算模型预测损失；
模型训练模块，用于根据所述模型预测损失、所述模型特征损失和所述模型分类损失计算模型总损失，并根据所述模型总损失对所述车牌识别模型进行模型训练；
车牌识别模块，用于将待识别车牌图像输入模型训练后的所述车牌识别模型进行识别，得到输出车牌。
本发明实施例的另一目的在于提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
本发明实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本发明实施例，通过将光照像素特征、像素关联特征和轮廓特征进行组合，得到样本特征矩阵，基于样本特征矩阵，使得车牌识别模型能有效地学习到样本矫正图像中的光照信息、关联信息和轮廓信息，提高了训练后车牌识别模型的车牌识别的准确性。
附图说明
图1是本发明第一实施例提供的基于深度学习的车牌识别方法的流程图；
图2是本发明第二实施例提供的基于深度学习的车牌识别***的结构示意图；
图3是本发明第三实施例提供的终端设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一
请参阅图1，是本发明第一实施例提供的基于深度学习的车牌识别方法的流程图，该基于深度学习的车牌识别方法可以应用于任一终端设备或***，该基于深度学习的车牌识别方法包括步骤：
步骤S10，获取各样本车牌在预设光照信息照射下的图像，得到样本光照图像，并对各样本光照图像进行图像增强，得到样本增强图像；
其中，该预设光照信息可以根据需求进行设置，该预设光照信息包括光源相对位置、光照角度、光照颜色和光照强度，光源相对位置用于表示光源与样本车牌之间的距离，光照角度包括光源与样本车牌之间的夹角和光照范围。
可选的，该步骤中，可以采用图像拼接或图像转动等方式对各样本光照图像进行图像增强，得到样本增强图像。
步骤S20，将各样本增强图像输入车牌识别模型中的分类网络进行光照分类，并根据光照分类结果确定模型分类损失；
其中，该分类网络可以采用二分类的卷积神经网络，该分类网络用于对样本增强图像对应车牌的底色进行分类，以区分车牌种类，该车牌种类包括蓝牌车牌（燃油汽车）和绿牌车牌（新能源汽车）。
可选的，该步骤中，所述将各样本增强图像输入车牌识别模型中的分类网络进行光照分类，包括：
根据各样本增强图像对应的所述预设光照信息中的光照角度、光照颜色和光照强度，确定目标颜色簇群；
根据所述分类网络分别对各样本增强图像进行采样，得到采样图像，并根据各采样图像确定对应的样本增强图像的采样像素；
分别计算各样本增强图像的采样像素与对应的目标颜色簇群中各颜色簇之间的颜色距离；
针对各样本增强图像，根据最小颜色距离对应的颜色簇确定分类标识，并根据所述分类标识对各样本增强图像进行光照分类；
其中，将预设光照信息中的光照角度、光照颜色和光照强度与预存储的簇群查询表进行匹配，以确定目标颜色簇群，该簇群查询表中存储有不同光照角度、光照颜色和光照强度与对应目标颜色簇群之间的对应关系；
该步骤中，计算各采样图像之间的平均像素，将平均像素设置为对应的样本增强图像的采样像素，针对各样本增强图像，将最小颜色距离对应的颜色簇的标识确定为分类标识，该颜色簇的标识表示颜色簇对应的车牌种类。
步骤S30，根据各样本增强图像的标注类别，将各样本增强图像输入所述车牌识别模型中对应的特征识别通道；
其中，该标注类别为人工标注信息，该标注类别用于表征对应特征识别通道的通道编号，该车牌识别模型中存储有多个特征识别通道，每个特征识别通道用于对指定范围内的预设光照信息对应的样本增强图像进行深度学习，该指定范围可以为指定的光源相对位置、光照角度、光照颜色和/或光照强度。
步骤S40，根据所述特征识别通道获取各样本增强图像的间隔符坐标和角点坐标，并根据所述间隔符坐标和所述角点坐标生成角点定位线；
其中，该间隔符坐标为车牌间隔符在样本增强图像中的坐标，该角点坐标为车牌在样本增强图像中顶角的坐标，将各样本增强图像中的车牌间隔符和顶角进行连接，生成角点定位线。
步骤S50，根据各角点定位线的长度和位置确定图像矫正角度，并根据所述图像矫正角度对各样本增强图像进行矫正，得到样本矫正图像；
其中，将角点定位线的长度和位置与矫正角度查询表进行匹配，得到该图像矫正角度，该矫正角度查询表中存储有不同角点定位线的长度和位置与对应图像矫正角度之间的对应关系。
步骤S60，分别提取各样本矫正图像的光照像素特征、像素关联特征和轮廓特征，并根据所述光照像素特征、所述像素关联特征和所述轮廓特征生成样本特征矩阵；
其中，该光照像素特征用于表征样本矫正图像中各像素的像素值，该像素关联特征用于表征样本矫正图像中相关联的像素之间的像素特征，该轮廓特征用于表征样本矫正图像中车牌的轮廓；
可选的，该步骤中，所述分别提取各样本矫正图像的光照像素特征、像素关联特征和轮廓特征，包括：
根据所述特征识别通道中的第一编码层对各样本矫正图像进行图像卷积，得到所述光照像素特征；
根据所述特征识别通道中的第二编码层对各样本矫正图像进行二值化处理，得到二值化图像，并对所述二值化图像进行轮廓提取，得到所述轮廓特征；
获取所述预设光照信息中的光源相对位置、光照角度、光照颜色和光照强度；
针对各样本矫正图像，根据对应的所述光源相对位置、所述光照角度和所述光照强度确定目标关联信息；其中，目标关联信息包括待提取的关联区域位置、关联区域形状和关联提取顺序，该步骤中，将光源相对位置、光照角度和光照强度与预存储的关联查询表进行匹配，得到该目标关联信息，该关联查询表中存储有不同光源相对位置、光照角度和光照强度与对应目标关联信息之间的对应关系；
根据各关联区域位置和各关联区域形状对相对应的样本矫正图像进行特征提取，得到图像提取特征，并根据所述提取顺序信息对各图像提取特征进行特征组合，得到所述像素关联特征；其中，该特征组合可以采用矩阵特征组合或向量特征组合的方式进行组合。
步骤S70，根据各样本矫正图像对应的样本车牌的标准特征矩阵和所述样本特征矩阵计算模型特征损失，并分别对各样本增强图像进行遮挡处理，得到样本遮挡图像；
其中，通过对样本增强图像随机进行遮挡，以达到对样本增强图像的遮挡处理效果，得到样本遮挡图像。
步骤S80，将各样本遮挡图像输入所述车牌识别模型中的遮挡预测网络进行图像生成，得到样本生成图像，并对各样本生成图像进行图像判别，得到判别结果；
其中，通过遮挡预测网络中的生成网络对遮挡预测网络进行图像生成，得到样本生成图像，通过遮挡预测网络中的判别网络对各样本生成图像进行图像判别，得到判别结果。
步骤S90，根据各样本生成图像与对应的样本增强图像之间的图像相似度生成样本判别信息，并根据所述判别结果和所述样本判别信息计算模型预测损失；
其中，若图像相似度大于相似度阈值，则判定样本生成图像与对应的样本增强图像之间属于同一张图片，若图像相似度小于或等于相似度阈值，则判定样本生成图像与对应的样本增强图像之间不属于同一张图片，该相似度阈值可以根据需求进行设置。
步骤S100，根据所述模型预测损失、所述模型特征损失和所述模型分类损失计算模型总损失，并根据所述模型总损失对所述车牌识别模型进行模型训练；
其中，通过对模型预测损失、模型特征损失和模型分类损失进行权重值计算，得到该模型总损失。
步骤S110，将待识别车牌图像输入模型训练后的所述车牌识别模型进行识别，得到输出车牌；
可选的，该步骤中，所述将待识别车牌图像输入模型训练后的所述车牌识别模型进行识别，得到输出车牌，包括：
将所述待识别车牌图像输入模型训练后的所述车牌识别模型，并根据模型训练后的所述车牌识别模型中的遮挡预测网络对所述待识别车牌图像进行图像生成，得到车牌生成图像；
根据模型训练后的所述车牌识别模型中的分类网络对所述车牌生成图像进行光照分类，得到光照类别，并根据所述光照类别确定模型训练后的所述车牌识别模型中各特征识别通道中的目标识别通道；
根据所述目标识别通道对所述车牌生成图像进行矫正，并对矫正后的车牌生成图像进行车牌识别，得到所述输出车牌。
本实施例中，通过将光照像素特征、像素关联特征和轮廓特征进行组合，得到样本特征矩阵，基于样本特征矩阵，使得车牌识别模型能有效地学习到样本矫正图像中的光照信息、关联信息和轮廓信息，提高了训练后车牌识别模型的车牌识别的准确性。
实施例二
请参阅图2，是本发明第二实施例提供的基于深度学习的车牌识别***100的结构示意图，包括：车牌照射模块10、光照分类模块11、图像矫正模块12、特征提取模块13、预测损失模块14、模型训练模块15和车牌识别模块16，其中：
车牌照射模块10，用于获取各样本车牌在预设光照信息照射下的图像，得到样本光照图像，并对各样本光照图像进行图像增强，得到样本增强图像。
光照分类模块11，用于将各样本增强图像输入车牌识别模型中的分类网络进行光照分类，并根据光照分类结果确定模型分类损失。
可选的，所述光照分类模块11还用于：根据各样本增强图像对应的所述预设光照信息中的光照角度、光照颜色和光照强度，确定目标颜色簇群；
根据所述分类网络分别对各样本增强图像进行采样，得到采样图像，并根据各采样图像确定对应的样本增强图像的采样像素；
分别计算各样本增强图像的采样像素与对应的目标颜色簇群中各颜色簇之间的颜色距离；
针对各样本增强图像，根据最小颜色距离对应的颜色簇确定分类标识，并根据所述分类标识对各样本增强图像进行光照分类。
图像矫正模块12，用于根据各样本增强图像的标注类别，将各样本增强图像输入所述车牌识别模型中对应的特征识别通道；
根据所述特征识别通道获取各样本增强图像的间隔符坐标和角点坐标，并根据所述间隔符坐标和所述角点坐标生成角点定位线；
根据各角点定位线的长度和位置确定图像矫正角度，并根据所述图像矫正角度对各样本增强图像进行矫正，得到样本矫正图像。
特征提取模块13，用于分别提取各样本矫正图像的光照像素特征、像素关联特征和轮廓特征，并根据所述光照像素特征、所述像素关联特征和所述轮廓特征生成样本特征矩阵；
根据各样本矫正图像对应的样本车牌的标准特征矩阵和所述样本特征矩阵计算模型特征损失。
可选的，所述特征提取模块13还用于：根据所述特征识别通道中的第一编码层对各样本矫正图像进行图像卷积，得到所述光照像素特征；
根据所述特征识别通道中的第二编码层对各样本矫正图像进行二值化处理，得到二值化图像，并对所述二值化图像进行轮廓提取，得到所述轮廓特征；
获取所述预设光照信息中的光源相对位置、光照角度、光照颜色和光照强度；
针对各样本矫正图像，根据对应的所述光源相对位置、所述光照角度和所述光照强度确定目标关联信息，所述目标关联信息包括待提取的关联区域位置、关联区域形状和关联提取顺序；
根据各关联区域位置和各关联区域形状对相对应的样本矫正图像进行特征提取，得到图像提取特征，并根据所述提取顺序信息对各图像提取特征进行特征组合，得到所述像素关联特征。
预测损失模块14，用于分别对各样本增强图像进行遮挡处理，得到样本遮挡图像；
将各样本遮挡图像输入所述车牌识别模型中的遮挡预测网络进行图像生成，得到样本生成图像，并对各样本生成图像进行图像判别，得到判别结果；
根据各样本生成图像与对应的样本增强图像之间的图像相似度生成样本判别信息，并根据所述判别结果和所述样本判别信息计算模型预测损失。
模型训练模块15，用于根据所述模型预测损失、所述模型特征损失和所述模型分类损失计算模型总损失，并根据所述模型总损失对所述车牌识别模型进行模型训练。
车牌识别模块16，用于将待识别车牌图像输入模型训练后的所述车牌识别模型进行识别，得到输出车牌。
可选的，所述车牌识别模块16还用于：将所述待识别车牌图像输入模型训练后的所述车牌识别模型，并根据模型训练后的所述车牌识别模型中的遮挡预测网络对所述待识别车牌图像进行图像生成，得到车牌生成图像；
根据模型训练后的所述车牌识别模型中的分类网络对所述车牌生成图像进行光照分类，得到光照类别，并根据所述光照类别确定模型训练后的所述车牌识别模型中各特征识别通道中的目标识别通道；
根据所述目标识别通道对所述车牌生成图像进行矫正，并对矫正后的车牌生成图像进行车牌识别，得到所述输出车牌。
本实施例，通过将光照像素特征、像素关联特征和轮廓特征进行组合，得到样本特征矩阵，基于样本特征矩阵，使得车牌识别模型能有效地学习到样本矫正图像中的光照信息、关联信息和轮廓信息，提高了训练后车牌识别模型的车牌识别的准确性。
实施例三
图3是本申请第三实施例提供的一种终端设备2的结构框图。如图3所示，该实施例的终端设备2包括：处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22，例如基于深度学习的车牌识别方法的程序。处理器20执行所述计算机程序22时实现上述各个基于深度学习的车牌识别方法各实施例中的步骤。
示例性的，所述计算机程序22可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器21中，并由所述处理器20执行，以完成本申请。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序22在所述终端设备2中的执行过程。所述终端设备可包括，但不仅限于，处理器20、存储器21。
所称处理器20可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器21可以是所述终端设备2的内部存储单元，例如终端设备2的硬盘或内存。所述存储器21也可以是所述终端设备2的外部存储设备，例如所述终端设备2上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器21还可以既包括所述终端设备2的内部存储单元也包括外部存储设备。所述存储器21用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。其中，计算机可读存储介质可以是非易失性的，也可以是易失性的。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (8)
1.一种基于深度学习的车牌识别方法，其特征在于，所述方法包括：
获取各样本车牌在预设光照信息照射下的图像，得到样本光照图像，并对各样本光照图像进行图像增强，得到样本增强图像；
将各样本增强图像输入车牌识别模型中的分类网络进行光照分类，并根据光照分类结果确定模型分类损失；
根据各样本增强图像的标注类别，将各样本增强图像输入所述车牌识别模型中对应的特征识别通道；
根据所述特征识别通道获取各样本增强图像的间隔符坐标和角点坐标，并根据所述间隔符坐标和所述角点坐标生成角点定位线；
根据各角点定位线的长度和位置确定图像矫正角度，并根据所述图像矫正角度对各样本增强图像进行矫正，得到样本矫正图像；
分别提取各样本矫正图像的光照像素特征、像素关联特征和轮廓特征，并根据所述光照像素特征、所述像素关联特征和所述轮廓特征生成样本特征矩阵；
根据各样本矫正图像对应的样本车牌的标准特征矩阵和所述样本特征矩阵计算模型特征损失，并分别对各样本增强图像进行遮挡处理，得到样本遮挡图像；
将各样本遮挡图像输入所述车牌识别模型中的遮挡预测网络进行图像生成，得到样本生成图像，并对各样本生成图像进行图像判别，得到判别结果；
根据各样本生成图像与对应的样本增强图像之间的图像相似度生成样本判别信息，并根据所述判别结果和所述样本判别信息计算模型预测损失；
根据所述模型预测损失、所述模型特征损失和所述模型分类损失计算模型总损失，并根据所述模型总损失对所述车牌识别模型进行模型训练；
将待识别车牌图像输入模型训练后的所述车牌识别模型进行识别，得到输出车牌。
2.如权利要求1所述的基于深度学习的车牌识别方法，其特征在于，所述分别提取各样本矫正图像的光照像素特征、像素关联特征和轮廓特征，包括：
根据所述特征识别通道中的第一编码层对各样本矫正图像进行图像卷积，得到所述光照像素特征；
根据所述特征识别通道中的第二编码层对各样本矫正图像进行二值化处理，得到二值化图像，并对所述二值化图像进行轮廓提取，得到所述轮廓特征；
获取所述预设光照信息中的光源相对位置、光照角度、光照颜色和光照强度；
针对各样本矫正图像，根据对应的所述光源相对位置、所述光照角度和所述光照强度确定目标关联信息，所述目标关联信息包括待提取的关联区域位置、关联区域形状和关联提取顺序；
根据各关联区域位置和各关联区域形状对相对应的样本矫正图像进行特征提取，得到图像提取特征，并根据所述提取顺序信息对各图像提取特征进行特征组合，得到所述像素关联特征。
3.如权利要求1所述的基于深度学习的车牌识别方法，其特征在于，所述将各样本增强图像输入车牌识别模型中的分类网络进行光照分类，包括：
根据各样本增强图像对应的所述预设光照信息中的光照角度、光照颜色和光照强度，确定目标颜色簇群；
根据所述分类网络分别对各样本增强图像进行采样，得到采样图像，并根据各采样图像确定对应的样本增强图像的采样像素；
分别计算各样本增强图像的采样像素与对应的目标颜色簇群中各颜色簇之间的颜色距离；
针对各样本增强图像，根据最小颜色距离对应的颜色簇确定分类标识，并根据所述分类标识对各样本增强图像进行光照分类。
4.如权利要求1所述的基于深度学习的车牌识别方法，其特征在于，所述将待识别车牌图像输入模型训练后的所述车牌识别模型进行识别，得到输出车牌，包括：
将所述待识别车牌图像输入模型训练后的所述车牌识别模型，并根据模型训练后的所述车牌识别模型中的遮挡预测网络对所述待识别车牌图像进行图像生成，得到车牌生成图像；
根据模型训练后的所述车牌识别模型中的分类网络对所述车牌生成图像进行光照分类，得到光照类别，并根据所述光照类别确定模型训练后的所述车牌识别模型中各特征识别通道中的目标识别通道；
根据所述目标识别通道对所述车牌生成图像进行矫正，并对矫正后的车牌生成图像进行车牌识别，得到所述输出车牌。
5.一种基于深度学习的车牌识别***，其特征在于，所述***包括：
车牌照射模块，用于获取各样本车牌在预设光照信息照射下的图像，得到样本光照图像，并对各样本光照图像进行图像增强，得到样本增强图像；
光照分类模块，用于将各样本增强图像输入车牌识别模型中的分类网络进行光照分类，并根据光照分类结果确定模型分类损失；
图像矫正模块，用于根据各样本增强图像的标注类别，将各样本增强图像输入所述车牌识别模型中对应的特征识别通道；
根据所述特征识别通道获取各样本增强图像的间隔符坐标和角点坐标，并根据所述间隔符坐标和所述角点坐标生成角点定位线；
根据各角点定位线的长度和位置确定图像矫正角度，并根据所述图像矫正角度对各样本增强图像进行矫正，得到样本矫正图像；
特征提取模块，用于分别提取各样本矫正图像的光照像素特征、像素关联特征和轮廓特征，并根据所述光照像素特征、所述像素关联特征和所述轮廓特征生成样本特征矩阵；
根据各样本矫正图像对应的样本车牌的标准特征矩阵和所述样本特征矩阵计算模型特征损失；
预测损失模块，用于分别对各样本增强图像进行遮挡处理，得到样本遮挡图像；
将各样本遮挡图像输入所述车牌识别模型中的遮挡预测网络进行图像生成，得到样本生成图像，并对各样本生成图像进行图像判别，得到判别结果；
根据各样本生成图像与对应的样本增强图像之间的图像相似度生成样本判别信息，并根据所述判别结果和所述样本判别信息计算模型预测损失；
模型训练模块，用于根据所述模型预测损失、所述模型特征损失和所述模型分类损失计算模型总损失，并根据所述模型总损失对所述车牌识别模型进行模型训练；
车牌识别模块，用于将待识别车牌图像输入模型训练后的所述车牌识别模型进行识别，得到输出车牌。
6.如权利要求5所述的基于深度学习的车牌识别***，其特征在于，所述特征提取模块还用于：
根据所述特征识别通道中的第一编码层对各样本矫正图像进行图像卷积，得到所述光照像素特征；
根据所述特征识别通道中的第二编码层对各样本矫正图像进行二值化处理，得到二值化图像，并对所述二值化图像进行轮廓提取，得到所述轮廓特征；
获取所述预设光照信息中的光源相对位置、光照角度、光照颜色和光照强度；
针对各样本矫正图像，根据对应的所述光源相对位置、所述光照角度和所述光照强度确定目标关联信息，所述目标关联信息包括待提取的关联区域位置、关联区域形状和关联提取顺序；
根据各关联区域位置和各关联区域形状对相对应的样本矫正图像进行特征提取，得到图像提取特征，并根据所述提取顺序信息对各图像提取特征进行特征组合，得到所述像素关联特征。
7.如权利要求5所述的基于深度学习的车牌识别***，其特征在于，所述光照分类模块还用于：
根据各样本增强图像对应的所述预设光照信息中的光照角度、光照颜色和光照强度，确定目标颜色簇群；
根据所述分类网络分别对各样本增强图像进行采样，得到采样图像，并根据各采样图像确定对应的样本增强图像的采样像素；
分别计算各样本增强图像的采样像素与对应的目标颜色簇群中各颜色簇之间的颜色距离；
针对各样本增强图像，根据最小颜色距离对应的颜色簇确定分类标识，并根据所述分类标识对各样本增强图像进行光照分类。
8.如权利要求5所述的基于深度学习的车牌识别***，其特征在于，所述车牌识别模块还用于：
将所述待识别车牌图像输入模型训练后的所述车牌识别模型，并根据模型训练后的所述车牌识别模型中的遮挡预测网络对所述待识别车牌图像进行图像生成，得到车牌生成图像；
根据模型训练后的所述车牌识别模型中的分类网络对所述车牌生成图像进行光照分类，得到光照类别，并根据所述光照类别确定模型训练后的所述车牌识别模型中各特征识别通道中的目标识别通道；
根据所述目标识别通道对所述车牌生成图像进行矫正，并对矫正后的车牌生成图像进行车牌识别，得到所述输出车牌。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410086770.6A CN117912003B (zh) | 2024-01-22 | 2024-01-22 | 基于深度学习的车牌识别方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410086770.6A CN117912003B (zh) | 2024-01-22 | 2024-01-22 | 基于深度学习的车牌识别方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117912003A true CN117912003A (zh) | 2024-04-19 |
| CN117912003B CN117912003B (zh) | 2024-07-02 |
Family
ID=90693645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410086770.6A Active CN117912003B (zh) | 2024-01-22 | 2024-01-22 | 基于深度学习的车牌识别方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117912003B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103325258A (zh) * | 2013-06-24 | 2013-09-25 | 武汉烽火众智数字技术有限责任公司 | 基于视频处理的闯红灯检测装置及其方法 |
| US20190066492A1 (en) * | 2017-08-22 | 2019-02-28 | Jos A. G. Nijhuis | License Plate Recognition |
| CN111079764A (zh) * | 2019-12-06 | 2020-04-28 | 深圳久凌软件技术有限公司 | 一种基于深度学习的低照度车牌图像识别方法及装置 |
| CN111435421A (zh) * | 2019-01-11 | 2020-07-21 | 北京邮电大学 | 一种面向交通目标的车辆重识别方法和装置 |
-
2024
- 2024-01-22 CN CN202410086770.6A patent/CN117912003B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103325258A (zh) * | 2013-06-24 | 2013-09-25 | 武汉烽火众智数字技术有限责任公司 | 基于视频处理的闯红灯检测装置及其方法 |
| US20190066492A1 (en) * | 2017-08-22 | 2019-02-28 | Jos A. G. Nijhuis | License Plate Recognition |
| CN111435421A (zh) * | 2019-01-11 | 2020-07-21 | 北京邮电大学 | 一种面向交通目标的车辆重识别方法和装置 |
| CN111079764A (zh) * | 2019-12-06 | 2020-04-28 | 深圳久凌软件技术有限公司 | 一种基于深度学习的低照度车牌图像识别方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 刘攀: "复杂光照条件下的通用车牌定位***的研究与实现", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 2, 15 December 2013 (2013-12-15), pages 034 - 750 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117912003B (zh) | 2024-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886896B (zh) | 一种蓝色车牌分割与矫正方法 | |
| CN108108734B (zh) | 一种车牌识别方法及装置 | |
| CN109919160B (zh) | 验证码识别方法、装置、终端及存储介质 | |
| WO2016065701A1 (zh) | 图像文字识别方法及装置 | |
| CN110728283A (zh) | 一种车牌类型识别方法及设备 | |
| CN110838119B (zh) | 人脸图像质量评估方法、计算机装置及计算机可读存储介质 | |
| CN109034145B (zh) | 基于OpenCV的银行***识别方法 | |
| CN110503682B (zh) | 矩形控件识别方法、装置、终端及存储介质 | |
| CN111353485B (zh) | ***识别方法、装置、设备及介质 | |
| CN111259915A (zh) | 翻拍图像识别的方法、装置、设备及介质 | |
| CN112381092B (zh) | 跟踪方法、装置及计算机可读存储介质 | |
| CN111178359A (zh) | 车牌号码识别方法、装置和设备及计算机存储介质 | |
| CN113903024A (zh) | 一种手写票据数值信息识别方法、***、介质及装置 | |
| CN111161281A (zh) | 一种人脸区域识别方法、装置及存储介质 | |
| CN116958503B (zh) | 一种基于图像处理的污泥干化等级识别方法及*** | |
| CN117912003B (zh) | 基于深度学习的车牌识别方法及*** | |
| CN112818983A (zh) | 一种利用图片相识度判断字符倒置的方法 | |
| CN111488811B (zh) | 人脸识别方法、装置、终端设备及计算机可读介质 | |
| CN112396638A (zh) | 一种图像处理方法、终端和计算机可读存储介质 | |
| CN111199228A (zh) | 一种车牌定位的方法及装置 | |
| CN112052859B (zh) | 一种自由场景下的车牌精准定位方法及装置 | |
| CN114219760A (zh) | 仪表的读数识别方法、装置及电子设备 | |
| CN115131776B (zh) | 一种融合新能源汽车特征的车牌图像字符分类识别方法 | |
| CN112163581B (zh) | 一种车牌字母识别方法、***、装置及存储介质 | |
| JP2005149395A (ja) | 文字認識装置、ナンバープレート認識システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |