CN116883981A - 一种车牌定位识别方法、***、计算机设备及存储介质 - Google Patents

一种车牌定位识别方法、***、计算机设备及存储介质 Download PDF

Info

Publication number
CN116883981A
CN116883981A CN202310713794.5A CN202310713794A CN116883981A CN 116883981 A CN116883981 A CN 116883981A CN 202310713794 A CN202310713794 A CN 202310713794A CN 116883981 A CN116883981 A CN 116883981A
Authority
CN
China
Prior art keywords
license plate
module
image
distance
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310713794.5A
Other languages
English (en)
Inventor
张昕
朱震震
邱天
张振
袁志
张志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN202310713794.5A priority Critical patent/CN116883981A/zh
Publication of CN116883981A publication Critical patent/CN116883981A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种车牌定位识别方法、***、计算机设备及存储介质，所述方法包括：获取待检测车牌图像，并采用改进的YOLOv7‑tiny网络模型对待检测车牌图像进行目标检测得到车牌定位区域；根据车牌定位区域得到车牌位置坐标和待识别区域图像；通过双目测距算法，根据车牌位置坐标得到车牌与相机间距；判断车牌与相机间距是否满足预设距离要求，并在满足时，采用预设字符识别模型对待识别区域图像进行光学字符识别得到对应的车牌号码。本发明通过采用更加轻量化的网络模型，提高车牌区域检测速度和检测精度的同时，还通过与双目测距结合使用，实现简单、高效和低成本的车牌防伪识别，有效提升车牌识别的可靠性和应用价值。

Description

一种车牌定位识别方法、***、计算机设备及存储介质
技术领域
本发明涉及人工智能与计算机视觉技术领域，特别是涉及一种车牌定位识别方法、***、计算机设备及存储介质。
背景技术
随着经济快速发展和人们生活水平的提升，车辆出行已成为非常普遍的交通方式，同时也增加了停车场的车辆管理难度。
现有智能停车场的车牌识别大都采用车牌字符识别的传统算法或者基于深度学习的车牌定位和检测方法，虽然能在一定程度上提高停车场车辆管理的智能性，但车牌识别的精准性和高效性有待提升，且大都未考虑车牌防伪识别问题，给别有用心之人提供了可乘之机，比如，使用手机对某车辆车牌进行拍照后，直接将手机贴紧车牌检测闸口所在的摄像头误导摄像头直接检测手机中的车牌照片，导致车牌识别有误，进而造成车辆管理混乱；此外，尽管有少数车牌识别***了考虑防伪识别，但其是通过添加地感感知汽车的重量的方式来确定是否有汽车经过，而地感设备成本较高，势必会增加车牌识别的成本开销，应用受限较大。
发明内容
本发明的目的是提供一种车牌定位识别方法，将采用改进后的更加轻量化的YOLOv7-tiny网络模型进行车牌区域定位检测，与通过双目测距算法进行车牌测距相结合，解决现有车牌定位识别方法的应用缺陷，提高车牌区域检测速度和检测精度的同时，实现简单、高效和低成本的车牌防伪识别，有效提升车牌识别的可靠性和应用价值。
为了实现上述目的，有必要针对上述技术问题，提供了一种车牌定位识别方法及***。
第一方面，本发明实施例提供了一种车牌定位识别方法，所述方法包括以下步骤：
获取待检测车牌图像，并采用改进的YOLOv7-tiny网络模型对所述待检测车牌图像进行目标检测，得到车牌定位区域；
根据所述车牌定位区域，得到车牌位置坐标和待识别区域图像；
通过双目测距算法，根据所述车牌位置坐标，得到车牌与相机间距；
判断所述车牌与相机间距是否满足预设距离要求，并在满足时，采用预设字符识别模型对所述待识别区域图像进行光学字符识别，得到对应的车牌号码。
进一步地，所述改进的YOLOv7-tiny网络模型包括依次连接的Input层、改进的Backbone层和改进的Head层；所述改进的Backbone层和所述改进的Head层中的卷积模块为CB-F模块；所述CB-F模块包括依次连接的卷积层、批归一化层和FReLU激活函数。
进一步地，将所述改进的Backbone层和所述改进的Head层中的ELAN_T模块分别替换为PM-ELAN模块和MS-ELAN模块；所述PM-ELAN模块通过基于所述ELAN_T模块融入PConv模块和Mobilenet V3模块得到；所述MS-ELAN模块通过基于所述ELAN_T模块融入MobilenetV3模块，且在所述Mobilenet V3模块后***SE注意力模块得到。
进一步地，所述PM-ELAN模块包括依次连接的第一特征提取模块、特征融合模块和Mobilenet V3模块；所述第一特征提取模块包括并连的第一特征提取分支和第二特征提取分支；所述第一特征提取分支包括依次连接的CB-F模块和两个串联的PConv模块；所述第二特征提取分支包括CB-F模块；
所述MS-ELAN模块包括依次连接的第二特征提取模块、特征融合模块、MobilenetV3模块和SE注意力模块；所述第二特征提取模块包括并连的第三特征提取分支和第四特征提取分支；所述第三特征提取分支包括3个串联的CB-F模块；所述第四特征提取分支包括CB-F模块。
进一步地，所述改进的YOLOv7-tiny网络模型的边框损失函数表示为：
Loss＝rRWIOULIOU
式中，
LIOU＝1-IOU
其中，Loss表示边框损失值；RWIOU表示惩罚项；IOU和LIOU分别表示预测边界框与真实边界框的交并比和损失值；β表示预测边界框的离群度值；δ和α为超参数；r表示预测边界框的半径；(x,y)表示距离最近的预测边界框的中心坐标；(xgt,ygt)表示最小预测边界框的中心坐标；(wgt,hgt)表示最小预测边界框的宽度和高度。
进一步地，所述根据所述车牌定位区域，得到车牌位置坐标和待识别区域图像的步骤包括：
根据所述车牌定位区域的边框坐标，得到区域中心坐标，并将所述区域中心坐标作为所述车牌位置坐标；
根据所述车牌定位区域，对所述待检测车牌图像进行图像分割，得到所述待识别区域图像。
进一步地，所述通过双目测距算法，根据所述车牌位置坐标，得到车牌与相机间距的步骤包括：
采用张正友相机标定法，获取双目相机的内外参数；
响应于所述双目相机的内外参数的获取完成，对所述双目相机进行双目校正；
响应于所述双目校正的完成，通过SGBM算法进行立体匹配，得到视差深度图，并根据所述视差深度图和所述车牌位置坐标，得到所述车牌与相机间距。
第二方面，本发明实施例提供了一种车牌定位识别***，所述***包括：
区域定位模块，用于获取待检测车牌图像，并采用改进的YOLOv7-tiny网络模型对所述待检测车牌图像进行目标检测，得到车牌定位区域；
区域处理模块，用于根据所述车牌定位区域，得到车牌位置坐标和待识别区域图像；
车牌测距模块，用于通过双目测距算法，根据所述车牌位置坐标，得到车牌与相机间距；
车牌识别模块，用于判断所述车牌与相机间距是否满足预设距离要求，并在满足时，采用预设字符识别模型对所述待识别区域图像进行光学字符识别，得到对应的车牌号码。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
上述本申请提供了一种车牌定位识别方法、***、计算机设备和存储介质，通过所述方法实现了采用改进的YOLOv7-tiny网络模型对获取的待检测车牌图像进行目标检测得到车牌定位区域，并根据车牌定位区域得到车牌位置坐标和待识别区域图像后，通过双目测距算法，根据车牌位置坐标得到车牌与相机间距，以及判断车牌与相机间距是否满足预设距离要求，并在满足时，采用预设字符识别模型对待识别区域图像进行光学字符识别得到对应的车牌号码的技术方案。与现有技术相比，该车牌定位识别方法，通过采用更加轻量化的YOLOv7-tiny网络模型，降低网络参数，提高车牌区域检测速度和检测精度的同时，还通过与双目测距结合使用，实现简单、高效和低成本的车牌防伪识别，有效提升车牌识别的可靠性和应用价值。
附图说明
图1是本发明实施例中车牌定位识别方法的应用场景示意图；
图2是本发明实施例中车牌定位识别方法的流程示意图；
图3是现有YOLOv7-tiny网络模型的结构示意图；
图4是本发明实施例中改进的YOLOv7-tiny网络模型的CB-F模块的结构示意图；
图5是本发明实施例中改进的YOLOv7-tiny网络模型的改进的Backbone层中的PM-ELAN模块的结构示意图；
图6是本发明实施例中改进的YOLOv7-tiny网络模型的改进的Head层中的MS-ELAN模块的结构示意图；
图7是本发明实施例中PM-ELAN模块和MS-ELAN模块的Mobilenet V3模块的结构示意图；
图8是本发明实施例中改进的YOLOv7-tiny网络模型的SPPCSPC_tiny层的结构示意图；
图9是本发明实施例中改进的YOLOv7-tiny网络模型的结构示意图；
图10是本发明实施例中双目相机的***成像模型示意图；
图11是本发明实施例中双目相机中图像物理坐标系与图像像素坐标系转换示意图；
图12是本发明实施例中双目测距原理示意图；
图13是本发明实施例中车牌定位识别***的结构示意图；
图14是本发明实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案和有益效果更加清楚明白，下面结合附图及实施例，对本发明作进一步详细说明，显然，以下所描述的实施例是本发明实施例的一部分，仅用于说明本发明，但不用来限制本发明的范围。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的车牌定位识别方法，可以应用于如图1所示的终端或服务器上。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器可根据实际应用需求，采用本发明的车牌定位识别方法对进出智能停车场的待管理车辆进行高效精准的车牌定位识别，提升智能停车场车牌管理***的防伪识别能力和应用可靠性；下述实施例将对本发明的车牌定位识别方法进行详细说明。
在一个实施例中，如图2所示，提供了一种车牌定位识别方法，包括以下步骤：
S11、获取待检测车牌图像，并采用改进的YOLOv7-tiny网络模型对所述待检测车牌图像进行目标检测，得到车牌定位区域；其中，车牌定位区域可理解为是通过改进的YOLOv7-tiny网络模型进行目标检测得到预测边界框内的图像区域；
本实施例采用的改进的YOLOv7-tiny网络模型可理解为是基于现有YOLOv7-tiny网络架构改进得到的基于深度学习目标检测的单阶段检测模型，即可通过一个阶段直接给出目标类别概率和对应的位置坐标值。如图3所示，现有YOLOv7-tiny网络结构主要包括Input层、Backbone层和Head层；其中，Backbone层作为主干网络，是在Input层对输入图片进行预处理后，再进行特征提取，也被称作特征提取层；相比于YOLOv7网络模型，YOLOv7-tiny在Backbone层中采用了E_ELAN的子结构(ELAN_T网络结构)，在保证检测精度的基础上，参数量更少、检测速度更快；同时，Head层主要是基于Backbone层输出的特征，进一步输出3个不同大小的特征图，相较于YOLOv7网络模型也更加轻量化，主要是采用了SPPCSPC_tiny层、若干Conv层和MP层。
本实施例考虑到车牌识别的小目标识别应用场景需求，对现有YOLOv7-tiny网络模型中的Backbone层和Head层均进行了相应改进，得到包括依次连接的Input层、改进的Backbone层和改进的Head层的改进的YOLOv7-tiny网络模型；具体的，所述改进的Backbone层和所述改进的Head层中的卷积模块为CB-F模块，且如图4所示，所述CB-F模块是在继承CBL原来优点的基础上，将LeakyReLU激活函数替换成为了FReLU激活函数，通过极其简单的实现方式，在只增加少量参数的同时也增加了精度，提升了空间的敏感性的卷积处理模块，包括依次连接的负责特征提取的卷积层(Conv)、用于加速训练过程，减少梯度消失和梯度***等问题的批归一化层(Batch Normalization,BN)和能够解决ReLU激活函数可能出现的神经元死亡问题的FReLU激活函数，即将现有CBL(Convolutions with BatchNormalization and Leaky ReLU)模块中的LeakyReLU激活函数替换成为了FReLU激活函数；其中，FReLU激活函数是一种将ReLU激活函数和PReLU激活函数扩展到2D激活的激活函数，其也是通过采用Max函数来实现非线性特性，但其内部判断中采用了漏斗条件T()(一个3x3的卷积滑动窗口)，通过使用卷积窗口的参数和周围像素进行计算得到T(X)，并在之后，使用批量归一化BN对T(X)进行归一化处理；需要说明的是，FReLU激活函数通过添加可忽略的空间条件开销，实现了像素级建模能力，且漏斗条件依赖于周围像素的空间上下文，从而扩大了网络的感受野，并通过常规的卷积来捕获复杂的视觉布局，进而有效提升YOLOv7-tiny识别任务的鲁棒性。
考虑到车牌目标检测应用的高效性需求，本实施例需要对上述的改进的Backbone层和改进的Head层进一步优化，通过将改进的Backbone层和改进的Head层中的现有ELAN_T模块分别替换为PM-ELAN模块和MS-ELAN模块，得到参数量更小的结构，进而提升实际应用中网络模型的运行速度；现有ELAN_T模块分为两层，一层是叠加了三个CBL卷积模块提取特征，另一层单独使用一个CBL卷积模块提取特征，最后使用一个Concat层将前面的两层进行融合，而PM-ELAN模块和MS-ELAN模块是基于ELAN-T的框架对其进行部分改进得到的更加轻量化的结构；
具体的，所述PM-ELAN模块可理解为在ELAN-T的基础上，将其中的两个CBL模块替换成轻量化PConv卷积模块，并在Concat层后面添加轻量化网络结构Mobilenet V3模块，即通过基于所述ELAN_T模块融入PConv模块和Mobilenet V3模块得到，如图5所示，包括依次连接的第一特征提取模块、特征融合模块和Mobilenet V3模块，降低了整体网络的参数，使得整体网络更加轻量化，更适合部署在嵌入式设备上；所述第一特征提取模块包括并连的第一特征提取分支和第二特征提取分支；所述第一特征提取分支包括依次连接的CB-F模块和两个串联的PConv(pyramid convolution)模块；所述第二特征提取分支包括CB-F模块；其中，PConv模块可理解为是部分卷积，其只需要在输入通道的一部分上应用常规Conv进行空间特征的提取，并保持了其余的通道不变，针对FLOPs来评判，对于典型的r＝1/4，PConv的FLOPs只有常规Conv的1/16，大大减少了内存的访问量，从而降低整体网络的参数，即可在减少FLOPs的同时，降低受内存访问增加的副作用影响，使得网络具有更低的延迟和更高的吞吐量。本实施例使用PConv代替部分CB-F模块后，检测速度大幅增快并保持较高的准确率同时，也降低了参数量；
同时，所述MS-ELAN模块可理解为在ELAN-T的基础上，添加Mobilenet V3轻量化网络结构，即通过基于所述ELAN_T模块融入Mobilenet V3模块，且在所述Mobilenet V3模块后***SE注意力模块得到，如图6所示，包括依次连接的第二特征提取模块、特征融合模块、Mobilenet V3模块和SE注意力模块，以降低整体网络参数；所述第二特征提取模块包括并连的第三特征提取分支和第四特征提取分支；所述第三特征提取分支包括3个串联的CB-F模块；所述第四特征提取分支包括CB-F模块；上述PM-ELAN模块和MS-ELAN模块中融合的Mobilenet V3模块如图7所示包括纺锤形的3×3卷积层和1×1卷积层、Pool池化层、FC全连接层和尾部将特征图大小由7×7降低为1×1的avgpooling层，且激活函数为h-swish激活函数；Mobilenet V3模块不仅便于轻量化部署，而且可在降低降低运行时间的同时，提高整体结构的鲁棒性。本实施例将MobilenetV3模块融合到了YOLOv7-tiny的backbone主干网络中，可大大降低了参数量，提高网络运行速度；
需要说明的是，改进的Head层中的SPPCSPC_tiny层可理解为是将图3所示的现有YOLOv7-tiny网络模型的YOLOv7-tiny网络模型中所有的CBL模块替换为本实施例给出的激活函数替换为FReLU激活函数的CB-F模块得到的，具体结构如图8所示，其是一种空间金字塔池化结构，可有效避免了对图像区域裁剪、缩放操作导致的图像失真等问题，解决了卷积神经网络对图相关重复特征提取的问题，大大提高了产生候选框的速度，且节省了计算成本；此外，网络模型中的MP模块可理解为一个最大池化层，可以起到减少神经网络的数据量，简化数据，加快数据处理的作用；UP模块可理解为上采样模块，将图像上采样到更高分辨率，是一种把低分辨率图像采样成高分辨率图像的技术手段；
至此，已对本申请提供的改进的YOLOv7-tiny网络模型中涉及的网络结构的改进进行了详细的阐述，综合上述各个结构的改进，可得到图9所示的最优的改进YOLOv7-tiny网络模型，即首先将原先的卷积模块中的激活函数更换为FReLU激活函数，从而提高卷积的感受野的范围；接下来原来的ELAN-T模块进行改进，提出了新的模块分别命名为PM-ELAN和MS-ELAN，PM-ELAN就是将其中卷积核为3×3大小的替换成为PConv卷积模块，并将Mobilenet V3模块融合在其中；同样的，MS-ELAN就是在融合了Mobilnet V3模块后并在其尾部添加了SE注意力机制，增加了网络对特征的提取能力。
此外，考虑到目标检测性能很大程度上取决于所使用的损失函数，边界框损失函数作为目标检测损失函数的重要组成部分，其定义的精准程度对于提高模型性能至关重要，而实际目标检测应用中存在实际目标与预测边界框不完全匹配的场景，为了进一步提高目标检测模型的性能，本实施例优选地，将现有YOLOv7-tiny网络模型中采用的CIOU损失函数替换为基于动态非单调聚焦机制，以离群度描述预测边界框质量的损失函数对改进的YOLOv7-tiny网络模型进行训练，得到参数最优的稳定模型，用于实际应用中的车牌目标检测；具体的，所述改进的YOLOv7-tiny网络模型的边框损失函数表示为：
Loss＝rRWIOULIOU
式中，
LIOU＝1-IOU
其中，Loss表示边框损失值；RWIOU表示惩罚项；IOU和LIOU分别表示预测边界框与真实边界框的交并比和损失值；β表示预测边界框的离群度值，一个预测边界框的离群度较小，说明其质量较高，可以将其分配较小的梯度增益，以便于较好地聚焦于质量较高的预测边界框进行边界框回归，同理，如果预测边界框的离群度较大，则需要分配较小的梯度增益，可以有效地防止低质量的示例对于模型产生有害的梯度；δ和α为超参数，当β＝δ时，δ使得r＝1，当预测边界框的离群度满足β＝C(C为定值)时，预测边界框将获得最高的梯度增益；r表示预测边界框的半径；(x,y)表示距离最近的预测边界框的中心坐标；(xgt,ygt)表示真实边界框的中心坐标；(wgt,hgt)表示真实边界框的宽度和高度；B和Bgt分别表示预测边界框区域和真实边界框区域；表示LIOU的动量为m的滑动平均值，该值是动态的，故预测边界框的质量划分标准也同样是动态的，这使得边框损失函数能在每一时刻都作出最符合当前情况的梯度增益分配策略，可有效解决训练后期收敛速度慢的问题；
需要说明的是，为了防止低质量预测边界框在训练初期落后，故在训练过程中初始化使得LIOU＝1的预测边界框具有了最高的梯度增益；同时，为了在早期的训练阶段保持同样的策略，需要设置一个小的动力m来延迟/>接近真实值/>的时间。若用于训练的数据集总数据量为N，设定的批次大小为B，则可得到训练的批次数量为n＝N/B；如果在训练的前t个轮次中mAP的提升速度明显放缓，则建议在这种情况下将动量设置为：在这种设置下经过t轮训练后有/>在目标检测的训练过程中，上述损失函数将会在中后期给低质量的预测边界框分配小梯度增益，以减少有害梯度的影响，同时，也会更加关注普通质量的预测边界框，提高模型的定位性能。
S12、根据所述车牌定位区域，得到车牌位置坐标和待识别区域图像；其中，车牌位置坐标可理解为是车牌定位区域的中心点坐标，待识别区域图像可理解为待检测车牌图像中车牌定位区域内的可用于后续进行光学字符识别的局部区域图像；
具体的，所述根据所述车牌定位区域，得到车牌位置坐标和待识别区域图像的步骤包括：
根据所述车牌定位区域的边框坐标，得到区域中心坐标，并将所述区域中心坐标作为所述车牌位置坐标；
根据所述车牌定位区域，对所述待检测车牌图像进行图像分割，得到所述待识别区域图像；其中，图像分割处理的具体方式采用现有技术实现即可，此处不再详述。
S13、通过双目测距算法，根据所述车牌位置坐标，得到车牌与相机间距；其中，双目测距算法原则上可以采用任一双目测距算法实现，但考虑到测距的高效性和精准性需求，本实施例优选地采用SGBM算法实现双目测距功能；
本实施例中使用的双目相机的***成像模型、图像物理坐标系与像素坐标系的转换方式，以及双目测距原理，详述如下：
1)***成像模型
由于在相机的成像过程中，会涉及到以下四种坐标系：相机坐标系、世界坐标系、图像像素坐标系和图像物理坐标系；相机***成像模型如图10所示，其中，Oc所在坐标系为相机坐标系，Op所在坐标系为图像像素坐标系，图像像素坐标系反映了探测器的规格，并且由图可知，Ol图像物理坐标系并且Ol所在的坐标处于图像像素坐标系的中点，由于相机坐标系透视投影到图像坐标系，是由3D变换到2D空间，这中间损失了一维深度信息，这种信息也就是焦距f。
具体的，图像像素坐标系OP-uv：是一个二维的坐标系，是描述相机芯片中的像素排列，其表示了图像物理坐标系的一个离散化，在这个坐标系下的u，v轴通常平行与成像靶面的两边，其坐标单位是像素(pixel)；
图像物理坐标系OI-xy：同样也是一个二维的坐标系，是用来描述空间物点的投影在成像靶面上的实际物理位置，Ol所在的坐标处于图像像素坐标系OP的中点，且x，y轴是分别与图像像素坐标系的u，v轴平行的，其坐标单位是毫米(mm)；
相机坐标系OC-XCYCZC：该坐标系为一个三维的坐标系，其作用是联系世界坐标系与图像坐标系之间的桥梁，将相机镜头的光心OC记为坐标系原点，并且XC、YC轴分别与图像坐标系中的x轴，y轴平行，ZC轴是与相机的光轴重合，该坐标系的单位是毫米(mm)；
世界坐标系OW-XWYWZW：是一个三维的坐标系，如果以该坐标系为基准的话，可以用来描述相机和待测物体之间的空间位置，并且其坐标系单位为毫米(mm)。
2)图像物理坐标系和图像像素坐标系之间的转换
由于相机的光心在成像面上面的投影点，即为图像物理坐标系的原点，换句话说也就是图像物理坐标系的原点位于图像像素坐标系的中点，并且图像物理坐标系的单位为mm，这两个坐标系之间的转换关系为假设dx和dy分别像素点的行和列代表的实际尺寸为每一格为多少mm，那么将图像物理坐标转换为图像像素坐标如下：
(1)坐标表示法：
其中，(u0,v0)为图像物理坐标系原点在图像像素坐标系中的坐标值，如图11所示，一般的，图像物理坐标系的原点位于图像像素坐标系的中点；(x,y)为图像物理坐标系上待测点P点的坐标值，故，(u,v)为将图像物理坐标转换为图像像素坐标的坐标值；
(2)矩阵表示法：
3)双目测距原理
如图12所示，P为待测点；Pl和Pr是P点在左右目相机的图像物理坐标系的坐标；OL和OR分别为双目摄像机的左目和右目；Z为待测物体的距离；b为基线，即双目相机光心的距离；f为相机的焦距；由于在使用双目相机同时观察同一个点P的时候，会出现视差，视差d也就是Xl-Xr,；根据相似三角形的原理：ΔPPlPr～ΔPOLOR，可以列出方程求Z。假设Pl到Pr之间的距离dis为：dis＝b-d，则由相似三角形可知：
故，可求得距离z为：
基于上述双目测距相关基础理论建立的双目测距***，就可以采用下述方法，根据通过改进的YOLOv7-tiny网络模型进行目标检测得到的车牌位置坐标对车牌与相机的实际距离进行计算；具体的，所述通过双目测距算法，根据所述车牌位置坐标，得到车牌与相机间距的步骤包括：
采用张正友相机标定法，获取双目相机的内外参数；其中，双面相机原则上可采用任一类型的双目相机即可，但为了保证测距的精准性，本实施例优选地采用HBV-1780-2S2.0双目相机；同时，本实施例选用的张正友相机标定法具有成像约束强、标定过程简单和算法鲁棒性高等优点，且已经封装在OpenCV和MATLAB中，在实际应用中可选用MATLAB来进行双目相机标定，从而获得双目相机的内外参数，具体的标定过程此处不再详述；
响应于所述双目相机的内外参数的获取完成，对所述双目相机进行双目校正；其中，双目校正可理解为是要实现两个相机的图像校正为共面且行对准，通过双目校正，使得双目相机左右光心平行对应，使得为后续的立体匹配做好准备，在后续进行立体匹配的时候就只需要沿着极线进行一维搜索即可，也便于更加精确的计算出相机到待测物体的距离。
响应于所述双目校正的完成，通过SGBM算法进行立体匹配，得到视差深度图，并根据所述视差深度图和所述车牌位置坐标，得到所述车牌与相机间距；
在双目视觉中，立体匹配又称为视差估计，指的是在极线校正后的立体图像对中建立像素之间的紧密对应关系，从而得到视差。立体匹配一般包括代价计算、代价聚合、视差计算和视差优化等步骤；其中，代价计算常用的是Census计算，当使用Census代价计算得到的汉明距离也即为所求代价，Census的代价计算的具体过程如下：
假设有下述两个矩阵：
计算汉明距离时，需要用到的公式为:其中，/>表示异或；
其中，center为矩阵中心的数值；t为矩阵中除中心点数值之外的每一数值；例如，在w1中，center就为45，t分别取为33、54、36、23、125、123、44、79；
故求得：
则，
可得，
也即，汉明距离为3；
代价聚合可理解为是对通过上述步骤得到的代价进行聚合，在SGBM算法中，代价聚合主要使用的方法是先进行一维动态规划，再对其进行多方向的叠加，以得到更好的优化深度图；
视差计算可理解为是视差深度图的计算，当完成双目校正和立体匹配后，就可以基于OpenCV-python中设置好参数的SGBM算法构建对应的SGBM对象，计算得到对应的视差深度图，并根据获取的车牌位置坐标，基于前述双目测距原理中的计算公式，可得到对应的深度值，即车牌与相机间距。
S14、判断所述车牌与相机间距是否满足预设距离要求，并在满足时，采用预设字符识别模型对所述待识别区域图像进行光学字符识别，得到对应的车牌号码；其中，预设距离要求可根据实际应用需求进行选取，此处不作具体限定；比如，当预设距离为1米时，则当测得的车牌与相机间距小于等于1米时，车牌定位识别的后续步骤就停止执行，不再进行后续基于待识别区域图像识别得到对应车牌号码的步骤，直接判定当前检测的车牌不予通过闸口，闸口不放行；当测得的车牌与相机间距超过一米时，判定当前车牌满足预设距离要求，闸口可以进一步进入车牌内容识别的具体步骤，以得到精准的车牌号码；本实施例中的预设字符识别模型可理解为是能够识别车牌号码的光学字符识别模型，可以为基于模板匹配的识别模型、基于统计特征分析的识别模型和基于深度学习的识别模型等，此处不作具体限定。
本申请实施例通过采用改进的YOLOv7-tiny网络模型对获取的待检测车牌图像进行目标检测得到车牌定位区域，并根据车牌定位区域得到车牌位置坐标和待识别区域图像后，通过双目测距算法，根据车牌位置坐标得到车牌与相机间距，以及判断车牌与相机间距是否满足预设距离要求，并在满足时，采用预设字符识别模型对待识别区域图像进行光学字符识别得到对应的车牌号码的技术方案，有效解决了现有车牌定位识别方法的应用缺陷，通过采用更加轻量化的YOLOv7-tiny网络模型，降低网络参数，提高车牌区域检测速度和检测精度的同时，还通过与双目测距结合使用，实现简单、高效和低成本的车牌防伪识别，有效提升车牌识别的可靠性和应用价值。
需要说明的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。
在一个实施例中，如图13所示，提供了一种车牌定位识别***，所述***包括：
区域定位模块1，用于获取待检测车牌图像，并采用改进的YOLOv7-tiny网络模型对所述待检测车牌图像进行目标检测，得到车牌定位区域；
区域处理模块2，用于根据所述车牌定位区域，得到车牌位置坐标和待识别区域图像；
车牌测距模块3，用于通过双目测距算法，根据所述车牌位置坐标，得到车牌与相机间距；
车牌识别模块4，用于判断所述车牌与相机间距是否满足预设距离要求，并在满足时，采用预设字符识别模型对所述待识别区域图像进行光学字符识别，得到对应的车牌号码。
关于车牌定位识别***的具体限定可以参见上文中对于车牌定位识别方法的限定，对应的技术效果也可等同得到，在此不再赘述。上述车牌定位识别***中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图14示出一个实施例中计算机设备的内部结构图，该计算机设备具体可以是终端或服务器。如图14所示，该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示器、摄像头和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现车牌定位识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
综上，本发明实施例提供的一种车牌定位识别方法及***，其车牌定位识别方法实现了采用改进的YOLOv7-tiny网络模型对获取的待检测车牌图像进行目标检测得到车牌定位区域，并根据车牌定位区域得到车牌位置坐标和待识别区域图像后，通过双目测距算法，根据车牌位置坐标得到车牌与相机间距，以及判断车牌与相机间距是否满足预设距离要求，并在满足时，采用预设字符识别模型对待识别区域图像进行光学字符识别得到对应的车牌号码的技术方案，该方法通过采用更加轻量化的YOLOv7-tiny网络模型，降低网络参数，提高车牌区域检测速度和检测精度的同时，还通过与双目测距结合使用，实现简单、高效和低成本的车牌防伪识别，有效提升车牌识别的可靠性和应用价值。
本说明书中的各个实施例均采用递进的方式描述，各个实施例直接相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。需要说明的是，上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种车牌定位识别方法，其特征在于，所述方法包括以下步骤：
获取待检测车牌图像，并采用改进的YOLOv7-tiny网络模型对所述待检测车牌图像进行目标检测，得到车牌定位区域；
根据所述车牌定位区域，得到车牌位置坐标和待识别区域图像；
通过双目测距算法，根据所述车牌位置坐标，得到车牌与相机间距；
判断所述车牌与相机间距是否满足预设距离要求，并在满足时，采用预设字符识别模型对所述待识别区域图像进行光学字符识别，得到对应的车牌号码。
2.如权利要求1所述的车牌定位识别方法，其特征在于，所述改进的YOLOv7-tiny网络模型包括依次连接的Input层、改进的Backbone层和改进的Head层；所述改进的Backbone层和所述改进的Head层中的卷积模块为CB-F模块；所述CB-F模块包括依次连接的卷积层、批归一化层和FReLU激活函数。
3.如权利要求2所述的车牌定位识别方法，其特征在于，将所述改进的Backbone层和所述改进的Head层中的ELAN_T模块分别替换为PM-ELAN模块和MS-ELAN模块；所述PM-ELAN模块通过基于所述ELAN_T模块融入PConv模块和Mobilenet V3模块得到；所述MS-ELAN模块通过基于所述ELAN_T模块融入Mobilenet V3模块，且在所述Mobilenet V3模块后***SE注意力模块得到。
4.如权利要求3所述的车牌定位识别方法，其特征在于，所述PM-ELAN模块包括依次连接的第一特征提取模块、特征融合模块和Mobilenet V3模块；所述第一特征提取模块包括并连的第一特征提取分支和第二特征提取分支；所述第一特征提取分支包括依次连接的CB-F模块和两个串联的PConv模块；所述第二特征提取分支包括CB-F模块；
所述MS-ELAN模块包括依次连接的第二特征提取模块、特征融合模块、Mobilenet V3模块和SE注意力模块；所述第二特征提取模块包括并连的第三特征提取分支和第四特征提取分支；所述第三特征提取分支包括3个串联的CB-F模块；所述第四特征提取分支包括CB-F模块。
5.如权利要求1所述的车牌定位识别方法，其特征在于，所述改进的YOLOv7-tiny网络模型的边框损失函数表示为：
Loss＝rRWIOULIOU
式中，
LIOU＝1-IOU
其中，Loss表示边框损失值；RWIOU表示惩罚项；IOU和LIOU分别表示预测边界框与真实边界框的交并比和损失值；β表示预测边界框的离群度值；δ和α为超参数；r表示预测边界框的半径；(x,y)表示距离最近的预测边界框的中心坐标；(xgt,ygt)表示最小预测边界框的中心坐标；(wgt,hgt)表示最小预测边界框的宽度和高度。
6.如权利要求1所述的车牌定位识别方法，其特征在于，所述根据所述车牌定位区域，得到车牌位置坐标和待识别区域图像的步骤包括：
根据所述车牌定位区域的边框坐标，得到区域中心坐标，并将所述区域中心坐标作为所述车牌位置坐标；
根据所述车牌定位区域，对所述待检测车牌图像进行图像分割，得到所述待识别区域图像。
7.如权利要求1所述的车牌定位识别方法，其特征在于，所述通过双目测距算法，根据所述车牌位置坐标，得到车牌与相机间距的步骤包括：
采用张正友相机标定法，获取双目相机的内外参数；
响应于所述双目相机的内外参数的获取完成，对所述双目相机进行双目校正；
响应于所述双目校正的完成，通过SGBM算法进行立体匹配，得到视差深度图，并根据所述视差深度图和所述车牌位置坐标，得到所述车牌与相机间距。
8.一种车牌定位识别***，其特征在于，所述***包括：
区域定位模块，用于获取待检测车牌图像，并采用改进的YOLOv7-tiny网络模型对所述待检测车牌图像进行目标检测，得到车牌定位区域；
区域处理模块，用于根据所述车牌定位区域，得到车牌位置坐标和待识别区域图像；
车牌测距模块，用于通过双目测距算法，根据所述车牌位置坐标，得到车牌与相机间距；
车牌识别模块，用于判断所述车牌与相机间距是否满足预设距离要求，并在满足时，采用预设字符识别模型对所述待识别区域图像进行光学字符识别，得到对应的车牌号码。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一所述方法的步骤。
CN202310713794.5A 2023-06-15 2023-06-15 一种车牌定位识别方法、***、计算机设备及存储介质 Pending CN116883981A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310713794.5A CN116883981A (zh) 2023-06-15 2023-06-15 一种车牌定位识别方法、***、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310713794.5A CN116883981A (zh) 2023-06-15 2023-06-15 一种车牌定位识别方法、***、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN116883981A true CN116883981A (zh) 2023-10-13

Family

ID=88268863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310713794.5A Pending CN116883981A (zh) 2023-06-15 2023-06-15 一种车牌定位识别方法、***、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116883981A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292370A (zh) * 2023-11-23 2023-12-26 合肥天帷信息安全技术有限公司 一种图标字符的识别方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292370A (zh) * 2023-11-23 2023-12-26 合肥天帷信息安全技术有限公司 一种图标字符的识别方法及装置

Similar Documents

Publication Publication Date Title
WO2021004312A1 (zh) 一种基于双目立体视觉***的车辆智能测轨迹方法
CN109997170B (zh) 用于从视图中获得距离信息的设备和方法
US9646212B2 (en) Methods, devices and systems for detecting objects in a video
CN112444242B (zh) 一种位姿优化方法及装置
WO2018049998A1 (zh) 交通标志牌信息获取方法及装置
CN111476827B (zh) 目标跟踪方法、***、电子装置及存储介质
CN111815707B (zh) 点云确定方法、点云筛选方法、装置、计算机设备
CN106529538A (zh) 一种飞行器的定位方法和装置
CN111598065B (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
WO2020207172A1 (zh) 基于三维光场技术的光学无人机监测方法及***
CN111325828B (zh) 一种基于三目相机的三维人脸采集方法及装置
US9323989B2 (en) Tracking device
Shi et al. An improved lightweight deep neural network with knowledge distillation for local feature extraction and visual localization using images and LiDAR point clouds
WO2023093086A1 (zh) 目标跟踪及相关模型的训练方法、装置、设备、介质、计算机程序产品
CN116883981A (zh) 一种车牌定位识别方法、***、计算机设备及存储介质
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
CN109829401A (zh) 基于双拍摄设备的交通标志识别方法及装置
CN112215036B (zh) 跨镜追踪方法、装置、设备及存储介质
CN116012609A (zh) 一种环视鱼眼多目标跟踪方法、装置、电子设备及介质
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
CN114140659A (zh) 一种基于无人机视角下人体检测的社交距离监控方法
CN114608522A (zh) 一种基于视觉的障碍物识别与测距方法
CN115482285A (zh) 图像对齐方法、装置、设备及存储介质
CN113038070B (zh) 一种设备调焦方法、装置和云平台
Ren et al. An effective imaging system for 3D detection of occluded objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination