CN111046891A - 车牌识别模型的训练方法、车牌识别方法和装置 - Google Patents

车牌识别模型的训练方法、车牌识别方法和装置 Download PDF

Info

Publication number
CN111046891A
CN111046891A CN201811184621.4A CN201811184621A CN111046891A CN 111046891 A CN111046891 A CN 111046891A CN 201811184621 A CN201811184621 A CN 201811184621A CN 111046891 A CN111046891 A CN 111046891A
Authority
CN
China
Prior art keywords
license plate
sample
training
recognition
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811184621.4A
Other languages
English (en)
Inventor
钱华
程战战
曹为华
胡永盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201811184621.4A priority Critical patent/CN111046891A/zh
Publication of CN111046891A publication Critical patent/CN111046891A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本申请公开了一种车牌识别模型的训练方法、车牌识别方法和装置。本申请提供的车牌识别模型的训练方法，包括：构建训练样本集；其中，所述训练样本集包括多个样本子集，每个样本子集中的各个车牌样本所属的车牌类型相同；所述车牌样本包括预先采集到的原始车牌样本和对所述原始车牌样本扩增后得到的扩增车牌样本；从每个所述样本子集中选择目标数量个车牌样本，并利用选择好的车牌样本训练预先构建的车牌识别模型，直至所述车牌识别模型收敛。本申请提供的车牌识别模型的训练方法、车牌识别方法和装置，可提高训练好的车牌识别模型的泛化程序，提高其识别准确率。

Description

车牌识别模型的训练方法、车牌识别方法和装置
技术领域
本申请涉及图像识别领域，尤其涉及一种车牌识别模型的训练方法、车牌识别方法和装置。
背景技术
车牌识别作为智能交通***的重要组成部分，在车辆管理、车辆监控，交通流量监测、交通控制、被盗车辆及特种车辆的甄别等方面发挥着重要作用。目前，常采用预先训练好的车牌识别模型对车牌进行识别。
相关技术公开了一种车牌识别模型的训练方法，该方法包括：构建车牌识别模型；构建训练样本集；利用所述训练样本集训练所述车牌识别模型，得到训练好的车牌识别模型。其中，在利用所述训练样本集训练所述车牌识别模型时，在每轮迭代训练的过程中，从训练样本集中随机选择指定数量个车牌样本作为本轮训练用子训练样本集进行训练。
当采用上述方法训练车牌识别模型时，由于每轮迭代训练的过程中，子训练样本集是从训练样本中随机选择的。这样，针对某一类车牌类型，若属于该类车牌类型的车牌样本较少，这样，在一次迭代训练的过程中，子训练样本集中可能不包含属于该类车牌类型的车牌样本，即在该次训练过程中，该车牌类型的车牌样本没有被训练到。这样，将导致训练好的车牌识别模型泛化程度较低，该训练好的车牌识别模型对该类车牌类型的车牌的识别准确率较低。
发明内容
本申请提供一种车牌识别模型的训练方法、车牌识别方法和装置，以解决现有的训练方法训练好的车牌识别模型泛化程序较低，对某类车牌类型的车牌的识别准确率较低的问题。
本申请第一方面提供一种车牌识别模型的训练方法，所述方法包括：
构建训练样本集；其中，所述训练样本集包括多个样本子集，每个样本子集中的各个车牌样本所属的车牌类型相同；所述车牌样本包括预先采集到的原始车牌样本和对所述原始车牌样本扩增后得到的扩增车牌样本；
从每个所述样本子集中选择目标数量个车牌样本，并利用选择好的车牌样本训练预先构建的车牌识别模型，直至所述车牌识别模型收敛。
本申请第二方面提供一种车牌识别模型的训练装置，所述装置包括构建模块和训练模块；其中，
所述构建模块，用于构建训练样本集；其中，所述训练样本集包括多个样本子集，每个样本子集中的各个车牌样本所属的车牌类型相同；所述车牌样本包括预先采集到的原始车牌样本和对所述原始车牌样本扩增后得到的扩增车牌样本；
所述训练模块，用于从每个所述样本子集中选择目标数量个车牌样本，并利用选择好的车牌样本训练预先构建的车牌识别模型，直至所述车牌识别模型收敛。
本申请第三方面提供一种车牌识别方法，所述方法包括：
将待识别图像输入到已训练好的车牌识别模型中，所述车牌识别模型采用包含扩增车牌样本的车牌样本训练得到，所述车牌识别模型包括车牌区域检测网络、倾斜校正网络和识别网络，以由所述车牌识别模型通过车牌区域检测网络定位车牌所在的目标区域，并通过倾斜校正网络对所述目标区域进行空间变换，得到变换后的目标区域，以及通过识别网络对所述变换后的目标区域进行特征提取，得到第一特征图，并对所述第一特征图进行识别后输出识别结果；
获取所述车牌识别模型输出的识别结果。
本申请第四方面提供一种车牌识别装置，所述装置包括识别模块和获取模块，其中，
所述识别模块，用于将待识别图像输入到已训练好的车牌识别模型中，所述车牌识别模型采用包含扩增车牌样本的车牌样本训练得到，所述车牌识别模型包括车牌区域检测网络、倾斜校正网络和识别网络，以由所述车牌识别模型通过车牌区域检测网络定位车牌所在的目标区域，并通过倾斜校正网络对所述目标区域进行空间变换，得到变换后的目标区域，以及通过识别网络对所述变换后的目标区域进行特征提取，得到第一特征图，并对所述第一特征图进行识别后输出识别结果；
所述获取模块，用于获取所述车牌识别模型输出的识别结果。
本申请提供的车牌识别模型的训练方法和装置，通过构建训练样本集，其中，所述训练样本集包括多个样本子集，每个样本子集中的各个车牌样本所属的车牌类型相同；所述车牌样本包括预先采集到的原始车牌样本和对所述原始车牌样本扩增后得到的扩增车牌样本；进而从每个所述样本子集中选择目标数量个车牌样本，并利用选择好的车牌样本训练预先构建的车牌识别模型，直至所述车牌识别模型收敛。这样，可保证每轮训练时用到的子训练样本集均包含每类车辆类型的车牌样本，进而保证每类车牌类型均能够在每轮训练中被训练到。这样，可提高训练好的车牌识别模型的泛化程度，提高其对各类车辆类型的车牌的识别准备率。
附图说明
图1为本申请一示例性实施例示出的车牌的示意图；
图2为本申请提供的车牌识别模型的训练方法实施例一的流程图；
图3为本申请一示例性实施例示出的通过字符变换得到的扩增车牌样本的示意图；
图4为本申请一示例性实施例示出的车牌识别模型的结构示意图；
图5为本申请一示例性实施例示出的从每个样本子集中选择目标数量个车牌样本的实现流程图；
图6为本申请提供的车牌识别方法实施例一的流程图；
图7为本申请一示例性实施例示出的车牌识别模型对待识别图像进行识别的实现原理图；
图8为本申请提供的车牌识别模型的训练装置实施例一的结构示意图；
图9为本申请提供的车牌识别装置实施例一的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
车牌作为车辆的“身份证”，常用于标识机动车。目前，车牌识别技术已被广泛应用于卡口、停车场和智能交通等场景中，以获取场景内机动车的车牌，对机动车进行管理。
大部分车牌由数字和字母组成，但是，部分国家的车牌除了包含数字和字母外，还包含特殊字符，这些特殊字符虽然在车牌中出现的位置不固定，但是，车牌本身具有固定的模式。图1为本申请一示例性实施例示出的车牌的示意图。请参照图1，中国车牌分为两种车牌类型(图1中的A类和B类)，韩国车牌分为五种车牌类型，泰国车牌分别三种车牌类型等。需要说明的是，车牌类型指车牌所属国家或地区以及所属子类的类型标记。
目前，常采用预先训练好的车牌识别模型对车牌进行识别。相关技术公开了一种车牌识别模型的训练方法，该方法包括：构建车牌识别模型；构建训练样本集；利用所述训练样本集训练所述车牌识别模型，得到训练好的车牌识别模型。其中，在利用所述训练样本集训练所述车牌识别模型时，在每轮迭代训练的过程中，从训练样本集中随机选择指定数量个车牌样本作为本轮训练用子训练样本集进行训练。
当采用上述方法训练车牌识别模型时，由于每轮迭代训练的过程中，子训练样本集是从训练样本中随机选择的。这样，针对某一类车牌类型，若属于该类车牌类型的车牌样本较少，这样，在一次迭代训练的过程中，子训练样本集中可能不包含属于该车牌类型的车牌样本，即在该次训练过程中，该车牌类型的车牌样本没有被训练到。这样，将导致训练好的车牌识别模型泛化程度较低，训练好的车牌识别模型对该类车牌类型的车牌的识别准确率较低。
本申请提供一种车牌识别模型的训练方法、车牌识别方法和装置，以解决现有的训练方法训练好的车牌识别模型泛化程序较低，对某类车牌类型的车牌的识别准确率较低的问题。
下面给出几个具体的实施例，用以详细介绍本申请的技术方案，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图2为本申请提供的车牌识别模型的训练方法实施例一的流程图。请参照图2，本申请提供的方法，可以包括：
S201、构建训练样本集；其中，上述训练样本集包括多个样本子集，每个样本子集中的各个车牌样本所属的车牌类型相同；上述车牌样本包括预先采集到的原始车牌样本和对上述原始车牌样本扩增后得到的扩增车牌样本。
进一步地，该步骤的具体实现过程，可以包括：采集原始车牌样本；依据预先在上述原始车牌样本上标注的车牌类型；将各个原始样本按照车牌类型分类保存，得到多个样本子集；针对每个样本子集，统计该样本子集包含的车牌样本的数量，并在该样本子集包含的车牌样本的数量小于预设阈值时，对该样本子集包含的车牌样本进行样本扩增，进而将样本扩增后得到的扩增车牌样本存储在该样本子集。最后，将所有的样本子集确定为构建好的训练样本集。
可选地，在本申请一可能的实现方式中，所述扩增车牌样本通过以下至少一种车牌样本扩增方法得到：仿射变换、扰动裁剪和字符交换。
需要说明的是，有关放射变换、扰动裁剪和字符交换的具体实现原理和实现方法，可以参见相关技术中的描述，此处不再赘述。例如，图3为本申请一示例性实施例示出的通过字符变换得到的扩增车牌样本的示意图。请参照图3，针对车牌样本较少的车牌类型，可通过字符变换对原始车牌样本进行样本扩增，得到扩增车牌样本，以增加该车牌类型的车牌样本的数量。
这样，当属于某类车辆类别的车牌样本较少时，通过样本扩增，可增加属于该类车牌类别的车牌样本的数量。这样，采用该训练样本集训练车牌识别模型后，由于训练样本较充足，可提高训练好的车牌识别模型的泛化程度，提高其识别准确率。
S202、从每个上述样本子集中选择目标数量个车牌样本，并利用选择好的车牌样本训练预先构建的车牌识别模型，直至上述车牌识别模型收敛。
需要说明的是，图4为本申请一示例性实施例示出的车牌识别模型的结构示意图。请参照图4，本申请提供的车牌识别模型，由三个级联的神经网络组成，这三个级联的神经网络分别为车牌区域检测网络、倾斜校正网络和识别网络，其中，上述车牌区域检测网络，用于从待识别图像中定位车牌所在的目标区域；上述倾斜校正网络，用于对上述目标区域进行空间变换；上述识别网络，根据实际需要，可用于对车牌进行识别，输出该车牌的文本内容和/或该车牌所属的车牌类型。本实施例中，不对此进行限定。即该识别网络包括以下至少一个网络：字符识别网络和车牌类型识别网络。其中，字符识别网络，用于对车牌进行识别输出该车牌的文本内容；车牌类型识别网络，用于输出该车牌所属的车牌类型。
具体的，图5为本申请一示例性实施例示出的从每个样本子集中选择目标数量个车牌样本的实现流程图。请参照图5，从每个样本子集中选择目标数量个车牌样本，可以包括：
S501、针对每类车牌类型，计算上述训练样本集中该类车牌类型的车牌样本所占的比例。
例如，一实施例中，训练样本集共包含8个样本子集，每个样本子集中的各个车牌样本所属的车牌类型相同。本步骤中，可统计每个样本子集包含的车牌样本的数量，进而得到该训练样本集包含的车牌样本的总数量，从而得到上述训练样本集中每类车牌类型的车牌样本所占的比例。例如，表1为一示例性实施例示出的计算得到的训练样本集中每类车牌类型的车牌样本所占的比例，其中，mi为第i个样本子集(对应第i类车牌类型)包含的车牌样本的数量；bi为计算得到的训练样本集中第i类车牌类型的车牌样本所占的比例。
表1训练样本集每类车牌类型的车牌样本所占的比例
车牌类别 1 2 3 4 5 6 7 8
mi 1000 200 3000 4000 100 450 100 900
bi 0.1 0.02 0.31 0.41 0.01 0.05 0.01 0.09
S502、依据预设的本轮训练用子训练样本集需包含的车牌样本的数目和计算出的上述训练样本集中该类车牌类型的车牌样本所占的比例，确定本轮训练用子训练样本集中该类车牌类型的车牌样本的目标数量。
具体的，预设的本轮训练用子训练样本集需包含的车牌样本的数目是根据实际需要设定的，本实施例中，不对此进行限定，例如，一实施例中，预设的本轮训练用子训练样本集需包含的车牌样本的数目为100。
进一步的，按照如下公式确定本轮训练用子训练样本集中该类车牌类型的车牌样本的目标数量：
Ai＝[x*bi]
其中，x为预设的本轮训练用子训练样本集需包含的车牌样本的数目；A为本轮训练用子训练样本集中第i类车牌类型的车牌样本的目标数量。
结合上面的例子，针对车牌类别1，确定本轮训练用子训练样本集中该类车牌类型的车牌样本的目标数量为10张。针对车牌类别2至8，确定本轮训练用子训练样本集中该类车牌类型的车牌样本的目标数量分别为2张、31张、41张、1张、5张、1张、9张。
S503、从该类车牌类型对应的样本子集中选择上述目标数量个车牌样本。
结合上面的例子，从样本子集1中选择10张车牌样本，从样本子集2至8中分别选择2张、31张、41张、1张、5张、1张、9张车牌样本，一共选出100张车牌样本，这100张车牌样本构成上述子训练样本集。
需要说明的是，本实施例提供的方法，在从训练样本集中选择本轮训练用子训练样本时，不再随机选择，而是从每个样本子集中选择目标数量个车牌样本。这样，可保证子训练样本中包含每类车牌类型的车牌样本，可保证每类车牌类型均能够在每轮训练中被训练到。这样，可提高训练好的车牌识别模型的泛化程度，提高其对各类车辆类型的车牌的识别准备率。
需要说明的是，车牌识别模型收敛可以是迭代次数达到预设次数或者是损失小于预设阈值。本实施例中，不对此进行限定。
可选地，在本申请一可能的实现方式中，利用选择好的车牌样本训练预先构建的车牌识别模型的损失函数为：
FL(pt)＝-ai(1-pt)rlog(pt)
其中，所述FL(pt)为第i个车牌样本对应的误差；
所述pt为第i个车牌样本的预测值；
所述ai为第i个车牌样本所属的车牌类型对应的损失权重；其中，所述训练样本集中包含的该车牌类型的车牌样本的数量越多，该车牌类型对应的损失权重越小；
所述r为指定值。
具体的，指定值是根据实际需要设定的，本实施例中，不对此进行限定，例如，一实施例中，指定值为2。
需要说明的是，第i个车牌样本所属的车牌类型对应的损失权重是预先设定好的。针对每类车牌类型，若训练样本集中包含的该车牌类型的车牌样本的数量越多，则该车牌类型对应的损失权重越小。即若训练样本集中包含的该车牌类型的车牌样本的数量越多，则给该车牌类型一较小的损失权重；若训练样本集中包含的该车牌类型的车牌样本的数量越小，则给该车牌类型一较大的损失权重。这样，当各车牌类型的车牌样本不均衡时，通过该方法，可使各车牌类型的车牌样本在训练的过程中贡献应有的损失，避免属于某一类车牌类型的车牌样本较少时，该类车牌样本被其他类别的车牌样本覆盖的问题。这样，可提高训练好的车牌识别模型的泛化程度，提高其识别准确率。
本实施例提供的车牌识别模型的训练方法，通过改变损失函数，可提高训练好的车牌识别模型的泛化程序，提高其识别准确率。
本实施例提供的方法，通过构建训练样本集，其中，所述训练样本集包括多个样本子集，每个样本子集中的各个车牌样本所属的车牌类型相同；所述车牌样本包括预先采集到的原始车牌样本和对所述原始车牌样本扩增后得到的扩增车牌样本；进而从每个所述样本子集中选择目标数量个车牌样本，并利用选择好的车牌样本训练预先构建的车牌识别模型，直至所述车牌识别模型收敛。这样，可保证每轮训练时用到的子训练样本集均包含每类车辆类型的车牌样本，进而保证每类车牌类型均能够在每轮训练中被训练到。这样，可提高训练好的车牌识别模型的泛化程度，提高其对各类车辆类型的车牌的识别准备率。
上面对本申请提供的车牌识别模型的训练方法进行了介绍，下面对本申请提供的车牌识别方法进行介绍：
图6为本申请提供的车牌识别方法实施例一的流程图。请参照图6，本申请提供的车牌识别方法，可以包括：
S601、将待识别图像输入到已训练好的车牌识别模型中，上述车牌识别模型采用包含扩增车牌样本的车牌样本训练得到，上述车牌识别模型包括车牌区域检测网络、倾斜校正网络和识别网络，以由上述车牌识别模型通过车牌区域检测网络定位车牌所在的目标区域，并通过倾斜校正网络对上述目标区域进行空间变换，得到变换后的目标区域，以及通过识别网络对上述变换后的目标区域进行特征提取，得到第一特征图，并对上述第一特征图进行识别后输出识别结果。
S602、获取上述车牌识别模型输出的识别结果。
具体的，图7为本申请一示例性实施例示出的车牌识别模型对待识别图像进行识别的实现原理图。请参照图6和图7，该车牌识别模型对待识别图像进行识别的步骤，可以包括：从待识别图像中定位车牌所在的目标区域；对上述目标区域进行空间变换，得到变换后的目标区域；对上述变换后的目标区域进行特征提取，得到第一特征图，并对所述第一特征图进行识别后输出识别结果。
需要说明的是，车牌区域检测网络可以为FR-CNN网络或YOLO网络等。有关该车牌区域检测网络的具体结构和实现原理可以参见相关技术中的描述，此处不再赘述。
进一步地，倾斜校正网络可以为STN网络，有关该网络的具体结构和实现原理可以参见相关技术中的描述，此处不再赘述。
进一步地，在本申请一可能的实现方式中，识别网络可以包括字符识别网络，所述对所述第一特征图进行识别后输出识别结果，包括：
对第一特征图进行序列化，得到特征序列，并对所述特征序列进行编码处理，得到编码结果，以及对所述编码结果进行解码后输出识别出的车牌号码。
具体的，该字符识别网络可以为注意力模型，有关注意力模型对第一特征图进行识别的具体实现原理可以参见相关技术中的描述，此处不再赘述。
此外，在本申请另一可能的实现方式中，该识别网络可以包括车牌类型识别网络，所述对所述第一特征图进行识别后输出识别结果，包括：
对所述第一特征图进行分类后输出所述待识别图像中的车牌属于各预设车牌类型的概率，并将最大概率对应的预设车牌类型确定为所述待识别图像中的车牌所属的车牌类型。
具体的，该车牌类型识别网络可以为分类模型，有关分类模型对第一特征图进行识别的具体实现原理可以参见相关技术中的描述，此处不再赘述。
本实施例提供的车牌识别方法，车牌识别模型采用包含扩增车牌样本的车牌样本训练得到，这样，通过该车牌识别模型进行识别时，可提供识别准确率。
下面对本申请提供的车牌识别模型的训练装置和车牌识别装置进行介绍：
图8为本申请提供的车牌识别模型的训练装置实施例一的结构示意图。请参照图8，本实施例提供的装置，可以包括构建模块810和训练模块820；其中，所述构建模块810，用于构建训练样本集；其中，所述训练样本集包括多个样本子集，每个样本子集中的各个车牌样本所属的车牌类型相同；所述车牌样本包括预先采集到的原始车牌样本和对所述原始车牌样本扩增后得到的扩增车牌样本；
所述训练模块820，用于从每个所述样本子集中选择目标数量个车牌样本，并利用选择好的车牌样本训练预先构建的车牌识别模型，直至所述车牌识别模型收敛。
进一步地，所述训练模块820，具体用于：
针对每类车牌类型，计算所述训练样本集中该类车牌类型的车牌样本所占的比例；
依据预设的本轮训练用子训练样本集需包含的车牌样本的数量和计算出的所述训练样本集中该类车牌类型的车牌样本所占的比例，确定本轮训练用子训练样本集中该类车牌类型的车牌样本的目标数量；
从该类车牌类型对应的样本子集中选择所述目标数量个车牌样本。
进一步地，所述扩增车牌样本通过以下至少一种车牌样本扩增方法得到：仿射变换、扰动裁剪和字符交换。
进一步地，所述车牌识别模型包括车牌区域检测网络、倾斜校正网络和识别网络；所述识别网络包括以下至少一个网络：字符识别网络和车牌类型识别网络。
图9为本申请提供车牌识别装置实施例一的结构示意图。请参照图9，本申请提供车牌识别装置，包括识别模块910和获取模块920，其中，
所述识别模块910，用于将待识别图像输入到已训练好的车牌识别模型中，所述车牌识别模型采用包含扩增车牌样本的车牌样本训练得到，所述车牌识别模型包括车牌区域检测网络、倾斜校正网络和识别网络，以由所述车牌识别模型通过车牌区域检测网络定位车牌所在的目标区域，并通过倾斜校正网络对所述目标区域进行空间变换，得到变换后的目标区域，以及通过识别网络对所述变换后的目标区域进行特征提取，得到第一特征图，并对所述第一特征图进行识别后输出识别结果；
所述获取模块920，用于获取所述车牌识别模型输出的识别结果。
进一步地，所述识别网络包括字符识别网络，所述对所述第一特征图进行识别后输出识别结果，包括：
对第一特征图进行序列化，得到特征序列，并对所述特征序列进行编码处理，得到编码结果，以及对所述编码结果进行解码后输出识别出的车牌号码。
进一步地，所述识别网络包括车牌类型识别网络，所述对所述第一特征图进行识别后输出识别结果，包括：
对所述第一特征图进行分类后输出所述待识别图像中的车牌属于各预设车牌类型的概率，并将最大概率对应的预设车牌类型确定为所述待识别图像中的车牌所属的车牌类型。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种车牌识别模型的训练方法，其特征在于，所述方法包括：
构建训练样本集；其中，所述训练样本集包括多个样本子集，每个样本子集中的各个车牌样本所属的车牌类型相同；所述车牌样本包括预先采集到的原始车牌样本和对所述原始车牌样本扩增后得到的扩增车牌样本；
从每个所述样本子集中选择目标数量个车牌样本，并利用选择好的车牌样本训练预先构建的车牌识别模型，直至所述车牌识别模型收敛。
2.根据权利要求1所述的方法，其特征在于，所述从每个样本子集中选择目标数量个车牌样本，包括：
针对每类车牌类型，计算所述训练样本集中该类车牌类型的车牌样本所占的比例；
依据预设的本轮训练用子训练样本集需包含的车牌样本的数量和计算出的所述训练样本集中该类车牌类型的车牌样本所占的比例，确定本轮训练用子训练样本集中该类车牌类型的车牌样本的目标数量；
从该类车牌类型对应的样本子集中选择所述目标数量个车牌样本。
3.根据权利要求1所述的方法，其特征在于，所述扩增车牌样本通过以下至少一种车牌样本扩增方法得到：仿射变换、扰动裁剪和字符交换。
4.根据权利要求1所述的方法，其特征在于，所述车牌识别模型包括车牌区域检测网络、倾斜校正网络和识别网络；所述识别网络包括以下至少一个网络：字符识别网络和车牌类型识别网络。
5.一种车牌识别方法，其特征在于，所述方法包括：
将待识别图像输入到已训练好的车牌识别模型中，所述车牌识别模型采用包含扩增车牌样本的车牌样本训练得到，所述车牌识别模型包括车牌区域检测网络、倾斜校正网络和识别网络，以由所述车牌识别模型通过车牌区域检测网络定位车牌所在的目标区域，并通过倾斜校正网络对所述目标区域进行空间变换，得到变换后的目标区域，以及通过识别网络对所述变换后的目标区域进行特征提取，得到第一特征图，并对所述第一特征图进行识别后输出识别结果；
获取所述车牌识别模型输出的识别结果。
6.根据权利要求5所述的方法，其特征在于，所述识别网络包括字符识别网络，所述对所述第一特征图进行识别后输出识别结果，包括：
对第一特征图进行序列化，得到特征序列，并对所述特征序列进行编码处理，得到编码结果，以及对所述编码结果进行解码后输出识别出的车牌号码。
7.根据权利要求5或6所述的方法，其特征在于，所述识别网络包括车牌类型识别网络，所述对所述第一特征图进行识别后输出识别结果，包括：
对所述第一特征图进行分类后输出所述待识别图像中的车牌属于各预设车牌类型的概率，并将最大概率对应的预设车牌类型确定为所述待识别图像中的车牌所属的车牌类型。
8.一种车牌识别模型的训练装置，其特征在于，所述装置包括构建模块和训练模块，其中，
所述构建模块，用于构建训练样本集；其中，所述训练样本集包括多个样本子集，每个样本子集中的各个车牌样本所属的车牌类型相同；所述车牌样本包括预先采集到的原始车牌样本和对所述原始车牌样本扩增后得到的扩增车牌样本；
所述训练模块，用于从每个所述样本子集中选择目标数量个车牌样本，并利用选择好的车牌样本训练预先构建的车牌识别模型，直至所述车牌识别模型收敛。
9.一种车牌识别装置，其特征在于，所述装置包括识别模块和获取模块，其中，
所述识别模块，用于将待识别图像输入到已训练好的车牌识别模型中，所述车牌识别模型采用包含扩增车牌样本的车牌样本训练得到，所述车牌识别模型包括车牌区域检测网络、倾斜校正网络和识别网络，以由所述车牌识别模型通过车牌区域检测网络定位车牌所在的目标区域，并通过倾斜校正网络对所述目标区域进行空间变换，得到变换后的目标区域，以及通过识别网络对所述变换后的目标区域进行特征提取，得到第一特征图，并对所述第一特征图进行识别后输出识别结果；
所述获取模块，用于获取所述车牌识别模型输出的识别结果。
10.根据权利要求9所述的装置，其特征在于，所述识别网络包括字符识别网络，所述对所述第一特征图进行识别后输出识别结果，包括：
对第一特征图进行序列化，得到特征序列，并对所述特征序列进行编码处理，得到编码结果，以及对所述编码结果进行解码后输出识别出的车牌号码。
CN201811184621.4A 2018-10-11 2018-10-11 车牌识别模型的训练方法、车牌识别方法和装置 Pending CN111046891A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811184621.4A CN111046891A (zh) 2018-10-11 2018-10-11 车牌识别模型的训练方法、车牌识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811184621.4A CN111046891A (zh) 2018-10-11 2018-10-11 车牌识别模型的训练方法、车牌识别方法和装置

Publications (1)

Publication Number Publication Date
CN111046891A true CN111046891A (zh) 2020-04-21

Family

ID=70229197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811184621.4A Pending CN111046891A (zh) 2018-10-11 2018-10-11 车牌识别模型的训练方法、车牌识别方法和装置

Country Status (1)

Country Link
CN (1) CN111046891A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580643A (zh) * 2020-12-09 2021-03-30 浙江智慧视频安防创新中心有限公司 一种基于深度学习的车牌识别方法、装置及存储介质
CN112580643B (zh) * 2020-12-09 2024-07-16 浙江智慧视频安防创新中心有限公司 一种基于深度学习的车牌识别方法、装置及存储介质

Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1419214A (zh) * 2002-12-23 2003-05-21 北京邮电大学 用于文字识别的训练样本自动挑选装置及其方法
US20130097103A1 (en) * 2011-10-14 2013-04-18 International Business Machines Corporation Techniques for Generating Balanced and Class-Independent Training Data From Unlabeled Data Set
CN104462301A (zh) * 2014-11-28 2015-03-25 北京奇虎科技有限公司 一种网络数据的处理方法和装置
CN104616029A (zh) * 2014-12-29 2015-05-13 小米科技有限责任公司 数据分类方法及装置
CN105373606A (zh) * 2015-11-11 2016-03-02 重庆邮电大学 一种改进c4.5决策树算法下的不平衡数据抽样方法
US9418305B1 (en) * 2015-04-29 2016-08-16 Xerox Corporation Segmentation free approach to automatic license plate recognition
CN106295541A (zh) * 2016-08-03 2017-01-04 乐视控股（北京）有限公司 车辆类型识别方法及***
CN106529598A (zh) * 2016-11-11 2017-03-22 北京工业大学 一种基于不均衡医疗图像数据集的分类方法与***
KR20170034258A (ko) * 2015-09-18 2017-03-28 삼성전자주식회사 모델 학습 방법 및 장치, 및 데이터 인식 방법
CN106548210A (zh) * 2016-10-31 2017-03-29 腾讯科技（深圳）有限公司 机器学习模型训练方法及装置
CN106548196A (zh) * 2016-10-20 2017-03-29 中国科学院深圳先进技术研究院 一种针对非平衡数据的随机森林抽样方法及装置
CN106778583A (zh) * 2016-12-07 2017-05-31 北京理工大学 基于卷积神经网络的车辆属性识别方法与装置
CN106874907A (zh) * 2017-01-19 2017-06-20 博康智能信息技术有限公司北京海淀分公司 一种建立车牌识别模型的方法及装置
US20170323202A1 (en) * 2016-05-06 2017-11-09 Fujitsu Limited Recognition apparatus based on deep neural network, training apparatus and methods thereof
CN107506759A (zh) * 2016-06-14 2017-12-22 杭州海康威视数字技术股份有限公司 一种机动车品牌识别方法及装置
CN107563385A (zh) * 2017-09-02 2018-01-09 西安电子科技大学 基于深度卷积生成式对抗网络的车牌字符识别方法
CN107590500A (zh) * 2017-07-20 2018-01-16 济南中维世纪科技有限公司 一种基于色彩投影分类的车牌颜色识别方法及装置
WO2018090771A1 (zh) * 2016-11-16 2018-05-24 杭州海康威视数字技术股份有限公司 一种车牌识别方法及装置
CN108171175A (zh) * 2017-12-29 2018-06-15 苏州科达科技股份有限公司 一种深度学习样本增强***及其运行方法
CN108171280A (zh) * 2018-01-31 2018-06-15 国信优易数据有限公司 一种分类器构建方法及预测分类的方法
CN108229676A (zh) * 2017-05-18 2018-06-29 北京市商汤科技开发有限公司 神经网络模型的训练方法和装置、电子设备和计算机存储介质
CN108389201A (zh) * 2018-03-16 2018-08-10 北京推想科技有限公司 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法
CN108460328A (zh) * 2018-01-15 2018-08-28 浙江工业大学 一种基于多任务卷积神经网络的***检测方法
CN108460421A (zh) * 2018-03-13 2018-08-28 中南大学 不平衡数据的分类方法
CN108520220A (zh) * 2018-03-30 2018-09-11 百度在线网络技术（北京）有限公司 模型生成方法和装置
CN108537223A (zh) * 2018-04-16 2018-09-14 广东工业大学 一种车牌检测方法、***及设备和存储介质
CN108596199A (zh) * 2017-12-29 2018-09-28 北京交通大学 基于EasyEnsemble算法和SMOTE算法的不均衡数据分类方法
CN108628971A (zh) * 2018-04-24 2018-10-09 深圳前海微众银行股份有限公司 不均衡数据集的文本分类方法、文本分类器及存储介质

Patent Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1419214A (zh) * 2002-12-23 2003-05-21 北京邮电大学 用于文字识别的训练样本自动挑选装置及其方法
US20130097103A1 (en) * 2011-10-14 2013-04-18 International Business Machines Corporation Techniques for Generating Balanced and Class-Independent Training Data From Unlabeled Data Set
CN104462301A (zh) * 2014-11-28 2015-03-25 北京奇虎科技有限公司 一种网络数据的处理方法和装置
CN104616029A (zh) * 2014-12-29 2015-05-13 小米科技有限责任公司 数据分类方法及装置
US9418305B1 (en) * 2015-04-29 2016-08-16 Xerox Corporation Segmentation free approach to automatic license plate recognition
KR20170034258A (ko) * 2015-09-18 2017-03-28 삼성전자주식회사 모델 학습 방법 및 장치, 및 데이터 인식 방법
CN105373606A (zh) * 2015-11-11 2016-03-02 重庆邮电大学 一种改进c4.5决策树算法下的不平衡数据抽样方法
US20170323202A1 (en) * 2016-05-06 2017-11-09 Fujitsu Limited Recognition apparatus based on deep neural network, training apparatus and methods thereof
CN107506759A (zh) * 2016-06-14 2017-12-22 杭州海康威视数字技术股份有限公司 一种机动车品牌识别方法及装置
CN106295541A (zh) * 2016-08-03 2017-01-04 乐视控股（北京）有限公司 车辆类型识别方法及***
CN106548196A (zh) * 2016-10-20 2017-03-29 中国科学院深圳先进技术研究院 一种针对非平衡数据的随机森林抽样方法及装置
CN106548210A (zh) * 2016-10-31 2017-03-29 腾讯科技（深圳）有限公司 机器学习模型训练方法及装置
CN106529598A (zh) * 2016-11-11 2017-03-22 北京工业大学 一种基于不均衡医疗图像数据集的分类方法与***
WO2018090771A1 (zh) * 2016-11-16 2018-05-24 杭州海康威视数字技术股份有限公司 一种车牌识别方法及装置
CN106778583A (zh) * 2016-12-07 2017-05-31 北京理工大学 基于卷积神经网络的车辆属性识别方法与装置
CN106874907A (zh) * 2017-01-19 2017-06-20 博康智能信息技术有限公司北京海淀分公司 一种建立车牌识别模型的方法及装置
CN108229676A (zh) * 2017-05-18 2018-06-29 北京市商汤科技开发有限公司 神经网络模型的训练方法和装置、电子设备和计算机存储介质
CN107590500A (zh) * 2017-07-20 2018-01-16 济南中维世纪科技有限公司 一种基于色彩投影分类的车牌颜色识别方法及装置
CN107563385A (zh) * 2017-09-02 2018-01-09 西安电子科技大学 基于深度卷积生成式对抗网络的车牌字符识别方法
CN108171175A (zh) * 2017-12-29 2018-06-15 苏州科达科技股份有限公司 一种深度学习样本增强***及其运行方法
CN108596199A (zh) * 2017-12-29 2018-09-28 北京交通大学 基于EasyEnsemble算法和SMOTE算法的不均衡数据分类方法
CN108460328A (zh) * 2018-01-15 2018-08-28 浙江工业大学 一种基于多任务卷积神经网络的***检测方法
CN108171280A (zh) * 2018-01-31 2018-06-15 国信优易数据有限公司 一种分类器构建方法及预测分类的方法
CN108460421A (zh) * 2018-03-13 2018-08-28 中南大学 不平衡数据的分类方法
CN108389201A (zh) * 2018-03-16 2018-08-10 北京推想科技有限公司 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法
CN108520220A (zh) * 2018-03-30 2018-09-11 百度在线网络技术（北京）有限公司 模型生成方法和装置
CN108537223A (zh) * 2018-04-16 2018-09-14 广东工业大学 一种车牌检测方法、***及设备和存储介质
CN108628971A (zh) * 2018-04-24 2018-10-09 深圳前海微众银行股份有限公司 不均衡数据集的文本分类方法、文本分类器及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
何斯迈;金羽佳;王华;葛冬冬;: "在线学习方法综述:汤普森抽样和其他方法", 运筹学学报, no. 04 *
何艳芳，石丹林主编: "银行客户信用评级", 31 March 2002, 北京：中国商业出版社 , 2002.03, pages: 421 - 425 *
袁公萍; 汤一平; 韩旺明; 陈麒: "基于深度卷积神经网络的车型识别方法", 《浙江大学学报(工学版)》 *
袁公萍;汤一平;韩旺明;陈麒;: "基于深度卷积神经网络的车型识别方法", 浙江大学学报(工学版), no. 04 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580643A (zh) * 2020-12-09 2021-03-30 浙江智慧视频安防创新中心有限公司 一种基于深度学习的车牌识别方法、装置及存储介质
CN112580643B (zh) * 2020-12-09 2024-07-16 浙江智慧视频安防创新中心有限公司 一种基于深度学习的车牌识别方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN108846835B (zh) 基于深度可分离卷积网络的图像变化检测方法
CN109271991B (zh) 一种基于深度学习的车牌检测方法
CN109523790B (zh) 一种基于车牌相似度的车牌纠错方法
CN105512660A (zh) 车牌号码识别方法及装置
CN109325418A (zh) 基于改进YOLOv3的道路交通环境下行人识别方法
CN110956169A (zh) 一种车牌识别方法、装置及电子设备
CN102388392A (zh) 模式识别设备
CN103164701B (zh) 手写体数字识别方法及装置
CN102346847A (zh) 一种支持向量机的车牌字符识别方法
CN109740040B (zh) 验证码识别方法、装置、存储介质和计算机设备
CN111507385B (zh) 一种可扩展的网络攻击行为分类方法
CN106033443B (zh) 一种车辆检索中的扩展查询方法及装置
CN106843941A (zh) 信息处理方法、装置和计算机设备
CN111368862A (zh) 室内外标记的区分方法、分类器的训练方法及设备和介质
CN107292302A (zh) 检测图片中兴趣点的方法和***
CN108537223B (zh) 一种车牌检测方法、***及设备和存储介质
CN111858977B (zh) 票据信息采集方法、装置、计算机设备和存储介质
CN110969176B (zh) 一种车牌样本扩增方法、装置和计算机设备
CN114187036A (zh) 一种基于行为特征识别的互联网广告智能推荐管理***
CN116524725B (zh) 一种智能驾驶的交通标志图像数据识别***
CN111046891A (zh) 车牌识别模型的训练方法、车牌识别方法和装置
CN114581761A (zh) 遥感图像识别方法、装置、设备和计算机可读存储介质
CN111126420B (zh) 一种建立识别模型的方法及装置
CN104699747B (zh) 一种基于高维数据过滤器的近似成员查询方法
US11386340B2 (en) Method and apparatus for performing block retrieval on block to be processed of urine sediment image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination