CN110598709A - 一种卷积神经网络训练方法以及车牌识别方法及装置 - Google Patents

一种卷积神经网络训练方法以及车牌识别方法及装置 Download PDF

Info

Publication number
CN110598709A
CN110598709A CN201910738128.0A CN201910738128A CN110598709A CN 110598709 A CN110598709 A CN 110598709A CN 201910738128 A CN201910738128 A CN 201910738128A CN 110598709 A CN110598709 A CN 110598709A
Authority
CN
China
Prior art keywords
squashnet
layer
feature
convolution
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910738128.0A
Other languages
English (en)
Other versions
CN110598709B (zh
Inventor
彭晓帅
李文杰
班华忠
王正
崔凯
康毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhi Xinyuandong Science And Technology Ltd
Original Assignee
Beijing Zhi Xinyuandong Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhi Xinyuandong Science And Technology Ltd filed Critical Beijing Zhi Xinyuandong Science And Technology Ltd
Priority to CN201910738128.0A priority Critical patent/CN110598709B/zh
Publication of CN110598709A publication Critical patent/CN110598709A/zh
Application granted granted Critical
Publication of CN110598709B publication Critical patent/CN110598709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种卷积神经网络训练方法，该方法包括：将已标注目标信息的图像作为输入图像；采用SquashNet网络中的卷积层对输入图像进行处理；采用SquashNet网络中的SquashNet层对特征图进行处理；将经过SquashNet层的特征向量输入归一化层，对归一化后的结果采用卷积层或者SquashNet网络进行N4次的处理，将N4次处理后的特征向量连接到全连接层，采用损失函数计算训练样本与真实样本的损失函数值，并进行反向迭代直至模型收敛。还提供了一种基于卷积神经网络训练的车牌识别方法，与现有车牌识别技术相比，本发明基于SquashNet网络，网络结构简单，能较好的提取车牌图像的特征，解决低质量图像中的车牌识别问题。

Description

一种卷积神经网络训练方法以及车牌识别方法及装置
技术领域
本发明涉及图像处理、视频监控以及智慧交通，特别涉及一种卷积神经网络训练方法以及车牌识别方法及装置。
背景技术
随着城市的日益现代化，机动车的保有量持续增加，智能交通***发挥着越来越重要的作用。车牌识别技术是现代智能交通***的重要组成部分，有着十分广泛的应用。
随着卷积神经网络的日益发展，其在文字识别、车牌内容识别等相关领域已被广泛使用。
然而由于现实场景中存在顺逆光照、运动模糊、噪声干扰等成像问题，现有的基于卷积神经网络的车牌识别方法存在以下缺点：(1)车牌内容识别准确率不高，对于一些成像质量比较低的车牌图像识别效果比较差；(2)网络结构复杂，计算量极大，对于运行设备RAM与ROM需求量较大，难以在一些低端平台实现高效检测。
综上所述，目前迫切需要提出一种卷积神经网络训练方法以及车牌识别方法及装置。
发明内容
有鉴于此，本发明的主要目的在于提供一种卷积神经网络的训练方法，能够降低计算量的同时，提高低质量图像的识别率。
为达到上述目的，按照本发明的第一个方面，提供了一种车牌的多尺度定位融合方法，该方法包括：
第一步骤，将已标注目标信息的图像作为输入图像；
第二步骤，采用SquashNet网络中的卷积层对输入图像进行处理，包括：对输入图像进行N1次的卷积操作，获取输入图像的特征图；
第三步骤，采用SquashNet网络中的SquashNet层对特征图进行处理，包括：对特征图进行1*1*N2维的归一化卷积处理，获得归一化卷积的特征向量；将特征向量输入3*3*N3、5*5*N3、7*7*N3中任意两种尺度卷积核组合进行卷积操作，获取对应卷积核的两种特征维度向量；将两种特征维度向量输入SquashNet层，获取经过SquashNet层的特征向量；
第四步骤，将经过SquashNet层的特征向量输入归一化Batch Normalization 层，对归一化后的结果采用卷积层或者SquashNet网络进行N4次的处理，将N4次处理后的特征向量连接到全连接层，采用损失函数计算训练样本与真实样本的损失函数值，并进行反向迭代直至模型收敛。
其中，SquashNet网络包括：卷积层和SquashNet层。
进一步地，所述第二步骤包括：对输入图像进行N1次的卷积操作，得到维度为W*H*C的特征图。其中，N1表示卷积操作的次数，W为卷积操作后特征图的宽度，H为卷积操作后特征图的高度，C为卷积操作后特征图的通道数。
进一步地，所述第三步骤包括：
归一化卷积处理步骤，分别将每个特征图经过1*1*N2维的归一化卷积处理，获得尺度统一为W*H*N2的归一化卷积的特征向量，其中N2表示归一化卷积处理中1*1卷积核的数量；
两种尺度卷积核组合卷积操作步骤，将尺度统一为W*H*N2的归一化卷积的特征向量输入3*3*N3、5*5*N3、7*7*N3中任意两种尺度卷积核组合进行卷积操作，获取对应卷积核的两种特征维度向量其中N3表示任意两种尺度卷积核组合进行卷积操作中3*3或者5*5或者7*7卷积核的数量；
特征表征向量获取步骤，将特征维度向量分别输入尺度为Wα|β*Hα|β的全局池化层，并经过全连接层与ReLU激活函数层，从而输出1*N3维特征表征向量
权重特征向量获取步骤，分别对特征表征向量进行降序排序，得到 1*N3维权重特征向量Weightα、Weightβ，以及每个权重特征在特征表征向量 中对应的排序号；
加权权重向量获取步骤，分别提取权重特征向量Weightα、Weightβ中各自前 50％所对应的权重值，并按照一一对应关系，对特征维度向量中排序前50％的特征通道值进行加权操作，获得加权权重向量加权权重向量特征融合步骤，按照比例系数θ1、θ2，对加权权重向量进行特征融合将特征融合结果作为经过SquashNet层的特征向量，其中θ1∈[0,1]、θ2∈[0,1]，并且θ1+θ2＝1。
其中，所述Weightα、Weightβ的初始运算中，按照高斯分布公式获取权重系数。其中，μ为位置参数，σ为尺度参数。
进一步地，所述第四步骤包括：
归一化层处理步骤，将经过SquashNet层的特征向量输入归一化BatchNormalization层，进行归一化处理，获得的归一化结果作为SquashNet层的归一化特征向量
损失值计算获取步骤，采用卷积层或者SquashNet网络，对SquashNet层的归一化特征向量进行N4次处理，获取N4次处理后的特征向量将N4处理的特征向量输入全连接层，获得最终特征向量Feature_End；将最终特征向量Feature_End与输入图像对应的标注信息输入到损失函数中，计算当前层级的训练样本与真实样本之间的损失函数值；
反向迭代步骤，通过BP反馈传播机制，对SquashNet网络中的参数进行调整，减少损失函数值，直至损失函数值收敛至预设损失值，确定当前迭代结束。
按照本发明的第二个方面，提供了一种车牌识别方法，该方法包括：
卷积神经网络训练步骤，将已标注车牌信息的图像作为样本图像，采用SquashNet网络对样本图像进行反复训练，直至模型收敛，获取收敛的车牌识别模型；
车牌区域检测步骤，采用车牌定位方法，获取待检测图像中的车牌区域；
车牌区域识别步骤，采用车牌识别模型对车牌区域进行识别，获取车牌识别结果。
其中，所述卷积神经网络训练步骤采用本申请所述的一种卷积神经网络训练方法实现。
按照本发明的第三个方面，提供了一种卷积神经网络训练装置包括：
图像输入模块，用于将已标注目标信息的图像作为输入图像；
SquashNet网络卷积层处理模块，用于采用SquashNet网络中的卷积层对输入图像进行处理，包括：对输入图像进行N1次的卷积操作，获取输入图像的特征图；
SquashNet网络SquashNet层处理模块，用于采用SquashNet网络中的 SquashNet层对特征图进行处理，包括：对特征图进行1*1*N2维的归一化卷积处理，获得归一化卷积的特征向量；将特征向量输入3*3*N3、5*5*N3、7*7*N3中任意两种尺度卷积核组合进行卷积操作，获取对应卷积核的两种特征维度向量；将两种特征维度向量输入SquashNet层，获取经过SquashNet层的特征向量；
训练迭代模块，用于将经过SquashNet层的特征向量输入归一化BatchNormalization层，对归一化后的结果采用卷积层或者SquashNet网络进行N4次的处理，将N4次处理后的特征向量连接到全连接层，采用损失函数计算训练样本与真实样本的损失函数值，并进行反向迭代直至模型收敛。
其中，SquashNet网络包括：卷积层和SquashNet层。
其中，已标注目标信息的图像为标有目标类别和目标位置信息的图像；所述 N1表示对输入图像进行卷积操作的次数，所述N4表示对归一化后的结果采用卷积层或者SquashNet网络进行处理的次数。
进一步地，所述SquashNet网络卷积层处理模块包括：用于对输入图像进行 N1次的卷积操作，得到维度为W*H*C的特征图；其中，N1表示卷积操作的次数，W为卷积操作后特征图的宽度，H为卷积操作后特征图的高度，C为卷积操作后特征图的通道数。
进一步地，所述SquashNet网络SquashNet层处理模块包括：
归一化卷积处理模块，用于分别将每个特征图经过1*1*N2维的归一化卷积处理，获得尺度统一为W*H*N2的归一化卷积的特征向量，其中N2表示归一化卷积处理中1*1卷积核的数量；
两种尺度卷积核组合卷积操作模块，用于将尺度统一为W*H*N2的归一化卷积的特征向量输入3*3*N3、5*5*N3、7*7*N3中任意两种尺度卷积核组合进行卷积操作，获取对应卷积核的两种特征维度向量其中N3表示任意两种尺度卷积核组合进行卷积操作中3*3或者5*5或者7*7卷积核的数量；
特征表征向量获取模块，用于将特征维度向量分别输入尺度为 Wα|β*Hα|β的全局池化层，并经过全连接层与ReLU激活函数层，从而输出1*N3维特征表征向量
权重特征向量获取模块，用于分别对特征表征向量进行降序排序，得到1*N3维权重特征向量Weightα、Weightβ，以及每个权重特征在特征表征向量中对应的排序号；
加权权重向量获取模块，用于分别提取权重特征向量Weightα、Weightβ中各自前50％所对应的权重值，并按照一一对应关系，对特征维度向量中排序前50％的特征通道值进行加权操作，获得加权权重向量
加权权重向量特征融合模块，用于按照比例系数θ1、θ2，对加权权重向量 进行特征融合将特征融合结果作为经过SquashNet层的特征向量，其中θ1∈[0,1]、θ2∈[0,1]，并且θ1+θ2＝1。
进一步地，所述训练迭代模块包括：
归一化层处理模块，用于将经过SquashNet层的特征向量输入归一化BatchNormalization层，进行归一化处理，获得的归一化结果作为SquashNet层的归一化特征向量
损失值计算获取模块，用于采用卷积层或者SquashNet网络，对SquashNet 层的归一化特征向量进行N4次处理，获取N4次处理后的特征向量将 N4处理的特征向量输入全连接层，获得最终特征向量Feature_End；将最终特征向量Feature_End与输入图像对应的标注信息输入到损失函数中，计算当前层级的训练样本与真实样本之间的损失函数值；
反向迭代模块，用于通过BP反馈传播机制，对SquashNet网络中的参数进行调整，减少损失函数值，直至损失函数值收敛至预设损失值，确定当前迭代结束。
与现有的神经网络训练技术相比，本发明的一种卷积神经网络训练方法及装置采用SquashNet网络，网络结构简单，能较好的提取图像的特征。与现有的车牌识别技术相比，本发明的车牌识别方法及装置基于SquashNet网络，能较好的提取车牌图像的特征，解决低质量图像中的车牌识别问题。
附图说明
图1示出了按照本发明的一种卷积神经网络训练方法的流程图。
图2示出了按照本发明的一种车牌识别方法的流程图。
图3示出了按照本发明的一种卷积神经网络训练装置的框架图。
图4示出了按照本发明的一种车牌识别装置的框架图。
具体实施方式
为使本领域的技术人员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。
图1给出了按照本发明的一种卷积神经网络训练方法的流程图。如图1所示，按照本发明的一种卷积神经网络训练方法包括：
第一步骤S101，将已标注目标信息的图像作为输入图像；
第二步骤S102，采用SquashNet网络中的卷积层对输入图像进行处理，包括：对输入图像进行N1次的卷积操作，获取输入图像的特征图；
第三步骤S103，采用SquashNet网络中的SquashNet层对特征图进行处理，包括：对特征图进行1*1*N2维的归一化卷积处理，获得归一化卷积的特征向量；将特征向量输入3*3*N3、5*5*N3、7*7*N3中任意两种尺度卷积核组合进行卷积操作，获取对应卷积核的两种特征维度向量；将两种特征维度向量输入SquashNet 层，获取经过SquashNet层的特征向量；
第四步骤S104，将经过SquashNet层的特征向量输入归一化Batch Normalization层，对归一化后的结果采用卷积层或者SquashNet网络进行N4次的处理，将N4次处理后的特征向量连接到全连接层，采用损失函数计算训练样本与真实样本的损失函数值，并进行反向迭代直至模型收敛。
其中，SquashNet网络包括：卷积层和SquashNet层。
其中，所述已标注目标信息的图像为标有目标类别和目标位置信息的图像；所述N1表示对输入图像进行卷积操作的次数，所述N4表示对归一化后的结果采用卷积层或者SquashNet网络进行处理的次数。
进一步地，所述目标包括但不限于：车牌、车辆、人脸、行人、物体等。示例性地，将车牌作为目标，已标注车牌信息的图像为标有车牌号和车牌区域信息的图像；将车辆作为目标，已标注车辆信息的图像为标有车辆类型和车辆区域信息的图像；将人脸作为目标，已标注人脸信息的图像为标有人脸ID编号和人脸区域信息的图像。例如，将标有车牌号“B3705NMP”和车牌区域信息的图像作为已标注车牌信息的图像。
进一步地，所述第二步骤S102包括：对输入图像进行N1次的卷积操作，得到维度为W*H*C的特征图。其中，N1表示卷积操作的次数，W为卷积操作后特征图的宽度，H为卷积操作后特征图的高度，C为卷积操作后特征图的通道数。
进一步地，N1的取值范围为1～3，N4的取值范围为1～5。
进一步地，所述第三步骤S103包括：
归一化卷积处理步骤S1031，分别将每个特征图经过1*1*N2维的归一化卷积处理，获得尺度统一为W*H*N2的归一化卷积的特征向量，其中N2表示归一化卷积处理中1*1卷积核的数量；
两种尺度卷积核组合卷积操作步骤S1032，将尺度统一为W*H*N2的归一化卷积的特征向量输入3*3*N3、5*5*N3、7*7*N3中任意两种尺度卷积核组合进行卷积操作，获取对应卷积核的两种特征维度向量其中N3表示任意两种尺度卷积核组合进行卷积操作中3*3或者5*5或者7*7卷积核的数量；
特征表征向量获取步骤S1033，将特征维度向量分别输入尺度为 Wα|β*Hα|β的全局池化层，并经过全连接层与ReLU激活函数层，从而输出1*N3维特征表征向量
权重特征向量获取步骤S1034，分别对特征表征向量进行降序排序，得到1*N3维权重特征向量Weightα、Weightβ，以及每个权重特征在特征表征向量中对应的排序号；
加权权重向量获取步骤S1035，，分别提取权重特征向量Weightα、Weightβ中各自前50％所对应的权重值，并按照一一对应关系，对特征维度向量中排序前50％的特征通道值进行加权操作，获得加权权重向量
加权权重向量特征融合步骤S1036，按照比例系数θ1、θ2，对加权权重向量进行特征融合将特征融合结果作为经过SquashNet层的特征向量，其中θ1∈[0,1]、θ2∈[0,1]，并且θ1+θ2＝1。
进一步地，N2的取值为以下的一种：32、64、128、256。示例性地，将每个特征图经过1*1*64维的归一化卷积处理，获得多个尺度统一为W*H*64的归一化卷积的特征向量，其中64表示归一化卷积处理中1*1卷积核的数量。
进一步地，N3的取值为以下的一种：32、64、128、256。
示例性地，N3选为128，选取3*3*128与5*5*128卷积核组合，步长选用为 2，采用3*3*128卷积核对特征向量进行卷积操作，以获得3*3*128卷积核的特征维度向量采用5*5*128卷积核对特征向量进行卷积操作，以获得5*5*128 卷积核的特征维度向量其中128表示采样3*3*128和5*5*128卷积核对特征向量进行卷积操作中3*3或者5*5卷积核的数量。
其中，所述Weightα、Weightβ的初始运算中，按照高斯分布公式获取权重系数。其中，μ为位置参数，σ为尺度参数。
进一步地，所述μ∈[-1,1]，σ∈[1,3]。
进一步地，所述第四步骤S104包括：
归一化层处理步骤S1041，将经过SquashNet层的特征向量输入归一化 BatchNormalization层，进行归一化处理，获得的归一化结果作为SquashNet层的归一化特征向量
损失值计算获取步骤S1042，采用卷积层或者SquashNet网络，对SquashNet 层的归一化特征向量进行N4次处理，获取N4次处理后的特征向量将 N4处理的特征向量输入全连接层，获得最终特征向量Feature_End；将最终特征向量Feature_End与输入图像对应的标注信息输入到损失函数中，计算当前层级的训练样本与真实样本之间的损失函数值；
反向迭代步骤S1043，通过BP反馈传播机制，对SquashNet网络中的参数进行调整，减少损失函数值，直至损失函数值收敛至预设损失值，确定当前迭代结束。
其中，所述归一化Batch Normalization层可以参照论文“《BatchNormalization: Accelerating Deep Network Training by Reducing InternalCovariate Shift》.Sergey Ioffe，Christian Szegedy.Computer Science-Learning”。
图2给出了按照本发明的车牌识别方法的流程图。如图2所示，按照本发明的车牌识别方法包括：
卷积神经网络训练步骤S10，将已标注车牌信息的图像作为样本图像，采用SquashNet网络对样本图像进行反复训练，直至模型收敛，获取收敛的车牌识别模型；
车牌区域检测步骤S20，采用车牌定位方法，获取待检测图像中的车牌区域；
车牌区域识别步骤S30，采用车牌识别模型对车牌区域进行识别，获取车牌识别结果。
其中，所述卷积神经网络训练步骤S10采用如图1所述的一种卷积神经网络训练方法实现。
所述车牌定位方法包括以下一种或者多种方法的组合：基于颜色空间的车牌定位方法、基于模板匹配的车牌定位方法、基于分类器的车牌定位方法、基于神经网络的车牌定位方法等。
图3给出了按照本发明的一种卷积神经网络训练装置的框架图。如图3所示，按照本发明的一种卷积神经网络训练装置包括：
图像输入模块101，用于将已标注目标信息的图像作为输入图像；
SquashNet网络卷积层处理模块102，用于采用SquashNet网络中的卷积层对输入图像进行处理，包括：对输入图像进行N1次的卷积操作，获取输入图像的特征图；
SquashNet网络SquashNet层处理模块103，用于采用SquashNet网络中的SquashNet层对特征图进行处理，包括：对特征图进行1*1*N2维的归一化卷积处理，获得归一化卷积的特征向量；将特征向量输入3*3*N3、5*5*N3、7*7*N3中任意两种尺度卷积核组合进行卷积操作，获取对应卷积核的两种特征维度向量；将两种特征维度向量输入SquashNet层，获取经过SquashNet层的特征向量；
训练迭代模块104，用于将经过SquashNet层的特征向量输入归一化BatchNormalization层，对归一化后的结果采用卷积层或者SquashNet网络进行N4次的处理，将N4次处理后的特征向量连接到全连接层，采用损失函数计算训练样本与真实样本的损失函数值，并进行反向迭代直至模型收敛。
其中，SquashNet网络包括：卷积层和SquashNet层。
其中，已标注目标信息的图像为标有目标类别和目标位置信息的图像；所述 N1表示对输入图像进行卷积操作的次数，所述N4表示对归一化后的结果采用卷积层或者SquashNet网络进行处理的次数。
进一步地，所述目标包括但不限于：车牌、车辆、人脸、行人、物体等。
进一步地，所述SquashNet网络卷积层处理模块102包括：用于对输入图像进行N1次的卷积操作，得到维度为W*H*C的特征图。其中，N1表示卷积操作的次数，W为卷积操作后特征图的宽度，H为卷积操作后特征图的高度，C为卷积操作后特征图的通道数。
进一步地，N1的取值范围为1～3，N4的取值范围为1～5。
进一步地，所述SquashNet网络SquashNet层处理模块103包括：
归一化卷积处理模块1031，用于分别将每个特征图经过1*1*N2维的归一化卷积处理，获得尺度统一为W*H*N2的归一化卷积的特征向量，其中N2表示归一化卷积处理中1*1卷积核的数量；
两种尺度卷积核组合卷积操作模块1032，用于将尺度统一为W*H*N2的归一化卷积的特征向量输入3*3*N3、5*5*N3、7*7*N3中任意两种尺度卷积核组合进行卷积操作，获取对应卷积核的两种特征维度向量其中N3表示任意两种尺度卷积核组合进行卷积操作中3*3或者5*5或者7*7卷积核的数量；
特征表征向量获取模块1033，用于将特征维度向量分别输入尺度为 Wα|β*Hα|β的全局池化层，并经过全连接层与ReLU激活函数层，从而输出1*N3维特征表征向量
权重特征向量获取模块1034，用于分别对特征表征向量进行降序排序，得到1*N3维权重特征向量Weightα、Weightβ，以及每个权重特征在特征表征向量中对应的排序号；
加权权重向量获取模块1035，用于分别提取权重特征向量Weightα、Weightβ中各自前50％所对应的权重值，并按照一一对应关系，对特征维度向量中排序前50％的特征通道值进行加权操作，获得加权权重向量
加权权重向量特征融合模块1036，用于按照比例系数θ1、θ2，对加权权重向量进行特征融合将特征融合结果作为经过SquashNet 层的特征向量，其中θ1∈[0,1]、θ2∈[0,1]，并且θ1+θ2＝1。
进一步地，N2的取值为以下的一种：32、64、128、256；N3的取值为以下的一种：32、64、128、256。
进一步地，所述Weightα、Weightβ的初始运算中，按照高斯分布公式获取权重系数。其中，μ为位置参数，σ为尺度参数。
进一步地，所述μ∈[-1,1]，σ∈[1,3]。
进一步地，所述训练迭代模块104包括：
归一化层处理模块1041，用于将经过SquashNet层的特征向量输入归一化 BatchNormalization层，进行归一化处理，获得的归一化结果作为SquashNet层的归一化特征向量
损失值计算获取模块1042，用于采用卷积层或者SquashNet网络，对 SquashNet层的归一化特征向量进行N4次处理，获取N4次处理后的特征向量将N4处理的特征向量输入全连接层，获得最终特征向量Feature_End；将最终特征向量Feature_End与输入图像对应的标注信息输入到损失函数中，计算当前层级的训练样本与真实样本之间的损失函数值；
反向迭代模块1043，用于通过BP反馈传播机制，对SquashNet网络中的参数进行调整，减少损失函数值，直至损失函数值收敛至预设损失值，确定当前迭代结束。
图3给出了按照本发明的车牌识别方法装置的框架图。如图3所示，按照本发明的车牌识别方法装置包括：
卷积神经网络训练模块10，用于将已标注车牌信息的图像作为样本图像，采用SquashNet网络对样本图像进行反复训练，直至模型收敛，获取收敛的车牌识别模型；
车牌区域检测模块20，用于采用车牌定位模块，获取待检测图像中的车牌区域；
车牌区域识别模块30，用于采用车牌识别模型对车牌区域进行识别，获取车牌识别结果。
其中，所述卷积神经网络训练模块10为如图3所述的一种卷积神经网络训练装置。
与现有的神经网络训练技术相比，本发明的一种卷积神经网络训练方法及装置采用SquashNet网络，网络结构简单，能较好的提取图像的特征。与现有的车牌识别技术相比，本发明的车牌识别方法及装置基于SquashNet网络，能较好的提取车牌图像的特征，解决低质量图像中的车牌识别问题。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (12)

1.一种卷积神经网络训练方法，其特征在于，该方法包括：
第一步骤，将已标注目标信息的图像作为输入图像；
第二步骤，采用SquashNet网络中的卷积层对输入图像进行处理，包括：对输入图像进行N1次的卷积操作，获取输入图像的特征图；
第三步骤，采用SquashNet网络中的SquashNet层对特征图进行处理，包括：对特征图进行1*1*N2维的归一化卷积处理，获得归一化卷积的特征向量；将特征向量输入3*3*N3、5*5*N3、7*7*N3中任意两种尺度卷积核组合进行卷积操作，获取对应卷积核的两种特征维度向量；将两种特征维度向量输入SquashNet层，获取经过SquashNet层的特征向量；
第四步骤，将经过SquashNet层的特征向量输入归一化Batch Normalization层，对归一化后的结果采用卷积层或者SquashNet网络进行N4次的处理，将N4次处理后的特征向量连接到全连接层，采用损失函数计算训练样本与真实样本的损失函数值，并进行反向迭代直至模型收敛；
其中，SquashNet网络包括：卷积层和SquashNet层；
所述已标注目标信息的图像为标有目标类别和目标位置信息的图像；
所述N1表示对输入图像进行卷积操作的次数，所述N4表示对归一化后的结果采用卷积层或者SquashNet网络进行处理的次数。
2.如权利要求1所述的方法，其特征在于，所述第二步骤包括：对输入图像进行N1次的卷积操作，得到维度为W*H*C的特征图；其中，N1表示卷积操作的次数，W为卷积操作后特征图的宽度，H为卷积操作后特征图的高度，C为卷积操作后特征图的通道数。
3.如权利要求1所述的方法，其特征在于，所述第三步骤包括：
归一化卷积处理步骤，分别将每个特征图经过1*1*N2维的归一化卷积处理，获得尺度统一为W*H*N2的归一化卷积的特征向量，其中N2表示归一化卷积处理中1*1卷积核的数量；
两种尺度卷积核组合卷积操作步骤，将尺度统一为W*H*N2的归一化卷积的特征向量输入3*3*N3、5*5*N3、7*7*N3中任意两种尺度卷积核组合进行卷积操作，获取对应卷积核的两种特征维度向量其中N3表示任意两种尺度卷积核组合进行卷积操作中3*3或者5*5或者7*7卷积核的数量；
特征表征向量获取步骤，将特征维度向量分别输入尺度为Wα|β*Hα|β的全局池化层，并经过全连接层与ReLU激活函数层，从而输出1*N3维特征表征向量
权重特征向量获取步骤，分别对特征表征向量进行降序排序，得到1*N3维权重特征向量Weightα、Weightβ，以及每个权重特征在特征表征向量中对应的排序号；
加权权重向量获取步骤，分别提取权重特征向量Weightα、Weightβ中各自前50％所对应的权重值，并按照一一对应关系，对特征维度向量中排序前50％的特征通道值进行加权操作，获得加权权重向量
加权权重向量特征融合步骤，按照比例系数θ1、θ2，对加权权重向量进行特征融合将特征融合结果作为经过SquashNet层的特征向量，其中θ1∈[0,1]、θ2∈[0,1]，并且θ1+θ2＝1；
其中，所述Weightα、Weightβ的初始运算中，按照高斯分布公式获取权重系数。其中，μ为位置参数，σ为尺度参数。
4.如权利要求1所述的方法，其特征在于，所述第四步骤包括：
归一化层处理步骤，将经过SquashNet层的特征向量输入归一化BatchNormalization层，进行归一化处理，获得的归一化结果作为SquashNet层的归一化特征向量
损失值计算获取步骤，采用卷积层或者SquashNet网络，对SquashNet层的归一化特征向量进行N4次处理，获取N4次处理后的特征向量将N4处理的特征向量输入全连接层，获得最终特征向量Feature_End；将最终特征向量Feature_End与输入图像对应的标注信息输入到损失函数中，计算当前层级的训练样本与真实样本之间的损失函数值；
反向迭代步骤，通过BP反馈传播机制，对SquashNet网络中的参数进行调整，减少损失函数值，直至损失函数值收敛至预设损失值，确定当前迭代结束。
5.如权利要求1所述的方法，所述N1的取值范围为1～3，N4的取值范围为1～5。
6.如权利要求3所述的方法，所述N2的取值为以下的一种：32、64、128、256；N3的取值为以下的一种：32、64、128、256；所述μ∈[-1,1]，σ∈[1,3]。
7.一种车牌识别方法，其特征在于，该方法包括：
如权利要求1～6所述的卷积神经网络训练方法的步骤，将已标注车牌信息的图像作为样本图像，采用SquashNet网络对样本图像进行反复训练，直至模型收敛，获取收敛的车牌识别模型；
车牌区域检测步骤，采用车牌定位方法，获取待检测图像中的车牌区域；
车牌区域识别步骤，采用车牌识别模型对车牌区域进行识别，获取车牌识别结果。
8.一种卷积神经网络训练装置，其特征在于，该装置包括：
图像输入模块，用于将已标注目标信息的图像作为输入图像；
SquashNet网络卷积层处理模块，用于采用SquashNet网络中的卷积层对输入图像进行处理，包括：对输入图像进行N1次的卷积操作，获取输入图像的特征图；SquashNet网络SquashNet层处理模块，用于采用SquashNet网络中的SquashNet层对特征图进行处理，包括：对特征图进行1*1*N2维的归一化卷积处理，获得归一化卷积的特征向量；将特征向量输入3*3*N3、5*5*N3、7*7*N3中任意两种尺度卷积核组合进行卷积操作，获取对应卷积核的两种特征维度向量；将两种特征维度向量输入SquashNet层，获取经过SquashNet层的特征向量；
训练迭代模块，用于将经过SquashNet层的特征向量输入归一化Batch Normalization层，对归一化后的结果采用卷积层或者SquashNet网络进行N4次的处理，将N4次处理后的特征向量连接到全连接层，采用损失函数计算训练样本与真实样本的损失函数值，并进行反向迭代直至模型收敛；
其中，SquashNet网络包括：卷积层和SquashNet层；
已标注目标信息的图像为标有目标类别和目标位置信息的图像；所述N1表示对输入图像进行卷积操作的次数，所述N4表示对归一化后的结果采用卷积层或者SquashNet网络进行处理的次数。
9.如权利要求8所述的装置，其特征在于，所述SquashNet网络卷积层处理模块包括：用于对输入图像进行N1次的卷积操作，得到维度为W*H*C的特征图；其中，N1表示卷积操作的次数，W为卷积操作后特征图的宽度，H为卷积操作后特征图的高度，C为卷积操作后特征图的通道数。
10.如权利要求8所述的装置，其特征在于，所述SquashNet网络SquashNet层处理模块包括：
归一化卷积处理模块，用于分别将每个特征图经过1*1*N2维的归一化卷积处理，获得尺度统一为W*H*N2的归一化卷积的特征向量，其中N2表示归一化卷积处理中1*1卷积核的数量；
两种尺度卷积核组合卷积操作模块，用于将尺度统一为W*H*N2的归一化卷积的特征向量输入3*3*N3、5*5*N3、7*7*N3中任意两种尺度卷积核组合进行卷积操作，获取对应卷积核的两种特征维度向量其中N3表示任意两种尺度卷积核组合进行卷积操作中3*3或者5*5或者7*7卷积核的数量；
特征表征向量获取模块，用于将特征维度向量分别输入尺度为Wα|β*Hα|β的全局池化层，并经过全连接层与ReLU激活函数层，从而输出1*N3维特征表征向量
权重特征向量获取模块，用于分别对特征表征向量进行降序排序，得到1*N3维权重特征向量Weightα、Weightβ，以及每个权重特征在特征表征向量 中对应的排序号；
加权权重向量获取模块，用于分别提取权重特征向量Weightα、Weightβ中各自前50％所对应的权重值，并按照一一对应关系，对特征维度向量中排序前50％的特征通道值进行加权操作，获得加权权重向量
加权权重向量特征融合模块，用于按照比例系数θ1、θ2，对加权权重向量进行特征融合将特征融合结果作为经过SquashNet层的特征向量，其中θ1∈[0,1]、θ2∈[0,1]，并且θ1+θ2＝1；
其中，所述Weightα、Weightβ的初始运算中，按照高斯分布公式获取权重系数。其中，μ为位置参数，σ为尺度参数。
11.如权利要求8所述的装置，其特征在于，所述训练迭代模块包括：
归一化层处理模块，用于将经过SquashNet层的特征向量输入归一化BatchNormalization层，进行归一化处理，获得的归一化结果作为SquashNet层的归一化特征向量损失值计算获取模块，用于采用卷积层或者SquashNet网络，对SquashNet层的归一化特征向量进行N4次处理，获取N4次处理后的特征向量将N4处理的特征向量输入全连接层，获得最终特征向量Feature_End；将最终特征向量Feature_End与输入图像对应的标注信息输入到损失函数中，计算当前层级的训练样本与真实样本之间的损失函数值；
反向迭代模块，用于通过BP反馈传播机制，对SquashNet网络中的参数进行调整，减少损失函数值，直至损失函数值收敛至预设损失值，确定当前迭代结束。
12.一种车牌识别装置，其特征在于，该装置包括：
如权利要求8～11所述的卷积神经网络训练装置的模块，用于将已标注车牌信息的图像作为样本图像，采用SquashNet网络对样本图像进行反复训练，直至模型收敛，获取收敛的车牌识别模型；
车牌区域检测模块，用于采用车牌定位方法，获取待检测图像中的车牌区域；
车牌区域识别模块，用于采用车牌识别模型对车牌区域进行识别，获取车牌识别结果。
CN201910738128.0A 2019-08-12 2019-08-12 一种卷积神经网络训练方法以及车牌识别方法及装置 Active CN110598709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910738128.0A CN110598709B (zh) 2019-08-12 2019-08-12 一种卷积神经网络训练方法以及车牌识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910738128.0A CN110598709B (zh) 2019-08-12 2019-08-12 一种卷积神经网络训练方法以及车牌识别方法及装置

Publications (2)

Publication Number Publication Date
CN110598709A true CN110598709A (zh) 2019-12-20
CN110598709B CN110598709B (zh) 2022-03-22

Family

ID=68853913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910738128.0A Active CN110598709B (zh) 2019-08-12 2019-08-12 一种卷积神经网络训练方法以及车牌识别方法及装置

Country Status (1)

Country Link
CN (1) CN110598709B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476144A (zh) * 2020-04-02 2020-07-31 深圳力维智联技术有限公司 行人属性识别模型确定方法、装置及计算机可读存储介质
CN111626578A (zh) * 2020-05-18 2020-09-04 上海东普信息科技有限公司 物流货车的调配方法、装置、设备及存储介质
CN111709377A (zh) * 2020-06-18 2020-09-25 苏州科达科技股份有限公司 特征提取方法、目标重识别方法、装置及电子设备
CN111724337A (zh) * 2020-03-05 2020-09-29 中冶赛迪重庆信息技术有限公司 一种冷床冲顶识别方法、***、电子设备及介质
CN111968613A (zh) * 2020-08-24 2020-11-20 湖南工业大学 一种主动控制车辆全局空间噪声的卷积-模糊神经网络方法
CN112348020A (zh) * 2020-12-03 2021-02-09 北京智芯原动科技有限公司 基于特征图的贝塞尔车牌对齐方法及装置
CN112418168A (zh) * 2020-12-10 2021-02-26 深圳云天励飞技术股份有限公司 车辆识别方法、装置、***、电子设备及存储介质
CN112597764A (zh) * 2020-12-23 2021-04-02 青岛海尔科技有限公司 文本分类方法及装置、存储介质、电子装置
CN113592002A (zh) * 2021-08-04 2021-11-02 江苏网进科技股份有限公司 垃圾实时监测方法与***
CN113591835A (zh) * 2020-04-30 2021-11-02 成都鼎桥通信技术有限公司 车牌关键信息的检测方法和装置
CN113903180A (zh) * 2021-11-17 2022-01-07 四川九通智路科技有限公司 一种高速公路检测车辆超速的方法及***
CN116935363A (zh) * 2023-07-04 2023-10-24 东莞市微振科技有限公司 刀具识别方法、装置、电子设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326288A (zh) * 2015-06-30 2017-01-11 阿里巴巴集团控股有限公司 图像搜索方法及装置
US20180114109A1 (en) * 2016-10-20 2018-04-26 Nokia Technologies Oy Deep convolutional neural networks with squashed filters
US20180158181A1 (en) * 2016-12-02 2018-06-07 Tata Consultancy Services Limited System and method for layer-wise training of deep neural networks
CN109101914A (zh) * 2018-08-01 2018-12-28 北京飞搜科技有限公司 一种基于多尺度的行人检测方法和装置
CN109271984A (zh) * 2018-07-24 2019-01-25 广东工业大学 一种基于深度学习的多方位车牌定位方法
US20190130574A1 (en) * 2017-10-31 2019-05-02 Boe Technology Group Co., Ltd. Image processing method and image processing device
CN109902399A (zh) * 2019-03-01 2019-06-18 哈尔滨理工大学 一种基于att-cnn的变工况下滚动轴承故障识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326288A (zh) * 2015-06-30 2017-01-11 阿里巴巴集团控股有限公司 图像搜索方法及装置
US20180114109A1 (en) * 2016-10-20 2018-04-26 Nokia Technologies Oy Deep convolutional neural networks with squashed filters
US20180158181A1 (en) * 2016-12-02 2018-06-07 Tata Consultancy Services Limited System and method for layer-wise training of deep neural networks
US20190130574A1 (en) * 2017-10-31 2019-05-02 Boe Technology Group Co., Ltd. Image processing method and image processing device
CN109271984A (zh) * 2018-07-24 2019-01-25 广东工业大学 一种基于深度学习的多方位车牌定位方法
CN109101914A (zh) * 2018-08-01 2018-12-28 北京飞搜科技有限公司 一种基于多尺度的行人检测方法和装置
CN109902399A (zh) * 2019-03-01 2019-06-18 哈尔滨理工大学 一种基于att-cnn的变工况下滚动轴承故障识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DI ZANG 等: "Vehicle license plate recognition using visual attention model and deep learning", 《JOURNAL OF ELECTRONIC IMAGING》 *
聂小燕 等: "基于多特征融合的汽车车型模糊识别方法", 《微计算机应用》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724337A (zh) * 2020-03-05 2020-09-29 中冶赛迪重庆信息技术有限公司 一种冷床冲顶识别方法、***、电子设备及介质
CN111476144A (zh) * 2020-04-02 2020-07-31 深圳力维智联技术有限公司 行人属性识别模型确定方法、装置及计算机可读存储介质
CN111476144B (zh) * 2020-04-02 2023-06-09 深圳力维智联技术有限公司 行人属性识别模型确定方法、装置及计算机可读存储介质
CN113591835A (zh) * 2020-04-30 2021-11-02 成都鼎桥通信技术有限公司 车牌关键信息的检测方法和装置
CN111626578A (zh) * 2020-05-18 2020-09-04 上海东普信息科技有限公司 物流货车的调配方法、装置、设备及存储介质
CN111709377A (zh) * 2020-06-18 2020-09-25 苏州科达科技股份有限公司 特征提取方法、目标重识别方法、装置及电子设备
CN111968613B (zh) * 2020-08-24 2023-09-19 湖南工业大学 一种主动控制车辆全局空间噪声的卷积-模糊神经网络方法
CN111968613A (zh) * 2020-08-24 2020-11-20 湖南工业大学 一种主动控制车辆全局空间噪声的卷积-模糊神经网络方法
CN112348020A (zh) * 2020-12-03 2021-02-09 北京智芯原动科技有限公司 基于特征图的贝塞尔车牌对齐方法及装置
CN112348020B (zh) * 2020-12-03 2023-10-20 北京智芯原动科技有限公司 基于特征图的贝塞尔车牌对齐方法及装置
CN112418168A (zh) * 2020-12-10 2021-02-26 深圳云天励飞技术股份有限公司 车辆识别方法、装置、***、电子设备及存储介质
CN112418168B (zh) * 2020-12-10 2024-04-02 深圳云天励飞技术股份有限公司 车辆识别方法、装置、***、电子设备及存储介质
CN112597764A (zh) * 2020-12-23 2021-04-02 青岛海尔科技有限公司 文本分类方法及装置、存储介质、电子装置
CN113592002A (zh) * 2021-08-04 2021-11-02 江苏网进科技股份有限公司 垃圾实时监测方法与***
CN113903180A (zh) * 2021-11-17 2022-01-07 四川九通智路科技有限公司 一种高速公路检测车辆超速的方法及***
CN116935363A (zh) * 2023-07-04 2023-10-24 东莞市微振科技有限公司 刀具识别方法、装置、电子设备及可读存储介质
CN116935363B (zh) * 2023-07-04 2024-02-23 东莞市微振科技有限公司 刀具识别方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN110598709B (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
CN110598709B (zh) 一种卷积神经网络训练方法以及车牌识别方法及装置
CN108898086B (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
CN107563345B (zh) 一种基于时空显著性区域检测的人体行为分析方法
CN106845487B (zh) 一种端到端的车牌识别方法
CN109117826B (zh) 一种多特征融合的车辆识别方法
CN108960090B (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
CN110399884B (zh) 一种特征融合自适应锚框模型车辆检测方法
CN110310310B (zh) 一种针对航空影像配准的改进方法
CN112818969A (zh) 一种基于知识蒸馏的人脸姿态估计方法及***
Cheng et al. A pre-saliency map based blind image quality assessment via convolutional neural networks
CN111259710B (zh) 采用停车位框线、端点的停车位结构检测模型训练方法
CN112215079B (zh) 一种全局多阶段目标跟踪方法
CN113936302A (zh) 行人重识别模型的训练方法、装置、计算设备及存储介质
Wang A survey on IQA
CN117788402A (zh) 一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法
CN115690752A (zh) 一种驾驶员行为检测方法及装置
CN109919215B (zh) 基于聚类算法改进特征金字塔网络的目标检测方法
CN117409244A (zh) 一种SCKConv多尺度特征融合增强的低照度小目标检测方法
CN113392728A (zh) 一种基于ssa锐化注意机制的目标检测方法
CN112070181A (zh) 一种基于图像流的协同检测方法及装置、存储介质
CN112115737B (zh) 一种车辆朝向的确定方法、装置及车载终端
Bralios et al. Latent iterative refinement for modular source separation
CN113947723B (zh) 基于尺寸平衡fcos的高分辨率遥感场景目标检测方法
CN115438686A (zh) 一种基于数据增强和残差cnn的水声目标识别方法
CN114863153A (zh) 一种基于深度学习的影像相似度数据清洗方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant