CN110245613A - 基于深度学习特征对比的船牌识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习特征对比的船牌识别方法，本发明采用深度学习卷积神经网络技术构建船只船牌检测模型及船牌字符识别模型，计算速度快、精度高，且对多种光照、背景、环境、船舶外观变化等具有很强的鲁棒性；充分考虑了船牌字符识别中汉字的变化性和多样性，将船牌字符的数字识别和汉字识别分开处理，采用分阶段训练法，先基于logistic loss和cross entropy loss在船牌数字数据集上进行训练，再基于logistic loss和triplet loss在船牌汉字数据集上进行训练，保证了训练效率和收敛速度。此外，基于triplet loss训练可有效应对船牌汉字数据集种类多、分布均匀的情况，在降低类内的距离的同时增大类间差距，提升识别效果。

Description

基于深度学习特征对比的船牌识别方法

技术领域

本发明涉及智能识别领域，具体涉及一种基于深度学习特征对比的船牌识别方法。

背景技术

近年来，随着港口经济日益繁荣发展，海洋工程与航道工程的规模和数量不断扩大，与此同时，海上的违章施工、违法采砂、非法走私等行为也随之涌现。由于海上作业面积大、施工海域广、船只作案行为隐蔽且经常存在人工关闭AIS逃避监管的情况，传统的人工出海巡逻执法模式时效性差、危险性强，难以实现船只的有效监管。为了强化管理的维度与力度，港口、岸基等区域架设了大量的高清监控摄像头，可以远距离捕获海上船只的视频图像，为后期执法提供直接证据。借助视频处理和图像识别技术，自动识别监控视频中的船只类型及船牌身份信息，进行结构化数据提取，从而实现船只异常行为的实时监管和黑名单船只预警，将成为海上科技执法与智慧监控的未来发展方向。

由于船牌的统一规范性差，目前船牌识别相关的研究较少且技术尚未成熟。与车牌识别不同，船牌标志的变化性和差异性极大：船牌悬挂位置不统一，船牌背景颜色与字符颜色多种多样缺乏规范，字符个数与字体不统一，船牌字符中的汉字缺乏标准，没有完备的船牌字符集合。因此，现有的发展成熟、性能精准的车牌识别技术难以直接移植到船牌应用中。

专利《一种基于深度学习的自然场景中船牌文字识别方法、装置》(CN107491752A)中，基于深度学习技术训练船舶分类模型、船牌检测模型、船牌分类模型对船舶图像进行文字识别，若识别失败则采用AIS区域检测获取船牌信息。然而，该方法中的船牌分类模型将船牌字符识别作为分类问题进行处理，并未针对船牌识别的特点和难点进行定制设计，在实际应用中船牌字符的汉字类别很多且训练数据集分布不均，将会导致模型训练难、收敛慢、精度低等问题，当出现新的船牌字符时需要对模型进行重新训练，实用性较差。此外，面对人为关闭船只AIS逃避监管的情况，无法进行AIS区域检测以获取船牌信息，船牌识别效果难以保证。

因此，为解决以上问题，需要一种基于深度学习特征对比的船牌识别方法，能够避免现有技术中的船牌识别技术存在精度低、实用性差的技术问题。

发明内容

有鉴于此，本发明的目的是克服现有技术中的缺陷，提供基于深度学习特征对比的船牌识别方法，能够避免现有技术中的船牌识别技术存在精度低、实用性差的技术问题。

本发明的基于深度学习特征对比的船牌识别方法，包括下列步骤：

步骤一：获取多张包含船只及船牌的图片，构建船只船牌检测数据集、船牌数字数据集、船牌汉字三元组数据集；

步骤二：基于深度学习卷积神经网络技术构建船只船牌检测卷积神经网络，并在船只船牌检测数据集上进行训练，得到船只船牌检测模型；

步骤三：基于深度学习卷积神经网络技术构建船牌字符识别卷积神经网络；

步骤四：在船牌数字数据集上，采用梯度下降法基于logistic loss和 crossentropy loss训练船牌字符识别卷积神经网络，得到船牌字符识别初步模型；

步骤五：在船牌汉字三元组数据集上，采用梯度下降法基于logistic loss 和triplet loss训练船牌字符识别初步模型，得到船牌字符识别模型；

步骤六：选择多张船牌汉字字符，输入到船牌字符识别模型中，构建船牌汉字特征库；

步骤七：获取需要检测的船只监控图像，输入到船只船牌检测模型及船牌字符识别模型中，得到船牌识别的初步结果；

步骤八：基于船牌识别的初步结果和船牌汉字特征库，根据欧氏距离进行特征比对，获取船牌识别的最终结果。

进一步，在步骤四中，通过下列步骤获得船牌字符识别初步模型：

4.1选择船牌数字数据集中的单张图像x，根据该图像的标签获取c_i；

4.2将x输入至船牌字符识别卷积神经网络中，得到输出层的输出值

4.3训练采用的代价函数如下：

其中，c_i为真实标签值，为预测值，α为权重因子；

4.4按照上述公式计算J1的数值，并采用梯度下降法训练船牌字符识别卷积神经网络，迭代多次直至收敛，得到船牌字符识别初步模型。

进一步，在步骤五中，通过下列步骤得到船牌字符识别模型：

5.1选择船牌汉字三元组数据集中的一对船牌汉字三元组图像xA,xP,xN，其中xA,xP为相同标签，xN为不同标签；

5.2将x_A,x_P,x_N分别输入至船牌字符识别初步模型中，得到特征提取层的输出值f(x_A)，f(x_P)，f(x_N)，和输出层的输出值

5.3训练采用的代价函数为：

其中，β为权重因子，m为阈值因子；

5.4按照上述公式计算J₂的数值，并采用梯度下降法训练船牌字符识别初步模型，迭代多次直至收敛，得到船牌字符识别模型。

进一步，在步骤八中，具体特征对比步骤如下：

8.1根据船牌识别初步结果，获取单个字符对应的特征提取层的输出值 f(x)和输出层的输出值[p，c₀，c₁，c₂，c₃，c₄，c₅，c₆，c₇，c₈，c₉]；

8.2基于p值大小，判断单个字符的类型是汉字或数字；

8.3若p大于预设阈值，则字符为数字，取c₀-c_p中最大的概率值对应的数字为该字符的识别结果；

8.4若p小于或等于预设阈值，则该字符为汉字，计算f(x)与汉字特征数据库中其他特征的欧式距离，选择距离最小的汉字作为该字符的识别结果；

8.5对多张船牌单个字符图像进行8.1-8.4，并将所有单个字符的识别结果进行排序，获得船牌识别的最终结果。

进一步，在步骤一中，构建三元组数据集的步骤如下：

1.5将获取的多张图片进行尺寸归一化，处理后的图片宽为W，高为H；

1.6将归一化后的图片添加船只位置及船牌位置标签，构建船只船牌检测数据集。其中，船只位置标签为船只所在像素区域的左上角和右下角的像素坐标，船牌位置标签为船牌所在像素区域的左上角和右下角的像素坐标；

1.7截取船牌单个数字部分的图像，进行尺寸归一化，并添加数字标签，构建船牌数字数据集。其中，数字标签是0-9共10种数字，处理后的单个数字图像宽为W_1,高为H_1；

1.8截取船牌单个汉字部分的图像，进行尺寸归一化，并添加汉字标签，选取多对船牌汉字图像三元组，构建船牌汉字三元组数据集，其中，每对船牌汉字图像三元组包含两张相同汉字字符的图像和一张不同汉字字符的图像，标签类别数量不固定，处理后的单个汉字图像宽为W_1, 高为H_1；

进一步，在步骤二中，通过下列步骤得到船只船牌检测模型：

2.1船只船牌检测卷积神经网络输入层为整张船只监控图像，输出层为检测到的船只区域坐标和船牌区域坐标；

2.2船只船牌检测卷积神经网络包含多个卷积层、多个池化层、单个或多个全连接层；

2.3船只检测卷积神经网络的训练基于梯度下降法，迭代多次直至收敛。

进一步，在步骤三中，构建船牌字符识别卷积神经网络的具体步骤如下：

3.1船牌字符识别卷积神经网络输入层为单个船牌字符图像x，特征提取层包含n个神经元，输出为f(x)，输出层为[p，c₀，c₁，c₂，c₃，c₄，c₅，c₆，c₇，c₈，c₉]。其中p 代表该字符是数字的置信度，c0-c9分别代表该字符是数字0-9的概率；

3.2船牌字符识别卷积神经网络包含多个卷积层、多个池化层、单个或多个全连接层；

3.3输出层[p，c₀，c₁，c₂，c₃，c₄，c₅，c₆，c₇，c₈，c₉]中每个数值的取值区间为[0,1]，例: 当输入的字符为数字“2”时，输出层的理想输出应该是 [1,0,0,1,0,0,0,0,0,0,0]。

进一步，在步骤六中，构建船牌汉字特征库的步骤为：

6.1选择多张包含单个船牌字符的图像x1,x2,x3…xN,该图像可以是船牌汉字三元组数据集中的图像，也可以是新添加的字符图像；

6.2输入选择好的船牌字符图像至船牌字符识别模型中，保存船牌字符标签与特征提取层的输出值f(x1),f(x2),f(x3)…f(xN)，得到船牌汉字特征库。

进一步，在步骤七中，通过下列步骤得到船牌识别的初步结果：

7.1将船只监控图像输入到船只船牌检测模型中，得到船牌所在像素区域图像；

7.2将船牌所在像素区域图像进行字符分割，得到多张船牌单个字符图像；

7.3将多张船牌单个字符图像输入到船牌字符识别模型中，得到每个字符对应的特征提取层的输出值和输出层的输出值，即船牌识别的初步结果。

本发明的有益效果是：

(1)本发明采用深度学习卷积神经网络技术构建船只船牌检测模型及船牌字符识别模型，计算速度快、精度高，且对多种光照、背景、环境、船舶外观变化等具有很强的鲁棒性；

(2)本发明充分考虑了船牌字符识别中汉字的变化性和多样性，将船牌字符的数字识别和汉字识别分开处理，采用分阶段训练法，先基于logistic loss和 cross entropyloss在船牌数字数据集上进行训练，再基于logistic loss和triplet loss在船牌汉字数据集上进行训练，保证了训练效率和收敛速度。此外，基于 triplet loss训练可有效应对船牌汉字数据集种类多、分布均匀的情况，在降低类内的距离的同时增大类间差距，提升识别效果；

(3)本发明将船牌的汉字识别问题作为特征比对问题，通过提取待识别字符的特征，与船牌汉字特征库中的特征进行比对，不仅有利于提升识别的精度，还可适用于新添加的字符，当出现新的未经训练的字符时，只需要将其添加只船牌汉字特征库中，无需重新训练模型，对于实际应用场景有很强的实用性。

附图说明

下面结合附图和实施例对本发明作进一步描述：

图1为本发明的流程图。

具体实施方式

图1为本发明的流程图，如图所示，本实施例中的基于深度学习特征对比的船牌识别方法，该方法包括如下步骤：

步骤101：获取多张包含船只及船牌的图片，构建船只船牌检测数据集、船牌数字数据集、船牌汉字三元组数据集；

1.1将获取的多张图片进行尺寸归一化，处理后的图片宽为W，高为H；在实际应用中，W可以设为640，H可以设为480；

1.2将归一化后的图片添加船只位置及船牌位置标签，构建船只船牌检测数据集。其中，船只位置标签为船只所在像素区域的左上角和右下角的像素坐标，船牌位置标签为船牌所在像素区域的左上角和右下角的像素坐标；

1.3截取船牌单个数字部分的图像，进行尺寸归一化，并添加数字标签，构建船牌数字数据集。其中，数字标签是0-9共10种数字，处理后的单个数字图像宽为W_1,高为H_1；在实际应用中，W_1可以设为112，H_1 可以设为112；

1.4截取船牌单个汉字部分的图像，进行尺寸归一化，并添加汉字标签，选取多对船牌汉字图像三元组，构建船牌汉字三元组数据集。其中，每对船牌汉字图像三元组包含两张相同汉字字符的图像和一张不同汉字字符的图像，汉字标签可以是“粤”、“工”、“浚”等汉字，标签类别数量不固定，处理后的单个汉字图像宽为W_1,高为H_1；在实际应用中， W_1可以设为112，H_1可以设为112，标签可以设为“粤、搏、新、石、机、丰、永、绅、泰、华、清、广、莞、海、庆、肇、远、货、嘉、信、韶、关、江、门、坦、顺、利、帝、威、锦、工、会、州、运、穗、航、德、珠、浚、吹、疏、临、惠”共43种；

步骤102：基于深度学习卷积神经网络技术构建船只船牌检测卷积神经网络，并在船只船牌检测数据集上进行训练，得到船只船牌检测模型；

2.1船只船牌检测卷积神经网络输入层为整张船只监控图像，输出层为检测到的船只区域坐标和船牌区域坐标；

2.2船只船牌检测卷积神经网络包含多个卷积层、多个池化层、单个或多个全连接层；在实际应用中，船只船牌检测卷积神经网络模型可以选择YOLO 模型；

2.3船只检测卷积神经网络的训练基于梯度下降法，迭代多次直至收敛。

步骤103：基于深度学习卷积神经网络技术构建船牌字符识别卷积神经网络，其输入层为单个船牌字符图像x，特征提取层包含n个神经元，输出为f(x)，输出层为[p，c₀，c₁，c₂，c₃，c₄，c₅，c₆，c₇，c₃，c₉]。其中p代表该字符是数字的置信度，c0-c9 分别代表该字符是数字0-9的概率；在实际应用中，特征提取层神经元个数n 可以设为128；

3.1船牌字符识别卷积神经网络包含多个卷积层、多个池化层、单个或多个全连接层；在实际应用中，船牌字符识别卷积神经网络可以选择VGG模型；

3.2输出层[p，c₀，c₁，c₂，c₃，c₄，c₅，c₆，c₇，c₈，c₉]中每个数值的取值区间为[0,1]，例: 当输入的字符为数字“2”时，输出层的理想输出应该是[1,0,0,1,0,0,0,0,0,0,0]。

步骤104：在船牌数字数据集上，采用梯度下降法基于logistic loss和crossentropy loss训练船牌字符识别卷积神经网络，得到船牌字符识别初步模型。

4.1选择船牌数字数据集中的单张图像x，根据该图像的标签获取c_i；

4.2将x输入至船牌字符识别卷积神经网络中，得到输出层的输出值

4.3训练采用的代价函数如下：

其中，c_i为真实标签值，为预测值，a为权重因子；

4.4按照上述公式计算J1的数值，并采用梯度下降法训练船牌字符识别卷积神经网络，迭代多次直至收敛，得到船牌字符识别初步模型。

步骤105：在船牌汉字三元组数据集上，采用梯度下降法基于logistic loss 和triplet loss训练船牌字符识别初步模型，得到船牌字符识别模型；

5.1选择船牌汉字三元组数据集中的一对船牌汉字三元组图像xA,xP,xN，其中xA,xP为相同标签，xN为不同标签；

5.2将x_A,x_P,x_N分别输入至船牌字符识别初步模型中，得到特征提取层的输出值f(x_A)，f(x_P)，f(x_N)，和输出层的输出值

5.3训练采用的代价函数为：

其中，β为权重因子，m为阈值因子；

5.4按照上述公式计算J₂的数值，并采用梯度下降法训练船牌字符识别初步模型，迭代多次直至收敛，得到船牌字符识别模型。

步骤106：选择多张船牌汉字字符，输入到船牌字符识别模型中，构建船牌汉字特征库；

6.1选择多张包含单个船牌字符的图像x1,x2,x3…xN,该图像可以是船牌汉字三元组数据集中的图像，也可以是新添加的字符图像；

6.2输入选择好的船牌字符图像至船牌字符识别模型中，保存船牌字符标签与特征提取层的输出值f(x1),f(x2),f(x3)…f(xN)，得到船牌汉字特征库。

步骤107：获取需要检测的船只监控图像，输入到船只船牌检测模型及船牌字符识别模型中，得到船牌识别的初步结果；

7.1将船只监控图像输入到船只船牌检测模型中，得到船牌所在像素区域图像；

7.2将船牌所在像素区域图像进行字符分割，得到多张船牌单个字符图像；

7.3将多张船牌单个字符图像输入到船牌字符识别模型中，得到每个字符对应的特征提取层的输出值和输出层的输出值，即船牌识别的初步结果。

步骤108：基于船牌识别的初步结果和船牌汉字特征库，根据欧氏距离进行特征比对，获取船牌识别的最终结果。

8.1根据船牌识别初步结果，获取单个字符对应的特征提取层的输出值f(x) 和输出层的输出值[p，c₀，c₁，c₂，c₃，c₄，c₅，c₆，c₇，c₈，c₉]；

8.2基于p值大小，判断单个字符的类型是汉字或数字；

8.3若p大于预设阈值，则字符为数字，取c₀-c₉中最大的概率值对应的数字为该字符的识别结果；

8.4若p小于或等于预设阈值，则该字符为汉字，计算f(x)与汉字特征数据库中其他特征的欧式距离，选择距离最小的汉字作为该字符的识别结果；

8.5对多张船牌单个字符图像进行8.1-8.4，并将所有单个字符的识别结果进行排序，获得船牌识别的最终结果。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于深度学习特征对比的船牌识别方法，其特征在于：包括下列步骤：

步骤一：获取多张包含船只及船牌的图片，构建船只船牌检测数据集、船牌数字数据集、船牌汉字三元组数据集；

步骤二：基于深度学习卷积神经网络技术构建船只船牌检测卷积神经网络，并在船只船牌检测数据集上进行训练，得到船只船牌检测模型；

步骤三：基于深度学习卷积神经网络技术构建船牌字符识别卷积神经网络；

步骤四：在船牌数字数据集上，采用梯度下降法基于logistic loss和cross entropyloss训练船牌字符识别卷积神经网络，得到船牌字符识别初步模型；

步骤五：在船牌汉字三元组数据集上，采用梯度下降法基于logistic loss和tripletloss训练船牌字符识别初步模型，得到船牌字符识别模型；

步骤六：选择多张船牌汉字字符，输入到船牌字符识别模型中，构建船牌汉字特征库；

步骤七：获取需要检测的船只监控图像，输入到船只船牌检测模型及船牌字符识别模型中，得到船牌识别的初步结果；

步骤八：基于船牌识别的初步结果和船牌汉字特征库，根据欧氏距离进行特征比对，获取船牌识别的最终结果。

2.根据权利要求1所述的基于深度学习特征对比的船牌识别方法，其特征在于：在步骤四中，通过下列步骤获得船牌字符识别初步模型：

4.1选择船牌数字数据集中的单张图像x，根据该图像的标签获取c_i；

4.2将x输入至船牌字符识别卷积神经网络中，得到输出层的输出值

4.3训练采用的代价函数如下：

其中，c_i为真实标签值，为预测值，α为权重因子；

4.4按照上述公式计算J1的数值，并采用梯度下降法训练船牌字符识别卷积神经网络，迭代多次直至收敛，得到船牌字符识别初步模型。

3.根据权利要求1所述的基于深度学习特征对比的船牌识别方法，其特征在于：在步骤五中，通过下列步骤得到船牌字符识别模型：

5.1选择船牌汉字三元组数据集中的一对船牌汉字三元组图像xA,xP,xN，其中xA,xP为相同标签，xN为不同标签；

5.2将xA,xP,xN分别输入至船牌字符识别初步模型中，得到特征提取层的输出值f(x_Δ)，f(x_D)，f(x_N)，和输出层的输出值

5.3训练采用的代价函数为：

其中，β为权重因子，m为阈值因子；

5.4按照上述公式计算J2的数值，并采用梯度下降法训练船牌字符识别初步模型，迭代多次直至收敛，得到船牌字符识别模型。

4.根据权利要求1所述的基于深度学习特征对比的船牌识别方法，其特征在于：在步骤八中，具体特征对比步骤如下：

8.1根据船牌识别初步结果，获取单个字符对应的特征提取层的输出值f(x)和输出层的输出值

8.2基于p值大小，判断单个字符的类型是汉字或数字；

8.3若p大于预设阈值，则字符为数字，取c₀-c₉中最大的概率值对应的数字为该字符的识别结果；

8.4若p小于或等于预设阈值，则该字符为汉字，计算f(x)与汉字特征数据库中其他特征的欧式距离，选择距离最小的汉字作为该字符的识别结果；

8.5对多张船牌单个字符图像进行8.1-8.4，并将所有单个字符的识别结果进行排序，获得船牌识别的最终结果。

5.根据权利要求1所述的基于深度学习特征对比的船牌识别方法，其特征在于：在步骤一中，构建三元组数据集的步骤如下：

1.1将获取的多张图片进行尺寸归一化，处理后的图片宽为W，高为H；

1.2将归一化后的图片添加船只位置及船牌位置标签，构建船只船牌检测数据集。其中，船只位置标签为船只所在像素区域的左上角和右下角的像素坐标，船牌位置标签为船牌所在像素区域的左上角和右下角的像素坐标；

1.3截取船牌单个数字部分的图像，进行尺寸归一化，并添加数字标签，构建船牌数字数据集。其中，数字标签是0-9共10种数字，处理后的单个数字图像宽为W_1,高为H_1；

1.4截取船牌单个汉字部分的图像，进行尺寸归一化，并添加汉字标签，选取多对船牌汉字图像三元组，构建船牌汉字三元组数据集，其中，每对船牌汉字图像三元组包含两张相同汉字字符的图像和一张不同汉字字符的图像，标签类别数量不固定，处理后的单个汉字图像宽为W_1,高为H_1；

6.根据权利要求1所述的基于深度学习特征对比的船牌识别方法，其特征在于：在步骤二中，通过下列步骤得到船只船牌检测模型：

2.1船只船牌检测卷积神经网络输入层为整张船只监控图像，输出层为检测到的船只区域坐标和船牌区域坐标；

2.2船只船牌检测卷积神经网络包含多个卷积层、多个池化层、单个或多个全连接层；

2.3船只检测卷积神经网络的训练基于梯度下降法，迭代多次直至收敛。

7.根据权利要求1所述的基于深度学习特征对比的船牌识别方法，其特征在于：在步骤三中，构建船牌字符识别卷积神经网络的具体步骤如下：

3.1船牌字符识别卷积神经网络输入层为单个船牌字符图像x，特征提取层包含n个神经元，输出为f(x)，输出层为[p，c₀，c₁，c₂，c₃，c₄，c₅，c₆，c₇，c₈，c₉]。其中p代表该字符是数字的置信度，c0-c9分别代表该字符是数字0-9的概率；

3.2船牌字符识别卷积神经网络包含多个卷积层、多个池化层、单个或多个全连接层；

3.3输出层[p，c₀，c₁，c₂，c₃，c₄，c₅，c₆，c₇，c₈，c₉]中每个数值的取值区间为[0,1]，例:当输入的字符为数字“2”时，输出层的理想输出应该是[1,0,0,1,0,0,0,0,0,0,0]。

8.根据权利要求1所述的基于深度学习特征对比的船牌识别方法，其特征在于：在步骤六中，构建船牌汉字特征库的步骤为：

6.1选择多张包含单个船牌字符的图像x1,x2,x3…xN,该图像可以是船牌汉字三元组数据集中的图像，也可以是新添加的字符图像；

6.2输入选择好的船牌字符图像至船牌字符识别模型中，保存船牌字符标签与特征提取层的输出值f(x1),f(x2),f(x3)…f(xN)，得到船牌汉字特征库。

9.根据权利要求1所述的基于深度学习特征对比的船牌识别方法，其特征在于：在步骤七中，通过下列步骤得到船牌识别的初步结果：

7.1将船只监控图像输入到船只船牌检测模型中，得到船牌所在像素区域图像；

7.2将船牌所在像素区域图像进行字符分割，得到多张船牌单个字符图像；

7.3将多张船牌单个字符图像输入到船牌字符识别模型中，得到每个字符对应的特征提取层的输出值和输出层的输出值，即船牌识别的初步结果。