CN114937269B - 一种基于英文和汉字联合的船舶号牌识别方法及*** - Google Patents

Abstract

本发明公开了一种基于英文和汉字联合的船舶号牌识别方法及***，所述方法包括：步骤1)对采集的船舶号牌图片进行预处理；步骤2)对预处理后的图片进行特征检索得到包括号牌的二维检测框，并分割得到汉字检测框和英文检测框；步骤3)将汉字检测框和英文检测框分别输入预先建立和训练好的汉字识别模型和英文识别模型，分别得到汉字识别结果和英文识别结果；步骤4)基于预先建立的英文汉字映射船牌库，对汉字识别结果和英文识别结果进行联合判别，从而完成船舶号牌的识别。本发明显著提升了船舶号牌识别精度，提升了识别鲁棒性。

Description

一种基于英文和汉字联合的船舶号牌识别方法及***

技术领域

本发明涉及船舶识别技术领域，尤其涉及一种基于英文和汉字联合的船舶号牌识别方法及***。

背景技术

在船舶识别领域中，船舶号牌的识别非常重要，是船舶的唯一身份标识。船舶一般有唯一ID，船舶领域内称为MMSI；同时有中文名称，方便在中国领海内航行；还有英文名称，方便在国际海域内航行。英文名称和中文名称一一对应，即同一条船有三个能保证身份的信息{ID(即MMSI)，中文名称，英文名称}，三个信息中的任何一个都能对应唯一的一艘船舶。

目前通用的船舶号牌的识别方法是：国内用OCR方法识别船舶名称中的汉字，国外则一般采用英文识别来识别英文。但单一的汉字或英文识别容易受到光线、距离、天气等环境因素的影响。研究现状为在受限的环境下，放弃做船舶号牌识别。

而汽车号牌虽然也有汉字和英文，但汉字和英文没有关系，不具备船舶的英文名称和中文名称的一一对应关系。

发明内容

本发明的目的在于克服现有技术缺陷，提出了一种基于英文和汉字联合的船舶号牌识别方法及***。

为了实现上述目的，本发明提出了一种基于英文和汉字联合的船舶号牌识别方法，所述方法包括：

步骤1)对采集的船舶号牌图片进行预处理；

步骤2)对预处理后的图片进行特征检索得到包括号牌的二维检测框，并分割得到汉字检测框和英文检测框；

步骤3)将汉字检测框和英文检测框分别输入预先建立和训练好的汉字识别模型和英文识别模型，分别得到汉字识别结果和英文识别结果；

步骤4)基于预先建立的英文汉字映射船牌库，对汉字识别结果和英文识别结果进行联合判别，从而完成船舶号牌的识别。作为上述方法的一种改进，所述步骤1)之前还包括：从视频采集得到的关于船舶号牌的图像帧序列中选取第i帧图像。

作为上述方法的一种改进，所述步骤1)的预处理包括对图像帧进行图片剪裁和位置角度调整。

作为上述方法的一种改进，所述步骤3)的汉字识别模型的输入为汉字检测框，输出为识别得到的汉字，采用GoogleNet、VGG或ResNet结构网络。

作为上述方法的一种改进，所述步骤3)英文识别模型的输入为英文检测框，输出为识别得到的英文，采用GoogleNet、VGG或ResNet结构网络。

作为上述方法的一种改进，所述步骤4)的英文汉字映射船牌库具体包括：包括若干条映射记录，每条映射记录的格式为：{ID编号；汉字船牌；英文船牌}，其中ID编号唯一。

作为上述方法的一种改进，所述步骤4)具体包括：

步骤4-0)设置查找标志为true；

步骤4-1)将汉字结果输入到英文汉字映射船牌库中进行查找，得到第一ID编号；

步骤4-2)将英文结果输入到英文汉字映射船牌库中进行查找，得到第二ID编号；

步骤4-3)判断第一ID编号与第二ID编号是否相同，判断为是，将第一ID编号赋值给ID编号，将汉字结果赋值给汉字船牌，将英文结果赋值给英文船牌，转至步骤4-7)；判断为否，转至步骤4-4)；

步骤4-4)读取第i帧图像在图像帧序列中的前后N帧的汉字结果和英文结果，重复执行步骤4-1)和步骤4-2)直至得到2N帧中每帧的第一ID编号和第二ID编号，结合第i帧的第一ID编号和第二ID编号，按照ID编号出现频次进行排序，将最高频次数记录为Top1_Frequency，对应的ID编号记为Top1_ID；

步骤4-5)若Top1_Frequency≥N，根据Top1_ID，查找英文汉字映射船牌库，得到对应的汉字船牌和英文船牌，将Top1_ID赋值给ID编号，并转至步骤4-7)；

步骤4-6)若Top1_Frequency<N，判断图像帧序列未读完，则将N+1赋值给N，转至步骤4-4)，否则，设置查找标志为false；

步骤4-7)当查找标志为flase，输出：库中无对应船牌；否则输出：{ID编号；汉字船牌；英文船牌}。

一种基于英文和汉字联合的船舶号牌识别***，所述***包括：预处理模块、检测分割模块、汉字识别模型、英文识别模型和联合判别模块；其中，

所述预处理模块，用于对采集的船舶号牌图片进行预处理；

所述检测分割模块，用于对预处理后的图片进行特征检索得到包括号牌的二维检测框，并分割得到汉字检测框和英文检测框；

所述识别模块，用于将汉字检测框和英文检测框分别输入预先建立和训练好的汉字识别模型和英文识别模型，分别得到汉字识别结果和英文识别结果；

所述联合判别模块，用于基于预先建立的英文汉字映射船牌库，对汉字识别结果和英文识别结果进行联合判别，从而完成船舶号牌的识别。

作为上述***的一种改进，所述***还包括：图像选取模块，用于从视频采集得到的关于船舶号牌的图像帧序列中选取第i帧图像。

与现有技术相比，本发明的优势在于：

本发明采用汉字和英文分别检测及识别的方法，采用了人工智能中的CNN卷积神经网络，建立船舶英文汉字映射库，根据汉字和英文的联合识别结果进行匹配，进而融合得到最终的船舶号牌识别结果，本发明在船舶名称英文或汉字部分被遮挡、截断、模糊时显著提升了船舶号牌识别精度，提升船舶号牌识别能力的鲁棒性。

附图说明

图1是本发明的基于英文和汉字联合的船舶号牌识别方法流程图。

具体实施方式

下面结合附图和实施例对本发明的技术方案进行详细的说明。

实施例1

如图1所示，本发明的实施例1提出了一种基于英文和汉字联合的船舶号牌识别方法，具体步骤如下：

步骤S1:将视频中的每帧图像输入到检测特征提取器中，得到船舶牌照的位置；

步骤S2：将检测得到的区域，进行矫正

步骤S3：输入到号牌分割模块，切分成汉字和英文部分

步骤S4：将汉字船牌输入到深度卷积神经网络中提取信息，并进行识别。卷积神经网络是目前图像识别、视频分析中常用的一种网络，由若干个卷积单元组成，每个卷积单元提取不同的特征。对于一张图像，先将其输入到基础卷积神经网络中，该卷积神经网络的参数用已经训练好的基础模型初始化，如：GoogleNet，VGG，ResNet等。

步骤S5：将英文船牌输入到深度卷积神经网络中提取信息，并进行识别。卷积神经网络是目前图像识别、视频分析中常用的一种网络，由若干个卷积单元组成，每个卷积单元提取不同的特征。对于一张图像，先将其输入到基础卷积神经网络中，该卷积神经网络的参数用已经训练好的基础模型初始化，如：GoogleNet，VGG，ResNet等。

步骤S5：汉字英文联合判别模块，包括建库和判别两部分。

建立英文汉字映射船牌库，格式为：{ID编号；汉字船牌；英文船牌}，例如：{ID:001；汉字船牌:XXX...；英文船牌:ABC...}，英文汉字映射船牌库是联合判别模块的基础，需提前建立。

逻辑判别模块在步骤包括：将汉字和英文结果分别输入到英文汉字映射船牌库中进行查找。具体包括：

步骤4-1)将汉字结果输入到英文汉字映射船牌库中进行查找，得到第一ID编号；

步骤4-2)将英文结果输入到英文汉字映射船牌库中进行查找，得到第二ID编号；

步骤4-3)判断第一ID编号与第二ID编号是否相同，判断为是，转至步骤4-4)；判断为否，读取第i帧图像在图像帧序列中的前后N帧的汉字结果和英文结果，重复执行步骤4-1)和步骤4-2)直至得到2N帧中每帧的第一ID编号和第二ID编号，结合第i帧的第一ID编号和第二ID编号，按照ID编号按出现频次进行排序，记录最高频次数为Top1_Frequency，选取出现频次最多的ID编号，记为Top1_ID，得到对应的{ID编号；汉字船牌；英文船牌}；

步骤4-4)判断Top1_Frequency≥N，输出{ID编号；汉字船牌；英文船牌}

步骤4-5)若Top1_Frequency<N，则向前向后分别拓展一帧继续查找映射船牌，进而得到2(N+1)+1个结果，类似步骤4-3)按频次排序，记录最高频次数为Top1_Frequency+1

步骤4-6)若Top1_Frequency+1≥N+1，则输出对应的{ID编号；汉字船牌；英文船牌}；

步骤4-7)若Top1_Frequency+1<N+1，则继续向前向后分别拓展一帧继续查找映射船牌，进而得到2(N+2)+1个结果，类似步骤4-3)按频次排序，记录最高频次数为Top1_Frequency+2

步骤4-8)若Top1_Frequency+2≥N+2，则输出对应的{ID编号；汉字船牌；英文船牌}；

步骤4-9)若Top1_Frequency+1<N+2，则继续向前向后分别拓展递归查找映射船牌，以此类推，进而得到2(N+M)+1个结果，类似步骤4-3)按频次排序，记录最高频次数为Top1_Frequency+M

步骤4-10)若Top1_Frequency+M≥N+M，则输出对应的{ID编号；汉字船牌；英文船牌}；

步骤4-11)若Top1_Frequency+M<N+M，且全部视频已经遍历完，则输出：库中无对应船牌。

实施例2

本发明的实施例2提出了一种基于英文和汉字联合的船舶号牌识别***，基于实施例1的方法实现，所述***包括：图像选取模块、预处理模块、检测分割模块、汉字识别模型、英文识别模型和联合判别模块；其中，

图像选取模块，用于从视频采集得到的关于船舶号牌的图像帧序列中选取第i帧图像。

所述预处理模块，用于对采集的船舶号牌图片进行预处理；

所述检测分割模块，用于对预处理后的图片进行特征检索得到包括号牌的二维检测框，并分割得到汉字检测框和英文检测框；

所述识别模块，用于将汉字检测框和英文检测框分别输入预先建立和训练好的汉字识别模型和英文识别模型，分别得到汉字识别结果和英文识别结果；

所述联合判别模块，用于基于预先建立的英文汉字映射船牌库，对汉字识别结果和英文识别结果进行联合判别，从而完成船舶号牌的识别。

本发明的方法在船舶名称英文或汉字部分被遮挡、截断、模糊时，识别效果显著提升，在自建船舶测试集合上进行测试，本方法accuary提升13.7％。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于英文和汉字联合的船舶号牌识别方法，所述方法包括：

步骤1)对采集的船舶号牌图片进行预处理；

步骤2)对预处理后的图片进行特征检索得到包括号牌的二维检测框，并分割得到汉字检测框和英文检测框；

步骤3)将汉字检测框和英文检测框分别输入预先建立和训练好的汉字识别模型和英文识别模型，分别得到汉字识别结果和英文识别结果；

步骤4)基于预先建立的英文汉字映射船牌库，对汉字识别结果和英文识别结果进行联合判别，从而完成船舶号牌的识别；

所述步骤1)之前还包括：从视频采集得到的关于船舶号牌的图像帧序列中选取第i帧图像；

所述步骤4)具体包括：

步骤4-0)设置查找标志为true；

步骤4-1)将汉字结果输入到英文汉字映射船牌库中进行查找，得到第一ID编号；

步骤4-2)将英文结果输入到英文汉字映射船牌库中进行查找，得到第二ID编号；

步骤4-3)判断第一ID编号与第二ID编号是否相同，判断为是，将第一ID编号赋值给ID编号，将汉字结果赋值给汉字船牌，将英文结果赋值给英文船牌，转至步骤4-7)；判断为否，转至步骤4-4)；

步骤4-4)读取第i帧图像在图像帧序列中的前后N帧的汉字结果和英文结果，重复执行步骤4-1)和步骤4-2)直至得到2N帧中每帧的第一ID编号和第二ID编号，结合第i帧的第一ID编号和第二ID编号，按照ID编号出现频次进行排序，将最高频次数记录为Top1_Frequency，对应的ID编号记为Top1_ID；

步骤4-5)若Top1_Frequency≥N，根据Top1_ID，查找英文汉字映射船牌库，得到对应的汉字船牌和英文船牌，将Top1_ID赋值给ID编号，并转至步骤4-7)；

步骤4-6)若Top1_Frequency<N，判断图像帧序列未读完，则将N+1赋值给N，转至步骤4-4)，否则，设置查找标志为false；

步骤4-7)当查找标志为flase，输出：库中无对应船牌；否则输出：{ID编号；汉字船牌；英文船牌}。

2.根据权利要求1所述的基于英文和汉字联合的船舶号牌识别方法，其特征在于，所述步骤1)的预处理包括对图像帧进行图片剪裁和位置角度调整。

3.根据权利要求1所述的基于英文和汉字联合的船舶号牌识别方法，其特征在于，所述步骤3)的汉字识别模型的输入为汉字检测框，输出为识别得到的汉字，采用GoogleNet、VGG或ResNet结构网络。

4.根据权利要求1所述的基于英文和汉字联合的船舶号牌识别方法，其特征在于，所述步骤3)英文识别模型的输入为英文检测框，输出为识别得到的英文，采用GoogleNet、VGG或ResNet结构网络。

5.根据权利要求1所述的基于英文和汉字联合的船舶号牌识别方法，其特征在于，所述步骤4)的英文汉字映射船牌库具体包括：包括若干条映射记录，每条映射记录的格式为：{ID编号；汉字船牌；英文船牌}，其中ID编号唯一。

6.一种基于英文和汉字联合的船舶号牌识别***，其特征在于，所述***包括：预处理模块、检测分割模块、识别模块、汉字识别模型、英文识别模型和联合判别模块；其中，

所述预处理模块，用于对采集的船舶号牌图片进行预处理；

所述检测分割模块，用于对预处理后的图片进行特征检索得到包括号牌的二维检测框，并分割得到汉字检测框和英文检测框；

所述识别模块，用于将汉字检测框和英文检测框分别输入预先建立和训练好的汉字识别模型和英文识别模型，分别得到汉字识别结果和英文识别结果；

所述联合判别模块，用于基于预先建立的英文汉字映射船牌库，对汉字识别结果和英文识别结果进行联合判别，从而完成船舶号牌的识别；

所述***还包括：图像选取模块，用于从视频采集得到的关于船舶号牌的图像帧序列中选取第i帧图像；

所述联合判别模块的处理过程具体包括：

步骤4-0)设置查找标志为true；

步骤4-1)将汉字结果输入到英文汉字映射船牌库中进行查找，得到第一ID编号；

步骤4-2)将英文结果输入到英文汉字映射船牌库中进行查找，得到第二ID编号；

步骤4-3)判断第一ID编号与第二ID编号是否相同，判断为是，将第一ID编号赋值给ID编号，将汉字结果赋值给汉字船牌，将英文结果赋值给英文船牌，转至步骤4-7)；判断为否，转至步骤4-4)；

步骤4-4)读取第i帧图像在图像帧序列中的前后N帧的汉字结果和英文结果，重复执行步骤4-1)和步骤4-2)直至得到2N帧中每帧的第一ID编号和第二ID编号，结合第i帧的第一ID编号和第二ID编号，按照ID编号出现频次进行排序，将最高频次数记录为Top1_Frequency，对应的ID编号记为Top1_ID；

步骤4-5)若Top1_Frequency≥N，根据Top1_ID，查找英文汉字映射船牌库，得到对应的汉字船牌和英文船牌，将Top1_ID赋值给ID编号，并转至步骤4-7)；

步骤4-6)若Top1_Frequency<N，判断图像帧序列未读完，则将N+1赋值给N，转至步骤4-4)，否则，设置查找标志为false；

步骤4-7)当查找标志为flase，输出：库中无对应船牌；否则输出：{ID编号；汉字船牌；英文船牌}。

Images