CN110245613A - 基于深度学习特征对比的船牌识别方法 - Google Patents
基于深度学习特征对比的船牌识别方法 Download PDFInfo
- Publication number
- CN110245613A CN110245613A CN201910519796.4A CN201910519796A CN110245613A CN 110245613 A CN110245613 A CN 110245613A CN 201910519796 A CN201910519796 A CN 201910519796A CN 110245613 A CN110245613 A CN 110245613A
- Authority
- CN
- China
- Prior art keywords
- ship
- ship board
- character
- board
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习特征对比的船牌识别方法,本发明采用深度学习卷积神经网络技术构建船只船牌检测模型及船牌字符识别模型,计算速度快、精度高,且对多种光照、背景、环境、船舶外观变化等具有很强的鲁棒性;充分考虑了船牌字符识别中汉字的变化性和多样性,将船牌字符的数字识别和汉字识别分开处理,采用分阶段训练法,先基于logistic loss和cross entropy loss在船牌数字数据集上进行训练,再基于logistic loss和triplet loss在船牌汉字数据集上进行训练,保证了训练效率和收敛速度。此外,基于triplet loss训练可有效应对船牌汉字数据集种类多、分布均匀的情况,在降低类内的距离的同时增大类间差距,提升识别效果。
Description
技术领域
本发明涉及智能识别领域,具体涉及一种基于深度学习特征对比的船牌识别方法。
背景技术
近年来,随着港口经济日益繁荣发展,海洋工程与航道工程的规模和数量不断扩大,与此同时,海上的违章施工、违法采砂、非法走私等行为也随之涌现。由于海上作业面积大、施工海域广、船只作案行为隐蔽且经常存在人工关闭AIS逃避监管的情况,传统的人工出海巡逻执法模式时效性差、危险性强,难以实现船只的有效监管。为了强化管理的维度与力度,港口、岸基等区域架设了大量的高清监控摄像头,可以远距离捕获海上船只的视频图像,为后期执法提供直接证据。借助视频处理和图像识别技术,自动识别监控视频中的船只类型及船牌身份信息,进行结构化数据提取,从而实现船只异常行为的实时监管和黑名单船只预警,将成为海上科技执法与智慧监控的未来发展方向。
由于船牌的统一规范性差,目前船牌识别相关的研究较少且技术尚未成熟。与车牌识别不同,船牌标志的变化性和差异性极大:船牌悬挂位置不统一,船牌背景颜色与字符颜色多种多样缺乏规范,字符个数与字体不统一,船牌字符中的汉字缺乏标准,没有完备的船牌字符集合。因此,现有的发展成熟、性能精准的车牌识别技术难以直接移植到船牌应用中。
专利《一种基于深度学习的自然场景中船牌文字识别方法、装置》(CN107491752A)中,基于深度学习技术训练船舶分类模型、船牌检测模型、船牌分类模型对船舶图像进行文字识别,若识别失败则采用AIS区域检测获取船牌信息。然而,该方法中的船牌分类模型将船牌字符识别作为分类问题进行处理,并未针对船牌识别的特点和难点进行定制设计,在实际应用中船牌字符的汉字类别很多且训练数据集分布不均,将会导致模型训练难、收敛慢、精度低等问题,当出现新的船牌字符时需要对模型进行重新训练,实用性较差。此外,面对人为关闭船只AIS逃避监管的情况,无法进行AIS区域检测以获取船牌信息,船牌识别效果难以保证。
因此,为解决以上问题,需要一种基于深度学习特征对比的船牌识别方法,能够避免现有技术中的船牌识别技术存在精度低、实用性差的技术问题。
发明内容
有鉴于此,本发明的目的是克服现有技术中的缺陷,提供基于深度学习特征对比的船牌识别方法,能够避免现有技术中的船牌识别技术存在精度低、实用性差的技术问题。
本发明的基于深度学习特征对比的船牌识别方法,包括下列步骤:
步骤一:获取多张包含船只及船牌的图片,构建船只船牌检测数据集、船牌数字数据集、船牌汉字三元组数据集;
步骤二:基于深度学习卷积神经网络技术构建船只船牌检测卷积神经网络,并在船只船牌检测数据集上进行训练,得到船只船牌检测模型;
步骤三:基于深度学习卷积神经网络技术构建船牌字符识别卷积神经网络;
步骤四:在船牌数字数据集上,采用梯度下降法基于logistic loss和 crossentropy loss训练船牌字符识别卷积神经网络,得到船牌字符识别初步模型;
步骤五:在船牌汉字三元组数据集上,采用梯度下降法基于logistic loss 和triplet loss训练船牌字符识别初步模型,得到船牌字符识别模型;
步骤六:选择多张船牌汉字字符,输入到船牌字符识别模型中,构建船牌汉字特征库;
步骤七:获取需要检测的船只监控图像,输入到船只船牌检测模型及船牌字符识别模型中,得到船牌识别的初步结果;
步骤八:基于船牌识别的初步结果和船牌汉字特征库,根据欧氏距离进行特征比对,获取船牌识别的最终结果。
进一步,在步骤四中,通过下列步骤获得船牌字符识别初步模型:
4.1选择船牌数字数据集中的单张图像x,根据该图像的标签获取ci;
4.2将x输入至船牌字符识别卷积神经网络中,得到输出层的输出值
4.3训练采用的代价函数如下:
其中,ci为真实标签值,为预测值,α为权重因子;
4.4按照上述公式计算J1的数值,并采用梯度下降法训练船牌字符识别卷积神经网络,迭代多次直至收敛,得到船牌字符识别初步模型。
进一步,在步骤五中,通过下列步骤得到船牌字符识别模型:
5.1选择船牌汉字三元组数据集中的一对船牌汉字三元组图像xA,xP,xN,其中xA,xP为相同标签,xN为不同标签;
5.2将xA,xP,xN分别输入至船牌字符识别初步模型中,得到特征提取层的输出值f(xA),f(xP),f(xN),和输出层的输出值
5.3训练采用的代价函数为:
其中,β为权重因子,m为阈值因子;
5.4按照上述公式计算J2的数值,并采用梯度下降法训练船牌字符识别初步模型,迭代多次直至收敛,得到船牌字符识别模型。
进一步,在步骤八中,具体特征对比步骤如下:
8.1根据船牌识别初步结果,获取单个字符对应的特征提取层的输出值 f(x)和输出层的输出值[p,c0,c1,c2,c3,c4,c5,c6,c7,c8,c9];
8.2基于p值大小,判断单个字符的类型是汉字或数字;
8.3若p大于预设阈值,则字符为数字,取c0-cp中最大的概率值对应的数字为该字符的识别结果;
8.4若p小于或等于预设阈值,则该字符为汉字,计算f(x)与汉字特征数据库中其他特征的欧式距离,选择距离最小的汉字作为该字符的识别结果;
8.5对多张船牌单个字符图像进行8.1-8.4,并将所有单个字符的识别结果进行排序,获得船牌识别的最终结果。
进一步,在步骤一中,构建三元组数据集的步骤如下:
1.5将获取的多张图片进行尺寸归一化,处理后的图片宽为W,高为H;
1.6将归一化后的图片添加船只位置及船牌位置标签,构建船只船牌检测数据集。其中,船只位置标签为船只所在像素区域的左上角和右下角的像素坐标,船牌位置标签为船牌所在像素区域的左上角和右下角的像素坐标;
1.7截取船牌单个数字部分的图像,进行尺寸归一化,并添加数字标签,构建船牌数字数据集。其中,数字标签是0-9共10种数字,处理后的单个数字图像宽为W_1,高为H_1;
1.8截取船牌单个汉字部分的图像,进行尺寸归一化,并添加汉字标签,选取多对船牌汉字图像三元组,构建船牌汉字三元组数据集,其中,每对船牌汉字图像三元组包含两张相同汉字字符的图像和一张不同汉字字符的图像,标签类别数量不固定,处理后的单个汉字图像宽为W_1, 高为H_1;
进一步,在步骤二中,通过下列步骤得到船只船牌检测模型:
2.1船只船牌检测卷积神经网络输入层为整张船只监控图像,输出层为检测到的船只区域坐标和船牌区域坐标;
2.2船只船牌检测卷积神经网络包含多个卷积层、多个池化层、单个或多个全连接层;
2.3船只检测卷积神经网络的训练基于梯度下降法,迭代多次直至收敛。
进一步,在步骤三中,构建船牌字符识别卷积神经网络的具体步骤如下:
3.1船牌字符识别卷积神经网络输入层为单个船牌字符图像x,特征提取层包含n个神经元,输出为f(x),输出层为[p,c0,c1,c2,c3,c4,c5,c6,c7,c8,c9]。其中p 代表该字符是数字的置信度,c0-c9分别代表该字符是数字0-9的概率;
3.2船牌字符识别卷积神经网络包含多个卷积层、多个池化层、单个或多个全连接层;
3.3输出层[p,c0,c1,c2,c3,c4,c5,c6,c7,c8,c9]中每个数值的取值区间为[0,1],例: 当输入的字符为数字“2”时,输出层的理想输出应该是 [1,0,0,1,0,0,0,0,0,0,0]。
进一步,在步骤六中,构建船牌汉字特征库的步骤为:
6.1选择多张包含单个船牌字符的图像x1,x2,x3…xN,该图像可以是船牌汉字三元组数据集中的图像,也可以是新添加的字符图像;
6.2输入选择好的船牌字符图像至船牌字符识别模型中,保存船牌字符标签与特征提取层的输出值f(x1),f(x2),f(x3)…f(xN),得到船牌汉字特征库。
进一步,在步骤七中,通过下列步骤得到船牌识别的初步结果:
7.1将船只监控图像输入到船只船牌检测模型中,得到船牌所在像素区域图像;
7.2将船牌所在像素区域图像进行字符分割,得到多张船牌单个字符图像;
7.3将多张船牌单个字符图像输入到船牌字符识别模型中,得到每个字符对应的特征提取层的输出值和输出层的输出值,即船牌识别的初步结果。
本发明的有益效果是:
(1)本发明采用深度学习卷积神经网络技术构建船只船牌检测模型及船牌字符识别模型,计算速度快、精度高,且对多种光照、背景、环境、船舶外观变化等具有很强的鲁棒性;
(2)本发明充分考虑了船牌字符识别中汉字的变化性和多样性,将船牌字符的数字识别和汉字识别分开处理,采用分阶段训练法,先基于logistic loss和 cross entropyloss在船牌数字数据集上进行训练,再基于logistic loss和triplet loss在船牌汉字数据集上进行训练,保证了训练效率和收敛速度。此外,基于 triplet loss训练可有效应对船牌汉字数据集种类多、分布均匀的情况,在降低类内的距离的同时增大类间差距,提升识别效果;
(3)本发明将船牌的汉字识别问题作为特征比对问题,通过提取待识别字符的特征,与船牌汉字特征库中的特征进行比对,不仅有利于提升识别的精度,还可适用于新添加的字符,当出现新的未经训练的字符时,只需要将其添加只船牌汉字特征库中,无需重新训练模型,对于实际应用场景有很强的实用性。
附图说明
下面结合附图和实施例对本发明作进一步描述:
图1为本发明的流程图。
具体实施方式
图1为本发明的流程图,如图所示,本实施例中的基于深度学习特征对比的船牌识别方法,该方法包括如下步骤:
步骤101:获取多张包含船只及船牌的图片,构建船只船牌检测数据集、船牌数字数据集、船牌汉字三元组数据集;
1.1将获取的多张图片进行尺寸归一化,处理后的图片宽为W,高为H;在实际应用中,W可以设为640,H可以设为480;
1.2将归一化后的图片添加船只位置及船牌位置标签,构建船只船牌检测数据集。其中,船只位置标签为船只所在像素区域的左上角和右下角的像素坐标,船牌位置标签为船牌所在像素区域的左上角和右下角的像素坐标;
1.3截取船牌单个数字部分的图像,进行尺寸归一化,并添加数字标签,构建船牌数字数据集。其中,数字标签是0-9共10种数字,处理后的单个数字图像宽为W_1,高为H_1;在实际应用中,W_1可以设为112,H_1 可以设为112;
1.4截取船牌单个汉字部分的图像,进行尺寸归一化,并添加汉字标签,选取多对船牌汉字图像三元组,构建船牌汉字三元组数据集。其中,每对船牌汉字图像三元组包含两张相同汉字字符的图像和一张不同汉字字符的图像,汉字标签可以是“粤”、“工”、“浚”等汉字,标签类别数量不固定,处理后的单个汉字图像宽为W_1,高为H_1;在实际应用中, W_1可以设为112,H_1可以设为112,标签可以设为“粤、搏、新、石、机、丰、永、绅、泰、华、清、广、莞、海、庆、肇、远、货、嘉、信、韶、关、江、门、坦、顺、利、帝、威、锦、工、会、州、运、穗、航、德、珠、浚、吹、疏、临、惠”共43种;
步骤102:基于深度学习卷积神经网络技术构建船只船牌检测卷积神经网络,并在船只船牌检测数据集上进行训练,得到船只船牌检测模型;
2.1船只船牌检测卷积神经网络输入层为整张船只监控图像,输出层为检测到的船只区域坐标和船牌区域坐标;
2.2船只船牌检测卷积神经网络包含多个卷积层、多个池化层、单个或多个全连接层;在实际应用中,船只船牌检测卷积神经网络模型可以选择YOLO 模型;
2.3船只检测卷积神经网络的训练基于梯度下降法,迭代多次直至收敛。
步骤103:基于深度学习卷积神经网络技术构建船牌字符识别卷积神经网络,其输入层为单个船牌字符图像x,特征提取层包含n个神经元,输出为f(x),输出层为[p,c0,c1,c2,c3,c4,c5,c6,c7,c3,c9]。其中p代表该字符是数字的置信度,c0-c9 分别代表该字符是数字0-9的概率;在实际应用中,特征提取层神经元个数n 可以设为128;
3.1船牌字符识别卷积神经网络包含多个卷积层、多个池化层、单个或多个全连接层;在实际应用中,船牌字符识别卷积神经网络可以选择VGG模型;
3.2输出层[p,c0,c1,c2,c3,c4,c5,c6,c7,c8,c9]中每个数值的取值区间为[0,1],例: 当输入的字符为数字“2”时,输出层的理想输出应该是[1,0,0,1,0,0,0,0,0,0,0]。
步骤104:在船牌数字数据集上,采用梯度下降法基于logistic loss和crossentropy loss训练船牌字符识别卷积神经网络,得到船牌字符识别初步模型。
4.1选择船牌数字数据集中的单张图像x,根据该图像的标签获取ci;
4.2将x输入至船牌字符识别卷积神经网络中,得到输出层的输出值
4.3训练采用的代价函数如下:
其中,ci为真实标签值,为预测值,a为权重因子;
4.4按照上述公式计算J1的数值,并采用梯度下降法训练船牌字符识别卷积神经网络,迭代多次直至收敛,得到船牌字符识别初步模型。
步骤105:在船牌汉字三元组数据集上,采用梯度下降法基于logistic loss 和triplet loss训练船牌字符识别初步模型,得到船牌字符识别模型;
5.1选择船牌汉字三元组数据集中的一对船牌汉字三元组图像xA,xP,xN,其中xA,xP为相同标签,xN为不同标签;
5.2将xA,xP,xN分别输入至船牌字符识别初步模型中,得到特征提取层的输出值f(xA),f(xP),f(xN),和输出层的输出值
5.3训练采用的代价函数为:
其中,β为权重因子,m为阈值因子;
5.4按照上述公式计算J2的数值,并采用梯度下降法训练船牌字符识别初步模型,迭代多次直至收敛,得到船牌字符识别模型。
步骤106:选择多张船牌汉字字符,输入到船牌字符识别模型中,构建船牌汉字特征库;
6.1选择多张包含单个船牌字符的图像x1,x2,x3…xN,该图像可以是船牌汉字三元组数据集中的图像,也可以是新添加的字符图像;
6.2输入选择好的船牌字符图像至船牌字符识别模型中,保存船牌字符标签与特征提取层的输出值f(x1),f(x2),f(x3)…f(xN),得到船牌汉字特征库。
步骤107:获取需要检测的船只监控图像,输入到船只船牌检测模型及船牌字符识别模型中,得到船牌识别的初步结果;
7.1将船只监控图像输入到船只船牌检测模型中,得到船牌所在像素区域图像;
7.2将船牌所在像素区域图像进行字符分割,得到多张船牌单个字符图像;
7.3将多张船牌单个字符图像输入到船牌字符识别模型中,得到每个字符对应的特征提取层的输出值和输出层的输出值,即船牌识别的初步结果。
步骤108:基于船牌识别的初步结果和船牌汉字特征库,根据欧氏距离进行特征比对,获取船牌识别的最终结果。
8.1根据船牌识别初步结果,获取单个字符对应的特征提取层的输出值f(x) 和输出层的输出值[p,c0,c1,c2,c3,c4,c5,c6,c7,c8,c9];
8.2基于p值大小,判断单个字符的类型是汉字或数字;
8.3若p大于预设阈值,则字符为数字,取c0-c9中最大的概率值对应的数字为该字符的识别结果;
8.4若p小于或等于预设阈值,则该字符为汉字,计算f(x)与汉字特征数据库中其他特征的欧式距离,选择距离最小的汉字作为该字符的识别结果;
8.5对多张船牌单个字符图像进行8.1-8.4,并将所有单个字符的识别结果进行排序,获得船牌识别的最终结果。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种基于深度学习特征对比的船牌识别方法,其特征在于:包括下列步骤:
步骤一:获取多张包含船只及船牌的图片,构建船只船牌检测数据集、船牌数字数据集、船牌汉字三元组数据集;
步骤二:基于深度学习卷积神经网络技术构建船只船牌检测卷积神经网络,并在船只船牌检测数据集上进行训练,得到船只船牌检测模型;
步骤三:基于深度学习卷积神经网络技术构建船牌字符识别卷积神经网络;
步骤四:在船牌数字数据集上,采用梯度下降法基于logistic loss和cross entropyloss训练船牌字符识别卷积神经网络,得到船牌字符识别初步模型;
步骤五:在船牌汉字三元组数据集上,采用梯度下降法基于logistic loss和tripletloss训练船牌字符识别初步模型,得到船牌字符识别模型;
步骤六:选择多张船牌汉字字符,输入到船牌字符识别模型中,构建船牌汉字特征库;
步骤七:获取需要检测的船只监控图像,输入到船只船牌检测模型及船牌字符识别模型中,得到船牌识别的初步结果;
步骤八:基于船牌识别的初步结果和船牌汉字特征库,根据欧氏距离进行特征比对,获取船牌识别的最终结果。
2.根据权利要求1所述的基于深度学习特征对比的船牌识别方法,其特征在于:在步骤四中,通过下列步骤获得船牌字符识别初步模型:
4.1选择船牌数字数据集中的单张图像x,根据该图像的标签获取ci;
4.2将x输入至船牌字符识别卷积神经网络中,得到输出层的输出值
4.3训练采用的代价函数如下:
其中,ci为真实标签值,为预测值,α为权重因子;
4.4按照上述公式计算J1的数值,并采用梯度下降法训练船牌字符识别卷积神经网络,迭代多次直至收敛,得到船牌字符识别初步模型。
3.根据权利要求1所述的基于深度学习特征对比的船牌识别方法,其特征在于:在步骤五中,通过下列步骤得到船牌字符识别模型:
5.1选择船牌汉字三元组数据集中的一对船牌汉字三元组图像xA,xP,xN,其中xA,xP为相同标签,xN为不同标签;
5.2将xA,xP,xN分别输入至船牌字符识别初步模型中,得到特征提取层的输出值f(xΔ),f(xD),f(xN),和输出层的输出值
5.3训练采用的代价函数为:
其中,β为权重因子,m为阈值因子;
5.4按照上述公式计算J2的数值,并采用梯度下降法训练船牌字符识别初步模型,迭代多次直至收敛,得到船牌字符识别模型。
4.根据权利要求1所述的基于深度学习特征对比的船牌识别方法,其特征在于:在步骤八中,具体特征对比步骤如下:
8.1根据船牌识别初步结果,获取单个字符对应的特征提取层的输出值f(x)和输出层的输出值
8.2基于p值大小,判断单个字符的类型是汉字或数字;
8.3若p大于预设阈值,则字符为数字,取c0-c9中最大的概率值对应的数字为该字符的识别结果;
8.4若p小于或等于预设阈值,则该字符为汉字,计算f(x)与汉字特征数据库中其他特征的欧式距离,选择距离最小的汉字作为该字符的识别结果;
8.5对多张船牌单个字符图像进行8.1-8.4,并将所有单个字符的识别结果进行排序,获得船牌识别的最终结果。
5.根据权利要求1所述的基于深度学习特征对比的船牌识别方法,其特征在于:在步骤一中,构建三元组数据集的步骤如下:
1.1将获取的多张图片进行尺寸归一化,处理后的图片宽为W,高为H;
1.2将归一化后的图片添加船只位置及船牌位置标签,构建船只船牌检测数据集。其中,船只位置标签为船只所在像素区域的左上角和右下角的像素坐标,船牌位置标签为船牌所在像素区域的左上角和右下角的像素坐标;
1.3截取船牌单个数字部分的图像,进行尺寸归一化,并添加数字标签,构建船牌数字数据集。其中,数字标签是0-9共10种数字,处理后的单个数字图像宽为W_1,高为H_1;
1.4截取船牌单个汉字部分的图像,进行尺寸归一化,并添加汉字标签,选取多对船牌汉字图像三元组,构建船牌汉字三元组数据集,其中,每对船牌汉字图像三元组包含两张相同汉字字符的图像和一张不同汉字字符的图像,标签类别数量不固定,处理后的单个汉字图像宽为W_1,高为H_1;
6.根据权利要求1所述的基于深度学习特征对比的船牌识别方法,其特征在于:在步骤二中,通过下列步骤得到船只船牌检测模型:
2.1船只船牌检测卷积神经网络输入层为整张船只监控图像,输出层为检测到的船只区域坐标和船牌区域坐标;
2.2船只船牌检测卷积神经网络包含多个卷积层、多个池化层、单个或多个全连接层;
2.3船只检测卷积神经网络的训练基于梯度下降法,迭代多次直至收敛。
7.根据权利要求1所述的基于深度学习特征对比的船牌识别方法,其特征在于:在步骤三中,构建船牌字符识别卷积神经网络的具体步骤如下:
3.1船牌字符识别卷积神经网络输入层为单个船牌字符图像x,特征提取层包含n个神经元,输出为f(x),输出层为[p,c0,c1,c2,c3,c4,c5,c6,c7,c8,c9]。其中p代表该字符是数字的置信度,c0-c9分别代表该字符是数字0-9的概率;
3.2船牌字符识别卷积神经网络包含多个卷积层、多个池化层、单个或多个全连接层;
3.3输出层[p,c0,c1,c2,c3,c4,c5,c6,c7,c8,c9]中每个数值的取值区间为[0,1],例:当输入的字符为数字“2”时,输出层的理想输出应该是[1,0,0,1,0,0,0,0,0,0,0]。
8.根据权利要求1所述的基于深度学习特征对比的船牌识别方法,其特征在于:在步骤六中,构建船牌汉字特征库的步骤为:
6.1选择多张包含单个船牌字符的图像x1,x2,x3…xN,该图像可以是船牌汉字三元组数据集中的图像,也可以是新添加的字符图像;
6.2输入选择好的船牌字符图像至船牌字符识别模型中,保存船牌字符标签与特征提取层的输出值f(x1),f(x2),f(x3)…f(xN),得到船牌汉字特征库。
9.根据权利要求1所述的基于深度学习特征对比的船牌识别方法,其特征在于:在步骤七中,通过下列步骤得到船牌识别的初步结果:
7.1将船只监控图像输入到船只船牌检测模型中,得到船牌所在像素区域图像;
7.2将船牌所在像素区域图像进行字符分割,得到多张船牌单个字符图像;
7.3将多张船牌单个字符图像输入到船牌字符识别模型中,得到每个字符对应的特征提取层的输出值和输出层的输出值,即船牌识别的初步结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910519796.4A CN110245613B (zh) | 2019-06-17 | 2019-06-17 | 基于深度学习特征对比的船牌识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910519796.4A CN110245613B (zh) | 2019-06-17 | 2019-06-17 | 基于深度学习特征对比的船牌识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110245613A true CN110245613A (zh) | 2019-09-17 |
CN110245613B CN110245613B (zh) | 2023-01-20 |
Family
ID=67887455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910519796.4A Active CN110245613B (zh) | 2019-06-17 | 2019-06-17 | 基于深度学习特征对比的船牌识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110245613B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111079763A (zh) * | 2019-12-05 | 2020-04-28 | 北京嘉楠捷思信息技术有限公司 | 训练样本生成、模型训练、字符识别方法及其装置 |
CN111291684A (zh) * | 2020-02-10 | 2020-06-16 | 浙江工业大学 | 一种自然场景下的船牌检测方法 |
CN111461116A (zh) * | 2020-03-25 | 2020-07-28 | 深圳市云恩科技有限公司 | 一种船牌文本识别模型、其建模方法及其训练方法 |
CN111599218A (zh) * | 2020-05-19 | 2020-08-28 | 苏州颢裕智能科技有限公司 | 一种采用雷达波数据实现河道船舶抓拍的方法 |
CN111860696A (zh) * | 2020-08-03 | 2020-10-30 | 上海高德威智能交通***有限公司 | 字符注册方法、装置、电子设备及存储介质 |
CN111985470A (zh) * | 2020-07-09 | 2020-11-24 | 浙江工业大学 | 一种自然场景下的船牌矫正识别方法 |
CN112287934A (zh) * | 2020-08-12 | 2021-01-29 | 北京京东尚科信息技术有限公司 | 识别字符和获取字符图像特征提取模型的方法和装置 |
CN113095325A (zh) * | 2021-05-11 | 2021-07-09 | 浙江华是科技股份有限公司 | 一种船舶识别方法、装置及计算机可读存储介质 |
CN113486895A (zh) * | 2021-07-16 | 2021-10-08 | 浙江华是科技股份有限公司 | 一种船牌识别方法、装置及计算机可读存储介质 |
CN114937269A (zh) * | 2022-05-05 | 2022-08-23 | 交通运输部水运科学研究所 | 一种基于英文和汉字联合的船舶号牌识别方法及*** |
CN111860696B (zh) * | 2020-08-03 | 2024-08-02 | 上海高德威智能交通***有限公司 | 字符注册方法、装置、电子设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010073051A (ja) * | 2008-09-19 | 2010-04-02 | Toshiba Corp | ナンバプレート認識方法およびナンバプレート認識装置 |
CN107480785A (zh) * | 2017-07-04 | 2017-12-15 | 北京小米移动软件有限公司 | 卷积神经网络的训练方法及装置 |
CN107491752A (zh) * | 2017-08-14 | 2017-12-19 | 中国石油大学(华东) | 一种基于深度学习的自然场景中船牌文字识别方法、装置 |
CN107563385A (zh) * | 2017-09-02 | 2018-01-09 | 西安电子科技大学 | 基于深度卷积生成式对抗网络的车牌字符识别方法 |
CN108090406A (zh) * | 2016-11-23 | 2018-05-29 | 浙江宇视科技有限公司 | 人脸识别方法及*** |
WO2018126275A1 (en) * | 2016-12-30 | 2018-07-05 | Dirk Schneemann, LLC | Modeling and learning character traits and medical condition based on 3d facial features |
CN109784151A (zh) * | 2018-12-10 | 2019-05-21 | 重庆邮电大学 | 一种基于卷积神经网络的脱机手写汉字识别方法 |
-
2019
- 2019-06-17 CN CN201910519796.4A patent/CN110245613B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010073051A (ja) * | 2008-09-19 | 2010-04-02 | Toshiba Corp | ナンバプレート認識方法およびナンバプレート認識装置 |
CN108090406A (zh) * | 2016-11-23 | 2018-05-29 | 浙江宇视科技有限公司 | 人脸识别方法及*** |
WO2018126275A1 (en) * | 2016-12-30 | 2018-07-05 | Dirk Schneemann, LLC | Modeling and learning character traits and medical condition based on 3d facial features |
CN107480785A (zh) * | 2017-07-04 | 2017-12-15 | 北京小米移动软件有限公司 | 卷积神经网络的训练方法及装置 |
CN107491752A (zh) * | 2017-08-14 | 2017-12-19 | 中国石油大学(华东) | 一种基于深度学习的自然场景中船牌文字识别方法、装置 |
CN107563385A (zh) * | 2017-09-02 | 2018-01-09 | 西安电子科技大学 | 基于深度卷积生成式对抗网络的车牌字符识别方法 |
CN109784151A (zh) * | 2018-12-10 | 2019-05-21 | 重庆邮电大学 | 一种基于卷积神经网络的脱机手写汉字识别方法 |
Non-Patent Citations (2)
Title |
---|
沈文枫等: "大数据时代的车牌汉字识别", 《上海大学学报(自然科学版)》 * |
肖秀春等: "基于深度学习的车牌字符识别的设计与实现", 《电子技术与软件工程》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111079763B (zh) * | 2019-12-05 | 2023-08-08 | 嘉楠明芯(北京)科技有限公司 | 训练样本生成、模型训练、字符识别方法及其装置 |
CN111079763A (zh) * | 2019-12-05 | 2020-04-28 | 北京嘉楠捷思信息技术有限公司 | 训练样本生成、模型训练、字符识别方法及其装置 |
CN111291684A (zh) * | 2020-02-10 | 2020-06-16 | 浙江工业大学 | 一种自然场景下的船牌检测方法 |
CN111461116A (zh) * | 2020-03-25 | 2020-07-28 | 深圳市云恩科技有限公司 | 一种船牌文本识别模型、其建模方法及其训练方法 |
CN111461116B (zh) * | 2020-03-25 | 2024-02-02 | 深圳市云恩科技有限公司 | 一种船牌文本识别模型结构、其建模方法及其训练方法 |
CN111599218A (zh) * | 2020-05-19 | 2020-08-28 | 苏州颢裕智能科技有限公司 | 一种采用雷达波数据实现河道船舶抓拍的方法 |
CN111985470A (zh) * | 2020-07-09 | 2020-11-24 | 浙江工业大学 | 一种自然场景下的船牌矫正识别方法 |
CN111860696A (zh) * | 2020-08-03 | 2020-10-30 | 上海高德威智能交通***有限公司 | 字符注册方法、装置、电子设备及存储介质 |
CN111860696B (zh) * | 2020-08-03 | 2024-08-02 | 上海高德威智能交通***有限公司 | 字符注册方法、装置、电子设备及存储介质 |
CN112287934A (zh) * | 2020-08-12 | 2021-01-29 | 北京京东尚科信息技术有限公司 | 识别字符和获取字符图像特征提取模型的方法和装置 |
CN113095325A (zh) * | 2021-05-11 | 2021-07-09 | 浙江华是科技股份有限公司 | 一种船舶识别方法、装置及计算机可读存储介质 |
CN113486895B (zh) * | 2021-07-16 | 2022-04-19 | 浙江华是科技股份有限公司 | 一种船牌识别方法、装置及计算机可读存储介质 |
CN113486895A (zh) * | 2021-07-16 | 2021-10-08 | 浙江华是科技股份有限公司 | 一种船牌识别方法、装置及计算机可读存储介质 |
CN114937269A (zh) * | 2022-05-05 | 2022-08-23 | 交通运输部水运科学研究所 | 一种基于英文和汉字联合的船舶号牌识别方法及*** |
CN114937269B (zh) * | 2022-05-05 | 2023-01-24 | 交通运输部水运科学研究所 | 一种基于英文和汉字联合的船舶号牌识别方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN110245613B (zh) | 2023-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110245613A (zh) | 基于深度学习特征对比的船牌识别方法 | |
CN108446700B (zh) | 一种基于对抗攻击的车牌攻击生成方法 | |
Shen et al. | Ape-gan: Adversarial perturbation elimination with gan | |
CN108921822A (zh) | 基于卷积神经网络的图像目标计数方法 | |
CN108121991B (zh) | 一种基于边缘候选区域提取的深度学习舰船目标检测方法 | |
CN109784278B (zh) | 基于深度学习的海上弱小运动船舶实时检测方法 | |
CN110348376A (zh) | 一种基于神经网络的行人实时检测方法 | |
CN106529380A (zh) | 图像的识别方法及装置 | |
CN104992223A (zh) | 基于深度学习的密集人数估计方法 | |
CN104408745A (zh) | 一种基于视频图像的实时烟雾场景检测方法 | |
CN106683073A (zh) | 一种车牌的检测方法及摄像机和服务器 | |
CN104504362A (zh) | 基于卷积神经网络的人脸检测方法 | |
CN110598693A (zh) | 一种基于Faster-RCNN的船牌识别方法 | |
CN108334881A (zh) | 一种基于深度学习的车牌识别方法 | |
CN103413147A (zh) | 一种车牌识别方法和*** | |
CN107169106A (zh) | 视频检索方法、装置、存储介质及处理器 | |
Gao et al. | License plate recognition based on prior knowledge | |
CN104077605A (zh) | 一种基于颜色拓扑结构的行人搜索识别方法 | |
CN107330360A (zh) | 一种行人衣着颜色识别、行人检索方法和装置 | |
CN108416270A (zh) | 一种基于多属性联合特征的交通标志识别方法 | |
CN107220598A (zh) | 基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法 | |
CN112417931A (zh) | 一种基于视觉显著性的水面物体检测和分类的方法 | |
CN109344856A (zh) | 一种基于多层判别式特征学习的脱机签名鉴别方法 | |
CN109800756A (zh) | 一种用于中文历史文献密集文本的文字检测识别方法 | |
CN109753962A (zh) | 基于混合网络的自然场景图像中文本区域的处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |