CN113239854A - 一种基于深度学习的船舶身份识别方法及*** - Google Patents

一种基于深度学习的船舶身份识别方法及*** Download PDF

Info

Publication number
CN113239854A
CN113239854A CN202110583991.0A CN202110583991A CN113239854A CN 113239854 A CN113239854 A CN 113239854A CN 202110583991 A CN202110583991 A CN 202110583991A CN 113239854 A CN113239854 A CN 113239854A
Authority
CN
China
Prior art keywords
ship
character
deep learning
image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110583991.0A
Other languages
English (en)
Other versions
CN113239854B (zh
Inventor
陈静玉
杨轩
曾庆超
郭浩
李砚泽
闫迎速
董金宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Environmental Features
Original Assignee
Beijing Institute of Environmental Features
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Environmental Features filed Critical Beijing Institute of Environmental Features
Priority to CN202110583991.0A priority Critical patent/CN113239854B/zh
Publication of CN113239854A publication Critical patent/CN113239854A/zh
Application granted granted Critical
Publication of CN113239854B publication Critical patent/CN113239854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的船舶身份识别方法及***、计算机设备、计算机可读存储介质，该方法包括：获取船舶图像；基于深度学习网络进行目标检测，检测船舶图像中的船舶类别、位置以及船牌位置；基于深度学习网络进行字符识别，提取船舶图像中的所有字符位置及内容；根据船牌位置与字符位置，过滤非船牌的字符内容，得到真实的船牌字符内容；基于船舶类别及船牌字符内容，分析船舶的身份。本发明不依赖AIS进行船舶身份识别，精度高、实时性好，能够有效解决对于未开AIS设备的船舶取证难的问题。

Description

一种基于深度学习的船舶身份识别方法及***
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的船舶身份识别方法及***、计算机设备、计算机可读存储介质。
背景技术
随着经济社会持续发展，水运运输业也在不断进步，为维系水运运输业的效率与安全，涉海部门的监管工作必不可少，以确保对重点船舶、重点时段、重点水域***到位。目前在实际监管中，涉海部门主要针对在船舶上安装AIS(船舶自动识别***)的航船进行监管，但是对于未开AIS的船只，缺乏有效的手段进行监管和取证，给水上船舶管控业务造成了困难。
发明内容
本发明的目的是针对上述至少一部分不足之处，提供一种可以不依赖AIS设备对海上船舶进行监管的船舶身份识别技术，以解决涉海部门对于“鬼船”(即未开AIS设备的船舶)取证难的问题。
为了实现上述目的，本发明提供了一种基于深度学习的船舶身份识别方法，包括：
步骤S1、获取船舶图像；
步骤S2、基于深度学习网络进行目标检测，检测船舶图像中的船舶类别、位置以及船牌位置；
步骤S3、基于深度学习网络进行字符识别，提取船舶图像中的所有字符位置及内容；
步骤S4、根据船牌位置与字符位置，过滤非船牌的字符内容，得到真实的船牌字符内容；
步骤S5、基于船舶类别及船牌字符内容，分析船舶的身份。
可选地，所述步骤S2中，基于深度学习网络进行目标检测时，采用的深度学习网络为YOLOv4目标检测网络，目标检测结果包括8类船舶及1类船牌，其中8类船舶分别为：集装箱船、客船、拖船、渔船、油轮、矿船、散货船和快艇。
可选地，训练所述YOLOv4目标检测网络时，包括：
采集真实的图像数据集，所述图像数据集包含8类船舶，每类船舶的图像不少于5000张，且图像中包含有对应的船牌；
将所述图像数据集分为训练集与验证集；
将所述训练集中的图像输入到所述YOLOv4目标检测网络的CSPDarknet53主干网络中，提取目标的深层特征；
采用SPP空间金字塔池化扩大感受野；
采用所述YOLOv4目标检测网络的PANet路径聚合模块，将目标的浅层特征和深层特征进行信息融合，以适用不同尺度的目标检测；
通过所述YOLOv4目标检测网络的全连接层输出检测结果，所述检测结果分为9类，包括8类船舶和1类船牌；
根据输出的检测结果计算损失函数值，基于所述损失函数值的下降趋势调节所述YOLOv4目标检测网络的学习率和批处理的大小，继续输入所述训练集中的图像进行迭代训练，直到所述损失函数值小于等于预设阈值，或训练次数达到设置的最大迭代次数，停止训练，得到预测模型；
通过所述验证集对所述预测模型进行验证，筛选出性能最优的模型参数，得到最终模型。
可选地，所述步骤S3中，基于深度学习网络进行字符识别时，采用的用于字符识别的深度学习网络为PaddleOCR文字识别网络。
可选地，训练用于字符识别的深度学习网络时，包括：
采集真实的图像数据集，所述图像数据集包含8类船舶，每类船舶的图像不少于5000张，且图像中包含有对应的船牌；
获取真实的船牌字符集；
使用图像合成工具Style-Text，基于所述图像数据集与所述船牌字符集合成背景为船舶的字符图像集合；
以合成的字符图像集合划分训练集和验证集，对用于字符识别的深度学习网络进行训练。
可选地，所述步骤S4中，过滤非船牌的字符内容时，将船牌位置与字符位置取交并比，通过预设的交并比阈值，过滤掉交并比低于交并比阈值的字符内容。
可选地，所述步骤S5中，分析船舶的身份时，将船牌字符内容与船名库进行比对，若船名库中无此船舶的信息，则将对应的船牌字符内容、船舶类别与船舶图像记录入库；
若当前船舶为黑名单船只，则提示告警信息，并保存对应的船牌字符内容、船舶类别与船舶图像进行取证。
本发明还提供了一种基于深度学习的船舶身份识别***，包括：
摄像机、交换机、船舶身份识别服务器和显控后端；其中，
所述摄像机用于采集船舶图像；
所述船舶身份识别服务器包括目标检测服务器、字符提取服务器和船牌信息确认服务器；
所述目标检测服务器用于基于深度学习网络进行目标检测，检测船舶图像中的船舶类别、位置以及船牌位置；所述字符提取服务器用于基于深度学习网络进行字符识别，提取船舶图像中的所有字符位置及内容；所述船牌信息确认服务器用于根据船牌位置与字符位置，过滤非船牌的字符内容，得到真实的船牌字符内容；
所述显控后端用于基于船舶类别及船牌字符内容，分析船舶的身份；
所述交换机用于实现所述摄像机、船舶身份识别服务器和显控后端之间的数据传输。
本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述基于深度学习的船舶身份识别方法的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述基于深度学习的船舶身份识别方法的步骤。
本发明的上述技术方案具有如下优点：本发明提供了一种基于深度学习的船舶身份识别方法及***、计算机设备、计算机可读存储介质，本发明获取船舶图像并实时检测识别，通过不同船舶的目标特征以及船牌字符内容进行船舶身份识别，无需船舶开启AIS即可对其身份进行分析判定与记录，准确性高、实时性好，能够解决水上船舶管控业务中对于“鬼船”和黑名单船只发现难、取证难的问题。
附图说明
图1是本发明实施例中一种基于深度学习的船舶身份识别方法步骤示意图；
图2是本发明实施例中一种基于深度学习的船舶身份识别方法流程示意图；
图3是本发明实施例中一种基于深度学习的船舶身份识别***结构示意图。
图中：1：摄像机；2：交换机；3：船舶身份识别服务器；4：显控后端。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，涉海部门主要针对在船舶上安装AIS设备的航船进行监管，对于未开AIS的船只缺乏有效的手段进行监管和取证。为解决涉海部门对于“鬼船”发现难、取证难的问题，本发明提供了一种基于深度学习的船舶身份识别方法及***，以实现自动化船舶身份识别。
如图1所示，本发明实施例提供的一种基于深度学习的船舶身份识别方法，具体包括：
步骤S1、获取船舶图像。
利用图像/视频采集设备，例如可见光摄像机，可以直接拍摄监测区域(如重点水域、重点时段)内出现船舶时的船舶图像。也可通过其他方式获取已有的船舶图像进行船舶身份识别与分析。
步骤S2、基于深度学习网络进行目标检测，检测船舶图像中的船舶类别、船舶位置以及船牌位置。
基于深度学习能够实时对目标进行检测，当画面中检测到船舶时，返回船舶的类别和位置信息。此步骤S2基于深度学习的神经网络模型确定船舶类别、船舶位置和船牌位置。确定船舶类别可用于识别船舶身份以及分类统计，也可用于追踪重点船舶；确定船舶位置可用于船舶的定位与监测；确定船牌位置可用于后续步骤中核对船牌上的字符内容信息。
步骤S3、基于深度学习网络进行字符识别，提取船舶图像中的所有字符位置及字符内容。
基于深度学习能够对图像中的字符进行检测和识别，检测并识别图像中的字符信息。
需要说明的是，步骤S2与步骤S3之间没有执行的先后顺序限制，可以先执行步骤S2再执行步骤S3，也可以先执行步骤S3再执行步骤S2，或者同时执行步骤S2和步骤S3。
步骤S4、根据步骤S2检测到的船牌位置与步骤S3中提取的字符位置，过滤非船牌的字符内容，得到船舶图像中真实的船牌字符内容。
由于拍摄的船舶图像中可能出现非船牌的字符内容，例如码头上的标识牌字符等，此步骤S4能够去除掉非船牌的字符信息，以获得准确的船牌字符信息，从而提高船牌识别的准确性。
步骤S5、基于船舶类别及船牌字符内容，分析船舶的身份。
本发明提供的基于深度学习的船舶身份识别方法结合了目标识别与字符检测以确定船舶类别与船牌内容，不依赖AIS进行船舶身份识别，精度高、实时性好，能够有效解决对于未开AIS设备的船舶发现难、取证难的问题。通过船舶类别及船牌字符内容确定船舶身份后，可进一步进行船舶的身份核验以及后续的统计分析等操作，例如比对黑名单，确定当前船舶是否构成安全威胁等，还比如统计不同类别的船舶的行为模式、行动轨迹及高危动作等。本发明可广泛用于海警、海关、水上公安等部门。
优选地，步骤S2中，基于深度学习网络进行目标检测时，所采用的、用于目标检测的深度学习网络为YOLOv4目标检测网络，即，步骤S2中利用训练好的YOLOv4目标检测网络进行目标检测。目标检测结果包括8类船舶及1类船牌，其中8类船舶分别为：集装箱船、客船、拖船、渔船、油轮、矿船、散货船和快艇。通过训练好的YOLOv4目标检测网络可识别出8类船舶类别对应的船舶目标及船舶所在位置，船牌可视为1类特殊的船舶目标，YOLOv4目标检测网络同样可识别出该类目标及其所在位置(即船牌位置)。
优选地，该方法基于darknet深度学习框架训练YOLOv4目标检测网络，调整训练模型过程中的超参数，如最大迭代次数、每次迭代输入的图片数量、输出特征图的数量、学习率等。
进一步地，训练步骤S2中所采用的、用于目标检测的YOLOv4目标检测网络时，包括：
采集真实的图像数据集，其中图像数据集包含8类船舶的图像，每类船舶的图像不少于5000张，且图像中包含有对应的船牌；图像优选采用手工进行相应的数据标注，如标注出图像中目标类别及位置等；
将图像数据集分为训练集与验证集；训练集与验证集的数据比例可选为7:3，也可根据实际需要调整；
将训练集中的图像输入到YOLOv4目标检测网络的CSPDarknet53主干网络中，提取各类船舶目标的深层特征；
采用SPP空间金字塔池化扩大YOLOv4目标检测网络的感受野；
采用YOLOv4目标检测网络的PANet路径聚合模块，将目标的浅层特征和深层特征进行信息融合，以适用不同尺度的目标检测；
通过YOLOv4目标检测网络的全连接层输出检测结果，其中检测结果分为9类，包括8类船舶和1类船牌，每一类的检测结果均包括目标类别与目标位置；
根据输出的检测结果与对应的数据标注计算损失函数值，基于损失函数值的下降趋势调节YOLOv4目标检测网络的学习率和批处理的大小，继续输入训练集中的图像进行迭代训练，直到损失函数值小于等于预设阈值，或训练次数达到设置的最大迭代次数时，停止训练，得到训练好的网络模型，记为预测模型；
通过验证集对预测模型的目标检测性能进行验证，筛选出性能最优(准确性高)的模型参数，得到最终模型，利用最终模型即可实现目标检测。
基于训练集与验证集对YOLOv4目标检测网络进行训练时，通过不断调整模型参数，最终可得到用于各类船舶(及船牌)进行目标检测的深度学习网络。
优选地，步骤S3中，基于深度学习网络进行字符识别时，所采用的、用于字符识别的深度学习网络为PaddleOCR文字识别网络，即，步骤S3中利用训练好的PaddleOCR文字识别网络进行字符识别。PaddleOCR文字识别网络可实现字符检测、字符位置确定及字符内容识别，基于PaddlePaddle深度学习框架训练用于字符检测和识别的模型(即PaddleOCR文字识别网络)，可提升船牌识别准确率。
进一步地，训练步骤S3中的用于字符识别的深度学习网络(如PaddleOCR文字识别网络)时，包括：
采集真实的图像数据集，图像数据集包含8类船舶，每类船舶的图像不少于5000张，且图像中包含有对应的船牌；
获取真实的船牌字符集，如沿海各个省市的船牌字符集；
使用图像合成工具Style-Text，基于图像数据集与船牌字符集合成背景为船舶的字符图像集合；
以合成的字符图像集合划分训练集和验证集，利用训练集和验证集对用于字符识别的深度学习网络进行训练，得到训练好的模型。
通过使用图像合成工具Style-Text，对实地采集的船牌字符集与真实的船舶图像进行数据合成，能够获得大量的、用于训练的字符图像，以便提高模型的训练精度，从而获得识别精度更高、适用范围更广的模型。用于字符识别的深度学习网络的具体训练步骤可参考现有技术，在此不再进一步赘述。
优选地，步骤S4中，过滤非船牌的字符内容时，将步骤S2中得到船牌位置与步骤S3中提取的字符位置取交并比(IoU)，通过预设的交并比阈值，过滤掉交并比低于预设的交并比阈值的字符内容。预设的交并比阈值可选0.5。即，若步骤S2中得到船牌位置与步骤S3中提取的字符位置取交并比低于0.5，则可认为该字符并非船牌上的字符，属于船舶图像中的干扰信息，应舍弃相应的字符内容信息。通过信息融合实现过滤，去除掉非船牌字符信息，最终可得到图像中真实船牌信息。
优选地，步骤S5中，分析船舶的身份时，将船牌字符内容与船名库(即已有的、记载有各船舶信息的数据库)进行比对，若已有的船名库中无此船舶的信息，则将对应的船牌字符内容、船舶类别与船舶图像记录入库。进一步地，若比对结果显示，检索到当前船舶为黑名单船只，则提示告警信息，并保存对应的船牌字符内容、船舶类别与船舶图像进行取证。进一步地，提示告警信息后，还可利用图像/视频采集设备进一步对该船舶进行追踪录像，可标记船舶位置，以进行重点跟踪、取证。特别地，若比对结果显示，当前船舶的船舶类别与船牌字符内容不符，也可提示告警。
在一个优选的实施方式中，如图2所示，步骤S1中，通过可见光摄像机监控录像，实现连续获取船舶图像；步骤S2中，通过目标检测服务器基于深度学习网络进行目标检测，获取目标类别(船舶类别及船牌)和位置信息；步骤S3中，通过字符提取服务器基于深度学习网络进行字符识别，检测和识别图像中的文字信息；步骤S4中，进行目标检测和字符提取信息融合，即，结合船牌位置与字符位置的信息，过滤非船牌的字符内容，实现船牌信息确认，得到船舶图像中真实的船牌字符内容；步骤S5中，获取深度学习与信息融合算法结果，即船舶类别及真实的船牌字符内容，根据结果，先判断当前船舶是否为船名库中的船只，若不是，则对当前船舶进行抓拍与入库，增加相关记录，若是，再判断当前船舶是否为黑名单船只，若是，则进行告警，并通过录像取证。
如图3所示，本发明还提供了一种基于深度学习的船舶身份识别***，包括摄像机1、交换机2、船舶身份识别服务器3及显控后端4；具体地，其中：
摄像机1用于采集船舶图像。摄像机能够根据需要调整视场大小和监控角度，完成对原始图像的采集。
船舶身份识别服务器3用于深度学习目标检测服务、深度学习图像字符识提取服务及船牌信息确认服务，负责检测和识别图像中船舶身份信息，船舶身份识别服务器3包括目标检测服务器、字符提取服务器和船牌信息确认服务器。
其中，目标检测服务器用于基于深度学习网络进行目标检测，检测船舶图像中的船舶类别、位置以及船牌位置；字符提取服务器用于基于深度学习网络进行字符识别，提取船舶图像中的所有字符位置及内容；船牌信息确认服务器用于根据船牌位置与字符位置，过滤非船牌的字符内容，得到真实的船牌字符内容。
显控后端4用于基于船舶类别及船牌字符内容，分析船舶的身份。
交换机2用于实现摄像机1、船舶身份识别服务器3和显控后端4之间的数据传输。
使用时，该***中的显控后端4用于人机交互，通过交换机2传回，显控后端4优选通过交换机2获取摄像机1采集的船舶图像，实时显示获取的船舶图像，并通过交换机2将船舶图像传输至船舶身份识别服务器3，由船舶身份识别服务器3进行船舶检测与身份识别，获取船舶身份信息；船舶身份识别服务器3通过交换机2传回船舶类别及船牌字符内容至显控后端4，由显控后端4进行后续的分析。
通过分离设置的船舶身份识别服务器3与显控后端4，可以实现两个线程同时处理数据，不会因为船舶身份识别服务器3的分析处理阻塞了显控后端4的实时图像监控。显控后端4分为两个线程，一个线程实时显示摄像机1采集的船舶图像，另一个线程用于图像数据的发送和接收，通过交换机2发送至船舶身份识别服务器进行目标检测和字符提取以及信息融合，进行船舶身份识别，以及获取船舶身份识别的结果并进行分析与记录，例如可调用相关的船名库对识别结果进行比对，判断当前船舶是否为船名库船只，是否为黑名单船只等。两个线程实现多任务处理同时进行，互不干扰，高效融合了实时监测与船舶身份识别。
优选地，目标检测服务器基于深度学习网络进行目标检测时，采用的深度学习网络为YOLOv4目标检测网络，目标检测结果包括8类船舶及1类船牌，其中8类船舶分别为：集装箱船、客船、拖船、渔船、油轮、矿船、散货船和快艇。
优选地，字符提取服务器基于深度学习网络进行字符识别时，采用的用于字符识别的深度学习网络为PaddleOCR文字识别网络。
优选地，船牌信息确认服务器过滤非船牌的字符内容时，将船牌位置与字符位置取交并比，通过预设的交并比阈值，过滤掉交并比低于交并比阈值的字符内容。
优选地，显控后端4分析船舶的身份时，将船舶身份识别服务器返回的信息和已有的数据库进行比对，即，将船牌字符内容与已有的船名库进行比对，若船名库中无此船舶的信息，则将对应的船牌字符内容、船舶类别与船舶图像记录入库；
若当前船舶为黑名单船只，则提示告警信息，并保存对应的船牌字符内容、船舶类别与船舶图像进行取证。
上述基于深度学习的船舶身份识别***的各硬件单元(即摄像机1、交换机2、船舶身份识别服务器3和显控后端4)之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
以上各实施例中，硬件单元可以通过机械方式或电气方式实现。例如，一个硬件单元可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
特别地，在本发明一些优选的实施方式中，还提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述任一实施方式中基于深度学习的船舶身份识别方法的步骤。
在本发明另一些优选的实施方式中，还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施方式中基于深度学习的船舶身份识别方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述基于深度学习的船舶身份识别方法实施例的流程，在此不再重复说明。
综上所述，本发明提供了一种基于深度学习的船舶身份识别方法及***、计算机设备、计算机可读存储介质，本发明利用图像处理方法实现对水上船舶身份信息采集和识别，能够应对船舶未开AIS设备的情形，解决对海管控中对于“鬼船”取证难的问题。本发明使用基于卷积神经网络的目标检测方法(如YOLOv4目标检测网络)，具有良好的泛化能力，在检测精度及效率方面较传统CV方法均具有优势；本发明使用基于卷积神经网络的字符检测及识别方法(如PaddleOCR文字识别网络)，支持中英文、数字组合识别，相较于传统的光学字符识别方法，在保证模型轻量化的同时，识别准确率高，可有效识别船牌信息；本发明利用大量采集的实际场景数据(即真实的图像数据集)对YOLOv4目标检测网络进行优化训练，获得能够识别8类船舶和1类船牌，适用于对海管控场景的实用型目标检测模型；本发明通过对实地采集的船牌数据集(即真实的船牌字符集)进行数据合成，形成船牌字符内容涵盖沿海各个省市船牌信息的数据集(即合成的、背景为船舶的字符图像集合)，然后对PaddleOCR文字识别网络进行优化训练，获得识别精更高、适用范围更广的字符检测和识别方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度学习的船舶身份识别方法，其特征在于，包括：
步骤S1、获取船舶图像；
步骤S2、基于深度学习网络进行目标检测，检测船舶图像中的船舶类别、位置以及船牌位置；
步骤S3、基于深度学习网络进行字符识别，提取船舶图像中的所有字符位置及内容；
步骤S4、根据船牌位置与字符位置，过滤非船牌的字符内容，得到真实的船牌字符内容；
步骤S5、基于船舶类别及船牌字符内容，分析船舶的身份。
2.根据权利要求1所述的基于深度学习的船舶身份识别方法，其特征在于：
所述步骤S2中，基于深度学习网络进行目标检测时，采用的深度学习网络为YOLOv4目标检测网络，目标检测结果包括8类船舶及1类船牌，其中8类船舶分别为：集装箱船、客船、拖船、渔船、油轮、矿船、散货船和快艇。
3.根据权利要求2所述的基于深度学习的船舶身份识别方法，其特征在于，
训练所述YOLOv4目标检测网络时，包括：
采集真实的图像数据集，所述图像数据集包含8类船舶，每类船舶的图像不少于5000张，且图像中包含有对应的船牌；
将所述图像数据集分为训练集与验证集；
将所述训练集中的图像输入到所述YOLOv4目标检测网络的CSPDarknet53主干网络中，提取目标的深层特征；
采用SPP空间金字塔池化扩大感受野；
采用所述YOLOv4目标检测网络的PANet路径聚合模块，将目标的浅层特征和深层特征进行信息融合，以适用不同尺度的目标检测；
通过所述YOLOv4目标检测网络的全连接层输出检测结果，所述检测结果分为9类，包括8类船舶和1类船牌；
根据输出的检测结果计算损失函数值，基于所述损失函数值的下降趋势调节所述YOLOv4目标检测网络的学习率和批处理的大小，继续输入所述训练集中的图像进行迭代训练，直到所述损失函数值小于等于预设阈值，或训练次数达到设置的最大迭代次数，停止训练，得到预测模型；
通过所述验证集对所述预测模型进行验证，筛选出性能最优的模型参数，得到最终模型。
4.根据权利要求1所述的基于深度学习的船舶身份识别方法，其特征在于：
所述步骤S3中，基于深度学习网络进行字符识别时，采用的用于字符识别的深度学习网络为PaddleOCR文字识别网络。
5.根据权利要求1或4所述的基于深度学习的船舶身份识别方法，其特征在于，
训练用于字符识别的深度学习网络时，包括：
采集真实的图像数据集，所述图像数据集包含8类船舶，每类船舶的图像不少于5000张，且图像中包含有对应的船牌；
获取真实的船牌字符集；
使用图像合成工具Style-Text，基于所述图像数据集与所述船牌字符集合成背景为船舶的字符图像集合；
以合成的字符图像集合划分训练集和验证集，对用于字符识别的深度学习网络进行训练。
6.根据权利要求1所述的基于深度学习的船舶身份识别方法，其特征在于：
所述步骤S4中，过滤非船牌的字符内容时，将船牌位置与字符位置取交并比，通过预设的交并比阈值，过滤掉交并比低于交并比阈值的字符内容。
7.根据权利要求1所述的基于深度学习的船舶身份识别方法，其特征在于：
所述步骤S5中，分析船舶的身份时，将船牌字符内容与船名库进行比对，若船名库中无此船舶的信息，则将对应的船牌字符内容、船舶类别与船舶图像记录入库；
若当前船舶为黑名单船只，则提示告警信息，并保存对应的船牌字符内容、船舶类别与船舶图像进行取证。
8.一种基于深度学习的船舶身份识别***，其特征在于，包括：摄像机、交换机、船舶身份识别服务器和显控后端；其中，
所述摄像机用于采集船舶图像；
所述船舶身份识别服务器包括目标检测服务器、字符提取服务器和船牌信息确认服务器；
所述目标检测服务器用于基于深度学习网络进行目标检测，检测船舶图像中的船舶类别、位置以及船牌位置；所述字符提取服务器用于基于深度学习网络进行字符识别，提取船舶图像中的所有字符位置及内容；所述船牌信息确认服务器用于根据船牌位置与字符位置，过滤非船牌的字符内容，得到真实的船牌字符内容；
所述显控后端用于基于船舶类别及船牌字符内容，分析船舶的身份；
所述交换机用于实现所述摄像机、船舶身份识别服务器和显控后端之间的数据传输。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述基于深度学习的船舶身份识别方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述基于深度学习的船舶身份识别方法的步骤。
CN202110583991.0A 2021-05-27 2021-05-27 一种基于深度学习的船舶身份识别方法及*** Active CN113239854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110583991.0A CN113239854B (zh) 2021-05-27 2021-05-27 一种基于深度学习的船舶身份识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110583991.0A CN113239854B (zh) 2021-05-27 2021-05-27 一种基于深度学习的船舶身份识别方法及***

Publications (2)

Publication Number Publication Date
CN113239854A true CN113239854A (zh) 2021-08-10
CN113239854B CN113239854B (zh) 2023-12-19

Family

ID=77139106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110583991.0A Active CN113239854B (zh) 2021-05-27 2021-05-27 一种基于深度学习的船舶身份识别方法及***

Country Status (1)

Country Link
CN (1) CN113239854B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610098A (zh) * 2021-08-19 2021-11-05 创优数字科技(广东)有限公司 纳税号识别方法、装置、存储介质及计算机设备
CN113763389A (zh) * 2021-08-24 2021-12-07 深圳前海爱客风信息技术有限公司 一种基于多主体检测分割的图像识别方法
CN114387301A (zh) * 2021-12-23 2022-04-22 上海弘目智能科技有限公司 一种基于ptz相机联动控制的船体智能视频行为分析方法

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220638A (zh) * 2017-07-03 2017-09-29 深圳市唯特视科技有限公司 一种基于深度学习卷积神经网络的车牌检测识别方法
CN108154149A (zh) * 2017-12-08 2018-06-12 济南中维世纪科技有限公司 基于深度学习网络共享的车牌识别方法
CN108334881A (zh) * 2018-03-12 2018-07-27 南京云创大数据科技股份有限公司 一种基于深度学习的车牌识别方法
WO2019066641A2 (en) * 2017-09-29 2019-04-04 Mimos Berhad SYSTEM AND METHOD FOR RECOGNITION OF PLATE OF REGISTRATION
CN109685100A (zh) * 2018-11-12 2019-04-26 平安科技（深圳）有限公司 字符识别方法、服务器及计算机可读存储介质
WO2019101221A1 (zh) * 2017-12-11 2019-05-31 珠海大横琴科技发展有限公司 一种基于场景多维特征的船只检测方法及***
CN109993163A (zh) * 2019-03-19 2019-07-09 苏州大学 一种基于人工智能的非标铭牌识别***及其识别方法
CN110717493A (zh) * 2019-09-16 2020-01-21 浙江大学 一种基于深度学习的含堆叠字符的车牌识别方法
CN110728275A (zh) * 2018-07-16 2020-01-24 杭州海康威视数字技术股份有限公司 车牌识别方法、装置及存储介质
CN110991444A (zh) * 2019-11-19 2020-04-10 复旦大学 面向复杂场景的车牌识别方法及装置
WO2020098195A1 (zh) * 2018-11-15 2020-05-22 上海埃威航空电子有限公司 基于ais与视频数据融合的船舶身份识别方法
CN111401361A (zh) * 2020-03-06 2020-07-10 南京理工大学 一种端到端的轻量级深度车牌识别方法
CN111428723A (zh) * 2020-04-02 2020-07-17 苏州杰锐思智能科技股份有限公司 字符识别方法及装置、电子设备、存储介质
CN111985475A (zh) * 2020-08-26 2020-11-24 苏州工图智能科技有限公司 船舶船牌识别方法、计算设备及存储介质
CN112329886A (zh) * 2020-11-26 2021-02-05 珠海大横琴科技发展有限公司 双车牌识别方法、模型训练方法、装置、设备及存储介质
CN112422625A (zh) * 2020-10-14 2021-02-26 南京智盈人工智能研究院有限公司 一种多功能司法服务应用集成***及方法
CN112541393A (zh) * 2020-11-10 2021-03-23 国网浙江嵊州市供电有限公司 一种基于深度学习的变电站人员检测方法及装置
CN112633277A (zh) * 2020-12-30 2021-04-09 杭州电子科技大学 基于深度学习的航道船牌检测、定位及识别方法
CN112668663A (zh) * 2021-01-05 2021-04-16 南京航空航天大学 一种基于YOLOv4的航拍小汽车检测方法
CN112800838A (zh) * 2020-12-28 2021-05-14 浙江万里学院 一种基于深度学习的航道船舶检测与识别方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220638A (zh) * 2017-07-03 2017-09-29 深圳市唯特视科技有限公司 一种基于深度学习卷积神经网络的车牌检测识别方法
WO2019066641A2 (en) * 2017-09-29 2019-04-04 Mimos Berhad SYSTEM AND METHOD FOR RECOGNITION OF PLATE OF REGISTRATION
CN108154149A (zh) * 2017-12-08 2018-06-12 济南中维世纪科技有限公司 基于深度学习网络共享的车牌识别方法
WO2019101221A1 (zh) * 2017-12-11 2019-05-31 珠海大横琴科技发展有限公司 一种基于场景多维特征的船只检测方法及***
CN108334881A (zh) * 2018-03-12 2018-07-27 南京云创大数据科技股份有限公司 一种基于深度学习的车牌识别方法
CN110728275A (zh) * 2018-07-16 2020-01-24 杭州海康威视数字技术股份有限公司 车牌识别方法、装置及存储介质
CN109685100A (zh) * 2018-11-12 2019-04-26 平安科技（深圳）有限公司 字符识别方法、服务器及计算机可读存储介质
WO2020098195A1 (zh) * 2018-11-15 2020-05-22 上海埃威航空电子有限公司 基于ais与视频数据融合的船舶身份识别方法
CN109993163A (zh) * 2019-03-19 2019-07-09 苏州大学 一种基于人工智能的非标铭牌识别***及其识别方法
CN110717493A (zh) * 2019-09-16 2020-01-21 浙江大学 一种基于深度学习的含堆叠字符的车牌识别方法
CN110991444A (zh) * 2019-11-19 2020-04-10 复旦大学 面向复杂场景的车牌识别方法及装置
CN111401361A (zh) * 2020-03-06 2020-07-10 南京理工大学 一种端到端的轻量级深度车牌识别方法
CN111428723A (zh) * 2020-04-02 2020-07-17 苏州杰锐思智能科技股份有限公司 字符识别方法及装置、电子设备、存储介质
CN111985475A (zh) * 2020-08-26 2020-11-24 苏州工图智能科技有限公司 船舶船牌识别方法、计算设备及存储介质
CN112422625A (zh) * 2020-10-14 2021-02-26 南京智盈人工智能研究院有限公司 一种多功能司法服务应用集成***及方法
CN112541393A (zh) * 2020-11-10 2021-03-23 国网浙江嵊州市供电有限公司 一种基于深度学习的变电站人员检测方法及装置
CN112329886A (zh) * 2020-11-26 2021-02-05 珠海大横琴科技发展有限公司 双车牌识别方法、模型训练方法、装置、设备及存储介质
CN112800838A (zh) * 2020-12-28 2021-05-14 浙江万里学院 一种基于深度学习的航道船舶检测与识别方法
CN112633277A (zh) * 2020-12-30 2021-04-09 杭州电子科技大学 基于深度学习的航道船牌检测、定位及识别方法
CN112668663A (zh) * 2021-01-05 2021-04-16 南京航空航天大学 一种基于YOLOv4的航拍小汽车检测方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
GANG XIONG等: "Dual-Polarization SAR Ship Target Recognition Based on Mini Hourglass Region Extraction and Dual-Channel Efficient Fusion Network", 《IEEE ACCESS》, vol. 9, pages 29078 - 29089, XP011839629, DOI: 10.1109/ACCESS.2021.3058188 *
RAN ZHANG等: "An Adaptive Deep Learning Framework for Shipping Container Code Localization and Recognition", vol. 70, pages 1 - 13, XP011820301, DOI: 10.1109/TIM.2020.3016108 *
付源梓: "自然场景下基于深度学习的车牌识别方法研究", no. 2021, pages 034 - 910 *
刘宝龙: "基于图像分析和深度学习的船名标识字符检测与识别研究", no. 2018, pages 138 - 91 *
路云等: "基于深度学习的船舶舷号检测与识别", vol. 17, no. 11, pages 178 - 180 *
闫毫云: "基于特征融合的端到端车牌检测和识别算法研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》, no. 2020, pages 034 - 42 *
陶月锋: "基于深度学习的字符级场景汉字检测与识别问题研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2021, pages 138 - 1202 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610098A (zh) * 2021-08-19 2021-11-05 创优数字科技(广东)有限公司 纳税号识别方法、装置、存储介质及计算机设备
CN113763389A (zh) * 2021-08-24 2021-12-07 深圳前海爱客风信息技术有限公司 一种基于多主体检测分割的图像识别方法
CN114387301A (zh) * 2021-12-23 2022-04-22 上海弘目智能科技有限公司 一种基于ptz相机联动控制的船体智能视频行为分析方法
CN114387301B (zh) * 2021-12-23 2024-04-16 上海弘目智能科技有限公司 一种基于ptz相机联动控制的船体智能视频行为分析方法

Also Published As

Publication number Publication date
CN113239854B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
Aboah A vision-based system for traffic anomaly detection using deep learning and decision trees
CN113239854B (zh) 一种基于深度学习的船舶身份识别方法及***
CA3123632A1 (en) Automated inspection system and associated method for assessing the condition of shipping containers
CN108806334A (zh) 一种基于图像的智能船舶身份识别方法
US20130163822A1 (en) Airborne Image Capture and Recognition System
CN110348304A (zh) 一种可搭载于无人机的海事遇险人员搜索***以及目标识别方法
US20140369566A1 (en) Perimeter Image Capture and Recognition System
CN109977897A (zh) 一种基于深度学习的船舶特征重识别方法、应用方法及***
CN112819068A (zh) 一种基于深度学习的船舶作业违章行为实时侦测方法
CN114049624A (zh) 一种基于机器视觉的船舶舱室智能检测方法及***
Kongurgsa et al. Real-time intrusion—detecting and alert system by image processing techniques
CN106384089A (zh) 基于终生学习的人体可靠检测方法
CN113343880A (zh) 一种车辆遮挡号牌的识别方法、装置、设备及介质
CN117475353A (zh) 基于视频的异常烟雾识别方法及***
CN117372956A (zh) 一种变电站屏柜设备状态检测方法及装置
CN116630890A (zh) 一种通过对钓鱼区域分析的钓鱼行为检测方法和***
CN115346169B (zh) 一种睡岗行为检测方法及***
Mantini et al. Camera Tampering Detection using Generative Reference Model and Deep Learned Features.
CN111402185A (zh) 一种图像检测方法及装置
Bravi et al. Detection of stop sign violations from dashcam data
CN111985334B (zh) 一种***检测方法、***、装置和存储介质
CN114494355A (zh) 基于人工智能的轨迹分析方法、装置、终端设备及介质
Karthikeyan et al. Smart Observer for Distant Water Fishing in Taiwan
CN109886133A (zh) 一种基于光学遥感图像的船只检测方法及***
CN117746478A (zh) 一种人体和武器目标训练方法及检测跟踪的报警***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant