CN115603466B - 一种基于人工智能视觉识别的船舶岸电*** - Google Patents

一种基于人工智能视觉识别的船舶岸电*** Download PDF

Info

Publication number
CN115603466B
CN115603466B CN202211598566.XA CN202211598566A CN115603466B CN 115603466 B CN115603466 B CN 115603466B CN 202211598566 A CN202211598566 A CN 202211598566A CN 115603466 B CN115603466 B CN 115603466B
Authority
CN
China
Prior art keywords
ship
shore power
intelligent
port
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211598566.XA
Other languages
English (en)
Other versions
CN115603466A (zh
Inventor
王勤
杨帆
胥涛
孙少凌
李建全
程建钧
纵波
孙俊
殷珂
郭乐之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Energy Tech Development Co ltd
Wang Qin
Original Assignee
Jiangsu Energy Tech Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Energy Tech Development Co ltd filed Critical Jiangsu Energy Tech Development Co ltd
Priority to CN202211598566.XA priority Critical patent/CN115603466B/zh
Publication of CN115603466A publication Critical patent/CN115603466A/zh
Application granted granted Critical
Publication of CN115603466B publication Critical patent/CN115603466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00001—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by the display of information or by user interaction, e.g. supervisory control and data acquisition systems [SCADA] or graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00002—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by monitoring
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00006—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by information or instructions transport means between the monitoring, controlling or managing units and monitored, controlled or operated power network element or electrical equipment
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00006—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by information or instructions transport means between the monitoring, controlling or managing units and monitored, controlled or operated power network element or electrical equipment
    • H02J13/00022—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by information or instructions transport means between the monitoring, controlling or managing units and monitored, controlled or operated power network element or electrical equipment using wireless data transmission
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00006—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by information or instructions transport means between the monitoring, controlling or managing units and monitored, controlled or operated power network element or electrical equipment
    • H02J13/00022—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by information or instructions transport means between the monitoring, controlling or managing units and monitored, controlled or operated power network element or electrical equipment using wireless data transmission
    • H02J13/00026—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by information or instructions transport means between the monitoring, controlling or managing units and monitored, controlled or operated power network element or electrical equipment using wireless data transmission involving a local wireless network, e.g. Wi-Fi, ZigBee or Bluetooth
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/70—Energy storage systems for electromobility, e.g. batteries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/7072—Electromobility specific charging systems or methods for batteries, ultracapacitors, supercapacitors or double-layer capacitors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/12—Electric charging stations

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于人工智能视觉识别的船舶岸电***，包括摄像头、智能充电桩、智能网关、数据交换机、智能算法服务器和智能岸电平台；智能充电桩和摄像头均通过智能网关与数据交换机相连接；数据交换机和智能算法服务器相连接，数据交换机与智能岸电平台相连接；智能岸电平台通信连接有交通运管岸电管理终端、港口运营管理终端和船舶移动终端，本发明通过人工智能视觉识别分析技术，对码头靠泊的船舶状态进行识别和分析，实时监测船舶的停靠状态，实时检测岸电设备与船舶的接入状态，向未按照规定时间接入岸电的船舶进行警告提醒，能够对停靠船舶接入岸电做出督促提醒，提高船舶岸电***的利用率低，进一步提高岸电设备的使用率。

Description

一种基于人工智能视觉识别的船舶岸电***
技术领域
本发明属于船舶岸电***技术领域，具体涉及一种基于人工智能视觉识别的船舶岸电***。
背景技术
港口岸电设施已经作为港口新能源改造、建设的重要组成部分，在港口已经广泛的使用，船舶在靠泊作业时，按照各级交通部门规定，须接入岸电***，使用岸电***供电进行各类作业，以减少船舶靠港时的碳排放。
专利号CN102333203A公开了一种岸电无线视频监控***，主要针对的是通过无线视频监控对岸电箱移动时的状态进行远程视频监控，实现远程操作，并没有对船舶停靠状态进行监测；专利号CN106026046B公开了一种基于基于视觉物联网的船用岸电安全***及船用岸电功率补偿方法，利用的是紫外、可见光、红外灯多种视觉传感器对岸电设备进行监控，监控的主要目的是岸电设备的健康和安全状态（基于温度），实现对岸电的功率补偿，此方法对岸电是否在按照规定有效接入和使用的状态没有进行监控；专利号CN106773979B公开了一种适用于船舶岸电***电源和信息的管控***及方法，对岸电信息的收集主要集中在岸电的电压、频率信息，用来进行岸电合闸控制，并不收集岸电设备的使用信息。
现有的船舶岸电***能对岸电进行远程监控，信息采集，但不具有自动检测靠港船舶是否接入岸电***的功能，目前很多船舶靠港作业时，未按照规定接入岸电***，而现有的船舶岸电***，只能向船舶提供电力供给，无法对停靠船舶靠泊后是否接入岸电做出判断，导致船舶岸电***的利用率低，岸电设备闲置，为此我们提出一种基于人工智能视觉识别的船舶岸电***。
发明内容
本发明的目的在于提供一种基于人工智能视觉识别的船舶岸电***，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于人工智能视觉识别的船舶岸电***，包括摄像头、智能充电桩、智能网关、数据交换机、智能算法服务器和智能岸电平台；
所述智能充电桩和所述摄像头均通过所述智能网关与所述数据交换机相连接；
所述智能算法服务器和所述数据交换机相连接，所述智能算法服务器通过所述摄像头自动识别、记录船舶身份信息、进港状态、停靠时间和船舶岸电接入状态；
所述数据交换机与所述智能岸电平台相连接；
所述智能岸电平台通信连接有交通运管岸电管理终端、港口运营管理终端和船舶移动终端，用于向所述交通运管岸电管理终端、所述港口运营管理终端和所述船舶移动终端传输岸电使用数据。
优选的，所述智能充电桩布设在船舶停靠的港口码头处，所述智能充电桩用于向停靠在港口码头处的船舶提供岸电功能，且将停靠在港口码头处的船舶岸电使用数据通过所述智能网关传输给所述数据交换机。
优选的，所述摄像头布设在所述智能充电桩对应的港口码头处，所述摄像头用于实时采集进入港口码头的船舶的图像或视频信息，并将该图像或视频信息通过所述智能网关与所述数据交换机传输给所述智能算法服务器。
优选的，所述智能算法服务器内置有船舶目标识别算法和船舶目标跟踪算法，所述船舶目标识别算法用于对所述摄像头传输的图像或视频信息内的船舶进行识别分析，所述船舶目标跟踪算法用于对所述摄像头传输的图像或视频信息内的船舶进行目标跟踪，所述智能算法服务器将所述船舶目标识别算法和所述船舶目标跟踪算法识别、记录的船舶身份信息、进港状态、停靠时间和船舶岸电接入状态传输给所述数据交换机。
优选的，所述数据交换机用于将接收到的船舶身份信息、进港状态、停靠时间、船舶岸电接入状态和船舶岸电使用数据传输给所述智能岸电平台。
优选的，所述智能岸电平台用于部署云端，并将接收到的船舶身份信息、进港状态、停靠时间、船舶岸电接入状态和船舶岸电使用数据进行保存，并将船舶岸电使用数据推送到所述交通运管岸电管理终端、所述港口运营管理终端和对应的所述船舶移动终端，并对超出规定时间未接入岸电***的船舶发出警告信息。
优选的，所述智能网关为3G网络、4G网络、5G网络、WIFI或网线光纤中的一种或多种。
一种基于人工智能视觉识别的船舶岸电***的控制方法，包括如下步骤：
船舶靠港识别跟踪：通过布设在港口码头处的摄像头对进入港口处的船舶目标进行拍摄图像或视频信息，并将该图像或视频信息通过智能网关与数据交换机传输给智能算法服务器，智能算法服务器内置的船舶目标识别算法对摄像头传输的图像或视频信息内的船舶目标进行身份识别分析，以获得船舶目标的身份信息，智能算法服务器内置的船舶目标跟踪算法对摄像头传输的图像或视频信息内的船舶目标进行跟踪，以获得船舶目标的进港状态、停靠时间和船舶岸电接入状态，将识别、记录的船舶身份信息、进港状态、停靠时间和船舶岸电接入状态传输给所述数据交换机；
岸电接入状态识别：通过摄像头和智能算法服务器记录船舶目标进入港口泊位的时间，对船舶目标停靠时间进行计时，到达规定接入岸电时间后，配合船舶目标停靠港口泊位对应的智能充电桩的使用状态判断船舶目标是否接入岸电，将停靠在港口泊位的船舶岸电使用数据通过所述智能网关传输给所述数据交换机；
未按规定时间接入岸电***的船舶目标信息上报并警告：当船舶目标停靠时间超过规定时间未接入岸电***时，数据交换机会将该船舶目标信息上报给智能岸电平台，智能岸电平台将该船舶目标信息推送给交通运管岸电管理终端和港口运营管理终端，并将该船舶信息通过港口广播和对应的船舶移动终端发出警告提醒；
岸电使用率：通过摄像头、智能算法服务器和智能充电桩对港口的每个泊位、泊位停靠船舶的数量和按规定使用岸电的次数进行统计，分析港口岸电使用率；
违规船舶统计和违规船舶黑名单设置：对违规为接入岸电的船舶信息进行统计，当该船舶违规未接入岸电的次数超出设定次数后，智能岸电平台可以对该船舶设置黑名单，当该船舶进入港口停靠时，通过港口广播立即发出警告提醒。
优选的，所述船舶靠港识别跟踪中的所述船舶目标识别算法在YOLO v4算法的基础上，通过K-mean聚类算法，对船舶目标识别进行改进，所述船舶目标识别算法的具体计算步骤如下：
通过摄像头实时采集的船舶和港口泊位图像建立船舶和泊位数据集，对数据集进行标注，随机抽取数据集并划分为训练集和测试集，通过YOLO v4算法进行船舶目标识别训练和测试；
K-means聚类算法对数据集进行聚类，通过mAP和F1-score两个评价指标，对YOLOv4算法进行评价；
mAP的计算公式如公式（1）所示：
    （1）；
其中，X1表示积分下限，X2表示积分上限；
P表示精度Precision，Rec表示召回率Recall，d表示微分符号，不做变量；
mAP表示船舶及泊位检测目标的平均精度AP的平均值，评价精度P时，从0到1进行积分，则mAP=AP；
船舶及泊位检测目标的平均精度AP的计算公式如公式（2）所示：
         （2）；
F1-score的计算公式如公式（3）所示：
       （3）；
F1_score是衡量检测模型好坏的指标，它兼顾精度Precision和召回率Recall，是精度Precision和召回率Recall的调和平均数；
精度Precision为各类别的检测结果指标，既在所有检测区域中正确检测到船舶及泊位的百分比，其计算公式如公式（4）所示：
       （4）；
召回率Recall即在所有检测结果中正确检测到的船舶及泊位的百分比，其计算公式如公式（5）所示：
        （5）；
其中，TP为正确检测到的船舶及泊位检测目标数；
FP为背景中检测到的船舶及泊位检测目标数；
FN为检测到的作为背景的船舶及泊位检测目标数。
优选的，所述船舶靠港识别跟踪中的所述船舶目标跟踪算法在SORT算法的基础上，通过Deepsort算法，对船舶目标跟踪进行改进，所述SORT算法的具体步骤如下：
预测模型：SORT算法对跟踪的船舶目标分配一个身份ID，并将该身份ID与下一视频帧相关联，并进行运动建模，用一个完全独立于其他物体和摄像头运动的线性恒速模型对每个物体的帧间位移进行近似；
数据关联：在将检测结果分配给现有船舶目标时，每个船舶目标的边界框几何形状是通过预测其在当前帧中的新位置来估计的，将分配成本矩阵计算为每个检测结果与现有船舶目标的所有预测框之间的交并比IOU距离，采用匈牙利算法对分配成本矩阵进行优化求解，并且拒绝检测结果与船舶目标重叠小于交并比最小值的分配；
创建和删除轨迹标识：当图像内的船舶目标在某一帧进入或离开图像时，需要对其建立或去除跟踪船舶目标的身份ID标识，任何重叠小于交并比最小值的检测结果都表示存在未跟踪的船舶目标，需对其建立新的跟踪船舶目标身份ID标识；
所述Deepsort算法的具体步骤如下：
Deepsort：Deepsort算法假设跟踪的船舶目标所在的环境在状态空间（u v q h xy r h）上，该状态空间包含了边界框中心位置（u,v）、长宽比q、高度 h，以及这些参数在图像坐标系中各自的速度信息，Deepsort算法使用一个具有恒速运动的标准卡尔曼滤波器和线性观测模型，其中边界坐标（u,v,q,h）作为对物体状态的直接观测；
匹配问题：Deepsort 算法综合考虑运动信息与船舶目标的外观信息，解决关联问题，使用存在的运动船舶目标运动状态的卡尔曼预测结果与检测结果之间的马氏距离进行运动信息的关联，马氏距离计算公式如公式（6）：
       （6）；
其中，表示第i个轨迹对船舶目标的预测位置和第j个船舶目标检测框共同计算得到的船舶目标的马氏距离；
表示第i个轨迹对船舶目标的预测位置和第j个船舶目标检测框共同计算得到的船舶目标的马氏距离的特征向量的取值；
表示第i个轨迹对船舶目标的预测位置，表示检测与跟踪位置的协方差矩阵，表示检测与跟踪位置的协方差矩阵的逆矩阵，表示第j个船舶目标检测框的位置，表示和的线性加权，表示第1个船舶目标检测框的位置，表示第2个船舶目标检测框的位置；
其中，r表示特征向量，表示特征向量r的集合，T表示矩阵转置符号，k表示0-i中的一个数，λ表示的权重，L表示船舶位置；
表示第j个船舶目标检测框的特征向量的矩阵的转置矩阵，表示第i个轨迹预测的船舶目标位置的矩阵中的一个，此矩阵值从的集合中取值；
级联匹配：当其中的某个船舶目标被物体长时间遮挡后，由小到大对消失时间相同的轨迹进行匹配，保证最近出现的目标赋予最大的优先权，在匹配的最后阶段对unconfirmed和age=1的未匹配轨迹和检测船舶目标进行IOU的匹配。
与现有技术相比，本发明的有益效果是：
本发明通过人工智能视觉识别分析技术，在港口码头上部署摄像头，实时采集港口码头监控图像信息，对进入港口，在码头靠泊的船舶状态进行识别和分析，当船舶进港时，行驶至靠近码头区域，摄像头识别到船舶身份信息，开始追踪船舶，船舶靠泊后，通过智能算法服务器内的智能算法，对船舶停靠状态进行判断，并判断船舶船号，识别船舶身份；在船舶停靠码头的过程中，实时监测船舶的停靠状态，并实时检测岸电设备与船舶的接入状态，通过对船舶接入岸电状态的实时监测，以及对船舶靠港时长的计算，判断船舶是否超出规定时间未接入岸电；如果船舶未按照要求接入岸电，将船舶号，码头泊位，岸电设备编号，船舶停靠时间等信息上报到岸电***管理平台，向未按照规定时间接入岸电的船舶进行警告提醒，能够对停靠船舶接入岸电做出督促提醒，提高船舶岸电***的利用率低，进一步提高岸电设备的使用率。
附图说明
图1为本发明的***原理示意图；
图2为本发明的船舶靠泊接入岸电状态检测和报警流程结构示意图；
图3为本发明的摄像头的第一种布设方式的示意图；
图4为本发明的摄像头的第二种布设方式的示意图；
图5为本发明的摄像头的第三种布设方式的示意图。
图中：1、摄像头；2、智能充电桩；3、智能网关；4、数据交换机；5、智能算法服务器；6、智能岸电平台；7、交通运管岸电管理终端；8、港口运营管理终端；9、船舶移动终端。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图5，本发明提供的基于人工智能视觉识别的船舶岸电***，包括摄像头1、智能充电桩2、智能网关3、数据交换机4、智能算法服务器5和智能岸电平台6；
智能充电桩2和摄像头1通过智能网关3与数据交换机4相连接，智能充电桩2布设在船舶停靠的港口码头处，智能充电桩2用于向停靠在港口码头处的船舶提供岸电功能，且将停靠在港口码头处的船舶岸电使用数据通过智能网关3传输给数据交换机4，智能网关3为3G网络、4G网络、5G网络、WIFI或网线光纤中的一种或多种；
智能算法服务器5和数据交换机4相连接，智能算法服务器5通过摄像头1自动识别、记录船舶身份信息、进港状态、停靠时间和船舶岸电接入状态，摄像头1布设在智能充电桩2对应的港口码头处，摄像头1用于实时采集进入港口码头的船舶的图像或视频信息，并将该图像或视频信息通过智能网关3与数据交换机4传输给智能算法服务器5；
摄像头1的布设有包括但不局限于以下三种方式：
第一种方式如图3所示，在码头泊位架设高杆，摄像头1安装在高杆上方，摄像机为球机，最大视场叫为100度，摄像头1垂直向下俯视，摄像头1安装高度根据摄像头1的识别范围确定，保证摄像头1覆盖范围内视频图像清晰可见，可以通过机器视觉分析识别船舶特征，摄像头1布设数量根据码头长度确定，相邻摄像头1之间的覆盖范围做到10%重叠，比如摄像头1覆盖范围为25米，则两相邻摄像头1之间有2.5米的监控区域重叠覆盖，比如泊位长度为200米的码头，摄像机架设高度为15米，视场覆盖范围为25米时，摄像头1需布设10-12个；
第二种方式如图4所示，在码头泊位架设高杆，摄像头1安装在高杆上方，摄像头1垂直向下俯视，摄像机为广角双摄像头1拼接相机，最大视场角为180度，摄像头1安装高度根据摄像头1的识别范围确定，保证摄像头1覆盖范围内视频图像清晰可见，可以通过机器视觉分析识别船舶特征，摄像头1布设数量根据码头长度确定，相邻摄像头1之间的覆盖范围做到10%重叠，比如摄像头1覆盖范围为30米，则两相邻摄像头1之间有3米的监控区域重叠覆盖，比如泊位长度为200米的码头，摄像机架设高度为15米，视场覆盖范围为30米时，摄像头1需布设8-10个；
第三种方式如图5所示，在码头岸边布设摄像头1，摄像头1为球机，摄像头1与码头岸边高度一致，摄像头1视频方向与地面、水面平行，摄像头1视场角度为120度，摄像头1视场覆盖距离约为20-40米，保证摄像头1覆盖范围内视频图像清晰可见，可以通过机器视觉分析识别船舶特征，摄像头1布设数量根据码头长度确定，相邻摄像头1之间的覆盖范围做到50%重叠，比如摄像头1视场距离为40米，则相邻摄像头1之间有20米监控区域重叠覆盖，比如泊位长度为200米的码头，摄像机视场距离为40米，摄像头1需布设6个；
智能算法服务器5内置有船舶目标识别算法和船舶目标跟踪算法，船舶目标识别算法用于对摄像头1传输的图像或视频信息内的船舶进行识别分析，船舶目标跟踪算法用于对摄像头1传输的图像或视频信息内的船舶进行目标跟踪，智能算法服务器5将船舶目标识别算法和船舶目标跟踪算法识别、记录的船舶身份信息、进港状态、停靠时间和船舶岸电接入状态传输给数据交换机4；
数据交换机4与智能岸电平台6相连接，数据交换机4用于将接收到的船舶身份信息、进港状态、停靠时间、船舶岸电接入状态和船舶岸电使用数据传输给智能岸电平台6；
智能岸电平台6通信连接有交通运管岸电管理终端7、港口运营管理终端8和船舶移动终端9，用于向交通运管岸电管理终端7、港口运营管理终端8和船舶移动终端9传输岸电使用数据，智能岸电平台6用于部署云端，并将接收到的船舶身份信息、进港状态、停靠时间、船舶岸电接入状态和船舶岸电使用数据进行保存，并将船舶岸电使用数据推送到交通运管岸电管理终端7、港口运营管理终端8和对应的船舶移动终端9，并对超出规定时间未接入岸电***的船舶发出警告信息；
本发明通过人工智能视觉识别分析技术，在港口码头上部署摄像头1，实时采集港口码头监控图像信息，对进入港口，在码头靠泊的船舶状态进行识别和分析，当船舶进港时，行驶至靠近码头区域，摄像头1识别到船舶身份信息，开始追踪船舶，船舶靠泊后，通过智能算法服务器5内的智能算法，对船舶停靠状态进行判断，并判断船舶船号，识别船舶身份；在船舶停靠码头的过程中，实时监测船舶的停靠状态，并实时检测岸电设备与船舶的接入状态，通过对船舶接入岸电状态的实时监测，以及对船舶靠港时长的计算，判断船舶是否超出规定时间未接入岸电；如果船舶未按照要求接入岸电，将船舶号，码头泊位，岸电设备编号，船舶停靠时间等信息上报到岸电***管理平台，向未按照规定时间接入岸电的船舶进行警告提醒，能够对停靠船舶接入岸电做出督促提醒，提高船舶岸电***的利用率低，进一步提高岸电设备的使用率。
本实施例提供的基于人工智能视觉识别的船舶岸电***的控制方法，包括如下步骤：
船舶靠港识别跟踪：通过布设在港口码头处的摄像头对进入港口处的船舶目标进行拍摄图像或视频信息，并将该图像或视频信息通过智能网关与数据交换机传输给智能算法服务器，智能算法服务器内置的船舶目标识别算法对摄像头传输的图像或视频信息内的船舶目标进行身份识别分析，以获得船舶目标的身份信息，智能算法服务器内置的船舶目标跟踪算法对摄像头传输的图像或视频信息内的船舶目标进行跟踪，以获得船舶目标的进港状态、停靠时间和船舶岸电接入状态，将识别、记录的船舶身份信息、进港状态、停靠时间和船舶岸电接入状态传输给数据交换机；
船舶靠港识别跟踪中的船舶目标识别算法在YOLO v4算法的基础上，YOLO算法是基于卷积神经网络算法的单阶段视觉识别算法，在一个过程中实现分类和回归，算法使用一个简单的CNN直接从输入图像中预测出物体的类别概率和边界框，该模型将输入图像划分为固定数量的栅格，每个栅格都预测固定数量的边界框，并附带一个置信度指标，置信度指标是将检测物体的概率和预测框和真实框之间的交并比相乘，选出超过阈值的类别概率的边界框，来定位图像中的物体，通过K-mean聚类算法，对船舶目标识别进行改进，船舶目标识别算法的具体计算步骤如下：
通过摄像头实时采集的船舶和港口泊位图像建立船舶和泊位数据集，对数据集进行标注，随机抽取数据集并划分为训练集和测试集，通过YOLO v4算法进行船舶目标识别训练和测试；
K-means聚类算法对数据集进行聚类，通过mAP和F1-score两个评价指标，对YOLOv4算法进行评价；
mAP的计算公式如公式（1）所示：
    （1）；
其中，X1表示积分下限，X2表示积分上限；
P表示精度Precision，Rec表示召回率Recall，d表示微分符号，不做变量；
mAP表示船舶及泊位检测目标的平均精度AP的平均值，评价精度P时，从0到1进行积分，则mAP=AP；
船舶及泊位检测目标的平均精度AP的计算公式如公式（2）所示：
         （2）；
F1-score的计算公式如公式（3）所示：
       （3）；
F1_score是衡量检测模型好坏的指标，它兼顾精度Precision和召回率Recall，是精度Precision和召回率Recall的调和平均数；
精度Precision为各类别的检测结果指标，既在所有检测区域中正确检测到船舶及泊位的百分比，其计算公式如公式（4）所示：
       （4）；
召回率Recall即在所有检测结果中正确检测到的船舶及泊位的百分比，其计算公式如公式（5）所示：
        （5）；
其中，TP为正确检测到的船舶及泊位检测目标数；
FP为背景中检测到的船舶及泊位检测目标数；
FN为检测到的作为背景的船舶及泊位检测目标数；
本发明通过K-means聚类算法对YOLO v4算法进行改进，检测模型获得更好的精度和召回率，解决船舶停靠泊位的目标检测问题，大大提高了目标识别率，在港口环境中的实用性大大提高；
船舶靠港识别跟踪中的船舶目标跟踪算法在SORT算法的基础上，SORT算法是一种以TLD为框架的多目标跟踪算法，在跟踪领域较为常用，该算法在检测结果的基础上，利用传统的状态预测算法的卡尔曼滤波对目标的当前位置进行预测，通过匈牙利算法来关联目标检测框的目标算法，并以两框之间的交并比作为视频前后帧之间的目标关系度量指标，通过Deepsort算法，对船舶目标跟踪进行改进，SORT算法的具体步骤如下：
预测模型：SORT算法对跟踪的船舶目标分配一个身份ID，并将该身份ID与下一视频帧相关联，并进行运动建模，用一个完全独立于其他物体和摄像头运动的线性恒速模型对每个物体的帧间位移进行近似；
数据关联：在将检测结果分配给现有船舶目标时，每个船舶目标的边界框几何形状是通过预测其在当前帧中的新位置来估计的，将分配成本矩阵计算为每个检测结果与现有船舶目标的所有预测框之间的交并比IOU距离，采用匈牙利算法对分配成本矩阵进行优化求解，并且拒绝检测结果与船舶目标重叠小于交并比最小值的分配；
创建和删除轨迹标识：当图像内的船舶目标在某一帧进入或离开图像时，需要对其建立或去除跟踪船舶目标的身份ID标识，任何重叠小于交并比最小值的检测结果都表示存在未跟踪的船舶目标，需对其建立新的跟踪船舶目标身份ID标识；
Deepsort算法的具体步骤如下：
Deepsort：Deepsort算法假设跟踪的船舶目标所在的环境在状态空间（u v q h xy r h）上，该状态空间包含了边界框中心位置（u,v）、长宽比q、高度 h，以及这些参数在图像坐标系中各自的速度信息，Deepsort算法使用一个具有恒速运动的标准卡尔曼滤波器和线性观测模型，其中边界坐标（u,v,q,h）作为对物体状态的直接观测；
匹配问题：Deepsort 算法综合考虑运动信息与船舶目标的外观信息，解决关联问题，使用存在的运动船舶目标运动状态的卡尔曼预测结果与检测结果之间的马氏距离进行运动信息的关联，马氏距离计算公式如公式（6）：
       （6）；
其中，表示第i个轨迹对船舶目标的预测位置和第j个船舶目标检测框共同计算得到的船舶目标的马氏距离；
表示第i个轨迹对船舶目标的预测位置和第j个船舶目标检测框共同计算得到的船舶目标的马氏距离的特征向量的取值；
表示第i个轨迹对船舶目标的预测位置，表示检测与跟踪位置的协方差矩阵，表示检测与跟踪位置的协方差矩阵的逆矩阵，表示第j个船舶目标检测框的位置，表示和的线性加权，表示第1个船舶目标检测框的位置，表示第2个船舶目标检测框的位置；
其中，r表示特征向量，表示特征向量r的集合，T表示矩阵转置符号，k表示0-i中的一个数，λ表示的权重，L表示船舶位置；
表示第j个船舶目标检测框的特征向量的矩阵的转置矩阵，表示第i个轨迹预测的船舶目标位置的矩阵中的一个，此矩阵值从的集合中取值；
级联匹配：当其中的某个船舶目标被物体长时间遮挡后，由小到大对消失时间相同的轨迹进行匹配，保证最近出现的目标赋予最大的优先权，在匹配的最后阶段对unconfirmed和age=1的未匹配轨迹和检测船舶目标进行IOU的匹配。
岸电接入状态识别：通过摄像头和智能算法服务器记录船舶目标进入港口泊位的时间，对船舶目标停靠时间进行计时，到达规定接入岸电时间后，配合船舶目标停靠港口泊位对应的智能充电桩的使用状态判断船舶目标是否接入岸电，将停靠在港口泊位的船舶岸电使用数据通过智能网关传输给数据交换机；
未按规定时间接入岸电***的船舶目标信息上报并警告：当船舶目标停靠时间超过规定时间未接入岸电***时，数据交换机会将该船舶目标信息上报给智能岸电平台，智能岸电平台将该船舶目标信息推送给交通运管岸电管理终端和港口运营管理终端，并将该船舶信息通过港口广播和对应的船舶移动终端发出警告提醒；
岸电使用率：通过摄像头、智能算法服务器和智能充电桩对港口的每个泊位、泊位停靠船舶的数量和按规定使用岸电的次数进行统计，分析港口岸电使用率；
违规船舶统计和违规船舶黑名单设置：对违规为接入岸电的船舶信息进行统计，当该船舶违规未接入岸电的次数超出设定次数后，智能岸电平台可以对该船舶设置黑名单，当该船舶进入港口停靠时，通过港口广播立即发出警告提醒；
本发明采用Deepsort算法的多目标跟踪算法在 SORT 算法的基础上，增加了级联匹配及目标特征匹配，减少目标轨迹跳动，提高跟踪效果，在一定程度上解决了在跟踪目标重叠时所带来的影响。
本实施例提供的基于人工智能的视觉识别船舶岸电***地控制方法，其具体实施步骤如下：
步骤一，在港口部署摄像头，摄像头的部署方式如图3，图4，图5中所示，摄像头的布设选择方式，主要原则以摄像头能完全覆盖码头区域为前提；
步骤二，在港口部署智能网关，根据港口实际情况，选择部署无线网关，或者有线网关，将摄像头联网，通过无线网络连接的摄像头须具备无线通讯模块，包含但不限于wifi、5G、4G或3G，通过有线网络连接的摄像头具备ADSL网络接口或者光纤接口；
步骤三，在港口数据机房（数据中心），部署数据交换机，数据交换机保障码头部署摄像头和岸电设备的数据通信，远程控制指令下发；
步骤四，在港口数据机房（数据机房），部署智能算法服务器，智能算法服务器中安装智能算法软件，智能算法服务器通过数据交换机，与摄像头之间实现数据通信；摄像头实时采集的图像或视频数据，通过抽帧的方式，从每秒钟24帧图像中，抽取n张图片，传输到智能算法服务器，n由网络通信带宽决定，在保证网络通畅，数据延迟小于100毫秒的情况下，n值越大越好，n的取值范围为1-24；
步骤五，智能算法服务器，通过自主研发的由K-means聚类改进过的YOLO v4算法对船舶停靠状态进行识别，当船舶进港后超过5分钟没有驶离，则识别为船舶靠港作业，智能算法每1分钟对船舶停靠状态进行识别，船舶靠港2小时以后，***检测船舶停靠泊位的岸电使用状态；
步骤五，船舶靠港2小时，岸电接入船舶，正常使用，则***持续检船舶停靠状态，直至船舶驶离港口；
步骤六，船舶靠港2小时，岸电未接入船舶，则判断船舶违规作业，未使用岸电，将船舶船号、码头泊位号、船舶停靠时长、船舶进港时间等信息传输到智能岸电平台；
步骤七，智能岸电平台可以将违规未接入岸电船只信息转发至交通运管管理终端、港口运营管理终端、船舶移动终端，信息可以通过有线、无线网络，转发给电脑，手机等。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种基于人工智能视觉识别的船舶岸电***，其特征在于，包括摄像头、智能充电桩、智能网关、数据交换机、智能算法服务器和智能岸电平台；
所述智能充电桩和所述摄像头均通过所述智能网关与所述数据交换机相连接；
所述智能算法服务器和所述数据交换机相连接，所述智能算法服务器通过所述摄像头自动识别、记录船舶身份信息、进港状态、停靠时间和船舶岸电接入状态；
所述数据交换机与所述智能岸电平台相连接；
所述智能岸电平台通信连接有交通运管岸电管理终端、港口运营管理终端和船舶移动终端，用于向所述交通运管岸电管理终端、所述港口运营管理终端和所述船舶移动终端传输岸电使用数据；
船舶靠港识别跟踪：通过布设在港口码头处的摄像头对进入港口处的船舶目标进行拍摄图像或视频信息，并将该图像或视频信息通过智能网关与数据交换机传输给智能算法服务器，智能算法服务器内置的船舶目标识别算法对摄像头传输的图像或视频信息内的船舶目标进行身份识别分析，以获得船舶目标的身份信息，智能算法服务器内置的船舶目标跟踪算法对摄像头传输的图像或视频信息内的船舶目标进行跟踪，以获得船舶目标的进港状态、停靠时间和船舶岸电接入状态，将识别、记录的船舶身份信息、进港状态、停靠时间和船舶岸电接入状态传输给所述数据交换机；
岸电接入状态识别：通过摄像头和智能算法服务器记录船舶目标进入港口泊位的时间，对船舶目标停靠时间进行计时，到达规定接入岸电时间后，配合船舶目标停靠港口泊位对应的智能充电桩的使用状态判断船舶目标是否接入岸电，将停靠在港口泊位的船舶岸电使用数据通过所述智能网关传输给所述数据交换机；
未按规定时间接入岸电***的船舶目标信息上报并警告：当船舶目标停靠时间超过规定时间未接入岸电***时，数据交换机会将该船舶目标信息上报给智能岸电平台，智能岸电平台将该船舶目标信息推送给交通运管岸电管理终端和港口运营管理终端，并将该船舶信息通过港口广播和对应的船舶移动终端发出警告提醒；
岸电使用率：通过摄像头、智能算法服务器和智能充电桩对港口的每个泊位、泊位停靠船舶的数量和按规定使用岸电的次数进行统计，分析港口岸电使用率；
违规船舶统计和违规船舶黑名单设置：对违规为接入岸电的船舶信息进行统计，当该船舶违规未接入岸电的次数超出设定次数后，智能岸电平台对该船舶设置黑名单，当该船舶进入港口停靠时，通过港口广播立即发出警告提醒。
2.根据权利要求1所述的一种基于人工智能视觉识别的船舶岸电***，其特征在于：所述智能充电桩布设在船舶停靠的港口码头处，所述智能充电桩用于向停靠在港口码头处的船舶提供岸电功能，且将停靠在港口码头处的船舶岸电使用数据通过所述智能网关传输给所述数据交换机。
3.根据权利要求2所述的一种基于人工智能视觉识别的船舶岸电***，其特征在于：所述摄像头布设在所述智能充电桩对应的港口码头处，所述摄像头用于实时采集进入港口码头的船舶的图像或视频信息，并将该图像或视频信息通过所述智能网关与所述数据交换机传输给所述智能算法服务器。
4.根据权利要求3所述的一种基于人工智能视觉识别的船舶岸电***，其特征在于：所述智能算法服务器内置有船舶目标识别算法和船舶目标跟踪算法，所述船舶目标识别算法用于对所述摄像头传输的图像或视频信息内的船舶进行识别分析，所述船舶目标跟踪算法用于对所述摄像头传输的图像或视频信息内的船舶进行目标跟踪，所述智能算法服务器将所述船舶目标识别算法和所述船舶目标跟踪算法识别、记录的船舶身份信息、进港状态、停靠时间和船舶岸电接入状态传输给所述数据交换机。
5.根据权利要求4所述的一种基于人工智能视觉识别的船舶岸电***，其特征在于：所述数据交换机用于将接收到的船舶身份信息、进港状态、停靠时间、船舶岸电接入状态和船舶岸电使用数据传输给所述智能岸电平台。
6.根据权利要求5所述的一种基于人工智能视觉识别的船舶岸电***，其特征在于：所述智能岸电平台用于部署云端，并将接收到的船舶身份信息、进港状态、停靠时间、船舶岸电接入状态和船舶岸电使用数据进行保存，并将船舶岸电使用数据推送到所述交通运管岸电管理终端、所述港口运营管理终端和对应的所述船舶移动终端，并对超出规定时间未接入岸电***的船舶发出警告信息。
7.根据权利要求1所述的一种基于人工智能视觉识别的船舶岸电***，其特征在于：所述智能网关为3G网络、4G网络、5G网络、WIFI或网线光纤中的一种或多种。
8.根据权利要求1所述的一种基于人工智能视觉识别的船舶岸电***，其特征在于：所述船舶靠港识别跟踪中的所述船舶目标识别算法在YOLO v4算法的基础上，通过K-mean聚类算法，对船舶目标识别进行改进，所述船舶目标识别算法的具体计算步骤如下：
通过摄像头实时采集的船舶和港口泊位图像建立船舶和泊位数据集，对数据集进行标注，随机抽取数据集并划分为训练集和测试集，通过YOLO v4算法进行船舶目标识别训练和测试；
K-means聚类算法对数据集进行聚类，通过mAP和F1-score两个评价指标，对YOLO v4算法进行评价；
mAP的计算公式如公式（1）所示：
    （1）；
其中，X1表示积分下限，X2表示积分上限；
P表示精度Precision，Rec表示召回率Recall，d表示微分符号，不做变量；
mAP表示船舶及泊位检测目标的平均精度AP的平均值，评价精度P时，从0到1进行积分，则mAP=AP；
船舶及泊位检测目标的平均精度AP的计算公式如公式（2）所示：
         （2）；
F1-score的计算公式如公式（3）所示：
       （3）；
F1_score是衡量检测模型好坏的指标，它兼顾精度Precision和召回率Recall，是精度Precision和召回率Recall的调和平均数；
精度Precision为各类别的检测结果指标，既在所有检测区域中正确检测到船舶及泊位的百分比，其计算公式如公式（4）所示：
       （4）；
召回率Recall即在所有检测结果中正确检测到的船舶及泊位的百分比，其计算公式如公式（5）所示：
        （5）；
其中，TP为正确检测到的船舶及泊位检测目标数；
FP为背景中检测到的船舶及泊位检测目标数；
FN为检测到的作为背景的船舶及泊位检测目标数。
9.根据权利要求1所述的一种基于人工智能视觉识别的船舶岸电***，其特征在于：所述船舶靠港识别跟踪中的所述船舶目标跟踪算法在SORT算法的基础上，通过Deepsort算法，对船舶目标跟踪进行改进，所述SORT算法的具体步骤如下：
预测模型：SORT算法对跟踪的船舶目标分配一个身份ID，并将该身份ID与下一视频帧相关联，并进行运动建模，用一个完全独立于其他物体和摄像头运动的线性恒速模型对每个物体的帧间位移进行近似；
数据关联：在将检测结果分配给现有船舶目标时，每个船舶目标的边界框几何形状是通过预测其在当前帧中的新位置来估计的，将分配成本矩阵计算为每个检测结果与现有船舶目标的所有预测框之间的交并比IOU距离，采用匈牙利算法对分配成本矩阵进行优化求解，并且拒绝检测结果与船舶目标重叠小于交并比最小值的分配；
创建和删除轨迹标识：当图像内的船舶目标在某一帧进入或离开图像时，需要对其建立或去除跟踪船舶目标的身份ID标识，任何重叠小于交并比最小值的检测结果都表示存在未跟踪的船舶目标，需对其建立新的跟踪船舶目标身份ID标识；
所述Deepsort算法的具体步骤如下：
Deepsort：Deepsort算法假设跟踪的船舶目标所在的环境在状态空间（u v q h x y rh）上，该状态空间包含了边界框中心位置（u,v）、长宽比q、高度 h，以及这些参数在图像坐标系中各自的速度信息，Deepsort算法使用一个具有恒速运动的标准卡尔曼滤波器和线性观测模型，其中边界坐标（u,v,q,h）作为对物体状态的直接观测；
匹配问题：Deepsort 算法综合考虑运动信息与船舶目标的外观信息，解决关联问题，使用存在的运动船舶目标运动状态的卡尔曼预测结果与检测结果之间的马氏距离进行运动信息的关联，马氏距离计算公式如公式（6）：
       （6）；
其中，表示第i个轨迹对船舶目标的预测位置和第j个船舶目标检测框共同计算得到的船舶目标的马氏距离；
表示第i个轨迹对船舶目标的预测位置和第j个船舶目标检测框共同计算得到的船舶目标的马氏距离的特征向量的取值；
表示第i个轨迹对船舶目标的预测位置，表示检测与跟踪位置的协方差矩阵，表示检测与跟踪位置的协方差矩阵的逆矩阵，表示第j个船舶目标检测框的位置，表示和的线性加权，表示第1个船舶目标检测框的位置，表示第2个船舶目标检测框的位置；
其中，r表示特征向量，表示特征向量r的集合，T表示矩阵转置符号，k表示0-i中的一个数，λ表示的权重，L表示船舶位置；
表示第j个船舶目标检测框的特征向量的矩阵的转置矩阵，表示第i个轨迹预测的船舶目标位置的矩阵中的一个，此矩阵值从的集合中取值；
级联匹配：当其中的某个船舶目标被物体长时间遮挡后，由小到大对消失时间相同的轨迹进行匹配，保证最近出现的目标赋予最大的优先权，在匹配的最后阶段对unconfirmed和age=1的未匹配轨迹和检测船舶目标进行IOU的匹配。
CN202211598566.XA 2022-12-14 2022-12-14 一种基于人工智能视觉识别的船舶岸电*** Active CN115603466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211598566.XA CN115603466B (zh) 2022-12-14 2022-12-14 一种基于人工智能视觉识别的船舶岸电***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211598566.XA CN115603466B (zh) 2022-12-14 2022-12-14 一种基于人工智能视觉识别的船舶岸电***

Publications (2)

Publication Number Publication Date
CN115603466A CN115603466A (zh) 2023-01-13
CN115603466B true CN115603466B (zh) 2023-05-09

Family

ID=84854201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211598566.XA Active CN115603466B (zh) 2022-12-14 2022-12-14 一种基于人工智能视觉识别的船舶岸电***

Country Status (1)

Country Link
CN (1) CN115603466B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116247824B (zh) * 2023-03-30 2023-11-17 国网河南省电力公司安阳供电公司 电力设备的控制方法及其***
CN117040110B (zh) * 2023-07-07 2024-03-26 广州航海学院 手提式船电控制器的并网***、方法、计算机设备及介质
CN116683451B (zh) * 2023-08-03 2023-10-13 合肥三物信息技术有限公司 一种智慧岸电管理***
CN117096704A (zh) * 2023-08-21 2023-11-21 连云港远洋流体装卸设备有限公司 中压电缆岸电智能对接控制***
CN116977435A (zh) * 2023-09-15 2023-10-31 广州志正电气有限公司 靠岸船舶自动识别的岸电***
CN116994458B (zh) * 2023-09-28 2023-12-01 亿海蓝（北京）数据技术股份公司 船舶到离港口的监测方法、装置和可读存储介质
CN117191246B (zh) * 2023-11-07 2024-02-06 江苏航运职业技术学院 一种基于人工智能的船舶靠泊撞击力测试***及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107769381B (zh) * 2017-10-27 2020-11-03 中远海运科技股份有限公司 船舶岸基供电信息监控***及方法
CN113991842A (zh) * 2021-10-22 2022-01-28 江苏科技大学 一种船舶岸电综合监控***
CN114530938A (zh) * 2022-02-10 2022-05-24 南京港龙潭集装箱有限公司 一种港口智能船舶岸基供电***

Also Published As

Publication number Publication date
CN115603466A (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
CN115603466B (zh) 一种基于人工智能视觉识别的船舶岸电***
KR102129893B1 (ko) 딥러닝 네트워크 및 평균 이동을 기반으로 하는 선박 자동추적 방법 및 시스템
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、***及装置
CN108062349B (zh) 基于视频结构化数据及深度学习的视频监控方法和***
CN103258427B (zh) 基于信息物理网络的城市快速路交通实时监控方法
CN108052859B (zh) 一种基于聚类光流特征的异常行为检测方法、***及装置
CN105744232B (zh) 一种基于行为分析技术的输电线路视频防外破的方法
KR102122859B1 (ko) 교통 영상감시시스템의 멀티 표적 추적 방법
KR102095555B1 (ko) 필드양식장 불법행위감시가 가능한 무인비행체 및 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법
CN201766663U (zh) 一种小区物业监控***
CN111225189B (zh) 中小型航道桥梁监控装置
CN201278180Y (zh) 一种自动追踪识别***
CN108802758B (zh) 一种基于激光雷达的智能安防监控装置、方法和***
CN107818326A (zh) 一种基于场景多维特征的船只检测方法及***
CN106816038A (zh) 一种内河水域异常行为船舶自动识别***及方法
CN103456024B (zh) 一种运动目标越线判断方法
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN108500992A (zh) 一种多功能的移动安防机器人
CN107590834A (zh) 一种道路交通事件视频检测方法及***
CN116208745A (zh) 一种码头船舶靠泊监测记录***及方法
CN102254394A (zh) 一种基于视频差异分析的输电线路杆塔防盗监控方法
CN111783579B (zh) 基于无人机视觉分析的施工人员跨越围栏检测***
CN110867046A (zh) 一种基于云计算的智能洗车机视频监控预警***
CN105574468A (zh) 视频火焰检测方法、装置及***
CN111163290A (zh) 一种夜间航行船舶检测并跟踪的装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230419

Address after: 210000 No. 223, Shui Simen street, Nanjing, Jiangsu.

Applicant after: JIANGSU ENERGY TECH DEVELOPMENT Co.,Ltd.

Applicant after: Wang Qin

Address before: 210000 No. 223, Shui Simen street, Nanjing, Jiangsu.

Applicant before: JIANGSU ENERGY TECH DEVELOPMENT Co.,Ltd.

GR01 Patent grant
GR01 Patent grant