CN113253619A - 一种船舶数据信息的处理方法及装置 - Google Patents

一种船舶数据信息的处理方法及装置 Download PDF

Info

Publication number
CN113253619A
CN113253619A CN202110791553.3A CN202110791553A CN113253619A CN 113253619 A CN113253619 A CN 113253619A CN 202110791553 A CN202110791553 A CN 202110791553A CN 113253619 A CN113253619 A CN 113253619A
Authority
CN
China
Prior art keywords
target
ship
data
rectangular frame
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110791553.3A
Other languages
English (en)
Other versions
CN113253619B (zh
Inventor
史海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Highlandr Digital Technology Co ltd
Original Assignee
Beijing Highlandr Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Highlandr Digital Technology Co ltd filed Critical Beijing Highlandr Digital Technology Co ltd
Priority to CN202110791553.3A priority Critical patent/CN113253619B/zh
Publication of CN113253619A publication Critical patent/CN113253619A/zh
Application granted granted Critical
Publication of CN113253619B publication Critical patent/CN113253619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明的实施例提供一种船舶数据信息的处理方法及装置，所述方法包括：获取船舶的自动识别***AIS接收机接收到第一数据以及船载光电成像设备接收到的第二数据；根据所述第一数据，获取待融合匹配目标集合；根据所述第二数据，获取目标矩形框集合；根据所述待融合匹配目标集合，得到重投影点集合；遍历所述重投影点集合和目标矩形框集合，得到所述重投影点集合中的每个重投影点到目标矩形框集合中的每个目标矩形框的至少一个第一距离；根据每个重投影点的至少一个第一距离，得到所述重投影点与目标矩形框之间的逻辑关联信息。本发明的实施例实现了船员更直观且更便捷地感知所在船舶的周围航行态势，提高了船舶航行时的安全性。

Description

一种船舶数据信息的处理方法及装置
技术领域
本发明涉及数据信息处理技术领域，特别是指一种船舶数据信息的处理方法及装置。
背景技术
随着我国经济快速增长和航运事业不断发展，船舶数量不断增多，船只密度不断增加，会直接导致船舶交通的安全隐患急剧增多，船舶碰撞事故发生次数频繁，目前辅助船舶瞭望和避碰的设备包括导航雷达、船舶自动识别***AIS以及船载光电成像设备等。
AIS是一种安装于船舶和岸站的广播式的自动识别***，根据国际海事组织IMO强制性要求，履行约定的船舶都装备了AIS。AIS可提供实时动态信息包括船位、航速、航向以及协调世界时UTC等，还可以提供船舶的静态信息包括船舶呼号、船名、水上移动通信业务标识码MMSI、船型、船舶尺寸以及航次等。但是AIS设备只能被动接受信息，不能主动去获取特定目标信息，且不是所有的船舶都安装AIS设备，其次，AIS设备提供的船舶位置信息为坐标点，无法知晓目标的视觉特征信息和周围环境信息。
船舶光电成像设备提供的信息直观准确且目标特征丰富，可为船舶瞭望和避碰提供另一种手段。但光电设备只能提供平面信息，缺失准确的目标距离、方位信息，同时容易受夜晚低照度光线条件、雨雾天气影响，而且可视距离较近。
发明内容
本发明提供了一种船舶数据信息的处理方法及装置。实现了船舶光电成像设备与AIS多传感器多模态数据的融合和叠加显示，给船员更直观且更便捷的方式感知所在的船舶周围航行态势，提高了船舶在航行时的安全性。
为解决上述技术问题，本发明的实施例提供以下方案：
一种船舶数据信息的处理方法，包括：
获取船舶的自动识别***AIS接收机接收到第一数据以及船载光电成像设备接收到的第二数据；
根据所述第一数据，获取待融合匹配目标集合；
根据所述第二数据，获取目标矩形框集合；
根据所述待融合匹配目标集合，得到重投影点集合；
遍历所述重投影点集合和目标矩形框集合，得到所述重投影点集合中的每个重投影点到目标矩形框集合中的每个目标矩形框的至少一个第一距离；
根据每个重投影点的至少一个第一距离，得到所述重投影点与目标矩形框之间的逻辑关联信息。
可选的，根据所述第一数据，获取待融合匹配目标集合，包括：
获取所述第一数据中当前时刻目标的大地坐标数据；
根据所述当前时刻目标的大地坐标数据，得到目标到船舶之间的至少一个第二距离和至少一个真方位角；
将每个所述目标到船舶之间的第二距离和真方位角，通过过滤处理，得到待融合匹配目标集合。
可选的，获取所述第一数据中当前时刻目标的大地坐标数据，包括：
获取当前时刻的前一时刻目标的地心坐标数据；
根据所述前一时刻目标的地心坐标数据，通过公式：
Figure DEST_PATH_IMAGE001
得到前一时刻目标的大地坐标数据；
其中，(Olat,Olon)为船舶自动识别***AIS接收机的地心坐标数据，(Plat,Plon)为前一时刻目标的地心坐标数据，(xt0,yt0)为前一时刻目标的大地坐标数据，S为椭球因子；
根据所述前一时刻目标的大地坐标数据，通过公式：
Figure 724164DEST_PATH_IMAGE002
得到当前时刻目标的大地坐标数据；
其中，(xt1,yt1)为当前时刻目标的大地坐标数据，(xt0,yt0)为前一时刻目标的大地坐标数据，θ为目标的航向值，v为目标的航速值，t0为前一时刻的时间信息，t1为当前时刻的时间信息。
可选的，根据所述第二数据，获取目标矩形框集合，包括：
获取所述第二数据中当前时刻船载光电成像设备的帧画面；
根据所述当前时刻船载光电成像设备的帧画面，通过船舶目标检测器进行目标检测处理，得到当前时刻船载光电成像设备的帧画面对应的目标矩形框集合。
可选的，根据所述待融合匹配目标集合，得到重投影点集合，包括：
获取船载光电成像设备的内参矩阵、正交旋转矩阵以及平移向量；
根据所述船载光电成像设备的内参矩阵、正交旋转矩阵以及平移向量，得到大地坐标系到船载光电成像设备的屏幕像素坐标系之间的映射关系；
根据所述待融合匹配目标集合和所述映射关系，得到对应的重投影点集合。
可选的，根据所述船载光电成像设备的内参矩阵、正交旋转矩阵以及平移向量，得到目标的大地坐标系到船载光电成像设备的屏幕像素坐标系之间的映射关系，包括：
根据所述船载光电成像设备的内参矩阵、正交旋转矩阵以及平移向量，通过公式：
Figure DEST_PATH_IMAGE003
得到目标的大地坐标系到船载光电成像设备的屏幕像素坐标系之间的映射关系；
其中，(u,v)为映射后船载光电成像设备的屏幕像素坐标，z为投影比例系数，f为焦距，dX为船载光电成像设备的成像传感器在水平方向上相邻像素之间的距离，dY为船载光电成像设备的成像传感器在垂直方向上相邻像素之间的距离，u0和v0为船载光电成像设备的主点坐标，R为正交旋转矩阵，T为平移向量，(Xw,Yw)为大地坐标系的坐标数据。
可选的，根据每个重投影点的至少一个第一距离，得到所述重投影点与目标矩形框之间的逻辑关联信息，包括：
将每个重投影点对应的所有的第一距离进行排序，得到每个重投影点的最小距离；所述最小距离为每个重投影点到目标矩形框集合中所有的目标矩形框最小的第一距离；
根据所述每个重投影点的最小距离，得到在预设范围内的至少一个第三距离；
根据所述第三距离，得到重投影点与目标矩形框的逻辑关联信息。
可选的，船舶数据信息的处理方法，还包括：
将所述重投影点与目标矩形框的逻辑关联信息进行增强现实叠加渲染处理，得到融合后的视频画面。
本发明还提供一种船舶数据信息的处理装置，所述装置包括：
获取模块，用于获取船舶的自动识别***AIS接收机接收到第一数据以及船载光电成像设备接收到的第二数据；
处理模块，用于根据所述第一数据，获取待融合匹配目标集合；根据所述第二数据，获取目标矩形框集合；根据所述待融合匹配目标集合，得到重投影点集合；遍历所述重投影点集合和目标矩形框集合，得到所述重投影点集合中的每个重投影点到目标矩形框集合中的每个目标矩形框的至少一个第一距离；根据每个重投影点的至少一个第一距离，得到所述重投影点与目标矩形框之间的逻辑关联信息。
本发明还提供一种计算机可读存储介质，存储有指令，所述指令在计算机上运行时，使得计算机执行如上述的方法。
本发明的上述方案至少包括以下有益效果：
本发明的上述方案，通过获取船舶的自动识别***AIS接收机接收到第一数据以及船载光电成像设备接收到的第二数据；根据所述第一数据，获取待融合匹配目标集合；根据所述第二数据，获取目标矩形框集合；根据所述待融合匹配目标集合，得到重投影点集合；遍历所述重投影点集合和目标矩形框集合，得到所述重投影点集合中的每个重投影点到目标矩形框集合中的每个目标矩形框的至少一个第一距离；根据每个重投影点的至少一个第一距离，得到所述重投影点与目标矩形框之间的逻辑关联信息。实现了船舶光电成像设备与AIS多传感器多模态数据的融合和叠加显示，给船员更直观、更便捷的方式感知所在的船舶周围航行态势，提高了船舶在航行时的安全性。
附图说明
图1为本发明实施例的船舶数据信息的处理方法的流程示意图；
图2为本发明实施例的船舶数据信息的处理方法中具体实现流程示意图；
图3为本发明实施例的船舶数据信息的处理方法中融合后的视频画面的示意图；
图4为本发明实施例的船舶数据信息的处理装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
如图1所示，本发明提供一种船舶数据信息的处理方法，包括：
步骤11，获取船舶的自动识别***AIS接收机接收到第一数据以及船载光电成像设备接收到的第二数据；
步骤12，根据所述第一数据，获取待融合匹配目标集合；
步骤13，根据所述第二数据，获取目标矩形框集合；
步骤14，根据所述待融合匹配目标集合，得到重投影点集合；
步骤15，遍历所述重投影点集合和目标矩形框集合，得到所述重投影点集合中的每个重投影点到目标矩形框集合中的每个目标矩形框的至少一个第一距离；
步骤16，根据每个重投影点的至少一个第一距离，得到所述重投影点与目标矩形框之间的逻辑关联信息。
该实施例中，在同一个船舶位置上设置有船舶的自动识别***AIS接收机和船载光电成像设备，通过AIS接收机获取第一数据，通过船载光电成像设备获取第二数据，其中，第一数据包括船舶在当前时刻目标的大地坐标数据，第二数据包括船舶在当前时刻船载光电成像设备的帧画面，根据第一数据和第二数据，获取待融合匹配目标集合和目标矩形框集合，将待融合匹配目标集合中的目标通过映射关系投影至像素坐标系下，得到重投影点集合，然后遍历重投影点集合的重投影点和目标矩形框集合的目标矩形框，得到重投影点集合中的每个重投影点到目标矩形框集合中的每个目标矩形框的第一距离；根据第一距离，可得到重投影点与目标矩形框之间的逻辑关联信息；实现了船舶光电成像设备与AIS多传感器多模态数据的融合和叠加显示，给船员更直观且更便捷的方式感知所在的船舶周围航行态势，提高了船舶在航行时的安全性；
需要说明的是，在本申请中的船载光电成像设备、AIS接收机以及船舶的大地坐标数据和地心坐标数据优选的都以船舶的大地坐标数据和地心坐标数据为准；本申请中提到的第一距离、最小距离、第二距离以及第三距离优选的为欧氏距离；重投影点集合中包括至少一个重投影点，目标矩形框集合中包括至少一个目标矩形框，因而第一距离的数据数量为至少一个。
本发明一可选的实施例中，步骤12包括：
步骤121，获取所述第一数据中当前时刻目标的大地坐标数据；
步骤122，根据所述当前时刻目标的大地坐标数据，得到目标到船舶之间的至少一个第二距离和至少一个真方位角；
步骤123，将每个所述目标到船舶之间的第二距离和真方位角，通过过滤处理，得到待融合匹配目标集合。
具体地，步骤121包括：
步骤1211，获取当前时刻的前一时刻目标的地心坐标数据；
步骤1212，根据所述前一时刻目标的地心坐标数据，通过公式：
Figure 2829DEST_PATH_IMAGE004
得到前一时刻目标的大地坐标数据；
其中，(Olat,Olon)为船舶自动识别***AIS接收机的地心坐标数据，(Plat,Plon)为前一时刻目标的地心坐标数据，(xt0,yt0)为前一时刻目标的大地坐标数据，S为椭球因子；
步骤1213，根据所述前一时刻目标的大地坐标数据，通过公式：
Figure DEST_PATH_IMAGE005
得到当前时刻目标的大地坐标数据；
其中，(xt1,yt1)为当前时刻目标的大地坐标数据，(xt0,yt0)为前一时刻目标的大地坐标数据，θ为目标的航向值，v为目标的航速值，t0为前一时刻的时间信息，t1为当前时刻的时间信息。
本实施例中，从船舶上设置的AIS接收机上获取目标相对当前时刻的前一时刻目标的地心坐标数据，其中，AIS接收机获取的目标的地心坐标数据优选的为WGS-84坐标系的数据；该大地坐标系OXYZ优选的以目标的大地坐标数据为P点，以AIS接收机所在的船舶的大地坐标数据为O点，以正北方向为X轴的正方向，正东方向为Y轴的正方向，以垂直与X轴和Y轴组成的平面向下的方向为Z轴的正方向；当水平面Z=0时，将前一时刻目标的地心坐标数据（lat,lon）转换为前一时刻目标的大地坐标数据，可以通过公式：
Figure 868630DEST_PATH_IMAGE006
进行转换，其中，(Olat,Olon)为船舶自动识别***AIS接收机的地心坐标数据，(Plat,Plon)为前一时刻目标的地心坐标数据，(xt0,yt0)为前一时刻目标的大地坐标数据，S为椭球因子；椭球因子S的取值优选的为S =111318.84502145034；
将前一时刻目标的地心坐标数据转换为大地坐标系后，由于AIS接收机数据更新频率较低，因此，AIS接收机获取的第一数据更新是存在一定时间延迟的，根据所述前一时刻目标的大地坐标数据，通过公式：
Figure DEST_PATH_IMAGE007
得到当前时刻目标的大地坐标数据；
其中，(xt1,yt1)为当前时刻目标的大地坐标数据，(xt0,yt0)为前一时刻目标的大地坐标数据，θ为目标的航向值，v为目标的航速值，t0为前一时刻的时间信息，t1为当前时刻的时间信息；
然后通过步骤122而计算得到目标到船舶之间的至少一个第二距离和至少一个真方位角；
最后将每个目标对应的第二距离和真方位角，通过过滤处理，筛选出符合过滤条件的目标，形成待融合匹配目标集合。
一个具体的实施例1中，根据船舶上设置的船载光电成像设备的最大可是距离设置过滤条件1为0≤d≤dmax，根据船舶的艏向ψ和船载光电成像设备的水平视场角fov设置过滤条件2为
Figure 91801DEST_PATH_IMAGE008
，其中，ψ为船舶的艏向，φ为目标的真方位角，fov为船载光电成像设备的水平视场角；将船舶上的AIS接收机在一个时刻接收到的所有目标的对应的第二距离和真方位角进行过滤，通过过滤条件1可过滤掉目标到船舶的距离超出最大视距的目标，通过过滤条件2可过滤掉不在船载光电成像设备的视野范围的目标，通过两次过滤处理，可以得到当前时刻的待融合匹配目标集合Starget。
本发明一可选的实施例中，步骤13包括：
步骤131，获取所述第二数据中当前时刻船载光电成像设备的帧画面；
步骤132，根据所述当前时刻船载光电成像设备的帧画面，通过船舶目标检测器进行目标检测处理，得到当前时刻船载光电成像设备的帧画面对应的目标矩形框集合。
本实施例中，将当前时刻船载光电成像设备的帧画面通过船舶目标检测器进行目标检测处理，得到当前时刻船载光电成像设备的帧画面对应的目标矩形框集合；
其中，船舶目标检测器是通过大量的样本训练学习处理得到的，具体包括：采集船舶在不同场景与不同光照条件下，船载光电成像设备拍摄到的水面图片样本，进行人工标注，得到一组标注样本集，通过建立YOLOv5目标检测模型对该标注样本集进行有监督学习训练，模型收敛后得到船舶目标检测器。
本发明一可选的实施例中，步骤14包括：
步骤141，获取船载光电成像设备的内参矩阵、正交旋转矩阵以及平移向量；
步骤142，根据所述船载光电成像设备的内参矩阵、正交旋转矩阵以及平移向量，得到大地坐标系到船载光电成像设备的屏幕像素坐标系之间的映射关系；
步骤143，根据所述待融合匹配目标集合和所述映射关系，得到对应的重投影点集合。
本实施例中，获取内参矩阵、正交旋转矩阵以及平移向量，通过内参矩阵、正交旋转矩阵以及平移向量得到大地坐标系到船载光电成像设备的屏幕像素坐标系之间的映射关系，最终通过映射关系，得到对应的重投影点集合；
其中，获取船载光电成像设备的内参矩阵、正交旋转矩阵以及平移向量的方法优选的为：
步骤1411，将船载光电成像设备在船舶的船艏处固定，校正船载光电成像设备的姿态角度至其俯仰角的角度为 0°，横滚角的角度为 0°，偏航角的角度与船艏的角度一致；然后解算出船载光电成像设备的内参矩阵
Figure DEST_PATH_IMAGE009
；其中，f为焦距，dX为船载光电成像设备的成像传感器在水平方向上相邻像素之间的距离，dY为船载光电成像设备的成像传感器在垂直方向上相邻像素之间的距离，u0和v0为船载光电成像设备的主点坐标，K为内参矩阵；需要说明的是，解算出船载光电成像设备的内参矩阵的方法优选的是棋盘格标定法；
步骤1411，通过采用手持高精度GPS定位仪对当前时刻船载光电成像设备拍摄的帧画面内多组地理位置进行地心坐标数据采点，并将其转换为大地坐标数据（x,y），同时，记录下与之对应的一组图像的像素坐标（u,v），通过解算方法得到船载光电成像设备的正交旋转矩阵和平移向量；
需要说明的是，解算得到正交旋转矩阵和平移向量的方法优选的为解PnP（Perspective-n-Point）问题算法；
一个具体的实施例2中，通过解PnP问题算法得到正交旋转矩阵为：
Figure 907441DEST_PATH_IMAGE010
；
其中，R为正交旋转矩阵，rj为旋转角参数，j的取值为大于0的正整数，该正交旋转矩阵R中j取值为9；
平移向量T=[t1,t2,t3]，其中tp为平移参数，p的取值为大于0的正整数，该平移向量T中p取值为3。
本发明一可选的实施例中，步骤142包括：
根据所述船载光电成像设备的内参矩阵、正交旋转矩阵以及平移向量，通过公式：
Figure DEST_PATH_IMAGE011
得到目标的大地坐标系到船载光电成像设备的屏幕像素坐标系之间的映射关系；
其中，(u,v)为映射后船载光电成像设备的屏幕像素坐标，z为投影比例系数，f为焦距，dX为船载光电成像设备的成像传感器在水平方向上相邻像素之间的距离，dY为船载光电成像设备的成像传感器在垂直方向上相邻像素之间的距离，u0和v0为船载光电成像设备的主点坐标，R为正交旋转矩阵，T为平移向量，(Xw,Yw)为大地坐标系的坐标数据。
本发明一可选的实施例中，步骤16包括：
步骤161，将每个重投影点对应的所有的第一距离进行排序，得到每个重投影点的最小距离；所述最小距离为每个重投影点到目标矩形框集合中所有的目标矩形框最小的第一距离；
步骤162，根据所述每个重投影点的最小距离，得到在预设范围内的至少一个第三距离；
步骤162，根据所述第三距离，得到重投影点与目标矩形框的逻辑关联信息。
本实施例中，将重投影点集合中的每个重投影点到目标矩形框集合中的所有目标矩形框的第一距离进行排序，得到每个重投影点到所有目标矩形框中最小的第一距离作为最小距离，然后对每个重投影点的最小距离进行判断处理，得到在预设范围内的第三距离，根据在预设范围内的至少一组第三距离的重投影点和目标矩形框，即可得到重投影点与目标矩形框的逻辑关联信息。
一个具体的实施例3中，重投影点集合包括重投影点1、重投影点2以及重投影点3，目标矩形框集合包括目标矩形框1、目标矩形框2、目标矩形框3以及目标矩形框4；
计算求得重投影点1分别至目标矩形框1的第一距离D11，至目标矩形框2的第一距离D12，至目标矩形框3的第一距离D13以及至目标矩形框4的第一距离D14；重投影点2分别至目标矩形框1的第一距离D21，至目标矩形框2的第一距离D22，至目标矩形框3的第一距离D23以及至目标矩形框4的第一距离D24；重投影点3分别至目标矩形框1的第一距离D31，至目标矩形框2的第一距离D32，至目标矩形框3的第一距离D33以及至目标矩形框4的第一距离D34；
通过排序处理，得到重投影点1的最小距离为第一距离D13，重投影点2的最小距离为第一距离D21，重投影点3的最小距离为第一距离D32；其中，D13＜D32＜Dmax＜D21；得到在预设范围（0,Dmax）内的最小距离为第一距离D13和第一距离D32，因此重投影点1和目标矩形框3可判定为同一目标，重投影点3和目标矩形框2可判定为同一目标，得到重投影点1与目标矩形框3之间的逻辑关联信息，重投影点3与目标矩形框2之间的逻辑关联信息。
本发明一可选的实施例中，船舶数据信息的处理方法，还包括：
步骤17，将所述重投影点与目标矩形框的逻辑关联信息进行增强现实叠加渲染处理，得到融合后的视频画面。
本实施例中，根据重投影点与目标矩形框的逻辑关联信息，将逻辑关联信息进行增强现实叠加渲染处理，以便于将融合后的逻辑关联信息在视频画面中呈现，以便于在船舶上的船员能够以更直观且更便捷的方式感知船舶周围航行态势。
如图2所示，一个具体的实施例4中，依次通过AIS接收机进行目标的坐标数据预处理，对船载光电成像设备进行内外参数标定，对船载光电成像设备拍摄的帧画面通过船舶检测器进行目标检测，然后进行多模态数据融合关联，最终通过增强现实叠加渲染处理，将融合后的逻辑关联信息呈现在船舶的视频画面中；如图3所示，图3是实施例4中呈现的船舶视频画面图像，阴影部分是船舶的船艏示意图，AIS接收机和船舶光电成像设备设置于船舶的船艏位置，目标矩形框内分别示出了距离船艏一定距离的船A、船B以及船C的位置，通过融合后的逻辑关联信息，在视频画面中能呈现出目标船的船名称信息、水上移动通信业务标识码MMSI信息、航向信息以及航速信息。
本发明的实施例中通过获取船舶的自动识别***AIS接收机接收到第一数据以及船载光电成像设备接收到的第二数据；根据所述第一数据，获取待融合匹配目标集合；根据所述第二数据，获取目标矩形框集合；根据所述待融合匹配目标集合，得到重投影点集合；遍历所述重投影点集合和目标矩形框集合，得到所述重投影点集合中的每个重投影点到目标矩形框集合中的每个目标矩形框的至少一个第一距离；根据每个重投影点的至少一个第一距离，得到所述重投影点与目标矩形框之间的逻辑关联信息；实现了船员更直观更便捷地感知所在船舶的周围航行态势，提高了船舶航行时的安全性。
本发明还提供一种船舶数据信息的处理装置40，所述装置包括：
获取模块41，用于获取船舶的自动识别***AIS接收机接收到第一数据以及船载光电成像设备接收到的第二数据；
处理模块42，用于根据所述第一数据，获取待融合匹配目标集合；根据所述第二数据，获取目标矩形框集合；根据所述待融合匹配目标集合，得到重投影点集合；遍历所述重投影点集合和目标矩形框集合，得到所述重投影点集合中的每个重投影点到目标矩形框集合中的每个目标矩形框的至少一个第一距离；根据每个重投影点的至少一个第一距离，得到所述重投影点与目标矩形框之间的逻辑关联信息。
可选的，根据所述第一数据，获取待融合匹配目标集合，包括：
获取所述第一数据中当前时刻目标的大地坐标数据；
根据所述当前时刻目标的大地坐标数据，得到目标到船舶之间的至少一个第二距离和至少一个真方位角；
将每个所述目标到船舶之间的第二距离和真方位角，通过过滤处理，得到待融合匹配目标集合。
可选的，获取所述第一数据中当前时刻目标的大地坐标数据，包括：
获取当前时刻的前一时刻目标的地心坐标数据；
根据所述前一时刻目标的地心坐标数据，通过公式：
Figure 165247DEST_PATH_IMAGE012
得到前一时刻目标的大地坐标数据；
其中，(Olat,Olon)为船舶自动识别***AIS接收机的地心坐标数据，(Plat,Plon)为前一时刻目标的地心坐标数据，(xt0,yt0)为前一时刻目标的大地坐标数据，S为椭球因子；
根据所述前一时刻目标的大地坐标数据，通过公式：
Figure DEST_PATH_IMAGE013
得到当前时刻目标的大地坐标数据；
其中，(xt1,yt1)为当前时刻目标的大地坐标数据，(xt0,yt0)为前一时刻目标的大地坐标数据，θ为目标的航向值，v为目标的航速值，t0为前一时刻的时间信息，t1为当前时刻的时间信息。
可选的，根据所述第二数据，获取目标矩形框集合，包括：
获取所述第二数据中当前时刻船载光电成像设备的帧画面；
根据所述当前时刻船载光电成像设备的帧画面，通过船舶目标检测器进行目标检测处理，得到当前时刻船载光电成像设备的帧画面对应的目标矩形框集合。
可选的，根据所述待融合匹配目标集合，得到重投影点集合，包括：
获取船载光电成像设备的内参矩阵、正交旋转矩阵以及平移向量；
根据所述船载光电成像设备的内参矩阵、正交旋转矩阵以及平移向量，得到大地坐标系到船载光电成像设备的屏幕像素坐标系之间的映射关系；
根据所述待融合匹配目标集合和所述映射关系，得到对应的重投影点集合。
可选的，根据所述船载光电成像设备的内参矩阵、正交旋转矩阵以及平移向量，得到目标的大地坐标系到船载光电成像设备的屏幕像素坐标系之间的映射关系，包括：
根据所述船载光电成像设备的内参矩阵、正交旋转矩阵以及平移向量，通过公式：
Figure 939299DEST_PATH_IMAGE014
得到目标的大地坐标系到船载光电成像设备的屏幕像素坐标系之间的映射关系；
其中，(u,v)为映射后船载光电成像设备的屏幕像素坐标，z为投影比例系数，f为焦距，dX为船载光电成像设备的成像传感器在水平方向上相邻像素之间的距离，dY为船载光电成像设备的成像传感器在垂直方向上相邻像素之间的距离，u0和v0为船载光电成像设备的主点坐标，R为正交旋转矩阵，T为平移向量，(Xw,Yw)为大地坐标系的坐标数据。
可选的，根据每个重投影点的至少一个第一距离，得到所述重投影点与目标矩形框之间的逻辑关联信息，包括：
将每个重投影点对应的所有的第一距离进行排序，得到每个重投影点的最小距离；所述最小距离为每个重投影点到目标矩形框集合中所有的目标矩形框最小的第一距离；
根据所述每个重投影点的最小距离，得到在预设范围内的至少一个第三距离；
根据所述第三距离，得到重投影点与目标矩形框的逻辑关联信息。
可选的，船舶数据信息的处理装置，还包括：
渲染处理模块，用于将所述重投影点与目标矩形框的逻辑关联信息进行增强现实叠加渲染处理，得到融合后的视频画面。
需要说明的是，该装置是与上述方法对应的装置，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算机可读存储介质，存储有指令，所述指令在计算机上运行时，使得计算机执行如上所述的方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种船舶数据信息的处理方法，其特征在于，包括：
获取船舶的自动识别***AIS接收机接收到第一数据以及船载光电成像设备接收到的第二数据；
根据所述第一数据，获取待融合匹配目标集合；
根据所述第二数据，获取目标矩形框集合；
根据所述待融合匹配目标集合，得到重投影点集合；
遍历所述重投影点集合和目标矩形框集合，得到所述重投影点集合中的每个重投影点到目标矩形框集合中的每个目标矩形框的至少一个第一距离；
根据每个重投影点的至少一个第一距离，得到所述重投影点与目标矩形框之间的逻辑关联信息。
2.根据权利要求1所述的船舶数据信息的处理方法，其特征在于，根据所述第一数据，获取待融合匹配目标集合，包括：
获取所述第一数据中当前时刻目标的大地坐标数据；
根据所述当前时刻目标的大地坐标数据，得到目标到船舶之间的至少一个第二距离和至少一个真方位角；
将每个所述目标到船舶之间的第二距离和真方位角，通过过滤处理，得到待融合匹配目标集合。
3.根据权利要求2所述的船舶数据信息的处理方法，其特征在于，获取所述第一数据中当前时刻目标的大地坐标数据，包括：
获取当前时刻的前一时刻目标的地心坐标数据；
根据所述前一时刻目标的地心坐标数据，通过公式：
Figure 85563DEST_PATH_IMAGE001
得到前一时刻目标的大地坐标数据；
其中，(Olat,Olon)为船舶自动识别***AIS接收机的地心坐标数据，(Plat,Plon)为前一时刻目标的地心坐标数据，(xt0,yt0)为前一时刻目标的大地坐标数据，S为椭球因子；
根据所述前一时刻目标的大地坐标数据，通过公式：
Figure 721075DEST_PATH_IMAGE002
得到当前时刻目标的大地坐标数据；
其中，(xt1,yt1)为当前时刻目标的大地坐标数据，(xt0,yt0)为前一时刻目标的大地坐标数据，θ为目标的航向值，v为目标的航速值，t0为前一时刻的时间信息，t1为当前时刻的时间信息。
4.根据权利要求1所述的船舶数据信息的处理方法，其特征在于，根据所述第二数据，获取目标矩形框集合，包括：
获取所述第二数据中当前时刻船载光电成像设备的帧画面；
根据所述当前时刻船载光电成像设备的帧画面，通过船舶目标检测器进行目标检测处理，得到当前时刻船载光电成像设备的帧画面对应的目标矩形框集合。
5.根据权利要求1所述的船舶数据信息的处理方法，其特征在于，根据所述待融合匹配目标集合，得到重投影点集合，包括：
获取船载光电成像设备的内参矩阵、正交旋转矩阵以及平移向量；
根据所述船载光电成像设备的内参矩阵、正交旋转矩阵以及平移向量，得到大地坐标系到船载光电成像设备的屏幕像素坐标系之间的映射关系；
根据所述待融合匹配目标集合和所述映射关系，得到对应的重投影点集合。
6.根据权利要求5所述的船舶数据信息的处理方法，其特征在于，根据所述船载光电成像设备的内参矩阵、正交旋转矩阵以及平移向量，得到目标的大地坐标系到船载光电成像设备的屏幕像素坐标系之间的映射关系，包括：
根据所述船载光电成像设备的内参矩阵、正交旋转矩阵以及平移向量，通过公式：
Figure 191371DEST_PATH_IMAGE003
得到目标的大地坐标系到船载光电成像设备的屏幕像素坐标系之间的映射关系；
其中，(u,v)为映射后船载光电成像设备的屏幕像素坐标，z为投影比例系数，f为焦距，dX为船载光电成像设备的成像传感器在水平方向上相邻像素之间的距离，dY为船载光电成像设备的成像传感器在垂直方向上相邻像素之间的距离，u0和v0为船载光电成像设备的主点坐标，R为正交旋转矩阵，T为平移向量，(Xw,Yw)为大地坐标系的坐标数据。
7.根据权利要求1所述的船舶数据信息的处理方法，其特征在于，根据每个重投影点的至少一个第一距离，得到所述重投影点与目标矩形框之间的逻辑关联信息，包括：
将每个重投影点对应的所有的第一距离进行排序，得到每个重投影点的最小距离；所述最小距离为每个重投影点到目标矩形框集合中所有的目标矩形框最小的第一距离；
根据所述每个重投影点的最小距离，得到在预设范围内的至少一个第三距离；
根据所述第三距离，得到所述重投影点与目标矩形框的逻辑关联信息。
8.根据权利要求1所述的船舶数据信息的处理方法，其特征在于，还包括：
将所述重投影点与目标矩形框的逻辑关联信息进行增强现实叠加渲染处理，得到融合后的视频画面。
9.一种船舶数据信息的处理装置，其特征在于，所述装置包括：
获取模块，用于获取船舶的自动识别***AIS接收机接收到第一数据以及船载光电成像设备接收到的第二数据；
处理模块，用于根据所述第一数据，获取待融合匹配目标集合；根据所述第二数据，获取目标矩形框集合；根据所述待融合匹配目标集合，得到重投影点集合；遍历所述重投影点集合和目标矩形框集合，得到所述重投影点集合中的每个重投影点到目标矩形框集合中的每个目标矩形框的至少一个第一距离；根据每个重投影点的至少一个第一距离，得到所述重投影点与目标矩形框之间的逻辑关联信息。
10.一种计算机可读存储介质，其特征在于，存储有指令，所述指令在计算机上运行时，使得计算机执行如权利要求1至8任一项所述的方法。
CN202110791553.3A 2021-07-13 2021-07-13 一种船舶数据信息的处理方法及装置 Active CN113253619B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110791553.3A CN113253619B (zh) 2021-07-13 2021-07-13 一种船舶数据信息的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110791553.3A CN113253619B (zh) 2021-07-13 2021-07-13 一种船舶数据信息的处理方法及装置

Publications (2)

Publication Number Publication Date
CN113253619A true CN113253619A (zh) 2021-08-13
CN113253619B CN113253619B (zh) 2021-10-12

Family

ID=77191172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110791553.3A Active CN113253619B (zh) 2021-07-13 2021-07-13 一种船舶数据信息的处理方法及装置

Country Status (1)

Country Link
CN (1) CN113253619B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113849703A (zh) * 2021-11-30 2021-12-28 亿海蓝（北京）数据技术股份公司 船舶信息查询方法及装置、可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103983951A (zh) * 2014-05-28 2014-08-13 北京海兰盈华科技有限公司 目标探测信号的显示方法、装置及***
CN104184990A (zh) * 2014-06-03 2014-12-03 南通航运职业技术学院 一种导航雷达或ais跟踪参数引导的智能视频监控***
CN104574722A (zh) * 2013-10-12 2015-04-29 北京航天长峰科技工业集团有限公司 一种基于多传感器的海港安全控制***
CN105975927A (zh) * 2016-04-29 2016-09-28 中国舰船研究设计中心 一种公务船目标识别***与方法
CN207742335U (zh) * 2018-02-06 2018-08-17 上海圆舟电子科技有限公司 一种智能海事跟踪雷达
CN108550281A (zh) * 2018-04-13 2018-09-18 武汉理工大学 一种基于视觉ar的船舶辅助驾驶***与方法
CN109633627A (zh) * 2018-11-27 2019-04-16 成都天奥信息科技有限公司 一种基于雷达与ais融合数据的光电联动控制方法
KR20190116675A (ko) * 2018-04-05 2019-10-15 주식회사 리안 Ais 내장 소형선박용 안전항해 함체
CN110850403A (zh) * 2019-11-18 2020-02-28 中国船舶重工集团公司第七0七研究所 一种多传感器决策级融合的智能船水面目标感知识别方法
CN111083128A (zh) * 2019-12-06 2020-04-28 北京海兰信数据科技股份有限公司 船舶数据的处理方法、装置及设备
CN111258322A (zh) * 2019-12-26 2020-06-09 北京海兰信数据科技股份有限公司 一种基于增强现实技术的船用驾驶辅助装置及方法
CN111373283A (zh) * 2017-11-17 2020-07-03 Abb瑞士股份有限公司 对海洋船舶的周围环境的实时监测
CN112507965A (zh) * 2020-12-23 2021-03-16 北京海兰信数据科技股份有限公司 一种电子瞭望***的目标识别方法及***

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574722A (zh) * 2013-10-12 2015-04-29 北京航天长峰科技工业集团有限公司 一种基于多传感器的海港安全控制***
CN103983951A (zh) * 2014-05-28 2014-08-13 北京海兰盈华科技有限公司 目标探测信号的显示方法、装置及***
CN104184990A (zh) * 2014-06-03 2014-12-03 南通航运职业技术学院 一种导航雷达或ais跟踪参数引导的智能视频监控***
CN105975927A (zh) * 2016-04-29 2016-09-28 中国舰船研究设计中心 一种公务船目标识别***与方法
CN111373283A (zh) * 2017-11-17 2020-07-03 Abb瑞士股份有限公司 对海洋船舶的周围环境的实时监测
CN207742335U (zh) * 2018-02-06 2018-08-17 上海圆舟电子科技有限公司 一种智能海事跟踪雷达
KR20190116675A (ko) * 2018-04-05 2019-10-15 주식회사 리안 Ais 내장 소형선박용 안전항해 함체
CN108550281A (zh) * 2018-04-13 2018-09-18 武汉理工大学 一种基于视觉ar的船舶辅助驾驶***与方法
CN109633627A (zh) * 2018-11-27 2019-04-16 成都天奥信息科技有限公司 一种基于雷达与ais融合数据的光电联动控制方法
CN110850403A (zh) * 2019-11-18 2020-02-28 中国船舶重工集团公司第七0七研究所 一种多传感器决策级融合的智能船水面目标感知识别方法
CN111083128A (zh) * 2019-12-06 2020-04-28 北京海兰信数据科技股份有限公司 船舶数据的处理方法、装置及设备
CN111258322A (zh) * 2019-12-26 2020-06-09 北京海兰信数据科技股份有限公司 一种基于增强现实技术的船用驾驶辅助装置及方法
CN112507965A (zh) * 2020-12-23 2021-03-16 北京海兰信数据科技股份有限公司 一种电子瞭望***的目标识别方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TADATSUGI OKAZAKI 等: "Development of sea route display system by using augmented reality", 《2017 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS (SMC)》 *
刘武艺: "基于增强现实技术的船舶值班瞭望辅助***研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *
邹帆 等: "增强现实技术在船舶导助航领域的应用", 《水运管理》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113849703A (zh) * 2021-11-30 2021-12-28 亿海蓝（北京）数据技术股份公司 船舶信息查询方法及装置、可读存储介质

Also Published As

Publication number Publication date
CN113253619B (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
CN110310248B (zh) 一种无人机遥感影像实时拼接方法及***
CN110926474B (zh) 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法
US10291898B2 (en) Method and apparatus for updating navigation map
CN107527328B (zh) 一种兼顾精度与速度的无人机影像几何处理方法
US20110013016A1 (en) Visual Detection of Clear Air Turbulence
CN109212545A (zh) 基于主动视觉的多信源目标跟踪测量***及跟踪方法
CN103398710B (zh) 一种夜雾天况下的舰船进出港导航***及其构建方法
CN113222820B (zh) 一种位姿信息辅助的航空遥感图像拼接方法
EP3881221A1 (en) System and method for measuring the distance to an object in water
CN111709994B (zh) 一种自主无人机视觉探测与引导***及方法
CN112489032A (zh) 一种复杂背景下无人机载小目标检测定位方法及***
CN113240813B (zh) 三维点云信息确定方法及装置
CN112666963A (zh) 基于四轴无人机的公路路面裂缝检测***及其检测方法
CN113253619B (zh) 一种船舶数据信息的处理方法及装置
CN113822217A (zh) 基于ais和视频图像分析的船舶尾气监测方法
CN113286081A (zh) 机场全景视频的目标识别方法、装置、设备及介质
CN115839714A (zh) 一种基于航拍图像的无人机工作区域地图构建方法
CN113296133A (zh) 一种基于双目视觉测量与高精度定位融合技术实现位置标定的装置及方法
CN112255604B (zh) 一种雷达数据准确性的判断方法、装置及计算机设备
CN111444385B (zh) 一种基于影像角点匹配的电子地图实时视频镶嵌方法
Kikuya et al. Attitude determination algorithm using Earth sensor images and image recognition
CN116228860A (zh) 目标物的地理位置预测方法、装置、设备及存储介质
CN113450598B (zh) 基于红外视频的船舶辅助航行方法及***
CN109840920A (zh) 航拍目标空间信息配准方法及航空器空间信息显示方法
CN111899512B (zh) 结合天际线观测的车辆轨迹提取方法、***及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant