CN116226633A

CN116226633A - 一种船只数据实时融合识别的方法、***、装置和介质

Info

Publication number: CN116226633A
Application number: CN202211599988.9A
Authority: CN
Inventors: 丁串串; 朱伟; 石乔木
Original assignee: Hangzhou Jingan Technology Co ltd
Current assignee: Hangzhou Jingan Technology Co ltd
Priority date: 2022-12-13
Filing date: 2022-12-13
Publication date: 2023-06-06

Abstract

本申请涉及一种船只数据实时融合识别的方法、***、装置和介质，其中，该方法包括：分别通过AIS设备和雷达设备获取船只数据并上报；通过FlinkSql读取AIS和雷达数据，并进行过滤和LAG函数处理；通过Flink流表将处理后的AIS和雷达数据进行关联计算，得到AIS和雷达数据的角度值，并通过预设条件对角度值进行筛选，得到第一关联数据表；根据雷达检测目标的ID和AIS检测船只的MMSI船号对第一关联数据表进行分组处理，得到第二关联数据表，并对第二关联数据表进行筛选，得到雷达检测目标的ID与AIS检测到的MMSI船号之间的对应关系，完成船只的AIS数据和雷达数据的实时融合识别。通过本申请，提高了融合识别速度，能准确识别船只。

Description

一种船只数据实时融合识别的方法、***、装置和介质

技术领域

本申请涉及卫星通信技术领域，特别是涉及一种船只数据实时融合识别的方法、***、装置和介质。

背景技术

AIS是一种船舶自动识别设备，能实现船舶之间的通信，并上报船舶自身船名、呼号、经纬度等信息。随着船只监测技术的快速发展，现如今，在监测海面上船只行驶的踪迹时，一般将AIS设备和雷达设备进行结合使用，即，将这两种设备检测到的目标数据进行融合识别，并将二者融合识别的船只位置及其相关信息显示在海图上，从而探测目标船只的信息，保障船舶安全航行。

然而，在相关技术中，对探测船只数据的融合识别均通过Java、Python等语言实现，且融合的数据均为离线数据，是在明确知道某条船的实际行驶情况下进行的轨迹修正合并。因此，这种融合识别方式成本高、准确率低，且实时性也不高。

目前针对相关技术中，在监测船只时，存在的数据融合成本高、实时性差、船只识别准确率不高的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种船只数据实时融合识别的方法、***、装置和介质，以至少解决相关技术中在监测船只时，存在的数据融合成本高、实时性差、船只识别准确率不高的问题。

第一方面，本申请实施例提供了一种船只数据实时融合识别的方法，所述方法包括：

分别通过AIS设备和雷达设备获取船只数据，并上报到消息队列；

通过FlinkSql读取船只的AIS数据和雷达数据，并对读取的数据进行过滤和LAG函数处理，得到处理后的AIS数据和雷达数据；

通过Flink流表将所述处理后的AIS数据和雷达数据进行关联计算，得到船只AIS数据和雷达数据的角度值，并通过预设条件对计算得到的角度值进行筛选，得到第一关联数据表；

根据雷达检测目标的ID和AIS检测船只的MMSI船号对所述第一关联数据表进行分组，得到每个雷达检测目标的ID融合的AIS检测船只的MMSI的数量及融合时间，生成第二关联数据表，并对所述第二关联数据表进行筛选，得到雷达检测目标的ID与AIS检测到的MMSI船号之间的对应关系，完成船只的AIS数据和雷达数据的实时融合识别。

在其中一些实施例中，对读取的数据进行过滤和LAG函数处理包括：

过滤掉MMSI船号、经纬度、时间为空的AIS数据，并根据MMSI船号、点位经纬度和水位线时间，通过FlinkSql的LAG窗口函数对AIS数据进行处理，得到当前船只点位与前一个点位之间的经纬度差值；

过滤掉经纬度、时间为空的雷达数据，并根据雷达检测目标的ID，通过FlinkSql的LAG窗口函数对雷达数据进行处理，得到雷达目标点位和前一个点位之间的经纬度差值。

在其中一些实施例中，通过Flink流表将所述处理后的AIS数据和雷达数据进行关联计算包括：

根据预设的关联条件将所述处理后的AIS数据和雷达数据进行关联，并计算AIS数据和雷达数据的经纬度距离、时间差值的绝对值；

通过FlinkSql中的ATAN2函数计算出AIS数据和雷达数据的角度值。

在其中一些实施例中，通过预设条件对计算得到的角度值进行筛选，得到第一关联数据包括：

根据预设的经纬度距离和计算得到的角度值对AIS数据和雷达数据进行筛选，得到AIS检测的船只和雷达检测的船只之间航向的角度差；

根据雷达数据和AIS数据，通过FlinkSql的窗口函数ROW_NUMBER进行筛选，得到雷达目标数据在每个时间点对应的距离最低、时间间隔最短的AIS数据。

在其中一些实施例中，对所述第二关联数据表进行筛选包括：

通过FlinkSql的ROW_NUMBER窗口函数对所述第二关联数据表进行开窗，得到每个雷达检测目标的ID与AIS检测到的MMSI船号之间的对应关系，以及船只融合的时间。

在其中一些实施例中，在完成船只的AIS数据和雷达数据的融合识别之后，所述方法包括：

根据对应关系数据对船只进行地图打点，告警，以及实时位置、轨迹监控。

在其中一些实施例中，所述消息队列包括Kafka消息队列。

第二方面，本申请实施例提供了一种船只数据实时融合识别的***，所述***包括：

所述数据库模块，用于根据IP地址数据库和经纬度信息构建用户信息数据库；

获取模块，用于分别通过AIS设备和雷达设备获取船只数据，并上报到消息队列；

预处理模块，用于通过FlinkSql读取船只的AIS数据和雷达数据，并对读取的数据进行过滤和LAG函数处理，得到处理后的AIS数据和雷达数据；

关联融合模块，用于通过Flink流表将所述处理后的AIS数据和雷达数据进行关联计算，得到船只AIS数据和雷达数据的角度值，并通过预设条件对计算得到的角度值进行筛选，得到第一关联数据表，

第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。

第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的方法。

相比于相关技术，本申请实施例提供的船只数据实时融合识别的方法，分别通过AIS设备和雷达设备获取船只数据，并上报到消息队列；通过FlinkSql读取船只的AIS数据和雷达数据，并对读取的数据进行过滤和LAG函数处理，得到处理后的AIS数据和雷达数据；通过Flink流表将处理后的AIS数据和雷达数据进行关联计算，得到船只AIS数据和雷达数据的角度值，并通过预设条件对计算得到的角度值进行筛选，得到第一关联数据表；根据雷达检测目标的ID和AIS检测船只的MMSI船号对第一关联数据表进行分组，得到每个雷达检测目标的ID融合的AIS检测船只的MMSI的数量及融合时间，生成第二关联数据表，并对第二关联数据表进行筛选，得到雷达检测目标的ID与AIS检测到的MMSI船号之间的对应关系，完成船只的AIS数据和雷达数据的实时融合识别。

现有技术中的AIS和雷达融合方式，其以离线的数据作为载体数据，在明确知道是一条船的情况下使用Pyhton及各种邻近算法等进行轨迹修正，或者单以离线数据作为融合数据进行融合打点。融合实时性较差、准确度低、且各种算法模型的加持维护不易，无法实时准确的融合识别船只。相比于上述所说的

现有技术，本申请基于流计算的Flink技术从时间维度、空间维度、方向维度5进行数据的实时融合识别，可在快速提升船只融合识别的准确性的同时，降低融合识别逻辑的复杂性。解决相关技术中在监测船只时，存在的数据融合成本高、实时性差、船只识别准确率不高的问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，0本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的船只数据实时融合识别的方法的流程图；

图2是根据本申请实施例的船只数据实时融合识别流程示意图；

图3是根据本申请实施例的船只数据实时融合识别的***的结构框图；5图4是根据本申请实施例的电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用

以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通0技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本

申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

5在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

0除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本实施例提供了一种船只数据实时融合识别的方法，图1是根据本申请实施例的船只数据实时融合识别的方法的流程图，图2是根据本申请实施例的船只数据实时融合识别流程示意图，如图1、图2所示，该流程包括如下步骤：

步骤S101，分别通过AIS设备和雷达设备获取船只数据，并上报到消息队列；

优选的，本实施例中分别通过AIS设备和雷达设备检测船只的实时信息，并获取船只相关的信息数据上报至消息队列Kafka的不同Topic中。需要说明的是，本实施例中还可以采用其他消息队列，在此不做具体限定。

步骤S102，通过FlinkSql读取船只的AIS数据和雷达数据，并对读取的数据进行过滤和LAG函数处理，得到处理后的AIS数据和雷达数据；

本实施例中，首先采用Flink分别订阅Kafka消息队列中AIS数据的Topic和雷达数据的Topic，通过FlinkSql读取船只的AIS数据和雷达数据。其中，FlinkSql会创建映射Kafka-Topic的表，并设置水位线。

将读取的AIS数据和雷达数据分别做一次预处理，即将过滤掉AIS数据中MMSI船号、经纬度、时间为空的数据，然后使用FlinkSql的LAG窗口函数，以MMSI船号为分区键，根据水位线时间的升高序列进行排序，用船只当前点位的经度、纬度分别减去前一个点位的经度、纬度，得到当前船只点位与前一个点位之间的经纬度差值，该经纬度差值构成表A1；雷达数据同理，先过滤掉经纬度、时间为空的雷达数据，同样使用LAG函数进行开窗，以雷达检测目标的ID为分区键，最终分别获取雷达目标点位和前一个点位的经度、纬度差值，该经纬度差值构成表A2。

步骤S103，通过Flink流表将处理后的AIS数据和雷达数据进行关联计算，得到船只AIS数据和雷达数据的角度值，并通过预设条件对计算得到的角度值进行筛选，得到第一关联数据表；

获取预设时间段内的经处理的AIS数据(即表A1)和雷达数据(即表A2)，并根据预设的关联条件，通过Flink流表对这些数据进行关联。具体地，如果雷达数据的时间在AIS数据的时间减去10秒～AIS数据的时间加上10秒的范围内，则关联成功。然后计算AIS数据和雷达数据的经纬度距离、时间差值的绝对值，接着通过FlinkSql中的ATAN2函数计算出AIS数据和雷达数据的ATAN角度值。该角度值构成表A3，通过计算出的角度值可确定航行方向。需要说明的是，ATAN2函数中涉及的参数包括：AIS/雷达数据的当前点纬度与前一个点纬度的差值、AIS/雷达数据的当前点经度与前一个点经度的差值。

进一步地，通过预设条件对表A3中的数据进行筛选，筛选出AIS数据和雷达数据经纬度距离小于预设距离，如五十米，且AIS的ATAN角度值为null，或雷达的ATAN角度值为null，或AIS的ATAN角度值和雷达的ATAN角度值的差值的绝对值小于1的数据。

上述筛选出来的数据代表AIS检测的船只和雷达检测的船只的航向的角度的差值，需要说明的是，通过判断角度差是否在0-π或0～-π范围内，来判断船只是否为同一航行方向。

经过上述关联处理后，对于一个雷达目标ID的点位可能会和多个AIS数据的MMSI船号关联，因此，需要使用FlinkSql的窗口函数ROW_NUMBER进行开窗，其中，以雷达检测的目标ID和时间为分区键，并以AIS数据和雷达数据经纬度距离的升序方向，以及以时间差值(即AIS数据和雷达数据时间差值)的升序方向进行排列，筛选出雷达目标数据在每个时间点对应的距离最低，时间间隔最短的AIS数据，这两者的对应数据构成第一关联数据表A4。

步骤S104，根据雷达检测目标的ID和AIS检测船只的MMSI船号对第一关联数据表进行分组，得到每个雷达检测目标的ID融合的AIS检测船只的MMSI的数量及融合时间，生成第二关联数据表，并对第二关联数据表进行筛选，得到雷达检测目标的ID与AIS检测到的MMSI船号之间的对应关系，完成船只的AIS数据和雷达数据的实时融合识别。

在完成步骤S103之后，由于雷达一直都会有点位，不同点位可能会关联不同的MMSI船号，所以需要找出每个雷达点位最有可能的一个AIS数据的MMSI船号。本实施例中，先根据雷达检测目标的ID和AIS检测船只的MMSI船号对第一关联数据表进行分组，可以求出每个雷达检测目标的ID融合的AIS检测船只的MMSI的COUNT数量及融合的最早、最晚时间。接着对于COUNT数据量大于等于预设值的数据进行筛选，筛选后的数据构成第二关联数据表A5。优选的，本实施例中的预设值设为10。需要说明的是，如果数据量太少，那么可能是由于船只突然靠近。

进一步地，对第二关联数据表A5进行筛选，具体地，本实施例中采用FlinkSql的ROW_NUMBER窗口函数对A5表进行开窗，其中，以雷达检测目标的ID为分区键，以统计的COUNT数量的降序方向进行排序，筛选数据，从而得到每个雷达检测目标的ID和AIS检测到的MMSI船号之间的一一对应关系，以及船只融合的最早最晚时间。

通过上述步骤S101至步骤S104，本实施例基于流计算的Flink技术从时间维度、空间维度、方向维度进行数据的实时融合识别，可在快速提升船只融合识别的准确性的同时，降低融合识别逻辑的复杂性。解决相关技术中在监测船只时，存在的数据融合成本高、实时性差、船只识别准确率不高的问题。

在其中一些实施例中，在识别AIS数据和雷达数据的对应关系，完成船只的AIS数据和雷达数据的融合识别之后，根据对应关系数据对船只进行地图打点，告警，以及实时位置、轨迹监控。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例还提供了一种船只数据实时融合识别的***，该***用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是根据本申请实施例的船只数据实时融合识别的***的结构框图，如图3所示，该***包括获取模块31、预处理模块32和关联融合模块33：

获取模块31，用于分别通过AIS设备和雷达设备获取船只数据，并上报到消息队列；预处理模块32，用于通过FlinkSql读取船只的AIS数据和雷达数据，并对读取的数据进行过滤和LAG函数处理，得到处理后的AIS数据和雷达数据；关联融合模块33，用于通过Flink流表将处理后的AIS数据和雷达数据进行关联计算，得到船只AIS数据和雷达数据的角度值，并通过预设条件对计算得到的角度值进行筛选，得到第一关联数据表，根据雷达检测目标的ID和AIS检测船只的MMSI船号对第一关联数据表进行分组，得到每个雷达检测目标的ID融合的AIS检测船只的MMSI的数量及融合时间，生成第二关联数据表，并对第二关联数据表进行筛选，得到雷达检测目标的ID与AIS检测到的MMSI船号之间的对应关系，完成船只的AIS数据和雷达数据的实时融合识别。

通过上述***，本实施例基于流计算的Flink技术从时间维度、空间维度、方向维度进行数据的实时融合识别，可在快速提升船只融合识别的准确性的同时，降低融合识别逻辑的复杂性。解决相关技术中在监测船只时，存在的数据融合成本高、实时性差、船只识别准确率不高的问题。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

此外，需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

另外，结合上述实施例中的船只数据实时融合识别的方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种船只数据实时融合识别的方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种船只数据实时融合识别的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

在一个实施例中，图4是根据本申请实施例的电子设备的内部结构示意图，如图4所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图4所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作***、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作***和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种船只数据实时融合识别的方法，数据库用于存储数据。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种船只数据实时融合识别的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，对读取的数据进行过滤和LAG函数处理包括：

3.根据权利要求1所述的方法，其特征在于，通过Flink流表将所述处理后的AIS数据和雷达数据进行关联计算包括：

通过FlinkSql中的ATAN2函数计算出AIS数据和雷达数据的角度值。

4.根据权利要求1所述的方法，其特征在于，通过预设条件对计算得到的角度值进行筛选，得到第一关联数据表包括：

5.根据权利要求1所述的方法，其特征在于，对所述第二关联数据表进行筛选包括：

6.根据权利要求1所述的方法，其特征在于，在完成船只的AIS数据和雷达数据的融合识别之后，所述方法包括：

7.根据权利要求1所述的方法，其特征在于，所述消息队列包括Kafka消息队列。

8.一种船只数据实时融合识别的***，其特征在于，所述***包括：

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的方法。