CN110363115A - 基于ais轨迹数据的船舶作业异常半监督实时检测方法 - Google Patents

基于ais轨迹数据的船舶作业异常半监督实时检测方法 Download PDF

Info

Publication number
CN110363115A
CN110363115A CN201910574738.1A CN201910574738A CN110363115A CN 110363115 A CN110363115 A CN 110363115A CN 201910574738 A CN201910574738 A CN 201910574738A CN 110363115 A CN110363115 A CN 110363115A
Authority
CN
China
Prior art keywords
operating area
stage
real
point
supervised
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910574738.1A
Other languages
English (en)
Other versions
CN110363115B (zh
Inventor
钱诗友
程彬
曹健
薛广涛
李明禄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201910574738.1A priority Critical patent/CN110363115B/zh
Publication of CN110363115A publication Critical patent/CN110363115A/zh
Application granted granted Critical
Publication of CN110363115B publication Critical patent/CN110363115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供了一种基于AIS轨迹数据的船舶作业异常半监督实时检测方法。在港口或河流疏浚作业期间，有些作业船舶不按预期将淤泥运至指定倾倒区域，而是将其抛向作业区域附近，这意味着淤泥可能在短时间内返回港口或航道。本发明提出了一种基于自动识别***(AIS)数据的疏浚作业异常半监督检测方法。首先，本发明建立了一个特征***用来从AIS数据中提取行为特征。此外，还将T‑分布随机邻域嵌入(T‑SNE)通过神经网络与高斯混合模型(GMM)相结合，以半监督方式训练检测模型。通过训练模型，可以有效地实时检测疏浚作业过程中的异常行为。

Description

基于AIS轨迹数据的船舶作业异常半监督实时检测方法
技术领域
本发明涉及港口或河流疏浚作业船舶的异常行为检测，具体地，涉及一种基于AIS轨迹数据的船舶作业异常半监督实时检测方法，其中AIS是指Automatic IdentificationSystem，即船舶自动识别***。
背景技术
港口和河流都需要定期进行维护性疏浚，以便进出港口和航道。在疏浚作业时，船舶将淤泥从作业区域中挖出，并在指定的倾倒区进行抛置。但是，在实际的疏浚作业中，一些疏浚船舶可能会将淤泥抛置到作业区域附近的地方，而不是特定的倾倒区域。同时，船舶在疏浚作业过程中可能遇到在航道上航行的船舶，因此必须离开航道进行避免。因此，当疏浚船舶驶离作业区域时，必须区分异常的淤泥非法倾倒行为与正常的避让行为，即疏浚船舶作业异常检测。准确的疏浚船舶异常检测不仅规范了挖泥船在作业过程中的行为，而且保证了整个工程的质量。
针对内河航行的异常检测，专利文献CN106816038A公开了一种内河水域异常行为船舶自动识别***及方法，通过实时获取内河水域船舶通航的AIS报文信息、水文气象部门的环境信息、CCTV视频图像和景深图像，分析船舶异常行为模式类别，建立船舶异常行为样本库；建立深度学习网络模型分析船舶行为，获取船舶异常行为模式和GPS定位信息；在CCTV视频图像中检测出船舶，结合景深图像获取船舶的三维空间信息，获取船舶视频定位信息：将GPS定位信息、视频定位信息、船舶异常行为模式、船舶检测特征融合，进行船舶目标关联，在CCTV视频上自动识别出异常行为船舶。
针对疏浚船舶作业异常检测的专利文献则较少，通常，根据样本的标签是否可用，现有的疏浚船舶作业异常检测方法可以分为三种类型的方法，即无监督学习，监督学习和半监督学习。
第一种方法是无监督学习，使用未标记的样本。这些方法的基本思想是在某个度量上找到异常。异常由阈值或根据该度量的比例确定。现有一些用于无监督异常检测的代表性方法。不需要标签这一特性是无监督学习方法的主要优点。但是，异常数据需要除以阈值或比例，导致这种方法不灵活。
第二种方法是监督学习，将异常检测视为分类问题，其目标是将数据分类为正常或异常。因此，可以应用传统的机器学习和深度学习分类方法来训练分类模型。提出了一些经典的监督学习分类方法。随着标签的提供，与无监督学习方法相比，监督学习方法实现了更好的性能。
由于标签在实际问题中获得的成本通常很高，因此第三种方法-半监督学***面，它将两类标记数据分开并通过数据的低密度区域。
现有方法不能直接用于解决在线疏浚操作异常检测问题。本发明提出的方法受到生成方法的启发。要将真实问题转换为异常检测问题，需要通过特征工程提取一些基本特征。由于直接将其应用于高维数据可能导致性能不佳，本发明在使用生成方法之前通过t-SNE进行降维。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于AIS轨迹数据的船舶作业异常半监督实时检测方法。
根据本发明提供的一种基于AIS轨迹数据的船舶作业异常半监督实时检测方法，包括预处理阶段、离线模型训练阶段以及在线检测阶段；
预处理阶段：使用特征***过滤出作业轨迹，提取行为特征；
离线模型训练阶段：根据预处理阶段得到的作业轨迹的行为特征，对模型参数进行离线训练；
在线检测阶段：执行在线异常检测任务，针对疏浚作业期间潜在的异常行为发出警报。
优选地，所述预处理阶段中的特征包括全局特征和/或实时特征。
优选地，所述全局特征包括以下八个特征中的任一种或任多种组合：
1)一个作业轨迹T的总时间s；
2)一个作业轨迹T的总行驶距离d；
3)船舶在作业区内转向次数nturn；
4)一次作业内驶出作业区域的总次数nout；
5)一次作业内在作业区域外停留总时间tout；
6)一次作业内在作业区域外总行驶距离dout；
7)一次作业内在作业区域外最长停留时间maxt；
8)驶离作业区域后与边界的最大距离maxd。
优选地，所述实时特征包括以下四个特征中的任一种或任多种组合：
1)离开作业区域的时间toutc；
2)离开作业区域的距离doutc；
3)上次离开作业区域的时间tlast；
4)当前速度v。
优选地，所述离线模型训练阶段包括非线性降维的T-SNE模型和/或降维后行为特征建模的概率模型。
优选地，所述T-SNE模型通过计算高维空间中的点的相似性的概率来计算相应的低维空间中的点的相似性的概率，数据点xi与数据点xj的相似性条件概率pj|i满足：
其中S(xi,xj)是xi与xj之间的相似度量函数，i、j、k均为数据点的标号数字；在高维空间中，S(xi,xj)被定义为在低维空间中，S(xi,xj)定义为(1+xi-xj2)-1。
优选地，采用高斯混合模型GMM作为降维后行为特征建模的概率模型；
高斯混合模型GMM用于半监督学习的目标是最大化对数似然，即
其中，log是数学上的对数操作，L(θ)表示损失函数，Pθ表示后验概率；xr和是带标签的样本及其标签，xu是无标签样本，θ是GMM模型参数，包括wi、μi和Σi，分别代表类别i的比例、样本均值和样本协方差。
优选地，采用最大似然算法EM找到最大化logL(θ)的参数θ；最大似然算法EM包含E步骤和M步骤；
在E步骤，计算未标记样本的后验概率Pθ(Ci|xu)，即：
其中，Ci表示类别i，c表示类别总数，xu是无标签样本，θ是GMM模型参数，包括wi、μi和Σi，分别代表类别i的比例、样本均值和样本协方差；
在M步骤，模型参数θ根据其定义更新，即：
其中，N是样本总数，Ni是类别Ci的样本数，xr表示一个样本，xu是无标签样本。wi、μi和Σi，分别代表类别i的比例、样本均值和样本协方差；
重复E步骤和M步骤，直到θ收敛。
根据本发明提供的一种基于AIS轨迹数据的船舶作业异常半监督实时检测方法，包括预处理阶段、离线模型训练阶段以及在线检测阶段；
预处理阶段：在预处理阶段，根据作业区域和淤泥倾倒区的位置，首先将从AIS收集的原始轨迹中划分出多个作业轨迹：对于每个作业轨迹，通过特征***提取并表征作业区域外的点：在预处理后，提取具有12个特征的轨迹点作为下一阶段的训练样本：
离线模型训练阶段：首先，通过t-SNE将原始样本映射到二维空间：同时，训练一个包含三个隐藏层的完全连接的神经网络，在t-SNE之后，映射的数据作为输入并使用最大似然算法EM训练高斯混合模型GMM：高斯混合模型GMM由对应于正常和异常类的两个高斯分布的混合生成：
在线异常检测阶段：在线异常检测阶段的主要目标是实时检测正在进行的疏浚作业的轨迹点pi是否正常：对于作业区域外的点，首先提取实时特征，然后由训练好的神经网络将其映射到二维空间：随后，映射点mi被送入高斯混合模型GMM以获得P(Canomaly|mi)和P(Cnormal|mi)，分别代表mi属于异常和正常类的概率：如果P(Canomaly|mi)大于P(Cnormal|mi)，pi可以被识别为可能发生异常行为：
为了评估一次作业的异常程度，一个作业的异常分值可定义为，
其中，W表示作业区域，表示作业区域外的点，dist(pi,pi-1)表示点pi和pi-1之间的距离：异常分值由每个作业区域外的点的异常值累加而成，该异常值通过异常概率乘以到前一个点的距离来计算。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的基于AIS轨迹数据的船舶作业异常半监督实时检测方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
本发明提出一种作业船舶行为异常实时检测方法，在施工作业管理中实时检测非常关键，因为当实时检测到异常报警时，检查员可以立即前往现场收集证据，这是离线检测方法无法做到的。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的在线清淤作业异常检测框架示意图；
图2为本发明的t-SNE与GMM模型协作关系事宜图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种基于AIS轨迹数据的船舶作业异常半监督实时检测方法，包括预处理阶段、离线模型训练阶段以及在线检测阶段；
预处理阶段：使用特征***过滤出作业轨迹，提取行为特征；
离线模型训练阶段：根据预处理阶段得到的作业轨迹的行为特征，对模型参数进行离线训练；
在线检测阶段：执行在线异常检测任务，针对疏浚作业期间潜在的异常行为发出警报。
具体地，所述预处理阶段中的特征包括全局特征和/或实时特征。所述全局特征包括以下八个特征中的任一种或任多种组合：
1)一个作业轨迹T的总时间s；
2)一个作业轨迹T的总行驶距离d；
3)船舶在作业区内转向次数nturn；
4)一次作业内驶出作业区域的总次数nout；
5)一次作业内在作业区域外停留总时间tout；
6)一次作业内在作业区域外总行驶距离dout；
7)一次作业内在作业区域外最长停留时间maxt；
8)驶离作业区域后与边界的最大距离maxd。
所述实时特征包括以下四个特征中的任一种或任多种组合：
1)离开作业区域的时间toutc；
2)离开作业区域的距离doutc；
3)上次离开作业区域的时间tlast；
4)当前速度v。
所述离线模型训练阶段包括非线性降维的T-SNE模型和/或降维后行为特征建模的概率模型。所述T-SNE模型通过计算高维空间中的点的相似性的概率来计算相应的低维空间中的点的相似性的概率，数据点xi与数据点xj的相似性条件概率pj|i满足：
其中S(xi,xj)是xi与xj之间的相似度量函数，i、j、k均为数据点的标号数字；在高维空间中，S(xi,xj)被定义为在低维空间中，S(xi,xj)定义为(1+xi-xj2)-1。
采用高斯混合模型GMM作为降维后行为特征建模的概率模型；高斯混合模型GMM用于半监督学习的目标是最大化对数似然，即
其中，log是数学上的对数操作，L(θ)表示损失函数，Pθ表示后验概率；xr和是带标签的样本及其标签，xu是无标签样本，θ是GMM模型参数，包括wi、μi和Σi，分别代表类别i的比例、样本均值和样本协方差。
更具体地，采用最大似然算法EM找到最大化logL(θ)的参数θ；最大似然算法EM包含E步骤和M步骤；
在E步骤，计算未标记样本的后验概率Pθ(Ci|xu)，即：
其中，Ci表示类别i，c表示类别总数，xu是无标签样本，θ是GMM模型参数，包括wi、μi和Σi，分别代表类别i的比例、样本均值和样本协方差；
在M步骤，模型参数θ根据其定义更新，即：
其中，N是样本总数，Ni是类别Ci的样本数，xr表示一个样本，xu是无标签样本。wi、μi和Σi，分别代表类别i的比例、样本均值和样本协方差；
重复E步骤和M步骤，直到θ收敛。
根据本发明提供的一种基于AIS轨迹数据的船舶作业异常半监督实时检测方法，包括预处理阶段、离线模型训练阶段以及在线检测阶段；
预处理阶段：在预处理阶段，根据作业区域和淤泥倾倒区的位置，首先将从AIS收集的原始轨迹中划分出多个作业轨迹：对于每个作业轨迹，通过特征***提取并表征作业区域外的点：在预处理后，提取具有12个特征的轨迹点作为下一阶段的训练样本：
离线模型训练阶段：首先，通过t-SNE将原始样本映射到二维空间：同时，训练一个包含三个隐藏层的完全连接的神经网络，在t-SNE之后，映射的数据作为输入并使用最大似然算法EM训练高斯混合模型GMM：高斯混合模型GMM由对应于正常和异常类的两个高斯分布的混合生成：
在线异常检测阶段：在线异常检测阶段的主要目标是实时检测正在进行的疏浚作业的轨迹点pi是否正常：对于作业区域外的点，首先提取实时特征，然后由训练好的神经网络将其映射到二维空间：随后，映射点mi被送入高斯混合模型GMM以获得P(Canomaly|mi)和P(Cnormal|mi)，分别代表mi属于异常和正常类的概率：如果P(Canomaly|mi)大于P(Cnormal|mi)，pi可以被识别为可能发生异常行为：
为了评估一次作业的异常程度，一个作业的异常分值可定义为，
其中，W表示作业区域，表示作业区域外的点，dist(pi,pi-1)表示点pi和pi-1之间的距离：异常分值由每个作业区域外的点的异常值累加而成，该异常值通过异常概率乘以到前一个点的距离来计算。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的基于AIS轨迹数据的船舶作业异常半监督实时检测方法的步骤。
进一步地，结合附图对本发明的优选实施例说明如下：
1.整体架构
受半监督学习中使用的生成方法启发，本发明以概率的方式检测异常疏浚行为，本发明建立了一个概率模型来模拟疏浚行为的分布，并将具有高异常概率的疏浚行为作为异常返回。
利用概率模型检测异常是一种很有前途的方法，因为该模型可以被看作是一种压缩的表示和历史疏浚轨迹的总结。因此，对于一种新的疏浚行为，只需通过概率模型得到正常和异常的概率，而无需查找历史疏浚轨迹，有助于提高检测速度。
图1给出船舶作业异常检测方法框架，主要分为三个阶段：预处理阶段、离线模型训练阶段和在线检测阶段。
·预处理阶段使用特征***过滤出作业轨迹，提取行为特征。
·离线模型训练阶段作为***的关键部分，采用了两种模型：一种是用于非线性降维的T-SNE模型，另一种是用降维后行为特征建模的概率模型，即高斯混合模型(GMM)。根据预处理阶段得到的作业轨迹的行为特征，对两种模型的模型参数进行离线训练。
·在模型参数推断后，执行在线异常检测任务，目的是针对疏浚作业期间潜在的异常行为发出警报。
2.特征***
由于原始AIS信息不能直接用于检测异常行为，因此需要构建一些高级特征来区分这些行为。这些新特征可分为全局特征和实时特征。直观地，提取以表示完整疏浚作业的全局特征用于离线检测异常。当在作业期间检测到异常时，全局特征不可用，因此需要设计实时特征以确保检测方法仍然可以实时识别异常行为。换句话说，全局特征是一个疏浚轨迹的表示，而实时特征描绘了疏浚轨迹中的一个点。
(1)全局特征
全局特征关注于一个作业完成时可以收集的指标。为了更清楚的描述，从AIS数据中提取了以下8个全局特征。
1)一个作业轨迹T的总时间s
2)一个作业轨迹T的总行驶距离d
3)船舶在作业区内转向次数nturn
4)一次作业内驶出作业区域的总次数nout
5)一次作业内在作业区域外停留总时间tout
6)一次作业内在作业区域外总行驶距离dout
7)一次作业内在作业区域外最长停留时间maxt
8)驶离作业区域后与边界的最大距离maxd
(2)实时特征
实时特征主要用于作业期间的在线异常检测。由于作业未完成，因此无法捕获整体信息。尽管如此，从起点到当前点的轨迹可以被视为一次完整作业，用于提前一些实时的统计特征。其它实时特征还包括：
1)离开作业区域的时间toutc
2)离开作业区域的距离doutc
3)上次离开作业区域的时间tlast
4)当前速度v
3.t-SNE特征降维
T分布式随机邻域嵌入(t-SNE)是一种可视化的机器学习算法。它是一种非线性降维技术，非常适合嵌入高维数据，以便在二维或三维的低维空间中进行可视化。t-SNE算法通过计算高维空间中的点的相似性的概率来计算相应的低维空间中的点的相似性的概率。数据点xi与数据点xj的相似性条件概率pj|i
其中S(xi,xj)是xi与xj之间的相似度量函数，i、j、k均为数据点的标号数字。在高维空间中，S(xi,xj)被定义为在低维空间中，S(xi,xj)定义为(1+xi-xj2)-1。然后，t-SNE试图最小化高维和低维空间中这些条件概率之间的差异，以便在较低维空间中完美表示数据点。为了计算条件概率差总和的最小化，t-SNE使用梯度下降方法最小化所有数据点的Kullback-Leibler散度的总和。
t-SNE学习是非参数映射，这意味着它不会学习将数据从较高维度映射到较低维度的显式函数。因此，无法在现有映射中直接嵌入新的点。一种潜在方法是通过直接最小化t-SNE损失函数来训练多变量回归量。或者训练神经网络以适应从原始数据到由t-SNE映射的较低维数据的映射。
本发明利用t-SNE将特征数据的维度从高维空间减小到二维，并通过完全连接的神经网络保留映射。通常，使用t-SNE有两个主要优点。一方面，t-SNE可以帮助可视化提取的特征数据并检查数据是否通常是可分离的。另一方面，映射数据基于它们的相似性更有可能被聚类到某些类中，这有助于训练GMM。
4.GMM
高斯混合模型(GMM)是一个概率模型，其假设所有数据点是由具有未知参数的有限数量的高斯分布的混合生成的。对于半监督学习，GMM是一种生成方法。与监督学习中的GMM不同，GMM用于半监督学习的目标是最大化对数似然，即
log是数学上的对数操作，L(θ)表示损失函数，Pθ表示后验概率。
其中，xr和是带标签的样本及其标签，xu是无标签样本，θ是GMM模型参数，包括wi、μi和Σi，分别代表类别i的比例、样本均值和样本协方差。
最大似然(EM)算法可用于找到最大化logL(θ)的参数θ。与监督学习中使用的初始化不同，EM算法使用标记的样本来初始化每个高斯模型的参数。EM算法包含E步骤和M步骤。
在E步骤，计算未标记样本的后验概率Pθ(Ci|xu)，即，
其中，Ci表示类别i，c表示类别总数，xu是无标签样本，θ是GMM模型参数，包括wi、μi和Σi，分别代表类别i的比例、样本均值和样本协方差。
在M步骤，模型参数θ根据其定义更新，即，
其中，N是样本总数，Ni是类别Ci的样本数，xr表示一个样本，xu是无标签样本。wi、μi和Σi，分别代表类别i的比例、样本均值和样本协方差。
E步骤和M步骤重复，直到θ收敛。
当θ固定时，GMM模型是确定的。因此，对于一个新样本x，很容易计算x属于i类的概率Pθ(Ci|x)。换句话说，当类别被定义为正常或异常时，我们可以容易地获得一个样本正常或异常的概率。
GMM非常适合半监督情况下的异常检测。与无监督异常检测方法相比，GMM能够利用来之不易的标签数据，从而获得更好的性能。与大多数半监督方法相比，GMM能够进行软分配，而不是在进行分类时直接将样本标记为某个类。
5.疏浚作业异常检测流程
(1)预处理
在预处理阶段，根据作业区域和淤泥倾倒区的位置，首先将从AIS收集的原始轨迹中划分出多个作业轨迹。对于每个作业轨迹，通过特征***提取并表征作业区域外的点。在预处理后，提取具有12个特征的轨迹点作为下一阶段的训练样本。
(2)离线模型训练
图2显示了t-SNE和GMM模型间的协作关系。首先，通过t-SNE将原始样本映射到二维空间。同时，训练一个包含三个隐藏层的完全连接的神经网络，每层的单元数量分别是5、5和10，以保持用于新嵌入数据的映射关系。在t-SNE之后，映射的数据作为输入并使用EM算法训练GMM。GMM由对应于正常和异常类的两个高斯分布的混合生成。
(3)在线异常检测
在线异常检测阶段的主要目标是实时检测正在进行的疏浚作业的轨迹点pi是否正常。对于作业区域外的点，首先提取实时特征，然后由训练好的神经网络将其映射到二维空间。随后，映射点mi被送入GMM以获得P(Canomaly|mi)和P(Cnormal|mi)，分别代表mi属于异常和正常类的概率。如果P(Canomaly|mi)大于P(Cnormal|mi)，pi可以被识别为可能发生异常行为。
为了评估一次作业的异常程度，一个作业的异常分值可定义为，
其中，W表示作业区域，表示作业区域外的点，dist(pi,pi-1)表示点pi和pi-1之间的距离。异常分值由每个作业区域外的点的异常值累加而成，该异常值通过异常概率乘以到前一个点的距离来计算。
更进一步地，本发明的技术解决问题是：
对在指定港区实施疏浚作业的船舶，当其驶离作业区域时，实时检测其是正常的避让行为还是异常的淤泥倾倒行为，从而提高工程管理的质量和环境保护的力度。
本发明的技术解决方案为：
本发明建立了一个特征***用来从AIS数据中提取行为特征。此外，还将T-分布随机邻域嵌入(T-SNE)通过神经网络与高斯混合模型(GMM)相结合，以半监督方式训练检测模型。
在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于AIS轨迹数据的船舶作业异常半监督实时检测方法，其特征在于，包括预处理阶段、离线模型训练阶段以及在线检测阶段；
预处理阶段：使用特征***过滤出作业轨迹，提取行为特征；
离线模型训练阶段：根据预处理阶段得到的作业轨迹的行为特征，对模型参数进行离线训练；
在线检测阶段：执行在线异常检测任务，针对疏浚作业期间潜在的异常行为发出警报。
2.根据权利要求1所述的基于AIS轨迹数据的船舶作业异常半监督实时检测方法，其特征在于，所述预处理阶段中的特征包括全局特征和/或实时特征。
3.根据权利要求2所述的基于AIS轨迹数据的船舶作业异常半监督实时检测方法，其特征在于，所述全局特征包括以下八个特征中的任一种或任多种组合：
1)一个作业轨迹T的总时间s；
2)一个作业轨迹T的总行驶距离d；
3)船舶在作业区内转向次数nturn；
4)一次作业内驶出作业区域的总次数nout；
5)一次作业内在作业区域外停留总时间tout；
6)一次作业内在作业区域外总行驶距离dout；
7)一次作业内在作业区域外最长停留时间maxt；
8)驶离作业区域后与边界的最大距离maxd。
4.根据权利要求2所述的基于AIS轨迹数据的船舶作业异常半监督实时检测方法，其特征在于，所述实时特征包括以下四个特征中的任一种或任多种组合：
1)离开作业区域的时间toutc；
2)离开作业区域的距离doutc；
3)上次离开作业区域的时间tlast；
4)当前速度v。
5.根据权利要求1所述的基于AIS轨迹数据的船舶作业异常半监督实时检测方法，其特征在于，所述离线模型训练阶段包括非线性降维的T-SNE模型和/或降维后行为特征建模的概率模型。
6.根据权利要求5所述的基于AIS轨迹数据的船舶作业异常半监督实时检测方法，其特征在于，所述T-SNE模型通过计算高维空间中的点的相似性的概率来计算相应的低维空间中的点的相似性的概率，数据点xi与数据点xj的相似性条件概率pj|i满足：
其中S(xi,xj)是xi与xj之间的相似度量函数，i、j、k均为数据点的标号数字；在高维空间中，S(xi,xj)被定义为在低维空间中，S(xi,xj)定义为(1+xi-xj2)-1。
7.根据权利要求6所述的基于AIS轨迹数据的船舶作业异常半监督实时检测方法，其特征在于，采用高斯混合模型GMM作为降维后行为特征建模的概率模型；
高斯混合模型GMM用于半监督学习的目标是最大化对数似然，即
其中，log是数学上的对数操作，L(θ)表示损失函数，Pθ表示后验概率；xr和是带标签的样本及其标签，xu是无标签样本，θ是GMM模型参数，包括wi、μi和Σi，分别代表类别i的比例、样本均值和样本协方差。
8.根据权利要求7所述的基于AIS轨迹数据的船舶作业异常半监督实时检测方法，其特征在于，采用最大似然算法EM找到最大化logL(θ)的参数θ；最大似然算法EM包含E步骤和M步骤；
在E步骤，计算未标记样本的后验概率Pθ(Ci|xu)，即：
其中，Ci表示类别i，c表示类别总数，xu是无标签样本，θ是GMM模型参数，包括wi、μi和Σi，分别代表类别i的比例、样本均值和样本协方差；
在M步骤，模型参数θ根据其定义更新，即：
其中，N是样本总数，Ni是类别Ci的样本数，xr表示一个样本，xu是无标签样本。wi、μi和Σi，分别代表类别i的比例、样本均值和样本协方差；
重复E步骤和M步骤，直到θ收敛。
9.一种基于AIS轨迹数据的船舶作业异常半监督实时检测方法，其特征在于，包括预处理阶段、离线模型训练阶段以及在线检测阶段；
预处理阶段：在预处理阶段，根据作业区域和淤泥倾倒区的位置，首先将从AIS收集的原始轨迹中划分出多个作业轨迹：对于每个作业轨迹，通过特征***提取并表征作业区域外的点：在预处理后，提取具有12个特征的轨迹点作为下一阶段的训练样本：
离线模型训练阶段：首先，通过t-SNE将原始样本映射到二维空间：同时，训练一个包含三个隐藏层的完全连接的神经网络，在t-SNE之后，映射的数据作为输入并使用最大似然算法EM训练高斯混合模型GMM：高斯混合模型GMM由对应于正常和异常类的两个高斯分布的混合生成：
在线异常检测阶段：在线异常检测阶段的主要目标是实时检测正在进行的疏浚作业的轨迹点pi是否正常：对于作业区域外的点，首先提取实时特征，然后由训练好的神经网络将其映射到二维空间：随后，映射点mi被送入高斯混合模型GMM以获得P(Canomaly|mi)和P(Cnormal|mi)，分别代表mi属于异常和正常类的概率：如果P(Canomaly|mi)大于P(Cnormal|mi)，pi可以被识别为可能发生异常行为：
为了评估一次作业的异常程度，一个作业的异常分值可定义为，
其中，W表示作业区域，表示作业区域外的点，dist(pi,pi-1)表示点pi和pi-1之间的距离：异常分值由每个作业区域外的点的异常值累加而成，该异常值通过异常概率乘以到前一个点的距离来计算。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的基于AIS轨迹数据的船舶作业异常半监督实时检测方法的步骤。
CN201910574738.1A 2019-06-28 2019-06-28 基于ais轨迹数据的船舶作业异常半监督实时检测方法 Active CN110363115B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910574738.1A CN110363115B (zh) 2019-06-28 2019-06-28 基于ais轨迹数据的船舶作业异常半监督实时检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910574738.1A CN110363115B (zh) 2019-06-28 2019-06-28 基于ais轨迹数据的船舶作业异常半监督实时检测方法

Publications (2)

Publication Number Publication Date
CN110363115A true CN110363115A (zh) 2019-10-22
CN110363115B CN110363115B (zh) 2021-10-15

Family

ID=68217566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910574738.1A Active CN110363115B (zh) 2019-06-28 2019-06-28 基于ais轨迹数据的船舶作业异常半监督实时检测方法

Country Status (1)

Country Link
CN (1) CN110363115B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110824142A (zh) * 2019-11-13 2020-02-21 杭州鲁尔物联科技有限公司 一种地质灾害的预测方法、装置及设备
CN110929790A (zh) * 2019-11-26 2020-03-27 山东中创软件工程股份有限公司 一种船舶数据筛选方法及相关装置
CN111339864A (zh) * 2020-02-17 2020-06-26 北京百度网讯科技有限公司 异常行为报警方法和装置
CN111682972A (zh) * 2020-08-14 2020-09-18 支付宝(杭州)信息技术有限公司 更新业务预测模型的方法及装置
CN111785090A (zh) * 2020-06-24 2020-10-16 国家海洋环境监测中心 基于船舶ais航迹数据自动识别违规倾废的方法
CN111931555A (zh) * 2020-06-14 2020-11-13 交通运输部科学研究院 一种利用视频图像识别船舶ais是否开启的方法
CN112395382A (zh) * 2020-11-23 2021-02-23 武汉理工大学 基于变分自编码器的船舶异常航迹数据检测方法和装置
CN112699315A (zh) * 2020-12-30 2021-04-23 中南大学 基于ais数据的船舶异常行为探测方法
CN113326472A (zh) * 2021-05-28 2021-08-31 东北师范大学 一种基于时序多变量数据的模式提取与演化可视分析方法
CN113542697A (zh) * 2021-09-15 2021-10-22 江西省水利科学院 基于深度学习的采砂船自适应监控***的自适应监控方法
CN113935666A (zh) * 2021-12-17 2022-01-14 武汉精装房装饰材料有限公司 基于图像处理的建筑装饰墙面砖异常评估方法
CN114118243A (zh) * 2021-11-18 2022-03-01 中交疏浚技术装备国家工程研究中心有限公司 一种基于航迹数据的耙吸挖泥船施工轨迹识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106218831A (zh) * 2016-07-22 2016-12-14 大连海事大学 一种基于船舶ais轨迹数据获取船舶操纵行为的方法及***
CN108228732A (zh) * 2016-12-14 2018-06-29 公立大学法人首都大学东京 语言存储方法和语言对话***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106218831A (zh) * 2016-07-22 2016-12-14 大连海事大学 一种基于船舶ais轨迹数据获取船舶操纵行为的方法及***
CN108228732A (zh) * 2016-12-14 2018-06-29 公立大学法人首都大学东京 语言存储方法和语言对话***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A. P. DEMPSTER ET AL.: "Maximum likelihood from incomplete data via the em algorithm", 《JOURNAL OF THE ROYAL STATISTICAL SOCIETY》 *
叶敏: "基于轨迹数据挖掘的异常检测方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
邓磊: "基于数据挖掘的船舶航行轨迹异常检测方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110824142B (zh) * 2019-11-13 2022-06-24 杭州鲁尔物联科技有限公司 一种地质灾害的预测方法、装置及设备
CN110824142A (zh) * 2019-11-13 2020-02-21 杭州鲁尔物联科技有限公司 一种地质灾害的预测方法、装置及设备
CN110929790A (zh) * 2019-11-26 2020-03-27 山东中创软件工程股份有限公司 一种船舶数据筛选方法及相关装置
CN111339864A (zh) * 2020-02-17 2020-06-26 北京百度网讯科技有限公司 异常行为报警方法和装置
CN111339864B (zh) * 2020-02-17 2023-11-10 北京百度网讯科技有限公司 异常行为报警方法和装置
CN111931555A (zh) * 2020-06-14 2020-11-13 交通运输部科学研究院 一种利用视频图像识别船舶ais是否开启的方法
CN111931555B (zh) * 2020-06-14 2023-08-08 交通运输部科学研究院 一种利用视频图像识别船舶ais是否开启的方法
CN111785090A (zh) * 2020-06-24 2020-10-16 国家海洋环境监测中心 基于船舶ais航迹数据自动识别违规倾废的方法
CN111682972B (zh) * 2020-08-14 2020-11-03 支付宝(杭州)信息技术有限公司 更新业务预测模型的方法及装置
CN111682972A (zh) * 2020-08-14 2020-09-18 支付宝(杭州)信息技术有限公司 更新业务预测模型的方法及装置
CN112395382A (zh) * 2020-11-23 2021-02-23 武汉理工大学 基于变分自编码器的船舶异常航迹数据检测方法和装置
CN112699315A (zh) * 2020-12-30 2021-04-23 中南大学 基于ais数据的船舶异常行为探测方法
CN112699315B (zh) * 2020-12-30 2023-08-15 中南大学 基于ais数据的船舶异常行为探测方法
CN113326472A (zh) * 2021-05-28 2021-08-31 东北师范大学 一种基于时序多变量数据的模式提取与演化可视分析方法
CN113326472B (zh) * 2021-05-28 2022-07-15 东北师范大学 一种基于时序多变量数据的模式提取与演化可视分析方法
CN113542697A (zh) * 2021-09-15 2021-10-22 江西省水利科学院 基于深度学习的采砂船自适应监控***的自适应监控方法
CN113542697B (zh) * 2021-09-15 2021-12-10 江西省水利科学院 基于深度学习的采砂船自适应监控***的自适应监控方法
CN114118243A (zh) * 2021-11-18 2022-03-01 中交疏浚技术装备国家工程研究中心有限公司 一种基于航迹数据的耙吸挖泥船施工轨迹识别方法
CN113935666A (zh) * 2021-12-17 2022-01-14 武汉精装房装饰材料有限公司 基于图像处理的建筑装饰墙面砖异常评估方法
CN113935666B (zh) * 2021-12-17 2022-03-22 武汉精装房装饰材料有限公司 基于图像处理的建筑装饰墙面砖异常评估方法

Also Published As

Publication number Publication date
CN110363115B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN110363115A (zh) 基于ais轨迹数据的船舶作业异常半监督实时检测方法
Zhang et al. Towards a Convolutional Neural Network model for classifying regional ship collision risk levels for waterway risk analysis
Murray et al. An AIS-based deep learning framework for regional ship behavior prediction
Pan et al. Visual recognition based on deep learning for navigation mark classification
CN106816038B (zh) 一种内河水域异常行为船舶自动识别***及方法
Yetilmezsoy et al. Artificial intelligence-based prediction models for environmental engineering
CN108596030A (zh) 基于Faster R-CNN的声呐目标检测方法
Laxhammar et al. Inductive conformal anomaly detection for sequential detection of anomalous sub-trajectories
CN111368690B (zh) 基于深度学习的海浪影响下视频图像船只检测方法及***
CN105574550A (zh) 一种车辆识别方法及装置
CN109977897A (zh) 一种基于深度学习的船舶特征重识别方法、应用方法及***
CN110097044A (zh) 基于深度学习的一阶段车牌检测识别方法
CN110598693A (zh) 一种基于Faster-RCNN的船牌识别方法
Capizzi et al. A clustering based system for automated oil spill detection by satellite remote sensing
Yan et al. Vessel movement analysis and pattern discovery using density-based clustering approach
Anneken et al. Evaluation and comparison of anomaly detection algorithms in annotated datasets from the maritime domain
Dowden et al. Sea ice classification via deep neural network semantic segmentation
Rong et al. Evaluation of near-collisions in the Tagus River Estuary using a marine traffic simulation model
Toloue et al. Anomalous behavior detection of marine vessels based on Hidden Markov Model
Yildirim et al. Ship detection in optical remote sensing images using YOLOv4 and Tiny YOLOv4
Eljabu et al. Spatial clustering method of historical ais data for maritime traffic routes extraction
Xia Navigational risk analysis based on GIS spatiotemporal trajectory mining: a case study in Nanjing Yangtze River Bridge waters
Zhang et al. A novel ship trajectory clustering analysis and anomaly detection method based on AIS data
Chen et al. The unsupervised method of vessel movement trajectory prediction
Liu Maritime traffic anomaly detection from AIS satellite data in near port regions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant