CN113705503A - 一种基于多模态信息融合的异常行为检测***及方法 - Google Patents
一种基于多模态信息融合的异常行为检测***及方法 Download PDFInfo
- Publication number
- CN113705503A CN113705503A CN202111025975.6A CN202111025975A CN113705503A CN 113705503 A CN113705503 A CN 113705503A CN 202111025975 A CN202111025975 A CN 202111025975A CN 113705503 A CN113705503 A CN 113705503A
- Authority
- CN
- China
- Prior art keywords
- ship
- information
- target
- behavior detection
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 90
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 49
- 230000004927 fusion Effects 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title abstract description 14
- 238000012544 monitoring process Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000002159 abnormal effect Effects 0.000 claims abstract description 26
- 230000009429 distress Effects 0.000 claims description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明提供一种基于多模态信息融合的异常行为检测***及方法，其中该方法包括如下步骤：S1采集目标海域上船舶的AIS报文信息和雷达***的雷达监测信息；S2基于获取的AIS报文信息和雷达监测信息对船舶进行一次异常行为检测处理，得到船舶的一次行为检测结果；S3针对一次行为检测结果为异常的目标船舶，根据该目标船舶的定位信息，进一步采集该目标船舶的视频图像信息；S4根据获取的目标船舶的视频图像信息进行二次行为检测处理，得到该目标船舶的二次行为检测结果。本发明有助于提高船舶监管***对目标海域船舶监管的可靠性。
Description
技术领域
本发明涉及海域监管技术领域，特别是一种基于多模态信息融合的异常行为检测***及方法。
背景技术
目前，针对海域上船舶的监管***，大多依靠由船舶上的应用船舶自动识别***(AIS，Automatic Identification System)传输的AIS数据实现对海域上船舶行为的检测，但是，现有技术中单单依靠AIS数据进行海域船舶分析的技术方案中，当船载AIS设备发生故障无法正常运行、船载AIS被人为关闭、AIS数据不准确、或者船只上没有装载AIS设备的时候，则无法准确对海域上船舶的行为进行分析，影响了船舶监管***的可靠性。
发明内容
针对上述提出的仅依靠AIS数据进行海域船舶分析的技术方案存在可靠性不足的技术问题，本发明旨在提供一种基于多模态信息融合的异常行为检测***及方法。
本发明的目的采用以下技术方案来实现：
第一方面，本发明示出一种基于多模态信息融合的异常行为检测方法，包括：
S1采集目标海域上船舶的AIS报文信息和雷达***的雷达监测信息；
S2基于获取的AIS报文信息和雷达监测信息对船舶进行一次异常行为检测处理，得到船舶的一次行为检测结果；
S3针对一次行为检测结果为异常的目标船舶，根据该目标船舶的定位信息，进一步采集该目标船舶的视频图像信息；
S4根据获取的目标船舶的视频图像信息进行二次行为检测处理，得到该目标船舶的二次行为检测结果。
一种实施方式中，步骤S1具体包括：
接收由目标海域上船舶传输的AIS报文信息，其中AIS报文信息中包含有船舶ID、船舶定位数据；
接收由针对目标海域进行监测的雷达***传输的雷达监测信息，其中雷达监测信息中包含有监测到目标海域上船舶的定位信息。
一种实施方式中，步骤S2具体包括：
S21根据指定时刻的AIS报文信息中的船舶定位数据和雷达监测信息中的船舶定位信息进行定位一致性判断，得到定位一致性判断结果；
S22根据设定时间周期内的AIS报文信息中的船舶定位数据获取第一船舶轨迹数据；根据设定时间周期内的雷达监测信息中对应船舶的定位数据获取第二船舶轨迹数据；根据第一船舶轨迹数据和第二船舶轨迹数据进行轨迹一致性判断，得到轨迹一致性判断结果；
S23当船舶的定位一致性判断结果或轨迹一致性判断结果出现异常时，输出该船舶的一次行为检测结果为异常。
一种实施方式中，步骤S3具体包括：
S31针对一次行为检测结果为异常的目标船舶，根据雷达监测信息获取该目标船舶的定位数据；
S32将目标船舶的定位数据传输到无人机控制***，由无人机控制***指派无人机到达相应的定位现场采集目标船舶的视频图像信息；
S33接收由无人机传输的目标船舶的视频图像信息。
一种实施方式中，步骤S4具体包括：
S41根据获取的目标船舶的视频图像信息，基于训练好的异常行为检测模型进行异常行为识别处理，得到目标船舶的异常行为识别结果。
一种实施方式中，步骤S41包括：
根据获取的目标船舶的视频图像信息，采用训练好的船舶分类识别模型识别船舶的类型
基于获取的目标船舶的船舶类型信息，结合目标船舶的定位数据分析目标船舶是否位于与该目标船舶类型对应的警戒区域内，输出目标船舶的二次行为检测结果。
一种实施方式中，步骤S41包括：
基于获取的目标船舶的视频图像信息，采用训练好的监测模型检测该船舶中是否发出求救标识，输出目标船舶的二次行为检测结果。
第二方面，本发明示出一种基于多模态信息融合的异常行为检测***，包括：
第一采集模块，用于采集目标海域上船舶的AIS报文信息和雷达***的雷达监测信息；
第一分析模块，基于获取的AIS报文信息和雷达监测信息对船舶进行一次异常行为检测处理，得到船舶的一次行为检测结果；
第二采集模块，用于针对一次行为检测结果为异常的目标船舶，根据该目标船舶的定位信息，进一步采集该目标船舶的视频图像信息；
第二分析模块，根据获取的目标船舶的视频图像信息进行二次行为检测处理，得到该目标船舶的二次行为检测结果。
本发明的有益效果为：本发明首先针对船舶的AIS数据进行判断，能够快速筛选出AIS数据存在异常的目标船舶，针对无法根据AIS数据进行行为检测的目标船舶，进一步采用基于视频图像数据的方式来对目标船舶进行行为检测，能够有助于提高船舶监管***对目标海域船舶监管的可靠性。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1为本发明一种基于多模态信息融合的异常行为检测方法的示例性实施例方法流程图；
图2为本发明一种基于多模态信息融合的异常行为检测***的示例性实施例框架结构图。
具体实施方式
结合以下应用场景对本发明作进一步描述。
参见图1实施例所示本发明示出一种基于多模态信息融合的异常行为检测方法，包括：
S1采集目标海域上船舶的AIS报文信息和雷达***的雷达监测信息；
S2基于获取的AIS报文信息和雷达监测信息对船舶进行一次异常行为检测处理，得到船舶的一次行为检测结果；
S3针对一次行为检测结果为异常的目标船舶，根据该目标船舶的定位信息，进一步采集该目标船舶的视频图像信息；
S4根据获取的目标船舶的视频图像信息进行二次行为检测处理，得到该目标船舶的二次行为检测结果。
上述实施方式中，异常行为检测***首先分别获取基于船舶传输的AIS报文信息和针对目标海域范围进行监测的雷达***传输的雷达监测信息，根据获取的AIS报文信息和雷达监测信息对目标海域上的船舶进行一次异常行为检测处理(例如是检测是否根据雷达监测信息检测到的船舶均有对应的AIS报文信息等)，检测船舶传输的AIS报文信息是否准确，得到船舶的一次行为检测结果；针对AIS报文信息出现异常的目标船舶，进一步根据雷达监测信息获取该目标船舶的定位信息，并获取该目标船舶的视频图像信息；基于目标船舶的视频图像信息对目标船舶进行二次行为检测，得到目标船舶的行为检测结果。上述技术方案中，首先针对船舶的AIS数据进行判断，能够快速筛选出AIS数据存在异常的目标船舶，针对无法根据AIS数据进行行为检测的目标船舶，进一步采用基于视频图像数据的方式来对目标船舶进行行为检测，能够有助于提高船舶监管***对目标海域船舶监管的可靠性。
一种场景中，本发明提出的一种基于多模态信息融合的异常行为检测方法和***能够应用于针对目标海域上的船舶进行监管的船舶监管***中。
一种实施方式中，步骤S1具体包括：
接收由目标海域上船舶传输的AIS报文信息，其中AIS报文信息中包含有船舶ID、船舶定位数据；
接收由针对目标海域进行监测的雷达***传输的雷达监测信息，其中雷达监测信息中包含有监测到目标海域上船舶的定位信息。
一种实施方式中，步骤S2具体包括：
S21根据指定时刻的AIS报文信息中的船舶定位数据和雷达监测信息中的船舶定位信息进行定位一致性判断，得到定位一致性判断结果；
一种场景中，根据获取的某个时刻的AIS报文信息中提取船舶的定位数据，同时根据同一时刻的雷达监测信息中检测该定位数据是否监测到对应的船舶出现，若是则得到一致性判断结果为正常，并在雷达监测信息中对该船舶进行身份标识；否则，当在某时刻中的雷达监测信息中监测到某定位中有船舶出现，但是没有获取到同一时刻与该定位对应的AIS报文信息时，则判断定位一致性判断结果为异常，并根据雷达监测信息标记该一致性判断结果为异常的目标船舶。
一种场景中，当雷达监测信息中首次出现某船舶，而该船舶的定位一致性判断结果为正常时，则跳转至步骤S22，并不再对该船舶进行步骤S21的定位一致性判断。
S22根据设定时间周期内的AIS报文信息中的船舶定位数据获取第一船舶轨迹数据；根据设定时间周期内的雷达监测信息中对应船舶的定位数据获取第二船舶轨迹数据；根据第一船舶轨迹数据和第二船舶轨迹数据进行轨迹一致性判断，得到轨迹一致性判断结果；
一种场景中，鉴于不断通过同一时刻对应的AIS报文信息和雷达监测信息来判断进行定位一致性判断，容易出现数据传输或其他因素的影响，导致鲁棒性较低的情况。因此当步骤S21中检测到通过定位一致性判断为正常的船舶后，进一步对该船舶的轨迹数据进行跟踪，即基于针对AIS报文信息获取的第一船舶轨迹数据和基于雷达监测信息获取的第二船舶轨迹数据进行轨迹一致性判断，有助于提高一次行为检测结果的鲁棒性。
一种实施方式中，轨迹一致性判断具体包括：
根据AIS报文信息中的船舶定位数据获取第一船舶轨迹数据GA＝{Da(1),Da(2),…,Da(t),…Da(T)}，其中GA表示设定时间周期内的第一船舶轨迹，Da(t)表示第一船舶轨迹中第t时刻对应的定位数据，其中t＝1,2,…,T，T表示时间周期内第一船舶轨迹定位数据的总数；并根据第一船舶轨迹数据获取相应的速度变化数据VA＝{Va(1),Va(2),…,Va(t),…Va(T)}和航向数据θA＝{θa(1),θa(2)，…,θa(t),…θa(T)}，其中Va(t)和θa(t)分别表示第一船舶轨迹中第t时刻对应速度和航向；
根据雷达监测信息中对应船舶的定位数据获取第二船舶轨迹数据，GL＝{Dl(1),Dl(2),…,Dl(t),…Dl(T)}，其中GL表示设定时间周期内的第二船舶轨迹，Dl(t)表示第二船舶轨迹中第t时刻对应的定位数据；并根据第二船舶轨迹数据获取相应的速度变化数据VL＝{Vl(1),Vl(2)，…,Vl(t),…Vl(T)}和航向数据θL＝{θl(1),θl(2),…,θl(t),…θl(T)}，其中Vl(t)和θl(t)分别表示第二船舶轨迹中第t时刻对应速度和航向；
分别获取第一船舶轨迹和第二船舶轨迹之间的速度偏差
距离偏差
和航向偏差
基于获取的速度偏差、距离偏差和航向偏差进行轨迹一致性判断，其中采用的判断条件函数为：
其中v′表示设定的速度偏差阈值，d′表示设定的距离偏差阈值，θ′表示设定的航向偏差阈值；
若满足上述判断条件函数，则判断轨迹一致性判断结果为正常，否则，则判断轨迹一致性判断结果为异常。
S23当船舶的定位一致性判断结果或轨迹一致性判断结果出现异常时，输出该船舶的一次行为检测结果为异常；当定位一致性判断结果和轨迹一致性判断结果均为正常时，则输出一次行为检测结果为正常。
上述实施方式中，异常行为检测***根据获取的AIS报文信息与通过雷达***监测的雷达监测信息进行比对和一致性分析，对目标海域上的船舶进行一次行为判断，并以此为基础，当存在船舶没有对应的AIS报文数据，或者AIS报文数据与雷达监测信息监测到的船只定位数据没有对应上时(例如是船载AIS设备发生故障无法正常运行、船载AIS被人为关闭、AIS数据不准确、AIS数据被篡改或者船只上没有装载AIS设备等情况)，标记该目标船舶，并对目标船舶进行进一步的行为检测处理。
在一次行为检测结果为正常的情况下，目标海域的船舶正常传输AIS数据到异常行为检测***，异常行为检测***能够根据获取的AIS数据对船舶的行为进行检测：
一种实施方式中，AIS报文信息还包括船舶目的地路径数据、备案记录数据、航速数据、航向数据等。
步骤S2还包括：
S20根据AIS报文信息中的航速数据判断船舶是否出现航速异常(速度太高、速度太低、游荡等)；根据AIS报文信息中的目的地路径数据、行向数据和船舶定位数据判断船舶是否航线异常(非法驶入警戒区域、没有驶向目的地等)；根据AIS报文信息中的备案记录数据判断船舶是否为合法船舶等；
步骤S23还包括：当船舶的航速出现异常、航线出现异常或船舶不合法时，输出该船舶的一次行为检测结果为异常。
一种实施方式中，步骤S3具体包括：
S31针对一次行为检测结果为异常的目标船舶，根据雷达监测信息获取该目标船舶的定位数据；
S32将目标船舶的定位数据传输到无人机控制***，由无人机控制***指派无人机到达相应的定位现场采集目标船舶的视频图像信息；
S33接收由无人机传输的目标船舶的视频图像信息。
其中，异常分析***与无人机控制***相连，通过无人机控制***向指定的目标定位指派无人机进行目标定位的视频图像采集，能够对一次异常检测结果为异常的目标船舶进行进一步的视频图像信息获取，为后续异常分析***根据获取的目标船舶的视频图像数据对目标船舶进行进一步的异常行为检测奠定基础。
其中无人机上装载有定位装置和图像采集装置，能够根据目标船舶的实时定位信息(由雷达监测***获取)，前往指定的地方对目标船舶进行拍摄。
一种实施方式中，步骤S4具体包括：
S41根据获取的目标船舶的视频图像信息，基于训练好的异常行为检测模型进行异常行为识别处理，得到目标船舶的异常行为识别结果。
一种实施方式中，步骤S41包括：
根据获取的目标船舶的视频图像信息，采用训练好的船舶分类识别模型识别船舶的类型
基于获取的目标船舶的船舶类型信息，结合目标船舶的定位数据分析目标船舶是否位于与该目标船舶类型对应的警戒区域内，输出目标船舶的二次行为检测结果。
一种场景中，基于获取的视频图像检测目标船舶的类型(例如船舶的种类(杂货船、散货船、客船、油船、液化气船、化学品船、高速船、超大型船舶、拖轮等)、大小(大型船、中小型船等))，结合目标船舶的定位信息(由雷达监测***获取)，判断该目标船舶是否位于警戒区域(进入区域)内，得到目标船舶的二次行为检测结果，有助于针对偷排、偷捕、非军事船舶进入军事区域等情况进行监测，提高了目标海域船舶监控的可靠性。
一种实施方式中，步骤S41包括：
基于获取的目标船舶的视频图像信息，采用训练好的监测模型检测该船舶中是否发出求救标识，输出目标船舶的二次行为检测结果。
一种场景中，针对在海域上发生故障而导致AIS***无法正常运作发出求救信号的船舶，通过视频图像能够监测到船舶上是否悬挂求救的旗帜，或者夜间是否发出求救的灯光信号等，有助于通过异常行为检测***对被困与海上的船舶进行及时的发现，并及时安排救援工作。
一种实施方式中步骤S4还包括：
S40对获取的目标船舶的视频图像进行预处理，得到预处理后的视频图像；
S41根据预处理后的目标图像，基于训练好的异常行为检测模型进行异常行为识别处理，得到目标船舶的异常行为识别结果。
一种实施方式中，步骤S40对获取的目标船舶的视频图像进行预处理，具体包括：
对获取的视频图像从RGB颜色空间转换到LAB颜色空间，获取视频图像的亮度分量L；
针对获取的亮度分量L，分别针对亮度分量L中各像素点进行亮度增强处理，其中：
当像素点(x,y)的亮度分量值L(x,y)与平均亮度分量值
之差的绝对值小于设定的亮度间隔LT时，即
则采用下列第一亮度增强函数对该像素点(x,y)进行亮度增强处理：
其中，
表示亮度增强处理后像素点(x,y)的亮度分量值；α表示设定的比例因子，其中α∈(0,1)，L′表示设定的标准亮度值，其中L′∈[60,70]；
当像素点(x,y)的亮度分量值L(x,y)与平均亮度分量值
之差的绝对值大于或等于设定的亮度间隔LT时，即
则采用下列第二亮度增强函数对该像素点(x,y)进行亮度增强处理：
式中，β表示设定的比例因子，其中β∈(0,1)，
表示设定的补偿因子，其中
根据亮度增强处理后各像素点的亮度分量值得到亮度增强处理后的亮度分量
基于亮度增强处理后的亮度分量
从LAB颜色空间重新转换到RGB颜色空间，得到亮度增强后的视频图像作为预处理后的视频图像。
上述实施方式，针对海域环境下，容易收到太阳光直射以及海面反光、夜间亮度偏低但水面反光等因素的影响，容易使得采集的目标船舶的视频图像中出现亮度不均匀(例如是出现反光点，或者整体亮度偏高等情况)，从而导致海面上船舶的清晰度受到影响的情况，因此，上述提出了一种针对获取的亮度图像进行亮度增强处理的技术方案，能够适应白天或夜间水面反强光的情况，对图像的整体亮度水平进行和局部亮度水平进行增强调节，提高视频图像的清晰度和目标船舶的对比度，为之后根据视频图像对目标船舶进行进一步的行为检测奠定基础。
同时，参见图2，其示出本发明一种基于多模态信息融合的异常行为检测***，包括：
第一采集模块，用于采集目标海域上船舶的AIS报文信息和雷达***的雷达监测信息；
第一分析模块，基于获取的AIS报文信息和雷达监测信息对船舶进行一次异常行为检测处理，得到船舶的一次行为检测结果；
第二采集模块，用于针对一次行为检测结果为异常的目标船舶，根据该目标船舶的定位信息，进一步采集该目标船舶的视频图像信息；
第二分析模块，根据获取的目标船舶的视频图像信息进行二次行为检测处理，得到该目标船舶的二次行为检测结果。
其中，上述提出的异常行为检测***中的各模块，还用于对应实现上述一种基于多模态信息融合的异常行为检测方法中各实施例对应的方法步骤，本发明在此不重复叙述。
需要说明的是，在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模块中，也可以是各个单元/模块单独物理存在，也可以是两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件功能单元/模块的形式实现。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当分析，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。
Claims (8)
1.一种基于多模态信息融合的异常行为检测方法，其特征在于，包括：
S1采集目标海域上船舶的AIS报文信息和雷达***的雷达监测信息；
S2基于获取的AIS报文信息和雷达监测信息对船舶进行一次异常行为检测处理，得到船舶的一次行为检测结果；
S3针对一次行为检测结果为异常的目标船舶，根据该目标船舶的定位信息，进一步采集该目标船舶的视频图像信息；
S4根据获取的目标船舶的视频图像信息进行二次行为检测处理，得到该目标船舶的二次行为检测结果。
2.根据权利要求1所述的一种基于多模态信息融合的异常行为检测方法，其特征在于，步骤S1具体包括：
接收由目标海域上船舶传输的AIS报文信息，其中AIS报文信息中包含有船舶ID、船舶定位数据；
接收由针对目标海域进行监测的雷达***传输的雷达监测信息，其中雷达监测信息中包含有监测到目标海域上船舶的定位信息。
3.根据权利要求2所述的一种基于多模态信息融合的异常行为检测方法，其特征在于，步骤S2具体包括：
S21根据指定时刻的AIS报文信息中的船舶定位数据和雷达监测信息中的船舶定位信息进行定位一致性判断，得到定位一致性判断结果；
S22根据设定时间周期内的AIS报文信息中的船舶定位数据获取第一船舶轨迹数据；根据设定时间周期内的雷达监测信息中对应船舶的定位数据获取第二船舶轨迹数据；根据第一船舶轨迹数据和第二船舶轨迹数据进行轨迹一致性判断，得到轨迹一致性判断结果；
S23当船舶的定位一致性判断结果或轨迹一致性判断结果出现异常时，输出该船舶的一次行为检测结果为异常。
4.根据权利要求3所述的一种基于多模态信息融合的异常行为检测方法，其特征在于，步骤S3具体包括：
S31针对一次行为检测结果为异常的目标船舶，根据雷达监测信息获取该目标船舶的定位数据；
S32将目标船舶的定位数据传输到无人机控制***，由无人机控制***指派无人机到达相应的定位现场采集目标船舶的视频图像信息；
S33接收由无人机传输的目标船舶的视频图像信息。
5.根据权利要求4所述的一种基于多模态信息融合的异常行为检测方法，其特征在于，步骤S4具体包括：
S41根据获取的目标船舶的视频图像信息，基于训练好的异常行为检测模型进行异常行为识别处理，得到目标船舶的异常行为识别结果。
6.根据权利要求5所述的一种基于多模态信息融合的异常行为检测方法，其特征在于，步骤S41包括：
根据获取的目标船舶的视频图像信息，采用训练好的船舶分类识别模型识别船舶的类型基于获取的目标船舶的船舶类型信息，结合目标船舶的定位数据分析目标船舶是否位于与该目标船舶类型对应的警戒区域内，输出目标船舶的二次行为检测结果。
7.根据权利要求4所述的一种基于多模态信息融合的异常行为检测方法，其特征在于，步骤S41包括：
基于获取的目标船舶的视频图像信息，采用训练好的监测模型检测该船舶中是否发出求救标识，输出目标船舶的二次行为检测结果。
8.一种基于多模态信息融合的异常行为检测***，其特征在于，包括：
第一采集模块，用于采集目标海域上船舶的AIS报文信息和雷达***的雷达监测信息；
第一分析模块，基于获取的AIS报文信息和雷达监测信息对船舶进行一次异常行为检测处理，得到船舶的一次行为检测结果；
第二采集模块，用于针对一次行为检测结果为异常的目标船舶，根据该目标船舶的定位信息，进一步采集该目标船舶的视频图像信息；
第二分析模块，根据获取的目标船舶的视频图像信息进行二次行为检测处理，得到该目标船舶的二次行为检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111025975.6A CN113705503A (zh) | 2021-09-02 | 2021-09-02 | 一种基于多模态信息融合的异常行为检测***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111025975.6A CN113705503A (zh) | 2021-09-02 | 2021-09-02 | 一种基于多模态信息融合的异常行为检测***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113705503A true CN113705503A (zh) | 2021-11-26 |
Family
ID=78657418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111025975.6A Pending CN113705503A (zh) | 2021-09-02 | 2021-09-02 | 一种基于多模态信息融合的异常行为检测***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113705503A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116047986A (zh) * | 2023-03-31 | 2023-05-02 | 山东科技大学 | 一种低通信耦合强度下船舶一致性控制方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100208941A1 (en) * | 2009-02-13 | 2010-08-19 | Broaddus Christopher P | Active coordinated tracking for multi-camera systems |
| GB201207704D0 (en) * | 2012-04-28 | 2012-06-13 | Bae Systems Plc | Abnormal behavour detection |
| CN104660993A (zh) * | 2015-02-09 | 2015-05-27 | 武汉理工大学 | 基于ais和cctv的海事智能监控方法及*** |
| CN106970387A (zh) * | 2017-04-19 | 2017-07-21 | 武汉理工大学 | 一种基于ais与雷达数据融合的内河航道交通流检测方法 |
| WO2019101220A1 (zh) * | 2017-12-11 | 2019-05-31 | 珠海大横琴科技发展有限公司 | 基于深度学习网络和均值漂移的船只自动跟踪方法及*** |
| CN110928967A (zh) * | 2019-11-05 | 2020-03-27 | 厦门北斗通信息技术股份有限公司 | 基于大数据的船舶行为分析方法及*** |
| WO2020098195A1 (zh) * | 2018-11-15 | 2020-05-22 | 上海埃威航空电子有限公司 | 基于ais与视频数据融合的船舶身份识别方法 |
| CN111899450A (zh) * | 2020-07-24 | 2020-11-06 | 宁波盛洋电子科技有限公司 | 一种监控进出港口船舶并发现危险船舶的方法及*** |
| CN112857360A (zh) * | 2021-03-22 | 2021-05-28 | 哈尔滨工程大学 | 一种船舶航行多信息融合方法 |
-
2021
- 2021-09-02 CN CN202111025975.6A patent/CN113705503A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100208941A1 (en) * | 2009-02-13 | 2010-08-19 | Broaddus Christopher P | Active coordinated tracking for multi-camera systems |
| GB201207704D0 (en) * | 2012-04-28 | 2012-06-13 | Bae Systems Plc | Abnormal behavour detection |
| CN104660993A (zh) * | 2015-02-09 | 2015-05-27 | 武汉理工大学 | 基于ais和cctv的海事智能监控方法及*** |
| CN106970387A (zh) * | 2017-04-19 | 2017-07-21 | 武汉理工大学 | 一种基于ais与雷达数据融合的内河航道交通流检测方法 |
| WO2019101220A1 (zh) * | 2017-12-11 | 2019-05-31 | 珠海大横琴科技发展有限公司 | 基于深度学习网络和均值漂移的船只自动跟踪方法及*** |
| WO2020098195A1 (zh) * | 2018-11-15 | 2020-05-22 | 上海埃威航空电子有限公司 | 基于ais与视频数据融合的船舶身份识别方法 |
| CN110928967A (zh) * | 2019-11-05 | 2020-03-27 | 厦门北斗通信息技术股份有限公司 | 基于大数据的船舶行为分析方法及*** |
| CN111899450A (zh) * | 2020-07-24 | 2020-11-06 | 宁波盛洋电子科技有限公司 | 一种监控进出港口船舶并发现危险船舶的方法及*** |
| CN112857360A (zh) * | 2021-03-22 | 2021-05-28 | 哈尔滨工程大学 | 一种船舶航行多信息融合方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116047986A (zh) * | 2023-03-31 | 2023-05-02 | 山东科技大学 | 一种低通信耦合强度下船舶一致性控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3654233A1 (en) | System and method for identifying an object in water | |
| US11079486B2 (en) | Method of verifying a potential detection of a man overboard event and alert verification processing apparatus | |
| CN113361942A (zh) | 海上船舶指挥调度方法、***、计算机设备及存储介质 | |
| CN111163290B (zh) | 一种夜间航行船舶检测并跟踪的方法 | |
| CN113050121A (zh) | 一种船舶导航***和船舶导航方法 | |
| Bloisi et al. | Camera based target recognition for maritime awareness | |
| KR102375677B1 (ko) | 함정 전투체계 지능화 영상처리 시스템 및 방법 | |
| CN111123251B (zh) | 一种雷达的目标对象检测方法及装置 | |
| CN113705503A (zh) | 一种基于多模态信息融合的异常行为检测***及方法 | |
| CN115187936B (zh) | 一种海上平台防登临监控***及方法 | |
| KR101675673B1 (ko) | 돌고래 탐지 시스템장치 및 그 방법 | |
| CN113191266B (zh) | 船舶动力装置远程监控管理方法及*** | |
| CN115496803A (zh) | 一种海上浮标碰撞告警和取证***及方法 | |
| EP4363877A1 (en) | Methods and systems for detecting vessels | |
| KR102558387B1 (ko) | 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법 | |
| CN111812610B (zh) | 一种水上目标监管***、方法、终端设备及存储介质 | |
| CN106952503A (zh) | 一种基于自适应多传感器管理的海上态势感知方法 | |
| TWM603177U (zh) | 基於深度學習之船舶識別邊緣運算裝置 | |
| CN113419075B (zh) | 基于双目视觉的船舶测速方法、***、装置和介质 | |
| CN113192234B (zh) | 船舶动力装置故障检测方法及*** | |
| EP4296991A1 (en) | Detection of a risk of collision with an object in a water area | |
| CN117152530A (zh) | 一种基于多模态信息融合的海面目标跟踪*** | |
| KR20240059205A (ko) | 선박 가이드용 무인비행체와 이를 이용한 선박 가이드 시스템 및 선박 가이드 방법 | |
| CN105785990A (zh) | 基于全景环视的船只停泊***及障碍物识别方法 | |
| KR20230052576A (ko) | 물양장 모니터링 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |