CN113705502A - 一种融合目标检测和目标跟踪的船舶目标行为理解*** - Google Patents
一种融合目标检测和目标跟踪的船舶目标行为理解*** Download PDFInfo
- Publication number
- CN113705502A CN113705502A CN202111025407.6A CN202111025407A CN113705502A CN 113705502 A CN113705502 A CN 113705502A CN 202111025407 A CN202111025407 A CN 202111025407A CN 113705502 A CN113705502 A CN 113705502A
- Authority
- CN
- China
- Prior art keywords
- ship
- target
- information
- unit
- ship target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 74
- 238000012544 monitoring process Methods 0.000 claims abstract description 67
- 238000004458 analytical method Methods 0.000 claims abstract description 41
- 230000010365 information processing Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000003860 storage Methods 0.000 claims abstract description 12
- 230000002159 abnormal effect Effects 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims description 16
- 238000012800 visualization Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 6
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000013145 classification model Methods 0.000 claims description 3
- 101150080778 INPP5D gene Proteins 0.000 abstract description 206
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 description 40
- 238000007726 management method Methods 0.000 description 18
- 238000007781 pre-processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 230000035772 mutation Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明提供一种融合目标检测和目标跟踪的船舶目标行为理解***，包括：信息采集模块、信息处理模块和管理警报模块；其中信息采集模块用于获取目标内河区域上的船舶监测信息，并将采集到的船舶监测信息传输到信息处理模块；信息处理模块用于根据接收到的船舶监测信息进行船舶目标检测和船舶跟踪处理，获取船舶目标的行为特征信息，并根据获取的行为特征信息对船舶目标进行行为分析处理，获取船舶目标的行为分析结果；管理警报模块用于对船舶监测信息和行为分析结果进行分类存储管理，并当行为分析结果出现异常时，发出相应的警报信息。本发明有助于提高针对内河区域船舶行为分析和管理的智能性、便捷性和可靠性水平。
Description
技术领域
本发明涉及船舶监管技术领域，特别是一种融合目标检测和目标跟踪的船舶目标行为理解***。
背景技术
由于内河道具有支流数量众多，而且分布范围广泛的特点。目前，针对内河道的监管存在技术手段不足、监管人力缺乏等问题，不能针对内河道监管形成全面、有效的管理。
发明内容
针对上述提出的内河道的监管存在技术手段不足、监管人力缺乏得技术问题，本发明旨在提供一种融合目标检测和目标跟踪的船舶目标行为理解***。
本发明的目的采用以下技术方案来实现：
本发明所示一种融合目标检测和目标跟踪的船舶目标行为理解***，包括：信息采集模块、信息处理模块和管理警报模块；其中，
信息采集模块用于获取目标内河区域上的船舶监测信息，并将采集到的船舶监测信息传输到信息处理模块，其中船舶监测信息包括雷达探测数据、船舶目标图像监测数据和船舶AIS数据；
信息处理模块用于根据接收到的船舶监测信息进行船舶目标检测和船舶跟踪处理，获取船舶目标的行为特征信息，并根据获取的行为特征信息对船舶目标进行行为分析处理，获取船舶目标的行为分析结果；
管理警报模块用于对船舶监测信息和行为分析结果进行分类存储管理，并当行为分析结果出现异常时，发出相应的警报信息。
一种实施方式中，船舶AIS数据包括由设置在船舶目标上的AIS***采集的船舶信息、定位信息、速度信息、航行方向和计划航行路径。
一种实施方式中，信息采集模块包括现场视频采集单元、雷达探测单元、VTS单元无线通信单元；其中，
现场视频采集单元用于采集目标内河区域上的船舶目标图像监测数据并传输到无线通信单元；
雷达探测单元用于通过雷达探测技术探测目标内河区域上船舶目标的位置，获取雷达探测数据并传输到无线通信单元；
VTS单元用于接收目标内河区域上船舶AIS***发送的船舶AIS数据并传输到无线通信单元；
无线通信单元用于将接收到的船舶目标图像监测数据、雷达探测数据和船舶AIS数据传输到信息处理模块。
一种实施方式中，信息处理模块包括船舶目标检测单元、船舶目标跟踪单元、船舶分类识别单元和船舶行为分析单元；其中，
船舶目标检测单元，用于基于船舶目标图像监测数据识别图像中存在的船舶目标，并进一步采用目标融合技术，将基于船舶目标图像监测数据识别的船舶目标、雷达探测数据中探测到的船舶目标和船舶AIS数据中所包含的船舶目标，在时间和空间上进行统一校准，识别内河目标区域上的船舶目标并进行船舶标记；
船舶目标跟踪单元，用于基于船舶目标图像监测数据对被标记的船舶目标进行跟踪，同时结合雷达探测数据和AIS数据获取该被标记的船舶目标的运动变化，持续记录该船舶目标的运动轨迹；
船舶分类识别单元，用于从船舶目标图像监测数据中获取被标记的船舶目标图像，并根据获取的船舶目标图像基于船舶分类模型获取船舶目标的分类信息；
船舶行为分析单元，用于针对被标记的船舶目标，根据船舶目标的分类信息和运动轨迹判断船舶目标是否存在异常行为，输出船舶目标的行为分析结果。
一种实施方式中，管理警报模块包括数据库单元、可视化单元和报警单元；其中，
数据库单元用于对船舶监测信息和行为分析结果进行分类存储管理；
可视化单元用于基于目标内河区域的GIS地图信息，将船舶监测信息和行为分析结果整合到GIS地图中进行可视化展示；
报警单元用于当行为分析结果出现异常时，发出相应的警报信息。
本发明的有益效果为：通过信息采集模块采集目标内河区域上的船舶监测信息，并通过信息处理模块针对雷达探测数据、船舶目标图像监测数据和船舶AIS数据进行实时分析，对目标内各区域上的船舶目标进行识别检测和跟踪处理，同时针对船舶目标在内河区域上的行为特征进行分析，判断船舶目标的行为状态；进一步通过管理警报模块针对目标内河区域上的船舶目标数据进行存储、可视化和警报管理，有助于提高针对内河区域船舶行为分析和管理的智能性、便捷性和可靠性水平。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1为本发明一种融合目标检测和目标跟踪的船舶目标行为理解***的示例性实施例框架结构图。
附图标记：
信息采集模块10、信息处理模块20、管理警报模块30。
具体实施方式
结合以下应用场景对本发明作进一步描述。
参见图1所示一种融合目标检测和目标跟踪的船舶目标行为理解***，包括：信息采集模块10、信息处理模块20和管理警报模块30；其中，
信息采集模块10用于获取目标内河区域上的船舶监测信息，并将采集到的船舶监测信息传输到信息处理模块20，其中船舶监测信息包括雷达探测数据、船舶目标图像监测数据和船舶AIS数据；
信息处理模块20用于根据接收到的船舶监测信息进行船舶目标检测和船舶跟踪处理，获取船舶目标的行为特征信息，并根据获取的行为特征信息对船舶目标进行行为分析处理，获取船舶目标的行为分析结果；
管理警报模块30用于对船舶监测信息和行为分析结果进行分类存储管理，并当行为分析结果出现异常时，发出相应的警报信息。
上述实施方式，通过信息采集模块10采集目标内河区域上的船舶监测信息，并通过信息处理模块20针对雷达探测数据、船舶目标图像监测数据和船舶AIS数据进行实时分析，对目标内各区域上的船舶目标进行识别检测和跟踪处理，同时针对船舶目标在内河区域上的行为特征进行分析，判断船舶目标的行为状态；进一步通过管理警报模块30针对目标内河区域上的船舶目标数据进行存储、可视化和警报管理，提高了针对内河区域船舶行为分析和管理的智能性、便捷性和可靠性水平。
其中信息处理模块20和管理警报模块30可以基于智能终端、服务器或者云计算平台等搭建，以满足数据处理以及数据管理的需求。
一种实施方式中，船舶AIS数据包括由设置在船舶目标上的AIS***采集的船舶信息、定位信息、速度信息、航行方向和计划航行路径等。
其中AIS***(船舶自动识别***)能够与设置在岸边的VTS(船舶港***通管理***)单元以及船舶之间交换船位、航速、航向、船名、呼号等船舶信息。VIT单元中设置有AIS基站，能够接收目标内河区域上船舶主动发送的AIS数据。
一种实施方式中，信息采集模块10包括现场视频采集单元、雷达探测单元、VTS单元无线通信单元；其中，
现场视频采集单元用于采集目标内河区域上的船舶目标图像监测数据并传输到无线通信单元；
雷达探测单元用于通过雷达探测技术探测目标内河区域上船舶目标的位置，获取雷达探测数据并传输到无线通信单元；
VTS单元用于接收目标内河区域上船舶AIS***发送的船舶AIS数据并传输到无线通信单元；
无线通信单元用于将接收到的船舶目标图像监测数据、雷达探测数据和船舶AIS数据传输到信息处理模块20。
一种场景中现场视频采集单元包括一个或多个可见光摄像头或者红外热成像摄像头，采集目标内河区域上的船舶目标图像视频流数据。
上述实施方式中，通过搭建基于现场视频采集单元、雷达探测单元和VTS单元的信息采集模块10，能够从多维度对目标内河区域上的船舶目标信息进行采集和探测，有助于第一时间识别目标内河区域上的船舶并进行标记，有助于后续进一步针对识别到的船舶目标进行跟踪记录，以获取及分析船舶在目标内河区域上的行为信息。
一种实施方式中，信息处理模块20包括船舶目标检测单元、船舶目标跟踪单元、船舶分类识别单元和船舶行为分析单元；其中，
船舶目标检测单元，用于基于船舶目标图像监测数据识别图像中存在的船舶目标，并进一步采用目标融合技术，将基于船舶目标图像监测数据识别的船舶目标、雷达探测数据中探测到的船舶目标和船舶AIS数据中所包含的船舶目标，在时间和空间上进行统一校准，识别内河目标区域上的船舶目标并进行船舶标记；其中通过多维数据源的融合方式来对船舶目标进行检测，能够提高船舶目标检测的准确性，同时也有助于提高船舶目标信息(例如定位、速度等)获取的准确性。同时基于多维目标数据源对船舶目标进行检测，也有助于提高船舶异常行为检测的准确性。
船舶目标跟踪单元，用于基于船舶目标图像监测数据对被标记的船舶目标进行跟踪，同时结合雷达探测数据和AIS数据获取该被标记的船舶目标的运动变化，持续记录该船舶目标的运动轨迹；
船舶分类识别单元，用于从船舶目标图像监测数据中获取被标记的船舶目标图像，并根据获取的船舶目标图像基于船舶分类模型获取船舶目标的分类信息；
船舶行为分析单元，用于针对被标记的船舶目标，根据船舶目标的分类信息和运动轨迹判断船舶目标是否存在异常行为，输出船舶目标的行为分析结果。
一种实施方式中，船舶目标检测单元中，基于船舶目标图像监测数据识别图像中存在的船舶目标，包括：对接收到的船舶目标图像监测数据进行分帧，基于深度学习神经网络的目标检测模型来对单帧船舶目标图像进行船舶检测，识别图像中存在的船舶目标，并获取船舶目标在图像中的位置，通过预先标定好的位置信息，分析船舶目标在的实际定位信息。同时针对被识别到的船舶目标进行标记，自船舶目标被标记后，一直采用相同给的标记对该船舶目标进行后续的跟踪和行为分析处理；同时根据船舶目标的标记也在统一校准后在雷达探测数据和AIS数据汇总进行相应的标记。
一种实施方式中，船舶目标跟踪单元中，包括，基于被标记的船舶目标，根据船舶目标的图像监测数据、雷达探测数据和AIS数据中的一种或多种作为基础，对该船舶目标进行跟踪，并记录该船舶目标的运动轨迹(二维坐标点的集合)；
船舶行为分析单元进一步根据船舶目标的运动轨迹进行行为分析和事件检测，通过分析船舶目标的轨迹点数据，基于训练好的船舶行为分析模型，可以判断船舶目标是否经过警戒线或者进入禁入区域，或者是否越过电子围栏，同时也可以判断船舶是否存在无故逗留、聚集、徘徊、速度突变或航向突变等行为，同时基于采集到的轨迹点数据也可以进行不断的自我学习和更新，从而不断适应目标内河区域的监控场景下的船舶行为判断，为目标内河区域的船舶目标行为检测提供了可靠的支撑。
一种实施方式中，信息处理模块20还包括图像数据预处理单元；其中
图像处理预处理单元用于在船舶目标检测单元基于船舶目标图像监测数据识别图像中存在的船舶目标之前，首先对接收到的船舶目标图像监测数据进行预处理，提高船舶目标图像监测数据的质量，并将预处理之后的船舶目标图像监测数据传输到船舶目标检测单元做进一步处理。
针对内河的环境下，通过现场视频采集单元采集的目标内河区域上的船舶目标图像监测数据容易受到摄像头的拍摄角度、水面反射或者内河对岸的强光点等影响，容易导致采集的船舶目标图像监测数据的画面存在不清晰的情况，影响基于船舶目标图像监测数据识别图像中存在的船舶目标的准确度，因此，信息处理模块20特别设置有图像数据预处理单元能够专门针对由现场视频采集单元采集的船舶目标图像监测数据进行预处理，能够有效提高船舶目标图像监测数据的质量和清晰度，为后续船舶目标检测单元进一步基于船舶目标图像监测数据对被标记的船舶目标进行跟踪奠定基础。
一种实施方式中，图像数据预处理单元，对接收到的船舶目标图像监测数据进行预处理，具体包括：
针对当前帧船舶目标图像监测的画面图像，将画面图像从RGB颜色空间准换到HSV颜色空间，分别湖区画面图像的色调分量H，饱和度分量S和明度分量V；
针对获取的明度分量V，检测画面图像中的亮度突异点，其中采用的亮度突异点检测函数为：
式中，Yt(x，y)表示画面图像中像素点(x，y)处的突异特征因子，Vt(x，y)表示当前帧画面图像的明度分量中像素点(x，y)处的明度分量值，Vt-1(x，y)表示前一帧画面图像的明度分量中像素点(x，y)处的明度分量值，
表示当前帧画面图像的明度分量平均值，V1表示设定的明度自变阈值，V2表示设定的明度特征阈值，V3表示设定的明度失真阈值；fct1[Vt(x，y)-Vt-1(x，y)，V1]表示第一检测因子，其中当Vt(x，y)-Vt-1(x，y)＞V1时，fct1[Vt(x，y)-Vt-1(x，y)，V1]＝1，当Vt(x，y)-Vt-1(x，y)≤V1时，fct1[Vt(x，y)-Vt-1(x，y)，V1]＝0；
表示第二检测因子，其中当
时，
当
时，
fct3[Vt(x，y)，V3]表示第三检测因子，其中当Vt(x，y)＞V3时，fct3[Vt(x，y)，V3]＝1，当Vt(x，y)≤V3时，fct3[Vt(x，y)，V3]＝0；
将突异特征因子Yt(x，y)≥3的像素点标记为亮度突异点，并统计画面图像中的亮度突异点集合ΦB；
针对获取的明度分量V进行明度增强处理，其中采用的明度增强函数为：
式中，V′t(x，y)表示明度增强处理后像素点(x，y)的明度分量值，Vt(x，y)表示当前帧画面图像的明度分量中像素点(x，y)处的明度分量值，V4表示设定的明度标准阈值，
表示当前帧画面图像的明度分量平均值，
表示像素点(x，y)的邻域范围内的非亮度突异点的像素点的明度分量平均值，其中当像素点(x，y)的邻域范围内的非亮度突异点的像素点为空集时，则扩大邻域范围；(x，y)∈ΦB表示像素点(x，y)属于亮度突异点集合；
基于明度增强处理后的明度分量V′，以及色调分量H和饱和度分量S进行重构，并重新转换到RGB颜色空间，得到预处理后的当前帧船舶目标图像监测的画面图像。
一种场景中，V1∈[50，100]；V2∈[80，120]；V3∈[210,220]；V4∈[170，210]。
上述实施方式中，针对船舶目标图像监测的画面图像中因收到环境因素影响而产生的突异点情况从而影响船舶目标图像监测的画面图像的清晰度的问题，提出了一种针对船舶目标图像监测的画面图像进行自适应调节的技术方案，能够根据船舶目标图像监测的画面图像的明度分量进行自适应调节，从而从整体和局部对船舶目标图像监测的画面图像进行调节，有助于提高船舶目标图像监测的画面图像的清晰度。
一种实施方式中，管理警报模块30包括数据库单元、可视化单元和报警单元；其中，
数据库单元用于对船舶监测信息和行为分析结果进行分类存储管理；
可视化单元用于基于目标内河区域的GIS地图信息，将船舶监测信息和行为分析结果整合到GIS地图中进行可视化展示；
报警单元用于当行为分析结果出现异常时，发出相应的警报信息。
需要说明的是，在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模块中，也可以是各个单元/模块单独物理存在，也可以是两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件功能单元/模块的形式实现。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当分析，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。
Claims (5)
1.一种融合目标检测和目标跟踪的船舶目标行为理解***，其特征在于，包括：信息采集模块、信息处理模块和管理警报模块；其中，
信息采集模块用于获取目标内河区域上的船舶监测信息，并将采集到的船舶监测信息传输到信息处理模块，其中船舶监测信息包括雷达探测数据、船舶目标图像监测数据和船舶AIS数据；
信息处理模块用于根据接收到的船舶监测信息进行船舶目标检测和船舶跟踪处理，获取船舶目标的行为特征信息，并根据获取的行为特征信息对船舶目标进行行为分析处理，获取船舶目标的行为分析结果；
管理警报模块用于对船舶监测信息和行为分析结果进行分类存储管理，并当行为分析结果出现异常时，发出相应的警报信息。
2.根据权利要求1所述的一种融合目标检测和目标跟踪的船舶目标行为理解***，其特征在于，船舶AIS数据包括由设置在船舶目标上的AIS***采集的船舶信息、定位信息、速度信息、航行方向和计划航行路径。
3.根据权利要求1所述的一种融合目标检测和目标跟踪的船舶目标行为理解***，其特征在于，信息采集模块包括现场视频采集单元、雷达探测单元和VTS单元无线通信单元；其中，
现场视频采集单元用于采集目标内河区域上的船舶目标图像监测数据并传输到无线通信单元；
雷达探测单元用于通过雷达探测技术探测目标内河区域上船舶目标的位置，获取雷达探测数据并传输到无线通信单元；
VTS单元用于接收目标内河区域上船舶AIS***发送的船舶AIS数据并传输到无线通信单元；
无线通信单元用于将接收到的船舶目标图像监测数据、雷达探测数据和船舶AIS数据传输到信息处理模块。
4.根据权利要求3所述的一种融合目标检测和目标跟踪的船舶目标行为理解***，其特征在于，信息处理模块包括船舶目标检测单元、船舶目标跟踪单元、船舶分类识别单元和船舶行为分析单元；其中，
船舶目标检测单元，用于基于船舶目标图像监测数据识别图像中存在的船舶目标，并进一步采用目标融合技术，将基于船舶目标图像监测数据识别的船舶目标、雷达探测数据中探测到的船舶目标和船舶AIS数据中所包含的船舶目标，在时间和空间上进行统一校准，识别内河目标区域上的船舶目标并进行船舶标记；
船舶目标跟踪单元，用于基于船舶目标图像监测数据对被标记的船舶目标进行跟踪，同时结合雷达探测数据和AIS数据获取该被标记的船舶目标的运动变化，持续记录该船舶目标的运动轨迹；
船舶分类识别单元，用于从船舶目标图像监测数据中获取被标记的船舶目标图像，并根据获取的船舶目标图像基于船舶分类模型获取船舶目标的分类信息；
船舶行为分析单元，用于针对被标记的船舶目标，根据船舶目标的分类信息和运动轨迹判断船舶目标是否存在异常行为，输出船舶目标的行为分析结果。
5.根据权利要求4所述的一种融合目标检测和目标跟踪的船舶目标行为理解***，其特征在于，管理警报模块包括数据库单元、可视化单元和报警单元；其中，
数据库单元用于对船舶监测信息和行为分析结果进行分类存储管理；
可视化单元用于基于目标内河区域的GIS地图信息，将船舶监测信息和行为分析结果整合到GIS地图中进行可视化展示；
报警单元用于当行为分析结果出现异常时，发出相应的警报信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111025407.6A CN113705502B (zh) | 2021-09-02 | 一种融合目标检测和目标跟踪的船舶目标行为理解*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111025407.6A CN113705502B (zh) | 2021-09-02 | 一种融合目标检测和目标跟踪的船舶目标行为理解*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113705502A true CN113705502A (zh) | 2021-11-26 |
| CN113705502B CN113705502B (zh) | 2024-08-02 |
Family
ID=
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130093245A (ko) * | 2012-02-14 | 2013-08-22 | (주)지엠티 | 멀티센서와 선박의 운항패턴분석을 통한 밀수의심선박 자동분석시스템 및 그것을 이용한 분석방법 |
| CN103593742A (zh) * | 2013-11-29 | 2014-02-19 | 国家电网公司 | 一种智能变电站二次回路配置控制方法及*** |
| CN107609099A (zh) * | 2017-09-11 | 2018-01-19 | 大连海事大学 | 一种船舶违章取证与信息查询*** |
| CN109460740A (zh) * | 2018-11-15 | 2019-03-12 | 上海埃威航空电子有限公司 | 基于ais与视频数据融合的船舶身份识别方法 |
| CN109831655A (zh) * | 2019-03-21 | 2019-05-31 | 苏州大学 | 基于多摄像头数据融合的船舶环境感知与预警*** |
| CN110728412A (zh) * | 2019-10-23 | 2020-01-24 | 广东海洋大学 | 一种基于无线电传输的船舶航线预警规划的航线信息共享*** |
| CN110867046A (zh) * | 2018-08-27 | 2020-03-06 | 西安唐朝机器人科技有限公司 | 一种基于云计算的智能洗车机视频监控预警*** |
| US20200160061A1 (en) * | 2017-12-11 | 2020-05-21 | Zhuhai Da Hengqin Technology Development Co., Ltd. | Automatic ship tracking method and system based on deep learning network and mean shift |
| US20200184795A1 (en) * | 2018-12-06 | 2020-06-11 | Electronics And Telecommunications Research Institute | Intelligent river inundation alarming system and method of controlling the same |
| CN111899450A (zh) * | 2020-07-24 | 2020-11-06 | 宁波盛洋电子科技有限公司 | 一种监控进出港口船舶并发现危险船舶的方法及*** |
| CN112101158A (zh) * | 2020-09-04 | 2020-12-18 | 四川智海联科技有限公司 | 一种基于深度学习和视觉slam的船舶航行辅助***与方法 |
| CN112307026A (zh) * | 2020-10-29 | 2021-02-02 | 广东海洋大学 | 一种小型船舶航行多源信息实时数据库的建立方法 |
| US20210208550A1 (en) * | 2018-06-12 | 2021-07-08 | Sony Corporation | Information processing apparatus and information processing method |
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130093245A (ko) * | 2012-02-14 | 2013-08-22 | (주)지엠티 | 멀티센서와 선박의 운항패턴분석을 통한 밀수의심선박 자동분석시스템 및 그것을 이용한 분석방법 |
| CN103593742A (zh) * | 2013-11-29 | 2014-02-19 | 国家电网公司 | 一种智能变电站二次回路配置控制方法及*** |
| CN107609099A (zh) * | 2017-09-11 | 2018-01-19 | 大连海事大学 | 一种船舶违章取证与信息查询*** |
| US20200160061A1 (en) * | 2017-12-11 | 2020-05-21 | Zhuhai Da Hengqin Technology Development Co., Ltd. | Automatic ship tracking method and system based on deep learning network and mean shift |
| US20210208550A1 (en) * | 2018-06-12 | 2021-07-08 | Sony Corporation | Information processing apparatus and information processing method |
| CN110867046A (zh) * | 2018-08-27 | 2020-03-06 | 西安唐朝机器人科技有限公司 | 一种基于云计算的智能洗车机视频监控预警*** |
| CN109460740A (zh) * | 2018-11-15 | 2019-03-12 | 上海埃威航空电子有限公司 | 基于ais与视频数据融合的船舶身份识别方法 |
| US20200184795A1 (en) * | 2018-12-06 | 2020-06-11 | Electronics And Telecommunications Research Institute | Intelligent river inundation alarming system and method of controlling the same |
| CN109831655A (zh) * | 2019-03-21 | 2019-05-31 | 苏州大学 | 基于多摄像头数据融合的船舶环境感知与预警*** |
| CN110728412A (zh) * | 2019-10-23 | 2020-01-24 | 广东海洋大学 | 一种基于无线电传输的船舶航线预警规划的航线信息共享*** |
| CN111899450A (zh) * | 2020-07-24 | 2020-11-06 | 宁波盛洋电子科技有限公司 | 一种监控进出港口船舶并发现危险船舶的方法及*** |
| CN112101158A (zh) * | 2020-09-04 | 2020-12-18 | 四川智海联科技有限公司 | 一种基于深度学习和视觉slam的船舶航行辅助***与方法 |
| CN112307026A (zh) * | 2020-10-29 | 2021-02-02 | 广东海洋大学 | 一种小型船舶航行多源信息实时数据库的建立方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11410002B2 (en) | Ship identity recognition method based on fusion of AIS data and video data | |
| CN108062349B (zh) | 基于视频结构化数据及深度学习的视频监控方法和*** | |
| CN108806334A (zh) | 一种基于图像的智能船舶身份识别方法 | |
| CN112166459A (zh) | 基于多相机卷积器***的三维环境建模 | |
| US8948533B2 (en) | Increased quality of image objects based on depth in scene | |
| CN112598733B (zh) | 一种基于多模态数据融合补偿自适应优化的船舶检测方法 | |
| CN112149513A (zh) | 基于深度学习的工业制造现场安全帽佩戴识别***和方法 | |
| CN112637550B (zh) | 多路4k准实时拼接视频的ptz动目标跟踪方法 | |
| CN112927233A (zh) | 一种船用激光雷达与视频联合目标捕捉方法 | |
| CN116309607A (zh) | 基于机器视觉的船艇式智能水上救援平台 | |
| CN116824726A (zh) | 一种校园环境智能巡检方法及*** | |
| US20210312200A1 (en) | Systems and methods for video surveillance | |
| CN114401354A (zh) | 一种面向海上船舶的超视距监控的智能化控制方法及*** | |
| CN113965733A (zh) | 双目视频监控方法、***、计算机设备及存储介质 | |
| CN112926426A (zh) | 基于监控视频的船舶识别方法、***、设备及存储介质 | |
| US9875549B2 (en) | Change detection in video data | |
| CN117274967A (zh) | 一种基于卷积神经网络多模态融合车牌识别算法 | |
| CN111783726A (zh) | 基于人工智能和bim的放牧牲畜离群视频采集方法 | |
| CN113705502A (zh) | 一种融合目标检测和目标跟踪的船舶目标行为理解*** | |
| CN113705502B (zh) | 一种融合目标检测和目标跟踪的船舶目标行为理解*** | |
| CN111382674A (zh) | 一种基于视觉显著性的攻击行为猪的识别方法 | |
| CN115880292B (zh) | 一种海湖面目标探测方法、装置、终端及存储介质 | |
| KR102533709B1 (ko) | 해상 항로 표지의 기상 관측을 위한 영상정보 기반 해무 강도 측정 시스템 | |
| CN117058767B (zh) | 训练场监测方法、设备、存储介质及装置 | |
| CN115482253A (zh) | 运动目标检测方法、装置及周界入侵检测*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |