CN112200101B - 基于人工智能的面向海事业务的视频监控与分析方法 - Google Patents

基于人工智能的面向海事业务的视频监控与分析方法 Download PDF

Info

Publication number
CN112200101B
CN112200101B CN202011102923.XA CN202011102923A CN112200101B CN 112200101 B CN112200101 B CN 112200101B CN 202011102923 A CN202011102923 A CN 202011102923A CN 112200101 B CN112200101 B CN 112200101B
Authority
CN
China
Prior art keywords
frame
identification
tracking
target object
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011102923.XA
Other languages
English (en)
Other versions
CN112200101A (zh
Inventor
赵睿
杜红飞
万为东
李超
王华东
赵志明
许宁
路轩轩
徐顺
张曼霞
王鹏
崔敬涛
顾鹏飞
郎亚辉
王文才
柳小涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Zhonggong Design and Research Institute Group Co.,Ltd.
Original Assignee
Henan Provincial Communication Planning and Design Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Provincial Communication Planning and Design Institute Co Ltd filed Critical Henan Provincial Communication Planning and Design Institute Co Ltd
Priority to CN202011102923.XA priority Critical patent/CN112200101B/zh
Publication of CN112200101A publication Critical patent/CN112200101A/zh
Application granted granted Critical
Publication of CN112200101B publication Critical patent/CN112200101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人工智能的面向海事业务的视频监控与分析方法，1，采用识别算法对视频数据源的每一帧识别区中的目标对象进行识别；2，在缓冲区通过标记算法对所述视频数据源的前后帧目标对象进行区分标记，完成同一目标对象不重复标记，确保识别对象的唯一性；3，从视频每一帧中截取识别区，在所述缓冲区内部区域使用追踪算法进行所述识别对象的追踪，追踪目标对象出缓冲区的轨迹，确保在追踪过程中重叠、遮挡、再分开因素的影响下追踪目标对象不错乱，从而得到识别对象的结果；4，记录所述追踪目标对象出识别区的位置，使用该位置对其进行行为分析和统计。本发明充分利用既有内河航道的视频监控设备，极大的节省了设备更换成本。

Description

基于人工智能的面向海事业务的视频监控与分析方法
技术领域
本发明涉及内河航道监控管理领域，尤其是涉及基于人工智能的面向海事业务的视频监控与分析方法。
背景技术
近些年来，随着内河航道日益增长的旅游船只、货运船只、渡运船只以及河道资源开发作业船，每年都引发了数百起水上交通安全事故，造成了数以百计人员伤亡以及不可估量的财产损失，给海事部门监管工作带来了极大的挑战。
为加强对内河航段的通航管控，目前海事部门通常在重点码头采用以船舶自动识别（AIS）、内河甚高频岸船数据通信***（VHF）技术为主，以VTS雷达和闭路电视监控***（CCTV）的航道视频技术手段为辅进行各类船舶的***。船舶自动识别***（AIS）配合全球定位***（GPS）将船位、船速、改变航向率及航向等船舶动态结合船名、呼号、吃水深度及危险货物等船舶静态资料由甚高频（VHF）频道向附近水域船舶及岸台广播，使邻近船舶及岸台能及时掌握附近水面所有船舶的动静态资讯，得以立刻互相通话协调，采取必要避让行动，对船舶安全起到很大帮助。
内河甚高频岸船数据通信***工作在甚高频（VHF）波段，是内河和近海无线电移动业务最主要的通信手段之一，它可以进行船舶遇险、紧急、安全通信和日常业务通信，也是搜救作业、船舶间协调避让、船舶交通服务***的重要通信工具。然而，AIS和VTS雷达在电子巡航的实际应用中也暴露出很多缺陷，无法满足智慧海事监管的业务需求。比如AIS存在信号盲区、很多船只因为各种原因未开或未装AIS、AIS和VTS雷达信息融合不够完善等。最主要表现在于AIS缺乏直观的视觉瞭望和现场情况的把控能力，同时随着海事部门业务需求的不断提升，早期的标清视频监控***在应用过程中也出现了弊端，例如船舶发生超速、超载、随意掉头或者追越时，原有标清摄像机无法提供有效的图像细节，特别是无法看清船名，这给海事监管和执法人员带来了很大的不便。
发明内容
本发明目的在于提供一种基于人工智能的面向海事业务的视频监控与分析方法，以视频手段为主实现船舶跟踪与监控，有效弥补现有船舶定位设备存在的不足。
为实现上述目的，本发明采取下述技术方案：
本发明所述基于人工智能的面向海事业务的视频监控与分析方法，包括下述步骤：
步骤1，采用识别算法对视频数据源的每一帧识别区中的目标对象进行识别，以适用不规则识别区来完成对所述目标对象的完整识别；即：按顺序依次读取视频数据源的每一帧并在每一帧上设定识别区；
步骤2，在缓冲区通过标记算法对所述视频数据源的前后帧目标对象进行区分标记，完成同一目标对象不重复标记，并区分新旧目标对象，确保识别对象的唯一性；即：根据每一帧设定的识别区，按照设定的缩小比例设置缓冲区，缓冲区与识别区中心点重合；
步骤3，在所述缓冲区内部区域使用追踪算法进行所述识别对象的跟踪，追踪目标对象出缓冲区的轨迹，确保在追踪过程中重叠、遮挡、再分开因素的影响下追踪目标对象不错乱；即：从视频每一帧中截取识别区，使用识别算法处理识别区，得到识别对象的结果，具体地：使用OpenCV从视频画面中截取识别区，采用训练好的YOLO识别模型，识别输入模型视频间隔帧中的对象，得出识别对象列表；
YOLO（You Only Look Once）是一种现有的基于深度神经网络的对象识别和定位算法，其最大的特点是运行速度快，可以用于实时***；YOLO的创新点在于改进了区域建议框式检测框架，将候选区和对象识别这两个阶段合二为一，采用了预定义的候选区；将全图进行分割，每个部分负责中心在该部分的目标检测，一次性预测各个部分所含目标的候选框、定位置信度以及所有类别概率向量；去掉候选区后，YOLO的结构包括卷积、池化和最后两层全连接层；最大的差异是最后输出层用线性函数做激活函数，用来预测候选框的位置和对象的概率，YOLO目标检测步骤如下：
步骤3.1，读取第
Figure 100002_DEST_PATH_IMAGE002
帧图像，调用Resize函数（调整图片大小的函数）进行操作调整图像大小，将图像分成
Figure DEST_PATH_IMAGE003
个网格；
步骤3.2，使用卷积神经网络对图像进行特征抽取；
步骤3.3，预测目标的位置、类别：如果某个目标对象的中心落在某网格中，则该网格就负责预测这个目标对象；每个网格要预测
Figure 100002_DEST_PATH_IMAGE004
个候选框中的
Figure DEST_PATH_IMAGE005
、置信度和
Figure 100002_DEST_PATH_IMAGE006
的类别；输出大小为
Figure DEST_PATH_IMAGE007
的张量；
Figure 328594DEST_PATH_IMAGE008
为划分网格数，
Figure DEST_PATH_IMAGE009
为每个网格负责的边框个数，
Figure 711647DEST_PATH_IMAGE010
为类别个数；每个网格会对应
Figure 897909DEST_PATH_IMAGE004
个边界框，边界框的宽高范围为全图，表示以该网格为中心寻找物体的边界框位置；每个边界框对应一个分值，代表该处是否有物体及定位准确度：
Figure DEST_PATH_IMAGE011
，每个网格对应
Figure 27539DEST_PATH_IMAGE012
个概率值，找出最大概率对应的类别
Figure DEST_PATH_IMAGE013
，并认为网格中包含该物体或者该物体的一部分；每个网格对应的
Figure 186119DEST_PATH_IMAGE014
维向量中包含的信息如下：
1、
Figure DEST_PATH_IMAGE015
个对象分类的概率，可以记为：
Figure 477423DEST_PATH_IMAGE016
；
Figure DEST_PATH_IMAGE017
表示该网格存在对象
Figure 354243DEST_PATH_IMAGE018
的概率；
2、
Figure DEST_PATH_IMAGE019
个候选框的位置信息包含中心点
Figure 348217DEST_PATH_IMAGE020
坐标、
Figure DEST_PATH_IMAGE021
坐标、候选框宽度w、候选框高度h(Center_x,Center_y,width,height)，
Figure 751517DEST_PATH_IMAGE022
个候选框共需要
Figure DEST_PATH_IMAGE023
个数值来表示其位置；
3、
Figure 89089DEST_PATH_IMAGE024
个候选框的置信度候选的置信度公式为：
Figure DEST_PATH_IMAGE025
；
Figure 984363DEST_PATH_IMAGE026
表示为目标对象的置信度；
Figure DEST_PATH_IMAGE027
是候选框内存在对象的概率，区别于
Figure 334092DEST_PATH_IMAGE028
；
Figure DEST_PATH_IMAGE029
体现了预测的候选框与真实目标选框的接近程度；
4、遍历得分，排除得分较低与重叠度较高的对象，输出预测对象；
步骤4，记录所述追踪目标对象出识别区的位置，使用该位置对其进行行为分析和统计。
本发明以内河通航水域中已有的视频监控设备，包含以港口、码头为主的岸基视频监控设备以及船舱内的视频监控设备，依托大数据、云计算、人工智能、机器学习等技术，实现面向海事业务的自动化视频监控与统计分析。具体应用领域包括船舶识别、船舶跟踪、船舶运行轨迹监控、港口船舶进出港统计以及船上人员行为分析等。
本发明一方面解决了以往视频监控设备仅支持远程查看，无法通过自动化方式完成相关海事监管业务，而传统人工手段不仅耗时耗力，无法及时处置突发应急事件等问题；另一方面解决了软硬件捆绑的问题，实现了软硬件的分离，可充分利用既有内河航道的视频监控设备，极大的节省了设备更换成本。
附图说明
图1是本发明的流程图。
图2 是本发明所述YOLO算法流的流程图。
图3是本发明所述KCF滤波算法的流程图。
图4是本发明所述在每一帧上设定识别区的示意图。
图5是本发明在所述识别区内设置缓冲区的示意图。
图6是本发明实施例步骤3.5中判定新、旧对象的示意图。
图7是本发明实施例步骤3.6中对象穿越缓冲区的示意图。
图8是本发明实施例步骤3.7中追踪对象位置触发缓冲区的示意图。
图9是本发明实施例步骤4中追踪对象判定行为的示意图。
具体实施方式
下面结合附图对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述实施例。
本发明所述基于人工智能的面向海事业务的视频监控与分析方法，以内河通航水域中已有的视频监控设备，包含以港口、码头为主的岸基视频监控设备以及船舱内的视频监控设备，依托大数据、云计算、人工智能、机器学习等技术，实现面向海事业务的自动化视频监控与统计分析。如图1所示，步骤如下：
步骤1，采用识别算法对视频数据源的每一帧识别区中的目标对象进行识别，以适用不规则识别区来完成对目标对象的完整识别；即：按顺序依次读取视频数据源的每一帧并在每一帧上设定识别区1，如图4所示；
步骤2，在缓冲区2通过标记算法对视频数据源的前后帧目标对象进行区分标记，完成同一目标对象不重复标记，并区分新旧目标对象，确保识别对象的唯一性；即：根据每一帧设定的识别区1，按照设定的缩小比例（例如95%）设置缓冲区2，缓冲区2如图5阴影区域所示，缓冲区2与识别区1中心点重合；设置缓冲区2目的是：1、消除运动对象在识别区1不断变化下的影响；2、区分新旧对象，以便标记对象或更新对象；
步骤3，从视频每一帧中截取识别区1，使用识别算法处理识别区，得到识别对象的结果，即：使用OpenCV从视频画面中截取识别区1，采用训练好的YOLO识别模型，识别输入模型视频间隔帧中的对象，得出识别对象列表；具体步骤如下：
步骤3.1，如图2所示，YOLO目标检测的步骤：
步骤3.1.1，读取第
Figure 732843DEST_PATH_IMAGE030
帧图像，进行调用
Figure DEST_PATH_IMAGE031
函数操作调整图像大小，将图像分成
Figure 631529DEST_PATH_IMAGE032
个网格；
步骤3.1.2，使用卷积神经网络对图像进行特征抽取；
步骤3.1.3，预测目标的位置、类别：如果某个目标对象的中心落在这个网格中，则这个网格就负责预测这个目标对象；每个网格要预测
Figure DEST_PATH_IMAGE033
个候选框中的
Figure 482942DEST_PATH_IMAGE034
、置信度和
Figure DEST_PATH_IMAGE035
的类别；输出大小为
Figure 99343DEST_PATH_IMAGE036
的张量；
Figure DEST_PATH_IMAGE037
为划分网格数，
Figure 477235DEST_PATH_IMAGE038
为每个网格负责的边框个数，
Figure DEST_PATH_IMAGE039
为类别个数；每个网格会对应
Figure 687768DEST_PATH_IMAGE040
个边界框，边界框的宽高范围为全图，表示以该网格为中心寻找物体的边界框位置；每个边界框对应一个分值，代表该处是否有物体及定位准确度：
Figure DEST_PATH_IMAGE041
，每个网格对应
Figure 698580DEST_PATH_IMAGE042
个概率值，找出最大概率对应的类别
Figure DEST_PATH_IMAGE043
，并认为网格中包含该物体或者该物体的一部分；每个网格对应的
Figure 643972DEST_PATH_IMAGE044
维向量中包含的信息如下：
1，
Figure DEST_PATH_IMAGE045
个对象分类的概率，可以记为：
Figure 610791DEST_PATH_IMAGE046
，
Figure DEST_PATH_IMAGE047
为该网格存在对象
Figure 461066DEST_PATH_IMAGE048
的概率；
2，
Figure DEST_PATH_IMAGE049
个候选框的位置信息包含中心点
Figure 146125DEST_PATH_IMAGE050
坐标、
Figure DEST_PATH_IMAGE051
坐标、候选框宽度w、候选框高度h(Center_x,Center_y,width,height)，
Figure 107259DEST_PATH_IMAGE052
个候选框共需要
Figure DEST_PATH_IMAGE053
个数值来表示其位置；
3，
Figure 663006DEST_PATH_IMAGE054
个候选框的置信度：
候选框的置信度公式为：
Figure DEST_PATH_IMAGE055
；
Figure 212411DEST_PATH_IMAGE056
表示为目标对象的置信度；
Figure DEST_PATH_IMAGE057
表示目标是
Figure 119187DEST_PATH_IMAGE058
的概率；
Figure DEST_PATH_IMAGE059
体现了预测的候选框与真实候选框的接近程度；
步骤3.1.4，遍历得分，排除得分较低与重叠度较高的对象，输出预测对象；
步骤3.2，YOLO算法的损失函数：
YOLO算法将目标检测看成回归问题，采用均方差损失函数，但对不同的部分采用不同的权重值；首先区分定位误差和分类误差，对于定位误差，即边界框坐标预测误差，采用较大的，然后区分不包含目标的边界框与含有目标的边界框的置信度，对于前者，采用较小的权重值
Figure 743067DEST_PATH_IMAGE060
，其它权重值均设为1；然后采用均方误差，其同等对待大小不同的边界框，将网络边界框宽、高的预测改为对其平方根的预测，即预测值变为
Figure DEST_PATH_IMAGE061
；对于分类误差意味着存在对象的网格才计入误差；误差公式如下：
Figure 559844DEST_PATH_IMAGE062
坐标预测误差：
Figure DEST_PATH_IMAGE063
；
Figure 142135DEST_PATH_IMAGE064
目标对象存在时的权重值；
Figure DEST_PATH_IMAGE065
为累加操作；
Figure 414503DEST_PATH_IMAGE066
为候选框中心点
Figure DEST_PATH_IMAGE067
坐标，
Figure 842073DEST_PATH_IMAGE068
为候选框中心点
Figure DEST_PATH_IMAGE069
坐标的傅里叶变换；
Figure DEST_PATH_IMAGE071
为候选框中心点的
Figure 778937DEST_PATH_IMAGE072
坐标，
Figure DEST_PATH_IMAGE073
为候选框中心点
Figure 407495DEST_PATH_IMAGE074
坐标傅里叶变换值的平方；
Figure DEST_PATH_IMAGE075
为候选框宽的开方值，
Figure 23284DEST_PATH_IMAGE076
为候选框宽的傅里叶变换开方值；
Figure DEST_PATH_IMAGE077
为候选框高的开方值，
Figure 254545DEST_PATH_IMAGE078
为候选框高的傅里叶变换开方值；
Figure DEST_PATH_IMAGE079
为依次对每个预测框与各个网格做累加；
Figure 777406DEST_PATH_IMAGE080
表示网格
Figure DEST_PATH_IMAGE081
中的第
Figure 904762DEST_PATH_IMAGE082
个预测框中存在对象，当该对象存在时求坐标与其傅里叶变换之间的差，依次对每个预测框与各个网格做累加，其结果与权重值相乘得到坐标的预测误差，即
Figure DEST_PATH_IMAGE083
，边框的宽w、高h误差
Figure 273427DEST_PATH_IMAGE084
同上；
Figure DEST_PATH_IMAGE085
含有目标对象的候选框的置信度误差：
Figure 42799DEST_PATH_IMAGE086
Figure DEST_PATH_IMAGE087
表示网格
Figure 423096DEST_PATH_IMAGE088
中的第
Figure DEST_PATH_IMAGE089
个预测框中存在对象，
Figure 252512DEST_PATH_IMAGE090
为第
Figure DEST_PATH_IMAGE091
个对象；
Figure 857542DEST_PATH_IMAGE092
为第
Figure DEST_PATH_IMAGE093
个对象傅里叶变换值的平方；
Figure 305972DEST_PATH_IMAGE094
为依次对每个预测框与各个网格做累加；
当该对象存在时
Figure DEST_PATH_IMAGE095
与其傅里叶变换平方的差，依次对每个预测框与各个网格做累加，计算含有目标对象的候选框的置信度误差；
不含目标对象的候选框的置信度误差：
Figure 71934DEST_PATH_IMAGE096
Figure DEST_PATH_IMAGE097
表示网格
Figure 337830DEST_PATH_IMAGE098
中的第
Figure DEST_PATH_IMAGE099
个预测框中不存在对象；
Figure 149928DEST_PATH_IMAGE100
为不存在对象时的权重值；
Figure DEST_PATH_IMAGE101
为第
Figure 664699DEST_PATH_IMAGE102
个对象，
Figure DEST_PATH_IMAGE103
为第
Figure 878642DEST_PATH_IMAGE104
个对象的傅里叶变换值；
Figure DEST_PATH_IMAGE105
为依次对每个预测框与各个网格做累加；
Figure 190806DEST_PATH_IMAGE106
类别预测误差：
Figure DEST_PATH_IMAGE107
Figure 490200DEST_PATH_IMAGE108
为第
Figure DEST_PATH_IMAGE109
个网格中存在对象；
Figure 670646DEST_PATH_IMAGE110
该对象为某一类的概率；
Figure DEST_PATH_IMAGE111
该对象为某一类概率值傅里叶变换的平方；
Figure 614462DEST_PATH_IMAGE112
为在所有类别上做累加，
Figure DEST_PATH_IMAGE113
为每个网格做累加；
通过
Figure 959512DEST_PATH_IMAGE114
与其傅里叶变换的平方做差，其次做累加运算来计算类别预测误差；
步骤3.3，YOLO网络的训练：
在训练之前，首先在ImageNet（图像训练集）上进行了预训练，其预训练的分类模型采用前53个卷积层，并添加5个池化层和全连接层；网络的测试，每个候选框的
Figure DEST_PATH_IMAGE115
（目标边框类的相关置信度得分）
Figure 746202DEST_PATH_IMAGE116
；计算得到每个
Figure DEST_PATH_IMAGE117
的
Figure 340126DEST_PATH_IMAGE118
（目标边框类的相关置信度得分）以后，设置阈值，滤掉得分低的候选框，对保留的候选框进行NMS（非极大值抑制）处理，得到最终的检测结果；
步骤3.4，标记算法，对上面识别对象列表进行处理，判定是否是新对象，判定方法使用优化的IOU（交并比，
Figure DEST_PATH_IMAGE119
）计算新对象区域、缓冲区2与已有对象列表的区域重叠的占比，若大于等于阈值，则不是新对象，若小于阈值，则是新对象；阈值由对缓存区2与新旧对象交集求交并比，一般阈值取值在0.5以上；具体算法步骤如下：
假定识别框A的左上顶点和右下顶点的坐标分为
Figure 263082DEST_PATH_IMAGE120
，
Figure DEST_PATH_IMAGE121
,识别框
Figure 41682DEST_PATH_IMAGE122
的左上顶点和右下顶点的坐标分为
Figure DEST_PATH_IMAGE123
,
Figure 315669DEST_PATH_IMAGE124
；为方便理解，将识别框用算法语言来描述：把坐标转化为矩阵，
Figure DEST_PATH_IMAGE125
、
Figure 444774DEST_PATH_IMAGE126
计算出矩阵
Figure DEST_PATH_IMAGE127
（整数值），若
Figure 753396DEST_PATH_IMAGE128
矩阵中整数值数值小于0，则识别框没有相交；若
Figure DEST_PATH_IMAGE129
矩阵中整数值数值大于0，则对矩阵进行变换相乘；
Figure 578264DEST_PATH_IMAGE130
Figure DEST_PATH_IMAGE131
；
Figure 73967DEST_PATH_IMAGE132
；
根据识别对象大小及经过测算阈值设置为0.5；
步骤3.5，如图6所示，判断新旧对象：若是新对象，则进行标记、创建***、记录ID、初始位置等信息；若不是新对象，则更新已有对象***中的初始位置；
步骤3.6，追踪算法：如图7所示，对象穿越缓冲区2则使用追踪算法，时刻记录该对象3的位置，KCF(Kernel Correlation Filter)滤波算法，主要解决多对象追踪重叠问题；
KCF是一种鉴别式追踪方法，这类方法一般都是在追踪过程中训练一个目标检测器，使用目标检测器去检测下一帧预测位置是否是目标，然后再使用新检测结果去更新训练集进而更新目标检测器；训练目标检测器时一般选取目标区域为正样本，目标的周围区域为负样本，越靠近目标的区域为正样本的可能性越大；如图3所示，步骤如下：
步骤3.6.1，在
Figure DEST_PATH_IMAGE133
帧中，在当前位置
Figure 134327DEST_PATH_IMAGE134
附近采样，训练一个回归器，这个回归器能计算一个小窗口采样的响应；
步骤3.6.2，在
Figure DEST_PATH_IMAGE135
帧中，在前一帧位置
Figure 31876DEST_PATH_IMAGE136
附近采样，用前述回归器判断每个采样的响应；
步骤3.6.3，响应最强的采样作为本帧位置
Figure DEST_PATH_IMAGE137
：
用到的矩阵算法:有循环矩阵傅氏空间对角化、傅氏对角化简化的岭回归、核空间岭回归；循环矩阵傅氏对角化公式：
Figure 753276DEST_PATH_IMAGE138
；
Figure DEST_PATH_IMAGE139
是循环矩阵；
Figure 267434DEST_PATH_IMAGE140
是原向量
Figure DEST_PATH_IMAGE141
的傅里叶变换；
Figure 865906DEST_PATH_IMAGE142
是傅里叶变换矩阵；
上标
Figure DEST_PATH_IMAGE143
表示共轭转置：
Figure 493328DEST_PATH_IMAGE144
，换句话说，
Figure DEST_PATH_IMAGE145
相似于对角阵；
岭回归公式为：
Figure 784632DEST_PATH_IMAGE146
；
Figure DEST_PATH_IMAGE147
:回归系数矩阵；
Figure 254927DEST_PATH_IMAGE148
:正则化力度；
Figure DEST_PATH_IMAGE149
为特征矩阵；
Figure 795105DEST_PATH_IMAGE150
为目标变量矩阵；
Figure DEST_PATH_IMAGE151
正则化的线性最小二乘法。
步骤3.7，如图8所示，被追踪对象4位置触发缓冲区2时，时刻对该对象4进行监测，并比对其位置是否已经离开识别区2；
步骤3.8，当被追踪对象4离开缓冲区2后，销毁相应ID追踪器，根据初始区域与离开区域的方位关系，进而判定出被追踪对象4行为，进行分类统计输出到屏幕，并存储到数据库；
假定识别框A的左上顶点和右下顶点的坐标分为
Figure 667247DEST_PATH_IMAGE152
，识别框
Figure DEST_PATH_IMAGE153
的左上顶点和右下顶点的坐标分为
Figure 270397DEST_PATH_IMAGE154
,
Figure DEST_PATH_IMAGE155
；为方便理解，将识别框用算法逻辑来描述：
把坐标转化为矩阵，
Figure 227989DEST_PATH_IMAGE156
；
根据识别框的坐标分别求出质心位置
Figure DEST_PATH_IMAGE157
；
Figure 168263DEST_PATH_IMAGE158
；虚线位置为识别区中线，同样可以计算出中线位置
Figure DEST_PATH_IMAGE159
；忽略
Figure 35856DEST_PATH_IMAGE160
坐标的影响，即判定
Figure DEST_PATH_IMAGE161
的位置
Figure 671893DEST_PATH_IMAGE162
；
步骤4，记录追踪目标对象出识别区1的位置，使用该位置对其进行行为分析和统计；如图9所示，步骤如下：
步骤4.1，起始质心和离开质心都在虚线5左侧则为出港折返目标对象6；
步骤4.2，起始质心在虚线5左侧且离开质心在虚线5右侧则为出港目标对象7；
步骤4.3，起始质心和离开质心都在虚线5右侧，则为入港折返目标对象8；
步骤4.4，起始质心在虚线5右侧且离开质心在虚线5左侧则为入港目标对象9。

Claims (2)

1.一种基于人工智能的面向海事业务的视频监控与分析方法，其特征在于：包括下述步骤：
步骤1，采用识别算法对视频数据源的每一帧识别区中的目标对象进行识别，以适用不规则识别区来完成对所述目标对象的完整识别；即：按顺序依次读取视频数据源的每一帧并在每一帧上设定识别区；
步骤2，在缓冲区通过标记算法对所述视频数据源的前后帧目标对象进行区分标记，完成同一目标对象不重复标记，并区分新旧目标对象，确保识别对象的唯一性；根据每一帧设定的识别区，按照设定的缩小比例设置缓冲区，缓冲区在识别区内，且与识别区中心点重合；
步骤3，从视频每一帧中截取识别区，在所述缓冲区内部区域使用追踪算法进行所述识别对象的追踪，追踪目标对象出缓冲区的轨迹，确保在追踪过程中重叠、遮挡、再分开因素的影响下追踪目标对象不错乱，从而得到识别对象的结果；
步骤4，记录所述追踪目标对象出识别区的位置，使用该位置对其进行行为分析和统计。
2.根据权利要求1所述基于人工智能的面向海事业务的视频监控与分析方法，其特征在于：步骤3中，使用追踪算法进行所述识别对象的跟踪，步骤如下：
步骤3.1，读取第P帧图像，调用Resize函数操作调整图像大小，将图像分成
Figure DEST_PATH_IMAGE002
个网格；
步骤3.2，使用卷积神经网络对图像进行特征抽取；
步骤3.3，预测目标的位置、类别：如果某个目标对象的中心落在某个所述网格中，则该网格就负责预测这个目标对象；每个网格要预测
Figure DEST_PATH_IMAGE004
个候选框中的
Figure DEST_PATH_IMAGE006
、置信度和类别；输出大小为
Figure DEST_PATH_IMAGE008
的张量；
Figure DEST_PATH_IMAGE010
为划分网格数，
Figure DEST_PATH_IMAGE012
为每个网格负责的边框个数，
Figure DEST_PATH_IMAGE014
为类别个数；每个网格对应
Figure DEST_PATH_IMAGE016
个边界框，所述边界框的宽高范围为全图，表示以该网格为中心寻找物体的边界框位置；每个边界框对应一个分值，代表该处是否有物体及定位准确度；
每个网格对应
Figure DEST_PATH_IMAGE018
个概率值，找出最大概率对应的类别
Figure DEST_PATH_IMAGE020
，其中
Figure DEST_PATH_IMAGE022
为
Figure DEST_PATH_IMAGE024
对象在
Figure DEST_PATH_IMAGE026
条件下出现的概率，并认为网格中包含该物体或者该物体的一部分；
每个网格对应的
Figure DEST_PATH_IMAGE028
维向量中包含的信息如下：
1、
Figure DEST_PATH_IMAGE030
个对象分类的概率，可以记为：
Figure DEST_PATH_IMAGE032
，
Figure DEST_PATH_IMAGE034
表示该网格存在对象
Figure DEST_PATH_IMAGE036
的概率；
2、
Figure DEST_PATH_IMAGE038
个候选框的位置信息包含中心点
Figure DEST_PATH_IMAGE040
坐标、
Figure DEST_PATH_IMAGE042
坐标、候选框宽度w、候选框高度h，
Figure DEST_PATH_IMAGE044
个候选框共需要
Figure DEST_PATH_IMAGE046
个数值来表示其位置；
3、
Figure DEST_PATH_IMAGE048
个候选框的置信度候选框的置信度公式为：
Figure DEST_PATH_IMAGE050
；
Figure DEST_PATH_IMAGE052
表示为目标对象的置信度；
Figure DEST_PATH_IMAGE054
表示目标是
Figure DEST_PATH_IMAGE056
的概率；
Figure DEST_PATH_IMAGE058
表示真实位置和预测位置的交叉比；
Figure DEST_PATH_IMAGE060
是候选框内存在对象的概率，区别于
Figure DEST_PATH_IMAGE062
，
Figure DEST_PATH_IMAGE064
体现了预测的候选框与真实目标选框的接近程度；
4、遍历所有得分，排除得分较低与重叠度较高的对象，输出预测对象。
CN202011102923.XA 2020-10-15 2020-10-15 基于人工智能的面向海事业务的视频监控与分析方法 Active CN112200101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011102923.XA CN112200101B (zh) 2020-10-15 2020-10-15 基于人工智能的面向海事业务的视频监控与分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011102923.XA CN112200101B (zh) 2020-10-15 2020-10-15 基于人工智能的面向海事业务的视频监控与分析方法

Publications (2)

Publication Number Publication Date
CN112200101A CN112200101A (zh) 2021-01-08
CN112200101B true CN112200101B (zh) 2022-10-14

Family

ID=74009065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011102923.XA Active CN112200101B (zh) 2020-10-15 2020-10-15 基于人工智能的面向海事业务的视频监控与分析方法

Country Status (1)

Country Link
CN (1) CN112200101B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022244062A1 (ja) * 2021-05-17 2022-11-24 Eizo株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
CN113516093A (zh) * 2021-07-27 2021-10-19 浙江大华技术股份有限公司 标识信息的标注方法及装置、存储介质及电子装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515378A (zh) * 2009-03-17 2009-08-26 上海普适导航技术有限公司 船舶进出港信息化管理方法
CN104394507A (zh) * 2014-11-13 2015-03-04 厦门雅迅网络股份有限公司 一种通过缓冲区解决报警区域漏报的方法及***
CN104766064A (zh) * 2015-04-13 2015-07-08 郑州天迈科技股份有限公司 一种车载视频dvr图像识别定位出入站、场的方法
CN105761490A (zh) * 2016-04-22 2016-07-13 北京国交信通科技发展有限公司 对危化品运输车辆在服务区停靠的预警方法
CN107067447A (zh) * 2017-01-26 2017-08-18 安徽天盛智能科技有限公司 一种大空间区域的整体化视频监控方法
WO2018008893A1 (ko) * 2016-07-06 2018-01-11 주식회사 파킹패스 이동차량 추적에 의한 노외주차 관리시스템 및 그 방법
CN109684996A (zh) * 2018-12-22 2019-04-26 北京工业大学 基于视频的实时车辆进出识别方法
CN109785664A (zh) * 2019-03-05 2019-05-21 北京悦畅科技有限公司 一种停车场的剩余停车位数量的统计方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991272B (zh) * 2019-11-18 2023-07-18 东北大学 一种基于视频跟踪的多目标车辆轨迹识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515378A (zh) * 2009-03-17 2009-08-26 上海普适导航技术有限公司 船舶进出港信息化管理方法
CN104394507A (zh) * 2014-11-13 2015-03-04 厦门雅迅网络股份有限公司 一种通过缓冲区解决报警区域漏报的方法及***
CN104766064A (zh) * 2015-04-13 2015-07-08 郑州天迈科技股份有限公司 一种车载视频dvr图像识别定位出入站、场的方法
CN105761490A (zh) * 2016-04-22 2016-07-13 北京国交信通科技发展有限公司 对危化品运输车辆在服务区停靠的预警方法
WO2018008893A1 (ko) * 2016-07-06 2018-01-11 주식회사 파킹패스 이동차량 추적에 의한 노외주차 관리시스템 및 그 방법
CN107067447A (zh) * 2017-01-26 2017-08-18 安徽天盛智能科技有限公司 一种大空间区域的整体化视频监控方法
CN109684996A (zh) * 2018-12-22 2019-04-26 北京工业大学 基于视频的实时车辆进出识别方法
CN109785664A (zh) * 2019-03-05 2019-05-21 北京悦畅科技有限公司 一种停车场的剩余停车位数量的统计方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Vessel Detection and Tracking Method Based on Video Surveillance;Natalia Wawrzyniak 等;《MDPI》;20191128;全文 *
基于深度学习的多船舶目标跟踪与流量统计;冼允廷等;《微型电脑应用》;20200320(第03期);全文 *
面向普速车站的智能到发作业***设计与实现;吴兴华;《铁路计算机应用》;20180725;全文 *

Also Published As

Publication number Publication date
CN112200101A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
JP6759474B2 (ja) 深層学習ネットワーク及び平均シフトに基づく船舶自動追跡方法及びシステム
CN105389567B (zh) 基于稠密光流直方图的群体异常检测方法
CN109725310B (zh) 一种基于yolo算法以及岸基雷达***的船舶定位监管***
CN110223302A (zh) 一种基于旋转区域提取的舰船多目标检测方法
CN110097568A (zh) 一种基于时空双分支网络的视频对象检测与分割方法
CN112200101B (zh) 基于人工智能的面向海事业务的视频监控与分析方法
CN104660993B (zh) 基于ais和cctv的海事智能监控方法及***
CN105184271A (zh) 一种基于深度学习的车辆自动检测方法
CN110348304A (zh) 一种可搭载于无人机的海事遇险人员搜索***以及目标识别方法
CN110060508B (zh) 一种用于内河桥区的船舶自动检测方法
CN110378308A (zh) 改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法
CN109657541A (zh) 一种基于深度学习的无人机航拍图像中的船舶检测方法
CN104318258A (zh) 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN109977897A (zh) 一种基于深度学习的船舶特征重识别方法、应用方法及***
CN101145200A (zh) 多视觉传感器信息融合的内河船舶自动识别***
CN110427981A (zh) 基于深度神经网络的sar船舶检测***及方法
CN106778540B (zh) 停车检测准确的基于双层背景的停车事件检测方法
CN113808282A (zh) 一种多通航要素数据融合方法
Bloisi et al. Camera based target recognition for maritime awareness
CN111091095A (zh) 一种遥感图像中船只目标的检测方法
CN113743260B (zh) 一种地铁站台密集人流情况下的行人跟踪方法
Ozcelik et al. A vision based traffic light detection and recognition approach for intelligent vehicles
Zhu et al. Arbitrary-oriented ship detection based on retinanet for remote sensing images
Zhang et al. A warning framework for avoiding vessel‐bridge and vessel‐vessel collisions based on generative adversarial and dual‐task networks
CN113989487A (zh) 一种面向实景调度的故障缺陷检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 450046 No.9 Zeyu street, Zhengdong New District, Zhengzhou City, Henan Province

Patentee after: Henan Zhonggong Design and Research Institute Group Co.,Ltd.

Country or region after: China

Address before: 450046 No.9 Zeyu street, Zhengdong New District, Zhengzhou City, Henan Province

Patentee before: HENAN PROVINCIAL COMMUNICATIONS PLANNING & DESIGN INSTITUTE Co.,Ltd.

Country or region before: China