CN116778673A - 水域安全监控方法、***、终端及存储介质 - Google Patents
水域安全监控方法、***、终端及存储介质 Download PDFInfo
- Publication number
- CN116778673A CN116778673A CN202311034804.9A CN202311034804A CN116778673A CN 116778673 A CN116778673 A CN 116778673A CN 202311034804 A CN202311034804 A CN 202311034804A CN 116778673 A CN116778673 A CN 116778673A
- Authority
- CN
- China
- Prior art keywords
- person object
- shortest distance
- water
- person
- water area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 79
- 238000012544 monitoring process Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 44
- 230000009471 action Effects 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000006399 behavior Effects 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000003643 water by type Substances 0.000 description 2
- 101100166829 Mus musculus Cenpk gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/08—Alarms for ensuring the safety of persons responsive to the presence of persons in a body of water, e.g. a swimming pool; responsive to an abnormal condition of a body of water
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及深度学习技术领域，具体提供一种水域安全监控方法、***、终端及存储介质，包括：获取监控视频流数据；利用目标检测模型和目标追踪模型从监控视频流数据识别人物对象及位置信息；基于人物对象及位置信息截取人物对象所在的场景图片，并标记场景图片中的有水区域；利用行为检测模型预测人物对象的行动轨迹；基于人物对象的位置信息计算人物对象与有水区域的距离，并在所述距离达到预设阈值且行动轨迹朝向有水区域时生成告警事件。本发明通过结合目标检测技术、目标追踪技术和行为检测技术进行人物识别、距离有水区域判定以及行为轨迹判定，综合多方面因素升高告警，提升了告警准确度。
Description
技术领域
本发明属于深度学习技术领域，具体涉及一种水域安全监控方法、***、终端及存储介质。
背景技术
水库、河湖岸线、深水潭等危险水域的监管能力不足，缺乏有效安全预警设施，导致孩童、学生及其他群众靠近危险水域时，不能进行及时的安全提醒，且人员管控难度大，无法在事故发生的第一时间采取救援措施。
传统的方法大多是在危险水域安装摄像头，保存一段时间的监控视频便于调取分析。这种方式缺乏实时分析、实时告警能力，难以降低安全隐患。为了提升管理质量，一些***配备图像识别模型，如神经网络模型、目标检测模型等，通过图像识别模型对监控视频进行人物识别，一旦监测到人物目标立即生成告警。
现有的安全监控方法虽然能够生成告警，但误报率较高，在附近有往来行人时也会生成告警。
发明内容
针对现有技术的存在的误报率高的问题，本发明提供一种水域安全监控方法、***、终端及存储介质，以解决上述技术问题。
第一方面，本发明提供一种水域安全监控方法，包括：
获取监控视频流数据；
利用目标检测模型和目标追踪模型从监控视频流数据识别人物对象及位置信息；
基于人物对象及位置信息截取人物对象所在的场景图片，并标记场景图片中的有水区域；
利用行为检测模型预测人物对象的行动轨迹；
基于人物对象的位置信息计算人物对象与有水区域的距离，并在所述距离达到预设阈值且行动轨迹朝向有水区域时生成告警事件。
在一个可选的实施方式中，利用目标检测模型和目标追踪模型从监控视频流数据识别人物对象及位置信息，包括：
从监控视频流数据获取视频帧；
利用目标检测模型对视频帧中的人物对象进行检测；
从视频帧提取检测到的人物对象的框中的特征，所述特征包括表观特征和运动特征；
计算前后两帧的人物对象之间的匹配程度，并在确认匹配程度达到设定的阈值后为所述人物对象分配ID；
为视频帧创建坐标系，并获取人物对象在所述坐标系中的坐标。
在一个可选的实施方式中，基于人物对象及位置信息截取人物对象所在的场景图片，并标记场景图片中的有水区域，包括：
预先设定截取图片的范围参数；
以人物对象的坐标为中心，基于所述范围参数从视频帧截取场景图片；
识别场景图片中的有水区域，并提取有水区域的轮廓线。
在一个可选的实施方式中，基于人物对象的位置信息计算人物对象与有水区域的距离，并在所述距离达到预设阈值且行动轨迹朝向有水区域时生成告警事件，包括：
基于人物对象的位置信息计算人物对象与有水区域轮廓线的第一最短距离；
从人物对象的运动轨迹提取最新的预测位置，并计算所述预测位置与有水区域轮廓线的第二最短距离；
判断第一最短距离是否达到预设阈值：
若是，则比对第一最短距离和第二最短距离，若第一最短距离大于第二最短距离，则生成告警事件。
第二方面，本发明提供一种水域安全监控***，包括：
视频获取模块，用于获取监控视频流数据；
目标识别模块，用于利用目标检测模型和目标追踪模型从监控视频流数据识别人物对象及位置信息；
目标截取模块，用于基于人物对象及位置信息截取人物对象所在的场景图片，并标记场景图片中的有水区域；
轨迹预测模块，用于利用行为检测模型预测人物对象的行动轨迹；
告警生成模块，用于基于人物对象的位置信息计算人物对象与有水区域的距离，并在所述距离达到预设阈值且行动轨迹朝向有水区域时生成告警事件。
在一个可选的实施方式中，所述目标识别模块包括：
视频截取单元，用于从监控视频流数据获取视频帧；
人物检测单元，用于利用目标检测模型对视频帧中的人物对象进行检测；
特征提取单元，用于从视频帧提取检测到的人物对象的框中的特征，所述特征包括表观特征和运动特征；
ID分配单元，用于计算前后两帧的人物对象之间的特征匹配程度，并在确认匹配程度达到设定的阈值后为所述人物对象分配ID；
目标定位单元，用于为视频帧创建坐标系，并获取人物对象在所述坐标系中的坐标。
在一个可选的实施方式中，所述目标截取模块包括：
范围设定单元，用于预先设定截取图片的范围参数；
图片截取单元，用于以人物对象的坐标为中心，基于所述范围参数从视频帧截取场景图片；
区域识别单元，用于识别场景图片中的有水区域，并提取有水区域的轮廓线。
在一个可选的实施方式中，所述告警生成模块包括：
第一计算单元，用于基于人物对象的位置信息计算人物对象与有水区域轮廓线的第一最短距离；
第二计算单元，用于从人物对象的运动轨迹提取最新的预测位置，并计算所述预测位置与有水区域轮廓线的第二最短距离；
阈值判断单元，用于判断第一最短距离是否达到预设阈值；
距离比对单元，用于若第一最短距离达到预设阈值，则比对第一最短距离和第二最短距离，若第一最短距离大于第二最短距离，则生成告警事件。
第三方面，提供一种终端，包括：
处理器、存储器，其中，
该存储器用于存储计算机程序，
该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。
第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
本发明的有益效果在于，本发明提供的水域安全监控方法、***、终端及存储介质，通过结合目标检测技术、目标追踪技术和行为检测技术进行人物识别、距离有水区域判定以及行为轨迹判定，综合多方面因素升高告警，提升了告警准确度。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明一个实施例的方法的另一示意性流程图。
图3是本发明一个实施例的***的示意性框图。
图4为本发明实施例提供的一种终端的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
下面对本发明中出现的关键术语进行解释。
目前主流的目标跟踪算法都是基于Tracking-by-Detecton策略，即基于目标检测的结果来进行目标跟踪。DeepSORT运用的就是这个策略，上面的视频是DeepSORT对人群进行跟踪的结果，每个bbox左上角的数字是用来标识某个人的唯一ID号。
匈牙利算法可以输出当前帧的某个目标，是否与前一帧的某个目标相同。
卡尔曼滤波可以基于目标前一时刻的位置，来预测当前时刻的位置，并且可以比传感器（在目标跟踪中即目标检测器，比如Yolo等）更准确的估计目标的位置。
Deepsort是一种目标追踪算法， 是在sort算法基础上的改进算法。由于sort算法还是比较粗糙的追踪算法，当物体发生遮挡的时候，特别容易丢失自己的ID。而Deepsort算法在sort算法的基础上增加了级联匹配(MatchingCascade)和新轨迹的确认(confirmed)。Tracks分为确认态(confirmed),和不确认态(unconfirmed),新产生的Tracks是不确认态的：不确认态的Tracks必须要和Detections连续匹配一定的次数（默认是3)才可以转化成确认态。确认态的Tracks必须和Detectionsi连续失配一定次数（默认30次），才会被删除。
YOWO，全名为You Only Watch Once，是一种行为检测模型，YOWO这一工作最大的特点就在于“实时性”。
Yolov5是一种目标检测算法，官方代码中，给出的目标检测网络中一共有4个版本，分别是Yolov5s、Yolov5m、Yolov5l、Yolov5x四个模型。YOLO v5主要由输入端、Backone、Neck以及Prediction四部分组成。其中：(1) **Backbone：**在不同图像细粒度上聚合并形成图像特征的卷积神经网络。(2) **Neck：**一系列混合和组合图像特征的网络层，并将图像特征传递到预测层。(3) Head： 对图像特征进行预测，生成边界框和并预测类别。
HSV(Hue, Saturation, Value)是根据颜色的直观特性由A. R. Smith在1978年创建的一种颜色空间, 也称六角锥体模型(Hexcone Model)。HSV颜色模型是指H、S、V三维颜色空间中的一个可见光子集，它包含某个颜色域的所有颜色。每一种颜色都是由色相（Hue，简H），饱和度（Saturation，简S）和色明度（Value，简V）所表示的。这个模型中颜色的参数分别是：色调（H），饱和度（S），亮度（V）。色调H参数表示色彩信息，即所处的光谱颜色的位置。该参数用一角度量来表示，取值范围为0°～360°。若从红色开始按逆时针方向计算，红色为0°，绿色为120°，蓝色为240°。它们的补色是：黄色为60°，青色为180°，紫色为300°；饱和度S：取值范围为0.0～1.0；亮度V：取值范围为0.0(黑色)～1.0(白色)。
本发明实施例提供的水域安全监控方法由计算机设备执行，相应地，水域安全监控***运行于计算机设备中。
图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种水域安全监控***。根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。
如图1所示，该方法包括：
步骤110，获取监控视频流数据；
步骤120，利用目标检测模型和目标追踪模型从监控视频流数据识别人物对象及位置信息；
步骤130，基于人物对象及位置信息截取人物对象所在的场景图片，并标记场景图片中的有水区域；
步骤140，利用行为检测模型预测人物对象的行动轨迹；
步骤150，基于人物对象的位置信息计算人物对象与有水区域的距离，并在所述距离达到预设阈值且行动轨迹朝向有水区域时生成告警事件。
为了便于对本发明的理解，下面以本发明水域安全监控方法的原理，结合实施例中对水域进行监控的过程，对本发明提供的水域安全监控方法做进一步的描述。
具体的，请参考图2，所述水域安全监控方法包括：
S1、获取监控视频流数据。
摄像机视频流拉取。判断摄像机视频流的网络环境，检测摄像机是否在线，视频流数据是否处于可拉取状态。
S2、利用目标检测模型和目标追踪模型从监控视频流数据识别人物对象及位置信息。
从监控视频流数据获取视频帧；利用目标检测模型对视频帧中的人物对象进行检测；从视频帧提取检测到的人物对象的框中的特征，所述特征包括表观特征和运动特征；计算前后两帧的人物对象之间的匹配程度，并在确认匹配程度达到设定的阈值后为所述人物对象分配ID；为视频帧创建坐标系，并获取人物对象在所述坐标系中的坐标。
具体的，对视频流进行解码推理，同时对多路摄像机解码，并通过batch进入推理模型，采用yolov5目标检测模型以及deepsort目标追踪模型，检测出人员的行为信息以及人员的位置信息。
S3、基于人物对象及位置信息截取人物对象所在的场景图片，并标记场景图片中的有水区域。
预先设定截取图片的范围参数；以人物对象的坐标为中心，基于所述范围参数从视频帧截取场景图片；识别场景图片中的有水区域，并提取有水区域的轮廓线。
具体的，可以设定一个矩形范围，以人物对象坐标为中心从视频帧截取场景图片。该矩形范围的设定可以参考设定的距离阈值，即人物对象与有水区域边缘轮廓的距离阈值。
在本发明的一种实施方式中，提取有水区域的轮廓线可以通过提取图片的HSV参数，并提取HSV参数与标准图片HSV参数的差值在预设阈值范围内的色块作为有水区域，其中标准图片选取摄像头拍摄的水面图像。进一步采用轮廓提取工具提取有水区域的边缘轮廓线。轮廓提取工具可以采用opencv软件。
S4、利用行为检测模型预测人物对象的行动轨迹。
通过获取的人员的位置信息裁剪出人员所在的场景信息，采用yowo行为检测模型，通过场景信息和人员的行为信息，预测人员接下来的动作及位置。
在本实施方式中，yolov5目标检测模型、deepsort目标追踪模型以及yowo行为检测模型的构建和训练方法为常规方法，可以使用同一数据集。
S5、基于人物对象的位置信息计算人物对象与有水区域的距离，并在所述距离达到预设阈值且行动轨迹朝向有水区域时生成告警事件。
基于人物对象的位置信息计算人物对象与有水区域轮廓线的第一最短距离；从人物对象的运动轨迹提取最新的预测位置，并计算所述预测位置与有水区域轮廓线的第二最短距离；判断第一最短距离是否达到预设阈值；若是，则比对第一最短距离和第二最短距离，若第一最短距离大于第二最短距离，则生成告警事件。
其中，计算距离的方法包括：
从有水区域轮廓线提取点集，筛选出点集中距离人物对象的位置坐标最近的优选点，并第一次输出最短距离。将优选点的两个相邻点作为端点从所述轮廓线截取出优选线段，从优选线段提取优选点集，并筛选出优选点集中距离人物对象的位置坐标最近的优选点，并再一次输出最短距离，如此迭代，直至最新的最短距离不小于上一次的最短距离，或者迭代次数达到设定的次数为止。
此外，若第一最短距离未达到预设阈值则不进行第二最短距离计算。若第一最短距离达到预设阈值，且第一最短距离小于第二最短距离，则将相应人物对象作为重点关注对象进行持续追踪。
在一些实施例中，所述水域安全监控***300可以包括多个由计算机程序段所组成的功能模块。所述水域安全监控***300中的各个程序段的计算机程序可以存储于计算机设备的存储器中，并由至少一个处理器所执行，以执行（详见图1描述）水域安全监控的功能。
本实施例中，所述水域安全监控***300根据其所执行的功能，可以被划分为多个功能模块，如图3所示。所述功能模块可以包括：视频获取模块310、目标识别模块320、目标截取模块330、轨迹预测模块340和告警生成模块350。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。
视频获取模块310，用于获取监控视频流数据；
目标识别模块320，用于利用目标检测模型和目标追踪模型从监控视频流数据识别人物对象及位置信息；
目标截取模块330，用于基于人物对象及位置信息截取人物对象所在的场景图片，并标记场景图片中的有水区域；
轨迹预测模块340，用于利用行为检测模型预测人物对象的行动轨迹；
告警生成模块350，用于基于人物对象的位置信息计算人物对象与有水区域的距离，并在所述距离达到预设阈值且行动轨迹朝向有水区域时生成告警事件。
可选地，作为本发明一个实施例，目标识别模块包括：
视频截取单元，用于从监控视频流数据获取视频帧；
人物检测单元，用于利用目标检测模型对视频帧中的人物对象进行检测；
特征提取单元，用于从视频帧提取检测到的人物对象的框中的特征，所述特征包括表观特征和运动特征；
ID分配单元，用于计算前后两帧的人物对象之间的特征匹配程度，并在确认匹配程度达到设定的阈值后为所述人物对象分配ID；
目标定位单元，用于为视频帧创建坐标系，并获取人物对象在所述坐标系中的坐标。
可选地，作为本发明一个实施例，目标截取模块包括：
范围设定单元，用于预先设定截取图片的范围参数；
图片截取单元，用于以人物对象的坐标为中心，基于所述范围参数从视频帧截取场景图片；
区域识别单元，用于识别场景图片中的有水区域，并提取有水区域的轮廓线。
可选地，作为本发明一个实施例，告警生成模块包括：
第一计算单元，用于基于人物对象的位置信息计算人物对象与有水区域轮廓线的第一最短距离；
第二计算单元，用于从人物对象的运动轨迹提取最新的预测位置，并计算所述预测位置与有水区域轮廓线的第二最短距离；
阈值判断单元，用于判断第一最短距离是否达到预设阈值；
距离比对单元，用于若第一最短距离达到预设阈值，则比对第一最短距离和第二最短距离，若第一最短距离大于第二最短距离，则生成告警事件。
图4为本发明实施例提供的一种终端400的结构示意图，该终端400可以用于执行本发明实施例提供的水域安全监控方法。
其中，该终端400可以包括：处理器410、存储器420及通信模块430。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，该存储器420可以用于存储处理器410的执行指令，存储器420可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。当存储器420中的执行指令由处理器410执行时，使得终端400能够执行以下上述方法实施例中的部分或全部步骤。
处理器410为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器420内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC) 组成，例如可以由单颗封装的IC 所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器410可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
通信模块430，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体（英文：read-only memory，简称：ROM）或随机存储记忆体（英文：random access memory，简称：RAM）等。
因此，本发明通过结合目标检测技术、目标追踪技术和行为检测技术进行人物识别、距离有水区域判定以及行为轨迹判定，综合多方面因素升高告警，提升了告警准确度，本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端（可以是个人计算机，服务器，或者第二终端、网络终端等）执行本发明各个实施例所述方法的全部或部分步骤。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
在本发明所提供的几个实施例中，应该理解到，所揭露的***和方法，可以通过其它的方式实现。例如，以上所描述的***实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，***或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种水域安全监控方法，其特征在于，包括：
获取监控视频流数据；
利用目标检测模型和目标追踪模型从监控视频流数据识别人物对象及位置信息；
基于人物对象及位置信息截取人物对象所在的场景图片，并标记场景图片中的有水区域；
利用行为检测模型预测人物对象的行动轨迹；
基于人物对象的位置信息计算人物对象与有水区域的距离，并在所述距离达到预设阈值且行动轨迹朝向有水区域时生成告警事件。
2.根据权利要求1所述的方法，其特征在于，利用目标检测模型和目标追踪模型从监控视频流数据识别人物对象及位置信息，包括：
从监控视频流数据获取视频帧；
利用目标检测模型对视频帧中的人物对象进行检测；
从视频帧提取检测到的人物对象的框中的特征，所述特征包括表观特征和运动特征；
计算前后两帧的人物对象之间的匹配程度，并在确认匹配程度达到设定的阈值后为所述人物对象分配ID；
为视频帧创建坐标系，并获取人物对象在所述坐标系中的坐标。
3.根据权利要求2所述的方法，其特征在于，基于人物对象及位置信息截取人物对象所在的场景图片，并标记场景图片中的有水区域，包括：
预先设定截取图片的范围参数；
以人物对象的坐标为中心，基于所述范围参数从视频帧截取场景图片；
识别场景图片中的有水区域，并提取有水区域的轮廓线。
4.根据权利要求1或3所述的方法，其特征在于，基于人物对象的位置信息计算人物对象与有水区域的距离，并在所述距离达到预设阈值且行动轨迹朝向有水区域时生成告警事件，包括：
基于人物对象的位置信息计算人物对象与有水区域轮廓线的第一最短距离；
从人物对象的运动轨迹提取最新的预测位置，并计算所述预测位置与有水区域轮廓线的第二最短距离；
判断第一最短距离是否达到预设阈值：
若是，则比对第一最短距离和第二最短距离，若第一最短距离大于第二最短距离，则生成告警事件。
5.一种水域安全监控***，其特征在于，包括：
视频获取模块，用于获取监控视频流数据；
目标识别模块，用于利用目标检测模型和目标追踪模型从监控视频流数据识别人物对象及位置信息；
目标截取模块，用于基于人物对象及位置信息截取人物对象所在的场景图片，并标记场景图片中的有水区域；
轨迹预测模块，用于利用行为检测模型预测人物对象的行动轨迹；
告警生成模块，用于基于人物对象的位置信息计算人物对象与有水区域的距离，并在所述距离达到预设阈值且行动轨迹朝向有水区域时生成告警事件。
6.根据权利要求5所述的***，其特征在于，所述目标识别模块包括：
视频截取单元，用于从监控视频流数据获取视频帧；
人物检测单元，用于利用目标检测模型对视频帧中的人物对象进行检测；
特征提取单元，用于从视频帧提取检测到的人物对象的框中的特征，所述特征包括表观特征和运动特征；
ID分配单元，用于计算前后两帧的人物对象之间的特征匹配程度，并在确认匹配程度达到设定的阈值后为所述人物对象分配ID；
目标定位单元，用于为视频帧创建坐标系，并获取人物对象在所述坐标系中的坐标。
7.根据权利要求6所述的***，其特征在于，所述目标截取模块包括：
范围设定单元，用于预先设定截取图片的范围参数；
图片截取单元，用于以人物对象的坐标为中心，基于所述范围参数从视频帧截取场景图片；
区域识别单元，用于识别场景图片中的有水区域，并提取有水区域的轮廓线。
8.根据权利要求5或7所述的***，其特征在于，所述告警生成模块包括：
第一计算单元，用于基于人物对象的位置信息计算人物对象与有水区域轮廓线的第一最短距离；
第二计算单元，用于从人物对象的运动轨迹提取最新的预测位置，并计算所述预测位置与有水区域轮廓线的第二最短距离；
阈值判断单元，用于判断第一最短距离是否达到预设阈值；
距离比对单元，用于若第一最短距离达到预设阈值，则比对第一最短距离和第二最短距离，若第一最短距离大于第二最短距离，则生成告警事件。
9.一种终端，其特征在于，包括：
存储器，用于存储水域安全监控程序；
处理器，用于执行所述水域安全监控程序时实现如权利要求1-4任一项所述水域安全监控方法的步骤。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述可读存储介质上存储有水域安全监控程序，所述水域安全监控程序被处理器执行时实现如权利要求1-4任一项所述水域安全监控方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311034804.9A CN116778673A (zh) | 2023-08-17 | 2023-08-17 | 水域安全监控方法、***、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311034804.9A CN116778673A (zh) | 2023-08-17 | 2023-08-17 | 水域安全监控方法、***、终端及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116778673A true CN116778673A (zh) | 2023-09-19 |
Family
ID=88013690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311034804.9A Pending CN116778673A (zh) | 2023-08-17 | 2023-08-17 | 水域安全监控方法、***、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116778673A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117612409A (zh) * | 2024-01-23 | 2024-02-27 | 广州市勤思网络科技有限公司 | 水上物体的超区预警方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101709751B1 (ko) * | 2015-11-24 | 2017-02-24 | 주식회사 지오멕스소프트 | 해변의 입수자에 대한 자동 위험 감시 시스템 |
| CN112287928A (zh) * | 2020-10-20 | 2021-01-29 | 深圳市慧鲤科技有限公司 | 一种提示方法、装置、电子设备及存储介质 |
| CN114463941A (zh) * | 2021-12-30 | 2022-05-10 | 中国电信股份有限公司 | 防溺水告警方法、装置及*** |
| CN115311820A (zh) * | 2022-07-11 | 2022-11-08 | 西安电子科技大学广州研究院 | 临水智能安防*** |
| CN115798146A (zh) * | 2022-11-14 | 2023-03-14 | 中国平安人寿保险股份有限公司 | 防溺水预警方法、装置、计算机设备及存储介质 |
| CN115938069A (zh) * | 2022-12-19 | 2023-04-07 | 北京百度网讯科技有限公司 | 危险行为的报警方法和危险行为的报警*** |
-
2023
- 2023-08-17 CN CN202311034804.9A patent/CN116778673A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101709751B1 (ko) * | 2015-11-24 | 2017-02-24 | 주식회사 지오멕스소프트 | 해변의 입수자에 대한 자동 위험 감시 시스템 |
| CN112287928A (zh) * | 2020-10-20 | 2021-01-29 | 深圳市慧鲤科技有限公司 | 一种提示方法、装置、电子设备及存储介质 |
| CN114463941A (zh) * | 2021-12-30 | 2022-05-10 | 中国电信股份有限公司 | 防溺水告警方法、装置及*** |
| CN115311820A (zh) * | 2022-07-11 | 2022-11-08 | 西安电子科技大学广州研究院 | 临水智能安防*** |
| CN115798146A (zh) * | 2022-11-14 | 2023-03-14 | 中国平安人寿保险股份有限公司 | 防溺水预警方法、装置、计算机设备及存储介质 |
| CN115938069A (zh) * | 2022-12-19 | 2023-04-07 | 北京百度网讯科技有限公司 | 危险行为的报警方法和危险行为的报警*** |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117612409A (zh) * | 2024-01-23 | 2024-02-27 | 广州市勤思网络科技有限公司 | 水上物体的超区预警方法及装置 |
| CN117612409B (zh) * | 2024-01-23 | 2024-04-05 | 广州市勤思网络科技有限公司 | 水上物体的超区预警方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9652863B2 (en) | Multi-mode video event indexing | |
| CN108053427B (zh) | 一种基于KCF与Kalman的改进型多目标跟踪方法、***及装置 | |
| CN108062349B (zh) | 基于视频结构化数据及深度学习的视频监控方法和*** | |
| WO2021051601A1 (zh) | 利用Mask R-CNN选择检测框的方法及***、电子装置及存储介质 | |
| KR102122859B1 (ko) | 교통 영상감시시스템의 멀티 표적 추적 방법 | |
| CN114119676B (zh) | 基于多特征信息融合的目标检测跟踪识别方法和*** | |
| CN113052107B (zh) | 一种检测安全帽佩戴情况的方法、计算机设备及存储介质 | |
| CN113012383B (zh) | 火灾检测报警方法、相关***、相关设备及存储介质 | |
| CN116778673A (zh) | 水域安全监控方法、***、终端及存储介质 | |
| CN114782897A (zh) | 基于机器视觉及深度学习的危险行为检测方法及*** | |
| CN114359373B (zh) | 泳池防溺水目标行为识别方法、装置、计算机设备及存储介质 | |
| CN112287823A (zh) | 一种基于视频监控的面部口罩识别方法 | |
| CN111797726A (zh) | 一种火焰检测方法、装置、电子设备及存储介质 | |
| Hossain et al. | Fast-D: When non-smoothing color feature meets moving object detection in real-time | |
| KR101454644B1 (ko) | 보행자 추적기를 이용한 서성거림을 탐지하는 방법 | |
| CN112861826A (zh) | 基于视频图像的煤矿监管方法、***、设备及存储介质 | |
| Zang et al. | Evaluation of an adaptive composite Gaussian model in video surveillance | |
| CN110956156A (zh) | 一种基于深度学习的闯红灯检测*** | |
| US20230360402A1 (en) | Video-based public safety incident prediction system and method therefor | |
| CN115410153A (zh) | 一种门开关状态的判定方法、装置、电子终端及存储介质 | |
| CN115909400A (zh) | 一种用于低分辨率监控场景中使用手机行为的识别方法 | |
| CN115731477A (zh) | 图像识别方法、违建检测方法、终端设备以及存储介质 | |
| CN112861711A (zh) | 区域入侵检测方法、装置、电子设备及存储介质 | |
| CN113420631A (zh) | 一种基于图像识别的安全报警方法及装置 | |
| CN116740577B (zh) | 道路积水识别方法、***、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230919 |