CN114022910A - 泳池防溺水监管方法、装置、计算机设备及存储介质 - Google Patents

泳池防溺水监管方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN114022910A
CN114022910A CN202210022875.6A CN202210022875A CN114022910A CN 114022910 A CN114022910 A CN 114022910A CN 202210022875 A CN202210022875 A CN 202210022875A CN 114022910 A CN114022910 A CN 114022910A
Authority
CN
China
Prior art keywords
frame
swimming pool
human body
target detection
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210022875.6A
Other languages
English (en)
Other versions
CN114022910B (zh
Inventor
任小枫
谢欣
郭羽
郭东岩
***
张剑华
张都思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Juyan Xincheng Technology Co ltd
Original Assignee
Hangzhou Juyan Xincheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Juyan Xincheng Technology Co ltd filed Critical Hangzhou Juyan Xincheng Technology Co ltd
Priority to CN202210022875.6A priority Critical patent/CN114022910B/zh
Publication of CN114022910A publication Critical patent/CN114022910A/zh
Application granted granted Critical
Publication of CN114022910B publication Critical patent/CN114022910B/zh
Priority to US18/094,388 priority patent/US11756306B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了泳池防溺水监管方法、装置、计算机设备及存储介质。方法包括：获取多个相机所拍摄的图像；将图像输入至目标检测模型内进行人体和人头的检测，以得到泳池人体目标检测框以及泳池人头目标检测框；将泳池人体目标检测框以及泳池人头目标检测框进行人头与人体关系的计算；将泳池人体目标检测框以及泳池人头目标检测框进行多相机融合，以得到人体框和人头框；确定人体和人头与水面的相对位置关系；计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹；更新状态数据库；根据状态数据库生成警示信息。通过实施本发明实施例的方法可实现全自动监管泳池的目标人体，提高防溺水监管准确率。

Description

泳池防溺水监管方法、装置、计算机设备及存储介质
技术领域
本发明涉及防溺水监管方法，更具体地说是指泳池防溺水监管方法、装置、计算机设备及存储介质。
背景技术
随着体育事业的发展，人们参加体育活动的热情也越来越高涨，而作为热门运动项目之一的游泳却成为安全事故最高发的运动。根据***公布的不完全统计数据，我国大约每年有5.7万人死于溺水事故，其中青少年占比达到56.04%，成为了青少年死亡的第一致因，且中国的溺水死亡率为全球最高。
泳池进行防溺水监管时，都会涉及到目标检测，而目标检测问题的主要背景是水，游泳者运动时泳池内的水就会产生波动；日光与灯光照射在水面上会产生反光，这种反光难以通过预处理技术去除，此外反光的位置随着水面波动也会不断变化；游泳者的年龄跨度很广，泳池岸边以及泳池内的人会出现各种各样的动作行为，并且游泳者在水面以下的部分受到水的折射、浑浊程度以及波动的影响，难以观测；泳池岸边会出现多种设施与杂物比如看台、救生设备、训练设以及游泳者个人物品等，泳池内也会出现多种漂浮物比如泳道线与训练设备等。
目前大部分游泳场馆运营的运营方式是基于传统人工模式运营，存在成本高昂，且监管不全面，现有的技术通过在泳池四周和底部安装水下摄像头，通过算法判断泳客的动作是否正常游泳或是在处于溺水挣扎的状态，而且只能针对人体进行检测和防溺水识别，但是这种方式的准确率不高，无法提高防溺水监管的准确率。
因此，有必要设计一种新的方法，实现全自动监管泳池的目标人体，提高防溺水监管准确率。
发明内容
本发明的目的在于克服现有技术的缺陷，提供泳池防溺水监管方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：泳池防溺水监管方法，包括：
获取多个相机所拍摄的图像；
将所述图像输入至目标检测模型内进行人体和人头的检测，以得到泳池人体目标检测框以及泳池人头目标检测框；
将所述泳池人体目标检测框以及泳池人头目标检测框进行人头与人体关系的计算，并整合泳池人体目标检测框以及泳池人头目标检测框，以得到边界框序列；
将所述泳池人体目标检测框以及泳池人头目标检测框进行多相机融合，以得到人体框和人头框；
将所述人体框和所述人头框输入至相对位置判别模型内进行人体和人头与水面的相对位置关系的确定，以得到相对位置关系序列；
将所述人体框、所述人头框以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹；
根据所述边界框序列更新状态数据库；
根据所述状态数据库生成警示信息，并发送所述警示信息至终端。
其进一步技术方案为：所述目标检测模型是通过若干个带有人体目标所在位置标签以及人头目标所在位置标签的图像作为样本集训练卷积神经网络所得的，包括：
构建带有人体目标所在位置标签以及人头目标所在位置标签的图像作为样本集；
对所述样本集进行划分，以得到训练集、验证集以及测试集；
对所述训练集、验证集以及测试集进行增强处理，以得到处理结果；
构建Yolov5网络，并在Yolov5网络添加DLA-34网络、Semantic Self-Attention机制以及Anchor-free网络，以得到初始网络；
利用所述处理结果中的训练集、验证集对所述初始网络进行训练和验证，并计算训练过程的损失值；
当损失值维持不变时，利用所述处理结果中的测试集对所述初始网络进行测试，以将训练后的初始网络作为目标检测模型。
其进一步技术方案为：所述构建Yolov5网络，并在Yolov5网络添加DLA-34网络、Semantic Self-Attention机制以及Anchor-free网络，以得到初始网络，包括：
构建Yolov5网络；
在所述Yolov5网络添加DLA-34网络作为主干网络，进行提取特征，以得到第一网络；
在所述第一网络添加Semantic Self-Attention机制，以得到第二网络；
在第二网络的目标回归框网络中使用Anchor-free网络，以得到初始网络。
其进一步技术方案为：所述将所述泳池人体目标检测框以及泳池人头目标检测框进行人头与人体关系的计算，并整合泳池人体目标检测框以及泳池人头目标检测框，以得到边界框序列，包括：
采用匈牙利算法计算所述泳池人体目标检测框以及泳池人头目标检测框的对应关系，将所述泳池人体目标检测框以及泳池人头目标检测框、对应关系组合，以得到边界框序列。
其进一步技术方案为：所述将所述泳池人体目标检测框以及泳池人头目标检测框进行多相机融合，以得到人体框和人头框，包括：
确定参考相机图像以及待配准相机图像；
采用张正友标定法标定参考相机以及待配准相机的内参和外参；
对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系；
计算参考相机以及待配准相机之间的相对位姿；
通过所述相对位姿关联多个相机，以建立全局统一世界坐标系；
确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿；
将所述边界序列映射到所述全局统一世界坐标系中，且依据所述泳池人体目标检测框以及泳池人头目标检测框的中心点位置、边界框的大小计算不同图像中两个框的匹配度；
筛选出匹配度超过设定阈值的人体框和人头框，以得到人体框和人头框。
其进一步技术方案为：所述将所述人体框、所述人头框以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹，包括：
根据相邻两帧的所述人体框和所述人头框以及所述相对位置关系序列计算相邻两帧之间每两个人体之间的距离，以得到距离矩阵；
将所述距离矩阵采用匈牙利匹配算法计算相邻两帧的人体框的匹配关系，以得到人体跟踪轨迹。
其进一步技术方案为：所述根据所述状态数据库生成警示信息，并发送所述警示信息至终端，包括：
根据所述状态数据内的人头框在水下的时间确定溺水状态，根据出现溺水状况的人头框以及人体框生成警示信息，并发送所述警示信息至终端。
本发明还提供了泳池防溺水监管装置，包括：
图像获取单元，用于获取多个相机所拍摄的图像；
目标检测单元，用于将所述图像输入至目标检测模型内进行人体和人头的检测，以得到泳池人体目标检测框以及泳池人头目标检测框；
关系计算单元，用于将所述泳池人体目标检测框以及泳池人头目标检测框进行人头与人体关系的计算，并整合泳池人体目标检测框以及泳池人头目标检测框，以得到边界框序列；
融合单元，用于将所述泳池人体目标检测框以及泳池人头目标检测框进行多相机融合，以得到人体框和人头框；
位置序列获取单元，用于将所述人体框和所述人头框输入至相对位置判别模型内进行人体和人头与水面的相对位置关系的确定，以得到相对位置关系序列；
关联单元，用于将所述人体框、所述人头框以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹；
更新单元，用于根据所述边界框序列更新状态数据库；
警示单元，用于根据所述状态数据库生成警示信息，并发送所述警示信息至终端。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过获取多个相机所拍摄的图像，通过目标检测模型进行人体和人头检测后，在进行对应关系的计算，使得人体边界框以及与其对应的人头边界框属于同一个人；将泳池人体目标检测框以及泳池人头目标检测框进行多相机融合，对不同图像中检测出来的边界框进行对齐，使得人体框以及人头框属于同一个人；再确定人体和人头与水面的相对位置关系，识别出场景中每一个人的头部和身体与水面的相对位置关系；并将人体框和人头框以及位置关系作为输入进行人体自动跟踪，将跟踪所得的结果发送至终端，并更新状态数据库，根据所述状态数据库生成警示信息，并发送警示信息至终端，实现全自动监管泳池的目标人体，提高防溺水监管准确率。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的泳池防溺水监管方法的应用场景示意图；
图2为本发明实施例提供的泳池防溺水监管方法的流程示意图；
图3为本发明实施例提供的目标检测模型产生三种尺度特征图的示意图；
图4为本发明实施例提供的级联匹配的示意图；
图5为本发明实施例提供的目标跟踪的示意图；
图6为本发明实施例提供的人头空间位置确定的示意图；
图7为本发明实施例提供的相机布局的示意图；
图8为本发明实施例提供的联合检测模型的示意图；
图9为本发明实施例提供的数据标注的示意图；
图10为本发明实施例提供的相对位置判别模型的示意图；
图11为本发明实施例提供的人体跟踪轨迹计算的示意图；
图12为本发明实施例提供的泳池防溺水监管装置的示意性框图；
图13为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的泳池防溺水监管方法的应用场景示意图。图2为本发明实施例提供的泳池防溺水监管方法的示意性流程图。该泳池防溺水监管方法应用于服务器中。该服务器分别与多个相机以及终端进行数据交互，通过获取多个相机所拍摄的图像，通过目标检测模型进行人体和人头检测后，在进行对应关系的计算，使得人体边界框以及与其对应的人头边界框属于同一个人；其次，将泳池人体目标检测框以及泳池人头目标检测框进行多相机融合，对不同图像中检测出来的边界框进行对齐，使得人体框以及人头框属于同一个人；再确定人体和人头与水面的相对位置关系，识别出场景中每一个人的头部和身体与水面的相对位置关系，取“水上”、“水中”或“水下”这三种位置中的一种；并将人体框和人头框以及位置关系作为输入进行人体自动跟踪，将跟踪所得的结果发送至终端，并更新状态数据库，并根据所述状态数据库生成警示信息，并发送警示信息至终端。
基于六架围绕泳池四周部署的CCTV相机构建流媒体服务器，进行拉流并实时获取当前时刻的视频帧序列，该序列共包含6张尺寸为1920×1080的图像，每张图像来自一架相机，另一方面，构建一个人头与人体状态数据库，其中存储当前泳池中的所有人在1分钟之内的人头与人体状态。该数据库与一个实时监听模块连接，该模块实时查询数据库中的人头和人体状态，并基于此对泳情进行分析，必要时发出泳情警报。
图2是本发明实施例提供的泳池防溺水监管方法的流程示意图。如图2所示，该方法包括以下步骤S110至S180。
S110、获取多个相机所拍摄的图像。
在本实施例中，图像是指通过架设在泳池上的多个相机拍摄所得的内容。
如图7所示，将多个相机间隔布置在泳池上方，以便于拍摄整个泳池的具体情况。
S120、将所述图像输入至目标检测模型内进行人体和人头的检测，以得到泳池人体目标检测框以及泳池人头目标检测框。
在本实施例中，泳池人体目标检测框是指泳池人体目标所在的边界框，带有坐标信息的边界框；泳池人头目标检测框是指泳池人头目标所在的边界框，带有坐标信息的边界框。
所述目标检测模型是通过若干个带有人体目标所在位置标签以及人头目标所在位置标签的图像作为样本集训练卷积神经网络所得的。
具体地，上述的目标检测模型是通过若干个带有人体目标所在位置标签的图像作为样本集训练卷积神经网络所得的可包括步骤S121~S126。
S121、构建带有人体目标所在位置标签的图像作为样本集。
在本实施例中，样本集是指若干张泳池图像，并经过人工标注人体目标所在位置形成的图像。
S122、对所述样本集进行划分，以得到训练集、验证集以及测试集。
在本实施例中，对样本集进行划分，可以用于模型的训练、验证和测试。
S123、对所述训练集、验证集以及测试集进行增强处理，以得到处理结果。
在本实施例中，处理结果是指对训练集、验证集以及测试集进行旋转、翻转等增强操作手段的处理后形成的结果。
对训练集、验证集以及测试集进行增强处理，可提高模型的稳定性。
S124、构建Yolov5网络，并在Yolov5网络添加DLA-34网络、Semantic Self-Attention机制以及Anchor-free网络，以得到初始网络。
在本实施例中，初始网络是指Yolov5网络添加DLA-34网络、Semantic Self-Attention机制以及Anchor-free网络后形成的卷积神经网络。
在一实施例中，上述的步骤S124可包括步骤S1241~S1244。
S1241、构建Yolov5网络；
S1242、在所述Yolov5网络添加DLA-34网络作为主干网络，进行提取特征，以得到第一网络。
在本实施例中，第一网络是指Yolov5网络添加DLA-34网络作为主干网络后形成的网络结构。
在使用的Yolov5目标检测模型的基础上添加了CenterNet中的DLA-34作为Backbone进行提取特征。DLA (Deep Layer Aggregation，深层聚集)是带多级跳跃连接的图像分类网络，通过更深层次的融合可以更好的聚合不同层的信息。而DLA-34使用了Deformable Convolution即DCN（可形变卷积，Deformable Convolutional Networks），这样以DLA-34作为多目标跟踪的网络结构能够将以迭代的方式将特征信息融合起来，从而获取更有效的信息。
S1243、在所述第一网络添加Semantic Self-Attention机制，以得到第二网络。
在本实施例中，第二网络是指Yolov5网络添加DLA-34网络作为主干网络，作为基础，并添加Semantic Self-Attention机制形成的网络。
在目标检测模型中，还添加了SSA (自注意力机制，Semantic Self-Attention)。首先Self-Attention的自注意力机制是处理全局信息，而Semantic Self-Attention将目标检测框作为分割的人工标注的框ground truth，并利用其学习分割的特征，将该特征和检测特征融合，即作为检测特征的注意力聚焦的信息范围attention map然后进行检测。其过程为：以真值的检测框作为分割的掩膜，在原特征图上通过卷积学习这个掩膜，并把这个学习得到的特征图作为注意力聚焦的信息范围，融合到原特征图上。
S1244、在第二网络的目标回归框网络中使用Anchor-free网络，以得到初始网络。
在本实施例中，在最后的目标回归框网络中，使用的是Anchor-free算法，根据带有类别信息和位置信息的特征图，然后再根据这些特征图，得到最后的目标所在的边界框。
具体地，目标框即目标所在的边界框预测程序实现：如图3所示，三个尺度特征图的形成，图中卷积层下方数字为通道数，上方为二维图像尺寸值，输入图像为736×1280，3通道。不同尺度特征图随卷积层加深，在输入图像上的感受野不同，就是特征图对应的输入图像网格大小不同。
在目标检测模型推理时，每个网格预测的类别信息和目标框预测的置信度相乘，就得到每个目标框的类别置信度分class-specific confidence score:
Figure 395336DEST_PATH_IMAGE001
；等式左边第一项就是每个网格预测的类别概率，第二三项就是每个目标框预测的置信度。乘积即为预测的目标框属于某个类别的概率，也有该目标框准确度的概率。得到每个目标框的类别置信度分class-specific confidence score以后，设置阈值，滤掉得分低的目标框，对保留的目标框进行NMS（非极大值抑制，non maximum suppression）处理，即得到最终的检测结果；即泳池人体目标所在的位置。
S125、利用所述处理结果中的训练集、验证集对所述初始网络进行训练和验证，并计算训练过程的损失值。
在本实施例中，损失值是指训练过程得到的结果与实际标注的标签之间的方差。
S126、当损失值维持不变时，利用所述处理结果中的测试集对所述初始网络进行测试，以将训练后的初始网络作为目标检测模型。
当损失值维持不变，即当前的网络已经收敛，即损失值基本不变且非常小，也表明当前的网络是可以作为候选的目标检测模型，一般是开始训练时损失值比较大，越往后训，损失值越小，倘若该损失值未维持不变，表明当前的网络不可以用作候选的目标检测模型，也就是检测出来的结果并不准确，会导致后期的干扰信号的分类也不准确；损失值不是维持不变，则调整网络各个层的参数，并执行所述将序列作为输入值，输入至网络内，进行网络的训练。
S130、将所述泳池人体目标检测框以及泳池人头目标检测框进行人头与人体关系的计算，并整合泳池人体目标检测框以及泳池人头目标检测框，以得到边界框序列。
在本实施例中，边界框序列是指人头框、人体框以及人头与人体的对应关系。
具体地，采用匈牙利算法计算所述泳池人体目标检测框以及泳池人头目标检测框的对应关系，将所述泳池人体目标检测框以及泳池人头目标检测框、对应关系组合，以得到边界框序列。
在一实施例中，上述的目标检测模型加上人头与人体关系的计算，可以替换为联合检测模型。
具体地，如图8所示，所述联合检测模型是通过若干个带有人头框标签以及人体框标签作为样本集训练卷积神经网络，且结合匈牙利算法计算人头和人体的对应关系所得的。
联合检测模型对每张图像中的人头和人体边界框进行检测，并自动计算人头和人体的对应关系，使得人体边界框以及与其对应的人头边界框属于同一个人。
为获得图8所示的联合检测模型的训练数据，从实际泳池视频监控场景拍摄5000张图像，然后对这些图像进行数据标注，数据标注内容是每张图像中每个人的人头边界框、人体边界框、人头或人体与水面的三种相对位置关系，包括“水上”、“水中”和“水下”，如图9所示。
在一实施例中，上述的联合检测模型执行步骤S120和步骤S130时，可具体包括：
利用ResNet50卷积网络提取所述图像的特征图。
在本实施例中，模型的输入是大小为
Figure DEST_PATH_IMAGE002
的游泳馆RGB彩色图像，也就是上述的图像，首先利用ResNet50卷积网络提取输入图像的特征图，大小为
Figure 250160DEST_PATH_IMAGE003
。
将特征图铺平，以得到向量。
在本实施例中，将特征图铺平变为一个长度为65000的向量。
将所述向量与正余弦位置编码向量相加后输入至Transformer编码器进行编码，以得到特征向量。
在本实施例中，特征向量是指向量与正余弦位置编码向量相加后输入至Transformer编码器进行编码所得的编码结果。
具体地，再将该向量与本领域常用的正余弦位置编码向量相加，结果输入至Transformer编码器；接下来编码器对输入进行编码，之后输出一个长度同样为65000、并且携带语义信息的特征向量。
将所述特征向量输入到一个Transformer解码器，结合接收的目标查询序列进行解码计算，以得到关键特征向量。
在本实施例中，关键特征向量是指特征向量结合接收的目标查询序列进行解码计算所得的结果。
将上一步得到的特征向量输入到一个Transformer解码器中，该解码器同时接收一个目标查询序列作为输入，该序列共包含100个从训练数据中学到的查询向量，最多支持检测100名泳客；解码器对输入的特征向量和查询序列进行经典的Transformer解码计算，输出100个长度为65000的关键特征向量，每个特征向量中均包含人头、人体检测所需的关键信息。
将所述关键特征向量输入至一个共享参数的预测头，以得到检测结果，其中，预测头包含一个人头框回归器、一个人体框回归器和一个前景/背景分类器。
在本实施例中，检测结果是指人头边界框以及人体边界框。
将这些关键特征向量输入至一个共享参数的预测头，该预测头包含一个人头框回归器、一个人体框回归器和一个前景/背景分类器，回归器负责计算人头和人体边界框的中心点坐标及宽高，分类器负责判别该查询器的检测结果是人的可能性，称之为前景置信度。由于游泳馆中实际人数可能小于100，获得人头、人体联合检测模型输出结果后，还需要根据每个检测输出对应的前景置信度进行过滤，提升检测结果的精度。
利用非极大抑制技术去掉所述检测结果中重叠的检测内容，以得到人头人体联合检测结果，即泳池人体目标检测框以及泳池人头目标检测框。
在本实施例中，人头人体联合检测结果是指不重复的泳池人体目标检测框以及泳池人头目标检测框。
利用经典的非极大抑制去掉重叠的检测内容，并输出最终人头、人体联合检测结果。
采用匈牙利算法计算人头人体联合检测结果中的人头和人体的对应关系，将人头人体联合检测结果、人头和人体的对应关系组合，以得到边界框序列。
为训练如图8所示的联合检测模型，需要人头、人体框标注以及人头和人体的对应关系标注。为减少标注工作量，降低数据采集成本，本专利仅需标注人头和人体编辑框，人头和人体的对应关系采用匈牙利算法计算人头与人体的最大匹配获得，其核心是计算任意一个（“人头”，“人体”）对之间的匹配代价。本专利定义该代价为人头与人体之间的“交”的面积除以人头的面积。
为实现模型的有效训练，首先在MS-COCO 2017对模型中的ResNet50、Transformer编码器以及解码器进行预训练，然后对所有网络模型参数进行微调，微调时采用AdamW优化器，初始学习率设为，Weight Decay参数设为，Batch Size设为24，Epoch设为300。
S140、将所述泳池人体目标检测框以及泳池人头目标检测框进行多相机融合，以得到人体框和人头框。
在本实施例中，人体框和人头框是指将述泳池人体目标检测框以及泳池人头目标检测框进行多相机融合，以进行泳池人体目标检测框以及泳池人头目标检测框进行对齐处理后得到的结果。
在一实施例中，上述的步骤S140可包括步骤S141~S148。
S141、确定参考相机图像以及待配准相机图像；
在本实施例中，参考相机图像是指作为参考的相机所拍摄的图像，待配准相机图像是指作为待配准相机所拍摄的图像；多个相机中任何相机都可以作为其他相机的参考相机，也可作为其他参考相机的待配准相机。
S142、标定参考相机以及待配准相机的内参。
在本实施例中，内参是指相机的内参。
具体地，通过张正友标定法获取参考相机以及待配准相机的内参。
S143、对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系。
在本实施例中，局部世界坐标系是指根据参考相机以及待配准相机定义的坐标系。
在一实施例中，上述的步骤S143可包括以下步骤：
对所述参考相机图像以及所述待配准相机图像进行矫正图像畸变，以得到矫正结果。
在本实施例中，矫正结果是指对所述参考相机图像以及所述待配准相机图像进行矫正图像去除畸变后得到的图像。
按照两个相机为一组，定义局部世界坐标系。
具体地，定义了一个米制尺度的局部世界坐标系
Figure DEST_PATH_IMAGE004
，即棋盘格左上角的角点为x-y平面的原点，棋盘格所在平面为z=1的平面，棋盘格所在平面为z=1的平面。由于该坐标系有真实的尺度，***很容易获取棋盘格角点的三维坐标，通过匹配的棋盘格角点和将局部坐标系下3d点投影到二维像素平面的像素误差的计算公式，能够为相机外参和特征点逆深度的优化问题提供可度量的尺度约束。除了棋盘格角点外，***还提取了SIFT特征点和泳池里的所有线段特征，为基于图优化的相机外参和特征点逆深度的优化问题提供更加丰富的约束，使得优化得到的几何变换
Figure 452733DEST_PATH_IMAGE005
，
Figure DEST_PATH_IMAGE006
，
Figure 785626DEST_PATH_IMAGE007
，
Figure DEST_PATH_IMAGE008
和特征点深度
Figure 521369DEST_PATH_IMAGE009
更加鲁棒。
S144、计算参考相机以及待配准相机之间的相对位姿。
在本实施例中，相对位姿是指参考相机以及待配准相机在对应的局部世界坐标系下的相对位置。
具体地，根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。
在一实施例中，上述的步骤S144可包括以下步骤：
根据所述矫正结果计算将局部世界坐标系下的3d点投影到二维像素平面的像素误差。
根据所述矫正结果计算参考相机以及待配准相机的像素平面中匹配点对的重投影误差。
在本实施例中，优化问题的具体约束如下所示，其中
Figure DEST_PATH_IMAGE010
表示将三维点转为三维齐次坐标，
Figure 281515DEST_PATH_IMAGE011
表示将三维齐次坐标转为二维坐标，
Figure DEST_PATH_IMAGE012
将二维像素坐标
Figure 236964DEST_PATH_IMAGE013
转为三维齐次坐标
Figure DEST_PATH_IMAGE014
，
Figure 373547DEST_PATH_IMAGE015
、
Figure DEST_PATH_IMAGE016
、
Figure 229376DEST_PATH_IMAGE017
分别表示3种投影残差，其维度分别为2*1，2*1，2*1。
Figure 488320DEST_PATH_IMAGE015
和
Figure 773807DEST_PATH_IMAGE016
表示将局部坐标系下3d点投影到二维像素平面的像素误差，
Figure 917344DEST_PATH_IMAGE017
表示2个相机像素平面中匹配点对的重投影误差。具体计算如下：
Figure DEST_PATH_IMAGE018
；
Figure 394724DEST_PATH_IMAGE019
；
Figure DEST_PATH_IMAGE020
；其中，
Figure 762251DEST_PATH_IMAGE021
、
Figure DEST_PATH_IMAGE022
和
Figure 925248DEST_PATH_IMAGE023
分别表示3*3的相机内参矩阵、3*3的旋转矩阵、3*1的平移向量，下标代表所在坐标系，例如
Figure 731530DEST_PATH_IMAGE005
表示从世界坐标系
Figure 781526DEST_PATH_IMAGE004
到相机坐标系
Figure DEST_PATH_IMAGE024
的旋转，
Figure 805108DEST_PATH_IMAGE008
表示从世界坐标系
Figure 65188DEST_PATH_IMAGE004
到相机坐标系
Figure 550527DEST_PATH_IMAGE025
的平移，矩阵的上标-1表示矩阵的逆。
Figure DEST_PATH_IMAGE026
、
Figure 235455DEST_PATH_IMAGE027
和
Figure DEST_PATH_IMAGE028
表示点的坐标，上标为则2d-un表示是去畸变的二维像素点，下标
Figure 944785DEST_PATH_IMAGE024
和
Figure 426582DEST_PATH_IMAGE025
表示该点是对应相机坐标系上的像素点。
根据所述矫正结果计算待配准相机投影的端点到由实际端点连接而成的直线的垂直距离，得到两个新的距离误差。
具体地，给定
Figure 478063DEST_PATH_IMAGE029
和
Figure DEST_PATH_IMAGE030
表示
Figure 502651DEST_PATH_IMAGE024
相机坐标系下第j个线特征的端点，通过
Figure 976358DEST_PATH_IMAGE031
和
Figure DEST_PATH_IMAGE032
计算
Figure 601243DEST_PATH_IMAGE033
和
Figure DEST_PATH_IMAGE034
，
Figure 959543DEST_PATH_IMAGE033
和
Figure 697692DEST_PATH_IMAGE034
分别表示二维像素点
Figure 968398DEST_PATH_IMAGE029
和
Figure 424788DEST_PATH_IMAGE030
在世界坐标系
Figure 790041DEST_PATH_IMAGE004
下的三维空间点，然后通过
Figure 648276DEST_PATH_IMAGE035
和
Figure DEST_PATH_IMAGE036
投影到
Figure 853998DEST_PATH_IMAGE025
相机坐标系下得到齐次坐标
Figure 673049DEST_PATH_IMAGE037
和
Figure DEST_PATH_IMAGE038
，从而计算直线的线特征参数
Figure 389464DEST_PATH_IMAGE039
。而从
Figure 102205DEST_PATH_IMAGE025
相机获取的图片上直接计算得到第j个线特征端点为
Figure DEST_PATH_IMAGE040
和
Figure 963982DEST_PATH_IMAGE041
，然后分别计算投影的端点
Figure 394963DEST_PATH_IMAGE037
和
Figure 616866DEST_PATH_IMAGE038
，到由实际端点
Figure 449692DEST_PATH_IMAGE040
和
Figure 216791DEST_PATH_IMAGE041
连接而成的直线的垂直距离，得到两个新的距离误差
Figure DEST_PATH_IMAGE042
和
Figure 26747DEST_PATH_IMAGE043
。
其中，
Figure 927706DEST_PATH_IMAGE025
相机为待配准相机；
Figure 224827DEST_PATH_IMAGE024
相机为参考相机。
根据所述像素误差、所述重投影误差以及两个新的距离误差进行求和，并通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。
具体地，将所述像素误差、所述重投影误差以及两个新的距离误差这5种误差求和可以融合直线匹配和特征点匹配的约束，通过最小化误差和可以分别计算得到的每一对相机在人为定义的世界坐标系
Figure 553040DEST_PATH_IMAGE004
下的姿态。
S145、通过所述相对位姿关联多个相机，以建立全局统一世界坐标系。
在本实施例中，全局统一世界坐标系是指所有相机都参照的空间坐标系。
确定参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿，便能够计算得到各个相机之间的几何变换，从而建立一个全局统一的世界坐标系
Figure DEST_PATH_IMAGE044
。
S146、确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿。
在本实施例中，各个相机的空间位姿是指全局统一世界坐标系下的各个相机的位置。通过人为定义1号相机为世界坐标系
Figure 348826DEST_PATH_IMAGE044
的原点，即位姿为单位矩阵
Figure 928843DEST_PATH_IMAGE045
和
Figure DEST_PATH_IMAGE046
。随后，根据1和2号相机之间的相对位姿
Figure 736263DEST_PATH_IMAGE047
和
Figure DEST_PATH_IMAGE048
，计算得到2号相机在
Figure 392634DEST_PATH_IMAGE044
中的位姿
Figure 895291DEST_PATH_IMAGE049
和
Figure DEST_PATH_IMAGE050
。多次重复，从而分别得到多个相机在
Figure 793845DEST_PATH_IMAGE044
中的位姿。
S147、将所述边界序列映射到所述全局统一世界坐标系中，且依据所述泳池人体目标检测框以及泳池人头目标检测框的中心点位置、边界框的大小计算不同图像中两个框的匹配度。
在本实施例中，匹配度是指不同图像中人体框和人头框的匹配程度，以确保匹配程度高的属于同一个人。
S148、筛选出匹配度超过设定阈值的人体框和人头框，以得到人体框和人头框。
在本实施例中，采用“张正友标定法”计算六架相机的内参和外参，对场景进行三维重建，构建一个统一的全局统一世界坐标系，即全局统一世界坐标系，并将检测到的所有人头框映射到该坐标系中，再依据中心点位置、边界框的大小等信息计算不同图像中两个框的匹配度，设置一个阈值
Figure 924612DEST_PATH_IMAGE051
，当匹配度大于
Figure 469994DEST_PATH_IMAGE051
时，则对应的两个边界框属于同一个人，因此，对于一个人，最多可以获得六个来自不同相机的边界框。
S150、将所述人体框和所述人头框输入至相对位置判别模型内进行人体和人头与水面的相对位置关系的确定，以得到相对位置关系序列。
在本实施例中，相对位置关系序列是指人体和人头与水面的相对位置关系。
所述相对位置判别模型是通过若干个带有相对位置关系标签的人头图像作为样本集训练卷积网络所得的。
请参阅图10，识别人头或人体与水面相对位置关系的卷积网络模型即相对位置判别模型架构如图10所示。该网络输入为一张100×100×3的人头或人体图像，此处100为图像的宽和高，3表示彩色图像的三个通道。为获得大小统一为100×100的图像，针对人头，首先将原始人头框转换为一个正方形框，转换后的正方形框的中心和原边界框相同，边长等于原始边界框的最大边长。然后基于转换后的边界框从视频帧裁出人头图像，最后利用“数字图像处理”中的经典“双线性插值”方法将该图像缩放为100×100大小；针对人体，直接基于人体框裁处人体图像，然后将其缩放为大小为100×100的正方形图像。
上述卷积网络即相对位置判别模型的前向传播计算流程包含八个步骤：步骤一、采用尺寸为11×11的卷积核，步长为4，填充参数为2的卷积操作处理输入图像。然后对该特征图执行池化核大小为3×3，池化步长为2的最大池化操作，再用ReLU函数对池化结果进行非线性映射，输出尺寸为11×11×64的特征图，这里11为特征图的宽和高，64为特征图的通道个数；步骤二、采用尺寸为5×5的卷积核，步长为1，填充参数为2的卷积操作处理步骤一输出的特征图。然后对该特征图执行池化核大小为3×3，池化步长为2的最大池化操作，再用ReLU函数对池化结果进行非线性映射，输出尺寸为5×5×192的特征图，这里5为特征图的宽和高，192为特征图的通道个数；步骤三、采用尺寸为3×3的卷积核，步长为1，填充参数为1的卷积操作处理步骤二输出的特征图，再利用ReLU函数对卷积操作的输出进行非线性映射，输出尺寸为5×5×384的特征图，这里5为特征图的宽和高，384为特征图的通道个数；步骤四、采用尺寸为3×3的卷积核，步长为1，填充参数为1的卷积操作处理步骤三输出的特征图，再利用ReLU函数对卷积操作的输出进行非线性映射，输出尺寸为5×5×256的特征图，这里5为特征图的宽和高，256为特征图的通道个数；步骤五、采用尺寸为3×3的卷积核，步长为1，填充参数为1的卷积操作处理步骤四输出的特征图，然后对卷积操作所输出的特征图执行池化核大小为3×3，池化步长为2的最大池化操作，再利用ReLU函数对卷积操作的输出进行非线性映射，输出尺寸为2×2×256的特征图，这里2为特征图的宽和高，256为特征图的通道个数；步骤六、利用线性函数将步骤五输出的特征图映射为长度为512的特征向量，再利用ReLU函数对该向量进行非线性映射；步骤七、利用线性函数将步骤六输出的特征向量映射为相同长度的特征向量，再利用ReLU函数对该向量进行非线性映射；步骤八、利用线性函数将步骤七输出的特征向量映射为长度为3的分数向量，记为
Figure DEST_PATH_IMAGE052
。***利用
Figure 741838DEST_PATH_IMAGE053
，获得目标与水面的相对位置关系
Figure DEST_PATH_IMAGE054
；这里，
Figure 788291DEST_PATH_IMAGE055
表示向量
Figure 852194DEST_PATH_IMAGE052
的第
Figure DEST_PATH_IMAGE056
个分量。这里
Figure 99635DEST_PATH_IMAGE057
表示“水上”，
Figure DEST_PATH_IMAGE058
表示“水中”，
Figure 967097DEST_PATH_IMAGE059
表示水下。
卷积网络模型的参数训练基于“分批随机梯度下降算法”进行，批大小为64。为提升模型泛化性能，对随机取出的每一批训练数据进行常规增广处理，增广方法包括将图像随机旋转0~±10°、随机水平翻转、随机缩放裁剪、随机颜色改变等。训练前对卷积网络模型的参数进行随机初始化，设置初始学习率为，并设置学习率按照每100代衰减为原来的0.1倍，训练的总代数设置为400，损失函数设置为经典交叉熵损失。
在一实施例中，上述的步骤S150还可以由以下步骤实现：
根据所述总图像计算泳池水面在空间中的平面坐标方程，以得到水平面的空间表达式。
在本实施例中，水平面的空间表达式是指泳池水面在空间中的平面坐标方程，该空间是指全局统一世界坐标系下的空间。
在一实施例中，上述的根据所述总图像计算泳池水面在空间中的平面坐标方程，以得到水平面的空间表达式可包括以下步骤：
对所述总图像进行掩膜掩码，并提取相机所拍摄的图像的水平面特征点，以得到特征点。
在本实施例中，特征点是指相机拍摄的图像中的水平面特征点。
确定所述特征点的三维坐标。
由于前面的多相机空间融合步骤，已经得到各个相机姿态之间的变换矩阵，即各个相机的空间位姿。因此，对图像增加mask掩码，提取和匹配两个相机图像的水平面特征点之后，能够通过三角化得到特征点的三维坐标，并且三维坐标的尺度和相机间的相对位姿的尺度保持一致，即真实的米制尺度。
构建空间表达式，并利用所述特征点的三维坐标进行空间表达式的优化，以得到水平面的空间表达式。
在本实施例中，所述水平面的空间表达式为
Figure DEST_PATH_IMAGE060
，其中，
Figure 708919DEST_PATH_IMAGE061
，
Figure DEST_PATH_IMAGE062
为残差。
通过不共线的3个及以上的特征点的三维坐标能够拟合水平面，水平面的数学表达式为
Figure 486382DEST_PATH_IMAGE060
。然而，由于泳池内相机两两之间视差大，泳池水平面环境相似，得到的匹配点对大部分是错误的，用RANSAC算法对SIFT特征匹配筛选时，无法筛选得到正确的匹配点对。通过人在回路的思想，可以筛选得到正确的匹配点对，从而恢复出特征点的空间坐标。然而，由于泳池内相机两两之间视差大，相机距离水面远，因此远距离的水面点恢复出来的空间坐标存在误差，导致最终的拟合的平面参数存在误差。
为了提高平面拟合精度，构造了一个优化问题。由于多个相机能共视平面，通过平面点
Figure 622835DEST_PATH_IMAGE063
到平面的距离应为0，***构建了一个优化问题，其残差为
Figure DEST_PATH_IMAGE064
，优化平面参数。以
Figure 118538DEST_PATH_IMAGE065
作为参数，则泳池水平面计算就是在水面上提取
Figure DEST_PATH_IMAGE066
个匹配的特征点，根据计算得其三维坐标，通过最小化下面公式来优化水平面参数
Figure 386753DEST_PATH_IMAGE061
。
根据不同相机下的人头框结合各个相机的空间位姿进行多相机人头位置的匹配，以得到人头空间位置。
在本实施例中，人头空间位置是指人头所在泳池的具***置。
在一实施例中，上述的根据不同相机下的人头框结合各个相机的空间位姿进行多相机人头位置的匹配，以得到人头空间位置可包括以下步骤：
借助泳道的自然区域划分和根据各个相机的空间位姿确定相机朝向的先验信息，将人头框的像素映射到其他相机的像素平面的某一区域，以得到目标区域。
在本实施例中，目标区域是指将当前的人头框的像素映射到其他相机的像素平面的某一区域所对应的这个区域。
根据多个相机的区域置信度先验，确定各个相机在所述目标区域下检测到人头的置信度。
在本实施例中，人头的置信度是指各个相机在该目标区域中能检测到人头的概率。
筛选置信度最高的三个相机，并确定相机的朝向先验，以得到目标相机；
细致化划分所述目标区域及所述目标区域的邻域，检索所述目标相机对应的人头框；
确定所述目标相机对应的人头框在统一空间坐标系的三维坐标，以得到人头空间位置。
在本实施例中，统一空间坐标系指的是全局统一世界坐标系。
相机的朝向先验是指相机在统一空间坐标系下的位置。
由于相机视域宽广和多相机间的大视差，多相机像素空间映射困难，因此，在多相机融合技术上提出了层次化区域映射。如图6所示，借助泳道的自然区域划分和相机朝向的先验信息，能够将目标像素映射到其他相机的像素平面的某一区域。然后，根据多个相机的区域置信度先验，来判断各个相机在该区域下检测到人头的置信度，从而过滤出区域置信度最高的至多三个相机。进一步根据选出的相机的朝向先验，细致化划分该区域及其邻域，检索匹配的人头。然后三角化人头像素点
Figure 612198DEST_PATH_IMAGE067
、
Figure DEST_PATH_IMAGE068
和
Figure 201442DEST_PATH_IMAGE069
，能够得到人头在统一空间坐标系的三维坐标
Figure 902551DEST_PATH_IMAGE026
，即人头空间位置。
计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果。
在本实施例中，计算结果是指人头空间位置到水平面的距离以及人头位于水平面法向量的方向。
具体地，根据所述人头空间位置和水平面的空间表达式，计算人头到水平面的距离以及位于水平面法向量的方向，以得到计算结果。
根据所述计算结果确定人头位置与水面的关系。
根据人头的空间位置
Figure DEST_PATH_IMAGE070
和水平面的空间表达式，能够计算人头到水平面的距离
Figure 969864DEST_PATH_IMAGE071
，和位于水平面法向量
Figure DEST_PATH_IMAGE072
的方向，记为
Figure 207073DEST_PATH_IMAGE073
。联合
Figure 826273DEST_PATH_IMAGE073
和
Figure 358885DEST_PATH_IMAGE071
能够判断人头与水面的状态，即水上、水下和水面，从而达到预警的功效。
结合人头到水平面的距离
Figure 964310DEST_PATH_IMAGE071
，和位于水平面法向量
Figure 898768DEST_PATH_IMAGE072
的方向，可综合判断得到人头是位于水上、水下和水面中的哪一种状态。
通过多个相机拍摄的图像进行人头目标检测后，结合人头框以及多相机空间融合技术进行人头位置匹配，以确定人头空间位置，并计算人头空间位置到水平面的距离以及位于水平面法向量的方向，由此确定人头与水面的关系，实现自动监管泳池人体的人头与水面的位置关系，提高监管效率和防溺水监管准确率。
S160、将所述人体框、所述人头框以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹。
在本实施例中，人体跟踪轨迹是指人体移动的轨迹。
在一实施例中，上述的步骤S160可包括步骤S161~S162。
S161、根据相邻两帧的对齐后的所述边界框序列以及所述相对位置关系序列计算相邻两帧之间每两个人体之间的距离，以得到距离矩阵。
在本实施例中，距离矩阵是指每两个人体之间的距离构成的矩阵。
具体地，如图11所示，对相邻两帧的人体进行跟踪，为获得准确跟踪结果，对于每个人体提取其深度检测特征，之后对于第t帧中的人体a和第t+1帧中的人体b，计算他们的距离
Figure DEST_PATH_IMAGE074
为：
Figure 344662DEST_PATH_IMAGE075
，
Figure DEST_PATH_IMAGE076
表示利用联合检测模型提取的某个人体的特征，
Figure 36674DEST_PATH_IMAGE077
表示a、b对应的两个人体在三维坐标系中的欧氏距表示利用联合检测模型提取的某个人体的特征，
Figure DEST_PATH_IMAGE078
表示人体特征向量的长度，D表示泳池对角线的长度，
Figure 196522DEST_PATH_IMAGE009
是一个可以调节的常数。
S162、将所述距离矩阵采用匈牙利匹配算法计算相邻两帧的人体框的匹配关系，以得到人体跟踪轨迹。
基于
Figure 126432DEST_PATH_IMAGE075
算出相邻两帧之间每两个人体之间的距离，获得一个距离矩阵，再将该矩阵输入至经典的匈牙利匹配算法，获得第t+1帧和第t帧人体框的匹配关系，也就获得了第t+1帧中人体和人头的ID，从而实现了对人体和人头目标的跟踪。
通过摄像头的流完成对画面中人的检测，跟踪，人体姿态估计和行为识别。算法识别软件可以确定游泳者何种情况下为溺水状态，这会触发预警倒计时状态。在短暂的倒计时之后，溺水警报会直接发送给泳池救生员，与没有这项技术的游泳池相比，如果发生潜在的溺水事件，可以更早地警告救生员。
在另一实施例中，进行人体运动轨迹跟踪时，还可以采用DeepSORT算法进行目标跟踪，以得到人体跟踪轨迹。
请参阅图4，融合目标表观特征、运动轨迹、空间位置关系实现跨摄像头的目标匹配跟踪。对画面中人的检测、跟踪，再结合人体姿态估计和行为识别。算法识别软件可以确定游泳者何种情况下为溺水状态，这会触发预警倒计时状态。在短暂的倒计时之后，溺水警报会直接发送给泳池救生员，与没有这项技术的游泳池相比，如果发生潜在的溺水事件，可以更早地警告救生员。
在一实施例中，上述的采用DeepSORT算法进行目标跟踪，以得到人体跟踪轨迹可包括以下步骤。
根据所述人体框建立***。
在本实施例中，***是指DeepSORT该目标跟踪算法。DeepSORT是一个基于Tracking-by-Detection策略的多目标跟踪算法。
构建运动估计模型，并对所述运动估计模型进行估计，以得到下一帧泳池人体目标的位置。
在本实施例中，下一帧泳池人体目标的位置是指相对于当前帧的泳池人体目标检测框而言的下一帧泳池人体目标检测框。
具体地，所述运动估计模型为卡尔曼滤波模型。采取卡尔曼滤波作为运动估计模型，根据估计下一帧中目标的位置与目标检测网络检测到的目标位置即泳池人体目标检测框进行数据关联。
将所述人体框以及下一帧泳池人体目标的位置进行数据关联，以得到泳池人体目标游动轨迹。
在本实施例中，将人体框以及下一帧泳池人体目标的位置进行数据关联，一般融合目标的运动信息以及目标的特征信息。
具体地，将所述人体框以及下一帧泳池人体目标的位置的运动信息以及特征信息进行融合，以得到泳池人体目标游动轨迹。
在一实施例中，上述的将所述人体框以及下一帧泳池人体目标的位置进行数据关联，以得到泳池人体目标游动轨迹可包括以下步骤：
计算所述人体框以及下一帧泳池人体目标的位置的相似度距离分。
在本实施例中，相似度距离分是指所述泳池人体目标检测框以及下一帧泳池人体目标的位置的马氏距离，计算该分值后可用于计算相似度矩阵。
具体地，描述运动关联程度使用了马氏距离作为距离函数。其中
Figure 87435DEST_PATH_IMAGE079
表示的是第个检测结果，即提及的泳池人体目标检测框，
Figure DEST_PATH_IMAGE080
表示第个跟踪结果，即提及的目标跟踪得到的下一帧泳池人体目标的位置，
Figure 984853DEST_PATH_IMAGE081
表示
Figure 56714DEST_PATH_IMAGE079
和
Figure 106710DEST_PATH_IMAGE080
所计算的协方差矩阵，其意义是计算检测目标
Figure 973035DEST_PATH_IMAGE079
和跟踪目标
Figure 859213DEST_PATH_IMAGE080
的相关性。最终的
Figure DEST_PATH_IMAGE082
就是检测结果与跟踪结果通过匈牙利算法匹配计算的到的马氏距离，计算公式如下：
Figure 875711DEST_PATH_IMAGE083
。
通过cosine距离度量所述人体框以及下一帧泳池人体目标的位置的外观特征之间的距离，以得到外观特征距离。
在本实施例中，外观特征距离是人体框以及下一帧泳池人体目标的位置指外观特征之间的距离。
使用cosine距离即余弦距离
Figure DEST_PATH_IMAGE084
来度量外观特征之间的距离，
Figure 560639DEST_PATH_IMAGE085
表示的是对于每个检测框
Figure 597865DEST_PATH_IMAGE079
所计算的外观特征，
Figure DEST_PATH_IMAGE086
表示的是每个跟踪轨迹
Figure 751766DEST_PATH_IMAGE087
所计算的外观特征，其中
Figure DEST_PATH_IMAGE088
为所有具有互相关的
Figure 57107DEST_PATH_IMAGE086
一组集合，
Figure 816116DEST_PATH_IMAGE089
则计算的是两个外观特征的余弦相似度。通过cosine距离来度量跟踪目标的外观特征和检测目标的外观特征，可以更准确地预测ID，计算公式如下：
Figure DEST_PATH_IMAGE090
。
对所述相似度距离分以及所述外观特征距离进行加权处理，以得到相似度矩阵。
在本实施例中，相似度矩阵是指泳池人体目标检测框以及下一帧泳池人体目标的位置从相似度距离分以及外观特征距离的相似程度。
具体地，相似度矩阵（Cost Matrix）：
Figure 945615DEST_PATH_IMAGE091
就可以通过相似度距离分以及所述外观特征距离的加权得到：
Figure DEST_PATH_IMAGE092
。
Figure 180287DEST_PATH_IMAGE009
为相似度距离分的加权系数。
设定匹配的度量准则。
在本实施例中，匹配的度量准则是指决定怎么样的轨迹属于当前泳池人体目标匹配的轨迹的规则。
具体地，对相似度距离分设立一定的阈值作为匹配的度量准则，最终同时考虑了目标运动信息的关联以及目标图像特征信息的关联，匹配问题可等效为二分图的最优匹配问题，二分图的最优匹配问题采用匈牙利匹配方法解决。
使用门控矩阵限制所述相似度矩阵中不符合要求的数值，在一个默认迭代次数的循环匹配过程中，将泳池人体目标检测框与泳池人体目标的轨迹进行级联匹配，以得到泳池人体目标游动轨迹。
具体地，请参阅图5，首先使用两个参数：门控阈值（gating_threshold）和最大特征余弦距离（max_distance）转换为门控矩阵（Gate Matrix），用于限制相似度矩阵中过大的值。随后，在一个默认迭代次数为70（max_age=70）的循环匹配过程中，将目标的轨迹与目标的检测结果进行匹配。没有丢失过的轨迹优先匹配，丢失较为久远的就靠后匹配。
在本实施例中，所述泳池人体目标的轨迹是由运动估计模型估计所得的所有泳池人体目标的位置组成的轨迹。目标的检测结果是指人体框。
S170、根据所述边界框序列更新状态数据库。
在一实施例中，上述的根据所述边界框序列更新状态数据库可包括以下步骤：
计算当前帧所述边界框序列中每一个人头框与状态数据库中已有人头的匹配关系，以得到匹配关系。
在本实施例中匹配关系包括与状态数据库内的已有人头匹配成功或者匹配失败两种关系。
根据所述匹配关系更新所述状态数据库。
为分析泳情，实现对可能发生的溺水行为的动态跟踪与实时监听，在本实施例中，构建一个记录游泳馆中所有人的头部与水面位置关系的数据库，称之为状态数据库。为状态数据库中的每个人头维护一个四元组（ID, Trj, Pos, Time），其中ID表示人头编号，Trj表示当前时刻之前100帧内的人头边界框的中心点坐标轨迹，Pos表示当前时刻之前100帧内人头与水面的位置关系记录，Time表示当前时刻之前100帧对应的具体时间。Trj、Pos、Time均为最大长度为100的“先进先出”队列，从队首算起，队列中的第个元素表示当前时刻之前第帧的人头信息。
设置人头跟踪环节负责对该数据库进行更新。该环节每次接收到人头位置识别模块的识别结果时，也就是当前帧中所有的人头边界框及其位置，便启动跟踪算法计算当前帧的每一个人头与状态数据库中已有人头的匹配关系，后续处理分为三种情况：一是匹配成功，则更新对应人头的四元组数据；二是匹配失败，则添加新的人头记录；三是找出数据库中缺失匹配关系的人头，然后删除其对应的队列。
S180、根据所述状态数据库生成警示信息，并发送所述警示信息至终端。
在本实施例中，根据所述状态数据内的人头框在水下的时间确定溺水状态，根据出现溺水状况的人头框以及人体框生成警示信息，并发送所述警示信息至终端。
另外，还可以设置个实时监听模块，基于状态数据库中的人头状态实现溺水情况实时判断，在识别出有人溺水时发出泳情警报。该模块每0.5秒对人头状态数据库进行查询，并依据以下规则进行报警：
人头在水下的时间≥5秒，即判断为溺水，发出警示。
人头与水面的相对位置关系保持时间≥10秒，即判断为溺水，发出警示。
当某个人头的“水上”、“水下”状态的切换频率≥3次/秒，且移动距离＜30厘米，***发出警示。
通过摄像头的流完成对画面中人的检测，跟踪，人体姿态估计和行为识别。算法识别软件可以确定游泳者何种情况下为溺水状态，这会触发预警倒计时状态。在短暂的倒计时之后，溺水警报会直接发送给泳池救生员，与没有这项技术的游泳池相比，如果发生潜在的溺水事件，可以更早地警告救生员。
在游泳池特定位置安装防水、防雾摄像机，采集相关图像和数据等信息，通过服务器行为分析、模式识别、人工智能、自动控制、报警等技术，为游泳馆提供智能化报警和溺水事故录像，保证游泳者的生命安全，避免溺水死亡事故的发生，避免巨大的经济赔偿，把人的安全、人的生命、人的健康环境放在重要的位置，体现了“关爱生命，救助他人”的人文思想和设计理念。
结合硬件设备，自动发现、识别、判断溺水者、潜在溺水者和疑似溺水者，并自动报警。通过现场显示器，自动进行报警。显示溺水者的方位。智能化监控***由服务器、防水球形摄像机、现场监视屏、报警装置、录像和储存***、各类传感器、声光报警器、线缆、管材以及现场救生员等组成。***硬件构成采用高可靠性高性能的计算机***，完全防水式设计并在危险发生的瞬间给出具体方位指引。
一是有效预防溺水事故。该方法的防溺水智能***的核心技术，是基于人（和人头）的检测跟踪算法，基于图像（多人）目标检测和视频动作识别、深度学***，可靠性高，成果复制推广简便。可在全省并向国家体育总局推广，将有力保障游泳场馆中的人身安全，让泳池再无一起溺水事故。
二是提升对安全指导员的监管和治理，基于安全指导员、救生员的实时状态监控，捕捉人员的在岗情况。保证安全指导员的实际工作状态，是对泳池运动用户的安全负责，也能够根据反馈情况在***中灵活调配安全指导员的工作任务。以这种数字化识别判断的方式去处理安全指导员在离岗问题，加强游泳馆对内部人员的规范及监管能力。
三是优化运动场馆管理。该***主要应用于游泳场馆，场景具有一定的特殊性，但其智慧化管理模型可推广至其他密闭场馆，研究构建智慧化安全管理***。同时，动态数据识别、采集、跟踪、分析等原理可运用到亚运会等国际国内大型综合性运动会管理上，通过人工智能进行辅助决策、方案优化和资源调配，提高赛事及场馆运行的科学性、经济性。
四是实现体育管理的数据化。在粗放式场馆经营管理的模式中，职能部门无法有效获取到场馆相关的服务人群数据、安全数据。无法有效进行管理指导，规范制定，通过项目的完成，将从以上多个缺口突破，形成全方面实时的数据，并形成场馆安全库。
上述的泳池防溺水监管方法，通过获取多个相机所拍摄的图像，通过目标检测模型进行人体和人头检测后，在进行对应关系的计算，使得人体边界框以及与其对应的人头边界框属于同一个人；将泳池人体目标检测框以及泳池人头目标检测框进行多相机融合，对不同图像中检测出来的边界框进行对齐，使得人体框以及人头框属于同一个人；再确定人体和人头与水面的相对位置关系，识别出场景中每一个人的头部和身体与水面的相对位置关系；并将人体框和人头框以及位置关系作为输入进行人体自动跟踪，将跟踪所得的结果发送至终端，并更新状态数据库，根据所述状态数据库生成警示信息，并发送警示信息至终端，实现全自动监管泳池的目标人体，提高防溺水监管准确率。
图12是本发明实施例提供的一种泳池防溺水监管装置300的示意性框图。如图12所示，对应于以上泳池防溺水监管方法，本发明还提供一种泳池防溺水监管装置300。该泳池防溺水监管装置300包括用于执行上述泳池防溺水监管方法的单元，该装置可以被配置于服务器中。具体地，请参阅图12，该泳池防溺水监管装置300包括图像获取单元301、目标检测单元302、关系计算单元303、融合单元304、位置序列获取单元305、关联单元306、更新单元307以及警示单元308。
图像获取单元301，用于获取多个相机所拍摄的图像；目标检测单元302，用于将所述图像输入至目标检测模型内进行人体和人头的检测，以得到泳池人体目标检测框以及泳池人头目标检测框；关系计算单元303，用于将所述泳池人体目标检测框以及泳池人头目标检测框进行人头与人体关系的计算，并整合泳池人体目标检测框以及泳池人头目标检测框，以得到边界框序列；融合单元304，用于将所述泳池人体目标检测框以及泳池人头目标检测框进行多相机融合，以得到人体框和人头框；位置序列获取单元305，用于将所述人体框和所述人头框输入至相对位置判别模型内进行人体和人头与水面的相对位置关系的确定，以得到相对位置关系序列；关联单元306，用于将所述人体框、所述人头框以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹；更新单元307，用于根据所述边界框序列更新状态数据库；警示单元308，用于根据所述状态数据库生成警示信息，并发送所述警示信息至终端。
在一实施例中，所述关系计算单元303，用于采用匈牙利算法计算所述泳池人体目标检测框以及泳池人头目标检测框的对应关系，将所述泳池人体目标检测框以及泳池人头目标检测框、对应关系组合，以得到边界框序列。
在一实施例中，所述融合单元304包括：
图像确定子单元，用于确定参考相机图像以及待配准相机图像；内参标定子单元，用于采用张正友标定法标定参考相机以及待配准相机的内参和外参；第一预处理子单元，用于对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系；位姿计算子单元，用于计算参考相机以及待配准相机之间的相对位姿；关联子单元，用于通过所述相对位姿关联多个相机，以建立全局统一世界坐标系；位置确定子单元，用于确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿；匹配度计算子单元，用于将所述边界序列映射到所述全局统一世界坐标系中，且依据所述泳池人体目标检测框以及泳池人头目标检测框的中心点位置、边界框的大小计算不同图像中两个框的匹配度；筛选子单元，用于筛选出匹配度超过设定阈值的人体框和人头框，以得到人体框和人头框。
在一实施例中，所述关联单元306包括矩阵生成子单元以及匹配关系计算子单元。
矩阵生成子单元，用于根据相邻两帧的所述人体框和所述人头框以及所述相对位置关系序列计算相邻两帧之间每两个人体之间的距离，以得到距离矩阵；匹配关系计算子单元，用于将所述距离矩阵采用匈牙利匹配算法计算相邻两帧的人体框的匹配关系，以得到人体跟踪轨迹。
在一实施例中，所述警示单元308，用于根据所述状态数据内的人头框在水下的时间确定溺水状态，根据出现溺水状况的人头框以及人体框生成警示信息，并发送所述警示信息至终端。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述泳池防溺水监管装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述泳池防溺水监管装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图13所示的计算机设备上运行。
请参阅图13，图13是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图13，该计算机设备500包括通过***总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作***5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种泳池防溺水监管方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种泳池防溺水监管方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取多个相机所拍摄的图像；将所述图像输入至目标检测模型内进行人体和人头的检测，以得到泳池人体目标检测框以及泳池人头目标检测框；将所述泳池人体目标检测框以及泳池人头目标检测框进行人头与人体关系的计算，并整合泳池人体目标检测框以及泳池人头目标检测框，以得到边界框序列；将所述泳池人体目标检测框以及泳池人头目标检测框进行多相机融合，以得到人体框和人头框；将所述人体框和所述人头框输入至相对位置判别模型内进行人体和人头与水面的相对位置关系的确定，以得到相对位置关系序列；将所述人体框、所述人头框以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹；根据所述边界框序列更新状态数据库；根据所述状态数据库生成警示信息，并发送所述警示信息至终端。
在一实施例中，处理器502在实现所述目标检测模型是通过若干个带有人体目标所在位置标签以及人头目标所在位置标签的图像作为样本集训练卷积神经网络所得的步骤时，具体实现如下步骤：
构建带有人体目标所在位置标签以及人头目标所在位置标签的图像作为样本集；对所述样本集进行划分，以得到训练集、验证集以及测试集；对所述训练集、验证集以及测试集进行增强处理，以得到处理结果；构建Yolov5网络，并在Yolov5网络添加DLA-34网络、Semantic Self-Attention机制以及Anchor-free网络，以得到初始网络；利用所述处理结果中的训练集、验证集对所述初始网络进行训练和验证，并计算训练过程的损失值；当损失值维持不变时，利用所述处理结果中的测试集对所述初始网络进行测试，以将训练后的初始网络作为目标检测模型。
在一实施例中，处理器502在实现所述构建Yolov5网络，并在Yolov5网络添加DLA-34网络、Semantic Self-Attention机制以及Anchor-free网络，以得到初始网络步骤时，具体实现如下步骤：
构建Yolov5网络；在所述Yolov5网络添加DLA-34网络作为主干网络，进行提取特征，以得到第一网络；在所述第一网络添加Semantic Self-Attention机制，以得到第二网络；在第二网络的目标回归框网络中使用Anchor-free网络，以得到初始网络。
在一实施例中，处理器502在实现所述将所述泳池人体目标检测框以及泳池人头目标检测框进行人头与人体关系的计算，并整合泳池人体目标检测框以及泳池人头目标检测框，以得到边界框序列步骤时，具体实现如下步骤：
采用匈牙利算法计算所述泳池人体目标检测框以及泳池人头目标检测框的对应关系，将所述泳池人体目标检测框以及泳池人头目标检测框、对应关系组合，以得到边界框序列。
在一实施例中，处理器502在实现所述将所述泳池人体目标检测框以及泳池人头目标检测框进行多相机融合，以得到人体框和人头框步骤时，具体实现如下步骤：
确定参考相机图像以及待配准相机图像；采用张正友标定法标定参考相机以及待配准相机的内参和外参；对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系；计算参考相机以及待配准相机之间的相对位姿；通过所述相对位姿关联多个相机，以建立全局统一世界坐标系；确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿；将所述边界序列映射到所述全局统一世界坐标系中，且依据所述泳池人体目标检测框以及泳池人头目标检测框的中心点位置、边界框的大小计算不同图像中两个框的匹配度；筛选出匹配度超过设定阈值的人体框和人头框，以得到人体框和人头框。
在一实施例中，处理器502在实现所述将所述人体框、所述人头框以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹步骤时，具体实现如下步骤：
根据相邻两帧的所述人体框和所述人头框以及所述相对位置关系序列计算相邻两帧之间每两个人体之间的距离，以得到距离矩阵；将所述距离矩阵采用匈牙利匹配算法计算相邻两帧的人体框的匹配关系，以得到人体跟踪轨迹。
在一实施例中，处理器502在实现所述根据所述状态数据库生成警示信息，并发送所述警示信息至终端步骤时，具体实现如下步骤：
根据所述状态数据内的人头框在水下的时间确定溺水状态，根据出现溺水状况的人头框以及人体框生成警示信息，并发送所述警示信息至终端。
应当理解，在本申请实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机***中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取多个相机所拍摄的图像；将所述图像输入至目标检测模型内进行人体和人头的检测，以得到泳池人体目标检测框以及泳池人头目标检测框；将所述泳池人体目标检测框以及泳池人头目标检测框进行人头与人体关系的计算，并整合泳池人体目标检测框以及泳池人头目标检测框，以得到边界框序列；将所述泳池人体目标检测框以及泳池人头目标检测框进行多相机融合，以得到人体框和人头框；将所述人体框和所述人头框输入至相对位置判别模型内进行人体和人头与水面的相对位置关系的确定，以得到相对位置关系序列；将所述人体框、所述人头框以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹；根据所述边界框序列更新状态数据库；根据所述状态数据库生成警示信息，并发送所述警示信息至终端。
在一实施例中，所述处理器在执行所述计算机程序而实现所述目标检测模型是通过若干个带有人体目标所在位置标签以及人头目标所在位置标签的图像作为样本集训练卷积神经网络所得的步骤时，具体实现如下步骤：
构建带有人体目标所在位置标签以及人头目标所在位置标签的图像作为样本集；对所述样本集进行划分，以得到训练集、验证集以及测试集；对所述训练集、验证集以及测试集进行增强处理，以得到处理结果；构建Yolov5网络，并在Yolov5网络添加DLA-34网络、Semantic Self-Attention机制以及Anchor-free网络，以得到初始网络；利用所述处理结果中的训练集、验证集对所述初始网络进行训练和验证，并计算训练过程的损失值；当损失值维持不变时，利用所述处理结果中的测试集对所述初始网络进行测试，以将训练后的初始网络作为目标检测模型。
在一实施例中，所述处理器在执行所述计算机程序而实现所述构建Yolov5网络，并在Yolov5网络添加DLA-34网络、Semantic Self-Attention机制以及Anchor-free网络，以得到初始网络步骤时，具体实现如下步骤：
构建Yolov5网络；在所述Yolov5网络添加DLA-34网络作为主干网络，进行提取特征，以得到第一网络；在所述第一网络添加Semantic Self-Attention机制，以得到第二网络；在第二网络的目标回归框网络中使用Anchor-free网络，以得到初始网络。
在一实施例中，所述处理器在执行所述计算机程序而实现所述将所述泳池人体目标检测框以及泳池人头目标检测框进行人头与人体关系的计算，并整合泳池人体目标检测框以及泳池人头目标检测框，以得到边界框序列步骤时，具体实现如下步骤：
采用匈牙利算法计算所述泳池人体目标检测框以及泳池人头目标检测框的对应关系，将所述泳池人体目标检测框以及泳池人头目标检测框、对应关系组合，以得到边界框序列。
在一实施例中，所述处理器在执行所述计算机程序而实现所述将所述泳池人体目标检测框以及泳池人头目标检测框进行多相机融合，以得到人体框和人头框步骤时，具体实现如下步骤：
确定参考相机图像以及待配准相机图像；采用张正友标定法标定参考相机以及待配准相机的内参和外参；对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系；计算参考相机以及待配准相机之间的相对位姿；通过所述相对位姿关联多个相机，以建立全局统一世界坐标系；确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿；将所述边界序列映射到所述全局统一世界坐标系中，且依据所述泳池人体目标检测框以及泳池人头目标检测框的中心点位置、边界框的大小计算不同图像中两个框的匹配度；筛选出匹配度超过设定阈值的人体框和人头框，以得到人体框和人头框。
在一实施例中，所述处理器在执行所述计算机程序而实现所述将所述人体框、所述人头框以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹步骤时，具体实现如下步骤：
根据相邻两帧的所述人体框和所述人头框以及所述相对位置关系序列计算相邻两帧之间每两个人体之间的距离，以得到距离矩阵；将所述距离矩阵采用匈牙利匹配算法计算相邻两帧的人体框的匹配关系，以得到人体跟踪轨迹。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述状态数据库生成警示信息，并发送所述警示信息至终端步骤时，具体实现如下步骤：
根据所述状态数据内的人头框在水下的时间确定溺水状态，根据出现溺水状况的人头框以及人体框生成警示信息，并发送所述警示信息至终端。
所述存储介质可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，终端，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.泳池防溺水监管方法，其特征在于，包括：
获取多个相机所拍摄的图像；
将所述图像输入至目标检测模型内进行人体和人头的检测，以得到泳池人体目标检测框以及泳池人头目标检测框；
将所述泳池人体目标检测框以及泳池人头目标检测框进行人头与人体关系的计算，并整合泳池人体目标检测框以及泳池人头目标检测框，以得到边界框序列；
将所述泳池人体目标检测框以及泳池人头目标检测框进行多相机融合，以得到人体框和人头框；
将所述人体框和所述人头框输入至相对位置判别模型内进行人体和人头与水面的相对位置关系的确定，以得到相对位置关系序列；
将所述人体框、所述人头框以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹；
根据所述边界框序列更新状态数据库；
根据所述状态数据库生成警示信息，并发送所述警示信息至终端。
2.根据权利要求1所述的泳池防溺水监管方法，其特征在于，所述目标检测模型是通过若干个带有人体目标所在位置标签以及人头目标所在位置标签的图像作为样本集训练卷积神经网络所得的，包括：
构建带有人体目标所在位置标签以及人头目标所在位置标签的图像作为样本集；
对所述样本集进行划分，以得到训练集、验证集以及测试集；
对所述训练集、验证集以及测试集进行增强处理，以得到处理结果；
构建Yolov5网络，并在Yolov5网络添加DLA-34网络、Semantic Self-Attention机制以及Anchor-free网络，以得到初始网络；
利用所述处理结果中的训练集、验证集对所述初始网络进行训练和验证，并计算训练过程的损失值；
当损失值维持不变时，利用所述处理结果中的测试集对所述初始网络进行测试，以将训练后的初始网络作为目标检测模型。
3.根据权利要求2所述的泳池防溺水监管方法，其特征在于，所述构建Yolov5网络，并在Yolov5网络添加DLA-34网络、Semantic Self-Attention机制以及Anchor-free网络，以得到初始网络，包括：
构建Yolov5网络；
在所述Yolov5网络添加DLA-34网络作为主干网络，进行提取特征，以得到第一网络；
在所述第一网络添加Semantic Self-Attention机制，以得到第二网络；
在第二网络的目标回归框网络中使用Anchor-free网络，以得到初始网络。
4.根据权利要求1所述的泳池防溺水监管方法，其特征在于，所述将所述泳池人体目标检测框以及泳池人头目标检测框进行人头与人体关系的计算，并整合泳池人体目标检测框以及泳池人头目标检测框，以得到边界框序列，包括：
采用匈牙利算法计算所述泳池人体目标检测框以及泳池人头目标检测框的对应关系，将所述泳池人体目标检测框以及泳池人头目标检测框、对应关系组合，以得到边界框序列。
5.根据权利要求1所述的泳池防溺水监管方法，其特征在于，所述将所述泳池人体目标检测框以及泳池人头目标检测框进行多相机融合，以得到人体框和人头框，包括：
确定参考相机图像以及待配准相机图像；
采用张正友标定法标定参考相机以及待配准相机的内参和外参；
对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系；
计算参考相机以及待配准相机之间的相对位姿；
通过所述相对位姿关联多个相机，以建立全局统一世界坐标系；
确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿；
将所述边界序列映射到所述全局统一世界坐标系中，且依据所述泳池人体目标检测框以及泳池人头目标检测框的中心点位置、边界框的大小计算不同图像中两个框的匹配度；
筛选出匹配度超过设定阈值的人体框和人头框，以得到人体框和人头框。
6.根据权利要求1所述的泳池防溺水监管方法，其特征在于，所述将所述人体框、所述人头框以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹，包括：
根据相邻两帧的所述人体框和所述人头框以及所述相对位置关系序列计算相邻两帧之间每两个人体之间的距离，以得到距离矩阵；
将所述距离矩阵采用匈牙利匹配算法计算相邻两帧的人体框的匹配关系，以得到人体跟踪轨迹。
7.根据权利要求1所述的泳池防溺水监管方法，其特征在于，所述根据所述状态数据库生成警示信息，并发送所述警示信息至终端，包括：
根据所述状态数据内的人头框在水下的时间确定溺水状态，根据出现溺水状况的人头框以及人体框生成警示信息，并发送所述警示信息至终端。
8.泳池防溺水监管装置，其特征在于，包括：
图像获取单元，用于获取多个相机所拍摄的图像；
目标检测单元，用于将所述图像输入至目标检测模型内进行人体和人头的检测，以得到泳池人体目标检测框以及泳池人头目标检测框；
关系计算单元，用于将所述泳池人体目标检测框以及泳池人头目标检测框进行人头与人体关系的计算，并整合泳池人体目标检测框以及泳池人头目标检测框，以得到边界框序列；
融合单元，用于将所述泳池人体目标检测框以及泳池人头目标检测框进行多相机融合，以得到人体框和人头框；
位置序列获取单元，用于将所述人体框和所述人头框输入至相对位置判别模型内进行人体和人头与水面的相对位置关系的确定，以得到相对位置关系序列；
关联单元，用于将所述人体框、所述人头框以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹；
更新单元，用于根据所述边界框序列更新状态数据库；
警示单元，用于根据所述状态数据库生成警示信息，并发送所述警示信息至终端。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
CN202210022875.6A 2022-01-10 2022-01-10 泳池防溺水监管方法、装置、计算机设备及存储介质 Active CN114022910B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210022875.6A CN114022910B (zh) 2022-01-10 2022-01-10 泳池防溺水监管方法、装置、计算机设备及存储介质
US18/094,388 US11756306B2 (en) 2022-01-10 2023-01-08 Anti-drowning safety alarm method and device for swimming pool

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210022875.6A CN114022910B (zh) 2022-01-10 2022-01-10 泳池防溺水监管方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN114022910A true CN114022910A (zh) 2022-02-08
CN114022910B CN114022910B (zh) 2022-04-12

Family

ID=80069813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210022875.6A Active CN114022910B (zh) 2022-01-10 2022-01-10 泳池防溺水监管方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
US (1) US11756306B2 (zh)
CN (1) CN114022910B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100703A (zh) * 2022-05-17 2022-09-23 交通运输部水运科学研究所 一种偷渡行为确定方法及装置
CN117058331B (zh) * 2023-10-13 2023-12-19 山东建筑大学 基于单个监控摄像机的室内人员三维轨迹重建方法及***

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740649B (zh) * 2023-08-07 2023-11-03 山东科技大学 一种基于深度学习的船员越界落水行为实时检测方法
CN117197193B (zh) * 2023-11-07 2024-05-28 杭州巨岩欣成科技有限公司 游泳速度估计方法、装置、计算机设备及存储介质
CN117671602B (zh) * 2024-01-31 2024-04-05 吉林省中农阳光数据有限公司 基于图像识别的农田森林烟雾防火检测方法和设备
CN117974718A (zh) * 2024-02-02 2024-05-03 北京视觉世界科技有限公司 目标检测追踪方法、装置、设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10261506A1 (de) * 2002-12-23 2004-07-22 Robert Poeppler System zur Überwachung eines Schwimmbeckens
US20160037138A1 (en) * 2014-08-04 2016-02-04 Danny UDLER Dynamic System and Method for Detecting Drowning
CN107566797A (zh) * 2017-09-07 2018-01-09 青岛博晶微电子科技有限公司 一种泳池溺水监控检测装置
CN109584509A (zh) * 2018-12-27 2019-04-05 太仓市小车东汽车服务有限公司 一种基于红外线与可见光组合的游泳池溺水监测方法
WO2019202585A1 (en) * 2018-04-16 2019-10-24 Lynxight Ltd. A method and apparatus for detecting drowning
CN110569772A (zh) * 2019-08-30 2019-12-13 北京科技大学 一种泳池内人员状态检测方法
CN111339892A (zh) * 2020-02-21 2020-06-26 青岛联合创智科技有限公司 一种基于端到端3d卷积神经网络的泳池溺水检测方法
CN111476214A (zh) * 2020-05-21 2020-07-31 北京爱笔科技有限公司 一种图像区域匹配方法和相关装置
CN112580560A (zh) * 2020-12-25 2021-03-30 嘉兴瀚睿电子科技有限公司 一种应用于泳池的智能监控方法及***
CN112800825A (zh) * 2020-12-10 2021-05-14 云从科技集团股份有限公司 基于关键点的关联方法、***及介质
CN113033399A (zh) * 2021-03-25 2021-06-25 新疆爱华盈通信息技术有限公司 溺水检测方法、装置、电子设备及存储介质
CN113112754A (zh) * 2021-03-02 2021-07-13 深圳市哈威飞行科技有限公司 溺水报警方法、装置、平台、***及计算机可读存储介质
CN113688724A (zh) * 2021-08-24 2021-11-23 桂林电子科技大学 一种基于双目视觉的泳池溺水监测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017130187A1 (en) * 2016-01-26 2017-08-03 Coral Detection Systems Ltd. Methods and systems for drowning detection
US10372976B2 (en) * 2016-05-05 2019-08-06 Brunswick Corporation Person detection in a marine environment
US20190205608A1 (en) * 2017-12-29 2019-07-04 Deep Innovations Ltd Method and apparatus for safety monitoring of a body of water
US20200388135A1 (en) * 2019-06-04 2020-12-10 Dipsee.Ai Ltd. Automated water body area monitoring
AU2022315042A1 (en) * 2021-07-19 2024-02-15 Maiguard Ai Detection Systems Ltd System and method for pre-drowning and drowning detection

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10261506A1 (de) * 2002-12-23 2004-07-22 Robert Poeppler System zur Überwachung eines Schwimmbeckens
US20160037138A1 (en) * 2014-08-04 2016-02-04 Danny UDLER Dynamic System and Method for Detecting Drowning
CN107566797A (zh) * 2017-09-07 2018-01-09 青岛博晶微电子科技有限公司 一种泳池溺水监控检测装置
WO2019202585A1 (en) * 2018-04-16 2019-10-24 Lynxight Ltd. A method and apparatus for detecting drowning
CN109584509A (zh) * 2018-12-27 2019-04-05 太仓市小车东汽车服务有限公司 一种基于红外线与可见光组合的游泳池溺水监测方法
CN110569772A (zh) * 2019-08-30 2019-12-13 北京科技大学 一种泳池内人员状态检测方法
CN111339892A (zh) * 2020-02-21 2020-06-26 青岛联合创智科技有限公司 一种基于端到端3d卷积神经网络的泳池溺水检测方法
CN111476214A (zh) * 2020-05-21 2020-07-31 北京爱笔科技有限公司 一种图像区域匹配方法和相关装置
CN112800825A (zh) * 2020-12-10 2021-05-14 云从科技集团股份有限公司 基于关键点的关联方法、***及介质
CN112580560A (zh) * 2020-12-25 2021-03-30 嘉兴瀚睿电子科技有限公司 一种应用于泳池的智能监控方法及***
CN113112754A (zh) * 2021-03-02 2021-07-13 深圳市哈威飞行科技有限公司 溺水报警方法、装置、平台、***及计算机可读存储介质
CN113033399A (zh) * 2021-03-25 2021-06-25 新疆爱华盈通信息技术有限公司 溺水检测方法、装置、电子设备及存储介质
CN113688724A (zh) * 2021-08-24 2021-11-23 桂林电子科技大学 一种基于双目视觉的泳池溺水监测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FEI LEI 等: "Drowning behavior detection in swimming pool based on deep learning", 《SIGNAL, IMAGE AND VIDEO PROCESSING》 *
JINGJING WAN 等: "Polyp Detection from Colorectum Images by Using Attentive YOLOv5", 《DIAGNOSTICS》 *
PAVITHRA P 等: "video based drowning detection system", 《2021 INTERNATIONAL CONFERENCE ON DESIGN INNOVATIONS FOR 3CS COMPUTE COMMUNICATE CONTROL (ICDI3C)》 *
井明涛 等: "基于改进的Mask-RCNN的游泳池溺水检测研究", 《青岛大学学报（工程技术版）》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100703A (zh) * 2022-05-17 2022-09-23 交通运输部水运科学研究所 一种偷渡行为确定方法及装置
CN115100703B (zh) * 2022-05-17 2024-05-14 交通运输部水运科学研究所 一种偷渡行为确定方法及装置
CN117058331B (zh) * 2023-10-13 2023-12-19 山东建筑大学 基于单个监控摄像机的室内人员三维轨迹重建方法及***

Also Published As

Publication number Publication date
US11756306B2 (en) 2023-09-12
US20230222804A1 (en) 2023-07-13
CN114022910B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN114022910B (zh) 泳池防溺水监管方法、装置、计算机设备及存储介质
Wang et al. Learning center probability map for detecting objects in aerial images
Basalamah et al. Scale driven convolutional neural network model for people counting and localization in crowd scenes
Chen et al. Feature mining for localised crowd counting.
Sidla et al. Pedestrian detection and tracking for counting applications in crowded situations
Chen et al. End-to-end learning of object motion estimation from retinal events for event-based object tracking
CN114359373B (zh) 泳池防溺水目标行为识别方法、装置、计算机设备及存储介质
Zhao et al. Stochastic human segmentation from a static camera
Bešić et al. Dynamic object removal and spatio-temporal RGB-D inpainting via geometry-aware adversarial learning
CN109063549A (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
CN114359411B (zh) 泳池防溺水目标检测方法、装置、计算机设备及存储介质
Song et al. Self-supervised depth completion from direct visual-lidar odometry in autonomous driving
Qiu et al. Priorlane: A prior knowledge enhanced lane detection approach based on transformer
Cheng et al. C 2-YOLO: Rotating Object Detection Network for Remote Sensing Images with Complex Backgrounds
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
Ramasso et al. Human shape-motion analysis in athletics videos for coarse to fine action/activity recognition using transferable belief model
Xie et al. RPM 2.0: RF-Based Pose Machines for Multi-Person 3D Pose Estimation
CN116342645A (zh) 一种针对游泳馆场景下的多目标跟踪方法
Yu et al. Visual Perception and Control of Underwater Robots
CN115601841A (zh) 一种联合外观纹理和运动骨架的人体异常行为检测方法
Liu et al. [Retracted] Mean Shift Fusion Color Histogram Algorithm for Nonrigid Complex Target Tracking in Sports Video
Sabato et al. Deep learning-based segmentation techniques for coastal monitoring and seagrass banquette detection
Jiang et al. Real-time target detection and tracking system based on stereo camera for quadruped robots
Lin et al. Automatic object detection and direction prediction of unmanned vessels based on multiple convolutional neural network technology
Lin et al. E2PNet: event to point cloud registration with spatio-temporal representation learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Supervision methods, devices, computer equipment, and storage media for drowning prevention in swimming pools

Effective date of registration: 20230712

Granted publication date: 20220412

Pledgee: Hangzhou High-tech Financing Guarantee Co.,Ltd.

Pledgor: Hangzhou Juyan Xincheng Technology Co.,Ltd.

Registration number: Y2023330001455

PE01 Entry into force of the registration of the contract for pledge of patent right