CN113887383A - 基于无监督异常检测的溺水检测方法及装置 - Google Patents

基于无监督异常检测的溺水检测方法及装置 Download PDF

Info

Publication number
CN113887383A
CN113887383A CN202111149139.9A CN202111149139A CN113887383A CN 113887383 A CN113887383 A CN 113887383A CN 202111149139 A CN202111149139 A CN 202111149139A CN 113887383 A CN113887383 A CN 113887383A
Authority
CN
China
Prior art keywords
video stream
swimmer
underwater video
normal
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111149139.9A
Other languages
English (en)
Inventor
袁飞
刘庭壮
何心宇
刘佳惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202111149139.9A priority Critical patent/CN113887383A/zh
Publication of CN113887383A publication Critical patent/CN113887383A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/08—Alarms for ensuring the safety of persons responsive to the presence of persons in a body of water, e.g. a swimming pool; responsive to an abnormal condition of a body of water
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于无监督异常检测的溺水检测方法及装置，其中方法包括：获取水下视频流，并对水下视频流进行图像增强；将图像增强后的水下视频流输入到预先训练好的轻量级目标检测模型，以通过轻量级目标检测模型判断水下视频流中游泳者的人体姿态是否为垂直状态；如果判断结果为是，则采用深度高斯异常分类法计算该水下视频流对应的游泳者特征向量与正常高斯模型的马氏距离，并将该马氏距离作为异常得分；判断异常得分是否大于预设得分阈值；如果是，则认为该水下视频流对应的游泳者发生溺水，并生成报警信息；能够有效提高溺水检测的精准度和实时性，并在发现溺水现象之后进行报警，进而保障游泳者的生命安全。

Description

基于无监督异常检测的溺水检测方法及装置
技术领域
本发明涉及水下图像检测技术领域，特别涉及一种基于无监督异常检测的溺水检测方法和一种基于无监督异常检测的溺水检测装置。
背景技术
随着社会的不断发展，游泳在人们的生活中也越来越普及。尤其是在夏天，游泳池是人们消暑纳凉、锻炼身体的好去处。然而，溺水事件也是频频发生。
相关技术中，在进行溺水检测时，多存在精确度地、实时性差的问题，无法在短时间内发现溺水现象并发出报警信号，从而无法保障游泳者的生命安全。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于无监督异常检测的溺水检测方法，能够有效提高溺水检测的精准度和实时性，并在发现溺水现象之后进行报警，进而保障游泳者的生命安全。
本发明的第二个目的在于提出一种基于无监督异常检测的溺水检测装置。
为达到上述目的，本发明第一方面实施例提出了一种基于无监督异常检测的溺水检测方法，包括以下步骤：获取水下视频流，并对所述水下视频流进行图像增强；将图像增强后的水下视频流输入到预先训练好的轻量级目标检测模型，以通过所述轻量级目标检测模型判断所述水下视频流中游泳者的人体姿态是否为垂直状态；如果判断结果为是，则采用深度高斯异常分类法计算该水下视频流对应的游泳者特征向量与正常高斯模型的马氏距离，并将该马氏距离作为异常得分；判断所述异常得分是否大于预设得分阈值；如果是，则认为该水下视频流对应的游泳者发生溺水，并生成报警信息。
根据本发明实施例的基于无监督异常检测的溺水检测方法，首先，获取水下视频流，并对所述水下视频流进行图像增强；接着，将图像增强后的水下视频流输入到预先训练好的轻量级目标检测模型，以通过所述轻量级目标检测模型判断所述水下视频流中游泳者的人体姿态是否为垂直状态；然后，如果判断结果为是，则采用深度高斯异常分类法计算该水下视频流对应的游泳者特征向量与正常高斯模型的马氏距离，并将该马氏距离作为异常得分；接着，判断所述异常得分是否大于预设得分阈值；然后，如果是，则认为该水下视频流对应的游泳者发生溺水，并生成报警信息；从而实现有效提高溺水检测的精准度和实时性，并在发现溺水现象之后进行报警，进而保障游泳者的生命安全。
另外，根据本发明上述实施例提出的基于无监督异常检测的溺水检测方法还可以具有如下附加的技术特征：
可选地，对所述水下视频流进行图像增强，包括：通过限制对比度自适应直方图均衡化算法对所述水下视频流的RGB三通道分别进行增强，以输出图像增强后的水下视频流。
可选地，采用深度高斯异常分类法计算该水下视频流对应的游泳者特征向量与正常高斯模型的马氏距离之前，还包括：获取第一正常游泳者图像数据集，并根据所述第一正常游泳者图像数据集进行训练，以得到第一卷积自编码器，只保留第一卷积自编码器的编码器部分的网络，得到第一编码器网络；获取第二正常游泳者图像数据集，并将所述第二正常游泳者图像数据集输入到所述第一编码器网络，以通过所述第一编码器网络提取所述第二正常游泳者图像数据集中人体正常样本的特征向量；根据所述人体正常样本的特征向量构建多元高斯模型，并将所述多元高斯模型作为正常高斯模型；对所述第一编码器网络进行再次训练，以得到第二编码器网络，以便在将水下视频流输入到所述第二编码器网络中时，通过所述第二编码器网络输出对应的游泳者特征向量。
可选地，所述第一卷积自编码器的损失函数通过以下公式表述：
Figure RE-GDA0003326520830000021
其中，Loss1表示损失函数，xi表示输入图像，
Figure RE-GDA0003326520830000022
表示输出的重构图像，λ表示正则化的超参数，W表示第一卷积自编码器的权重参数。
可选地，所述正常高斯模型的均值、协方差矩阵和概率密度函数通过以下公式表述：
Figure RE-GDA0003326520830000023
其中，μ表示正常高斯模型的均值，φ(xi)表示所述第一编码器网络的输出，m表示人体正常样本的总数量；
Figure RE-GDA0003326520830000024
其中，Σ表示协方差矩阵，T表示对该向量进行转置；
Figure RE-GDA0003326520830000025
其中，p(x)表示概率密度函数，n表示特征向量的维度。
可选地，还包括：采用模型裁剪和量化策略对正常高斯模型进行压缩加速，以提高人体目标检测与无监督异常检测效率。
为达到上述目的，本发明第二方面实施例提出了一种基于无监督异常检测的溺水检测装置，包括：采集模块，所述采集模块用于获取水下视频流；图像增强模块，所述图像增强模块用于对所述水下视频流进行图像增强；目标检测模块，所述目标检测模块用于将图像增强后的水下视频流输入到预先训练好的轻量级目标检测模型，以通过所述轻量级目标检测模型判断所述水下视频流中游泳者的人体姿态是否为垂直状态；无监督异常检测模块，所述无监督异常检测模块用于在判断结果为是时，采用深度高斯异常分类法计算该水下视频流对应的游泳者特征向量与正常高斯模型的马氏距离，并将该马氏距离作为异常得分；判断模块，所述判断模块用于判断所述异常得分是否大于预设得分阈值，并在判断结果为是时，认为该水下视频流对应的游泳者发生溺水，并生成报警信息；通信模块，所述通信模块用于将所述报警信息发送给相关管理人员。
根据本发明实施例的基于无监督异常检测的溺水检测装置，通过设置采集模块用于获取水下视频流；图像增强模块用于对所述水下视频流进行图像增强；目标检测模块用于将图像增强后的水下视频流输入到预先训练好的轻量级目标检测模型，以通过所述轻量级目标检测模型判断所述水下视频流中游泳者的人体姿态是否为垂直状态；无监督异常检测模块用于在判断结果为是时，采用深度高斯异常分类法计算该水下视频流对应的游泳者特征向量与正常高斯模型的马氏距离，并将该马氏距离作为异常得分；判断模块用于判断所述异常得分是否大于预设得分阈值，并在判断结果为是时，认为该水下视频流对应的游泳者发生溺水，并生成报警信息；通信模块用于将所述报警信息发送给相关管理人员；从而实现有效提高溺水检测的精准度和实时性，并在发现溺水现象之后进行报警，进而保障游泳者的生命安全。
另外，根据本发明上述实施例提出的基于无监督异常检测的溺水检测装置还可以具有如下附加的技术特征：
可选地，对所述水下视频流进行图像增强，包括：通过限制对比度自适应直方图均衡化算法对所述水下视频流的RGB三通道分别进行增强，以输出图像增强后的水下视频流。
可选地，采用深度高斯异常分类法计算该水下视频流对应的游泳者特征向量与正常高斯模型的马氏距离之前，还包括：获取第一正常游泳者图像数据集，并根据所述第一正常游泳者图像数据集进行训练，以得到第一卷积自编码器，只保留第一卷积自编码器的编码器部分的网络，得到第一编码器网络；获取第二正常游泳者图像数据集，并将所述第二正常游泳者图像数据集输入到所述第一编码器网络，以通过所述第一编码器网络提取所述第二正常游泳者图像数据集中人体正常样本的特征向量；根据所述人体正常样本的特征向量构建多元高斯模型，并将所述多元高斯模型作为正常高斯模型；对所述第一编码器网络进行再次训练，以得到第二编码器网络，以便在将水下视频流输入到所述第二编码器网络中时，通过所述第二编码器网络输出对应的游泳者特征向量。
可选地，所述第一卷积自编码器的损失函数通过以下公式表述：
Figure RE-GDA0003326520830000041
其中，Loss1表示损失函数，xi表示输入图像，
Figure RE-GDA0003326520830000042
表示输出的重构图像，λ表示正则化的超参数，W表示第一卷积自编码器的权重参数。
附图说明
图1为根据本发明实施例的基于无监督异常检测的溺水检测方法的流程示意图；
图2为根据本发明实施例的图像增强结果示意图；
图3为根据本发明实施例的游泳者姿态初步划分结果示意图；
图4为根据本发明实施例的基于无监督异常检测的溺水检测装置的方框示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
相关技术中，在进行溺水检测时，多存在精确度地、实时性差的问题，无法在短时间内发现溺水现象并发出报警信号，从而无法保障游泳者的生命安全；根据本发明实施例的基于无监督异常检测的溺水检测方法，首先，获取水下视频流，并对所述水下视频流进行图像增强；接着，将图像增强后的水下视频流输入到预先训练好的轻量级目标检测模型，以通过所述轻量级目标检测模型判断所述水下视频流中游泳者的人体姿态是否为垂直状态；然后，如果判断结果为是，则采用深度高斯异常分类法计算该水下视频流对应的游泳者特征向量与正常高斯模型的马氏距离，并将该马氏距离作为异常得分；接着，判断所述异常得分是否大于预设得分阈值；然后，如果是，则认为该水下视频流对应的游泳者发生溺水，并生成报警信息；从而实现有效提高溺水检测的精准度和实时性，并在发现溺水现象之后进行报警，进而保障游泳者的生命安全。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
图1为根据本发明实施例的基于无监督异常检测的溺水检测方法的流程示意图，如图1 所示，该基于无监督异常检测的溺水检测方法包括以下步骤：
S101，获取水下视频流，并对水下视频流进行图像增强。
也就是说，通过视频采集设备对水下环境进行拍摄，以获取水下视频流；然后，对获取到的水下视频流进行图像增强。
其中，对水下视频流进行图像增强的方式可以有多种。
在一些实施例中，如图2所示，图2左右两图分别为增强之前的图像和增强之后的图像；其中，对水下视频流进行图像增强，包括：通过限制对比度自适应直方图均衡化算法(CLAHE(Contrast Limited Adaptive Histogram Equalization)算法)对所述水下视频流的RGB三通道分别进行增强，以输出图像增强后的水下视频流；通过该算法，可以突出水下视频流中的人体目标。
S102，将图像增强后的水下视频流输入到预先训练好的轻量级目标检测模型，以通过轻量级目标检测模型判断水下视频流中游泳者的人体姿态是否为垂直状态。
即言，通过预选训练好的轻量级目标检测模型对图像增强后的水下视频流进行检测，以判断水下视频流中的游泳者的人体姿态是否为垂直状态。
需要说明的是，如图3所示，因为在研究过程中发现，溺水状态时，人的姿态更类似于垂直状态的游泳者；因此，首先将游泳者的游泳姿态初步划分为水平状态和垂直状态；进而，根据溺水状态的特点，保留游泳者的游泳姿态为垂直状态的边界框。
S103，如果判断结果为是，则采用深度高斯异常分类法计算该水下视频流对应的游泳者特征向量与正常高斯模型的马氏距离，并将该马氏距离作为异常得分。
在一些实施例中，采用深度高斯异常分类法计算该水下视频流对应的游泳者特征向量与正常高斯模型的马氏距离之前，还包括：获取第一正常游泳者图像数据集，并根据第一正常游泳者图像数据集进行训练，以得到第一卷积自编码器，只保留第一卷积自编码器的编码器部分的网络，得到第一编码器网络；获取第二正常游泳者图像数据集，并将第二正常游泳者图像数据集输入到第一编码器网络，以通过第一编码器网络提取第二正常游泳者图像数据集中人体正常样本的特征向量；根据人体正常样本的特征向量构建多元高斯模型，并将多元高斯模型作为正常高斯模型；对所述第一编码器网络进行再次训练，以得到第二编码器网络，以便在将水下视频流输入到所述第二编码器网络中时，通过所述第二编码器网络输出对应的游泳者特征向量。
作为一种示例，首先，获取第一正常游泳者图像数据集，并构建第一卷积自编码器；该第一卷积自编码器包括编码器部分和解码器部分，如图4所示，第一卷积自编码器中卷积核的大小为5*5.所以最大池化层的核的尺寸和步长都设置为2*2。接着，根据第一正常游泳者图像数据集对第一卷积自编码器进行训练，以训练该第一卷积自编码器去重构输入图像；其中，训练第一卷积自编码器的损失函数通过以下公式表述：
Figure RE-GDA0003326520830000061
其中，Loss1表示损失函数，xi表示输入图像，
Figure RE-GDA0003326520830000062
表示输出的重构图像，λ表示正则化的超参数，W表示第一卷积自编码器的权重参数。
接着，在第一卷积自编码器训练完成之后，只保留第一卷积自编码器的编码器部分的网络，得到第一编码器网络，获取第二正常游泳者图像数据集，并将第二正常游泳者图像数据集输入到第一编码器网络中，以得到第二正常游泳者图像中每个人体正常样本所对应的特征向量；然后，根据人体正常样本所对应的特征向量去构建一个多元高斯模型，而该多元高斯模型即为正常高斯模型；
其中，正常高斯模型的均值、协方差矩阵和概率密度函数通过以下公式表述：
Figure RE-GDA0003326520830000063
其中，μ表示正常高斯模型的均值，φ(xi)表示第一编码器网络的输出，m表示人体正常样本的总数量；
Figure RE-GDA0003326520830000064
其中，Σ表示协方差矩阵，T表示对该向量进行转置；
Figure RE-GDA0003326520830000065
其中，p(x)表示概率密度函数，n表示特征向量的维度。
然后，对第一编码器网络进行再次训练，得到第二编码器网络；使得提取到的特征向量可以进一步接近高斯分布。其中，训练第二编码器网络的损失函数通过以下公式表述：
Figure RE-GDA0003326520830000066
其中，W代表模型的权重参数，λ是正则化的超参数。
接着，将获取到的水下视频流输入到第二编码器网络中，以通过该第二卷积自编码器输出其对应的特征向量；并计算该特征向量到正常高斯模型的马氏距离，以及将该马氏距离作为异常分数；其中，异常分数的计算方式通过以下公式表述：
score＝||(φ(x)-μ)TΣ-1(φ(x)-μ)||
在一些实施例中，预设得分阈值采用约登指数计算出网络训练过程中的ROC曲线上的最佳阈值。
S104，判断异常得分是否大于预设得分阈值。
S105，如果是，则认为该水下视频流对应的游泳者发生溺水，并生成报警信息。
即言，如果异常得分大于预设得分阈值；则认为该水下视频流对应的游泳者发生了溺水现象，则生成报警信息，并将该报警信息发送给相关人员，以便相关人员对该报警信息进行处理。
在一些实施例中，还包括：采用模型裁剪和量化策略对正常高斯模型进行压缩加速，以提高人体目标检测与无监督异常检测效率。
综上所述，根据本发明实施例的基于无监督异常检测的溺水检测方法，首先，获取水下视频流，并对所述水下视频流进行图像增强；接着，将图像增强后的水下视频流输入到预先训练好的轻量级目标检测模型，以通过所述轻量级目标检测模型判断所述水下视频流中游泳者的人体姿态是否为垂直状态；然后，如果判断结果为是，则采用深度高斯异常分类法计算该水下视频流对应的游泳者特征向量与正常高斯模型的马氏距离，并将该马氏距离作为异常得分；接着，判断所述异常得分是否大于预设得分阈值；然后，如果是，则认为该水下视频流对应的游泳者发生溺水，并生成报警信息；从而实现有效提高溺水检测的精准度和实时性，并在发现溺水现象之后进行报警，进而保障游泳者的生命安全。
为了实现上述实施例，本发明实施例提出了一种基于无监督异常检测的溺水检测装置，如图4所示，该基于无监督异常检测的溺水检测装置包括：采集模块10、图像增强模块20、目标检测模块30、无监督异常检测模块40、判断模块50和通信模块60。
其中，采集模块10用于获取水下视频流。
图像增强模块20用于对所述水下视频流进行图像增强。
目标检测模块30用于将图像增强后的水下视频流输入到预先训练好的轻量级目标检测模型，以通过所述轻量级目标检测模型判断所述水下视频流中游泳者的人体姿态是否为垂直状态。
无监督异常检测模块40用于在判断结果为是时，采用深度高斯异常分类法计算该水下视频流对应的游泳者特征向量与正常高斯模型的马氏距离，并将该马氏距离作为异常得分。
判断模块50用于判断所述异常得分是否大于预设得分阈值，并在判断结果为是时，认为该水下视频流对应的游泳者发生溺水，并生成报警信息。
通信模块60用于将所述报警信息发送给相关管理人员。
在一些实施例中，对所述水下视频流进行图像增强，包括：通过限制对比度自适应直方图均衡化算法对所述水下视频流的RGB三通道分别进行增强，以输出图像增强后的水下视频流。
在一些实施例中，采用深度高斯异常分类法计算该水下视频流对应的游泳者特征向量与正常高斯模型的马氏距离之前，还包括：获取第一正常游泳者图像数据集，并根据所述第一正常游泳者图像数据集进行训练，以得到第一卷积自编码器只保留第一卷积自编码器的编码器部分的网络，得到第一编码器网络；获取第二正常游泳者图像数据集，并将所述第二正常游泳者图像数据集输入到所述第一编码器网络，以通过所述第一编码器网络提取所述第二正常游泳者图像数据集中人体正常样本的特征向量；根据所述人体正常样本的特征向量构建多元高斯模型，并将所述多元高斯模型作为正常高斯模型；对所述第一编码器网络进行再次训练，以得到第二编码器网络，以便在将水下视频流输入到所述第二编码器网络中时，通过所述第二编码器网络输出对应的游泳者特征向量。
在一些实施例中，所述第一卷积自编码器的损失函数通过以下公式表述：
Figure RE-GDA0003326520830000081
其中，Loss1表示损失函数，xi表示输入图像，
Figure RE-GDA0003326520830000082
表示输出的重构图像，λ表示正则化的超参数，W表示第一卷积自编码器的权重参数。
需要说明的是，上述关于图1中基于无监督异常检测的溺水检测方法的描述同样适用于该基于无监督异常检测的溺水检测装置，在此不做赘述。
综上所述，根据本发明实施例的基于无监督异常检测的溺水检测装置，通过设置采集模块用于获取水下视频流；图像增强模块用于对所述水下视频流进行图像增强；目标检测模块用于将图像增强后的水下视频流输入到预先训练好的轻量级目标检测模型，以通过所述轻量级目标检测模型判断所述水下视频流中游泳者的人体姿态是否为垂直状态；无监督异常检测模块用于在判断结果为是时，采用深度高斯异常分类法计算该水下视频流对应的游泳者特征向量与正常高斯模型的马氏距离，并将该马氏距离作为异常得分；判断模块用于判断所述异常得分是否大于预设得分阈值，并在判断结果为是时，认为该水下视频流对应的游泳者发生溺水，并生成报警信息；通信模块用于将所述报警信息发送给相关管理人员；从而实现有效提高溺水检测的精准度和实时性，并在发现溺水现象之后进行报警，进而保障游泳者的生命安全。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和 /或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于无监督异常检测的溺水检测方法，其特征在于，包括以下步骤：
获取水下视频流，并对所述水下视频流进行图像增强；
将图像增强后的水下视频流输入到预先训练好的轻量级目标检测模型，以通过所述轻量级目标检测模型判断所述水下视频流中游泳者的人体姿态是否为垂直状态；
如果判断结果为是，则采用深度高斯异常分类法计算该水下视频流对应的游泳者特征向量与正常高斯模型的马氏距离，并将该马氏距离作为异常得分；
判断所述异常得分是否大于预设得分阈值；
如果是，则认为该水下视频流对应的游泳者发生溺水，并生成报警信息。
2.如权利要求1所述的基于无监督异常检测的溺水检测方法，其特征在于，对所述水下视频流进行图像增强，包括：
通过限制对比度自适应直方图均衡化算法对所述水下视频流的RGB三通道分别进行增强，以输出图像增强后的水下视频流。
3.如权利要求1所述的基于无监督异常检测的溺水检测方法，其特征在于，采用深度高斯异常分类法计算该水下视频流对应的游泳者特征向量与正常高斯模型的马氏距离之前，还包括：
获取第一正常游泳者图像数据集，并根据所述第一正常游泳者图像数据集进行训练，以得到第一卷积自编码器，只保留第一卷积自编码器的编码器部分的网络，得到第一编码器网络；
获取第二正常游泳者图像数据集，并将所述第二正常游泳者图像数据集输入到所述第一编码器网络，以通过所述第一编码器网络提取所述第二正常游泳者图像数据集中人体正常样本的特征向量；
根据所述人体正常样本的特征向量构建多元高斯模型，并将所述多元高斯模型作为正常高斯模型；
对所述第一编码器网络进行再次训练，以得到第二编码器网络，以便在将水下视频流输入到所述第二编码器网络中时，通过所述第二编码器网络输出对应的游泳者特征向量。
4.如权利要求3所述的基于无监督异常检测的溺水检测方法，其特征在于，所述第一卷积自编码器的损失函数通过以下公式表述：
Figure FDA0003286537860000011
其中，Loss1表示损失函数，xi表示输入图像，
Figure FDA0003286537860000012
表示输出的重构图像，λ表示正则化的超参数，W表示第一卷积自编码器的权重参数。
5.如权利要求3所述的基于无监督异常检测的溺水检测方法，其特征在于，所述正常高斯模型的均值、协方差矩阵和概率密度函数通过以下公式表述：
Figure FDA0003286537860000021
其中，μ表示正常高斯模型的均值，φ(xi)表示所述第一编码器网络的输出，m表示人体正常样本的总数量；
Figure FDA0003286537860000022
其中，Σ表示协方差矩阵，T表示对该向量进行转置；
Figure FDA0003286537860000023
其中，p(x)表示概率密度函数，n表示特征向量的维度。
6.如权利要求1所述的基于无监督异常检测的溺水检测方法，其特征在于，还包括：采用模型裁剪和量化策略对正常高斯模型进行压缩加速，以提高人体目标检测与无监督异常检测效率。
7.一种基于无监督异常检测的溺水检测装置，其特征在于，包括：
采集模块，所述采集模块用于获取水下视频流；
图像增强模块，所述图像增强模块用于对所述水下视频流进行图像增强；
目标检测模块，所述目标检测模块用于将图像增强后的水下视频流输入到预先训练好的轻量级目标检测模型，以通过所述轻量级目标检测模型判断所述水下视频流中游泳者的人体姿态是否为垂直状态；
无监督异常检测模块，所述无监督异常检测模块用于在判断结果为是时，采用深度高斯异常分类法计算该水下视频流对应的游泳者特征向量与正常高斯模型的马氏距离，并将该马氏距离作为异常得分；
判断模块，所述判断模块用于判断所述异常得分是否大于预设得分阈值，并在判断结果为是时，认为该水下视频流对应的游泳者发生溺水，并生成报警信息；
通信模块，所述通信模块用于将所述报警信息发送给相关管理人员。
8.如权利要求7所述的基于无监督异常检测的溺水检测装置，其特征在于，对所述水下视频流进行图像增强，包括：
通过限制对比度自适应直方图均衡化算法对所述水下视频流的RGB三通道分别进行增强，以输出图像增强后的水下视频流。
9.如权利要求7所述的基于无监督异常检测的溺水检测装置，其特征在于，采用深度高斯异常分类法计算该水下视频流对应的游泳者特征向量与正常高斯模型的马氏距离之前，还包括：
获取第一正常游泳者图像数据集，并根据所述第一正常游泳者图像数据集进行训练，以得到第一卷积自编码器，只保留第一卷积自编码器的编码器部分的网络，得到第一编码器网络；
获取第二正常游泳者图像数据集，并将所述第二正常游泳者图像数据集输入到所述第一编码器网络，以通过所述第一编码器网络提取所述第二正常游泳者图像数据集中人体正常样本的特征向量；
根据所述人体正常样本的特征向量构建多元高斯模型，并将所述多元高斯模型作为正常高斯模型；
对所述第一编码器网络进行再次训练，以得到第二编码器网络，以便在将水下视频流输入到所述第二编码器网络中时，通过所述第二编码器网络输出对应的游泳者特征向量。
10.如权利要求7所述的基于无监督异常检测的溺水检测装置，其特征在于，所述第一卷积自编码器的损失函数通过以下公式表述：
Figure FDA0003286537860000031
其中，Loss1表示损失函数，xi表示输入图像，
Figure FDA0003286537860000032
表示输出的重构图像，λ表示正则化的超参数，W表示第一卷积自编码器的权重参数。
CN202111149139.9A 2021-09-29 2021-09-29 基于无监督异常检测的溺水检测方法及装置 Pending CN113887383A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111149139.9A CN113887383A (zh) 2021-09-29 2021-09-29 基于无监督异常检测的溺水检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111149139.9A CN113887383A (zh) 2021-09-29 2021-09-29 基于无监督异常检测的溺水检测方法及装置

Publications (1)

Publication Number Publication Date
CN113887383A true CN113887383A (zh) 2022-01-04

Family

ID=79007880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111149139.9A Pending CN113887383A (zh) 2021-09-29 2021-09-29 基于无监督异常检测的溺水检测方法及装置

Country Status (1)

Country Link
CN (1) CN113887383A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002097758A1 (en) * 2001-05-25 2002-12-05 Nanyang Technological University, Centre For Signal Processing Drowning early warning system
CN107832716A (zh) * 2017-11-15 2018-03-23 中国科学技术大学 基于主动被动高斯在线学习的异常检测方法
CN110135492A (zh) * 2019-05-13 2019-08-16 山东大学 基于多高斯模型的设备故障诊断与异常检测方法及***
CN110210323A (zh) * 2019-05-09 2019-09-06 浙江大学 一种基于机器视觉的溺水行为在线识别方法
CN112165600A (zh) * 2020-08-26 2021-01-01 苏宁云计算有限公司 一种溺水的识别方法、装置、摄像头及计算机***
CN113095333A (zh) * 2021-02-25 2021-07-09 北京邮电大学 无监督特征点检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002097758A1 (en) * 2001-05-25 2002-12-05 Nanyang Technological University, Centre For Signal Processing Drowning early warning system
CN107832716A (zh) * 2017-11-15 2018-03-23 中国科学技术大学 基于主动被动高斯在线学习的异常检测方法
CN110210323A (zh) * 2019-05-09 2019-09-06 浙江大学 一种基于机器视觉的溺水行为在线识别方法
CN110135492A (zh) * 2019-05-13 2019-08-16 山东大学 基于多高斯模型的设备故障诊断与异常检测方法及***
CN112165600A (zh) * 2020-08-26 2021-01-01 苏宁云计算有限公司 一种溺水的识别方法、装置、摄像头及计算机***
CN113095333A (zh) * 2021-02-25 2021-07-09 北京邮电大学 无监督特征点检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
崔英;陈文楷;雷飞;: "基于背景减法的游泳者检测", 山东大学学报(工学版), no. 01, 16 February 2008 (2008-02-16), pages 42 - 45 *
朱志宇: "《流形粒子滤波算法及其在视频目标跟踪中的应用》", 31 May 2015, 北京：国防工业出版社, pages: 41 - 44 *

Similar Documents

Publication Publication Date Title
Ding et al. Perceptual enhancement for autonomous vehicles: Restoring visually degraded images for context prediction via adversarial training
CN110633745B (zh) 一种基于人工智能的图像分类训练方法、装置及存储介质
CN109166144B (zh) 一种基于生成对抗网络的图像深度估计方法
CN110941794B (zh) 一种基于通用逆扰动防御矩阵的对抗攻击防御方法
CN108230291B (zh) 物体识别***训练方法、物体识别方法、装置和电子设备
CN110276745B (zh) 一种基于生成对抗网络的病理图像检测算法
CN108171663B (zh) 基于特征图最近邻替换的卷积神经网络的图像填充***
CN111882643A (zh) 三维人脸构建方法、装置和电子设备
CN111191486A (zh) 一种溺水行为识别方法、监控相机及监控***
CN110148088B (zh) 图像处理方法、图像去雨方法、装置、终端及介质
CN109993124B (zh) 基于视频反光的活体检测方法、装置及计算机设备
CN112819806A (zh) 一种基于深度卷积神经网络模型的船舶焊缝缺陷检测方法
CN112580445A (zh) 基于生成对抗网络的人体步态图像视角转化方法
CN107967941A (zh) 一种基于智能视觉重构的无人机人体健康监控方法与***
CN111724370A (zh) 一种基于不确定性和概率的多任务无参考图像质量评估方法及***
CN115546622A (zh) 鱼群检测方法及***、电子设备和存储介质
CN116883883A (zh) 一种基于生成对抗网络抗抖动的海上船舶目标检测方法
CN116258867A (zh) 一种基于关键区域低感知性扰动的对抗样本生成方法
CN109978058B (zh) 确定图像分类的方法、装置、终端及存储介质
CN117409083B (zh) 一种基于红外图像和改进yolov5的电缆终端识别方法及装置
CN113468945A (zh) 游泳者溺水检测方法
CN112435179B (zh) 模糊花粉颗粒图片处理方法、装置和电子设备
CN112819731A (zh) 灰度图像增强方法、装置、计算机设备及存储介质
CN113887383A (zh) 基于无监督异常检测的溺水检测方法及装置
CN116758212A (zh) 基于自适应去噪算法的3d重建方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination