CN111709411A - 基于半监督学习的视频异常检测方法和装置 - Google Patents

基于半监督学习的视频异常检测方法和装置 Download PDF

Info

Publication number
CN111709411A
CN111709411A CN202010842914.8A CN202010842914A CN111709411A CN 111709411 A CN111709411 A CN 111709411A CN 202010842914 A CN202010842914 A CN 202010842914A CN 111709411 A CN111709411 A CN 111709411A
Authority
CN
China
Prior art keywords
video
features
obtaining
vector
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010842914.8A
Other languages
English (en)
Other versions
CN111709411B (zh
Inventor
陈海波
张雷武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenlan Industrial Intelligent Innovation Research Institute Ningbo Co ltd
Original Assignee
DeepBlue AI Chips Research Institute Jiangsu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DeepBlue AI Chips Research Institute Jiangsu Co Ltd filed Critical DeepBlue AI Chips Research Institute Jiangsu Co Ltd
Priority to CN202010842914.8A priority Critical patent/CN111709411B/zh
Publication of CN111709411A publication Critical patent/CN111709411A/zh
Application granted granted Critical
Publication of CN111709411B publication Critical patent/CN111709411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于半监督学***均向量和重要性向量，并根据视频特征的平均向量获取滤波区分性很强特征的掩膜，以及根据视频特征的平均向量、掩膜和重要性向量获取神经网络的辍学层；根据辍学层和视频特征向量获得修饰后的特征，并根据修饰后的特征获取训练参数；在测试时，按相邻的包获得修饰后的特征输入全连接网络，计算得到每个包的得分，并根据得分判定相关位置是否发生异常。本发明能够隐藏视频特征中最有区分的部分来捕捉整体信息，并能突出区分性很强的信息区域来增强神经网络的识别能力。

Description

基于半监督学习的视频异常检测方法和装置
技术领域
本发明涉及视频检测技术领域，具体涉及一种基于半监督学习的视频异常检测方法、一种基于半监督学习的视频异常检测装置、一种计算机设备和一种计算机程序产品。
背景技术
在现代社会中，视频监控技术成为目前最重要的安防监控手段。然而，普通的监控视频处理方法需要管理人员对监控画面进行查看，当监控数据很大时，专人观察非常容易疲劳，易出现漏检现象。因此，判断视频是否有异常以及定位视频中异常的部分成为监控管理的迫切需求。
相关技术中将视频的一部分画面输入到C3D网络（3D卷积神经网络）等来获得这部分的视频特征，然后将这部分特征输入全链接网络计算异常得分，最后根据各部分的异常得分取最大值来预测视频中是否发生异常事件，同时根据各部分的得分来定位视频中发生异常的位置。
但是上述方案中异常得分的贡献主要由一些显著的局部特征所确定，而在有些视频中需要神经网络对视频全局的理解才能确定是否发生了异常，因此仅仅只考虑一些区分性很强的局部特征来判定可能不准确。
发明内容
本发明为解决上述技术问题，提供了一种基于半监督学习的视频异常检测方法，能够隐藏视频特征中最有区分的部分来捕捉整体信息，并能突出区分性很强的信息区域来增强神经网络的识别能力。
本发明采用的技术方案如下：
一种基于半监督学***均向量和重要性向量，并根据所述视频特征的平均向量获取滤波区分性很强特征的掩膜，以及根据所述视频特征的平均向量、所述掩膜和所述重要性向量获取神经网络的辍学层；根据所述辍学层和所述视频特征向量获得修饰后的特征，并根据所述修饰后的特征获取训练参数；在测试时，按相邻的包获得所述修饰后的特征输入全连接网络，计算得到每个包的得分，并根据所述得分判定相关位置是否发生异常。
根据本发明的一个实施例，通过下述公式计算获得所述重要性向量Fs：
Figure 380874DEST_PATH_IMAGE001
其中，Sigmoid函数表达式为
Figure 991240DEST_PATH_IMAGE002
，Fm表示视频特征的平均向量。
根据本发明的一个实施例，通过下述公式计算获得所述神经网络的辍学层Fd：
Figure 572525DEST_PATH_IMAGE003
其中，
Figure 205501DEST_PATH_IMAGE004
，其中，α为预设系数，且
Figure 555842DEST_PATH_IMAGE005
，S为[0,1] 之间的随机数，
Figure 325391DEST_PATH_IMAGE006
为掩膜。
根据本发明的一个实施例，通过下述训练模型获得训练参数，
Figure 393972DEST_PATH_IMAGE007
其中，
Figure 50212DEST_PATH_IMAGE008
，
Figure 520639DEST_PATH_IMAGE009
，
Figure 518813DEST_PATH_IMAGE010
，a1、a2为超参数，
Figure 543532DEST_PATH_IMAGE011
为异常 视频的特征，
Figure 19775DEST_PATH_IMAGE012
为正常视频的特征，
Figure 46506DEST_PATH_IMAGE013
表示对相应的u 个特征通过全连接网络G后的最后得分取最大值。
根据本发明的一个实施例，全连接网络G的表达式为：
Figure 289617DEST_PATH_IMAGE014
其中，
Figure 270474DEST_PATH_IMAGE015
为修饰后的特征，
Figure 815987DEST_PATH_IMAGE016
和
Figure 431645DEST_PATH_IMAGE017
（
Figure 771621DEST_PATH_IMAGE018
）为待训练参数，Relu的表达式 为
Figure 505353DEST_PATH_IMAGE019
，当x为向量时，对向量中的每个元素进行Relu操作。
根据本发明的一个实施例，根据所述视频特征的平均向量获取滤波区分性很强特征的掩膜，包括：当所述视频特征的平均向量小于或等于其对应的最大元素与预设系数的乘积时，所述掩膜中相应位置的元素值为1；当所述视频特征的平均向量大于其对应的最大元素与预设系数的乘积时，所述掩膜中相应位置的元素值为0。
根据本发明的一个实施例，根据所述得分判定相关位置是否发生异常，包括：判断所述视频得分是否大于预设阈值；如果大于，则判断当前画面为异常画面，以确定视频中的异常位置。
本发明还提出了一种基于半监督学***均向量和重要性向量，并根据所述视频特征的平均向量获取滤波区分性很强特征的掩膜，以及根据所述视频特征的平均向量、所述掩膜和所述重要性向量获取神经网络的辍学层，并根据所述辍学层和所述视频特征向量获得修饰后的特征，并根据所述修饰后的特征获取训练参数；模型测试模块，用于在测试时，按相邻的包获得所述修饰后的特征输入全连接网络，计算得到每个包的得分，并根据所述得分判定相关位置是否发生异常。
本发明还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述的基于半监督学习的视频异常检测方法。
本发明还提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行上述的基于半监督学习的视频异常检测方法。
本发明的有益效果：
本发明能够隐藏视频特征中最有区分的部分来捕捉整体信息，并能突出区分性很强的信息区域来增强神经网络的识别能力。
附图说明
图1为本发明实施例的基于半监督学习的视频异常检测方法的流程图；
图2为本发明实施例的基于半监督学习的视频异常检测的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为根据本发明实施例的基于半监督学习的视频异常检测方法的流程图。如图1所示，本发明实施例的基于半监督学习的视频异常检测方法可包括以下步骤：
S1，将视频数据按顺序切分成u×v帧视频图像，其中，从头开始每相邻时序的v帧视频称为一个包，每个视频可分为u个包，u和v为正整数。
在本发明的一个实施例中，上述的方法还包括：判断视频大小与u×v帧之间的关系，其中，当视频大小不足u×v帧时，根据视频大小确定复制视频首尾帧的帧数；当视频大于u×v帧时，根据视频大小确定跳帧的频率。例如，当视频大小还差6帧达到u×v帧时，可复制视频的首尾各3帧。
需要说明的是，当视频的帧数不是v的整数倍时，复制剩余的帧数的最后一帧，以达到v帧，例如，视频的帧数为16帧，每5帧视频为一个包，剩余一帧视频，还差4帧视频可以构成一个包，那么，则复制4次最后一帧视频，和剩余的一帧一起构成一个包；又如，视频的帧数为18，每5帧视频为一个包，剩余3帧视频，还差2帧视频可以构成一个包，那么，则复制2次最后一帧，和剩余的3帧一起构成一个包。
在模型训练时，训练集标注的视频分为正常视频和异常视频，对于异常视频，由于是半监督的范式，故其异常画面的时序位置未知。
S2，分别对每个包进行特征提取，获得对应的视频特征，其中，每个视频有u个视频特征向量。
在本发明的一个实施例中，可通过C3D或者I3D特征提取器获得对应的视频特征。 每个视频有u个视频特征向量，分别记为：F1， F2，…，Fu，其中
Figure 854557DEST_PATH_IMAGE020
为n维向量，C3D 和I3D为不同架构的卷积神经网络。
S3，根据视频特征获得视频特征的平均向量和重要性向量，并根据视频特征的平均向量获取滤波区分性很强特征的掩膜，以及根据视频特征的平均向量、掩膜和重要性向量获取神经网络的辍学层。
根据本发明的一个实施例，通过下述公式（1）计算获得视频特征的平均向量Fm：
Figure 91766DEST_PATH_IMAGE021
， （1）
进一步地，通过下述公式（2）计算获得重要性向量Fs：
Figure 632337DEST_PATH_IMAGE022
（2）
其中，Sigmoid函数表达式为
Figure 587786DEST_PATH_IMAGE023
，Fm表示视频特征的平均向量。
在本发明的一个实施例中，根据视频特征的平均向量获取滤波区分性很强特征的掩膜，包括：当视频特征的平均向量小于或等于其对应的最大元素与预设系数的乘积时，掩膜中相应位置的元素值为1；当视频特征的平均向量大于其对应的最大元素与预设系数的乘积时，掩膜中相应位置的元素值为0。
也就是说，判断Fm与
Figure 463383DEST_PATH_IMAGE024
之间的关系, 其中，α为预设系数，且
Figure 86257DEST_PATH_IMAGE025
，max(Fm)表示对向量Fm取其最大元素，当Fm中的元素值小于等于
Figure 486145DEST_PATH_IMAGE024
时，Fmask中相应位置的元素值为1,否则为0。
进一步地，通过下述公式（3）计算获得神经网络的辍学层Fd：
Figure 725628DEST_PATH_IMAGE026
（3）
其中，
Figure 668832DEST_PATH_IMAGE027
，其中，α为预设系数，且
Figure 954668DEST_PATH_IMAGE025
，S为[0,1]之间的随机 数，
Figure 807349DEST_PATH_IMAGE028
为掩膜。
S4，根据辍学层和视频特征向量获得修饰后的特征，并根据修饰后的特征获取训练参数。
在本发明的一个实施例中，将辍学层Fd与视频特征向量F1， F2， …，Fu分别点乘得 到修饰后的特征
Figure 737390DEST_PATH_IMAGE029
，
Figure 465043DEST_PATH_IMAGE030
，…，
Figure 531350DEST_PATH_IMAGE031
。并将修饰后的特征
Figure 820511DEST_PATH_IMAGE029
，
Figure 300165DEST_PATH_IMAGE030
，…，
Figure 67395DEST_PATH_IMAGE032
输入全连接网络 G，得到G最后层输出值，并通过下述公式（4）训练模型获得训练参数，
Figure 581685DEST_PATH_IMAGE033
（4）
其中，
Figure 540282DEST_PATH_IMAGE034
，
Figure 121612DEST_PATH_IMAGE035
，
Figure 489271DEST_PATH_IMAGE036
，a1、a2为超参数，
Figure 326908DEST_PATH_IMAGE037
为异常 视频的特征，
Figure 754609DEST_PATH_IMAGE038
为正常视频的特征，
Figure 146539DEST_PATH_IMAGE039
表示对相应的u个 特征通过全连接网络G后的最后得分取最大值。
S5，在测试时，按相邻的包所获得修饰后的特征输入全连接网络，计算得到每个包的得分，并根据得分判定相关位置是否发生异常。
在本发明的一个实施例中，全连接网络G的表达式为：
Figure 19686DEST_PATH_IMAGE040
其中，
Figure 915091DEST_PATH_IMAGE041
为修饰后的特征，
Figure 44853DEST_PATH_IMAGE042
和
Figure 624212DEST_PATH_IMAGE043
（
Figure 255045DEST_PATH_IMAGE044
）为待训练参数，Relu的表达 式为
Figure 598433DEST_PATH_IMAGE045
，当x为向量时，对向量中的每个元素进行Relu操作，使用Sigmoid激活函 数，表示其最后得分。
在测试视频是否异常，此时将不再使用训练时的辍学层，直接根据函数maxi(G(Fi))即可。
综上，先对视频进行标记，标记类型分为正常视频和异常视频，然后进行模型训练，首先对视频进行特征提取，并获得视频特征的平均向量和重要性向量，根据视频特征的平均向量获取掩膜，继而根据相应的公式获得辍学层，根据辍学层和特征向量获得修饰后的特征向量，将修饰后的特征向量输入至全连接网络中，得到对相应的u个特征通过全连接网络G后的最后得分取最大值，然后将该值输入到训练模型中，以获得训练参数，在计算视频的得分时，按照上述步骤获得修饰后的向量特征，并将修饰后的向量特征代入全连接网络的表达式中，即可得到最终的得分，在测试阶段，无需使用训练时的辍学层，直接将修饰后的向量特征代入到全连接网络中，即可获得最后得分。
根据本发明的一个实施例，根据得分判定相关位置是否发生异常，包括：判断得分是否大于预设阈值；如果大于，则判断当前画面为异常画面，以确定视频中的异常位置。
也就是说，对于视频中异常位置的定位可根据得分G(Fi)来判定，当其大于某一阈值时，判定为异常画面。
综上所述，本发明能够隐藏视频特征中最有区分的部分来捕捉整体信息，并能突出区分性很强的信息区域来增强神经网络的识别能力。
图2为根据本发明实施例的基于半监督学习的视频异常检测的方框示意图。如图2所示，本发明实施例的基于半监督学习的视频异常检测可包括：视频切分模块10、视频特征提取模块20、神经网络训练模块30和模型测试模块40。
其中，视频切分模块10用于将视频数据按顺序切分成u×v帧视频图像，其中，从头开始每相邻时序的v帧视频称为一个包，每个视频可分为u个包，u和v为正整数。视频特征提取模块20用于分别对每个包进行特征提取，获得对应的视频特征，其中，每个视频有u个视频特征向量。神经网络训练模块30用于根据视频特征获得视频特征的平均向量和重要性向量，并根据视频特征的平均向量获取滤波区分性很强特征的掩膜，以及根据视频特征的平均向量、掩膜和重要性向量获取神经网络的辍学层，并根据辍学层和视频特征向量获得修饰后的特征，并根据修饰后的特征获取训练参数。模型测试模块40用于在测试时，按相邻的包获得修饰后的特征输入全连接网络，计算得到每个包的得分，并根据得分判定相关位置是否发生异常。
根据本发明的一个实施例，神经网络训练模块30通过下述公式计算获得重要性向量Fs：
Figure 790773DEST_PATH_IMAGE046
其中，Sigmoid函数表达式为
Figure 157295DEST_PATH_IMAGE047
，Fm表示视频特征的平均向量。
根据本发明的一个实施例，神经网络训练模块30通过下述公式计算获得神经网络的辍学层Fd：
Figure 467184DEST_PATH_IMAGE048
其中，
Figure 981256DEST_PATH_IMAGE049
，其中，α为预设系数，且
Figure 124924DEST_PATH_IMAGE050
，S为[0,1]之间 的随机数，
Figure 244320DEST_PATH_IMAGE051
为掩膜。
根据本发明的一个实施例，神经网络训练模块30通过下述训练模型获得训练参数，
Figure 233267DEST_PATH_IMAGE052
其中，
Figure 20089DEST_PATH_IMAGE053
，
Figure 662554DEST_PATH_IMAGE054
，
Figure 738088DEST_PATH_IMAGE055
，a1、a2为超参数，
Figure 825999DEST_PATH_IMAGE056
为异 常视频的特征，
Figure 839565DEST_PATH_IMAGE057
为正常视频的特征，
Figure 59456DEST_PATH_IMAGE058
表示对相应的u 个特征通过全连接网络G后的最后得分取最大值。
根据本发明的一个实施例，模型测试模块40全连接网络G的表达式为：
Figure 746921DEST_PATH_IMAGE059
其中，
Figure 77670DEST_PATH_IMAGE060
为修饰后的特征，
Figure 275302DEST_PATH_IMAGE061
和
Figure 931674DEST_PATH_IMAGE062
（
Figure 935795DEST_PATH_IMAGE063
）为待训练参数，Relu的表达 式为
Figure 726028DEST_PATH_IMAGE064
，当x为向量时，对向量中的每个元素进行Relu操作。
根据本发明的一个实施例，神经网络训练模块30根据视频特征的平均向量获取滤波区分性很强特征的掩膜，具体用于，当视频特征的平均向量小于或等于其对应的最大元素与预设系数的乘积时，掩膜中相应位置的元素值为1；当视频特征的平均向量大于其对应的最大元素与预设系数的乘积时，掩膜中相应位置的元素值为0。
根据本发明的一个实施例，模型测试模块40还用于：判断得分是否大于预设阈值；如果大于，则判断当前画面为异常画面，以确定视频中的异常位置。
需要说明的是，本发明实施例的基于半监督学习的视频异常检测装置中未披露的细节，请参照本发明实施例的基于半监督学习的视频异常检测方法中所披露的细节，具体这里不再赘述。
本发明能够隐藏视频特征中最有区分的部分来捕捉整体信息，并能突出区分性很强的信息区域来增强神经网络的识别能力。
对应上述实施例，本发明还提出一种计算机设备。
本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时，可实现上述的基于半监督学习的视频异常检测方法。
根据本发明实施例的计算机设备，处理器执行存储在存储器上的计算机程序时，能够隐藏视频特征中最有区分的部分来捕捉整体信息，并能突出区分性很强的信息区域来增强神经网络的识别能力。
对应上述实施例，本发明还提出一种非临时性计算机可读存储介质。
本发明实施例的非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现根据本发明上述实施例所述的基于半监督学习的视频异常检测方法。
根据本发明实施例的非临时性计算机可读存储介质，处理器执行存储在其上的计算机程序时，能够隐藏视频特征中最有区分的部分来捕捉整体信息，并能突出区分性很强的信息区域来增强神经网络的识别能力。
对应上述实施例，本发明还提出一种计算机程序产品。
当本发明实施例的计算机程序产品中的指令由处理器执行时，可执行根据本发明上述实施例所述的基于半监督学习的视频异常检测方法。
根据本发明实施例的计算机程序产品，处理器执行其中的指令时，能够隐藏视频特征中最有区分的部分来捕捉整体信息，并能突出区分性很强的信息区域来增强神经网络的识别能力。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备（如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***）使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于半监督学习的视频异常检测方法，其特征在于，包括以下步骤：
将视频数据按顺序切分成u×v帧视频图像，其中，从头开始每相邻时序的v帧视频称为一个包，每个视频可分为u个包，u和v为正整数；
分别对每个包进行特征提取，获得对应的视频特征，其中，每个视频有u个视频特征向量；
根据所述视频特征获得视频特征的平均向量和重要性向量，并根据所述视频特征的平均向量获取滤波区分性很强特征的掩膜，以及根据所述视频特征的平均向量、所述掩膜和所述重要性向量获取神经网络的辍学层；
根据所述辍学层和所述视频特征向量获得修饰后的特征，并根据所述修饰后的特征获取训练参数；
在测试时，按相邻的包获得所述修饰后的特征输入全连接网络，计算得到每个包的得分，并根据所述得分判定相关位置是否发生异常。
2.根据权利要求1所述的基于半监督学习的视频异常检测方法，其特征在于，通过下述公式计算获得所述重要性向量Fs：
Figure 171605DEST_PATH_IMAGE001
其中，Sigmoid函数表达式为
Figure 624845DEST_PATH_IMAGE002
，
Figure 287295DEST_PATH_IMAGE003
表示视频特征的平均向量。
3.根据权利要求2所述的基于半监督学习的视频异常检测方法，其特征在于，通过下述公式计算获得所述神经网络的辍学层Fd：
Figure 710666DEST_PATH_IMAGE004
其中，
Figure 88427DEST_PATH_IMAGE005
，其中，α为预设系数，且
Figure 1150DEST_PATH_IMAGE006
，S为[0,1]之间的随 机数，
Figure 49265DEST_PATH_IMAGE007
为掩膜。
4.根据权利要求3所述的基于半监督学习的视频异常检测方法，其特征在于，通过下述训练模型获得训练参数，
Figure 786146DEST_PATH_IMAGE008
其中，
Figure 450870DEST_PATH_IMAGE009
，
Figure 765352DEST_PATH_IMAGE010
，
Figure 71569DEST_PATH_IMAGE011
，a1、a2为超参数，
Figure 310177DEST_PATH_IMAGE012
为 异常视频的特征，
Figure 396950DEST_PATH_IMAGE013
为正常视频的特征，
Figure 480837DEST_PATH_IMAGE014
表示对相应的 u个特征通过全连接网络G后的最后得分取最大值。
5.根据权利要求1所述的基于半监督学习的视频异常检测方法，其特征在于，全连接网络G的表达式为：
Figure 297352DEST_PATH_IMAGE015
其中，
Figure 238020DEST_PATH_IMAGE016
为修饰后的特征，
Figure 936724DEST_PATH_IMAGE017
和
Figure 39283DEST_PATH_IMAGE018
（
Figure 241463DEST_PATH_IMAGE019
）为待训练参数，
Figure 54829DEST_PATH_IMAGE020
的表达式 为
Figure 447021DEST_PATH_IMAGE021
，当x为向量时，对向量中的每个元素进行
Figure 666518DEST_PATH_IMAGE020
操作。
6.根据权利要求1所述的基于半监督学***均向量获取滤波区分性很强特征的掩膜，包括：
当所述视频特征的平均向量小于或等于其对应的最大元素与预设系数的乘积时，所述掩膜中相应位置的元素值为1；
当所述视频特征的平均向量大于其对应的最大元素与预设系数的乘积时，所述掩膜中相应位置的元素值为0。
7.根据权利要求1所述的基于半监督学习的视频异常检测方法，其特征在于，根据所述得分判定相关位置是否发生异常，包括：
判断所述得分是否大于预设阈值；
如果大于，则判断当前画面为异常画面，以确定视频中的异常位置。
8.一种基于半监督学习的视频异常检测装置，其特征在于，包括：
视频切分模块，用于将视频数据按顺序切分成u×v帧视频图像，其中，从头开始每相邻时序的v帧视频称为一个包，每个视频可分为u个包，u和v为正整数；
视频特征提取模块，用于分别对每个包进行特征提取，获得对应的视频特征，其中，每个视频有u个视频特征向量；
神经网络训练模块，用于根据所述视频特征获得视频特征的平均向量和重要性向量，并根据所述视频特征的平均向量获取滤波区分性很强特征的掩膜，以及根据所述视频特征的平均向量、所述掩膜和所述重要性向量获取神经网络的辍学层，并根据所述辍学层和所述视频特征向量获得修饰后的特征，并根据所述修饰后的特征获取训练参数；
模型测试模块，用于在测试时，按相邻的包获得所述修饰后的特征输入全连接网络，计算得到每个包的得分，并根据所述得分判定相关位置是否发生异常。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现根据权利要求1-7中任一项所述的基于半监督学习的视频异常检测方法。
10.一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令由处理器执行时，执行根据权利要求1-7中任一项所述的基于半监督学习的视频异常检测方法。
CN202010842914.8A 2020-08-20 2020-08-20 基于半监督学习的视频异常检测方法和装置 Active CN111709411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010842914.8A CN111709411B (zh) 2020-08-20 2020-08-20 基于半监督学习的视频异常检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010842914.8A CN111709411B (zh) 2020-08-20 2020-08-20 基于半监督学习的视频异常检测方法和装置

Publications (2)

Publication Number Publication Date
CN111709411A true CN111709411A (zh) 2020-09-25
CN111709411B CN111709411B (zh) 2020-11-10

Family

ID=72547386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010842914.8A Active CN111709411B (zh) 2020-08-20 2020-08-20 基于半监督学习的视频异常检测方法和装置

Country Status (1)

Country Link
CN (1) CN111709411B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019099226A1 (en) * 2017-11-14 2019-05-23 Google Llc Weakly-supervised action localization by sparse temporal pooling network
CN110502988A (zh) * 2019-07-15 2019-11-26 武汉大学 视频中的组群定位与异常行为检测方法
CN110516536A (zh) * 2019-07-12 2019-11-29 杭州电子科技大学 一种基于时序类别激活图互补的弱监督视频行为检测方法
US20200184647A1 (en) * 2017-06-08 2020-06-11 The United States Of America, As Represented By The Secretary Department Of Health And Human Service Progressive and multi-path holistically nested networks for segmentation
CN111291699A (zh) * 2020-02-19 2020-06-16 山东大学 基于监控视频时序动作定位和异常检测的变电站人员行为识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200184647A1 (en) * 2017-06-08 2020-06-11 The United States Of America, As Represented By The Secretary Department Of Health And Human Service Progressive and multi-path holistically nested networks for segmentation
WO2019099226A1 (en) * 2017-11-14 2019-05-23 Google Llc Weakly-supervised action localization by sparse temporal pooling network
CN110516536A (zh) * 2019-07-12 2019-11-29 杭州电子科技大学 一种基于时序类别激活图互补的弱监督视频行为检测方法
CN110502988A (zh) * 2019-07-15 2019-11-26 武汉大学 视频中的组群定位与异常行为检测方法
CN111291699A (zh) * 2020-02-19 2020-06-16 山东大学 基于监控视频时序动作定位和异常检测的变电站人员行为识别方法

Also Published As

Publication number Publication date
CN111709411B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
Khodabakhsh et al. Fake face detection methods: Can they be generalized?
CN108810620B (zh) 识别视频中的关键时间点的方法、装置、设备及存储介质
CN110047095B (zh) 基于目标检测的跟踪方法、装置及终端设备
CN113361354B (zh) 轨道部件巡检方法、装置、计算机设备和存储介质
JP7006702B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN109543760A (zh) 基于图像滤镜算法的对抗样本检测方法
CN112528975A (zh) 工业质检方法、装置和计算机可读存储介质
CN112508950B (zh) 异常检测方法和装置
CN114120127A (zh) 一种目标检测方法、装置及相关设备
CN111179295A (zh) 改进的二维Otsu阈值图像分割方法和***
CN113781483B (zh) 工业产品外观缺陷检测方法和装置
CN110517234B (zh) 特征骨异常检测方法及装置
CN114219803B (zh) 一种三阶段图像质量评估的检测方法与***
CN113743378B (zh) 一种基于视频的火情监测方法和装置
JP6874864B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN116452966A (zh) 一种水下图像的目标检测方法、装置、设备及存储介质
CN113706837B (zh) 一种发动机异常状态检测方法和装置
CN111709411B (zh) 基于半监督学习的视频异常检测方法和装置
CN114187292B (zh) 棉纺纸筒的异常检测方法、装置、设备及存储介质
US20240013369A1 (en) Image defect detecting system, generation method of image defect detecting system and non-transitory computer readable medium
CN115861315A (zh) 缺陷检测方法和装置
CN115249316A (zh) 工业缺陷检测方法和装置
CN117671548A (zh) 异常分拣检测方法、装置、电子设备及存储介质
US11120541B2 (en) Determination device and determining method thereof
CN114005060A (zh) 图像数据的确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220107

Address after: 315000 No. 138-1, Zhongshan West Road, Fenghua District, Ningbo City, Zhejiang Province (self declaration)

Patentee after: Shenlan industrial intelligent Innovation Research Institute (Ningbo) Co.,Ltd.

Address before: 213000 No.103, building 4, Chuangyan port, Changzhou science and Education City, No.18, middle Changwu Road, Wujin District, Changzhou City, Jiangsu Province

Patentee before: SHENLAN ARTIFICIAL INTELLIGENCE CHIP RESEARCH INSTITUTE (JIANGSU) Co.,Ltd.