CN113467740B - 一种基于联合编码的视频监控阵列显示优化方法和装置 - Google Patents
一种基于联合编码的视频监控阵列显示优化方法和装置 Download PDFInfo
- Publication number
- CN113467740B CN113467740B CN202110802969.0A CN202110802969A CN113467740B CN 113467740 B CN113467740 B CN 113467740B CN 202110802969 A CN202110802969 A CN 202110802969A CN 113467740 B CN113467740 B CN 113467740B
- Authority
- CN
- China
- Prior art keywords
- encoder
- global
- monitoring
- sequence
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 154
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000005457 optimization Methods 0.000 title claims abstract description 21
- 230000006399 behavior Effects 0.000 claims abstract description 56
- 230000006870 function Effects 0.000 claims abstract description 28
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 21
- 238000013135 deep learning Methods 0.000 claims abstract description 16
- 230000008520 organization Effects 0.000 claims description 39
- 239000013598 vector Substances 0.000 claims description 36
- 238000010276 construction Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 8
- 238000007689 inspection Methods 0.000 description 6
- 238000012163 sequencing technique Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 241001522296 Erithacus rubecula Species 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于联合编码的视频监控阵列显示优化方法和装置,属于人工智能技术领域,通过构建全局编码器和局部编码器;利用深度学习的循环神经网络结构,构建含有全局编码器与局部编码器的联合编码监控策略推荐模型;使用当前监控序列的表示形式和每个候选项之间的双线性相似函数来计算相似度评分,根据每个项目的相似度评分获得对应监控画面接下来出现的概率值;基于每一个监控画面接下来出现的概率值优化视频监控阵列显示排序;通过构建含有全局编码器与局部编码器的联合编码监控策略推荐模型,对监控人员的行为进行可视化分析后利用循环神经网络结构,自动捕捉和总结优化后的监控人员行为。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种基于联合编码的视频监控阵列显示优化方法和装置。
背景技术
近年来,随着科技的发展和社会的进步,视频监控得到了迅速的发展,且越来越多的应用于传统和非传统的安保领域。视频监控***是当前安防最重要的安全防范技术手段之一。随着视频监控点位的增多,所需监看视频个数远大于指挥中心监控屏幕可显示数量。监管人员通过人工模式进行视频轮巡查看,工作强度大、效率低,难以实现有效管控。随着计算机视觉和人工智能技术的发展,智能监控***的轮巡机制在一定程度上减轻了监管人员的工作强度,提高了安防管理的工作效率,但是现在的轮巡机制会导致严重的信息丢失问题。
现有监控摄像机阵列排序显示技术对监控视频的显示主要有固定规则排序显示与异常画面排序显示两种思路方向,异常画面排序显示方法可以使用基于图像对比计算视频权重的方法,首先基于单一视频采集终端视频前后之间的差异,计算出各终端的权重值,再以各终端的权重值作为依据,筛选、确定多个视频流在监视器屏幕播放的次序。该方法对于处于长期“动态静止”状态的监控画面轮巡具有较好的效果,但是对持续动态变化的监控画面效果甚微。其次异常画面排序显示方法可以通过背景提取技术,判断是否有人员及异常设备等的入侵,并进行重点监控摄像机轮巡,这对运动物体检测技术有较高要求,并且由于监控摄像机工作环境及运动物体检测技术的原因,误报率较高。固定规则排序显示方法根据监控人员现有经验,设置间隔固定时间进行固定画面轮巡,这要求监控人员熟悉风险易发区域及时间,并且由于轮巡次序固定,无法针对不同时间段的高风险区域进行定时定点的轮巡监控。
这两种视频监控阵列排序显示方法均存在很大的弊端:基于固定规则的轮巡排序技术对监控人员经验要求较高,且无法在不同时间对不同风险区域进行精确轮巡;基于异常画面轮巡技术受图像智能分析技术准确性影响,误报率高,影响监控人员对风险的判断。
视频监控阵列排序显示方法从理论上可归集为一种推荐算法,利用推荐算法可以有效解决上述问题。在监控***日志中不会关注监控操作人员信息,因为对于监控***来说,监控摄像机排序显示次序比监控操作人员信息更为重要。因此可以有效利用的信息仅有操作人员的查看序列与对应的查看时间,在这种情况下使用传统推荐方法来推荐下一次排序显示的推荐结果往往是不够准确的,且推荐的结果存在滞后性和重复性的问题,然而基于会话的推荐***可以有效解决这类问题。
发明内容
本发明提供一种基于联合编码的视频监控阵列显示优化方法和装置,通过构建含有全局编码器与局部编码器的联合编码监控策略推荐模型,对监控人员的行为进行可视化分析后利用循环神经网络结构,自动捕捉和总结优化后的监控人员行为。
本发明提供的具体技术方案如下:
一方面,本发明提供一种基于联合编码的视频监控阵列显示优化方法包括:
通过将整个监控序列作为全局编码器的输入,监控人员在所述监控序列中的行为特征作为全局编码器的输出,构建全局编码器;
采用物品级的注意力机制,动态选择和线性组合输入序列的不同部分,进行构建局部编码器;
利用深度学习的循环神经网络结构,构建含有全局编码器与局部编码器的联合编码监控策略推荐模型;
使用当前监控序列的表示形式和每个候选项之间的双线性相似函数来计算相似度评分,根据每个项目的相似度评分获得对应监控画面接下来出现的概率值;
基于每一个监控画面接下来出现的概率值优化视频监控阵列显示排序。
可选的,所述构建全局编码器具体包括:
将数据集按照操作对象组织进行分组,并且将分组后的数据集按照操作时间进行排序,按照时间顺序排列的一个对象组织相当于一个序列,其中,所述数据集包括用户名、操作对象、操作对象组织、操作时间;
采用排序之后的数据集,根据公式计算重置门rt,其中,σ为Sigmoid激活函数,xt为全局编码器第t次的输入数据,/>为全局编码器第t-1次的输出数据,Wr和Ur为权重向量;
根据公式计算候选行为/>其中,rt为重置门,/>为全局编码器第t-1次的输出数据,xt为全局编码器第t次的输入数据,W和U分别为权重向量,⊙为哈达玛乘积;
根据公式计算更新门,其中,σ为Sigmoid激活函数,xt为全局编码器第t次的输入数据,/>为全局编码器第t-1次的输出数据,Wz和Uz为权重向量;
根据公式计算候选行为/>与其之前的行为ht-1的关系,其中,zt为更新门,/>为候选行为,/>为全局编码器第t-1次的输出数据,候选行为/>与其之前的行为ht-1的关系/>为全局编码器的输出操作序列特征。
可选的,所述构建局部编码器具体包括:
将数据集按照操作对象组织进行分组,并且将分组后的数据集按照操作时间进行排序,按照时间顺序排列的一个对象组织相当于一个序列,其中,所述数据集包括用户名、操作对象、操作对象组织、操作时间;
根据公式计算全局编码器隐层输出/>和局部编码器隐层向量表示/>的相似度函数q,其中,矩阵A1用来将/>转化到一个潜在空间,矩阵A2用来将/>转化到一个潜在空间,σ为Sigmoid激活函数,vT是维度转换矩阵;
根据公式计算加权因子α,其中,/>是全局编码器隐层输出;/>是局部编码器隐层向量表示;
根据公式计算监控序列中监控人员的意图系数,其中,atj是加权因子;/>是局部编码器隐层向量表示。
可选的,所述构建含有全局编码器与局部编码器的联合编码监控策略推荐模型具体包括:
利用深度学习的循环神经网络结构,构建含有全局编码器与局部编码器的联合编码监控策略推荐模型,其中,全局编码器用于对整个监控序列进行总结,局部编码器用于自适应地选择当前会话中的重要项。
可选的,联合编码监控策略推荐模型构建过程中,全局编码器被整合到ct中用来提供联合编码监控策略推荐模型的顺序行为表示,全局编码器/>一个隐藏状态与局部编码器的作用不同,局部编码器/>用于计算前一个隐状态下的注意力权值,而全局编码器/>的最后一个隐藏状态用来编码整个序列行为。
另一方面,本发明还提供一种基于联合编码的视频监控阵列显示优化装置包括:
全局构建模块,用于通过将整个监控序列作为全局编码器的输入,监控人员在所述监控序列中的行为特征作为全局编码器的输出,构建全局编码器;
局部构建模块,用于采用物品级的注意力机制,动态选择和线性组合输入序列的不同部分,进行构建局部编码器;
模型构建模块,用于利用深度学习的循环神经网络结构,构建含有全局编码器与局部编码器的联合编码监控策略推荐模型;
相似度计算模块,用于使用当前监控序列的表示形式和每个候选项之间的双线性相似函数来计算相似度评分,根据每个项目的相似度评分获得对应监控画面接下来出现的概率值;
显示排序模块,用于基于每一个监控画面接下来出现的概率值优化视频监控阵列显示排序。
可选的,所述全局构建模块具体用于:
将数据集按照操作对象组织进行分组,并且将分组后的数据集按照操作时间进行排序,按照时间顺序排列的一个对象组织相当于一个序列,其中,所述数据集包括用户名、操作对象、操作对象组织、操作时间;
采用排序之后的数据集,根据公式计算重置门rt,其中,σ为Sigmoid激活函数,xt为全局编码器第t次的输入数据,/>为全局编码器第t-1次的输出数据,Wr和Ur为权重向量;
根据公式计算候选行为/>其中,rt为重置门,/>为全局编码器第t-1次的输出数据,xt为全局编码器第t次的输入数据,W和U分别为权重向量,⊙为哈达玛乘积;
根据公式计算更新门,其中,σ为Sigmoid激活函数,xt为全局编码器第t次的输入数据,/>为全局编码器第t-1次的输出数据,Wz和Uz为权重向量;
根据公式计算候选行为/>与其之前的行为ht-1的关系,其中,zt为更新门,/>为候选行为,/>为全局编码器第t-1次的输出数据,候选行为/>与其之前的行为ht-1的关系/>为全局编码器的输出操作序列特征。
可选的,所述局部构建模块具体用于:
将数据集按照操作对象组织进行分组,并且将分组后的数据集按照操作时间进行排序,按照时间顺序排列的一个对象组织相当于一个序列,其中,所述数据集包括用户名、操作对象、操作对象组织、操作时间;
根据公式计算全局编码器隐层输出/>和局部编码器隐层向量表示/>的相似度函数q,其中,矩阵A1用来将/>转化到一个潜在空间,矩阵A2用来将/>转化到一个潜在空间,σ为Sigmoid激活函数,vT是维度转换矩阵;
根据公式计算加权因子α,其中,/>是全局编码器隐层输出;/>是局部编码器隐层向量表示;
根据公式计算监控序列中监控人员的意图系数,其中,atj是加权因子;/>是局部编码器隐层向量表示。
可选的,所述模型构建模块具体用于:
利用深度学习的循环神经网络结构,构建含有全局编码器与局部编码器的联合编码监控策略推荐模型,其中,全局编码器用于对整个监控序列进行总结,局部编码器用于自适应地选择当前会话中的重要项。
可选的,联合编码监控策略推荐模型构建过程中,全局编码器被整合到ct中用来提供联合编码监控策略推荐模型的顺序行为表示,全局编码器/>一个隐藏状态与局部编码器的作用不同,局部编码器/>用于计算前一个隐状态下的注意力权值,而全局编码器/>的最后一个隐藏状态用来编码整个序列行为。
本发明的有益效果如下:
本发明实施例提供的一种基于联合编码的视频监控阵列显示优化方法包括通过将整个监控序列作为全局编码器的输入,监控人员在所述监控序列中的行为特征作为全局编码器的输出,构建全局编码器;采用物品级的注意力机制,动态选择和线性组合输入序列的不同部分,进行构建局部编码器;利用深度学习的循环神经网络结构,构建含有全局编码器与局部编码器的联合编码监控策略推荐模型;使用当前监控序列的表示形式和每个候选项之间的双线性相似函数来计算相似度评分,根据每个项目的相似度评分获得对应监控画面接下来出现的概率值;基于每一个监控画面接下来出现的概率值优化视频监控阵列显示排序;通过构建含有全局编码器与局部编码器的联合编码监控策略推荐模型,对监控人员的行为进行可视化分析后利用循环神经网络结构,自动捕捉和总结优化后的监控人员行为。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于联合编码的视频监控阵列显示优化方法的流程示意图;
图2是本发明实施例提供的一种基于联合编码的视频监控阵列显示优化方法装置的结构框图;
图3是本发明实施例提供的一种全局编码器的示意图;
图4为本发明实施例提供的一种局部编码器的示意图;
图5为本发明实施例提供的一种联合编码监控策略推荐模型的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
下面将结合附图1~附图5,对本发明实施例的一种基于联合编码的视频监控阵列显示优化方法和装置进行详细说明。
参考图1、图3、图4和图5所示,本发明实施例提供的一种基于联合编码的视频监控阵列显示优化方法包括:
步骤100:通过将整个监控序列作为全局编码器的输入,监控人员在所述监控序列中的行为特征作为全局编码器的输出,构建全局编码器;
具体的,参考图3所示,将数据集按照操作对象组织进行分组,并且将分组后的数据集按照操作时间进行排序,按照时间顺序排列的一个对象组织相当于一个序列,其中,所述数据集包括用户名、操作对象、操作对象组织、操作时间;
采用排序之后的数据集,根据公式计算重置门rt,其中,σ为Sigmoid激活函数,xt为全局编码器第t次的输入数据,/>为全局编码器第t-1次的输出数据,Wr和Ur为权重向量;
根据公式计算候选行为/>其中,rt为重置门,/>为全局编码器第t-1次的输出数据,xt为全局编码器第t次的输入数据,W和U分别为权重向量,⊙为哈达玛乘积;
根据公式计算更新门,其中,σ为Sigmoid激活函数,xt为全局编码器第t次的输入数据,/>为全局编码器第t-1次的输出数据,Wz和Uz为权重向量;
根据公式计算候选行为/>与其之前的行为ht-1的关系,其中,zt为更新门,/>为候选行为,/>为全局编码器第t-1次的输出数据,候选行为/>与其之前的行为ht-1的关系/>为全局编码器的输出操作序列特征。
其中,将整个监控序列作为全局编码器的输入,监控人员在该序列的行为特征作为全局编码器的输出。数据集中含有操作用户、操作用户IP、操作用户MAC、操作用户组织、操作业务、操作动作、操作对象、操作对象类型、操作对象组织、描述、操作时间、操作结果、新值、原值这14个数据项,本发明实施例剔除与实验无关的数据项,仅保留用户名、操作对象、操作对象组织、操作时间这4个数据项,进一步降低数据集大小以提高模型运行速度。
将数据集按照操作对象组织进行分组,并且将分组后的数据集按照操作时间进行排序,按照时间顺序排列的一个对象组织相当于一个序列。在全局编码器中,输入数据被分成一个个固定大小的批次来进行训练,批次的大小决定一次训练的样本数目和,影响模型的优化程度、模型输入层的参数设置和速度。选择正确的批次是为了在内存效率和内存容量之间寻找最佳平衡。
本发明实施例根据用户点击序列的特点,全局编码器将用户的序列数据集进行拆分,将上一次的点击作为输入,下一次的点击作为输出,通过输入和输出的对应关系来保留数据之间的关联性,从而解决因序列长度差异大而难以建模的问题。
步骤200:采用物品级的注意力机制,动态选择和线性组合输入序列的不同部分,进行构建局部编码器;
由于全局编码器对整个监控序列的矢量化概括难以精确获得监控人员的意图,也正是基于此,本发明实施例设计了面向视频监控的局部编码器,局部编码器的优点是自适应的捕获监控人员意图。
参考图4所示,局部编码器的构建过程中,将数据集按照操作对象组织进行分组,并且将分组后的数据集按照操作时间进行排序,按照时间顺序排列的一个对象组织相当于一个序列,其中,所述数据集包括用户名、操作对象、操作对象组织、操作时间。局部编码器的构建过程中,采用的数据集与全局编码器构建过程中采用的数据集相同,且数据预处理方式也与全局编码器相同。
参考图4所示,根据公式计算全局编码器隐层输出和局部编码器隐层向量表示/>的相似度函数q,其中,矩阵A1用来将/>转化到一个潜在空间,矩阵A2用来将/>转化到一个潜在空间,σ为Sigmoid激活函数,vT是维度转换矩阵;
根据公式计算加权因子α,其中,/>是全局编码器隐层输出;/>是局部编码器隐层向量表示;
根据公式计算监控序列中监控人员的意图系数,其中,atj是加权因子;/>是局部编码器隐层向量表示。
步骤300:利用深度学习的循环神经网络结构,构建含有全局编码器与局部编码器的联合编码监控策略推荐模型;
参考图5所示,利用深度学习的循环神经网络结构,构建含有全局编码器与局部编码器的联合编码监控策略推荐模型,其中,全局编码器用于对整个监控序列进行总结,局部编码器用于自适应地选择当前会话中的重要项。
并且,在联合编码监控策略推荐模型构建过程中,全局编码器被整合到ct中用来提供联合编码监控策略推荐模型的顺序行为表示,全局编码器/>一个隐藏状态与局部编码器的作用不同,局部编码器/>用于计算前一个隐状态下的注意力权值,而全局编码器/>的最后一个隐藏状态用来编码整个序列行为。
本发明实施例利用深度学习的循环神经网络结构,构建含有全局编码器与局部编码器的联合编码监控策略推荐模型。对于基于会话的摄像机监控任务,全局编码器用于对整个监控序列进行总结,而局部编码器可以自适应地选择当前会话中的重要项。序列行为利于提取当前会话中用户的主要目的。因此,本发明实施例使用序列行为的表示与之前的隐藏状态来计算每次用户点击的注意力权重。
步骤400:使用当前监控序列的表示形式和每个候选项之间的双线性相似函数来计算相似度评分,根据每个项目的相似度评分获得对应监控画面接下来出现的概率值;
步骤500:基于每一个监控画面接下来出现的概率值优化视频监控阵列显示排序。
需要说明的是,轮巡是指所安装的所有摄像头每个画面,按摄像头顺序在屏幕上显示,每隔几秒或者几分钟切换到下一个摄像头拍摄的画面。轮询的过程中省去了手动人工点击切换画面,一般适合小区保安室夜间守护,商场保安室电子巡逻用。轮巡策略是指轮巡摄像头的显示顺序,及切换间隔。循环神经网络(Recurrent Neural Network,RNN)是一类以序列数据为输入,在序列的演进方向进行递归且所有节点按链式连接的递归神经网络;循环神经网络具有记忆性、参数共享并且图灵完备,因此在对序列的非线性特征进行学习时具有一定优势。
本发明实施例使用双线性解码方案(bi-linear decoding scheme),既减少了参数的数目,又提高了模型的性能。其中,根据公式使用当前监控序列的表示形式和每个候选项之间的双线性相似函数来计算相似度评分Si,其中,B是一个维度转换矩阵,用于将ct的嵌入表示转化成和嵌入层/>相同的维度。最后,将每个项目的相似度评分输入到softmax层,以获得该摄像头画面接下来出现的概率。
本发明实施例提供的一种基于联合编码的视频监控阵列显示优化方法包括通过将整个监控序列作为全局编码器的输入,监控人员在所述监控序列中的行为特征作为全局编码器的输出,构建全局编码器;采用物品级的注意力机制,动态选择和线性组合输入序列的不同部分,进行构建局部编码器;利用深度学习的循环神经网络结构,构建含有全局编码器与局部编码器的联合编码监控策略推荐模型;使用当前监控序列的表示形式和每个候选项之间的双线性相似函数来计算相似度评分,根据每个项目的相似度评分获得对应监控画面接下来出现的概率值;基于每一个监控画面接下来出现的概率值优化视频监控阵列显示排序;通过构建含有全局编码器与局部编码器的联合编码监控策略推荐模型,对监控人员的行为进行可视化分析后利用循环神经网络结构,自动捕捉和总结优化后的监控人员行为。
本发明实施例利用监控***的操作日志,自动学习操作人员行为,提出一种基于全局-局部联合编码模型的视频监控阵列显示优化方法,解决了现有轮巡机制对监控人员经验要求较高及无法对监控区域精确轮巡的弊端。其中,利用全局编码器对整个操作序列进行总结,利用GRU作为全局编码器的主要单元使其具有较低的计算复杂度及较高的可扩展性,从而有利于对较长的操作序列进行总结。利用局部编码器自适应地选择操作序列中的重要项,实现捕捉操作人员的主要目的。
本发明实施例提供的一种基于联合编码的视频监控阵列显示优化方法可以采用Recall@20和MMR@20两个指标来进行评测,其中TP表示将正类预测为正类的数目,FN表示将正类预测为负类的数目,Recall@20表示:模型对所有预测物品评分的排序中,被正确预测的物品在前20项里所占的比例。
MRR是用来衡量搜索算法效果的指标,目前被广泛用在允许返回多个结果的问题,模型会对每一个返回的结果给一个置信度(打分),然后根据置信度排序,将得分高的结果排在前面返回。具体来说:对于一个查询,第一个正确答案排名倒数的平均数(如果返回的正确物品在前20名之外,则这项物品的排名倒数分数就是0)。
MRR可以采用如下公式计算: 其中,Q为样本查询集合;|Q|为Q中的查询个数;ranki表示在第i个查询中,第一个正确答案的排名。
本发明实施例提供的一种基于联合编码的视频监控阵列显示优化方法的Recall@20为48%,MRR@20为22%,明显优于相同场景下的传统方法。
基于相同的发明构思,参考图2所示,本发明实施例还提供一种基于联合编码的视频监控阵列显示优化装置包括:
全局构建模块110,用于通过将整个监控序列作为全局编码器的输入,监控人员在所述监控序列中的行为特征作为全局编码器的输出,构建全局编码器;
局部构建模块120,用于采用物品级的注意力机制,动态选择和线性组合输入序列的不同部分,进行构建局部编码器;
模型构建模块130,用于利用深度学习的循环神经网络结构,构建含有全局编码器与局部编码器的联合编码监控策略推荐模型;
相似度计算模块140,用于使用当前监控序列的表示形式和每个候选项之间的双线性相似函数来计算相似度评分,根据每个项目的相似度评分获得对应监控画面接下来出现的概率值;
显示排序模块150,用于基于每一个监控画面接下来出现的概率值优化视频监控阵列显示排序。
可选的,全局构建模块110具体用于:
将数据集按照操作对象组织进行分组,并且将分组后的数据集按照操作时间进行排序,按照时间顺序排列的一个对象组织相当于一个序列,其中,所述数据集包括用户名、操作对象、操作对象组织、操作时间;
采用排序之后的数据集,根据公式计算重置门rt,其中,σ为Sigmoid激活函数,xt为全局编码器第t次的输入数据,/>为全局编码器第t-1次的输出数据,Wr和Ur为权重向量;
根据公式计算候选行为/>其中,rt为重置门,/>为全局编码器第t-1次的输出数据,xt为全局编码器第t次的输入数据,W和U分别为权重向量,⊙为哈达玛乘积;
根据公式计算更新门,其中,σ为Sigmoid激活函数,xt为全局编码器第t次的输入数据,/>为全局编码器第t-1次的输出数据,Wz和Uz为权重向量;
根据公式计算候选行为/>与其之前的行为ht-1的关系,其中,zt为更新门,/>为候选行为,/>为全局编码器第t-1次的输出数据,候选行为/>与其之前的行为ht-1的关系/>为全局编码器的输出操作序列特征。
可选的,局部构建模块120具体用于:
将数据集按照操作对象组织进行分组,并且将分组后的数据集按照操作时间进行排序,按照时间顺序排列的一个对象组织相当于一个序列,其中,所述数据集包括用户名、操作对象、操作对象组织、操作时间;
根据公式计算全局编码器隐层输出/>和局部编码器隐层向量表示/>的相似度函数q,其中,矩阵A1用来将/>转化到一个潜在空间,矩阵A2用来将/>转化到一个潜在空间,σ为Sigmoid激活函数,vT是维度转换矩阵;
根据公式计算加权因子α,其中,/>是全局编码器隐层输出;/>是局部编码器隐层向量表示;
根据公式计算监控序列中监控人员的意图系数,其中,atj是加权因子;/>是局部编码器隐层向量表示。
可选的,模型构建模块130具体用于:
利用深度学习的循环神经网络结构,构建含有全局编码器与局部编码器的联合编码监控策略推荐模型,其中,全局编码器用于对整个监控序列进行总结,局部编码器用于自适应地选择当前会话中的重要项。联合编码监控策略推荐模型构建过程中,全局编码器被整合到ct中用来提供联合编码监控策略推荐模型的顺序行为表示,全局编码器/>一个隐藏状态与局部编码器的作用不同,局部编码器/>用于计算前一个隐状态下的注意力权值,而全局编码器/>的最后一个隐藏状态用来编码整个序列行为。
本发明实施例还提供一种基于联合编码的视频监控阵列显示优化装置,利用监控***的操作日志,构建联合编码模型,利用全局编码器对操作序列进行总结,利用局部编码器自适应地选择操作序列中的重要项,捕捉操作人员的主要目的,可以有效解决现有轮巡机制对监控人员经验要求高及无法对监控区域精确轮巡的弊端。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (4)
1.一种基于联合编码的视频监控阵列显示优化方法,其特征在于,所述视频监控阵列显示优化方法包括:
通过将整个监控序列作为全局编码器的输入,监控人员在所述监控序列中的行为特征作为全局编码器的输出,构建全局编码器;
采用物品级的注意力机制,动态选择和线性组合输入序列的不同部分,进行构建局部编码器;
利用深度学习的循环神经网络结构,构建含有全局编码器与局部编码器的联合编码监控策略推荐模型;
使用当前监控序列的表示形式和每个候选项之间的双线性相似函数来计算相似度评分,根据每个项目的相似度评分获得对应监控画面接下来出现的概率值;
基于每一个监控画面接下来出现的概率值优化视频监控阵列显示排序;
所述构建全局编码器具体包括:
将数据集按照操作对象组织进行分组,并且将分组后的数据集按照操作时间进行排序,按照时间顺序排列的一个对象组织相当于一个序列,其中,所述数据集包括用户名、操作对象、操作对象组织、操作时间;
采用排序之后的数据集,根据公式计算重置门rt,其中,σ为Sigmoid激活函数,xt为全局编码器第t次的输入数据,/>为全局编码器第t-1次的输出数据,Wr和Ur为权重向量;
根据公式计算候选行为/>其中,rt为重置门,/>为全局编码器第t-1次的输出数据,xt为全局编码器第t次的输入数据,W和U分别为权重向量,⊙为哈达玛乘积;
根据公式计算更新门,其中,σ为Sigmoid激活函数,xt为全局编码器第t次的输入数据,/>为全局编码器第t-1次的输出数据,Wz和Uz为权重向量;
根据公式计算候选行为/>与其之前的行为ht-1的关系,其中,zt为更新门,/>为候选行为,/>为全局编码器第t-1次的输出数据,候选行为/>与其之前的行为ht-1的关系/>为全局编码器的输出操作序列特征;
所述构建局部编码器具体包括:
将数据集按照操作对象组织进行分组,并且将分组后的数据集按照操作时间进行排序,按照时间顺序排列的一个对象组织相当于一个序列,其中,所述数据集包括用户名、操作对象、操作对象组织、操作时间;
根据公式计算全局编码器隐层输出/>和局部编码器隐层向量表示/>的相似度函数q,其中,矩阵A1用来将/>转化到一个潜在空间,矩阵A2用来将转化到一个潜在空间,σ为Sigmoid激活函数,vT是维度转换矩阵;
根据公式计算加权因子α,其中,/>是全局编码器隐层输出;/>是局部编码器隐层向量表示;
根据公式计算监控序列中监控人员的意图系数,其中,atj是加权因子;是局部编码器隐层向量表示;
所述构建含有全局编码器与局部编码器的联合编码监控策略推荐模型具体包括:
利用深度学习的循环神经网络结构,构建含有全局编码器与局部编码器的联合编码监控策略推荐模型,其中,全局编码器用于对整个监控序列进行总结,局部编码器用于自适应地选择当前会话中的重要项。
2.根据权利要求1所述的视频监控阵列显示优化方法,其特征在于,联合编码监控策略推荐模型构建过程中,全局编码器被整合到ct中用来提供联合编码监控策略推荐模型的顺序行为表示,全局编码器/>一个隐藏状态与局部编码器的作用不同,局部编码器/>用于计算前一个隐状态下的注意力权值,而全局编码器/>的最后一个隐藏状态用来编码整个序列行为。
3.一种基于联合编码的视频监控阵列显示优化装置,其特征在于,所述视频监控阵列显示优化装置包括:
全局构建模块,用于通过将整个监控序列作为全局编码器的输入,监控人员在所述监控序列中的行为特征作为全局编码器的输出,构建全局编码器;
局部构建模块,用于采用物品级的注意力机制,动态选择和线性组合输入序列的不同部分,进行构建局部编码器;
模型构建模块,用于利用深度学习的循环神经网络结构,构建含有全局编码器与局部编码器的联合编码监控策略推荐模型;
相似度计算模块,用于使用当前监控序列的表示形式和每个候选项之间的双线性相似函数来计算相似度评分,根据每个项目的相似度评分获得对应监控画面接下来出现的概率值;
显示排序模块,用于基于每一个监控画面接下来出现的概率值优化视频监控阵列显示排序;
所述全局构建模块具体用于:
将数据集按照操作对象组织进行分组,并且将分组后的数据集按照操作时间进行排序,按照时间顺序排列的一个对象组织相当于一个序列,其中,所述数据集包括用户名、操作对象、操作对象组织、操作时间;
采用排序之后的数据集,根据公式计算重置门rt,其中,σ为Sigmoid激活函数,xt为全局编码器第t次的输入数据,/>为全局编码器第t-1次的输出数据,Wr和Ur为权重向量;
根据公式计算候选行为/>其中,rt为重置门,/>为全局编码器第t-1次的输出数据,xt为全局编码器第t次的输入数据,W和U分别为权重向量,⊙为哈达玛乘积;
根据公式计算更新门,其中,σ为Sigmoid激活函数,xt为全局编码器第t次的输入数据,/>为全局编码器第t-1次的输出数据,Wz和Uz为权重向量;
根据公式计算候选行为/>与其之前的行为ht-1的关系,其中,zt为更新门,/>为候选行为,/>为全局编码器第t-1次的输出数据,候选行为/>与其之前的行为ht-1的关系/>为全局编码器的输出操作序列特征;
所述局部构建模块具体用于:
将数据集按照操作对象组织进行分组,并且将分组后的数据集按照操作时间进行排序,按照时间顺序排列的一个对象组织相当于一个序列,其中,所述数据集包括用户名、操作对象、操作对象组织、操作时间;
根据公式计算全局编码器隐层输出/>和局部编码器隐层向量表示/>的相似度函数q,其中,矩阵A1用来将/>转化到一个潜在空间,矩阵A2用来将转化到一个潜在空间,σ为Sigmoid激活函数,vT是维度转换矩阵;
根据公式计算加权因子α,其中,/>是全局编码器隐层输出;/>是局部编码器隐层向量表示;
根据公式计算监控序列中监控人员的意图系数,其中,atj是加权因子;是局部编码器隐层向量表示;
所述模型构建模块具体用于:
利用深度学习的循环神经网络结构,构建含有全局编码器与局部编码器的联合编码监控策略推荐模型,其中,全局编码器用于对整个监控序列进行总结,局部编码器用于自适应地选择当前会话中的重要项。
4.根据权利要求3所述的视频监控阵列显示优化装置,其特征在于,联合编码监控策略推荐模型构建过程中,全局编码器被整合到ct中用来提供联合编码监控策略推荐模型的顺序行为表示,全局编码器/>一个隐藏状态与局部编码器的作用不同,局部编码器/>用于计算前一个隐状态下的注意力权值,而全局编码器/>的最后一个隐藏状态用来编码整个序列行为。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110802969.0A CN113467740B (zh) | 2021-07-15 | 2021-07-15 | 一种基于联合编码的视频监控阵列显示优化方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110802969.0A CN113467740B (zh) | 2021-07-15 | 2021-07-15 | 一种基于联合编码的视频监控阵列显示优化方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113467740A CN113467740A (zh) | 2021-10-01 |
CN113467740B true CN113467740B (zh) | 2024-02-02 |
Family
ID=77880520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110802969.0A Active CN113467740B (zh) | 2021-07-15 | 2021-07-15 | 一种基于联合编码的视频监控阵列显示优化方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113467740B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6795567B1 (en) * | 1999-09-16 | 2004-09-21 | Hewlett-Packard Development Company, L.P. | Method for efficiently tracking object models in video sequences via dynamic ordering of features |
US10289912B1 (en) * | 2015-04-29 | 2019-05-14 | Google Llc | Classifying videos using neural networks |
CN110119467A (zh) * | 2019-05-14 | 2019-08-13 | 苏州大学 | 一种基于会话的项目推荐方法、装置、设备及存储介质 |
CN110955826A (zh) * | 2019-11-08 | 2020-04-03 | 上海交通大学 | 基于改进型循环神经网络单元的推荐*** |
CN111080400A (zh) * | 2019-11-25 | 2020-04-28 | 中山大学 | 一种基于门控图卷积网络的商品推荐方法及***、存储介质 |
WO2020104590A2 (en) * | 2018-11-21 | 2020-05-28 | Deepmind Technologies Limited | Aligning sequences by generating encoded representations of data items |
CN112488014A (zh) * | 2020-12-04 | 2021-03-12 | 重庆邮电大学 | 基于门控循环单元的视频预测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110326002B (zh) * | 2017-02-24 | 2023-09-05 | 谷歌有限责任公司 | 使用在线注意的序列处理 |
US20180247199A1 (en) * | 2017-02-24 | 2018-08-30 | Qualcomm Incorporated | Method and apparatus for multi-dimensional sequence prediction |
-
2021
- 2021-07-15 CN CN202110802969.0A patent/CN113467740B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6795567B1 (en) * | 1999-09-16 | 2004-09-21 | Hewlett-Packard Development Company, L.P. | Method for efficiently tracking object models in video sequences via dynamic ordering of features |
US10289912B1 (en) * | 2015-04-29 | 2019-05-14 | Google Llc | Classifying videos using neural networks |
WO2020104590A2 (en) * | 2018-11-21 | 2020-05-28 | Deepmind Technologies Limited | Aligning sequences by generating encoded representations of data items |
CN110119467A (zh) * | 2019-05-14 | 2019-08-13 | 苏州大学 | 一种基于会话的项目推荐方法、装置、设备及存储介质 |
CN110955826A (zh) * | 2019-11-08 | 2020-04-03 | 上海交通大学 | 基于改进型循环神经网络单元的推荐*** |
CN111080400A (zh) * | 2019-11-25 | 2020-04-28 | 中山大学 | 一种基于门控图卷积网络的商品推荐方法及***、存储介质 |
CN112488014A (zh) * | 2020-12-04 | 2021-03-12 | 重庆邮电大学 | 基于门控循环单元的视频预测方法 |
Non-Patent Citations (4)
Title |
---|
Sequence Generation Network Based on Hierarchical Attention for Multi-Charge Prediction;baosen ma;IEEE;全文 * |
基于循环时间卷积网络的序列流推荐算法;李太松;贺泽宇;王冰;颜永红;唐向红;;计算机科学(第03期);全文 * |
基于深度学习的推荐技术研究及应用;史冬霞;中国优秀硕士论文全文数据库·信息科技辑;全文 * |
融合知识库和深度学习的电网监控告警事件智能识别;孙国强等;电力自动化设备;第40卷(第4期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113467740A (zh) | 2021-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bi et al. | Graph-based spatio-temporal feature learning for neuromorphic vision sensing | |
CN110929622B (zh) | 视频分类方法、模型训练方法、装置、设备及存储介质 | |
CN107808139B (zh) | 一种基于深度学习的实时监控威胁分析方法及*** | |
Peng et al. | Bag of events: An efficient probability-based feature extraction method for AER image sensors | |
CN110532996A (zh) | 视频分类的方法、信息处理的方法以及服务器 | |
CN111339818B (zh) | 一种人脸多属性识别*** | |
CN107818307B (zh) | 一种基于lstm网络的多标签视频事件检测方法 | |
CN112052387A (zh) | 一种内容推荐方法、装置和计算机可读存储介质 | |
CN114550053A (zh) | 一种交通事故定责方法、装置、计算机设备及存储介质 | |
CN113988357B (zh) | 基于深度学习的高层建筑风致响应预测方法及装置 | |
CN111914676A (zh) | 人体摔倒检测方法、装置、电子设备和存储介质 | |
CN112766119A (zh) | 一种基于多维度人脸分析精准识别陌生人构建社区安防的方法 | |
CN105005852A (zh) | 一种基于图像分析的宿舍环境智能监测*** | |
Venkatesvara Rao et al. | Real-time video object detection and classification using hybrid texture feature extraction | |
Meneghetti et al. | Detecting soccer balls with reduced neural networks: a comparison of multiple architectures under constrained hardware scenarios | |
CN113467740B (zh) | 一种基于联合编码的视频监控阵列显示优化方法和装置 | |
CN112579824A (zh) | 视频数据分类方法、装置、电子设备及存储介质 | |
Kong et al. | A novel ConvLSTM with multifeature fusion for financial intelligent trading | |
CN111652073A (zh) | 视频分类方法、装置、***、服务器和存储介质 | |
CN114912354A (zh) | 一种预测蚊媒传染病风险的方法、装置及介质 | |
CN114581769A (zh) | 一种基于无监督聚类的在建房屋识别方法 | |
Min et al. | Online Fall Detection Using Attended Memory Reference Network | |
CN112153464A (zh) | 一种智慧城市管理*** | |
Ieno Jr et al. | Decision-making system for detection of moving vehicles using a field programmable gate array combining conventional techniques of digital image processing with a fuzzy integral | |
CN116091984B (zh) | 视频目标分割方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |