CN113467740A - 一种基于联合编码的视频监控阵列显示优化方法和装置 - Google Patents

一种基于联合编码的视频监控阵列显示优化方法和装置 Download PDF

Info

Publication number
CN113467740A
CN113467740A CN202110802969.0A CN202110802969A CN113467740A CN 113467740 A CN113467740 A CN 113467740A CN 202110802969 A CN202110802969 A CN 202110802969A CN 113467740 A CN113467740 A CN 113467740A
Authority
CN
China
Prior art keywords
encoder
global
monitoring
sequence
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110802969.0A
Other languages
English (en)
Other versions
CN113467740B (zh
Inventor
孙国强
刘保臣
杨志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Bo Tian Tian Tong Information Technology Co Ltd
Original Assignee
Qingdao Bo Tian Tian Tong Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Bo Tian Tian Tong Information Technology Co Ltd filed Critical Qingdao Bo Tian Tian Tong Information Technology Co Ltd
Priority to CN202110802969.0A priority Critical patent/CN113467740B/zh
Publication of CN113467740A publication Critical patent/CN113467740A/zh
Application granted granted Critical
Publication of CN113467740B publication Critical patent/CN113467740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于联合编码的视频监控阵列显示优化方法和装置，属于人工智能技术领域，通过构建全局编码器和局部编码器；利用深度学习的循环神经网络结构，构建含有全局编码器与局部编码器的联合编码监控策略推荐模型；使用当前监控序列的表示形式和每个候选项之间的双线性相似函数来计算相似度评分，根据每个项目的相似度评分获得对应监控画面接下来出现的概率值；基于每一个监控画面接下来出现的概率值优化视频监控阵列显示排序；通过构建含有全局编码器与局部编码器的联合编码监控策略推荐模型，对监控人员的行为进行可视化分析后利用循环神经网络结构，自动捕捉和总结优化后的监控人员行为。

Description

一种基于联合编码的视频监控阵列显示优化方法和装置
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于联合编码的视频监控阵列显示优化方法和装置。
背景技术
近年来，随着科技的发展和社会的进步，视频监控得到了迅速的发展，且越来越多的应用于传统和非传统的安保领域。视频监控***是当前安防最重要的安全防范技术手段之一。随着视频监控点位的增多，所需监看视频个数远大于指挥中心监控屏幕可显示数量。监管人员通过人工模式进行视频轮巡查看，工作强度大、效率低，难以实现有效管控。随着计算机视觉和人工智能技术的发展，智能监控***的轮巡机制在一定程度上减轻了监管人员的工作强度，提高了安防管理的工作效率，但是现在的轮巡机制会导致严重的信息丢失问题。
现有监控摄像机阵列排序显示技术对监控视频的显示主要有固定规则排序显示与异常画面排序显示两种思路方向，异常画面排序显示方法可以使用基于图像对比计算视频权重的方法，首先基于单一视频采集终端视频前后之间的差异，计算出各终端的权重值，再以各终端的权重值作为依据，筛选、确定多个视频流在监视器屏幕播放的次序。该方法对于处于长期“动态静止”状态的监控画面轮巡具有较好的效果，但是对持续动态变化的监控画面效果甚微。其次异常画面排序显示方法可以通过背景提取技术，判断是否有人员及异常设备等的入侵，并进行重点监控摄像机轮巡，这对运动物体检测技术有较高要求，并且由于监控摄像机工作环境及运动物体检测技术的原因，误报率较高。固定规则排序显示方法根据监控人员现有经验，设置间隔固定时间进行固定画面轮巡，这要求监控人员熟悉风险易发区域及时间，并且由于轮巡次序固定，无法针对不同时间段的高风险区域进行定时定点的轮巡监控。
这两种视频监控阵列排序显示方法均存在很大的弊端：基于固定规则的轮巡排序技术对监控人员经验要求较高，且无法在不同时间对不同风险区域进行精确轮巡；基于异常画面轮巡技术受图像智能分析技术准确性影响，误报率高，影响监控人员对风险的判断。
视频监控阵列排序显示方法从理论上可归集为一种推荐算法，利用推荐算法可以有效解决上述问题。在监控***日志中不会关注监控操作人员信息，因为对于监控***来说，监控摄像机排序显示次序比监控操作人员信息更为重要。因此可以有效利用的信息仅有操作人员的查看序列与对应的查看时间，在这种情况下使用传统推荐方法来推荐下一次排序显示的推荐结果往往是不够准确的，且推荐的结果存在滞后性和重复性的问题，然而基于会话的推荐***可以有效解决这类问题。
发明内容
本发明提供一种基于联合编码的视频监控阵列显示优化方法和装置，通过构建含有全局编码器与局部编码器的联合编码监控策略推荐模型，对监控人员的行为进行可视化分析后利用循环神经网络结构，自动捕捉和总结优化后的监控人员行为。
本发明提供的具体技术方案如下：
一方面，本发明提供一种基于联合编码的视频监控阵列显示优化方法包括：
通过将整个监控序列作为全局编码器的输入，监控人员在所述监控序列中的行为特征作为全局编码器的输出，构建全局编码器；
采用物品级的注意力机制，动态选择和线性组合输入序列的不同部分，进行构建局部编码器；
利用深度学习的循环神经网络结构，构建含有全局编码器与局部编码器的联合编码监控策略推荐模型；
使用当前监控序列的表示形式和每个候选项之间的双线性相似函数来计算相似度评分，根据每个项目的相似度评分获得对应监控画面接下来出现的概率值；
基于每一个监控画面接下来出现的概率值优化视频监控阵列显示排序。
可选的，所述构建全局编码器具体包括：
将数据集按照操作对象组织进行分组，并且将分组后的数据集按照操作时间进行排序，按照时间顺序排列的一个对象组织相当于一个序列，其中，所述数据集包括用户名、操作对象、操作对象组织、操作时间；
采用排序之后的数据集，根据公式
Figure BDA0003165325980000031
计算重置门rt，其中，σ为Sigmoid激活函数，xt为全局编码器第t次的输入数据，
Figure BDA0003165325980000032
为全局编码器第t-1次的输出数据，Wr和Ur为权重向量；
根据公式
Figure BDA0003165325980000033
计算候选行为
Figure BDA0003165325980000034
其中，rt为重置门，
Figure BDA0003165325980000035
为全局编码器第t-1次的输出数据，xt为全局编码器第t次的输入数据，W和U分别为权重向量，⊙为哈达玛乘积；
根据公式
Figure BDA0003165325980000041
计算更新门，其中，σ为Sigmoid激活函数，xt为全局编码器第t次的输入数据，
Figure BDA0003165325980000042
为全局编码器第t-1次的输出数据，Wz和Uz为权重向量；
根据公式
Figure BDA0003165325980000043
计算候选行为
Figure BDA0003165325980000044
与其之前的行为ht-1的关系，其中，zt为更新门，
Figure BDA0003165325980000045
为候选行为，
Figure BDA0003165325980000046
为全局编码器第t-1次的输出数据，候选行为
Figure BDA0003165325980000047
与其之前的行为ht-1的关系
Figure BDA0003165325980000048
为全局编码器的输出操作序列特征。
可选的，所述构建局部编码器具体包括：
将数据集按照操作对象组织进行分组，并且将分组后的数据集按照操作时间进行排序，按照时间顺序排列的一个对象组织相当于一个序列，其中，所述数据集包括用户名、操作对象、操作对象组织、操作时间；
根据公式
Figure BDA0003165325980000049
计算全局编码器隐层输出
Figure BDA00031653259800000410
和局部编码器隐层向量表示
Figure BDA00031653259800000411
的相似度函数q，其中，矩阵A1用来将
Figure BDA00031653259800000412
转化到一个潜在空间，矩阵A2用来将
Figure BDA00031653259800000413
转化到一个潜在空间，σ为Sigmoid激活函数，vT是维度转换矩阵；
根据公式
Figure BDA00031653259800000414
计算加权因子α，其中，
Figure BDA00031653259800000415
是全局编码器隐层输出；
Figure BDA00031653259800000416
是局部编码器隐层向量表示；
根据公式
Figure BDA00031653259800000417
计算监控序列中监控人员的意图系数，其中，atj是加权因子；
Figure BDA00031653259800000418
是局部编码器隐层向量表示。
可选的，所述构建含有全局编码器与局部编码器的联合编码监控策略推荐模型具体包括：
利用深度学习的循环神经网络结构，构建含有全局编码器与局部编码器的联合编码监控策略推荐模型，其中，全局编码器用于对整个监控序列进行总结，局部编码器用于自适应地选择当前会话中的重要项。
可选的，联合编码监控策略推荐模型构建过程中，全局编码器
Figure BDA0003165325980000051
被整合到ct中用来提供联合编码监控策略推荐模型的顺序行为表示，全局编码器
Figure BDA0003165325980000052
一个隐藏状态与局部编码器的作用不同，局部编码器
Figure BDA0003165325980000053
用于计算前一个隐状态下的注意力权值，而全局编码器
Figure BDA0003165325980000054
的最后一个隐藏状态用来编码整个序列行为。
另一方面，本发明还提供一种基于联合编码的视频监控阵列显示优化装置包括：
全局构建模块，用于通过将整个监控序列作为全局编码器的输入，监控人员在所述监控序列中的行为特征作为全局编码器的输出，构建全局编码器；
局部构建模块，用于采用物品级的注意力机制，动态选择和线性组合输入序列的不同部分，进行构建局部编码器；
模型构建模块，用于利用深度学习的循环神经网络结构，构建含有全局编码器与局部编码器的联合编码监控策略推荐模型；
相似度计算模块，用于使用当前监控序列的表示形式和每个候选项之间的双线性相似函数来计算相似度评分，根据每个项目的相似度评分获得对应监控画面接下来出现的概率值；
显示排序模块，用于基于每一个监控画面接下来出现的概率值优化视频监控阵列显示排序。
可选的，所述全局构建模块具体用于：
将数据集按照操作对象组织进行分组，并且将分组后的数据集按照操作时间进行排序，按照时间顺序排列的一个对象组织相当于一个序列，其中，所述数据集包括用户名、操作对象、操作对象组织、操作时间；
采用排序之后的数据集，根据公式
Figure BDA0003165325980000061
计算重置门rt，其中，σ为Sigmoid激活函数，xt为全局编码器第t次的输入数据，
Figure BDA0003165325980000062
为全局编码器第t-1次的输出数据，Wr和Ur为权重向量；
根据公式
Figure BDA0003165325980000063
计算候选行为
Figure BDA0003165325980000064
其中，rt为重置门，
Figure BDA0003165325980000065
为全局编码器第t-1次的输出数据，xt为全局编码器第t次的输入数据，W和U分别为权重向量，⊙为哈达玛乘积；
根据公式
Figure BDA0003165325980000066
计算更新门，其中，σ为Sigmoid激活函数，xt为全局编码器第t次的输入数据，
Figure BDA0003165325980000067
为全局编码器第t-1次的输出数据，Wz和Uz为权重向量；
根据公式
Figure BDA0003165325980000068
计算候选行为
Figure BDA0003165325980000069
与其之前的行为ht-1的关系，其中，zt为更新门，
Figure BDA00031653259800000610
为候选行为，
Figure BDA00031653259800000611
为全局编码器第t-1次的输出数据，候选行为
Figure BDA00031653259800000612
与其之前的行为ht-1的关系
Figure BDA00031653259800000613
为全局编码器的输出操作序列特征。
可选的，所述局部构建模块具体用于：
将数据集按照操作对象组织进行分组，并且将分组后的数据集按照操作时间进行排序，按照时间顺序排列的一个对象组织相当于一个序列，其中，所述数据集包括用户名、操作对象、操作对象组织、操作时间；
根据公式
Figure BDA00031653259800000614
计算全局编码器隐层输出
Figure BDA00031653259800000615
和局部编码器隐层向量表示
Figure BDA00031653259800000616
的相似度函数q，其中，矩阵A1用来将
Figure BDA00031653259800000617
转化到一个潜在空间，矩阵A2用来将
Figure BDA00031653259800000618
转化到一个潜在空间，σ为Sigmoid激活函数，vT是维度转换矩阵；
根据公式
Figure BDA00031653259800000619
计算加权因子α，其中，
Figure BDA00031653259800000620
是全局编码器隐层输出；
Figure BDA00031653259800000621
是局部编码器隐层向量表示；
根据公式
Figure BDA0003165325980000071
计算监控序列中监控人员的意图系数，其中，atj是加权因子；
Figure BDA0003165325980000072
是局部编码器隐层向量表示。
可选的，所述模型构建模块具体用于：
利用深度学习的循环神经网络结构，构建含有全局编码器与局部编码器的联合编码监控策略推荐模型，其中，全局编码器用于对整个监控序列进行总结，局部编码器用于自适应地选择当前会话中的重要项。
可选的，联合编码监控策略推荐模型构建过程中，全局编码器
Figure BDA0003165325980000074
被整合到ct中用来提供联合编码监控策略推荐模型的顺序行为表示，全局编码器
Figure BDA0003165325980000073
一个隐藏状态与局部编码器的作用不同，局部编码器
Figure BDA0003165325980000075
用于计算前一个隐状态下的注意力权值，而全局编码器
Figure BDA0003165325980000076
的最后一个隐藏状态用来编码整个序列行为。
本发明的有益效果如下：
本发明实施例提供的一种基于联合编码的视频监控阵列显示优化方法包括通过将整个监控序列作为全局编码器的输入，监控人员在所述监控序列中的行为特征作为全局编码器的输出，构建全局编码器；采用物品级的注意力机制，动态选择和线性组合输入序列的不同部分，进行构建局部编码器；利用深度学习的循环神经网络结构，构建含有全局编码器与局部编码器的联合编码监控策略推荐模型；使用当前监控序列的表示形式和每个候选项之间的双线性相似函数来计算相似度评分，根据每个项目的相似度评分获得对应监控画面接下来出现的概率值；基于每一个监控画面接下来出现的概率值优化视频监控阵列显示排序；通过构建含有全局编码器与局部编码器的联合编码监控策略推荐模型，对监控人员的行为进行可视化分析后利用循环神经网络结构，自动捕捉和总结优化后的监控人员行为。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于联合编码的视频监控阵列显示优化方法的流程示意图；
图2是本发明实施例提供的一种基于联合编码的视频监控阵列显示优化方法装置的结构框图；
图3是本发明实施例提供的一种全局编码器的示意图；
图4为本发明实施例提供的一种局部编码器的示意图；
图5为本发明实施例提供的一种联合编码监控策略推荐模型的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
下面将结合附图1～附图5，对本发明实施例的一种基于联合编码的视频监控阵列显示优化方法和装置进行详细说明。
参考图1、图3、图4和图5所示，本发明实施例提供的一种基于联合编码的视频监控阵列显示优化方法包括：
步骤100：通过将整个监控序列作为全局编码器的输入，监控人员在所述监控序列中的行为特征作为全局编码器的输出，构建全局编码器；
具体的，参考图3所示，将数据集按照操作对象组织进行分组，并且将分组后的数据集按照操作时间进行排序，按照时间顺序排列的一个对象组织相当于一个序列，其中，所述数据集包括用户名、操作对象、操作对象组织、操作时间；
采用排序之后的数据集，根据公式
Figure BDA0003165325980000091
计算重置门rt，其中，σ为Sigmoid激活函数，xt为全局编码器第t次的输入数据，
Figure BDA0003165325980000092
为全局编码器第t-1次的输出数据，Wr和Ur为权重向量；
根据公式
Figure BDA0003165325980000093
计算候选行为
Figure BDA0003165325980000094
其中，rt为重置门，
Figure BDA0003165325980000095
为全局编码器第t-1次的输出数据，xt为全局编码器第t次的输入数据，W和U分别为权重向量，⊙为哈达玛乘积；
根据公式
Figure BDA0003165325980000096
计算更新门，其中，σ为Sigmoid激活函数，xt为全局编码器第t次的输入数据，
Figure BDA0003165325980000097
为全局编码器第t-1次的输出数据，Wz和Uz为权重向量；
根据公式
Figure BDA0003165325980000098
计算候选行为
Figure BDA0003165325980000099
与其之前的行为ht-1的关系，其中，zt为更新门，
Figure BDA00031653259800000910
为候选行为，
Figure BDA00031653259800000911
为全局编码器第t-1次的输出数据，候选行为
Figure BDA00031653259800000912
与其之前的行为ht-1的关系
Figure BDA00031653259800000913
为全局编码器的输出操作序列特征。
其中，将整个监控序列作为全局编码器的输入，监控人员在该序列的行为特征作为全局编码器的输出。数据集中含有操作用户、操作用户IP、操作用户MAC、操作用户组织、操作业务、操作动作、操作对象、操作对象类型、操作对象组织、描述、操作时间、操作结果、新值、原值这14个数据项，本发明实施例剔除与实验无关的数据项，仅保留用户名、操作对象、操作对象组织、操作时间这4个数据项，进一步降低数据集大小以提高模型运行速度。
将数据集按照操作对象组织进行分组，并且将分组后的数据集按照操作时间进行排序，按照时间顺序排列的一个对象组织相当于一个序列。在全局编码器中，输入数据被分成一个个固定大小的批次来进行训练，批次的大小决定一次训练的样本数目和，影响模型的优化程度、模型输入层的参数设置和速度。选择正确的批次是为了在内存效率和内存容量之间寻找最佳平衡。
本发明实施例根据用户点击序列的特点，全局编码器将用户的序列数据集进行拆分，将上一次的点击作为输入，下一次的点击作为输出，通过输入和输出的对应关系来保留数据之间的关联性，从而解决因序列长度差异大而难以建模的问题。
步骤200：采用物品级的注意力机制，动态选择和线性组合输入序列的不同部分，进行构建局部编码器；
由于全局编码器对整个监控序列的矢量化概括难以精确获得监控人员的意图，也正是基于此，本发明实施例设计了面向视频监控的局部编码器，局部编码器的优点是自适应的捕获监控人员意图。
参考图4所示，局部编码器的构建过程中，将数据集按照操作对象组织进行分组，并且将分组后的数据集按照操作时间进行排序，按照时间顺序排列的一个对象组织相当于一个序列，其中，所述数据集包括用户名、操作对象、操作对象组织、操作时间。局部编码器的构建过程中，采用的数据集与全局编码器构建过程中采用的数据集相同，且数据预处理方式也与全局编码器相同。
参考图4所示，根据公式
Figure BDA0003165325980000101
计算全局编码器隐层输出
Figure BDA0003165325980000102
和局部编码器隐层向量表示
Figure BDA0003165325980000103
的相似度函数q，其中，矩阵A1用来将
Figure BDA0003165325980000104
转化到一个潜在空间，矩阵A2用来将
Figure BDA0003165325980000105
转化到一个潜在空间，σ为Sigmoid激活函数，vT是维度转换矩阵；
根据公式
Figure BDA0003165325980000106
计算加权因子α，其中，
Figure BDA0003165325980000107
是全局编码器隐层输出；
Figure BDA0003165325980000108
是局部编码器隐层向量表示；
根据公式
Figure BDA0003165325980000111
计算监控序列中监控人员的意图系数，其中，atj是加权因子；
Figure BDA0003165325980000112
是局部编码器隐层向量表示。
步骤300：利用深度学习的循环神经网络结构，构建含有全局编码器与局部编码器的联合编码监控策略推荐模型；
参考图5所示，利用深度学习的循环神经网络结构，构建含有全局编码器与局部编码器的联合编码监控策略推荐模型，其中，全局编码器用于对整个监控序列进行总结，局部编码器用于自适应地选择当前会话中的重要项。
并且，在联合编码监控策略推荐模型构建过程中，全局编码器
Figure BDA0003165325980000113
被整合到ct中用来提供联合编码监控策略推荐模型的顺序行为表示，全局编码器
Figure BDA0003165325980000114
一个隐藏状态与局部编码器的作用不同，局部编码器
Figure BDA0003165325980000115
用于计算前一个隐状态下的注意力权值，而全局编码器
Figure BDA0003165325980000116
的最后一个隐藏状态用来编码整个序列行为。
本发明实施例利用深度学习的循环神经网络结构，构建含有全局编码器与局部编码器的联合编码监控策略推荐模型。对于基于会话的摄像机监控任务，全局编码器用于对整个监控序列进行总结，而局部编码器可以自适应地选择当前会话中的重要项。序列行为利于提取当前会话中用户的主要目的。因此，本发明实施例使用序列行为的表示与之前的隐藏状态来计算每次用户点击的注意力权重。
步骤400：使用当前监控序列的表示形式和每个候选项之间的双线性相似函数来计算相似度评分，根据每个项目的相似度评分获得对应监控画面接下来出现的概率值；
步骤500：基于每一个监控画面接下来出现的概率值优化视频监控阵列显示排序。
需要说明的是，轮巡是指所安装的所有摄像头每个画面，按摄像头顺序在屏幕上显示，每隔几秒或者几分钟切换到下一个摄像头拍摄的画面。轮询的过程中省去了手动人工点击切换画面，一般适合小区保安室夜间守护，商场保安室电子巡逻用。轮巡策略是指轮巡摄像头的显示顺序，及切换间隔。循环神经网络(Recurrent Neural Network,RNN)是一类以序列数据为输入，在序列的演进方向进行递归且所有节点按链式连接的递归神经网络；循环神经网络具有记忆性、参数共享并且图灵完备，因此在对序列的非线性特征进行学习时具有一定优势。
本发明实施例使用双线性解码方案(bi-linear decoding scheme)，既减少了参数的数目，又提高了模型的性能。其中，根据公式
Figure BDA0003165325980000121
使用当前监控序列的表示形式和每个候选项之间的双线性相似函数来计算相似度评分Si，其中，B是一个维度转换矩阵，用于将ct的嵌入表示转化成和嵌入层
Figure BDA0003165325980000122
相同的维度。最后，将每个项目的相似度评分输入到softmax层，以获得该摄像头画面接下来出现的概率。
本发明实施例提供的一种基于联合编码的视频监控阵列显示优化方法包括通过将整个监控序列作为全局编码器的输入，监控人员在所述监控序列中的行为特征作为全局编码器的输出，构建全局编码器；采用物品级的注意力机制，动态选择和线性组合输入序列的不同部分，进行构建局部编码器；利用深度学习的循环神经网络结构，构建含有全局编码器与局部编码器的联合编码监控策略推荐模型；使用当前监控序列的表示形式和每个候选项之间的双线性相似函数来计算相似度评分，根据每个项目的相似度评分获得对应监控画面接下来出现的概率值；基于每一个监控画面接下来出现的概率值优化视频监控阵列显示排序；通过构建含有全局编码器与局部编码器的联合编码监控策略推荐模型，对监控人员的行为进行可视化分析后利用循环神经网络结构，自动捕捉和总结优化后的监控人员行为。
本发明实施例利用监控***的操作日志，自动学习操作人员行为，提出一种基于全局-局部联合编码模型的视频监控阵列显示优化方法，解决了现有轮巡机制对监控人员经验要求较高及无法对监控区域精确轮巡的弊端。其中，利用全局编码器对整个操作序列进行总结，利用GRU作为全局编码器的主要单元使其具有较低的计算复杂度及较高的可扩展性，从而有利于对较长的操作序列进行总结。利用局部编码器自适应地选择操作序列中的重要项，实现捕捉操作人员的主要目的。
本发明实施例提供的一种基于联合编码的视频监控阵列显示优化方法可以采用Recall@20和MMR@20两个指标来进行评测，
Figure BDA0003165325980000131
其中TP表示将正类预测为正类的数目，FN表示将正类预测为负类的数目，Recall@20表示：模型对所有预测物品评分的排序中，被正确预测的物品在前20项里所占的比例。
MRR是用来衡量搜索算法效果的指标，目前被广泛用在允许返回多个结果的问题，模型会对每一个返回的结果给一个置信度(打分)，然后根据置信度排序，将得分高的结果排在前面返回。具体来说：对于一个查询，第一个正确答案排名倒数的平均数(如果返回的正确物品在前20名之外，则这项物品的排名倒数分数就是0)。
MRR可以采用如下公式计算：
Figure BDA0003165325980000132
Figure BDA0003165325980000133
其中，Q为样本查询集合；|Q|为Q中的查询个数；ranki表示在第i个查询中，第一个正确答案的排名。
本发明实施例提供的一种基于联合编码的视频监控阵列显示优化方法的Recall@20为48％，MRR@20为22％，明显优于相同场景下的传统方法。
基于相同的发明构思，参考图2所示，本发明实施例还提供一种基于联合编码的视频监控阵列显示优化装置包括：
全局构建模块110，用于通过将整个监控序列作为全局编码器的输入，监控人员在所述监控序列中的行为特征作为全局编码器的输出，构建全局编码器；
局部构建模块120，用于采用物品级的注意力机制，动态选择和线性组合输入序列的不同部分，进行构建局部编码器；
模型构建模块130，用于利用深度学习的循环神经网络结构，构建含有全局编码器与局部编码器的联合编码监控策略推荐模型；
相似度计算模块140，用于使用当前监控序列的表示形式和每个候选项之间的双线性相似函数来计算相似度评分，根据每个项目的相似度评分获得对应监控画面接下来出现的概率值；
显示排序模块150，用于基于每一个监控画面接下来出现的概率值优化视频监控阵列显示排序。
可选的，全局构建模块110具体用于：
将数据集按照操作对象组织进行分组，并且将分组后的数据集按照操作时间进行排序，按照时间顺序排列的一个对象组织相当于一个序列，其中，所述数据集包括用户名、操作对象、操作对象组织、操作时间；
采用排序之后的数据集，根据公式
Figure BDA0003165325980000141
计算重置门rt，其中，σ为Sigmoid激活函数，xt为全局编码器第t次的输入数据，
Figure BDA0003165325980000151
为全局编码器第t-1次的输出数据，Wr和Ur为权重向量；
根据公式
Figure BDA0003165325980000152
计算候选行为
Figure BDA0003165325980000153
其中，rt为重置门，
Figure BDA0003165325980000154
为全局编码器第t-1次的输出数据，xt为全局编码器第t次的输入数据，W和U分别为权重向量，⊙为哈达玛乘积；
根据公式
Figure BDA0003165325980000155
计算更新门，其中，σ为Sigmoid激活函数，xt为全局编码器第t次的输入数据，
Figure BDA0003165325980000156
为全局编码器第t-1次的输出数据，Wz和Uz为权重向量；
根据公式
Figure BDA0003165325980000157
计算候选行为
Figure BDA0003165325980000158
与其之前的行为ht-1的关系，其中，zt为更新门，
Figure BDA0003165325980000159
为候选行为，
Figure BDA00031653259800001510
为全局编码器第t-1次的输出数据，候选行为
Figure BDA00031653259800001511
与其之前的行为ht-1的关系
Figure BDA00031653259800001512
为全局编码器的输出操作序列特征。
可选的，局部构建模块120具体用于：
将数据集按照操作对象组织进行分组，并且将分组后的数据集按照操作时间进行排序，按照时间顺序排列的一个对象组织相当于一个序列，其中，所述数据集包括用户名、操作对象、操作对象组织、操作时间；
根据公式
Figure BDA00031653259800001513
计算全局编码器隐层输出
Figure BDA00031653259800001514
和局部编码器隐层向量表示
Figure BDA00031653259800001515
的相似度函数q，其中，矩阵A1用来将
Figure BDA00031653259800001516
转化到一个潜在空间，矩阵A2用来将
Figure BDA00031653259800001517
转化到一个潜在空间，σ为Sigmoid激活函数，vT是维度转换矩阵；
根据公式
Figure BDA00031653259800001518
计算加权因子α，其中，
Figure BDA00031653259800001519
是全局编码器隐层输出；
Figure BDA00031653259800001520
是局部编码器隐层向量表示；
根据公式
Figure BDA00031653259800001521
计算监控序列中监控人员的意图系数，其中，atj是加权因子；
Figure BDA00031653259800001522
是局部编码器隐层向量表示。
可选的，模型构建模块130具体用于：
利用深度学习的循环神经网络结构，构建含有全局编码器与局部编码器的联合编码监控策略推荐模型，其中，全局编码器用于对整个监控序列进行总结，局部编码器用于自适应地选择当前会话中的重要项。联合编码监控策略推荐模型构建过程中，全局编码器
Figure BDA0003165325980000163
被整合到ct中用来提供联合编码监控策略推荐模型的顺序行为表示，全局编码器
Figure BDA0003165325980000161
一个隐藏状态与局部编码器的作用不同，局部编码器
Figure BDA0003165325980000162
用于计算前一个隐状态下的注意力权值，而全局编码器
Figure BDA0003165325980000164
的最后一个隐藏状态用来编码整个序列行为。
本发明实施例还提供一种基于联合编码的视频监控阵列显示优化装置，利用监控***的操作日志，构建联合编码模型，利用全局编码器对操作序列进行总结，利用局部编码器自适应地选择操作序列中的重要项，捕捉操作人员的主要目的，可以有效解决现有轮巡机制对监控人员经验要求高及无法对监控区域精确轮巡的弊端。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于联合编码的视频监控阵列显示优化方法，其特征在于，所述视频监控阵列显示优化方法包括：
通过将整个监控序列作为全局编码器的输入，监控人员在所述监控序列中的行为特征作为全局编码器的输出，构建全局编码器；
采用物品级的注意力机制，动态选择和线性组合输入序列的不同部分，进行构建局部编码器；
利用深度学习的循环神经网络结构，构建含有全局编码器与局部编码器的联合编码监控策略推荐模型；
使用当前监控序列的表示形式和每个候选项之间的双线性相似函数来计算相似度评分，根据每个项目的相似度评分获得对应监控画面接下来出现的概率值；
基于每一个监控画面接下来出现的概率值优化视频监控阵列显示排序。
2.根据权利要求1所述的视频监控阵列显示优化方法，其特征在于，所述构建全局编码器具体包括：
将数据集按照操作对象组织进行分组，并且将分组后的数据集按照操作时间进行排序，按照时间顺序排列的一个对象组织相当于一个序列，其中，所述数据集包括用户名、操作对象、操作对象组织、操作时间；
采用排序之后的数据集，根据公式
Figure FDA0003165325970000011
计算重置门rt，其中，σ为Sigmoid激活函数，xt为全局编码器第t次的输入数据，
Figure FDA0003165325970000012
为全局编码器第t-1次的输出数据，Wr和Ur为权重向量；
根据公式
Figure FDA0003165325970000013
计算候选行为
Figure FDA0003165325970000014
其中，rt为重置门，
Figure FDA0003165325970000015
为全局编码器第t-1次的输出数据，xt为全局编码器第t次的输入数据，W和U分别为权重向量，⊙为哈达玛乘积；
根据公式
Figure FDA0003165325970000021
计算更新门，其中，σ为Sigmoid激活函数，xt为全局编码器第t次的输入数据，
Figure FDA0003165325970000022
为全局编码器第t-1次的输出数据，Wz和Uz为权重向量；
根据公式
Figure FDA0003165325970000023
计算候选行为
Figure FDA0003165325970000024
与其之前的行为ht-1的关系，其中，zt为更新门，
Figure FDA0003165325970000025
为候选行为，
Figure FDA0003165325970000026
为全局编码器第t-1次的输出数据，候选行为
Figure FDA0003165325970000027
与其之前的行为ht-1的关系
Figure FDA0003165325970000028
为全局编码器的输出操作序列特征。
3.根据权利要求1所述的视频监控阵列显示优化方法，其特征在于，所述构建局部编码器具体包括：
将数据集按照操作对象组织进行分组，并且将分组后的数据集按照操作时间进行排序，按照时间顺序排列的一个对象组织相当于一个序列，其中，所述数据集包括用户名、操作对象、操作对象组织、操作时间；
根据公式
Figure FDA0003165325970000029
计算全局编码器隐层输出
Figure FDA00031653259700000210
和局部编码器隐层向量表示
Figure FDA00031653259700000211
的相似度函数q，其中，矩阵A1用来将
Figure FDA00031653259700000212
转化到一个潜在空间，矩阵A2用来将
Figure FDA00031653259700000213
转化到一个潜在空间，σ为Sigmoid激活函数，vT是维度转换矩阵；
根据公式
Figure FDA00031653259700000214
计算加权因子α，其中，
Figure FDA00031653259700000215
是全局编码器隐层输出；
Figure FDA00031653259700000216
是局部编码器隐层向量表示；
根据公式
Figure FDA00031653259700000217
计算监控序列中监控人员的意图系数，其中，atj是加权因子；
Figure FDA00031653259700000218
是局部编码器隐层向量表示。
4.根据权利要求1所述的视频监控阵列显示优化方法，其特征在于，所述构建含有全局编码器与局部编码器的联合编码监控策略推荐模型具体包括：
利用深度学习的循环神经网络结构，构建含有全局编码器与局部编码器的联合编码监控策略推荐模型，其中，全局编码器用于对整个监控序列进行总结，局部编码器用于自适应地选择当前会话中的重要项。
5.根据权利要求4所述的视频监控阵列显示优化方法，其特征在于，联合编码监控策略推荐模型构建过程中，全局编码器
Figure FDA0003165325970000031
被整合到ct中用来提供联合编码监控策略推荐模型的顺序行为表示，全局编码器
Figure FDA0003165325970000032
一个隐藏状态与局部编码器的作用不同，局部编码器
Figure FDA0003165325970000033
用于计算前一个隐状态下的注意力权值，而全局编码器
Figure FDA0003165325970000034
的最后一个隐藏状态用来编码整个序列行为。
6.一种基于联合编码的视频监控阵列显示优化装置，其特征在于，所述视频监控阵列显示优化装置包括：
全局构建模块，用于通过将整个监控序列作为全局编码器的输入，监控人员在所述监控序列中的行为特征作为全局编码器的输出，构建全局编码器；
局部构建模块，用于采用物品级的注意力机制，动态选择和线性组合输入序列的不同部分，进行构建局部编码器；
模型构建模块，用于利用深度学习的循环神经网络结构，构建含有全局编码器与局部编码器的联合编码监控策略推荐模型；
相似度计算模块，用于使用当前监控序列的表示形式和每个候选项之间的双线性相似函数来计算相似度评分，根据每个项目的相似度评分获得对应监控画面接下来出现的概率值；
显示排序模块，用于基于每一个监控画面接下来出现的概率值优化视频监控阵列显示排序。
7.根据权利要求6所述的视频监控阵列显示优化装置，其特征在于，所述全局构建模块具体用于：
将数据集按照操作对象组织进行分组，并且将分组后的数据集按照操作时间进行排序，按照时间顺序排列的一个对象组织相当于一个序列，其中，所述数据集包括用户名、操作对象、操作对象组织、操作时间；
采用排序之后的数据集，根据公式
Figure FDA0003165325970000041
计算重置门rt，其中，σ为Sigmoid激活函数，xt为全局编码器第t次的输入数据，
Figure FDA0003165325970000042
为全局编码器第t-1次的输出数据，Wr和Ur为权重向量；
根据公式
Figure FDA0003165325970000043
计算候选行为
Figure FDA0003165325970000044
其中，rt为重置门，
Figure FDA0003165325970000045
为全局编码器第t-1次的输出数据，xt为全局编码器第t次的输入数据，W和U分别为权重向量，⊙为哈达玛乘积；
根据公式
Figure FDA0003165325970000046
计算更新门，其中，σ为Sigmoid激活函数，xt为全局编码器第t次的输入数据，
Figure FDA0003165325970000047
为全局编码器第t-1次的输出数据，Wz和Uz为权重向量；
根据公式
Figure FDA0003165325970000048
计算候选行为
Figure FDA0003165325970000049
与其之前的行为ht-1的关系，其中，zt为更新门，
Figure FDA00031653259700000410
为候选行为，
Figure FDA00031653259700000411
为全局编码器第t-1次的输出数据，候选行为
Figure FDA00031653259700000412
与其之前的行为ht-1的关系
Figure FDA00031653259700000413
为全局编码器的输出操作序列特征。
8.根据权利要求6所述的视频监控阵列显示优化装置，其特征在于，所述局部构建模块具体用于：
将数据集按照操作对象组织进行分组，并且将分组后的数据集按照操作时间进行排序，按照时间顺序排列的一个对象组织相当于一个序列，其中，所述数据集包括用户名、操作对象、操作对象组织、操作时间；
根据公式
Figure FDA00031653259700000414
计算全局编码器隐层输出
Figure FDA00031653259700000415
和局部编码器隐层向量表示
Figure FDA00031653259700000416
的相似度函数q，其中，矩阵A1用来将
Figure FDA0003165325970000051
转化到一个潜在空间，矩阵A2用来将
Figure FDA0003165325970000052
转化到一个潜在空间，σ为Sigmoid激活函数，vT是维度转换矩阵；
根据公式
Figure FDA0003165325970000053
计算加权因子α，其中，
Figure FDA0003165325970000054
是全局编码器隐层输出；
Figure FDA0003165325970000055
是局部编码器隐层向量表示；
根据公式
Figure FDA0003165325970000056
计算监控序列中监控人员的意图系数，其中，atj是加权因子；
Figure FDA0003165325970000057
是局部编码器隐层向量表示。
9.根据权利要求6所述的视频监控阵列显示优化装置，其特征在于，所述模型构建模块具体用于：
利用深度学习的循环神经网络结构，构建含有全局编码器与局部编码器的联合编码监控策略推荐模型，其中，全局编码器用于对整个监控序列进行总结，局部编码器用于自适应地选择当前会话中的重要项。
10.根据权利要求9所述的视频监控阵列显示优化装置，其特征在于，联合编码监控策略推荐模型构建过程中，全局编码器
Figure FDA0003165325970000058
被整合到ct中用来提供联合编码监控策略推荐模型的顺序行为表示，全局编码器
Figure FDA0003165325970000059
一个隐藏状态与局部编码器的作用不同，局部编码器
Figure FDA00031653259700000510
用于计算前一个隐状态下的注意力权值，而全局编码器
Figure FDA00031653259700000511
的最后一个隐藏状态用来编码整个序列行为。
CN202110802969.0A 2021-07-15 2021-07-15 一种基于联合编码的视频监控阵列显示优化方法和装置 Active CN113467740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110802969.0A CN113467740B (zh) 2021-07-15 2021-07-15 一种基于联合编码的视频监控阵列显示优化方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110802969.0A CN113467740B (zh) 2021-07-15 2021-07-15 一种基于联合编码的视频监控阵列显示优化方法和装置

Publications (2)

Publication Number Publication Date
CN113467740A true CN113467740A (zh) 2021-10-01
CN113467740B CN113467740B (zh) 2024-02-02

Family

ID=77880520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110802969.0A Active CN113467740B (zh) 2021-07-15 2021-07-15 一种基于联合编码的视频监控阵列显示优化方法和装置

Country Status (1)

Country Link
CN (1) CN113467740B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6795567B1 (en) * 1999-09-16 2004-09-21 Hewlett-Packard Development Company, L.P. Method for efficiently tracking object models in video sequences via dynamic ordering of features
US20180247199A1 (en) * 2017-02-24 2018-08-30 Qualcomm Incorporated Method and apparatus for multi-dimensional sequence prediction
US10289912B1 (en) * 2015-04-29 2019-05-14 Google Llc Classifying videos using neural networks
CN110119467A (zh) * 2019-05-14 2019-08-13 苏州大学 一种基于会话的项目推荐方法、装置、设备及存储介质
US20190332919A1 (en) * 2017-02-24 2019-10-31 Google Llc Sequence processing using online attention
CN110955826A (zh) * 2019-11-08 2020-04-03 上海交通大学 基于改进型循环神经网络单元的推荐***
CN111080400A (zh) * 2019-11-25 2020-04-28 中山大学 一种基于门控图卷积网络的商品推荐方法及***、存储介质
WO2020104590A2 (en) * 2018-11-21 2020-05-28 Deepmind Technologies Limited Aligning sequences by generating encoded representations of data items
CN112488014A (zh) * 2020-12-04 2021-03-12 重庆邮电大学 基于门控循环单元的视频预测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6795567B1 (en) * 1999-09-16 2004-09-21 Hewlett-Packard Development Company, L.P. Method for efficiently tracking object models in video sequences via dynamic ordering of features
US10289912B1 (en) * 2015-04-29 2019-05-14 Google Llc Classifying videos using neural networks
US20180247199A1 (en) * 2017-02-24 2018-08-30 Qualcomm Incorporated Method and apparatus for multi-dimensional sequence prediction
US20190332919A1 (en) * 2017-02-24 2019-10-31 Google Llc Sequence processing using online attention
WO2020104590A2 (en) * 2018-11-21 2020-05-28 Deepmind Technologies Limited Aligning sequences by generating encoded representations of data items
CN110119467A (zh) * 2019-05-14 2019-08-13 苏州大学 一种基于会话的项目推荐方法、装置、设备及存储介质
CN110955826A (zh) * 2019-11-08 2020-04-03 上海交通大学 基于改进型循环神经网络单元的推荐***
CN111080400A (zh) * 2019-11-25 2020-04-28 中山大学 一种基于门控图卷积网络的商品推荐方法及***、存储介质
CN112488014A (zh) * 2020-12-04 2021-03-12 重庆邮电大学 基于门控循环单元的视频预测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BAOSEN MA: "Sequence Generation Network Based on Hierarchical Attention for Multi-Charge Prediction", IEEE *
史冬霞: "基于深度学习的推荐技术研究及应用", 中国优秀硕士论文全文数据库·信息科技辑 *
孙国强等: "融合知识库和深度学习的电网监控告警事件智能识别", 电力自动化设备, vol. 40, no. 4 *
李太松;贺泽宇;王冰;颜永红;唐向红;: "基于循环时间卷积网络的序列流推荐算法", 计算机科学, no. 03 *

Also Published As

Publication number Publication date
CN113467740B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN110929622B (zh) 视频分类方法、模型训练方法、装置、设备及存储介质
US12008810B2 (en) Video sequence selection method, computer device, and storage medium
CN111339818B (zh) 一种人脸多属性识别***
CN110490136B (zh) 一种基于知识蒸馏的人体行为预测方法
CN111291170B (zh) 一种基于智能客服的会话推荐方法及相关装置
CN110852256A (zh) 时序动作提名的生成方法、装置、设备及存储介质
CN110795618B (zh) 内容推荐方法、装置、设备及计算机可读存储介质
CN111832440A (zh) 人脸特征提取模型的构建方法、计算机存储介质及设备
CN113988357B (zh) 基于深度学习的高层建筑风致响应预测方法及装置
CN111914676A (zh) 人体摔倒检测方法、装置、电子设备和存储介质
CN111723305B (zh) 一种预测用户下一轨迹点的方法
CN114201516B (zh) 一种用户画像构建的方法、信息推荐的方法以及相关装置
CN113467740B (zh) 一种基于联合编码的视频监控阵列显示优化方法和装置
Kong et al. A novel ConvLSTM with multifeature fusion for financial intelligent trading
CN114912354B (zh) 一种预测蚊媒传染病风险的方法、装置及介质
CN116361791A (zh) 基于api分组重构与图像表示的恶意软件检测方法
ABBAS A survey of research into artificial neural networks for crime prediction
CN115203412A (zh) 情感观点信息分析方法、装置、存储介质及电子设备
CN113065975B (zh) 网络舆情话题聚焦程度与演变关系计算方法、***、终端
CN115293249A (zh) 一种基于动态时序预测的电力***典型场景概率预测方法
Min et al. Online Fall Detection Using Attended Memory Reference Network
CN111144492A (zh) 面向移动端虚拟现实与增强现实的场景图谱生成方法
Gao et al. Learning neighbor-enhanced region representations and question-guided visual representations for visual question answering
CN113821723B (zh) 搜索方法、装置及电子设备
Setyadi et al. Deep Learning Approaches to Social Distancing Compliance and Mask Detection in Dining Environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant