CN108965885B - 一种基于帧压缩测量的视频在线重建与移动目标检测方法 - Google Patents

一种基于帧压缩测量的视频在线重建与移动目标检测方法 Download PDF

Info

Publication number
CN108965885B
CN108965885B CN201810564696.9A CN201810564696A CN108965885B CN 108965885 B CN108965885 B CN 108965885B CN 201810564696 A CN201810564696 A CN 201810564696A CN 108965885 B CN108965885 B CN 108965885B
Authority
CN
China
Prior art keywords
video
foreground
background
frame
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810564696.9A
Other languages
English (en)
Other versions
CN108965885A (zh
Inventor
曹文飞
韩国栋
徐麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Normal University
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN201810564696.9A priority Critical patent/CN108965885B/zh
Publication of CN108965885A publication Critical patent/CN108965885A/zh
Application granted granted Critical
Publication of CN108965885B publication Critical patent/CN108965885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于帧压缩测量的视频在线重建与移动目标检测方法。首先，通过基于压缩感知原理设计的摄像机在信源端对监控场景进行压缩测量；然后，将单帧的压缩测量通过信道编码后传输到监控中心；最后，在监控中心通过解码收集到单帧的压缩测量数据，并通过压缩重建算法重构视频帧的背景与前景。运用矩阵核范数来建模视频背景的低秩性，运用全变差TV函数建模视频前景的分片光滑性以及拉普拉斯混合分布建模前景的稀疏性，这种精细化的建模可提高视频的重建精度与移动目标的检测精度。

Description

一种基于帧压缩测量的视频在线重建与移动目标检测方法
技术领域
本发明属于视频处理技术领域，具体涉及一种基于帧压缩测量的视频在线重建与移动目标检测方法。
背景技术
基于压缩测量的视频移动目标检测是视频处理领域最近兴起的一项新技术，它耦合了视频重建与移动目标检测两个基本问题，并集成了两者的各自优势特征。现有的视频移动目标检测方法多关注于完整视频数据上的移动目标检测。由于这类方法需等到传输一段完整视频帧序列后才可以处理，因此在视频大数据的当前背景下遇到海量数据存储有效性、传输及时性、处理实时性等技术瓶颈。庆幸地是，一种新的信息处理理论——压缩感知[E.J.Candès,M.B.Wakin.An introduction to compressive sampling.IEEE signalprocessing magazine,25(2):21-30,2008.]给上述技术瓶颈的解决带来新的线索。该理论指出：在信源端，只需对场景进行压缩测量或者说对场景的关键性信息进行采样并存储；然后，将很少的测量数据通过信道传输到信宿端；最后，在信宿端基于少量的压缩测量可高概率地重建出原始场景。在压缩感知理论的启发下，研究人员提出了基于压缩测量的视频重建与移动目标检测方法，或者说，压缩性视频数据上的移动目标检测方法。该类方法具有很强的挑战性。下面介绍解决完整视频数据上和压缩性视频数据上的移动目标检测现有方法。
1.完整视频数据上的移动目标检测方法
为了方便叙述，我们引入一些记号。假设一段视频序列记为
Figure BDA0001684226840000011
该视频序列帧数目为K，每帧图像的大小为M×N，该视频帧序列假设可分解为背景序列和前景序列，即
X＝B+S,
这里B＝[b(1),b(2),…,b(K)]，S＝[s(1),s(2),…,s(K)]。
该类方法的目标是，设计某种方法从完整视频序列X中提取出前景序列S。从文献调研来看，这类方法可分为两大类：第一类采用视频序列的批处理方式(整体处理)，第二类采用视频序列的在线处理方式(逐帧处理)。
对批处理方式类方法来说，现有流行的算法通常采用优化能量函数的方式实现。将背景序列和前景序列作为优化变量，建立基于视频帧图像稀疏性、低秩性等约束的能量函数模型，并通过极小化该能量函数模型同时获取背景和前景序列。其能量函数模型的一般形式为：
Figure BDA0001684226840000021
其中B与S是待优化的变量，λ与μ是正则化参数，Ω(B)与Ψ(S)分别是对背景序列和前景序列的正则化约束，通常是某种稀疏性约束。该类方法的典型文献为：J.Wright,A.Ganesh,S.Rao,Y.Peng,and Y.Ma.Robust principal component analysis:Exactrecovery of corrupted low-rank matrices via convex optimization.In NIPS,2009.以及B.Xin,Y.Tian,Y.Wang,and W.Gao.Background subtraction via generalizedfused lasso foreground modeling.In CVPR,2015.以及W.Hu,Y.Yang,W.Zhang,andY.Xie.Moving object detection using tensor-based low-rank and salientlyfused-sparse decomposition.IEEE Trans.On Image Processing,26(2):724-737,2017.。其中，文献[J.Wright,A.Ganesh,S.Rao,Y.Peng,and Y.Ma.Robust principalcomponent analysis:Exact recovery of corrupted low-rank matrices via convexoptimization.In NIPS,2009.]运用稳健的主成分分析模型来解决移动目标检测问题，这里背景序列的相关性用矩阵低秩性来建模，前景序列的特征使用稀疏性来刻画；文献[B.Xin,Y.Tian,Y.Wang,and W.Gao.Background subtraction via generalized fusedlasso foreground modeling.In CVPR,2015.]采用广义融合套索(Generalized FusedLasso)来建模前景序列，这种建模方式不仅刻画了前景图像的稀疏性而且考虑到了像素强度的局部相似性，因而可取得较好的移动目标检测效果；文献[W.Hu,Y.Yang,W.Zhang,andY.Xie.Moving object detection using tensor-based low-rank and salientlyfused-sparse decomposition.IEEE Trans.On Image Processing,26(2):724-737,2017.]则进一步利用张量低秩性来建模背景序列。对于前景序列，文献[4]先通过显著性检测得到视频序列的显著性区域，然后嵌入显著性区域信息到广义融合套索模型中。相比前两个文献，文献[W.Hu,Y.Yang,W.Zhang,and Y.Xie.Moving object detection usingtensor-based low-rank and saliently fused-sparse decomposition.IEEE Trans.OnImage Processing,26(2):724-737,2017.]考虑到背景和前景的更加精细建模，因而在测试数据集上取得了良好的检测效果。
另一类是在线处理方式的检测方法。该类方法具有较快的处理速度，同时在实际应用中可满足逐视频帧的移动目标检测需求。文献中出现的一般模型为：
Figure BDA0001684226840000031
其中，Ω(bt)和Ψ(st)分别为第t幅背景帧bt与前景帧st上的某种正则约束函数，通常在背景上是某种流形约束，而在前景上是某种稀疏约束。具体来说，基于格拉斯曼流形上的增量梯度，文献[J.He,L.Balzano,and A.Szlam.Incremental gradient onGrassmannian for online foreground and background separation in subsampledvideo.In CVPR,2012.]给出一种在线的视频移动目标检测方法；在该文献的基础上，文献[J.Xu,V.K.Ithapu,L.Mukherjee,J.M.Rehg,and V.Singh.GOSUS:Grassmannian onlinesubspace updates with structured-sparsity.In ICCV,2013.]进一步建模前景的块稀疏性，给出了文献[J.He,L.Balzano,and A.Szlam.Incremental gradient onGrassmannian for online foreground and background separation in subsampledvideo.In CVPR,2012.]方法的改进版本；文献[Y.Pang,L.Ye,X.Li,andJ.Pan.Incremental learning with saliency map for moving object detection.IEEETransactions on Circuits and Systems for Video Technology,28(3):640-651,2018.]考虑到视频帧的显著性特征，并在文献[J.He,L.Balzano,andA.Szlam.Incremental gradient on Grassmannian for online foreground andbackground separation in subsampled video.In CVPR,2012.]模型的基础上提出一个高效的移动目标检测模型及其算法。
在视频大数据的背景下，上述在完整视频数据上的移动目标检测方法通常会遇到一些瓶颈，比如分布在城市交通要道的大量摄像机会拍摄到很多监控视频，这些监控视频需及时传到网络控制中心进行分析，而同步传输这些完整视频数据到网络控制中心会导致网络阻塞甚至网络瘫痪，因此传输少量的非冗余视频数据显得尤为必要。为了解决挑战，在压缩性视频数据上的移动目标检测方法应运而生。
2.压缩性视频数据上的移动目标检测方法
这类方法的目标是，通过设计检测方法从压缩性视频数据中重建出视频背景及检测出移动目标。其中，文献[V.Cevher,A.Sankaranarayanan,M.F.Duarte,D.Reddy,R.G.Baraniuk,and R.Chellappa.Compressive sensing for backgroundsubtraction.In ECCV,2008.]基于典型的压缩感知恢复模型提出一个有效的移动目标检测方法。文献[A.E.Waters,A.C.Sankaranarayanan,and R.Baraniuk.SpaRCS:Recoveringlow-rank and sparse matrices from compressive measurements.In NIPS,2011.]通过低秩性来建模背景、稀疏性来建模前景的方式提出一个优化模型来解决移动目标检测问题。在文献[A.E.Waters,A.C.Sankaranarayanan,and R.Baraniuk.SpaRCS:Recoveringlow-rank and sparse matrices from compressive measurements.In NIPS,2011.]中提出的方法基础上，文献[W.Cao,Y.Wang,J.Sun,D.Meng,C.Yang,A.Cichocki,andZ.Xu.Total variation regularized tensor RPCA for background subtraction fromcompressive measurements.IEEE Transactions on Image Processing,25(9),4075-4090,2016.]考虑设计更加精细的背景和前景序列建模。具体来说，使用张量低秩性代替矩阵低秩性来建模背景序列，时-空全变差模型代替稀疏性来刻画前景序列，基于这种精细化建模从而提出一个有效的移动目标检测方法。
另一类是基于帧压缩测量的在线处理类方法，该类方法可满足实际视频监控应用中的实时性需求。文献中模型的一般形式为：
Figure BDA0001684226840000051
其中，A是某种压缩测量矩阵，Ω(bt)和Ψ(st)分别为第t幅背景帧bt与前景帧st上的某种正则约束函数。在文献[J.F.Mota,N.Deligiannis,A.C.Sankaranarayanan,V.Cevher,and M.R.Rodrigues.Adaptive-rate sparse signal reconstruction withapplication in compressive background subtraction.IEEE Transactions on SignalProcessing,64(14):3651-3666,2016.]中，作者基于l1-l1极小化模型提出一个在线的移动目标检测算法。在文献[H.Luong,N.Deligiannis,J.Seiler,S.Forchhammer,andA.Kaup.Compressive online robust principal component analysis via n-l1minimization.To appear in IEEE Transactions on Image Processing,2018.]中，作者将l1-l1极小化模型推广到n-l1极小化模型，并将基于帧压缩测量的移动目标检测问题转化为一个稀疏优化问题，并设计一个高效的优化方法。
上述在完整/压缩性视频数据上的移动目标检测方法均具有局限性。对于完整视频数据上的移动目标检测方法，由于在场景采集过程中没有考虑到数据的压缩性，因而在视频大数据的背景下，容易导致在信源端的存储负担以及传输过程中的网络阻塞等弊端；对于压缩性视频数据上的移动目标检测方法，虽然在场景采集过程中考虑到了压缩性测量，但是在建模视频背景和前景时，仅考虑到一些简单稀疏先验约束，没有针对这种3-维视频数据考虑更加精细的建模，因而在一定压缩采样率下移动目标的检测精度有待进一步提高。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于帧压缩测量的视频在线重建与移动目标检测方法。本发明要解决的技术问题通过以下技术方案实现：一种基于帧压缩测量的视频在线重建与移动目标检测方法，包括以下步骤：
步骤1，采集视频序列X0作为训练集，将视频序列X0输入稳健主成分分析模型中，并输出视频先验背景B0,和前景序列S0，将所述前景序列S0的后k帧视频图像赋值得到视频先验前景
Figure BDA0001684226840000061
其中，视频序列X0的帧数为L，L表示正整数；
步骤2，采集监控场景的第t帧视频图像的压缩测量yt；
步骤3，建立重建模型，所述重建模型采用矩阵核范数建模视频先验背景的低秩性，采用全变差TV正则函数和负对数拉普拉斯混合函数分别建模视频先验前景的分片光滑性和稀疏性；
步骤4，将所述第t帧视频图像的压缩测量yt、视频先验背景Bt-1与视频先验前景
Figure BDA0001684226840000062
输入所述重建模型，通过极小化重建模型输出得到视频的第t帧背景bt和前景st，然后采用图像阈值分割方法从所述前景st中检测出移动目标；其中，t表示正整数；
步骤5，根据所述背景bt与视频先验背景Bt-1更新当前视频先验背景为Bt，且根据前景st与视频先验前景
Figure BDA0001684226840000063
更新当前视频先验前景为
Figure BDA0001684226840000064
步骤6，依次循环步骤2到步骤5，当t＝T时，终止更新当前视频先验背景Bt和当前视频先验前景
Figure BDA0001684226840000065
其中，T表示监控时间或者视频帧数。
进一步的，所述步骤3中重建模型为：
Figure BDA0001684226840000071
其中，A是压缩测量矩阵，λ与μ是正则化参数，γ＝μ·τ；Bt-1表示视频先验背景，
Figure BDA0001684226840000072
表示视频先验前景，bt表示视频图像的第t帧背景，st表示视频图像的第t帧前景。
Ω(bt)＝||[Bt-1,bt]||*为矩阵核范数建模视频先验背景的低秩性，其中矩阵核范数为||Z||*＝∑iσi(Z)，σi(Z)表示矩阵Z的第i个奇异值；
Figure BDA0001684226840000073
为全变差TV正则函数和负对数拉普拉斯混合函数分别建模视频先验前景的分片光滑性和稀疏性，
Figure BDA0001684226840000074
是视频先验前景
Figure BDA0001684226840000075
的第i行，
Figure BDA0001684226840000076
为混合拉普拉斯分布的方差向量，
Figure BDA0001684226840000077
为拉普拉斯混合分布诸成分的比例系数向量，τ为平衡θt-1,πt-1的参数，TV(st)＝||Dst||1为图像的各项异性全变差函数，D＝[Dh；Dv]由图像水平和竖直方向的差分算子组成；
拉普拉斯混合概率分布为：
Figure BDA0001684226840000078
参数
Figure BDA0001684226840000079
与
Figure BDA00016842268400000710
通过期望最大化算法进行估计；
进一步的，所述步骤4中通过极小化重建模型输出得到视频的第t帧背景bt和前景st的具体步骤为：采用临近梯度法和期望最大化算法优化所述重建模型，其中，临近梯度函数为：
Figure BDA0001684226840000081
其中
Figure BDA0001684226840000082
为梯度，它们的大小为
Figure BDA0001684226840000083
参数
Figure BDA0001684226840000084
通过交替优化方法，所述临近梯度函数转化为
Figure BDA0001684226840000085
Figure BDA0001684226840000086
和
Figure BDA0001684226840000087
三个子问题，对所述三个子问题进行迭代，当相对改变小于1e-5时，终止迭代，输出得到视频的第t帧背景bt和前景st；
其中，所述子问题
Figure BDA0001684226840000088
通过期望最大化算法获取参数的更新表达式。
进一步的，所述步骤5的具体步骤为：
步骤5.1，视频先验背景Bt的更新公式为：
[U,S,V]＝SVD([Bt-1,bt]) 公式(1)
Bt＝U(:,1:L)·S(1:L,1:L)·V(:,1:L)T 公式(2)
其中，公式(1)表示对矩阵[Bt-1,bt]做奇异值分解，然后基于该奇异值公式可导出视频先验背景Bt；SVD表示矩阵的奇异值分解，U表示该矩阵的左奇异向量，V表示该矩阵的右奇异向量，S表示该矩阵的奇异值；
步骤5.2，当前视频先验前景
Figure BDA0001684226840000089
的更新公式为：
Figure BDA00016842268400000810
进一步的，所述步骤2中采用随机下采样的分块离散哈达马德矩阵来模拟压缩测量矩阵，所述离散哈达马德矩阵的大小为32×32，并设置随机矩阵的采样率。
与现有技术相比，本发明的有益效果：本发明是基于稀疏性建模的最近进展而提出的一种帧压缩测量上的在线视频重建与检测新方法。该方法运用矩阵核范数来建模视频背景的低秩性，运用全变差TV函数建模视频前景的分片光滑性以及拉普拉斯混合分布建模前景的稀疏性，这种精细化的建模可提高视频的重建精度与移动目标的检测精度。
本发明的方法是基于压缩感知理论而设计，由于采样和压缩同时进行，不仅可减少信源端的存储负担，还一定程度可以减少网络阻塞等弊端。
本发明可应用于交通视频监控、校园视频监控、军事港口视频监控等视频监控应用中，可同时满足数据压缩、在线处理的视频监控需求。
附图说明
图1是本发明视频重建与移动目标检测全过程示意图。
图2是本发明方法流程图。
图3是本发明背景、前景、参数的交替迭代图。
图4a是本发明某场景在采样为0.7下的视频重构与移动目标检测的真实的原始图像。
图4b是本发明某场景在采样为0.7下的视频重构与移动目标检测的重建的前景图像。
图4c是本发明某场景在采样为0.7下的视频重构与移动目标检测的重建的背景图像。
图5a是本发明某场景在采样为0.4下的视频重构与移动目标检测的真实的原始图像。
图5b是本发明某场景在采样为0.4下的视频重构与移动目标检测的重建的前景图像。
图5c是本发明某场景在采样为0.4下的视频重构与移动目标检测的重建的背景图像。
图6a是本发明在第10帧(采样率＝0.15)检测移动目标的结果。
图6b是Luong等人提出的方法在第10帧(采样率＝0.15)检测移动目标的结果。
图7a是本发明在第30帧(采样率＝0.15)检测移动目标的结果。
图7b是Luong等人提出的方法在第30帧(采样率＝0.15)检测移动目标的结果。
图8a是本发明在第10帧(采样率＝0.2)检测移动目标的结果。
图8b是Luong等人提出的方法在第10帧(采样率＝0.2)检测移动目标的结果。
图9a是本发明在第30帧(采样率＝0.2)检测移动目标的结果。
图9b是Luong等人提出的方法在第30帧(采样率＝0.2)检测移动目标的结果。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
在本发明创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。
此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。
术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明创造中的具体含义。
如图1所示，我们展示出在视频帧压缩测量上的视频重建与移动目标检测的全过程。首先，通过基于压缩感知原理设计的摄像机在信源端对监控场景进行压缩测量；然后，将单帧的压缩测量通过信道编码后传输到监控中心；最后，在监控中心通过解码收集到单帧的压缩测量数据，并通过某种压缩重建算法重构视频帧的背景与前景。
图2展示出了本发明的实施流程图，具体的实施步骤如下：
本实施例提供一种基于帧压缩测量的视频在线重建与移动目标检测方法，包括以下步骤：
步骤1，采集视频序列X0作为训练集，将视频序列X0输入稳健主成分分析模型中，并输出视频先验背景B0,和前景序列S0，将所述前景序列S0的后k帧视频图像赋值得到视频先验前景
Figure BDA0001684226840000111
其中，视频序列X0的帧数为L，L表示正整数；
具体的，步骤1的具体步骤为：
步骤1.1，构造训练集
采集到某监控场景一段时间的视频序列X0，这段视频序列的帧数为L，通常取L＝250。该视频序列将被使用去初始化视频先验背景和视频先验前景。
步骤1.2，将步骤1.1中采集到的监控视频序列X0输入到稳健主成分分析(RPCA)方法中，该方法将输出该段视频的视频先验背景(背景序列)B0和前景序列S0。将视频前景序列的后k＝3帧图像赋值给先验前景
Figure BDA0001684226840000121
先验前景
Figure BDA0001684226840000122
将作为视频移动目标检测的辅助先验信息。此处，k可取值2、4或根据实际需要取值。
步骤2，采集监控场景的第t帧视频图像的压缩测量yt；本实施采用随机下采样的分块离散哈达马德矩阵来模拟压缩测量矩阵，对场景图像进行压缩测量。当然，在实际操作时，可在市场购置到基于压缩感知原理设计的摄像机(如单像素相机)对场景进行压缩测量，本发明对基于压缩感知原理设计的摄像机类型没有任何限制。本发明中不妨设离散哈达马德矩阵的大小为32×32，随机矩阵的采样率ratio＝0.7，当然该采样率也可设置为其它值，例如0.15、0.2、0.4或根据实际需要设置。
步骤3，建立重建模型，所述重建模型采用矩阵核范数建模视频先验背景的低秩性，采用全变差TV正则函数和负对数拉普拉斯混合函数分别建模视频先验前景的分片光滑性和稀疏性；
具体地，对于视频背景，我们采用矩阵核范数来建模视频先验背景的低秩性，即：
Ω(bt)＝||[Bt-1,bt]||*，
这里||Z||*＝∑iσi(Z)，σi(Z)是矩阵Z的第i个奇异值,Z＝[Bt-1,bt]。对于视频前景，我们利用负对数拉普拉斯混合函数和全变差TV正则函数分别建模视频先验前景的稀疏性和分片光滑性，即：
Figure BDA0001684226840000131
这里
Figure BDA0001684226840000132
是视频先验前景
Figure BDA0001684226840000133
的第i行，
Figure BDA0001684226840000134
为混合拉普拉斯分布的方差向量，
Figure BDA0001684226840000135
为拉普拉斯混合分布诸成分的比例系数向量，τ为平衡θt-1,πt-1这两项的参数，TV(st)＝||Dst||1为图像的各项异性全变差函数，其中D＝[Dh；Dv]由图像水平和竖直方向的差分算子组成，另外拉普拉斯混合概率分布为：
Figure BDA0001684226840000136
注意参数
Figure BDA0001684226840000137
与
Figure BDA0001684226840000138
可通过期望最大化算法(EM-算法)来估计。
基于上述关于第t帧的背景与前景建模，可得到视频的重建模型如下：
Figure BDA0001684226840000139
其中，上式等号右端的第一项是数据保真项，第二项是建模视频先验背景的低秩性，第三项是刻画第t帧视频先验前景的分片光滑性，第四项是描述第t帧视频先验前景的稀疏性。通过极小化上述模型可获得第t帧背景bt和前景st。A是压缩测量矩阵，λ与μ是正则化参数，γ＝μ·τ。Bt-1表示视频先验背景，
Figure BDA00016842268400001310
表示视频先验前景，bt表示第t帧背景，st表示第t帧前景。
步骤4，将所述第t帧视频图像的压缩测量yt、视频先验背景Bt-1与视频先验前景
Figure BDA00016842268400001311
输入所述重建模型，通过极小化重建模型输出得到视频的第t帧背景bt和前景st，然后采用图像阈值分割方法从所述前景st中检测出移动目标；其中，t表示正整数；
具体地，通过极小化重建模型输出得到视频的第t帧背景bt和前景st的具体步骤为：采用临近梯度法和期望最大化算法(EM-算法)优化所述重建模型，其中，临近梯度函数为：
Figure BDA0001684226840000141
其中
Figure BDA0001684226840000142
为梯度，它们的大小为
Figure BDA0001684226840000143
参数
Figure BDA0001684226840000148
通过交替优化方法，所述临近梯度函数转化为三个子问题：
子问题1：
Figure BDA0001684226840000144
子问题2：
Figure BDA0001684226840000145
子问题3：
Figure BDA0001684226840000146
对三个子问题进行迭代，当相对改变小于1e-5时，终止迭代，输出得到视频的第t帧背景bt和前景st；
其中，子问题3：
Figure BDA0001684226840000147
通过期望最大化算法获取参数的更新表达式。图3展示出了该算法三个子问题的交替迭代图。
得到视频的第t帧背景bt和前景st，然后采用图像阈值分割方法从前景st中检测出移动目标，例如可采用图像阈值分割的方法获取前景中的移动目标。
步骤5，根据所述背景bt与视频先验背景Bt-1更新当前视频先验背景Bt，且根据前景st与视频先验前景
Figure BDA0001684226840000151
更新当前视频先验前景
Figure BDA0001684226840000152
具体地，步骤5的具体步骤为：
步骤5.1，视频先验背景Bt的更新公式为：
[U,S,V]＝SVD([Bt-1,bt]) 公式(1)
Bt＝U(:,1:L)·S(1:L,1:L)·V(:,1:L)T 公式(2)
其中，公式(1)表示对矩阵[Bt-1,bt]做奇异值分解，然后基于该奇异值公式可导出视频先验背景Bt；SVD表示矩阵的奇异值分解，U表示该矩阵的左奇异向量，V表示该矩阵的右奇异向量，S表示该矩阵的奇异值；
步骤5.2，当前视频先验前景
Figure BDA0001684226840000153
的更新公式为：
Figure BDA0001684226840000154
结合上述先验背景更新Bt、先验前景更新
Figure BDA0001684226840000155
以及监控场景的第t+1帧压缩测量yt+1，通过上述步骤5，我们可重建出此帧图像的背景与前景。依次循环，直到达到终止条件。
步骤6，依次循环步骤2到步骤5，当t＝T时，终止更新当前视频先验背景Bt和当前视频先验前景
Figure BDA0001684226840000156
其中，T表示监控时间或者视频帧数，可根据需要设置监控时间的长短。
图4a是本发明某场景在采样为0.7下的视频重构与移动目标检测的真实的原始图像。
图4b是本发明某场景在采样为0.7下的视频重构与移动目标检测的重建的前景图像。
图4c是本发明某场景在采样为0.7下的视频重构与移动目标检测的重建的背景图像。
图5a是本发明某场景在采样为0.4下的视频重构与移动目标检测的真实的原始图像。
图5b是本发明某场景在采样为0.4下的视频重构与移动目标检测的重建的前景图像。
图5c是本发明某场景在采样为0.4下的视频重构与移动目标检测的重建的背景图像。
为了具体说明本发明的效果，下面通过对比实验进行说明：
如图所示，在同样采样率下，本发明的方法检测移动目标的精度要高，或者说，更加准确。对比例见图6a和图6b，见图7a和图7b，以及见图8a和图8b，见图9a和图9b。在这个图中，展示了本发明的方法结果和Luong等人提出的方法的结果[H.Luong,N.Deligiannis,J.Seiler,S.Forchhammer,and A.Kaup.Compressive online robust principalcomponent analysis via n-l1minimization.To appear in IEEE Transactions onImage Processing,2018.]，从该图可以看出，在低采样率下，本发明的方法仍可以检测出移动物体，而Luong方法不能检测出清晰的移动物体了。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (4)

1.一种基于帧压缩测量的视频在线重建与移动目标检测方法，其特征在于：包括以下步骤：
步骤1，采集视频序列X0作为训练集，将视频序列X0输入稳健主成分分析模型中，并输出视频先验背景B0和前景序列S0，将所述前景序列S0的后k帧视频图像赋值得到视频先验前景
Figure FDA0002584766180000011
其中，视频序列X0的帧数为L，L表示正整数；
步骤2，采集监控场景的第t帧视频图像的压缩测量yt；
步骤3，建立重建模型，所述重建模型采用矩阵核范数建模视频先验背景的低秩性，采用全变差TV正则函数和负对数拉普拉斯混合函数分别建模视频先验前景的分片光滑性和稀疏性；
步骤4，将所述第t帧视频图像的压缩测量yt、视频先验背景Bt-1与视频先验前景
Figure FDA0002584766180000012
输入所述重建模型，通过极小化重建模型输出得到视频的第t帧背景bt和前景st，然后采用图像阈值分割方法从所述前景st中检测出移动目标；其中，t为正整数；
步骤5，根据所述背景bt与视频先验背景Bt-1更新当前视频先验背景为Bt，且根据前景st与视频先验前景
Figure FDA0002584766180000013
更新当前视频先验前景为
Figure FDA0002584766180000014
步骤6，依次循环步骤2到步骤5，当t＝T时，终止更新当前视频先验背景Bt和当前视频先验前景
Figure FDA0002584766180000015
其中，T表示监控时间或者视频帧数；
所述步骤3中重建模型为：
Figure FDA0002584766180000016
其中，A是压缩测量矩阵，λ与μ是正则化参数，γ＝μ·τ；Bt-1表示视频先验背景，
Figure FDA0002584766180000017
表示视频先验前景，bt表示视频图像的第t帧背景，st表示视频图像的第t帧前景；
Ω(bt)＝‖[Bt-1,bt]‖*为矩阵核范数建模视频先验背景的低秩性，其中矩阵核范数为‖Z‖*＝∑iσi(Z)，σi(Z)表示矩阵Z的第i个奇异值；
Figure FDA0002584766180000021
为全变差TV正则函数和负对数拉普拉斯混合函数分别建模视频先验前景的分片光滑性和稀疏性，
Figure FDA0002584766180000022
是视频先验前景
Figure FDA0002584766180000023
的第i行，
Figure FDA0002584766180000024
为混合拉普拉斯分布的方差向量，
Figure FDA0002584766180000025
为拉普拉斯混合分布诸成分的比例系数向量，并且比例系数向量πt-1满足约束条件
Figure FDA0002584766180000026
与
Figure FDA0002584766180000027
τ为平衡θt-1,πt-1的参数，TV(st)＝||Dst||1为图像的各项异性全变差函数，D＝[Dh；Dv]由图像水平和竖直方向的差分算子组成；
拉普拉斯混合概率分布为：
Figure FDA0002584766180000028
参数
Figure FDA0002584766180000029
与
Figure FDA00025847661800000210
通过期望最大化算法进行估计。
2.根据权利要求1所述的一种基于帧压缩测量的视频在线重建与移动目标检测方法，其特征在于：所述步骤4中通过极小化重建模型输出得到视频的第t帧背景bt和前景st的具体步骤为：采用临近梯度法和期望最大化算法优化所述重建模型，其中，临近梯度函数为：
Figure FDA00025847661800000211
其中
Figure FDA00025847661800000212
为梯度，它们的大小为
Figure FDA00025847661800000213
参数
Figure FDA00025847661800000214
通过交替优化方法，所述临近梯度函数转化为
Figure FDA00025847661800000215
Figure FDA0002584766180000031
和
Figure FDA0002584766180000032
三个子问题，对所述三个子问题进行迭代，当相对改变小于1e-5时，终止迭代，输出得到视频的第t帧背景bt和前景st；
其中，所述子问题
Figure FDA0002584766180000033
通过期望最大化算法获取参数的更新表达式。
3.根据权利要求1或2所述的一种基于帧压缩测量的视频在线重建与移动目标检测方法，其特征在于：所述步骤5的具体步骤为：
步骤5.1，视频先验背景Bt的更新公式为：
[U,S,V]＝SVD([Bt-1,bt]) 公式(1)
Bt＝U(:,1:L)·S(1:L,1:L)·V(:,1:L)T 公式(2)
其中，公式(1)表示对矩阵[Bt-1,bt]做奇异值分解，然后基于该奇异值公式可导出视频先验背景Bt；SVD表示矩阵的奇异值分解，U表示该矩阵的左奇异向量，V表示该矩阵的右奇异向量，S表示该矩阵的奇异值；
步骤5.2，当前视频先验前景
Figure FDA0002584766180000034
的更新公式为：
Figure FDA0002584766180000035
4.根据权利要求1所述的一种基于帧压缩测量的视频在线重建与移动目标检测方法，其特征在于：所述步骤2中采用随机下采样的分块离散哈达马德矩阵来模拟压缩测量矩阵，所述离散哈达马德矩阵的大小为32×32，并设置随机矩阵的采样率。
CN201810564696.9A 2018-06-04 2018-06-04 一种基于帧压缩测量的视频在线重建与移动目标检测方法 Active CN108965885B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810564696.9A CN108965885B (zh) 2018-06-04 2018-06-04 一种基于帧压缩测量的视频在线重建与移动目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810564696.9A CN108965885B (zh) 2018-06-04 2018-06-04 一种基于帧压缩测量的视频在线重建与移动目标检测方法

Publications (2)

Publication Number Publication Date
CN108965885A CN108965885A (zh) 2018-12-07
CN108965885B true CN108965885B (zh) 2020-11-10

Family

ID=64492819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810564696.9A Active CN108965885B (zh) 2018-06-04 2018-06-04 一种基于帧压缩测量的视频在线重建与移动目标检测方法

Country Status (1)

Country Link
CN (1) CN108965885B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113329228B (zh) * 2021-05-27 2024-04-26 杭州网易智企科技有限公司 视频编码方法、解码方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011091815A1 (en) * 2010-01-28 2011-08-04 Scivis Wissenschaftliche Bildverarbeitung Gmbh Tomographic imaging using poissonian detector data
CN102915562A (zh) * 2012-09-27 2013-02-06 天津大学 基于压缩感知多视角目标跟踪和3d目标重建***及方法
CN103745465A (zh) * 2014-01-02 2014-04-23 大连理工大学 一种稀疏编码背景建模方法
CN104599292A (zh) * 2015-02-03 2015-05-06 中国人民解放军国防科学技术大学 一种基于低秩矩阵分解的抗噪运动目标检测算法
CN105243670A (zh) * 2015-10-23 2016-01-13 北京航空航天大学 一种稀疏和低秩联合表达的视频前景对象精准提取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011091815A1 (en) * 2010-01-28 2011-08-04 Scivis Wissenschaftliche Bildverarbeitung Gmbh Tomographic imaging using poissonian detector data
CN102915562A (zh) * 2012-09-27 2013-02-06 天津大学 基于压缩感知多视角目标跟踪和3d目标重建***及方法
CN103745465A (zh) * 2014-01-02 2014-04-23 大连理工大学 一种稀疏编码背景建模方法
CN104599292A (zh) * 2015-02-03 2015-05-06 中国人民解放军国防科学技术大学 一种基于低秩矩阵分解的抗噪运动目标检测算法
CN105243670A (zh) * 2015-10-23 2016-01-13 北京航空航天大学 一种稀疏和低秩联合表达的视频前景对象精准提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Total Variation Regularized Tensor RPCA for Background Subtraction From Compressive Measurements;Wenfei Cao等;《IEEE Explore》;20161231;全文 *
基于先验信息的压缩感知图像重建方法研究;陈义光;《中国优秀硕士学位论文全文数据库》;20131231;全文 *
基于压缩感知超声图像重构研究;秦晓伟;《中国优秀硕士学位论文全文数据库》;20140331;全文 *

Also Published As

Publication number Publication date
CN108965885A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
Bhoi Monocular depth estimation: A survey
Jiang et al. Crowd counting and density estimation by trellis encoder-decoder networks
CN107480772B (zh) 一种基于深度学习的车牌超分辨率处理方法及***
CN107844779B (zh) 一种视频关键帧提取方法
CN105488812A (zh) 一种融合运动特征的时空显著性检测方法
Ju et al. BDPK: Bayesian dehazing using prior knowledge
CN111369548B (zh) 一种基于生成对抗网络的无参考视频质量评价方法及装置
WO2017110836A1 (en) Method and system for fusing sensed measurements
CN114463218B (zh) 一种基于事件数据驱动的视频去模糊方法
WO2023159898A1 (zh) 一种动作识别***、方法、装置及模型训练方法、装置、计算机设备及计算机可读存储介质
CN105931189B (zh) 一种基于改进超分辨率参数化模型的视频超分辨率方法及装置
CN110910437A (zh) 一种复杂室内场景的深度预测方法
CN116205962B (zh) 基于完整上下文信息的单目深度估计方法及***
CN110675422A (zh) 一种基于广义非凸鲁棒主成分分析的视频前背景分离方法
Mehra et al. TheiaNet: Towards fast and inexpensive CNN design choices for image dehazing
CN108965885B (zh) 一种基于帧压缩测量的视频在线重建与移动目标检测方法
Hosseinzadeh et al. Unsupervised learning of camera pose with compositional re-estimation
Nie et al. Context and detail interaction network for stereo rain streak and raindrop removal
CN111626944A (zh) 一种基于时空金字塔网络和对抗自然先验的视频去模糊方法
Li et al. Dvonet: unsupervised monocular depth estimation and visual odometry
CN109002802A (zh) 基于自适应鲁棒主成分分析的视频前景分离方法和***
Chae et al. Siamevent: Event-based object tracking via edge-aware similarity learning with siamese networks
Gupta et al. Reconnoitering the Essentials of Image and Video Processing: A Comprehensive Overview
Imani et al. Stereoscopic video quality assessment using modified parallax attention module
Weiyao et al. Background modeling from video sequences via online motion-aware RPCA

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant