CN110572665A - 一种基于背景减除的静态背景视频自适应压缩方法 - Google Patents

一种基于背景减除的静态背景视频自适应压缩方法 Download PDF

Info

Publication number
CN110572665A
CN110572665A CN201910905961.XA CN201910905961A CN110572665A CN 110572665 A CN110572665 A CN 110572665A CN 201910905961 A CN201910905961 A CN 201910905961A CN 110572665 A CN110572665 A CN 110572665A
Authority
CN
China
Prior art keywords
submodule
video
background
module
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910905961.XA
Other languages
English (en)
Other versions
CN110572665B (zh
Inventor
蓝龙
徐传福
尹晓尧
张翔
车永刚
高翔
李超
吴诚堃
郭晓威
骆志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201910905961.XA priority Critical patent/CN110572665B/zh
Publication of CN110572665A publication Critical patent/CN110572665A/zh
Application granted granted Critical
Publication of CN110572665B publication Critical patent/CN110572665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于背景减除的静态背景视频自适应压缩方法，目的是解决静态背景视频数据压缩比低、存储成本高的问题。技术方案是先构建由背景减除模块、目标跟踪模块、分布规划模块和视频压缩合成模块组成的静态背景视频压缩***。背景减除模块对视频帧进行背景减除，得到视频帧的前景目标外接框和背景图片；目标跟踪模块对视频帧的前景目标外接框进行跟踪，得到前景目标的运动轨迹管道T；分布规划模块对T进行标签分配，得到T在压缩结果中的标签集合L；视频压缩合成模块对T、L、背景图片集合进行合成压缩，得到视频压缩结果图片集合。采用本发明可实现对静态背景视频的极限压，压缩比高、信息损失率低，存储空间大大降低。

Description

一种基于背景减除的静态背景视频自适应压缩方法
技术领域
本发明涉及视频数据压缩方法，尤其指一种静态背景视频的压缩方法。
背景技术
随着数字媒体技术的发展，视频记录的成本在不断下降，各种样式的视频记录仪器在各种场所内部署，用来记录感兴趣的人或者事。其中固定安装的摄像头最为常见，这些视频记录仪器有的是一天24小时不停的处于运转之中，因此产生大量的静态背景视频，静态背景视频指固定摄像头拍摄到的视频数据，如监控视频。海量的静态背景视频的采集给存储带来了极大的挑战。实际上，静态背景视频中许多信息是冗余的，比如，连续视频帧中的背景信息是高度相似的，保存这些信息占用大量的空间，并给视频的内容浏览带来极大不便。据统计，现有监控摄像头记录下的视频信息只有百分之一得到利用，百分之九十九的监控信息未加任何处理被丢弃。视频压缩技术可以实现在较短的时间内，完整的浏览监控视频中的有效信息，极大的节约人力与物力。例如，通过视频压缩技术，把一天的监控视频信息压缩至一分钟的片段，并且不影响原始信息的完整性和浏览的观赏性。视频压缩技术可广泛地应用于各种行业。如，公安：关键道路、卡口视频智能压缩；交通：重点路段、收费闸口视频智能压缩；监狱看守所：重点监舍、人员交接班视频智能压缩；大型展会：场馆、出入口视频智能压缩等等。实际上，在需要保存视频的应用中，就可以通过视频压缩减少存储开销，提高处理效率，延长信息保存时段。
视频压缩的研究吸引了大批计算机视觉研究者的兴趣，香港中文大学的Kang等人[Kang等人，时空视频蒙太奇方法，2006年发表在计算机视觉与模式识别大会，见CVPR2006论文集第1331页至1338页]提出的时空视频蒙太奇方法同时将整个视频中所有运动物体的时间空间分布信息考虑在内，进行打乱时间顺序和空间顺序的重新排列，在压缩比达到2的同时不会出现信息的丢失，但是出现了明显的图片拼和缝隙并失去了同一物体时间和空间上的关联。美国台维萨诺夫研究中心的Iran等提出的视频马赛克[Iran等人，视频序列的高效表达及其应用，1996年发表在信号处理与图像交流期刊第8期第4卷第327页至351页]方法则试图将原始视频以全景图片的形式呈现出来，由于连续帧中的重叠信息在全景图片构建中被移除，原始视频得到了大幅度的压缩，但是这种方法对每一帧都是单独考虑的，因此无法将相邻帧中的物体关联起来。条带裁剪方法[Zhuang等人，基于条带裁剪的视频浓缩，2009年发表在图像处理学报第18期第11卷第2572页至2583页]将每一个运动轨迹看作是一个条带，并将这个条带当作是最小的处理单元，解决了同一物体无法关联的问题，但是当相邻物体具有不同的运动速度和运动方向的时候，该方法会失效。更严重的是，条带裁剪方法总是会产生明显的垂直方向或水平方向上的缝隙。华南理工大学的聂勇伟等人[Nie等人，基于全局时空优化的紧致视频浓缩方法，2013年发表在可视化与计算机图形学学报第19期第10卷第1664页至1676页]提出对运动物体进行时空序列的变换，更进一步的，他们[Nie等人，基于部分组装与拼接的运动物体浓缩，2014年发表在可视化与计算机图形学学报第20期第9卷第1303页至1315页]提出使用多平面重建的方法来合成复杂的背景，从而将运动物体粘贴到背景中合成压缩视频。该方法有效消除了压缩视频中明显的缝隙，但是该方法对于视频中物体运动轨迹之间存在的冲突却不能很好的处理。随后，该团队将一个运动物体的轨迹分成连续的几段，每一段都选择出具有代表性的一帧来粘贴到背景中形成最终的压缩视频，同时还引入了结构补全方法来弥补运动物体和背景之间出现的空洞。该方法有效解决了冲突的问题，但是其压缩比仍然不高(只有5-10倍压缩比)。华中科技大学的何毅等人[He等人，基于潜在冲突图的快速在线视频浓缩方法，2016年发表在信号处理快报第24期第1卷第22页至26页]提出将潜在冲突考虑在内进而对运动物体进行重新排列，但是运动物体在时间和空间上受到的干扰则使得同一物体在压缩视频中的关联成为一个难题。
目前已知的大部分视频压缩方法专利主要分为三类，第一类为对高清视频的压缩存储，利用连续帧之间大部分像素基本不变，少量像素发生变化这一本质现象，利用稀疏编码保存变化部分，从而降低视频对存储空间的需求，但是对视频浏览和检索没有任何帮助，典型工作包括菲力尔洛来施公司的视频浓缩***(专利公开号CN 208027742 U)，财团法人工业技术研究院的视频压缩方法与视频压缩装置(专利公开号CN 103533375 A)和晨星半导体股份有限公司的视频压缩方法与视频压缩装置(专利公开号CN 109040758 A)。第二类则是以同一地点的多个摄像头联合数据压缩为主，根据已知的摄像头间相对位置和空间变换，以及运动物体的运动方向，实现多个摄像头之间运动物体的关联并提取进行保存，如李向伟等人的视频浓缩方法(专利公开号CN 104284198 A)，四川浩特通讯有限公司的一种视频浓缩方法(专利公开号CN 105306880 A)和一种视频浓缩***(专利公开号CN 105323547A)。但是该类方法默认选择指定数量的运动物体，当视野内运动物体较多或者出现不同的运动速度时，会产生信息的损失。第三类则是以将长视频压缩为短视频或者图片的方式，在降低存储空间需求的同时也大大提升视频浏览和检索的效率，典型工作包括山东建筑大学曹建荣等人提出的在线视频浓缩方法(专利公开号CN 104093001 A)，该方法采用动态背景减除和在线跟踪的方式获取运动物体轨迹，然后在保证不出现物体间冲突的情况下将物体粘贴到背景中，但是该方法需要预先指定浓缩比，无法自适应的选择合适的浓缩比，容易出现信息冗余或信息丢失的情况。北京非斗科技发展有限公司的一种基于视频摘要的视频压缩方法(专利公开号CN 108260025 A)通过检测视频中的突变帧来提取关键视频帧，从而实现视频的压缩，但是该方法会造成大量信息的丢失。中安消技术有限公司的秦兴徳等人提出的一种视频浓缩方法和技术(专利公开号CN 103686095 A)采用了类似的技术，并提出新的优化方法来实现对运动轨迹的重新排列，但是该方法的压缩结果存在大量的冗余信息。
如何在保留重要信息的前提下，提高视频压缩的压缩比是本领域技术人员极为关注的技术问题。
发明内容
本发明要解决的技术问题是：针对固定安装摄像头采集到的静态背景视频数据，压缩比低、存储成本高、浏览速度极慢、耗费大量人力物力的现状，提出一种静态背景视频的压缩方法，提取视频中的有效信息，在保持原有信息量的前提下，将长达数小时的视频压缩为可以在一分钟内播放完毕的短视频或几十、上百张图片，实现静态背景视频的极限压缩，有效提升静态背景视频的存储效率，降低存储成本；同时提高视频内容的浏览和阅读效率，降低人力和时间成本。
本发明的技术方案是：
第一步，构建静态背景视频压缩***，静态背景视频压缩***由背景减除模块、目标跟踪模块和视频压缩模块组成，其中视频压缩模块由分布规划模块和视频压缩合成模块组成。
背景减除模块与原始视频、目标跟踪模块、视频压缩合成模块相连。背景减除模块对原始视频按帧(假设原始视频有N帧)进行背景减除，得到视频帧中的前景物体的外接框信息和背景图片，将N个视频帧中的前景物体的外接框信息发送给目标跟踪模块。待N个视频帧处理完成后，将N个视频帧的背景图片发送给视频压缩合成模块。
背景减除模块由背景分割子模块、二值化子模块、腐蚀子模块、膨胀子模块和外接框获取子模块组成。背景分割子模块与原始视频、视频压缩合成模块、二值化子模块相连，背景分割子模块对从原始视频读入的视频帧(假设为第i帧)进行分割，得到前景图片Fi和背景图片Bi，将Fi发送给二值化子模块，将Bi存在背景集合Background中，待N个视频帧处理完成后，将Background发送给视频压缩合成模块，Background＝{B1，...，Bi，...，BN}，1≤i≤N。
二值化子模块与背景分割子模块和腐蚀子模块相连，对从背景分割子模块接收的前景图片Fi的每一个像素值进行二值化处理，得到二值化的前景图片Fib，并将Fib发送给腐蚀子模块。
腐蚀子模块与二值化子模块和膨胀子模块相连，对从二值化子模块得到的Fib进行腐蚀处理，得到腐蚀后的二值化前景图片Fibe，将Fibe发送给膨胀子模块。
膨胀子模块与腐蚀子模块和外接框获取子模块相连，对从腐蚀子模块得到的Fibe进行膨胀处理，得到腐蚀并膨胀后的二值化前景图片Fibed，将Fibed发送给外接框获取子模块。
外接框获取子模块与膨胀子模块和目标跟踪模块相连(具体来说是与目标跟踪模块的计算IOU子模块相连)，对从膨胀子模块得到的Fibed进行外接框获取，得到Fibed膨胀后的二值化前景图片中Ni个前景物体的外接框集合Bboxesi，将Bboxesi发送给目标跟踪模块的计算IOU子模块。
目标跟踪模块与背景减除模块、分布规划模块相连，目标跟踪模块从背景减除模块接收N个视频帧中第i帧中Ni个前景物体的外接框集合Bboxesi，使用多目标跟踪算法得到第i帧中Ni个前景物体各自的运动轨迹，待N个视频帧处理完成后，得到前景物体的运动轨迹管道集合T，将T发送给分布规划模块。目标跟踪模块由Kalman滤波预测子模块、计算IOU子模块和轨迹关联子模块组成。
Kalman滤波预测子模块与外接框获取子模块、计算IOU子模块和轨迹关联子模块相连，Kalman滤波预测子模块对从轨迹关联子模块获得的第i-1个视频帧时刻的运动轨迹管道进行Kalman滤波，预测当前运动轨迹管道在第i帧中可能出现的位置，1≤p≤tempi-1，其中表示第p个前景物体的运动轨迹管道，其中p表示运动轨迹管道的编号，是第p个管道的开始时间(start)，表示第p个管道的结束时间(end)，是第p个管道第j次出现的时刻，是第p个管道第j次出现的位置，fj表示第p个管道第j次出现的视频帧，表示第p个管道第j次出现的外接框，表示外接框的左上顶点坐标，为外接框的宽度，为外接框的高度。根据预测第i帧可能的轨迹管道外接框集合Bboxesi，pred，将Bboxesi，pred发送给计算IOU子模块。
计算IOU子模块与外接框获取子模块、Kalman滤波预测子模块和轨迹关联子模块相连，对从外接框获取子模块获得的Bboxesi中的外接框和从Kalman滤波预测子模块获得的Bboxesi，pred中的外接框进行IOU计算，得到IOU矩阵MatIOU，将MatIOU发送给轨迹关联子模块。
轨迹关联子模块与计算IOU子模块、Kalman滤波预测子模块和分布规划模块相连，对从计算IOU子模块获得的MatIOU进行分配，得到轨迹关联结果，即第i-1个视频帧时刻的运动轨迹管道将发送给Kalman滤波预测子模块。待N个视频帧处理完成后，得到N个视频帧中前景物体的运动轨迹管道集合T，此时i-1＝N，，1≤p≤tempN，令M表示N个视频帧中运动轨迹管道的数量，M＝tempN，将T发送给分布规划模块。
视频压缩模块由分布规划模块和视频压缩合成模块组成，具体来说，
分布规划模块与目标跟踪模块、视频压缩合成模块相连，分布规划模块从目标跟踪模块接收N个视频帧中前景物体的运动轨迹管道集合T，对T构建目标函数E并对E进行优化求解，得到N个视频帧中前景物体运动轨迹管道的标签集合L，将T和L发送给视频压缩合成模块。
分布规划模块包含构建目标函数子模块和优化求解子模块。构建目标函数子模块连接轨迹关联子模块和优化求解子模块，对从轨迹关联子模块接收的T构建能量最小化函数E，将E传递给优化求解子模块。优化求解子模块与构建目标函数子模块、视频压缩合成模块相连接，通过优化求解E获得L和SN，L是运动轨迹管道T的标签集合，L＝{fp，1≤p≤M，1≤fp≤SN}，SN是原始视频(N帧)将要压缩成为的图片的数量，fp是第p个运动轨迹管道的标签，即优化求解结果认为第p个运动轨迹管道应该被放置到压缩结果的第fp张图片中。将T和L发送给获取时间跨度子模块。
视频压缩合成模块与原始视频、背景分割子模块、分布规划模块相连，视频压缩合成模块从分布规划模块接收T和L，从背景分割子模块接收Background，从原始视频获取T中的前景运动轨迹的像素值，将前景运动轨迹和Background中的背景图片粘贴，得到视频压缩结果。
视频压缩合成模块由获取时间跨度子模块、平均背景子模块、粘贴子模块和线性插值子模块组成。
获取时间跨度子模块与分布规划模块的优化求解子模块和平均背景子模块连接，从优化求解子模块接收T和L，对任意Tp∈T，得到Tp的时间跨度根据标签L，基于第q张压缩结果图片中N1q个运动轨迹管道的时间跨度计算得到第q张压缩结果图片的时间跨度Tspan，q， 1≤q≤SN，1≤z≤N1q，其中N1q表示第q张压缩结果图片中运动轨迹管道的数量，为第q张压缩结果图片中出现的第z个运动轨迹管道时间跨度，将SN张压缩结果图片的时间跨度组成的压缩结果图片时间跨度集合Tspan传递给平均背景子模块，Tspan＝{Tspan，1，...，Tspan，q，...，Tspan，SN}；
平均背景子模块与原始视频、获取时间跨度子模块和背景分割子模块相连，从获取时间跨度子模块获得Tspan，从背景分割子模块获得Background，根据Tspan，q得到该时间段内的背景图片集合对的同一个位置的像素做平均，得到第q张压缩结果图片的背景图片并将SN张压缩结果图片的背景图片组成的背景图片集合T、L传递给粘贴子模块，
粘贴子模块与平均背景子模块与线性插值子模块相连接，从平均背景子模块获取和T、L，根据L将T粘贴到对应的位置，得到初步粘贴结果集合Scorse，并将Scorse、T、L传递给线性插值子模块。
线性插值子模块与粘贴子模块相连，从粘贴子模块获取Scorse、T、L，对粘贴结果边缘位置进行线性插值以达到柔化边缘的效果，得到最终压缩图片集合Sfine。
第二步，背景减除模块逐帧读入原始视频(包含N个视频帧)的视频帧，对视频帧进行背景减除，得到N个视频帧的前景目标外接框和背景图片，目标跟踪模块对N个视频帧的前景目标外接框进行跟踪，得到N个视频帧的前景目标的运动轨迹管道。具体方法是：
2.1令变量i＝1，令临时运动轨迹管道集合
2.2背景分割子模块采用基于像素的自适应分割器即PBAS(pixel basedadaptive segmenter)算法[Hofmann等人，带反馈的背景减除：基于像素的自适应分割器，2012年发表在计算机视觉与模式识别会议研讨会]，对从原始视频读入的第i个视频帧进行前景和背景分割，得到第i个视频帧的前景图片Fi和背景图片Bi，将Fi发送给二值化子模块，将Bi保存到Background中。
2.3二值化子模块对从背景分割子模块收到的Fi进行二值化处理，二值化处理的方法采用opencv计算机视觉处理方法库(版本3.4.3及以上版本，开源算法库网址为https：//opencv.org/releases/)中的threshold方法(调用cv2.threshold函数即可，其输入为前景图片，输出为二值化前景图片)，输入第i个视频帧的前景图片Fi，得到Fi的二值化前景图片Fib，将Fib发送给腐蚀子模块。Fib二值化前景中每一个像素为0或者1，0代表该像素对应位置为背景，1代表该像素对应位置为前景。
2.4腐蚀子模块采用腐蚀方法对从二值化子模块收到的Fib进行腐蚀处理，得到腐蚀后的二值化前景图片Fibe，将Fibe发送给膨胀子模块。腐蚀方法采用opencv计算机视觉处理方法库中的erode方法(调用cv2.erode函数即可，其输入为二值化前景图片，输出为腐蚀后的二值化前景图片)。
2.5膨胀子模块从腐蚀子模块接收Fibe，采用膨胀方法进行处理，得到腐蚀并膨胀后的二值化前景图片Fibed，将Fibed发送给外接框获取子模块。膨胀方法采用opencv计算机视觉处理方法库中的dilate方法(调用cv2.dilate函数即可，其输入为腐蚀后的二值化前景图片，输出为腐蚀并膨胀后的二值化前景图片)。
2.6外接框获取子模块从膨胀子模块接收Fibed，从Fibed检测出第i个视频帧中的Ni个前景目标的外接框集合Bboxesi，将Bboxesi发送给计算IOU子模块， 其中Ni表示第i帧视频帧中的前景目标的数量，表示第i帧视频帧中第j1个前景物体的外接框左上顶点的坐标，是第i帧视频帧中第j1个前景物体的外接框的宽度，为第i帧视频帧中第j1个前景物体的外接框的高度。检测方法采用opencv计算机视觉处理方法库中的findcontour方法(调用cv2.findcontour函数即可，其输入为腐蚀并膨胀后的二值化前景图片，输出为当前帧中前景物体的外接框集合)。
2.7Kalman滤波预测子模块从轨迹关联子模块获得运动轨迹管道若则令令转2.8。若则有利用Kalman滤波[见Kalman等人，线性滤波和预测问题的一种新方法，1960年发表在基础工程期刊第82卷第35页至45页]预测，得到第i帧预测轨迹管道外接框集合 具体方法是：
2.7.1令p＝1；
2.7.2从中获取第p个运动轨迹管道Tp在第i-1帧的外接框信息
2.7.3利用Kalman滤波预测在第i帧可能的位置将放到第i帧预测轨迹管道外接框集合Bboxesi，pred中；
2.7.4判断p是否小于tempi-1，若是，令p＝p+1，转2.7.2；否则转2.8。
2.8将Bboxesi，pred发送给计算IOU子模块。
2.9计算IOU子模块对从外接框获取子模块获得的Bboxesi中的外接框和从Kalman滤波预测子模块获得的Bboxesi，pred中的外接框进行IOU(intersection ofunion，又称交并比)计算，得到IOU矩阵MatIOU，其中MatIOU中第k行第l列元素且1≤k≤Ni，1≤l≤Ni，pred，Bboxesi中外接框的个数为Ni，Bboxesi，pred中外接框的个数为Ni，pred。将MatIOU发送给轨迹关联子模块。具体来说，
2.9.1令k＝1，
2.9.2获取Bboxesi中的第k个外接框
2.9.3令l＝1，
2.9.4获取Bboxesi，pred中的第l个外接框
2.9.5计算即将Bboxesi中第k个外接矩形框和Bboxesi，pred中第l个外接矩形框的重叠部分面积除以两个外接矩形框的面积之和，并将结果放到MatIOU的第k行第l列；
2.9.6判断l是否小于Ni，pred，若是，则令l＝l+1，转2.9.4；否则转2.9.7。
2.9.7判断k是否小于Ni，若是，则令k＝k+1，转2.9.2；否则转2.10。
2.10轨迹关联子模块采用匈牙利即Hungarian算法[见Munkres等人，分配和运输问题的的算法，1957年发表在工业与应用数学学会杂志第5期第1卷第32页至38页]基于交并比矩阵MatIOU对Bboxesi和Bboxesi，pred中的前景目标外接框进行关联，得到Mi个关联二元组集合 基于Tupplei中外接框的信息生成第i帧的运动轨迹管道将发送给Kalman滤波预测子模块。
2.11背景分割子模块判定是否从摄像机仍能接收到视频帧，若能，令i＝i+1，转2.2；若不能，此时i＝N，表示从摄像机共获得了N个视频帧，背景分割子模块得到了由N个彩色背景图片组成的背景图片集合Background’Background＝{Bi，1≤i≤N}，将Background发送给视频压缩合成模块的平均背景子模块；轨迹关联子模块得到了N个视频帧中的前景目标的运动轨迹管道集合T，将T发送给分布规划模块的构建目标函数子模块，转第三步。
第三步，分布规划模块对从目标跟踪模块接收的前景目标的运动轨迹管道T进行标签分配，得到T在压缩结果中的标签集合L＝{fp，1≤p≤M，1≤fp≤SN}，fp是第p个运动轨迹管道的标签。将T和L发送给获取时间跨度子模块。
3.1目标函数子模块构建能量最小化函数E，构建能量最小化函数需要考虑三个方面的问题：第一个是管道应当被尽可能多的保留在压缩结果中。由于现有的视频压缩方法大部分都是手动预先设置好压缩结果的长度(如将视频压缩为原始长度的十分之一)，为了避免出现前景目标的重叠，在最终结果中一些管道会被部分甚至全部丢弃。第二个方面是同时出现在同一帧中的前景目标运动轨迹管道之间应该尽可能少的出现重叠。由于严重的重叠会带来视觉上很差的观感，出现在同一地点的不同目标的运动轨迹管道应该分配不同的时间戳，从而避免出现重叠冲突。第三个方面则是应该尽可能的保留前景目标运动轨迹的时间顺序。与传统的视频压缩方法试图将较长的视频压缩为固定比例长度的视频这一目的不同的是，本发明的目的是将原始视频压缩为一定数量的图片，而图片的具体数量取决于图像中跟踪到的前景目标的数量和位置(简单来说，跟踪到的前景目标轨迹数量越多，最终的压缩图片就会越多，以保证所有的运动轨迹都会出现在最终的压缩结果中；同一位置出现的不同目标的运动轨迹管道数量越多，最终的压缩图片就会越多，以避免出现运动轨迹之间的冲突)。因此，希望找到数量尽可能少的图片来重现原始视频中的信息，同时图片中的运动轨迹管道应满足不同管道之间尽可能少的出现重叠冲突，而同一运动轨迹管道应尽可能出现在同一图片中。综上，目标函数子模块构建如公式(1)的能量最小化函数E：
其中M为运动轨迹管道的数量，SN为将要压缩成为的图片的数量，fp为第p个运动轨迹管道的标签(初始化时令一个运动轨迹管道一个标签，即fp∈{1，2，...，M})。
第一项为冲突损失函数，1≤p，q≤M，用来防止第p和第q个运动轨迹管道之间出现太严重的重叠。具体来说，
其中bp是第p个运动轨迹管道的外接框，bq是第q个运动轨迹管道的外接框，bp∩bq则表示第p个运动轨迹和第q个运动轨迹的重叠面积。这一项冲突在能量最小化函数E中出现是为了将运动轨迹出现重叠的物体分配到不同的压缩图片中，从而尽可能少的出现物体之间的冲突，影响压缩图片的观赏性。
第二项是相似损失函数，用来防止当同一目标的运动轨迹管道断开，被跟踪成为两个乃至数个片段时，同一管道的不同部分被分配到不同的图片中。通过度量不同轨迹管道之间的相似性，约束相似的物体分配给相同的标签(即分配到同一张压缩图片中)。具体来说，
其中表示满足2个条件：fp≠fq表示运动轨迹管道p和运动轨迹管道q被分配到不同的图片中；表示运动轨迹管道p的开始时间应该在运动轨迹管道q的结束时间之后。∧表示应该同时满足这两个要求。是用来计算外接框为的物体的中心位置的函数，是度量外接框为和的两个物体中心点之间的欧式距离的函数，而是计算外接框为的物体的颜色直方图的函数，是计算外接框为和的两个物体颜色直方图之间的外观相似性的函数。
最后一项则是标签损失函数，用来约束最终合成的压缩图片的数量。使用超参数hl来作为损失的权重，一般根据经验将hl设置为1000。使用δl(f)来判断标签l是否被某个运动轨迹管道p使用，具体来说，
1是表示被使用，0表示尚未被使用。
3.2优化求解子模块采用QBPO(Quadratic Pseudo-Boolean Optimization)伪二次布尔优化方法[Hammer等人，二次0-1优化中的对偶互补与持续性，1984年发表在数学规划期刊第28期第2卷第121页至155页]对E进行优化，求得最优解L，即给T中每一个运动轨迹管道分配一个标签fp，代表这个运动轨迹管道应该被放到压缩结果的第fp张图片中。优化求解子模块将L和T发送给压缩合成模块。
第四步，视频压缩合成模块从优化求解子模块接收T和L，从背景减除模块接收N个视频帧的背景图片集合Background，进行合成压缩，得到视频压缩结果图片集合。具体方法为：
4.1获取时间跨度子模块从优化求解子模块接收T和L，对任意Tp∈T，得到Tp的时间跨度根据T和L，得到压缩结果图片时间跨度集合Tspan，Tspan＝{Tspan，1，...，Tspan，q，...，Tspan，SN}，将Tspan传递给平均背景子模块。具体来说，
4.1.1令q＝1；
4.1.2令i2＝1；
4.1.3判断T中第i2个运动轨迹管道的标签是否为q，若是，则将第i2个运动轨迹管道Ti2放入标签为q的子运动轨迹管道集合TSq中，即 为L中运动轨迹管道Ti2的标签，i2是T中标签为q的运动轨迹管道的序号；获取Ti2的运动轨迹管道时间跨度放入到运动轨迹管道时间跨度集合Tq，span中；4.1.4判断i2是否小于M，若是，则i2＝i2+1，转4.1.3；否则转4.1.5；
4.1.5基于Tq，span，得到第q张压缩结果图片的时间跨度的并集Tspan，q， 其中N1q表示第q张压缩结果图片中运动轨迹管道的数量，将Tspan，q放入到Tspan中；
4.1.6判断q是否小于SN，若是，则令q＝q+1，转4.1.2；否则转4.2。
4.2平均背景子模块从获取时间跨度子模块获得Tspan，从背景分割子模块获得Background，基于Tspan和Background得到压缩结果图片的背景图片集合将T、L传递给粘贴子模块， 其中为第q张压缩结果图片的背景图片。具体来说，
4.2.1令q＝1；
4.2.2从Tspan获取第q张压缩结果图片中出现的运动轨迹管道时间跨度的并集Tspan，q；
4.2.3根据Tspan，q中的时间信息从Background获取对应帧的集合
4.2.4对的同一个位置的像素做平均，得到第q张压缩结果图片的背景图片将放入到集合中；
4.2.5判断q是否小于SN，若是，则令q＝q+1，转4.2.2；否则转4.3。
4.3粘贴子模块从平均背景子模块获取T、L，根据L中的标签将T中的运动轨迹管道粘贴到中对应的位置，位置由T中的外接框信息确定，得到初步粘贴结果集合Scorse。并将Scorse、T、L传递给线性插值子模块。具体来说，
4.3.1令变量q＝1；
4.3.2从中获取第q张压缩结果图片的背景图片
4.3.3令变量r＝1；
4.3.4从TSq中获取第r个运动轨迹管道 令Tr中二元组的个数为Nrt，即第r个运动轨迹管道Tr中有Nrt个外接框；
4.3.5令变量u＝1；
4.3.6获取Tr中第u个二元组
4.3.7将背景图片中的外接框对应的区域的像素置为零；
4.3.8将原始视频中第帧的区域粘贴到的区域；
4.3.9判断u是否小于Nrt，若是，令u＝u+1，转4.3.6；否则转4.3.10；
4.3.10判断r是否小于Nq，若是，令r＝r+1，转4.3.4；否则转4.3.11；
4.3.11将完成粘贴的背景图片放入到Scorse中，判断q是否小于SN，若是，令q＝q+1，转4.3.2；否则，得到了包含SN个已完成粘贴的背景图片的Scorse，转4.4。
4.4线性插值子模块从粘贴子模块获取Scorse、T、L，根据L中的标签和T中的位置信息，对Scorse中每一个已完成粘贴的背景图片中前景图片的边缘位置进行线性插值以达到柔化边缘的效果，得到最终压缩图片集合Sfine，并将Sfine保存到本地文件夹。具体来说，
4.4.1令q＝1；
4.4.2同4.3.2，从中获取第q张压缩结果图片的背景图片
4.4.3令r＝1；
4.4.4从标签为q的子运动轨迹管道集合TSq中获取Tr；
4.4.5令u＝1；
4.4.6获取Tr中第u个二元组令Tr的边缘像素点共有Mu个；
4.4.7令v＝1；
4.4.8对Scorse中粘贴的运动轨迹管道Tr中的第u个二元组在中的粘贴结果进行插值，具体来说，获取外界框上第v个像素点pv，获取外接框内部与pv相邻的像素点pv，-1和外接框外部与pv相邻的像素点pv，+1，令第v个像素点pv＝(pv，-1+pv，+1)/2；
4.4.9判断v是否小于Mu，若是，令v＝v+1，转4.4.8；否则转4.4.10；
4.4.10判断u是否小于Nrt，若是，令u＝u+1，转4.4.6；否则转4.4.11；
4.4.10判断r是否小于Nq，若是，令r＝r+1，转4.4.4；否则转4.4.12；
4.4.11将Scorse中第q张图片的插值结果保存到Sfine中，判断q是否小于SN，若是，则令q＝q+1，转4.4.2；否则完成插值，得到包含SN张图片插值结果(即SN张压缩结果图片)的Sfine。
采用本发明可以达到以下技术效果：
压缩比高。可以对短视频进一步压缩，压缩为少量的几张图片，在不影响视频信息完整性的前提下，极大限度压缩原始视频，相比较现有技术压缩比大约在20-50之间，采用本发明对静态背景视频进行压缩时压缩比在200-2000之间，平均压缩比不低于500；
信息损失率低。采用本发明能在实现高压缩比的同时，保留原始视频中的有意义的信息，基本不会造成信息的损失。实际测试中真实运动信息的损失率在3％以下。
支持从视频到图像的压缩，提高视频的压缩比，将长达数分钟的静态背景视频压缩为数张图片，节省存储空间。
在5个测试视频上的压缩结果如表1所示，共有六个不同场景下的视频序列，精度是视频帧的大小，N是视频的帧数，M是视频帧中的运动轨迹数，SN是压缩结果中的图片数量，压缩比通过N/SN计算得到，信息损失率是因为检测、跟踪算法丢失物体带来的信息损失。可以看出，本发明对不同的场景下录制的视频序列，根据原始视频的长度和视频中跟踪到的物体轨迹数量的不同，其压缩比可以达到～200-2000倍，极大的节省了存储空间，并提高了对视频内容浏览和检索的速度。可以看出，高速上拍摄的视频序列压缩比相对较低，因为高速路上车辆行驶在特定的轨道上，前景物体的运动轨迹管道重叠率较高，因此压缩结果中保留的图片数量相对较多(即表中的压缩比小，只有200.0)。而大厅场景中，人与人在行进时一般不会走相同的道路，从而不同人的运动轨迹管道产生冲突的概率较小，从而压缩结果只需要少量图片即可，压缩比较高(达到2003.2)。
表1.不同视频序列的压缩比
本发明基于背景减除算法，检测并跟踪静态背景视频中的移动目标。通过伪二次布尔优化方法(QBPO)对不同物体的识别跟踪结果进行优化求解，并将运动轨迹管道粘贴到背景图片中，将长达数分钟的静态背景视频压缩为数张图片，实现静态背景视频的数据压缩。采用本发明后通过数分钟即可看完一天的视频，无需快进，活动细节仍以真实速度播放；
综上所述，本发明提出了一种基于背景减除的静态背景视频自适应压缩方法，该方法使用背景减除方法对视野内的物体进行检测，同时使用跟踪方法进行跟踪。更进一步的，通过最小化能量函数的方法来自适应的发现合适的压缩图片数量和每个轨迹管道所应该分配到的图片标签。进而将轨迹管道粘贴到背景图片中，实现视频的压缩，使用少量的图片即可将数小时乃至一天中的监控场景概括出来并保留几乎所有的信息。该方法简单易实现，通用性强。
附图说明
图1是本发明的总体流程图。
图2为构建的静态背景视频压缩***逻辑图
具体实施方式
如图1所示，本发明包括以下步骤：
第一步，构建静态背景视频压缩***。如图2所示，静态背景视频压缩***由背景减除模块、目标跟踪模块和视频压缩模块组成，视频压缩模块由分布规划模块和视频压缩合成模块组成。
背景减除模块与原始视频、目标跟踪模块、视频压缩合成模块相连。背景减除模块对原始视频按帧进行背景减除，得到视频帧中的前景物体的外接框信息和背景图片，将N个视频帧中的前景物体的外接框信息发送给目标跟踪模块。待N个视频帧处理完成后，将N个视频帧的背景图片发送给视频压缩合成模块。
背景减除模块由背景分割子模块、二值化子模块、腐蚀子模块、膨胀子模块和外接框获取子模块组成。背景分割子模块与原始视频、视频压缩合成模块、二值化子模块相连，背景分割子模块对从原始视频读入的第i帧进行分割，得到前景图片Fi和背景图片Bi，将Fi发送给二值化子模块，将Bi存在背景集合Background中，待N个视频帧处理完成后，将Background发送给视频压缩合成模块，Background＝{B1，...，Bi，...，BN}，1≤i≤N。
二值化子模块与背景分割子模块和腐蚀子模块相连，对从背景分割子模块接收的前景图片Fi的每一个像素值进行二值化处理，得到二值化的前景图片Fib，并将Fib发送给腐蚀子模块。
腐蚀子模块与二值化子模块和膨胀子模块相连，对从二值化子模块得到的Fib进行腐蚀处理，得到腐蚀后的二值化前景图片Fibe，将Fibe发送给膨胀子模块。
膨胀子模块与腐蚀子模块和外接框获取子模块相连，对从腐蚀子模块得到的Fibe进行膨胀处理，得到腐蚀并膨胀后的二值化前景图片Fibed，将Fibed发送给外接框获取子模块。
外接框获取子模块与膨胀子模块和目标跟踪模块相连，对从膨胀子模块得到的Fibed进行外接框获取，得到Fibed膨胀后的二值化前景图片中Ni个前景物体的外接框集合Bboxesi，将Bboxesi发送给目标跟踪模块的计算IOU子模块。
目标跟踪模块与背景减除模块、分布规划模块相连，目标跟踪模块从背景减除模块接收N个视频帧中第i帧中Ni个前景物体的外接框集合Bboxesi，使用多目标跟踪算法得到第i帧中Ni个前景物体各自的运动轨迹，待N个视频帧处理完成后，得到前景物体的运动轨迹管道集合T，将T发送给分布规划模块。目标跟踪模块由Kalman滤波预测子模块、计算IOU子模块和轨迹关联子模块组成。
Kalman滤波预测子模块与外接框获取子模块、计算IOU子模块和轨迹关联子模块相连，Kalman滤波预测子模块对从轨迹关联子模块获得的第i-1个视频帧时刻的运动轨迹管道进行Kalman滤波，预测当前运动轨迹管道在第i帧中可能出现的位置， 其中 表示第p个前景物体的运动轨迹管道，其中p表示运动轨迹管道的编号，是第p个管道的开始时间(start)，表示第p个管道的结束时间(end)，是第p个管道第j次出现的时刻，是第p个管道第j次出现的位置，fj表示第p个管道第j次出现的视频帧，表示第p个管道第j次出现的外接框，表示外接框的左上顶点坐标，为外接框的宽度，为外接框的高度。根据预测第i帧可能的轨迹管道外接框集合Bboxesi，pred，将Bboxesi，pred发送给计算IOU子模块。
计算IOU子模块与外接框获取子模块、Kalman滤波预测子模块和轨迹关联子模块相连，对从外接框获取子模块获得的Bboxesi中的外接框和从Kalman滤波预测子模块获得的Bboxesi，pred中的外接框进行IOU计算，得到IOU矩阵MatIOU，将MatIOU发送给轨迹关联子模块。
轨迹关联子模块与计算IOU子模块、Kalman滤波预测子模块和分布规划模块相连，对从计算IOU子模块获得的MatIOU进行分配，得到轨迹关联结果，即第i-1个视频帧时刻的运动轨迹管道将发送给Kalman滤波预测子模块。待N个视频帧处理完成后，得到N个视频帧中前景物体的运动轨迹管道集合T，此时i-1＝N，，1≤p≤tempN，令M表示N个视频帧中运动轨迹管道的数量，M＝tempN，将T发送给分布规划模块。
视频压缩模块由分布规划模块和视频压缩合成模块组成，具体来说，
分布规划模块与目标跟踪模块、视频压缩合成模块相连，分布规划模块从目标跟踪模块接收N个视频帧中前景物体的运动轨迹管道集合T，对T构建目标函数E并对E进行优化求解，得到N个视频帧中前景物体运动轨迹管道的标签集合L，将T和L发送给视频压缩合成模块。
分布规划模块包含构建目标函数子模块和优化求解子模块。构建目标函数子模块连接轨迹关联子模块和优化求解子模块，对从轨迹关联子模块接收的T构建能量最小化函数E，将E传递给优化求解子模块。优化求解子模块与构建目标函数子模块、视频压缩合成模块相连接，通过优化求解E获得L和SN，L是运动轨迹管道T的标签集合，L＝{fp，1≤p≤M，1≤fp≤SN}，SN是原始视频(N帧)将要压缩成为的图片的数量，fp是第p个运动轨迹管道的标签，即优化求解结果认为第p个运动轨迹管道应该被放置到压缩结果的第fp张图片中。将T和L发送给获取时间跨度子模块。
视频压缩合成模块与原始视频、背景分割子模块、分布规划模块相连，视频压缩合成模块从分布规划模块接收T和L，从背景分割子模块接收Background，从原始视频获取T中的前景运动轨迹的像素值，将前景运动轨迹和Background中的背景图片粘贴，得到视频压缩结果。
视频压缩合成模块由获取时间跨度子模块、平均背景子模块、粘贴子模块和线性插值子模块组成。
获取时间跨度子模块与分布规划模块的优化求解子模块和平均背景子模块连接，从优化求解子模块接收T和L，对任意Tp∈T，得到Tp的时间跨度根据标签L，基于第q张压缩结果图片中N1q个运动轨迹管道的时间跨度计算得到第q张压缩结果图片的时间跨度Tspan，q’ 1≤q≤SN，1≤z≤N1q，其中N1q表示第q张压缩结果图片中运动轨迹管道的数量，为第q张压缩结果图片中出现的第z个运动轨迹管道时间跨度，将SN张压缩结果图片的时间跨度组成的压缩结果图片时间跨度集合Tspan传递给平均背景子模块，Tspan＝{Tspan，1，...，Tspan，q，...，Tspan，SN}；
平均背景子模块与原始视频、获取时间跨度子模块和背景分割子模块相连，从获取时间跨度子模块获得Tspan，从背景分割子模块获得Background，根据Tspan，q得到该时间段内的背景图片集合对的同一个位置的像素做平均，得到第q张压缩结果图片的背景图片并将SN张压缩结果图片的背景图片组成的背景图片集合T、L传递给粘贴子模块，
粘贴子模块与平均背景子模块与线性插值子模块相连接，从平均背景子模块获取和T、L，根据L将T粘贴到对应的位置，得到初步粘贴结果集合Scorse，并将Scorse、T、L传递给线性插值子模块。
线性插值子模块与粘贴子模块相连，从粘贴子模块获取Scorse、T、L，对粘贴结果边缘位置进行线性插值以达到柔化边缘的效果，得到最终压缩图片集合Sfine。
第二步，背景减除模块逐帧读入原始视频(包含N个视频帧)的视频帧，对视频帧进行背景减除，得到N个视频帧的前景目标外接框和背景图片，目标跟踪模块对N个视频帧的前景目标外接框进行跟踪，得到N个视频帧的前景目标的运动轨迹管道。具体方法是：
2.1令变量i＝1，令临时运动轨迹管道集合
2.2背景分割子模块采用基于像素的自适应分割器即PBAS算法，对从原始视频读入的第i个视频帧进行前景和背景分割，得到第i个视频帧的前景图片Fi和背景图片Bi，将Fi发送给二值化子模块，将Bi保存到Background中。
2.3二值化子模块对从背景分割子模块收到的Fi进行二值化处理，二值化处理的方法采用opencv计算机视觉处理方法库(如版本3.4.3，开源算法库网址为https：//opencv.org/releases/)中的threshold方法(调用cv2.threshold函数即可，其输入为前景图片，输出为二值化前景图片)，输入第i个视频帧的前景图片Fi，得到Fi的二值化前景图片Fib，将Fib发送给腐蚀子模块。Fib二值化前景中每一个像素为0或者1，0代表该像素对应位置为背景，1代表该像素对应位置为前景。
2.4腐蚀子模块采用腐蚀方法对从二值化子模块收到的Fib进行腐蚀处理，得到腐蚀后的二值化前景图片Fibe，将Fibe发送给膨胀子模块。腐蚀方法采用opencv计算机视觉处理方法库中的erode方法(调用cv2.erode函数即可，其输入为二值化前景图片，输出为腐蚀后的二值化前景图片)。
2.5膨胀子模块从腐蚀子模块接收Fibe，采用膨胀方法进行处理，得到腐蚀并膨胀后的二值化前景图片Fibed，将Fibed发送给外接框获取子模块。膨胀方法采用opencv计算机视觉处理方法库中的dilate方法(调用cv2.dilate函数即可，其输入为腐蚀后的二值化前景图片，输出为腐蚀并膨胀后的二值化前景图片)。
2.6外接框获取子模块从膨胀子模块接收Fibed，从Fibed检测出第i个视频帧中的Ni个前景目标的外接框集合Bboxesi，将Bboxesi发送给计算IOU子模块，
其中Ni表示第i帧视频帧中的前景目标的数量，表示第i帧视频帧中第j1个前景物体的外接框左上顶点的坐标，是第i帧视频帧中第j1个前景物体的外接框的宽度，为第i帧视频帧中第j1个前景物体的外接框的高度。检测方法采用opencv计算机视觉处理方法库中的findcontour方法(调用cv2.findcontour函数即可，其输入为腐蚀并膨胀后的二值化前景图片，输出为当前帧中前景物体的外接框集合)。
2.7Kalman滤波预测子模块从轨迹关联子模块获得运动轨迹管道若则令令转2.8。若则有利用Kalman滤波预测，得到第i帧预测轨迹管道外接框集合具体方法是：
2.7.1令p＝1；
2.7.2从中获取第p个运动轨迹管道Tp在第i-1帧的外接框信息
2.7.3利用Kalman滤波预测在第i帧可能的位置将放到第i帧预测轨迹管道外接框集合Bboxesi，pred中；
2.7.4判断p是否小于tempi-1，若是，令p＝p+1，转2.7.2；否则转2.8。
2.8将Bboxesi，pred发送给计算IOU子模块。
2.9计算IOU子模块对从外接框获取子模块获得的Bboxesi中的外接框和从Kalman滤波预测子模块获得的Bboxesi，pred中的外接框进行IOU计算，得到IOU矩阵MatIOU，其中MatIOU中第k行第l列元素 且1≤k≤Ni，1≤l≤Ni，pred，Bboxesi中外接框的个数为Ni，Bboxesi，pred中外接框的个数为Ni，pred。将MatIOU发送给轨迹关联子模块。具体来说，
2.9.1令k＝1，
2.9.2获取Bboxesi中的第k个外接框
2.9.3令l＝1，
2.9.4获取Bboxesi，pred中的第l个外接框
2.9.5计算即将Bboxesi中第k个外接矩形框和Bboxesi，pred中第l个外接矩形框的重叠部分面积除以两个外接矩形框的面积之和，并将结果放到MatIOU的第k行第l列；
2.9.6判断l是否小于Ni，pred，若是，则令l＝l+1，转2.9.4；否则转2.9.7。
2.9.7判断k是否小于Ni，若是，则令k＝k+1，转2.9.2；否则转2.10。
2.10轨迹关联子模块采用匈牙利即Hungarian算法基于交并比矩阵MatIOU对Bboxesi和Bboxesi，pred中的前景目标外接框进行关联，得到Mi个关联二元组集合基于Tupplei中外接框的信息生成第i帧的运动轨迹管道将发送给Kalman滤波预测子模块。
2.11背景分割子模块判定是否从摄像机仍能接收到视频帧，若能，令i＝i+1，转2.2；若不能，此时i＝N，表示从摄像机共获得了N个视频帧，背景分割子模块得到了由N个彩色背景图片组成的背景图片集合Background，Background＝{Bi，1≤i≤N}，将Background发送给视频压缩合成模块的平均背景子模块；轨迹关联子模块得到了N个视频帧中的前景目标的运动轨迹管道集合T，将T发送给分布规划模块的构建目标函数子模块，转第三步。
第三步，分布规划模块对从目标跟踪模块接收的前景目标的运动轨迹管道T进行标签分配，得到T在压缩结果中的标签集合L＝{fp，1≤p≤M，1≤fp≤SN}，fp是第p个运动轨迹管道的标签。将T和L发送给获取时间跨度子模块。
3.1目标函数子模块构建，如公式(1)的能量最小化函数E：
其中M为运动轨迹管道的数量，SN为将要压缩成为的图片的数量，fp为第p个运动轨迹管道的标签(初始化时令一个运动轨迹管道一个标签，即fp∈{1，2，...，M})。
第一项为冲突损失函数，1≤p，q≤M，
其中bp是第p个运动轨迹管道的外接框，bq是第q个运动轨迹管道的外接框，bp∩bq则表示第p个运动轨迹和第q个运动轨迹的重叠面积。
第二项是相似损失函数，
其中表示满足2个条件：fp≠fq表示运动轨迹管道p和运动轨迹管道q被分配到不同的图片中；表示运动轨迹管道p的开始时间应该在运动轨迹管道q的结束时间之后。∧表示应该同时满足这两个要求。是用来计算外接框为的物体的中心位置的函数，是度量外接框为和的两个物体中心点之间的欧式距离的函数，而是计算外接框为的物体的颜色直方图的函数，是计算外接框为和的两个物体颜色直方图之间的外观相似性的函数。
最后一项则是标签损失函数，使用超参数hl来作为损失的权重，将hl设置为1000。使用δl(f)来判断标签l是否被某个运动轨迹管道p使用，具体来说，
1是表示被使用，0表示尚未被使用。
3.2优化求解子模块采用QBPO伪二次布尔优化方法对E进行优化，求得最优解L，即给T中每一个运动轨迹管道分配一个标签fp，代表这个运动轨迹管道应该被放到压缩结果的第fp张图片中。优化求解子模块将L和T发送给压缩合成模块。
第四步，视频压缩合成模块从优化求解子模块接收T和L，从背景减除模块接收N个视频帧的背景图片集合Background，进行合成压缩，得到视频压缩结果图片集合。具体方法为：
4.1获取时间跨度子模块从优化求解子模块接收T和L，对任意Tp∈T，得到Tp的时间跨度根据T和L，得到压缩结果图片的时间跨度集合Tspan，Tspan＝{Tspan，1，...，Tspan，q，...，Tspan，SN}，将Tspan传递给平均背景子模块。具体来说，
4.1.1令q＝1；
4.1.2令i2＝1；
4.1.3判断T中第i2个运动轨迹管道的标签是否为q，若是，则将第i2个运动轨迹管道Ti2放入标签为q的子运动轨迹管道集合TSq中，即 为L中运动轨迹管道Ti2的标签，i2是T中标签为q的运动轨迹管道的序号；获取Ti2的运动轨迹管道时间跨度放入到运动轨迹管道时间跨度集合Tq，span中；中4.1.4判断i2是否小于M，若是，则i2＝i2+1，转4.1.3；否则转4.1.5；
4.1.5基于Tq，span，得到第q张压缩结果图片的时间跨度的并集Tspan，q，1≤q≤SN，1≤z≤N1q，其中N1q表示第q张压缩结果图片中运动轨迹管道的数量，将Tspan，q放入到Tspan中；
4.1.6判断q是否小于SN，若是，则令q＝q+1，转4.1.2；否则转4.2。
4.2平均背景子模块从获取时间跨度子模块获得Tspan，从背景分割子模块获得Background，基于Tspan和Background得到压缩结果图片的背景图片集合将T、L传递给粘贴子模块， 其中为第q张压缩结果图片的背景图片。具体来说，
4.2.1令q＝1；
4.2.2从Tspan获取第q张压缩结果图片中出现的运动轨迹管道时间跨度的并集Tspan，q；
4.2.3根据Tspan，q中的时间信息从Background获取对应帧的集合
4.2.4对的同一个位置的像素做平均，得到第q张压缩结果图片的背景图片将放入到集合中；
4.2.5判断q是否小于SN，若是，则令q＝q+1，转4.2.2；否则转4.3。
4.3粘贴子模块从平均背景子模块获取T、L，根据L中的标签将T中的运动轨迹管道粘贴到中对应的位置，位置由T中的外接框信息确定，得到初步粘贴结果集合Scorse。并将Scorse、T、L传递给线性插值子模块。具体来说，
4.3.1令变量q＝1；
4.3.2从中获取第q张压缩结果图片的背景图片
4.3.3令变量r＝1；
4.3.4从TSq中获取第r个运动轨迹管道 令Tr中二元组的个数为Nrt，即第r个运动轨迹管道Tr中有Nrt个外接框；
4.3.5令变量u＝1；
4.3.6获取Tr中第u个二元组
4.3.7将背景图片中的外接框对应的区域的像素置为零；
4.3.8将原始视频中第帧的区域粘贴到的区域；
4.3.9判断u是否小于Nrt，若是，令u＝u+1，转4.3.6；否则转4.3.10；
4.3.10判断r是否小于Nq，若是，令r＝r+1，转4.3.4；否则转4.3.11；
4.3.11将完成粘贴的背景图片放入到Scorse中，判断q是否小于SN，若是，令q＝q+1，转4.3.2；否则，得到了包含SN个已完成粘贴的背景图片的Scorse，转4.4。
4.4线性插值子模块从粘贴子模块获取Scorse、T、L，根据L中的标签和T中的位置信息，对Scorse中每一个已完成粘贴的背景图片中前景图片的边缘位置进行线性插值以达到柔化边缘的效果，得到最终压缩图片集合Sfine，并将Sfine保存到本地文件夹。具体来说，
4.4.1令q＝1；
4.4.2同4.3.2，从中获取第q张压缩结果图片的背景图片
4.4.3令r＝1；
4.4.4从标签为q的子运动轨迹管道集合TSq中获取Tr；
4.4.5令u＝1；
4.4.6获取Tr中第u个二元组令Tr的边缘像素点共有Mu个；
4.4.7令v＝1；
4.4.8对Scorse中粘贴的运动轨迹管道Tr中的第u个二元组在中的粘贴结果进行插值，具体来说，获取外界框上第v个像素点pv，获取外接框内部与pv相邻的像素点pv，-1和外接框外部与pv相邻的像素点pv，+1，令第v个像素点pv＝(pv，-1+pv，+1)/2；
4.4.9判断v是否小于Mu，若是，令v＝v+1，转4.4.8；否则转4.4.10；
4.4.10判断u是否小于Nrt，若是，令u＝u+1，转4.4.6；否则转4.4.11；
4.4.10判断r是否小于Nq，若是，令r＝r+1，转4.4.4；否则转4.4.12；
4.4.11将Scorse中第q张图片的插值结果保存到Sfine中，判断q是否小于SN，若是，则令q＝q+1，转4.4.2；否则完成插值，得到包含SN张图片插值结果(即SN张压缩结果图片)的Sfine。

Claims (12)

1.一种基于背景减除的静态背景视频自适应压缩方法，其特征在于包括以下步骤：
第一步，构建静态背景视频压缩***，静态背景视频压缩***由背景减除模块、目标跟踪模块和视频压缩模块组成，其中视频压缩模块由分布规划模块和视频压缩合成模块组成；
背景减除模块与原始视频、目标跟踪模块、视频压缩合成模块相连；背景减除模块对含N个视频帧的原始视频按帧进行背景减除，得到视频帧中的前景物体的外接框信息和背景图片，将N个视频帧中的前景物体的外接框信息发送给目标跟踪模块；待N个视频帧处理完成后，将N个视频帧的背景图片发送给视频压缩合成模块；
背景减除模块由背景分割子模块、二值化子模块、腐蚀子模块、膨胀子模块和外接框获取子模块组成；背景分割子模块与原始视频、视频压缩合成模块、二值化子模块相连，背景分割子模块对从原始视频读入的第i帧视频帧进行分割，得到前景图片Fi和背景图片Bi，将Fi发送给二值化子模块，将Bi存在背景集合Background中，待N个视频帧处理完成后，将Background发送给视频压缩合成模块，Background＝{B1，...，Bi，...，BN}，1≤i≤N；
二值化子模块与背景分割子模块和腐蚀子模块相连，对从背景分割子模块接收的Fi的每一个像素值进行二值化处理，得到二值化的前景图片Fib，并将Fib发送给腐蚀子模块；
腐蚀子模块与二值化子模块和膨胀子模块相连，对从二值化子模块得到的Fib进行腐蚀处理，得到腐蚀后的二值化前景图片Fibe，将Fibe发送给膨胀子模块；
膨胀子模块与腐蚀子模块和外接框获取子模块相连，对从腐蚀子模块得到的Fibe进行膨胀处理，得到腐蚀并膨胀后的二值化前景图片Fibed，将Fibed发送给外接框获取子模块；
外接框获取子模块与膨胀子模块和目标跟踪模块相连，对从膨胀子模块得到的Fibed进行外接框获取，得到Fibed膨胀后的二值化前景图片中Ni个前景物体的外接框集合Bboxesi，将Bboxesi发送给目标跟踪模块的计算IOU子模块；
目标跟踪模块与背景减除模块、分布规划模块相连，目标跟踪模块从背景减除模块接收N个视频帧中第i帧中Ni个前景物体的外接框集合Bboxesi，使用多目标跟踪算法得到第i帧中Ni个前景物体各自的运动轨迹，待N个视频帧处理完成后，得到前景物体的运动轨迹管道集合T，将T发送给分布规划模块；
目标跟踪模块由Kalman滤波预测子模块、计算IOU子模块和轨迹关联子模块组成；
Kalman滤波预测子模块与外接框获取子模块、计算IOU子模块和轨迹关联子模块相连，Kalman滤波预测子模块对从轨迹关联子模块获得的第i-1个视频帧时刻的运动轨迹管道进行Kalman滤波，预测当前运动轨迹管道在第i帧中可能出现的位置，p表示运动轨迹管道的编号，表示第p个前景物体的运动轨迹管道，其中是第p个管道的开始时间，表示第p个管道的结束时间，是第p个管道第j次出现的时刻，是第p个管道第j次出现的位置，fj表示第p个管道第j次出现的视频帧，表示第p个管道第j次出现的外接框，表示外接框的左上顶点坐标，为外接框的宽度，为外接框的高度；根据预测第i帧可能的轨迹管道外接框集合Bboxesi，pred，将Bboxesi，pred发送给计算IOU子模块；
计算IOU子模块与外接框获取子模块、Kalman滤波预测子模块和轨迹关联子模块相连，对从外接框获取子模块获得的Bboxesi中的外接框和从Kalman滤波预测子模块获得的Bboxesi，pred中的外接框进行IOU计算，得到IOU矩阵MatIOU，将MatIOU发送给轨迹关联子模块；
轨迹关联子模块与计算IOU子模块、Kalman滤波预测子模块和分布规划模块相连，对从计算IOU子模块获得的MatIOU进行分配，得到第i-1个视频帧时刻的运动轨迹管道将发送给Kalman滤波预测子模块；待N个视频帧处理完成后，得到N个视频帧中前景物体的运动轨迹管道集合T，此时i-1＝N，令M表示N个视频帧中运动轨迹管道的数量，即M＝tempN，将T发送给分布规划模块；
视频压缩模块由分布规划模块和视频压缩合成模块组成；
分布规划模块与目标跟踪模块、视频压缩合成模块相连，分布规划模块从目标跟踪模块接收T，对T构建目标函数E并对E进行优化求解，得到N个视频帧中前景物体运动轨迹管道的标签集合L，将T和L发送给视频压缩合成模块；
分布规划模块由构建目标函数子模块和优化求解子模块组成；构建目标函数子模块连接轨迹关联子模块和优化求解子模块，对从迹关联子模块接收的T构建能量最小化函数E，将E传递给优化求解子模块；优化求解子模块与构建目标函数子模块、视频压缩合成模块相连接，通过优化求解E获得L和SN，L是运动轨迹管道T的标签集合，L＝{fp，1≤p≤M，1≤fp≤SN}，SN是原始视频将要压缩成为的图片的数量，fp是第p个运动轨迹管道的标签，即优化求解结果认为第p个运动轨迹管道应该被放置到压缩结果的第fp张图片中；将T和L发送给获取时间跨度子模块；
视频压缩合成模块与原始视频、背景分割子模块、分布规划模块相连，视频压缩合成模块从分布规划模块接收T和L，从背景分割子模块接收Backaround，从原始视频获取T中的前景运动轨迹的像素值，将前景运动轨迹和Backaround中的背景图片粘贴，得到视频压缩结果；
视频压缩合成模块由获取时间跨度子模块、平均背景子模块、粘贴子模块和线性插值子模块组成；
获取时间跨度子模块与分布规划模块的优化求解子模块和平均背景子模块连接，从优化求解子模块接收T和L，对任意Tp∈T，得到Tp的时间跨度根据标签L，基于第q张压缩结果图片中N1q个运动轨迹管道的时间跨度计算得到第q张压缩结果图片的时间跨度Tspan，q， 其中N1q表示第q张压缩结果图片中运动轨迹管道的数量，为第q张压缩结果图片中出现的第z个运动轨迹管道时间跨度，将SN张压缩结果图片的时间跨度组成的压缩结果图片时间跨度集合Tspan传递给平均背景子模块，Tspan＝{Tspan，1，...，Tspan，q，...，Tspan，SN}；
平均背景子模块与原始视频、获取时间跨度子模块和背景分割子模块相连，从获取时间跨度子模块获得Tspan，从背景分割子模块获得Background，根据Tspan中的Tspan，q得到该时间段内的背景图片集合对的同一个位置的像素做平均，得到第q张压缩结果图片的背景图片并将SN张压缩结果图片的背景图片组成的背景图片集合T、L传递给粘贴子模块，
粘贴子模块与平均背景子模块与线性插值子模块相连接，从平均背景子模块获取和T、L，根据L将T粘贴到对应的位置，得到初步粘贴结果集合Scorse，并将Scorse、T、L传递给线性插值子模块；
线性插值子模块与粘贴子模块相连，从粘贴子模块获取Scorse、T、L，对粘贴结果边缘位置进行线性插值以达到柔化边缘的效果，得到最终压缩图片集合Sfine；
第二步，背景减除模块逐帧读入原始视频的视频帧，对视频帧进行背景减除，得到N个视频帧的前景目标外接框和背景图片，目标跟踪模块对N个视频帧的前景目标外接框进行跟踪，得到N个视频帧的前景目标的运动轨迹管道，具体方法是：
2.1令变量i＝1，令临时运动轨迹管道集合
2.2背景分割子模块采用基于像素的自适应分割器即PBAS算法对从原始视频读入的第i个视频帧进行前景和背景分割，得到第i个视频帧的前景图片Fi和背景图片Bi，将Fi发送给二值化子模块，将Bi保存到Background中；
2.3二值化子模块对从背景分割子模块收到的Fi进行二值化处理，得到Fi的二值化前景图片Fib，将Fib发送给腐蚀子模块；Fib二值化前景中每一个像素为0或者1，0代表该像素对应位置为背景，1代表该像素对应位置为前景；
2.4腐蚀子模块采用腐蚀方法对从二值化子模块收到的Fib进行腐蚀处理，得到腐蚀后的二值化前景图片Fibe，将Fibe发送给膨胀子模块；
2.5膨胀子模块从腐蚀子模块接收Tibe，采用膨胀方法进行处理，得到腐蚀并膨胀后的二值化前景图片Fibed，将Fibed发送给外接框获取子模块；
2.6外接框获取子模块从膨胀子模块接收Fibed，从Fibed检测出第i个视频帧中的Ni个前景目标的外接框集合Bboxesi，将Bboxesi发送给计算IOU子模块， 其中Ni表示第i帧视频帧中的前景目标的数量，表示第i帧视频帧中第j1个前景物体的外接框左上顶点的坐标，是第i帧视频帧中第j1个前景物体的外接框的宽度，为第i帧视频帧中第j1个前景物体的外接框的高度；
2.7 Kalman滤波预测子模块从轨迹关联子模块获得运动轨迹管道若令令转2.8；若则有利用Kalman滤波预测，得到第i帧预测轨迹管道外接框集合转2.8；
2.8将Bboxesi，precd发送给计算IOU子模块；
2.9计算IOU子模块对从外接框获取子模块获得的Bboxesi中的外接框和从Kalman滤波预测子模块获得的Bboxesi，pred中的外接框进行IOU即交并比计算，得到IOU矩阵MatIOU，其中MatIOU中第k行第l列元素 且1≤k≤Ni，1≤l≤Ni，pred，Bboxesi中外接框的个数为Ni，Bboxesi，pred中外接框的个数为Ni，pred，将MatIOU发送给轨迹关联子模块；
2.10轨迹关联子模块采用匈牙利算法基于交并比矩阵MatIOU对Bboxesi和Bboxesi，pred中的前景目标外接框进行关联，得到Mi个关联二元组集合基于Tupplei中外接框的信息生成第i帧的运动轨迹管道将发送给Kalman滤波预测子模块；
2.11背景分割子模块判定是否从摄像机仍能接收到视频帧，若能，令i＝i+1，转2.2；若不能，背景分割子模块得到了由N个彩色背景图片组成的背景图片集合Background，Background＝{Bi，1≤i≤N}，将Background发送给视频压缩合成模块的平均背景子模块；轨迹关联子模块得到了N个视频帧中的前景目标的运动轨迹管道集合T，将T发送给分布规划模块的构建目标函数子模块，转第三步；
第三步，分布规划模块对从目标跟踪模块接收的前景目标的运动轨迹管道T进行标签分配，得到T在压缩结果中的标签集合L＝{fp，1≤p≤M，1≤fp≤SN}，fp是第p个运动轨迹管道的标签；将T和L发送给获取时间跨度子模块；
3.1目标函数子模块构建如公式(1)所示的能量最小化函数E：
其中SN为将要压缩成为的图片的数量，fp为第p个运动轨迹管道的标签，fp∈{1，2，...，M})；
第一项为冲突损失函数，1≤p，q≤M；
其中bp是第p个运动轨迹管道的外接框，bq是第q个运动轨迹管道的外接框，bp∩bq表示第p个运动轨迹和第q个运动轨迹的重叠面积；
第二项是相似损失函数，
其中表示满足2个条件：fp≠fq表示运动轨迹管道p和运动轨迹管道q被分配到不同的图片中；表示运动轨迹管道p的开始时间应该在运动轨迹管道q的结束时间之后，∧表示应该同时满足这两个要求；是用来计算外接框为的物体的中心位置的函数，是度量外接框为和的两个物体中心点之间的欧式距离的函数，而是计算外接框为的物体的颜色直方图的函数，是计算外接框为和的两个物体颜色直方图之间的外观相似性的函数；
最后一项则是标签损失函数，使用超参数hl来作为损失的权重，使用δl(f)来判断标签l是否被某个运动轨迹管道p使用，
1是表示被使用，0表示尚未被使用；
3.2优化求解子模块采用QBPO对E进行优化，求得最优解L，即给T中每一个运动轨迹管道分配一个标签fp，代表这个运动轨迹管道应该被放到压缩结果的第fp张图片中，优化求解子模块将L和T发送给压缩合成模块；
第四步，视频压缩合成模块从优化求解子模块接收T和L，从背景减除模块接收N个视频帧的背景图片集合Background，进行合成压缩，得到视频压缩结果图片集合；具体方法为：
4.1获取时间跨度子模块从优化求解子模块接收T和L，对任意Tp∈T，得到Tp其时间跨度根据T和L，得到压缩结果图片时间跨度集合Tspan，Tspan＝{Tspan，1，...，Tspan，q，...，Tspan，SN}，将Tspan传递给平均背景子模块，Tspan，q为第q张压缩结果图片的时间跨度， 其中N1q表示第q张压缩结果图片中运动轨迹管道的数量；
4.2平均背景子模块从获取时间跨度子模块获得Tspan，从背景分割子模块获得Background，基于Tspan和Background得到压缩结果图片的背景图片集合将T、L传递给粘贴子模块， 其中为第q张压缩结果图片的背景图片；
4.3粘贴子模块从平均背景子模块获取T、L，根据L中的标签将T中的运动轨迹管道粘贴到中对应的位置，位置由T中的外接框信息确定，得到初步粘贴结果集合Scorse，并将Scorse、T、L传递给线性插值子模块；
4.4线性插值子模块从粘贴子模块获取Scorse、T、L，根据L中的标签和T中的位置信息，对Scorse中每一个已完成粘贴的背景图片中前景图片的边缘位置进行线性插值，得到包含SN张图片插值结果的最终压缩图片集合Sfine。
2.如权利要求1所述的一种基于背景减除的静态背景视频自适应压缩方法，其特征在于2.3步所述二值化处理的方法为opencv计算机视觉处理方法库中的threshold方法。
3.如权利要求1所述的一种基于背景减除的静态背景视频自适应压缩方法，其特征在于2.4步所述腐蚀方法采用opencv计算机视觉处理方法库中的erode方法。
4.如权利要求1所述的一种基于背景减除的静态背景视频自适应压缩方法，其特征在于2.5步所述膨胀方法采用opencv计算机视觉处理方法库中的dilate方法。
5.如权利要求1所述的一种基于背景减除的静态背景视频自适应压缩方法，其特征在于2.6步所述外接框获取子模块从从Fibed检测出前景目标的外接框集合时采用的检测方法为opencv计算机视觉处理方法库中的findcontour方法。
6.如权利要求1所述的一种基于背景减除的静态背景视频自适应压缩方法，其特征在于2.7步所述Kalman滤波预测子模块利用Kalman滤波预测，得到第i帧预测轨迹管道外接框集合的具体方法是：
2.7.1令p＝1；
2.7.2从中获取第p个运动轨迹管道Tp在第i-1帧的外接框信息
2.7.3利用Kalman滤波预测在第i帧可能的位置将放到第i帧预测轨迹管道外接框集合Bboxesi，pred中；
2.7.4判断p是否小于tempi-1，若是，令p＝p+1，转2.7.2；否则结束。
7.如权利要求1所述的一种基于背景减除的静态背景视频自适应压缩方法，其特征在于2.9步所述计算IOU子模块进行IOU即交并比计算的具体方法是：
2.9.1令k＝1；
2.9.2获取Bboxesi中的第k个外接框
2.9.3令l＝1，
2.9.4获取Bboxesi，pred中的第l个外接框
2.9.5计算即将Bboxesi中第k个外接矩形框和Bboxesi，pred中第l个外接矩形框的重叠部分面积除以两个外接矩形框的面积之和，并将结果放到MatIoU的第k行第l列；
2.9.6判断，是否小于Ni，pred，若是，则令l＝l+1，转2.9.4；否则转2.9.7；
2.9.7判断k是否小于Ni，若是，则令k＝k+1，转2.9.2；否则结束。
8.如权利要求1所述的一种基于背景减除的静态背景视频自适应压缩方法，其特征在于第三步公式(1)中所述hl设置为1000。
9.如权利要求1所述的一种基于背景减除的静态背景视频自适应压缩方法，其特征在于4.1步所述获取时间跨度子模块根据T和L得到压缩结果图片时间跨度集合Tspan的具体方法为：
4.1.1令q＝1；
4.1.2令i2＝1；
4.1.3判断T中第i2个运动轨迹管道的标签是否为q，若是，则将第i2个运动轨迹管道Ti2放入标签为q的子运动轨迹管道集合TSq中，即 为L中运动轨迹管道Ti2的标签，i2是T中标签为q的运动轨迹管道的序号；获取Ti2的运动轨迹管道时间跨度放入到运动轨迹管道时间跨度集合Tq，span中；
4.1.4判断i2是否小于M，若是，则i2＝i2+1，转4.1.3；否则转4.1.5；
4.1.5基于Tq，span，得到第q张压缩结果图片的时间跨度的并集Tspan，q， 其中N1q表示第q张压缩结果图片中运动轨迹管道的数量，将Tspan，q放入到Tspan中；
4.1.6判断q是否小于SN，若是，则令q＝q+1，转4.1.2；否则结束。
10.如权利要求1所述的一种基于背景减除的静态背景视频自适应压缩方法，其特征在于4.2步所述平均背景子模块基于Tspan和Background得到压缩结果图片的背景图片集合的具体方法是：
4.2.1令变量q＝1；
4.2.2从Tspan获取第q张压缩结果图片中出现的运动轨迹管道时间跨度的并集Tspan，q；
4.2.3根据Tspan，q中的时间信息从Background获取对应帧的集合
4.2.4对的同一个位置的像素做平均，得到第q张压缩结果图片的背景图片将放入到集合中；
4.2.5判断q是否小于SN，若是，令q＝q+1，转4.2.2；否则结束。
11.如权利要求1所述的一种基于背景减除的静态背景视频自适应压缩方法，其特征在于4.3步所述粘贴子模块根据L中的标签将T中的运动轨迹管道粘贴到中对应的位置，得到初步粘贴结果集合Scorse的具体方法是：
4.3.1令变量q＝1；
4.3.2从中获取第q张压缩结果图片的背景图片
4.3.3令变量r＝1；
4.3.4从标签为q的子运动轨迹管道集合TSq中获取第r个运动轨迹管道 令Tr中二元组的个数为Nrt，即第r个运动轨迹管道Tr中有Nrt个外接框； 为L中运动轨迹管道Ti2的标签，i2是T中标签为q的运动轨迹管道的序号，TSq中运动轨迹管道的个数为Nq；
4.3.5令变量u＝1；
4.3.6获取Tr中第u个二元组
4.3.7将背景图片中的外接框对应的区域的像素置为零；
4.3.8将原始视频中第帧的区域粘贴到的区域；
4.3.9判断u是否小于Nrt，若是，令u＝u+1，转4.3.6；否则转4.3.10；
4.3.10判断r是否小于Nq，若是，令r＝r+1，转4.3.4；否则转4.3.11；
4.3.11将完成粘贴的背景图片放入到Scorse中，判断q是否小于SN，若是，令q＝q+1，转4.3.2；否则，得到了包含SN个已完成粘贴的背景图片的Scorse。
12.如权利要求1所述的一种基于背景减除的静态背景视频自适应压缩方法，其特征在于4.4步所述线性插值子模块从粘贴子模块根据L中的标签和T中的位置信息，对Scorse中每一个已完成粘贴的背景图片中前景图片的边缘位置进行线性插值，得到最终压缩图片集合Sfine的具体方法是：
4.4.1令q＝1；
4.4.2从中获取第q张压缩结果图片的背景图片
4.4.3令r＝1；
4.4.4从标签为q的子运动轨迹管道集合TSq中获取Tr；，为中；
4.4.5令u＝1；
4.4.6获取Tr中第u个二元组令Tr的边缘像素点共有Mu个；
4.4.7令v＝1；
4.4.8对Scorse中粘贴的运动轨迹管道Tr中的第u个二元组在中的粘贴结果进行插值，方法是：获取外界框上第v个像素点pv，获取外接框内部与pv相邻的单个像素点pv，-1和外接框外部与pv相邻的单个像素点pv，+1，令第v个像素点pv＝(pv，-1+pv，+1)/2；
4.4.9判断v是否小于Mu，若是，令v＝v+1，转4.4.8；否则转4.4.10；
4.4.10判断u是否小于Nrt，若是，令u＝u+1，转4.4.6；否则转4.4.11；
4.4.10判断r是否小于Nq，若是，令r＝r+1，转4.4.4；否则转4.4.12；
4.4.11将Scorse中第q张图片的插值结果保存到Sfine中，判断q是否小于SN，若是，则令q＝q+1，转4.4.2；否则完成插值，得到包含SN张图片插值结果即SN张压缩结果图片的Sfine。
CN201910905961.XA 2019-09-24 2019-09-24 一种基于背景减除的静态背景视频自适应压缩方法 Active CN110572665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910905961.XA CN110572665B (zh) 2019-09-24 2019-09-24 一种基于背景减除的静态背景视频自适应压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910905961.XA CN110572665B (zh) 2019-09-24 2019-09-24 一种基于背景减除的静态背景视频自适应压缩方法

Publications (2)

Publication Number Publication Date
CN110572665A true CN110572665A (zh) 2019-12-13
CN110572665B CN110572665B (zh) 2021-07-23

Family

ID=68782295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910905961.XA Active CN110572665B (zh) 2019-09-24 2019-09-24 一种基于背景减除的静态背景视频自适应压缩方法

Country Status (1)

Country Link
CN (1) CN110572665B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004054268A1 (en) * 2002-12-10 2004-06-24 Kyung-Soo Rim Method and apparatus for compressing and decompressing moving picture data
CN1946144A (zh) * 2006-11-01 2007-04-11 李博航 实时视频、图像传输技术
US20070098274A1 (en) * 2005-10-28 2007-05-03 Honeywell International Inc. System and method for processing compressed video data
US7219364B2 (en) * 2000-11-22 2007-05-15 International Business Machines Corporation System and method for selectable semantic codec pairs for very low data-rate video transmission
CN101916447A (zh) * 2010-07-29 2010-12-15 江苏大学 一种鲁棒的运动目标检测与跟踪图像处理***
CN105025360A (zh) * 2015-07-17 2015-11-04 江西洪都航空工业集团有限责任公司 一种改进的快速视频浓缩的方法与***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7219364B2 (en) * 2000-11-22 2007-05-15 International Business Machines Corporation System and method for selectable semantic codec pairs for very low data-rate video transmission
WO2004054268A1 (en) * 2002-12-10 2004-06-24 Kyung-Soo Rim Method and apparatus for compressing and decompressing moving picture data
US20070098274A1 (en) * 2005-10-28 2007-05-03 Honeywell International Inc. System and method for processing compressed video data
CN1946144A (zh) * 2006-11-01 2007-04-11 李博航 实时视频、图像传输技术
CN101916447A (zh) * 2010-07-29 2010-12-15 江苏大学 一种鲁棒的运动目标检测与跟踪图像处理***
CN105025360A (zh) * 2015-07-17 2015-11-04 江西洪都航空工业集团有限责任公司 一种改进的快速视频浓缩的方法与***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
安磊: "基于帧差法和背景减除法的视频监控***设计", 《中国优秀硕士论文全文数据库（电子期刊）》 *
韩乐，等: "基于PTV-TV张量建模的压缩视频背景前景恢复与隔离", 《华南理工大学学报》 *

Also Published As

Publication number Publication date
CN110572665B (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
Fang et al. Locality-constrained spatial transformer network for video crowd counting
Fedorov et al. Traffic flow estimation with data from a video surveillance camera
Chen et al. Pixelwise deep sequence learning for moving object detection
WO2016173277A1 (zh) 视频编码方法、解码方法及其装置
Fang et al. Multi-level feature fusion based locality-constrained spatial transformer network for video crowd counting
Zhang et al. A longitudinal scanline based vehicle trajectory reconstruction method for high-angle traffic video
Aggarwal et al. Object tracking using background subtraction and motion estimation in MPEG videos
CN101777188B (zh) 一种实时公交车客流量统计方法
JP2008518331A (ja) リアルタイムビデオ動き解析を通じたビデオコンテンツ理解
Khan et al. Revisiting crowd counting: State-of-the-art, trends, and future perspectives
CN113792606B (zh) 基于多目标追踪的低成本自监督行人重识别模型构建方法
Wang et al. Skip-connection convolutional neural network for still image crowd counting
Li et al. Semantic scene mapping with spatio-temporal deep neural network for robotic applications
CN111339892B (zh) 一种基于端到端3d卷积神经网络的泳池溺水检测方法
CN116109947A (zh) 一种基于大核等效卷积注意力机制的无人机图像目标检测方法
Qiu et al. A fully convolutional encoder–decoder spatial–temporal network for real-time background subtraction
CN116109499A (zh) 一种基于Transformer的面向记忆的单图片去雨方法
CN110572665B (zh) 一种基于背景减除的静态背景视频自适应压缩方法
Rahim et al. Vehicle speed detection using frame differencing for smart surveillance system
CN113190711A (zh) 地理场景中视频动态对象轨迹时空检索方法及***
Fernando et al. Fade-in and fade-out detection in video sequences using histograms
CN116798118A (zh) 一种基于TPH-yolov5的异常行为检测方法
CN1147130C (zh) 数字图像分段方法及装置
JPH0759108A (ja) 動画像のカット画面検出方法
Ince et al. Fast video fire detection using luminous smoke and textured flame features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant