CN107360426B - 一种基于压缩感知的视频序列重构方法 - Google Patents
一种基于压缩感知的视频序列重构方法 Download PDFInfo
- Publication number
- CN107360426B CN107360426B CN201710568733.9A CN201710568733A CN107360426B CN 107360426 B CN107360426 B CN 107360426B CN 201710568733 A CN201710568733 A CN 201710568733A CN 107360426 B CN107360426 B CN 107360426B
- Authority
- CN
- China
- Prior art keywords
- frame
- reconstruction
- optical flow
- image group
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于压缩感知的视频序列重构方法,编码端将原始视频序列分为关键帧、非关键帧两种类型,分别采用不同的采样率进行测量,在解码端先对不同的视频序列进行运动估计/补偿预测和光流法预测两种不同算法的性能判断,再结合对比结果利用帧间相关性对所有非关键帧进行性能较好的算法重构。本发明处理视频时,所需采样的数据量少,恢复的视频质量好。相对于视频独立重构的传统算法,提高了低采样率时峰值信噪比,并缩短重构时间。
Description
技术领域
本发明涉及一种基于压缩感知的视频序列重构方法。
背景技术
在传统的混合编码技术架构中,通常首先对视频信号进行全采样,而后进行压缩处理,丢弃大量冗余数据,只留下少量重要数据。这不仅造成了采样资源的严重浪费,而且大大提高了编解码器的复杂程度。压缩感知是一种新型的信息处理学说,使得信号能够以远低于奈奎斯特采样率的速率进行采样,而在解码端仍能高概率地重构原始信号,可根据少量的观测值实现信号的精准重构。
在压缩感知框架中,核心问题是利用信号的稀疏性,通过随机投影测量并重建最接近原始信号的稀疏信号,将压缩感知引入视频处理领域,相当于将编码端的计算难度转移到了解码端,所以另外再结合基于视频帧间相关性的重构算法,将大大提高视频的采样效率和重构效果。
诸多学者研究了传统的基于块的运动估计/补偿技术、基于像素的光流估计算法在视频处理中的应用,针对不同类型的视频序列这两种算法的性能互有优劣。由于基于单一预测模式的视频重构算法的通用性欠佳,本发明尝试将两种预测模型应用于视频压缩感知的重构过程中。
发明内容
有鉴于此,本发明的目的在于提供一种基于压缩感知的视频序列重构方法,进一步提高视频序列的重构质量,以应用于低采样率条件的视频压缩感知中。
为实现上述目的,本发明采用如下技术方案:一种基于压缩感知的视频序列重构方法,包括如下步骤:
(1)测量过程
步骤A1:将原始视频序列以图像组GOP为单位分组,分为n个图像组;
(2)重构过程
步骤B3:对group1进行基于块的运动估计/补偿或基于像素的光流法重构对应的第i个图像组的第2帧,并对重构结果进行性能对比,判断出适合该图像组的最佳帧间预测算法;
步骤B4:根据步骤B3已判断出的性能较好的重构结果作为对应第i个图像组的第2帧的重构输出,并利用最佳帧间预测算法对第i个图像组的第m帧进行联合重构输出,然后利用最佳帧间预测算法结合和重构中间帧,,…, ;
步骤B5:将重构的所有帧整合起来得到最终恢复出的视频序列。
进一步地,在所述步骤B3中判断出光流法重构性能较好时,步骤B4如下:
本发明与现有技术相比具有以下有益效果:本发明处理视频时,所需采样的数据量少,恢复的视频质量好,尤其适用于低采样率条件的视频序列重构算法,相对于视频独立重构的传统算法,在低采样率时峰值信噪比约提高5-7dB,重构时间约缩短10%。
附图说明
图1是本发明总体流程图。
图2是本发明一实施例图像组分解示意图。
图3是本发明一实施例的前后向运动估计/补偿重构算法示意图。
图4是本发明基于块的运动估计/补偿重构算法流程图。
图5是本发明基于像素的光流估计重构算法流程图。
图6是本发明一实施例的扭曲光流矢量示意图。
图7是本发明帧间预测模式决策示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1所示,本发明提供一种基于压缩感知的视频序列重构方法,包括如下步骤:
(1)测量过程
步骤A1:将原始视频序列以图像组GOP为单位分组,分为n个图像组;
(2)重构过程
步骤B3:对group1进行基于块的运动估计/补偿或基于像素的光流法重构对应的第i个图像组的第2帧,并对重构结果进行性能对比,判断出适合该图像组的最佳帧间预测算法;
步骤B4:根据步骤B3已判断出的性能较好的重构结果作为对应第i个图像组的第2帧的重构输出,并利用最佳帧间预测算法对第i个图像组的第m帧进行联合重构输出,然后利用最佳帧间预测算法结合和重构中间帧,,…, ;
步骤B5:将重构的所有帧整合起来得到最终恢复出的视频序列。
在本实施例中,如图2所示,视频序列以4帧为一个图像组,每个图像组包含一个关键帧和三个非关键帧。
在本实施例中,如图3所示,基于块的运动估计/补偿重构算法重构非关键帧的方式是以第3帧为分界点,第3帧前的以前向估计的形式逐帧恢复,第3帧后的以后向估计的形式逐帧恢复,所以第2帧将利用前一步独立重构出的第一帧关键帧前向重构出。
在本实施例中,如图4所示流程图,运动估计/补偿重构算法前向重构,先对第2帧进行独立重构得到f1,计算第2帧的测量残差,并进行残差重构和补偿得到f2,将f1与f2取均值后经过残差重构和补偿将得到估计出的第2帧。运动估计/补偿重构算法前向重构和后向重构方式一致,只是参考帧变为后一帧。
如图5所示流程图,基于像素的光流重构算法重构非关键帧的方式是对两个已重构出的关键帧进行前向、后向光流扭曲,将扭曲结果取均值,计算测量残差,再进行残差重构和补偿,获得最终重构出的非关键帧。前、后向光流扭曲,参照图6进行说明,在假设图像组尺寸为4的情况下,前向扭曲是指将第1帧扭向第5帧的光流矢量(Vx,Vy)取其1/4倍进行双三次插值扭曲得到的结果f1;后向扭曲是指将第5帧扭向第1帧的光流矢量(-Vx,-Vy)取其3/4倍进行双三次插值扭曲得到的结果f2;将f1、f2取均值作为估计出的第2帧。
参照图7流程图进行group1的帧间预测模型的决策,将上文所述的运动估计/补偿和光流法预测的重构结果,进行峰值信噪比(PSNR)的性能对比,判断出适合该图像组的重构算法。如果光流法重构获得的PSNR_of大于运动估计/补偿重构的PSNR_mc,则对剩余非关键帧进行光流重构,否则进行运动估计/补偿重构。
若是判断出运动估计/补偿重构算法更好,使用独立重构出的关键帧利用前后向运动估计/补偿可得到剩余非关键帧,对第4帧以重构的关键帧为参考,利用类似后向运动估计/补偿重构算法进行重构,而对于第3帧中间帧则是进行双向重构,是利用、分别进行前向、后向重构,将结果取均值作为最终恢复出的中间帧。
若是判断出光流重构算法更好,使用独立重构出的关键帧利用光流矢量和相对位置可扭曲出所有非关键帧,如下:对于重构第2帧取光流扭曲系数a=1/4,即利用所述向的光流矢量的a=1/4倍的扭曲图像结合向的光流矢量的1-a=3/4倍的扭曲图像可得到重构的第2帧;对于重构第4帧取光流扭曲系数a=3/4,即利用所述向的光流矢量的a=3/4倍的扭曲图像结合向的光流矢量的1-a=1/4倍的扭曲图像可得到重构的第4帧;对于重构第3帧取光流扭曲系数a=1/2,即利用所述向的光流矢量的a=1/2倍的扭曲图像结合向的光流矢量的1-a=1/2倍的扭曲图像,可得到重构的第3帧,对于第n帧,a满足下式:
以此来重构序列帧。
为了验证本发明方法的效果,以352×288的视频序列Coastguard.yuv和Mobile.yuv为例,假设分块大小为16×16,测量矩阵为正交矩阵,对本发明的视频重构方法与传统的独立重构方法进行了比较,以峰值信噪比PSNR(单位为dB)作为算法的重构评价指标。表1给出了本发明的视频重构方法在低采样率下的PSNR。
从表1可以看出,对于视频序列Coastguard.yuv和Mobile.yuv,在同等采样率的情况下对视频序列进行重构,本发明提出的方法PSNR比传统的独立重构方法高约5—7dB。由此可知本发明提出的基于压缩感知的视频重构方法能够在相同采样率的情况下,有效提高视频重构质量。
对本发明的视频重构方法与传统的独立重构方法进行了运行速度比较,以非关键帧平均重构时间为评价指标。表2给出了本发明的视频重构算法在低采样率下的运行时长。
从表2可以看出,对于视频序列Coastguard.yuv和Mobile.yuv,在同等采样率的情况下对视频序列进行重构,本发明提出的方法时间上比传统的独立重构方法缩短0.5—1s,大约缩短了10%。由此可知本发明提出的基于压缩感知的视频重构方法能够在相同采样率的情况下,提高了运行速度。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。
Claims (2)
1.一种基于压缩感知的视频序列重构方法,其特征在于,包括如下步骤:
(1)测量过程
步骤A1:将原始视频序列以图像组GOP为单位分组,分为n个图像组;
步骤A2:将图像组尺寸设为m,每个图像组内的第1帧为关键帧xi,1,第2帧至第m帧为非关键帧xi,2,xi,3,...,xi,m,i为图像组的序号,i=1,2,...,n;
步骤A3:对每个图像组的关键帧以高采样率进行分块采样,对应得到yi,1,i=1,2,...,n,对每个图像组的非关键帧以低采样率进行分块采样,对应得到yi,2,yi,3,...,yi,m,i=1,2,...,n;
(2)重构过程
步骤B1:对每个图像组采样后的关键帧进行传统的独立重构,对应得到zi,1,i=1,2,...,n;
步骤B2:将独立重构的关键帧zi,1和zi+1,1与采样后的非关键帧yi,2合并为group1,将独立重构的关键帧zi,1和zi+1,1与采样后的非关键帧yi,m合并为group2,i=1,2,...,n-1;
步骤B3:对group1进行基于块的运动估计/补偿或基于像素的光流法重构对应的第i个图像组的第2帧,并对重构结果进行性能对比,判断出适合该图像组的最佳帧间预测算法;
步骤B4:根据步骤B3已判断出的性能较好的重构结果,若是判断出运动估计/补偿重构算法更好,则使用独立重构出的关键帧利用前后向运动估计/补偿可得到剩余非关键帧;若是判断出光流重构算法更好,则使用独立重构出的关键帧利用光流矢量和相对位置可扭曲出所有非关键帧;
步骤B5:将重构的所有帧整合起来得到最终恢复出的视频序列。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710568733.9A CN107360426B (zh) | 2017-07-13 | 2017-07-13 | 一种基于压缩感知的视频序列重构方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710568733.9A CN107360426B (zh) | 2017-07-13 | 2017-07-13 | 一种基于压缩感知的视频序列重构方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107360426A CN107360426A (zh) | 2017-11-17 |
CN107360426B true CN107360426B (zh) | 2020-04-10 |
Family
ID=60292999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710568733.9A Active CN107360426B (zh) | 2017-07-13 | 2017-07-13 | 一种基于压缩感知的视频序列重构方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107360426B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108022280B (zh) * | 2017-12-05 | 2021-08-20 | 大陆汽车车身电子***(芜湖)有限公司 | 组合仪表动画显示方法与组合仪表动画数据处理方法 |
CN109040757B (zh) * | 2018-07-20 | 2020-11-10 | 西安交通大学 | 一种压缩感知多层残差图像编码方法 |
CN109756690B (zh) * | 2018-12-21 | 2020-11-20 | 西北工业大学 | 基于特征级别光流的轻量级视频插值方法 |
CN111866583B (zh) * | 2019-04-24 | 2024-04-05 | 北京京东尚科信息技术有限公司 | 一种视频监控资源的调整方法、装置、介质及电子设备 |
CN110322525B (zh) * | 2019-06-28 | 2023-05-02 | 连尚(新昌)网络科技有限公司 | 一种动图处理方法及终端 |
CN110933429B (zh) * | 2019-11-13 | 2021-11-12 | 南京邮电大学 | 基于深度神经网络的视频压缩感知与重构方法和装置 |
CN111246213B (zh) * | 2020-01-21 | 2022-05-13 | 东华大学 | 一种视频压缩感知采样率自适应的分层次块匹配重构方法 |
CN112616052B (zh) * | 2020-12-11 | 2023-03-28 | 上海集成电路装备材料产业创新中心有限公司 | 一种视频压缩信号的重建方法 |
CN112866697B (zh) * | 2020-12-31 | 2022-04-05 | 杭州海康威视数字技术股份有限公司 | 视频图像编解码方法、装置、电子设备及存储介质 |
CN113382247B (zh) * | 2021-06-09 | 2022-10-18 | 西安电子科技大学 | 基于间隔观测的视频压缩感知***及方法、设备及存储介质 |
CN113362252B (zh) * | 2021-06-30 | 2024-02-02 | 深圳万兴软件有限公司 | 智能画幅重构方法、装置、计算机设备及存储介质 |
CN113613003B (zh) * | 2021-08-30 | 2024-03-22 | 北京市商汤科技开发有限公司 | 视频压缩、解压缩方法及装置、电子设备和存储介质 |
CN115604463A (zh) * | 2022-09-07 | 2023-01-13 | 天津市国瑞数码安全***股份有限公司(Cn) | 一种自适应感知采样的视频压缩方法和*** |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2524505B1 (en) * | 2010-01-15 | 2015-11-25 | Dolby Laboratories Licensing Corporation | Edge enhancement for temporal scaling with metadata |
US8451906B1 (en) * | 2011-02-25 | 2013-05-28 | Adobe Systems Incorporated | Reconstructing efficiently encoded video frames in a distributed video coding environment |
CN105357536B (zh) * | 2015-10-14 | 2018-07-06 | 太原科技大学 | 基于残差分布式压缩感知的视频软组播方法 |
CN105554502A (zh) * | 2015-12-07 | 2016-05-04 | 天津大学 | 基于前景背景分离的分布式压缩感知视频编解码方法 |
CN106888024B (zh) * | 2017-01-06 | 2020-09-08 | 南京邮电大学 | 一种基于双向最佳匹配的分布式视频压缩感知重构方法 |
-
2017
- 2017-07-13 CN CN201710568733.9A patent/CN107360426B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107360426A (zh) | 2017-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107360426B (zh) | 一种基于压缩感知的视频序列重构方法 | |
CN109151474B (zh) | 一种生成新视频帧的方法 | |
CN109064507B (zh) | 一种用于视频预测的多运动流深度卷积网络模型方法 | |
CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
CN111260560B (zh) | 一种融合注意力机制的多帧视频超分辨率方法 | |
CN108596841B (zh) | 一种并行实现图像超分辨率及去模糊的方法 | |
CN110519600B (zh) | 帧内帧间联合预测方法、装置、编解码器及存储装置 | |
CN106780338B (zh) | 基于各向异性的快速超分辨率重建方法 | |
CN111008938B (zh) | 一种基于内容和连续性引导的实时多帧比特增强方法 | |
US20180007375A1 (en) | Image encoding and decoding methods and devices thereof | |
CN107481293B (zh) | 基于多假设加权的差分图像压缩感知重构方法及智能终端 | |
CN103475884B (zh) | 面向hbp编码格式的立体视频b帧整帧丢失错误隐藏方法 | |
Zhang et al. | Weighted convolutional motion-compensated frame rate up-conversion using deep residual network | |
CN111726623B (zh) | 提升空间可分级编码视频在丢包网络中重建质量的方法 | |
CN116862773A (zh) | 一种应用于复杂场景下的视频超分辨率重建方法 | |
CN114363617A (zh) | 一种网络轻量级视频流传输方法、***及设备 | |
CN114792347A (zh) | 一种基于多尺度空间和上下文信息融合的图像压缩方法 | |
CN110505479B (zh) | 时延约束下逐帧相同测量率的视频压缩感知重构方法 | |
CN108833920B (zh) | 一种基于光流和块匹配的dvc边信息融合方法 | |
US11778224B1 (en) | Video pre-processing using encoder-aware motion compensated residual reduction | |
CN109934882A (zh) | 基于动态挑选多假设匹配块的视频压缩感知重构方法 | |
Yang et al. | Imrnet: An iterative motion compensation and residual reconstruction network for video compressed sensing | |
Wang et al. | Butterfly: Multiple reference frames feature propagation mechanism for neural video compression | |
WO2022141660A1 (zh) | 基于神经网络的高分辨率图像复原方法及*** | |
CN106937125B (zh) | 一种动态改变搜索窗大小的多假设预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |