CN117082252A - 一种结合hevc编码信息与时/空域超分辨率重建的视频编码方法 - Google Patents
一种结合hevc编码信息与时/空域超分辨率重建的视频编码方法 Download PDFInfo
- Publication number
- CN117082252A CN117082252A CN202310871467.2A CN202310871467A CN117082252A CN 117082252 A CN117082252 A CN 117082252A CN 202310871467 A CN202310871467 A CN 202310871467A CN 117082252 A CN117082252 A CN 117082252A
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- resolution
- block
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000006835 compression Effects 0.000 claims abstract description 12
- 238000007906 compression Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000005070 sampling Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 10
- 230000002457 bidirectional effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000000903 blocking effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 claims description 2
- 238000011084 recovery Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract 1
- 230000001502 supplementing effect Effects 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000010561 standard procedure Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及图像通信领域中的视频编码技术领域，具体涉及一种结合HEVC编码信息与时/空域超分辨率重建的视频编码方法，包括如下步骤：在编码前预先通过时间域自适应抽帧和空间域下采样分别降低了原视频的帧率和空间分辨率，然后通过标准化编解码器进行编码；在解码端，利用基于视频压缩的码流信息进行时域重建，将解码后的视频帧率增加到原始视频帧率，然后通过动态上采样滤波器直接将输入低分辨率视频帧重建为高分辨率视频帧，并通过估计的残差图像来补充视频帧中的高频细节；最后得到与原始视频同等帧率、分辨率大小的重建视频。最终实际效果显示在同等低比特段时，本发明重建后的视频质量相较于标准的HEVC视频编码框架表现出色。
Description
技术领域
本发明涉及图像通信领域中的视频编码技术领域，具体涉及一种结合HEVC编码信息与时/空域超分辨率重建的视频编码方法。
背景技术
近几年各种直播和短视频平台兴起，视频成为人们获取信息的主要方式之一。然而不少偏远地区还停留在4G时代，网络带宽的不足影响了人们获取视频信息的质量。此外，视频的分辨率越来越大，编码数据量也越来越大，这给设备的存储和传输都带来了很大的挑战。在这种背景下，现有的视频编码标准总有一天会满足不了对极高分辨率视频的压缩要求。因此，在带宽有限的前提下，如何在不降低质量的同时减少压缩视频的比特率是很重要的。
2013年11月25日,ISO/IEC正式发布了H.265/HEVC标准，随着HEVC的完成和应用，HEVC将逐渐代替H.264成为主流的视频压缩编码框架，因此如何提高基于HEVC的视频编码性能是一个值得研究的方向。Ge Chuan提出了时域下采样编码及重建的方法，但该方法不能显著提高视频重建后的质量；Danfeng Zhao提出一种匹配的数字图像下/上采样滤波算法，匹配的重采样滤波器在性能上有较大提高，但其峰值信噪比平均增加1.6dB；M.A.Yilmaz提出了一种基于深度学习的视频帧数目减少方法，同时保持了较高的视觉质量，但该方法耗时较长。
发明内容
为了解决现有技术中存在的问题，本发明提供了一种结合HEVC编码信息与时/空域超分辨率重建的视频编码方法。
为了实现上述目的，本发明提供以下技术方案：
一种结合HEVC编码信息与时/空域超分辨率重建的视频编码方法，其特征在于，包括如下步骤：
步骤一、在编码前，将原始视频序列通过判断视频序列场景的相对变化进行自适应抽帧，降低待编码视频的帧率；
步骤二、对抽帧后的低帧率视频采用双三次下采样，降低待编码视频的分辨率；
步骤三、将降帧率、降分辨率后的视频送入HEVC视频编码框架进行编码，并通过网络传输，在解码前提取压缩域内的运动信息和分块信息；
步骤四、通过压缩域内的码流信息得到的运动矢量信息初步确定丢失帧的运动信息；
步骤五、通过压缩域内的分块信息确定帧内编码的块，由于其不存在运动矢量，即运动矢量为0，使用该帧内编码块周围块的运动矢量进行填充；
步骤六、运动矢量平滑处理，使用基于双向运动补偿插值的策略对待插帧进行插值恢复；
步骤七、为了去除插值后的块效应，使用中值滤波器对像素点进行平滑处理；
步骤八、将帧率恢复后的视频送入端到端网络生成动态上采样滤波器和残差图像进行空间超分辨重建。
优选的，在步骤一中，用自适应抽帧计算方法判断当前帧是否为抽去帧，采用当前帧与前一帧的均方根误差(RMSE)和相对变化率(R)作为是否抽去该帧评估标准：
其中，fk-1(i,j)表示第k-1帧在位置(i,j)处的像素值，fk(i,j)表示第k帧在位置(i,j)处的像素值，m和n分别表示视频的宽度和高度，RMSEk表示第k帧与第k-1帧对应位置像素均方根误差，R表示相邻帧场景的相对变化率。当第k帧的均方根误差和相对变化率小于给定的阈值时，认定该视频序列在第k帧没有发生场景变化，则抽去该帧；反之，则视频序列保留第k帧。
优选的，在步骤五中，帧内编码块运动矢量填充计算方法如下:
其中，Mvintra表示帧内块运动矢量待填充值，Mvi表示与该帧内块相邻的块运动矢量，wi表示补偿权重，n为相邻块的个数。
优选的，在步骤六中，所述双向运动补偿插值计算方法如下:
其中，Ft(x,y)表示待插块在位置(x,y)处的重建像素值，表示在前向帧中搜索到当前像素的像素，/>表示在向后帧中搜索的当前像素的像素。/>为码流中获得的待插块相较于参考帧的运动矢量。
优选的，在步骤八中，在恢复原始帧率后将视频送入端到端网络，使用动态上采样滤波器和残差图进行空间超分辨重建，动态上采样滤波器恢复分辨率方法如下:
其中，Xt为输入低分辨率帧，为输出高分辨率帧，Ft y,x,v,u为相应的滤波器，x和y为低分辨率视频中的坐标，r为放大因子，v和u是每个r×r输出块(0≤v,uu≤r-1)的坐标。
根据本发明的上述方法可以编制执行上述结合HEVC编码信息与时/空域超分辨率重建的视频编码方法。
本发明的基本原理：
首先，利用时间域自适应抽帧和空间域下采样分别降低原始视频的帧率和空间分辨率，旨在视频编码压缩前降低视频的比特数，达到减小视频在传输过程中网络带宽占有率的目的；
其次，HEVC对视频压缩编码时会进行基于编码块的运动估计，该过程中产生基于编码块的运动矢量信息并将其存储在压缩域内，提取压缩域内运动矢量进行双向运动补偿插帧，避免在解码端重新进行运动估计以此来节省整个***的运行时间；
最后，为了提高重建视频的主客观质量，降低***的复杂度，本发明使用了一种端到端深度神经网络，该网络生成动态上采样滤波器和残差图像，并根据每个像素的局部时空邻域进行计算，以避免显式运动补偿，使用动态上采样滤波器直接将输入图像重建为高分辨率图像，并通过计算的残差添加精细细节。
HEVC视频编码框架在进行压缩编码主要使用帧内预测编码和帧间预测编码。一帧帧连续的图像组成视频序列，帧内预测用于去除图像的空间相关性，通过编码后的重构块信息来预测当前块以去除空间冗余信息；帧间预测用于去除图像的时间相关性，将已编码的图像作为当前帧的参考图像，来获取各个块的运动信息，从而去除时间冗余。上述说明帧内预测编码块无运动矢量信息，导致帧内编码块无法根据双向运动补偿策略进行插值，因此本发明使用该帧内编码块周围块的运动矢量对其进行填充，在得到所有块的运动信息后再进行运动补偿插值。
本发明具有以下有益效果：
在编码前采用抽帧策略和下采样技术降低原始视频的的帧率和分辨率，这一方法将大大降低视频在传输过程中网络带宽占有率，在有限的带宽上提高视频的传输速率；在解码端提取压缩域内运动矢量进行双向运动补偿插帧，避免在解码端重新进行运动估计以此来节省整个***的运行时间。
在现有技术中，单独应用动态上采样滤波器后的结果缺乏清晰度，因为它仍然是输入像素的加权和。通过线性滤波可能存在无法恢复的细节。为了解决这个问题，本发明额外估计残差图像以增加高频细节。残差图像是由多个输入帧而不是单个输入帧组成的，我们使用动态上采样帧作为更好的基线，然后将其与计算的残差相加。通过结合这些互补的组件，能够在最终的高分辨率帧中实现空间清晰度和时间一致性。
附图说明
为了更清楚地说明本发明实例中的技术方案，下面将对本发明实例中的一些附图做简要介绍。
图1本发明算法与HEVC视频重建质量对比图。
具体实施方式
为了更清楚地说明本发明的目的、技术方案及优点，以下结合附图具体的解释每个模块的功能及优点。
实施例一
本发明的算法，与HEVC标准测试模型HM16.0的标准算法比较过程如下：
1、本发明方法具体流程：将原始视频通过自适应抽帧和下采样模块进行处理，然后打开标准HM16.0测试模型，配置文件为lowdelay_P_main，量化参数分别为22、32、42，在解码端将处理后的视频再经双向运动补偿插值恢复原始帧率，最后将低分辨率视频送入端到端网络进行空间超分辨重建为高分辨率视频。
2、本发明方法将与HEVC视频编码标准的参考软件算法HM16.0的方法进行比较。同时打开本发明方法和标准方法的程序，设置好相同的配置文件，量化参数分别取22、32、42。对四种视频编码性能：峰值信噪比(PSNR)、码率偏差(其中PSNR体现视频的客观质量，码率是指网络传输中码流的大小)进行比较分析，其中码率偏差的指标为：
其中，M表示的是本发明方法与HM16.0标准方法的实际码率与目标码率相比的码率偏差百分率。
3、输入2个相同的视频测试序列；
4、利用HM16.0标准方法对视频测试序列在HEVC方式下进行视频编码；
5、利用本发明方法对视频测试序列在HEVC方式下进行视频编码；
6、统计结果显示，本发明方法与HEVC中的标准算法相比码率均有降低。充分证明了本发明方法的普适性。
7、由附图1可看出，本发明方法与HEVC中的标准算法相比在低码率段极大的降低了压缩视频的码率，同时又保证视频重建后的质量。
表1本发明算法与标准HM16.0码率及PSNR对比
以上内容介绍了本发明实例的基本原理、主要特征与优点。相关从业人员应该了解，本发明不受上述实例的限制，上述实施例和说明书中描述的只是说明本发明的原理。本发明可以应用到其他任何具有优化性质的领域中。本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (5)
1.一种结合HEVC编码信息与时/空域超分辨率重建的视频编码方法，其特征在于，包括如下步骤：
步骤一、在编码前，将原始视频序列通过判断视频序列场景的相对变化进行自适应抽帧，降低待编码视频的帧率；
步骤二、对抽帧后的低帧率视频采用双三次下采样，降低待编码视频的分辨率；
步骤三、将降帧率、降分辨率后的视频送入HEVC视频编码框架进行编码，并通过网络传输，在解码前提取压缩域内的运动信息和分块信息；
步骤四、通过压缩域内的码流信息得到的运动矢量信息初步确定丢失帧的运动信息；
步骤五、通过压缩域内的分块信息确定帧内编码的块，由于其不存在运动矢量，即运动矢量为0，使用该帧内编码块周围块的运动矢量进行填充；
步骤六、运动矢量平滑处理，使用基于双向运动补偿插值的策略对待插帧进行插值恢复；
步骤七、为了去除插值后的块效应，使用中值滤波器对像素点进行平滑处理；
步骤八、将帧率恢复后的视频送入端到端网络生成动态上采样滤波器和残差图像进行空间超分辨重建。
2.根据权利1所述的一种结合HEVC编码信息与时/空域超分辨率重建的视频编码方法，其特征在于：在步骤一中，用自适应抽帧计算方法判断当前帧是否为抽去帧，采用当前帧与前一帧的均方根误差(RMSE)和相对变化率(R)作为是否抽去该帧评估标准：
其中，fk-1(i,j)表示第k-1帧在位置(i,j)处的像素值，fk(i,j)表示第k帧在位置(i,j)处的像素值，m和n分别表示视频的宽度和高度，RMSEk表示第k帧与第k-1帧对应位置像素均方根误差，R表示相邻帧场景的相对变化率。当第k帧的均方根误差和相对变化率小于给定的阈值时，认定该视频序列在第k帧没有发生场景变化，则抽去该帧；反之，则视频序列保留第k帧。
3.根据权利1所述的一种结合HEVC编码信息与时/空域超分辨率重建的视频编码方法，其特征在于：在步骤五中，帧内编码块运动矢量填充计算方法如下:
其中，Mvintra表示帧内块运动矢量待填充值，Mvi表示与该帧内块相邻的块运动矢量，wi表示补偿权重，n为相邻块的个数。
4.根据权利1所述的一种结合HEVC编码信息与时/空域超分辨率重建的视频编码方法，其特征在于：在步骤六中，所述双向运动补偿插值计算方法如下:
其中，Ft(x,y)表示待插块在位置(x,y)处的重建像素值，表示在前向帧中搜索到当前像素的像素，/>表示在向后帧中搜索的当前像素的像素。为码流中获得的待插块相较于参考帧的运动矢量。
5.根据权利1所述的一种结合HEVC编码信息与时/空域超分辨率重建的视频编码方法，其特征在于：在步骤八中，在恢复原始帧率后将视频送入端到端网络，使用动态上采样滤波器和残差图进行空间超分辨重建，动态上采样滤波器恢复分辨率方法如下:
其中，Xt为输入低分辨率帧，为输出高分辨率帧，Ft y,x,v,u为相应的滤波器，x和y为低分辨率视频中的坐标，r为放大因子，v和u是每个r×r输出块(0≤v,uu≤r-1)的坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310871467.2A CN117082252A (zh) | 2023-07-17 | 2023-07-17 | 一种结合hevc编码信息与时/空域超分辨率重建的视频编码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310871467.2A CN117082252A (zh) | 2023-07-17 | 2023-07-17 | 一种结合hevc编码信息与时/空域超分辨率重建的视频编码方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117082252A true CN117082252A (zh) | 2023-11-17 |
Family
ID=88714277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310871467.2A Pending CN117082252A (zh) | 2023-07-17 | 2023-07-17 | 一种结合hevc编码信息与时/空域超分辨率重建的视频编码方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117082252A (zh) |
-
2023
- 2023-07-17 CN CN202310871467.2A patent/CN117082252A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107027029B (zh) | 基于帧率变换的高性能视频编码改进方法 | |
| CN112203093B (zh) | 一种基于深度神经网络的信号处理方法 | |
| JP2506332B2 (ja) | 動画像信号の高能率符号化方式 | |
| CN101778275B (zh) | 一种自适应时间域和空间域分辨率框架的图像处理方法 | |
| EP2335419B1 (en) | Methods and apparatus for video imaging pruning | |
| US20050200757A1 (en) | Method and apparatus for digital video reconstruction | |
| EP4365820A1 (en) | Video super-resolution network, and video super-resolution, encoding and decoding processing method and device | |
| CN111726614A (zh) | 一种基于空域下采样与深度学习重建的hevc编码优化方法 | |
| US7242717B2 (en) | Wavelet domain motion compensation system | |
| US20020150166A1 (en) | Edge adaptive texture discriminating filtering | |
| CN113592746B (zh) | 一种由粗到细地融合时空信息的压缩视频质量增强方法 | |
| CN111726638A (zh) | 一种结合去压缩效应与超分辨率的hevc编码优化方法 | |
| KR100697516B1 (ko) | 3차원 웨이블릿 변환 기반의 동영상 코딩 방법 | |
| WO2024078066A1 (zh) | 视频解码方法、视频编码方法、装置、存储介质及设备 | |
| Tan et al. | Image compression algorithms based on super-resolution reconstruction technology | |
| CN111726636A (zh) | 一种基于时域下采样与帧率上转换的hevc编码优化方法 | |
| CN111757126A (zh) | 面向vr的实时图像压缩方法、***和存储介质 | |
| Segall et al. | Super-resolution from compressed video | |
| CN117082252A (zh) | 一种结合hevc编码信息与时/空域超分辨率重建的视频编码方法 | |
| CN115150628A (zh) | 具有超先验引导模式预测的由粗到细深度视频编码方法 | |
| CN105141967A (zh) | 基于恰可觉察失真模型的快速自适应环路滤波算法 | |
| Ilgın et al. | An artifact reduction method for block-based video coding | |
| WO2002050774A2 (en) | Efficiently adaptive double pyramidal coding | |
| EP0886972A1 (en) | Improved post-processing method and apparatus for use in an image signal decoding system | |
| CN112004095B (zh) | 一种无存储介质的静止图像帧间无损恢复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |