CN113822801B - 基于多分支卷积神经网络的压缩视频超分辨率重建方法 - Google Patents
基于多分支卷积神经网络的压缩视频超分辨率重建方法 Download PDFInfo
- Publication number
- CN113822801B CN113822801B CN202110718467.XA CN202110718467A CN113822801B CN 113822801 B CN113822801 B CN 113822801B CN 202110718467 A CN202110718467 A CN 202110718467A CN 113822801 B CN113822801 B CN 113822801B
- Authority
- CN
- China
- Prior art keywords
- image
- branch
- matrix
- block
- compressed video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 48
- 239000013598 vector Substances 0.000 claims description 33
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 13
- 238000012216 screening Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 230000000737 periodic effect Effects 0.000 claims description 2
- 238000001311 chemical methods and process Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000013139 quantization Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于多分支卷积神经网络的压缩视频超分辨率重建方法，对每一帧待处理的图像，以块处理的形式在间隔相近的帧内编码帧中搜索近似块，由近似块形成对应当前待处理图像的预测图像，分别以预测图像和待处理图像作为各个分支网络的输入，且融合这些分支网络的输出作为最终的高分辨率重建结果。本发明提供的采用多分支卷积神经网络的压缩视频超分辨率重建方法能够有效地利用视频序列所存在的帧间冗余信息，特别地，利用压缩视频中的帧内编码帧具有较好视觉质量的特点，从而使得重建的超分辨率图像具有更好的质量。
Description
技术领域
本发明涉及计算机视觉领域，尤其涉及一种基于多分支卷积神经网络的压缩视频超分辨 率重建方法。
背景技术
随着高分辨率显示设备的不断普及和新的视频应用的持续涌现，市场对4K或8K等超高 清视频的需求越来越多。与此同时，作为公共资源的网络带宽的增长始终无法跟上传输高质 量视频要求的步伐。在上述背景下，视频图像超分辨率重建可作为一种图像增强技术运行于 解码端，从而为上述矛盾提供了一种可行的解决方案。
中国专利CN101345870B公开了一种通过编码装置利用带超分辨率重构的预解码闭环 反馈构造出少量的超分辨率重构辅助码流，同时利用编码模块中的人眼感兴趣分析模块，进 一步地对解码端的超分辨率重构进行引导和矫正，以提高视频解码输出的分辨率和主观质量。 中国专利CN103475876B公开了一种基于学习的低比特率压缩图像超分辨率重建方法，该方 法的离线部分将低分辨率图像按其失真程度分类建立样本库，对每类样本训练各自的超分辨 率模型；在线部分则判别输入图像的失真类别，选取不同的模型实现超分辨率重建。中国专 利CN101605260B公开了一种基于最大后验概率估计MAP的压缩视频超分辨率重建方法， 将MAP重建代价函数定义为重建误差项、包含量化前DCT系数分布参数的正则约束项和一 般约束项三个部分，通过引入DCT系数分布模型提高压缩视频超分辨率重建的质量。
与单帧图像和视频图像超分辨率重建不同，压缩视频图像超分辨率重建***以存在压缩 损失的图像为输入。有损视频压缩编码***中的量化过程将引入量化误差，这种误差更多地 表现为频率域高频成分的损失，使得压缩后的图像呈现出细节丢失、边缘模糊等特点。以这 些存在细节丢失、边缘模糊等缺陷的低分辨率图像为输入重建高分辨率图像，势必将对超分 辨率重建***提出更大的挑战。
发明内容
本发明的目的在于充分利用视频序列的帧间冗余信息，特别地，利用压缩视频中的帧内 编码帧具有较好的视觉质量的特点，提供一种基于多分支卷积神经网络的压缩视频超分辨率 重建方法。
本发明具体采用的技术方案如下：一种基于多分支卷积神经网络的压缩视频超分辨率重 建方法，该方法具体步骤如下
(1)用于压缩视频超分辨率重建的多分支卷积神经网络包括三个分支，其中第二分支网 络Sub-B和第三分支网络Sub-C以压缩视频的当前解码帧I为输入；以间隔帧数为依据，在 位于I帧之前和之后的两个帧内编码帧中选择离I帧相对较近的作为参考图像，以块处理的 形式对当前解码帧I中每一个块图像在参考图像中寻找具有最大相似度的块，由这些相似块 构成重建图像，作为第一分支网络Sub-A的输入；
(2)第一分支网络和第二分支网络具有相同的结构，按数据前向传播时的数据流向，输 入数据首先经过一个包含32个3×3卷积核、卷积步长为1的卷积层，接在上述卷积层之后的 为依次连接的N个残差块；第一分支网络的最后一个残差块的输出特征图和第二分支网络的 最后一个残差块的输出特征图经通道合并操作形成一个包含2NC个通道的特征图，其中第一 分支网络和第二分支网络的输出特征图的通道数各为NC；
(3)步骤(2)中所述经通道合并形成的特征图，经过一个包含r2个3×3卷积核、卷积 步长为1的卷积层，经卷积运算产生的输出以周期筛选的方式得到上采样的图像H1，其中r为 上采样因子；
(4)第三分支网络的输入经过一个包含r2个3×3卷积核、卷积步长为1的卷积层，该卷 积层的输出以周期筛选的方式得到上采样的图像H2，其中r为上采样因子；
(5)对上述经上采样的图像H1和H2进行逐个对应像素的求和运算，产生的输出作为结 果图像，即为压缩视频中的超分辨率重建后的图像。
进一步地，所述以块处理的形式对当前解码帧中每一个块图像在参考图像中寻找具有最 大相似度的块，由这些相似块构成重建图像，作为第一分支网络Sub-A的输入，具体过程包 括：
2.1设当前解码图像的高和宽分别为H和W，初始化重建图像Ip的大小为H×W，且所有像素值为0，初始化权值矩阵C的大小为H×W且所有元素的初值为0；
2.2分别以s1和s2为扫描步长等间隔地从左到右、从上到下扫描参考图像和当前解码图像， 在每个扫描位置(u,v)，以该位置为左上角，提取大小的图像块，对每个图像块减去 其灰度均值，以行优先的形式转换成一个包含d个元素的行向量；来自参考图像的每个行向 量加入到矩阵T，作为T中一行，来自当前解码图像的每个行向量加入到矩阵Q，作为Q中 一行；
2.3对矩阵Q中的行向量q，以欧氏距离为相似性度量，以k-近邻算法在T中查找最为 相似的行向量，记作t，若向量t和q的欧氏距离小于一个预先设定的阈值e，则依次取t中的个元素作为矩阵的一行，共/>行形成一个/>大小的矩阵，作为目标块，否则依次取q中的/>个元素作为矩阵的一行，共/>行形成/>大小的矩阵，作为目标块；目标块中每个像素值加上对应q的灰度均值；
2.4设矩阵Q中的行向量q所对应的图像块的扫描位置为(u,v)，按步骤2.3所得的目标 块为b，则重建图像Ip中以(u,v)为左上角、大小为的子块，每个像素加上目标块中 对应元素的值，权值矩阵C中以(u,v)为左上角、大小为/>的子块，每个元素值加1；
2.5对矩阵Q中的所有行向量重复步骤2.3和2.4，得到重建图像Ip；
2.6重建图像Ip中每个像素的值除以权值矩阵C中对应元素的值作为最终的重建图像。
进一步地，所述第一分支网络和第二分支网络中依次连接的N个残差块，每个残差块具 有相同的结构，包括两个卷积层和一个ReLU层，按数据前向传播时的流向，依次为包含128 个3×3卷积核、卷积步长为1的卷积层，ReLU层和包含32个3×3卷积核、卷积步长为1的 卷积层；设任意一个残差块的输入为x，上述两个卷积层和ReLU层将该输入映射为f(x)，最后以f(x)+x作为残差块的输出。
进一步地，所述卷积层的输出以周期筛选的方式得到上采样的图像，包括：设卷积层的 输出为一个H×W×r2的特征图，取坐标为(x,y)位置所有通道的r2个元素形成一个向量，依 次取该向量的r个元素作为矩阵的一行，共r行形成一个r×r大小的矩阵，置于上采样图像 中的(rx,ry)位置；对特征图的所有坐标位置重复上述过程形成上采样图像。
进一步地，所述多分支卷积神经网络的各个层次的参数以学习的方式确定，包括：
A、准备训练样本：设I为压缩视频中的当前解码帧，Io是与I对应的未经压缩编码的原 始图像，Ip为构建的重建图像，用于训练多分支卷积神经网络的样本集中的第i个样本形如 其中，/>和yi分别为来自I、Ip和Io中的相同位置，且大小相同的图像 块；
B、训练：批量加载训练样本集中的样本，将输入到所述第二分支网络和第三分支网 络，/>输入到第一分支网络，按如下的优化过程寻求最优的网络参数：
其中为由多分支卷积神经网络产生的对应/>的输出，||.||1表示1 范数；训练过程中，以Adam优化算法更新网络各层的权值，以分段下降的方式调整学习率， 具体地，将总的训练周期数分为四个阶段，后一个阶段的学习率等于前一个阶段的学习率的 二分之一。
本发明的有益技术效果：本发明提供的采用多分支卷积神经网络的压缩视频超分辨率重 建方法能够有效地利用视频序列所存在的帧间冗余信息，特别地，利用压缩视频中的帧内编 码帧具有较好视觉质量的特点，从而使得重建的超分辨率图像具有更好的质量。
附图说明
图1为本发明多分支卷积神经网络结构示意图；
图2为残差块网络结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步阐述，以便本领域技术人员更好地理解本 发明的实质。
如图1所示，本发明提供一种基于多分支卷积神经网络的压缩视频超分辨率重建方法， 具体步骤如下：
(1)用于压缩视频超分辨率重建的多分支卷积神经网络包括三个分支，其中第二分支网 络Sub-B和第三分支网络Sub-C以压缩视频的当前解码帧I为输入；以间隔帧数为依据，在 位于I帧之前和之后的两个帧内编码帧中选择离当前帧相对较近的作为参考图像，以块处理 的形式对当前解码帧中每一个块图像在参考图像中寻找具有最大相似度的块，由这些相似块 构成重建图像，作为第一分支网络Sub-A的输入；
所述以块处理的形式对当前解码帧中每一个块图像在参考图像中寻找具有最大相似度的 块，由这些相似块构成重建图像，作为第一分支网络Sub-A的输入，包括：
步骤1A、设当前解码图像的高和宽分别为H和W，初始化重建图像Ip的大小为H×W，且所有像素值为0，初始化权值矩阵C的大小为H×W，且所有元素的初值为0；
步骤1B、分别以s1和s2为扫描步长等间隔地从左到右、从上到下扫描参考图像和当前解 码图像，在每个扫描位置(u,v)，以该位置为左上角，提取大小的图像块，对每个图 像块减去其灰度均值，以行优先的形式转换成一个包含d个元素的行向量；来自参考图像的 每个行向量加入到矩阵T，作为T中一行，来自当前解码图像的每个行向量加入到矩阵Q， 作为Q中一行；其中d可为36或64，s1可为1或2，s2可为/>
步骤1C、对矩阵Q中的行向量q，以欧氏距离为相似性度量，以k-近邻算法在T中查找 最为相似的行向量，记作t，若向量t和q的欧氏距离小于一个预先设定的阈值e，则依次取t中的个元素作为矩阵的一行，共/>行形成一个/>大小的矩阵作为目标块，否则 依次取q中的/>个元素作为矩阵的一行，共/>行形成一个/>大小的矩阵作为目标块； 目标块中每个像素值加上对应q的灰度均值；
步骤1D、设矩阵Q中的行向量q所对应的图像块的扫描位置为(u,v)，按步骤1C所得的目标块为b，则重建图像Ip中以(u,v)为左上角、大小为的块，每个像素加上目标块b中对应元素的值，权值矩阵C中以(u,v)为左上角、大小为/>的块，每个元素值加1；
步骤1E、对矩阵Q中的所有行向量重复步骤1C和1D；
步骤1F、重建图像Ip中每个像素的值除以权值矩阵C中对应元素的值作为最终的重建图 像。
(2)第一分支网络和第二分支网络具有相同的结构，按数据前向传播时的数据流向，输 入数据首先经过一个包含32个3×3卷积核、卷积步长为1的卷积层，接在上述卷积层之后的 为依次连接的N个残差块，其中N可取大于10、小于18的整数；第一分支网络的最后一个 残差块的输出特征图和第二分支网络的最后一个残差块的输出特征图经通道合并操作形成一 个包含2NC个通道的特征，其中第一分支网络和第二分支网络输出特征图的通道数各为NC；
所述依次连接的N个残差块，每个残差块具有相同的结构，参见图2，该结构包括两个 卷积层和一个ReLU层，按数据前向传播时的流向，依次为包含128个3×3卷积核、卷积步长为1的卷积层，ReLU层和包含32个3×3卷积核、卷积步长为1的卷积层；设任意一个残 差块的输入为x，上述两个卷积层和ReLU层将该输入映射为f(x)，最后以f(x)+x作为残 差块的输出。
(3)前一步骤所述经通道合并形成的特征图，经过一个包含r2个3×3卷积核、卷积步长 为1的卷积层，经卷积运算产生的输出以周期筛选的方式得到上采样图像H1，其中r为上采 样因子；
所述经卷积运算产生的输出以周期筛选的方式得到上采样的图像，设卷积层的输出为一 个H×W×r2的特征图，取坐标为(x,y)位置所有通道的r2个元素形成一个向量，依次取该向 量的r个元素作为矩阵的一行，共r行形成一个r×r大小的矩阵，置于上采样图像中的(rx,ry) 位置；对特征图的所有坐标位置重复上述过程形成上采样图像；
(4)第三分支的输入经过一个包含r2个3×3卷积核、卷积步长为1的卷积层，该卷积层 的输出以周期筛选的方式得到上采样的图像H2，其中r为上采样因子；
(5)对上述经上采样的图像H1和H2进行逐个对应像素的求和运算，产生的输出作为结 果图像。
本发明技术方案(1)中所述的多分支卷积神经网络各个层次的参数以学习的方式确定， 包括：
5A、准备训练样本：设I为压缩视频中的一帧，Io是与该帧对应的未经压缩编码的原始 图像，Ip为按步骤1A至1F所述构建的重建图像，用于训练多分支卷积神经网络模型的样本 集中的第i个样本形如其中，/>和yi分别为来自I、Ip和Io中的相同位 置，且大小相同的图像块；
5B、训练：批量加载训练样本集中的样本，将输入到所述第二和第三分支网络，输入到第一分支网络，按如下的优化过程寻求最优的网络参数：
其中为由多分支卷积神经网络模型产生的对应/>的输出，||.||1表示1 范数；训练过程中，以Adam优化算法更新网络各层的权值，可选地，学习率的初始值可置 为0.001～0.005之间的值，以分段下降的方式调整学习率，具体地，将总的训练周期数分为 四个阶段，后一个阶段的学习率等于前一个阶段的学习率的二分之一。
本发明实施例提供的方法针对HEVC编码的视频进行了测试；采用HEVC参考软件HM16.0作为压缩工具，分别以量化参数QP＝27，32，37，42对原始尺寸的测试视频和宽、 高方向分别缩小为原尺寸1/2的视频进行压缩编码；设置帧内编码帧间隔为32，帧内编码帧的QP值偏移为-7，其余参数设置保留encoder_lowdelay_P_main.cfg配置文件的设置；对原始 尺寸的压缩视频，记录其码率和以原始未压缩视频为参照的峰值信噪比PSNR，对缩小后压 缩编码的视频，记录其码率，并且采用本发明实施例提供的模型将其重建为原始尺寸的视频， 计算重建后视频与以未压缩视频为参照的峰值信噪比PSNR；以原始尺寸压缩的视频为基准， 采用BD-rate为衡量准则给出了在同样客观质量下，本发明提供方法的码率节省情况；以 BD-PSNR为衡量准则给出了在同等码率的情况下，本发明提供方法的PSNR增益，结果罗列 于表1；由表可知，在给出同样的客观质量的情况下，本发明提供的方法平均节省约14％的 码率，在给出同等码率的情况下，平均提供约0.77dB的PSNR增益。
表1本发明实施例的实验结果
以上所述仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，凡在本发明的 精神和原则之内，所做的任何修改或替换等，都应涵盖在本发明的保护范围内。
Claims (5)
1.一种基于多分支卷积神经网络的压缩视频超分辨率重建方法，其特征在于：该方法具体步骤如下
(1)用于压缩视频超分辨率重建的多分支卷积神经网络包括三个分支，其中第二分支网络Sub-B和第三分支网络Sub-C以压缩视频的当前解码帧I为输入；以间隔帧数为依据，在位于I帧之前和之后的两个帧内编码帧中选择离I帧相对较近的作为参考图像，以块处理的形式对当前解码帧I中每一个块图像在参考图像中寻找具有最大相似度的块，由这些相似块构成重建图像，作为第一分支网络Sub-A的输入；
(2)第一分支网络和第二分支网络具有相同的结构，按数据前向传播时的数据流向，输入数据首先经过一个包含32个3×3卷积核、卷积步长为1的卷积层，接在上述卷积层之后的为依次连接的N个残差块；第一分支网络的最后一个残差块的输出特征图和第二分支网络的最后一个残差块的输出特征图经通道合并操作形成一个包含2NC个通道的特征图，其中第一分支网络和第二分支网络的输出特征图的通道数各为NC；
(3)步骤(2)中所述经通道合并形成的特征图，经过一个包含r2个3×3卷积核、卷积步长为1的卷积层，经卷积运算产生的输出以周期筛选的方式得到上采样的图像H1，其中r为上采样因子；
(4)第三分支网络的输入经过一个包含r2个3×3卷积核、卷积步长为1的卷积层，该卷积层的输出以周期筛选的方式得到上采样的图像H2，其中r为上采样因子；
(5)对上述经上采样的图像H1和H2进行逐个对应像素的求和运算，产生的输出作为结果图像，即为压缩视频图像的超分辨率重建后的图像。
2.根据权利要求1所述的基于多分支卷积神经网络的压缩视频超分辨率重建方法，其特征在于，所述以块处理的形式对当前解码帧中每一个块图像在参考图像中寻找具有最大相似度的块，由这些相似块构成重建图像，作为第一分支网络Sub-A的输入，具体过程包括：
2.1设当前解码图像的高和宽分别为H和W，初始化重建图像Ip的大小为H×W，且所有像素值为0，初始化权值矩阵C的大小为H×W且所有元素的初值为0；
2.2分别以s1和s2为扫描步长等间隔地从左到右、从上到下扫描参考图像和当前解码图像，在每个扫描位置(u,v)，以该位置为左上角，提取大小的图像块，对每个图像块减去其灰度均值，以行优先的形式转换成一个包含d个元素的行向量；来自参考图像的每个行向量加入到矩阵T，作为T中一行，来自当前解码图像的每个行向量加入到矩阵Q，作为Q中一行；
2.3对矩阵Q中的行向量q，以欧氏距离为相似性度量，以k-近邻算法在T中查找最为相似的行向量，记作t，若向量t和q的欧氏距离小于一个预先设定的阈值e，则依次取t中的个元素作为矩阵的一行，共/>行形成一个/>大小的矩阵，作为目标块，否则依次取q中的/>个元素作为矩阵的一行，共/>行形成/>大小的矩阵，作为目标块；目标块中每个像素值加上对应q的灰度均值；
2.4设矩阵Q中的行向量q所对应的图像块的扫描位置为(u,v)，按步骤2.3所得的目标块为b，则重建图像Ip中以(u,v)为左上角、大小为的子块，每个像素加上目标块中对应元素的值，权值矩阵C中以(u,v)为左上角、大小为/>的子块，每个元素值加1；
2.5对矩阵Q中的所有行向量重复步骤2.3和2.4，得到重建图像Ip；
2.6重建图像Ip中每个像素的值除以权值矩阵C中对应元素的值作为最终的重建图像。
3.根据权利要求1所述的基于多分支卷积神经网络的压缩视频超分辨率重建方法，其特征在于，所述第一分支网络和第二分支网络中依次连接的N个残差块，每个残差块具有相同的结构，包括两个卷积层和一个ReLU层，按数据前向传播时的流向，依次为包含128个3×3卷积核、卷积步长为1的卷积层，ReLU层和包含32个3×3卷积核、卷积步长为1的卷积层；设任意一个残差块的输入为x，上述两个卷积层和ReLU层将该输入映射为f(x)，最后以f(x)+x作为残差块的输出。
4.根据权利要求1所述的基于多分支卷积神经网络的压缩视频超分辨率重建方法，其特征在于，所述卷积层的输出以周期筛选的方式得到上采样的图像，包括：设卷积层的输出为一个H×W×r2的特征图，取坐标为(x,y)位置所有通道的r2个元素形成一个向量，依次取该向量的r个元素作为矩阵的一行，共r行形成一个r×r大小的矩阵，置于上采样图像中的(rx,ry)位置；对特征图的所有坐标位置重复上述过程形成上采样图像。
5.根据权利要求1所述的基于多分支卷积神经网络的压缩视频超分辨率重建方法，其特征在于，所述多分支卷积神经网络的各个层次的参数以学习的方式确定，包括：
A、准备训练样本：设I为压缩视频中的当前解码帧，Io是与I对应的未经压缩编码的原始图像，Ip为构建的重建图像，用于训练多分支卷积神经网络的样本集中的第i个样本形如其中，/>和yi分别为来自I、Ip和Io中的相同位置，且大小相同的图像块；
B、训练：批量加载训练样本集中的样本，将输入到所述第二分支网络和第三分支网络，/>输入到第一分支网络，按如下的优化过程寻求最优的网络参数：
其中为由多分支卷积神经网络产生的对应/>的输出，||.||1表示1范数；训练过程中，以Adam优化算法更新网络各层的权值，以分段下降的方式调整学习率，具体地，将总的训练周期数分为四个阶段，后一个阶段的学习率等于前一个阶段的学习率的二分之一。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110718467.XA CN113822801B (zh) | 2021-06-28 | 2021-06-28 | 基于多分支卷积神经网络的压缩视频超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110718467.XA CN113822801B (zh) | 2021-06-28 | 2021-06-28 | 基于多分支卷积神经网络的压缩视频超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113822801A CN113822801A (zh) | 2021-12-21 |
| CN113822801B true CN113822801B (zh) | 2023-08-18 |
Family
ID=78924108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110718467.XA Active CN113822801B (zh) | 2021-06-28 | 2021-06-28 | 基于多分支卷积神经网络的压缩视频超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113822801B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114913072A (zh) * | 2022-05-16 | 2022-08-16 | 中国第一汽车股份有限公司 | 图像的处理方法、装置、存储介质和处理器 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108012157A (zh) * | 2017-11-27 | 2018-05-08 | 上海交通大学 | 用于视频编码分数像素插值的卷积神经网络的构建方法 |
| CN109862370A (zh) * | 2017-11-30 | 2019-06-07 | 北京大学 | 视频超分辨率处理方法及装置 |
| CN111866521A (zh) * | 2020-07-09 | 2020-10-30 | 浙江工商大学 | 一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009087641A2 (en) * | 2008-01-10 | 2009-07-16 | Ramot At Tel-Aviv University Ltd. | System and method for real-time super-resolution |
-
2021
- 2021-06-28 CN CN202110718467.XA patent/CN113822801B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108012157A (zh) * | 2017-11-27 | 2018-05-08 | 上海交通大学 | 用于视频编码分数像素插值的卷积神经网络的构建方法 |
| CN109862370A (zh) * | 2017-11-30 | 2019-06-07 | 北京大学 | 视频超分辨率处理方法及装置 |
| CN111866521A (zh) * | 2020-07-09 | 2020-10-30 | 浙江工商大学 | 一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113822801A (zh) | 2021-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11153566B1 (en) | Variable bit rate generative compression method based on adversarial learning | |
| Fränti et al. | Compression of digital images by block truncation coding: a survey | |
| US8223837B2 (en) | Learning-based image compression | |
| CN108900848B (zh) | 一种基于自适应可分离卷积的视频质量增强方法 | |
| CN107645662B (zh) | 一种彩色图像压缩方法 | |
| CN109903351B (zh) | 基于卷积神经网络和传统编码相结合的图像压缩方法 | |
| Islam et al. | Image compression with recurrent neural network and generalized divisive normalization | |
| EP4365820A1 (en) | Video super-resolution network, and video super-resolution, encoding and decoding processing method and device | |
| CN113066022B (zh) | 一种基于高效时空信息融合的视频比特增强方法 | |
| CN115131675A (zh) | 一种基于参考影像纹理迁移的遥感影像压缩方法及*** | |
| JP2000295628A (ja) | 画像デジタル化のシーケンスにおけるモーションを表わす方法、画像に関するデータを処理する方法、画像を処理する方法、エンコーダ、デコーダ、モーションを表わす装置および符複号器 | |
| US20040032987A1 (en) | Method for estimating motion by referring to discrete cosine transform coefficients and apparatus therefor | |
| CN113822801B (zh) | 基于多分支卷积神经网络的压缩视频超分辨率重建方法 | |
| Wang et al. | A customized deep network based encryption-then-lossy-compression scheme of color images achieving arbitrary compression ratios | |
| Zhao et al. | Learned image compression using adaptive block-wise encoding and reconstruction network | |
| CN115665413A (zh) | 图像压缩最优量化参数的估计方法 | |
| CN116012272A (zh) | 一种基于重建流场的压缩视频质量增强方法 | |
| CN110234011B (zh) | 一种视频压缩方法及*** | |
| Kamble et al. | Quadtree partitioning and extended weighted finite automata-based fractal colour video coding | |
| Prantl | Image compression overview | |
| Le et al. | Inr-mdsqc: Implicit neural representation multiple description scalar quantization for robust image coding | |
| CN115358954B (zh) | 一种注意力引导的特征压缩方法 | |
| CN117459737B (zh) | 一种图像预处理网络的训练方法和图像预处理方法 | |
| WO2024077772A1 (en) | Method and system for image data processing | |
| Bonanno et al. | A Medical Video Coding Scheme with Preserved Diagnostic Quality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |