CN114363617A - 一种网络轻量级视频流传输方法、***及设备 - Google Patents
一种网络轻量级视频流传输方法、***及设备 Download PDFInfo
- Publication number
- CN114363617A CN114363617A CN202210266889.2A CN202210266889A CN114363617A CN 114363617 A CN114363617 A CN 114363617A CN 202210266889 A CN202210266889 A CN 202210266889A CN 114363617 A CN114363617 A CN 114363617A
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- key
- resolution
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000005540 biological transmission Effects 0.000 title claims abstract description 17
- 238000005070 sampling Methods 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 22
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 230000003321 amplification Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 230000007787 long-term memory Effects 0.000 claims description 7
- 230000015654 memory Effects 0.000 claims description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 7
- 230000006403 short-term memory Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 230000003139 buffering effect Effects 0.000 claims description 5
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 101100001673 Emericella variicolor andH gene Proteins 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims description 2
- 238000004321 preservation Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 230000008859 change Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种网络轻量级视频流传输方法、***及设备，编码端将原始视频进行空间分辨率下采样，然后对降分辨率视频进行编码，具体包含关键帧判断、视频下采样、关键帧编码、非关键帧编码、码流复用五个步骤；解码端对解码视频通过超分辨率重建恢复视频应有的空间分辨率，具体包含码流解复用、视频解码、视频超分辨率重建三个步骤及一个视频帧延时缓冲区。本发明通过帧间运动复杂度判断关键帧，通过边缘保持的下采样对视频帧进行空间抽样，通过视频超分辨率重建网络重构高分辨率视频帧。本发明基本不牺牲视频清晰度，但显著降低了视频流的数据量，有利于压缩视频的网络传输。
Description
技术领域
本发明属于多媒体技术领域，涉及一种网络视频流传输方法、***及设备，具体涉及一种网络轻量级视频流传输方法、***及设备。
背景技术
突如其来的新冠肺炎使得全球多数国家采取社会隔离措施，人们的生活、工作、学习、社交突然转移到网络空间，导致网络流量暴增，给远程可视化办公、网课等依赖严重视频的应用带来挑战。由于社会已经习惯和享受到了网络空间工作和学习的优点和便捷性，未来网络化远程办公、学习、会议、社交将成为一种常态，随之而来的因网络长期处于重载引起的流量拥塞也会成为一种常态。
提高视频流传输效率的有效途径就是视频编码。自80年代以来，国际标准组织制定了系列视频编码标准，形成了以块为单元的预测加变换的混合编码框架。然而，视频编码技术的压缩效率差不多十年才能提高一倍，国际视频编码标准的演进周期也需要十年。例如，从2003年发布H.264标准到2013年发布H.265标准，经历了整整十年。可见，编码效率的进步明显跟不上视频数据量的增长趋势，为此，必须为高负荷网络视频业务时代寻求新的解决之道。
图像超分辨率（Super-Resolution，SR）是指由一幅低分辨率图像或图像序列恢复出高分辨率图像的技术。当前基于深度学习的视频图像的超分辨率技术获得巨大成功。2017年，韩国首尔大学研发了一种增强型深度超分辨率网络，其性能表现超越了之前SR方法。同年，谷歌推出的RAISR（Rapid and Accurate Image Super-Resolution）技术，利用机器学习将低分辨率图像转化为高分辨率图像，能够在节省75%带宽的情况下效果达到甚至超过原图。2019年，华为推出了 HiSR （Hisilicon Super-Resolution）超分辨率技术，借助深度学习算法将低分辨率图片转化生成高清图片，并在移动端实现了快速预览高清图片的效果。
发明内容
本发明的目的在于基于超分辨率技术强大的图像细节重建能力，提供一种网络轻量级视频流传输方法、***及设备。首先通过空域下采样降低原始视频帧的空间分辨率，对下采样后的视频进行压缩使得压缩码流体量更小，然后通过超分辨率重建恢复视频帧原有的空间分辨率，从而在基本不牺牲视频清晰度的前提下显著减少带宽占用。
本发明的方法所采用的技术方案是：一种网络轻量级视频流传输方法，包括编码过程和解码过程；
所述编码过程，具体实现包括以下步骤：
步骤1：针对输入视频，进行关键帧判断；
当帧间运动复杂度C超过预设门限T时，则判断为关键帧，否则判断为非关键帧；
步骤2：针对关键帧，直接进行编码；针对非关键帧，首先进行下采样，然后结合运动矢量进行编码；
步骤3：对关键帧和非关键帧的压缩码流进行传输前的封装，使得接收端能够对二者进行区分；
所述解码过程，具体实现包括以下步骤：
步骤4：将关键帧与非关键帧的码流拆分；
步骤5：视频解码，获得关键帧与非关键帧；
解码的视频帧送入视频帧延时缓冲区缓存起来，用于供给视频超分辨率重建时需要的多个连续视频帧；同时，将解析出的运动矢量参数送入视频超分辨率重建网络中；
步骤6：利用视频超分辨率重建网络，进行视频超分辨率重建，获得超分辨率的非关键帧；
步骤7：根据步骤5解码得到的关键帧和步骤6中超分辨率的非关键帧，恢复出视频并输出。
本发明的***所采用的技术方案是：一种网络轻量级视频流传输***，包括编码端和解码端；
所述编码端，包括以下模块：
模块1，用于针对输入视频，进行关键帧判断；
当帧间运动复杂度C超过预设门限T时，则判断为关键帧，否则判断为非关键帧；
模块2，用于针对关键帧，直接进行编码；针对非关键帧，首先进行下采样，然后结合运动矢量进行编码；
模块3，用于对关键帧和非关键帧的压缩码流进行传输前的封装，使得接收端能够对二者进行区分；
所述解码端，包括以下模块：
模块4，用于将关键帧与非关键帧的码流拆分；
模块5，用于视频解码，获得关键帧与非关键帧；
解码的视频帧送入视频帧延时缓冲区缓存起来，用于供给视频超分辨率重建时需要的多个连续视频帧；同时，将解析出的运动矢量参数送入视频超分辨率重建网络中；
模块6，用于利用视频超分辨率重建网络，进行视频超分辨率重建，获得超分辨率的非关键帧；
模块7，用于根据模块5解码得到的关键帧和模块6中超分辨率的非关键帧，恢复出视频并输出。
本发明的设备所采用的技术方案是：一种网络轻量级视频流传输设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的网络轻量级视频流传输方法。
本发明的优点与积极效果：
（1）本发明通过将原始视频帧空间分辨率抽样后再编码，显著降低了压缩码流的体量，使得网络传输更流畅；同时，通过在解码端采取超分辨率重建恢复出原始分辨率，与直接编解码的传统方式相比，基本上不牺牲视频质量。
（2）本发明对下采样方法和视频超分辨率重建网络进行了独创设计，设计的边缘保持的下采样策略以及基于深度学习的超分辨率网络，具有优良的性能，从抽样和重建两个方面保障了目标边缘与纹理细节的还原质量。
附图说明
图1为本发明实施例的方法流程图；
图2为本发明实施例的视频超分辨率重建网络结构示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种网络轻量级视频流传输方法，包括编码过程和解码过程；
本实施例的编码过程，具体实现包括以下步骤：
步骤1：针对输入视频，进行关键帧判断；
当帧间运动复杂度C超过预设门限T时，则判断为关键帧，否则判断为非关键帧；
压缩视频的关键帧不涉及帧间预测，因而能阻止帧间预测误差的累积，提高视频解码还原质量。通常有两种开启关键帧编码的策略，定时关键帧和场景切换的强制关键帧。定时关键帧的定时间隔一般在10s；场景切换指视频画面是否出现大幅度剧烈运动。当发生场景切换时，帧间编码的效率并不高，不如采用帧内编码提高码流的容错性能，因此，场景切换时往往采用关键帧编码。场景切换的判断依据是帧间运动复杂度，含运动变化幅度和内容变化强度，运动变化幅度基于累计运动矢量衡量，内容变化强度则通过累计帧差衡量。为此，帧间运动复杂度C计算如下：
其中，N为16×16像素尺寸的宏块数目，xMV i 、yMV i 分别表示宏块的水平、竖直方向
运动矢量，SAD i 代表宏块的帧间运动估计误差，
为预设权重。
宏块的运动矢量和帧间误差通过现有的运动估计算法求取。运动矢量在非关键帧编码中也会用到，为了避免不必要的重复运动估计的计算代价，同时将运动矢量提供给非关键帧编码操作。
步骤2：针对关键帧，直接进行编码；针对非关键帧，首先进行下采样，然后结合运动矢量进行编码；
考虑到传统的下采样算法容易模糊物体边缘，对目标的清晰度损伤过大，本实施例采取一种图像边缘保持的下采样算法。
令f 0, f 1, f 2, f 3为空间上连续的一组像素，考察像素点f 0, f 1, f 2, f 3之间的相关性，将其分成两组I(f 0, f 1, f 2)和II(f 1, f 2, f 3), 分别求出它们的二阶差分如下：
将相邻3个点的二阶差分的绝对值作为衡量其相关性大小的标准， 绝对值越小，相关性越大，反之亦然。相关性越大，表明像素处在同质图像区域的可能性越大。因此，选用相关性大的近邻像素进行插值更为合理。基于这一原理，通过如下二阶插值公式计算插值像素I：
这里，t为插值像素点I与源像素点
间的距离，1≤t≤2；一阶差分
。
本实施例中，关键帧和非关键帧编码，采用成熟的H.264或H.265编码技术，其中关键帧对应的是编码标准中的帧内帧，非关键帧对应的是预测帧。关键帧用原始空间分辨率编码，非关键帧用降低的空间分辨率编码。非关键帧编码模块不再重复计算运动矢量，需要的运动矢量来自关键帧判断步骤。
步骤3：对关键帧和非关键帧的压缩码流进行传输前的封装，使得接收端能够对二者进行区分；本实施例在网络传输带宽资源紧张时，优先封装关键帧。
本实施例的解码过程，具体实现包括以下步骤：
步骤4：将关键帧与非关键帧的码流拆分；
本实施例将关键帧与非关键帧的码流拆分，便于后面对非关键帧进行解码及超分辨率重建，而对非关键帧则直接解码输出。
步骤5：视频解码，获得关键帧与非关键帧；
本实施例根据压缩码流的编码标准，执行对应标准的解码。解码的视频帧送入视频帧延时缓冲区缓存起来，用于供给视频超分辨率重建时需要的多个连续视频帧。同时，将视频解码器解析出的运动矢量参数送入视频超分辨率重建网络，以节省计算量。
本实施例的视频超分辨率重建网络负责恢复解码出的非关键帧的空间分辨率，以弥补编码端对非关键帧抽样引起的细节损失。采用基于深度学习的视频超分辨率方案，从一系列相邻的低分辨率帧重建出对应的高分辨率帧。
请见图2，本实施例的视频超分辨率重建网络，包括Bicubic上采样、运动估计层、运动补偿层、特征提取层、多记忆细节融合层、特征重构层、亚像素放大层、残差叠加操作。首先通过运动估计和运动补偿，将输入的低分辨率帧转换为补偿帧，接着对这些补偿帧依次执行特征提取，多记忆细节融合，特征重构和亚像素放大，最后将Bicubic上采样的帧与像素放大结果相加，得到重建的高分辨率帧。
本实施例的运动估计和补偿用于处理连续低分辨率帧之间的时间相关性。这里不执行新的运动估计，而是直接利用解码获得的运动矢量进行运动补偿，从而节省复杂运动估计的计算开销。
本实施例的特征提取功能采用残差块结构实现，这种残差块由一系列卷积层组成。过程描述如下：
其中，Conv n 表示残差块中的第n个卷积层，I n 和O n 代表第n个卷积层的输入和输出。残差块会保留来自先前卷积层的信息，并将其传递给所有后续的卷积层。特征重构中使用的残差块同样是特征提取残差块这种结构，但它们在网络中的位置不同，因而所起的作用也不同。
本实施例的多记忆细节融合功能采用多记忆残差块结构实现，这种残差块由一系列卷积长短期记忆层组成。当一个低分辨率帧通过残差块时，卷积长短期记忆层的细胞状态将保留该帧的特征图信息；当下一帧进入残差块时，它将接收从上一帧继承的特征图。通过这种方式，卷积长短期记忆层学会该记住哪部分有效信息，以及该遗忘哪些无效信息。卷积长短期记忆层的处理过程表示为：
其中，i t ,f t , C t , o t 以及H t 分别代表输入门、遗忘门、细胞状态、输出门以及隐状态；X t 表示特征图，∘表示哈达玛乘积；I(⋅), F(⋅), C(⋅)以及O(⋅)分别表示输入门、遗忘门、细胞状态以及输出门的函数，由标准的长短期记忆网络LSTM定义，tanh(⋅)表示双曲正切激活函数；
一个多记忆残差块包含3个卷积长短期记忆层，每层均采用3×3大小的卷积核，但数量不同。由于卷积长短期记忆层会消耗较大的GPU显存（大约是普通卷积层的4倍），所以首先将输入的特征图从64层映射到16层，以降低GPU显存成本和计算复杂度。
卷积神经网络中，最常见的放大特征图的方法是卷积转置，Caballero等人提出了一种亚像素放大的方法来放大特征图。本实施例选择亚像素放大，因为这种方法需要较少的计算成本，并且在类似的网络中性能更好。
步骤6：利用视频超分辨率重建网络，进行视频超分辨率重建，获得超分辨率的非关键帧；
步骤7：根据步骤5解码得到的关键帧和步骤6中超分辨率的非关键帧，恢复出视频并输出。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (10)
1.一种网络轻量级视频流传输方法，其特征在于，包括编码过程和解码过程；
所述编码过程，具体实现包括以下步骤：
步骤1：针对输入视频，进行关键帧判断；
当帧间运动复杂度C超过预设门限T时，则判断为关键帧，否则判断为非关键帧；
步骤2：针对关键帧，直接进行编码；针对非关键帧，首先进行下采样，然后结合运动矢量进行编码；
步骤3：对关键帧和非关键帧的压缩码流进行传输前的封装，使得接收端能够对二者进行区分；
所述解码过程，具体实现包括以下步骤：
步骤4：将关键帧与非关键帧的码流拆分；
步骤5：视频解码，获得关键帧与非关键帧；
解码的视频帧送入视频帧延时缓冲区缓存起来，用于供给视频超分辨率重建时需要的多个连续视频帧；同时，将解析出的运动矢量参数送入视频超分辨率重建网络中；
步骤6：利用视频超分辨率重建网络，进行视频超分辨率重建，获得超分辨率的非关键帧；
步骤7：根据步骤5解码得到的关键帧和步骤6中超分辨率的非关键帧，恢复出视频并输出。
2.根据权利要求1所述的网络轻量级视频流传输方法，其特征在于：步骤1中所述帧间
运动复杂度
，其中，N为16×16像素尺寸
的宏块数目，xMV i 、yMV i 分别表示宏块的水平、竖直方向运动矢量，SAD i 代表宏块的帧间运动
估计误差，
为预设权重。
3.根据权利要求1所述的网络轻量级视频流传输方法，其特征在于：步骤2中，所述针对非关键帧进行下采样，采用的是图像边缘保持的下采样方法，首先令f 0, f 1, f 2, f 3为空间上连续的一组像素，考察像素点f 0, f 1, f 2, f 3之间的相关性，将其分成两组I(f 0, f 1, f 2)和II(f 1, f 2, f 3), 分别求出它们的二阶差分如下：
将相邻3个点的二阶差分的绝对值作为衡量其相关性大小的标准， 绝对值越小，相关性越大，反之亦然；选用相关性大的近邻像素进行插值，通过如下二阶插值公式计算插值像素I：
这里，t为插值像素点I与源像素点
间的距离，1≤t≤2；一阶差分
。
4.根据权利要求1所述的网络轻量级视频流传输方法，其特征在于：步骤2中，针对非关键帧首先进行下采样，然后结合运动矢量进行编码；其中所述运动矢量，来自关键帧判断步骤。
5.根据权利要求1所述的网络轻量级视频流传输方法，其特征在于：步骤5中所述视频超分辨率重建网络，包括Bicubic上采样、运动估计层、运动补偿层、特征提取层、多记忆细节融合层、特征重构层、亚像素放大层、残差叠加操作；首先通过运动估计和运动补偿，将输入的低分辨率帧转换为补偿帧，接着对这些补偿帧依次执行特征提取，多记忆细节融合，特征重构和亚像素放大，最后将Bicubic上采样的帧与像素放大结果相加，得到重建的高分辨率帧。
6.根据权利要求5所述的网络轻量级视频流传输方法，其特征在于：所述将输入的低分辨率帧转换为补偿帧，是直接利用解码获得的运动矢量进行运动补偿。
7.根据权利要求5所述的网络轻量级视频流传输方法，其特征在于：所述特征提取，是采用残差块结构实现，其中残差块由一系列卷积层组成；具体过程如下：
其中，Conv n 表示残差块中的第n个卷积层，I n 和O n 代表第n个卷积层的输入和输出。
8.根据权利要求5所述的网络轻量级视频流传输方法，其特征在于：所述多记忆细节融合，采用多记忆残差块结构实现，其中多记忆残差块由一系列卷积长短期记忆层组成；当一个低分辨率帧通过残差块时，卷积长短期记忆层的细胞状态将保留该帧的特征图信息；当下一帧进入残差块时，它将接收从上一帧继承的特征图；卷积长短期记忆层的处理过程表示为：
其中，i t ,f t , C t , o t 以及H t 分别代表输入门、遗忘门、细胞状态、输出门以及隐状态；X t 表示特征图，∘表示哈达玛乘积；I(⋅), F(⋅), C(⋅)以及O(⋅)分别表示输入门、遗忘门、细胞状态以及输出门的函数，由标准的长短期记忆网络LSTM定义，tanh(⋅)表示双曲正切激活函数；
一个多记忆残差块包含3个卷积长短期记忆层，每层均采用3×3大小的卷积核。
9.一种网络轻量级视频流传输***，其特征在于，包括编码端和解码端；
所述编码端，包括以下模块：
模块1，用于针对输入视频，进行关键帧判断；
当帧间运动复杂度C超过预设门限T时，则判断为关键帧，否则判断为非关键帧；
模块2，用于针对关键帧，直接进行编码；针对非关键帧，首先进行下采样，然后结合运动矢量进行编码；
模块3，用于对关键帧和非关键帧的压缩码流进行传输前的封装，使得接收端能够对二者进行区分；
所述解码端，包括以下模块：
模块4，用于将关键帧与非关键帧的码流拆分；
模块5，用于视频解码，获得关键帧与非关键帧；
解码的视频帧送入视频帧延时缓冲区缓存起来，用于供给视频超分辨率重建时需要的多个连续视频帧；同时，将解析出的运动矢量参数送入视频超分辨率重建网络中；
模块6，用于利用视频超分辨率重建网络，进行视频超分辨率重建，获得超分辨率的非关键帧；
模块7，用于根据模块5解码得到的关键帧和模块6中超分辨率的非关键帧，恢复出视频并输出。
10.一种网络轻量级视频流传输设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的网络轻量级视频流传输方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210266889.2A CN114363617A (zh) | 2022-03-18 | 2022-03-18 | 一种网络轻量级视频流传输方法、***及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210266889.2A CN114363617A (zh) | 2022-03-18 | 2022-03-18 | 一种网络轻量级视频流传输方法、***及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114363617A true CN114363617A (zh) | 2022-04-15 |
Family
ID=81094906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210266889.2A Pending CN114363617A (zh) | 2022-03-18 | 2022-03-18 | 一种网络轻量级视频流传输方法、***及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114363617A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115361582A (zh) * | 2022-07-19 | 2022-11-18 | 鹏城实验室 | 一种视频实时超分辨率处理方法、装置、终端及存储介质 |
| CN116523758A (zh) * | 2023-07-03 | 2023-08-01 | 清华大学 | 基于关键帧的端云联合超分辨率视频重建方法及*** |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101710993A (zh) * | 2009-11-30 | 2010-05-19 | 北京大学 | 基于块的自适应超分辨率视频处理方法及*** |
| CN101938656A (zh) * | 2010-09-27 | 2011-01-05 | 上海交通大学 | 基于关键帧超分辨率重建的视频编解码*** |
| CN102800047A (zh) * | 2012-06-20 | 2012-11-28 | 天津工业大学 | 一种单帧图像超分辨率重构方法 |
| CN103632359A (zh) * | 2013-12-13 | 2014-03-12 | 清华大学深圳研究生院 | 一种视频超分辨率处理方法 |
| CN103813174A (zh) * | 2012-11-12 | 2014-05-21 | 腾讯科技（深圳）有限公司 | 一种混合分辨率编解码方法和装置 |
| CN103905769A (zh) * | 2012-12-26 | 2014-07-02 | 苏州赛源微电子有限公司 | 无本地帧缓存的视频去隔行算法及解决方案 |
| US20170334066A1 (en) * | 2016-05-20 | 2017-11-23 | Google Inc. | Machine learning methods and apparatus related to predicting motion(s) of object(s) in a robot's environment based on image(s) capturing the object(s) and based on parameter(s) for future robot movement in the environment |
| CN109068134A (zh) * | 2018-09-17 | 2018-12-21 | 鲍金龙 | 视频编码方法及装置 |
| CN109118431A (zh) * | 2018-09-05 | 2019-01-01 | 武汉大学 | 一种基于多记忆及混合损失的视频超分辨率重建方法 |
| CN110349090A (zh) * | 2019-07-16 | 2019-10-18 | 合肥工业大学 | 一种基于牛顿二阶插值的图像缩放方法 |
| CN111726614A (zh) * | 2019-03-18 | 2020-09-29 | 四川大学 | 一种基于空域下采样与深度学习重建的hevc编码优化方法 |
| CN113129212A (zh) * | 2019-12-31 | 2021-07-16 | 深圳市联合视觉创新科技有限公司 | 图像超分辨率重建方法、装置、终端设备及存储介质 |
| WO2021164176A1 (zh) * | 2020-02-20 | 2021-08-26 | 北京大学 | 基于深度学习的端到端视频压缩方法、***及存储介质 |
| CN113674151A (zh) * | 2021-07-28 | 2021-11-19 | 南京航空航天大学 | 一种基于深度神经网络的图像超分辨率重建方法 |
-
2022
- 2022-03-18 CN CN202210266889.2A patent/CN114363617A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101710993A (zh) * | 2009-11-30 | 2010-05-19 | 北京大学 | 基于块的自适应超分辨率视频处理方法及*** |
| CN101938656A (zh) * | 2010-09-27 | 2011-01-05 | 上海交通大学 | 基于关键帧超分辨率重建的视频编解码*** |
| CN102800047A (zh) * | 2012-06-20 | 2012-11-28 | 天津工业大学 | 一种单帧图像超分辨率重构方法 |
| CN103813174A (zh) * | 2012-11-12 | 2014-05-21 | 腾讯科技（深圳）有限公司 | 一种混合分辨率编解码方法和装置 |
| CN103905769A (zh) * | 2012-12-26 | 2014-07-02 | 苏州赛源微电子有限公司 | 无本地帧缓存的视频去隔行算法及解决方案 |
| CN103632359A (zh) * | 2013-12-13 | 2014-03-12 | 清华大学深圳研究生院 | 一种视频超分辨率处理方法 |
| US20170334066A1 (en) * | 2016-05-20 | 2017-11-23 | Google Inc. | Machine learning methods and apparatus related to predicting motion(s) of object(s) in a robot's environment based on image(s) capturing the object(s) and based on parameter(s) for future robot movement in the environment |
| CN109118431A (zh) * | 2018-09-05 | 2019-01-01 | 武汉大学 | 一种基于多记忆及混合损失的视频超分辨率重建方法 |
| CN109068134A (zh) * | 2018-09-17 | 2018-12-21 | 鲍金龙 | 视频编码方法及装置 |
| CN111726614A (zh) * | 2019-03-18 | 2020-09-29 | 四川大学 | 一种基于空域下采样与深度学习重建的hevc编码优化方法 |
| CN110349090A (zh) * | 2019-07-16 | 2019-10-18 | 合肥工业大学 | 一种基于牛顿二阶插值的图像缩放方法 |
| CN113129212A (zh) * | 2019-12-31 | 2021-07-16 | 深圳市联合视觉创新科技有限公司 | 图像超分辨率重建方法、装置、终端设备及存储介质 |
| WO2021164176A1 (zh) * | 2020-02-20 | 2021-08-26 | 北京大学 | 基于深度学习的端到端视频压缩方法、***及存储介质 |
| CN113674151A (zh) * | 2021-07-28 | 2021-11-19 | 南京航空航天大学 | 一种基于深度神经网络的图像超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| Z. WANG ET AL.: "Multi-Memory Convolutional Neural Network for Video Super-Resolution", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| 刘政林,肖建平,邹雪城,郭旭: "基于边缘的实时图像缩放算法研究", 《中国图象图形学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115361582A (zh) * | 2022-07-19 | 2022-11-18 | 鹏城实验室 | 一种视频实时超分辨率处理方法、装置、终端及存储介质 |
| CN115361582B (zh) * | 2022-07-19 | 2023-04-25 | 鹏城实验室 | 一种视频实时超分辨率处理方法、装置、终端及存储介质 |
| CN116523758A (zh) * | 2023-07-03 | 2023-08-01 | 清华大学 | 基于关键帧的端云联合超分辨率视频重建方法及*** |
| CN116523758B (zh) * | 2023-07-03 | 2023-09-19 | 清华大学 | 基于关键帧的端云联合超分辨率视频重建方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019242491A1 (zh) | 视频编码、解码方法、装置、计算机设备和存储介质 | |
| CN108833918B (zh) | 视频编码方法、解码方法、装置、计算机设备及存储介质 | |
| KR100913088B1 (ko) | 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치 | |
| KR100703788B1 (ko) | 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더 | |
| CN110493596B (zh) | 一种基于神经网络的视频编码***及方法 | |
| CN112203093B (zh) | 一种基于深度神经网络的信号处理方法 | |
| CN101511017B (zh) | 基于网格的立体视频空间可分级编码器及其编码方法 | |
| CN110087087A (zh) | Vvc帧间编码单元预测模式提前决策及块划分提前终止方法 | |
| CN114363617A (zh) | 一种网络轻量级视频流传输方法、***及设备 | |
| WO2021036795A1 (zh) | 视频超分辨率处理方法及装置 | |
| MX2007000254A (es) | Metodo y aparato para utilizar tecnicas de conversion ascendente de indice de cuadro en codificacion de video que se puede escalar. | |
| WO2022068682A1 (zh) | 图像处理方法及装置 | |
| CN101860748A (zh) | 基于分布式视频编码的边信息生成***及方法 | |
| SG183888A1 (en) | Method and device for video predictive encoding | |
| CN113810763A (zh) | 一种视频处理方法、设备及存储介质 | |
| WO2022067805A1 (zh) | 图像预测方法、编码器、解码器以及计算机存储介质 | |
| CN111726614A (zh) | 一种基于空域下采样与深度学习重建的hevc编码优化方法 | |
| CN117730338A (zh) | 视频超分辨网络及视频超分辨、编解码处理方法、装置 | |
| CN114202463B (zh) | 面向云端融合的视频超分辨率方法及*** | |
| WO2011063747A1 (zh) | 视频编码方法及装置、视频解码方法及装置 | |
| JP5860337B2 (ja) | 映像符号化方法及び装置 | |
| CN112929629B (zh) | 一种智能虚拟参考帧生成方法 | |
| CN116437102B (zh) | 可学习通用视频编码方法、***、设备及存储介质 | |
| KR100883591B1 (ko) | 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치 | |
| CN112601095A (zh) | 一种视频亮度和色度分数插值模型的创建方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220415 |