CN107396124A - 基于深度神经网络的视频压缩方法 - Google Patents

基于深度神经网络的视频压缩方法 Download PDF

Info

Publication number
CN107396124A
CN107396124A CN201710758241.6A CN201710758241A CN107396124A CN 107396124 A CN107396124 A CN 107396124A CN 201710758241 A CN201710758241 A CN 201710758241A CN 107396124 A CN107396124 A CN 107396124A
Authority
CN
China
Prior art keywords
video
neural network
residual error
neutral net
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710758241.6A
Other languages
English (en)
Other versions
CN107396124B (zh
Inventor
马展
陈彤
刘浩杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201710758241.6A priority Critical patent/CN107396124B/zh
Publication of CN107396124A publication Critical patent/CN107396124A/zh
Application granted granted Critical
Publication of CN107396124B publication Critical patent/CN107396124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种基于深度神经网络的视频压缩方法，步骤如下：收集并整理视频图像数据集，构建神经网络训练集、测试集和交叉验证集；建立多层的深度神经网络；对于帧间预测，利用运动估计算法寻找最佳匹配块，并计算残差和帧间预测的均方差；预测完成后将残差作为新的训练数据训练残差编码网络，残差网络模型包括帧内残差和帧间残差；预测和残差神经网络的输出数据经过量化和无损熵编码一起作为固定长度码流的压缩数据；解码端通过与编码端对称的神经网络将压缩数据还原，并重建恢复出压缩后图像。本发明的视频压缩方法，与传统H.264视频编码方法在大量测试视频序列上的同等比较中，可以在相同质量上平均节省26％左右的码率。

Description

基于深度神经网络的视频压缩方法
技术领域
本发明涉及视频编码领域，特别涉及一种基于深度神经网络的视频压缩方法。
背景技术
近年来，人工神经网络发展到了深度学习(deep learning)阶段。深度学习试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法，其强大表达能力使得其在各个机器学习的任务上取到了最好的效果，在视频和图像处理上的表现在目前也超过了其它方法。
深度学习使用了分层抽象的思想，高层的概念通过低层的概念学习得到。这一分层结构通常使用贪婪逐层训练算法构建而成，并从中选取有助于机器学习的有效特征，很多深度学习算法都是以无监督学习的形式出现的，因此这些算法能被应用于其他算法无法企及的无标签数据，这一类数据比有标签的数据更为丰富，也更容易获得，这一点成为深度学习的重要优势。
视频压缩在网络传输过程中的本地存储中是一个很重要的处理方法。对于那些每一帧为YUV420格式的原始视频数据，没有任何的有线网络能满足实时传输这样的视频内容。因此视频编码的标准化由20世纪80年代开始，到如今技术较为成熟的H.264和HEVC技术，都能在同等质量下减少更多的码率，提高传输的效率。
而由于目前深度学习在图像和视频处理上的优秀表现，结合深度学习中Autoencoder的基本思路做图像和视频压缩，用深度学习的方法来提供一个新的视频编码和解码的方法，对于以后的视频数据压缩领域发展是一个很好的开始工作，也便于未来在视频压缩方向上，神经网络的新方案在整个***的完善过程中有着比传统方法更好的表现和前景。
发明内容
为此，本发明的目的是结合深度学习中神经网络的方法，提出一种基于深度神经网络的视频压缩方法。
本发明采用的技术方案为：
基于深度神经网络的视频压缩方法，包括如下步骤：
S1，收集和整理规范的高清视频图像数据集，构建神经网络训练集、测试集和交叉验证集；
S2，建立多层的预测神经网络和残差神经网络：将所述神经网络训练集中的图像分为无交叠的M×N块，用于训练视频编码的预测模型，预测模型包括帧内预测模式和帧间预测模式；
S3，对于帧间预测模式，利用运动估计算法，在视频的前一帧的对应区域内寻找最佳匹配块，并计算残差和帧间预测的均方差；
S4，根据所述均方差以及设定的阈值来选择预测模型的模式为帧内预测模式或帧间预测模式；
S5，预测模式选择完成后，将残差作为新数据训练残差编码网络，保存训练模型，训练模型包括帧内残差模式和帧间残差模式；
S6，最终预测神经网络和残差神经网络的输出数据经过量化和无损熵编码一起作为固定长度码流的压缩数据；
S7，解码端通过与编码端对称的神经网络将步骤S6中的压缩数据还原成M×N块，并重建恢复出压缩后的图像。
所述步骤S3中，首先，设置一个滑动的M×N的窗口，在视频的前一帧对应的局部区域内挑选出均方误差最小的块区域作为最佳匹配块，同时兼顾结果和复杂度，设定(M+a)×(N+a)的搜索范围，进行运动估计算法，计算帧间预测的均方差，其中M和N为块尺寸，a为向外搜索的范围。
所述步骤S4中，设定帧内预测模式和帧间预测模式选择的阈值，若均方差小于阈值，则保留原有的帧间预测模式；若均方差大于阈值，则选择帧内预测模式。
所述步骤S7中，解码端的神经网络同编码端的神经网络对称，将固定长度码流的压缩数据通过解码端还原成M×N的固定块，并最后重新拼接成原图像，即为恢复的压缩之后的图像。
本发明提出了一种新的视频压缩方法，与现有H.264视频编码方法在大量测试视频序列上的同等比较中，在保证同等计算复杂度的前提下，在相同视频输出质量上可以平均节省26％左右的码率。此外，由于神经网络模型具有可更新迭代的属性，本发明相比于传统的H.264视频编码方法具有更好的可扩展性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性的劳动前提下，还可以根据这些附图获得其他的附图。
图1是基于深度神经网络的视频压缩方法的流程图。
图2是基于深度神经网络的视频压缩方法的***图。
图3是传统视频编码方法的***图。
图4是量化后的(a)帧间系数的分布图和(b)帧内系数的分布图。
图5是本发明基于深度神经网络的视频压缩方法同传统视频编码H.264方法在416x240分辨率序列上的性能对比图。
图6是本发明基于深度神经网络的视频压缩方法同传统视频编码H.264方法在832x480分辨率序列上的性能对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方法做进一步地详细描述。
本实施例的一种基于深度神经网络的视频压缩方法，步骤如下：
(1)首先收集和整理所需高清图像(包括柯达无损图片库、ImageNet图片库等)，整理规范的视频图像数据集，构建神经网络训练数据集、测试数据集和交叉验证集。
(2)建立多层的预测神经网络和残差神经网络：将图像分割成无交叠的M×N的块，训练视频编码的预测模型主要为帧内预测模式和帧间预测模式。
(3)对于帧间预测模式，利用运动估计算法，在视频的前一帧的对应区域内寻找最佳匹配块，并计算残差和帧间预测的均方差。
(4)根据均方差以及设定的阈值来选择预测模型的模式为帧内预测或帧间预测。
(5)预测模式选择完成后，将残差作为新数据训练残差编码网络，保存训练模型，训练模型包括帧内残差模式和帧间残差模式。
(6)最终预测和残差神经网络的输出数据经过量化和无损熵编码一起作为固定长度码流的压缩数据。
(7)解码端通过与编码端对称的神经网络将压缩数据还原成M×N块，并重建压缩后的图像。
所述步骤(1)中，数据集的整理对整个神经网络的训练有着很大影响，数据量、数据特征等因素都影响着神经网络最终模型对于数据的拟合程度，在训练过程中生成实时的Loss与时间T的曲线，在曲线在收敛趋于平缓稳定后保存模型。
所述步骤(2)中，设计多层的深度神经网络，编解码端采用对称结构，神经网络每层的滤波器尺寸和数量均经过充分调整以最大化性能。具体实现的细节中，以全连接为例，输入端数据经过归一化处理，中间层的激活函数针对本发明中需要量化输出的特性，选用适应于量化的激活函数(如sigmoid、tanh函数)，其余层的激活函数仍保持提高收敛速度、防止过拟合(如Relu函数)，梯度下降优化算法选用自适应优化器(如Adadelta)，经过充分验证，以上各项设置能够最大化网络性能。通过在步骤(1)中建立的数据集上进行充分训练，在其代价函数Loss值达到收敛后，保存训练模型，分别作为帧内预测模型和帧间预测模型。神经网络为网络的每一层根据特征数量设置不同的feature map数(以七层全连接网络为例，网络节点可为192-300-192-(中间节点)-192-300-192)，输出节点对于帧内预测模式、帧内残差模式、帧间残差模式各分配不同的中间层节点数，分别生成3种不同的神经网络模型。神经网络为对称结构，前N层作为神经网络的编码端，后N层(包括中间层)作为神经网络解码端。
所述步骤(3)中，运动估计算法的基本思想是将图像序列的每一帧分成许多互不重叠的宏块，并认为宏块内所有象素的位移量都相同，然后对每个宏块到参考帧某一给定特定搜索范围内根据一定的匹配准则找出与当前块最相似的块，即匹配块，匹配块与当前块的相对位移即为运动矢量。视频压缩的时候，只需保存运动矢量和残差数据就可以完全恢复出当前块。
一般运动估计方法如下：设t时刻的帧图像为当前帧f(x，y)，t′时刻的帧图像为参考帧f′(x，y)，参考帧在时间上可以超前或者滞后于当前帧，如图1所示，当t′<t时，称之为后向运动估计；当t′>t时，称之为前向运动估计。当在参考帧t′中搜索到当前帧t中的块的最佳匹配时，可以得到相应的运动场d(x；t，t+Δt)，即可得到当前帧的运动矢量。
本实施例中，首先设置一个滑动的M×N的窗口，在视频的前一帧对应的局部区域内挑选出均方误差最小的块区域作为最佳匹配块，同时兼顾结果和复杂度，设定(M+a)×(N+a)的搜索范围(M,N为块尺寸、a为向外搜索的范围，具体数值根据实际需求可随时调整)，进行运动估计算法，计算帧间预测的均方差(MSE)。
所述步骤(4)中，计算对应块之间的均方差，若均方差小于设定阈值(阈值根据实际需求设置)，则保留原有的帧间预测模式；若均方差大于阈值，则选择帧内预测模式。通过控制阈值大小，可以改变帧内预测和帧间预测的比例，从而控制图像适量和数据压缩的比例。
所述步骤(5)中，完成预测后，对于残差编码网络的训练，需要将残差数据整理并生成新的训练数据集、测试数据集和交叉验证集。由图4可见，残差数据的块间包含的信息量更集中，因此如所述步骤(2)中，帧内残差和帧间残差分别输出为不同长度的一维向量，其中帧间残差的输出长度短于帧内残差。接着把新的训练数据训练残差编码网络，保存训练模型，训练模型包括帧内残差模型和帧间残差模型。
所述步骤(6)中，提取神经网络中间层的输出，其最终输出的预测和残差系数先通过量化和无损熵编码一起形成固定长度码流，将固定长度码流保存作为最终的神经网络的压缩数据。量化方案采用标量量化的方法来减少预测信号和残差信号的比特率，并且对于帧内预测、帧间预测、帧间残差选用各自最优的量化级别。在标量量化过后，根据中间数据的分布情况，使用无损熵编码(以霍夫曼编码为例，一种可变长的无损编码模式)进一步压缩量化后的数据，得到最终的中间层输出的压缩数据。
所述步骤(7)中，解码端以同编码端对称的方式，通过解霍夫曼编码和后四层的神经网络，把P×1(P为中间层输出节点)的向量解码成M×N的块，最后通过拼接的方式重建出压缩后的图像。
以上各步骤的总体框架见图2，其与图3所示的传统视频编解码结构已经有大量的改变，最终的性能对比可见图5、图6，本发明的方法相比于传统视频编码H.264的方法平均获得了26％左右的码率节省。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改，等同替换，改进等，均应包含在本发明的保护范围之中。

Claims (4)

1.基于深度神经网络的视频压缩方法，其特征在于，包括如下步骤：
S1，收集和整理规范的高清视频图像数据集，构建神经网络训练集、测试集和交叉验证集；
S2，建立多层的预测神经网络和残差神经网络：将所述神经网络训练集中的图像分为无交叠的M×N块，用于训练视频编码的预测模型，预测模型包括帧内预测模式和帧间预测模式；
S3，对于帧间预测模式，利用运动估计算法，在视频的前一帧的对应区域内寻找最佳匹配块，并计算残差和帧间预测的均方差；
S4，根据所述均方差以及设定的阈值来选择预测模型的模式为帧内预测模式或帧间预测模式；
S5，预测模式选择完成后，将残差作为新数据训练残差编码网络，保存训练模型，训练模型包括帧内残差模式和帧间残差模式；
S6，最终预测神经网络和残差神经网络的输出数据经过量化和无损熵编码一起作为固定长度码流的压缩数据；
S7，解码端通过与编码端对称的神经网络将步骤S6中的压缩数据还原成M×N块，并重建恢复出压缩后的图像。
2.根据权利要求1所述的基于深度神经网络的视频压缩方法，其特征在于，所述步骤S3中，首先，设置一个滑动的M×N的窗口，在视频的前一帧对应的局部区域内挑选出均方误差最小的块区域作为最佳匹配块，同时兼顾结果和复杂度，设定(M+a)×(N+a)的搜索范围，进行运动估计算法，计算帧间预测的均方差，其中M和N为块尺寸，a为向外搜索的范围。
3.根据权利要求1所述的基于深度神经网络的视频压缩方法，其特征在于，所述步骤S4中，设定帧内预测模式和帧间预测模式选择的阈值，若均方差小于阈值，则保留原有的帧间预测模式；若均方差大于阈值，则选择帧内预测模式。
4.根据权利要求1所述的基于深度神经网络的视频压缩方法，其特征在于，所述步骤S7中，解码端的神经网络同编码端的神经网络对称，将固定长度码流的压缩数据通过解码端还原成M×N的固定块，并最后重新拼接成原图像，即为恢复的压缩之后的图像。
CN201710758241.6A 2017-08-29 2017-08-29 基于深度神经网络的视频压缩方法 Active CN107396124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710758241.6A CN107396124B (zh) 2017-08-29 2017-08-29 基于深度神经网络的视频压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710758241.6A CN107396124B (zh) 2017-08-29 2017-08-29 基于深度神经网络的视频压缩方法

Publications (2)

Publication Number Publication Date
CN107396124A true CN107396124A (zh) 2017-11-24
CN107396124B CN107396124B (zh) 2019-09-20

Family

ID=60346252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710758241.6A Active CN107396124B (zh) 2017-08-29 2017-08-29 基于深度神经网络的视频压缩方法

Country Status (1)

Country Link
CN (1) CN107396124B (zh)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038546A (zh) * 2017-12-29 2018-05-15 百度在线网络技术（北京）有限公司 用于压缩神经网络的方法和装置
CN108111873A (zh) * 2017-12-29 2018-06-01 国网山东省电力公司泰安供电公司 一种基于机器学习的gis图像数据传输方法
CN108134932A (zh) * 2018-01-11 2018-06-08 上海交通大学 基于卷积神经网络的视频编解码环路内滤波实现方法及***
CN108174225A (zh) * 2018-01-11 2018-06-15 上海交通大学 基于对抗生成网络的视频编解码环路内滤波实现方法及***
CN108289224A (zh) * 2017-12-12 2018-07-17 北京大学 一种视频帧预测方法、装置及自动补偿神经网络
CN108960333A (zh) * 2018-07-12 2018-12-07 西安电子科技大学 基于深度学习的高光谱图像无损压缩方法
CN109451308A (zh) * 2018-11-29 2019-03-08 北京市商汤科技开发有限公司 视频压缩处理方法及装置、电子设备及存储介质
CN109657482A (zh) * 2018-10-26 2019-04-19 阿里巴巴集团控股有限公司 一种数据有效性的验证方法和装置
CN109919864A (zh) * 2019-02-20 2019-06-21 重庆邮电大学 一种基于稀疏去噪自编码网络的图像压缩感知方法
CN109996083A (zh) * 2017-12-29 2019-07-09 杭州海康威视数字技术股份有限公司 帧内预测方法及装置
CN110062239A (zh) * 2019-03-18 2019-07-26 杭州师范大学 一种用于视频编码的参考帧选择方法及装置
WO2019201239A1 (en) * 2018-04-17 2019-10-24 Mediatek Inc. Method and apparatus of neural network for video coding
CN110401836A (zh) * 2018-04-25 2019-11-01 杭州海康威视数字技术股份有限公司 一种图像解码、编码方法、装置及其设备
CN110493596A (zh) * 2019-09-02 2019-11-22 西北工业大学 一种基于神经网络的视频编码框架
WO2019228082A1 (zh) * 2018-05-29 2019-12-05 北京大学 用于深度神经网络频繁传输的压缩方法及***
CN110557646A (zh) * 2019-08-21 2019-12-10 天津大学 一种智能视点间的编码方法
CN111147862A (zh) * 2020-01-03 2020-05-12 南京大学 一种基于目标编码的端到端图像压缩方法
CN111163320A (zh) * 2018-11-07 2020-05-15 合肥图鸭信息科技有限公司 一种视频压缩方法及***
CN111314698A (zh) * 2020-02-27 2020-06-19 浙江大华技术股份有限公司 一种图像编码处理方法及装置
CN111432211A (zh) * 2020-04-01 2020-07-17 济南浪潮高新科技投资发展有限公司 一种用于视频编码的残差信息压缩方法
CN111432208A (zh) * 2020-04-01 2020-07-17 济南浪潮高新科技投资发展有限公司 一种利用神经网络确定帧内预测模式的方法
CN111447449A (zh) * 2020-04-01 2020-07-24 北京奥维视讯科技有限责任公司 基于roi的视频编码方法和***以及视频传输和编码***
US20200272605A1 (en) * 2019-02-26 2020-08-27 Amir More Data Compression and Decompression Facilitated by Machine Learning
WO2020193517A1 (de) * 2019-03-28 2020-10-01 Robert Bosch Gmbh Verfahren und vorrichtung zum komprimieren von sensordaten
CN111901592A (zh) * 2020-06-30 2020-11-06 北京大学 预测编码神经网络权重更新方法及装置
WO2020232613A1 (zh) * 2019-05-20 2020-11-26 深圳先进技术研究院 一种视频处理方法、***、移动终端、服务器及存储介质
CN112329979A (zh) * 2020-09-23 2021-02-05 燕山大学 一种基于自适应深度残差网络的超短期风电功率预测方法
CN112508187A (zh) * 2020-10-22 2021-03-16 联想(北京)有限公司 一种机器学习模型压缩方法、装置及设备
CN112862060A (zh) * 2019-11-28 2021-05-28 南京大学 一种基于深度学习的内容缓存方法
WO2021140273A1 (en) * 2020-01-10 2021-07-15 Nokia Technologies Oy A cascaded prediction-transform approach for mixed machine-human targeted video coding
CN113132727A (zh) * 2019-12-30 2021-07-16 北京大学 一种基于图像生成的可伸缩机器视觉编码方法
CN113132732A (zh) * 2019-12-31 2021-07-16 北京大学 一种人机协同的视频编码方法及视频编码***
CN113574888A (zh) * 2019-01-22 2021-10-29 苹果公司 利用神经网络的预测性编码
CN113574887A (zh) * 2019-03-15 2021-10-29 交互数字Vc控股公司 基于低位移秩的深度神经网络压缩
CN113711594A (zh) * 2019-02-15 2021-11-26 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
CN113949882A (zh) * 2021-09-17 2022-01-18 镕铭微电子(济南)有限公司 基于卷积神经网络的视频编解码方法及装置
CN114157863A (zh) * 2022-02-07 2022-03-08 浙江智慧视频安防创新中心有限公司 基于数字视网膜的视频编码方法、***及存储介质
CN114494569A (zh) * 2022-01-27 2022-05-13 光线云(杭州)科技有限公司 基于轻量级神经网络和残差流式传输的云渲染方法和装置
CN115037933A (zh) * 2022-08-09 2022-09-09 浙江大华技术股份有限公司 一种帧间预测的方法及设备
WO2022261838A1 (zh) * 2021-06-15 2022-12-22 Oppo广东移动通信有限公司 残差编码和视频编码方法、装置、设备和***
CN115623207A (zh) * 2022-12-14 2023-01-17 鹏城实验室 一种基于多进多出技术的数据传输方法及相关设备
CN115623200A (zh) * 2018-06-19 2023-01-17 索尼互动娱乐股份有限公司 神经网络驱动型编解码器
CN117880529A (zh) * 2024-03-12 2024-04-12 深圳市诚立业科技发展有限公司 一种低延迟的无线网络短信视频传输方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020123155A1 (de) * 2019-09-24 2021-03-25 Samsung Electronics Co., Ltd. Quantisierungsverfahren eines künstlichen neuronalen Netzwerks und Operationsverfahren unter Verwendung eines künstlichen neuronalen Netzwerks
CN114501031B (zh) * 2020-11-13 2023-06-02 华为技术有限公司 一种压缩编码、解压缩方法以及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020150044A1 (en) * 2001-02-28 2002-10-17 Min Wu Dynamic network resource allocation using multimedia content features and traffic features
US7821673B2 (en) * 2004-09-09 2010-10-26 Imagination Technologies Limited Method and apparatus for removing visible artefacts in video images
CN105430415A (zh) * 2015-12-02 2016-03-23 宁波大学 一种3d-hevc深度视频帧内快速编码方法
CN105611303A (zh) * 2016-03-07 2016-05-25 京东方科技集团股份有限公司 图像压缩***、解压缩***、训练方法和装置、显示装置
CN106973293A (zh) * 2017-04-21 2017-07-21 中国科学技术大学 基于视差预测的光场图像编码方法
CN107018422A (zh) * 2017-04-27 2017-08-04 四川大学 基于深度卷积神经网络的静止图像压缩方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020150044A1 (en) * 2001-02-28 2002-10-17 Min Wu Dynamic network resource allocation using multimedia content features and traffic features
US7821673B2 (en) * 2004-09-09 2010-10-26 Imagination Technologies Limited Method and apparatus for removing visible artefacts in video images
CN105430415A (zh) * 2015-12-02 2016-03-23 宁波大学 一种3d-hevc深度视频帧内快速编码方法
CN105611303A (zh) * 2016-03-07 2016-05-25 京东方科技集团股份有限公司 图像压缩***、解压缩***、训练方法和装置、显示装置
CN106973293A (zh) * 2017-04-21 2017-07-21 中国科学技术大学 基于视差预测的光场图像编码方法
CN107018422A (zh) * 2017-04-27 2017-08-04 四川大学 基于深度卷积神经网络的静止图像压缩方法

Cited By (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108289224B (zh) * 2017-12-12 2019-10-29 北京大学 一种视频帧预测方法、装置及自动补偿神经网络
CN108289224A (zh) * 2017-12-12 2018-07-17 北京大学 一种视频帧预测方法、装置及自动补偿神经网络
CN108038546A (zh) * 2017-12-29 2018-05-15 百度在线网络技术（北京）有限公司 用于压缩神经网络的方法和装置
CN109996083A (zh) * 2017-12-29 2019-07-09 杭州海康威视数字技术股份有限公司 帧内预测方法及装置
CN108111873B (zh) * 2017-12-29 2020-04-14 国网山东省电力公司泰安供电公司 一种基于机器学习的gis图像数据传输方法
CN108111873A (zh) * 2017-12-29 2018-06-01 国网山东省电力公司泰安供电公司 一种基于机器学习的gis图像数据传输方法
CN108174225A (zh) * 2018-01-11 2018-06-15 上海交通大学 基于对抗生成网络的视频编解码环路内滤波实现方法及***
CN108134932A (zh) * 2018-01-11 2018-06-08 上海交通大学 基于卷积神经网络的视频编解码环路内滤波实现方法及***
WO2019201239A1 (en) * 2018-04-17 2019-10-24 Mediatek Inc. Method and apparatus of neural network for video coding
US11470356B2 (en) 2018-04-17 2022-10-11 Mediatek Inc. Method and apparatus of neural network for video coding
CN110401836A (zh) * 2018-04-25 2019-11-01 杭州海康威视数字技术股份有限公司 一种图像解码、编码方法、装置及其设备
WO2019228082A1 (zh) * 2018-05-29 2019-12-05 北京大学 用于深度神经网络频繁传输的压缩方法及***
CN115623200B (zh) * 2018-06-19 2023-05-12 索尼互动娱乐股份有限公司 神经网络驱动型编解码器
CN115623200A (zh) * 2018-06-19 2023-01-17 索尼互动娱乐股份有限公司 神经网络驱动型编解码器
CN108960333B (zh) * 2018-07-12 2021-12-17 西安电子科技大学 基于深度学习的高光谱图像无损压缩方法
CN108960333A (zh) * 2018-07-12 2018-12-07 西安电子科技大学 基于深度学习的高光谱图像无损压缩方法
CN109657482B (zh) * 2018-10-26 2022-11-18 创新先进技术有限公司 一种数据有效性的验证方法、装置和设备
CN109657482A (zh) * 2018-10-26 2019-04-19 阿里巴巴集团控股有限公司 一种数据有效性的验证方法和装置
CN111163320A (zh) * 2018-11-07 2020-05-15 合肥图鸭信息科技有限公司 一种视频压缩方法及***
CN109451308B (zh) * 2018-11-29 2021-03-09 北京市商汤科技开发有限公司 视频压缩处理方法及装置、电子设备及存储介质
US11290723B2 (en) 2018-11-29 2022-03-29 Beijing Sensetime Technology Development Co., Ltd. Method for video compression processing, electronic device and storage medium
CN109451308A (zh) * 2018-11-29 2019-03-08 北京市商汤科技开发有限公司 视频压缩处理方法及装置、电子设备及存储介质
CN113574888A (zh) * 2019-01-22 2021-10-29 苹果公司 利用神经网络的预测性编码
CN113711594A (zh) * 2019-02-15 2021-11-26 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
CN109919864A (zh) * 2019-02-20 2019-06-21 重庆邮电大学 一种基于稀疏去噪自编码网络的图像压缩感知方法
US11615057B2 (en) * 2019-02-26 2023-03-28 Amir More Data compression and decompression facilitated by machine learning
US20200272605A1 (en) * 2019-02-26 2020-08-27 Amir More Data Compression and Decompression Facilitated by Machine Learning
CN113574887A (zh) * 2019-03-15 2021-10-29 交互数字Vc控股公司 基于低位移秩的深度神经网络压缩
CN110062239B (zh) * 2019-03-18 2020-10-20 杭州师范大学 一种用于视频编码的参考帧选择方法及装置
CN110062239A (zh) * 2019-03-18 2019-07-26 杭州师范大学 一种用于视频编码的参考帧选择方法及装置
WO2020193517A1 (de) * 2019-03-28 2020-10-01 Robert Bosch Gmbh Verfahren und vorrichtung zum komprimieren von sensordaten
WO2020232613A1 (zh) * 2019-05-20 2020-11-26 深圳先进技术研究院 一种视频处理方法、***、移动终端、服务器及存储介质
CN110557646A (zh) * 2019-08-21 2019-12-10 天津大学 一种智能视点间的编码方法
CN110557646B (zh) * 2019-08-21 2021-12-07 天津大学 一种智能视点间的编码方法
CN110493596B (zh) * 2019-09-02 2021-09-17 西北工业大学 一种基于神经网络的视频编码***及方法
CN110493596A (zh) * 2019-09-02 2019-11-22 西北工业大学 一种基于神经网络的视频编码框架
CN112862060A (zh) * 2019-11-28 2021-05-28 南京大学 一种基于深度学习的内容缓存方法
CN112862060B (zh) * 2019-11-28 2024-02-13 南京大学 一种基于深度学习的内容缓存方法
CN113132727A (zh) * 2019-12-30 2021-07-16 北京大学 一种基于图像生成的可伸缩机器视觉编码方法
CN113132727B (zh) * 2019-12-30 2022-07-22 北京大学 可伸缩机器视觉编码方法和运动引导图像生成网络的训练方法
CN113132732B (zh) * 2019-12-31 2022-07-29 北京大学 一种人机协同的视频编码方法及视频编码***
CN113132732A (zh) * 2019-12-31 2021-07-16 北京大学 一种人机协同的视频编码方法及视频编码***
CN111147862A (zh) * 2020-01-03 2020-05-12 南京大学 一种基于目标编码的端到端图像压缩方法
US11575938B2 (en) 2020-01-10 2023-02-07 Nokia Technologies Oy Cascaded prediction-transform approach for mixed machine-human targeted video coding
WO2021140273A1 (en) * 2020-01-10 2021-07-15 Nokia Technologies Oy A cascaded prediction-transform approach for mixed machine-human targeted video coding
CN111314698A (zh) * 2020-02-27 2020-06-19 浙江大华技术股份有限公司 一种图像编码处理方法及装置
CN111447449A (zh) * 2020-04-01 2020-07-24 北京奥维视讯科技有限责任公司 基于roi的视频编码方法和***以及视频传输和编码***
CN111432211B (zh) * 2020-04-01 2021-11-12 山东浪潮科学研究院有限公司 一种用于视频编码的残差信息压缩方法
CN111432211A (zh) * 2020-04-01 2020-07-17 济南浪潮高新科技投资发展有限公司 一种用于视频编码的残差信息压缩方法
CN111447449B (zh) * 2020-04-01 2022-05-06 北京奥维视讯科技有限责任公司 基于roi的视频编码方法和***以及视频传输和编码***
CN111432208A (zh) * 2020-04-01 2020-07-17 济南浪潮高新科技投资发展有限公司 一种利用神经网络确定帧内预测模式的方法
CN111432208B (zh) * 2020-04-01 2022-10-04 山东浪潮科学研究院有限公司 一种利用神经网络确定帧内预测模式的方法
CN111901592A (zh) * 2020-06-30 2020-11-06 北京大学 预测编码神经网络权重更新方法及装置
CN111901592B (zh) * 2020-06-30 2023-01-17 北京大学 预测编码神经网络权重更新方法及装置
CN112329979A (zh) * 2020-09-23 2021-02-05 燕山大学 一种基于自适应深度残差网络的超短期风电功率预测方法
CN112508187A (zh) * 2020-10-22 2021-03-16 联想(北京)有限公司 一种机器学习模型压缩方法、装置及设备
WO2022261838A1 (zh) * 2021-06-15 2022-12-22 Oppo广东移动通信有限公司 残差编码和视频编码方法、装置、设备和***
CN113949882A (zh) * 2021-09-17 2022-01-18 镕铭微电子(济南)有限公司 基于卷积神经网络的视频编解码方法及装置
CN114494569B (zh) * 2022-01-27 2023-09-19 光线云(杭州)科技有限公司 基于轻量级神经网络和残差流式传输的云渲染方法和装置
CN114494569A (zh) * 2022-01-27 2022-05-13 光线云(杭州)科技有限公司 基于轻量级神经网络和残差流式传输的云渲染方法和装置
CN114157863A (zh) * 2022-02-07 2022-03-08 浙江智慧视频安防创新中心有限公司 基于数字视网膜的视频编码方法、***及存储介质
CN115037933A (zh) * 2022-08-09 2022-09-09 浙江大华技术股份有限公司 一种帧间预测的方法及设备
CN115037933B (zh) * 2022-08-09 2022-11-18 浙江大华技术股份有限公司 一种帧间预测的方法及设备
CN115623207B (zh) * 2022-12-14 2023-03-10 鹏城实验室 一种基于多进多出技术的数据传输方法及相关设备
CN115623207A (zh) * 2022-12-14 2023-01-17 鹏城实验室 一种基于多进多出技术的数据传输方法及相关设备
CN117880529A (zh) * 2024-03-12 2024-04-12 深圳市诚立业科技发展有限公司 一种低延迟的无线网络短信视频传输方法
CN117880529B (zh) * 2024-03-12 2024-05-14 深圳市诚立业科技发展有限公司 一种低延迟的无线网络短信视频传输方法

Also Published As

Publication number Publication date
CN107396124B (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN107396124B (zh) 基于深度神经网络的视频压缩方法
CN100527842C (zh) 基于背景的运动估计编码方法
CN112203093B (zh) 一种基于深度神经网络的信号处理方法
CN107197260A (zh) 基于卷积神经网络的视频编码后置滤波方法
CN111355956B (zh) 一种hevc帧内编码中基于深度学习的率失真优化快速决策***及其方法
CN102611888B (zh) 一种对屏幕内容的编码方法
CN108921910B (zh) 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法
CN106960416A (zh) 一种内容复杂性自适应的视频卫星压缩图像超分辨率方法
CN107105278A (zh) 运动矢量自动生成的视频编解码框架
CN103338376B (zh) 一种基于运动矢量的视频隐写方法
CN107657228A (zh) 视频场景相似性分析方法及***、视频编解码方法及***
CN112019861B (zh) 基于关键帧指导超分辨率的视频压缩方法及装置
CN111031315B (zh) 基于注意力机制和时间依赖性的压缩视频质量增强方法
CN104853215A (zh) 基于运动向量局部最优性保持的视频隐写方法
CN110677644B (zh) 一种视频编码、解码方法及视频编码帧内预测器
CN115695803A (zh) 一种基于极限学习机的帧间图像编码方法
CN110677624B (zh) 基于深度学习的面向监控视频的前景和背景并行压缩方法
CN113068041B (zh) 一种智能仿射运动补偿编码方法
Dai et al. HEVC video steganalysis based on PU maps and multi-scale convolutional residual network
CN115499666B (zh) 视频的压缩方法、解压缩方法、装置、设备和存储介质
CN110519606A (zh) 一种深度视频帧内智能编码方法
CN114463449B (zh) 一种基于边缘引导的高光谱图像压缩方法
CN110913233A (zh) 一种3d-hevc深度图帧内快速编码的方法
CN114511485B (zh) 一种循环可变形融合的压缩视频质量增强方法
Shi et al. Recurrent network with enhanced alignment and attention-guided aggregation for compressed video quality enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant