CN111314698A - 一种图像编码处理方法及装置 - Google Patents

一种图像编码处理方法及装置 Download PDF

Info

Publication number
CN111314698A
CN111314698A CN202010125221.7A CN202010125221A CN111314698A CN 111314698 A CN111314698 A CN 111314698A CN 202010125221 A CN202010125221 A CN 202010125221A CN 111314698 A CN111314698 A CN 111314698A
Authority
CN
China
Prior art keywords
target
image
residual error
determining
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010125221.7A
Other languages
English (en)
Inventor
亢润龙
陆金刚
方伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010125221.7A priority Critical patent/CN111314698A/zh
Publication of CN111314698A publication Critical patent/CN111314698A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种图像编码处理方法及装置，其中，该方法包括：对原始图像帧进行下采样处理，得到目标图像帧；确定该目标图像帧的图像块的目标残差；将该目标残差输入预先训练好的目标残差网络模型中，得到该目标残差网络模型输出的与该目标残差对应每种量化参数的概率，该概率大于预定阈值的量化参数确定为目标量化参数；根据该图像块与该原始图像帧的对应位置，将该目标量化参数生成该原始图像帧的量化参数表；对该原始分辨率图像与该量化参数表进行图像编码，可以解决相关技术中通过训练神经网络回归器以映射所提取图像块的纹理信息的多个特征以确定最佳量化参数，确定的最佳量化参数不准确，导致后续图像编码产生误差的问题。

Description

一种图像编码处理方法及装置
技术领域
本发明涉及视频处理领域，具体而言，涉及一种图像编码处理方法及装置。
背景技术
如今高分辨率、高帧率的视频日渐普及，存储容量与传输带宽的增长始终无法满足人们对于存储和传输高分辨率视频的要求。视频编码技术的提升和创新始终没有停止。
视频编码是在保证人眼可接受的图像质量下，尽可能的减少编码比特数的消耗。在编码过程中，不同编码块的纹理、形状等特征不同，相邻块、相邻帧的编码模式也不相同，很难保证不同编码块的图像质量都达到最优。编码块的比特数分配和QP计算，都是依据已编码重建图像、已编码块的实际编码比特数。虽然该方法可以将码率控制在一定质量范围内，但比特数分配和QP计算缺少对编码器的实际编码模式、残差等信息的考虑，并没有计算出最佳的量化参数。目前的编码器借助纹理、颜色等特征信息，虽在局部的一些编码块上可以减少或增加比特数，但整帧图像的编码比特数是很难做到合理分配。
相关技术中通过提取用于捕获图像块的纹理信息的多个特征，训练神经网络回归器以映射所提取的多个特征以确定最佳量化参数，通过使用所确定的最佳量化参数对该图像块进行编码。
针对相关技术中通过训练神经网络回归器以映射所提取图像块的纹理信息的多个特征以确定最佳量化参数，确定的最佳量化参数不准确，导致后续图像编码产生误差的问题，尚未提出解决方案。
发明内容
本发明实施例提供了一种图像编码处理方法及装置，以至少解决相关技术中通过训练神经网络回归器以映射所提取图像块的纹理信息的多个特征以确定最佳量化参数，确定的最佳量化参数不准确，导致后续图像编码产生误差的问题。
根据本发明的一个实施例，提供了一种图像编码处理方法，包括：
对原始图像帧进行下采样处理，得到目标图像帧；
确定所述目标图像帧的图像块的目标残差；
将所述目标残差输入预先训练好的目标残差网络模型中，得到所述目标残差网络模型输出的与所述目标残差对应每种量化参数的概率，其中，所述概率大于预定阈值的量化参数确定为目标量化参数；
根据所述图像块与所述原始图像帧的对应位置，将所述目标量化参数生成所述原始图像帧的量化参数表；
对所述原始分辨率图像与所述量化参数表进行图像编码。
可选地，在对原始图像帧进行下采样处理，得到目标图像帧之前，所述方法还包括：
获取预定数量的图像帧、以及所述图像帧实际对应的量化参数；
使用所述预定数量的图像帧、以及与所述图像帧对应的量化参数，对原始残差网络模型进行训练，得到所述目标残差网络模型，其中，所述预定数量的图像帧为所述原始残差网络模型的输入，训练好的所述目标残差网络模型输出所述目标残差对应的目标量化参数，所述目标量化参数与所述目标残差实际对应的量化参数满足预定目标函数。
可选地，确定所述目标图像帧的图像块的目标残差包括：
若所述目标图像帧为帧内预测编码帧，确定所述目标图像帧中每个图像块的多个残差，将所述多个残差中的最小残差确定为所述目标残差；
若所述目标图像帧为帧间预测编码帧，确定所述目标图像帧中每个图像块的空域残差和时域残差，将所述空域残差和时域残差中的较小残差确定为所述目标残差。
可选地，确定所述目标图像帧中每个图像块的多个残差，将所述多个空域残差中的最小残差确定为所述目标残差包括：
确定所述目标图像帧在帧内模式下的残差，其中，所述帧内模式包括：DC模式、planar模式、水平模式、垂直模式；
确定最小残差对应的帧内模式为最优帧内模式；
将所述最优帧内模式对应的残差确定为所述目标残差。
可选地，确定所述目标图像帧中每个图像块的空域残差和时域残差包括：
确定所述目标图像帧在帧内模式下的残差，其中，所述帧内模式包括：DC模式、planar模式、水平模式、垂直模式；确定最小残差值对应的帧内模式为最优帧内模式，将所述最优帧内模式对应的残差确定为所述空域残差；
确定所述目标图像帧的参考帧的目标匹配块，将所述目标匹配块的位置确定最小残差的位置，将所述最小残差的位置对应的残差确定为所述时域残差。
可选地，确定所述目标图像帧的参考帧的目标匹配块包括：
通过以下方式之一对所述目标图像帧中每个图像块进行运动估计：菱形搜索、六边形搜索、全搜索、对数搜索；
将运动估计得到的最佳匹配块确定为所述目标匹配块。
可选地，在确定所述目标图像帧的图像块的目标残差之前，所述方法还包括：
根据编码的速度和质量将所述目标图像帧划分为预定大小的所述图像块。
可选地，在根据所述图像块与所述原始图像帧的对应位置，将所述目标量化参数生成所述原始图像帧的量化参数表之前，所述方法还包括：
通过将所述量化参数增加和减少预定值的方式将所述量化参数扩展为量化参数区间。
根据本发明的另一个实施例，还提供了一种图像编码处理装置，包括：
下采样模块，用于对原始图像帧进行下采样处理，得到目标图像帧；
确定模块，用于确定所述目标图像帧的图像块的目标残差；
输入模块，用于将所述目标残差输入预先训练好的目标残差网络模型中，得到所述目标残差网络模型输出的与所述目标残差对应每种量化参数的概率，其中，所述概率大于预定阈值的量化参数确定为目标量化参数；
生成模块，用于根据所述图像块与所述原始图像帧的对应位置，将所述目标量化参数生成所述原始图像帧的量化参数表；
图像编码模块，用于对所述原始分辨率图像与所述量化参数表进行图像编码。
可选地，所述装置还包括：
获取模块，用于获取预定数量的图像帧、以及所述图像帧实际对应的量化参数；
训练模块，用于使用所述预定数量的图像帧、以及与所述图像帧对应的量化参数对原始残差网络模型进行训练，得到所述目标残差网络模型，其中，所述预定数量的图像帧为所述原始残差网络模型的输入，训练好的所述目标残差网络模型输出所述目标残差对应的目标量化参数，其中，所述目标量化参数与所述目标残差实际对应的量化参数满足预定目标函数。
可选地，所述确定模块包括：
第一确定子模块，用于若所述目标图像帧为帧内预测编码帧，确定所述目标图像帧中每个图像块的多个残差，将所述多个残差中的最小残差确定为所述目标残差；
第二确定子模块，用于若所述目标图像帧为帧间预测编码帧，确定所述目标图像帧中每个图像块的空域残差和时域残差，将所述空域残差和时域残差中的较小残差确定为所述目标残差。
可选地，所述第一确定子模块包括：
第一确定单元，用于确定所述目标图像帧在帧内模式下的残差，其中，所述帧内模式包括：DC模式、planar模式、水平模式、垂直模式；
第二确定单元，用于确定最小残差对应的帧内模式为最优帧内模式；
第三确定单元，用于将所述最优帧内模式对应的残差确定为所述目标残差。
可选地，所述第二确定子模块包括：
第四确定单元，用于确定所述目标图像帧在帧内模式下的残差，其中，所述帧内模式包括：DC模式、planar模式、水平模式、垂直模式；确定最小残差值对应的帧内模式为最优帧内模式，将所述最优帧内模式对应的残差确定为所述空域残差；
第五确定单元，用于确定所述目标图像帧的参考帧的目标匹配块，将所述目标匹配块的位置确定最小残差的位置，将所述最小残差的位置对应的残差确定为所述时域残差。
可选地，所述第五确定单元，还用于
通过以下方式之一对所述目标图像帧中每个图像块进行运动估计：菱形搜索、六边形搜索、全搜索、对数搜索；
将运动估计得到的最佳匹配块确定为所述目标匹配块。
可选地，所述装置还包括：
划分模块，用于根据编码的速度和质量将所述目标图像帧划分为预定大小的所述图像块。
可选地，所述装置还包括：
扩展模块，用于通过将所述量化参数增加和减少预定值的方式将所述量化参数扩展为量化参数区间。
根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，对原始图像帧进行下采样处理，得到目标图像帧；确定所述目标图像帧的图像块的目标残差；将所述目标残差输入预先训练好的目标残差网络模型中，得到所述目标残差网络模型输出的与所述目标残差对应每种量化参数的概率，其中，所述概率大于预定阈值的量化参数确定为目标量化参数；按照所述图像块与所述原始图像帧的对应位置，将所述目标量化参数生成所述原始图像帧的量化参数表；对所述原始分辨率图像与所述量化参数表进行图像编码，可以解决相关技术中通过训练神经网络回归器以映射所提取图像块的纹理信息的多个特征以确定最佳量化参数，确定的最佳量化参数不准确，导致后续图像编码产生误差的问题，选择最佳的量化参数用于图像块的编码，为每个编码单元分配最优的编码比特数，使得视频编码后的总失真最小。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种图像编码处理方法的移动终端的硬件结构框图；
图2是根据本发明实施例的一种图像编码处理方法的流程图；
图3是根据本发明实施例的基于神经网络的编码方法的流程图；
图4是根据本发明实施例的残差网络模型的示意图；
图5是根据本发明实施例的视频编码装置的框图；
图6是根据本发明实施例的图像编码处理装置的框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种图像编码处理方法的移动终端的硬件结构框图，如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的报文接收方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端或网络架构的图像编码处理方法，图2是根据本发明实施例的一种图像编码处理方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，对原始图像帧进行下采样处理，得到目标图像帧；
步骤S204，确定所述目标图像帧的图像块的目标残差；
进一步的，若所述目标图像帧为帧内预测编码帧，确定所述目标图像帧中每个图像块的多个残差，将所述多个残差中的最小残差确定为所述目标残差；具体的，确定所述目标图像帧在帧内模式下的残差，其中，所述帧内模式包括：DC模式、planar模式、水平模式、垂直模式；确定最小残差对应的帧内模式为最优帧内模式；将所述最优帧内模式对应的残差确定为所述目标残差。
若所述目标图像帧为帧间预测编码帧，确定所述目标图像帧中每个图像块的空域残差和时域残差，进一步的，确定所述目标图像帧在帧内模式下的残差，其中，所述帧内模式包括：DC模式、planar模式、水平模式、垂直模式；确定最小残差值对应的帧内模式为最优帧内模式，将所述最优帧内模式对应的残差确定为所述空域残差；确定所述目标图像帧的参考帧的目标匹配块，将所述目标匹配块的位置确定最小残差的位置，将所述最小残差的位置对应的残差确定为所述时域残差。具体的，通过以下方式之一对所述目标图像帧中每个图像块进行运动估计：菱形搜索、六边形搜索、全搜索、对数搜索；将运动估计得到的最佳匹配块确定为所述目标匹配块；之后将所述空域残差和时域残差中的较小残差确定为所述目标残差。
步骤S206，将所述目标残差输入预先训练好的目标残差网络模型中，得到所述目标残差网络模型输出的与所述目标残差对应每种量化参数的概率，其中，所述概率大于预定阈值的量化参数确定为目标量化参数；
步骤S208，根据所述图像块与所述原始图像帧的对应位置，将所述目标量化参数生成所述原始图像帧的量化参数表；
步骤S210，对所述原始分辨率图像与所述量化参数表进行图像编码。
通过上述步骤S202至S210，可以解决相关技术中通过训练神经网络回归器以映射所提取图像块的纹理信息的多个特征以确定最佳量化参数，确定的最佳量化参数不准确，导致后续图像编码产生误差的问题，选择最佳的量化参数用于图像块的编码，为每个编码单元分配最优的编码比特数，使得视频编码后的总失真最小。
可选地，在对原始图像帧进行下采样处理，得到目标图像帧之前，获取预定数量的图像帧、以及与所述图像帧对应的量化参数；使用所述预定数量的图像帧、以及所述图像帧实际对应的量化参数对原始残差网络模型进行训练，得到所述目标残差网络模型，其中，所述预定数量的图像帧为所述原始残差网络模型的输入，训练好的所述目标残差网络模型输出所述目标残差对应的目标量化参数，其中，所述目标量化参数与所述目标残差实际对应的量化参数满足预定目标函数。
本发明实施例中，在确定所述目标图像帧的图像块的目标残差之前，根据编码的速度和质量将所述目标图像帧划分为预定大小的所述图像块。
可选地，在按照所述图像块与所述原始图像帧的对应位置，将所述目标量化参数生成所述原始图像帧的量化参数表之前，通过将所述量化参数增加和减少预定值的方式将所述量化参数扩展为量化参数区间。
图3是根据本发明实施例的基于神经网络的编码方法的流程图，如图3所示，具体步骤如下：
步骤S301，接收视频序列集，从第一图像帧开始，依次完成下采样操作。具体地，可以包括但不限于使用的下采样方法：最近邻插值、双线性插值、均值插值、中值插值等方法。利用上述任一下采样算法对图像帧的Y分量做处理。
步骤S302，按照编码顺序依次将每一帧Y分量做下采样，下采样图像帧划分成相同大小的块。块大小可以是4*4、8*8、16*16、32*32中的任一种。具体采用哪一种块划分方式，依据编码的性能和质量做进一步确定。按照规定的块大小，以光栅扫描顺序，依次对每一个图像块执行步骤S303。
步骤S303，图像块编码DC、planar、水平、垂直模式，选择失真最小的一种模式，将其残差作为深度残差网络的输入。不管是I帧还是P帧，图像块都需要计算空域上的残差。残差计算方法，包括但不限于最小均方误差(MSE)、最小平均绝对误差(MAD)、绝对误差和(SAD)，选择哪一种残差计算方法根据编码速度和编码质量而定。针对每一个图像块，计算DC模式、planar模式、水平模式、垂直模式的残差值。具体地，可以包括但不限于使用这四种帧内预测模式，本提案以4种模式做解释说明。从4种模式中选择残差最小的一种模式，作为图像块的最优帧内模式。
步骤S304，根据GOP结构判断当前帧的帧类型是否是P帧、B帧，若是I帧，则步骤S303中图像块的最优帧内模式对应的残差值，将作为深度残差网络的输入，并执行步骤S307；否则执行步骤S305。
步骤S305，若当前帧是P帧、B帧，则对图像块做运动估计，选择失真最小的搜索位置，作为帧间最优模式，寻找参考帧上的最佳匹配块。其中参考帧是重建图像经过下采样得到的，下采样方式和步骤S301中的方法相同。具体地，可以包括但不限于使用的运动估计方法：菱形搜索、六边形搜索、全搜索、对数搜索等方法。利用上述任一种搜索方法，对图像块完成运动估计的操作，得到最佳匹配块的位置，即为最小残差的位置，并作为图像块的帧间最优模式。
步骤S306，从帧内最优模式和帧间最优模式中选择失真最小的模式，将其作为深度残差网络的输入。将步骤S303计算得到的最优帧内模式的残差值，以及步骤305计算得到的最优帧间模式的残差值，通过比较两者残差值最小的一个，作为图像块的最优编码模式。图像块的最优编码模式对应的残差值，作为深度残差网络的输入。
步骤S307，输入残差分类，根据已训练好的深度残差网络，得到图像块的最佳量化参数。基于已经训练好的深度残差网络，步骤S304或者步骤S306输入的残差信息，经过网络模型的预测，得到最佳量化参数①。为了避免量化参数出现过大或者过小的情况，本提案利用码率控制算法计算出一帧图像的预测量化参数②，然后限制量化参数①在区间范围内，不能超出，其中，区间范围为[量化参数②-5，量化参数②+5]。需强调的是，MSE计算精度高、运算量大，作为残差网络的输入，得到的量化参数更准确，可以适当放宽限制量化参数的区间范围。相比MSE，MAD、SAD的计算精度低，运算量少，作为残差网络的输入，得到的量化参数有偏差，需适当收缩限制量化参数的区间范围。
步骤S308，判断图像块是否是图像帧的最后一个图像块，若是，则执行步骤S309；否则，返回执行步骤303。
步骤S309，将图像帧的QpMap送入编码器，即将上述计算得到的量化参数，按照步骤S302划分的块顺序合成QpMap，送入编码器。
传统的神经网络随着网络越来越深，训练变得越来越困难，网络的优化变得越来越难。原因是网络越深，网络需要学习的东西越多，收敛速度也就越慢，梯度消失的现象会越来越明显，训练效果反而不如相对较浅的网络。图4是根据本发明实施例的残差网络模型的示意图，如图4所示，本发明实施例采用的训练模型是残差神经网络，残差神经网络可以有效地解决上述问题，残差网络越深，训练效果会越好。当达到最优性能时，多余的网络层做恒等映射。因此，本提案采用残差神经网络作为训练模型。
在编码器中，图像残差D和量化参数QP的函数关系可以表示为，
D＝f(QP，w)，其中w为权重系数。具体地，图像残差和量化参数QP的关系如下：
视频编码中的率失真优化，是在满足编码比特数限制下获取一组最佳编码参数，使用该参数可以获得最优的重建视频质量。最小化率失真代价函数：
Figure BDA0002394199250000121
其中，Di是当前图像的残差，Ri是编码比特数，λ是拉格朗日因子。
而Ri与λ存在如下关系：
Figure BDA0002394199250000122
其中，αi和ωi与视频的内容相关，且ωi与视频的时域预测结构相关，λ是与编码比特数相关。
JCT-VC提案中提到拉格朗日因子λ与量化参数之间的关系，并应用与HM模型中。函数公式如下：
λ＝α*ωk*2((QP-12)/3.0) (3)
根据上述公式(1)、(2)、(3)，可以确定图像残差D和量化参数QP存在函数关系：D＝f(QP，w)，其中w为权重值。
多变的视频内容以及复杂的编码算法使得实际中往往无法准确获得相关参数。实际应用中，码率控制算法是根据目标码率为不同编码单元分配目标比特数。根据R与λ，λ与QP的关系模型确定不同编码单元的量化参数。这样的方法是难以为每一个编码单元分配最优的编码比特数的，只能是将图像质量的波动控制在一定范围内。
由于每一帧图像的权重与视频内容特性、时域预测结构以及编码比特数相关，这样复杂的函数映射关系，仅仅依靠传统的码率控制算法很难达到最优解。通过借助神经网络的训练，可以得到更加理想的训练模型，从而为图像块的编码提供最佳的量化参数。
针对ClassA～ClassE序列，采用最优参数编码所有视频序列，使得在有限的码率下获取最佳的图像质量。将这些编码序列的残差信息D和对应的量化参数QP提取出来，生成残差神经网络的训练集。基于经过训练的残差神经网络模型，预测编码器输入图像帧的图像块的最佳量化参数，使用最佳量化参数编码图像块。
图5是根据本发明实施例的视频编码装置的框图，如图5所示，包括：下采样器52、残差生成器54、网络训练器56、转换器58、主编码器510，其中，
下采样器52，用于接收原始分辨率图像，对原始分辨率图像进行下采样操作，获取低分辨率图像，将低分辨率图像发送给残差生成器。
残差生成器54，用于对低分辨率图像帧按图像块依次计算残差信息。每个图像块需要计算空域、时域残差信息，并选择残差更小的一种模式作为图像块的最优预测模式，将最优模式下的残差信息发送给网络训练器。
网络训练器56，基于已训练好的目标神经网络训练模型，根据残差生成器产生的残差信息，预测图像块的最佳量化参数，将生成的最佳量化参数发送给转换器。
转换器58，用于将网络训练器56生成的量化参数，按照原始分辨率图像的对应位置，生成原始图像帧的QpMap表，并发送给主编码器。
主编码器510，针对输入的原始分辨率图像、以及对应的QpMap表，完成图像编码，生成编码相关参数和码流等信息。
实施例2
根据本发明的另一个实施例，还提供了一种图像编码处理装置，图6是根据本发明实施例的图像编码处理装置的框图，如图6所示，包括：
下采样模块62，用于对原始图像帧进行下采样处理，得到目标图像帧；
确定模块64，用于确定所述目标图像帧的图像块的目标残差；
输入模块66，用于将所述目标残差输入预先训练好的目标残差网络模型中，得到所述目标残差网络模型输出的与所述目标残差对应每种量化参数的概率，其中，所述概率大于预定阈值的量化参数确定为目标量化参数；
生成模块68，用于根据所述图像块与所述原始图像帧的对应位置，将所述目标量化参数生成所述原始图像帧的量化参数表；
图像编码模块610，用于对所述原始分辨率图像与所述量化参数表进行图像编码。
可选地，所述装置还包括：
获取模块，用于获取预定数量的图像帧、以及所述图像帧实际对应的量化参数；
训练模块，用于使用所述预定数量的图像帧、以及与所述图像帧对应的量化参数对原始残差网络模型进行训练，得到所述目标残差网络模型，其中，所述预定数量的图像帧为所述原始残差网络模型的输入，训练好的所述目标残差网络模型输出所述目标残差对应的目标量化参数，所述目标量化参数与所述目标残差实际对应的量化参数满足预定目标函数。
可选地，所述确定模块64包括：
第一确定子模块，用于若所述目标图像帧为帧内预测编码帧，确定所述目标图像帧中每个图像块的多个残差，将所述多个残差中的最小残差确定为所述目标残差；
第二确定子模块，用于若所述目标图像帧为帧间预测编码帧，确定所述目标图像帧中每个图像块的空域残差和时域残差，将所述空域残差和时域残差中的较小残差确定为所述目标残差。
可选地，所述第一确定子模块包括：
第一确定单元，用于确定所述目标图像帧在帧内模式下的残差，其中，所述帧内模式包括：DC模式、planar模式、水平模式、垂直模式；
第二确定单元，用于确定最小残差对应的帧内模式为最优帧内模式；
第三确定单元，用于将所述最优帧内模式对应的残差确定为所述目标残差。
可选地，所述第二确定子模块包括：
第四确定单元，用于确定所述目标图像帧在帧内模式下的残差，其中，所述帧内模式包括：DC模式、planar模式、水平模式、垂直模式；确定最小残差值对应的帧内模式为最优帧内模式，将所述最优帧内模式对应的残差确定为所述空域残差；
第五确定单元，用于确定所述目标图像帧的参考帧的目标匹配块，将所述目标匹配块的位置确定最小残差的位置，将所述最小残差的位置对应的残差确定为所述时域残差。
可选地，所述第五确定单元，还用于
通过以下方式之一对所述目标图像帧中每个图像块进行运动估计：菱形搜索、六边形搜索、全搜索、对数搜索；
将运动估计得到的最佳匹配块确定为所述目标匹配块。
可选地，所述装置还包括：
划分模块，用于根据编码的速度和质量将所述目标图像帧划分为预定大小的所述图像块。
可选地，所述装置还包括：
扩展模块，用于通过将所述量化参数增加和减少预定值的方式将所述量化参数扩展为量化参数区间。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，对原始图像帧进行下采样处理，得到目标图像帧；
S2，确定所述目标图像帧的图像块的目标残差；
S3，将所述目标残差输入预先训练好的目标残差网络模型中，得到所述目标残差网络模型输出的与所述目标残差对应每种量化参数的概率，其中，所述概率大于预定阈值的量化参数确定为目标量化参数；
S4，根据所述图像块与所述原始图像帧的对应位置，将所述目标量化参数生成所述原始图像帧的量化参数表；
S5，对所述原始分辨率图像与所述量化参数表进行图像编码。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例4
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，对原始图像帧进行下采样处理，得到目标图像帧；
S2，确定所述目标图像帧的图像块的目标残差；
S3，将所述目标残差输入预先训练好的目标残差网络模型中，得到所述目标残差网络模型输出的与所述目标残差对应每种量化参数的概率，其中，所述概率大于预定阈值的量化参数确定为目标量化参数；
S4，根据所述图像块与所述原始图像帧的对应位置，将所述目标量化参数生成所述原始图像帧的量化参数表；
S5，对所述原始分辨率图像与所述量化参数表进行图像编码。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种图像编码处理方法，其特征在于，包括：
对原始图像帧进行下采样处理，得到目标图像帧；
确定所述目标图像帧的图像块的目标残差；
将所述目标残差输入预先训练好的目标残差网络模型中，得到所述目标残差网络模型输出的与所述目标残差对应每种量化参数的概率，其中，所述概率大于预定阈值的量化参数确定为目标量化参数；
根据所述图像块与所述原始图像帧的对应位置，将所述目标量化参数生成所述原始图像帧的量化参数表；
对所述原始分辨率图像与所述量化参数表进行图像编码。
2.根据权利要求1所述的方法，其特征在于，在所述对原始图像帧进行下采样处理，得到目标图像帧之前，所述方法还包括：
获取预定数量的图像帧、以及所述图像帧实际对应的量化参数；
使用所述预定数量的图像帧、以及与所述图像帧对应的量化参数，对原始残差网络模型进行训练，得到所述目标残差网络模型，其中，所述预定数量的图像帧为所述原始残差网络模型的输入，训练好的所述目标残差网络模型输出所述目标残差对应的目标量化参数，所述目标量化参数与所述目标残差实际对应的量化参数满足预定目标函数。
3.根据权利要求1所述的方法，其特征在于，确定所述目标图像帧的图像块的目标残差包括：
若所述目标图像帧为帧内预测编码帧，确定所述目标图像帧中每个图像块的多个残差，将所述多个残差中的最小残差确定为所述目标残差；
若所述目标图像帧为帧间预测编码帧，确定所述目标图像帧中每个图像块的空域残差和时域残差，将所述空域残差和时域残差中的较小残差确定为所述目标残差。
4.根据权利要求3所述的方法，其特征在于，确定所述目标图像帧中每个图像块的多个残差，将所述多个空域残差中的最小残差确定为所述目标残差包括：
确定所述目标图像帧在帧内模式下的残差，其中，所述帧内模式包括：DC模式、planar模式、水平模式、垂直模式；
确定最小残差对应的帧内模式为最优帧内模式；
将所述最优帧内模式对应的残差确定为所述目标残差。
5.根据权利要求3所述的方法，其特征在于，确定所述目标图像帧中每个图像块的空域残差和时域残差包括：
确定所述目标图像帧在帧内模式下的残差，其中，所述帧内模式包括：DC模式、planar模式、水平模式、垂直模式；确定最小残差值对应的帧内模式为最优帧内模式，将所述最优帧内模式对应的残差确定为所述空域残差；
确定所述目标图像帧的参考帧的目标匹配块，将所述目标匹配块的位置确定最小残差的位置，将所述最小残差的位置对应的残差确定为所述时域残差。
6.根据权利要求5所述的方法，其特征在于，所述确定所述目标图像帧的参考帧的目标匹配块包括：
通过以下方式之一对所述目标图像帧中每个图像块进行运动估计：菱形搜索、六边形搜索、全搜索、对数搜索；
将运动估计得到的最佳匹配块确定为所述目标匹配块。
7.根据权利要求1至6中任一项所述的方法，其特征在于，在所述确定所述目标图像帧的图像块的目标残差之前，所述方法还包括：
根据编码的速度和质量将所述目标图像帧划分为预定大小的所述图像块。
8.根据权利要求1至6中任一项所述的方法，其特征在于，在根据所述图像块与所述原始图像帧的对应位置，将所述目标量化参数生成所述原始图像帧的量化参数表之前，所述方法还包括：
通过将所述量化参数增加和减少预定值的方式将所述量化参数扩展为量化参数区间。
9.一种图像编码处理装置，其特征在于，包括：
下采样模块，用于对原始图像帧进行下采样处理，得到目标图像帧；
确定模块，用于确定所述目标图像帧的图像块的目标残差；
输入模块，用于将所述目标残差输入预先训练好的目标残差网络模型中，得到所述目标残差网络模型输出的与所述目标残差对应每种量化参数的概率，其中，所述概率大于预定阈值的量化参数确定为目标量化参数；
生成模块，用于根据所述图像块与所述原始图像帧的对应位置，将所述目标量化参数生成所述原始图像帧的量化参数表；
图像编码模块，用于对所述原始分辨率图像与所述量化参数表进行图像编码。
10.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述的方法。
11.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至8任一项中所述的方法。
CN202010125221.7A 2020-02-27 2020-02-27 一种图像编码处理方法及装置 Withdrawn CN111314698A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010125221.7A CN111314698A (zh) 2020-02-27 2020-02-27 一种图像编码处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010125221.7A CN111314698A (zh) 2020-02-27 2020-02-27 一种图像编码处理方法及装置

Publications (1)

Publication Number Publication Date
CN111314698A true CN111314698A (zh) 2020-06-19

Family

ID=71147848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010125221.7A Withdrawn CN111314698A (zh) 2020-02-27 2020-02-27 一种图像编码处理方法及装置

Country Status (1)

Country Link
CN (1) CN111314698A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726613A (zh) * 2020-06-30 2020-09-29 福州大学 一种基于最小可觉差的视频编码优化方法
CN112001854A (zh) * 2020-07-14 2020-11-27 浙江大华技术股份有限公司 一种编码图像的修复方法及相关***和装置
CN112149266A (zh) * 2020-10-23 2020-12-29 北京百度网讯科技有限公司 确定网络模型量化策略的方法、装置、设备以及存储介质
CN113329228A (zh) * 2021-05-27 2021-08-31 杭州朗和科技有限公司 视频编码方法、解码方法、装置、电子设备及存储介质
CN114745556A (zh) * 2022-02-07 2022-07-12 浙江智慧视频安防创新中心有限公司 编码方法、装置、数字视网膜***、电子设备及存储介质
WO2022194137A1 (zh) * 2021-03-17 2022-09-22 华为技术有限公司 视频图像的编解码方法及相关设备
WO2022222767A1 (zh) * 2021-04-21 2022-10-27 北京汇钧科技有限公司 数据处理方法和装置
CN116760988A (zh) * 2023-08-18 2023-09-15 瀚博半导体(上海)有限公司 基于人类视觉***的视频编码方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107396124A (zh) * 2017-08-29 2017-11-24 南京大学 基于深度神经网络的视频压缩方法
CN108780499A (zh) * 2016-03-09 2018-11-09 索尼公司 基于量化参数的视频处理的***和方法
CN109819252A (zh) * 2019-03-20 2019-05-28 福州大学 一种不依赖gop结构的量化参数级联方法
US20190230354A1 (en) * 2016-06-24 2019-07-25 Korea Advanced Institute Of Science And Technology Encoding and decoding methods and devices including cnn-based in-loop filter
CN110198444A (zh) * 2019-04-16 2019-09-03 浙江大华技术股份有限公司 视频帧编码方法、视频帧编码设备及具有存储功能的装置
CN110637460A (zh) * 2017-07-11 2019-12-31 索尼公司 利用深层神经网络的视觉质量保持量化参数预测

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108780499A (zh) * 2016-03-09 2018-11-09 索尼公司 基于量化参数的视频处理的***和方法
US20190230354A1 (en) * 2016-06-24 2019-07-25 Korea Advanced Institute Of Science And Technology Encoding and decoding methods and devices including cnn-based in-loop filter
CN110637460A (zh) * 2017-07-11 2019-12-31 索尼公司 利用深层神经网络的视觉质量保持量化参数预测
CN107396124A (zh) * 2017-08-29 2017-11-24 南京大学 基于深度神经网络的视频压缩方法
CN109819252A (zh) * 2019-03-20 2019-05-28 福州大学 一种不依赖gop结构的量化参数级联方法
CN110198444A (zh) * 2019-04-16 2019-09-03 浙江大华技术股份有限公司 视频帧编码方法、视频帧编码设备及具有存储功能的装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726613A (zh) * 2020-06-30 2020-09-29 福州大学 一种基于最小可觉差的视频编码优化方法
CN111726613B (zh) * 2020-06-30 2021-07-27 福州大学 一种基于最小可觉差的视频编码优化方法
CN112001854A (zh) * 2020-07-14 2020-11-27 浙江大华技术股份有限公司 一种编码图像的修复方法及相关***和装置
CN112149266A (zh) * 2020-10-23 2020-12-29 北京百度网讯科技有限公司 确定网络模型量化策略的方法、装置、设备以及存储介质
WO2022194137A1 (zh) * 2021-03-17 2022-09-22 华为技术有限公司 视频图像的编解码方法及相关设备
WO2022222767A1 (zh) * 2021-04-21 2022-10-27 北京汇钧科技有限公司 数据处理方法和装置
CN113329228A (zh) * 2021-05-27 2021-08-31 杭州朗和科技有限公司 视频编码方法、解码方法、装置、电子设备及存储介质
CN113329228B (zh) * 2021-05-27 2024-04-26 杭州网易智企科技有限公司 视频编码方法、解码方法、装置、电子设备及存储介质
CN114745556A (zh) * 2022-02-07 2022-07-12 浙江智慧视频安防创新中心有限公司 编码方法、装置、数字视网膜***、电子设备及存储介质
CN114745556B (zh) * 2022-02-07 2024-04-02 浙江智慧视频安防创新中心有限公司 编码方法、装置、数字视网膜***、电子设备及存储介质
CN116760988A (zh) * 2023-08-18 2023-09-15 瀚博半导体(上海)有限公司 基于人类视觉***的视频编码方法和装置
CN116760988B (zh) * 2023-08-18 2023-11-10 瀚博半导体(上海)有限公司 基于人类视觉***的视频编码方法和装置

Similar Documents

Publication Publication Date Title
CN111314698A (zh) 一种图像编码处理方法及装置
CN104301724B (zh) 视频处理方法、编码设备和解码设备
CN101945280B (zh) 对编码视频数据选择编码类型和预测模式的方法和设备
TWI466549B (zh) 運動預測方法
CN108012163B (zh) 视频编码的码率控制方法及装置
CN101540912B (zh) 对编码视频数据选择编码类型和预测模式
CN103248895B (zh) 一种用于hevc帧内编码的快速模式估计方法
Zhang et al. Low complexity HEVC INTRA coding for high-quality mobile video communication
CN104969552A (zh) 存储减少的帧内预测模式决策
RU2573747C2 (ru) Способ и устройство кодирования видео, способ и устройство декодирования видео и программы для них
KR20110010324A (ko) 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
CN104853191B (zh) 一种hevc的快速编码方法
CN112055203B (zh) 帧间预测方法、视频编码方法及其相关装置
CN111263144B (zh) 一种运动信息确定方法及其设备
CN110365988B (zh) 一种h.265编码方法和装置
CN103596003B (zh) 高性能视频编码的帧间预测快速模式选择方法
CN104038769A (zh) 帧内编码的码率控制方法
CN104333755B (zh) HEVC中B帧的基于SKIP/Merge RD Cost的CU提前终止方法
KR20130103140A (ko) 영상압축 전에 행해지는 전처리 방법, 영상 압축률 개선을 위한 적응성 움직임 추정방법 및 영상 타입별 영상 데이터 제공방법
US9332266B2 (en) Method for prediction in image encoding and image encoding apparatus applying the same
CN109688411B (zh) 一种视频编码率失真代价估计方法和装置
CN104702959A (zh) 一种视频编码的帧内预测方法及***
US11076153B2 (en) System and methods for joint and adaptive control of rate, quality, and computational complexity for video coding and video delivery
US11395002B2 (en) Prediction direction selection method and apparatus in image encoding, and storage medium
Ukhanova et al. Game-theoretic rate-distortion-complexity optimization for HEVC

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200619