CN112437301B - 一种面向视觉分析的码率控制方法、装置、存储介质及终端 - Google Patents

一种面向视觉分析的码率控制方法、装置、存储介质及终端 Download PDF

Info

Publication number
CN112437301B
CN112437301B CN202011089723.5A CN202011089723A CN112437301B CN 112437301 B CN112437301 B CN 112437301B CN 202011089723 A CN202011089723 A CN 202011089723A CN 112437301 B CN112437301 B CN 112437301B
Authority
CN
China
Prior art keywords
code rate
model
distortion
lambda
quantization parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011089723.5A
Other languages
English (en)
Other versions
CN112437301A (zh
Inventor
马思伟
张启
王苫社
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202011089723.5A priority Critical patent/CN112437301B/zh
Publication of CN112437301A publication Critical patent/CN112437301A/zh
Application granted granted Critical
Publication of CN112437301B publication Critical patent/CN112437301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种面向视觉分析的码率控制方法、装置、存储介质及终端，方法包括：在进行视频编码前，确定目标码率；将目标码率依次输入预先创建的基于码率‑联合失真模型下的R‑λ模型中，生成目标码率对应的拉格朗日乘子λ；将目标码率对应的拉格朗日乘子λ输入预先创建的基于码率‑联合失真模型下的λ‑QP模型中，生成目标码率对应的量化参数QP；将量化参数QP设置为编码量化参数，完成码率控制的编码。因此，采用本申请实施例，由于本发明仅需要改动编码器端，且改动量较小，无需修改解码器端，因此具备较好的可部署性，从而节省了码率，提升了视觉分析的准确性。

Description

一种面向视觉分析的码率控制方法、装置、存储介质及终端
技术领域
本发明涉及数字信号处理领域，特别涉及一种面向视觉分析的码率控制方法、装置、存储介质及终端。
背景技术
视频编码是一种针对数字视频的数据压缩方法，目标是去除原始视频图像中的冗余，节约存储和传输成本。视频一般用于给人观看，因此传统视频编码主要在同等码率下优化视频图像的人类视觉主客观质量。
现在越来越多的视频图像被用于各种机器视觉分析任务中，例如目标检测、姿态估计等。编码压缩会导致图像特征失真，从而使视觉分析性能下降，而传统编码求解率失真最优化问题时并未考虑视觉分析失真，因此难以达到最佳码率-视觉分析编码性能，从而导致降低了视觉分析的准确性。
发明内容
本申请实施例提供了一种面向视觉分析的码率控制方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种面向视觉分析的码率控制方法，方法包括：
在进行视频编码前，确定目标码率；
将目标码率依次输入预先创建的基于码率-联合失真模型下的R-λ模型中，生成目标码率对应的拉格朗日乘子λ；
将目标码率对应的拉格朗日乘子λ输入预先创建的基于码率-联合失真模型下的λ-QP模型中，生成目标码率对应的量化参数QP；
将量化参数QP设置为编码量化参数，完成码率控制的编码。
可选的，还包括按照如下方式生成码率-联合失真模型、R-λ模型以及λ-QP模型：
采集若干视频序列图像帧；
通过多个预设量化参数对若干视频序列图像帧进行编码，生成编码后的若干图像帧；
对编码后的若干图像帧进行视觉分析生成分析结果，并根据编码和分析结果记录码率、信号失真度以及视觉分析失真度；
融合信号失真度以及视觉分析失真度生成联合失真，将联合失真的函数模型确定为预先创建的码率-联合失真模型；
采用双曲线函数拟合码率与联合失真的关系；
通过拉格朗日乘子法求解码率-联合失真最优化问题，确定码率与拉格朗日乘子的函数关系，并将码率与拉格朗日乘子的函数关系作为R-λ模型；
通过固定拉格朗日乘子、使用不同量化参数编码、计算对应码率-联合失真代价的方式，在若干序列上训练得到固定拉格朗日乘子下使码率-联合失真代价最小的量化参数，并将固定拉格朗日乘子与最小的量化参数的函数关系确定为λ-QP模型。
可选的，将量化参数QP设置为编码量化参数，完成码率控制的编码，包括：
获取R-λ模型以及λ-QP模型的参数；
将高效率视频编码中R-λ、λ-QP模型的参数替换为R-λ模型以及λ-QP模型的参数；
根据替换后的模型参数进行编码。
可选的，固定拉格朗日乘子与最小的量化参数的函数关系的构建步骤，包括：
选择一组拉格朗日乘子和一组量化参数；
在所选择的一组拉格朗日乘子中，对于一个固定的拉格朗日乘子，使用所有的量化参数逐一进行编码，记录码率、信号失真、视觉分析失真，并计算对应的码率-联合失真代价；
根据失真代价在拉格朗日乘子对应的量化参数搜索区间内获得最佳量化参数；
对所选择的所有拉格朗日乘子，逐一进行上述操作，以此确定拉格朗日乘子与量化参数之间的关系。
可选的，视觉分析失真度的计算公式为
Figure BDA0002721595450000031
其中P(0)表示在原始图像上的目标检测最优性能；P(R)表示在码率为R的失真图像上的目标检测性能。
可选的，联合失真的计算公式为D*＝ωtDt+ωpDp,ωt+ωp＝1，其中D*表示编码压缩所产生的联合失真，Dt表示信号失真，ωt和ωp表示两种失真的权重。
第二方面，本申请实施例提供了一种面向视觉分析的码率控制装置，装置包括：
码率确定模块，用于在进行视频编码前，确定目标码率；
拉格朗日乘子生成模块，用于将目标码率依次输入预先创建的基于码率-联合失真模型下的R-λ模型中，生成目标码率对应的拉格朗日乘子λ；
量化参数QP生成模块，用于将目标码率对应的拉格朗日乘子λ输入预先创建的基于码率-联合失真模型下的λ-QP模型中，生成目标码率对应的量化参数QP；
参数设定模块，用于将量化参数QP设置为编码量化参数，完成码率控制的编码。
可选的，装置还包括：
图像帧采集模块，用于采集若干视频序列图像帧；
图像帧编码模块，用于通过多个预设量化参数对若干视频序列图像帧进行编码，生成编码后的若干图像帧；
图像帧分析模块，用于对编码后的若干图像帧进行视觉分析生成分析结果，并根据编码和分析结果记录码率、信号失真度以及视觉分析失真度；
码率-联合失真模型构建模块，用于融合信号失真度以及视觉分析失真度生成联合失真，将联合失真的函数模型确定为预先创建的码率-联合失真模型；
关系拟合模块，用于采用双曲线函数拟合码率与联合失真的关系；
R-λ模型构建模块，用于通过拉格朗日乘子法求解码率-联合失真最优化问题，确定码率与拉格朗日乘子的函数关系，并将码率与拉格朗日乘子的函数关系作为R-λ模型；
λ-QP模型构建模块，用于通过固定拉格朗日乘子、使用不同量化参数编码、计算对应码率-联合失真代价的方式，在若干序列上训练得到固定拉格朗日乘子下使码率-联合失真代价最小的量化参数，并将固定拉格朗日乘子与最小的量化参数的函数关系确定为λ-QP模型。
第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，面向视觉分析的码率控制装置在进行视频编码前，首先确定目标码率，再将目标码率依次输入预先创建的基于码率-联合失真模型下的R-λ模型中，生成目标码率对应的拉格朗日乘子λ，然后将目标码率对应的拉格朗日乘子λ输入预先创建的基于码率-联合失真模型下的λ-QP模型中，生成目标码率对应的量化参数QP，最后将量化参数QP设置为编码量化参数，完成码率控制的编码。由于本申请在传统编码框架的率失真模型中引入视觉分析性能失真，形成了面向视觉分析的码率-联合失真模型，以及建立了码率-联合失真优化问题下拉格朗日乘子与码率的双曲关系模型，并确定了使联合率失真代价最小的量化参数与拉格朗日乘子之间的函数关系，最后在编码时，通过设定目标码率，分别确定拉格朗日乘子与量化参数，实现码率控制，从而节省了码率，提升了视觉分析的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种面向视觉分析的码率控制方法的流程示意图；
图2A是本申请实施例提供的一种面向视觉分析的码率控制-实验序列信息示意图；
图2B是本申请实施例提供的一种面向视觉分析的码率控制-实验码率点设置示意图；
图2C是本申请实施例提供的一种不同码率控制方法的视觉分析性能对比示意图；
图3是本申请实施例提供的另一种面向视觉分析的码率控制方法的流程示意图；
图4A-4D为本申请实施例提供的一种不同序列码率与视觉分析失真的关系示意图；
图5A-5D为本申请实施例提供的一种不同序列码率与联合失真的关系示意图；
图6为本申请实施例提供的一种R-D*模型与HEVC中的R-Dt模型比较示意图；
图7为本申请实施例提供的一种面向视觉分析的λ-QP模型示意图；
图8是本申请实施例提供的一种面向视觉分析的码率控制装置的装置示意图；
图9是本申请实施例提供的另一种面向视觉分析的码率控制装置的装置示意图；
图10是本申请实施例提供的一种终端的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
到目前为止，现在越来越多的视频图像被用于各种机器视觉分析任务中，例如目标检测、姿态估计等。编码压缩会导致图像特征失真，从而使视觉分析性能下降，而传统编码求解率失真最优化问题时并未考虑视觉分析失真，因此难以达到最佳码率-视觉分析编码性能，从而导致降低了视觉分析的准确性。为此，本申请提供了一种面向视觉分析的码率控制方法、装置、存储介质及终端，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本申请在传统编码框架的率失真模型中引入视觉分析性能失真，形成了面向视觉分析的码率-联合失真模型，以及建立了码率-联合失真优化问题下拉格朗日乘子与码率的双曲关系模型，并确定了使联合率失真代价最小的量化参数与拉格朗日乘子之间的函数关系，最后在编码时，通过设定目标码率，分别确定拉格朗日乘子与量化参数，实现码率控制，从而节省了码率，提升了视觉分析的准确性，下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图7，对本申请实施例提供的面向视觉分析的码率控制方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的面向视觉分析的码率控制装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
请参见图1，为本申请实施例提供了一种面向视觉分析的码率控制方法的流程示意图。如图1所示，本申请实施例的方法可以包括以下步骤：
S101，在进行视频编码前，确定目标码率；
其中，码率是数据传输时单位时间传送的数据位数。
在一种可能的实现方式中，在进行面向视觉分析的码率控制时，首先在进行视频编码前，需要确定出目标码率。码率的确定是应用端根据当前环境下的参数确定出的码率。
S102，将目标码率依次输入预先创建的基于码率-联合失真模型下的R-λ模型中，生成目标码率对应的拉格朗日乘子λ；
其中，码率-联合失真模型是传统编码框架的率失真模型中，引入视觉分析性能失真，形成了面向视觉分析的码率-联合失真模型。R-λ模型是基于码率-联合失真模型进行创建。R表示目标码率，λ为拉格朗日乘子。
通常，传统编码框架的率失真模型为例如HEVC、AVS等视频编码标准下的模型。
在一种可能的实现方式中，基于步骤S101确定出目标码率后，面向视觉分析的码率控制装置将确定出的码率输入预先创建的基于码率-联合失真模型下的R-λ模型中，生成目标码率对应的拉格朗日乘子λ。
S103，将目标码率对应的拉格朗日乘子λ输入预先创建的基于码率-联合失真模型下的λ-QP模型中，生成目标码率对应的量化参数QP；
其中，λ-QP模型为基于码率-联合失真模型下的λ-QP模型，λ为拉格朗日乘子，QP为编码所需的量化参数。
在一种可能的实现方式中，当基于步骤S102确定出目标码率对应的拉格朗日乘子λ时，面向视觉分析的码率控制装置将确定出目标码率对应的拉格朗日乘子λ输入预先创建的基于码率-联合失真模型下的λ-QP模型中，经过模型处理后生成目标码率对应的量化参数QP。
S104，将量化参数QP设置为编码量化参数，完成码率控制的编码。
其中，量化参数是量化参数QP是量化步长Qstep的序号，QP取最小值0时，表示量化最精细；相反，QP取最大值51时，表示量化是最粗糙的。在H.264中，量化参数分3个级别给出：图像参数集(pps)、片头(slice_header)、宏块(mb)。
在本申请实施例中，首先获取R-λ模型以及λ-QP模型的参数，然后将高效率视频编码中R-λ、λ-QP模型的参数替换为R-λ模型以及λ-QP模型的参数，最后根据替换后的模型参数进行编码。
在一种可能的实现方式中，首先使用视觉分析性能损失作为视觉分析失真，再融合信号失真与视觉分析失真，形成码率-联合失真模型，再使用拉格朗日乘子法求解码率-联合失真最优化问题，建立码率R与拉格朗日乘子λ间的关系，然后使用不同QP编码，建立使码率-联合失真代价最小的QP与λ之间的关系，最后基于码率-联合失真下的R-λ、λ-QP模型，在编码前通过目标码率先后计算λ、QP，实现码率控制并完成编码。
例如图2A-2C所示，图2A为面向视觉分析的码率控制-实验序列信息，图2B为面向视觉分析的码率控制-实验码率点设置，图2C为不同码率控制方法的视觉分析性能对比。为验证本发明的有效性，在HEVC的通测序列上进行实验，具体的序列信息如下所示：
例如图2A中，图2A为面向视觉分析的码率控制-实验序列信息，每个序列将以5个码率点、使用RA配置编码5秒，具体码率点设置如图2B所示，码率单位为千比特每秒(kbps)。
进一步地，本发明的性能评价指标包含两方面：视觉分析准确率及码率。经实验对比，本发明在视觉分析性能方面与当前较先进的编码器HEVC相比具有明显的优越性，详细数据如图2C所示，其中AP1表示考察所有类别、所有物体的目标检测性能，AP2表示考察Person类物体的目标检测性能，AP3表示姿态估计的性能，Proposed表示所提出的方法。在编码性能方面，所提出方法的平均码率误差为3.44％，与HEVC(3.08％)相比略有增大。
从结果可见，在同等码率下，本发明可以实现更优的视觉分析任务性能；在同等视觉分析任务性能下，本发明也可以节省一定码率。可见，本发明所提出的面向视觉分析的码率控制方法是有效可行的。此外，本发明仅需要改动编码器端，且改动量较小，无需修改解码器端，因此具备较好的可部署性。
在本申请实施例中，面向视觉分析的码率控制装置在进行视频编码前，首先确定目标码率，再将目标码率依次输入预先创建的基于码率-联合失真模型下的R-λ模型中，生成目标码率对应的拉格朗日乘子λ，然后将目标码率对应的拉格朗日乘子λ输入预先创建的基于码率-联合失真模型下的λ-QP模型中，生成目标码率对应的量化参数QP，最后将量化参数QP设置为编码量化参数，完成码率控制的编码。由于本申请在传统编码框架的率失真模型中引入视觉分析性能失真，形成了面向视觉分析的码率-联合失真模型，以及建立了码率-联合失真优化问题下拉格朗日乘子与码率的双曲关系模型，并确定了使联合率失真代价最小的量化参数与拉格朗日乘子之间的函数关系，最后在编码时，通过设定目标码率，分别确定拉格朗日乘子与量化参数，实现码率控制，从而节省了码率，提升了视觉分析的准确性。
请参见图3，为本申请实施例提供的一种码率-联合失真模型、R-λ模型以及λ-QP模型创建生成的流程示意图。该码率-联合失真模型、R-λ模型以及λ-QP模型生成包括以下步骤：
S201，采集若干视频序列图像帧；
S202，通过多个预设量化参数对若干视频序列图像帧进行编码，生成编码后的若干图像帧；
S203，对编码后的若干图像帧进行视觉分析生成分析结果，并根据编码和分析结果记录码率、信号失真度以及视觉分析失真度；
通常，视频编码的主要目标是提高数据压缩比例的同时尽可能保留图像原始信息。以码率衡量压缩比例，采用某种失真度量图像信息的损失量，则视频编码需要求解码率-失真问题的最优解。在现有的视频编码标准(如HEVC、AVS等)中，率失真模型可以用一条下凸的单调函数曲线刻画，曲线上的点即表示给定码率或失真下，率失真优化问题的理论最优解。
传统视频编码框架主要使用原始信号与重构信号的差异表示失真，往往逐像素地进行计算，例如MSE或PSNR。然而，对于大部分高层级视觉分析任务来说，仅信号层面的失真可能难以准确反映视觉分析模型的性能损失，这是因为视觉分析模型所提取、使用的特征一般是原始图像更高层、更紧凑的抽象表达，本身便舍弃了大部分原始信号。
因此，需要引入面向视觉分析的失真，优化现有率失真模型。
S204，融合信号失真度以及视觉分析失真度生成联合失真，将联合失真的函数模型确定为预先创建的码率-联合失真模型；
在一种可能的实现方式中，本发明使用视觉分析性能损失作为视觉分析失真。不失一般性地，以目标检测任务为例，将视觉分析失真Dp定义为下式：
Figure BDA0002721595450000101
其中P(0)表示在原始图像上的目标检测性能(不失一般性地，使用平均精度mAP做为指标)，被视作最优性能；P(R)表示在码率为R的失真图像上的目标检测性能。经过归一化后，Dp的取值范围介于0和1之间。
如果仅使用视觉分析失真，则视频的主客观质量可能无法被保证。因此，本发明提出结合信号失真与视觉分析失真的联合失真，表示为下式：
D*＝ωtDt+ωpDp,ωt+ωp＝1
其中D*表示编码压缩所产生的联合失真，Dt表示信号失真，ωt和ωp表示两种失真的权重。
S205，采用双曲线函数拟合码率与联合失真的关系；
S206，通过拉格朗日乘子法求解码率-联合失真最优化问题，确定码率与拉格朗日乘子的函数关系，并将码率与拉格朗日乘子的函数关系作为R-λ模型；
在一种可能的实现方式中，码率控制的具体目标是在给定码率约束最小化编码失真，可以表示为下式：
minD,s.t.R≤RC
其中，D表示失真，R表示实际使用的码率，RC表示限制的码率。这是一个有约束的最优化问题，可以通过拉格朗日乘子法，将限制条件引入优化目标，转换为无约束的最优化问题，即最小化率失真代价函数J：
minJ＝D+λ·R
其中λ表示拉格朗日乘子，用于控制码率和失真的相对重要性。为求解该问题，需要知道R与D之间的关系，通常可以用一个双曲模型来刻画：
D(R)＝C·R-K
其中C和K为双曲函数的参数。此时，λ代表率失真曲线上某一点切线的负斜率，可表示为：
Figure BDA0002721595450000111
其中α和β为模型参数，与信源相关，HEVC通过不同序列上的统计和训练，拟合了一组有效的α和β的初始参数。然而，HEVC所采用的失真仅信号失真，因此需要对目前的R-λ模型进行优化。
同样地，假设视觉分析失真Dp也可以使用双曲模型表示，即：
Figure BDA0002721595450000112
为验证上式成立，在HEVC的通测序列上进行测试。首先，将序列使用不同的固定QP进行编码，分别记录对应的码率，以每个像素所使用的比特数目(Bitsperpixel，bpp)表示。然后，将得到的失真图像作为目标检测模型(不失一般性的，采用Faster RCNN作为检测模型，特征提取网络为ResNet-101)的输入，获得检测的准确率，以AP表示。展示不同序列B帧上R与Dp的关系，例如图4A-4D所示。
由图4A-4D可知，R与Dp能够使用双曲模型表示。因此，引入视觉分析失真，形成码率-联合失真优化问题，用下式表示：
minJ*＝D*+λ·R
类似地，可以使用双曲函数拟合R与D*的关系。由于Dt和Dp的取值范围不同，因此Dp的最终取值需要乘一个缩放因子γp，以维持二者数量级上的平衡。经过对Dt的观察，取γp＝255。下图展示在ωt和ωp取值不同的情况下、不同序列上的R-D*曲线拟合结果，例如图5A-5D所示。
由图5A-5D可知，R与D*能够使用双曲模型表示。取ωp＝0.9，ωt＝0.1，并统计更多序列后，可以拟合出泛化能力较好的R-D*模型：
并可以获得在R-D*模型下R与λ的关系：
在实际编码时，通过指定码率，即可使用上式计算出理论上最优的码率-联合失真代价及对应的λ。
R-D*模型与HEVC所采用的R-Dt模型比较如下图所示，在低码率下，R-D*模型所对应的失真大于R-Dt模型，例如图6所示。
S207，通过固定拉格朗日乘子、使用不同量化参数编码、计算对应码率-联合失真代价的方式，在若干序列上训练得到固定拉格朗日乘子下使码率-联合失真代价最小的量化参数，并将固定拉格朗日乘子与最小的量化参数的函数关系确定为λ-QP模型。
在一种可能的实现方式中，根据R-λ模型可以对给定的码率计算相应的λ，但还需要计算相应的编码参数来完成码率限制下的编码。一般而言，量化参数QP是决定码率与图像质量的关键参数，此时码率-联合失真优化问题可写为下式：
HEVC中使用λ-QP模型来对给定λ计算使率失真代价最小的QP，类似地，该模型的参数也是通过对序列进行编码、统计、拟合得到。使用联合失真，则需要重新拟合相应的参数。
在不同QP下，编码产生的码率和联合失真不同，因此码率-联合失真代价J*也不同；同时，λ的变化也会影响J*的大小。由于QP并非连续变化的值，因此实际获得的码率-联合失真代价并不一总能与理论最优保持一致，但这也使得利用穷举法求解λ所对应的QP成为可能。
本文采用与HEVC类似的方法获取给定λ下、码率-联合失真性能最优的QP，即固定λ，使用不同QP进行编码，记录对应的R与D*，然后不断调整λ并再次编码、记录。编码完成后，对于每个λ，使用HEVC的QP-λ指数模型进行逆运算获取初始搜索QP，记为QPs，以作为搜索区间，可以找出该区间内使J*最小的QP，这样就形成了λ和QP间一一对应的关系。与HEVC类似地，使用下式来拟合λ与QP的函数：
例如图7展示模型拟合状况，并加入HEVC的λ-QP曲线进行对比。结果表明，与HEVC所采用的λ-QP模型相比较，当λ增大时，提出的模型计算得到的QP更小。
其中图7中“Fitted”所对应的曲线表示拟合的模型，对应下式：
QP＝3.6×ln(λ+16.0129)+16.1840。QP为量化参数。
在本申请实施例中，面向视觉分析的码率控制装置在进行视频编码前，首先确定目标码率，再将目标码率依次输入预先创建的基于码率-联合失真模型下的R-λ模型中，生成目标码率对应的拉格朗日乘子λ，然后将目标码率对应的拉格朗日乘子λ输入预先创建的基于码率-联合失真模型下的λ-QP模型中，生成目标码率对应的量化参数QP，最后将量化参数QP设置为编码量化参数，完成码率控制的编码。由于本申请在传统编码框架的率失真模型中引入视觉分析性能失真，形成了面向视觉分析的码率-联合失真模型，以及建立了码率-联合失真优化问题下拉格朗日乘子与码率的双曲关系模型，并确定了使联合率失真代价最小的量化参数与拉格朗日乘子之间的函数关系，最后在编码时，通过设定目标码率，分别确定拉格朗日乘子与量化参数，实现码率控制，从而节省了码率，提升了视觉分析的准确性。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
请参见图8，其示出了本发明一个示例性实施例提供的面向视觉分析的码率控制装置的结构示意图。该面向视觉分析的码率控制装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置1包括码率确定模块10、拉格朗日乘子生成模块20、量化参数QP生成模块30、参数设定模块40。
码率确定模块10，用于在进行视频编码前，确定目标码率；
拉格朗日乘子生成模块20，用于将目标码率依次输入预先创建的基于码率-联合失真模型下的R-λ模型中，生成目标码率对应的拉格朗日乘子λ；
量化参数QP生成模块30，用于将目标码率对应的拉格朗日乘子λ输入预先创建的基于码率-联合失真模型下的λ-QP模型中，生成目标码率对应的量化参数QP；
参数设定模块40，用于将量化参数QP设置为编码量化参数，完成码率控制的编码。
可选的，例如图9所示，装置1还包括：
图像帧采集模块50，用于采集若干视频序列图像帧；
图像帧编码模块60，用于通过多个预设量化参数对若干视频序列图像帧进行编码，生成编码后的若干图像帧；
图像帧分析模块70，用于对编码后的若干图像帧进行视觉分析生成分析结果，并根据编码和分析结果记录码率、信号失真度以及视觉分析失真度；
码率-联合失真模型构建模块80，用于融合信号失真度以及视觉分析失真度生成联合失真，将联合失真的函数模型确定为预先创建的码率-联合失真模型；
关系拟合模块90，用于采用双曲线函数拟合码率与联合失真的关系；
R-λ模型构建模块100，用于通过拉格朗日乘子法求解码率-联合失真最优化问题，确定码率与拉格朗日乘子的函数关系，并将码率与拉格朗日乘子的函数关系作为R-λ模型；
λ-QP模型构建模块110，用于通过固定拉格朗日乘子、使用不同量化参数编码、计算对应码率-联合失真代价的方式，在若干序列上训练得到固定拉格朗日乘子下使码率-联合失真代价最小的量化参数，并将固定拉格朗日乘子与最小的量化参数的函数关系确定为λ-QP模型。
需要说明的是，上述实施例提供的面向视觉分析的码率控制装置在执行面向视觉分析的码率控制方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的面向视觉分析的码率控制装置与面向视觉分析的码率控制方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，面向视觉分析的码率控制装置在进行视频编码前，首先确定目标码率，再将目标码率依次输入预先创建的基于码率-联合失真模型下的R-λ模型中，生成目标码率对应的拉格朗日乘子λ，然后将目标码率对应的拉格朗日乘子λ输入预先创建的基于码率-联合失真模型下的λ-QP模型中，生成目标码率对应的量化参数QP，最后将量化参数QP设置为编码量化参数，完成码率控制的编码。由于本申请在传统编码框架的率失真模型中引入视觉分析性能失真，形成了面向视觉分析的码率-联合失真模型，以及建立了码率-联合失真优化问题下拉格朗日乘子与码率的双曲关系模型，并确定了使联合率失真代价最小的量化参数与拉格朗日乘子之间的函数关系，最后在编码时，通过设定目标码率，分别确定拉格朗日乘子与量化参数，实现码率控制，从而节省了码率，提升了视觉分析的准确性。
本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的面向视觉分析的码率控制方法。本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的面向视觉分析的码率控制方法。
请参见图10，为本申请实施例提供了一种终端的结构示意图。如图10所示，终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图10所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及面向视觉分析的码率控制应用程序。
在图10所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的面向视觉分析的码率控制应用程序，并具体执行以下操作：
在进行视频编码前，确定目标码率；
将目标码率依次输入预先创建的基于码率-联合失真模型下的R-λ模型中，生成目标码率对应的拉格朗日乘子λ；
将目标码率对应的拉格朗日乘子λ输入预先创建的基于码率-联合失真模型下的λ-QP模型中，生成目标码率对应的量化参数QP；
将量化参数QP设置为编码量化参数，完成码率控制的编码。
在一个实施例中，处理器1001在执行在进行视频编码前时，还执行以下操作：
采集若干视频序列图像帧；
通过多个预设量化参数对若干视频序列图像帧进行编码，生成编码后的若干图像帧；
对编码后的若干图像帧进行视觉分析生成分析结果，并根据编码和分析结果记录码率、信号失真度以及视觉分析失真度；
融合信号失真度以及视觉分析失真度生成联合失真，将联合失真的函数模型确定为预先创建的码率-联合失真模型；
采用双曲线函数拟合码率与联合失真的关系；
通过拉格朗日乘子法求解码率-联合失真最优化问题，确定码率与拉格朗日乘子的函数关系，并将码率与拉格朗日乘子的函数关系作为R-λ模型；
通过固定拉格朗日乘子、使用不同量化参数编码、计算对应码率-联合失真代价的方式，在若干序列上训练得到固定拉格朗日乘子下使码率-联合失真代价最小的量化参数，并将固定拉格朗日乘子与最小的量化参数的函数关系确定为λ-QP模型。
在一个实施例中，处理器1001在执行将量化参数QP设置为编码量化参数，完成码率控制的编码时，具体执行以下操作：
获取R-λ模型以及λ-QP模型的参数；
将高效率视频编码中R-λ、λ-QP模型的参数替换为R-λ模型以及λ-QP模型的参数；
根据替换后的模型参数进行编码。
在一个实施例中，处理器1001在执行固定拉格朗日乘子与最小的量化参数的函数关系的构建步骤时，具体执行以下操作：
选择一组拉格朗日乘子和一组量化参数；
在所选择的一组拉格朗日乘子中，对于一个固定的拉格朗日乘子，使用所有的量化参数逐一进行编码，记录码率、信号失真、视觉分析失真，并计算对应的码率-联合失真代价；
根据失真代价在拉格朗日乘子对应的量化参数搜索区间内获得最佳量化参数；
对所选择的所有拉格朗日乘子，逐一进行上述操作，以此确定拉格朗日乘子与量化参数之间的关系。
在本申请实施例中，面向视觉分析的码率控制装置在进行视频编码前，首先确定目标码率，再将目标码率依次输入预先创建的基于码率-联合失真模型下的R-λ模型中，生成目标码率对应的拉格朗日乘子λ，然后将目标码率对应的拉格朗日乘子λ输入预先创建的基于码率-联合失真模型下的λ-QP模型中，生成目标码率对应的量化参数QP，最后将量化参数QP设置为编码量化参数，完成码率控制的编码。由于本申请在传统编码框架的率失真模型中引入视觉分析性能失真，形成了面向视觉分析的码率-联合失真模型，以及建立了码率-联合失真优化问题下拉格朗日乘子与码率的双曲关系模型，并确定了使联合率失真代价最小的量化参数与拉格朗日乘子之间的函数关系，最后在编码时，通过设定目标码率，分别确定拉格朗日乘子与量化参数，实现码率控制，从而节省了码率，提升了视觉分析的准确性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (5)

1.一种面向视觉分析的码率控制方法，其特征在于，所述方法包括：
在进行视频编码前，确定目标码率；
将所述目标码率依次输入预先创建的基于码率-联合失真模型下的R-λ模型中，生成目标码率对应的拉格朗日乘子λ；
将所述目标码率对应的拉格朗日乘子λ输入预先创建的基于码率-联合失真模型下的λ-QP模型中，生成目标码率对应的量化参数QP；
将所述量化参数QP设置为编码量化参数，完成码率控制的编码；
其中；还包括按照如下方式生成所述码率-联合失真模型、R-λ模型以及λ-QP模型：
采集若干视频序列图像帧；
通过多个预设量化参数对所述若干视频序列图像帧进行编码，生成编码后的若干图像帧；
对所述编码后的若干图像帧进行视觉分析生成分析结果，并根据所述编码和分析结果记录码率、信号失真度以及视觉分析失真度；
融合所述信号失真度以及视觉分析失真度生成联合失真，将所述联合失真的函数模型确定为预先创建的码率-联合失真模型；
采用双曲线函数拟合所述码率与联合失真的关系；
通过拉格朗日乘子法求解码率-联合失真最优化问题，确定所述码率与拉格朗日乘子的函数关系，并将所述码率与拉格朗日乘子的函数关系作为R-λ模型；
通过固定拉格朗日乘子、使用不同量化参数编码、计算对应码率-联合失真代价的方式，在若干序列上训练得到所述固定拉格朗日乘子下使码率-联合失真代价最小的量化参数，并将所述固定拉格朗日乘子与所述最小的量化参数的函数关系确定为λ-QP模型；
其中，所述固定拉格朗日乘子与所述最小的量化参数的函数关系的构建步骤，包括：
选择一组拉格朗日乘子和一组量化参数；
在所选择的一组拉格朗日乘子中，对于一个固定的拉格朗日乘子，使用所有的量化参数逐一进行编码，记录码率、信号失真、视觉分析失真，并计算对应的码率-联合失真代价；
根据所述失真代价在所述拉格朗日乘子对应的量化参数搜索区间内获得最佳量化参数；
对所选择的所有拉格朗日乘子，逐一进行上述操作，以此确定拉格朗日乘子与量化参数之间的关系；
其中，所述视觉分析失真度的计算公式为
Figure FDA0003136357900000021
其中P(0)表示在原始图像上的目标检测最优性能；P(R)表示在码率为R的失真图像上的目标检测性能；
其中，所述联合失真的计算公式为D*＝ωtDt+ωpDp,ωt+ωp＝1，其中D*表示编码压缩所产生的联合失真，Dt表示信号失真，ωt和ωp表示两种失真的权重。
2.根据权利要求1所述的方法，其特征在于，所述将所述量化参数QP设置为编码量化参数，完成码率控制的编码，包括：
获取所述R-λ模型以及λ-QP模型的参数；
将高效率视频编码中R-λ、λ-QP模型的参数替换为所述R-λ模型以及λ-QP模型的参数；
根据所述替换后的模型参数进行编码。
3.一种面向视觉分析的码率控制装置，其特征在于，所述装置包括：
码率确定模块，用于在进行视频编码前，确定目标码率；
拉格朗日乘子生成模块，用于将所述目标码率依次输入预先创建的基于码率-联合失真模型下的R-λ模型中，生成目标码率对应的拉格朗日乘子λ；
量化参数QP生成模块，用于将所述目标码率对应的拉格朗日乘子λ输入预先创建的基于码率-联合失真模型下的λ-QP模型中，生成目标码率对应的量化参数QP；
参数设定模块，用于将所述量化参数QP设置为编码量化参数，完成码率控制的编码；
其中，所述装置还包括：
图像帧采集模块，用于采集若干视频序列图像帧；
图像帧编码模块，用于通过多个预设量化参数对所述若干视频序列图像帧进行编码，生成编码后的若干图像帧；
图像帧分析模块，用于对所述编码后的若干图像帧进行视觉分析生成分析结果，并根据所述编码和分析结果记录码率、信号失真度以及视觉分析失真度；
码率-联合失真模型构建模块，用于融合所述信号失真度以及视觉分析失真度生成联合失真，将所述联合失真的函数模型确定为预先创建的码率-联合失真模型；
关系拟合模块，用于采用双曲线函数拟合所述码率与联合失真的关系；
R-λ模型构建模块，用于通过拉格朗日乘子法求解码率-联合失真最优化问题，确定所述码率与拉格朗日乘子的函数关系，并将所述码率与拉格朗日乘子的函数关系作为R-λ模型；
λ-QP模型构建模块，用于通过固定拉格朗日乘子、使用不同量化参数编码、计算对应码率-联合失真代价的方式，在若干序列上训练得到所述固定拉格朗日乘子下使码率-联合失真代价最小的量化参数，并将所述固定拉格朗日乘子与所述最小的量化参数的函数关系确定为λ-QP模型；
其中，所述λ-QP模型构建模块在固定拉格朗日乘子与所述最小的量化参数的函数关系时具体用于：
选择一组拉格朗日乘子和一组量化参数；
在所选择的一组拉格朗日乘子中，对于一个固定的拉格朗日乘子，使用所有的量化参数逐一进行编码，记录码率、信号失真、视觉分析失真，并计算对应的码率-联合失真代价；
根据所述失真代价在所述拉格朗日乘子对应的量化参数搜索区间内获得最佳量化参数；
对所选择的所有拉格朗日乘子，逐一进行上述操作，以此确定拉格朗日乘子与量化参数之间的关系；
其中，其特征在于，所述视觉分析失真度的计算公式为
Figure FDA0003136357900000041
其中P(0)表示在原始图像上的目标检测最优性能；P(R)表示在码率为R的失真图像上的目标检测性能；
其中，所述联合失真的计算公式为D*＝ωtDt+ωpDp,ωt+ωp＝1，其中D*表示编码压缩所产生的联合失真，Dt表示信号失真，ωt和ωp表示两种失真的权重。
4.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～2任意一项的方法步骤。
5.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～2任意一项的方法步骤。
CN202011089723.5A 2020-10-13 2020-10-13 一种面向视觉分析的码率控制方法、装置、存储介质及终端 Active CN112437301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011089723.5A CN112437301B (zh) 2020-10-13 2020-10-13 一种面向视觉分析的码率控制方法、装置、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011089723.5A CN112437301B (zh) 2020-10-13 2020-10-13 一种面向视觉分析的码率控制方法、装置、存储介质及终端

Publications (2)

Publication Number Publication Date
CN112437301A CN112437301A (zh) 2021-03-02
CN112437301B true CN112437301B (zh) 2021-11-02

Family

ID=74690343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011089723.5A Active CN112437301B (zh) 2020-10-13 2020-10-13 一种面向视觉分析的码率控制方法、装置、存储介质及终端

Country Status (1)

Country Link
CN (1) CN112437301B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113225554B (zh) * 2021-03-17 2022-08-16 北京大学 一种基于神经网络的图像编解码方法、装置、存储介质及终端
CN113366531A (zh) * 2021-03-31 2021-09-07 华为技术有限公司 图像处理方式的确定方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070036227A1 (en) * 2005-08-15 2007-02-15 Faisal Ishtiaq Video encoding system and method for providing content adaptive rate control
US20080235222A1 (en) * 2007-03-21 2008-09-25 Aleksandra Mojsilovic System and method for measuring similarity of sequences with multiple attributes
US9781449B2 (en) * 2011-10-06 2017-10-03 Synopsys, Inc. Rate distortion optimization in image and video encoding
US9906782B2 (en) * 2015-01-14 2018-02-27 Cinder LLC Source agnostic audio/visual analysis framework
CN108235018B (zh) * 2017-12-13 2019-12-27 北京大学 一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置
CN108900838B (zh) * 2018-06-08 2021-10-15 宁波大学 一种基于hdr-vdp-2失真准则的率失真优化方法
WO2020019279A1 (zh) * 2018-07-27 2020-01-30 深圳市大疆创新科技有限公司 视频压缩的方法、装置、计算机***和可移动设备

Also Published As

Publication number Publication date
CN112437301A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
RU2740034C1 (ru) Линейный кодер для обработки изображений/видео
US6980695B2 (en) Rate allocation for mixed content video
CN110225343B (zh) 一种视频编码的码率控制方法及装置
CN101401434B (zh) 用于改变视频图像序列的时间频率的方法和装置
CN110620924B (zh) 编码数据的处理方法、装置、计算机设备及存储介质
WO2023134523A1 (zh) 内容自适应视频编码方法、装置、设备和存储介质
CN112437301B (zh) 一种面向视觉分析的码率控制方法、装置、存储介质及终端
CN106961603A (zh) 帧内编码帧码率分配方法和装置
EP3993413A1 (en) Method and device for determining video bitrate, computer apparatus, and storage medium
US7903734B2 (en) Moving image decoding apparatus, moving image decoding method, image decoding method, and image decoding apparatus
JP2005159419A5 (zh)
US10536696B2 (en) Image encoding device and image encoding method
JP6226578B2 (ja) 画像符号化装置、画像符号化方法及びプログラム
CN110740316A (zh) 数据编码方法及装置
CN110913221A (zh) 一种视频码率预测方法及装置
CN110740324B (zh) 编码控制方法及相关装置
CN106921840B (zh) 一种即时视频中的人脸美化方法、设备及***
CN108737826B (zh) 一种视频编码的方法和装置
CN112740687A (zh) 用于对图像执行人工智能编码和人工智能解码的设备和方法
AU2016201449B2 (en) Encoding and decoding using perceptual representations
CN116095355B (zh) 视频显示控制方法及其装置、设备、介质、产品
JPH04336894A (ja) 動画像符号化装置
KR20180021945A (ko) 인지 화질 향상을 위한 주관적 율 제어 방법 및 장치
JP4478480B2 (ja) 動画像符号化装置及びその方法
CN117998088A (zh) 用于视频质量评估的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant