CN102450014B - 用于质量感知视频优化的方法和视频优化器 - Google Patents

用于质量感知视频优化的方法和视频优化器 Download PDF

Info

Publication number
CN102450014B
CN102450014B CN201080023636.8A CN201080023636A CN102450014B CN 102450014 B CN102450014 B CN 102450014B CN 201080023636 A CN201080023636 A CN 201080023636A CN 102450014 B CN102450014 B CN 102450014B
Authority
CN
China
Prior art keywords
quantization parameter
video
frame
compressed
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080023636.8A
Other languages
English (en)
Other versions
CN102450014A (zh
Inventor
M.A.梅利尼克
A.彭纳
J.泰德曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Citrix Systems Inc
Original Assignee
Citrix Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42246235&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN102450014(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Citrix Systems Inc filed Critical Citrix Systems Inc
Publication of CN102450014A publication Critical patent/CN102450014A/zh
Application granted granted Critical
Publication of CN102450014B publication Critical patent/CN102450014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种计算机实现的方法，包括：接收编码视频帧；对接收到的编码视频帧进行解压缩；从解压缩视频帧中提取第一量化参数（QP）；以及基于第一QP来获取ΔQP。所述方法还包括：基于所述ΔQP和所述第一QP来获取第二QP；基于所述第二QP来对解压缩视频帧进行压缩；以及提供压缩视频帧。所述第一QP与最初用于对编码视频帧进行压缩的量化设置相对应。并且，所述第二QP与用于对解压缩视频帧进行压缩的量化设置相对应。

Description

用于质量感知视频优化的方法和视频优化器
相关专利的交叉引用
本申请要求保护于2009年3月31日提交的名称为“A Framework for Quality-Aware Video Optimization”的美国临时申请No. 61/165,224的优先权和权益，该美国临时申请的全部内容并入此处以供参考。
背景技术
量化与感觉质量（perceptual Quality）的关系
在视频处理中，量化是通过将值的范围压缩至单个量子值而实现的有损压缩技术。当在任何***中量化视频帧时，信息丢失。例如，典型的视频编码器（如MPEG-2）可以通过丢弃在解码期间对表示原始图像的图像的重构没有贡献的信息来压缩视频帧。在编码期间丢弃的信息的量取决于如何量化每个视频帧。每个视频压缩格式定义了离散的量化设置集合，并且，每个量化设置具有抽象的标识符，被表示为量化参数（QP）。QP可以被任意定义为例如对量化设置的阵列编索引的整数，使得较小QP值X所引入的量化噪声小于较大QP值X+1所引入的量化噪声。对于每个视频编解码器，由给定的QP值编索引的量化设置可以不同。
如果在量化期间丢弃过多信息，则当在重放期间解压缩视频帧时，该视频帧可以显出失真。这捕获了量化与感觉质量之间的关系。因此，QP可以用作感觉质量的指示符，这是由于QP指示了在对视频帧进行编码时丢弃多少信息。
为了说明QP仅是用于估计视频帧的感觉质量的启发式算法，应当考虑利用精细的量化设置而量化的“低质量”视频帧。如果利用精细的量化设置对视频帧进行编码（这意味着丢弃非常少的信息），则由解码器重构的视频帧将与原始视频帧非常接近地匹配。重构的视频帧中的量化噪声非常低，但是重构的视频帧仍显得具有低质量，这是由于原始视频帧具有低质量。这仅是其中QP不精确指示视频的感觉质量的一个示例。
量化与比特率的关系
在视频处理中，比特率指的是每重放时间单位使用的比特数，以用于表示编码（数据压缩）后的连续视频。当然，不同图像或视频帧可能需要即使在它们共享相同像素尺寸且利用相同QP而编码时表示的不同比特数。然而，对于给定的视频帧，QP与压缩字节大小之间的关系更加可预测。如果较高的QP值表示较粗糙的量化（更多信息损失），则利用较高QP值X+1而量化的帧将决不会比利用较小QP值X而量化的相同帧需要更多比特（这忽略了通常应用于量化系数数据的熵编码方案中的边角情况）。实际上，这意味着：当增大用于对帧进行量化的QP时，帧的平均比特率需求降低。图3示出了视频序列的比特率如何随着QP的增大而降低。图3中的比特率数和QP值仅是示例。在现实生活中，这些数和值可以不同，并且，对于不同视频序列，QP值与比特率之间的相关性可以有变化。
附图说明
图1图示了示例性***的框图。
图2是图示了图1的示例性***中的示例性质量感知视频优化器的实施例的框图。
图3图示了针对各种视频帧序列的、比特率与QP之间的示例性相关性。
图4图示了从QPInput至ΔQP的示例性映射。
图5是图示了图2的实施例中的示例性处理流程的功能图。
图6是表示了质量感知视频优化的示例性方法的流程图。
图7是图示了图1的示例性***中的示例性质量感知视频优化器的另一实施例的框图。
图8是图示了图7的实施例中的示例性处理流程的功能图。
图9是表示了质量感知视频优化的另一示例性方法的流程图。
具体实施方式
现在将详细参照示例性实施例，这些示例性实施例的示例在附图中图示。在任何可能的地方，在全部附图中将使用相同的参考标记来指代相同或相似的部分。
这里公开的示例性实施例涉及用于质量感知视频优化的方法和***。质量感知视频优化是一种技术，用于修改视频帧序列，使得尽可能多地减小视频流的字节大小，而且同时将感觉质量下降限制于可控制的水平。质量感知视频优化技术可以对先前编码的视频帧序列仅需要单遍（single pass），以便优化视频帧序列。现有单遍速率控制技术的问题在于：视频帧的压缩字节大小与其量化参数之间的关系仅在对帧进行编码之后已知。为了在单遍中实现字节减少和可控制的质量下降，质量感知视频优化器可以参考与如何在视频帧的初始编码期间量化视频帧有关的信息，并使用该信息来优化视频帧序列。
用于质量感知视频优化的框架可以调整图像量化，从而通过实验测试来允许在字节减少的内容中对质量下降的精细控制。通过进一步的实验测试，还有可能将量化调整优化应用于代码转换情形，在该情形中，输入和输出压缩格式是不同的。
图1图示了示例性***100的框图。示例性***100可以是在本地连接或网络（如无线网络、互联网、广播网络等）上提供视频内容的任何类型的***。除了别的之外，示例性***100还可以包括用户设备102、网关104、一个或多个网络106和110、视频优化器108以及一个或多个媒体服务器112至114。
用户设备102可以是硬件设备，例如计算机、PDA、蜂窝电话、膝上型计算机、桌上型计算机、VCR、激光盘播放器、DVD播放器、蓝光盘播放器、包括广播调谐器的电视机、或者能够访问数据网络和/或能够播放视频的任何电子设备。用户设备102可以包括：软件应用，其允许用户设备102与数据网络（如网络106）进行通信并从该数据网络接收视频内容。例如，用户设备102可以向媒体服务器发送下载特定视频流传送文件的请求数据，并且，媒体服务器可以向用户设备102传输视频流传送文件。在一些实施例中，视频流传送文件可以路由通过视频优化器108。用户设备102可以提供用于向用户设备的用户显示视频流的显示器以及一个或多个软件应用，如媒体播放器。
在一些实施例中，用户设备102还可以是或包括用于对视频内容进行存储或归档的存储设备。例如，该存储设备可以被提供为视频CD、DVD、蓝光盘、硬盘、磁带、闪速存储器卡/驱动器、易失性或非易失性存储器、全息摄影数据存储器以及任何其他存储介质。
网关104是用作入口或接入装置的一个或多个设备，并且可以或不可以将在一种类型的网络中提供的格式化数据转换成另一种类型的网络所需的特定格式。例如，网关104可以是服务器、路由器、防火墙服务器、主机或视频优化器。例如，网关104可以具有以下能力：将从用户设备102接收到的信号变换为网络106或110可以理解的信号，并且反之亦然。然而，在一些数据网络（如***（4G）或全球微波接入互操作性（WiMAX））中不需要该变换能力。网关104可能能够单独地或以任何组合的方式处理音频、视频和T.120传输，并能够进行全双工媒体转换。此外，网关104可以包括用于质量感知视频优化的视频优化器108。
网络106和110可以包括适于分组类型通信（如互联网通信）的广域网（WAN）、局域网（LAN）或无线网络或者适于分发视频内容的广播网络的任何组合。
视频优化器108可以被实现为提供质量感知视频优化的软件程序和/或硬件设备。视频优化器108是提供用户设备102与媒体服务器112至114之间的通信的服务器。视频优化器108可以执行对先前编码的视频帧序列的单遍、即时的质量感知优化，如下所述。由于视频优化方法对视频帧序列仅需要一遍（one pass），因此视频优化器108完全适于在许多种环境中进行操作。例如，视频优化器108可以是媒体服务器112至114中的任一个或者用户设备102与媒体服务器112至114之间的任何网络设备的一部分。这样，视频优化器108在遍历低容量网络段之前优化现场直播视频馈送。此外，视频优化器108还可以被安装在存储阵列的前部，以在对监视视频进行归档之前优化该监视视频，并且从而节省存储空间。
媒体服务器112至114可以是以下计算机服务器：其从用户设备102接收针对视频内容的请求，处理该请求，并在一些实施例中通过视频优化器108向用户设备102提供视频内容。例如，媒体服务器112至114可以是网络服务器、企业服务器或者任何其他类型的计算机服务器。媒体服务器112至114可以是被编程为接受来自用户设备102的请求（例如HTTP、RTSP或可发起视频会话的其他协议）并利用视频流给用户设备102提供服务的计算机。此外，媒体服务器112至114可以是PDA、蜂窝电话、膝上型计算机、桌上型计算机、或者被配置为在一些实施例中通过一个或多个网络106和110向用户设备102传送视频内容的任何设备。此外，媒体服务器112至114可以是用于在一些实施例中通过视频优化器108向用户设备102分发视频内容的广播设施，如免费节目、电缆、卫星以及其他广播设施。此外，媒体服务器112至114可以是：视频源，例如监视设备，其被配置为捕获视频并在一些实施例中通过视频优化器108向用户设备102传送所捕获的视频。此外，作为图1所示的***100的配置的备选，媒体服务器112至114中的任一个可以包括用于质量感知视频优化的视频优化器108。
图2是图示了图1的示例性***中的示例性质量感知视频优化器108的实施例的框图。为了简明，图2仅图示了视频优化器108，压缩视频帧作为输入（202）并且优化压缩视频帧作为输出（204）。除了别的之外，视频优化器108还可以包括解码器210、QP调整模块220和编码器230。视频优化器108的所示配置仅是示例性的，并可以被修改为提供分立的元件或将多个元件组合为单个的一个元件，并且被提供为硬件和软件组件的任何组合。
参照图2，解码器210可以是对传入的压缩视频帧进行截取和解码（解压缩）的软件程序和/或硬件设备。除了别的之外，每个传入的压缩视频帧还可以包括报头和压缩帧视频。除了别的之外，报头还可以包括已经用于对帧进行压缩的输入QP（QPInput）。
除了别的之外，解码器210还可以包括逆量化器212。对于每个解压缩视频帧，逆量化器212可以从解压缩视频帧中提取QPInput，并将QPInput转发至QP调整模块220。然后，解码器210可以向编码器230传送解压缩视频帧。在一些实施例中，可以将解压缩视频帧存储在数据库（例如缓冲器或队列）中。此外，作为图2所示的视频优化器108的配置的备选，逆量化器212可以位于将解码器210的外部。
质量感知视频优化：QP调整
QP调整模块220可以是用于基于QPInput导出用于对解压缩视频帧进行压缩的输出QP（QPOutput）的软件程序和/或硬件设备。如前所述，由于可以在QP值与视频帧的感觉质量之间以及还可以在QP与视频帧的比特率之间建立关系，因此QP调整模块220可以使用QPInput与QPOutput之间的差（ΔQP）以便同时控制优化压缩视频帧（204）的输出视频帧的比特率降低和感觉质量下降。
参数ΔQP可以被定义为例如：
QPInput + ΔQP = QPOutput
其中QPInput是在最初对输入（压缩）视频帧（202）进行编码时使用的量化参数，并且QPOutput是由QP调整模块220导出以在对解压缩帧进行重新量化时使用的量化参数。对于每个输入视频帧，已知QPInput和压缩字节大小。QP调整模块220可以选择ΔQP值以导出用于对可满足字节大小减小的需求且保持原始感觉质量的输出视频帧进行量化的QPOutput。ΔQP值越小，QPOutput值越小，并且从而将在编码期间丢弃越少信息——感觉质量的下降越少。相反，ΔQP值越大，则QPOutput值越大，并且从而将在编码期间丢弃更多信息——感觉质量的下降更多。
可以利用图3所示的QP 与比特率的关系曲线的两个属性来实现对输入视频帧的优化。第一属性是利用以下事实：当QPInput为高时，小ΔQP对比特率几乎没有影响。这在图3中的曲线的最右侧平坦部分中示出。利用高QPOutput值对视频帧进行量化丢弃了来自原始视频帧的更多信息。为了维持视频帧的原始感觉质量，不能使用高QPOutput值。这与减小字节大小的目标矛盾，这是由于当QPOutput小于QPInput时，帧的字节大小仅可以增大。给定了图3中的QP与比特率的关系曲线的形状，那么当QPIntput为高时，可以使用负ΔQP来导出丢弃更少信息且维持感觉质量的相对较小QPOutput，同时仅以较小量增大字节大小。
要利用的第二属性是：当QPInput为低时，小ΔQP对比特率有较大影响。这在图3中的曲线的最左侧较陡部分中示出。当QPInput为低时，甚至小的正ΔQP也将导致大的字节减小——在编码期间丢弃大量的信息。
这些观察得到了新的函数F，根据QPInput的值来定义ΔQP。ΔQP与QPInput之间的这种关系可以被写为例如：
ΔQP = F(QPInput)
函数F可以是根据上述观察以及对实际视频源的感觉分析来以实验方式导出的。除了别的之外，函数F还可以是例如QPInput与ΔQP之间的映射表。函数F还可以是根据包含例如QPInput与ΔQP之间的映射的数据库来导出的。
返回参照图2，QP调整模块220可以利用函数F来获取ΔQP，并进而使用ΔQP来导出用于对解压缩视频帧进行量化的QPOutput。例如，当QPInput为低或低于预定阈值时，QP调整模块220可以选择正ΔQP。正ΔQP可以在对高质量帧进行重新量化时产生大量的字节节省。基于正ΔQP，QP调整模块220可以导出比QPInput更高的QPOutput值，以便大量地减小字节大小，同时最低限度地降低高质量输入视频帧的原始感觉质量。另一方面，当QPInput为高或高于预定阈值——在对输入视频帧进行原始压缩期间丢弃大量信息时，QP调整模块220可以选择负ΔQP。基于负ΔQP，QP调整模块220可以导出比QPInput更低的QPOutput值，以便保持输入视频帧的原始感觉质量，同时仅最低限度地扩大字节大小。当利用该方法对包括各种质量的帧的正常视频帧序列（202）进行优化时，净字节减小可以是正的。
质量感知视频优化：控制质量下降
在一些实施例中，QP调整模块220还可以获取质量下降偏移（其是指示质量下降量的参数），以在对解压缩视频帧进行优化期间控制质量下降。可以从用于对视频帧进行重新量化的、QPInput与ΔQP值之间的映射中观察到质量下降。图4示出了QPInput与ΔQP之间的两个示例性映射。图4中的ΔQP和QPInput的值仅是示例。在现实生活中，对于不同视频序列，这些值可以不同，并且QPInput与ΔQP之间的映射可以变化。在图4中，更高的曲线产生更多的质量下降，这是由于更高的ΔQP意味着在对帧进行重新量化时丢弃更多信息。
返回参照图2，QP调整模块220可以向ΔQP添加质量下降偏移，以调整在优化期间引入的恒定质量下降。例如，QP调整模块220可以利用以下修正函数来获取ΔQP：
ΔQP = F(QPInput) + D
如上所述，F是公开QPInput与ΔQP之间的相关性的函数。质量下降偏移D是指示质量下降量的参数。除了别的之外，该参数可以基于例如对优化视频的历史数据分析而获得。如果要最小化在优化期间引入的质量下降，则可以将质量下降偏移D的缺省值设置为0。QP调整模块220可以从例如包含例如对优化视频的历史数据分析的数据库获得质量下降偏移。基于QPInput和质量下降偏移，QP调整模块220可以导出ΔQP。然后，QP调整模块220可以使用ΔQP来计算与QPInput相对应的QPOutput。
质量感知视频优化：编解码器之间映射量化参数
在一些实施例中，QP调整模块220还可以考虑输入和输出压缩格式（编解码器）的任意组合之间的差异，并计算考虑输入和输出压缩格式（编解码器）之间的差异的编解码器调整。对于每个视频编解码器，由给定QP指示的量化设置可以不同。两个不同视频编解码器的呈现相同感觉质量的等效或对应量化设置可以由具有不同尺度的两个不同QP值表示。例如，编解码器A中的视频帧的量化设置由QP值20表示，并且编解码器B中的对应量化设置由QP值15表示。为了获得编解码器B中与编解码器A中的由QP值（如20）表示的量化设置相对应的量化设置，QP调整模块220可以将QP值（如20）从编解码器A中的QP尺度转换为编解码器B中的QP尺度，并得到转换后的QP值（如15）。通过具有该功能，质量感知视频优化器108可以在任何代码转换情形中提供优化收益。
如果由解码器210检测到的输入（压缩）视频帧（202）的压缩格式（编解码器）与由编码器230用于对解压缩视频帧进行压缩的压缩格式不同，则在可以计算ΔQP之前，QP调整模块220可以将QPInput从解码器的QP尺度转换为编码器的QP尺度。这可以通过例如以下操作而进行：维持质量感知视频优化器所支持的解码器和编码器的每个组合的QP尺度之间的映射。例如，QP尺度之间的映射使来自编解码器A的所有QP与编解码器B的那些QP相关，使得利用编解码器A编码的视频帧可以产生与在利用编解码器B进行编码时相同的感觉质量。这些映射可以是以实验方式确定的，并可以由QP调整模块220在QP调整步骤中实现。如果输入编解码器与输出编解码器相同，则可以不转换QPInput或者转换后的QPInput与所述QPInput相同。
基于转换后的QPInput、质量下降偏移，QP调整模块220可以导出ΔQP。备选地，QP调整模块220可以基于对输入和输出压缩格式是否相同的确定来获得考虑输入和输出压缩格式（编解码器）之间的差异的编解码器调整。基于QPInput、编解码器调整和质量下降偏移，QP调整模块220可以计算ΔQP。然后，QP调整模块220可以基于ΔQP来计算QPOutput，并将QPOutput转发至编码器230。
编码器230可以是接收解压缩视频帧并对视频帧进行编码（压缩）的软件程序和/或硬件设备。除了别的之外，编码器230还可以包括量化器232。量化器232接收QPOutput和对应的解压缩视频帧，并通过将由QPOutput表示的量化设置应用于对视频帧的编码（压缩）来优化视频帧。然后，视频优化器108将优化压缩视频帧输出并传输（204）至目的地。此外，作为图2所示的视频优化器108的配置的备选，量化器232可以位于编码器230的外部。
视频优化器可以逐一地处理传入的压缩视频帧（202），并即时地且在单遍中将上述视频质量感知优化过程应用于每个视频帧。在需要时可以将视频优化器安装在任何位置处，并且在任何需要的时候，视频优化器可以应用质量感知视频优化。
图5是图示了图2的实施例中的示例性处理流程的功能图。在不脱离示例性实施例的情况下，可以更改该示例性处理流程以删除步骤、改变步骤顺序或包括附加步骤。
在从数据网络接收到（202）压缩视频帧之后，视频优化器108可以将压缩视频帧引导至解码器210。解码器210可以对传入的压缩视频帧进行截取和解码（解压缩）。解码器210的逆量化器212可以从解压缩视频帧中提取最初用于对传入的压缩视频帧进行压缩的QPInput。然后，解码器210或逆量化器212可以将所提取的QPInput传递（502）至QP调整模块220，并将解压缩视频帧传送（504）至编码器230。
如果输入压缩视频帧（202）和输出压缩视频帧（204）具有不同压缩格式（编解码器），那么基于QPInput，QP调整模块220可以将QPInput从解码器210的QP尺度转换为编码器230的QP尺度。该转换可以基于质量感知视频优化器所支持的输入编解码器和输出编解码器的每个组合的QP尺度之间的映射。如果输入编解码器与输出编解码器相同，则可以不转换QPInput或者转换后的QPInput与所述QPInput相同。
此外，在一些实施例中，QP调整模块220可以获取指示质量下降量的质量下降偏移，以控制在对解压缩视频帧进行优化期间引入的质量下降。可以将质量下降偏移的缺省值设置为0，这表示引入了最小质量下降。可以例如从包含例如对优化视频的历史数据分析的数据库获得质量下降偏移。基于转换后的QPInput和质量下降偏移，QP调整模块220可以计算用于导出与传入的QPInput相对应的QPOutput的ΔQP，并将QPOutput转发（506）至编码器230。
在接收到（504、506）解压缩视频帧和对应的QPOutput之后，编码器230的量化器232通过将由QPOutput指示的量化设置应用于对解压缩视频帧的编码（压缩）来优化视频帧。该优化可以包括：例如，在试图保持压缩视频帧的原始感觉质量的同时减小压缩视频帧的字节大小。在该优化之后，视频优化器108将优化压缩视频帧输出并传输（204）至目的地（如用户设备102）。
图6是表示了质量感知视频优化的示例性方法的流程图。在不脱离示例性实施例的情况下，可以更改该示例性处理流程以删除步骤、改变步骤顺序或包括附加步骤。
在接收到（602）压缩视频帧之后，视频优化器对视频帧进行解码（解压缩）（604），并从解码（解压缩）视频帧中提取（606）输入QP值。此外，视频优化器可以获得（608）编解码器调整，该编解码器调整考虑输入和输出压缩格式（编解码器）之间的差异。视频优化器可以基于对编码编解码器（输出视频压缩格式）是否与解码编解码器（输入视频压缩格式）不同的确定来执行该步骤。如果输入编解码器与输出编解码器相同，则可以将编解码器调整的缺省值设置为0。
在步骤610，视频优化器可以获取指示质量下降量的质量下降偏移，以控制在对解压缩视频帧进行优化期间引入的质量下降。如果要最小化质量下降，则可以将质量下降偏移的缺省值设置为0。可以基于例如对优化视频的历史数据的分析来获得质量下降偏移。基于输入QP、编解码器调整和质量下降偏移，视频优化器可以计算ΔQP。ΔQP与用于优化解压缩视频帧的、输入QP和输出QP之间的差异相对应。然后，视频优化器可以基于ΔQP来导出（612）输出QP。
备选地，视频优化器可以基于对编码编解码器是否与解码编解码器不同的确定，将输入QP值从解码（输入）QP尺度转换为编码（输出）QP尺度。如果解码编解码器与编码编解码器相同，则可以不转换输入QP或者转换后的输入QP与所述输入QP相同。基于转换后的输入QP和质量下降偏移，视频优化器可以计算ΔQP，并从而使用ΔQP来导出（612）用于对解压缩视频帧进行优化的输出QP。
在已导出输出QP之后，视频优化器可以通过基于与所导出的输出QP相对应的量化设置对解码（解压缩）视频帧进行编码（压缩），来优化（614）该解码（解压缩）视频帧。该优化可以修改解压缩视频帧，从而尽可能多地减小压缩视频帧的字节大小，而且同时将感觉质量下降限制于可控制的水平。视频优化器可以将优化视频帧传输（616）至目的地。然后，该方法可以结束（618）。
图7是图示了图1的示例性***中的示例性质量感知视频优化器108的另一实施例的框图。图7中的***具有与图2中的组件类似的组件，除了在图7中，视频优化器108具有用于补偿可在优化期间引入的字节大小扩大的扩大防止模块710。图7中的视频优化器108的所示配置仅是示例性的，并可以被修改为提供分立的元件或将多个元件组合为单个元件，并且可以被提供为硬件和软件的任何组合。
质量感知视频优化：应用压缩反馈以防止扩大
可以发生如下情形：其中视频流（202）的输入视频帧中的至少一些的QPInput值为高，并因此QP调整模块220可以针对这些帧选择负ΔQP值，以保持视频流的原始感觉质量。高QPInput值指示输入视频帧（202）在其原始压缩期间已经丢失大量信息。在质量感知视频优化过程期间，不期望另外丢弃来自输入视频帧的更多信息。QP调整模块220可以选择用于导出低QPOutput值的负ΔQP值，从而保持视频流的原始感觉质量。然而，负ΔQP值和低QPOutput值可以扩大视频流的字节大小。尽管字节大小扩大的程度可能较小，但是通常不期望提高视频流的字节存储需求。
扩大防止模块710可以利用反馈机制来调整任何潜在扩大的ΔQP值。在一些实施例中，对于当前正在处理的视频流，扩大防止模块710可以利用以下补偿函数，该补偿函数考虑了到目前为止编码的至少一些视频帧的总字节大小和到目前为止解码的至少一些视频帧的总子节大小。在一些实施例中，对于当前正在处理的视频流，扩大防止模块710可以利用以下补偿函数，该补偿函数考虑了到目前为止编码的所有视频帧的总字节大小和到目前为止解码的所有视频帧的总字节大小。补偿函数可以输出正值以补偿字节大小扩大。然后，扩大防止模块710还可以基于字节大小扩大调整（补偿函数的输出）来调整ΔQP值，以保持输入视频帧的原始感觉质量，同时避免或最小化字节大小扩大。
对于要编码的每个视频帧，ΔQP可以被计算为例如：
ΔQP = F(QPInput) + D + C(InputBytes, OutputBytes)
如先前在这里所述，F是公开QPInput与ΔQP之间的相关性的函数，并且参数D是指示要在重新量化期间引入的质量下降量的质量下降偏移。函数C是补偿函数。在一些实施例中，符号InputBytes（输入字节）表示先前针对当前正在处理的视频流而解码的至少一些帧的总字节大小，并且符号OutputBytes（输出字节）表示先前针对当前正在处理的视频流而编码的至少一些帧的总字节大小。在一些实施例中，符号InputBytes表示先前针对当前正在处理的视频流而解码的所有帧的总字节大小，并且符号OutputBytes表示先前针对当前正在处理的视频流而编码的所有帧的总字节大小。视频优化器108可以跟踪当前正在处理的视频帧流的InputBytes和OutputBytes。还可以从包含例如针对当前正在处理的视频帧流而到目前为止编码的视频帧的总字节大小和到目前为止解码的视频帧的总字节大小的数据库获得InputBytes和OutputBytes。如果未发生字节大小扩大，则补偿函数可以输出0值。
在QP调整模块220已经基于QPInput和质量下降偏移计算出ΔQP之后，扩大防止模块710可以基于字节大小扩大调整来调整ΔQP。然后，基于调整后的ΔQP，扩大防止模块710可以导出用于对正在处理的解压缩视频帧进行优化的QPOutput。在一些实施例中，QP调整模块220和扩大防止模块710可以被组合为一个组件。组合组件可以基于QPInput、质量下降偏移和字节大小扩大调整来计算ΔQP，并且还使用ΔQP来导出用于对解压缩视频帧进行优化的QPOutput。
组件的其余部分以与以上在图2中提供的组件类似的方式运行。扩大防止机制可以帮助保持已经在原始压缩期间丢失大量信息的视频流的原始感觉质量，同时尽可能多地减小视频流的字节大小。
图8是图示了图7的实施例中的示例性处理流程的功能图。图8中的***具有与图5中的组件类似的组件，除了在图8中，视频优化器108提供了用于在计算ΔQP时补偿字节大小扩大的扩大防止模块710。在不脱离示例性实施例的情况下，可以更改该示例性处理流程以删除步骤、改变步骤顺序或包括附加步骤。
在已经计算出输入压缩视频帧的ΔQP之后，QP调整模块220将计算出的ΔQP提供（802）给扩大防止模块710。扩大防止模块710可以检索历史字节大小数据或历史扩大数据。历史字节大小数据可以包括例如由视频优化器108保存或在数据库中保存的InputBytes（先前针对当前正在处理的视频帧流而解码的所有或一些帧的总字节大小）和OutputBytes（先前针对当前正在处理的视频帧流而编码的所有或一些帧的总字节大小）。历史扩大数据可以包括例如已经在当前正在处理的视频帧流的一些帧的视频优化期间引入的字节大小扩大。基于历史字节大小数据或历史扩大数据，扩大防止模块710可以基于由QP调整模块220提供的ΔQP来估计要在视频优化期间引入的字节大小扩大。然后，扩大防止模块710可以通过补偿所估计出的字节大小扩大来调整ΔQP。调整后的ΔQP可以帮助保持输入压缩视频帧的原始感觉质量，同时尽可能多地减小视频帧的字节大小。基于调整后的ΔQP，扩大防止模块710可以导出与传入的QPInput相对应的QPOutput，并将QPOutput转发（506）至编码器230。
通信流程的其余部分与以上在图5中提供的通信流程类似。
图9是表示了质量感知视频优化的另一示例性方法的流程图。在不脱离示例性实施例的情况下，可以更改示例性处理流程以删除步骤、改变步骤顺序或包括附加步骤。
在接收到（902）压缩视频帧之后，视频优化器对视频帧进行解码（解压缩）（904），并从解码（解压缩）视频帧中提取（906）输入QP值。此外，视频优化器可以基于对编码编解码器（输出视频压缩格式）与解码编解码器（输入视频压缩格式）不同的确定，将输入QP值从解码QP尺度转换（908）为编码QP尺度。该转换考虑输入和输出压缩格式（编解码器）之间的差异。如果编码编解码器与解码编解码器相同，则不转换输入QP值或者转换后的输入QP值与所述输入QP值相同。
在步骤910，视频优化器还可以获取质量下降偏移，其指示要在对解压缩视频帧进行优化期间引入的质量下降量。如果要最小化质量下降，则可以将质量下降偏移的缺省值设置为0。可以基于例如对优化视频的历史数据的分析来获得质量下降偏移。
视频优化器还可以基于当前正在处理的视频流的历史数据来获得（912）字节大小扩大调整。历史数据可以包括视频流的历史字节大小数据或历史扩大数据。历史字节大小数据可以包括例如先前针对视频流而解码的所有或一些帧的总字节大小以及先前针对视频流而编码的所有或一些帧的总子节大小。历史扩大数据可以包括例如已经在当前处理视频帧流的一些帧的视频优化期间引入的字节大小扩大。在一些实施例中，可以从数据库检索历史数据。字节大小扩大调整可以补偿要在对解压缩视频帧进行优化期间引入的字节大小扩大。如果未引入字节大小扩大，则可以将字节大小扩大调整的缺省值设置为0。
基于转换后的输入QP、质量下降偏移和字节大小扩大调整，视频优化器可以计算ΔQP。ΔQP与用于对解压缩视频帧进行优化的、输入QP和输出QP之间的差异相对应。然后，视频优化器可以基于ΔQP来导出（914）输出QP。
备选地，视频优化器可以首先基于转换后的输入QP和质量下降偏移来计算ΔQP，并且然后基于字节大小扩大调整来调整ΔQP。基于调整后的ΔQP，视频优化器可以导出（914）用于对解压缩视频帧进行优化的输出QP。
在已导出输出QP之后，视频优化器可以通过基于与所导出的输出QP相对应的量化设置对解码（解压缩）视频帧进行编码（压缩），来优化（916）解码（解压缩）视频帧。该优化可以修改解压缩视频帧，从而尽可能多地减小压缩视频帧的字节大小，而且同时将感觉质量下降限制于可控制的水平。视频优化器可以将优化视频帧传输（918）至目的地。然后，该方法可以结束（920）。
这里公开的方法可以被实现为计算机程序产品，即，有形体现在信息载体中（例如，有形体现在机器可读存储器件中以由数据处理设备（如可编程处理器、计算机或多个计算机）执行或者以便控制所述数据处理设备的操作）的计算机程序。计算机程序可以是以任何形式的编程语言编写的，该编程语言包括编译或解译后的语言，并且，计算机程序可以是以任何形式布置的，该形式包括作为独立程序或作为模块、组件、子例程或适于用在计算环境中的其他单元。计算机程序可以被布置为在一个计算机上执行或者在处于一个站点处或分布在多个站点上且由通信网络互连的多个计算机上执行。
这里公开的方法的部分或全部还可以由专用集成电路（ASIC）、现场可编程门阵列（FPGA）、复杂可编程逻辑器件（CPLD）、印制电路板（PCB）、数字信号处理器（DSP）、可编程逻辑组件和可编程互连的组合、单个中央处理单元（CPU）芯片、在母板上组合的CPU芯片、通用计算机、或者能够执行这里公开的质量感知视频优化的设备或模块的任何其他组合来实现。
在以上说明书中，已参照具体示例性实施例描述了本发明。然而，显而易见，在不脱离所跟随的权利要求中阐述的本发明的更宽精神和范围的情况下，可以进行各种修改和改变。说明书和附图相应地被视为说明性的而非限制性的。在考虑了这里公开的本发明的说明书和实施的情况下，其他实施例对于本领域技术人员来说显而易见。

Claims (23)

1.一种用于质量感知视频优化的方法，包括：
接收编码视频帧；
对接收到的编码视频帧进行解压缩；
从解压缩视频帧中提取第一量化参数，其中，第一量化参数与最初用于对编码视频帧进行压缩的量化设置相对应；
基于所述第一量化参数来获取Δ量化参数；
基于先前解压缩的帧的总字节大小与先前压缩之后的帧的总字节大小之间的比较来获取扩大调整，其中所述扩大调整用于补偿要在对解压缩视频帧进行优化期间引入的字节大小扩大，其中，接收到的编码视频帧和先前解压缩的帧是包括多个视频帧的序列的一部分；
基于所述Δ量化参数、所述第一量化参数和所述扩大调整来获取第二量化参数，其中所述第二量化参数与用于对解压缩视频帧进行压缩的量化设置相对应，并且其中所述第二量化参数不同于所述Δ量化参数；
基于所述第二量化参数来对解压缩视频帧进行压缩；以及
提供经压缩的视频帧。
2.根据权利要求1所述的方法，还包括：
确定接收到的编码视频帧的压缩格式是否与要用于对解压缩视频帧进行压缩的压缩格式不同；以及
基于所述确定，将所述第一量化参数从输入量化参数尺度转换为输出量化参数尺度，其中，所述输入量化参数尺度与接收到的编码视频帧的压缩格式相对应，并且所述输出量化参数尺度与所述要用于对解压缩视频帧进行压缩的压缩格式相对应；
其中所述第二量化参数基于转换后的第一量化参数、所述扩大调整和所述Δ量化参数来获取。
3.根据权利要求2所述的方法，其中，转换所述第一量化参数还基于所述输入量化参数尺度与所述输出量化参数尺度之间的映射。
4.根据权利要求1所述的方法，其中，获取Δ量化参数还基于所述第一量化参数与所述Δ量化参数之间的映射。
5.根据权利要求1所述的方法，其中，获取Δ量化参数包括：
如果所述第一量化参数的值低于阈值，则针对所述Δ量化参数选择正值。
6.根据权利要求1所述的方法，其中，获取Δ量化参数包括：
如果所述第一量化参数的值高于阈值，则针对所述Δ量化参数选择负值。
7.根据权利要求1所述的方法，还包括：
获取质量下降偏移，所述质量下降偏移用于控制要在对解压缩视频帧进行压缩期间引入的视频质量下降的量；以及
基于所述质量下降偏移、所述第一量化参数和所述Δ量化参数来获取所述第二量化参数。
8.根据权利要求7所述的方法，其中，获取质量下降偏移能够基于对压缩视频的历史数据的分析。
9.根据权利要求7所述的方法，其中，如果在压缩期间引入最小质量下降，则能够将所述质量下降偏移的缺省值设置为0。
10.一种用于质量感知视频优化的方法，包括：
对作为包括多个视频帧的序列的一部分的接收到的编码视频帧进行解压缩；
从解压缩视频帧中提取第一量化参数，其中，第一量化参数与最初用于对编码视频帧进行压缩的量化设置相对应；
基于所述第一量化参数来获取Δ量化参数；
基于关于所述序列的历史数据来获取扩大调整，其中所述扩大调整用于补偿要在对解压缩视频帧进行优化期间引入的字节大小扩大；
基于所述Δ量化参数和所述扩大调整来获取第二量化参数，其中，所述第二量化参数与用于对解压缩视频帧进行压缩的量化设置相对应，且其中所述第二量化参数不同于所述Δ量化参数；以及
基于所述第二量化参数来对解压缩视频帧进行压缩，
其中，关于所述序列的历史数据包括已经在对序列帧的至少一些进行压缩期间引入的字节大小扩大。
11.根据权利要求10所述的方法，其中，关于所述序列的历史数据包括先前解压缩的序列帧的至少一些的字节大小和先前压缩之后的序列帧的至少一些的字节大小。
12.根据权利要求10所述的方法，其中，获取扩大调整基于先前解压缩的序列帧的至少一些的字节大小与先前压缩之后的序列帧的至少一些的字节大小之间的比较。
13.一种视频优化器，包括：
解码器，其被配置为对接收到的编码视频帧进行解压缩，其中，解压缩视频帧包括与最初用于对编码视频帧进行压缩的量化设置相对应的第一量化参数；
量化参数调整模块，其被配置为基于第一量化参数来获得Δ量化参数；
扩大防止模块，所述扩大防止模块被配置为：
基于先前解压缩的帧的总字节大小与先前压缩之后的帧的总字节大小之间的比较来获取扩大调整，其中所述扩大调整用于补偿要在对解压缩视频帧进行优化期间引入的字节大小扩大，其中，接收到的编码视频帧和先前解压缩的帧是包括多个视频帧的序列的一部分；以及
基于所述Δ量化参数、所述第一量化参数和所述扩大调整来获取第二量化参数，其中所述第二量化参数与用于对解压缩视频帧进行压缩的量化设置相对应，并且其中所述第二量化参数不同于所述Δ量化参数；以及
编码器，其被配置为基于所述第二量化参数来对解压缩视频帧进行压缩。
14.根据权利要求13所述的视频优化器，还包括：逆量化器，其被配置为对接收到的编码视频帧进行解压缩并从解压缩视频帧中提取所述第一量化参数。
15.根据权利要求13所述的视频优化器，其中，所述量化参数调整模块还被配置为：
获取压缩格式调整，所述压缩格式调整考虑接收到的编码视频帧的压缩格式与要用于对解压缩视频帧进行压缩的压缩格式之间的差异；以及
基于所述压缩格式调整，将所述第一量化参数从输入量化参数尺度转换为输出量化参数尺度，其中，所述输入量化参数尺度与接收到的编码视频帧的压缩格式相对应，并且所述输出量化参数尺度与所述要用于对解压缩视频帧进行压缩的压缩格式相对应；
其中所述第二量化参数基于转换后的第一量化参数、所述扩大调整和所述Δ量化参数来获得。
16.根据权利要求15所述的视频优化器，其中，所述量化参数调整模块还被配置为从包含所述输入量化参数尺度与所述输出量化参数尺度之间的映射的数据库获得所述压缩格式调整。
17.根据权利要求13所述的视频优化器，其中，所述量化参数调整模块还被配置为从包含所述第一量化参数与所述Δ量化参数之间的映射的数据库获得所述Δ量化参数。
18.根据权利要求13所述的视频优化器，其中，所述量化参数调整模块还被配置为：
获取质量下降偏移，所述质量下降偏移用于控制要在对解压缩视频帧进行压缩期间引入的视频质量下降的量；以及
基于所述质量下降偏移、所述第一量化参数和所述Δ量化参数来获得所述第二量化参数。
19.根据权利要求18所述的视频优化器，其中，所述量化参数调整模块还被配置为从包含压缩视频的历史数据分析的数据库获取所述质量下降偏移。
20.根据权利要求13所述的视频优化器，还包括量化器，其被配置为通过将由所述第二量化参数表示的量化设置应用于对解压缩视频帧的压缩来对解压缩视频帧进行压缩。
21.一种视频优化器，包括：
解码器，其被配置为对作为多个视频帧的序列的一部分的接收到的编码视频帧进行解压缩，其中，解压缩视频帧包括与最初用于对编码视频帧进行压缩的量化设置相对应的第一量化参数；
量化参数调整模块，其被配置为基于第一量化参数来获取Δ量化参数；
扩大防止模块，其被配置为基于关于所述序列的历史数据来获取扩大调整并基于所述Δ量化参数和所述扩大调整来获取第二量化参数，其中所述扩大调整用于补偿要在对解压缩视频帧进行优化期间引入的字节大小扩大，其中，所述第二量化参数与用于对解压缩视频帧进行压缩的量化设置相对应，且其中所述第二量化参数不同于所述Δ量化参数；以及
编码器，其被配置为基于所述第二量化参数来对解压缩视频帧进行压缩，其中，关于所述序列的历史数据包括已经在对序列帧的至少一些进行压缩期间引入的字节大小扩大。
22.根据权利要求21所述的视频优化器，其中，关于所述序列的历史数据包括先前解压缩的序列帧的至少一些的字节大小和先前压缩之后的序列帧的至少一些的字节大小。
23.根据权利要求21所述的视频优化器，其中，所述扩大防止模块还被配置为：基于先前解压缩的序列帧的至少一些的字节大小与先前压缩之后的序列帧的至少一些的字节大小之间的比较来获取扩大调整。
CN201080023636.8A 2009-03-31 2010-03-31 用于质量感知视频优化的方法和视频优化器 Active CN102450014B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16522409P 2009-03-31 2009-03-31
US61/165224 2009-03-31
PCT/US2010/000988 WO2010117432A2 (en) 2009-03-31 2010-03-31 A framework for quality-aware video optimization

Publications (2)

Publication Number Publication Date
CN102450014A CN102450014A (zh) 2012-05-09
CN102450014B true CN102450014B (zh) 2017-07-14

Family

ID=42246235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080023636.8A Active CN102450014B (zh) 2009-03-31 2010-03-31 用于质量感知视频优化的方法和视频优化器

Country Status (4)

Country Link
US (2) US9894361B2 (zh)
EP (1) EP2415269B1 (zh)
CN (1) CN102450014B (zh)
WO (1) WO2010117432A2 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102450014B (zh) 2009-03-31 2017-07-14 茨特里克斯***公司 用于质量感知视频优化的方法和视频优化器
US9749713B2 (en) 2009-10-15 2017-08-29 Citrix Systems, Inc. Budget encoding
US10897625B2 (en) * 2009-11-20 2021-01-19 Texas Instruments Incorporated Block artifact suppression in video coding
US10095378B2 (en) 2010-11-18 2018-10-09 Performance and Privacy Ireland Limited Web browser toolbar
US9237363B2 (en) * 2011-02-12 2016-01-12 Openwave Mobility, Inc. Dynamic injection of metadata into flash video
WO2012170910A1 (en) * 2011-06-10 2012-12-13 Bytemobile, Inc. Macroblock-level adaptive quantization in quality-aware video optimization
WO2014011622A2 (en) 2012-07-09 2014-01-16 Vid Scale, Inc. Power aware video decoding and streaming
CN105122305B (zh) * 2013-01-22 2018-10-30 美国莱迪思半导体公司 用于助益有对媒体流的图像的高抖动容限的动态相位检测的机制
US10284849B2 (en) * 2015-04-13 2019-05-07 Qualcomm Incorporated Quantization parameter (QP) calculation for display stream compression (DSC) based on complexity measure
KR102601732B1 (ko) * 2016-05-31 2023-11-14 삼성디스플레이 주식회사 영상 부호화 방법 및 영상 복호화 방법
RU2730435C1 (ru) 2017-04-21 2020-08-21 Зенимакс Медиа Инк. Системы и способы рендеринга с адаптируемым качеством под управлением кодировщика
CN108391127B (zh) * 2018-04-27 2021-08-10 腾讯科技（深圳）有限公司 视频编码方法、装置、存储介质及设备
CN111225277A (zh) * 2018-11-27 2020-06-02 北京达佳互联信息技术有限公司 转码方法、转码装置和计算机可读存储介质
CN112565755B (zh) * 2019-09-10 2023-05-16 广州虎牙科技有限公司 视频帧编码方法、装置、电子设备及可读存储介质
CN112954350B (zh) * 2021-03-26 2024-01-30 中南大学 一种基于帧分类的视频后处理优化方法及装置
CN113938689B (zh) * 2021-12-03 2023-09-26 北京达佳互联信息技术有限公司 量化参数确定方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997037322A1 (en) * 1996-03-29 1997-10-09 Sarnoff Corporation Apparatus and method for optimizing encoding and performing automated steerable image compression using a perceptual metric
CN1204747C (zh) * 2002-12-23 2005-06-01 乐金电子（沈阳）有限公司 影像转换编码装置
CN1631041A (zh) * 2001-11-21 2005-06-22 Vixs***公司 视频变码中的速率控制方法和***

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115420A (en) * 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
US6574274B2 (en) 1998-02-27 2003-06-03 Sony Corporation Picture signal processing system, decoder, picture signal processing method, and decoding method
US6661927B1 (en) * 2000-07-27 2003-12-09 Motorola, Inc. System and method for efficiently encoding an image by prioritizing groups of spatially correlated coefficients based on an activity measure
KR100433516B1 (ko) 2000-12-08 2004-05-31 삼성전자주식회사 트랜스코딩 방법
US20040141732A1 (en) 2003-01-22 2004-07-22 Kenji Sugiyama Moving-picture code amount control method, moving-picture recording method, moving-picture code amount control apparatus and moving-picture recording apparatus
US7675970B2 (en) 2004-01-12 2010-03-09 General Instrument Corporation Method and apparatus for processing a bitstream in a digital video transcoder
US7397855B2 (en) * 2004-04-14 2008-07-08 Corel Tw Corp. Rate controlling method and apparatus for use in a transcoder
US7447978B2 (en) 2004-11-16 2008-11-04 Nokia Corporation Buffering packets of a media stream
EP1727371A1 (en) 2005-05-27 2006-11-29 Thomson Licensing Method for controlling the encoder output bit rate in a block-based video encoder, and corresponding video encoder apparatus
US20070274385A1 (en) * 2006-05-26 2007-11-29 Zhongli He Method of increasing coding efficiency and reducing power consumption by on-line scene change detection while encoding inter-frame
US7773672B2 (en) * 2006-05-30 2010-08-10 Freescale Semiconductor, Inc. Scalable rate control system for a video encoder
WO2008029640A1 (en) 2006-09-05 2008-03-13 Panasonic Corporation Method and device for playing video data of high bit rate format by player suitable to play video data of low bit rate format
WO2008098249A1 (en) 2007-02-09 2008-08-14 Dilithium Networks Pty Ltd. Method and apparatus for the adaptation of multimedia content in telecommunications networks
US8635360B2 (en) 2007-10-19 2014-01-21 Google Inc. Media playback point seeking using data range requests
US8542730B2 (en) * 2008-02-22 2013-09-24 Qualcomm, Incorporated Fast macroblock delta QP decision
WO2009114111A2 (en) 2008-03-12 2009-09-17 Packetvideo Corp. System and method for reformatting digital broadcast multimedia for a mobile device
WO2010030569A2 (en) 2008-09-09 2010-03-18 Dilithium Networks, Inc. Method and apparatus for transmitting video
US20100166060A1 (en) * 2008-12-31 2010-07-01 Texas Instruments Incorporated Video transcoder rate control
CN102450014B (zh) 2009-03-31 2017-07-14 茨特里克斯***公司 用于质量感知视频优化的方法和视频优化器
US9749713B2 (en) 2009-10-15 2017-08-29 Citrix Systems, Inc. Budget encoding
WO2012170910A1 (en) 2011-06-10 2012-12-13 Bytemobile, Inc. Macroblock-level adaptive quantization in quality-aware video optimization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997037322A1 (en) * 1996-03-29 1997-10-09 Sarnoff Corporation Apparatus and method for optimizing encoding and performing automated steerable image compression using a perceptual metric
CN1631041A (zh) * 2001-11-21 2005-06-22 Vixs***公司 视频变码中的速率控制方法和***
CN1204747C (zh) * 2002-12-23 2005-06-01 乐金电子（沈阳）有限公司 影像转换编码装置

Also Published As

Publication number Publication date
US20100254451A1 (en) 2010-10-07
CN102450014A (zh) 2012-05-09
US20180131937A1 (en) 2018-05-10
EP2415269A2 (en) 2012-02-08
WO2010117432A3 (en) 2011-01-06
US9894361B2 (en) 2018-02-13
EP2415269B1 (en) 2020-03-11
US10412388B2 (en) 2019-09-10
WO2010117432A2 (en) 2010-10-14

Similar Documents

Publication Publication Date Title
CN102450014B (zh) 用于质量感知视频优化的方法和视频优化器
CN103828369B (zh) 质量感知视频优化中的宏块级自适应量化
US9749713B2 (en) Budget encoding
CN105393516B (zh) 在自适应流送中用缓冲器和范围约束来进行质量优化的方法、装置及计算机可读存储介质
US9288251B2 (en) Adaptive bitrate management on progressive download with indexed media files
TWI423681B (zh) ***體串流編碼的方法及系統
US8675728B2 (en) Transmitting apparatus and method, and receiving apparatus and method
US20060050970A1 (en) Method and apparatus for transmitting a coded video signal
US20130083848A1 (en) Systems and methods for dynamic transcoding of indexed media file formats
US9860543B2 (en) Rate control for content transcoding
US8842159B2 (en) Encoding processing for conferencing systems
CN105379293A (zh) 基于超文本协议的动态自适应流媒体中的媒体质量信息指示
MX2013008757A (es) Control de velocidad de bits adaptativa basado en escenas.
CN111263192A (zh) 视频处理方法及相关设备
US9665646B1 (en) Method and system for providing bit rate adaptaion to video files having metadata
KR20090085636A (ko) 스케일링가능한 비트스트림 추출을 위한 방법 및 시스템
EP3123730B1 (en) Enhanced distortion signaling for mmt assets and isobmff with improved mmt qos descriptor having multiple qoe operating points
EP3058658B1 (en) Cloud encoding system
CN114079535B (zh) 转码方法、装置、介质和电子设备
WO2023130893A1 (zh) 流媒体传输方法、装置、电子设备及计算机可读存储介质
EP4209057A1 (en) A method of controlling energy consumed by a multimedia streaming application
CN118199797A (zh) 5g直播场景下的网内前向纠错编码方法
JP4343913B2 (ja) 画像通信システム，画像配信システム，画像通信方法，画像配信システム制御プログラムおよびそのプログラム記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1170614

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: CITRIX SYSTEMS INC

Free format text: FORMER OWNER: BYTEMOBILE INC.

Effective date: 20131225

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20131225

Address after: American Florida

Applicant after: Citrix Systems Inc

Address before: American California

Applicant before: Bytemobile Inc.

ASS Succession or assignment of patent right

Owner name: BYTEMOBILE INC.

Free format text: FORMER OWNER: CITRIX SYSTEMS INC

Effective date: 20150805

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150805

Address after: American Florida

Applicant after: Bytemobile Inc.

Address before: American Florida

Applicant before: Citrix Systems Inc

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160215

Address after: American Florida

Applicant after: Citrix Systems Inc

Address before: American Florida

Applicant before: Bytemobile Inc.

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1170614

Country of ref document: HK