CN104685878B - 具有颜色空间缩放性的视频压缩 - Google Patents

具有颜色空间缩放性的视频压缩 Download PDF

Info

Publication number
CN104685878B
CN104685878B CN201380049359.1A CN201380049359A CN104685878B CN 104685878 B CN104685878 B CN 104685878B CN 201380049359 A CN201380049359 A CN 201380049359A CN 104685878 B CN104685878 B CN 104685878B
Authority
CN
China
Prior art keywords
color space
image
video
prediction
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380049359.1A
Other languages
English (en)
Other versions
CN104685878A (zh
Inventor
路易斯·约瑟夫·凯罗夫斯基
凯兰·穆凯什·米斯拉
金昇焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/631,558 external-priority patent/US20140086316A1/en
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN104685878A publication Critical patent/CN104685878A/zh
Application granted granted Critical
Publication of CN104685878B publication Critical patent/CN104685878B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/24—High-definition television systems
    • H04N11/26—High-definition television systems involving two-channel transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/24—High-definition television systems
    • H04N11/28—High-definition television systems involving bandwidth reduction, e.g. subsampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种图像解码器包括基层，以将编码视频流的至少一部分解码为具有第一图像格式的第一图像。图像解码器可以通过将第一图像格式的第一图像的颜色空间缩放为对应于第二图像格式的颜色空间，产生颜色空间预测。图像解码器包括增强层，以至少部分地基于颜色空间预测，将编码视频流解码，来产生基于第二图像格式的第二图像。

Description

具有颜色空间缩放性的视频压缩
技术领域
本公开一般涉及视频编译，更具体地涉及用于视频编译的颜色空间预测。
背景技术
本申请要求于2012年9月24日提交的美国临时专利申请No.61/704,776、2012年9月28日提交的美国专利申请No.13/631,558、2012年12月20日提交的美国临时专利申请No.61/739,907、2013年2月4日提交的美国临时专利申请No.61/760,634的优先权，其全部通过引用被合并于此。
很多***包括视频编码器，以实施视频编译标准，并压缩视频数据，用于通过具有有限的带宽和/或有限的存储容量的信道进行传输。为了更有效地将帧编码，这些视频编译标准可包括多个编译阶段，例如帧内预测、从空间域到频域的变换、从频域到空间域的逆变换、量化、熵编译、运动估计和运动补偿。
发明内容
技术问题
传统的数字高清(HD)内容可以按照通过视频编译标准国际电信联盟无线电通信部门(ITU-R)建议BT.709描述的格式来表示，BT.709限定分辨率、色域、伽玛校正、以及用于视频内容的量化位深。随着更高分辨率视频标准，例如ITU-R超高清电视(UHDTV)(相比于BT.709，除了具有更高分辨率之外，还可以具有更宽的色域和增加的量化位深)的出现，很多基于较低分辨率的HD内容的传统***可能不能利用压缩的UHDTV内容。保持这些传统***可用性的其中一种当前方案包括单独地联播压缩HD内容和压缩UHDTV内容两者。虽然接收联播的传统***具有解码和利用压缩HD内容的能力，但是压缩和联播具有相同潜在内容的多个比特流可以是处理、带宽和存储资源的无效使用。
技术方案
根据本发明，提供一种设备，包括：图像解码器，其包括基层，以将编码视频流的至少一部分解码为具有第一图像格式的第一图像，其中所述图像解码器被配置为通过将第一图像格式的第一图像的颜色空间缩放为对应于第二图像格式的颜色空间，产生颜色空间预测，并且所述图像解码器包括增强层，以将编码视频流解码，至少部分地基于颜色空间预测，产生采用第二图像格式的第二图像。
根据本发明，提供一种方法，包括：
通过视频解码器将编码视频流的至少一部分解码，以产生具有第一图像格式的第一图像；
通过视频解码器将对应于第一图像格式的第一图像的颜色空间缩放为对应于第二图像格式的颜色空间；
通过视频解码器至少部分地基于第一图像的缩放的颜色空间产生颜色空间预测；以及
通过视频解码器至少部分地基于颜色空间预测将编码视频流解码为具有第二图像格式的第二图像。
根据本发明，提供一种设备，包括：
通过视频编码器将具有第一图像格式的第一图像编码；
通过视频编码器将第一图像格式的编码的第一图像的颜色空间缩放为对应于第二图像格式的颜色空间；
通过视频编码器至少部分地基于编码的第一图像的缩放的颜色空间产生颜色空间预测；以及
通过视频编码器至少部分地基于颜色空间预测将具有第二图像格式的第二图像编码。
通过考虑本发明的以下详细描述并结合附图，将更加容易理解本发明的前述及其它目的、特征和优点。
附图说明
图1是视频编译***的框图示例。
图2是示出在BT.709视频标准以及在UHDTV视频标准中支持的色域的示例曲线图200。
图3A是图1所示视频编码器的框图示例。
图3B是图1所示视频编码器的框图示例。
图3C是图1所示视频编码器的框图示例。
图4是图3A和图3B所示颜色空间预测器的框图示例。
图5A是图1所示视频解码器的框图示例。
图5B是图1所示视频解码器的框图示例。
图5C是图1所示视频解码器的框图示例。
图6是图5A和图5B所示颜色空间预测器的框图示例。
图7是图1所示视频编码器中用于颜色空间预测的示例操作流程图。
图8是图1所示视频解码器中用于颜色空间预测的示例操作流程图。
图9是图1所示视频解码器中用于颜色空间预测的另一个示例操作流程图。
具体实施方式
图1是视频编译***100的框图。视频编译***100可包括视频编码器300，以接收视频流，例如被标准化为BT.2020的超高清电视(UHDTV)视频流102，以及BT.709视频流104，并基于视频流产生编码视频流112。视频编码器300可将编码视频流112传输给视频解码器500。视频解码器500可将编码视频流112解码，以产生解码UHDTV视频流122和/或解码BT.709视频流124。
UHDTV视频流102可具有不同的分辨率、不同的量化位深，并表示与BT.709视频流104相比不同的色域。例如，UHDTV或BT.2020视频标准具有可以支持4k(3840x2160像素)或8k(7680x4320像素)的分辨率以及10或12位的量化位深的格式建议。BT.709视频标准具有可以支持2k(1920x1080像素)的分辨率以及8或10位的量化位深的格式建议。此外，UHDTV格式建议也可以支持相比BT.709格式建议更宽的色域。下面参照图2更详细地示出和描述UHDTV视频标准与BT.709视频标准之间色域差异的实施例。
视频编码器300可包括增强层编码器302和基层编码器304。基层编码器304可以实现用于高清(HD)内容的视频编码，例如通过实现移动图像专家组(MPEG)-2标准的编解码器等等。增强层编码器302可以实现用于UHDTV内容的视频编码。在一些实施例中，增强层编码器302可以利用来自基层编码器302中编码的BT.709图像帧的运动补偿预测、帧内预测以及缩放颜色预测，通过产生UHDTV图像帧的至少一部分的预测，将UHDTV视频帧编码。视频编码器300可以利用预测来产生预测残余，例如预测与UHDTV图像帧之间的差异，并将编码视频流112中的预测残余编码。
在一些实施例中，当视频编码器300利用来自BT.709图像帧的缩放颜色预测时，视频编码器300可将颜色预测参数114传输给视频解码器500。颜色预测参数114可包括被视频编码器300利用的参数，以产生缩放颜色预测。例如，视频编码器300可通过独立的颜色信道预测或者基于仿射矩阵的颜色预测来产生缩放颜色预测，其各自具有不同的参数，例如每一个信道的增益参数或者增益参数以及每一个信道的偏移参数。颜色预测参数114可包括与视频编码器300利用的独立的颜色信道预测或者基于仿射矩阵的颜色预测相对应的参数。在一些实施例中，编码器300可包括编码视频流112的规范部分中的颜色预测参数114，例如在序列参数集合(SPS)、图像参数集合(PPS)中，或者编码视频流112的规范部分的另一个较低等级分区。在一些实施例中，视频编码器300可以利用可以在视频解码器500中预设的默认颜色预测参数114，将缓解视频编码器300必须向视频解码器500传输颜色预测参数114。下面更详细地描述视频编码器300的实施例。
视频解码器500可包括增强层解码器502和基层解码器504。基层解码器504可以实现用于高清(HD)内容的视频解码，例如通过实现移动图像专家组(MPEG)-2标准的编解码器等等，并将编码视频流112解码，以产生解码BT.709视频流124。增强层解码器502可以实现用于UHDTV内容的视频解码，并将编码视频流112解码，以产生解码的UHDTV视频流122。
在一些实施例中，增强层解码器502可将编码视频流112的至少一部分解码为UHDTV视频帧的预测残余。在编码过程期间增强层解码器502可以产生与通过视频编码器300产生的相同或类似的UHDTV图像帧的预测，并且然后将预测与预测残余组合，以产生解码UHDTV视频流122。增强层解码器502可通过来自在基层解码器504中解码的BT.709图像帧的运动补偿预测、帧内预测或缩放颜色预测，产生UHDTV图像帧的预测。下面更详细地描述视频编码器400的实施例。
虽然图1示出通过视频编码器300和视频解码器500的UHDTV视频流和BT.709视频流的基于颜色预测的视频编译，但是在一些实施例中，可通过基于颜色预测的视频编译将表示不同色域的视频流编码或解码。
图2是示出在BT.709视频标准以及在UHDTV视频标准中支持的色域的示例曲线图200。参照图2，曲线图200示出采用国际照明委员会(CIE)1931色度xy图表格式的色域的二维表示。曲线图200包括标准观察者色域210，以表示通过标准人类观察者可见的颜色范围，如同在1931通过CIE确定的。曲线图200包括UHDTV色域220，以表示UHDTV视频标准支持的颜色范围。曲线图200包括BT.709色域230，以表示BT.709视频标准支持的颜色范围，其比UHDTV色域220窄。此外，曲线图也包括表示白色的点240，其被包括在标准观察者色域210、UHDTV色域220、以及BT.709色域230中。
图3A、图3B和图3C是图1所示视频编码器300的框图示例。参照图3A，视频编码器300可包括增强层编码器302和基层编码器304。基层编码器304可包括视频输入362，以接收具有HD图像帧的BT.709视频流104。基层编码器304可包括编码预测环364，以编码从视频输入362接收的BT.709视频流104，并将BT.709视频流的重构帧存储在参考缓冲器368中。参考缓冲器368可将重构的BT.709图像帧提供返回编码预测环364，用于编码BT.709视频流104的相同帧的其它部分或者其它帧。参考缓冲器368可以存储通过编码预测环364编码的图像帧。基层编码器304可包括熵编码功能366，以对于来自编码预测环364的BT.709视频流的编码版本执行熵编码操作，并将熵编码流提供给输出接口380。
增强层编码器302可包括视频输入310，以接收具有UHDTV图像帧的UHDTV视频流102。增强层编码器302可以产生UHDTV图像帧的预测，并利用预测来产生预测残余，例如在预测与通过组合功能315确定的UHDTV图像帧之间的差异。在一些实施例中，组合功能315可包括加权(例如线性加权)，以从UHDTV图像帧的预测产生预测残余。增强层编码器302可通过变换和量化功能320将预测残余变换和量化。熵编码功能330可将变换和量化功能320的输出编码，并将熵编码流提供给输出接口380。输出接口380可将来自熵编码功能366和330的熵编码流多路复用，以产生编码视频流112。
增强层编码器302可包括颜色空间预测器400、运动补偿预测功能354以及帧内预测器356，它们中的每个可以产生UHDTV图像帧的预测。增强层编码器302可包括预测选择功能350，以选择通过颜色空间预测器400、运动补偿预测功能354和/或帧内预测器356产生的预测，提供给组合功能315。
在一些实施例中，运动补偿预测功能354和帧内预测器356可以基于之前已经通过增强层编码器302编码和解码的UHDTV图像帧，产生它们各自的预测。例如，在将预测残余已经变换和量化之后，变换和量化功能320可将经过变换和量化的预测残余提供给缩放和逆变换功能322，其结果可以在组合功能325中与用于产生预测残余以及产生解码UHDTV图像帧的预测组合。组合功能325可将解码UHDTV图像帧提供给去块功能351，且去块功能351可将解码UHDTV图像帧存储在参考缓冲器340中，参考缓冲器340保存解码UHDTV图像帧，供运动补偿预测功能354和帧内预测器356使用。在一些实施例中，去块功能351可以滤波解码UHDTV图像帧，例如，平滑与解码UHDTV图像帧相对应的宏块之间的图像中的锐边。
运动补偿预测功能354可以接收来自参考缓冲器340的一个或多个解码UHDTV图像帧。运动补偿预测功能354可以基于来自参考缓冲器340的一个或多个解码UHDTV图像帧与UHDTV图像帧之间的图像运动，产生当前UHDTV图像帧的预测。
帧内预测器356可以接收来自参考缓冲器340的当前UHDTV图像帧的第一部分。帧内预测器356可以至少基于之前已经通过增强层编码器302编码和解码的当前UHDTV图像帧的第二部分，产生与当前UHDTV图像帧的第一部分相对应的预测。
颜色空间预测器400可以基于之前已经通过基层编码器304编码的BT.709图像帧，产生UHDTV图像帧的预测。在一些实施例中，基层编码器304中的参考缓冲器368可将重构BT.709图像帧提供给分辨率放大功能370，分辨率放大功能370可将重构BT.709图像帧的分辨率缩放为与UHDTV视频流102相对应的分辨率。分辨率放大功能370可将重构BT.709图像帧的放大分辨率版本提供给颜色空间预测器400。颜色空间预测器可以基于图3A中重构BT.709图像帧的放大分辨率版本，产生UHDTV图像帧的预测。在一些实施例中，颜色空间预测器400可将重构BT.709图像帧的放大分辨率版本的YUV颜色空间缩放为对应于图3B中的UHDTV视频流102支持的YUV表示。在一些实施例中，将放大和颜色预测联合进行。基层编码器304中的参考缓冲器368可将重构BT.709图像帧提供给联合放大器颜色预测器。联合分辨率放大和颜色空间预测器375产生图3C中的UHDTV图像帧的放大和颜色预测。组合的放大器和颜色预测功能实现更低的复杂性，以及避免由于单独的放大器和颜色预测模块之间有限的位深所致准确性的损失。
对于颜色空间预测器400而言，有若干方法将BT.709视频编译标准支持的颜色空间缩放为UHDTV视频流102支持的颜色空间，例如独立信道预测和仿射混合信道预测。独立信道预测可包括将用于BT.709图像帧的YUV颜色空间的每个部分单独转换为UHDTV图像帧的预测。Y部分或亮度可以根据方程式1来缩放：
YUHDTV＝g1·YBT.709+o1 (方程式1)
U部分或者色度部分中的一个可以根据方程式2来缩放：
UUHDTV＝g2·UBT.709+o2 (方程式2)
V部分或者色度部分中的一个可以根据方程式3来缩放：
VUHDTV＝g3·VBT.709+o3 (方程式3)
增益参数g1、g2和g3以及偏移参数o1、o2和o3可以基于BT.709视频编译标准和UHDTV视频标准支持的颜色空间中的差异，并且可以根据各个BT.709图像帧和UHDTV图像帧的内容而变化。增强层编码器302例如可以经由输出接口380，将颜色空间预测器400用于产生UHDTV图像帧的预测的增益参数g1、g2和g3以及偏移参数o1、o2和o3作为颜色预测参数114输出给视频解码器500。
在一些实施例中，独立信道预测可包括增益参数g1、g2和g3以及零参数。Y部分或亮度可以根据方程式4来缩放：
YUHDTV＝g1·(YBT.709-YzeroBT.709)+YzeroUHDTV (方程式4)
U部分或者色度部分中的一个可以根据方程式5来缩放：
UUHDTV＝g2·(UBT.709-UzeroBT.709)+UzeroUHDTV (方程式5)
V部分或者色度部分中的一个可以根据方程式6来缩放：
VUHDTV＝g3·(VBT.709-VzeroBT.709)+VzeroUHDTV (方程式6)
增益参数g1、g2和g3可以基于BT.709视频编译标准和UHDTV视频标准支持的颜色空间中的差异，并且可以根据各个BT.709图像帧和UHDTV图像帧的内容而变化。增强层编码器302例如可以经由输出接口380，将颜色空间预测器400用于产生UHDTV图像帧的预测的增益参数g1、g2和g3作为颜色预测参数114输出给视频解码器500。因为视频解码器500可以被预先载入零参数，所以视频编码器300可以产生更少的颜色预测参数114(例如3个而不是6个)并将其传输给视频解码器500。
在一些实施例中，方程式4-6中使用的零参数可以基于相关颜色空间和颜色信道的位深来限定。例如，在表1中，可将零参数限定如下：
YzeroBT.709＝0 YzeroUHDTV＝0
UzeroBT.709＝(1＜＜bitsBT.709) UzeroUHDTV＝(1＜＜bitsUHDTV)
VzeroBT.709＝(1＜＜bitsBT.709) VzeroUHDTV＝(1＜＜bitsUHDTV)
表1
仿射混合信道预测可包括通过混合BT.709图像帧的YUV信道，转换用于BT.709图像帧的YUV颜色空间，以产生UHDTV图像帧的预测(例如通过矩阵乘法功能)。在一些实施例中，BT.709的颜色空间可以根据方程式7来缩放：
(方程式7)
矩阵参数m11、m12、m13、m21、m22、m23、m31、m32和m33以及偏移参数o1、o2和o3可以基于BT.709视频格式建议和UHDTV视频格式建议支持的颜色空间中的差异，并且可以根据各个BT.709图像帧和UHDTV图像帧的内容而变化。增强层编码器302例如可以经由输出接口380，将颜色空间预测器400用于产生UHDTV图像帧的预测的矩阵和偏移参数作为颜色预测参数114输出给视频解码器500。
在一些实施例中，BT.709的颜色空间可以根据方程式8来缩放：
(方程式8)
矩阵参数m11、m12、m13、m21、m22和m33以及偏移参数o1、o2和o3可以基于BT.709视频编译标准和UHDTV视频标准支持的颜色空间中的差异，并且可以根据各个BT.709图像帧和UHDTV图像帧的内容而变化。增强层编码器302例如可以经由输出接口380，将颜色空间预测器400用于产生UHDTV图像帧的预测的矩阵和偏移参数作为颜色预测参数114输出给视频解码器500。
通过用零代替矩阵参数m21、m23、m31和m32，可将UHDTV图像帧预测的亮度信道Y与BT.709图像帧的颜色信道U和V混合，但是UHDTV图像帧预测的颜色信道U和V不一定与BT.709图像帧的亮度信道Y混合。选择性信道混合可以允许亮度信道UHDTV图像帧预测的更准确预测，同时减少传输给视频解码器500的预测参数114的数量。
在一些实施例中，BT.709的颜色空间可以根据方程式9来缩放：
(方程式9)
矩阵参数m11、m12、m13、m22、m23、m32和m33以及偏移参数o1、o2和o3可以基于BT.709视频标准和UHDTV视频标准支持的颜色空间中的差异，并且可以根据各个BT.709图像帧和UHDTV图像帧的内容而变化。增强层编码器302例如可以经由输出接口380，将颜色空间预测器400用于产生UHDTV图像帧的预测的矩阵和偏移参数作为颜色预测参数114输出给视频解码器500。
通过用零代替矩阵参数m21和m31，可将UHDTV图像帧预测的亮度信道Y与BT.709图像帧的颜色信道U和V混合。可将UHDTV图像帧预测的U和V颜色信道与BT.709图像帧的U和V颜色信道混合，而不是与BT.709图像帧的亮度信道Y。选择性信道混合可以允许亮度信道UHDTV图像帧预测的更准确预测，同时减少传输给视频解码器500的预测参数114的数量。
颜色空间预测器400可以在每一个序列(帧间)、每一个帧或者每一个片(帧内)的基础上产生用于预测选择功能350的缩放颜色空间预测，并且视频编码器300可以在每一个序列(帧间)、每一个帧或者每一个片(帧内)的基础上传输与缩放的颜色空间预测相对应的预测参数114。在一些实施例中，用于产生缩放颜色空间预测的粒度可以预设或固定在颜色空间预测器400中，或者可以基于编码功能或者UHDTV图像帧的内容通过视频编码器300动态地调整。
视频编码器300可以在编码视频流112的规范部分中传输颜色预测参数114，例如在序列参数集合(SPS)、图像参数集合(PPS)中，或者编码视频流112的规范部分的另一个较低等级分区。在一些实施例中，可通过允许视频解码器500识别出颜色预测参数114出现在编码视频流112中，识别出参数的准确性或尺寸，例如用于表示每个参数的位的数量，以及识别出视频编码器300的颜色空间预测器400用于产生颜色空间预测的颜色空间预测的类型的语法，将颜色预测参数114***编码视频流112。
在一些实施例中，编码视频流112的规范部分可包括标记(use_color_space_prediction)，例如一个或多个位，它可以宣告编码视频流112中颜色空间参数114的内含。编码视频流112的规范部分可包括尺寸参数(color__predictor_num_fraction_bits_minus1)，例如一个或多个位，它可以识别位的数量或者用于表示每个参数的准确性。编码视频流112的规范部分可包括预测器类型参数(color__predictor_idc)，例如一个或多个位，它可以识别视频编码器300用于产生颜色空间预测的颜色空间预测的类型。颜色空间预测的类型可包括独立信道预测、仿射预测、它们的各种实现方式等等。根据视频编码器300利用的预测类型，颜色预测参数114可包括增益参数、偏移参数和/或矩阵参数。
参照图3B，除了以下差异之外，视频编码器301类似于图3A中示出和描述的视频编码器300。视频编码器301可以通过分辨率放大功能370来切换颜色空间预测器400。颜色空间预测器400可以基于之前已经通过基层编码器304编码的BT.709图像帧，产生UHDTV图像帧的预测。
在一些实施例中，基层编码器304中的参考缓冲器368可将编码BT.709图像帧提供给颜色空间预测器400。颜色空间预测器可以缩放编码BT.709图像帧的YUV颜色空间，以对应于UHDTV视频格式支持的YUV表示。颜色空间预测器400可将颜色空间预测提供给分辨率放大功能370，分辨率放大功能370可将编码BT.709图像帧的颜色空间预测的分辨率缩放为对应于UHDTV视频格式的分辨率。分辨率放大功能370可将分辨率放大的颜色空间预测提供给预测选择功能350。
图4是图3A所示颜色空间预测器400的框图示例。参照图4，颜色空间预测器400可包括颜色空间预测控制装置410，以例如经由分辨率放大功能370从基层编码器304接收重构BT.709视频帧402，以及选择预测类型和用于颜色空间预测406的产生的定时。在一些实施例中，颜色空间预测控制装置410可将重构BT.709视频帧402传递给独立信道预测功能420、仿射预测功能430或者交叉颜色预测功能440的至少其中一个。预测功能420、430和440的每一个可以根据重构BT.709视频帧402产生UHDTV图像帧(或者其一部分)的颜色空间预测，例如通过将BT.709图像帧的颜色空间缩放为UHDTV图像帧的颜色空间。
独立颜色信道预测功能420可以独立缩放重构BT.709视频流402的YUV成分，例如，如同方程式1-6所示。仿射预测功能430可以通过矩阵乘法缩放重构BT.709视频帧402的YUV成分，例如，如同方程式7所示。交叉预测功能440可以通过修改的矩阵乘法缩放重构BT.709视频流402的YUV成分，例如，如同方程式8或9所示，当产生UHDTV图像帧的U和V成分时，修改的矩阵乘法可以从重构BT.709视频流402消除Y成分的混合。
在一些实施例中，颜色空间预测器400可包括选择装置450，以选择来自独立颜色信道预测功能420、仿射预测功能430以及交叉颜色预测功能440的输出。此外，选择装置450可以输出用于产生颜色空间预测406的颜色预测参数114。颜色预测控制装置410例如可以通过控制选择装置450的定时和输出，控制颜色空间预测406的产生的定时以及产生颜色空间预测406所执行的操作的类型。在一些实施例中，颜色预测控制装置410可以通过选择性地将重构BT.709视频流402提供给独立颜色信道预测功能420、仿射预测功能430以及交叉颜色预测功能440的至少其中一个，控制颜色空间预测406的产生的定时以及产生颜色空间预测406所执行的操作的类型。
图5A、图5B和图5C是图1所示视频解码器500的框图示例。参照图5A，视频解码器可包括接口510，例如从视频编码器300接收编码视频流112。接口510可将编码视频流112解复用，并将编码UHDTV图像数据提供给视频解码器500的增强层解码器502，以及将编码BT.709图像数据提供给视频解码器500的基层解码器504。基层解码器504可包括熵解码功能552和解码预测环554，以解码从接口510接收的编码BT.709图像数据，并将解码BT.709视频流124存储在参考缓冲器556中。参考缓冲器556可将解码BT.709视频流124提供返回解码预测环554，用于将编码BT.709图像数据的相同帧的其它部分或者其它帧解码。基层解码器504可以输出解码BT.709视频流124。在一些实施例中，从解码预测环554的输出以及到参考缓冲器556的输入可以是残余帧数据而不是重构帧数据。
增强层解码器502可包括熵解码功能522、逆量化功能524、逆变换功能526以及组合功能528，以解码从接口510接收的编码UHDTV图像数据。去块功能541可以滤波解码UHDTV图像帧，例如，平滑与解码UHDTV图像帧相对应的宏块之间的图像中的锐边，并将解码UHDTV视频流122存储在参考缓冲器530中。在一些实施例中，编码UHDTV图像数据可以对应于预测残余，例如在预测与通过视频编码器300确定的UHDTV图像帧之间的差异。增强层解码器502可以产生UHDTV图像帧的预测，并且组合功能528可将UHDTV图像帧的预测添加到经过熵解码、逆量化以及逆变换的编码UHDTV图像数据，以产生解码UHDTV视频流122。在一些实施例中，组合功能528可包括加权，例如线性加权，以产生解码UHDTV视频流122。
增强层解码器502可包括颜色空间预测器600、运动补偿预测功能542以及帧内预测器544，它们每个可以产生UHDTV图像帧的预测。增强层解码器502可包括预测选择功能540，以选择通过颜色空间预测器600、运动补偿预测功能542和/或帧内预测器544产生的预测，提供给组合功能528。
在一些实施例中，运动补偿预测功能542和帧内预测器544可以基于之前已经通过增强层解码器502解码并存储在参考缓冲器530中的UHDTV图像帧，产生它们各自的预测。运动补偿预测功能542可以接收来自参考缓冲器530的一个或多个解码UHDTV图像帧。运动补偿预测功能542可以基于来自参考缓冲器530的一个或多个解码UHDTV图像帧与UHDTV图像帧之间的图像运动，产生当前UHDTV图像帧的预测。
帧内预测器544可以接收来自参考缓冲器530的当前UHDTV图像帧的第一部分。帧内预测器544可以至少基于之前已经通过增强层解码器502解码的当前UHDTV图像帧的第二部分，产生与当前UHDTV图像帧的第一部分相对应的预测。
颜色空间预测器600可以基于通过基层解码器504解码的BT.709图像帧，产生UHDTV图像帧的预测。在一些实施例中，基层解码器504中的参考缓冲器556可将解码BT.709视频流124的一部分提供给分辨率放大功能570，分辨率放大功能570可将重构BT.709图像帧的分辨率缩放为与UHDTV视频格式相对应的分辨率。分辨率放大功能570可将重构BT.709图像帧的放大分辨率版本提供给颜色空间预测器600。颜色空间预测器可以基于编码BT.709图像帧的放大分辨率版本，产生UHDTV图像帧的预测。在一些实施例中，颜色空间预测器600可将重构BT.709图像帧的放大分辨率版本的YUV颜色空间缩放为对应于UHDTV视频格式支持的YUV表示。
在一些实施例中，将放大和颜色预测联合进行。基层解码器504中的参考缓冲器556可将重构BT.709图像帧提供给图5C中的联合放大器颜色预测器。联合放大器颜色预测器产生UHDTV图像帧的放大和颜色预测。组合的放大器和颜色预测功能启用降低的复杂性，以及避免由于单独的放大器和颜色预测模块之间有限的位深所导致的准确性的损失。放大和颜色预测的组合的示例可通过方程式的样本集合来限定。通过可分离滤波计算实现的传统上采样之后是独立颜色预测。下面通过方程式10、11和12在三个步骤中示出示例计算。
通过抽头ak在一个方向上滤波输入样本xi,j，以给出中间量yi,j。增加偏移o1并且结果向右移动一个值s1，如同方程式10：
(方程式10)
然后，通过抽头bk滤波中间量样本yi,j，以给出样本zi,j，并增加第二偏移o2，并且结果向右移动第二值s2，如同方程式11：
(方程式11)
然后，通过颜色预测处理上采样处理的结果zi,j，以产生预测样本pi,j。然后应用增益，并且在最终移动s3之前增加偏移o3。方程式12中描述了颜色预测处理：
pi，j＝(gain·zi，j+o3)＞＞s3 (方程式12)
通过组合颜色预测计算和第二可分离滤波计算，可以降低复杂性。将方程式11的滤波抽头bk与方程式12的增益组合，可以产生新的抽头ck＝gain*bk(符号*表示“乘积”)。将方程式11和方程式12的移动值组合，以给出新的移动值s4＝s2+s3。方程式12的偏移被修改为o4＝o3<<s2。方程式11和方程式12的个别计算在单个结果方程式13中限定：
(方程式13)
方程式13的组合计算相比方程式11和方程式12的优点是，通过利用单个移动而不是两个单独的移动来减少计算，以及通过预乘滤波抽头来减少乘数。
在一些实施例中，希望通过相同的抽头来实现可分离滤波计算，使得在方程式10和方程式11中ak＝bk。组合上采样和颜色预测的直接应用消除了这种抽头的相等，因为值bk被组合值ck代替。替代实施例将保持这种抽头的相等。在形式增益＝(r*r)<<e中将增益表示为通过因子e移动的值r的平方。其中值r用m个位表示。
方程式10和方程式13的结果可以用一对方程式14和方程式15代替：
(方程式14)
(方程式15)
方程式15和方程式16中使用的偏移和移动得自于方程式10和方程式13中的值，并且增益值的表示如方程式16所示：
o5＝o1＜＜m
s5＝s1+m
o6＝o4＜＜(m+e)
s6＝s4+m+e (方程式16)
方程式15和方程式16中的滤波计算使用相等的抽头值r*ak。指数因子e的使用允许通过将小值r增加值e来近似大的增益值。
通过将BT.709视频编译标准支持的颜色空间缩放为UHDTV视频格式支持的颜色空间，例如通过独立信道预测、仿射混合信道预测或者交叉颜色信道预测，颜色空间预测器600可以类似于视频编码器300中的颜色空间预测器400操作。但是，颜色空间预测器600可以至少部分地基于从视频编码器300接收的颜色预测参数114，选择要产生的颜色空间预测的类型。颜色预测参数114可以明确地识别颜色空间预测的特定类型，或者可以例如通过颜色预测参数114的数量和/或布置，暗示地识别颜色空间预测的类型。
如上所述，在一些实施例中，编码视频流112的规范部分可包括标记(use_color_space_prediction)，例如一个或多个位，它可以宣告编码视频流112中颜色空间参数114的内含。编码视频流112的规范部分可包括尺寸参数(color__predictor_num_fraction_bits_minus1)，例如一个或多个位，它可以识别位的数量或者用于表示每个参数的准确性。编码视频流112的规范部分可包括预测器类型参数(color__predictor_idc)，例如一个或多个位，它可以识别视频编码器300用于产生颜色空间预测的颜色空间预测的类型。颜色空间预测的类型可包括独立信道预测、仿射预测、它们的各种实现方式等等。根据视频编码器300利用的预测类型，颜色预测参数114可包括增益参数、偏移参数和/或矩阵参数。
颜色空间预测器600基于标记(use_color_space_prediction)识别视频编码器300在产生编码视频流112时是否利用颜色空间预测。在编码视频流112中出现颜色预测参数114时，颜色空间预测器600可以解析颜色预测参数114，以识别通过基于预测器类型参数(color__predictor_idc)以及参数的尺寸或准确性(color__predictor_num_fraction_bits_minus1)编码的视频利用的颜色空间预测的类型，并定位颜色空间参数，以用于产生颜色空间预测。
例如，视频解码器500可以确定编码视频流112中是否出现颜色预测参数114，并基于表2中的以下示例代码解析颜色预测参数114：
表2
表2中的示例代码可以允许视频解码器500基于use_color_space_prediction标记识别编码视频流112中是否出现颜色预测参数114。视频解码器500可以基于尺寸参数(color__predictor_num_fraction_bits_minus1)识别颜色空间参数的准确性或尺寸，并且可以基于类型参数(color__predictor_idc)识别视频编码器300利用的颜色空间预测的类型。表2中的示例代码可以允许视频解码器500基于颜色空间参数的识别尺寸以及被视频编码器300(可以识别颜色空间参数的数量、语义和位置)利用的颜色空间预测的识别类型，解析来自编码视频流112的颜色空间参数。虽然表2中的示例代码显示仿射预测包括9个矩阵参数和3个偏移参数(color_prediction_idc＝2)，但是在一些实施例中，颜色预测参数114可包括更少的矩阵和/或偏移参数，例如，当矩阵参数为零时，可以因此修改示例代码，以解析颜色预测参数114。
这里描述发信号通知颜色预测参数的替代方法。在下表中示出HEVC的图像参数集合(PPS)的结构：
在设置pps_extension_flag时增加附加字段来承载颜色预测数据。
在扩展数据中发信号通知以下内容：
在当前图像上使用颜色预测的标记
用于发信号通知增益和偏移值的颜色预测模型的指示符。
color_prediction_model 索引
位增长 0
固定增益偏移 1
图像自适应增益偏移 2
对于每个模型，发信号通知或者得出以下值：
用于每个颜色分量的number_gain_fraction_bits、gain[]和offset[]值。
位增长(BI)模型：分数位的数量为零，增益值相等且基于基层与增强层之间的位深的差，即1<<(bit_depth_EL-bit-depth_BL)，所有偏移值为零。
固定增益偏移模型：发信号通知索引，指示之前发信号通知的参数集合的使用，例如在波段外，或者通过参数值的预定表格。该索引指示之前限定的值的集合：分数位的数量、对于所有分量的增益和偏移值。这些值并非发信号通知，而是参考预定集合。如果仅预定参数的单个集合，则不发送索引，并且在使用固定增益偏移模型时使用该集合。
图像自适应增益偏移偏移模型：通过以下字段在比特流中发信号通知参数值。在预定范围内作为整数发信号通知分数位的数量，即，0-5。对于每个信道增益，作为整数发信号通知偏移值。选择性方法是发信号通知固定增益偏移模型与动态增益偏移模型的参数值之间的差异。
每个层可以具有独立指定的颜色空间，例如利用具有指示颜色信息的出现的colour_description_present_flag的HEVC视频可用信息(VUI)。作为示例，可以通过不同的序列参数集合对每个层指定独立的VUI字段。
颜色空间预测器600可以基于每一个序列(帧间)、每一个帧或者每一个片(帧内)产生用于预测选择功能540的颜色空间预测。在一些实施例中，颜色空间预测器600可以通过固定或预设定时，或者响应于从视频编码器300接收颜色预测参数114，动态地产生颜色空间预测。
参照图5B，除了以下差异之外，视频解码器501类似于上述图5A中示出和描述的视频解码器500。视频解码器501可以通过分辨率放大功能570来切换颜色空间预测器600。颜色空间预测器600可以基于来自基层解码器504的解码BT.709视频流124的一部分，产生UHDTV图像帧的预测。
在一些实施例中，基层解码器504中的参考缓冲器556可将解码BT.709视频流124的一部分提供给颜色空间预测器600。颜色空间预测器600可以缩放解码BT.709视频流124的该部分的YUV颜色空间，以对应于UHDTV视频标准支持的YUV表示。颜色空间预测器600可将颜色空间预测提供给分辨率放大功能570，分辨率放大功能570可将颜色空间预测的分辨率缩放为对应于UHDTV视频标准的分辨率。分辨率放大功能570可将分辨率放大的颜色空间预测提供给预测选择功能540。
图6是图5A所示颜色空间预测器600的框图示例。参照图6，颜色空间预测器600可包括颜色空间预测控制装置610，例如经由分辨率放大功能570从基层解码器504接收解码BT.709视频流122，并选择用于颜色空间预测606的产生的预测类型和定时。颜色空间预测器600可以至少部分地基于从视频编码器300接收的颜色预测参数114，选择要产生的颜色空间预测的类型。颜色预测参数114可以明确地识别颜色空间预测的特定类型，或者可以例如通过颜色预测参数114的数量和/或布置，暗示地识别颜色空间预测的类型。在一些实施例中，颜色空间预测控制装置610可将解码BT.709视频流122和颜色预测参数114传递给独立信道预测功能620、仿射预测功能630或者交叉颜色预测功能640的中的至少一个。预测功能620、630和640的每一个可以根据解码BT.709视频流122产生UHDTV图像帧(或者其一部分)的颜色空间预测，例如通过基于颜色预测参数114，将BT.709图像帧的颜色空间缩放为UHDTV图像帧的颜色空间。
独立颜色信道预测功能620可以独立缩放解码BT.709视频流122的YUV分量，例如，如同方程式1-6所示。仿射预测功能630可以通过矩阵乘法缩放解码BT.709视频流122的YUV分量，例如，如同方程式7所示。交叉预测功能640可以通过修改的矩阵乘法缩放解码BT.709视频流122的YUV分量，例如，如同方程式8或9所示，当产生UHDTV图像帧的U和V分量时，修改的矩阵乘法可以从解码BT.709视频流122消除Y分量的混合。
在一些实施例中，颜色空间预测器600可包括选择装置650，以选择来自独立颜色信道预测功能6620、仿射预测功能630以及交叉颜色预测功能640的输出。颜色预测控制装置610例如可以通过控制选择装置650的定时和输出，控制颜色空间预测606的产生的定时以及产生颜色空间预测606所执行的操作的类型。在一些实施例中，颜色预测控制装置610可以通过选择性地将解码BT.709视频流122提供给独立颜色信道预测功能620、仿射预测功能630以及交叉颜色预测功能640中的至少一个，控制颜色空间预测606的产生的定时以及产生颜色空间预测606所执行的操作的类型。
图7是视频编码器300中用于颜色空间预测的示例操作流程图。参照图7，在第一步骤710处，视频编码器300可将具有第一图像格式的第一图像编码。在一些实施例中，第一图像格式可以对应于BT.709视频标准，且视频编码器300可包括基层，以编码BT.709图像帧。
在块720处，视频编码器300可将第一图像格式的第一图像的颜色空间缩放为对应于第二图像格式的颜色空间。在一些实施例中，视频编码器300可以缩放BT.709视频标准与超高清电视(UHDTV)视频标准(对应于第二图像格式)之间的颜色空间。
对于视频编码器300而言，有若干方法将BT.709视频编译标准支持的颜色空间缩放为UHDTV视频格式支持的颜色空间，例如独立信道预测和仿射混合信道预测。例如，独立颜色信道预测可以单独地缩放编码BT.709图像帧的YUV分量，例如，如同方程式1-6所示。仿射混合信道预测可以通过矩阵乘法缩放编码BT.709图像帧的YUV分量，例如，如同方程式7-9所示。
在一些实施例中，视频编码器300可将第一图像格式的第一图像的分辨率缩放为对应于第二图像格式的分辨率。例如，UHDTV视频标准可以支持4k(3840x2160像素)或8k(7680x4320像素)的分辨率以及10或12位的量化位深。BT.709视频标准可以支持2k(1920x1080像素)的分辨率以及8或10位的量化位深。视频编码器300可将来自对应于BT.709视频标准的分辨率的编码第一图像缩放为对应于UHDTV视频标准的分辨率。
在块730处，视频编码器300可以至少部分地基于第一图像的缩放的颜色空间，产生颜色空间预测。颜色空间预测可以是来自对应的编码BT.709图像帧的颜色空间的UHDTV图像帧(或者其一部分)的预测。在一些实施例中，视频编码器300可以至少部分地基于缩放的第一图像的分辨率，产生颜色空间预测。
在块740处，视频编码器300可以至少部分地基于颜色空间预测，将具有第二图像格式的第二图像编码。视频编码器300可将编码的第二图像以及用于缩放第一图像的颜色空间的颜色预测参数输出给视频解码器。
图8是视频解码器500中用于颜色空间预测的示例操作流程图。参照图8，在第一块810处，视频解码器500可将编码视频流解码，以产生具有第一图像格式的第一图像。在一些实施例中，第一图像格式可以对应于BT.709视频标准，且视频解码器500可包括基层，以解码BT.709图像帧。
在块820处，视频解码器500可将对应于第一图像格式的第一图像的颜色空间缩放为对应于第二图像格式的颜色空间。在一些实施例中，视频解码器500可以缩放BT.709视频标准与超高清电视(UHDTV)视频标准(对应于第二图像格式)之间的颜色空间。
对于视频解码器500而言，有若干方法将BT.709视频编译标准支持的颜色空间缩放为UHDTV视频标准支持的颜色空间，例如独立信道预测和仿射混合信道预测。例如，独立颜色信道预测可以单独地缩放编码BT.709图像帧的YUV分量，例如，如同方程式1-6所示。仿射混合信道预测可以通过矩阵乘法缩放编码BT.709图像帧的YUV分量，例如，如同方程式7-9所示。
视频解码器500可以选择颜色空间缩放的类型，以基于视频解码器500从视频编码器300接收的信道预测参数，执行例如独立信道预测或者多种仿射混合信道预测中的一个。在一些实施例中，视频解码器500可以执行解码BT.709图像帧的默认或预设颜色空间缩放。
在一些实施例中，视频解码器500可将第一图像格式的第一图像的分辨率缩放为对应于第二图像格式的分辨率。例如，UHDTV视频标准可以支持4k(3840x2160像素)或8k(7680x4320像素)的分辨率以及10或12位的量化位深。BT.709视频标准可以支持2k(1920x1080像素)的分辨率以及8或10位的量化位深。视频解码器500可将来自对应于BT.709视频标准的分辨率的解码第一图像缩放为对应于UHDTV视频标准的分辨率。
在块830处，视频解码器500可以至少部分地基于缩放的第一图像的颜色空间，产生颜色空间预测。颜色空间预测可以是来自对应的解码BT.709图像帧的颜色空间的UHDTV图像帧(或者其一部分)的预测。在一些实施例中，视频解码器500可以至少部分地基于缩放的第一图像的分辨率，产生颜色空间预测。
在块840处，视频解码器500可以至少部分地基于颜色空间预测，将编码视频流解码为具有第二图像格式的第二图像。在一些实施例中，视频解码器500可以利用颜色空间预测，以与对应于来自视频编码器300的预测残余的一部分编码视频流组合。颜色空间预测与解码预测残余的组合可以对应于解码UHDTV图像帧或者其一部分。
图9是视频解码器500中用于颜色空间预测的另一个示例操作流程图。参照图9，在第一块910处，视频解码器500可将编码视频流的至少一部分解码，以产生具有第一格式的第一残余帧。第一残余帧可以是对应于两个图像帧之间差异的数据的帧。在一些实施例中，第一格式可以对应于BT.709视频标准，且视频解码器500可包括基层，以解码BT.709图像帧。
在块920处，视频解码器500可将对应于第一格式的第一残余帧的颜色空间缩放为对应于第二格式的颜色空间。在一些实施例中，视频解码器500可以缩放BT.709视频标准与超高清电视(UHDTV)视频标准(对应于第二图像格式)之间的颜色空间。
对于视频解码器500而言，有若干方法将BT.709视频编译标准支持的颜色空间缩放为UHDTV视频标准支持的颜色空间，例如独立信道预测和仿射混合信道预测。例如，独立颜色信道预测可以单独地缩放编码BT.709图像帧的YUV分量，例如，如同方程式1-6所示。仿射混合信道预测可以通过矩阵乘法缩放编码BT.709图像帧的YUV分量，例如，如同方程式7-9所示。
视频解码器500可以选择颜色空间缩放的类型，以基于视频解码器500从视频编码器300接收的信道预测参数，执行例如独立信道预测或者多种仿射混合信道预测中的一个。在一些实施例中，视频解码器500可以执行解码BT.709图像帧的默认或预设颜色空间缩放。
在一些实施例中，视频解码器500可将来自第一格式的第一残余帧的分辨率缩放为对应于第二格式的分辨率。例如，UHDTV视频标准可以支持4k(3840x2160像素)或8k(7680x4320像素)的分辨率以及10或12位的量化位深。BT.709视频标准可以支持2k(1920x1080像素)的分辨率以及8或10位的量化位深。视频解码器500可将来自对应于BT.709视频标准的分辨率的解码第一残余帧缩放为对应于UHDTV视频标准的分辨率。
在步骤930处，视频解码器500可以至少部分地基于缩放的第一残余帧的颜色空间，产生颜色空间预测。颜色空间预测可以是来自对应的解码BT.709图像帧的颜色空间的UHDTV图像帧(或者其一部分)的预测。在一些实施例中，视频解码器500可以至少部分地基于缩放的第一残余帧的分辨率，产生颜色空间预测。
在步骤940处，视频解码器500可以至少部分地基于颜色空间预测，将编码视频流解码为具有第二图像格式的第二图像。在一些实施例中，视频解码器500可以利用颜色空间预测，以与对应于来自视频编码器300的预测残余的一部分编码视频流组合。颜色空间预测与解码预测残余的组合可以对应于解码UHDTV图像帧或者其一部分。
上述***和设备可以使用专用处理器***、微控制器、可编程逻辑装置、微处理器或者它们的任何组合来执行这里所述操作的一部分或全部。上述操作的一部分可以在软件中实现，而其它操作可以在硬件中实现。这里所述任何操作、处理和/或方法可以通过基本上类似于这里参照附图所述的设备、装置和/或***来执行。
处理装置可以执行存储器中存储的指令或“代码”。存储器也可以存储数据。处理装置可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等等，但是不限于此。处理装置可以是集成控制***或***管理器的一部分，也可以提供作为便携式电子装置，便携式电子装置被配置为经由无线传输在本地或者远程连接网络***。
处理器存储器可以与处理装置一起集成，例如在集成电路微处理器等等中设置的示例RAM或闪存。在其它示例中，存储器可包括独立装置，例如外部硬盘驱动器、存储器阵列、便携式闪存挂扣等等。存储器和处理装置例如通过I/O端口、网络连接等等可操作地连接在一起，或者相互通信，并且处理装置可以读取存储器中存储的文件。关联存储器可以是通过允许设置的“只读”设计(ROM)，或者不是。存储器的其它示例可包括WORM、EPROM、EEPROM、FLASH等等，但是不限于此，它们可以在固态半导体装置中实现。其它存储器可包括移动部件，例如已知的旋转硬盘驱动器。所有这些存储器可以是“机器读取”的，并且可以通过处理装置读取。
操作指令或命令可以在存储的计算机软件(又称为“计算机程序”或“代码”)的有形形式中实现或具体实现。程序或代码可以存储在数字存储器中，并且可以通过处理装置读取。“计算机可读存储介质”(或者“机器可读存储介质”)可包括前述存储器类型的全部以及未来的新技术，只要存储器能够按照计算机程序或者其它数据的性质，至少临时性地存储数字信息，并且只要存储的信息可以通过适当的处理装置“读取”。术语“计算机可读”不一定限于“计算机”的传统使用，暗示完整的主机、微机、笔记本甚至膝上型电脑。此外，“计算机可读”可包括通过处理器、处理装置或任何计算***可读的存储介质。这些介质可以是通过计算机或处理器在本地和/或远程可访问的任何可用介质，并且可包括易失性以及非易失性介质，移动以及非移动介质，或者它们的任何组合。
计算机可读存储介质中存储的程序可包括计算机程序产品。例如，可将存储介质用作存储或运输计算机程序的方便器件。为了方便起见，可将操作模式为各种互连或连接的功能模块或图表。但是，可能有这样的情况，可将这些功能模块或图表等效地聚集在单个逻辑装置、程序或操作中，没有明确边界。
本领域技术人员应当认识到，可以按照很多其它方式将这里教导的概念延伸到特定应用。具体而言，本领域技术人员应当认识到，所示的示例仅仅是多个替代性实现方式的其中一个，通过阅读本公开，它们将变得显而易见。
虽然说明书可以在若干地方提及“一”、“一个”、“另一个”或者“一些”示例(多个)，但是这不一定表示每个这样的参照都是相同的示例(多个)，或者该特征仅适用于单个示例。
前面说明书中采用的术语和表达在此用作描述的术语并且没有限制，并且在这些术语和表达的使用中，无意排除所示和所述特征的等同物或者其一部分，应当认识到，本发明的范围仅通过后附权利要求书限定和限制。

Claims (14)

1.一种图像解码设备，包括：
图像解码器，所述图像解码器被配置为解码基层和增强层，所述基层包括具有第一图像格式的第一图像的编码视频流，并且所述增强层包括具有第二图像格式的第二图像的编码视频流，其中
所述图像解码器被配置为至少部分地基于用于将所述编码视频流编码的颜色预测参数，将对应于所述第一图像格式的所述第一图像的颜色空间缩放为对应于所述第二图像格式的颜色空间，并且此后将经过颜色空间缩放的所述第一图像的分辨率缩放为对应于所述第二图像格式的所述第二图像的分辨率。
2.根据权利要求1所述的设备，其中，所述第一图像格式对应于BT.709视频标准，并且所述第二图像格式对应于超高清电视(UHDTV)视频标准。
3.根据权利要求1所述的设备，其中，所述图像解码器被配置为独立缩放所述颜色空间的每个信道。
4.根据权利要求3所述的设备，其中，所述颜色空间的所述每个信道包括至少亮度信道或色度信道。
5.根据权利要求1所述的设备，其中，所述图像解码器被配置为选择颜色空间缩放的类型，并基于所选择的颜色空间缩放的类型，缩放所述第一图像的颜色空间。
6.一种图像解码方法，包括：
通过视频解码器，将基层和增强层解码，所述基层包括具有第一图像格式的第一图像的编码视频流，并且所述增强层包括具有第二图像格式的第二图像的编码视频流；
通过所述视频解码器，至少部分地基于用于将所述编码视频流编码的颜色预测参数，将对应于所述第一图像格式的所述第一图像的颜色空间缩放为对应于所述第二图像格式的颜色空间；以及
通过所述视频解码器，将经过颜色空间缩放的所述第一图像的分辨率缩放为对应于所述第二图像格式的所述第二图像的分辨率。
7.根据权利要求6所述的方法，其中，所述第一图像格式对应于BT.709视频标准，并且所述第二图像格式对应于超高清电视(UHDTV)视频标准。
8.根据权利要求6所述的方法，其中，通过所述视频解码器，独立地缩放所述颜色空间的每个信道。
9.根据权利要求8所述的方法，其中，所述颜色空间的所述每个信道包括至少亮度信道或色度信道。
10.根据权利要求6所述的方法，进一步包括通过所述视频解码器选择颜色空间缩放的类型，其中，基于所选择的颜色空间缩放的类型，缩放所述第一图像的颜色空间。
11.一种视频编码设备，包括：
通过视频编码器，将基层和增强层编码，其中，所述基层包括具有第一图像格式的第一图像，并且所述增强层包括具有第二图像格式的第二图像；通过所述视频编码器，至少部分地基于用于将所述编码视频流编码的颜色预测参数，将所述第一图像格式的编码的第一图像的颜色空间缩放为对应于所述第二图像格式的颜色空间；以及
通过所述视频编码器，将经过颜色空间缩放的所述编码的第一图像的分辨率缩放为对应于所述第二图像格式的所述第二图像的分辨率。
12.根据权利要求11所述的设备，其中，所述第一图像格式对应于BT.709视频标准，并且所述第二图像格式对应于超高清电视(UHDTV)视频标准。
13.根据权利要求11所述的设备，其中，通过所述视频编码器，独立地缩放对应于所述编码的第一图像的颜色空间的每个信道。
14.根据权利要求13所述的设备，其中，所述颜色空间的所述每个信道包括至少亮度信道或色度信道。
CN201380049359.1A 2012-09-24 2013-07-25 具有颜色空间缩放性的视频压缩 Active CN104685878B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201261704776P 2012-09-24 2012-09-24
US61/704,776 2012-09-24
US13/631,558 2012-09-28
US13/631,558 US20140086316A1 (en) 2012-09-24 2012-09-28 Video compression with color space scalability
US201261739907P 2012-12-20 2012-12-20
US61/739,907 2012-12-20
US201361760634P 2013-02-04 2013-02-04
US61/760,634 2013-02-04
PCT/JP2013/004538 WO2014045506A1 (en) 2012-09-24 2013-07-25 Video compression with color space scalability

Publications (2)

Publication Number Publication Date
CN104685878A CN104685878A (zh) 2015-06-03
CN104685878B true CN104685878B (zh) 2018-11-30

Family

ID=50338844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380049359.1A Active CN104685878B (zh) 2012-09-24 2013-07-25 具有颜色空间缩放性的视频压缩

Country Status (5)

Country Link
US (1) US20140086318A1 (zh)
EP (1) EP2898694B1 (zh)
CN (1) CN104685878B (zh)
HK (1) HK1212525A1 (zh)
WO (1) WO2014045506A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140086316A1 (en) * 2012-09-24 2014-03-27 Louis Joseph Kerofsky Video compression with color space scalability
CN104685878B (zh) * 2012-09-24 2018-11-30 华为技术有限公司 具有颜色空间缩放性的视频压缩
US9124899B2 (en) 2012-09-28 2015-09-01 Sharp Laboratories Of America, Inc. Motion derivation and coding for scaling video
WO2015045736A1 (ja) * 2013-09-30 2015-04-02 日本放送協会 画像符号化装置、画像復号装置及びそれらのプログラム
KR102207000B1 (ko) * 2013-10-18 2021-01-25 지이 비디오 컴프레션, 엘엘씨 다-성분 화상 또는 비디오 코딩 개념
CN105264888B (zh) 2014-03-04 2018-09-14 微软技术许可有限责任公司 用于对色彩空间、色彩采样率和/或比特深度自适应切换的编码策略
KR102203111B1 (ko) 2014-03-04 2021-01-13 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 컬러 공간, 컬러 샘플링 레이트 및/또는 비트 깊이의 적응적 전환
MX2016012130A (es) 2014-03-19 2017-04-27 Arris Entpr Inc Codificacion escalable de secuencias de video utilizando mapeo de tonos y diferentes gamas de colores.
EP3123716B1 (en) 2014-03-27 2020-10-28 Microsoft Technology Licensing, LLC Adjusting quantization/scaling and inverse quantization/scaling when switching color spaces
US9584817B2 (en) * 2014-03-31 2017-02-28 Sony Corporation Video transmission system with color prediction and method of operation thereof
EP2977958A1 (en) * 2014-07-22 2016-01-27 Thomson Licensing Method and apparatus for processing image data
US10687069B2 (en) 2014-10-08 2020-06-16 Microsoft Technology Licensing, Llc Adjustments to encoding and decoding when switching color spaces
JP6301816B2 (ja) * 2014-11-17 2018-03-28 株式会社東芝 送信装置及び送受信システム
US10244249B2 (en) * 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US11102495B2 (en) 2016-05-17 2021-08-24 Qualcomm Incorporated Methods and systems for generating and processing content color volume messages for video
BR112021005760A2 (pt) 2019-07-10 2021-06-29 Guangdong Oppo Mobile Telecommunications Corp., Ltd. método para predição de componente de cor aplicável a um codificador, codificador que compreende uma primeira unidade de determinação e uma primeira unidade de predição, codificador que compreende uma primeira memória e um primeiro processador, decodificador que compreende uma unidade de análise, uma segunda unidade de determinação e uma segunda unidade de predição, decodificador que compreende uma segunda memória e um segundo processador, e mídia de armazenamento de computador

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101415120A (zh) * 2007-10-15 2009-04-22 汤姆森许可贸易公司 针对使用分级lut的比特深度可缩放性的增强层残差预测
CN101507284A (zh) * 2006-07-17 2009-08-12 汤姆森许可贸易公司 用于对视频颜色增强数据进行编码的方法和设备，以及用于对视频颜色增强数据进行解码的方法和设备
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
CN102119532A (zh) * 2008-07-10 2011-07-06 英特尔公司 色域可缩放性技术
CN102132563A (zh) * 2008-08-25 2011-07-20 微软公司 可伸缩视频编码和解码中的转换操作

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068283B2 (en) * 2003-07-21 2006-06-27 Etron Technology, Inc. Gamma correction only gain/offset control system and method for display controller
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
EP1933563A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer residual prediction
US8503524B2 (en) * 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
US8233536B2 (en) * 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
US8014613B2 (en) * 2007-04-16 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image parameter prediction
TW200845723A (en) * 2007-04-23 2008-11-16 Thomson Licensing Method and apparatus for encoding video data, method and apparatus for decoding encoded video data and encoded video signal
WO2009051704A1 (en) * 2007-10-16 2009-04-23 Thomson Licensing Methods and apparatus for artifact removal for bit depth scalability
EP2144432A1 (en) * 2008-07-08 2010-01-13 Panasonic Corporation Adaptive color format conversion and deconversion
WO2012004709A1 (en) * 2010-07-06 2012-01-12 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
CN102280096B (zh) * 2011-07-15 2013-09-18 杭州米加科技有限公司 一种融合图像缩放与颜色空间转换的方法
CN104685878B (zh) * 2012-09-24 2018-11-30 华为技术有限公司 具有颜色空间缩放性的视频压缩
US20140086316A1 (en) * 2012-09-24 2014-03-27 Louis Joseph Kerofsky Video compression with color space scalability

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101507284A (zh) * 2006-07-17 2009-08-12 汤姆森许可贸易公司 用于对视频颜色增强数据进行编码的方法和设备，以及用于对视频颜色增强数据进行解码的方法和设备
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
CN101415120A (zh) * 2007-10-15 2009-04-22 汤姆森许可贸易公司 针对使用分级lut的比特深度可缩放性的增强层残差预测
CN102119532A (zh) * 2008-07-10 2011-07-06 英特尔公司 色域可缩放性技术
CN102132563A (zh) * 2008-08-25 2011-07-20 微软公司 可伸缩视频编码和解码中的转换操作

Also Published As

Publication number Publication date
CN104685878A (zh) 2015-06-03
US20140086318A1 (en) 2014-03-27
EP2898694A4 (en) 2016-12-21
WO2014045506A1 (en) 2014-03-27
EP2898694A1 (en) 2015-07-29
HK1212525A1 (zh) 2016-06-10
EP2898694B1 (en) 2019-06-19

Similar Documents

Publication Publication Date Title
CN104685878B (zh) 具有颜色空间缩放性的视频压缩
CN106105047B (zh) 具有颜色空间可缩放性的视频压缩
CN106464881B (zh) 块自适应颜色空间转换译码的方法和装置
JP7053722B2 (ja) ビットストリーム内で、ｌｄｒピクチャのピクチャ／ビデオ・フォーマットと、このｌｄｒピクチャおよびイルミネーション・ピクチャから取得された復号済みのｈｄｒピクチャのピクチャ／ビデオ・フォーマットとをシグナリングする方法および装置
CN105594215B (zh) 颜色信息和色度信令
CN105847813B (zh) 视频解码装置和视频解码方法
CN101658040B (zh) 用于多视点视频编码的假设参考解码器
KR20180059440A (ko) 후처리 표시를 이용하는 비디오 코딩 방법 및 시스템
CN103596009B (zh) 解码器及解码方法
CN106961609A (zh) 用于处理参考图像的应用处理器及移动终端
CN105122804A (zh) 利用颜色位深缩放的视频压缩
CN105409218A (zh) 分量间预测
CN105432077A (zh) 在切换色彩空间时调整量化/缩放和逆量化/缩放
CN108141591A (zh) 用于非4:4:4色度子采样的显示流压缩(dsc)的熵译码技术
CN111491168A (zh) 视频编解码方法、解码器、编码器和相关设备
CN108055538A (zh) 视频编码设备以及视频编码方法
CN115314710A (zh) 编码方法、解码方法、编码器、解码器以及存储介质
CN110521198A (zh) 用于重构hdr图像的方法和设备
JP7043164B2 (ja) 高ダイナミックレンジフレームおよびインポーズされる低ダイナミックレンジフレームの両方を符号化するための方法およびデバイス
CN108432249A (zh) 用于在显示流压缩(dsc)中计算失真的***和方法
CN105519108B (zh) 量化矩阵编码的加权预测方法和装置
JP2018524932A (ja) サブ画素パッキングを使用したディスプレイストリーム圧縮画素フォーマット拡張
WO2015193113A1 (en) Method and device for signaling in a bitstream a picture/video format of an ldr picture and a picture/video format of a decoded hdr picture obtained from said ldr picture and an illumination picture.
WO2015193114A1 (en) Method and device for signaling in a bitstream a picture/video format of an ldr picture and a picture/video format of a decoded hdr picture obtained from said ldr picture and an illumination picture

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160120

Address after: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Applicant after: Huawei Technologies Co., Ltd.

Address before: Osaka City, Osaka of Japan

Applicant before: Sharp Corporation

REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1212525

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant