JP2014209757A - Cross-channel residual prediction - Google Patents
Cross-channel residual prediction Download PDFInfo
- Publication number
- JP2014209757A JP2014209757A JP2014121489A JP2014121489A JP2014209757A JP 2014209757 A JP2014209757 A JP 2014209757A JP 2014121489 A JP2014121489 A JP 2014121489A JP 2014121489 A JP2014121489 A JP 2014121489A JP 2014209757 A JP2014209757 A JP 2014209757A
- Authority
- JP
- Japan
- Prior art keywords
- residual
- prediction
- channel
- luma
- linear factor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、ビデオ処理技術に関する。 The present invention relates to video processing technology.
High Efficiency Video Coding(HEVC)は、ISO/IEC Moving Picture Experts Group(MPEG)及びITU−T Video Coding Experts Group(VCEG)により形成されるJoint Collaborative Team on Video Codingにより現在開発中のビデオ圧縮規格である。現在のHEVC仕様では、ピクチャはLargest Coding Unit(LCU)により符号化される。LCUは、128×128ブロック、64×64ブロック、32×32ブロック又は16×16ブロックであってもよい。LCUは、直接符号化可能であるか、又は次のレベルの符号化のため4つのCoding Unit(CU)に分割されてもよい。CUは、直接符号化可能であるか、又は符号化のための次のレベルに更に分割されてもよい。最小のCUは、8×8ブロックである。 High Efficiency Video Coding (HEVC) is an ISO / IEC Moving Picture Experts Group (MPEG) and ITU-T Video Coding Experts Group (VCEG) . In the current HEVC specification, pictures are encoded by a Large Coding Unit (LCU). The LCU may be a 128 × 128 block, a 64 × 64 block, a 32 × 32 block, or a 16 × 16 block. The LCU may be directly encoded or may be divided into four Coding Units (CUs) for the next level of encoding. The CU may be directly encoded or may be further divided into next levels for encoding. The smallest CU is an 8x8 block.
一般に、各レベルにおいて、サイズ2N×2NのCUは、予測のためPrediction Unit(PU)に分割されてもよい。イントラ符号化では、2N×2NのCUが1つの2N×2NのPU又は4つのN×NのPUに符号化されてもよい。インタ符号化では、2N×2NのCUは、1つの2N×2NのPU、2つの2N×NのPU、2つのN×2NのPU、0.5N×2NのPUプラス1.5N×2NのPU、1.5N×2NのPUプラス0.5N×2NのPU、2N×0.5NのPUプラス2N×1.5NのPU、2N×1.5NのPUプラス2N×0.5NのPU又は4つのN×NのPUに符号化されてもよい。ピクチャデータがルミナンス(ルマ)チャネルYと2つのクロミナンス(クロマ)チャネルU及びVとを含む3つのチャネル上で配信されるカラービデオでは、PUは、1つのルマブロックYよ2つのクロマブロックU及びVとを含むものであってもよい。 In general, at each level, a CU of size 2N × 2N may be divided into Prediction Units (PUs) for prediction. In intra coding, a 2N × 2N CU may be encoded into one 2N × 2N PU or four N × N PUs. In inter coding, a 2N × 2N CU is composed of one 2N × 2N PU, two 2N × N PUs, two N × 2N PUs, 0.5N × 2N PUs plus 1.5N × 2N. PU, 1.5N × 2N PU plus 0.5N × 2N PU, 2N × 0.5N PU plus 2N × 1.5N PU, 2N × 1.5N PU plus 2N × 0.5N PU or It may be encoded into 4 N × N PUs. In color video where picture data is distributed over three channels including luminance (luma) channel Y and two chrominance (chroma) channels U and V, the PU is one luma block Y and two chroma blocks U and V may be included.
HEVCエンコーダでは、イントラ予測(イントラフレーム予測モジュール)又はインタ予測(動き推定及び動き補償モジュール)が実行された後、入力PUと予測PUとの間の差分に対応する予測残差は、エントロピー符号化のため変換及び量子化される。PUがイントラ符号化モードにより符号化されるとき、DC予測、平面予測、水平予測、垂直予測などを含む異なるイントラ予測モードが適用されてもよい。 In the HEVC encoder, after intra prediction (intra frame prediction module) or inter prediction (motion estimation and motion compensation module) is performed, the prediction residual corresponding to the difference between the input PU and the prediction PU is entropy encoded. For conversion and quantization. When the PU is encoded by the intra coding mode, different intra prediction modes including DC prediction, plane prediction, horizontal prediction, vertical prediction, etc. may be applied.
上述した問題点を解決するため、本発明の1つの課題は、ビデオ処理のためのクロスチャネル残差予測を提供することである。 In order to solve the above-mentioned problems, one object of the present invention is to provide cross channel residual prediction for video processing.
上記課題を解決するため、本発明の一態様は、ビットストリームの少なくとも一部を受信する回路と、前記受信したビットストリームに基づき、ルマ予測残差値を決定する回路と、クロスチャネル残差予測の利用を示す前記ビットストリームに関するフラグに応答して、1以上のピクセルポジションについて、リニアファクタと前記ルマ予測残差値との積を決定し、前記リニアファクタと前記ルマ予測残差値との積に少なくとも部分的に基づきクロマ値を決定する回路とを有するビデオデコーダに関する。 In order to solve the above problems, an aspect of the present invention provides a circuit that receives at least a part of a bitstream, a circuit that determines a luma prediction residual value based on the received bitstream, and a cross-channel residual prediction. A product of a linear factor and the luma prediction residual value for one or more pixel positions, and a product of the linear factor and the luma prediction residual value. And a circuit for determining a chroma value based at least in part.
本発明の他の態様は、ビデオを復号化するためのコンピュータにより実現される方法であって、ビットストリームの少なくとも一部にアクセスするステップと、前記受信したビットストリームに基づきルマ予測残差値を決定するステップと、クロスチャネル残差予測の利用を示す前記ビットストリームに関するフラグに応答して、1以上のピクセルポジションについて、リニアファクタと前記ルマ予測残差値との積を決定し、前記リニアファクタと前記ルマ予測残差値との積に少なくとも部分的に基づきクロマ値を決定するステップとを有する方法に関する。 Another aspect of the present invention is a computer-implemented method for decoding video comprising: accessing at least a portion of a bitstream; and determining a luma prediction residual value based on the received bitstream. Determining a product of a linear factor and the luma prediction residual value for one or more pixel positions in response to a flag relating to the bitstream indicating use of cross-channel residual prediction, and determining the linear factor And determining a chroma value based at least in part on a product of the luma prediction residual value.
本発明によると、ビデオ処理のためのクロスチャネル残差予測を提供することができる。 According to the present invention, cross-channel residual prediction for video processing can be provided.
1以上の実施例又は実現形態が、添付された図面を参照して説明される。具体的な設定及び構成が説明されるが、これは例示的な目的のためにだけ行われることが理解されるべきである。当業者は、他の設定及び構成が本説明の趣旨及び範囲から逸脱することなく利用可能であることを認識するであろう。ここに説明される技術及び/又は構成はまた、ここに開示された以外の他の各種システム及びアプリケーションにおいて利用可能であることが、当業者に明らかであろう。 One or more embodiments or implementations will be described with reference to the accompanying drawings. Although specific settings and configurations are described, it should be understood that this is done for illustrative purposes only. Those skilled in the art will recognize that other settings and configurations may be used without departing from the spirit and scope of this description. It will be apparent to those skilled in the art that the techniques and / or configurations described herein may also be used in various other systems and applications other than those disclosed herein.
以下の説明は、システム・オン・チップ(SoC)アーキテクチャなどのアーキテクチャにおいて明らかな各種実現形態を提供するが、ここに説明される技術及び/又は構成の実現形態は、特定のアーキテクチャ及び/又は計算システムに限定されず、同様の目的のための何れかのアーキテクチャ及び/又は計算システムにより実現されてもよい。例えば、複数の集積回路(IC)チップ及び/又はパッケージなどを利用した各種アーキテクチャ、及び/又はセットトップボックス、スマートフォンなどの各種計算装置及び/又は家電機器(CE)装置が、ここに説明される技術及び/又は構成を実現してもよい。さらに、以下の説明はロジック実現形態、システムコンポーネントのタイプ及び相互関係、ロジック分割/統合選択などの多数の具体的な詳細を提供するが、請求される主題は、このような具体的な詳細なく実現可能である。他の例では、制御構造やフルソフトウェア命令シーケンスなどのいくつかのマテリアルが、ここに開示されるマテリアルを不明瞭にしないように、詳細には示されなくてもよい。 The following description provides various obvious implementations in an architecture, such as a system on chip (SoC) architecture, although implementations of the techniques and / or configurations described herein are specific architectures and / or computations. It is not limited to a system, and may be realized by any architecture and / or computing system for similar purposes. For example, various architectures using a plurality of integrated circuit (IC) chips and / or packages, and / or various computing devices and / or home appliance (CE) devices such as set-top boxes and smartphones are described herein. Techniques and / or configurations may be implemented. Further, although the following description provides numerous specific details such as logic implementations, system component types and interrelationships, logic partitioning / integration selections, the claimed subject matter is not subject to such specific details. It is feasible. In other instances, some materials such as control structures and full software instruction sequences may not be shown in detail so as not to obscure the materials disclosed herein.
ここに開示されるマテリアルは、ハードウェア、ファームウェア、ソフトウェア又はこれらの何れかの組み合わせにより実現されてもよい。ここに開示されるマテリアルはまた、1以上のプロセッサにより読み込まれて実行されるマシーン可読媒体に格納される命令として実現されてもよい。マシーン可読媒体は、マシーン(計算装置など)により可読な形式により情報を格納又は送信するための何れかの媒体及び/又は機構を含むものであってもよい。例えば、マシーン可読媒体は、ROM(Read Only Memory)、RAM(Random Access Memory)、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、電気、光、音響又は他の形態の伝搬信号(搬送波、赤外線信号、デジタル信号など)などを含むものであってもよい。 The material disclosed herein may be realized by hardware, firmware, software, or any combination thereof. The material disclosed herein may also be implemented as instructions stored on a machine-readable medium that is read and executed by one or more processors. A machine-readable medium may include any medium and / or mechanism for storing or transmitting information in a form readable by a machine (such as a computing device). For example, machine readable media include ROM (Read Only Memory), RAM (Random Access Memory), magnetic disk storage media, optical storage media, flash memory devices, electrical, optical, acoustic or other forms of propagated signals (carrier waves, infrared Signal, digital signal, etc.).
“一実現形態”、“実現形態”、“一例となる実現形態”などの明細書における表現は、開示された実現形態が特定の特徴、構成又は特性を含むが、必ずしも全ての実現形態が当該特徴、構成又は特性を含むとは限らないことを示す。さらに、このような表現は必ずしも同一の実現形態を参照しているとは限らない。さらに、特定の特徴、構成又は特性がある実現形態に関して説明されるとき、ここに明示的に開示されているか否かにかかわらず、当該特徴、構成又は特性を他の実現形態に関して実行することは、当業者の知識の範囲内であることが主張される。 Expressions in the specification such as “one implementation”, “implementation”, “example implementation”, etc., include the specific features, configurations or characteristics of the disclosed implementation, but not all implementations Indicates that it does not necessarily include features, configurations or characteristics. Moreover, such phrases are not necessarily referring to the same implementation. Further, when a particular feature, configuration, or characteristic is described with respect to one implementation, it may be performed with respect to the other implementation, regardless of whether explicitly disclosed herein or not. Alleged to be within the knowledge of one of ordinary skill in the art.
図1は、本開示による一例となるビデオエンコーダシステム100を示す。各種実現形態では、システム100は、例えば、H.264規格(ISO/IEC JTC1 and ITU−T,“H.264/AVC−Advanced video coding for generic audiovisual services”,ITU−T Recommendation H.264 and ISO/IEC14496−10(MPEG−4 part 10)、version 3,2005)及びその拡張などの1以上の先進的なビデオコーデック規格に従って、ビデオ符号化を実行し、及び/又はビデオコーデックを実現するよう構成されてもよい。さらに、ビデオエンコーダシステム100は、ISO/IEC Moving Picture Experts Group(MPEG)及びITU−T Video Coding Experts Group(VCEG)により形成されるJoint Collaborative Team on Video Coding(JCT−VC)により開発されるHigh Efficiency Video Coding(HEVC) H.265ビデオ圧縮規格に従って、ビデオ符号化を実行し、及び/又はビデオコーデックを実現するよう構成されてもよい。さらに、各種実施例では、ビデオエンコーダシステム100は、画像プロセッサ、ビデオプロセッサ及び/又はメディアプロセッサの一部として実現され、本開示によるクロスチャネル残差予測を含むインタ予測、イントラ予測、予測符号化及び/又は残差予測を実行してもよい。
FIG. 1 illustrates an example
システム100では、現在のビデオ情報は、ビデオデータのフレームの形式により内部ビットデプス増加モジュール102に提供される。現在のビデオフレームは、モジュール104において最大符号化ユニット(LCU)に分割され、その後に残差予測モジュール106にわたされる。残差予測モジュール106の出力は、変換量子化モジュール108によって、既知のビデオ変換及び量子化処理を受ける。変換量子化モジュール108の出力は、エントロピー符号化モジュール109及び逆量子化逆変換モジュール110に提供される。逆量子化逆変換モジュール110は、残差予測モジュール106の出力を残差再構成モジュール112に提供するため、変換量子化モジュール106により実行される処理の逆を実現する。当業者は、ここに説明される変換量子化モジュール及び逆量子化逆変換モジュールがスケーリング技術を利用可能であることを認識するであろう。
In the
残差再構成モジュール112の出力は、残差予測モジュール106にフィードバックされ、デブロッキングフィルタ114、サンプル適応的オフセットフィルタ116、適応的ルールフィルタ118、バッファ120、動き推定モジュール122、動き補償モジュール124及びイントラフレーム予測モジュール126に提供されてもよい。図1に示されるように、動き補償モジュール1214又はイントラフレーム予測モジュール126との何れかの出力が、共にデブロッキングフィルタ114への入力として残差予測モジュール106の出力と組み合わされ、残差予測モジュール106への入力として処理するようLCU分割モジュール104の出力と差分される。
The output of the
以下でより詳細に説明されるように、残差予測モジュール106は、本開示によりクロスチャネル残差予測を提供するため、残差再構成モジュール112と共に動作する。各種実現形態では、残差予測モジュール106は、ビデオデータの1つのチャネルについて予測残差を生成するのに利用され、残差再構成モジュール112は、ビデオデータの他のチャネルについて予測残差を生成する際に残差予測モジュール106により利用される当該チャネルの予測残差を再構成する。例えば、残差予測モジュール106は、予測ユニット(PU)のルミナンス(ルマ)チャネルの予測残差を生成するのに利用され、残差再構成モジュール112は、PUのクロミナンス(クロマ)チャネルの予測残差を生成する際に残差予測モジュール106により利用されるルミナンスチャネルの予測残差を再構成してもよい。一般に、3つのチャネルの何れか2つが2つのチャネルの予測残差の間の可能な相関を生じさせる同一の予測タイプ及び/又は同一の予測モードを利用する場合、ここに説明されるようなクロスチャネル残差予測技術を利用することは、冗長情報の削除を実現し、より高いビデオ符号化効率を可能にする。
As described in more detail below,
各種実現形態では、残差予測は予測残差に対して実行され、初期的な予測残差と予測される残差との間の結果として得られる2次予測残差が変換及び量子化される。本開示によるクロスチャネル残差予測技術では、第1チャネル(A)の残差が第2チャネル(B)の残差から予測される場合、残差予測モジュール106により生成されるチャネルBの残差は、変換量子化モジュール108により符号化(変換及び量子化など)され、その後、逆量子化逆変換モジュール110及び残差再構成モジュール112によりまず再構成され、チャネルBの再構成された残差は、チャネルAの残差を以降に予測するため、残差予測モジュール106により利用されてもよい。
In various implementations, residual prediction is performed on the prediction residual, and the resulting secondary prediction residual between the initial prediction residual and the predicted residual is transformed and quantized. . In the cross-channel residual prediction technique according to the present disclosure, the residual of channel B generated by the
図2は、本開示による一例となるクロスチャネル残差予測スキーム200を示す。各種実現形態では、図1のシステム100はスキーム200を実現する。スキーム200において、第1チャネル(B)の再構成される予測残差は、第2チャネル(A)の残差を予測するのに利用され、その後、第3チャネル(C)の符号化された残差と共にチャネルBの符号化残差及びチャネルA(符号化後)の結果として得られるクロスチャネル予測残差とが、エントロピー符号化を受ける。各種実現形態では、チャネルA,B又はCは、ルマチャネル(Y)又はクロマチャネル(U及びV)の何れか1つであってもよく、チャネルA,B又はCのそれぞれは異なるものであってもよい(すなわち、その他のチャネルと異なる)。各種実現形態では、チャネルAはルマチャネルであってもよく、チャネルB及びCはクロマチャネルであってもよい。他の実現形態では、チャネルAはクロマチャネルであってもよく、チャネルB及びCの一方はルマチャネルであり、他方は他方のクロマチャネルであってもよい。
FIG. 2 illustrates an example cross-channel
スキーム200に示されるように、予測されたチャネルBの残差は、ブロック202において変換及び量子化され、クロスチャネル予測ブロック206にチャネルBの再構成された残差として提供される前に、ブロック204において逆量子化及び逆変換される。ブロック206において、チャネルBの再構成された残差は、チャネルAの残差を予測するのに利用される。チャネルAの予測残差は、その後、ブロック210においてエントリピー符号化される前に、ブロック202から取得された変換及び量子化されたチャネルBの残差と、チャネルCの変換及び量子化された(ブロック212)予測残差と共に、ブロック208において変換及び量子化されてもよい。
As shown in
本開示によると、本開示によるクロスチャネル残差予測(ブロック206において実行されるような)は、リニア又は非リニアモデルを利用し、固定的な又は適応的に決定されたモデルパラメータを利用する。例えば、ピクセルポジションkについて、チャネルAの残差値A(k)は、以下の式を用いてポジションkの再構成されたチャネルBの残差値B’(k)から予測される。 According to the present disclosure, cross-channel residual prediction according to the present disclosure (as performed in block 206) utilizes a linear or non-linear model and utilizes fixed or adaptively determined model parameters. For example, for pixel position k, channel A residual value A (k) is predicted from the reconstructed channel B residual value B '(k) at position k using the following equation:
一般に、f(・)の線形形式を利用した本開示による残差予測は、残差値A(k)の以下の式を提供する。 In general, residual prediction according to the present disclosure utilizing a linear form of f (•) provides the following equation for residual value A (k):
一般に、非線形形式を用いた本開示による非線形残差予測は、残差値A(k)の以下の式を提供する。 In general, non-linear residual prediction according to the present disclosure using a non-linear form provides the following equation for the residual value A (k).
一般に、各種実現形態では、リニア又は非リニアモデルパラメータは、現在のピクチャ及び/又は以前に復号化されたピクチャにおける既に復号化されたピクセルに基づき、ビデオエンコーダ及び/又はデコーダによって適応的に生成される。さらに、各種実現形態では、リニア又は非リニアモデルパラメータは、現在のピクチャの入力ピクセル及び現在のピクチャの既に符号化されたピクセル及び/又は以前に符号化されたピクチャの符号化されたピクセルに基づき、ビデオエンコーダ及び/又はデコーダにより適応的に生成される。ビデオエンコーダは、モデルパラメータを決定し、その後、本開示によるクロスチャネル残差予測方式を実行する際にデコーダが利用する生成されたモデルパラメータを符号化し、デコーダに送信する。 In general, in various implementations, linear or non-linear model parameters are adaptively generated by video encoders and / or decoders based on already decoded pixels in the current picture and / or previously decoded pictures. The Further, in various implementations, the linear or non-linear model parameters are based on input pixels of the current picture and already encoded pixels of the current picture and / or encoded pixels of a previously encoded picture. , Adaptively generated by a video encoder and / or decoder. The video encoder determines model parameters and then encodes and transmits the generated model parameters that the decoder uses in performing the cross channel residual prediction scheme according to the present disclosure.
各種実現形態では、符号化ユニット(CU)又はPUは、各種符号化モード及び/又は予測モードに従って処理される。例えば、CUはイントラモード又はインタモードにおいて符号化され、イントラモードでは、PUはDC予測、平面予測、垂直予測、水平予測及び他の方向の予測などの各種予測モードを用いて処理される。本開示によると、異なるクロスチャネル残差予測スキームが、使用される符号化モード及び/又は予測モードに依存して適用される。例えば、各種実現形態では、リニアクロスチャネル残差予測がイントラモード符号化に適用され、クロスチャネル残差予測はインタモード符号化に適用されない。さらに、各種実現形態では、固定パラメータリニアクロスチャネル残差予測は、イントラ垂直及び水平予測モードについて適用され、適応的リニアクロスチャネル残差予測がDC、平面及び他の方向の予測モードに適用されてもよい。 In various implementations, a coding unit (CU) or PU is processed according to various coding modes and / or prediction modes. For example, the CU is encoded in intra mode or inter mode, and in the intra mode, the PU is processed using various prediction modes such as DC prediction, plane prediction, vertical prediction, horizontal prediction, and prediction in other directions. According to the present disclosure, different cross channel residual prediction schemes are applied depending on the coding mode and / or prediction mode used. For example, in various implementations, linear cross channel residual prediction is applied to intra mode encoding, and cross channel residual prediction is not applied to inter mode encoding. Further, in various implementations, fixed parameter linear cross channel residual prediction is applied for intra vertical and horizontal prediction modes, and adaptive linear cross channel residual prediction is applied to prediction modes for DC, planar and other directions. Also good.
各種実現形態では、異なるモデルパラメータ生成スキームが異なる符号化モードにより適用される。例えば、異なるモデルパラメータ生成スキームが、インタ符号化モードよりイントラ符号化モードにおいて適用されてもよい。さらに、異なるモデルパラメータ生成スキームが、異なるブロックサイズに適用されてもよい。さらに、異なるイントラ予測モードが、異なるモデルパラメータ生成スキームを利用してもよい。 In various implementations, different model parameter generation schemes are applied with different encoding modes. For example, different model parameter generation schemes may be applied in the intra coding mode than in the inter coding mode. Furthermore, different model parameter generation schemes may be applied to different block sizes. Further, different intra prediction modes may utilize different model parameter generation schemes.
各種実現形態では、フラグ、インジケータ又は信号は、特定の符号化モード又は予測モードについて適応的な残差予測を適用するか否か示す。例えば、エンコーダ(システム100など)は、1以上のフラグを利用して、特定の符号化モード又は予測モードについて残差予測を適用するか否か示してもよい(CU単位及び/又はPU単位などにより)。各種実現形態では、このようなフラグの値(yes又はnoなど)は、レート歪みコストに基づき決定されてもよい。さらに、各種実現形態では、特定の符号化モード又は予測モードに残差予測を適用することが必須であってもよい。 In various implementations, the flag, indicator, or signal indicates whether to apply adaptive residual prediction for a particular coding mode or prediction mode. For example, an encoder (such as system 100) may indicate whether to apply residual prediction for a particular coding mode or prediction mode using one or more flags (eg, CU units and / or PU units) By). In various implementations, the value of such a flag (such as yes or no) may be determined based on the rate distortion cost. Furthermore, in various implementations, it may be essential to apply residual prediction to a particular coding mode or prediction mode.
当業者は、入力ビデオデータがYUV420又はYUV422フォーマットであるとき、U及びVチャネルの残差ブロックサイズは、Yチャネルの残差ブロックサイズより小さいことを認識するであろう。これらのケースでは、U及び/又はVチャネル残差ブロックを予測するのに利用されるべきである場合、ダウンサンプリングがYチャネル残差ブロックに適用されてもよく、あるいは、Yチャネル残差ブロックを予測するのに利用されるべきである場合、アップサンプリングがU及び/又はV残差ブロックに適用されてもよい。さらに、各種実現形態がYUVカラー空間に関して説明されるが、本開示は特定のビデオデータフォーマット又はカラー空間に限定されるものでない。 Those skilled in the art will recognize that when the input video data is in YUV420 or YUV422 format, the U and V channel residual block sizes are smaller than the Y channel residual block sizes. In these cases, downsampling may be applied to the Y channel residual block if it should be used to predict U and / or V channel residual blocks, or Upsampling may be applied to U and / or V residual blocks if they are to be used for prediction. Further, although various implementations are described in terms of a YUV color space, the present disclosure is not limited to a particular video data format or color space.
図3は、本開示による他の一例となるクロスチャネル残差予測スキーム300を示す。各種実現形態では、図1のシステム100はスキーム300を実現する。スキーム300において、2つのチャネル(B及びC)の再構成された予測された残差は第3チャネル(A)の残差を予測するのに利用され、その後、チャネルB及びCの符号化された残差とチャネルA(符号化後)のクロスチャネル予測残差とがエントロピー符号化される。各種実現形態では、チャネルA、B又はCは、ルマチャネル(Y)又はクロマチャネル(U及びV)の何れか1つであり、各チャネルA、B又はCは別であってもよい(すなわち、他のチャネルと異なる)。各種実現形態では、チャネルAはルマチャネルであり、チャネルB及びCはクロマチャネルであってもよい。他の実現形態では、チャネルAはクロマチャネルであり、チャネルB及びCの一方がルマチャネルであり、他方が他方のクロマチャネルであってもよい。
FIG. 3 illustrates another example cross-channel
スキーム300に示されるように、ブロック302において、チャネルBの予測残差が変換及び量子化され、その後に304において、クロスチャネル予測ブロック306に再構成された残差として提供される前に、逆量子化及び逆変換される。同様に、ブロック308において、チャネルCの予測残差が変換及び量子化され、ブロック310において、クロスチャネル予測ブロック306に再構成された残差として提供される前に、逆量子化及び逆変換される。ブロック306において、チャネルB及びCの双方の再構成された残差は、ここで説明されるチャネルAの残差をよくするのに利用される。その後、ブロック312において、チャネルB及びCの符号化された残差と共にブロック314においてエントロピー符号化される前に、チャネルAの予測残差が変換及び量子化される。
As shown in
図4は、本開示による他の一例となるクロスチャネル残差予測スキーム400を示す。各種実現形態では、図1のシステム100はスキーム400を実現する。スキーム400において、第1チャネル(C)の再構成された予測残差が、第2チャネル(B)の残差を予測するのに利用され、その後、チャネルBの再構成されたクロスチャネル予測残差が、第3チャネル(A)の残差を予測するのに利用される。その後、3つ全てのチャネルA、B及びCの符号化された残差が、エントロピー符号化される。各種実現形態では、チャネルA、B又はCはルマチャネル(Y)又はクロマチャネル(U及びV)の何れか1つであり、各チャネルA、B又はCは別であってもよい(すなわち、他のチャネルと異なる)。各種実現形態では、チャネルAはルマチャネルであり、チャネルB及びCはクロマチャネルであってもよい。他の実現形態では、チャネルAはクロマチャネルであり、チャネルB及びCの一方はルマチャネルであり、他方は他方のクロマチャネルであってもよい。
FIG. 4 illustrates another example cross-channel
スキーム400に示されるように、ブロック402において、チャネルCの予測残差が変換及び量子化され、ブロック404において、第1クロスチャネル予測ブロック406に再構成された残差として提供される前に、逆量子化及び逆変換される。ブロック406において、チャネルCの再構成された残差がチャネルBの残差を予測するのに利用される。その後、ブロック408において、チャネルBのクロスチャネル予測残差が変換及び量子化され、その後にブロック410において、第2クロスチャネル予測ブロック412に再構成された残差として提供される前に、逆量子化及び逆変換される。ブロック412において、チャネルBの再構成された残差がチャネルAの残差を予測するのに利用される。その後にブロック414において、ブロック416における3つ全てのチャネル符号化された残差がエントロピー符号化される前に、チャネルAのクロスチャネル予測残差が変換及び量子化される。
As shown in
図5は、本開示による一例となるビデオデコーダシステム500を示す。各種実現形態では、システム500は、H.264規格及びそれの拡張などの1以上の先進的なビデオコーデック規格に従って、ビデオ復号化を実行し、及び/又はビデオコーデックを実現するよう構成される。さらに、ビデオデコーダシステム500は、HEVC H.265ビデオ圧縮規格に従って、ビデオ符号化を実行し、及び/又はビデオコーデックを実現するよう構成される。さらに、各種実施例では、ビデオデコーダシステム500は、画像プロセッサ、ビデオプロセッサ及び/又はメディアプロセッサの一部として実現されてもよく、本開示によるクロスチャネル残差予測を含むインタ予測、イントラ予測、予測符号化及び/又は残差予測を実行してもよい。
FIG. 5 illustrates an example
システム500において、符号化されたビットストリームが、本開示によるクロスチャネル残差予測を実現する残差予測モジュール504及び残差再構成モジュール506を有するデコーダモジュール502に提供される。各種実現形態では、残差予測モジュール504及び残差再構成モジュール506は、それぞれシステム100の残差予測モジュール106及び残差再構成モジュール112と同様であり、同様の機能を提供する。当業者が認識するように、システム500のデコーダ502は、逆量子化逆変換モジュール、エントロピー復号化モジュール、動き補償モジュールなどの各種の追加的なアイテム(簡単化のため図5に図示せず)を含む。
In the
各種実現形態では、本開示によるエンコーダ(システム100など)は、符号化されたビットストリームをデコーダ502に提供する。これを実行する際、エンコーダは、デコーダ502が所与のPUについてここで説明されるようなクロスチャネル残差予測を実行すべきかを示す1以上のモードフラグなどの情報をビットストリームを含める。例えば、デコーダ502により受信されるビットストリームは、デコーダ502が特定の符号化モード又は予測モードに適応的なクロスチャネル残差予測を適用するべきか示すヘッダ情報などの情報を有してもよい。例えば、エンコーダ(システム100など)は、1以上のフラグを利用して、デコーダ502が特定の符号化モード又は予測モードにクロスチャネル残差予測を適用すべきか示してもよい(例えば、CU単位及びPU単位などにより)。
In various implementations, an encoder (such as system 100) according to the present disclosure provides an encoded bitstream to
図6は、本開示の各種実現形態によるビデオ符号化のための一例となる処理600のフロー図を示す。処理600は、図6のブロック602,604,606,608及び610の1以上により示されるような1以上の処理、機能又はアクションを含む。非限定的な具体例として、処理600は、図1の一例となるエンコーダシステム100及び図2〜4の一例となるスキームとを参照して説明される。
FIG. 6 shows a flow diagram of an
処理600は、ビデオデータの第1チャネルの第1予測残差を決定するブロック602から開始される。例えば、残差予測モジュール106は、ビデオデータのチャネル(ルマ又はクロマ)についてブロック602を実行する。ブロック604において、ビデオデータの第2チャネルの第2予測残差が、ブロック602において生成された第1予測残差を用いて決定される。例えば、残差予測モジュール106は、残差再構成モジュール112により提供される第1予測残差を用いて、ビデオデータの異なるチャネルについてブロック604を実行する。各種実現形態において、ブロック602がルマチャネルについて実行される場合、ブロック604は、クロマチャネルについて実行される。他方、ブロック602がクロマチャネルについて実行される場合、ブロック604は、クロマチャネル又はルマチャネルについて実行される。各種実現形態では、ブロック602及び604は、図2のスキーム200のブロック202〜206の実現形態に対応する。
処理600は、ビデオデータの第3チャネルの第3予測残差が第2予測残差を用いて決定されるブロック606に続く。例えば、残差予測モジュール106は、ブロック604において残差再構成モジュール112により提供される第2予測残差を用いて、ビデオデータの第3チャネルについてブロック606を実行する。各種実現形態では、ブロック602がルマチャネルについて実行される場合、ブロック604はクロマチャネルについて実行され、ブロック606は他方のクロマチャネルについて実行される。ブロック602がクロマチャネルについて実行され、ブロック604が他方のクロマチャネルについて実行される場合、ブロック606は、ルマチャネルについて実行される。各種実現形態では、ブロック602、604及び606は、図3のスキーム300のブロック302〜306及び308〜310の実現形態に対応する。
処理600はまた、第3予測残差がビデオデータの第3チャネルについて決定されるブロック608を含む。例えば、残差予測モジュール106は、ビデオデータの第3チャネルについてブロック608を実行する。ブロック610において、ビデオデータの第2チャネルの第2予測残差が、ブロック602からの第1予測残差とブロック608からの第3予測値とを用いて決定される。例えば、残差予測モジュール106は、ブロック602及び608における残差再構成モジュール112によりそれぞれ提供される第1予測残差及び第3予測残差の双方を用いて、ビデオデータの第2チャネルについてブロック610を実行する。各種実現形態では、ブロック602がルマチャネルについて実行される場合、ブロック608はクロマチャネルについて実行され、ブロック610は他方のクロマチャネルについて実行される。ブロック602がクロマチャネルについて実行され、ブロック606が他方のクロマチャネルについて実行される場合、ブロック610はルマチャネルについて実行される。各種実現形態では、ブロック602,608及び610は、図4のスキーム400のブロック402〜412の実現形態に対応する。
図7は、本開示の各種実現形態によるビデオ復号化のための一例となる処理700のフロー図を示す。処理700は、図7のブロック702,704,706,708及び710の1以上により示されるような1以上の処理、機能又はアクションを含む。非限定的な具体例として、処理700は、図5の一例となるビデオデコーダシステム500を参照して説明される。
FIG. 7 shows a flow diagram of an
処理700は、ビデオデータの第1チャネルの第1予測残差が受信されるブロック702から開始される。例えば、ブロック702は、デコーダ502が受信したビットストリームを復号化し、残差再構成モジュール506を用いてビデオデータのあるチャネルの再構成された予測残差を提供することに関する。ブロック704において、ビデオデータの第2チャネルの第2予測残差が、ブロック702において受信された第1予測残差を用いて決定される。例えば、デコーダ502の残差予測モジュール504は、残差再構成モジュール112により提供される第1予測残差を用いて、ビデオデータの異なるチャネルについてブロック704を実行する。各種実現形態では、ブロック702がルマチャネルの予測残差の受信に関する場合、ブロック704は、クロマチャネルについて実行される。他方、ブロック702がクロマチャネルの予測残差の受信に関する場合、ブロック704は、クロマチャネル又はルマチャネルについて実行される。
処理700は、ビデオデータの第3チャネルの第3予測残差が第2予測残差を用いて決定されるブロック706に続く。例えば、残差予測モジュール504は、ブロック704における残差再構成モジュール506により提供される第2予測残差を用いて、ビデオデータの第3チャネルについてブロック706を実行する。各種実現形態では、ブロック702がルマチャネルの予測残差を受信することに関する場合、ブロック704はクロマチャネルについて実行され、ブロック706が他方のクロマチャネルについて実行される。ブロック702がクロマチャネルの予測残差の受信に関し、ブロック704が他方のクロマチャネルについて実行される場合、ブロック706は、ルマチャネルについて実行される。
処理700はまた、第3予測残差がビデオデータの第3チャネルに対応する場合に第3予測残差が受信されるブロック708を含む。例えば、ブロック708は、デコーダ502が受信したビットストリームを復号化し、残差再構成モジュール506を用いてビデオデータの第3チャネルの再構成された予測残差を提供することに関するものであってもよい。ブロック710において、ビデオデータの第2チャネルの第2予測残差は、ブロック702において受信した第1予測残差とブロック708において受信した第3予測値とを用いて決定される。例えば、残差予測モジュール504は、ブロック702及び708において残差再構成モジュール506によりそれぞれ提供された第1予測残差と第3予測残差との双方を用いて、ビデオデータの第2チャネルについてブロック710を実行してもよい。各種実現形態では、ブロック702がルマチャネルについて実行される場合、ブロック708がクロマチャネルについて実行され、ブロック710が他方のクロマチャネルについて実行される。ブロック702がクロマチャネルについて実行され、ブロック706が他方のクロマチャネルについて実行される場合、ブロック710はルマチャネルについて実行される。
図6及び7に示されるような一例となる処理600及び700の実現形態は、図示された順序により全てのブロックを実行することを含むが、本開示はこれに限定されず、各種具体例では、処理600及び700の実現形態は、図示されたブロックの一部のみ及び/又は図示されたものと異なる順序の実行を含む。
Implementations of example processes 600 and 700 as shown in FIGS. 6 and 7 include performing all blocks in the order shown, but the present disclosure is not limited thereto and in various specific examples. Implementations of
さらに、図6及び7のブロックの何れか1以上は、1以上のコンピュータプログラムプロダクトにより提供される命令に応答して実行されてもよい。このようなプログラムプロダクトは、プロセッサなどにより実行されると、ここに説明された機能を提供する命令を備える信号担持媒体を含む。コンピュータプログラムプロダクトは、何れかの形態のコンピュータ可読媒体により提供されてもよい。従って、例えば、1以上のプロセッサコアを含むプロセッサは、コンピュータ可読媒体によりプロセッサに伝送された命令に応答して、図6及び7に示されるブロックの1以上を実行してもよい。 Further, any one or more of the blocks of FIGS. 6 and 7 may be executed in response to instructions provided by one or more computer program products. Such a program product includes a signal bearing medium comprising instructions that, when executed by a processor or the like, provide the functions described herein. The computer program product may be provided by any form of computer readable media. Thus, for example, a processor including one or more processor cores may execute one or more of the blocks shown in FIGS. 6 and 7 in response to instructions transmitted to the processor via a computer-readable medium.
ここに説明される何れかの実現形態において用いられる“モジュール”という用語は、ここに説明される機能を提供するよう構成されるソフトウェア、ファームウェア及び/又はハードウェアの何れかの組み合わせを表す。ソフトウェアは、ソフトウェアパッケージ、コード及び/又は命令セット若しくは命令として具現化され、ここに説明される何れかの実現形態において用いられる“ハードウェア”は、例えば、プログラム可能な回路により実行される命令を格納する配線回路、プログラマブル界と、状態マシーン回路及び/又はファームウェアなどを単独で又は何れかの組み合わせにより含むものであってもよい。モジュールは、集積回路(IC)、システム・オン・チップ(SoC)などのより大きなシステムの一部を形成する回路として個別に又はまとめて具現化されてもよい。 The term “module” as used in any implementation described herein refers to any combination of software, firmware, and / or hardware configured to provide the functionality described herein. Software is embodied as a software package, code and / or instruction set or instructions, and “hardware” used in any implementation described herein is, for example, instructions executed by a programmable circuit. A wiring circuit to be stored, a programmable field, a state machine circuit, and / or firmware may be included alone or in any combination. Modules may be embodied individually or collectively as circuitry that forms part of a larger system, such as an integrated circuit (IC), system on chip (SoC), or the like.
図8は、本開示による一例となるシステム800を示す。各種実現形態では、システム800は、限定されることなく、メディアシステムであってもよい。例えば、システム800は、パーソナルコンピュータ(PC)、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、携帯コンピュータ、パームトップコンピュータ、PDA(Personal Digital Assistant)、携帯電話、コンビネーション携帯電話/PDA、テレビ、スマートデバイス(スマートフォン、スマートタブレット、スマートテレビなど)、モバイルインターネットデバイス(MID)、メッセージングデバイス、データ通信デバイスなどに搭載されてもよい。
FIG. 8 illustrates an
各種実現形態では、システム800は、ディスプレイ820に接続されるプラットフォーム802を有する。プラットフォーム802は、コンテンツサービスデバイス830、コンテンツ配信デバイス840又は他の同様のコンテンツソースなどのコンテンツデバイスからコンテンツを受信する。1以上のナビゲーション機能を有するナビゲーションコントローラ850は、プラットフォーム802及び/又はディスプレイ820などとやりとりするのに利用される。これらのコンポーネントのそれぞれは、以下においてより詳細に説明される。
In various implementations, the
各種実現形態では、プラットフォーム802は、チップセット805、プロセッサ810、ストレージ812、グラフィックサブシステム815、アプリケーション816及び/又はラジオ818の何れかの組み合わせを含むものであってもよい。チップセット805は、プロセッサ810、メモリ812、ストレージ814、グラフィックサブシステム815、アプリケーション816及び/又はラジオ818の間の相互通信を提供する。例えば、チップセット805は、ストレージ814との相互通信を提供可能なストレージアダプタ(図示せず)を含むものであってもよい。
In various implementations, platform 802 may include any combination of chipset 805, processor 810,
プロセッサ810は、CISC(Complex Instruction Set Computer)又はRISC(Reduced Instruction Set Computer)プロセッサ、x86命令セットコンパチブルプロセッサ、マルチコア又は他の何れかのマイクロプロセッサ若しくは中央処理ユニット(CPU)として実現されてもよい。各種実現形態では、プロセッサ810は、デュアルコアプロセッサ、デュアルコアモバイルプロセッサなどであってもよい。 The processor 810 may be implemented as a complete instruction set computer (CISC) or a reduced instruction set computer (RISC) processor, an x86 instruction set compatible processor, a multi-core, or any other microprocessor or central processing unit (CPU). In various implementations, the processor 810 may be a dual core processor, a dual core mobile processor, or the like.
メモリ812は、限定することなく、RAM(Random Access Memory)、DRAM(Dynamic Random Access Memory)又はSRAM(Static Random Access Memory)などの揮発性メモリデバイスとして実現されてもよい。
The
ストレージ814は、限定することなく、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内部ストレージデバイス、付属のストレージデバイス、フラッシュメモリ、バッテリバックアップSDRAM(Synchronous DRAM)及び/又はネットワークアクセス可能なストレージデバイスなどの不揮発性ストレージデバイスとして実現されてもよい。各種実現形態では、ストレージ814は、例えば、複数のハードドライブが含まれるとき、貴重なデジタルメディアのストレージパフォーマンスがエンハンスされたプロテクションを増大させるための技術を含むものであってもよい。 The storage 814 is non-volatile such as, but not limited to, a magnetic disk drive, an optical disk drive, a tape drive, an internal storage device, an attached storage device, a flash memory, a battery backup SDRAM (Synchronous DRAM) and / or a network accessible storage device. It may be realized as a storage device. In various implementations, the storage 814 may include technology to increase protection, for example, when valuable digital media storage performance is enhanced when multiple hard drives are included.
グラフィックサブシステム815は、ディスプレイ用のスチル又はビデオなどの画像の処理を実行する。グラフィックサブシステム815は、例えば、グラフィック処理ユニット(GPU)又はビジュアル処理ユニット(VPU)などであってもよい。アナログ又はデジタルインタフェースは、グラフィックサブシステム815及びディスプレイ820を通信接続するのに利用される。例えば、当該インタフェースは、High−Definition Multimedia Interface、DisplayPort、無線HDMI(登録商標)及び/又は無線HDに準拠した技術の何れかであってもよい。グラフィックサブシステム815は、プロセッサ810又はチップセット805に搭載されてもよい。いくつかの実現形態では、グラフィックサブシステム815は、チップセット805に通信接続されるスタンドアローンカードであってもよい。
The graphics subsystem 815 performs processing of images such as still or video for display. The graphics subsystem 815 may be, for example, a graphics processing unit (GPU) or a visual processing unit (VPU). An analog or digital interface is used to communicatively connect the
ここに説明されるグラフィック及び/又はビデオ処理技術は、各種ハードウェアアーキテクチャにより実現される。例えば、グラフィック及び/又はビデオ機能は、チップセット内に統合されてもよい。あるいは、別個のグラフィック及び/又はビデオプロセッサが利用されてもよい。さらなる他の実現形態では、グラフィック及び/又はビデオ機能は、マルチコアプロセッサを含む汎用プロセッサにより提供されてもよい。さらなる実施例では、これらの機能は家電機器により実現されてもよい。 The graphics and / or video processing techniques described herein are implemented with various hardware architectures. For example, graphics and / or video functions may be integrated within the chipset. Alternatively, separate graphics and / or video processors may be utilized. In still other implementations, the graphics and / or video functions may be provided by a general purpose processor including a multi-core processor. In a further embodiment, these functions may be realized by a home appliance.
ラジオ818は、各種の適切な無線通信技術を用いて信号を送受信可能な1以上のラジオを有する。このような技術は、1以上の無線ネットワークを介した通信に関する。一例となる無線ネットワークは、(限定することなく)WLAN(Wireless Local Area Network)、WPAN(Wireless Personal Area Network)、WMAN(Wireless Metropolitan Area Network)、セルラネットワーク及び衛星ネットワークを含む。このようなネットワークにおける通信において、ラジオ818は、何れかのバージョンの1以上の適用可能な規格に従って動作する。 The radio 818 includes one or more radios that can transmit and receive signals using various appropriate wireless communication technologies. Such techniques relate to communication over one or more wireless networks. Exemplary wireless networks include (but are not limited to) a WLAN (Wireless Local Area Network), a WPAN (Wireless Personal Area Network), a WMAN (Wireless Metropolitan Area Network), a cellular network, and a cellular network. In communication in such a network, radio 818 operates according to one or more applicable standards of any version.
各種実現形態では、ディスプレイ820は、何れかのテレビタイプのモニタ又はディスプレイを含む。ディスプレイ820は、例えば、コンピュータディスプレイスクリーン、タッチスクリーンディスプレイ、ビデオモニタ、テレビライクデバイス及び/又はテレビなどを含むものであってもよい。ディスプレイ820は、デジタル及び/又はアナログであってもよい。各種実現形態では、ディスプレイ820は、ホログラフィックディスプレイであってもよい。また、ディスプレイ820は、ビジュアルプロジェクションを受信する透過面であってもよい。このようなプロジェクションは、各種形態の情報、画像及び/又はオブジェクトを伝送する。例えば、このようなプロジェクションは、モバイル拡張現実(MAR)アプリケーションのビジュアルオーバレイであってもよい。1以上のソフトウェアアプリケーション816の制御の下、プラットフォーム802はディスプレイ820上にユーザインタフェース822を表示する。 In various implementations, the display 820 includes any television type monitor or display. The display 820 may include, for example, a computer display screen, a touch screen display, a video monitor, a television-like device, and / or a television. Display 820 may be digital and / or analog. In various implementations, the display 820 may be a holographic display. The display 820 may be a transmission surface that receives visual projection. Such projections carry various forms of information, images and / or objects. For example, such a projection may be a visual overlay of a mobile augmented reality (MAR) application. Under the control of one or more software applications 816, platform 802 displays user interface 822 on display 820.
各種実現形態では、コンテンツサービスデバイス830は、何れかの国内、国際及び/又は独立したサービスによりホストされてもよく、インターネットなどを介しプラットフォーム802にアクセス可能である。コンテンツサービスデバイス830は、プラットフォーム802及び/又はディスプレイ820に接続されてもよい。プラットフォーム802及び/又はコンテンツサービスデバイス830は、ネットワーク860との間でメディア情報を通信(送信及び/又は受信など)するため、ネットワーク860に接続されてもよい。コンテンツ配信デバイス840はまた、プラットフォーム802及び/又はディスプレイ820に接続されてもよい。
In various implementations, the content service device 830 may be hosted by any domestic, international, and / or independent service and is accessible to the platform 802 via the Internet or the like. Content service device 830 may be connected to platform 802 and / or display 820. Platform 802 and / or content service device 830 may be connected to network 860 to communicate (eg, send and / or receive) media information to and from
各種実現形態では、コンテンツサービスデバイス830は、ケーブルテレビボックス、パーソナルコンピュータ、ネットワーク、電話、インターネット対応デバイス又はデジタル情報及び/又はコンテンツを配信可能な機器、並びにネットワーク860を介し若しくは直接的にコンテンツプロバイダとプラットフォーム802及び/又はディスプレイ820との間でコンテンツを一方向又は双方向に通信可能な他の何れか同様のデバイスを含むものであってもよい。コンテンツは、ネットワーク860を介しコンテンツプロバイダとシステム800のコンポーネントの何れか1つとの間で一方向及び/又は双方向に通信可能であることが理解されるであろう。コンテンツの具体例は、ビデオ、音楽、医療情報、ゲーム情報などを含む何れかのメディア情報を含むものであってもよい。
In various implementations, the content service device 830 is a cable television box, personal computer, network, telephone, internet-enabled device or device capable of delivering digital information and / or content, and a content provider via the
コンテンツサービスデバイス830は、メディア情報、デジタル情報及び/又は他のコンテンツを含むケーブルテレビプログラミングなどのコンテンツを受信する。コンテンツプロバイダの具体例は、何れかのケーブル若しくは衛星テレビ又はラジオ若しくはインターネットコンテンツプロバイダを含むものであってもよい。提供される具体例は、本開示による実現形態を何れの方法に限定することを意図していない。 The content service device 830 receives content such as cable television programming that includes media information, digital information, and / or other content. Specific examples of content providers may include any cable or satellite television or radio or internet content provider. The provided examples are not intended to limit the implementation according to the present disclosure to any method.
各種実現形態では、プラットフォーム802は、1以上のナビゲーション機能を有するナビゲーションコントローラ850から制御信号を受信する。コントローラ850のナビゲーション機能は、例えば、ユーザインタフェース822などとやりとりするのに利用されてもよい。実施例では、ナビゲーションコントローラ850は、ユーザが空間(連続的及び多次元など)データをコンピュータに入力することを可能にするコンピュータハードウェアコンポーネント(具体的には、ヒューマンインタフェースデバイス)であってもよいポインティングデバイスであってもよい。グラフィカルユーザインタフェース(GUI)、テレビ及びモニタなどの多数のシステムは、ユーザが物理的ジェスチャを用いてコンピュータやテレビにデータを制御及び提供することを可能にする。
In various implementations, the platform 802 receives control signals from a
コントローラ850のナビゲーション機能の動きは、ディスプレイ上に表示されるポインタ、カーソル、フォーカスリング又は他のビジュアルインジケータの動きによって、ディスプレイ(ディスプレイ820など)上に複製されてもよい。例えば、ソフトウェアアプリケーション816の制御の下、ナビゲーションコントローラ850上に配置されたナビゲーション機能は、例えば、ユーザインタフェース822上に表示されるバーチャルナビゲーション機能にマッピングされてもよい。実施例では、コントローラ850は、独立したコンポーネントでなく、プラットフォーム802及び/又はディスプレイ820に統合されてもよい。しかしながら、本開示は、ここに図示又は説明される要素又はコンテクストに限定されるものでない。
The movement of the navigation function of
各種実現形態では、ドライバ(図示せず)は、例えば、イネーブルとされると、ユーザが初期的なブートアップ後にボタンのタッチによりテレビなどのプラットフォーム802を即座にオン及びオフすることを可能にするための技術を含むものであってもよい。プログラムロジックは、プラットフォーム802が、“オフ”にされるときでさえ、メディアアダプタ、他のコンテンツサービスデバイス830又はコンテンツ配信デバイス840にコンテンツをストリーミングすることを可能にするものであってもよい。さらに、チップセット805は、5.1サラウンドサウンドオーディオ及び/又は高品位7.1サラウンドサウンドオーディオなどのためのハードウェア及び/又はソフトウェアサポート5.1を含むものであってもよい。ドライバは、統合されたグラフィックプラットフォームのためのグラフィックドライバを含むものであってもよい。実施例では、グラフィックドライバは、PCI(Peripheral Component Interconnect) Expressグラフィックカードを有してもよい。
In various implementations, a driver (not shown), for example, when enabled, allows a user to immediately turn on and off a platform 802 such as a TV by touching a button after initial bootup. The technology for this may be included. The program logic may allow the platform 802 to stream content to a media adapter, other content service device 830 or
各種実現形態では、システム800に示されるコンポーネントの何れか1以上が統合されてもよい。例えば、プラットフォーム802及びコンテンツサービスデバイス830が統合されてもよく、あるいは、プラットフォーム802及びコンテンツ配信デバイス840が統合されてもよく、あるいは、プラットフォーム802、コンテンツサービスデバイス830及びコンテンツ配信デバイス840が統合されてもよい。各種実施例では、プラットフォーム802及びディスプレイ820は、統合されたユニットであってもよい。ディスプレイ820及びコンテンツサービスデバイス830が統合されてもよいし、あるいは、ディスプレイ820及びコンテンツ配信デバイス840が統合されてもよい。これらの具体例は、本開示を限定することを意図するものでない。
In various implementations, any one or more of the components shown in
各種実施例では、システム800は、無線システム、有線システム又はこれら双方の組み合わせとして実現されてもよい。無線システムとして実現されるとき、システム800は、1以上のアンテナ、送信機、受信機、送受信機、アンプ、フィルタ、制御ロジックなど、無線共有媒体を介し通信するのに適したコンポーネント及びインタフェースを有してもよい。無線共有媒体の具体例は、RFスペクトルなどの無線スペクトルの一部を含む。有線システムとして実現されるとき、システム800は、入出力(I/O)アダプタ、I/Oアダプタと対応する有線通信媒体とを接続する物理コネクタ、ネットワークインタフェースカード(NIC)、ディスクコントローラ、ビデオコントローラ、オーディオコントローラなど、有線通信媒体を介し通信するのに適したコンポーネント及びインタフェースを有してもよい。有線通信媒体の具体例は、配線、ケーブル、メタルリード、印刷回路基板(PCB)、バックプレーン、スイッチ網、半導体物質、ツイスティッドペアワイヤ、同軸ケーブル、光ファイバなどを含むものであってもよい。
In various embodiments,
プラットフォーム802は、情報を通信するため1以上の論理又は物理チャネルを確立する。当該情報は、メディア情報及び制御情報を含む。メディア情報は、ユーザのためのコンテンツを表す何れかのデータを表す。コンテンツの具体例は、例えば、会話からのデータ、テレビ会議、ストリーミングビデオ、電子メール(email)メッセージ、ボイスメールメッセージ、英数字シンボル、グラフィックス、画像、ビデオ、テキストなどを含むものであってもよい。会話からのデータは、例えば、発話情報、サイレンス期間、バックグラウンドノイズ、コンフォートノイズ、トーンなどであってもよい。制御情報は、自動システムのためのコマンド、命令又は制御ワードを表す何れかのデータを表す。例えば、制御情報は、システムを介しメディア情報をルーティングするため、又は所定の方法によりメディア情報を処理するようノードに指示するのに利用されてもよい。しかしながら、実施例は、図8に図示又は説明される要素又はコンテクストに限定されるものでない。 Platform 802 establishes one or more logical or physical channels for communicating information. The information includes media information and control information. Media information represents any data representing content for the user. Specific examples of content may include, for example, data from conversations, video conferencing, streaming video, email messages, voice mail messages, alphanumeric symbols, graphics, images, videos, text, etc. Good. The data from the conversation may be, for example, speech information, silence period, background noise, comfort noise, tone, and the like. Control information represents any data representing commands, instructions or control words for an automated system. For example, the control information may be used to route media information through the system or to instruct a node to process media information in a predetermined manner. However, embodiments are not limited to the elements or context shown or described in FIG.
上述されるように、システム800は、可変的な物理的スタイル又はフォームファクタにより具現化されてもよい。図9は、システム800が実現されるスモールフォームファクタデバイス900の実現形態を示す。実施例では、例えば、デバイス900は、無線機能を有するモバイル計算装置として実現されてもよい。モバイル計算装置は、例えば、1以上のバッテリなどのモバイル電源と処理システムとを有する何れかのデバイスを表す。
As described above, the
上述されるように、モバイル計算装置の具体例は、パーソナルコンピュータ(PC)、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、携帯コンピュータ、パームトップコンピュータ、PDA、携帯電話、コンビネーション携帯電話/PDA、テレビ、スマートデバイス(スマートフォン、スマートタブレット又はスマートテレビなど)、モバイルインターネットデバイス(MID)、メッセージングデバイス、データ通信デバイスなどを含むものであってもよい。 As described above, specific examples of mobile computing devices include personal computers (PCs), laptop computers, ultra laptop computers, tablets, touchpads, portable computers, portable computers, palmtop computers, PDAs, cellular phones, combinations It may include a mobile phone / PDA, a television, a smart device (such as a smart phone, smart tablet or smart TV), a mobile internet device (MID), a messaging device, a data communication device, and the like.
モバイル計算装置の具体例はまた、リストコンピュータ、フィンガーコンピュータ、リングコンピュータ、アイグラスコンピュータ、ベルトチップコンピュータ、アームバンドコンピュータ、シューコンピュータ、クロージングコンピュータ及び他のウェアラブルコンピュータなど、人が装着するよう構成されるコンピュータを含むものであってもよい。各種実施例では、例えば、モバイル計算装置は、音声通信及び/又はデータ通信と共にコンピュータアプリケーションを実行可能なスマートフォンとして実現されてもよい。いくつかの実施例は、例えば、スマートフォンとして実現されるモバイル計算装置により説明されるが、他の実施例はまた他の無線モバイル計算装置を用いて実現されてもよいことが理解されるであろう。これらの実施例は、これに限定されるものでない。 Examples of mobile computing devices are also configured to be worn by a person, such as a wrist computer, finger computer, ring computer, eyeglass computer, belt chip computer, armband computer, shoe computer, closing computer and other wearable computers. It may include a computer. In various embodiments, for example, the mobile computing device may be implemented as a smartphone capable of executing computer applications along with voice and / or data communications. Some embodiments will be described, for example, with a mobile computing device implemented as a smartphone, but it is understood that other embodiments may also be implemented with other wireless mobile computing devices. Let's go. These embodiments are not limited to this.
図9に示されるように、デバイス900は、ハウジング902、ディスプレイ904、入出力(I/O)デバイス906及びアンテナ908を含むものであってもよい。デバイス900はまた、ナビゲーション機能912を有してもよい。ディスプレイ904は、モバイル計算装置に適した情報を表示するための何れか適切な表示部を有してもよい。I/Oデバイス906は、モバイル計算装置に情報を入力するのに適した何れかのI/Oデバイスを含むものであってもよい。I/Oデバイス906の具体例は、英数字キーボード、数字キーパッド、タッチパッド、入力キー、ボタン、スイッチ、ロッカスイッチ、マイクロフォン、スピーカ、音声認識装置及びソフトウェアなどを含むものであってもよい。情報はまた、マイクロフォン(図示せず)を介しデバイス900に入力されてもよい。このような情報は、音声認識装置(図示せず)によりデジタル化されてもよい。これらの実施例は、これに限定されるものでない。
As shown in FIG. 9, the
各種実施例は、ハードウェア要素、ソフトウェア要素又はこれらの組み合わせを用いて実現されてもよい。ハードウェア要素の具体例は、プロセッサ、マイクロプロセッサ、回路、回路要素(トランジスタ、レジスタ、キャパシタ、インダクタなど)、集積回路、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、デジタル信号プロセッサ(DSP)、FPGA(Field Programmable Gate Array)、論理ゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセットなどを含むものであってもよい。ソフトウェアの具体例は、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシーンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、ファンクション、メソッド、プロシージャ、ソフトウェアインタフェース、アプリケーションプログラムインタフェース(API)、命令セット、計算コード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、値、シンボル又はこれらの何れかの組み合わせを含むものであってもよい。実施例がハードウェア要素及び/又はソフトウェア要素を用いて実現されるかの判断は、所望の計算レート、電力レベル、熱耐性、処理サイクルバジェット、入力データレート、出力データレート、メモリリソース、データバススピード及び他の設計若しくはパフォーマンス制約などの何れかの個数のファクタに従って可変的であってもよい。 Various embodiments may be implemented using hardware elements, software elements, or combinations thereof. Specific examples of hardware elements include processors, microprocessors, circuits, circuit elements (transistors, resistors, capacitors, inductors, etc.), integrated circuits, application specific integrated circuits (ASICs), programmable logic devices (PLDs), digital signal processors ( A DSP, a field programmable gate array (FPGA), a logic gate, a register, a semiconductor device, a chip, a microchip, a chipset, and the like. Specific examples of software include software components, programs, applications, computer programs, application programs, system programs, machine programs, operating system software, middleware, firmware, software modules, routines, subroutines, functions, methods, procedures, software interfaces, applications It may include a program interface (API), instruction set, calculation code, computer code, code segment, computer code segment, word, value, symbol, or any combination thereof. Determining whether an embodiment is implemented using hardware and / or software elements depends on the desired calculation rate, power level, thermal tolerance, processing cycle budget, input data rate, output data rate, memory resources, data bus It may be variable according to any number of factors such as speed and other design or performance constraints.
少なくとも1つの実施例の1以上の態様は、マシーンにより読み込まれると、当該マシーンにここに説明される技術を実行するためのロジックを製造させるプロセッサ内の各種ロジックを表すマシーン可読媒体に格納される命令により実現されてもよい。このような表現は、“IPコア”として知られ、有形なマシーン可読媒体に格納され、ロジック又はプロセッサを実際に生成する製造マシーンにロードするための各種カスタマ又は製造施設に供給される。 One or more aspects of at least one embodiment are stored on a machine-readable medium that, when read by a machine, represents various logic within a processor that causes the machine to produce logic for performing the techniques described herein. It may be realized by an instruction. Such a representation, known as an “IP core”, is stored on a tangible machine readable medium and supplied to various customers or manufacturing facilities for loading logic or processors into the production machine that actually produces them.
ここに与えられる特定の特徴が各種実現形態を参照して説明されたが、本説明は、限定的な意味に解釈されることを意図していない。従って、ここに説明される実現形態の各種変更と共に、当業者が本開示に属することが明らかな他の実現形態は、本開示の趣旨及び範囲内に属するとみなされる。 While the particular features provided herein have been described with reference to various implementations, this description is not intended to be construed in a limiting sense. Accordingly, together with various modifications of the implementations described herein, other implementations apparent to those skilled in the art are deemed to be within the spirit and scope of the disclosure.
820 ディスプレイ
822 ユーザインタフェース
802 プラットフォーム
812 メモリ
818 ラジオ
814 ストレージ
805 チップセット
816 アプリケーション
810 プロセッサ
815 グラフィックサブシステム
840 コンテンツ配信デバイス
830 コンテンツサービスデバイス
860 ネットワーク
820 Display 822 User interface 802
Claims (21)
前記受信したビットストリームに基づき、ルマ予測残差値を決定する回路と、
クロスチャネル残差予測の利用を示す前記ビットストリームに関するフラグに応答して、1以上のピクセルポジションについて、リニアファクタと前記ルマ予測残差値との積を決定し、前記リニアファクタと前記ルマ予測残差値との積に少なくとも部分的に基づきクロマ値を決定する回路と、
を有するビデオデコーダ。 Circuitry for receiving at least a portion of the bitstream;
A circuit for determining a luma prediction residual value based on the received bitstream;
In response to a flag for the bitstream indicating use of cross-channel residual prediction, a product of a linear factor and the luma prediction residual value is determined for one or more pixel positions, and the linear factor and the luma prediction residual are determined. A circuit for determining a chroma value based at least in part on the product of the difference value;
A video decoder.
ビットストリームの少なくとも一部にアクセスするステップと、
前記受信したビットストリームに基づきルマ予測残差値を決定するステップと、
クロスチャネル残差予測の利用を示す前記ビットストリームに関するフラグに応答して、1以上のピクセルポジションについて、リニアファクタと前記ルマ予測残差値との積を決定し、前記リニアファクタと前記ルマ予測残差値との積に少なくとも部分的に基づきクロマ値を決定するステップと、
を有する方法。 A computer-implemented method for decoding video, comprising:
Accessing at least a portion of the bitstream;
Determining a luma prediction residual value based on the received bitstream;
In response to a flag for the bitstream indicating use of cross-channel residual prediction, a product of a linear factor and the luma prediction residual value is determined for one or more pixel positions, and the linear factor and the luma prediction residual are determined. Determining a chroma value based at least in part on a product with the difference value;
Having a method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014121489A JP2014209757A (en) | 2014-06-12 | 2014-06-12 | Cross-channel residual prediction |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014121489A JP2014209757A (en) | 2014-06-12 | 2014-06-12 | Cross-channel residual prediction |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014539207A Division JP2014534746A (en) | 2011-11-07 | 2011-11-07 | Cross channel residual prediction |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014209757A true JP2014209757A (en) | 2014-11-06 |
Family
ID=51903674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014121489A Pending JP2014209757A (en) | 2014-06-12 | 2014-06-12 | Cross-channel residual prediction |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014209757A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113055671A (en) * | 2019-01-10 | 2021-06-29 | Oppo广东移动通信有限公司 | Image decoding method, decoder and computer storage medium |
WO2024001472A1 (en) * | 2022-06-29 | 2024-01-04 | Beijing Xiaomi Mobile Software Co., Ltd. | Encoding/decoding video picture data |
-
2014
- 2014-06-12 JP JP2014121489A patent/JP2014209757A/en active Pending
Non-Patent Citations (3)
Title |
---|
JPN6015023741; Kei Kawamura, Tomonobu Yoshino, Haruhisa Kato, Sei Naito: "Chroma intra prediction based on residual luma samples , 20110714, Joint Collaborative Team on Video Coding (JCT-VC) * |
JPN6016001518; Preview document JCTVC-F095 for Torino meeting , 20110716 * |
JPN6016001519; Gary Sullivan et al.: Meeting report of the sixth meeting of the Joint Collaborative Team on Video Coding (JCT-VC), Torino , 20111118, p.140, Joint Collaborative Team on Video Coding (JCT-VC) * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113055671A (en) * | 2019-01-10 | 2021-06-29 | Oppo广东移动通信有限公司 | Image decoding method, decoder and computer storage medium |
CN113055671B (en) * | 2019-01-10 | 2022-09-02 | Oppo广东移动通信有限公司 | Image decoding method, decoder and computer storage medium |
US11785225B2 (en) | 2019-01-10 | 2023-10-10 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for picture decoding, method for picture encoding, decoder, and encoder |
WO2024001472A1 (en) * | 2022-06-29 | 2024-01-04 | Beijing Xiaomi Mobile Software Co., Ltd. | Encoding/decoding video picture data |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10659777B2 (en) | Cross-channel residual prediction | |
TWI513316B (en) | Transcoding video data | |
JP2016029814A (en) | Prediction parameter inheritance for 3d video coding | |
JP2015530805A (en) | Inter-layer pixel sample prediction | |
JP2015528252A (en) | Derivation of conversion unit context based on size | |
JP6060394B2 (en) | Cross-layer / cross-channel residual prediction | |
JP2015534361A (en) | Using Enhanced Reference Region for Scalable Video Coding | |
US20140169467A1 (en) | Video coding including shared motion estimation between multple independent coding streams | |
JP2016506165A (en) | Interlayer motion data inheritance | |
US9860533B2 (en) | Cross-layer cross-channel sample prediction | |
JP6005847B2 (en) | Adaptive filtering for scalable video coding | |
TWI551118B (en) | Motion estimation methods for residual prediction | |
US20130148732A1 (en) | Variable block sized hierarchical motion estimation | |
JP2014209757A (en) | Cross-channel residual prediction | |
JP6177966B2 (en) | Cross channel residual prediction | |
JP6227698B2 (en) | Cross channel residual prediction | |
JP6156808B2 (en) | Apparatus, system, method, integrated circuit, and program for decoding compressed video data | |
TWI578763B (en) | Coding unit bit number limitation | |
JP2015146599A (en) | Inter-layer pixel sample prediction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150616 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150916 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160119 |