JP7477248B2 - 映像符号化における参照ピクチャリサンプリング用の複数のピクチャサイズおよびコンフォーマンスウインドウの処理 - Google Patents

映像符号化における参照ピクチャリサンプリング用の複数のピクチャサイズおよびコンフォーマンスウインドウの処理 Download PDF

Info

Publication number
JP7477248B2
JP7477248B2 JP2022500788A JP2022500788A JP7477248B2 JP 7477248 B2 JP7477248 B2 JP 7477248B2 JP 2022500788 A JP2022500788 A JP 2022500788A JP 2022500788 A JP2022500788 A JP 2022500788A JP 7477248 B2 JP7477248 B2 JP 7477248B2
Authority
JP
Japan
Prior art keywords
picture
parameter set
value
conformance window
picture parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022500788A
Other languages
English (en)
Other versions
JP2022540429A (ja
Inventor
チェン、ジアンレ
ヘンドリー、フヌ
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2022540429A publication Critical patent/JP2022540429A/ja
Application granted granted Critical
Publication of JP7477248B2 publication Critical patent/JP7477248B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

［関連出願の相互参照］
本特許出願は、Ｊｉａｎｌｅ Ｃｈｅｎ他により２０１９年７月８日に出願された「Ｈａｎｄｌｉｎｇ ｏｆ Ｍｕｌｔｉｐｌｅ Ｐｉｃｔｕｒｅ Ｓｉｚｅ ａｎｄ Ｃｏｎｆｏｒｍａｎｃｅ Ｗｉｎｄｏｗｓ ｆｏｒ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ ｉｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」と題する米国仮特許出願第６２／８７１，４９３号の利益を主張し、当該米国仮特許出願はその全体が参照によってここに組み込まれる。
本開示は概して、映像符号化において複数のピクチャサイズおよびコンフォーマンスウインドウをサポートするための手法を説明する。より具体的には、本開示は、同じピクチャサイズを有するピクチャパラメータセットが確実に同じコンフォーマンスウインドウも有するようにする。
比較的短い映像でも描写するのに必要な映像データ量はかなりの量になる可能性があり、そのため、限られた帯域幅容量の通信ネットワークでデータをストリームする、または別のやり方で通信する場合には、困難を招くことがある。したがって、映像データは一般に、現代の電気通信ネットワークで通信される前に圧縮される。映像のサイズも、その映像が記憶デバイスに格納される場合には、メモリリソースが限定されることがあるため問題になる可能性がある。映像圧縮デバイスでは、送出元でソフトウェアおよび／またはハードウェアを用いて、映像データを送信または記憶する前に符号化することが多く、これにより、デジタルビデオ画像を表現するのに必要なデータ量を減少させている。圧縮されたデータは次に、映像データをデコードする映像伸張デバイスによって宛先側で受信される。限られたネットワークリソースと高い映像品質への増え続ける要求とによって、画質を全くかほとんど犠牲にすることなく圧縮比率を向上させる圧縮／伸張手法の改善が望まれている。
第１態様は、映像デコーダにより実施される符号化映像ビットストリームのデコーディングの方法に関する。本方法は、それぞれが同じシーケンスパラメータセットを参照する第１のピクチャパラメータセットおよび第２のピクチャパラメータセットを映像デコーダが受信する段階であって、第１のピクチャパラメータセットおよび第２のピクチャパラメータセットがピクチャ幅およびピクチャ高さに関して同じ値を有する場合、第１のピクチャパラメータセットおよび第２のピクチャパラメータセットはコンフォーマンスウインドウに関して同じ値を有する、受信する段階と、映像デコーダが第１のピクチャパラメータセットまたは第２のピクチャパラメータセットに対応する現ピクチャにコンフォーマンスウインドウを適用する段階とを含む。
本方法は、同じピクチャサイズを有するピクチャパラメータセットを同じコンフォーマンスウインドウサイズも有するように制約する（例えば、ウインドウサイズをクロップする）手法を提供する。同じピクチャサイズを有するピクチャパラメータセットに対してコンフォーマンスウインドウを同じサイズに維持することにより、参照ピクチャリサンプリング（ＲＰＲ）が有効な場合、過度に複雑な処理を回避できる。したがって、プロセッサ、メモリ、および／またはネットワークリソースの使用量が、エンコーダとデコーダの両方で減少し得る。こうして、映像符号化におけるコーダ／デコーダ（コーデックとしても知られている）が、現コーデックと比較して改善される。現実問題としては、映像符号化プロセスの改善によって、ユーザには、映像を送出、受領、および／または視聴する場合に、より望ましいユーザ体験が提供される。
任意選択的に、前述の態様のうちのいずれかにおいて、本態様の別の実装例が、コンフォーマンスウインドウがコンフォーマンスウインドウ左側オフセット、コンフォーマンスウインドウ右側オフセット、コンフォーマンスウインドウ上側オフセット、およびコンフォーマンスウインドウ下側オフセットを有するということを規定する。
任意選択的に、前述の態様のうちのいずれかにおいて、本態様の別の実装例が、第１のピクチャパラメータセットまたは第２のピクチャパラメータセットに対応する現ピクチャを、コンフォーマンスウインドウが適用された後にインター予測を用いてデコードする段階を提供する。ここで、インター予測はリサンプリングされた参照ピクチャに基づいている。
任意選択的に、前述の態様のうちのいずれかにおいて、本態様の別の実装例が、第１のピクチャパラメータセットまたは第２のピクチャパラメータセットに対応する現ピクチャと関連付けられた参照ピクチャを、参照ピクチャリサンプリング（ＲＰＳ）を用いてリサンプリングする段階を提供する。
任意選択的に、前述の態様のうちのいずれかにおいて、本態様の別の実装例が、参照ピクチャのリサンプリングが第１のピクチャパラメータセットまたは第２のピクチャパラメータセットに対応する現ピクチャをインター予測するのに用いられる参照ピクチャの解像度を変更するということを規定する。
任意選択的に、前述の態様のうちのいずれかにおいて、本態様の別の実装例が、ピクチャ幅およびピクチャ高さがルーマサンプルで測定されるということを規定する。
任意選択的に、前述の態様のうちのいずれかにおいて、本態様の別の実装例が、現ピクチャのピクチャ幅、ピクチャ高さ、およびコンフォーマンスウインドウと現ピクチャの参照ピクチャとに基づいてピクチャをデコードするのに双方向オプティカルフロー（ＢＤＯＦ）が有効かどうかを判定する段階を提供する。
任意選択的に、前述の態様のうちのいずれかにおいて、本態様の別の実装例が、現ピクチャのピクチャ幅、ピクチャ高さ、およびコンフォーマンスウインドウと現ピクチャの参照ピクチャとに基づいてピクチャをデコードするのにデコーダ側動きベクトル微調整（ＤＭＶＲ）が有効かどうかを判定する段階を提供する。
任意選択的に、前述の態様のうちのいずれかにおいて、本態様の別の実装例が、現ブロックを用いて生成された画像を電子デバイスのディスプレイに表示する段階を提供する。
第２態様は、映像エンコーダにより実施される映像ビットストリームのエンコーディングの方法に関する。本方法は、それぞれ同じシーケンスパラメータセットを参照する第１のピクチャパラメータセットおよび第２のピクチャパラメータセットを映像エンコーダが生成する段階であって、第１のピクチャパラメータセットおよび第２のピクチャパラメータセットがピクチャ幅およびピクチャ高さに関して同じ値を有する場合、第１のピクチャパラメータセットおよび第２のピクチャパラメータセットはコンフォーマンスウインドウに関して同じ値を有する、生成する段階と、映像エンコーダが第１のピクチャパラメータセットおよび第２のピクチャパラメータセットを映像ビットストリームにエンコードする段階と、映像エンコーダが映像ビットストリームを映像デコーダに送信するために格納する段階とを含む。
本方法は、同じピクチャサイズを有するピクチャパラメータセットを同じコンフォーマンスウインドウサイズも有するように制約する（例えば、ウインドウサイズをクロップする）手法を提供する。同じピクチャサイズを有するピクチャパラメータセットに対してコンフォーマンスウインドウを同じサイズに維持することにより、参照ピクチャリサンプリング（ＲＰＲ）が有効な場合、過度に複雑な処理を回避できる。したがって、プロセッサ、メモリ、および／またはネットワークリソースの使用量が、エンコーダとデコーダの両方で減少し得る。こうして、映像符号化におけるコーダ／デコーダ（コーデックとしても知られている）が、現コーデックと比較して改善される。現実問題としては、映像符号化プロセスの改善によって、ユーザには、映像を送出、受領、および／または視聴する場合に、より望ましいユーザ体験が提供される。
任意選択的に、前述の態様のうちのいずれかにおいて、本態様の別の実装例が、コンフォーマンスウインドウがコンフォーマンスウインドウ左側オフセット、コンフォーマンスウインドウ右側オフセット、コンフォーマンスウインドウ上側オフセット、およびコンフォーマンスウインドウ下側オフセットを有するということを規定する。
任意選択的に、前述の態様のうちのいずれかにおいて、本態様の別の実装例が、ピクチャ幅およびピクチャ高さがルーマサンプルで測定されるということを規定する。
任意選択的に、前述の態様のうちのいずれかにおいて、本態様の別の実装例が、第１のピクチャパラメータセットおよび第２のピクチャパラメータセットを含む映像ビットストリームを映像デコーダに送信する段階を提供する。
第３態様は、デコーディングデバイスに関する。デコーディングデバイスは、符号化映像ビットストリームを受信するように構成された受信機と、受信機に結合されたメモリであって、メモリは命令を格納する、メモリと、メモリに結合されたプロセッサであって、プロセッサは命令を実行してデコーディングデバイスに、それぞれ同じシーケンスパラメータセットを参照する第１のピクチャパラメータセットおよび第２のピクチャパラメータセットを受信することであって、第１のピクチャパラメータセットおよび第２のピクチャパラメータセットがピクチャ幅およびピクチャ高さに関して同じ値を有する場合、第１のピクチャパラメータセットおよび第２のピクチャパラメータセットはコンフォーマンスウインドウに関して同じ値を有する、受信することと、第１のピクチャパラメータセットまたは第２のピクチャパラメータセットに対応する現ピクチャにコンフォーマンスウインドウを適用することとを行わせるように構成される、プロセッサとを含む。
デコーディングデバイスは、同じピクチャサイズを有するピクチャパラメータセットを同じコンフォーマンスウインドウサイズも有するように制約する（例えば、ウインドウサイズをクロップする）手法を提供する。同じピクチャサイズを有するピクチャパラメータセットに対してコンフォーマンスウインドウを同じサイズに維持することにより、参照ピクチャリサンプリング（ＲＰＲ）が有効な場合、過度に複雑な処理を回避できる。したがって、プロセッサ、メモリ、および／またはネットワークリソースの使用量が、エンコーダとデコーダの両方で減少し得る。こうして、映像符号化におけるコーダ／デコーダ（コーデックとしても知られている）が、現コーデックと比較して改善される。現実問題としては、映像符号化プロセスの改善によって、ユーザには、映像を送出、受領、および／または視聴する場合に、より望ましいユーザ体験が提供される。
任意選択的に、前述の態様のうちのいずれかにおいて、本態様の別の実装例が、コンフォーマンスウインドウがコンフォーマンスウインドウ左側オフセット、コンフォーマンスウインドウ右側オフセット、コンフォーマンスウインドウ上側オフセット、およびコンフォーマンスウインドウ下側オフセットを有するということを規定する。
任意選択的に、前述の態様のうちのいずれかにおいて、本態様の別の実装例が、第１のピクチャパラメータセットまたは第２のピクチャパラメータセットに対応する現ピクチャを、コンフォーマンスウインドウが適用された後にインター予測を用いてデコードすることを提供する。ここで、インター予測はリサンプリングされた参照ピクチャに基づいている。
任意選択的に、前述の態様のうちのいずれかにおいて、本態様の別の実装例が、現ピクチャに基づいて生成された画像を表示するように構成されたディスプレイを提供する。
第４態様は、エンコーディングデバイスに関する。エンコーディングデバイスは、命令を含むメモリと、メモリに結合されたプロセッサであって、プロセッサは命令を実施してエンコーディングデバイスに、それぞれ同じシーケンスパラメータセットを参照する第１のピクチャパラメータセットおよび第２のピクチャパラメータセットを生成することであって、第１のピクチャパラメータセットおよび第２のピクチャパラメータセットがピクチャ幅およびピクチャ高さに関して同じ値を有する場合、第１のピクチャパラメータセットおよび第２のピクチャパラメータセットはコンフォーマンスウインドウに関して同じ値を有する、生成することと、第１のピクチャパラメータセットおよび第２のピクチャパラメータセットを映像ビットストリームにエンコードすることとを行わせるように構成される、プロセッサと、プロセッサに結合された送信機であって、送信機は第１のピクチャパラメータセットおよび第２のピクチャパラメータセットを含む映像ビットストリームを映像デコーダに送信するように構成される、送信機とを含む。
エンコーディングデバイスは、同じピクチャサイズを有するピクチャパラメータセットを同じコンフォーマンスウインドウサイズも有するように制約する（例えば、ウインドウサイズをクロップする）手法を提供する。同じピクチャサイズを有するピクチャパラメータセットに対してコンフォーマンスウインドウを同じサイズに維持することにより、参照ピクチャリサンプリング（ＲＰＲ）が有効な場合、過度に複雑な処理を回避できる。したがって、プロセッサ、メモリ、および／またはネットワークリソースの使用量が、エンコーダとデコーダの両方で減少し得る。こうして、映像符号化におけるコーダ／デコーダ（コーデックとしても知られている）が、現コーデックと比較して改善される。現実問題としては、映像符号化プロセスの改善によって、ユーザには、映像を送出、受領、および／または視聴する場合に、より望ましいユーザ体験が提供される。
任意選択的に、前述の態様のうちのいずれかにおいて、本態様の別の実装例が、コンフォーマンスウインドウがコンフォーマンスウインドウ左側オフセット、コンフォーマンスウインドウ右側オフセット、コンフォーマンスウインドウ上側オフセット、およびコンフォーマンスウインドウ下側オフセットを有するということを規定する。
任意選択的に、前述の態様のうちのいずれかにおいて、本態様の別の実装例が、ピクチャ幅およびピクチャ高さがルーマサンプルで測定されるということを規定する。
第５態様は、符号化装置に関する。符号化装置は、エンコードするピクチャを受信するように、またはデコードするビットストリームを受信するように構成された受信機と、受信機に結合された送信機であって、送信機はビットストリームをデコーダに送信するように、またはデコード画像をディスプレイに送信するように構成される、送信機と、受信機または送信機のうちの少なくとも一方に結合されたメモリであって、メモリは命令を格納するように構成される、メモリと、メモリに結合されたプロセッサであって、プロセッサはメモリに格納された命令を実行して、本明細書に開示される方法のうちのいずれかを行うように構成される、プロセッサとを含む。
符号化装置は、同じピクチャサイズを有するピクチャパラメータセットを同じコンフォーマンスウインドウサイズも有するように制約する（例えば、ウインドウサイズをクロップする）手法を提供する。同じピクチャサイズを有するピクチャパラメータセットに対してコンフォーマンスウインドウを同じサイズに維持することにより、参照ピクチャリサンプリング（ＲＰＲ）が有効な場合、過度に複雑な処理を回避できる。したがって、プロセッサ、メモリ、および／またはネットワークリソースの使用量が、エンコーダとデコーダの両方で減少し得る。こうして、映像符号化におけるコーダ／デコーダ（コーデックとしても知られている）が、現コーデックと比較して改善される。現実問題としては、映像符号化プロセスの改善によって、ユーザには、映像を送出、受領、および／または視聴する場合に、より望ましいユーザ体験が提供される。
任意選択的に、前述の態様のうちのいずれかにおいて、本態様の別の実装例が、画像を表示するように構成されたディスプレイを提供する。
第６態様は、システムに関する。システムは、エンコーダと、エンコーダと通信するデコーダとを含み、エンコーダまたはデコーダは、本明細書に開示されるデコーディングデバイス、エンコーディングデバイス、または符号化装置を含む。
システムは、同じピクチャサイズを有するピクチャパラメータセットを同じコンフォーマンスウインドウサイズも有するように制約する（例えば、ウインドウサイズをクロップする）手法を提供する。同じピクチャサイズを有するピクチャパラメータセットに対してコンフォーマンスウインドウを同じサイズに維持することにより、参照ピクチャリサンプリング（ＲＰＲ）が有効な場合、過度に複雑な処理を回避できる。したがって、プロセッサ、メモリ、および／またはネットワークリソースの使用量が、エンコーダとデコーダの両方で減少し得る。こうして、映像符号化におけるコーダ／デコーダ（コーデックとしても知られている）が、現コーデックと比較して改善される。現実問題としては、映像符号化プロセスの改善によって、ユーザには、映像を送出、受領、および／または視聴する場合に、より望ましいユーザ体験が提供される。
第７態様は、符号化の手段に関する。符号化の手段は、エンコードするピクチャを受信するように、またはデコードするビットストリームを受信するように構成された受信手段と、受信手段に結合された送信手段であって、送信手段はビットストリームをデコーディング手段に送信するように、またはデコード画像を表示手段に送信するように構成される、送信手段と、受信手段または送信手段のうちの少なくとも一方に結合された記憶手段であって、記憶手段は命令を格納するように構成される、記憶手段と、記憶手段に結合された処理手段であって、処理手段は記憶手段に格納された命令を実行して、本明細書に開示される方法のうちのいずれかを実行するように構成される、処理手段とを含む。
符号化の手段は、同じピクチャサイズを有するピクチャパラメータセットを同じコンフォーマンスウインドウサイズも有するように制約する（例えば、ウインドウサイズをクロップする）手法を提供する。同じピクチャサイズを有するピクチャパラメータセットに対してコンフォーマンスウインドウを同じサイズに維持することにより、参照ピクチャリサンプリング（ＲＰＲ）が有効な場合、過度に複雑な処理を回避できる。したがって、プロセッサ、メモリ、および／またはネットワークリソースの使用量が、エンコーダとデコーダの両方で減少し得る。こうして、映像符号化におけるコーダ／デコーダ（コーデックとしても知られている）が、現コーデックと比較して改善される。現実問題としては、映像符号化プロセスの改善によって、ユーザには、映像を送出、受領、および／または視聴する場合に、より望ましいユーザ体験が提供される。
明確にすることを目的に、前述の実施形態のうちのいずれか１つを他の前述の実施形態のうちのいずれか１つまたは複数と組み合わせて、本開示の範囲に含まれる新たな実施形態を作ってもよい。
これらの特徴および他の特徴が、添付図面および特許請求の範囲と共に利用される下記の詳細な説明から、より明確に理解されるであろう。
本開示のより十分な理解のために、ここで、添付図面および詳細な説明と共に利用される下記の簡潔な説明に言及する。ここで、同種の参照番号は同種の部分を表している。
映像信号を符号化する方法の一例に関するフローチャートである。
映像符号化のコーディング・デコーディング（コーデック）システムの一例に関する概略図である。
映像エンコーダの一例を示す概略図である。
映像デコーダの一例を示す概略図である。
リーディングピクチャとトレイリングピクチャとに対するイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャの関係を、デコーディング順序および表示順序において示す符号化映像シーケンスである。
空間スケーラビリティの多層符号化に関する一例を示す。
単方向インター予測の一例を示す概略図である。
双方向インター予測の一例を示す概略図である。
映像ビットストリームを示している。
ピクチャの分割手法を示している。
符号化映像ビットストリームをデコードする方法の一実施形態である。
符号化映像ビットストリームをエンコードする方法の一実施形態である。
映像符号化デバイスの概略図である。
符号化の手段に関する一実施形態の概略図である。
１つまたは複数の実施形態の例示的な実装態様が以下に提供されるが、開示されるシステムおよび／または方法は、任意の数の手法を、それが現在知られているか存在するかに関わらず用いて実装されてよいことを最初に理解されたい。本開示は、以下に示される例示的な実装態様、図面、および手法（本明細書に示され且つ説明される例示的な設計例および実装例を含む）に限定されるべきでは決してなく、添付した特許請求の範囲にその全範囲の均等物を併せた範囲内で修正されてよい。
下記の用語は、本明細書で反対の文脈で用いられない限り、次のように定義される。具体的には、下記の定義は、本開示にさらなる明確さを提供することが意図されている。しかしながら、こうした用語は異なる文脈では異なるように説明されてもよい。したがって、下記の定義は補足とみなされるべきであり、本明細書ではそのような用語に提供される説明のあらゆる他の定義を限定するものとみなされるべきではない。
ビットストリームとは、エンコーダとデコーダとの間で送信するために圧縮された映像データを含むビットのシーケンスである。エンコーダとは、エンコーディングプロセスを使用し、映像データを圧縮してビットストリームにするように構成されたデバイスである。デコーダとは、デコーディングプロセスを使用し、ビットストリームの映像データを表示のために再構築するように構成されたデバイスである。ピクチャとは、フレームもしくはそのフィールドを作るルーマサンプルの配列および／またはクロマサンプルの配列である。エンコード中またはデコード中のピクチャは、説明を明確にするために、現ピクチャと呼ばれてよい。
参照ピクチャとは、インター予測および／または階層間予測に従って参照により他のピクチャを符号化する場合に用いられ得る参照サンプルを含んだピクチャである。参照ピクチャリストとは、インター予測および／または階層間予測に用いられる参照ピクチャのリストである。一部の映像符号化システムでは２つの参照ピクチャリストを利用し、これらのリストは参照ピクチャリスト１および参照ピクチャリスト０として表され得る。参照ピクチャリスト構造とは、複数の参照ピクチャリストを含むアドレス指定可能なシンタクス構造である。インター予測とは、現ピクチャと異なる参照ピクチャ内の示されたサンプルを参照することにより現ピクチャのサンプルを符号化する方式であり、参照ピクチャおよび現ピクチャは同じ階層にある。参照ピクチャリスト構造エントリとは、参照ピクチャリストと関連付けられた参照ピクチャを示す参照ピクチャリスト構造内のアドレス指定可能位置である。
スライスヘッダとは、スライスで表されるタイル内の全映像データに関連するデータ要素を含む符号化スライスの一部である。ピクチャパラメータセット（ＰＰＳ）とは、ピクチャ全体に関連しているデータを含むパラメータセットである。より具体的には、ＰＰＳは、ゼロまたはもっと多くの符号化ピクチャ全体に適用されるシンタクス要素を含んだシンタクス構造であり、各ピクチャヘッダに見られるシンタクス要素により決定される。シーケンスパラメータセット（ＳＰＳ）とは、ピクチャのシーケンスに関連しているデータを含んだパラメータセットである。アクセスユニット（ＡＵ）とは、デコードピクチャバッファ（ＤＰＢ）から出力するために（例えば、ユーザに表示するために）、同じ表示時間（例えば、同じピクチャ順序カウント）と関連付けられた１つまたは複数の符号化ピクチャのセットである。デコード映像シーケンスとは、ユーザへの表示に備えてデコーダにより再構築されたピクチャのシーケンスである。
コンフォーマンスクロッピングウィンドウ（または、簡単にコンフォーマンスウインドウ）とは、符号化プロセスから出力される符号化映像シーケンスに含まれるピクチャのサンプルのウインドウを指す。ビットストリームは、コンフォーマンスウインドウクロッピングパラメータを提供して、符号化ピクチャの出力領域を示してよい。ピクチャ幅とは、ルーマサンプルで測定されるピクチャの幅である。ピクチャ高さとは、ルーマサンプルで測定されるピクチャの高さである。コンフォーマンスウインドウオフセット（例えば、ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ）では、出力用のピクチャ座標で規定される矩形領域によって、デコーディングプロセスから出力されるＰＰＳを参照するピクチャのサンプルを規定する。
デコーダ側動きベクトル微調整（ＤＭＶＲ）とは、予測されるブロックの動きまたは動きベクトルを微調整するのに用いられるプロセス、アルゴリズム、または符号化ツールである。ＤＭＶＲによって、バイラテラルテンプレートマッチングプロセスを用いる双予測について見られる２つの動きベクトルに基づいて、動きベクトルを求めることが可能になる。ＤＭＶＲでは、２つの動きベクトルのそれぞれを用いて生成される予測符号化ユニットの重み付き組み合わせを求めることができ、２つの動きベクトルは、組み合わされた予測符号化ユニットを最も良く指し示す新たな動きベクトルに置き換えることで微調整され得る。双方向オプティカルフロー（ＢＤＯＦ）とは、予測されるブロックの動きまたは動きベクトルを微調整するのに用いられるプロセス、アルゴリズム、または符号化ツールである。ＢＤＯＦによって、２つの参照ピクチャ同士の差分の勾配に基づいて、サブ符号化ユニットの動きベクトルを求めることが可能になる。
参照ピクチャリサンプリング（ＲＰＲ）とは、符号化ピクチャの空間解像度をビットストリームの途中で変更する能力であり、解像度変更位置においてピクチャのイントラ符号化を必要としない。本明細書で用いる場合、解像度とは、映像ファイルに含まれる画素の数を表す。すなわち、解像度は映像の幅および高さであり、画素数で測定される。例えば、ある映像が１２８０（水平画素数）×７２０（垂直画素数）の解像度を有するかもしれない。これは通常、簡単に１２８０×７２０と記載されるか、または７２０ｐと略される。
デコーダ側動きベクトル微調整（ＤＭＶＲ）とは、予測されるブロックの動きまたは動きベクトルを微調整するのに用いられるプロセス、アルゴリズム、または符号化ツールである。双方向オプティカルフロー（ＢＤＯＦ）は、双方向性オプティカルフロー（ＢＩＯ）としても知られており、予測されるブロックの動きまたは動きベクトルを微調整するのに用いられるプロセス、アルゴリズム、または符号化ツールである。参照ピクチャリサンプリング（ＲＰＲ）機能は、符号化ピクチャの空間解像度をビットストリームの途中で変更する能力であり、解像度変更位置においてピクチャのイントラ符号化を必要としない。
本明細書では下記の頭字語を用いる。つまり、符号化ツリーブロック（ＣＴＢ）、符号化ツリーユニット（ＣＴＵ）、符号化ユニット（ＣＵ）、符号化映像シーケンス（ＣＶＳ）、映像専門家合同チーム（ＪＶＥＴ）、動き制約タイルセット（ＭＣＴＳ）、最大転送単位（ＭＴＵ）、ネットワーク抽象化層（ＮＡＬ）、ピクチャ順序カウント（ＰＯＣ）、ローバイトシーケンスペイロード（ＲＢＳＰ）、シーケンスパラメータセット（ＳＰＳ）、多目的映像符号化（ＶＶＣ）、およびワーキングドラフト（ＷＤ）である。
図１は、映像信号の符号化に関する一例としての動作方法１００のフローチャートである。具体的には、映像信号はエンコーダでエンコードされる。エンコーディングプロセスでは、様々な方式を使用して映像ファイルサイズを縮小することにより映像信号を圧縮する。ファイルサイズが小さくなると、圧縮された映像ファイルをユーザに送信すると共に、関連する帯域幅オーバヘッドを削減することが可能になる。デコーダは次に、圧縮映像ファイルをデコードして、エンドユーザに表示するために元の映像信号を再構築する。デコーディングプロセスは概して、エンコーディングプロセスとよく似ており、デコーダが映像信号を矛盾なく再構築することを可能にする。
段階１０１では、映像信号がエンコーダに入力される。例えば、映像信号はメモリに格納された未圧縮映像ファイルでよい。別の例として、映像ファイルは、ビデオカメラなどの映像撮影デバイスで撮影され、映像のライブストリーミングをサポートするようにエンコードされてよい。映像ファイルは、音声成分および映像成分を両方とも含んでよい。映像成分には、シーケンスで見た場合に視覚的な動きの印象を与える一連の画像フレームが含まれている。こうしたフレームは、本明細書でルーマ成分（またはルーマサンプル）と呼ばれる明るさと、クロマ成分（またはカラーサンプル）と呼ばれる色とによって表現される画素を含む。いくつかの例では、フレームは３次元表示をサポートするために深度値も含んでよい。
段階１０３では、映像が複数のブロックに分割される。分割する段階は、各フレーム内の画素を圧縮のために正方形ブロックおよび／または矩形ブロックに細分化する段階を含む。例えば、高効率映像符号化（ＨＥＶＣ）（Ｈ．２６５およびＭＰＥＧ－Ｈ Ｐａｒｔ ２としても知られている）では、まずフレームを符号化ツリーユニット（ＣＴＵ）に分割することができ、これは所定サイズのブロック（例えば、６４画素×６４画素）である。ＣＴＵには、ルーマサンプルおよびクロマサンプルの両方が含まれる。符号化ツリーは、ＣＴＵを複数のブロックに分割し、次に、さらなるエンコーディングをサポートする構成が得られるまで、これらのブロックを再帰的に細分化するのに使用されてよい。例えば、フレームのルーマ成分は、個々のブロックが比較的均質な照明値を含むまで細分化されてよい。さらに、フレームのクロマ成分は、個々のブロックが比較的均質な色値を含むまで細分化されてよい。したがって、分割方式は映像フレームの中身に応じて変わる。
段階１０５では、様々な圧縮方式を使用して、段階１０３で分割された画像ブロックを圧縮する。例えば、インター予測および／またはイントラ予測を使用してもよい。インター予測は、共通シーンにある対象が連続するフレームに出現する傾向があるという事実を利用するように設計されている。したがって、ある対象を参照フレームに描写しているブロックが、隣接フレームに繰り返し描写される必要はない。具体的には、テーブルなどの対象が、複数のフレームにわたって定位置にとどまっていてよい。したがって、そのテーブルを一度描写すれば、隣接フレームは参照フレームに戻って参照することができる。複数のフレームにわたって対象をマッチングさせるのに、パターンマッチング方式を使用してもよい。さらに、移動対象が、例えば、対象の動きまたはカメラの動きによって複数のフレームにわたって描写されてよい。具体的な例として、ある映像が、複数のフレームにわたって画面を横断する自動車を示してよい。そのような動きを描写するのに、動きベクトルを使用することができる。動きベクトルは、フレーム内の対象の座標からのオフセットを参照フレーム内の対象の座標に提供する２次元ベクトルである。したがって、インター予測では、現フレーム内の画像ブロックを、参照フレーム内の対応するブロックからのオフセットを示す一連の動きベクトルとしてエンコードすることができる。
イントラ予測では、共通フレーム内のブロックをエンコードする。イントラ予測は、あるフレームにルーマ成分およびクロマ成分が集まる傾向があるという事実を利用している。例えば、樹木の一部にある緑の部分が、緑の同様の部分に隣接して配置される傾向がある。イントラ予測は、複数の指向性予測モード（例えば、ＨＥＶＣでは３３個）、平面モード、および直流（ＤＣ）モードを使用する。指向性モードは、現ブロックが、対応する方向にある隣接ブロックのサンプルと同様／同じであることを示す。平面モードは、ある行／列（例えば、面）に沿った一連のブロックが、行の端部にある隣接ブロックに基づいて補間され得ることを示す。平面モードは、実際には、値の変化に比較的一定の勾配を使用することにより、行／列に沿って明るさ／色の滑らかな遷移を示す。ＤＣモードは、境界平滑化に使用され、あるブロックが、指向性予測モードの角度方向と関連付けられた全ての隣接ブロックのサンプルと関連付けられた平均値と同様／同じであることを示す。したがって、イントラ予測ブロックは、実際の値の代わりに様々な関係のある予測モードの値として画像ブロックを表現することができる。さらに、インター予測ブロックは、実際の値の代わりに動きベクトルの値として画像ブロックを表現することができる。どちらの場合も、予測ブロックは画像ブロックを正確に表現しなくてよい場合もある。あらゆる差分が残差ブロックに格納される。この残差ブロックには、ファイルをさらに圧縮するために複数の変換が適用されてよい。
段階１０７では、様々なフィルタリング手法が適用されてよい。ＨＥＶＣでは、ループ内フィルタリング方式に従って複数のフィルタが適用される。上述したブロックベースの予測は、デコーダでブロックノイズのある画像を生み出すことがある。さらに、ブロックベースの予測方式は、ブロックをエンコードし、次いでエンコードされたブロックを参照ブロックとして後で使用するために再構築してよい。ループ内フィルタリング方式では、ノイズ抑制フィルタ、デブロッキングフィルタ、適応型ループフィルタ、およびサンプル適応型オフセット（ＳＡＯ）フィルタをブロック／フレームに繰り返し適用する。これらのフィルタは、そのようなブロッキングアーチファクトを減らすので、エンコードされたファイルを正確に再構築することができる。さらに、これらのフィルタは、再構築された参照ブロックのアーチファクトを減らすので、再構築された参照ブロックに基づいてエンコードされる後続ブロックで、アーチファクトがさらなるアーチファクトを生み出す可能性は低い。
映像信号が分割され、圧縮され、フィルタリングされると、得られるデータは段階１０９でビットストリームにエンコードされる。ビットストリームには、上述したデータの他に、デコーダでの適切な映像信号再構築をサポートするのに望ましいあらゆるシグナリングデータが含まれる。例えば、そのようなデータは、分割データ、予測データ、残差ブロック、および符号化命令をデコーダに与える様々なフラグを含んでよい。ビットストリームは、要求に応じてデコーダに送信するためにメモリに格納されてよい。ビットストリームは、複数のデコーダにブロードキャストされても、且つ／またはマルチキャストされてもよい。ビットストリームの作成は反復プロセスである。したがって、段階１０１、１０３、１０５、１０７、および１０９が、多数のフレームおよびブロックに対して連続的に且つ／または同時に行われてよい。図１に示す順序は、説明を明確にするために且つ説明しやすいように提示されているが、映像符号化プロセスを特定の順序に限定することは意図されていない。
デコーダはビットストリームを受信し、段階１１１でデコーディングプロセスを始める。具体的には、デコーダはエントロピーデコーディング方式を使用して、ビットストリームを対応するシンタクスおよび映像データに変換する。デコーダは、ビットストリームからのシンタクスデータを使用して、段階１１１でフレームの分割部を決定する。この分割は、段階１０３でのブロック分割の結果と一致するはずである。ここで、段階１１１で使用されるエントロピーエンコーディング／デコーディングを説明する。エンコーダは、圧縮プロセスの間に、入力画像に含まれる値の空間配置に基づいて、いくつかの可能な選択肢からブロック分割方式を選択するといった多数の選択を行う。的確な選択をシグナリングするには、多数のビンを使用してよい。本明細書で用いる場合、ビンは変数（例えば、状況に応じて変わり得るビット値）として扱われる２進値である。エントロピー符号化によって、エンコーダは特定の事例に対して明らかに実行可能ではないあらゆるオプションを破棄して、許容できるオプションのセットを残すことが可能になる。許容できるオプションのそれぞれは次に、符号語に割り当てられる。符号語の長さは、許容できるオプションの数に基づいている（例えば、１つのビンには２つのオプション、２つのビンには３～４つのオプションなど）。エンコーダは次に、選択されたオプションの符号語をエンコードする。この方式で符号語のサイズが縮小される。符号語が、全ての可能なオプションの潜在的に大きいセットからの選択を一意に示すのとは反対に、許容できるオプションの小さいサブセットからの選択を一意に示すのに望ましいほどの大きさだからである。デコーダは次に、エンコーダと同様の方式で、許容できるオプションのセットを決定することにより選択をデコードする。許容できるオプションのセットを決定することにより、デコーダは符号語を読み出し、エンコーダによって行われた選択を判定することができる。
段階１１３では、デコーダがブロックデコーディングを行う。具体的には、デコーダは逆変換を使用して、残差ブロックを生成する。次にデコーダは、残差ブロックおよび対応する予測ブロックを使用し、分割に従って画像ブロックを再構築する。予測ブロックは、段階１０５においてエンコーダで生成されたイントラ予測ブロックおよびインター予測ブロックを両方とも含んでよい。再構築された画像ブロックは次に、段階１１１で決定された分割データに従って、再構築された映像信号のフレームに配置される。段階１１３のシンタクスは、上述したエントロピー符号化を介してビットストリームでシグナリングされてもよい。
段階１１５では、再構築された映像信号のフレームに対して、エンコーダでの段階１０７と同様の方式でフィルタリングが行われる。例えば、ノイズ抑制フィルタ、デブロッキングフィルタ、適応型ループフィルタ、およびＳＡＯフィルタをフレームに適用して、ブロッキングアーチファクトを除去してよい。フレームをフィルタリングすると、映像信号は、エンドユーザによる視聴のために、段階１１７でディスプレイに出力され得る。
図２は、映像符号化のコーディング・デコーディング（コーデック）システム２００の一例に関する概略図である。具体的には、コーデックシステム２００は動作方法１００の実装例をサポートする機能を提供する。コーデックシステム２００は、エンコーダおよびデコーダの両方に使用されるコンポーネントを示すように一般化されている。コーデックシステム２００は、動作方法１００の段階１０１および１０３に関して説明したように、映像信号を受信して分割する。これにより、分割映像信号２０１が得られる。コーデックシステム２００は次に、方法１００の段階１０５、１０７、および１０９に関して説明したようにエンコーダとして働く場合、分割映像信号２０１を圧縮して符号化ビットストリームにする。コーデックシステム２００は、デコーダとして働く場合、動作方法１００の段階１１１、１１３、１１５、および１１７に関して説明したように、ビットストリームから出力映像信号を生成する。コーデックシステム２００には、総合符号化器制御コンポーネント２１１、変換スケーリングおよび量子化コンポーネント２１３、イントラピクチャ推定コンポーネント２１５、イントラピクチャ予測コンポーネント２１７、動き補償コンポーネント２１９、動き推定コンポーネント２２１、スケーリングおよび逆変換コンポーネント２２９、フィルタ制御解析コンポーネント２２７、ループ内フィルタコンポーネント２２５、デコードピクチャバッファコンポーネント２２３、並びにヘッダフォーマットおよびコンテキスト適応型２値算術符号化（ＣＡＢＡＣ）コンポーネント２３１が含まれる。そのようなコンポーネントは、図示したように結合される。図２では、黒線でエンコード／デコードされるデータの動きを示しており、破線で他のコンポーネントの動作を制御する制御データの動きを示している。コーデックシステム２００の各コンポーネントは全て、エンコーダに存在してよい。デコーダには、コーデックシステム２００のコンポーネントのサブセットが含まれてよい。例えば、デコーダには、イントラピクチャ予測コンポーネント２１７、動き補償コンポーネント２１９、スケーリングおよび逆変換コンポーネント２２９、ループ内フィルタコンポーネント２２５、並びにデコードピクチャバッファコンポーネント２２３が含まれてよい。これらのコンポーネントを、ここで説明する。
分割映像信号２０１は、撮影された映像シーケンスであり、符号化ツリーにより画素のブロックに分割されている。符号化ツリーでは、様々な分離モードを使用して、画素のブロックをより小さい画素のブロックに細分化する。これらのブロックは次に、より小さいブロックにさらに細分化され得る。こうしたブロックは、符号化ツリー上のノードと呼ばれることがある。大きい親ノードが、小さい子ノードに分離される。ノードが細分化される回数が、ノード／符号化ツリーの深度と呼ばれる。分割ブロックが、符号化ユニット（ＣＵ）に含まれ得る場合もある。例えば、ＣＵは、ＣＵ用の対応するシンタクス命令と共に、ルーマブロック、赤色差（Ｃｒ）ブロック、および青色差（Ｃｂ）ブロックを含むＣＴＵのサブ部分であってよい。分離モードには、ノードを２つ、３つ、または４つの子ノードにそれぞれ分割するのに使用されるバイナリツリー（ＢＴ）、トリプルツリー（ＴＴ）、およびクアッドツリー（ＱＴ）が含まれてよく、使用される分離モードに応じて形状が変わる。分割映像信号２０１は、圧縮のために、総合符号化器制御コンポーネント２１１、変換スケーリングおよび量子化コンポーネント２１３、イントラピクチャ推定コンポーネント２１５、フィルタ制御解析コンポーネント２２７、並びに動き推定コンポーネント２２１に転送される。
総合符号化器制御コンポーネント２１１は、映像シーケンスの画像のビットストリームへの符号化に関連した決定をアプリケーションの制約に従って行うように構成される。例えば、総合符号化器制御コンポーネント２１１は、ビットレート／ビットストリームサイズ対再構築品質の最適化を管理する。そのような決定は、記憶空間／帯域幅の可用性と画像解像度要求とに基づいて行われてよい。総合符号化器制御コンポーネント２１１は、送信速度を考慮してバッファ利用率も管理し、バッファアンダーランおよびバッファオーバーランの問題を減らす。こうした問題を管理するために、総合符号化器制御コンポーネント２１１は、他のコンポーネントによる分割、予測、およびフィルタリングを管理する。例えば、総合符号化器制御コンポーネント２１１は、圧縮の複雑さを動的に増やして解像度を上げ且つ帯域幅利用率を上げても、圧縮の複雑さを減らして解像度および帯域幅利用率を下げてもよい。したがって、総合符号化器制御コンポーネント２１１は、コーデックシステム２００の他のコンポーネントを制御して、映像信号再構築の品質とビットレート問題とのバランスをとる。総合符号化器制御コンポーネント２１１は、制御データを作り、これによって他のコンポーネントの動作を制御する。制御データは、ヘッダフォーマットおよびＣＡＢＡＣコンポーネント２３１にも転送されて、デコーダでのデコーディングのためにパラメータをシグナリングするビットストリームにエンコードされる。
分割映像信号２０１は、インター予測のために動き推定コンポーネント２２１および動き補償コンポーネント２１９にも送出される。分割映像信号２０１のフレームまたはスライスが、複数の映像ブロックに分割されてよい。動き推定コンポーネント２２１および動き補償コンポーネント２１９は、受領した映像ブロックの、１つまたは複数の参照フレーム内の１つまたは複数のブロックと比較したインター予測符号化を行い、時間予測を提供する。コーデックシステム２００は、例えば、映像データのブロックごとに適切な符号化モードを選択するために、複数の符号化パスを実行してよい。
動き推定コンポーネント２２１および動き補償コンポーネント２１９は、高度に統合されてもよいが、概念的な目的のために別々に示されている。動き推定コンポーネント２２１により行われる動き推定とは、動きベクトルを生成するプロセスであり、動きベクトルで映像ブロックの動きを推定する。例えば、動きベクトルは、符号化された対象の変位を予測ブロックと比較して示すことができる。予測ブロックとは、画素差分の点から、符号化されるブロックと非常にマッチングしていることが分かるブロックである。予測ブロックは、参照ブロックとも呼ばれることがある。そのような画素差分は、差分絶対値和（ＳＡＤ）、差分二乗和（ＳＳＤ）、または他の差分指標によって決定されてよい。ＨＥＶＣでは、ＣＴＵ、符号化ツリーブロック（ＣＴＢ）、およびＣＵを含むいくつかの符号化された対象を使用する。例えば、ＣＴＵは複数のＣＴＢに分割されてよく、ＣＴＢは次に、ＣＵに含めるために複数のＣＢに分割されてよい。ＣＵは、予測データを含む予測ユニット（ＰＵ）および／またはＣＵ用の変換された残差データを含む変換ユニット（ＴＵ）として、エンコードされてよい。動き推定コンポーネント２２１は、レート歪み最適化プロセスの一部としてレート歪み解析を用いることにより、動きベクトル、ＰＵ、およびＴＵを生成する。例えば、動き推定コンポーネント２２１は、現ブロック／フレーム用の複数の参照ブロック、複数の動きベクトルなどを決定してよく、また最適なレート歪み特性を有する参照ブロック、動きベクトルなどを選択してよい。最適なレート歪み特性は、映像再構築の品質（例えば、圧縮によるデータ損失量）と符号化効率（例えば、最終エンコーディングのサイズ）とを両立させる。
いくつかの例では、コーデックシステム２００はデコードピクチャバッファコンポーネント２２３に格納された参照ピクチャのサブ整数画素位置の値を計算してよい。例えば、映像コーデックシステム２００は、参照ピクチャの１／４画素位置、１／８画素位置、または他の分数画素位置の値を補間してよい。したがって、動き推定コンポーネント２２１は、完全画素位置および分数画素位置に対して動き探索を行い、分数画素精度の動きベクトルを出力してよい。動き推定コンポーネント２２１は、ＰＵの位置と参照ピクチャの予測ブロックの位置とを比較することにより、インター符号化スライス内の映像ブロックのＰＵに対する動きベクトルを計算する。動き推定コンポーネント２２１は、計算した動きベクトルを動きデータとしてヘッダフォーマットおよびＣＡＢＡＣコンポーネント２３１にエンコーディングのために出力し、また動きを動き補償コンポーネント２１９に出力する。
動き補償は、動き補償コンポーネント２１９により行われ、動き推定コンポーネント２２１により決定された動きベクトルに基づいた予測ブロックのフェッチまたは生成を伴うことがある。ここでも、いくつかの例では、動き推定コンポーネント２２１および動き補償コンポーネント２１９は、機能的に統合されてよい。動き補償コンポーネント２１９は、現映像ブロックのＰＵの動きベクトルを受領すると、動きベクトルが指し示す予測ブロックの位置を特定してよい。次に、予測ブロックの画素値を符号化中の現映像ブロックの画素値から差し引くことにより、残差映像ブロックが形成され、画素差分値が形成される。一般に、動き推定コンポーネント２２１はルーマ成分に対して動き推定を行い、動き補償コンポーネント２１９は、ルーマ成分に基づいて計算された動きベクトルをクロマ成分およびルーマ成分の両方に用いる。予測ブロックおよび残差ブロックは、変換スケーリングおよび量子化コンポーネント２１３に転送される。
分割映像信号２０１は、イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７にも送出される。動き推定コンポーネント２２１および動き補償コンポーネント２１９と同様に、イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７は高度に統合されてよいが、概念的な目的のために別々に示されている。イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７は、上述したように、動き推定コンポーネント２２１および動き補償コンポーネント２１９により行われるフレーム間のインター予測の代替手段として、現フレーム内の各ブロックに対して現ブロックのイントラ予測を行う。具体的には、イントラピクチャ推定コンポーネント２１５は、現ブロックをエンコードするのに用いるイントラ予測モードを決定する。いくつかの例では、イントラピクチャ推定コンポーネント２１５は、テストされる複数のイントラ予測モードから、現ブロックをエンコードするのに適切なイントラ予測モードを選択する。選択されたイントラ予測モードは次に、エンコーディングのためにヘッダフォーマットおよびＣＡＢＡＣコンポーネント２３１に転送される。
例えば、イントラピクチャ推定コンポーネント２１５は、テストされる様々なイントラ予測モードにレート歪み解析を用いてレート歪み値を計算し、テストしたモードの中で最適なレート歪み特性を有するイントラ予測モードを選択する。レート歪み解析は一般に、エンコードブロックと、エンコードブロックを作り出すためにエンコードされた元の未エンコードブロックとの間の歪み（または誤差）の量、およびエンコードブロックを作り出すのに用いられるビットレート（例えば、多数のビット）を判定する。イントラピクチャ推定コンポーネント２１５は、様々なエンコードブロックの歪みおよびレートから比率を計算して、どのイントラ予測モードが各ブロックに対して最適なレート歪み値を示すかを判定する。さらに、イントラピクチャ推定コンポーネント２１５は、レート歪み最適化（ＲＤＯ）に基づく深度モデリングモード（ＤＭＭ）を用いて深度マップの深度ブロックを符号化するように構成されてよい。
イントラピクチャ予測コンポーネント２１７は、エンコーダで実施される場合には、イントラピクチャ推定コンポーネント２１５が決定する選択されたイントラ予測モードに基づいて予測ブロックから残差ブロックを生成してよく、あるいはデコーダで実施される場合には、ビットストリームから残差ブロックを読み出してよい。残差ブロックは、予測ブロックと元のブロックとの間の値の差分を含み、行列として表される。残差ブロックは次に、変換スケーリングおよび量子化コンポーネント２１３に転送される。イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７は、ルーマ成分およびクロマ成分の両方を処理してよい。
変換スケーリングおよび量子化コンポーネント２１３は、残差ブロックをさらに圧縮するように構成される。変換スケーリングおよび量子化コンポーネント２１３は、離散余弦変換（ＤＣＴ）、離散正弦変換（ＤＳＴ）、または概念的に類似した変換といった変換を残差ブロックに適用して、残差変換係数値を含んだ映像ブロックを作り出す。ウェーブレット変換、整数変換、サブバンド変換、または他のタイプの変換も用いられる可能性がある。この変換によって、残差情報は画素値領域から、周波数領域などの変換領域に変換されてよい。変換スケーリングおよび量子化コンポーネント２１３は、変換された残差情報を、例えば周波数に基づいてスケーリングするようにも構成される。そのようなスケーリングは、残差情報にスケールファクタを適用することを伴い、これにより、異なる周波数情報が異なる粒度で量子化され、その結果、再構築された映像の最終的な表示品質に影響を与えることがある。変換スケーリングおよび量子化コンポーネント２１３は、変換係数を量子化してビットレートをさらに下げるようにも構成される。量子化プロセスによって、係数の一部または全部と関連付けられたビット深度が減少し得る。量子化の程度は、量子化パラメータを調整することにより修正されてよい。いくつかの例において、変換スケーリングおよび量子化コンポーネント２１３は次に、量子化された変換係数を含んだ行列のスキャンを行ってよい。量子化された変換係数は、ヘッダフォーマットおよびＣＡＢＡＣコンポーネント２３１に転送されて、ビットストリームにエンコードされる。
スケーリングおよび逆変換コンポーネント２２９は、変換スケーリングおよび量子化コンポーネント２１３の逆動作を適用して、動き推定をサポートする。スケーリングおよび逆変換コンポーネント２２９は、逆スケーリング、変換、および／または量子化を適用して、例えば、別の現ブロック用の予測ブロックになり得る参照ブロックとして後で使用するために、画素領域内の残差ブロックを再構築する。動き推定コンポーネント２２１および／または動き補償コンポーネント２１９は、後のブロック／フレームの動き推定に用いるために、残差ブロックを対応する予測ブロックに加えることで参照ブロックを計算してよい。再構築された参照ブロックにはフィルタが適用されて、スケーリング、量子化、および変換の際に生み出されたアーチファクトを減らす。そうしなければ、そのようなアーチファクトは、後続ブロックを予測するときに、誤った予測を引き起こす（且つさらなるアーチファクトを生み出す）可能性がある。
フィルタ制御解析コンポーネント２２７およびループ内フィルタコンポーネント２２５は、残差ブロックおよび／または再構築された画像ブロックにフィルタを適用する。例えば、スケーリングおよび逆変換コンポーネント２２９からの変換された残差ブロックを、イントラピクチャ予測コンポーネント２１７および／または動き補償コンポーネント２１９からの対応する予測ブロックと組み合わせて、元の画像ブロックを再構築してよい。次に、再構築された画像ブロックにフィルタが適用されてよい。いくつかの例では、そうではなく、残差ブロックにフィルタが適用されてもよい。図２の他のコンポーネントと同様に、フィルタ制御解析コンポーネント２２７およびループ内フィルタコンポーネント２２５は高度に統合され、一緒に実装されてよいが、概念的な目的のために別々に示されている。再構築された参照ブロックに適用されるフィルタは、特定の空間領域に適用され、そのようなフィルタをどう適用するかを調整するための複数のパラメータを含む。フィルタ制御解析コンポーネント２２７は、再構築された参照ブロックを解析して、そのようなフィルタをどこに適用すべきかを決定し、対応するパラメータを設定する。そのようなデータは、エンコーディング用のフィルタ制御データとして、ヘッダフォーマットおよびＣＡＢＡＣコンポーネント２３１に転送される。ループ内フィルタコンポーネント２２５は、そのようなフィルタをフィルタ制御データに基づいて適用する。フィルタには、デブロッキングフィルタ、ノイズ抑制フィルタ、ＳＡＯフィルタ、および適応型ループフィルタが含まれてよい。そのようなフィルタは、事例に応じて、空間／画素領域で（例えば、再構築された画素ブロックに）または周波数領域で適用されてよい。
エンコーダとして動作する場合、フィルタリング済みの再構築画像ブロック、残差ブロック、および／または予測ブロックは、上述した動き推定に後で使用するために、デコードピクチャバッファコンポーネント２２３に格納される。デコーダとして動作する場合、デコードピクチャバッファコンポーネント２２３は、再構築され且つフィルタリングされたブロックを格納し、これを出力映像信号の一部としてディスプレイに転送する。デコードピクチャバッファコンポーネント２２３は、予測ブロック、残差ブロック、および／または再構築された画像ブロックを格納できる任意のメモリデバイスでよい。
ヘッダフォーマットおよびＣＡＢＡＣコンポーネント２３１は、コーデックシステム２００の様々なコンポーネントからデータを受信し、そのようなデータをエンコードして、デコーダに送信するために符号化ビットストリームにする。具体的には、ヘッダフォーマットおよびＣＡＢＡＣコンポーネント２３１は、様々なヘッダを生成し、総合制御データおよびフィルタ制御データなどの制御データをエンコードする。さらに、イントラ予測および動きデータを含む予測データ、並びに量子化された変換係数データの形式の残差データが、全てビットストリームにエンコードされる。最終的なビットストリームは、デコーダが元の分割映像信号２０１を再構築するのに望ましい全ての情報を含む。そのような情報は、イントラ予測モードのインデックステーブル（符号語マッピングテーブルとも呼ばれる）、様々なブロックのエンコーディングコンテキストの定義、最も可能性の高いイントラピクチャモードのインジケーション、分割情報のインジケーションなども含んでよい。そのようなデータは、エントロピー符号化を使用することでエンコードされてよい。例えば、こうした情報は、コンテキスト適応型可変長符号化（ＣＡＶＬＣ）、ＣＡＢＡＣ、シンタクスベースのコンテキスト適応型２値算術符号化（ＳＢＡＣ）、確率間隔分割エントロピー（ＰＩＰＥ）符号化、または別のエントロピー符号化手法を使用することによりエンコードされてよい。エントロピー符号化の後に、符号化ビットストリームは別のデバイス（例えば、映像デコーダ）に送信されても、または後で送信するもしくは検索するためにアーカイブされてもよい。
図３は、映像エンコーダ３００の一例を示すブロック図である。映像エンコーダ３００は、コーデックシステム２００のエンコーディング機能を実装する、且つ／または動作方法１００の段階１０１、１０３、１０５、１０７、および／もしくは１０９を実施するのに使用されてよい。エンコーダ３００は、入力映像信号を分割し、分割映像信号３０１を得る。これは、分割映像信号２０１と実質的に同様である。分割映像信号３０１は次に、エンコーダ３００のコンポーネントによって圧縮され、ビットストリームにエンコードされる。
具体的には、分割映像信号３０１は、イントラ予測のためにイントラピクチャ予測コンポーネント３１７に転送される。イントラピクチャ予測コンポーネント３１７は、イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７と実質的に同様であってよい。分割映像信号３０１は、デコードピクチャバッファコンポーネント３２３に含まれる参照ブロックに基づくインター予測のために、動き補償コンポーネント３２１にも転送される。動き補償コンポーネント３２１は、動き推定コンポーネント２２１および動き補償コンポーネント２１９と実質的に同様であってよい。イントラピクチャ予測コンポーネント３１７および動き補償コンポーネント３２１からの予測ブロックおよび残差ブロックは、残差ブロックの変換および量子化のために変換および量子化コンポーネント３１３に転送される。変換および量子化コンポーネント３１３は、変換スケーリングおよび量子化コンポーネント２１３と実質的に同様であってよい。変換され且つ量子化された残差ブロック、および対応する予測ブロックは（関連する制御データと共に）、符号化してビットストリームにするために、エントロピー符号化コンポーネント３３１に転送される。エントロピー符号化コンポーネント３３１は、ヘッダフォーマットおよびＣＡＢＡＣコンポーネント２３１と実質的に同様であってよい。
変換され且つ量子化された残差ブロック、および／または対応する予測ブロックは、動き補償コンポーネント３２１が用いるための参照ブロックに再構築するために、変換および量子化コンポーネント３１３から逆変換および量子化コンポーネント３２９にも転送される。逆変換および量子化コンポーネント３２９は、スケーリングおよび逆変換コンポーネント２２９と実質的に同様であってよい。ループ内フィルタコンポーネント３２５に含まれるループ内フィルタも、事例に応じて、残差ブロックおよび／または再構築された参照ブロックに適用される。ループ内フィルタコンポーネント３２５は、フィルタ制御解析コンポーネント２２７およびループ内フィルタコンポーネント２２５と実質的に同様であってよい。ループ内フィルタコンポーネント３２５は、ループ内フィルタコンポーネント２２５に関して説明したような複数のフィルタを含んでよい。フィルタリングされたブロックは次に、動き補償コンポーネント３２１が参照ブロックとして用いるために、デコードピクチャバッファコンポーネント３２３に格納される。デコードピクチャバッファコンポーネント３２３は、デコードピクチャバッファコンポーネント２２３と実質的に同様であってよい。
図４は、映像デコーダ４００の一例を示すブロック図である。映像デコーダ４００は、コーデックシステム２００のデコーディング機能を実装する、且つ／または動作方法１００の段階１１１、１１３、１１５、および／もしくは１１７を実施するのに使用されてよい。デコーダ４００は、例えばエンコーダ３００からビットストリームを受信し、このビットストリームに基づいて、エンドユーザに表示するために、再構築された出力映像信号を生成する。
ビットストリームは、エントロピーデコーディングコンポーネント４３３により受領される。エントロピーデコーディングコンポーネント４３３は、ＣＡＶＬＣ、ＣＡＢＡＣ、ＳＢＡＣ、ＰＩＰＥ符号化、または他のエントロピー符号化手法などのエントロピーデコーディング方式を実装するように構成される。例えば、エントロピーデコーディングコンポーネント４３３は、ヘッダ情報を使用してコンテキストを提供し、ビットストリーム内の符号語としてエンコードされた追加のデータを解釈してよい。デコードされた情報は、総合制御データ、フィルタ制御データ、分割情報、動きデータ、予測データ、および残差ブロックからの量子化された変換係数といった、映像信号をデコードするためのあらゆる望ましい情報を含む。量子化された変換係数は、残差ブロックに再構築するために、逆変換および量子化コンポーネント４２９に転送される。逆変換および量子化コンポーネント４２９は、逆変換および量子化コンポーネント３２９と同様であってよい。
再構築された残差ブロックおよび／または予測ブロックは、イントラ予測オペレーションに基づいて画像ブロックに再構築するために、イントラピクチャ予測コンポーネント４１７に転送される。イントラピクチャ予測コンポーネント４１７は、イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７と同様であってよい。具体的には、イントラピクチャ予測コンポーネント４１７は予測モードを使用して、フレーム内の参照ブロックの位置を特定し、その結果に残差ブロックを適用してイントラ予測された画像ブロックを再構築する。再構築され且つイントラ予測された画像ブロックおよび／または残差ブロック、並びに対応するインター予測データは、ループ内フィルタコンポーネント４２５を介してデコードピクチャバッファコンポーネント４２３に転送される。これらのコンポーネントはそれぞれ、ループ内フィルタコンポーネント２２５およびデコードピクチャバッファコンポーネント２２３と実質的に同様であってよい。ループ内フィルタコンポーネント４２５は、再構築された画像ブロック、残差ブロック、および／または予測ブロックをフィルタリングし、そのような情報はデコードピクチャバッファコンポーネント４２３に格納される。デコードピクチャバッファコンポーネント４２３からの再構築された画像ブロックは、インター予測のために動き補償コンポーネント４２１に転送される。動き補償コンポーネント４２１は、動き推定コンポーネント２２１および／または動き補償コンポーネント２１９と実質的に同様であってよい。具体的には、動き補償コンポーネント４２１は、参照ブロックからの動きベクトルを使用して予測ブロックを生成し、その結果に残差ブロックを適用して画像ブロックを再構築する。結果として得られる再構築されたブロックは、ループ内フィルタコンポーネント４２５を介してデコードピクチャバッファコンポーネント４２３にも転送されてよい。デコードピクチャバッファコンポーネント４２３は、さらなる再構築された画像ブロックを継続して格納し、こうした画像ブロックは分割情報によってフレームに再構築され得る。そのようなフレームは、シーケンスに配置されてもよい。このシーケンスは、再構築された出力映像信号としてディスプレイに出力される。
以上を踏まえると、こうした映像圧縮手法は、空間（イントラピクチャ）予測および／または時間（インターピクチャ）予測を行って、映像シーケンスに固有の冗長性を減らすまたは除去する。ブロックベースの映像符号化では、映像スライス（すなわち、映像ピクチャまたは映像ピクチャの一部）が複数の映像ブロックに分割されてよく、この映像ブロックは、ツリーブロック、符号化ツリーブロック（ＣＴＢ）、符号化ツリーユニット（ＣＴＵ）、符号化ユニット（ＣＵ）、および／または符号化ノードとも呼ばれることがある。あるピクチャのイントラ符号化された（Ｉ）スライス内の映像ブロックが、同じピクチャ内の隣接ブロックに含まれる参照サンプルに関する空間予測を用いてエンコードされる。あるピクチャのインター符号化された（ＰまたはＢ）スライスに含まれる映像ブロックが、同じピクチャ内の隣接ブロックに含まれる参照サンプルに関する空間予測、または他の参照ピクチャに含まれる参照サンプルに関する時間予測を用いてよい。これらのピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
空間予測または時間予測が、符号化されるブロックに対する予測ブロックをもたらす。残差データは、符号化される元のブロックと予測ブロックとの画素差分を表している。インター符号化ブロックが、予測ブロックを形成する参照サンプルのブロックを指し示す動きベクトル、および符号化ブロックと予測ブロックとの差分を示す残差データに従ってエンコードされる。イントラ符号化ブロックが、イントラ符号化モードおよび残差データに従ってエンコードされる。さらなる圧縮のために、残差データを画素領域から変換領域に変換して残差変換係数を得ることができる。次に、残差変換係数は量子化されてよい。量子化された変換係数は、最初は２次元配列に配置されており、変換係数の１次元ベクトルを作り出すためにスキャンされてよく、さらなる圧縮を実現するためにエントロピー符号化が適用されてよい。
画像および映像の圧縮は急成長を遂げており、様々な符号化規格がもたらされている。そのような映像符号化規格には、ＩＴＵ－ＴのＨ．２６１、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）のＭＰＥＧ－１ Ｐａｒｔ ２、ＩＴＵ－ＴのＨ．２６２またはＩＳＯ／ＩＥＣのＭＰＥＧ－２ Ｐａｒｔ ２、ＩＴＵ－ＴのＨ．２６３、ＩＳＯ／ＩＥＣのＭＰＥＧ－４ Ｐａｒｔ ２、次世代映像符号化（ＡＶＣ）（ＩＴＵ－ＴのＨ．２６４またはＩＳＯ／ＩＥＣのＭＰＥＧ－４ Ｐａｒｔ １０としても知られている）、および高効率映像符号化（ＨＥＶＣ）（ＩＴＵ－ＴのＨ．２６５またはＭＰＥＧ－Ｈ Ｐａｒｔ ２としても知られている）が含まれる。ＡＶＣには、スケーラブル映像符号化（ＳＶＣ）、多視点映像符号化（ＭＶＣ）および多視点映像符号化＋深度（ＭＶＣ＋Ｄ）、並びに３Ｄ ＡＶＣ（３Ｄ－ＡＶＣ）などの拡張規格が含まれる。ＨＥＶＣには、スケーラブルＨＥＶＣ（ＳＨＶＣ）、多視点ＨＥＶＣ（ＭＶ－ＨＥＶＣ）、および３Ｄ ＨＥＶＣ（３Ｄ－ＨＥＶＣ）などの拡張規格が含まれる。
多目的映像符号化（ＶＶＣ）という名前の新たな映像符号化規格もあり、これは、ＩＴＵ－ＴおよびＩＳＯ／ＩＥＣの映像専門家合同チーム（ＪＶＥＴ）によって開発中である。ＶＶＣ規格にはいくつかのワーキングドラフトがあるが、具体的には、ＶＶＣに関する１つのワーキングドラフト（ＷＤ）、すなわち、Ｂ．Ｂｒｏｓｓ、Ｊ．Ｃｈｅｎ、およびＳ．Ｌｉｕによる「Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ５）」ＪＶＥＴ－Ｎ１００１－ｖ３（第１３回ＪＶＥＴ会合、２０１９年３月２７日）（ＶＶＣ Ｄｒａｆｔ ５）が本明細書において参照される。この段落および先行段落に含まれる参考文献のそれぞれは、その全体が参照により組み込まれている。
本明細書に開示される各手法の説明は、ＩＴＵ－ＴおよびＩＳＯ／ＩＥＣの映像専門家合同チーム（ＪＶＥＴ）によって開発中の映像符号化規格である多目的映像符号化（ＶＶＣ）に基づいている。しかしながら、これらの手法は他の映像コーデック仕様にも適用される。
図５は、デコーディング順序５０８および表示順序５１０における、リーディングピクチャ５０４とトレイリングピクチャ５０６とに対するイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャ５０２の関係に関する表現５００である。一実施形態において、ＩＲＡＰピクチャ５０２は、クリーンランダムアクセス（ＣＲＡ）ピクチャ、またはランダムアクセスデコード可能（ＲＡＤＬ）ピクチャを伴う即時デコーダリフレッシュ（ＩＤＲ）ピクチャと呼ばれる。ＨＥＶＣでは、ＩＤＲピクチャ、ＣＲＡピクチャ、およびリンク切れアクセス（ＢＬＡ）ピクチャが全て、ＩＲＡＰピクチャ５０２とみなされる。ＶＶＣについては、２０１８年１０月の第１２回ＪＶＥＴ会合において、ＩＤＲピクチャおよびＣＲＡピクチャを両方ともＩＲＡＰピクチャとして有することが合意された。一実施形態では、リンク切れアクセス（ＢＬＡ）ピクチャおよび漸次デコーダリフレッシュ（ＧＤＲ）ピクチャも、ＩＲＡＰピクチャとみなされてよい。符号化映像シーケンスのデコーディングプロセスは、必ずＩＲＡＰで始まる。
図５に示すように、リーディングピクチャ５０４（例えば、ピクチャ２および３）は、デコーディング順序５０８ではＩＲＡＰピクチャ５０２の後に来るが、表示順序５１０ではＩＲＡＰピクチャ５０２の先に来る。トレイリングピクチャ５０６は、デコーディング順序５０８でも表示順序５１０でも両方とも、ＩＲＡＰピクチャ５０２の後に来る。２つのリーディングピクチャ５０４および１つのトレイリングピクチャ５０６が図５に示されているが、実際に適用する場合には、もっと多いまたは少ないリーディングピクチャ５０４および／またはトレイリングピクチャ５０６がデコーディング順序５０８および表示順序５１０に存在してよいことを、当業者は理解するであろう。
図５のリーディングピクチャ５０４は、２つのタイプ、すなわち、ランダムアクセススキップリーディング（ＲＡＳＬ）およびＲＡＤＬに分割されている。デコーディングがＩＲＡＰピクチャ５０２（例えば、ピクチャ１）で始まる場合、ＲＡＤＬピクチャ（例えば、ピクチャ３）を適切にデコードすることができる。しかしながら、ＲＡＳＬピクチャ（例えば、ピクチャ２）を適切にデコードすることはできない。したがって、ＲＡＳＬピクチャは破棄される。ＲＡＤＬピクチャとＲＡＳＬピクチャとの違いを考慮して、ＩＲＡＰピクチャ５０２と関連付けられるリーディングピクチャ５０４のタイプは、効率的且つ適切な符号化のために、ＲＡＤＬまたはＲＡＳＬのいずれかに特定されなければならない。ＨＥＶＣでは、ＲＡＳＬピクチャおよびＲＡＤＬピクチャが存在する場合、同じＩＲＡＰピクチャ５０２と関連付けられたＲＡＳＬピクチャおよびＲＡＤＬピクチャについては、ＲＡＳＬピクチャが表示順序５１０においてＲＡＤＬピクチャの先に来なければならないということが制約されている。
ＩＲＡＰピクチャ５０２は、以下に挙げる２つの重要な機能／利点を提供する。第一に、ＩＲＡＰピクチャ５０２の存在は、当該ピクチャからデコーディングプロセスが開始できることを示している。この機能により、ＩＲＡＰピクチャ５０２が当該位置に存在する限り、デコーディングプロセスはビットストリームの当該位置で開始され、必ずしもビットストリームの初めの部分ではないというランダムアクセス機能が可能になる。第二に、ＩＲＡＰピクチャ５０２の存在で、デコーディングプロセスがリフレッシュされ、ＩＲＡＰピクチャ５０２で始まる符号化ピクチャ（ＲＡＳＬピクチャを除く）が前のピクチャを全く参照することなく符号化されるようになる。したがって、ＩＲＡＰピクチャ５０２がビットストリームに存在することで、ＩＲＡＰピクチャ５０２の前にある符号化ピクチャをデコードする際に発生し得るあらゆる誤差が、ＩＲＡＰピクチャ５０２およびデコーディング順序５０８でＩＲＡＰピクチャ５０２の後に来るピクチャに伝搬するのを阻止することになる。
ＩＲＡＰピクチャ５０２は重要な機能を提供するが、これは圧縮効率に対する代償を伴う。ＩＲＡＰピクチャ５０２の存在は、ビットレートの急増を引き起こす。圧縮効率に対するこの代償は、２つの理由によるものである。第一に、ＩＲＡＰピクチャ５０２がイントラ予測ピクチャのため、このピクチャ自体は、インター予測ピクチャである他のピクチャ（例えば、リーディングピクチャ５０４、トレイリングピクチャ５０６）と比較すると、表現するのに比較的多くのビットを必要とすることになる。第二に、ＩＲＡＰピクチャ５０２の存在が時間予測を中断するため（これは、デコーダがデコーディングプロセスをリフレッシュし、このためにデコーディングプロセスの処置のうちの１つが、デコードピクチャバッファ（ＤＰＢ）にある前の参照ピクチャを除去するためである）、ＩＲＡＰピクチャ５０２は、デコーディング順序５０８でＩＲＡＰピクチャ５０２の後に来るピクチャの符号化効率を低下させる（すなわち、表現するのにより多くのビットを必要とする）。こうしたピクチャには、インター予測符号化用の参照ピクチャがないためである。
ＩＲＡＰピクチャ５０２とみなされるピクチャタイプの中で、ＨＥＶＣのＩＤＲピクチャは、他のピクチャタイプと比較すると、シグナリングおよび導出が異なる。その違いのいくつかは、次の通りである。
ＩＤＲピクチャのピクチャ順序カウント（ＰＯＣ）値のシグナリングおよび導出については、ＰＯＣの最上位ビット（ＭＳＢ）部分が前の重要なピクチャから導出されるのではなく、単に０と等しくなるように設定される。
参照ピクチャ管理に必要なシグナリング情報については、ＩＤＲピクチャのスライスヘッダは、参照ピクチャ管理を支援するようにシグナリングする必要がある情報を含まない。他のピクチャタイプ（すなわち、ＣＲＡ、トレイリング、時間サブレイヤアクセス（ＴＳＡ）など）については、後述される参照ピクチャセット（ＲＰＳ）または他の形態の類似情報（例えば、参照ピクチャリスト）などの情報が、参照ピクチャマーキングプロセス（すなわち、デコードピクチャバッファ（ＤＰＢ）に含まれる参照ピクチャの状況、つまり、参照に用いられるかまたは参照に用いられないかを判定するプロセス）に必要とされる。しかしながら、ＩＤＲピクチャについては、そのような情報をシグナリングする必要はない。ＩＤＲが存在することで、ＤＰＢに含まれる全ての参照ピクチャをデコーディングプロセスが参照に用いられないとして単にマークしなければならないことを示しているためである。
ＩＲＡＰピクチャの考え方に加えて、存在するならば、ＩＲＡＰピクチャと関連付けられたリーディングピクチャもある。リーディングピクチャは、デコーディング順序では関連するＩＲＡＰピクチャの後に来るが、出力順序ではＩＲＡＰピクチャの先に来るピクチャである。符号化設定およびピクチャ参照構造に応じて、リーディングピクチャはさらに２つのタイプに特定される。第１のタイプは、その関連するＩＲＡＰピクチャでデコーディングプロセスが始まる場合、正しくデコードされないことがあるリーディングピクチャである。これが起こり得るのは、こうしたリーディングピクチャが、デコーディング順序においてＩＲＡＰピクチャの先に来るピクチャを参照して符号化されるためである。そのようなリーディングピクチャは、ランダムアクセススキップリーディング（ＲＡＳＬ）と呼ばれる。第２のタイプは、その関連するＩＲＡＰピクチャでデコーディングプロセスが始まる場合でも、正しくデコードされなければならないリーディングピクチャである。これが可能なのは、こうしたリーディングピクチャが、デコーディング順序においてＩＲＡＰピクチャの先に来るピクチャを直接的にまたは間接的に参照することなく符号化されるためである。そのようなリーディングピクチャは、ランダムアクセスデコード可能リーディング（ＲＡＤＬ）と呼ばれる。ＨＥＶＣでは、ＲＡＳＬピクチャおよびＲＡＤＬピクチャが存在する場合、同じＩＲＡＰピクチャと関連付けられたＲＡＳＬピクチャおよびＲＡＤＬピクチャについては、ＲＡＳＬピクチャが出力順序においてＲＡＤＬピクチャの先に来なければならないということが制約されている。
ＨＥＶＣおよびＶＶＣでは、ＩＲＡＰピクチャ５０２およびリーディングピクチャ５０４がそれぞれ、単一のネットワーク抽象化層（ＮＡＬ）ユニットに含まれてよい。ＮＡＬユニットのセットが、アクセスユニットと呼ばれることがある。ＩＲＡＰピクチャ５０２およびリーディングピクチャ５０４は、所与の異なるＮＡＬユニットタイプであり、これらはシステムレベルのアプリケーションで容易に特定できるようになっている。例えば、ビデオスプライサーでは、符号化ビットストリームに含まれるシンタクス要素の詳細を過剰に理解する必要なしに、符号化ピクチャタイプを理解して、特に、非ＩＲＡＰピクチャからＩＲＡＰピクチャ５０２を特定し、トレイリングピクチャ５０６からリーディングピクチャ５０４を特定する（ＲＡＳＬピクチャおよびＲＡＤＬピクチャを判定することを含む）必要がある。トレイリングピクチャ５０６は、ＩＲＡＰピクチャ５０２と関連付けられたピクチャであり、表示順序５１０ではＩＲＡＰピクチャ５０２の後に来る。あるピクチャが、デコーディング順序５０８において特定のＩＲＡＰピクチャ５０２の後に来てよく、またデコーディング順序５０８において任意の他のＩＲＡＰピクチャ５０２の先に来てよい。これについては、ＩＲＡＰピクチャ５０２およびリーディングピクチャ５０４にそれ独自のＮＡＬユニットタイプを与えると、そのようなアプリケーションに役立つ。
ＨＥＶＣについては、ＩＲＡＰピクチャのＮＡＬユニットタイプは下記のものを含む。
・リーディングピクチャ付きＢＬＡ（ＢＬＡ＿Ｗ＿ＬＰ）：デコーディング順序において１つまたは複数のリーディングピクチャが後に来ることがあるリンク切れアクセス（ＢＬＡ）ピクチャのＮＡＬユニット。
・ＲＡＤＬ付きＢＬＡ（ＢＬＡ＿Ｗ＿ＲＡＤＬ）：デコーディング順序において１つまたは複数のＲＡＤＬピクチャが後に来るがＲＡＳＬピクチャはなくてよいＢＬＡピクチャのＮＡＬユニット。
・リーディングピクチャがないＢＬＡ（ＢＬＡ＿Ｎ＿ＬＰ）：デコーディング順序においてリーディングピクチャが後に来ないＢＬＡピクチャのＮＡＬユニット。
・ＲＡＤＬ付きＩＤＲ（ＩＤＲ＿Ｗ＿ＲＡＤＬ）：デコーディング順序において１つまたは複数のＲＡＤＬピクチャが後に来るが、ＲＡＳＬピクチャはなくてよいＩＤＲピクチャのＮＡＬユニット。
・リーディングピクチャがないＩＤＲ（ＩＤＲ＿Ｎ＿ＬＰ）：デコーディング順序においてリーディングピクチャが後に来ないＩＤＲピクチャのＮＡＬユニット。
・ＣＲＡ：リーディングピクチャ（すなわち、ＲＡＳＬピクチャもしくはＲＡＤＬピクチャまたはその両方）が後に来ることがあるクリーンランダムアクセス（ＣＲＡ）ピクチャのＮＡＬユニット。
・ＲＡＤＬ：ＲＡＤＬピクチャのＮＡＬユニット。
・ＲＡＳＬ：ＲＡＳＬピクチャのＮＡＬユニット。
ＶＶＣについては、ＩＲＡＰピクチャ５０２およびリーディングピクチャ５０４のＮＡＬユニットタイプは次の通りである。
・ＲＡＤＬ付きＩＤＲ（ＩＤＲ＿Ｗ＿ＲＡＤＬ）：デコーディング順序において１つまたは複数のＲＡＤＬピクチャが後に来るが、ＲＡＳＬピクチャはなくてよいＩＤＲピクチャのＮＡＬユニット。
・リーディングピクチャがないＩＤＲ（ＩＤＲ＿Ｎ＿ＬＰ）：デコーディング順序においてリーディングピクチャが後に来ないＩＤＲピクチャのＮＡＬユニット。
・ＣＲＡ：リーディングピクチャ（すなわち、ＲＡＳＬピクチャもしくはＲＡＤＬピクチャまたはその両方）が後に来ることがあるクリーンランダムアクセス（ＣＲＡ）ピクチャのＮＡＬユニット。
・ＲＡＤＬ：ＲＡＤＬピクチャのＮＡＬユニット。
・ＲＡＳＬ：ＲＡＳＬピクチャのＮＡＬユニット。
参照ピクチャリサンプリング（ＲＰＲ）機能は、符号化ピクチャの空間解像度をビットストリームの途中で変更する能力であり、解像度変更位置においてピクチャのイントラ符号化を必要としない。これを可能にするには、ピクチャがインター予測のために、空間解像度が現ピクチャと異なる１つまたは複数の参照ピクチャを参照できる必要がある。したがって、そのような参照ピクチャのリサンプリング、またはその一部が、現ピクチャのエンコーディングおよびデコーディングに必要である。したがって、名前がＲＰＲである。この機能は、適応型解像度変更（ＡＲＣ）などの名前でも呼ばれることがある。ＲＰＲ機能から恩恵を受けるであろう、下記のものを含む使用例またはアプリケーションシナリオがある。
テレビ電話およびテレビ会議におけるレートアダプテーション。これは、符号化映像を変化するネットワーク状態に適応させるためのものである。ネットワーク状態が悪化して利用可能な帯域幅が狭くなると、エンコーダは、解像度が低いピクチャをエンコードすることにより、この状態に適応してよい。
多拠点テレビ会議におけるアクティブな話者の切り替え。多拠点テレビ会議では、アクティブな話者の映像サイズがその他の会議参加者の映像サイズより大きいまたは広いのが普通である。アクティブな話者が切り替わると、参加者ごとにピクチャ解像度の調整も必要となることがある。アクティブな話者の切り替えが頻繁に発生する場合には、ＡＲＣ機能の必要性がより重要になる。
ストリーミングの迅速な開始。ストリーミングアプリケーションでは、そのアプリケーションが、ピクチャを表示し始める前に一定の長さのデコードピクチャになるまでバッファリングするのが普通である。低い解像度でビットストリームを開始すると、アプリケーションが、より速く表示し始めるのに十分なピクチャをバッファに保持することが可能になる。
ストリーミングにおける適応型ストリーム切り替え。ＨＴＴＰを介した動的適応型ストリーミング（ＤＡＳＨ）仕様には、@ｍｅｄｉａＳｔｒｅａｍＳｔｒｕｃｔｕｒｅＩｄという名前の機能が含まれる。この機能により、デコードできないリーディングピクチャ（例えばＨＥＶＣでは、関連するＲＡＳＬピクチャ付きのＣＲＡピクチャ）を用いて、オープンＧＯＰ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅ）のランダムアクセスポイントでの様々な表示の切り替えが可能になる。同じ映像に関する２つの異なる表示が、異なるビットレートであるが同じ空間解像度を有し、また@ｍｅｄｉａＳｔｒｅａｍＳｔｒｕｃｔｕｒｅＩｄに関して同じ値を有する場合、関連するＲＡＳＬピクチャ付きのＣＲＡピクチャにおける２つの表示の切り替えが行われてよく、ＣＲＡピクチャでの切り替えと関連付けられたＲＡＳＬピクチャは許容可能な品質でデコードされてよく、したがってシームレスな切り替えが可能になる。ＡＲＣを使えば、@ｍｅｄｉａＳｔｒｅａｍＳｔｒｕｃｔｕｒｅＩｄ機能は、様々な空間解像度のＤＡＳＨ表示の切り替えにも使用できるであろう。
様々な方法によって、ピクチャ解像度のリストに関するシグナリング、ＤＰＢ内の参照ピクチャのリサンプリングに関するいくつかの制約などといった、ＲＰＲ／ＡＲＣをサポートする基本手法が容易になる。
ＲＰＲをサポートするのに必要な手法の１つのコンポーネントが、ビットストリームに存在し得るピクチャ解像度をシグナリングする方法である。これは、いくつかの例において、以下に示すようなＳＰＳにおけるピクチャ解像度のリストでピクチャ解像度の現シグナリングを変更することにより対処される。
ｎｕｍ＿ｐｉｃ＿ｓｉｚｅ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ＿ｍｉｎｕｓ１＋１では、ピクチャサイズ（幅及び高さ）の数を、符号化映像シーケンスに存在し得るルーマサンプルの単位で規定する。
ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ［ｉ］では、デコードされたピクチャのｉ番目の幅を、符号化映像シーケンスに存在し得るルーマサンプルの単位で規定する。ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ［ｉ］は０と等しくてはならず、ＭｉｎＣｂＳｉｚｅＹの整数倍でなければならない。
ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ［ｉ］では、デコードされたピクチャのｉ番目の高さを、符号化映像シーケンスに存在し得るルーマサンプルの単位で規定する。ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ［ｉ］は０と等しくてはならず、ＭｉｎＣｂＳｉｚｅＹの整数倍でなければならない。
第１５回ＪＶＥＴ会合では、ＲＰＲをサポートするためのピクチャサイズおよびコンフォーマンスウインドウをシグナリングする別の変形例が議論された。シグナリングは次の通りである。
・ＳＰＳの最大ピクチャサイズ（すなわち、ピクチャ幅およびピクチャ高さ）をシグナリングする。
・ピクチャパラメータセット（ＰＰＳ）のピクチャサイズをシグナリングする。
・コンフォーマンスウインドウの現シグナリングをＳＰＳからＰＰＳに移動する。コンフォーマンスウインドウ情報は、ピクチャを出力のために準備するプロセスにおいて、再構築／デコードされたピクチャをクロップするのに用いられる。クロップされたピクチャサイズは、ピクチャがその関連するコンフォーマンスウインドウを用いてクロップされた後のピクチャサイズである。
ピクチャサイズおよびコンフォーマンスウインドウのシグナリングは次の通りである。
ｍａｘ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓでは、このＳＰＳがアクティブであるあらゆるピクチャのｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓがｍａｘ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓより小さいまたはそれと等しいということがビットストリームコンフォーマンスの要件であることを規定する。
ｍａｘ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓでは、このＳＰＳがアクティブであるあらゆるピクチャのｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓがｍａｘ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓより小さいまたはそれと等しいということがビットストリームコンフォーマンスの要件であることを規定する。
ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓでは、ＰＰＳを参照するそれぞれのデコードされたピクチャの幅をルーマサンプルの単位で規定する。ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓは０と等しくてはならず、ＭｉｎＣｂＳｉｚｅＹの整数倍でなければならない。
ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓでは、ＰＰＳを参照するそれぞれのデコードされたピクチャの高さをルーマサンプルの単位で規定する。ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓは０と等しくてはならず、ＭｉｎＣｂＳｉｚｅＹの整数倍でなければならない。
幅および高さがｒｅｆｅｒｅｎｃｅ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓおよびｒｅｆｅｒｅｎｃｅ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓであるどのアクティブ参照ピクチャに対しても下記の条件の全てが満たされることが、ビットストリームコンフォーマンスの要件である。
・２×ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ≧ｒｅｆｅｒｅｎｃｅ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ
・２×ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ≧ｒｅｆｅｒｅｎｃｅ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ
・ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ≦８×ｒｅｆｅｒｅｎｃｅ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ
・ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ≦８×ｒｅｆｅｒｅｎｃｅ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ
変数のＰｉｃＷｉｄｔｈＩｎＣｔｂｓＹ、ＰｉｃＨｅｉｇｈｔＩｎＣｔｂｓＹ、ＰｉｃＳｉｚｅＩｎＣｔｂｓＹ、ＰｉｃＷｉｄｔｈＩｎＭｉｎＣｂｓＹ、ＰｉｃＨｅｉｇｈｔＩｎＭｉｎＣｂｓＹ、ＰｉｃＳｉｚｅＩｎＭｉｎＣｂｓＹ、ＰｉｃＳｉｚｅＩｎＳａｍｐｌｅｓＹ、ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＣ、およびＰｉｃＨｅｉｇｈｔＩｎＳａｍｐｌｅｓＣは、次のように導出される。
・ＰｉｃＷｉｄｔｈＩｎＣｔｂｓＹ＝Ｃｅｉｌ（ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ／ＣｔｂＳｉｚｅＹ） （１）
・ＰｉｃＨｅｉｇｈｔＩｎＣｔｂｓＹ＝Ｃｅｉｌ（ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ／ＣｔｂＳｉｚｅＹ） （２）
・ＰｉｃＳｉｚｅＩｎＣｔｂｓＹ＝ＰｉｃＷｉｄｔｈＩｎＣｔｂｓＹ×ＰｉｃＨｅｉｇｈｔＩｎＣｔｂｓＹ （３）
・ＰｉｃＷｉｄｔｈＩｎＭｉｎＣｂｓＹ＝ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ／ＭｉｎＣｂＳｉｚｅＹ （４）
・ＰｉｃＨｅｉｇｈｔＩｎＭｉｎＣｂｓＹ＝ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ／ＭｉｎＣｂＳｉｚｅＹ （５）
・ＰｉｃＳｉｚｅＩｎＭｉｎＣｂｓＹ＝ＰｉｃＷｉｄｔｈＩｎＭｉｎＣｂｓＹ×ＰｉｃＨｅｉｇｈｔＩｎＭｉｎＣｂｓＹ （６）
・ＰｉｃＳｉｚｅＩｎＳａｍｐｌｅｓＹ＝ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ×ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ （７）
・ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＣ＝ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ／ＳｕｂＷｉｄｔｈＣ （８）
・ＰｉｃＨｅｉｇｈｔＩｎＳａｍｐｌｅｓＣ＝ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ／ＳｕｂＨｅｉｇｈｔＣ （９）
１と等しいｃｏｎｆｏｒｍａｎｃｅ＿ｗｉｎｄｏｗ＿ｆｌａｇは、コンフォーマンスクロッピングウィンドウのオフセットパラメータが、ＰＰＳでは次に続くことを示す。０と等しいｃｏｎｆｏｒｍａｎｃｅ＿ｗｉｎｄｏｗ＿ｆｌａｇは、コンフォーマンスクロッピングウィンドウのオフセットパラメータが存在しないことを示す。
ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ、およびｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔでは、ＰＰＳを参照しデコーディングプロセスから出力されるピクチャのサンプルを、出力のためにピクチャ座標で規定される矩形領域によって規定する。ｃｏｎｆｏｒｍａｎｃｅ＿ｗｉｎｄｏｗ＿ｆｌａｇが０と等しい場合、ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ、およびｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔの値は０と等しいと推測される。
コンフォーマンスクロッピングウィンドウは、［ＳｕｂＷｉｄｔｈＣ×ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ］から［ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ－（ＳｕｂＷｉｄｔｈＣ×ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ＋１）］までの水平ピクチャ座標（境界を含む）と、［ＳｕｂＨｅｉｇｈｔＣ×ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ］から［ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ－（ＳｕｂＨｅｉｇｈｔＣ×ｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ＋１）］までの垂直ピクチャ座標（境界を含む）とを有するルーマサンプルを含む。
［ＳｕｂＷｉｄｔｈＣ×（ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ＋ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ）］の値は、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓより小さくなければならない。また［ＳｕｂＨｅｉｇｈｔＣ×（ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ＋ｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ）］の値は、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓより小さくなければならない。
変数のＰｉｃＯｕｔｐｕｔＷｉｄｔｈＬおよびＰｉｃＯｕｔｐｕｔＨｅｉｇｈｔＬは、次のように導出される。
・ＰｉｃＯｕｔｐｕｔＷｉｄｔｈＬ＝ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ－ＳｕｂＷｉｄｔｈＣ×（ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ＋ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ） （１０）
・ＰｉｃＯｕｔｐｕｔＨｅｉｇｈｔＬ＝ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｐｉｃ＿ｓｉｚｅ＿ｕｎｉｔｓ－ＳｕｂＨｅｉｇｈｔＣ×（ｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ＋ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ） （１１）
ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが０と等しくない場合、２つのクロマ配列の対応する規定されたサンプルは、ピクチャ座標が（ｘ／ＳｕｂＷｉｄｔｈＣ，ｙ／ＳｕｂＨｅｉｇｈｔＣ）のサンプルであり、（ｘ，ｙ）は規定されたルーマサンプルのピクチャ座標である。
注記：コンフォーマンスクロッピングウィンドウのオフセットパラメータは出力でしか適用されない。全ての内部デコーディングプロセスは、クロップしていないピクチャサイズに適用される。
ＰＰＳ内のピクチャサイズおよびコンフォーマンスウインドウのシグナリングは、下記の問題を引き起こす。
・複数のＰＰＳが符号化映像シーケンス（ＣＶＳ）に存在し得るため、２つのＰＰＳが同じピクチャサイズのシグナリングだが、異なるコンフォーマンスウインドウのシグナリングを含み得ることが可能である。これにより、異なるＰＰＳを参照する２つのピクチャが、同じピクチャサイズだが異なるクロッピングサイズを有するという状況が発生することになる。
・ＲＰＲのサポートについては、あるブロックの現ピクチャおよび参照ピクチャが異なるピクチャサイズを有する場合、そのブロックを符号化するために、いくつかの符号化ツールをオフにすることが提案されている。しかしながら、今では２つのピクチャが同じピクチャサイズを有する場合でもクロッピングサイズが異なるかもしれないこともあり得るため、クロッピングサイズに基づいて追加のチェックをすることが必要である。
本明細書では、同じピクチャサイズを有するピクチャパラメータセットを同じコンフォーマンスウインドウサイズも有するように制約する（例えば、ウインドウサイズをクロップする）手法が開示される。同じピクチャサイズを有するピクチャパラメータセットに対してコンフォーマンスウインドウを同じサイズに維持することにより、参照ピクチャリサンプリング（ＲＰＲ）が有効な場合、過度に複雑な処理を回避できる。したがって、プロセッサ、メモリ、および／またはネットワークリソースの使用量が、エンコーダとデコーダの両方で減少し得る。こうして、映像符号化におけるコーダ／デコーダ（コーデックとしても知られている）が、現コーデックと比較して改善される。現実問題としては、映像符号化プロセスの改善によって、ユーザには、映像を送出、受領、および／または視聴する場合に、より望ましいユーザ体験が提供される。
映像符号化におけるスケーラビリティは通常、多層符号化手法を用いてサポートされる。多層ビットストリームには、基準層（ＢＬ）と１つまたは複数の拡張層（ＥＬ）とがある。スケーラビリティの一例には、空間スケーラビリティ、品質／信号対雑音（ＳＮＲ）スケーラビリティ、多視点スケーラビリティなどが含まれる。多層符号化手法を用いる場合、ピクチャまたはその一部を、（１）参照ピクチャを用いることなく（すなわち、イントラ予測を用いて）、（２）同じ階層にある参照ピクチャを参照する（すなわち、インター予測を用いる）ことにより、または（３）他の階層にある参照ピクチャを参照する（すなわち、階層間予測を用いる）ことにより符号化してよい。現ピクチャの階層間予測に用いられる参照ピクチャは、階層間参照ピクチャ（ＩＬＲＰ）と呼ばれる。
図６は、例えばブロック圧縮段階１０５、ブロックデコーディング段階１１３、動き推定コンポーネント２２１、動き補償コンポーネント２１９、動き補償コンポーネント３２１、および／または動き補償コンポーネント４２１でＭＶを決定するために行われる階層ベースの予測６００に関する一例を示す概略図である。階層ベースの予測６００は、単方向インター予測および／または双方向インター予測と互換性があるが、異なる階層のピクチャ間でも行われる。
階層ベースの予測６００は、異なる階層にあるピクチャ６１１、６１２、６１３、および６１４と、ピクチャ６１５、６１６、６１７、および６１８との間に適用される。示した例では、ピクチャ６１１、６１２、６１３、および６１４は階層［Ｎ＋１］６３２の一部であり、ピクチャ６１５、６１６、６１７、および６１８は階層［Ｎ］６３１の一部である。階層［Ｎ］６３１および／または階層［Ｎ＋１］６３２などの階層は、同様のサイズ、品質、解像度、信号対雑音比、能力などといった特性の同様の値と全て関連付けられたピクチャのグループである。示した例では、階層［Ｎ＋１］６３２は階層［Ｎ］６３１より大きい画像サイズと関連付けられている。したがって、この例では、階層［Ｎ＋１］６３２のピクチャ６１１、６１２、６１３、および６１４は、階層［Ｎ］６３１のピクチャ６１５、６１６、６１７、および６１８より大きいピクチャサイズを有する（例えば、高さおよび幅が大きい、したがってサンプルが多い）。しかしながら、そのようなピクチャを他の特性によって階層［Ｎ＋１］６３２と階層［Ｎ］６３１との間で分けることができる。階層［Ｎ＋１］６３２および階層［Ｎ］６３１という２つの階層しか示されていないが、一連のピクチャを関連する特性に基づいて任意の数の階層に分けることができる。階層［Ｎ＋１］６３２および階層［Ｎ］６３１は、階層ＩＤで示されてもよい。階層ＩＤとは、あるピクチャと関連付けられたデータの項目であり、そのピクチャが示された階層の一部であることを示す。したがって、各ピクチャ６１１～６１８は対応する階層ＩＤと関連付けられ、対応するピクチャが階層［Ｎ＋１］６３２または階層［Ｎ］６３１のどちらに含まれるかを示すことができる。
異なる階層６３１～６３２のピクチャ６１１～６１８は、別の方法で表示されるように構成される。したがって、異なる階層６３１～６３２のピクチャ６１１～６１８は、同じ一時識別子（ＩＤ）を共有することができ、同じＡＵに含まれ得る。本明細書で用いる場合、ＡＵとは、ＤＰＢから出力するために、同じ表示時間と関連付けられた１つまたは複数の符号化ピクチャのセットである。例えば、小さいピクチャが望ましい場合、デコーダがピクチャ６１５をデコードし、現表示時間で表示してよい。あるいは、大きいピクチャが望ましい場合、デコーダはピクチャ６１１をデコードし、現表示時間で表示してよい。したがって、上位階層［Ｎ＋１］６３２にあるピクチャ６１１～６１４は、下位階層［Ｎ］６３１にある対応するピクチャ６１５～６１８と（ピクチャサイズの違いがあるにもかかわらず）実質的に同じ画像データを含む。具体的には、ピクチャ６１１はピクチャ６１５と実質的に同じ画像データを含み、ピクチャ６１２はピクチャ６１６と実質的に同じ画像データを含むといったことになる。
ピクチャ６１１～６１８同じ階層［Ｎ］６３１または［Ｎ＋１］６３２の他のピクチャ６１１～６１８を参照することにより符号化されてよい。同じ階層の別のピクチャを参照したピクチャの符号化がインター予測６２３になり、これは、単方向インター予測および／または双方向インター予測と互換性がある。インター予測６２３は、実線矢印で示されている。例えば、ピクチャ６１３は、階層［Ｎ＋１］６３２にあるピクチャ６１１、６１２、および／または６１４のうちの１つまたは２つを参照として用いるインター予測６２３を使用することで符号化されてよい。ここで、１つのピクチャが単方向インター予測用に参照される、且つ／または２つのピクチャが双方向インター予測用に参照される。さらに、ピクチャ６１７は、階層［Ｎ］６３１にあるピクチャ６１５、６１６、および／または６１８のうちの１つまたは２つを参照として用いるインター予測６２３を使用することで符号化されてよい。ここで、１つのピクチャが単方向インター予測用に参照される、且つ／または２つのピクチャが双方向インター予測用に参照される。インター予測６２３を行う場合、あるピクチャが同じ階層にある別のピクチャの参照として用いられるとき、そのピクチャは参照ピクチャと呼ばれることがある。例えば、ピクチャ６１２は、インター予測６２３に従ってピクチャ６１３を符号化するのに用いられる参照ピクチャでよい。インター予測６２３は、多層コンテキストでは階層内予測とも呼ばれ得る。したがって、インター予測６２３は、現ピクチャと異なる参照ピクチャ内の示されたサンプルを参照することにより現ピクチャのサンプルを符号化する方式であり、参照ピクチャおよび現ピクチャは同じ階層にある。
ピクチャ６１１～６１８は、異なる階層にある他のピクチャ６１１～６１８を参照することにより符号化されてもよい。このプロセスは、階層間予測６２１として知られており、破線矢印で示されている。階層間予測６２１は、参照ピクチャ内の示されたサンプルを参照することにより現ピクチャのサンプルを符号化する方式であり、現ピクチャおよび参照ピクチャは異なる階層にある、したがって異なる階層ＩＤを有する。例えば、下位階層［Ｎ］６３１に含まれるピクチャを参照ピクチャとして用い、上位階層［Ｎ＋１］６３２にある対応するピクチャを符号化してよい。具体例として、ピクチャ６１１が、階層間予測６２１に従ってピクチャ６１５を参照することにより符号化されてよい。そのような場合に、ピクチャ６１５は階層間参照ピクチャとして用いられる。階層間参照ピクチャとは、階層間予測６２１に用いられる参照ピクチャである。ほとんどの場合、階層間予測６２１には制約があり、ピクチャ６１１などの現ピクチャは、同じＡＵに含まれ且つ下位階層にあるピクチャ６１５などの階層間参照ピクチャしか用いることができないようになっている。複数の階層（例えば、２つより多い）が利用可能である場合、階層間予測６２１は、現ピクチャより下位レベルにある複数の階層間参照ピクチャに基づいて現ピクチャをエンコード／デコードできる。
映像エンコーダは、階層ベースの予測６００を使用し、インター予測６２３および階層間予測６２１の多数の異なる組み合わせおよび／または順序の変更によって、ピクチャ６１１～６１８をエンコードできる。例えば、ピクチャ６１５はイントラ予測に従って符号化されてよい。ピクチャ６１６～６１８は次に、ピクチャ６１５を参照ピクチャとして用いることによるインター予測６２３に従って符号化されてよい。さらに、ピクチャ６１１は、ピクチャ６１５を階層間参照ピクチャとして用いることによる階層間予測６２１に従って符号化されてよい。ピクチャ６１２～６１４は次に、ピクチャ６１１を参照ピクチャとして用いることによるインター予測６２３に従って符号化されてよい。したがって、参照ピクチャは、異なる符号化方式に対して、単一階層参照ピクチャおよび階層間参照ピクチャの両方の役割を果たすことができる。上位階層［Ｎ＋１］６３２のピクチャを下位階層［Ｎ］６３１のピクチャに基づいて符号化することにより、上位階層［Ｎ＋１］６３２では、イントラ予測の使用を回避できる。イントラ予測は、インター予測６２３および階層間予測６２１より符号化効率がはるかに低い。したがって、低い符号化効率のイントラ予測は、最小／最低品質ピクチャに限定され、したがって、最小量の映像データを符号化することに限定され得る。参照ピクチャおよび／または階層間参照ピクチャとして用いられるピクチャは、参照ピクチャリスト構造に含まれる参照ピクチャリストのエントリに示されてよい。
以前のＨ．２６ｘ系映像符号化では、単層符号化用のプロファイルとは異なるプロファイルにおけるスケーラビリティに対してサポートを提供している。スケーラブル映像符号化（ＳＶＣ）は空間、時間、および品質のスケーラビリティに対してサポートを提供するＡＶＣ／Ｈ．２６４のスケーラブル拡張である。ＳＶＣでは、ＥＬピクチャ内の各マクロブロック（ＭＢ）においてフラグをシグナリングして、ＥＬのＭＢが下位階層からの同一位置のブロックを用いて予測されるかどうかを示す。同一位置のブロックからの予測は、テクスチャ、動きベクトル、および／または符号化モードを含んでよい。ＳＶＣの実装例は、その設計が未修正のＨ．２６４／ＡＶＣ実装例を直接的に再利用することはできない。ＳＶＣのＥＬマクロブロックシンタクスおよびデコーディングプロセスは、Ｈ．２６４／ＡＶＣシンタクスおよびデコーディングプロセスと異なる。
スケーラブルＨＥＶＣ（ＳＨＶＣ）は、空間および品質のスケーラビリティに対してサポートを提供するＨＥＶＣ／Ｈ．２６５規格の拡張規格であり、多視点ＨＥＶＣ（ＭＶ－ＨＥＶＣ）は、多視点スケーラビリティに対してサポートを提供するＨＥＶＣ／Ｈ．２６５の拡張規格であり、３Ｄ ＨＥＶＣ（３Ｄ－ＨＥＶＣ）は、ＭＶ－ＨＥＶＣより先進的で効率的な３次元（３Ｄ）映像符号化に対してサポートを提供するＨＥＶＣ／Ｈ．２６４の拡張規格である。時間スケーラビリティは、単層ＨＥＶＣコーデックの整数部として含まれることに留意されたい。ＨＥＶＣの多層拡張の設計には、階層間予測に用いられるデコードピクチャが同じアクセスユニット（ＡＵ）からのみもたらされて長期参照ピクチャ（ＬＴＲＰ）として扱われ、また現階層にある他の時間参照ピクチャと共に参照ピクチャリスト内の参照インデックスを割り当てられるという考えが使用される。階層間予測（ＩＬＰ）は、参照インデックスの値を設定して、参照ピクチャリスト内の階層間参照ピクチャを参照することにより、予測ユニット（ＰＵ）レベルで実現される。
特に、参照ピクチャリサンプリング機能および空間スケーラビリティ機能は両方とも、参照ピクチャまたはその一部のリサンプリングを必要とする。参照ピクチャリサンプリングは、ピクチャレベルまたは符号化ブロックレベルで実現されてよい。しかしながら、ＲＰＲが符号化機能と呼ばれる場合、これは単層符号化の機能である。そうであっても、コーデック設計の観点から、単層符号化のＲＰＲ機能および多層符号化の空間スケーラビリティ機能の両方に同じリサンプリングフィルタを用いることは可能である、またはむしろ好ましい。
図７は、単方向インター予測７００の一例を示す概略図である。単方向インター予測７００は、ピクチャを分割するときに作られたエンコードブロックおよび／またはデコードブロックの動きベクトルを決定するのに使用され得る。
単方向インター予測７００は、参照ブロック７３１を有する参照フレーム７３０を使用して、現フレーム７１０に含まれる現ブロック７１１を予測する。参照フレーム７３０は、示されているように時間的に現フレーム７１０の後に（例えば、後続参照フレームとして）配置されてよいが、いくつかの例では、時間的に現フレーム７１０の前に（例えば、先行参照フレームとして）配置されてもよい。現フレーム７１０は、特定の時間にエンコード／デコードされているフレーム／ピクチャの一例である。現フレーム７１０は、参照フレーム７３０の参照ブロック７３１にある対象とマッチングする対象を現ブロック７１１に含む。参照フレーム７３０は、現フレーム７１０のエンコーディングに参照として使用されるフレームであり、参照ブロック７３１は、現フレーム７１０の現ブロック７１１にも含まれる対象を含む参照フレーム７３０内のブロックである。
現ブロック７１１は、符号化プロセスの特定の段階でエンコード／デコードされている任意の符号化ユニットである。現ブロック７１１は、分割ブロック全体でもよく、アフィンインター予測モードを使用する場合にはサブブロックでもよい。現フレーム７１０は、ある程度の時間距離（ＴＤ）７３３だけ参照フレーム７３０から離れている。ＴＤ７３３は、映像シーケンス内の現フレーム７１０と参照フレーム７３０との間の時間を示しており、フレームの単位で測定されてよい。現ブロック７１１の予測情報は、フレーム間の方向および時間距離を示す参照インデックスにより、参照フレーム７３０および／または参照ブロック７３１を参照してよい。ＴＤ７３３で表されている期間に、現ブロック７１１内の対象は現フレーム７１０のある位置から参照フレーム７３０の別の位置（例えば、参照ブロック７３１の位置）に移動する。例えば、対象は動き軌道７１３に沿って移動してよく、この軌道は対象の経時的な動きの方向である。動きベクトル７３５は、動き軌道７１３に沿った対象のＴＤ７３３における動きの方向および大きさを表している。したがって、エンコードされた動きベクトル７３５、参照ブロック７３１、および現ブロック７１１と参照ブロック７３１との差分を含む残差が、現ブロック７１１を再構築して、現ブロック７１１を現フレーム７１０に配置するのに十分な情報を提供する。
図８は、双方向インター予測８００の一例を示す概略図である。双方向インター予測８００は、ピクチャを分割するときに作られたエンコードブロックおよび／またはデコードブロックの動きベクトルを決定するのに使用され得る。
双方向インター予測８００は、単方向インター予測７００と類似しているが、一対の参照フレームを使用して現フレーム８１０に含まれる現ブロック８１１を予測する。したがって、現フレーム８１０および現ブロック８１１はそれぞれ、現フレーム７１０および現ブロック７１１と実質的に同様である。現フレーム８１０は、映像シーケンスにおいて現フレーム８１０の前に存在する先行参照フレーム８２０と、映像シーケンスにおいて現フレーム８１０の後に存在する後続参照フレーム８３０との間に時間的に配置される。そのことを除けば、先行参照フレーム８２０および後続参照フレーム８３０は、参照フレーム７３０と実質的に同様である。
現ブロック８１１は、先行参照フレーム８２０に含まれる先行参照ブロック８２１と、後続参照フレーム８３０に含まれる後続参照ブロック８３１とにマッチングしている。そのようなマッチングは、映像シーケンスの過程で、対象が先行参照ブロック８２１のある位置から後続参照ブロック８３１のある位置に動き軌道８１３に沿って現ブロック８１１を経由して移動することを示している。現フレーム８１０は、ある程度の先行時間距離（ＴＤ０）８２３だけ先行参照フレーム８２０から離れており、またある程度の後続時間距離（ＴＤ１）８３３だけ後続参照フレーム８３０から離れている。ＴＤ０（８２３）は、映像シーケンス内の先行参照フレーム８２０と現フレーム８１０との間の時間をフレームの単位で示している。ＴＤ１（８３３）は、映像シーケンス内の現フレーム８１０と後続参照フレーム８３０との間の時間をフレームの単位で示している。したがって、対象は、動き軌道８１３に沿ってＴＤ０（８２３）で示す期間にわたり、先行参照ブロック８２１から現ブロック８１１に移動する。対象は、動き軌道８１３に沿ってＴＤ１（８３３）で示す期間にわたり、現ブロック８１１から後続参照ブロック８３１にも移動する。現ブロック８１１の予測情報は、フレーム間の方向および時間距離を示す一対の参照インデックスにより、先行参照フレーム８２０および／または先行参照ブロック８２１、並びに後続参照フレーム８３０および／または後続参照ブロック８３１を参照してよい。
先行動きベクトル（ＭＶ０）８２５は、動き軌道８１３に沿ったＴＤ０（８２３）にわたる（例えば、先行参照フレーム８２０と現フレーム８１０との間の）対象の動きの方向および大きさを表す。後続動きベクトル（ＭＶ１）８３５は、動き軌道８１３に沿ったＴＤ１（８３３）にわたる（例えば、現フレーム８１０と後続参照フレーム８３０との間の）対象の動きの方向および大きさを表す。したがって、双方向インター予測８００では、先行参照ブロック８２１および／または後続参照ブロック８３１、ＭＶ０（８２５）、並びにＭＶ１（８３５）を使用することで、現ブロック８１１を符号化し、また再構築することができる。
一実施形態では、インター予測および／または双方向インター予測が、ブロックごとに実行される代わりに、サンプルごとに（例えば、画素ごとに）実行されてもよい。すなわち、先行参照ブロック８２１および／または後続参照ブロック８３１に含まれる各サンプルを指し示す動きベクトルが、現ブロック８１１に含まれるサンプルごとに決定され得る。そのような実施形態では、図８に示される動きベクトル８２５および動きベクトル８３５は、現ブロック８１１、先行参照ブロック８２１、および後続参照ブロック８３１に含まれる複数のサンプルに対応する複数の動きベクトルを表している。
マージモードおよび高度な動きベクトル予測（ＡＭＶＰ）モードの両方では、候補動きベクトルを候補リスト決定パターンで定義される順序で候補リストに加えることにより候補リストが生成される。そのような候補動きベクトルは、単方向インター予測７００、双方向インター予測８００、またはその組み合わせによる動きベクトルを含んでよい。具体的には、これらの動きベクトルが、隣接ブロックのために、そのようなブロックがエンコードされるときに生成される。そのような動きベクトルは、現ブロックの候補リストに加えられ、この候補リストから現ブロックの動きベクトルが選択される。動きベクトルは次に、候補リスト内の選択された動きベクトルのインデックスとしてシグナリングされてよい。デコーダは、エンコーダと同じプロセスを用いて候補リストを構築することができ、シグナリングされたインデックスに基づいて、選択された動きベクトルを候補リストから決定することができる。したがって、候補動きベクトルは、そのような隣接ブロックをエンコードするときにどの手法を用いるかに応じて、単方向インター予測７００および／または双方向インター予測８００に従って生成された動きベクトルを含む。
図９は、映像ビットストリーム９００を示している。本明細書で用いられる場合、映像ビットストリーム９００は、符号化映像ビットストリームとも、ビットストリームとも、またはその変形でも呼ばれることがある。図９に示すように、ビットストリーム９００は、シーケンスパラメータセット（ＳＰＳ）９０２、ピクチャパラメータセット（ＰＰＳ）９０４、スライスヘッダ９０６、および画像データ９０８を含む。
ＳＰＳ９０２には、ピクチャのシーケンス（ＳＯＰ）に含まれる全ピクチャに共通のデータが含まれている。それに対して、ＰＰＳ９０４には、ピクチャ全体に共通のデータが含まれている。スライスヘッダ９０６には、現スライスに関する情報、例えば、スライスタイプ、参照ピクチャのうちのどれが用いられるか、などといった情報が含まれている。ＳＰＳ９０２およびＰＰＳ９０４は一般的に、パラメータセットと呼ばれることがある。ＳＰＳ９０２、ＰＰＳ９０４、およびスライスヘッダ９０６は、ネットワーク抽象化層（ＮＡＬ）ユニットの種類である。ＮＡＬユニットは、後に来るデータ（例えば、符号化映像データ）の種類に関するインジケーションを含んだシンタクス構造である。ＮＡＬユニットは、映像符号化層（ＶＣＬ）のＮＡＬユニットと非ＶＣＬのＮＡＬユニットとに分類される。ＶＣＬのＮＡＬユニットには、映像ピクチャに含まれるサンプルの値を表すデータが含まれており、非ＶＣＬのＮＡＬユニットには、パラメータセット（多数のＶＣＬのＮＡＬユニットに適用され得る重要なヘッダデータ）および補助拡張情報（デコードされた映像信号の有用性を高めることがあるが、映像ピクチャに含まれるサンプル値をデコードするのに必要ない、タイミング情報および他の補助データ）などの任意の関連追加情報が含まれている。当業者であれば、ビットストリーム９００が、実際に適用する場合には、他のパラメータおよび情報を含んでもよいことを理解するであろう。
図９の画像データ９０８は、エンコードまたはデコードされている画像または映像と関連付けられたデータを含む。画像データ９０８は、単に、ビットストリーム９００で搬送されているペイロードまたはデータと呼ばれることがある。一実施形態において、画像データ９０８には、複数のピクチャ９１０を含んだＣＶＳ９１４（またはＣＬＶＳ）が含まれる。ＣＶＳ９１４は、映像ビットストリーム９００に含まれるあらゆる符号化層映像シーケンス（ＣＬＶＳ）の符号化映像シーケンスである。特に、ＣＶＳおよびＣＬＶＳは、映像ビットストリーム９００が単一階層を含む場合には同じである。ＣＶＳおよびＣＬＶＳは、映像ビットストリーム９００が複数の階層を含む場合にだけ異なる。
図９に示すように、各ピクチャ９１０のスライスが、それ自体のＶＣＬのＮＡＬユニット９１２に含まれてよい。ＣＶＳ９１４に含まれるＶＣＬのＮＡＬユニット９１２のセットは、アクセスユニットと呼ばれることがある。
図１０は、ピクチャ１０１０の分割手法１０００を示している。ピクチャ１０１０は、図９に示される複数のピクチャ９１０のうちのいずれかと同様であってよい。示されているように、ピクチャ１０１０は、複数のスライス１０１２に分割されてよい。スライスとは、同じフレーム内の任意の他の領域とは別にエンコードされるフレーム（例えば、ピクチャ）の空間的に異なる領域である。図１０には３つのスライス１０１２が示されているが、実際に適用する場合には、もっと多いまたは少ないスライスが用いられてよい。各スライス１０１２は、複数のブロック１０１４に分割されてよい。図１０のブロック１０１４は、図８の現ブロック８１１、先行参照ブロック８２１、および後続参照ブロック８３１と同様であってよい。ブロック１０１４はＣＵを表してよい。図１０には４つのブロック１０１４が示されているが、実際に適用する場合には、もっと多いまたは少ないブロックが用いられてよい。
各ブロック１０１４は、複数のサンプル１０１６（例えば、画素）に分割されてよい。一実施形態において、各ブロック１０１４のサイズはルーマサンプルで測定される。図１０には１６個のサンプル１０１６が示されているが、実際に適用する場合には、もっと多いまたは少ないサンプルが用いられてよい。
一実施形態では、ピクチャ１０１０にコンフォーマンスウインドウ１０６０が適用される。上述したように、コンフォーマンスウインドウ１０６０は、ピクチャを出力のために準備するプロセスにおいて、ピクチャ１０１０（例えば、再構築／デコードされたピクチャ）のサイズをクロップする、縮小する、または別のやり方で変更するのに用いられる。例えば、デコーダは、ピクチャがユーザへの表示のために出力される前に、ピクチャ１０１０のサイズをクロップする、トリミングする、縮小する、または別のやり方で変更するために、コンフォーマンスウインドウ１０６０をピクチャ１０１０に適用することができる。コンフォーマンスウインドウ１０６０のサイズは、ピクチャ１０１０にコンフォーマンスウインドウ上側オフセット１０６２、コンフォーマンスウインドウ下側オフセット１０６４、コンフォーマンスウインドウ左側オフセット１０６６、およびコンフォーマンスウインドウ右側オフセット１０６８を適用して、ピクチャ１０１０のサイズを出力前に縮小することにより決定される。すなわち、コンフォーマンスウインドウ１０６０の中に存在するピクチャ１０１０の部分だけが出力される。こうして、ピクチャ１０１０は、出力される前にサイズがクロップされる。一実施形態では、第１のピクチャパラメータセットおよび第２のピクチャパラメータセットがそれぞれ、同じシーケンスパラメータセットを参照し、ピクチャ幅およびピクチャ高さに関して同じ値を有する。したがって、第１のピクチャパラメータセットおよび第２のピクチャパラメータセットは、コンフォーマンスウインドウに対しても同じ値を有する。
図１１は、映像デコーダ（例えば、映像デコーダ４００）により実装されるデコーディングの方法１１００に関する一実施形態である。方法１１００は、デコードされるビットストリームが映像エンコーダ（例えば、映像エンコーダ３００）から直接的にまたは間接的に受信された後に行われてよい。方法１１００は、同じピクチャサイズを有するピクチャパラメータセットに対してコンフォーマンスウインドウを同じサイズに維持することにより、デコーディングプロセスを改善する。したがって、参照ピクチャリサンプリング（ＲＰＲ）がＣＶＳ全体に対して有効のままでもオンにしたままでもよい。同じピクチャサイズを有するピクチャパラメータセットに対して一貫したコンフォーマンスウインドウサイズを維持することにより、符号化効率を向上させることができる。したがって、現実問題として、コーデックの性能が向上し、これがより望ましいユーザ体験につながる。
ブロック１１０２では、映像デコーダが、それぞれ同じシーケンスパラメータセットを参照する第１のピクチャパラメータセット（例えば、ｐｐｓＡ）および第２のピクチャパラメータセット（例えば、ｐｐｓＢ）を受信する。第１のピクチャパラメータセットおよび第２のピクチャパラメータセットがピクチャ幅およびピクチャ高さに関して同じ値を有する場合、第１のピクチャパラメータセットおよび第２のピクチャパラメータセットはコンフォーマンスウインドウに関して同じ値を有する。一実施形態において、ピクチャ幅およびピクチャ高さはルーマサンプルで測定される。
一実施形態において、ピクチャ幅は、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓとして指定される。一実施形態において、ピクチャ高さは、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓとして指定される。一実施形態において、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓでは、ＰＰＳを参照するそれぞれのデコードピクチャの幅をルーマサンプルの単位で規定する。一実施形態において、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓでは、ＰＰＳを参照するそれぞれのデコードピクチャの高さをルーマサンプルの単位で規定する。
一実施形態において、コンフォーマンスウインドウは、コンフォーマンスウインドウ左側オフセット、コンフォーマンスウインドウ右側オフセット、コンフォーマンスウインドウ上側オフセット、およびコンフォーマンスウインドウ下側オフセットを有し、これらのオフセットは、全体としてコンフォーマンスウインドウサイズを表す。一実施形態において、コンフォーマンスウインドウ左側オフセットは、ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔとして指定される。一実施形態において、コンフォーマンスウインドウ右側オフセットは、ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔとして指定される。一実施形態において、コンフォーマンスウインドウ上側オフセットは、ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔとして指定される。一実施形態において、コンフォーマンスウインドウ下側オフセットは、ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔとして指定される。一実施形態において、コンフォーマンスウインドウサイズまたはコンフォーマンスウインドウ値は、ＰＰＳでシグナリングされる。
ブロック１１０４では、映像デコーダが第１のピクチャパラメータセットまたは第２のピクチャパラメータセットに対応する現ピクチャにコンフォーマンスウインドウを適用する。そうすることにより、映像符号化器は、現ピクチャをコンフォーマンスウインドウのサイズまでクロップする。
一実施形態において、本方法はさらに、インター予測を用い、リサンプリングされた参照ピクチャに基づいて現ピクチャをデコードする段階を備える。一実施形態において、本方法はさらに、参照ピクチャリサンプリング（ＲＰＳ）を用いて、現ピクチャに対応する参照ピクチャをリサンプリングする段階を備える。一実施形態において、参照ピクチャのリサンプリングは、参照ピクチャの解像度を変える。
一実施形態において、本方法はさらに、双方向オプティカルフロー（ＢＤＯＦ）が現ピクチャのピクチャ幅、ピクチャ高さ、およびコンフォーマンスウインドウと現ピクチャの参照ピクチャとに基づいてピクチャをデコードするのに有効かどうかを判定する段階を備える。一実施形態において、本方法はさらに、現ピクチャのピクチャ幅、ピクチャ高さ、およびコンフォーマンスウインドウと現ピクチャの参照ピクチャとに基づいてピクチャをデコードするのにデコーダ側動きベクトル微調整（ＤＭＶＲ）が有効かどうかを判定する段階を備える。
一実施形態において、本方法はさらに、現ブロックを用いて生成された画像を電子デバイス（例えば、スマートフォン、タブレット、ラップトップ、パーソナルコンピュータなど）のディスプレイに表示する段階を備える。
図１２は、映像エンコーダ（例えば、映像エンコーダ３００）により実施される、映像ビットストリームをエンコードする方法１２００の一実施形態である。方法１２００は、（例えば、映像からの）ピクチャが映像ビットストリームにエンコードされ、次いで映像デコーダ（例えば、映像デコーダ４００）に送信されるときに行われてよい。方法１２００は、同じピクチャサイズを有するピクチャパラメータセットに対してコンフォーマンスウインドウを同じサイズに維持することにより、エンコーディングプロセスを改善する。したがって、参照ピクチャリサンプリング（ＲＰＲ）がＣＶＳ全体に対して有効のままでもオンにしたままでもよい。同じピクチャサイズを有するピクチャパラメータセットに対して一貫したコンフォーマンスウインドウサイズを維持することにより、符号化効率を向上させることができる。したがって、現実問題として、コーデックの性能が向上し、これがより望ましいユーザ体験につながる。
ブロック１２０２では、映像エンコーダが、それぞれ同じシーケンスパラメータセットを参照する第１のピクチャパラメータセットおよび第２のピクチャパラメータセットを生成する。第１のピクチャパラメータセットおよび第２のピクチャパラメータセットがピクチャ幅およびピクチャ高さに関して同じ値を有する場合、第１のピクチャパラメータセットおよび第２のピクチャパラメータセットはコンフォーマンスウインドウに関して同じ値を有する。一実施形態において、ピクチャ幅およびピクチャ高さはルーマサンプルで測定される。
一実施形態において、ピクチャ幅は、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓとして指定される。一実施形態において、ピクチャ高さは、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓとして指定される。一実施形態において、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓは、ＰＰＳを参照するそれぞれのデコードピクチャの幅をルーマサンプルの単位で規定する。一実施形態において、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓは、ＰＰＳを参照するそれぞれのデコードピクチャの高さをルーマサンプルの単位で規定する。
一実施形態において、コンフォーマンスウインドウは、コンフォーマンスウインドウ左側オフセット、コンフォーマンスウインドウ右側オフセット、コンフォーマンスウインドウ上側オフセット、およびコンフォーマンスウインドウ下側オフセットを有し、これらのオフセットは、全体としてコンフォーマンスウインドウサイズを表す。一実施形態において、コンフォーマンスウインドウ左側オフセットは、ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔとして指定される。一実施形態において、コンフォーマンスウインドウ右側オフセットは、ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔとして指定される。一実施形態において、コンフォーマンスウインドウ上側オフセットは、ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔとして指定される。一実施形態において、コンフォーマンスウインドウ下側オフセットは、ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔとして指定される。一実施形態において、コンフォーマンスウインドウサイズまたはコンフォーマンスウインドウ値は、ＰＰＳでシグナリングされる。
ブロック１２０４では、映像エンコーダが第１のピクチャパラメータセットおよび第２のピクチャパラメータセットを映像ビットストリームにエンコードする。ブロック１２０６では、映像エンコーダが映像ビットストリームを映像デコーダへの送信のために格納する。一実施形態において、映像エンコーダは、第１のピクチャパラメータセットおよび第２のピクチャパラメータセットを含む映像ビットストリームを映像デコーダに送信する。
一実施形態では、映像ビットストリームをエンコードする方法が提供される。ビットストリームは、複数のパラメータセットおよび複数のピクチャを有する。複数のピクチャの各ピクチャは、複数のスライスを含む。複数のスライスの各スライスは、複数の符号化ブロックを含む。本方法は、ピクチャサイズｐｉｃＳｉｚｅＡおよびコンフォーマンスウインドウｃｏｎｆＷｉｎＡを含んだ情報を含むパラメータセットｐａｒａｍｅｔｅｒＳｅｔＡを生成して、ビットストリームに書き込む段階を備える。このパラメータは、ピクチャパラメータセット（ＰＰＳ）でよい。本方法はさらに、ピクチャサイズｐｉｃＳｉｚｅＢおよびコンフォーマンスウインドウｃｏｎｆＷｉｎＢを含んだ情報を含む別のパラメータセットｐａｒａｍｅｔｅｒＳｅｔＢを生成して、ビットストリームに書き込む段階を含む。このパラメータは、ピクチャパラメータセット（ＰＰＳ）でよい。本方法はさらに、ｐａｒａｍｅｔｅｒＳｅｔＡに含まれるｐｉｃＳｉｚｅＡおよびｐａｒａｍｅｔｅｒＳｅｔＢに含まれるｐｉｃＳｉｚｅＢの各値が同じである場合、ｐａｒａｍｅｔｅｒＳｅｔＡに含まれるコンフォーマンスウインドウｃｏｎｆＷｉｎＡおよびｐａｒａｍｅｔｅｒＳｅｔＢに含まれるｃｏｎｆＷｉｎＢの各値を同じになるように制約する段階と、ｐａｒａｍｅｔｅｒＳｅｔＡに含まれるｃｏｎｆＷｉｎＡおよびｐａｒａｍｅｔｅｒＳｅｔＢに含まれるｃｏｎｆＷｉｎＢの各値が同じである場合、ｐａｒａｍｅｔｅｒＳｅｔＡに含まれるピクチャサイズｐｉｃＳｉｚｅＡおよびｐａｒａｍｅｔｅｒＳｅｔＢに含まれるｐｉｃＳｉｚｅＢの各値を同じになるように制約する段階とを含む。本方法はさらに、ビットストリームをエンコードする段階を含む。
一実施形態では、映像ビットストリームをデコードする方法が提供される。ビットストリームは、複数のパラメータセットおよび複数のピクチャを有する。複数のピクチャの各ピクチャは、複数のスライスを含む。複数のスライスの各スライスは、複数の符号化ブロックを含む。本方法は、パラメータセットを解析して、現ピクチャｃｕｒｒＰｉｃと関連付けられたピクチャサイズおよびコンフォーマンスウインドウサイズを取得する段階を備える。取得した情報は、現ピクチャのピクチャサイズおよびクロップされたサイズを導出するのに用いられる。本方法はさらに、別のパラメータセットを解析して、参照ピクチャｒｅｆＰｉｃと関連付けられたピクチャサイズおよびコンフォーマンスウインドウサイズを取得する段階を含む。取得した情報は、参照ピクチャのピクチャサイズおよびクロップされたサイズを導出するのに用いられる。本方法はさらに、現ピクチャｃｕｒｒＰｉｃ内に位置する現ブロックｃｕｒＢｌｏｃｋをデコードするための参照ピクチャとしてｒｅｆＰｉｃを決定する段階と、現ピクチャおよび参照ピクチャのピクチャサイズおよびコンフォーマンスウインドウに基づいて現符号化ブロックをデコードするのに、双方向オプティカルフロー（ＢＤＯＦ）が用いられるかどうか、または有効かどうかを判定する段階と、現ブロックをデコードする段階とを含む。
一実施形態では、現ピクチャおよび参照ピクチャのピクチャサイズおよびコンフォーマンスウインドウが異なる場合、ＢＤＯＦは現符号化ブロックのデコーディングに用いられない、または無効である。
一実施形態では、映像ビットストリームをデコードする方法が提供される。ビットストリームは、複数のパラメータセットおよび複数のピクチャを有する。複数のピクチャの各ピクチャは、複数のスライスを含む。複数のスライスの各スライスは、複数の符号化ブロックを含む。本方法は、パラメータセットを解析して、現ピクチャｃｕｒｒＰｉｃと関連付けられたピクチャサイズおよびコンフォーマンスウインドウサイズを取得する段階を備える。取得した情報は、現ピクチャのピクチャサイズおよびクロップされたサイズを導出するのに用いられる。本方法はさらに、別のパラメータセットを解析して、参照ピクチャｒｅｆＰｉｃと関連付けられたピクチャサイズおよびコンフォーマンスウインドウサイズを取得する段階を含む。取得した情報は、参照ピクチャのピクチャサイズおよびクロップされたサイズを導出するのに用いられる。本方法はさらに、現ピクチャｃｕｒｒＰｉｃ内に位置する現ブロックｃｕｒＢｌｏｃｋをデコードするための参照ピクチャとしてｒｅｆＰｉｃを決定する段階と、現ピクチャおよび参照ピクチャのピクチャサイズおよびコンフォーマンスウインドウに基づいて現符号化ブロックをデコードするのに、デコーダ側動きベクトル微調整（ＤＭＶＲ）が用いられるのか、または有効なのかを判定する段階と、現ブロックをデコードする段階とを含む。
一実施形態では、現ピクチャおよび参照ピクチャのピクチャサイズおよびコンフォーマンスウインドウが異なる場合、ＤＭＶＲは現符号化ブロックのデコーディングに用いられない、または無効である。
一実施形態では、映像ビットストリームをエンコードする方法が提供される。一実施形態において、ビットストリームは、複数のパラメータセットおよび複数のピクチャを有する。複数のピクチャの各ピクチャは、複数のスライスを含む。複数のスライスの各スライスは、複数の符号化ブロックを含む。本方法は、現ピクチャｃｕｒｒＰｉｃと関連付けられたピクチャサイズおよびコンフォーマンスウインドウサイズを含んだパラメータセットを生成する段階を備える。この情報は、現ピクチャのピクチャサイズおよびクロップされたサイズを導出するのに用いられる。本方法はさらに、参照ピクチャｒｅｆＰｉｃと関連付けられたピクチャサイズおよびコンフォーマンスウインドウサイズを含んだ別のパラメータセットを生成する段階を含む。取得した情報は、参照ピクチャのピクチャサイズおよびクロップされたサイズを導出するのに用いられる。本方法はさらに、現ピクチャおよび参照ピクチャのピクチャサイズおよびコンフォーマンスウインドウが異なる場合、現ピクチャｃｕｒｒＰｉｃに属する全スライスの時間動きベクトル予測（ＴＭＶＰ）に対して、参照ピクチャｒｅｆＰｉｃが同一位置の参照ピクチャとして用いられてはならないと制約する段階を含む。すなわち、参照ピクチャｒｅｆＰｉｃがＴＭＶＰ用の現ピクチャｃｕｒｒＰｉｃに含まれるブロックを符号化するための同一位置の参照ピクチャである場合、現ピクチャおよび参照ピクチャのピクチャサイズおよびコンフォーマンスウインドウは同じでなければならないと制約する。本方法はさらに、ビットストリームをデコードする段階を含む。
一実施形態では、映像ビットストリームをデコードする方法が提供される。ビットストリームは、複数のパラメータセットおよび複数のピクチャを有する。複数のピクチャの各ピクチャは、複数のスライスを含む。複数のスライスの各スライスは、複数の符号化ブロックを含む。本方法は、パラメータセットを解析して、現ピクチャｃｕｒｒＰｉｃと関連付けられたピクチャサイズおよびコンフォーマンスウインドウサイズを取得する段階を備える。取得した情報は、現ピクチャのピクチャサイズおよびクロップされたサイズを導出するのに用いられる。本方法はさらに、別のパラメータセットを解析して、参照ピクチャｒｅｆＰｉｃと関連付けられたピクチャサイズおよびコンフォーマンスウインドウサイズを取得する段階を含む。取得した情報は、参照ピクチャのピクチャサイズおよびクロップされたサイズを導出するのに用いられる。本方法はさらに、現ピクチャｃｕｒｒＰｉｃ内に位置する現ブロックｃｕｒＢｌｏｃｋをデコードするための参照ピクチャとしてｒｅｆＰｉｃを決定する段階と、シンタクス要素（ｓｌｉｃｅ＿ＤＶＭＲ＿ＢＤＯＦ＿ｅｎａｂｌｅ＿ｆｌａｇ）を解析して、デコーダ側動きベクトル微調整（ＤＭＶＲ）および／または双方向オプティカルフロー（ＢＤＯＦ）が現符号化ピクチャおよびスライスのデコーディングに用いられるのか、または有効なのかを判定する段階とを含む。本方法はさらに、ｐａｒａｍｅｔｅｒＳｅｔＡに含まれるコンフォーマンスウインドウｃｏｎｆＷｉｎＡとｐａｒａｍｅｔｅｒＳｅｔＢに含まれるｃｏｎｆＷｉｎＢとが同じではない場合、またはｐａｒａｍｅｔｅｒＳｅｔＡに含まれるｐｉｃＳｉｚｅＡおよびｐａｒａｍｅｔｅｒＳｅｔＢに含まれるｐｉｃＳｉｚｅＢの各値が同じではない場合、シンタクス要素（ｓｌｉｃｅ＿ＤＶＭＲ＿ＢＤＯＦ＿ｅｎａｂｌｅ＿ｆｌａｇ）の値がゼロになるように制約する段階を含む。
下記の説明は、基本テキストに関するものであり、ＶＶＣワーキングドラフトである。すなわち、増分だけが示され、基本テキストに含まれる後述されないテキストはそのまま適用される。削除されたテキストは、イタリック体で示されており、追加テキストは太字である。
シーケンスパラメータセットのシンタクスおよびセマンティックスが提供される。
ｍａｘ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓでは、このＳＰＳがアクティブであるあらゆるピクチャのｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓがｍａｘ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓより小さいまたはそれと等しいということがビットストリームコンフォーマンスの要件であることを規定する。
ｍａｘ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓでは、このＳＰＳがアクティブであるあらゆるピクチャのｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓがｍａｘ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓより小さいまたはそれと等しいということがビットストリームコンフォーマンスの要件であることを規定する。
ピクチャパラメータセットのシンタクスおよびセマンティックスが提供される。
ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓでは、ＰＰＳを参照するそれぞれのデコードされたピクチャの幅をルーマサンプルの単位で規定する。ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓは０と等しくてはならず、ＭｉｎＣｂＳｉｚｅＹの整数倍でなければならない。
ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓでは、ＰＰＳを参照するそれぞれのデコードされたピクチャの高さをルーマサンプルの単位で規定する。ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓは０と等しくてはならず、ＭｉｎＣｂＳｉｚｅＹの整数倍でなければならない。
幅および高さがｒｅｆｅｒｅｎｃｅ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓおよびｒｅｆｅｒｅｎｃｅ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓであるどのアクティブ参照ピクチャに対しても下記の条件の全てが満たされることが、ビットストリームコンフォーマンスの要件である。
・２×ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ≧ｒｅｆｅｒｅｎｃｅ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ
・２×ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ≧ｒｅｆｅｒｅｎｃｅ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ
・ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ≦８×ｒｅｆｅｒｅｎｃｅ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ
・ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ≦８×ｒｅｆｅｒｅｎｃｅ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ
変数のＰｉｃＷｉｄｔｈＩｎＣｔｂｓＹ、ＰｉｃＨｅｉｇｈｔＩｎＣｔｂｓＹ、ＰｉｃＳｉｚｅＩｎＣｔｂｓＹ、ＰｉｃＷｉｄｔｈＩｎＭｉｎＣｂｓＹ、ＰｉｃＨｅｉｇｈｔＩｎＭｉｎＣｂｓＹ、ＰｉｃＳｉｚｅＩｎＭｉｎＣｂｓＹ、ＰｉｃＳｉｚｅＩｎＳａｍｐｌｅｓＹ、ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＣ、およびＰｉｃＨｅｉｇｈｔＩｎＳａｍｐｌｅｓＣは、次のように導出される。
・ＰｉｃＷｉｄｔｈＩｎＣｔｂｓＹ＝Ｃｅｉｌ（ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ／ＣｔｂＳｉｚｅＹ） （１）
・ＰｉｃＨｅｉｇｈｔＩｎＣｔｂｓＹ＝Ｃｅｉｌ（ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ／ＣｔｂＳｉｚｅＹ） （２）
・ＰｉｃＳｉｚｅＩｎＣｔｂｓＹ＝ＰｉｃＷｉｄｔｈＩｎＣｔｂｓＹ×ＰｉｃＨｅｉｇｈｔＩｎＣｔｂｓＹ （３）
・ＰｉｃＷｉｄｔｈＩｎＭｉｎＣｂｓＹ＝ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ／ＭｉｎＣｂＳｉｚｅＹ （４）
・ＰｉｃＨｅｉｇｈｔＩｎＭｉｎＣｂｓＹ＝ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ／ＭｉｎＣｂＳｉｚｅＹ （５）
・ＰｉｃＳｉｚｅＩｎＭｉｎＣｂｓＹ＝ＰｉｃＷｉｄｔｈＩｎＭｉｎＣｂｓＹ×ＰｉｃＨｅｉｇｈｔＩｎＭｉｎＣｂｓＹ （６）
・ＰｉｃＳｉｚｅＩｎＳａｍｐｌｅｓＹ＝ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ×ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ （７）
・ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＣ＝ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ／ＳｕｂＷｉｄｔｈＣ （８）
・ＰｉｃＨｅｉｇｈｔＩｎＳａｍｐｌｅｓＣ＝ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ／ＳｕｂＨｅｉｇｈｔＣ （９）
１と等しいｃｏｎｆｏｒｍａｎｃｅ＿ｗｉｎｄｏｗ＿ｆｌａｇは、コンフォーマンスクロッピングウィンドウのオフセットパラメータが、ＰＰＳでは次に続くことを示す。０と等しいｃｏｎｆｏｒｍａｎｃｅ＿ｗｉｎｄｏｗ＿ｆｌａｇは、コンフォーマンスクロッピングウィンドウのオフセットパラメータが存在しないことを示す。
ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ、およびｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔでは、ＰＰＳを参照しデコーディングプロセスから出力されるピクチャのサンプルを、出力のためにピクチャ座標で規定される矩形領域によって規定する。ｃｏｎｆｏｒｍａｎｃｅ＿ｗｉｎｄｏｗ＿ｆｌａｇが０と等しい場合、ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ、およびｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔの値は０と等しいと推測される。
コンフォーマンスクロッピングウィンドウは、［ＳｕｂＷｉｄｔｈＣ×ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ］から［ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ－（ＳｕｂＷｉｄｔｈＣ×ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ＋１）］までの水平ピクチャ座標（境界を含む）と、［ＳｕｂＨｅｉｇｈｔＣ×ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ］から［ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ－（ＳｕｂＨｅｉｇｈｔＣ×ｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ＋１）］までの垂直ピクチャ座標（境界を含む）とを有するルーマサンプルを含む。
［ＳｕｂＷｉｄｔｈＣ×（ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ＋ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ）］の値は、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓより小さくなければならない。また［ＳｕｂＨｅｉｇｈｔＣ×（ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ＋ｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ）］の値は、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓより小さくなければならない。
変数のＰｉｃＯｕｔｐｕｔＷｉｄｔｈＬおよびＰｉｃＯｕｔｐｕｔＨｅｉｇｈｔＬは、次のように導出される。
・ＰｉｃＯｕｔｐｕｔＷｉｄｔｈＬ＝ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ－ＳｕｂＷｉｄｔｈＣ×（ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ＋ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ） （１０）
・ＰｉｃＯｕｔｐｕｔＨｅｉｇｈｔＬ＝ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｐｉｃ＿ｓｉｚｅ＿ｕｎｉｔｓ－ＳｕｂＨｅｉｇｈｔＣ×（ｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ＋ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ） （１１）
ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが０と等しくない場合、２つのクロマ配列の対応する規定されたサンプルは、ピクチャ座標が（ｘ／ＳｕｂＷｉｄｔｈＣ，ｙ／ＳｕｂＨｅｉｇｈｔＣ）のサンプルであり、（ｘ，ｙ）は規定されたルーマサンプルのピクチャ座標である。
注記：コンフォーマンスクロッピングウィンドウのオフセットパラメータは出力でしか適用されない。全ての内部デコーディングプロセスは、クロップしていないピクチャサイズに適用される。
ＰＰＳ＿ＡおよびＰＰＳ＿Ｂが同じシーケンスパラメータセットを参照するピクチャパラメータセットだとすると、ＰＰＳ＿ＡおよびＰＰＳ＿Ｂに含まれるｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの各値が同じであり、且つＰＰＳ＿ＡおよびＰＰＳ＿Ｂに含まれるｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの各値が同じである場合、下記の条件が全て当てはまらなければならないというのが、ビットストリームコンフォーマンスの要件である。
・ＰＰＳ＿ＡおよびＰＰＳ＿Ｂに含まれるｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔの各値が同じである。
・ＰＰＳ＿ＡおよびＰＰＳ＿Ｂに含まれるｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔの各値が同じである。
・ＰＰＳ＿ＡおよびＰＰＳ＿Ｂに含まれるｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔの各値が同じである。
・ＰＰＳ＿ＡおよびＰＰＳ＿Ｂに含まれるｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔの各値が同じである。
下記の制約は、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘのセマンティックスに加えられる。
ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘは、時間動きベクトル予測に用いられる同一位置のピクチャの参照インデックスを規定する。
ｓｌｉｃｅ＿ｔｙｐｅがＰと等しい場合、またはｓｌｉｃｅ＿ｔｙｐｅがＢと等しく且つｃｏｌｌｏｃａｔｅｄ＿ｆｒｏｍ＿ｌ０＿ｆｌａｇが１と等しい場合、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘはリスト０にあるピクチャを参照し、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘの値は０～（ＮｕｍＲｅｆＩｄｘＡｃｔｉｖｅ［０］－１）の範囲内（境界を含む）になければならない。
ｓｌｉｃｅ＿ｔｙｐｅがＢと等しい且つｃｏｌｌｏｃａｔｅｄ＿ｆｒｏｍ＿ｌ０＿ｆｌａｇが０と等しい場合、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘはリスト１にあるピクチャを参照し、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘの値は０～（ＮｕｍＲｅｆＩｄｘＡｃｔｉｖｅ［１］－１）の範囲内（境界を含む）になければならない。
ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘが存在しない場合、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘの値は０と等しいと推測される。
ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘにより参照されるピクチャは符号化ピクチャの全スライスに共通でなければならないということが、ビットストリームコンフォーマンスの要件である。
ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘおよび現ピクチャにより参照される参照ピクチャの解像度は同じでなければならないということが、ビットストリームコンフォーマンスの要件である。
ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘおよび現ピクチャにより参照される参照ピクチャのピクチャサイズおよびコンフォーマンスウインドウは同じでなければならないということが、ビットストリームコンフォーマンスの要件である。
ｄｍｖｒＦｌａｇを１に設定するための下記の条件が修正される。
・下記の条件の全てが当てはまる場合、ｄｍｖｒＦｌａｇは１と等しく設定される。
・ｓｐｓ＿ｄｍｖｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１と等しい。
・ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇ［ｘＣｂ］［ｙＣｂ］が１と等しい。
・ｐｒｅｄＦｌａｇＬ０［０］［０］およびｐｒｅｄＦｌａｇＬ１［０］［０］が両方とも１と等しい。
・ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ［ｘＣｂ］［ｙＣｂ］が０と等しい。
・ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ，ＲｅｆＰｉｃＬｉｓｔ［０］［ｒｅｆＩｄｘＬ０］）が、ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ＲｅｆＰｉｃＬｉｓｔ［１］［ｒｅｆＩｄｘＬ１］，ｃｕｒｒＰｉｃ）と等しい。
・ＢｃｗＩｄｘ［ｘＣｂ］［ｙＣｂ］が０と等しい。
・ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ［ｒｅｆＩｄｘＬ０］およびｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇ［ｒｅｆＩｄｘＬ１］が両方とも０と等しい。
・ｃｂＷｉｄｔｈが８より大きいまたはこれと等しい。
・ｃｂＨｅｉｇｈｔが８より大きいまたはこれと等しい。
・ｃｂＨｅｉｇｈｔ×ｃｂＷｉｄｔｈが１２８より大きいまたはこれと等しい。
・Ｘが０および１のそれぞれである場合、ｒｅｆＩｄｘＬＸと関連付けられた参照ピクチャｒｅｆＰｉｃＬＸのｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓおよびｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓはそれぞれ、現ピクチャのｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓおよびｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓと等しい。
・Ｘが０および１のそれぞれである場合、ｒｅｆＩｄｘＬＸと関連付けられた参照ピクチャｒｅｆＰｉｃＬＸのｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ、およびｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔはそれぞれ、現ピクチャのｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ、およびｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔと等しい。
ｄｍｖｒＦｌａｇを１に設定するための下記の条件が修正される。
・下記の条件の全てが当てはまる場合、ｂｄｏｆＦｌａｇはＴＲＵＥと等しく設定される。
・ｓｐｓ＿ｂｄｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１と等しい。
・ｐｒｅｄＦｌａｇＬ０［ｘＳｂＩｄｘ］［ｙＳｂＩｄｘ］およびｐｒｅｄＦｌａｇＬ１［ｘＳｂＩｄｘ］［ｙＳｂＩｄｘ］が両方とも１と等しい。
・ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ，ＲｅｆＰｉｃＬｉｓｔ［０］［ｒｅｆＩｄｘＬ０］）×ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ，ＲｅｆＰｉｃＬｉｓｔ［１］［ｒｅｆＩｄｘＬ１］）が０より小さい。
・ＭｏｔｉｏｎＭｏｄｅｌＩｄｃ［ｘＣｂ］［ｙＣｂ］が０と等しい。
・ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇ［ｘＣｂ］［ｙＣｂ］が０と等しい。
・ｓｙｍ＿ｍｖｄ＿ｆｌａｇ［ｘＣｂ］［ｙＣｂ］が０と等しい。
・ＢｃｗＩｄｘ［ｘＣｂ］［ｙＣｂ］が０と等しい。
・ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ［ｒｅｆＩｄｘＬ０］およびｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇ［ｒｅｆＩｄｘＬ１］が両方とも０と等しい。
・ｃｂＨｅｉｇｈｔが８より大きいまたはこれと等しい。
・Ｘが０および１のそれぞれである場合、ｒｅｆＩｄｘＬＸと関連付けられた参照ピクチャｒｅｆＰｉｃＬＸのｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓおよびｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓはそれぞれ、現ピクチャのｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓおよびｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓと等しい。
・Ｘが０および１のそれぞれである場合、ｒｅｆＩｄｘＬＸと関連付けられた参照ピクチャｒｅｆＰｉｃＬＸのｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ、およびｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔはそれぞれ、現ピクチャのｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ、およびｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔと等しい。
・ｃＩｄｘが０と等しい。
図１３は、本開示の一実施形態による映像符号化デバイス１３００（例えば、映像エンコーダ２０または映像デコーダ３０）の概略図である。映像符号化デバイス１３００は、本明細書で説明したような、開示された実施形態を実装するのに好適である。映像符号化デバイス１３００は、データを受信するための入口ポート１３１０および受信ユニット（Ｒｘ）１３２０と、データを処理するプロセッサ、論理ユニット、または中央演算処理装置（ＣＰＵ）１３３０と、データを送信するための送信ユニット（Ｔｘ）１３４０および出口ポート１３５０と、データを格納するためのメモリ１３６０とを備える。映像符号化デバイス１３００は、入口ポート１３１０、受信ユニット１３２０、送信ユニット１３４０、および出口ポート１３５０に結合された、光信号または電気信号の出口または入口用の光／電気（ＯＥ）変換コンポーネントおよび電気／光（ＥＯ）変換コンポーネントも備えてよい。
プロセッサ１３３０は、ハードウェアおよびソフトウェアによって実装される。プロセッサ１３３０は、１つまたは複数のＣＰＵチップ、コア（例えば、マルチコアプロセッサとして）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、およびデジタル信号プロセッサ（ＤＳＰ）として実装されてよい。プロセッサ１３３０は、入口ポート１３１０、受信ユニット１３２０、送信ユニット１３４０、出口ポート１３５０、およびメモリ１３６０と通信する。プロセッサ１３３０は、符号化モジュール１３７０を有する。符号化モジュール１３７０は、上述の開示された実施形態を実装する。例えば、符号化モジュール１３７０は、様々なコーデック機能を実装する、処理する、準備する、または提供する。したがって、符号化モジュール１３７０を含むことで、映像符号化デバイス１３００の機能性に大幅な改善がもたらされ、映像符号化デバイス１３００の別の状態への変化が生じる。あるいは、符号化モジュール１３７０は、メモリ１３６０に格納され且つプロセッサ１３３０により実行される命令として実装される。
映像符号化デバイス１３００は、ユーザとの間でデータをやり取りするための入力および／または出力（Ｉ／Ｏ）デバイス１３８０も含んでよい。Ｉ／Ｏデバイス１３８０は、映像データを表示するためのディスプレイ、オーディオデータを出力するためのスピーカなどといった出力デバイスを含んでよい。Ｉ／Ｏデバイス１３８０は、キーボード、マウス、トラックボールなどといった入力デバイス、および／またはそのような出力デバイスとやり取りするための対応するインタフェースも含んでよい。
メモリ１３６０には、１つまたは複数のディスク、テープドライブ、およびソリッドステートドライブが含まれ、このメモリは、プログラムが実行のために選択されたときにそのようなプログラムを格納するために、またプログラム実行中に読み出される命令およびデータを格納するために、オーバーフローデータ記憶デバイスとして用いられてよい。メモリ１３６０は、揮発性および／または不揮発性でよく、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、三値連想メモリ（ＴＣＡＭ）および／またはスタティックランダムアクセスメモリ（ＳＲＡＭ）でよい。
図１４は、符号化の手段１４００に関する一実施形態の概略図である。一実施形態において、符号化の手段１４００は、映像符号化デバイス１４０２（例えば、映像エンコーダ２０または映像デコーダ３０）に実装される。映像符号化デバイス１４０２は受信手段１４０１を含む。受信手段１４０１は、エンコードするピクチャを受信するように、またはデコードするビットストリームを受信するように構成される。映像符号化デバイス１４０２は、受信手段１４０１に結合された送信手段１４０７を含む。送信手段１４０７は、ビットストリームをデコーダに送信するように、またはデコードされた画像を表示手段（例えば、複数のＩ／Ｏデバイス１３８０のうちの１つ）に送信するように構成される。
映像符号化デバイス１４０２は記憶手段１４０３を含む。記憶手段１４０３は、受信手段１４０１または送信手段１４０７のうちの少なくとも一方に結合される。記憶手段１４０３は、命令を格納するように構成される。映像符号化デバイス１４０２は処理手段１４０５も含む。処理手段１４０５は記憶手段１４０３に結合される。処理手段１４０５は、記憶手段１４０３に格納された命令を実行して、本明細書で開示された方法を行うように構成される。
本明細書に記載された例示的な方法の各段階は、必ずしも説明された順序で行われる必要はなく、そのような方法の各段階の順序は単なる例示であると理解されるべきであることも理解されたい。同様に、本開示の様々な実施形態と一致した方法において、そのような方法に追加の段階が含まれてよく、特定の段階が省略されても組み合わされてもよい。
本開示ではいくつかの実施形態を提供したが、開示したシステムおよび方法は、本開示の趣旨または範囲から逸脱することなく、多数の他の特定の形態で具現化され得ることを理解されたい。本実施例は、例示的であって限定的ではないとみなされるべきであり、その目的は、本明細書に示された詳細に限定することではない。例えば、様々な要素またはコンポーネントが別のシステムに組み合わされても統合されてもよく、または特定の特徴が省略されても実装されなくてもよい。
さらに、様々な実施形態において別々のものまたは異なるものとして説明され且つ示された手法、システム、サブシステム、および方法が、本開示の範囲から逸脱することなく、他のシステム、モジュール、手法、または方法と組み合わされても一体化されてもよい。互いに結合されているもしくは直接的に結合されている、または互いに通信するものとして示されまたは説明された他の物が、電気的であっても、機械的であっても、または別のやり方であっても、何らかのインタフェース、デバイス、または中間コンポーネントを介して間接的に結合されても、通信してもよい。変更、置換、および修正に関する他の例が、当業者によって確認可能であり、こうした例は本明細書に開示された趣旨および範囲から逸脱することなく行われ得る。
［他の考え得る項目］
（項目１）
映像デコーダにより実施されるデコーディングの方法であって、
それぞれ同じシーケンスパラメータセットを参照する第１のピクチャパラメータセットおよび第２のピクチャパラメータセットを前記映像デコーダが受信する段階であって、前記第１のピクチャパラメータセットおよび前記第２のピクチャパラメータセットがピクチャ幅およびピクチャ高さに関して同じ値を有する場合、前記第１のピクチャパラメータセットおよび前記第２のピクチャパラメータセットはコンフォーマンスウインドウに関して同じ値を有する、受信する段階と、
前記映像デコーダが前記第１のピクチャパラメータセットまたは前記第２のピクチャパラメータセットに対応する現ピクチャに前記コンフォーマンスウインドウを適用する段階と
を備える方法。
（項目２）
前記コンフォーマンスウインドウが、コンフォーマンスウインドウ左側オフセット、コンフォーマンスウインドウ右側オフセット、コンフォーマンスウインドウ上側オフセット、およびコンフォーマンスウインドウ下側オフセットを有する、項目１に記載の方法。
（項目３）
前記方法がさらに、前記第１のピクチャパラメータセットまたは前記第２のピクチャパラメータセットに対応する前記現ピクチャを、前記コンフォーマンスウインドウが適用された後にインター予測を用いてデコードする段階であって、前記インター予測はリサンプリングされた参照ピクチャに基づいている、デコードする段階を備える、項目１から２のいずれかに記載の方法。
（項目４）
前記方法がさらに、前記第１のピクチャセットまたは前記第２のピクチャセットに対応する前記現ピクチャと関連付けられた参照ピクチャを、参照ピクチャリサンプリング（ＲＰＳ）を用いてリサンプリングする段階を備える、項目１から３のいずれかに記載の方法。
（項目５）
前記参照ピクチャの前記リサンプリングが、前記第１のピクチャセットまたは前記第２のピクチャセットに対応する前記現ピクチャをインター予測するのに用いられる前記参照ピクチャの解像度を変更する、項目１から４のいずれかに記載の方法。
（項目６）
前記ピクチャ幅および前記ピクチャ高さがルーマサンプルで測定される、項目１から５のいずれかに記載の方法。
（項目７）
前記方法がさらに、前記現ピクチャの前記ピクチャ幅、前記ピクチャ高さ、および前記コンフォーマンスウインドウと前記現ピクチャの参照ピクチャとに基づいて前記ピクチャをデコードするのに双方向オプティカルフロー（ＢＤＯＦ）が有効かどうかを判定する段階を備える、項目１から６のいずれかに記載の方法。
（項目８）
前記方法がさらに、前記現ピクチャの前記ピクチャ幅、前記ピクチャ高さ、および前記コンフォーマンスウインドウと前記現ピクチャの参照ピクチャとに基づいて前記ピクチャをデコードするのにデコーダ側動きベクトル微調整（ＤＭＶＲ）が有効かどうかを判定する段階を備える、項目１から６のいずれかに記載の方法。
（項目９）
前記方法がさらに、前記現ブロックを用いて生成された画像を電子デバイスのディスプレイに表示する段階を備える、項目１から６のいずれかに記載の方法。
（項目１０）
映像エンコーダにより実施されるエンコーディングの方法であって、
それぞれ同じシーケンスパラメータセットを参照する第１のピクチャパラメータセットおよび第２のピクチャパラメータセットを前記映像エンコーダが生成する段階であって、前記第１のピクチャパラメータセットおよび前記第２のピクチャパラメータセットがピクチャ幅およびピクチャ高さに関して同じ値を有する場合、前記第１のピクチャパラメータセットおよび前記第２のピクチャパラメータセットはコンフォーマンスウインドウに関して同じ値を有する、生成する段階と、
前記映像エンコーダが前記第１のピクチャパラメータセットおよび前記第２のピクチャパラメータセットを映像ビットストリームにエンコードする段階と、
前記映像エンコーダが前記映像ビットストリームを映像デコーダに送信するために格納する段階と
を備える方法。
（項目１１）
前記コンフォーマンスウインドウが、コンフォーマンスウインドウ左側オフセット、コンフォーマンスウインドウ右側オフセット、コンフォーマンスウインドウ上側オフセット、およびコンフォーマンスウインドウ下側オフセットを有する、項目１０に記載の方法。
（項目１２）
前記ピクチャ幅および前記ピクチャ高さがルーマサンプルで測定される、項目１０から１１のいずれかに記載の方法。
（項目１３）
前記方法がさらに、前記第１のピクチャパラメータセットおよび前記第２のピクチャパラメータセットを含む前記映像ビットストリームを前記映像デコーダに送信する段階を備える、項目１０から１２のいずれかに記載の方法。
（項目１４）
符号化映像ビットストリームを受信するように構成された受信機と
前記受信機に結合されたメモリであって、前記メモリは命令を格納する、メモリと、
前記メモリに結合されたプロセッサであって、前記プロセッサは前記命令を実行して前記デコーディングデバイスに
それぞれ同じシーケンスパラメータセットを参照する第１のピクチャパラメータセットおよび第２のピクチャパラメータセットを受信することであって、前記第１のピクチャパラメータセットおよび前記第２のピクチャパラメータセットがピクチャ幅およびピクチャ高さに関して同じ値を有する場合、前記第１のピクチャパラメータセットおよび前記第２のピクチャパラメータセットはコンフォーマンスウインドウに関して同じ値を有する、受信することと、
前記第１のピクチャパラメータセットまたは前記第２のピクチャパラメータセットに対応する現ピクチャに前記コンフォーマンスウインドウを適用することと
を行わせるように構成される、プロセッサと
を備えるデコーディングデバイス。
（項目１５）
前記コンフォーマンスウインドウが、コンフォーマンスウインドウ左側オフセット、コンフォーマンスウインドウ右側オフセット、コンフォーマンスウインドウ上側オフセット、およびコンフォーマンスウインドウ下側オフセットを有する、項目１４に記載のデコーディングデバイス。
（項目１６）
前記デコーディングデバイスがさらに、前記第１のピクチャパラメータセットまたは前記第２のピクチャパラメータセットに対応する前記現ピクチャを、前記コンフォーマンスウインドウが適用された後にインター予測を用いてデコードすることであって、前記インター予測はリサンプリングされた参照ピクチャに基づいている、デコードすることを備える、項目１４から１５のいずれかに記載のデコーディングデバイス。
（項目１７）
前記デコーディングデバイスがさらに、前記現ピクチャに基づいて生成された画像を表示するように構成されたディスプレイを備える、項目１５から１６のいずれかに記載のデコーディングデバイス。
（項目１８）
エンコーディングデバイスであって、
命令を含むメモリと、
前記メモリに結合されたプロセッサであって、前記プロセッサは前記命令を実施して前記エンコーディングデバイスに、
それぞれ同じシーケンスパラメータセットを参照する第１のピクチャパラメータセットおよび第２のピクチャパラメータセットを生成することであって、前記第１のピクチャパラメータセットおよび前記第２のピクチャパラメータセットがピクチャ幅およびピクチャ高さに関して同じ値を有する場合、前記第１のピクチャパラメータセットおよび前記第２のピクチャパラメータセットはコンフォーマンスウインドウに関して同じ値を有する、生成することと、
前記第１のピクチャパラメータセットおよび前記第２のピクチャパラメータセットを映像ビットストリームにエンコードすることと
を行わせるように構成される、プロセッサと、
前記プロセッサに結合された送信機であって、前記送信機は前記第１のピクチャパラメータセットおよび前記第２のピクチャパラメータセットを含む前記映像ビットストリームを映像デコーダに送信するように構成される、送信機と
を備えるエンコーディングデバイス。
（項目１９）
前記コンフォーマンスウインドウが、コンフォーマンスウインドウ左側オフセット、コンフォーマンスウインドウ右側オフセット、コンフォーマンスウインドウ上側オフセット、およびコンフォーマンスウインドウ下側オフセットを有する、項目１８に記載のエンコーディングデバイス。
（項目２０）
前記ピクチャ幅および前記ピクチャ高さがルーマサンプルで測定される、項目１８から１９のいずれかに記載のエンコーディングデバイス。
（項目２１）
エンコードするピクチャを受信するように、またはデコードするビットストリームを受信するように構成された受信機と、
前記受信機に結合された送信機であって、前記送信機は前記ビットストリームをデコーダに送信するように、またはデコード画像をディスプレイに送信するように構成される、送信機と、
前記受信機または前記送信機のうちの少なくとも一方に結合されたメモリであって、前記メモリは命令を格納するように構成される、メモリと、
前記メモリに結合されたプロセッサであって、前記プロセッサは前記メモリに格納された前記命令を実行して、項目１から９のいずれかおよび項目１０から１３のいずれかにおける方法を行うように構成される、プロセッサと
を備える符号化装置。
（項目２２）
前記符号化装置がさらに、画像を表示するように構成されたディスプレイを備える、項目２０に記載の符号化装置。
（項目２３）
エンコーダと、
前記エンコーダと通信するデコーダと
を備えるシステムであって、前記エンコーダまたは前記デコーダは、項目１５から２２のいずれかに記載のデコーディングデバイス、エンコーディングデバイス、または符号化装置を含む、システム。
（項目２４）
符号化するための手段であって、
エンコードするピクチャを受信するように、またはデコードするビットストリームを受信するように構成された受信手段と、
前記受信手段に結合された送信手段であって、前記送信手段は前記ビットストリームをデコーディング手段に送信するように、またはデコード画像を表示手段に送信するように構成される、送信手段と、
前記受信手段または前記送信手段のうちの少なくとも一方に結合された記憶手段であって、前記記憶手段は命令を格納するように構成される、記憶手段と、
前記記憶手段に結合された処理手段であって、前記処理手段は前記記憶手段に格納された前記命令を実行して、項目１から９のいずれかおよび項目１０から１３のいずれかにおける方法を行うように構成される、処理手段と
を備える符号化するための手段。

Claims (25)

  1. 映像デコーダにより実施されるデコーディングの方法であって、
    それぞれ同じシーケンスパラメータセットを参照する第１のピクチャパラメータセットおよび第２のピクチャパラメータセットを前記映像デコーダが受信する段階であって、前記第１のピクチャパラメータセットがピクチャ幅の値、ピクチャ高さの値、およびコンフォーマンスウインドウの値を含み、前記第２のピクチャパラメータセットがピクチャ幅の値、ピクチャ高さの値、およびコンフォーマンスウインドウの値を含み、前記ピクチャ幅の前記値および前記ピクチャ高さの前記値がルーマサンプルの単位で測定され、前記第１のピクチャパラメータセットの前記ピクチャ幅の前記値が前記第２のピクチャパラメータセットの前記ピクチャ幅の前記値と同じであり、前記第１のピクチャパラメータセットの前記ピクチャ高さの前記値が前記第２のピクチャパラメータセットの前記ピクチャ高さの前記値と同じである場合、前記第１のピクチャパラメータセットの前記コンフォーマンスウインドウの前記値が前記第２のピクチャパラメータセットの前記コンフォーマンスウインドウの前記値と同じに制約される、受信する段階と、
    前記映像デコーダが前記第１のピクチャパラメータセットまたは前記第２のピクチャパラメータセットに対応する現ピクチャに前記コンフォーマンスウインドウを適用する段階と
    を備える方法。
  2. 前記コンフォーマンスウインドウが、コンフォーマンスウインドウ左側オフセット、コンフォーマンスウインドウ右側オフセット、コンフォーマンスウインドウ上側オフセット、およびコンフォーマンスウインドウ下側オフセットを有する、請求項１に記載の方法。
  3. 前記方法がさらに、前記第１のピクチャパラメータセットまたは前記第２のピクチャパラメータセットに対応する前記現ピクチャを、前記コンフォーマンスウインドウが適用された後にインター予測を用いてデコードする段階であって、前記インター予測はリサンプリングされた参照ピクチャに基づいている、デコードする段階を備える、請求項１または２に記載の方法。
  4. 前記方法がさらに、前記第１のピクチャパラメータセットまたは前記第２のピクチャパラメータセットに対応する前記現ピクチャと関連付けられた参照ピクチャを、参照ピクチャリサンプリング（ＲＰＳ）を用いてリサンプリングする段階を備える、請求項１から３のいずれか一項に記載の方法。
  5. 前記参照ピクチャの前記リサンプリングが、前記第１のピクチャパラメータセットまたは前記第２のピクチャパラメータセットに対応する前記現ピクチャをインター予測するのに用いられる前記参照ピクチャの解像度を変更する、請求項４に記載の方法。
  6. 前記方法がさらに、前記現ピクチャの前記ピクチャ幅、前記ピクチャ高さ、および前記コンフォーマンスウインドウと前記現ピクチャの参照ピクチャとに基づいて前記現ピクチャをデコードするのに双方向オプティカルフロー（ＢＤＯＦ）が有効かどうかを判定する段階を備える、請求項１から５のいずれか一項に記載の方法。
  7. 前記方法がさらに、前記現ピクチャの前記ピクチャ幅、前記ピクチャ高さ、および前記コンフォーマンスウインドウと前記現ピクチャの参照ピクチャとに基づいて前記現ピクチャをデコードするのにデコーダ側動きベクトル微調整（ＤＭＶＲ）が有効かどうかを判定する段階を備える、請求項１から５のいずれか一項に記載の方法。
  8. 前記方法がさらに、前記現ピクチャを用いて生成された画像を電子デバイスのディスプレイに表示する段階を備える、請求項１から５のいずれか一項に記載の方法。
  9. 映像エンコーダにより実施されるエンコーディングの方法であって、
    それぞれ同じシーケンスパラメータセットを参照する第１のピクチャパラメータセットおよび第２のピクチャパラメータセットを前記映像エンコーダが生成する段階であって、前記第１のピクチャパラメータセットがピクチャ幅の値、ピクチャ高さの値、およびコンフォーマンスウインドウの値を含み、前記第２のピクチャパラメータセットがピクチャ幅の値、ピクチャ高さの値、およびコンフォーマンスウインドウの値を含み、前記ピクチャ幅の前記値および前記ピクチャ高さの前記値がルーマサンプルの単位で測定され、前記第１のピクチャパラメータセットの前記ピクチャ幅の前記値が前記第２のピクチャパラメータセットの前記ピクチャ幅の前記値と同じであり、前記第１のピクチャパラメータセットの前記ピクチャ高さの前記値が前記第２のピクチャパラメータセットの前記ピクチャ高さの前記値と同じである場合、前記第１のピクチャパラメータセットの前記コンフォーマンスウインドウの前記値が前記第２のピクチャパラメータセットの前記コンフォーマンスウインドウの前記値と同じに制約される、生成する段階と、
    前記映像エンコーダが前記第１のピクチャパラメータセットおよび前記第２のピクチャパラメータセットを映像ビットストリームにエンコードする段階と、
    前記映像エンコーダが前記映像ビットストリームを映像デコーダに送信するために格納する段階と
    を備える方法。
  10. 前記コンフォーマンスウインドウが、コンフォーマンスウインドウ左側オフセット、コンフォーマンスウインドウ右側オフセット、コンフォーマンスウインドウ上側オフセット、およびコンフォーマンスウインドウ下側オフセットを有する、請求項９に記載の方法。
  11. 前記方法がさらに、前記第１のピクチャパラメータセットおよび前記第２のピクチャパラメータセットを含む前記映像ビットストリームを前記映像デコーダに送信する段階を備える、請求項９から１０のいずれか一項に記載の方法。
  12. デコーディングデバイスであって、
    符号化映像ビットストリームを受信するように構成された受信機と
    前記受信機に結合されたメモリであって、前記メモリは命令を格納する、メモリと、
    前記メモリに結合されたプロセッサであって、前記プロセッサは前記命令を実行して前記デコーディングデバイスに
    それぞれ同じシーケンスパラメータセットを参照する第１のピクチャパラメータセットおよび第２のピクチャパラメータセットを受信することであって、前記第１のピクチャパラメータセットがピクチャ幅の値、ピクチャ高さの値、およびコンフォーマンスウインドウの値を含み、前記第２のピクチャパラメータセットがピクチャ幅の値、ピクチャ高さの値、およびコンフォーマンスウインドウの値を含み、前記ピクチャ幅の前記値および前記ピクチャ高さの前記値がルーマサンプルの単位で測定され、前記第１のピクチャパラメータセットの前記ピクチャ幅の前記値が前記第２のピクチャパラメータセットの前記ピクチャ幅の前記値と同じであり、前記第１のピクチャパラメータセットの前記ピクチャ高さの前記値が前記第２のピクチャパラメータセットの前記ピクチャ高さの前記値と同じである場合、前記第１のピクチャパラメータセットの前記コンフォーマンスウインドウの前記値が前記第２のピクチャパラメータセットの前記コンフォーマンスウインドウの前記値と同じに制約される、受信することと、
    前記第１のピクチャパラメータセットまたは前記第２のピクチャパラメータセットに対応する現ピクチャに前記コンフォーマンスウインドウを適用することと
    を行わせるように構成される、プロセッサと
    を備えるデコーディングデバイス。
  13. 前記コンフォーマンスウインドウが、コンフォーマンスウインドウ左側オフセット、コンフォーマンスウインドウ右側オフセット、コンフォーマンスウインドウ上側オフセット、およびコンフォーマンスウインドウ下側オフセットを有する、請求項１２に記載のデコーディングデバイス。
  14. 前記プロセッサがさらに、前記命令を実行して、前記デコーディングデバイスに、前記第１のピクチャパラメータセットまたは前記第２のピクチャパラメータセットに対応する前記現ピクチャを、前記コンフォーマンスウインドウが適用された後にインター予測を用いてデコードさせるように構成され、前記インター予測はリサンプリングされた参照ピクチャに基づいている、請求項１２または１３に記載のデコーディングデバイス。
  15. 前記デコーディングデバイスがさらに、前記現ピクチャに基づいて生成された画像を表示するように構成されたディスプレイを備える、請求項１３または１４に記載のデコーディングデバイス。
  16. エンコーディングデバイスであって、
    命令を含むメモリと、
    前記メモリに結合されたプロセッサであって、前記プロセッサは前記命令を実施して前記エンコーディングデバイスに、
    それぞれ同じシーケンスパラメータセットを参照する第１のピクチャパラメータセットおよび第２のピクチャパラメータセットを生成することであって、前記第１のピクチャパラメータセットがピクチャ幅の値、ピクチャ高さの値、およびコンフォーマンスウインドウの値を含み、前記第２のピクチャパラメータセットがピクチャ幅の値、ピクチャ高さの値、およびコンフォーマンスウインドウの値を含み、前記ピクチャ幅の前記値および前記ピクチャ高さの前記値がルーマサンプルの単位で測定され、前記第１のピクチャパラメータセットの前記ピクチャ幅の前記値が前記第２のピクチャパラメータセットの前記ピクチャ幅の前記値と同じであり、前記第１のピクチャパラメータセットの前記ピクチャ高さの前記値が前記第２のピクチャパラメータセットの前記ピクチャ高さの前記値と同じである場合、前記第１のピクチャパラメータセットの前記コンフォーマンスウインドウの前記値が前記第２のピクチャパラメータセットの前記コンフォーマンスウインドウの前記値と同じに制約される、生成することと、
    前記第１のピクチャパラメータセットおよび前記第２のピクチャパラメータセットを映像ビットストリームにエンコードすることと
    を行わせるように構成される、プロセッサと、
    前記プロセッサに結合された送信機であって、前記送信機は前記第１のピクチャパラメータセットおよび前記第２のピクチャパラメータセットを含む前記映像ビットストリームを映像デコーダに送信するように構成される、送信機と
    を備えるエンコーディングデバイス。
  17. 前記コンフォーマンスウインドウが、コンフォーマンスウインドウ左側オフセット、コンフォーマンスウインドウ右側オフセット、コンフォーマンスウインドウ上側オフセット、およびコンフォーマンスウインドウ下側オフセットを有する、請求項１６に記載のエンコーディングデバイス。
  18. デコードするビットストリームを受信するように構成された受信機と、
    前記受信機に結合された送信機であって、前記送信機はデコード画像をディスプレイに送信するように構成される、送信機と、
    前記受信機または前記送信機のうちの少なくとも一方に結合されたメモリであって、前記メモリは命令を格納するように構成される、メモリと、
    前記メモリに結合されたプロセッサであって、前記プロセッサは前記メモリに格納された前記命令を実行して、請求項１から８のいずれか一項に記載の方法を行うように構成される、プロセッサと
    を備えるデコーディング装置。
  19. 前記デコーディング装置がさらに、画像を表示するように構成されたディスプレイを備える、請求項１８に記載のデコーディング装置。
  20. エンコードするピクチャを受信するように構成された受信機と、
    前記受信機に結合された送信機であって、前記送信機はビットストリームをデコーダに送信するように構成される、送信機と、
    前記受信機または前記送信機のうちの少なくとも一方に結合されたメモリであって、前記メモリは命令を格納するように構成される、メモリと、
    前記メモリに結合されたプロセッサであって、前記プロセッサは前記メモリに格納された前記命令を実行して、請求項９から１１のいずれか一項に記載の方法を行うように構成される、プロセッサと
    を備えるエンコーディング装置。
  21. エンコーダと、
    前記エンコーダと通信するデコーダと
    を備えるシステムであって、前記デコーダは、請求項１２から１５のいずれか一項に記載のデコーディングデバイスまたは請求項１８から１９のいずれか一項に記載のデコーディング装置を含み、前記エンコーダは、請求項１６から１７のいずれか一項に記載のエンコーディングデバイスまたは請求項２０に記載のエンコーディング装置を含む、システム。
  22. デコーディングのための手段であって、
    デコードするビットストリームを受信するように構成された受信手段と、
    前記受信手段に結合された送信手段であって、前記送信手段はデコード画像を表示手段に送信するように構成される、送信手段と、
    前記受信手段または前記送信手段のうちの少なくとも一方に結合された記憶手段であって、前記記憶手段は命令を格納するように構成される、記憶手段と、
    前記記憶手段に結合された処理手段であって、前記処理手段は前記記憶手段に格納された前記命令を実行して、請求項１から８のいずれか一項に記載の方法を行うように構成される、処理手段と
    を備えるデコーディングのための手段。
  23. エンコーディングのための手段であって、
    エンコードするピクチャを受信するように構成された受信手段と、
    前記受信手段に結合された送信手段であって、前記送信手段はビットストリームをデコーディング手段に送信するように構成される、送信手段と、
    前記受信手段または前記送信手段のうちの少なくとも一方に結合された記憶手段であって、前記記憶手段は命令を格納するように構成される、記憶手段と、
    前記記憶手段に結合された処理手段であって、前記処理手段は前記記憶手段に格納された前記命令を実行して、請求項９から１１のいずれか一項に記載の方法を行うように構成される、処理手段と
    を備えるエンコーディングのための手段。
  24. コンピュータに、請求項１から８のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。
  25. コンピュータに、請求項９から１１のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。
JP2022500788A 2019-07-08 2020-07-07 映像符号化における参照ピクチャリサンプリング用の複数のピクチャサイズおよびコンフォーマンスウインドウの処理 Active JP7477248B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962871493P 2019-07-08 2019-07-08
US62/871,493 2019-07-08
PCT/US2020/041026 WO2020215101A1 (en) 2019-07-08 2020-07-07 Handling of multiple picture size and conformance windows for reference picture resampling in video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024065997A Division JP2024102105A (ja) 2019-07-08 2024-04-16 映像符号化における参照ピクチャリサンプリング用の複数のピクチャサイズおよびコンフォーマンスウインドウの処理

Publications (2)

Publication Number Publication Date
JP2022540429A JP2022540429A (ja) 2022-09-15
JP7477248B2 true JP7477248B2 (ja) 2024-05-01

Family

ID=72837706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022500788A Active JP7477248B2 (ja) 2019-07-08 2020-07-07 映像符号化における参照ピクチャリサンプリング用の複数のピクチャサイズおよびコンフォーマンスウインドウの処理

Country Status (19)

Country Link
US (2) US11785220B2 (ja)
EP (2) EP3977723B9 (ja)
JP (1) JP7477248B2 (ja)
KR (1) KR20220025017A (ja)
CN (6) CN115037945B (ja)
AU (1) AU2020259509A1 (ja)
BR (1) BR112022000292A2 (ja)
CA (1) CA3146230A1 (ja)
CL (1) CL2022000041A1 (ja)
DK (1) DK3977723T3 (ja)
ES (1) ES2974627T3 (ja)
FI (1) FI3977723T3 (ja)
HU (1) HUE065468T2 (ja)
MX (1) MX2022000333A (ja)
NZ (1) NZ784015A (ja)
PL (1) PL3977723T3 (ja)
PT (1) PT3977723T (ja)
WO (1) WO2020215101A1 (ja)
ZA (1) ZA202200186B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PT3970363T (pt) * 2019-05-15 2023-06-15 Huawei Tech Co Ltd Utilização da ferramenta de codificação de fluxo ótico bidirecional (bio) para reamostragem de imagem de referência na codificação de vídeo
MX2021013978A (es) * 2019-05-15 2022-04-01 Huawei Tech Co Ltd Un codificador, un decodificador y metodos correspondientes.
AU2020352589B2 (en) * 2019-09-24 2024-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder and decoder, encoding method and decoding method for reference picture resampling extensions
US11317093B2 (en) * 2019-09-24 2022-04-26 Tencent America LLC Method for reference picture resampling with offset in video bitstream
BR112022019770A2 (pt) 2020-03-30 2022-11-16 Bytedance Inc Método de processamento de vídeo, aparelho para processar dados de vídeo, meios de armazenamento e de gravação não transitórios legíveis por computador
US20230217017A1 (en) * 2022-01-05 2023-07-06 Nokia Technologies Oy Method, An Apparatus and a Computer Program Product for Implementing Gradual Decoding Refresh
US11954775B2 (en) * 2022-02-23 2024-04-09 International Business Machines Corporation Artboard element positioning in a series of computer-based artboards

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150304666A1 (en) 2014-04-18 2015-10-22 Qualcomm Incorporated Conformance window information in multi-layer coding

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2829335A1 (en) * 2011-03-10 2012-09-13 Vidyo, Inc. Parameter set maintenance in video coding
US9131245B2 (en) * 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
CN104919803B (zh) * 2013-01-15 2017-09-12 华为技术有限公司 一种用于解码视频比特流的方法
SG10201913551WA (en) * 2013-04-07 2020-03-30 Dolby Int Ab Signaling change in output layer sets
US9756335B2 (en) * 2013-07-02 2017-09-05 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
US9641862B2 (en) * 2013-10-15 2017-05-02 Nokia Technologies Oy Video encoding and decoding
JP6542201B2 (ja) * 2014-04-25 2019-07-10 シャープ株式会社 画像復号装置および画像復号方法
WO2017118199A1 (zh) * 2016-01-07 2017-07-13 华为技术有限公司 一种数据调度方法、基站及***
FI20165114A (fi) * 2016-02-17 2017-08-18 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
EP3249928A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
EP3900346A4 (en) 2018-12-31 2022-05-18 Huawei Technologies Co., Ltd. ADAPTIVE RESOLUTION CHANGE SUPPORT IN VIDEO ENCODING

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150304666A1 (en) 2014-04-18 2015-10-22 Qualcomm Incorporated Conformance window information in multi-layer coding
JP2017517185A (ja) 2014-04-18 2017-06-22 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ マルチレイヤコーディングにおける適合ウィンドウ情報

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHANG, Tsui-Shan et al.，AHG8: Support for Reference Picture Resampling - Handling of Resampling, TMVP, DMVR, and BDOF，JVET-O0134 (version 2)，ITU，2019年06月30日，pp.1-4，[online]，[retrieved on 2023-04-11]，Retrieved from the Internet: <URL: https://jvet-experts.org/doc_end_user/documents/15_Gothenburg/wg11/JVET-O0134-v2.zip>
CHEN, P. et al.，AHG8: Integrated Specification Text for Reference Picture Resampling，JVET-O1164 (version 1)，ITU，2019年07月09日，pp.35, 81-83，[online]，[retrieved on 2023-10-17]，Retrieved from the Internet: <URL: https://jvet-experts.org/doc_end_user/documents/15_Gothenburg/wg11/JVET-O1164-v1.zip>，JVET-O1164_JVET-N1001-v9-RPR-v1.docx
HENDRY et al.，AHG8: Support for Reference Picture Resampling - Handling of Picture Size Signalling, Conformance Windows, and DPB Management，JVET-0133 (version 2)，ITU，2019年06月30日，pp.1-3，[online]，[retrieved on 2023-04-10]，Retrieved from the Internet: <URL: https://jvet-experts.org/doc_end_user/documents/15_Gothenburg/wg11/JVET-O0133-v2.zip>，JVET-O0133-v2.docx
HENDRY et al.，AHG8: Support for Reference Picture Resampling - Handling of Picture Size Signalling, Conformance Windows, and DPB Management，JVET-O0133 (version 2)，ITU，2019年06月30日，pp.1, 35-37, 73, 74, 81, 82，[online]，[retrieved on 2023-04-10]，Retrieved from the Internet: <URL: https://jvet-experts.org/doc_end_user/documents/15_Gothenburg/wg11/JVET-O0133-v2.zip>，JVET-O0133-v2_SpecText.docx
SAMUELSSON, J. et al.，AHG8: Adaptive Resolution Change (ARC) High-Level Syntax (HLS)，JVET-O0204 (version 3)，ITU，2019年07月05日，pp.1-6，[online]，[retrieved on 2023-10-17]，Retrieved from the Internet: <URL: https://jvet-experts.org/doc_end_user/documents/15_Gothenburg/wg11/JVET-O0204-v3.zip>，JVET-O0204-v3.docx

Also Published As

Publication number Publication date
CN114026848B (zh) 2023-03-24
PL3977723T3 (pl) 2024-04-22
EP3977723B9 (en) 2024-06-26
US20230421772A1 (en) 2023-12-28
CN114026848A (zh) 2022-02-08
FI3977723T3 (fi) 2024-03-13
MX2022000333A (es) 2022-03-17
ZA202200186B (en) 2022-10-26
CL2022000041A1 (es) 2022-08-26
CA3146230A1 (en) 2020-10-22
ES2974627T3 (es) 2024-06-28
WO2020215101A1 (en) 2020-10-22
CN116419000A (zh) 2023-07-11
CN115037945B (zh) 2023-04-04
AU2020259509A1 (en) 2022-02-03
KR20220025017A (ko) 2022-03-03
CN116347101A (zh) 2023-06-27
CN115037945A (zh) 2022-09-09
US20220159262A1 (en) 2022-05-19
PT3977723T (pt) 2024-03-11
DK3977723T3 (da) 2024-03-11
JP2022540429A (ja) 2022-09-15
EP3977723A4 (en) 2022-08-10
HUE065468T2 (hu) 2024-05-28
EP3977723B1 (en) 2024-01-10
CN116347100A (zh) 2023-06-27
US11785220B2 (en) 2023-10-10
BR112022000292A2 (pt) 2022-02-22
CN116634169A (zh) 2023-08-22
EP3977723A1 (en) 2022-04-06
NZ784015A (en) 2024-03-22
EP4221227A1 (en) 2023-08-02

Similar Documents

Publication Publication Date Title
JP7477248B2 (ja) 映像符号化における参照ピクチャリサンプリング用の複数のピクチャサイズおよびコンフォーマンスウインドウの処理
JP2024071388A (ja) ビデオコーディングにおけるピクチャーヘッダーのシグナリング
JP7384929B2 (ja) 映像コーディングにおける参照ピクチャリサンプリングに対する双方向オプティカルフロー（ｂｉｏ）コーディングツールの取扱い
CN115314708B (zh) 视频码流的解码方法及对应的设备及介质
CN114845117B (zh) 视频编解码器实现的编解码方法及编解码设备
US20220094954A1 (en) Inter Coding in Video Coding with the Support of Multiple Layers
US20220086432A1 (en) Reference Picture Management In Layered Video Coding
RU2817618C2 (ru) Обработка множества размеров изображения и окон соответствия для передискретизации опорного изображения при кодировании видео
JP2024102105A (ja) 映像符号化における参照ピクチャリサンプリング用の複数のピクチャサイズおよびコンフォーマンスウインドウの処理

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240416

R150 Certificate of patent or registration of utility model

Ref document number: 7477248

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150