JP6825506B2 - 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム - Google Patents

動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム Download PDF

Info

Publication number
JP6825506B2
JP6825506B2 JP2017140067A JP2017140067A JP6825506B2 JP 6825506 B2 JP6825506 B2 JP 6825506B2 JP 2017140067 A JP2017140067 A JP 2017140067A JP 2017140067 A JP2017140067 A JP 2017140067A JP 6825506 B2 JP6825506 B2 JP 6825506B2
Authority
JP
Japan
Prior art keywords
block
prediction
moving image
component
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017140067A
Other languages
English (en)
Other versions
JP2019022120A (ja
Inventor
三好　秀誠
秀誠 三好
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017140067A priority Critical patent/JP6825506B2/ja
Priority to US16/032,606 priority patent/US10652549B2/en
Publication of JP2019022120A publication Critical patent/JP2019022120A/ja
Application granted granted Critical
Publication of JP6825506B2 publication Critical patent/JP6825506B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、例えば、符号化対象ピクチャを他のピクチャの情報を用いて符号化する動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム、ならびに、他のピクチャの情報を用いて符号化されたピクチャを復号する動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラムに関する。
動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを符号化することにより圧縮する。代表的な動画像の符号化標準として、Advanced Video Coding（MPEG-4 AVC|ITU-T H.264）及びHigh Efficiency Video Coding（HEVC|ITU-T H.265）が策定されている（例えば、非特許文献１を参照）。
このような符号化標準では、符号化対象のピクチャはブロックごとに分割される。そして符号化対象ブロックごとに、既に符号化された他のピクチャまたは符号化対象ピクチャの符号化済みの領域から予測ブロックが生成され、符号化対象ブロックと予測ブロック間の差分を符号化することで冗長性が削減される。
また、このような符号化標準では、予測ブロックを生成する際に、既に符号化された他のピクチャを復号して得られる参照ピクチャ（局所復号ピクチャとも呼ばれる）を用いるインター予測符号化方式が採用されている。インター予測符号化方式では、符号化対象ブロックに対して、ピクチャ間での動きを補償するために、参照ピクチャから最も類似している領域が、参照ブロックとして求められる。そして参照ブロックに基づいて予測ブロックが生成される。インター予測符号化方式は、一般に、符号化対象ピクチャの符号化済みの領域から予測ブロックを生成するイントラ予測符号化方式の圧縮効率よりも高い圧縮効率を達成することができる。
インター予測符号化方式には、二つの参照ブロックを用いて一つの予測ブロックを生成する双方向予測(Bi-predictive prediction)モードと、一つの参照ブロックを用いて予測ブロックを生成する片方向予測モードとが含まれる。双方向予測モードで用いられる二つの参照ブロックの一方は、表示時間順で符号化対象ピクチャよりも前の参照ピクチャに含まれ、他方の参照ブロックは、表示時間順で符号化対象ピクチャよりも後の参照ピクチャに含まれてもよい。また、二つの参照ピクチャとも、表示時間順で符号化対象ピクチャよりも前の二つの異なる参照ピクチャに含まれてもよく、あるいは、表示時間順で符号化対象ピクチャよりも後の二つの異なる参照ピクチャに含まれてもよい。双方向予測モードを用いることで、動画像符号化装置は、参照ブロックに含まれる撮像ノイズ及び符号化ノイズの影響が軽減され、より精度の高い予測ブロックを作成することができる。そのため、結果として符号化効率が向上する。また、片方向予測モードでは、動画像符号化装置は、双方向予測モードで用いる二つの参照ブロックのうちどちらか一方を用いて予測ブロックを生成することができ、例えばHEVCでは、それぞれL0予測、L1予測と呼ばれる。L0予測及びL1予測は、参照ピクチャが一つしかない場合、あるいは、一方の参照ピクチャに、参照ブロックとなるべき、符号化対象ブロックに類似した領域が存在しない場合などに用いられる。
MPEG-4 AVCまたはHEVCといった符号化標準では、これらのインター予測符号化方式を効率よく適用するとともに、ピクチャ間での符号化による誤差の伝搬を抑制するため、Iピクチャ、Pピクチャ、Bピクチャの三種類のピクチャタイプが導入される。Iピクチャは、インター予測符号化方式とイントラ予測符号化方式のうちのイントラ予測符号化方式のみを用いて符号化されるピクチャである。Pピクチャは、片方向予測モード(L0/L1予測)もしくはイントラ予測符号化方式を用いて符号化されるピクチャである。そしてBピクチャは、イントラ予測符号化方式、片方向予測モード、及び双方向予測モードの何れかを用いて符号化されるピクチャである。なお、Pピクチャ及びBピクチャにおいては、適用可能な符号化方式及び予測モードのうちの何れを用いるかは、ブロックごとに切り替え可能である。
また、動画像データがカラー映像である場合、各ピクチャの画素の値は、例えば、輝度成分と、二つの色差成分のセットで表される。そのため、動画像符号化装置が動画像データを符号化する場合、例えば、輝度成分だけでなく、二つの色差成分のそれぞれも符号化する。その際、輝度成分と二つの色差成分間には、一般に相関性がある。そこで、HEVCでは、動画像符号化装置が輝度成分及び二つの色差成分のそれぞれについてインター予測符号化する場合、着目するブロックについて、輝度成分で算出された動きベクトルを二つの色差成分のそれぞれに適用してもよいことが規定されている。また、輝度成分で決定したブロックの分割モードを、二つの色差成分のそれぞれに適用してもよいことが規定されている（例えば、非特許文献１のセクション8.5.3.2.9）。
ITU-T Recommendation H.265 | ISO/IEC 23008-2 "High Efficiency Video Coding"、2013年4月
上記のように、Bピクチャにおいて、適用可能な予測モードはブロック単位で切り替え可能となっている。そのため、二つの参照ブロックの一方にのみ写る被写体（以下、説明の便宜上、障害物と呼ぶ）が含まれている場合、双方向予測モードによって生成された予測ブロックには障害物の情報が含まれることになる。例えば、HEVCでは、双方向予測モードにおいて、二つの参照ブロックの対応画素ごとに、画素値の重み付け平均値を予測ブロックの対応画素の値として算出することで予測ブロックが生成される。そのため、片方の参照ブロックに障害物が含まれる場合には、障害物が写っている画素について、障害物を表す画素値と障害物が無い場合の画素値（例えば、障害物の後ろに存在する物体を表す画素値）の重み付け平均値が予測ブロックの対応画素の画素値となる。したがって、符号化対象ブロックに障害物が含まれるか否かにかかわらず、生成された予測ブロックは、精度が不十分な予測ブロックとなる。
一つの側面では、本発明は、予測ブロックにおける、符号化対象ブロックに対する予測精度を向上できる動画像符号化装置を提供することを目的とする。
一つの実施形態によれば、動画像データに含まれる、符号化対象ピクチャを符号化する動画像符号化装置が提供される。この動画像符号化装置は、符号化対象ピクチャが分割された複数のブロックのうち、画素値の第１の成分について双方向予測モードを適用して生成された第１の予測ブロックを参照して符号化された第１のブロックについて、第１の予測ブロックと第１のブロックの対応画素間の第１の成分についての差分値に基づいて、画素値の第２の成分について片方向予測モードを適用する部分領域を判定する領域判定部と、第１のブロックのうちの部分領域に対して片方向予測モードを適用し、かつ第１のブロックのうちの部分領域以外の領域に対して双方向予測モードを適用して第２の成分についての第２の予測ブロックを生成する予測ブロック生成部と、第２の成分について第１のブロックと第２の予測ブロックの対応画素間の予測誤差を算出し、予測誤差を符号化する符号化部とを有する。
また他の実施形態によれば、符号化された動画像データに含まれる復号対象ピクチャを復号する動画像復号装置が提供される。この動画像復号装置は、復号対象ピクチャを分割した複数のブロックのうち、画素値の第１の成分について双方向予測モードが適用された第１のブロックについて、画素値の第２の成分について片方向予測モードを適用する部分領域を判定する領域判定部と、第１のブロックのうちの部分領域に対して片方向予測モードを適用し、かつ第１のブロックのうちの部分領域以外の領域に対して双方向予測モードを適用して第２の成分についての予測ブロックを生成する予測ブロック生成部と、符号化された動画像データに含まれる、第１のブロックと予測ブロックの対応画素間の第２の成分についての予測誤差に、予測ブロックの対応画素の値を加算することで第１のブロックの各画素の第２の成分を復号する復号部とを有する。
一つの側面では、予測ブロックにおける、符号化対象ブロックに対する予測精度を向上できる。
二つの参照ブロック、予測ブロック及び符号化対象ブロックの一例を示す図である。 一つの実施形態に係る動画像符号化装置の概略構成図である。 HEVCによる、ピクチャの分割の一例を示す図である。 予測ブロック生成部のブロック図である。 オクルージョンPUについての、L0予測ブロック、L1予測ブロック及び予測ブロックの一例を示す図である。 動画像符号化処理の動作フローチャートである。 動画像符号化処理の動作フローチャートである。 動画像復号装置の概略構成図である。 予測ブロック生成部のブロック図である。 動画像復号処理の動作フローチャートである。 変形例による、オクルージョン領域判定の一例を示す図である。 変形例による、予測方向決定の一例を示す図である。 実施形態またはその変形例による動画像符号化装置または動画像復号装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置または動画像復号装置として動作するコンピュータの構成図である。
以下、図を参照しつつ、一つの実施形態による、動画像符号化装置について説明する。
最初に、双方向予測モードが適用される場合において、二つの参照ブロックの一方に障害物が含まれる場合に生成される予測ブロックについて説明する。
図１は、二つの参照ブロック、予測ブロック及び符号化対象ブロックの一例を示す図である。この例では、参照ブロックであるL0予測ブロック１０１及びL1予測ブロック１０２のうち、L1予測ブロック１０２の右上付近に障害物１１０が写っており、障害物１１０によるオクルージョンが生じる。その結果、L0予測ブロック１０１及びL1予測ブロック１０２から生成される予測ブロック１０３においても、右上付近の画素の値が障害物１１０に影響される。そのため、符号化対象ブロック１０４と予測ブロック１０３とを比較すると、障害物１１０に影響された各画素について、画素値の差が大きくなってしまう。その結果として、符号化対象ブロック１０４についての符号化効率が低下する。このような場合、片方向予測モードにより、二つの参照ブロックのうち、より符号化対象ブロック１０４に類似するL0予測ブロック１０１に基づいて予測ブロックを生成することも考えられる。しかし、一般に、双方向予測モードの方が片方向予測モードよりも予測精度が高い予測ブロックを生成できる。そのため、障害物１１０が含まれない領域では、片方向予測モードを用いて生成された予測ブロックよりも、予測ブロック１０３の方が、符号化対象ブロック１０４に類似する可能性が高い。
そこで、本実施形態では、動画像符号化装置は、双方向予測モードが適用される符号化対象ブロックについて、画素値の一つの成分（例えば、輝度成分）について算出された予測誤差が大きい部分領域が含まれるか否か判定する。そして予測誤差が大きい部分領域が含まれる場合、動画像符号化装置は、画素値の他の成分（例えば、色差成分）に関する符号化対象ブロック内のその部分領域については片方向予測モードを適用して予測ブロックを生成する。
なお、ピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。
本実施形態では、動画像データに含まれるピクチャの各画素の値は、YUV表色系で表されるものとする。すなわち、ピクチャの各画素の値は、輝度(Y)成分と二つの色差(U,V)成分とを含む。また各ピクチャは、4:4:4フォーマットで表されるものとする。しかし、各ピクチャは、4:2:2フォーマットまたは4:2:0フォーマットで表されてもよい。4:2:2フォーマットまたは4:2:0フォーマットが適用される場合には、輝度成分についてのピクチャ上に設定されるブロックに対応する各色差成分のブロックは、輝度成分のピクチャサイズと色差成分のピクチャサイズとの比に応じて縮小されるものとする。
また本実施形態では、動画像符号化装置は、HEVCに準拠して動画像データを符号化するものとする。しかし、動画像符号化装置は、双方向予測モードを適用可能な他の符号化標準に準拠して動画像データを符号化してもよい。
図２は、一つの実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、動き探索部１１と、符号化モード判定部１２と、予測ブロック生成部１３と、予測符号化部１４と、復号部１５と、記憶部１６と、エントロピー符号化部１７とを有する。
動画像符号化装置１が準拠するHEVCでは、動画像データに含まれる各ピクチャは複数の段階で分割される。そこで先ず、HEVCにおける、ピクチャの分割について説明する。
図３は、HEVCによる、ピクチャの分割の一例を示す図である。図３に示されるように、ピクチャ３００は、符号化処理の単位であるCoding Tree Unit(CTU)単位で分割され、各CTU３０１は、ラスタスキャン順に符号化される。CTU３０１のサイズは、64x64〜16x16画素の中から選択できる。
CTU３０１は、さらに、四分木構造で複数のCoding Unit（CU）３０２に分割される。一つのCTU３０１内の各CU３０２は、Zスキャン順に符号化される。CU３０２のサイズは可変であり、そのサイズは、CU分割モード8x8〜64x64画素の中から選択される。CU３０２は、符号化モードであるイントラ予測符号化方式とインター予測符号化方式を選択する単位となる。
CU３０２は、Prediction Unit（PU）３０３単位またはTransform Unit（TU）３０４単位で個別に処理される。PU３０３は、符号化モードに応じた予測が行われる、予測ブロックの生成単位となる。例えば、PU３０３は、イントラ予測符号化方式では、予測ブロックの生成の際に参照される画素及び予測ブロックの生成方法を規定する予測モードが適用される単位となる。一方、インター予測符号化方式では、PU３０３は、動き補償を行う単位となる。PU３０３のサイズは、例えば、インター予測符号化方式が適用される場合、2Nx2N, NxN, 2NxN, Nx2N, 2NxU, 2NxnD, nRx2N, nLx2N（Nは、CUサイズ/2）の中から選択可能である。一方、TU３０４は、直交変換の単位であり、TUごとに直交変換される。TU３０４のサイズは、4x4画素〜32x32画素の中から選択される。TU３０４は、四分木構造で分割され、Zスキャン順に処理される。なお、CU及びPUは、符号化対象ブロックの一例である。
動画像符号化装置１は、符号化対象のピクチャについて、各CTUをラスタスキャン順に符号化する。そこで、以下では、動画像符号化装置１の各部について、一つのCTUに対する処理を例として説明する。
動き探索部１１は、輝度成分に関して、符号化対象CTUを含む符号化対象ピクチャがインター予測符号化方式が適用可能なPピクチャまたはBピクチャである場合、符号化対象CTUについて適用可能なPUごとに動きベクトルを算出する。なお、輝度成分は、第１の成分の一例である。また、符号化対象ピクチャの種別は、例えば、制御部（図示せず）が符号化対象の動画像データに適用するGroup Of Pictures(GOP)の構造及び符号化対象ピクチャのGOP内での位置に基づいて決定される。
動き探索部１１は、符号化対象CTUの着目するPUについて、少なくとも一つの局所復号ピクチャのそれぞれについての参照可能な領域に対してブロックマッチングを行って、着目するPUと最も一致する参照ブロックを特定する。そして動き探索部１１は、着目するPUと参照ブロック間の移動量を表すベクトルを動きベクトルとして算出する。なお、動き探索部１１は、符号化対象ピクチャがBピクチャである場合、L0予測とL1予測の両方について動きベクトルを算出する。動き探索部１１は、各PUの動きベクトル及びその動きベクトルで参照される局所復号ピクチャを表す情報を、記憶部１６に記憶するとともに、符号化モード判定部１２へ通知する。
符号化モード判定部１２は、輝度成分について、符号化対象CTUを分割するCU、PU及びTUの分割モード及びCUごとに適用される符号化モードを決定する。符号化モード判定部１２は、例えば、図示しない制御部から取得した、符号化対象CTUが含まれる符号化対象のピクチャのタイプを示す情報に基づいて、そのCTUに適用可能な符号化モードを決定する。そして符号化モード判定部１２は、適用可能な符号化モードの中から、実際に適用する符号化モードを選択する。符号化対象のピクチャのタイプがイントラ予測符号化方式のみが適用可能なIピクチャであれば、符号化モード判定部１２は、適用される符号化モードとしてイントラ予測符号化方式を選択する。また、符号化対象のピクチャのタイプが、PピクチャまたはBピクチャであれば、符号化モード判定部１２は、例えば、適用される符号化モードとして、インター予測符号化方式及びイントラ予測符号化方式の何れかを選択する。
符号化モード判定部１２は、適用可能な符号化モードについての符号化対象CTUの符号化されたデータ量の評価値である符号化コストをCU単位でそれぞれ算出する。例えば、符号化モード判定部１２は、インター予測符号化方式については、CTUを分割するCU分割モード、PU分割モード及び動きベクトルの予測ベクトルの生成方法を規定するベクトルモードの組み合わせごとに符号化コストを算出する。なお、符号化モード判定部１２は、ベクトルモードとして、例えば、Adaptive Motion Vector Prediction(AMVP)モード、及び、Mergeモードの何れかを利用できる。
また、イントラ予測符号化方式については、符号化モード判定部１２は、CTUを分割するCU分割モード、PU分割モード及びピクチャ内での参照方向を規定する予測モードの組み合わせごとに符号化コストを算出する。
符号化モード判定部１２は、符号化コストを算出するために、例えば、着目するPUについて、次式に従って、予測誤差、すなわち画素差分絶対値和SADを算出する。
SAD=Σ|OrgPixel-PredPixel|
ここで、OrgPixelは着目するPUに含まれる画素の値であり、PredPixelは着目するブロックに対応する、符号化コストの算出対象となる符号化モードに従って生成された予測ブロックに含まれる画素の値である。
そして符号化モード判定部１２は、例えば、次式に従って、着目するCUについての符号化コストCostを算出する。
Cost=ΣSAD + λ*B
ここで、ΣSADは、着目するCUに含まれる各PUについて算出されたSADの総和である。またBは、動きベクトル、予測モードを表すフラグなど、予測誤差以外の項目についての符号量の推定値である。そしてλはラグランジュの未定乗数である。
なお、符号化モード判定部１２は、SADの代わりに、着目するPUと予測ブロックとの差分画像をアダマール変換した後の各画素のアダマール係数の絶対値和SATDを算出してもよい。
符号化モード判定部１２は、符号化対象CTUについて、例えば、取り得るCUサイズの中でサイズが大きい方から順に着目するCUを設定する。そして符号化モード判定部１２は、着目するCUについて、イントラ予測符号化方式に関してそのCU内のPU分割モードごとにコストが最小となる予測モードを選択する。また、符号化モード判定部１２は、着目するCUについて、インター予測符号化方式に関してそのCU内のPU分割モードごとにコストが最小となるベクトルモードを選択する。さらに、符号化モード判定部１２は、同サイズのCUごとに、イントラ予測符号化方式とインター予測符号化方式のうちで、符号化コストが小さい方を、そのCUについて適用する符号化モードとして選択する。
さらに、符号化モード判定部１２は、着目するCUを４分割したCUのそれぞれを、次に着目するCUとして、同様の処理を実行して、最小符号化コストを算出する。そして符号化モード判定部１２は、４分割したCUのそれぞれについて算出された、最小符号化コストの総和と、着目するCUについての最小符号化コストよりも小さければ、着目するCUを４分割する。符号化モード判定部１２は、各CUが分割されなくなるまで、上記の処理を繰り返すことで、符号化対象CTUに適用されるCU分割モード及びPU分割モードを決定する。
さらに、符号化モード判定部１２は、上記のようにして決定したCU分割モードに従ったCUごとに、TU分割モードを決定する。その際、符号化モード判定部１２は、適用可能なTU分割モードごとに、次式に従ってRDコストCostを算出する。
ここで、org(i)は、着目するCUに含まれる画素の値であり、ldec(i)は、着目するTU分割モードを用いてそのCUを符号化し、さらに復号して得られる復号画素の値を表す。またbitは、そのCUを着目するTU分割モードを用いて符号化したときの符号量を表す。（１）式の右辺の第一項は、符号化歪みを表し、右辺の第二項は符号量を表す。そのため、RDコストが最小となるTU分割モードでは、符号化歪みと符号量が最適なバランスとなっている。
そこで、符号化モード判定部１２は、RDコストCostが最小となるTU分割モードを選択する。
符号化モード判定部１２は、符号化対象CTUについて選択したCU及びPUの分割モード及び符号化モードの組み合わせを予測ブロック生成部１３に通知し、TU分割モードを予測符号化部１４へ通知する。また符号化モード判定部１２は、符号化対象CTUについて選択したCU、PU及びTUの分割モード及び符号化モードの組み合わせを記憶部１６に保存する。
予測ブロック生成部１３は、輝度成分及び各色差成分について、符号化対象CTUについて選択されたCU及びPUの分割モード及び符号化モードの組み合わせに従ってPUごとに予測ブロックを生成する。そして予測ブロック生成部１３は、生成された予測ブロックを予測符号化部１４へ渡す。
なお、予測ブロック生成部１３の詳細については後述する。
予測符号化部１４は、輝度成分及び二つの色差成分のそれぞれについて、符号化対象CTUを予測符号化する。なお、予測符号化部１４は、輝度成分及び二つの色差成分のそれぞれについて同じ処理を実行すればよいので、以下では、輝度成分に対する処理について説明する。
予測符号化部１４は、符号化対象CTU内の各画素について、予測ブロックの対応画素との差分演算を実行する。そして予測符号化部１４は、符号化対象CTU内の各TUについて、その差分演算により得られたTU内の各画素に対応する差分値を、そのTUの各画素の予測誤差信号とする。
さらに、予測符号化部１４は、インター予測符号化される各PUについて、符号化モード判定部１２により適用されると判定されたベクトルモードにしたがってそのPUの予測ベクトルの候補のリストを作成する。そして予測符号化部１４は、そのPUの動きベクトルと各予測ベクトルの候補間の予測誤差信号を算出する。予測符号化部１４は、インター予測符号化される各PUについて、各予測ベクトルの候補について算出された予測誤差信号に基づいて、各予測ベクトルの候補の中から予測ベクトルを決定する。そして予測符号化部１４は、各PUの動きベクトルについて、予測ベクトルの候補のリスト中で予測ベクトルを特定する情報、及び、動きベクトルと予測ベクトル間の予測誤差信号などをエントロピー符号化部１７へわたす。
また、予測符号化部１４は、符号化対象CTU内の各TUについて、そのTUの予測誤差信号を直交変換することで予測誤差信号の水平方向の周波数成分及び垂直方向の周波数成分を表す直交変換係数を求める。例えば、予測符号化部１４は、予測誤差信号に対して、直交変換処理として離散コサイン変換(Discrete Cosine Transform, DCT)を実行することにより、直交変換係数として、DCT係数の組を得る。
そして予測符号化部１４は、符号化対象CTUにおいて、TUごとの直交変換係数を、量子化幅を指定するqp値などを含む量子化パラメータに従って量子化することにより、量子化された直交変換係数を算出する。なお、以下では、量子化された直交変換係数を、単に量子化係数と呼ぶことがある。
予測符号化部１４は、量子化された直交変換係数を復号部１５及びエントロピー符号化部１７へ出力する。
復号部１５は、輝度成分及び二つの色差成分のそれぞれについて、符号化対象CTU内の各TUの量子化係数から、そのTUよりも後のCUなどを符号化するために参照される局所復号ブロックを生成し、その局所復号ブロックを記憶部１６に記憶する。なお、復号部１５は、輝度成分及び二つの色差成分のそれぞれについて同じ処理を実行すればよいので、以下では、輝度成分に対する処理について説明する。
復号部１５は、各TUの量子化された量子化係数を逆量子化することで、量子化前の直交変換係数を復元する。例えば、復号部１５は、TUごとに、復元された直交変換係数に対して逆直交変換を行う。例えば、予測符号化部１４が直交変換としてDCTを用いている場合、復号部１５は、逆直交変換として逆DCT処理を実行する。これにより、復号部１５は、TUごとに、符号化前の予測誤差信号と同程度の情報を有する予測誤差信号を復元する。
復号部１５は、TUごとに、そのTUの予測ブロックの各画素値に、復元された予測誤差信号を加算することで、局所復号ブロックを生成する。
復号部１５は、局所復号ブロックを生成する度に、その局所復号ブロックを記憶部１６に記憶させる。さらに、復号部１５は、双方向予測モードが適用されたPUについて、輝度成分についての復元された予測誤差信号を記憶部１６に記憶させる。
さらに、復号部１５は、１枚のピクチャ分の局所復号ブロックを各CTUの符号化順序にしたがって結合することで得られる局所復号ピクチャを記憶部１６に書き込む。
記憶部１６は、輝度成分及び各色差成分について、復号部１５から受け取った局所復号ブロックを一時的に記憶する。記憶部１６は、動き探索部１１、符号化モード判定部１２及び予測ブロック生成部１３に、局所復号ピクチャまたは局所復号ブロックを供給する。なお、記憶部１６は、符号化対象ピクチャが参照する可能性がある、予め定められた所定枚数分の局所復号ピクチャを記憶し、局所復号ピクチャの枚数がその所定枚数を超えると、符号化順序が古い局所復号ピクチャから順に破棄する。
さらに、記憶部１６は、インター予測符号化された局所復号ブロックのそれぞれについての動きベクトルを記憶する。さらにまた、記憶部１６は、各CTUについて選択したCU、PU及びTUの分割モード及び符号化モードの組み合わせを記憶する。さらにまた、記憶部１６は、双方向予測モードが適用されたPUについて、輝度成分についての予測誤差信号を記憶する。
エントロピー符号化部１７は、付加部の一例であり、輝度成分及び二つの色差成分のそれぞれについて、符号化対象CTUの各TUの量子化係数及び各種シンタックスなどをエントロピー符号化する。またエントロピー符号化部１７は、インター予測符号化される各PUについて、予測ベクトルの候補のリスト中で予測ベクトルを特定する情報などもエントロピー符号化する。なお、シンタックスには、後述するように、双方向予測モードと片方向予測モードとが混在するブロックか否かの判定に用いられる誤差閾値、及び、双方向予測モードが適用されるPU中で片方向予測モードが適用される部分領域の予測方向を表す情報が含まれる。
本実施形態では、エントロピー符号化部１７は、エントロピー符号化方式として、Context-based Adaptive Binary Arithmetic Coding(CABAC)といった算術符号化処理を用いる。そしてエントロピー符号化部１７は、エントロピー符号化により得られたビットストリームを出力する。
エントロピー符号化部１７により出力された各CTUのビットストリームは所定の順序で結合され、HEVCで規定されるヘッダ情報などを付加することで、符号化された動画像データを含む符号化ビットストリームが得られる。動画像符号化装置１は、その符号化ビットストリームを磁気記録媒体、光記録媒体あるいは半導体メモリなどを有する記憶装置（図示せず）に記憶するか、あるいはその符号化ビットストリームを他の機器へ出力する。
以下、予測ブロック生成部１３の詳細について説明する。
図４は、予測ブロック生成部１３のブロック図である。予測ブロック生成部１３は、ブロック単位予測部１３１と、オクルージョン領域判定部１３２と、参照方向判定部１３３と、部分領域単位予測部１３４とを有する。
ブロック単位予測部１３１は、符号化対象CTUの各PUの輝度成分、及び、双方向予測モードと片方向予測モードとが混在するPU以外の各PUについて、そのPUに適用される符号化モードに従って予測ブロックを生成する。
例えば、着目するPUがイントラ予測符号化される場合、ブロック単位予測部１３１は、そのPUについて選択された予測モードに従って参照される、そのPUの周囲の局所復号ブロック内の画素の値に基づいて予測ブロックを生成する。
一方、ブロック単位予測部１３１は、着目するPUがインター予測符号化される場合、記憶部１６から読み出した、そのPUについて参照される局所復号ピクチャを、そのPUについて算出された動きベクトルに基づいて動き補償することで予測ブロックを生成する。
オクルージョン領域判定部１３２は、動画像符号化装置１の領域判定部の一例である。オクルージョン領域判定部１３２は、符号化対象CTUにおいて、輝度成分に関して符号化モード判定部１２により双方向予測モードが適用されると判定されたPUについて、各色差成分について、片方向予測モードを適用する部分領域を判定する。なお、各色差成分は、第２の成分の一例である。
再度図１を参照すると、障害物１１０に影響された各画素について、輝度成分についての予測誤差信号が大きくなる。また、輝度成分のピクチャの画素と各色差成分のピクチャの対応画素には、同じ被写体が写っているので、輝度成分と二つの色差成分との間には相関があると考えられる。そのため、各色差成分についても、双方向予測モードを適用して予測ブロックを生成すると、障害物１１０に影響された各画素について予測誤差信号が大きくなると想定される。したがって、障害物１１０に影響された各画素の集合となる部分領域については、障害物１１０が写っているピクチャを参照せずに予測ブロックが生成されるように、片方向予測モードが適用されることが好ましい。
そこで、オクルージョン領域判定部１３２は、双方向予測モードが適用されたPUに含まれる画素ごとに、輝度成分についての予測ブロックの対応画素に対する復元された予測誤差信号の絶対値を、片方向予測モードを適用するか否かを判定するための所定の誤差閾値と比較する。なお、輝度成分についての予測ブロックは、符号化対象ピクチャに対してL0方向にある符号化済みの第１の参照ピクチャと、符号化対象ピクチャに対してL1方向にある符号化済みの第２の参照ピクチャとに基づいて、双方向予測モードに従って生成される。また、オクルージョン領域判定部１３２は、双方向予測モードが適用されたPUに含まれる各画素の輝度成分についての復元された予測誤差信号を、記憶部１６から読み込む。そしてオクルージョン領域判定部１３２は、予測誤差信号の絶対値が誤差閾値以上となる画素を抽出し、抽出された画素の集合である部分領域に、片方向予測モードを適用すると判定する。
なお、以下では、片方向予測モードが適用される部分領域を含むPUを、説明の便宜上、オクルージョンPUと呼ぶことがある。また、片方向予測モードが適用される部分領域をオクルージョン領域と呼ぶことがある。
また、所定の誤差閾値は、例えば、動画像符号化装置１と動画像復号装置の両方において同じ値に予め設定される。あるいは、所定の誤差閾値は、動画像符号化装置１により設定され、設定された誤差閾値を表す情報が動画像データの符号化ビットストリームに含められてもよい。この場合には、設定された誤差閾値を表す情報は、例えば、HEVCにおけるSequence Parameter Set(SPS)またはPicture Parameter Set(PPS)のようなハイレベルシンタックスに含められてもよく、あるいは、CUまたはPUのシンタックスに含められてもよい。そして設定された誤差閾値を表す情報も、エントロピー符号化部１７によりエントロピー符号化されて、符号化ビットストリームに含められればよい。
オクルージョン領域判定部１３２は、双方向予測モードが適用されるPUのうち、オクルージョン領域を含むPUを参照方向判定部１３３へ通知する。またオクルージョン領域判定部１３２は、双方向予測モードが適用されるPUのうち、オクルージョン領域を含まないPUを、ブロック単位予測部１３１へ通知する。
参照方向判定部１３３は、各色差成分について、L0方向とL1方向のうち、オクルージョン領域において参照する予測方向を決定する。例えば、参照方向判定部１３３は、着目する色差成分について、輝度成分に基づいて決定された、着目するPUについてのL0方向の動きベクトルを用いてL0予測ブロックを生成し、L1方向の動きベクトルを用いてL1予測ブロックを生成する。そして参照方向判定部１３３は、L0予測ブロックとL1予測ブロックのそれぞれについて、オクルージョン領域とその予測ブロック中の対応部分領域との間で対応画素ごとに着目する色差成分の差分絶対値を算出し、その差分絶対値和を算出する。参照方向判定部１３３は、着目する色差成分について、L0方向とL1方向のうち、差分絶対値和が小さい方の予測方向を、オクルージョン領域について参照する予測方向とする。
参照方向判定部１３３は、双方向予測モードが適用されたPUに含まれるオクルージョン領域及びオクルージョン領域についての予測方向を表す情報を部分領域単位予測部１３４及びエントロピー符号化部１７へ通知する。なお、オクルージョン領域についての予測方向を表す情報は、例えば、1bitのフラグ(例えば、'0'のとき、L0方向、'1'のとき、L1方向)とすることができる。
部分領域単位予測部１３４は、各色差成分について、オクルージョンPUについて、双方向予測モードと片方向予測モードの両方を用いて予測ブロックを生成する。
例えば、部分領域単位予測部１３４は、オクルージョンPUのうち、オクルージョン領域について、輝度成分について求められた各方向の動きベクトルのうち、参照する予測方向の動きベクトルを用いて予測ブロックを生成する。一方、部分領域単位予測部１３４は、オクルージョンPUのうち、オクルージョン領域以外の領域については、輝度成分について求められたL0方向及びL1方向の動きベクトルを用いて、双方向予測モードに従って予測ブロックを生成する。これにより、オクルージョンPUについては、オクルージョン領域については障害物が無い方の参照ピクチャを参照して予測ブロックが生成され、それ以外の領域については二つの参照ピクチャを参照して予測ブロックが生成される。そのため、オクルージョンPU全体に対して予測誤差が小さくなる適切な予測ブロックが生成される。
図５は、オクルージョンPUについての、L0予測ブロック、L1予測ブロック及び予測ブロックの一例を示す図である。この例では、参照ブロックであるL0予測ブロック５０１及びL1予測ブロック５０２のうち、L1予測ブロック５０２の右上付近に障害物が写っている領域５１０が含まれる。その結果、輝度成分について、オクルージョンPUと双方向予測モードで生成された予測ブロックの対応画素間の差分絶対値を表す差分画像５０３においても、領域５１０の各画素の予測誤差信号が大きくなるので、領域５１０がオクルージョン領域となる。そして、オクルージョン領域５１０においては、L0予測ブロック５０１の方がL1予測ブロック５０２よりも符号化対象ブロック（例えば、PU）５０４と類似しているので、オクルージョン領域５１０ではL0予測ブロックを用いた片方向予測モードが適用される。一方、オクルージョン領域５１０以外では、双方向予測モードが適用される。その結果、色差成分についての予測ブロック５０５では、オクルージョン領域５１０においても障害物の影響が排除され、予測ブロック５０５全体として、符号化対象ブロック５０４に対する予測誤差が小さくなる。
なお、符号化対象ブロック５０４において、オクルージョン領域５１０に障害物が写っている場合には、オクルージョン領域５１０についてL1予測ブロックを用いた片方向予測モードが適用されることになる。そのため、この場合も、予測ブロック全体に対して双方向予測モードが適用される場合よりも符号化対象ブロック５０４に対する予測誤差が小さい予測ブロックが生成される。
部分領域単位予測部１３４は、二つの色差成分のそれぞれについて、符号化対象CTUに含まれる各PUについて生成した予測ブロックを予測符号化部１４へわたす。
図６及び図７は、動画像符号化装置１により実行される、動画像符号化処理の動作フローチャートである。動画像符号化装置１は、CTUごとに以下に示される動作フローチャートに従って動画像符号化処理を実行する。
動き探索部１１は、輝度成分に関して、符号化対象CTU内のインター予測符号化方式を適用可能な各PUについて動きベクトルを算出する（ステップＳ１０１）。そして動き探索部１１は、各PUの動きベクトルを符号化モード判定部１２へ通知する。なお、符号化対象CTUが含まれる符号化対象ピクチャがBピクチャである場合には、L0方向及びL1方向のそれぞれについて動きベクトルを算出する。また、符号化対象ピクチャがIピクチャである場合には、ステップＳ１０１の処理は省略されてもよい。
符号化モード判定部１２は、輝度成分に基づいて、符号化対象CTUについて、CU、PU及びTUのそれぞれの分割モード、適用される符号化モードを決定する（ステップＳ１０２）。そして符号化モード判定部１２は、CU及びPUの分割モード、適用される符号化モードを予測ブロック生成部１３に通知するとともに、TU分割モードを予測符号化部１４に通知する。また、符号化モード判定部１２は、CU、PU及びTUのそれぞれの分割モード及び適用される符号化モードを記憶部１６に記憶する。
予測ブロック生成部１３のブロック単位予測部１３１は、輝度成分に関して、決定されたCU及びPUの分割モード、適用される符号化モードに応じて予測ブロックを生成する（ステップＳ１０３）。そして予測ブロック生成部１３は、生成した予測ブロックを予測符号化部１４へわたす。
予測符号化部１４は、輝度成分について、符号化対象CTUと予測ブロックの対応画素間の予測誤差信号を算出する（ステップＳ１０４）。そして予測符号化部１４は、輝度成分について、各画素の予測誤差信号をTUごとに直交変換することで、TUごとに直交変換係数を算出する（ステップＳ１０５）。さらに、予測符号化部１４は、輝度成分について、符号化対象CTUの各TUの直交変換係数を量子化して量子化係数を算出する（ステップＳ１０６）。そして予測符号化部１４は、各TUの量子化係数を復号部１５及びエントロピー符号化部１７へ出力する。
復号部１５は、輝度成分に関して、符号化対象CTUの各TUについての量子化係数から予測誤差信号を復元し、復元した予測誤差信号に基づいてそのCTUに対応する局所復号ブロックを生成する（ステップＳ１０７）。そして復号部１５は、局所復号ブロックを記憶部１６に記憶する。
図７を参照すると、予測ブロック生成部１３のオクルージョン領域判定部１３２は、双方向予測モードが適用されるPUについて、輝度成分についての復元された予測誤差信号の絶対値が所定の誤差閾値以上となる画素の集合をオクルージョン領域とする（ステップＳ１０８）。そして予測ブロック生成部１３の参照方向判定部１３３は、オクルージョン領域について参照される予測方向を決定する（ステップＳ１０９）。
ブロック単位予測部１３１は、双方向予測モードが適用されないPU、及び、双方向予測モードが適用され、かつ、オクルージョン領域を含まないPUについて、PU単位で各色差成分の予測ブロックを生成する（ステップＳ１１０）。一方、部分領域単位予測部１３４は、オクルージョンPUについて、オクルージョン領域に片方向予測モードを適用し、オクルージョン領域以外の領域に双方向予測モードを適用して各色差成分の予測ブロックを生成する（ステップＳ１１１）。
予測符号化部１４は、各色差成分について、符号化対象CTUと予測ブロックの対応画素間の予測誤差信号を算出する（ステップＳ１１２）。そして予測符号化部１４は、各色差成分について、各画素の予測誤差信号をTUごとに直交変換することで、TUごとに直交変換係数を算出する（ステップＳ１１３）。さらに、予測符号化部１４は、各色差成分について、符号化対象CTUの各TUの直交変換係数を量子化して量子化係数を算出する（ステップＳ１１４）。そして予測符号化部１４は、各TUの量子化係数を復号部１５及びエントロピー符号化部１７へ出力する。
復号部１５は、各色差成分に関して、符号化対象CTUの各TUについての量子化係数から、そのCTUに対応する局所復号ブロックを生成する（ステップＳ１１５）。そして復号部１５は、局所復号ブロックを記憶部１６に記憶する。
エントロピー符号化部１７は、輝度成分及び各色差成分について、量子化係数及び各種シンタックスなどをエントロピー符号化する（ステップＳ１１６）。各種シンタックスには、オクルージョン領域を含むPUについて、オクルージョン領域の予測方向、及び、オクルージョン領域の判定に用いる誤差閾値を表すシンタックスも含まれる。エントロピー符号化部１７は、得られた符号化ビットストリームを出力する。そして動画像符号化装置１は、一つのCTUに対する動画像符号化処理を終了する。
以上に説明してきたように、この動画像符号化装置は、双方向予測モードが適用される符号化対象ブロックについて、輝度成分の予測誤差信号の絶対値が誤差閾値以上となる画素の集合をオクルージョン領域として特定する。そしてこの動画像符号化装置は、各色差成分について、符号化対象ブロックのうち、オクルージョン領域については片方向予測モードを適用して予測ブロックを生成する。このように、この動画像符号化装置は、輝度成分について双方向予測モードが適用される符号化対象ブロックについても、各色差成分については、双方向予測モードと片方向予測モードとを部分領域ごとに切り替えて予測ブロックを生成することを可能とする。そのため、この動画像符号化装置は、L0予測ブロックとL1予測ブロックの一方にしか写っていない被写体が存在する場合でも、符号化対象ブロックに対する予測ブロックの予測精度を向上することができる。その結果として、この動画像符号化装置は、動画像データの符号化効率を向上できる。
図８は、上記の実施形態による動画像符号化装置により符号化された動画像データを復号する動画像復号装置の概略構成図である。動画像復号装置２は、エントロピー復号部２１と、予測ブロック生成部２２と、復号部２３と、記憶部２４とを有する。
動画像復号装置２が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像復号装置２が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像復号装置２に実装されてもよい。さらに、動画像復号装置２が有するこれらの各部は、動画像復号装置２が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
動画像復号装置２は、符号化された動画像データを含む符号化ビットストリームを、例えば、通信ネットワーク及び動画像復号装置２を通信ネットワークに接続するためのインターフェース回路を介して取得する。そして動画像復号装置２は、その符号化ビットストリームを、図示しないバッファメモリに記憶させる。動画像復号装置２は、符号化されたデータを、CTU単位でバッファメモリから読み出し、そのCTU単位のデータをエントロピー復号部２１へ入力する。
エントロピー復号部２１は、CTU単位で符号化されているデータをエントロピー復号する。そしてエントロピー復号部２１は、輝度成分及び各色差成分について、CTU内の各TUの量子化係数を復号する。またエントロピー復号部２１は、インター予測符号化されている各CUについて、そのCUに含まれる各PUについて動きベクトルを特定する情報（例えば、適用されるベクトルモード及び動きベクトルの予測ベクトルを表す情報など）をエントロピー復号する。さらに、エントロピー復号部２１は、イントラ予測符号化されている各CUについて、そのCUに含まれる各PUについての予測モードをエントロピー復号する。さらに、エントロピー復号部２１は、適用された分割モード、符号化モード、オクルージョン領域の判定に用いる誤差閾値、及び、オクルージョン領域について参照される予測方向を表す情報を含む、各種シンタックスをエントロピー復号する。そしてエントロピー復号部２１は、各種シンタックスなどを予測ブロック生成部２２へわたす。またエントロピー復号部２１は、量子化係数を復号部２３へ渡す。
予測ブロック生成部２２は、復号対象CTUについて、復号済みのピクチャまたは復号対象ピクチャの復号済みの領域を参照して、CUごとに、そのCUに含まれる各PUの予測ブロックを生成する。その際、予測ブロック生成部２２は、動画像符号化装置１の予測ブロック生成部１３と同様の処理を実行することにより予測ブロックを生成すればよい。さらに、予測ブロック生成部２２は、適用されたベクトルモードを表す情報、及び、動きベクトルの予測誤差信号などから動きベクトルも再生する。
図９は、予測ブロック生成部２２のブロック図である。予測ブロック生成部２２は、オクルージョン領域判定部２２１と、参照方向判定部２２２と、部分領域単位予測部２２３と、ブロック単位予測部２２４とを有する。
オクルージョン領域判定部２２１は、動画像復号装置２の領域判定部の一例であり、各色差成分について、動画像符号化装置１におけるオクルージョン領域判定部１３２と同様の処理を実行して、双方向予測モードが適用されたPU内のオクルージョン領域を判定する。すなわち、オクルージョン領域判定部２２１は、双方向予測モードが適用されたPUについて、復号部２３により復号された、PU内の各画素の輝度成分の予測誤差信号の絶対値と、エントロピー復号された誤差閾値とを比較する。そしてオクルージョン領域判定部２２１は、着目するPU内で、予測誤差信号の絶対値が誤差閾値以上となる画素の集合をオクルージョン領域とする。そしてオクルージョン領域判定部２２１は、特定されたオクルージョン領域を参照方向判定部２２２へ通知する。またオクルージョン領域判定部２２１は、オクルージョン領域を含まない、双方向予測モードが適用されるPUをブロック単位予測部２２４へ通知する。
参照方向判定部２２２は、オクルージョン領域について参照される予測方向を判定する。本実施形態では、参照方向判定部２２２は、エントロピー復号されたオクルージョン領域において参照される予測方向の情報を参照することで、L0方向及びL1方向のうちの参照する予測方向を決定すればよい。そして参照方向判定部２２２は、オクルージョン領域及びオクルージョン領域について参照される予測方向を部分領域単位予測部２２３へ通知する。
部分領域単位予測部２２３は、動画像符号化装置１における部分領域単位予測部１３４と同様に、オクルージョン領域を含む各PUについて各色差成分の予測ブロックを生成する。すなわち、部分領域単位予測部２２３は、オクルージョン領域については、片方向予測モードにしたがって予測ブロックの対応領域内の各画素の値を算出する。そのために、部分領域単位予測部２２３は、エントロピー復号された、動きベクトルを特定する情報に基づいて、L0方向の動きベクトルとL1方向の動きベクトルのそれぞれを復号する。そして部分領域単位予測部２２３は、L0方向とL1方向のうち、参照される予測方向の動きベクトルにて示される、復号済みの参照画像上の参照ブロックに基づいて予測ブロックの各画素の値を算出する。
一方、部分領域単位予測部２２３は、双方向予測モードが適用されるPUのうち、オクルージョン領域以外の領域については、双方向予測モードに従って予測ブロックを生成する。すなわち、部分領域単位予測部２２３は、L0方向の動きベクトルで示された、復号済みの参照ピクチャの領域に基づいてL0予測ブロックを生成し、かつ、L1方向の動きベクトルで示された、復号済みの参照ピクチャの領域に基づいてL1予測ブロックを生成する。そして部分領域単位予測部２２３は、オクルージョン領域以外の領域の予測ブロックの各画素の値を、L0予測ブロックとL1予測ブロックの対応画素の値を重み付け平均することで算出すればよい。
ブロック単位予測部２２４は、動画像符号化装置１のブロック単位予測部１３１と同様に、復号対象CTUの各PUの輝度成分、及び、オクルージョン領域を含まない各PUの色差成分について、そのPUに適用される符号化モードに従って予測ブロックを生成する。すなわち、ブロック単位予測部２２４は、エントロピー復号された符号化モードに従って、復号済みの参照ピクチャにおいて参照される領域を特定し、特定した領域に基づいて、PU単位で予測ブロックを生成する。
予測ブロック生成部２２は、生成した予測ブロックを復号部２３へ出力する。
復号部２３は、輝度成分及び各色差成分について、エントロピー復号部２１から受け取った各TUの量子化係数に、復号されたヘッダ情報から取得した量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより逆量子化する。この逆量子化により、各TUの直交変換係数が復元される。その後、復号部２３は、TUごとに、直交変換係数を逆直交変換処理する。逆量子化処理及び逆直交変換処理を各TUの量子化係数に対して実行することにより、CTU全体の各画素の予測誤差信号が再生される。
復号部２３は、各PUの予測ブロックの各画素値に、その画素に対応する再生された予測誤差信号を加算することにより、各PUを復号できる。そして復号部２３は、復号された各PUを、符号化順序に従って結合することにより、CTUを復号する。復号部２３は、復号されたCTUを記憶部２４に記憶させる。また、復号部２３は、復号されたCTUを、符号化順序に従って結合することでピクチャ全体を復号する。復号部２３は、復号されたピクチャを記憶部２４に記憶するとともに、復号されたピクチャをバッファメモリに記憶する。バッファメモリに記憶されている復号された各ピクチャは、制御部（図示せず）により表示順序に従って、表示装置（図示せず）へ出力される。さらに、復号部２３は、双方向予測モードが適用されるPUについて、輝度成分の予測誤差信号を予測ブロック生成部２２へ出力する。
記憶部２４は、輝度成分及び各色差成分について、復号部２３から受け取った、復号されたCTU及び復号されたピクチャを一時的に記憶する。そして記憶部２４は、輝度成分及び各色差成分について、予測ブロック生成部２２に、CTUを参照領域として、あるいはピクチャを参照ピクチャとして供給する。なお、記憶部２４は、予め定められた所定枚数分のピクチャを記憶し、記憶されているデータ量がその所定枚数に相当する量を超えると、符号化順序が古いピクチャから順に破棄する。
図１０は、動画像復号装置２により実行される、動画像復号処理の動作フローチャートである。動画像復号装置２は、復号対象となるCTUごとに図１０に示される動画像復号処理を実行する。
エントロピー復号部２１は、CTU単位で符号化されているデータをエントロピー復号する。これにより、エントロピー復号部２１は、輝度成分及び各色差成分についての復号対象CTUの各TUの量子化係数、及び、誤差閾値、オクルージョン領域の予測方向を表す情報を含む各種シンタックスなどを復号する（ステップＳ２０１）。
また、予測ブロック生成部２２のオクルージョン領域判定部２２１は、双方向予測モードが適用された各PUについて、輝度成分の復号された予測誤差信号の絶対値と誤差閾値とを比較して、オクルージョン領域を判定する（ステップＳ２０２）。そして予測ブロック生成部２２の参照方向判定部２２２は、オクルージョン領域を含む各PUについて、復号されたシンタックスに含まれる予測方向を表す情報を参照して、オクルージョン領域について参照される予測方向を判定する（ステップＳ２０３）。
部分領域単位予測部２２３は、オクルージョン領域を含む各PUについて、色差成分ごとに、オクルージョン領域に片方向予測モードを適用し、オクルージョン領域以外の領域に双方向予測モードを適用して予測ブロックを生成する（ステップＳ２０４）。一方、予測ブロック生成部２２のブロック単位予測部２２４は、復号対象CTUの各PUの輝度成分について予測ブロックを生成する。さらに、ブロック単位予測部２２４は、双方向予測モードと片方向予測モードとが混在するPU以外の各PUについて、そのPUに適用された符号化モードに応じてPUごとに予測ブロックを生成する（ステップＳ２０５）。
復号部２３は、輝度成分及び各色差成分について、エントロピー復号部２１から受け取った量子化係数に、符号化ビットストリームに含まれるヘッダ情報から取得した量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより逆量子化する。そして、復号部２３は、直交変換信号をTU単位で逆直交変換処理することにより復号対象CTUの予測誤差信号を再生する。その後、復号部２３は、予測ブロックの各画素値に、その画素に対応する再生された予測誤差信号を加算することにより、復号対象CTUを再生する（ステップＳ２０６）。復号部２３は、再生したCTUを記憶部２４に記憶する。そして動画像復号装置２は、復号対象CTUについての動画像復号処理を終了する。
以上に説明してきたように、この動画像復号装置は、上記の実施形態による動画像符号化装置により、オクルージョン領域を含むブロックの各色差成分が双方向予測モードと片方向予測モードの両方が適用されていても、符号化された動画像データを復号できる。
なお、変形例によれば、動画像符号化装置のオクルージョン領域判定部１３２、及び、動画像復号装置２のオクルージョン領域判定部２２１は、双方向予測モードが適用されるPUを複数のサブブロックに分割してもよい。そしてオクルージョン領域判定部１３２及びオクルージョン領域判定部２２１は、双方向予測モードが適用されるPUについて、サブブロックごとに、オクルージョン領域か否かを判定してもよい。この場合、オクルージョン領域判定部１３２は、例えば、着目するPUを所定サイズ（例えば、4x4画素）を持つ複数のサブブロックに分割する。オクルージョン領域判定部１３２は、サブブロックごとに、そのサブブロックに含まれる、予測誤差信号の絶対値が所定の誤差閾値以上となる画素の数をカウントする。そしてオクルージョン領域判定部１３２は、予測誤差信号の絶対値が所定の誤差閾値以上となる画素の数が所定のカウント閾値以上である場合、そのサブブロックをオクルージョン領域と判定する。なお、所定のカウント閾値は、例えば、サブブロックに含まれる画素数の1/3〜2/3に設定される。
この場合、上記のカウント閾値は、誤差閾値とともに、例えば、SPSまたはPPSといったシンタックスに含められればよい。そして動画像符号化装置１のエントロピー符号化部１７は、カウント閾値と誤差閾値を含むシンタックスを符号化ビットストリームに付加すればよい。この場合には、動画像復号装置２のオクルージョン領域判定部２２１も、オクルージョン領域判定部１３２と同様の処理を行って、双方向予測モードが適用される各PUについて、サブブロック単位でオクルージョン領域を特定できる。
図１１は、この変形例によるオクルージョン領域判定の一例を示す図である。この例では、着目するPU１１００が４個のサブブロック１１０１〜１１０４に分割される。そしてサブブロック１１０１〜１１０４のうち、右上のサブブロック１１０２に、予測誤差信号の絶対値が誤差閾値以上となる複数の画素１１１１が含まれる。その他のサブブロックには、予測誤差信号の絶対値が誤差閾値以上となる画素は含まれない。そして画素１１１１の数がカウント閾値以上となるため、サブブロック１１０２がオクルージョン領域と判定される。
この変形例によれば、動画像符号化装置及び動画像復号装置は、オクルージョン領域を適切に判定することができる。
また他の変形例によれば、動画像符号化装置のオクルージョン領域判定部１３２は、双方向予測モードを適用可能な最小サイズのPUについてのみ、サブブロックごとに分割して、サブブロックごとにオクルージョン領域か否かを判定してもよい。例えば、HEVCでは、双方向予測モードが適用可能なPUの最小サイズは8x8画素サイズである。したがって、オクルージョン領域判定部１３２は、双方向予測モードが適用されたPUのうち、8x8画素サイズのPUについてのみ、サブブロックごとに分割して、サブブロックごとにオクルージョン領域か否かを判定すればよい。
これは以下の理由による。すなわち、双方向予測モードを適用可能な最小サイズでないPUについては、さらに分割することが可能となる。そのため、もし、PUの一部にオクルージョン領域が含まれていれば、符号化モード決定の際に、より小さいサイズのPUとなるようにPU分割モードが決定されることが想定される。しかし、より小さいサイズのPUとなるようにPU分割モードが決定されなかったことから、オクルージョン領域が、双方向予測モードを適用可能なPUの最小サイズよりも小さいことが想定されるためである。なお、オクルージョン領域がPUの大部分を占めるような場合には、符号化モード決定の際に、そのPUについて、双方向予測モードよりも片方向予測モードが適用されると想定される。
この場合も、動画像復号装置２のオクルージョン領域判定部２２１は、オクルージョン領域判定部１３２と同様の処理を行って、双方向予測モードが適用される各PUについて、サブブロック単位でオクルージョン領域を特定すればよい。
この変形例によれば、オクルージョン領域の判定対象となるPUが制限されるため、動画像符号化処理及び動画像復号処理における演算量が削減される。
なお、カウント閾値と誤差閾値が符号化ビットストリームに含められる代わりに、動画像符号化装置１のオクルージョン領域判定部１３２は、オクルージョン領域を明示的に表すシンタックスを作成してもよい。そのシンタックスは、例えば、サブブロックごとに、オクルージョン領域か否かを表す1ビットのフラグを含んでもよい。そして動画像符号化装置１のエントロピー符号化部１７は、オクルージョン領域を明示的に表すシンタックスを符号化ビットストリームに付加してもよい。この場合には、動画像復号装置２のオクルージョン領域判定部２２１は、双方向予測モードが適用される各PUについて、エントロピー復号部２１により復号されたオクルージョン領域を明示的に表すシンタックスを参照してオクルージョン領域を特定すればよい。なお、この場合には、オクルージョン領域判定部１３２は、復元された予測誤差信号の代わりに、予測符号化部１４により算出された予測誤差信号の絶対値を誤差閾値と比較することで、オクルージョン領域を判定してもよい。
この変形例によれば、動画像復号装置２は、オクルージョン領域を特定するための演算を行わなくてよいので、動画像データを復号するための演算量を削減できる。
さらに他の変形例によれば、動画像符号化装置１の参照方向判定部１３３は、オクルージョン領域に適用する予測方向を、オクルージョンPUに対して空間的または時間的に所定範囲内にあるインター予測符号化されたPUについての予測方向を参照して決定してもよい。
例えば、参照方向判定部１３３は、オクルージョン領域を含む、着目するPUと隣接し、かつ、着目するPUよりも符号化順が前のPU（すなわち、上側または左側に隣接するPU）を参照するPUに設定する。また、参照方向判定部１３３は、着目するPUが含まれる符号化対象CTUに含まれる他のPUのうち、着目するPUと隣接するPUであれば、着目するPUよりも符号化順が後のPUであっても、参照するPUに設定してもよい。これは、動画像データを復号する際に、同じCTU内のPUであれば、動きベクトルだけを先に復号することも可能であるためである。
また、参照方向判定部１３３は、着目するPUを含む、符号化対象ピクチャよりも符号化順が直前の符号化済みのピクチャにおいて、着目するPUに対応する位置にあるColPUを参照するPUに設定してもよい。さらに、参照方向判定部１３３は、ColPUに隣接するPUも、参照するPUに設定してもよい。
あるいは、参照方向判定部１３３は、オクルージョン領域がサブブロック単位で設定される場合、着目するPUと隣接するPUのうち、オクルージョン領域と隣接するPUのみを参照するPUに設定してもよい。
参照方向判定部１３３は、参照する各PUのうち、片方向予測モードが適用されたPUを選択する。そして参照方向判定部１３３は、選択した各PUの予測方向のうちで最も多い予測方向を、オクルージョン領域に適用する予測方向とする。オクルージョン領域の周囲には、オクルージョン領域に写っている物体と同じ物体が写っている可能性がある。そのため、オクルージョン領域の周囲のPUの予測方向は、オクルージョン領域に写っている物体が写っている参照ピクチャを示している可能性が高いことによる。
図１２は、この変形例による、予測方向決定の一例を示す図である。この例では、着目するPU１２００が４個のサブブロック１２０１〜１２０４に分割され、このうち、右上のサブブロック１２０２がオクルージョン領域であり、他のサブブロックには双方向予測モードが適用される。そしてこの例では、オクルージョン領域１２０２に隣接する、符号化済みの３個のPU１２１１〜１２１３が参照される。３個のPU１２１１〜１２１３のうち、PU１２１１には双方向予測モードが適用され、PU１２１２及びPU１２１３には、L1方向の片方向予測モードが適用されている。したがって、L1方向が最多となっている。そこで、参照方向判定部１３３は、オクルージョン領域１２０２の予測方向として、L1方向を設定する。
この変形例の場合、動画像復号装置２の参照方向判定部２２２も、参照方向判定部１３３と同様の処理を行って、オクルージョン領域に適用される予測方向を決定すればよい。その際、参照方向判定部２２２は、オクルージョン領域を含むPUの周囲の参照するPUについて、エントロピー復号部２１により復号された予測方向を表すシンタックスを参照すればよい。
この変形例によれば、動画像符号化装置１は、符号化ビットストリームに、オクルージョン領域についての予測方向を表す情報を付加しなくてもよい。そのため、この変形例によれば、符号化効率がより向上する。
なお、この変形例において、着目するPUの周囲に、インター予測符号化された他のPUが存在しない場合には、参照方向判定部２２２は、上記の実施形態に従って、オクルージョン領域について参照される予測方向を決定してもよい。
また、上記の実施形態及び変形例において、符号化対象となる動画像データの各画素の値は、RGB表色系といった他の表色系で表されてもよい。例えば、符号化対象となる動画像データの各画素の値がRGB表色系で表される場合、動画像符号化装置１及び動画像復号装置２は、上記の実施形態または変形例において輝度成分に対して行う処理を、緑色(G)成分に対して実行してもよい。また、動画像符号化装置１及び動画像復号装置２は、上記の実施形態または変形例において各色差成分に対して行う処理を、赤色(R)成分及び青色(B)成分に対して実行してもよい。この場合、緑色成分は、第１の成分の他の一例であり、赤色成分及び青色成分は、第２の成分の他の一例である。
図１３は、上記の実施形態またはその変形例による動画像符号化装置または動画像復号装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置または動画像復号装置として動作するコンピュータの構成図である。
コンピュータ１００は、ユーザインターフェース１０１と、通信インターフェース１０２と、メモリ１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース１０１、通信インターフェース１０２、メモリ１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
ユーザインターフェース１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース１０１は、例えば、ユーザの操作に応じて、符号化する動画像データ、あるいは、復号する動画像データを選択する操作信号をプロセッサ１０５へ出力する。なお、符号化する動画像データ、あるいは、復号する動画像データは、プロセッサ１０５上で動作するアプリケーションプログラムによって決定されてもよい。
通信インターフェース１０２は、例えば、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。そして通信インターフェース１０２は、通信ネットワークに接続された他の機器から、符号化する動画像データを取得し、そのデータをプロセッサ１０５へ渡す。また通信インターフェース１０２は、プロセッサ１０５から受け取った、符号化動画像データを通信ネットワークを介して他の機器へ出力してもよい。また、通信インターフェース１０２は、通信ネットワークに接続された他の機器から、復号対象となる、符号化された動画像データを含むビットストリームを取得し、そのビットストリームをプロセッサ１０５へ渡してもよい。
メモリ１０３は、記憶部の一例であり、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そしてメモリ１０３は、プロセッサ１０５上で実行される、動画像符号化処理を実行するためのコンピュータプログラム、または、動画像復号処理を実行するためのコンピュータプログラムを記憶する。さらに、メモリ１０３は、動画像符号化処理または動画像復号処理の途中または結果として生成されるデータを記憶する。
記憶媒体アクセス装置１０４は、記憶部の他の一例であり、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、動画像符号化処理用のコンピュータプログラムまたは動画像復号処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。
プロセッサ１０５は、例えば、Central Processing Unit(CPU)、Graphics Processing Unit(GPU)及び数値演算プロセッサの少なくとも何れかを含む。そしてプロセッサ１０５は、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラムを実行することにより、動画像データを符号化する。そしてプロセッサ１０５は、符号化された動画像データをメモリ１０３に保存し、または通信インターフェース１０２を介して他の機器へ出力する。あるいは、プロセッサ１０５は、上記の実施形態または変形例による動画像復号処理用コンピュータプログラムを実行することにより、符号化された動画像データを復号する。そしてプロセッサ１０５は、復号されたピクチャをユーザインターフェース１０１の表示装置に表示させる。
なお、動画像符号化装置１の各部の機能をプロセッサ上で実行可能なコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。同様に、動画像復号装置２の各部の機能をプロセッサ上で実行可能なコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
動画像データに含まれる、符号化対象ピクチャを符号化する動画像符号化装置であって、
前記符号化対象ピクチャが分割された複数のブロックのうち、画素値の第１の成分について双方向予測モードを適用して生成された第１の予測ブロックを参照して符号化された第１のブロックについて、前記第１の予測ブロックと前記第１のブロックの対応画素間の前記第１の成分についての差分値に基づいて、画素値の第２の成分について片方向予測モードを適用する部分領域を判定する領域判定部と、
前記第１のブロックのうちの前記部分領域に対して片方向予測モードを適用し、かつ前記第１のブロックのうちの前記部分領域以外の領域に対して双方向予測モードを適用して前記第２の成分についての第２の予測ブロックを生成する予測ブロック生成部と、
前記第２の成分について前記第１のブロックと前記第２の予測ブロックの対応画素間の予測誤差を算出し、前記予測誤差を符号化する符号化部と、
を有する動画像符号化装置。
（付記２）
前記第１の予測ブロックは、前記第１の成分について、前記符号化対象ピクチャから第１の方向にある符号化済みの第１の参照ピクチャと、前記符号化対象ピクチャから第２の方向にある符号化済みの第２の参照ピクチャとを参照して生成され、
前記第１のブロックのうちの前記部分領域に適用する予測方向を、前記第１の方向及び前記第２の方向の中から選択する参照方向判定部をさらに有し、
前記予測ブロック生成部は、前記第１の参照ピクチャ及び前記第２の参照ピクチャのうち、前記第１のブロックの前記部分領域に適用する前記予測方向に対応する参照ピクチャに基づいて前記第２の予測ブロックのうちの前記部分領域を生成する、付記１に記載の動画像符号化装置。
（付記３）
前記参照方向判定部は、前記部分領域に対応する前記第１の参照ピクチャ上の第１の参照部分領域と前記部分領域間の対応画素間の前記第２の成分についての差分値の絶対値の第１の和が、前記部分領域に対応する前記第２の参照ピクチャ上の第２の参照部分領域と前記部分領域間の対応画素間の前記第２の成分についての差分値の絶対値の第２の和よりも小さい場合、前記第１の方向を前記部分領域に適用する前記予測方向とし、一方、前記第２の和が前記第１の和よりも小さい場合、前記第２の方向を前記部分領域に適用する前記予測方向とする、付記２に記載の動画像符号化装置。
（付記４）
前記部分領域に適用する前記予測方向を表す情報を前記動画像データを符号化して得られるデータに含める付加部をさらに有する、付記３に記載の動画像符号化装置。
（付記５）
前記参照方向判定部は、前記第１のブロックに対して空間的または時間的に所定範囲内にある他のブロックのうちの片方向予測モードが適用された各ブロックの予測方向のうち、最も多い予測方向を前記部分領域に適用する前記予測方向とする、付記２に記載の動画像符号化装置。
（付記６）
前記所定範囲内にある他のブロックは、前記符号化対象ピクチャ上の前記第１のブロックと隣接するブロック、及び、前記符号化対象ピクチャに対して符号化順で直前の符号化済みのピクチャ上の前記第１のブロックと対応する位置にあるブロックのうちの少なくとも一方を含む、付記５に記載の動画像符号化装置。
（付記７）
前記領域判定部は、前記第１のブロックと前記第１の予測ブロックの対応画素間の前記第１の成分についての差分絶対値が所定の閾値以上となる画素の集合を前記部分領域とする、付記１に記載の動画像符号化装置。
（付記８）
前記領域判定部は、前記第１のブロックを分割した複数のサブブロックのうち、当該サブブロックと前記第１の予測ブロックの対応画素間の前記第１の成分についての差分絶対値が所定の閾値以上となる画素の数が所定数以上となるサブブロックを前記部分領域とする、付記１に記載の動画像符号化装置。
（付記９）
前記領域判定部は、前記第１のブロックのサイズが双方向予測モードを適用可能な最小サイズである場合に、前記複数のサブブロックのなかから前記部分領域となるサブブロックを判定する、付記８に記載の動画像符号化装置。
（付記１０）
前記所定の閾値を前記動画像データを符号化して得られるデータに含める付加部をさらに有する、付記７〜９の何れかに記載の動画像符号化装置。
（付記１１）
前記第１の成分は輝度成分であり、前記第２の成分は色差成分である、付記１〜１０の何れかに記載の動画像符号化装置。
（付記１２）
前記第１の成分は第１の色成分であり、前記第２の成分は第２の色成分である、付記１〜１０の何れかに記載の動画像符号化装置。
（付記１３）
符号化された動画像データに含まれる復号対象ピクチャを復号する動画像復号装置であって、
前記復号対象ピクチャを分割した複数のブロックのうち、画素値の第１の成分について双方向予測モードが適用された第１のブロックについて、画素値の第２の成分について片方向予測モードを適用する部分領域を判定する領域判定部と、
前記第１のブロックのうちの前記部分領域に対して片方向予測モードを適用し、かつ前記第１のブロックのうちの前記部分領域以外の領域に対して双方向予測モードを適用して前記第２の成分についての予測ブロックを生成する予測ブロック生成部と、
前記符号化された動画像データに含まれる、前記第１のブロックと前記予測ブロックの対応画素間の前記第２の成分についての予測誤差に、前記予測ブロックの対応画素の値を加算することで前記第１のブロックの各画素の前記第２の成分を復号する復号部と、
を有する動画像復号装置。
（付記１４）
前記第１のブロックの各画素の前記第１の成分は、前記復号対象ピクチャから第１の方向にある復号済みの第１の参照ピクチャと、前記復号対象ピクチャから第２の方向にある復号済みの第２の参照ピクチャとを参照して復号され、
前記第１のブロックのうちの前記部分領域に適用する予測方向を、前記第１の方向及び前記第２の方向の中から選択する参照方向判定部をさらに有し、
前記予測ブロック生成部は、前記第１の参照ピクチャ及び前記第２の参照ピクチャのうち、前記第１のブロックの前記部分領域に適用する前記予測方向に対応する参照ピクチャに基づいて前記予測ブロックのうちの前記部分領域を生成する、付記１３に記載の動画像復号装置。
（付記１５）
前記参照方向判定部は、前記符号化された動画像データに含まれる、前記第１のブロックの前記部分領域に適用する前記予測方向を表す情報を参照して、前記第１のブロックの前記部分領域に適用する前記予測方向を決定する、付記１４に記載の動画像復号装置。
（付記１６）
前記参照方向判定部は、前記第１のブロックに対して空間的または時間的に所定範囲内にある他のブロックのうちの片方向予測モードが適用された各ブロックの予測方向のうち、最も多い予測方向を前記部分領域に適用する前記予測方向とする、付記１４に記載の動画像復号装置。
（付記１７）
前記第１のブロックの各画素の前記第１の成分は、前記復号対象ピクチャから第１の方向にある復号済みの第１の参照ピクチャと、前記復号対象ピクチャから第２の方向にある復号済みの第２の参照ピクチャとを参照して双方向予測モードにより生成される第２の予測ブロックに基づいて復号され、
前記領域判定部は、前記第１のブロックと前記第２の予測ブロックの対応画素間の前記第１の成分についての差分絶対値が所定の閾値以上となる画素の集合を前記部分領域とする、付記１３に記載の動画像復号装置。
（付記１８）
前記第１のブロックの各画素の前記第１の成分は、前記復号対象ピクチャから第１の方向にある復号済みの第１の参照ピクチャと、前記復号対象ピクチャから第２の方向にある復号済みの第２の参照ピクチャとを参照して双方向予測モードにより生成される第２の予測ブロックに基づいて復号され、
前記領域判定部は、前記第１のブロックを分割した複数のサブブロックのうち、当該サブブロックと前記第２の予測ブロックの対応画素間の前記第１の成分についての差分絶対値が所定の閾値以上となる画素の数が所定数以上となるサブブロックを前記部分領域とする、付記１３に記載の動画像復号装置。
（付記１９）
前記領域判定部は、前記第１のブロックのサイズが双方向予測モードを適用可能な最小サイズである場合に、前記複数のサブブロックのなかから前記部分領域となるサブブロックを判定する、付記１８に記載の動画像復号装置。
（付記２０）
前記所定の閾値は、前記符号化された動画像データに含まれる、付記１７〜１９の何れかに記載の動画像復号装置。
（付記２１）
動画像データに含まれる、符号化対象ピクチャを符号化する動画像符号化方法であって、
前記符号化対象ピクチャが分割された複数のブロックのうち、画素値の第１の成分について双方向予測モードを適用して生成された第１の予測ブロックを参照して符号化された第１のブロックについて、前記第１の予測ブロックと前記第１のブロックの対応画素間の前記第１の成分についての差分値に基づいて、画素値の第２の成分について片方向予測モードを適用する部分領域を判定し、
前記第１のブロックのうちの前記部分領域に対して片方向予測モードを適用し、かつ前記第１のブロックのうちの前記部分領域以外の領域に対して双方向予測モードを適用して前記第２の成分についての第２の予測ブロックを生成し、
前記第２の成分について前記第１のブロックと前記第２の予測ブロックの対応画素間の予測誤差を算出し、前記予測誤差を符号化する、
ことを含む動画像符号化方法。
（付記２２）
符号化された動画像データに含まれる復号対象ピクチャを復号する動画像復号方法であって、
前記復号対象ピクチャを分割した複数のブロックのうち、画素値の第１の成分について双方向予測モードが適用された第１のブロックについて、画素値の第２の成分について片方向予測モードを適用する部分領域を判定し、
前記第１のブロックのうちの前記部分領域に対して片方向予測モードを適用し、かつ前記第１のブロックのうちの前記部分領域以外の領域に対して双方向予測モードを適用して前記第２の成分についての予測ブロックを生成し、
前記符号化された動画像データに含まれる、前記第１のブロックと前記予測ブロックの対応画素間の前記第２の成分についての予測誤差に、前記予測ブロックの対応画素の値を加算することで前記第１のブロックの各画素の前記第２の成分を復号する、
ことを含む動画像復号方法。
（付記２３）
動画像データに含まれる、符号化対象ピクチャを符号化する動画像符号化方法であって、
前記符号化対象ピクチャが分割された複数のブロックのうち、画素値の第１の成分について双方向予測モードを適用して生成された第１の予測ブロックを参照して符号化された第１のブロックについて、前記第１の予測ブロックと前記第１のブロックの対応画素間の前記第１の成分についての差分値に基づいて、画素値の第２の成分について片方向予測モードを適用する部分領域を判定し、
前記第１のブロックのうちの前記部分領域に対して片方向予測モードを適用し、かつ前記第１のブロックのうちの前記部分領域以外の領域に対して双方向予測モードを適用して前記第２の成分についての第２の予測ブロックを生成し、
前記第２の成分について前記第１のブロックと前記第２の予測ブロックの対応画素間の予測誤差を算出し、前記予測誤差を符号化する、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
（付記２４）
符号化された動画像データに含まれる復号対象ピクチャを復号する動画像復号方法であって、
前記復号対象ピクチャを分割した複数のブロックのうち、画素値の第１の成分について双方向予測モードが適用された第１のブロックについて、画素値の第２の成分について片方向予測モードを適用する部分領域を判定し、
前記第１のブロックのうちの前記部分領域に対して片方向予測モードを適用し、かつ前記第１のブロックのうちの前記部分領域以外の領域に対して双方向予測モードを適用して前記第２の成分についての予測ブロックを生成し、
前記符号化された動画像データに含まれる、前記第１のブロックと前記予測ブロックの対応画素間の前記第２の成分についての予測誤差に、前記予測ブロックの対応画素の値を加算することで前記第１のブロックの各画素の前記第２の成分を復号する、
ことをコンピュータに実行させるための動画像復号用コンピュータプログラム。
１ 動画像符号化装置
１１ 動き探索部
１２ 符号化モード判定部
１３ 予測ブロック生成部
１４ 予測符号化部
１５ 復号部
１６ 記憶部
１７ エントロピー符号化部
１３１ ブロック単位予測部
１３２ オクルージョン領域判定部
１３３ 参照方向判定部
１３４ 部分領域単位予測部
２ 動画像復号装置
２１ エントロピー復号部
２２ 予測ブロック生成部
２３ 復号部
２４ 記憶部
２２１ オクルージョン領域判定部
２２２ 参照方向判定部
２２３ 部分領域単位予測部
２２４ ブロック単位予測部
１００ コンピュータ
１０１ ユーザインターフェース
１０２ 通信インターフェース
１０３ メモリ
１０４ 記憶媒体アクセス装置
１０５ プロセッサ
１０６ 記憶媒体

Claims (11)

  1. 動画像データに含まれる、符号化対象ピクチャを符号化する動画像符号化装置であって、
    前記符号化対象ピクチャが分割された複数のブロックのうち、画素値の第１の成分について双方向予測モードを適用して生成された第１の予測ブロックを参照して符号化された第１のブロックについて、前記第１の予測ブロックと前記第１のブロックの対応画素間の前記第１の成分についての差分値に基づいて、画素値の第２の成分について片方向予測モードを適用する部分領域を判定する領域判定部と、
    前記第１のブロックのうちの前記部分領域に対して片方向予測モードを適用し、かつ前記第１のブロックのうちの前記部分領域以外の領域に対して双方向予測モードを適用して前記第２の成分についての第２の予測ブロックを生成する予測ブロック生成部と、
    前記第２の成分について前記第１のブロックと前記第２の予測ブロックの対応画素間の予測誤差を算出し、前記予測誤差を符号化する符号化部と、
    を有する動画像符号化装置。
  2. 前記第１の予測ブロックは、前記第１の成分について、前記符号化対象ピクチャから第１の方向にある符号化済みの第１の参照ピクチャと、前記符号化対象ピクチャから第２の方向にある符号化済みの第２の参照ピクチャとを参照して生成され、
    前記第１のブロックのうちの前記部分領域に適用する予測方向を、前記第１の方向及び前記第２の方向の中から選択する参照方向判定部をさらに有し、
    前記予測ブロック生成部は、前記第１の参照ピクチャ及び前記第２の参照ピクチャのうち、前記第１のブロックの前記部分領域に適用する前記予測方向に対応する参照ピクチャに基づいて前記第２の予測ブロックのうちの前記部分領域を生成する、請求項１に記載の動画像符号化装置。
  3. 前記参照方向判定部は、前記第１のブロックに対して空間的または時間的に所定範囲内にある他のブロックのうちの片方向予測モードが適用された各ブロックの予測方向のうち、最も多い予測方向を前記部分領域に適用する前記予測方向とする、請求項２に記載の動画像符号化装置。
  4. 前記領域判定部は、前記第１のブロックと前記第１の予測ブロックの対応画素間の前記第１の成分についての差分絶対値が所定の閾値以上となる画素の集合を前記部分領域とする、請求項１に記載の動画像符号化装置。
  5. 前記領域判定部は、前記第１のブロックを分割した複数のサブブロックのうち、当該サブブロックと前記第１の予測ブロックの対応画素間の前記第１の成分についての差分絶対値が所定の閾値以上となる画素の数が所定数以上となるサブブロックを前記部分領域とする、請求項１に記載の動画像符号化装置。
  6. 前記所定の閾値を前記動画像データを符号化して得られるデータに含める付加部をさらに有する、請求項４または５に記載の動画像符号化装置。
  7. 符号化された動画像データに含まれる復号対象ピクチャを復号する動画像復号装置であって、
    前記復号対象ピクチャを分割した複数のブロックのうち、画素値の第１の成分について双方向予測モードが適用された第１のブロックについて、画素値の第２の成分について片方向予測モードを適用する部分領域を判定する領域判定部と、
    前記第１のブロックのうちの前記部分領域に対して片方向予測モードを適用し、かつ前記第１のブロックのうちの前記部分領域以外の領域に対して双方向予測モードを適用して前記第２の成分についての予測ブロックを生成する予測ブロック生成部と、
    前記符号化された動画像データに含まれる、前記第１のブロックと前記予測ブロックの対応画素間の前記第２の成分についての予測誤差に、前記予測ブロックの対応画素の値を加算することで前記第１のブロックの各画素の前記第２の成分を復号する復号部と、
    を有する動画像復号装置。
  8. 動画像データに含まれる、符号化対象ピクチャを符号化する動画像符号化方法であって、
    前記符号化対象ピクチャが分割された複数のブロックのうち、画素値の第１の成分について双方向予測モードを適用して生成された第１の予測ブロックを参照して符号化された第１のブロックについて、前記第１の予測ブロックと前記第１のブロックの対応画素間の前記第１の成分についての差分値に基づいて、画素値の第２の成分について片方向予測モードを適用する部分領域を判定し、
    前記第１のブロックのうちの前記部分領域に対して片方向予測モードを適用し、かつ前記第１のブロックのうちの前記部分領域以外の領域に対して双方向予測モードを適用して前記第２の成分についての第２の予測ブロックを生成し、
    前記第２の成分について前記第１のブロックと前記第２の予測ブロックの対応画素間の予測誤差を算出し、前記予測誤差を符号化する、
    ことを含む動画像符号化方法。
  9. 符号化された動画像データに含まれる復号対象ピクチャを復号する動画像復号方法であって、
    前記復号対象ピクチャを分割した複数のブロックのうち、画素値の第１の成分について双方向予測モードが適用された第１のブロックについて、画素値の第２の成分について片方向予測モードを適用する部分領域を判定し、
    前記第１のブロックのうちの前記部分領域に対して片方向予測モードを適用し、かつ前記第１のブロックのうちの前記部分領域以外の領域に対して双方向予測モードを適用して前記第２の成分についての予測ブロックを生成し、
    前記符号化された動画像データに含まれる、前記第１のブロックと前記予測ブロックの対応画素間の前記第２の成分についての予測誤差に、前記予測ブロックの対応画素の値を加算することで前記第１のブロックの各画素の前記第２の成分を復号する、
    ことを含む動画像復号方法。
  10. 動画像データに含まれる、符号化対象ピクチャを符号化する動画像符号化方法であって、
    前記符号化対象ピクチャが分割された複数のブロックのうち、画素値の第１の成分について双方向予測モードを適用して生成された第１の予測ブロックを参照して符号化された第１のブロックについて、前記第１の予測ブロックと前記第１のブロックの対応画素間の前記第１の成分についての差分値に基づいて、画素値の第２の成分について片方向予測モードを適用する部分領域を判定し、
    前記第１のブロックのうちの前記部分領域に対して片方向予測モードを適用し、かつ前記第１のブロックのうちの前記部分領域以外の領域に対して双方向予測モードを適用して前記第２の成分についての第２の予測ブロックを生成し、
    前記第２の成分について前記第１のブロックと前記第２の予測ブロックの対応画素間の予測誤差を算出し、前記予測誤差を符号化する、
    ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
  11. 符号化された動画像データに含まれる復号対象ピクチャを復号する動画像復号方法であって、
    前記復号対象ピクチャを分割した複数のブロックのうち、画素値の第１の成分について双方向予測モードが適用された第１のブロックについて、画素値の第２の成分について片方向予測モードを適用する部分領域を判定し、
    前記第１のブロックのうちの前記部分領域に対して片方向予測モードを適用し、かつ前記第１のブロックのうちの前記部分領域以外の領域に対して双方向予測モードを適用して前記第２の成分についての予測ブロックを生成し、
    前記符号化された動画像データに含まれる、前記第１のブロックと前記予測ブロックの対応画素間の前記第２の成分についての予測誤差に、前記予測ブロックの対応画素の値を加算することで前記第１のブロックの各画素の前記第２の成分を復号する、
    ことをコンピュータに実行させるための動画像復号用コンピュータプログラム。
JP2017140067A 2017-07-19 2017-07-19 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム Active JP6825506B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017140067A JP6825506B2 (ja) 2017-07-19 2017-07-19 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
US16/032,606 US10652549B2 (en) 2017-07-19 2018-07-11 Video coding device, video coding method, video decoding device, and video decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017140067A JP6825506B2 (ja) 2017-07-19 2017-07-19 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2019022120A JP2019022120A (ja) 2019-02-07
JP6825506B2 true JP6825506B2 (ja) 2021-02-03

Family

ID=65014198

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017140067A Active JP6825506B2 (ja) 2017-07-19 2017-07-19 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム

Country Status (2)

Country Link
US (1) US10652549B2 (ja)
JP (1) JP6825506B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11172219B2 (en) * 2019-12-30 2021-11-09 Texas Instruments Incorporated Alternating frame processing operation with predicted frame comparisons for high safety level use
CN111770340B (zh) * 2020-07-23 2022-03-15 腾讯科技（深圳）有限公司 视频编码方法、装置、设备以及存储介质
EP4262202A1 (en) * 2022-04-13 2023-10-18 Panasonic Intellectual Property Corporation of America Encoder, decoder, encoding method, and decoding method
WO2024083115A1 (en) * 2022-10-18 2024-04-25 Mediatek Inc. Method and apparatus for blending intra and inter prediction in video coding system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3951152B2 (ja) 1997-09-19 2007-08-01 ソニー株式会社 画像符号化装置および方法
JP4407920B2 (ja) 2004-05-19 2010-02-03 ダイハツ工業株式会社 障害物認識方法及び障害物認識装置
WO2011075072A1 (en) * 2009-12-17 2011-06-23 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for video coding
JP6005572B2 (ja) * 2013-03-28 2016-10-12 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US9491460B2 (en) * 2013-03-29 2016-11-08 Qualcomm Incorporated Bandwidth reduction for video coding prediction
WO2016203114A1 (en) * 2015-06-19 2016-12-22 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding

Also Published As

Publication number Publication date
JP2019022120A (ja) 2019-02-07
US20190028711A1 (en) 2019-01-24
US10652549B2 (en) 2020-05-12

Similar Documents

Publication Publication Date Title
KR102490545B1 (ko) 비디오 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR101316060B1 (ko) 인터 예측 부호화된 동영상 복호화 방법
TWI653878B (zh) 動態影像解碼裝置、動態影像解碼方法及記錄有動態影像解碼程式的記錄媒體
EP2863637B1 (en) Video decoding device, video decoding method and video decoding program
KR101981905B1 (ko) 인코딩 방법 및 장치, 디코딩 방법 및 장치, 및 컴퓨터 판독가능 저장 매체
KR20170058838A (ko) 화면간 예측 향상을 위한 부호화/복호화 방법 및 장치
JP6825506B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
KR20190058427A (ko) 비디오 신호 처리 방법 및 장치
US10638155B2 (en) Apparatus for video encoding, apparatus for video decoding, and non-transitory computer-readable storage medium
JP7156471B2 (ja) 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム
JP2019022129A (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
KR20150048637A (ko) 색 성분 간 예측 방법 및 장치
KR101691553B1 (ko) 영상 복호화 방법 및 장치
KR101882949B1 (ko) 영상 부호화 방법 및 장치, 및 컴퓨터로 판독가능한 기록매체
KR101783965B1 (ko) 영상 복호화 방법 및 장치
KR101477545B1 (ko) 움직임 벡터를 복호화하는 방법
KR101477546B1 (ko) 움직임 벡터를 복호화하는 장치
KR101617796B1 (ko) 영상 복호화 방법 및 장치
KR101606812B1 (ko) 영상 복호화 방법
KR101454664B1 (ko) 움직임 벡터를 복호화하는 방법
KR20170021675A (ko) 영상 부호화 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201228

R150 Certificate of patent or registration of utility model

Ref document number: 6825506

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150