JP2017204879A - 動画像符号化装置及び動画像符号化方法 - Google Patents

Abstract

【課題】制御処理の複雑化を低減し、回路規模の増大を抑制する。
【解決手段】動画像に含まれる対象ブロックを符号化する動画像符号化方法であって、前記動画像に含まれる複数の処理単位を３以上の異なるサイズの中から選んだサイズによって複数の変換ブロックに分割し（Ｓ１０６）、予測画像を生成し（Ｓ１０４）、前記予測画像と前記画像との残差成分を生成し（Ｓ１０５）、前記残差成分を前記変換ブロック単位で直交変換し、量子化及び可変長符号化を行い（Ｓ１０７、Ｓ１１０）、前記処理単位に含まれるすべての前記複数の変換ブロックは、前記３以上の異なるサイズの中の１つのサイズであり、同じサイズである。
【選択図】図２

Description

本開示は、動画像符号化装置及び動画像符号化方法に関する。

動画像符号化の国際標準であるＨＥＶＣ（Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ）においては、ＣＵ（コーディングユニット）を単位として符号化が行なわれる。従来のＨ．２６４等では、マクロブロックのサイズとして縦横１６画素が用いられていた。一方、ＣＵのサイズとして、４種類のサイズを用いることができる。また、ＣＵ内で画面内予測に用いられるＰＵ（プレディクションユニット）のサイズ、及び、直交変換の処理単位であるＴＵ（トランスフォームユニット）のサイズも、色々なサイズが選択可能である（例えば、非特許文献１を参照）。

ＨＥＶＣ規格書（ドラフト） （Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ １０ （ｆｏｒ ＦＤＩＳ ＆ Ｌａｓｔ Ｃａｌｌ））

このような動画像符号化装置では、制御処理の複雑化を低減でき、回路規模の増大を抑制できることが望まれている。

本開示は、制御処理の複雑化を低減でき、回路規模の増大を抑制できる動画像符号化装置及び動画像符号化方法を提供する。

本開示における動画像符号化方法は、動画像に含まれる対象ブロックを符号化する動画像符号化方法であって、前記動画像に含まれる複数の処理単位を３以上の異なるサイズの中から選んだサイズによって複数の変換ブロックに分割し、予測画像を生成し、前記予測画像と前記画像との残差成分を生成し、前記残差成分を前記変換ブロック単位で直交変換し、量子化及び可変長符号化を行い、前記処理単位に含まれるすべての前記複数の変換ブロックは、前記３以上の異なるサイズの中の１つのサイズであり、同じサイズである。

本開示における動画像符号化装置又は動画像符号化方法は、制御処理の複雑化を低減でき、回路規模の増大を抑制できる。

実施の形態に係る動画像符号化装置のブロック図である。 実施の形態に係る動画像符号化処理のフローチャートである。 実施の形態に係る画面間予測において用いることができる各ブロックのサイズを説明するための図である。 実施の形態に係る予測方式の組み合わせを説明するための図である。 実施の形態に係るパイプライン動作を説明するための図である。 実施の形態に係る直交変換ブロックのサイズを説明するための図である。 実施の形態に係る予測ブロックのサイズを説明するための図である。 実施の形態に係る予測ブロックのサイズを説明するための図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態）
以下、図１〜図８を用いて、本実施の形態を説明する。

［符号化装置全体の処理］
図１は、本実施の形態に係る動画像符号化装置１００のブロック図である。動画像符号化装置１００は、ピクチャ単位で入力された入力画像を制御ブロックに分割する。そして、動画像符号化装置１００は、この制御ブロック単位で符号化処理を実行することで、符号列を生成する。

この動画像符号化装置１００は、ピクチャメモリ１０１と、ブロック分割部１０２と、ブロックサイズ決定部１０３と、残差係数符号化部１０４と、残差係数復号化部１０５と、ピクチャバッファ１０６と、画面間予測部１０７と、画面内予測部１０８と、切替部１０９と、符号列生成部１１０と、加算演算部１１１と、差分演算部１１２とを備えている。

図２は、本実施の形態に係る動画像符号化装置１００による動画像符号化処理のフローチャートである。

まず、ピクチャメモリ１０１は、入力画像を取得する（Ｓ１０１）。具体的には、ピクチャメモリ１０１は、表示を行う順にピクチャ単位で入力される入力画像を、符号化を行う順に並び替えて格納する。そしてピクチャメモリ１０１は、ブロック分割部１０２からの読出し命令を受け付けると当該読出し命令に係る入力画像をブロック分割部１０２及び画面内予測部１０８に出力する。

次に、ブロック分割部１０２は、入力画像（ピクチャ）を複数の制御ブロックに分割する（Ｓ１０２）。具体的には、ブロック分割部１０２は、符号化対象ピクチャを構成する画素を出力用のブロック毎に出力する。このブロックのサイズは、予め設定される複数のブロックサイズのいずれかである。

より具体的には、ブロック分割部１０２は，ピクチャメモリ１０１から入力される入力画像を、符号化処理単位であるコーディングユニット（ＣＵ）と呼ばれるブロックに分割する。図３は、ＨＥＶＣ規格の画面間予測において用いることができる各ブロックのサイズを説明するための図である。

なお、ブロック分割部１０２が出力するブロックは、一つのＣＵであってもよいし、複数のＣＵをまとめたコーディングツリーユニット（ＣＴＵ）であってもよい。本実施の形態において、このＣＵ又はＣＴＵが制御ブロックに対応する。

図３に示されているように、ＣＵのサイズは、６４×６４画素から８×８画素の４種類から選択される。一般的に、入力画像の画素値が複雑な領域、又は対象物の動きが複雑な領域では小さなブロックサイズが選択される。一方、入力画像の画素値が単純な領域、又は対象物の動きが単純な領域では大きなブロックサイズが選択される。

また、以降の処理は、ブロック分割部１０２が出力する、このＣＵ単位、又は複数のＣＵをまとめたＣＴＵ単位で行われる。説明の便宜上、以下の説明においてはＣＵ単位で処理を行う構成について説明する。

次に、画面間予測部１０７は、ＣＵに対して当該ＣＵサイズ以下のブロックサイズを有する予測処理用のブロック（プレディクションユニット（ＰＵ））を設定する。具体的には、画面間予測部１０７は、制御ブロック（ＣＵ又はＣＴＵ）内のＰＵを全て同じサイズに設定する（Ｓ１０３）。なお、この処理の詳細は後述する。次に、画面間予測部１０７は、設定されたＰＵ毎に予測画像を生成する（Ｓ１０４）。

具体的には、画面間予測部１０７は、ブロック分割部１０２から入力されるＣＵを基に、ピクチャバッファ１０６に格納されている既に符号化済みの過去のピクチャの再構成画像を用いて画面間予測処理を行う。より具体的には、画面間予測部１０７は、入力画像の画素構成と最も似ている画素構成を持った領域を再構成画像の中から探索（動き探索）し、探索された再構成画像内の領域を予測画像として生成（動き補償）する。このとき、画面間予測部１０７は、ＣＵ単位のブロックをさらに分割したブロック（ＰＵ）単位で動き補償を行う。

図３に示されているように、ＨＥＶＣ規格においては、例えばＣＵが３２×３２画素のブロックサイズの場合、ＰＵのブロックサイズを、３２×３２画素から２４×３２画素の８種類のブロックサイズの中から選択することが可能である。しかし、本実施の形態においては、画面間予測部１０７は、ブロック分割部１０２が出力するＣＵ又はＣＴＵ内に含まれる複数のＰＵのサイズを、全て同じサイズに設定する。なお、画面間予測部１０７は、撮像物の動きが複雑な画像では小さなＰＵサイズを選択し、撮像物の動きが単純な画像では大きなＰＵサイズを選択する。

画面内予測部１０８は、ブロック分割部１０２が出力するＣＵ毎に、当該ＣＵの近傍の画素であって既に符号化済みの画素を、ピクチャバッファ１０６より取得する。そして画面内予測部１０８は、この取得した画素を用いて画面内予測画像を生成する。なお、画面内予測処理での予測処理用のブロック（ＰＵ）のサイズとして、原則、ＣＵと同じサイズが用いられる。例外として、ＣＵサイズが最小（８×８画素）の場合にのみ、水平２分割又は垂直２分割した予測処理用のブロック（８×４画素又は４×８画素）を用いることを許可してもよい。

切替部１０９は、画面間予測部１０７及び画面内予測部１０８でそれぞれ生成された予測画像のうち、より符号化効率が良い方の予測画像を選択して出力する。具体的には、切替部１０９は、画面内予測及び画面間予測のうち、予測残差の符号化に要する情報量と、動きベクトル等のサイド情報量との和が最小となる予測方法を選択する。

差分演算部１１２は、ブロック分割部１０２から入力されるＣＵ単位の入力画像と、切替部１０９から入力されるＣＵ単位の予測画像との差分値である差分画像を生成する（Ｓ１０５）。差分演算部１１２は、生成した差分画像をブロックサイズ決定部１０３に出力する。

ブロックサイズ決定部１０３は、図３に記載された複数の直交変換ブロックサイズ（ＴＵサイズ）から、符号化効率の観点で最適なブロックサイズを決定する。例えば、ブロックサイズ決定部１０３は、入力された差分画像を、それぞれのＴＵサイズでアダマール変換して得られる情報量を比較してＴＵサイズを決定する。また、ブロックサイズ決定部１０３は、制御ブロック（ＣＵ又はＣＴＵ）内のＴＵを全て同じサイズに設定する（Ｓ１０６）。なお、この処理の詳細は後述する。

残差係数符号化部１０４は、設定されたＴＵ毎に、直交変換及び量子化処理を行うことで残差係数を生成する（Ｓ１０７）。

具体的には、残差係数符号化部１０４は、ブロックサイズ決定部１０３において決定されたブロックサイズのＴＵを処理単位として、差分演算部１１２において生成された差分画像を直交変換することで直交変換係数を生成する。さらに、残差係数符号化部１０４は、得られた直交変換係数の各周波数成分に対して量子化処理を行うことで残差係数を生成する。

残差係数復号化部１０５は、ブロックサイズ決定部１０３において決定されたブロックサイズのＴＵを処理単位として、残差係数符号化部１０４から入力される残差係数を逆量子化することで直交変換係数を生成する。さらに、残差係数復号化部１０５は、得られた直交変換係数を逆直交変換することで再構成差分画像を生成する（Ｓ１０８）。

加算演算部１１１は、残差係数復号化部１０５から入力される再構成差分画像と、切替部１０９から入力される予測画像とをＣＵ単位で加算することにより再構成画像を生成する（Ｓ１０９）。

ピクチャバッファ１０６は、加算演算部１１１から入力される再構成画像を格納する。この再構成画像は、現在の符号化対象ピクチャより時間的に後に符号化されるピクチャの画面間予測処理で参照される。また、この再構成画像は、現在の符号化対象のＣＵより符号化順で後に符号化されるＣＵの画面内予測処理で参照される。

符号列生成部１１０は、残差係数符号化部１０４から入力される残差係数、及びその他の復号化処理時に必要となる符号化情報を、可変長符号化及び算術符号化することで符号列を生成する（Ｓ１１０）。なお、符号列生成部１１０は、この処理を、残差係数が生成された後（ステップＳ１０７の後）であれば任意のタイミングに行ってよい。

また、ステップＳ１０３〜Ｓ１１０の処理が、制御ブロック（ＣＵ）単位で繰り返し行われる（Ｓ１１１）。

以下、ブロックサイズ決定部１０３、画面間予測部１０７及び画面内予測部１０８における詳細な動作について図面を参照しながら説明する。

図４は、４つのＣＵ３０２（位置Ａ）、３０３（位置Ｂ）、３０４（位置Ｃ）、３０５（位置Ｄ）から成るＣＴＵ３０１を示す図である。図４の（ａ）は、全てのＣＵが画面間予測される場合を示す図である。また、図４の（ｂ）は、右上（位置Ｂ）のＣＵ３０３だけが画面内予測される場合を示す図である。さらに、図４の（ｃ）は、右上（位置Ｂ）のＣＵ３０３に加え、左下（位置Ｃ）のＣＵ３０４が画面内予測される場合を示す図である。図４の（ｄ）は、全てのＣＵが画面内予測される場合を示す図である。

図５は、図４の（ａ）〜（ｃ）で示した３つのパターンのＣＴＵ３０１をそれぞれ、図１に示した各処理部を構成要素とするパイプライン構成により処理する場合のタイミングチャートである。命令４０１は、画面間予測部１０７又は画面内予測部１０８の動作を示す。命令４０２は、切替部１０９、差分演算部１１２及びブロックサイズ決定部１０３の動作を示す。命令４０３は、残差係数符号化部１０４の動作を示す。命令４０４は、残差係数復号化部１０５及び加算演算部１１１の動作を示す。

なお、図５において命令４０１は縦縞のブロックで表現される。また、命令４０２は、横縞のブロックで表現される。さらに、命令４０３は千鳥格子状のブロックで表現さる。そして、命令４０４は網かけ状のブロックで表現される。

図５の縦軸は、各ＣＵの処理を示す。図５に示す縦軸のＡは、図４に示すＣＵ３０２の処理を示す。また、縦軸のＢは、図４に示すＣＵ３０３の処理を示す。縦軸のＣ及びＤは、それぞれＣＵ３０４及びＣＵ３０５の処理を示す。

図５の横軸は、時間の推移を示す。例えば、図５は、位置Ａについては、時間の推移と共に命令４０１から命令４０４までが順に推移していく様子を示している。

［ブロックサイズ決定部１０３の詳細動作］
ブロックサイズ決定部１０３は、例えば、符号化効率の観点で最適なＴＵサイズを決定する場合、ブロック分割部１０２が出力するＣＴＵ内のＴＵのサイズを、全て同じサイズに設定する。

ＨＥＶＣ規格では、ＣＴＵを構成するＣＵのサイズに応じて、図３に基づき、いくつかのＴＵサイズが選択可能である。しかし、本実施の形態においては、ブロックサイズ決定部１０３は、１つのＣＴＵに含まれる全てのＣＵについて最適なＴＵサイズを１つだけ設定する。

この動作について図６を用いて説明する。図６の（ａ）は、縦横それぞれ３２画素であるＣＴＵ５０１が、４つのＣＵ、すなわち、ＣＵ５０２、ＣＵ５０３、ＣＵ５０４及びＣＵ５０５から構成される場合を示す。

ＨＥＶＣ規格では、図３に示すＣＵサイズ１６×１６の場合に示す通り、３通りのＴＵサイズが許容される。よって、例えば、図６の（ａ）に示すように、ＣＵ毎に最適なＴＵサイズとして、ＣＵ５０２及び５０３に対しては１６×１６、ＣＵ５０４及びＣＵ５０５に対しては８×８、が選択される。

一方、本実施の形態でのブロックサイズ決定部１０３は、ブロック分割部１０２が出力するＣＴＵ毎に、そのＣＴＵを構成する全てのＣＵのＴＵサイズを同じサイズに設定する。具体的には、ブロックサイズ決定部１０３は、ＣＴＵに含まれる複数のＣＵのＴＵサイズの候補として、全てのＣＵのＴＵサイズが同じ場合のみを用いる。そして、画面間予測部１０７は、候補となるＴＵサイズのうち、符号化効率の観点で最良となるＴＵサイズを決定する。例えば、ＴＵサイズが８×８の場合には、図６の（ｂ）に示すように、全てのＣＵでのＴＵサイズが同じサイズに設定される。

なお、ブロックサイズ決定部１０３は、ＣＴＵを構成する複数のＣＵのうち、一つのＣＵのＴＵサイズを符号化効率に基づき決定し、決定されたＴＵサイズを他のＣＵに適用してもよい。

以上の構成により、残差係数符号化部１０４及び残差係数復号化部１０５での直交変換に用いるＴＵサイズが全て同じに設定される。この結果、当該処理部での直交変換に要する処理時間のばらつきが低減される。これにより、図５の（ａ）に示すように、パイプラインの乱れが低減される。

また、リコンフィギャラブルデバイスを用いて直交変換処理を行う回路が構成される場合においても、ＣＴＵ内では全て同じＴＵサイズを用いられるため再構成に要する処理の発生を低減できる。この結果、再構成に伴う処理時間によるパイプラインの乱れが、同一ＣＴＵ内で低減される。また、再構成に伴う消費電力増大を抑えることができる。

［画面間予測部１０７及び画面内予測部１０８における動作］
本実施の形態において画面間予測部１０７は、ＣＵ内のＰＵのサイズを以下のように設定する。つまり、本実施の形態においては、画面間予測部１０７は、１つのＣＵ内に属するＰＵを全て同じサイズに設定する。また、画面間予測部１０７は、ブロック分割部１０２が出力するＣＴＵを構成する複数のＣＵについては、その複数のＣＵ内に含まれる全てのＰＵを同じサイズに設定する。

この場合、例えば、画面間予測部１０７が動き探索時に用いるＰＵサイズを制限することで、上記動作を実現する。以下、上記の動作について図７を用いて説明する。

図７の（ａ）は、縦横それぞれ３２画素であるＣＴＵ６０１が、４つのＣＵ、すなわち、ＣＵ６０２、ＣＵ６０３、ＣＵ６０４及びＣＵ６０５から構成される場合を示す。

ＨＥＶＣ規格での動き探索の場合、図３に示すＣＵサイズ１６×１６の場合に示す通り、８通りのＰＵサイズが許容される。よって、例えば、図７の（ａ）に示すように、ＣＵ毎に最適なＰＵサイズとして、ＣＵ６０２に対しては１６×１６、ＣＵ６０３に対しては１６×８、ＣＵ６０４に対しては８×１６、ＣＵ６０５に対しては８×８、が選択される。

一方、本実施の形態での画面間予測部１０７は、ブロック分割部１０２が出力するＣＴＵ毎に、そのＣＴＵを構成する全てのＣＵのＰＵサイズを同じサイズに設定するように動き探索を行う。具体的には、画面間予測部１０７は、ＣＴＵを構成する複数のＣＵのＰＵサイズの候補として、全てのＣＵのＰＵサイズが同じである場合のみを用いる。そして、画面間予測部１０７は、候補となるＰＵサイズ毎の動き探索結果のうち、符号化効率の観点で最良となるＰＵサイズでの動き探索結果を選択し、選択された動き探索結果を用いて予測画像を生成する。例えば、ＰＵサイズが１６×８の場合には、図７の（ｂ）に示すように、全てのＣＵのＰＵサイズが同じサイズに設定される。

なお、画面間予測部１０７は、ＣＴＵを構成する複数のＣＵのうち、一つのＣＵのＰＵサイズを符号化効率に基づき決定し、決定されたＰＵサイズを他のＣＵに適用してもよい。

また、ブロック分割部１０２の出力が、縦横１６画素のＣＵ一つの場合は、画面間予測部１０７は、そのＣＵ内のＰＵを全て同じサイズに設定する。例えば、画面間予測部１０７は、図８の（ａ）〜（ｄ）に示す４通りの場合のみを候補として、動き探索を行う。また、画面間予測部１０７は、図８の（ｅ）に示すようにＣＵ内に異なるサイズのＰＵが含まれるパターンは候補として用いない。

また、画面内予測においては、通常、ＣＵサイズと予測処理用のブロックであるＰＵのサイズとは、基本的に同じである。このため、ブロック分割部１０２が、複数のＣＵから成るＣＴＵを出力する場合においても、複数のＣＵのＰＵサイズは全て同じである。ただし、ＣＵサイズが最小の場合のみ、水平２分割又は、垂直２分割したＰＵサイズが利用可能としてもよい。その場合、画面内予測処理部予測部１０８は、ＣＴＵ内のすべ全てのＣＵについて、画面内予測に用いるＰＵサイズとして２分割する場合と２分割しない場合のいずれかを、すべてのＣＵに適用するように動作する。

以上のような構成とすることにより、本実施の形態に係る動画像符号化装置１００では、ＣＴＵに含まれる複数のＣＵのＰＵサイズが全て同じサイズに設定される。この結果、画面間予測部１０７又は画面内予測部１０８でのＣＵ毎の処理時間のばらつきが低減される。これにより、図５の（ａ）に示すように、パイプラインの乱れが低減される。

［予測処理動作の変形例］
以下、画面間予測部１０７及び画面内予測部１０８における予測動作の変形例について、図面を参照しながら説明する。

ブロック分割部１０２が複数のＣＵから成るＣＴＵを出力する場合、切替部１０９も対応するサイズのＣＴＵを出力する。このために、切替部１０９の入力元である画面間予測部１０７及び画面内予測部１０８も、対応するＣＴＵ、すなわち、複数のＣＵを出力する。この場合、切替部１０９は、図４の（ａ）及び（ｄ）に示すように、ＣＴＵ内の全てのＣＵに対して、画面内予測及び画面間予測のうち同じ予測方法を選択する。また、切替部１０９は、図４の（ｂ）及び（ｃ）に示すように、ＣＴＵ内に含まれる複数のＣＵに対して異なる予測方法を選択しない。

ここで、上記のようにＣＴＵ単位で画面内予測と画面間予測を切り替る場合の利点を、図４及び図５を用いて説明する。

図４の（ａ）では、全てのＣＵに画面間予測処理が行われるため、予測処理に符号化済みの近傍画素を必要としない。このため、図５の（ａ）に示すようなパイプライン動作が可能である。つまり、ＣＵ３０２とほぼ並列してＣＵ３０２、ＣＵ３０３及びＣＵ３０４を処理することが可能である。

一方、図４の（ｂ）の場合、ＣＵ３０３には、近傍の復号化済み画素値を必要とする画面内予測処理が用いられる。このため、動画像符号化装置１００は、位置Ｂの予測処理を、位置Ａでの残差係数復号化処理が完了するまで開始できない。これにより、図５の（ｂ）に示すようなパイプライン動作が行われる。

同様に、図４の（ｃ）の場合、位置Ｂ及びＣでのＣＵに画面内予測処理が用いられるため、図５の（ｃ）に示すようなパイプライン動作が行われる。

このように、画面内予測処理と画面間予測処理とが、同一ＣＴＵ内で混在するかどうか、及び、画面内予測処理の個数によって、パイプラインの動作、及び処理に要するパイプライン段数などが異なる。このような全ての場合に、パイプライン動作を対応させるには、回路が非常に複雑になる。一方で、本実施の形態に係る切替部１０９は、ＣＴＵ内で一種類のみの予測方法を用いる。これにより、上記問題を解決できる。

また、異なるＰＵサイズでの予測処理を可能にするため、リコンフィギャラブルデバイスを用いて画面間予測部１０７又は画面内予測部１０８を構成することが考えられる。この場合においても、本実施の形態によれば、ＣＴＵ内では全て同じＰＵサイズを用いる構成であるため、ＣＴＵの処理時間内においては、デバイスの再構成に伴う処理時間の発生を低減できる。これにより、パイプラインの乱れが低減される。さらに、頻繁な再構成に伴う消費電力の増大を抑えることもできる。

［まとめ］
本実施の形態に係る動画像符号化装置１００は、符号化対象の動画像を所定の符号化規格に基づいて符号化する装置であって、動画像を取得するピクチャメモリ１０１と、動画像に含まれる画像を複数の制御ブロック（ＣＵ又はＣＴＵ）に分割するブロック分割部１０２と、各制御ブロックを複数の予測ブロック（ＰＵ）に分割し、予測ブロック毎に、画面間予測及び画面内予測のうちいずれか一方を用いて予測画像を生成する画面間予測部１０７又は画面内予測部１０８と、生成された予測画像と画像との差分を予測ブロック毎に算出することで残差成分を生成する差分演算部１１２と、残差成分に直交変換、量子化及び可変長符号化を行うことにより、圧縮後の動画像を生成するブロックサイズ決定部１０３、残差係数符号化部１０４及び符号列生成部１１０とを備える。所定の符号化規格では、各制御ブロックを異なるサイズの複数の予測ブロックに分割することが許可されている。言い換えると、制御ブロック内に属する複数の予測ブロックを異なるサイズに設定することが許可されている。画面間予測部１０７又は画面内予測部１０８は、各制御ブロックを、異なるサイズの複数の予測ブロックに分割せず、全て同じサイズの予測ブロックに分割する。つまり、画面間予測部１０７又は画面内予測部１０８は、制御ブロック内に属する複数の予測ブロックを異なるサイズに設定せず、全て同じサイズに設定する。言い換えると、画面間予測部１０７又は画面内予測部１０８は、制御ブロック内に属する複数の予測ブロックを異なるサイズに設定することを禁止する。つまり、画面間予測部１０７又は画面内予測部１０８は、制御ブロック内に属する複数の予測ブロックを常に全て同じサイズに設定する。

例えば、ＨＥＶＣでは、予測ブロックのサイズとして色々なサイズが選択可能であることにより、符号化効率が改善される。一方、図３に示された全てのサイズについての処理に対応可能なハードウェアを実現しようとすると、Ｈ．２６４に対応したハードウェアに比べて何倍もの回路が必要である。特に、フルＨＤ画像に対し４倍の画面解像度を有する４Ｋ画像を処理する場合、処理すべき画素数が膨大であるため、複数の処理要素の並列処理が必要である。その場合の並列処理構成方法として、各処理要素を順に並べたパイプライン構成が考えられる。

しかし、パイプライン構成においては、各処理要素を効率的に機能させるため、各処理要素の処理時間が変動、又は、データの依存関係により処理待ち時間が発生を低減する必要がある。また、このような動作を避けられない場合、例外処理回路の追加による回路規模の増大、又は変動を吸収できるようマージンを考慮した回路設計等が必要となる。

これに対して、上記の構成により、予測画像を生成する際に用いられるＰＵのサイズが制御ブロック内で全て同じに設定される。この結果、画面間予測部１０７又は画面内予測部１０８でのＣＵ毎の処理時間のばらつきが低減される。これにより、図５の（ａ）に示すように、パイプラインの乱れが低減される。

また、本実施の形態における画面間予測部１０７又は画面内予測部１０８は、ＣＵ又はＣＴＵ毎に画面間予測及び画面内予測を切り換えることにより、ＣＵ又はＣＴＵ内に属する全てのＰＵについて同一の予測方法を用いて予測画像を生成する。つまり、所定の符号化規格では、各制御ブロック（ＣＵ又はＣＴＵ）が分割されることにより得られた複数の予測ブロック（ＰＵ）に対して、画面間予測及び画面内予測のうち異なる予測方法を用いることが許可されている。画面間予測部１０７又は画面内予測部１０８は、各制御ブロックが分割されることにより得られた複数の予測ブロックに対して、画面間予測及び画面内予測のうち異なる予測方法を用いず、各制御ブロックが分割されることにより得られた複数の予測ブロックの全てに対して、画面間予測及び画面内予測のうち同一の予測方法を用いて予測画像を生成する。言い換えると、画面間予測部１０７又は画面内予測部１０８は、制御ブロック内に属する複数の予測ブロックに、画面間予測及び画面内予測のうち異なる予測方法が用いられることを禁止する。つまり、画面間予測部１０７又は画面内予測部１０８は、制御ブロック内に属する複数の予測ブロックの全てに、常に画面間予測及び画面内予測のうち同一の予測方法を用いる。

これにより、図５の（ａ）に示すように、パイプラインの乱れが低減される。

また、ブロックサイズ決定部１０３は、制御ブロック（ＣＵ又はＣＴＵ）を複数の直交変換ブロック（ＴＵ）に分割し、直交変換ブロック毎に残差成分を直交変換する。所定の符号化規格では、各制御ブロックを異なるサイズの複数の直交変換ブロックに分割することが許可されている。ブロックサイズ決定部１０３は、各制御ブロックを、異なるサイズの複数の直交変換ブロックに分割せず、全て同じサイズの直交変換ブロックに分割する。つまり、ブロックサイズ決定部１０３は、制御ブロック内に属する複数の直交変換ブロックを異なるサイズに設定することが許可されており、ブロックサイズ決定部１０３は、制御ブロック内に属する複数の直交変換ブロックを異なるサイズに設定せず、全て同じサイズに設定する。言い換えると、ブロックサイズ決定部１０３は、制御ブロック内に属する複数の直交変換ブロックを異なるサイズに設定することを禁止する。つまり、ブロックサイズ決定部１０３は、制御ブロック内に属する複数の直交変換ブロックを常に全て同じサイズに設定する。

これにより、残差係数符号化部１０４及び残差係数復号化部１０５でのＣＵ毎の処理時間のばらつきを低減できる。

また、各制御ブロック（ＣＵ）のサイズは、縦１６画素及び横１６画素である。これにより、従来のＨ．２６４等に準拠した画像符号化装置からの変更を低減できる。

なお、これらの全般的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

また、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、上記のフローチャートに示す複数のステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

本開示に係る動画像符号化装置は、映像信号を符号化して生成した符号化ストリームを蓄積、伝送する際に使用される放送業務用機器、民生用録画機、デジタルビデオカメラ、パーソナルコンピュータ及び携帯電話機等に適用できる。

１００ 動画像符号化装置
１０１ ピクチャメモリ
１０２ ブロック分割部
１０３ ブロックサイズ決定部
１０４ 残差係数符号化部
１０５ 残差係数復号化部
１０６ ピクチャバッファ
１０７ 画面間予測部
１０８ 画面内予測部
１０９ 切替部
１１０ 符号列生成部
１１１ 加算演算部
１１２ 差分演算部
３０１、５０１、６０１ ＣＴＵ
３０２、３０３、３０４、３０５、５０２、５０３、５０４、５０５、６０２、６０３、６０４、６０５ ＣＵ

Claims (2)

1. 動画像に含まれる対象ブロックを符号化する動画像符号化方法であって、
   前記動画像に含まれる複数の処理単位を３以上の異なるサイズの中から選んだサイズによって複数の変換ブロックに分割し、
   予測画像を生成し、
   前記予測画像と前記画像との残差成分を生成し、
   前記残差成分を前記変換ブロック単位で直交変換し、量子化及び可変長符号化を行い、
   前記処理単位に含まれるすべての前記複数の変換ブロックは、前記３以上の異なるサイズの中の１つのサイズであり、同じサイズである
   動画像符号化方法。
2. 動画像に含まれる対象ブロックを符号化する動画像符号化装置であって、
   プロセッサを含み、
   前記プロセッサは記録媒体を使って、
   前記動画像に含まれる複数の処理単位を３以上の異なるサイズの中から選んだサイズによって複数の変換ブロックに分割し、
   予測画像を生成し、
   前記予測画像と前記画像との残差成分を生成し、
   前記残差成分を前記変換ブロック単位で直交変換し、量子化及び可変長符号化を行い、
   前記処理単位に含まれるすべての前記複数の変換ブロックは、前記３以上の異なるサイズの中の１つのサイズであり、同じサイズである
   動画像符号化装置。

Images