JP5655480B2 - 動画像符号化装置 - Google Patents

Description

本件開示は、マクロブロックごとに決定されるベストモードを適用して圧縮符号化を行う動画像符号化装置に関する。

動画像の圧縮符号化方式としては、ＭＰＥＧ(Moving Picture Experts Group)−２／ＭＰＥＧ−４や、Ｈ．２６４／ＡＶＣ(Advanced Video Coding)などが知られている。これらの圧縮符号化方式では、動画像に含まれる各ピクチャの画像は、例えば１６×１６画素のマクロブロックごとに圧縮処理される。

Ｈ．２６４／ＡＶＣでは、圧縮率を向上するために、多数の予測モードの中から、個々のブロックに適した予測モードを選択的に適用して圧縮処理が行われる。予測モードの選択は、それぞれの予測モードを適用した際の予測コストを求め、これらを比較した結果に基づいて行われる。したがって、ＰピクチャやＢピクチャについては、７種類の画面間予測モードおよび２２種類の画面間予測モードに、スキップモードあるいはダイレクトモードを加えた合計３０種類の予測モードについて、予測コストがそれぞれ算出される(非特許文献１参照)。

例えば、Ｐピクチャの場合は、ベストインターモードのコストと、ベストイントラモードのコストと、スキップモードのコストとの中で最も小さいコストに対応する予測モードが選択される。なお、ベストインターモードは、７種類の画面間予測モードに対応する予測コストの中で、最も小さいコストを与えるモードである。また、ベストイントラモードは、２２種類の画面内予測モードに対応する予測コストの中で、最も小さいコストを与えるモードである。

「Ｈ.２６４規格書」Joint Video Team of ITU-T and ISO/IEC JTC 1, "Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC)," document JVT-G050r1, May 2003; technical corrigendum 1 documents JVT-K050r1 (non-integrated form) and JVT-K051r1 (integrated form), March 2004; and Fidelity Range Extensions documents JVT-L047 (non-integrated form) and JVT-L050 (integrated form), July 2004

上述したように、従来方式では、各マクロブロックについて多数の予測モードでのコストを算出するので、コスト算出のための演算量が非常に多い。このため、ベストモード決定処理のためのハードウェアは大規模となり、消費電力も大きくなってしまう。

本件開示の装置は、動画像符号化装置において、ベストモード決定のための演算量を削減することを目的とする。

上述した目的は、以下に開示する動画像符号化装置によって達成することができる。

一つの観点による動画像符号化装置は、動画像データに含まれる各フレームに含まれるマクロブロックのうち、所定の密度で分布する複数の全探索ブロックそれぞれについて、全ての予測モードの中から最もコストの小さいベストモードを探索する全探索部と、各フレームに含まれるマクロブロックのうち、全探索ブロック以外の予測ブロックそれぞれについて、既にベストモードの探索が完了したマクロブロックのうち、当該予測ブロックに隣接するマクロブロックを含む参照範囲内のマクロブロックについての探索結果に基づいて、探索対象の予測ブロックのベストモードが属する予測モードの種別を予測する種別予測部と、各予測ブロックについて、種別予測部で予測された種別に含まれる予測モードの中からベストモードを探索する予測探索部とを備える。

本件開示の動画像符号化装置によれば、ベストモード決定のための演算量を削減することができる。

動画像符号化装置の一実施形態を示す図である。 全探索ブロックと予測ブロックとの関係を説明する図である。 イントラモード予測部の一実施形態を示す図である。 スキップモード予測部の一実施形態を示す図である。 予測モードの種別を予測する動作を表す流れ図である。 動画像符号化動作を表す流れ図である。 画質評価結果を説明する図である。 全探索ブロックおよび予測ブロックの別の配置例を説明する図である。 全探索ブロックおよび予測ブロックの更に別の配置例を説明する図である。 イントラモード予測部の別実施形態を示す図である。 スキップモード予測部の別実施形態を示す図である。

以下、図面に基づいて、本件開示の動画像符号化装置の実施形態について詳細に説明する。
(一の実施形態)
図１に、動画像符号化装置の一実施形態を示す。

図１に示した動画像符号化装置は、イントラ予測部１０１とインター予測部１０２とモード決定部１０３とＤＣＴ量子化部１０４とエントロピー符号化部１０６と再構成画像生成部１０６と再構成画像保持部１０７と種別予測部１１０とを備える。

符号化対象の動画像データは、図１に示した入力ポートＰｉｎを介して、イントラ予測部１０１およびインター予測部１０２に入力される。モード決定部１０３は、イントラ予測部１０１による予測結果およびインター予測部１０２による予測結果のいずれかを選択的にＤＣＴ量子化部１０４に入力する。ＤＣＴ量子化部１０４による量子化処理結果は、エントロピー符号化部１０５によって符号化される。生成された符号化データは、出力ポートＰｏｕｔを介して出力される。また、再構成画像生成部１０６は、ＤＣＴ量子化部１０４による量子化処理結果から再構成画像を生成する。この再構成画像は、イントラ予測部１０１の予測処理に供されるとともに、再構成画像保持部１０７に保持される。そして、再構成画像保持部１０７に保持された再構成画像は、インター予測部１０２による予測処理に供される。

イントラ予測部１０１は、入力される動画像データの各ピクチャに含まれる各マクロブロックについて、種別予測部１１０からの指示に応じてイントラ予測を行う。イントラ予測部１０１では、イントラ予測モードに含まれる複数の予測モードを適用して、予測処理が行われる。そして、この予測処理により、各予測モードの予測画像とコストとが求められる。なお、イントラ予測モードに含まれる各予測モードは、例えば、３種類のマクロブロックサイズと９種類あるいは４種類の予測方向との組み合わせで示される。

インター予測部１０２は、入力される動画像データの各ピクチャに含まれる各マクロブロックについて、種別予測部１１０からの指示に応じてインター予測を行う。インター予測部１０２では、インター予測モードに含まれる複数の予測モードを適用して、予測処理が行われる。そして、この予測処理により、各予測モードの予測画像とコストとが求められる。なお、インター予測モードには、例えば、マクロブロックサイズが異なる７種類の予測モードが含まれる。

モード決定部１０３は、イントラ予測部１０１およびインター予測部１０２による予測結果の中から、最もコストが低いベストモードによる予測画像を選択する。選択された予測画像およびコストは、ＤＣＴ量子化部１０４およびエントロピー符号化部１０５によって符号化される。

図１に示した種別予測部１１０は、各ピクチャに含まれる各マクロブロックのうち、後述するように分布する予測ブロックについて、ベストモードが含まれる予測モードの種別を予測する。ベストモードがイントラ予測モードに含まれることを予測した場合に、種別予測部１１０は、イントラ予測部１０１に対して、当該予測ブロックについてイントラ予測処理を実行する旨を指示する。この指示に応じて、イントラ予測部１０１とモード決定部１０３とにより、イントラ予測モードの中からベストモードが探索される。また、ベストモードがインター予測モードに含まれることを予測した場合に、種別予測部１１０は、インター予測部１０２に対して、当該予測ブロックについてインター予測処理を実行する旨を指示する。この指示に応じて、インター予測部１０２とモード決定部１０３とにより、インター予測モードの中からベストモードが探索される。一方、各ピクチャに含まれる各マクロブロックのうち、後述するように分布する全探索ブロックについて、種別予測部１１０は、イントラ予測部１０１とインター予測部１０２との双方に、それぞれの予測処理を実行する旨を指示する。この指示に応じて、イントラ予測部１０１とインター予測部１０２とモード決定部１０３とにより、イントラ予測モードおよびインター予測モードを含む全ての予測モードの中からベストモードが探索される。

図１に示した実施形態では、種別予測部１１０は、探索結果記憶部１１１と、探索結果読出部１１２と、イントラモード予測部１１３と、スキップモード予測部１１４と、予測種別出力部１１５と、モード予測制御部１１６と、配置情報記憶部１１７とを備える。

探索結果記憶部１１１は、モード決定部１０３によって各マクロブロックのベストモードが決定されるごとに、このベストモードと対応するコストとを含む探索結果を、例えば、マクロブロックのピクチャにおける位置に対応して記憶する。探索結果読出部１１２は、モード予測制御部１１６からの指示に応じて、予測対象の予測ブロックに対応する参照範囲に含まれる各マクロブロックのベストモードおよびコストを読み出す。読み出されたベストモードおよびコストは、イントラモード予測部１１３およびスキップモード予測部１１４に入力される。

予測種別出力部１１５は、イントラモード予測部１１３およびスキップモード予測部１１４による予測結果と、モード予測制御部１１６からの通知とに基づいて、イントラ予測部１０１およびインター予測部１０２への指示を作成する。モード予測制御部１１６は、配置情報記憶部１１７に保持された配置情報を参照し、符号化対象のマクロブロックが全探索ブロックであるか予測ブロックであるかを判断する。この判断結果は、予測種別出力部１１５に通知される。符号化対象のマクロブロックが全探索ブロックである旨の通知に応じて、予測種別出力部１１５は、イントラ予測部１０１とインター予測部１０２との双方の予測処理を実行させる指示を作成する。一方、予測ブロックである旨の通知に応じて、予測種別出力部１１５は、イントラモード予測部１１３およびスキップモード予測部１１４による予測結果に基づいて、イントラ予測部１０１あるいはインター予測部１０２に予測処理を実行させる指示を作成する。つまり、図１に示した構成例では、種別予測部１１０からの指示に応じて、イントラ予測部１０１とインター予測部１０２との両方が予測処理を行うことで、全探索ブロックについてベストモードを探索する全探索部が実現されている。また、種別予測部１１０からの指示に応じて、イントラ予測部１０１あるいはインター予測部１０２が選択的に予測処理を行うことで、予測ブロックについてベストモードを探索する予測探索部が実現されている。

配置情報記憶部１１７には、例えば、動画像データに含まれる各ピクチャにおける全探索ブロックの分布に関する配置情報が保持されている。そして、モード予測制御部１１６は、この配置情報に基づいて、符号化対象のマクロブロックが全探索ブロックであるか、全探索ブロック以外の予測ブロックであるかを判断する。

図２に、全探索ブロックと予測ブロックとの関係を説明する図を示す。図２(Ａ)に、全探索ブロックと予測ブロックとの分布を示す。また、図２(Ｂ)に、符号化対象の予測ブロックと参照範囲との関係を示した。なお、図２(Ａ)において、全探索ブロックを、網掛けを付して示した。

図２(Ａ)の例では、１ピクチャに含まれるＮ×Ｍ個のマクロブロックの半分が全探索ブロックである。そして、残りの半分が予測ブロックである。また、図２(Ａ)の例では、全探索ブロックおよび予測ブロックは１ピクチャ内に均一に分布している。なお、図２の例では、各マクロブロックのピクチャ内での位置を、行番号と列番号との組で示した。

図２(Ｂ)の例では、符号化対象の予測ブロックＴ：ＭＢ(ｊ、ｋ)に対応する参照範囲に含まれるマクロブロックを、破線で囲んで示した。なお、図２(Ｂ)の例では、１ピクチャに含まれる各マクロブロックは、第１行から列番号の若い順に動画像符号化装置による符号化対象となっている。この場合に、参照範囲に含まれる各マクロブロックの位置は、図２(Ｂ)に示すような行番号と列番号との組で示される。

本出願人は、様々な動画像シーケンスについて、ピクチャ内での予測モードの分布を調べた。その結果、各種別の予測モードが適用されたマクロブロックは、ピクチャ内で集中して分布していることが分かった。つまり、各マクロブロックのベストモードと、その周囲のマクロブロックのベストモードとの間には相関がある。この相関関係を利用すれば、符号化対象のマクロブロックのベストモードを、このマクロブロックの周囲のマクロブロックに対応するベストモードから予測することができる。

例えば、図２(Ｂ)に示した参照範囲に含まれる各マクロブロックの符号化処理は、符号化対象のマクロブロックＴに先立って完了している。したがって、上述した参照範囲内の各マクロブロックに対応するベストモードおよびコストを含む探索結果は、既に、探索結果記憶部１１１に記憶されている。そして、この参照範囲内の各マクロブロックに対応する探索結果が、探索結果読出部１１２を介して、イントラモード予測部１１３、スキップモード予測部１１４の処理に供される。

イントラモード予測部１１３では、例えば、探索結果読出部１１２から受け取った探索結果が、所定のイントラ判定条件を満たすときに、符号化対象の予測ブロックのベストモードがイントラ予測モードに含まれる旨の予測結果を出力する。イントラモード予測部１１３は、イントラ判定条件として、イントラ予測モードに含まれる予測モードが適用されたイントラブロックの数Ｎｒと、参照範囲内の４つのマクロブロックに対応するコストＣ１〜Ｃ４とに関する条件を用いることができる。イントラモード予測部１１３は、例えば、次に挙げる条件１と条件２とが両方とも真であるときに、符号化対象の予測ブロックに適合する予測モードの種別はイントラ予測モードであると判定する。
条件１：イントラブロックの数Ｎｒが所定の閾値Ｔｈ３以上である。
条件２：イントラブロックのコストの平均値Ｄ１と、インター予測モードに含まれる予測モードが適用されたインターブロックのコストの平均値Ｄ２との比(Ｄ１／Ｄ２)が所定の閾値Ｔｈ４以下である。

上述した条件１は、参照範囲内の各マクロブロックのベストモードと符号化対象の予測ブロックに適用すべき予測モードとの相関関係を用いた条件である。例えば、閾値Ｔｈ３として数値「２」を用いれば、参照範囲内のマクロブロックのうち半数以上のベストモードがイントラ予測モードである場合に、上述した条件１が満たされる。

一方、条件２は、参照範囲の画像の特徴と符号化対象の予測ブロックの画像の特徴との相関関係を用いた条件である。この条件２では、符号化対象の画像が複雑である場合に、予測モードとしてはイントラ予測モードが適することと、イントラ予測モードによるコストとインター予測モードによるコストとの間に大きな開きがないことを利用する。例えば、閾値Ｔｈ４として数値「１．５」を用いれば、参照範囲の画像が複雑である場合に、上述した条件２が満たされる。

つまり、上述したイントラ判定条件を用いることにより、予測モードについての相関関係に加えて、画像の特徴についての相関関係を考慮して、符号化対象の予測ブロックにイントラ予測モードが適するか否かを判定することができる。

また、イントラモード予測部１１３は、更に、次に挙げる条件３が真であった場合に、条件２の真偽にかかわらず、符号化対象の予測ブロックにイントラ予測モードが適すると判定することができる。
条件３：参照範囲内の全てのマクロブロックに対応する予測モードがイントラ予測モードに含まれる。

図３に、イントラモード予測部の一実施形態を示す。なお、図３に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図３に示したイントラモード予測部１１３は、上述した条件１〜３を用いて符号化対象の予測ブロックに適合する予測モードの種別がイントラ予測モードであるか否かを判定する。図３に示した例では、イントラモード予測部１１３は、イントラブロック計数部１２１、イントラコスト平均部１２２、インターコスト平均部１２３、除算器１２４、イントラ判定部１２５を備えている。

探索結果読出部１１２によって読み出された探索結果のうち、各マクロブロックのベストモードはイントラブロック計数部１２１に渡される。一方、探索結果のうち、各マクロブロックに対応するコストは、イントラコスト平均部１２２およびインターコスト平均部１２３に渡される。イントラブロック計数部１２１は、例えば、探索結果読出部１１２からベストモードとしてイントラ予測モードに属する予測モードを示す情報を受け取った回数を計数する。この計数結果は、イントラブロックの数Ｎｒとしてイントラ判定部１２５に渡される。イントラコスト平均部１２２は、探索結果読出部１１２から受け取ったコストのうち、イントラ予測モードに属する予測モードに対応するコストについて平均値Ｄ１を算出する。インターコスト平均部１２３は、探索結果読出部１１２から受け取ったコストのうち、インター予測モードに属する予測モードに対応するコストについて平均値Ｄ２を算出する。除算器１２４は、イントラコスト平均部１２２で得られた平均値Ｄ１をインターコスト平均部１２３で得られた平均値Ｄ２で除算し、比Ｄ１／Ｄ２を求める。算出された比Ｄ１／Ｄ２は、イントラ判定部１２５に渡される。

イントラ判定部１２５は、上述したようにして求められたイントラブロックの数Ｎｒおよび比Ｄ１／Ｄ２をそれぞれの閾値Ｔｈ３，Ｔｈ４と比較する。そして、この比較結果により、上述した条件１，２の両方が満たされることが示された場合に、符号化対象の予測ブロックに適合する予測モードの種別は、イントラ予測モードであると判定する。また、イントラ判定部１２５は、イントラブロックの数Ｎｒが参照範囲内のマクロブロックの総数(例えば４)である場合に、符号化対象の予測ブロックに適合する予測モードの種別は、イントラ予測モードであると判定する。この場合は、除算器１２４による除算結果の出力を待たずに、上述した判定結果を予測種別出力部１１５に渡すことができる。

一方、スキップモード予測部１１４では、例えば、探索結果読出部１１２から受け取った探索結果が、所定のスキップ判定条件を満たすときに、符号化対象の予測ブロックのベストモードがスキップモードである旨の予測結果を出力する。スキップモード予測部１１４は、スキップ判定条件として、イントラ予測モードに含まれる予測モードが適用されたイントラブロックの数Ｎｒと、参照範囲内の４つのマクロブロックに対応するコストＣ１〜Ｃ４とに関する条件を用いることができる。スキップモード予測部１１４は、例えば、次に挙げる条件４と条件５とが両方とも真であるときに、符号化対象の予測ブロックに適合する予測モードはスキップモードであると判定する。
条件４：イントラブロックの数Ｎｒが所定の閾値Ｔｈ１以下である。
条件５：参照範囲内の各マクロブロックに対応するコストは所定の閾値Ｔｈ２以下である。

上述した条件４は、参照範囲内の各マクロブロックのベストモードと符号化対象の予測ブロックに適用すべき予測モードとの相関関係を用いた条件である。例えば、閾値Ｔｈ１として数値「０」を用いれば、参照範囲内の全マクロブロックのベストモードがインター予測モードである場合に、上述した条件４が満たされる。

一方、条件５は、参照範囲の画像の特徴と符号化対象の予測ブロックの画像の特徴との相関関係を用いた条件である。この条件５では、符号化対象の画像が複雑でない場合に、予測モードとしてスキップモードを適用することができることを用いている。そして、参照範囲内の各マクロブロックに対応するコストが上述した閾値Ｔｈ２以下であるか否かにより、符号化対象の画像が複雑であるか否かを判定している。画像の複雑さを判定するための閾値Ｔｈ２としては、例えば、量子化パラメータＱＰに数値「４」を乗じた値を用いることができる。

つまり、上述したイントラ判定条件を用いることにより、予測モードについての相関関係に加えて、画像の特徴についての相関関係を考慮して、符号化対象の予測ブロックにスキップモードが適するか否かを判定することができる。

また、スキップモード予測部１１４は、更に、次に挙げる条件６が真であった場合に、条件５の真偽にかかわらず、符号化対象の予測ブロックにスキップ予測モードが適すると判定することができる。
条件６：参照範囲内の全てのマクロブロックに対応する予測モードがスキップモードである。

図４に、スキップモード予測部の一実施形態を示す。なお、図４に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図４に示したスキップモード予測部１１４は、上述した条件４〜６を用いて符号化対象の予測ブロックに適合する予測モードの種別がインター予測モードの一つであるスキップモードであるか否かを判定する。図４に示した例では、スキップモード予測部１１４は、イントラブロック計数部１２１、スキップブロック計数部１２６、最大コスト検出部１２７、スキップ判定部１２８を備えている。

探索結果読出部１１２によって読み出された探索結果のうち、各マクロブロックのベストモードはイントラブロック計数部１２１およびスキップブロック計数部１２６に渡される。一方、探索結果のうち、各マクロブロックに対応するコストは、最大コスト検出部１２７に渡される。イントラブロック計数部１２１は、例えば、探索結果読出部１１２からベストモードとしてイントラ予測モードに属する予測モードを示す情報を受け取った回数を計数する。この計数結果は、イントラブロックの数Ｎｒとしてスキップ判定部１２８に渡される。スキップブロック計数部１２６は、例えば、探索結果読出部１１２からベストモードとしてスキップモードを示す情報を受け取った回数を計数する。この計数結果は、スキップブロックの数Ｎｓとしてスキップ判定部１２８に渡される。最大コスト検出部１２７は、探索結果読出部１１２から受け取ったコストの中から、最大のコストＣｍａｘを検出する。検出された最大のコストＣｍａｘは、スキップ判定部１２８に渡される。

スキップ判定部１２８は、上述したようにして求められたイントラブロックの数Ｎｒおよび最大のコストＣｍａｘをそれぞれの閾値Ｔｈ１，Ｔｈ２と比較する。そして、この比較結果により、上述した条件４，５の両方が満たされることが示された場合に、符号化対象の予測ブロックには、スキップモードが適切であると判定する。この判定結果は、予測種別出力部１１５に通知される。また、スキップ判定部１２８は、スキップブロックの数Ｎｓが参照範囲内のマクロブロックの総数(例えば４)である場合に、符号化対象の予測ブロックには、スキップモードが適切であると判定する。この場合は、最大コスト検出部１２７による最大のコストＣｍａｘの検出を待たずに、上述した判定結果を予測種別出力部１１５に通知ことができる。

このようにして、符号化対象の予測ブロックにはスキップモードが適合する旨が通知されたときに、予測種別出力部１１５は、インター予測部１０２に対して、符号化対象のマクロブロックについて、スキップモードによる予測処理の実行を指示する。一方、イントラモード予測部１１３から、イントラ予測モードが適合する旨が通知された場合に、予測種別出力部１１５は、イントラ予測部１０１に対して、イントラ予測モードによる予測処理の実行を指示する。また、イントラ判定条件とスキップ判定条件とのいずれも満たされない旨が通知された場合に、予測種別出力部１１５は、インター予測部１０２に対して、インター予測モードによる予測処理の実行を指示する。なお、この場合に、予測種別出力部１１５は、インター予測モードのうち、スキップモードを探索範囲から除外する旨をインター予測部１０２に指示することができる。

図１に示した種別予測部１１０の一例に含まれる各構成要素は、カウンタや比較器、加算器や除算器および論理ゲート回路などのハードウェア素子を用いて構成することが可能である。なお、図３および図４にそれぞれ示したイントラブロック計数部１２１は、イントラモード予測部１１３とスキップモード予測部１１４とで共通に設けることもできる。
また、この種別予測部１１０は、ソフトウェアによって実現することも可能である。

図５に、予測モードの種別を予測する動作を表す流れ図を示す。図５に示した例では、スキップ判定条件による判定とイントラ判定条件による判定とを順次に行っている。なお、これらの判定処理の順序は入れ替え可能である。

まず、ステップＳ１１において、符号化対象の予測ブロックに対応する参照範囲に含まれる各マクロブロックの探索結果が読み込まれる。この処理は、上述したモード予測制御部１１６からの指示に応じて探索結果読出部１１２によって実行される処理に相当する処理の一例である。

次いで、ステップＳ１２において、スキップ判定条件およびイントラ判定条件で各閾値Ｔｈ１〜Ｔｈ４と比較される指標値が、読み込まれた探索結果に基づいて算出される。例えば、上述したスキップモード予測部１１４およびイントラモード予測部１１３において説明したようにして、イントラブロックの数Ｎｒ、最大コストＣｍａｘおよびコストの平均値の比Ｄ１／Ｄ２などの指標を、探索結果から求めることができる。なお、算出する指標値に、上述したスキップブロックの数Ｎｓを含めることもできる。

上述した指標値と閾値Ｔｈ１，Ｔｈ２との比較に基づいて、スキップ判定条件が満たされたと判定された場合に(ステップＳ１３の肯定判定)、予測種別はスキップモードである旨が出力される(ステップＳ１４)。

一方、ステップ３１３の否定判定の場合は、上述した指標値と閾値Ｔｈ３，Ｔｈ４との比較に基づいて、イントラ判定条件が満たされるか否かが判定される(ステップＳ１５)。ステップＳ１５の肯定判定の場合に、予測種別はイントラモードである旨が出力される(ステップＳ１６)。そして、否定判定の場合には、予測種別はインターモードである旨が出力される(ステップＳ１７)。

上述したような構成を備えた種別予測部を備えた動画像符号化装置によれば、ピクチャ内に分布する予測ブロックについては、ベストモードの探索範囲を、予測種別に応じて限定することができる。

図６に、動画像符号化動作を表す流れ図を示す。なお、図６においては、マクロブロックを「ＭＢ」と略称する。

符号化対象のマクロブロックが動画像符号化装置に入力されるごとに、モード予測制御部１１６により、当該マクロブロックが全探索ブロックであるか予測ブロックであるかが判定される(ステップＳ１，Ｓ２)。

符号化対象のマクロブロックが全探索ブロックである場合には(ステップＳ２の肯定判定)、種別予測部１１０からの指示に応じて、イントラ予測部１０１およびインター予測部１０２により、全ての予測モードの中からベストモードが探索される(ステップＳ３)。

一方、ステップＳ２の否定判定の場合に、種別予測部１１０により、符号化対象のマクロブロックに適合する予測モードの種別が、対応する参照範囲の各マクロブロックについての探索結果から予測される(ステップＳ４)。そして、予測された種別に応じて、イントラ予測部１０１あるいはインター予測部１０２により、対応する種別に含まれる予測モードの中からベストモードが探索される(ステップＳ５)。

ステップＳ６では、上述したステップＳ３あるいはステップＳ５で得られたベストモードおよび対応するコストを含む探索結果が、動画像符号化装置の内部に備えられたメモリなどに記憶される。また、ステップＳ７では、ベストモードによる予測結果に基づいて、符号化対象のマクロブロックが符号化される。なお、ステップＳ６，Ｓ７の処理は順不同で実行することができる。

次いで、ステップＳ８において、符号化対象のマクロブロックがピクチャに含まれる最後のマクロブロックであるか否かを判定する。ステップＳ８の否定判定の場合は、ステップＳ１に戻って、次のマクロブロックの符号化処理を実行する。このようにして、ステップＳ１〜ステップＳ８を繰り返していき、ピクチャに含まれる全てのマクロブロックの符号化処理が完了したときに、ステップＳ８の肯定判定として１ピクチャ分の符号化処理を終了する。

上述したように、本件開示の動画像符号化装置は、予測ブロックについては、種別予測部１１０によって予測された種別に応じて、イントラ予測部１０１あるいはインター予測部１０２が選択的に予測処理を実行する。したがって、予測ブロックについてベストモードを探索する処理に要する演算量を削減することができる。

図２(Ａ)に示した例では、ピクチャ内の半分のマクロブロックが予測ブロックである。これらの予測ブロックの６０％についてインター予測モードが、２０％についてスキップモードが、そして、２０％についてイントラ予測モードが予測された場合を例として、削減される演算量の概略を示す。上述した比率でインター予測モードが予測された場合に、ピクチャに含まれるＮ×Ｍ個のマクロブロックのうち、３０％のマクロブロックについては、インター予測部１０２による予測処理のみが行われる。そして、これらのマクロブロックについては、イントラ予測部１０１による２２種類の予測モードに従う予測処理は省略される。同様に、ピクチャに含まれる全マクロブロックのうち、別の１０％のマクロブロックについては、スキップモードによる予測処理のみが行われる。そして、これらのマクロブロックについては、イントラ予測部１０１による予測処理と、インター予測部１０２による予測処理のうち、スキップモード以外の７種類の予測モードによる予測処理は省略される。また、ピクチャに含まれる全マクロブロックのうち、更に別の１０％のマクロブロックについては、イントラ予測部１０１による予測処理のみが行われる。そして、これらのマクロブロックについては、インター予測部１０１による８種類の予測モードに従う予測処理は省略される。

上述したような割合でイントラ予測部１０１およびインター予測部１０２による予測処理が省略されることを考慮して、イントラ予測部１０１およびインター予測部１０２に割り当てるハードウェア量を削減することが可能である。また、予測処理の省略が行われる際に、イントラ予測部１０１あるいはインター予測部１０２への電力供給を抑制する制御を行うことにより、動画像符号化装置による消費電力を削減することが可能である。

一方、本件開示の動画像符号化装置では、上述した演算量の削減を実現するとともに、符号化データに基づいて復元される動画像の画質も維持されている。本出願人は、ＨＤＴＶ向けのテストシーケンスを用いて、本件開示の動画像符号化装置によって符号化された動画像符号データに対応する復元動画像の画質を評価した。

図７に、画質評価結果を説明する図を示す。なお、図７に示したグラフの横軸は、符号化に適用したビットレートを示し、縦軸は画質を示す。また、本件開示の動画像符号化装置において、全マクロブロックのうち半数を予測ブロックとした場合の画質評価結果を、図７に実線で示した。一方、全てのマクロブロックを全探索ブロックとした場合の画質評価結果を、図７に破線で示した。

図７から分かるように、本件開示の動画像符号化装置により、幅広いビットレートの範囲において、全てのマクロブロックを全探索ブロックとした場合と同等の画質を実現することができる。このことから、図１に例示した種別予測部１１０により、符号化対象のマクロブロックに適合する予測モードが属する予測モードの種別が、高い精度で予測されていることが分かる。

また、本件開示の動画像符号化装置では、予測モードの種別の予測に用いる閾値を調整することにより、ピクチャ内でイントラ予測モードあるいはスキップモードが適用されるマクロブロックの比率を調整することもできる。これにより、動画像符号化データのビットレートを所望の値になるように調整することができる。

例えば、上述したイントラ判定条件に含まれる閾値Ｔｈ４の値を例示した数値１．５よりも小さい値にすることにより、予測モードについての予測結果がイントラ予測モードとなる予測ブロックの数を抑制することができる。更に、スキップ判定条件に含まれる閾値Ｔｈ２の値を例示した数値４ＱＰよりも大きい値にすることにより、予測結果がスキップモードとなる予測ブロックの数を多くすることができる。このようにして、イントラ予測モードが適用されるマクロブロックの数を抑制し、逆に、スキップモードが適用されるマクロブロックの数を増大させることにより、低いビットレートの動画像符号化データを得ることができる。

逆に、上述したイントラ判定条件に含まれる閾値Ｔｈ４の値を例示した数値１．５よりも大きい値にすることにより、予測モードについての予測結果がイントラ予測モードとなる予測ブロックの数を増大させることができる。更に、スキップ判定条件に含まれる閾値Ｔｈ２の値を例示した数値４ＱＰよりも小さい値にすることにより、予測結果がスキップモードとなる予測ブロックの数を抑制することができる。このようにして、イントラ予測モードが適用されるマクロブロックの数を増大させ、逆に、スキップモードが適用されるマクロブロックの数を抑制ことにより、画質を優先した動画像符号化データを得ることができる。

本件開示の動画像符号化装置によれば、ピクチャ内に配置された予測ブロックの比率が高いほど、演算量の削減効果が高くなる。例えば、ピクチャ内に、全マクロブロックの半数を超える数の予測ブロックを配置して、演算量の削減効果を高めることも可能である。
(別の実施形態)
図８(Ａ)，(Ｂ)に、全探索ブロックおよび予測ブロックの別の配置例を示す。

図８(Ａ)に示した配置例では、ピクチャに含まれる全マクロブロックのうち２／３が予測ブロックとなっている。この配置例では、全探索ブロックの配置密度は、１／３となる。一方、図８(Ｂ)に示した配置例では、ピクチャに含まれる全マクロブロックのうち３／４が予測ブロックとなっている。この配置例では、全探索ブロックの配置密度は、１／４となる。

いずれの配置例を適用した場合でも、符号化対象の予測ブロックに隣接するマクロブロックのうち、符号化処理が完了している４つのマクロブロックを参照範囲として、予測モードの種別を予測することができる。そして、各予測ブロックに対応する参照範囲には、少なくとも一つの全探索ブロックが含まれている。つまり、各予測ブロックについて得られた予測結果には、全探索ブロックについての探索結果が確実に反映される。したがって、符号化対象の予測ブロックの予測結果として、この予測ブロックの近傍における画像の特徴に適合した予測モードの種別を高い精度で得ることができる。

図８(Ａ)，(Ｂ)に示した配置例を適用した予測処理は、図５を用いて説明したステップＳ１１〜ステップＳ１７と同様に、スキップ判定条件およびイントラ判定条件を利用して行うことができる。なお、スキップ判定条件およびイントラ判定条件に含まれる閾値は、それぞれの配置例について異なる値を設定することができる。それぞれの配置例に適合する閾値の値は、例えば、テストシーケンスの符号化を行う実験などに基づいて決定することができる。

なお、本件開示の動画像符号化装置で用いる全探索ブロックおよび予測ブロックの配置パターンは、上述したような一様な密度で全探索ブロックおよび予測ブロックが配置されたパターンに限られない。例えば、ピクチャ内に、１／２の密度で全探索ブロックが分布している高密度領域ＲＨと、１／３あるいは１／４の密度で全探索ブロックが分布している低密度領域ＲＬとが混在していてもよい。

図９(Ａ)、(Ｂ)に、全探索ブロックおよび予測ブロックの更に別の配置例を示す。図９(Ａ)の例では、ピクチャの中央部に配置された高密度領域ＲＨに網掛けを付して示すことにより、周囲の低密度領域ＲＬと区別して示した。また、図９(Ａ)の例では、複数の高密度領域ＲＨ１、ＲＨ２，ＲＨ３にそれぞれ網掛けを付して示すことにより、周囲の低密度領域ＲＬと区別して示した。

ピクチャの中央部は、主要な被写体が捉えられている場合が多いため、人間の視覚で画質の劣化が捉えられやすいと考えられる。そこで、図９(Ａ)に示したように、この領域に高密度領域ＲＨを配置して、この領域における予測モードの予測精度を高め、画面中央部の復元画像の画質を維持する。その一方、画面の周辺部分に当たる領域に低密度領域ＲＬを配置すれば、演算量の削減を図ることができる。つまり、図９(Ａ)に示したような配置例を適用することにより、画面中央部分における復元画像の画質を維持しつつ、更なる演算量の削減を図ることができる。

その一方、複数の被写体が画面内に同時に捉えられている場合などに対応するために、図９(Ｂ)に示したように、複数の高密度領域ＲＨを配置することもできる。ピクチャ内に配置される高密度領域の大きさや数は、例えば、ピクチャごとに、画像の特徴を解析するための前処理を行って決定することができる。この前処理では、例えば、エッジ強度が所定の閾値よりも高い領域を検出すればよい。ここで、ピクチャ内でエッジ強度が高い部分は、細部が多い部分であるので、画質の劣化が目立ちやすい部分であるといえる。したがって、そのような部分について、選択的に高密度領域ＲＨを配置することにより、復元画像の画質を維持することができる。また、この場合も、周囲の領域を低密度領域ＲＬとすることにより、演算量の削減を図ることができる。

なお、上述したような全探索ブロックおよび予測ブロックについての様々な配置例は、いずれも、例えば、図１に示した配置情報記憶部１１７に記憶させる配置情報を制御することによって実現することができる。

また、以上に説明した様々な配置例において、符号化対象の予測ブロックについての予測モードの種別を予測するために、図２(Ｂ)に示した参照範囲よりも広い範囲を参照することもできる。例えば、図８(Ａ)に破線で示したような参照範囲に含まれる各マクロブロックの探索結果を利用して、符号Ｔで示した符号化対象の予測ブロックについての予測モードの種別を予測することができる。図８(Ａ)に示した例では、符号化対象の予測ブロックＴの左側に隣接するマクロブロックと、上側に隣接するマクロブロックおよびその両側のマクロブロックに加えて、更に１行前の３つのマクロブロックが参照範囲に含まれている。

一方、各予測ブロックについて予測モードの種別を予測する際に、全探索ブロックについて得られた探索結果をより重視して、種別の予測結果に反映することもできる。
(更に別の実施形態)
図１０に、イントラモード予測部の別実施形態を示す。また、図１１に、スキップモード予測部の別実施形態を示す。なお、図１０に示した構成要素のうち、図３に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。同様に、図１１に示した構成要素のうち、図４に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図１０に示したイントラモード予測部１１３は、図３に示した各部に加えて、重み乗算部１３１を備えている。重み乗算部１３１は、例えば、探索結果読出部１１２から参照範囲内の各マクロブロックに対応する探索結果に含まれるコストＣ１〜Ｃ４を受け取る。そして、受け取ったコストＣｊ(ｊは１〜４のいずれか)が全探索ブロックに対応する場合に、重み乗算部１３１は、所定の重みＷａ１をコストＣｊに乗算する。一方、受け取ったコストＣｊが予測ブロックに対応する場合に、重み乗算部１３１は、別の所定の重みＷｐ１をコストＣｊに乗算する。このようにして、重み乗算部１３１により、コストＣ１〜Ｃ４への重み付けが行われる。このようにして得られた重み付きコストは、イントラコスト平均部１２２およびインターコスト平均部１２３による平均値算出処理に供される。

重み乗算部１３１は、上述した重みＷａ１に重みＷｐ１よりも大きい値を設定することができる。つまり、全探索ブロックに対応するコストに大きい重みをつけ、逆に、予測ブロックに対応するコストに小さい重みを付けることができる。この場合に、イントラコスト平均部１２２およびインターコスト平均部１２３によって、イントラ予測モードおよびインター予測モードについてそれぞれ算出される平均コストには、全探索ブロックについて得られたコストがより強く反映される。このような平均コストが、除算器１２４を介してイントラ判定部１２５による判定処理に供される。したがって、符号化対象の予測ブロックの予測モードとしてイントラ予測モードが適しているか否かの判定に、全探索ブロックについて得られた探索結果をより強く反映することができる。

また、図１１に示したスキップモード予測部１１４は、図４に示した各部に加えて、重み乗算部１３２を備えている。重み乗算部１３２は、例えば、探索結果読出部１１２から参照範囲内の各マクロブロックに対応する探索結果に含まれるコストＣ１〜Ｃ４を受け取る。そして、受け取ったコストＣｊ(ｊは１〜４のいずれか)が全探索ブロックに対応する場合に、重み乗算部１３２は、所定の重みＷａ２をコストＣｊに乗算する。一方、受け取ったコストＣｊが予測ブロックに対応する場合に、重み乗算部１３２は、別の所定の重みＷｐ２をコストＣｊに乗算する。このようにして、重み乗算部１３２により、コストＣ１〜Ｃ４への重み付けが行われる。このようにして得られた重み付きコストは、最大コスト検出部１２７による最大値検出処理に供される。

重み乗算部１３２は、上述した重み乗算部１３１と同様に、重みＷａ２に重みＷｐ２よりも大きい値を設定することができる。このように設定された重みＷａ２，Ｗｐ２を適用すれば、全探索ブロックに対応する重み付きコストが最大コストとして検出される確率が高くなる。このような最大コストが、スキップ判定部１２８による判定処理に供される。したがって、符号化対象の予測ブロックの予測モードとしてスキップ予測モードが適しているか否かの判定に、全探索ブロックについて得られた探索結果をより強く反映することができる。

１０１ イントラ予測部
１０２ インター予測部
１０３ モード決定部
１０４ ＤＣＴ量子化部
１０５ エントロピー符号化部
１０６ 再構成画像生成部
１０７ 再構成画像保持部
１１０ 種別予測部
１１１ 探索結果記憶部
１１２ 探索結果読出部
１１３ イントラモード予測部
１１４ スキップモード予測部
１１５ 予測種別出力部
１１６ モード予測制御部
１１７ 配置情報記憶部
１２１ イントラブロック計数部
１２２ イントラコスト平均部
１２３ インターコスト平均部
１２４ 除算器
１２５ イントラ判定部
１２６ スキップブロック計数部
１２７ 最大コスト検出部
１２８ スキップ判定部
１３１，１３２ 重み乗算部

Claims (6)

1. 動画像データに含まれる各フレームに含まれるマクロブロックのうち、所定の密度で分布する複数の全探索ブロックそれぞれについて、全ての予測モードの中から最もコストの小さいベストモードを探索する全探索部と、
   前記各フレームに含まれるマクロブロックのうち、前記全探索ブロック以外の予測ブロックそれぞれについて、既にベストモードの探索が完了したマクロブロックのうち、当該予測ブロックに隣接するマクロブロックを含む参照範囲内のマクロブロックについての探索結果に基づいて、探索対象の予測ブロックのベストモードが少なくともイントラ予測モードおよびインター予測モードのいずれかの種別に属するかを予測する種別予測部と、
   前記各予測ブロックについて、前記種別予測部で予測された種別に含まれる予測モードの中からベストモードを探索する予測探索部と、
   を備えたことを特徴とする動画像符号化装置。
2. 動画像データに含まれる各フレームに含まれるマクロブロックのうち、所定の密度で分布する複数の全探索ブロックそれぞれについて、全ての予測モードの中から最もコストの小さいベストモードを探索する全探索部と、
   前記各フレームに含まれるマクロブロックのうち、前記全探索ブロック以外の予測ブロックそれぞれについて、既にベストモードの探索が完了したマクロブロックのうち、当該予測ブロックに隣接するマクロブロックを含む参照範囲内のマクロブロックについての探索結果に基づいて、探索対象の予測ブロックのベストモードが属する予測モードの種別を予測する種別予測部と、
   前記各予測ブロックについて、前記種別予測部で予測された種別に含まれる予測モードの中からベストモードを探索する予測探索部と、を備え、
   前記種別予測部は、
   前記探索対象の予測ブロックに対応する参照範囲内のマクロブロックのうち、探索されたベストモードがイントラ予測モードに含まれる予測モードであるイントラ−マクロブロックの数と、前記参照範囲内の各マクロブロックのベストモードに対応するコストとを、予測モードの種別の予測に用いる
   
   ことを特徴とする動画像符号化装置。
3. 請求項１に記載の動画像符号化装置において、
   前記種別予測部は、
   前記探索対象の予測ブロックに対応する参照範囲内のマクロブロックのうち、探索されたベストモードがイントラ予測モードに含まれる予測モードであるイントラ−マクロブロックの数と、前記参照範囲内の各マクロブロックのベストモードに対応するコストとを、予測モードの種別の予測に用いる
   ことを特徴とする動画像符号化装置。
4. 請求項２または請求項３に記載の動画像符号化装置において、
   前記種別予測部は、
   前記探索対象の予測ブロックに対応する参照範囲内に含まれるイントラ−マクロブロックの数が別の閾値Ｔｈ３以上であり、かつ、前記イントラ−マクロブロックに対応するコストの平均値と前記参照範囲内の他のマクロブロックに対応するコストとの比が別の閾値Ｔｈ４以下である場合に、当該予測ブロックについてイントラ予測モードを予測するイントラモード予測部を備えた
   ことを特徴とする動画像符号化装置。
5. 請求項２乃至請求項４のいずれか一項に記載の動画像符号化装置において、
   前記種別予測部は、
   前記探索対象の予測ブロックに対応する参照範囲内に含まれるイントラ−マクロブロックの数が所定の閾値Ｔｈ１以下であり、かつ、前記参照範囲内の各マクロブロックのベストモードに対応するコストが別の閾値Ｔｈ２以下である場合に、当該予測ブロックについてスキップモードを予測するスキップモード予測部を備えた
   ことを特徴とする動画像符号化装置。
6. 請求項２乃至請求項５のいずれか一項に記載の動画像符号化装置において、
   前記種別予測部は、
   前記探索対象の予測ブロックに対応する参照範囲内に含まれる全てのマクロブロックに対応する予測モードの種別が一致している場合に、当該予測ブロックについて前記予測モードの種別を予測結果として出力する一致予測部を備えた
   ことを特徴とする動画像符号化装置。

Images