JP4246722B2 - 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、動き補償予測を行って動画像を符号化する動画像予測符号化方法及びその装置と、その動画像予測符号化方法の実現に用いられる動画像予測符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

Ｈ．２６４（例えば、非特許文献１参照）など多くの映像符号化方式では、動き補償予測符号化方式を採用している。この動き補償予測符号化方式は、参照フレームと符号化対象フレームとの間で、映像の動きを補償することで符号化効率を向上させている。

動き補償予測符号化方式の符号化データは、主に、予測残差信号の符号化データと動きベクトルなどのオーバヘッド部の符号化データとからなる。一般に符号化効率は、符号化歪の大きさと発生符号量とにより決まるため、単に予測残差信号の小さい予測符号化モード（動き補償ブロックサイズや参照フレーム、予測方向など動き補償予測信号を生成する方法を示すもの）を選択しても、オーバヘッド部の符号量が多い場合は、必ずしも符号化効率が良くなるとは限らない。

そこで、オーバヘッド部の符号量を考慮して符号化処理を行うことで、符号化効率を向上させることができる。

図５に、一般的な符号化処理のフローチャートを図示する。この図に示すように、符号化処理は、動きベクトルを探索し、予測符号化モードを選択し、予測残差信号及びオーバヘッド部を符号化するという手順をとる。

Ｈ．２６４の参照ソフトウェア（例えば、非特許文献２参照）では、予測符号化モードの選択だけでなく、動き探索でも、オーバヘッド部の符号量を考慮している。その参照ソフトウェアの評価関数は、次式で表現される。

Ｃｏｓｔ＝ＳＡＤ＋λ・ＭＶＣｏｓｔ
ここで、この式中、ＳＡＤは予測残差電力、ＭＶＣｏｓｔは動きベクトルの発生符号量を示している。

Ｈ．２６４では、動きベクトルの符号化は、近傍ブロックの動きベクトルから求めた予測ベクトルとの差分を符号化する。このため、予測ベクトルとの距離が短い動きベクトルほどＭＶＣｏｓｔが小さくなる。

λは、量子化ステップサイズによって変化させる値である。λを量子化ステップサイズに応じて変化させるのは、次の理由による。量子化ステップサイズが大きくなると、量子化が粗くなることで予測残差信号の発生符号量が小さくなり、符号化コストの多くはオーバヘッド部の符号量となる。逆に、量子化ステップサイズが小さくなると、符号化コストの多くが予測残差信号の発生符号量となる。つまり、予測残差電力に対し、量子化ステップサイズに応じてオーバヘッド部のコストが相対的に変化することになる。これから、λを量子化ステップサイズに応じて変化させるのである。

このような評価関数で符号化コストを算出し、その符号化コストを最小とする動きベクトルや予測符号化モードを選択することで、符号化効率を最大化できる。
ITU-T Rec. H.264, "Advanced video coding for generic audiovisual services," 2003. http://iphome.hhi.de/suehring/tml/download/

先に述べたように、予測残差信号の大きさとオーバヘッド部の符号量とを考慮して符号化を行うことで、符号化効率を向上させることができる。

しかし、一般に符号化歪の指標として用いられるＰＳＮＲ（Peak Signal to Noise Ratio：入力画像と復号画像との符号化誤差）は、必ずしも主観画質と一致しないことが知られている。例えば、同じＰＳＮＲであっても、平坦領域とテクスチャ領域では、主観画質は異なる。

このため、従来のような予測残差信号の大きさとオーバヘッド部の符号量とを考慮した符号化方法では、ＰＳＮＲを符号化歪の指標とした符号化効率は向上するものの、主観画質を符号化歪の指標とした場合の符号化効率が向上するとは言えない。

一般に、平坦領域では、予測残差電力が小さいことが多く、かつ、予測残差電力が最小となる動きベクトルと、その近傍での予測残差電力の差が小さい場合が多い。このため、符号化コストを計算する際、予測残差信号の大きさよりもオーバヘッド部の符号量が支配的となった場合、予測残差信号を最小とする予測符号化モードは選択されず、符号化歪が増加する可能性がある。上述したように、平坦領域では、歪が目立ちやすいため、符号化歪の増加は、主観画質の低下につながる可能性がある。

また、動きベクトルの符号量は、近傍ブロックの動きベクトル情報から算出される予測ベクトルに依存するため、符号化コストでオーバヘッド部の符号量が支配的になると、実際の動きベクトルではなく、予測ベクトルに近いベクトルを符号化用の動きベクトルとして選択する可能性がある。このため、予測残差信号が十分に伝送されない場合、復号画像では、実際の映像とは異なった動きをする領域や、フレーム毎に被写体の形状が変化する問題が発生する。

次に、図６を使い、雲の映像を符号化する際を例にして、この問題について具体的に説明する。雲の領域は、画素値がほぼ平坦ではあるが、雲の輪郭や影から形状を認識できる。また、雲は、ゆっくりと流れて（動いて）いる場合が多い。図６の例では、左から右に移動していると仮定する。

従来の符号化コストを最小として、雲の領域の動きベクトルを検出すると、予測残差信号の大きさよりも、より小さい動きベクトル符号量の動きベクトルを選択する可能性がある。

例えば、図６の動きベクトルＡと動きベクトルＢでは、動きベクトルＢが実際の動きを表現している。しかし、周辺の空が静止領域と仮定すれば、予測ベクトルが（０，０）に近くなり、結果、動きベクトルＡが選択される。動きベクトルＡで動き補償を行う際、量子化ステップサイズが大きくなると、予測残差信号が伝送されず、予測残差信号の形状がそのまま復号画像となる。これにより、図６に示すように、徐々に雲が伸びるように見える。これ以外にも、雲がゆっくり動いており、予測ベクトルと雲の動きとが一致しない場合、復号画像での雲の動きが不自然に見える。

このように、平坦領域では、主観画質が低下しやすく、かつ、動き補償予測による不自然な動きが発生する問題がある。

一方、単純に、オーバヘッド部の符号量を考慮せずに動きベクトル探索や予測符号化モードを決定した場合、平坦領域での主観画質低下や不自然な動きの発生は抑えられる。しかし、その場合、発生符号量が増加する問題がある。

以上説明したように、従来の符号化コストの算出方法では、符号化コストとしてオーバヘッド部の符号量が支配的になった場合、ＰＳＮＲを符号化歪の指標とした符号化効率を最適化することが可能となるものの、主観画質が低下するという問題があった。また、単純に予測残差信号の大きさから符号化コストを算出して符号化処理を行うようにすると、発生符号量が増加するという問題があった。

本発明はかかる事情に鑑みてなされたものであって、符号化効率の低下を抑えつつ、主観画質を向上させることができるようにする新たな動画像予測符号化技術の提供を目的とする。

〔１〕本発明の構成
この目的を達成するために、本発明の動画像予測符号化装置は、動き補償予測を行って動画像を符号化する処理を行うために、（１）符号化対象領域の平坦さの度合いを算出する算出手段と、（２）算出手段の算出した平坦度合いに基づいて、符号化対象領域が平坦領域であるのか否かを判定する判定手段と、（３）判定手段の判定に従って符号化対象領域が平坦領域であることを判定する場合に、予測残差信号の大きさのみに基づいて符号化コストを算出するように制御し、符号化対象領域が平坦領域でないことを判定する場合に、予測残差信号の大きさと予測残差信号以外の情報の符号化に要する発生符号量とに基づいて符号化コストを算出するように制御する制御手段と、（４）符号化対象領域の量子化ステップサイズと予め与えられている閾値とを比較して、量子化ステップサイズがその閾値よりも大きい場合にのみ、制御手段による制御を行うことができるようにする実行手段とを備えるように構成する。

そして、制御手段は、判定手段の判定に従って符号化対象領域が平坦領域であることを判定する場合に、符号化対象領域の符号化に利用可能となる予測符号化モードを、予測残差信号の生成に必要となる動きベクトルの本数が所定の閾値以下となる予測符号化モードに制限するように制御する。例えば、符号化対象領域の符号化に利用可能となる予測符号化モードを、１本の動きベクトルから予測残差信号を生成する動き補償予測符号化モードと、動きベクトルを伝送しないスキップモードとの２つに制限するように制御する。

また、判定手段は、符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値と算出手段の算出した符号化対象領域の平坦度合いとを比較するとともに、予め与えられている閾値と算出手段の算出した符号化対象領域の平坦度合いとを比較して、算出手段の算出した符号化対象領域の平坦度合いがその平均値よりも小さく、かつ、算出手段の算出した符号化対象領域の平坦度合いがその閾値よりも小さい場合に、符号化対象領域を平坦領域と判定することがある。

また、算出手段は、符号化対象領域を複数の小ブロックに分割して各小ブロック毎に平坦度合いを算出し、それらの平坦度合いの最小値、最大値を算出することで符号化対象領域の平坦度合いを算出することがあり、この場合には、判定手段は、符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値とその最大値とを比較するとともに、予め与えられている閾値とその最小値とを比較して、その最大値がその平均値よりも小さく、かつ、その最小値がその閾値よりも小さい場合に、符号化対象領域を平坦領域と判定することがある。

以上の各処理手段が動作することで実現される本発明の動画像予測符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

〔２〕本発明の処理
このように構成される本発明の動画像予測符号化装置では、画素値の分散、画素間差分の絶対値和、画素間差分の自乗和などを算出することで、符号化対象領域の平坦度合いを算出する。

このとき、符号化対象領域に複数の平坦度合いを持つ領域が含まれる可能性があることを考慮して、符号化対象領域を複数の小ブロックに分割して各小ブロック毎に平坦度合いを算出し、それらの平坦度合いの最小値、最大値を算出することで符号化対象領域の平坦度合いを算出することがある。

この算出した平坦度合いにより符号化対象領域が平坦な領域であることが判定できる場合には、主観画質低下や不自然な動きの発生を抑えるべく、その符号化対象領域について予測残差信号の大きさのみで符号化コストを算出することで、動きベクトルの探索を行い予測符号化モードを決定するように処理することになるが、フレーム全体について予測残差信号の大きさのみで符号化コストを算出するようにしてしまうと、今度は発生符号量が増加してしまうという問題がでる。

そこで、フレームの中で相対的に目立ちやすい符号化対象領域を抽出して、その抽出した符号化対象領域が絶対的な意味においても平坦であるのか否かを判断することで、符号化対象領域が平坦な領域であるのか否かを判定するようにしている。

具体的には、符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値と算出した符号化対象領域の平坦度合いとを比較するとともに、予め与えられている閾値と算出した符号化対象領域の平坦度合いとを比較して、算出した符号化対象領域の平坦度合いがその平均値よりも小さいことで相対的に目立ちやすく、かつ、算出した符号化対象領域の平坦度合いがその閾値よりも小さいことで絶対的な意味においても平坦である場合には、符号化対象領域を平坦領域と判定する。

また、符号化対象領域を複数の小ブロックに分割して各小ブロック毎に平坦度合いを算出して、その最小値、最大値を算出するという構成を採る場合には、符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値とその最大値とを比較するとともに、予め与えられている閾値とその最小値とを比較して、その最大値がその平均値よりも小さいことで相対的に目立ちやすく、かつ、その最小値がその閾値よりも小さいことで絶対的な意味においても平坦である場合には、符号化対象領域を平坦領域と判定する。

このようにして、符号化対象領域が平坦な領域であるのか否かを判定すると、符号化対象領域が平坦領域に属する場合には、主観画質低下や不自然な動きの発生を抑えるべく、その符号化対象領域について予測残差信号の大きさのみで符号化コストを算出することで、動きベクトルの探索を行い予測符号化モードを決定するようにし、一方、符号化対象領域が平坦領域以外に属する場合には、発生符号量の増加を防止すべく、予測残差信号の大きさと予測残差信号以外の情報の符号化に要する発生符号量とから符号化コストを算出することで、動きベクトルの探索を行い予測符号化モードを決定するようにする。

そして、符号化対象領域が平坦領域に属する場合には、予測残差信号の大きさのみで符号化コストを算出することでオーバヘッド部のコスト増加により発生符号量が増大する可能性があることを考慮して、符号化対象領域の符号化に利用可能となる予測符号化モードを、予測残差信号の生成に必要となる動きベクトルの本数が所定の閾値以下となる予測符号化モードに制限するように制御して、その中から符号化コストを最小化する予測符号化モードを選択するようにする。例えば、符号化対象領域の符号化に利用可能となる予測符号化モードを、１本の動きベクトルから予測残差信号を生成する動き補償予測符号化モードと、動きベクトルを伝送しないスキップモードとの２つに制限するように制御する。

一方、符号化対象領域が平坦領域以外に属する場合には、予測残差信号の大きさと予測残差信号以外の情報の符号化に要する発生符号量とから符号化コストを算出することに合わせ、符号化コストの最小化を実現可能にするためには予測符号化モードに制限を加えることはできないので、利用可能な予測符号化モードに制限を加えないように制御する。

この処理を行うにあたって、量子化ステップサイズが小さい場合には、予測残差信号の発生符号量が大きくなりオーバヘッド部の符号量が支配的でなくなるので、主観画質の低下が検知されにくくなることを考慮して、符号化対象領域が平坦領域であるのか否かに関わらずに、予測残差信号の大きさと予測残差信号以外の情報の符号化に要する発生符号量とから符号化コストを算出するように制御する。

以上説明したように、本発明によれば、符号化歪や不自然な動きが目立ちやすい平坦領域を抽出し、平坦領域の符号化コスト算出を予測残差信号の大きさのみから計算して符号化処理を行うことで、発生符号量の増加を抑えつつ、平坦領域での主観画質を向上させることができるようになる。

以下、実施の形態に従って本発明を詳細に説明する。

本発明では、主観画質が低下しやすい平坦領域を検出し、符号化制御方法を切り替えることで、符号化効率の低下を抑えつつ、主観画質を向上させることを実現する。

図１に、これを実現するために本発明の実行するフローチャートを図示する。このフローチャートに示すように、本発明では、
〔１〕画素値の分散などを算出することにより、符号化対象領域の平坦度合いを算出し （ステップ１０）、
〔２〕その算出した平坦度合いに基づいて、符号化対象領域が主観画質の低下しやすい 平坦領域であるのか否かを評価することで、符号化対象領域の領域種別を判定し （ステップ１１，１２）、
〔３〕その判定結果に基づいて、平坦な符号化対象領域については、予測残差信号を最 小化するコスト関数で動きベクトルを探索し（ステップ１３）、平坦でない符号 化対象領域については、オーバヘッド部の符号量も含めた符号化コストを最小化 するコスト関数で動きベクトルを探索し（ステップ１５）、
〔４〕その探索に基づいて、平坦な符号化対象領域については、予測符号化モードを制 限して予測符号化モードを選択し（ステップ１４）、平坦でない符号化対象領域 については、予測符号化モードの制限なしに予測符号化モードを選択し（ステッ プ１６）、
〔５〕そして、符号化を行う（ステップ１７）
という手順をとる。

次に、各ステップで実行する詳細処理について説明する。

（ｉ）平坦度合いの算出方法
先ず最初に、ステップ１０で実行する符号化対象領域の平坦度合いの算出方法について説明する。

平坦度合いは、画素値の分散、画素間差分の絶対値和、画素間差分の自乗和などから算出する。

すなわち、下式に示すＬ２分散やＬ１分散に従って画素値の分散を算出することで、符号化対象領域の平坦度合いを算出する。ここで、ｓ（ｉ，ｊ）は符号化対象領域内の位置（ｉ，ｊ）の画素値を示し、＜ｓ＞はその平均値を示す。

また、下式に従って画素間差分の絶対値和ａｃｔを算出することで、符号化対象領域の平坦度合いを算出する。

また、下式に従って画素間差分の自乗和ａｃｔを算出することで、符号化対象領域の平坦度合いを算出する。

ここで、符号化対象領域が広い場合、複数の平坦度合いを持つ領域が含まれる可能性があるため、符号化対象領域を小ブロックに分割して平坦度合いを算出することもできる。この場合、符号化対象領域の平坦度合いは小ブロックの数だけ求まるため、それらの中の最小値や最大値を符号化対象領域の平坦度合いとする。

（ii）主観画質が低下しやすい平坦領域の検出方法
次に、ステップ１１，１２で実行する符号化対象領域が主観画質の低下が目立ちやすい平坦領域であるのか否かの検出方法について説明する。

平坦領域であるのか否かについては、
・予め与えられている固定された閾値
・符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値
という２つの値と平坦度合いとの比較結果から判定する。

なお、符号化対象フレームの平坦度合いの平均値を用いる場合は、事前に符号化対象フレームの平坦度合いを求めておく必要がある。

上記の２つの値よりも符号化対象領域の平坦度合いが小さい場合は、符号化対象領域は平坦領域であると判定する。上記の１つ目の条件は、平坦度合いの絶対的な大きさを評価し、上記の２つ目の条件は、符号化対象フレーム内での平坦度合いの相対的な大きさを評価する。

これらの評価を行う理由は、予測残差を最小化する必要がない領域を排除するためである。例えば、フレーム全体がテクスチャ領域のような映像では、たとえ符号化対象領域の平坦度合いが平均値以下の領域であってもその絶対的な値が大きいため、符号化効率を優先した符号化制御を行ったほうが良い。逆に、画面全体が平坦な映像では、ほとんどの領域が平坦と判断され、発生符号量の増加を招く恐れがある。割り当て符号量が十分にない場合は、符号量割り当て制御に支障が出る可能性がある。そこで、相対的に目立ちやすい符号化対象領域のみについて予測残差信号最小化の符号化制御を行う。

符号化対象領域を小ブロックに分割して平坦度合いを算出している場合、次のような方法により平坦領域であるのか否かを判定することもできる。

まず、小ブロックに分割して求めた平坦度合いについて、最小値と最大値を求める。平坦度合いの小ブロック最大値は、符号化対象領域内で最も歪が目立ちにくい領域の平坦度合いであり、一方、平坦度合いの小ブロック最小値は、符号化対象領域内で最も歪が目立ち易い領域の平坦度合いである。

続いて、平坦度合いの小ブロック最大値と、符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値とを比較する。それと同時に、平坦度合いの小ブロック最小値と、予め与えられている固定された閾値との比較を行う。これら２つの条件を満たす符号化対象領域（小ブロック最大値が平均値以下で、小ブロック最小値が閾値以下の条件を満たす符号化対象領域）は、フレーム内では相対的に歪が目立ちやすい領域であり、かつ、主観画質低下が検知されやすい平坦領域を含むことがわかる。

（iii)符号化制御方法の切り替え方法
次に、ステップ１３〜１６で実行する平坦領域の判定結果に基づく符号化制御方法の切り替えについて説明する。

符号化制御方法の切り替えは、コスト関数の切り替えと、予測符号化モードの制限とにより実施する。

すなわち、平坦領域では、予測残差信号を最小化するコスト関数を採用し、それ以外の領域では、符号化コストを最小化するコスト関数を採用する。平坦領域では、予測残差信号を最小化するコスト関数を採用するため、オーバヘッド部のコストの増加により発生符号量が増大する可能性がある。そこで、オーバヘッド部のコストを制限するために、予測符号化モードを制限して、制限した予測符号化モードの中から、予測残差信号を最小化する予測符号化モードを選択する。例えば、平坦領域では、動きベクトルの本数が最小の予測符号化モードのみに制限する（動きベクトルの本数に合わせて予測符号化モードを制限する）。

従来方法で問題となっている主観画質の低下は、オーバヘッド部の符号量が支配的になった場合に問題が顕在化する。

つまり、量子化ステップサイズが小さい場合は、予測残差信号の発生符号量が大きくなりオーバヘッド部の符号量が支配的でなくなるので、主観画質の低下は検知されにくい。そこで、符号化制御を切り替えるよりも前に、符号化対象領域の量子化ステップサイズにより、主観画質低下の発生しやすさを評価してもよい。例えば、予め与えられた閾値と比較して、符号化対象領域の量子化ステップサイズが閾値より大きい場合にのみ、その符号化対象領域について、平坦領域の検出と符号化制御の切り替えとを行う。

図２に、この方法を用いる場合の本発明のフローチャートを図示する。この例では、最初にステップ１００で量子化ステップサイズを評価し、主観画質低下が顕在化するかどうかを判定して、図１に示したフローチャートの処理に入るのか否かを決定するようにしている。

次に、実施例に従って、本発明について詳細に説明する。

図３に、本発明を具備する動画像符号化装置１の一実施例を図示する。

本発明の動画像符号化装置１は、符号化処理部１０と、Ｌ１分散算出部１１と、Ｌ１分散平均値算出部１２と、Ｌ１分散比較部１３と、予測モード制御部１４と、切替部１５と、量子化ステップ評価部１６とを備える。

この符号化処理部１０は、予測残差信号の大きさと予測残差信号以外の情報の符号化に要する発生符号量とから符号化コストを算出する“第１のコスト関数算出部”と、予測残差信号の大きさのみから符号化コストを算出する“第２のコスト関数算出部”とを備えて、これらのコスト関数算出部が算出する符号化コストを使って、動きベクトルの探索や予測符号化モードの決定を行うことで符号化対象領域（符号化対象ブロック）の符号化処理を実行する。

Ｌ１分散算出部１１は、符号化対象ブロックを分割した各小ブロックについて、輝度信号のＬ１分散を算出することで平坦度合いを算出して、“最大値算出部”を使って、その中の最大Ｌ１分散を算出するとともに、“最小値算出部”を使って、その中の最小Ｌ１分散を算出する。

Ｌ１分散平均値算出部１２は、直前に符号化したフレームにおける最小Ｌ１分散の平均値を算出することで、平坦度合いの平均値を算出する。

Ｌ１分散比較部１３は、Ｌ１分散算出部１１の算出した最大Ｌ１分散とＬ１分散平均値算出部１２の算出した平坦度合いの平均値とを比較する“最大値比較部”と、Ｌ１分散算出部１１の算出した最小Ｌ１分散と規定の閾値とを比較する“最小値比較部”とを備えて、それらの比較結果に基づいて、符号化対象ブロックが平坦領域であるのか否かを判定する。

予測モード制御部１４は、Ｌ１分散比較部１３の判定結果に基づいて、符号化処理部１０に対して、利用可能な予測符号化モードの情報と使用するコスト関数の種別の情報とを通知する。

切替部１５は、予測モード制御部１４による制御指示か、予測モード制御部１４によらない制御指示（従来技術における制御指示）のいずれか一方を選択して、符号化処理部１０に通知する。

量子化ステップ評価部１６は、符号化処理部１０の用いる量子化ステップサイズを評価して、それに基づいて、切替部１５に対して、どちらの制御指示を選択するのかを指示する。

このように構成される本発明の動画像符号化装置１では、符号化対象ブロックを１６×１６画素とし、４つの小ブロック８×８画素に分割して平坦度合いを算出する。平坦度合いは、輝度信号のＬ１分散で算出し、符号化対象ブロック内の最小Ｌ１分散と最大Ｌ１分散とを求める。平坦度合いの平均値は、直前に符号化したフレームにおける最小Ｌ１分散の平均値とする。平坦領域の判定には、最小Ｌ１分散と最大Ｌ１分散とを用いる。また、主観画質の低下が顕在化するかどうかを判断するため、量子化ステップサイズによる判定も行う。

符号化対象ブロックが平坦領域であると判定した場合には、動き補償予測のブロックサイズは１６×１６画素とし、予測符号化モード選択時には、１６×１６動き補償予測符号化モードとスキップモード（符号化対象ブロックについて動きベクトルを伝送しない動き補償予測モード）の中から予測符号化モードを選択する。一方、符号化対象ブロックが平坦領域でないと判定した場合には、予測残差信号の大きさと予測残差信号以外の情報の符号化に要する発生符号量とから符号化コストを算出するという構成を採って、それに基づいて動きベクトルや予測符号化モードを決定する。

図４に、このように構成される本発明の動画像符号化装置１の実行するフローチャートを図示する。次に、このフローチャートに従って、本発明の動画像符号化装置１の実行する処理について詳細に説明する。

〔１〕量子化ステップサイズの評価
本発明の動画像符号化装置１では、先ず最初に、ステップ２０で、符号化対象ブロックについて、量子化ステップサイズＱＰと予め定めた定数である閾値ＴＨ_QPとを比較する。ＱＰ≧ＴＨ_QPが成立する場合には、次のステップ２１の処理に進み、ＱＰ＜ＴＨ_QPが成立する場合には、後述するステップ２７の処理へ直ちに移行する。

〔２〕Ｌ１分散の算出
続いて、ステップ２１で、符号化対象ブロックを４つに分割した８×８サイズの小ブロックのそれぞれについて、下式に従って、輝度信号のＬ１分散“ act_n ”を算出する。

ここで、ｓ_y （ｉ，ｊ）は小ブロックｎの輝度信号の画素値、＜ｓ_y ＞は小ブロックｎの輝度信号の平均値を示す。

〔３〕Ｌ１分散の最小値と最大値を算出
続いて、ステップ２２で、ステップ２１で求めた４つのＬ１分散に対して下記の演算を施すことで、
ａｃｔ_min ＝ ｍｉｎ（ act₀ , act₁ , act₂ , act₃ ）
ａｃｔ_max ＝ ｍａｘ（ act₀ , act₁ , act₂ , act₃ ）
Ｌ１分散の最小値ａｃｔ_min と最大値ａｃｔ_max を算出する。

〔４〕領域種別の判定
続いて、ステップ２３，２４で、Ｌ１分散の最小値ａｃｔ_min と最大値ａｃｔ_max について、下記の２つの条件が成立するのか否かを評価して、
・ａｃｔ_max ＜ａｃｔ_avg
・ａｃｔ_min ＜ＴＨ_ACT
この２つの条件を同時に満たした場合、符号化対象ブロックを平坦領域と判定する。

ここで、ａｃｔ_avg は直前に符号化したフレームのａｃｔ_min の平均値、ＴＨ_ACT は平坦領域判定のための閾値である。

この判定処理に従って平坦な領域であると判断した場合には、ステップ２５の処理に進み、平坦でない領域と判断した場合には、ステップ２７の処理に進む。

〔５〕１６×１６サイズで動きベクトル探索
平坦領域であると判断した符号化対象ブロックについては、続いて、ステップ２５で、１６×１６サイズのみで動きベクトルを探索する。その際、動きベクトル情報の符号量（オーバヘッド部の符号量）は考慮せずに、予測残差電力が最小となる動きベクトルを探索する。

〔６〕スキップモード判定
平坦領域であると判断した符号化対象ブロックについては、続いて、ステップ２６で、スキップモードの予測残差電力を算出し、１６×１６サイズの動きベクトル探索の結果と比較して、予測残差信号の差が一定の値ＯＦＦＳＥＴ_SAD 以下の場合には、スキップモードとし、ＯＦＦＳＥＴ_SAD 以下でない場合には、１本の動きベクトルから予測残差信号を生成する予測符号化モードとする。

ここで、上述の差が一定の値ＯＦＦＳＥＴ_SAD 以下の場合にスキップモードとするのは、一般的にスキップモードの方が発生符号量が少なくなるからである。これから、上述の差を求めるのではなくて、それぞれについて実際に符号化コストを算出して、その算出値に基づいて符号化コストの小さくなる方を選択することで、スキップモードにするのか、１本の動きベクトルから予測残差信号を生成する予測符号化モードにするのかを決定するようにしてもよい。

〔７〕動きベクトル探索
平坦領域でないと判断した符号化対象ブロックについては、続いて、ステップ２７で、各ブロックサイズ（符号化対象ブロックにおいて利用可能な各ブロックサイズ）で、動きベクトル等のオーバヘッド部の符号量を含めて、符号化コストが最小となる動きベクトルを探索する。

〔８〕予測符号化モード選択
平坦領域でないと判断した符号化対象ブロックについては、続いて、ステップ２８で、オーバヘッド部の符号量を含めて、符号化コストが最小となる予測符号化モードを選択する。

〔９〕符号化処理
ステップ２６，２８の処理を終了すると、最後に、ステップ２９で、符号化処理を実行する。

このようにして、図３のように構成される本発明の動画像符号化装置１は、このような処理手順に従って、符号化対象ブロックについて平坦な領域であるのか否かを判定し、その判定結果に基づいて、符号化コストの算出方法の切り替え、予測符号化モードの制限を実行することにより、発生符号量の増加を抑えつつ、平坦領域での主観画質を向上させることを実現するのである。

本発明の実行するフローチャートである。 本発明の実行するフローチャートである。 本発明の動画像符号化装置の一実施例である。 本発明の動画像符号化装置の実行するフローチャートである。 一般的な符号化処理のフローチャートである。 従来技術の問題を説明する説明図である。

符号の説明

１ 動画像符号化装置
１０ 符号化処理部
１１ Ｌ１分散算出部
１２ Ｌ１分散平均値算出部
１３ Ｌ１分散比較部
１４ 予測モード制御部
１５ 切替部
１６ 量子化ステップ評価部

Claims (15)

1. 動き補償予測を行って動画像を符号化する動画像予測符号化方法において、
   符号化対象領域の平坦さの度合いを算出する過程と、
   上記算出した平坦度合いに基づいて、符号化対象領域が平坦領域であるのか否かを判定する過程と、
   上記判定に従って符号化対象領域が平坦領域であることを判定する場合に、予測残差信号の大きさのみに基づいて符号化コストを算出するように制御するとともに、符号化対象領域の符号化に利用可能となる予測符号化モードを、予測残差信号の生成に必要となる動きベクトルの本数が所定の閾値以下となる予測符号化モードに制限するように制御し、一方、符号化対象領域が平坦領域でないことを判定する場合に、予測残差信号の大きさと予測残差信号以外の情報の符号化に要する発生符号量とに基づいて符号化コストを算出するように制御する過程とを備えることを、
   特徴とする動画像予測符号化方法。
2. 動き補償予測を行って動画像を符号化する動画像予測符号化方法において、
   符号化対象領域の平坦さの度合いを算出する過程と、
   上記算出した平坦度合いに基づいて、符号化対象領域が平坦領域であるのか否かを判定する過程と、
   上記判定に従って符号化対象領域が平坦領域であることを判定する場合に、予測残差信号の大きさのみに基づいて符号化コストを算出するように制御し、符号化対象領域が平坦領域でないことを判定する場合に、予測残差信号の大きさと予測残差信号以外の情報の符号化に要する発生符号量とに基づいて符号化コストを算出するように制御する過程とを備えることを、
   特徴とする動画像予測符号化方法。
3. 請求項２に記載の動画像予測符号化方法において、
   上記制御する過程では、上記判定に従って符号化対象領域が平坦領域であることを判定する場合に、符号化対象領域の符号化に利用可能となる予測符号化モードを、予測残差信号の生成に必要となる動きベクトルの本数が所定の閾値以下となる予測符号化モードに制限するように制御することを、
   特徴とする動画像予測符号化方法。
4. 請求項１または３に記載の動画像予測符号化方法において、
   上記制御する過程では、上記判定に従って符号化対象領域が平坦領域であることを判定する場合に、符号化対象領域の符号化に利用可能となる予測符号化モードを、１本の動きベクトルから予測残差信号を生成する動き補償予測符号化モードと、動きベクトルを伝送しないスキップモードとの２つに制限するように制御することを、
   特徴とする動画像予測符号化方法。
5. 請求項１ないし４のいずれか１項に記載の動画像予測符号化方法において、
   符号化対象領域の量子化ステップサイズと予め与えられている閾値とを比較して、該量子化ステップサイズが該閾値よりも大きい場合にのみ、上記制御を行うことができるようにする過程を備えることを、
   特徴とする動画像予測符号化方法。
6. 請求項１ないし５のいずれか１項に記載の動画像予測符号化方法において、
   上記判定する過程では、符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値と上記算出した符号化対象領域の平坦度合いとを比較するとともに、予め与えられている閾値と上記算出した符号化対象領域の平坦度合いとを比較して、上記算出した符号化対象領域の平坦度合いが該平均値よりも小さく、かつ、上記算出した符号化対象領域の平坦度合いが該閾値よりも小さい場合に、符号化対象領域を平坦領域と判定することを、
   特徴とする動画像予測符号化方法。
7. 請求項１ないし５のいずれか１項に記載の動画像予測符号化方法において、
   上記算出する過程では、符号化対象領域を複数の小ブロックに分割して各小ブロック毎に平坦度合いを算出し、それらの平坦度合いの最小値、最大値を算出することで符号化対象領域の平坦度合いを算出することを、
   特徴とする動画像予測符号化方法。
8. 請求項７に記載の動画像予測符号化方法において、
   上記判定する過程では、符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値と上記最大値とを比較するとともに、予め与えられている閾値と上記最小値とを比較して、上記最大値が該平均値よりも小さく、かつ、上記最小値が該閾値よりも小さい場合に、符号化対象領域を平坦領域と判定することを、
   特徴とする動画像予測符号化方法。
9. 請求項１ないし８のいずれか１項に記載の動画像予測符号化方法において、
   上記算出する過程では、画素値の分散、画素間差分の絶対値和、画素間差分の自乗和のいずれかを用いて符号化対象領域の平坦度合いを算出することを、
   特徴とする動画像予測符号化方法。
10. 動き補償予測を行って動画像を符号化する動画像予測符号化装置において、
    符号化対象領域の平坦さの度合いを算出する手段と、
    上記算出した平坦度合いに基づいて、符号化対象領域が平坦領域であるのか否かを判定する手段と、
    上記判定に従って符号化対象領域が平坦領域であることを判定する場合に、予測残差信号の大きさのみに基づいて符号化コストを算出するように制御するとともに、符号化対象領域の符号化に利用可能となる予測符号化モードを、予測残差信号の生成に必要となる動きベクトルの本数が所定の閾値以下となる予測符号化モードに制限するように制御し、一方、符号化対象領域が平坦領域でないことを判定する場合に、予測残差信号の大きさと予測残差信号以外の情報の符号化に要する発生符号量とに基づいて符号化コストを算出するように制御する手段とを備えることを、
    特徴とする動画像予測符号化装置。
11. 動き補償予測を行って動画像を符号化する動画像予測符号化装置において、
    符号化対象領域の平坦さの度合いを算出する手段と、
    上記算出した平坦度合いに基づいて、符号化対象領域が平坦領域であるのか否かを判定する手段と、
    上記判定に従って符号化対象領域が平坦領域であることを判定する場合に、予測残差信号の大きさのみに基づいて符号化コストを算出するように制御し、符号化対象領域が平坦領域でないことを判定する場合に、予測残差信号の大きさと予測残差信号以外の情報の符号化に要する発生符号量とに基づいて符号化コストを算出するように制御する手段とを備えることを、
    特徴とする動画像予測符号化装置。
12. 請求項１１に記載の動画像予測符号化装置において、
    上記制御する手段は、上記判定に従って符号化対象領域が平坦領域であることを判定する場合に、符号化対象領域の符号化に利用可能となる予測符号化モードを、予測残差信号の生成に必要となる動きベクトルの本数が所定の閾値以下となる予測符号化モードに制限するように制御することを、
    特徴とする動画像予測符号化装置。
13. 請求項１０ないし１２のいずれか１項に記載の動画像予測符号化装置において、
    符号化対象領域の量子化ステップサイズと予め与えられている閾値とを比較して、該量子化ステップサイズが該閾値よりも大きい場合にのみ、上記制御を行うことができるようにする手段を備えることを、
    特徴とする動画像予測符号化装置。
14. 請求項１ないし９のいずれか１項に記載の動画像予測符号化方法の各過程をコンピュータに実行させるための動画像予測符号化プログラム。
15. 請求項１ないし９のいずれか１項に記載の動画像予測符号化方法の各過程をコンピュータに実行させるための動画像予測符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images