JP3877043B2 - シーン適応型動画像符号化装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明はシーン適応型動画像符号化装置に関し、特に、シーン特性を基にフレーム間符号化を行うピクチャタイプを適応的に割当てるようにしたシーン適応型動画像符号化装置に関する。
【０００２】
【従来の技術】
ＭＰＥＧ−２におけるＧＯＰ構造は、図７に示されているような構造が一般的である。すなわち、該ＧＯＰ構造は、予測を使わずにフレーム内の画素値に直交変換をかけて量子化を行うＩ（イントラ）ピクチャと、時間的に過去に位置するＩまたはＰピクチャから予測符号化を行うＰピクチャと、時間的に過去と未来に位置するＩまたはＰピクチャを用いて、両方向の画面から予測符号化を行うＢピクチャから構成されており、該３種類のピクチャの組み合わせは、図示されているように、Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｉピクチャの順序にされているのが一般的である。
【０００３】
【発明が解決しようとする課題】
しかしながら、前記ＧＯＰ構造では、Ｂピクチャが、ＩまたはＰピクチャと、該ＩまたはＰピクチャより３画面後のＰ（またはＩ）ピクチャとにより予測されるため、動きの速い物体を映した動画像の場合、例えば図８に示すように、画面５０の左端にあった物体が３画面後の画面５１では、既にその右端に移動してしまっているといった場合には、Ｐピクチャは予測効率が低下し、予測外れを起こして、画質の低下をもたらすという問題があった。
【０００４】
本発明の目的は、前記従来技術の問題点を解消し、動きの速い動画像においても画質が良好となる、シーン適応型動画像符号化装置を提供することにある。
【０００５】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、Ｉ，Ｐ，Ｂピクチャのいずれかのピクチャタイプで符号化を行う動画像符号化装置において、符号化に先立って、入力画像信号と局所復号画像信号と動き推定信号とが入力し、動き補償予測画像を生成すると共に、前記入力画像信号と動き補償予測画像との誤差を示す誤差指標Ｅと、前記動き補償予測画像の全マクロブロックの動きベクトルのうち予め定められた第１の閾値以上の動きベクトルが占める割合である動き指標Ｍとを求める動き補償部と、符号化に先立って、前記入力画像信号の全マクロブロックのうち予め定められた第２の閾値以上のマクロブロック単位の輝度分散を有するマクロブロックの割合である内挿予測指標Ｂを求めるシーン解析部と、前記誤差指標Ｅが予め定められた第３の閾値より大きくかつ前記動き指標Ｍが予め定められた第４の閾値より大きい時に、当該入力画像の符号化ピクチャタイプをＰピクチャと決定し、前記誤差指標Ｅが予め定められた第３の閾値より小さくまたは前記動き指標Ｍが予め定められた第４の閾値より小さい時に、該内挿予測指標Ｂが小さいほど多くの枚数のＢピクチャを挿入するピクチャタイプ選択部とを具備した点に特徴がある。
【０００６】
この特徴によれば、画像の動きの大きさに応じて、符号化するピクチャタイプを決定できるので、動きの速い動画像においても画質が良好となる符号化を行えるようになる。
【０００７】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態のシーン適応型動画像符号化装置の構成を示すブロック図である。
【０００８】
図において、画像信号は、数フレーム分の画像信号を蓄積することのできるピクチャ蓄積部１と、シーン解析部３に入力する。該シーン解析部３は、後述の説明から明らかになるように、入力フレームの内挿予測指標Ｂを算出して、ピクチャタイプ選択部４に送る。ピクチャタイプ選択部４は、後述する動き補償部（ＭＣ部）６からの誤差指標Ｅ、動き指標Ｍ、および前記内挿予測指標Ｂを基に、符号化するピクチャタイプを決定する。なお、これらの動作については、後で詳しく説明する。
【０００９】
ピクチャ並べ替え部２は、Ｂピクチャでは時間的に前後した画面を用いて符号化を行う必要があるため、ピクチャタイプ選択部４から指示されるピクチャタイプ（Ｉ，Ｂ，Ｐピクチャ）に合わせて画面の並べ替えを行う。該ピクチャ並べ替え部２で並べ替えられた画像信号は、減算部５に入力する。スイッチ部７ａ、７ｂは、Ｉピクチャの符号化時にそれぞれオン、オフにされ、Ｐ，Ｂピクチャの符号化時にそれぞれオフ、オンにされる。
【００１０】
ＤＣＴ部８は入力してきた画像信号または予測誤差信号を直交変換する。該直交変換された信号は、量子化部９で量子化され、可変長符号化部１０で可変長符号化され、送信バッファ１１に一旦蓄積されたあと、所定のレートでビデオビットストリームとして外部回線に送出される。一方、逆量子化部１２は量子化部９で量子化された信号を逆量子化する。該逆量子化された信号は、逆ＤＣＴ部１３で逆直交変換されて局部復号され、加算器１４で動き補償部６からの予測画像と加算され、フレームメモリ１５に蓄積される。動き推定部１６は、入力画像信号とフレームメモリ１５に蓄積された局部復号画像から動き推定を行い、動きベクトルを動き補償部６に手渡す。動き補償部６は、前記予測画像を前記減算部５に出力すると共に、前記誤差指標Ｅおよび動き指標Ｍを算出して、前記ピクチャタイプ選択部４へ送出する。
【００１１】
次に、前記ピクチャタイプ選択部４の動作を、図２のフローチャートを参照して、詳細に説明する。ステップＳ１では、符号化するピクチャがＩピクチャであるか否かの判断をする。この判断が肯定の時には、ステップＳ２に進んで、当該ピクチャにＩピクチャを選択して、処理を終了する。一方、ステップＳ１の判断が否定の時には、ステップＳ３に進む。
【００１２】
ステップＳ３では、当該ピクチャがステップＳ１１、Ｓ１３で後述する予約ピクチャであるか否かの判定がなされる。この判定が肯定の時には、ステップＳ４に進んで、当該ピクチャに予約ピクチャが選択される。なお、予約ピクチャが選択されると、予約ピクチャ数は１減じられる。
【００１３】
一方、ステップＳ３の判定が否定の時には、ステップＳ５に進む。ステップＳ５では、前記シーン解析部３より、内挿予測指標Ｂを取得する。次いで、ステップＳ６，Ｓ７では、動き補償部（ＭＣ部）から、それぞれ、判定ピクチャの誤差指標Ｅ、動き指標Ｍを取得する。続いて、ステップＳ８で、該誤差指標Ｅ、動き指標Ｍが、それぞれに対して設定された閾値δ_E 、δ_M より大きいか否かが判断される。そして、この判断が肯定の時には、ステップＳ９に進んで、当該ピクチャにＰピクチャが選択される。この結果、動きの速い画像には、Ｐピクチャが選択されることになる。そして、処理を終了する。
【００１４】
次に、前記ステップＳ８の判断が否定の時には、ステップＳ１０に進んで、前記ステップＳ５で取得した内挿予測指標Ｂの大小に基づいて、連続して挿入するＢピクチャの枚数Ｎ_B が決定される。後述するように、本実施形態では、該内挿予測指標Ｂは、マクロブロックの輝度分散Ａが所定の閾値δ_A 以上のマクロブロック数に比例するから、前記連続して挿入するＢピクチャの枚数Ｎ_B は、内挿予測指標Ｂが小さい程大きな枚数になる。
【００１５】
ステップＳ１１に進むと、当該ピクチャを含む後続のＮ_B 枚のピクチャを、Ｂピクチャと予約する。ステップＳ１２では、当該ピクチャから数えて（Ｎ_B ＋１）目のピクチャをＰピクチャと予約する。次いで、ステップＳ１３に進んで当該ピクチャにＢピクチャを選択して終了する。なお、前記（Ｎ_B ＋１）目のピクチャがＩピクチャと重なる時には、該Ｐピクチャの予約をキャンセルするようにしてもよい。
【００１６】
以上の結果、動きの遅い画像の場合には、その遅さに応じた枚数のＢピクチャが挿入されることになり、符号化効率を向上させることができるようになる。一方動きの速い画像の場合には、Ｐピクチャのみが用いられるようになり、画質の低下を防止できるようになる。
【００１７】
次に、前記ステップＳ５の詳細を、図３のフローチャートを参照して説明する。ステップＳ３１では、前記シーン解析部３は、入力フレームを取得する。ステップＳ３２では、該入力フレームをマクロブロックに分割する。ステップＳ３３では、該マクロブロック単位に、輝度分散Ａを算出する。ステップＳ３４では、該輝度分散Ａがある閾値δ_A 以上となるマクロブロック数をカウントし、その数をＣ_A とする。ステップＳ３５では、前記内挿予測指標Ｂを、Ｃ_A ／ＭＢ_cnt （ここに、ＭＢ_cnt はフレーム内マクロブロック総数）から求める。なお、シーン解析部３は、上記に代えて、入力フレームの高周波成分の割合に基づいて、内挿予測指標Ｂを求めてもよい。
【００１８】
次に、前記ステップＳ６の詳細を、図４のフローチャートを参照して説明する。ステップＳ４１では、動き補償部６は、動き補償予測画像（ＭＣ画像）と原画像を入力とし、ステップＳ４２では、これらの両画像から平均二乗誤差Ｅ_predを算出し格納する。ステップＳ４３では、該平均二乗誤差Ｅ_predを前記誤差指標Ｅとする。なお、平均二乗誤差に代え、誤差二乗和、あるいは誤差絶対値和を用いてもよい。
【００１９】
次に、前記ステップＳ７の詳細を、図５のフローチャートを参照して説明する。ステップＳ５１では、動き補償部６は、フレーム予測動き補償の動きベクトルＭＶ_F を全マクロブロックについて取得する。ステップＳ５２では、ＭＶ_F に対する閾値をδ_MVとする時、ＭＶ_F ＞δ_MVとなるマクロブロック数をカウントし、該カウント数Ｃ_M を格納する。ステップＳ５３では、Ｃ_M ／ＭＢ_cnt （ここに、ＭＢ_cnt はフレーム内マクロブロック総数）から、前記動き指標Ｍを求める。なお、全マクロブロックの動きベクトルの平均を、該動き指標Ｍとしてもよい。
【００２０】
以上の説明から明らかなように、前記誤差指標Ｅと前記動き指標Ｍは共に、画像の動きが速いほど大きくなる。また、内挿予測指標Ｂは、画像に占める高域周波数成分の比率が高いほど大きくなる。したがって、本実施形態によれば、図６に示されているように、画像の動きが大きいと順方向予測のＰピクチャが連続して選択されるようになり、動きが小さくなると、その程度に応じて、１枚、または複数枚のＢピクチャがＰピクチャ間に選択されることになる。
【００２１】
なお、前記実施形態では、誤差指標Ｅと動き指標Ｍを用いて前記ステップＳ８の判定をしたが、本発明はこれに限定されず、いずれか一方のみを用いた判定であってもよく、さらには内挿予測指標Ｂとの併用による判定であってもよい。
【００２２】
【発明の効果】
以上の説明から明らかなように、本発明によれば、画像の動きの大きさと動き補償予測の効果に応じて、符号化のピクチャタイプを選択できるようになり、適応的にピクチャタイプを選択できるようになる。すなわち、画像の動きが大きい場合にはＰピクチャが選択され、一方、画像の動きが小さい場合には、複数枚のＢピクチャが連続して選択されるようになるので、画質の劣化を最小限に抑制できると共に、符号化効率を向上できるようになる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の構成を含む符号化装置のブロック図である。
【図２】 本発明の一実施形態の動作を示すフローチャートである。
【図３】 図２のステップＳ５の動作の詳細を示すフローチャートである。
【図４】 図２のステップＳ６の動作の詳細を示すフローチャートである。
【図５】 図２のステップＳ７の動作の詳細を示すフローチャートである。
【図６】 本発明の一実施形態により得られるピクチャタイプ配列の概念図である。
【図７】 従来のＧＯＰ構造の説明図である。
【図８】 動きの速い物体を有する画像の説明図である。
【符号の説明】
１…ピクチャ蓄積部、２…ピクチャ並べ替え部、３…シーン解析部、４…ピクチャタイプ選択部、６…動き補償部。

Claims (1)

1. Ｉ，Ｐ，Ｂピクチャのいずれかのピクチャタイプで符号化を行う動画像符号化装置において、
   符号化に先立って、入力画像信号と局所復号画像信号と動き推定信号とが入力し、動き補償予測画像を生成すると共に、前記入力画像信号と動き補償予測画像との誤差を示す誤差指標Ｅと、前記動き補償予測画像の全マクロブロックの動きベクトルのうち予め定められた第１の閾値以上の動きベクトルが占める割合である動き指標Ｍとを求める動き補償部と、
   符号化に先立って、前記入力画像信号の全マクロブロックのうち予め定められた第２の閾値以上のマクロブロック単位の輝度分散を有するマクロブロックの割合である内挿予測指標Ｂを求めるシーン解析部と、
   前記誤差指標Ｅが予め定められた第３の閾値より大きくかつ前記動き指標Ｍが予め定められた第４の閾値より大きい時に、当該入力画像の符号化ピクチャタイプをＰピクチャと決定し、前記誤差指標Ｅが予め定められた第３の閾値より小さくまたは前記動き指標Ｍが予め定められた第４の閾値より小さい時に、該内挿予測指標Ｂの大きさに基づき決定される枚数のＢピクチャを挿入するピクチャタイプ選択部とを具備したことを特徴とするシーン適応型動画像符号化装置。

Images