JP2006014086A - 動画像符号化装置及び動画像符号化方法 - Google Patents

Abstract

【課題】 動き予測を用いて動画像を符号化する場合に、インターフレームにおける画質劣化を抑制すること。
【解決手段】 フレーム間動き予測を用いて動画像を符号化する符号化部（２０６）は、各フレームを複数の分割領域に分割するタイル分割部（３０２）と、フレーム内から重要領域を決定するＲＯＩタイル決定部（３１７）と、前フレームの重要領域の範囲内で、符号化対象のフレームの各分割領域毎に相関性が高い画素集合を探索し、該各分割領域のデータと、探索した画素集合のデータとの差分を取って差分データを出力するフレーム間予測手段（３１０、３１４）と、前記差分データを符号化する符号化手段（３０３〜３０８）とを有する。
【選択図】 図３

Description

本発明は、動画像符号化装置及び方法に関し、更に詳しくは、動き予測を用いて動画像を符号化する動画像符号化装置及び方法に関する。

近年、ネットワークを介して流れるコンテンツは文字情報から静止画像情報、さらには動画像情報と大容量化、多様化している。これに合わせて、情報量を圧縮する符号化技術の開発も進み、開発された符号化技術は国際標準化によって広く普及するようになった。

一方で、ネットワーク自体も大容量化、多様化が進んでおり、1つのコンテンツが送信側から受信側に届くまでに様々な環境を通過することになった。また、送信／受信側機器の処理性能も多様化している。送受信機器として主に用いられるＰＣではＣＰＵ性能、グラフィクス性能など、大幅な性能向上が進む一方、ＰＤＡ、携帯電話機、ＴＶ、ハードディスクレコーダなど、処理性能の異なる様々な機器がネットワーク接続機能を持つようになってきている。このため、１つのデータで、変化する通信回線容量や受信側機器の処理性能に対応できるスケーラビリティという機能が注目されている。

このスケーラビリティ機能を持つ静止画像符号化方式としてＪＰＥＧ２０００符号化方式が広く知られている。この方式は国際標準化され、非特許文献１に詳細が記述されている。その特徴は入力された画像データに対して離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）を施し、複数周波数帯に分離する。それらの係数を量子化し、その値をビットプレーン毎に算術符号化するというものである。ビットプレーンを必要な数だけ符号化したり、復号したりすることで、きめの細かい階層の制御を可能にしている。

また、ＪＰＥＧ２０００符号化方式では、従来の符号化技術には無い、画像の中で興味がある領域の画質を相対的に向上させるＲＯＩ（Region Of Interest）といった技術も実現している。

図２３はＪＰＥＧ２０００符号化方式による符号化部を示す。タイル分割部９００１は入力画像を複数の領域（タイル）に分割する。この機能はオプションである。ＤＷＴ部９００２は離散ウェーブレット変換を行い、周波数帯に分離する。量子化部９００３で、各係数を量子化する。ＲＯＩ指定部９００７はオプションであり、興味のある領域を設定することができる。量子化部９００３はシフトアップを行う。エントロピー符号化部９００４でＥＢＣＯＴ（Ｅｍｂｅｄｅｄ Ｂｌｏｃｋ Ｃｏｄｉｎｇ ｗｉｔｈ Ｏｐｔｉｍｉｚｅｄ Ｔｒｕｎｃａｔｉｏｎ）方式でエントロピー符号化を行い、符号化されたデータはビット切り捨て部９００５で必要に応じて下位ビットを切り捨てられてレート制御を行う。符号形成部９００６でヘッダ情報を付加し、種々のスケーラビリティの機能を選択して符号化データを出力する。

図２４はＪＰＥＧ２０００符号化方式による復号化部を示す。符号解析部９０２０はヘッダを解析し、階層を構成するための情報を得る。ビット切り捨て部９０２１は入力される符号化データを内部バッファの容量、復号処理能力に対応して、下位のビットを切り捨てる。エントロピー復号部９０２２はＥＢＣＯＴ符号化方式の符号化データを復号し、量子化されたウェーブレット変換係数を得る。逆量子化９０２３部はこれに逆量子化を施し、逆ＤＷＴ部は逆離散ウェーブレット変換を施して画像データを再生する。タイル合成部９０２５は複数のタイルを合成して画像データ再生する。

このＪＰＥＧ２０００符号化方式を動画像の各フレームに対応させることで動画像符号化を行うＭｏｔｉｏｎ ＪＰＥＧ２０００方式も勧告されている（例えば、非特許文献２参照）。この方式ではフレーム単位に独立に符号化処理が行われており、時間相関を用いて符号化を行わないため、フレーム間に冗長性が残る。このため、時間相関を用いた動画像符号化方式に比べて符号量を効果的に削減することは難しいという問題がある。

一方で、ＭＰＥＧ符号化方式では動き補償を行い、符号化効率の改善を図っている（例えば、非特許文献３参照）。図２５にその符号化部の構成を示す。ブロック分割部９０３１で８×８のブロックに分割し、差分部９０３２で動き補償による予測データを引き、ＤＣＴ部９０３３で離散コサイン変換を行い、量子化部９０３４で量子化を行う。その結果はエントロピー符号化部９０３５で符号化され、符号形成部９０３６でヘッダ情報を付加して、符号化データを出力する。

同時に、エントロピー符号化部９０３５の処理と同じタイミングで逆量子化部９０３７で逆量子化し、逆ＤＣＴ部９０３８で離散コサイン変換の逆変換を施し、加算部９０３９で予測データを加算してフレームメモリ９０４０に格納する。動き補償部９０４１は入力画像とフレームメモリ９０４０に格納されている参照フレームを参照して動きベクトルを求め、予測データを生成する。

ＩＳＯ／ＩＥＣ１５４４４−１（Information technology -- JPEG 2000 image coding system -- Part 1: Core coding system） ＩＳＯ／ＩＥＣ１５４４４−３（Information technology -- JPEG 2000 image coding system Part 3: Motion JPEG 2000） 「最新ＭＰＥＧ教科書」76ページ他 アスキー出版局1994年

このＪＰＥＧ２０００符号化の効率を高めることを目的として、ＪＰＥＧ２０００に動き補償を追加した圧縮方式がある。このような動画像の圧縮方式では、図２６に示したように、下位ビットプレーンの切り捨てなどにより、予測先のデータが部分的に破棄される場合、予測誤差が積み重なり、インターフレームの画質が大きく劣化する問題があった。

本発明は上記問題点を鑑みてなされたものであり、動き予測を用いて動画像を符号化する場合に、インターフレームにおける画質劣化を抑制することを目的としている。

上記目的を達成するために、フレーム間動き予測を用いて動画像を符号化する本発明の動画像符号化装置は、各フレームを複数の分割領域に分割する分割手段と、フレーム内から重要領域を決定する決定手段と、前フレームの重要領域の範囲内で、符号化対象のフレームの各分割領域毎に相関性が高い画素集合を探索し、該各分割領域のデータと、探索した画素集合のデータとの差分を取って差分データを出力するフレーム間予測手段と、前記差分データを符号化する符号化手段とを有する。

また、フレーム間動き予測を用いて動画像を符号化する本発明の動画像符号化方法は、各フレームを複数の分割領域に分割する分割工程と、フレーム内から重要領域を決定する決定工程と、前フレームの重要領域の範囲内で、符号化対象のフレームの各分割領域毎に相関性が高い画素集合を探索し、該各分割領域のデータと、探索した画素集合のデータとの差分を取って差分データを出力するフレーム間予測工程と、前記差分データを符号化する符号化工程とを有する。

また、別の構成によれば、フレーム間動き予測を用いて動画像を符号化する本発明の動画像符号化装置は、各フレームを複数の分割領域に分割する分割手段と、フレーム内から重要領域を決定する決定手段と、各分割領域毎にデータ変換を行い、変換係数を生成する変換手段と、前フレームの重要領域の範囲に対応する変換係数から、符号化対象のフレームの各分割領域の変換係数毎に相関性が高い変換係数を探索し、該各分割領域の変換係数と、探索した変換係数との差分を取って差分データを出力するフレーム間予測手段と、前記差分データを符号化する符号化手段とを有する。

また、フレーム間動き予測を用いて動画像をフレーム毎に符号化する本発明の動画像符号化方法は、各フレームを複数の分割領域に分割する分割工程と、フレーム内から重要領域を決定する決定工程と、各分割領域毎にデータ変換を行い、変換係数を生成する変換工程と、前フレームの重要領域の範囲に対応する変換係数から、符号化対象のフレームの各分割領域の変換係数毎に相関性が高い変換係数を探索し、該各分割領域の変換係数と、探索した変換係数との差分を取って差分データを出力するフレーム間予測工程と、前記差分データを符号化する符号化工程とを有する。

上記構成によれば、動き予測を用いて動画像を符号化する場合に、インターフレームの画質劣化を抑制することができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

（第１の実施形態）
本発明における処理対象となる動画像は、図１に示されているように、画像と音声から構成され、さらに画像は瞬間瞬間の情報を表すフレームから構成されている。

図２は、本第１の実施形態における動画像処理装置の構成を示すブロック図である。同図において、２００はＣＰＵ、２０１はメモリ、２０２は端末、２０３は蓄積部、２０４は撮像部、２０５は表示部、２０６は符号化部である。

＜符号化部２０６の処理説明＞
次に、符号化部２０６におけるフレームデータの符号化処理について、図３に示す符号化部２０６の構成および図４のフローチャートを参照して説明する。なお、ヘッダの作成方法等、詳細についてはＩＳＯ／ＩＥＣ勧告書に説明されている通りであるので、ここでは説明を省略する。

また、以下の説明では、符号化対象となるフレームデータが８ビットのモノクロフレームデータであるものとして説明をする。しかしながら、フレームデータの形態はこれに限るものではなく、各画素４ビット、１０ビット、１２ビットと言った具合に８ビット以外のビット数で表すモノクロ画像、或いは各画素における各色成分（ＲＧＢ／Ｌａｂ／ＹＣｒＣｂ）を８ビットで表現するカラーの多値フレームデータである場合に適用することも可能である。また、画像を構成する各画素の状態等を表す多値情報である場合、例えば各画素の色を表す多値のインデックス値である場合にも適用できる。これらに応用する場合には、各種類の多値情報を後述するモノクロフレームデータとすればよい。

まず、撮像部２０４から、フレームデータ入力部３０１へ、符号化対象となる画像のフレームデータを構成する画素データがラスタースキャン順に入力され、タイル分割部３０２に出力される。

タイル分割部３０２は、フレームデータ入力部３０１から入力される１枚の画像を図５に示すようなＮ枚のタイルに分割し（ステップＳ４０１）、各タイルを識別するために、本第１の実施形態ではラスタースキャン順にタイル番号0, 1, 2, ...,N-1を割り振る。以下、各タイルを表すデータを「タイルデータ」と呼ぶ。なお、図５では画像を横８縦６の４８枚のタイルに分割した例を示しているが、分割タイル数は適宜変更可能であることは言うまでもない。これら生成されたタイルデータは、順に離散ウェーブレット変換部３０３に送られる。離散ウェーブレット変換部３０３以降の処理においては、タイルデータ毎に符号化される。

また、ＲＯＩタイル決定部３１７が高画質に符号化するタイル（ＲＯＩタイル）がいずれであるかを決定する（ステップＳ４０２）。図６は決定したＲＯＩタイルの例を示す図である。なお、ＲＯＩタイル決定部３１７は、ユーザが不図示の入力デバイスにより指定した優先領域を包含する領域に対して、ＲＯＩタイルと決定する。次にステップＳ４０３において、処理しているタイルを認識するためのカウンタをｉ＝０に設定する。

次に、フレーム属性判定部３１６は、符号化対象のフレームがＩフレーム（Intra frame）／Ｐフレーム（Predictive frame）のいずれであるかを判定する（ステップＳ４０４）。符号化対象フレームがＩフレームならば、タイルデータは離散ウェーブレット変換部３０３に出力される。一方、符号化対象フレームがＰフレームならば、動き補償（ＭＣ：Motion Compensation）予測部３１０にフレームデータをコピーする。

［符号化対象フレームがＩフレームの場合］
符号化対象フレームがＩフレームの場合、ステップＳ４０５において離散ウェーブレット変換部３０３は、タイル分割部３０２から入力される、１フレーム画像のフレームデータ中の１つのタイルデータx(n)における複数の画素（参照画素）のデータ（以下、「参照画素データ」）を用いて離散ウェーブレット変換を行う。

ここで、離散ウェーブレット変換後のフレームデータ（離散ウェーブレット変換係数）を示す。
Y(2n) = X(2n)+floor{ (Y(2n-1)+Y(2n+1)+2)/4 }
Y(2n+1) = X(2n+1)-floor{ (X(2n)+X(2n+2))/2 } …（１）

Y(2n),Y(2n+1)は離散ウェーブレット変換係数列であり、Y(2n)は低周波サブバンド、Y(2n+1)は高周波サブバンドである。また、上記変換式（１）においてfloor{X}はXを超えない最大の整数値を表す。この離散ウェーブレット変換を模式的に表わしたのが図７である。

上記変換式（１）は一次元のデータに対するものであるが、この変換を水平方向、垂直方向の順に適用して二次元の変換を行うことにより、図８（ａ）に示すようなＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドに分割することができる。ここで、Ｌは低周波サブバンド、Ｈは高周波サブバンドを示している。次にＬＬサブバンドを、同じようにして４つのサブバンドに分け（図８（ｂ））、その中のＬＬサブバンドを更に４つのサブバンドに分ける（図８（ｃ））。このようにして合計１０のサブバンドを作る。１０個のサブバンドそれぞれを、図８（ｃ）の様にＨＨ１，ＨＬ１，…と呼ぶ。ここで、各サブバンドの名称における数字は、それぞれのサブバンドのレベルを示す。つまり、レベル１のサブバンドは、ＨＬ１，ＨＨ１，ＬＨ１、レベル２のサブバンドは、ＨＬ２，ＨＨ２，ＬＨ２、レベル３のサブバンドは、ＨＬ３，ＨＨ３，ＬＨ３である。なおＬＬサブバンドは、レベル０のサブバンドである。ＬＬサブバンドは一つしかないので添字を付けない。またレベル０からレベルｎまでのサブバンドを復号することで得られる復号画像を、レベルｎの復号画像と呼ぶ。復号画像は、そのレベルが高い程解像度は高い。

１０個のサブバンドの変換係数は、一旦バッファ３０４に格納され、ＬＬ，ＨＬ１，ＬＨ１，ＨＨ１，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ３，ＬＨ３，ＨＨ３の順に、つまり、レベルが低いサブバンドからレベルが高いサブバンドの順に、係数量子化部３０５へ出力される。

係数量子化部３０５では、バッファ３０４から出力される各サブバンドの変換係数を各周波数成分毎に定めた量子化ステップで量子化し、量子化後の値（係数量子化値）をエントロピー符号化部３０６へ出力する（ステップＳ４０６）。係数値をＸ、この係数の属する周波数成分に対する量子化ステップの値をｑとすると、量子化後の係数値Ｑ（Ｘ）は次式（２）によって求めるものとする。
Q(X)=floor{(X/q)+0.5} …（２）

本実施の形態における各周波数成分と量子化ステップとの対応を図９に示す。同図に示すように、よりレベルが高いサブバンドの方に、大きい量子化ステップを与えている。なお、各サブバンド毎の量子化ステップは予め不図示のＲＡＭやＲＯＭなどのメモリに格納されているものとする。そして、一つのサブバンドにおける全ての変換係数を量子化した後、それら係数量子化値をエントロピー符号化部３０６と逆係数量子化部３１２に出力する。

逆係数量子化部３１２は、図９の量子化ステップを利用し、以下の式（３）に基づいて、係数量子化値を逆量子化する（ステップＳ４０７）。
Y=q*Q …（３）

ここで、ｑを量子化ステップ、Ｑを係数量子化値、Ｙを逆量子化値とする。
逆離散ウェーブレット変換部３１３は、逆量子化値を以下の式（４）に従って逆離散ウェーブレット変換する（ステップＳ４０８）。
X(2n)=Y(2n)-floor{(Y(2n-1)+Y(2n+1)+2)/4}
X(2n+1)=Y(2n+1)+floor{(X(2n)+X(2n+2))/2} …（４）

そして、得られた復号画素をフレームメモリ３１１に記録する（ステップＳ４０９）。

一方、エントロピー符号化部３０６は、入力された係数量子化値をエントロピー符号化する（ステップＳ４１０）。ここでは、まず、図１０に示すように、入力された係数量子化値の集まりである各サブバンドが矩形（「コードブロック」と呼ぶ。）に分割される。なお、このコードブロックの大きさには、２ｍ×２ｎ（ｍ、ｎは２以上の整数）等が設定される。さらにこのコードブロックを、図１１に示すように、ビットプレーンに分割する。その上で、各ビットプレーンにおける各ビットは、図１２に示すように所定分類規則に基づいて３種類に分けられて、同じ種類のビットを集めたコーディングパスが３種類生成される。この３種類のコーディングパスは、有意な係数が周囲にある有意でない係数の符号パスであるsignificance propagation passと、有意な係数の符号パスであるmagnitude refinement passと、残りの係数情報の符号パスであるcleanup passである。

入力された係数量子化値は、ここで得られたコーディングパスを単位として、エントロピー符号化である二値算術符号化が行われ、エントロピー符号化値が生成される。

なお、エントロピー符号化は、１つのコードブロックに注目すると上位ビットプレーンから下位ビットプレーンの順に符号化され、更にそのコードブロックのあるビットプレーンに注目すると、図１２に示す３種類のパスを上から順に符号化するようになっている。なお、図１２は図１１の第４のビットプレーンにおけるコーディングパスの分類を示す。

エントロピー符号化されたコーディングパスは、タイル符号化データ生成部３０７に出力される。

タイル符号化データ生成部３０７では、入力された複数のコーディングパスから、単一もしくは複数のレイヤーを構成し、それらレイヤーをデータの単位としてタイル符号化データを生成する（ステップＳ４１１）。以下にレイヤーの構成に関する説明を行う。

タイル符号化データ生成部３０７は、図１３に示すように、複数のサブバンドにおける複数のコードブロックから、エントロピー符号化されたコーディングパスを集めた上で、レイヤーを構成する。図１３は５枚のレイヤーを生成する場合を示している。なお、任意のコードブロックからコーディングパスを取得する際には、図１４に示すように、常にそのコードブロックにおいて最上位に存在するコーディングパスから順に選択する。その後、タイル符号化データ生成部３０７は、図１５に示すように、生成したレイヤーを上位に位置するレイヤーから順に並べた上で、その先頭にタイルヘッダを付加してタイル符号化データを生成する。このヘッダには、タイルを識別する情報や、当該タイル符号化データの符号長や、圧縮に使用した様々なパラメータ等が格納される。このように生成されたタイル符号化データは、フレーム符号化データ生成部３０８に出力される。

次に、ステップＳ４１２で符号化すべきタイルデータが残っているかどうかをカウンタｉの値とタイル番号とを比較することにより判断する。符号化すべきタイルデータが残っている場合（つまりｉ＜Ｎ−１）は、ステップＳ４１３でカウンタｉを１増やし、ステップＳ４０５に戻って次のタイルに対してステップＳ４１２までの処理を繰り返す。符号化すべきタイルデータが残っていない場合（つまりｉ＝Ｎ−１）は、ステップＳ４２６に進む。

ステップＳ４２６において、フレーム符号化データ生成部３０８では、図１５に示すようなタイル符号化データを、図１６に示すように所定の順番（例えば、タイル番号順）に並べた上で、先頭にヘッダを付加してフレーム符号化データを生成する。このヘッダには、入力画像やタイルの縦横のサイズ、圧縮に使用した様々なパラメータ等が格納される。このように生成されたフレーム符号化データは、フレーム符号化データ出力部３０９から記録部２１２に出力される。

なお、上記説明では、ステップＳ４０７〜Ｓ４０９の処理をステップＳ４１０、Ｓ４１１の処理に先立って行うように説明しているが、逆の順序で行っても、また並行して行っても構わない。

［符号化対象フレームがＰフレームの場合］
次に、ステップＳ４０４の判定で、符号化対象フレームがＰフレームの場合の処理について説明する。その場合、上述したようにタイル分割部３０２は、ＭＣ予測部３１０にフレームデータをコピーし、ＭＣ予測部３１０は、フレームメモリ３１１に記録されているフレーム（前フレーム）と符号化対象フレームとの間でＭＣ予測をする（ステップＳ４１４）。ここで、図１７に示したように、ＭＣ予測先のデータとして、前フレームのＲＯＩタイルに限定する。これは、タイル符号化データ生成部におけるデータ破棄の累積による非ＲＯＩタイルの画質低減を避けるためである。

減算器３１４は、予測結果を基に、前フレームと符号化対象フレームの差を演算する（ステップＳ４１５）。そこで得られる減算結果（差分データ）について、Ｉフレームに対する処理と同様に、離散ウェーブレット変換（ステップＳ４１６）、量子化（ステップＳ４１７）、逆量子化（ステップＳ４１８）、逆離散ウェーブレット変換（ステップＳ４１９）、エントロピー符号化（ステップＳ４２２）、タイル符号化データ生成（ステップＳ４２３）、タイル番号判定（ステップＳ４２４）、画像符号化データ生成（ステップＳ４２６）を実施する。

Ｉフレームの処理との違いは、和演算器３１５により、差分データと前フレームの和を取って、符号化対象フレームを復元して（ステップＳ４２０）、そこで得られた復号フレームをフレームメモリ３１１に記録する処理（ステップＳ４２１）が存在する点である。上述したステップＳ４１４では、ここで記録された復号フレームを用いてＭＣ予測を行う。

上記ステップＳ４１４〜Ｓ４２３の処理は、ステップＳ４２４で符号化すべきタイルデータが残っていないと判断されるまで、ステップＳ４２５におけるカウンタｉを１ずつ増やす処理を介して繰り返し行われる。

なお、予測で使用するデータの単位として、タイル、もしくはタイルをさらに分割して得られるブロック等が考えられる。

また、図４では、ステップＳ４１８〜Ｓ４２１の処理をステップＳ４２２、Ｓ４２３の処理に先立って行うように説明しているが、逆の順序で行っても、また並行して行っても構わない。

上記の通り本第１の実施形態によれば、前フレームにおけるＲＯＩタイルのみをＭＣ予測先と設定することで、タイル符号化データ生成部におけるデータ破棄の累積によるＰフレームの画質低減を回避することができる。

（第２の実施形態）
上記第１の実施形態においては、予測先データとしてＲＯＩタイルに限定することで、タイル符号化データ生成部におけるデータ破棄の累積によるＰフレームの画質低減を回避する方法を示した。

一般的に、ユーザはある対象物をＲＯＩと設定し、その対象物を包含するタイルがＲＯＩタイルと決定される。このため、前後するフレーム間でＲＯＩタイルの画素分布や特性は似ている。このため、ＲＯＩタイル間における予測は、高い符号化効率を実現できると考えられる。しかし、ＲＯＩタイルと非ＲＯＩタイル間における予測は、それ程高い符号化効率を実現できないことも考えられる。それ程高い符号化効率を実現できないならば、ＭＣ予測処理は無駄となり得る。そこで本第２の実施形態では、ＲＯＩタイル間のみで、ＭＣ予測を行う。なお、本第２の実施形態は、上記第１の実施形態とは図４に示す符号化処理のステップＳ４１５における処理が異なるだけであるので、その点のみを説明する。

図１８は、本第２の実施形態においてステップＳ４１５で行われる、ＭＣ予測部３１０における処理を示している。ここでは、図１８に示すようにＲＯＩタイル間のみでＭＣ予測を実施し、非ＲＯＩタイルのＭＣ予測は行わない。

上記の通り本第２の実施形態では、ＲＯＩタイル間のみでＭＣ予測を実施することで、無駄な演算を省いた上で、Ｐフレームの画質低減を回避することができる。

（第３の実施形態）
第３の実施形態では、タイル毎にＲＯＩ領域を設定せずに、離散ウェーブレット変換係数空間上でＲＯＩ領域を設定する。そして、予測先としてＲＯＩ係数に限定することで、Ｐフレームの画質低減を回避する。

図１９は、本第３の実施形態における符号化部２０６のブロック図である。なお、動画像処理装置は、図２に示すものと同様であるものとする。図１９に示す構成は、第１の実施形態における符号化部２０６のブロック図と比較して、ＲＯＩタイル決定部３１７がＲＯＩ決定部４１７に変わったものである。ＲＯＩタイル決定部３１７はタイル単位で領域を決定するのに対して、ＲＯＩ決定部４１７は画素単位で領域を決定する点に違いがある。例えば、前者のＲＯＩタイル決定部３１７は、不図示のオブジェクト抽出部が抽出した領域を包含するタイルをＲＯＩタイルと決定するのに対して、後者のＲＯＩタイル決定部４１７は、抽出された領域を画素単位でＲＯＩ領域と決定する。

また、予測を行うデータが画素から係数に変わったことにより減算部３１４の位置が変更した点、ＲＯＩ部４１８、逆ＲＯＩ部４１９が追加された点、逆離散ウェーブレット変換部３１３が不要になった点に違いがある。なお、逆ＲＯＩ部４１９は、係数を図２１における（ｃ）から（ａ）に処理する。

また、図２０は、本第３の実施形態における符号化処理を示すフローチャートである。図３のフローチャートと同様の処理には同じ参照番号を付し、説明を省略する。

［符号化対象フレームがＩフレームの場合］
本第３の実施形態では、符号化対象フレームがＩフレームの場合、離散ウェーブレット変換部３０３により変換された変換係数を量子化した後（ステップＳ４０６）、ステップＳ５０６で、ＲＯＩ部４１８はＲＯＩか否かに応じて、係数量子化値を次式（５）に基づいて変更する。
Q"= Q * 2^B；（Q：ＲＯＩ内の画素から得られた係数量子化値の絶対値）
Q' = Q；（Q：上記以外の係数量子化値の絶対値） …（５）

ここで、Ｂはサブバンド毎に与えられるものであり、注目サブバンドにおいて、各Q'はいかなるQ"よりも大きくなるように設定される。つまり、Q'の元の係数量子化値を構成するビットと、Q"の元の係数量子化値を構成するビットが、同じ桁に存在することのないように、ビットのシフトアップがなされるのである。
以上の処理により、ＲＯＩと関連する係数量子化値のみがＢビット上方にシフトアップされる。
図２１（ａ）は各サブバンドにおけるＲＯＩと非ＲＯＩを示し、図２１（ｂ）および（ｃ）はシフトアップによる係数量子化値の変化を示す概念図である。図２１（ｂ）において、３つのサブバンドに各々３個の係数量子化値が存在しており、網がけされた係数量子化値がＲＯＩを構成している係数量子化値である。それらはシフトアップ後、図２１（ｃ）のようになる。

ステップＳ５０７で、逆ＲＯＩ部４１９によりＲＯＩ部４１８でビットのシフトアップされたＲＯＩ領域をシフトダウンする処理を行う。

［符号化対象フレームがＰフレームの場合］
符号化対象フレームがＰフレームの場合、本第３の実施形態では、まずステップＳ５１４において離散ウェーブレット変換を行う。その後、ステップＳ５１５において離散ウェーブレット変換係数空間上でＭＣ予測を行う。ここで、ＭＣ予測部３１０では、図２２に示すようにＲＯＩ係数に関係するＤＷＴ係数のみを予測対象のデータと限定する。

ステップＳ５１６において予測結果を基に、前フレームと符号化対象フレームの差（差分データ）を演算する。係数量子化部３０５ではこの差分データの量子化を行う（ステップＳ４１７）。その後、ステップＳ５１７において、ＲＯＩ部４１８はＲＯＩか否かに応じて、差分データの係数量子化値を上述した式（５）に基づいて変更する。

ステップＳ５１８において、逆ＲＯＩ部４１９によりＲＯＩ部４１８でビットのシフトアップされたＲＯＩ領域をシフトダウンする処理を行う。

上記の通り本第３の実施形態では、ＲＯＩに関連する係数のみでＭＣ予測を実施することで、Ｐフレームの画質低減を回避することができる。

（その他の実施形態）
上記第１〜第３の実施形態では、離散ウェーブレット変換を対象として発明を説明したが、離散コサイン変換を適用した実施形態も本発明の範疇に入る。

また、本発明は複数の機器（例えばホストコンピュ−タ、インタ−フェ−ス機器、リ−ダ、プリンタ等）から構成されるシステムの一部として適用しても、１つの機器（例えば複写機、デジタルカメラ等）からなる装置の一部に適用しても良い。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の実施の形態における符号化対象の動画像の概念を示す図である。 本発明の実施の形態における動画像処理装置の構成を示すブロック図である。 本発明の第１の実施形態における符号化部の構成を示すブロック図である。 本発明の第１の実施形態における符号化処理を示すフローチャートである。 タイル分割の説明図である。 ＲＯＩタイルの一例を示す図である。 １次元離散ウェーブレット変換の説明図である。 （ａ）は４つのサブバンドに分解する図、（ｂ）は（ａ）のＬＬサブバンドを更に４つのサブバンドに分解する図、（ｃ）は（ｂ）のＬＬサブバンドを更に４つのサブバンドに分解する図である。 量子化ステップの説明図である。 コードブロック分割の説明図である。 ビットプレーン分割の説明図である。 コーディングパスの説明図である。 レイヤー生成の説明図である。 レイヤー生成の説明図である。 タイル符号化データの構成の説明図である。 フレーム符号化データの構成の説明図である。 本発明の第１の実施形態におけるＭＣ予測先のデータの概念を示す図である。 本発明の第２の実施形態におけるＭＣ予測先のデータの概念を示す図である。 本発明の第３の実施形態における符号化部の構成を示すブロック図である。 本発明の第３の実施形態における符号化処理を示すフローチャートである。 （ａ）は各サブバンドにおけるＲＯＩと非ＲＯＩを示し、（ｂ）および（ｃ）はシフトアップによる係数量子化値の変化を示す概念図である。 本発明の第３の実施形態におけるＭＣ予測先のデータの概念を示す図である。 ＪＰＥＧ２０００符号化方式による符号化部を示すブロック図である。 ＪＰＥＧ２０００符号化方式による復号化部を示すブロック図である。 ＭＰＥＧ符号化方式による符号化部を示すブロック図である。 従来のＭＣ予測先のデータの概念を示す図である。

符号の説明

３０１ フレームデータ入力部
３０２ タイル分割部
３０３ 離散ウェーブレット変換部
３０４ バッファ
３０５ 係数量子化部
３０６ エントロピー符号化部
３０７ タイル符号化データ生成部
３０８ フレーム符号化データ生成部
３０９ フレーム符号化データ出力部
３１０ 動き補償（ＭＣ）予測部
３１１ フレームメモリ
３１２ 逆係数量子化部
３１３ 逆離散ウェーブレット変換部
３１４ 減算器
３１５ 和演算器
３１６ フレーム属性判定部
３１７ ＲＯＩタイル決定部
４１７ ＲＯＩ決定部
４１８ ＲＯＩ部

Claims (17)

1. フレーム間動き予測を用いて動画像を符号化する動画像符号化装置であって、
   各フレームを複数の分割領域に分割する分割手段と、
   フレーム内から重要領域を決定する決定手段と、
   前フレームの重要領域の範囲内で、符号化対象のフレームの各分割領域毎に相関性が高い画素集合を探索し、該各分割領域のデータと、探索した画素集合のデータとの差分を取って差分データを出力するフレーム間予測手段と、
   前記差分データを符号化する符号化手段と
   を有することを特徴とする動画像符号化装置。
2. 前記符号化手段は、符号量を調整するために前記重要領域外の領域から優先してデータを破棄することを特徴とする請求項１に記載の動画像符号化装置。
3. 符号化対象のフレームがフレーム内符号化するフレームかフレーム間符号化するフレームかを判別する判別手段を更に有し、
   前記判別手段がフレーム内符号化するフレームであると判別した場合に、前記フレーム間予測手段による処理を行わず、前記符号化手段は、前記符号化対象のフレームの各分割領域のデータを符号化することを特徴とする請求項１または２に記載の動画像符号化装置。
4. 前記フレーム間予測手段は、前記符号化対象フレームの各分割領域の内、前記決定手段により決定された重要領域についてのみ処理を行うことを特徴とする請求項１乃至３のいずれかに記載の動画像符号化装置。
5. 前記符号化手段は、離散ウェーブレット変換を行うことを特徴とする請求項１乃至４のいずれかに記載の動画像符号化装置。
6. 前記符号化手段は、ＪＰＥＧ２０００符号化方式により符号化を行うことを特徴とする請求項５に記載の動画像符号化装置。
7. 前記符号化手段は、離散コサイン変換を行うことを特徴とする請求項１乃至４のいずれかに記載の動画像符号化装置。
8. フレーム間動き予測を用いて動画像を符号化する動画像符号化装置であって、
   各フレームを複数の分割領域に分割する分割手段と、
   フレーム内から重要領域を決定する決定手段と、
   各分割領域毎にデータ変換を行い、変換係数を生成する変換手段と、
   前フレームの重要領域の範囲に対応する変換係数から、符号化対象のフレームの各分割領域の変換係数毎に相関性が高い変換係数を探索し、該各分割領域の変換係数と、探索した変換係数との差分を取って差分データを出力するフレーム間予測手段と、
   前記差分データを符号化する符号化手段と
   を有することを特徴とする動画像符号化装置。
9. 前記符号化手段は、符号量を調整するために前記重要領域外の領域から優先してデータを破棄することを特徴とする請求項８に記載の動画像符号化装置。
10. 符号化対象のフレームがフレーム内符号化するフレームかフレーム間符号化するフレームかを判別する判別手段を更に有し、
    前記判別手段がフレーム内符号化するフレームであると判別した場合に、前記フレーム間予測手段による処理を行わず、前記符号化手段は、前記符号化対象のフレームの各分割領域毎に変換係数を符号化することを特徴とする請求項８又は９に記載の動画像符号化装置。
11. 前記フレーム間予測手段は、前記符号化対象フレームの分割領域の内、前記決定手段により決定された重要領域の変換係数についてのみ処理を行うことを特徴とする請求項８乃至１０のいずれかに記載の動画像符号化装置。
12. 前記変換手段は、離散ウェーブレット変換を行うことを特徴とする請求項８乃至１１のいずれかに記載の動画像符号化装置。
13. 前記変換手段は、離散コサイン変換を行うことを特徴とする請求項８乃至１１のいずれかに記載の動画像符号化装置。
14. フレーム間動き予測を用いて動画像を符号化する動画像符号化方法であって、
    各フレームを複数の分割領域に分割する分割工程と、
    フレーム内から重要領域を決定する決定工程と、
    前フレームの重要領域の範囲内で、符号化対象のフレームの各分割領域毎に相関性が高い画素集合を探索し、該各分割領域のデータと、探索した画素集合のデータとの差分を取って差分データを出力するフレーム間予測工程と、
    前記差分データを符号化する符号化工程と
    を有することを特徴とする動画像符号化方法。
15. フレーム間動き予測を用いて動画像をフレーム毎に符号化する動画像符号化方法であって、
    各フレームを複数の分割領域に分割する分割工程と、
    フレーム内から重要領域を決定する決定工程と、
    各分割領域毎にデータ変換を行い、変換係数を生成する変換工程と、
    前フレームの重要領域の範囲に対応する変換係数から、符号化対象のフレームの各分割領域の変換係数毎に相関性が高い変換係数を探索し、該各分割領域の変換係数と、探索した変換係数との差分を取って差分データを出力するフレーム間予測工程と、
    前記差分データを符号化する符号化工程と
    を有することを特徴とする動画像符号化方法。
16. 請求項１４または１５に記載の動画像符号化方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
17. 請求項１６に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。

Images