JP5183573B2 - 動画像符号化装置 - Google Patents

Description

この発明は、イントラ予測を実施して、動画像を符号化する動画像符号化装置に関するものである。

動画像圧縮規格であるＨ．２６４では、ブロック隣接画素から予測画像を生成するイントラ予測を採用している。
イントラ予測における予測モードとして、輝度４×４イントラ予測モードで９種類、輝度８×８イントラ予測モードで９種類、輝度１６×１６イントラ予測モードで４種類、色差のイントラ予測で４種類が規定されている。

Ｈ．２６４規格のエンコーダでは、精度が高いイントラ予測を行うには、全ての予測モードで、局部復号画像から予測画像を生成し、複数の予測画像を比較してイントラ予測モードを決定することが望ましい。
しかし、全ての予測モードで、局部復号画像から予測画像を生成する場合、全ての予測モードで、局部復号画像を生成する必要があるため演算量が多くなる。

そこで、以下の特許文献１に開示されている動画像符号化装置では、原画像からイントラ予測モードを決定するようにしている。
この場合、全ての予測モードで、局部復号画像を生成する必要がないため演算量を削減することができるが、符号化に使用するイントラ予測画像は、局部復号画像から生成するため、原画像と局部復号画像にある程度の差異が発生すると、適切なイントラ予測モードが選択されず、符号化画像の画質に悪影響を与えることがある。

特開２００７−１５０９１３号公報（図１）

従来の動画像符号化装置は以上のように構成されているので、全ての予測モードで、局部復号画像を生成する必要がないため演算量を削減することができる。しかし、原画像からイントラ予測モードを決定し、局部復号画像からイントラ予測画像を生成するため、原画像と局部復号画像にある程度の差異が発生すると、適切なイントラ予測モードが選択されず、符号化画像の画質に悪影響を与えることがあるなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、原画像と局部復号画像の差異が大きくなっても、符号化画像の画質劣化を抑制することができる動画像符号化装置を得ることを目的とする。

この発明に係る動画像符号化装置は、イントラ予測対象の矩形領域の原画像と上記矩形領域に隣接している領域の原画像である隣接原画像からイントラ予測モードを決定するイントラ予測モード決定手段と、その隣接原画像と上記矩形領域に隣接している領域の局部復号画像との差分を求め、その差分が所定の閾値より小さい場合、イントラ予測モード決定手段により決定されたイントラ予測モードを選択し、その差分が所定の閾値より大きい場合、画素値の平均値を用いて予測画像を生成するＤＣモードを選択するモード選択手段とを設け、イントラ予測画像生成手段が、モード選択手段によりイントラ予測モードが選択された場合、そのイントラ予測モードで、局部復号画像から上記矩形領域のイントラ予測画像を生成し、モード選択手段によりＤＣモードが選択された場合、そのＤＣモードで、局部復号画像から上記矩形領域のイントラ予測画像を生成するようにしたものである。

この発明によれば、イントラ予測対象の矩形領域の原画像と上記矩形領域に隣接している領域の原画像である隣接原画像からイントラ予測モードを決定するイントラ予測モード決定手段と、その隣接原画像と上記矩形領域に隣接している領域の局部復号画像との差分を求め、その差分が所定の閾値より小さい場合、イントラ予測モード決定手段により決定されたイントラ予測モードを選択し、その差分が所定の閾値より大きい場合、画素値の平均値を用いて予測画像を生成するＤＣモードを選択するモード選択手段とを設け、イントラ予測画像生成手段が、モード選択手段によりイントラ予測モードが選択された場合、そのイントラ予測モードで、局部復号画像から上記矩形領域のイントラ予測画像を生成し、モード選択手段によりＤＣモードが選択された場合、そのＤＣモードで、局部復号画像から上記矩形領域のイントラ予測画像を生成するように構成したので、原画像と局部復号画像の差異が大きくなっても、符号化画像の画質劣化を抑制することができる効果がある。

この発明の実施の形態１による動画像符号化装置を示す構成図である。 ４×４画素ごとに、マクロブロックを１６個の矩形領域に分割している様子を示す説明図である。 １つの４×４ブロックにおいて、イントラ予測に使用する隣接画素を示す説明図である。 ８×８画素ごとに、マクロブロックを４個の矩形領域に分割している様子を示す説明図である。 １つの８×８ブロックにおいて、イントラ予測に使用する隣接画素を示す説明図である。 １つの１６×１６ブロックから構成されているマクロブロックを示す説明図である。 １つの１６×１６ブロックにおいて、イントラ予測に使用する隣接画素を示す説明図である。 イントラ４×４予測でのブロックの処理順を示す説明図である。 イントラ８×８予測でのブロックの処理順を示す説明図である。 イントラ１６×１６予測でのブロックの処理順を示す説明図である。 イントラ予測モード補正部３の動作を考えない場合のイントラ４×４予測の演算タイミングを示す説明図である。 イントラ予測モード補正部３の動作を考えない場合のイントラ８×８予測の演算タイミングを示す説明図である。 イントラ予測モード補正部３の動作を考えない場合のイントラ１６×１６予測の演算タイミングを示す説明図である。 イントラ予測モード補正部３の動作を考えた場合のイントラ４×４予測の演算タイミングを示す説明図である。 イントラ予測モード補正部３の動作を考えた場合のイントラ８×８予測の演算タイミングを示す説明図である。 イントラ予測モード補正部３の動作を考えた場合のイントラ１６×１６予測の演算タイミングを示す説明図である。 この発明の実施の形態２による動画像符号化装置を示す構成図である。 この発明の実施の形態３による動画像符号化装置を示す構成図である。

実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、原画像周辺画素メモリ１はイントラ予測対象の矩形領域に隣接している領域の原画像である隣接原画像を一時的に格納するメモリである。
イントラ予測モード決定部２はイントラ予測対象の矩形領域の原画像と原画像周辺画素メモリ１により格納された隣接原画像から、予測ブロックサイズとイントラ予測モードを決定する処理を実施する。
即ち、イントラ予測モード決定部２は、例えば、原画像周辺画素メモリ１により格納された隣接原画像から、複数のイントラ予測モード（例えば、輝度４×４イントラ予測モードの９種類、輝度８×８イントラ予測モードの９種類、輝度１６×１６イントラ予測モードの４種類、色差のイントラ予測の４種類）で予測画像を生成して、それらの予測画像とイントラ予測対象の矩形領域の原画像とを比較し、複数の予測画像の中で、その原画像と最も差異が小さい予測画像を選択することで、その予測画像に係る予測ブロックサイズとイントラ予測モードを出力する処理を実施する。
なお、イントラ予測モード決定部２はイントラ予測モード決定手段を構成している。

イントラ予測モード補正部３は原画像周辺画素メモリ１により格納されている隣接原画像と、局部復号画像周辺画素メモリ１３により格納されている局部復号画像（イントラ予測対象の矩形領域に隣接している領域の局部復号画像）との差分を求め、その差分が所定の閾値より小さい場合、イントラ予測モード決定部２により決定されたイントラ予測モードの選択指令をセレクタ４に出力し、その差分が所定の閾値より大きい場合、画素値の平均値を用いて予測画像を生成するＤＣモードの選択指令をセレクタ４に出力する処理を実施する。
ただし、イントラ予測モード補正部３は補正機能ＯＮ／ＯＦＦフラグ（イントラ予測モードの補正の有無を示すフラグ）を入力し、その補正機能ＯＮ／ＯＦＦフラグが“補正機能ＯＮ”を示している場合に限り、イントラ予測モード決定部２により決定されたイントラ予測モード又はＤＣモードの選択処理を実施し、その補正機能ＯＮ／ＯＦＦフラグが“補正機能ＯＦＦ”を示していれば、その隣接原画像と局部復号画像の差分を算出して所定の閾値と比較する選択処理を実施することなく、ＤＣモードの選択指令をセレクタ４に出力する処理を実施する。

セレクタ４はイントラ予測モード補正部３からイントラ予測モードの選択指令を受けると、イントラ予測モード決定部２により決定されたイントラ予測モードを選択して、そのイントラ予測モードをイントラ予測画像生成部５に出力し、イントラ予測モード補正部３からＤＣモードの選択指令を受けると、そのＤＣモードをイントラ予測画像生成部５に出力する処理を実施する。
なお、イントラ予測モード補正部３及びセレクタ４からモード選択手段が構成されている。

イントラ予測画像生成部５はセレクタ４からイントラ予測モード決定部２により決定されたイントラ予測モードを受けると、そのイントラ予測モードで、局部復号画像周辺画素メモリ１３により格納されている局部復号画像（イントラ予測対象の矩形領域に隣接している領域の局部復号画像）からイントラ予測対象の矩形領域のイントラ予測画像を生成し、セレクタ４からＤＣモードを受けると、そのＤＣモードで、その局部復号画像からイントラ予測対象の矩形領域のイントラ予測画像を生成する処理を実施する。なお、イントラ予測画像生成部５はイントラ予測画像生成手段を構成している。

セレクタ６は外部から入力されるインター／イントラ予測判定結果がインター予測を採用する旨を示していれば、外部から入力されるインター予測画像を選択し、そのインター／イントラ予測判定結果がイントラ予測を採用する旨を示していれば、イントラ予測画像生成部５により生成されたイントラ予測画像を選択する処理を実施する。
減算器７はイントラ予測対象の矩形領域の原画像からセレクタ６により選択された画像（インター予測画像、または、イントラ予測画像）を減算し、その減算結果である差分画像を整数変換部８に出力する処理を実施する。

整数変換部８は減算器７から出力された差分画像を整数変換して、その整数変換係数を量子化部９に出力する処理を実施する。
量子化部９は所定の量子化パラメータを用いて、整数変換部８から出力された整数変換係数を量子化し、その量子化変換係数を逆量子化部１０に出力するとともに、その量子化変換係数を例えばエントロピー符号化部などの符号化部（図示せぬ）に出力する処理を実施する。なお、符号化部は、量子化部９から出力された量子化変換係数に対する可変長符号化処理又は算術符号化処理を実施して、符号化データを生成する処理部である。
逆量子化部１０は量子化部９から出力された量子化変換係数を逆量子化し、その逆量子化変換係数を逆整数変換部１１に出力する処理を実施する。

逆整数変換部１１は逆量子化部１０から出力された逆量子化変換係数を逆整数変換して、その逆整数変換係数を加算器１２に出力する処理を実施する。
加算器１２は逆整数変換部１１から出力された逆整数変換係数とセレクタ６により選択された画像（インター予測画像、または、イントラ予測画像）を加算し、その加算結果をイントラ予測対象の矩形領域の局部復号画像として局部復号画像周辺画素メモリ１３に出力する処理を実施する。
なお、減算器７、整数変換部８、量子化部９、逆量子化部１０、逆整数変換部１１及び加算器１２から局部復号画像生成手段が構成されている。
局部復号画像周辺画素メモリ１３は加算器１２から出力された局部復号画像を格納するメモリである。

次に動作について説明する。
Ｈ．２６４規格では、輝度において、イントラ４×４予測で９種のモード、イントラ８×８予測で９種のモード、イントラ１６×１６予測で４種のモード、色差において、４種のモードが規定されている。

輝度イントラ４×４予測では、図２に示すように、４×４画素ごとに、マクロブロックを１６個の矩形領域に分割して、それぞれの矩形領域についてイントラ予測を行う。
ここで、図３は１つの４×４ブロックにおいて、イントラ予測に使用する隣接画素を示している。
輝度イントラ８×８予測では、図４に示すように、８×８画素ごとに、マクロブロックを４個の矩形領域に分割して、それぞれの矩形領域についてイントラ予測を行う。
ここで、図５は１つの８×８ブロックにおいて、イントラ予測に使用する隣接画素を示している。
輝度イントラ１６×１６予測では、図６に示すように、１６×１６ブロックについてイントラ予測を行う。
ここで、図７は１６×１６ブロックにおいて、イントラ予測に使用する隣接画素を示している。

まず、原画像周辺画素メモリ１には、イントラ予測対象の矩形領域に隣接している領域の原画像である隣接原画像が一時的に格納される。
即ち、原画像周辺画素メモリ１には、図３に示す４×４ブロックにおける１６個の矩形領域に隣接している領域の原画像である隣接原画像、図５に示す８×８ブロックにおける４個の矩形領域に隣接している領域の原画像である隣接原画像、図７に示す１６×１６ブロックにおける矩形領域に隣接している領域の原画像である隣接原画像が一時的に格納される。
色差ブロックについても同様に、隣接している領域の原画像である隣接原画像が一時的に格納される。

局部復号画像周辺画素メモリについても、図３に示す４×４ブロックにおける１６個の矩形領域に隣接している領域の局部復号画像、図５に示す８×８ブロックにおける４個の矩形領域に隣接している領域の局部復号画像、図７に示す１６×１６ブロックにおける矩形領域に隣接している領域の局部復号画像が一時的に格納される。
色差ブロックについても同様に、隣接している領域の局部復号画像が一時的に格納される。

イントラ予測モード決定部２は、イントラ予測対象の矩形領域の原画像と原画像周辺画素メモリ１により格納された隣接原画像から、予測ブロックサイズとイントラ予測モードを決定する。
具体的には、以下のようにして、予測ブロックサイズとイントラ予測モードを決定する。
イントラ予測モード決定部２は、輝度については、例えば、原画像周辺画素メモリ１により格納された隣接原画像から、複数のイントラ予測モード（例えば、輝度４×４イントラ予測モードの９種類、輝度８×８イントラ予測モードの９種類、輝度１６×１６イントラ予測モードの４種類）で予測画像を生成する。

イントラ予測モード決定部２は、複数のイントラ予測モードで予測画像を生成すると、複数の予測画像とイントラ予測対象の矩形領域の原画像とを比較し、複数の予測画像の中で、その原画像と最も差異が小さい予測画像を選択する。
イントラ予測モード決定部２は、原画像と最も差異が小さい予測画像を選択すると、その予測画像に係る予測ブロックサイズとイントラ予測モードを、最適な予測ブロックサイズとイントラ予測モードとして選択する。
色差についても同様にして、最適なイントラ予測モードを選択する。

ここで、図８はイントラ４×４予測でのブロックの処理順を示す説明図であり、図９はイントラ８×８予測でのブロックの処理順を示す説明図である。
また、図１０はイントラ１６×１６予測でのブロックの処理順を示す説明図である。
符号化に使用するイントラ予測画像は、局部復号画像から生成する必要があり、例えば、図８におけるサブブロック１のイントラ予測画像を生成するには、サブブロック０の局部復号画像が必要となる。
したがって、あるサブブロックの演算に注目すると、図１の減算器７における減算処理、整数変換部８における整数変換処理、量子化部９における量子化処理、逆量子化部１０における逆量子化処理、逆整数変換部１１における逆整数変換処理及び加算器１２における加算処理は、前のサブブロック番号のサブブロックの局部復号画像が生成されて、その局部復号画像を用いて、イントラ予測画像が生成された後に開始することができる。

図１１はイントラ予測モード補正部３の動作を考えない場合のイントラ４×４予測の演算タイミングを示す説明図であり、図１２はイントラ予測モード補正部３の動作を考えない場合のイントラ８×８予測の演算タイミングを示す説明図である。
また、図１３はイントラ予測モード補正部３の動作を考えない場合のイントラ１６×１６予測の演算タイミングを示す説明図である。
例えば、イントラ４×４予測のサブブロック１の演算タイミングに着目すると、図１１に示すように、サブブロック０の演算の逆整数変換処理が完了した時点で、図３に示す４×４ブロックの左側の局部復号画像が求まるので、この時点で、イントラ予測画像生成部５において、サブブロック１のイントラ予測画像を生成することが可能となる。

イントラ予測モード補正部３は、補正機能ＯＮ／ＯＦＦフラグを入力し、その補正機能ＯＮ／ＯＦＦフラグが“補正機能ＯＮ”を示している場合、原画像周辺画素メモリ１により格納されている隣接原画像と、局部復号画像周辺画素メモリ１３により格納されている局部復号画像（イントラ予測対象の矩形領域に隣接している領域の局部復号画像であって、イントラ予測画像生成部５によりイントラ予測画像が生成される際に使用される局部復号画像）との差分として、例えば、その隣接原画像と局部復号画像との差分絶対値和を算出する。

イントラ予測モード補正部３は、その隣接原画像と局部復号画像の差分絶対値和を算出すると、その差分絶対値和と外部から入力された所定の閾値を比較する。
イントラ予測モード補正部３は、その差分絶対値和が所定の閾値より小さい場合、イントラ予測モード決定部２により決定されたイントラ予測モードの選択指令をセレクタ４に出力する。
一方、その差分絶対値和が所定の閾値より大きい場合、ＤＣモードの選択指令をセレクタ４に出力する。

イントラ予測モード補正部３は、補正機能ＯＮ／ＯＦＦフラグが“補正機能ＯＦＦ”を示している場合、その隣接原画像と局部復号画像の差分絶対値和を算出して所定の閾値と比較する選択処理を実施することなく、ＤＣモードの選択指令をセレクタ４に出力する。
なお、補正機能ＯＮ／ＯＦＦフラグは、ピクチャ単位、マクロブロック単位、サブブロック単位で、適応的にＯＮ／ＯＦＦすることが可能である。

図１４はイントラ予測モード補正部３の動作を考えた場合のイントラ４×４予測の演算タイミングを示す説明図であり、図１５はイントラ予測モード補正部３の動作を考えた場合のイントラ８×８予測の演算タイミングを示す説明図である。
また、図１６はイントラ予測モード補正部３の動作を考えた場合のイントラ１６×１６予測の演算タイミングを示す説明図である。
例えば、イントラ４×４予測のサブブロック１の演算タイミングに着目すると、図１４に示すように、サブブロック０の演算の逆整数変換処理が完了した時点で、図３に示す４×４ブロックの左側の局部復号画像が求まるので、この時点で、イントラ予測モード補正部３において、図３に示す位置のサブブロック１に隣接する原画像と局部復号画像の比較が可能となる。

セレクタ４は、イントラ予測モード補正部３からイントラ予測モードの選択指令を受けると、イントラ予測モード決定部２により決定されたイントラ予測モードを選択して、そのイントラ予測モードをイントラ予測画像生成部５に出力する。
一方、イントラ予測モード補正部３からＤＣモードの選択指令を受けると、そのＤＣモードをイントラ予測画像生成部５に出力する。

イントラ予測画像生成部５は、セレクタ４からイントラ予測モード決定部２により決定されたイントラ予測モードを受けると、そのイントラ予測モードで、局部復号画像周辺画素メモリ１３により格納されている局部復号画像からイントラ予測対象の矩形領域のイントラ予測画像を生成する。
一方、セレクタ４からＤＣモードを受けると、そのＤＣモードで、局部復号画像周辺画素メモリ１３により格納されている局部復号画像からイントラ予測対象の矩形領域のイントラ予測画像を生成する。

セレクタ６は、外部から入力されるインター／イントラ予測判定結果を参照し、そのインター／イントラ予測判定結果がインター予測を採用する旨を示していれば、外部から入力されるインター予測画像を選択して、そのインター予測画像を減算器７及び加算器１２に出力する。
一方、そのインター／イントラ予測判定結果がイントラ予測を採用する旨を示していれば、イントラ予測画像生成部５により生成されたイントラ予測画像を選択して、そのイントラ予測画像を減算器７及び加算器１２に出力する。

減算器７は、イントラ予測対象の矩形領域の原画像とセレクタ６により選択された画像（インター予測画像、または、イントラ予測画像）を入力し、その原画像からセレクタ６により選択された画像を減算して、その減算結果である差分画像を整数変換部８に出力する。
整数変換部８は、減算器７から差分画像を受けると、その差分画像を整数変換して、その整数変換係数を量子化部９に出力する。

量子化部９は、整数変換部８から整数変換係数を受けると、所定の量子化パラメータを用いて、その整数変換係数を量子化し、その量子化変換係数を逆量子化部１０に出力する。
また、量子化部９は、その量子化変換係数を例えばエントロピー符号化部などの符号化部等にも出力する。
なお、符号化部は、量子化部９から出力された量子化変換係数に対する可変長符号化処理又は算術符号化処理を実施して、符号化データ（符号化画像）を生成する。

逆量子化部１０は、量子化部９から量子化変換係数を受けると、その量子化変換係数を逆量子化し、その逆量子化変換係数を逆整数変換部１１に出力する。
逆整数変換部１１は、逆量子化部１０から逆量子化変換係数を受けると、その逆量子化変換係数を逆整数変換して、その逆整数変換係数を加算器１２に出力する。
加算器１２は、逆整数変換部１１から逆整数変換係数を受けると、その逆整数変換係数とセレクタ６により選択された画像（インター予測画像、または、イントラ予測画像）を加算し、その加算結果をイントラ予測対象の矩形領域の局部復号画像として局部復号画像周辺画素メモリ１３に格納する。

以上で明らかなように、この実施の形態１によれば、イントラ予測対象の矩形領域の原画像と上記矩形領域に隣接している領域の原画像である隣接原画像からイントラ予測モードを決定するイントラ予測モード決定部２と、その隣接原画像と上記矩形領域に隣接している領域の局部復号画像との差分を求め、その差分が所定の閾値より小さい場合、イントラ予測モード決定部２により決定されたイントラ予測モードの選択指令をセレクタ４に出力し、その差分が所定の閾値より大きい場合、ＤＣモードの選択指令をセレクタ４に出力するイントラ予測モード補正部３と、イントラ予測モード補正部３からイントラ予測モードの選択指令を受けると、イントラ予測モード決定部２により決定されたイントラ予測モードを選択して、そのイントラ予測モードをイントラ予測画像生成部５に出力し、イントラ予測モード補正部３からＤＣモードの選択指令を受けると、そのＤＣモードをイントラ予測画像生成部５に出力するセレクタ４とを設け、イントラ予測画像生成部５が、セレクタ４からイントラ予測モード決定部２により決定されたイントラ予測モードを受けると、そのイントラ予測モードで、イントラ予測対象の矩形領域に隣接している領域の局部復号画像からイントラ予測対象の矩形領域のイントラ予測画像を生成し、セレクタ４からＤＣモードを受けると、そのＤＣモードで、その局部復号画像からイントラ予測対象の矩形領域のイントラ予測画像を生成するように構成したので、原画像と局部復号画像の差異が大きくなっても、符号化画像の画質劣化を抑制することができる効果を奏する。

即ち、原画像と局部復号画像の差異が大きくなると、イントラ予測モード決定部２により決定されたイントラ予測モードが、必ずしも、最適なイントラ予測モードではなくなり、その結果、符号化画像の画質劣化を招くことがあるが、この実施の形態１では、原画像と局部復号画像の差異が大きくなると、イントラ予測モード決定部２により決定されたイントラ予測モードではなく、ＤＣモードで、局部復号画像からイントラ予測画像を生成するようにしているので、原画像と局部復号画像の差異が大きくなっても、符号化画像の画質劣化を抑制することができる。

また、この実施の形態１によれば、イントラ予測モード補正部３が補正機能ＯＮ／ＯＦＦフラグを入力し、その補正機能ＯＮ／ＯＦＦフラグが“補正機能ＯＮ”を示している場合に限り、イントラ予測モード決定部２により決定されたイントラ予測モード又はＤＣモードの選択処理を実施し、その補正機能ＯＮ／ＯＦＦフラグが“補正機能ＯＦＦ”を示していれば、隣接原画像と局部復号画像の差分絶対値和を算出して所定の閾値と比較する選択処理を実施することなく、ＤＣモードの選択指令をセレクタ４に出力するように構成したので、例えば、符号化画像の画質状況に応じてイントラ予測モード補正部３の動作を適応的に制御することができる効果を奏する。

実施の形態２．
図１７はこの発明の実施の形態２による動画像符号化装置を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
セレクタ２１は外部から輝度４×４イントラ予測モード、輝度８×８イントラ予測モード、輝度１６×１６予測モード及び色差イントラ予測モードを入力し、それらのイントラ予測モードの中から、イントラ予測モード決定部２により決定された予測ブロックサイズに対応するイントラ予測モードを選択する処理を実施する。

イントラ予測モード補正部２２は原画像周辺画素メモリ１により格納されている隣接原画像と、局部復号画像周辺画素メモリ１３により格納されている局部復号画像（イントラ予測対象の矩形領域に隣接している領域の局部復号画像）との差分を求め、その差分が所定の閾値より小さい場合、イントラ予測モード決定部２により決定されたイントラ予測モードの選択指令をセレクタ２３に出力し、その差分が所定の閾値より大きい場合、セレクタ２１により選択されたイントラ予測モードの選択指令をセレクタ２３に出力する処理を実施する。
ただし、イントラ予測モード補正部２２は補正機能ＯＮ／ＯＦＦフラグを入力し、その補正機能ＯＮ／ＯＦＦフラグが“補正機能ＯＮ”を示している場合に限り、イントラ予測モード決定部２により決定されたイントラ予測モード又はセレクタ２１により選択されたイントラ予測モードの選択処理を実施し、その補正機能ＯＮ／ＯＦＦフラグが“補正機能ＯＦＦ”を示していれば、その隣接原画像と局部復号画像の差分を算出して所定の閾値と比較する選択処理を実施することなく、セレクタ２１により選択されたイントラ予測モードの選択指令をセレクタ２３に出力する処理を実施する。

セレクタ２３はイントラ予測モード補正部２２からイントラ予測モード決定部２により決定されたイントラ予測モードの選択指令を受けると、イントラ予測モード決定部２により決定されたイントラ予測モードを選択して、そのイントラ予測モードをイントラ予測画像生成部５に出力し、イントラ予測モード補正部２２からセレクタ２１により選択されたイントラ予測モードの選択指令を受けると、そのイントラ予測モードをイントラ予測画像生成部５に出力する処理を実施する。
なお、セレクタ２１、イントラ予測モード補正部２２及びセレクタ２３からモード選択手段が構成されている。

上記実施の形態１では、イントラ予測モード補正部３が、隣接原画像と局部復号画像の差分が所定の閾値より大きい場合、ＤＣモードの選択指令をセレクタ４に出力するものについて示したが、イントラ予測モード補正部２２が、隣接原画像と局部復号画像の差分が所定の閾値より大きい場合、セレクタ２１により選択されたイントラ予測モード（外部から入力されたイントラ予測モード）の選択指令をセレクタ２３に出力するようにしてもよい。
具体的には、以下の通りである。

まず、原画像周辺画素メモリ１には、上記実施の形態１と同様に、イントラ予測対象の矩形領域に隣接している領域の原画像である隣接原画像が一時的に格納される。
即ち、原画像周辺画素メモリ１には、図３に示す４×４ブロックにおける１６個の矩形領域に隣接している領域の原画像である隣接原画像、図５に示す８×８ブロックにおける４個の矩形領域に隣接している領域の原画像である隣接原画像、図７に示す１６×１６ブロックにおける矩形領域に隣接している領域の原画像である隣接原画像が一時的に格納される。
色差ブロックについても同様に、隣接している領域の原画像である隣接原画像が一時的に格納される。

局部復号画像周辺画素メモリについても、図３に示す４×４ブロックにおける１６個の矩形領域に隣接している領域の局部復号画像、図５に示す８×８ブロックにおける４個の矩形領域に隣接している領域の局部復号画像、図７に示す１６×１６ブロックにおける矩形領域に隣接している領域の局部復号画像が一時的に格納される。
色差ブロックについても同様に、隣接している領域の局部復号画像が一時的に格納される。

イントラ予測モード決定部２は、上記実施の形態１と同様に、イントラ予測対象の矩形領域の原画像と原画像周辺画素メモリ１により格納された隣接原画像から、イントラ予測モードを決定する。
即ち、イントラ予測モード決定部２は、例えば、原画像周辺画素メモリ１により格納された隣接原画像から、複数のイントラ予測モード（例えば、輝度４×４イントラ予測モードの９種類、輝度８×８イントラ予測モードの９種類、輝度１６×１６イントラ予測モードの４種類、色差のイントラ予測の４種類）で予測画像を生成して、それらの予測画像とイントラ予測対象の矩形領域の原画像とを比較し、複数の予測画像の中で、その原画像と最も差異が小さい予測画像を選択することで、その予測画像に係る予測ブロックサイズとイントラ予測モードをセレクタ２１，２３及びイントラ予測モード補正部２２に出力する。

セレクタ２１は、外部から輝度４×４イントラ予測モード、輝度８×８イントラ予測モード、輝度１６×１６予測モード及び色差イントラ予測モードを入力し、それらのイントラ予測モードの中から、イントラ予測モード決定部２により決定された予測ブロックサイズに対応するイントラ予測モードを選択してセレクタ２３に出力する。
例えば、原画像と最も差異が小さい予測画像に係る予測ブロックサイズが４×４ブロックであれば、輝度４×４イントラ予測モードを選択してセレクタ２３に出力し、その予測ブロックサイズが８×８ブロックであれば、輝度８×８イントラ予測モードを選択してセレクタ２３に出力する。

イントラ予測モード補正部２２は、補正機能ＯＮ／ＯＦＦフラグを入力し、その補正機能ＯＮ／ＯＦＦフラグが“補正機能ＯＮ”を示している場合、図１のイントラ予測モード補正部３と同様に、原画像周辺画素メモリ１により格納されている隣接原画像と、局部復号画像周辺画素メモリ１３により格納されている局部復号画像（イントラ予測対象の矩形領域に隣接している領域の局部復号画像であって、イントラ予測画像生成部５によりイントラ予測画像が生成される際に使用される局部復号画像）との差分として、例えば、その隣接原画像と局部復号画像との差分絶対値和を算出する。

イントラ予測モード補正部２２は、その隣接原画像と局部復号画像の差分絶対値和を算出すると、その差分絶対値和と外部から入力された所定の閾値を比較する。
イントラ予測モード補正部２２は、その差分絶対値和が所定の閾値より小さい場合、イントラ予測モード決定部２により決定されたイントラ予測モードの選択指令をセレクタ２３に出力する。
一方、その差分絶対値和が所定の閾値より大きい場合、セレクタ２１により選択されたイントラ予測モードの選択指令をセレクタ２３に出力する。

イントラ予測モード補正部２２は、補正機能ＯＮ／ＯＦＦフラグが“補正機能ＯＦＦ”を示している場合、その隣接原画像と局部復号画像の差分絶対値和を算出して所定の閾値と比較する選択処理を実施することなく、セレクタ２１により選択されたイントラ予測モードの選択指令をセレクタ２３に出力する。
なお、補正機能ＯＮ／ＯＦＦフラグは、ピクチャ単位、マクロブロック単位、サブブロック単位で、適応的にＯＮ／ＯＦＦすることが可能である。

セレクタ２３は、イントラ予測モード補正部２２からイントラ予測モードの選択指令を受けると、イントラ予測モード決定部２により決定されたイントラ予測モードを選択して、そのイントラ予測モードをイントラ予測画像生成部５に出力する。
一方、イントラ予測モード補正部２２からセレクタ２１により選択されたイントラ予測モードの選択指令を受けると、セレクタ２１により選択されたイントラ予測モードをイントラ予測画像生成部５に出力する。
以降の処理内容は、上記実施の形態１と同様であるため説明を省略する。

以上で明らかなように、この実施の形態２によれば、イントラ予測対象の矩形領域の原画像と上記矩形領域に隣接している領域の原画像である隣接原画像からイントラ予測モードを決定するイントラ予測モード決定部２と、外部から輝度４×４イントラ予測モード、輝度８×８イントラ予測モード、輝度１６×１６予測モード及び色差イントラ予測モードを入力し、それらのイントラ予測モードの中から、イントラ予測モード決定部２により決定された予測ブロックサイズに対応するイントラ予測モードを選択するセレクタ２１と、その隣接原画像と上記矩形領域に隣接している領域の局部復号画像との差分を求め、その差分が所定の閾値より小さい場合、イントラ予測モード決定部２により決定されたイントラ予測モードの選択指令をセレクタ２３に出力し、その差分が所定の閾値より大きい場合、セレクタ２１により選択されたイントラ予測モードの選択指令をセレクタ２３に出力するイントラ予測モード補正部２２と、イントラ予測モード補正部２２からイントラ予測モード決定部２により決定されたイントラ予測モードの選択指令を受けると、イントラ予測モード決定部２により決定されたイントラ予測モードを選択して、そのイントラ予測モードをイントラ予測画像生成部５に出力し、イントラ予測モード補正部３からセレクタ２１により選択されたイントラ予測モードの選択指令を受けると、セレクタ２１により選択されたイントラ予測モードを選択して、そのイントラ予測モードをイントラ予測画像生成部５に出力するセレクタ２３とを設け、イントラ予測画像生成部５が、セレクタ２３から出力されたイントラ予測モードで、イントラ予測対象の矩形領域に隣接している領域の局部復号画像からイントラ予測対象の矩形領域のイントラ予測画像を生成するように構成したので、上記実施の形態１と同様に、原画像と局部復号画像の差異が大きくなっても、符号化画像の画質劣化を抑制することができる効果を奏する。

また、この実施の形態２によれば、隣接原画像と局部復号画像の差分が所定の閾値より大きい場合、固定のＤＣモードではなく、セレクタ２１により選択されたイントラ予測モード（外部から入力されたイントラ予測モード）を選択するようにしているので、例えば、符号化画像の画質状況に応じて、より適切なイントラ予測モードでイントラ予測画像を生成することができるようになり、その結果、上記実施の形態１よりも更に符号化画像の画質劣化を抑制することができる効果を奏する。

また、この実施の形態２によれば、イントラ予測モード補正部２２が補正機能ＯＮ／ＯＦＦフラグを入力し、その補正機能ＯＮ／ＯＦＦフラグが“補正機能ＯＮ”を示している場合に限り、イントラ予測モード決定部２により決定されたイントラ予測モード又はセレクタ２１により選択されたイントラ予測モードの選択処理を実施し、その補正機能ＯＮ／ＯＦＦフラグが“補正機能ＯＦＦ”を示していれば、隣接原画像と局部復号画像の差分絶対値和を算出して所定の閾値と比較する選択処理を実施することなく、セレクタ２１により選択されたイントラ予測モードの選択指令をセレクタ２３に出力するように構成したので、例えば、符号化画像の画質状況に応じてイントラ予測モード補正部２２の動作を適応的に制御することができる効果を奏する。

実施の形態３．
図１８はこの発明の実施の形態３による動画像符号化装置を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
イントラ予測モード補正部３１は原画像周辺画素メモリ１により格納されている隣接原画像と、局部復号画像周辺画素メモリ１３により格納されている局部復号画像（イントラ予測対象の矩形領域に隣接している領域の局部復号画像）との差分を求め、その差分と所定の閾値を比較し、その比較結果をインター予測強制部３２に出力する処理を実施する。
ただし、イントラ予測モード補正部３１は補正機能ＯＮ／ＯＦＦフラグを入力し、その補正機能ＯＮ／ＯＦＦフラグが“補正機能ＯＮ”を示している場合に限り、上記の比較処理を実施し、その補正機能ＯＮ／ＯＦＦフラグが“補正機能ＯＦＦ”を示していれば、上記の比較処理を実施せずに動作を停止する。

インター予測強制部３２はイントラ予測モード補正部３１から出力された比較結果が、隣接原画像と局部復号画像の差分が所定の閾値より小さい旨を示している場合、外部から入力されるインター／イントラ予測判定結果がインター予測を採用する旨を示していれば、外部から入力されるインター予測画像の選択指令をセレクタ３３に出力し、そのインター／イントラ予測判定結果がイントラ予測を採用する旨を示していれば、イントラ予測画像生成部５により生成されたイントラ予測画像の選択指令をセレクタ３３に出力する処理を実施する。
一方、隣接原画像と局部復号画像の差分が所定の閾値より大きい旨を示している場合、外部から入力されるインター／イントラ予測判定結果に関わらず、外部から入力されるインター予測画像の選択指令をセレクタ３３に出力する処理を実施する。
ただし、インター予測強制部３２はイントラ予測モード補正部３１が比較処理を実施せずに動作を停止している場合、インター／イントラ予測判定結果がインター予測を採用する旨を示していれば、外部から入力されるインター予測画像の選択指令をセレクタ３３に出力し、そのインター／イントラ予測判定結果がイントラ予測を採用する旨を示していれば、イントラ予測画像生成部５により生成されたイントラ予測画像の選択指令をセレクタ３３に出力する処理を実施する。

セレクタ３３はインター予測強制部３２からイントラ予測画像の選択指令を受けると、イントラ予測画像生成部５により生成されたイントラ予測画像を選択して減算器７及び加算器１２に出力し、インター予測強制部３２からインター予測画像の選択指令を受けると、外部から入力されるインター予測画像を選択して減算器７及び加算器１２に出力する処理を実施する。
なお、イントラ予測モード補正部３１、インター予測強制部３２及びセレクタ３３から画像選択手段が構成されている。

上記実施の形態１では、イントラ予測モード補正部３が、隣接原画像と局部復号画像の差分が所定の閾値より大きい場合、ＤＣモードの選択指令をセレクタ４に出力するものについて示したが、インター予測強制部３２が、隣接原画像と局部復号画像の差分が所定の閾値より大きい場合、外部から入力されるインター／イントラ予測判定結果に関わらず、外部から入力されるインター予測画像の選択指令をセレクタ３３に出力するようにしてもよい。
具体的には、以下の通りである。

イントラ予測モード補正部３１は、補正機能ＯＮ／ＯＦＦフラグを入力し、その補正機能ＯＮ／ＯＦＦフラグが“補正機能ＯＮ”を示している場合、図１のイントラ予測モード補正部３と同様に、原画像周辺画素メモリ１により格納されている隣接原画像と、局部復号画像周辺画素メモリ１３により格納されている局部復号画像（イントラ予測対象の矩形領域に隣接している領域の局部復号画像であって、イントラ予測画像生成部５によりイントラ予測画像が生成される際に使用される局部復号画像）との差分として、例えば、その隣接原画像と局部復号画像との差分絶対値和を算出する。

イントラ予測モード補正部３１は、その隣接原画像と局部復号画像の差分絶対値和を算出すると、その差分絶対値和と外部から入力された所定の閾値を比較し、その比較結果をインター予測強制部３２に出力する。
イントラ予測モード補正部３１は、補正機能ＯＮ／ＯＦＦフラグが“補正機能ＯＦＦ”を示している場合、上記の比較処理を実施せずに動作を停止する。
なお、補正機能ＯＮ／ＯＦＦフラグは、ピクチャ単位、マクロブロック単位、サブブロック単位で、適応的にＯＮ／ＯＦＦすることが可能である。

インター予測強制部３２は、イントラ予測モード補正部３１から出力された比較結果が、隣接原画像と局部復号画像の差分が所定の閾値より小さい旨を示している場合、外部から入力されるインター／イントラ予測判定結果がインター予測を採用する旨を示していれば、外部から入力されるインター予測画像の選択指令をセレクタ３３に出力する。
そのインター／イントラ予測判定結果がイントラ予測を採用する旨を示していれば、イントラ予測画像生成部５により生成されたイントラ予測画像の選択指令をセレクタ３３に出力する。
一方、イントラ予測モード補正部３１から出力された比較結果が、隣接原画像と局部復号画像の差分が所定の閾値より大きい旨を示している場合、外部から入力されるインター／イントラ予測判定結果に関わらず、外部から入力されるインター予測画像の選択指令をセレクタ３３に出力する。

ただし、インター予測強制部３２は、イントラ予測モード補正部３１が比較処理を実施せずに動作を停止している場合（イントラ予測モード補正部３１から比較結果が出力されない場合）、インター／イントラ予測判定結果がインター予測を採用する旨を示していれば、外部から入力されるインター予測画像の選択指令をセレクタ３３に出力する。
そのインター／イントラ予測判定結果がイントラ予測を採用する旨を示していれば、イントラ予測画像生成部５により生成されたイントラ予測画像の選択指令をセレクタ３３に出力する。

セレクタ３３は、インター予測強制部３２からイントラ予測画像の選択指令を受けると、イントラ予測画像生成部５により生成されたイントラ予測画像を選択して減算器７及び加算器１２に出力する。
一方、インター予測強制部３２からインター予測画像の選択指令を受けると、外部から入力されるインター予測画像を選択して減算器７及び加算器１２に出力する。
以降の処理内容は、上記実施の形態１と同様であるため説明を省略する。

以上で明らかなように、この実施の形態３によれば、原画像周辺画素メモリ１により格納されている隣接原画像と、局部復号画像周辺画素メモリ１３により格納されている局部復号画像との差分を求め、その差分と所定の閾値を比較し、その比較結果をインター予測強制部３２に出力するイントラ予測モード補正部３１と、イントラ予測モード補正部３１から出力された比較結果が、隣接原画像と局部復号画像の差分が所定の閾値より小さい旨を示している場合、外部から入力されるインター／イントラ予測判定結果がインター予測を採用する旨を示していれば、外部から入力されるインター予測画像の選択指令をセレクタ３３に出力し、そのインター／イントラ予測判定結果がイントラ予測を採用する旨を示していれば、イントラ予測画像生成部５により生成されたイントラ予測画像の選択指令をセレクタ３３に出力し、隣接原画像と局部復号画像の差分が所定の閾値より大きい旨を示している場合、外部から入力されるインター／イントラ予測判定結果に関わらず、外部から入力されるインター予測画像の選択指令をセレクタ３３に出力するインター予測強制部３２とを設け、セレクタ３３が、インター予測強制部３２からイントラ予測画像の選択指令を受けると、イントラ予測画像生成部５により生成されたイントラ予測画像を選択して減算器７及び加算器１２に出力し、インター予測強制部３２からインター予測画像の選択指令を受けると、外部から入力されるインター予測画像を選択して減算器７及び加算器１２に出力するように構成したので、上記実施の形態１と同様に、原画像と局部復号画像の差異が大きくなっても、符号化画像の画質劣化を抑制することができる効果を奏する。

また、この実施の形態３によれば、イントラ予測モード補正部３１が補正機能ＯＮ／ＯＦＦフラグを入力し、その補正機能ＯＮ／ＯＦＦフラグが“補正機能ＯＮ”を示している場合に限り、差分と閾値の比較結果をインター予測強制部３２に出力し、その補正機能ＯＮ／ＯＦＦフラグが“補正機能ＯＦＦ”を示していれば、その比較結果を実施せずに、動作を停止するように構成したので、例えば、符号化画像の画質状況に応じてイントラ予測モード補正部３１の動作を適応的に制御することができる効果を奏する。

１ 原画像周辺画素メモリ、２ イントラ予測モード決定部（イントラ予測モード決定手段）、３ イントラ予測モード補正部（モード選択手段）、４ セレクタ（モード選択手段）、５ イントラ予測画像生成部（イントラ予測画像生成手段）、６ セレクタ、７ 減算器（局部復号画像生成手段）、８ 整数変換部（局部復号画像生成手段）、９ 量子化部（局部復号画像生成手段）、１０ 逆量子化部（局部復号画像生成手段）、１１ 逆整数変換部（局部復号画像生成手段）、１２ 加算器（局部復号画像生成手段）、１３ 局部復号画像周辺画素メモリ、２１ セレクタ（モード選択手段）、２２ イントラ予測モード補正部（モード選択手段）、２３ セレクタ（モード選択手段）、３１ イントラ予測モード補正部（画像選択手段）、３２ インター予測強制部（画像選択手段）、３３ セレクタ３３（画像選択手段）。

Claims (6)

1. イントラ予測対象の矩形領域の原画像と上記矩形領域に隣接している領域の原画像である隣接原画像からイントラ予測モードを決定するイントラ予測モード決定手段と、上記隣接原画像と上記矩形領域に隣接している領域の局部復号画像との差分絶対値和を求め、上記差分絶対値和が所定の閾値より小さい場合、上記イントラ予測モード決定手段により決定されたイントラ予測モードを選択し、上記差分絶対値和が上記所定の閾値より大きい場合、画素値の平均値を用いて予測画像を生成するＤＣモードを選択するモード選択手段と、上記モード選択手段によりイントラ予測モードが選択された場合、上記イントラ予測モードで、上記局部復号画像から上記矩形領域のイントラ予測画像を生成し、上記モード選択手段によりＤＣモードが選択された場合、上記ＤＣモードで、上記局部復号画像から上記矩形領域のイントラ予測画像を生成するイントラ予測画像生成手段と、上記矩形領域の原画像と上記イントラ予測画像生成手段により生成されたイントラ予測画像の差分を整数変換して量子化し、その量子化変換係数を出力するとともに、逆量子化し、その逆量子化変換係数を逆整数変換し、この逆整数変換係数と上記イントラ予測画像を加算して、その加算結果をイントラ予測対象の上記矩形領域の局部復号画像として出力する局部復号画像生成手段とを備えた動画像符号化装置。
2. 上記モード選択手段は、イントラ予測モードの補正の有無を示すフラグを入力し、上記フラグが補正有りを示している場合、上記イントラ予測モード決定手段により決定されたイントラ予測モード又は上記ＤＣモードを選択し、上記フラグが補正無しを示している場合、上記ＤＣモードを選択することを特徴とする請求項１記載の動画像符号化装置。
3. イントラ予測対象の矩形領域の原画像と上記矩形領域に隣接している領域の原画像である隣接原画像からイントラ予測モードを決定するイントラ予測モード決定手段と、上記隣接原画像と上記矩形領域に隣接している領域の局部復号画像との差分絶対値和を求め、上記差分絶対値和が所定の閾値より小さい場合、上記イントラ予測モード決定手段により決定されたイントラ予測モードを選択し、上記差分絶対値和が上記所定の閾値より大きい場合、外部から入力されたイントラ予測モードを選択するモード選択手段と、上記モード選択手段により選択されたイントラ予測モードで、上記局部復号画像から上記矩形領域のイントラ予測画像を生成するイントラ予測画像生成手段と、上記矩形領域の原画像と上記イントラ予測画像生成手段により生成されたイントラ予測画像の差分を整数変換して量子化し、その量子化変換係数を出力するとともに、逆量子化し、その逆量子化変換係数を逆整数変換し、この逆整数変換係数と上記イントラ予測画像を加算して、その加算結果をイントラ予測対象の上記矩形領域の局部復号画像として出力する局部復号画像生成手段とを備えた動画像符号化装置。
4. 上記モード選択手段は、イントラ予測モードの補正の有無を示すフラグを入力し、上記フラグが補正有りを示している場合、上記イントラ予測モード決定手段により決定されたイントラ予測モード又は上記外部から入力されたイントラ予測モードを選択し、上記フラグが補正無しを示している場合、上記外部から入力されたイントラ予測モードを選択することを特徴とする請求項３記載の動画像符号化装置。
5. イントラ予測対象の矩形領域の原画像と上記矩形領域に隣接している領域の原画像である隣接原画像からイントラ予測モードを決定するイントラ予測モード決定手段と、上記イントラ予測モード決定手段により決定されたイントラ予測モードで、上記矩形領域に隣接している領域の局部復号画像から上記矩形領域のイントラ予測画像を生成するイントラ予測画像生成手段と、上記隣接原画像と上記局部復号画像との差分絶対値和を求め、上記差分絶対値和が所定の閾値より小さい場合、外部から入力されるインター／イントラ予測判定結果がインター予測を採用する旨を示していれば、外部から入力されるインター予測画像を選択し、上記インター／イントラ予測判定結果がイントラ予測を採用する旨を示していれば、上記イントラ予測画像生成手段により生成されたイントラ予測画像を選択し、上記差分絶対値和が上記所定の閾値より大きい場合、上記インター予測画像を選択する画像選択手段と、上記矩形領域の原画像と上記画像選択手段により選択された画像の差分を整数変換して量子化し、その量子化変換係数を出力するとともに、逆量子化し、その逆量子化変換係数を逆整数変換し、この逆整数変換係数と上記画像選択手段により選択された画像を加算して、その加算結果をイントラ予測対象の上記矩形領域の局部復号画像として出力する局部復号画像生成手段とを備えた動画像符号化装置。
6. 上記画像選択手段は、イントラ予測モードの補正の有無を示すフラグを入力し、上記フラグが補正有りを示している場合、上記差分絶対値和と上記所定の閾値の比較結果及び上記インター／イントラ予測判定結果に応じて上記イントラ予測画像生成手段により生成されたイントラ予測画像又は上記インター予測画像を選択し、上記フラグが補正無しを示している場合、上記インター／イントラ予測判定結果に応じて上記イントラ予測画像生成手段により生成されたイントラ予測画像又は上記インター予測画像を選択することを特徴とする請求項５記載の動画像符号化装置。

Images