JP7388737B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

特許法第３０条第２項適用 令和３年２月８日開催 筑波大学情報学群 情報メディア創成学類 卒業研究最終発表会（ＷＥＢ会議）

本発明は画像処理技術に関する。

動画像を圧縮する重要な技術の一つとしてフレーム間予測符号化がある。フレーム間予測符号化では、符号化するフレーム（以下「対象フレーム」ともいう）とは異なる時刻の符号化処理済のフレーム（以下「参照フレーム」ともいう）を基に対象フレームの画像を予測し、対象フレームの実際の画像と予測した画像の差分を符号化する。対象フレームの符号化処理済のフレームとの差分を符号化することによりフレームのデータ量を削減することができる。

フレーム間予測符号化では、フレームを複数に分割したブロック単位で以下の（１）～（３）の処理が行われる

（１）対象フレーム内のブロック（以下「対象ブロック」という）に類似するブロック（以下「参照ブロック」という）を参照フレーム内から画像マッチング技術を用いて探索する

（２）対象ブロックと探索で得られた参照ブロックとの差分画像を求める

（３）探索で得られた参照ブロックから対象ブロックへの動きを示す動きベクトルを求める。

このようにして圧縮された動画像のフレームを復号するとき、参照ブロックと差分画像と動きベクトルから対象ブロックの画像を復元することができる。

上述したように上記（１）では、対象ブロックと類似する参照ブロックを探索する際に画像マッチング技術が用いられる。画像マッチング技術として特徴ベースマッチングや領域ベースマッチングといった様々な方式が知られている。動画像内での物体の動きには、移動、伸縮（スケール変化）、および回転が含まれる。

特許文献１には動画像圧縮における動きを算出する技術が開示されている。画像平面上の現フレ－ムの既知の領域の３点とこれらの３点について探索された３つの平行移動ベクトルを用いて前フレ－ムの領域の３点の座標を求める。更に、現フレ－ムおよび前フレ－ムの領域の６点の位置座標より各々のベクトルの水平と垂直成分を算出し、それらのベクトルのｘ、ｙ成分より、水平と垂直方向の回転角度、伸縮倍率、平行移動量の６個のアフィン変換パラメータを算出する。

また、非特許文献１には、画像のスケール変化や回転に関連する技術が開示されている。画像ブロックに含まれる画素の勾配に関するヒストグラムを作成し、ヒストグラムの最大値となるピークをキーポイントのオリエンテーションとして割り当てる。そして、キーポイントのオリエンテーション方向に画像を回転する。

特許文献１に開示された技術では、平行移動ベクトルを探索する処理が複雑である。非特許文献１に開示された技術では、画像の勾配強度と勾配方向とを用いてヒストグラムを作成する処理が複雑である。そのため、対象ブロックと参照ブロックとの相対的な拡大または縮小の比率を求める計算量が多くなる。拡大または縮小のことを以下「拡縮」という場合がある。また、拡大または縮小の比率のことを以下「拡縮率」という場合がある。

これに対して、特許文献２には、対象領域（対象ブロックに相当）と参照領域（参照ブロックに相当）に互いに対応する複数のサブ領域を定め、サブ領域間の相対的な位置関係すなわちサブ領域の動きを示すベクトルを主成することにより、対象領域の参照領域に対する拡縮率を決定するという手法が開示されている。これにより拡縮率の計算量が低減される。

特許文献２の手法では、対象領域と参照領域に互いに対応する複数のサブ領域を定めるとき、対象領域内に設定したサブ対象領域毎に参照領域内にて探索範囲を決めて、当該サブ対象領域との類似度が高いサブ参照領域を探索する。

特開平９－９８４２４号公報 特開２０２０－０３０５０２号公報

Gradientベースの特徴抽出-SIFTとHOG- 藤吉弘亘 情報処理学会 研究報告CVIM 160, pp. 211-224, September, 2007.

特許文献２の手法では、参照領域内にてサブ参照領域を探索する処理において、探索範囲を大きくすればサブ対象領域との類似度の高いサブ参照領域を見つけることができ、拡縮率の精度が上がる。しかし、探索範囲を大きくすれば類似度算出の処理が増大してしまう。

本開示のひとつの目的は、領域同士の拡大または縮小の比率を、より少ない計算量で算出する技術を提供することである。

本開示のひとつの態様による画像処理装置は、対象領域または参照領域の一方である第１領域内の複数の第１サブ領域のそれぞれに対応する複数の第２サブ領域を、前記対象領域または前記参照領域の他方である第２領域内の探索範囲から探索する探索部と、前記第１領域における前記第１サブ領域と、前記第２領域における前記第２サブ領域との相対的な位置関係に基づいて、前記第２領域に対する前記第１領域の拡大または縮小の比率を算出する算出部と、前記比率に基づいて前記探索範囲を更新し、前記探索部による前記第２サブ領域の探索と、前記算出部による前記比率の算出とを再度実行させる更新部と、を有する。

本開示のひとつの態様によれば、参照領域に対する対象領域の拡大または縮小の比率を、より少ない計算量で算出することができる。

画像処理装置の機能構成を示すブロック図である。 画像処理装置のハードウェア構成を示すブロック図である。 画像処理装置による全体処理のフローチャートである。 対象画像の一例を示す図である。 参照画像の一例を示す図である。 第１の拡縮演算処理のフローチャートである。 対象領域内にサブ対象領域が作成された様子を示す図である。 参照領域に設定された初期の探索範囲を示す図である。 参照領域内でサブ参照領域が決定された様子を示す図である。 サブ参照領域を基準として正規化されたサブ対象領域の一例を示す図である。 ステップＳ２０３で求めた複数のベクトルの主成分の固有ベクトルを示す図である。 第２の拡縮演算処理のフローチャートである。 参照領域内にサブ参照領域が作成された様子を示す図である。 対象領域に設定された初期の探索範囲を示す図である。 対象領域内でサブ対象領域が決定された様子を示す図である。 ステップＳ３０３で求めた複数のベクトルの主成分の固有ベクトルを示す図である。 拡縮決定処理のフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。

本実施形態では、画像の拡大あるいは縮小の比率を算出する装置の一例として画像の差分符号化を行う画像符号化装置を例示する。差分符号化は、符号化の対象となる静止画フレームの画像（対象画像）と、符号化に利用する静止画フレームの画像（参照画像）から予測した画像（予測画像）との差分を符号化する符号化方式である。例えば、対象画像は、動画像において符号化の対象となっている静止画フレームの画像であり、参照画像は、動画像において既に符号化された前フレームの画像である。

参照画像から対象画像にできるだけ近い予測画像を生成すれば、対象画像と予測画像との差分が小さくなり、その結果、符号化後のデータ量を小さくすることができる。例えば、対象画像に限りなく近い予測画像が得られれば差分がほとんどなくなり、符号化後のデータ量は小さくなる。逆に、予測が不能であれば、例えば、対象画像と参照画像との差分をそのまま符号化し、符号化後のデータ量が大きくなる。

図１は、画像処理装置の機能構成を示すブロック図である。図２は、画像処理装置のハードウェア構成を示すブロック図である。

図１を参照すると、画像処理装置１は、制御部１０と、記憶部２０とを備える。記憶部２０には、フレーム情報２１と、差分符号情報２２とが格納される。フレーム情報２１は、動画を構成する各フレームの画像データである。差分符号情報２２は、差分符号化により符号化された各フレームの画像データである。

制御部１０は、記憶部２０に格納されたフレーム情報２１を用いてフレームの画像を符号化し、符号化後の画像データを差分符号情報２２として記憶部２０に記録する。

図２を参照すると、画像処理装置１のハードウェアは一例としてコンピュータ装置４００である。コンピュータ装置４００は、制御回路４０１と、記憶装置４０２と、読書装置４０３と、記録媒体４０４と、通信インターフェイス４０５と、入出力インターフェイス４０６と、入力装置４０７と、表示装置４０８とを有している。制御回路４０１、記憶装置４０２、読書装置４０３、通信インターフェイス４０５、入出力インターフェイス４０６、および表示装置４０８はバス４１０により互いに接続される。記録媒体４０４は読書装置４０３に接続される。入力装置４０７は入出力インターフェイス４０６に接続される。また通信インターフェイス４０５はネットワーク４０９と接続される。

制御回路４０１は、コンピュータ装置４００全体を制御する。制御回路４０１は一例としてプロセッサである。制御回路４０１は、記憶装置４０２に記録された不図示の画像処理プログラムを実行することにより、図１に示した制御部１０として動作する。

記憶装置４０２は、制御回路４０１を制御部１０として機能させる画像処理プログラムを記憶する。また、記憶装置４０２は、制御回路４０１が動作するための各種データを記憶する。また、記憶装置４０２は、図１における記憶部２０として機能する。

読書装置４０３は、着脱可能な記録媒体４０４からデータを読み出し、また記録媒体４０４へデータを書き込む。

記録媒体４０４は、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード、ＦＤ（Ｆｌｏｐｐｙ Ｄｉｓｋ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＢＤ（Ｂｌｕ－ｒａｙ Ｄｉｓｋ：登録商標）、およびフラッシュメモリなどの非一時的記録媒体である。記録媒体４０４は、例えば、コンピュータ装置４００に与えるデータ、コンピュータ装置４００で生成されたデータ、およびコンピュータ装置４００で取得されたデータを格納する。また、記録媒体４０４は、図１に示した記憶部２０内の情報を記憶してもよい。

通信インターフェイス４０５は、ネットワーク４０９を介してコンピュータ装置４００と不図示の他の装置とを通信可能に接続する。

入出力インターフェイス４０６は、入力装置４０７等の各種入出力装置と接続するインターフェイスである。入出力インターフェイス４０６は、入力装置４０７から入力された信号を、バス４１０を介して制御回路４０１に出力する。また、入出力インターフェイス４０６は、制御回路４０１から出力された信号を、バス４１０を介して入出力装置に出力する。入力装置４０７は入出力装置の例である。

入力装置４０７は、キーボード、マウス等の入力装置である。入力装置４０７は、ユーザによる情報の入力操作を受け付け、入力された情報に対応する信号を入出力インターフェイス４０６に出力する。例えば、ユーザが入力装置４０７に映像の差分符号化の開始の指示を入力すると、入力装置４０７は指示を示す信号を入出力インターフェイス４０６に出力する。

表示装置４０８は、制御回路４０１からの制御により各種情報を画面に表示する。

ネットワーク４０９は、コンピュータ装置４００と他の装置を通信可能に接続する。

以下、図１の制御部１０の詳細について説明する。

図１を参照すると、制御部１０は、参照領域決定部１１と、拡縮算出部１２と、予測画像生成部１６と、差分符号化部１７とを含む。

参照領域決定部１１は、記憶部２０のフレーム情報２１から符号化対象である対象画像の画像データを取得し、対象画像内にあるブロック領域（対象領域）の符号化に利用する参照画像における対象領域に類似する領域を参照領域として決定する。類似するというのは、類似の程度を示す指標の値が大きいことをいう。以下、類似の程度を示す指標を類似度ともいう。画像同士の類似度の評価方法は特に限定されないが、例えば画素値の二乗誤差和などで評価することができる。例えば、対象領域との類似度が所定の閾値を超える領域を参照領域としてもよい。あるいは対象領域との類似度が参照画像における他の領域と比べて高い領域を参照領域としてもよい。参照領域を決定するとき、参照領域決定部１１は、参照画像内で参照領域の候補を順次スライドしながら、総当たりで候補の領域と対象領域との類似度を算出することにより、対象領域との類似度が高い領域を探索する。後述する予測画像の作成において参照領域を拡大または縮小して対象領域の画像を予測するので、参照領域は対象領域の拡大または縮小の基準となる。

拡縮算出部１２は、対象領域内の複数のサブ対象領域と、各サブ対象領域に対応する参照領域内の複数のサブ参照領域との相対的な位置関係に基づいて、対象領域の参照領域に対する拡大または縮小の比率を決定する。拡縮算出部１２は探索部１３と算出部１４と更新部１５とを有し、それらが連携動作することにより、対象領域の参照領域に対する拡大または縮小の比率を決定する。

探索部１３は、対象領域内の複数のサブ対象領域のそれぞれに対応する複数のサブ参照領域を、参照領域内の探索範囲から探索する。算出部１４は、対象領域におけるサブ対象領域と、参照領域におけるサブ参照領域との相対的な位置関係に基づいて、参照領域に対する対象領域の拡大または縮小の比率を算出する。更新部１５は、算出部１４により算出された比率に基づいて、参照領域における探索範囲を更新し、探索部１３によるサブ参照領域の探索と、算出部１４による比率の算出とを再度実行させる。ここに示した探索部１３によるサブ参照領域の探索と算出部１４による比率の算出と更新部１５による探索範囲の更新とを含む一連の処理が複数回繰り返される。このように、拡大または縮小の比率を一旦決定し、その比率に基づいて決定した探索範囲内でサブ領域を探索し、得られたサブ領域を用いて拡大または縮小の比率を再度算出するので、探索範囲を大きくしなくても好適なサブ領域を見つけることができ、領域同士の拡大または縮小の比率を、より少ない計算量で算出することができる。

なお、ここでは、対象領域内のサブ対象領域を基に参照領域内でサブ参照領域を探索し、対象領域の参照領域に対する拡大または縮小の比率を算出する例を示したが、参照領域内のサブ参照領域を基に対象領域内でサブ対象領域を探索しても、対象領域の参照領域に対する拡大または縮小の比率を算出することができる。本実施形態では、対象領域内のサブ対象領域を基に参照領域内でサブ参照領域を探索して算出した比率と、参照領域内のサブ参照領域を基に対象領域内でサブ対象領域を探索して算出した比率とを基に、対象領域の参照領域に対する拡大または縮小の比率を決定するものとする。ただし、いずれか一方のみを行い、それにより得られた比率を用いることにしてもよい。例えば、対象画像と参照画像が時間的に離れていない場合、比率が１に近いことが分かっている場合にいずれか一方のみを行うことにし、計算を簡略化してもよい。本実施形態における処理の詳細は後述する。

予測画像生成部１６は、参照領域を拡縮算出部１２により決定された比率で拡大または縮小した画像を用いて、参照画像から対象画像を予測した予測画像を生成する。

差分符号化部１７は、予測画像生成部１６で生成された予測画像と対象画像との差分を符号化する。差分を符号化した符号データは記憶部２０に差分符号情報２２として記録される。

本実施形態によれば、より少ない計算量で比率を計算し、その比率で参照領域を拡大または縮小した画像を用いて対象領域の予測画像を生成するので、少ない計算量で良好な差分符号化を行うことができる。

なお、参照領域決定部１１は、参照画像内の互いに重複可能な複数の領域を候補領域とし、候補領域を所定の回転角度だけ回転させた回転候補領域と、対象領域との類似度を算出し、類似度に基づいて、複数の候補領域の中から参照領域を決定することにしてもよい。参照画像内の領域を回転させた領域と対象領域との類似度を用いて参照領域を探索するので、良好な参照領域を決定することができ、その結果、良好な差分符号化をすることができる。このとき、例えば、複数の回転角度を予め定めておき、それぞれの候補領域について各回転角度だけ回転させた回転候補領域を作成し、それら複数の回転候補領域と対象領域との類似度を総当たりで算出し、最も類似度の高い回転候補領域の元の候補領域を参照領域とすることにしてもよい。また、このときの回転候補領域の回転角度が、対象領域と参照領域の相対的な回転角度であると言える。

図３は、画像処理装置による全体処理のフローチャートである。

図３を参照すると、まず、ステップＳ１０１にて、参照領域決定部１１は、対象画像内の対象領域に類似する参照画像内の領域を参照領域として決定する。

図４は対象画像の一例を示す図である。図５は参照画像の一例を示す図である。ここでは図４に示した対象画像１００内の対象領域１１０と類似度が高い領域を、図５に示した参照画像２００内から探索するものとする。本例では、参照領域決定部１１は、参照画像２００内で参照領域の候補である候補領域２１１を順次スライドさせ、候補領域２１１を所定の回転角度だけ回転させて回転候補領域とし、対象領域１１０との類似度を算出し、類似度が最も高かった回転候補領域の元となった候補領域２１１を参照領域２１０とする。

次に、拡縮算出部１２は以下に説明するステップＳ１０２～ステップＳ１０６による拡縮算出処理を実行する。

まず、ステップＳ１０２にて、拡縮算出部１２は第１の拡縮演算処理を実行する。第１の拡縮演算処理は対象領域から参照領域を見た場合の拡大または縮小に関する演算処理である。

図６は、第１の拡縮演算処理のフローチャートである。

図６を参照すると、まず、ステップＳ２０１にて、拡縮算出部１２は、対象領域内に複数のサブ対象領域を作成する。図７は、対象領域内にサブ対象領域が作成された様子を示す図である。図７に示すように、拡縮算出部１２は、対象領域１１０の中心を中心とする円周上に等間隔で複数のサブ対象領域（第１サブ対象領域）１２１を作成する。ここでは１から８までの番号が付された８個のサブ対象領域１２１が作成されている。

次に、ステップＳ２０２にて、拡縮算出部１２は、参照領域２１０に探索範囲を設定し、探索部１３により、探索範囲内で、複数のサブ対象領域１２１のそれぞれに類似する領域（サブ参照領域）を探索する。

図８は、参照領域に設定された初期の探索範囲を示す図である。図８を参照すると、参照領域２１０に探索範囲２２０が設定されている。探索範囲２２０は、サブ対象領域１２１のそれぞれに対して個々に設定される。初期の探索範囲２２０は、対象領域１１０における各サブ対象領域１２１を切り出した位置と同じ参照領域２１０内の位置から、参照領域２１０の中心を軸として対象領域１１０と参照領域２１０との相対的な回転角度だけ回転させた位置の近傍に、所定の形状および大きさで設定される。

拡縮算出部１２は、図７に示したそれぞれのサブ対象領域１２１に類似する領域を、それぞれの探索範囲２２０内で探索し、類似度の高い領域を当該サブ対象領域１２１に対応するサブ参照領域（第１サブ参照領域）とする。具体例としては、拡縮算出部１２は、探索範囲２２０内に候補の領域をスライドさせながら、その都度、その候補の領域とサブ対象領域１２１との類似度を評価し、評価した中で類似度の最も高い候補の領域をサブ参照領域と定めることにしてもよい。

図９は、参照領域内でサブ参照領域が決定された様子を示す図である。図９を参照すると、参照領域２１０内に各サブ対象領域１２１に対応するサブ参照領域２２１が決定されている。

全てのサブ対象領域１２１に対応するサブ参照領域２２１が決定したら、次に、ステップＳ２０３にて、拡縮算出部１２は、算出部１４により、対象領域１１０の中心を原点とし複数のサブ対象領域１２１の位置を示す座標ベクトルの大きさが１となるように、参照領域２１０の中心を原点とし複数のサブ参照領域２２１の位置を示す座標ベクトルを正規化した複数のベクトル（第１ベクトル）を求める。ここで求めたベクトルの集合は、対象領域の参照領域に対する拡大または縮小の比率の方向毎の分布を示す。図１０は、正規化されたサブ対象領域の一例を示す図である。図１０には、正規化の結果として、対応するサブ参照領域２２１に対して原点Ｏからの距離が拡大または縮小されたサブ対象領域１２２が示されている。

次に、ステップＳ２０４にて、拡縮算出部１２は、算出部１４により、ステップＳ２０３で求めた複数のベクトルを主成分分析して主成分（主成分Ａ）を求める。ここで求まる主成分の固有ベクトルは拡大または縮小の方向を示し、固有値は拡大または縮小の比率を示す。第１主成分の固有値をα´とし、第２主成分の固有値をβ´とする。第１主成分の固有ベクトルをＶα´とし、第２主成分の固有ベクトルをＶβ´とする。図１１は、ステップＳ２０３で求めた複数のベクトルの主成分の固有ベクトルを示す図である。図１１を参照すると、第１主成分の固有ベクトルＶα´と、第２主成分の固有ベクトルＶβ´とが示されている。

図３に戻り、更に、ステップＳ１０３にて、拡縮算出部１２は第２の拡縮演算処理を実行する。第２の拡縮演算処理は参照領域から対象領域を見た場合の拡大または縮小に関する演算処理である。

図１２は、第２の拡縮演算処理のフローチャートである。

図１２を参照すると、まず、ステップＳ３０１にて、拡縮算出部１２は、参照領域内に複数のサブ参照領域を作成する。図１３は、参照領域内にサブ参照領域が作成された様子を示す図である。図１３に示すように、拡縮算出部１２は、参照領域２１０の中心を中心とする円周上に等間隔で複数のサブ参照領域（第２サブ参照領域）２２２を作成する。ここでは１から８までの番号が付された８個のサブ参照領域２２２が作成されている。

次に、ステップＳ３０２にて、拡縮算出部１２は、対象領域１１０に探索範囲を設定し、探索部１３部により、探索範囲内で、複数のサブ参照領域２２２のそれぞれに類似する領域（サブ対象領域）を探索する。

図１４は、対象領域に設定された初期の探索範囲を示す図である。図１４を参照すると、対象領域１１０に探索範囲１２０が設定されている。探索範囲１２０は、サブ参照領域２２１のそれぞれに対して個々に設定される。初期の探索範囲１２０は、参照領域２１０における各サブ参照領域２２１を切り出した位置と同じ対象領域１１０内の位置から、対象領域１１０の中心を軸として参照領域２１０と対象領域１１０との相対的な回転角度だけ回転させた位置の近傍に、所定の形状および大きさで設定される。

拡縮算出部１２は、図１３に示したそれぞれのサブ参照領域２２２に類似する領域を、それぞれの探索範囲１２０内で探索し、類似度の高い領域を当該サブ参照領域２２２に対応するサブ対象領域（第２サブ対象領域）とする。具体例としては、拡縮算出部１２は、探索範囲１２０内に候補の領域をスライドさせながら、その都度、その候補の領域とサブ参照領域２２２との類似度を評価し、評価した中で類似度の最も高い候補の領域をサブ対象領域と定めることにしてもよい。

図１５は、対象領域内でサブ対象領域が決定された様子を示す図である。図１５を参照すると、対象領域１１０内に各サブ参照領域２２１に対応するサブ対象領域１２２が決定されている。

全てのサブ参照領域２２２に対応するサブ対象領域１２２が決定したら、次に、ステップＳ３０３にて、拡縮算出部１２は、算出部１４により、参照領域２１０の中心を原点とし複数のサブ参照領域２２２の位置を示す座標ベクトルの大きさが１となるように正規化した、対象領域１１０の中心を原点とし複数のサブ対象領域１２２の位置を示す座標ベクトルである複数のベクトル（第２ベクトル）を求める。ここで求めたベクトルの集合は、対象領域の参照領域に対する拡大または縮小の比率の方向毎の分布を示す。

次に、ステップＳ３０４にて、拡縮算出部１２は、算出部１４により、ステップＳ３０３で求めた複数のベクトルを主成分分析して主成分（主成分Ｂ）を求める。ここで求まる主成分の固有ベクトルは拡大または縮小の方向を示し、固有値は拡大または縮小の比率を示す。第１主成分の固有値をαとし、第２主成分の固有値をβとする。第１主成分の固有ベクトルをＶαとし、第２主成分の固有ベクトルをＶβとする。図１６は、ステップＳ３０３で求めた複数のベクトルの主成分の固有ベクトルを示す図である。図１６を参照すると、第１主成分の固有ベクトルをＶαと、第２主成分の固有ベクトルをＶβとが示されている。

なお、上述した第１の拡縮演算処理と第２の拡縮演算処理を実行する順序は特に限定されない。第２の拡縮演算処理を第１の拡縮演算処理より先に実行してもよい。

図３に戻り、更に、ステップＳ１０４にて、拡縮算出部１２は、拡縮決定処理を実行する。拡縮決定処理は第１の拡縮演算処理の処理結果と第２の拡縮演算処理の処理結果とに基づき、対象領域の参照領域に対する拡大または縮小の方向および比率を決定する処理である。

図１７は、拡縮決定処理のフローチャートである。

図１７を参照すると、拡縮算出部１２は、ステップＳ４０１にて、αα´≦１かつββ´＜１であるか否か判定する。ステップＳ４０１の判定がＹＥＳであれば、拡縮算出部１２は、ステップＳ４０２にて、固有ベクトルＶαが示す方向に固有値αが示す比率で縮小し、固有ベクトルＶβが示す方向に固有値βが示す比率で縮小していると判断する。

ステップＳ４０１の判定がＮＯであれば、拡縮算出部１２は、ステップＳ４０３にて、αα´＞１かつββ´≧１であるか否か判定する。ステップＳ４０３の判定がＹＥＳであれば、拡縮算出部１２は、ステップＳ４０４にて、固有ベクトルＶα´が示す方向に固有値α´が示す比率で拡大し、固有ベクトルＶβ´が示す方向に固有値β´が示す比率で拡大していると判断する。

ステップＳ４０３の判定がＮＯであれば、拡縮算出部１２は、ステップＳ４０５にて、αα´＞１かつββ´＜１かつ固有ベクトルＶαと固有ベクトルＶα´のなす角が所定角度（例えば４５°）より小さいか否か判定する。ステップＳ４０５の判定がＹＥＳであれば、拡縮算出部１２は、ステップＳ４０６にて、拡大あるいは縮小の再計算を行う。再計算では、拡縮算出部１２は、固有ベクトルＶα´付近の第１ベクトルと、固有ベクトルＶβ付近の第２ベクトルとの和集合に対して主成分分析をし、得られた主成分の固有値を拡大または縮小の比率とし、固有ベクトルを拡大または縮小の方向とする。なお、固有ベクトルＶα´付近のベクトルにいうのは、固有ベクトルＶα´に方向が近いベクトルという意味であり、つまり、固有ベクトルＶα´の方向と所定範囲内に方向が向いているベクトルをいう。また、本例において、固有ベクトルＶαと固有ベクトルＶα´のなす角が所定角度（例えば４５°）より小さいことを条件としているのは、固有ベクトルＶαと固有ベクトルＶα´は本来的には近い方向にあるはずなので、これらのなす角度が大きい場合を除外するものである。

ステップＳ４０５の判定がＮＯであれば、拡縮算出部１２は、ステップＳ４０７にて、αα´＝１かつββ´＝１であるか否か判定する。ステップＳ４０７の判定がＹＥＳであれば、拡縮算出部１２は、ステップＳ４０８にて、対象領域は参照領域に対して拡大も縮小もしていないと判断する。ステップＳ４０７の判定がＮＯであれば、拡縮算出部１２は、ステップＳ４０９にて、対象領域は参照領域に対して拡大しているのか縮小しているのか不明であると判断する。

図３に戻り、更に、ステップＳ１０５にて、拡縮算出部１２は、所定の終了条件を満たしたか否か判定する。終了条件は特に限定されないが、ここでは一例として、ステップＳ１０４による比率の決定を所定回数実行したら、終了するという条件であるとする。

終了条件が満たされていなければ、ステップＳ１０６にて、拡縮算出部１２は、更新部１５により探索範囲を更新してステップＳ１０２に戻す。ここでは第１の拡縮演算処理と第２の拡縮演算処理に用いる探索範囲をそれぞれ更新する。

拡縮算出部１２は、拡縮決定処理にて算出された比率が、対象領域１１０が参照領域２１０に対して拡大となる比率であれば、第１の拡縮演算処理に用いる探索範囲を参照領域２１０の中心に近づく方向に更新し、対象領域１１０が参照領域２１０に対して縮小となる比率であれば、第１の拡縮演算処理に用いる探索範囲を参照領域２１０の中心から遠ざかる方向に移動させる。探索範囲をどの程度移動させるかは特に限定されない。例えば、移動量を所定の固定値としてもよいし、比率に応じた値としてもよい。

また、拡縮算出部１２は、拡縮決定処理にて算出された比率が、対象領域１１０が参照領域２１０に対して拡大となる比率であれば、第２の拡縮演算処理に用いる探索範囲を対象領域１１０の中心に近づく方向に更新し、対象領域１１０が参照領域２１０に対して縮小となる比率であれば、第２の拡縮演算処理に用いる探索範囲を対象領域１１０の中心から遠ざかる方向に移動させる。探索範囲をどの程度移動させるかは特に限定されない。例えば、移動量を所定の固定値としてもよいし、比率に応じた値としてもよい。

探索範囲が更新された後、第１の拡縮演算処理、第２の拡縮演算処理、および拡縮決定処理が再び実行される。

ステップＳ１０５にて終了条件が満たされていれば、更に、ステップＳ１０７にて、予測画像生成部１６は、参照画像２００から対象画像１００を予測した予測画像を生成する。その際、予測画像生成部１６は、参照領域２１０を拡縮算出部１２により最終的に決定された比率で拡大または縮小した画像を予測画像の対象領域１１０に相当する領域の予測に用いる。そのために、予測画像生成部１６は、参照領域から対象領域への移動量を示す動きベクトルと、参照領域２１０の画像から予測した画像と対象領域１１０の画像との差分画像とを生成する。生成されたデータは予測画像のデータに含められる。なお、拡縮算出部１２が拡大しているのか縮小しているのか不明と判断した対象領域に相当する領域には等倍の参照領域の画像を用いてもよい。

続いて、ステップＳ１０８にて、差分符号化部１７は、予測画像生成部１６で生成された予測画像と対象画像１００との差分画像を用いて対象画像１００を符号化し、差分を符号化した符号データを記憶部２０に差分符号情報２２として記録する。

以上説明した実施形態には以下に示す事項が含まれている。ただし、本実施形態に含まれる事項が以下に示すものに限定されることはない。

（事項１）
対象領域または参照領域の一方である第１領域内の複数の第１サブ領域のそれぞれに対応する複数の第２サブ領域を、前記対象領域または前記参照領域の他方である第２領域内の探索範囲から探索する探索部と、
前記第１領域における前記第１サブ領域と、前記第２領域における前記第２サブ領域との相対的な位置関係に基づいて、前記第２領域に対する前記第１領域の拡大または縮小の比率を算出する算出部と、
前記比率に基づいて前記探索範囲を更新し、前記探索部による前記第２サブ領域の探索と、前記算出部による前記比率の算出とを再度実行させる更新部と、
を有する画像処理装置。
これによれば、拡大または縮小の比率を一旦決定し、その比率に基づいて決定した探索範囲内でサブ領域を探索し、得られたサブ領域を用いて拡大または縮小の比率を再度算出するので、探索範囲を大きくしなくても好適なサブ領域を見つけることができ、領域同士の拡大または縮小の比率を、より少ない計算量で算出することができる。

（事項２）
前記探索部は、前記第１領域に所定の円周上に前記第１サブ領域を作成し、前記第２領域における前記第１サブ領域に対応する位置の近傍に初期の探索範囲を作成し、
前記更新部は、前記比率が拡大であれば前記探索範囲を前記円周の中心に近づく方向に更新し、前記比率が縮小であれば前記探索範囲を前記中心から遠ざかる方向に更新する、
事項１に記載の画像処理装置。

（事項３）
前記探索部は、前記探索範囲の互いに重複可能な複数の領域を候補サブ領域とし、前記候補サブ領域と前記第１サブ領域との類似度を算出し、前記類似度に基づいて前記候補サブ領域のいずれかを前記第２サブ領域と決定する、
事項１に記載の画像処理装置。
これによれば、探索領域内の候補サブ領域と第１サブ領域との類似度を用いて第２サブ領域を探索する構成において、拡大または縮小の比率を一旦決定し、その比率に基づいて更新した探索範囲内で第２サブ領域を探索するので、探索範囲を大きくしなくても類似度の高いサブ領域を見つけることができる。

（事項４）
前記算出部は、前記第１領域内の前記第１サブ領域と、前記第２領域内の前記第２サブ領域との相対的な位置関係に基づく複数のベクトルを主成分分析することにより得られる主成分の固有値に基づいて前記比率を算出する、
事項１に記載の画像処理装置。

（事項５）
前記算出部は、前記複数のベクトルを主成分分析して前記主成分の前記固有値および固有ベクトルを算出し、前記第１領域が前記第２領域に対して、前記固有ベクトルに基づいて定まる方向に、前記固有値に基づいて定まる比率で拡大または縮小していることを算出する、
事項４に記載の画像処理装置。
これによれば、拡大または縮小の比率だけでなく拡大または縮小の方向も求まるので、どの方向にどれだけ拡大または縮小しているかを求めることができる。

（事項６）
前記対象領域は符号化の対象となる対象画像に含まれる領域であり、前記参照領域は前記対象画像の符号化に用いる参照画像に含まれる領域であり、
前記画像処理装置は、
前記対象領域に対して、該対象領域の拡大または縮小の基準となる前記参照領域を決定する領域決定部と、
前記参照領域を前記比率に基づいて拡大または縮小した画像を用いて、前記対象画像を予測した予測画像を生成する予測画像生成部と、
前記予測画像と前記対象画像との差分を符号化する差分符号化部と、を更に有する、
事項１に記載の画像処理装置。
これによれば、拡大および縮小した画像を用いる予測差分符号化を行う画像処理装置において、より少ない計算量で拡大または縮小の比率を算出し、良好な差分符号化を実現することができる。

上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。上記各実施例の装置は、ソフトウェアプログラムをプロセッサで実行することにより実現されるものとして例示したが、これに限定されることはない。制御部１０の一部または全部の機能をハードウェアで実現するものであってもよい。また、制御部１０の一部または全部の機能を専用プロセッサで実現するものであってもよい。

１…画像処理装置、１０…制御部、１１…参照領域決定部、１２…拡縮算出部、１３…探索部、１４…算出部、１５…更新部、１６…予測画像生成部、１７…差分符号化部、２０…記憶部、２１…フレーム情報、２２…差分符号情報、１００…対象画像、１１０…対象領域、１２０…探索範囲、１２１…サブ対象領域、１２２…サブ対象領域、２００…参照画像、２１０…参照領域、２１１…候補領域、２２０…探索範囲、２２１…サブ参照領域、２２２…サブ参照領域、４００…コンピュータ装置、４０１…制御回路、４０２…記憶装置、４０３…読書装置、４０４…記録媒体、４０５…通信インターフェイス、４０６…入出力インターフェイス、４０７…入力装置、４０８…表示装置、４０９…ネットワーク、４１０…バス

Claims (6)

1. 動画像において符号化の対象となるフレームの画像である対象画像内のブロック領域を対象領域とし、前記動画像において既に符号化されたフレームの画像である参照画像における前記対象領域に類似する領域を参照領域とし、前記対象領域または前記参照領域の一方を第１領域とし他方を第２領域とし、前記第１領域内に前記第１領域の中心を中心とする円の円周上に等間隔で離散して配置される複数の第１サブ領域を、後述する探索範囲の更新を可能にする前記円の半径と前記第１サブ領域の形状および大きさとで作成し、前記第１サブ領域と同じ形状および大きさであり前記複数の第１サブ領域のそれぞれに類似する複数の第２サブ領域を、前記第２領域内の探索範囲であって、初期の探索範囲が、前記第１領域における前記第１サブ領域の位置と同じ前記第２領域における位置から前記第２領域の中心を軸として前記第１領域と前記第２領域との相対的な回転角度だけ回転させた位置に、前記第２サブ領域の候補となる複数の候補サブ領域を内部に作成できる形状および大きさで離散して設定された複数の探索範囲のそれぞれから探索する探索部と、
   前記第１領域の中心を原点とし前記第１サブ領域の位置を示す座標ベクトルの大きさと、前記第２領域の中心を原点とし前記第２サブ領域の位置を示す座標ベクトルの大きさと、に基づいて、前記第２領域に対する前記第１領域の拡大または縮小の比率を算出する算出部と、
   前記比率が拡大であれば前記探索範囲を前記第２領域の中心に近づく方向に所定の固定値だけ更新し、前記比率が縮小であれば前記探索範囲を前記中心から遠ざかる方向に所定の固定値だけ更新し、前記探索部による前記第２サブ領域の探索と、前記算出部による前記比率の算出とを実行することを、探索範囲を固定して第２サブ領域を探索する場合よりも計算量が少なくなるように回数を制限する所定の終了条件が満たされるまで繰り返し、最終的に決定された前記比率を出力する更新部と、
   を有する画像処理装置。
2. 前記探索部は、前記探索範囲内に候補サブ領域を移動させながら、前記候補サブ領域と前記第１サブ領域との画像同士の画素値の類似度を算出し、前記類似度の最も高い候補サブ領域を前記第２サブ領域と決定する、
   請求項１に記載の画像処理装置。
3. 前記算出部は、前記第１領域の中心を原点とし前記第１サブ領域の位置を示す座標ベクトルの大きさが１となるように、前記第２領域の中心を原点とし前記第２サブ領域の位置を示す座標ベクトルの大きさを変化させた第１ベクトルと、前記第２領域の中心を原点とし前記第２サブ領域の位置を示す座標ベクトルの大きさが１となるように、前記第１領域の中心を原点とし前記第１サブ領域の位置を示す座標ベクトルの長さを変化させた第２ベクトルの一方または両方を主成分分析することにより得られる主成分の固有値に基づいて前記比率を算出する、
   請求項１に記載の画像処理装置。
4. 前記算出部は、前記主成分の前記固有値および固有ベクトルを算出し、前記第１領域が前記第２領域に対して、前記固有ベクトルが示す方向に、前記固有値に表された比率で拡大または縮小していることに基づいて、前記第２領域に対する前記第１領域の拡大または縮小の比率を算出する、
   請求項３に記載の画像処理装置。
5. 探索部が、動画像において符号化の対象となるフレームの画像である対象画像内のブロック領域を対象領域とし、前記動画像において既に符号化されたフレームの画像である参照画像における前記対象領域に類似する領域を参照領域とし、前記対象領域または前記参照領域の一方を第１領域とし他方を第２領域とし、前記第１領域内に前記第１領域の中心を中心とする円の円周上に等間隔で離散して配置される複数の第１サブ領域を、後述する探索範囲の更新を可能にする前記円の半径と前記第１サブ領域の形状および大きさとで作成し、前記第１サブ領域と同じ形状および大きさであり前記複数の第１サブ領域のそれぞれに類似する複数の第２サブ領域を、前記第２領域内の探索範囲であって、初期の探索範囲が、前記第１領域における前記第１サブ領域の位置と同じ前記第２領域における位置から前記第２領域の中心を軸として前記第１領域と前記第２領域との相対的な回転角度だけ回転させた位置に、前記第２サブ領域の候補となる複数の候補サブ領域を内部に作成できる形状および大きさで離散して設定された複数の探索範囲のそれぞれから探索し、
   算出部が、前記第１領域の中心を原点とし前記第１サブ領域の位置を示す座標ベクトルの大きさと、前記第２領域の中心を原点とし前記第２サブ領域の位置を示す座標ベクトルの大きさと、に基づいて、前記第２領域に対する前記第１領域の拡大または縮小の比率を算出し、
   更新部が、前記比率が拡大であれば前記探索範囲を前記第２領域の中心に近づく方向に所定の固定値だけ更新し、前記比率が縮小であれば前記探索範囲を前記中心から遠ざかる方向に所定の固定値だけ更新し、前記探索部による前記第２サブ領域の探索と、前記算出部による前記比率の算出とを実行することを、探索範囲を固定して第２サブ領域を探索する場合よりも計算量が少なくなるように回数を制限する所定の終了条件が満たされるまで繰り返し、最終的に決定された前記比率を出力する、
   画像処理方法。
6. 探索部が、動画像において符号化の対象となるフレームの画像である対象画像内のブロック領域を対象領域とし、前記動画像において既に符号化されたフレームの画像である参照画像における前記対象領域に類似する領域を参照領域とし、前記対象領域または前記参照領域の一方を第１領域とし他方を第２領域とし、前記第１領域内に前記第１領域の中心を中心とする円の円周上に等間隔で離散して配置される複数の第１サブ領域を、後述する探索範囲の更新を可能にする前記円の半径と前記第１サブ領域の形状および大きさとで作成し、前記第１サブ領域と同じ形状および大きさであり前記複数の第１サブ領域のそれぞれに類似する複数の第２サブ領域を、前記第２領域内の探索範囲であって、初期の探索範囲が、前記第１領域における前記第１サブ領域の位置と同じ前記第２領域における位置から前記第２領域の中心を軸として前記第１領域と前記第２領域との相対的な回転角度だけ回転させた位置に、前記第２サブ領域の候補となる複数の候補サブ領域を内部に作成できる形状および大きさで離散して設定された複数の探索範囲のそれぞれから探索し、
   算出部が、前記第１領域の中心を原点とし前記第１サブ領域の位置を示す座標ベクトルの大きさと、前記第２領域の中心を原点とし前記第２サブ領域の位置を示す座標ベクトルの大きさと、に基づいて、前記第２領域に対する前記第１領域の拡大または縮小の比率を算出し、
   更新部が、前記比率が拡大であれば前記探索範囲を前記第２領域の中心に近づく方向に所定の固定値だけ更新し、前記比率が縮小であれば前記探索範囲を前記中心から遠ざかる方向に所定の固定値だけ更新し、前記探索部による前記第２サブ領域の探索と、前記算出部による前記比率の算出とを実行することを、探索範囲を固定して第２サブ領域を探索する場合よりも計算量が少なくなるように回数を制限する所定の終了条件が満たされるまで繰り返し、最終的に決定された前記比率を出力する、
   処理をコンピュータに実行させるための画像処理プログラム。

Images