JP6814484B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は画像処理技術に関する。

動画像を圧縮する重要な技術の一つとしてフレーム間予測符号化がある。フレーム間予測符号化では、符号化するフレーム（以下「対象フレーム」という）とは異なる時刻の符号化処理済のフレーム（以下「参照フレーム」という）を基に対象フレームの画像を予測し、対象フレームの実際の画像と予測した画像の差分を符号化する。対象フレームの符号化処理済のフレームとの差分を符号化することによりフレームのデータ量を削減することができる。

フレーム間予測符号化では、フレームを複数に分割したブロック単位で以下の（１）〜（３）の処理が行われる。
（１）対象フレーム内のブロック（以下「対象ブロック」という）に類似するブロック（以下「参照ブロック」という）を参照フレーム内から画像マッチング技術を用いて探索する。
（２）対象ブロックと探索で得られた参照ブロックとの差分画像を求める。
（３）探索で得られた参照ブロックから対象ブロックへの動きを示す動きベクトルを求める。

このようにして圧縮された動画像のフレームを復号するとき、参照ブロックと差分画像と動きベクトルから対象ブロックの画像を復元することができる。

上述したように上記（１）では、対象ブロックと類似する参照ブロックを探索する際に画像マッチング技術が用いられる。画像マッチング技術として特徴ベースマッチングや領域ベースマッチングといった様々な方式が知られている。動画像内での物体の動きには移動や伸縮（スケール変化）の他に回転が含まれる。上記（１）にて、動画像内で回転する物体が存在するブロック同士を互いに類似すると判断するために、対象ブロックと参照ブロックの相対角度を算出することが求められる。また、上述したように、上記（３）にて算出する参照ブロックから対象ブロックへの動きには、移動、伸縮、および回転が含まれる。そのため対象ブロックと参照ブロックの相対角度を算出する必要がある。

特許文献１には動画像圧縮における動きを算出する技術が開示されている。画像平面上の現フレ−ムの既知の領域の３点とこれらの３点について探索された３つの平行移動ベクトルを用いて前フレ−ムの領域の３点の座標を求める。更に、現フレ−ムおよび前フレ−ムの領域の６点の位置座標より各々のベクトルの水平と垂直成分を算出し、それらのベクトルのｘ、ｙ成分より、水平と垂直方向の回転角度、伸縮倍率、平行移動量の６個のアフィン変換パラメータを算出する。

また、非特許文献１には、画像のスケール変化や回転に関連する技術が開示されている。画像ブロックに含まれる画素の勾配に関するヒストグラムを作成し、ヒストグラムの最大値となるピークをキーポイントのオリエンテーションとして割り当てる。そして、キーポイントのオリエンテーション方向に画像を回転する。

特開平９−９８４２４号公報

Gradientベースの特徴抽出-SIFTとHOG- 藤吉弘亘 情報処理学会 研究報告CVIM 160, pp. 211-224, September, 2007.

特許文献１に開示された技術では、平行移動ベクトルを探索する処理が複雑である。非特許文献１に開示された技術では、画像の勾配強度と勾配方向とを用いてヒストグラムを作成する処理が複雑である。そのため、対象ブロックと参照ブロックとの相対的な拡大または縮小の比率を求める計算量が多くなるという問題があった。拡大または縮小のことを以下「拡縮」という場合がある。また、拡大または縮小の比率のことを以下「拡縮率」という場合がある。

本発明の目的は、領域同士の拡大または縮小の比率を少ない計算量で算出する技術を提供することである。

１つの態様による画像処理装置は、対象領域の拡大または縮小の基準となる参照領域を決定する参照領域決定部と、前記対象領域内の複数のサブ対象領域と、前記サブ対象領域のそれぞれに対応する前記参照領域内の複数のサブ参照領域との相対的な位置関係に基づく複数のベクトルを主成分分析することにより得られる主成分の固有値に基づいて前記拡大または縮小の比率を決定する拡縮算出部と、を有する。

本発明によれば、参照領域に対する対象領域の拡大または縮小の比率を少ない計算量で算出することができる。

画像処理装置の機能構成を示すブロック図である。 画像処理装置のハードウェア構成を示すブロック図である。 画像処理装置による全体処理のフローチャートである。 対象画像の一例を示す図である。 参照画像の一例を示す図である。 第１の拡縮演算処理のフローチャートである。 対象領域内にサブ対象領域が作成された様子を示す図である。 参照領域内でサブ参照領域が決定された様子を示す図である。 サブ参照領域を基準として正規化されたサブ対象領域の一例を示す図である。 ステップＳ２０３で求めた複数のベクトルの主成分の固有ベクトルを示す図である。 第２の拡縮演算処理のフローチャートである。 参照領域内にサブ参照領域が作成された様子を示す図である。 対象領域内でサブ対象領域が決定された様子を示す図である。 ステップＳ３０３で求めた複数のベクトルの主成分の固有ベクトルを示す図である。 拡縮決定処理のフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。

本実施形態では、画像の拡大あるいは縮小の比率を算出する装置の一例として画像の差分符号化を行う画像符号化装置を例示する。差分符号化は、符号化の対象となる静止画フレームの画像（対象画像）と、符号化に利用する静止画フレームの画像（参照画像）から予測した画像（予測画像）との差分を符号化する符号化方式である。参照画像は、例えば、既に符号化された前フレームの画像である。参照画像から対象画像にできるだけ近い予測画像を生成すれば、対象画像と予測画像との差分が小さくなり、その結果、符号化後のデータ量を小さくすることができる。例えば、対象画像に限りなく近い予測画像が得られれば差分がほとんどなくなり、符号化後のデータ量は小さくなる。逆に、予測が不能であれば、例えば、対象画像と参照画像との差分をそのまま符号化し、符号化後のデータ量が大きくなる。

図１は、画像処理装置の機能構成を示すブロック図である。図２は、画像処理装置のハードウェア構成を示すブロック図である。

図１を参照すると、画像処理装置１は、制御部１０と、記憶部２０とを備える。記憶部２０には、フレーム情報２１と、差分符号情報２２とが格納される。フレーム情報２１は、動画を構成する各フレームの画像データである。差分符号情報２２は、差分符号化により符号化された各フレームの画像データである。

制御部１０は、記憶部２０に格納されたフレーム情報２１を用いてフレームの画像を符号化し、符号化後の画像データを差分符号情報２２として記憶部２０に記録する。

図２を参照すると、画像処理装置１のハードウェアは一例としてコンピュータ装置４００である。コンピュータ装置４００は、制御回路４０１と、記憶装置４０２と、読書装置４０３と、記録媒体４０４と、通信インターフェイス４０５と、入出力インターフェイス４０６と、入力装置４０７と、表示装置４０８とを有している。制御回路４０１、記憶装置４０２、読書装置４０３、通信インターフェイス４０５、入出力インターフェイス４０６、および表示装置４０８はバス４１０により互いに接続される。記録媒体４０４は読書装置４０３に接続される。入力装置４０７は入出力インターフェイス４０６に接続される。また通信インターフェイス４０５はネットワーク４０９と接続される。

制御回路４０１は、コンピュータ装置４００全体を制御する。制御回路４０１は一例としてプロセッサである。制御回路４０１は、記憶装置４０２に記録された不図示の画像処理プログラムを実行することにより、図１に示した制御部１０として動作する。

記憶装置４０２は、制御回路４０１を制御部１０として機能させる画像処理プログラムを記憶する。また、記憶装置４０２は、制御回路４０１が動作するための各種データを記憶する。また、記憶装置４０２は、図１における記憶部２０として機能する。

読書装置４０３は、着脱可能な記録媒体４０４からデータを読み出し、また記録媒体４０４へデータを書き込む。

記録媒体４０４は、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード、ＦＤ（Ｆｌｏｐｐｙ Ｄｉｓｋ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｋ：登録商標）、およびフラッシュメモリなどの非一時的記録媒体である。記録媒体４０４は、例えば、コンピュータ装置４００に与えるデータ、コンピュータ装置４００で生成されたデータ、およびコンピュータ装置４００で取得されたデータを格納する。また、記録媒体４０４は、図１に示した記憶部２０内の情報を記憶してもよい。

通信インターフェイス４０５は、ネットワーク４０９を介してコンピュータ装置４００と不図示の他の装置とを通信可能に接続する。

入出力インターフェイス４０６は、入力装置４０７等の各種入出力装置と接続するインターフェイスである。入出力インターフェイス４０６は、入力装置４０７から入力された信号を、バス４１０を介して制御回路４０１に出力する。また、入出力インターフェイス４０６は、制御回路４０１から出力された信号を、バス４１０を介して入出力装置に出力する。入力装置４０７は入出力装置の例である。

入力装置４０７は、キーボード、マウス等の入力装置である。入力装置４０７は、ユーザによる情報の入力操作を受け付け、入力された情報に対応する信号を入出力インターフェイス４０６に出力する。例えば、ユーザが入力装置４０７に映像の差分符号化の開始の指示を入力すると、入力装置４０７は指示を示す信号を入出力インターフェイス４０６に出力する。

表示装置４０８は、制御回路４０１からの制御により各種情報を画面に表示する。

ネットワーク４０９は、コンピュータ装置４００と他の装置を通信可能に接続する。

以下、図１の制御部１０の詳細について説明する。

図１を参照すると、制御部１０は、参照領域決定部１１と、拡縮算出部１２と、予測画像生成部１３と、差分符号化部１４とを含む。

参照領域決定部１１は、記憶部２０のフレーム情報２１から符号化対象である対象画像の画像データを取得し、対象画像内にあるブロック領域（対象領域）の符号化に利用する参照画像における対象領域に類似する領域を参照領域として決定する。類似するというのは、類似の程度を示す指標の値が大きいことをいう。以下、類似の程度を示す指標を類似度ともいう。画像同士の類似度の評価方法は特に限定されないが、例えば画素値の二乗誤差和などで評価することができる。例えば、対象領域との類似度が所定の閾値を超える領域を参照領域としてもよい。あるいは対象領域との類似度が参照画像における他の領域と比べて高い領域を参照領域としてもよい。参照領域を決定するとき、参照領域決定部１１は、参照画像内で参照領域の候補を順次スライドしながら、総当たりで候補の領域と対象領域との類似度を算出することにより、対象領域との類似度が高い領域を探索する。後述する予測画像の作成において参照領域を拡大または縮小して対象領域の画像を予測するので、参照領域は対象領域の拡大または縮小の基準となる。

拡縮算出部１２は、対象領域内の複数のサブ対象領域と、各サブ対象領域に対応する参照領域内の複数のサブ参照領域との相対的な位置関係に基づく複数のベクトルを主成分分析することにより得られる主成分の固有値に基づいて、対象領域の参照領域に対する拡大または縮小の比率を決定する。

本実施形態によれば、平行移動ベクトルを探索したり画像の勾配強度および勾配方向を用いたヒストグラムを作成したりするような複雑な処理を必要とせず、参照領域に対する対象領域の拡大または縮小の比率を少ない計算量で算出することができる。

予測画像生成部１３は、参照領域を拡縮算出部１２により決定された比率で拡大または縮小した画像を用いて、参照画像から対象画像を予測した予測画像を生成する。

差分符号化部１４は、予測画像生成部１３で生成された予測画像と対象画像との差分を符号化する。差分を符号化した符号データは記憶部２０に差分符号情報２２として記録される。

本実施形態によれば、少ない計算量で比率を計算し、その比率で参照領域を拡大または縮小した画像を用いて対象領域の予測画像を生成するので、少ない計算量で良好な差分符号化を行うことができる。

なお、参照領域決定部１１は、参照画像内の互いに重複可能な複数の領域を候補領域とし、候補領域を所定の回転角度だけ回転させた回転候補領域と、対象領域との類似度を算出し、類似度に基づいて、複数の候補領域の中から参照領域を決定することにしてもよい。参照画像内の領域を回転させた領域と対象領域との類似度を用いて参照領域を探索するので、良好な参照領域を決定することができ、その結果、良好な差分符号化をすることができる。このとき、例えば、複数の回転角度を予め定めておき、それぞれの候補領域について各回転角度だけ回転させた回転候補領域を作成し、それら複数の回転候補領域と対象領域との類似度を総当たりで算出し、最も類似度の高い回転候補領域の元の候補領域を参照領域とすることにしてもよい。また、このときの回転候補領域の回転角度が、対象領域と参照領域の相対的な回転角度であると言える。

図３は、画像処理装置による全体処理のフローチャートである。

図３を参照すると、まず、ステップＳ１０１にて、参照領域決定部１１は、対象画像内の対象領域に類似する参照画像内の領域を参照領域として決定する。

図４は対象画像の一例を示す図である。図５は参照画像の一例を示す図である。ここでは図４に示した対象画像１００内の対象領域１１０と類似度が高い領域を、図５に示した参照画像２００内から探索するものとする。本例では、参照領域決定部１１は、参照画像２００内で参照領域の候補である候補領域２１１を順次スライドさせ、候補領域２１１を所定の回転角度だけ回転させて回転候補領域とし、対象領域１１０との類似度を算出し、類似度が最も高かった回転候補領域の元となった候補領域２１１を参照領域２１０とする。

次に、ステップＳ１０２にて、拡縮算出部１２は第１の拡縮演算処理を実行する。第１の拡縮演算処理は対象領域から参照領域を見た場合の拡大または縮小に関する演算処理である。

図６は、第１の拡縮演算処理のフローチャートである。

図６を参照すると、まず、ステップＳ２０１にて、拡縮算出部１２は、対象領域内に複数のサブ対象領域を作成する。図７は、対象領域内にサブ対象領域が作成された様子を示す図である。図７に示すように、拡縮算出部１２は、対象領域１１０の中心を中心とする円周上に等間隔で複数のサブ対象領域（第１サブ対象領域）１２１を作成する。ここでは１から８までの番号が付された８個のサブ対象領域１２１が作成されている。

次に、ステップＳ２０２にて、拡縮算出部１２は、参照領域内で、複数のサブ対象領域１２１のそれぞれに類似する領域（サブ参照領域）を探索する。図８は、参照領域内でサブ参照領域が決定された様子を示す図である。拡縮算出部１２は、図７に示したそれぞれのサブ対象領域１２１に類似する領域を参照領域２１０内で探索し、類似度の高い領域を当該サブ対象領域１２１に対応するサブ参照領域（第１サブ参照領域）２２１とする。具体例としては、拡縮算出部１２は、対象領域１１０における当該サブ対象領域１２１を切り出した位置と同じ参照領域２１０内の位置から、参照領域２１０の中心を軸として対象領域１１０と参照領域２１０との相対的な回転角度だけ回転させた位置の近傍に候補の領域をスライドさせながら、その都度、その候補の領域とサブ対象領域１２１との類似度を評価し、評価した中で類似度の最も高い候補の領域をサブ参照領域２２１と定めることにしてもよい。

全てのサブ対象領域１２１に対応するサブ参照領域２２１が決定したら、次に、ステップＳ２０３にて、拡縮算出部１２は、対象領域１１０の中心を原点とし複数のサブ対象領域１２１の位置を示す座標ベクトルの大きさが１となるように、参照領域２１０の中心を原点とし複数のサブ参照領域２２１の位置を示す座標ベクトルを正規化した複数のベクトル（第１ベクトル）を求める。ここで求めたベクトルの集合は、対象領域の参照領域に対する拡大または縮小の比率の方向毎の分布を示す。図９は、正規化されたサブ対象領域の一例を示す図である。図９には、正規化の結果として、対応するサブ参照領域２２１に対して原点Ｏからの距離が拡大または縮小されたサブ対象領域１２２が示されている。

次に、ステップＳ２０４にて、拡縮算出部１２は、ステップＳ２０３で求めた複数のベクトルを主成分分析して主成分（主成分Ａ）を求める。ここで求まる主成分の固有ベクトルは拡大または縮小の方向を示し、固有値は拡大または縮小の比率を示す。第１主成分の固有値をα´とし、第２主成分の固有値をβ´とする。第１主成分の固有ベクトルをＶα´とし、第２主成分の固有ベクトルをＶβ´とする。図１０は、ステップＳ２０３で求めた複数のベクトルの主成分の固有ベクトルを示す図である。図１０を参照すると、第１主成分の固有ベクトルをＶα´と、第２主成分の固有ベクトルをＶβ´とが示されている。

図３に戻り、更に、ステップＳ１０３にて、拡縮算出部１２は第２の拡縮演算処理を実行する。第２の拡縮演算処理は参照領域から対象領域を見た場合の拡大または縮小に関する演算処理である。

図１１は、第２の拡縮演算処理のフローチャートである。

図１１を参照すると、まず、ステップＳ３０１にて、拡縮算出部１２は、参照領域内に複数のサブ参照領域を作成する。図１２は、参照領域内にサブ参照領域が作成された様子を示す図である。図１２に示すように、拡縮算出部１２は、参照領域２１０の中心を中心とする円周上に等間隔で複数のサブ参照領域（第２サブ参照領域）２２２を作成する。ここでは１から８までの番号が付された８個のサブ参照領域２２２が作成されている。

次に、ステップＳ３０２にて、拡縮算出部１２は、対象領域内で、複数のサブ参照領域２２２に類似する領域（サブ対象領域）を探索する。図１３は、対象領域内でサブ対象領域が決定された様子を示す図である。拡縮算出部１２は、図１２に示したそれぞれのサブ参照領域２２２に類似する領域を対象領域１１０内で探索し、類似度の高い領域を当該サブ参照領域２２２に対応するサブ対象領域（第２サブ対象領域）１２２とする。具体例としては、拡縮算出部１２は、参照領域２１０における当該サブ参照領域２２２を切り出した位置と同じ対象領域１１０内の位置から、対象領域１１０の中心を軸として参照領域２１０と対象領域１１０との相対的な回転角度だけ回転させた位置の近傍に候補の領域をスライドさせながら、その都度、その候補の領域とサブ参照領域２２２との類似度を評価し、評価した中で類似度の最も高い候補の領域をサブ対象領域１２２と定めることにしてもよい。

全てのサブ参照領域２２２に対応するサブ対象領域１２２が決定したら、次に、ステップＳ３０３にて、拡縮算出部１２は、参照領域２１０の中心を原点とし複数のサブ参照領域２２２の位置を示す座標ベクトルの大きさが１となるように正規化した、対象領域１１０の中心を原点とし複数のサブ対象領域１２２の位置を示す座標ベクトルである複数のベクトル（第２ベクトル）を求める。ここで求めたベクトルの集合は、対象領域の参照領域に対する拡大または縮小の比率の方向毎の分布を示す。

次に、ステップＳ３０４にて、拡縮算出部１２は、ステップＳ３０３で求めた複数のベクトルを主成分分析して主成分（主成分Ｂ）を求める。ここで求まる主成分の固有ベクトルは拡大または縮小の方向を示し、固有値は拡大または縮小の比率を示す。第１主成分の固有値をαとし、第２主成分の固有値をβとする。第１主成分の固有ベクトルをＶαとし、第２主成分の固有ベクトルをＶβとする。図１４は、ステップＳ３０３で求めた複数のベクトルの主成分の固有ベクトルを示す図である。図１４を参照すると、第１主成分の固有ベクトルをＶαと、第２主成分の固有ベクトルをＶβとが示されている。

なお、上述した第１の拡縮演算処理と第２の拡縮演算処理を実行する順序は特に限定されない。第２の拡縮演算処理を第１の拡縮演算処理より先に実行してもよい。

図３に戻り、更に、ステップＳ１０４にて、拡縮算出部１２は、拡縮決定処理を実行する。拡縮決定処理は第１の拡縮演算処理の処理結果と第２の拡縮演算処理の処理結果とに基づき、対象領域の参照領域に対する拡大または縮小の方向および比率を決定する処理である。

図１５は、拡縮決定処理のフローチャートである。

図１５を参照すると、拡縮算出部１２は、ステップＳ４０１にて、αα´≦１かつββ´＜１であるか否か判定する。ステップＳ４０１の判定がＹＥＳであれば、拡縮算出部１２は、ステップＳ４０２にて、固有ベクトルＶαが示す方向に固有値αが示す比率で縮小し、固有ベクトルＶβが示す方向に固有値βが示す比率で縮小していると判断する。

ステップＳ４０１の判定がＮＯであれば、拡縮算出部１２は、ステップＳ４０３にて、αα´＞１かつββ´≧１であるか否か判定する。ステップＳ４０３の判定がＹＥＳであれば、拡縮算出部１２は、ステップＳ４０４にて、固有ベクトルＶα´が示す方向に固有値α´が示す比率で拡大し、固有ベクトルＶβ´が示す方向に固有値β´が示す比率で拡大していると判断する。

ステップＳ４０３の判定がＮＯであれば、拡縮算出部１２は、ステップＳ４０５にて、αα´＞１かつββ´＜１かつ固有ベクトルＶαと固有ベクトルＶα´のなす角が所定角度（例えば４５°）より小さいか否か判定する。ステップＳ４０５の判定がＹＥＳであれば、拡縮算出部１２は、ステップＳ４０６にて、拡大あるいは縮小の再計算を行う。再計算では、拡縮算出部１２は、固有ベクトルＶα´付近の第１ベクトルと、固有ベクトルＶβ付近の第２ベクトルとの和集合に対して主成分分析をし、得られた主成分の固有値を拡大または縮小の比率とし、固有ベクトルを拡大または縮小の方向とする。なお、固有ベクトルＶα´付近のベクトルにいうのは、固有ベクトルＶα´に方向が近いベクトルという意味であり、つまり、固有ベクトルＶα´の方向と所定範囲内に方向が向いているベクトルをいう。また、本例において、固有ベクトルＶαと固有ベクトルＶα´のなす角が所定角度（例えば４５°）より小さいことを条件としているのは、固有ベクトルＶαと固有ベクトルＶα´は本来的には近い方向にあるはずなので、これらのなす角度が大きい場合を除外するものである。

ステップＳ４０５の判定がＮＯであれば、拡縮算出部１２は、ステップＳ４０７にて、αα´＝１かつββ´＝１であるか否か判定する。ステップＳ４０７の判定がＹＥＳであれば、拡縮算出部１２は、ステップＳ４０８にて、対象領域は参照領域に対して拡大も縮小もしていないと判断する。ステップＳ４０７の判定がＮＯであれば、拡縮算出部１２は、ステップＳ４０９にて、対象領域は参照領域に対して拡大しているのか縮小しているのか不明であると判断する。

図３に戻り、更に、ステップＳ１０５にて、予測画像生成部１３は、参照画像から対象画像を予測した予測画像を生成する。その際、予測画像生成部１３は、参照領域を拡縮算出部１２により決定された比率で拡大または縮小した画像を予測画像の対象領域１１０に相当する領域に用いる。そのために、予測画像生成部１３は、参照領域から対象領域への移動量を示す動きベクトルと、参照領域の画像から予測した画像と対象領域の画像との差分画像とを生成する。生成されたデータは予測画像のデータに含められる。なお、拡縮算出部１２が拡大しているのか縮小しているのか不明と判断した対象領域に相当する領域には等倍の参照領域の画像を用いてもよい。

続いて、ステップＳ１０６にて、差分符号化部１４は、予測画像生成部１３で生成された予測画像と対象画像との差分画像を用いて対象画像を符号化し、差分を符号化した符号データを記憶部２０に差分符号情報２２として記録する。

以上説明したように、本実施形態の画像処理装置１では、参照領域決定部１１は、対象領域の拡大または縮小の基準となる参照領域を決定する。そして、拡縮算出部１２は、対象領域内の複数のサブ対象領域と、サブ対象領域のそれぞれに対応する参照領域内の複数のサブ参照領域との相対的な位置関係に基づく複数のベクトルを主成分分析することにより得られる主成分の固有値に基づいて拡大または縮小の比率を決定する。このようにすることで、平行移動ベクトルを探索したり画像の勾配強度および勾配方向を用いたヒストグラムを作成したりするような複雑な処理を必要とせず、参照領域に対する対象領域の拡大または縮小の比率を少ない計算量で算出することができる。

また、拡縮算出部１２は、複数のベクトルを主成分分析して主成分の固有値および固有ベクトルを算出し、対象領域が参照領域に対して、固有ベクトルに基づいて定まる方向に、固有値に基づいて定まる比率で拡大または縮小していることを算出する。このようにすることで、拡大または縮小の比率だけでなく拡大または縮小の方向も求まるので、どの方向にどれだけ拡大または縮小しているかを求めることができる。

また、拡縮算出部１２は、第１主成分と第２主成分を算出し、第１主成分の固有ベクトルに基づいて定まる方向に、第１主成分の固有値に基づいて定まる比率で拡大または縮小し、第２主成分の固有ベクトルに基づいて定まる方向に、第２主成分の固有値に基づいて定まる比率で拡大または縮小していることを算出する。このようにすることで、拡大または縮小を画像平面上の直交する２軸のそれぞれ毎に求めることができるので、画像の拡大または縮小を良好に表すことができる。

また、拡縮算出部１２は、対象領域に含まれる所定の円周上に複数の第１サブ対象領域を定める。また、拡縮算出部１２は、複数の第１サブ対象領域のそれぞれとの類似度に基づいて、参照領域に、複数の第１サブ対象領域のそれぞれに対応する複数の第１サブ参照領域を定める。更に、拡縮算出部１２は、参照領域における複数の第１サブ参照領域の位置に基づいて複数の第１ベクトルを定める。そして、拡縮算出部１２は、複数の第１ベクトルを主成分分析して主成分Ａを算出する。

また、拡縮算出部１２は、参照領域に含まれる所定の円周上に複数の第２サブ参照領域を定める。また、拡縮算出部１２は、複数の第２サブ参照領域のそれぞれとの類似度に基づいて、対象領域に、複数の第２サブ参照領域のそれぞれに対応する複数の第２サブ対象領域を定める。更に、拡縮算出部１２は、対象領域における複数の第２サブ対象領域の位置に基づいて複数の第２ベクトルを定める。そして、拡縮算出部１２は、複数の第２ベクトルを主成分分析して主成分Ｂを算出する。

更に、拡縮算出部１２は、主成分Ａと主成分Ｂとに基づいて、拡大または縮小の比率を決定する。このようにすることで、対象領域から参照領域を見た場合と参照領域から対象領域を見た場合の両方の主成分分析から得られる主成分を用いて拡大または縮小の比率を算出するので、画像の拡大または縮小を良好に表すことができる。

また、拡縮算出部１２は、対象領域の中心を原点とし複数の第１サブ対象領域の位置を示す座標ベクトルの大きさが１となるように、参照領域の中心を原点とし複数の第１サブ参照領域の位置を示す座標ベクトルを正規化したベクトルを複数の第１ベクトルと定める。また、拡縮算出部１２は、参照領域の中心を原点とし複数の第２サブ参照領域の位置を示す座標ベクトルの大きさが１となるように正規化した、前記対象領域の中心を原点とし複数の第２サブ対象領域の位置を示す座標ベクトルを複数の第２ベクトルと定める。

また、拡縮算出部１２は、主成分Ａの第１主成分の固有値α´および固有ベクトルＶα´と、主成分Ａの第２主成分の固有値β´および固有ベクトルＶβ´と、主成分Ｂの第１主成分の固有値αおよび固有ベクトルＶαと、主成分Ｂの第２主成分の固有値βおよび固有ベクトルＶβとを算出する。

そして、拡縮算出部１２は、αα´≦１，ββ´＜１であれば、前記固有ベクトルＶαが示す方向に前記固有値αに基づく比率で縮小し、前記固有ベクトルＶβが示す方向に前記固有値βに基づく比率で縮小しているとする。また、拡縮算出部１２は、αα´＞１，ββ´≧１であれば、前記固有ベクトルＶα´が示す方向に前記固有値α´に基づく比率で拡大し、前記固有ベクトルＶβ´が示す方向に前記固有値β´に基づく比率で拡大しているとする。また、拡縮算出部１２は、αα´＞１，ββ´＜１，固有ベクトルＶαと固有ベクトルＶα´のなす角が所定角度より小さければ、固有ベクトルＶα´の方向と所定範囲内に方向が向いている第１ベクトルと、固有ベクトルＶβの方向と所定範囲内に方向が向いている第２ベクトルとの和集合に対して主成分分析をし、得られた主成分の固有値を拡縮率とし、固有ベクトルを拡縮方向とする。また、拡縮算出部１２は、αα´＝１，ββ´＝１であれば、前記対象領域と前記参照領域は等倍であるとする。

また、本実施形態では、対象領域は符号化の対象となる対象画像に含まれる領域であり、参照領域は対象画像の符号化に用いる参照画像に含まれる領域である。そして、画像処理装置１では、予測画像生成部１３は、参照領域を上記比率で拡大または縮小した画像を用いて、対象画像を予測した予測画像を生成する。差分符号化部１４は、予測画像と対象画像との差分を符号化する。参照領域決定部１１は、参照画像内の互いに重複可能な複数の領域を候補領域とし、候補領域を所定の回転角度だけ回転させた回転候補領域と、対象領域との類似度を算出し、その類似度に基づいて候補領域の中から参照領域を決定する。このようにすることで、少ない計算量で比率を計算し、その比率で参照領域を拡大または縮小した画像を用いて対象領域の予測画像を生成するので、少ない計算量で良好な差分符号化をすることができる。また、参照画像内の領域を回転させた領域と対象領域との類似度を用いて参照領域を探索するので、良好な参照領域を決定することができ、その結果、良好な差分符号化をすることができる。

上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。上記各実施例の装置は、ソフトウェアプログラムをプロセッサで実行することにより実現されるものとして例示したが、これに限定されることはない。制御部１０の一部または全部の機能をハードウェアで実現するものであってもよい。また、制御部１０の一部または全部の機能を専用プロセッサで実現するものであってもよい。

１…画像処理装置、１０…制御部、１１…参照領域決定部、１２…拡縮算出部、１３…予測画像生成部、１４…差分符号化部、２０…記憶部、２１…フレーム情報、２２…差分符号情報、１００…対象画像、１１０…対象領域、１２１…サブ対象領域、１２２…サブ対象領域、２００…参照画像、２１０…参照領域、２１１…候補領域、２２１…サブ参照領域、２２２…サブ参照領域、４００…コンピュータ装置、４０１…制御回路、４０２…記憶装置、４０３…読書装置、４０４…記録媒体、４０５…通信インターフェイス、４０６…入出力インターフェイス、４０７…入力装置、４０８…表示装置、４０９…ネットワーク、４１０…バス

Claims (9)

1. 対象領域の拡大または縮小の基準となる参照領域を決定する参照領域決定部と、
   前記対象領域内の複数のサブ対象領域と、前記サブ対象領域のそれぞれに対応する前記参照領域内の複数のサブ参照領域との相対的な位置関係に基づく複数のベクトルを主成分分析することにより得られる主成分の固有値に基づいて前記拡大または縮小の比率を決定する拡縮算出部と、
   を有する画像処理装置。
2. 前記拡縮算出部は、前記複数のベクトルを主成分分析して前記主成分の前記固有値および固有ベクトルを算出し、前記対象領域が前記参照領域に対して、前記固有ベクトルに基づいて定まる方向に、前記固有値に基づいて定まる比率で拡大または縮小していることを算出する、
   請求項１に記載の画像処理装置。
3. 前記拡縮算出部は、第１主成分と第２主成分を算出し、前記第１主成分の固有ベクトルに基づいて定まる方向に、前記第１主成分の固有値に基づいて定まる比率で拡大または縮小し、前記第２主成分の固有ベクトルに基づいて定まる方向に、前記第２主成分の固有値に基づいて定まる比率で拡大または縮小していることを算出する、
   請求項２に記載の画像処理装置。
4. 前記拡縮算出部は、
   前記対象領域に所定の円周上に複数の第１サブ対象領域を定め、前記複数の第１サブ対象領域のそれぞれとの類似度に基づいて、前記参照領域に、前記複数の第１サブ対象領域のそれぞれに対応する複数の第１サブ参照領域を定め、前記参照領域における前記複数の第１サブ参照領域の位置に基づいて複数の第１ベクトルを定め、前記複数の第１ベクトルを主成分分析して主成分Ａを算出し、
   前記参照領域に所定の円周上に複数の第２サブ参照領域を定め、前記複数の第２サブ参照領域のそれぞれとの類似度に基づいて、前記対象領域に、前記複数の第２サブ参照領域のそれぞれに対応する複数の第２サブ対象領域を定め、前記対象領域における前記複数の第２サブ対象領域の位置に基づいて複数の第２ベクトルを定め、前記複数の第２ベクトルを主成分分析して主成分Ｂを算出し、
   前記主成分Ａと前記主成分Ｂとに基づいて、前記拡大または縮小の比率を決定する、
   請求項１に記載の画像処理装置。
5. 前記拡縮算出部は、
   前記対象領域の中心を原点とし前記複数の第１サブ対象領域の位置を示す座標ベクトルの大きさが１となるように、前記参照領域の中心を原点とし前記複数の第１サブ参照領域の位置を示す座標ベクトルを正規化したベクトルを前記複数の第１ベクトルと定め、
   前記参照領域の中心を原点とし前記複数の第２サブ参照領域の位置を示す座標ベクトルの大きさが１となるように正規化した、前記対象領域の中心を原点とし前記複数の第２サブ対象領域の位置を示す座標ベクトルを前記複数の第２ベクトルと定め、
   請求項４に記載の画像処理装置。
6. 前記拡縮算出部は、
   前記主成分Ａの第１主成分の固有値α´および固有ベクトルＶα´と、前記主成分Ａの第２主成分の固有値β´および固有ベクトルＶβ´と、前記主成分Ｂの第１主成分の固有値αおよび固有ベクトルＶαと、前記主成分Ｂの第２主成分の固有値βおよび固有ベクトルＶβとを算出し、
   αα´≦１，ββ´＜１であれば、前記固有ベクトルＶαが示す方向に前記固有値αに基づく比率で縮小し、前記固有ベクトルＶβが示す方向に前記固有値βに基づく比率で縮小しているとし、
   αα´＞１，ββ´≧１であれば、前記固有ベクトルＶα´が示す方向に前記固有値α´に基づく比率で拡大し、前記固有ベクトルＶβ´が示す方向に前記固有値β´に基づく比率で拡大しているとし、
   αα´＞１，ββ´＜１，前記固有ベクトルＶαと前記固有ベクトルＶα´のなす角が所定角度より小さければ、固有ベクトルＶα´の方向と所定範囲内に方向が向いている第１ベクトルと、固有ベクトルＶβの方向と所定範囲内に方向が向いている第２ベクトルとの和集合に対して主成分分析をし、得られた主成分の固有値を拡縮率とし、固有ベクトルを拡縮方向とし、
   αα´＝１，ββ´＝１であれば、前記対象領域と前記参照領域は等倍であるとする、
   請求項４に記載の画像処理装置。
7. 前記対象領域は符号化の対象となる対象画像に含まれる領域であり、前記参照領域は前記対象画像の符号化に用いる参照画像に含まれる領域であり、
   前記画像処理装置は、
   前記参照領域を前記比率で拡大または縮小した画像を用いて、前記対象画像を予測した予測画像を生成する予測画像生成部と、
   前記予測画像と前記対象画像との差分を符号化する差分符号化部と、を更に有し、
   前記参照領域決定部は、前記参照画像内の互いに重複可能な複数の領域を候補領域とし、前記候補領域を所定の回転角度だけ回転させた回転候補領域と、前記対象領域との類似度を算出し、前記類似度に基づいて前記候補領域の中から前記参照領域を決定する、
   請求項１に記載の画像処理装置。
8. 参照領域決定部が、対象領域の拡大または縮小の基準となる参照領域を決定し、
   拡縮算出部が、互いに対応する前記対象領域内の複数のサブ対象領域と前記参照領域内の複数のサブ参照領域との相対的な位置関係に基づく複数のベクトルを主成分分析することにより得られる主成分の固有値に基づいて前記拡大または縮小の比率を決定する、
   画像処理方法。
9. 参照領域決定部が、対象領域の拡大または縮小の基準となる参照領域を決定し、
   拡縮算出部が、互いに対応する前記対象領域内の複数のサブ対象領域と前記参照領域内の複数のサブ参照領域との相対的な位置関係に基づく複数のベクトルを主成分分析することにより得られる主成分の固有値に基づいて前記拡大または縮小の比率を決定する、
   処理をコンピュータに実行させることを特徴とする画像処理プログラム。
   

Images