JP4760468B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像を符号化する画像符号化処理を行う画像処理装置及び画像処理方法に関する。

従来より、動画像を圧縮符号化する方法として動き補償予測を用いた方法が知られており、この動き補償予測にあっては、画像内の一部の画像領域と相似する画像領域を参照画像内で検出する画像ブロックマッチング方法により動画像の動きベクトルの検出をするようになっている。

また、静止画像を高解像度、且つ、高い圧縮率で符号化する技術として、画像の構造的特徴である自己相似性を利用して圧縮するフラクタル画像符号化が知られている。
このフラクタル画像符号化にあっては、画像を構成する一部のレンジブロックを回転等して当該レンジブロックと相似するドメインブロックを特定の範囲内で探索するようになっており、この処理においても画像ブロックマッチング方法が用いられている。具体的には、先ず、画像を重複しないレンジブロック（Ｒ×Ｒ画素の単位ブロック）に分割し、そのレンジブロックよりも大きなドメインブロック（Ｄ×Ｄ画素のブロック；Ｄ＞Ｒ）を抜き出して、レンジブロックに対してアフィン変換（縮小・拡大、回転、左右反転等）を行って当該レンジブロックに最も相似したパターンを持つドメインブロックを探索する。そして、これらのブロック間の関係情報を符号として記憶するものである。

ところで、レンジブロックに相似するドメインブロックの探索処理は時間がかかるため、予めレンジブロックとドメインブロックをパラメータ化して、一のレンジブロックと同一のパラメータを有するドメインブロックを符号化対象候補とする画像符号化方法が開発されている（例えば、特許文献１参照）。
特開平９−２７５５６５号公報

しかしながら、上記特許文献１等の場合、絞り込みのためのパラメータはアフィン変換に対して不変ではないため、アフィン変換を用いた場合には処理向上策としては十分機能しないといった問題がある。

そこで、本発明の課題は、第一の画像領域と相似する相似画像領域の探索に係る時間を短くすることができ、画像符号化処理の高速化を図ることができる画像処理装置及び画像処理方法を提供することである。

請求項１に記載の発明は、
画像からフラクタル符号化におけるレンジブロックである第一の画像領域を取得する第一の画像領域取得手段と、
前記画像からフラクタル符号化におけるドメインブロックである第二の画像領域を取得する第二の画像領域取得手段と、
前記第一の画像領域取得手段により取得された前記第一の画像領域のコントラスト値を算出する第一のコントラスト値算出手段と、
前記第二の画像領域取得手段により取得された前記第二の画像領域のコントラスト値を算出する第二のコントラスト値算出手段と、
前記第一の画像領域のコントラスト値と前記第二の画像領域のコントラスト値の差分を算出する差分算出手段と、
前記コントラスト値の差分が指定差分値以下であった場合に前記第一の画像領域と前記第二の画像領域との誤差を算出する誤差算出手段と、
前記誤差算出が所定回数実行されたか否かを判断する判断手段と、
前記判断手段による判断が否であった場合に前記指定差分値を増加させる増加手段と、
前記判断手段により前記誤差算出が所定回数実行されたと判断された場合に、最も小さい前記誤差を有する前記前記第二の画像領域の前記第一の画像領域との関係情報を符号化する画像符号化処理を行う画像符号化手段と、
を備えることを特徴としている。

請求項２に記載の発明の画像処理方法は、
画像からフラクタル符号化におけるレンジブロックである第一の画像領域を取得する処理と、
前記第一の画像領域のコントラスト値を算出する処理と、
前記画像からフラクタル符号化におけるドメインブロックである第二の画像領域を取得する処理と、
前記第二の画像領域のコントラスト値を算出する処理と、
前記第一の画像領域のコントラスト値と前記第二の画像領域のコントラスト値の差分を算出する処理と、
前記コントラスト値の差分が指定差分値以下であった場合に前記第一の画像領域と前記第二の画像領域との誤差を算出する処理と、
前記誤差算出が所定回数実行されたか否かを判断する処理と、
前記判断が否であった場合に前記指定差分値を増加させる処理と、
前記誤差算出が所定回数実行されたと判断された場合に、最も小さい前記誤差を有する前記前記第二の画像領域の前記第一の画像領域との関係情報を符号化する処理と、
を行うことを特徴としている。

本発明によれば、第一の画像領域及び第二の画像領域の回転不変な量であるコントラスト値を考慮して、複数の第二の画像領域の中で第一の画像領域と相似する第二の画像領域の見当を付けることができ、第一の画像領域と相似する相似画像領域の探索に係る時間を短くすることができることとなって、画像符号化処理の高速化を図ることができる。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した好適な一実施形態として例示する画像処理装置１００の機能構成を示すブロック図である。

本実施形態の画像処理装置１００は、例えば、パーソナルコンピュータやワークステーション等から構成され、画像の構造的特徴である自己相似性を利用して圧縮するフラクタル画像符号化処理を行うものである。具体的には、画像処理装置１００は、例えば、図１に示すように、符号化処理の対象となる画像データが入力される画像入力部１と、入力された画像データを記憶する画像メモリ２と、画像等を表示する表示部３と、画像データの選択や各種処理の実行指示を入力する操作入力部４と、画像データに対して符号化処理等の所定の画像処理を施す画像処理部５と、各部を制御する制御部６等を備えている。

画像入力部１は、例えば、画像データが記憶されている外部機器２００とＵＳＢケーブル（図示略）を介して接続されるＵＳＢ端子等の外部入力端子（図示略）等を備え、外部機器２００から送信される画像データを受信するものである。
なお、画像入力部１は、例えば、図示は省略するが、所定のメモリカード等が接続されるＰＣカードリーダ等から構成して、メモリカードに記憶されている画像データを読み取るように構成されたものであっても良い。

画像メモリ２は、例えば、フラッシュメモリ等の不揮発性の内蔵メモリ等から構成され、画像入力部１を介して入力された符号化処理の対象となる画像データを記憶するものである。

表示部３は、例えば、液晶ディスプレイ（ＬＣＤ）やＣＲＴ等から構成され、制御部６から出力されて入力される表示制御信号に基づいて、所定の画像データ、並びに各種情報の入力用の入力画面等を表示するようになっている。

操作入力部４は、例えば、数値、文字等を入力するためのデータ入力キーや、画像データ等の選択、送り操作等を行うための上下左右移動キーや、各種機能キー等によって構成されるキーボードやマウス等を備え、ユーザにより操作されたキーの操作信号を制御部６に出力するようになっている。

制御部６は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等（何れも図示略）を備えている。そして、ＣＰＵは、例えば、所定のタイミングか、或いは操作入力部４から出力され入力された操作信号等に基づいて、ＲＯＭに格納されている各種プログラムを読み出してＲＡＭの作業領域に展開し、当該プログラムに従って各種処理の実行を制御するようになっている。

画像処理部５は、例えば、画像を構成するレンジブロックを処理するレンジブロック処理部５１と、画像を構成するドメインブロックを処理するドメインブロック処理部５２と、レンジブロックとドメインブロックのコントラスト値を比較判定するコントラスト値判定部５３と、レンジブロックに相似するドメインブロックを探索して、画像の符号化処理を行う符号化処理部５４等を備えている。

レンジブロック処理部５１は、第一の画像領域取得手段として、画像入力部１を介して入力された画像データに係る画像を重複しない例えば８×８画素（所定形状）の複数のレンジブロック（第一の画像領域）に分割して取得するようになっている。

また、レンジブロック処理部５１は、第一のコントラスト値算出手段として、複数のレンジブロックのうち、何れか一のレンジブロックのコントラスト値を算出するようになっている。具体的には、レンジブロック処理部５１は、例えば、一のレンジブロックの画像データに基づいて、当該レンジブロックを構成する複数の画素における輝度の最大値及び最小値を特定して、その差を当該レンジブロックのコントラスト値として取得するようになっている。
なお、取得された複数のレンジブロックのコントラスト値は、例えば、ＲＡＭ内などにコントラストデータベースとして記憶されるようになっている。

ドメインブロック処理部５２は、第二の画像領域取得手段として、画像入力部１を介して入力された画像データを縮小したドメイン画像を作成し、このドメイン画像から各辺の寸法がレンジブロックと同じドメインブロック（第二の画像領域）を複数作成して取得するようになっている。

また、ドメインブロック処理部５２は、第二のコントラスト値算出手段として、複数のドメインブロックのコントラスト値を算出するようになっている。具体的には、ドメインブロック処理部５２は、例えば、各ドメインブロックの画像データに基づいて、当該ドメインブロックを構成する複数の画素における輝度の最大値及び最小値を特定して、その差を当該ドメインブロックのコントラスト値として取得するようになっている。
なお、取得された複数のドメインブロックのコントラスト値は、例えば、ＲＡＭ内などにコントラストデータベースとして記憶されるようになっている。

コントラスト値判定部５３は、ドメインブロック処理部５２により作成された複数のドメインブロックのうちの一のドメインブロックのコントラスト値と、レンジブロック処理部５１により作成されたレンジブロックの内の一のレンジブロックのコントラスト値とを比較判定して、当該ドメインブロックがレンジブロックに対する相似ドメインブロック候補であると特定するものである。

符号化処理部５４は、画像符号化手段として、コントラスト値判定部５３により特定された、相似ドメインブロック候補のレンジブロックに対する関係情報を符号化するフラクタル画像符号化処理を行うものである。
即ち、符号化処理部５４は、コントラスト値判定部５３により特定された相似ドメインブロック候補にアフィン変換を施して、レンジブロックに対する最小二乗誤差を算出するようになっている。
さらに、符号化処理部５４は、相似画像領域特定手段として、算出された複数のドメインブロックに係る最小二乗誤差の中で、最も小さい値を有するドメインブロックを相似ドメインブロックとして特定するようになっている。

なお、関係情報としては、例えば、相似ドメインブロックの位置情報や、アフィン変換係数等が挙げられる。

次に、フラクタル画像符号化処理について、図２を参照して説明する。
図２は、フラクタル画像符号化処理に係る動作の一例を示すフローチャートである。

フラクタル画像符号化処理は、制御部６の制御下にて、画像処理部５により実行される処理である。
具体的には、図２に示すように、先ず、画像処理部５のドメインブロック処理部５２は、画像入力部１を介して入力された所定の画像データを縮小してドメイン画像を作成（取得）する（ステップＳ１）。

画像処理部５のレンジブロック処理部５１は、元画像を複数のブロックに分割してレンジブロックを作成した後（ステップＳ２）、各レンジブロックのコントラスト値を算出して、これをコントラストデータベースとしてＲＡＭに記憶する（ステップＳ３）。

次に、作成されたドメイン画像の左上をドメインブロックの抽出位置とする。
ドメインブロック処理部５２は、指定された抽出位置においてドメイン画像からレンジブロックと同じ寸法のドメインブロックを抽出して（ステップＳ４）、ドメインブロックのコントラスト値を算出する（ステップＳ５）。
ここで、ドメイン画像の全領域からドメインブロックが抽出されたかどうかを調べる。ドメイン画像の全領域からドメインブロックが抽出されていなければ（ステップＳ６；ＮＯ）、ドメインブロックの抽出位置を１ピクセルずらして、ステップＳ４及びＳ５を行う。これをドメイン画像の右下に達するまで繰り返す。
そして、ドメイン画像の全領域からドメインブロックが抽出されると（ステップＳ６；ＹＥＳ）、制御部６は、抽出された全ドメインブロックのコントラスト値をコントラストデータベースとしてＲＡＭに記憶する。

次に、指定差分値を０とした後、画像処理部５のコントラスト値判定部５３は、ＲＡＭのコントラストデータベースを参照して、最初のレンジブロックのコントラスト値を読み出す（ステップＳ７）。続けて、複数のドメインブロックのコントラスト値の中から何れか一のコントラスト値を読み出して（ステップＳ８）、当該コントラスト値と前記のレンジブロックのコントラスト値との差の絶対値が指定差分値と同一であるか否か判定する（ステップＳ９）。
ここで、コントラスト値が同一ではないと判定されると（ステップＳ９；ＮＯ）、画像処理部５は、ステップＳ８に移行して、新たなドメインブロックのコントラスト値を読み出して、同一であるか否か判定する。

一方、ステップＳ９にて、コントラスト値が同一であると判定されると（ステップＳ９；ＹＥＳ）、画像処理部５の符号化処理部５４は、当該コントラスト値を有する相似ドメインブロック候補にアフィン変換を施して（ステップＳ１０）、レンジブロックに対する最小二乗誤差を算出する（ステップＳ１１）。

次に、画像処理部５は、コントラストデータベースに読み出していないドメインブロックのコントラスト値が残っているか否か判定する（ステップＳ１２）。
ここで、コントラスト値が残っていると判定されると（ステップＳ１２；ＹＥＳ）、画像処理部５は、ステップＳ８に移行して、新たなドメインブロックのコントラスト値を読み出して、同一であるか否か判定する。

一方、ステップＳ１２にて、コントラスト値が残っていないと判定されると（ステップＳ１２；ＮＯ）、画像処理部５は、ドメインブロックのアフィン変換及び最小二乗誤差の算出が所定回数以上行われたか否かを判定する（ステップＳ１３）。
ここで、所定回数以上行われていないと判定されると（ステップＳ１３；ＮＯ）、画像処理部５は、指定差分値を１増加させて、ステップＳ８に移行して、それ以降の処理を実行制御する。
なお、その後のステップＳ１３の判定にて、所定回数以上行われていないと判定される毎に（ステップＳ１３；ＮＯ）、画像処理部５は、指定差分値を順次１ずつ増加させる。このように指定差分値に幅を持たせての差分同一判定は近似判定といえる。

一方、ステップＳ１３にて、所定回数以上行われていると判定されると（ステップＳ１３；ＹＥＳ）、画像処理部５の符号化処理部５４は、複数の相似ドメインブロック候補に係る最小二乗誤差の中で、最も小さい値のものを特定して、当該最も小さい最小二乗誤差を有するドメインブロック（相似ドメインブロック）とレンジブロックとの関係情報を符号化する（ステップＳ１５）。
続けて、画像処理部５は、分割された複数のレンジブロック全てに対して相似するドメインブロックの探索及び符号化（ステップＳ７〜ステップＳ１５）を行ったか否かを判定する（ステップＳ１６）。ここで、未だ全てのレンジブロックに対して行っていない場合には（ステップＳ１６；ＮＯ）、画像処理部５は、ステップＳ７に移行して、それ以降の処理を実行制御する。

以上のように、本実施形態の画像処理装置１００によれば、レンジブロック及びドメインブロックの回転不変な量であるコントラスト値を考慮して、複数のドメインブロックの中で一のレンジブロックと相似するドメインブロックの見当を付けることができる。そして、見当が付けられた複数の相似ドメインブロック候補にアフィン変換を施して、レンジブロックに対する最小二乗誤差を算出していき、最も小さい値を有するドメインブロックを相似ドメインブロックとして特定することができる。
従って、相似ドメインブロックの探索範囲をドメイン画像の全領域としながらも、演算処理に時間のかかるアフィン変換や最小二乗誤差算出の回数を従来に比べて減少させることができることとなり、レンジブロックと相似する相似ドメインブロックの探索に係る時間を短くすることができ、フラクタル画像符号化処理の高速化を図ることができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態では、画像符号化処理として、所定のドメインブロックのレンジブロックに対する関係情報を符号化するフラクタル画像符号化処理を例示して説明したが、これに限られるものではない。即ち、画像の回転不変な量であるコントラスト値を考慮して、所定のコントラスト値を有する第二の画像領域を特定して、当該第二の画像領域の第一の画像領域に対する関係情報を符号化する画像符号化処理であれば如何なるものであっても良い。

また、上記実施形態では、ドメインブロックを取得する際に、入力された画像データを縮小した画像を作成し、当該縮小画像から、各辺の寸法がレンジブロックと同じドメインブロックを複数作成して取得するようにしたが、これに限られるものではなく、例えば、入力された画像データから各辺の寸法がレンジブロックよりも大きいドメインブロックを複数作成して取得し、コントラスト値による探索を行った後に縮小するようにしても良い。

加えて、上記実施形態では、コントラストデータベースに記憶されている全てのコントラスト値に対して、所定のレンジブロックのコントラスト値との近似判定を行った後、アフィン変換等が所定回数実行されたか否かを判定するようにしたが、これに限られるものではなく、例えば、所定回数のアフィン変換等が実行されたら、直ちにドメインブロックとレンジブロックとのコントラスト値との近似判定を終了して、次の処理に移行するようにしても良い。

さらに、上記実施形態にあっては、第一の画像領域取得手段、第一のコントラスト値算出手段、第二の画像領域取得手段、第二のコントラスト値算出手段、画像符号化手段としての機能を、例えば、制御部６のＣＰＵによる所定のプログラムの実行に基づいて実現される構成としても良い。

本発明を適用した好適な一実施形態として例示する画像処理装置の機能構成を示すブロック図である。 図１の画像処理装置によるフラクタル画像符号化処理に係る動作の一例を示すフローチャートである。

符号の説明

１００ 画像処理装置
１ 画像入力部
２ 画像メモリ
５１ レンジブロック処理部（第一の画像領域取得手段、第一のコントラスト値算出手段）
５２ ドメインブロック処理部（第二の画像領域取得手段、第二のコントラスト値算出手段）
５４ 符号化処理部（画像符号化手段）
６ 制御部

Claims (2)

1. 画像からフラクタル符号化におけるレンジブロックである第一の画像領域を取得する第一の画像領域取得手段と、
   前記画像からフラクタル符号化におけるドメインブロックである第二の画像領域を取得する第二の画像領域取得手段と、
   前記第一の画像領域取得手段により取得された前記第一の画像領域のコントラスト値を算出する第一のコントラスト値算出手段と、
   前記第二の画像領域取得手段により取得された前記第二の画像領域のコントラスト値を算出する第二のコントラスト値算出手段と、
   前記第一の画像領域のコントラスト値と前記第二の画像領域のコントラスト値の差分を算出する差分算出手段と、
   前記コントラスト値の差分が指定差分値以下であった場合に前記第一の画像領域と前記第二の画像領域との誤差を算出する誤差算出手段と、
   前記誤差算出が所定回数実行されたか否かを判断する判断手段と、
   前記判断手段による判断が否であった場合に前記指定差分値を増加させる増加手段と、
   前記判断手段により前記誤差算出が所定回数実行されたと判断された場合に、最も小さい前記誤差を有する前記前記第二の画像領域の前記第一の画像領域との関係情報を符号化する画像符号化処理を行う画像符号化手段と、
   を備えることを特徴とする画像処理装置。
2. 画像からフラクタル符号化におけるレンジブロックである第一の画像領域を取得する処理と、
   前記第一の画像領域のコントラスト値を算出する処理と、
   前記画像からフラクタル符号化におけるドメインブロックである第二の画像領域を取得する処理と、
   前記第二の画像領域のコントラスト値を算出する処理と、
   前記第一の画像領域のコントラスト値と前記第二の画像領域のコントラスト値の差分を算出する処理と、
   前記コントラスト値の差分が指定差分値以下であった場合に前記第一の画像領域と前記第二の画像領域との誤差を算出する処理と、
   前記誤差算出が所定回数実行されたか否かを判断する処理と、
   前記判断が否であった場合に前記指定差分値を増加させる処理と、
   前記誤差算出が所定回数実行されたと判断された場合に、最も小さい前記誤差を有する前記前記第二の画像領域の前記第一の画像領域との関係情報を符号化する処理と、
   を行うことを特徴とする画像処理方法。

Images