JP2006042117A - 画像処理装置、画像処理方法、画像検索システム及びプログラム - Google Patents

Abstract

【課題】ＪＰＥＧ２０００の符号データなどの、符号がパケット化された符号データを用いて、画像の類似・非類似判定を効率的に行う。
【解決手段】２つの画像の符号データが符号データ入力部１００により類似・非類似判定部１０１に入力される。類似・非類似判定部１０１において、符号データの構造を符号構造解析部１０４で解析し、この解析結果に基づき、パケット比較部１０５にて、２つの符号データの対応したパケットの間で符号量やパケットヘッダの内容を比較する。判定制御部１０５は、パケット比較部１０５によるパケット比較の結果を評価することにより、画像の類似・非類似を判定する。パケット比較は、条件設定部１０３で設定された画像領域又は色成分のパケットを対象として行われる。
【選択図】図１

Description

本発明は、画像の類似・非類似を判定する画像処理装置及び方法に係り、特に、ＪＰＥＧ２０００の符号データのような、符号がパケット化された画像の符号データを用いて、画像の類似・非類似を判定する画像処理装置及び方法に関する。

画像の類似・非類似判定は、画像空間でのマッチング処理や画像特徴量空間でのマッチング処理によって行われることが多い。それに関連した公知文献は極めて多いが、例を挙げるならば、特許文献１に、画像データにガボールフィルタを適用することによりエッジ成分の角度情報を抽出し、これを特徴量として用いて画像の類似・非類似を判定する方法が記載されている。

本発明においては、符号がパケット化された画像の符号データを扱う。このような符号データの例としてＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）の符号データがあり、パケット単位で多様な符号操作が可能である（例えば特許文献２参照）。

特開平１１−１１０５５６号公報 特開２００３−２３６３０号公報

画像データはデータ量が膨大であるため、圧縮符号化した符号化データの形で保存され又は転送されることが圧倒的に多い。したがって、画像の類似・非類似の判定を、符号データを用いて行うことができると好都合である。

よって、本発明の目的は、画像を圧縮符号化した符号データ、特に、ＪＰＥＧ２０００フォーマットの符号データのような符号がパケット化された符号データを用いて、画像の類似・非類似の判定を効率的に行う新規な画像処理装置及びその方法、ならびに当該画像処理装置を利用する画像検索システムを提供することにある。

請求項１記載の発明は、２つの画像の符号データの対応したパケットの比較を行うパケット比較手段と、２つの画像の符号データに対する前記パケット比較手段によるパケット比較の結果に基づいて当該２つの画像の類似・非類似を判定する判定手段とを有することを特徴とする画像処理装置である。

請求項２記載の発明は、請求項１記載の発明による画像処理装置であって、特定の画像領域を設定する手段を有し、この手段により設定された画像領域に関するパケットのみを対象として前記パケット比較手段によりパケットの比較を行うことを特徴とする画像処理装置である。

請求項３記載の発明は、請求項１記載の発明による画像処理装置であって、特定の色成分を設定する手段を有し、この手段により設定された色成分に関するパケットのみを対象として前記パケット比較手段によりパケットの比較を行うことを特徴とする画像処理装置である。

請求項４記載の発明は、請求項１，２又は３記載の発明による画像処理装置であって、前記パケット比較手段はパケットの符号量について比較することを特徴とする画像処理装置である。

請求項５記載の発明は、請求項１，２又は３記載の画像処理装置であって、前記パケット比較手段によりパケットのパケットヘッダの内容について比較することを特徴とする画像処理装置である。

請求項６記載の発明は、請求項１，２，３，４又は５記載の発明による画像処理装置であって、前記判定手段は、前記パケット比較手段によるパケット比較の結果をパケット単位で評価することにより類似・非類似の判定を行うことを特徴とする画像処理装置である。

請求項７記載の発明は、請求項１，２，３，４又は５記載の発明による画像処理装置であって、前記判定手段は、前記パケット比較手段によるパケット比較の結果を画像の部分領域単位で評価することにより類似・非類似の判定を行うことを特徴とする画像処理装置である。

請求項８記載の発明は、請求項１，２，３，４又は５記載の発明による画像処理装置であって、前記判定手段は、前記パケット比較手段によるパケット比較の結果を解像度レベル単位で評価することにより類似・非類似の判定を行うことを特徴とする記載の画像処理装置である。

請求項９記載の発明は、請求項１乃至８のいずれか１項記載の発明による画像処理装置であって、前記パケット比較手段により、最低解像度レベルの符号からなるパケットのみを対象としてパケットの比較を行うことを特徴とする画像処理装置である。

請求項１０記載の発明は、請求項１乃至８のいずれか１項記載の発明による画像処理装置であって、前記パケット比較手段により、低い解像度レベルの符号からなるパケットより高い解像度レベルの符号からなるパケットへと順にパケットの比較を行うことを特徴とする画像処理装置である。

請求項１１記載の発明は、請求項１０記載の発明による画像処理装置であって、特定の解像度レベルを設定する手段を有し、この手段により設定された解像度レベル以下の解像度レベルの符号からなるパケットのみを対象として前記パケット比較手段によりパケットの比較を行うことを特徴とする画像処理装置である。

請求項１２記載の発明は、請求項１乃至８のいずれか１項記載の発明による画像処理装置であって、前記パケット比較手段により、上位のレイヤの符号からなるパケットより下位のレイヤの符号からなるパケットへと順にパケットの比較を行うことを特徴とする画像処理装置である。

請求項１３記載の発明は、請求項１２記載の発明による画像処理装置であって、特定のレイヤを設定する手段を有し、この手段により設定されたレイヤと同位以上のレイヤの符号からなるパケットのみを対象として前記パケット比較手段によりパケットの比較を行うことを特徴とする画像処理装置である。

請求項１４記載の発明は、請求項１乃至１３のいずれか１項記載の発明による画像処理装置であって、符号データの構造を解析する符号構造解析手段と、この構造解析手段による解析結果に基づき２つの画像の符号データの構造が一致するか判定する構造比較手段を有し、前記判定手段は、前記構造比較手段により２つの画像の符号データの構造が一致しないと判定された場合にその２つの画像を非類似と判定し、前記構造比較手段により２つの画像の符号データの構造が一致すると判定された場合に前記パケット比較手段によるパケット比較の結果に基づいてその２つの画像の類似・非類似を判定することを特徴する画像処理装置である。

請求項１５記載の発明は、請求項１乃至１３のいずれか１項記載の発明による画像処理装置であって、符号データの構造を解析する符号構造解析手段と、この構造解析手段による解析結果に基づいて２つの画像の符号データの構造が一致するか判定する構造比較手段と、この構造比較手段により２つの画像の符号データの構造が一致しないと判定された場合に、その２つの画像の符号データの構造を一致させるため、その２つの画像の符号データの一方又は両方を再構成する符号データ再構成手段とを有し、前記構造比較手段により２つの画像の符号データの構造が一致しないと判定された場合に、前記符号データ再構成手段により再構成後の符号データについて前記パケット比較手段によりパケット比較を行うことを特徴とする画像処理装置である。

請求項１６記載の発明は、請求項１乃至１５のいずれか１項記載の発明による画像処理装置であって、画像の符号データを復号する復号手段と、この復号手段により２つの画像の符号データを復号することにより生成される２つの画像データを比較する画像比較手段とを有し、前記判定手段は、前記パケット比較手段によるパケット比較の結果に基づいて２つの画像が類似すると判定した場合に、その２つの画像の類似・非類似を前記画像比較手段による比較結果に基づいて最終的に判定することを特徴とする画像処理装置である。

請求項１７記載の発明は、２つの画像の符号データの対応したパケットの比較を行うパケット比較工程と、２つの画像の符号データに対する前記パケット比較工程によるパケット比較の結果に基づいて、その２つの画像の類似・非類似を判定する判定工程とを有することを特徴とする画像処理方法である。

請求項１８記載の発明は、請求項１７記載の発明による画像処理方法であって、符号データの構造を解析する符号構造解析工程と、この構造解析工程による解析結果に基づいて２つの画像の符号データの構造が一致するか判定する構造比較工程と、この構造比較工程により２つの画像の符号データの構造が不一致と判定された場合に、その２つの画像の符号データの構造を一致させるため、その２つの画像の符号データの一方又は両方を再構成する符号データ再構成工程とを有し、前記構造比較工程により２つの画像の符号データの構造が不一致と判定された場合には、前記符号データ再構成工程により再構成後の符号データについて前記パケット比較工程によりパケット比較を行うことを特徴とする画像処理方法である。

請求項１９記載の発明は、画像の符号データを蓄積している符号データ蓄積装置と、請求項１乃至１６のいずれか１項記載の発明による画像処理装置とを有し、参照画像の符号データ及び前記符号データ蓄積装置に蓄積されている画像の符号データについて前記画像処理装置により画像の類似・非類似の判定を行うことにより、前記符号データ蓄積手段に蓄積されている画像の符号データの中から、参照画像に類似した画像の符号データを検索することを特徴とする画像検索システムである。

請求項２０記載の発明は、請求項１乃至１６のいずれか１項記載の発明による画像処理装置の各手段としてコンピュータを機能させるプログラムである。

画像は符号データとして蓄積・転送されることが圧倒的に多いため、画像の符号データそのものを用いて（符号データを復号することなく）、画像の類似・非類似判定を行うのが、処理時間及びメモリスペース等の面で一般に有利である。請求項１〜１５，１７及び１８記載の発明によれば、ＪＰＥＧ２０００の符号データのような、符号がパケット化された画像の符号データを用いて画像の類似・非類似判定が可能である。

請求項２記載の発明によれば、関心のある画像領域以外のパケットについては比較対象から除外することができるため、全画像領域のパケットを比較対象とする場合に比べ処理量を減らすことができるとともに、画像の関心領域における類似性に基づく類似・非類似判定が可能となる。

請求項３記載の発明によれば、カラー画像の特定の色成分（コンポーネント）以外のパケットについては比較対象から除外することができるため、全色成分のパケットを比較対象とする場合に比べ処理量を減らすことができるとともに、画像の特定の色成分についての類似性に基づく類似・非類似判定が可能となる。

請求項４記載の発明によれば、画像の差違とパケットの符号量の差違との関連に従った類似・非類似判定を行うことができる。

請求項５記載の発明によれば、画像の差違とパケットヘッダの内容の差違との関連に従った高い精度の類似・非類似判定を行うことができる。

請求項６記載の発明によれば、個々のパケットの一致・不一致の評価により高精度の類似・非類似判定が可能である。また、各パケットの比較結果を順に評価し、あるパケットで不一致と評価された段階で直ちに非類似と判定し、それ以降の処理を打ち切るというような効率的な処理が可能である。

請求項７記載の発明によれば、画像の部分領域の類似性によって画像の類似・非類似を判定することができる。また、ある部分領域で不一致と評価された段階で直ちに非類似と判定し、それ以降の処理を打ち切るというような効率的な処理が可能である。

請求項８記載の発明によれば、解像度レベル毎の類似性によって画像の類似・非類似を判定することができる。

請求項９記載の発明によれば、少ない処理量で効率的に、画像の形状特徴の類似性による画像の類似・非類似判定を行うことができる。

請求項１０及び１１記載の発明によれば、形状特徴の差違が大きな画像については低い解像度レベルのパケット比較の段階で早期に非類似と判定することができ、また、形状特徴の差違が小さい画像については高い解像度レベルまでパケット比較を行うことにより精度の良い類似・非類似判定を行うことができる。また、請求項１１記載の発明によれば、設定する解像度レベルによって類似・非類似判定の精度を制御することができ、また、要求される類似・非類似判定精度に応じた最適な解像度レベルを設定することにより無駄な処理を減らし処理を効率化することができる。

請求項１２及び１３記載の発明によれば、形状特徴の差違が大きな画像については上位レイヤのパケット比較の段階で早期に非類似と判定することができ、また、形状特徴の差違が小さい画像については下位レイヤまでパケット比較を行うことにより精度の良い類似・非類似判定を行うことができる。また、請求項１３記載の発明によれば、設定するレイヤによって類似・非類似判定の精度を制御することができ、また、要求される類似・非類似判定精度に応じた最適なレイヤを設定することにより無駄な処理を減らし処理を効率化することができる。また、圧縮符号化時又はその後にトランケートされる符号は下位レイヤの符号であるため、請求項１３記載の発明によれば、適切なレイヤを設定することにより、符号のトランケーションの影響を排除した類似・非類似判定が可能となる。

同じ画像の符号データは同じデータ構造を持つことが多く、データ構造が異なるときは非類似の画像である可能性が高い。請求項１４記載の発明によれば、このような符号データの構造が異なる非類似画像をパケット比較を待たずに直ちに非類似と判定することができ、また、データ構造が一致する画像についてはパケット比較の結果により類似・非類似判定を行うことができる。

例えばＪＰＥＧ２０００の符号データは、同じ画像の符号データであってもプログレッシブ順序などを異ならせることができるため、２つの符号データの構造が相違しても、その画像が同一もしくは類似画像である可能性がある。また、ＪＰＥＧ２０００の符号データなどは、符号状態のままデータ構造を変更することも可能である。請求項１４及び１８記載の発明によれば、２つの画像の符号データの構造が異なる場合に、その構造を一致させるように符号データを再構成してからパケット比較を行うため、２つの画像の符号データの構造が異なる場合であっても、その画像の類似性を適切に評価し類似・非類似判定を行うことができる。

請求項１６記載の発明によれば、符号レベルでのパケット比較により類似と判定した画像について画像レベルでの比較を行うことにより、より高精度な類似・非類似判定が可能である。

請求項１９記載の発明によれば、符号データ蓄積装置に蓄積されている画像の符号データと、参照画（照合）像の符号データとの類似・非類似判定を、請求項１〜１６記載の発明に従って行うことにより、参照画像に類似した画像の符号データを検索することができる。

請求項２０記載の発明に係るプログラムを用いることにより、コンピュータを利用し請求項１〜１６記載の発明に係る画像処理装置を実現することができる。

以下に説明する本発明の実施の形態において、ＪＰＥＧ２０００の符号データを用いるため、ここでＪＰＥＧ２０００の概要を説明する。なお、ＪＰＥＧ２０００以外の圧縮符号化方式により圧縮符号化された、パケット構造の符号データを用いる場合にも本発明を同様に適用可能である。

図９にＪＰＥＧ２０００の圧縮符号化処理の概略フローを示す。ＪＰＥＧ２０００においては、画像を重複しない矩形領域（タイル）に分割し、タイル単位で処理が行われる。例えばＲＧＢカラー画像の場合、各タイルの画像データは、ＤＣレベルシフトが行われた後に輝度Ｙ，色差Ｃｂ，Ｃｒへの色変換を施される（ｓｔｅｐＡ）。そして、コンポーネント毎に２次元のウェーブレット変換（離散ウェーブレット変換）を適用され、複数のサブバンド（周波数帯域）に分解される（ｓｔｅｐＢ）。

図１０は２次元ウェーブレット変換の説明図である。（ａ）に示すタイル画像に２次元ウェーブレット変換を１回適用することにより、（ｂ）に示す１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分解される。１ＬＬサブバンドに対し２次元ウェーブレット変換が適用されることにより、１ＬＬサブバンドは（ｃ）に示す２ＬＬ，２ＨＬ，２ＬＨ，１ＨＨの各サブバンドに分解される。２ＬＬサブバンドに２次元ウェーブレット変換を適用することにより、２ＬＬサブバンドは（ｄ）に示す３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨの各サブバンドに分解される。ここで、ＬＬ，ＨＬ，ＬＨ，ＨＨの接頭の数字は、そのサブバンドの係数が何回のウェーブレット変換により得られたかを示すもので、デコンポジション（分解）レベルと呼ばれる。

図１１に、デコンポジションレベル数が３の場合の全てのサブバンドと、各サブバンドの解像度レベルを示す。３ＬＬサブバンドはもっとも解像度が低く、その解像度レベルは０である。３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨを用いて逆ウェーブレット変換を適用すると、３ＬＬサブバンドに比べ縦横方向に２倍の解像度の２ＬＬサブバンドが得られるため、３ＨＬ，３ＬＨ，３ＨＨの各サブバンドの解像度レベルは１である。

図９に戻る。ウェーブレット変換として非可逆の９×７変換が用いられた場合には、ウェーブレット変換係数はサブバンド毎に線形量子化される（ｓｔｅｐＣ）。次に、各サブバンドの係数は、コードブロック毎にビットプレーン符号化され（ｓｔｅｐＤ）、得られた符号の中から不要な符号がトランケートされ、必要な符号がまとめられてパケットが生成される（ｓｔｅｐＥ）。最後に、パケットを必要な順番に並べるとともにタグ又はタグ情報が付加されることにより、図１６に略示するようなフォーマットの符号データ（コードストリーム）が形成される（ｓｔｅｐＦ）。この符号データは、メインヘッダと呼ばれるタグ情報に各タイルのデータが続き、終了タグ（End of codestream）で終わる。各タイルのデータは、タイルパートヘッダと呼ばれるタグ情報とパケット列（bit stream）からなる。各パケットはパケットヘッダと呼ばれるタグ情報とパケットデータ（符号列）からなる。

図１２は、画像、タイル、サブバンド、プレシンクト、コードブロックの関係を示す模式図である。プリシンクトとは、サブバンドを（ユーザが指定可能なサイズの）矩形に分割したもので、画像中の大まかな場所(position)を表すものである。同じデコンポジションレベルのＨＬ，ＬＨ，ＨＨサブバンドの同じ画像領域に対応したプレシンクト（合計３個）がひとまとまりとして扱われる。ただし、ＬＬサブバンドを分割したプレシンクトは、１つでひとまとまりとして扱われる。プレシンクトはサブバンドと同じサイズにすることもできる。プレシンクトを（ユーザが指定可能なサイズの）矩形に分割したものが、コードブロックである。

各サブバンドの係数は、コードブロック単位でビットプレーン符号化される（より詳しくは、１つのビットプレーンは３つの符号化パスと呼ばれるサブビットプレーンに分解されて符号化される）。プレシンクトに含まれる全てのコードブロックの符号の一部を取り出して集めたもの（例えば、全てのコードブロックのMSBから３枚目までのビットプレーンの符号を集めたもの）がパケットである。パケットには、パケットデータがなく符号的には“空”(から)のものもある。

ＪＰＥＧ２０００では、サブバンド係数をビット深さ方向に複数のレイヤに分割したレイヤ構造をとることができる。図１３に、デコンポジションレベル数＝２、プリシンクトサイズ＝サブバンドサイズ、としたときのレイヤ構造の例を示す。また、この場合のパケットの例を図１４に模式的に示す。

上位のレイヤのパケットから復号すると、復号するレイヤが増加するほど復号画像の画質が向上することは明らかである。したがって、レイヤは画質の単位と言うことができる。このように、ＪＰＥＧ２０００の符号データは、解像度及び画質の両面で階層化された符号データである。

また、パケットは「コードブロックの符号の一部を取り出して集めたもの」であり、不要な符号はパケットとして生成する必要はない。例えば、図１３のレイヤー９に含まれる様な下位ビットプレーンの符号はｓｔｅｐＥでトランケートされるのが通常である。したがって、符号のトランケーションによる画質制御は、コードブロック単位（かつサブビットプレーン単位）で可能である。

符号データ中のパケットの並び順をプログレッシブ順序と呼ぶ。ＪＰＥＧ２０００では、レイヤ（Ｌ）、解像度レベル（Ｒ）、コンポーネント（Ｃ）、プレシンクト（Ｐ）をパラメータとして、５種類のプログレッシブ順序が規定されている。図１５に、ＬＲＣＰと呼ばれるプログレッシブ順序の場合のパケットの並びを例示する。ＪＰＥＧ２０００の符号データは、プログレッシブ順序の変換が可能である。

＜実施形態１＞
図１は、本発明の実施形態１を説明するためのブロック図である。この実施形態１に係る画像処理装置は、画像の符号データ（ここではＪＰＥＧ２０００の符号データ）を入力する符号データ入力部１００と、入力された２つの画像の符号データを用いて、その画像間の類似・非類似を判定する類似・非類似判定部１０１とからなる。

なお、符号データのソースは、ローカルな記憶装置や画像入力装置などである場合と、ネットワーク上のコンピュータなどである場合とがある。また、比較される２つの画像の符号データのうち、一方の符号データがローカルなソースから入力され、他方の符号データがネットワーク上のソースから入力される場合もある。

類似・非類似判定部１０１は、判定制御部１０２、条件設定部１０３、符号構造解析部１０４及びパケット比較部１０５からなる。

条件設定部１０３は、類似・非類似判定の処理条件を設定する手段であり、例えば、特定の画像領域、特定の色成分（コンポーネント）、特定の解像度レベル、特定のレイヤなどを設定することができる。

本発明においては、２つの符号データについて対応したパケットの比較を行うため、その前提として符号データの構造を把握する必要がある。そのために設けられた手段が符号構造解析部１０４であり、これは符号データのメインヘッダなどを解析することにより、タイル数、コンポーネント数、プログレッシブ順序、解像度レベル数もしくはデコンポジションレベル数、レイヤ数、プレシンクト・サイズなどを把握する。なお、入力される符号データの構造が予め分かっているならば、符号構造解析部１０４を省き得る。

パケット比較部１０５は、符号構造解析部１０４の解析結果に基づき、２つの符号データの対応したパケットの間で、符号量の比較やパケットヘッダの内容の比較を行う手段である。なお、パケットの符号量はパケットヘッダから知ることができる。パケットヘッダの内容は、個々のパケットを参照して知ることもできるが、メインヘッダ又はタイルパートヘッダを参照することにより知ることもできる。パケットヘッダには、符号データ長のほか、０ビットプレーン数や符号化パス数なども記述されている。したがって、パケットヘッダの内容（Ｏビットプレーン数や符号化パス数など）を比較するならば、より厳密にパケット間の一致・不一致もしくは差違を評価することができる。

判定制御部１０２は、類似・非類似判定部１０１の内部の各部の制御を行う手段であるとともに、パケット比較部１０５によるパケット比較結果に基づいて符号データとして入力された２つの画像の類似・非類似の判定を行う判定手段でもある。

図２は、この画像処理装置の全体的な処理の流れを示すフローチャートである。比較すべき２つの画像の符号データが符号データ入力部１００により入力される（ステップ１１０）。類似・非類似判定部１０１において、この２つの符号データの構造が符号構造解析部１０４により解析され（ステップ１１１）、条件設定部１０３により設定された画像領域及びコンポーネント（色成分）に関するパケットを対象に、パケット比較部１０５により対応パケットの比較が行われ、この比較結果に基づいて判定制御部１０２により２つの画像の類似・非類似が判定される（ステップ１１２）。

同じ画像を全く同じ条件で圧縮符号化した２つの符号データでは、全ての対応パケットの符号量やパケットヘッダの内容が一致する。同じ画像であっても異なった条件で圧縮符号化した２つの符号データでは、対応パケットの符号量やパケットヘッダの内容に違いが生じるが、異なる画像の符号データに比べ、その違いは小さいのが普通である。したがって、２つの画像の符号データの対応パケット間で符号量やパケットヘッダの内容を比較し、その一致もしくは差違を評価することによって、２つの画像の類似・非類似を判定することができる。

パケット間で符号量もしくはパケットヘッダの内容がどの程度一致したときに「一致」と評価するかは、要求される類似・非類似判定精度に依存する問題である。極めて高い判定精度が要求される場合には、符号量もしくはパケットヘッダの内容の完全一致をもって「一致」と評価することになろう。それ以外の場合には、符号量の差違又はパケットヘッダの内容の差違から、ある尺度によって「一致」又は「不一致」の評価を行うことになろう。

パケット比較結果の評価は、パケット単位で評価する方法と、パケットより大きな単位で評価する方法のいずれを採用することもできる。

パケット単位での評価を行い、あるパケットで不一致と評価した段階で非類似と判定し、その段階で処理を打ち切る方法をとることができる。

画像の部分領域単位でパケット比較結果を評価することができる。例えば、タイル単位又はプレシンクト単位で、コンポーネント別に、パケット間の符号量の差違やパケットヘッダの内容の差違の分布を求め、その分布からパケット比較結果の一致、不一致を評価する方法をとることができる。より簡易には、タイル単位又はプレシンクト単位で符号量差の絶対値の合計を求め、その値が所定の値を超える否かによって一致、不一致の評価を行うことができる。そして、あるタイル又はプレシンクトについて不一致と評価したときには、非類似と判定し、それ以降の処理を打ち切る方法をとることもできる。

また、ＪＰＥＧ２０００の符号のような解像度レベルで階層化された符号データの場合、解像度レベル（もしくはデコンポジションレベル）単位で、コンポーネント別に、パケット比較結果を評価する方法をとることができる。

また、画像の中央部分などの関心領域における類似度を評価したい場合などは、画像の関心領域を設定し、その領域の符号からなるパケットに絞ってパケット比較を行うと、効率的な処理が可能である。画像領域の設定はタイル単位で行うことができるが、プレシンクト単位でより詳細に設定することも可能である。

また、特定の色成分（コンポーネント）、例えば輝度コンポーネントを設定することにより、その色成分の類似性によって画像の類似・非類似を判定することができ、また、それ以外の色成分のパケットは処理対象から除外されるため、処理量を減らし処理を効率化することができる。

ＪＰＥＧ２０００の符号データは、前述のように、解像度レベル及びレイヤ（画質）により階層化されている。低い解像度レベルの符号のパケットのみを対象にしたパケット比較により、少ない処理量で画像の形状特徴の類否を判定可能である。符号データのデコンポジション数にもよるが、図３により説明するように、最も低い解像度レベルの符号（ＬＬサブバンドの符号）からなるパケットのみを対象としたパケット比較を行い、その結果を評価することにより、かなりの精度の類似・非類似判定が可能であり、またパケット比較の処理量が少なくて済み効率的である。

同様に、図４により説明するように、あるレイヤより上位のレイヤのパケットのみを対象としてパケット比較を行うようにしてもよく、パケット比較の処理量を減らし処理を効率化することができる。また、ＪＰＥＧ２０００の符号データは、圧縮符号化時またはその後に下位レイヤの符号がトランケートされることが多いが、あるレイヤより上位のレイヤのみを処理の対象とするならば、そのような符号のトランケートに影響されない類似・非類似判定が可能である。

また、パケット比較の対象を、解像度レベル及びレイヤの両方で限定することも可能であることは当然である。

図３又は図４により説明するように、判定条件として特定の解像度レベルもしくはレイヤを設定し、最低解像度レベルから設定された解像度レベルまでのパケットもしくは最上位のレイヤから設定されたレイヤまでのバケットを対象にパケット比較を行うことも可能である。この場合に、図３又は図４により説明するように、最も低い解像度レベルもしくは最上位レイヤから、設定された解像度レベルもしくはレイヤへと順にパケット比較を行い、途中の解像度レベル又はレイヤの段階で非類似と判定された場合には、それ以上の処理を中止するようにすると、無駄な処理を減らし処理の効率化に効果がある。

図３は、図２中のステップ１１２における具体的な処理の一例を説明するためのフローチャートである。この例においては、指定された画像領域及びコンポーネントに関するパケットの中で、まず、最低の解像度レベル０のパケットについてパケット比較部１０５で対応パケットの比較を行う（ステップ１２０）。判定制御部１０２は、このパケット較の結果を、前述のようにパケット単位やプレシンクト単位などで評価し、不一致と評価したならば（ステップ１２１，Ｎｏ）、当該２つの画像を非類似と判定し（ステップ１２７）、処理を終了する。

判定制御部１０２で最低解像度レベル０のパケット比較の結果を一致と評価した場合（ステップ１２１，Ｙｅｓ）、条件設定部１０３により最低解像度レベル０が設定されているならば（ステップ１２２，Ｎｏ）、この時点で当該２画像を類似と判定し（ステップ１２６）、処理を終了する。

条件設定部１０３により最低解像度レベル１以上の解像度レベルが条件設定部１０３により設定されている場合には（ステップ１２２，Ｙｅｓ）、次に高い解像度レベル１のパケットについてパケット比較部１０５により対応パケットの比較を行う（ステップ１２３）。判定制御部１０２は、このパケット比較結果を不一致と評価したならば（ステップ１２４，Ｎｏ）、当該２画像を非類似と判定し（ステップ１２７）処理を終了する。

一致と評価した場合、現在の解像度レベルより設定された解像度レベルが高いならばステップ１２３に戻り、次の解像度レベルについて同様の処理を繰り返すが、現在の解像度レベルが設定された解像度レベルと一致するならば（ステップ１２５，Ｙｅｓ）、当該２画像を類似と判定し（ステップ１２６）、処理を終了する。

図４は、図２中のステップ１１２における具体的処理の別の一例を説明するためのフローチャートである。この例においては、指定された画像領域及びコンポーネントに関するパケットの中で、まず、最上位レイヤのパケットについてパケット比較部１０５で対応パケットの比較を行う（ステップ１３０）。判定制御部１０２は、このパケット比較結果を、前述のようにパケット単位やプレシンクト単位などで評価し、不一致と評価したならば（ステップ１３１，Ｎｏ）、当該２つの画像を非類似と判定し（ステップ１３６）処理を終了する。

判定制御部１０２で最上位レイヤのパケット比較の結果を一致と評価した場合（ステップ１３１，Ｙｅｓ）、次位レイヤのパケットについてパケット比較部１０５により対応パケットの比較を行う（ステップ１３２）。判定制御部１０２は、このパケット比較の結果を不一致と評価したならば（ステップ１３３，Ｎｏ）、当該２画像を非類似と判定し（ステップ１３６）処理を終了する。

一致と評価した場合、現在のレイヤより設定されたレイヤが上位ならばステップ１３２に戻り、次位のレイヤについて同様の処理を繰り返すが、現在のレイヤが設定されたレイヤと一致するならば（ステップ１３４，Ｙｅｓ）、当該２画像を類似と判定し（ステップ１３５）、処理を終了する。

上に述べたように、パケット比較の対象を、解像度レベル及びレイヤの両方で限定することも可能である。例えば、図３のステップ１２０，１２３におけるパケット比較を、図４に示すように上位レイヤから下位レイヤへ向かって順に行い、あるレイヤで不一致となった段階で、当該解像度レベルでのパケット比較を不一致と判断するような構成とすることができる。これとは逆に、図４のステップ１３０，１３２におけるパケット比較を、図３に示すように最低解像度レベルから高い解像度レベルへ向かって順に行い、ある解像度レベルで不一致となった段階で、当該レイヤでのパケット比較を不一致と判断するような構成とすることができる。

＜実施形態２＞
図５は、本発明の実施形態２を説明するためのブロック図である。この実施形態２に係る画像処理装置は、画像の符号データ（ここではＪＰＥＧ２０００の符号データ）を入力する符号データ入力部２００と、入力された２つの画像の符号データを用いて、その画像の類似・非類似を判定する類似・非類似判定部２０１とからなる。

なお、符号データのソースは、ローカルな記憶装置や画像入力装置などである場合と、ネットワーク上のコンピュータなどである場合とがある。また、比較される２つの画像の符号データのうち、一方の符号データがローカルなソースから入力され、他方の符号データがネットワーク上のソースから入力される場合もある。

類似・非類似判定部２０１は、判定制御部２０２、条件設定部２０３、符号構造解析部２０４、符号構造比較部２０５、符号データ再構成部２０６、パケット比較部２０７、復号部２０８及び画像比較部２０９からなる。

条件設定部２０３は、類似・非類似判定の条件を設定する手段であり、例えば、特定の画像領域、特定の色成分（コンポーネント）、特定の解像度レベル、特定のレイヤなどを設定することができ、また、いくつかの処理モードを設定することができる。

符号構造解析部２０４は、符号データのメインヘッダなどを解析することにより、タイル数、コンポーネント数、プログレッシブ順序、解像度レベル数もしくはデコンポジションレベル数、レイヤ数など、符号データの全体的構造を把握する手段である。

符号構造比較部２０５は、符号構造解析部２０４により解析された２つの符号データの構造を比較し、その一致、不一致を判定する手段である
符号データ再構成部２０６は、符号構造比較部２０５により２つの符号データの構造が一致しない場合に、その構造を一致させるように、一方又は両方の符号データについてプログレッシブ順序の変更などのデータ再構成処理を行う手段である。

パケット比較部２０７は、入力された２つの符号データ、あるいは符号データ再構成部２０６により再構成された符号データの対応したパケット間で、符号量の比較やパケットヘッダの内容の比較を行う手段である。

復号部２０８は、入力された符号データ又は再構成された符号データの復号処理を行う手段である。画像比較部２０９は、復号部２０８によって復号された２つの画像データをブロックマッチングなどの手法により比較する手段である。

判定制御部２０２は、類似・非類似判定部２０１の内部の各部の制御を行う手段であるとともに、符号構造比較部２０５の比較結果、パケット比較部１０５によるパケット比較の結果、又は画像比較部２０９の比較結果に基づいて、符号データとして入力された２つの画像の類似・非類似を判定する手段でもある。

図６は、この画像処理装置の全体的な処理の流れを示すフローチャートである。比較すべき２つの画像の符号データが符号データ入力部２００により入力される（ステップ２２０）。

類似・非類似判定部２０１において、この２つの符号データの構造を符号構造解析部２０４により解析し（ステップ２２１）、その構造の一致、不一致を符号構造比較部２０５により判定する（ステップ２２２）。

２つの符号データの構造が不一致のときは（ステップ２２３，Ｎｏ）、条件設定部２０３により設定された処理モードがＡモードであるならば（ステップ２２４，Ｙｅｓ）、判定制御部２０２は、この段階で当該２つの画像を非類似と判定し（ステップ２２５）、処理を終了する。このようにＡモードを設定することにより、符号データの構造が一致しない画像を早い段階で非類似と判定させることができる。

設定された処理モードがＡモードでない場合（ステップ２２４，Ｎｏ）、符号データ再構成部２０６により、符号構造解析部２０４の解析結果に基づいて、２つの符号データの構造を一致させるための符号データ再構成処理を一方又は両方の符号データについて行う（ステップ２２６）。この符号データ再構成により２つの符号データの構造を一致させることができないときには（ステップ２２７，Ｎｏ）、判定制御部２０２は当該２つの画像を非類似と判定し（ステップ２２８）、処理を終了する。

符号データ再構成により２つの符号データの構造を一致させることができた場合（ステップ２２７，Ｙｅｓ）、又は、符号構造比較部２０５で２つの符号データの構造が一致すると判定された場合（ステップ２２３，Ｙｅｓ）、条件設定部２０３で設定された画像領域及びコンポーネントに関するパケットについて、パケット比較部２０７により対応パケットの比較を行い、その比較結果に基づいて判定制御部２０２で類似・非類似の判定を行う（ステップ２２９）。このパケット比較による類否判定の手順は図３又は図４により説明したものと同様でよい。

パケット比較による類否判定で類似と判定されない場合（ステップ２３０，Ｎｏ）、判定制御部２０２は当該２つの画像を非類似と判定し（ステップ２３１）、処理を終了する。

パケット比較による類否判定で類似と判定した場合（ステップ２３０，Ｙｅｓ）、条件設定部２０３により処理モードとしてＢモードが設定されているならば（ステップ２３２，Ｙｅｓ）、判定制御部２０２はこの段階で当該２つの画像を類似と判定し（ステップ２３３）、処理を終了する。

しかし、設定された処理モードがＢモードでない場合には（ステップ２３２，Ｎｏ）、画像レベルでの、より詳細な類否判定が行われる。すなわち、２つの符号データ（入力された符号データもしくは再構成後の符号データ）の復号処理が復号部２０８で行われる（ステップ２３４）。この復号処理は、条件設定部２０３で設定された画像領域、コンポーネントについて行われる。また、特定の解像度レベル及びレイヤが設定された場合には、設定された解像度レベルまで及び設定されたレイヤまでの復号処理が行われる。ただし、各符号データの全体について復号処理を行うようにしてもよい。

そして、画像比較部２０９により、復号された２つの画像データを比較し、その類似・非類似を判定する（ステップ２３５）。画像比較の結果が類似ならば、判定制御部２０２は当該２つの画像を類似と最終判定し（ステップ２３７）、そうでないならば非類似と最終判定し（ステップ２３８）、処理を終了する。

＜実施形態３＞
図７は、本発明の実施形態３を説明するためのブロック図である。この実施形態に係る画像検索システムは、ローカルな符号データ入力装置やネットワーク上のコンピュータなどから参照（照合）画像の符号データを入力する符号データ入力部３００、多数の画像の符号データを蓄積している符号データ蓄積部３０２、類似・非類似判定部３０１及び検索制御部３０３から構成されている。符号データ入力部３００及び類似・非類似判定部３０１は、前記実施形態１又は２に係る画像処理装置を構成するものである。

類似・非類似判定部３０１は、符号データ入力部３００より入力される参照画像の符号データと、検索制御部３０３により符号データ蓄積部３０２から読み出された画像の符号データとについて類似・非類似判定を行うもので、前記実施形態１又は２の類似・非類似判定部と同様の構成である。

図８は、この画像検索システムの処理フローを示すフローチャートである。まず、参照画像の符号データが符号データ入力部３００により入力される（ステップ３１０）。

次に、検索制御部３０３によって、符号データ蓄積部３０２に蓄積されている画像の符号データが読み出されて類似・非類似判定部３０１に入力される（ステップ３１１）。そして、この２つの符号データについて、前述した類似・非類似判定処理が類似・非類似判定部３０１で行われる（ステップ３１２）。類似するとの判定結果ならば（ステップ３１３，Ｙｅｓ）、検索制御部３０３は、当該蓄積画像の符号データを検索結果として出力する（ステップ３１４）。

同様に、符号データ蓄積部３０２に蓄積されている画像の符号データが順に類似・非類似判定部３０１へ入力され、参照画像の符号データとの類否判定が繰り返され、類似と判定された蓄積画像の符号データが検索結果として出力される。この処理が符号データ蓄積部３０２に蓄積されている検索対象の全ての符号データについて繰り返され、最後の符号データまで処理済みとなると（ステップ３１５，Ｎｏ）、検索処理が終了する。

なお、ステップ３１４において、符号データのファイル名などのインデックス情報を検索結果として出力することも可能である。

以上に説明した本発明に係る画像処理装置及び画像検索システムは、例えば図１７に示すようなＣＰＵ４００、メモリ４０１、ハードディスク装置４０２、情報記録媒体の読み書きのための媒体読み書き装置４０３、通信インターフェース４０４、キーボードやマウスなどの入出力装置４０５などをバス４０６で接続したような一般的な構成のコンピュータを用いて実現することも可能である。画像処理装置又は画像検索システムの構成要素としてコンピュータを機能させるための１又は２以上のプログラムは、媒体読み書き装置４０３又は通信インターフェースを通じて読み取られてハードディスク装置４０２に格納され、必要時にメモリ４０１にロードされＣＰＵ４００により実行されるになる。このようなプログラム、及び、それが記録された磁気ディスク、光ディスク、光磁気ディスクなどの各種情報記録（記憶）媒体も本発明に包含される。

なお、以上に説明した本発明に係る画像処理装置における処理手順は本発明に係る画像処理方法の処理手順の例でもある。よって、本発明に係る画像処理方法についてこれ以上の説明は省略する。

本発明の実施形態１を説明するためのブロック図である。 実施形態１に係る画像処理装置における処理の概略を示すフローチャートである。 図３中のステップ１１２における具体的処理例を説明するためのフローチャートである。 図３中のステップ１１２における具体的処理例を説明するためのフローチャートである。 本発明の実施形態２を説明するためのブロック図である。 実施形態２に係る画像処理装置における処理を説明するためのフローチャートである。 本発明の実施形態３を説明するためのブロック図である。 実施形態３に係る画像検索システムにおける処理を説明するためのフローチャートである。 ＪＰＥＧ２０００の圧縮符号化処理を説明するためのフローチャートである。 ２次元ウェーブレット変換を説明するための図である。 サブバンドと解像度レベルを説明するための図である。 画像、タイル、サブバンド、プレシンクト、コードブロックの関係を示す図である。 レイヤ分割を例示する図である。 図１３のレイヤ分割の場合のパケットを例示する図である。 ＬＲＣＰプログレッシブ順序のパケットの並びを例示する図である。 ＪＰＥＧ２０００の符号データのフォーマットを示す図である。 コンピュータの構成例を示すブロック図である。

符号の説明

１００ 符号データ入力部
１０１ 類似・非類似判定部
１０２ 判定制御部
１０３ 条件設定部
１０４ 符号構造解析部
１０５ パレット比較部
２００ 符号データ入力部
２０１ 類似・非類似判定部
２０２ 判定制御部
２０３ 条件設定部
２０４ 符号構造解析部
２０５ 符号構造比較部
２０６ 符号データ再構成部
２０７ パケット比較部
２０８ 復号部
２０９ 画像比較部
３００ 符号データ入力部
３０１ 類似・非類似判定部
３０２ 符号データ蓄積部
３０３ 検索制御部

Claims (20)

1. ２つの画像の符号データの対応したパケットの比較を行うパケット比較手段と、
   ２つの画像の符号データに対する前記パケット比較手段によるパケット比較の結果に基づいて、当該２つの画像の類似・非類似を判定する判定手段と
   を有することを特徴とする画像処理装置。
2. 特定の画像領域を設定する手段を有し、この手段により設定された画像領域に関するパケットのみを対象として前記パケット比較手段によりパケットの比較を行うことを特徴とする請求項１に記載の画像処理装置。
3. 特定の色成分を設定する手段を有し、この手段により設定された色成分に関するパケットのみを対象として前記パケット比較手段によりパケットの比較を行うことを特徴とする請求項１に記載の画像処理装置。
4. 前記パケット比較手段はパケットの符号量について比較することを特徴とする請求項１，２又は３に記載の画像処理装置。
5. 前記パケット比較手段によりパケットのパケットヘッダの内容について比較することを特徴とする請求項１，２又は３に記載の画像処理装置。
6. 前記判定手段は、前記パケット比較手段によるパケット比較の結果をパケット単位で評価することにより類似・非類似の判定を行うことを特徴とする請求項１，２，３，４又は５に記載の画像処理装置。
7. 前記判定手段は、前記パケット比較手段によるパケット比較の結果を画像の部分領域単位で評価することにより類似・非類似の判定を行うことを特徴とする請求項１，２，３，４又は５に記載の画像処理装置。
8. 前記判定手段は、前記パケット比較手段によるパケット比較の結果を解像度レベル単位で評価することにより類似・非類似の判定を行うことを特徴とする請求項１，２，３，４又は５に記載の画像処理装置。
9. 前記パケット比較手段により、最低解像度レベルの符号からなるパケットのみを対象としてパケットの比較を行うことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記パケット比較手段により、低い解像度レベルの符号からなるパケットより高い解像度レベルの符号からなるパケットへと順にパケットの比較を行うことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
11. 特定の解像度レベルを設定する手段を有し、この手段により設定された解像度レベル以下の解像度レベルの符号からなるパケットのみを対象として前記パケット比較手段によりパケットの比較を行うことを特徴とする請求項１０に記載の画像処理装置。
12. 前記パケット比較手段により、上位のレイヤの符号からなるパケットより下位のレイヤの符号からなるパケットへと順にパケットの比較を行うことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
13. 特定のレイヤを設定する手段を有し、この手段により設定されたレイヤと同位以上のレイヤの符号からなるパケットのみを対象として前記パケット比較手段によりパケットの比較を行うことを特徴とする請求項１２に記載の画像処理装置。
14. 符号データの構造を解析する符号構造解析手段と、
    前記構造解析手段による解析結果に基づき２つの画像の符号データの構造が一致するか判定する構造比較手段を有し、
    前記判定手段は、前記構造比較手段により２つの画像の符号データの構造が一致しないと判定された場合にその２つの画像を非類似と判定し、前記構造比較手段により２つの画像の符号データの構造が一致すると判定された場合に前記パケット比較手段によるパケット比較の結果に基づいてその２つの画像の類似・非類似を判定することを特徴する請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 符号データの構造を解析する符号構造解析手段と、
    前記構造解析手段による解析結果に基づいて２つの画像の符号データの構造が一致するか判定する構造比較手段と、
    前記構造比較手段により２つの画像の符号データの構造が一致しないと判定された場合に、その２つの画像の符号データの構造を一致させるため、その２つの画像の符号データの一方又は両方を再構成する符号データ再構成手段とを有し、
    前記構造比較手段により２つの画像の符号データの構造が一致しないと判定された場合に、前記符号データ再構成手段により再構成後の符号データについて前記パケット比較手段によりパケット比較を行うことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
16. 画像の符号データを復号する復号手段と、
    前記復号手段により２つの画像の符号データを復号することにより生成される２つの画像データを比較する画像比較手段とを含み、
    前記判定手段は、前記パケット比較手段によるパケット比較の結果に基づいて２つの画像が類似すると判定した場合に、その２つの画像の類似・非類似を前記画像比較手段による比較結果に基づいて最終的に判定することを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. ２つの画像の符号データの対応したパケットの比較を行うパケット比較工程と、
    ２つの画像の符号データに対する前記パケット比較工程によるパケット比較の結果に基づいて、その２つの画像の類似・非類似を判定する判定工程と、
    を有することを特徴とする画像処理方法。
18. 符号データの構造を解析する符号構造解析工程と、
    前記構造解析工程による解析結果に基づいて２つの画像の符号データの構造が一致するか判定する構造比較工程と、
    前記構造比較工程により２つの画像の符号データの構造が不一致と判定された場合に、その２つの画像の符号データの構造を一致させるため、その２つの画像の符号データの一方又は両方を再構成する符号データ再構成工程とを有し、
    前記構造比較工程により２つの画像の符号データの構造が不一致と判定された場合には、前記符号データ再構成工程により再構成後の符号データについて前記パケット比較工程によりパケット比較を行うことを特徴とする請求項１７に記載の画像処理方法。
19. 画像の符号データを蓄積している符号データ蓄積装置と、
    請求項１乃至１６のいずれか１項に記載の画像処理装置とを有し、
    参照画像の符号データ及び前記符号データ蓄積手段に蓄積されている画像の符号データについて前記画像処理装置により画像の類似・非類似の判定を行うことにより、前記符号データ蓄積装置に蓄積されている画像の符号データの中から、参照画像に類似した画像の符号データを検索することを特徴とする画像検索システム。
20. 請求項１乃至１６のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるプログラム。

Images