JP2008234327A - 画像検索装置及び画像検索方法 - Google Patents
画像検索装置及び画像検索方法 Download PDFInfo
- Publication number
- JP2008234327A JP2008234327A JP2007073200A JP2007073200A JP2008234327A JP 2008234327 A JP2008234327 A JP 2008234327A JP 2007073200 A JP2007073200 A JP 2007073200A JP 2007073200 A JP2007073200 A JP 2007073200A JP 2008234327 A JP2008234327 A JP 2008234327A
- Authority
- JP
- Japan
- Prior art keywords
- image
- chromaticity
- search
- correlation
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Color Image Communication Systems (AREA)
Abstract
【課題】 色情報に着目した画像検索を好適に実行することが可能な画像検索装置、及び画像検索方法を提供する。
【解決手段】 対象画像入力部11から入力される対象画像と、比較画像データベース12に格納されている比較画像とについて、画像内での色度分布を色度図上でヒストグラム化した対象色度画像、比較色度画像をそれぞれ用意し、対象色度画像と比較色度画像とが並置された検索画像を用いて、光相関演算装置30においてJTC法による光学的な相関演算を行って、相関データを取得する。そして、画像検索処理部15において、得られた相関データから画像の類似性を判断することで画像検索処理を行う。
【選択図】 図1
【解決手段】 対象画像入力部11から入力される対象画像と、比較画像データベース12に格納されている比較画像とについて、画像内での色度分布を色度図上でヒストグラム化した対象色度画像、比較色度画像をそれぞれ用意し、対象色度画像と比較色度画像とが並置された検索画像を用いて、光相関演算装置30においてJTC法による光学的な相関演算を行って、相関データを取得する。そして、画像検索処理部15において、得られた相関データから画像の類似性を判断することで画像検索処理を行う。
【選択図】 図1
Description
本発明は、色情報に着目して画像を検索する画像検索装置、及び画像検索方法に関するものである。
画像技術や通信技術が著しく発達した現代社会では、遠隔医療・診断、電子商取引、色を取り入れた各種デザインなど、厳格な色管理が必要な分野が成長している。また、このような分野において、複数の比較画像をデータベース化し、検索しようとする対象画像と複数の比較画像のそれぞれとを比較して画像検索を行うことで、対象画像についての情報を得る方法が検討されている。
対象画像と比較画像とを比較してその類似性等を判断する処理手法として、従来、残差逐次検定法(SSDA法)、あるいは粗密探索法(ピラミッド法)などの方法が知られている。これらの方法では、コンピュータを用いて画像データに対して直接的に演算処理を行うことによって、画像比較が行われる。
特開2001−243474号公報
上記したSSDA法、ピラミッド法などの直接的な演算処理を利用した方法に対して、光学的な演算処理を利用した画像の類似性の判断手法として、対象画像と比較画像とが並置された検索画像を利用する結合変換相関法(JTC:Joint Transform Correlation)が知られている。このような方法では、光相関演算によって高速で画像比較、及びそれを用いた画像検索を実行することが可能である(例えば、特許文献1参照)。
しかしながら、上記したJTC法では、対象画像と比較画像との間で形状等の類似性を判断することが可能であるが、色情報に着目して画像を検索したい場合には、それに適した画像比較方法にはなっていないという問題がある。
本発明は、以上の問題点を解決するためになされたものであり、色情報に着目した画像検索を好適に実行することが可能な画像検索装置、及び画像検索方法を提供することを目的とする。
このような目的を達成するために、本発明による画像検索装置は、(1)画像検索の対象となる対象画像、または対象画像内での色度分布を色度図上でヒストグラム化した対象色度画像を入力する対象画像入力手段と、(2)比較画像、または比較画像内での色度分布を色度図上でヒストグラム化した比較色度画像を複数、データベース化して記憶する比較画像データベースと、(3)対象色度画像と比較色度画像とを用意して、それらの相関データから類似性を判断することで画像検索処理を行う画像検索処理手段と、(4)対象色度画像と比較色度画像との間で光学的な相関演算を行って、得られた相関データを画像検索処理手段へと出力する光相関演算手段とを備え、光相関演算手段は、(5)対象色度画像と比較色度画像とが並置された検索画像に基づく検索光像を出力する検索光像出力手段と、(6)検索光像をフーリエ変換して、対象色度画像と比較色度画像とについての結合フーリエ変換光像を形成する第1フーリエ変換手段と、(7)結合フーリエ変換光像に基づく第2検索光像を生成する光像生成手段と、(8)第2検索光像をフーリエ変換して、対象色度画像と比較色度画像との間の相関度を示す相関光像を形成する第2フーリエ変換手段と、(9)相関光像を検出して相関データを取得する相関データ取得手段とを有することを特徴とする。
また、本発明による画像検索方法は、(a)画像検索の対象となる対象画像、または対象画像内での色度分布を色度図上でヒストグラム化した対象色度画像を入力する対象画像入力ステップと、(b)比較画像、または比較画像内での色度分布を色度図上でヒストグラム化した比較色度画像を複数、データベース化して記憶する比較画像データベースを用い、対象色度画像と比較色度画像とを用意して、それらの相関データから類似性を判断することで画像検索処理を行う画像検索処理ステップと、(c)対象色度画像と比較色度画像との間で光学的な相関演算を行って、得られた相関データを出力する光相関演算ステップとを備え、光相関演算ステップは、(d)対象色度画像と比較色度画像とが並置された検索画像に基づく検索光像を出力する検索光像出力ステップと、(e)検索光像をフーリエ変換して、対象色度画像と比較色度画像とについての結合フーリエ変換光像を形成する第1フーリエ変換ステップと、(f)結合フーリエ変換光像に基づく第2検索光像を生成する光像生成ステップと、(g)第2検索光像をフーリエ変換して、対象色度画像と比較色度画像との間の相関度を示す相関光像を形成する第2フーリエ変換ステップと、(h)相関光像を検出して相関データを取得する相関データ取得ステップとを有することを特徴とする。
上記した画像検索装置、及び画像検索方法においては、画像検索対象の対象画像、及び比較・検索対象の比較画像のそれぞれについて、画像内での色度分布を色度図上でヒストグラム化した色度値ヒストグラム画像である対象色度画像、比較色度画像を用意する。そして、これらの対象色度画像及び比較色度画像について、対象色度画像と比較色度画像とが並置された検索画像を用いた光学的な相関演算を行って、得られた相関データから画像の類似性を判断している。このような構成によれば、色情報に着目した画像検索を、充分な精度で、かつ高速に実行することが可能となる。
ここで、画像検索装置は、対象画像または比較画像について色度分布の色度図上でのヒストグラム化を行って、対応する対象色度画像または比較色度画像を生成する色度画像生成手段を備えることが好ましい。同様に、画像検索方法は、対象画像または比較画像について色度分布の色度図上でのヒストグラム化を行って、対応する対象色度画像または比較色度画像を生成する色度画像生成ステップを備えることが好ましい。
このように、元画像から色度画像を生成することにより、上記した対象色度画像及び比較色度画像を用いた画像検索を好適に実行することが可能となる。なお、色度画像として用いられる色度値ヒストグラム画像については、具体的には例えば、色度図上での色度分布を画像上での強度分布(濃淡)で表した2次元画像等を用いることができる。また、対象画像については、対象画像に代えて対象色度画像を直接に入力する構成としても良い。同様に、比較画像についても、比較画像に代えて比較色度画像を直接にデータベース化しておく構成としても良い。
また、画像検索装置は、相関データ取得手段が、相関データとして、対象色度画像と比較色度画像とについての自己相関ピークと、相互相関ピークとを含む相関画像を取得することが好ましい。同様に、画像検索方法は、相関データ取得ステップにおいて、相関データとして、対象色度画像と比較色度画像とについての自己相関ピークと、相互相関ピークとを含む相関画像を取得することが好ましい。
この場合、画像検索装置では、画像検索処理手段が、相関画像に対して、相互相関ピークの位置に対応してあらかじめ設定された検索領域を適用し、検索領域内で取得された相関強度を参照して対象色度画像と比較色度画像との類似性を判断する構成を用いることができる。
同様に、画像検索方法では、画像検索処理ステップにおいて、相関画像に対して、相互相関ピークの位置に対応してあらかじめ設定された検索領域を適用し、検索領域内で取得された相関強度を参照して対象色度画像と比較色度画像との類似性を判断する構成を用いることができる。
このように、光相関演算によって取得された相関画像に対して所定の検索領域を適用して、対象色度画像と比較色度画像との相関度についての情報を取得することにより、色度画像の相関データを用いた画像検索を、高精度で確実に実行することが可能となる。
また、このような検索領域については、画像検索装置は、光相関演算手段において対象色度画像同士の間で光学的な相関演算を行って得られた相関画像を参照して、検索領域をあらかじめ設定する検索領域設定手段を備えることとしても良い。同様に、画像検索方法は、対象色度画像同士の間で光学的な相関演算を行って得られた相関画像を参照して、検索領域をあらかじめ設定する検索領域設定ステップを備えることとしても良い。
また、光相関演算手段の具体的な構成については、画像検索装置は、第2検索光像を生成する光像生成手段が、結合フーリエ変換光像を書き込み側から入力し、読み込み光によって生成された第2検索光像を読み出し側から出力する空間光変調器であることが好ましい。同様に、画像検索方法は、光像生成ステップにおいて、結合フーリエ変換光像を書き込み側から入力し、読み込み光によって生成された第2検索光像を読み出し側から出力する空間光変調器を用いることが好ましい。これにより、対象色度画像と比較色度画像とについての光相関演算を好適に実行することができる。
本発明の画像検索装置及び画像検索方法によれば、対象画像及び比較画像のそれぞれについて、画像内での色度分布を色度図上でヒストグラム化した対象色度画像、比較色度画像を用意し、対象色度画像と比較色度画像とが並置された検索画像を用いた光学的な相関演算を行って得られた相関データから画像の類似性を判断して、画像検索処理を行うことにより、色情報に着目した画像検索を、充分な精度で、かつ高速に実行することが可能となる。
以下、図面とともに本発明による画像検索装置、及び画像検索方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
図1は、本発明による画像検索装置の一実施形態の構成を概略的に示すブロック図である。本実施形態による画像検索装置1Aは、画像検索制御装置10と、光相関演算装置30とを備えて構成された画像検索システムであり、対象画像と比較画像との間で色情報に着目した画像検索を行うことが可能に構成されている。
画像検索制御装置10は、対象画像入力部11と、比較画像データベース12と、色度画像生成部13と、検索領域設定部14と、画像検索処理部15とを有して構成されている。対象画像入力部11は、画像検索の対象となる対象画像、またはそれに対応する対象色度画像を入力する対象画像入力手段である。また、比較画像データベース12は、対象画像に対する比較対象となる比較画像、またはそれに対応する比較色度画像を複数、データベース化して記憶する記憶手段である。
また、これらの対象画像入力部11及び比較画像データベース12に対して、色度画像生成部13が設けられている。この色度画像生成部13は、対象画像入力部11から入力された対象画像、または比較画像データベース12から読み出された比較画像について所定のデータ処理を行って、対応する対象色度画像、または比較色度画像を生成する色度画像生成手段である。
画像検索に用いられる対象色度画像は、元画像である対象画像内での色度分布(色度値の分布)を図2に示す色度図(xy色度図)上でヒストグラム化した色度値ヒストグラム画像である。すなわち、色度画像とは、x,y色度値を色度座標上にマッピングし、そのカウントを積み重ねてヒストグラム化した画像をいう。ここで、色度図におけるx、y色度値については、CIE−XYZ表色系における三刺激値X、Y、Zから、x=X/(X+Y+Z)、y=Y/(X+Y+Z)によって求めることができる。
また、図2のxy色度図において、実線で示した馬蹄形の曲線の内側の領域が、人間の可視領域となる。なお、以下に示す色度画像においては、参考のため、この可視領域を示す馬蹄形の曲線を破線によって示すが、実際に画像検索に用いる色度画像においては、このような曲線は画像中に示さなくても良い。また、本発明において色度画像に用いられる色度図については、上記したxy色度図に限らず、例えばUCS色度図、CIE−LAB表色系での色度図など、他の色度空間での色度図を用いても同様の処理が可能である。
このような色度画像である色度値ヒストグラム画像については、具体的には例えば、色度図上での色度分布を画像上での強度分布(濃淡)で表した2次元画像等を用いることができる。また、その他の方法で色度分布を示した2次元画像を色度画像としても良い。図3は、対象画像(a)、及びそれに対応する対象色度画像(b)の一例を模式的に示す図である。ここでは、対象画像(a)の一例として花の画像を示している。また、対象色度画像(b)においては、色度値データがある程度の強度で分布している領域を斜線を付して模式的に示している。このように、対象色度画像は、対象画像の色情報、すなわち画像内での各色成分の分布量等を反映した強度分布画像となる。
対象色度画像としては、対象画像入力部11において対象色度画像が入力された場合には、それがそのまま画像検索に用いられる。また、対象画像入力部11において元画像である対象画像が入力された場合には、色度画像生成部13において、対象画像について色度分布の色度図上でのヒストグラム化が行われ、対応する対象色度画像が生成される。
また、対象色度画像と比較される比較色度画像は、対象色度画像と同様に、元画像である比較画像内での色度分布を色度図上でヒストグラム化した色度値ヒストグラム画像である。比較色度画像としては、比較画像データベース12において比較色度画像が格納されている場合には、それがそのまま読み出されて画像検索に用いられる。また、データベース12において元画像である比較画像が格納されている場合には、色度画像生成部13において、比較画像について色度分布の色度図上でのヒストグラム化が行われ、対応する比較色度画像が生成される。
画像検索処理部15は、対象色度画像と比較色度画像とを用意し、それらの相関データから類似性を判断することで画像検索処理を行う画像検索処理手段である。具体的には、画像検索処理部15は、対象画像入力部11から入力された対象画像または対象色度画像の画像データ、及び比較画像データベース12から読み出された比較画像または比較色度画像の画像データに基づき、必要に応じて色度画像生成部13において色度画像生成処理を行って、画像検索に用いられる対象色度画像と比較色度画像とを用意する。そして、光相関演算装置30を用いて対象色度画像と比較色度画像との相関データを取得し、得られた相関データから画像の類似性を判断することで画像検索処理を行う。
また、検索領域設定部14は、画像検索処理部15で実行される画像検索において相関データである相関画像に対して検索領域を適用する方法が用いられる場合に、検索領域をあらかじめ設定するための検索領域設定手段である。この検索領域等については、具体的な画像検索方法とともに後述する。
画像検索制御装置10には、画像検索処理部15に対して、検索画像出力部16、及び相関データ入力部17が設けられている。検索画像出力部16は、画像検索処理部15からの指示により、対象色度画像と比較色度画像とが並置された画像である検索画像を生成し、光相関演算装置30へと出力する。また、相関データ入力部17は、光相関演算装置30において取得された対象色度画像と比較色度画像との相関データを入力し、画像検索処理部15へと送出する。
画像検索制御装置10は、具体的には、例えば、画像検索処理等の各種の処理を実行するCPUと、処理動作に必要な各ソフトウェアプログラム等が記憶されるROMと、比較画像データベース12に用いられる内部メモリまたは外部記憶装置などの記憶装置とを有して構成される。また、図1に示した構成では、画像検索制御装置10に対して、入力装置21、表示装置22、及び外部I/F23が接続されている。
入力装置21は、画像検索装置1Aにおける画像検索処理等の処理動作に必要な情報、指示の入力に用いられる入力手段である。このような入力装置21としては、例えばキーボード、マウス、あるいは各種のボタン、スイッチなどが挙げられる。表示装置22は、例えば液晶ディスプレイ等によって構成され、必要に応じて、画像検索処理に必要なデータや情報の表示、及び得られた画像検索結果の表示などに用いられる。
また、外部I/F23は、画像検索制御装置10に対して他の記憶装置、処理装置などの外部装置を接続する際に用いられる。なお、これらの入力装置21、表示装置22、外部I/F23については、必要に応じて設ければ良い。また、対象画像入力部11による対象画像または対象色度画像の入力については、例えば、上記構成において入力装置21または外部I/F23を介して画像データを入力する構成を用いることができる。
光相関演算装置30は、液晶表示装置31と、第1フーリエ変換レンズ32と、空間光変調器33と、読み出し光供給部34と、ハーフミラー35と、第2フーリエ変換レンズ36と、相関データ取得装置37とを有して構成されている。
液晶表示装置31は、検索画像出力部16から入力された、対象色度画像と比較色度画像とが並置された検索画像を表示し、検索画像に基づく検索光像を出力する検索光像出力手段である。また、第1フーリエ変換レンズ32は、検索光像をフーリエ変換して、対象色度画像と比較色度画像とについての結合フーリエ変換光像を形成する第1フーリエ変換手段である。
空間光変調器33は、結合フーリエ変換光像に基づく第2検索光像を生成して出力する光像生成手段である。また、第2フーリエ変換レンズ36は、第2検索光像をフーリエ変換して、対象色度画像と比較色度画像との間の相関度を示す相関光像を形成する第2フーリエ変換手段である。また、相関データ取得装置37は、相関光像を検出して相関データを取得し、画像検索制御装置10の相関データ入力部17へと出力する相関データ取得手段である。
このような構成において、液晶表示装置31から対象色度画像と比較色度画像とが並置された検索画像によって生成された検索光像が出力されると(検索光像出力ステップ)、この検索光像はレンズ32によってフーリエ変換されて、結合フーリエ変換光像が生成される(第1フーリエ変換ステップ)。このレンズ32によって形成された結合フーリエ変換パターンは、空間光変調器33に対して書き込み部33a側から入力され、結合フーリエ変換光像の情報が空間光変調器33に書き込まれる。
一方、空間光変調器33の読み出し部33bには、空間光変調器33とレンズ36との間に斜めに配置されたハーフミラー35を介して、読み出し光供給部34からの読み出し光が入力されている。そして、この読み出し光によって結合フーリエ変換パターンに対応して生成された光像が、第2検索光像として読み出し部33bから出力される(光像生成ステップ)。
ここで、読み出し光供給部34については、例えばレーザ光源などの読み出し光源と、読み出し光源から供給された読み出し光をハーフミラー35へと導く導光光学系とによって構成することができる。また、第2検索光像を生成する空間光変調器33としては、例えば光アドレス型のPAL−SLMを用いることができる。このように、空間光変調器を用いて光相関演算装置30を構成することにより、対象色度画像と比較色度画像とについての光相関演算を好適に実行することができる。
空間光変調器33から出力された第2検索光像は、ハーフミラー35を通過し、レンズ36によってフーリエ変換される(第2フーリエ変換ステップ)。これにより、対象色度画像と比較色度画像との間の相関度についての情報を含む相関光像が形成され、相関データ取得装置37において相関光像が検出されて、結合変換相関法(JTC法)による相関データが取得される(相関データ取得ステップ)。
上記実施形態による画像検索装置、及び画像検索装置を用いて実行される画像検索方法の効果について説明する。
図1に示した画像検索装置1A、及び画像検索方法においては、画像検索対象の対象画像、及び比較対象の比較画像のそれぞれ(図3の画像(a)参照)について、画像検索処理部15において、画像内での色度分布を色度図上でヒストグラム化した色度値ヒストグラム画像である対象色度画像、比較色度画像を用意する(図3の画像(b)参照)。そして、これらの対象色度画像及び比較色度画像について、光相関演算装置30において、対象色度画像と比較色度画像とが並置された検索画像を用いた光学的な相関演算を行って、得られた相関データから画像の類似性を判断している。
このように、元画像をそのまま用いるのではなく、それに対応する色度値ヒストグラム画像を用いて画像を比較するとともに、JTC法による光相関演算を利用して色度画像の相関度を計測して画像検索を行う構成によれば、色情報に着目した画像検索を、充分な精度で、かつ光演算によって高速に実行することが可能となる。
このような画像検索の応用の一例として、図3に示した花の画像の検索が挙げられる。例えば、対象画像入力部11から入力された検索対象の花の画像を、比較画像データベース12に登録された全国の産地の花の画像のそれぞれと、対応する色度画像によって比較する。そして、データベース12に登録された産地のうち、最も類似度が高いと判断された産地を選択するという画像検索方法が考えられる。
あるいは、画像検索の応用の他の例として、人肌の画像の検索が挙げられる。このような人肌の画像の検索は、例えば皮膚病の診断、化粧品についてのアドバイスなどの分野において有効であると考えられる。また、比較画像データベース12に登録された人肌の画像に診断内容、化粧品番号などの情報を付加しておけば、画像検索の結果に基づいて、それらの付加情報を有効に利用することが可能となる。
ここで、図1に示した画像検索装置1Aでは、画像検索制御装置10において、対象画像または比較画像について色度分布の色度図上でのヒストグラム化を行って、対象色度画像または比較色度画像を生成する色度画像生成部13を設けている。このように、画像検索装置1A内において、元画像から色度画像を生成することが可能な構成とすることにより、上記した対象色度画像及び比較色度画像を用いた画像検索を好適に実行することが可能となる。
なお、対象画像については、上記したように、対象画像入力部11において、対象画像に代えて対象色度画像を直接入力する構成としても良い。同様に、比較画像についても、比較画像データベース12において、比較画像に代えて比較色度画像を直接データベース化しておく構成としても良い。このような場合、色度画像生成部13については、不要であれば設けなくても良い。
さらに、色度画像生成部13において、元画像(対象画像、比較画像)からの色度画像(対象色度画像、比較色度画像)の生成について、元画像にマスク処理を施し、元画像内の必要な画像部分について色度画像を作成することが可能な構成としても良い。そのようなマスク処理の一例としては、例えば、図4に示すように、花の画像に対して、対象物を囲むマスク線(図4中の破線)を作成し、マスク線の外側部分(図4中で斜線を付した部分)を色度画像の生成対象から外して、マスク線の内側の画像部分のみについてヒストグラム化による色度画像の生成を行う方法がある。このように、元画像に対して必要なマスク処理を行った上で生成された色度画像を画像検索に用いることにより、花などの対象物に関する画像検索の精度を向上することができる。
また、光相関演算装置30に用いられる相関データ取得装置37については、対象色度画像と比較色度画像との相関データとして、対象色度画像と比較色度画像とについての自己相関ピークと、相互相関ピークとを含む相関画像を取得する相関画像取得装置を用いることが好ましい。このように、対象色度画像と比較色度画像との間の相関度についての情報を含む相関画像を取得し、画像検索処理部15において相関画像を用いて画像の類似性の判断、及びそれに基づく画像検索処理を行うことにより、色度画像を用いた画像検索を精度良く実行することが可能となる。このような相関画像取得装置としては、例えばCCDなどの撮像素子を用いることができる。
また、このように光相関演算装置30において相関画像が取得される場合、画像検索処理部15においては、相関画像に対して、相互相関ピークの位置に対応してあらかじめ設定された検索領域を適用し、検索領域内で取得された相関強度を参照して対象色度画像と比較色度画像との類似性を判断することが好ましい。このように、光相関演算によって取得された相関画像に対して所定の検索領域を適用して、対象色度画像と比較色度画像との相関度についての情報を取得することにより、色度画像の相関データを用いた画像検索を確実に実行することが可能となる。
また、このような検索領域について、図1に示す構成では、画像検索制御装置10において、検索領域を設定するための検索領域設定部14を設けている。この場合の検索領域の設定方法としては、例えば、あらかじめ光相関演算装置30において対象色度画像同士の間で光学的な相関演算を行い、得られた相関画像を参照して検索領域を設定する方法が挙げられる。このような方法によれば、相関画像に対する検索領域を、相互相関ピークの位置に確実に対応するように設定することが可能である。
図1に示した画像検索装置1Aを用いた画像検索方法について、図5及び図6を参照してさらに具体的に説明する。図5及び図6は、それぞれ色度画像を用いた画像検索方法について模式的に示す図である。なお、以下においては、画像検索に用いる画像として、元画像ではなく、対象色度画像、及び比較色度画像が用意されている場合について説明し、元画像からの色度画像の生成(図3参照)については、説明を省略する。
本実施形態の画像検索方法においては、まず、図1の画像検索装置1Aにおいて、画像検索制御装置10の対象画像入力部11から画像検索の対象となる対象色度画像P1を入力する(対象画像入力ステップ)。この対象色度画像P1には、図5の色度画像(a)に模式的に示すように、色度値データがある程度の強度で分布しているデータ領域A1が1または複数存在している。
このような対象色度画像P1に対し、検索領域設定部14において、相関画像に対する検索領域を設定するための処理を行う(検索領域設定ステップ)。具体的には、図5の検索画像(b)に示すように、同一の対象色度画像P1が2つ並置された画像を検索領域設定用の検索画像として生成する。ここでは、対象色度画像P1の幅を2hとし、対象色度画像P1を+hだけ移動させた画像P1aと、−hだけ移動させた画像P1bとを並置して検索画像としている。また、これらの画像P1a、P1bには、それぞれ対象色度画像P1でのデータ領域A1に対応する領域A1a、A1bが含まれている。
このような検索画像を検索画像出力部16から光相関演算装置30へと出力し、光相関演算装置30において並置された対象色度画像同士の間で光学的な相関演算を行って、図5の画像(c)に示すような相関画像を取得する。この相関画像(c)には、自己相関ピークB1と、ピークB1から±方向にそれぞれ2hだけ離れた2つの相互相関ピークC1a、C1bとが現れる。検索領域設定部14では、この相関画像(c)を参照し、相互相関ピークC1a、C1bの位置、及び範囲等に基づいて検索領域が設定される。
ここで、JTC法を用いた光相関演算によって得られる相関画像について、簡単に説明しておく。比較対象として検索画像において並置される2つの画像をa(x)、b(x)とし、これらの画像をそれぞれ+h、−hだけ離して並置した画像を検索画像c(x)とすると、この検索画像c(x)は、下記の式(1)
によって表される。また、画像c(x)をフーリエ変換した関数をC(k)とすれば、このC(k)は下記の式(2)
によって求められる。
によって表される。また、画像c(x)をフーリエ変換した関数をC(k)とすれば、このC(k)は下記の式(2)
によって求められる。
この関数C(k)に対して、複素共役の関数をC†(k)として
と|C(k)|2をとり、さらに、これを実空間上のパワースペクトルに変換すると、以下の式(4)が得られる。
ここで、式(4)において、記号*はコンボリューションを表す。
と|C(k)|2をとり、さらに、これを実空間上のパワースペクトルに変換すると、以下の式(4)が得られる。
ここで、式(4)において、記号*はコンボリューションを表す。
また、この式(4)の右辺において、第1項、及び第2項は、図5(c)に示す相関画像における自己相関ピークB1に対応している。また、第3項、及び第4項は、自己相関ピークから±2h離れた相互相関ピークC1a、C1bにそれぞれ対応している。
ここで、上記したように対象色度画像同士の間で光学的な相関演算を行った場合には、b(x)=a(x)であるので、2つの相互相関ピークC1a、C1bのピーク強度(相関強度)は互いに等しくなる。また、このような対象色度画像同士についての相関画像を参照し、相関画像に現れる2つの相互相関ピークC1a、C1bに基づいて検索領域を設定することにより、その対象色度画像に対する画像検索処理を精度良く実行することが可能となる。
対象色度画像同士についての相関画像を参照しての検索領域の具体的な設定方法については、例えば、表示装置22に表示された相関画像を参照して、操作者が入力装置21を構成するマウスの操作等によって手動で検索領域を設定する方法を用いることができる。あるいは、相関画像に対してピーク識別のための閾値等をあらかじめ設定しておき、それらの設定条件に基づいて自動で検索領域を設定する方法を用いても良い。また、検索領域の形状については、例えば矩形状、円形状等の領域を用いることができる。
次に、上記のように設定された検索領域を用い、対象色度画像P1についての画像検索を実行する。比較画像データベース12に格納された複数の比較色度画像のうちで比較対象とする比較色度画像P2を選択して読み出して、対象色度画像P1と比較色度画像P2とを用意する。そして、図6の検索画像(a)に示すように、対象色度画像P1と比較色度画像P2とが並置された検索画像を生成する。この画像(a)の例では、検索画像中の左側に対象色度画像P1が、また、右側に比較色度画像P2が配置されている。また、これらの画像P1、P2では、色度値データがある程度の強度で分布しているデータ領域A1、A2の位置、範囲等が互いに異なる。
このような検索画像を検索画像出力部16から光相関演算装置30へと出力し、光相関演算装置30において並置された対象色度画像と比較色度画像との間で光学的な相関演算を行って、図6の画像(b)に示すような相関画像を取得する。画像検索処理部15は、このようにして得られた相関画像から画像の類似性を判断することで、画像検索処理を行う(画像検索処理ステップ、光相関演算ステップ)。
具体的には、図6の相関画像(b)には、自己相関ピークB2が現れる。また、自己相関ピークB2から±方向にそれぞれ2hだけ離れた2つの相互相関ピークC2a、C2bが、対象色度画像と比較色度画像との間の相関度に応じた強度で現れる。これに対して、上記したように図5の相関画像(c)に基づいて設定された矩形状の検索領域Ra、Rbを適用する。そして、画像検索処理部15において、検索領域Ra、Rb内で取得された相関強度を参照して、対象色度画像と比較色度画像との類似性が判断される。
このような対象色度画像と比較色度画像との画像比較処理、及び類似性の判断処理を、比較画像データベース12に格納された複数の比較色度画像のそれぞれについて順次実行する。これにより、例えば複数の比較画像のうちで対象画像と色情報に関して最も類似度が高い画像を抽出するなどの画像検索が可能となる。
ここで、上記したように相関画像に対して検索領域を適用し、検索領域内で取得された相関強度を参照して画像検索を行う構成では、相関画像から取得される相関強度は、対象色度画像と比較色度画像との類似性の定量的な指標となる。すなわち、上記方法では、対象色度画像と比較色度画像とで色度分布がある程度異なっていた場合、相互相関ピークは現れるが、その強度が同一の色度分布の場合よりも小さくなる。したがって、相関画像から取得される相関強度の値を参照することにより、例えば、複数の比較画像を対象画像との類似度が高い順に並べるなど、画像検索を利用した様々な情報の取得が可能となる。
本発明による画像検索装置、及び画像検索方法は、上記した実施形態及び実施例に限られるものではなく、様々な変形が可能である。例えば、上記実施形態では、光相関演算装置30の相関データ取得装置37として、CCDなどの画像取得装置を用いる例を説明したが、例えば相互相関ピークを選択的に検出するように配置された光検出器など、他の構成の光検出装置を用いても良い。
本発明は、色情報に着目した画像検索を好適に実行することが可能な画像検索装置、及び画像検索方法として利用可能である。
1A…画像検索装置、10…画像検索制御装置、11…対象画像入力部、12…比較画像データベース、13…色度画像生成部、14…検索領域設定部、15…画像検索処理部、16…検索画像出力部、17…相関データ入力部、21…入力装置、22…表示装置、23…外部I/F、
30…光相関演算装置、31…液晶表示装置、32…第1フーリエ変換レンズ、33…空間光変調器、33a…書き込み部、33b…読み出し部、34…読み出し光供給部、35…ハーフミラー、36…第2フーリエ変換レンズ、37…相関データ取得装置。
30…光相関演算装置、31…液晶表示装置、32…第1フーリエ変換レンズ、33…空間光変調器、33a…書き込み部、33b…読み出し部、34…読み出し光供給部、35…ハーフミラー、36…第2フーリエ変換レンズ、37…相関データ取得装置。
Claims (12)
- 画像検索の対象となる対象画像、または対象画像内での色度分布を色度図上でヒストグラム化した対象色度画像を入力する対象画像入力手段と、
比較画像、または比較画像内での色度分布を色度図上でヒストグラム化した比較色度画像を複数、データベース化して記憶する比較画像データベースと、
前記対象色度画像と前記比較色度画像とを用意して、それらの相関データから類似性を判断することで画像検索処理を行う画像検索処理手段と、
前記対象色度画像と前記比較色度画像との間で光学的な相関演算を行って、得られた前記相関データを前記画像検索処理手段へと出力する光相関演算手段とを備え、
前記光相関演算手段は、
前記対象色度画像と前記比較色度画像とが並置された検索画像に基づく検索光像を出力する検索光像出力手段と、
前記検索光像をフーリエ変換して、前記対象色度画像と前記比較色度画像とについての結合フーリエ変換光像を形成する第1フーリエ変換手段と、
前記結合フーリエ変換光像に基づく第2検索光像を生成する光像生成手段と、
前記第2検索光像をフーリエ変換して、前記対象色度画像と前記比較色度画像との間の相関度を示す相関光像を形成する第2フーリエ変換手段と、
前記相関光像を検出して前記相関データを取得する相関データ取得手段と
を有することを特徴とする画像検索装置。 - 前記対象画像または前記比較画像について色度分布の色度図上でのヒストグラム化を行って、対応する前記対象色度画像または前記比較色度画像を生成する色度画像生成手段を備えることを特徴とする請求項1記載の画像検索装置。
- 前記相関データ取得手段は、前記相関データとして、前記対象色度画像と前記比較色度画像とについての自己相関ピークと、相互相関ピークとを含む相関画像を取得することを特徴とする請求項1または2記載の画像検索装置。
- 前記画像検索処理手段は、前記相関画像に対して、前記相互相関ピークの位置に対応してあらかじめ設定された検索領域を適用し、前記検索領域内で取得された相関強度を参照して前記対象色度画像と前記比較色度画像との類似性を判断することを特徴とする請求項3記載の画像検索装置。
- 前記光相関演算手段において前記対象色度画像同士の間で光学的な相関演算を行って得られた相関画像を参照して、前記検索領域をあらかじめ設定する検索領域設定手段を備えることを特徴とする請求項4記載の画像検索装置。
- 前記光像生成手段は、前記結合フーリエ変換光像を書き込み側から入力し、読み込み光によって生成された前記第2検索光像を読み出し側から出力する空間光変調器であることを特徴とする請求項1〜5のいずれか一項記載の画像検索装置。
- 画像検索の対象となる対象画像、または対象画像内での色度分布を色度図上でヒストグラム化した対象色度画像を入力する対象画像入力ステップと、
比較画像、または比較画像内での色度分布を色度図上でヒストグラム化した比較色度画像を複数、データベース化して記憶する比較画像データベースを用い、前記対象色度画像と前記比較色度画像とを用意して、それらの相関データから類似性を判断することで画像検索処理を行う画像検索処理ステップと、
前記対象色度画像と前記比較色度画像との間で光学的な相関演算を行って、得られた前記相関データを出力する光相関演算ステップとを備え、
前記光相関演算ステップは、
前記対象色度画像と前記比較色度画像とが並置された検索画像に基づく検索光像を出力する検索光像出力ステップと、
前記検索光像をフーリエ変換して、前記対象色度画像と前記比較色度画像とについての結合フーリエ変換光像を形成する第1フーリエ変換ステップと、
前記結合フーリエ変換光像に基づく第2検索光像を生成する光像生成ステップと、
前記第2検索光像をフーリエ変換して、前記対象色度画像と前記比較色度画像との間の相関度を示す相関光像を形成する第2フーリエ変換ステップと、
前記相関光像を検出して前記相関データを取得する相関データ取得ステップと
を有することを特徴とする画像検索方法。 - 前記対象画像または前記比較画像について色度分布の色度図上でのヒストグラム化を行って、対応する前記対象色度画像または前記比較色度画像を生成する色度画像生成ステップを備えることを特徴とする請求項7記載の画像検索方法。
- 前記相関データ取得ステップにおいて、前記相関データとして、前記対象色度画像と前記比較色度画像とについての自己相関ピークと、相互相関ピークとを含む相関画像を取得することを特徴とする請求項7または8記載の画像検索方法。
- 前記画像検索処理ステップにおいて、前記相関画像に対して、前記相互相関ピークの位置に対応してあらかじめ設定された検索領域を適用し、前記検索領域内で取得された相関強度を参照して前記対象色度画像と前記比較色度画像との類似性を判断することを特徴とする請求項9記載の画像検索方法。
- 前記対象色度画像同士の間で光学的な相関演算を行って得られた相関画像を参照して、前記検索領域をあらかじめ設定する検索領域設定ステップを備えることを特徴とする請求項10記載の画像検索方法。
- 前記光像生成ステップにおいて、前記結合フーリエ変換光像を書き込み側から入力し、読み込み光によって生成された前記第2検索光像を読み出し側から出力する空間光変調器を用いることを特徴とする請求項7〜11のいずれか一項記載の画像検索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007073200A JP2008234327A (ja) | 2007-03-20 | 2007-03-20 | 画像検索装置及び画像検索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007073200A JP2008234327A (ja) | 2007-03-20 | 2007-03-20 | 画像検索装置及び画像検索方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008234327A true JP2008234327A (ja) | 2008-10-02 |
Family
ID=39907023
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007073200A Pending JP2008234327A (ja) | 2007-03-20 | 2007-03-20 | 画像検索装置及び画像検索方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008234327A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2739030A2 (en) | 2012-11-28 | 2014-06-04 | Brother Kogyo Kabushiki Kaisha | Controller for imaging terminal |
EP2770435A2 (en) | 2013-02-21 | 2014-08-27 | Brother Kogyo Kabushiki Kaisha | Computer program and control device to monitor the status of a printer |
-
2007
- 2007-03-20 JP JP2007073200A patent/JP2008234327A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2739030A2 (en) | 2012-11-28 | 2014-06-04 | Brother Kogyo Kabushiki Kaisha | Controller for imaging terminal |
US9628644B2 (en) | 2012-11-28 | 2017-04-18 | Brother Kogyo Kabushiki Kaisha | Controller for imaging terminal |
EP2770435A2 (en) | 2013-02-21 | 2014-08-27 | Brother Kogyo Kabushiki Kaisha | Computer program and control device to monitor the status of a printer |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8591414B2 (en) | Skin state analyzing method, skin state analyzing apparatus, and computer-readable medium storing skin state analyzing program | |
CN103885168B (zh) | 用于显微镜装置的自校准的方法 | |
EP3476272A1 (en) | Image | |
US8977017B2 (en) | System and method for support of medical diagnosis | |
EP3529591B1 (en) | Method and system for detecting an anomaly within a biological tissue | |
JP6770951B2 (ja) | 結果画像を生成する方法及び光学装置 | |
EP3572793A1 (en) | Information retrieval system and program | |
CN109965871B (zh) | 脑机接口信号的分析方法、***、介质及设备 | |
CN114022547A (zh) | 一种内窥镜图像检测方法、装置、设备及存储介质 | |
JP6261443B2 (ja) | 分光情報を処理する情報処理装置及び情報処理方法 | |
CN109938843A (zh) | 光学跟踪***及光学跟踪方法 | |
JP2019118670A (ja) | 診断支援装置、画像処理方法及びプログラム | |
US9521397B2 (en) | System and method for selecting a two-dimensional region of interest using a range sensor | |
JP2008234327A (ja) | 画像検索装置及び画像検索方法 | |
JP2006334044A (ja) | 眼科測定装置 | |
JP2009042835A (ja) | 入力支援装置、および、コンピュータプログラム | |
EP3805835B1 (en) | Optical imaging system and related apparatus, method and computer program | |
WO2021144984A1 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
US20230147924A1 (en) | Image processing system, imaging system, image processing method, and non-transitory computer-readable medium | |
Chen et al. | Towards robust needle segmentation and tracking in pediatric endoscopic surgery | |
JP2007192552A (ja) | 分光測定装置 | |
US9478014B2 (en) | Image processing method for extracting linear patterns | |
WO2020181414A1 (zh) | 多光谱成像***、装置、方法及存储介质 | |
JP2010238164A (ja) | 情報相関装置 | |
EP3889886A1 (en) | Systems, methods and computer programs for a microscope system and for determining a transformation function |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090512 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090929 |