JP2006244119A - テクスチャ画像の検索装置、検索方法、検索プログラム及びそのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】 特定のテクスチャ画像に近似する画像を画像データベースから容易に検索することができる検索装置、方法、プログラム及びそれを記録した記録媒体を提供すること。
【解決手段】 テクスチャ画像の検索方法は、テクスチャ画像のプロフィールを生成する第1ステップと、前記プロフィールから、前記テクスチャ画像の色濃度変化に対応するサイン波形の振幅、周期及びオフセットに対応する３つのテクスチャ特徴量を計算する第２ステップと、予めデータベースに格納された画像毎に、格納された前記画像の前記テクスチャ特徴量及び前記テクスチャ画像の前記テクスチャ特徴量の間のテクスチャ距離を計算する第３ステップと、前記データベースに格納された前記画像を、前記テクスチャ距離に応じて順序付けする第４ステップとを含む。
【選択図】 図２

Description

本発明は、テクスチャ画像から特徴量を抽出し、画像データベースの中から近似するテクスチャを持つ画像を検索する装置、方法、プログラム及びそのプログラムを記録した記録媒体に関する。

テクスチャ画像を分類したり、識別するために、画像を解析し、画像から特徴量を抽出する研究は、従来から行なわれている。例えば、下記非特許文献１には、種々の統計的特徴量の抽出方法が開示されている。その中で、古くから、濃淡ヒストグラムの統計量や同時生起行列の統計量が使われてきた。例えば、人工衛星写真や航空写真から山、湖、草地等の地勢を分類をするために同時生起行列を用いる方法が知られている。

例えば、下記特許文献１には、特徴抽出の対象となる画像の特徴に応じて同時生起行列の距離パラメータを算出し、人間の感覚に近い画像の象徴的な特徴を抽出する方法が開示されている。特許文献２には、画像を単一波長帯で取得された一つの画像とし、その画像に含まれる一様性もしくは直線性から、画像に含まれる植生等の対象物を分類および識別するために、同時生起行列から得られる特徴量を使用する方法が開示されている。

また、下記特許文献３には、建築外壁の多彩模様を撮影し、画像の輝度信号をフーリエ変換し、その周波数成分から特徴量を得るフーリエ変換（以下、ＦＦＴとも記す）を用いたパワースペクトルの表示方法が開示されている。

また、２次元画像の画素（以下、ピクセルとも記す）を１次元の配列とみなして、１次元のＦＦＴを行い、パワースペクトルによって特徴を表現する方法も、技術的には可能である。この方法では、得られたパワースペクトルは、低周波成分（波長が長く、おおまかな柄に対応する）及び高周波数成分（波長が短く、細かい柄に対応する）を正確に表現することができる。
特開２０００−２０７５６６号公報 特開平１１−１８５００９号公報 特開平１１―２７１２３７号公報 高木幹雄、下田陽久監修、「新編 画像処理ハンドブック」、初版、東京大学出版、２００４年９月１０日、ｐ１２６０〜１２６６、５．４．１統計的特長量の抽出

しかし、上記非特許文献１、特許文献１及び２に開示された方法で得られる特徴量は、画素の濃度分布の統計量、例えば、分散、歪度、尖度、コントラスト、エントロピー等に過ぎず、これらの方法では、テクスチャ画像の空間的形状を表す特徴量を抽出することができない問題がある。

また、上記特許文献３に開示されたＦＦＴを用いた方法では、画像の２次元ＦＦＴから得られる水平及び垂直周波数の分布図からは、元の画像がどのようなテクスチャ画像であるのかを感覚的に認識することができない。即ち、通常、画像の２次元ＦＦＴは、画像中の低周波成分や高周波数成分を強調したり、特定の周波数成分を除去して画像の鮮明度を強調するなどのフィルターとして利用されるものであって、人がその周波数分布図を見ても、元のテクスチャ画像を想像できない問題がある。

また、１次元ＦＦＴを用いる方法では、パワースペクトルによって、低周波成分及び高周波数成分を正確に表現できるが、通常、テクスチャ画像においては、多くの周波数成分が出現するので、この周波数成分を見ても元のテクスチャ画像元のテクスチャ画像を想像できない問題がある。

また、ＦＦＴを用いる場合、処理対象の画像は、縦、横の画素数が同じであり且つ２のべき乗でなければならない制限がある。

したがって、本発明の目的は、人間が感覚的に理解でき、且つ元のテクスチャ画像を直感的に把握できる特徴量を用いて、複数の画像群の中から、所定のテクスチャ画像に近似する画像を容易に検索することができるテクスチャ画像の検索装置、方法、プログラム及びそのプログラムを記録した記録媒体を提供することにある。

本発明に係るテクスチャ画像検索方法（１）は、テクスチャ画像のプロフィールを生成する第1ステップと、前記プロフィールから、前記テクスチャ画像の色濃度変化に対応するサイン波形の振幅、周期及びオフセットに対応する３つのテクスチャ特徴量を計算する第２ステップと、予めデータベースに格納された画像毎に、格納された前記画像の前記テクスチャ特徴量及び前記テクスチャ画像の前記テクスチャ特徴量の間のテクスチャ距離を計算する第３ステップと、前記データベースに格納された前記画像を、前記テクスチャ距離に応じて順序付けする第４ステップとを含むことを特徴としている。

本発明に係るテクスチャ画像検索方法（２）は、上記したテクスチャ画像検索方法（１）において、３つの前記テクスチャ特徴量が、画像の平均アンプ量、平均ピッチ幅及び平均色濃度であり、前記平均アンプ量を前記振幅とし、前記平均ピッチ幅を前記周期とし、且つ前記平均色濃度を前記オフセットとするサイン波形のグラフィックスを生成する第５ステップと、前記データベースに格納された前記画像及び前記グラフィックスを、対応する前記テクスチャ距離の小さいものから所定数、前記テクスチャ距離に応じた順に表示装置に表示する第６ステップとをさらに含むことを特徴としている。

本発明に係るテクスチャ画像検索方法（３）は、上記したテクスチャ画像検索方法（２）において、前記テクスチャ距離が、前記平均アンプ量、前記平均ピッチ幅及び前記平均色濃度の３次元ユークリッド距離であることを特徴としている。

本発明に係るテクスチャ画像検索方法（４）は、上記したテクスチャ画像検索方法（２）又は（３）において、前記平均色濃度が、テクスチャ画像全体の、Ｒ，Ｇ，Ｂデータ毎の平均値、又はＲ，Ｇ，Ｂデータから生成した輝度データの平均値であることを特徴としている。

本発明に係るテクスチャ画像検索方法（５）は、上記したテクスチャ画像検索方法（２）〜（４）のいずれかにおいて、前記平均アンプ量が、テクスチャ画像における明るい画素の色濃度と暗い画素の色濃度との差の平均値であることを特徴としている。

本発明に係るテクスチャ画像検索方法（６）は、上記したテクスチャ画像検索方法（２）〜（５）のいずれかにおいて、前記平均ピッチ幅が、テクスチャ画像のパターンの繰り返しのピクセル幅に対応する値の平均値であることを特徴としている。

本発明に係るテクスチャ画像検索装置（１）は、入力されるテクスチャ画像を記録する記録手段と、記録した前記テクスチャ画像のプロフィールを生成し、該プロフィールから、前記テクスチャ画像の色濃度変化に対応するサイン波形の振幅、周期及びオフセットに対応する３つのテクスチャ特徴量を計算する特徴量検出手段と、予めデータベースに格納された画像毎に、格納された画像の前記テクスチャ特徴量及び所定の画像の前記テクスチャ特徴量の間のテクスチャ距離を計算し、前記データベースに格納された前記画像を、前記テクスチャ距離に応じて順序付けする演算手段と、前記データベースに格納された前記画像及び前記サイン波形のグラフィックスを、対応する前記テクスチャ距離の小さいものから所定数、前記テクスチャ距離に応じた順に表示する表示手段とを備えることを特徴としている。

本発明に係るテクスチャ画像検索装置（２）は、上記のテクスチャ画像検索装置（１）において、前記テクスチャ画像の前記テクスチャ特徴量をテーブルデータとして格納するサーバをさらに備え、前記演算手段が、通信手段を介して前記サーバにアクセスし、前記テーブルデータから前記テクスチャ距離の計算に使用する前記テクスチャ特徴量を取得することを特徴としている。

また、本発明に係るテクスチャ画像の検索プログラムは、コンピュータに、入力されるテクスチャ画像データのプロフィールを生成する第1の機能と、前記プロフィールから、前記テクスチャ画像の色濃度変化に対応するサイン波形の振幅、周期及びオフセットに対応する３つのテクスチャ特徴量を計算する第２の機能と、予めデータベースに格納された画像毎に、格納された画像の前記テクスチャ特徴量及び所定の画像の前記テクスチャ特徴量の間のテクスチャ距離を計算する第３の機能と、前記データベースに格納された前記画像を、前記テクスチャ距離に応じて順序付けする第４の機能とを実現させることを特徴としている。

また、本発明に係るコンピュータ読取可能な記録媒体は、上記の検索プログラムを記録していることを特徴としている。

本発明によれば、所定のテクスチャ画像に近似する画像を、画像データベースの中から自動的且つ容易に検索することができる。

また、検索された複数の画像を、テクスチャ距離の小さい順に表示することができるので、近似する画像を検索する際に多くの画像を確認する必要が無く、一部の画像を目視で確認すればよいので、効率的な検索が可能である。また、これによって、完全な自動検索よりもより望ましい画像を決定することができる。

また、画像から計算した平均アンプ量、平均ピッチ幅及び平均色濃度のそれぞれに対応した振幅、周期及びオフセットを用いて作成したサイン波形のグラフィックは、人間の感覚にマッチし、テクスチャを直感的に把握できるので、近似するテクスチャ画像を検索する上での参考情報として非常に有効である。

以下、添付の図面を参照して、本発明に係る実施の形態を詳細に説明する。

図１は、本発明の実施の形態に係るテクスチャ画像検索装置の概略構成を示すブロック図である。本テクスチャ画像検索装置１は、各部を制御し、後述する所定の処理を実行するＣＰＵ１１と、メモリ１２と、記録部１３と、外部からの指示を受け付ける操作部１４と、操作部１４及び外部機器とのインタフェースの役割をするインタフェース部（以下、Ｉ／Ｆ部と記す）１５と、各部の間でデータを伝送するためのデータバス１６とを備えている。本テクスチャ画像検索装置１は、Ｉ／Ｆ部１５を介して、画像入力装置２が取り込んだ画像データを取得する。図１には、画像入力装置２によって画像データを取得する対象である、表面にテクスチャを有する被測定物４も示している。

ここで、テクスチャを有する被測定物とは、表面に空間的形状（２次元的模様、色彩を含む）を有する物体を意味する。例えば、表面に凹凸がある金属板、大理石、木目調のシート、メタリック塗色に塗装されたパネル等が挙げられ、その大きさに依らず、撮像などによって２次元のテクスチャ画像が得られる空間的形状を有するものであればよい。

画像入力装置２には、例えば、デジタルカメラ、電子顕微鏡、スキャナー等を使用することができる。ＣＰＵ１１は、画像入力装置２から伝送された画像データ（テクスチャ画像）をメモリ１２に一時的に記憶し、後述する方法で所定の特徴量を計算し、この特徴量を基に、記録部１３に予め記録されている複数のテクスチャ画像の中から、近似するテクスチャ画像を検索する。表示装置３は、例えばフルカラー表示が可能な画像表示装置であり、ＣＰＵ１１は、テクスチャ画像の検索結果を所定の形式で、Ｉ／Ｆ部１５を介して表示装置３に表示する。

本実施の形態に係るテクスチャ画像検索装置１の概要を説明すると次の通りである。先ず、画像入力装置２を用いて被測定物４のテクスチャ画像を取り込んで記録部１３に記録し、記録したテクスチャ画像の画素値の変化をサイン波で近似する特徴量（以下、テクスチャ特徴量と記す）、即ち、テクスチャ画像の画素値の変化にできるだけ近い変化をするサイン波を規定するパラメータを計算する。次に、予め複数のテクスチャ画像と、各テクスチャ画像に関して計算したテクスチャ特徴量とを対応付けて格納し（以下、画像データベースと記す）、被測定物４のテクスチャ画像のテクスチャ特徴量と、画像データベース内の各テクスチャ画像のテクスチャ特徴量との間の距離（以下、テクスチャ距離と記す）を計算する。最後に、画像データベースに格納されたテクスチャ画像を、テクスチャ距離に応じた順に表示装置３に表示する。

図２は図１に示したテクスチャ画像検索装置１の動作を説明するフローチャートである。以下、図２に示したフローチャートに基づいて、テクスチャ画像検索装置１の動作を具体的に説明する。

以下の説明においては、特に断らない限りＣＰＵ１１が行う処理として説明する。また、ＣＰＵ１１は、メモリ１２をワーク領域として使用して、必要なデータ（設定値、処理途中のデータなど）を一時記憶し、記録部１３に計算結果などの長期保存するデータを適宜記録する。また、予め作成された画像データベースは、記録部１３に記録されているとする。また、測定対象物４は、自動車外板用上塗り塗色の塗板とし、画像入力装置２にはビデオ顕微鏡を使用することとする。

ステップＳ１において、画像入力装置２、即ちイメージスキャナを制御して、被測定物４、即ち塗板の画像を撮像する。撮像した画像データは、Ｉ／Ｆ部１５を介して、記録部１３に、例えばフルカラーのＪＰＥＧ画像として記録する。

ステップＳ２において、ステップＳ１で記録したフルカラー画像から輝度画像を生成し、その輝度画像を水平方向にスキャンしたプロフィールを生成する。即ち、記録部１３に記録したＪＰＥＧ画像からＲＧＢ形式のビットマップ画像データを生成し、さらにこれを輝度画像（グレー画像とも記す）に変換する。そして、その２次元の輝度画像データの各行のピクセルデータを連続してプロットした１次元のグラフであるプロフィールを生成する。従って、縦ｈピクセル、横ｗピクセルの画像から生成されるプロフィールは、ｈ×ｗの１次元データである。

例えば、ステップＳ１で図３の（ａ）に示したテクスチャ画像が得られたとする。即ち、図３の（ａ）のテクスチャ画像は、自動車外板用上塗り塗色の塗板をビデオ顕微鏡で撮影して得られた、４００ピクセル×４００ピクセルの画像を示す。ピクセルデータは、画像の階調数によって異なり、ここではフルカラー画像（ＲＧＢ各８ビットの画像）であるので、ＲＧＢ各々２^８（＝２５６）階調であり、ピクセルの各ＲＧＢデータは０〜２５５の範囲の整数値である。この階調は、一般に色濃度又は色深度とも表現されるが、本明細書中では色濃度と称する。

得られた画像を水平矢印で示す方向に１行スキャンして得られたプロフィールを図３の（ｂ）に示す。ここで、Ｘ軸は、ピクセル単位の画像上の水平位置であり、Ｙ軸は、色濃度である。ＲＧＢカラー画像に関しては、一つのスキャンに対して、Ｒ、Ｇ、Ｂの３チャンネルのプロフィールを得ることができるが、本発明の特徴の理解を容易にするために、以下ではフルカラー画像から輝度画像を生成し、その輝度画像のプロフィールを使用することとする。輝度画像の生成には、例えばＮＴＳＣ（National Television Standards Committee）が定めた式を用いて、各ピクセルのＲＧＢデータから対応するピクセルの輝度データを計算する。

ステップＳ３において、ステップＳ２で得たプロフィールに関して、極大点及び極小点を検出する。例えば、プロフィール上の連続する３点（ｘ＝i-1、i、i+1）の色濃度ａ_i-1、ａ_i、ａ_i+1が、ａ_i-1＜ａ_i且つａ_i＞ａ_i+1となる場合、ｘ＝ｉの点を極大点とする。また、プロフィール上の連続する３点（ｘ＝i-1、i、i+1）の色濃度ａ_i-1、ａ_i、ａ_i+1が、ａ_i-1＞ａ_i且つａ_i＜ａ_i+1となる場合、ｘ＝ｉの点を極小点とする。図４は、図３の（ｂ）の１次元配列のプロフィールの一部を拡大して示す図である。横軸がピクセル数、縦軸が色濃度である。図４では、Ｈ_j-1、Ｈ_j、Ｈ_j+1などが極大点であり、Ｌ_j-1、Ｌ_jが極小点である。

ここで、１次元のプロフィールを構成する各データ（色濃度）の内、画像の各行の両端の点のデータは、隣接するデータとの相関性が低いとして除外することもできる。即ち、プロフィール上で、右端の点の色濃度の次には、次の行の左端の点の色濃度が続くので、一般に、この２点の相関性は低い。しかし、ここではテクスチャ画像を対象としているので、画像の境界は特異なデータではないとして、これらの点の色濃度も極大点、極小点の検出対象とする。

ステップＳ４において、ステップＳ３で決定した複数の極大点の中から山を、複数の極小点の中から谷をそれぞれ決定し、それらの位置情報及び色濃度を記録部１３に記録する。具体的に示せば、例えば、１つの極大点とその両側の極小点との色濃度の差の少なくとも一方が所定値ｄよりも大きければ、その極大点を山とし、その両側の極小点を谷とする。ここで、所定値ｄは、どの程度の色濃度差を、山または谷として決定するかを決める閾値である。

図４では、大きな山谷の中に小さな山谷（Ａで示した１目盛りの山と谷）も含まれているが、適切な閾値ｄ（２目盛り）を定めることによって、小さな山谷を含まない大局的な１つの山谷だけを抽出することができる。すなわち、ｄ＝２とすることで、Ａの部分の小さな山はノイズとして除かれる。どの程度以上の色濃度差がある山谷だけを抽出するかは、対象とするテクスチャにも依存するので、テクスチャ画像を観察したときの、目視による心理的な弁別限に応じて閾値ｄを決定することができる。例えば、人が操作部１４を操作して、決定した値を入力してもよい。対象とする画像の中で、最もテクスチャが少なく、即ち、輝度又は色の濃淡の変化が少ない所定の小面積部分において、少なくとも２つのピクセルを山として検出できる値に、閾値ｄを設定することが望ましい。

ステップＳ５において、ステップＳ４で決定した山、谷の色濃度を用いて、平均アンプ量、平均ピッチ幅及び平均色濃度を計算し、これらを用いてサイン波形のグラフィックを生成し、平均アンプ量、平均ピッチ幅、平均色濃度及びグラフィックを対応させて記録部１３に記録する。ここでは、隣接する山及び谷を１つのペアとし、そのペアの数をＮ、ｊ番目のペアの山の高さ（色濃度）をＨ_ｊ、谷の高さ（色濃度）をＬ_ｊとする（ｊは１以上の整数）。

図４を用いて説明すれば、まず、ｊ番目の谷と、それに隣接するｊ番目及びｊ＋１番目の山との色濃度差Ｑ１、Ｑ２を、次式で計算する。
Ｑ１_ｊ＝Ｈ_ｊ−Ｌ_ｊ
Ｑ２_ｊ＝Ｈ_ｊ＋１−Ｌ_ｊ
これらの平均値をｊ番目のアンプ量Ａ_ｊとする。即ち、ｊ番目のアンプ量Ａ_jを、Ａ_ｊ＝（Ｑ１_ｊ＋Ｑ２_ｊ）／２ で計算する。

全ての山及び谷のペアに関してアンプ量Ａ_ｊを求め、その平均値を平均アンプ量Ａavとする。即ち、平均アンプ量Ａavを次式で計算する。

ここで、平均アンプ量Ａavの単位は色濃度である。

次に、ピッチ幅Ｐ_jを、隣接するｊ番目の山とｊ＋１番目の山との距離（ピクセル数）として、平均ピッチ幅Ｐ_avを以下の式で計算する。

平均ピッチ幅Ｐ_avの単位はピクセルである。

さらに、テクスチャ画像が縦ｈピクセル、横ｗピクセルであり、ｊ番目の画素の色濃度をＧ_ｊとして、画像全体の平均色濃度Ｇ_avを以下の式で計算する。

さらに、以上で計算された平均色濃度Ｇ_av、平均アンプ量Ａ_av、平均ピッチ幅Ｐ_avを用いて、次式で示すサイン波形を２次元平面上に描画したグラフィックを作成する。
ｙ＝Ａ×ｓｉｎ（２πｘ／Ｐ）＋Ｇ （式１）
ここで、ｙは縦軸の色濃度、ｘは変位量ピクセルである。このサイン波形のグラフィックは、テクスチャの粗密、即ちテクスチャ画像の色濃度の２次元的変化の程度を、視覚的に示すことができる。

ここで、ステップＳ５で得られた平均アンプ量、平均ピッチ幅及び平均色濃度が、テクスチャ画像の特徴量として適していることを説明する。テクスチャの粗密によるサイン波形の違いの一例を図５に示す。図５の（ａ）には、テクスチャが密であるテクスチャ画像及び上記のステップＳ５で得られた３つの特徴量（平均色濃度Ｇ_av、平均アンプ量Ａ_av、平均ピッチ幅Ｐ_av）及びこれらを用いたサイン波形のグラフィックを示している。左側のテクスチャ画像は、全体的に明るく、テクスチャのサイズが小さく、明るい部位と暗い部位の差が大きい画像である。従って、平均色濃度が大きく、ピッチ幅が狭く、アンプ量も大きい特徴が抽出されている。一方、図５の（ｂ）には、（ａ）と異なる特徴を持つテクスチャ画像及びサイン波形のグラフィックを示している。（ｂ）のテクスチャ画像は、全体的に暗く、テクスチャがまばらであり、明るい部位と暗い部位の差が大きい画像である。従って、平均色濃度が小さく、ピッチ幅が大きく、アンプ量が小さい特徴が抽出されている。すなわち、波長が長い大きな波の形状である。（ａ）及び（ｂ）に示したサイン波形のグラフィックスを比較すれば、それぞれのテクスチャ画像の特徴がよく表されていることが分かる。

次に、ステップＳ６において、以降の繰り返し処理のカウンタｉ（例えばメモリ１２の所定領域を使用）に、初期値として１を設定した後、ステップＳ７において、予め記録部１３に記録された画像データベースの中から、ｉ番目のテクスチャ画像に対応する３つの特徴量（平均色濃度、平均アンプ量、平均ピッチ幅）を読み出す。

ステップＳ８において、ステップＳ５で求めたテクスチャ画像の３つの特徴量（平均色濃度Ｇ_av、平均アンプ量Ａ_av、平均ピッチ幅Ｐ_av）と、ステップＳ７で読み出したｉ番目のテクスチャ画像の３つの特長量（平均色濃度_avi、平均アンプ量Ａ_avi、平均ピッチ幅Ｐ_avi）とのテクスチャ距離ΔＴを計算する。

ここで、テクスチャ距離は以下のようして計算する。まず、平均色濃度Ｇ、平均アンプ量Ａ、平均ピッチ幅Ｐのそれぞれの色濃度差ΔＧ_i、アンプ量差ΔＡ_i、ピッチ幅差ΔＰ_iを次式で計算する。
ΔＧ_i＝Ｇ_avi−Ｇ_av
ΔＡ_i＝Ａ_avi−Ａ_av
ΔＰ_i＝Ｐ_avi−Ｐ_av
次に、これらを用いて３次元ユークリッド距離としてテクスチャ距離ΔＴ_iを次式で計算する。
ΔＴ_i＝（(ΔＧ_i)²＋(ΔＡ_i)²＋ (ΔＰ_i)²）^1/2 （式２）
ステップＳ９において、画像データベースに比較対照のテクスチャ画像があるか否かを判断し、あると判断すれば、ステップＳ１０に移行してカウンタｉを１だけ増大させて、ステップＳ７に戻る。画像データベースに比較対照のテクスチャ画像がないと判断すれば、ステップＳ１１に移行する。これによって、画像データベースのテクスチャ画像（ｉ）毎に、テクスチャ距離ΔＴ_iが求められる。２つの画像を用いて計算したテクスチャ距離ΔＴが小さい程、その２つのテクスチャが近似していると考えられるので、テクスチャ距離ΔＴを基準として、ステップＳ１１以降において画像データベースの検索を行う。

ステップＳ１１において、以上で得られたテクスチャ距離ΔＴ_iの中から、値の小さい順に所定数のテクスチャ距離ΔＴ_iを選択する。

ステップＳ１２において、ステップＳ１１で選択したテクスチャ距離ΔＴ_iに対応するテクスチャ画像（ｉ）、サイン波形のグラフィックス、テクスチャ距離ΔＴ_iを、画像データベースから読み出し、テクスチャ距離ΔＴ_iの小さい順に表示装置３に表示する。このとき、付帯情報として、既存の画像の履歴（それを作成した配合、塗装条件、撮影部位、商品名等）を表示してもよい。

ステップＳ１３において、測定する次の被測定物４があるか否かを判断し、次の被測定物４があればステップＳ１に戻って上記した処理を実行し、無ければ終了する。

以上によって、画像入力装置２を用いて入力した被測定物４のテクスチャ画像に近似するテクスチャ画像を、テクスチャ画像データベースから検索し、被測定物４のテクスチャに近似する順に、検索されたテクスチャ画像を表示装置３に表示することができる。最終的に１つの画像を選択する場合、最もテクスチャ距離が小さい画像を自動的に選択することもできるが、人が、サイン波形のグラフィックスをも目視により考慮して、表示された複数の画像の中から、最も近似する画像を判断することもできる。

上記においては、画像入力装置２としてビデオ顕微鏡を使用する場合を説明したが、これに限定されず、テクスチャを有する物体の大きさや形状に応じて画像入力装置を適宜選択すればよい。例えば、デジタルカメラ、イメージスキャナー、顕微鏡、ビデオカメラ等を使用することができる。

また、対象のテクスチャ画像は、上記したように画像入力装置２を使用して取り込む代わりに、予め所定の形式で記録されたテクスチャ画像を、インターネットなどの通信回線を介して取り込んだり、各種の可搬型の記録媒体（光ディスクなど）から取り込んでもよい。また、テクスチャ画像として、絵画や写真、印刷物などをフルカラー撮像したデータや、そのデータの色彩を変更した画像データなどを使用することもできる。

また、取得したテクスチャ画像をＪＰＥＧ形式で記録部１３に記録する場合を説明したが、これに限定されず、画像格納形式は任意である。例えば、周知のＴＩＦＦ形式、ビットマップ形式、ＧＩＦ形式、ＰＮＧ形式等のラスタ画像形式を利用できる。また、本発明においてはＲＧＢの信号、又は、テクスチャ画像がグレー画像の場合にはＲＧＢの信号の平均値を読み取ることができればよいので、ベクトル画像形式であるＰＩＣＴ形式、ＥＰＳ形式（拡張ポストスクリプト形式）、ＳＶＧ形式、ＰＤＦ形式等を用いることもできる。

また、上記では８ビットの輝度画像で、色濃度が０〜２５５の場合を説明したが、これに限定されない。例えば、１０ビットの輝度画像ならば２^１０＝１０２４階調（色濃度は０〜１０２３の範囲）となる。

また、画像の画素数は上記に限定されず、任意である。例えば、取り込む画像の画素数を、画像データベースの画素数が異なっていてもよく、画像データベースの各画像の画素数も異なっていてもよい。検索結果を表示する場合、表示する画素数が元画像の画素数よりも大きければ、元画像の所定の領域のみを表示すればよい。

また、上記では、色濃度をそのまま使用して特徴量を計算する場合を説明したが、これに限定されず、測定の色濃度（８ビット、１０ビット、・・・ｎビット（ｎは１０を超える整数））を規格化して、整数である色濃度を実数に置き換えて、一連の計算を行ってもよい。例えば、山谷の決定において、対象とするテクスチャ集合のうち、色濃度の最小値を０．０とし、色濃度の最大値を任意の実数値（例えば、１００、１０００等の値）に対応させて規格化し、この規格化した範囲の何％を閾値ｄとするかを予め決定すれば、閾値ｄは画像測定の色濃度に依存しない値とすることができる。

また、ステップＳ２でのプロフィールの生成において、画像の連続する行を横方向にスキャンする場合を説明したが、テクスチャ画像を対象としているので、重複せずに全ての画素をスキャンできればよく、スキャンする行の順序は任意である。例えば、１行置きにスキャンしてもよく、全くランダムな順に行をスキャンしてもよい。また、スキャン方向が平行であればよく、横方向のスキャンに限らず、縦方向にスキャンしても、一定方向であれば斜め方向にスキャンしてもよい。

また、画像の平均アンプ量、平均ピッチ幅及び平均色濃度の計算方法は、ステップＳ３〜Ｓ５での方法に限定されない。また、上記では、画像の平均アンプ量、平均ピッチ幅及び平均色濃度を用いてサイン波形を指定する場合を説明したが、これに限定されず、人間がテクスチャ画像の色濃度の変化に近いと認識するサイン波形を指定できる限り、別の特徴量を用いてサイン波形を指定してもよい。

また、ステップＳ５で平均アンプ量、平均ピッチ幅及び平均色濃度によって定義されるサイン波形のグラフィックを生成する場合を説明したが、これらの特徴量を記録部１３に記録しておけば、グラフィックを生成しなくてもよい。例えば、検索の結果を表示するときに、これらの特徴量を用いて、サイン波形を描画してもよい。

また、ステップＳ８でのテクスタチャ距離ΔＴの計算において、色濃度差ΔＧを含めて、３次元のユークリッド距離を計算しているが、これに限定されない。例えば、画像の色濃度等の色情報が別の測定装置で得られる場合、すなわち色濃度の情報を考慮に入れない場合には、ΔＴ_i’＝（(ΔＡ_i)²＋(ΔＰ_i)²）^1/2 で計算したテクスチャ距離ΔＴ_i’を使用することができる。

また、ステップＳ１２において、ステップＳ１１で選択したテクスチャ距離ΔＴ_iに対応するテクスチャ画像（ｉ）のみを表示する場合を説明したが、これに限定されず、テクスチャ距離の大きさの順に全てのテクスチャ画像を表示してもよい。

また、上記では、カラー画像から輝度画像を生成し、そのプロフィールを基にしてテクスチャ距離を式２によって計算したが、カラー画像のプロフィールを基にテクスチャ距離を計算してもよい。例えば、ＲＧＢの各チャンネルのプロフィールを用いてそれぞれ３つの特徴量（平均色濃度Ｇ_av、平均アンプ量Ａ_av、平均ピッチ幅Ｐ_av）を求め、ＲＧＢの各チャンネルのテクスチャ距離を求め、ＲＧＢの各チャンネルのテクスチャ距離から平均テクスチャ距離ΔＴ_avを、ΔＴ_av＝（ΔＴ_r＋ΔＴ_g＋ΔＴ_b）／３によって計算する。ここで、添え字ｒ、ｇ、ｂは、Ｒ、Ｇ、Ｂの各チャンネルを意味する。この場合、画像データベースの各テクスチャ画像も同様にＧＲＢの各チャネルの３つの特徴量（平均色濃度Ｇ_av、平均アンプ量Ａ_av、平均ピッチ幅Ｐ_av）を求めておくことが必要である。これによって、色の情報を一致させたテクスチャ距離ΔＴ_avを求めることができる。

また、本発明に係るテクスチャ画像検索装置としてコンピュータを用い、コンピュータ上で実行可能なプログラムによって、本発明に係るテクスチャ画像検索方法を実現することができる。例えば、ＪＡＶＡ（登録商標）言語でプログラムを作成して、上記テクスチャ特徴量の計算を実現することができる。本発明に係るテクスチャ画像検索方法を実現するプログラムを、コンピュータ読み取り可能な記録媒体に記録して提供することもできる。

また、本発明に係るテクスチャ画像検索装置は、図１に示した構成に限定されず、基本的に、テクスチャ画像を入力する画像入力手段、入力した画像を記録する記録手段、記録した画像からテクスチャ特徴量を計算する特徴量計算手段、複数のテクスチャ画像およびそのテクスチャ特徴量とを対応させて（例えば、テーブルデータとして）格納する格納手段、該格納手段を検索して記録手段に記録したテクスチャ画像と近似するテクスチャ画像を検索する検索手段、及び検索によって得られたテクスチャ画像を表示する表示手段を備えていればよい。例えば、図１に示したテクスチャ画像検索装置１では、検索される画像データベースが記録部１３に記録されているが、テクスチャ画像検索装置をインターネットなどの通信回線に接続し、通信回線に接続されたコンピュータ（以下、サーバとも記す）の記録装置に画像データベースを記録しておき、テクスチャ画像検索装置が、通信回線を介して必要な情報をサーバから取得し、上記したテクスチャ距離の計算及びテクスチャ画像の検索を行ってもよい。

また、上記入力した画像を記録する記録手段、テクスチャ画像およびテクスチャ特徴量を格納する格納手段には、市販のコンピュータ等を使用することができる。その場合、そのコンピュータを、記録したテクスチャ画像の特徴量を計算し、さらにデータ通信が可能な通信回線によって接続されたサーバ内を検索し、近似のテクスチャ画像を検索する装置としても機能させることができる。

また、本発明に係るテクスチャ画像検索システムにおいて、既存のテクスチャ画像及びその特徴量の格納手段としてサーバを使用する場合には、サーバが、サーバ内のテクスチャ画像及びその特徴量を検索する検索手段とのデータ通信手段を備えていれば、設置される場所については特に限定されるものではなく、サーバが演算手段から遠隔地に設置されていてもよい。また、検索手段内の記録手段（例えばハードディスク）の一部として、サーバの記録手段（例えばハードディスク）を使用することも可能である。

上記したように、本発明に係るテクスチャ検索装置、検索システムは、本発明の趣旨から逸脱しない範囲で種々変更して実現することが可能である。また、本発明に係るテクスチャ検索方法、プログラムに関しても、本発明の趣旨から逸脱しない範囲で種々の変更が可能である。

以下に、実施例を挙げて、本発明の特徴をより具体的に説明する。

（１）試料の用意
検索に供する試料として、既存の調色設計した自動車上塗り塗色の控え塗板から、８５色のメタリック塗色を選択した。ここでメタリック塗色とは、アルミフレーク、マイカフレーク等の鱗片状顔料（光輝材と呼ぶ）を含む塗色を意味する。控え塗板とは、前述のメタリック塗色が得られる様に調整された塗料を、所定の大きさの基材に塗装し、さらにクリヤー塗料を塗装した試験板である。

（２）ビデオ顕微鏡による撮影
画像入力装置として、ビデオ顕微鏡（ズーム型ＶＭＳ（Video Micro Scope）ダイヤズーム、明伸工機社製）を使用して、（１）で用意した８５枚の試験板の撮影を行なった。撮影においては、反射画像を１２５０倍（目盛り５）を標準にし、６２１×４８０ピクセルのフルカラーＪＰＥＧ画像を得た。得られた画像から４００×４００ピクセルの領域を切り取り、解析対象とした。

（３）システム構築ソフト
テクスチャ特徴量の計算には、ＪＡＶＡ（登録商標）言語で作成したプログラムを使用した。また、ファイルメーカーＰｒｏ ｖｅｒ４．０（ファイルメーカー社製）を用いて、テクスチャ画像データベースを構築し、また、テクスチャ画像データベースの検索には、同ソフトの検索機能を用いた。

（４）テクスチャ画像データベースの作成
８５種類の塗色をビデオ顕微鏡で撮影し、実施の形態として説明したテクスチャ特徴量、即ち、平均色濃度、平均アンプ量及び平均ピッチ幅の３つの特徴量を計算し、それらを用いて上記した式１で定義されるサイン波形のグラフィックを作成し、元のテクスチャ画像と対応させて、テクスチャ特徴量及びサイン波形のグラフィックスをテクスチャ画像データベースに格納した。なお、テクスチャ特徴量の計算は、ＪＰＥＧ形式で記録したフルカラー画像を８ビットグレー画像に変換して行った。したがって、本実施例におけるテクスチャ特徴量は、グレー画像での値である。また、山谷を識別するための色濃度の閾値ｄは１６とした。

（５）検索結果
図６は、検索結果の表示装置（ディスプレイ）への表示例を示す図である。

まず、上記の（１）で使用した８５色以外の任意の塗色（塗色名がｈ１９９ｑ０７０５、以下、対象メタリック色と呼ぶ）を（２）と同様にビデオ顕微鏡で撮影し、フルカラーＪＰＥＧ画像を生成した。次に、８ビットグレー画像に変換してテクスチャ特徴量を計算し、その特徴量を用いて上記と同様にサイン波形のグラフィックを作成し、フルカラーＪＰＥＧ画像と対応させて、画像データベースに格納した。そして、対象メタリック色に近似するテクスチャ画像を、画像データベース内で検索した。

対象メタリック色のテクスチャ特徴量とデータベース中の８５色の各々の特徴量とを使用してテクスチャ距離ΔＴを計算し、小さいものから３つのテクスチャ距離ΔＴを選択し、それに対応するテクスチャ画像等をディスプレイに表示した。

図６において、対象メタリック色及びそれに関連する情報を、一番上の欄に示している。即ち、平均色濃度（ＧＬで示す）が５２．５、平均アンプ量（Ａｍｐで示す）が５５．８、平均ピッチ幅（Ｐｉｔｃｈで示す）が２７．７であり、テクスチャ距離ΔＴ（ｄＴで示す）が０．０である。上から２番目以降の欄には、８５色のテクスチャ画像データベースから検索した上位３色（テクスチャ距離ΔＴが小さい）及びそれらに関する情報を示している。

８５色のテクスチャ画像中、対象メタリック色に最も近いテクスチャ画像は、上から２番目の欄に表示した塗色名ｈ１９９ｒ００６４であった。この塗色と対象メタリック色との色濃度差ΔＧ（図６ではｄＧＬと示す）は０．９４、アンプ量差ΔＡ（図６ではｄＡｍｐと示す）は５．４１、ピッチ幅差ΔＰ（図６ではｄＰと示す）は３．６８であり、テクスチャ距離ΔＴは６．６である。以下、対象メタリック色に近い順に、サンプル名ｈ１９６ｍ００２２１（ΔＴ＝８．４）、サンプル名７６７９ｂｌｕｅ（ΔＴ＝１４．１）のテクスチャ画像、および関連情報が表示されている。

最終的に、ディスプレイに表示された各サイン波形のグラフィック、各テクスチャ画像を目視で比較し、対象メタリック色に最も近い塗色として、最もテクスチャ距離が小さいｈ１９６ｒ００６４を決定した。

数学的にはｄＴが最も小さいものが、検索対象のテクスチャ画像に最も近いテクスチャ画像であると考えられるが、目的によっては、色濃度差ΔＧ、アンプ量差ΔＡ、ピッチ幅差ΔＰに重み付けを行うことによって、ｄＴが最も小さいテクスチャ画像とは異なるテクスチャ画像を選択することができる。検索結果から、目視によって近似するテクスチャ画像を選択するには、ディスプレイに表示されたサイン波形のグラフィックス及び塗色の画像が有効であった。

本発明の実施の形態に係るテクスチャ画像検索装置の構成を示すブロック図である。 本発明の実施の形態に係るテクスチャ画像検索装置が行う処理を示すフローチャートである。 テクスチャ画像のプロフィールを説明する図であり、（ｂ）は、（ａ）に示したテクスチャ画像の１行のプロフィールを示す図である。 プロフィール上の山、谷を検出する方法を説明する図である。 本発明のテクスチャ画像検索装置を用いた波形解析結果の一例を示す図である。 本発明に係るテクスチャ検索装置を用いて、近似するテクスチャ画像を検索した結果を表示する画面例を示す図である。

符号の説明

１ テクスチャ画像検索装置
２ 画像入力装置
３ 表示装置
１１ ＣＰＵ
１２ メモリ
１３ 記録部
１４ 操作部
１５ インタフェース部
１６ バス

Claims (10)

1. テクスチャ画像のプロフィールを生成する第1ステップと、
   前記プロフィールから、前記テクスチャ画像の色濃度変化に対応するサイン波形の振幅、周期及びオフセットに対応する３つのテクスチャ特徴量を計算する第２ステップと、
   予めデータベースに格納された画像毎に、格納された前記画像の前記テクスチャ特徴量及び前記テクスチャ画像の前記テクスチャ特徴量の間のテクスチャ距離を計算する第３ステップと、
   前記データベースに格納された前記画像を、前記テクスチャ距離に応じて順序付けする第４ステップとを含むテクスチャ画像検索方法。
2. ３つの前記テクスチャ特徴量が、画像の平均アンプ量、平均ピッチ幅及び平均色濃度であり、
   前記平均アンプ量を前記振幅とし、前記平均ピッチ幅を前記周期とし、且つ前記平均色濃度を前記オフセットとするサイン波形のグラフィックスを生成する第５ステップと、
   前記データベースに格納された前記画像及び前記グラフィックスを、対応する前記テクスチャ距離の小さいものから所定数、前記テクスチャ距離に応じた順に表示装置に表示する第６ステップとをさらに含む請求項１記載のテクスチャ画像検索方法。
3. 前記テクスチャ距離が、前記平均アンプ量、前記平均ピッチ幅及び前記平均色濃度の３次元ユークリッド距離である請求項２記載のテクスチャ画像検索方法。
4. 前記平均色濃度が、テクスチャ画像全体の、Ｒ，Ｇ，Ｂデータ毎の平均値、又はＲ，Ｇ，Ｂデータから生成した輝度データの平均値である請求項２又は３記載のテクスチャ画像検索方法。
5. 前記平均アンプ量が、テクスチャ画像における明るい画素の色濃度と暗い画素の色濃度との差の平均値である請求項２〜４のいずれか１項記載のテクスチャ画像検索方法。
6. 前記平均ピッチ幅が、テクスチャ画像のパターンの繰り返しのピクセル幅に対応する値の平均値である請求項２〜５のいずれか１項記載のテクスチャ画像検索方法。
7. 入力されるテクスチャ画像を記録する記録手段と、
   記録した前記テクスチャ画像のプロフィールを生成し、該プロフィールから、前記テクスチャ画像の色濃度変化に対応するサイン波形の振幅、周期及びオフセットに対応する３つのテクスチャ特徴量を計算する特徴量検出手段と、
   予めデータベースに格納された画像毎に、格納された画像の前記テクスチャ特徴量及び所定の画像の前記テクスチャ特徴量の間のテクスチャ距離を計算し、前記データベースに格納された前記画像を、前記テクスチャ距離に応じて順序付けする演算手段と、
   前記データベースに格納された前記画像及び前記サイン波形のグラフィックスを、対応する前記テクスチャ距離の小さいものから所定数、前記テクスチャ距離に応じた順に表示する表示手段とを備えるテクスチャ画像検索装置。
8. 前記テクスチャ画像の前記テクスチャ特徴量をテーブルデータとして格納するサーバをさらに備え、
   前記演算手段が、通信手段を介して前記サーバにアクセスし、前記テーブルデータから前記テクスチャ距離の計算に使用する前記テクスチャ特徴量を取得する請求項７記載のテクスチャ画像検索装置。
9. コンピュータに、
   入力されるテクスチャ画像データのプロフィールを生成する第1の機能と、
   前記プロフィールから、前記テクスチャ画像の色濃度変化に対応するサイン波形の振幅、周期及びオフセットに対応する３つのテクスチャ特徴量を計算する第２の機能と、
   予めデータベースに格納された画像毎に、格納された画像の前記テクスチャ特徴量及び所定の画像の前記テクスチャ特徴量の間のテクスチャ距離を計算する第３の機能と、
   前記データベースに格納された前記画像を、前記テクスチャ距離に応じて順序付けする第４の機能とを実現させるテクスチャ画像の検索プログラム。
10. 請求項９記載のプログラムを記録したコンピュータ読取可能な記録媒体。