JP2011210111A - 画像特徴量生成装置及び方法及びプログラム - Google Patents

Abstract

【課題】 多様な観点の検索や分類を可能とし、クラスタリング時に局所特徴量間での値の大きさの調整を不要とし、適切な画像特徴量を生成する。
【解決手段】 本発明は、入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得手段と、切り出された各領域から複数の局所特徴量を計算し、局所特徴量記憶手段に格納する局所特徴量計算手段と、各局所特徴量毎にクラスタ中心（以下、「visual words」と記す）を生成し、クラスタ中心記憶手段に格納するクラスタリング手段と、局所特徴量をvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成手段と、作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力手段と、を有する。
【選択図】 図１

Description

本発明は、画像特徴量生成装置及び方法及びプログラムに係り、特に、画像分類及び画像検索に使用する画像特徴量生成装置及び方法及びプログラムに関する。

従来、画像の特徴量生成を行うには、「bag of visual words」と呼ばれる手法がある（例えば、非特許文献１参照）。この方法としては、図１３（ａ）に示すように、入力された画像から複数の領域を切り出し（ステップ１１）、個々の領域から局所特徴量と呼ばれる情報を計算し（ステップ１２）、局所特徴量をクラスタリングして（ステップ１３）visual words（クラスタ中心）を作成する（ステップ１４）。

さらに、図１３（ｂ）に示すように、各画像の局所特徴量集合をvisual wordsに割り当て（ステップ２３）、visual wordsのヒストグラムを画像特徴量とする（ステップ２４）ものがある。

また、図１４に示すように、多数の画像を用いてvisual wordsを作成しておき、新規の画像が入力されたときは、そのvisual wordsを利用する。

領域の切り出し、及び、局所特徴量について様々なバリエーションがあるが、sliding windowで領域の切り出しを行い、各領域の明度情報に２次元Haar wavelet変換を行って直流成分（平均値）を除いた各バンドのエネルギー、すなわち、係数の絶対値の総和を局所特徴量とし、k-means法でクラスタリングするなどの方法もある。

図１５の画像集合から窓サイズＷ＝８、ずらし幅△＝４で領域を切り出し、Haar waveletエネルギーを計算すると、表１（図１５の明暗分布特徴量）のような値が得られる。

この例は一様な画像なので、同一画像の領域の局所特徴量はほぼ同一のものが得られるので、一つだけ表示して他は省略した。

クラスタ数Ｋ＝２でクラスタリングすると、式（１）のvisual wordsが得られる。Visual wordsは行ベクトルとして表示してある。

画像の領域集合をこのvisual wordsに割り当て、その頻度でヒストグラムを作成すると表２（図１５の画像例の明暗ヒストグラム）となる。

このヒストグラムが画像の特徴量となる。

この例では、ヒストグラムの第１要素が大きいと縦縞、第２要素が大きいと横縞といった分類ができる。

"A Bayesian Hierarchical Model for Learning Natural Scene Categories," L. Fei-Fei and P. Perona, Proc. Of IEEE Computer vision and Image Recognition, pp. 524-531 (2005).

上述した従来の画像の特徴量生成方法は、領域から１つの局所特徴量を取得することを前提としている。しかし、一般の画像を分類する際には、明暗の分布以外に、領域の平均色、色調の分布等様々な局所特徴量を利用する必要がある。「bag of visual words」で複数の局所特徴量を扱うには、複数の局所特徴量の要素を並べて結合したものを一つの局所特徴量として、クラスタリング、及び、ヒストグラム作成を行うことになる。

複数の局所特徴量を一つの局所特徴量に統合した場合、下記の問題がある。

１．クラスタ数を各局所特徴量のパターン数の積より多く用意しないと適切なvisual wordsが生成されない。

２．検索及び分類に一部の局所特徴量のパターンだけを指定したい場合でも全てのパターンを列挙する必要がある。

３．複数の局所特徴量間で要素の値の大きさを調整しないと適切なvisual wordsが生成されない。

領域の平均色と明暗の分布から局所特徴量を作成するときは、平均色のパターン数を、Ｋ^μ、明暗の分布のパターン数をＫ^textureとすると、これらを分類するためのクラスタ数Ｋは、

となる。

図１６のような画像からvisual wordsを作成する場合、Ｋ^μ＝３、Ｋ^texture＝４でＫ＝１２個のvisual wordが必要となる。図１６では、（Ａ）は赤、（Ｂ）は緑、（Ｃ）は青の画像例であり、左から細い縦縞、太い縦縞、細い横縞、太い横縞太が並んでいる。

さらに、「細かい縦縞」といった分類を行う場合は、「平均色が赤で細かい縦縞」、「平均色が緑で細かい縦縞」、及び、「平均色が青で細かい縦縞」で分類し、その和集合をとる必要がある。

また、図１５のような画像から領域の平均色、明暗の分布を抽出して、要素の大きさを調整せずに、結合して局所特徴量を作成すると、表３（図１５の画像例の局所特徴量）となる。

これをＫ＝２でクラスタリングして、visual wordsを作成すると、式（３）となる。

このvisual wordsからヒストグラムを作成すると表４のようになる。

この例では、平均色（明度）の差が大きく、第１成分が大きい画像は明るい画像、第２成分が大きい画像は暗い画像に分類されてしまう。縦縞、横縞で分類するためには、要素の大きさを適切に調整する必要がある。

本発明は、上記の点に鑑みなされたもので、多様な観点の検索や分類を可能とし、クラスタリング時に局所特徴量間での値の大きさの調整を不要とし、適切な画像特徴量を生成することが可能な画像特徴量生成装置及び方法及びプログラムを提供することを目的とする。

図１は、本発明の原理構成図である。

本発明（請求項１）は、分類や検索に使用する画像特徴量を生成するための画像特徴量生成装置であって、
入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得手段２０と、
領域取得手段２０で切り出された各領域から複数の局所特徴量を計算し、局所特徴量記憶手段４０に格納する局所特徴量計算手段３０と、
局所特徴量記憶手段４０から局所特徴量を読み出して、各局所特徴量毎にクラスタ中心（以下、「visual words」と記す）を生成し、クラスタ中心記憶手段６０に格納するクラスタリング手段５０と、
局所特徴量記憶手段４０の局所特徴量をクラスタ中心記憶手段６０のvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成手段７０と、
ヒストグラム作成手段７０で作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力手段８０と、を有する。

また、本発明（請求項２）は、請求項１の局所特徴量計算手段３０において、
２次元Haar wavelet変換を用いて、平均色、明暗の分布、色調の分布を抽出する手段を含む。

また、本発明（請求項３）は、請求項１のヒストグラム作成手段７０において、
クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成する手段を含む。

また、本発明（請求項４）は、請求項３のヒストグラム作成手段７０において、
クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成して、出現頻度の低い組み合わせを削除して、画像特徴量の次元を削減する手段を含む。

図２は、本発明の原理を説明するための図である。

本発明（請求項５）は、分類や検索に使用する画像特徴量を生成するための画像特徴量生成方法であって、
領域取得手段、局所特徴量計算手段、クラスタリング手段、ヒストグラム作成手段、画像特徴量出力手段、局所特徴量記憶手段、クラスタ中心記憶手段を有する装置において、
領域取得手段が、入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得ステップ（ステップ１）と、
局所特徴量計算手段が、領域取得ステップで切り出された各領域から複数の局所特徴量を計算し、局所特徴量記憶手段に格納する局所特徴量計算ステップ（ステップ２）と、
クラスタリング手段が、局所特徴量記憶手段から局所特徴量を読み出して、各局所特徴量毎にクラスタ中心（以下、「visual words」と記す）を生成し、クラスタ中心記憶手段に格納するクラスタリングステップ（ステップ３）と、
ヒストグラム作成手段が、局所特徴量記憶手段の局所特徴量をクラスタ中心記憶手段のvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成ステップ（ステップ４）と、
画像特徴量出力手段が、ヒストグラム作成ステップで作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力ステップ（ステップ５）と、を行う。

また、本発明（請求項６）は、請求項５の局所特徴量計算ステップにおいて、
２次元Haar wavelet変換を用いて、平均色、明暗の分布、色調の分布を抽出する。

また、本発明（請求項７）は、請求項５のヒストグラム作成ステップにおいて、
クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成する。

また、本発明（請求項８）は、請求項７のヒストグラム作成ステップにおいて、
クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成して、出現頻度の低い組み合わせを削除して、画像特徴量の次元を削減する。

本発明（請求項９）は、請求項１乃至４のいずれか1項に記載の画像特徴量生成装置を構成する各手段としてコンピュータを機能させるための画像特徴量生成プログラムである。

本発明によれば、局所特徴量検索手段により、画像の領域から平均色、明暗の分布、色調の分布など複数の局所特徴量を抽出するため、画像を分類するための多様な情報を画像から複数の情報を抽出することにより、多様な観点での検索や分類、例えば、画像を全体的な色合いで検索する、縦縞、横縞等の柄で画像を分類する、色のパターンで検索する等を可能にする。

また、本発明は、クラスタリング手段により、複数の局所特徴量を個別にクラスタリングするため、局所特徴量間での値の大きさの調整が必要ない。また、一括してクラスタリングする際は、個々の局所特徴量での分類数の積だけ必要であったクラスタ数が、個々の局所特徴量での分類数の和で済むため、計算量及び画像の特徴量の次元が個々の局所特徴量での分類数の積から個々の局所特徴量での分類数の和に減少する。

これにより、本発明は、以下の問題を解決できる。

１．クラスタ数を各局所特徴量のパターン数の積より多く用意しないと適切なvisual wordが生成されない。

２．検索や分類に一部の局所特徴量のパターンだけを指定したい場合でも全てのパターンを列挙する必要がある。

３．複数の局所特徴量間で要素の値の大きさを調整しないと適切なvisual wordsが生成されない。

本発明の原理構成図である。 本発明の原理を説明するための図である。 本発明の第1の実施の形態における画像特徴量生成装置の構成図である。 本発明の第１の実施の形態におけるvisual words作成時のフローチャートである。 本発明の第1の実施の形態における画像、領域、及び局所特徴量の対応関係を示す図である。 本発明の第１の実施の形態における「画像の局所特徴量群計算」ルーチンのフローチャートである。 sliding windowを説明する図である。 ２次元Haar waveletを説明する図である。 本発明の第1の実施の形態におけるヒストグラム作成時のフローチャートである。 本発明の第２の実施の形態のヒストグラムを説明するための図である。 本発明の第２の実施の形態におけるヒストグラム作成部の動作のフローチャートである。 本発明の第３の実施の形態におけるヒストグラム作成部の動作のフローチャートである。 従来の特徴量計算のフローチャートである。 従来の特徴量計算のデータの流れを説明するための図である。 従来の技術を適用する画像例である。 ３２×３２サイズの画像例である。

以下図面と共に、本発明の実施の形態を説明する。

［第１の実施の形態］
図３は、本発明の第１の実施の形態における画像特徴量生成装置の構成を示す。

同図に示す画像特徴量生成装置は、画像入力部１０、領域取得部２０、局所特徴量計算部３０、局所特徴量蓄積部４０、クラスタリング部５０、visual words蓄積部６０、ヒストグラム作成部７０、画像特徴量出力部８０から構成される。

図４は、本発明の第１の実施の形態におけるvisual words作成時のフローチャートである。

ステップ１０１） 画像入力部１０は、ファイル、ネットワーク等から画像を入力する。

領域取得部２０は、１つの画像から指定した大きさの領域を少なくとも１つ以上切り出す。

局所特徴量計算部３０は、領域取得部２０で切り出された複数の画像の領域から平均色、明暗の分布、色調の分布など複数の局所特徴量を抽出し、局所特徴量蓄積部４０に格納する。図５に、本発明の第１の実施の形態における画像、領域及び局所特徴量の対応関係を示す。

クラスタリング部５０は、局所特徴量蓄積部４０から局所特徴量集合を取得してクラスタリングしてvisual wordsを作成し、visual words蓄積部６０に格納する。

ヒストグラム作成部７０は、局所特徴量蓄積部４０から読み出した局所特徴量集合に、visual words蓄積部６０に格納されているvisual wordsを割り当ててヒストグラムを作成し、画像特徴量出力部８０に出力する。

画像特徴量出力部８０は、ヒストグラム作成部７０で作成されたヒストグラムを画像特徴量として出力する。

以下に、上記の各構成要素の動作について詳細に説明する。

＜領域取得部２０＞
図６は、本発明の第１の実施の形態における画像の局所特徴量群計算ルーチンのフローチャートである。

ステップ２０１） 領域取得部２０は、入力された画像からsliding windowで矩形領域を切り出す。Sliding windowとは、図７に示すように、窓サイズＷの正方形の領域をずらし幅△だけずらしながら切り出す方法である。

切り出される領域数は、

ここで、

は、ｘ以下の最大の整数である。

切り出した矩形領域は局所特徴量計算部３０に渡される。

＜局所特徴量計算部３０＞
ステップ２０２） 局所特徴量計算部３０は、領域取得部２０から取得した領域について、平均色、明暗分布、色調分布等の複数の局所特徴量を計算する。

まず、画像の色空間をRGBからL*a*b*に変換する。

ここで、

また、

次に、L*a*b*の各データを２次元Haar wavelet変換する。２次元Haar wavelet変換は、図８に示すように、二次元データを低周波成分ｓ、水平高周波成分ｈ、垂直高周波成分ｖ、対角高周波成分ｄに分離する。この手順を低周波成分ｓに対して再帰的に繰り返す。

計算式は、それぞれ以下のようになる。

ここで、

次に、２次元Haar waveletの各成分のエネルギー、即ち、係数の絶対値の総和を求める。

平均色の局所特徴量ｘ^μ、明暗分布の局所特徴量ｘ^texture、色調分布の局所特徴量ｘ^toneは下記のように計算され、局所特徴量蓄積部４０に格納る。

＜局所特徴量蓄積部４０＞
局所特徴量蓄積部４０は、上記の局所特徴量計算部３０で計算された平均色、明暗分布、色調分布の局所特徴量を蓄積する。

＜クラスタリング部５０＞
ステップ１０３） クラスタリング部５０は、局所特徴量蓄積部４０に蓄積された局所特徴量群、すなわち、複数の画像についての平均色、明暗分布、色長分布の局所特徴量をk-means法で各々クラスタリングする。

平均色Ｋ^μ、明暗分布Ｋ^texture、色調分布Ｋ^toneのクラスタ数及びクラスタリングの最大の反復回数Ｊは予め指定しておく。

また、Ｎは、データ数（領域数）、

はｉ番目のデータ（局所特徴量）、

は、ｋ番目のクラスタ中心、ｌ_iはデータｉが所属するクラスタ番号、（・）はμ、texture、toneのいずれかである。

以下において、

はユークリッド距離を示す。

クラスタリング部５０は、局所特徴量計算部３０から局所特徴量を取得すると、まず、以下の初期化処理を行い、ランダムにクラスタ中心

を設定すると共に、ｊ＝１とする。

全画像数ｉ（ｉ＝１，…，Ｎ）について以下の処理を繰り返す。

得られた局所特徴量数（ｋ＝１，…，Ｋ^（・））について、以下の式により、局所特徴量のクラスタリングを行い、各クラスタについてクラスタ中心を更新する。この処理をｊ＞Ｊ（反復回数）となるまで繰り返す。

クラスタ中心が前回のものと変化がある場合は、クラスタ中心

でvisual words蓄積部６０を更新する。

k-means法は、初期値のクラスタ中心によって結果が変わる可能性があるので、何度か繰り返し、下記の歪みが最も小さくなるものを選ぶ。

＜visual words蓄積部６０＞
ステップ１０４） visual words蓄積部６０は、クラスタリング部５０から出力された平均色、明暗分布、色調分布のvisual words(クラスタ中心)、ｃ^μ、ｃ^texture、ｃ^toneを蓄積する。

＜ヒストグラム作成部７０＞
ヒストグラム作成部７０は、画像から切り出された領域数Ｒとし、局所特徴量蓄積部４０から局所特徴量群

を取得し、これらにvisual words蓄積部６０のvisual wordsを割り当て、ヒストグラムを作成する。

図９は、本発明の第１の実施の形態におけるヒストグラム作成時のフローチャートである。

図３の局所特徴量計算部３０で局所特徴量群の計算が行われ、クラスタリング部５０によりvisual wordsが求められると、ヒストグラム作成部７０は、ヒストグラムｈ_k（但し、ｋ＝１，…，Ｋ^(・)）を０に初期化し、ｒ＝１とし、以下のステップ３０１，３０２の処理を全領域数分ｒ（ｒ＝１，…，Ｒ）回繰り返す。

ステップ３０１） データｒのvisual wordを以下の式により割り当てる。

この処理を領域数ｋ分（ｋ＝１，…，Ｋ）繰り返す。

ステップ３０２） 以下によりヒストグラムを生成する。

とする。次に、ヒストグラムを以下のように規格化し、ヒストグラムｈ_iを出力する。

＜特徴量出力部８０＞
特徴量出力部８０は、平均色、明暗分布、色調分布のヒストグラムを結合して、画像の特徴量とする。

次に、上記の画像特徴量生成装置の具体的な動作を以下に示す。

以下では図１６に示す３２×３２のサイズの画像集合について処理を行う。

領域取得部２０は、窓サイズＷ＝８、ずらし幅△＝４で領域を切り出し、局所特徴量計算部３０に渡す。これにより、局所特徴量計算部３０は、表５に示すような特徴量を求め、局所特徴量蓄積部４０に格納する。

次に、クラスタリング部５０は、局所特徴量記憶部４０から局所特徴量を取得して、平均色、明暗分布をクラスタリングして、visual wordsを求める（この例では、色調分布は分類に用いないので省略する）。

ヒストグラム作成部７０は、各画像の局所特徴量をvisual wordsに割り当て、表６に示すようなヒストグラムを作成する。

画像特徴量出力部８０は、h^μとh^textureの要素を結合して画像の特徴量とし出力する。

この例では、第１要素が大きい画像は『青』、第２要素が大きい画像は『緑』、第３画素が大きい画像は『赤』と分類できる。また、第４要素が大きい画像は細かい横縞、第５要素が大きい画像は荒い縦縞、第６要素が大きい画像は細かい縦縞、第７要素が大きい画像は荒い横縞と分類できる。

画像特徴量の次元はＫ^μ＋Ｋ^texture＝３＋４＝７となる。

このように、本実施の形態における画像特徴量は、複数の局所特徴量を結合して、visual wordsを作成した場合に比べ、少ない次元数で画像を分類できる。

［第２の実施の形態］
本実施の形態の画像特徴量生成装置の構成は第１の実施の形態の図３と同様であるが、ヒストグラム作成部７０の動作が異なる。本実施の形態のヒストグラム作成部７０は、局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成するものである。

以下では、領域取得部２０により画像から切り出された領域数Ｒ、局所特徴量蓄積部４０に格納されている局所特徴量の種類をＭとする。ヒストグラム作成部７０は、図１０に示すように、その局所特徴量群

からヒストグラムを作成する。

図１１は、本発明の第２の実施の形態におけるヒストグラム作成部の動作のフローチャートである。

ステップ４０１） ヒストグラムの初期化として、

を行う。

ステップ４０２） 全領域数ｒ（ｒ＝１，…，Ｒ）についてステップ４０３〜４０５を繰り返す。

ステップ４０３） 全局所特徴量の種類ｍ（ｍ＝１，…，Ｍ）についてステップ４０４を繰り返す。

ステップ４０４） 領域ｒの局所特徴量ｍのvisual wordを以下により計算する。

ステップ４０５） ヒストグラムを以下のように加算する。

を行う。

ステップ４０６） ヒストグラムを以下の式により規格化する。

ステップ４０７） ヒストグラムを画像特徴量出力部８０に出力する。

次に、上記のヒストグラム作成部７０の処理を具体的に説明する。

クラスタリング部５０において、下記のvisual wordsが作成され、visual words蓄積部６０に格納されていたとする。

ここで、「・^T」は転置を示す。

領域取得部２０において、画像から６つの領域が切り出され、クラスタリング部５０で各々表７のようにvisual wordsが割り当てられたとする。

ヒストグラム作成部７０は、領域１のvisual wordsが（ｖ₁，ｗ₂）なので、ヒストグラムを加算（ｈ_1,2←h_1,2+1）する。

画像特徴量出力部８０は、６つの領域を集計し、規格化すると表８のヒストグラムが得られる。

［第３の実施の形態］
本実施の形態では、ヒストグラム作成部７０が、クラスタリング部５０で各々の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成し、出現度数の低い組み合わせを削除することにより、画像特徴量の次元を削減する場合を説明する。

本実施の形態における画像特徴量生成装置の構成は、第1の実施の形態における図３の構成と同一であるが、ヒストグラム作成部７０の処理が異なる。その他は第１の実施の形態と同様であるのでその説明を省略する。

ヒストグラム作成部７０においてヒストグラムh¹，…，ｈ^Nから出現度数が所定の閾値Ｔ以下の要素を削除した新しいヒストグラムｇ^１，…，ｇ^Nを作成する。

図１２は、本発明の第３の実施の形態におけるヒストグラム作成部の動作のフローチャートである。

ステップ５０１） ヒストグラム作成部７０は、以下により出現度数の初期化を行う。

ステップ５０２） ｎ（ｎ＝１，…，Ｎ）についてステップ５０３を繰り返す。

ステップ５０３） ｎ番目のヒストグラムの出現度数Ｄ_kを全ての要素を計上する。

ステップ５０４） 出現度数が閾値Ｔより大きいヒストグラムをリストアップする。

ステップ５０５） ｎ（ｎ＝１，…，Ｎ）についてステップ５０６を繰り返す。

ステップ５０６） ｎ番目のヒストグラムから出現度数が低いものを取り除く。

ステップ５０７） 出現頻度の低いものが削除されたヒストグラムのリストｇⁿ（ｎ＝１，…，Ｎ）を出力する。

次に、上記のヒストグラム作成部７０の処理を具体的に説明する。

ヒストグラム作成部７０において、３個の画像から表９のヒストグラムが作成されたとする。また、出現度数の閾値Ｔ＝１／３とする。

上記から各要素ｋの出現度数Ｄ_kを求めると、表１０のようになる。

出現度数の閾値Ｔ＝１／３以下の組み合わせは、（v₁，w₁），（v₁，w₃）であるので、これらを削除した表１１のようなヒストグラムが得られる。

なお、上記の図３に示す画像特徴量生成装置の各構成要素の第１〜第３の実施の形態に示す動作をプログラムとして構築し、画像特徴量生成装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムをハードディスクや、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

１０ 画像入力部
２０ 領域取得手段、領域取得部
３０ 局所特徴量計算手段、局所特徴量計算部
４０ 局所特徴量記憶手段、局所特徴量記憶部
５０ クラスタリング手段、クラスタリング部
６０ クラスタ中心記憶手段、visual words蓄積部
７０ ヒストグラム作成手段、ヒストグラム作成部
８０ 画像特徴量出力手段、画像特徴量出力部

Claims (9)

1. 分類や検索に使用する画像特徴量を生成するための画像特徴量生成装置であって、
   入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得手段と、
   前記領域取得手段で切り出された各領域から複数の局所特徴量を計算し、局所特徴量記憶手段に格納する局所特徴量計算手段と、
   前記局所特徴量記憶手段から前記局所特徴量を読み出して、各局所特徴量毎にクラスタ中心（以下、「visual words」と記す）を生成し、クラスタ中心記憶手段に格納するクラスタリング手段と、
   前記局所特徴量記憶手段の前記局所特徴量を前記クラスタ中心記憶手段のvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成手段と、
   前記ヒストグラム作成手段で作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力手段と、
   を有することを特徴とする画像特徴量生成装置。
2. 前記局所特徴量計算手段は、
   ２次元Haar wavelet変換を用いて、平均色、明暗の分布、色調の分布を抽出する手段を含む
   請求項1記載の画像特徴量生成装置。
3. 前記ヒストグラム作成手段は、
   前記クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成する手段を含む
   請求項1記載の画像特徴量生成装置。
4. 前記ヒストグラム作成手段は、
   前記クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成して、出現頻度の低い組み合わせを削除して、画像特徴量の次元を削減する手段を含む
   請求項3記載の画像特徴量生成装置。
5. 分類や検索に使用する画像特徴量を生成するための画像特徴量生成方法であって、
   領域取得手段、局所特徴量計算手段、クラスタリング手段、ヒストグラム作成手段、画像特徴量出力手段、局所特徴量記憶手段、クラスタ中心記憶手段を有する装置において、
   前記領域取得手段が、入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得ステップと、
   前記局所特徴量計算手段が、前記領域取得ステップで切り出された各領域から複数の局所特徴量を計算し、前記局所特徴量記憶手段に格納する局所特徴量計算ステップと、
   前記クラスタリング手段が、前記局所特徴量記憶手段から前記局所特徴量を読み出して、各局所特徴量毎にクラスタ中心（以下、「visual words」と記す）を生成し、前記クラスタ中心記憶手段に格納するクラスタリングステップと、
   前記ヒストグラム作成手段が、前記局所特徴量記憶手段の前記局所特徴量を前記クラスタ中心記憶手段のvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成ステップと、
   前記画像特徴量出力手段が、前記ヒストグラム作成ステップで作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力ステップと、
   を行うことを特徴とする画像特徴量生成方法。
6. 前記局所特徴量計算ステップにおいて、
   ２次元Haar wavelet変換を用いて、平均色、明暗の分布、色調の分布を抽出する請求項５記載の画像特徴量生成方法。
7. 前記ヒストグラム作成ステップにおいて、
   前記クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成する
   請求項５記載の画像特徴量生成方法。
8. 前記ヒストグラム作成ステップにおいて、
   前記クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成して、出現頻度の低い組み合わせを削除して、画像特徴量の次元を削減する
   請求項７記載の画像特徴量生成方法。
9. 請求項１乃至４のいずれか1項に記載の画像特徴量生成装置を構成する各手段としてコンピュータを機能させるための画像特徴量生成プログラム。