JP6529246B2 - 特徴抽出方法、特徴抽出装置、及びプログラム - Google Patents

Description

本発明は、画像を複数の領域に分割し、分割した領域に対して特徴を抽出する特徴抽出方法、特徴抽出装置、及びそのプログラムに関する。

従来から、画像全体の大域的な特徴を抽出する方法として、ブロック分割による特徴抽出方法が知られている。この特徴抽出方法では、縦方向と横方向に複数の直線を引いて画像を複数のブロック領域に分割し、このブロック領域のそれぞれに対して、色情報の平均値やヒストグラムのような特徴量を抽出する。これにより、画像全体の大域的な特徴を抽出することができる。

また、特許文献１には、紙幣の偽造防止のために、円形の偽造防止マークの領域に対して、放射方向線上と円周上の領域における特徴量を抽出する技術が開示されている。

特開２００６−２０２１００号公報

情報処理学会研究報告．ＣＶＩＭ，［コンピュータビジョンとイメージメディア］９９（３），６５−７２，１９９９−０１−２１． Ｅｆｆｉｃｉｅｎｔ Ｇｒａｐｈ−Ｂａｓｅｄ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ，Ｐ．Ｆ．Ｆｅｌｚｅｎｓｚｗａｌｂ、ＩＪＣＶ２００４． ＳＬＩＣ Ｓｕｐｅｒｐｉｘｅｌｓ，Ｒ．Ａｃｈａｎｔａ，Ａ．Ｓｈａｊｉ，Ｋ．Ｓｍｉｔｈ，Ａ．Ｌｕｃｃｈｉ，ＥＰＦＬ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ，２０１０．

消失点を含む画像では、消失点から放射状にエッジが出ている場合が多く、また、消失点を中心とする同心円上に物体が配置されている場合が多い。そのため、消失点を含む画像に対してブロックに分割して特徴を抽出しても、適切に特徴を抽出することはできなかった。

また、特許文献１の技術は、紙幣の偽造防止マークの放射方向線上と円周上の領域のみについて特徴量を抽出し、そのマークが正しいかを判別しているため、消失点を含む画像の大域的な特徴を適切に抽出するには十分でなかった。

上記課題を解決するために、本発明は、画像の特徴を抽出する特徴抽出方法であって、画像を取得する取得ステップと、前記取得した画像の消失点を検出する検出ステップと、前記検出した消失点に基づいてｍ個の楕円とｎ本の半直線（ｍ＝０の場合にｎ≧２の整数、ｍ≧１以上の整数の場合はｎ≧０の整数）を設定する設定ステップと、前記設定された楕円および半直線により分割された領域の特徴を抽出する抽出ステップと、複数の前記画像について前記分割された領域の特徴を抽出し、当該抽出した複数の前記特徴を複数のグループにクラスタリングすることにより、前記複数の画像を前記複数のグループに分類する分類ステップとを有し、前記分類ステップでは、前記複数のグループごとに保持された画像の小領域における特徴と正解ラベルの情報を用いて、前記複数のグループに分類された画像における分割された領域の特徴に基づき前記画像の小領域のラベルを識別することを特徴とする。

以上の構成によれば、本発明は、消失点を含む画像に対して適切に大域的な特徴を抽出することが可能となる。

本実施形態に関わる特徴抽出装置のブロック図。 本実施形態に関わる特徴抽出の処理フローを説明する図。 本実施形態に関わる意味的領域分割の処理のフローを説明する図。 本実施形態に関わる学習工程における詳細な処理のフローを説明する図。 本実施形態に関わる識別工程における詳細な処理のフローを説明する図。 本実施形態に関わる入力画像と正解ラベル画像を模式的に説明する図 本実施形態に関わる画像の分割方法を説明する図。 本実施形態に関わる画像の構図を分割する楕円と半直線のパターンを示す図。

以下、図面を参照して本発明の実施形態を詳細に説明する。

図１は本実施形態に関わる特徴抽出装置の構成（機能構成）を説明する図である。図１に示す各機能部は、特徴抽出装置が有しているＣＰＵがＲＯＭまたはＲＡＭ等の格納手段に格納されている制御プログラムを実行することにより実現される。

本実施形態の特徴抽出装置は、特徴を抽出すべき画像を取得する取得部１０１と、取得した画像の消失点を検出する特徴点検出部１０２と、検出した消失点に基づいて楕円および半直線を設定して画像を複数の領域に分割する設定部１０３とを備えている。また、画像を分割した領域ごとに特徴量を抽出する特徴抽出部１０４と、その特徴量をデータとして出力する出力部１０５と、特徴量をクラスタリングして画像をグループに分けるクラスタリング部１０６とを備える。

また、グループに分けられた画像に対して小領域ごとにラベルを取得する処理を実行するために、画像を小領域に分割するための小領域分割部１０７と、学習用の正解ラベル画像の小領域から特徴量に対応したラベルを抽出するラベル抽出部１０８とを備える。さらに、学習データとして学習した特徴量に対応したラベルを各クラスタに分ける学習データ分配部と、各クラスタに分けられたラベルに基づいて識別すべき画像の小領域におけるラベルを取得するラベル取得部１１０とを備えている。

以下、特徴抽出装置の各部の機能について、本実施形態における処理フローを参照しつつ詳細に説明する。

図２は本実施形態における特徴抽出の処理フローを説明する図である。本処理フローにおいて、ステップＳ１０１〜Ｓ１０７が画像特徴量の抽出工程に相当し、Ｓ１０８，Ｓ１０９が抽出した特徴量に基づいて画像を認識し複数のグループに分ける認識工程に相当する。本実施形態では、画像特徴量の抽出工程と画像の整理工程とを一連の処理としているが、これら２つの工程を続けて行う必要はなく、それぞれ任意のタイミングで行うようにしてもよい。

図２において、ステップＳ１０１では、取得部１０１により複数の画像が取得される。取得部１０１は、デジタルカメラ等の撮像手段により撮影された画像やスキャナ等の入力デバイスを用いて装置内の記憶手段（ＨＤＤ等）に記憶されている画像を取得する。特徴抽出装置にデジタルカメラ等の撮像手段が備えられている場合には、取得部は直接、撮像装置より画像を取得することもできる。

ステップＳ１０２では、Ｓ１０１にて得られた取得画像に対して、特徴点検出部１０２が画像全体の大域的情報を用いて消失点を検出する。本実施形態では、画像の特徴点として消失点を検出しているが、単に画像の中心を検出したり、特定の被写体の重心を検出するようにしてもよい。また、本実施形態では、特徴点検出部１０２による消失点検出方法として、非特許文献１に記載の方法を用いる。この方法では、まず特徴点群を同一直線上にあるべき点の集合にクラスタリングし、その後、各直線を検出してそれらが交わるべき点を消失点として検出する。さらに、得られた複数の消失点から消失線を検出する。

また、ステップＳ１０２では、取得画像を消失点が検出された画像と検出されなかった画像とに分類する。消失点の検出されなかった画像はブロック分割による特徴量検出が行われる処理へと移行され、消失点の検出された画像のみがステップＳ１０３以降の処理へ進む。

次に、ステップＳ１０３において、設定部１０３は画像の消失点を画像座標系の原点に設定する。なお、画像の横方向右向きがｘ方向の正方向、縦方向上向きがｙ方向の正方向である。

続くステップＳ１０４において、設定部１０３は、ステップＳ１０３により設定した原点を中心として、大きさの異なるｍ個の楕円を設定する。図７は本実施形態における画像の分割方法を説明する図面であり、本実施形態では、ｍ＝４として、Ｅ１，Ｅ２，Ｅ３，Ｅ４の４個の楕円を設定する。図７は本実施形態における画像の分割方法を説明する図であり、図７（Ａ）が４個の楕円により画像が分割されている様子を図示している。このとき、各楕円のｘ方向半径ａ１，ａ２，ａ３，ａ４およびｙ方向半径ｂ１、ｂ２、ｂ３，ｂ４は、画像の幅をｗ、高さをｈとすると、以下のように設定される。

［数式１］
Ｅ１：ａ１＝（ｗ／２）／４＝ｗ／８ ｂ１＝（ｈ／２）／４＝ｈ／８
Ｅ２：ａ２＝２ａ１ ｂ２＝２ｂ１
Ｅ３：ａ３＝３ａ１ ｂ３＝３ｂ１
Ｅ４：ａ４＝４ａ１ ｂ４＝４ｂ１
そして、ステップＳ１０５では、設定部１０３が原点を始点として偏角を所定の大きさとする半直線をｎ本設定する。本実施形態ではｎ＝８として、８本の半直線を設定する。図７（Ｂ）は、８本の半直線により画像が分割されている様子を示す。同図に示されるように、始線（ｘ軸の正方向）から正方向（反時計回り）に向かって半直線Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６、Ｌ７、Ｌ８を設定しており、各半直線の偏角θ１、θ２、θ３、θ４、θ５、θ６、θ７、θ８は以下のようになる。このように、本実施形態では、８本の半直線により画像を複数の領域に分割している。

［数式２］
Ｌ１：θ１＝０
Ｌ２：θ２＝ａｒｃｔａｎ（ｈ／ｗ）
Ｌ３：θ３＝π／２
Ｌ４：θ４＝π−θ２
Ｌ５：θ５＝π
Ｌ６：θ６＝π＋θ２
Ｌ７：θ７＝３π／２
Ｌ８：θ８＝２π−θ２
この結果、本実施形態では、図７（Ｃ）に示すように、楕円Ｅ１、Ｅ２、Ｅ３、Ｅ４と半直線Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６、Ｌ７、Ｌ８とにより、画像が４０個の分割領域Ａ１、Ａ２、Ａ３、…、Ａ４０に分割されるようになる。

ステップＳ１０６において、特徴抽出部１０４は、Ｓ１０４、Ｓ１０５によって分割された画像の各分割領域から特徴量の抽出を行う。特徴量としては、色情報、幾何特徴、色ヒストグラム、バイナリパターン特徴等を抽出することができるが、本実施形態では、色情報Ｒ、Ｇ、Ｂの各チャネルの平均を特徴量として抽出する。特徴抽出部１０４は、分割領域Ａｉに対して、その領域内の全画素を参照することによりＲチャネルの平均値ｒ、Ｇチャネルの平均値ｇ、Ｂチャネルの平均値ｂを算出する。分割領域Ａｉに対する特徴量ｆｉは、以下の数式３として表わされる。

［数式３］
ｆｉ＝（ｒ，ｇ，ｂ）
特徴抽出部１０４は、全ての分割領域Ａ１〜Ａ４０に対して上述した特徴量の抽出を行うことにより、画像全体としての特徴量Ｆを取得する。この特徴量Ｆは、画像全体としての構図情報を反映したものであり、以下の数式４として表わされる。

［数式４］
Ｆ＝（ｆ１，…，ｆ４０）
なお、消失点の位置によっては分割領域Ａｉが画像の外側になってしまう場合もある。このような場合には画像からの特徴抽出が行えないので、ＮＡ（Ｎｏｔ Ａｖａｉｌａｂｌｅ）に相当するフラグを特徴量ｆｉに持たせればよい。さらに、ステップＳ１０６では、出力部１０５が抽出した特徴量を出力する。出力形態は、特徴量である数値を列挙したテキストファイルでも、バイナリ化したバイナリファイルでもよいし、本実施形態のように画像の整理についても一連の処理として行う場合は、装置内の格納手段（メモリ等）にデータのまま出力するようにしてもよい。

ステップＳ１０７では、ステップＳ１０１で取得した全画像に対して特徴量の抽出が完了したかを判断し、特徴量の抽出が完了していなければステップＳ１０２に戻り、残りの画像についても特徴量の抽出を行う。

ステップＳ１０８以降は、本実施形態の画像特徴の抽出処理に続いて行われる処理であり、抽出した特徴量に基づいて画像をいくつかのグループに分ける処理になる。なお、既に本ステップで画像がグループ分けされていて、この既存のグループに対して新しく画像を整理する場合には、ステップＳ１０８をスキップし、後述するステップＳ１０９により画像を整理する。

ステップＳ１０８では、クラスタリング部１０６が、Ｓ１０６で得られた特徴量Ｆをクラスタリングする。例えば、取得画像数がＮのとき、Ｓ１０６では特徴抽出部１０４が画像ごとに特徴量Ｆを求め、結果としてＮ個の特徴量Ｆを抽出している。ステップＳ１０８では、構図情報を反映した特徴量Ｆをクラスタリングすることにより、画像をいくつかのグループに分類する。なお、特徴量Ｆには分割領域Ａ１〜Ａ４０から抽出された特徴量ｆ１〜ｆ４０が含まれているが、一つでもＮＡとなっている特徴量Ｆについては、これを除外する。

本実施形態では、既知のＫ−ｍｅａｎｓを利用して特徴量Ｆをクラスタリングする。Ｋ−ｍｅａｎｓのＫは、出来上がるクラスタの数を表したものである。Ｋ−ｍｅａｎｓによるクラスタリングでは、与えられたＮ個のデータの中からランダムにＫ個のデータを選択する。このＫ個のデータは、シードと呼ばれる。次に、各データを最も近いシードのクラスタに属させる。そして、各クラスタで重心を計算して新しいシードを求め、再度クラスタリングを行う。これを繰り返し行い、クラスタリング結果が変化しなくなったところで終了する。これにより、Ｎ個のデータをＫ個のクラスタにクラスタリングすることができる。本実施形態では、Ｋ−ｍｅａｎｓを利用して特徴量Ｆをクラスタリングすることで、大量の画像に対しても特徴量の類似する画像同士を集めて整理することができる。

ステップＳ１０９では、Ｓ１０８によって既にクラスタが得られている場合に、新しく画像を割り当てるステップである。本実施形態では、新しく整理する画像についてステップＳ１０７までの処理によって画像の特徴量Ｆが求められており、クラスタリング部１０６が、これをクラスタの平均特徴量と比較する。そして、両者の距離が一番小さくなったクラスタに新しい画像を割り当てる。以上により、取得部１０１により新しく画像が取得された場合でも、継続した画像の管理が可能になる。

本実施形態では、消失点が含まれる画像に対して楕円と半直線との組合せにより複数の分割領域に分割し、各分割領域より特徴量を抽出するようにしている。この構成によって、本実施形態では、構図情報を反映した画像特徴を抽出することができ、消失点を含む画像に対して適切に大域的な特徴を抽出することが可能となる。

ここで、上述した本実施形態の特徴抽出装置によってクラスタ（グループ）に分けられた画像に対して、意味的領域分割の処理を行う構成について説明する。この意味的領域分割は、本実施形態のＳ１０８によって作成されたクラスタ（グループ）に分けられた画像に対して、付随的に実行可能な処理である。本実施形態において、意味的領域分割とは、画像を小領域に分割し、この小領域に対して「空」や「木」といった「意味」を付与する処理になる。

図３は、本実施形態における意味的領域分割の処理のフローである。なお、本実施形態の意味的領域分割を実行するにあたっては、上述したＳ１０８のクラスタリング部１０６による特徴量Ｆのクラスタリングが行われていることが前提となる。その上で、図３のステップＳ２０１では、学習工程として、クラスタリング部１０６により得られたクラスタに対して識別器を学習する。

ステップＳ２０１では、入力画像に対して正解ラベル画像が事前に用意されている。ラベルとは、識別したい対象であり、例えば「人」、「木」、「空」、「その他」などである。そして、画像を与えたときにその画素それぞれに対して、それが何であるかのラベルが付与された画像がラベル画像である。このラベル画像は、各ラベルに特定の色を割り振って表現してもよい。そして、正解ラベル画像とは、入力画像に対して予め画素ごとに正しいと認識されたラベルが入力された画像である。図６は、入力画像と正解ラベル画像を模式的に説明する図である。ここでは、図６（Ａ）の入力画像の各領域１０，２０，３０，４０の画素に対して、図６（Ｂ）に示すように各々異なるラベル「人」、「木」、「空」、「その他」が付与されている。正解ラベル画像は、本装置内の格納手段に蓄積される。また、識別器は、特徴量を与えたときにラベルを出力するものであり、本実施形態では、例えばサポートベクトルマシン、ニューラルネットワーク、ロジスティック回帰などの既知の識別手法を用いることができる。

図４は、図３のステップＳ２０１学習工程における詳細な処理のフローを示すものである。同図のステップＳ２０１−１では、小領域分割部１０７が、格納手段内に存在する画像に対して小領域分割を行う。小領域とは視覚的に類似している画素の集まりのことであり、ｓｕｐｅｒ−ｐｉｘｅｌ（スーパーピクセル、以下、ＳＰ）と呼ばれる。このようなＳＰに分割する小領域分割の手法としては、非特許文献１または非特許文献２等を用いることができる。

ステップＳ２０１−２において、特徴抽出部１０４は、分割した各ＳＰに対して特徴量を抽出する。特徴量としては、色情報、幾何特徴、位置情報、色ヒストグラム、バイナリパターン特徴等を抽出することができる。

ステップＳ２０１−３では、ラベル抽出部１０８がＳＰに対する正解ラベルを抽出する。ラベル抽出部１０８は、まず正解ラベル画像に対してＳＰに相当する領域を切り出し、そのＳＰの領域内の全画素に対して正解ラベルを集計する。そして、ラベル抽出部１０８は、集計した正解ラベルのうち一番多かったラベルをそのＳＰの正解ラベルとして抽出する。例えば、取得したＳＰ１００画素について正解ラベルの集計を行ったところ、「空」ラベルが９０画素で「木」ラベルが１０画素であったとする。このとき、一番多かったラベルは「空」ラベルとなるので、ラベル抽出部１０８は、このＳＰの正解ラベルを「空」ラベルとして抽出する。

ステップＳ２０１−４において、ラベル抽出部１０８がＳＰ特徴量と正解ラベルのペアを全学習画像の全ＳＰに対して行うことにより、学習データが構築される。そして、ステップＳ２０１−５において、学習データ分配部１０９が、学習データとしてのＳＰ特徴量と正解ラベルがペアになった情報をクラスタに対応させてＫ個のグループに分ける。続くステップＳ２０１−６では、分けたＫ個のグループそれぞれで識別器を学習することによって、学習済み識別器をＫ個構築する。構築された学習済み識別器は、例えば装置内の格納手段等に保持される。

図３に戻ると、ステップＳ２０１によりクラスタごとにＫ個の学習済み識別器を構築すると、ステップＳ２０２へと進み、認識工程として、学習済み識別器を用いて意味的領域分割を行う。図５は、図３のステップＳ２０２識別工程における詳細な処理のフローを示すものである。

上述した通り、意味的領域分割を実行するにあたっては、クラスタリング部１０６による特徴量Ｆのクラスタリングまでが行われていることが前提となっている。そこで、ステップＳ２０２−１において、取得部１０１は、取得画像をクラスタ毎の識別器のいずれかに割り当て、小領域分割部１０７が、その取得画像に対してＳＰ分割を行う。

続いて、ステップＳ２０２−２では、特徴抽出部１０４が、分割した各ＳＰに対して特徴量を抽出する。そして、ステップＳ２０２−３において、ラベル取得部１１０が、割り当てられたクラスタに対応する識別器に特徴量を入力することによって、そのＳＰのラベルが識別される。以上のように、分割した全ＳＰに対してラベルを識別することにより、認識画像に対するラベル画像を得ることができる。

本実施形態は、全学習画像に対して一つの識別器で対応する汎用識別器によって画像を識別する構成ではなく、消失点に基づいたクラスタごとの識別器で対応する専門識別器によって画像を識別する構成となっている。この構成により、本実施形態は、適切な専門識別器を設定でき、高い精度で画像を識別できるようになる。

なお、本実施形態の上述の説明では、設定部１０３が設定した楕円のｘ方向半径、ｙ方向半径の比を画像の幅と高さの比（アスペクト比）と一致するようにしたが、これらの比は異なっていてもよい。また、本実施形態は、ｘ方向半径、ｙ方向半径が等しい形態、すなわち正円を排除するものでもない。また、本実施形態では、設定部１０３が設定した各楕円のｘ方向半径、ｙ方向半径を一定間隔としたが、一定間隔以外としてもよい。また、半直線の偏角も同様に、一定間隔以外としてもよい。

また、本実施形態では、画像の消失点に基づいて楕円および半直線の両方を設定して、画像を分割するようにしているが、楕円と半直線のいずれか一方のみを設定することにより画像を分割するようにしてもよい。楕円のみで画像を分割するには少なくとも１個の楕円が必要であり、半直線のみで画像を分割するには少なくとも２本の半直線が必要である。すなわち、本実施形態の特徴抽出方法では、ｍ＝０の場合はｎ≧２の整数、またはｍ≧１以上の整数の場合はｎ≧０の整数となる楕円および半直線を設定すればよい。

また、本実施形態では、楕円の個数ｍ＝４、半直線の本数ｎ＝８としているが、この２つのパラメータｍ，ｎは、例えば、次のように適宜設定することができる。まず、パラメータ（ｍ，ｎ）の候補をリストとして作成する。ここでは、ｍ＝２，３，４，５をｍの候補とし、またｎ＝４，８，１６，３２の候補とする。すなわち、パラメータ（ｍ，ｎ）の候補リストは、（ｍ，ｎ）＝（２，４），（２，８），（２，１６），（２，３２），…，（５，４），（５，８），（５，１６），（５，３２）となる。

次に、候補リストのｍの値に対して楕円の半径ａを設定する。画像の幅をｗ、高さをｈとし、内側から外側にかけてのｍ個の楕円をそれぞれＥ１、Ｅ２、…、Ｅｍとすると、楕円のｘ方向半径ａおよびｙ方向半径ｂは、以下の数式５のように表わされる。

［数式５］
Ｅ１：ａ１＝（ｗ／２）／ｍ＝ｗ／（２ｍ） ｂ１＝（ｈ／２）／ｍ＝ｈ／（２ｍ）
Ｅ２：ａ２＝２ａ１ ｂ２＝２ｂ１
…
Ｅｍ：ａｍ＝ｍａ１ ｂｍ＝ｍｂ１
また、先に設定したｎ個の楕円に対して始線（ｘ軸の正の向き）から正の向き（反時計回り）にかけてｎ本の半直線Ｌ１、Ｌ２、…、Ｌｎを設定する。各半直線の偏角は、以下の数式６として表わされる。

［数式６］
Ｌ１：θ１＝０
Ｌ２：θ２＝２π／ｎ
…
Ｌｎ：θｎ＝（ｎ−１）（２π／ｎ）
ここで、以上のように楕円の半径と半直線の偏角を設定すると、（ｍ，ｎ）の候補リストに対して画像の構図を分割する楕円と半直線のパターンは、図８に示すようになる。

次に、正解ラベル画像がある学習画像を二分して学習画像と認識画像とし、学習画像に対して候補リスト（ｍ，ｎ）の楕円と半直線で領域を分割し、上述した本実施形態の手法により複数のクラスタを得る。

次にクラスタを評価するために、得られた複数のクラスタに正解ラベル画像がある認識画像を割り当てる。この処理は、先に説明したステップＳ１０９と同様にして行うことができる。そして、各クラスタから出力されるラベル画像について、正解ラベル画像と出力ラベル画像が近いほど精度が高いということになり、一致度を指標化した精度指標を設定してクラスタを評価する。このように、精度指標を設けて全クラスタを評価する。そして、一番精度が高いと判断されたクラスタに対応する（ｍ，ｎ）が、最適なパラメータとして決定される。

以降は、取得部１０１により取得された正解ラベル画像がない画像に対して特徴量の抽出、更には意味的領域分割を行う際には、以上のように決定した最適パラメータの（ｍ，ｎ）を用いることにより、精度の高い結果を得ることができる。

以上説明したように、本実施形態に関わる特徴検出方法は、消失点が含まれる画像に対して楕円と半直線との組合せにより複数の分割領域に分割し、各分割領域より特徴量を抽出するようにしている。この構成によって、本実施形態では、構図情報を反映した画像特徴を抽出することができ、消失点を含む画像に対して適切に大域的な特徴を抽出することが可能となる。特に、本実施形態では、直線ではなく半直線を設定して画像を分割している。これにより、例えば三本の半直線により偏角０°、１２０°、２４０°のように画像を三分割することができるなど、画像に対して適切に特徴量の抽出ができるようになる。

また、本実施形態は、クラスタ（グループ）に分けられた画像を分割してなる小領域に対して「空」や「木」といった「意味」を付与する際に、消失点に基づいたクラスタごとの識別器で対応する専門識別器によって画像を識別する。この構成により、本実施形態では、高い精度で画像を識別できるようになる。

また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０１ 取得部
１０２ 特徴点検出部
１０３ 設定部
１０４ 特徴抽出部
１０５ 出力部
１０６ クラスタリング部
１０７ 小領域分割部
１０８ ラベル抽出部
１０９ 学習データ分配部
１１０ ラベル取得部

Claims (8)

1. 画像の特徴を抽出する特徴抽出方法であって、
   画像を取得する取得ステップと、
   前記取得した画像の消失点を検出する検出ステップと、
   前記検出した消失点に基づいてｍ個の楕円とｎ本の半直線（ｍ＝０の場合にｎ≧２の整数、ｍ≧１以上の整数の場合はｎ≧０の整数）を設定する設定ステップと、
   前記設定された楕円および半直線により分割された領域の特徴を抽出する抽出ステップと、
   複数の前記画像について前記分割された領域の特徴を抽出し、当該抽出した複数の前記特徴を複数のグループにクラスタリングすることにより、前記複数の画像を前記複数のグループに分類する分類ステップとを有し、
   前記分類ステップでは、前記複数のグループごとに保持された画像の小領域における特徴と正解ラベルの情報を用いて、前記複数のグループに分類された画像における分割された領域の特徴に基づき前記画像の小領域のラベルを識別することを特徴とする特徴抽出方法。
2. 前記設定ステップでは、ｘ方向半径およびｙ方向半径が一定間隔となるように複数の前記楕円を設定することを特徴とする請求項１に記載の特徴抽出方法。
3. 前記設定ステップでは、偏角が一定間隔となるように複数の前記半直線を設定することを特徴とする請求項１または２に記載の特徴抽出方法。
4. 前記抽出ステップでは、前記分割された領域の特徴として、色情報、幾何特徴、色ヒストグラム、バイナリパターン特徴のいずれかを抽出することを特徴とする請求項１から３のいずれか１項に記載の特徴抽出方法。
5. 正解ラベルを有する画像を用いて、当該画像の小領域における特徴と正解ラベルとの情報を学習するステップをさらに有することを特徴とする請求項４に記載の特徴抽出方法。
6. 前記取得した画像から消失点が検出できなかった場合、前記設定ステップでは前記取得した画像を複数のブロックに分割し、前記抽出ステップでは前記複数のブロックから特徴を抽出することを特徴とする請求項１から５のいずれか１項に記載の特徴抽出方法。
7. 画像の特徴を抽出する特徴抽出装置であって、
   画像を取得する取得手段と、
   前記取得手段により取得した画像の消失点を検出する検出手段と、
   前記検出手段により検出した消失点に基づいてｍ個の楕円とｎ本の半直線（ｍ＝０の場合にｎ≧２の整数、ｍ≧１以上の整数の場合はｎ≧０の整数）を設定する設定手段と、
   前記設定手段により設定された楕円および半直線により分割された領域の特徴を抽出する抽出手段と、
   複数の前記画像について前記分割された領域の特徴を抽出し、当該抽出した複数の前記特徴を複数のグループにクラスタリングすることにより、前記複数の画像を前記複数のグループに分類する分類手段とを有し、
   前記分類手段は、前記複数のグループごとに保持された画像の小領域における特徴と正解ラベルの情報を用いて、前記複数のグループに分類された画像における分割された領域の特徴に基づき前記画像の小領域のラベルを識別することを特徴とする特徴抽出装置。
8. 請求項１から６のいずれか１項に記載の特徴抽出方法をコンピュータに実行させるためのプログラム。

Images