JP2015114819A

JP2015114819A - 特徴選択装置、方法、及びプログラム

Info

Publication number: JP2015114819A
Application number: JP2013256015A
Authority: JP
Inventors: 小萌武; Xiaomeng Wu; 柏野　邦夫; Kunio Kashino; 邦夫柏野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2013-12-11
Filing date: 2013-12-11
Publication date: 2015-06-22
Anticipated expiration: 2033-12-11
Also published as: JP6126979B2

Abstract

【課題】適切な注目特徴を選択することができる。【解決手段】入力部１０により、対象物を表す複数の画像を受け付け、局所特徴抽出部３０により、複数の画像の各々について、画像の特徴点の各々を抽出し、特徴点の局所特徴の各々を抽出し、空間文脈特徴表現部４０により、複数の画像の各々について、検出されたペアであって、他の画像から生成された空間文脈特徴表現と共通する空間文脈特徴表現のペアの各々を検出し、注目領域推定部６０により、複数の画像の各々について、検出された画像の共通する空間文脈特徴表現のペアに基づいて、注目領域を推定し、特徴選択部７０により、複数の画像の各々について、推定された画像の注目領域に含まれる特徴点の局所特徴の各々を注目特徴として選択する。【選択図】図１

Description

本発明は、特徴選択装置、方法、及びプログラムに係り、特に、特徴選択を行う特徴選択装置、方法、及びプログラムに関する。

局所特徴を対象とした特徴選択方法には、同一概念や物体等を表す複数画像における局所特徴の出現頻度に着目し、出現頻度が高い局所特徴を検索や認識等に有益な注目特徴と見なし選択する方法がある（非特許文献１、非特許文献２、非特許文献３）。

具体的には、ある局所特徴が画像に出現した場合における画像分類ラベルの事後確率を局所特徴の出現頻度と捉え、事後確率が高い局所特徴を選択する方法（非特許文献１）と、事後確率のエントロピーを基に情報獲得量と呼ばれる尺度を定義し、局所特徴の出現頻度と捉え、情報獲得量が高い局所特徴を選択する方法（非特許文献２）と、特徴選択問題を雑音特徴排除問題に設定し、関心分類ラベル（正例）であると誤認識される傾向が顕著な負例画像を対象に、負例画像における局所特徴の出現頻度に着目し、出現頻度が高い局所特徴を雑音と見なし排除する方法（非特許文献３）とがある。

また、特徴点間の文脈関係に着目する特徴選択方法には、同一概念や物体等を表すと思われる複数画像を対象に空間文脈に基づいた照合を実施し、空間的一貫性が強い局所特徴を検索や認識等に有益な注目特徴と見なし選択する方法がある（非特許文献４）。

非特許文献４の方法では、空間文脈照合方法の一つであるＲＡＮＳＡＣ(非特許文献５)を駆使し、ＲＡＮＳＡＣの出力であるＩｎｌｉｅｒと呼ばれる特徴点を空間的一貫性が高いと見なし選択する。

また、空間文脈を考慮した特徴表現方法は、画像中の濃淡変化が大きい特徴点を対象に、特徴点間の相対位置関係や幾何学特性差分等の文脈関係に着目し、このような文脈関係を画像特徴として表現する方法である。

具体的には、マルチスケールドロネー図を提案・駆使し、画像空間上における近傍となる特徴点の三つ組を検出し、この三つ組を基本単位とした特徴表現方法（非特許文献６）と、Ｋ近傍法を駆使し、画像空間上における近傍となる特徴点対を検出し、この対の幾何学特性（大きさと主方向）差分に基づいた特徴表現方法（非特許文献７）と、画像間における類似特徴点を基に幾何学変換を複数仮設し、各仮設の証拠となる特徴点をＩｎｌｉｅｒと定義し、このＩｎｌｉｅｒの数を尺度にしたＲＡＮＳＡＣと呼ばれる画像表現・照合方法と、類似特徴点間における幾何学的特性（大きさと主方向）に着目し、幾何学的特性差分ヒストグラムによるＷｅａｋＧｅｏｍｅｔｒｉｃａｌＣｏｎｓｉｓｔｅｎｃｙと呼ばれる画像表現・照合方法（非特許文献８）とがある。

上記の方法は、特徴点の幾何学的特性に依存するか否かによる分類も可能である。非特許文献６の方法は、特徴点間における近傍関係のみに基づくため、幾何学的特性に依存しない方法に分類され、非特許文献６の方法は、特徴点の形状を表す楕円領域を画像照合の基本単位と見なす。非特許文献８の方法及び非特許文献７の方法は、特徴点の大きさと主方向を基に画像表現を実施するため、幾何学的特性に依存する方法に分類される。ここで、幾何学的特性に依存しない方法は、特徴点検出、記述の誤差に頑強であるのに対し、幾何学的特性に依存する方法は、不正解画像に対する弁別力が高い長所をもつ。

Fayin Li and Jana Kosecka. Probabilistic location recognition using reduced feature set. In ICRA,pp. 3405{3410, 2006. Grant Schindler, Matthew Brown, and Richard Szeliski. City-scale location recognition. In CVPR,2007. Jan Knopp, Josef Sivic, and Tomas Pajdla. Avoiding confusing features in place recognition. In ECCV (1), pp. 748{761, 2010. P. Turcot and D.G. Lowe. Better matching with fewer features: The selection of useful features in large database recognition problems. In Computer Vision Workshops (ICCV Workshops), 2009 IEEE 12th International Conference on, pp. 2109{2116, 2009. James Philbin, Ondrej Chum, Michael Isard, Josef Sivic, and Andrew Zisserman. Object retrieval with large vocabularies and fast spatial matching. In CVPR, 2007. Yannis Kalantidis, Lluis Garcia Pueyo, Michele Trevisiol, Roelof van Zwol, and Yannis S. Avrithis.Scalable triangulation-based logo recognition. In ICMR, p. 20, 2011. Zhen Liu, Houqiang Li, Wengang Zhou, and Qi Tian. Embedding spatial context information into inverted le for large-scale image retrieval. In ACM Multimedia, pp. 199{208, 2012. Herve Jegou, Matthijs Douze, and Cordelia Schmid. Improving bag-of-features for large scale image search. International Journal of Computer Vision, Vol. 87, No. 3, pp. 316{336, 2010.

非特許文献１〜３の方法は、単一特徴点にしか着目せず、複数特徴点間の文脈関係を考慮しないため、白色雑音のような雑音領域による悪影響を受けやすい問題がある。

空間文脈を考慮した特徴表現に基づく特徴選択に関して、非特許文献４の方法は、入力となる複数画像における空間的一貫性が強い局所特徴しか選択できない。そのため、結果的に、検索や認識等に有益であるにもかかわらず、入力となる複数画像が不充分な為に空間的一貫性が低いといったような注目特徴が過度に排除される傾向がある。

また、特徴点の幾何学特性（形状等）に依存するため、特徴点検出・記述の誤差に敏感であり、空間的一貫性の解析が計算負荷の高いＲＡＮＳＡＣに依存する為、大規模なデータベースに適応するのが困難である。

非特許文献７の方法において、Ｋ近傍法による近傍検出に基づく空間文脈特徴表現・特徴選択方法が考えられるが、Ｋ近傍法自体の計算負荷が高く、処理時間が長いという問題がある。

本発明では、上記問題点を解決するために成されたものであり、適切な注目特徴を選択することができる特徴選択装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る特徴選択装置は、対象物を表す複数の画像を受け付ける入力部と、前記入力部において受け付けた複数の画像の各々について、前記画像の特徴点の各々を抽出し、前記特徴点の局所特徴の各々を抽出する局所特徴抽出部と、前記複数の画像の各々について、前記画像の特徴点であって、他の画像から抽出された局所特徴と共通する局所特徴を有する特徴点の各々を共通特徴点として検出し、前記複数の画像の各々について、前記検出された前記画像の共通特徴点のうちの複数の共通特徴点のペアを各々検出し、前記検出された前記ペアの各々に対し、前記複数の共通特徴点の局所特徴を表す空間文脈特徴表現を生成し、前記複数の画像の各々について、前記検出された前記ペアであって、他の画像から生成された空間文脈特徴表現と共通する空間文脈特徴表現の前記ペアの各々を検出する空間文脈特徴表現部と、前記複数の画像の各々について、前記空間文脈特徴表現部において検出された前記画像の前記共通する空間文脈特徴表現の前記ペアに基づいて、注目領域を推定する注目領域推定部と、前記複数の画像の各々について、前記注目領域推定部において推定された前記画像の注目領域に含まれる特徴点の局所特徴の各々を注目特徴として選択する特徴選択部と、を含んで構成されている。

第２の発明に係る特徴選択方法は、入力部と、局所特徴抽出部と、空間文脈特徴表現部と、注目領域推定部と、特徴選択部と、を含む特徴選択装置における特徴選択方法であって、前記入力部は、対象物を表す複数の画像を受け付け、前記局所特徴抽出部は、前記入力部において受け付けた複数の画像の各々について、前記画像の特徴点の各々を抽出し、前記特徴点の局所特徴の各々を抽出し、前記空間文脈特徴表現部は、前記複数の画像の各々について、前記画像の特徴点であって、他の画像から抽出された局所特徴と共通する局所特徴を有する特徴点の各々を共通特徴点として検出し、前記複数の画像の各々について、前記検出された前記画像の共通特徴点のうちの複数の共通特徴点のペアを各々検出し、前記検出された前記ペアの各々に対し、前記複数の共通特徴点の局所特徴を表す空間文脈特徴表現を生成し、前記複数の画像の各々について、前記検出された前記ペアであって、他の画像から生成された空間文脈特徴表現と共通する空間文脈特徴表現の前記ペアの各々を検出し、前記注目領域推定部は、前記複数の画像の各々について、前記空間文脈特徴表現部において検出された前記画像の前記共通する空間文脈特徴表現の前記ペアに基づいて、注目領域を推定し、前記特徴選択部は、前記複数の画像の各々について、前記注目領域推定部において推定された前記画像の注目領域に含まれる特徴点の局所特徴の各々を注目特徴として選択する。

第１及び第２の発明によれば、入力部により、対象物を表す複数の画像を受け付け、局所特徴抽出部により、画像の各々について、特徴点の各々を抽出し、特徴点の局所特徴の各々を抽出し、空間文脈特徴表現部により、複数の画像の各々について、画像の特徴点であって、他の画像から抽出された局所特徴と共通する局所特徴を有する特徴点の各々を共通特徴点として検出し、複数の画像の各々について、検出された画像の共通特徴点のうちの複数の共通特徴点のペアを各々検出し、検出された前記ペアの各々に対し、前記複数の共通特徴点の局所特徴を表す空間文脈特徴表現を生成し、複数の画像の各々について、検出された前記ペアであって、他の画像から生成された空間文脈特徴表現と共通する空間文脈特徴表現のペアの各々を検出し、注目領域推定部は、複数の画像の各々について、検出された画像の共通する空間文脈特徴表現の前記ペアに基づいて、注目領域を推定し、特徴選択部により、複数の画像の各々について、推定された画像の注目領域に含まれる特徴点の局所特徴の各々を注目特徴として選択する。

このように、第１及び第２の発明によれば、対象物を表す画像の各々について抽出された特徴点毎の局所特徴の各々を抽出し、複数の画像において共通する空間文脈特徴表現の各々を検出し、複数の画像の各々について、共通する空間文脈特徴表現に基づいて、注目領域を推定し、複数の画像の各々について、推定された注目領域に含まれる特徴点の局所特徴の各々を注目特徴として選択することにより、適切な注目特徴を選択することができる。

また、第１の発明において、前記空間文脈特徴表現は、前記画像の共通特徴点についてのマルチスケールドロネー図に基づいて得られる、近傍に存在する複数の共通特徴点のペアの局所特徴を表したものとしてもよい。

また、第１の発明において、前記空間文脈特徴表現は、前記画像の共通特徴点からＫ近傍法により得られる、近傍に存在する複数の共通特徴点のペアの局所特徴を表したものとしてもよい。

また、第１の発明において、前記空間文脈特徴表現は、前記複数の共通特徴点のペアの幾何学的特性を考慮せずに、複数の共通特徴点のペアの局所特徴を表したものとしてもよい。

また、第１の発明において、前記空間文脈特徴表現は、複数の共通特徴点のペアの局所特徴及び前記複数の共通特徴点のペアの幾何学的特性の差分を表したものとしてもよい。

また、本発明のプログラムは、コンピュータを、上記の特徴選択装置を構成する各部として機能させるためのプログラムである。

以上説明したように、本発明の特徴選択装置、方法、及びプログラムによれば、対象物を表す画像の各々について抽出された特徴点毎の局所特徴の各々を抽出し、複数の画像において共通する空間文脈特徴表現の各々を検出し、複数の画像の各々について、共通する空間文脈特徴表現に基づいて、注目領域を推定し、複数の画像の各々について、推定された注目領域に含まれる特徴点の局所特徴の各々を注目特徴として選択することにより、適切な注目特徴を選択することができる。

本発明の第１の実施の形態に係る特徴選択装置の機能的構成を示すブロック図である。本発明の第１の実施の形態に係る局所特徴抽出部の機能的構成を示すブロック図である。本発明の第１の実施の形態に係る空間文脈特徴表現部の機能的構成を示すブロック図である。本発明の第１の実施の形態に係る注目領域推定部の機能的構成を示すブロック図である。注目近傍を検出する例を示す図である。本発明の第１の実施の形態に係るコードブック学習装置における機能的構成を示すブロック図である。本発明の第１の実施の形態に係るコードブック学習装置におけるコードブック学習処理ルーチンを示すフローチャート図である。本発明の第１の実施の形態に係る特徴選択装置における特徴選択処理ルーチンを示すフローチャート図である。本発明の第２の実施の形態に係る特徴選択装置の機能的構成を示すブロック図である。本発明の第２の実施の形態に係る空間文脈特徴表現部の機能的構成を示すブロック図である。本発明の第２の実施の形態に係る注目領域推定部の機能的構成を示すブロック図である。本発明の第２の実施の形態に係る特徴選択装置における特徴選択処理ルーチンを示すフローチャート図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜第１の実施の形態に係る特徴選択装置の構成＞
次に、本発明の第１の実施の形態に係る特徴選択装置の構成について説明する。図１に示すように、本発明の第１の実施の形態に係る特徴選択装置１００は、ＣＰＵと、ＲＡＭと、後述する特徴選択処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この特徴選択装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部９０とを備えている。

入力部１０は、同一の対象物（概念や物体等）を含む複数の画像の各々を受け付ける。

演算部２０は、局所特徴抽出部３０と、空間文脈特徴表現部４０と、注目領域推定部６０と、特徴選択部７０とを含んで構成されている。

局所特徴抽出部３０は、入力部１０において受け付けた画像の各々について、当該画像から特徴点の各々を抽出し、当該特徴点の各々の局所特徴ベクトルを抽出する。また、局所特徴抽出部３０は、図２に示すように、特徴点抽出部３２と、特徴点記述部３４と、コードブック記憶部３６と、ＶｉｓｕａｌＷｏｒｄ割当部３８とを含んで構成されている。なお、局所特徴ベクトルが局所特徴の一例である。

特徴点抽出部３２は、入力部１０において受け付けた画像の各々について、当該画像と当該画像を反転させた画像から、ＨｅｓｓｉａｎＡｆｆｉｎｅやＨａｒｒｉｓＡｆｆｉｎｅ等のアフィン不変特徴検出器を用いて、楕円領域の各々を抽出し、当該楕円領域の中心を特徴点として抽出し、当該特徴点の各々の座標を取得する。

特徴点記述部３４は、画像の各々について、特徴点抽出部３２において抽出された当該画像の特徴点の各々に対し、当該画像と、当該画像を反転させた画像と、当該特徴点の座標とに基づいて、当該特徴点の楕円領域の局所特徴ベクトルを計算する。局所特徴ベクトルの一例として、ＳＩＦＴ、ＳＵＲＦ、及びＲｏｏｔＳＩＦＴ等を計算する。

コードブック記憶部３６は、後述するコードブック学習装置２００において出力されたコードブックを記憶している。ここで、コードブックとは、局所特徴ベクトル毎に対応して定義されているユニークなＶｉｓｕａｌＷｏｒｄの集合のことである。

ＶｉｓｕａｌＷｏｒｄ割当部３８は、画像の各々について、特徴点抽出部３２において抽出された当該画像の特徴点の各々に対し、特徴点記述部３４において計算された当該特徴点の局所特徴ベクトルと、コードブック記憶部３６に記憶されているコードブックとに基づいて、近似最近傍法を用いて、当該局所特徴ベクトルの最近傍となるＶｉｓｕａｌＷｏｒｄを取得し、当該特徴点の局所特徴ベクトルに割当てる。

空間文脈特徴表現部４０は、局所特徴抽出部３０において画像の各々について抽出された局所特徴ベクトルの各々に基づいて、空間文脈を考慮した特徴表現・照合を実施し、他の画像と空間文脈特徴表現が共通する共通特徴点のペアを検出する。また、空間文脈特徴表現部４０は、図３に示すように、特徴点索引付与部４２と、共通特徴点検出部４４と、近傍検出部４６と、近傍記述部４８と、近傍索引付与部５２と、共通近傍検出部５４とを含んで構成されている。

特徴点索引付与部４２は、特徴点抽出部３２において画像の各々について抽出された特徴点の各々に対し、当該特徴点に割当てられているＶｉｓｕａｌＷｏｒｄに基づいて、転置索引付与等を用いて、当該特徴点に割当てられているＶｉｓｕａｌＷｏｒｄに対応させて、当該特徴点を特徴点索引に入れ、特徴点索引を生成する。

共通特徴点検出部４４は、特徴点索引付与部４２において生成された特徴点索引に基づいて、入力部１０において受け付けた画像の各々について、特徴点抽出部３２において抽出された当該画像の特徴点であり、かつ、同一のＶｉｓｕａｌＷｏｒｄが割当てられている特徴点が他の画像から抽出されている特徴点を、共通特徴点として検出する。具体的には、特徴点索引において、ＶｉｓｕａｌＷｏｒｄに対応する特徴点として、複数の画像の特徴点が存在する場合、当該特徴点を共通特徴点と見なし、検出する。

近傍検出部４６は、入力部１０において受け付けた画像の各々について、共通特徴点検出部４４において抽出された当該画像の共通特徴点の各々に対して、マルチスケールドロネー三角形分割を適用して、マルチスケールドロネー図を生成し、近傍に存在する共通特徴点のペアを検出し、検出された近傍に存在する共通特徴点のペアの集合からなる特徴点近傍集合を、画像毎に検出する。具体的には、入力部１０において受け付けた画像の各々について、当該画像の共通特徴点を、共通特徴点に対応する楕円領域の大きさの小さい順で並べ替え、得られた一覧表を、複数の互いに重なった、部分集合に分割し、ドロネー三角形分割を各部分集合に適用し、マルチスケールドロネー図を生成する。そして、ドロネー三角形の辺で結ばれた２つの共通特徴点を、近傍に存在する共通特徴点のペアとして検出する。

近傍記述部４８は、入力部１０において受け付けた画像の各々について、近傍検出部４６において検出された当該画像の特徴点近傍集合に基づいて、近傍に存在する共通特徴点のペア毎に、当該ペアを構成する共通特徴点の各々に割当てられたＶｉｓｕａｌＷｏｒｄを連結させた記述子を、当該ペアの空間文脈特徴表現として生成し、当該ペアに割当てる。

近傍索引付与部５２は、近傍検出部４６において検出された特徴点近傍集合の各々に含まれる、近傍に存在する共通特徴点のペア毎に、当該ペアに割当てられている空間文脈特徴表現に基づいて、転置索引付与等を用いて、当該ペアに割当てられている空間文脈特徴表現に対応させて、当該ペアを近傍索引に入れ、近傍索引を生成する。

共通近傍検出部５４は、近傍索引付与部５２において生成された近傍索引に基づいて、入力部１０において受け付けた画像の各々について、近傍検出部４６において当該画像に対して検出された、近傍に存在する共通特徴点のペアであり、かつ、同一の空間文脈特徴表現が割当てられている、近傍に存在する共通特徴点のペアが他の画像から検出されているペアを、他の画像と空間文脈特徴表現が共通するペアとして検出する。

注目領域推定部６０は、入力部１０において受け付けた画像の各々について、空間文脈特徴表現部４０において当該画像に対し検出された、他の画像と空間文脈特徴表現が共通する共通特徴点のペアに基づいて、注目領域を推定する。また、注目領域推定部６０は、図４に示すように、共通近傍拡張部６２と、推移閉包部６４と、境界矩形計算部６６とを含んで構成されている。

共通近傍拡張部６２は、入力部１０において受け付けた画像の各々について、近傍検出部４６において生成したマルチスケールドロネー図と、共通近傍検出部５４において検出した、他の画像と空間文脈特徴表現が共通する共通特徴点のペアの各々とに基づいて、他の画像と空間文脈特徴表現が共通する共通特徴点のペアを拡張し、拡張した共通特徴点のペアを注目近傍として検出する。具体的には、入力部１０において受け付けた画像の各々について、共通近傍検出部５４において検出した、他の画像と空間文脈特徴表現が共通する共通特徴点のペア毎に、当該ペアを結ぶ辺を含むドロネー三角形について、当該ペアを結ぶ辺の対角が予め定められた閾値以上である場合（例えば、鈍角である場合）、当該対角を挟む両辺まで拡張し、注目近傍として検出する。図５に例を示す。

推移閉包部６４は、入力部１０において受け付けた画像毎に、共通近傍検出部５４において当該画像について検出された、他の画像と空間文脈特徴表現が共通する共通特徴点のペアの各々に対応する辺と、共通近傍拡張部６２において検出した注目近傍の各々に対応する辺とを組み合わせ、無向グラフと見なし、推移閉包を用いて、少なくとも１つ以上の連結グラフを検出する。

境界矩形計算部６６は、入力部１０において画像の各々について、推移閉包部６４において検出された当該画像の連結グラフの各々を包含する最小境界矩形を各々計算し、得られた少なくとも１つ以上の境界矩形における和集合を計算し、当該計算された和集合が表す領域を当該画像の注目領域として推定する。

特徴選択部７０は、入力部１０において受け付けた画像の各々について、境界矩形計算部６６において推定された当該画像の注目領域に含まれる、特徴点抽出部３２において抽出した特徴点の各々の局所特徴ベクトルを注目特徴として選択する。

出力部９０は、特徴選択部７０において選択された注目特徴の各々を出力する。

＜第１の実施の形態に係るコードブック学習装置の構成＞
次に、本発明の第１の実施の形態に係るコードブック学習装置の構成について説明する。図１に示すように、本発明の第１の実施の形態に係るコードブック学習装置２００は、ＣＰＵと、ＲＡＭと、後述するコードブック構築処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このコードブック学習装置２００は、機能的には図６に示すように入力部２１０と、演算部２２０と、出力部２９０とを備えている。

入力部２１０は、コードブック学習用の複数の画像を受け付ける。

演算部２２０は、特徴点抽出部２３２と、特徴点記述部２３４と、コードブック記憶部２３６と、コードブック構築部２３８とを含んで構成されている。

特徴点抽出部２３２は、入力部２１０において受け付けた画像の各々について、当該画像と当該画像を反転させた画像から、ＨｅｓｓｉａｎＡｆｆｉｎｅやＨａｒｒｉｓＡｆｆｉｎｅ等のアフィン不変特徴検出器を用いて、特徴点の各々を抽出し、当該特徴点の各々の座標を取得する。

特徴点記述部２３４は、入力部２１０において受け付けた画像の各々について、特徴点抽出部２３２において抽出された当該画像の特徴点の各々について、上記特徴点記述部３４と同様に、特徴点の楕円領域の局所特徴ベクトルを計算する。

コードブック記憶部２３６は、コードブック構築部２３８において学習されたコードブックを記憶している。

コードブック構築部２３８は、特徴点記述部２３４において計算された特徴点の各々の局所特徴ベクトルに基づいて、近似Ｋ−ＭｅａｎｓやＶｏｃａｂｕｌａｒｙＴｒｅｅ等の方法を用いて、コードブックを学習し、コードブック記憶部２３６に記憶すると共に、出力部２９０に出力する。具体的には、局所特徴ベクトルの各々に対応するＶｉｓｕａｌＷｏｒｄを学習し、局所特徴ベクトルとＶｉｓｕａｌＷｏｒｄとのペアの集合をコードブックとする。

出力部２９０は、コードブック構築部２３８において学習されたコードブックを出力する。

＜第１の実施の形態に係るコードブック学習装置の作用＞
次に、本発明の第１の実施の形態に係るコードブック学習装置２００の作用について説明する。入力部２１０においてコードブック学習用の、複数の画像を受け付けると、コードブック学習装置２００は、図７に示すコードブック学習処理ルーチンを実行する。

まず、ステップＳ１００では、入力部２１０において受け付けた複数の画像の各々について、特徴点の各々を抽出する。

次に、ステップＳ１０４では、入力部２１０において受け付けた複数の画像の各々について、ステップＳ１００において取得した特徴点の各々について、当該特徴点の楕円領域の局所特徴ベクトルを計算する。

次に、ステップＳ１０６では、ステップＳ１０４において取得した特徴点の各々の局所特徴ベクトルに基づいて、コードブックを学習し、コードブック記憶部２３６に記憶する。

次に、ステップＳ１０８では、ステップＳ１０６において取得したコードブックを出力部２９０から出力して、コードブック学習処理ルーチンの処理を終了する。

＜第１の実施の形態に係る特徴選択装置の作用＞
次に、本発明の第１の実施の形態に係る特徴選択装置１００の作用について説明する。事前に、コードブック学習装置２００において学習されたコードブックが入力部１０により受け付けられ、特徴選択装置１００のコードブック記憶部３６に記憶される。そして、入力部１０において同一の対象物（概念や物体等）を含む複数の画像を受け付けると、特徴選択装置１００は、図８に示す特徴選択処理ルーチンを実行する。

まず、ステップＳ２００では、入力部１０において受け付けた画像の各々について、特徴点の各々を抽出する。

次に、ステップＳ２０４では、入力部１０において受け付けた画像の各々について、ステップＳ２００において取得した当該画像の特徴点の各々の局所特徴ベクトルを計算する。

次に、ステップＳ２０６では、コードブック記憶部３６に記憶されているコードブックを読み込む。

次に、ステップＳ２０８では、入力部１０において受け付けた画像の各々について、ステップＳ２００において取得した当該画像の特徴点の各々に対し、ステップＳ２０４において取得した当該特徴点の局所特徴ベクトルと、ステップＳ２０６において取得したコードブックとに基づいて、近似最近傍法を用いて当該特徴点にＶｉｓｕａｌＷｏｒｄを割当てる。

次に、ステップＳ２１０では、ステップＳ２００において取得した入力部１０において受け付けた画像の各々について抽出された特徴点の各々に対し、ステップＳ２０８において、当該特徴点に割当てられているＶｉｓｕａｌＷｏｒｄに基づいて、転置索引付与等を用いて、当該特徴点を特徴点索引に入れ、特徴点索引を生成する。

次に、ステップＳ２１２では、ステップＳ２１０において生成された特徴点索引に基づいて、入力部１０において受け付けた画像の各々について、ステップＳ２００において取得した当該画像の特徴点であり、かつ、同一のＶｉｓｕａｌＷｏｒｄが割当てられている特徴点が他の画像から抽出されている特徴点を、共通特徴点と見なし、検出する。

次に、ステップＳ２１４では、入力部１０において受け付けた画像の各々について、ステップＳ２１２において取得した当該画像の共通特徴点の各々に対して、マルチスケールドロネー三角形分割を適用して、マルチスケールドロネー図を生成し、近傍に存在する共通特徴点のペアを検出し、検出された近傍に存在する共通特徴点のペアの集合からなる特徴点近傍集合を検出する。

次に、ステップＳ２１６では、入力部１０において受け付けた画像の各々について、ステップＳ２１４において取得した当該画像の特徴点近傍集合に基づいて、近傍に存在する共通特徴点のペア毎に、当該ペアを構成する共通特徴点の各々に対してステップＳ２０８において割当てられたＶｉｓｕａｌＷｏｒｄを連結させた記述子を、当該ペアの空間文脈特徴表現として生成し、当該ペアに割当てる。

次に、ステップＳ２１８では、ペアの各々について、ステップＳ２１６において当該ペア毎に割当てられた空間文脈特徴表現に基づいて、転置索引付与等を用いて、当該ペアに割当てられている空間文脈特徴表現に対応させて、当該ペアを近傍索引に入れ、近傍索引を生成する。

次に、ステップＳ２２０では、ステップＳ２１８において取得した近傍索引に基づいて、入力部１０において受け付けた画像の各々について、ステップＳ２１４において取得した当該画像に対して検出された、近傍に存在する共通特徴点のペアであり、かつ、ステップＳ２１６において、同一の空間文脈特徴表現が割当てられている、近傍に存在する共通特徴点のペアが他の画像から検出されているペアを、他の画像と空間文脈特徴表現が共通するペアとして検出する。

次に、ステップＳ２２２では、入力部１０において受け付けた画像の各々について、ステップＳ２２０において取得した当該画像に対し検出された、他の画像と空間文脈特徴表現が共通する共通特徴点のペアの各々と、ステップＳ２１４において取得したマルチスケールドロネー図とに基づいて、他の画像と空間文脈特徴表現が共通する共通特徴点のペアを拡張し、拡張した結果を注目近傍として検出する。

次に、ステップＳ２２４では、入力部１０において受け付けた画像の各々について、ステップＳ２２０において取得した当該画像について検出された、他の画像と空間文脈特徴表現が共通する共通特徴点のペアの各々に対応する辺と、ステップＳ２２２において取得した注目近傍の各々に対応する辺とを組み合わせ、無向グラフと見なし、推移閉包を用いて、少なくとも１つ以上の連結グラフを検出する。

次に、ステップＳ２２６では、入力部１０において受け付けた画像の各々について、ステップＳ２２４において取得した当該画像の連結グラフの各々に基づいて、当該画像の注目領域を推定する。

次に、ステップＳ２２８では、入力部１０において受け付けた画像の各々について、ステップＳ２２６において取得した当該画像の注目領域に含まれる、ステップＳ２０４において取得した特徴点の各々の局所特徴ベクトルを注目特徴として選択する。

次に、ステップＳ２３０では、ステップＳ２２８において取得した注目特徴を出力部９０から出力して特徴選択処理ルーチンの処理を終了する。

以上説明したように、本発明の第１の実施の形態に係る特徴選択装置によれば、対象物を表す画像の各々について抽出された特徴点毎の局所特徴の各々を抽出し、他の画像と局所特徴が共通する共通特徴点を検出し、マルチスケールドロネー三角形分割により、近傍に存在する共通特徴点のペアの検出を行い、複数の画像において共通する空間文脈特徴表現を有する共通特徴点のペアの各々を検出し、複数の画像の各々について、共通する空間文脈特徴表現に基づいて、幾何学特性に依存しない注目領域を推定し、複数の画像の各々について、推定された注目領域に含まれる特徴点の局所特徴の各々を注目特徴として選択することにより、適切な注目特徴を選択することができる。

また、マルチドロネー三角形分割により、より効率的に、近傍に存在する共通特徴点のペアの検出を実現し、結果的に、特徴選択の効率を上げることができる。

また、索引付与により、より効率的に空間文脈を考慮した特徴表現・照合を実現し、結果的に、特徴選択を大規模なデータベースに適応することが可能となる。

また、幾何学的特性に依存しない空間文脈特徴表現により、特徴点検出・記述の誤差に頑強な特徴選択ができる。

また、入力となる複数画像から同一概念や物体等を表す画像の注目領域を推定することができ、結果的に、検索や認識等に有益であるにも関わらず、入力となる複数画像が不十分な為に空間的一貫性が低い注目特徴でも、過度に排除されることなく、より完全な特徴選択が実現できる。

また、特徴近傍を拡張することにより、より完全な注目領域推定が可能となる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、第１の実施の形態においては、空間文脈特徴表現を、近傍に存在する共通特徴点のペアに含まれる特徴点の各々に割当てられたＶｉｓｕａｌＷｏｒｄを連結したものとする場合について説明したが、これに限定されるものではない。後述する第２の実施の形態と同様に、近傍に存在する共通特徴点のペアに含まれる特徴点の各々に割当てられたＶｉｓｕａｌＷｏｒｄを連結したもの、及び近傍に存在する共通特徴点のペアに含まれる特徴点の各々の幾何学特性の差分を表す空間文脈特徴表現を生成してもよい。

また、第１の実施の形態においては、特徴選択部７０において、入力部１０において受け付けた画像毎に、注目領域に含まれる特徴点の各々の局所特徴ベクトルを注目特徴として選択する場合について説明したが、これに限定されるものではない。例えば、特徴選択部７０において、入力部１０において受け付けた画像毎に、注目領域から特徴点を抽出し、当該抽出された特徴点の各々について、局所特徴ベクトルを計算し、計算された局所ベクトルを注目特徴として選択するようにしてもよい。

次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成及び作用となる部分については、同一符号を付して説明を省略する。

第２の実施の形態では、空間文脈特徴表現が特徴点の幾何学特性の差分を更に表している点、近傍に存在する共通特徴点のペアを、Ｋ近傍法を用いて検出している点、及び他の画像と空間文脈特徴表現が共通する共通特徴点のペアを拡張していない点が第１の実施の形態と異なっている。

＜第２の実施の形態に係る特徴選択装置の構成＞
次に、第２の実施の形態に係る特徴選択装置３００の構成について説明する。

本発明の第２の実施の形態に係る特徴選択装置３００は、図９に示すように、入力部１０と、演算部３２０と、出力部９０とを備えている。

演算部３２０は、局所特徴抽出部３０と、空間文脈特徴表現部３４０と、注目領域推定部３６０と、特徴選択部７０とを備えている。

空間文脈特徴表現部３４０は、局所特徴抽出部３０において画像の各々について抽出された局所特徴ベクトルの各々に基づいて、空間文脈を考慮した特徴表現・照合を実施し、他の画像と空間文脈特徴表現が共通する共通特徴点のペアを検出する。また、空間文脈特徴表現部３４０は、図１０に示すように、特徴点索引付与部４２と、共通特徴点検出部４４と、近傍検出部３４６と、近傍記述部３４８と、近傍索引付与部５２と、共通近傍検出部５４とを含んで構成されている。

近傍検出部３４６は、入力部１０において受け付けた画像の各々について、共通特徴点検出部４４において抽出された当該画像の共通特徴点の各々に対して、Ｋ近傍法を適用して、近傍に存在する共通特徴点のペアを検出し、検出された近傍に存在する共通特徴点のペアの集合からなる特徴点近傍集合を、画像毎に検出する。

近傍記述部３４８は、入力部１０において受け付けた画像の各々について、近傍検出部３４６において検出された当該画像の特徴点近傍集合に基づいて、近傍に存在する共通特徴点のペア毎に、当該ペアを構成する共通特徴点の各々に割当てられたＶｉｓｕａｌＷｏｒｄを連結させたもの、及び当該ペアを構成する共通特徴点の各々の幾何学特性差分（楕円領域の大きさの差分、主方向の差分、楕円同士の最短距離等）を表す空間文脈特徴表現を生成し、当該ペアに割当てる。

注目領域推定部３６０は、入力部１０において受け付けた画像の各々について、空間文脈特徴表現部３４０において当該画像に対し検出された、他の画像と空間文脈特徴表現が共通する共通特徴点のペアに基づいて、注目領域を推定する。また、注目領域推定部３６０は、図１１に示すように、推移閉包部３６４と、境界矩形計算部６６とを含んで構成されている。

推移閉包部３６４は、入力部１０において受け付けた画像毎に、共通近傍検出部５４において当該画像について検出された、他の画像と空間文脈特徴表現が共通する共通特徴点のペアの各々に対応する辺を、無向グラフと見なし、推移閉包を用いて、少なくとも１つ以上の連結グラフを検出する。

＜第２の実施の形態に係る特徴選択装置の作用＞
次に、本発明の第２の実施の形態に係る特徴選択装置３００の作用について説明する。事前に、コードブック学習装置２００において学習されたコードブックが入力部１０により受け付けられ、特徴選択装置３００のコードブック記憶部３６に記憶される。そして、入力部１０において同一の対象物（概念や物体等）を含む複数の画像を受け付けると、特徴選択装置３００は、図１２に示す特徴選択処理ルーチンを実行する。

次に、ステップＳ３００では、入力部１０において受け付けた画像の各々について、ステップＳ２１２において取得した当該画像の共通特徴点の各々に対して、Ｋ近傍法を適用して、近傍に存在する共通特徴点のペアを検出し、検出された近傍に存在する共通特徴点のペアの集合からなる特徴点近傍集合を検出する。

次に、ステップＳ３０２では、入力部１０において受け付けた画像の各々について、ステップＳ３００において取得した当該画像の特徴点近傍集合に基づいて、近傍に存在する共通特徴点のペア毎に、当該ペアを構成する共通特徴点の各々に対して、ステップＳ２０８において割当てられたＶｉｓｕａｌＷｏｒｄを連結させたもの、及び当該ペアを構成する共通特徴点の各々の幾何学特性差分（楕円領域の大きさの差分、主方向の差分、楕円同士の最短距離等）を表す空間文脈特徴表現を生成し、当該ペアに割当てる。

次に、ステップＳ２１８では、ペアの各々について、ステップＳ３０２において当該ペア毎に割当てられた空間文脈特徴表現に基づいて、転置索引付与等を用いて、当該ペアに割当てられている空間文脈特徴表現に対応させて、当該ペアを近傍索引に入れ、近傍索引を生成する。

次に、ステップＳ２２０では、ステップＳ２１８において取得した近傍索引に基づいて、入力部１０において受け付けた画像の各々について、ステップＳ３００において取得した当該画像に対して検出された、近傍に存在する共通特徴点のペアであり、かつ、ステップＳ３０２において取得した同一の空間文脈特徴表現が割当てられている、近傍に存在する共通特徴点のペアが他の画像から検出されているペアを、他の画像と空間文脈特徴表現が共通するペアとして検出する。

次に、ステップＳ３０４では、入力部１０において受け付けた画像の各々について、ステップＳ２２０において取得した当該画像に対し検出された、他の画像と空間文脈特徴表現が共通する共通特徴点のペアの各々に対応する辺を、無向グラフと見なし、推移閉包を用いて、少なくとも１つ以上の連結グラフを検出する。

次に、ステップＳ２２６では、入力部１０において受け付けた画像の各々について、ステップＳ３０４において取得した当該画像の連結グラフの各々に基づいて、当該画像の注目領域を推定する。

以上説明したように、本発明の第２の実施の形態に係る特徴選択装置によれば、対象物を表す画像の各々について抽出された特徴点毎の局所特徴の各々を抽出し、他の画像と局所特徴が共通する共通特徴点を検出し、Ｋ近傍法により、近傍に存在する共通特徴点のペアの検出を行い、複数の画像において共通する空間文脈特徴表現を有する共通特徴点のペアの各々を検出し、複数の画像の各々について、共通する空間文脈特徴表現に基づいて、幾何学特性を考慮した注目領域を推定し、複数の画像の各々について、推定された注目領域に含まれる特徴点の局所特徴の各々を注目特徴として選択することにより、適切な注目特徴を選択することができる。

例えば、第２の実施の形態においては、近傍に存在する共通特徴点のペアに含まれる特徴点の各々に割当てられたＶｉｓｕａｌＷｏｒｄを連結したもの、及び近傍に存在する共通特徴点のペアに含まれる特徴点の各々の幾何学特性の差分を表す空間文脈特徴表現を生成する場合について説明したがこれに限定されるものではない。第１の実施の形態と同様に、近傍に存在する共通特徴点のペアに含まれる特徴点の各々に割当てられたＶｉｓｕａｌＷｏｒｄを連結したものを空間文脈特徴表現として生成してもよい。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。

１０入力部
２０演算部
３０局所特徴抽出部
３２特徴点抽出部
３４特徴点記述部
３６コードブック記憶部
３８ＶｉｓｕａｌＷｏｒｄ割当部
４０空間文脈特徴表現部
４２特徴点索引付与部
４４共通特徴点検出部
４６近傍検出部
４８近傍記述部
５２近傍索引付与部
５４共通近傍検出部
６０注目領域推定部
６２共通近傍拡張部
６４推移閉包部
６６境界矩形計算部
７０特徴選択部
９０出力部
１００特徴選択装置
２００コードブック学習装置
２１０入力部
２２０演算部
２３２特徴点抽出部
２３４特徴点記述部
２３６コードブック記憶部
２３８コードブック構築部
２９０出力部
３００特徴選択装置
３２０演算部
３４０空間文脈特徴表現部
３４６近傍検出部
３４８近傍記述部
３６０注目領域推定部
３６４推移閉包部

Claims

対象物を表す複数の画像を受け付ける入力部と、
前記入力部において受け付けた複数の画像の各々について、前記画像の特徴点の各々を抽出し、前記特徴点の局所特徴の各々を抽出する局所特徴抽出部と、
前記複数の画像の各々について、前記画像の特徴点であって、他の画像から抽出された局所特徴と共通する局所特徴を有する特徴点の各々を共通特徴点として検出し、
前記複数の画像の各々について、前記検出された前記画像の共通特徴点のうちの複数の共通特徴点のペアを各々検出し、前記検出された前記ペアの各々に対し、前記複数の共通特徴点の局所特徴を表す空間文脈特徴表現を生成し、
前記複数の画像の各々について、前記検出された前記ペアであって、他の画像から生成された空間文脈特徴表現と共通する空間文脈特徴表現の前記ペアの各々を検出する空間文脈特徴表現部と、
前記複数の画像の各々について、前記空間文脈特徴表現部において検出された前記画像の前記共通する空間文脈特徴表現の前記ペアに基づいて、注目領域を推定する注目領域推定部と、
前記複数の画像の各々について、前記注目領域推定部において推定された前記画像の注目領域に含まれる特徴点の局所特徴の各々を注目特徴として選択する特徴選択部と、
を含む、特徴選択装置。
前記空間文脈特徴表現は、前記画像の共通特徴点についてのマルチスケールドロネー図に基づいて得られる、近傍に存在する複数の共通特徴点のペアの局所特徴を表したものである請求項１記載の特徴選択装置。
前記空間文脈特徴表現は、前記画像の共通特徴点からＫ近傍法により得られる、近傍に存在する複数の共通特徴点のペアの局所特徴を表したものである請求項１記載の特徴選択装置。
前記空間文脈特徴表現は、前記複数の共通特徴点のペアの幾何学的特性を考慮せずに、複数の共通特徴点のペアの局所特徴を表したものである請求項１〜請求項３の何れか１項記載の特徴選択装置。
前記空間文脈特徴表現は、複数の共通特徴点のペアの局所特徴及び前記複数の共通特徴点のペアの幾何学的特性の差分を表したものである請求項１〜請求項３の何れか１項記載の特徴選択装置。
入力部と、局所特徴抽出部と、空間文脈特徴表現部と、注目領域推定部と、特徴選択部と、を含む特徴選択装置における特徴選択方法であって、
前記入力部は、対象物を表す複数の画像を受け付け、
前記局所特徴抽出部は、前記入力部において受け付けた複数の画像の各々について、前記画像の特徴点の各々を抽出し、前記特徴点の局所特徴の各々を抽出し、
前記空間文脈特徴表現部は、前記複数の画像の各々について、前記画像の特徴点であって、他の画像から抽出された局所特徴と共通する局所特徴を有する特徴点の各々を共通特徴点として検出し、
前記複数の画像の各々について、前記検出された前記画像の共通特徴点のうちの複数の共通特徴点のペアを各々検出し、前記検出された前記ペアの各々に対し、前記複数の共通特徴点の局所特徴を表す空間文脈特徴表現を生成し、
前記複数の画像の各々について、前記検出された前記ペアであって、他の画像から生成された空間文脈特徴表現と共通する空間文脈特徴表現の前記ペアの各々を検出し、
前記注目領域推定部は、前記複数の画像の各々について、前記空間文脈特徴表現部において検出された前記画像の前記共通する空間文脈特徴表現の前記ペアに基づいて、注目領域を推定し、
前記特徴選択部は、前記複数の画像の各々について、前記注目領域推定部において推定された前記画像の注目領域に含まれる特徴点の局所特徴の各々を注目特徴として選択する
特徴選択方法。
コンピュータを、請求項１〜５の何れか１項記載の特徴選択装置を構成する各部として機能させるためのプログラム。