JP5703312B2 - 特徴点の効率的なスケールスペース抽出及び記述 - Google Patents

Description

本発明は、一般に複数の画像を操作するための方法及びシステムに関し、より具体的には複数のスケールスペース特徴点を効率的に抽出及び記述するための方法及びシステムに関する。

複数のキーポイント又は複数の目立った点は、視点及び照明などの異なる複数の表示条件にわたって高い再現性を有する、画像における複数のサンプルである。オブジェクト又はシーンの異なる複数の画像化例においてこれらの複数のキーポイントを識別することは、他の複数のタスクの中で、３Ｄ空間の再構成又はオブジェクトの認識のような複数のタスクの実行を可能にする。

過去１０年において、いくつかのキーポイント抽出技術が発達している。いくつかのキーポイント抽出技術の中で、２つの方法であって、これらの頑健性によりいくつかの応用領域にわたって広く受け入れられてきた２つの方法、すなわち（例えば、特許文献１において用いられる）スケール不変特徴量変換法（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ Ｍｅｔｈｏｄ、ＳＩＦＴ法）と、（例えば、特許文献２において用いられる）加速ロバスト特徴量法（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ Ｍｅｔｈｏｄ、ＳＵＲＦ法）とがある。

米国特許第６，７１１，２９３号明細書 欧州特許第１８５０２７０号明細書

Ｓ． Ｗｉｎｄｅｒ ａｎｄ Ｍ． Ｂｒｏｗｎ， "Ｌｅａｒｎｉｎｇ ｌｏｃａｌ ｉｍａｇｅ ｄｅｓｃｒｉｐｔｏｒｓ"， Ｉｎ Ｐｒｏｃ． ＩＥＥＥ Ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， ｖｏｌｕｍｅ ０， ｐａｇｅｓ １−８， Ｌｏｓ Ａｌａｍｉｔｏｓ， ＣＡ， ＵＳＡ， ２００７． ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ． Ｅ． Ｔｏｌａ， Ｖ． Ｌｅｐｅｔｉｔ， ａｎｄ Ｐ． Ｆｕａ， "Ａ ｆａｓｔ ｌｏｃａｌ ｄｅｓｃｒｉｐｔｏｒ ｆｏｒ ｄｅｎｓｅ ｍａｔｃｈｉｎｇ"， Ｉｎ Ｐｒｏｃ． ＩＥＥＥ Ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， ｖｏｌｕｍｅ ０， ｐａｇｅｓ １−８， Ｌｏｓ Ａｌａｍｉｔｏｓ， ＣＡ， ＵＳＡ， ２００８． ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ． Ｍ． Ｂｒｏｗｎ ａｎｄ Ｄ． Ｌｏｗｅ， "Ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｉｎｔｅｒｅｓｔ ｐｏｉｎｔ ｇｒｏｕｐｓ"， Ｉｎ Ｐｒｏｃ． Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ （ＢＭＶＣ）， ｐａｇｅｓ ６５６−６６５， Ｓｅｐｔｅｍｂｅｒ ２００２．

ＳＨＩＦＴ法は、連続的にサンプリングされた複数のスケールでガウス差分の極値を検索する。まず、入力画像の複数の平滑化バージョンのピラミッドが計算される。複数の極値は、各オクターブ（σの２倍）の内側において発見される。これらの複数の極値のそれぞれにおいて、キーポイントは、近接している複数のピクセルから抽出された情報を用いて記述される。ＳＩＦＴ法の場合において、記述子は、勾配の方向に基づいて構成される。まず、グリッドは、キーポイントの周りの勾配の主方向に従って定義される。各グリッドの内側において、それらの大きさによって重み付けられた勾配の方向のヒストグラムが計算される。記述子は典型的には４×４のそのような複数の領域及び８つのビンの複数のヒストグラムを用いて形成され、結果として１２８個の成分を有するベクトルとなる。この方法は、３Ｄ再構成、オブジェクト認識、又はロボット局所化などの多数の種類のアプリケーションにおいて良好な性能が実証されている。しかしながら、この方法は、１つの主な欠点、すなわち、ピラミッドの構築及び各キーポイントに対する記述子の決定の計算コストを有する。

一方、ＳＵＲＦ法は、ＳＩＦＴ法よりも非常に高速なスケールスペース抽出のために設計されている。複数の極値は、複数のハールウェーブレット変換（Ｈａａｒ−ｗａｖｅｌｅｔ）によって近似されたヘッセ行列（Ｈｅｓｓｉａｎ）の行列式に基づいて位置が探索される。記述子は、画素値の強度の変化の極性に基づく。（キーポイントの主方向を用いて方向付けられた）勾配の合計と、水平方向及び垂直方向における勾配の絶対値とが計算される。記述子は通常、キーポイントの周りの４×４の領域上で計算される４つのそのような値から形成され、結果として６４値の記述子となる。それらの方法の利益は主に抽出フェーズにおいて生じ、ここで、複数のハールウェーブレット変換は積分画像にアクセスすることによって計算される。これは、特にマルチスケール環境において、メモリアクセス量及び計算数を劇的に減少させる。

最近の研究（例えば、非特許文献１）は、複数の画像パッチの記述のための他の複数のパラメータの中で、異なる複数の記述子レイアウト及び特徴の性能を、徹底的に評価している。彼らの研究において、上記で引用された広く受け入れられた複数の記述子上の複数のパラメータの特定の複数の組み合わせ（例えば、非特許文献２において開示されたダイジー（ＤＡＩＳＹ）記述子）の、明確な複数の改善を観測できる。しかしながら、これらの複数の組み合わせの完全な実施例は、計算的に要求が多い複数の方法につながる。

要約すると、我々は、以下の寄与を用いた高速のスケールスペースのキーポイントの抽出及び記述のための新規のフレームワークを提案する：積分画像をベースとするＳＵＲＦ法の近似及びＳＩＦＴ法のガウス差分よりも、高速であることと、同様又はより良好な性能を提供することとの両方を満たす、複数の区分的三角形フィルタによるヘッセ行列の行列式の近似。ＳＵＲＦ法におけるそれよりも高速なキーポイントの方向の割り当て。

ダイジーのような記述子は、キーポイント抽出及びサンプリングスペースの最適化のためになされた複数の計算を再利用することによって、効率的に抽出される。

全てのこれらの改善は、ＳＩＦＴ法及びＳＵＲＦ法により得られるそれよりも良好な「精度対再現率」の複数の性能を有して、ＳＩＦＴ法と比較すると、６倍の速度の向上、及びＳＵＲＦ法と比較すると、３倍の速度の向上につながる。

本発明は、スケールスペースにおける複数のキーポイントを抽出及び記述する方法、システム、及びコンピュータプログラムを提案する。特に、ＳＩＦＴ法及びＳＵＲＦ法よりも良好な精度対再現率の結果を示す特別な構成を有する、スケールスペースにおいて視点及び照明に対して複数の不変なキーポイントを抽出する方法、システム、及びコンピュータプログラムが開示される。

アルゴリズムは、計算の複雑性全体の低減に向けて設計される。一方では、記述フェーズにおいて抽出中に取得されたデータは、集中的に再利用される。他方では、処理の速度を劇的に向上させるような記述のアルゴリズムの最適化が提案される。

第１の態様において、画像におけるスケールスペースの複数のキーポイントの抽出及び記述のための方法であって、
ａ）異なる複数のスケールで、複数の三角形カーネルフィルタを用いて画像をフィルタリングするステップと、
ｂ）各スケールでヘッセ行列の行列式の近似を計算し、ここで、各スケールｋでの当該近似は、

として計算され、ここで、

であり、ここで、Ｌ（ｋ，ｉ，ｊ）は、点（ｉ，ｊ）においてスケールｋでステップａ）において得られた、フィルタリングされた画像の応答であり、ここで、ｄ_１及びｄ_２は設計パラメータであるステップと、
ｃ）ステップｂ）において得られたヘッセ行列の行列式の近似の、単一のスケール内であってかつスケールスペースに沿っての両方の複数の極値を検索して、これらの極値から複数のキーポイントを計算するステップと、
ｄ）各キーポイントに対して、極値に局所化されて、ステップａ）において得られたフィルタリングされた画像の応答を使用して計算された勾配情報から複数の主要な方向を検出するステップと、
ｅ）各主要な方向に対して、キーポイント記述子を計算するステップとを含む方法。

図１は、提案されたキーポイント抽出方法及びキーポイント記述方法のベストモードのブロック図を表す。三角形フィルタリングされた複数の画像は、主要な方向の抽出とダイジーのような記述子の計算のために再利用される。

図１は、本方法のベストモードのブロック図を示す。まず、画像は、異なる複数のスケールで、三角形カーネルを用いてフィルタリングされる。次に各スケールでヘッセ行列の行列式の計算が行われ、次いでこのスペース上において複数の極値の検出が行われる。複数のキーポイントは上記の複数の極値を用いて発見され（複数のキーポイントは、ヘッセ行列の行列式の複数の極値である、特別なスケールとしてのこれらのピクセルとして選択される。）、各キーポイントに対して、複数の主要な方向は、三角形フィルタリングされた複数の画像を用いて抽出された勾配情報から計算される。各主要な方向に対して、その記述子は計算される。この計算は複数の方向付けられた勾配を利用し、当該複数の方向付けられた勾配もまた三角形フィルタリングされた複数の画像から抽出される。

もう１つの態様において、上述の方法を実行するように構成された手段を備えるシステムが提示される。

最後に、上述の方法を実行するように構成されたコンピュータプログラムコード手段を備えるコンピュータプログラムが提示される。

本発明、本発明の目的、及び効果のより完全な理解のために、以下の明細書及び添付の図面を参照する必要があるであろう。

提案されたキーポイント抽出方法及びキーポイント記述方法のベストモードのブロック図を表す。 ２Ｄ三角形状カーネルを示す。 ２Ｄ三角形状カーネルを用いて入力画像をフィルタリングすることによって形成されたフィルタリングされたバージョンＬ（ｋ，ｉ，ｊ）、ｋ＝１、…、Ｋのスタックを示す。 ２階微分の形状を示す。 ＳＵＲＦ法において用いられる水平方向（又は等価的に回転された垂直軸）の２階微分フィルタ形状を示す。 現在、上位、及び下位のスケールにおける複数の極値の検索のグラフ表現を示す。 ２つのリングと、角度０度で方向付けられたリング１つ当たり８つのセグメント（複数の円周を用いて表される）のレイアウトを示す。 複数の画像列に対する再現性のスコア（％）を示す。 左から右へかつ上から下への、グラフィティ、ボート、複数のバイク、及びルーバンの複数の画像列に対する精度対再現率のグラフ表現を示す。

明細書を完成させて本発明のより良い理解を提供するために、複数の図面のセットが提供される。上記の複数の図面は、明細書と不可分な一体部分を形成して、本発明の好ましい実施の形態を例示する。当該実施の形態は、本発明の範囲を限定するものとして解釈されるべきでなく、むしろどのように本発明が実施されるかの一例として解釈される必要がある。

異なる複数の図における対応する符号及び記号は、他に指摘されない限り対応する部分を参照する。

本発明の方法は、スケールスペースにおける複数のキーポイントをまず検出する処理を説明し（キーポイント抽出ステップ）、次いでダイジーのような記述子を用いて複数のキーポイントを説明する（キーポイント記述ステップ）。この特許は、これらの両方の処理を、分離及び一緒の両方でカバーする。

スケールスペースの複数の極値の検出のための発明された方法は、３つのステップから構成される。
１．第１に、各スケールのヘッセ行列の行列式の計算。
２．第２に、スケールスペースにおける複数の極値の検索。
３．最後のステップはオプションであり、当該ステップはサブピクセル及びサブスケールを用いた複数のキーポイントの発見にある。

抽出アルゴリズムについて一般的に説明することから始め、次いでその抽出アルゴリズムを効率的にする正確な処理について説明する。ヘッセ行列の行列式は

を計算することにあり、ここで、∂_ｘｘは画像上のガウス関数の２階水平微分、∂_ｙｙは２階垂直微分、そして∂_ｘｙは２階クロス微分である。我々の方法は、異なる複数のフィルタカーネルを用いて使用可能である。少なくとも抽出ステップは、複数の２次元ガウスフィルタを用いて実行可能であり、これらの複数のフィルタは、複数の対称加重積分画像（Ｓｙｍｍｅｔｒｉｃ Ｗｅｉｇｈｔｅｄ Ｉｎｔｅｇｒａｌ Ｉｍａｇｅ）及び複数の区分的三角形を用いた近似も用いて、近似される。複数の対称加重積分画像は、増加因子又は減少因子を用いて重みが付けられた複数の積分画像（累積的な２次元の合計）である。いくつかのそのような複数の積分を計算して、異なる複数の位置でこれらの複数の積分にアクセスすることによって、多数のカーネル形状を再生成することが可能である。複数の区分的三角形を用いて計算される方法は好ましいモードであり、以下に説明される。

画像は２Ｄ三角形状フィルタを用いてフィルタリングされて、Ｌ（ｉ，ｊ）を得ていると仮定する。図２は、このフィルタの形状をプロットする。

図３は、２Ｄ三角形状カーネルを用いて入力画像をフィルタリングすることによって形成された、フィルタリングされた複数のバージョンＬ（ｋ，ｉ，ｊ）、ｋ＝１，…，Ｋのスタックを示す。各スケールで、カーネルのサイズ（水平軸及び垂直軸の両方において等しく）は増加される。

図４は、２階微分の形状を示す。上部：ガウス関数、下部：重み付けられた複数の三角形フィルタを有する近似。

各スケールｋに対して、全ての微分は、異なる複数の点（ｉ，ｊ）において、対応するフィルタリングされた応答Ｌ（ｋ，ｉ，ｊ）にアクセスすることによって計算される。概念的には、ガウス関数（図４の上部を参照）の２階水平微分の形状は、変換されて重み付けられた三角形状の応答（図４の下部を参照）によって、近似される。

この処理は、異なる複数のスケールｋ＝１，…，Ｋで実行され、結果として以下の複数の近似が得られる。

ここで、ｄ_１及びｄ_２は実験的に選択され、ガウスカーネルの近似された２階微分のσ（シグマ）に比例する。なお、これらの複数の近似は、三角形フィルタを用いてフィルタリングして次いで複数の所望されないアーチファクトを発生し得る２階微分フィルタ［１；−２；１］を用いて畳み込むことに等価でない。推測可能なように、複数の微分の計算は、９回のみのＬへのアクセスを必要とする。このことは、ＳＵＲＦ法のボックス形状の近似と比較される必要があり、ここで、ヘッセ行列の行列式の計算は、積分画像への８＋８＋１６＝３２回のアクセスを必要とする。複数のハールウェーブレット変換を用いる２階微分に対するこの近似の一例は、図５に示される。

スケールスペースは、図３に示されるように、フィルタリングされた複数のバージョンＬ（ｋ，ｉ，ｊ）のスタックを用いて形成される。このことは、フィルタリングされた複数のバージョンのピラミッドが形成されるＳＩＦＴ法及びＳＵＲＦ法の場合と異なる。この処理において、各オクターブ（ガウス関数又は近似されたガウスフィルタのそれぞれのシグマσの２倍）では、サブサンプリングが実行される。我々の複数の実験において、サブサンプリングは性能の関連損失を形成し、そのためにこの発明において説明される方法は、サブサンプリングすることなく入力画像のフィルタリングを実行する。この方法は計算的に要求が多いように見え得るが、以下に説明されるように、この方法の複数の改善点の１つは、フィルタリングされた複数のバージョンＬ（ｋ，ｉ，ｊ）の一定の再利用である。第１に、この方法は（前述と同様の）ヘッセ行列の行列式の計算中の計算の大きな節約を可能とし、第２に、この方法は、後述されるように、複数のキーポイントの記述において更に利用される。

今までのところ、我々は、入力画像の三角形フィルタリングされた複数のバージョンの制限された数のサンプルにアクセスすることによってヘッセ行列の行列式をどのように計算するかについて説明した。マルチスケールフィルタリングは時間を消費する処理であるために、本方法は、計算コストを更に低減するために、三角形フィルタリングされた複数のバージョンの効率的な計算を実行する。ガウスフィルタは、ボックス型の複数のフィルタを繰り返し畳み込むことによって近似可能であり、複数のボックスフィルタのｎ回の畳み込みと信号のｎ回の積分のいくつかのサンプルにアクセスすることとの間の関係が識別される。１Ｄ信号（ボックスフィルタの畳み込みの２倍）の三角形フィルタリングされたバージョンの計算は、１度に信号の３つのサンプルのみにアクセスし、次いで２回積分することにより行われることが可能である。本発明において、単一のスケールｋに対して、Ｌ（ｋ，ｉ，ｊ）は、入力画像上の２つの経路（１つの水平方向の経路及び１つの垂直方向の経路）のみを用いてオンザフライで得られる。

図６は、現在、上位、及び下位のスケールにおける複数の極値の検索のグラフ表現を示す。オプションの高速検索は、現在のスケール上の３×３のウィンドウにおいて実行される。

極値の検索は、第１のｋ＝１及び最後のｋ＝Ｋの場合を除き、全てのスケール上で実行される。複数の極値は、現在のｋ、上位のｋ＋１、及び下位のｋ−１のスケール上のσの検索ウィンドウ内において検索される。この特許はまた、処理の速度を向上させる拡張をカバーする：第１のテストは、非最大値を素早く検出して更なる処理を避けるために、現在のスケールｋ上の３×３のウィンドウ上で実行される。図６は、この検索のグラフ表現を描写する。

なお、ＳＩＦＴ法及びＳＵＲＦ法の両方は、ピラミッドの複数のオクターブの内側のみにおいて複数の極値を検索し、正しい複数の極値の検出を許すための複数の余分なスケールを発生する。提案された複数の極値の検索は、スケールスペースのスタックにおいて連続的である。

最後のステップはオプションであり、当該最後のステップは、サブピクセル及びサブスケールの精度を用いてキーポイントを発見することにある。好ましいモードは、非特許文献３と同様にこの精度を得るためのものである。つまり、本方法は、補間された位置を決定するために各極値のサンプルを中心とする二次関数をフィッティングし、同一のスケール、上位のスケール、及び下位のスケールの近接している複数のピクセルにおいて検索する。複数の検索結果及び安定性は、サブピクセル及びサブスケールの精度を利用して改善される。

図７は、２つのリングと、角度０度で方向付けられたリング１つ当たり８つのセグメント（複数の円周を用いて表される）のレイアウトを示す。セグメントから中心への距離により、多くのサンプル（複数のドットを用いて表される）は近接して配置される。

いくつかの研究は、複数のキーポイントを記述するために、最近評価された異なる複数の特徴、複数のレイアウト、及び複数のステップを有する。複数の最良の結果を提供するレイアウトは、図７に描写されるレイアウトに類似するダイジーレイアウトである。これらの結果に動機付けられ、発明された方法は、抽出ステップから可能な限り多くの情報を再利用する我々の目的に適合するダイジー記述子の変形例をカバーする。

視点に対して不変な記述子を発生するために、第１のステップは、キーポイントの主要な方向を検出する。ＳＩＦＴ法に従ったアプローチは、対応するガウス平滑化された画像のウィンドウ内における勾配の大きさによって重み付けられた複数の勾配方向のヒストグラムを計算することである。勾配は、ピクセル微分によって計算される。主要な方向は、ヒストグラムのピークにおいて発見される。１つ以上の主要なピークが発見されたときには、いくつかのキーポイントが発生される。ＳＵＲＦ法の場合において、微分は、キーポイントの円近傍におけるサンプリングされた複数の点において（積分画像を利用して）複数のハールウェーブレット変換を用いて計算される。各サンプルの大きさは、水平微分及び垂直微分の空間に位置を占める。この空間はスキャンされて、主要な方向は、ウィンドウ内における値の最大の合計とともに発見される。

本発明は、両方のアプローチの複数の利益のいくつかを利用し、変形例のアプローチを定義する。各キーポイントに対して、近傍の内側の低減された数のサンプルは、勾配の計算のためにアクセスされる。速度の向上は、円近傍をサンプリングすることによって得られる。各サンプル（ｉ，ｊ）に対して、我々の有利な点は、水平方向の１階微分

のために、（ＳＵＲＦ法における６つのサンプルと比較して）２つの点においてＬ（ｋ）に単にアクセスすることによって、複数の勾配が計算されることであり、垂直方向の１階微分に対しても等価である。ｄ_３は、サブスケールの精度が得られなければσに比例し、さもなければσ’に比例する。各微分は、その大きさ及びキーポイントを中心とするガウスカーネルに比例する重みを用いて、ヒストグラムに累積される。最後に、複数の主要な方向は、最大値の近くの値を有する複数のピークを検索することによって発見される。

本発明において、記述子は、特定のレイアウトを用いてサンプリングされた一次微分（勾配）から構成され、続いてベクトル全体に対する正規化がある。

レイアウトは、複数のセグメント及び複数のリングからなる。各セグメントは、キーポイントの近傍の一部である。各セグメントは、複数の特徴を発生する。複数のリングは、次の特性をシェアする複数のセグメントのグループである：セグメントの中心は、キーポイントから同一のユークリッド距離に位置する。この距離は、本明細書において後に議論される。また、レイアウトは、キーポイントを中心とする中央のセグメントを有する。

各セグメントは、キーポイントを記述する特徴ベクトルに寄与する。各セグメントの内側における複数のサンプルは、対応するセグメントの複数の特徴の計算のためにアクセスされる。オリジナルの特徴サンプリングブロックは、キーポイントの近傍における全てのピクセルから１次微分（勾配）を計算することにあり、∂_ｘを水平１階微分として、∂_ｙを垂直１階微分として、４値のベクトル｛｜∂_ｘ｜−∂_ｘ；｜∂_ｘ｜＋∂_ｘ；｜∂_ｙ｜−∂_ｙ；｜∂_ｙ｜＋∂_ｙ｝を得る。

本発明において、同一の４値は近似されて計算されるが、セグメントの内側の選択された複数のサンプルからのみ近似されて計算される。そのようなサンプルのそれぞれにおいて、複数の勾配は評価され、複数の微分はキーポイントの方向に従って方向付けられる。なお、ＳＵＲＦ法もまた方向付けられた複数の勾配を計算するが、複数のハールウェーブレット変換は画像のピクセルのインデクシングを用いて方向付けられるため、複数のアーチファクトを導入することなく積分画像を利用することはできない。他方、方向付けられた複数の勾配の近似は、Ｌ（ｋ）に対する２回のみのアクセスを用いる本発明において、直接的である：

ここで、θは、キーポイントの対応する主要な方向の角度である。

そのような特徴抽出は、前述の複数のセグメント及び複数のリングのレイアウトに従う空間分布を有するサンプル上で実行される。

この特許は、フィルタカーネルにかかわらずフィルタリングされた複数のバージョンＬからの複数の特徴を得る全ての可能な複数のレイアウトをカバーする。この特許の好ましいモードは、記述子の長さを比較的に短く保っている間、最良の結果を生成するレイアウトを使用する。そのレイアウトは、８つのセグメントと２つのリングを有する。これは、（１＋２・８）・４＝６８値のベクトルを生成する。更に、各セグメントに対して選択されたサンプルの数は、リングに応じて変化する。特に、複数のカーネルは、中心のセグメント、第１のリング及び第２のリングに対して、それぞれサイズ３×３，５×５，及び７×７を有する。ガウス関数の重みはまた、各セグメントの複数のサンプル上で実行される。各セグメントの複数のサンプルにアクセスする前に、全体のレイアウト（セグメントの複数の中心及びセグメントの複数のサンプル）は、キーポイントの主要な方向で回転される。

最後に、Ｌ２正規化は、記述子ベクトルに対して適用される。その結果は、８ビットのみに量子化される。Ｌ２正規化及び８ビットへの量子化はともに、オプションでありかつ独立であるが、好ましいモードの一部である。このベクトルは、我々がＤＡＲＴ法のキーポイントと呼ぶものである。

オリジナルのダイジー記述子において、レイアウトを更に決定する２つのパラメータがあり、それらは、各セグメントのサンプリングブロックの複数のサンプルの間の距離と、キーポイントの中心及び各セグメントの複数の中心の間の距離である。

複数の実験結果により、複数のサンプルは２σによって区別され、第１のリングに対する４σ及び第２のリングに対する８σのセグメントへの距離が取得される。このレイアウトにおける複数のセグメントは、図に見られるように大きく重なり合う。この特性は実際には我々の設計において望ましい。なぜならば、記述子の計算が最適化可能だからである。

各セグメントに寄与する複数のサンプルの座標を見れば、どのように非常に近い複数のサンプル（完全に同一でなければ）がアクセスされるかを観測できる。我々は、近くにある複数のサンプルを単一のサンプルに再グループ化することによって処理を進める。そのようなサンプルで計算されたＸ方向及びＹ方向の微分は、対応する重みを有するいくつかのセグメントに寄与する。

アクセスされることとなる複数のサンプルを計算する処理は、スケールから独立して１回のみ実行される。スケール（σ）は、又はサブスケールの精度が適用されるときにはサブスケール（σ’）は、与えられたキーポイントの記述子の計算時に適用される乗法因子である。その結果は、複数のサンプルのグリッドであり、対応は複数のサンプルが寄与する複数のセグメントに関連する。

この最適化は、アクセスの回数を大幅に減少させる。オリジナルの３×３＋５×５×８＋７×７×８＝６０１個のサンプル（フィルタリングされたバージョンに対する２４０４回のメモリアクセスを意味する）から、σ／２の半径内に配置された複数のサンプルを再グループ化することによって、その数は１９７個のサンプル（７８８回のメモリアクセス）に減少する。次のセクションにおいて示されるように、この減少は性能の大幅なロスを有しない。大きな半径を用いた更なる再グループ化は、結果全体を悪化させ始める。推定可能なように、グリッド近似は、複数のサンプルがお互いに一層近く一緒にある小さな複数のスケールで、複数のキーポイントに与える少ない影響を有する。

この発明は、サンプルの数の最適化を有するサンプリングと、サンプルの数の最適化を有しないサンプリングとの両方をカバーする。

図８は、複数の画像列に対する再現性のスコア（％）を示す。ＤＡＲＴ法は、視点の変化、ぼやけ、及びｊｐｅｇ圧縮に対して、ＳＩＦＴ法及びＳＵＲＦ法と同様の、又はＳＩＦＴ法及びＳＵＲＦ法より良好な性能を有する。スケールの変化は、他の技術よりもＤＡＲＴ法の抽出フェーズに対して影響を与えるように思われる。

抽出処理は、異なる複数の画像変換にわたって、複数のキーポイントの再現性を測定することによって検証可能である。図の理解を単純にするために、本発明は、名称ＤＡＲＴを有する好ましいモードを使用して識別される。図８は、データベースのいくつかの列における、ＳＩＦＴ法、ＳＵＲＦ法、及びＤＡＲＴ法に対する再現性のスコアの比較を示す。各列に対して、異なる複数の歪みは、強度を増加させて（例えば、ぼやけの増加、又はＪＰＥＧ圧縮）適用される。

視点、ぼやけ、及びｊｐｅｇ圧縮に対して、我々は、ＤＡＲＴ法がＳＩＦＴ法及びＳＵＲＦ法と同様の性能、又はＳＩＦＴ法及びＳＵＲＦ法より良好な性能を有することを観測できる。他の複数の技術と比較可能であるが、スケールの変化は、ＤＡＲＴ法の抽出フェーズに影響を与えるように思われる。この動作は、複数の三角形を用いたガウス関数の２階微分の近似に起因する。

我々の抽出子を用いて検出された複数のキーポイントでのダイジー記述子の発明された変形例は、１つの精度対再現率を測定することによって検証可能である。図９は、記述子の最適化を用いる発明された方法及び記述子の最適化を用いない発明された方法によって獲得された性能を、ＳＩＦＴ法及びＳＵＲＦ法の性能とともに描写する。図９に見られるように、ＤＡＲＴ法は、全ての評価された複数の列において、ＳＩＦＴ法及びＳＵＲＦ法よりも良好な結果を生成する。

複数のキーポイントを抽出及び記述するための提案されたアルゴリズムは、効率の向上に向けて設計される。この仮説の検証のために、第１のグラフィティ画像（画像サイズ：８００×６４０ピクセル）上の複数のキーポイントは、２ＧＢのＲＡＭを用いてインテル社製Ｃｏｒｅ ２ Ｄｕｏ ＣＰＵ＠２．３３ＧＨｚ上で抽出される。本方法に対して費やされる時間は、（著者のオフィシャルのウェブサイトからの）ＳＩＦＴ法及びＳＵＲＦ法のバイナリを用いた費やされる時間と比較される。表１は、各方法に対して費やされる時間を示す。なお、経過時間は、画像の読み込みを含み、また複数のキーポイントのＡＳＣＩＩファイルへの書き込みを含む。異なる複数のしきい値は、キーポイントの数に関して、より公正な比較のために、ＤＡＲＴ法において用いられる。

表１は、第１の画像のグラフィティ列（８００×６４０ピクセル）上の異なる複数のキーポイント抽出方法に対して費やされる時間を示す。

結果は、ＳＩＦＴ法と比較すると、６倍の速度の向上、及びＳＵＲＦ法と比較すると、３倍の速度の向上を示す。この実験において実施されていないが、スケールスタックの抽出ステップの高度に平行である性質に注意する。このことは、更なる計算コストの減少が可能であることを示す。

発明された方法の適用性を更に検証するために、ＤＡＲＴ法をうまく用いる２つのコンピュータビジョンの問題は調査される。なお、ＤＡＲＴ法は、ここで検証される問題を超える他の複数の問題にも適用可能である。

オブジェクトトラッキング：３次元オブジェクトトラッキングは、静止カメラ又は移動カメラに関するオブジェクトの３Ｄのポーズの追跡にある。オブジェクトトラッキングは、拡張現実などの複数のアプリケーションにおいて頻繁に用いられる。平面的な複数のオブジェクトの特別な場合において、問題は、ビデオストリームの各フレームで抽出された複数のキーポイントに対するオブジェクトの参照画像上の複数のキーポイントのマッチングによって解決可能である。一度対応が確立されると、オブジェクトのポーズは推定可能である。我々は、複数のＤＡＲＴ記述子の最近傍マッチングを実施する。ユークリッド距離がしきい値を超え、かつ１番目及び２番目のベストマッチの距離の間の比率が０．７よりも大きくない場合、我々はこれらの対応を除外する。

３Ｄ再構成：膨大な種類のシーンの再構成技術がある。本ケースにおいて、複数のＤＡＲＴキーポイントは、３Ｄ点群を発生するために、２つ又はそれ以上の一貫した視点から三角測量される。このタスクを実行するために、動きからの構造及びエピポーラ幾可学が利用されて、入力としてビデオ列を用いて現実のシーンの幾何学的表現が構築される。

つまり、本発明は、スケールスペースの複数のキーポイントを効率的に抽出及び記述する新規の方法を提案した。本発明は、効率的に計算された複数の区分的三角形フィルタによってヘッセ行列スケールスペースの行列式を近似する抽出方法を含む。本発明はまた、サンプリングスペース上での最適化を用いたダイジー記述子の変形例を含む。

本方法は、再現性、精度対再現率、及び計算コストの観点から類似の複数の技術と比較される。再現性の観点から、我々の抽出子は、ＳＩＦＴ法及びＳＵＲＦ法とコンパチブルな、又はＳＩＦＴ法及びＳＵＲＦ法よりも良好な性能を有する。精度対再現率の場合において、発明された最適化された記述子レイアウトは、他の複数の方法に対して明らかな利益である。ＳＩＦＴ法と比較すると６倍の、そしてＳＵＲＦ法と比較すると３倍の速度の向上とともに、計算の複雑性の低減が示される。この評価とともに、本発明は、オブジェクト認識及び３ｄ再構成のアプリケーションにうまく適用される。

本発明は特定の複数の実施の形態を参照して説明されたが、前述及びさまざまな他の複数の変更、形態の複数の削除及び複数の付加、及びそれらの詳細は、以下の複数の請求項に定義されるような発明の精神及び範囲を逸脱することなく実施されてもよいことが、当業者によって理解される必要がある。

Claims (8)

1. 画像における複数のキーポイントのスケールスペース抽出及び記述のための、システムによって実行される方法であって、
   ａ）異なる複数のスケールで、複数の三角形カーネルフィルタを用いて前記画像をフィルタリングし、ここで、前記複数の三角形カーネルフィルタは、複数の２Ｄ三角形状フィルタであるステップと、
   ｂ）各スケールでヘッセ行列の行列式の近似を計算し、ここで、各スケールｋでの当該近似は、
   

   

   として計算され、ここで、
   

   

   

   

   であり、ここで、Ｌ（ｋ，ｉ，ｊ）は、点（ｉ，ｊ）においてスケールｋでステップａ）において得られた、前記フィルタリングされた画像の応答であり、ここで、ｄ_１及びｄ_２は設計パラメータであり、ｄ_１及びｄ_２は、ガウスカーネルの近似された２階微分のシグマ、σ、に比例するステップと、
   ｃ）ステップｂ）において得られたヘッセ行列の行列式の近似の、単一のスケール内の複数の極値と、スケールスペースに沿った複数の極値を検索して、これらの極値から前記複数のキーポイントを計算するステップと、
   ｄ）各キーポイントに対して、極値に局所化されて、ステップａ）において得られた前記フィルタリングされた画像の応答を使用して計算された勾配情報から、複数の主要な方向を検出するステップと、
   ｅ）各主要な方向に対して、キーポイント記述子を計算し、ここで、前記キーポイント記述子は、特定のレイアウトを用いてサンプリングされた複数の方向付けられた勾配から構成され、ここで、前記複数の方向付けられた勾配は、
   

   

   として計算され、ここで、Ｌ（ｋ，ｉ，ｊ）は、点（ｉ，ｊ）においてスケールｋでステップａ）において得られた前記フィルタリングされた画像の応答であり、ｄ_３は設計パラメータであり、θは前記キーポイントの主要な方向の角度であるステップとを含む方法。
2. 前記複数の主要な方向を検出するステップは、
   各キーポイントに対して、前記キーポイントの近傍の内側の複数のサンプルを選択するステップと、
   各サンプル（ｉ，ｊ）に対して、水平方向の勾配を、
   

   

   として計算し、垂直方向の勾配を、
   

   

   として計算し、ここで、Ｌ（ｋ，ｉ，ｊ）は点（ｉ，ｊ）においてスケールｋでステップａ）において得られた前記フィルタリングされた画像の応答であり、ｄ_３は設計パラメータであるステップと、
   各勾配を、その大きさに比例する重み及び前記キーポイントを中心とするガウスカーネルを用いて、ヒストグラムに累積するステップと、
   前記複数の主要な方向を、前記ヒストグラムの最大値の近くの値を有する複数のピークを検索することによって発見するステップとを含む請求項１に記載の方法。
3. 前記近傍は円近傍である請求項２に記載の方法。
4. 前記レイアウトは、複数のセグメント及び複数のリングからなり、各セグメントは前記キーポイントの近傍の一部であり、各リングは、前記セグメントの中心が前記キーポイントからの同一のユークリッド距離に配置される特性をシェアする複数のセグメントのグループである請求項１から３までのうちのいずれか一項に記載の方法。
5. 前記複数のキーポイントの前記計算は、サブピクセル及びサブスケールの精度を有して行われる請求項１から４までのうちのいずれか一項に記載の方法。
6. 前記複数のキーポイントの前記計算は、補間される位置を決定するために各極値を中心とする二次関数をフィッティングし、同一のスケール、上位のスケール、及び下位のスケールの近接している複数のピクセルにおいて検索することにより行われる請求項５に記載の方法。
7. 請求項１から６までのうちのいずれか一項に記載の方法を実行するように構成された手段を備えるシステム。
8. コンピュータプログラムであって、
   コンピュータ、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ、アプリケーション特定用途集積回路、マイクロプロセッサ、マイクロコントローラ、又はプログラマブルハードウェアの任意の他の形式上で前記コンピュータプログラムが実行されるときに、請求項１から６までのうちのいずれか一項に記載の方法を実行するように構成されたコンピュータプログラムコード手段を備えるコンピュータプログラム。

Images