JP6650829B2 - 画像検索装置、方法、及びプログラム - Google Patents

Description

本発明は、画像検索装置、方法、及びプログラムに係り、特に、テクスチャのある物体を撮影したクエリ画像から、精度よく同一の物体を検索するための画像検索装置、方法、及びプログラムに関する。

物体認識技術の進展が目覚ましい。これまでは、顔・指紋認証やファクトリーオートメーション等、認識する対象や環境が限定されている利用キーポイントが中心的であった。最近では、スマートフォン等の小型な撮像デバイスの普及に伴い、一般利用者が自由な場所や環境で、任意の物体を撮影したような自由撮影画像からの物体の認識に対する産業上の要請も増えてきている。実世界とウェブ世界の商品を相互につなぐＯ２Ｏサービスや、実環境に存在する様々なランドマークを認識して情報を提供する情報案内／ナビゲーションサービスなどへの期待は特に高い。

このような新たな用途に供される物体認識技術にはいくつかの形態がありうるが、代表的なものの一つが物体検索である。以下に物体検索の典型的な手続きを概説する。まず、各々の画像の輝度値を解析することで、特徴的な輝度分布を持つ微小なキーポイント（キーポイントなどと呼ばれる）を多数抽出し、各キーポイントをその輝度の変化量によって表現する（局所特徴量と呼ばれる）。次に、互いに異なる二つの画像に含まれる局所特徴量同士の距離を測ることで、異なる画像間のキーポイント同士の対応を取り、多数の対応が存在するペアほど、同一の物体が写っている画像であると見做す。

事前に認識対象とする物体を撮影した画像（参照画像）のデータベースを構築したとする。このとき、物体検索によって、データベース内の参照画像のうち、撮影したクエリ画像と同一の物体が写っているものを検索することによって、クエリ画像中に存在する物体を特定するのである。

物体検索の最大の特徴の一つは、一枚の画像を一つ以上の微小キーポイント（およびそれを記述する局所特徴量）の集合として表現することである。単に同一の物体が写った画像と言っても、どの画像にも同じ位置や姿勢（微小キーポイントの角度）、大きさで写っているわけではなく、画像によってさまざまな写り方で撮影されているのが普通である。まして、一般利用者が自由撮影したような画像においては、事前に物体の写り方を知ることは多くの場合ほぼ不可能である。然るに、画像を記述する特徴量ベクトルは、位置・姿勢・大きさに依らない不変性を持つことが望ましい。

画像一枚全体を一つのベクトルで表現するような大域的な特徴量では、望ましい不変性を得ることは難しい。例えば各ピクセルの色（ＲＧＢ値）をベクトルに並べたものは、位置・姿勢・大きさいずれに対しても不変ではない。一方、一部の情報を抽象化したもの、例えば、色ヒストグラム等は、位置や姿勢に対する不変性は持ちうるが、大きさに対しては不変的ではない。また、物体の一部が欠けていたりする場合に対しても脆弱であるなど、精度が容易に低下しやすい。

一方、物体検索では、微小キーポイントの集合によって画像を表現する。これらはキーポイントの集合であるから、位置に対しては不変である。また、キーポイントを記述する局所特徴量には、姿勢や大きさに対して不変性を持つものが発明されている。例えば非特許文献１に記載のＳｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）が代表例である。

以上の通り、物体検索の典型的な手続きによれば、画像を一つ以上のキーポイントの集合によって表現することで、位置・姿勢・大きさによらず、頑健に同一の物体を含む画像を検索することができるのである。

特開２００５−７００２６号公報

D.G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints ", International Journal of Computer Vision, pp.91-110, 2004 J. Philbin, O. Chum, M. Isard, Josef Sivic and Andrew Zisserman. Object retrieval with large vocabularies and fast spatial matching 1470-1477, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2007.

しかしながら、物体検索にも問題がある。通常、実空間にある物体は様々な光源環境下に置かれており、撮影された物体画像は当然のことながらこの光源による反射の影響を受ける。特に、滑らかな面を持つ物体は、鏡面反射を起こすことが知られている。鏡面反射は非常に強い輝度として観測されることが多いため、しばしば物体本来の持つ輝度の変化の度合いを変化させたり、覆い隠したりしてしまう。結果として、物体検索において、誤対応が発生し、異なる物体が検索されてしまうことがあるのである。

このような課題を鑑み、いくつかの発明がなされてきている。

非特許文献２には、キーポイントの幾何検証に基づく画像検索方法が開示されている。同一の物体であれば、撮影視点の変化を除いて、キーポイントの空間的な分布も同一になるという、合理的な仮定に基づく方法である。まず、異なる画像間でキーポイント同士の対応を取ったのち、複数の対応を集合として見たときの空間的な幾何関係が、特定の線形変換に拘束されているような対応のみを有効な対応とみなすことにより、有効ではない対応を削除する。結果として、有効な対応の数が多い画像同士を、検索結果のより上位にランキングするのである。

特許文献１には、照明光の影響による鏡面反射を除去する装置が開示されている。事前に、参照画像とこれを撮影した際の照明光成分を（白色板を撮影した画像を用いて）計測しておく。実際に物体を撮影する際には、物体を写したクエリ画像と、白色板を撮影した画像の双方を取得し、クエリ画像を照明光成分に直交する空間に射影することにより、鏡面反射が除去された画像を生成する。

非特許文献１、非特許文献２に開示されているように、既存の技術は、いずれも単純なキーポイントマッチングに基づく画像検索技術であるが、鏡面反射に起因する誤対応を回避する構成要素を持ち合わせてはいない。先述の通り、キーポイントは輝度の変化に基づいて決定され、また、局所特徴量は輝度変化を記述するものであるから、鏡面反射の影響を直接的に受けてしまい、結果として精度が大きく劣化する点が問題である。

また、特許文献１に開示されているような鏡面反射除去法を適用すれば、画像を鏡面反射の無い画像へと変換することも可能である。その一方で、特許文献１に記載の技術は、参照画像、クエリ画像双方の撮影時において、常に白色板を撮影するカメラを備えていなければならない。また、常に白色板を撮影した画像を蓄積していかなければならず、必要な画像枚数が増えてしまう。大局的に見れば、既存の鏡面反射除去法は、光源、あるいは、撮影デバイスに、汎用カメラにない特殊な装備を備えていなければ利用できないこと、あるいは、非常に多くの画像を必要とすることなど、または処理時間がかかるなどの理由から、先に述べたような一般利用者が自由撮影した問い合わせ画像に基づいて画像検索をするような場合、必ずしも適しているものではない点が問題である。

以上、現在に至るまで、特に自由撮影される鏡面反射が起こるような物体画像に対して、効果的に画像検索できる技術は発明されていなかった。

本発明は、上記問題点を解決するために成されたものであり、テクスチャのある物体を撮影したクエリ画像から、物体の輝度変化に対してロバストに、かつ、精度よく同一の物体を検索することができる画像検索装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る画像検索装置は、少なくとも一枚以上の参照画像を蓄積した参照画像データベースを備え、同一の物体を異なる視点から撮影した第一のクエリ画像と、少なくとも一枚の第二のクエリ画像との少なくとも二枚のクエリ画像を受け付け、前記第一のクエリ画像に写る物体と同一の物体を含む、前記参照画像データベース中の参照画像を出力する画像検索装置であって、前記第一のクエリ画像と、前記第二のクエリ画像との間で位置合わせを行い、前記第一のクエリ画像の一つ以上の画素に対して、前記第二のクエリ画像の画素を対応させる対応決定部と、前記第一のクエリ画像から注目画素を選択し、前記選択した注目画素に対応する前記第二のクエリ画像の対応画素が存在する場合、前記選択した注目画素の輝度値と、前記第二のクエリ画像の対応画素の輝度値とを比較し、前記対応画素の輝度値が前記注目画素の輝度値よりも低い場合には、前記注目画素の画素値を前記対応画素の画素値によって更新することで、合成画像を生成する画像合成部と、前記合成画像に最も近しい、前記参照画像データベース中の参照画像を出力する検索部と、を含んで構成されている。

また、第１の発明に係る画像検索装置において、前記対応決定部は、前記第一のクエリ画像から抽出したキーポイントと、前記第二のクエリ画像から抽出したキーポイントとに基づいて、前記第一のクエリ画像のキーポイントと前記第二のクエリ画像のキーポイントとを対応付け、キーポイント間の対応関係に基づいて、対応する前記第一のクエリ画像のキーポイントの画素及び前記第二のクエリ画像のキーポイントの画素の何れか一方から他方へ変換するための線形変換行列を求め、前記画像合成部は、前記線形変換行列に基づいて、前記第二のクエリ画像の座標を前記第一のクエリ画像の座標に変換し、前記変換された座標上で前記第一のクエリ画像と前記第二のクエリ画像とが重なる領域において、前記第一のクエリ画像から注目画素を選択し、前記選択した注目画素の輝度値と、前記第二のクエリ画像の対応画素の輝度値とを比較し、前記対応画素の輝度値が前記注目画素の輝度値よりも低い場合には、前記注目画素の画素値を前記対応画素の画素値によって更新することで、合成画像を生成するようにしてもよい。

第２の発明に係る画像合成方法は、少なくとも一枚以上の参照画像を蓄積した参照画像データベースを備え、同一の物体を異なる視点から撮影した第一のクエリ画像と、少なくとも一枚の第二のクエリ画像との少なくとも二枚のクエリ画像を受け付け、前記第一のクエリ画像に写る物体と同一の物体を含む、前記参照画像データベース中の参照画像を出力する画像検索装置における画像検索方法であって、対応決定部が、前記第一のクエリ画像と、前記第二のクエリ画像との間で位置合わせを行い、前記第一のクエリ画像の一つ以上の画素に対して、前記第二のクエリ画像の画素を対応させるステップと、画像合成部が、前記第一のクエリ画像から注目画素を選択し、前記選択した注目画素に対応する前記第二のクエリ画像の対応画素が存在する場合、前記選択した注目画素の輝度値と、前記第二のクエリ画像の対応画素の輝度値とを比較し、前記対応画素の輝度値が前記注目画素の輝度値よりも低い場合には、前記注目画素の画素値を前記対応画素の画素値によって更新することで、合成画像を生成するステップと、検索部が、前記合成画像に最も近しい、前記参照画像データベース中の参照画像を出力するステップと、を含んで実行することを特徴とする。

また、第２の発明に係る画像検索方法において、前記対応決定部が対応させるステップは、前記第一のクエリ画像から抽出したキーポイントと、前記第二のクエリ画像から抽出したキーポイントとに基づいて、前記第一のクエリ画像のキーポイントと前記第二のクエリ画像のキーポイントとを対応付け、キーポイント間の対応関係に基づいて、対応する前記第一のクエリ画像のキーポイントの画素及び前記第二のクエリ画像のキーポイントの画素の何れか一方から他方へ変換するための線形変換行列を求め、前記画像合成部が合成するステップは、前記線形変換行列に基づいて、前記第二のクエリ画像の座標を前記第一のクエリ画像の座標に変換し、前記変換された座標上で前記第一のクエリ画像と前記第二のクエリ画像とが重なる領域において、前記第一のクエリ画像から注目画素を選択し、前記選択した注目画素の輝度値と、前記第二のクエリ画像の対応画素の輝度値とを比較し、前記対応画素の輝度値が前記注目画素の輝度値よりも低い場合には、前記注目画素の画素値を前記対応画素の画素値によって更新することで、合成画像を生成するようにしてもよい。

また、第３の発明に係るプログラムは、コンピュータを、上記第１の発明に係る画像検索装置の各部として機能させるためのプログラムである。

本発明の画像検索装置、方法、及びプログラムによれば、第一のクエリ画像と、第二のクエリ画像との間で位置合わせを行い、第一のクエリ画像の一つ以上の画素に対して、第二のクエリ画像の画素を対応させ、第一のクエリ画像から注目画素を選択し、選択した注目画素に対応する前記第二のクエリ画像の対応画素が存在する場合、選択した注目画素の輝度値と、第二のクエリ画像の対応画素の輝度値とを比較し、対応画素の輝度値が前記注目画素の輝度値よりも低い場合には、注目画素の画素値を対応画素の画素値によって更新することで、合成画像を生成し、合成画像に最も近しい、参照画像データベース中の参照画像を出力することにより、テクスチャのある物体を撮影したクエリ画像から、物体の輝度変化に対してロバストに、かつ、精度よく同一の物体を検索することができる、という効果が得られる。

本発明の実施の形態に係る画像の位置合わせ及び画像合成の原理を説明する図である。 本発明の実施の形態に係る画像検索装置の構成を示すブロック図である。 本発明の実施の形態に係る画像検索装置における画像検索処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る画像合成処理を説明する図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る原理＞

まず、本発明の実施の形態における原理について、図１を用いて説明する。

物体の放射輝度は、通常、物体本来の見え方を表す拡散反射成分と物体表面のわずかに外側で起こる鏡面反射成分との和としてモデル化できることが知られており、二色性反射モデルと呼ばれる。完全拡散反射である場合、点光源からの平行光に対し、拡散反射成分は視点（方向）に依らず一定の強度として観測されるが、後者は視点に依存して強度が変化する。また、もし平行光でないような場合には、光源位置と視点に依存して、鏡面反射が現れる位置も変化する。したがって、仮に視点の異なる少なくとも二枚のクエリ画像を得た場合、図１に示す画像１、及び画像２のように、二枚の画像に写る物体上で、鏡面反射領域はそれぞれ異なる位置及び強度で現れる。

ここで、画像１、及び画像２の二枚の画像を位置合わせする、つまり、二枚の画像に写る物体が丁度重なり合うように、どちらか一方の画像（ここでは画像２）を変換することを考える。異なる二枚の画像の位置合わせには、例えば非特許文献２に記載のキーポイントに基づく位置合わせ等を行うことができる。しばしば鏡面反射領域は一様に高い輝度値を持つことが多く、鏡面反射領域内部は輝度変化に乏しいため、領域内部からはキーポイントは検出されにくい。したがって、先のような二枚の画像に対してキーポイントに基づく位置合わせを適用した場合には、図１のように、主に拡散反射領域（すなわち、本来の物体の見え方）から検出されたキーポイントに基づく位置合わせが行われる。図１中の画像１と画像２を跨る破線は、対応するキーポイント同士を繋いで図示している。

この位置合わせの結果に基づいて、画像２を変換して画像１に位置合わせすることを考えると、位置合わせされた合成画像の各画素については、画像１の画素値と画像２の（対応する）画素値のどちらを取るかについて、任意性が生じるため、より鏡面反射の弱い方の画素値を採りたい。先の二色性反射モデルに基づけば、画像の放射輝度は拡散反射成分と鏡面反射成分の和で表すことができ、鏡面反射成分がある部分の方が輝度が強くなると言えるから、画像１、及び画像２の画素のうち、輝度の低い画素値を持つ方を採用すれば、鏡面反射成分が抑制された画像３を合成することができるのである。

このようにして合成された画像３をクエリ画像として検索することにより、鏡面反射による不明瞭性のない問い合わせが可能となり、より正確な検索が実行できるのである。

以下、図面を参照して本発明の実施の一形態を詳細に説明する。

＜＜全体構成＞＞

図２は、本発明の実施形態に係る画像検索装置１１の構成の一例を示すブロック図である。図２に示す画像検索装置１１は、対応決定部１２と、画像合成部１３と、検索部１４とを備える。

また、画像検索装置１１は、参照画像データベース１５と通信手段を介して接続されて相互に情報通信し、任意の画像の特徴量を参照画像データベース１５に登録したり、読み出したりすることができる構成を取る。参照画像データベース１５は、例えば、一般的な汎用コンピュータに実装されているファイルシステムによって構成できる。各画像それぞれを一意に識別可能な識別子（例えば、通し番号によるＩＤやユニークな画像ファイル名等）を与えるものとする。また、一般に画像検索時には、各画像を何らかの特徴量によって表現することが普通であるが、これらを記述したファイルについても、当該画像の識別子と関連づけて格納しておく。データベースはＲＤＢＭＳ（Ｒｅｌａｔｉｏｎａｌ Ｄａｔａｂａｓｅ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）などで実装・構成されていても構わない。その他、メタデータとして、例えば画像の内容を表現するもの（画像のタイトル、概要文、又はキーワード等）、画像のフォーマットに関するもの（画像のデータ量、サムネイル等のサイズ）などを含んでいても構わないが、本発明の実施においては必須ではない。

参照画像データベース１５は、少なくとも一枚以上の物体を含む参照画像を蓄積したデータベースである。参照画像データベース１５は、画像検索装置１１の内部にあっても外部にあっても構わず、通信手段は任意の公知のものを用いることができるが、本実施の形態においては、外部にあるものとし、通信手段は、インターネット、TCP/IPにより通信するよう接続されているものとする。

また、画像検索装置１１が備える各部及び参照画像データベース１５は、演算処理装置、記憶装置等を備えたコンピュータやサーバ等により構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは画像検索装置１１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。もちろん、その他いかなる構成要素についても、単一のコンピュータやサーバによって実現しなければならないものではなく、ネットワークによって接続された複数のコンピュータに分散して実現しても構わない。

＜＜処理部＞＞

本実施の形態における画像検索装置１１の各処理部について説明する。ここでは、同一の物体を異なる視点から撮影した第一のクエリ画像１６と第二のクエリ画像１７の二枚が入力されたと仮定して説明する。なお、後述するように、二枚以上の第二のクエリ画像１７が入力された場合においても適用可能である。この場合、複数枚の第二のクエリ画像１７が入力されることになる。

対応決定部１２は、外部から第一のクエリ画像１６と、第二のクエリ画像１７とが与えられると、第一のクエリ画像１６と、第二のクエリ画像１７との間で位置合わせを行い、第一のクエリ画像１６の一つ以上の画素に対して、第二のクエリ画像１７の画素を対応させ、対応結果を画像合成部１３に出力する。ここでは、第一のクエリ画像１６から抽出したキーポイントと、第二のクエリ画像１７から抽出したキーポイントとに基づいて、第一のクエリ画像１６のキーポイントと第二のクエリ画像１７のキーポイントとを対応付け、キーポイント間の対応関係に基づいて、第二のクエリ画像１７のキーポイントの画素から対応する第一のクエリ画像１６のキーポイントの画素へ変換するための線形変換行列を求める。なお、第一のクエリ画像１６のキーポイントの画素から対応する第二のクエリ画像１７のキーポイントの画素へ変換するための線形変換行列としてもよい。

なお、クエリ画像が三枚以上入力された場合には、クエリ画像のうちの一枚（本実施の形態の例においては第一のクエリ画像１６）に対して、ほかの全ての第二のクエリ画像１７についてキーポイントに基づく位置合わせを実行し、対応するキーポイントの組の数が最も多かったクエリ画像を採用すればよい。

画像合成部１３は、第一のクエリ画像１６から注目画素を選択し、選択した注目画素に対応する第二のクエリ画像１７の対応画素が存在する場合、選択した注目画素の輝度値と、第二のクエリ画像１７の対応画素の輝度値とを比較し、対応画素の輝度値が注目画素の輝度値よりも低い場合には、注目画素の画素値を対応画素の画素値によって更新することで、合成画像を生成し、検索部１４に出力する。ここで、対応決定部１２で求められた線形変換行列に基づいて、第二のクエリ画像１７の座標を第一のクエリ画像１６の座標に変換することで第一のクエリ画像１６と第二のクエリ画像１７とを同一座標上に張り合わせるが、注目画素の選択は、変換された座標上で第一のクエリ画像１６と第二のクエリ画像１７とが重なる領域において行う。

検索部１４は、生成された合成画像を新たなクエリ画像として参照画像データベース１５に問い合わせを実行し、参照画像データベース１５中の参照画像のうち、合成画像に最も近しい参照画像を検索結果１８として出力する。

＜＜処理概要＞＞

次に、本実施の形態における画像検索装置１１の処理について説明する。図３は、処理の流れを示すフローチャートである。

まず、ステップＳ３０１では、外部から二枚以上のクエリ画像が与えられた場合、一枚を第一のクエリ画像１６、もう一枚を第二のクエリ画像１７として、対応決定部１２が、第一のクエリ画像１６に対してキーポイントに基づく位置合わせを行い、当該第一のクエリ画像１６の画素のそれぞれに対して、第二のクエリ画像１７の画素を対応させ、対応結果を画像合成部１３に出力する。

続いて、ステップＳ３０２では、画像合成部１３が、第一のクエリ画像１６の各画素の輝度値が、当該画素に対応する第二のクエリ画像１７の画素の輝度値よりも低い場合に、第一のクエリ画像１６の当該画素の値を、第二のクエリ画像１７の対応する画素の画素値によって置き換えることで、合成画像を生成し、検索部１４に出力する。

続いて、ステップＳ３０３では、検索部１４が、合成画像をクエリ画像として参照画像データベース１５に問い合わせを行い、マッチした参照画像を検索結果として出力する。

以上の処理により、入力されたクエリ画像に対して、同一の物体を含む参照画像を検索することができる。

＜＜各処理の処理詳細＞＞

以降、各処理の詳細処理について、本実施形態における一例を説明する。

［対応決定処理］

まず、対応決定部１２において、二枚のクエリ画像間での対応を求める処理について説明する。

クエリ画像間の対応を求めるには、例えば、非特許文献１や非特許文献２などに記載のキーポイントマッチングに基づく方法を採用する。これらに限らず、その他の公知のキーポイントマッチング法を採用しても構わない。

ここでは、第一のクエリ画像１６から抽出されたあるキーポイントをＱ_ｉ、第二のクエリ画像１７から抽出されたキーポイントをＲ_ｊと表すことにする。各キーポイントは、特徴量ベクトルによって記述する。任意の特徴量ベクトルを用いても構わないが、好ましくは非特許文献１に記載のＳＩＦＴなどの局所特徴量を用いる。

キーポイントＱ_ｉを記述する特徴量ベクトルをｖ_ｉ、Ｒ_ｊを記述する特徴量ベクトルをｗ_ｊと表すとする。このとき、キーポイント同士の特徴量の距離ｄｉｓｔ（Ｑ_ｉ，Ｒ_ｊ）を次式により求める。

続いて、求めたキーポイント間の特徴量の距離に基づいて、各キーポイントの組が対応しているか否かを判定する。あるキーポイントＲ_ｊに着目したとき、これに最も近いキーポイントがＱ_ｋ、その次に近いキーポイントがＱ_ｌであったとする。このとき、下記の条件を満たすとき、Ｒ_ｊとＱ_ｋが対応していると判定する。

ここで、Ｔは事前に決めておくパラメータであり、０＜Ｔ≦１の任意の値を取ってよい。例えばＴ＝０．８などとすればよい。

以上の計算を全てのキーポイントの組に対して実施することで、対応するキーポイントを求めることが可能である。

なお、このように求めた対応は重複を許す。つまり、Ｒ_ｊに着目している場合、あるキーポイントＱ_ｋに対して、着目している側のクエリ画像の複数のキーポイントＲ_ｊが対応する可能性がある。逆に、Ｑ_ｋに着目している場合、あるキーポイントＲ_ｊに対して、着目して側のクエリ画像の複数のキーポイントＱ_ｋが対応する可能性がある。自然に考えれば、物体が同一であるにも関わらず、物体のある一つのキーポイントに対して、別の見え方をした物体の複数のキーポイントが対応することは考えにくい。そこで、対応の重複を許さないように、後処理を導入しても構わない。例えば、一度上記方法によって全ての対応を求めた後、第二のクエリ画像１７の複数のキーポイントと対応している第一のクエリ画像１６のキーポイントを列挙する。続いて、当該第一のクエリ画像１６のキーポイントと対応している第二のクエリ画像１７のキーポイントのうち、最も距離の近いものだけを有効な対応であると判断し、それ以外の組については対応を棄却する。以上のような処理を導入することにより、全てのキーポイントは必ず一対一対応するように制約することができる。このようにして二枚のクエリ画像間でキーポイント同士の対応を取ることができる。

続いて、求めたキーポイント間の対応関係から、第一のクエリ画像１６上の注目画素に対応する第二のクエリ画像１７の対応画素を対応づけることによって位置合わせを行う。

もし写る物体が剛体であるならば、クエリ画像中の物体と参照画像中の物体は異なる視点から撮影されているにすぎず、現実的な仮定の下、この視点変動は線形変換でモデル化できる。言い換えれば、同じ物体上に存在するキーポイントに限れば、第一のクエリ画像１６のキーポイントの座標と、第二のクエリ画像１７のキーポイントの座標は線形変換により表現できるということになる。このような線形変換は、仮に線形変換がアフィン変換であると仮定する場合には３組の物体上のキーポイントの組があれば一意に求めることができ、また、射影変換と仮定する場合には４組の物体上のキーポイントの組があれば一意に求めることができる。

しかし、現実的には二枚のクエリ画像いずれについても、全てのキーポイントが物体上に存在するとは限らないため、物体上にあるキーポイントの組を正確にサンプリングしながら、線形変換を求めるような処理を構成する必要がある。幸運にも、このような条件で線形変換を求める手法は公知の有効な方法が存在する。例えば、参考文献１に記載のＲＡＮＳＡＣアルゴリズムや参考文献２に記載のＬＯ−ＲＡＮＳＡＣアルゴリズムが好適である。

［参考文献１］ M. A. Fischler and R. C. Bolles, “Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography,” Comm. ACM, vol. 24, no. 6, pp. 381-395, 1981.

［参考文献２］ O. Chum, J. Matas, and S. Obdrzalek, “Enhancing RANSAC by generalized model optimization,” Proceedings of Asian Conference on Computer Vision, pp. 812-817, 2004.

このような方法により、第二のクエリ画像１７の物体上のキーポイントの画素から、第一のクエリ画像１６の物体上のキーポイントの注目画素への変換を与える線形変換行列（行列の大きさは３×３）を求めることができる。なお、この線形変換行列を使うことで、物体上に存在する画素に限り、二枚のクエリ画像の任意の画素の対応を取ることができる。

以上のようにして、線形変換行列の形で異なる二枚のクエリ画像間の対応を決定することができる。

なお、求めた線形変換行列を用いることで、対応するキーポイントの組から物体上のキーポイントの組の数をより正確に計数することが可能である。仮に、第二のクエリ画像１７のキーポイントの座標を（ｘ，ｙ）と表すとすると、このキーポイントに対応する第一のクエリ画像１６のキーポイントの座標の推定値（ｘ_ｅ，ｙ_ｅ）は

と求めることができる。ここで、Ｈは先に求めた線形変換行列である。一方、第一のクエリ画像１６のキーポイントの真の座標は既知であるから、この真の座標を（ｘ’，ｙ’）と表すとすると、仮に（ｘ，ｙ）、（ｘ’，ｙ’）が双方物体上に存在するキーポイントの組であるならば、（ｘ’，ｙ’）は（ｘ_ｅ，ｙ_ｅ）によって正確に推定されているはずである。そこで、これらの距離（誤差）が一定の閾値以内に収まっているか否かによって、その対応が物体から抽出されたキーポイント同士の対応であるか否かを判定する。閾値は任意の値としてよいが、例えば、１、９、３６、６４など、小さい値に設定すればよい。特に、三枚以上のクエリ画像が入力された場合、このようにして残されたキーポイントの組の数が多いペアを判定して、以降の処理を進めるのが好適である。

［画像合成処理］

続いて、画像合成部１３における、対応決定部１２による対応づけに基づいて、二枚のクエリ画像から合成画像を生成する処理について説明する。

まず、先の線形変換行列に基づいて、第二のクエリ画像１７を第一のクエリ画像１６上の座標に変換し、これらを張り合わせる。すると、図４に示す例のように、物***置で二枚の画像が張り合わせることができる。仮に、この張り合わせられた画像を一枚の画像とみなすとすると、二枚の画像が重なっている領域では、もともとの第一のクエリ画像１６の画素値と、もともとの第二のクエリ画像１７の画素値の、二つの画素値を取りうる。好ましくは、鏡面反射が起こっていない、あるいは、より弱い方の画像の画素値を採用したい。

本発明の実施形態では、二色性反射モデルに基づいて、画素値を選択することで、この条件に合う画素値の選択を実現する。二色性反射モデルは、画像の放射輝度は拡散反射成分と鏡面反射成分の和で表すことができるという仮定を表現したモデルである。完全拡散反射する同一の物体であれば、同一光源下において、同一の位置での拡散反射成分は視点によらずほぼ同じ値を取ると仮定できるから、もし、二つのクエリ画像間で大きな輝度差が生じているとすれば、それは概ね鏡面反射成分によるものと考えてよいであろう。したがって、ある画素に着目した際に、二枚のクエリ画像の画素のうち、輝度の低い方の画素値を採用する。

このようにして、図４に示すような、鏡面反射成分が抑制された合成画像を得ることができるのである。

［検索部］

最後に、検索部１４において、画像合成部１３で生成した合成画像をクエリ画像として、参照画像データベース１５に問い合わせを行い、クエリ画像と同一の物体を含む参照画像のみを検索する。

このような検索を実行する方法には、数多くの公知の方法が存在する。好ましくは、物体の写り方（位置・姿勢・大きさ）に依らず同一物体画像を検索可能な、物体検索に基づく方法を採用する。例えば、参考文献３や参考文献４などの方法を用いるのが好適である。

［参考文献３］特開２０１６−１８４４４号公報

［参考文献４］G. Tolias, Y. Avrithis, and H. J´egou, “Image search with selective match kernels: aggregation across single and multiple images,” International Journal of Computer Vision, vol. 116, pp. 247-261, 2016.

以上説明したように、本発明の実施の形態に係る画像検索装置によれば、第一のクエリ画像１６と、第二のクエリ画像１７との間で位置合わせを行い、第一のクエリ画像１６の一つ以上の画素に対して、第二のクエリ画像１７の画素を対応させ、第一のクエリ画像１６から注目画素を選択し、選択した注目画素に対応する前記第二のクエリ画像１７の対応画素が存在する場合、選択した注目画素の輝度値と、第二のクエリ画像１７の対応画素の輝度値とを比較し、対応画素の輝度値が前記注目画素の輝度値よりも低い場合には、注目画素の画素値を対応画素の画素値によって更新することで、合成画像を生成し、合成画像に最も近しい、参照画像データベース中の参照画像を出力することにより、テクスチャのある物体を撮影したクエリ画像から、物体の輝度変化に対してロバストに、精度よく同一の物体を検索することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

１１ 画像検索装置
１２ 対応決定部
１３ 画像合成部
１４ 検索部
１５ 参照画像データベース
１６ 第一のクエリ画像
１７ 第二のクエリ画像

Claims (3)

1. 少なくとも一枚以上の参照画像を蓄積した参照画像データベースを備え、同一の物体を異なる視点から撮影した第一のクエリ画像と、少なくとも一枚の第二のクエリ画像との少なくとも二枚のクエリ画像を受け付け、前記第一のクエリ画像に写る物体と同一の物体を含む、前記参照画像データベース中の参照画像を出力する画像検索装置であって、
   前記第一のクエリ画像の拡散反射領域から抽出したキーポイントと、前記第二のクエリ画像の拡散反射領域から抽出したキーポイントとの距離に基づいて、前記第一のクエリ画像のキーポイントと前記第二のクエリ画像のキーポイントとを対応付け、キーポイント間の対応関係に基づいて、前記対応関係のうち最も距離の近い対応だけを有効な対応であるとして、対応する前記第一のクエリ画像の物体上のキーポイントの画素及び前記第二のクエリ画像の物体上のキーポイントの画素の何れか一方から他方へ変換するための線形変換行列を求める対応決定部と、
   前記線形変換行列に基づいて、前記第二のクエリ画像の座標を前記第一のクエリ画像の座標に変換し、前記変換された座標上で前記第一のクエリ画像と前記第二のクエリ画像とが重なる領域において、前記第一のクエリ画像から注目画素を選択し、前記選択した注目画素に対応する前記第二のクエリ画像の対応画素が存在する場合、前記選択した注目画素の輝度値と、前記第二のクエリ画像の対応画素の輝度値とを比較し、前記対応画素の輝度値が前記注目画素の輝度値よりも低い場合には、前記注目画素の画素値を前記対応画素の画素値によって更新することで、合成画像を生成する画像合成部と、
   前記合成画像に最も近しい、前記参照画像データベース中の参照画像を出力する検索部と、
   を含む画像検索装置。
2. 少なくとも一枚以上の参照画像を蓄積した参照画像データベースを備え、同一の物体を異なる視点から撮影した第一のクエリ画像と、少なくとも一枚の第二のクエリ画像との少なくとも二枚のクエリ画像を受け付け、前記第一のクエリ画像に写る物体と同一の物体を含む、前記参照画像データベース中の参照画像を出力する画像検索装置における画像検索方法であって、
   対応決定部が、前記第一のクエリ画像の拡散反射領域から抽出したキーポイントと、前記第二のクエリ画像の拡散反射領域から抽出したキーポイントとの距離に基づいて、前記第一のクエリ画像のキーポイントと前記第二のクエリ画像のキーポイントとを対応付け、キーポイント間の対応関係に基づいて、前記対応関係のうち最も距離の近い対応だけを有効な対応であるとして、対応する前記第一のクエリ画像の物体上のキーポイントの画素及び前記第二のクエリ画像の物体上のキーポイントの画素の何れか一方から他方へ変換するための線形変換行列を求めるステップと、
   画像合成部が、前記線形変換行列に基づいて、前記第二のクエリ画像の座標を前記第一のクエリ画像の座標に変換し、前記変換された座標上で前記第一のクエリ画像と前記第二のクエリ画像とが重なる領域において、前記第一のクエリ画像から注目画素を選択し、前記選択した注目画素に対応する前記第二のクエリ画像の対応画素が存在する場合、前記選択した注目画素の輝度値と、前記第二のクエリ画像の対応画素の輝度値とを比較し、前記対応画素の輝度値が前記注目画素の輝度値よりも低い場合には、前記注目画素の画素値を前記対応画素の画素値によって更新することで、合成画像を生成するステップと、
   検索部が、前記合成画像に最も近しい、前記参照画像データベース中の参照画像を出力するステップと、
   を含む画像検索方法。
3. コンピュータを、請求項１に記載の画像検索装置の各部として機能させるためのプログラム。