JP5318115B2

JP5318115B2 - 場所別画像分類

Info

Publication number: JP5318115B2
Application number: JP2010539448A
Authority: JP
Inventors: ジェンズクリスチャンファーマー; アンドリューチャールズガラガー; マディラクシィダス; アレクサンダーシールイ
Original assignee: インテレクチュアルベンチャーズファンド８３エルエルシー
Priority date: 2007-12-20
Filing date: 2008-12-16
Publication date: 2013-10-16
Anticipated expiration: 2028-12-16
Also published as: WO2009085142A3; EP2224372A3; EP2208152A2; US20090161962A1; US8150098B2; WO2009085142A2; JP2011508310A; EP2224372A8; EP2224372A2

Description

本発明はディジタル画像処理、特に画像の背景領域を自動検知しその結果に基づき場所別に画像を分類する方法に関する。

ディジタルカメラやスキャナの普及に伴い画像のディジタル化が爆発的に進んだ結果、画像を見つけにくいほど個人的な画像データベースが大規模化してしまうことが起きている。ユーザは、その画像コンテンツを示唆する注釈、キャプション、タグ等をマニュアルで画像に付すか、時間軸に沿って画像をサーチすることを余儀なくされており、このことはサーチ機能を好適に稼働させる上で大きな支障となっている。例えば、その画像の撮影日をはっきり覚えていないときや、多年に亘り来訪を繰り返して撮影したナイアガラの滝の写真、別々の時期に同じ人物を撮影した写真等、撮影時期違いの画像を寄せ集めたいときに、ユーザは、目的とする画像を見つけ出すまでに多数の無関係な画像をブラウズさせられる憂き目に遭うことがある。

これに代わる有力な策は時間軸以外のサーチ軸を提供することである。一人のユーザの画像コレクションにはテーマの共通性、例えば登場人物の共通性や撮影場所の共通性があることが多いため、その画像の被写体や撮影場所を画像のサーチ軸として利用する策や、それらのサーチ軸を複数種類組み合わせてユーザ所望の画像（群）をより好適に見つけ出せるようにする策を採ることができればよい。例えば、再生する画像を撮影場所で指定する機能があれば、自宅の居間で撮影された写真を漏れなく見つけ出す等、撮影場所に基づく画像サーチに利用することができ、撮影場所に加え撮影日や被写体をサーチ軸とすることができれば、自宅の裏庭でのバーベキューパーティに参加した友人の写真を見つけ出す等、サーチ空間を狭めてサーチを行うことができる。

米国特許第６２８２３１７号明細書米国特許第６６０６４１１号明細書米国特許第６４８０８４０号明細書

Sharon et al., "Fast Multiscale Image Segmentation", in Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, 2000 Yu et al., "Segmentation Given Partial Grouping Constraints", in IEEE Trans. on Pattern Analysis and Machine Intelligence, Feb. 2004 Schneiderman et al., "Probabilistic Modeling of Local Appearance and Spatial Relationships for Object Recognition", in Proc. of CVPR'98, pp.45-51 Calic et al., "Efficient Key-Frame Extraction and Video Analysis", in IEEE International Conference on Information Technology : Coding and Computing, 2002 Wu et al., "TextFinder : An Automatic System to Detect and Recognize Text in Images", in IEEE Transactions on Pattern Analysis and Machine Intelligence, Nov. 1999, pp.1224-1228 Lowe, in International Journal of Computer Vision, Vol.60, No.2, 2004 Bay et al., in 9th ECCV, 2006 Memarsadeghi et al., in International Journal of Computational Geometry and Applications, 2006 Loerdeanu et al., "A Spectral Technique for Correspondance Problems Using Pairwise Constraints", ICCV, Oct. 2005 Shi et al., "Normalized Cuts and Image Segmentation", PAMI, 1997 Zhu et al., "Car Detection Based on Multi-Cues Integration", in Proceedings of the 17th International Conference on Pattern Recognition, 2004

画像の撮影場所を示す情報としては、ＧＰＳ（汎地球測位システム）データのほかにその画像の背景がある。壁に写真が架かっている居間が背景となることも、またエッフェル塔等の有名なランドマークが背景となることもあるが、その背景がよく似ている画像同士は同じ場所で撮影された可能性が高いといえる。

その点、盛んに研究が行われている画像セグメント化の分野では、非特許文献１記載の如く、画像内の主要セグメントを自動検出する技術が開発されてはいるが、どのセグメントが背景に属するのかを判別することができない。画像を背景セグメントと非背景セグメントに分ける技術も開発されてはいるが、ＴＶニュース放送、美術館内案内等、その背景が一様単調な分野にしか適用することができない。非特許文献２には個別の被写体に関する知識無しで背景から被写体を分離する技術が、また特許文献１（名称：写真画像内主要被写体自動判別方法(Method for Automatic Determination of Main Subjects in Photographic Images)、発明者：Ｌｕｏｅｔａｌ．、譲受人：本願出願人と同一）には主要被写体領域を検出する技術がそれぞれ記載されているが、画像の背景に対しては十分な注意が払われていない。即ち、画像から主要被写体を取り除いた後に残る部分が単純にその画像の背景として扱われているので、主要被写体領域が背景の一部にもなりうる点が見逃されてしまう。例えばエッフェル塔の写真では、主要被写体たるエッフェル塔がその写真の撮影場所を示す背景の一部でもあるのに、その点が見逃されてしまう。

ここに、本発明の一実施形態に係る方法は、その背景の特徴的構成要素を画像データから抽出し、注目している画像コレクションに属する画像をその結果に基づき識別する方法であって、
（ａ）画像コレクションを受け入れるステップと、
（ｂ）同じ画像が複数通りのイベントに重複分類されることがないようその画像コレクションに属する画像をイベント別に分類するステップと、
（ｃ）イベント毎に画像を解析してそのイベントを代表する特徴的構成要素を１個又は複数個抽出するステップと、
（ｄ）イベント間でその特徴的構成要素を比較して開催場所が同一か否かを調べるステップと、
を有する。

この方法によれば、背景領域内の画像データと非背景領域内の画像データを利用しているため、同じ場所で撮影された画像を画像コレクションからより容易に見つけ出すことができる。その画像コレクションに属する画像に注釈を付すこともできる。そのユーザの配下にある画像に頻出する非背景的な被写体を除外することもできる。

本発明に係る方法の基本構成ステップを示すフローチャートである。図１中のステップ１０に関しその詳細を示す図である。自動顔検知で判った目位置に基づき画像中の顔領域、衣服領域及び背景領域を推定した結果を示す図である。背景の類似性に基づきクラスタを生成して保存し、そのクラスタにラベルを付与する手順を示すフローチャートである。画像コレクションをイベント別に分類し、特徴的構成要素を抽出し、そしてその特徴的構成要素に基づき同一場所イベントを見つけ出す手順を示すフローチャートである。本発明の説明に使用した画像コレクション内画像の例を示す図である。二枚の画像が同じ場所で撮影されたものである可能性をイベントコンパレータで確認する手順を示すフローチャートである。

本発明は、本件技術分野で習熟を積まれた方々（いわゆる当業者）にとり周知のコンピュータシステム上で実行可能な発明である。その好適な実施形態は、ユーザ配下のコレクションに属する画像に対し、よく撮影が行われる場所に応じた索引を自動付与する方法であり、図１に示すように
（１）画像から背景領域を検出するステップ１０
（２）その背景領域を特徴付ける構成要素（色や模様）を抽出するステップ２０
（３）背景間の色、模様又はその双方の類似性に基づきクラスタを生成するステップ３０
（４）背景上の共通点に基づき画像に索引を付与するステップ４０
（５）付与した索引に基づきコレクション内画像をサーチするステップ４２
をその主要構成要素としている。

ここでいう「画像コレクション」とはユーザの配下にある静止画及び動画の集まりのことである。簡便化のため、静止画及び動画を「画像」と総称している。動画は音声付の静止画群であり、動画のなかにはテキスト付のものもある。コレクション内の静止画や動画がメタデータを伴うこともしばしばある。また、画像の背景とは、原則として、大型で不動な要素からなる部分のことである。人物、車両、動物等を捉えた可動な要素や、小さすぎて背景全体としては肝要でない小物体は、この定義には該当しない。本実施形態では、画像複数枚の背景に共通する特徴的構成要素のうち背景に該当しないものを除外し、残りの特徴的構成要素を背景領域内のものと認定する。

そのため、図２に示すように画像を処理して人物領域（５０）、車両領域（６０）及び主要被写体領域（７０）を検出する。それらのうち人物領域検出５０では、まず人物の顔の位置を特定する。この処理は既知の様々な顔検出アルゴリズムで実行可能だが、非特許文献３に記載の顔検出器を使用するのが望ましい。これは一種のベイズ分類器であり、所与の画素値データに対する顔の条件付確率を近似的に示す確率分布関数に従いＭＡＰ(maximum a posterior)分類を実行して、画像における右目の位置と左目の位置を出力する。顔検出器からこうして目位置が得られたら、右目と左目の距離たる眼距間隔（ＩＯＤ）をもとに領域の拡がりを推定することで、顔や衣服に相当する画像領域を推定する。特に、画像オーガナイゼンーションツールのエンドユーザ（家族写真管理に興味を持つ消費者）にとり最重要な人物写真では、顔や衣服に相当する画像領域を除くことで背景に相当する画像領域を推定することができる。図３に示す例では、３ＩＯＤ×４ＩＯＤの範囲が顔領域９５、５ＩＯＤ×（画像下端までの距離）の範囲が衣服領域１００、ほかの画像領域が背景領域１０５とされている。衣服領域１００がほかの人物の顔領域や衣服領域で部分的に隠されることもありうる。

車両領域検出６０では車両に相当する領域を検出する。その方法としては、例えば非特許文献１１記載の屋外静止画内車両検出方法を使用する。この方法では、車両の形状に従いエッジポイントテンプレート及びコーナーポイントテンプレートを作成しておき、それらのテンプレートに対し強い反応を示した領域の帯域構造キュー及びローカルテキスチャキューを用いて車両検出用ＳＶＭ分類器をトレーニングする。

主要被写体領域検出７０では、画像コレクション２０２に属する画像から主要被写体に相当する領域を検出する。その方法としては例えば特許文献１記載の方法を使用する。この方法では、低レベル画像セグメントを対象に知覚分類を実行することで、実体的な均質性のある被写体を示す大きなセグメントを作成する。次いで、その構造的又は意味論的に重要な特徴に基づき確率推論エンジンで推論することで、主要被写体領域と見なせるセグメントを検出する。こうして検出された主要被写体領域は、背景に属さないものと遠方にあるもの（背景の一部と見なせるもの）とに弁別することができる。例えば、カメラ・被写体間の距離かＥＸＩＦ画像にメタデータとして付されている焦点距離を、相応のしきい値と比較すればよい。そのしきい値は例えば１０ｍｍに設定する。焦点距離がそのしきい値より大きいときに画像内に残っている主要被写体領域を除外すると、カメラに近すぎて背景の一部と見なせない被写体が除外されることとなる。

顔／衣服領域、車両領域及び主要被写体領域が検出されたら（５５，６５，７５）、それらから所定のしきい値よりも近距離のものを除外することで（８０）、背景に相当する画像領域を検出する（９０）。即ち、顔／衣服領域、車両領域等といった有意領域の検出結果に基づき主要被写体領域の検出結果を絞り込むことで（７５）、顔、衣服、車両及び主要被写体のいずれにも相当しない画像領域を検出し、更にカメラに近く被写体と覚しきものを焦点距離に基づき上述の如く除外することによって（８０）、背景に相当する画像領域を検出している。

次に、背景による索引をより揺るぎないものとするため、同じ場所で撮影されたと覚しき画像複数枚の背景を総合する。同じ場所で撮影された可能性が高いのは同じイベントで撮影された画像であるので、本実施形態では、特許文献２（発明者：ＬｏｕｉａｎｄＰａｖｉｅ、発行日：２００３年８月１２日、譲受人：本願出願人と同一、この参照を以てその内容を本願に繰り入れることとする）に記載の方法に則り、画像をイベント別及びサブイベント別に分類する。この方法は画像間の色類似性や日時情報に基づく自動分類方法である。撮影日時情報に基づくイベント別クラスタ生成アルゴリズムに則り画像をイベント別に分類した上で、ブロックレベル色ヒストグラムの類似性に基づき画像をサブイベント別に分類するので、この方法では、生成されるサブイベント別集合毎に色分布が一意に定まる。即ち、同じ場所で撮影されたと覚しき画像が同じサブイベント別集合に分類されることとなる。

特許文献２記載の方法に従いユーザ配下の画像コレクションをイベント別及びサブイベント別に分類した後は（１１０）、図４に示すように、サブイベント毎に背景領域の色及び模様を求める（１２０）。背景領域の色及び模様は、同じサブイベントで撮影された諸画像に共通する特徴的構成要素であり、どちらか一方でも画像のサーチに使用することができる。色及び模様の抽出には、例えば特許文献３（発明者：ＺｈｕａｎｄＭｅｈｒｏｔｒａ、譲受人：本願出願人と同一）に記載の方法を使用する。この方法では、知覚的に重要なのは大面積の均質色領域であり、従って知覚的に重要な色はその大面積均質色領域の色であるとの仮定の下に、対象とする画像領域を特徴付ける色を抽出する。即ち、対象となる画像領域毎に、同色又は類似色の隣接画素が所定個数以上ある画素（均質色領域内画素）を検出し、その均質色領域内画素の個数を与える均質色ヒストグラムを作成する。この方法では、更に、知覚的に重要なのは同じ色配列が頻出する模様であるとの仮定の下に、対象とする画像領域を特徴付ける模様を抽出する。即ち、頻出する色遷移を識別して模様を検出することで、知覚的に重要な模様を抽出及び特定する。従って、そのサブイベントで撮影された諸画像から背景領域内画素を集めることで、サブイベント毎に背景領域群を形成し、その背景領域群に対しこの方法を適用することで、全画素数に対する画素数比が所定のしきい値より高くその背景領域群を代表すると見られる色及び模様を抽出することができる。更に、同文献に記載の通り、抽出した色及び模様を画像領域間で比較することにより、その画像領域間の類似性を求めることができる。

なお、処理する画像が動画である場合は、その動画からキーフレームを抽出してその動画の代表的静止画と見なし、静止画に対する処理と同様の段取りでその代表的静止画を処理すればよい。動画からキーフレームを抽出する手法は数多く公表されている。例えば、ＭＰＥＧ圧縮ストリームから抽出されるマクロブロック要素を統計分析して場面転換検出及びキーフレーム抽出を実時間実行する方法が、非特許文献４に記載されている。

個々のサブイベントについて特徴的構成要素（色及び模様）が抽出されたら、図４に示すように、その特徴的構成要素をデータポイントとする特徴空間上でそれらデータポイントをグループ分けすることで、類似した特徴的構成要素からなるクラスタを幾つか発生させる（１３０）。このクラスタ乃至グループ生成は
０．データポイントをランダムに１個選択し、そのデータポイントを基準ポイントとするクラスタを初期生成する
１．ほかのデータポイントそれぞれについて
２．既存クラスタの基準ポイントまでの最小距離を求める
３．最小距離＜しきい値ならば
４．その最小距離に係るクラスタにそのデータポイントを追加し、更に
５．当該最小距離に係るクラスタの基準ポイントを更新する
６．それ以外の場合はそのデータポイントで新たなクラスタを生成する
という簡略なアルゴリズムで実行することができる。なお、基準ポイントとしてはクラスタ内データの平均値を使用すればよい。

また、画像背景の特徴的構成要素としては、色や模様に限らずテキストも抽出可能である。この抽出は公表されている方法、例えば非特許文献５に記載の方法で行える。画像の背景から検出されたテキスト間の符合をクラスタ生成過程で考慮すると、色と模様のみで求めた場合に比べてクラスタ間距離が短くなることがある。

次に、図４に示す如くそれらのクラスタを索引表に登録する（１４０）。索引表は、同じクラスタ別集合に属する諸画像、即ち背景が似ていて同じ場所で撮影されたと覚しき諸画像を、場所に対しユニークに関連付ける表である。更に、諸画像のクラスタをディスプレイの画面上に表示させてユーザに示すことや、場所を示すテキストラベル（「パリ」「おばあちゃんの家」等）をクラスタ毎に入力するようユーザに求めることができる（１５０）。ユーザによって入力されるテキストラベルは、撮影場所毎に違う内容になるであろうし、また撮影場所が同じなら（画像間の類似性を検出できなくても）同じ内容になる可能性がある。後に図５を参照して詳述する通り、こうした場所についての記述はタグとして使用され、対応するクラスタに属する全ての画像に付与される。場所についての記述は、また、画像の上にキャプションとして自動表示させることや、画像に対応付けて保存しておき後にその画像のサーチ又は注釈に使用することもできる。

このように場所（例えばユーザが入力したテキストラベル）を画像に関連付ける索引表は（１４０）、場所を指定したサーチに使用することができる。即ち、ユーザによる場所指定を受けて索引表を参照し、その場所で撮影された画像をそのユーザの画像コレクション内から探すことができる。このサーチは様々な形態で行うことができる。例えば、サーチのヒントになる画像をユーザが指定し、システム側で索引表を参照して画像コレクション内をサーチし、その画像が属するクラスタに属する別の画像（ユーザが指定した画像と同じ場所又は似た場所で撮影された画像）を再生する、とという形態を採ることができる。また、ユーザの入力に応じたラベルをクラスタに付与しておき、テキストベースサーチの際にユーザがクエリとして入力したテキストのうちいずれかのラベルと符合しているものを使用して画像コレクション内をサーチし、そのテキストと符合するラベルが付されているクラスタ別集合内の全画像をユーザに示す、という形態も採ることができる。そして、ユーザは、ヒントになる画像及びサーチ範囲となるイベントを指定することで、そのイベントにて同様の場所で撮影された画像を探すこともできる。

また、自明な通り、背景領域内の特徴的構成要素は何種類でも使用することができる。色、模様等はあくまで一例に過ぎない。例えば、撮影時に画像ファイル内に保存された撮影メタデータから撮影日時、フラッシュ使用の有無等の情報を取り出し、一種の特徴的構成要素として扱うこともできる。更に、画像のサーチに使用されるテキストラベルも様々な方法で生成することができる。上掲の方法以外では、背景内の画像を既知ランドマークの画像と照合し「エッフェル塔」等といったラベルを発生させる手法や、顔認識技術を用いて画像内の人物を判別し相応のラベルを発生させる手法を使用可能である。そして、そのクラスタに属する画像のいずれかにＧＰＳ座標値が付されている場合は、そのＧＰＳ座標値を、そのクラスタに属する全ての画像に共通する特徴的構成要素として扱うこともできる。

図５に本発明の他の実施形態を示す。図中の画像コレクション２０２は静止画及び動画のデータにコレクション情報２０３を付したものである。イベントクラスタラ２０９はそれらの静止画及び動画を分類して幾つかのイベント別集合２１７を発生させる。即ち、先に特許文献２を参照して説明した分類方法に則りコレクション２０２内の画像を分類する。その際には、同一の画像が複数のイベント別集合２１７に重複して分類されないようにする。次に、特徴抽出器２２１は、イベント別に分類された静止画及び動画から場所特徴２２３を抽出する。即ち、画像の背景に含まれる特徴的構成要素を図２に示した手順に従い探索し、見つけた特徴的構成要素のうち対応するイベント集合２１７を代表するものを場所特徴２２３として抽出する。背景内の特徴的構成要素から場所特徴２２３を抽出する手法としては、非特許文献６に記載のＳＩＦＴを使用することができる。この方法では、ガウシアン差の極大値及び極小値に基づきその領域の特徴ポイントを検出し、それら特徴ポイントの傾斜角及び傾斜方向を求める。特徴ポイントとして検出される個所は、その画像内の注目すべき辺又は頂点と一致することが多い。また、同文献に記載のＳＩＦＴによれば、その画像の他の部分が変化した場合やパターンのスケール及び向きが変化した場合でも、パターン同士を照合することができる。また、スケール変化がありうる画像内の特定のポイントに注目してそれらを照合する手法としては、ＳＩＦＴのほかに、非特許文献７に記載のＳＵＲＦ(Speeded up Robust Features)がある。これは、二次元Ｈａａｒウェーブレット応答の総和に基づく高速な手法であるので、諸画像を効率的に処理することができる。

イベントコンパレータ２２５は、それら場所特徴２２３をイベント間で比較して画像背景間の符合度を求める。これは、異なるイベント別集合に分類されていても、その背景が似ていれば同じ場所で撮影された可能性が高いためである。写真撮影等のイベントは同じ場所で繰返し行われるものであるので、別々のイベント別集合に属している画像の間に背景の類似性があれば、それらの画像が同じ場所で撮影された可能性やそれらのイベントが同じ場所で開催された可能性は高い。そこで、この例のコンパレータ２２５では、対をなす画像同士を比較してＭ行Ｍ列のアフィニティ行列Ｗを発生させる（Ｍ：画像コレクション２０２内画像の枚数）。即ち、第ｉ画像から抽出された場所特徴２０３と、第ｊ画像から抽出された場所特徴２０３とに基づき、第ｉ画像と第ｊ画像が同じ場所で撮影された可能性を調べ、得られた数値を要素ｗ（ｉ，ｊ）とする行列Ｗを生成する（６４０）。例えば、第ｉ画像と第ｊ画像が同じイベント別集合に分類されている場合にｗ（ｉ，ｊ）を１とする。行列Ｗの要素ｗ（ｉ，ｊ）の値のことを符合度と呼ぶ。

イベントコンパレータ２２５は、ある画像（照合元画像）とほかの画像（照合先画像）が同じ場所で撮影された可能性を調べる際、図７に示す手順を実行する。この手順では、まず、非特許文献６記載のＳＩＦＴで抽出された場所特徴同士を照合することで、特徴ポイントのうち照合元・照合先画像間で符合するもの（符合ポイント）を何個か検出する（６１０）。一般ユーザが雑に撮った写真等では、実際には別々の被写体上にある特徴ポイント同士が画像間で誤って符合ポイントとして検出される偽符合も多いので、次に、符合ポイント検出結果に幾つかの条件を課して偽符合を排除する。具体的には、まず、個々の画像内に空間的なクラスタが形成されるよう、ポイント間の二次元ユークリッド距離に基づき符合ポイントをグループ分けする（６２０）。このクラスタ生成のアルゴリズムとしてはアイソデータアルゴリズム、特に非特許文献８に記載の高速版を用いるのが望ましい。更に、どのクラスタにも分類されなかった符合ポイントや小規模なクラスタ（例えばポイント数＜５のもの）を形成している符合ポイントを除きクラスタ分類済符合ポイントをフィルタに通し、そのフィルタで偽符合除外用の拘束条件を幾つか適用する（６３０）。

第１に、特徴ポイントの所在位置は被写体領域によって制約されるので、照合元画像内でクラスタを形成しているポイントと符合するポイントによって、照合先画像内にも１個又は複数個のクラスタが形成される可能性が高い。この条件を課すため、個々の照合元画像内クラスタについて相関度を求め、その相関度がしきい値例えば０．５を下回るクラスタを除外する（６３２）。相関度とは、その照合元画像内クラスタに対し最強の相関を呈する照合先画像内クラスタ（その照合元画像内クラスタに対する符合ポイントの個数が照合先画像内クラスタのなかで最多のもの）に属するポイントの個数が、その照合元画像内クラスタに属するポイントの個数に占める割合のことである。第２に、照合元画像から照合先画像に至るポイント群の大域的軌跡は一定であり、両画像間での被写体の動きはどの被写体でも大雑把には同じ方向になる。この条件を課すため、照合元画像内に残っている全てのポイントを対象にして照合元・照合先画像間ポイント軌跡の平均方向を算出し、その平均方向の標準偏差σで定まる範囲（例えば１．５σの範囲）から平均方向が逸脱しているポイントを除外する（６３４）。第３に、同じクラスタ内にある孤立したポイントは除外されるべきである。この条件を課すため、個々の照合元画像内クラスタについてその質量中心を求め、その質量中心の標準偏差で定まる範囲から質量中心が逸脱しているポイントを除外する（６３６）。これらの条件が課されるようにフィルタリング（６３０）を実行することで、照合元・照合先画像間の符合を示す特徴ポイントを抽出することができる。課す順序は肝要ではない。抽出できた特徴ポイントの個数が多いほど信頼性の高い符合であり、符合の可能性は抽出できた特徴ポイントの個数に比例している。

なお、照合元画像と照合先画像の背景間に共通の特徴ポイントがあるか否かは、ほかの手法でも調べることができる。例えば、非特許文献９に記載のデータ特徴照合方法は、画像背景内の特徴ポイントに適用することができる。即ち、上述の手法に代えて非特許文献９記載の手法を用い、照合元画像と照合先画像の背景間に共通で位置関係が一定の特徴ポイントがあるか否かを調べることができる。

こうして第ｉ画像（照合先画像）と第ｊ画像（照合元画像）の背景間に特徴ポイントの符合が見つかったら、符合度を示す要素ｗ（ｉ，ｊ）を１値に、またほかの要素を０値に設定する。照合元画像照合先画像間符合ポイント数が多いほど要素ｗ（ｉ，ｊ）の値が大きくなるよう、当該符合ポイント数に応じ要素ｗ（ｉ，ｊ）の値を設定してもよい。

次いで、画像データのセグメント化乃至クラスタ分類を実行して同一場所イベント集合２２７を幾つか探し出す。このセグメント化は、非特許文献１０記載の正規化カットアルゴリズムを含め様々なアルゴリズムで実行することができる。なかでも望ましいのは集積的クラスタ生成アルゴリズムを使用することである。このアルゴリズムでは、画像毎に単一画像のクラスタを生成した上で、任意の第１クラスタ内画像ａから第２クラスタ内画像ｂまでの距離Ｄ（ａ，ｂ）＝−ｌｏｇ（ｗ（ａ，ｂ））の最小値として定義される第１第２クラスタ間距離を任意のクラスタ間で求め、その距離がしきい値未満ならそれらのクラスタ同士を統合する、という処理を繰返し実行する。

次に、図６に示す画像を例に本実施形態について更に説明する。この図に示す例では、５回のイベント２７１，２７３，２７５，２７７，２７９に４，２，３，２，２枚の画像が関連付けられている（符号同順）。次の表

に、イベント及び対応する画像の概要を示す。図５を参照して説明した要領に従い、特徴抽出器２２１は図６の画像から場所特徴２２３を抽出し、イベントコンパレータ２２５はそれを画像間で比較して背景上の共通する特徴ポイントを見つけ出す。図示例の場合、画像２７１₂，２７７₁双方の背景に同じ絵画が写っており（イベント２７１，２７７が同じ場所で開催された可能性が高く）、画像２７３₁，２７１₃双方の背景に同じ姿の冷蔵庫が写っており、画像２７５₁，２７９₁双方の背景に同じ店の店先が写っているので、コンパレータ２２５の動作で同一場所イベント集合２２７が２個見つかることとなる。イベント２７１、２７３及び２７７からなる第１の集合２２７と、イベント２７５及び２７９からなる第２の集合２２７である。

なお、こうして見つかる同一場所イベント集合２２７は、実質的に、同じ場所で撮影された画像の集合となっている。その意味で、この集合２２７への分類は場所索引の付与に相当する。更に、この集合２２７内では、あるイベント（２７１）がほかのイベント間（２７３・２７７間）の“橋渡し”になることもある。例えば、イベント２７１に係る画像には、イベント２７７のそれと似た背景を有する画像２７１₂や、イベント２７３のそれと似た背景を有する画像２７１₃が含まれている。上掲の手順であれば、このように共に台所でのイベントではあるがたまたまその背景に似た点が備わっていないイベント２７３，２７７を、イベント２７１に着目し互いに同じ場所でのものと認識することができる。

ラベラ２２９は、ユーザによる入力を有効に活用しながら、それら同一場所イベント集合にラベル、例えば画像、イベント、同一場所イベント集合等の説明となる説明ラベル２３１を付与する。ここでは「ラベル」なる語を「タグ」「キャプション」「注釈」等の語とほぼ同義に使用している。ラベル２３１を付与することで、画像に写っている人物、撮影された場所（例えば「オンタリオ湖」「おばあちゃんの家」等）、開催されたイベント（例えば「誕生パーティ」）等に命名し、またその画像又はイベントについての一般的な説明（例えば「ハッピー」）を示すことができる。

ラベルインタプリタ２３３は、そうした説明ラベル２３１を自然言語処理で解析することによって、そのラベル２３１で示されているのが人物、場所、イベント等々のいずれであるかを判別する。また、説明ラベル２３１が場所についての記述２３５であるか否かは、場所名データベース上に登録されている場所名との照合で判別する。場所名データベースには市街、村、面白い場所、地理的名勝（川、湖、山等）といった場所の名称のほか、「自宅」「公園」「遊び場」といった一般的な場所指示語が、場所名として登録されている。インタプリタ２３３は、例えば、ラベル２３１にそうした場所名が含まれている場合に、そのラベル２３１が場所についての記述２３５であると判別する。

例えば、画像２７１₁に関しユーザが場所名として「自宅」を入力したとする。これに応じ発生する説明ラベル２３１は、ラベルインタプリタ２３３によって、場所についての記述２３５であると判別され、その所属先の同一場所イベント集合２２７に従い（場所索引に従い）同じ場所に係る諸画像に広まっていく。まずイベント２７１に係る画像に付与され、イベント２７３に係る画像に付与され、そしてイベント２７７に係る画像に付与され、といった具合である。同様に、画像２７９₂に対し「ピッツバーグのスクワーラルヒル」なるラベルが付されたら、そのラベルは同じ場所に係る別の画像、即ち画像２７９₁やイベント２７５に係る諸画像にも広まっていく。

また、ＧＰＳ機能付カメラ、ＧＰＳデバイスと連携するカメラ、ＧＰＳデバイスで記録された時刻及び位置座標値に撮影時刻でアクセス可能なカメラ等で、測位情報が記録されていることもある。その場合、撮影場所又はイベント開催場所を示す説明ラベルを、その測位情報に基づき発生させることができる。そのラベルも、上記同様にして、同じ場所に係る諸画像へと広まっていく。例えば、画像２７９₂に対し「緯度＝４０．４３８１６１，経度＝−７９．９２５１９４」を示すラベルが付与されている場合、そのラベルは同じ場所に係る別の画像、即ち画像２７９₁やイベント２７５に係る諸画像に広まっていく。この機能が特に役立つのは、測位情報でタグ付けされた画像を含まない別のイベント別集合が、イベントコンパレータ２２５によってその種のタグを伴うイベント別集合に関連付けられたときである。この場合、元々タグ付けされていなかった方のイベント別集合に属する画像にも当該測位情報によるタグが広まっていく。

更に、背景に含まれる特徴ポイントの符合に関するファルスポジティブな誤りも、こうしたＧＰＳラベルで防ぐことができる。例えば、イベントコンパレータ２２５における前述の如き判別（第ｉ，第ｊ画像間背景比較による特徴ポイント間符合関係の判別）に加味し、第ｉ及び第ｊ画像に付されているラベル中の地理情報（緯度経度対や郵便番号）を調べて要素ｗ（ｉ，ｊ）の値を定めるようにすれば、撮影場所間の距離が大きい（例えば３ｋｍを上回る）場合等に要素ｗ（ｉ，ｊ）の値を０にして余分な処理を避けることができる。

これらの説明ラベルは、撮影場所を指定して画像を探す際に便利である。即ち、ユーザは、地図上をクリックして撮影場所を指定する、アドレスを入力して撮影場所を指定する、同じ場所で撮影された画像を指定する等の手段で、望みの撮影場所を指定して画像を探すことができる。それへの応答としては、その場所を示すタグが付されている画像がユーザ向けに提示される。

なお、画像コレクション２０２はある撮影者一人の画像で形成されることもあるし、撮影者複数人の画像を集めて形成されることもある。インターネットから得られる画像、友人から得られる画像等、別の（ビデオ又は映画）情報源から得られる画像をイベント別集合２１７内に追加することもできる。

そして、図５に示すように、ユーザは、コレクション内画像に関するクエリ１５１を発することができる。そのクエリ１５１としては、例えば、ニューヨーク州ロチェスターで撮影された画像、ヒントとして与えた画像と同じ場所で撮影された画像等のように、画像の地理的な位置に関するクエリを、音声コマンド、テキスト入力、ユーザインタフェース経由等で与えることができる。画像セレクタ１５３は、これに応じ、コレクション内画像（及びヒントとして与えられた画像）に係る場所についての記述２３５を調べ、その結果に基づき画像サーチ結果１５５、例えば関連する静止画及び動画のリストを出力する。

１０背景領域検出、２０色模様抽出、３０色模様類似性利用クラスタ生成、４０背景共通点利用索引付与、４２コレクション内画像サーチ、５０顔衣服検出、５５顔衣服除外、６０車両検出、６５車両除外、７０主要被写体検出、７５未除外領域検出、８０しきい値超領域除外、９０残存領域検出、９５顔領域、１００衣服領域、１０５背景領域、１１０イベント別／サブイベント別分類、１２０サブイベント別背景特徴抽出、１３０背景類似性利用クラスタ生成、１４０索引表内クラスタ登録、１５０場所記述入力督促、１５１クエリ、１５３画像セレクタ、１５５画像サーチ結果、２０２画像コレクション、２０３コレクション情報、２０９イベントクラスタラ、２１７イベント別集合、２２１特徴抽出器、２２３場所特徴、２２５イベントコンパレータ、２２７同一場所イベント集合、２２９ラベラ、２３１ラベル、２３３ラベルインタプリタ、２３５場所についての記述、６１０特徴ポイント照合、６２０符合ポイントクラスタ生成、６３０フィルタ、６３２クラスタ除外、６３４，６３６ポイント除外、６４０符合度。

Claims

照合元画像と照合先画像の間でその背景領域を照合する方法であって、
（ａ）照合元，照合先双方の画像からその背景領域を検出するステップと、
（ｂ）照合元，照合先双方の画像の背景領域から特徴ポイントを抽出するステップと、
（ｃ）照合元画像内の特徴ポイントと照合先画像内の特徴ポイントを照合するステップと、
（ｄ）符合するとされた特徴ポイントに基づき空間的にコンパクトなクラスタを生成するステップと、
（ｅ）符合するとされたが同じ被写体上の領域に属していない特徴ポイントを除外するステップと、
（ｆ）前記ステップ（ｅ）により抽出された特徴ポイントから照合元・照合先画像間の符合度を求めるステップと、
を有する方法。
請求項１記載の方法であって、ステップ（ｅ）が、
（ｉ）照合先画像内の照合先クラスタに対する強い相関を欠くクラスタを除外するステップと、
（ｉｉ）特徴ポイント群の大域的軌跡から外れている特徴ポイントを除外するステップと、
（ｉｉｉ）クラスタ内でコンパクトにまとまっていない特徴ポイントを除外するステップと、
を含む方法。
請求項１記載の方法であって、さらに、
（ｇ）前記照合元・照合先画像間の符号度を用いて、前記照合元・照合先画像が同じ場所で撮影されたものであるか否かを調べるステップと、
（ｈ）前記照合元・照合先画像に、同じ場所で撮影されたことを示す説明ラベルを付与するステップと、
を有する方法。