JP2009518704A - 地図分類方法及び地図分類システム - Google Patents

Abstract

画像等の取込レコードを分類するための方法およびシステムにおいて。取込レコードのコレクションが提供される。各取込レコードは地図位置を定義するメタデータを有する。このメタデータは、データ送信のストリームから、送信内にギャップがある場合であっても早めに決定されることが可能である。提供された取込レコードは、取り込み位置に基づいてグループにクラスタ化される。取り込み位置を含む地図が、各グループに関連付けされた取り込み位置の相対的なポジションに基づいて複数の領域にセグメント化される。これらの領域は、それぞれのグループの取込レコードに関連付けされる。

Description

本発明は、画像およびそのほかの取り込まれたレコードの分類に関し、より詳細には、クラスタ化の結果に基づいてマップをセグメント化する位置ベースの分類のためのシステムおよび方法に関する。

ディジタル画像の急速な広まりは、画像のより容易な検索、レビュー、およびアルバム作成を行うための画像の分類の必要性を増加させた。同じ必要性が、ビデオシーケンス、オーディオシーケンス、および画像およびサウンド記録の組み合わせといった、このほかのタイプの取込レコードにも当て嵌まる。

写真画像およびそのほかの取り込まれたレコードは、レコードの検索、レビュー、アルバム作成、およびそれ以外の操作のために、しばしばイベントによって分類される。手作業および自動化された方法が使用されている。場合によっては、画像およびそのほかのレコードが、イベントをさらにサブイベントに分割することによって分類されている。さらに細かい分割もしばしば提供される。

現在知られており、利用されている画像区分のための方法は満足できるものではあるが、欠点がある。手作業による分類は効果的であるが、遅く、画像の数が少ない場合を除けば大きな負担になる。自動化された方法は利用可能であるが、一貫性、柔軟性、および精度の欠如に帰する本質的な不正確性等の多くの制約を有する傾向にある。いくつかの自動化された方法は、色、形状、またはテクスチャに基づいて類似の画像特性を有するグループに画像を区分する。このアプローチは、イベントによる分類に使用可能であるが、その目的で使用する場合に本質的に困難がある。

多くの画像は、メタデータ、すなわち画像のグループ化に使用可能な関連する非画像情報が付随している。その種のメタデータの１つの例は、日付および時刻等の時間順データ、およびグローバルポジショニングシステム（『ＧＰＳ』）地理的位置データ等の地理的データである。これらのタイプのデータは、位置によるグループ化に使用可能であり、またイベントが一般に時間的に、かつ空間的に制限されることからイベントによるグループ化にも使用可能である。ユーザは、長いこと各画像を調べ、時間順および地理にソーティングすることによって手作業で画像をグループ化してきた。リム，Ｊ−Ｈ（Ｌｉｍ，Ｊ−Ｈ）ほか著『Ｈｏｍｅ Ｐｈｏｔｏ Ｃｏｎｔｅｎｔ Ｍｏｄｅｌｉｎｇ ｆｏｒ Ｐｅｒｓｏｎａｌｉｚｅｄ Ｅｖｅｎｔ−Ｂａｓｅｄ Ｒｅｔｒｉｅｖａｌ』ＩＥＥＥマルチメディア（Ｍｕｌｔｉｍｅｄｉａ）、第１０（４）巻、２００３年１０−１２月号、第２８〜３７ページは、画像の内容を使用するイベントによる自動化された画像分類における時間順および地理的データの使用を提案している。

ウィルコック（Ｗｉｌｃｏｃｋ）ほかによって出願された米国特許出願公開第２００１／００１７６６８Ａ１号は、送信されたジオロケーション信号から決定される位置情報および日付／時刻スタンプおよびそのほかのメタデータを用いて画像レコードを増やすことを開示している。画像レコードの時刻スタンプおよび位置情報は、必要時にユーザの介入を伴って相関される。メタデータは、ユーザにとって意味のある位置記述として記述されるセマンティック情報を含むことが可能である。

米国特許第６，５０４，５７１号は、特定の関心領域についてのクエリが、その特定の関心領域のために決定された地図境界内の関連する位置データを有する画像を検索するサーチ可能なデータベースを開示している。

上記の特許文献においては、画像が地理的位置情報および先在する地図領域に拘束される。上記の特許文献は、地理的エリアの異なる範囲に関して画像を差別化しない。これは、多くの人々が地理的エリアの異なる範囲にわたって写真を撮影する傾向にあることから欠点である。いくつかの写真のシーケンスは、小さなエリア内において撮影される。例は、家および庭を含めた家庭内で、または友人または隣人の家庭内で撮影される写真である。別のシーケンスは広いエリアに及ぶ。例は、休暇旅行で撮影される写真である。類似の結果がそのほかの、ビデオシーケンス等の取り込まれるレコードについて見られる。

したがって、画像をグループ化し、かつ画像を地図に関連付けるが、地理的なエリアの異なる範囲にわたって撮影された写真をより緊密に結びつける画像の組織化を提供することは望ましいと見られる。

本発明は特許請求の範囲によって定義される。本発明は、より広い態様において、画像等の取込レコードの分類のための方法およびシステムを提供する。取込レコードのコレクションが提供される。各取込レコードは、地図位置を定義するメタデータを有する。このメタデータは、データ送信のストリームから、送信内にギャップがある場合であっても早めに決定されることが可能である。提供された取込レコードは、取り込み位置に基づいてグループにクラスタ化される。取り込み位置を含む地図が、各グループに関連付けされた取り込み位置の相対的なポジションに基づいて複数の領域にセグメント化される。これらの領域は、それぞれのグループの取込レコードに関連付けされる。

取込レコードが位置情報に基づいてクラスタ化され、地図がクラスタ化された取込レコードに基づいてセグメント化される改善された方法およびシステムが提供されることは本発明の有利な効果である。

以下の添付図面に関連した本発明の実施態様の説明を参照することによって、本発明の上記の、およびそのほかの特徴および目的、およびそれらを達成する手法は明らかになり、本発明自体もより良好に理解されることになろう。

方法においては、画像またはそのほかの取り込まれたレコードが、取り込み位置およびオプションとして取り込みの日時等の時間順を使用してクラスタ化される。中核位置が各グループについて指定され、取り込み位置を含む地図が、中核位置に関して領域にセグメント化され、その後それがそれぞれのグループの取り込まれたレコードと関連付けされる。

用語『取込レコード』は、ここでは任意の組み合わせにおける画像およびサウンドの再生可能な記録を言うために用いられ、たとえば取込レコードは、静止画像、ビデオシーケンス、およびサウンド録音を含み、さらにより複雑な、複数のスペクトル画像およびスキャナレスレンジ画像等の記録も含む。

用語『日時』は、ここでは日付および時刻等の時間に関係する情報を言うために用いられるが、日時が、特定の時間単位、たとえば時刻を伴わない日付情報等に限定されることは可能である。

用語『時間順』は、ここでは時間における相対的な順序を言うために用いられる。時間順が日時情報を含むこともあり、含まないこともある。ディジタルカメラは、一般に、時間順を設定する逐次的な態様で画像にファイル名を割り当てる。

以下の説明においては、本発明のいくつかの実施態様をソフトウエアプログラムとして説明する。当業者は容易に認識することになろうが、その種のソフトウエアの等価物をハードウエアにおいて構築することも可能である。画像操作アルゴリズムおよびシステムが周知であることから、この説明は、特に、本発明に従った方法の部分を形成するか、またはより直接的にそれと協働するアルゴリズムおよびシステムに指向されることになる。その種のアルゴリズムおよびシステムのそのほかの態様、およびそれらに関係する画像信号を生成するかそれ以外の処理を行うためのハードウエアおよび／またはソフトウエアは、特にここで示すこと、または説明することはないが、この分野で周知のその種のシステム、アルゴリズム、コンポーネント、およびエレメントから選択できる。以下の明細において示される説明を前提とすれば、それのすべてのソフトウエア実装は型どおりのものとなり、この分野の通常の知識内となる。

本発明は、コンピュータハードウエアおよびコンピュータ化された装置内に実装可能である。たとえば方法は、ディジタルカメラ、ディジタルプリンタ、およびパーソナルコンピュータのうちの１つまたは複数を含むシステムを使用して実行することができる。図３を参照すると、本発明を実装するためのコンピュータシステム１１０が図解されている。コンピュータシステム１１０は、好ましい実施態様を図解する目的で示されており、本発明がここに示されているコンピュータシステム１１０に限定されることはなく、ディジタルカメラ、ホームコンピュータ、キオスク、小売りまたは卸写真仕上げ、またはそのほかのディジタル画像の処理のための任意のシステム等の任意の電子処理システム上で使用されることがある。コンピュータシステム１１０は、ソフトウエアプログラムを受信し、処理するため、およびそのほかの処理機能を実行するためのマイクロプロセッサベースのユニット１１２（ここでは、ディジタル画像プロセッサとも呼ばれる）を含む。ディスプレイ１１４が、ソフトウエアに関連付けされたユーザ関連情報を、たとえばグラフィカルユーザインターフェースによって表示するためにマイクロプロセッサベースのユニット１１２に電気的に接続されている。ソフトウエアに対する情報のユーザの入力を可能にするために、キーボード１１６もまたマイクロプロセッサ−ベースのユニット１１２に電気的に接続されている。入力のためのキーボード１１６の使用に代わるものとして、この分野で周知のとおり、ディスプレイ１１４上においてセレクタ１２０を移動するため、およびセレクタ１２０が上に重なるアイテムを選択するためにマウス１１８を使用してもよい。

通常はソフトウエアプログラムを含んでいるコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４が、ソフトウエアプログラムおよびそのほかの情報をマイクロプロセッサベースのユニット１１２に入力するためにマイクロプロセッサベースのユニットに挿入される。それに加えて、フロッピーディスク（登録商標）１２６もまたソフトウエアプログラムを含むことができ、ソフトウエアプログラムを入力するためにマイクロプロセッサベースのユニット１１２内に挿入される。それに代えてコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４またはフロッピーディスク（登録商標）１２６が、外部に配置されてマイクロプロセッサベースのユニット１１２に接続されるディスクドライブユニット１２２に挿入されることもある。さらにまた、マイクロプロセッサベースのユニット１１２が、この分野で周知のとおり、ソフトウエアプログラムを内部的にストアするためにプログラムされることもある。マイクロプロセッサベースのユニット１１２が、ローカルエリアネットワークまたはインターネット等の外部ネットワークに対する電話回線等のネットワーク接続１２７を有することもある。また、コンピュータシステム１１０からの出力のハードコピーをプリントするためにプリンタ１２８がマイクロプロセッサベースのユニット１１２に接続されることもある。

画像は、以前に知られていたところのＰＣＭＣＩＡカード（（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｃｉａｔｉｏｎ）の仕様に基づく）等のパーソナルコンピュータカード（ＰＣカード）１３０、すなわち電子的に表現されたディジタル化された画像を含むカード１３０を介してディスプレイ１１４上に表示することもできる。ＰＣカード１３０は、ディスプレイ１１４上における画像の視覚的表示を可能にするためにマイクロプロセッサベースのユニット１１２内に最終的に挿入される。それに代えてＰＣカード１３０を、外部に配置されたマイクロプロセッサベースのユニット１１２と接続されるＰＣカードリーダ１３２内に挿入することも可能である。またコンパクトディスク１２４、フロッピーディスク（登録商標）１２６、またはネットワーク接続１２７を介して画像が入力されることもある。ＰＣカード１３０、フロッピーディスク（登録商標）１２６、またはコンパクトディスク１２４上にストアされた、またはネットワーク接続１２７を介して入力される任意の画像は、ディジタルカメラ（図示せず）またはスキャナ（図示せず）等の多様なソースから獲得されることが許される。画像が、マイクロプロセッサベースのユニット１１２に接続されたカメラドッキングポート１３６を介してディジタルカメラ１３４から直接、またはマイクロプロセッサベースのユニット１１２に対するケーブル接続１３８を介して、またはマイクロプロセッサベースのユニット１１２に対する無線接続１４０を介してディジタルカメラ１３４から直接入力されることもある。

出力デバイスは、変換を受けた最終画像を提供する。出力デバイスは、紙またはそのほかのハードコピーの最終画像を提供するプリンタまたはそのほかの出力デバイスとすることができる。出力デバイスを、ディジタルファイルとして最終画像を提供する出力デバイスとすることも可能である。また出力デバイスが、プリントされた画像、ＣＤまたはＤＶＤ等のメモリユニット上のディジタルファイル等の出力の組み合わせを含むことも可能である。

本発明は、ディジタル画像を作成する複数の取り込みデバイスとともに使用することができる。たとえば図３は、画像取り込みデバイスがカラーネガまたはリバーサルフィルム上にシーンを取り込むための従来的な写真撮影フィルムカメラおよび現像後のフィルム上の画像をスキャンし、ディジタル画像を作成するためのフィルムスキャナデバイスとなるディジタル写真仕上げシステムを表すことができる。また取り込みデバイスを、電荷結合デバイスまたはＣＭＯＳ撮像器等の電子撮像器を有する電子取り込みユニット（図示せず）とすることも可能である。電子取り込みユニットは、電子撮像器から信号を受信し、その信号の増幅およびディジタル形式への変換を行い、その画像信号をマイクロプロセッサベースのユニット１１２に送信するアナログディジタルコンバータ／増幅器を有することができる。

マイクロプロセッサベースのユニット１１２は、意図された出力デバイスまたはメディア上に満足な見かけの画像を作成するディジタル画像を処理するための手段を提供する。本発明は、限定ではないがディジタル写真プリンタおよびソフトコピー表示を含む多様な出力デバイスとともに使用することができる。マイクロプロセッサベースのユニット１１２は、画像出力デバイスによって満足な見かけの画像が作成されるような態様でディジタル画像の全体的な輝度、色調スケール、画像構成等のための調整を行うディジタル画像の処理に使用することができる。当業者は認識するであろうが、本発明がここで述べた画像処理機能だけに限定されることはない。

ディジタル画像は、１つまたは複数のディジタル画像チャンネルまたは色成分を含む。各ディジタル画像チャンネルは、ピクセルの２次元配列である。各ピクセル値は、ピクセルの物理的な領域に対応する画像取り込みデバイスによって受け取られた光の量に関係する。カラー撮像応用の場合には、ディジタル画像がしばしばレッド、グリーン、およびブルーのディジタル画像チャンネルを含むことになる。動画撮像応用は、ディジタル画像のシーケンスと考えることができる。当業者は認識することになろうが、本発明は、限定ではないが、ここで述べているいずれの応用のためのディジタル画像チャンネルにも適用可能である。ディジタル画像チャンネルは、行および列によって配列されるピクセル値の２次元配列として述べられているが、当業者は、本発明が等しい効果を伴って非直線配列に適用可能であることを認識するであろう。またこれも当業者が認識することになろうが、ディジタル画像について、以下においてオリジナルのピクセル値を処理後のピクセル値で置換すると述べられている処理ステップは、オリジナルのピクセル値を保持しつつ、処理後のピクセル値を用いた新しいディジタル画像の生成として同じ処理ステップを述べることと機能的に等価である。

図３に示されている汎用コントロールコンピュータは、たとえば、磁気ディスク（フロッピーディスク（登録商標）等）または磁気テープ等の磁気ストレージメディア、光学ディスク、光学テープ、機械可読バーコード等の光学ストレージメディア、ランダムアクセスメモリ（ＲＡＭ）またはリードオンリーメモリ（ＲＯＭ）等のソリッドステート電子ストレージデバイスを含むことができるコンピュータ可読記憶媒体内にプログラムを記憶するコンピュータプログラム製品として本発明をストアすることが可能である。関連する本発明のコンピュータプログラム実装が、オフラインメモリデバイスによって示される、コンピュータプログラムのストアに採用されるこのほかの任意の物理デバイスまたはメディア上にストアされることもある。本発明を説明する前に、本発明が任意の周知のコンピュータシステム、たとえばパーソナルコンピュータ上において使用可能であることに留意すると理解が容易になる。

また本発明はソフトウエアおよび／またはハードウエアの組み合わせにおいて実装されることが可能であり、同一の物理的な場所内において物理的に接続されるか、かつ／または配置されるデバイスに限定されないことにも注意を要する。図３に示されているデバイスのうちの１つまたは複数は、リモート配置可能であり、ネットワークを介して接続することができる。これらのデバイスのうちの１つまたは複数は、無線周波数リンク等により直接またはネットワーク経由のいずれでも無線接続することが可能である。

本発明は、ユーザの多様な状況および環境に採用することができる。例示的な状況および環境は、限定ではないが、卸売りディジタル写真仕上げ（フィルム入力、ディジタル処理、プリント出力等の例示的な処理ステップまたは段階を含む）、小売りディジタル写真仕上げ（フィルム入力、ディジタル処理、プリント出力）、自宅プリンティング（自宅でスキャンしたフィルムまたはディジタル画像、ディジタル処理、プリント出力）、デスクトップソフトウエア（ディジタルプリントにアルゴリズムを適用し、それらを単に変更するだけのこともあるが、それらをより良好にするソフトウエア）、ディジタルフルフィルメント（メディアからまたはウェブ経由のディジタル画像入力、ディジタル処理、ディジタル形式でメディア上へ、ディジタル形式でウェブを介して、またはプリントによりハードコピープリント上へ行われる画像出力を伴う）、キオスク（ディジタルまたはスキャンされた入力、ディジタル処理、ディジタルまたはハードコピー出力）、モバイルデバイス（たとえば、処理ユニット、表示ユニット、または処理インストラクションを与えるユニットとして使用可能なＰＤＡまたは携帯電話）、およびワールドワイドウェブを介して提供されるサービス等を含む。

それぞれの場合において本発明は、スタンドアロンまたは、より大きなシステムソリューションのコンポーネントとすることができる。さらに、たとえばスキャニングまたは入力、ディジタル処理、対ユーザ表示（必要な場合）、ユーザ要求または処理インストラクションの入力（必要な場合）、出力等の人間インターフェースを、それぞれ同一または異なるデバイスおよび物理的な場所に置くことが可能であり、かつデバイスおよび場所の間の通信は、公衆または専用ネットワーク接続またはメディアベースの通信を介することが可能である。以上の本発明の開示と無矛盾であれば、本発明の方法を完全に自動とすることが可能であり、（完全に、または部分的にマニュアルの）ユーザ入力を有すること、結果の受け入れ／拒否のためのユーザまたはオペレータの校閲を有すること、またはメタデータ（ユーザによって供給されるか、測定デバイス（たとえばカメラ内の）によって供給されるか、またはアルゴリズムによって決定されることができるメタデータ）によって補助されることができる。さらに、アルゴリズム（１つまたは複数）は、多様なワークフローユーザインターフェーススキームとインターフェースできる。

本発明は、ここで述べている実施態様の組み合わせを含む。『特定の実施態様』等と言うときは、本発明の少なくとも１つの実施態様内に存在する特徴を参照している。別々に『実施態様』または『特定の実施態様』等と言うときは、必ずしも同一の実施態様（１つまたは複数）を参照していないが、その種の実施態様は、特に示す場合または当業者に容易に明らかである場合を除いて相互に排他的でない。

図１を参照するが、この方法およびシステムにおいては、取込レコードのコレクションが個別の関連する取り込み位置とともに提供される（１０）。取込レコードは、より早期に取り込み済みであるか、またはこのステップの一部として取り込まれることが可能である。取込レコードは、それぞれ、物理的なエリアの地図上に配置可能な地図位置に関連付けされているか、または関連付けが可能である。この方法に先行して、またはこの方法の間に、地図位置がコレクション内のすべての取込レコードに関連付けされる。

地図位置は、位置情報によって示されるか、またはそれから演繹される。位置情報の特定の形式は重要でない。位置情報は、取込レコードの内容のほかに提供されること、または取込レコードの内容から演繹されることが可能である。演繹可能な位置情報の単純な例は、道路標識を配置している画像の分析から、または音声認識ソフトウエアを使用する記録済みスピーチの類似の分析から決定される場所名である。取込レコードの内容のほかに提供される位置情報は、より使用が単純である。

便宜上、ここでは地理的な地図に関係させることが可能な特定の地理的位置において取り込まれたディジタル静止画像またはディジタルビデオシーケンスに関して取込レコードを論ずる。異なる地理的位置は、サイズにおいて一様とすること、または多様とすることが可能である。たとえば緯度および経度測定は、設定サイズのエリアを定義する。これに対して通信セルによって定義される地理的位置は、出力、アンテナ構成、およびそれらの類に応じて変動する。理解されることになろうが、ここで論じている方法およびシステムは、特定タイプの地理的位置に関連付けされるディジタル取込レコードに限定されない。たとえば取込レコードが、写真プリントまたはそのほかのハードコピー画像等の非ディジタル形式で提供されることも可能である。同様に、分類されるべき取込レコードについての位置も、取り込み時における取り込みデバイスの位置ではなく、取り込まれた情報が生じた現場の位置とすることが可能である。たとえばこれは、分類されるべき画像が遠隔地の検出ビークルまたは衛星からのものであるとき、取り込みデバイスの位置より有用となり得る。位置が地理的なものである必要はない。たとえばピルカメラ、すなわち飲み込まれて胃腸の画像を提供するカメラによって撮影される画像を、胃腸管内の位置によって分類することが可能である。

地図位置は、基準からの差またはデータに内在的な差の提供として一般化可能である。差は、地理的座標等の確立済み標準に相対的なものとし得る。また恣意的な基準に相対的なものとすることも可能である。同様に、特定のＧＰＳ座標セットを、その後の距離測定のための恣意的な開始点として選択することも可能である。基準自体が、時間または場所において固定される必要はない。距離は、基準カメラまたはそのほかの移動可能な特徴に相対的なものとすることができる。たとえば、複数の独立に操作されるカメラによって画像を提供することが可能である。移動可能な基準は、それらのカメラの１つに指定できる。この場合の基準カメラは、画像がほかのカメラによって取り込まれる場合に異なる絶対空間位置を有することが可能であり、差は、異なる画像の取り込み時における基準カメラからの離隔とすることができる。このほかの好都合な差に、もっとも近い近隣または順序付けされたシーケンス内の先行する画像からの差がある。

位置情報は、画像の取り込み時に決定された（適用可能な許容度内において）正確な位置を定義することが可能であるが、その情報が利用できない場合には、最良利用可能データ（後述）に基づいて位置を割り当てることができる。許容度はあらかじめ決定され、使用される装置の技術的な限界に依存する。取込レコードのコレクションに関連付けされる位置の許容度は、すべて同一とすることも可能であり、異なるとすることも可能である。受け入れ可能な許容度および異なる許容度の範囲の混合は、個々の用途についてヒューリスティックに決定されることが可能である。

位置情報は、異なるサイズの物理的な位置も定義できる。たとえばＧＰＳ座標は、小さい地理的エリアを定義するが、通信セルによって定義される地理的エリアは、比較的大きく、出力、アンテナ構成およびその類等のファクタに依存する。ユーザ入力による位置情報は、２つの通りの交差点等の小さいエリア、または都市等のより大きなエリアを定義できる。

位置情報は、取り込み時にデータ送信の形式で提供されることが可能である。データ送信は、取り込み時における取り込みデバイスまたは取り込まれる対象の位置を識別する情報の任意の送信である。データ送信のタイプには、ローカルおよびリモートで送信される位置座標、セルサイトの識別、有線および無線ネットワークアドレス、およびリモート送信およびユーザ入力される識別が含まれる。ＧＰＳ（グローバルポジショニングシステム）座標は、個々の座標によって小さい地理的エリアが識別されることから特に好都合である。

地図位置は、多くの方法のいずれかによって決定されることが可能である。たとえば、周知のグローバルポジショニング衛星（ＧＰＳ）からの通信を受信することによって地理的位置を決定できる。携帯電話は、いくつかの管轄内において、利用可能なＧＰＳまたはそのほかのポジショニングデータを有し、それを地図位置の提供に使用することが可能である。それに代わるものとして、地図位置が、送信塔の識別および三角測量法の使用によって識別されることが可能である。送信塔の特徴は、データベース内に維持可能であり、受信された送信からの地図位置の決定においてそれを調べることができる。

ネットワークノード情報を使用して地図位置を識別することができる。この場合位置情報が、ドックインターフェース３６２または無線モデム３５０等のネットワークインターフェースを介して供給される。たとえば、ドックインターフェースは、無線ネットワークへの接続にＩＥＥＥ８０２．１１無線インターフェースプロトコルのうちの１つを使用できる。位置決定器は、位置情報を提供する無線アクセスポイントのＭＡＣ（メディアアクセスコントロール）アドレスを使用することも可能であり、それを、ＭＡＣアドレスを地図位置に関係付けるデータベースを使用して地図位置に変換することができる。ＭＡＣアドレスは、無線アクセスポイント装置のハードウエアに恒久的に記録されている。たとえば、ＭＡＣアドレス４８−３Ｆ−０Ａ−９１−００−ＢＢを北緯４３．１５度西経７７．６２度の位置に関連付けすることが可能である。このアプローチは、データベース内の地図位置が、ＭＡＣアドレスを提供する装置の実際の位置に対応するという仮定に頼る。類似の態様において、参照によってこれに援用されるパレク（Ｐａｒｅｋｈ）ほかによる米国特許第６，７５７，７４０号の中で述べられているとおり、インターネットにわたって特定のメッセージを運ぶクライアントコンピュータからリモートホストまでのすべてのルータのＩＰアドレス（ＴＣＰ／ＩＰプロトコルによって決定される）を決定する『トレースルート』ユーティリティを使用して、概略の地理的位置の概念を得ることが可能である。

地図位置または位置情報がユーザによって付加的に、または代替的に供給されることは可能である。たとえばユーザは、緯度および経度情報、または郵便番号を入力して画像に関連付けされる地理的情報を定義できる。

取込レコードに関連付けされる地図位置は、単一の点というよりは確率分布として表されることが可能である。上記のもっとも正確な位置決定システム（ＧＰＳ）でさえ、少なくとも数メートルの誤差を受けやすい。地理的位置は、点および関連する不確実性として、または確率分布として表現可能である。たとえば、地理的位置が郵便番号である場合には、郵便番号によって定義される領域にわたる一様な確率分布を使用できる。

特定の取込レコードについて位置情報のアイテムが１を超えて利用できる場合には、それらのアイテムから決定された最良のアイテムまたは地図位置の組み合わせを、あらかじめ決定済みの規則のセットに基づいて使用することができる。たとえばセルサイトを識別する位置情報にユーザ入力が取って代わり、ＧＰＳデータ送信がユーザ入力に取って代わる規則を提供することができる。適切な規則がヒューリスティックに決定されることも可能である。

位置情報は、個別の取込レコードに関連付けされたメタデータのアイテムとして提供することができる。地図位置は、メタデータ、すなわち画像とともに情報を転送することを可能にする何らかの態様で個別の画像に関連付けされた非画像情報を表すか、それから演繹されることが可能である。たとえばメタデータは、しばしば画像情報と同一のファイル内において提供される。関連する別々のファイルとして、または単一ファイル内においてディジタルファイルにメタデータを含ませることは当業者に周知である。たとえば２００２年４月に制定された日本電子情報技術産業協会標準のＪＥＩＴＡ ＣＰ−３４５１「ディジタルスチルカメラ用画像ファイルフォーマット規格」Ｅｘｉｆ バージョン２．２によって定義されているＥＸＩＦファイルは、ディジタル画像も含むファイル内のメタデータを規定している。

補助メタデータを、位置情報に加えて提供することが可能であり、望ましい場合にはクラスタ化の中で使用することが可能である。たとえば、日時情報を補助メタデータとして提供することができる。日時情報は、『絶対』標準に対して相対的、または何らかのそのほかの基準に対して相対的なものとすることができる。たとえば１つまたはいくつかのカメラを恣意的な基準時間に同期させることが可能である。同じ態様で特定の基準時、または基準時のシーケンスのうちのもっとも近いものからの差において測定できる。クラスタ化の中に使用可能な補助メタデータのほかの例は、フラッシュ使用状態、焦点距離、レンズの焦点長、お気に入りとして選択済み／非選択、光源のタイプ、カメラのタイプ、カメラのシリアル番号、およびユーザ名である。

特定の実施態様において、取込レコードのシーケンスが取り込みデバイスを使用して取り込まれる。取り込みデバイスは、データ送信も受信する。データ送信のそれぞれは、あらかじめ決定済みの全体的な地図上における地図位置を定義する位置情報を提供する。取込レコードと同時に発生するデータ送信のそれぞれの地図位置は、それぞれの取込レコードに関連してメタデータとして記録される。用語『同時に発生する』は、特定のレコードの取り込みと同時であるか、介在する間隔の間における再配置を除外するに充分に近いことを言う。これらの実施態様のいくつかにおいては、受信されるものが周期的なデータ送信のストリームになる。たとえば、その種のストリームは、全体的な地球の地図に関するジオポジショニング座標において地図位置を定義するグローバルポジショニングシステムによって提供される。

それぞれの取込レコードが、その特定の取込レコードのために決定された地図位置に関連付けされることが好ましい。その種の情報が利用可能でないことがある。その場合には、最良利用可能データを使用することができる。これはクラスタ化の正確性および精度を低下させる。他方、通常の消費者画像の分類等の多くの用途において、この低下は、完全に許容可能となり得る。これは、分類誤りの訂正を可能にするユーザ介入が間に入ることができるため、分類がその種の画像のその後の使用にとって決定的でないという事実に関係する。これは特に、最良利用可能データが実際の地図位置に近いことがありがちか、かつ／または関係する取込レコードの数が総数に対して比較的低いパーセンテージである場合に当て嵌まる。

最良利用可能位置データは、最後に決定された位置とすること、または前後の決定済みの位置から補間することが可能である。個々の状況について許容可能なアプローチは、ヒューリスティックに決定することができる。

図１〜２を参照するが、特定の実施態様においては、周期的なギャップによって中断されるストリーム内でデータ送信が受信される（１１）。取込レコードのシーケンスが取り込まれる（１３）。データ送信と同時に発生する取込レコード（ここでは『位置確定取込レコード』とも呼ばれる）は、それぞれの同時発生のデータ送信によって定義される地図位置と関連付けされる（１５）。送信内のギャップと同時に発生する取込レコード（ここでは『位置未確定取込レコード』とも呼ばれる）は、最良利用可能データを表す名目地図位置と関連付けされる（１７）。名目地図位置がもっとも近い、データ送信と同時に発生する取込レコードの取り込み位置によって範囲が定められたエリア内にあることが好ましい。

ここで使用する場合の用語『クラスタ化』は、パターン分類手順を言う。ここで詳細に述べている方法において、クラスタ化は、ディジタルファイルまたはハードコピー取込レコードまたはそれらの類の物理的な組織化ではなく、取込レコードの論理的な組織化を提供するために使用される。理解されるであろうが、取込レコードの論理的および／または物理的クラスタ化は、クラスタ化によって提供される分類に基づいて取りかかることが可能である。

取り込まれたレコードのコレクションは、位置によって、およびオプションとして位置および日時によってクラスタ化される（２０）。位置および日時によるクラスタ化は、イベント、すなわち時間および空間両方において範囲が定められる組織化のカテゴリによってグループ化し、人間の記憶の組織化のアプローチを模することを試みる。位置情報は、２次元とすること、またはより高い次元数を持つことが可能である。たとえば高度情報を含ませること、および時間を別の次元として含ませること、または別々に扱うことが可能である。

クラスタ化は、すべてのエリアをポイントとして扱うことにより、地図位置によって定義された異なるエリアのサイズにおける差を無視することも可能であり、または異なるエリア内における差を含めることも可能である。たとえば各位置を、それぞれのエリアに比例する一様な確率分布として扱うことが可能である。望ましい場合には類似の態様で許容度を扱うことが可能である。個々のアプローチの適合性は、ヒューリスティックに決定することができる。

いくつかの画像クラスタ化手順において、画像がグループに、オプションとしてサブグループに、その後サブセットと呼ばれるより小さい区分に分類される。（使用されている特定の用語は恣意的である。）ここでの方法およびシステムは、その種のグループ、サブグループ、およびサブセットに適用可能であるが、便宜上、概してここでは『グループ』に関してだけクラスタ化を述べる。類似の考察が、より小さい区分に対して適用できる。

Ｍ．ナドラー（Ｍ．Ｎａｄｌｅｒ）およびＥ．スミス（Ｅ．Ｓｍｉｔｈ）著「パターンレコグニションエンジニアリング（Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｅｎｇｅｅｒｉｎｇ）」ジョンワイリーアンドサンズインク（Ｊｏｈｎ Ｗｉｌｅｙ＆Ｓｏｎｓ，Ｉｎｃ．）、１９９３年、２９４〜３２８ページに開示されているような、多様な異なるタイプのクラスタ化手順を使用できる。適切なクラスタ化手順を選択する評価基準は、当業者によって経験的に決定される。

現在の好ましいクラスタ化手順は、参照によってこれに援用される２００４年１１月１７日にＡ．ルイ（Ａ．Ｌｏｕｉ）、およびＢ．クラウス（Ｂ．Ｋｒａｕｓ）によって出願された米国特許出願第１０／９９７，４１１号『バリアンス−ベースドイベントクラスタリング（Ｖａｒｉａｎｃｅ−ｂａｓｅｄ Ｅｖｅｎｔ Ｃｌｕｓｔｅｒｉｎｇ）』の中に開示されている。図４を参照すると、このクラスタ化の方法においては、個別の取込レコードに関連付けされた地図位置のセットが受信され（２００）、平均される（２０４）。平均は、ここに開示されている実施態様においては算術平均を提供する。そのほかのメディアンおよびモード等の『平均』も特定の分散メトリックおよび特定の用途に適切であれば使用可能である。平均に対する分散メトリックが計算され（２０６）、グループ化スレッショルドが決定される（２０８）。スレッショルドを超える地図上の位置がグループ化の境界として識別され（２１０）、そのグループ化の境界に基づいて取込レコードがグループに割り当てられる（２１２）。

地図位置は、平均の前にスケーリング関数を用いてスケーリングすることが可能である（２０２）。特定の実施態様においては、スケーリング関数が、正の減少勾配を有する可逆の連続する数学的関数である。結果としてスケーリング関数が小さい地図位置の差を維持し、大きい地図位置の差を圧縮する。個々の用途のためのスケーリング関数は、ヒューリスティックに決定される。

地図位置は、スケーリングされたヒストグラムを提供するべくスケーリング関数を使用して修正されるヒストグラムにアレンジできる。ヒストグラムは、この方法によって提供されるグループの視覚的チェックの提供に使用することが可能である。

分散メトリックは、一般的な統計手順に従って地図位置から計算される。分散メトリックは、特定の平均に対する値のセットの分散に関係する統計的パラメータである。適切な分散メトリックは、標準偏差、分散、平均偏差、および標本分散を含む。

グループ化スレッショルドは、分散メトリックに関して設定される。たとえば、分散メトリックが標準偏差の場合には、グループ化スレッショルドが標準偏差の倍数になる。個々の用途のための適切なグループ化スレッショルドは、画像の例証的なセットを使用し、ヒューリスティックに決定可能である。

グループ化スレッショルドが決定された後、イベントスレッショルドを超える地図位置がグループ化境界として識別され、それらのグループ化境界に基づいて取込レコードがグループに割り当てられる。たとえば、特定の実施態様において、設定された平均からあらかじめ選択された数の標準偏差を超えて逸脱する地図位置内の差がグループ化境界と見なされ、それらの境界に従って画像がグループ化される。追加のグループ化境界を、オリジナルのグループ化スレッショルドのより大きな倍数となる追加のグループ化スレッショルドによって提供することができる。たとえば、初期グループ化スレッショルドｔを、ｋｔ，２ｋｔ，．．．，ｎｋｔの標準偏差における追加のグループ化スレッショルドとともに使用することができる。

この方法の実行においては、スケーリングされたヒストグラムをチェックして選択されたスケーリング関数が、グループ化スレッショルドより下にある地図位置の差を不明確にしていないこと、およびグループ化スレッショルドより上にある地図位置の間の差を圧縮していること、したがって選択されたスケーリング関数が特定の画像セットの地図位置のために適切であることを確認する。

上記のグループ化手順に対する代替として、関連する地理的位置に（および、オプションとして関連する取り込み時間にも同様に）基づいて画像をクラスタ化するために任意のクラスタ化アルゴリズムを使用することが可能である。クラスタ化は、地理的位置の間の差を計算することによって画像のグループを見つけ出す。たとえば、周知のクラスタ化アルゴリズムＩＳＯデータを使用して画像をグループにクラスタ化することが可能である。このアルゴリズムは、最初にいくつかのクラスタ中心を仮定し、その後、各データポイント（画像に関連付けされる地理的位置）をもっとも近いクラスタ中心に割り当てる。地図位置に加えて、使用される特徴のスケーリングが必要になることがある。たとえば、地理的位置および秒における取り込み時間が考慮される場合、データの数的範囲が、クラスタ化対地理的情報のための特徴としてのその重要度と概略で比例するように、取り込み時間がスケーリングされる必要がある。その後、新しいクラスタ中心が、個々のクラスタに割り当てられたすべてのデータポイントの平均を見つけ出すことによって計算される。このプロセスが、クラスタ中心が不変となるまで（または、たとえば割り当てを変更する画像が最小数となるまで）反復される。

図１０は、クラスタ化アルゴリズムによってクラスタ化される画像に関連付けされる地理的位置８０２の例を示している。結果として得られる４つの画像のグループ（すなわち、クラスタ）が破線の輪郭線８０４によって囲まれて示されている。クラスタの数は、距離において近接しているクラスタを併合することによって動的に修正すること、または大きいエリアを覆うクラスタを分割することによって増加することが可能である。クラスタ化の目的のためには、地理的座標の間の地理的な差が計算されなければならない。この目的のために地球の球体モデルを使用することが可能であり、またはより精密であるが複雑な、バイセンティ公式（Ｖｉｃｅｎｔｙ Ｆｏｒｍｕｌａ）を使用する楕円体モデルを使用することが可能である。地理的座標のセットの平均が、各位置のデカルト（ｘ，ｙ，ｚ）ポジションを決定し、その後（ｘ，ｙ，ｚ）座標ベクトルのセットの平均を計算し、その後その結果がその位置について適切な大きさ（すなわち、地球について半径）を有していることを、必要であれば定数を用いてスケーリングすることにより保証することによって計算される。このほかの、最小スパニングツリーを成長させることによるクラスタ化等のクラスタ化アルゴリズムも同様に使用可能である。

さらにグループ化のパフォーマンスを向上させるために、地理的な特徴を考察することができる。たとえば、図１１の地図内に示されている画像に関連付けされた地理的位置８０２を考える。グループ化のための自然な選択は、川の中で取り込まれた画像を岸の上で取り込まれたものから分けて分類することになろう。しかしながら地理的位置に基づくクラスタ化だけでは、この望ましい結果に到達しないことになる。したがって、画像に関連付けされている地理的位置に関係のある地理的特徴を考慮することが、向上されたクラスタ化の結果を導くことができる。類似の態様で、地理的特徴を考慮することによって地理的領域を向上させることも可能である。地理的特徴は、川、湖、地形のタイプ（山、谷、山脈、平地）、行政区分、または行政上の所属（国、州、郡、県、所有地境界線、ジップコード境界）、およびそれらの類を含むことができる。地理的特徴は、クラスタ化アルゴリズムの間に、たとえばクラスタ中心について、そのクラスタ中心に属する画像ごとに地理的特徴についてもっとも頻繁に発生する値を決定することにより各地理的特徴のための値を決定することによって考慮可能である。その後、画像の関連する地理的位置とクラスタ中心の間の距離が計算されるとき、地理的特徴のためのクラスタ中心の値が、その地理的特徴のための画像の値と整合しなければペナルティを追加する。

ここで図８を参照すると、特定の実施態様においては、独立に操作されたカメラ７００の、画像取り込み時における基準７０２からの距離によって取込レコードがグループ化される。画像に関連付けされる地図位置が受信（２００）された後に、地図位置の差のヒストグラムが用意され、地図位置の差のスケーリング関数を使用して地図位置の差のヒストグラムがマップされ（２０２）、スケーリング後のヒストグラムが提供される。平均が計算され（２０４）、スケーリング後の地図位置の差のセットの標準偏差が計算され（２０６）、さらにグループ化スレッショルドが決定される（２０８）。決定されたグループ化スレッショルドは円７０４になる。イベントスレッショルド内における地図位置の差に関連付けされる取込レコードが、グループ化境界によって境界設定されるグループに割り当てられる（２１２）。

たとえば、この方法の実施態様は、複数の携帯電話カメラ、またはそのほかの、ＧＰＳ座標を画像メタデータとして記録することができる移動取り込みデバイスを使用する異なる写真撮影者によって取り込まれた画像のセットについてグループ境界を定めるために使用可能である。ＧＰＳ座標は、基準位置またはユーザからの距離に還元される。画像は、個別の写真撮影者の、中心位置または基準ユーザに対するローミングに基づいてグループ化される。

ここで図９を参照するが、この方法は、地図位置が時間順情報および地理的情報を含む問題領域に適用できる。この場合においては、地図位置が、画像取り込みの時間順において連続する画像の間の距離（図９内において矢印によって示されている）になる。画像６５２のグループについて、距離境界６５０によってグループが定義される。スケーリング後のヒストグラムおよびそのほかの手順は、手前で述べたものと同様になる。表１は、画像の時間順についての地図位置の例である。左列は取り込まれた画像の順序を表し、右列は画像ｉと画像ｉ＋１の間の距離を表す。

画像は、５番目と６番目および９番目と１０番目の画像の間においてグループに分けられる。図９は、これを図式的な態様で図解している。この実施態様では、グループ化スレッショルドによって定義されたグループ内において追加のグループ化スレッショルドがサブグループを定義することになる。

追加の取込レコードの差をクラスタ化に使用することが可能である。たとえば、使用される差を、画像のコントラスト、ダイナミックレンジ、色特性等の画像の内容のグローバルな、またはブロックベースの測定とすることができる。ブロックヒストグラムの差は、ブロックヒストグラムの類似度を一単位（またはほかの、アイデンティティに関連付けされる値）から差し引いた後の残りとして好都合に提供される。ブロックヒストグラムの類似度は、参照によってこれに援用される米国特許第６，３５１，５５６号に述べられている手順等のように当業者に周知の方法で決定可能である。

図４および５を参照するが、本発明の方法を反復的に使用し、以前に決定されたグループまたはサブグループ内にサブグループを提供することができる。図５の計算（４０４）、計算（４０６）、決定（４０８）、識別（４１０）、および割り当て（４１２）のステップは、図４の２００だけ異なる参照番号を有するステップに対応する。図６は、画像３００のセットの、グループ化スレッショルド３０２における２つのグループ３０４、３０６へのグループ化、およびそれに続く１つのグループ３０６の２つのサブグループ３０８、３１０へのサブグループ化を図解している。

方法およびシステムは、ほかのグループ化方法とともに、特に以前に使用されたものと異なる情報を使用するグループ化方法とともに使用することも可能である。たとえば、この方法は、ブロックヒストグラムクラスタ化または２平均クラスタ化（ともに参照によってこれに援用される米国特許第６，６０６，４１１号および米国特許第６，３５１，５５６号に開示されている）等の別の方法を使用する代替クラスタ化方法が先行するか、または後続する時間差クラスタ化を使用する画像のコレクションのイベントの検出に使用することができる。ブロックヒストグラムクラスタ化は、クラスタ化テクニックの例であり、画像の内容が分析され、画像がその分析に応じたサブセット（グループまたはサブグループ）に割り当てられる。ブロックヒストグラムの交差値が、画像のペアについて決定される。ブロックベースのヒストグラム相関は、ヒストグラムの交差値があらかじめ決定済みの差のスレッショルドを超えるときに実行される。

クラスタ化に続いて、地図がセグメント化される（４０）。地図は、取り込み位置を含み、かつ好ましくは、セグメント化された地図の使用においてその後に関心が持たれると見られるすべての地図位置を含むように取り込み位置を越えて広がる。この地図は、その後、グループのそれぞれに対応する領域にセグメント化される。

多様な異なるセグメント化アプローチを使用することが可能である。いくつかの場合においては、最初にグループのそれぞれの中核位置が、領域への地図の区分（３５）に先行して決定される（３０）。中核位置は、地図のセグメント化の間における測定目的のためにグループを表現する。好都合な中核位置は、グループの図心である。代替中核位置は、図心にもっとも近い取り込み位置等の取り込み位置の１つのエリア、２またはそれより多くの取り込み位置の組み合わせ、たとえばグループ内のすべての取り込み位置の組み合わせによって形成されるエリアを含む。取込レコードの個々のコレクションとともに使用される中核位置のタイプは、ヒューリスティックに決定できる。

ＩＳＯデータクラスタ化アルゴリズムの有用な副産物は、画像がグループに分類されるだけでなく、各クラスタ中心が、地理的地図のセグメント化において中核位置として使用可能なことである。画像のグループに関連付けされる地理的領域は、その画像のグループに属するすべての画像の地理的位置を含む。それらの領域は、ほかのいずれのクラスタ中心よりそのクラスタ中心（すなわち、中核位置）に近いすべての点を有する領域を定義する周知のボロノイセルである。地理的領域は、その後、そのクラスタ中心に属する画像のグループと関連付けされる。たとえば、図１０は、各グループに関連付けされた４つのクラスタ中心８０６をはじめ各グループに関連付けされた、点鎖線によって画定された４つの地理的領域８０８を示している。好ましくは、グループに関連付けされた地理的領域がオーバーラップしない領域になる。しかしながら、領域がオーバーラップすることは、特に単一の場所が２回にわたって訪ねられ、それぞれの来訪の間にいくらかの経過時間を伴う場合に可能である。

地図のセグメント化のための代替手順は、画像の各グループについて、関連する領域が、グループ画像に関連付けされた取り込み位置のいずれかに対する方が、画像のほかのいずれのグループに関連付けされた取り込み位置に対するより近いすべての点を含むように領域を形成することを含む。また地図を、画像の各グループに関連付けされる取り込み位置の凸閉包の定義により領域を形成することによってセグメント化することも可能である。このセグメント化は、各領域が、関連する画像のグループに関連付けされた取り込み位置のすべてを含むことを保証する。さらに、地図を、グループ内の３つの取り込み位置のセットの間に三角形を形成し、その後、もっとも小さい合計面積を有する三角形のセットを、各取り込み位置がそのセットの三角形の少なくとも１つの頂点となるという制約の下に選択することによってセグメント化することも可能である。その場合に領域は、選択された三角形のセット内のすべての三角形の結合となる。

それぞれの場合において、地図のセグメント化は、画像のグループに関連付けされた取り込み位置の関数になる。さらにまた、地図のセグメント化は、取り込みポジションの相対ポジションの関数である。これは、地図のセグメント化が、取り込みポジションの間の距離の決定の結果として生じることによる。

地図がセグメント化された後、地図の領域が、それぞれのグループの取込レコードと関連付けされる（５０）。この関連付けは、物理的または論理的またはそれら両方とすることが可能である。セグメント化された地図またはそれぞれの地図セグメントを生成するために必要な情報は、取込レコードのそれぞれとともに、または取込レコードのグループとともに、またはコレクションとともに維持することができる。それに代えて、取込レコードを、地図またはそれぞれのセグメントの部分として維持することができる。

地図セグメントと関連付けされる取込レコードのすべてに、その地図セグメントに関連付けされる情報に基づいて共通の注釈を与えることが可能である。注釈がユーザに表示されること、および望ましい場合にはユーザに注釈の変更を許すことができる。たとえば地図セグメントは、関連する場所の名前『ロッキー山脈』を有する、ワイオミング州およびモンタナ州を含むエリアを含むことができる。モンタナおよびワイオミングに取り込み位置を有する画像のグループに注釈『ロッキー山脈』を与えることが可能であり、結果として得られる注釈の画像をユーザに表示することができる。

セグメント化された地図は、取込レコードが使用されるときに利用可能であり、また取込レコードへのアクセスの提供に使用することができる。たとえば、セグメント化された地図を、画像コレクションに対するインターフェースとしてユーザに表示することができる。ユーザは、場所の名前のタイプ入力、またはそれ以外の地図セグメントの指定のいずれかによるクエリを行うことによって選択された画像に対するアクセスを得ることができる。その逆もまた提供されることが可能である。画像およびそのほかの取込レコードは、仮想アルバム形式で、または個別にユーザに呈示することが可能であり、ユーザが適切なアイコンまたはその類の上をマウスでクリックすることによって要求したとき、関連する地図セグメントに関係する情報を提示することができる。地図の方向も同様に、異なる取込レコードに関連付けされた２つの地図セグメントの間において提供できる。

セグメント化された地図およびグループ化された画像のほかの用途に、地図を表示する縮尺の決定が含まれる。ユーザが、画像の１つまたは複数のグループから画像を選択すると、表示のための地図の縮尺が、表示される地図内においてそれらの画像グループに関連付けされた領域が全画面表示となるように決定される。それに加えてユーザは、取込レコードのサーチおよび検索を補助するラベル付けまたはタグ付けを領域に対して行うことができる。

本発明のシステムは、この方法の実施に使用可能な１つまたは複数の独立したコンポーネントを提供する。図１２を参照すると、システム２２のいくつかの実施態様は、カメラまたはそのほかのアッセンブリの本体１６内に備えることが可能な取り込みデバイス１２および分類エンジン１４をともに含む。コンポーネント１２、１４の間における通信は、直接通信パス１８を経由する。図１３を参照すると、別の実施態様においては、取り込みデバイス１２が分類エンジン１４から分離されており、通信が有線または無線通信デバイスを経由し、１つまたは複数のネットワーク（波線矢印２４によって図解されている）を介することができる。この場合においては、取り込みデバイスを分類エンジンなしのカメラとすることが可能であり、分類エンジンを別体の専用デバイスまたはプログラムされた汎用コンピュータまたはマイクロプロセッサの論理機能とすることができる。

図１４は、システムの特定の実施態様のブロック図である。カメラ付き電話３０１は、バッテリ動作の携帯デバイスであり、画像の取り込みおよびレビュー時にユーザが容易に手で持つに充分な小ささである。ディジタルカメラ付き電話３０１は、たとえば内蔵フラッシュＥＰＲＯＭメモリまたはリムーバブルメモリカードとすることが可能な画像データ／メモリ３３０を使用してストアされるディジタル画像を作成する。それに代えて、磁気ハードドライブ、磁気テープ、または光ディスクといったそのほかのタイプのディジタル画像記憶媒体を使用して画像／データメモリ３３０を提供することも可能である。

ディジタルカメラ付き電話３０１は、ＣＭＯＳ画像センサ３１１の画像センサアレイ３１４上にシーン（図示せず）からの光を集束させるレンズ３０５を含む。画像センサアレイ３１４は、周知のベイヤーカラーフィルタパターンを使用してカラー画像情報を提供できる。画像センサアレイ３１４は、タイミングジェネレータ３１２によってコントロールされ、周囲の照明が低いときにはそれが、シーンを照明するためにフラッシュ３０３もコントロールする。画像センサアレイ３１４は、たとえば１２８０列×９６０行のピクセルを有することができる。

いくつかの実施態様においては、ディジタルカメラ付き電話３０１が、画像センサアレイ３１４の複数のピクセルを合計し（たとえば、画像センサアレイ３１４の各４列×４行のエリア内の同一色のピクセルを合計し）、より低い解像度のビデオ画像フレームを作成することによってビデオクリップをストアすることもできる。ビデオ画像フレームは、規則的な間隔で、たとえば毎秒２４フレームの読み出しレートを使用して画像センサアレイ３１４から読み取られる。

画像センサアレイ３１４からのアナログ出力信号は、増幅され、ＣＭＯＳ画像センサ３１１上のアナログディジタル（Ａ／Ｄ）コンバータ回路３１６によってディジタルデータに変換される。ディジタルデータは、ＤＲＡＭバッファメモリ３１８内にストアされ、その後に続いて、フラッシュＥＰＲＯＭメモリとすることが可能なファームウエアメモリ３２８内にストアされているファームウエアによってコントロールされるディジタルプロセッサ３２０によって処理される。ディジタルプロセッサ３２０は、ディジタルカメラ付き電話３０１およびディジタルプロセッサ３２０が低電力状態にある場合であっても日付および時刻を維持するリアルタイムクロック３２４を含む。

処理されたディジタル画像ファイルは、画像／データメモリ３３０内にストアされる。画像／データメモリ３３０は、図１１を参照して後述するとおり、ユーザの個人的カレンダ情報のストアにも使用できる。画像／データメモリは、そのほかの、電話番号、ｔｏ−ｄｏリスト、およびそれらの類といったタイプのデータをストアすることもできる。

静止画像モードにおいてディジタルプロセッサ３２０は、レンダリング後のｓＲＧＢ画像データを作成するために色補間およびそれに続く色および階調補正を行う。ディジタルプロセッサ３２０はまた、ユーザによって選択された多様な画像サイズを提供することも可能である。レンダリング後のｓＲＧＢ画像データは、その後ＪＰＥＧ圧縮され、ＪＰＥＧ画像ファイルとして画像／データメモリ３３０内にストアされる。ＪＰＥＧファイルは、最初の方で述べたいわゆる『Ｅｘｉｆ』画像フォーマットを使用する。このフォーマットは、種々のＴＩＦＦタグを使用して特定の画像メタデータをストアするＥｘｉｆアプリケーションセグメントを含む。別々のＴＩＦＦタグが使用され、写真が取り込まれた日付および時刻、レンズのｆ／番号およびそのほかのカメラセッティングのストア、および画像のキャプションのストアをすることが可能である。特に、後述するとおり、ＩｍａｇｅＤｅｓｃｒｉｐｔｉｏｎタグをラベルのストアに使用することができる。リアルタイムクロック３２４は、各Ｅｘｉｆ画像ファイル内に日付／時刻メタデータとしてストアされる取り込みの日付／時刻の値を提供する。

この実施態様において、カメラは位置決定器３２５を含む。この位置決定器は、データ送信等の位置情報を受信する位置情報受信機、および位置情報を地図位置に変換するコンバータを含む。地図位置は、その後、画像に関連してストアされる。地図位置は、使用されることになる地図上で直接読み取ることが可能な座標として好ましくストアされ、たとえば地理的な地図位置が、一般に緯度および経度の単位で好適にストアされる。コンバータは、位置情報を特定の地図位置に関係させる変換データベース３２７を含むことができる。変換データベースは、カメラ自体に配置すること、またはドックインターフェース３６２または無線モデム３５０、またはそれらの類を介したリモートアクセスを伴ってカメラ外に配置することが可能である。位置決定器は、付加的にまたは代替的に、ユーザによる地図位置または位置情報の入力を可能にするマイクロフォンまたはキーボード等のユーザインターフェースを含むことができる。

別の実施態様においては、カメラまたはそのほかの取り込みデバイスが、取り込まれた画像に関連付けして位置情報を受信し、ストアする位置情報受信機を有する。その実施態様においては、地図位置が、その後、別体のシステムコンポーネントまたは分類エンジンを含むコンポーネントの部分となるコンバータ内において決定される。たとえば、地図位置は、画像および位置情報メタデータが、ニューヨーク州ロチェスタのイーストマンコダックカンパニー（Ｅａｓｔｍａｎ Ｋｏｄａｋ Ｃｏｍｐａｎｙ）により、オンラインでｗｗｗ．ｋｏｄａｋｇａｌｌｅｒｙ．ｃｏｍのＵＲＬにおいて提供されるコダックイージーシェアギャラリー（ＫＯＤＡＫ ＥＡＳＹＳＨＡＲＥ Ｇａｌｌｅｒｙ）等の写真サービスプロバイダに送信されるときに決定されることが可能である。

代替として位置情報受信機を、カメラとは別の外部の位置認識デバイスとすることができる。その場合は、地図位置が位置認識デバイスによって決定され、その後、ドックインターフェース３６２または無線モデム３５０またはそれらの類を介してカメラに送信される。位置認識デバイス３２９は、自動車に組み込まれたＧＰＳ受信機等の位置情報受信機によって位置を知るデバイス、または無線周波数ビーコン等の位置がわかっている静止物体である。位置決定器３２５が、外部の位置認識デバイス３２９にそれの場所をポーリングすること、または位置決定器３２５が、外部の位置認識デバイス３２９に特定の時刻におけるそれの位置をポーリングすること（たとえば、特定の時刻が画像取り込み時刻になる）のいずれも可能である。この代替選択肢は、位置認識デバイス３２９がカメラ付き電話３０１に接近しているとき、たとえば位置認識デバイス３２９が自動車内のＧＰＳ受信機である場合等に有効である。

特定の実施態様においては、地図位置が欠落することになってしまう取込レコードの地図位置を位置決定器３２５が評価する。たとえばＧＰＳ受信機は、しばしば屋内での信号の検出に失敗する。その種の受信機３２５を含む位置決定器は、時間的にもっとも近い利用可能な位置情報、またはその画像取り込み時の前および／または後の時間における複数の地理的な位置の間の補間を使用することができる。オプションとしてディジタルプロセッサは、位置決定器３２５によって決定された地理的位置を、画像の取り込みとの時間的な関係だけでストアするのではなく、継続的にストアできる。このアプローチは、データ送信が利用可能でないときの位置の評価を提供し、かつカメラが、取り込まれた画像の位置だけでなく、画像の取り込みの間にユーザがとった経路を表示することを可能にするという追加の利益も有する。

ディジタルプロセッサ３２０は、共通譲渡の『Ｅｌｅｃｔｒｏｎｉｃ Ｓｔｉｌｌ Ｃａｍｅｒａ Ｐｒｏｖｉｄｉｎｇ Ｍｕｌｔｉ−Ｆｏｒｍａｔ Ｓｔｏｒａｇｅ Ｏｆ Ｆｕｌｌ Ａｎｄ Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅｓ』と題されたクチタ（Ｋｕｃｈｔａ）ほかに対する米国特許第５，１６４，８３１号の中で述べられているとおり、低解像度の『サムネイル』サイズの画像を作成できる。サムネイル画像は、ＲＡＭメモリ３２２内へのストアおよび、たとえばアクティブマトリクスＬＣＤまたは有機発光ダイオード（ＯＬＥＤ）とすることができるカラーディスプレイ３３２への供給が可能である。画像が取り込まれた後は、サムネイル画像データを使用し、カラーＬＣＤ画像ディスプレイ３３２上においてそれらを迅速にレビューすることができる。

カラーディスプレイ３３２上に表示されるグラフィカルユーザインターフェースは、ユーザコントロール３３４を含むユーザインターフェースによってコントロールされる。ユーザコントロール３３４は、電話番号をダイアルする専用の押しボタン（たとえば、電話キーパッド）、モード（たとえば、『電話』モード、『カメラ』モード）を設定するコントロール、４方向コントロール（上、下、左、右）を含むジョイスティックコントローラ、および押しボタン中心の『ＯＫ』スイッチ、またはこれらの類を含むことができる。

ディジタルプロセッサ３２０に接続されているオーディオコーデック３４０は、マイクロフォン３４２からオーディオ信号を受信し、スピーカ３４４にオーディオ信号を提供する。これらのコンポーネントは、電話会話のため、およびビデオシーケンスまたは静止画像とともにオーディオトラックの記録および再生を行うために使用することが可能である。スピーカ３４４は、ユーザに電話の着呼を知らせるためにも使用できる。これは、ファームウエアメモリ３２８内にストアされている標準の呼び出し音を使用して、または携帯電話網３５８からダウンロードされて画像／データメモリ３３０内にストアされるカスタム呼び出し音を使用して行うことが可能である。それに加えて、振動デバイス（図示せず）を使用して電話の着呼の無音（たとえば、非可調）通知を提供することができる。

ドックインターフェース３６２は、ディジタルカメラ付き電話３０１を、汎用コントロールコンピュータ４０に接続されたドック／充電器３６４に接続するために使用できる。ドックインターフェース３６２は、たとえば周知のＵＳＢ（ユニバーサルシリアルバス）インターフェース仕様に適合する。それに代えて、ディジタルカメラ３０１と画像取り込みデバイス１０の間のインターフェースを、周知のブルートゥース（Ｂｌｕｅｔｏｏｔｈ）無線インターフェースまたは周知の８０２．１１ｂ無線インターフェース等の無線インターフェースとすることができる。ドックインターフェース３６２は、画像／データメモリ３３０から汎用コントロールコンピュータ４０に画像をダウンロードするために使用できる。ドックインターフェース３６２はまた、汎用コントロールコンピュータ４０からディジタルカメラ付き電話３０１内の画像／データメモリにカレンダ情報を転送するためにも使用可能である。ドック／充電器３６４は、ディジタルカメラ付き電話３０１内のバッテリ（図示せず）の再充電にも使用することができる。

ディジタルプロセッサ３２０は、無線モデム３５０に接続されており、ディジタルカメラ付き電話３０１がＲＦ（無線周波数）チャンネル３５２を介して情報の送受を行うことを可能にする。無線モデム３５０は、無線周波数（たとえばワイヤレス）リンクを介して、３ＧＳＭネットワーク等の携帯電話網３５８と通信する。携帯電話網３５８は、ディジタルカメラ付き電話３０１からアップロードされたディジタル画像をストアすることが可能な写真サービスプロバイダ３７２と通信する。それらの画像は、インターネット３７０を介してそのほかの汎用コントロールコンピュータ４０を含むデバイスによってアクセスされることが可能である。携帯電話網３５８は、通常の電話サービスを提供するために標準電話網（図示せず）にも接続される。

図１５は、本発明の特定の実施態様のフローチャートである。この実施態様は、図１４を参照して先に述べたディジタルカメラ付き電話３０１ベースの撮像システムを使用することが可能であり、また図１の方法を組み込むことができる。

ディジタルカメラ付き電話３０１は、ユーザによる種々の動作モードの選択を可能にするユーザコントロール３３４を含む。『電話』モードにおいては、ディジタルカメラ付き電話３３０が標準の携帯電話として動作する。『カメラ』モードにおいては、ディジタルカメラ付き電話３０１が、画像の取り込み、表示、および転送を行うために静止画またはビデオカメラとして動作する。

ブロック９０４においては、ユーザがカメラモードを選択する。ブロック９０６においては、ユーザが、カラーディスプレイ３３２をビューファインダとして使用して取り込まれることになる画像（１つまたは複数）を構成し、ユーザコントロール３３４の１つ（たとえばシャッタボタン、図示せず）を押して画像（１つまたは複数）を取り込む。画像センサアレイ３１４によって提供される画像信号がＡ／Ｄコンバータ回路３１６によってディジタル信号に変換され、ＤＲＡＭバッファメモリ３１８内にストアされる。同様にブロック９０４がビデオクリップ（すなわち、画像のシーケンスおよびそれと関連するマイクロフォン３４２から記録されるオーディオ）、またはサウンドクリップのみ（すなわちマイクロフォン３４２から記録されるオーディオ）を包含することに注意を要する。

ブロック９０８においては、ディジタルプロセッサ３２０が、各画像の取り込みの後にリアルタイムクロック３２４の値を読み取り、その写真が撮影された日時を決定する。ブロック９１２においては、ディジタルプロセッサ３２０が、画像に関連付けされる地図位置を位置決定器３２５から検索する。ブロック４１４においては、ディジタルプロセッサ３２０が、前述したとおり、画像がグループに対応するか否かを決定する。

カメラ付き電話３０１の分類エンジンは、ドックインターフェース３６２、携帯電話網３５８、または無線モデム３５０を介して友人、家族、または同僚から取込レコードを検索することができる。それらの取込レコードは、ブロック４１４に従って取込レコードをグループ化するために使用可能な関連する地理的位置情報をすでに有していることがある。取込レコードのための地図位置または位置情報が用意されていない場合には、位置決定器３２５が、取込レコードが検索された時点におけるカメラ付き電話３０１の位置を決定する。この位置は、その後ブロック４１４に従って取込レコードをグループ化するために使用できる。取り込みではなく画像の受信に基づく地図位置は不正確であるが、それらの地図位置が恣意的ではなく、ユーザにとって有用な指標を提供すると決定された。受信された画像は、ユーザに、その画像がどうして受信されるに至ったかということ、およびそのほかのその画像の関連を想起させることが可能な受信の位置と関連付けされる。同じアプローチが、分類エンジンが別体のコンポーネントであり、取り込みデバイスとともに移動しない別の実施態様に適用できるが、あまりに多くの画像がユーザの自宅等の単一の位置を伴ってグループ化されがちとなるようであれば望ましくないと言える。

再び図１２を参照すると、ブロック４１６においては、ディジタルプロセッサ３２０が位置情報を使用して提案の画像注釈を作成する。たとえば位置情報が『北緯４３．１８８６７度、西経７７．８７３７１１度』である場合には、提案画像注釈を『位置座標：４３．１８８６７，−７７．８７３７１１、場所名：ニューヨーク州スウェーデン』とすることができる。画像注釈は、地理データベース３２７のサーチを介して、またはメモリ内のそのほかの画像または画像のグループに関連付けされた地図位置を、現在の画像または画像のグループのための位置情報と充分に近い関連する地理的位置を有する画像の注釈についてサーチすることによって見つけることが可能である。

ブロック４１８においては、提案画像注釈がカラーディスプレイ３３２上に、ブロック４０６において取り込まれた画像（１つまたは複数）とともに表示される。これは、ユーザが提案画像注釈を見ること、およびそれが取り込まれた画像（１つまたは複数）に対して適切か否かをチェックすることを可能にする。提案画像注釈の表示に加えて、プロセッサ３２０は、ユーザに提案注釈の同意を求める要求を表示する。これは、たとえばテキスト『ＯＫ？』を選択可能な応答『はい』および『いいえ』とともにカラーディスプレイ３３２上に表示することによって行うことができる。

ブロック４２０においては、ユーザがユーザコントロール３３４を使用して『はい』または『いいえ』いずれかの応答を選択する。注釈が適切でない場合、ユーザは『いいえ』応答を選択する。これは、ユーザが、『私の家』等の異なる場所またはイベントの名前を考えているときに生じる。

ブロック４２２においては、ユーザが注釈に『ＯＫ』しなかった（ブロック４２０に対して『いいえ』の）場合に、ディジタルプロセッサ３２０がカラーディスプレイ３３２上に、ユーザによる注釈の編集を可能にするユーザインターフェーススクリーンを表示する。代替注釈は、頻繁に使用されるラベル（たとえば、『タウンホール、公園』）のリストから選択することも可能であり、またはマニュアルでテキスト文字列を入力することも可能である。それに代えて、代替注釈を、以前に使用された近くの位置に関連付けされているラベルのデータベースから選択することもできる。望ましい場合には、取込レコードのグループのすべての構成要素について同時に注釈を編集することも可能である。

ブロック４２４においては、ユーザが注釈に『ＯＫ』した（ブロック４２０に対して『はい』の）場合、またはユーザがブロック４２２において修正した注釈を提供した場合に、ディジタルプロセッサ３２０が、取り込まれた画像（１つまたは複数）の画像ファイル（１つまたは複数）内に注釈をストアする。たとえば、取り込まれた静止画像を含んでいるＥｘｉｆファイルのＩｍａｇｅＤｅｓｃｒｉｐｔｉｏｎタグ内に注釈をストアできる。

ブロック４２６においては、画像ファイルがデータベース１２に、たとえば図１１の写真サービスプロバイダ３７２によって提供されるデータベースに転送される。これは、無線モデム３５０を使用し、携帯電話網３５８を介して写真サービスプロバイダ３７２に画像ファイルを送信することによって行うことが可能である。写真サービスプロバイダ３７２は、その後、それらの画像ファイルをストアし、インターネット３７０にわたる、汎用コントロールコンピュータ４０を含めた種々のコンピュータからのアクセスを可能にすることができる。画像ファイルは、ディジタルカメラ付き電話３０１により、携帯電話網３５８を介してアクセスされることも可能である。これらに代えて、ドックインターフェース３６２およびドック／充電器３６４を使用して画像ファイルを汎用コントロールコンピュータ４０に転送することも可能である。ＩｍａｇｅＤｅｓｃｒｉｐｔｉｏｎタグを使用してストアされた日付／時刻メタデータおよび特別なイベントラベル等の画像ファイル内のメタデータは、それぞれの画像ファイルから読み出し、より迅速なサーチを可能にするべく別々のメタデータデータベース内に画像名とともにストアすることもできる。

ブロック４３０においては、データベース７２０のメタデータがサーチされて関心画像が位置確認される。これは、クエリを入力することによって達成可能である。クエリは、一般的なクエリまたは位置に固有のクエリのフィールドとすることができる。クエリが一般的なクエリである場合には、クエリ分析器によってクエリが分析されて、地理的位置に関係するクエリの部分が抽出される。クエリは、（キーワード入力または音声による単語いずれかからの）テキストクエリとすることが可能である。関連する単語にクエリを拡張するためにキーワード拡張を使用することができる。キーワード拡張は、自然言語拡張の分野からのテクニックを使用して実行可能である。たとえば、クエリが『渓谷』のとき、拡張されたクエリが『グランドキャニオン』、『ブライスキャニオン』等々となる。

キーワード拡張器によって追加される追加のクエリ単語のそれぞれは、追加のクエリ単語とオリジナルのクエリの間の関係の強さに基づく関連するキーワードスコアを有する。拡張されたクエリは、その拡張されたクエリ用語に関係する注釈を有する画像およびビデオについてデータベースをサーチするために使用される。先の例を続けるが、関連する注釈『グランドキャニオン』を伴う画像およびビデオが検出され、ディスプレイデバイス１２０上においてユーザに表示するためのクエリの結果として返される。クエリ結果は、関連性スコア、キーワードスコア、画像またはビデオの取り込み時間、画像またはビデオの名前のアルファベット順、またはそれらの類に従ってソートできる。ユーザは、結果を調べ、マニュアルツールを使用して画像およびビデオの自動検索によって生じた誤りを取り除く。

キーワード拡張器は、特定の単語に関連付けされた地理的座標を回収し、それらの座標を使用してその位置の充分に近くで取り込まれた画像について（または、それを含む地理的領域に関連付けされたグループに属する画像について）データベースをサーチする働きもできる。たとえば、ユーザがクエリ『自宅での写真』を入力した場合、キーワード拡張器が、拡張後のクエリ『北緯４３．１８８６７度、西経７７．８７３７１１度』を返す。このクエリ結果は、データベース７２０内の、北緯４３．１８８６７度、西経７７．８７３７１１度と充分に近い関連する地理的位置を有するすべての画像になる。充分に近いという用語は、クエリ位置と画像に関連付けされている地理的位置の間の距離が小さいこと、たとえば５００フィート未満であることを意味する。またこれは、クエリ位置と画像に関連付けされている地理的位置の両方が同一の地理的領域内にあることも意味する。

クエリは、ユーザがディスプレイ１２０上に示される地図上の地理的位置を示すことによってもシステムに入力することができる。たとえばユーザは、地図位置をクリックすることができる。その後、キーワード拡張器は、示された地理的位置を含む地理的領域（１つまたは複数）を探し出し、拡張されたクエリがクエリ結果を、すなわちその地理的領域内の関連する地理的位置を有する画像を呈示する。ユーザは、示した地理的位置が州または郡といった正確な位置に対応するか否かを示すこともできる。クエリ結果は、示された地理的位置と画像に関連付けされる地理的位置の間の距離順でソートされた画像とすることができる。

当業者は認識することになろうが、位置に関係するクエリは、サーチ用語のアンド等の論理の一般的規則を用いて、画像のほかの側面に関係するクエリ、たとえば取り込みの時間、または画像内の人々のアイデンティティと結合することができる。それに加えて、説明の中ではクエリが写真サービスプロバイダ３７２にある画像のデータベース７２０をサーチしているが、画像の位置は提供されている機能にとって重要でない。画像は、パーソナルコンピュータ上、ハンドヘルドデバイス上、またはカメラ３０１自体の上に存在することが可能である。

ブロック４３２においては、クエリと最良整合するメタデータを有する画像が表示される。画像が汎用コントロールコンピュータ４０内にストアされている場合には、それらをディスプレイデバイス５０上に表示することができる。それに代えて、画像が写真サービスプロバイダ３７２によってストアされる場合には、携帯電話網３５８を使用してそれらをディジタルカメラ付き電話３０１に転送し、カラーディスプレイ３３２上に表示することができる。

ブロック４３４においては、メタデータのラベルを訂正し、または増加するために、ユーザが特定の写真イベントに関連付けされたメタデータを修正できる。修正後のメタデータのラベルは、その後、データベース７２０内にストアされる。

このシステムは、移動の補助に使用することが可能である。ユーザは、関連する地理的位置情報を伴う行き先の画像および現在の位置を選択できる。その後システムは、現在の位置から行き先の画像に関連付けされた地理的位置までの移動情報を決定する。たとえば、ユーザは、友人宅で取り込んだ画像を行き先の画像として選択する。その後ユーザは、自分の現在の住所をコントロールコンピュータに入力する。移動情報が、その後ユーザに表示される。移動情報は、起点および行き先がわかっていることから生成可能である。この場合においては、移動情報が現在の位置から友人宅までの運転指示になる。このようにして行き先のシーケンスを選択することによって全体の旅行を計画することが可能である。この実施態様は、ユーザが住所を入力する必要がないことから時間を節約する。

本発明の方法の実施態様のフローチャートである。 図１の方法の修正における、提供するステップの詳細なフローチャートである。 システムの実施態様の概略図である。 図１の方法のクラスタ化のステップの１つの代替のフローチャートである。 図４のクラスタ化とともに使用できるオプションの手順のフローチャートである。 図４〜５の手順を使用するグループおよびサブグループへの画像の分類を示した説明図である。 図４のクラスタ化のスケーリングされたヒストグラムおよびヒストグラム上に組み付けられた平均、標準偏差、およびグループ化のスレッショルドを示した図表である。 図４の手順による画像のセットの距離によるクラスタ化の図式である。 図４の手順による別の画像のセットの距離および時間によるクラスタ化の図式である。 領域が点鎖線によって分けられ、各領域に関連付けされたクラスタが鎖線によって示され、中核位置が実線の方形によって示されている図１の方法に従ってセグメント化された地図を示した説明図である。 領域が点鎖線によって分けられ、各領域に関連付けされたクラスタが鎖線によって示されている図１の方法に従ってセグメント化された別の地図を示した説明図である。 システムの別の実施態様の図式である。 システムのさらに別の実施態様の図式である。 システムのさらに別の実施態様の図式である。 図１のステップを組み込んだ方法の別の実施態様のフローチャートである。

符号の説明

１０ 画像取り込みデバイス、１２ 取り込みデバイス，データベース、１４ 分類エンジン、１６ 本体、１８ 直接通信パス、２２ システム、４０ 汎用コントロールコンピュータ、１１０ コンピュータシステム、１１２ マイクロプロセッサベースのユニット、１１４ ディスプレイ、１１６ キーボード、１１８ マウス、１２０ セレクタ，ディスプレイデバイス，ディスプレイ、１２２ ディスクドライブユニット、１２４ コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、コンパクトディスク、１２６ フロッピーディスク、１２７ ネットワーク接続、１２８ プリンタ、１３０ パーソナルコンピュータカード（ＰＣカード），ＰＣカード、１３２ ＰＣカードリーダ、１３４ ディジタルカメラ、１３６ カメラドッキングポート、１３８ ケーブル接続、１４０ 無線接続、３００ 画像、３０１ カメラ付き電話，ディジタルカメラ付き電話，ディジタルカメラ，カメラ、３０２ グループ化スレッショルド、３０３ フラッシュ、３０４，３０６ グループ、３０５ レンズ、３０８，３１０ サブグループ、３１１ ＣＭＯＳ画像センサ、３１２ タイミングジェネレータ、３１４ 画像センサアレイ、３１６ Ａ／Ｄコンバータ回路、３１８ ＤＲＡＭバッファメモリ、３２０ ディジタルプロセッサ、３２２ ＲＡＭ、３２４ リアルタイムクロック、３２５ 位置決定器、３２７ 変換データベース、３２８ ファームウエアメモリ、３２９ 位置認識デバイス、３３０ 画像データ／メモリ、３３２ カラーディスプレイ、３３４ ユーザコントロール 、３４０ オーディオコーデック、３４２ マイクロフォン、３４４ スピーカ、３５０ 無線モデム、３５２ ＲＦ（無線周波数）チャンネル、３５８ 携帯電話網、３６２ ドックインターフェース、３６４ ドック／充電器、３７０ インターネット、３７２ 写真サービスプロバイダ、６５０ 距離境界、６５２ 画像、７００ カメラ、７０２ 基準、７０４ 円、７２０ データベース、８０２ 地図位置、８０４ 輪郭線、８０６ クラスタ中心、８０８ 地理的領域。

Claims (49)

1. コンピュータが取込レコードを分類するための方法であって、
   前記各取込レコードが取り込み位置を定義するメタデータを有する取込レコードのコレクションを提供するステップと、
   前記取り込み位置に基づいて前記取込レコードを複数のグループにクラスタ化するステップと、
   前記取り込み位置を含む地図を、各グループに関連付けされた前記取り込み位置の相対的なポジションに基づいて複数の領域にセグメント化するステップと、
   前記領域をそれぞれ前記グループの前記取込レコードと関連付けるステップと、
   を含む地図分類方法。
2. 前記セグメント化するステップは、
   前記取り込み位置の間の距離を決定し、
   前記地図を、前記決定された距離に基づいて区分する、
   ことを含む請求項１に記載の地図分類方法。
3. 前記セグメント化するステップは、
   前記グループのそれぞれの中核位置を決定し、前記中核位置はそれぞれ、前記グループそれぞれの取り込み位置の関数であり、
   前記地図を、前記中核位置のそれぞれからの前記取り込み位置の相対的な離隔に基づいて区分する、
   ことを含む請求項１に記載の地図分類方法。
4. 前記中核位置はそれぞれ、前記グループそれぞれの前記取り込み位置のうちの１つまたは複数、前記グループそれぞれの前記取り込み位置のうちの１つまたは複数の組み合わせ、または前記グループそれぞれの図心によって定義される地図位置のうちの１つである請求項３に記載の地図分類方法。
5. 前記各領域内の前記取り込み位置は、他の前記中核位置より、前記領域それぞれの前記中核位置の方に近い請求項３に記載の地図分類方法。
6. 前記クラスタ化するステップは、前記地図の予め決定された地理的特徴にも基づきクラスタ化する請求項１に記載の地図分類方法。
7. 前記地理的特徴は、地理的エリア、行政上の下位区分、および地形のタイプからなるグループから選択される請求項６に記載の地図分類方法。
8. 前記地理的特徴は、異なる意味論上のカテゴリへの前記取り込み位置のマッピングを定義する請求項６に記載の地図分類方法。
9. 前記地理的特徴は、陸上および水上への前記取り込み位置の２値的マッピングを定義する請求項８に記載の地図分類方法。
10. 前記取込レコードのそれぞれの前記メタデータは確率分布を定義し、
    前記クラスタ化するステップは、前記確率分布に従いクラスタ化する請求項１に記載の地図分類方法。
11. 前記クラスタ化するステップは、前記各取込レコードを排他的に前記グループの１つに配置する請求項１に記載の地図分類方法。
12. 前記提供するステップは、
    前記メタデータが欠落している複数の付加的な取込レコードを供給し、
    前記各付加的な取込レコードの取り込み位置を前記取込レコードのコレクションのうちの１つまたは複数の前記取込レコードの前記メタデータから評価し、評価された取り込み位置を提供し、
    前記各評価された取り込み位置を、前記付加的な取込レコードそれぞれに割り当てる、
    ことを含む請求項１に記載の地図分類方法。
13. 前記提供するステップは、
    カメラを用いて周期的なデータ送信のストリームを受信し、前記データ送信は地図位置を定義し、
    前記周期的なデータ送信の間に取り込まれる複数の位置確定取込レコードを取り込み、
    前記各位置確定取込レコードに、同時に発生する前記データ送信によって定義される前記地図位置を割り当て、取り込み位置を定義するそれぞれの前記メタデータを提供する、
    ことを含む請求項１に記載の地図分類方法。
14. 前記地図位置は、ローカルおよびリモートで送信される地理的座標、セルサイトの識別情報、有線および無線ネットワークアドレス、および送信およびユーザ入力される場所の名前のうちの１つまたは複数を含む請求項１３に記載の地図分類方法。
15. 前記提供するステップは、
    カメラを用いて、送信内の１つまたは複数のギャップによって中断される周期的なデータ送信を受信し、前記データ送信は地図位置を定義し、
    カメラを用いて取込レコードのシーケンスを取り込み、前記シーケンスは前記周期的なデータ送信の間に取り込まれる１つまたは複数の位置確定取込レコード、および送信内の前記ギャップの間に取り込まれる１つまたは複数の位置未確定取込レコードを含み、
    前記各位置確定取込レコードに、同時に発生する前記データ送信によって定義される前記地図位置を割り当て、取り込み位置を定義する前記各メタデータを提供し、
    前記各位置未確定取込レコードに、前記各位置未確定取込レコードと同時に発生する送信内の前記ギャップの境界となる前記データ送信の地図位置によって境界が定められた地理的エリア内の名目地図位置を割り当て、取り込み位置を定義する前記各メタデータを提供する、
    ことを含む請求項１に記載の地図分類方法。
16. さらに、
    前記各位置未確定取込レコードと、送信内の前記各ギャップの境界となる前記各データ送信の間の時間的離隔を決定するステップと、
    送信内の前記各ギャップの境界となる前記データ送信と同時に発生する前記位置確定取込レコードそれぞれの取り込み位置の間において前記各名目地図位置を補間するステップと、前記補間は、前記時間的離隔それぞれに比例する、
    を含む請求項１５に記載の地図分類方法。
17. 前記各取込レコードは、取り込み位置を定義する前記メタデータに加えて、関連する補助メタデータを有し、
    前記クラスタ化するステップは、前記補助メタデータにも基づきクラスタ化する請求項１に記載の地図分類方法。
18. 前記補助メタデータは、データと時間に関する情報である請求項１７に記載の地図分類方法。
19. さらに、前記クラスタ化に先行して前記補助メタデータをスケーリングするステップを含む請求項１８に記載の地図分類方法。
20. 前記各取込レコードは、静止画像、ビデオシーケンスおよびオーディオシーケンスの少なくとも１つを含む請求項１に記載の地図分類方法。
21. さらに、前記グループの１つまたは複数の前記各画像に共通の注釈を割り当てるステップを含む請求項１に記載の地図分類方法。
22. 前記注釈は前記地図上の場所名である請求項２１に記載の地図分類方法。
23. 取込レコードの分類のためのコンピュータプログラムプロダクトであって、
    請求項１記載のステップを実行するためのコンピュータプログラムを記憶するコンピュータで読取可能な記憶媒体を有するコンピュータプログラムプロダクト。
24. 取込レコードを分類するための方法であって、
    各前記取込レコードが取り込み位置を定義するメタデータを有する複数の取込レコードを提供するステップと、
    前記取り込み位置に基づいて前記取込レコードを２以上のグループにクラスタ化するステップと、
    前記取り込み位置の間の距離を決定するステップと、
    前記取り込み位置を含む地図を、前記決定された距離に基づいて複数の領域にセグメント化するステップと、
    前記領域をそれぞれ前記グループの前記取込レコードと関連付けるステップと、
    を含む地図分類方法。
25. 前記クラスタ化するステップは、前記取込レコードのそれぞれを排他的に前記グループの１つに配置する請求項２４に記載の地図分類方法。
26. 前記各領域は、前記グループそれぞれの１つのクラスタ中心を含み、
    前記領域は、他の前記クラスタ中心より、それぞれの前記クラスタ中心に近い請求項２５に記載の地図分類方法。
27. 取込レコードを分類するための方法であって、
    前記各取込レコードが取り込み位置を定義するメタデータを有する取込レコードのコレクションを提供するステップと、
    前記取り込み位置に基づいて前記取込レコードを複数のグループにクラスタ化するステップと、
    前記グループそれぞれの中核位置を決定するステップと、前記各中核位置は、前記グループそれぞれの取り込み位置の関数となり、
    前記取り込み位置を含む地図を、前記中核位置それぞれからの前記取り込み位置の相対的な離隔に基づいて複数の領域にセグメント化するステップと、
    前記領域をそれぞれ前記グループの前記取込レコードと関連付けるステップと、
    を含む地図分類方法。
28. カメラを使用した分類方法であって、
    前記カメラを用いて、それぞれが地図位置を定義するデータ送信のストリームを受信するステップと、
    取込レコードのシーケンスであって、前記データ送信と同時に取り込まれた１つまたは複数の位置確定取込レコードを含むシーケンスを、前記カメラを用いて取り込むステップと、
    前記各位置確定取込レコードに、同時に発生する前記データ送信の１つの地図位置を割り当て、それぞれの取り込み位置を提供するステップと、
    前記取り込み位置に基づいて前記取込レコードのすべてをグループにクラスタ化するステップと、
    前記取り込み位置を含む地図を、各グループに関連付けされた前記取り込み位置の相対ポジションに基づいて複数の領域にセグメント化するステップと、
    前記領域をそれぞれ前記グループの前記取込レコードと関連付けるステップと、
    を包含する地図分類方法。
29. 前記ストリームは、周期的であり、送信内の１つまたは複数のギャップによって中断され、
    さらに、
    送信内の前記ギャップの間に取り込まれる１つまたは複数の位置未確定取込レコードを取り込むステップと、
    前記各位置未確定取込レコードに、前記各位置未確定取込レコードと同時に発生する送信内の前記ギャップの境界となる前記データ送信の取り込み位置によって境界が定められた前記地図の地理的エリア内の名目地図位置を割り当てるステップと、
    前記クラスタ化するステップの実行中に前記名目地図位置を取り込み位置として扱うステップと、
    を含む請求項２８に記載の地図分類方法。
30. さらに、
    前記位置確定取込レコードの取り込みの日時および前記データ送信の受信の日時を確認するステップを含み、
    前記割り当てるステップは、前記日時を使用する請求項２９に記載の地図分類方法。
31. さらに、
    前記各位置未確定取込レコードと、送信内の前記各ギャップの境界となる前記データ送信それぞれの間の時間的離隔を決定するステップと、
    送信内の前記各ギャップの境界となる前記データ送信と対応するそれぞれの前記位置確定取込レコードの取り込み位置の間において前記名目地図位置それぞれを補間するステップと、前記補間は、それぞれ前記時間的離隔に比例する、
    ことを含む請求項３０に記載の地図分類方法。
32. 前記取込レコードは、静止画像およびビデオシーケンスのうちの少なくとも１つを含む請求項２８に記載の地図分類方法。
33. さらに、
    予め割り当てた地図位置を有する複数の外部の取込レコードを受信するステップと、
    前記クラスタ化するステップの実行中に前記予め割り当てた地図位置を取り込み位置として扱うステップと、
    を含む請求項２８に記載の地図分類方法。
34. さらに、前記受信するステップに先行して実施する、前記外部の取込レコードを前記カメラから離れたストレージ内にロードするステップと、
    前記ロードするステップにより定義されたデフォルトの地図位置を前記外部の取込レコードのそれぞれに割り当て、前記予め割り当てた地図位置を提供するステップと、
    を含む請求項３３に記載の地図分類方法。
35. 前記各取込レコードは、前記地図位置に加えて、関連する補助メタデータを有し、前記クラスタ化は、前記補助メタデータにも基づく、請求項２８に記載の地図分類方法。
36. 前記補助メタデータは、データと時間に関する情報である請求項３５に記載の地図分類方法。
37. さらに、前記クラスタ化に先行して前記補助メタデータをスケーリングするステップを含む請求項３５に記載の地図分類方法。
38. さらに、関心地理的特徴を決定するステップを含み、
    前記クラスタ化するステップは、前記地理的特徴からの相対距離にも基づきクラスタ化する請求項１に記載の地図分類方法。
39. 前記取り込み位置は、さらに、ローカルおよびリモートで送信される地理的座標、セルサイトの識別情報、有線および無線ネットワークアドレス、および送信およびユーザ入力される場所の名前のうちの１つまたは複数を含む請求項１に記載の地図分類方法。
40. 取り込みシステムであって、
    前記取込レコードのすべてを、前記取込レコードのそれぞれに関連付けされた取り込み位置に基づいてグループにクラスタ化する手段と、
    前記取り込み位置を含む地図を、各グループに関連付けされた前記取り込み位置の相対的なポジションに基づいて複数の領域にセグメント化する手段と、
    前記領域をそれぞれ前記グループの前記取込レコードと関連付ける手段と、
    を有する分類エンジンを備えた地図分類システム。
41. 前記セグメント化する手段は、
    前記取り込み位置の間の距離を決定し、
    前記地図を、前記決定された距離に基づいて区分する、
    請求項４０に記載の地図分類システム。
42. 前記セグメント化する手段は、
    前記グループのそれぞれの中核位置を決定し、前記中核位置はそれぞれ、前記グループそれぞれの取り込み位置の関数であり、
    前記地図を、前記中核位置のそれぞれからの前記取り込み位置の相対的な離隔に基づいて区分する、
    請求項４０に記載の地図分類システム。
43. 前記中核位置はそれぞれ、前記グループそれぞれの前記取り込み位置のうちの１つまたは複数、前記グループそれぞれの前記取り込み位置のうちの１つまたは複数の組み合わせ、または前記グループそれぞれの図心によって定義される地図位置のうちの１つである請求項４２に記載の地図分類システム。
44. 前記各領域内の前記取り込み位置は、他の前記中核位置より、前記領域それぞれの前記中核位置の方に近い請求項４２に記載の地図分類システム。
45. 前記クラスタ化する手段は、前記地図の予め決定された地理的特徴にも基づきクラスタ化する請求項４０に記載の地図分類システム。
46. さらに、
    位置を定義するデータ送信のストリームを受信するべく動作するジオロケーション情報受信機と、
    前記受信機に結合され、取込レコードのシーケンスを取り込むべく動作する取り込み手段と、
    前記取込レコードを記憶するメモリと、
    前記メモリおよび前記受信機を操作可能に接続し、前記データ送信および前記取込レコードのうちの同時に発生するものを関連付けるコントローラと、
    を有する取り込みデバイスを備えた請求項４０に記載の地図分類システム。
47. さらに、前記データ送信からそれぞれの前記地図位置を決定することが可能な位置決定器であって、前記分類エンジンおよび前記取り込みデバイスの一方と物理的に関連付けされ、かつ前記分類エンジンおよび前記取り込みデバイスの他方から物理的に離れている位置決定器を有する請求項４６に記載の地図分類システム。
48. 前記関連付けされたデータ送信は、それぞれ取り込み位置を定義し、
    前記データ送信ストリームは、ギャップによって中断され、
    前記カメラは、前記ギャップと同時に発生する前記取込レコードの名目地図位置を評価する評価器を含み、
    前記分類エンジンは、前記名目地図位置を取り込み位置として扱う、請求項４０に記載の地図分類システム。
49. カメラを使用した分類方法であって、
    前記カメラを用いて、それぞれのデータ送信が地図位置を定義する、送信内の１つまたは複数のギャップによって中断される周期的なデータ送信のストリームを受信するステップと、
    取込レコードのシーケンスであって、周期的な前記データ送信の間に取り込まれた１つまたは複数の位置確定取込レコードおよび送信内の前記ギャップの間に取り込まれた１つまたは複数の位置未確定取込レコードを含むシーケンスを、前記カメラを用いて取り込むステップと、
    前記各位置確定取込レコードに、前記データ送信の同時に発生する１つの地図位置を割り当てて取り込み位置を提供するステップと、
    前記各位置未確定取込レコードに、送信内の同時に発生する前記ギャップの境界となる前記データ送信の取り込み位置によって境界が定められた前記地図の地理的エリア内の名目位置を割り当てるステップと、
    前記割り当てられた位置に基づいて前記取込レコードのすべてをグループにクラスタ化するステップと、
    前記クラスタ化の間に前記名目位置を取り込み位置として扱うステップと、
    を包含する地図分類方法。

Images