JP2009505288A - 画像から得られる情報のインターネットおよびその他の検索エンジンのための検索基準としての使用 - Google Patents

Abstract

検索語が、カメラ付き携帯電話、ＰＤＡ、またはその他の画像キャプチャデバイスによってキャプチャされた画像から自動的に導出され、関心のある情報を取得するために検索エンジンに提出され、結果として得られた情報の少なくとも一部が、画像をキャプチャしたデバイスのローカルに、または近くに返送される。

Description

本出願は、２００１年９月５日に出願された米国仮出願第６０／３１７５２１号および２０００年１１月６日に出願された米国仮出願第６０／２４６２９５号に対する優先権を主張する２００１年１１月５日に出願された米国特許出願第０９／９９２９４２号の一部継続出願であり、また、２００４年１１月２２日に出願された米国仮出願第６０／６３０５２４号および２００４年１１月４日に出願された米国仮出願第６０／６２５５２６号、ならびに２００１年１１月５日に出願された実用特許出願第０９／９９２９４２号に対する優先権を主張する２００２年１１月５日に出願された国際出願ＰＣＴ／ＵＳ０２／３５４０７号に対する優先権を主張する２００４年５月２０日に出願された実用特許出願第１０／４９２２４３号の利益を主張するものである。これらのならびにすべてのその他の参照される特許および特許出願は、それらの全体が参照により本明細書に援用される。参照により援用される参考文献における用語の定義または使用が本明細書において提供されるその用語の定義と一致しないか、または本明細書において提供されるその用語の定義に反する場合、本明細書において提供されるその用語の定義が優先するものとみなされる。

本発明の分野はデジタルイメージングである。

数年前、本発明者らは、デジタル形式でキャプチャされた画像を使用して当該画像内のオブジェクトを識別し、次にそのような識別情報を使用して種々のデータベースから情報を取り出す概念を創始した。例は以下を含む。

ローカルデバイス（携帯電話、デジタルカメラ、ＰＤＡ、またはその他のデバイス）を使用して美術館内のオブジェクトの画像をキャプチャし、画像データから当該オブジェクトを識別し、次に当該オブジェクトに関する（すなわち、当該オブジェクトについての、または当該オブジェクトに関連する）情報をユーザに提供すること。

ローカルデバイス（携帯電話、デジタルカメラ、ＰＤＡ、またはその他のデバイス）を使用して自動車の画像をその自動車が道を走っているときにキャプチャし、画像データから製造元および型式を識別し、次にその特定の製造元および型式に関連するウェブサイトへのリンクをユーザに提供すること。

ローカルデバイス（携帯電話、デジタルカメラ、ＰＤＡ、またはその他のデバイス）を使用して雑誌内のバーコード、ロゴ、またはその他の印の画像をキャプチャし、当該印に含まれる情報を使用して製品を識別し、その製品に関連する電話番号またはその他の連絡先情報を提供すること。

ローカルデバイス（携帯電話、デジタルカメラ、ＰＤＡ、またはその他のデバイス）を使用してレストランの広告板を写真撮影し、写真に含まれるバーコード、特別な対象、書かれている言葉、またはその他の情報からレストランを識別し、その情報を使用して、レストランの場所、メニュー、または電話番号をユーザに提供するためのデータベースにアクセスすること。

ローカルデバイス（携帯電話、デジタルカメラ、ＰＤＡ、またはその他のデバイス）を使用してスポーツスタジアムにおいて標識の画像をキャプチャし、画像から抽出された情報を使用してユーザのための入場チケットを自動的に購入し、通常のチケット購入者の長い列を回避するために使用されることができる入場コードをユーザに提供すること。

そのような実施形態において、画像の分析がローカルで（すなわち、携帯電話、ＰＤＡ、または画像をキャプチャするその他のデバイス上で）、サーバにおいて遠隔で、またはより好ましくはこれら２つの何らかの組合せを使用して実行されることができることが具体的に考えられた。インターネット上の公的にアクセス可能なデータベースを含め、任意の利用可能なデータベースが、戻し（ｒｅｔｕｒｎ）情報を提供するためにアクセスされることができることも考えられた。しかし、これらの概念を標準的な検索エンジンの検索機能と統合することができることは認識されなかった。

１９９０年代に、Ｙａｈｏｏ！（登録商標）は、インターネット上でアクセス可能なウェブページをインデックス付けし、そのインデックスにアクセスするための検索エンジンを提供する発想を取り入れた。そのとき以来、あらゆる種類の様々な検索方法、アルゴリズム、ハードウェア、および／またはソフトウェアを使用する多数のその他の検索システムが開発されてきた。キー情報のユーザ入力を受け取り、続いてそのようなキー情報を利用してユーザに関心のある情報を提供するすべてのそのようなシステムおよび方法は、本明細書において検索エンジンと呼ばれる。言うまでもなく、ユーザは、自然人、および（コンピューティングもしくはその他の）デバイス、アルゴリズム、システム、組織、または任意のその他の主体である可能性がある。情報の検索において、検索エンジンは、例えば、
データベース（例えば、リレーショナルデータベース、オブジェクトデータベース、またはＸＭＬデータベースを含む）
例えばインターネット内でアクセス可能なウェブページを含むリソースのネットワーク
ＬＥＸＩＳ（登録商標）によって維持されるドキュメントまたは情報の集合などのドキュメントまたは情報の公的なまたは私的な集合（例えば、会社または（１つまたは複数の）その他の組織のドキュメント、情報、および／またはメッセージ）
を含む任意の好適な検索領域を利用する。

典型的な検索において、キー情報は、テキスト、数字、文字列、またはその他の機械が読み取り可能な情報の形式を含むキーワードの形態で検索エンジンに与えられる。次に、検索エンジンは、一致するものを探してウェブページのその検索エンジンのインデックスを検索し、インターネットのユニフォームリソースロケータ（ＵＲＬ）のハイパーリンクが張られたリストと、（１つまたは複数の）キーワードが使用されたコンテキストの何らかの簡潔な表示とをユーザに戻す。関心のある情報は、ハイパーリンクが張られたリスト内で見つけられることができることも時々あるが、列挙されたウェブページに直接リンクすることによって見つけられることの方が多い。

キー情報を検索エンジンにテキスト文字列の形態で与えることは特有の困難を有する。それは、入力されるべきテキストの選択において、および（例えば、ワイルドカードを使用する）キーワードの書式に関してさえも上手い策を必要とする。別の困難は、小型のコンピューティングおよび／または電話通信デバイス（例えば、移動および固定両方の電話機）が小さいおよび／または限られたキーボードを有し、したがってテキストの入力を困難にすることである。

したがって、デジタル形式でキャプチャされた画像をオブジェクトに対する修正を必要とせずに識別するためのシステムおよびプロセスを提供することが本発明の目的である。

別の目的は、デジタルキャプチャデバイスをそれらのデバイスの製造業者が考えていなかったやり方で使用することである。

別の目的は、オブジェクトの部分的な図からのオブジェクトの識別を可能にすることである。

別の目的は、稼働しているデバイスとの公的な接続を必要とせずに、稼働しているデバイスとの通信手段を提供することである。

本発明は、（ａ）デジタル写真、ビデオ、ＭＰＥＧ、ＡＶＩ、またはその他の画像が、カメラ付き携帯電話、ＰＤＡ、またはその他の画像キャプチャデバイスを使用してキャプチャされ、（ｂ）キーワードまたはその他の検索基準が画像から自動的に抽出または導出され、（ｃ）関心のある情報を取得するために検索基準が検索エンジンに提出され、（ｄ）結果として得られた情報の少なくとも一部が、画像をキャプチャしたデバイスのローカルに、または近くに返送される、装置、システム、および方法を提供する。

そのように利用される一部の画像は、本質的におよびそれ自体で比較的明瞭であるのに十分である記号的内容を含む。そのような記号的内容は、例えば、電話番号またはウェブサイトのアドレスである可能性がある。そのような場合、有利なことに、記号的内容の検索基準が検索基準内のリテラルとして利用されることができる。その他の場合、かなりの追加的な処理が必要とされる可能性がある。例えば、自動車の画像は、大抵、製造元および型式を判定するために処理される必要があり、次に、その情報（例えば、Ｍｅｒｃｅｄｅｓ（登録商標）Ｓ５００（登録商標））は検索エンジンに送信されて検索のためのキーワードとして使用されることができる。一部の画像の処理は最善の推測をもたらすのみであることも考えられる。したがって、自動車の側景は特定の製造元および型式に分析可能であることができず、その場合、システムはＳＵＶまたは自動車などのより包括的な用語を提供する可能性がある。

概して、本発明は、インターネットなどのネットワークを介してオブジェクトおよび画像を情報にリンクすることに対応することができ、リンクされるオブジェクトに対する修正を必要としない技術およびプロセスを提供する。バーコード、無線もしくは光トランシーバもしくは送信機、または何らかのその他の識別手段をオブジェクトに適用すること、あるいは画像またはオブジェクト内に検出可能な情報を符号化するために画像またはオブジェクトを修正することを含む、オブジェクトをデジタル情報にリンクするための従来の方法は、画像またはオブジェクトがその視覚的な外見によって単独で識別されることができるので必要とされない。ユーザまたはデバイスは、オブジェクトに「リンクすること」によってそれらのオブジェクトとインタラクションすることさえ可能である。例えば、ユーザは自動販売機上を「ポイントアンドクリックすること」によってその自動販売機にリンクすることができる。ユーザのデバイスは、当該自動販売機を所有する会社にインターネットを介して接続される。今度はその会社が当該自動販売機との接続を確立し、こうしてユーザは当該自動販売機との通信チャネルを確立させ、当該自動販売機とインタラクションすることができる。

本発明は任意の好適な分解アルゴリズムを考える。明らかに、より高速でより高精度のアルゴリズムの方がより低速で精度の劣るアルゴリズムよりも好ましい。少なくとも何らかの処理が、画像をキャプチャするデバイスに対してローカルで行われることができるように、アルゴリズムが選択されることが特に好ましい。そのような処理は、多くの場合、細密な画像を無線送信する必要をなくすことができ、過負荷になる可能性がある遠隔サーバへの依存をなくすことができる。このように、画像／オブジェクトの検出および／または画像内で検出された記号の解読を含む画像処理の一部またはすべては、移動（クライアント）デバイスとサーバの間で任意に分散されることができる。換言すれば、それぞれにおいてどの特定の処理が実行されるかの指定なしに一部の処理がクライアントデバイスにおいて実行されることができ、一部の処理がサーバにおいて実行されることができるか、またはすべての処理が一方のプラットフォームもしくは他方のプラットフォームで実行されることができるか、またはそれらのプラットフォームは１つのプラットフォームのみが存在するように合併されることができる。画像処理は並列コンピューティングのやり方で実装されることができ、したがってデータベースのサイズおよび入力トラフィックの負荷に関するシステムのスケーリングを容易にする。

何らかの好適なアルゴリズムが、画像内のオブジェクトの外見に基づいて判定されることができる、画像がキャプチャされた時点のユーザに対するオブジェクトの位置および向きを考慮に入れることが、さらに考えられる。これは、セキュリティシステムにおいて複数のカメラによって調べられる人の位置探索および／または識別情報、ＧＰＳよりも高精度であるか、またはＧＰＳ信号が受信されることができない地域で使用可能な受動位置探知システム、乗り物からの送信を必要としない特定の乗り物の位置探索、および多くのその他の用途である可能性がある。

本発明の様々なその他の目的、特徴、態様、および利点は、同様の番号が同様の構成要素を表す添付の図面を伴う、本発明の好ましい実施形態の以下の詳細な説明からより明らかになるであろう。

図１〜６が、２００２年１１月５日に出願された優先権ＰＣＴ出願、国際出願ＰＣＴ／ＵＳ０２／３５４０７号からコピーされる。それらの図の検討は本出願において後ほど説明される。

検索エンジンに関連する実施形態
図７において、概して、システム４００は、ポータブル撮像デバイス４１０、遠隔サーバ４２０、電子通信ネットワーク４２５、および検索エンジン４３０を含む。

概して、ポータブルデバイス４１０はオブジェクト４１５の画像４１２をキャプチャし、当該画像に関する情報４１３をサーバ４２０に送信する。デバイス４１０およびサーバ４２０のうちの少なくとも１つは、画像４１２および送信された情報４１３のうちの少なくとも１つから検索語４２１Ａ、４２１Ｂをそれぞれ導出する。デバイス４１０およびサーバ４２０のうちの少なくとも１つは、ウェブページまたはその他の情報のインデックス４３２を使用する検索エンジン４３０にネットワーク４２５を介して検索語４２１Ａ、４２１Ｂが提出されるようにする。次に、検索エンジンは、検索語４２１Ａ、４２１Ｂを使用して結果セット４３４を生成し、当該結果セット４３４の少なくとも一部がポータブルデバイス４１０に返送されるようにする。上の検討において、画像に関する情報は画像全体、画像の１つまたは複数の部分、および画像から導出されるが画像に含まれない名前またはその他の情報を含むことができることを理解されたい。ユーザはユーザのポータブルデバイスとサーバの間にプロキシサーバを使用することができることも理解されたい。要するに、本出願は、移動クライアントとサーバの間の遠回りの通信（必ずしも直接接続ではない）の何らかの複雑性を使用することを考える。

デバイス４１０は、携帯電話、ＰＤＡ、ラップトップコンピュータ、または光学的に画像をキャプチャする任意のその他のポータブルデバイスであってよい。「光学的にキャプチャする」によって意味されるのは、視覚的に認知可能な画像を構成するようにその感光アレイの出力が処理されることができる何らかの種類の感光アレイである。別の観点から見ると、デバイス４１０は、電話通信機能を有し、特に携帯電話機能を有する任意のカメラであることができる。現在の技術によれば、通常、デバイス４１０はレンズまたはその他の集光メカニズムを有するが、エレクトロニクスの進歩はいずれの物理的な焦点調整メカニズムに対する必要性もなくす可能性があることが考えられる。用語「光学的にキャプチャする」は、光学式の構成要素を持たず、単にインターネットまたはその他のソースから画像をダウンロードすることができるだけであるデバイスによっては満足されない。

本明細書において検討されるサービスを提供する携帯電話またはその他のデバイスはその携帯電話またはその他のデバイスがそのように動作することを可能にするソフトウェアを動作させることが確かに考えられる。そのソフトウェアは、デバイス上に存在するか、外部メモリ（メモリカード）内に存在するか、または必要に応じてページインされる可能性がある。

オブジェクト４１５（優先権出願のうちの１つまたは複数において「対象物（Ｔｈｉｎｇ ｏｆ Ｉｎｔｅｒｅｓｔ）」と呼ばれる）は、次元にかかわらず任意の視覚的に認知可能なオブジェクトであってよい。考えられる「２次元オブジェクト」は、関連情報が実質的に、雑誌またはその他の印刷媒体内の広告および記事、ならびに広告板上の写真またはデザイン、道路標識、レストランのまたはその他の商業的な看板、ユーザマニュアル、美術館の絵などを含む２次元形式であるオブジェクトを含む。

考えられる３次元オブジェクトは、関連情報が当該オブジェクトの形状および／または当該オブジェクトの表面の外見から導出される実質的にすべての物理的オブジェクトを含む。したがって、本明細書において、自動車は、形状またはその他の次元が製造元および型式についての情報を伝える３つの関連性の次元を有するとみなされる。同様に、ビルの窓は、製造業者または販売業者の識別情報が全体的な物理的寸法、細部などから探り出されることができる３つの関連性の次元を有するとみなされることができる。別の例として、飲料容器は３つの次元を有するとみなされることができ、情報が容器の形状から得られることができるが、さらなる情報が容器のラベル、印刷、ロゴ、テキスト、またはその他のそのような可視の印から得られることもできる（容器の可視の印から情報を取得することは、同一の物理的形状を有する異なる容器を区別することを可能にする）。考えられる３次元オブジェクトは、関連情報が経時的な変化から導出される実質的にすべての物理的オブジェクトを含む。例えば、鳥の速さもしくはその鳥の飛行パターン、または人のジェスチャは、ある期間にわたる複数の画像にキャプチャされることができ、関連情報であることができ、検索エンジンに提出するための検索語（優先権文書のうちの１つまたは複数においてキー情報（Ｋｅｙ Ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれる）に要約されることができる。言うまでもなく、本明細書において、多くのオブジェクトが、２つ、３つ、または４つの関連性の次元を有するとみなされる。したがって、自動車に関する関連情報は、乗り物の側面の２次元のロゴ、乗り物の３次元形状、およびその乗り物の４次元の加速またはハンドル操作の特徴のそれぞれによって提供されることができる。

オブジェクトは生物のオブジェクトおよび無生物のオブジェクトを含むことができることが特に考えられる。生物のオブジェクトの中に含まれるのは、人の顔、および人の指の指紋のパターン、人の虹彩などのバイオメトリック情報である。

画像４１２は、任意の画素の配列であると考えられる。ほとんどの場合、画素は規則的に配列されるが、そのことは絶対に必要というわけではない。ほとんどの場合、さらに画素は、７８，８００（３２０×２４０）など、１９，２００（１６０×１２０）を超える数に達するが、それらの画素はそれよりも少ない数であってよい。より好ましい画像は、例えば２５６，０００（６４０×４００）、より好ましくは少なくとも２百万、より一層好ましくは少なくとも４百万を含む、より多くの画素数を有する。画像はポータブルデバイスにおいて実際に構築される必要はない。したがって、「ポータブルデバイスがオブジェクトの画像をキャプチャする」との表現は、デバイスがオブジェクトから発せられたかまたは反射された光を受け取り、オブジェクトから発せられたかまたは反射された光からデータを導出する場合を、たとえデータがユーザに対して視覚的に認知可能な画像として提示されないとしても、およびたとえデータが決して当該デバイスによって画像に集約されずに遠隔サーバに送信されるとしても含む。

サーバに送信される情報は、画像の内容に関する任意の関連情報を含むことができる。したがって、情報４１３は、画像全体、または画像の一部を含む可能性がある。例えば、ユーザが（２Ｄか、３Ｄか、それともいずれかのその他の構成なのかにかかわらず）バーコードの写真を撮る場合、デバイス４１０は画像４１２を処理してバーコード自体を除く色およびすべての背景を取り除き、次に、バーコードを含む画像の部分を送信情報４１３として単に送信することができる。その他の場合、デバイス４１０は画像４１３を十分に処理して１つまたは複数のキーワードを導出し、次に（１つまたは複数の）キーワードだけを送信情報４１３として送信することができることが考えられる。すべての可能な組合せも考えられる。したがって、ユーザはＧｕｃｃｉ（登録商標）のハンドバッグの写真を撮ることができ、デバイス４１２は画像から語「Ｇｕｃｃｉ」を導出し、ハンドバッグを除く背景を取り去り、次に（ａ）語「Ｇｕｃｃｉ」および（ｂ）ハンドバッグの画像を送信情報４１３として送信することができる。そのような場合、プロセスは反復が可能である。したがって、デバイスは、最初に語「Ｇｕｃｃｉ」を第１の送信情報として送信し、装身具を示す検索エンジンからの結果セットを受信し、次にハンドバッグを除く背景を取り去り、ハンドバッグの画像を第２の送信情報として送信することができる。上述のように、デバイス４１０は、画像から数学的に導出される数値的／デジタルデータをサーバ４２０に送信することができることが特に考えられる。例は、元の画像を送信することなしにサーバ４２０がサーバの認識プロセスにおいて使用することができる画像の特徴および特性を含む。

ここまでで明らかであるに違いないことだが、送信情報は、画像情報に限定される必要はない。景色、音、テキスト、およびすべての種類のその他の情報が送信情報に含まれることができ、それらの情報の一部は画像から直接導出されることができ、それらの情報の一部は画像から間接的に導出されることができる。さらに、デバイス４１０は、音声などの視覚的でない情報もキャプチャすることができ、その情報も送信されることができる。したがって、装置は、蛙の鳴き声をキャプチャし、湖または森の画像をキャプチャし、検索語として使用されるように（または、検索語にさらに分析されるように）両方を送信することができることが考えられる。

遠隔サーバ４２０は、その遠隔サーバがデバイス４１０への配線で接続されたリンクを持たないという意味で遠隔にある。サーバ４２０は、単一のデバイス、および例えばサーバファームにおけるように１つに結合された任意の数のデバイスであることができる。あらゆる種類の好適なサーバが考えられる。したがって、サーバは任意の適切なハードウェアを使用することができ、任意の適切なソフトウェア、通信プロトコルなどを使用して動作することができる。

デバイスとのインタラクションによって、上述の様々な分析的タスクが任意の好適なやり方でサーバ４２０とデバイス４１０の間で割り振られることができる。例えば、Ｇｕｃｃｉ（登録商標）のハンドバッグに関する上述の反復動作において、デバイス４１０が画像を十分に分析して語「Ｇｕｃｃｉ」を最初の検索語として検索エンジン４３０に送信することができ、次に、サーバ４２０がハンドバッグを除く画像の背景を取り去り、ハンドバッグの画像を第２の検索語として送信するタスクを引き受けることができることが考えられる。

別の例において、サーバ４２０は、元の画像が不十分な情報を提供したことを判定し、デバイス４１０を通じてユーザにメッセージを送信し、ユーザに（別の角度からの、より接近した、またはより細部までなどの）別の画像を撮影するように指示することができる。実際は、サーバ４２０は、第１のオブジェクトの識別情報を判定する助けとなるようにまったく別のオブジェクトの画像を撮影するようにユーザに指示することができる。したがって、ユーザは野球の試合の支払い画面の第１の画像を撮影し、その画像を識別のためにサーバに提供し、次に、当該ユーザが野球の試合に入場するために支払いを請求されることを望むクレジットカードの画像を撮影するようにユーザに指示することができる。次に、サーバは、そのクレジットカードに対する支払いを処理し、電子制御のゲートを通り抜けるためにユーザが打ち込むことができる入場コードを提供することができる。

さらに別の例において、ユーザは、そのユーザの携帯電話を使用して金物屋でねじ回しの画像をキャプチャすることができ、携帯電話は、当該画像から導出された情報をＧｏｏｇｌｅ（登録商標）または何らかのその他の検索エンジンに送信して比較価格を見つけることができる。次に、サーバ４２０は、パッケージをひっくり返し、今度はパッケージの裏側から当該セットの別の画像を撮影するようにユーザに指示することができる。このように、ユーザのデバイスと、サーバと、検索エンジンとの間の反復的なインタラクションが存在する。

検索エンジンがポータブルデバイスと通信しない実施形態が存在することも理解されたい。例えば、サーバが検索クエリを行い、結果を取得し、それらの結果をポータブルデバイスに、またはポータブルデバイスに加えてテレビもしくはその他のデバイスにさえも提供することができる。

本明細書において、語句「検索エンジン」は、インデックス付け、検索、および情報の取得に従事する任意のシステムを含むと考えられる。Ｇｏｏｇｌｅ（登録商標）、Ｙａｈｏｏ！（登録商標）、ＭＳＮ（登録商標）、およびＡｌｔａ Ｖｉｓｔａ（登録商標）などの最もよく知られている検索エンジンは、ほとんどまたは完全にインターネットのワールドワイドウェブの部分からのウェブページのインデックス付けに重点を置いている。Ｌｅｘｉｓ／Ｎｅｘｉｓ（登録商標）などのその他の検索エンジンは、インターネットのウェブページへのリンクを含むことができる独自に開発したデータ集合のインデックス付けに重点を置いている。本明細書において、語句「検索語」は、検索エンジンによってその検索エンジンのインデックス付けシステムにアクセスするために使用される任意のキーまたはその他の情報を含むと考えられる。ほとんどのウェブベースの検索エンジンの場合、現在のところ、キーはテキストである。そのような場合、概して、ユーザは１つまたは複数のキーワードを入力し、ここで、用語「キーワード」は、（ａ）辞書で大抵見つけられるであろう語、（ｂ）適切な名前、数字列、およびいずれの辞書においても見つけられないその他の語、ならびに（ｃ）ワイルドカード、省略などとして解釈される文字を含む極めて広い意味で使用される。そのような検索エンジンは、例えば画像および／または音声を含む非テキストキーの使用試験を既に開始している。すべてのそのような可能なキーは、考えられる検索語の範囲に含まれる。

したがって、考えられる検索語は、キーワード、画像の一部、およびロゴ、バーコード、またはその他の記号を含む。いくつかの場合、画像は検索語のリテラルを含み（例えば、映画ポスターの映画の名前）、いくつかの場合、画像はそのようなリテラルを含まない（例えば、検索語が植物の名前である場合の木またはその他の植物の写真）ことが特に考えられる。いずれの場合も、任意の組合せのデバイスおよび／またはサーバは、検索語を導出し、その検索語を１つまたは複数の検索エンジンに提出するタスクのうちの１つまたは複数を実行することができる。

ネットワーク４２５は、公衆アクセスネットワークおよび私設アクセスネットワーク、ならびにこれら２つの組合せを含む任意の実現可能な電子ネットワークであってよい。好ましいネットワークは、インターネット、やがて登場するインターネットＩＩ、携帯電話ネットワークなどを含む。明示的に示されていないが、図７の通信線はすべて必要に応じて単方向通信または双方向通信であると考えられる。さらに、通常複数のネットワークが関係することになることが考えられる。したがって、例えば、デバイス４１０とサーバ４２０の間の通信は大抵携帯電話（図示せず）およびインターネットネットワーク（例えば、４２５）の何らかの組合せを介して行われる一方、サーバと検索エンジンの間の通信は大抵インターネットおよびローカルのサーバファームネットワークの何らかの組合せを介して行われる。

結果セット４３４は任意のサイズおよび構成であることができるが、大概はデバイス４１０に対応するように調整される。例えば、多数のウェブページを、それらのウェブページを適切に見るのに十分な表示領域を持たない携帯電話に送信することは良いことがほとんどない。したがって、結果セット４３４は、デバイス４１０に送信される前にサーバ（言うまでもなく番号４２０によって総称的に示され、前に送信情報４１３の送信において利用されたのとまったく同じ筐体である必要はない）によって削減されるか、または別のやり方で処理されることができることが考えられる。したがって、検索語がデバイス４１０によってではなくサーバ４２０によって検索エンジンに提出される場合などに、サーバ４２０または何らかのその他のプロセッサは、結果をデバイス４１０に提供する前にそれらの結果を処理することができる。しかし、デバイス４１０は、サーバによって提供される検索情報を使用して直接検索エンジンにアクセスすることもできる。４つの考えられる検索モードは以下を含む。
１．サーバ４２０が検索ＵＲＬ（検索エンジンのアドレスおよびキーワードからなる）を構成し、その検索ＵＲＬをポータブルデバイス４１０に送信する。次に、ポータブルデバイスは当該検索ＵＲＬを検索エンジンに送信することによって検索エンジンクエリを実行し、検索エンジンは１つまたは複数のウェブページをポータブルデバイスに返送する。
２．サーバ４２０が、キーワード、および任意的に検索エンジンのアドレスもポータブルデバイス４１０に送信する。ポータブルデバイスは検索ＵＲＬを構成し、検索クエリを検索エンジンに送信し、それに応じて１つまたは複数のウェブページを受信する。
３．サーバ４２０が検索クエリを検索エンジンに送信し、応答を受信する。サーバは任意的に検索応答（任意の形態であることができる）を処理し、何らかの結果をポータブルデバイスに提供する。結果は、例えば、ポータブルデバイスに送信されるファイル、または何らかのサーバ上のウェブページを含むことができ、そのウェブページのＵＲＬがポータブルデバイスに送信される。
４．上述のモードのうちの任意のものにおいて、または「直接リンク」モードにおいて、結果は検索結果ページではなく、その代わりに何らかのその他の種類の情報または処置である可能性がある。例えば、サーバはオブジェクトを識別し、その後直ちに、処置が行われるようにさせるコードを別のサーバに送信することができる。この一例は、携帯電話を用いて自動販売機上をクリックして当該自動販売機から何かを購入することである。別の例は、新聞のＴＶ欄の上をクリックし、サーバにユーザの前のテレビのチャンネルを変更させることである。

したがって、「検索エンジンが結果セット４３４の少なくとも一部をポータブルデバイス４１０に返送させる」との表現は、本明細書においては、結果セットに一語一句そのままに含まれることができるか、または含まれることができない当該結果セットに関連する少なくとも何らかの情報が、直接的か、それとも間接的かにかかわらず検索エンジンによって当該デバイスに返送されることを意味すると解釈されるべきである。結果セットは少なくとも１つのハイパーリンクが張られたアドレスを含むことができることが特に考えられる。

結果セットは以下の種類の情報、すなわち、ユニフォームリソースロケータ（ＵＲＬ）と、ユニフォームリソースアイデンティファイア（ＵＲＩ）と、インターネットプロトコル（ＩＰ）アドレスと、電話番号と、無線周波数またはチャネルと、テレビ周波数またはチャネルと、物理的な位置またはアドレスとを含む可能性があることが特に考えられる。ユーザに対して表示される（１つまたは複数の）結果はインタラクティブである可能性がある。そのような場合、ユーザは、オブジェクトと直接インタラクションすることによって、参照されるウェブページにリンクすることによって、またはそれら２つの何らかの組合せによってさらなる処置を取ることができる。あるいは上述のように、結果は、製品を販売する、またはチャネルを変えるなどの何らかの処置を別のサーバ／コンピュータまたはマシンに実行させることができる。

方法の観点から見て、携帯電話に対応したポータブルデバイスを使用してオブジェクトの画像を撮影することと、画像の少なくとも一部から第１の検索語を自動的に導出するコンピュータソフトウェアを実行することと、第１の検索語を検索エンジンに提出することと、情報を当該デバイスに送信することとを含む、検索エンジンを使用して情報を取得する方法が考えられる。いくつかの好ましい方法は、当該デバイスを使用してオブジェクトの第２の画像を撮影することと、第２のオブジェクトの少なくとも一部から第２の検索語を導出するためのコンピュータソフトウェアを実行することと、第２の検索語を第１の検索語と共に検索エンジンに提出することとをさらに含む。有利なことに、第１の検索語を提出するステップを含むその他の好ましい方法は、画像の少なくとも一部を遠隔サーバに送信することと、サーバ上でソフトウェアを実行することと、サーバが検索語を検索エンジンに送信することとを含むことができる。さらに別の好ましい方法は、遠隔サーバが（１つまたは複数の）検索語をデバイスに提供し、デバイスが当該（１つまたは複数の）検索語を検索エンジンに提出することを含む。

検索語を生成するためのデータの分析（視覚的か、それともそれ以外かによらない）は、任意の好適なやり方で遂行されることができる。有用な技術は、例えば、信号分析、フーリエ解析、パターンマッチング、パターン認識、画像認識、物体認識、ウェーブレット解析、構成要素分析などを含む。

例
有利なことに、検索語は、名前、種類、サイズ、色、位置、および場所を含む（１つまたは複数の）属性から導出されることができ、導出はアルゴリズム、テーブル／データベース検索、ハードウェアデバイス、またはその他の好適な手段によって実行される。例えば、撮影されるオブジェクトが、チャーリーチャップリン主演の「モダンタイムス」と題された映画のカラーバージョンに関するポスターである例を考える。デバイス４１０および／またはサーバ４２０は、テキスト「モダンタイムス映画ポスター」および「カラーバージョン」を属性として識別することができ、そこから「モダンタイムス」、「カラー化」、「チャーリーチャップリン」、および「クラシック映画」などの検索語を決定することができる。この場合の属性および検索語は、人間のユーザ、マシンアルゴリズム、またはこれら２つの何らかの組合せによって決定されることができる。

別の例において、ユーザはノートブックコンピュータの画像を撮影する。アルゴリズムが画像中のノートブックコンピュータを検出し、それをＺＺＺ社によって製造されたモデル５であると識別する。次に、アルゴリズムは、属性「ＺＺＺモデル５」、および対応する検索語「オンラインショッピング」、「ＺＺＺ」、「ノートブック」、および「５」を決定する。

特に興味深い一実施形態は、画像および／またはビデオ入力を使用する検索を含む。デバイスは、単一の画像、複数の画像、動画像、および／またはビデオ（これらの情報の種類のそれぞれおよびすべてはこれ以降「画像」として知られる）のうちの１つまたは複数をキャプチャする。実際は、画像は、デジタルカメラ、カメラ付き移動電話、または防犯カメラ、または複数のそのようなデバイスなどの２つ以上の電子撮像デバイスによってキャプチャされることができる。１つのオブジェクトまたは複数のオブジェクトが、画像／物体認識技術（ソフトウェアおよび／またはハードウェア）を介して画像内で識別される。（１つまたは複数の）オブジェクトの識別情報は、テーブル／データベースにおいて１組のテキストキーワード検索語を検索するために使用され、次に、その１組のテキストキーワード検索語は検索エンジンに提供される。検索エンジンは、画像内で識別されたオブジェクトに関連する情報のアドレスを（例えば、ハイパーリンクを有するウェブページの形態で）戻す。次に、ユーザは、情報のアドレスのうちの少なくとも１つに基づいて情報および／またはコンピューティングリソースにアクセスする。

別の考えられる実施形態は、手話入力を使用する検索を含む。手話でジェスチャをしている人の画像がキャプチャされる。画像／動作認識技術が、手話をテキスト、またはテキストのようなその他の機械が理解可能なデータに変換するために使用される。機械が理解可能なデータは、検索エンジンに直接送信されるか、または続いて検索エンジンに送信される検索語を決定するために使用されるかのいずれかである。検索エンジンは、手話またはその手話の部分の意味に関連する情報のアドレスを戻す。

さらに別の実施形態は、音声入力を使用する検索を含む。その場合、人間の音声が音声キャプチャおよび／または記録デバイスによってキャプチャされる。次に、音声認識処理が、音声を認識し、それを（テキストなどの）機械が理解可能なデータに変換するために使用される。機械が理解可能なデータは、検索エンジンに直接送信されるか、または続いて検索エンジンに送信される検索語を決定するために使用されるかのいずれかである。検索エンジンは、人間の音声またはその人間の音声の部分の意味に関連する情報のアドレスを戻す。

本発明の特に好ましい実施形態は、カメラ付きポータブルデバイスを使用する検索を含む。その場合、画像が、ネットワーク接続を有するポータブルデバイス（例えば、セルラ電話）によってキャプチャされる。次に、画像認識処理が、画像内の少なくとも１つのオブジェクトを認識するために使用される。認識プロセスは、ポータブルデバイスにおいて実行されることができるか、遠隔サーバにおいて実行されることができるか、または分散および／もしくはそうでなければ共有され、それぞれにおいて部分的に実行されることができる。（１つまたは複数の）オブジェクトの識別情報に基づいて、（１つまたは複数の）オブジェクトに対応するテキストキーワードがデータベースから取得される。画像認識と同様に、このプロセスは遠隔サーバ上で行われることが好ましいが、このプロセスは、ポータブルデバイス上で、またはポータブルデバイスおよびサーバの組合せの上で実行され得る。次に、テキストキーワードが検索エンジンに送信される。これは、検索エンジンのウェブサイトに送信されるＵＲＬに検索キーワードが埋め込まれるようにして当該キーワードをインターネット検索エンジンのウェブサイトにＨＴＴＰトランザクションとして送信することによって遂行される。ＨＴＴＰトランザクションは、検索結果がポータブルデバイスに直接戻されるようにポータブルデバイスから開始されることが好ましい。この場合、概して検索キーワードは初めにポータブルデバイス上で利用可能にされ、それらの検索キーワードが遠隔サーバ上で決定された場合には、それらの検索キーワードは初めにサーバからポータブルデバイスに送信される。検索エンジンの結果はポータブルデバイスにウェブページとして戻され、次にそのウェブページはポータブルデバイスのウェブブラウザに表示されることができる。ＨＴＴＰトランザクションがサーバによって開始された場合、結果のウェブページは１つまたは複数の様々な手段によって、ポータブルデバイス上で見ることに利用できるようにされる（結果のウェブページのアドレスがポータブルデバイスに送信されることができるか、またはウェブページ全体がポータブルデバイスに送信されることができるか、またはウェブページがサーバ上に記憶されるか、もしくはサーバ上で別の形態に変換されることができ、その後でポータブルデバイスが記憶もしくは変換されたページのアドレスに導かれるなど）。

画像分析
好ましい画像分析技術が以下で説明され、その中で、図１は全体的な処理フローおよびステップを示す。これらのステップが以下のセクションでさらに詳細に説明される。

図２において、画像キャプチャ１０のために、ユーザ１２は（ＣＣＤまたはＣＭＯＳデジタルカメラなどの）撮像素子を備えたコンピュータ、移動電話、携帯情報端末、またはその他の同様のデバイス１４を利用する。ユーザ１２は、画像キャプチャデバイス１４のセンサを関心のあるオブジェクト１６と一直線上に合わせる。次に、リンクプロセスが、ユーザ１２がデバイス１４またはセンサ上のボタンを押すこと、画像が撮影されるべきであることを自動的に認識するデバイス１４内のソフトウェアによること、ユーザの声の命令によること、または任意のその他の適切な手段によることを含む好適な手段によって開始される。デバイス１４が、そのデバイス１４が向けられている情景のデジタル画像１８をキャプチャする。この画像１８は、入力画像を表す生ＲＧＢ（赤、緑、青）に対応する画素の３つの別個の２Ｄ行列として表される。この実施形態における分析プロセスを標準化する目的で、デバイス１４が画像をＲＧＢ形式以外で供給する場合、ＲＧＢへの変換が遂行される。これらの分析は、万一必要が生じた場合には任意の標準的なカラーフォーマットで実行される可能性がある。

サーバ２０がデバイス１４と物理的に分かれている場合、ユーザによって撮影された画像は、従来のデジタルネットワークまたは無線ネットワーク手段を使用してデバイス１４から画像プロセッサ／サーバ２０に送信される。圧縮のアーティファクトを再構築された画像１８にもたらすやり方で画像１８が（例えば、不可逆のＪＰＥＧ ＤＣＴを介して）圧縮された場合、これらのアーティファクトは、例えば、追加的な処理の前に、再構築された画像に従来の斑点除去フィルタを適用することによって部分的に除去されることができる。

画像の種類の判定２６が、入力画像１８に対して動作し、入力画像がバーコード、マトリックスコード、または英数字文字などの認識可能な記号を含むかどうかを判定する識別アルゴリズムを用いて遂行されることができる。そのような記号が発見される場合、画像１８は記号解読２８プロセスに送られる。識別アルゴリズムが記号を発見する信頼性のレベルに応じて、画像１８はさらに、または代替的に関心のあるオブジェクトを含む可能性があり、したがってさらに、または代替的にプロセスフローのオブジェクト画像の分岐に送られることができる。例えば、入力画像１８がバーコードおよびオブジェクトの両方を含む場合、バーコードが検出される明瞭度に応じて、画像はオブジェクト画像の分岐および記号画像の分岐の両方によって分析されることができ、識別に最も成功する分岐がオブジェクトを識別し、オブジェクトからリンクするために使用される。

次に、画像は、記号解読２８において記号の位置、サイズ、および特性を判定するために分析されることができる。記号はそれらの記号の種類に応じて分析されることが好ましく、それらの記号の内容の情報が抽出される。例えば、バーコードおよび英数字文字は、数値的なおよび／またはテキストの情報をもたらす。

オブジェクト画像に関して、有利なことに、入力画像分解ステップ３４においていくつかの異なる種類の定量化可能な特徴パラメータへの高解像度入力画像の「分解」を実行することができる。これは、データベースの複数の独立した収束する検索プロセスが並列に行われることを可能にし、このことはデータベースマッチング３６における画像マッチングの速度およびマッチングのロバスト性を大きく向上する。次に、記号解読２８、または画像データベースマッチング３６、またはそれらの両方のいずれかから最も一致するもの３８が判定される。特定のＵＲＬ（またはその他のオンラインアドレス）が画像に関連付けられる場合、ＵＲＬ検索４０が実行され、ＵＲＬ戻し４２によってインターネットアドレスが戻される。コードの例と、セグメンテーション、セグメントグループの生成、境界ボックスの生成、幾何学的正規化、ウェーブレット分解、カラーキューブ分解、形状分解、低解像度グレースケール画像の生成、グレースケールの比較、ウェーブレットの比較、カラーキューブの比較、および組み合わされた一致スコアの計算を含むさらなる詳細とが優先権文書において説明されている。

図３Ａおよび３Ｂは、データベースマッチング動作内で行われることができる好ましいプロセスフローを示す。ここで、アルゴリズムは、４つの並列プロセスが最も内側のループの中にあるようにして４つのネストされたループを含むように示される。この構造は提示および説明のみを目的とする。任意の実際の実装は、大概は最も内側のレイヤで同じ動作を実行するが、並列コンピューティングおよびデータインデックス付け技術などの処理速度向上技術から最大の利益を得るために別の構造を有してよい。ループ構造は、図３Ａおよび３Ｂに示された共有アプローチの代わりに、それぞれの内側の比較に対して独立に実装されることができることに留意することも重要である。

好ましくは、複数のＣＰＵ（中央演算処理装置）および／またはコンピュータの間でタスクを分割するために並列処理が使用される。アルゴリズム全体が、以下のようないくつかのやり方で分割されることができる。

実際の実装は、利用可能なハードウェア上でプロセスを最適化する上記技術の何らかの組合せであってよい。

速度を最大化するために使用される別の技術はデータのインデックス付けである。この技術は、一致する可能性のあるものを含むデータベースの部分内だけを検索するために、データがどこに存在するかの事前の知識を使用することを伴う。ハッシュテーブル、データの区画化（すなわち、特定の値の範囲内のデータが特定の場所に記憶される）、データソート、およびデータベーステーブルのインデックス付けなどのインデックス付けの様々な形態が使用されることができる。そのような技術の一例は、形状比較アルゴリズムにおいて、値「Ａ」を有する領域を持つエントリを探してデータベースが検索されるべきである場合に、アルゴリズムがどのデータベースエントリまたはデータ領域がこの類似した値を有するか知っており、データベース全体を検索する必要がないことである。

図４は、代替的な分析技術の簡素化された構成を示す。実線による四角形は、プロセス、ソフトウェア、物理的なオブジェクト、またはデバイスを表す。破線による四角形は情報を表す。プロセスは、関心のあるオブジェクト、すなわち目的のオブジェクト１００から始まる。コンシューマ用途の場合、目的のオブジェクト１００は、例えば、飲料缶、音楽ＣＤの箱、ＤＶＤビデオの箱、雑誌広告、ポスター、劇場、商店、ビル、車、またはユーザが関心を持っているか、またはインタラクションしたいと望んでいる任意のその他のオブジェクトである可能性がある。防犯用途において、目的のオブジェクト１００は、例えば、人、パスポート、または運転免許証などである可能性がある。産業用途において、目的のオブジェクト１００は、例えば、機械内の一部、組立ライン上の一部、倉庫内の箱、または軌道上の宇宙船などである可能性がある。

端末１０２は、デジタルカメラ１０３、ビデオカメラ、または物理的なオブジェクトを当該オブジェクトのデジタル表現に変換する任意のその他のデバイスなどの「画像」キャプチャデバイスを有するコンピューティングデバイスである。画像は、単一の画像、一連の画像、または連続的なビデオストリームである可能性がある。説明を簡単にするために、この文書は、概して単一の画像の観点でデジタル画像を説明するが、本発明および本システムは上述のすべての画像の種類を使用することができる。

カメラ１０３が目的のオブジェクト１００のデジタル画像をキャプチャした後、画像処理１０４ソフトウェアがデジタル画像を識別サーバ１０６への送信および識別サーバ１０６による分析のための画像データ１０５に変換する。概して、識別サーバ１０６との通信を提供することができるネットワーク接続が提供される。画像データ１０５は目的のオブジェクト１００の元の画像から抽出または変換されたデータであり、ソフトウェアまたはハードウェアであることができる物体認識１０７による目的のオブジェクト１００の識別に適した情報内容を有する。画像データ１０５は、本発明の具体的な実施形態に応じて多くの形態を取ることができる。具体例が優先権文書において与えられている。

画像データ１０５は、端末１０２から識別サーバ１０６に送信される。識別サーバ１０６は、画像データ１０５を受信し、その画像データ１０５を物体認識１０７に渡す。

識別サーバ１０６は、端末１０２とは別個のコンピューティングプラットフォーム上に通常存在するが、同じコンピューティングプラットフォーム上に存在してもよい１組の機能である。識別サーバ１０６がデータセンタ内のコンピュータなどの別個のコンピューティングデバイス上に存在する場合、画像コンポーネント１０５の識別サーバ１０６への送信が、セルラ電話ネットワーク、無線インターネット、インターネット、および有線ネットワークなどのネットワークまたはネットワークの組合せを介して遂行される。識別サーバ１０６が端末１０２と同じコンピューティングデバイス上に存在する場合、送信は、単に１つのソフトウェアコンポーネントまたはプロセスから別のソフトウェアコンポーネントまたはプロセスへのデータの転送により構成される。

識別サーバ１０６を端末１０２とは別個のコンピューティングプラットフォーム上に置くことは、物体認識１０７およびデータベース１０８の機能のための高性能なコンピューティングリソースの使用を可能にし、したがって、これらのコンピューティングリソースの能力をネットワーク接続を介して端末１０２に提供する。例えば、何百万の知られているオブジェクトからなるデータベースの中からオブジェクトを識別する実施形態は、データセンタにおいて利用可能な大容量記憶装置、メモリ容量、および処理性能によって容易にされ、そのような計算能力および記憶装置をポータブルデバイスにおいて持つことは非常に難しい。端末１０２および識別サーバ１０６が同じコンピューティングプラットフォーム上にあるか、それとも別個のコンピューティングプラットフォーム上にあるかは、システムの応答時間、データベースレコードの数、画像認識アルゴリズムの計算能力、および端末１０２において利用可能な記憶装置などに依存するアーキテクチャに関する判断であり、この判断は本発明のそれぞれの実施形態に対してなされなければならない。現在の技術に基づいて、ほとんどの実施形態において、これらの機能は別個のコンピューティングプラットフォーム上にある。

識別サーバ１０６の全体的機能は、画像データ１０５に基づいて、目的のオブジェクト１００に対応する目的のオブジェクトの情報１０９を決定および提供することである。

物体認識１０７およびデータベース１０８は、以下のことを行うように一緒に機能する。
１．画像内のバーコードまたはテキストなどの記号を検出、認識、および解読する。
２．画像内のオブジェクト（目的のオブジェクト１００）を認識する。
３．目的のオブジェクト１００に対応する目的のオブジェクトの情報１０９を提供する。通常、目的のオブジェクトの情報１０９は、（実施形態に応じて）目的のオブジェクト１００に対応する情報のアドレスを含む。

物体認識１０７は、入力画像内のバーコードまたはテキストなどの記号を検出および解読する。これは、このタスクに好適なアルゴリズム、ソフトウェア、および／またはハードウェアコンポーネントを介して遂行される。そのようなコンポーネントは市販されている（ＭＶＴｅｃからのＨＡＬＣＯＮソフトウェアパッケージが一例である）。また、物体認識１０７は、目的のオブジェクト１００、またはその目的のオブジェクト１００の部分の画像を検出および認識する。これは、画像データ１０５を分析し、結果を、データベース１０８に記憶された、複数の知られているオブジェクトの画像を表すその他のデータと比較し、目的のオブジェクト１００の表現がデータベース１０８内に記憶されている場合に目的のオブジェクト１００を認識することによって遂行される。

いくつかの実施形態において、端末１０２は、情報のアドレスを受信し、インターネットなどの１つのネットワークまたは複数のネットワークを介してその情報のアドレスに接続し、その情報のアドレスにある別のコンピューティングデバイスと情報を交換するウェブブラウザ（ブラウザ１１０）などのソフトウェアを含む。コンシューマ用途において、端末１０２は、カメラ１０３および無線インターネット接続を備えたポータブルセルラ電話または携帯情報端末であってよい。防犯および産業用途において、端末１０２は、同様のポータブルハンドヘルドデバイスである可能性があるか、または位置および／または向きが固定されている可能性があり、無線または有線のいずれかのネットワーク接続を有することができる。

その他の物体認識技術も存在し、オブジェクトの（２次元画像ではなく）３次元モデルをデータベースに記憶し、入力画像を目的のオブジェクトのこれらのモデルと相関させ、多くが市販されており従来技術で利用可能である物体認識技術によって実行される方法を含む。通常、そのような物体認識技術は、新しい入力画像を複数の知られている画像と比較すること、および新しい入力画像と知られている画像のうちの１つまたは複数との間の対応を検出することからなる。知られている画像は、複数の見る角度からの知られているオブジェクトの図であり、したがって、カメラ１０３に対して任意の向きの２次元および３次元オブジェクトの認識を可能にする。

図４は、簡単にするために物体認識１０７およびデータベース１０８を別個の機能として示す。しかし、多くの実施形態において、物体認識１０７およびデータベース１０８は非常に密接に相互依存しているので、それらの物体認識１０７およびデータベース１０８は単一のプロセスとみなされることができる。

データベース１０８は、データベース１０８内の非常に多くの（例えば、何百万の）知られているオブジェクトからの目的のオブジェクト１００の識別を可能にするようにスケーラブルであることが通常望ましい。アルゴリズム、ソフトウェア、およびコンピューティングハードウェアは、そのような検索を高速に実行するために一緒に機能するように設計されなければならない。そのような検索を高速に実行するためのソフトウェア技術の例は、画像データ１０５をデータベース１０８に記憶されたデータと比較するための計量的距離比較技術をデータベースクラスタリングおよび多重解像度距離比較と共に使用することである。この技術は、Ｓｏｎｇ、Ｋｉｍ、およびＲａによる「Ｆａｓｔ Ｅｘｈａｕｓｔｉｖｅ Ｍｕｌｔｉ−Ｒｅｓｏｌｕｔｉｏｎ Ｓｅａｒｃｈ Ａｌｇｏｒｉｔｈｍ Ｂａｓｅｄ ｏｎ Ｃｌｕｓｔｅｒｉｎｇ ｆｏｒ Ｅｆｆｉｃｉｅｎｔ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ」（２０００年）において説明されている。

そのようなソフトウェア技術に加えて、並列処理コンピューティングアーキテクチャが、大規模データベースの高速検索を遂行するために使用されることができる。並列処理は、物体認識１０７において非計量的距離が使用される場合、データベースクラスタリングおよび多重解像度探索などの技術が可能であることができず、したがって、データベースを複数のＣＰＵにまたがってパーティショニングすることによってデータベース全体が検索されなければならないので特に重要である。

上述のように、物体認識１０７は、目的のオブジェクト１００上の識別マークを検出することもできる。例えば、目的のオブジェクト１００は、識別番号またはバーコードを含むことができる。この情報は、データベース１０８内の目的のオブジェクト１００を識別するか、または識別する助けとなるように解読および使用されることができる。この情報は、目的のオブジェクトの情報１０９の一部として伝えられることもできる。この情報が目的のオブジェクトの情報１０９の一部として含まれる場合、この情報は、類似した外見を有し、識別マークだけが異なる多くのそのようなオブジェクトの中から特定の目的のオブジェクト１００を識別するために端末１０２またはコンテンツサーバ１１１によって使用されることができる。この技術は、例えば、目的のオブジェクト１００が（自動販売機などの）ネットワーク接続を有する稼働しているデバイスであり、コンテンツサーバが目的のオブジェクト１００との通信を確立する場合に有用である。全地球測位システムとの組合せが、似たオブジェクトをそれらのオブジェクトの位置によって識別するために使用されることもできる。

物体認識１０７は、ハードウェア、ソフトウェア、または両方の組合せで実装されることができる。それぞれのカテゴリの例、およびさらなる詳細が、優先権文書のうちの１つまたは複数に説明されている。

ほとんどの実施形態において、ブラウザ１１０は、インターネットなどの１つのネットワークまたは複数のネットワークを介してウェブサイトにアクセスし、ウェブサイトと通信することができる、端末１０２に組み込まれたウェブブラウザである。しかし、目的のオブジェクト１００の識別情報、位置、向き、または状態を表示することのみを伴う実施形態などのいくつかの実施形態において、ブラウザ１１０は、人間のユーザに、または別のソフトウェアコンポーネントもしくはアプリケーションに目的のオブジェクトの情報１０９を表示または提供するソフトウェアコンポーネントまたはアプリケーションであることができる。

ブラウザ１１０がウェブブラウザである実施形態において、ブラウザ１１０は、目的のオブジェクトの情報１０９に含まれる情報のアドレス（概して、インターネットのＵＲＬ）に配置されたコンテンツサーバ１１１に接続する。この接続は、協調して動作する端末１０２およびブラウザ１１０によって達成される。コンテンツサーバ１１１は、情報サーバおよびコンピューティングシステムである。概して、端末１０２とコンテンツサーバ１１１の間の接続、および端末１０２とコンテンツサーバ１１１の間で交換される情報は、標準的なインターネットおよび無線ネットワークソフトウェア、プロトコル（例えば、ＨＴＴＰ、ＷＡＰなど）、ならびにネットワークを介して遂行されるが、任意の情報交換技術が使用されてよい。物理的なネットワーク接続は、具体的な実施形態のシステムアーキテクチャに依存するが、ほとんどの実施形態において、無線ネットワークおよびインターネットを含む。この物理ネットワークは、大概は端末１０２および識別サーバ１０６を接続するために使用される同じネットワークである。

コンテンツサーバ１１１は、コンテンツ情報を端末１０２およびブラウザ１１０に送信する。通常、このコンテンツ情報は目的のオブジェクト１００に関連し、テキスト、音声、ビデオ、グラフィックス、またはブラウザ１１０および端末１０２によって使用可能な任意の形態の情報であることができる。いくつかの実施形態において、端末１０２およびブラウザ１１０は、追加的な情報をコンテンツサーバ１１１に送信する。この追加的な情報は、端末１０２のユーザの識別情報、または（ＧＰＳシステムまたは無線周波数測距システムから判定される）端末１０２のユーザの位置などの情報である可能性がある。いくつかの実施形態において、そのような情報は、無線ネットワークキャリアによってコンテンツサーバに提供される。

ユーザは、コンテンツサーバ１１１との継続的なインタラクションを実行することができる。例えば、本発明の実施形態、および用途に応じて、ユーザは以下のことを行うことができる。
目的のオブジェクト１００が音声録音（例えば、コンパクトオーディオディスク）である場合にストリーミング音声サンプルを聴く。
購入金額が端末１０２にリンクされたアカウントに、個々のユーザに、銀行口座に、またはクレジットカードに請求されるようにしてオンライン取引を介して目的のオブジェクト１００を購入する。

いくつかの実施形態において、コンテンツサーバ１１１は端末１０２内に存在することができる。そのような実施形態において、端末１０２とコンテンツサーバ１１１の間の通信はネットワークを介して行われず、むしろ端末１０２内で行われる。

目的のオブジェクト１００がインターネットなどの１つのネットワークまたは複数のネットワークを介してその他のデバイスまたはコンピュータと通信することができるデバイスを含むか、またはそのようなデバイスであり、目的のオブジェクトの情報１０９が特定の目的のオブジェクト１００の（サイン、番号、またはバーコードなどの）適切な識別情報を含む実施形態において、コンテンツサーバ１１１はインターネットなどの１つのネットワークまたは複数のネットワークを介して目的のオブジェクト１００に接続し、目的のオブジェクト１００と情報を交換する。この種類の実施形態において、端末１０２はコンテンツサーバ１１１に接続され、コンテンツサーバ１１１は目的のオブジェクト１００に接続される。したがって、端末１０２および目的のオブジェクト１００は、コンテンツサーバ１１１を介して通信することができる。これは、目的のオブジェクト１００と端末１０２の間の直接的な接続がないにもかかわらずユーザが目的のオブジェクト１００とインタラクションすることを可能にする。

図５は、セルラ電話、ＰＤＡ、または図４の端末１０２に対応する端末２０２のような計算能力、デジタルカメラ、および無線ネットワーク接続を備えたポータブルデバイスを使用する実施形態を示す。この実施形態において、端末２０２は、セルラ電話ネットワークおよびインターネットなどのネットワークを介して識別サーバ２０６およびコンテンツサーバ２１１と通信する。

この実施形態は、以下のような用途に使用されることができる（「ユーザ」は端末２０２を操作する人を指し、端末２０２は、セルラ電話、ＰＤＡ、または同様のデバイスであり、「ポイントアンドクリック」はユーザが目的のオブジェクト２００の画像をキャプチャし、画像データ２０５の識別サーバ２０６への転送を開始する操作を指す）。

ユーザは、記録された音楽を含むコンパクトディスク（ＣＤ）または記録されたビデオを含むデジタルビデオディスク（ＤＶＤ）の所で端末２０２を「ポイントアンドクリック」する。端末２０２のブラウザは、ＣＤまたはＤＶＤに対応するＵＲＬに接続し、ユーザが選択できるオプションのメニューを表示する。このメニューから、ユーザは、ＣＤのストリーミング音声サンプルもしくはＤＶＤのストリーミングビデオサンプルを聴くことができるか、またはＣＤもしくはＤＶＤを購入することができる。

ユーザは、印刷媒体の広告、ポスター、または映画、音楽録音、ビデオ、もしくはその他の娯楽を宣伝する広告板の所で端末２０２を「ポイントアンドクリック」する。ブラウザ２１０は宣伝された物品に対応するＵＲＬに接続し、ユーザはストリーミング音声サンプルを聴くことができるか、ストリーミングビデオサンプルを購入することができるか、ショーの開始時間を取得することができるか、または物品もしくはチケットを購入することができる。

ユーザは、リアルタイムでテレビ番組とインタラクションするためにテレビ画面の所で端末２０２を「ポイントアンドクリック」する。例えば、番組は、限られた時間の間の割引価格を伴う製品プロモーションから構成されることができる。当該プロモーション中にこのテレビ番組を「ポイントアンドクリック」するユーザは、それらのユーザがプロモーション価格で製品を購入することができるウェブサイトにリンクされる。別の例は、ユーザが画面上の内容に基づいて特定の時間にテレビ画面を「ポイントアンドクリック」して投票を登録するか、処置を指示するか、またはそれらのユーザが画面上の番組とのリアルタイムのインタラクションをそのウェブサイトを通して実行するウェブサイトに接続するインタラクティブテレビ番組である。

ユーザは、コンシューマ製品、製品に関する広告、ポスターなどのオブジェクトを「ポイントアンドクリック」し、端末２０２は当該製品を販売している会社に電話をかけ、消費者はその会社の製品またはサービスに関して会社の担当者と直接議論する。この場合、会社の電話番号が目的のオブジェクトの情報２０９に含まれる。目的のオブジェクトの情報２０９が会社のＵＲＬも含む場合、ユーザは、同時に（ブラウザ２１０を介して）音声およびインターネットの両方を介してその会社とインタラクションすることができる。

ユーザは、インターネットなどのネットワークへの接続を備えており、番号などの一意的な識別マークを有する自動販売機（目的のオブジェクト２００）を「ポイントアンドクリック」する。端末２０２は、自動販売機を運用する会社のコンテンツサーバ２１１に接続する。識別サーバは、一意的な識別マークを識別および解読することによって特定の自動販売機を識別する。特定の自動販売機の識別情報は目的のオブジェクトの情報２０９に含まれ、端末２０２からコンテンツサーバ２１１に送信される。特定の自動販売機（目的のオブジェクト２００）の識別情報を有するコンテンツサーバ２１１は、自動販売機との通信を開始する。ユーザは、コンテンツサーバ２１１を介して自動販売機と通信するそのユーザの端末２０２を使用して製品を購入するなどの自動販売機との取引を実行する。

ユーザは、飛行機の一部などの機械の一部を「ポイントアンドクリック」する。そのとき、端末２０２は、保守の指示または修理履歴などの当該部分に関連する情報を表示する。

ユーザは、雑誌または新聞の記事、およびストリーミング音声またはビデオコンテンツ、さらなる情報などに対するリンクを「ポイントアンドクリック」する。

ユーザは、自動車を「ポイントアンドクリック」する。端末２０６の位置が、端末２０６の全地球測位システムの受信機によって、セルラネットワークの無線測距によって、または別の技術によって判定される。端末２０２の位置がコンテンツサーバ２１１に送信される。コンテンツサーバは、ユーザに価格および特徴などの自動車に関する情報を提供し、さらに、その車を販売する近くの自動車ディーラーの場所を位置情報に基づいてユーザに提供する。この同じ技術は、ユーザが「ポイントアンドクリック」する雑誌広告内に現れる物品を販売する近くの小売店にユーザを導くために使用されることができる。

視覚障害者のために、
商店内の任意の物品をクリックし、デバイスがその人に対して物品の名前および価格を音声で伝える（物品はデータベース内になければならない）。
新聞および雑誌の記事をクリックし、デバイスがその記事をその人に読み上げる。
標識（ビル、道路標識など）をクリックし、デバイスがその標識をその人に読み上げ、任意の追加的な関連情報を提供する（標識はデータベース内になければならない）。

図６は、宇宙船の応用のための本発明の一実施形態を示す。この実施形態において、システムのすべてのコンポーネント（目的のオブジェクト３００を除く）が宇宙船に搭載されている。目的のオブジェクト３００は、別の宇宙船または物体である。この実施形態は、宇宙船に対する目的のオブジェクト３００の位置および向きを判定するために使用され、その結果、この情報が目的のオブジェクト３００に対する宇宙船のナビゲーション、誘導、および操船に使用されることができる。この実施形態の使用例は、自律的な宇宙船のランデブーおよびドッキングにある。

この実施形態は、カメラ３０３によってキャプチャされた画像をデータベース３０８に記憶されている異なる向きからの目的のオブジェクト３００の図と比較することによる当該画像内の目的のオブジェクト３００の位置、向き、およびサイズによって判定されるように宇宙船に対する目的のオブジェクト３００の位置および向きを判定する。目的のオブジェクト３００の相対的な位置および向きは目的のオブジェクトの情報内に出力され、その結果、宇宙船のデータシステム３１０はこの情報を軌道および操船の計画に使用することができる。

このように、画像から得られる情報をインターネットおよびその他の検索エンジンに対する検索基準として使用する特定の実施形態および応用が開示された。しかし、既に説明された修正に加えて多くのさらなる修正が本明細書の発明概念から逸脱することなしに可能であることは当業者に明らかであるに違いない。したがって、本発明の対象は、添付の特許請求の範囲の精神以外で限定されてはならない。さらに、明細書および特許請求の範囲の両方の解釈において、すべての用語は、文脈に合った最も広い可能なやり方で解釈されるべきである。特に、用語「含む」および「含んでいる」は、言及される要素、コンポーネント、またはステップが、明示的に言及されていないその他の要素、コンポーネント、またはステップと共に存在するか、または利用されるか、または組み合わされることができることを示す非排他的なやり方で要素、コンポーネント、またはステップに言及するものとして解釈されるべきである。本明細書の請求項がＡ、Ｂ、Ｃ．．．．およびＮからなる群から選択される何らかのもののうちの少なくとも１つと言う場合、その文章は、ＡとＮまたはＢとＮなどではなく、群から唯一の要素を要求するものと解釈されるべきである。

最上位アルゴリズムのフローチャートの概略ブロック図である。 画像キャプチャの理想化された図である。 本発明のプロセスの詳細の概略ブロック図である。 本発明のプロセスの詳細の概略ブロック図である。 発明の異なる説明の概略ブロック図である。 セルラ電話および携帯情報端末（ＰＤＡ）用途に関する、図４と同様の概略ブロック図である。 宇宙船の応用に関する概略ブロック図である。 ローカルデバイスが画像をキャプチャし、検索語が画像から自動的に導出され、検索エンジンに提出されて結果セットを生成し、結果セットからの情報がデバイスに返送されるシステムの概略図である。

Claims (22)

1. 画像を光学的にキャプチャし、画像に関する情報を遠隔サーバに送信するポータブルデバイスを含むシステムであって、
   デバイスおよびサーバのうちの少なくとも１つが、画像および送信された情報のうちの少なくとも１つから検索語を導出し、
   デバイスおよびサーバのうちの少なくとも１つが、公的にアクセス可能な情報をインデックス付けする検索エンジンに検索語が提出されるようにし、
   検索エンジンが、検索語を使用して結果セットを生成し、結果セットの少なくとも一部がポータブルデバイスに返送されるようにする、システム。
2. ポータブルデバイスが携帯電話の電話通信機能を含む、請求項１に記載のシステム。
3. 検索語が画像内にリテラルとして含まれる、請求項１に記載のシステム。
4. 検索語が画像内にリテラルとして含まれない、請求項１に記載のシステム。
5. デバイスが検索語を導出する、請求項１に記載のシステム。
6. デバイスがサーバを通じて検索語を検索エンジンに提出する、請求項１に記載のシステム。
7. デバイスが検索語を検索エンジンに直接提出する、請求項１に記載のシステム。
8. サーバが検索語を導出する、請求項１に記載のシステム。
9. サーバが検索語を検索エンジンに提出する、請求項１に記載のシステム。
10. 検索語がキーワードを含む、請求項１に記載のシステム。
11. 検索語が画像の一部を含む、請求項１に記載のシステム。
12. 検索語が記号を含む、請求項１に記載のシステム。
13. 記号がロゴを含む、請求項１１に記載のシステム。
14. 記号がバーコードを含む、請求項１１に記載のシステム。
15. 結果セットが少なくとも１つのハイパーリンクが張られたアドレスを含む、請求項１１に記載のシステム。
16. 検索エンジンがＧｏｏｇｌｅ（登録商標）、Ｙａｈｏｏ！（登録商標）、ＭＳＮ（登録商標）、およびＡｌｔａ Ｖｉｓｔａ（登録商標）からなるリストから選択される、請求項１１に記載のシステム。
17. 携帯電話が請求項１に記載のシステム内のデバイスとして動作することを可能にするソフトウェアを実行する、携帯電話。
18. 情報を取得するために検索エンジンを使用する方法であって、
    携帯電話に対応したポータブルデバイスを使用してオブジェクトの画像を撮影することと、
    画像の少なくとも一部から第１の検索語を自動的に導出するコンピュータソフトウェアを実行することと、
    第１の検索語を検索エンジンに提出することと、
    情報をデバイスに送信することと
    を含む、方法。
19. デバイスを使用してオブジェクトの第２の画像を撮影することと、第２のオブジェクトの少なくとも一部から第２の検索語を導出するためのコンピュータソフトウェアを実行することと、第２の検索語を第１の検索語と共に検索エンジンに提出することとをさらに含む、請求項１６に記載の方法。
20. 第１の検索語を提出するステップが、画像の少なくとも一部を遠隔サーバに送信することと、サーバ上でソフトウェアを実行することと、サーバが検索語を検索エンジンに送信することとを含む、請求項１６に記載の方法。
21. ポータブル電源と、
    画像を光学的にキャプチャするカメラ部分と、
    画像から検索語を導出し、語を検索エンジンに送信するための命令を処理するプロセッサと
    を含む、ポータブルデバイス。
22. ポータブルデバイスを使用して画像をキャプチャするステップと、
    ポータブルデバイスが画像に関する情報を遠隔サーバに送信するステップと、
    デバイスおよびサーバのうちの少なくとも１つが、画像および送信された情報のうちの少なくとも１つから検索語を自動的に導出するステップと、
    デバイスおよびサーバのうちの少なくとも１つが、公的にアクセス可能な情報をインデックス付けする検索エンジンに検索語が提出されるようにするステップと、
    検索エンジンが検索語を使用して結果セットを生成するステップと
    を使用して導出される、結果セット。

Images