JP2007058532A - 情報処理システム、情報処理装置および方法、プログラム、並びに、記録媒体 - Google Patents

Abstract

【課題】簡単かつ迅速に所望の情報を取得する。
【解決手段】 端末１１は、インデックスサーバ１２から受信したインデックスリストに登録されている画像認識エンジンとモデル辞書の中からユーザにより指定された画像認識エンジンとモデル辞書を有する情報提供サーバ１３に、関連する情報を取得した検索オブジェクトの画像を含むオブジェクト画像を送信する。情報提供サーバ１３は、指定されたモデル辞書および画像認識エンジンを用いて、オブジェクト画像内の検索オブジェクトを認識し、検索オブジェクトに関連するモデル情報をモデル辞書格納部４２から取得し、端末１１に送信する。本発明は、画像検索を行う情報処理システムに適用できる。
【選択図】図１

Description

本発明は、情報処理システム、情報処理装置および方法、プログラム、並びに、記録媒体に関し、特に、画像を用いて情報を検索する情報処理システム、情報処理装置および方法、プログラム、並びに、記録媒体に関する。

従来、携帯端末のデジタルカメラにより撮影した画像を画像認識用サーバに送信し、サーバにおいて、画像中に存在する物体の部類を識別し、識別された物体の部類に関する情報をデータベースから検索し、検索結果を携帯端末に送信することが提案されている（例えば、特許文献１参照）。

また、入力される画像から予め記憶されているモデルを精度よく抽出する方法が提案されている（例えば、特許文献２参照）。例えば、特許得文献２に記載の方法を特許文献１に記載の発明に適用することにより、画像中の物体の部類を識別する精度を向上させることができる。

特開２００４−１４５４１６号公報 特開２００４−３２６６９３号公報

しかしながら、特許文献１および２に記載の発明では、画像の登録数の増大に伴い、入力された画像と一致する画像を検索する時間が長くなったり、画像の認識率が低下したりする。従って、所望の情報を取得するために要する時間が長くなってしまう。

本発明は、このような状況に鑑みてなされたものであり、簡単かつ迅速に所望の情報を取得することができるようにするものである。

本発明の第１の側面の情報処理システムは、オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている第１の辞書を複数用いて情報を検索する情報処理システムであって、第１の入力画像を取得する画像取得手段と、前記第１の入力画像内のオブジェクトに関連する前記関連情報の検索に用いる前記第１の辞書である使用辞書を決定する辞書決定手段と、前記使用辞書に登録されている前記オブジェクト画像情報に基づいて、前記第１の入力画像内の前記オブジェクトを認識するオブジェクト認識手段と、前記オブジェクト認識手段により認識された前記オブジェクトに関連する前記関連情報を前記使用辞書から取得する関連情報取得手段とを含む。

前記辞書決定手段には、ユーザにより指定された前記第１の辞書を前記使用辞書に決定させるようにすることができる。

前記画像取得手段には、さらに、前記第１の入力画像内の前記オブジェクトに関連する前記関連情報が登録されている前記第１の辞書である登録辞書を示すインデックス画像を取得させ、前記インデックス画像に示される前記登録辞書を検出する検出手段をさらに設け、前記辞書決定手段には、前記登録辞書を前記使用辞書に決定させるようにすることができる。

前記画像取得手段には、さらに、前記第１の入力画像が属する所定のグループを識別するための第２の入力画像を取得させ、前記グループを識別するための識別画像に関する識別画像情報と、前記識別画像により識別される前記グループに属する画像内のオブジェクトに関連する前記関連情報が登録されている前記第１の辞書を示すインデックス情報とが関連づけられて登録されている第２の辞書に登録されている前記識別画像情報に基づいて、前記第２の入力画像に相当する前記識別画像を特定する識別画像特定手段と、前記識別画像特定手段により特定された前記識別画像に関連づけられている前記インデックス情報を前記第２の辞書から取得するインデックス情報取得手段とをさらに設け、前記辞書決定手段には、前記インデックス情報取得手段により取得された前記インデックス情報に示される前記第１の辞書を前記使用辞書に決定させるようにすることができる。

本発明の第１の側面の情報処理方法またはプログラムは、オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている辞書を複数用いて情報を検索する情報処理方法、または、オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている辞書を複数用いて情報を検索する情報処理をコンピュータに実行させるプログラムであって、入力画像の取得を制御し、前記入力画像内のオブジェクトに関連する前記関連情報の検索に用いる前記辞書である使用辞書を決定し、前記使用辞書に登録されている前記オブジェクト画像情報に基づいて、前記入力画像内の前記オブジェクトを認識し、認識された前記オブジェクトに関連する前記関連情報の前記使用辞書からの取得を制御するステップを含む。

本発明の第２の側面の情報処理装置は、第１の入力画像を取得する画像取得手段と、オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている第１の辞書であって、前記第１の入力画像内のオブジェクトに関連する前記関連情報の検索に用いる第１の辞書である使用辞書を決定する辞書決定手段と、前記使用辞書を有する第１の装置である辞書保有装置に、前記第１の入力画像および前記使用辞書を示す情報を送信する第１の送信手段と、前記辞書保有装置から送信されてくる、前記使用辞書に登録されている前記オブジェクト画像情報に基づいて認識された前記第１の入力画像内の前記オブジェクトに関連する前記関連情報を受信する第１の受信手段とを含む。

前記第１の辞書、および、前記第１の辞書を有する前記第１の装置を示すインデックス情報のリストであるインデックスリストを取得するインデックスリスト取得手段をさらに設け、前記辞書決定手段には、前記インデックスリスト内の前記インデックス情報に示される前記第１の辞書の中からユーザにより指定された前記第１の辞書を前記使用辞書に決定させるようにすることができる。

前記インデックス情報は、さらに、前記第１の辞書を用いて画像認識を行うハードウェアまたはソフトウェアである画像認識エンジンを示し、前記第１の送信手段には、さらに、前記インデックスリスト内の前記インデックス情報に示される前記画像認識エンジンの中からユーザにより指定された前記画像認識エンジンであるユーザ指定画像認識エンジンを示す情報を前記辞書保有装置に送信させ、前記第１の受信手段には、前記辞書保有装置から送信されてくる、前記使用辞書に登録されている前記オブジェクト画像情報に基づいて前記ユーザ指定画像認識エンジンを用いて認識された前記第１の入力画像内の前記オブジェクトに関連する前記関連情報を受信させるようにすることができる。

前記画像取得手段には、さらに、前記第１の入力画像内の前記オブジェクトに関連する前記関連情報が登録されている前記第１の辞書である登録辞書と前記登録辞書を有する前記第１の装置とを示すインデックス画像を取得させ、前記インデックス画像に示される前記登録辞書、および、前記登録辞書を有する前記第１の装置を検出する検出手段をさらに設け、前記辞書決定手段には、前記登録辞書を前記使用辞書に決定させ、前記第１の送信手段には、前記登録辞書を有する前記第１の装置である前記辞書保有装置に、前記第１の入力画像および前記使用辞書を示す情報を送信させるようにすることができる。

前記インデックス画像は、前記入力画像にウォーターマークとして埋め込まれているようにすることができる。

前記インデックス画像は、識別コードの画像であるようにすることができる。

前記インデックス画像は、さらに、前記登録辞書を用いて画像認識を行うハードウェアまたはソフトウェアである画像認識エンジンを示し、前記第１の送信手段には、さらに、前記画像認識エンジンを示す情報を前記辞書保有装置に送信させ、前記第１の受信手段には、前記辞書保有装置により送信されてくる、前記使用辞書に登録されている前記オブジェクト画像情報に基づいて、前記画像認識エンジンを用いて認識された前記第１の入力画像内の前記オブジェクトに関連する前記関連情報を受信させるようにすることができる。

前記画像取得手段には、さらに、前記第１の入力画像が属する所定のグループを識別するための第２の入力画像を取得させ、前記第２の入力画像を第２の装置に送信する第２の送信手段と、前記第２の装置から送信されてくる、前記第２の入力画像に基づいて識別された前記グループに属する画像内のオブジェクトに関連する前記関連情報が登録されている前記第１の辞書である登録辞書、および、前記登録辞書を有する前記第１の装置を示すインデックス情報を受信する第２の受信手段とをさらに設け、前記辞書決定手段には、前記登録辞書を前記使用辞書に決定させ、前記第１の送信手段には、前記登録辞書を有する前記第１の装置である前記辞書保有装置に、前記第１の入力画像および前記使用辞書を示す情報を送信させるようにすることができる。

前記インデックス情報は、さらに、前記登録辞書を用いて画像認識を行うハードウェアまたはソフトウェアである画像認識エンジンを示し、前記第１の送信手段には、さらに、前記画像認識エンジンを示す情報を前記辞書保有装置に送信させ、前記第１の受信手段には、前記辞書保有装置により送信されてくる、前記使用辞書に登録されている前記オブジェクト画像情報に基づいて、前記画像認識エンジンを用いて認識された前記第１の入力画像内の前記オブジェクトに関連する前記関連情報を受信させるようにすることができる。

本発明の第２の側面の情報処理方法またはプログラムは、入力画像の取得を制御し、オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている辞書であって、前記入力画像内のオブジェクトに関連する前記関連情報の検索に用いる辞書である使用辞書を決定し、前記使用辞書を有する装置である辞書保有装置への、前記入力画像および前記使用辞書を示す情報の送信を制御し、前記辞書保有装置から送信されてくる、前記使用辞書に登録されている前記オブジェクト画像情報に基づいて認識された前記入力画像内の前記オブジェクトに関連する前記関連情報の受信を制御するステップを含む。

本発明の第３の側面の情報処理装置は、オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている辞書を複数用いて情報を検索する情報処理装置であって、他の装置から送信されてくる、入力画像および使用する前記辞書を指定する情報を受信する受信手段と、指定された前記辞書である指定辞書に登録されている前記オブジェクト画像情報に基づいて、前記入力画像内のオブジェクトを認識するオブジェクト認識手段と、前記オブジェクト認識手段により認識された前記オブジェクトに関連する前記関連情報を前記指定辞書から取得する関連情報取得手段と、前記関連情報取得手段により取得された前記関連情報を前記他の装置に送信する送信手段とを含む。

前記受信手段には、さらに、前記指定辞書を用いて画像認識を行うハードウェアまたはソフトウェアである画像認識エンジンを示す情報を受信させ、前記オブジェクト認識手段には、前記指定辞書に登録されている前記オブジェクト画像情報に基づいて、前記画像認識エンジンを用いて前記入力画像内のオブジェクトを認識させるようにすることができる。

本発明の第３の側面の情報処理方法またはプログラムは、オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている辞書を複数用いて情報を検索する情報処理方法、または、オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている辞書を複数用いて情報を検索する情報処理をコンピュータに実行させるプログラムであって、他の装置から送信されてくる、入力画像および使用する前記辞書を指定する情報の受信を制御し、指定された前記辞書である指定辞書に登録されている前記オブジェクト画像情報に基づいて、前記入力画像内のオブジェクトを認識し、認識された前記オブジェクトに関連する前記関連情報の前記指定辞書からの取得を制御し、取得された前記関連情報の前記他の装置への送信を制御するステップを含む。

本発明の第４の側面の情報処理装置は、第１の装置から送信されてくる、第１の入力画像が属する所定のグループを識別するための第２の入力画像を受信する受信手段と、グループを識別するための識別画像に関する識別画像情報と、オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている第１の辞書であって、前記識別画像により識別される前記グループに属する画像内のオブジェクトに関連する関連情報が登録されている前記第１の辞書、および、前記第１の辞書を有する第２の装置を示すインデックス情報とが関連づけられて登録されている第２の辞書に登録されている前記識別画像情報に基づいて、前記第２の入力画像に相当する前記識別画像を特定する識別画像特定手段と、前記識別画像特定手段により特定された前記識別画像に関連づけられている前記インデックス情報を前記第２の辞書から取得する取得手段とを含む

前記取得手段により取得された前記インデックス情報を、前記第１の装置に送信する送信手段をさらに設けるようにすることができる。

前記受信手段には、さらに、前記第１の装置から送信されてくる、前記第１の入力画像を受信させ、前記取得手段により取得された前記インデックス情報に示される前記第２の装置に、前記第１の入力画像、および、前記インデックス情報に示される前記第１の辞書を示す情報を送信する送信手段をさらに設けるようにすることができる。

本発明の第４の側面の情報処理方法またはプログラムは、第１の装置から送信されてくる、第１の入力画像が属する所定のグループを識別するための第２の入力画像の受信を制御し、グループを識別するための識別画像に関する識別画像情報と、オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている第１の辞書であって、前記識別画像により識別される前記グループに属する画像内のオブジェクトに関連する関連情報が登録されている前記第１の辞書、および、前記第１の辞書を有する第２の装置を示すインデックス情報とが関連づけられて登録されている第２の辞書に登録されている前記識別画像情報に基づいて、前記第２の入力画像に相当する前記識別画像を特定し、特定された前記識別画像に関連づけられている前記インデックス情報の前記第２の辞書からの取得を制御するステップを含む。

本発明の第１の側面においては、入力画像が取得され、オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている辞書であって、前記入力画像内のオブジェクトに関連する前記関連情報の検索に用いる辞書である使用辞書が決定され、前記使用辞書に登録されている前記オブジェクト画像情報に基づいて、前記入力画像内の前記オブジェクトが認識され、認識された前記オブジェクトに関連する前記関連情報が前記使用辞書から取得される。

本発明の第２の側面においては、入力画像が取得され、
オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている辞書であって、前記入力画像内のオブジェクトに関連する前記関連情報の検索に用いる辞書である使用辞書が決定され、前記使用辞書を有する装置である辞書保有装置に、前記入力画像および前記使用辞書を示す情報が送信され、前記辞書保有装置から送信されてくる、前記使用辞書に登録されている前記オブジェクト画像情報に基づいて認識された前記入力画像内の前記オブジェクトに関連する前記関連情報が受信される。

本発明の第３の側面においては、他の装置から送信されてくる、入力画像、および、オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている辞書であって、使用する辞書を指定する情報が受信され、指定された前記辞書である指定辞書に登録されている前記オブジェクト画像情報に基づいて、前記入力画像内のオブジェクトが認識され、前記オブジェクト認識手段により認識された前記オブジェクトに関連する前記関連情報が前記指定辞書から取得され、前記関連情報取得手段により取得された前記関連情報が前記他の装置に送信される。

本発明の第４の側面においては、第１の装置から送信されてくる、第１の入力画像が属する所定のグループを識別するための第２の入力画像が受信され、グループを識別するための識別画像に関する識別画像情報と、オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている第１の辞書であって、前記識別画像により識別される前記グループに属する画像内のオブジェクトに関連する関連情報が登録されている前記第１の辞書、および、前記第１の辞書を有する第２の装置を示すインデックス情報とが関連づけられて登録されている第２の辞書に登録されている前記識別画像情報に基づいて、前記第２の入力画像に相当する前記識別画像が特定され、前記識別画像特定手段により特定された前記識別画像に関連づけられている前記インデックス情報が前記第２の辞書から取得される。

以上のように、本発明の第１の側面乃至第４の側面によれば、入力された画像に基づいて、情報を検索することができる。また、本発明の第１の側面乃至第４の側面によれば、簡単かつ迅速に所望の情報を取得することができる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

本発明の第１の側面の情報処理システム（例えば、図１の情報処理システム１または図１４の情報処理システム２０１）は、オブジェクトの画像に関するオブジェクト画像情報（例えば、モデル画像情報）と前記オブジェクトに関連する関連情報（例えば、モデル情報）とが登録されている第１の辞書（例えば、モデル辞書）を複数用いて情報を検索する情報処理システムであって、第１の入力画像を取得する画像取得手段（例えば、図４の画像取得部７２または図１５の画像取得部２７２）と、前記第１の入力画像内のオブジェクトに関連する前記関連情報の検索に用いる前記第１の辞書である使用辞書を決定する辞書決定手段（例えば、図４の送信サーバ決定部７４または図１５の送信サーバ決定部２７４）と、前記使用辞書に登録されている前記オブジェクト画像情報に基づいて、前記第１の入力画像内の前記オブジェクトを認識するオブジェクト認識手段（例えば、図５の画像認識部１０３）と、前記オブジェクト認識手段により認識された前記オブジェクトに関連する前記関連情報を前記使用辞書から取得する関連情報取得手段（例えば、図５のモデル情報取得部１０４）とを含む。

本発明の第１の側面の情報処理システム（例えば、図１の情報処理システム１）においては、前記画像取得手段は、さらに、前記第１の入力画像内の前記オブジェクトに関連する前記関連情報が登録されている前記第１の辞書である登録辞書を示すインデックス画像を取得し、前記インデックス画像に示される前記登録辞書を検出する検出手段（例えば、図４のインデックス情報検出部７３）をさらに含み、前記辞書決定手段は、前記登録辞書を前記使用辞書に決定するようにすることができる。

本発明の第１の側面の情報処理システム（例えば、図１４の情報処理システム２０１）においては、前記画像取得手段は、さらに、前記第１の入力画像が属する所定のグループを識別するための第２の入力画像を取得し、前記グループを識別するための識別画像に関する識別画像情報と、前記識別画像により識別される前記グループに属する画像内のオブジェクトに関連する前記関連情報が登録されている前記第１の辞書を示すインデックス情報とが関連づけられて登録されている第２の辞書（例えば、インデックス辞書）に登録されている前記識別画像情報に基づいて、前記第２の入力画像に相当する前記識別画像を特定する識別画像特定手段（例えば、図１６の画像認識部３０２）と、前記識別画像特定手段により特定された前記識別画像に関連づけられている前記インデックス情報を前記第２の辞書から取得するインデックス情報取得手段（例えば、図１６のインデックス情報取得部３０３）とをさらに含み、前記辞書決定手段は、前記インデックス情報取得手段により取得された前記インデックス情報に示される前記第１の辞書を前記使用辞書に決定するようにすることができる。

本発明の第１の側面の情報処理方法またはプログラムは、オブジェクトの画像に関するオブジェクト画像情報（例えば、モデル画像情報）と前記オブジェクトに関連する関連情報（例えば、モデル情報）とが登録されている辞書（例えば、モデル辞書）を複数用いて情報を検索する情報処理方法、または、オブジェクトの画像に関するオブジェクト画像情報（例えば、モデル画像情報）と前記オブジェクトに関連する関連情報（例えば、モデル情報）とが登録されている辞書（例えば、モデル辞書）を複数用いて情報を検索する情報処理をコンピュータに実行させプログラムにおいて、入力画像の取得を制御し（例えば、図６のステップＳ４、図１２のステップＳ６２または図１７のステップＳ１０２）、前記入力画像内のオブジェクトに関連する前記関連情報の検索に用いる前記辞書である使用辞書を決定し（例えば、図６のステップＳ７、図１２のステップＳ６６または図１７のステップＳ１０７）、前記使用辞書に登録されている前記オブジェクト画像情報に基づいて、前記入力画像内の前記オブジェクトを認識し（例えば、図９のステップＳ４３または図２２のステップＳ２４３）、認識された前記オブジェクトに関連する前記関連情報の前記使用辞書からの取得を制御する（例えば、図９のステップＳ４４または図２２のステップＳ２４４）とを含む。

本発明の第２の側面の情報処理装置（例えば、図４のサービス処理部６４または図１５のサービス処理部２６４）は、第１の入力画像を取得する画像取得手段（例えば、図４の画像取得部７２または図１５の画像取得部２７２）と、オブジェクトの画像に関するオブジェクト画像情報（例えば、モデル画像情報）と前記オブジェクトに関連する関連情報（例えば、モデル情報）とが登録されている第１の辞書（例えば、モデル辞書）であって、前記第１の入力画像内のオブジェクトに関連する前記関連情報の検索に用いる第１の辞書である使用辞書を決定する辞書決定手段（例えば、図４の送信サーバ決定部７４または図１５の送信サーバ決定部２７４）と、前記使用辞書を有する第１の装置（例えば、図１の情報提供サーバ１３）である辞書保有装置に、前記第１の入力画像および前記使用辞書を示す情報を送信する第１の送信手段（例えば、図４のモデル情報要求部７５または図１５のモデル情報要求部２７５）と、前記辞書保有装置から送信されてくる、前記使用辞書に登録されている前記オブジェクト画像情報に基づいて認識された前記第１の入力画像内の前記オブジェクトに関連する前記関連情報を受信する第１の受信手段（例えば、図４のモデル情報受信部７６または図１５のモデル情報受信部２７６）とを含む。

本発明の第２の側面の情報処理装置（例えば、図４のサービス処理部６４）においては、前記第１の辞書、および、前記第１の辞書を有する前記第１の装置を示すインデックス情報のリストであるインデックスリストを取得するインデックスリスト取得手段（例えば、図４のインデックスリスト取得部７１）をさらに含み、前記辞書決定手段は、前記インデックスリスト内の前記インデックス情報に示される前記第１の辞書の中からユーザにより指定された前記第１の辞書を前記使用辞書に決定するようにすることができる。

本発明の第２の側面の情報処理装置（例えば、図４のサービス処理部６４）においては、前記画像取得手段は、さらに、前記第１の入力画像内の前記オブジェクトに関連する前記関連情報が登録されている前記第１の辞書である登録辞書と前記登録辞書を有する前記第１の装置とを示すインデックス画像を取得し、前記インデックス画像に示される前記登録辞書、および、前記登録辞書を有する前記第１の装置を検出する検出手段（例えば、図４のインデックス情報検出部７３）をさらに含み、前記辞書決定手段は、前記登録辞書を前記使用辞書に決定し、前記第１の送信手段は、前記登録辞書を有する前記第１の装置である前記辞書保有装置に、前記第１の入力画像および前記使用辞書を示す情報を送信するようにすることができる。

本発明の第２の側面の情報処理装置（例えば、図１５のサービス処理部２６４）においては、前記画像取得手段は、さらに、前記第１の入力画像が属する所定のグループを識別するための第２の入力画像を取得し、前記第２の入力画像を第２の装置に送信する第２の送信手段（例えば、図１５のインデックス情報要求部２８１）と、前記第２の装置から送信されてくる、前記第２の入力画像に基づいて識別された前記グループに属する画像内のオブジェクトに関連する前記関連情報が登録されている前記第１の辞書である登録辞書、および、前記登録辞書を有する前記第１の装置を示すインデックス情報を受信する第２の受信手段（例えば、図１５のインデックス情報受信部２７２）とをさらに含み、前記辞書決定手段は、前記登録辞書を前記使用辞書に決定し、前記第１の送信手段は、前記登録辞書を有する前記第１の装置である前記辞書保有装置に、前記第１の入力画像および前記使用辞書を示す情報を送信するようにすることができる。

本発明の第２の側面の情報処理方法またはプログラムは、入力画像の取得を制御し（例えば、図６のステップＳ４、図１２のステップＳ６２または図１７のステップＳ１０２）、オブジェクトの画像に関するオブジェクト画像情報（例えば、モデル画像情報）と前記オブジェクトに関連する関連情報（例えば、モデル情報）とが登録されている辞書（例えば、モデル辞書）であって、前記入力画像内のオブジェクトに関連する前記関連情報の検索に用いる辞書である使用辞書を決定し（例えば、図６のステップＳ７、図１２のステップＳ６６または図１７のステップＳ１０７）、前記使用辞書を有する装置である辞書保有装置への、前記入力画像および前記使用辞書を示す情報の送信を制御し（例えば、図６のステップＳ８、図１２のステップＳ６７または図１７のステップＳ１０８）、前記辞書保有装置から送信されてくる、前記使用辞書に登録されている前記オブジェクト画像情報に基づいて認識された前記入力画像内の前記オブジェクトに関連する前記関連情報の受信を制御する（例えば、図６のステップＳ９、図１２のステップＳ６８または図１７のステップＳ１０９）ステップを含む。

本発明の第３の側面の情報処理装置（例えば、図５のモデル情報提供部４１）は、オブジェクトの画像に関するオブジェクト画像情報（例えば、モデル画像情報）と前記オブジェクトに関連する関連情報（例えば、モデル情報）とが登録されている辞書（例えば、モデル辞書）を複数用いて情報を検索する情報処理装置であって、他の装置（例えば、図１の端末１１）から送信されてくる、入力画像および使用する前記辞書を指定する情報を受信する受信手段（例えば、図５のモデル情報要求受信部１０１）と、指定された前記辞書である指定辞書に登録されている前記オブジェクト画像情報に基づいて、前記入力画像内のオブジェクトを認識するオブジェクト認識手段（例えば、図５の画像認識部１０３）と、前記オブジェクト認識手段により認識された前記オブジェクトに関連する前記関連情報を前記指定辞書から取得する関連情報取得手段（例えば、図５のモデル情報取得部１０４）と、前記関連情報取得手段により取得された前記関連情報を前記他の装置に送信する送信手段（例えば、図５のモデル情報送信部１０５）とを含む。

本発明の第３の側面の情報処理方法またはプログラムは、オブジェクトの画像に関するオブジェクト画像情報（例えば、モデル画像情報）と前記オブジェクトに関連する関連情報（例えば、モデル情報）とが登録されている辞書（例えば、モデル辞書）を複数用いて情報を検索する情報処理方法、または、オブジェクトの画像に関するオブジェクト画像情報（例えば、モデル画像情報）と前記オブジェクトに関連する関連情報（例えば、モデル情報）とが登録されている辞書（例えば、モデル辞書）を複数用いて情報を検索する情報処理をコンピュータに実行させるプログラムであって、他の装置（例えば、図１の端末１１）から送信されてくる、入力画像および使用する前記辞書を指定する情報の受信を制御し（例えば、図９のステップＳ４１または図２２のステップＳ２４１）、指定された前記辞書である指定辞書に登録されている前記オブジェクト画像情報に基づいて、前記入力画像内のオブジェクトを認識し（例えば、図９のステップＳ４３または図２２のステップＳ２４３）、認識された前記オブジェクトに関連する前記関連情報の前記指定辞書からの取得を制御し（例えば、図９のステップＳ４４または図２２のステップＳ２４４）、取得された前記関連情報の前記他の装置への送信を制御する（例えば、図９のステップＳ４５または図２２のステップＳ２４５）ステップを含む。

本発明の第４の側面の情報処理装置（例えば、図１６のインデックス情報提供部２３１）は、第１の装置（例えば、図１４の端末２１１）から送信されてくる、第１の入力画像が属する所定のグループを識別するための第２の入力画像を受信する受信手段（例えば、図１６の受信部３０１）と、グループを識別するための識別画像に関する識別画像情報（例えば、グループ識別画像情報）と、オブジェクトの画像に関するオブジェクト画像情報（例えば、モデル画像情報）と前記オブジェクトに関連する関連情報（例えば、モデル情報）とが登録されている第１の辞書（例えば、モデル辞書）であって、前記識別画像により識別される前記グループに属する画像内のオブジェクトに関連する関連情報が登録されている前記第１の辞書、および、前記第１の辞書を有する第２の装置（例えば、図１４の情報提供サーバ１３）を示すインデックス情報とが関連づけられて登録されている第２の辞書（例えば、インデックス辞書）に登録されている前記識別画像情報に基づいて、前記第２の入力画像に相当する前記識別画像を特定する識別画像特定手段（例えば、図１６の画像認識部３０２）と、前記識別画像特定手段により特定された前記識別画像に関連づけられている前記インデックス情報を前記第２の辞書から取得する取得手段（例えば、図１６のインデックス情報取得部３０３）とを含む。

本発明の第４の側面の情報処理装置は、前記取得手段により取得された前記インデックス情報を、前記第１の装置に送信する送信手段（例えば、図１６のインデックス情報送信部３０４）をさらに含むようにすることができる。

本発明の第４の側面の情報処理装置は、前記受信手段は、さらに、前記第１の装置から送信されてくる、前記第１の入力画像を受信し、前記取得手段により取得された前記インデックス情報に示される前記第２の装置に、前記第１の入力画像、および、前記インデックス情報に示される前記第１の辞書を示す情報を送信する送信手段（例えば、図１６のモデル情報要求転送部３０５）をさらに含むようにすることができる。

本発明の第４の側面の情報処理方法またはプログラムは、第１の装置（例えば、図１４の端末２１１）から送信されてくる、第１の入力画像が属する所定のグループを識別するための第２の入力画像の受信を制御し（例えば、図１９のステップＳ１２１または図２１のステップＳ２２１）、グループを識別するための識別画像に関する識別画像情報（例えば、グループ識別画像情報）と、オブジェクトの画像に関するオブジェクト画像情報（例えば、モデル画像情報）と前記オブジェクトに関連する関連情報とが登録されている第１の辞書（例えば、モデル辞書）であって、前記識別画像により識別される前記グループに属する画像内のオブジェクトに関連する関連情報（例えば、モデル情報）が登録されている前記第１の辞書、および、前記第１の辞書を有する第２の装置を示すインデックス情報とが関連づけられて登録されている第２の辞書（例えば、インデックス辞書）に登録されている前記識別画像情報に基づいて、前記第２の入力画像に相当する前記識別画像を特定し（例えば、図１９のステップＳ１２２または図２１のステップＳ２２２）、特定された前記識別画像に関連づけられている前記インデックス情報の前記第２の辞書からの取得を制御する（例えば、図１９のステップＳ１２３または図２１のステップＳ２２３）ステップを含む。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した情報処理システムの一実施の形態を示すブロック図である。情報処理システム１は、端末１１−１乃至１１−ｘ、インデックスサーバ１２、および、情報提供サーバ１３−１乃至１３−ｙを含むように構成される。さらに、情報提供サーバ１３−１乃至１３−ｙは、モデル情報提供部４１−１乃至４１−ｙおよびモデル辞書格納部４２−１乃至４２−ｙをそれぞれ含むように構成される。また、端末１１−１乃至１１−ｘ、インデックスリスト提供部３１、および、モデル情報提供部４１−１乃至４１−ｙは、ネットワーク２１を介して相互に接続されている。

なお、以下、端末１１−１乃至１１−ｘを個々に区別する必要がない場合、単に端末１１と称し、情報提供サーバ１３−１乃至１３−ｙを個々に区別する必要がない場合、単に情報提供サーバ１３と称する。また、以下、モデル情報提供部４１−１乃至４１−ｙを個々に区別する必要がない場合、単にモデル情報提供部４１と称し、モデル辞書格納部４２−１乃至４２−ｙを個々に区別する必要がない場合、単にモデル辞書格納部４２と称する。

端末１１は、例えば、携帯電話機、パーソナルコンピュータ、PDA（Personal Digital Assistant）などにより構成される。ユーザは、端末１１に所定のアプリケーションプログラムを実行させることにより、情報処理システム１により実現される所定のサービス（以下、画像検索サービスと称する）を利用することができる。画像検索サービスは、端末１１を利用して、関連する情報を取得したいオブジェクト（以下、検索オブジェクトとも称する）の画像を含む画像を（以下、オブジェクト画像と称する）を情報提供サーバ１３に送信し、情報提供サーバ１３により検索オブジェクトに関連する情報が検索され、検索された情報が端末１１に送信されるサービスである。検索オブジェクトは、視覚的なオブジェクトであり、例えば、人、物体などの有体物、または、風景などの無体物である。

端末１１は、ユーザが画像検索サービスの利用を開始したとき、必要に応じて、インデックスサーバ１２のインデックスリスト提供部３１に、インデックスリストの送信を要求する情報（以下、インデックスリスト要求情報と称する）をネットワーク２１を介して送信する。インデックスリスト提供部３１は、インデックスリスト格納部３２に格納されているインデックスリストを、要求元の端末１１にネットワーク２１を介して送信する。

インデックスリストは、インデックス情報のリストであり、例えば、図２に示されるデータ構造を有する。図２に示される例において、インデックス情報は、情報提供サーバ位置情報、画像認識エンジン識別番号、画像認識エンジン用テキスト、モデル辞書識別番号、および、モデル辞書用テキストにより構成される。

情報提供サーバ位置情報（以下、単に位置情報とも称する）には、同じインデックス情報内の画像認識エンジン識別番号およびモデル辞書識別番号により識別される画像認識エンジンおよびモデル辞書を有し、その画像認識エンジンおよびモデル辞書を用いて情報を検索する情報提供サーバ１３のネットワーク２１上の位置を示す情報（例えば、IPアドレス、ドメイン名など）が設定される。

画像認識エンジン識別番号には、同じインデックス情報内のモデル辞書識別番号により識別されるモデル辞書を用いて、画像認識を行うハードウェアまたはソフトウェアである画像認識エンジンを識別するための番号が設定される。

画像認識エンジン用テキストは、画像認識エンジン識別番号に対応づけられている文字列であり、例えば、画像認識エンジン識別番号により識別される画像認識エンジンの属性（例えば、名前、機能、性能など）や説明などを示す文字列が設定される。

モデル辞書識別番号には、後述するモデル辞書を識別するための番号が設定される。

モデル辞書用テキストは、モデル辞書識別番号に対応づけられている文字列であり、例えば、モデル辞書識別番号により識別されるモデル辞書の属性（例えば、名前、ジャンルなど）や説明などを示す文字列が設定される。

すなわち、インデックス情報を参照することにより、各画像認識エンジンおよびモデル辞書を有する情報提供サーバ１３の位置を特定することができ、逆に言えば、各情報提供サーバ１３が有する画像認識エンジンおよびモデル辞書を特定することができる。

端末１１は、検索オブジェクトに関連する情報の送信を要求する場合、オブジェクト画像、並びに、検索に使用する画像認識エンジンおよびモデル辞書の画像認識エンジン識別番号およびモデル辞書識別番号を含み、検索オブジェクトに関連する情報の送信を要求する情報（以下、モデル情報要求情報と称する）を、検索に使用する画像認識エンジンおよびモデル辞書を有する情報提供サーバ１３のモデル情報提供部４１に、ネットワーク２１を介して送信する。

モデル情報要求情報を受信した情報提供サーバ１３のモデル情報提供部４１は、モデル情報要求情報に基づいて、ユーザにより指定された画像認識エンジンおよびモデル辞書を用いて、検索オブジェクトに関連する情報を検索する。

具体的には、各モデル辞書格納部４２には、１種類以上のモデル辞書が格納されている。モデル辞書とは、各種のオブジェクト（以下、モデルと称する）の画像（以下、モデル画像と称する）に関するモデル画像情報、および、各モデルに関連する情報（以下、モデル情報と称する）が登録されている。モデルは、検索オブジェクトと同様に、視覚的なオブジェクトであり、例えば、人、物体などの有体物、または、風景などの無体物である。モデル画像情報は、例えば、モデル画像そのもの、または、モデル画像から抽出されたモデルの特徴量を示す情報を含む。モデル情報は、例えば、モデルの属性（例えば、価格、大きさ、説明文など）を示す情報、モデルに関連する情報を取得することができるウェブサイトのURL（Uniform Resource Locator）、モデルの画像などを含む。また、各モデルには、各モデルを識別するためのモデル番号が設定されている。

１つのモデル辞書には、同様の特徴を有するモデルのモデル画像情報およびモデル情報が登録されている。また、各モデル辞書には、モデル辞書に登録されているモデル画像情報に基づいて画像認識を行うように特化された画像認識エンジンが１つ以上準備されている。なお、１つの画像認識エンジンが複数のモデル辞書に対応する場合もある。

図３は、モデル辞書格納部４２に格納されているモデル辞書の具体例を示す図である。例えば、モデル辞書格納部４２Ａは、雑誌Ａに掲載されている写真（画像）内のオブジェクトであるモデルに関するモデル画像情報とモデル情報が登録されているモデル辞書４２Ａ−１乃至４２Ａ−３を格納する。モデル辞書４２Ａ−１乃至４２Ａ−３は、雑誌Ａの各号により分類されており、モデル辞書４２Ａ−１は、雑誌Ａの５月号に対応する（雑誌Ａの５月号に掲載されている写真（画像）内のオブジェクトに関するモデル画像情報とモデル情報が登録されている）モデル辞書であり、モデル辞書４２Ａ−２は、雑誌Ａの６月号に対応するモデル辞書であり、モデル辞書４２Ａ−３は、雑誌Ａの７月号に対応するモデル辞書である。

また、例えば、モデル辞書格納部４２Ｂは、カタログＢに掲載されている写真（画像）内のオブジェクト（例えば、商品など）であるモデルに関するモデル画像情報とモデル情報が登録されているモデル辞書４２Ｂ−１乃至４２Ｂ−３を格納する。モデル辞書４２Ｂ−１乃至４２Ｂ−３は、カタログＢに掲載されている商品のジャンル（例えば、食品、衣類、電化製品など）により分類されており、モデル辞書４２Ｂ−１は、カテゴリＡに対応する（カテゴリＡに属するオブジェクトに関するモデル画像情報とモデル情報が登録されている）モデル辞書であり、モデル辞書４２Ｂ−２は、カテゴリＢに対応するモデル辞書であり、モデル辞書４２Ｂ−３は、カテゴリＣに対応するモデル辞書である。

さらに、例えば、モデル辞書格納部４２Ｃは、所定のサービスＣ（例えば、お酒の宅配サービス）が提供するオブジェクト（例えば、お酒）であるモデルに関するモデル画像情報とモデル情報が登録されているモデル辞書４２Ｃ−１乃至４２Ｃ−３を格納する。モデル辞書４２Ｃ−１乃至４２Ｃ−３は、サービスＣにより提供されるサービスまたは商品などのジャンル（例えば、ワイン、日本酒、ビールなど）により分類されており、モデル辞書４２Ｃ−１は、カテゴリＤに対応する（カテゴリＤに属するオブジェクトに関するモデル画像情報とモデル情報が登録されている）モデル辞書であり、モデル辞書４２Ｃ−２は、カテゴリＥに対応するモデル辞書であり、モデル辞書４２Ｃ−３は、カテゴリＦに対応するモデル辞書である。

図１に戻り、モデル情報提供部４１は、モデル辞書格納部４２に格納されているモデル辞書であって、モデル情報要求情報に含まれるモデル辞書識別番号により識別されるモデル辞書に登録されているモデル画像情報に基づいて、モデル情報要求情報に含まれる画像認識エンジン識別番号により識別される画像認識エンジンを用いて、モデル情報要求情報に含まれるオブジェクト画像内の検索オブジェクトを認識する。換言すれば、モデル情報提供部４１は、モデル情報要求情報により指定されたモデル辞書にモデル画像情報およびモデル情報が登録されているモデルのうち、オブジェクト画像内の検索オブジェクトに最も近いモデルを特定する。モデル情報提供部４１は、特定したモデルに関連するモデル情報およびモデル番号を、要求元の端末１１に、ネットワーク２１を介して送信する。

図４は、図１の端末１１の機能の構成の例を示すブロック図である。端末１１は、画像入力部６１、操作部６３、表示部６２、および、サービス処理部６４を含むように構成される。サービス処理部６４は、インデックスリスト取得部７１、画像取得部７２、インデックス情報検出部７３、送信サーバ決定部７４、モデル情報要求部７５、モデル情報受信部７６、および、表示制御部７７を含むように構成される。

画像入力部６１は、例えば、デジタルカメラ、スキャナー、各種の画像再生装置または画像記録再生装置（例えば、DVD（Digital Versatile Disc）プレイヤー、ハードディディスクレコーダなど）、画像を記録する各種の記録装置（例えば、ハードディスクドライブ、半導体メモリなど）など画像を処理する画像処理装置により構成される。画像入力部６１は、検索オブジェクトの画像を含むオブジェクト画像を画像取得部７２に供給する。なお、以下、画像入力部６１が、デジタルカメラ（例えば、端末１１が携帯電話機である場合、携帯電話機に設けられているデジタルカメラ）である場合の例を説明する。

表示部６２は、例えば、LCD（Liquid Crystal Display）、CRT（Cathode-ray Tube）などのディスプレイにより構成され、表示制御部７７の制御の基に、各種の情報をテキストあるいはイメージなどで表示する。

操作部６３は、端末１１に対する操作をユーザが行うための機器であって、例えば、キーボード、マウス、リモコン、タッチパネル、マイク等で構成される。操作部６３を利用してユーザが入力した操作内容、正確には、その操作内容を示す情報は、送信サーバ決定部７４および表示制御部７７に供給される。

サービス処理部６４は、例えば、端末１１の図示せぬCPU（Central Processing Unit）が画像検索サービスを利用するためのアプリケーションプログラムを実行することにより実現され、画像検索サービスを利用するための各種の機能を提供する。

インデックスリスト取得部７１は、ネットワーク２１を介して、インデックスリスト要求情報をインデックスサーバ１２に送信し、インデックスリストをインデックスサーバ１２から受信する。インデックスリスト取得部７１は、受信したインデックスリストを送信サーバ決定部７４および表示制御部７７に供給する。

画像取得部７２は、画像入力部６１から入力される各種の画像を、必要に応じて、インデックス情報検出部７３、送信サーバ決定部７４、または、表示制御部７７に供給する。例えば、画像取得部７２は、画像入力部６１から入力されるオブジェクト画像を、送信サーバ決定部７４および表示制御部７７に供給する。また、例えば、画像取得部７２は、画像入力部６１から入力されるインデックス情報を示す画像（以下、インデックス画像と称する）をインデックス情報検出部７３および表示制御部７７に供給する。

インデックス情報検出部７３は、インデックス画像を解析することにより、インデックス画像により示されるインデックス情報を検出する。インデックス情報検出部７３は、検出したインデックス情報を送信サーバ決定部７４および表示制御部７７に供給する。

送信サーバ決定部７４は、ユーザによる画像認識エンジンおよびモデル辞書の選択結果を示す情報を操作部６３から取得する。送信サーバ決定部７４は、インデックス情報検出部７３により検出されたインデックス情報に示される画像認識エンジンおよびモデル辞書、または、ユーザにより指定された画像認識エンジンおよびモデル辞書を有する情報提供サーバ１３の位置情報を、インデックスリストの中から検索する。送信サーバ決定部７４は、インデックスリストの中から検索した情報提供サーバ１３の位置情報、オブジェクト画像、並びに、インデックス情報検出部７３により検出されたインデックス情報に示される画像認識エンジン識別番号およびモデル辞書識別番号、または、ユーザにより指定された画像認識エンジンおよびモデル辞書の画像認識エンジン識別番号およびモデル辞書識別番号をモデル情報要求部７５に供給する。

モデル情報要求部７５は、送信サーバ決定部７４から供給されたオブジェクト画像、画像認識エンジン識別番号、および、モデル辞書識別番号を含み、オブジェクト画像内の検索オブジェクトに関連するモデル情報の送信を要求するモデル情報要求情報を、送信サーバ決定部７４から供給された位置情報に示される位置にある情報提供サーバ１３に、ネットワーク２１を介して送信する。

モデル情報受信部７６は、モデル情報の送信を要求した情報提供サーバ１３から、ネットワーク２１を介して、モデル情報を受信する。モデル情報受信部７６は、受信したモデル情報を表示制御部７７に供給する。

表示制御部７７は、表示部６２を制御して、各種の画像を表示させる。

図５は、図１の情報提供サーバ１３のモデル情報提供部４１の機能の構成の例を示すブロック図である。モデル情報提供部４１は、モデル情報要求受信部１０１、モデル辞書決定部１０２、画像認識部１０３、モデル情報取得部１０４、および、モデル情報送信部１０５を含むように構成される。

モデル情報要求受信部１０１は、ネットワーク２１を介して、端末１１からモデル情報要求情報を受信し、受信したモデル情報要求情報をモデル情報決定部１０２に供給する。

モデル辞書決定部１０２は、モデル情報要求情報に含まれる画像認識エンジン識別番号およびモデル辞書識別番号により識別されるモデル辞書および画像認識エンジンの使用を指示する情報、並びに、オブジェクト画像を画像認識部１０３に供給する。

画像認識部１０３は、モデル辞書格納部４２に格納されているモデル辞書であって、使用が指示されたモデル辞書に登録されているモデル画像情報に基づいて、使用が指示された画像認識エンジンを用いて、オブジェクト画像内の検索オブジェクトを認識する。換言すれば、画像認識部１０３は、指示されたモデル辞書にモデル画像情報およびモデル情報が登録されているモデルのうち、オブジェクト画像内の検索オブジェクトに最も近いモデルを特定する。画像認識部１０３は、特定したモデルのモデル番号、および、使用したモデル辞書を示す情報をモデル情報取得部１０４に供給する。

モデル情報取得部１０４は、画像認識部１０３により特定されたモデルに関連するモデル情報を、画像認識部１０３が使用したモデル辞書から取得する。モデル情報取得部１０４は、取得したモデル情報およびモデル番号をモデル情報送信部１０５に供給する。

モデル情報送信部１０５は、検索オブジェクトに関連する情報として、取得したモデル情報およびモデル番号を、モデルネットワーク２１を介して、モデル情報の要求元の端末１１に送信する。

次に、図６乃至図９を参照して、情報処理システム１により実行される処理を説明する。

まず、図６のフローチャートを参照して、端末１１により実行されるモデル情報取得処理を説明する。なお、この処理は、例えば、ユーザが操作部６３を操作して、画像検索サービスを利用するためのアプリケーションプログラムを端末１１に実行させたとき開始される。

ステップＳ１において、インデックスリスト取得部７１は、インデックスリストの送信を要求する。具体的には、インデックスリスト取得部７１は、予めアプリケーションプログラムに位置情報（例えば、IPアドレス、URLなど）が記録されているインデックスサーバ１２に、ネットワーク２１を介して、インデックスリスト要求情報を送信する。

インデックスサーバ１２は、後述する図８のステップＳ２１において、インデックスリスト要求情報を受信し、ステップＳ２２において、インデックスリスト要求情報に対応して、インデックスリストを要求元の端末１１に送信する。

ステップＳ２において、インデックスリスト取得部７１は、インデックスリストを受信する。具体的には、インデックスリスト取得部７１は、インデックスサーバ１２から、ネットワーク２１を介して、インデックスリストを受信する。インデックスリスト取得部７１は、受信したインデックスリストを、送信サーバ決定部７４および表示制御部７７に供給する。

ステップＳ３において、表示部６２は、オブジェクト画像の入力ガイダンスを表示する。具体的には、表示部６２は、表示制御部７７の制御の基に、関連する情報を取得したい検索オブジェクトの画像を含むオブジェクト画像の入力を促すガイダンス（例えば、検索オブジェクトの撮影を促すガイダンス）を表示する。

ステップＳ４において、画像取得部７２は、オブジェクト画像を取得する。具体的には、例えば、ユーザは、オブジェクト画像の入力ガイダンスに従って、デジタルカメラである画像入力部６１により、検索オブジェクトを撮影する。画像入力部６１は、検索オブジェクトの画像を含むオブジェクト画像を画像取得部７２に供給する。画像取得部７２は、取得したオブジェクト画像を送信サーバ決定部７４および表示制御部７７に供給する。

例えば、ユーザは、雑誌Ａの５月号に掲載されている商品（検索オブジェクト）に関する情報を取得したい場合、その写真を画像入力部６１により撮影する。画像入力部６１は、ユーザにより撮影された画像（オブジェクト画像）を画像取得部７２に供給する。

なお、デジタルカメラにより検索オブジェクトを撮影してオブジェクト画像を取得する以外にも、例えば、検索オブジェクトが写っている写真をスキャナーにより読み込んだり、検索オブジェクトの画像を含む画像を、記録媒体に記録されていたり、他の情報処理装置が提供する各種のコンテンツ（例えば、電子書籍、映像コンテンツ、画像ファイルなど）から取得することも可能である。

ステップＳ５において、表示部６２は、画像認識エンジンおよびモデル辞書の選択メニューを表示する。具体的には、表示制御部７７は、インデックスリストおよびオブジェクト画像に基づいて、選択メニューを表示させるための画像を生成する。表示制御部７７は、生成した画像を表示部６２に供給し、表示部６２に選択メニューを表示させる。

図７は、表示部６２に表示される選択メニューの例を示す図である。図７に示される例において、選択メニューには、オブジェクト画像１３１、画像認識エンジン選択リスト１３２、モデル辞書選択リスト１３３、および、検索ボタン１３４が表示されている。オブジェクト画像１３１は、ステップＳ４において取得されたオブジェクト画像であり、検索オブジェクト１３１Ａの画像を含んでいる。

画像認識エンジン選択リスト１３２は、ユーザが利用することができる画像認識エンジンを一覧にして表示したものである。具体的には、画像認識エンジン選択リスト１３２には、ステップＳ２において取得したインデックスリストに含まれるインデックス情報に示される画像認識エンジン用テキストが一覧にして表示される。図７の例において、ユーザは、雑誌Aに掲載されている写真（画像）内のオブジェクトの認識に特化された画像認識エンジン、カタログＢに掲載されている写真（画像）内のオブジェクトに認識に特化された画像認識エンジン、所定のサービスＣ（例えば、お酒の宅配サービス）で提供される商品の認識に特化された画像認識エンジン、および、会社Ｄの製品の認識に特化された画像認識エンジンの４種類の中から画像認識エンジンを選択することができる。

モデル辞書選択リスト１３３は、ユーザが利用することができるモデル辞書であって、画像認識エンジン選択リスト１３２の中からユーザが選択した画像認識エンジンに対応するモデル辞書を一覧にして表示したものである。具体的には、モデル辞書選択リスト１３３には、ステップＳ２において取得したインデックスリストに含まれるインデックス情報に示されるモデル辞書用テキストのうち、画像認識エンジン選択リスト１３２の中から選択された画像認識エンジンに対応するモデル辞書のモデル辞書用テキスト、または、それらの組み合わせが一覧にして表示される。図７は、画像認識エンジン選択リスト１３２の中から雑誌Aに掲載されている写真（画像）内のオブジェクトの認識に特化された画像認識エンジンが選択された例を示しており、ユーザは、モデル情報を検索するモデル辞書を、雑誌Ａの５月号に対応するモデル辞書、６月号に対応するモデル辞書、７月号に対応するモデル辞書、および、５月号から７月号までの全てのモデル辞書のうちいずれかを指定することができる。

ステップＳ６において、送信サーバ決定部７４は、画像認識エンジンおよびモデル辞書の選択結果を取得する。具体的には、ユーザが、操作部６３を操作することにより、選択メニューの中から、利用する画像認識エンジンおよびモデル辞書を選択した後、検索ボタン１３４を押下した場合、操作部６３は、画像認識エンジンおよびモデル辞書の選択結果を示す情報を送信サーバ決定部７４に供給する。

例えば、ユーザは、雑誌Ａの５月号に掲載されている写真を画像入力部６１により撮影したオブジェクト画像を画像取得部７２に入力した場合、操作部６３を操作することにより、画像認識エンジン選択リスト１３２の中から雑誌Ａを選択し、モデル辞書選択リスト１３３の中から５月号を選択した後、検索ボタン１３４を押下する。操作部６３は、画像認識エンジンおよびモデル辞書の選択結果を示す情報、具体的には、ユーザにより選択された画像認識エンジン用テキスト「雑誌Ａ」およびモデル辞書用テキスト「５月号」を示す情報を送信サーバ決定部７４に供給する。

ステップＳ７において、送信サーバ決定部７４は、モデル情報の要求先を決定する。送信サーバ決定部７４は、取得した選択結果に示される（ユーザにより指定された）画像認識エンジンおよびモデル辞書を、モデル情報の検索に用いる画像認識エンジンおよびモデル辞書に決定する。また、送信サーバ決定部７４は、ユーザにより指定された画像認識エンジンおよびモデル辞書を有する情報提供サーバ１３の位置情報を、インデックスリストの中から検索し、検索した位置情報に示される位置にある情報提供サーバ１３をモデル情報の要求先に決定する。送信サーバ決定部７４は、オブジェクト画像、ユーザにより指定された画像認識エンジンおよびモデル辞書の画像認識エンジン識別番号およびモデル辞書識別番号、並びに、インデックスリストから検索した情報提供サーバ１３の位置情報をモデル情報要求部７５に供給する。

ステップＳ８において、モデル情報要求部７５は、モデル情報の送信を要求する。具体的には、モデル情報要求部７５は、送信サーバ決定部７４から供給された画像認識エンジン識別番号およびモデル辞書識別番号、並びに、オブジェクト画像を含み、オブジェクト画像内の検索オブジェクトに関連するモデル情報の送信を要求するモデル情報要求情報を、送信サーバ決定部７４から供給された位置情報に示される位置にある情報提供サーバ１３、すなわち、ユーザにより指定された画像認識エンジンおよびモデル辞書を有する情報提供サーバ１３に、ネットワーク２１を介して送信する。

モデル情報の要求先の情報提供サーバ１３は、後述する図９のステップＳ４１において、モデル情報要求情報を受信し、ステップＳ４５において、モデル情報要求情報に対応して、検索オブジェクトに関連するモデル情報およびモデル番号を、モデル情報の要求元の端末１１に送信する。

ステップＳ９において、モデル情報受信部７６は、モデル情報を受信する。具体的には、モデル情報受信部７６は、モデル情報の送信を要求した情報提供サーバ１３から、ネットワーク２１を介して、検索オブジェクトに関連するモデル情報およびモデル番号を受信する。モデル情報受信部７６は、受信したモデル情報およびモデル番号を表示制御部７７に供給する。

ステップＳ１０において、表示部６２は、モデル情報を表示し、モデル情報取得処理は終了する。具体的には、表示部６２は、表示制御部７７の制御の基に、取得したモデル情報を表示する。例えば、検索オブジェクトの属性、検索オブジェクトに関連する情報を取得することができるウェブサイト、検索オブジェクトのの画像などが表示部６２に表示される。

次に、図８のフローチャートを参照して、端末１１による図６のモデル情報取得処理に対応して、インデックスリストの送信が要求されたインデックスサーバ１２により実行されるインデックスリスト提供処理を説明する。

ステップＳ２１において、インデックスリスト提供部３１は、インデックスリスト要求情報を受信する。具体的には、インデックスリスト提供部３１は、上述した図６のステップＳ１において端末１１により送信されたインデックスリスト要求情報を、ネットワーク２１を介して受信する。

ステップＳ２２において、インデックスリスト提供部３１は、インデックスリストを送信して、インデックスリスト提供処理は終了する。具体的には、インデックスリスト提供部３１は、インデックスリスト格納部３２に格納されているインデックスリストを、インデックスリストの要求元の端末１１に、ネットワーク２１を介して送信する。

次に、図９のフローチャートを参照して、端末１１による図６のモデル情報取得処理に対応して、モデル情報の送信が要求された情報提供サーバ１３により実行されるモデル情報提供処理を説明する。

ステップＳ４１において、モデル情報要求受信部１０１は、モデル情報要求情報を受信する。具体的には、モデル情報要求受信部１０１は、上述した図６のステップＳ８において端末１１により送信されたモデル情報要求情報を、ネットワーク２１を介して受信する。モデル情報要求受信部１０１は、受信したモデル情報要求情報をモデル辞書決定部１０２に供給する。

ステップＳ４２において、モデル辞書決定部１０２は、使用するモデル辞書を決定する。具体的には、モデル辞書決定部１０２は、モデル情報要求情報に含まれる（ユーザにより指定された）モデル情報識別番号および画像認識エンジン識別番号に基づいて、モデル情報の検索に用いるモデル辞書および画像認識エンジンを決定する。モデル辞書決定部１０２は、決定した画像認識エンジンおよびモデル辞書を用いてモデル情報を検索するように指示する情報、並びに、オブジェクト画像を画像認識部１０３に供給する。

ステップＳ４３において、画像認識部１０３は、検索オブジェクトを認識する。具体的には、画像認識部１０３は、ユーザにより指定されたモデル辞書に登録されているモデル画像情報に基づいて、ユーザにより指定された画像認識エンジンを用いて、オブジェクト画像内の検索オブジェクトを認識する。これにより、ユーザにより指定されたモデル辞書にモデル画像情報およびモデル情報が登録されているモデルのうち、検索オブジェクトに最も近いモデルが特定される。画像認識部１０３は、特定したモデルのモデル番号、および、使用したモデル辞書を示す情報をモデル情報取得部１０４に供給する。なお、このとき用いられる画像認識の手法は、特定の手法に限定されるものではなく、検索オブジェクトをより高速かつ正確に認識することができる手法を用いるようにするのが望ましい。

ステップＳ４４において、モデル情報取得部１０４は、モデル情報を取得する。具体的には、モデル情報取得部１０４は、検索オブジェクトに特定されたモデルに関連するモデル情報を、画像認識部１０３が使用したモデル辞書から取得する。モデル情報取得部１０４は、取得したモデル情報およびモデル番号をモデル情報送信部１０５に供給する。

ステップＳ４５において、モデル情報送信部１０５は、モデル情報を送信して、モデル情報提供処理は終了する。具体的には、モデル情報送信部１０５は、検索オブジェクトに関連する情報として、取得したモデル情報およびモデル番号を、ネットワーク２１を介して、モデル情報の要求元の端末１１に送信する。

以上のように、ユーザは、モデル情報の検索に用いる画像認識エンジンおよびモデル辞書を指定して、検索オブジェクトの画像を含むオブジェクト画像を情報提供サーバ１３に送信するだけで、簡単に検索オブジェクトに関連するモデル情報を取得することができる。また、モデル情報を検索するモデル辞書が限定され、かつ、各モデル辞書に特化された画像認識エンジンが用いられるので、モデル情報の検索がより正確かつ高速になる。従って、ユーザは、より迅速に所望の情報を取得することができる。また、インデックスリストを適宜更新するようにすることにより、最新の情報を取得できるモデル辞書が選択され、最新の情報を取得することができるようになる。

なお、各モデル辞書を使用する画像認識エンジンが、各モデル辞書に対してそれぞれ１種類に限定される場合、モデル辞書が決まれば、画像認識エンジンも決定されるので、画像認識エンジンに関する情報をインデックス情報に必ずしも含める必要はない。

また、例えば、上述した図６のステップＳ５において表示される選択メニューを、図１０に示されるようにしてもよい。図１０に示される選択メニューは、図７に示される選択メニューと比較して、オブジェクト画像１３１および検索ボタン１３４が表示される点が共通し、画像認識エンジン選択リスト１３２およびモデル辞書選択リスト１３３の代わりに、リンク先リスト１４１が表示されている点が異なる。リンク先リスト１４１の各項目には、モデル情報の検索に用いる画像認識エンジンおよびモデル辞書を示すテキストが表示され、各テキストには、テキストに示される画像認識エンジンおよびモデル辞書を有する情報提供サーバ１３の位置情報を示すハイパーリンクが埋め込まれている。ユーザは、操作部６３を用いて、リンク先リスト１４１の中の所望の項目を選択することにより、モデル情報の検索に用いる情報提供サーバ１３、画像認識エンジン、および、モデル辞書を指定することができる。

図１１は、図１０の選択メニューを表示させる場合のインデックス情報のデータ構造の例を示す図である。図１１に示されるインデックス情報は、図２に示されるインデックス情報と比較して、情報提供サーバ位置情報、画像認識エンジン識別番号、および、モデル辞書識別番号を含む点が共通し、リンク文字列を含み、画像認識エンジン用テキストおよびモデル辞書用テキストを含まない点が異なる。なお、リンク文字列には、図１０の選択メニューのリンク先リスト１４１の各項目に表示されるテキストが設定される。

なお、例えば、雑誌やカタログなどの表紙に、その雑誌やカタログなどに掲載されている画像内のオブジェクトに関連するモデル情報の取得先を示す、例えば図２に示されるデータ構造を有するインデックス情報を示すインデックス画像を印刷しておき、インデックス画像からインデックス情報を検出するようにしてもよい。図１２のフローチャートを参照して、インデックス情報をインデックス画像から取得するようにした場合に、端末１１により実行されるモデル情報取得処理を説明する。なお、この処理は、例えば、ユーザが操作部６３を操作して、画像検索サービスを利用するためのアプリケーションプログラムを端末１１に実行させたとき開始される。

ステップＳ６１において、上述した図６のステップＳ３の処理と同様に、表示部６２にオブジェクト画像の入力ガイダンスが表示される。

ステップＳ６２において、上述した図６のステップＳ４の処理と同様に、画像取得部７２は、画像入力部６１よりオブジェクト画像を取得する。画像取得部７２は、取得したオブジェクト画像を送信サーバ決定部７４および表示制御部７７に供給する。

ステップＳ６３において、表示部６２は、インデックス画像の入力ガイダンスを表示する。具体的には、表示部６２は、表示制御部７７の制御の基に、例えば、ステップＳ６２においてオブジェクト画像が撮影されたページを含む雑誌またはカタログなどの表紙や裏表紙などに印刷されているインデックス画像（例えば、バーコード、２次元コードなどの識別コード）の入力を促すガイダンスを表示する。

ステップＳ６４において、画像取得部７２は、インデックス画像を取得する。具体的には、例えば、ユーザは、デジタルカメラである画像入力部６１により、インデックス画像を撮影する。画像入力部６１は、撮影したインデックス画像をインデックス情報検出部７３および表示制御部７７に供給する。

ステップＳ６５において、インデックス情報検出部７３は、インデックス情報を検出する。具体的には、インデックス情報７３は、インデックス画像を解析することにより、インデックス画像に示されるインデックス情報を検出する。例えば、インデックス情報が図２に示されるデータ構造を有する場合、情報提供サーバ位置情報、画像認識エンジン識別番号、画像認識エンジン用テキスト、モデル辞書識別番号、および、モデル辞書用テキストが検出される。インデックス情報検出部７３は、検出したインデックス情報を送信サーバ決定部７４および表示制御部７７に供給する。

表示部６２は、表示制御部７７の制御の基に、例えば、図１３に示される検索画面を表示する。図１３の検索画面には、オブジェクト画像１５１、インデックス画像１５２、インデックス画像から検出されたインデックス情報に示される画像認識エンジン用テキストおよびモデル辞書用テキストからなる文字列１５３、並びに、検索ボタン１５４が表示される。

ステップＳ６６において、送信サーバ決定部７４は、モデル情報の要求先を決定する。具体的には、ユーザが、操作部６３を操作することにより、図１３の検索画面の検索ボタン１５４を押下した場合、操作部６３は、検索ボタン１５４が押下されたことを示す情報を、送信サーバ決定部７４に供給する。送信サーバ決定部７４は、ステップＳ６５において取得したインデックス情報に示される画像認識エンジンおよびモデル辞書を、モデル情報の検索に用いる画像認識エンジンおよびモデル辞書に決定する。また、送信サーバ決定部７４は、インデックス情報内の位置情報に示される位置にある情報提供サーバ１３をモデル情報の要求先に決定する。送信サーバ決定部７４は、オブジェクト画像、並びに、インデックス情報に示される画像認識エンジン識別番号、モデル辞書識別番号、および、情報提供サーバ１３の位置情報をモデル情報要求部７５に供給する。

ステップＳ６７乃至Ｓ６９の処理は、上述した図６のステップＳ８乃至Ｓ１０の処理と同様であり、その説明は、繰り返しになるので省略する。

なお、端末１１による図１２のモデル情報取得処理に対応して実行される、情報提供サーバ１３によるモデル情報提供処理は、上述した図９のモデル情報提供処理と同様であり、その説明は繰り返しになるので省略する。

これにより、ユーザが検索に用いる画像認識エンジンおよびモデル辞書を指定しなくても、検索オブジェクトに関連するモデル情報を簡単に取得することができるようになる。例えば、あるカタログの任意のページと、カタログの表紙に印刷されているインデックス画像を撮影して、検索ボタン１５４を押下するだけで、カタログの任意のページ内のオブジェクトに関連する情報を取得することができる。

なお、インデックス画像は上述した識別コードに限定されず、インデックス情報を示すことができる画像であれば、特にその方式は限定されない。また、インデックス情報を示すテキストの画像を用いて、テキストの内容を文字認識することによりインデックス情報を検出するようにしてもよい。

また、例えば、雑誌やカタログなどの各ページにインデックス画像をウォーターマークとして埋め込んでおき、埋め込まれたウォーターマークからインデックス情報を検出するようにしてもよい。この場合、オブジェクト画像にインデックス画像が含まれるようになり、画像を取り込む回数を削減することができ、より簡単に検索オブジェクトに関連するモデル情報を取得することができるようになる。

さらに、インデックス画像を、例えば、インデックスサーバ１２などの他の装置に送信して、他の装置でインデックス情報の検出を行うようにしてもよい。

また、インデックス画像を、例えば、バーコードリーダーなど専用の装置により取り込み、解析するようにしてもよい。

次に、図１４乃至図２１を参照して、本発明の他の実施の形態について説明する。

図１４は、本発明を適用した情報処理システムの一実施の形態を示すブロック図である。なお、図中、図１と対応する部分については同じ符号または下２桁が同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。

情報処理システム２０１は、図１の情報処理システム１と比較して、情報提供サーバ１３−１乃至１３−ｙを含む点が共通し、端末１１−１乃至１１−ｘおよびインデックスサーバ１２の代わりに、端末２１１−１乃至２１１−ｘおよびインデックスサーバ２１２を含む点が異なる。また、インデックスサーバ２１２は、インデックス情報提供部２３１およびインデックス辞書格納部２３２を含むように構成される。さらに、端末２１１−１乃至２１１−ｘ、インデックス情報提供部２３１、および、モデル情報提供部４１−１乃至４１−ｙは、ネットワーク２１を介して相互に接続されている。

なお、以下、端末２１１−１乃至２１１−ｘを個々に区別する必要がない場合、単に端末２１１と称する。

端末２１１は、例えば、携帯電話機、パーソナルコンピュータ、PDA（Personal Digital Assistant）などにより構成される。ユーザは、端末２１１に所定のアプリケーションプログラムを実行させることにより、情報処理システム２０１により実現される画像検索サービスを利用することができる。

端末２１１は、オブジェクト画像（より厳密に言えば、オブジェクト画像内の画像）が属するグループ（以下、画像グループとする）を識別するための画像（以下、グループ識別画像と称する）を含み、グループ識別画像により識別される画像グループに属する画像内のオブジェクトに関連するモデル情報の取得先を示す、例えば図２に示されるデータ構造を有するインデックス情報の送信を要求するインデックス情報要求情報を、ネットワーク２１を介して、インデックスサーバ２１２のインデックス情報提供部２３１に送信する。

画像グループは、例えば、画像の出所（例えば、各種書籍、電子書籍、映像コンテンツ、カタログ、画像ファイルの種類など）などにより分類される。例えば、雑誌Ａの５月号に掲載されている画像の画像グループ、ジャンルＢのカタログＣに掲載されている画像の画像グループ、映像コンテンツのタイトルＤに含まれる画像の画像グループというように画像グループ分類される。また、同じ画像グループに属する画像内のオブジェクトに関連するモデル情報は、全て同じモデル辞書に登録される。例えば、雑誌Ａの５月号の画像グループに属する画像（雑誌Ａの５月号に掲載されている画像）内のオブジェクトに関連するモデル情報は、同じモデル辞書（例えば、図３のモデル辞書４２Ａ−１）に登録される。

なお、１つのモデル辞書に複数の画像グループに属する画像内のオブジェクトに関連するモデル情報を登録するようにしてもよい。例えば、１つのモデル辞書に、雑誌Ａの５月号の画像グループに属する画像内のオブジェクトに関連するモデル情報、および、雑誌Ａの６月号の画像グループに属する画像内のオブジェクトに関連するモデル情報を登録するようにしてもよい。

また、グループ識別画像は、例えば、そのグループ識別画像により識別される画像グループを代表する画像であり、例えば、雑誌やカタログなどの書物や書類の表紙の画像とされる。

インデックス情報提供部２３１は、図１９を参照して後述するように、インデックス辞書格納部２３２に格納されているインデックス辞書に登録されているインデックス情報の中から、グループ識別画像に対応するインデックス情報を検索する。インデックス情報提供部２３１は、検索したインデックス情報を、要求元の端末２１１にネットワーク２１を介して送信する。

インデックス辞書は、各種の画像グループのグループ識別画像に関するグループ識別画像情報と、グループ識別画像により識別される画像グループに属する画像内のオブジェクトに関連するモデル情報の取得先を示す、例えば図２に示されるデータ構造を有するインデックス情報とが関連づけられて登録されている辞書である。グループ識別画像情報は、例えば、グループ識別画像そのもの、または、グループ識別画像から抽出された特徴量を示す情報を含む。

すなわち、インデックス辞書を参照することにより、グループ識別画像により識別される画像グループに属する画像内のオブジェクトに関連するモデル情報が登録されているモデル辞書、そのモデル辞書を使用する画像認識エンジン、および、そのモデル辞書および画像認識エンジンを有する情報提供サーバを特定することができる。

また、端末２１１は、オブジェクト画像およびグループ識別画像を含み、オブジェクト画像内の検索オブジェクトに関するモデル情報の送信を要求するモデル情報要求情報を、インデックスサーバ２１２のインデックス情報提供部２３１に、ネットワーク２１を介して送信する。

インデックス情報提供部２３１は、図２１を参照して後述するように、インデックス辞書格納部２３２に格納されているインデックス辞書に登録されているインデックス情報の中から、グループ識別画像に対応するインデックス情報を検索する。インデックス情報提供部２３１は、検索したインデックス情報に示される画像認識エンジン識別番号およびモデル辞書識別番号をモデル情報要求情報に追加するとともに、モデル情報要求情報からグループ識別画像を削除する。インデックス情報提供部２３１は、検索したインデックス情報内の位置情報に示される位置にある情報提供サーバ１３のモデル情報提供部４１に、内容を変更したモデル情報要求情報を、ネットワーク２１を介して送信する。

図１５は、図１４の端末２１１の機能の構成の例を示すブロック図である。なお、図中、図４と対応する部分については同じ符号または下２桁が同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。

端末２１１は、図４の端末１１と比較して、画像入力部６１、表示部６２、および、操作部６３が設けられている点が共通し、サービス処理部６４の代わりにサービス処理部２６４が設けられている点が異なる。また、サービス処理部２６４は、画像取得部２７２、送信サーバ決定部２７４、モデル情報要求部２７５、モデル情報受信部２７６、表示制御部２７７、インデックス情報要求部２８１、および、インデックス情報受信部２８２を含むように構成される。

操作部６３を利用してユーザが入力した操作内容、正確には、その操作内容を示す情報は、表示制御部２７７またはインデックス情報要求部２８１に供給される。

画像取得部２７２は、画像入力部６１から入力される各種の画像を、必要に応じて、インデックス情報検出部７３、送信サーバ決定部７４、モデル情報要求部２７５、または、表示制御部７７に供給する。例えば、画像取得部２７２は、画像入力部６１から入力されるオブジェクト画像を、送信サーバ決定部２７４、モデル情報要求部２７５、または、表示制御部２７７に供給する。また、例えば、画像取得部２７２は、画像入力部６１から入力されるグループ識別画像を、モデル情報要求部２７５またはインデックス情報要求部２８１に供給する。

送信サーバ決定部２７４は、インデックス情報受信部２８２からインデックス情報を取得した場合、オブジェクト画像、インデックス情報に示される画像認識エンジン識別番号、モデル辞書識別番号、および、情報提供サーバ１３の位置情報をモデル情報要求部２７５に供給する。

モデル情報要求部２７５は、オブジェクト画像、画像認識エンジン識別番号、モデル辞書識別番号、および、情報提供サーバ１３の位置情報を送信サーバ決定部２７４から取得した場合、取得したオブジェクト画像、画像認識エンジン識別番号、および、モデル辞書識別番号を含み、オブジェクト画像内の検索オブジェクトに関連するモデル情報の送信を要求するモデル情報要求情報を、取得した位置情報に示される位置にある情報提供サーバ１３に、ネットワーク２１を介して送信する。

また、モデル情報要求部２７５は、オブジェクト画像およびグループ識別画像を画像取得部２７２から取得した場合、オブジェクト画像およびグループ識別画像を含み、オブジェクト画像内の検索オブジェクトに関するモデル情報の送信を要求するモデル情報要求情報を、インデックスサーバ２１２に、ネットワーク２１を介して送信する。

インデックス情報要求部２８１は、グループ識別画像を含み、グループ識別画像により識別されるグループに属する画像内のオブジェクトに関連するモデル情報の取得先を示すインデックス情報の送信を要求するインデックス情報要求情報を、ネットワーク２１を介して、インデックスサーバ２１２に送信する。

インデックス情報受信部２８２は、ネットワーク２１を介して、インデックスサーバ２１２からインデックス情報を受信する。インデックス情報受信部２８２は、受信したインデックス情報を送信サーバ決定部２７４に供給する。

図１６は、図１４のインデックス情報提供部２３１の詳細を示すブロック図である。インデックス情報提供部２３１は、受信部３０１、画像認識部３０２、インデックス情報取得部３０３、インデックス情報送信部３０４、および、モデル情報要求転送部３０５を含むように構成される。

受信部３０１は、ネットワーク２１を介して、端末２１１からインデックス情報要求情報またはモデル情報要求情報を受信し、受信したインデックス情報要求情報またはモデル情報要求情報を画像認識部３０２に供給する。

画像認識部３０２は、受信部３０１からインデックス情報要求情報を取得した場合、図１９を参照して後述するように、インデックス辞書格納部２３２に格納されているインデックス辞書に登録されているグループ識別画像情報に基づいて、インデックス情報要求情報に含まれるグループ識別画像を認識する。換言すれば、画像認識部３０２は、インデックス辞書にグループ識別画像情報が登録されているグループ識別画像のうち、端末２１１から送信されてきたグループ識別画像に相当するグループ識別画像を特定する。画像認識部３０２は、インデックス情報要求情報、および、特定されたグループ識別画像を示す情報をインデックス情報取得部３０３に供給する。

また、画像認識部３０２は、受信部３０１からモデル情報要求情報を受信した場合、図２１を参照して後述するように、インデックス辞書にグループ識別画像情報が登録されているグループ識別画像のうち、モデル情報要求情報に含まれるグループ識別画像に相当するグループ識別画像を特定する。画像認識部３０２は、モデル情報要求情報、および、グループ識別画像に相当すると特定されたグループ識別画像を示す情報をインデックス情報取得部３０３に供給する。

インデックス情報取得部３０３は、特定されたグループ識別画像に関連づけられているインデックス情報をインデックス辞書格納部２３２に格納されているインデックス辞書から取得する。インデックス情報取得部３０３は、取得したインデックス情報を、インデックス情報送信部３０４またはモデル情報要求転送部３０５に供給する。また、インデックス情報取得部３０３は、画像認識部３０２からモデル情報要求情報を取得した場合、モデル情報要求情報をモデル情報要求転送部３０５に供給する。

インデックス情報送信部３０４は、取得したインデックス情報を、ネットワーク２１を介して、インデックス情報の要求元の端末２１１に送信する。

モデル情報要求転送部３０５は、取得したモデル情報要求情報に、取得したインデックス情報に示される画像認識エンジン識別番号およびモデル辞書識別番号をモデル情報要求情報に追加するとともに、モデル情報要求情報からグループ識別画像を削除する。モデル情報要求転送部３０５は、取得したインデックス情報内の位置情報に示される位置にある情報提供サーバ１３に、内容を変更したモデル情報要求情報を、ネットワーク２１を介して送信する。

次に、図１７乃至図１９を参照して、情報処理システム２０１により実行される処理を説明する。

まず、図１７のフローチャートを参照して、端末２１１により実行されるモデル情報取得処理を説明する。なお、この処理は、例えば、ユーザが操作部６３を操作して、画像検索サービスを利用するためのアプリケーションプログラムを端末２１１に実行させたとき開始される。

ステップＳ１０１において、上述した図６のステップＳ３の処理と同様に、表示部６２にオブジェクト画像の入力ガイダンスが表示される。

ステップＳ１０２において、上述した図６のステップＳ４の処理と同様に、画像取得部２７２は、画像入力部６１よりオブジェクト画像を取得する。画像取得部２７２は、取得したオブジェクト画像を送信サーバ決定部２７４および表示制御部２７７に供給する。

ステップＳ１０３において、表示部６２は、グループ識別画像の入力ガイダンスを表示する。具体的には、表示部６２は、表示制御部２７７の制御の基に、例えば、ステップＳ１０２において取得されたオブジェクト画像の出所である雑誌またはカタログなどの表紙の画像であるグループ識別画像の入力を促すガイダンスを表示する。

ステップＳ１０４において、画像取得部２７２は、グループ識別画像を取得する。具体的には、例えば、ユーザは、デジタルカメラである画像入力部６１により、入力ガイダンスにより指定された雑誌またはカタログなどの表紙を撮影する。画像入力部６１は、撮影した画像（グループ識別画像）を画像取得部２７２に供給する。画像取得部２７２は、取得したグループ識別画像をインデックス情報要求部２８１および表示制御部２７７に供給する。

表示部６２は、表示制御部２７７の制御の基に、例えば、図１８に示される検索画面を表示する。図１８の検索画面には、オブジェクト画像３５１、グループ識別画像３５２、および、検索ボタン３５４が表示される。

ステップＳ１０５において、インデックス情報要求部２８１は、インデックス情報の送信を要求する。具体的には、ユーザが、操作部６３を操作することにより、図１８の検索画面の検索ボタン３５３を押下した場合、操作部６３は、検索ボタン３５３が押下されたことを示す情報を、インデックス情報要求部２８１に供給する。インデックス情報要求部２８１は、取得したグループ識別画像を含むインデックス情報要求情報を生成し、インデックス情報要求情報を、ネットワーク２１を介して、インデックスサーバ２１２に送信する。

インデックスサーバ２１２は、後述する図１９のステップＳ１２１において、インデックス情報要求情報を受信し、ステップＳ１２４において、インデックス情報要求情報に含まれるグループ識別画像に基づいて検索したインデックス情報を要求元の端末２１１に送信する。

ステップＳ１０６において、インデックス情報受信部２８２は、インデックス情報を受信する。具体的には、インデックス情報受信部２８２は、インデックスサーバ２１２から、ネットワーク２１を介してインデックス情報を受信する。インデックス情報受信部２８２は、受信したインデックス情報を送信サーバ決定部２７４に供給する。

ステップＳ１０７において、送信サーバ決定部２７４は、モデル情報の要求先を決定する。具体的には、送信サーバ決定部２７４は、取得したインデックス情報に示される画像認識エンジンおよびモデル辞書を、モデル情報の検索に用いる画像認識エンジンおよびモデル辞書に決定する。また、送信サーバ決定部２７４は、インデックス情報内の位置情報に示される位置にある情報提供サーバ１３、すなわち、グループ識別画像により識別される画像グループに属する画像内のオブジェクトに関連するモデル情報が登録されているモデル辞書を有する情報提供サーバ１３をモデル情報の要求先に決定する。送信サーバ決定部２７４は、オブジェクト画像、並びに、インデックス情報に示される画像認識エンジン識別番号、モデル辞書識別番号、および、情報提供サーバ１３の位置情報をモデル情報要求部２７５に供給する。

ステップＳ１０８乃至Ｓ１１０の処理は、上述した端末１１による図６のステップＳ８乃至Ｓ１０の処理と同様であり、その説明は、繰り返しになるので省略する。なお、ステップＳ１０８乃至Ｓ１１０の処理により、検索オブジェクトに関連するモデル情報およびモデル番号が端末２１１により取得される。

次に、図１９のフローチャートを参照して、端末２１１による図１７のモデル情報取得処理に対応して、インデックスサーバ２１２により実行されるインデックス情報提供処理を説明する。

ステップＳ１２１において、受信部３０１は、インデックス情報要求情報を受信する。具体的には、受信部３０１は、上述した図１７のステップＳ１０５において端末２１１により送信されたインデックス情報要求情報を、ネットワーク２１を介して受信する。受信部３０１は、受信したインデックス情報要求情報を画像認識部３０２に供給する。

ステップＳ１２２において、画像認識部３０２は、グループ識別画像を特定する。具体的には、画像認識部３０２は、インデックス辞書格納部２３２に格納されているインデックス辞書に登録されているグループ識別画像情報に基づいて、インデックス辞書にグループ識別画像情報が登録されているグループ識別画像のうち、インデックス情報要求情報に含まれるグループ識別画像に相当するグループ識別画像を特定する。これにより、インデックス情報要求情報に含まれるグループ識別画像により識別される画像グループが特定される。画像認識部３０２は、インデックス情報要求情報、および、特定されたグループ識別画像を示す情報をインデックス情報取得部３０３に供給する。なお、このとき用いられる画像認識の手法は、特定の手法に限定されるものではなく、グループ識別画像をより高速かつ正確に認識することができる手法を用いるようにするのが望ましい。

ステップＳ１２３において、インデックス情報取得部３０３は、インデックス情報を取得する。具体的には、インデックス情報取得部３０３は、ステップＳ１２２において特定されたグループ識別画像に関連づけられているインデックス情報をインデックス辞書格納部２３２に格納されているインデックス辞書から取得する。インデックス情報取得部３０３は、取得したインデックス情報を、インデックス情報送信部３０４に供給する。

ステップＳ１２４において、インデックス情報送信部３０４は、インデックス情報を送信して、インデックス情報提供処理は終了する。具体的には、インデックス情報送信部３０４は、取得したインデックス情報を、ネットワーク２１を介して、要求元の端末２１１に送信する。

なお、端末２１１による図７２のモデル情報取得処理に対応して実行される、情報提供サーバ１３によるモデル情報提供処理は、上述した図９のモデル情報提供処理と同様であり、その説明は繰り返しになるので省略する。

以上のように、端末２１１において、インデックス情報の検索または検出を行わずに、検索オブジェクトに関連するモデル情報を取得することができる。また、例えば、上述したように、例えば、雑誌やカタログなどの任意のページを撮影したオブジェクト画像、および、その雑誌の表紙を撮影したインデックス情報検出画像を送信するだけで、オブジェクト画像内の検索オブジェクトに関連するモデル情報を取得することができるため、ユーザにとって分かりやすく、操作が簡単なサービスを提供することができる。

なお、例えば、各画像にグループ識別画像をウォーターマークとして埋め込むようにしてもよい。この場合、オブジェクト画像にグループ識別画像が含まれるようになり、画像を取り込む回数を削減することができ、より簡単に検索オブジェクトに関連するモデル情報を取得することができるようになる。

また、インデックスサーバ２１２に、オブジェクト画像およびグループ識別画像を送信して、グループ識別画像に基づいて検索されたインデックス情報内の位置情報に示される位置にある情報提供サーバ１３、すなわち、グループ識別画像により識別される画像グループに属する画像内のオブジェクトに関連するモデル情報が登録されているモデル辞書を有する情報提供サーバ１３に、インデックスサーバ２１２からオブジェクト画像を転送して、検索オブジェクトに関連するモデル情報を検索するようにしてもよい。図２０乃至図２２を参照して、この場合の処理の例を説明する。

まず、図２０のフローチャートを参照して、端末２１１により実行されるモデル情報取得処理を説明する。なお、この処理は、例えば、ユーザが操作部６３を操作して、画像検索サービスを利用するためのアプリケーションプログラムを端末２１１に実行させたとき開始される。

ステップＳ２０１において、上述した図１７のステップＳ１０１の処理と同様に、表示部６２にオブジェクト画像の入力ガイダンスが表示される。

ステップＳ２０２において、上述した図１７のステップＳ１０２の処理と同様に、画像取得部２７２は、画像入力部６１よりオブジェクト画像を取得する。画像取得部２７２は、取得したオブジェクト画像をモデル情報要求部２７５および表示制御部２７７に供給する。

ステップＳ２０３において、上述した図１７のステップＳ１０３の処理と同様に、表示部６２にグループ識別画像の入力ガイダンスが表示される。

ステップＳ２０４において、上述した図１７のステップＳ１０４と同様の処理により、画像取得部２７２は、グループ識別画像を取得する。画像取得部２７２は、取得したグループ識別画像をモデル情報要求部２７５および表示制御部２７７に供給する。また、表示部６２に上述した図１８に示される検索画面が表示される。

ステップＳ２０５において、モデル情報要求部２７５は、モデル情報の送信を要求する。具体的には、モデル情報要求部２７５は、オブジェクト画像およびグループ識別画像を含み、オブジェクト画像内の検索オブジェクトに関連するモデル情報の送信を要求するモデル情報要求情報を、インデックスサーバ２１２に、ネットワーク２１を介して送信する。

インデックスサーバ２１２は、後述する図２１のステップＳ２２１において、モデル情報要求情報を受信し、ステップＳ２２４において、実際にモデル情報を有する情報提供サーバ１３に、モデル情報要求情報を転送する。モデル情報要求情報が転送された情報提供サーバ１３は、後述する図２２のステップＳ２４５において、要求されたモデル情報を要求元の端末２１１に送信する。

ステップＳ２０６において、モデル情報受信部２７６は、モデル情報を受信する。具体的には、モデル情報受信部２７６は、情報提供サーバ１３から、ネットワーク２１を介して、モデル情報を受信する。モデル情報受信部２７６は、受信したモデル情報を表示制御部２７７に供給する。

ステップＳ２０７において、上述した図６のステップＳ１０の処理と同様に、表示部６２にモデル情報が表示され、モデル情報取得処理は終了する。

次に、図２１のフローチャートを参照して、端末２１１による図２０のモデル情報取得処理に対応して、インデックスサーバ２１２により実行されるモデル情報要求情報転送処理を説明する。

ステップＳ２２１において、受信部３０１は、モデル情報要求情報を受信する。具体的には、受信部３０１は、上述した図２０のステップＳ２０５において端末２１１により送信されたモデル情報要求情報を、ネットワーク２１を介して受信する。受信部３０１は、受信したモデル情報要求情報を画像認識部３０２に供給する。

ステップＳ２２２において、上述した図１９のステップＳ１２２の処理と同様に、グループ識別画像が特定される。画像認識部３０２は、モデル情報要求情報、および、特定されたグループ識別画像を示す情報をインデックス情報取得部３０３に供給する。

ステップＳ２２３において、上述した図１９のステップＳ１２３の処理と同様に、インデックス情報が取得される。インデックス情報取得部３０３は、モデル情報要求情報、および、取得したインデックス情報を、モデル情報要求転送部３０５に供給する。

ステップＳ２２４において、モデル情報要求転送部３０５は、、モデル情報要求情報を転送し、モデル情報要求情報転送処理は終了する。具体的には、モデル情報要求転送部３０５は、取得したモデル情報要求情報に、取得したインデックス情報に示される画像認識エンジン識別番号およびモデル辞書識別番号をモデル情報要求情報に追加するとともに、モデル情報要求情報からグループ識別画像を削除する。モデル情報要求転送部３０５は、取得したインデックス情報内の位置情報に示される位置にある情報提供サーバ１３に、内容を変更したモデル情報要求情報を、ネットワーク２１を介して送信する。

次に、図２２のフローチャートを参照して、インデックスサーバ２１２による図２１のモデル情報要求情報転送処理に対応して、モデル情報要求情報が転送された情報提供サーバ１３により実行されるモデル情報提供処理を説明する。

ステップＳ２４１において、モデル情報要求受信部１０１は、モデル情報要求情報を受信する。具体的には、モデル情報要求受信部１０１は、上述した図２１のステップＳ２２４においてインデックスサーバ２１２により転送されたモデル情報要求情報を、ネットワーク２１を介して受信する。モデル情報要求受信部１０１は、受信したモデル情報要求情報をモデル辞書決定部１０２に供給する。

ステップＳ２４２およびＳ２４５の処理は、上述した図９のステップＳ４２乃至Ｓ４５の処理と同様であり、その説明は、繰り返しになるので省略する。

このように、端末２１１において、インデックス情報に関する処理を行う必要がなくなり、端末２１１の処理が軽減される。

なお、図１に示される情報処理システム１および図１４に示される情報処理システム２０１の処理をそれぞれ１台の装置により実現するようにしてもよい。図２３は、図１の情報処理システム１を１台の装置により実現するようにした場合の情報処理装置の一実施の形態を示すブロック図であり、図２４は、図１４の情報処理システム２０１を１台の装置により実現するようにした場合の情報処理装置の一実施の形態を示すブロック図である。

図２３の情報処理装置４０１は、端末１１の画像入力部６１、表示部６２、操作部６３、および、サービス処理部６４、インデックスサーバ１２のインデックスリスト提供部３１およびインデックスリスト格納部３２、並びに、情報提供サーバ１３−１乃至１３−ｚのモデル情報提供部４１−１乃至４１−ｙおよびモデル辞書格納部４２−１乃至４２−ｙを含むように構成される。サービス処理部６４、インデックスリスト提供部３１、および、モデル情報提供部４１−１乃至４１−ｙは、バス４１１を介して相互に接続される。

図２４の情報処理装置４２１は、端末２１１の画像入力部６１、表示部６２、操作部６３、および、サービス処理部２６４、インデックスサーバ２１２のインデックス情報提供部２３１およびインデックス辞書格納部２３２、並びに、情報提供サーバ１３−１乃至１３−ｚのモデル情報提供部４１−１乃至４１−ｙおよびモデル辞書格納部４２−１乃至４２−ｙを含むように構成される。サービス処理部２６４、インデックス情報提供部２３１、および、モデル情報提供部４１−１乃至４１−ｙは、バス４３１を介して相互に接続される。

また、以上の説明では、インデックスサーバ１２またはインデックスサーバ２１２を１台のみ設ける例を示したが、それぞれ複数台設けるようにしてもよい。

さらに、以上の説明では、インデックスリストをインデックスサーバ１２から端末１１に配布する例を示したが、別の方法により、インデックスリストを配布することも可能である。例えば、インデックスリストを記録した記録媒体を配布して、その記録媒体を介して、インデックスリストを端末１１に入力することも可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

図２５は、汎用のパーソナルコンピュータ９００の内部の構成例を示す図である。CPU（Central Processing Unit）９０１は、ROM（Read Only Memory）９０２に記憶されているプログラム、または記録部９０８からRAM（Random Access Memory）９０３にロードされたプログラムに従って各種の処理を実行する。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU９０１、ROM９０２、およびRAM９０３は、バス９０４を介して相互に接続されている。このバス９０４にはまた、入出力インタフェース９０５も接続されている。

入出力インタフェース９０５には、ボタン、スイッチ、キーボードあるいはマウスなどで構成される入力部９０６、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などのディスプレイ、並びにスピーカなどで構成される出力部９０７、ハードディスクなどで構成される記録部９０８、およびモデムやターミナルアダプタなどで構成される通信部９０９が接続されている。通信部９０９は、インターネットを含むネットワークを介して通信処理を行う。

入出力インタフェース９０５にはまた、必要に応じてドライブ９１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなるリムーバブルメディア９１１が適宜装着され、そこから読み出されたコンピュータプログラムが、記録部９０８にインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図２５に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory）、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（MD(Mini-Disc)（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア９１１により構成されるだけでなく、装置本体にあらかじめ組み込まれた状態でユーザに提供される、プログラムが記録されているROM９０３または記録部９０８に含まれるハードディスクなどで構成される。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した情報処理システムの一実施の形態を示すブロック図である。 インデックス情報のデータ構造の例を示す図である。 モデル辞書の例を示す図である。 図１の端末の機能の構成の例を示すブロック図である。 図１のモデル情報提供部の機能の構成の例を示すブロック図である。 図１の端末により実行されるモデル情報取得処理を説明するためのフローチャートである。 選択メニューの例を示す図である。 図１のインデックスサーバにより実行されるインデックスリスト提供処理を説明するためのフローチャートである。 図１の情報提供サーバにより実行されるモデル情報提供処理を説明するためのフローチャートである。 選択メニューの他の例を示す図である。 インデックス情報のデータ構造の他の例を示す図である。 図１の端末により実行されるモデル情報取得処理の他の例を説明するためのフローチャートである。 検索画面の例を示す図である。 本発明を適用した情報処理装置の他の実施の形態を示すブロック図である。 図１４の端末の機能の構成の例を示すブロック図である。 図１４のインデックス情報提供部の機能の構成の例を示すブロック図である。 図１４の端末により実行されるモデル情報取得処理を説明するためのフローチャートである。 検索画面に他の例を示す図である。 図１４のインデックスサーバにより実行されるインデックス情報提供処理を説明するためのフローチャートである。 図１４の端末により実行されるモデル情報取得処理の他の例を説明するためのフローチャートである。 図１４のインデックスサーバにより実行されるモデル情報要求情報転送処理を説明するためのフローチャートである。 図１４の情報提供サーバにより実行されるモデル情報提供処理を説明するためのフローチャートである。 本発明を適用した情報処理装置の一実施の形態を示すブロック図である。 本発明を適用した情報処理装置の他の実施の形態を示すブロック図である。 パーソナルコンピュータの構成の例を示すブロック図である。

符号の説明

１ 情報処理システム， １１ 端末， １２ インデックスサーバ， １３ 情報提供サーバ， ２１ ネットワーク， ３１ インデックスリスト提供部， ３２ インデックスリスト格納部， ４１ モデル情報提供部， ４２ モデル辞書格納部， ６１ 画像入力部， ６２ 表示部， ６３ 操作部， ６４ サービス処理部， ７１ インデックスリスト取得部， ７２ 画像取得部， ７３ インデックス情報検出部， ７４ 送信サーバ決定部， ７５ モデル情報要求部， ７６ モデル情報受信部， ７７ 表示制御部， １０１ モデル情報要求受信部， １０２ モデル辞書決定部， １０３ 画像認識部， １０４ モデル情報取得部， １０５ モデル情報送信部， ２０１ 情報処理システム， ２１１ 端末， ２１２ インデックスサーバ， ２３１ インデックス情報提供部， ２３２ インデックス辞書格納部， ２６４ サービス処理部， ２７２ 画像取得部， ２７４ 送信サーバ決定部， ２７５ モデル情報要求部， ２７６ モデル情報受信部， ２７７ 表示制御部， ２８１ インデックス情報要求部， ２８２ インデックス情報受信部， ３０１ 受信部， ３０２ 画像認識部， ３０３ インデックス情報取得部， ３０４ インデックス情報送信部， ３０５ モデル情報要求転送部

Claims (27)

1. オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている第１の辞書を複数用いて情報を検索する情報処理システムにおいて、
   第１の入力画像を取得する画像取得手段と、
   前記第１の入力画像内のオブジェクトに関連する前記関連情報の検索に用いる前記第１の辞書である使用辞書を決定する辞書決定手段と、
   前記使用辞書に登録されている前記オブジェクト画像情報に基づいて、前記第１の入力画像内の前記オブジェクトを認識するオブジェクト認識手段と、
   前記オブジェクト認識手段により認識された前記オブジェクトに関連する前記関連情報を前記使用辞書から取得する関連情報取得手段と
   を含む情報処理システム。
2. 前記辞書決定手段は、ユーザにより指定された前記第１の辞書を前記使用辞書に決定する
   請求項１に記載の情報処理システム。
3. 前記画像取得手段は、さらに、前記第１の入力画像内の前記オブジェクトに関連する前記関連情報が登録されている前記第１の辞書である登録辞書を示すインデックス画像を取得し、
   前記インデックス画像に示される前記登録辞書を検出する検出手段を
   さらに含み、
   前記辞書決定手段は、前記登録辞書を前記使用辞書に決定する
   請求項１に記載の情報処理システム。
4. 前記画像取得手段は、さらに、前記第１の入力画像が属する所定のグループを識別するための第２の入力画像を取得し、
   前記グループを識別するための識別画像に関する識別画像情報と、前記識別画像により識別される前記グループに属する画像内のオブジェクトに関連する前記関連情報が登録されている前記第１の辞書を示すインデックス情報とが関連づけられて登録されている第２の辞書に登録されている前記識別画像情報に基づいて、前記第２の入力画像に相当する前記識別画像を特定する識別画像特定手段と、
   前記識別画像特定手段により特定された前記識別画像に関連づけられている前記インデックス情報を前記第２の辞書から取得するインデックス情報取得手段と
   をさらに含み、
   前記辞書決定手段は、前記インデックス情報取得手段により取得された前記インデックス情報に示される前記第１の辞書を前記使用辞書に決定する
   請求項１に記載の情報処理システム。
5. オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている辞書を複数用いて情報を検索する情報処理方法において、
   入力画像の取得を制御し、
   前記入力画像内のオブジェクトに関連する前記関連情報の検索に用いる前記辞書である使用辞書を決定し、
   前記使用辞書に登録されている前記オブジェクト画像情報に基づいて、前記入力画像内の前記オブジェクトを認識し、
   認識された前記オブジェクトに関連する前記関連情報の前記使用辞書からの取得を制御する
   ステップを含む情報処理方法。
6. オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている辞書を複数用いて情報を検索する情報処理であって、
   入力画像の取得を制御する画像取得制御ステップと、
   前記入力画像内のオブジェクトに関連する前記関連情報の検索に用いる前記辞書である使用辞書を決定する辞書決定ステップと、
   前記使用辞書に登録されている前記オブジェクト画像情報に基づいて、前記入力画像内の前記オブジェクトを認識しオブジェクト認識ステップと、
   認識された前記オブジェクトに関連する前記関連情報の前記使用辞書からの取得を制御する関連情報取得制御ステップと
   を含む情報処理をコンピュータに実行させるプログラム。
7. 第１の入力画像を取得する画像取得手段と、
   オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている第１の辞書であって、前記第１の入力画像内のオブジェクトに関連する前記関連情報の検索に用いる第１の辞書である使用辞書を決定する辞書決定手段と、
   前記使用辞書を有する第１の装置である辞書保有装置に、前記第１の入力画像および前記使用辞書を示す情報を送信する第１の送信手段と、
   前記辞書保有装置から送信されてくる、前記使用辞書に登録されている前記オブジェクト画像情報に基づいて認識された前記第１の入力画像内の前記オブジェクトに関連する前記関連情報を受信する第１の受信手段と
   を含む情報処理装置。
8. 前記第１の辞書、および、前記第１の辞書を有する前記第１の装置を示すインデックス情報のリストであるインデックスリストを取得するインデックスリスト取得手段を
   さらに含み、
   前記辞書決定手段は、前記インデックスリスト内の前記インデックス情報に示される前記第１の辞書の中からユーザにより指定された前記第１の辞書を前記使用辞書に決定する
   請求項７に記載の情報処理装置。
9. 前記インデックス情報は、さらに、前記第１の辞書を用いて画像認識を行うハードウェアまたはソフトウェアである画像認識エンジンを示し、
   前記第１の送信手段は、さらに、前記インデックスリスト内の前記インデックス情報に示される前記画像認識エンジンの中からユーザにより指定された前記画像認識エンジンであるユーザ指定画像認識エンジンを示す情報を前記辞書保有装置に送信し、
   前記第１の受信手段は、前記辞書保有装置から送信されてくる、前記使用辞書に登録されている前記オブジェクト画像情報に基づいて前記ユーザ指定画像認識エンジンを用いて認識された前記第１の入力画像内の前記オブジェクトに関連する前記関連情報を受信する
   請求項８に記載の情報処理装置。
10. 前記画像取得手段は、さらに、前記第１の入力画像内の前記オブジェクトに関連する前記関連情報が登録されている前記第１の辞書である登録辞書と前記登録辞書を有する前記第１の装置とを示すインデックス画像を取得し、
    前記インデックス画像に示される前記登録辞書、および、前記登録辞書を有する前記第１の装置を検出する検出手段を
    さらに含み、
    前記辞書決定手段は、前記登録辞書を前記使用辞書に決定し、
    前記第１の送信手段は、前記登録辞書を有する前記第１の装置である前記辞書保有装置に、前記第１の入力画像および前記使用辞書を示す情報を送信する
    請求項７に記載の情報処理装置。
11. 前記インデックス画像は、前記第１の入力画像にウォーターマークとして埋め込まれている
    請求項１０に記載の情報処理装置。
12. 前記インデックス画像は、識別コードの画像である
    請求項１０に記載の情報処理装置。
13. 前記インデックス画像は、さらに、前記登録辞書を用いて画像認識を行うハードウェアまたはソフトウェアである画像認識エンジンを示し、
    前記第１の送信手段は、さらに、前記画像認識エンジンを示す情報を前記辞書保有装置に送信し、
    前記第１の受信手段は、前記辞書保有装置により送信されてくる、前記使用辞書に登録されている前記オブジェクト画像情報に基づいて、前記画像認識エンジンを用いて認識された前記第１の入力画像内の前記オブジェクトに関連する前記関連情報を受信する
    請求項１０に記載の情報処理装置。
14. 前記画像取得手段は、さらに、前記第１の入力画像が属する所定のグループを識別するための第２の入力画像を取得し、
    前記第２の入力画像を第２の装置に送信する第２の送信手段と、
    前記第２の装置から送信されてくる、前記第２の入力画像に基づいて識別された前記グループに属する画像内のオブジェクトに関連する前記関連情報が登録されている前記第１の辞書である登録辞書、および、前記登録辞書を有する前記第１の装置を示すインデックス情報を受信する第２の受信手段と
    をさらに含み、
    前記辞書決定手段は、前記登録辞書を前記使用辞書に決定し、
    前記第１の送信手段は、前記登録辞書を有する前記第１の装置である前記辞書保有装置に、前記第１の入力画像および前記使用辞書を示す情報を送信する
    請求項７に記載の情報処理装置。
15. 前記インデックス情報は、さらに、前記登録辞書を用いて画像認識を行うハードウェアまたはソフトウェアである画像認識エンジンを示し、
    前記第１の送信手段は、さらに、前記画像認識エンジンを示す情報を前記辞書保有装置に送信し、
    前記第１の受信手段は、前記辞書保有装置により送信されてくる、前記使用辞書に登録されている前記オブジェクト画像情報に基づいて、前記画像認識エンジンを用いて認識された前記第１の入力画像内の前記オブジェクトに関連する前記関連情報を受信する
    請求項１４に記載の情報処理装置。
16. 入力画像の取得を制御し、
    オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている辞書であって、前記入力画像内のオブジェクトに関連する前記関連情報の検索に用いる辞書である使用辞書を決定し、
    前記使用辞書を有する装置である辞書保有装置への、前記入力画像および前記使用辞書を示す情報の送信を制御し、
    前記辞書保有装置から送信されてくる、前記使用辞書に登録されている前記オブジェクト画像情報に基づいて認識された前記入力画像内の前記オブジェクトに関連する前記関連情報の受信を制御する
    ステップを含む情報処理方法。
17. 入力画像の取得を制御する画像取得制御ステップと、
    オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている辞書であって、前記入力画像内のオブジェクトに関連する前記関連情報の検索に用いる辞書である使用辞書を決定する辞書決定ステップと、
    前記使用辞書を有する装置である辞書保有装置への、前記入力画像および前記使用辞書を示す情報の送信を制御する送信制御ステップと、
    前記辞書保有装置から送信されてくる、前記使用辞書に登録されている前記オブジェクト画像情報に基づいて認識された前記入力画像内の前記オブジェクトに関連する前記関連情報の受信を制御する受信制御ステップと
    を含む処理をコンピュータに実行させるプログラム。
18. オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている辞書を複数用いて情報を検索する情報処理装置において、
    他の装置から送信されてくる、入力画像および使用する前記辞書を指定する情報を受信する受信手段と、
    指定された前記辞書である指定辞書に登録されている前記オブジェクト画像情報に基づいて、前記入力画像内のオブジェクトを認識するオブジェクト認識手段と、
    前記オブジェクト認識手段により認識された前記オブジェクトに関連する前記関連情報を前記指定辞書から取得する関連情報取得手段と、
    前記関連情報取得手段により取得された前記関連情報を前記他の装置に送信する送信手段と
    を含む情報処理装置。
19. 前記受信手段は、さらに、前記指定辞書を用いて画像認識を行うハードウェアまたはソフトウェアである画像認識エンジンを示す情報を受信し、
    前記オブジェクト認識手段は、前記指定辞書に登録されている前記オブジェクト画像情報に基づいて、前記画像認識エンジンを用いて前記入力画像内のオブジェクトを認識する
    請求項１８に記載の情報処理装置。
20. オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている辞書を複数用いて情報を検索する情報処理方法において、
    他の装置から送信されてくる、入力画像および使用する前記辞書を指定する情報の受信を制御し、
    指定された前記辞書である指定辞書に登録されている前記オブジェクト画像情報に基づいて、前記入力画像内のオブジェクトを認識し、
    認識された前記オブジェクトに関連する前記関連情報の前記指定辞書からの取得を制御し、
    取得された前記関連情報の前記他の装置への送信を制御する
    ステップを含む情報処理方法。
21. オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている辞書を複数用いて情報を検索する情報処理であって、
    他の装置から送信されてくる、入力画像および使用する前記辞書を指定する情報の受信を制御する受信制御ステップと、
    指定された前記辞書である指定辞書に登録されている前記オブジェクト画像情報に基づいて、前記入力画像内のオブジェクトを認識するオブジェクト認識ステップと、
    認識された前記オブジェクトに関連する前記関連情報の前記指定辞書からの取得を制御する関連情報取得制御ステップと、
    取得された前記関連情報の前記他の装置への送信を制御する送信制御ステップと
    を含む情報処理をコンピュータに実行させるプログラム。
22. 第１の装置から送信されてくる、第１の入力画像が属する所定のグループを識別するための第２の入力画像を受信する受信手段と、
    グループを識別するための識別画像に関する識別画像情報と、
    オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている第１の辞書であって、前記識別画像により識別される前記グループに属する画像内のオブジェクトに関連する関連情報が登録されている前記第１の辞書、および、前記第１の辞書を有する第２の装置を示すインデックス情報と
    が関連づけられて登録されている第２の辞書に登録されている前記識別画像情報に基づいて、前記第２の入力画像に相当する前記識別画像を特定する識別画像特定手段と、
    前記識別画像特定手段により特定された前記識別画像に関連づけられている前記インデックス情報を前記第２の辞書から取得する取得手段と
    を含む情報処理装置。
23. 前記取得手段により取得された前記インデックス情報を、前記第１の装置に送信する送信手段を
    さらに含む請求項２２に記載の情報処理装置。
24. 前記受信手段は、さらに、前記第１の装置から送信されてくる、前記第１の入力画像を受信し、
    前記取得手段により取得された前記インデックス情報に示される前記第２の装置に、前記第１の入力画像、および、前記インデックス情報に示される前記第１の辞書を示す情報を送信する送信手段を
    さらに含む請求項２２に記載の情報処理装置。
25. 第１の装置から送信されてくる、第１の入力画像が属する所定のグループを識別するための第２の入力画像の受信を制御し、
    グループを識別するための識別画像に関する識別画像情報と、
    オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている第１の辞書であって、前記識別画像により識別される前記グループに属する画像内のオブジェクトに関連する関連情報が登録されている前記第１の辞書、および、前記第１の辞書を有する第２の装置を示すインデックス情報と
    が関連づけられて登録されている第２の辞書に登録されている前記識別画像情報に基づいて、前記第２の入力画像に相当する前記識別画像を特定し、
    特定された前記識別画像に関連づけられている前記インデックス情報の前記第２の辞書からの取得を制御する
    ステップを含む情報処理方法。
26. 第１の装置から送信されてくる、第１の入力画像が属する所定のグループを識別するための第２の入力画像の受信を制御する受信制御ステップと、
    グループを識別するための識別画像に関する識別画像情報と、
    オブジェクトの画像に関するオブジェクト画像情報と前記オブジェクトに関連する関連情報とが登録されている第１の辞書であって、前記識別画像により識別される前記グループに属する画像内のオブジェクトに関連する関連情報が登録されている前記第１の辞書、および、前記第１の辞書を有する第２の装置を示すインデックス情報と
    が関連づけられて登録されている第２の辞書に登録されている前記識別画像情報に基づいて、前記第２の入力画像に相当する前記識別画像を特定する識別画像特定ステップと、
    特定された前記識別画像に関連づけられている前記インデックス情報の前記第２の辞書からの取得を制御する取得制御ステップと
    を含む処理をコンピュータに実行させるプログラム。
27. 請求項６、１７、２１、または２６のうちいずれかに記載のプログラムが記録されている記録媒体。

Images