以下に添付図面を参照して、情報処理システムおよび情報処理方法の実施形態を詳細に説明する。
(実施形態に適用可能な画像検索システム)
実施形態の説明に先んじて、理解を容易とするために、実施形態に適用可能な画像検索システムについて説明する。この画像検索システムは、撮像装置で撮像された撮像画像からオブジェクトを抽出し、抽出したオブジェクトと、データベースに予め格納されたオブジェクトとを比較して、データベースに格納されたオブジェクトのうち、撮像画像から抽出したオブジェクトに対して最も類似度の高いオブジェクトを特定する。そして、特定されたオブジェクトに予め関連付けられた商用サイトのリンク情報などを、ユーザに提示する。
図1は、実施形態に適用可能な画像検索システムの一例の構成を示す。図1に示す画像検索システム200において、ネットワーク10に対して、画像検索サーバ11および端末装置20が接続される。ネットワーク10は、例えばインターネットであって、通信プロトコルとしてTCP/IP(Transmission Control Protocol/Internet Protocol)が適用される。ネットワーク10は、互いにネットワークで接続される複数のコンピュータを含み、外部からは、その内部が隠蔽されたブラックボックスとして入出力のみが示されるネットワーク・グループであるネットワーククラウドであってもよい。
ネットワーク10に対して、さらに、複数の商用サイト30Aおよび30Bが接続される。これら商用サイト30Aおよび30Bは、ネットワーク10を介してなされた注文に応じて商品の発送などを行うことができる。
端末装置20は、無線または有線によってネットワーク10との間で通信を行うことができる。端末装置20は、ネットワーク10を介して受信した命令に従った動作を行うことができると共に、表示装置と入力装置とを含むUI(ユーザインタフェース)に対してネットワーク10を介して受信した画像などの表示や、UIに対してなされたユーザ操作に従いネットワーク10に向けてデータを送信することができる。
また、端末装置20は、撮像機能を有し、UIに対する撮像指示操作に応じて被写体の撮像を行うことができるようにされている。端末装置20は、撮像により得られた撮像画像をネットワーク10に向けて送信することができる。
画像検索サーバ11は、データベース(DB)12が接続され、ネットワーク10を介して受信した要求に従い、DB12に対して、実施形態に係る検索処理を行うことができる。実施形態においては、DB12には複数の画像データ50Aおよび50Bを検索するための各索引データが、それぞれ連携情報と関連付けられて格納される。索引データは、画像データのバイナリを解析して得られたデータであって、画像データを、検索のための構造に変換したデータである。
なお、DB12に対して、画像データを直接的に格納することも可能である。画像データのファイル名およびパスをDB12に格納してもよい。
画像検索サーバ11は、ネットワーク10を介して画像データを受信し、受信した当該画像データに基づきDB12を検索して、当該画像データに対応する連携情報を検索結果として取得する。画像検索サーバ11は、この検索結果として取得された連携情報を、画像データの送信元に返す。
図2は、DB12に格納される索引データの元となる画像データ50Aおよび50Bの例を示す。ここで、画像データに含まれるオブジェクトについて定義する。オブジェクトとは、画像データによる画像内において主となる対象物の画像を指し、当該主となる対象物の背景画像や、画像内における当該主となる対象物の付随情報などとは区別される画像である。
一例として、画像データ50Aおよび50Bは、それぞれカタログ雑誌の中身である内容ページと、当該カタログ雑誌の表紙である表紙ページであるものとする。図2(a)は、内容ページの画像130Aによる画像データ50Aの例を示し、図2(b)は、表紙ページの画像130Bによる画像データ50Bの例を示す。
図2(a)は、画像130Aの中央部に1のオブジェクト131が配置された例である。画像130Aにおいて、オブジェクト131に対して、オブジェクト131を含む対象領域134が設定される。この図2(a)は、対象領域134のサイズに対するオブジェクト131のサイズの比率が小さい場合の例である。カタログ雑誌の場合、内容ページは、商品の紹介を行うのが目的であるため、商品を示す画像であるオブジェクト131は、内容ページに対して大きく表示される。
図2(b)は、画像130Bに対して複数のオブジェクト132および133が配置された例である。ここでは、オブジェクト132は、図2(a)に示すオブジェクト131を縮小した画像であり、オブジェクト133は、他の画像である。画像130Bに対してさらに多くのオブジェクトを配置してもよい。この例では、表示ページは、カタログ雑誌の内容を要約して示すように、内容ページに含まれる各オブジェクト132および133が縮小されサムネイルとして表示されている。画像130Bにおいて、対象領域135は、オブジェクト132および133を含むと共に、表示ページ(画像130B)の全体に及ぶように設定されている。
なお、対象領域134および135は、オブジェクト131、ならびに、オブジェクト132および133をそれぞれ認識するための指標として用いられる。対象領域は、オブジェクトの全体を含み、且つ、オブジェクトを含む画像の全体より小さい任意のサイズにそれぞれ設定可能である。
連携情報について説明する。連携情報は、例えば、画像に含まれるオブジェクトに連携する機能を示す情報であって、より具体的には、当該オブジェクトの属性情報にアクセスするアクセス方法を含む情報である。したがって、連携情報は、実際には、画像に含まれるオブジェクトに対して関連付けられてDB12に格納されると考えることができる。
一例として、内容ページの画像130Aに含まれるオブジェクト131において、連携情報は、オブジェクト131が示す商品を取り扱う例えば商用サイト30AのURL(Uniform Resource Locator)や、当該商品の購入設定を行う購入ページのURLである。これらに限らず、連携情報として、当該商品を取り扱う店舗の電話番号やメールアドレスを用いてもよい。さらに、当該商品の情報などを含むデータファイルをダウンロードするための情報を、連携情報として用いてもよい。なお、DB12において、1のオブジェクトに対して複数の連携情報を関連付けることができる。
別の例として、表紙ページの画像130Bに含まれる各オブジェクト132および133に対して、連携情報として、例えば、当該表紙ページを含むカタログ雑誌そのものを紹介するネットワーク10上のサイトなどのURLを用いることができる。
図3は、画像検索サーバ11の機能を示す一例の機能ブロック図である。画像検索サーバ11は、受信部100と、抽出部101と、算出部102と、検索部103と、提示部104と、制御部110とを有する。また、図3では、DB12が画像検索サーバ11に含まれるように示している。制御部110は、この画像検索サーバ11の全体的な動作を制御する。画像検索サーバ11は、1以上のコンピュータを含んで構成される。
受信部100は、ネットワーク10を介して送信されたデータを受信する。例えば、端末装置20から送信された撮像画像(撮像画像40Aとする)が受信部100に受信される。
抽出部101は、受信部100に受信された撮像画像40Aに対して画像解析を行い、撮像画像40Aから特徴点を検出して、当該撮像画像40Aに含まれるオブジェクトを抽出する。例えば、抽出部101は、撮像画像40Aに対して2値化処理を施して、2値化された撮像画像40Aに対してエッジ検出や正規化処理を行い、撮像画像40Aの特徴点を検出する。オブジェクトは、この検出された特徴点により表される。
算出部102は、抽出部101に抽出された撮像画像40Aの特徴点と、DB12に格納される各索引によって検索される各オブジェクトを表す特徴点とを比較する。そして、比較結果に基づき、撮像画像40Aに含まれるオブジェクトと、DB12に格納される各索引によって検索される各オブジェクトとの類似度を算出する。類似度は、例えば、画像から抽出した各特徴点間の関係を、画像毎に比較することで求めることができる。一例として、特徴点間の関係を数値化して特徴量を算出し、画像間で特徴量の差分の絶対値を求め、求めた差分の絶対値がより小さい場合に、当該画像間の類似度が高いとする。
検索部103は、算出部102で算出された類似度に基づき、DB12に格納される各索引によって検索される各オブジェクトのうち、撮像画像40Aに含まれるオブジェクトとの類似度が高い画像を検索する。このとき、検索部103は、DB12に格納される各索引によって検索される各オブジェクトから、撮像画像40Aに含まれる各オブジェクトとの類似度が最も高いオブジェクトを含む1の索引を検索結果として出力する。
これに限らず、検索部103は、DB12に格納される各索引によって検索される各オブジェクトから、撮像画像40Aに含まれるオブジェクトとの類似度が高いオブジェクトを含む順に従い、所定数の索引を検索結果として出力してもよいし、類似度が閾値以上のオブジェクトを検索するための1または複数の索引を検索結果として出力することもできる。さらに、類似度が、撮像画像40Aについて算出された類似度の最大値から予め決められた範囲内(5%など)にある索引を、検索結果として出力することも考えられる。
提示部104は、検索部103による検索出力の索引に関連付けられた連携情報をDB12から取り出し、端末装置20に提示(送信)する。したがって、提示部104は、端末装置20に対して連携情報を送信する送信部の機能を備えている。この連携情報の提示は、当該連携情報を端末装置20に直接的に送信してもよいし、当該連携情報を含むWebページを生成し、端末装置20に向けて当該Webページヘのアクセス方法(URLなど)を提示する方法でもよい。端末装置20からこのWebページにアクセスすることで、連携情報を取得することができる。
これに限らず、端末装置20に、撮像画像40Aの撮像から、提示された連携情報の表示までの一連の動作を行うアプリケーションソフトウェア(以下、アプリケーションと略称する)を予めインストールしておき、提示された連携情報を、このアプリケーションを用いて取得することも可能である。
なお、画像検索サーバ11は、CPU(Central Processing Unit)と、RAM(Random Access Memory)と、ROM(Read Only Memory)と、ハードディスクドライブなどのストレージ装置とを含む、一般的なコンピュータ装置(情報処理装置)により構成することができる。また、画像検索サーバ11は、1台のコンピュータ装置で構成されるのに限らず、例えば複数のコンピュータ装置上で分散的に動作する構成としてもよい。
上述した受信部100、抽出部101、算出部102、検索部103、提示部104および制御部110は、CPU上で動作する検索プログラムによって実現される。これに限らず、受信部100、抽出部101、算出部102、検索部103、提示部104および制御部110の一部または全部を、互いに協働する個別のハードウェアを用いて実現してもよい。実施形態に係る検索処理を実行するための検索プログラムは、インストール可能な形式または実行可能な形式のファイルでCD、DVDなどのコンピュータで読み取り可能な記録媒体に記録して提供される。
さらに、実施形態に係る検索処理を実行するための検索プログラムを、インターネットなどの通信ネットワークに接続されたコンピュータ上に格納し、通信ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施形態に係る検索処理を実行するための検索プログラムを、インターネットなどの通信ネットワーク経由で提供または配布するように構成してもよい。
実施形態に係る検索処理を実行するための検索プログラムは、例えば、上述した各部(受信部100、抽出部101、算出部102、検索部103、提示部104および制御部110)を含むモジュール構成となっており、実際のハードウェアとしてはCPUが例えばストレージ装置から当該検索プログラムを読み出して実行することにより上記各部が主記憶装置(例えばRAM)上にロードされ、各部が主記憶装置上に生成されるようになっている。
このような構成において、ユーザは、端末装置20を用いて例えばカタログ雑誌のページを撮像し、撮像画像40Aや撮像画像40Bを得る。この例では、撮像画像40Aおよび40Bは、それぞれ、カタログ雑誌の内容ページおよび表紙ページを撮像した撮像画像であるものとする。ユーザは、例えば撮像画像40Aを、ネットワーク10を介して画像検索サーバ11に送信する。
撮像画像40Aは、画像検索サーバ11の受信部100に受信され、受信された撮像画像40Aの特徴点が抽出部101で検出され、オブジェクトが抽出される。さらに、算出部102で、抽出部101で検出された特徴点に基づき、撮像画像40Aに含まれるオブジェクトと、DB12に格納される各索引によって検索される各オブジェクトとの類似度が算出される。この算出結果に基づき検索部103で索引が検索される。そして、提示部104は、検索部の検索出力に基づきDB12から連携情報を取り出し、撮像画像40Aの送信元である端末装置20に提示する。
ユーザは、画像検索サーバ11から端末装置20に対して提示された連携情報に基づき、例えば商用サイト30Aにアクセスして、撮像画像40Aに含まれるオブジェクトが示す商品を購入などすることができる。
ここで、例えば図2(a)に画像130Aに含まれるオブジェクト131に酷似したオブジェクトを含む画像が、端末装置20で撮像画像40Aとして撮像されたものとする。また、DB12には、オブジェクト131を含む画像130Aと、オブジェクト131を縮小したオブジェクト132を含む画像130Bとが格納されているものとする。
この場合、撮像画像40Aの特徴点の検出結果から算出した類似度に基づく検索の結果、画像130Aではなく、画像130Bが検索されてしまう可能性がある。この場合、ユーザは、所望の連携情報を得ることができなくなってしまう。このような事態を防ぐために、実施形態では、検索部103において、対象領域(撮像範囲)とオブジェクトとのサイズの比率に基づき、DB12に格納される画像の検索を行う。
図2を用いて、より具体的に説明する。図2(a)に例示される画像130Aでは、オブジェクト131が画像130Aに対して大きなスペースを占めるように配置され、オブジェクト131に対して、オブジェクト131のサイズよりやや大きめのサイズで、対象領域134が設定されている。一方、図2(b)に例示される画像130Bでは、オブジェクト131が縮小されたオブジェクト132が配置されると共に、対象領域135が画像130Bの全面に対して、すなわち、オブジェクト132のサイズに対して十分大きなサイズで設定されている。
画像130Aにおいて、対象領域134のサイズに対するオブジェクト131のサイズの第1の比率を、例えばそれぞれの面積に基づき求めた値が1/2であるとする。これに対して、画像130Bにおいて、対象領域135のサイズに対するオブジェクト132のサイズの第2の比率を面積で求めた値は、例えば1/16となり、画像130Aの場合と比べて大きく異なる。なお、サイズの比率は、面積に基づき求める方法に限られない。このような、サイズの比率を示す情報は、予め求め、索引に含めてDB12に格納することが考えられる。
さらに、端末装置20から受信された撮像画像40Aについては、抽出部101で抽出されたオブジェクトのサイズと、撮像画像40A自体のサイズとの比率を求めることが考えられる。例えば撮像画像40Aが図2(a)に画像130Aで示されるような画像とし、撮像画像40Aのサイズに対するオブジェクト(オブジェクト131とする)のサイズの第3の比率が例えば1/4であるとする。
この場合、第3の比率は、上述した第1の比率および第2の比率のうち、第1の比率により近い。したがって、検索部103は、撮像画像40Aに対する検索結果として画像130Aに対応する索引を出力する。提示部104は、この画像130Aに対応する索引に関連付けられた連携情報を、端末装置20に対して提示する。このように、オブジェクトのサイズの画像サイズに対する比率に基づき索引の選択を行うことで、より的確に所望の索引を選択することができる。
図4は、このような、オブジェクトのサイズの比率に基づき画像を検索する処理を実現するためのDB12の一例の構成を示す。図4(a)は、DB12に格納される各索引データを識別するための索引テーブル120の例を示す。各索引データは、図4(a)に例示されるように、IDと、索引データのバイナリデータとが関連付けられてDB12に格納される。
また、IDは、DB12に格納される各索引データを識別可能であれば、形式は特に限定されない。DB12に格納される各索引データがカタログ雑誌の各ページのオブジェクトを検索するためのものである場合、IDとして当該オブジェクトが掲載されるページ番号を含む値を用いることができる。
図4(b)は、画像のIDと対象領域とを関連付ける対象領域テーブル121の一例を示す。この例では、対象領域は、タグを用いてデータの意味や構造を定義して記述するマークアップ言語の一種であるXML(Extensible Markup Language)を用いて記述される。後述するが、この対象領域の記述に対して、連携情報の記述も埋め込まれる。対象領域が記述されるXMLコードは、この対象領域テーブル121のフィールドに直接的に格納してもよいし、当該XMLコードを別途ファイルに記述し、当該フィールドにはこのファイル名とパスを記述してもよい。
図5は、図4(b)に示されるXMLコード140の一例を示す。この図5に示されるXMLコード140は、カタログ雑誌のある内容ページの対象領域を記述する例である。最も外側のタグ「<page>」および「</page>」に挟まれた部分により、ページが定義される。各部分1411、1412において、タグ「<hotspot>」および「</hotspot>」に挟まれた部分により、それぞれ1の対象領域が定義される。このように、1のページに対して複数の対象領域を定義することができる。
部分1411において、最初の行142は、タグ「<area>」および「</area>」に挟まれた部分により、対象領域のページ内での範囲が例えば左上隅の座標(x1,y1)および右下隅の座標(x2,y2)で定義される。
各部分1431、1432において、タグ「<link>」および「</link>」に挟まれた部分により、それぞれ1の連携情報が定義される。このように、1の対象領域に対して複数の連携情報を定義することができる。各部分1431において、タグ「<title>」および「</title>」に挟まれた部分により連携情報のタイトルが定義される。タグ「<type>」および「</type>」に挟まれた部分によりこの連携情報のタイプが定義される。また、この例では、連携情報として、タグ「<URI>」および「</URI>」に挟まれた部分により、ネットワーク10上でのアドレス情報が定義されている。
このように、XMLコード140により、ページ内の対象領域および当該対象領域における連携情報を定義しているため、ページ内の当該対象領域に含まれるオブジェクトに関連付けられる連携情報による機能を実行することができる。
図6は、実施形態に係る画像検索サーバ11の動作の例を示すフローチャートである。先ず、端末装置20で撮像されて得られた例えば撮像画像40Aが、ネットワーク10を介して画像検索サーバ11に対して送信される。ステップS100で、画像検索サーバ11において、受信部100は、この撮像画像40Aを受信する。次のステップS101で、抽出部101は、受信された撮像画像40Aに対して画像解析を行い特徴点を検出してオブジェクトの抽出を行う。
次のステップS102で、検索部103は、撮像画像40Aのサイズに対するオブジェクトのサイズの比率を算出する。なお、DB12に格納される各画像について、対象領域のサイズに対するオブジェクトのサイズの比率は、予め算出されているものとする。このDB12に格納される各画像の比率を示す情報は、上述したXMLコード140に埋め込んでおくことができる。
次のステップS103で、算出部102は、撮像画像40Aから抽出されたオブジェクトと、DB12に格納される各索引によって検索されるオブジェクトとを比較する。より具体的には、算出部102は、撮像画像40Aに含まれるオブジェクトと、DB12に格納される各索引によって検索されるオブジェクトとの各類似度を算出する。
次のステップS104で、検索部103は、ステップS103で算出した類似度に基づき、DB12に格納された索引のうち、撮像画像40Aに含まれるオブジェクトと合致するオブジェクトが検索される索引が有るか否かを判定する。この例では、DB12に含まれる索引に検索されるオブジェクトのうち、類似度が閾値以上であるオブジェクトを、撮像画像40Aに含まれるオブジェクトと合致するオブジェクトが検索される索引であると判定するものとする。
若し、ステップS104でオブジェクトが合致する索引が有ると判定した場合、検索部103は、処理をステップS105に移行させる。ステップS105で、検索部103は、DB12に格納される索引のうち、オブジェクトが複数の索引で合致しているか否かを判定する。若し、1の索引のみでオブジェクトが合致していると判定した場合、検索部103は、当該1の索引を検索出力として、処理を後述するステップS107に移行させる。一方、複数の索引でオブジェクトが合致していると判定した場合、検索部103は、処理をステップS106に移行させる。
ステップS106で、検索部103は、当該複数の索引それぞれによって検索される複数のオブジェクトのサイズの、対象領域のサイズに対する比率を各々求める。この複数のオブジェクトに関する比率は、予め求めておきDB12に格納しておいてもよい。それと共に、検索部103は、撮像画像40Aについて、撮像画像40Aのサイズに対するオブジェクトのサイズの比率を求める。そして、当該複数のオブジェクトのそれぞれについて求めた比率のうち、撮像画像40Aについて求めた比率に最も近い比率を求め、求めた比率に対応するオブジェクトを検索するための索引を選択して検索出力とし、処理をステップS107に移行させる。
ステップS107で、提示部104は、検索部103による検索出力の索引に対応付けられた連携情報をDB12から取り出す。そして、提示部104は、取り出した連携情報の、撮像画像40Aの送信元の端末装置20に対する提示を行う。そして、図6のフローチャートによる一連の処理が終了される。
なお、上述したステップS104で合致する索引がないと判定した場合、処理がステップS108に移行され、提示部104により、合致する索引がDB12に格納されていない旨を示すメッセージが、端末装置20に対して提示される。そして、図6のフローチャートによる一連の処理が終了される。
図7は、図6におけるステップS107の、索引の連携情報の提示処理の例を示すフローチャートである。提示部104は、先ずステップS200で、検索部103の検索出力の索引によって検索されるオブジェクトにおける、撮像画像40Aに対応する対象領域を特定する。次のステップS201で、提示部104は、DB12を参照し、特定した対象領域に関連付けられた連携情報が有るか否かを判定する。若し、有ると判定した場合、提示部104は、処理をステップS202に移行させ、当該対象領域に複数の連携情報が関連付けられているか否かを判定する。
提示部104は、ステップS202で、当該対象領域に対して複数の連携情報が関連付けられていると判定した場合、処理をステップS203に移行させる。ステップS203で、提示部104は、この複数の連携情報による各機能を示す機能リストを作成し、機能リストから1の機能を選択するための選択画面を端末装置20に対して提示する。例えば、特定された対象領域に対して、連携情報としてURLおよび電話番号が関連付けられている場合、URLに示されるアドレスにアクセスする機能と、電話番号への電話機能とを選択するための選択画面を生成し、端末装置20に対して提示する。そして、図7のフローチャートによる一連の処理が終了される。
一方、ステップS202で、提示部104は、当該対象領域に対して1の連携情報のみが関連付けられていると判定した場合は、処理をステップS204に移行させる。ステップS204では、この1の連携情報による機能を実行させるような画面を生成し、端末装置20に対して提示する。そして、図7のフローチャートによる一連の処理が終了される。
なお、上述のステップS201において、ステップS200で特定された対象領域に対して連携情報が関連付けられていないと判定した場合、処理をステップS205に移行させる。ステップS205で、提示部104は、予め定められた特定の画面を、端末装置20に対して提示する。そして、図7のフローチャートによる一連の処理が終了される。
上述では、ステップS106において、画像検索サーバ11側で、複数の索引から1の索引を選択しているが、これはこの例に限定されない。すなわち、複数の索引から1の索引を選択する処理を、ユーザが行うように促すことができる。
図8は、検索部103の検索出力による複数の索引から1を選択する処理を、ユーザが行うように促す場合の一例の処理を示すフローチャートである。上述した図6のステップS105で、撮像画像40Aに含まれるオブジェクトに対して複数の索引で合致していると判定した場合、検索部103は、処理を図8に示すステップS106’に移行させる。
処理がステップS106’に移行されると、提示部104は、ステップS300で、合致していると判定された複数の索引を示す情報をユーザに提示するための画面を生成し、端末装置20に対して提示する。例えば、提示部104は、複数の索引それぞれによって検索される各オブジェクトの画像を表示させる画面を生成して、端末装置20に対して提示することが考えられる。
提示部104は、端末装置20からの、複数の索引(オブジェクト画像)から1の索引(オブジェクト画像)が選択された選択結果が受信されるのを待機する(ステップS301)。端末装置20から、ステップS300で提示した複数の索引から1の索引を選択した旨を受信すると、提示部104は、ステップS302で、索引が合致していると判定された複数のオブジェクト画像から、受信結果に応じて1を選択する。そして、選択されたオブジェクトが検索される索引に関連付けられた連携情報をDB12から取り出して、端末装置20に対して提示する。
このように、複数の画像をユーザに提示することによっても、ユーザは、より的確に所望の画像を選択することができる。
図9は、端末装置20の一例の構成を示す。図9に例示される端末装置20において、バス401に対してCPU402、ROM403、RAM404および表示制御部405が接続される。また、バス401に対して、ストレージ407、データI/F408、入力部409、通信部410および撮像部411が接続される。ストレージ407は、データを不揮発に記憶することが可能な記憶媒体であって、例えばフラッシュメモリなどの不揮発性の半導体メモリである。これに限らず、ストレージ407としてハードディスクドライブを用いてもよい。
CPU402は、ROM403およびストレージ407に記憶されるプログラムに従い、RAM404をワークメモリとして用いて、この端末装置20の全体を制御する。表示制御部405は、CPU402により生成された表示制御信号を、表示部406が表示可能な信号に変換して出力する。
ストレージ407は、上述のCPU402が実行するためのプログラムや各種データが格納される。データI/F408は、外部からのデータの入力を行う。データI/F408としては、例えば、USB(Universal Serial Bus)やIEEE1394(Institute of Electrical and Electronics Engineers 1394)などによるインタフェースを適用することができる。
入力部409は、ユーザ入力を受け付けて所定の制御信号を出力する入力デバイスを含む。ユーザは、例えば表示部406に対する表示に応じて入力デバイスを操作することで、端末装置20に対して指示を出すことができる。なお、ユーザ入力を受け付ける入力デバイスを、表示部406と一体的に構成し、押圧した位置に応じた制御信号を出力すると共に、表示部406の画像を透過するタッチパネルとして構成すると、好ましい。
通信部410は、所定のプロトコルを用いてネットワーク10と通信を行う。撮像部411は、光学系と、撮像素子と、光学系および撮像素子の制御駆動回路と、撮像素子から出力される信号に所定の処理を施して画像データとして出力する。撮像部411は、入力部409に対するユーザ操作による指示に従い、撮像やズームなどの機能を実行する。撮像部411で撮像され得られた撮像画像は、例えばバス401を介して通信部410に送られ、CPU402の命令に従いネットワーク10を介して画像検索サーバ11に送信される。
このような構成において、端末装置20は、上述した画像検索サーバ11の提示部104により提示された各情報を、ネットワーク10上のWebサイトを閲覧するためのブラウザアプリケーションを用いて表示することができる。また、端末装置20は、このブラウザアプリケーションを用いて、画像検索サーバ11に対して要求やデータを送信することができる。
この場合、画像検索サーバ11において、提示部104は、端末装置20に対して各情報を提示するための表示制御情報を、例えばHTML(HyperText Markup Language)や各種スクリプト言語を用いて生成し、生成したファイルをネットワーク10上の所定のアドレスに置く。提示部104から端末装置20に対してこのアドレスを通知することで、端末装置20から当該表示制御情報にアクセスし、提示部104による各情報の提示を端末装置20に表示させることができる。
これに限らず、端末装置20に対して、撮像画像の送信から提示情報の表示までの一連の処理を行う端末用プログラム(画像検索端末アプリケーションと呼ぶ)をインストールすることも考えられる。図10は、この場合の端末装置20の一例の機能を示す機能ブロック図である。端末装置20は、受信部420と、送信部421と、撮像処理部422と、入力処理部423と、提示部424と、識別情報管理部425と、制御部430とを有する。
撮像処理部422は、撮像部411による撮像動作を制御し、撮像画像を取得する。送信部421は、例えば画像検索サーバ11のネットワーク10上のアドレス情報を予め有し、ネットワーク10を介した画像検索サーバ11に対する送信処理を行う。撮像処理部422が取得した撮像画像は、送信部421により画像検索サーバ11に送信される。受信部420は、サーバから送信された情報を受信する。例えば、画像検索サーバ11の提示部104から提示される情報が受信部420に受信される。
入力処理部423は、ハードウェアとしての入力部409に対するユーザ入力を処理する。提示部424は、予め用意されたUI画像を表示制御部405に渡し、表示部406にこのUI画像による画面を表示させる。また、提示部424は、受信部420に受信された、例えば画像検索サーバ11の提示部104から提示される情報に基づく表示画面を生成し、表示制御部405を介して表示部406に表示させる。なお、提示部424による情報提示は、表示のみならず、音声によって行うことも可能である。
識別情報管理部425は、端末装置20にインストールされる画像検索端末アプリケーションに一意に取得される識別情報(アプリIDと呼ぶ)を管理する。アプリIDの詳細に関しては、後述する。
制御部430は、この端末装置20の全体の動作を制御する。また、制御部430は、画像検索サーバ11の提示部104から提示された、撮像画像に対応する連携情報に基づく連携機能を実行することができる。例えば、連携情報にURLが指定されている場合、制御部430は、端末装置20にインストールされているブラウザアプリケーションを呼び出し、このURLに示されるアドレスにアクセスさせることも可能である。
上述した受信部420と、送信部421と、撮像処理部422と、入力処理部423と、提示部424と、識別情報管理部425と、制御部430は、CPU402上で動作する端末用プログラムによって実現される。この端末用プログラムは、ネットワーク10に接続されたコンピュータ上に格納し、ネットワーク10経由でダウンロードさせることにより提供するように構成される。また、この端末用プログラムを、ネットワーク10経由で提供または配布するように構成してもよい。この端末用プログラムを、ROM403に予め記憶させて提供することも考えられる。
これに限らず、この端末用プログラムは、インストール可能な形式または実行可能な形式のファイルでCD、DVDなどのコンピュータで読み取り可能な記録媒体に記録して提供してもよい。この場合、例えばデータI/F408に接続された外部のドライブ装置を介して、端末用プログラムが端末装置20に供給される。
端末用プログラムは、例えば、上述した各部(受信部420、送信部421、撮像処理部422、入力処理部423、提示部424、識別情報管理部425および制御部430)を含むモジュール構成となっており、実際のハードウェアとしてはCPU402が例えばストレージ407から当該端末用プログラムを読み出して実行することにより上記各部が主記憶装置(例えばRAM404)上にロードされ、各部が主記憶装置上に生成されるようになっている。
(第1の実施形態)
次に、第1の実施形態について説明する。図11は、第1の実施形態に係る情報処理システムの一例の構成を概略的に示す。なお、図11において、上述した図1と共通する部分には同一の符号を付して、詳細な説明を省略する。
図11において、情報処理システム1Aは、互いにネットワークにより接続された画像検索システム200Aおよび端末装置20を含む。画像検索システム200Aは、上述した画像検索システム200に対応し、画像検索サーバ11およびDB12を含む。上述したように、画像検索サーバ11は、1以上のコンピュータを含んで構成される。
なお、DB12には、コンテンツ配信サイト210の例えば運営者により、または、当該運営者の依頼により、撮像画像40に対応するオブジェクトの索引データと、当該オブジェクトに対応する連携情報とが関連付けられて登録されているものとする。連携情報は、例えばコンテンツ配信サイト210そのもののURLや、コンテンツ配信サイト210にアクセスすることで配信されるコンテンツ毎のURLである。
端末装置20は、例えば紙媒体を撮像して撮像画像40を画像検索システム200Aに送信する。撮像画像40は、画像検索システム200Aに受信されて画像検索サーバ11に供給される。画像検索サーバ11は、上述と同様にして、撮像画像40からオブジェクトを抽出し、抽出したオブジェクトに基づきDB12を検索して、当該オブジェクトに対応するURLを検索結果として取得する。画像検索サーバ11は、取得したURLを、撮像画像40の送信元である端末装置20に送信する。
端末装置20は、画像検索端末アプリケーションを用いて、撮像画像40の送信に応じて画像検索システム200Aから送信されたURLに従い、例えばコンテンツ配信サイト210にアクセスする。このとき、端末装置20は、識別情報管理部425に管理されるアプリIDを、コンテンツ配信サイト210に送信する。なお、端末装置20は、アプリIDを個別のデータとしてコンテンツ配信サイト210に送信することができる。これに限らず、端末装置20は、アプリIDのコンテンツ配信サイト210への送信を、コンテンツ配信サイト210にアクセスする際のURLに引数として付加してコンテンツ配信サイト210に渡すことで行なってもよい。
なお、コンテンツ配信サイト210は、図1における商用サイト30Aや商用サイト30Bに対応するもので、1以上のコンピュータから構成される。そして、コンテンツ配信サイト210は、画像検索システム200Aによる検索の結果得られたURLに示されるネットワーク上の位置を含み、当該URLに関連付けられたコンテンツを、端末装置20などに提示する。
ここで、アプリIDについて説明する。アプリIDは、上述したように、端末装置20にインストールされ実行される、実施形態に係る画像検索端末アプリケーションについて一意に取得される識別情報である。このアプリIDは、画像検索端末アプリケーションに関連付けられ、ユーザによる変更が不可とされる。また、アプリIDは、端末装置20から画像検索端末アプリケーションが削除(アンインストール)される際に削除される。
すなわち、アプリIDは、メールアドレスやアカウント情報などのような、ユーザにより設定され、ユーザにより任意の変更が可能な識別情報とは異なる性質のものである。また、アプリIDは、機器IDのように、端末装置20そのものに関連付けられユーザによる変更が不可とされている識別情報とも異なる性質のものである。さらに、アプリIDは、端末装置20にインストールされた画像検索端末アプリケーションについてユニークであるので、実質的には、端末装置20毎の識別情報として用いることが可能である。
アプリIDは、例えば、画像検索端末アプリケーションが端末装置20にインストールされる際に生成され、端末装置20に対して設定される。図12は、実施形態に係るアプリIDの一例の生成処理を示すフローチャートである。ここで、画像検索端末アプリケーションの端末装置20に対するインストールは、専用のインストールプログラム(インストーラ)によって実行されるものとする。
インストーラは、例えば、ネットワーク上のサーバから、ネットワークを介して端末装置20にダウンロードされ、ストレージ407に格納される。CPU402は、例えば入力部409に対するインストール実行を指示するユーザ操作に応じて、あるいは、インストーラのダウンロードに伴い自動的に、インストール実行を指示するコマンドを出力する。CPU402は、このコマンドを受けて、ストレージ407に格納されるインストーラをRAM404に展開し、実行する。
図12において、ステップS10で、CPU402は、インストーラを実行させて、インストーラの指示に従い画像検索端末アプリケーションのインストールを開始する。インストールが開始されると、CPU402は、インストーラの指示に従いアプリIDを生成して取得する(ステップS11)。このとき、インストーラは、生成するアプリIDがユニークな値となるように、アプリIDの生成方法が決められる。
アプリIDは、例えば乱数を用いて生成させることができる。一例として、CPU402は、所定長さの乱数と、インストーラによるインストール処理が開始された時刻や、インストーラがダウンロードされた時刻を示す時刻情報とを組み合わせてアプリIDを生成することが考えられる。これに限らず、CPU402は、インストーラの指示に従い、当該時刻情報を秒以下の単位で取得して、そのままアプリIDとして用いてもよいし、十分な長さの乱数を発生させて、そのままアプリIDとして用いることも可能である。
そして、CPU402は、次のステップS12で、ステップS11で生成されたアプリIDを、ストレージ407などに記憶する。このとき、CPU402は、アプリIDを暗号化したり、所定の方法で不可視化してストレージ407に記憶させることで、ユーザに対してアプリIDを隠蔽することができると、より好ましい。
図11の説明に戻り、コンテンツ配信サイト210は、端末装置20から送信されたアプリIDに応じたコンテンツを、端末装置20に配信することができる。詳細は後述するが、例えば、コンテンツ配信サイト210は、あるアプリIDについて、初回のアクセスの際に当該アプリIDを登録する。そして、コンテンツ配信サイト210は、送信されたアプリIDを登録情報に基づき照合して当該アプリIDが既に登録されている場合に、当該アプリIDに固有のコンテンツを、当該アプリIDの送信元の端末装置20に対して配信する。
このように、画像検索の結果得られたURLに対して、画像検索端末アプリケーション毎にユニークな識別情報であるアプリIDを送信することで、同じ検索結果に対して端末装置20毎に異なるコンテンツを配信することが可能となる。
すなわち、第1の実施形態によれば、情報媒体を利用してユーザに所望の画像を提示し、さらにその画像に基づいて、関連する電子情報を提供する情報提供技術において、提示された画像や、その画像を利用する端末、ユーザの属性などに応じた電子情報を、ユーザに対して容易に提供可能となる。
なお、上述では、コンテンツ配信サイト210は、端末装置20に対して、端末装置20から送信されたアプリIDに応じたコンテンツを提示しているが、これはこの例に限定されない。例えば、端末装置20において、画像検索端末アプリケーションにおいて所定の登録情報を登録可能としておき、アプリIDに対して登録情報を分類番号や記号として付加してコンテンツ配信サイト210に送信するようにもできる。コンテンツ配信サイト210は、アプリIDに加えて、アプリIDに付加された分類番号や記号に応じて、コンテンツを提示することができる。
さらに、コンテンツ配信サイト210は、端末装置20の位置を示す位置情報に応じたコンテンツを提示するようにもできる。例えば、端末装置20にGPS(Global Positioning System)による信号を受信して測位を行うGPS測位部をさらに設け、撮像を行った位置を示す情報をGPS測位部により取得する。端末装置20は、この取得した位置情報を、アプリIDに付加してコンテンツ配信サイト210に送信する。コンテンツ配信サイト210は、アプリIDに加えて、アプリIDに付加された位置情報に応じて、コンテンツを提示することができる。
(第2の実施形態)
次に、第2の実施形態について説明する。上述した第1の実施形態では、アプリIDを端末装置20側で生成するように説明したが、これはこの例に限定されない。第2の実施形態では、アプリIDを外部で生成して端末装置20に設定する。一例として、端末装置20とネットワークを介して接続されたサーバ上でアプリIDを生成することが考えられる。サーバ上で生成されたアプリIDは、ネットワークを介して端末装置20に送信され、端末装置20のストレージ407に格納される。
図13は、第2の実施形態に係る、サーバ上でアプリIDを生成するようにした情報処理システムの一例の構成を概略的に示す。図13において、情報処理システム1Bは、図11に示した情報処理システム1Aの画像検索システム200Aに対してアプリIDを生成する識別情報(アプリID)生成部を備えるアプリID生成サーバ13を追加して、画像検索システム200Bとしている。なお、アプリID生成サーバ13は、一般的なコンピュータ装置により構成することができる。このとき、アプリID生成サーバ13は、1台のコンピュータ装置により構成するのに限られず、例えば複数台のコンピュータ装置上で分散的に動作する構成としてもよい。
この場合、端末装置20においてインストールされた画像検索端末アプリケーションの初回の起動がなされると、その旨示すインストール情報が端末装置20から画像検索システム200Bに送信され、アプリID生成サーバ13に供給される。アプリID生成サーバ13は、このインストール情報に応じてアプリIDを生成し、端末装置20に送信する。
図14は、第2の実施形態に係る、アプリIDを外部で生成して端末装置20に設定する場合の処理を示す一例のフローチャートである。ステップS20で、CPU402は、インストーラを実行させて、インストーラの指示に従い画像検索端末アプリケーションのインストールを開始する。インストールが完了すると、次のステップS21で、CPU402は、インストールされた画像検索端末アプリケーションを起動させる。CPU402は、画像検索端末アプリケーションを、インストール処理に続けて自動的に起動させてもよいし、端末装置20に対するユーザ操作に応じて起動させてもよい。
画像検索端末アプリケーションが起動されると、上述したように、主記憶装置(例えばRAM404)上に画像検索端末アプリケーションを機能させる各部(受信部420、送信部421、撮像処理部422、入力処理部423、提示部424、識別情報管理部425および制御部430)が各モジュールとして生成される。各モジュールに従いCPU402が動作することで、画像検索端末アプリケーションが実行される。
画像検索端末アプリケーションが起動されると、識別情報管理部425は、画像検索端末アプリケーションの指示に従いアプリID生成サーバ13にアクセスする(ステップS22)。このアクセスは、画像検索端末アプリケーションが端末装置20にインストールされてから初回のアクセスとなる。識別情報管理部425は、アプリID生成サーバ13に対してアプリIDの生成を要求する。
アプリID生成サーバ13は、端末装置20からのアプリIDの生成要求に応じてアプリIDを生成し、生成したアプリIDを、アプリIDの生成要求の送信元に送信する。
アプリIDの生成方法は、上述と同様に、乱数と時刻情報とを組み合わせる方法を適用できる。この場合、時刻情報は、例えば端末装置20からのアプリIDの生成要求をアプリID生成サーバ13が受信した時刻を用いることができる。これに限らず、アプリID生成サーバ13は、乱数のみ、時刻情報のみからアプリIDを生成してもよいし、通し番号などをアプリIDとして生成してもよい。また、アプリID生成サーバ13は、生成したアプリIDを端末装置20のアドレス情報などに関連付けて、アプリIDを管理することも可能である。
次のステップS23で、識別情報管理部425は、アプリID生成サーバ13から送信されたアプリIDを受信して取得する。そして、次のステップS24で、識別情報管理部425は、受信したアプリIDを、例えばストレージ407に格納する。このとき、識別情報管理部425は、アプリIDを暗号化や不可視化などにより、ユーザから隠蔽してストレージ407に格納すると好ましい。
このように、アプリIDの生成は、端末装置20の外部において行なってもよい。この場合、アプリID生成サーバ13は、生成したアプリIDを端末装置20のアドレス情報などに関連付けて、アプリIDを管理することが可能である。
(第3の実施形態)
次に、第3の実施形態について説明する。第3の実施形態は、端末装置20が画像検索のために画像検索サーバ11にアクセスした履歴を、ログ情報として記録する。図15は、第3の実施形態に係る情報処理システム1Cの一例の構成を概略的に示す。図15において、情報処理システム1Cは、図11に示した情報処理システム1Aの画像検索システム200Aに対して、端末装置20によるアクセス履歴をログ情報として記録するログサーバ14を追加して、画像検索システム200Cとしている。
この図15の情報処理システム1Cでは、端末装置20は、撮像画像40を画像検索システム200Cに送信する際に、端末装置20の画像検索端末アプリケーションのアプリIDを当該撮像画像40に関連付けて送信する。画像検索システム200Cにおいて、ログサーバ14は、端末装置20から画像検索システム200Cにアクセスされた時刻を示す時刻情報と、アプリIDと、撮像画像40を示す情報とを互いに関連付けて、ログ情報として蓄積する蓄積部を備える。端末装置20の機器を識別する機器IDが取得できる場合には、この機器IDをログ情報に関連付けて記録することもできる。なお、ログサーバ14は、一般的なコンピュータ装置により構成することができる。このとき、ログサーバ14は、1台のコンピュータ装置により構成するのに限られず、例えば複数台のコンピュータ装置上で分散的に動作する構成としてもよい。
ここで、DB12において、撮像画像40に対応するオブジェクトに対応する連携情報として、コンテンツ配信サイト210にアクセスすることで配信されるコンテンツのURLと、コンテンツ配信サイト210とは別の、他のサイト211のURLとが関連付けられているものとする。他のサイト211の例としては、動画像を配信する動画像配信サイトを挙げることができる。
この場合、端末装置20において、コンテンツ配信サイト210にアクセスすることで配信されるコンテンツのURLが選択された場合には、コンテンツ配信サイト210は、そのアクセスを把握することができ、アクセスをアプリID毎に管理することができる。しかしながら、端末装置20において、他のサイト211のURLが選択された場合には、コンテンツ配信サイト210は、端末装置20による他のサイト211のアクセスを把握することができず、アプリID毎のアクセス管理ができない。
そこで、第3の実施形態では、端末装置20が撮像画像40とアプリIDとを関連付けて画像検索システム200Cに送信し、ログサーバ14にてアプリIDと撮像画像40に対応するオブジェクトを示す情報とを関連付けてログ情報として蓄積する。これにより、端末装置20がコンテンツ配信サイト210にアクセスすることで配信されるコンテンツのURLにアクセスした場合と、他のサイト211にアクセスした場合とを、アプリIDに基づき共に把握することができる。
図16は、第3の実施形態に係る、ログサーバ14がログ情報を蓄積するログ情報テーブルの一例の構成を示す。図16に例示されるログ情報テーブルは、アプリIDに対して、アクセス日時と、オブジェクトIDと、デバイス情報とを関連付けて記録する。アクセス日時は、端末装置20から画像検索システム200Cに対する、撮像画像40とアプリIDとによるアクセスがあった日時が格納される。オブジェクトIDは、撮像画像40から抽出されたオブジェクトを識別する情報であって、例えば図4(a)を用いて説明した索引テーブル120におけるIDを用いることができる。
デバイス情報は、端末装置20を識別するための情報である。デバイス情報としては、端末装置20のIP(Internet Protocol)アドレスやMAC(Media Access Control)アドレスを用いることができる。デバイス情報は、省略することができる。
図17は、第3の実施形態に係る、オブジェクトIDとリンク先情報(URL)とを、顧客毎に関連付ける連携情報テーブルの一例の構成を示す。連携情報テーブルにおいて、顧客IDは、DB12に登録されるデータの例えばオーナを識別する識別情報である。オーナは、例えばコンテンツ配信サイト210の運営者や運営組織である。このように、連携情報テーブルでは、顧客ID毎に、オブジェクトIDとリンク先のURLとが関連付けられて格納される。この連携情報テーブルに格納される情報は、図3(b)で示した対象領域テーブル121の情報を用いて生成することができる。
ログサーバ14において、端末装置20からのアクセスに応じてログ情報テーブルに対してアプリIDに関連付けてログ情報を蓄積する。そして、ログ情報テーブルをアプリIDに基づき検索して所望のアプリIDに対応するオブジェクトIDを出力し、連携情報テーブルをオブジェクトIDに基づき検出して、オブジェクトID毎のリンク先情報を得る。これにより、例えばコンテンツ配信サイト210の運営者は、所望のアプリIDによりコンテンツ配信サイト210および他のサイト211がアクセスされたアクセス数を予測できる。
(第3の実施形態の第1の適用例)
次に、第3の実施形態に適用可能な第1の適用例について説明する。第1の適用例は、コンテンツ配信サイト210において、アプリIDによるチェックを行い、アプリIDが登録されていない場合には登録処理を行い、登録されている場合には所定のコンテンツを配信するものである。
図18は、第1の適用例を実現可能なシステムの概要を示す。このシステムは、画像検索システム200Cと、コンテンツ配信サイト210と、媒体企画システム220とを含む。なお、図18の例では、ログサーバ14を有する画像検索システム200Cを適用することで、コンテンツ配信サイト210に対してログ情報を提供可能としている。コンテンツ配信サイト210に対するログ情報の提供が不要の場合には、画像検索システム200Cの代わりに画像検索システム200Aや画像検索システム200Bを適用させてもよい。
図18において、媒体企画システム220は、企画システム500と、媒体制作システム501と、媒体作成システム502と、オーサリング・データ登録システム503とを含む。
企画システム500は、コンテンツ配信サイト210において配信するコンテンツに応じて、当該コンテンツを配信するための、画像検索システム200Cに検索させるための画像および当該検索対象画像が形成される媒体を企画し、検索対象画像および媒体を示す情報を出力する。また、企画システム500は、コンテンツ配信サイト210のURLや、コンテンツ配信サイト210が配信する各コンテンツのURLを出力する。
媒体制作システム501は、企画システム500から出力された検索対象画像および媒体を示す情報に基づき、媒体に適した形式で検索対象画像を作成する。媒体制作システム501は、作成した検索対象画像を媒体作成システム502に出力する。また、媒体制作システム501は、作成した検索対象画像と、企画システム500から供給された各URLとを、オーサリング・データ登録システム503に対して出力する。
媒体作成システム502は、検索対象画像を媒体上に形成し、検索対象(撮像対象)の媒体510を作成する。例えば、媒体作成システム502は、プリンタ装置であって、検索対象画像を紙媒体上に印刷して、紙による検索対象の媒体510を作成する。なお、媒体510は、紙媒体に限らない。例えば、媒体510の素材は、紙以外であってもよいし、媒体510が電子的に情報を掲示する電子掲示板などであってもよい。
オーサリング・データ登録システム503は、媒体作成システム501から供給された検索対象画像と各URLとを、画像検索システム200CのDB12に登録する。これにより、例えば端末装置20は、検索対象の媒体510上の検索対象画像を撮像した撮像画像を画像検索システム200Cに送信することで、当該検索対象画像に対応するURLを得ることができる。
例えば、端末装置20により、検索対象の媒体510上の検索対象画像を撮像し、撮像画像とアプリIDとを画像検索システム200Cに送信する。画像検索システム200Cにおいて、画像検索サーバ11は、撮像画像に基づきDB12を検索して、URLを取得する。このURLは、端末装置20に送信される。また、画像検索システム200Cにおいて、ログサーバ14は、画像検索サーバ11による検索により得られたオブジェクトIDと、端末装置20から送信されたアプリIDと、端末装置20が画像検索システム200Cにアクセスした日時情報とをログ情報テーブルに蓄積的に記録する。
端末装置20は、画像検索システム200Cから送信されたURLにアクセスする際に、当該URLに対してアプリIDを送信する。ここでは、画像検索システム200Cから送信されたURLがコンテンツ配信サイト210を示すものとし、端末装置20は、当該URLに従いコンテンツ配信サイト210にアクセスする際に、アプリIDをコンテンツ配信サイト210に送信する。
コンテンツ配信サイト210は、この例では、端末装置20からアクセスしてきたユーザに対して会員登録を促し、会員として登録されたユーザすなわち端末装置20に対して会員向けのコンテンツを配信し、会員として登録されていないユーザに対しては、所定のコンテンツを配信する。
コンテンツ配信サイト210は、アプリIDチェック部2200と、会員認証部2101と、会員向けコンテンツ2102、2102、…と、アプリID格納部2103と、会員情報格納部2104と、ログ情報格納部2105とを含む。これらのうち、会員情報格納部2104は、コンテンツ配信サイト210に会員として登録されたユーザの情報を格納する。また、アプリID格納部2103は、会員として登録されたユーザが会員登録時のアクセスにおいて用いた端末装置20から送信されたアプリIDが、会員情報格納部2104に格納される当該ユーザの情報と関連付けられて格納される。
アプリIDチェック部2100は、端末装置20からアクセスしてきたユーザが会員登録されているか否かを判定する。具体的には、アプリIDチェック部2100は、端末装置20から送信されたアプリIDがアプリID格納部2103に格納(記録)されているか否かを判定する。
若し、端末装置20から送信されたアプリIDがアプリID格納部2103に格納されていないと判定した場合、アプリIDチェック部2100は、当該ユーザが会員登録されていないと判断する。この場合、当該アプリIDが会員認証部2101に渡され、会員認証部2101により、端末装置20に対して会員登録を促す通知が送信される。この通知に応じて、端末装置20から会員登録する旨の返答が返された場合、会員認証部2101は、端末装置20との間で所定のやり取りを行いユーザ情報などを取得した後、ユーザ情報を会員情報格納部2104に格納し、アプリIDを当該ユーザ情報と関連付けてアプリID格納部2103に格納する。これにより、当該ユーザがコンテンツ配信サイト210に対して会員登録される。
一方、端末装置20から送信されたアプリIDがアプリID格納部2103に格納されていると判定した場合、アプリIDチェック部2100は、当該ユーザが会員登録されていると判断する。この場合、コンテンツ配信サイト210は、端末装置20に対して、会員向けコンテンツ2102、2102、…を提示する。
なお、上述では、コンテンツ配信サイト210は、会員認証部2101で会員登録されたユーザに対して、会員登録を行った次のアクセスから、会員向けコンテンツ2102、2102、…を提示するように説明したが、これはこの例に限定されない。例えば、コンテンツ配信サイト210は、会員登録されたユーザに対して、会員登録直後から会員向けコンテンツ2102、2102、…を提示するようにしてもよい。
なお、会員登録を促す通知に代えて、会員登録を行うか、既に登録してあるユーザ情報を入力するか(ログインを行うか)を選択できる通知(画面表示)を行ってもよい。既に会員登録を行ったユーザであり、会員登録後に端末装置20に画像検索端末アプリケーションをインストールしたユーザについては、既に会員登録が済んでいる、すなわち、ユーザ情報が会員情報格納部2104に記憶されているため、新たに会員登録をさせる必要が無い。そのため、会員登録を行うか、既に登録しているユーザ情報を入力するかを選択できる通知を行うことで、未登録のユーザについては会員登録を、既登録のユーザについては登録してあるユーザ情報の入力を行わせることができる。そして、ユーザが既登録のユーザ情報としてユーザ情報の入力を行った場合、会員認証部2101は入力されたユーザ情報が会員情報格納部2104に格納されているか否かを判定し、格納されていれば会員向けコンテンツ2102、2102、…を提示し、さらにアプリIDを入力された当該ユーザ情報と関連付けてアプリID格納部2103に格納する。
ログ情報格納部2105は、画像検索システム200C内のログサーバ14から提供されたログ情報が格納される。ログ情報格納部2105は、例えば、所定の時間間隔でログサーバ14にアクセスして、前回のアクセス以降に蓄積されたログ情報を取得する。これに限らず、ログサーバ14からログ情報格納部2105に対してログ情報を送信するようにもできる。この場合、例えば、ログサーバ14からログ情報格納部2105へのログ情報の提供を、ログサーバ14にログ情報が記録される毎に行うことができる。
ログ情報格納部2105は、さらに、コンテンツ配信サイト210に対するアクセスに関するログ情報を蓄積することも可能である。コンテンツ配信サイト210では、このログ情報格納部2105に蓄積されたログ情報を解析することで、例えばアプリID毎のアクセス数などの、アプリIDのアクセスに関する統計情報を得ることができる。
この第1の適用例によれば、コンテンツ配信サイト210は、端末装置20から送信されたアプリIDに基づき当該端末装置20からのアクセスが初回のアクセスなのか否かを判定することができ、端末装置20に対して、判定結果に応じて異なるコンテンツを提示することができる。また、ログ情報格納部2105に格納されるログ情報に基づき、アプリID毎のアクセス状態を解析することができ、解析結果に応じてより柔軟にコンテンツを選択して提示することができる。
(第3の実施形態に対する第2の適用例)
次に、第3の実施形態に対する第2の適用例について説明する。なお、この第2の適用例では、上述の図18に示したシステム構成を適用することができる。
第2の適用例は、コンテンツ配信サイト210は、図18における会員認証部2101におけるユーザの会員登録時に、登録するユーザの特性情報(年齢、性別など)を端末装置20から送信されたアプリIDに関連付けて登録する。また、コンテンツ配信サイト210は、画像検索システム200Cのログサーバ14から、ログ情報を取得してログ情報格納部2105に格納する。コンテンツ配信サイト210は、端末装置20から登録済みのアプリIDによりアクセスされた際に、アプリIDに関連付けられたユーザの特性情報とログ情報とに基づき、会員向けコンテンツ2102、2102、…から当該ユーザに適したコンテンツを選択して、端末装置20に対して提示する。
第2の適用例における会員向けコンテンツ2102、2102、…として、外国語学習などの学習教材を用いた例について説明する。学習教材においては、ユーザ(学習者とする)のレベル(年齢、学年など)や達成度に応じて教材の内容を設定することが好ましい。そのため、コンテンツ配信サイト210は、例えば、学習教材としての会員向けコンテンツ2102、2102、…を、例えば内容の難易度によりグルーピングする。
図19は、第2の適用例に係る、会員向けコンテンツ2102、2102、…のグルーピングの例を示す。図19の例では、教材の難易度に応じて、「初級」、「中級」および「上級」の3クラスを設定する。さらに、各クラス内で、教材の難易度に応じて「A」、「B」、「C」、…などのレベルを設定する。この各クラスの各レベルに対して、教材を提示するためのURLをそれぞれ関連付ける。
例えば、媒体企画システム220は、紙媒体による学習教材を媒体510として作成すると共に、その情報を画像検索システム200Cに登録する。ユーザは、この学習教材としての媒体510を端末装置20を用いて撮像し、撮像画像とアプリIDとを画像検索システム200Cに送信する。なお、端末装置20による学習教材の撮像は、学習教材の表紙など特定のページを被写体としてもよいし、学習教材の内容の任意のページを被写体としてもよい。
画像検索システム200Cは、端末装置20から送信された撮像画像に基づき、DB12から例えばコンテンツ配信サイト210のURLを検索し、検索されたURLを端末装置20に送信する。また、画像検索システム200Cは、アプリIDと画像検索サーバ11の検索により得られたオブジェクトIDと、端末装置20が画像検索システム200Cにアクセスした日時情報とを関連付けて、ログサーバ14に送信し、ログ情報として蓄積させる。
端末装置20は、画像検索システム200Cから送信されたURLに従い、コンテンツ配信サイト210にアクセスし、当該コンテンツ配信サイト210に対してアプリIDを送信する。コンテンツ配信サイト210は、端末装置20からのアクセスに対して、アプリIDチェック部2100で端末装置20から送信されたアプリIDをアプリID格納部2103および会員情報格納部2104を参照してチェックし、アプリIDが学習者として登録されているか否かを判定する。
若し、登録されていないと判定した場合、コンテンツ配信サイト210は、端末装置20に対して登録と、ユーザの特性情報の入力とを促す通知を送信する。この通知に応じて、登録の了承と特性情報とが端末装置20からコンテンツ配信サイト210に送信されると、コンテンツ配信サイト210は、会員認証部2101で当該アプリIDを認証して、学習者として登録する。具体的には、コンテンツ配信サイト210は、アプリIDと特性情報とを関連付けて、アプリID格納部2103および会員情報格納部2104にそれぞれ格納する。また、コンテンツ配信サイト210は、例えば特性情報に基づき学習者のクラスを設定する。
一方、アプリIDチェック部2100が、端末装置20から送信されたアプリIDが学習者として登録されていると判定した場合、コンテンツ配信サイト210は、ログ情報格納部2105から当該アプリIDに対応するログ情報を検索する。そして、コンテンツ配信サイト210は、検索の結果に応じて、当該学習者の、当該学習者に設定されたクラス内でのレベルを判定する。例えば、当該アプリIDによるあるレベル(URL)に対するアクセスが所定回数以上あった場合に、コンテンツ配信サイト210は、当該アプリIDのレベルを1つ上のレベルに移行させる。
このように、第2の適用例では、コンテンツ配信サイト210は、アプリIDとログ情報とに基づき、アプリIDが送信された端末装置20に対して、ユーザ毎に適切なコンテンツを提示することができる。また、コンテンツ配信サイト210において、アプリIDにより認証を行なっているため、端末装置20からコンテンツ配信サイト210へのアクセスに際して、一々ログイン操作を行う必要がない。
(第3の実施形態に対する第3の適用例)
次に、第3の実施形態に対する第3の適用例について説明する。なお、この第3の適用例では、上述の図18に示したシステム構成を適用することができる。
第3の適用例は、同一のアプリIDによるアクセスに対して、アクセス回数に応じて制限を掛ける例である。例えば、所定期間内や所定期間毎に所定回数までのアクセスを許可することが考えられる。これに限らず、同一のアプリIDに対して、所定回数までのアクセスを許可することが考えられる。このような、同一のアプリIDに対するアクセス制限を行う例として、端末装置20を用いたキャンペーン応募が考えられる。
一例として、ある期間において開催され、同一のアプリIDにて1日に1回を上限として応募でき、日付が変わると応募制限が解除されて再び応募が可能となるキャンペーンを考える。このキャンペーンでは、キャンペーン期間の終了時の直後に、応募結果が発表されるものとする。
図20は、この場合の、第3の適用例によるコンテンツ配信サイト210における一例の処理を示すフローチャートである。このフローチャートの処理に先立って、媒体企画システム220は、例えば紙媒体としてのキャンペーン応募用紙を媒体510として作成すると共に、その情報を画像検索システム200Cに登録する。コンテンツ配信サイト210は、端末装置20からのアプリIDによるアクセスを待機する(ステップS30)。
端末装置20は、媒体510を撮像して、撮像画像とアプリIDとを画像検索システム200Cに送信する。画像検索システム200Cは、端末装置20から送信された撮像画像に基づき、DB12から例えばコンテンツ配信サイト210のURLを検索し、検索されたURLを端末装置20に送信する。また、画像検索システム200Cは、アプリIDと画像検索サーバ11の検索により得られたオブジェクトIDと、端末装置20が画像検索システム200Cにアクセスした日時情報とを関連付けて、ログサーバ14に送信し、ログ情報として蓄積させる。
端末装置20は、画像検索システム200Cから送信されたURLに従いコンテンツ配信サイト210にアクセスし、当該コンテンツ配信サイト210に対してアプリIDを送信する。コンテンツ配信サイト210は、端末装置20からのアプリIDによるアクセスを検出すると、処理をステップS31に移行させ、アプリIDとアクセスのあった時刻を示す日時情報とを取得する。取得したアプリIDおよび日時情報は、互いに関連付けられて、例えばログ情報格納部2105に格納される。
次のステップS32で、コンテンツ配信サイト210は、ログ情報格納部2105に格納されるログ情報に基づき、ステップS30でアクセスが検出されたアプリIDにより、過去にアクセスがあったか否かを判定する。過去にアクセスが無いと判定した場合、コンテンツ配信サイト210は、処理をステップS34に移行させ、当該アプリIDに対して所定の応募処理を実行する。
ステップS32で、当該アプリIDにより過去にアクセスがあったと判定した場合、コンテンツ配信サイト210は、処理を次のステップS33に移行させる。ステップS33で、コンテンツ配信サイト210は、例えば当該アプリIDによる前回のアクセスから、同一アプリIDによる応募制限が解除される所定時間(この例では1日)が経過したか否かが判定される。例えば、コンテンツ配信サイト210は、ステップS31で取得したアプリIDおよび日時情報と、ログ情報格納部2105にログ情報として蓄積されるアプリIDおよび日時情報とに基づき、当該アプリIDによる前回のアクセスからの経過時間を求めることができる。
ステップS33で、前回のアクセスから所定時間が経過していると判定した場合、コンテンツ配信サイト210は、当該アプリIDに対する応募制限を解除して、処理をステップS34に移行させる。
ステップS33で、前回のアクセスから所定時間が経過していないと判定した場合、コンテンツ配信サイト210は、処理をステップS35に移行させ、端末装置20に対して、当該アプリIDによる応募制限中である旨を示すメッセージを送信する。そして、処理がステップS36に移行される。
ステップS36で、コンテンツ配信サイト210は、キャンペーンが所定の条件を満たしたか否かを判定する。例えば、キャンペーンが所定の期間内に実施される場合、コンテンツ配信サイト210は、現在の日時がこのキャンペーンの終了日時になったか否かを判定する。若し、キャンペーンが所定の条件を満たしていないと判定した場合、処理がステップS30に戻される。一方、キャンペーンが所定の条件を満たしていると判定した場合、コンテンツ配信サイト210は、処理をステップS37に移行させ、その旨示す所定のメッセージを端末装置20に送信する。
(第3の実施形態の第4の適用例)
次に、第3の実施形態に対する第4の適用例について説明する。なお、この第4の適用例では、上述の図18に示したシステム構成を適用することができる。
第4の適応例は、予め定められた複数のオブジェクトを1のアプリIDにより取得した場合に、特定のコンテンツを提示する例である。このような適用例としては、所定のポイントを全て巡回した場合に特典が与えられる、スタンプラリーが考えられる。
一例として、図21に示されるように、駅A〜Eがあり、駅AにスタンプStmp600が、駅BにスタンプStmp601が、駅CにスタンプStmp602が、駅EにスタンプStmp603がそれぞれ備えられ、これらスタンプStmp600〜603の印影を全て収集することで、特典が得られるものとする。スタンプラリーの参加者は、駅A〜Eのうちスタンプが備えられている駅に行き、スタンプの印影を所定の用紙などに記録する。このとき、スタンプStmp600〜603の記録順は、任意である。ユーザは、スタンプStmp600〜603の全ての記録を終了すると、記録された用紙をスタンプラリーの受付などに持参することで、特典を得ることができる。
図22は、第4の適用例によるコンテンツ配信サイト210における一例の処理を示すフローチャートである。ここでは、第4の適用例を、図21を用いて説明したスタンプラリーを例にとって説明する。また、図22のフローチャートは、既にコンテンツ配信サイト210に登録されている1のアプリIDを対象とした処理を示している。
図22のフローチャートの処理に先立って、媒体企画システム220は、例えば各スタンプStmp600〜603の印影を、紙媒体など所定の媒体上に形成して、各スタンプStmp600〜603の印影に対応する各媒体510を作成する。また、媒体企画システム220において、オーサリング・データ登録システム503は、各スタンプStmp600〜603の印影それぞれをオブジェクトとして、同一のURL(コンテンツ配信サイト210のURLとする)に対して、オブジェクト識別子として互いに異なる引数を付加したURL#1〜#4をそれぞれ関連付けて、DB12に登録する。
また、コンテンツ配信サイト210は、引数が付加された各URL#1〜#4に対して、各スタンプStmp600〜603の印影による各オブジェクトに対応する互いに異なるURLを関連付ける。例えば、コンテンツ配信サイト210に対してURL#1によりアクセスした場合、このアクセスがスタンプStmp600に関連付けられたURLにリダイレクトされる。
コンテンツ配信サイト210は、端末装置20からのアクセスを待機する(ステップS40)。
端末装置20は、駅A、B、CおよびEの何れかにおいて媒体510(各スタンプStmp600〜603の印影)を撮像し、撮像画像とアプリIDとを画像検索システム200Cに送信する。画像検索システム200Cは、端末装置20から送信された撮像画像に基づき、当該撮像画像に関連付けられたURLをDB12から検索する。例えば、画像検索システム200Cは、端末装置20から送信された撮像画像がスタンプStmp600の印影のオブジェクトを含んでいる場合、当該オブジェクトに関連付けられたURL#1をDB12から検索する。また、画像検索システム200Cは、アプリIDと画像検索サーバ11の検索により得られたオブジェクトIDと、端末装置20が画像検索システム200Cにアクセスした日時情報とを関連付けて、ログサーバ14に送信し、ログ情報として蓄積させる。
端末装置20は、画像検索システム200Cから送信されたURLに従いコンテンツ配信サイト210にアクセスし、当該コンテンツ配信サイト210に対してアプリIDを送信する。コンテンツ配信サイト210は、端末装置20からのアプリIDによるアクセスを検出すると、処理をステップS41に移行させ、アプリIDによるこのアクセスが、所定のオブジェクトすなわちスタンプStmp600〜603何れの印影によるオブジェクトによるものであるか否かを判定する。
この例では、スタンプStmp600〜603何れの印影によるオブジェクトを識別するオブジェクト識別子として、画像検索システム200CのDB12に登録されるURLに対して引数が付加されている。そのため、コンテンツ配信サイト210は、この引数に基づき、アプリIDによるアクセスが所定のオブジェクトによるものであるか否かを判定することができる。若し、所定のオブジェクトによるアクセスではないと判定した場合、コンテンツ配信サイト210は、処理をステップS40に戻す。
一方、ステップS41で所定のオブジェクトによるアクセスであると判定した場合、処理がステップS42に移行される。ステップS42で、コンテンツ配信サイト210は、当該オブジェクト(オブジェクト識別子)とアプリIDとを関連付けて保持する。
次のステップS43で、コンテンツ配信サイト210は、ステップS40のアクセスに係るアプリIDについて、ステップS42で保持されたオブジェクトの情報に基づき、予め定められた所定のオブジェクトが全て揃ったか否かを判定する。この例では、コンテンツ配信サイト210は、当該アプリIDについて、スタンプStmp600〜603によるオブジェクトのオブジェクト識別子が揃ったか否かを判定する。若し、揃っていないと判定した場合、処理をステップS40に戻す。
一方、ステップS43で当該アプリIDについて、スタンプStmp600〜603によるオブジェクトのオブジェクト識別子が揃ったと判定した場合、コンテンツ配信サイト210は、処理をステップS44に移行させ、当該アプリIDに対応する端末装置20に対して、例えば所定のオブジェクトの収集が完了した旨を示すメッセージを送信する。
なお、上述では、スタンプStmp600〜603の印影を互いに異なるものとして説明したが、これはこの例に限定されない。例えば、スタンプStmp600〜603の印影を全て同一とし、端末装置20の位置情報を用いてスタンプStmp600〜603のうち何れの印影を撮像したかを判定することができる。
すなわち、端末装置20に対して、GPSによる信号を受信して測位を行うGPS測位部をさらに設ける。端末装置20は、撮像画像に応じたURLに従いコンテンツ配信サイト210にアクセスする際に、測位結果(例えば緯度および経度)をコンテンツ配信サイト210に送信する。コンテンツ配信サイト210は、送信された測位結果と、予め登録されている、各スタンプStmp600〜603の位置情報とに基づき、端末装置20によるアクセスが各スタンプStmp600〜603のうち何れの位置からなされたかを判定することができる。
この例の場合、ユーザは、所定のスタンプを全て収集し終わった後に、一々受付場所などに出向いていかなくても、収集が完了したことを通知することができる。
なお、上述では、ステップS43において、予め定められた所定のオブジェクトが全て揃ったか否かを判定し、揃っていない場合に、処理をステップS40に戻すようにしているが、これはこの例に限定されない。例えば、ステップS43において所定のオブジェクトが揃っていない場合に、さらに幾つのオブジェクトが揃っているかのオブジェクト数を判定し、オブジェクト数に応じたメッセージを送信するようにしてもよい。一例として、収集を完了するために全部で4つのオブジェクトを揃える必要がある場合、揃っているオブジェクト数が1つであれば、残り3つのオブジェクトを揃える必要がある旨を示すメッセージを送信するなど、現状を示すメッセージを送信するようにしてもよい。
(第3の実施形態の第5の適用例)
次に、第3の実施形態に対する第5の適用例について説明する。なお、この第5の適用例では、上述の図18に示したシステム構成を適用することができる。
第5の適応例は、予め定められた複数のオブジェクトを1のアプリIDにより予め決められた順序で取得した場合に、特定のコンテンツを提示する例である。このような適用例としては、所定のポイントを所定の順序で全て巡回して最終目的地に到着させる、オリエンテーリングが考えられる。
図23は、オリエンテーリングに用いられる地図の一例を示す。この地図は、スタート直前に、オリエンテーリングに参加する参加者全員や、参加者による各グループ毎に配布される。地図上に、通過すべきポイントが、通過順を示す数字で以って記される。図23の例では、ポイント「1」から出発し、ポイント「2」〜ポイント「5」を順に通過して最終目的地であるポイント「6」に到達すべき旨が示されている。また、実地の各ポイント「1」〜「6」には、各ポイント「1」〜「6」をそれぞれ示すコントロールフラグが配置され、参加者が各ポイント「1」〜「6」に到達したことを知ることができるようになっている。参加者は、各ポイント「1」〜「6」においてチェックを行い、例えば最終目的地であるポイント「6」に到達後に、チェックに基づき各ポイントを順番通りに追加したことを証明する。
図24は、第5の適用例によるコンテンツ配信サイト210における一例の処理を示すフローチャートである。ここでは、第5の適用例を、図23を用いて説明したオリエンテーリングを例にとって説明する。また、図24のフローチャートは、既にコンテンツ配信サイト210に登録されている1のアプリIDを対象とした処理を示している。
図24のフローチャートの処理に先立って、媒体企画システム220は、例えば各ポイント「1」〜「6」毎に異なる画像が印刷されたコントロールフラグを、媒体510として作成する。また、媒体企画システム220において、オーサリング・データ登録システム503は、各ポイント「1」〜「6」のコントロールフラグの画像それぞれをオブジェクトとして、同一のURL(コンテンツ配信サイト210のURLとする)に対して、オブジェクト識別子として各ポイント「1」〜「6」の順序を示す引数を付加したURL#1〜#6をそれぞれ関連付けて、DB12に登録する。
また、コンテンツ配信サイト210は、引数が付加された各URL#1〜#6に対して、各ポイント「1」〜「6」に対応する各オブジェクトに互いに異なるURLを関連付ける。例えば、コンテンツ配信サイト210に対してURL#1によりアクセスした場合、このアクセスがポイント「1」に対応するオブジェクトに関連付けられたURLにリダイレクトされる。
コンテンツ配信サイト210は、登録済みの1のアプリIDによる端末装置20からのアクセスを待機する(ステップS50)。ここで、端末装置20のユーザ(参加者)は、既にポイント「1」の地点を出発し、ポイント「2」の地点を所定に通過し、ポイント「3」の地点に到達したものとする。
端末装置20は、ポイント「3」において、媒体510(コントロールフラグ)を撮像し、撮像画像とアプリIDとを画像検索システム200Cに送信する。画像検索システム200Cは、端末装置20から送信された撮像画像に基づき、当該撮像画像に関連付けられたURLをDB12から検索する。例えば、画像検索システム200Cは、端末装置20から送信された撮像画像がポイント「3」のコントロールフラグのオブジェクトを含んでいる場合、当該オブジェクトに関連付けられたURL#3をDB12から検索する。また、画像検索システム200Cは、アプリIDと画像検索サーバ11の検索により得られたオブジェクトIDと、端末装置20が画像検索システム200Cにアクセスした日時情報とを関連付けて、ログサーバ14に送信し、ログ情報として蓄積させる。
端末装置20は、画像検索システム200Cから送信されたURL#3に従いコンテンツ配信サイト210にアクセスし、当該コンテンツ配信サイト210に対してアプリIDを送信する。コンテンツ配信サイト210は、端末装置20からのアプリIDによるアクセスを検出すると、処理をステップS51に移行させる。ステップS51で、コンテンツ配信サイト210は、端末装置20からアクセスされた際のURLの引数に基づき、端末装置20により撮像された撮像画像に含まれるオブジェクト(コントロールフラグ)の、各ポイント「1」〜「6」内での順序を、当該アプリIDに関連するオブジェクトの順番として取得し、保持する。
そして、次のステップS52で、取得した順序が各ポイント「1」〜「6」内での最後のオブジェクトを示すか否かを判定する。若し、最後のオブジェクトであると判定した場合、図24のフローチャートによる、当該アプリIDに関する一連の処理が終了される。このとき、コンテンツ配信サイト210から端末装置20に対して、その旨示すメッセージを通知してもよい。
ステップS52で、取得した順序が各ポイント「1」〜「6」内での最後のオブジェクトではないと判定した場合、コンテンツ配信サイト210は、処理をステップS53に移行させ、当該アプリIDについて、前回のアクセス時にステップS51で保持した順序を取得する。そして、次のステップS54で、前回アクセス時の順序と今回アクセス時の順序とを比較して、正しい順序で各ポイントを通過しているか否かを判定する。例えば、撮像画像がポイント「3」のコントロールフラグのオブジェクトを含んでいる場合、ポイント「3」よりも前に取得しなければならない全てのポイントであるポイント「1」及び「2」のオブジェクトがログ情報として蓄積されているか否かを判定する。
判定の結果、正しい順序で各ポイントを通過していると判定した場合、コンテンツ配信サイト210は、処理を次のステップS55に移行させて、保持している、当該アプリIDに関連するオブジェクトの順番を更新する。
処理は次のステップS56に移行され、コンテンツ配信サイト210は、更新されたオブジェクトの順番に従い、次のオブジェクトを指示する情報を端末装置20に送信する。次のオブジェクトを指示する情報は、単に順序を示す情報でもよいし、コンテンツ配信サイト210が各ポイント「1」〜「6」のオブジェクトの画像を予め保持し、次のオブジェクトに対応する画像を端末装置20に送信することも考えられる。そして、処理はステップS50に戻される。
一方、ステップS54の判定の結果、正しい順序で各ポイントを通過してないと判定した場合、処理がステップS57に移行される。ステップS57で、コンテンツ配信サイト210は、正しい順序のオブジェクトを指示する情報を端末装置20に送信する。そして、処理がステップS50に戻される。
なお、上述では、参加者は紙媒体などによる地図を持ち、コンテンツ配信サイト210は、アプリIDに対応する端末装置20に対して、正しい順序で各ポイント「1」〜「6」を通過しているか否かを通知するものとしているが、これはこの例に限定されない。例えば、コンテンツ配信サイト210が、地図を地図データとして各参加者の端末装置20に送信することも考えられる。
例えば、オリエンテーリングに際して、コンテンツ配信サイト210から各参加者の端末装置20に対して地図データを配布する。端末装置20に配布される地図データは、当初、出発地点のポイント「1」のみを表示しておく。そして、コンテンツ配信サイト210は、上述の図24のフローチャートに従い各ポイント「1」〜「6」においてオブジェクトの順番を取得し、ステップS54の判定の結果正しい順序で各ポイント「1」〜「6」を通過したと判定した場合に、次の通過ポイントの位置が示されるようにする(ステップS56)。また、ステップS54の判定の結果、正しくない順番で各ポイント「1」〜「6」を通過したと判定した場合、正しい通過ポイントの位置が示されるようにする(ステップS57)。
さらに、上述では、各ポイント「1」〜「6」に配置されたコントロールフラグを撮像した撮像画像に基づき、アプリIDに対応する端末装置20が各ポイント「1」〜「6」の何れの位置にいるかを判定しているが、これはこの例に限定されない。例えば、アプリIDに対応する端末装置20の現在位置を、端末装置20の位置情報を用いて判定することができる。
すなわち、端末装置20に対して、GPSによる信号を受信して測位を行うGPS測位部をさらに設ける。端末装置20は、撮像画像に応じたURLに従いコンテンツ配信サイト210にアクセスする際に、測位結果をコンテンツ配信サイト210に送信する。コンテンツ配信サイト210は、送信された測位結果と、予め登録されている、各ポイント「1」〜「6」の位置情報とに基づき、アプリIDに対応する端末装置20によるアクセスが各ポイント「1」〜「6」のうち何れの位置からなされたかを判定することができる。
なお、上述の各実施形態では、検索対象(撮像対象)の媒体として、紙媒体を例に挙げて説明したが、媒体は紙に限らず、電子ペーパーや、電子掲示板などであってもよい。
以上説明してきたように、本発明を実現するシステムには、端末装置と、少なくとも1台以上の情報処理装置(画像検索サーバまたはログサーバ)により構成される画像検索システムとがネットワークを介して接続する情報処理システムが一例として挙げられる。
なお、上述の実施形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。
上述した課題を解決し、目的を達成するために、本発明は、媒体が撮像された撮像画像を端末装置を用いて送信し媒体に含まれるオブジェクトに関連付けられた情報の提示を受ける1以上の利用者と、媒体を介して利用者に情報を提示する1以上の顧客と、により利用され、1以上の情報処理装置により構成される画像検索システムと、画像検索システムによる画像検索機能を利用するためのアプリケーションが搭載される端末装置と、を有し、画像検索システムと端末装置とが通信を介して連携して検索サービスを提供する情報処理システムであって、画像検索システムは、顧客からの依頼に応じて、顧客により決定されるオブジェクトと、オブジェクトに関連付ける情報であって情報処理システムとは異なる外部システムにおいて保持される情報にアクセスするための連携情報と、を関連付けて格納する格納部と、端末装置で撮像されることによって取得された撮像画像と、画像検索システムを利用する端末装置を識別し、且つ、アプリケーションに関連付けられ、端末装置のユーザによる変更ができないアプリ識別情報と、を受信する第1受信部と、第1受信部により受信した撮像画像に基づいて格納部に格納されたオブジェクトを検索し、検索されたオブジェクトに関連付けられた連携情報を撮像画像の送信元の端末装置に対して送信する第1送信部と、画像検索機能の利用に係るログ情報であって、少なくとも画像検索機能の利用において第1受信部により受信したアプリ識別情報を含むログ情報を記録するログ記録部と、を有し、端末装置は、端末装置が撮像することによって取得した撮像画像と、取得したアプリ識別情報とを画像検索システムへ送信する第2送信部と、第2送信部による送信に応じて、画像検索システムが有する第1送信部によって送信された連携情報を受信する第2受信部と、第2受信部によって受信した連携情報に基づきネットワークを介したアクセスを実行する際に、端末装置に対して生成されたアプリ識別情報を外部システムに送信する第3送信部と、を有することを特徴とする。