JP2015090553A - 端末装置、付加情報管理装置、および付加情報管理方法 - Google Patents

Abstract

【課題】撮影された対象物に関連する付加情報を拡張現実としてユーザに提供する。
【解決手段】端末１００の撮影部１０は、現実空間に存在する対象物を撮影する。付加情報要求部１８は、撮影された対象物に対応づけられた付加情報を取得する。付加情報記憶部３０は、取得された付加情報をユーザ識別情報または撮影機器識別情報と関連づけて記憶する。端末１００がＩＣチップを備える場合、取得された付加情報はＩＣチップのセキュリティエリアに記憶される。拡張現実生成部２６は、取得された付加情報を撮影画像内に拡張現実として生成する。
【選択図】図１

Description

この発明は、撮影された対象物に関連する付加情報を提供する技術に関する。

スマートフォンやタブレット端末などに内蔵されたカメラで現実空間を撮影し、タッチパネルに撮影画像を表示する際、現実空間には存在しない付加情報を撮影画像に重ね合わせて表示し、拡張現実感を提供する拡張現実（Augmented Reality、ＡＲ）技術が用いられている。拡張現実は、現実世界に仮想的に付加情報を提示することで、人間が知覚する現実環境を拡張させる効果をもたらす。スマートフォンやタブレット端末のようなモバイル機器のディスプレイパネルの表示性能が高くなっており、撮影画像に対して拡張現実を用いて仮想的な物体を表示させ、ユーザに仮想的な物体と相互作用させることで、新たな楽しみ方が生まれている。

モバイル機器の内蔵カメラで２次元バーコードなどのマーカーを読み込んだ場合、マーカーに対応づけられた仮想物体などの関連情報が拡張現実として表示される。しかし、ユーザが現実社会で外界を撮影した場合に付加情報を拡張現実として表示し、付加情報を実用的に利用することができる安全なシステムはこれまでになかった。

本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影された対象物に関連する付加情報を効果的に提供することのできる技術を提供することにある。

上記課題を解決するために、本発明のある態様の端末装置は、現実空間に存在する被写体を撮影する撮影部と、撮影画像内で画像認識された対象物に対応づけられた付加情報を取得する付加情報取得部と、取得された付加情報をユーザ識別情報または撮影機器識別情報と関連づけて記憶する付加情報記憶部とを含む。

本発明の別の態様は、付加情報管理装置である。この装置は、現実空間に存在する被写体を撮影した撮影画像を取得する撮影画像取得部と、撮影画像の特徴情報にもとづいて撮影画像内の対象物を画像認識する画像認識部と、対象物と付加情報を関連づけたテーブルを参照して、画像認識された対象物に関連づけられた付加情報を取得する付加情報取得部と、取得された付加情報を、前記撮影画像を撮影した端末装置に送信する送信部とを含む。

本発明のさらに別の態様は、付加情報管理方法である。この方法は、現実空間に存在する被写体を撮影した撮影画像を取得するステップと、撮影画像の特徴情報にもとづいて撮影画像内の対象物を画像認識するステップと、対象物と付加情報を関連づけたテーブルを参照して、画像認識された対象物に関連づけられた付加情報を取得するステップと、取得された付加情報を、前記撮影画像を撮影した端末装置に送信するステップとを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、撮影された対象物に関連する付加情報を効果的に提供することができる。

実施の形態に係る端末の構成図である。 実施の形態に係るクラウドサーバの構成図である。 図２の対象物データベースに格納される対象物のレコードを説明する図である。 図４（ａ）は、図２の付加情報データベースに格納された付加情報のレコードを説明する図であり、図４（ｂ）は、対象物ＩＤと付加情報ＩＤを対応づけたレコードを説明する図である。 図２のユーザデータベースに格納されたユーザＩＤ／機器ＩＤと付加情報ＩＤとを対応づけたレコードを説明する図である。 図１の端末と図２のクラウドサーバによる、付加情報の提供と登録の流れを説明するシーケンス図である。 タブレット端末のタッチパネルに表示された撮影画像を説明する図である。 撮影画像内で特定された対象物を説明する図である。 撮影画像内の対象物に重畳された付加情報を説明する図である。 撮影画像内の対象物の位置に付加情報としてクーポンが表示された例を説明する図である。 撮影画像内で特定された対象物を説明する図である。 撮影画像内の対象物にクーポンが提供されていることを示すアイコンを説明する図である。 図８Ｂのアイコンを選択した場合に表示されるクーポンを説明する図である。 撮影画像内の対象物に対して複数のクーポンが表示された例を説明する図である。

図１は、実施の形態に係る端末１００の構成図である。端末１００は、撮影機能と通信機能を有する電子機器であり、一例として、携帯電話、スマートフォン、タブレット端末、カメラなどである。

撮影部１０は、一例として、ＣＣＤ（Charge Coupled Devices）イメージセンサを有するカメラであり、現実空間にある被写体を撮影し、撮影画像を画像記憶部２０に記憶する。表示部２８は、画像記憶部２０に格納された撮影画像をディスプレイに表示する。

撮影位置取得部１２は、一例として、ＧＰＳ（Global Positioning System）受信機などの位置センサを有し、撮影位置に関する情報を取得し、付加情報要求部１８に供給する。撮影日時取得部１４は、一例として、内蔵のクロックであり、撮影日時に関する情報を取得し、付加情報要求部１８に供給する。撮影日時取得部１４は、ＧＰＳ受信機から撮影日時に関する情報を取得してもよい。

撮影方向取得部１６は、一例として、地磁気センサ、ジャイロセンサ、加速度センサ、角加速度センサのいずれか、あるいはそれらの組み合わせを有し、端末１００の向きや傾きを検知することで、端末１００に内蔵されたカメラの撮影方向に関する情報を取得し、付加情報要求部１８に供給する。

付加情報要求部１８は、画像記憶部２０に格納された撮影画像を付加情報要求命令とともに通信部３２を介してクラウドサーバ２００に送信する。

さらに、付加情報要求部１８は、撮影位置に関する情報、撮影日時に関する情報、および撮影方向に関する情報の少なくとも一つを付加情報要求命令とともに通信部３２を介してクラウドサーバ２００に送信してもよい。

通信部３２は、一例として無線通信によりネットワークに接続して、クラウドサーバ２００にデータを送信し、クラウドサーバ２００からデータを受信する。

クラウドサーバ２００は、撮影画像から所定の対象物を画像認識する。クラウドサーバ２００は、対象物をより正確に特定するために、撮影位置に関する情報、撮影日時に関する情報、および撮影方向に関する情報の少なくとも一つを、撮影画像と組み合わせて用いてもよい。あるいは、クラウドサーバ２００は、撮影画像は用いずに、撮影位置に関する情報に撮影方向に関する情報を組み合わせて、視点位置および視線方向に見えるであろう対象物を特定してもよい。

対象物の例は、特定の風景、建物、看板、人物などであり、対象物は、対象物の画像上の特徴情報とともにあらかじめデータベースに登録されている。

クラウドサーバ２００は、画像認識された対象物に関連づけられた付加情報を取得して、端末１００に送信する。

付加情報の例は、所定のアイテムと交換可能なクーポン、ゲームで利用可能なキャラクタや武器などのデジタルアイテム、電子マネーなどである。

付加情報取得部２２は、通信部３２を介してクラウドサーバ２００から、撮影画像内で画像認識された対象物に関連づけられた付加情報を受信する。付加情報取得部２２は、クラウドサーバ２００から取得した付加情報を拡張現実生成部２６に供給する。

拡張現実生成部２６は、画像記憶部２０に格納された撮影画像に付加情報を拡張現実として重畳させる処理を行う。表示部２８は、拡張現実生成部２６によって拡張現実が重畳された撮影画像を画像記憶部２０から読み出してディスプレイに表示する。

ユーザインタフェース部２４は、端末１００の操作ボタンのユーザ操作や、タッチパネルに直接触れることによるユーザ操作を受け付け、その操作内容を拡張現実生成部２６に供給する。拡張現実生成部２６は、ユーザ操作に応じて拡張現実に変化を与える。ユーザは、ユーザインタフェース部２４を介して、撮影画像に重畳された付加情報を選択することができる。

ユーザインタフェース部２４がユーザから付加情報の選択指示を受け付けると、付加情報取得部２２は、選択された付加情報を付加情報記憶部３０に記憶する。付加情報記憶部３０は、一例として、データの記録や演算をするための集積回路（ＩＣ）が組み込まれたＩＣチップであってもよい。その場合、選択された付加情報はユーザ識別情報または撮影機器識別情報に関連づけられて暗号鍵で暗号化され、ＩＣチップ内のセキュリティエリアに安全に記録される。ＩＣシップに付加情報を記録することで偽造を防止することができる。

付加情報記憶部３０が、ＩＣチップのようなセキュリティ機能をもたない場合は、ユーザインタフェース部２４は、ユーザからの付加情報の選択指示を通信部３２を介してクラウドサーバ２００に送信する。クラウドサーバ２００は、選択された付加情報をユーザ識別情報または機器識別情報に関連づけてユーザデータベースに記録する。ここで、ユーザデータベースは暗号鍵などによりユーザ認証または機器認証が成功した場合にアクセスが許されるセキュアなデータベースであり、付加情報はユーザまたは撮影機器毎に安全に管理される。

付加情報記憶部３０がＩＣチップの場合、ＩＣカードリーダにＩＣチップをかざすことで、ＩＣチップに安全に保管された付加情報がＩＣカードリーダに安全に読み出される。ＩＣカードリーダがＩＣチップ内の付加情報を読み出す際、暗号鍵によりユーザ認証または機器認証がなされるため、付加情報は安全に取り出される。付加情報が何らかのアイテムと交換可能なクーポンである場合、ユーザはＩＣカードリーダでクーポンを読み出してアイテムと交換することができる。

表示部２８は、ユーザインタフェース部２４からの要求に従い、付加情報記憶部３０に格納された付加情報を撮影画像とは別にディスプレイに表示することもできる。これにより、ユーザは付加情報を拡張現実としてではなく、クーポンやチケットとしてディスプレイに表示し、店舗で提示したり、リーダーに読み込ませるなどの方法で利用することもできる。

図２は、実施の形態に係るクラウドサーバ２００の構成図である。撮影画像取得部５０、撮影位置取得部５２、撮影日時取得部５４、撮影方向取得部５６は、それぞれ通信部７０を介して、端末１００から撮影画像、撮影位置に関する情報、撮影日時に関する情報、撮影方向に関する情報を取得し、画像認識部５８に供給する。

画像認識部５８は、撮影画像の被写体の特徴情報を抽出し、対象物データベース６４に登録された対象物の特徴情報とのマッチングを取り、対象物を特定する。

図３は、対象物データベース６４に格納される対象物のレコード８０を説明する図である。このレコードには、対象物ＩＤに、対象物の特徴情報、対象物のサムネイル画像、位置情報、日時情報、方向情報が対応づけられている。

位置情報は、対象物が存在する位置の緯度経度情報である。日時情報は、対象物に対して特定の日や特定の時間を指定する場合に用いられる。同じ対象物であっても、季節や時間帯によって区別したい場合は、季節や時間帯の異なる対象物には別の対象物ＩＤを付与して、別のレコードとして扱う。

方向情報は、対象物を見る視線方向を指定する場合に用いられる。同じ対象物であっても見る方向によって区別したい場合は、視線方向の異なる対象物には別の対象物ＩＤを付与して、別のレコードとして扱う。

画像認識部５８は、撮影位置に関する情報、撮影日時に関する情報、および撮影方向に関する情報の少なくとも一つを、撮影画像の被写体の特徴情報と組み合わせて、対象物データベース６４に登録された対象物のレコードとのマッチングを取り、対象物を特定してもよい。たとえば、画像認識部５８は、撮影画像の被写体の特徴情報と撮影位置に関する情報とが合致する対象物を対象物データベース６４のレコードから特定してもよい。あるいは、画像認識部５８は、撮影画像被写体の特徴情報を用いずに、撮影位置に関する情報と撮影方向に関する情報とが合致する対象物を特定してもよい。

まとめると、画像認識部５８が対象物を特定するための条件は、一例であるが、
（１）撮影画像の被写体の特徴情報とデータベース登録された対象物の特徴情報の合致
（２）撮影画像の被写体の特徴情報とデータベース登録された対象物の特徴情報の合致、および撮影位置情報と対象物の位置情報の合致
（３）撮影画像の被写体の特徴情報とデータベース登録された対象物の特徴情報の合致、および撮影方向情報と対象物の視線方向情報の合致
（４）撮影位置情報とデータベース登録された対象物の位置情報の合致、および撮影方向情報と対象物の視線方向情報の合致
などがある。

上記の（１）の場合、条件は簡単であるが、撮影画像を第三者にコピーされた場合でも第三者がクーポンを獲得することができてしまう。（２）のように撮影位置情報を条件に加えれば、第三者が撮影場所にいなければ、クーポンが獲得できないようにすることができる。（３）の条件を用いれば、対象物を特定の撮影方向から撮影した場合に、クーポンが提供されるようにすることができる。（４）の条件の場合、撮影画像そのものは用いずに、指定された撮影場所で指定された視線方向にカメラを向けたという条件が満たされれば、クーポンが適用される。撮影画像そのものを条件として用いないため、画像データの伝送や画像処理を省くことができ、処理の効率化を図ることができる。

画像認識部５８は、特定された対象物ＩＤを付加情報取得部６０に与える。付加情報取得部６０は、付加情報データベース６６を参照して、対象物ＩＤに関連づけれらた付加情報ＩＤを取得する。さらに、付加情報取得部６０は、付加情報ＩＤに関連づけられた付加情報を付加情報データベース６６から取得し、付加情報登録部６２に与える。

図４（ａ）は、付加情報データベース６６に格納された付加情報のレコード８２を説明する図であり、図４（ｂ）は、対象物ＩＤと付加情報ＩＤを対応づけたレコード８４を説明する図である。

図４（ａ）に示すように、付加情報ＩＤには、付加情報の内容を表す画像、テキスト、および音声が関連づけられている。図４（ｂ）に示すように、対象物ＩＤには付加情報ＩＤが対応づけられている。たとえば、特定の建造物や看板などの対象物のＩＤにはクーポンなどの付加情報のＩＤが対応づけられている。

付加情報取得部６０は、付加情報データベース６６を参照して、画像認識部５８により特定された対象物ＩＤに対応づけられた付加情報ＩＤを取得する。付加情報取得部６０は、さらに付加情報ＩＤに関連づけられた、画像、テキスト、音声などの付加情報を取得し、付加情報登録部６２に与える。

付加情報取得部６０は、通信部７０を介して、取得された付加情報を端末１００に送信する。画像認識部５８は、必要に応じて、通信部７０を介して、特定された対象物ＩＤに関連づけられた対象物のサムネイル画像を端末１００に送信する。端末１００は、クラウドサーバ２００から取得された付加情報を撮影画像に重畳させて表示する。必要であれば、端末１００は、特定された対象物のサムネイル画像も付加情報とともに表示する。

付加情報登録部６２は、通信部７０からユーザの付加情報の登録要求を受けて、付加情報取得部６０により取得された付加情報ＩＤをユーザＩＤまたは機器ＩＤに関連づけてユーザデータベース６８に登録する。

図５は、ユーザデータベース６８に格納されたユーザＩＤ／機器ＩＤと付加情報ＩＤとを対応づけたレコード８６を説明する図である。このレコード８６により、ユーザまたは機器毎に、取得された付加情報ＩＤが管理される。このようにユーザデータベース６８にレコードを登録することで、同一のユーザまたは同一の機器で同一の付加情報を二度取得することを禁止することができる。

図６は、実施の形態に係る端末１００とクラウドサーバ２００による、付加情報の提供と登録の流れを説明するシーケンス図である。

端末１００において、撮影部１０は、現実空間を撮影する（Ｓ１０）。付加情報要求部１８は、撮影画像とともに付加情報要求をクラウドサーバ２００に送信する（Ｓ１２）。

クラウドサーバ２００において、画像認識部５８は、画像認識により撮影画像から対象物を特定する（Ｓ１４）。付加情報取得部６０は、画像認識された対象物に関連づけられた付加情報を取得する（Ｓ１６）。付加情報取得部６０は、取得された付加情報を端末１００に送信する（Ｓ１８）。

端末１００において、付加情報取得部２２は、クラウドサーバ２００から付加情報を受信し、拡張現実生成部２６は、撮影画像の対象物に付加情報が存在することを拡張現実して表示する（Ｓ２０）。ユーザインタフェース部２４は、撮影画像に表示された付加情報の選択指示をユーザから受け取る（Ｓ２２）。

端末１００にＩＣチップの機能が搭載されている場合（Ｓ２４のＹ）は、ユーザインタフェース部２４によって選択された付加情報はＩＣチップのセキュリティエリアに登録される（Ｓ２６）。

端末１００にＩＣチップの機能が搭載されていない場合（Ｓ２４のＮ）は、ユーザインタフェース部２４は、ユーザインタフェース部２４によって選択された付加情報の登録要求をクラウドサーバ２００に送信する（Ｓ２８）。クラウドサーバ２００において、付加情報登録部６２は、ユーザにより選択された付加情報をユーザＩＤまたは機器ＩＤと関連づけてユーザデータベース６８に登録する（Ｓ３０）。

図７Ａ〜図７Ｄは、撮影画像の対象物に付加情報が拡張現実として表示される例を説明する図である。

タブレット端末５００を端末１００の例として挙げて説明する。図７Ａは、タブレット端末５００のタッチパネル５１０に表示された撮影画像を説明する図である。タブレット端末５００の内蔵カメラにより撮影された画像がタッチパネル５１０に表示されており、ユーザは操作ボタン５２０を操作したり、タッチパネル５１０に直接触れたりすることで、タッチパネル５１０に表示される拡張現実と相互作用することができる。

ここでは、ユーザはタブレット端末５００の内蔵カメラを「ＡＢＣビール」の看板のある建物に向けて撮影している。撮影された画像はタブレット端末５００の通信機能を用いてクラウドサーバ２００に送信される。

クラウドサーバ２００は、タブレット端末５００により撮影された画像から対象物を画像認識する。ここでは、ＡＢＣビールの看板５５２が対象物データベース６４に登録されており、画像認識部５８は、撮影画像から看板５５２を対象物として抽出する。クラウドサーバ２００は、抽出された対象物の画像領域を指定する情報をタブレット端末５００に送信する。

図７Ｂは、撮影画像内で特定された対象物を説明する図である。タブレット端末５００は、抽出された対象物の画像領域を指定する情報を用いて、看板５５２の周りを点線の枠５５０で囲むなどの強調表示を行い、看板５５２が対象物として抽出されたことをユーザに伝える。

クラウドサーバ２００において、付加情報取得部６０は、抽出された対象物に関連づけられた付加情報を付加情報データベース６６から取得し、タブレット端末５００に送信する。

図７Ｃは、撮影画像内の対象物に重畳された付加情報を説明する図である。タブレット端末５００において、拡張現実生成部２６は、看板５５２の上に付加情報が拡張現実として提供されていることがユーザにわかるように、符号５５４のような、ページがめくられる様子を示す画像を生成する。

図７Ｄは、撮影画像内の対象物の位置に付加情報としてクーポンが表示された例を説明する図である。ユーザインタフェース部２４が、ユーザから看板５５２の上をタップする動作を受け付けると、ページがめくれて、付加情報としてクーポン５５５が看板５５２の位置に表示される。ここでは、この建物の屋上にあるビアガーデンにてビールが飲み放題となるサービスと交換可能なクーポン５５５が表示されている。ユーザはこのクーポン５５５を選択して、タブレット端末５００に内蔵されたＩＣチップのセキュリティエリアに保存するか、クラウドサーバ２００にクーポン５５５の情報を送信してユーザＩＤまたは機器ＩＤと関連づけてクーポン５５５を登録することができる。

図８Ａ〜８Ｄは、撮影画像の対象物に付加情報が拡張現実として表示される別の例を説明する図である。

図８Ａに示すように、タブレット端末５００のタッチパネル５１０には東京タワー５３２を含む風景の撮影画像が表示されている。クラウドサーバ２００の画像認識部５８は、撮影画像から特徴情報にもとづいて東京タワー５３２を対象物として抽出し、タッチパネル５１０には、東京タワー５３２が対象物として抽出されたことを示す枠５３０が表示されている。

クラウドサーバ２００の付加情報取得部６０は、抽出された対象物に関連づけられた付加情報（ここではクーポン）を取得する。図８Ｂに示すように、タブレット端末５００のタッチパネル５１０では、抽出された対象物にクーポンがあることを示すアイコン５３４が拡張現実として東京タワー５３２の画像に重畳表示される。

ユーザインタフェース部２４が、ユーザからアイコン５３４を選択する指示を受け取ると、図８Ｃに示すように、クーポン５４０が撮影画像内に表示される。クーポン５４０は、東京タワー展望台チケット月のホテル宿泊プランを２０％オフで提供する金券である。ユーザがこのクーポン５４０を選択すると、クーポン５４０はＩＣチップ内のセキュリティエリアに記憶される。

クラウドサーバ２００において、画像認識部５８が対象物データベース６４に登録された対象物と撮影画像の被写体との間で特徴情報にもとづいてマッチングを取るとき、複数の対象物が候補として見つかる場合がある。たとえば、東京タワーと似た特徴をもつエッフェル塔が対象物の候補として見つかった場合、画像認識部５８は、東京タワーとエッフェル塔の両方を対象物の候補として付加情報取得部６０に与える。付加情報取得部６０は、東京タワーに関連づけられた付加情報と、エッフェル塔に関連づけられた付加情報とを付加情報データベース６６から取得し、タブレット端末５００に送信する。また、対象物として複数の候補がある場合は、画像認識部５８は、各対象物の候補のサムネイル画像を対象物データベース６４から取得して、タブレット端末５００に送信する。

図８Ｄに示すように、タブレット端末５００のタッチパネル５１０には、東京タワーに関連づけられたクーポン５４０と、エッフェル塔に関連づけられたクーポン５４２が表示される。エッフェル塔に関連づけられたクーポン５４０の内容は、パリでのショッピングが１０％オフで楽しめるお得なクーポンである。

このとき、各クーポンには、対象物のサムネイル画像が表示される。東京タワーに関連づけられたクーポン５４０には、東京タワーのサムネイル画像５４１とともにクーポンの内容が表示される。エッフェル塔に関連づけられたクーポン５４０には、東京タワーのサムネイル画像５４１とともにクーポンの内容が表示される。

ユーザは、各クーポンに表示されたサムネイル画像によって、対象物を正しく判定したものであるかどうかを判断することができる。この例では、東京タワーのサムネイル画像が表示されたクーポンは正しいが、エッフェル塔のサムネイル画像が表示されたクーポンは誤判定されたものであることがわかる。

このように対象物の複数の候補がある場合は、画像認識だけでは、東京タワーをエッフェル塔と間違って認識し、ユーザにとって必要ではないパリのショッピングクーポンが提供されてしまう。そこで、クラウドサーバ２００の撮影位置取得部５２は、タブレット端末５００から撮影位置に関する情報を取得し、画像認識部５８は、撮影位置にもとづいて、対象物の候補を絞り込んでもよい。この例では、撮影位置は東京であり、パリからは遠く離れているため、対象物の候補からエッフェル塔を外すことができる。

また、対象物の複数の候補がある場合、画像マッチングや位置情報などから判定される確からしさをクーポンに数値で表示したり、確からしさの順にクーポンをソートしたり、確からしさの低いクーポンは小さく表示するなどして、確からしさにもとづいてユーザが正しいクーポンを容易に選択できるように構成してもよい。

別の例として、撮影日時にもとづいて異なるクーポンを提示してもよい。たとえば、朝方に撮影された東京タワーに対しては、東京のバス観光のクーポンを提示し、夕方に撮影された東京タワーに対しては、ディナーのクーポンを提示するなど、同じ対象物に対して、時間帯によって異なるクーポンを提示してもよい。あるいは、撮影日の情報を用いて、春に撮影された東京タワーに対しては、東京近郊の桜の名所を紹介するクーポンを提示し、秋に撮影された東京タワーに対しては、東京近郊の紅葉の名所を紹介するクーポンを提示してもよい。

さらに別の例として、塔、橋、建物などの建造物が夜間にライトアップされる場合、同一の建造物であってもライトアップの色や模様によって異なるクーポンを提示してもよい。たとえば、青色にライトアップされた橋を撮影すると、ある会社が提供するクーポンが提供されるが、同じ会社が虹色にライトアップされた橋を撮影すると、別の会社が提供するクーポンが提供されるなど、照明によってクーポンの種類や提供元を変えるようにしてもよい。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記の説明では、モバイル機器で外界を撮影する例を説明したが、撮影される被写体は、テレビ画面やゲーム画面であってもよい。たとえば、端末１００でテレビ番組の特定のシーンやコマーシャルを撮影し、その画像をクラウドサーバ２００に送信すると、クラウドサーバ２００からクーポンが付加情報として端末１００に提供されてもよい。また、端末１００でゲームの特定のステージの画面や特定のキャラクタを撮影し、その画像をクラウドサーバ２００に送信すると、クラウドサーバ２００からゲームで利用可能なデジタルアイテムが付加情報として端末１００に提供されてもよい。

１０ 撮影部、 １２ 撮影位置取得部、 １４ 撮影日時取得部、 １６ 撮影方向取得部、 １８ 付加情報要求部、 ２０ 画像記憶部、 ２２ 付加情報取得部、 ２４ ユーザインタフェース部、 ２６ 拡張現実生成部、 ２８ 表示部、 ３０ 付加情報記憶部、 ３２ 通信部、 ５０ 撮影画像取得部、 ５２ 撮影位置取得部、 ５４ 撮影日時取得部、 ５６ 撮影方向取得部、 ５８ 画像認識部、 ６０ 付加情報取得部、 ６２ 付加情報登録部、 ６４ 対象物データベース、 ６６ 付加情報データベース、 ６８ ユーザデータベース、 ７０ 通信部、 １００ 端末、 ２００ クラウドサーバ、 ５００ タブレット端末。

Claims (11)

1. 現実空間に存在する被写体を撮影する撮影部と、
   撮影画像内で画像認識された対象物に対応づけられた付加情報を取得する付加情報取得部と、
   取得された付加情報をユーザ識別情報または撮影機器識別情報と関連づけて記憶する付加情報記憶部とを含むことを特徴とする端末装置。
2. 前記付加情報記憶部はＩＣチップであり、取得された付加情報は前記ＩＣチップのセキュリティエリアに記憶されることを特徴とする請求項１に記載の端末装置。
3. 取得された付加情報を撮影画像内に拡張現実として生成する拡張現実生成部をさらに含むことを特徴とする請求項１または２に記載の端末装置。
4. 前記付加情報は、所定のアイテムと交換可能なクーポンに関する情報であることを特徴とする請求項１から３のいずれかに記載の端末装置。
5. 現実空間に存在する被写体を撮影した撮影画像を取得する撮影画像取得部と、
   撮影画像の特徴情報にもとづいて撮影画像内の対象物を画像認識する画像認識部と、
   対象物と付加情報を関連づけたテーブルを参照して、画像認識された対象物に関連づけられた付加情報を取得する付加情報取得部と、
   取得された付加情報を、前記撮影画像を撮影した端末装置に送信する送信部とを含むことを特徴とする付加情報管理装置。
6. 取得された付加情報をユーザ識別情報または撮影機器識別情報と関連づけて登録する付加情報登録部をさらに含むことを特徴とする請求項５に記載の付加情報管理装置。
7. 撮影位置に関する情報を取得する撮影位置取得部をさらに含み、
   前記画像認識部は、取得された撮影位置に関する情報にもとづいて対象物を特定することを特徴とする請求項５または６に記載の付加情報管理装置。
8. 撮影日時に関する情報を取得する撮影日時取得部をさらに含み、
   前記画像認識部は、取得された撮影日時に関する情報にもとづいて対象物を特定することを特徴とする請求項５または６に記載の付加情報管理装置。
9. 撮影方向に関する情報を取得する撮影方向取得部をさらに含み、
   前記画像認識部は、取得された撮影方向に関する情報にもとづいて対象物を特定することを特徴とする請求項５または６に記載の付加情報管理装置。
10. 現実空間に存在する被写体を撮影した撮影画像を取得するステップと、
    撮影画像の特徴情報にもとづいて撮影画像内の対象物を画像認識するステップと、
    対象物と付加情報を関連づけたテーブルを参照して、画像認識された対象物に関連づけられた付加情報を取得するステップと、
    取得された付加情報を、前記撮影画像を撮影した端末装置に送信するステップとを含むことを特徴とする付加情報管理方法。
11. 現実空間に存在する被写体を撮影した撮影画像を取得するステップと、
    撮影画像の特徴情報にもとづいて撮影画像内の対象物を画像認識するステップと、
    対象物と付加情報を関連づけたテーブルを参照して、画像認識された対象物に関連づけられた付加情報を取得するステップと、
    取得された付加情報を、前記撮影画像を撮影した端末装置に送信するステップとをコンピュータに実行させることを特徴とするプログラム。

Images