JP5651372B2

JP5651372B2 - 投稿情報制御装置、投稿情報制御システム及び投稿情報制御方法

Info

Publication number: JP5651372B2
Application number: JP2010114344A
Authority: JP
Inventors: 長谷川　慎; 慎長谷川; 忍頂寺　毅; 毅忍頂寺; 桂一落合; 政一山内
Original assignee: NTT Docomo Inc; Aplix IP Holdings Corp
Current assignee: NTT Docomo Inc; Aplix IP Holdings Corp
Priority date: 2010-05-18
Filing date: 2010-05-18
Publication date: 2015-01-14
Anticipated expiration: 2030-05-18
Also published as: JP2011242989A

Description

本発明は、投稿情報制御装置、投稿情報制御システム及び投稿情報制御方法に関する。

従来、現実環境にコンピュータを用いて情報を付加提示する拡張現実感（ＡＲ：Augmented Reality）システムが知られている（例えば、特許文献１参照）。特許文献１記載の装置は、コンピュータ上の地理的情報と実風景の景観画像中の各部分とを対応付けてユーザに提示するものである。

また、近年では、携帯電話向けのＡＲシステムが情報サービスプラットフォームの新しい形として注目を集めている。携帯電話向けＡＲシステムの代表的な例では、カメラ機能付き携帯電話が位置情報をサーバへ送信し、サーバが携帯電話の現在地周辺にあるＰＯＩ（Point of Interest）情報を携帯電話へ送信し、携帯電話がカメラで取得されたライブ画像のＰＯＩに相当する位置にＰＯＩ情報のアイコン（グラフィックスオブジェクト）を重畳して表示することが行われている。

特開平１０−２６７６７１号公報

ＡＲシステムが新たな情報サービスプラットフォームとして発展するために、ユーザが情報発信できる環境とすることが望まれている。例えば、店舗等のＰＯＩ情報に対してユーザがコメントを追加したり、店舗等のＰＯＩ情報に対して店舗側がセールに関する情報等を追加したりすることができることが好ましい。

上記事情に鑑み、本発明はユーザにより投稿された情報を端末に表示させることができる投稿情報制御装置、投稿情報制御システム及び投稿情報制御方法を提供することを目的とする。

また、本発明に係る投稿情報制御システムは、現実空間をカメラ部により撮影したライブ映像又はライブ画像にオブジェクトを重畳して表示する端末と、前記端末と通信可能に構成され前記オブジェクトに関するオブジェクト情報を前記端末へ配信する投稿情報制御装置と、を備える投稿情報制御システムであって、投稿元の前記端末は、前記オブジェクトに付加する付加情報であって、テキスト、画像、動画もしくは音声又はこれらの組合せからなる前記付加情報を前記投稿情報制御装置へ送信する端末側送信手段を備え、前記投稿情報制御装置は、投稿元の前記端末により送信された前記付加情報を前記オブジェクトと関連付けて記録する付加情報記録手段と、配信先の前記端末の位置情報に基づいて前記オブジェクト情報を抽出するとともに、当該オブジェクト情報に対応する前記オブジェクトに関連付けされた前記付加情報を抽出する情報抽出手段と、配信先の前記端末に対して、前記情報抽出手段により抽出された前記オブジェクト情報及び前記情報抽出手段により抽出された前記付加情報を示すエントリを配信する情報配信手段と、を備え、配信先の前記端末は、前記投稿情報制御装置により配信された前記オブジェクト情報に対応する前記オブジェクトに前記付加情報を示すエントリを付加して表示するとともに前記オブジェクトと前記付加情報を示すエントリとの関連をグラフィカルに表示する画像表示制御手段と、前記画像表示制御手段により表示された前記付加情報を示すエントリが選択された場合には当該エントリに基づいて前記付加情報を取得する付加情報取得手段と、を備えること、を特徴として構成される。

本発明に係る投稿情報制御システムでは、投稿元の端末の端末側送信手段により、オブジェクトに付加する付加情報であって、テキスト、画像、動画もしくは音声又はこれらの組合せからなる付加情報が投稿情報制御装置へ送信され、投稿情報制御装置の付加情報記録手段により、投稿元の端末により送信された付加情報がオブジェクトと関連付けられて記録され、情報抽出手段により、配信先の端末の位置情報に基づいてオブジェクト情報が抽出されるとともに、当該オブジェクト情報に対応するオブジェクトに関連付けされた付加情報が抽出され、情報配信手段により、配信先の端末に対して、情報抽出手段により抽出されたオブジェクト情報及び情報抽出手段により抽出された付加情報を示すエントリが配信され、配信先の端末の画像表示制御手段により、投稿情報制御装置により配信されたオブジェクト情報に対応するオブジェクトに付加情報を示すエントリが付加されて表示されるとともに、オブジェクトと付加情報を示すエントリとの関連付けがグラフィカルに表示され、付加情報取得手段により、画像表示制御手段により表示された付加情報を示すエントリが選択された場合には当該エントリに基づいて付加情報が取得される。このように、投稿元の端末から投稿された付加情報を、投稿情報制御装置がオブジェクトと関連付けして記録しておくことができるので、投稿情報制御装置が配信先の端末にオブジェクト情報を配信する際に付加情報を送信することが可能となる。このため、配信先の端末がオブジェクトとともに付加情報を表示することができる。よって、ユーザにより投稿された情報を端末に表示させることが可能となる。さらに、オブジェクトと付加情報との関連をグラフィカルに表示することができるので、どのオブジェクトに投稿された情報であるかをユーザが直感的に理解することが可能となる。また、付加情報のうち選択された付加情報の情報のみを取得することができるので、通信負荷の軽減化及びリソースの効率化を図ることができる。

ここで、前記画像表示制御手段は、前記オブジェクトから吹き出した形状に前記付加情報のアイコンを表示することによって前記オブジェクトと前記付加情報との関連をグラフィカルに表示してもよい。あるいは、前記画像表示制御手段は、前記オブジェクトと前記付加情報のアイコンとの間を線で結ぶことによって前記オブジェクトと前記付加情報との関連をグラフィカルに表示してもよい。

また、前記画像表示制御手段は、前記オブジェクトに関連付けされた前記付加情報が複数存在する場合には、複数の前記付加情報を集約アイコンで表示するとともに、前記集約アイコンが選択された場合には集約された前記付加情報が掲載された一覧画面を表示してもよい。このように構成することで、画面が煩雑にならないように投稿された情報を表示することができる。

また、本発明に係る投稿情報制御方法は、現実空間をカメラ部により撮影したライブ映像又はライブ画像にオブジェクトを重畳して表示する端末と、前記端末と通信可能に構成され前記オブジェクトに関するオブジェクト情報を前記端末へ配信する投稿情報制御装置と、を備える投稿情報制御システムの投稿情報制御方法であって、投稿元の前記端末が前記オブジェクトに付加する付加情報であって、テキスト、画像、動画もしくは音声又はこれらの組合せからなる前記付加情報を前記投稿情報制御装置へ送信する付加情報送信ステップと、前記投稿情報制御装置が投稿元の前記端末により送信された前記付加情報を前記オブジェクトと関連付けて記録する付加情報記録ステップと、前記投稿情報制御装置が、配信先の前記端末の位置情報に基づいて前記オブジェクト情報を抽出するとともに、当該オブジェクト情報に対応する前記オブジェクトに関連付けされた前記付加情報を抽出する情報抽出ステップと、前記投稿情報制御装置が、配信先の前記端末に対して、前記情報抽出ステップにより抽出された前記オブジェクト情報及び前記情報抽出ステップにより抽出された前記付加情報を示すエントリを配信する情報配信ステップと、配信先の前記端末が、前記投稿情報制御装置により配信された前記オブジェクト情報に対応する前記オブジェクトに前記付加情報を示すエントリを付加して表示するとともに前記オブジェクトと前記付加情報を示すエントリとの関連をグラフィカルに表示する画像表示制御ステップと、配信先の前記端末が、前記画像表示制御ステップにより表示された前記付加情報を示すエントリが選択された場合には当該エントリに基づいて前記付加情報を取得する付加情報取得ステップと、を備えて構成される。

本発明に係る投稿情報制御方法によれば、上述した投稿情報制御システムと同様の効果を奏する。

本発明によれば、ユーザにより投稿された情報を端末に表示させることができる。

実施形態に係る投稿情報制御システムの構成を示す概略図である。図１中の端末装置の機能ブロック図である。図１中のＡＲサーバの機能ブロック図である。ＰＯＩ情報のデータ定義の一例である。実施形態に係る投稿情報制御システムの動作を示すフローチャートである。実施形態に係る投稿情報制御システムの動作を示すフローチャートである。コメントを表示する画面図の一例である。複数コメントを表示する画面図の一例である。

以下、添付図面を参照して本発明の実施形態に係る投稿情報制御装置、投稿情報制御システム及び投稿情報制御方法について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

本実施形態に係る投稿情報制御装置、投稿情報制御システム及び投稿情報制御方法は、例えば、携帯電話向けの拡張現実感サービスに好適に採用されるものである。

図１は、本発明の実施形態に係る拡張現実感システム（ＡＲシステム、投稿情報制御システム）１の構成を概略的に示した図面である。図１に示すように、ＡＲシステム１は、端末装置１００及び拡張現実感情報を端末装置１００に提供する拡張現実感サーバ（ＡＲサーバ、投稿情報制御装置）３００を備えている。

端末装置１００は、通信網１５０と接続して通信を行う携帯電話等のモバイル端末であって、後述するようにイメージ取得機能を備えたカメラ部及び表示部を備えている。ＡＲサーバ３００は、通信網１５０と接続されたネットワーク２００と接続されたサーバコンピュータシステムであり、同様にネットワーク２００と接続された外部サーバであるコンテンツサーバ３７１及び端末装置１００と通信可能な構成となっている。なお、ＡＲサーバ３００は、ネットワーク２００と接続された外部サーバである地図情報サーバ（不図示）、経路情報サーバ（不図示）と通信可能に構成されていてもよい。このような構成のＡＲシステム１は、端末装置１００のユーザが実空間に向けたカメラで取得した画像に、ＡＲサーバ３００が提供する情報を重畳することにより、ユーザに拡張現実感を与えるサービスを提供するものである。以下、端末装置１００及びＡＲサーバ３００について詳細に説明する。

最初に、端末装置１００について説明する。図２は本実施形態における端末装置１００の機能ブロック図である。この端末装置１００は、主として、端末の位置情報を取得する位置情報取得部１０１と、画面を表示する表示部１０２と、ユーザのキー操作による入力を受け付ける入力部１０３と、端末が向いている方位を検出する方位センサ１０４と、通信網１５０と接続して通信を行う通信部（端末側送信手段）１０５と、実空間の映像を取得するカメラ部１０６と、所定のプログラム及びデータを記憶する記憶部１０７と、各部の動作を制御するとともに所定の情報処理を実現するＡＲクライアント処理部（画像表示制御手段）１０８とから構成されている。

位置情報取得部１０１は、例えば、複数のＧＰＳ（Global Positioning System）衛星からの電波を受信して、それらの強度から現在の端末位置情報を取得するＧＰＳモジュールを用いる構成とされている。また、ＧＰＳ方式に加えて、通信部１０５を介して通信網１５０と通信することにより端末の近くに存在する衛星の情報をアシストデータとして取得し、位置測位を行うＡＧＰＳ（Assisted Global Positioning System）方式に対応したモジュールを利用し、端末位置情報をより高速かつ正確に取得してもよい。ただし、位置情報取得システムはＧＰＳまたはＡＧＰＳを利用するものに限られるものではなく、ＧＰＳに依存することなく端末位置情報を取得する構成とすることも可能である。例えば、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信基地局を空間内に複数配設し、それらからの電波強度により端末位置情報を取得する方式を利用してもよいし、このような方式をＧＰＳ又はＡＧＰＳに併用する方式を利用することも可能である。

表示部１０２は、画面表示を行うためのＬＣＤモジュール及びＬＣＤコントローラと、画面にユーザがタッチする操作に反応し、ユーザの接触位置を検出するセンサモジュール及び位置検出部とを備え、画面表示機能及びタッチパネル機能を実現したものである。すなわち、表示部１０２は、ＡＲクライアント処理部１０８からのデータ及び制御信号をＬＣＤコントローラで受け付けて所定の画面をＬＣＤモジュールで表示するとともに、画面をタッチするユーザの操作をセンサモジュールで受け付けて位置検出部にて接触位置を検出し、その接触位置に関する位置信号をＡＲクライアント処理部１０８に入力として通知するものである。端末装置１００は、後述する動作に従って、カメラ部１０６により取得した実空間の映像にＡＲサーバ３００から取得した情報を付加して表示することによりユーザに拡張現実感を提供し、また表示機能及びタッチパネル機能によりユーザインターフェイスを提供する。

入力部１０３は、端末装置１００の筐体に設けられたキーパッド、又はその他ボタン等の入力装置であり、ユーザが操作することにより各キーまたはボタンに応じた信号であるキーイベントがＡＲクライアント処理部１０８へ通知され、種々の操作ないしは制御に利用される。例えば、表示部１０２により表示中の拡張現実感情報（オブジェクト情報）のアイコン（オブジェクト）を選択して、コメントを入力できる構成とされており、入力されたコメントは、拡張現実感情報と関連付けされた状態でＡＲクライアント処理部１０８へ出力される。なお、入力部１０３は、テキスト、画像、動画もしくは音声又はこれらの組合せをコメントとして入力してもよい。

方位センサ１０４は、自分が向いている方向の姿勢・角度を検出し、それに相当する信号をＡＲクライアント処理部１０８に出力するモジュールである。ＡＲクライアント処理部１０８は、方位センサ１０４の検出値からユーザが端末装置１００を保持している姿勢・角度を認識することが可能である。このような方位センサ１０４には複数の地磁気センサを組み合わせたものを利用することが可能であり、さらに地磁気センサに加えて複数の加速度センサを組み合わせたモーションセンサを用いてもよい。３軸方向の地磁気センサと３軸方向の加速度センサとを組み合わせた６軸センサ、３軸方向の地磁気センサと２軸方向の加速度センサとを組み合わせた５軸センサ、また、加速度センサの代わりにジャイロを用いる場合等は、いずれもモーションセンサとして方位センサ１０４に利用することができる。このようにモーションセンサを利用した場合には、端末装置１００の姿勢・角度に関する情報だけでなく、ユーザが端末装置１００を動かしたり傾けたりした動作の向き及び速さを検出することが可能となる。

通信部１０５は、通信網１５０と接続して、他の端末装置やサーバシステムと通信を行うためのモジュールである。ここでの通信としては、例えば、他の端末装置と通信接続して行う回線交換型通信、通信網１５０を介してネットワーク２００に接続されたサーバシステムと行うパケット交換型通信等を挙げることができる。また、ＡＧＰＳ方式により端末位置情報を取得する場合には、通信部１０５は位置情報取得部１０１と協調動作して端末位置情報の取得を補助する。

カメラ部１０６は、所定の光学系及び受像素子を有し、デジタル画像を取得する機能を提供するモジュールである。端末装置１００でデジタル画像を撮影する際には、起動されたカメラ部１０６は、通常、光学系の取得した被写体像から所定露光時間で受像素子によりデータを取得する処理を所定時間間隔で繰り返し、当該データを表示部１０２に表示することによりライブビュー機能を実現する。そして、その状態でユーザがさらに入力部１０３で所定の操作を行うことにより、カメラ部１０６は光学系の取得した被写体像から設定された撮影条件で画像データを生成し、生成された画像データは記憶部１０７に保存される。ＡＲシステム１は、上述のライブビュー機能により表示部１０２に表示される実空間映像に拡張現実感をもたらす情報を表示するものである。

記憶部１０７は、所定の情報をＡＲクライアント処理部１０８の制御下で記憶し、また記憶している情報をＡＲクライアント処理部１０８に提供するためのメモリである。また、記憶部１０７は、ＡＲクライアント処理部１０８で実行される種々のプログラムを記憶しており、ＡＲクライアント処理部１０８はこれを適宜読み出して実行する。記憶部１０７は一様な構成である必要はなく、ＲＯＭ、ＲＡＭ、ＦｌａｓｈＲＯＭ等の各種メモリを適宜組み合わせて構成することが可能であり、さらにＨＤＤのような二次記憶装置を組み合わせるようにしても構わない。また、記憶部１０７は、後述するＡＲサーバ３００から提供された種々の拡張現実感情報を記憶している。記憶部１０７が記憶している拡張現実感情報（オブジェクト情報）には、ＰＯＩ情報が含まれる。拡張現実感情報は、端末装置１００からのリクエストに応じてＡＲサーバ３００からレスポンスとして返されたものである。

ＡＲクライアント処理部１０８は、不図示のＣＰＵ上で記憶部１０７に記憶されたプログラムを実行することにより仮想的に構成される機能ブロックであって、端末装置１００の位置情報取得部１０１、表示部１０２、入力部１０３、方位センサ１０４、通信部１０５、カメラ部１０６及び記憶部１０７といった各機能ブロックとの間でデータ及び制御信号をやり取りすることにより、端末装置１００の各種機能を実現するものである。また、ＡＲクライアント処理部１０８は、入力部１０３を介してユーザが入力したコメント（付加情報）等を、通信部１０５を介してＡＲサーバ３００へ送信する。なお、送信されるコメントは、拡張現実感情報と関連付けされた状態でＡＲサーバ３００へ送信される。さらに、ＡＲクライアント処理部１０８は、位置情報取得部１０１が取得した端末位置情報をＡＲサーバ３００へ送信してリクエストすることにより、ＡＲサーバ３００から端末位置情報に応じた拡張現実感情報のレスポンスを受けて、拡張現実感をユーザに提供する。例えば、ＡＲクライアント処理部１０８は、カメラ部１０６の撮影した実空間の映像を表示部１０２に表示させつつ、拡張現実感情報を実空間の映像に重畳する表示位置を決定し、当該表示位置に当該拡張現実感情報と対応したグラフィックスオブジェクトを重畳して描画する処理を行う。この時、当該拡張現実感情報に関連する投稿コメントをＡＲサーバ３００から受信した場合には、投稿コメントに関するグラフィックスオブジェクトも重畳して描画する。以下、このような処理について詳細に説明する。

まず、カメラ部１０６の姿勢及び角度に基づいて拡張現実感情報の表示位置を決定し、実空間の映像に重畳して表示部に表示させる処理について説明する。この処理では、まず、方位センサ１０４の検出値からカメラの向いている姿勢・方向を導出し、カメラの水平方向視野角及び垂直方向視野角に基づいて、記憶部１０７に記憶されている拡張現実感情報がカメラ部１０６の視野に入るか否かを判定し、結果を記憶部１０７に記録する。続いて、視野内であると判定された拡張現実感情報について、端末装置１００の現在の端末位置を原点とした座標空間に配置したと想定し、原点の所定高さを中心点としてカメラの水平方向視野角及び垂直方向視野角並びに映像サイズに基づいて原点から所定距離に定まる矩形平面に各拡張現実感情報を透過投影する処理を行い、透過投影された位置をもって表示位置と決定する。ここで、透過投影する中心点の高さについては、ユーザが立った状態で端末装置１００を使用する状況を再現するために、１．５ｍ程度の高さとすることが好適である。

上記処理の後、決定された表示位置に各拡張現実感情報を描画することにより実空間映像に重畳させて表示する処理を行う。ユーザにより投稿されたコメント情報も受信している場合には、投稿コメントに関するコメント情報も実空間映像に重畳させて表示する処理を行う。このような処理についての制限は特にないが、各拡張現実感情報又はコメント情報が所定の表示位置に描画されて残部が透明の画面レイヤーを作成し、この画面レイヤーを実空間映像に重ねて表示部１０２に表示させることができ、これにより実空間映像の適切な位置に拡張現実感情報又はコメント情報が表示される。この際、拡張現実感情報及びコメント情報は、アイコン、情報バルーン、サブウィンドウ等のグラフィックスオブジェクトとして画面上に表示される。タッチパネル機能を利用した物理的な操作をともなう視覚性及び認識性に優れたインターフェイスによって、端末装置１００は優れた拡張現実感をもたらす。

次に、ＡＲサーバ３００について説明する。このＡＲサーバ３００は、例えばＷｅｂサーバの常駐したサーバシステムであり、端末装置１００からのリクエストを通信網１５０及びネットワーク２００を介して受け付け、必要に応じてネットワーク２００に接続されたコンテンツサーバ３７１からデータを取得して、拡張現実感情報として端末装置１００にレスポンスする処理を行う。より具体的には、ＡＲサーバ３００は、端末装置１００により送信された端末装置１００の位置情報を通信網１５０及びネットワーク２００を介して受信するとともに、拡張現実感情報を外部のコンテンツサーバ３７１から収集し、端末装置１００の現在位置から所定範囲内のＰＯＩ情報を端末装置１００へ送信する。また、ＡＲサーバ３００は、端末装置１００により送信されたコメント情報を通信網１５０及びネットワーク２００を介して受信して記録する。そして、ＡＲサーバ３００は、端末装置１００へ送信する拡張現実感情報にコメント情報が付加されている場合には、当該コメント情報も端末装置１００へ送信する。

ＡＲサーバ３００の構成について説明する。図３は、本実施形態におけるＡＲサーバ３００の機能ブロック図である。ＡＲサーバ３００は、物理的には、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えるコンピュータシステムとして構成されている。後述する各構成要素は、ＣＰＵがＲＯＭ又はＲＡＭ上に所定のソフトウェアを読み込ませ、ＲＯＭ又はＲＡＭに対してデータの読み書きを行うことで実現される。

図３に示すように、ＡＲサーバ３００は、通信部（付加情報取得手段、情報配信手段）３０１、ＰＯＩ情報収集部３０２、ＰＯＩ情報・コメント抽出部（情報配信手段）３０３、コメント入力部（付加情報記録手段）３０４及びＰＯＩデータ蓄積部３１６を備えている。

通信部３０１は、ネットワーク２００に接続して端末装置１００、及びコンテンツサーバ３７１等の外部サーバと通信を行うネットワークモジュールであり、公知のものを使用することができる。

ＰＯＩ情報収集部３０２は、コンテンツサーバ３７１から拡張現実感情報の一例であるＰＯＩ情報を取得する機能を有している。ここで、ＰＯＩとは、現実空間に配置されたオブジェクトの一例であり、誰かの関心の対象となった特定の場所についての情報である。すなわち、ＰＯＩ情報は位置情報に関連付けられた情報全般を意味する。例えば、特定の場所にある施設、店舗についての情報であって、少なくとも位置情報（緯度、経度の情報）を含み、高度、施設・店舗の名称、電話番号、住所、ＵＲＬ又はメールアドレス等の情報が追加されたものである。ＰＯＩ情報はこれに限定されるものではなく、位置情報付きで公開された写真、動画、音声、メッセージ等であってもよい。また、位置情報を含むＰＯＩ情報に関連付けられた情報についてもＰＯＩ情報として取り扱うことができる。例えば、特定の場所にあるショッピングモールの情報（ＰＯＩ情報）に関連付けられたテナントショップに関する情報もＰＯＩ情報として取り扱うことが可能である。このような施設・店舗に関するＰＯＩ情報は、ＰＯＩ情報収集部３０２がコンテンツサーバ３７１から収集する。例えば、ＷｅｂＡＰＩを利用して取得することが可能である。ＰＯＩ情報収集部３０２は、収集したＰＯＩ情報をＰＯＩデータ蓄積部３１６に蓄積する。

コメント入力部３０４は、ＰＯＩにコメントを付けるための入力を受け付け、ＰＯＩデータ蓄積部３１６に登録する。例えば、通信部３０１が端末装置１００により送信されたコメント情報を受信した場合には、コメント入力部３０４は、受信したコメント情報をＰＯＩデータ蓄積部３１６に登録する。

ＰＯＩデータ蓄積部３１６は、ＰＯＩ情報収集部３０２及びコメント入力部３０４により登録されたＰＯＩ情報及びコメント情報が格納される。図４は、ＰＯＩデータ蓄積部３１６に格納されたＰＯＩ情報のデータ定義の一例である。図４に示すように、ＰＯＩ情報は、例えば、識別番号を示すpoi_id、名前を示すname(title)、位置情報を示すlat（緯度）、lon（経度）、高度情報を示すaltitude（高度）、内容を示すtel（電話番号）、address（住所）、url（ＷｅｂページのＵＲＬ）、email（メールアドレス）、コメント情報のリンク先のＰＯＩを示すrelated_poi_id、コメント情報の内容テキストを示すtxt、コメント情報のデータ格納先を示すresource_urlにより定義される。ここで、poi_idについては、ＡＲサーバ３００が自動で付与し、name(title)、lat、lon、altitude、tel、address、url、emailについては、ＰＯＩ情報収集部３０２によりコンテンツサーバ３７１から取得される。また、related_poi_id、txt、resource_urlについては、端末装置１００から受信する。このように、ＰＯＩデータ蓄積部３１６は、ユーザが投稿したコメント情報とＰＯＩとを関連付けした状態で格納している。なお、ＰＯＩデータ蓄積部３１６に格納されるコメント情報は、poi_idが自動付与されるとともに、name(title)、lat、lon、altitude、tel、adress、url、emailの各項目はブランクのまま登録される。このように予め保有されたＰＯＩ情報と同一のフォーマット（テーブル形式）で追加登録することで、コメント情報をＰＯＩ情報と等価に扱うことができる。なお、コメント入力部３０４は、コメントを、予め保有されたＰＯＩとの関係を示すrelated_poi_idと関連付けすることにより、ＰＯＩ情報とは別にコメントを登録又は管理してもよい。このように構成することで、ＰＯＩ情報とコメントとを切り離して管理することができるので、信頼性、保守性等を向上させることが可能となる。

テキスト形式のコメントの場合はtxtの項目にコメントの内容テキストが記録される。一方、画像、動画、音声をコメントとして投稿した場合にはtxtの項目に内容に応じた制御コードが記録され、resource_urlの項目にリソースデータの格納場所が記録される。リソースデータはＡＲサーバ３００に設定された格納場所に自動的に記録される。

ＰＯＩ情報・コメント抽出部３０３は、端末装置１００の位置情報に基づいて、端末装置１００の端末位置情報を中心とした所定距離内に存在するＰＯＩ情報をＰＯＩデータ蓄積部３１６から抽出する機能を有している。そして、ＰＯＩ情報・コメント抽出部３０３は、抽出されたＰＯＩ情報に対応するＰＯＩに関連付けられたコメントをＰＯＩデータ蓄積部３１６から抽出する機能を有している。

次に、上述のように構成されたＡＲシステム１における端末装置１００及びＡＲサーバ３００の動作についてフローチャートを参照しながら説明する。最初に、端末装置１００からコメント情報をＡＲサーバ３００へ投稿する動作を説明する。図５は、本実施形態におけるＡＲシステム１の動作を示すフローチャートである。

図５に示すように、端末装置１００から処理を開始する。図５に示す制御処理は、端末装置１００の入力部１０３がユーザ操作を受け付けて拡張現実感プログラムを起動することにより開始される。まず、端末装置１００がライブビュー表示を開始する。例えば、カメラ部１０６及び各種センサ（位置情報取得部１０１及び方位センサ１０４）が起動し、初期画面としてライブビュー表示を開始する（Ｓ１０）。ライブビュー表示は、常法にしたがって、起動されたカメラ部１０６の光学系により取得された被写体像から所定露光時間で受像素子により映像データを生成し、当該データを表示部１０２に表示させる処理を所定時間間隔で繰り返すことにより行われる。すなわち、ライブビュー表示では、撮像地点で撮像した撮像画像が表示部１０２に表示される。

続いて、位置情報取得部１０１が端末装置１００の現在の端末位置情報を取得する。そして、端末装置１００が取得した端末位置情報をＡＲサーバ３００へ送信して拡張現実感情報をリクエストする（Ｓ１２）。

ＡＲサーバ３００の通信部３０１は、端末装置１００から端末位置情報を受信し、ＰＯＩ情報・コメント抽出部３０３へ端末位置情報を出力する（Ｓ３０）。ＰＯＩ情報・コメント抽出部３０３は、入力した端末位置情報を中心とした所定距離内に関連するＰＯＩ情報を、ＰＯＩデータ蓄積部３１６から抽出する（Ｓ３２）。そして、通信部３０１は、Ｓ３２の処理で抽出されたＰＯＩ情報を端末装置１００へ送信する（Ｓ３４）。

端末装置１００の通信部１０５は、ＡＲサーバ３００によりレスポンスされた端末装置１００周辺のＰＯＩ情報を受信し、記憶部１０７に記録する（Ｓ１４）。そして、方位センサ１０４がカメラ部１０６の向いている方向（姿勢及び角度）を検出する（Ｓ１６）。続いて、ＡＲクライアント処理部１０８が、Ｓ１６の処理で検出されたカメラ部１０６の姿勢及び角度の情報並びにＳ１２の処理で取得された端末位置情報に基づいて、Ｓ１４の処理で受信したＰＯＩ情報の関連付けられた地点がカメラ部１０６の視界に入るか否かを個々に判定し、カメラ部１０６の視界に入るＰＯＩ情報を抽出する（Ｓ１８）。

次に、端末装置１００がライブビュー画面にＰＯＩ情報のアイコンを重畳する。ＡＲクライアント処理部１０８が、位置情報及び方位情報に応じてライブビュー画面にＰＯＩ情報のアイコンを重畳する（Ｓ２０）。例えば、ＡＲクライアント処理部１０８は、現在の端末位置を原点とした座標空間に抽出されたＰＯＩ情報のアイコンを配置したと想定して、原点の所定高さを中心点としてカメラの水平方向視野角及び垂直方向視野角並びに映像サイズに基づいて原点から所定距離に定まる矩形平面に各ＰＯＩ情報のアイコンを透過投影する処理を行うことにより各情報の表示位置を算出する。続いて、算出された各情報の表示位置に基づいて、各ＰＯＩ情報のアイコンをライブビュー画面に重畳する。

以上で、実空間の映像に拡張現実感情報を重畳する動作は終了してユーザの操作を待つ動作となる。ＡＲクライアント処理部１０８が、ユーザにより入力部１０３を介してコメントの入力指示が行われた否かを判定する（Ｓ２２）。例えば、ＡＲクライアント処理部１０８は、ユーザがコメント入力対象のＰＯＩ情報を示すアイコンを選択したか否かを判定する。Ｓ２２の処理において、ユーザによる入力指示を受け付けていないと判定した場合には、ユーザが所定のアイコンを選択するまでＳ２２の判定処理を繰り返し実行する。一方、Ｓ２２の処理において、入力指示を受け付けたと判定した場合には、ＡＲクライアント処理部１０８は、コメント入力画面を表示部１０２に表示させ、コメントの入力を受け付ける（Ｓ２４）。

その後、ＡＲクライアント処理部１０８は、コメント入力のために選択されたＰＯＩ情報のpoi_id、及びＳ２４の処理で受け付けたコメントをＡＲサーバ３００へ送信する（Ｓ２６、付加情報送信ステップ）。

ＡＲサーバ３００の通信部３０１は、端末装置１００からコメント及び関連するpoi_idを受信し、コメント入力部３０４へ出力する（Ｓ３６）。コメント入力部３０４は、入力したコメント及び関連するpoi_idを、ＰＯＩデータ蓄積部３１６へ蓄積する（Ｓ３８、付加情報記録ステップ）。このように、ユーザが投稿したコメント情報とＰＯＩとを関連付けした状態で格納する。そして、ＡＲサーバ３００は、コメント登録の完了を端末装置１００へ通知し（Ｓ４０）、動作を終了する。一方、端末装置１００は、ＡＲサーバ３００から受信した登録完了通知を画面に表示し（Ｓ２８）、動作を終了する。

以上で図５に示す制御処理を終了する。図５に示す制御処理を実行することにより、端末装置１００に入力されたコメントが、リンク先のpoi_idとともにＡＲサーバ３００へ送信され、ＰＯＩデータ蓄積部３１６に新規データとして登録される。また、図５に示す制御処理を実行することにより、ＰＯＩ情報が提示されている状態でユーザにコメントを入力させることができるので、コメントの投稿を容易に行うことができる。

次に、端末装置１００がコメント情報を表示する動作を説明する。図６は、本実施形態におけるＡＲシステム１の動作を示すフローチャートである。

図６に示すように、端末装置１００から処理を開始する。図６に示す制御処理は、端末装置１００の入力部１０３がユーザ操作を受け付けて拡張現実感プログラムを起動することにより開始される（Ｓ５０）。この処理は、図５のＳ１０の処理と同様である。

続いて、位置情報取得部１０１が端末装置１００の現在の端末位置情報を取得して、ＡＲサーバ３００へ送信し拡張現実感情報をリクエストする。この処理は、図５のＳ１２の処理と同様である。

ＡＲサーバ３００の通信部３０１は、端末装置１００から端末位置情報を受信し、ＰＯＩ情報・コメント抽出部３０３へ端末位置情報を出力する（Ｓ７０）。ＰＯＩ情報・コメント抽出部３０３は、入力した端末位置情報を中心とした所定距離内に関連するＰＯＩ情報を、ＰＯＩデータ蓄積部３１６から抽出する（Ｓ７２）。Ｓ７０、Ｓ７２の処理は、図５のＳ３０、Ｓ３２の処理と同様である。そして、ＰＯＩ情報・コメント抽出部３０３は、Ｓ７２の処理で抽出されたＰＯＩ情報に対応したＰＯＩにリンクされたコメントを抽出する（Ｓ７４）。そして、通信部３０１は、Ｓ７２の処理で抽出されたＰＯＩ情報、及びＳ７４の処理で抽出されたコメントを端末装置１００へ送信し（Ｓ７６、情報配信ステップ）、動作を終了する。

端末装置１００の通信部１０５は、ＡＲサーバ３００によりレスポンスされた端末装置１００周辺のＰＯＩ情報及びコメントを受信し、記憶部１０７に記録する（Ｓ５４）。ＡＲクライアント処理部１０８は、コメントを記憶部１０７に記録する際にインデックスを作成する。そして、方位センサ１０４がカメラ部１０６の向いている方向（姿勢及び角度）を検出する（Ｓ５６）。続いて、ＡＲクライアント処理部１０８が、カメラ部１０６の視界に入るＰＯＩ情報を抽出する（Ｓ５８）。Ｓ５６、Ｓ５８の処理は、図５のＳ１６、Ｓ１８の処理と同様である。

次に、端末装置１００がＰＯＩ情報のアイコンのレンダリングを行う（Ｓ６０）。例えば、ＡＲクライアント処理部１０８は、端末装置１００の位置情報及び方位情報に基づいて表示位置を決定する。表示位置の決定方法は、図５のＳ２０の処理と同様である。

続いて、端末装置１００がコメントのアイコンのレンダリングを行う（Ｓ６２）。例えば、ＡＲクライアント処理部１０８は、コメントのアイコン表示位置をＳ６０の処理で決定したＰＯＩ情報のアイコンの近傍に決定する。ＡＲクライアント処理部１０８は、コメントのアイコンがＰＯＩ情報のアイコンに隣接するように、例えば画面サイズや各アイコンの大きさを考慮して両者の距離が所定範囲内になるように決定する。

そして、端末装置１００がライブビュー画面にＰＯＩ情報及びコメントのアイコンを重畳して表示する（Ｓ６４、画像表示制御ステップ）。ＡＲクライアント処理部１０８が、Ｓ６０、Ｓ６２の処理で決定された各アイコンの表示位置に基づいて、各アイコンをライブビュー画面に重畳する。図７にコメントを表示した画面図の例を示す。図７では、ＰＯＩ情報が「レストランＡＡＡ」であり、ＰＯＩ情報のグラフィックスオブジェクトを丸形のアイコンとしている。ＡＲクライアント処理部１０８は、例えば、図７の（ａ）に示すように、「レストランＡＡＡ」のアイコンとコメントのアイコンとの間を線で結ぶことによって、投稿先のＰＯＩとコメントとの関連をグラフィカルに表示する。また、ＡＲクライアント処理部１０８は、例えば、図７の（ｂ）に示すように、「レストランＡＡＡ」のアイコンから吹き出した形状にコメントのアイコンを表示することによって投稿先のＰＯＩとコメントとの関連をグラフィカルに表示する。なお、同一のＰＯＩに対して複数のコメントが存在する場合には、画面の煩雑さを回避し直感的に複数のコメントが関連している旨をユーザに理解させるべく、集約アイコンを用いて表示してもよい。図８の（ａ）に複数コメントを表示した画面図の例を示す。図８の（ａ）は、図７の（ａ）の場面において、同一のＰＯＩに対して複数のコメントが存在する場合を示している。集約アイコンは、複数のコメントが存在することを示すアイコンであって、例えば複数のアイコンの重なりを視覚的に表示させたものが用いられる。

以上で、実空間の映像に拡張現実感情報を重畳する動作は終了してユーザの操作を待つ動作となる。ＡＲクライアント処理部１０８が、ユーザにより入力部１０３を介してコメントの選択が行われた否かを判定する（Ｓ６６）。Ｓ６６の処理において、ユーザによる選択を受け付けていないと判定した場合には、ユーザがコメントのアイコンを選択するまでＳ６６の判定処理を繰り返し実行する。一方、Ｓ６６の処理において、選択を受け付けたと判定した場合には、一覧画面表示処理へ移行する。

一覧画面表示処理では、ＡＲクライアント処理部１０８は、記憶部１０７に記録されたコメントのインデックスを参照し、Ｓ６６の処理で選択されたコメントと同じrelated_idを有するコメント、すなわち同一のＰＯＩにされた投稿コメントを抽出して表示する。同じrelated_idを有するコメントが存在しない場合には、１つのコメントのみが表示される。一方、同一のＰＯＩにされた投稿コメントが複数の場合には、一覧画面が表示される。図８の（ｂ）に複数コメントを表示した画面図の例を示す。図８の（ｂ）は、図８の（ａ）に示すコメントが選択された際に遷移する画面図の一例である。ＡＲクライアント処理部１０８は、図８の（ａ）に示すコメントが選択された場合、図８の（ｂ）に示すように、ＰＯＩ情報である「レストランＡＡＡ」に対する複数のコメント（例えば、口コミ等）を一覧表示する。Ｓ６８の処理が終了すると、端末装置１００の動作を終了する。

以上で図６に示す制御処理を終了する。図６に示す制御処理を実行することにより、端末装置１００のライブビュー画面にＰＯＩと投稿されたコメントとが表示される。また、複数のコメントが投稿された場合であっても画面上に表示するアイコンの数を抑えることができるので、画面が煩雑となることを回避するとともに、視認及び操作対象としての選択を容易とすることができる。

図６に示す制御処理では、いずれも所定のＰＯＩに対して口コミのようなコメント、すなわちテキスト情報を付加情報として追加する場合を示したが、画像、動画、音声またはこれらの組み合わせであってもよい。この場合には、ＡＲサーバ３００のＰＯＩデータ蓄積部３１６に格納されたコメント情報のresource_urlで指定された場所に、追加情報の実体である画像、動画または音声が格納され、これを表示または再生しようとする端末によって取得されることになる。

上述したように、本実施形態に係るＡＲサーバ３００によれば、通信部３０１により、ＰＯＩに付加するコメントが投稿元の端末装置１００から取得され、コメント入力部３０４により、コメントがＰＯＩと関連付けられて記録され、ＰＯＩ情報・コメント抽出部３０３及び通信部３０１により、配信先の端末装置１００の位置情報に基づいて当該端末装置１００に対してＰＯＩ情報又は当該ＰＯＩ情報に対応するＰＯＩに関連付けされたコメントが配信される。このように、投稿元の端末装置１００から投稿されたコメントをＰＯＩと関連付けして記録しておくことができるので、例えば配信先の端末装置１００にＰＯＩ情報を配信する際にコメントを送信することが可能となる。このため、例えば配信先の端末装置１００がＰＯＩとともにコメントを表示することができるので、ユーザにより投稿された情報を端末装置１００に表示させることが可能となる。

また、本実施形態に係るＡＲシステム１又は投稿情報制御方法によれば、投稿元の端末装置１００の通信部１０５により、ＰＯＩに付加するコメントがＡＲサーバ３００へ送信され、ＡＲサーバ３００のコメント入力部３０４により、投稿元の端末装置１００により送信されたコメントがＰＯＩと関連付けられて記録され、ＰＯＩ情報・コメント抽出部３０３及び通信部３０１により、配信先の端末装置１００の位置情報に基づいて当該端末装置１００に対してＰＯＩ情報及び当該ＰＯＩ情報に対応するＰＯＩに関連付けされたコメントが配信され、配信先の端末装置１００のＡＲクライアント処理部１０８により、ＡＲサーバ３００により配信されたＰＯＩにコメントが付加されて表示されるとともに、ＰＯＩとコメントとの関連付けがグラフィカルに表示される。このように、投稿元の端末装置１００から投稿されたコメントを、ＡＲサーバ３００がＰＯＩと関連付けして記録しておくことができるので、ＡＲサーバ３００が配信先の端末装置１００にＰＯＩ情報を配信する際にコメントを送信することが可能となる。このため、配信先の端末装置１００がＰＯＩとともにコメントを表示することができる。よって、ユーザにより投稿された情報を端末装置１００に表示させることが可能となる。さらに、ＰＯＩとコメントとの関連をグラフィカルに表示することができるので、どのＰＯＩに投稿された情報であるかをユーザが直感的に理解することが可能となる。

なお、本発明の投稿情報制御装置、投稿情報制御システム及び投稿情報制御方法は、上記実施形態に限られるものではなく、種々変形が可能である。例えば、上記実施形態では、グラフィックスオブジェクトを丸形のアイコンとした場合を示したが、これに限られるものではなく、角形のアイコンであってもよいし情報バルーンのようなものであっても構わない。

また、上記実施形態では、端末装置１００のＡＲクライアント処理部１０８が拡張現実感情報の表示位置等を決定する処理を行う例を説明したが、ＡＲサーバ３００のサーバ制御部３１０が拡張現実感情報の表示位置等を決定する処理を行い、結果のみを端末装置１００へ返すように構成してもよい。

また、上記実施形態では、コメントの実データを配信する例を説明したが、例えば、コメントのエントリのみを配信し、配信先の端末装置１００は、ＡＲクライアント処理部１０８（コメント取得手段）が、表示されたコメントが選択された場合に、エントリに基づいてコメントをＡＲサーバ３００から取得するように構成されてもよい。このように構成することで、コメントのうち選択されたコメントの情報のみを取得することができるので、通信負荷の軽減化及びリソースの効率化を図ることができる。

また、上記実施形態では、サーバの機能を呼び出す際、機能をＣＧＩで構築しその呼び出しをＡＰＩとしているが、その手法は他のプロトコルや、分散オブジェクトなど、いかなるアプリケーション間の通信手段で構成してもよい。

また、上記実施形態では、表示部１０２がタッチパネル機能を備える例を説明したが、これに限られるものではなく、ユーザの操作を検出する機能を端末装置１００が有していればよい。例えば、タッチパネル機能に替えて、ポインティングデバイス、十字キー、テンキー等のハードウェアボタンによる画面操作を検出する構成としてもよい。

また、上記実施形態では、付加情報のリンク先をＰＯＩとした場合を示したが、付加情報のリンク先はＰＯＩに限られず、付加情報にリンクした付加情報を登録することも可能である。また、ＰＯＩに付加した付加情報の用途は口コミ等の投稿に限られず、施設や店舗側からＡＲシステムのユーザに情報を提示する手段として利用することも可能である。

また、ＰＯＩデータの定義を拡張すれば、ＰＯＩに対する付加情報の追加を禁止可能な構成とすることもできる。

さらに、上記実施形態では、ＰＯＩ情報のアイコンを表示させた端末装置１００からコメントを入力する例を説明したが、ＰＯＩ情報のアイコンを表示させていない端末装置１００からコメントを入力してもよい。すなわち投稿元となる端末装置１００は、投稿機能さえあればよく、ＰＯＩ情報の配信対象となっていなくてもよい。

１…拡張現実感システム（ＡＲシステム、投稿情報制御システム）、１００…端末装置、１０１…位置情報取得部、１０２…表示部、１０３…入力部１０３、１０４…方位センサ、１０５…通信部（端末側送信部）、１０６…カメラ部、１０７…記憶部、１０８…ＡＲクライアント制御部（画像表示制御手段）、３００…拡張現実感サーバ（ＡＲサーバ、投稿情報制御装置）、３０１…通信部（付加情報取得手段、情報配信手段）、３０２…ＰＯＩ情報収集部、３０３…ＰＯＩ情報・コメント抽出部（情報配信手段）、３０４…コメント入力部（付加情報記録手段）、３１６…ＰＯＩデータ蓄積部。

Claims

現実空間をカメラ部により撮影したライブ映像又はライブ画像にオブジェクトを重畳して表示する端末と、前記端末と通信可能に構成され前記オブジェクトに関するオブジェクト情報を前記端末へ配信する投稿情報制御装置と、を備える投稿情報制御システムであって、
投稿元の前記端末は、前記オブジェクトに付加する付加情報であって、テキスト、画像、動画もしくは音声又はこれらの組合せからなる前記付加情報を前記投稿情報制御装置へ送信する端末側送信手段を備え、
前記投稿情報制御装置は、
投稿元の前記端末により送信された前記付加情報を前記オブジェクトと関連付けて記録する付加情報記録手段と、
配信先の前記端末の位置情報に基づいて前記オブジェクト情報を抽出するとともに、当該オブジェクト情報に対応する前記オブジェクトに関連付けされた前記付加情報を抽出する情報抽出手段と、
配信先の前記端末に対して、前記情報抽出手段により抽出された前記オブジェクト情報及び前記情報抽出手段により抽出された前記付加情報を示すエントリを配信する情報配信手段と、
を備え、
配信先の前記端末は、
前記投稿情報制御装置により配信された前記オブジェクト情報に対応する前記オブジェクトに前記付加情報を示すエントリを付加して表示するとともに前記オブジェクトと前記付加情報を示すエントリとの関連をグラフィカルに表示する画像表示制御手段と、
前記画像表示制御手段により表示された前記付加情報を示すエントリが選択された場合には当該エントリに基づいて前記付加情報を取得する付加情報取得手段と、
を備えること、
を特徴とする投稿情報制御システム。
前記画像表示制御手段は、前記オブジェクトから吹き出した形状に前記付加情報のアイコンを表示することによって前記オブジェクトと前記付加情報との関連をグラフィカルに表示することを特徴とする請求項１に記載の投稿情報制御システム。
前記画像表示制御手段は、前記オブジェクトと前記付加情報のアイコンとの間を線で結ぶことによって前記オブジェクトと前記付加情報との関連をグラフィカルに表示することを特徴とする請求項１に記載の投稿情報制御システム。
前記画像表示制御手段は、前記オブジェクトに関連付けされた前記付加情報が複数存在する場合には、複数の前記付加情報を集約アイコンで表示するとともに、前記集約アイコンが選択された場合には集約された前記付加情報が掲載された一覧画面を表示することを特徴とする請求項１〜３の何れか一項に記載の投稿情報制御システム。
現実空間をカメラ部により撮影したライブ映像又はライブ画像にオブジェクトを重畳して表示する端末と、前記端末と通信可能に構成され前記オブジェクトに関するオブジェクト情報を前記端末へ配信する投稿情報制御装置と、を備える投稿情報制御システムの投稿情報制御方法であって、
投稿元の前記端末が前記オブジェクトに付加する付加情報であって、テキスト、画像、動画もしくは音声又はこれらの組合せからなる前記付加情報を前記投稿情報制御装置へ送信する付加情報送信ステップと、
前記投稿情報制御装置が投稿元の前記端末により送信された前記付加情報を前記オブジェクトと関連付けて記録する付加情報記録ステップと、
前記投稿情報制御装置が、配信先の前記端末の位置情報に基づいて前記オブジェクト情報を抽出するとともに、当該オブジェクト情報に対応する前記オブジェクトに関連付けされた前記付加情報を抽出する情報抽出ステップと、
前記投稿情報制御装置が、配信先の前記端末に対して、前記情報抽出ステップにより抽出された前記オブジェクト情報及び前記情報抽出ステップにより抽出された前記付加情報を示すエントリを配信する情報配信ステップと、
配信先の前記端末が、前記投稿情報制御装置により配信された前記オブジェクト情報に対応する前記オブジェクトに前記付加情報を示すエントリを付加して表示するとともに前記オブジェクトと前記付加情報を示すエントリとの関連をグラフィカルに表示する画像表示制御ステップと、
配信先の前記端末が、前記画像表示制御ステップにより表示された前記付加情報を示すエントリが選択された場合には当該エントリに基づいて前記付加情報を取得する付加情報取得ステップと、
を備えることを特徴とする投稿情報制御方法。