JP2010171664A - 携帯情報端末、情報表示制御方法、及び、情報表示制御プログラム - Google Patents

Abstract

【課題】 時間の経過とともに変化する現実世界の状況に対応してメッセージを表示可能とする。
【解決手段】 ＧＰＳモジュール１３と位置情報算出モジュール１４は、自端末の現在位置を検出する。詳細情報取得モジュール１５は、カメラモジュール１１の撮像範囲を求めるとともに、自端末の絶対位置から各対象物までの距離を計測する。制御部１０は、メッセージサーバからメッセージデータとその絶対位置情報を取得し、各対象物までの距離とメッセージの絶対位置情報、各対象物の表示範囲とメッセージの描画範囲を基に、対象物の表示範囲とメッセージの描画範囲の前後関係及びそれらの重なりを判定し、前後関係が前となるメッセージと、対象物の表示範囲に重ならない描画範囲のメッセージのみを撮像映像上に重畳して表示させる。
【選択図】 図１

Description

本発明は、現実世界の対象物に対応付けて仮想的に書き込まれたメッセージを、例えば内蔵カメラで撮像した現実世界の映像上に重ねて表示可能とする携帯情報端末、情報表示制御方法、及び、情報表示制御プログラムに関する。

近年は、例えば直接会話や電話を介した通話、電子メールによる通信、インターネットを介した双方向通信などの従来から存在しているコミュニケーション手法に加えて、例えば特開２００８−７１２９８号の公開特許公報（特許文献１）のような次世代コミュニケーション手法も提案されている。

この特許文献１には、デジタルカメラにて撮像している現実空間の映像上に、掲示板映像を重畳表示させることにより、現実空間を利用してメッセージを交換可能としたコミュニケーション手法が提案されている。すなわち当該特許文献１に記載の技術において、空間掲示板入力デバイスは、現実空間上でメモ内容を描画する動きを三次元座標情報に変換すると共に、そのメモを記載した場所を特定する位置情報を取得して空間コミュニケーションサーバに送り保存させる。また、空間掲示板表示デバイスは、現実空間の撮像画像を表示すると共に、空間コミュニケーションサーバに閲覧要求を送信する。そして、空間掲示板表示デバイスは、空間コミュニケーションサーバから撮影場所付近のメモ内容の三次元座標情報及びメモ位置情報を取得し、その取得したメモ内容を撮像画像上に表示する。この特許文献１に記載の技術によれば、現実空間に仮想的に掲示板を設けて、端末上で書き込み及び閲覧を可能とすることにより、現実空間を利用した仮想的なコミュニケーションを実現可能となっている。

また、特開２００４−３１７７１５号の公開特許公報（特許文献２）には、現実空間上の対象物の位置に行かなくても、対象物への方向と距離を測り、その対象物と関連付けてメッセージを保存することにより、ユーザが立ち入ることの出来ない場所の対象物に対してもメッセージを登録可能とした技術が提案されている。すなわちこの特許文献１において、携帯端末装置は、操作部を介して、ユーザから、テキストデータの入力を受け付けるとともに、そのテキストデータを登録する登録目標（対象物）までの距離の、相対位置設定ダイアログへの入力を受け付ける。また、携帯端末装置は、ユーザにより、前方に登録目標が存在するように支持された状態で、内蔵された地磁気センサおよびジャイロにより、自装置の向きを示す方向情報を取得する。さらに、携帯端末装置は、内蔵されたＧＰＳ受信機により、携帯端末装置の位置（緯度、経度、および高度）を測位する。そして、携帯端末装置は、上記の位置情報、方向情報、および登録目標までの距離に基づいて、その登録目標の位置情報を算出し、当該算出した位置情報を、テキストデータに関連付けて記憶部に記憶させる。

特開２００８−７１２９８公報（図１） 特開２００４−３１７７１５公報（図６）

ところで、現実世界では、例えば、新たな建造物が建てられたり、道路が造られたり、或いは逆に建造物が壊されて無くなるなど、その現実世界の状況が時間の経過とともに変化する。したがって例えば、上述した特許文献１に記載されたようなメッセージが登録された位置の周囲に、新たに建造物が造られるようなことも十分に考えられる。

しかしながら、特許文献１に記載された技術の場合、既に或る位置に登録されたメッセージは、例えばその位置の周囲に建造物等が新たに造られた場合であっても、必ず表示されることになる。すなわち、現実空間を撮像した映像には、新たな建造物が存在しているにも拘わらず、その建造物が造られる前のメッセージが表示されてしまうことになる。

このように、従来の技術では、時間の経過とともに変化する現実世界の状況に対応することができていない。

本発明は、このような実情に鑑みて提案されたものであり、時間の経過とともに変化する現実世界の状況に対応してメッセージを表示可能とするための携帯情報端末、情報表示制御方法、情報表示制御プログラムを提供することを目的とする。

本発明の携帯情報端末は、撮像レンズと撮像素子により現実世界を撮像し、その撮像映像を表示すると共に、複数のメッセージを現実世界の絶対位置に各々対応付けて管理しているメッセージサーバと通信し、そのメッセージサーバからメッセージを取得して、撮像映像に重畳して表示する。このとき、本発明の携帯情報端末は、自端末の現在の絶対位置を検出し、現実世界内の撮像範囲を求めるとともに、自端末の絶対位置から撮像範囲内の現実空間に存在する各対象物までの距離を計測し、さらに、通信部を通じてメッセージサーバへ接続して、当該メッセージサーバから、撮像範囲内の絶対位置に関連付けて管理されているメッセージのデータとその絶対位置情報を取得する。そして、本発明の携帯情報端末は、各対象物までの距離と、メッセージの絶対位置情報と、撮像映像内における各対象物の表示範囲と、メッセージを撮像映像に重畳して描画する際の描画範囲とを基に、撮像映像内における対象物の表示範囲とメッセージの描画範囲の前後関係、及び、対象物の表示範囲とメッセージの描画範囲の重なりを判定し、前後関係が前となるメッセージと、対象物の表示範囲に重ならない描画範囲のメッセージのみを撮像映像に重畳して描画する。これにより、本発明は上述した課題を解決する。

すなわち、本発明によれば、メッセージの描画範囲が撮像映像内の対象物の表示範囲より前である時には当該メッセージを描画し、メッセージの描画範囲が撮像映像内の対象物の表示範囲より後である時には、そのメッセージの描画範囲が対象物の表示範囲から外れている時にのみ、その外れた部分の描画範囲のみを表示する。

本発明においては、対象物の表示範囲とメッセージの描画範囲の前後関係及びそれらの重なりを判定し、前後関係が前となるメッセージと、対象物の表示範囲に重ならない描画範囲のメッセージのみを撮像映像に重畳して描画することにより、時間の経過とともに変化する現実世界の状況に対応したメッセージ表示が可能となっている。

本発明実施形態のメッセージ管理システムの概略的な全体構成例を示す図である。 本発明実施形態の携帯電話端末の概略的な内部構成例を示すブロック図である。 ユーザからのメッセージ閲覧要求に応じてビューファインダ画面上に表示される撮像画像とその映像上にメッセージが重畳表示されている様子を示す図である。 図３の例から携帯電話端末が動かされた後のビューファインダ画面と現実空間の風景の説明に用いる図である。 カメラモジュールによる現実空間の撮像範囲とその撮像範囲内に存在する現実空間の建物等の対象物（オブジェクト）と、当該撮像範囲内のオブジェクトに関連付けられたメッセージの位置関係の説明に用いる図である。 図５の各対象物（オブジェクト）とメッセージの配置例の場合に、本実施形態の携帯電話端末のビューファインダ画面上に表示されるオブジェクトとメッセージの表示例を示す図である。 本実施形態の携帯電話端末において、撮像範囲内のオブジェクトとメッセージの位置関係に応じてメッセージを表示する際のフローチャートである。 携帯電話端末のビューファインダ画面内にメッセージを表示させる場合の本実施形態システムのシーケンス図である。 メッセージの入力とその入力メッセージに絶対位置情報を対応付ける場合のカメラモジュールの撮像画像（ビューファインダ画面）の表示例を示す図である。 図９の例から携帯電話端末が動かされた後のビューファインダ画面と現実空間の風景の説明に用いる図である。 本実施形態の携帯電話端末におけるメッセージ入力時のフローチャートである。 メッセージの入力及びその登録を行う場合の本実施形態システムのシーケンス図である。 メッセージを閲覧可能な端末を限定したメッセージを入力する場合のフローチャートである。 閲覧対象が限定されたメッセージが閲覧される場合のメッセージサーバにおけるフローチャートである。 閲覧対象が限定されたメッセージの閲覧を要求する携帯電話端末におけるフローチャートである。 閲覧対象が限定されるメッセージの入力及びその登録を行う場合の本実施形態システムのシーケンス図である。 ビューファインダ画面上で移動するオブジェクトを避けてメッセージの表示位置を制御する場合のフローチャートである。

以下、図面を参照しながら、本発明の一実施形態について説明する。

なお、以下の説明では、本発明の携帯情報端末の一適用例として、カメラ機能を備えた携帯電話端末を挙げているが、勿論それはあくまで一例であり、本発明はこの例に限定されず、例えば携帯電話端末以外の各種の携帯情報端末にも適用可能である。

［システム全体構成］
図１には、本発明実施形態のメッセージ管理システムの概略的な全体構成例を示す。

図１において、携帯電話端末２は、一般的な携帯電話端末が有する全ての機能を備えており、その一つの機能としてカメラモジュールを搭載している。当該携帯電話端末２は、カメラモジュールにより現実空間の映像を撮像している時、その撮像映像をディスプレイ画面上に表示可能となされている。また、携帯電話端末２は、ＧＰＳ（Global Positioning System）モジュールと位置情報算出モジュールをも備えている。当該ＧＰＳモジュールは、ＧＰＳ（Global Positioning System）衛星１からの電波を受信し、位置情報算出モジュールは当該受信情報を用いて、自端末の位置（緯度、経度、高度）を算出する。そして、詳細については後述するが、本実施形態の携帯電話端末２は、パケット網３を経由してメッセージサーバ４と通信し、自端末の現在位置とカメラモジュールによる撮像範囲とに関連したメッセージを、当該メッセージサーバ４から取得し、そのメッセージをディスプレイ画面上に表示可能となされている。

メッセージサーバ４は、現実空間の様々な対象物に関連付けられて書き込まれたメッセージの登録及び管理と、携帯電話端末等からのメッセージ閲覧要求に応じたメッセージの送信などを行う。具体的には、メッセージサーバ４は、複数のメッセージを現実空間の絶対位置情報にそれぞれ対応付けて登録及び管理している。それら複数のメッセージと絶対位置情報は、メッセージデータベース５に保存されている。

［携帯電話端末の概略構成］
図２には、本発明実施形態の携帯電話端末２の概略的な内部構成例を示す。なお、図２では、本発明実施形態の携帯電話端末２において、メッセージ表示やメッセージの入力等のために必要となる主要構成要素のみを図示しており、携帯電話端末の一般的な各種機能にかかる構成要素の図示は省略している。勿論、本実施形態の携帯電話端末２は、一般的な各種機能についても備えていることは言うまでもない。

本実施形態の携帯電話端末２は、図２に示すように、本発明にかかる主要構成要素として、制御部１０、カメラモジュール１１、メモリ１２、ＧＰＳモジュール１３、位置情報算出モジュール１４、詳細情報取得モジュール１５、通信モジュール１６、ディスプレイモジュール１７、メッセージ表示モジュール１８、メッセージ入力モジュール１９、キーボタンモジュール２０を有している。

通信モジュール１６は、パケット網３を経由して通信を行うためのものであり、特に本実施形態の場合はメッセージサーバ４と通信する。

ディスプレイモジュール１７は、例えば液晶等のディスプレイパネルと、そのディスプレイパネル上に映像等を表示するための表示駆動回路とからなる。

カメラモジュール１１は、撮像レンズ系、撮像素子、当該撮像素子から得られた撮像信号をディスプレイ表示用の映像信号に変換する映像処理回路等を有して構成されている。当該カメラモジュール１１の撮像素子により撮像された現実世界の映像信号は、ディスプレイモジュール１７に送られる。これによりディスプレイモジュール１７の画面上には、当該カメラモジュール１１にて撮像されている現実世界のリアルタイムな撮像映像が表示されることになる。

メモリ１２は、携帯電話端末のアプリケーションプログラムの一つとして、本発明の情報表示制御プログラムが格納されている。本実施形態の場合、そのアプリケーションプログラムがＣＰＵ（図示は省略）により実行されることにより、後述のようなメッセージの閲覧や入力等が可能となる。なお、本実施形態においては、当該アプリケーションプログラムをＣＰＵが実行することにより、例えば図２の制御部１０、位置情報算出モジュール１４、詳細情報取得モジュール１５、メッセージ表示モジュール１８、メッセージ入力モジュール１９等の各機能が実現可能となされている。また、詳細については後述するが、本実施形態の携帯電話端末２は、メッセージサーバ４からメッセージデータとそのメッセージに対応した絶対位置情報を取得した場合、それらメッセージデータと絶対位置情報もメモリ１２に保存する。同じく詳細については後述するが、本実施形態の携帯電話端末２は、メッセージ入力モジュール１９を介してユーザからメッセージが入力された場合、その入力されたメッセージのデータと当該メッセージに対応した絶対位置情報とをメモリ１２に保存する。

ＧＰＳモジュール１３は、ＧＰＳ衛星１からの電波を受信し、その受信情報を位置情報算出モジュール１４へ送る。

位置情報算出モジュール１４は、ＧＰＳモジュール１１がＧＰＳ衛星１から受信した情報を用いて、現実世界における現時点での自端末の絶対位置（緯度、経度、高度）を計算する。また、位置情報算出モジュール１４は、当該算出した絶対位置情報をメモリ１２に保存する。

なお、本実施形態では、ＧＰＳモジュール１３と位置情報算出モジュール１４を別の構成としているが、位置情報算出機能をＧＰＳモジュール１３に含めても良い。

詳細情報取得モジュール１５は、ジャイロセンサ、加速度センサ、電子コンパス等を有して構成されている。ジャイロセンサは、携帯電話端末に回転運動が加えられた時の回転量と回転方向、その回転による携帯電話端末の傾きを検知する。加速度センサは、携帯電話端末に加速度運動が加えられた時の移動加速度とその移動量、及び、その移動方向を検知する。電子コンパスは、携帯電話端末の現在の方位、特に本実施形態の場合は、カメラモジュール１１のレンズが向いている方位を検知する。

また、詳細情報取得モジュール１５は、それらジャイロセンサ，加速度センサ，電子コンパスからの各検知信号と、上記位置情報算出モジュール４が算出した自端末の絶対位置とから、現時点で自端末のカメラモジュール１１が撮像している現実空間の詳細な撮像範囲を求める。すなわち、本実施形態の場合、詳細情報取得モジュール１５は、ジャイロセンサと加速度センサの両検知信号により、現実空間内において現時点で自端末がどのような姿勢をとっているかを求め、さらにその姿勢において、電子コンパスからの検知信号と上記位置情報算出モジュール１４が算出した自端末の絶対位置とから、カメラモジュール１１のレンズが何れの方位を向いているかを算出する。そして、詳細情報取得モジュール１５は、上記現実空間内における自端末の姿勢と、その姿勢においてレンズの向いている方位とにより、上記カメラモジュール１１により現実空間の何れの方位がどの程度の範囲だけ写し出されているのかを算出する。なお、詳細情報取得モジュール１５により求められる現実空間の詳細な撮像範囲の具体例については後述する。

さらに、詳細情報取得モジュール１５は、通信モジュール１６を介してメッセージサーバ４へアクセスし、上記撮像範囲内において登録されているメッセージの送信を要求する。そして、詳細情報取得モジュール１５は、上記メッセージサーバ４からメッセージのデータ及びそのメッセージに対応した絶対位置情報を取得すると、それらをメモリ１２に保存する。

メッセージ表示モジュール１８は、上記メッセージサーバ４から取得したメッセージのデータ及びそのメッセージに対応した絶対位置情報が、メモリ１２に保存されている場合に、上記カメラモジュール１１により撮像されている現実世界の映像上へ上記メッセージを重畳させて、ディスプレイモジュール１７の画面上に表示させる。すなわちこの場合のメッセージ表示モジュール１８は、上記詳細情報取得モジュール１５により算出されている上記現実空間の撮像範囲内において、上記絶対位置情報により示される位置上に、それら絶対位置情報に対応付けられた各メッセージを表示させる。なお、メッセージ表示モジュール１８によりディスプレイモジュール１７の画面上に表示されるメッセージの具体例については後述する。

キーボタンモジュール２０は、携帯電話端末のテンキーや発話キー、終話キー（電源ボタン）、クリアキー、アプリケーションキー、十字キー、決定キー、カメラ用のシャッターボタンなど、携帯電話端末に搭載されている各種のキーと、それらキーが操作された時の操作信号を生成する回路等からなる。

メッセージ入力モジュール１９は、キーボタンモジュール２０を通じてユーザが入力したテキスト等のメッセージのデータを、ディスプレイモジュール１７の画面上に表示させるとともに、メモリ１２に保存する。詳細については後述するが、上記ユーザにより入力されたメッセージは、カメラモジュール１１による撮像範囲内において、ユーザが選択した対象物（オブジェクト）等に関連付けられたものとなる。また、詳細については後述するが、当該ユーザにより入力されたメッセージには、上記カメラモジュール１１による撮像範囲内でユーザが指示した位置の絶対位置情報が対応付けられる。したがって、メモリ１２には、上記入力メッセージとともに、当該メッセージに対応付けられた絶対位置情報も保存される。すなわち、メッセージ入力モジュール１９は、ユーザが、上記撮像範囲内で所望のオブジェクト（対象物）等を選択した上でメッセージを入力するとともに当該撮影範囲内で位置指定を行った時、そのメッセージとそれに対応付けられた絶対位置情報をメモリ１２内に保存する。

なお、当該メモリ１２に保存されたメッセージと絶対位置情報は、例えばユーザからの送信指示に応じて、通信モジュール１６からパケット網３を経由してメッセージサーバ４へ送られ、当該メッセージサーバ４に登録されることになる。

制御部１０は、本実施形態の携帯電話端末の全体制御及び各モジュール等の動作を制御する。

［メッセージ閲覧時のディスプレイ表示画像例］
図３には、キーボタンモジュール２０を通じてユーザからメッセージ閲覧要求が入力され、それにより上記メッセージサーバ４からメッセージとそれに対応した絶対位置情報が取得され、カメラモジュール１１の撮像画像（ディスプレイモジュール１８のビューファインダ画面３０）の現実空間の映像上に当該メッセージが重畳表示されてている場合の表示例を示している。なお、図３では、例えば家３１ａと木３１ｂが存在している現実空間の風景３１のうちの一部がカメラモジュール１１の撮像範囲となっており、その撮像範囲を表示したビューファインダ画面３０内に、例えば二つのメッセージ３５，３６が重畳表示されている場合の表示例を示している。

この図３の例のように、本実施形態の携帯電話端末において、上記カメラモジュール１１にて撮像がなされているとともにユーザからメッセージ閲覧要求が入力された場合、詳細情報取得モジュール１５は、ジャイロセンサ，加速度センサ，電子コンパスからの各検知信号と、位置情報算出モジュール１４が算出した自端末の絶対位置とから、現時点でカメラモジュール１１が撮像している現実空間の詳細な撮像範囲を求める。

またこの時、メッセージ表示モジュール１８は、上記メッセージサーバ４より取得した絶対位置情報から、上記現実空間の撮像範囲を映し出している上記ビューファインダ画面３０内の何れの位置に、上記メッセージ３５，３６を配置すべきかを計算し、メッセージ表示モジュール１８を通じて、その位置にメッセージ３５，３６を表示させる。

なお、図３は、ビューファインダ画面３０に表示されている現実空間の撮像範囲内で上記家３１ａと上記木３１ｂの間で且つ地面付近の位置がメッセージ３５の絶対位置情報となっており、また、上記撮像範囲内で上記木３１ｂの略々真上で且つ近傍の位置がメッセージ３６の絶対位置情報となっている場合の例を示している。

ここで、図３のようにカメラモジュール１１にて現実世界の撮像が行われている時に、例えば図中矢印３２に示す方向へ携帯電話端末が動かされたとする。

この場合、詳細情報取得モジュール１５は、図中矢印３２方向に携帯電話端末が動かされたことを、ジャイロセンサ，加速度センサ，電子コンパスからの各検知信号により知ることができる。そして、この時の詳細情報取得モジュール１５は、それらジャイロセンサ，加速度センサ，電子コンパスからの各検知信号と、位置情報算出モジュール４にて算出されている自端末絶対位置とから、上記矢印３２方向に移動後の時点でカメラモジュール１１が撮像している現実世界の詳細な撮像範囲を求める。

図４には、携帯電話端末が図３の矢印３２方向に動かされた後のビューファインダ画面３０と現実空間の風景３１を示している。そしてこの場合、本実施形態の携帯電話端末２のメッセージ表示モジュール１８は、各メッセージ３５，３６の絶対位置情報と、現時点でカメラモジュール１１が撮像している撮像範囲とから、上記ビューファインダ画面３０内の何れの位置に上記メッセージ３５，３６を配置すべきかを計算し、メッセージ表示モジュール１８を通じて、その位置にメッセージ３５，３６を表示させる。

なお、図４の例では、図３の例から矢印３２方向に撮像範囲が移動したことで、現実空間の風景３０内において家３１ａと木３１ｂの間で且つ地面付近の位置に対応していたメッセージ３５はビューファインダ画面３０内から外れ、一方、現実空間の風景３０内で木３１ｂの略々真上且つその近傍の位置に対応していたメッセージ３６がビューファインダ画面３０内に残っている例を示している。

このようなことを実現するため、本実施形態において、撮影範囲算出モジュール１５は、携帯電話端末の移動に追従できるだけの十分短い時間間隔で上記ジャイロセンサ，加速度センサ，電子コンパスのセンシング動作（検知動作）を行っている。また、メッセージ表示モジュール１８は、上記撮影範囲算出モジュール１５での撮影範囲の更新に合わせて、上記メッセージの表示位置の更新を行っている。

上述のように、本実施形態においては、現実空間に対する撮像範囲の算出処理を、短い時間間隔で繰り返すとともに、それら短時間毎に得られた撮影範囲に対応させてメッセージ表示位置を更新することにより、ユーザが携帯電話端末を任意に動かした場合でも、現実空間に対するメッセージの表示位置を適切に制御して、ビューファインダ画面上にメッセージを表示可能となっている。

また、本実施形態の携帯電話端末は、上述したように、ＧＰＳによる位置情報と、ジャイロセンサ，加速度センサ，電子コンパス等の各種センサによる検知情報とから、携帯電話端末の位置，姿勢，方位に応じた撮影範囲を把握可能となされ、さらに、メッセージの絶対位置情報から、当該メッセージをビューファインダ画面３０上の何れの場所に配置して表示すべきかを決めることが可能となっている。また、それら撮影範囲の決定とメッセージの表示を随時更新することも可能となされている。

したがって、本実施形態のメッセージ管理システムによれば、カメラモジュール１１を通じて映した現実世界の映像とその映像上に重畳表示されるメッセージとを用いて、ユーザ同士がコミュニケーションする場や、企業がユーザに配信する広告提供の場を提供可能となる。

［撮像範囲内のオブジェクトとメッセージの位置関係に応じたメッセージ表示制御］
ところで、現実世界では、新たな建造物が建てられる等のような状況変化が発生することも多い。

このため、本発明実施形態では、そのような現実世界における状況変化に対応すべく、以下のような処理を行う。

すなわち本実施形態の携帯電話端末は、カメラモジュール１１にて撮像されている現実空間内の建物等の各オブジェクトの絶対位置と、ビューファインダ画面３０内に表示される建物等の各オブジェクトの表示範囲と、カメラモジュール１１による撮像範囲内の対象物等に関連付けされたメッセージの絶対位置と、ビューファインダ画面内で表示されるメッセージが占める描画範囲とを用いて、ビューファインダ画面内におけるメッセージの表示状態を制御する。

図５には、カメラモジュール１１による現実空間の撮像範囲２３と、その撮像範囲２３内に存在する現実空間の建物等の対象物（オブジェクト）４１，４２と、当該現実空間の撮像範囲２３内の対象物（オブジェクト）等に関連付けられたメッセージ４３，４４，４５の位置関係の一例を示している。

また、図６には、図５の撮像範囲２３をカメラモジュール１１により撮像することでディスプレイモジュール１７のビューファインダ画面３０上に表示されたオブジェクト４１ａ（対象物４１の映像），オブジェクト４２ｂ（対象物４２の映像）と、当該撮像範囲２３のビューファインダ画面３０内に表示されるメッセージ４３，４４，４５の一例を示している。

ここで、カメラモジュール１１のレンズ２２による撮像範囲２３は、図５に示すように、現実空間内で扇型の範囲となされる。なお、レンズ２２の実際の撮像範囲は、画角範囲内において無限遠の距離まで含まれることになるが、当該無限遠の距離全てを撮像範囲内に含ませることは現実的ではない。このため、本実施形態では、上記撮像範囲２３において、上記レンズ２２からの距離については一定の限度を設けている。本実施形態では、図５に示すように、レンズ２２の焦点から例えば半径Ｒメートル以内の距離内を、撮像範囲２３としている。

また、この図５の例では、扇型の撮像範囲２３内に建物等の二つの対象物４１，４２が存在しており、当該撮像範囲２３内には三つのメッセージ４３，４４，４５が登録されている。メッセージ４３は、撮影範囲２３の現実空間内における絶対位置が、レンズ２２から見て対象物４１の存在している方向と重なり且つ当該対象物４１よりも遠い位置になっており、さらに、その描画範囲が、ビューファインダ画面３０内に表示された対象物４１のオブジェクト４１ａの表示範囲から一部だけ外れたものとなされている。一方、メッセージ４４の場合、撮影範囲２３の現実空間内における絶対位置は、レンズ２２から見て対象物４２の存在している方向と重なっているが、当該対象物４２よりも近い位置となっている。また、メッセージ４５の場合、撮影範囲２３の現実空間内における絶対位置は、レンズ２２から見て何れの対象物とも重ならない位置となっている。

この図５のような位置関係の場合、ビューファインダ画面３０上の表示は、図６に示すように、各対象物のオブジェクト４１ａ，４２ａと、各メッセージ４３，４４，４５の位置関係に応じたものとする。すなわち本実施形態によれば、上記メッセージ４３については、対象物４１のオブジェクト４１ａの後ろ側にあることを表すために、その描画範囲の一部が上記オブジェクト４１ａにより遮られた状態で表示するようにする。一方、メッセージ４４については、対象物４２のオブジェクト４２ａよりも前側にあることを表すために、オブジェクト４２ａの上に重ねて表示する。なお、メッセージ４５については、何れのオブジェクト４１ａ，４２ａとも重なっていないため、そのまま表示する。

ここで、図６に示すようなビューファインダ画面３０の表示を実現するため、本実施形態の携帯電話端末２では、以下のような処理を行う。

本実施形態の携帯電話端末２では、現実空間の撮像を行っている際に、一例として、カメラモジュール１１のオートフォーカス機能を使用して撮像範囲内の現実空間をスキャンする。すなわちこの場合のカメラモジュール１１は、オートフォーカス機能を用いて、撮像範囲内の現実空間内において、それぞれ略々同距離でフォーカスが合う点を求める。そして、撮影範囲算出モジュール１５は、上記スキャンにより略々同距離となった点の集合からなる部分には一纏まりの対象物が存在すると判定するとともに、撮像範囲内における当該対象物の位置と当該対象物までの距離をメモリ１２に保存する。

なお、現実空間内における対象物までの距離の計測は、例えば、携帯電話端末２をフォーカス方向（奥行き方向）へは移動させずに例えば水平方向或いは垂直方向へ移動させ、その移動前後で撮像した二枚の画像を用い、いわゆるステレオカメラの原理で対象物までの距離を求めるようにしてもよい。すなわちこの場合、携帯電話端末２を移動させつつ、同じ対象物を例えば画面中央部で撮像した時に、その移動前後の絶対位置と、その移動前後の撮像時の方位の変化（つまり角度の変化）とを用い、いわゆる三角測量の手法により、当該対象物までの距離を算出する。

その他、現実空間内における対象物の存在判定と距離の計測は、例えば超音波センサなどで測定してもよい。その場合の携帯電話端末は、超音波センサモジュールを備え、当該超音波センサモジュールから上記撮像範囲に向けて超音波を放射し、その反射波の到達時間差を計測することにより、対象物の存在判定と距離の算出とを行う。

次に、メッセージ表示モジュール１８は、上記撮影範囲内で抽出した各対象物のオブジェクトがビューファインダ画面内で表示される範囲と、上記撮影範囲算出モジュール１５が算出した各対象物までの距離と、撮影範囲内に存在するメッセージの絶対位置と、各メッセージがビューファインダ画面に表示される場合の描画範囲とを用いて、図６のようなビューファインダ画面３０の表示を行う。

すなわち例えば、オブジェクト４１ａとメッセージ４３のように、ビューファインダ画面３０内で、オブジェクト４１ａの表示範囲とメッセージ４３の描画範囲が重なるような場合、メッセージ表示モジュール１８は、オブジェクト４１ａの対象物４１までの距離と、メッセージ４３の絶対位置から求められる距離とを比較し、対象物４１までの距離の方が近い場合には、メッセージ４３を、その対象物４１のオブジェクト４１ａの表示範囲で隠れる部分については表示せず、オブジェクト４１ａの表示範囲から外れた描画範囲のみを表示する。

一方、オブジェクト４２ａとメッセージ４４のように、ビューファインダ画面３０内で、オブジェクト４２ａの表示範囲とメッセージ４４の描画範囲が重なるような場合であっても、オブジェクト４１ａの対象物４１までの距離と、メッセージ４３の絶対位置から得られる距離との比較の結果、メッセージ４４までの距離の方が近い場合、メッセージ表示モジュール１８は、そのメッセージ４４をオブジェクト４２ａの上に重畳させて表示させるようにする。

なお、図６の例では、メッセージ４３の一部がオブジェクト４１ａにより隠れる例を挙げたが、例えば、オブジェクト４１ａにより隠れるメッセージ４３の描画範囲を例えば半透明表示したり、色を変えて表示することで、或る程度メッセージの内容がユーザに判るようにしても良い。

［メッセージ閲覧時のフローチャート］
図７には、本実施形態の携帯電話端末２において、撮像範囲内のオブジェクトとメッセージの位置関係に応じてメッセージを表示する際のフローチャートを示す。

図７において、カメラモジュール１１による撮像が行われ、且つ、キーボタンモジュール２０を通じてユーザからメッセージ閲覧開始指示が入力された場合、制御部１０は、先ず、ＧＰＳモジュール１３を起動させる。

そして、ステップＳ１の処理として、ＧＰＳモジュール１３は、ＧＰＳ衛星１からの電波を受信し、その受信情報を位置情報算出モジュール１４へ送る。また、このステップＳ１において、位置情報算出モジュール１４は、ＧＰＳモジュール１１からの情報を用いて、現実世界における現時点での自端末の絶対位置（緯度、経度、高度）を計算し、その算出した絶対位置情報をメモリ１２に保存する。

次に、詳細情報取得モジュール１５は、ステップＳ２の処理として、通信モジュール１６を介してメッセージサーバ４へアクセスし、自端末の絶対位置情報から例えば半径Ｒメートルの範囲内についてメッセージが登録されているか否かを問い合わせる。そして、撮影範囲算出モジュール１５は、メッセージが登録されている場合にはステップＳ３へ処理を進め、メッセージが登録されていない場合にはこの図７のフローチャートの処理を終了する。

ステップＳ３の処理に進むと、詳細情報取得モジュール１５は、ジャイロセンサと加速度センサの両検知信号により、現実空間内において現時点で自端末がどのような姿勢をとっているかを求め、さらにその姿勢において、電子コンパスからの検知信号と上記位置情報算出モジュール４が算出した自端末の絶対位置とから、カメラモジュール１１のレンズが何れの方位を向いているかを算出する。

次に、詳細情報取得モジュール１５は、ステップＳ４の処理として、ステップＳ３で求めた上記現実空間内における自端末の姿勢とその姿勢でレンズの向いている方位とにより、上記カメラモジュール１１により現実空間の何れの方位がどの程度の範囲だけ写し出されているのか、つまり撮像範囲を求める。

次に、詳細情報取得モジュール１５は、ステップＳ５の処理として、先のステップＳ２でアクセスしているメッセージサーバ４に対し、上記撮像範囲内でメッセージが登録されているか否かを問い合わせる。そして、撮影範囲算出モジュール１５は、撮像範囲内にメッセージが登録されている場合にはステップＳ６へ処理を進め、撮像範囲内にメッセージが登録されていない場合にはステップＳ１２へ処理を進める。

ステップＳ６の処理に進むと、詳細情報取得モジュール１５は、先のステップＳ２でアクセスしているメッセージサーバ４に対し、上記撮像範囲内で登録されている全メッセージのデータ及びそれらの各メッセージに対応付けられた絶対位置情報を取得する。

次に、詳細情報取得モジュール１５は、ステップＳ７の処理として、現実空間の撮像範囲内に存在する各対象物のオブジェクトの距離と、その撮像範囲内のメッセージの絶対位置情報から求めた距離とから、それら各対象物（オブジェクト）とメッセージの位置関係を比較する。

また、詳細情報取得モジュール１５は、ステップＳ７による位置関係の比較結果から、ステップＳ８の処理としてメッセージの前にオブジェクトが存在するか否か判定する。そして、詳細情報取得モジュール１５は、メッセージの前にオブジェクトが存在すると判定した場合には、その旨をメッセージ表示モジュール１８に通知し、当該メッセージ表示モジュール１８のステップＳ９へ処理を渡す。一方、メッセージの前にオブジェクトが存在しないと判定した場合には、詳細情報取得モジュール１５は、その旨をメッセージ表示モジュール１８に通知し、当該メッセージ表示モジュール１８のステップＳ１１へ処理を渡す。

ステップＳ１１の処理に進むと、メッセージ表示モジュール１８は、上記メッセージをビューファインダ画面上に表示させる。つまり、このステップＳ１１の処理の場合、例えば前述の図６のオブジェクト４２ａとメッセージ４４のように、ビューファインダ画面３０内で、オブジェクト４２ａの表示範囲とメッセージ４４の描画範囲が重なるような場合であっても、オブジェクト４２ａよりメッセージ４４の距離の方が近い場合、メッセージ表示モジュール１８は、そのメッセージ４４をオブジェクト４２ａの上に重畳させて表示させるようにする。このステップＳ１１の処理後、本実施形態の制御部１０は、ステップＳ１２へ処理を進める。

一方、ステップＳ９の処理に進むと、メッセージ表示モジュール１８は、オブジェクトの表示範囲とメッセージの描画範囲とを比較した後、ステップＳ１０へ処理を進める。

ステップＳ１０の処理に進むと、メッセージ表示モジュール１８は、メッセージの描画範囲のうち、オブジェクトの表示範囲で隠れる部分については表示せず、オブジェクトの表示範囲から外れた描画範囲のみを表示する。つまり、このステップＳ１０の処理の場合、メッセージ表示モジュール１８は、例えば前述の図６のオブジェクト４１ａとメッセージ４３のように、メッセージ４３を、オブジェクト４１ａの表示範囲で隠れる部分については表示せず、オブジェクト４１ａの表示範囲から外れた描画範囲のみを表示させるようにする。このステップＳ１０の処理後、制御部１０は、ステップＳ１２へ処理を進める。

ステップＳ１２の処理に進むと、制御部１０は、キーボタンモジュール２０を通じて、ユーザから、メッセージ閲覧の終了指示が入力されたか否か判定し、終了指示が入力されていない時にはステップＳ３へ処理を戻し、一方、終了指示が入力された時にはこの図７のフローチャートの処理を終了する。

［メッセージ閲覧時のシーケンス］
図８には、携帯電話端末２のビューファインダ画面内にメッセージを表示させる場合の本実施形態システムのシーケンス図を示す。

図８において、ＧＰＳ情報を取得可能な任意の場所で、キーボタンモジュール２０を通じてユーザからメッセージの閲覧を要求する指示が入力されると、携帯電話端末２は、ステップＳ２１の処理において、メッセージ閲覧モードをＯＮにする。

上記ステップＳ２１にてメッセージ閲覧モードがオンになると、携帯電話端末２は、ステップＳ２２の処理として、ＧＰＳ衛星１からの電波を用いて自端末の現在位置情報（緯度、経度、高度）を取得する。そして、携帯電話端末２は、ステップＳ２３の処理として、当該位置情報をメモリ１２に格納する。

次に、携帯電話端末２は、ステップＳ２４の処理として、通信モジュール１６を介して、メッセージサーバ４にメッセージリードリクエストを送信する。この時のメッセージリードリクエストには、自端末の位置情報と、自端末において撮像範囲として取り込み可能な前記半径Ｒメートルを表す情報とが含まれる。なお、携帯電話端末が撮像範囲として取り込み可能な前記半径Ｒメートルについては、メッセージサーバ４側が管理していても良い。この場合のメッセージサーバ４は、携帯電話端末の機種毎に、撮像範囲の取り込み可能な半径Ｒメートルの値を管理している。

上記メッセージリードリクエストを受信したメッセージサーバ４は、ステップＳ３１の処理として、当該メッセージリードリクエスト内に含まれる位置情報をトリガとして、データベース５内の全レコード（登録されたメッセージ）を対象としたサーチを行う。そして、メッセージサーバ４は、ステップＳ３２の処理として、上記位置情報から半径Ｒメートル以内の位置に対応付けられている全メッセージを取り出し、それらメッセージとそのメッセージに対応付けられた絶対位置情報とを、メッセージレスポンスとして、携帯電話端末２へ送信する。

上記メッセージレスポンスを受信した携帯電話端末２は、ステップＳ２５の処理として、そのメッセージ及び絶対位置情報をメモリ１２に保存する。

次に、携帯電話端末２は、ステップＳ２６の処理として、前述したように撮像範囲を求め、ステップＳ２７の処理として、その撮像範囲のビューファインダ画面上にメッセージを表示する。当該ステップＳ２７では、前述したように、ビューファインダ画面内に表示されるオブジェクトの位置及び表示範囲と、メッセージの絶対位置及びその描画範囲との比較を基にして、メッセージを表示する。

その後、キーボタンモジュール２０を通じてユーザからメッセージの閲覧終了を要求する指示が入力されると、携帯電話端末２は、ステップＳ２８の処理として、メッセージ閲覧モードをＯＦＦにする。

［メッセージ入力時のディスプレイ表示画像例］
図９には、キーボタンモジュール２０を通じてユーザからメッセージが入力され、また、そのメッセージに対応付けた絶対位置情報が設定される場合の、カメラモジュール１１の撮像画像（ビューファインダ画面３０）の表示例を示している。なお、図９では、前述の図３の例と同様に、家３１ａと木３１ｂが存在している現実空間の風景３１のうちの一部がカメラモジュール１１の撮像範囲となっており、その撮像範囲を表示したビューファインダ画面３０内で、ユーザが所望のメッセージ４６を入力する場合の表示例を示している。

この図９の例のように、本実施形態の携帯電話端末において、ユーザからメッセージが入力される場合も前述のメッセージ閲覧時と同様に、詳細情報取得モジュール１５は、ジャイロセンサ，加速度センサ，電子コンパスからの各検知信号と、位置情報算出モジュール１４が算出した自端末の絶対位置とから、現時点でカメラモジュール１１が撮像している現実空間の詳細な撮像範囲を求める。

またこの時、メッセージ入力モジュール１９は、上記現実空間の撮像範囲を映し出している上記ビューファインダ画面３０内の例えば中央位置に、上記入力メッセージ４６を表示させる。

ここで、図９のようにカメラモジュール１１にて現実空間の撮像が行われている時に、例えば図中矢印３３に示す方向へ携帯電話端末が動かされたとする。

この場合、詳細情報取得モジュール１５は、図中矢印３３方向に携帯電話端末が動かされたことを、ジャイロセンサ，加速度センサ，電子コンパスからの各検知信号により知る。そして、この時の詳細情報取得モジュール１５は、それらジャイロセンサ，加速度センサ，電子コンパスからの各検知信号と、位置情報算出モジュール１４にて算出されている自端末絶対位置とから、上記矢印３３方向に移動後の時点でカメラモジュール１１が撮像している現実空間の詳細な撮像範囲を求める。

図１０には、携帯電話端末が図９の矢印３３方向に動かされた後のビューファインダ画面３０と現実空間の風景３１を示している。この場合、本実施形態携帯電話端末のメッセージ入力モジュール１９は、上記入力メッセージ４６をビューファインダ画面３０の中央位置に表示した状態を維持する。

また、図１０の例では、図９の例から矢印３３方向に撮像範囲が移動したことで、現実空間の風景３０内において家３１ａの一部がビューファインダ画面３０から外れ、一方、メッセージ４６はビューファインダ画面３０の中央位置に表示されている様子を示している。

この例においても前述同様に、撮影範囲算出モジュール１５は、携帯電話端末の移動に追従できるだけの十分短い時間間隔で上記ジャイロセンサ，加速度センサ，電子コンパスのセンシング動作を行う。また、メッセージ入力モジュール１９では、上記撮影範囲算出モジュール１５での撮影範囲の更新に合わせて上記メッセージ４６の表示位置を更新することで、当該メッセージ４６がビューファインダ画面３０の中央に位置するようにする。

そして、本実施形態において、細情報取得モジュール１５は、上記メッセージ４６が表示されているビューファインダ画面３０の中央位置に対応した現実空間上の絶対位置を、当該メッセージ４６の登録位置とする。

ここで、当該メッセージ４６の奥行き方向の絶対位置、つまり自端末の現在位置からメッセージ登録位置までの距離については、例えば前述のメッセージ閲覧時における現実空間内の各対象物に対する距離測定例と同様に、カメラモジュール１１のオートフォーカス機能を使用して求めることができる。すなわち例えば、ビューファインダ画面３０の中央に表示されているオブジェクトに対応した現実空間内の対象物までの距離を測定することにより、当該メッセージ４６の奥行き方向の絶対位置を求めることができる。

その他にも、入力メッセージ４６の奥行き方向の絶対位置（距離）は、ビューファインダ画面３０の中央位置以外に存在する対象物までの距離から決定することもできる。例えば、撮像範囲内で所望の対象物を選んだ上で当該対象物までの距離を測定し、その測定距離を上記メッセージ４６の奥行き方向の絶対位置とすることも可能である。なお、この場合の所望の対象物の選択は、例えばビューファインダ画面３０上に測距マークを表示し、その測距マークをキーボタンモジュール２０の操作等により所望の対象物のオブジェクト上に移動させることなどにより行うことができる。そして、当該測距マークにより所望の対象物が指示された状態で、例えばキーボタンモジュール２０から測距開始指示が入力されたとき、カメラモジュール１１がオートフォーカス機能により当該対象物までの距離を測定する。

なお、上述の図９と図１０の例では、メッセージのサイズ（描画範囲）を一定にした例を挙げているが、当該メッセージサイズは、例えばキーボタンモジュール２０を通じたサイズ指定入力等により、任意のサイズに変更することも可能である。

また、メッセージのサイズは、当該メッセージの奥行き方向の絶対位置（距離）に応じたものとすることも可能である。すなわちこの場合、例えば、メッセージまでの距離が近い場合にはサイズを大きくし、逆に遠い場合には小さくするようにする。

上述のようにしてメッセージが入力され且つそのメッセージの登録位置が指定された後、例えばキーボタンモジュール２０を通じてユーザから決定指示が入力されると、本実施形態の携帯電話端末２の制御部１０は、上記入力メッセージのデータと、当該メッセージの絶対位置情報（つまりメッセージが自端末の現在位置から何れの方向に何れの距離だけ離れているかを示す情報）を決定する。

［メッセージ入力時のフローチャート］
図１１には、本実施形態の携帯電話端末２におけるメッセージ入力時のフローチャートを示す。

図１１において、カメラモジュール１１による撮像が行われ、且つ、キーボタンモジュール２０を通じてユーザからメッセージ入力開始指示が入力された場合、制御部１０は、先ず、ＧＰＳモジュール１３を起動させ、ＧＰＳ衛星１からの電波の受信を開始する。

この時、位置情報算出モジュール１４は、ステップＳ６１の処理として、ＧＰＳモジュール１３がＧＰＳ衛星１からの電波を受信でき、自端末の現在位置を取得できるか否か判定する。そして、自端末の現在位置を取得できた場合、制御部１０は、その情報をメモリ１２に保存してステップＳ６２へ処理を進め、一方、現在位置を取得できない場合にはこの図１１のフローチャートの処理を終了する。

ステップＳ６２の処理に進むと、メッセージ入力モジュール１９は、キーボタンモジュール２０を通じたユーザからのメッセージ入力を受付可能となる。そして、キーボタンモジュール２０を通じてユーザからメッセージが入力されると、そのメッセージデータをメモリ１２に保存する。

次に、詳細情報取得モジュール１５は、ステップＳ６３の処理として、前述同様にして撮像範囲を求め、さらに、ステップＳ６４の処理として、メッセージの奥行き方向の絶対位置（距離）を求める。

そして、制御部１０は、ステップＳ６５の処理として、上記入力されたメッセージのデータとそのメッセージの絶対位置情報を、通信モジュール１６からメッセージサーバ４へ送信し、当該メッセージサーバ４へ登録させる。

その後、制御部１０は、ステップＳ６６の処理として、キーボタンモジュール２０を通じ、ユーザから、メッセージ入力の終了指示が入力されたか否か判定し、終了指示が入力されていない時にはステップＳ６２へ処理を戻し、一方、終了指示が入力された時にはこの図１１のフローチャートの処理を終了する。

［メッセージ入力時のシーケンス］
図１２には、メッセージの入力及びその登録を行う場合の本実施形態システムのシーケンス図を示す。

図１２において、キーボタンモジュール２０を通じてユーザからメッセージ入力を要求する指示が入力されると、携帯電話端末２は、ステップＳ４１の処理において、メッセージ入力モードをＯＮにする。

上記ステップＳ４１にてメッセージ入力モードがオンになると、携帯電話端末２は、ステップＳ４２の処理として、ＧＰＳ衛星１からの電波を用いて自端末の現在位置情報（緯度、経度、高度）を取得する。そして、携帯電話端末２は、ステップＳ４３の処理として、当該位置情報をメモリ１２に格納する。

次に、携帯電話端末２は、ステップＳ４４の処理として、キーボタンモジュール２０を通じてユーザからメッセージが入力されると、さらにステップＳ４４の処理として、撮像範囲を求めた後、ステップＳ４６の処理としてメッセージの絶対位置情報を求める。

その後、携帯電話端末２は、通信モジュール１６を介して、メッセージサーバ４にメッセージレコードリクエストを送信する。この時のメッセージレコードリクエストには、メッセージのデータとそのメッセージの絶対位置情報が含まれる。

上記メッセージレコードリクエストを受信したメッセージサーバ４は、ステップＳ５１の処理として、当該メッセージレコードリクエスト内に含まれるメッセージとその絶対位置情報をデータベース５内に登録する。そして、上記登録が完了すると、メッセージサーバ４は、ステップＳ５２の処理として、登録完了のレスポンスを携帯電話端末２へ送信する。

上記登録完了のレスポンスを受信した後、キーボタンモジュール２０を通じてユーザからメッセージの閲覧終了を要求する指示が入力されると、携帯電話端末２は、ステップＳ４８の処理として、メッセージ入力モードをＯＦＦにする。

［メッセージ閲覧対象の限定］
本実施形態のメッセージ管理システムにおいて、メッセージサーバ４は、メッセージリードリクエストを送信してきた携帯電話端末の電話番号やメールアドレスを用いたユーザ認証により、メッセージを閲覧可能な人（つまりメッセージを読取可能な端末）を限定することも可能となされている。

このように、メッセージを読取可能な端末（以下、閲覧対象と表記する。）を限定することで、例えば個人的なメッセージが不特定多数の人に閲覧されてしまうのを防ぎ、一方、特定の相手にのみメッセージを閲覧させるようなことが可能となる。

すなわちこの場合、例えば携帯電話端末のアドレス帳に登録されている人のみが閲覧可能なメッセージを登録するなど、特定の閲覧対象に向けた情報発信が可能となる。

またこの例の場合、メッセージの表示とともに、そのメッセージを登録した人の名前などを表示することも可能となる。

なおこのようなことは、特にアドレス帳などを備え、個人情報やその他の人の情報等を管理する携帯電話端末において可能となり、例えばいわゆるデジタルカメラなどのように個人情報等を管理していない他の端末では実現不可能である。

図１３には、メッセージを読取可能な端末を限定したメッセージを入力する場合のフローチャートを示す。なお、この図１３のフローチャートにおいて、図１１と同じステップには同一の参照符号を付してその説明は省略する。

図１３において、制御部１０は、ステップＳ６４の処理後、ステップＳ６７へ処理を進める。ステップＳ６７において、ユーザからキーボタンモジュール２０を通じて、メッセージの閲覧対象を限定するための電話番号やメールアドレス等が入力されると、御部１０は、ステップＳ６５へ処理を進める。

この図１３のステップＳ６５の場合、制御部１０は、入力されたメッセージのデータとそのメッセージの絶対位置情報と閲覧対象を限定する情報とを、通信モジュール１６からメッセージサーバ４へ送信し、当該メッセージサーバ４へ登録させる。

図１４には、閲覧対象が限定されたメッセージが閲覧される場合のメッセージサーバ４におけるフローチャートを示す。

図１４において、メッセージサーバ４は、メッセージリードリクエストを受信すると、ステップＳ７１の処理として、そのリクエストに含まれる位置情報を基に、データベース５内の全レコードを対象としたサーチを行い、上記位置情報から半径Ｒメートル以内の位置に対応付けられている全メッセージを取り出す。

次に、メッセージサーバ４は、上記サーチによる全レコードのメッセージから、閲覧対象が限定されていない一般公開メッセージと、閲覧対象が限定されているメッセージとを弁別する。

メッセージサーバ４は、一般公開メッセージについては、ステップＳ７６の処理としてそのメッセージを、リクエスト元の携帯電話端末へ送信した後、この図１４のフローチャートの処理を終了する。一方、閲覧対象が限定されているメッセージについては、ステップＳ７３へ処理を進める。

ステップＳ７３の処理に進むと、メッセージサーバ４は、リクエスト元の端末が閲覧対象の端末か認証処理を行う。そして、メッセージサーバ４は、ステップＳ７４の処理として、その端末が閲覧対象端末である場合には、ステップＳ７５へ処理を進めてメッセージを送信した後、この図１４のフローチャートの処理を終了する。一方、閲覧対象端末でない場合、メッセージサーバ４は、そのメッセージの送信は行わずに、この図１４のフローチャートの処理を終了する。

図１５には、閲覧対象が限定されたメッセージの閲覧を要求する携帯電話端末２におけるフローチャートを示す。なお、この図１５のフローチャートにおいて、図７と同じステップには同一の参照符号を付してその説明は省略する。

図１５において、携帯電話端末２の制御部１０は、ステップＳ５の処理後、ステップＳ１３へ処理を進める。

ステップＳ１３の処理に進むと、制御部１０は、メモリ１２のアドレス帳等に保存されている自端末の電話番号或いはメールアドレスと、閲覧対象を特定する電話番号或いはメールアドレスを、メッセージリードリクエストと共にメッセージサーバ４へ送信する。

その後、ステップＳ６では、メッセージサーバ４から送られてきた全メッセージを取得する。

図１６には、閲覧対象が限定されるメッセージの入力及びその登録を行う場合の本実施形態システムのシーケンス図を示す。なお、図１６において、図１２と同じステップには同一の参照符号を付してその説明は省略する。

図１６において、ステップＳ４６の処理の後、携帯電話端末２は、ステップＳ５０へ処理を進める。

ステップＳ５０において、ユーザからキーボタンモジュール２０を通じて、メッセージの閲覧対象を限定するための電話番号やメールアドレス等が入力されると、携帯電話端末２は、ステップＳ４７へ処理を進める。

この図１６のステップＳ４７の場合、携帯電話端末２は、入力されたメッセージのデータとそのメッセージの絶対位置情報と閲覧対象を限定する情報とを有するメッセージレコードリクエストを、通信モジュール１６からメッセージサーバ４へ送信する。

したがって、メッセージサーバ４では、ステップＳ５１において、メッセージレコードリクエスト内に含まれるメッセージとその絶対位置情報と閲覧対象を限定する情報とを、データベース５内に登録する。

［移動するオブジェクトを避けるメッセージ表示制御］
本実施形態の携帯電話端末２は、ディスプレイモジュール１８のビューファインダ画面３０上にメッセージを表示する際に、現実空間において例えば通り過ぎる人や車などにより当該メッセージが見え辛くなる問題を解消可能となされている。具体的には、本実施形態の携帯電話端末２は、ビューファインダ画面３０を見ているユーザから最も見え易くなるように、メッセージの表示位置を移動制御する。

図１７には、ビューファインダ画面３０上で移動するオブジェクトを避けてメッセージの表示位置を制御するフローチャートを示す。なお、この図１７のフローチャートにおいて、図７と同じステップには同一の参照符号を付してその説明は省略する。

図１７のフローチャートにおいて、詳細情報取得モジュール１５は、ステップＳ８でメッセージの前にオブジェクトが存在しないと判定した場合にはステップＳ１４へ処理を進める。

ステップＳ１４の処理に進むと、詳細情報取得モジュール１５は、メッセージの前に別の場所から人や車などを表す移動オブジェクトが移動してくるか否か判定する。なお、オブジェクトが移動オブジェクトであるか否かについては、一例として画像の動きベクトル検出により判断することができる。すなわち、詳細情報取得モジュール１５は、ビューファインダ画面３０内に表示される画像の動きベクトル検出により、移動オブジェクトを見つける。また、詳細情報取得モジュール１８は、移動オブジェクトとして検出されたオブジェクトが、メッセージの前に移動してくるか否かについては、例えばステップＳ７における位置関係の比較結果から判断する。すなわちこの例の場合、ステップＳ７では、ビューファインダ画面３０内の各オブジェクトについて、移動の有無を問わずに全てのオブジェクトの位置関係を求めている。なお、上記動きベクトルの検出等は制御部１０が行ってもよい。

上記ステップＳ１４にて移動オブジェクトが来ないと判定した場合、詳細情報取得モジュール１５は、前記ステップＳ１１へ処理を進める。これにより、メッセージ表示モジュール１８では、前述同様にメッセージを表示する。一方、移動オブジェクトが来ると判定した場合、詳細情報取得モジュール１５は、ステップＳ１５へ処理を進め、メッセージ表示モジュール１８に処理を渡す。

ステップＳ１５において、メッセージ表示モジュール１８は、移動オブジェクトがメッセージ上に移動してくる時に、そのメッセージを移動オブジェクトから避ける位置に表示する。例えば、人や車の移動オブジェクトが来た場合、メッセージ表示モジュール１８は、その移動オブジェクトの上の方へメッセージの表示位置を変更したり、本来表示すべき位置近傍に有る建物等の移動しないオブジェクトの壁面や地面のオブジェクト付近などに、メッセージの表示位置を変更する。このステップＳ１５の処理後、メッセージ表示モジュール１８は、ステップＳ１２へ処理を進める。

また、図１７のフローチャートにおいて、ステップＳ９の次にはステップＳ１６の処理へ進む。ステップＳ１６の処理に進むと、詳細情報取得モジュール１５は、上記ステップＳ１４と同様に、メッセージの前に別の場所から人や車などを表す移動オブジェクトが移動してくるか否か判定する。そして、上記ステップＳ１６にて移動オブジェクトが来ないと判定した場合、詳細情報取得モジュール１５は、前記ステップＳ１０へ処理を進める。これにより、メッセージ表示モジュール１８では、前述同様にメッセージを表示する。一方、ステップＳ１６にて移動オブジェクトが来ると判定した場合、メッセージ表示モジュール１８は、ステップＳ１７の処理を実行する。

ステップＳ１７の処理において、メッセージ表示モジュール１８は、ステップＳ１０と同様に、メッセージの描画範囲のうちオブジェクト（移動しない固定オブジェクト）の表示範囲で隠れる部分については表示せず、固定オブジェクトの表示範囲から外れた描画範囲のみを表示する。一方、固定オブジェクトの表示範囲から外れた描画範囲のみが表示されたメッセージの前に、移動オブジェクトが移動して来た場合、メッセージ表示モジュール１８は、上記ステップＳ１５と同様に、当該メッセージを移動オブジェクトから避ける位置に表示する。このステップＳ１５の処理後、メッセージ表示モジュール１８は、ステップＳ１２へ処理を進める。

［まとめ］
以上説明したように、本発明実施形態によれば、ビューファインダ画面３０内で、オブジェクトの表示範囲とメッセージの描画範囲が重なる場合において、オブジェクトの対象物よりもメッセージの方が距離的に近い時、メッセージを、オブジェクトの表示範囲で隠れる部分については表示せず、オブジェクトの表示範囲から外れた描画範囲のみを表示する。これにより、本発明実施形態によれば、メッセージの登録がなされた後に、現実世界において新たな建造物が建てられる等のような状況変化が発生した場合でも、当該現実世界における状況変化に適切に対応したメッセージ表示が可能である。

なお、上述した本発明の実施形態の説明は、本発明の一例である。このため、本発明は上述した実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはもちろんである。

１ ＧＰＳ衛星、２ 携帯電話端末、３ パケット網、４ メッセージサーバ、５ メッセージデータベース、１０ 制御部、１１ カメラモジュール、１２ メモリ、１３ ＧＰＳモジュール、１４ 位置情報算出モジュール、１５ 詳細情報取得モジュール、１６ 通信モジュール、１７ ディスプレイモジュール、１８ メッセージ表示モジュール、１９ メッセージ入力モジュール、２０ キーボタンモジュール、２３ 撮像範囲、３０ ビューファインダ画面、３１ 風景、３１ａ 家、３１ｂ 木、３５，３６，４３、４４，４５，４６ メッセージ、４１，４２ 対象物、４１ａ，４２ａ オブジェクト

Claims (8)

1. 撮像レンズと撮像素子により現実世界を撮像する撮像部と、
   映像を表示する映像表示部と、
   複数のメッセージを現実世界の絶対位置に各々対応付けて管理しているメッセージサーバと通信する通信部と、
   自端末の現在の絶対位置を検出する位置検出部と、
   現実世界内で上記撮像部により撮像されている撮像範囲を算出する撮像範囲算出部と、
   上記自端末の絶対位置から上記撮像範囲内の現実空間に存在する各対象物までの距離を計測する距離計測部と、
   上記通信部を通じて上記メッセージサーバへ接続し、当該メッセージサーバから、上記撮像範囲内の絶対位置に関連付けて管理されているメッセージのデータとその絶対位置情報を取得するメッセージ情報取得部と、
   上記撮像部が撮像している上記撮像範囲内の現実世界の撮像映像を上記映像表示部に表示させるとともに、上記距離計測部が計測した上記各対象物までの距離と、上記メッセージ情報取得部が取得したメッセージの絶対位置情報と、上記撮像映像内における各対象物の表示範囲と、上記メッセージを上記撮像映像に重畳して描画する際の描画範囲とを基に、上記撮像映像内における上記対象物の表示範囲と上記メッセージの描画範囲の前後関係、及び、上記対象物の表示範囲と上記メッセージの描画範囲の重なりを判定し、上記前後関係が前となるメッセージと、上記対象物の表示範囲に重ならない描画範囲のメッセージのみを、上記撮像映像に重畳して描画するメッセージ表示制御部と、
   を有する携帯情報端末。
2. 上記撮像範囲算出部は、
   自端末に回転運動が加えられた時の回転量と回転方向とその回転による自端末の傾きを検知するジャイロセンサと、
   自端末に加速度運動が加えられた時の移動加速度とその移動量及びその移動方向を検知する加速度センサと、
   上記撮像部の撮像レンズが向く方位を検出する電子コンパスとを有し、
   上記ジャイロセンサと加速度センサの両検知信号により、現実空間内において現時点で自端末の有する姿勢を求めるとともに、電子コンパスから得られる検知信号から上記撮像部の撮像レンズが向く方位を求め、上記現実空間内における自端末の姿勢と、当該姿勢において上記撮像レンズの向く方位とにより、上記撮像部により撮像されている現実世界内の撮像範囲を算出する請求項１記載の携帯情報端末。
3. 上記撮像範囲算出部は、上記撮像部の撮像レンズの焦点から一定距離内を上記撮像範囲とする請求項２記載の携帯情報端末。
4. 上記距離計測部は、上記撮像範囲内の現実空間内において上記撮像部の撮像レンズのフォーカスが略々同距離で合う点の集合からなる部分を一纏まりの対象物として判定し、当該一纏まりの対象物毎に距離を計測する請求項１記載の携帯情報端末。
5. 上記距離計測部は、自端末を移動させた時の移動前後の絶対位置と、当該移動前後で同一の対象物を上記撮像部にて撮像した時の方位の変化とを用いて、上記対象物までの距離を算出する請求項１記載の携帯情報端末。
6. 上記距離計測部は、超音波を上記撮像範囲の現実空間に放出した時の反射波到達時間を基に、上記対象物までの距離を計測する請求項１記載の携帯情報端末。
7. 撮像レンズと撮像素子を有する撮像部により現実世界を撮像するステップと、
   位置検出部が自端末の現在の絶対位置を検出するステップと、
   現実世界内で上記撮像部により撮像されている撮像範囲を、撮像範囲算出部が算出するステップと、
   上記自端末の絶対位置から上記撮像範囲内の現実空間に存在する各対象物までの距離を、距離計測部が計測するステップと、
   メッセージ情報取得部が、複数のメッセージを現実世界の絶対位置に各々対応付けて管理しているメッセージサーバへ上記通信部を通じて接続し、当該メッセージサーバから、上記撮像範囲内の絶対位置に関連付けて管理されているメッセージのデータとその絶対位置情報を取得するステップと、
   メッセージ表示制御部が、上記撮像部の撮像している上記撮像範囲内の現実世界の撮像映像を映像表示部に表示させるとともに、上記距離計測部が計測した上記各対象物までの距離と、上記メッセージ情報取得部が取得したメッセージの絶対位置情報と、上記撮像映像内における各対象物の表示範囲と、上記メッセージを上記撮像映像に重畳して描画する際の描画範囲とを基に、上記撮像映像内における上記対象物の表示範囲と上記メッセージの描画範囲の前後関係、及び、上記対象物の表示範囲と上記メッセージの描画範囲の重なりを判定し、上記前後関係が前となるメッセージと、上記対象物の表示範囲に重ならない描画範囲のメッセージのみを上記撮像映像に重畳して描画するステップと、
   を有する情報表示制御方法。
8. 撮像レンズと撮像素子を有する撮像手段に対して現実世界を撮像させる撮像制御処理と、
   位置検出部に対して自端末の現在の絶対位置を検出させる位置検出処理と、
   現実世界内で上記撮像部により撮像されている撮像範囲を算出する撮像範囲算出工程と、
   上記自端末の絶対位置から上記撮像範囲内の現実空間に存在する各対象物までの距離を距離計測手段に計測させる距離計測制御処理と、
   複数のメッセージを現実世界の絶対位置に各々対応付けて管理しているメッセージサーバへ上記通信部を通じて接続し、当該メッセージサーバから、上記撮像範囲内の絶対位置に関連付けて管理されているメッセージのデータとその絶対位置情報を取得するメッセージ情報取得処理と、
   上記撮像部の撮像している上記撮像範囲内の現実世界の撮像映像を映像表示部に表示させるとともに、上記距離計測手段が計測した上記各対象物までの距離と、上記メッセージ情報取得処理で取得したメッセージの絶対位置情報と、上記撮像映像内における各対象物の表示範囲と、上記メッセージを上記撮像映像に重畳して描画する際の描画範囲とを基に、上記撮像映像内における上記対象物の表示範囲と上記メッセージの描画範囲の前後関係、及び、上記対象物の表示範囲と上記メッセージの描画範囲の重なりを判定し、上記前後関係が前となるメッセージと、上記対象物の表示範囲に重ならない描画範囲のメッセージのみを上記撮像映像に重畳して描画するメッセージ表示制御処理と、
   をコンピュータに実行させる情報表示制御プログラム。

Images