JP2010171664A - Personal digital assistant, information display control method, and information display control program - Google Patents
Personal digital assistant, information display control method, and information display control program Download PDFInfo
- Publication number
- JP2010171664A JP2010171664A JP2009011423A JP2009011423A JP2010171664A JP 2010171664 A JP2010171664 A JP 2010171664A JP 2009011423 A JP2009011423 A JP 2009011423A JP 2009011423 A JP2009011423 A JP 2009011423A JP 2010171664 A JP2010171664 A JP 2010171664A
- Authority
- JP
- Japan
- Prior art keywords
- message
- imaging
- range
- unit
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
Abstract
Description
本発明は、現実世界の対象物に対応付けて仮想的に書き込まれたメッセージを、例えば内蔵カメラで撮像した現実世界の映像上に重ねて表示可能とする携帯情報端末、情報表示制御方法、及び、情報表示制御プログラムに関する。 The present invention relates to a portable information terminal, an information display control method, and an information display control method capable of displaying a message virtually written in association with an object in the real world on, for example, an image of the real world captured by a built-in camera, and The present invention relates to an information display control program.
近年は、例えば直接会話や電話を介した通話、電子メールによる通信、インターネットを介した双方向通信などの従来から存在しているコミュニケーション手法に加えて、例えば特開2008−71298号の公開特許公報(特許文献1)のような次世代コミュニケーション手法も提案されている。 In recent years, for example, in addition to conventional communication methods such as direct conversation, telephone conversation via telephone, communication by e-mail, and bidirectional communication via the Internet, for example, Japanese Patent Application Laid-Open No. 2008-71298 A next-generation communication method such as (Patent Document 1) has also been proposed.
この特許文献1には、デジタルカメラにて撮像している現実空間の映像上に、掲示板映像を重畳表示させることにより、現実空間を利用してメッセージを交換可能としたコミュニケーション手法が提案されている。すなわち当該特許文献1に記載の技術において、空間掲示板入力デバイスは、現実空間上でメモ内容を描画する動きを三次元座標情報に変換すると共に、そのメモを記載した場所を特定する位置情報を取得して空間コミュニケーションサーバに送り保存させる。また、空間掲示板表示デバイスは、現実空間の撮像画像を表示すると共に、空間コミュニケーションサーバに閲覧要求を送信する。そして、空間掲示板表示デバイスは、空間コミュニケーションサーバから撮影場所付近のメモ内容の三次元座標情報及びメモ位置情報を取得し、その取得したメモ内容を撮像画像上に表示する。この特許文献1に記載の技術によれば、現実空間に仮想的に掲示板を設けて、端末上で書き込み及び閲覧を可能とすることにより、現実空間を利用した仮想的なコミュニケーションを実現可能となっている。
This
また、特開2004−317715号の公開特許公報(特許文献2)には、現実空間上の対象物の位置に行かなくても、対象物への方向と距離を測り、その対象物と関連付けてメッセージを保存することにより、ユーザが立ち入ることの出来ない場所の対象物に対してもメッセージを登録可能とした技術が提案されている。すなわちこの特許文献1において、携帯端末装置は、操作部を介して、ユーザから、テキストデータの入力を受け付けるとともに、そのテキストデータを登録する登録目標(対象物)までの距離の、相対位置設定ダイアログへの入力を受け付ける。また、携帯端末装置は、ユーザにより、前方に登録目標が存在するように支持された状態で、内蔵された地磁気センサおよびジャイロにより、自装置の向きを示す方向情報を取得する。さらに、携帯端末装置は、内蔵されたGPS受信機により、携帯端末装置の位置(緯度、経度、および高度)を測位する。そして、携帯端末装置は、上記の位置情報、方向情報、および登録目標までの距離に基づいて、その登録目標の位置情報を算出し、当該算出した位置情報を、テキストデータに関連付けて記憶部に記憶させる。
Further, in the published patent publication (Patent Document 2) of Japanese Patent Application Laid-Open No. 2004-317715, the direction and distance to an object are measured and associated with the object without going to the position of the object in the real space. A technique has been proposed in which a message can be registered even for an object in a place where the user cannot enter by storing the message. That is, in
ところで、現実世界では、例えば、新たな建造物が建てられたり、道路が造られたり、或いは逆に建造物が壊されて無くなるなど、その現実世界の状況が時間の経過とともに変化する。したがって例えば、上述した特許文献1に記載されたようなメッセージが登録された位置の周囲に、新たに建造物が造られるようなことも十分に考えられる。
By the way, in the real world, for example, a new building is built, a road is built, or conversely, the building is destroyed and disappears. Therefore, for example, it is fully conceivable that a new building is built around the position where the message described in
しかしながら、特許文献1に記載された技術の場合、既に或る位置に登録されたメッセージは、例えばその位置の周囲に建造物等が新たに造られた場合であっても、必ず表示されることになる。すなわち、現実空間を撮像した映像には、新たな建造物が存在しているにも拘わらず、その建造物が造られる前のメッセージが表示されてしまうことになる。
However, in the case of the technique described in
このように、従来の技術では、時間の経過とともに変化する現実世界の状況に対応することができていない。 Thus, the conventional technology cannot cope with the real world situation that changes with the passage of time.
本発明は、このような実情に鑑みて提案されたものであり、時間の経過とともに変化する現実世界の状況に対応してメッセージを表示可能とするための携帯情報端末、情報表示制御方法、情報表示制御プログラムを提供することを目的とする。 The present invention has been proposed in view of such circumstances, and a portable information terminal, an information display control method, and information for enabling a message to be displayed in response to a real-world situation that changes with the passage of time. An object is to provide a display control program.
本発明の携帯情報端末は、撮像レンズと撮像素子により現実世界を撮像し、その撮像映像を表示すると共に、複数のメッセージを現実世界の絶対位置に各々対応付けて管理しているメッセージサーバと通信し、そのメッセージサーバからメッセージを取得して、撮像映像に重畳して表示する。このとき、本発明の携帯情報端末は、自端末の現在の絶対位置を検出し、現実世界内の撮像範囲を求めるとともに、自端末の絶対位置から撮像範囲内の現実空間に存在する各対象物までの距離を計測し、さらに、通信部を通じてメッセージサーバへ接続して、当該メッセージサーバから、撮像範囲内の絶対位置に関連付けて管理されているメッセージのデータとその絶対位置情報を取得する。そして、本発明の携帯情報端末は、各対象物までの距離と、メッセージの絶対位置情報と、撮像映像内における各対象物の表示範囲と、メッセージを撮像映像に重畳して描画する際の描画範囲とを基に、撮像映像内における対象物の表示範囲とメッセージの描画範囲の前後関係、及び、対象物の表示範囲とメッセージの描画範囲の重なりを判定し、前後関係が前となるメッセージと、対象物の表示範囲に重ならない描画範囲のメッセージのみを撮像映像に重畳して描画する。これにより、本発明は上述した課題を解決する。 The portable information terminal of the present invention captures an image of the real world using an imaging lens and an image sensor, displays the captured image, and communicates with a message server that manages a plurality of messages in association with absolute positions in the real world. Then, a message is acquired from the message server, and is displayed superimposed on the captured image. At this time, the portable information terminal of the present invention detects the current absolute position of the terminal, obtains the imaging range in the real world, and each object present in the real space within the imaging range from the absolute position of the terminal. Is further connected to the message server through the communication unit, and the message data managed in association with the absolute position within the imaging range and the absolute position information are acquired from the message server. Then, the portable information terminal of the present invention provides the distance to each object, the absolute position information of the message, the display range of each object in the captured image, and the drawing when the message is superimposed on the captured image. Based on the range, the front-rear relationship between the display range of the object and the drawing range of the message in the captured image, and the overlap between the display range of the target object and the drawing range of the message are determined. Only the message in the drawing range that does not overlap the display range of the object is drawn while being superimposed on the captured image. Thereby, this invention solves the subject mentioned above.
すなわち、本発明によれば、メッセージの描画範囲が撮像映像内の対象物の表示範囲より前である時には当該メッセージを描画し、メッセージの描画範囲が撮像映像内の対象物の表示範囲より後である時には、そのメッセージの描画範囲が対象物の表示範囲から外れている時にのみ、その外れた部分の描画範囲のみを表示する。 That is, according to the present invention, when the drawing range of the message is before the display range of the object in the captured video, the message is drawn, and the drawing range of the message is after the display range of the target in the captured video. In some cases, only when the drawing range of the message is out of the display range of the object, only the drawing range of the part that is out of the display range is displayed.
本発明においては、対象物の表示範囲とメッセージの描画範囲の前後関係及びそれらの重なりを判定し、前後関係が前となるメッセージと、対象物の表示範囲に重ならない描画範囲のメッセージのみを撮像映像に重畳して描画することにより、時間の経過とともに変化する現実世界の状況に対応したメッセージ表示が可能となっている。 In the present invention, the front / rear relationship between the display range of the object and the drawing range of the message and their overlap are determined, and only the message of the drawing range that does not overlap the display range of the target object and the message having the front / rear relationship before are captured. By superimposing and drawing on the video, it is possible to display a message corresponding to the situation in the real world that changes over time.
以下、図面を参照しながら、本発明の一実施形態について説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
なお、以下の説明では、本発明の携帯情報端末の一適用例として、カメラ機能を備えた携帯電話端末を挙げているが、勿論それはあくまで一例であり、本発明はこの例に限定されず、例えば携帯電話端末以外の各種の携帯情報端末にも適用可能である。 In the following description, as an example of application of the portable information terminal of the present invention, a mobile phone terminal having a camera function is given, but of course it is merely an example, and the present invention is not limited to this example. For example, the present invention can also be applied to various portable information terminals other than mobile phone terminals.
[システム全体構成]
図1には、本発明実施形態のメッセージ管理システムの概略的な全体構成例を示す。
[Entire system configuration]
FIG. 1 shows a schematic overall configuration example of a message management system according to an embodiment of the present invention.
図1において、携帯電話端末2は、一般的な携帯電話端末が有する全ての機能を備えており、その一つの機能としてカメラモジュールを搭載している。当該携帯電話端末2は、カメラモジュールにより現実空間の映像を撮像している時、その撮像映像をディスプレイ画面上に表示可能となされている。また、携帯電話端末2は、GPS(Global Positioning System)モジュールと位置情報算出モジュールをも備えている。当該GPSモジュールは、GPS(Global Positioning System)衛星1からの電波を受信し、位置情報算出モジュールは当該受信情報を用いて、自端末の位置(緯度、経度、高度)を算出する。そして、詳細については後述するが、本実施形態の携帯電話端末2は、パケット網3を経由してメッセージサーバ4と通信し、自端末の現在位置とカメラモジュールによる撮像範囲とに関連したメッセージを、当該メッセージサーバ4から取得し、そのメッセージをディスプレイ画面上に表示可能となされている。
In FIG. 1, a
メッセージサーバ4は、現実空間の様々な対象物に関連付けられて書き込まれたメッセージの登録及び管理と、携帯電話端末等からのメッセージ閲覧要求に応じたメッセージの送信などを行う。具体的には、メッセージサーバ4は、複数のメッセージを現実空間の絶対位置情報にそれぞれ対応付けて登録及び管理している。それら複数のメッセージと絶対位置情報は、メッセージデータベース5に保存されている。
The
[携帯電話端末の概略構成]
図2には、本発明実施形態の携帯電話端末2の概略的な内部構成例を示す。なお、図2では、本発明実施形態の携帯電話端末2において、メッセージ表示やメッセージの入力等のために必要となる主要構成要素のみを図示しており、携帯電話端末の一般的な各種機能にかかる構成要素の図示は省略している。勿論、本実施形態の携帯電話端末2は、一般的な各種機能についても備えていることは言うまでもない。
[Schematic configuration of mobile phone terminal]
FIG. 2 shows a schematic internal configuration example of the
本実施形態の携帯電話端末2は、図2に示すように、本発明にかかる主要構成要素として、制御部10、カメラモジュール11、メモリ12、GPSモジュール13、位置情報算出モジュール14、詳細情報取得モジュール15、通信モジュール16、ディスプレイモジュール17、メッセージ表示モジュール18、メッセージ入力モジュール19、キーボタンモジュール20を有している。
As shown in FIG. 2, the
通信モジュール16は、パケット網3を経由して通信を行うためのものであり、特に本実施形態の場合はメッセージサーバ4と通信する。
The
ディスプレイモジュール17は、例えば液晶等のディスプレイパネルと、そのディスプレイパネル上に映像等を表示するための表示駆動回路とからなる。
The
カメラモジュール11は、撮像レンズ系、撮像素子、当該撮像素子から得られた撮像信号をディスプレイ表示用の映像信号に変換する映像処理回路等を有して構成されている。当該カメラモジュール11の撮像素子により撮像された現実世界の映像信号は、ディスプレイモジュール17に送られる。これによりディスプレイモジュール17の画面上には、当該カメラモジュール11にて撮像されている現実世界のリアルタイムな撮像映像が表示されることになる。
The
メモリ12は、携帯電話端末のアプリケーションプログラムの一つとして、本発明の情報表示制御プログラムが格納されている。本実施形態の場合、そのアプリケーションプログラムがCPU(図示は省略)により実行されることにより、後述のようなメッセージの閲覧や入力等が可能となる。なお、本実施形態においては、当該アプリケーションプログラムをCPUが実行することにより、例えば図2の制御部10、位置情報算出モジュール14、詳細情報取得モジュール15、メッセージ表示モジュール18、メッセージ入力モジュール19等の各機能が実現可能となされている。また、詳細については後述するが、本実施形態の携帯電話端末2は、メッセージサーバ4からメッセージデータとそのメッセージに対応した絶対位置情報を取得した場合、それらメッセージデータと絶対位置情報もメモリ12に保存する。同じく詳細については後述するが、本実施形態の携帯電話端末2は、メッセージ入力モジュール19を介してユーザからメッセージが入力された場合、その入力されたメッセージのデータと当該メッセージに対応した絶対位置情報とをメモリ12に保存する。
The
GPSモジュール13は、GPS衛星1からの電波を受信し、その受信情報を位置情報算出モジュール14へ送る。
The
位置情報算出モジュール14は、GPSモジュール11がGPS衛星1から受信した情報を用いて、現実世界における現時点での自端末の絶対位置(緯度、経度、高度)を計算する。また、位置情報算出モジュール14は、当該算出した絶対位置情報をメモリ12に保存する。
The position
なお、本実施形態では、GPSモジュール13と位置情報算出モジュール14を別の構成としているが、位置情報算出機能をGPSモジュール13に含めても良い。
In the present embodiment, the
詳細情報取得モジュール15は、ジャイロセンサ、加速度センサ、電子コンパス等を有して構成されている。ジャイロセンサは、携帯電話端末に回転運動が加えられた時の回転量と回転方向、その回転による携帯電話端末の傾きを検知する。加速度センサは、携帯電話端末に加速度運動が加えられた時の移動加速度とその移動量、及び、その移動方向を検知する。電子コンパスは、携帯電話端末の現在の方位、特に本実施形態の場合は、カメラモジュール11のレンズが向いている方位を検知する。
The detailed
また、詳細情報取得モジュール15は、それらジャイロセンサ,加速度センサ,電子コンパスからの各検知信号と、上記位置情報算出モジュール4が算出した自端末の絶対位置とから、現時点で自端末のカメラモジュール11が撮像している現実空間の詳細な撮像範囲を求める。すなわち、本実施形態の場合、詳細情報取得モジュール15は、ジャイロセンサと加速度センサの両検知信号により、現実空間内において現時点で自端末がどのような姿勢をとっているかを求め、さらにその姿勢において、電子コンパスからの検知信号と上記位置情報算出モジュール14が算出した自端末の絶対位置とから、カメラモジュール11のレンズが何れの方位を向いているかを算出する。そして、詳細情報取得モジュール15は、上記現実空間内における自端末の姿勢と、その姿勢においてレンズの向いている方位とにより、上記カメラモジュール11により現実空間の何れの方位がどの程度の範囲だけ写し出されているのかを算出する。なお、詳細情報取得モジュール15により求められる現実空間の詳細な撮像範囲の具体例については後述する。
Further, the detailed
さらに、詳細情報取得モジュール15は、通信モジュール16を介してメッセージサーバ4へアクセスし、上記撮像範囲内において登録されているメッセージの送信を要求する。そして、詳細情報取得モジュール15は、上記メッセージサーバ4からメッセージのデータ及びそのメッセージに対応した絶対位置情報を取得すると、それらをメモリ12に保存する。
Further, the detailed
メッセージ表示モジュール18は、上記メッセージサーバ4から取得したメッセージのデータ及びそのメッセージに対応した絶対位置情報が、メモリ12に保存されている場合に、上記カメラモジュール11により撮像されている現実世界の映像上へ上記メッセージを重畳させて、ディスプレイモジュール17の画面上に表示させる。すなわちこの場合のメッセージ表示モジュール18は、上記詳細情報取得モジュール15により算出されている上記現実空間の撮像範囲内において、上記絶対位置情報により示される位置上に、それら絶対位置情報に対応付けられた各メッセージを表示させる。なお、メッセージ表示モジュール18によりディスプレイモジュール17の画面上に表示されるメッセージの具体例については後述する。
When the message data acquired from the
キーボタンモジュール20は、携帯電話端末のテンキーや発話キー、終話キー(電源ボタン)、クリアキー、アプリケーションキー、十字キー、決定キー、カメラ用のシャッターボタンなど、携帯電話端末に搭載されている各種のキーと、それらキーが操作された時の操作信号を生成する回路等からなる。
The
メッセージ入力モジュール19は、キーボタンモジュール20を通じてユーザが入力したテキスト等のメッセージのデータを、ディスプレイモジュール17の画面上に表示させるとともに、メモリ12に保存する。詳細については後述するが、上記ユーザにより入力されたメッセージは、カメラモジュール11による撮像範囲内において、ユーザが選択した対象物(オブジェクト)等に関連付けられたものとなる。また、詳細については後述するが、当該ユーザにより入力されたメッセージには、上記カメラモジュール11による撮像範囲内でユーザが指示した位置の絶対位置情報が対応付けられる。したがって、メモリ12には、上記入力メッセージとともに、当該メッセージに対応付けられた絶対位置情報も保存される。すなわち、メッセージ入力モジュール19は、ユーザが、上記撮像範囲内で所望のオブジェクト(対象物)等を選択した上でメッセージを入力するとともに当該撮影範囲内で位置指定を行った時、そのメッセージとそれに対応付けられた絶対位置情報をメモリ12内に保存する。
The
なお、当該メモリ12に保存されたメッセージと絶対位置情報は、例えばユーザからの送信指示に応じて、通信モジュール16からパケット網3を経由してメッセージサーバ4へ送られ、当該メッセージサーバ4に登録されることになる。
The message and the absolute position information stored in the
制御部10は、本実施形態の携帯電話端末の全体制御及び各モジュール等の動作を制御する。
The
[メッセージ閲覧時のディスプレイ表示画像例]
図3には、キーボタンモジュール20を通じてユーザからメッセージ閲覧要求が入力され、それにより上記メッセージサーバ4からメッセージとそれに対応した絶対位置情報が取得され、カメラモジュール11の撮像画像(ディスプレイモジュール18のビューファインダ画面30)の現実空間の映像上に当該メッセージが重畳表示されてている場合の表示例を示している。なお、図3では、例えば家31aと木31bが存在している現実空間の風景31のうちの一部がカメラモジュール11の撮像範囲となっており、その撮像範囲を表示したビューファインダ画面30内に、例えば二つのメッセージ35,36が重畳表示されている場合の表示例を示している。
[Display display example when viewing messages]
In FIG. 3, a message browsing request is input from the user through the
この図3の例のように、本実施形態の携帯電話端末において、上記カメラモジュール11にて撮像がなされているとともにユーザからメッセージ閲覧要求が入力された場合、詳細情報取得モジュール15は、ジャイロセンサ,加速度センサ,電子コンパスからの各検知信号と、位置情報算出モジュール14が算出した自端末の絶対位置とから、現時点でカメラモジュール11が撮像している現実空間の詳細な撮像範囲を求める。
As in the example of FIG. 3, in the mobile phone terminal of the present embodiment, when the
またこの時、メッセージ表示モジュール18は、上記メッセージサーバ4より取得した絶対位置情報から、上記現実空間の撮像範囲を映し出している上記ビューファインダ画面30内の何れの位置に、上記メッセージ35,36を配置すべきかを計算し、メッセージ表示モジュール18を通じて、その位置にメッセージ35,36を表示させる。
At this time, the
なお、図3は、ビューファインダ画面30に表示されている現実空間の撮像範囲内で上記家31aと上記木31bの間で且つ地面付近の位置がメッセージ35の絶対位置情報となっており、また、上記撮像範囲内で上記木31bの略々真上で且つ近傍の位置がメッセージ36の絶対位置情報となっている場合の例を示している。
In FIG. 3, the position between the
ここで、図3のようにカメラモジュール11にて現実世界の撮像が行われている時に、例えば図中矢印32に示す方向へ携帯電話端末が動かされたとする。
Here, it is assumed that the mobile phone terminal is moved in the direction indicated by the
この場合、詳細情報取得モジュール15は、図中矢印32方向に携帯電話端末が動かされたことを、ジャイロセンサ,加速度センサ,電子コンパスからの各検知信号により知ることができる。そして、この時の詳細情報取得モジュール15は、それらジャイロセンサ,加速度センサ,電子コンパスからの各検知信号と、位置情報算出モジュール4にて算出されている自端末絶対位置とから、上記矢印32方向に移動後の時点でカメラモジュール11が撮像している現実世界の詳細な撮像範囲を求める。
In this case, the detailed
図4には、携帯電話端末が図3の矢印32方向に動かされた後のビューファインダ画面30と現実空間の風景31を示している。そしてこの場合、本実施形態の携帯電話端末2のメッセージ表示モジュール18は、各メッセージ35,36の絶対位置情報と、現時点でカメラモジュール11が撮像している撮像範囲とから、上記ビューファインダ画面30内の何れの位置に上記メッセージ35,36を配置すべきかを計算し、メッセージ表示モジュール18を通じて、その位置にメッセージ35,36を表示させる。
FIG. 4 shows a
なお、図4の例では、図3の例から矢印32方向に撮像範囲が移動したことで、現実空間の風景30内において家31aと木31bの間で且つ地面付近の位置に対応していたメッセージ35はビューファインダ画面30内から外れ、一方、現実空間の風景30内で木31bの略々真上且つその近傍の位置に対応していたメッセージ36がビューファインダ画面30内に残っている例を示している。
In the example of FIG. 4, since the imaging range has moved in the direction of the
このようなことを実現するため、本実施形態において、撮影範囲算出モジュール15は、携帯電話端末の移動に追従できるだけの十分短い時間間隔で上記ジャイロセンサ,加速度センサ,電子コンパスのセンシング動作(検知動作)を行っている。また、メッセージ表示モジュール18は、上記撮影範囲算出モジュール15での撮影範囲の更新に合わせて、上記メッセージの表示位置の更新を行っている。
In order to realize such a thing, in this embodiment, the imaging
上述のように、本実施形態においては、現実空間に対する撮像範囲の算出処理を、短い時間間隔で繰り返すとともに、それら短時間毎に得られた撮影範囲に対応させてメッセージ表示位置を更新することにより、ユーザが携帯電話端末を任意に動かした場合でも、現実空間に対するメッセージの表示位置を適切に制御して、ビューファインダ画面上にメッセージを表示可能となっている。 As described above, in this embodiment, the calculation process of the imaging range for the real space is repeated at short time intervals, and the message display position is updated in correspondence with the imaging range obtained every short time. Even when the user arbitrarily moves the mobile phone terminal, it is possible to appropriately control the display position of the message in the real space and display the message on the viewfinder screen.
また、本実施形態の携帯電話端末は、上述したように、GPSによる位置情報と、ジャイロセンサ,加速度センサ,電子コンパス等の各種センサによる検知情報とから、携帯電話端末の位置,姿勢,方位に応じた撮影範囲を把握可能となされ、さらに、メッセージの絶対位置情報から、当該メッセージをビューファインダ画面30上の何れの場所に配置して表示すべきかを決めることが可能となっている。また、それら撮影範囲の決定とメッセージの表示を随時更新することも可能となされている。
In addition, as described above, the mobile phone terminal according to the present embodiment has the position, orientation, and orientation of the mobile phone terminal based on the position information by GPS and the detection information by various sensors such as a gyro sensor, an acceleration sensor, and an electronic compass. The corresponding photographing range can be grasped, and further, it is possible to determine in which position on the
したがって、本実施形態のメッセージ管理システムによれば、カメラモジュール11を通じて映した現実世界の映像とその映像上に重畳表示されるメッセージとを用いて、ユーザ同士がコミュニケーションする場や、企業がユーザに配信する広告提供の場を提供可能となる。
Therefore, according to the message management system of the present embodiment, a place where users communicate with each other using a real-world image projected through the
[撮像範囲内のオブジェクトとメッセージの位置関係に応じたメッセージ表示制御]
ところで、現実世界では、新たな建造物が建てられる等のような状況変化が発生することも多い。
[Message display control according to the positional relationship between the object in the imaging range and the message]
By the way, in the real world, a situation change such as a new building being built often occurs.
このため、本発明実施形態では、そのような現実世界における状況変化に対応すべく、以下のような処理を行う。 For this reason, in the embodiment of the present invention, the following processing is performed in order to cope with such a change in the situation in the real world.
すなわち本実施形態の携帯電話端末は、カメラモジュール11にて撮像されている現実空間内の建物等の各オブジェクトの絶対位置と、ビューファインダ画面30内に表示される建物等の各オブジェクトの表示範囲と、カメラモジュール11による撮像範囲内の対象物等に関連付けされたメッセージの絶対位置と、ビューファインダ画面内で表示されるメッセージが占める描画範囲とを用いて、ビューファインダ画面内におけるメッセージの表示状態を制御する。
That is, the mobile phone terminal according to the present embodiment has the absolute position of each object such as a building in the real space captured by the
図5には、カメラモジュール11による現実空間の撮像範囲23と、その撮像範囲23内に存在する現実空間の建物等の対象物(オブジェクト)41,42と、当該現実空間の撮像範囲23内の対象物(オブジェクト)等に関連付けられたメッセージ43,44,45の位置関係の一例を示している。
In FIG. 5, the
また、図6には、図5の撮像範囲23をカメラモジュール11により撮像することでディスプレイモジュール17のビューファインダ画面30上に表示されたオブジェクト41a(対象物41の映像),オブジェクト42b(対象物42の映像)と、当該撮像範囲23のビューファインダ画面30内に表示されるメッセージ43,44,45の一例を示している。
6 shows an
ここで、カメラモジュール11のレンズ22による撮像範囲23は、図5に示すように、現実空間内で扇型の範囲となされる。なお、レンズ22の実際の撮像範囲は、画角範囲内において無限遠の距離まで含まれることになるが、当該無限遠の距離全てを撮像範囲内に含ませることは現実的ではない。このため、本実施形態では、上記撮像範囲23において、上記レンズ22からの距離については一定の限度を設けている。本実施形態では、図5に示すように、レンズ22の焦点から例えば半径Rメートル以内の距離内を、撮像範囲23としている。
Here, the
また、この図5の例では、扇型の撮像範囲23内に建物等の二つの対象物41,42が存在しており、当該撮像範囲23内には三つのメッセージ43,44,45が登録されている。メッセージ43は、撮影範囲23の現実空間内における絶対位置が、レンズ22から見て対象物41の存在している方向と重なり且つ当該対象物41よりも遠い位置になっており、さらに、その描画範囲が、ビューファインダ画面30内に表示された対象物41のオブジェクト41aの表示範囲から一部だけ外れたものとなされている。一方、メッセージ44の場合、撮影範囲23の現実空間内における絶対位置は、レンズ22から見て対象物42の存在している方向と重なっているが、当該対象物42よりも近い位置となっている。また、メッセージ45の場合、撮影範囲23の現実空間内における絶対位置は、レンズ22から見て何れの対象物とも重ならない位置となっている。
In the example of FIG. 5, two
この図5のような位置関係の場合、ビューファインダ画面30上の表示は、図6に示すように、各対象物のオブジェクト41a,42aと、各メッセージ43,44,45の位置関係に応じたものとする。すなわち本実施形態によれば、上記メッセージ43については、対象物41のオブジェクト41aの後ろ側にあることを表すために、その描画範囲の一部が上記オブジェクト41aにより遮られた状態で表示するようにする。一方、メッセージ44については、対象物42のオブジェクト42aよりも前側にあることを表すために、オブジェクト42aの上に重ねて表示する。なお、メッセージ45については、何れのオブジェクト41a,42aとも重なっていないため、そのまま表示する。
In the case of the positional relationship as shown in FIG. 5, the display on the
ここで、図6に示すようなビューファインダ画面30の表示を実現するため、本実施形態の携帯電話端末2では、以下のような処理を行う。
Here, in order to realize the display of the
本実施形態の携帯電話端末2では、現実空間の撮像を行っている際に、一例として、カメラモジュール11のオートフォーカス機能を使用して撮像範囲内の現実空間をスキャンする。すなわちこの場合のカメラモジュール11は、オートフォーカス機能を用いて、撮像範囲内の現実空間内において、それぞれ略々同距離でフォーカスが合う点を求める。そして、撮影範囲算出モジュール15は、上記スキャンにより略々同距離となった点の集合からなる部分には一纏まりの対象物が存在すると判定するとともに、撮像範囲内における当該対象物の位置と当該対象物までの距離をメモリ12に保存する。
In the
なお、現実空間内における対象物までの距離の計測は、例えば、携帯電話端末2をフォーカス方向(奥行き方向)へは移動させずに例えば水平方向或いは垂直方向へ移動させ、その移動前後で撮像した二枚の画像を用い、いわゆるステレオカメラの原理で対象物までの距離を求めるようにしてもよい。すなわちこの場合、携帯電話端末2を移動させつつ、同じ対象物を例えば画面中央部で撮像した時に、その移動前後の絶対位置と、その移動前後の撮像時の方位の変化(つまり角度の変化)とを用い、いわゆる三角測量の手法により、当該対象物までの距離を算出する。
The distance to the object in the real space is measured, for example, by moving the
その他、現実空間内における対象物の存在判定と距離の計測は、例えば超音波センサなどで測定してもよい。その場合の携帯電話端末は、超音波センサモジュールを備え、当該超音波センサモジュールから上記撮像範囲に向けて超音波を放射し、その反射波の到達時間差を計測することにより、対象物の存在判定と距離の算出とを行う。 In addition, the presence determination of the object in the real space and the measurement of the distance may be performed by, for example, an ultrasonic sensor. In this case, the mobile phone terminal includes an ultrasonic sensor module, emits ultrasonic waves from the ultrasonic sensor module toward the imaging range, and measures the arrival time difference between the reflected waves, thereby determining the presence of the target object. And distance calculation.
次に、メッセージ表示モジュール18は、上記撮影範囲内で抽出した各対象物のオブジェクトがビューファインダ画面内で表示される範囲と、上記撮影範囲算出モジュール15が算出した各対象物までの距離と、撮影範囲内に存在するメッセージの絶対位置と、各メッセージがビューファインダ画面に表示される場合の描画範囲とを用いて、図6のようなビューファインダ画面30の表示を行う。
Next, the
すなわち例えば、オブジェクト41aとメッセージ43のように、ビューファインダ画面30内で、オブジェクト41aの表示範囲とメッセージ43の描画範囲が重なるような場合、メッセージ表示モジュール18は、オブジェクト41aの対象物41までの距離と、メッセージ43の絶対位置から求められる距離とを比較し、対象物41までの距離の方が近い場合には、メッセージ43を、その対象物41のオブジェクト41aの表示範囲で隠れる部分については表示せず、オブジェクト41aの表示範囲から外れた描画範囲のみを表示する。
That is, for example, when the display range of the
一方、オブジェクト42aとメッセージ44のように、ビューファインダ画面30内で、オブジェクト42aの表示範囲とメッセージ44の描画範囲が重なるような場合であっても、オブジェクト41aの対象物41までの距離と、メッセージ43の絶対位置から得られる距離との比較の結果、メッセージ44までの距離の方が近い場合、メッセージ表示モジュール18は、そのメッセージ44をオブジェクト42aの上に重畳させて表示させるようにする。
On the other hand, even if the display range of the
なお、図6の例では、メッセージ43の一部がオブジェクト41aにより隠れる例を挙げたが、例えば、オブジェクト41aにより隠れるメッセージ43の描画範囲を例えば半透明表示したり、色を変えて表示することで、或る程度メッセージの内容がユーザに判るようにしても良い。
In the example of FIG. 6, an example is given in which a part of the
[メッセージ閲覧時のフローチャート]
図7には、本実施形態の携帯電話端末2において、撮像範囲内のオブジェクトとメッセージの位置関係に応じてメッセージを表示する際のフローチャートを示す。
[Flowchart for viewing messages]
FIG. 7 shows a flowchart when a message is displayed according to the positional relationship between the object in the imaging range and the message in the
図7において、カメラモジュール11による撮像が行われ、且つ、キーボタンモジュール20を通じてユーザからメッセージ閲覧開始指示が入力された場合、制御部10は、先ず、GPSモジュール13を起動させる。
In FIG. 7, when imaging by the
そして、ステップS1の処理として、GPSモジュール13は、GPS衛星1からの電波を受信し、その受信情報を位置情報算出モジュール14へ送る。また、このステップS1において、位置情報算出モジュール14は、GPSモジュール11からの情報を用いて、現実世界における現時点での自端末の絶対位置(緯度、経度、高度)を計算し、その算出した絶対位置情報をメモリ12に保存する。
Then, as a process of step S <b> 1, the
次に、詳細情報取得モジュール15は、ステップS2の処理として、通信モジュール16を介してメッセージサーバ4へアクセスし、自端末の絶対位置情報から例えば半径Rメートルの範囲内についてメッセージが登録されているか否かを問い合わせる。そして、撮影範囲算出モジュール15は、メッセージが登録されている場合にはステップS3へ処理を進め、メッセージが登録されていない場合にはこの図7のフローチャートの処理を終了する。
Next, as the process of step S2, the detailed
ステップS3の処理に進むと、詳細情報取得モジュール15は、ジャイロセンサと加速度センサの両検知信号により、現実空間内において現時点で自端末がどのような姿勢をとっているかを求め、さらにその姿勢において、電子コンパスからの検知信号と上記位置情報算出モジュール4が算出した自端末の絶対位置とから、カメラモジュール11のレンズが何れの方位を向いているかを算出する。
When the processing proceeds to step S3, the detailed
次に、詳細情報取得モジュール15は、ステップS4の処理として、ステップS3で求めた上記現実空間内における自端末の姿勢とその姿勢でレンズの向いている方位とにより、上記カメラモジュール11により現実空間の何れの方位がどの程度の範囲だけ写し出されているのか、つまり撮像範囲を求める。
Next, the detailed
次に、詳細情報取得モジュール15は、ステップS5の処理として、先のステップS2でアクセスしているメッセージサーバ4に対し、上記撮像範囲内でメッセージが登録されているか否かを問い合わせる。そして、撮影範囲算出モジュール15は、撮像範囲内にメッセージが登録されている場合にはステップS6へ処理を進め、撮像範囲内にメッセージが登録されていない場合にはステップS12へ処理を進める。
Next, in step S5, the detailed
ステップS6の処理に進むと、詳細情報取得モジュール15は、先のステップS2でアクセスしているメッセージサーバ4に対し、上記撮像範囲内で登録されている全メッセージのデータ及びそれらの各メッセージに対応付けられた絶対位置情報を取得する。
When the processing proceeds to step S6, the detailed
次に、詳細情報取得モジュール15は、ステップS7の処理として、現実空間の撮像範囲内に存在する各対象物のオブジェクトの距離と、その撮像範囲内のメッセージの絶対位置情報から求めた距離とから、それら各対象物(オブジェクト)とメッセージの位置関係を比較する。
Next, the detailed
また、詳細情報取得モジュール15は、ステップS7による位置関係の比較結果から、ステップS8の処理としてメッセージの前にオブジェクトが存在するか否か判定する。そして、詳細情報取得モジュール15は、メッセージの前にオブジェクトが存在すると判定した場合には、その旨をメッセージ表示モジュール18に通知し、当該メッセージ表示モジュール18のステップS9へ処理を渡す。一方、メッセージの前にオブジェクトが存在しないと判定した場合には、詳細情報取得モジュール15は、その旨をメッセージ表示モジュール18に通知し、当該メッセージ表示モジュール18のステップS11へ処理を渡す。
Further, the detailed
ステップS11の処理に進むと、メッセージ表示モジュール18は、上記メッセージをビューファインダ画面上に表示させる。つまり、このステップS11の処理の場合、例えば前述の図6のオブジェクト42aとメッセージ44のように、ビューファインダ画面30内で、オブジェクト42aの表示範囲とメッセージ44の描画範囲が重なるような場合であっても、オブジェクト42aよりメッセージ44の距離の方が近い場合、メッセージ表示モジュール18は、そのメッセージ44をオブジェクト42aの上に重畳させて表示させるようにする。このステップS11の処理後、本実施形態の制御部10は、ステップS12へ処理を進める。
In step S11, the
一方、ステップS9の処理に進むと、メッセージ表示モジュール18は、オブジェクトの表示範囲とメッセージの描画範囲とを比較した後、ステップS10へ処理を進める。
On the other hand, when the processing proceeds to step S9, the
ステップS10の処理に進むと、メッセージ表示モジュール18は、メッセージの描画範囲のうち、オブジェクトの表示範囲で隠れる部分については表示せず、オブジェクトの表示範囲から外れた描画範囲のみを表示する。つまり、このステップS10の処理の場合、メッセージ表示モジュール18は、例えば前述の図6のオブジェクト41aとメッセージ43のように、メッセージ43を、オブジェクト41aの表示範囲で隠れる部分については表示せず、オブジェクト41aの表示範囲から外れた描画範囲のみを表示させるようにする。このステップS10の処理後、制御部10は、ステップS12へ処理を進める。
When the processing proceeds to step S10, the
ステップS12の処理に進むと、制御部10は、キーボタンモジュール20を通じて、ユーザから、メッセージ閲覧の終了指示が入力されたか否か判定し、終了指示が入力されていない時にはステップS3へ処理を戻し、一方、終了指示が入力された時にはこの図7のフローチャートの処理を終了する。
When the process proceeds to step S12, the
[メッセージ閲覧時のシーケンス]
図8には、携帯電話端末2のビューファインダ画面内にメッセージを表示させる場合の本実施形態システムのシーケンス図を示す。
[Sequence when viewing messages]
FIG. 8 shows a sequence diagram of the system of the present embodiment when a message is displayed on the viewfinder screen of the
図8において、GPS情報を取得可能な任意の場所で、キーボタンモジュール20を通じてユーザからメッセージの閲覧を要求する指示が入力されると、携帯電話端末2は、ステップS21の処理において、メッセージ閲覧モードをONにする。
In FIG. 8, when an instruction for requesting message browsing is input from the user through the
上記ステップS21にてメッセージ閲覧モードがオンになると、携帯電話端末2は、ステップS22の処理として、GPS衛星1からの電波を用いて自端末の現在位置情報(緯度、経度、高度)を取得する。そして、携帯電話端末2は、ステップS23の処理として、当該位置情報をメモリ12に格納する。
When the message browsing mode is turned on in step S21, the
次に、携帯電話端末2は、ステップS24の処理として、通信モジュール16を介して、メッセージサーバ4にメッセージリードリクエストを送信する。この時のメッセージリードリクエストには、自端末の位置情報と、自端末において撮像範囲として取り込み可能な前記半径Rメートルを表す情報とが含まれる。なお、携帯電話端末が撮像範囲として取り込み可能な前記半径Rメートルについては、メッセージサーバ4側が管理していても良い。この場合のメッセージサーバ4は、携帯電話端末の機種毎に、撮像範囲の取り込み可能な半径Rメートルの値を管理している。
Next, the
上記メッセージリードリクエストを受信したメッセージサーバ4は、ステップS31の処理として、当該メッセージリードリクエスト内に含まれる位置情報をトリガとして、データベース5内の全レコード(登録されたメッセージ)を対象としたサーチを行う。そして、メッセージサーバ4は、ステップS32の処理として、上記位置情報から半径Rメートル以内の位置に対応付けられている全メッセージを取り出し、それらメッセージとそのメッセージに対応付けられた絶対位置情報とを、メッセージレスポンスとして、携帯電話端末2へ送信する。
The
上記メッセージレスポンスを受信した携帯電話端末2は、ステップS25の処理として、そのメッセージ及び絶対位置情報をメモリ12に保存する。
The
次に、携帯電話端末2は、ステップS26の処理として、前述したように撮像範囲を求め、ステップS27の処理として、その撮像範囲のビューファインダ画面上にメッセージを表示する。当該ステップS27では、前述したように、ビューファインダ画面内に表示されるオブジェクトの位置及び表示範囲と、メッセージの絶対位置及びその描画範囲との比較を基にして、メッセージを表示する。
Next, the
その後、キーボタンモジュール20を通じてユーザからメッセージの閲覧終了を要求する指示が入力されると、携帯電話端末2は、ステップS28の処理として、メッセージ閲覧モードをOFFにする。
Thereafter, when an instruction for requesting the end of browsing of the message is input from the user through the
[メッセージ入力時のディスプレイ表示画像例]
図9には、キーボタンモジュール20を通じてユーザからメッセージが入力され、また、そのメッセージに対応付けた絶対位置情報が設定される場合の、カメラモジュール11の撮像画像(ビューファインダ画面30)の表示例を示している。なお、図9では、前述の図3の例と同様に、家31aと木31bが存在している現実空間の風景31のうちの一部がカメラモジュール11の撮像範囲となっており、その撮像範囲を表示したビューファインダ画面30内で、ユーザが所望のメッセージ46を入力する場合の表示例を示している。
[Example of display image at message input]
In FIG. 9, a display example of a captured image (viewfinder screen 30) of the
この図9の例のように、本実施形態の携帯電話端末において、ユーザからメッセージが入力される場合も前述のメッセージ閲覧時と同様に、詳細情報取得モジュール15は、ジャイロセンサ,加速度センサ,電子コンパスからの各検知信号と、位置情報算出モジュール14が算出した自端末の絶対位置とから、現時点でカメラモジュール11が撮像している現実空間の詳細な撮像範囲を求める。
As in the example of FIG. 9, in the mobile phone terminal of the present embodiment, when a message is input from the user, the detailed
またこの時、メッセージ入力モジュール19は、上記現実空間の撮像範囲を映し出している上記ビューファインダ画面30内の例えば中央位置に、上記入力メッセージ46を表示させる。
At this time, the
ここで、図9のようにカメラモジュール11にて現実空間の撮像が行われている時に、例えば図中矢印33に示す方向へ携帯電話端末が動かされたとする。
Here, it is assumed that the mobile phone terminal is moved in a direction indicated by an
この場合、詳細情報取得モジュール15は、図中矢印33方向に携帯電話端末が動かされたことを、ジャイロセンサ,加速度センサ,電子コンパスからの各検知信号により知る。そして、この時の詳細情報取得モジュール15は、それらジャイロセンサ,加速度センサ,電子コンパスからの各検知信号と、位置情報算出モジュール14にて算出されている自端末絶対位置とから、上記矢印33方向に移動後の時点でカメラモジュール11が撮像している現実空間の詳細な撮像範囲を求める。
In this case, the detailed
図10には、携帯電話端末が図9の矢印33方向に動かされた後のビューファインダ画面30と現実空間の風景31を示している。この場合、本実施形態携帯電話端末のメッセージ入力モジュール19は、上記入力メッセージ46をビューファインダ画面30の中央位置に表示した状態を維持する。
FIG. 10 shows the
また、図10の例では、図9の例から矢印33方向に撮像範囲が移動したことで、現実空間の風景30内において家31aの一部がビューファインダ画面30から外れ、一方、メッセージ46はビューファインダ画面30の中央位置に表示されている様子を示している。
In the example of FIG. 10, since the imaging range has moved in the direction of the
この例においても前述同様に、撮影範囲算出モジュール15は、携帯電話端末の移動に追従できるだけの十分短い時間間隔で上記ジャイロセンサ,加速度センサ,電子コンパスのセンシング動作を行う。また、メッセージ入力モジュール19では、上記撮影範囲算出モジュール15での撮影範囲の更新に合わせて上記メッセージ46の表示位置を更新することで、当該メッセージ46がビューファインダ画面30の中央に位置するようにする。
Also in this example, as described above, the imaging
そして、本実施形態において、細情報取得モジュール15は、上記メッセージ46が表示されているビューファインダ画面30の中央位置に対応した現実空間上の絶対位置を、当該メッセージ46の登録位置とする。
In this embodiment, the fine
ここで、当該メッセージ46の奥行き方向の絶対位置、つまり自端末の現在位置からメッセージ登録位置までの距離については、例えば前述のメッセージ閲覧時における現実空間内の各対象物に対する距離測定例と同様に、カメラモジュール11のオートフォーカス機能を使用して求めることができる。すなわち例えば、ビューファインダ画面30の中央に表示されているオブジェクトに対応した現実空間内の対象物までの距離を測定することにより、当該メッセージ46の奥行き方向の絶対位置を求めることができる。
Here, the absolute position of the
その他にも、入力メッセージ46の奥行き方向の絶対位置(距離)は、ビューファインダ画面30の中央位置以外に存在する対象物までの距離から決定することもできる。例えば、撮像範囲内で所望の対象物を選んだ上で当該対象物までの距離を測定し、その測定距離を上記メッセージ46の奥行き方向の絶対位置とすることも可能である。なお、この場合の所望の対象物の選択は、例えばビューファインダ画面30上に測距マークを表示し、その測距マークをキーボタンモジュール20の操作等により所望の対象物のオブジェクト上に移動させることなどにより行うことができる。そして、当該測距マークにより所望の対象物が指示された状態で、例えばキーボタンモジュール20から測距開始指示が入力されたとき、カメラモジュール11がオートフォーカス機能により当該対象物までの距離を測定する。
In addition, the absolute position (distance) in the depth direction of the
なお、上述の図9と図10の例では、メッセージのサイズ(描画範囲)を一定にした例を挙げているが、当該メッセージサイズは、例えばキーボタンモジュール20を通じたサイズ指定入力等により、任意のサイズに変更することも可能である。
In the example of FIGS. 9 and 10 described above, an example in which the message size (drawing range) is made constant is given. However, the message size can be arbitrarily set by, for example, a size designation input through the
また、メッセージのサイズは、当該メッセージの奥行き方向の絶対位置(距離)に応じたものとすることも可能である。すなわちこの場合、例えば、メッセージまでの距離が近い場合にはサイズを大きくし、逆に遠い場合には小さくするようにする。 Further, the size of the message may be in accordance with the absolute position (distance) in the depth direction of the message. That is, in this case, for example, the size is increased when the distance to the message is short, and conversely, when the distance is long, the size is decreased.
上述のようにしてメッセージが入力され且つそのメッセージの登録位置が指定された後、例えばキーボタンモジュール20を通じてユーザから決定指示が入力されると、本実施形態の携帯電話端末2の制御部10は、上記入力メッセージのデータと、当該メッセージの絶対位置情報(つまりメッセージが自端末の現在位置から何れの方向に何れの距離だけ離れているかを示す情報)を決定する。
After the message is input as described above and the registration position of the message is specified, for example, when a determination instruction is input from the user through the
[メッセージ入力時のフローチャート]
図11には、本実施形態の携帯電話端末2におけるメッセージ入力時のフローチャートを示す。
[Flowchart for message input]
FIG. 11 shows a flowchart at the time of message input in the
図11において、カメラモジュール11による撮像が行われ、且つ、キーボタンモジュール20を通じてユーザからメッセージ入力開始指示が入力された場合、制御部10は、先ず、GPSモジュール13を起動させ、GPS衛星1からの電波の受信を開始する。
In FIG. 11, when imaging is performed by the
この時、位置情報算出モジュール14は、ステップS61の処理として、GPSモジュール13がGPS衛星1からの電波を受信でき、自端末の現在位置を取得できるか否か判定する。そして、自端末の現在位置を取得できた場合、制御部10は、その情報をメモリ12に保存してステップS62へ処理を進め、一方、現在位置を取得できない場合にはこの図11のフローチャートの処理を終了する。
At this time, the position
ステップS62の処理に進むと、メッセージ入力モジュール19は、キーボタンモジュール20を通じたユーザからのメッセージ入力を受付可能となる。そして、キーボタンモジュール20を通じてユーザからメッセージが入力されると、そのメッセージデータをメモリ12に保存する。
When the processing proceeds to step S62, the
次に、詳細情報取得モジュール15は、ステップS63の処理として、前述同様にして撮像範囲を求め、さらに、ステップS64の処理として、メッセージの奥行き方向の絶対位置(距離)を求める。
Next, the detailed
そして、制御部10は、ステップS65の処理として、上記入力されたメッセージのデータとそのメッセージの絶対位置情報を、通信モジュール16からメッセージサーバ4へ送信し、当該メッセージサーバ4へ登録させる。
Then, as the process of step S65, the
その後、制御部10は、ステップS66の処理として、キーボタンモジュール20を通じ、ユーザから、メッセージ入力の終了指示が入力されたか否か判定し、終了指示が入力されていない時にはステップS62へ処理を戻し、一方、終了指示が入力された時にはこの図11のフローチャートの処理を終了する。
Thereafter, the
[メッセージ入力時のシーケンス]
図12には、メッセージの入力及びその登録を行う場合の本実施形態システムのシーケンス図を示す。
[Sequence for message input]
FIG. 12 shows a sequence diagram of the system of this embodiment when inputting a message and registering the message.
図12において、キーボタンモジュール20を通じてユーザからメッセージ入力を要求する指示が入力されると、携帯電話端末2は、ステップS41の処理において、メッセージ入力モードをONにする。
In FIG. 12, when an instruction for requesting message input is input from the user through the
上記ステップS41にてメッセージ入力モードがオンになると、携帯電話端末2は、ステップS42の処理として、GPS衛星1からの電波を用いて自端末の現在位置情報(緯度、経度、高度)を取得する。そして、携帯電話端末2は、ステップS43の処理として、当該位置情報をメモリ12に格納する。
When the message input mode is turned on in step S41, the
次に、携帯電話端末2は、ステップS44の処理として、キーボタンモジュール20を通じてユーザからメッセージが入力されると、さらにステップS44の処理として、撮像範囲を求めた後、ステップS46の処理としてメッセージの絶対位置情報を求める。
Next, when a message is input from the user through the
その後、携帯電話端末2は、通信モジュール16を介して、メッセージサーバ4にメッセージレコードリクエストを送信する。この時のメッセージレコードリクエストには、メッセージのデータとそのメッセージの絶対位置情報が含まれる。
Thereafter, the
上記メッセージレコードリクエストを受信したメッセージサーバ4は、ステップS51の処理として、当該メッセージレコードリクエスト内に含まれるメッセージとその絶対位置情報をデータベース5内に登録する。そして、上記登録が完了すると、メッセージサーバ4は、ステップS52の処理として、登録完了のレスポンスを携帯電話端末2へ送信する。
The
上記登録完了のレスポンスを受信した後、キーボタンモジュール20を通じてユーザからメッセージの閲覧終了を要求する指示が入力されると、携帯電話端末2は、ステップS48の処理として、メッセージ入力モードをOFFにする。
After receiving the registration completion response, when an instruction for requesting the end of viewing of the message is input from the user through the
[メッセージ閲覧対象の限定]
本実施形態のメッセージ管理システムにおいて、メッセージサーバ4は、メッセージリードリクエストを送信してきた携帯電話端末の電話番号やメールアドレスを用いたユーザ認証により、メッセージを閲覧可能な人(つまりメッセージを読取可能な端末)を限定することも可能となされている。
[Limited viewing of messages]
In the message management system of this embodiment, the
このように、メッセージを読取可能な端末(以下、閲覧対象と表記する。)を限定することで、例えば個人的なメッセージが不特定多数の人に閲覧されてしまうのを防ぎ、一方、特定の相手にのみメッセージを閲覧させるようなことが可能となる。 In this way, by limiting the terminals that can read messages (hereinafter referred to as browsing targets), for example, personal messages can be prevented from being browsed by an unspecified number of people, Only the other party can view the message.
すなわちこの場合、例えば携帯電話端末のアドレス帳に登録されている人のみが閲覧可能なメッセージを登録するなど、特定の閲覧対象に向けた情報発信が可能となる。 That is, in this case, information can be transmitted to a specific browsing target, for example, a message that can be browsed only by a person registered in the address book of the mobile phone terminal is registered.
またこの例の場合、メッセージの表示とともに、そのメッセージを登録した人の名前などを表示することも可能となる。 In the case of this example, it is also possible to display the name of the person who registered the message as well as the message.
なおこのようなことは、特にアドレス帳などを備え、個人情報やその他の人の情報等を管理する携帯電話端末において可能となり、例えばいわゆるデジタルカメラなどのように個人情報等を管理していない他の端末では実現不可能である。 Note that this is especially possible with mobile phone terminals that have an address book and manage personal information and other people's information, and do not manage personal information such as so-called digital cameras. This is not possible with this terminal.
図13には、メッセージを読取可能な端末を限定したメッセージを入力する場合のフローチャートを示す。なお、この図13のフローチャートにおいて、図11と同じステップには同一の参照符号を付してその説明は省略する。 FIG. 13 shows a flowchart in the case of inputting a message in which terminals that can read the message are limited. In the flowchart of FIG. 13, the same steps as those in FIG. 11 are denoted by the same reference numerals, and the description thereof is omitted.
図13において、制御部10は、ステップS64の処理後、ステップS67へ処理を進める。ステップS67において、ユーザからキーボタンモジュール20を通じて、メッセージの閲覧対象を限定するための電話番号やメールアドレス等が入力されると、御部10は、ステップS65へ処理を進める。
In FIG. 13, the
この図13のステップS65の場合、制御部10は、入力されたメッセージのデータとそのメッセージの絶対位置情報と閲覧対象を限定する情報とを、通信モジュール16からメッセージサーバ4へ送信し、当該メッセージサーバ4へ登録させる。
In the case of step S65 of FIG. 13, the
図14には、閲覧対象が限定されたメッセージが閲覧される場合のメッセージサーバ4におけるフローチャートを示す。
FIG. 14 shows a flowchart in the
図14において、メッセージサーバ4は、メッセージリードリクエストを受信すると、ステップS71の処理として、そのリクエストに含まれる位置情報を基に、データベース5内の全レコードを対象としたサーチを行い、上記位置情報から半径Rメートル以内の位置に対応付けられている全メッセージを取り出す。
In FIG. 14, when the
次に、メッセージサーバ4は、上記サーチによる全レコードのメッセージから、閲覧対象が限定されていない一般公開メッセージと、閲覧対象が限定されているメッセージとを弁別する。
Next, the
メッセージサーバ4は、一般公開メッセージについては、ステップS76の処理としてそのメッセージを、リクエスト元の携帯電話端末へ送信した後、この図14のフローチャートの処理を終了する。一方、閲覧対象が限定されているメッセージについては、ステップS73へ処理を進める。
For the public message, the
ステップS73の処理に進むと、メッセージサーバ4は、リクエスト元の端末が閲覧対象の端末か認証処理を行う。そして、メッセージサーバ4は、ステップS74の処理として、その端末が閲覧対象端末である場合には、ステップS75へ処理を進めてメッセージを送信した後、この図14のフローチャートの処理を終了する。一方、閲覧対象端末でない場合、メッセージサーバ4は、そのメッセージの送信は行わずに、この図14のフローチャートの処理を終了する。
When the processing proceeds to step S73, the
図15には、閲覧対象が限定されたメッセージの閲覧を要求する携帯電話端末2におけるフローチャートを示す。なお、この図15のフローチャートにおいて、図7と同じステップには同一の参照符号を付してその説明は省略する。
FIG. 15 shows a flowchart in the
図15において、携帯電話端末2の制御部10は、ステップS5の処理後、ステップS13へ処理を進める。
In FIG. 15, the
ステップS13の処理に進むと、制御部10は、メモリ12のアドレス帳等に保存されている自端末の電話番号或いはメールアドレスと、閲覧対象を特定する電話番号或いはメールアドレスを、メッセージリードリクエストと共にメッセージサーバ4へ送信する。
When the process proceeds to step S13, the
その後、ステップS6では、メッセージサーバ4から送られてきた全メッセージを取得する。
Thereafter, in step S6, all messages sent from the
図16には、閲覧対象が限定されるメッセージの入力及びその登録を行う場合の本実施形態システムのシーケンス図を示す。なお、図16において、図12と同じステップには同一の参照符号を付してその説明は省略する。 FIG. 16 shows a sequence diagram of the system of the present embodiment when inputting and registering a message whose browsing target is limited. In FIG. 16, the same steps as those in FIG. 12 are denoted by the same reference numerals, and the description thereof is omitted.
図16において、ステップS46の処理の後、携帯電話端末2は、ステップS50へ処理を進める。
In FIG. 16, after the process of step S46, the
ステップS50において、ユーザからキーボタンモジュール20を通じて、メッセージの閲覧対象を限定するための電話番号やメールアドレス等が入力されると、携帯電話端末2は、ステップS47へ処理を進める。
In step S50, when a user inputs a telephone number, an e-mail address, or the like for limiting a message viewing target through the
この図16のステップS47の場合、携帯電話端末2は、入力されたメッセージのデータとそのメッセージの絶対位置情報と閲覧対象を限定する情報とを有するメッセージレコードリクエストを、通信モジュール16からメッセージサーバ4へ送信する。
In the case of step S47 in FIG. 16, the
したがって、メッセージサーバ4では、ステップS51において、メッセージレコードリクエスト内に含まれるメッセージとその絶対位置情報と閲覧対象を限定する情報とを、データベース5内に登録する。
Accordingly, in step S51, the
[移動するオブジェクトを避けるメッセージ表示制御]
本実施形態の携帯電話端末2は、ディスプレイモジュール18のビューファインダ画面30上にメッセージを表示する際に、現実空間において例えば通り過ぎる人や車などにより当該メッセージが見え辛くなる問題を解消可能となされている。具体的には、本実施形態の携帯電話端末2は、ビューファインダ画面30を見ているユーザから最も見え易くなるように、メッセージの表示位置を移動制御する。
[Message display control to avoid moving objects]
When the
図17には、ビューファインダ画面30上で移動するオブジェクトを避けてメッセージの表示位置を制御するフローチャートを示す。なお、この図17のフローチャートにおいて、図7と同じステップには同一の参照符号を付してその説明は省略する。
FIG. 17 shows a flowchart for controlling the display position of a message while avoiding an object moving on the
図17のフローチャートにおいて、詳細情報取得モジュール15は、ステップS8でメッセージの前にオブジェクトが存在しないと判定した場合にはステップS14へ処理を進める。
In the flowchart of FIG. 17, when the detailed
ステップS14の処理に進むと、詳細情報取得モジュール15は、メッセージの前に別の場所から人や車などを表す移動オブジェクトが移動してくるか否か判定する。なお、オブジェクトが移動オブジェクトであるか否かについては、一例として画像の動きベクトル検出により判断することができる。すなわち、詳細情報取得モジュール15は、ビューファインダ画面30内に表示される画像の動きベクトル検出により、移動オブジェクトを見つける。また、詳細情報取得モジュール18は、移動オブジェクトとして検出されたオブジェクトが、メッセージの前に移動してくるか否かについては、例えばステップS7における位置関係の比較結果から判断する。すなわちこの例の場合、ステップS7では、ビューファインダ画面30内の各オブジェクトについて、移動の有無を問わずに全てのオブジェクトの位置関係を求めている。なお、上記動きベクトルの検出等は制御部10が行ってもよい。
When the processing proceeds to step S14, the detailed
上記ステップS14にて移動オブジェクトが来ないと判定した場合、詳細情報取得モジュール15は、前記ステップS11へ処理を進める。これにより、メッセージ表示モジュール18では、前述同様にメッセージを表示する。一方、移動オブジェクトが来ると判定した場合、詳細情報取得モジュール15は、ステップS15へ処理を進め、メッセージ表示モジュール18に処理を渡す。
If it is determined in step S14 that a moving object does not come, the detailed
ステップS15において、メッセージ表示モジュール18は、移動オブジェクトがメッセージ上に移動してくる時に、そのメッセージを移動オブジェクトから避ける位置に表示する。例えば、人や車の移動オブジェクトが来た場合、メッセージ表示モジュール18は、その移動オブジェクトの上の方へメッセージの表示位置を変更したり、本来表示すべき位置近傍に有る建物等の移動しないオブジェクトの壁面や地面のオブジェクト付近などに、メッセージの表示位置を変更する。このステップS15の処理後、メッセージ表示モジュール18は、ステップS12へ処理を進める。
In step S15, when the moving object moves on the message, the
また、図17のフローチャートにおいて、ステップS9の次にはステップS16の処理へ進む。ステップS16の処理に進むと、詳細情報取得モジュール15は、上記ステップS14と同様に、メッセージの前に別の場所から人や車などを表す移動オブジェクトが移動してくるか否か判定する。そして、上記ステップS16にて移動オブジェクトが来ないと判定した場合、詳細情報取得モジュール15は、前記ステップS10へ処理を進める。これにより、メッセージ表示モジュール18では、前述同様にメッセージを表示する。一方、ステップS16にて移動オブジェクトが来ると判定した場合、メッセージ表示モジュール18は、ステップS17の処理を実行する。
In the flowchart of FIG. 17, the process proceeds to step S16 after step S9. When the processing proceeds to step S16, the detailed
ステップS17の処理において、メッセージ表示モジュール18は、ステップS10と同様に、メッセージの描画範囲のうちオブジェクト(移動しない固定オブジェクト)の表示範囲で隠れる部分については表示せず、固定オブジェクトの表示範囲から外れた描画範囲のみを表示する。一方、固定オブジェクトの表示範囲から外れた描画範囲のみが表示されたメッセージの前に、移動オブジェクトが移動して来た場合、メッセージ表示モジュール18は、上記ステップS15と同様に、当該メッセージを移動オブジェクトから避ける位置に表示する。このステップS15の処理後、メッセージ表示モジュール18は、ステップS12へ処理を進める。
In the processing of step S17, the
[まとめ]
以上説明したように、本発明実施形態によれば、ビューファインダ画面30内で、オブジェクトの表示範囲とメッセージの描画範囲が重なる場合において、オブジェクトの対象物よりもメッセージの方が距離的に近い時、メッセージを、オブジェクトの表示範囲で隠れる部分については表示せず、オブジェクトの表示範囲から外れた描画範囲のみを表示する。これにより、本発明実施形態によれば、メッセージの登録がなされた後に、現実世界において新たな建造物が建てられる等のような状況変化が発生した場合でも、当該現実世界における状況変化に適切に対応したメッセージ表示が可能である。
[Summary]
As described above, according to the embodiment of the present invention, when the object display range and the message drawing range overlap in the
なお、上述した本発明の実施形態の説明は、本発明の一例である。このため、本発明は上述した実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはもちろんである。 The above description of the embodiment of the present invention is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and it is needless to say that various modifications can be made according to the design or the like as long as the technical idea according to the present invention is not deviated.
1 GPS衛星、2 携帯電話端末、3 パケット網、4 メッセージサーバ、5 メッセージデータベース、10 制御部、11 カメラモジュール、12 メモリ、13 GPSモジュール、14 位置情報算出モジュール、15 詳細情報取得モジュール、16 通信モジュール、17 ディスプレイモジュール、18 メッセージ表示モジュール、19 メッセージ入力モジュール、20 キーボタンモジュール、23 撮像範囲、30 ビューファインダ画面、31 風景、31a 家、31b 木、35,36,43、44,45,46 メッセージ、41,42 対象物、41a,42a オブジェクト 1 GPS satellite, 2 mobile phone terminal, 3 packet network, 4 message server, 5 message database, 10 control unit, 11 camera module, 12 memory, 13 GPS module, 14 position information calculation module, 15 detailed information acquisition module, 16 communication Module, 17 Display module, 18 Message display module, 19 Message input module, 20 Key button module, 23 Imaging range, 30 Viewfinder screen, 31 Landscape, 31a House, 31b Tree, 35, 36, 43, 44, 45, 46 Message, 41, 42 Object, 41a, 42a Object
Claims (8)
映像を表示する映像表示部と、
複数のメッセージを現実世界の絶対位置に各々対応付けて管理しているメッセージサーバと通信する通信部と、
自端末の現在の絶対位置を検出する位置検出部と、
現実世界内で上記撮像部により撮像されている撮像範囲を算出する撮像範囲算出部と、
上記自端末の絶対位置から上記撮像範囲内の現実空間に存在する各対象物までの距離を計測する距離計測部と、
上記通信部を通じて上記メッセージサーバへ接続し、当該メッセージサーバから、上記撮像範囲内の絶対位置に関連付けて管理されているメッセージのデータとその絶対位置情報を取得するメッセージ情報取得部と、
上記撮像部が撮像している上記撮像範囲内の現実世界の撮像映像を上記映像表示部に表示させるとともに、上記距離計測部が計測した上記各対象物までの距離と、上記メッセージ情報取得部が取得したメッセージの絶対位置情報と、上記撮像映像内における各対象物の表示範囲と、上記メッセージを上記撮像映像に重畳して描画する際の描画範囲とを基に、上記撮像映像内における上記対象物の表示範囲と上記メッセージの描画範囲の前後関係、及び、上記対象物の表示範囲と上記メッセージの描画範囲の重なりを判定し、上記前後関係が前となるメッセージと、上記対象物の表示範囲に重ならない描画範囲のメッセージのみを、上記撮像映像に重畳して描画するメッセージ表示制御部と、
を有する携帯情報端末。 An imaging unit that images the real world with an imaging lens and an imaging element;
A video display unit for displaying video;
A communication unit that communicates with a message server that manages a plurality of messages in association with absolute positions in the real world, and
A position detector that detects the current absolute position of the terminal;
An imaging range calculation unit that calculates an imaging range captured by the imaging unit in the real world;
A distance measuring unit that measures the distance from the absolute position of the terminal itself to each object existing in the real space within the imaging range;
A message information acquisition unit for connecting to the message server through the communication unit, and acquiring, from the message server, message data managed in association with the absolute position within the imaging range and the absolute position information;
The real-time captured image within the imaging range captured by the imaging unit is displayed on the video display unit, the distances to the objects measured by the distance measuring unit, and the message information acquisition unit Based on the absolute position information of the acquired message, the display range of each object in the captured image, and the rendering range when the message is superimposed on the captured image, the target in the captured image The display range of the object and the drawing range of the message, and the overlap of the display range of the object and the drawing range of the message are determined. A message display control unit that draws only a message in a drawing range that does not overlap with the above-described captured image,
A portable information terminal.
自端末に回転運動が加えられた時の回転量と回転方向とその回転による自端末の傾きを検知するジャイロセンサと、
自端末に加速度運動が加えられた時の移動加速度とその移動量及びその移動方向を検知する加速度センサと、
上記撮像部の撮像レンズが向く方位を検出する電子コンパスとを有し、
上記ジャイロセンサと加速度センサの両検知信号により、現実空間内において現時点で自端末の有する姿勢を求めるとともに、電子コンパスから得られる検知信号から上記撮像部の撮像レンズが向く方位を求め、上記現実空間内における自端末の姿勢と、当該姿勢において上記撮像レンズの向く方位とにより、上記撮像部により撮像されている現実世界内の撮像範囲を算出する請求項1記載の携帯情報端末。 The imaging range calculation unit
A gyro sensor that detects the amount and direction of rotation when a rotational motion is applied to the terminal, and the inclination of the terminal due to the rotation;
An acceleration sensor for detecting a movement acceleration when the acceleration motion is applied to the terminal, a movement amount thereof, and a movement direction thereof;
An electronic compass for detecting an orientation in which the imaging lens of the imaging unit faces,
Based on the detection signals of the gyro sensor and the acceleration sensor, the orientation of the terminal at present is obtained in the real space, and the orientation in which the imaging lens of the imaging unit faces is obtained from the detection signal obtained from the electronic compass. The portable information terminal according to claim 1, wherein an imaging range in the real world that is imaged by the imaging unit is calculated based on an attitude of the terminal in the camera and an orientation in which the imaging lens faces in the attitude.
位置検出部が自端末の現在の絶対位置を検出するステップと、
現実世界内で上記撮像部により撮像されている撮像範囲を、撮像範囲算出部が算出するステップと、
上記自端末の絶対位置から上記撮像範囲内の現実空間に存在する各対象物までの距離を、距離計測部が計測するステップと、
メッセージ情報取得部が、複数のメッセージを現実世界の絶対位置に各々対応付けて管理しているメッセージサーバへ上記通信部を通じて接続し、当該メッセージサーバから、上記撮像範囲内の絶対位置に関連付けて管理されているメッセージのデータとその絶対位置情報を取得するステップと、
メッセージ表示制御部が、上記撮像部の撮像している上記撮像範囲内の現実世界の撮像映像を映像表示部に表示させるとともに、上記距離計測部が計測した上記各対象物までの距離と、上記メッセージ情報取得部が取得したメッセージの絶対位置情報と、上記撮像映像内における各対象物の表示範囲と、上記メッセージを上記撮像映像に重畳して描画する際の描画範囲とを基に、上記撮像映像内における上記対象物の表示範囲と上記メッセージの描画範囲の前後関係、及び、上記対象物の表示範囲と上記メッセージの描画範囲の重なりを判定し、上記前後関係が前となるメッセージと、上記対象物の表示範囲に重ならない描画範囲のメッセージのみを上記撮像映像に重畳して描画するステップと、
を有する情報表示制御方法。 Imaging the real world with an imaging unit having an imaging lens and an imaging element;
A step in which the position detection unit detects the current absolute position of the terminal;
An imaging range calculating unit calculating an imaging range captured by the imaging unit in the real world;
A distance measuring unit measuring a distance from the absolute position of the terminal itself to each object existing in the real space within the imaging range;
The message information acquisition unit connects to a message server that manages a plurality of messages in association with the absolute positions in the real world through the communication unit, and manages the messages in association with the absolute positions within the imaging range. Obtaining the message data and its absolute position information,
The message display control unit causes the video display unit to display a real-world captured image within the imaging range captured by the imaging unit, and the distance to each object measured by the distance measurement unit, Based on the absolute position information of the message acquired by the message information acquisition unit, the display range of each object in the captured video, and the rendering range when rendering the message superimposed on the captured video, the imaging A front-to-back relationship between the display range of the object and the drawing range of the message in the video, and an overlap between the display range of the target object and the drawing range of the message, Drawing only the drawing range message that does not overlap the display range of the object on the captured image;
An information display control method comprising:
位置検出部に対して自端末の現在の絶対位置を検出させる位置検出処理と、
現実世界内で上記撮像部により撮像されている撮像範囲を算出する撮像範囲算出工程と、
上記自端末の絶対位置から上記撮像範囲内の現実空間に存在する各対象物までの距離を距離計測手段に計測させる距離計測制御処理と、
複数のメッセージを現実世界の絶対位置に各々対応付けて管理しているメッセージサーバへ上記通信部を通じて接続し、当該メッセージサーバから、上記撮像範囲内の絶対位置に関連付けて管理されているメッセージのデータとその絶対位置情報を取得するメッセージ情報取得処理と、
上記撮像部の撮像している上記撮像範囲内の現実世界の撮像映像を映像表示部に表示させるとともに、上記距離計測手段が計測した上記各対象物までの距離と、上記メッセージ情報取得処理で取得したメッセージの絶対位置情報と、上記撮像映像内における各対象物の表示範囲と、上記メッセージを上記撮像映像に重畳して描画する際の描画範囲とを基に、上記撮像映像内における上記対象物の表示範囲と上記メッセージの描画範囲の前後関係、及び、上記対象物の表示範囲と上記メッセージの描画範囲の重なりを判定し、上記前後関係が前となるメッセージと、上記対象物の表示範囲に重ならない描画範囲のメッセージのみを上記撮像映像に重畳して描画するメッセージ表示制御処理と、
をコンピュータに実行させる情報表示制御プログラム。 An imaging control process for imaging the real world to an imaging means having an imaging lens and an imaging element;
A position detection process for causing the position detection unit to detect the current absolute position of the terminal;
An imaging range calculation step of calculating an imaging range captured by the imaging unit in the real world;
A distance measurement control process that causes the distance measurement means to measure the distance from the absolute position of the terminal itself to each object existing in the real space within the imaging range;
Data of messages managed by associating and managing a plurality of messages in association with the absolute position in the imaging range by connecting to a message server managing each of the messages in correspondence with absolute positions in the real world through the communication unit. And message information acquisition processing for acquiring the absolute position information,
The real-world captured image within the imaging range captured by the imaging unit is displayed on the video display unit, and the distance to each object measured by the distance measuring unit and the message information acquisition process are acquired. The object in the captured video is based on the absolute position information of the message, the display range of each target in the captured video, and the rendering range when the message is superimposed on the captured video. The display range of the message and the drawing range of the message, and the overlap of the display range of the object and the drawing range of the message are determined. A message display control process for superimposing and drawing only a message in a drawing range that does not overlap on the captured image;
Display control program for causing a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009011423A JP2010171664A (en) | 2009-01-21 | 2009-01-21 | Personal digital assistant, information display control method, and information display control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009011423A JP2010171664A (en) | 2009-01-21 | 2009-01-21 | Personal digital assistant, information display control method, and information display control program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010171664A true JP2010171664A (en) | 2010-08-05 |
Family
ID=42703364
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009011423A Withdrawn JP2010171664A (en) | 2009-01-21 | 2009-01-21 | Personal digital assistant, information display control method, and information display control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010171664A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012168646A (en) * | 2011-02-10 | 2012-09-06 | Sony Corp | Information processing apparatus, information sharing method, program, and terminal device |
JP2012235440A (en) * | 2010-09-29 | 2012-11-29 | Brother Ind Ltd | Program of mobile device, mobile device, and method of controlling mobile device |
US9606762B2 (en) | 2010-09-29 | 2017-03-28 | Brother Kogyo Kabushiki Kaisha | Non-transitory computer-readable recording device storing computer program including instructions for causing a device to select an object device with which the device communicates |
JP2018180775A (en) * | 2017-04-07 | 2018-11-15 | トヨタホーム株式会社 | Information display system |
-
2009
- 2009-01-21 JP JP2009011423A patent/JP2010171664A/en not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012235440A (en) * | 2010-09-29 | 2012-11-29 | Brother Ind Ltd | Program of mobile device, mobile device, and method of controlling mobile device |
US9606762B2 (en) | 2010-09-29 | 2017-03-28 | Brother Kogyo Kabushiki Kaisha | Non-transitory computer-readable recording device storing computer program including instructions for causing a device to select an object device with which the device communicates |
JP2012168646A (en) * | 2011-02-10 | 2012-09-06 | Sony Corp | Information processing apparatus, information sharing method, program, and terminal device |
JP2018180775A (en) * | 2017-04-07 | 2018-11-15 | トヨタホーム株式会社 | Information display system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4977339B2 (en) | Geographic data collection device | |
KR101662595B1 (en) | User terminal, route guide system and route guide method thereof | |
US8103126B2 (en) | Information presentation apparatus, information presentation method, imaging apparatus, and computer program | |
KR101631497B1 (en) | Display apparatus, User terminal, and methods thereof | |
JP5607759B2 (en) | Image identification using trajectory-based location determination | |
KR101259598B1 (en) | Apparatus and Method for Providing Road View | |
US20110183684A1 (en) | Mobile communication terminal and method | |
EP2253130A1 (en) | Device, method, and system for displaying data recorded with associated position and direction information | |
KR100667310B1 (en) | System for acquiring location information using camera of mobile-phone, Method thereof, and Mobile-phone | |
KR20140066570A (en) | System and method for navigation | |
JP2005091298A (en) | Global coordinate acquisition device using image processing | |
JP2010171664A (en) | Personal digital assistant, information display control method, and information display control program | |
KR20100060472A (en) | Apparatus and method for recongnizing position using camera | |
JPWO2015125210A1 (en) | Information display device and information display program | |
JP2009036726A (en) | Method and system for displaying search path | |
JP5578719B2 (en) | Information system, terminal device, advertisement output method, and program | |
JP5357966B2 (en) | Information system, server device, terminal device, information processing method, and program | |
JP4556096B2 (en) | Information processing apparatus and method, recording medium, and program | |
JP5432000B2 (en) | Information presentation system and program | |
JP5285650B2 (en) | Information providing system, advanced information acquisition system, advanced information acquisition device, and program | |
JP5634925B2 (en) | Maintenance information display device, maintenance information display method, and program | |
JP2011022662A (en) | Portable telephone terminal and information processing system | |
JP2006350879A (en) | Information providing system | |
JP2012083942A (en) | Information system, terminal, server device, and method for retrieving web page | |
EP4298599A1 (en) | Image processing method, recording medium, image processing apparatus, and image processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120403 |