JP6687835B2 - 移動端末装置およびプログラム - Google Patents

Description

本発明は、表示技術に関し、特に撮像した画像を表示する移動端末装置およびプログラムに関する。

拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の技術は、撮影した画像上に種々の情報を重ねて表示する。例えば、通信端末の周囲に存在する他の通信端末の位置が風景画像上にＡＲ技術を用いて表示される。さらに、他の通信端末を使用するユーザの属性や、ユーザ間の相性に関する情報も表示される（例えば、特許文献１）。

特開２０１２−２２１３３０号公報

他の通信端末を使用しているユーザに関する情報は風景画像上に表示されるので、通信端末の周囲のどこに、どのようなユーザが存在するかが、分かりやすく表示される。しかしながら、通信端末間の通信の可否や通信品質に関する十分な情報、つまり通信端末の周囲の環境に依存した情報は表示されない。

本発明はこうした状況に鑑みてなされたものであり、その目的は、周囲の環境に依存した情報を分かりやすく表示する技術を提供することである。

上記課題を解決するために、本発明のある態様の移動端末装置は、移動端末装置であって、本移動端末装置の第１位置情報を測位する測位部と、他の移動端末装置と通信することによって、他の移動端末装置において測位された第２位置情報を取得する通信部と、本移動端末装置の周囲の環境を撮像する撮像部と、他の移動端末装置からの信号を通信部が受信した際の信号強度、または他の移動端末装置が本移動端末装置からの信号を受信した際の信号強度に関する情報を取得する取得部と、撮像部が撮像した画像上において、本移動端末装置の位置を示す第１座標から、第１位置情報と第２位置情報とをもとに導出した他の移動端末装置の位置を示す第２座標の方向にラインを表示する表示部と、を備える。表示部は、取得部で取得された信号強度に関する情報に応じて、ラインの表示態様を設定する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、周囲の環境に依存した情報を分かりやすく表示できる。

本発明の実施例１に係る通信システムの構成を示す図である。 図１の移動端末装置の構成を示す図である。 図２の処理部において生成される画像を示す図である。 図２の処理部において生成される別の画像を示す図である。 図１の通信システムによる表示手順を示すシーケンス図である。 本発明の実施例２に係る処理部において生成される画像を示す図である。 本発明の実施例２に係る処理部において生成される別の画像を示す図である。 本発明の実施例２に係る処理部において生成されるさらに別の画像を示す図である。 本発明の実施例２に係る通信システムによる表示手順を示すシーケンス図である。 本発明の実施例２に係る通信システムによる別の表示手順を示すシーケンス図である。 図８の処理部による表示手順を示すフローチャートである。 本発明の実施例３に係る記憶部に記憶されたデータベースのデータ構造を示す図である。 本発明の実施例３において生成される画像を示す図である。 本発明の実施例４において生成される画像を示す図である。

（実施例１）
本発明を具体的に説明する前に、まず概要を述べる。本発明の実施例１は、複数の移動端末装置により構成される通信システムに関する。本通信システムは、例えば、業務用無線システムに対応しており、複数の移動端末装置は、基地局装置を介さずに、互いに直接通信する。ここで、通信の形態には、１対１の場合もあれば、１対多の場合もあり、後者はグループ通信に相当する。移動端末装置は、撮像装置を備え、拡張現実を表示可能であり、かつＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報を取得可能な装置とする。このような移動端末装置は、１つの装置として構成されてもよいし、２つ以上の装置の組合せとして構成されてもよいが、説明を明瞭にするために、前者であるとする。

なお、後者の場合、例えば、業務用無線システムに対応した無線装置と、業務用無線通信システムに非対応のスマートフォンとの組合せによって実現される。無線装置とスマートフォンは、業務用無線システムとは別の通信システムによって互いに通信可能あるものとし、無線装置は、業務用無線システムとスマートフォンとの間の通信を中継する。さらに、スマートフォンは、撮像装置を備え、拡張現実を表示可能であり、かつＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報を取得可能な装置であればよく、スマートフォンに限らず他のデバイスが使用されてもよい。

各移動端末装置は、ＧＰＳ機能により現在の位置を測位するとともに、業務用無線システムにより位置情報を互いに交換する。移動端末装置は、交換した位置情報をもとに、撮像した周囲の環境の画像上に、他の移動端末装置が示されたアイコン（以下、「他装置アイコン」という）を重ねて表示する。また、移動端末装置は、他の移動端末装置の周囲の環境に依存した状態に関する情報として、他の移動端末装置からの信号を受信した場合の信号強度（受信電波に係る信号強度）を測定し、信号強度を他装置アイコンとともに表示する。このように表示された画像には、他の端末が存在している周囲の環境の画像上に、他の移動端末装置が存在する位置が示されるとともに、信号強度も示される。そのため、移動端末装置のユーザは、例えば、建物が間にあるので信号強度が下がっている、といったような周囲の環境に依存した状態に関する情報として表示された画像が提供され、画像に示された環境における他の移動端末装置との通信のしやすさを把握できる。

図１は、本発明の実施例１に係る通信システム１００の構成を示す。通信システム１００は、移動端末装置１０と総称される第１移動端末装置１０ａ、第２移動端末装置１０ｂ、第３移動端末装置１０ｃ、第４移動端末装置１０ｄを含む。ここで、通信システム１００に含まれる移動端末装置１０の数は、「４」に限定されず、それより多くてもよく、それよりも少なくてもよい。複数の移動端末装置１０は、前述のごとく、業務用無線システムに対応しており、音声通信、データ通信を実行する。また、通信形態として、第１移動端末装置１０ａから第２移動端末装置１０ｂに送信するような１対１の通信が実行されたり、第１移動端末装置１０ａから第２移動端末装置１０ｂ〜第４移動端末装置１０ｄに送信するような１対多の通信が実行されたりする。

ここで、複数の移動端末装置１０は、基地局装置を介さずに互いに直接通信を実行する。そのため、それらは、互いに直接通信を実行可能な範囲に存在しなければならない。しかしながら、２つの移動端末装置１０がある程度近くに存在する場合であっても、障害物の存在、地形によって、両者の通信の品質が良好でないことがある。一方、複数の移動端末装置１０のそれぞれは、ユーザによって携帯されており、移動可能である。そのため、例えば、第１移動端末装置１０ａを使用するユーザは、第２移動端末装置１０ｂとの通信が良好でない場合に、通信が良好になる位置まで移動すればよい。これを実現するために、他の移動端末装置１０の周囲の環境に依存した状態に関する情報がユーザに分かりやすく提示されることが望ましい。

このような提示は、例えば、移動端末装置１０において実行されるアプリケショーンプログラムによって実現される。以下では、このような提示を実現するための処理を説明するが、説明を簡易にするために、第１移動端末装置１０ａの周囲における第２移動端末装置１０ｂ等の状態を、第１移動端末装置１０ａのユーザに提示する場合を想定する。このような処理は、他の移動端末装置１０においても同様に実行される。

図２は、移動端末装置１０の構成を示す。移動端末装置１０は、測位部２０、通信部２２、取得部２４、撮像部２６、処理部２８、記憶部３０、表示部３２を含む。この構成は、図１の第１移動端末装置１０ａから第４移動端末装置１０ｄに対して共通である。

測位部２０は、図示しないＧＰＳ衛星からの信号を受信することによって、移動端末装置１０が存在している位置を測位する。位置は、例えば、緯度、経度、高度によって示される。ＧＰＳによる測位には公知の技術が使用されればよいので、ここでは説明を省略するが、位置の他に移動速度、移動方向が検出されてもよい。また、測位部２０は、電子コンパスの機能を備えており、現在向いている方向も測定する。測位部２０は、これらの情報（以下、「第１位置情報」という）を処理部２８に出力する。

通信部２２は、例えば、業務用無線システムに対応しており、他の移動端末装置１０と通信する。通信部２２は、処理部２８から第１位置情報を入力し、第１位置情報が含まれた信号を他の移動端末装置１０に送信する。一方、通信部２２は、他の移動端末装置１０からの信号を受信する。この信号には、他の移動端末装置１０において測位された情報（以下、「第２位置情報」という）が含まれている。通信部２２は、第２位置情報を処理部２８に出力する。

撮像部２６は、本移動端末装置１０の周囲の環境を撮像し、画像を生成する。周囲の環境は、移動端末装置１０の周囲の風景に相当する。ここで、画像は、静止画像であってもよく、動画像であってもよい。撮像部２６は、撮像した画像を処理部２８に出力する。出力される画像は、デジタルデータであってもよいが、デジタルデータとしての画像も「画像」とよばれる。

取得部２４は、他の移動端末装置１０の周囲の環境に依存した状態に関する情報を取得する。特に、取得部２４は、他の移動端末装置１０の周囲の環境に依存した状態に関する情報として、他の移動端末装置１０からの信号を通信部２２が受信した場合の信号強度を測定する。この信号には、前述の第２位置情報が含まれていてもよいが、含まれていなくてもよい。取得部２４は、測定した信号強度と、当該信号強度を測定するための信号を送信した他の移動端末装置１０の情報との組合せ（以下、これもまた「信号強度」という）を処理部２８に出力する。

なお、信号強度は、通信部２２から他の移動端末装置１０へ送信されてもよい。その場合、通信部２２が受信した信号であって、かつ他の移動端末装置１０からの信号にも、本移動端末装置１０が送信した信号をもとに当該他の移動端末装置１０において測定された信号強度が含まれている。取得部２４は、他の移動端末装置１０の周囲の環境に依存した状態に関する情報として、通信部２２に含まれた信号に含まれた信号強度を使用してもよい。すなわち、他の移動端末装置１０の周囲の環境に依存した状態に関する情報として、他の移動端末装置１０からの信号を通信部２２が受信した場合の信号強度、または、画像表示を行う移動端末装置１０が送信して他の移動端末装置１０が受信した場合の信号強度を使用することができる。

処理部２８は、測位部２０からの第１位置情報、通信部２２からの第２位置情報、取得部２４からの信号強度、撮像部２６からの画像を入力する。処理部２８は、ＡＲ技術を実行することによって、画像内における拡張空間上に、他の移動端末装置１０が示された他装置アイコンを配置する。これを具体的に説明すると、処理部２８は、第１位置情報における現在の位置と、方向の情報をもとに、撮像部２６からの画像における座標と緯度・経度（位置情報）とを対応づける。

ここで、画像における画角が既知であれば、画像中の任意の一点を所定の緯度・経度に固定した場合に、別の一点の緯度・経度が一意に導出される。例えば、画像上の第１点の座標が（ｘ１，ｙ１）であり、第１点とは異なった第２点の座標が（ｘ２，ｙ２）である場合、当該第１点に対する緯度・経度が定まれば、当該第２点に対する緯度・経度も定まる。処理部２８は、第１位置情報における現在の位置を第１点に対応づけることによって、第２点の緯度・経度を導出するとともに、画像上のさまざまな座標に対してこのような処理を実行することによって、画像における座標と緯度・経度とを対応づける。

また、処理部２８は、画像における座標と緯度・経度の対応関係を利用して、通信部２２からの第２位置情報を座標に変換する。さらに、処理部２８は、画像上において、変換した座標に、他装置アイコンを配置する。図３は、処理部２８において生成される画像５０を示す。画像５０には、第１移動端末装置１０ａの周囲の環境である風景が示されるとともに、当該風景上に、他装置アイコン２００と総称される第２他装置アイコン２００ｂ、第３他装置アイコン２００ｃ、第４他装置アイコン２００ｄが示される。第２他装置アイコン２００ｂは、第２移動端末装置１０ｂを示すためのアイコンであり、第３他装置アイコン２００ｃは、第３移動端末装置１０ｃを示すためのアイコンであり、第４他装置アイコン２００ｄは、第４移動端末装置１０ｄを示すためのアイコンである。そのため、第２他装置アイコン２００ｂは、第２移動端末装置１０ｂからの第２位置情報での緯度・経度に対応した座標に配置されている。第３他装置アイコン２００ｃ、第４他装置アイコン２００ｄも同様である。この他の説明は、後述するので、図２に戻る。

処理部２８は、各他装置アイコン２００に対応づけるように、取得部２４において取得した信号強度の情報を画像５０上に配置する。さらに、処理部２８は、画像５０の中央下部を第１移動端末装置１０ａの位置として、各他装置アイコン２００との間に通信が可能であることを示すためのライン（以下、「伝送路ライン」という）を描画する。その際、処理部２８は、信号強度の値に応じて、伝送路ラインの表示態様を変更する。表示態様は、色の濃淡、色の違い、線の種類、線の太さ等を含む。例えば、処理部２８は、信号強度が大きくなるほど、色を濃くしたり、線を太くしたりする。このように、処理部２８は、取得部２４において測定した信号強度の値に応じて、信号強度の表示態様を変更する。

図３に示された画像５０おいて、第２他装置アイコン２００ｂに対応づけられるように第２他装置情報２０２ｂが配置されており、第２他装置情報２０２ｂは、第２移動端末装置１０ｂに対する信号強度を示す。また、第２他装置アイコン２００ｂとの間には、第２伝送路ライン２０４ｂが配置される。このような表示は、第３他装置アイコン２００ｃ、第４他装置アイコン２００ｄに対しても同様である。なお、第２他装置情報２０２ｂ、第３他装置情報２０２ｃ、第４他装置情報２０２ｄは、他装置情報２０２と総称され、第２伝送路ライン２０４ａ、第３伝送路ライン２０４ｃ、第４伝送路ライン２０４ｄは、伝送路ライン２０４と総称される。

伝送路ライン２０４は、前述のごとく、線の種類（実線／点線）や線の色（濃色／単色、または色の違い）を変えながら示されている。他装置アイコン２００ごとに別の色を割り当てることも可能である。例えば、比較的距離が離れていてビル陰に位置する第２他装置アイコン２００ｂは、受信した信号強度が若干小さくなるので、第２伝送路ライン２０４ｂは、色が薄めの間隔の狭い破線にて表現される。また、距離が離れていて完全にビルの陰に位置してしまっている第３他装置アイコン２００ｃは、受信した信号強度が小さいので、第３伝送路ライン２０４ｃは、薄い色の間隔の広い破線で表現される。信号強度が小さい場合、第１移動端末装置１０ａのユーザは、表示された画像５０を見ることにより、通信相手が建物等の陰に入らないように移動する判断を行えるため、その方向に移動することで通信の品質を容易に改善することが可能になる。一方、近距離で見通しがよい場所に配置されている第４他装置アイコン２００ｄは、受信した信号強度が大きいので、第４伝送路ライン２０４ｄは、濃い実線にて表現される。図２に戻る。

なお、他の移動端末装置１０からの信号に、他の移動端末装置１０の周囲の環境に依存した状態に関する情報が含まれている場合、取得部２４は、通信部２２において受信した信号から、このような情報（以下、「状態情報」という）を取得してもよい。取得部２４は、状態情報を処理部２８に出力し、処理部２８は、画像５０上に、状態情報を他装置アイコン２００に対応づけて配置する。図４は、処理部２８において生成される別の画像５０を示す。ここでは、第２他装置アイコン２００ｂに対応づけて第２他装置情報２０２ｂが配置される。第２他装置情報２０２ｂでは、前述の信号強度と異なって、名称／状態／所在地／速度／方向／位置情報更新日時等が表示可能である。仮に、表示された第２他装置アイコン２００ｂがタップ等により選択された場合、第２他装置アイコン２００ｂに対応づけて第２サブメニュー２０６ｂが示される。第２サブメニュー２０６ｂでは、通話／メッセージ／送信等の通信の指示が示される。例えば、第２サブメニュー２０６ｂから「通話」を選択すると、第２移動端末装置１０ｂとの通話がなされる。図２に戻る。

記憶部３０は、処理に使用されるさまざまな情報が記憶される。例えば、測位部２０からの第１位置情報、通信部２２からの第２位置情報、取得部２４からの信号強度、撮像部２６からの画像が記憶される。表示部３２は、処理部２８において生成した画像５０を表示する。例えば、図３、図４に示した画像５０が表示される。なお、表示部３２は、タッチパネルであってもよい。

この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

以上の構成による通信システム１００の動作を説明する。図５は、通信システム１００による表示手順を示すシーケンス図である。第２移動端末装置１０ｂは、測位を実行し（Ｓ１０）、第２位置情報が含まれた信号を第１移動端末装置１０ａに送信する（Ｓ１２）。第１移動端末装置１０ａは、信号を受信するとともに、信号強度を測定する（Ｓ１４）。第３移動端末装置１０ｃは、測位を実行し（Ｓ１６）、第２位置情報が含まれた信号を第１移動端末装置１０ａに送信する（Ｓ１８）。第１移動端末装置１０ａは、信号を受信するとともに、信号強度を測定する（Ｓ２０）。第４移動端末装置１０ｄは、測位を実行し（Ｓ２２）、第２位置情報が含まれた信号を第１移動端末装置１０ａに送信する（Ｓ２４）。第１移動端末装置１０ａは、信号を受信するとともに、信号強度を測定する（Ｓ２６）。第１移動端末装置１０ａは画像５０を表示する（Ｓ２８）。

本実施例によれば、画像上に他装置アイコンを表示するとともに、他の移動端末装置の周囲の環境に依存した状態に関する情報も表示するので、周囲の環境に依存した情報を分かりやすく表示できる。また、他の移動端末装置の位置に配置した座標に他装置アイコンを表示するので、画像を見るだけで、他の移動端末装置の位置を容易に把握できる。また、他の移動端末装置の周囲の環境に依存した状態に関する情報として、信号強度を表示するので、他の移動端末装置との通信品質を連想させることができる。また、信号強度に応じて表示態様を変更するので、信号強度を分かりやすく表示できる。

また、信号強度を表示するので、通信環境が良好な位置を指示できる。また、他装置アイコンと信号強度を表示するので、他の移動端末装置と通信できる状態にあるか否かを拡張現実上の距離や信号強度から確認できる。また、他装置アイコンと信号強度を表示するので、拡張現実上でカバレッジエリアの確認が可能であり、通信が途切れた際に移動を促すことができる。また、他装置アイコンと信号強度を表示するので、問題発生時に各ユーザに状況を把握させ、自主的に行動をおこすことにより、素早く適切な対応を行うことができる。また、拡張現実上に情報を表示するので直感的に状況を把握できる。

なお、本実施例では、移動端末装置の周囲の環境に依存した状態に関する情報として、信号強度を用いる場合を例に説明したが、他の種類の情報を用いてもよい。例えば、他の移動端末装置の通話用のマイクロフォンは、ユーザの声の他に、他の移動端末装置の周囲の環境に依存するノイズ音（風切り音、交通騒音など）を多少拾ってしまう。そこで、他の移動端末装置において、マイクロフォンの出力信号を解析し、ノイズ（周囲環境音）成分の信号強度を計測し、その信号強度を他の移動端末装置の周囲の環境に依存した状態に関する情報とすることができる。そして、ノイズ成分の信号強度を他の移動端末装置から画像表示を行う移動端末装置（第１移動端末装置１０ａ）に送信し、図３に示した受信電波の信号強度の代わりに、音響ノイズの信号強度を表示してもよい。あるいは、他の移動端末装置から送信された音声信号を画像表示を行う移動端末装置（第１移動端末装置１０ａ）において解析し、ノイズ成分の信号強度を算出してもよい。また、音響信号全体の強度からノイズ成分の強度を引いて、本来必要な人間の声に係る成分の強度を算出し、それに基づく表示を行ってもよい。第１移動端末装置１０ａのユーザは、通話相手の音声が聞き取り難いような場合に、表示画面を見ながら、音響ノイズが減りそうな位置に通話相手が移動するように、指示することができる。表示画面を見ることにより、例えば、風が直接当らないようなビルの陰や、交通騒音の少なそうな位置を特定できるため、その位置を通話相手に音声またはテキストメッセージで通知すればよい。このため、通話品質を改善できる。

また、移動端末装置が周囲の照度に依存した機能（例えば、太陽電池の充電機能）を備える場合、他の移動端末装置が計測する照度を、他の移動端末装置の周囲の環境に依存した状態に関する情報としてもよい。あるいは、単位時間当たりに周囲光によって発電された発電量や太陽電池の充電量などを、他の移動端末装置の周囲の環境に依存した状態に関する情報としてもよい。そして、図３に示した受信電波の信号強度の代わりに、周囲光による発電量などを表示してもよい。画像表示を行う移動端末装置（第１移動端末装置１０ａ）のユーザは、表示画面を見ながら、周囲の照度に依存した機能の効率が高くなりそうな位置に他の移動端末装置を移動させることができる。

（実施例２）
次に、実施例２を説明する。実施例２に係る移動端末装置は、実施例１と同様に、ＡＲ技術を利用することによって、撮像した画像上に、他の移動端末装置を示した他装置アイコンを表示する。また、実施例２でも、この画像上に、他の移動端末装置の周囲の環境に依存した状態に関する情報も表示されるが、この情報が実施例１とは異なる。実施例２では、他の移動端末装置から、エマージェンシー状態であることが示された状態情報を受信し、エマージェンシー状態であることを認識可能なように表示を実行する。実施例２に係る通信システム１００、移動端末装置１０は、図１、２と同様のタイプである。ここでは、実施例１との差異を中心に説明する。

図２の通信部２２は、他の移動端末装置１０から送信された信号を受信する。受信した信号には、他の移動端末装置１０からの状態情報が含まれている。取得部２４は、通信部２２において受信した状態情報を取得する。ここでは、状態情報が、他の移動端末装置１０の周囲の環境に依存した状態に関する情報に相当する。状態情報では、エマージェンシー情報が示される。エマージェンシー情報は、他の移動端末装置１０からエマージェンシー通知として出力される情報であり、「ＥＭＥＲＧＥＮＣＹ情報」と、「ＥＭＥＲＧＥＮＣＹ ＭＡＮ−ＤＯＷＮ情報」とに分類される。どちらも非常事態、緊急事態を示す情報であるが、「ＥＭＥＲＧＥＮＣＹ情報」は、他の移動端末装置１０のユーザが所定の操作を行った場合に出力されるのに対し、「ＥＭＥＲＧＥＮＣＹ ＭＡＮ−ＤＯＷＮ情報」は、他の移動端末装置１０を携帯しているユーザが倒れた場合に自動的に出力される情報である。例えば、ある地点で爆発事故が起き、その衝撃によって近くにいた移動端末装置１０のユーザが倒れた場合、「ＥＭＥＲＧＥＮＣＹ ＭＡＮ−ＤＯＷＮ情報」が出力される。このような場合、「ＥＭＥＲＧＥＮＣＹ ＭＡＮ−ＤＯＷＮ」という状態に関する情報は、爆発事故といった周囲の環境によって定まる情報といえる。他の移動端末装置１０によるエマージェンシー情報の出力については、公知の技術が使用されればよいので、ここでは説明を省略する。取得部２４は、エマージェンシー情報を処理部２８に出力する。

処理部２８は、取得部２４からの状態情報であるエマージェンシー情報も入力する。処理部２８は、入力したエマージェンシー情報を他装置アイコン２００に対応づけて配置することによって画像５０を生成する。図６は、本発明の実施例２に係る処理部２８において生成される画像５０を示す。画像５０は、図３等と同様に示される。ここでは、第２移動端末装置１０ｂと第３移動端末装置１０ｃからエマージェンシー情報を取得した場合を想定する。処理部２８は、エマージェンシー情報を他装置アイコン２００に対応づけて配置させるために、図６における第２他装置アイコン２００ｂを、図３における第２他装置アイコン２００ｂとは異なった表示態様で示す。つまり、エマージェンシー情報を受信した他の移動端末装置１０に対する他装置アイコン２００は、通常状態の他の移動端末装置１０に対する他装置アイコン２００から変化させて、目立つようにされる。

また、第２移動端末装置１０ｂからのエマージェンシー情報が「ＥＭＥＲＧＥＮＣＹ情報」であり、第３移動端末装置１０ｃからのエマージェンシー情報が「ＥＭＥＲＧＥＮＣＹ ＭＡＮ−ＤＯＷＮ情報」であるとも想定する。そのため、第３他装置アイコン２００ｃは、ユーザが地面に倒れた形状のアイコンとなり、第２他装置アイコン２００ｂとも異なった表示態様とされる。さらに、第２他装置アイコン２００ｂに対応づけられて第２状態情報２０８ｂが配置され、第３他装置アイコン２００ｃに対応づけられて第３状態情報２０８ｃが配置される。第２状態情報２０８ｂでは、「ＥＭＥＲＧＥＮＣＹ情報」が示され、第３状態情報２０８ｃでは、「ＥＭＥＲＧＥＮＣＹ ＭＡＮ−ＤＯＷＮ情報」が示される。

エマージェンシー情報の緊急度（深刻度）が複数のレベルに分かれている場合、そのレベルに応じて他装置アイコン２００の色や形が変更されてもよい。表示方法としては、エマージェンシー情報に応じて、他装置アイコン２００を常時表示させる／変更する／点滅させる／背景色を変更・点滅させる／大きく表示する／非表示にする等があり、表現方法の変更や組合せが可能である。また、報知音を出すようにしてもよい。エマージェンシー情報の表示は、エマージェンシー情報を受信したすべての移動端末装置１０でなされてもよいし、エマージェンシー情報を発信している移動端末装置１０と同一グループの移動端末装置１０上にのみでなされてもよい。図２に戻る。

処理部２８において生成される画像５０が、図６とは異なっていてもよい。前述のごとく、ＥＭＥＲＧＥＮＣＹ ＭＡＮ−ＤＯＷＮ情報が送信された場合、送信元になる移動端末装置１０のユーザは倒れているので、低い位置である場合が多い。そのため、他の物体や建物の陰になり、ＥＭＥＲＧＥＮＣＹ ＭＡＮ−ＤＯＷＮ情報を送信した移動端末装置１０の他装置アイコン２００が画像５０に配置されなくなる。これに対応するため、ＥＭＥＲＧＥＮＣＹ ＭＡＮ−ＤＯＷＮ情報を第３移動端末装置１０ｃが送信した場合、第３移動端末装置１０ｃのユーザを第２移動端末装置１０ｂの撮像部２６において撮像可能であれば、第２移動端末装置１０ｂにおいて撮像がなされる。第２移動端末装置１０ｂは、第３移動端末装置１０ｃのユーザを撮像した画像（以下、「写真画像」という）を第１移動端末装置１０ａ等に送信し、第１移動端末装置１０ａの通信部２２は、写真画像も受信する。取得部２４は、通信部２２において受信した写真画像を取得して、処理部２８に出力する。

処理部２８は、図６と同様の画像５０を生成するが、その際、取得部２４から取得した写真画像を合成する。図７は、本発明の実施例２に係る処理部２８において生成される別の画像５０を示す。ここでは、第３他装置アイコン２００ｃがビルの陰に隠れているために配置されていない。その代わりに、第２移動端末装置１０ｂによって撮像された写真画像２１０が示される。なお、第２移動端末装置１０ｂが、第３移動端末装置１０ｃの位置情報と、第２移動端末装置１０ｂの位置および方向の情報と、第２移動端末装置１０ｂの撮像部２６の画角の情報とを用いて、第２移動端末装置１０ｂから見た拡張空間上に第３移動端末装置１０ｃを配置した画像（図６と同様な画像）を作成し、それを第１移動端末装置１０ａに送信してもよい。その際には、伝送路ライン２０４の描画を省略する。図２に戻る。

前述のような、ＥＭＥＲＧＥＮＣＹ ＭＡＮ−ＤＯＷＮ情報を送信した移動端末装置１０の他装置アイコン２００が画像５０に配置されなくなる場合に、処理部２８は、第１位置情報と第２位置情報とをもとに導出した座標とは異なった別の座標に他装置アイコン２００を配置してもよい。その際、処理部２８は、他装置アイコン２００に対応づけて、別の座標と座標との関係に関する情報（以下、「座標情報」という）も配置する。つまり、他の移動端末装置１０が実際に存在する位置とは異なる位置に他装置アイコン２００が配置される場合に、他装置アイコン２００の表示位置を基準にして、他の移動端末装置１０が実際に存在する位置の相対的な位置関係が文字情報として配置される。

図８は、本発明の実施例２に係る処理部２８において生成されるさらに別の画像５０を示す。例えば、第３移動端末装置１０ｃが緯度Ｘ、経度Ｙ、高度Ｚに位置する場合（単位はすべて［ｍ］）、処理部２８は、高度を１０ｍ高くした（Ｚ＋１０ｍ）位置に第３他装置アイコン２００ｃを配置する。また、処理部２８は、第３他装置アイコン２００ｃの近傍に「この１０ｍ下」等の文字が示された座標情報２１２を配置する。このようにすると、他の移動端末装置１０のユーザが建物の陰で倒れている場合でも、その位置が特定されやすい。

以上の構成による通信システム１００の動作を説明する。図９は、本発明の実施例２に係る通信システム１００による表示手順を示すシーケンス図である。第２移動端末装置１０ｂは、エマージェンシーを検出する（Ｓ１００）。第２移動端末装置１０ｂは、ＥＭＥＲＧＥＮＣＹ情報が示された状態情報を第１移動端末装置１０ａに送信し（Ｓ１０２）、第１移動端末装置１０ａは、ＥＭＥＲＧＥＮＣＹ情報を取得する（Ｓ１０４）。第３移動端末装置１０ｃは、エマージェンシー・マン・ダウンを検出する（Ｓ１０６）。第３移動端末装置１０ｃは、ＥＭＥＲＧＥＮＣＹ ＭＡＮ−ＤＯＷＮ情報が示された状態情報を第１移動端末装置１０ａに送信し（Ｓ１０８）、第１移動端末装置１０ａは、ＥＭＥＲＧＥＮＣＹ ＭＡＮ−ＤＯＷＮ情報を取得する（Ｓ１１０）。第１移動端末装置１０ａは画像５０を表示する（Ｓ１１２）。

図１０は、本発明の実施例２に係る通信システム１００による別の表示手順を示すシーケンス図である。第２移動端末装置１０ｂは、第３移動端末装置１０ｃを携帯したユーザの写真画像を撮像する（Ｓ１５０）。第２移動端末装置１０ｂは、写真画像を第１移動端末装置１０ａに送信する（Ｓ１５２）。第１移動端末装置１０ａは、写真画像を合成した画像５０を表示する（Ｓ１５４）。

図１１は、処理部２８による表示手順を示すフローチャートである。ＥＭＥＲＧＥＮＣＹ ＭＡＮ−ＤＯＷＮ情報を取得した他の移動端末装置１０の位置が、画像５０内に表示可能でなければ（Ｓ２００のＮ）、処理部２８は、移動端末装置１０の位置をもとに、実際の位置よりも高度を上げる等の処理を行って、画像５０内に表示可能な位置情報を作成する（Ｓ２０２）。ＥＭＥＲＧＥＮＣＹ ＭＡＮ−ＤＯＷＮ情報を取得した他の移動端末装置１０の位置が、画像５０内に表示可能であれば（Ｓ２００のＹ）、ステップ２０２はスキップされる。記憶部３０は、画像５０を表示する。すなわち、移動端末装置１０の状態が所定条件を満たす場合に、当該移動端末装置１０の位置（実際の位置）を表示画面の拡張空間内に表示可能な位置（表示のための位置）に変更した上で表示を行ってもよい。その際にさらに、実際の位置と、表示のための位置との差（関係性）に関する情報を表示してもよい。

本実施例によれば、他の移動端末装置の周囲の環境に依存した状態に関する情報として、他の移動端末装置からの状態情報を他装置アイコンに対応づけて表示するので、周囲の環境に依存した情報を分かりやすく表示できる。また、ＥＭＥＲＧＥＮＣＹ情報を取得した場合に、それに合わせて他装置アイコンを表示するので、他の移動端末装置を携帯したユーザがエマージェンシー状態であることを通知できる。また、ＥＭＥＲＧＥＮＣＹ ＭＡＮ−ＤＯＷＮ情報を取得した場合に、それに合わせて他装置アイコンを表示するので、他の移動端末装置を携帯したユーザがエマージェンシー・マン・ダウン状態であることを通知できる。

また、ＥＭＥＲＧＥＮＣＹ ＭＡＮ−ＤＯＷＮ情報を送信した他の移動端末装置を携帯したユーザを撮像した画像が、さらに他の移動端末装置から送信されるので、当該ユーザが倒れているために障害物に隠れていても、当該ユーザの存在を確認できる。また、表示可能なように位置を変換して他装置アイコンを表示するとともに、変換前後の位置の関係も表示するので、他装置アイコンが障害物に隠れるような場合であっても、他装置アイコンを表示しつつ、正しい位置を通知できる。また、エマージェンシーを含む各移動端末装置の状態・場所・距離等を拡張現実で確認できる。また、移動端末装置が囲まれた状態の中で、特にエマージェンシー状態を直感的に分かりやすく表示できる。

（実施例３）
次に、実施例３を説明する。実施例３に係る移動端末装置は、これまでと同様に、ＡＲ技術を利用することによって、撮像した画像上に、他の移動端末装置を示した他装置アイコンを表示する。一方、実施例３に係る移動端末装置は、撮像した画像上に、他装置アイコンの移動軌跡と、本移動端末装置を示したアイコン（以下、「自装置アイコン」という）の移動軌跡を表示する。また、その際に信号強度の情報も示される。このように、移動軌跡と信号強度とを示すことによって、通信品質が改善される可能性が高い位置の判断材料が与えられる。実施例３に係る通信システム１００、移動端末装置１０は、図１、２と同様のタイプである。ここでは、これまでとの差異を中心に説明する。

図２の記憶部３０は、第１位置情報の履歴を記憶するとともに、第２位置情報の履歴を記憶する。また、記憶部３０は、第２位置情報の履歴に対応した信号強度も記憶する。これは、第２位置情報が含まれた信号を通信部２２が受信した場合に、取得部２４において測定した信号強度である。図１２は、本発明の実施例３に係る記憶部３０に記憶されたデータベースのデータ構造を示す。図示のごとく、移動端末装置１０ごとに、「名前」、「グループ」、「状態」、「住所」、「方向」、「更新」、「信号強度」、「時刻」の情報の履歴が記憶される。なお、第１移動端末装置１０ａにおける処理を説明の対象としているので、第１移動端末装置１０ａの履歴には、「信号強度」が示されていない。図２に戻る。

処理部２８は、撮像部２６が撮像した画像上において、記憶部３０に記憶した第１位置情報の履歴と第２位置情報の履歴をもとに導出した座標の履歴のそれぞれに、他装置アイコン２００を配置する。この処理は、これまで同様の処理を、複数の座標のそれぞれに対して実行することに相当する。また、処理部２８は、記憶部３０に記憶した第１位置情報の履歴をもとに導出した座標の履歴のそれぞれに、本移動端末装置１０が示される自装置アイコンを配置する。この処理は、これまでの処理を、第１位置情報だけに対して実行することに相当する。

さらに、処理部２８は、複数の他装置アイコン２００と複数の自装置アイコンのうち、互いに対応しうる他装置アイコン２００と自装置アイコン、例えば、時刻が所定の範囲に含まれるもの同士を特定する。処理部２８は、特定した他装置アイコン２００と自装置アイコンとの間に、他装置アイコン２００と自装置アイコンとを関連づけるための表示（以下、「過去対応ライン」という）を描画することによって、画像５０を生成する。

図１３は、本発明の実施例３に係る処理部２８において生成される画像５０を示す。図示のごとく、履歴にしたがって、複数の第２他装置アイコン２００ｂが示されるともに、複数の自装置アイコン２２０が示される。第２他装置アイコン２００ｂは、前述のごとく、第２移動端末装置１０ｂに対応し、自装置アイコン２２０は、第１移動端末装置１０ａに対応する。また、１つの第２他装置アイコン２００ｂと１つの自装置アイコン２２０とが過去対応ライン２２２によって結ばれている。ここでは、図面を明瞭にするために、１つの過去対応ライン２２２だけが示されているが、複数の過去対応ライン２２２が示されていてもよい。なお、過去対応ライン２２２に対しても、伝送路ライン２０４と同様に、信号強度に応じて表示態様が変更されてもよい。

このような表示によって、他の移動端末装置１０と本移動端末装置１０との相互関係を確認することが可能である。軌跡の他装置アイコン２００あるいは自装置アイコン２２０が重なってしまった場合、新しいものを手前が配置される。他装置アイコン２００と自装置アイコン２２０が重なってしまった場合は、設定によりどちらを手前に表示するのか指示することが可能である。さらに、他装置アイコン２００や自装置アイコン２２０をタップすることにより、当時の通信システム１００の情報や、当時の信号強度が表示されてもよい。このような表示をすることにより、現在位置での信号強度が弱い場合に過去に良好に通信できた位置を参考にして通信品質が改善される位置を容易に探すことができる。また、巡回監視業務などにおいて、本移動端末装置１０のユーザ本人および通信相手の過去の経路を容易に確認できるため、今後の巡回ルートの策定や変更などに利用することができる。例えば、複数の移動端末装置１０を使って巡回監視等を行う場合、他の移動端末装置１０が過去所定時間以内に巡回したルートを避けて、効率的な巡回を行うことができる。

本実施例によれば、本移動端末装置の位置座標の履歴と、他の移動端末装置の位置座標を履歴を記憶するので、他装置アイコンの移動軌跡と自装置アイコンの移動軌跡とを画像上に表示できる。また、複数の他装置アイコンと複数の自装置アイコンのうち、互いに対応しうる他装置アイコンと自装置アイコンとを関連づける過去対応ラインを表示するので、どのタイミング、どの位置で通信していたかを分かりやすく表示できる。また、信号強度も示されるので、どのタイミング、どの位置で、どれくらいの通信品質で通信していたかを分かりやすく表示できる。また、どのタイミング、どの位置で、どれくらいの通信品質で通信していたかが分かりやすく表示されるので、通信品質が悪化した場合に、通信品質のよかった状態に戻しやすくできる。

（実施例４）
次に、実施例４を説明する。実施例４に係る移動端末装置は、これまでと同様に、ＡＲ技術を利用することによって、撮像した画像上に、他の移動端末装置を示した他装置アイコンを表示する。実施例４では、画像上に示された情報をもとに、他の移動端末装置に指示を出力することに関する。実施例４に係る通信システム１００、移動端末装置１０は、図１、２と同様のタイプである。ここでは、実施例１との差異を中心に説明する。

図１４は、本発明の実施例４に係る処理部２８において生成される画像５０を示す。画像５０には、図３等と同様に、第２他装置アイコン２００ｂ、第２伝送路ライン２０４ｂが示される。ユーザが、表示部３２に表示された画像５０において、第２他装置アイコン２００ｂの近傍をタップすることによって、サブメニュー２３０が表示される。さらに、ユーザは、サブメニュー２３０のうちの「移動指示」を選択する。これにつづいて、ユーザが、第２移動端末装置１０ｂのユーザを移動させたい位置をタップすることにより、画像５０上に目的地アイコン２３２が表示される。処理部２８は、記憶部３０に記憶された第１位置情報を用いて、目的地アイコン２３２の座標をもとに緯度・経度（第３位置情報）を導出し、導出した緯度・経度（第３位置情報）、または第３位置情報に基づく移動指示情報を通信部２２経由で第２移動端末装置１０ｂに送信する。

第２移動端末装置１０ｂでは、移動指示を受信すると、目的地への移動経路が示されたナビゲーション画面を表示部３２に表示する。また、第１移動端末装置１０ａの処理部２８は、第２移動端末装置１０ｂの現在位置（第２位置情報）を基準として、移動先（第３位置情報）との相対位置を計算し、拡張現実画面や地図画面を用いずに「東に３０ｍ移動して下さい」等のテキストメッセージや自動音声メッセージを生成してもよい。これらのメッセージも第２移動端末装置１０ｂに送信される。

本実施例によれば、画像上において移動させたい位置を示すので、移動指示を容易に出力できる。また、移動指示を受けつけた場合に、移動指示によって示された位置までのナビゲート画面を表示するので、容易に移動させることができる。また、また、画像上において信号強度が示されるので、通信品質が改善される可能性の高い位置に他の移動端末装置１０を誘導できる。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

本実施例１乃至４によれば、通信システム１００では、業務用無線システムが使用されている。しかしながらこれに限らず例えば、業務用無線システム以外の無線通信システムが使用されてもよい。本変形例によれば、システムの自由度を向上できる。

１０ 移動端末装置、 ２０ 測位部、 ２２ 通信部、 ２４ 取得部、 ２６ 撮像部、 ２８ 処理部、 ３０ 記憶部、 ３２ 表示部、 １００ 通信システム。

Claims (9)

1. 移動端末装置であって、
   本移動端末装置の第１位置情報を測位する測位部と、
   他の移動端末装置と通信することによって、前記他の移動端末装置において測位された第２位置情報を取得する通信部と、
   本移動端末装置の周囲の環境を撮像する撮像部と、
   前記他の移動端末装置からの信号を前記通信部が受信した際の信号強度、または前記他の移動端末装置が本移動端末装置からの信号を受信した際の信号強度に関する情報を取得する取得部と、
   前記撮像部が撮像した画像上において、本移動端末装置の位置を示す第１座標から、前記第１位置情報と前記第２位置情報とをもとに導出した前記他の移動端末装置の位置を示す第２座標の方向にラインを表示する表示部と、
   を備え、
   前記表示部は、前記取得部で取得された信号強度に関する情報に応じて、前記ラインの表示態様を設定することを特徴とする移動端末装置。
2. 前記表示部は、前記信号強度が大きいほど濃い色で、または前記信号強度が大きいほど太い線で前記ラインを表示することを特徴とする請求項１に記載の移動端末装置。
3. 前記表示部は、前記第１位置情報から前記第２位置情報との間に障害物が存在しない場合に、前記第１座標から前記第２座標までの線分を前記ラインとして表示し、かつ前記第２座標に対応させて前記他の移動端末装置を示す他装置アイコンを表示し、前記第１位置情報から前記第２位置情報との間に障害物が存在する場合に、前記第１座標から当該障害物に対応する座標までの線分を前記ラインとして表示することを特徴とする請求項１または２に記載の移動端末装置。
4. 前記表示部は、前記第１位置情報から前記第２位置情報との間に障害物が存在する場合に、前記第２座標とは異なった第３座標に前記他の移動端末装置を示す他装置アイコンを表示するとともに、前記第３座標に相当する位置から前記第２座標に相当する位置までの距離に関する情報も表示することを特徴とする請求項１または２に記載の移動端末装置。
5. 前記第１位置情報の履歴および前記第２位置情報の履歴を記憶するとともに、前記第２位置情報に位置する前記他の移動端末装置からの信号を前記通信部が受信した際の信号強度の履歴を記憶する記憶部をさらに備え、
   前記表示部は、
   前記記憶部に記憶された前記第１位置情報の履歴および前記第２位置情報の履歴をもとに、過去の一時点における本移動端末装置の位置を示す前記第１座標から、前記過去の一時点における前記他の移動端末装置の位置を示す前記第２座標の方向に前記ラインを表示するとともに、
   前記記憶部に記憶された前記過去の一時点における信号強度をもとに、前記ラインの表示態様を設定することを特徴とする請求項１または２に記載の移動端末装置。
6. 前記取得部は、さらに前記他の移動端末装置から少なくとも２種類のエマージェンシー情報を取得し、
   前記表示部は、前記第２座標に対応させて前記他の移動端末装置を示す他装置アイコンを表示するとともに、前記エマージェンシー情報の種類に応じて、前記他装置アイコンの表示態様を設定することを特徴とする請求項１から５のいずれか１項に記載の移動端末装置。
7. 前記取得部は、さらに前記他の移動端末装置とは異なる第３の移動端末装置により撮像された前記他の移動端末装置に係る画像を取得し、
   前記表示部は、前記第２座標に基づく座標に、前記取得した画像を表示することを特徴とする請求項１から６のいずれか１項に記載の移動端末装置。
8. 前記他の移動局装置を別の場所に移動させるために、前記表示部で表示される画像上で目的地を示す座標をユーザに指定させるための入力部と、
   前記入力部で指定された前記目的地を示す座標と、前記測位部において測位した第１位置情報とに基づいて、前記座標に対応する第３位置情報を導出する処理部とをさらに備え、
   前記表示部は、前記ラインと前記目的地を示す目的地アイコンとを表示し、
   前記通信部は、第３位置情報に係る情報を前記他の移動端末装置に送信することを特徴とする請求項１から７のいずれかに記載の移動端末装置。
9. 移動端末装置のためのプログラムであって、
   本移動端末装置の第１位置情報を測位するステップと、
   他の移動端末装置と通信することによって、前記他の移動端末装置において測位された第２位置情報を取得するステップと、
   本移動端末装置の周囲の環境を撮像するステップと、
   前記他の移動端末装置からの信号を受信した際の信号強度、または前記他の移動端末装置が本移動端末装置からの信号を受信した際の信号強度に関する情報を取得するステップと、
   前記撮像した画像上において、本移動端末装置の位置を示す第１座標から、前記第１位置情報と前記第２位置情報とをもとに導出した前記他の移動端末装置の位置を示す第２座標の方向にラインを表示する表示ステップと、
   を含み、
   前記表示ステップは、前記取得された信号強度に関する情報に応じて、前記ラインの表示態様を設定することを特徴とするプログラム。