JP6976186B2 - 端末装置及びプログラム - Google Patents

Description

本発明は、携帯型の端末装置を使用した所定エリアの案内技術に関する。

特許文献１は、音声ガイド装置を開示している。これら、音声ガイド装置は、例えば、美術館といった所定エリアにおける展示物を音声で説明するために利用者に貸し出されたりしている。しかしながら、総ての展示物に対して音声ガイドが用意されている訳ではなく、音声ガイド装置を使用している来訪者は展示物の近傍に表示されている番号等を見て初めて音声ガイドが用意されている展示物を認識できる。

一方、非特許文献１は、場所記述情報の生成について開示している。具体的には、端末装置は、撮像部により画像を撮像しながら、その位置や、撮像方向を変化させる。端末装置は、場所記述情報の取得の間、その開始時の位置を原点とし、端末装置が取得する加速度情報及び角速度情報に基づき端末装置の位置や撮像方向の向きを判定し続ける。また、端末装置は、撮像している画像（以下、撮像画像と呼ぶ。）内の特徴点を求める。このとき、端末装置は、３次元空間における端末装置の位置や撮像方向と、画像内の同じ特徴点の位置、つまり、特徴点のスクリーン座標を判定する。これにより、端末装置は、３次元空間内の各位置及び各撮像方向において、撮像画像内のどの位置に各特徴点が見えるかを示す場所記述情報を生成する。

端末装置は、既に生成した場所記述情報と、撮像画像の特徴点とを比較することで、そのときの端末装置の３次元空間位置と撮像方向を判定することができる。なお、３次元空間位置の原点は、場所記述情報を開始したときの位置である。また、端末装置は、既に保存している場所記述情報と、撮像画像の特徴点との比較により端末装置の３次元空間位置及び撮像方向を判定すると同時に、撮像画像の特徴点に基づき当該既に保存している場所記述情報の更新も行う。

特開平８−２６３００６号公報

Ｔａｎｇｏ、［ｏｎｌｉｎｅ］、［平成２９年１月１０日検索］、インターネット、＜ＵＲＬ：ｈｔｔｐｓ：／／ｇｅｔ．ｇｏｏｇｌｅ．ｃｏｍ／ｔａｎｇｏ／＞

非特許文献１に記載の場所記述情報により、撮像画像と仮想物体を示す画像（案内画像）を重畳させて端末装置のディスプレイに表示することができる。なお、案内画像を配置する３次元空間位置は、端末装置の３次元空間位置に基づき決定することができる。そして、例えば、所定の展示物と案内画像を配置する３次元空間位置との距離が所定値未満となると、案内画像が当該所定の展示物のガイドを行っている様に表示し、かつ、当該所定の展示物を説明する音声を端末装置から出力させることができる。このとき、案内画像を配置する３次元空間位置に物体があり、当該３次元空間位置に案内画像を表示することが適切ではない場合がある。このため、例えば、深さセンサを有する端末装置では、深さセンサにより物体を認識し、物体がある位置には案内画像を表示しない様に制御することが考えられる。しかしながら、この方法は、深さセンサが設けられていない端末装置には適用できない。また、深さセンサの検出範囲には限界があり、この検出範囲外に案内画像を配置する場合には、物体がある位置に案内画像が表示され得る。

本発明は、深さセンサによらず仮想物体を適切に表示できる端末装置及びプログラムを提供するものである。

本発明の一態様によると、端末装置は、ディスプレイと、撮像手段と、所定エリアの３次元地図情報と、仮想物体を示す仮想物体情報と、前記所定エリア内の所定領域を示す領域情報と、を保持する保持手段と、前記３次元地図情報と前記撮像手段が撮像した撮像画像とに基づき前記撮像手段の位置及び方向を判定し、前記撮像手段の位置及び方向に基づき第１位置を決定する第１決定手段と、前記第１位置と前記撮像手段との間に前記所定領域があるか否かを判定する判定する判定手段と、前記第１位置と前記撮像手段との間に前記所定領域がないと前記第１位置を配置位置とし、前記第１位置と前記撮像手段との間に前記所定領域があると前記第１位置と、前記所定領域と、前記撮像手段の位置と、に基づき配置位置を決定する第２決定手段と、前記配置位置に前記仮想物体がある様に、前記撮像画像と前記仮想物体とを重畳させて前記ディスプレイに表示する処理を行う処理手段と、を備えていることを特徴とする。

本発明によると、深さセンサによらず仮想物体を適切に表示することができる。

一実施形態による端末装置の構成図。 一実施形態による制御部の機能ブロック図。 一実施形態による所定エリアを示す図。 一実施形態による表示処理部の処理の説明図。 一実施形態による表示処理部の処理の説明図。 一実施形態による表示処理部の処理の説明図。

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。

図１は、本実施形態による端末装置の概略的な構成図である。端末装置は、例えば、スマートフォンといった携帯型の通信装置である。スピーカ１０１は、制御部１００から出力する音声信号を音声に変換する。マイク１０２は、音声を音声信号に変換して制御部１００に出力する。撮像部１０３は、レンズ及びＣＣＤセンサを有し画像情報を取得して制御部１００に出力する。ＧＰＳ処理部１０４は、ＧＰＳ衛星からの信号を受信し、受信した信号に基づき、緯度、経度、高度を含む位置情報を制御部１００に出力する。なお、ＧＰＳ衛星ではなく、準天頂衛星の様な、他の測位システムの衛星からの信号に基づき位置情報を出力する構成であっても良い。ディスプレイ１０５は、本実施形態では、タッチセンシティブディスプレイであり、ユーザへの情報の提示に加え、ユーザ操作の入力部としても機能する。なお、ディスプレイがタッチセンシティブディスプレイではない場合、別に、入力部を設ける。深さセンサ１０６は、オブジェクトまでの距離（深さ）を測定して測定結果を深さ情報として制御部１００に出力する。通信部１０７は、移動通信網や無線ＬＡＮ等を介した通信処理を行う。地磁気センサ１０８は、地磁気を検出して端末の基準方向の現在の方位を示す方位情報を制御部１００に出力する。加速度センサ１０９は、加速度を検出して加速度情報を制御部１００に出力する。ジャイロセンサ１１０は、角速度を検出して角速度情報を制御部１００に出力する。

制御部１００は、端末装置全体の制御部であり、１つ以上のプロセッサとメモリ部と、を備えている。なお、メモリ部は、プロセッサが一時的なデータの保存用として使用するＲＡＭや、プロセッサが実行するオペレーティングシステム及びアプリケーションと、電源断となっても保持すべきデータとが格納されるフラッシュメモリを有する。

図２は、本実施形態を説明するための制御部１００の機能ブロック図である。場所記述情報生成部１００１は、例えば、非特許文献１に記載された技術に基づき場所記述情報を生成する。具体的には、場所記述情報生成部１００１は、場所記述情報の取得の間、加速度センサ１０９及びジャイロセンサ１１０からの加速度情報及び角速度情報に基づき端末装置の位置や撮像方向を判定し続ける。同時に、撮像部１０３からの撮像画像を示す撮像画像情報に基づき撮像画像内の特徴点を求める。そして、端末装置の位置や撮像方向と、撮像画像内の特徴点とに基づき場所記述情報の生成及び更新を行う。

一方、情報取得部１００３は、通信部１０７を介して、図示しないサーバ装置から所定エリアについての３次元地図情報と、案内情報と、表示不可領域情報と、を取得し保存する。これら情報は、この所定エリアの管理者側において、予め作成してサーバ装置に保存しておく。ここで、所定エリアとは、博物館、美術館等、本発明の端末装置によりガイドを行うエリアである。３次元地図情報は、当該所定エリアについて、場所記述情報生成部１００１が生成するのと同様の場所記述情報である。なお、３次元地図情報の原点は任意の位置であって良い。

案内情報は、案内画像を示す案内画像情報と、案内場所を示す案内場所情報と、案内場所における案内内容を示すガイド情報と、を有する。案内場所は、３次元地図情報で特定できる３次元空間における座標により示される。図３は、ある所定エリアの平面図であり、図中の点線の円の中心位置が、案内場所である。案内場所にはガイドの対象である展示物が設置されている。図３の点線の円内の番号は、案内場所を特定するための識別子である。なお、総ての展示物を案内対象とする必要はない。本実施形態においては、図３の網掛けの円の中心位置にも展示物が設置されているが、これらは端末装置によるガイドの対象ではないものとする。

案内画像情報は、撮像画像に重畳させてディスプレイ１０５に表示する仮想物体である案内画像の情報を示している。案内画像には任意の画像を用いることができる。例えば、案内画像として、人間や動物といった動物体や、それらをモデル化した、所謂、キャラクタ画像を使用することができる。案内画像は、３次元モデルデータと、歩いている様にキャラクタを動かしたり、展示物のガイドを行っている様にキャラクタを動かしたりするモーションデータと、を含むものとすることができる。以下では、案内画像が人間をモデルにしたキャラクタ画像であるのとし、案内画像が示す仮想物体を案内キャラクタと呼ぶものとする。

表示処理部１００２は、まず、情報取得部１００３が取得した３次元地図情報と、撮像画像の特徴点に基づき、３次元空間における端末装置の位置及び方向を判定する。なお、ここでは、撮像部１０３の位置及び撮像方向を、端末装置の位置及び方向とする。また、場所記述情報生成部１００１は、情報取得部１００３が取得した３次元地図情報（場所記述情報）を撮像画像に基づき更新する。以下では、情報取得部１００３が取得した３次元地図情報と、当該３次元地図情報の場所記述情報生成部１００１による更新後の３次元地図情報を、単に、場所記述情報と表記する。

表示処理部１００２は、撮像部１０３の撮像方向側であって、撮像部１０３による撮像範囲内の所定位置に案内キャラクタがいる様に、案内キャラクタを撮像画像に重畳させてディスプレイ１０５に表示する。また、ユーザが、例えば、端末装置によりその進行方向を撮像しながら歩くと、表示処理部１００２は、案内キャラクタも、同じ方向に歩いているようにディスプレイ１０５に表示させる。なお、端末装置と案内キャラクタとの相対的な位置関係はあらかじめ決まっている。また、上述した様に、端末装置は、場所記述情報と撮像画像の特徴点に基づき端末装置の位置及び方向を判定できる。したがって、端末装置は、案内キャラクタを立たす位置を判定することができる。

また、表示処理部１００２は、案内キャラクタと案内場所との距離が閾値以内になると、案内キャラクタが当該案内場所の案内をしているようにディスプレイ１０５に表示する。さらに、当該案内場所に対応するガイド情報に従い、当該案内場所の展示物についての情報をユーザに提示する。例えば、ガイド情報は、テキスト情報であり、ディスプレイ１０５に、案内キャラクタがしゃべっている様な吹き出しを追加して、吹き出し内に展示物についての情報を表示することができる。また、例えば、ガイド情報は、音声情報であり、表示処理部１００２は、スピーカ１０１により展示物についての情報を音声で出力する構成とすることができる。

以上の構成により、例えば、端末装置は、撮像画像に重畳させて案内キャラクタをディスプレイ１０５に表示する。この案内キャラクタは、ユーザが歩くと、それに合わせて歩くようにディスプレイ１０５に表示され、ユーザが止まると、それに合わせて止まる様にディスプレイ１０５に表示される。しかしながら、例えば、展示物がある位置や、壁の位置が案内キャラクタの表示位置になると、ディスプレイ１０５に案内キャラクタを自然な形で表示できなくなる。また、案内キャラクタの表示位置が、ユーザから見て壁の向こう側になるとディスプレイ１０５に案内キャラクタを自然な形で表示できなくなる。

このため、本実施形態では、表示不可領域情報を使用する。表示不可領域情報は、案内キャラクタの表示ができない表示不可領域を示す情報である。図３において、網掛けの円及び点線の円内には展示物が存在する。よって、表示不可領域情報は、網掛けの円及び点線の円内の領域を表示不可領域として示している。さらに、図３において、網掛けの円とは異なる網掛領域は壁であり、よって、表示不可領域情報は、これら領域も表示不可領域情報と示している。

図４から図６は、本実施形態による、表示処理部１００２における案内キャラクタの表示処理の説明図である。図４から６において、×は、端末装置の移動後の位置を示している。また、黒丸は、端末装置が×で示す位置及び方向であるときに案内キャラクタを配置すべき位置を示している。なお、案内キャラクタを配置すべき位置は、端末装置の位置及び方向を基準とした相対位置で示され、この相対位置は、案内情報に含まれている。また、白丸は、端末装置が×で示す位置及び方向となる前の状態において、案内キャラクタを配置すべき位置を示している。さらに、網掛領域は表示不可領域を示している。仮に、網掛領域、つまり、表示不可領域がないと、表示処理部１００２は、白丸から黒丸に案内キャラクタが歩き、黒丸の位置で止まる様にディスプレイ１０５に表示する。しかしながら、黒丸の位置は、ユーザ（端末装置）から見ると、壁又は展示物の後ろ側となり、案内キャラクタを、撮像画像に重ねて表示すると不自然になる。したがって、この場合、表示処理部１００２は、案内キャラクタを配置すべき位置（図の黒丸の位置）と端末装置とを結ぶ線上において、表示不可領域の最も端末装置側の位置と端末装置との間を表示可能区間とし、表示可能区間に案内キャラクタが立っているように案内キャラクタをディスプレイ１０５に表示する。なお、このとき、表示処理部１００２は、図４の黒塗りの四角で示す様に、表示可能区間のうちの端末装置から最も遠い位置に案内キャラクタを表示する構成とすることができる。そして、表示処理部１００２は、白丸から黒塗の四角に案内キャラクタが歩き、黒塗の四角の位置で止まる様に案内キャラクタをディスプレイ１０５に表示する。

図５は、案内キャラクタを配置すべき位置（図の黒丸の位置）と端末装置との間に複数の表示不可領域がある場合を示している。この場合も、案内キャラクタを配置すべき位置（図の黒丸の位置）と端末装置とを結ぶ線上において、端末装置と、端末装置側から見て最初の表示不可領域の境界との間の区間を表示可能区間とする。図６は、白丸から黒塗の四角への案内キャラクタが歩く経路上に表示不可領域が存在する場合を示している。本実施形態では、表示処理の簡略化のため、案内キャラクタの始点（白丸の位置）と終点（黒塗り四角の位置）との間に表示不可領域が存在しても、点線の矢印で示す様に、案内キャラクタが表示不可領域を通過する様に表示処理部１００２は表示する。しかしながら、実線の矢印で示す様に、表示処理部１００２は、表示不可領域の端末側の境界に沿って迂回する様に表示することもできる。

なお、上記説明において、案内キャラクタを表示する位置は、端末装置の位置及び方向に対して相対的に決められ、端末装置の位置及び方向を変化させることに応じて、案内キャラクタが移動する様に表示するものとしていた。しかしながら、案内情報として、ユーザが進むべき経路を示す経路情報を案内情報に含め、この経路情報に基づき案内キャラクタを表示する位置を決定する構成とすることもできる。この場合、案内キャラクタの配置位置は、端末装置の位置に対して経路の下流側（進む方向側）であり、端末装置と所定距離の位置となる。なお、撮像画像が、案内キャラクタの配置位置を含まない場合、表示処理部１００２は、案内キャラクタのディスプレイ１０５への表示は行わない。一方、撮像画像が、案内キャラクタの配置位置を含む場合、表示処理部１００２は、当該配置位置に案内キャラクタが立っている様にディスプレイ１０５に表示する。また、このとき、表示処理部１００２は、例えば、案内キャラクタが経路に沿った進行方向を向くように、案内キャラクタを表示する。この構成により、端末装置のユーザは、経路を容易に認識することができる。そして、ユーザが経路の進行方向に沿って移動すると、案内キャラクタがユーザを先導して歩いている様にディスプレイ１０５に表示する。なお、この場合においても、表示不可領域に対する表示制御は同様である。

また、配置位置と端末装置の位置との間の距離（以下、表示距離）については、固定的とするのではなく可変とすることができる。例えば、ユーザが、所定エリアを回り終える目標時刻を端末装置に入力する。端末装置は、この目標時刻を経路情報が示す経路の終わりの位置に対応づける。そして、表示処理部１００２は、現在の時刻から目標時刻までの時間に応じて表示距離を決定することができる。例えば、表示処理部１００２は、現在時刻から目標時刻までの時間を求め、この時間が小さくなる程、表示距離を大きくすることができる。また、表示処理部１００２は、経路情報が示す経路の終了位置へ目標時刻に到達するためのユーザの移動速度を判定し、移動速度に基づき表示距離を決定することができる。この場合、移動速度が速くなる程、表示距離を大きくする構成とすることができる。

以上、ユーザを早く誘導させる様に案内キャラクタを表示することで、ユーザを目標時刻までに経路の終わりまで誘導することができる。

なお、本発明による端末装置は、コンピュータを上記端末装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。

１００１：場所記述情報生成部、１００２：表示処理部、１００３：情報取得部

Claims (13)

1. ディスプレイと、
   撮像手段と、
   所定エリアの３次元地図情報と、仮想物体を示す仮想物体情報と、前記所定エリア内の所定領域を示す領域情報と、を保持する保持手段と、
   前記３次元地図情報と前記撮像手段が撮像した撮像画像とに基づき前記撮像手段の位置及び方向を判定し、前記撮像手段の位置及び方向に基づき第１位置を決定する第１決定手段と、
   前記第１位置と前記撮像手段との間に前記所定領域があるか否かを判定する判定する判定手段と、
   前記第１位置と前記撮像手段との間に前記所定領域がないと前記第１位置を配置位置とし、前記第１位置と前記撮像手段との間に前記所定領域があると前記第１位置と、前記所定領域と、前記撮像手段の位置と、に基づき配置位置を決定する第２決定手段と、
   前記配置位置に前記仮想物体がある様に、前記撮像画像と前記仮想物体とを重畳させて前記ディスプレイに表示する処理を行う処理手段と、
   を備えていることを特徴とする端末装置。
2. 前記第１位置は、前記撮像手段の位置及び方向に対して所定の関係となる位置であることを特徴とする請求項１に記載の端末装置。
3. 前記３次元地図情報と、前記仮想物体情報と、前記領域情報をサーバ装置から取得して前記保持手段に保持させる取得手段をさらに備えていることを特徴とする請求項１又は２に記載の端末装置。
4. ディスプレイと、
   撮像手段と、
   所定エリアの３次元地図情報と、仮想物体を示す仮想物体情報と、前記所定エリア内の所定領域を示す領域情報と、前記所定エリアの経路情報と、を保持する保持手段と、
   前記３次元地図情報と前記撮像手段が撮像した撮像画像とに基づき前記撮像手段の位置及び方向を判定し、前記撮像手段の位置及び前記経路情報に基づき第１位置を決定する第１決定手段と、
   前記第１位置と前記撮像手段との間に前記所定領域があるか否かを判定する判定する判定手段と、
   前記第１位置と前記撮像手段との間に前記所定領域がないと前記第１位置を配置位置とし、前記第１位置と前記撮像手段との間に前記所定領域があると前記第１位置と、前記所定領域と、前記撮像手段の位置と、に基づき配置位置を決定する第２決定手段と、
   前記撮像画像に前記配置位置が含まれる場合、前記配置位置に前記仮想物体がある様に、前記撮像画像と前記仮想物体とを重畳させて前記ディスプレイに表示する処理を行う処理手段と、
   を備えていることを特徴とする端末装置。
5. 前記第１決定手段は、前記経路情報が示す経路において前記撮像手段の位置より下流側の位置を前記第１位置として決定することを特徴とする請求項４に記載の端末装置。
6. ユーザに時刻を入力させる入力手段をさらに備えており、
   前記第１決定手段は、現在の時刻から前記ユーザが入力した時刻までの時間に基づき表示距離を決定し、前記経路情報が示す経路において前記撮像手段の位置より前記表示距離だけ下流側の位置を前記第１位置として決定することを特徴とする請求項４に記載の端末装置。
7. 前記表示距離は、現在の時刻から前記ユーザが入力した時刻までの時間が小さくなる程、大きくなることを特徴とする請求項６に記載の端末装置。
8. 前記第１決定手段は、前記ユーザが入力した時刻において前記経路情報が示す経路の終了位置に到達するための前記ユーザの移動速度を判定し、前記移動速度に基づき前記表示距離を決定することを特徴とする請求項６に記載の端末装置。
9. 前記表示距離は、前記移動速度が速くなる程、大きくなることを特徴とする請求項８に記載の端末装置。
10. 前記３次元地図情報と、前記仮想物体情報と、前記領域情報と、前記経路情報と、をサーバ装置から取得して前記保持手段に保持させる取得手段をさらに備えていることを特徴とする請求項４から９のいずれか１項に記載の端末装置。
11. 前記第２決定手段は、前記第１位置と前記撮像手段との間に前記所定領域があると前記撮像手段から前記第１位置の方向であって、前記撮像手段から前記所定領域までの間の位置を前記配置位置に決定することを特徴とする請求項１から１０のいずれか１項に記載の端末装置。
12. 前記保持手段は、前記所定領域内の位置に対応付けられた案内情報をさらに保持しており、
    前記所定領域内の前記位置と前記配置位置との距離が所定値以内になり、かつ、前記配置位置が前記撮像画像に含まれていると、前記所定領域内の前記位置に対応付けられた案内情報のユーザへの提示を行うことを特徴とする請求項１から１１のいずれか１項に記載の端末装置。
13. 請求項１から１２のいずれか１項に記載の端末装置としてコンピュータを機能させることを特徴とするプログラム。

Images