JP2013140223A - 情報表示装置、情報表示装置の制御方法、制御プログラム、制御プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】処理負荷を抑えながら視認可能な画面を表示する。
【解決手段】情報表示装置１は、自装置が所定の周期的反復パターンで運動しており、かつ、自装置の速度が、所定の上限速度と所定の下限速度との間である所定の範囲から外れていると判定したときには、次に自装置の速度が上記所定の範囲となると予測される予測時刻における予測表示情報を予測表示生成手段７８２によって生成し、該予測表示情報を表示部２に表示する。
【選択図】図１

Description

本発明は、位置の変化に応じて表示部に表示する内容を変化させる情報表示装置等に関するものである。

携帯電話やタブレット端末、またはデジタルカメラなどの、装置本体が移動しながら動画像の撮像や再生表示を行う記録および表示装置において、手の震えなどの意図しない運動によって記録・再生される動画像のぶれを補正する技術はこれまでに多く開示されてきた。

装置本体の振動により閲覧者が感じる見えづらさを軽減する技術として、特許文献１には、装置の利用者や装置に振動が発生する状況下においても視認性の良好な画像表示装置、電子機器、画像表示方法が開示されている。この画像表示装置は、装置の振動を検出したときに、その振動を構成する該画像表示装置の動きの方向と反対方向に、表示部における画像の表示位置を移動させる。これにより、使用者の視線の移動量を少なくすることができる。

装置本体が高速移動した際に記録されるぶれによる不快感を防止する技術として、特許文献２には、撮像装置の高速な運動を検出すると、その運動中は一時的に記録を中断する撮像装置が開示されている。この撮像装置は、該撮像装置内の加速度センサが該撮像装置の高速なパン、チルト運動を検出すると、その運動中の動画像の記録を一時中断し、撮影動画像信号をあらかじめ用意された画像（高速運動を検出した瞬間のフリーズ（静止）画像、またはぶれる前の画像でもよい）に切り替えるものである。これによって、撮影画像表示部には高速移動しているぶれ画像が表示されず、ユーザの不快感を防止することができる。

また、近年は、携帯電話などの移動通信端末を用いて、現実空間の映像に対してコンピュータ処理によって情報を付加するＡＲ（拡張現実感）技術が広く普及している。特許文献３には、拡張現実感をもたらす情報を事前に記録装置に格納しておく必要がなく、既存する情報サービスプロバイダの情報を利用して多様性に富んだ拡張現実感を提供することが可能であり、さらに、移動する物体の情報による拡張現実感を実現した情報提示システムが開示されている。この情報提示システムでは、第１の通信端末（携帯電話など）において、情報提示サーバにより送信された第２の通信端末の位置情報により示される位置が、第１の通信端末に備えられたカメラ部により取得された実空間の映像に含まれる位置である場合には、前記カメラ部により取得された映像に前記第２の通信端末のユーザを示すユーザデータを重畳して表示することができる。これにより、ユーザは様々な情報を得ることができ、利便性の高いサービスが実現可能となる。

特開２００６−１４５６１６号公報（２００６年６月８日公開） 特開２００５−３０３４９２号公報（２００５年１０月２７日公開） 特開２０１０−２３９５６８号公報（２０１０年１０月２１日公開）

携帯電話やタブレット端末などの移動通信端末における情報閲覧で常に問題となるのが、移動しながらの情報表示に伴う処理負荷である。移動中に表示情報をリアルタイムで更新して表示（追従表示）する場合、情報表示装置にかかる処理負荷が高くなり、表示の更新に遅延が出る、電池の消耗が激しくなるといった問題が生じる。

上記のような問題の影響を最も受けやすいものの一つとして、ＡＲ技術が挙げられる。特許文献３の技術では、端末は本体の移動に合わせて常にユーザ情報の更新処理を行う必要があり、このために処理負荷が高くなる問題に対応できない。一方、特許文献１の技術はぶれの補正を行うものであって、この技術の適用は処理負荷の低減には繋がらない。

考えられる解決策の一つとして、端末本体の激しいぶれや高速な移動など、ユーザが視認不可能とみなせる動きを端末がしている最中の表示更新を中断するという構成が考えられる。特許文献２の技術は激しいぶれに応じて録画を中断するものであるが、この構成は歩行のような周期的なぶれを想定したものではないため、録画の中断・再開のタイミングを事前に予測することができず、激しいぶれが起きたり収まったりするごとに録画の中断・再開を行う必要がある。したがって、ＡＲ技術のような、通常の視認が困難な状況においても、表示を継続することが望まれる装置に適用することはできない。

なお、上記の問題は、ユーザの歩行時やＡＲ技術への適用に限って生じる問題ではなく、移動を伴う情報表示装置に関するあらゆる状況において生じうる問題である。

本発明は上記事情に鑑みてなされたもので、移動を伴う情報表示装置において、自装置の位置の変化に応じて表示部に表示する内容を変化させる際に、処理負荷を抑えながら視認可能な画面を表示することが可能な情報表示装置等を提供することを目的とする。

上記課題を解決するために、本発明に係る情報表示装置は、位置の変化に応じて表示部に表示する内容を変化させる情報表示装置であって、自装置の運動が、所定の周期的反復パターンに合致するか否かを判定する運動パターン照合手段と、自装置の速度が、所定の上限速度と所定の下限速度との間である所定の範囲から外れているか否かを判定する速度判定手段と、上記周期的反復パターンに基づいて、自装置の速度が上記所定の範囲内となると予測される直近の予測時刻に表示されると予測される予測表示情報を生成する予測表示情報生成手段と、上記運動パターン照合手段の判定の結果、自装置の運動が上記周期的反復パターンに合致しており、かつ、上記速度判定手段の判定の結果、自装置の速度が上記所定の範囲から外れているとき、上記予測表示情報生成手段が生成した上記予測表示情報を上記表示部に表示する表示制御手段と、を備えることを特徴としている。

また、本発明に係る情報表示装置の制御方法は、位置の変化に応じて表示部に表示する内容を変化させる情報表示装置の制御方法であって、自装置の運動が、所定の周期的反復パターンに合致するか否かを判定する運動パターン照合ステップと、自装置の速度が、所定の上限速度と所定の下限速度との間である所定の範囲から外れているか否かを判定する速度判定ステップと、上記運動パターン照合ステップの判定の結果、自装置の運動が上記周期的反復パターンに合致しており、かつ、上記速度判定ステップの判定の結果、自装置の速度が上記所定の範囲から外れているとき、上記周期的反復パターンに基づいて、自装置の速度が上記所定の範囲内となると予測される直近の予測時刻に表示されると予測される予測表示情報を生成する予測表示情報生成ステップと、上記予測表示情報生成ステップにて生成した上記予測表示情報を上記表示部に表示する表示制御ステップと、を含むことを特徴としている。

上記の構成によれば、情報表示装置は、自装置が周期的な運動パターンに従って運動しており、かつ自装置の速度が所定の範囲から外れているときには、追従表示を行わず、次に自装置の速度が所定の範囲内となる直近の予測時刻に表示されると予測される表示内容を表示する。ここで、上記「所定の範囲」は、情報表示装置のユーザが画面の内容を視認可能な速度の上限値から下限値までの範囲、あるいは、当該範囲内に設定される。

したがって、情報表示装置は、自装置が周期的な運動パターンに従って運動している際、追従表示を行ってもその表示内容をユーザが視認不可能である期間には、無用な追従表示を行わず、次に自装置の速度が表示内容をユーザが視認可能となる直近の予測時刻に表示される表示内容を表示することができる。よって、情報表示装置が激しいぶれや高速移動などをしていても、次に表示される情報を事前に表示できるとともに、追従表示にかかる処理負荷を抑えることができるという効果を奏する。

さらに、本発明に係る情報表示装置は、自装置の現在位置に応じた追従表示情報を生成する追従表示情報生成手段をさらに備え、上記表示制御手段は、上記運動パターン照合手段の判定の結果、自装置の運動が上記周期的反復パターンに合致していないとき、上記追従表示情報生成手段が生成した上記追従表示情報を上記表示部に表示することを特徴としている。

上記の構成によれば、さらに、情報表示装置は、現在の運動が運動パターンと一致しなくなったとき、追従表示に切替えることで、状況に応じた適切な情報を表示することができるという効果を奏する。

さらに、本発明に係る情報表示装置は、自装置の運動を検出し、自装置の運動の周期的反復パターンを生成する運動パターン生成手段を備えることを特徴としている。

上記の構成によれば、さらに、情報表示装置は、自装置の現在の運動データから新たに運動パターンを検出し正規化することにより、事前に設定されている運動パターンのみでなく、情報表示装置の使用状況に応じてさまざまな運動パターンを学習することで、さまざまな状況に対応した予測表示を行うことができるという効果を奏する。

なお、上記情報表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記情報表示装置をコンピュータにて実現させる情報表示装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

以上のように、本発明に係る情報表示装置は、自装置の運動が、所定の周期的反復パターンに合致するか否かを判定する運動パターン照合手段と、自装置の速度が、所定の上限速度と所定の下限速度との間である所定の範囲から外れているか否かを判定する速度判定手段と、上記周期的反復パターンに基づいて、自装置の速度が上記所定の範囲内となると予測される直近の予測時刻に表示されると予測される予測表示情報を生成する予測表示情報生成手段と、上記運動パターン照合手段の判定の結果、自装置の運動が上記周期的反復パターンに合致しており、かつ、上記速度判定手段の判定の結果、自装置の速度が上記所定の範囲から外れているとき、上記予測表示情報生成手段が生成した上記予測表示情報を上記表示部に表示する表示制御手段と、を備える構成である。

また、本発明に係る情報表示装置の制御方法は、自装置の運動が、所定の周期的反復パターンに合致するか否かを判定する運動パターン照合ステップと、自装置の速度が、所定の上限速度と所定の下限速度との間である所定の範囲から外れているか否かを判定する速度判定ステップと、上記運動パターン照合ステップの判定の結果、自装置の運動が上記周期的反復パターンに合致しており、かつ、上記速度判定ステップの判定の結果、自装置の速度が上記所定の範囲から外れているとき、上記周期的反復パターンに基づいて、自装置の速度が上記所定の範囲内となると予測される直近の予測時刻に表示されると予測される予測表示情報を生成する予測表示情報生成ステップと、上記予測表示情報生成ステップにて生成した上記予測表示情報を上記表示部に表示する表示制御ステップと、を含む方法である。

上記の構成によれば、情報表示装置が激しいぶれや高速移動などをしていても、次に表示される情報を事前に表示できるとともに、追従表示にかかる処理負荷を抑えることができるという効果を奏する。

本発明の実施形態に係る移動通信端末の構成を示す機能ブロック図である。 上記移動通信端末による、運動パターン依存表示モードにおける処理の流れを示すフローチャートである。 上記移動通信端末の運動パターン依存表示モードにおける、予測表示と追従表示の切り替えを行うタイミングを示す概略図である。 上記移動通信端末におけるＡＲ情報（付加情報）の表示例を示す図である。 上記移動通信端末の３次元加速度データを示す図である。 上記移動通信端末が周期的な運動パターンに従って運動する際の軌道、および、予測表示と追従表示との切り替えタイミングを示す概略図である。

〔移動通信端末１の概要〕
本実施形態は、携帯電話やスマートフォンなどの移動通信端末において、カメラ等で取得したリアルタイム映像に、サーバから受信した付加情報を重畳して表示するＡＲ技術に関するものである。移動通信端末は周期的運動パターンに従って運動しており、かつその運動の速度が所定の範囲から外れるとき、所定の時刻の表示内容を予測して表示（予測表示）するものである。

なお、上記「所定の範囲」とは、ユーザが画面の表示内容を視認可能な速度の範囲である。上記「所定の範囲」の上限を上限速度、下限を下限速度と称する。よって、速度が上限速度を上回ったとき、および、速度が下限速度を下回ったとき、所定の範囲から外れたことになる。なお、本実施形態における「速度」とは、移動通信端末とユーザの視点との相対速度を指す。

また、上記「所定の時刻」とは、移動通信端末の運動速度が所定の範囲外であるときに、速度が再び所定の範囲内となる直近の時刻（予測時刻）、すなわちユーザが画面の表示内容を視認可能となる直近の時刻を指す。

図４は、本実施形態に係る移動通信端末（情報表示装置）１の外観であり、ＡＲアプリケーションが動作している状態を示している。移動通信端末１は、表示部２と、通信部５と、操作部３とを備える。また、図示しないが表示部２と反対側の面に撮像部４（図１）であるカメラを備える。

表示部２は、撮像部４で撮像した動画像や、ＡＲサーバ９（図１）から受信した付加情報ＩＡＲや、操作部３から入力したユーザ入力の出力結果を表示する場所である。

表示部２には、撮像部４から取得した映像ＩＢがリアルタイムで表示されており、上記映像ＩＢに、通信部５を介してＡＲサーバ９から取得した付加情報ＩＡＲが重畳されて表示されている。

ここで、付加情報ＩＡＲは、例えば周辺の建物に入っている店の情報などである。上記移動通信端末１のユーザ以外のユーザが近くにいる場合、そのユーザの情報を表示することもできる。付加情報ＩＡＲの表示位置は、ＧＰＳ受信機６１（図１）によって取得した位置情報と、方位センサ６２（図１）によって取得した本体の向きを示す姿勢情報とから算出されて表示内容に反映される。例えば、ユーザが前進すると、付加情報ＩＡＲが現実にその場に存在するかのように、次第に大きく表示される。また、付加情報ＩＡＲが立体図形である場合も同様に、ユーザの移動に応じて、現実に立体がその場に存在するかのように、大きさや形状が変化する。

移動通信端末１は、通常表示モードと運動パターン依存表示モードとの２つの表示モードを有する。

通常表示モードでは、移動通信端末１の制御部７（図１）は、ＧＰＳ受信機６１および方位センサ６２から位置情報および姿勢情報を取得して、付加情報ＩＡＲの表示位置の計算を常に行い、付加情報ＩＡＲをリアルタイムに表示される映像ＩＢに重畳させて表示する（追従表示）。すなわち、通常表示モードでは、付加情報ＩＡＲが移動通信端末１の位置にリアルタイムに追随して表示される。

一方、運動パターン依存表示モードでは、加速度センサ６３によって自装置の運動を検出し、自装置の運動が所定の周期的反復パターンに合致しており、かつ、自装置の速度が、ユーザが画面の表示内容を視認可能な速度の範囲、すなわち上限速度から下限速度までの範囲から外れているとき、上記周期的反復パターンに基づいて、自装置の速度が上記の範囲となると予測される直近の予測時刻ＴＳに表示されると予測される付加情報ＩＡＲを生成し、付加情報ＩＡＲをリアルタイムに表示される映像ＩＢに重畳させて表示する（予測表示）。また、それ以外のときは、上記追従表示を行う。すなわち、運動パターン依存表示モードでは、自装置の周期的反復パターンに従って、速度がユーザが画面の表示内容を視認可能な速度の範囲を超えているときには、移動通信端末１の位置や姿勢にリアルタイムには追随しない付加情報ＩＡＲを表示し、速度が所定の範囲内にあるときには、移動通信端末１の位置にリアルタイムに追随した付加情報ＩＡＲを表示する。

以下、移動通信端末１について、詳細に説明する。

〔移動通信端末１の構成〕
図１は、移動通信端末１の構成を示す機能ブロック図である。移動通信端末１にはスマートフォンを含む携帯電話、タブレット端末などが含まれる。

移動通信端末１は、表示部２と、操作部３と、撮像部４と、通信部５と、センサ部６と、制御部７と、記憶部８とを備える。

表示部２は、撮像部４で撮像した映像ＩＢや、操作部３から入力したユーザ入力の出力結果や、通信部５からＡＲ情報生成部７８を介して受信した付加情報ＩＡＲを表示する。なお、タッチスクリーン付の移動通信端末においては、表示部２と操作部３は同じタッチスクリーン上に備えられていてもよい。

操作部３は、ユーザ入力を受け付けるインターフェースであり、例えば、タッチスクリーン上のＧＵＩ、あるいは画面外のボタンやキーなどの機械的な部材にて実現されるものである。

撮像部４は、携帯電話に備えられているカメラなどによって実現されるものである。撮像部４で撮像された動画像は、映像ＩＢとして表示部２に表示される。

通信部５は、例えば、基地局、あるいはサーバとのデータの通信を行うものであり、他の携帯電話との通話、電子メールの送受信などを行うことを可能とするものである。具体的には、本実施形態では、撮像部４で取得した映像ＩＢに重畳して表示する付加情報ＩＡＲのデータを、通信部５を介して、ＡＲサーバ９から受信する。

センサ部６は、移動通信端末１の位置、姿勢および動きを検知する。センサ部６は、移動通信端末１の位置を示す位置情報を取得するＧＰＳ受信機６１と、移動通信端末１の姿勢を示す姿勢情報を取得する方位センサ６２と、移動通信端末１の加速度を示す加速度情報を取得する加速度センサ６３とを含む。

制御部７は、上記の各部材の機能を統括して移動通信端末１の駆動を制御する。

記憶部８は、制御部７が行う各処理において参照されるデータやプログラムを保持する。記憶部８は、特に、運動パターンを保持する運動パターン記憶部８１を有する。運動パターンは、運動パターン正規化部７４が正規化した後に運動パターン記憶部８１に格納され、運動パターン照合部７５１が照合の基準とするために運動パターン記憶部８１から読み出す。なお、運動パターン記憶部８１には、移動通信端末１の製造工程において、歩行などの所定の運動パターンがあらかじめ格納されていてもよい。

次に、制御部７の詳細な構成について説明する。制御部７は、表示制御部（表示制御手段）７１と、操作受付部７２と、運動パターンモデル生成部（運動パターン生成手段）７０と、表示方法決定部７５と、ＡＲ情報生成部７８とを備える。

表示制御部７１は、撮像部４から取得した映像ＩＢに、ＡＲ情報生成部７８から取得した付加情報ＩＡＲを重畳して、表示部２に表示する。

操作受付部７２は、操作部３に対するユーザ入力を取得する。本実施形態では、操作受付部７２は、操作部３からのユーザ入力に基づいて、運動パターン依存表示モードと通常表示モードとの切り替えを行う。上述のように、通常表示モードとは、常に追従表示を行う表示モードである。また、運動パターン依存表示モードとは、周期的運動パターンの中で、移動通信端末１の現在の運動の速度に応じて予測表示と追従表示を切り替える表示モードである。なお、ユーザ入力によって表示モードを切り替える代わりに、常に運動パターン依存表示モードとし、移動通信端末１の運動の状態（運動パターンおよび速度）に応じて、予測表示と追従表示を切り替えるようにしてもよい。

運動パターンモデル生成部７０は、移動通信端末１の周期的運動パターンを検出し、正規化することで、予測表示を行う際に参照される一定の周期的運動パターンのモデルを生成する。そのため、運動パターンモデル生成部７０は、運動パターン検出部７３と、運動パターン正規化部７４とを備える。

運動パターン検出部７３は、移動通信端末１の周期的運動パターンを検出する。具体的には、加速度センサ６３から取得した加速度情報に基づいて、移動通信端末１の軌跡に周期的運動パターンがあるか否かを判定する。例えば、ユーザが移動通信端末１を手に持って、表示部２を見ながら歩いているときに、移動通信端末１が上下に揺れる動きは周期的運動パターンに従った動きである。

運動パターン正規化部７４は、運動パターン検出部７３で検出された運動パターンを、参照モデルとして登録するために正規化する。この正規化は、微小な動きぶれを無視して同じ動きを同一と判断するための処理である。運動パターン正規化部７４が正規化した運動パターンは、運動パターン記憶部８１に保存される。

表示方法決定部７５は、ＡＲ情報生成部７８に対し、予測表示と追従表示のいずれを行うかの指令を送信する。表示方法決定部７５は、自装置の運動が所定の周期的反復パターンに合致しており、かつ、自装置の速度が、ユーザが画面の表示内容を視認可能な範囲を外れているときは、表示方法を予測表示に決定し、それ以外のときには、表示方法を追従表示に決定する。そのために、表示方法決定部７５は、運動パターン照合部（運動パターン照合手段）７５１と、速度判定部（速度判定手段）７５２と、予測時刻決定部７５３とを備える。

運動パターン照合部７５１は、運動パターン正規化部７４で正規化され、運動パターン記憶部８１に保存された運動パターンと、移動通信端末１の現在の運動とが一致するか否かを判定する。移動通信端末１の現在の運動は、加速度センサ６３から取得した加速度データに基づいて計算される。なお、運動パターン照合部７５１は、運動パターン正規化部７４によって直前に生成された運動パターンの代わりに、あらかじめ運動パターン記憶部８１に格納されている運動パターン、例えば、移動通信端末１の製造工程において格納された運動パターンを、運動パターン記憶部８１から読み出して、判定に用いてもよい。

速度判定部７５２は、移動通信端末１の現在の運動の速度が所定の範囲から外れているか否かを判定する。具体的には、加速度センサ６３から取得した加速度を積分して速度とし、該速度が所定の範囲から外れているか否かを判定する。

予測時刻決定部７５３は、移動通信端末１の速度が次に所定の範囲内となる時刻が、現在の時刻からどのくらい先であるのかを決定する。換言すれば、予測時刻決定部７５３は、次に追従表示に切り替える時刻（予測時刻）を決定する。

ＡＲ情報生成部７８は、通信部５を介してＡＲサーバ９から取得した付加情報データに基づき、表示部２に表示させる付加情報ＩＡＲを生成する。そのために、ＡＲ情報生成部７８は、追従表示情報生成部（追従表示情報生成手段）７８１と、予測表示情報生成部（予測表示情報生成手段）７８２とを備える。

追従表示情報生成部７８１は、映像ＩＢに重畳させる付加情報ＩＡＲを、移動通信端末１の位置および姿勢にリアルタイムに追随させて生成し、表示制御部７１に送信する。具体的には、追従表示情報生成部７８１は、ＧＰＳ受信機６１および方位センサ６２からの位置情報および姿勢情報に基づいて、表示する情報の位置や形状を決定して付加情報ＩＡＲを生成する。

予測表示情報生成部７８２は、映像ＩＢに重畳させる付加情報ＩＡＲを、予測時刻決定部７５３によって決定された予測時刻で表示されると予測される表示位置および形状を予測して生成し、表示制御部７１に送信する。なお、上述したように、上記予測時刻とは、移動通信端末１の速度が次に所定の範囲内となる時刻である。

また、予測表示情報生成部７８２は、予測表示情報の生成を、表示情報決定部７５から予測表示を行うよう指令を受けた直後の一回のみ行う。すなわち、予測表示を行っている間は、予測表示情報の更新は行わない。これにより、激しいぶれや高速な移動など、視認不可能とみなせる動きを移動通信端末１がしている最中の表示更新を中断して、付加情報の提示に係る処理負荷の低減を図ることができる。

上述した、制御部１のうち予測表示に係る機能ブロック、すなわち、運動パターン検出部７３と、運動パターン正規化部７４と、表示方法決定部７５と、予測表示情報生成部７８２とをまとめて、運動パターン依存表示モード制御部７６と称する。

〔移動通信端末１における処理〕
図２は、移動通信端末１の運動パターン依存表示モードにおける処理のフローチャートである。運動パターン依存表示モードが開始すると、ステップＳ２００において、追従表示情報生成部７８１は、ＧＰＳ受信機６１と方位センサ６２とから取得する位置情報および姿勢情報と、通信部５がＡＲサーバ９から受信する付加情報データとに基づいて、通常表示モードと同様に追従表示を行う。なお、通信部５がＡＲサーバ９から受信する付加情報データの取得範囲は、移動通信端末１から一定の空間的拡がりを持っている。すなわち、移動通信端末１が移動したときに付加情報ＩＡＲを遅延なく表示するために、現在位置から少し離れた地点（例えば２００ｍ）で表示すべき付加情報ＩＡＲを生成するための付加情報データも、現在位置においてあらかじめ取得されているものとする。

ステップＳ２０１において、運動パターン検出部７３は、加速度センサ６３から取得した加速度情報に基づいて周期的運動パターンの検出を行う。具体的には、ある期間の計測データ内で、短時間の閉区間の軌跡が存在するか否かを判定する。

図５に、運動パターン検出部７３が取得する加速度情報を示す。ここで、ユーザは移動通信端末１を手に持って歩いているものとする。ｚ軸がユーザの進行方向（前後方向）の軸であり、ｘ軸は左右方向の軸であり、ｙ軸は上下方向の軸である。そして、進行方向であるｚ軸に関して、ユーザの視点も移動通信端末１と同じ速度で移動しているものとする。そこで、本実施形態では、運動パターンの検出、および速度の計算に、ｚ軸を考慮しない。ただし、ｚ軸の加速度を含めて運動パターンの検出および速度の計算を行うようにしてもよい。その場合、後述する閾値にｚ軸の速度を加味することになる。

図５に例示するように、ユーザが移動通信端末１を手に持ってｚ軸方向に歩いている場合、ｘ軸、ｙ軸、およびｚ軸方向の加速度は、ユーザの歩行に合わせて、周期的に変動している。そして、ｚ軸方向の加速度の変動は、ｘ軸方向およびｙ軸方向の加速度の変動に比べて小さい。また、ｙ軸方向の加速度は平均約−９．８ｍ／ｓ＾２であり、重力加速度付近で周期的に変化していることが分かる。

つづいて、運動パターン検出部７３が周期的運動パターンを検出すると（Ｓ２０１においてＹＥＳ）、ステップＳ２０２において、運動パターン正規化部７４が、運動パターンの正規化を行うとともに、正規化した運動パターンを記憶部８の運動パターン記憶部８１に保存し、表示方法決定部７５に対し次の処理ステップに進む指示を出す。この正規化によって、微小な動きぶれを無視して、同じ動きを同一と判断することが可能となる。なお、本実施形態では、正規化した運動パターンを、速度によって表現した情報（図３）として生成するものとする。

一方、周期的運動パターンが検出されなかった場合は（Ｓ２０１においてＮＯ）、周期的運動パターンが検出されるまで追従表示（Ｓ２００）を続ける。

ステップＳ２０３において、表示方法決定部７５は、正規化された運動パターン情報を運動パターン記憶部８１から受信するとともに、加速度センサ６３から、移動通信端末１の現在の加速度情報を取得し、速度情報を生成する。

ステップＳ２０４（運動パターン照合ステップ）において、運動パターン照合部７５１は、上記現在の速度情報と、ステップＳ２０２で正規化された上記運動パターンとの比較照合を行う。なお、ステップＳ２０４における、現在の運動が運動パターンと一致するか否かの判定は、複数の時刻に取得された速度情報が運動パターンと所定の許容範囲を超えて乖離した場合に、移動通信端末１の運動が運動パターンと一致しなくなったと確定するようにしてもよい。

上記現在の速度情報と、正規化された運動パターンが一致すると判定されると（Ｓ２０４においてＹＥＳ）、ステップＳ２０５（速度判定ステップ）において、速度判定部７５２は、移動通信端末１の現在の速度が上限速度Ｖｃから下限速度−Ｖｃまでの範囲を外れているか否かを、ステップＳ２０３で生成した現在の速度情報に基づいて判定する。なお、上限速度Ｖｃおよび下限速度−Ｖｃは移動通信端末１においてあらかじめ設定されていてもよいし、ユーザによる設定が可能であってもよい。

移動通信端末１が上記の範囲外の速度で運動していると判定されると（Ｓ２０５においてＹＥＳ）、ステップＳ２０６（予測表示情報生成ステップ）において、まず、予測時刻決定部７５３が、速度判定部７５２から受信した速度情報と、運動パターン情報とから、速度が次に上記の範囲となる予測時刻を計算する。

次に、予測表示情報生成部７８２は、予測時刻決定部７５３が算出した予測時刻における移動通信端末１の位置に対応した表示位置および形状の付加情報ＩＡＲを生成し、該付加情報ＩＡＲを表示制御部７１に送信する。ここで、通信部５がＡＲサーバ９から受信する付加情報データには、現在位置で表示すべき付加情報ＩＡＲを生成するための情報とともに、現在位置から少し離れた地点で表示すべき付加情報ＩＡＲを生成するための情報も含まれている。したがって、予測時刻に移動通信端末１が到達すると予想される位置において表示すべき付加情報ＩＡＲを生成するための情報は、現在位置において取得可能である。よって、現在位置で予測表示情報として表示する付加情報ＩＡＲを、予測された地点に実際に到達した時点で追従表示情報として表示する付加情報ＩＡＲと一致させることができる。

そして、予測表示情報生成部７８２が生成した付加情報ＩＡＲを、表示制御部７１が、映像ＩＢに重畳させて表示部２に表示させる。

なお、予測表示（Ｓ２０６）を行った後はステップＳ２０３に戻るが、現在の速度が上記の範囲内となるまでは、付加情報ＩＡＲの表示内容の更新を行わない。

一方、ステップＳ２０５で上記現在の速度が上記の範囲内であると判定された場合は（Ｓ２０５においてＮＯ）、表示方法決定部７５は、ＡＲ情報生成部７８に対し、追従表示を行うように指示する信号を送信する（ステップＳ２０７；表示制御ステップ）。

また、ステップＳ２０４において、端末の現在の速度と運動パターンが一致しないと判定された場合（Ｓ２０４においてＮＯ）、表示方法決定部７５が、ＡＲ情報生成部７８に対し、追従表示（Ｓ２００）を行うように指示する信号を送信する。これとともに、運動パターン照合部７５１が、運動パターン検出部７３に新たな周期的運動パターンの検出を指示する信号を送信する。なお、端末の現在の速度と運動パターンが一致しないと判定されたとき、記憶部８１から上記運動パターンのデータを破棄してもよい。

〔予測表示と追従表示の切り替え〕
図３は、移動通信端末１の運動パターン依存表示モードにおける、予測表示と追従表示の切り替えのタイミングを示す概略図である。例としてｘ軸とｙ軸の合成速度（Ｖｋ）のグラフを参照する。この速度情報は加速度センサ６３から得た加速度情報を、表示方法決定部７５において積分することによって得られる。

なお、図３および図６の説明においては、簡便のために上限速度をＶｃ、下限速度を−Ｖｃとしているが、上限速度と下限速度の絶対値は同じでなくともよい。

まず、画面の表示内容を視認可能な速度の上限値Ｖｃ（上限速度）および下限値−Ｖｃ（下限速度）を設定し、移動通信端末１の現在の速度をＶｋとしたとき、｜Ｖｋ｜≦Ｖｃのとき追従表示を行い、Ｖｃ＜｜Ｖｋ｜のとき予測表示を行う。このとき、予測表示情報として表示する内容は、次に｜Ｖｋ｜≦Ｖｃとなると予測される予測時刻の表示情報である。

より具体的には、所定の周期的運動パターンに従って運動している状況において、｜Ｖｋ｜≦Ｖｃとなる区間の開始時刻をＴＳｎとし、次にＶｃ＜｜Ｖｋ｜となる区間の開始時刻をＴＥｎとすると、ＴＳｎからＴＥｎまでの区間は、移動通信端末１は追従表示を行う。そして、次に｜Ｖｋ｜≦Ｖｃとなる区間の開始点となる予測時刻をＴＳｎ＋１、その直後にＶｃ＜｜Ｖｋ｜となる区間の開始時刻をＴＥｎ＋１とすると、ＴＥｎからＴＳｎ＋１までの区間では、移動通信端末１は予測表示を行い、ＴＳｎ＋１からＴＥｎ＋１の区間は追従表示を行う。よって、ＴＥｎからＴＳｎ＋１までの区間で表示される内容は、ＴＳｎ＋１における表示情報を予測したものである。

つぎに、図６を用いて、移動通信端末１の運動パターン依存表示モードにおける、予測表示期間と追従表示期間についてさらに説明する。図６は、移動通信端末１を周期的な運動パターンに従って運動させている状況を示す。移動通信端末１は、楕円の軌道上を矢印の方向に従って移動しており、反転する軌道上の左上と右下の位置で速度が低下しているものとする。

図６に示す、矢印の破線部分は｜Ｖｋ｜≦Ｖｃの区間であり、ユーザが画面の表示内容を視認可能な区間である。それゆえ、この区間では、移動通信端末１は追従表示を行う。一方、矢印の実線部分はＶｃ＜｜Ｖｋ｜の区間であり、ユーザが画面の表示内容を視認不可能な区間である。それゆえ、移動通信端末１は予測表示を行う。

また、図６には、追従表示から予測表示に切り替わる時刻をＴＥ、予測表示から追従表示に切り替わる時刻を予測時刻ＴＳとして図示している。ＴＥからＴＳまでの区間に移動通信端末１の表示部２に表示される内容は、上記区間のＴＳの位置で表示されると予測される内容（予測表示情報）である。

〔変形例〕
ここで、本実施形態の変形例として、ｗｅｂブラウザ上で予測表示を行う場合について説明する。

具体的には、空間上に固定された仮想的な情報画面、例えば新聞記事のような大きなウェブページを、移動通信端末１を図６のような軌道で周期的に移動させながら閲覧する場合を考える。例えば、移動通信端末１を右下に移動させると、ウェブページの右下側が画面に表示されるものとする。このとき、移動通信端末１は、ＴＥからＴＳまでの区間は、ＴＳの位置で表示される記事内容を予測表示し、ＴＳからＴＥまでの区間は、移動通信端末１の動きに合わせて追従表示を行う。

〔構成および作用効果〕
以上のように、本実施形態の移動通信端末１は、移動通信端末１が周期的な運動パターンに従って運動しており、かつ、ユーザが画面の表示内容を視認不可能な速度で運動しているときには、無用な追従表示を行わず、次にユーザが画面の表示内容を視認可能な速度となる予測時刻の表示内容を予測表示する。これにより、移動通信端末１が激しいぶれや高速移動などをしていても、次に表示される情報を事前に得られるとともに、追従表示にかかる処理負荷を抑えることができる。また、移動通信端末１の現在の運動が周期的運動パターンから大きく外れたときには、追従表示に切り替えることで、状況に応じた適切な情報を表示することができる。さらに、移動通信端末１の現在の運動から新たに運動パターンを検出し正規化することにより、事前に設定されている運動パターンのみでなく、移動通信端末１の使用状況に応じてさまざまな運動パターンを学習することで、さまざまな状況に対応した予測表示を行うことができる。

また、本発明に係る移動通信端末（情報表示装置）１は、以下のように記載することができる。

（１）移動通信端末（情報表示装置）１は、位置の変化に応じて表示部２に表示する内容を変化させる移動通信端末（情報表示装置）１であって、自装置の運動が、所定の周期的反復パターンに合致するか否かを判定する運動パターン照合部（運動パターン照合手段）７５１と、自装置の速度Ｖｋが、ユーザが画面の表示内容を視認可能な速度の範囲である、所定の上限速度と所定の下限速度との間である所定の範囲（−Ｖｃ≦Ｖｋ≦Ｖｃ）から外れているか否かを判定する速度判定部（速度判定手段）７５２と、上記周期的反復パターンに基づいて、自装置の速度Ｖｋが上記所定の範囲内となると予測される直近の予測時刻ＴＳに表示されると予測される予測表示情報を生成する予測表示情報生成部（予測表示情報生成手段）７８２と、上記運動パターン照合部（運動パターン照合手段）７５１の判定の結果、自装置の運動が上記周期的反復パターンに合致しており、かつ、上記速度判定部（速度判定手段）７５２の判定の結果、自装置の速度Ｖｋが上記所定の範囲から外れているとき、上記予測表示情報生成部（予測表示情報生成手段）７８２が生成した上記予測表示情報を上記表示部２に表示する表示制御部（表示制御手段）７１と、を備えて構成されていてもよい。

これにより、移動通信端末１は、自装置が周期的な運動パターンに従って運動しており、かつ追従表示を行ってもその表示内容をユーザが視認不可能であるような状況のときには、無用な追従表示を行わず、次に自装置の速度が表示内容をユーザが視認可能となる直近の予測時刻ＴＳに表示されると予測される表示内容を表示する。よって、移動通信端末１が激しいぶれや高速移動などをしていても、次に表示される情報を事前に得られるとともに、追従表示にかかる処理負荷を抑えることができる。

（２）さらに、本発明に係る移動通信端末（情報表示装置）１は、自装置の現在位置に応じた追従表示情報を生成する追従表示情報生成部（追従表示情報生成手段）７８１をさらに備え、上記表示制御部（表示制御手段）７１は、上記運動パターン照合部（運動パターン照合手段）７５１の判定の結果、自装置の運動が上記周期的反復パターンに合致していないとき、上記追従表示情報生成部（追従表示情報生成手段）７８１が生成した上記追従表示情報を上記表示部２に表示するように構成されていてもよい。

これにより、移動通信端末１は、現在の運動が運動パターンと一致しなくなったとき、追従表示に切替えることで、状況に応じた適切な情報を表示することができる。

（３）さらに、本発明に係る移動通信端末（情報表示装置）１は、自装置の運動を検出し、自装置の運動の周期的反復パターンを生成する運動パターンモデル生成部（運動パターン生成手段）７０を備えて構成されていてもよい。

これにより、移動通信端末１は、自装置の現在の運動データから新たに運動パターンを検出し正規化することにより、事前に設定されている運動パターンのみでなく、移動通信端末１の使用状況に応じてさまざまな運動パターンを学習することで、さまざまな状況に対応した予測表示を行うことができる。

〔ソフトウェアによる実現例〕
最後に、移動通信端末１の制御部７の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、移動通信端末１は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである移動通信端末１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、移動通信端末１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、移動通信端末１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

このように、本明細書においては、手段とは必ずしも物理的手段を意味せず、各手段の機能がソフトウェアによって実現される場合も含む。また、１つの手段の機能が２つ以上の物理的手段により実現されてもよいし、２つ以上の手段の機能が１つの物理的手段により実現されてもよい。

本発明は、自装置の位置の変化に応じて、表示部に表示する文字や画像を変化させる装置、特に、タブレット端末、携帯電話、スマートフォン等の携帯情報端末に好適に利用できる。

１ 移動通信端末（情報表示装置）
２ 表示部
６１ ＧＰＳ受信機（位置情報取得手段）
６２ 方位センサ（姿勢情報取得手段）
６３ 加速度センサ（運動情報取得手段）
７０ 運動パターンモデル生成部（運動パターン生成手段）
７５１ 運動パターン照合部（運動パターン照合手段）
７５２ 速度判定部（速度判定手段）
７８２ 予測表示情報生成部（予測表示情報生成手段）
ＴＳｎ 予測時刻
Ｖｃ 上限速度
−Ｖｃ 下限速度
Ｖｋ 端末の現在の移動速度
Ｓ２０４ 運動パターン照合ステップ
Ｓ２０５ 速度判定ステップ
Ｓ２０６ 予測表示情報生成ステップ
Ｓ２０６，Ｓ２０７ 表示制御ステップ

Claims (6)

1. 位置の変化に応じて表示部に表示する内容を変化させる情報表示装置であって、
   自装置の運動が、所定の周期的反復パターンに合致するか否かを判定する運動パターン照合手段と、
   自装置の速度が、所定の上限速度と所定の下限速度との間である所定の範囲から外れているか否かを判定する速度判定手段と、
   上記周期的反復パターンに基づいて、自装置の速度が上記所定の範囲内となると予測される直近の予測時刻に表示されると予測される予測表示情報を生成する予測表示情報生成手段と、
   上記運動パターン照合手段の判定の結果、自装置の運動が上記周期的反復パターンに合致しており、かつ、上記速度判定手段の判定の結果、自装置の速度が上記所定の範囲から外れているとき、上記予測表示情報生成手段が生成した上記予測表示情報を上記表示部に表示する表示制御手段と、を備えることを特徴とする情報表示装置。
2. 自装置の現在位置に応じた追従表示情報を生成する追従表示情報生成手段をさらに備え、
   上記表示制御手段は、上記運動パターン照合手段の判定の結果、自装置の運動が上記周期的反復パターンに合致していないとき、上記追従表示情報生成手段が生成した上記追従表示情報を上記表示部に表示することを特徴とする請求項１に記載の情報表示装置。
3. 自装置の運動を検出し、自装置の運動の周期的反復パターンを生成する運動パターン生成手段を備えることを特徴とする請求項１または２に記載の情報表示装置。
4. 位置の変化に応じて表示部に表示する内容を変化させる情報表示装置の制御方法であって、
   自装置の運動が、所定の周期的反復パターンに合致するか否かを判定する運動パターン照合ステップと、
   自装置の速度が、所定の上限速度と所定の下限速度との間である所定の範囲から外れているか否かを判定する速度判定ステップと、
   上記運動パターン照合ステップの判定の結果、自装置の運動が上記周期的反復パターンに合致しており、かつ、上記速度判定ステップの判定の結果、自装置の速度が上記所定の範囲から外れているとき、上記周期的反復パターンに基づいて、自装置の速度が上記所定の範囲内となると予測される直近の予測時刻に表示されると予測される予測表示情報を生成する予測表示情報生成ステップと、
   上記予測表示情報生成ステップにて生成した上記予測表示情報を上記表示部に表示する表示制御ステップと、を含むことを特徴とする情報表示装置の制御方法。
5. 請求項１から３のいずれか１項に記載の情報表示装置の上記各手段としてコンピュータを機能させるための制御プログラム。
6. 請求項５に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images