JP2017161645A - 表示制御方法、通信装置、表示制御プログラムおよび表示制御装置 - Google Patents

表示制御方法、通信装置、表示制御プログラムおよび表示制御装置 Download PDF

Info

Publication number
JP2017161645A
JP2017161645A JP2016044658A JP2016044658A JP2017161645A JP 2017161645 A JP2017161645 A JP 2017161645A JP 2016044658 A JP2016044658 A JP 2016044658A JP 2016044658 A JP2016044658 A JP 2016044658A JP 2017161645 A JP2017161645 A JP 2017161645A
Authority
JP
Japan
Prior art keywords
display
sensor
mounted display
object data
head mounted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016044658A
Other languages
English (en)
Other versions
JP6711033B2 (ja
Inventor
奨 古賀
Sho Koga
奨 古賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016044658A priority Critical patent/JP6711033B2/ja
Priority to US15/447,617 priority patent/US10222876B2/en
Publication of JP2017161645A publication Critical patent/JP2017161645A/ja
Application granted granted Critical
Publication of JP6711033B2 publication Critical patent/JP6711033B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ヘッドマウントディスプレイの消費電力を削減できる表示制御方法、通信装置、表示制御プログラムおよび表示制御装置を提供する。【解決手段】表示制御方法は、センサにより検出されたヘッドマウントディスプレイの位置および向きに応じて特定されるエリア内の位置に対応付けて登録されたオブジェクトデータを検出する処理をコンピュータが実行する。また、表示制御方法は、当該オブジェクトデータを検出すると、オブジェクトデータをヘッドマウントディスプレイに表示する処理をコンピュータが実行する。また、表示制御方法は、複数のオブジェクトデータそれぞれに対応付けられた位置までの距離を算出する処理をコンピュータが実行する。また、表示制御方法は、算出した距離の分布に基づき、ヘッドマウントディスプレイの向きの検出を抑制する制御を行う処理をコンピュータが実行する。【選択図】図１

Description

本発明は、表示制御方法、通信装置、表示制御プログラムおよび表示制御装置に関する。
近年、ヘッドマウントディスプレイ等の表示装置を用いて、撮像された画像上にオブジェクトを重畳表示させるＡＲ（Augmented Reality）技術が提案されている。ＡＲにおいてオブジェクトを重畳表示させる場合、ヘッドマウントディスプレイの位置や向きを検出し、検出した位置や向きに応じてオブジェクトを変化させる。これにより、ヘッドマウントディスプレイには、ユーザの位置、および、ユーザが向いている方向に応じたオブジェクトが撮像画像上に重畳表示される。
特開２００９−２９４３７２号公報 特開２０１４−２３５７１７号公報 国際公開第２０１３／１４５１４７号
しかしながら、ヘッドマウントディスプレイの位置や向きを検出すると消費電力が増大し、ヘッドマウントディスプレイの連続稼働時間が短くなる。このため、ヘッドマウントディスプレイの位置や向きを検出しつつ、ヘッドマウントディスプレイの消費電力を削減することは困難である。
一つの側面では、本発明は、ヘッドマウントディスプレイの消費電力を削減できる表示制御方法、通信装置、表示制御プログラムおよび表示制御装置を提供することにある。
一つの態様では、表示制御方法は、センサにより検出されたヘッドマウントディスプレイの位置および向きに応じて特定されるエリア内の位置に対応付けて登録されたオブジェクトデータを検出する処理をコンピュータが実行する。また、表示制御方法は、当該オブジェクトデータを検出すると、前記オブジェクトデータを前記ヘッドマウントディスプレイに表示する処理をコンピュータが実行する。また、表示制御方法は、複数のオブジェクトデータそれぞれに対応付けられた位置までの距離を算出する処理をコンピュータが実行する。また、表示制御方法は、算出した前記距離の分布に基づき、前記ヘッドマウントディスプレイの向きの検出を抑制する制御を行う処理をコンピュータが実行する。
ヘッドマウントディスプレイの消費電力を削減できる。
図１は、実施例の表示制御システムの構成の一例を示すブロック図である。 図２は、オブジェクトデータの表示の一例を示す図である。 図３は、レーダーチャートの一例を示す図である。 図４は、オブジェクトデータの表示の他の一例を示す図である。 図５は、表示領域内にオブジェクトデータがない場合の表示の一例を示す図である。 図６は、表示領域内にオブジェクトデータがない場合の表示の他の一例を示す図である。 図７は、表示領域内にオブジェクトデータがない場合におけるセンサ情報に関する動作の一例を示す図である。 図８は、表示領域内にオブジェクトデータがある場合におけるセンサ情報に関する動作の一例を示す図である。 図９は、オブジェクトデータ記憶部の一例を示す図である。 図１０は、実施例の表示制御処理の一例を示すシーケンス図である。 図１１は、実施例の表示制御処理の一例を示すシーケンス図である。 図１２は、表示制御プログラムを実行するコンピュータの一例を示す図である。
以下、図面に基づいて、本願の開示する表示制御方法、通信装置、表示制御プログラムおよび表示制御装置の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。
図１は、実施例の表示制御システムの構成の一例を示すブロック図である。図１に示す表示制御システム１は、ヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display）ともいう。）１０と、表示制御装置１００と、サーバ２００とを有する。ＨＭＤ１０と表示制御装置１００とは、１対１で無線または有線により接続される。すなわち、ＨＭＤ１０は、表示制御装置１００の表示部の一例として機能する。なお、ＨＭＤ１０と表示制御装置１００とは、１対１での接続に限定されず、１対多、多対１または多対多での接続であってもよい。また、図１では、ＨＭＤ１０と表示制御装置１００との組について、１組を一例として示したが、ＨＭＤ１０と表示制御装置１００との組の数は限定されず、任意の数のＨＭＤ１０と表示制御装置１００との組を有してもよい。また、表示制御装置１００は、通信装置の一例である。
ＨＭＤ１０と表示制御装置１００との間は、例えば、Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ（登録商標）等の無線ＬＡＮ（Local Area Network）により相互に通信可能に接続される。また、表示制御装置１００とサーバ２００との間は、ネットワークＮを介して相互に通信可能に接続される。かかるネットワークＮには、有線または無線を問わず、インターネットを始め、ＬＡＮやＶＰＮ（Virtual Private Network）などの任意の種類の通信網を採用できる。
ＨＭＤ１０は、ユーザが表示制御装置１００とともに装着し、表示制御装置１００から送信される表示画面を表示する。ＨＭＤ１０は、例えば、単眼の透過型のＨＭＤを用いることができる。なお、ＨＭＤ１０は、例えば、両眼用や没入型等の各種のＨＭＤを用いるようにしてもよい。また、ＨＭＤ１０は、ユーザの位置や顔の向きを検出するために、位置検出センサおよび方向検出センサを有する。
表示制御装置１００は、ユーザが装着して操作する情報処理装置であり、例えば、タブレット端末やスマートフォン等の移動体通信端末等を用いることができる。表示制御装置１００は、例えば、ＨＭＤ１０の位置検出センサおよび方向検出センサによって検出された位置および向きの情報をＨＭＤ１０から受信する。表示制御装置１００は、センサにより検出されたＨＭＤ１０の位置および向きに応じて特定されるエリア内の位置に対応付けて登録されたオブジェクトデータを検出すると、オブジェクトデータをＨＭＤ１０に表示する。なお、位置検出センサは、ＨＭＤ１０のセンサを用いずに、表示制御装置１００が有する位置検出センサを用いてもよい。表示制御装置１００は、複数のオブジェクトデータそれぞれに対応付けられた位置までの距離を算出する。表示制御装置１００は、算出した距離の分布に基づき、ＨＭＤ１０の向きの検出を抑制する制御を行う。これにより、表示制御装置１００は、ヘッドマウントディスプレイ１０の消費電力を削減できる。
サーバ２００は、例えば、ある工場における設備点検用のＡＲコンテンツをオブジェクトデータとして管理するデータベースを有する。サーバ２００は、表示制御装置１００の求めに応じて、ネットワークＮを介して、オブジェクトデータを表示制御装置１００に送信する。
ここで、ＨＭＤ１０に表示される表示画面の一例について説明する。図２は、オブジェクトデータの表示の一例を示す図である。図２に示すように、表示画面２０には、レーダーチャート２１と、オブジェクトデータであるＡＲコンテンツ２５、２６とが表示される。なお、以下の説明では、オブジェクトデータの一例として、ＡＲコンテンツを用いる場合について説明する。レーダーチャート２１には、ユーザを中心として周囲のオブジェクトデータの位置が表示される。また、レーダーチャート２１は、オブジェクトデータが表示画面２０内に表示される表示領域２２と、表示領域２２の周囲に設定されたプレ表示領域２３とを有する。レーダーチャート２１では、オブジェクトデータは点で表される。
プレ表示領域２３内のオブジェクトデータは、ユーザがオブジェクトデータの方向を向いても表示画面２０内には表示されないが、ユーザがさらに近づいた場合に、表示画面２０内に表示される。また、レーダーチャート２１は、ユーザの視界を示す視界２４を有する。つまり、表示画面２０には、レーダーチャート２１において、表示領域２２内であり、かつ、視界２４内にあるオブジェクトデータが表示される。図２に示す表示画面２０では、視界２４内にＡＲコンテンツ２５、２６に対応する点があるため、表示画面２０にＡＲコンテンツ２５、２６が表示される。
図３は、レーダーチャートの一例を示す図である。図３は、レーダーチャート２１を拡大したものである。レーダーチャート２１は、ユーザ位置２１ａを中心とした円で構成され、ユーザ位置２１ａから所定の距離を半径とした円の表示領域２２と、表示領域２２の円および表示領域２２より大きい円で囲まれた領域であるプレ表示領域２３とを有する。また、レーダーチャート２１には、北の方角を示す方位マーク２１ｂが表示される。なお、方位マーク２１ｂは、例えば、ユーザの移動や向きに応じて移動可能としてもよい。
表示領域２２およびプレ表示領域２３には、例えば、オブジェクトデータを示す点が複数表示され、例えば、表示領域２２内、かつ、視界２４内のオブジェクトデータ２７が表示画面に表示される。これに対し、プレ表示領域２３内、かつ、視界２４内のオブジェクトデータ２８は、表示画面に表示されない。また、他の点よりも大きな点で示されるオブジェクトデータ２９は、表示制御装置１００においてオブジェクトデータの編集中であることを示す。なお、オブジェクトデータの編集は、例えば、オブジェクトデータの位置、大きさの変更、情報の付加等が挙げられる。
図４は、オブジェクトデータの表示の他の一例を示す図である。図４に示すように、表示画面３０は、図２に示す表示画面２０と比較して、ユーザの向きが異なっている。すなわち、表示画面３０は、ユーザが南方向から北西方向に向きを変えた場合における表示画面である。表示画面３０のレーダーチャート２１では、表示領域２２内、かつ、視界２４内に、ＡＲコンテンツ３１、３２に対応する点が存在する。このため、表示画面３０には、ＡＲコンテンツ３１、３２が表示される。なお、プレ表示領域２３内のオブジェクトデータは表示されない。
図５は、表示領域内にオブジェクトデータがない場合の表示の一例を示す図である。図５に示すように、表示画面３５は、ユーザの周囲、つまり表示領域２２およびプレ表示領域２３内にオブジェクトデータがない場合の表示画面である。表示画面３５では、ユーザの周囲にオブジェクトデータがないため、レーダーチャート２１にもオブジェクトデータを示す点が表示されない。図６は、表示領域内にオブジェクトデータがない場合の表示の他の一例を示す図である。図６に示すように、表示画面３６は、表示画面３５の状態からユーザの向きが変化した状態であるが、向きが変化したとしても、やはり周囲にオブジェクトデータがないため、レーダーチャート２１内の表示を含めて、表示画面３６にはオブジェクトデータが表示されない。このように、ユーザの周囲にオブジェクトデータがない場合には、ユーザの向きを検出しても無駄となるため、方向検出センサを停止しても構わないこととなる。本実施例では、この点に着目してＨＭＤ１０の消費電力の低減を行う。
表示制御装置１００は、ＨＭＤ１０の消費電力を低減するために、ＨＭＤ１０に対するセンサ情報取得要求を制御する。図７は、表示領域内にオブジェクトデータがない場合におけるセンサ情報に関する動作の一例を示す図である。図７に示すように、表示制御装置１００は、レーダーチャート２１内にオブジェクトデータがない場合には、ＨＭＤ１０の向きを検出しなくてもよいので、ＨＭＤ１０に対するセンサ情報取得要求を停止する。
図８は、表示領域内にオブジェクトデータがある場合におけるセンサ情報に関する動作の一例を示す図である。図８は、例えば、ユーザが、図７の状態からオブジェクトデータが設定されている位置に移動した場合である。図８に示すように、表示制御装置１００は、レーダーチャート２１内にオブジェクトデータがある場合、ＨＭＤ１０の向きを検出するために、ＨＭＤ１０に対するセンサ情報取得要求を行う。このように、表示制御装置１００は、レーダーチャート２１内におけるオブジェクトデータの有無によってＨＭＤ１０にセンサ情報取得要求を制御するので、ＨＭＤ１０の消費電力を削減できる。
次に、ＨＭＤ１０の構成について説明する。図１に示すように、ＨＭＤ１０は、通信部１１と、位置検出センサ１２と、方向検出センサ１３と、表示部１４と、記憶部１５と、制御部１６とを有する。なお、ＨＭＤ１０は、図１に示す機能部以外にも、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
通信部１１は、例えば、無線ＬＡＮ等の通信モジュール等によって実現される。通信部１１は、例えば、Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ（登録商標）により表示制御装置１００と無線で接続され、表示制御装置１００との間で情報の通信を司る通信インタフェースである。通信部１１は、表示制御装置１００から、センサ制御情報および表示画面を受信する。通信部１１は、受信したセンサ制御情報および表示画面を制御部１６に出力する。また、通信部１１は、制御部１６から入力されたセンサ情報を表示制御装置１００に送信する。
位置検出センサ１２は、ＨＭＤ１０の位置、つまりユーザの位置を検出するセンサである。位置検出センサ１２は、例えば、ＧＰＳ（Global Positioning System）受信機であり、受信したＧＰＳ信号に基づいて、経度緯度および高度を含む位置情報を生成する。位置検出センサ１２は、生成した位置情報を制御部１６に出力する。また、位置検出センサ１２は、制御部１６から動作の開始または終了や測定周期の変更等を行うための制御情報が入力される。位置検出センサ１２は、入力された制御情報に基づいて、動作の開始または終了や測定周期の変更等を実行する。なお、位置検出センサ１２は、その他の測位システムに対応するセンサであってもよい。また、ユーザの位置を表示制御装置１００で計測する場合には、位置検出センサ１２は動作を停止していてもよいし、設けなくてもよい。
方向検出センサ１３は、ＨＭＤ１０の方向、つまりユーザの向きを検出するセンサである。方向検出センサ１３は、例えば、加速度センサ、ジャイロセンサおよび方位センサを用いてユーザの向き、つまり、ユーザの向いている方向を検出する。加速度センサとしては、例えば、ピエゾ抵抗型や静電容量型等の３軸加速度センサを用いることができる。ジャイロセンサとしては、例えば振動型のジャイロセンサを用いることができる。方位センサとしては、例えば、磁気センサを用いることができる。方向検出センサ１３は、検出した方向を含む方向情報を制御部１６に出力する。また、方向検出センサ１３は、制御部１６から動作の開始または終了や測定周期の変更等を行うための制御情報が入力される。方向検出センサ１３は、入力された制御情報に基づいて、動作の開始または終了や測定周期の変更等を実行する。
表示部１４は、各種情報を表示するための表示デバイスである。表示部１４は、例えば、ハーフミラーに映像が投影され、ユーザが映像とともに外部の風景を透過して見ることができる透過型のＨＭＤの表示素子に相当する。なお、表示部１４は、没入型、ビデオ透過型、網膜投影型等のＨＭＤに対応する表示素子でもよい。
記憶部１５は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子等の記憶装置によって実現される。記憶部１５は、制御部１６での処理に用いる情報を記憶する。
制御部１６は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１６は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。制御部１６は、センサ制御部１７と、表示制御部１８とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１６の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
センサ制御部１７は、通信部１１を介して表示制御装置１００から受信したセンサ制御情報に基づいて、位置検出センサ１２および方向検出センサ１３を制御する。センサ制御部１７は、例えば、ＨＭＤ１０の電源が投入されると、センサ情報の送受信サービスを起動する。送受信サービスは、予め定義されたＡＰＩ（Application Programming Interface）に基づいて、表示制御装置１００から受信したセンサ制御情報に含まれるＡＰＩに対応する動作を実行する。送受信サービスが実行する動作は、例えば、センサの動作の制御や測定周期の変更が挙げられる。
ＡＰＩは、例えば、センサの動作について、開始および終了を制御する「getSensorInfo（Boolean isGetSensorInfo）」が挙げられる。当該ＡＰＩは、「getSensorInfo」がＡＰＩ名であり、「（Boolean isGetSensorInfo）」がＡＰＩ引数である。また、ＡＰＩ引数の「Boolean」は、引数の型を示し、２値の値（「true」または「false」）を取る。ＡＰＩ引数の「isGetSensorInfo」は、ＡＰＩの引数の実態である。このＡＰＩでは、例えば、表示制御装置１００から利用する際に、ＡＰＩ引数の「isGetSensorInfo」が「true」に設定されると、ＨＭＤ１０でセンサ情報の取得が開始され、センサ情報の表示制御装置１００への送信が開始される。また、ＡＰＩ引数の「isGetSensorInfo」が「false」に設定されると、ＨＭＤ１０でセンサ情報の取得が終了され、センサ情報の表示制御装置１００への送信が終了される。言い換えると、ＡＰＩ引数の「isGetSensorInfo」が「true」に設定されたＡＰＩを含むセンサ制御情報は、センサ情報の取得依頼である。また、ＡＰＩ引数の「isGetSensorInfo」が「false」に設定されたＡＰＩを含むセンサ制御情報は、センサ情報の取得解除依頼である。
センサ制御部１７は、センサ情報の取得依頼に対応するセンサ制御情報に基づいて、対応する位置検出センサ１２および方向検出センサ１３のうち１つ以上のセンサに対して、位置情報および方向情報のうち１つ以上の情報の出力開始を指示する制御情報を出力する。センサ制御部１７は、位置検出センサ１２および方向検出センサ１３のうち１つ以上のセンサから、位置情報および方向情報のうち１つ以上の情報の入力が開始される。センサ制御部１７は、入力が開始された位置情報および方向情報のうち１つ以上の情報をセンサ情報とし、当該センサ情報の送信を、通信部１１を介して表示制御装置１００に対して開始する。なお、センサ制御部１７は、位置情報および方向情報のうち１つ以上の情報を含むセンサ情報を、例えば１秒間隔で送信する。
センサ制御部１７は、センサ情報の取得解除依頼に対応するセンサ制御情報に基づいて、対応する位置検出センサ１２および方向検出センサ１３のうち１つ以上のセンサに対して、情報の出力終了を指示する制御情報を出力する。なお、センサ制御部１７は、例えば、センサ情報の取得周期を長くする等に対応するセンサ制御情報に対しても同様に、対応する位置検出センサ１２および方向検出センサ１３のうち１つ以上のセンサを制御する。
ここで、方向情報について説明する。方向情報は、ＨＭＤ１０のｘ軸、ｙ軸およびｚ軸のそれぞれの回転角度を示す情報である。ｘ軸、ｙ軸およびｚ軸は、それぞれ世界座標系の経度、高度および緯度に対応する。ｘ軸の回転角度は、ピッチ（Pitch）で表され、ｘ軸を中心とする回転角度である。ピッチのデータ取得範囲は、「−π／２＜＝Pitch＜＝π／２」［ｒａｄ］である。ｙ軸の回転角度は、アジマス（Azimuth）で表され、ｙ軸を中心とする回転角度である。アジマスのデータ取得範囲は、「−２π＜＝Azimuth＜＝２π」［ｒａｄ］である。ｚ軸の回転角度は、ロール（Roll）で表され、ｚ軸を中心とする回転角度である。ロールのデータ取得範囲は、「−２π＜＝Roll＜＝２π」［ｒａｄ］である。
表示制御部１８は、通信部１１を介して表示制御装置１００から受信した表示画面を表示部１４に表示させる。また、表示制御部１８は、表示画面の更新に応じて、表示部１４の表示を更新する。
続いて、表示制御装置１００の構成について説明する。図１に示すように、表示制御装置１００は、第１通信部１１０と、第２通信部１１１と、表示操作部１１２と、位置検出センサ１１３と、記憶部１２０と、制御部１３０とを有する。なお、表示制御装置１００は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
第１通信部１１０は、例えば、無線ＬＡＮ等の通信モジュール等によって実現される。第１通信部１１０は、例えば、Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ（登録商標）によりＨＭＤ１０と無線で接続され、ＨＭＤ１０との間で情報の通信を司る通信インタフェースである。第１通信部１１０は、ＨＭＤ１０からセンサ情報を受信する。第１通信部１１０は、受信したセンサ情報を制御部１３０に出力する。また、第１通信部１１０は、制御部１３０から入力されたセンサ制御情報および表示画面をＨＭＤ１０に送信する。
第２通信部１１１は、例えば、第３世代移動通信システム、ＬＴＥ（Long Term Evolution）等の携帯電話回線および無線ＬＡＮ等の通信モジュール等によって実現される。第２通信部１１１は、ネットワークＮを介してサーバ２００と無線で接続され、サーバ２００との間で情報の通信を司る通信インタフェースである。第２通信部１１１は、制御部１３０から入力されたデータ取得指示を、ネットワークＮを介して、サーバ２００に送信する。また、第２通信部１１１は、データ取得指示に応じたオブジェクトデータを、ネットワークＮを介して、サーバ２００から受信する。第２通信部１１１は、受信したオブジェクトデータを制御部１３０に出力する。
表示操作部１１２は、各種情報を表示するための表示デバイス、および、ユーザから各種操作を受け付ける入力デバイスである。例えば、表示操作部１１２は、表示デバイスとして液晶ディスプレイ等によって実現される。また、例えば、表示操作部１１２は、入力デバイスとして、タッチパネル等によって実現される。つまり、表示操作部１１２は、表示デバイスと入力デバイスとが一体化される。表示操作部１１２は、ユーザによって入力された操作を操作情報として制御部１３０に出力する。なお、表示操作部１１２は、ＨＭＤ１０と同様の画面を表示してもよいし、ＨＭＤ１０と異なる画面を表示してもよい。
位置検出センサ１１３は、表示制御装置１００の位置、つまりユーザの位置を検出するセンサである。位置検出センサ１１３は、例えば、ＧＰＳ受信機であり、受信したＧＰＳ信号に基づいて、経度緯度および高度を含む位置情報を生成する。位置検出センサ１１３は、生成した位置情報を制御部１３０に出力する。なお、位置検出センサ１１３は、その他の測位システムに対応するセンサであってもよい。また、ユーザの位置をＨＭＤ１０で計測する場合には、位置検出センサ１１３は動作を停止していてもよい。
記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、オブジェクトデータ記憶部１２１を有する。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。
オブジェクトデータ記憶部１２１は、サーバ２００から取得したオブジェクトデータを記憶する。図９は、オブジェクトデータ記憶部の一例を示す図である。図９に示すように、オブジェクトデータ記憶部１２１は、「オブジェクトＩＤ（Identifier）」、「オブジェクトデータ」、「位置情報」といった項目を有する。オブジェクトデータ記憶部１２１は、例えばオブジェクトデータごとに１レコードとして記憶する。
「オブジェクトＩＤ」は、オブジェクトデータ、つまりＡＲコンテンツを識別する識別子である。「オブジェクトデータ」は、サーバ２００から取得したオブジェクトデータを示す情報である。「オブジェクトデータ」は、例えば、オブジェクトデータ、つまりＡＲコンテンツを構成するデータファイルである。「位置情報」は、オブジェクトデータに対応付けられている位置情報である。「位置情報」は、対応付けられたオブジェクトデータの世界座標系における位置情報を示す情報である。
制御部１３０は、例えば、ＣＰＵやＭＰＵ等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されるようにしてもよい。制御部１３０は、表示制御部１３１と、算出部１３２と、検出制御部１３３と、位置測定部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
表示制御部１３１は、ＡＲミドルウェアを用いたアプリケーションを起動する。表示制御部１３１は、アプリケーションが起動されると、第１通信部１１０を介して、ＨＭＤ１０に対するアプリケーションの表示画面の送信を開始する。
表示制御部１３１は、アプリケーションが起動されると、第２通信部１１１およびネットワークＮを介して、データ取得指示をサーバ２００に送信する。表示制御部１３１は、第２通信部１１１およびネットワークＮを介して、サーバ２００からデータ取得指示に対応するオブジェクトデータを受信すると、受信したオブジェクトデータをオブジェクトデータ記憶部１２１に記憶する。
表示制御部１３１は、アプリケーションが起動されると、センサ情報の送受信サービスを生成して起動する。送受信サービスは、ＨＭＤ１０の送受信サービスと同様に、予め定義されたＡＰＩに基づいて動作する。ＡＰＩは、他の機能部から呼び出されることで、センサ情報の送受信サービスを提供する。
表示制御部１３１は、アプリケーションが起動されると、位置測定部１３４に対して測位開始指示を出力する。なお、表示制御部１３１は、ＨＭＤ１０の位置検出センサ１２を用いる場合には、第１通信部１１０を介して、測位開始指示を含むセンサ情報の取得依頼に対応するセンサ制御情報をＨＭＤ１０に送信する。
表示制御部１３１は、算出部１３２から表示領域２２およびプレ表示領域２３が入力されると、表示画面にレーダーチャート２１を表示させる。また、表示制御部１３１は、検出制御部１３３から表示領域２２およびプレ表示領域２３内のオブジェクトデータの位置が入力されると、入力されたオブジェクトデータの位置を表示領域２２およびプレ表示領域２３に表示させる。
表示制御部１３１は、算出部１３２から視界２４が入力されると、入力された視界２４を表示領域２２およびプレ表示領域２３に重畳表示させる。また、表示制御部１３１は、オブジェクトデータ記憶部１２１を参照し、表示領域２２内、かつ、視界２４内のオブジェクトデータを表示画面に表示させる。言い換えると、表示制御部１３１は、ＨＭＤ１０から受信した位置と方向とに基づくオブジェクトの検索に応じて、特定のオブジェクトを含む画像をＨＭＤ１０に送信する。
算出部１３２には、位置測定部１３４での測位開始に応じた位置情報、または、ＨＭＤ１０での測位開始に応じて、第１通信部１１０を介して受信したセンサ情報に含まれる位置情報が入力される。算出部１３２は、位置情報が入力されると、ユーザの位置情報と、予め設定された表示領域２２およびプレ表示領域２３に対応する距離とに基づいて、表示領域２２およびプレ表示領域２３を設定する。すなわち、算出部１３２は、入力された位置情報に基づいて、ユーザとオブジェクトデータとの距離を算出する。言い換えると、算出部１３２は、ユーザから複数のオブジェクトデータそれぞれに対応付けられた位置までの距離を算出する。算出部１３２は、設定した表示領域２２およびプレ表示領域２３を表示制御部１３１および検出制御部１３３に出力する。
また、算出部１３２には、第１通信部１１０を介して受信したセンサ情報に含まれる方向情報が入力される。算出部１３２は、表示領域２２、プレ表示領域２３および方向情報に基づいて、ユーザの視界２４を設定する。算出部１３２は、設定した視界２４を表示制御部１３１に出力する。
検出制御部１３３は、算出部１３２から、設定された表示領域２２およびプレ表示領域２３が入力されると、オブジェクトデータ記憶部１２１を参照し、表示領域２２およびプレ表示領域２３内に位置するオブジェクトデータを検出する。すなわち、検出制御部１３３は、表示領域２２およびプレ表示領域２３内におけるオブジェクトデータの有無を判定する。つまり、検出制御部１３３は、算出されたユーザとオブジェクトデータとの距離の全てが表示領域２２およびプレ表示領域２３内であるか否かを判定する。
検出制御部１３３は、算出されたユーザとオブジェクトデータとの距離のうち１つ以上の距離が表示領域２２およびプレ表示領域２３内である場合には、第１通信部１１０を介して、ＨＭＤ１０に方向情報に対応するセンサ情報の取得依頼を送信する。また、検出制御部１３３は、表示領域２２およびプレ表示領域２３内のオブジェクトデータの位置を表示制御部１３１に出力する。なお、検出制御部１３３は、ＨＭＤ１０で位置情報を取得する場合には、位置情報に対応するセンサ情報の取得依頼を送信する。すなわち、検出制御部１３３は、ＨＭＤ１０に対して通常時の測定間隔で位置を測定するように、位置情報に対応するセンサ情報の取得依頼を送信する。
検出制御部１３３は、算出されたユーザとオブジェクトデータとの距離の全てが表示領域２２およびプレ表示領域２３内でない場合には、第１通信部１１０を介して、ＨＭＤ１０に方向情報に対応するセンサ情報の取得解除依頼を送信する。なお、検出制御部１３３は、表示領域２２およびプレ表示領域２３内のオブジェクトデータの位置を継続的に表示制御部１３１に出力する。この場合、検出制御部１３３は、表示領域２２およびプレ表示領域２３内にオブジェクトデータの位置がなくなった場合、つまり、ＨＭＤ１０に方向情報に対応するセンサ情報の取得解除依頼を送信する場合には、オブジェクトデータの位置の出力を停止する。なお、検出制御部１３３は、ＨＭＤ１０で位置情報を取得する場合には、位置情報に対応するセンサ情報の取得解除依頼を送信する。すなわち、検出制御部１３３は、ＨＭＤ１０に対して通常時よりも測定間隔を長くして、つまり測定周期を長くして位置を測定するように、位置情報に対応するセンサ情報の取得解除依頼を送信する。
言い換えると、検出制御部１３３は、センサにより検出されたＨＭＤ１０の位置および向きに応じて特定されるエリア内の位置に対応付けて登録されたオブジェクトデータを検出する。また、検出制御部１３３は、算出した距離の分布に基づき、ＨＭＤ１０の向きの検出を抑制する制御を行う。また、検出制御部１３３は、複数のオブジェクトデータに対応付けられた位置のうち何れの位置もＨＭＤ１０にオブジェクトデータを表示する対象の範囲に含まれない場合、ＨＭＤ１０の向きの検出を抑制する制御を行う。また、検出制御部１３３は、複数のオブジェクトデータに対応付けられた位置のうち何れの位置も距離が指定された距離よりも大きい場合、ＨＭＤ１０の向きの検出を抑制する制御を行う。
また、検出制御部１３３は、位置測定部１３４で測定した位置と所定の位置関係にある位置に対応付けられたオブジェクトの有無判定結果に応じて、ＨＭＤ１０が備えるセンサの動作、または、センサ情報の送信を制御する信号をＨＭＤ１０に送信する。また、検出制御部１３３は、オブジェクトが無い旨の判定結果である場合に、オブジェクトが有る旨の判定結果である場合と比較して、周期を長くするセンサ制御情報をＨＭＤ１０に送信する。周期を長くするセンサ制御情報は、センサの検出動作の周期を長くする制御、および、センサ情報の送信の周期を長くする制御のうち、１つ以上の制御を行う信号である。
また、検出制御部１３３は、ＨＭＤ１０から受信した位置に基づく、位置と所定の位置関係にある位置に対応づけられたオブジェクトの有無を判定する。検出制御部１３３は、有無判定結果に応じて、位置検出センサ１２及び／又は方向検出センサ１３の動作、または、位置検出センサ１２及び／又は方向検出センサ１３で取得したセンサ情報の送信を制御する信号をＨＭＤ１０に送信する。
また、検出制御部１３３は、受信した位置に基づく、位置と所定の位置関係にある位置に対応づけられたオブジェクトの検索に応じて、方向検出センサ１３による検出方向をＨＭＤ１０から送信するようにＨＭＤ１０に指示する信号を送信する。
位置測定部１３４は、表示制御部１３１から測位開始指示が入力されると、位置検出センサ１１３に測位の開始を指示する。位置測定部１３４は、位置検出センサ１１３から位置情報が入力されると、入力された位置情報を算出部１３２に出力する。また、位置測定部１３４は、アプリケーションが終了されると、位置検出センサ１１３に測位の終了を指示する。
次に、実施例の表示制御システム１の動作について説明する。図１０および図１１は、実施例の表示制御処理の一例を示すシーケンス図である。
表示制御装置１００の表示制御部１３１は、ＡＲミドルウェアを用いたアプリケーションを起動する（ステップＳ１）。表示制御部１３１は、アプリケーションが起動されると、ＨＭＤ１０に対するアプリケーションの表示画面の送信を開始する。
ＨＭＤ１０のセンサ制御部１７は、ＨＭＤ１０の電源が投入されると、センサ情報の送受信サービスを起動する（ステップＳ２）。表示制御部１８は、表示制御装置１００から受信したアプリケーションの表示画面の表示を開始する（ステップＳ３）。
表示制御部１３１は、アプリケーションが起動されると、データ取得指示をサーバ２００に送信する。表示制御部１３１は、サーバ２００からデータ取得指示に対応するオブジェクトデータを受信すると、受信して取得したオブジェクトデータをオブジェクトデータ記憶部１２１に記憶する（ステップＳ４）。
また、表示制御部１３１は、アプリケーションが起動されると、センサ情報の送受信サービスを生成して起動する（ステップＳ５）。さらに、表示制御部１３１は、位置測定部１３４に対して測位開始指示を出力する。位置測定部１３４は、表示制御部１３１から測位開始指示が入力されると、位置検出センサ１１３に測位の開始を指示する。位置測定部１３４は、位置検出センサ１１３から位置情報が入力されると、入力された位置情報を算出部１３２に出力する（ステップＳ６）。
算出部１３２には、位置測定部１３４での測位開始に応じた位置情報が入力される。算出部１３２は、位置情報が入力されると、入力された位置情報に基づいて、ユーザとオブジェクトデータとの距離を算出する（ステップＳ７）。すなわち、算出部１３２は、表示領域２２およびプレ表示領域２３を設定する。算出部１３２は、設定した表示領域２２およびプレ表示領域２３を表示制御部１３１および検出制御部１３３に出力する。表示制御部１３１は、算出部１３２から表示領域２２およびプレ表示領域２３が入力されると、表示画面にレーダーチャート２１を表示させる。
検出制御部１３３は、算出部１３２から、設定された表示領域２２およびプレ表示領域２３が入力されると、ユーザとオブジェクトデータとの距離の全てが表示領域２２およびプレ表示領域２３内であるか否かを判定する（ステップＳ８）。検出制御部１３３は、ユーザとオブジェクトデータとの距離のうち１つ以上の距離が表示領域２２およびプレ表示領域２３内である場合には（ステップＳ８：肯定）、ＨＭＤ１０に方向情報に対応するセンサ情報の取得依頼を送信する（ステップＳ９）。また、検出制御部１３３は、表示領域２２およびプレ表示領域２３内のオブジェクトデータの位置を表示制御部１３１に出力する。また、表示制御部１３１は、検出制御部１３３から表示領域２２およびプレ表示領域２３内のオブジェクトデータの位置が入力されると、入力されたオブジェクトデータの位置を表示領域２２およびプレ表示領域２３に表示させる。
検出制御部１３３は、ユーザとオブジェクトデータとの距離の全てが表示領域２２およびプレ表示領域２３内でない場合には（ステップＳ８：否定）、ＨＭＤ１０に方向情報に対応するセンサ情報の取得解除依頼を送信する（ステップＳ１０）。
ＨＭＤ１０のセンサ制御部１７は、方向情報に対応するセンサ情報の取得依頼または取得解除依頼を受信すると、取得依頼があるか否かを判定する（ステップＳ１１）。センサ制御部１７は、取得依頼がある場合には（ステップＳ１１：肯定）、方向検出センサ１３に対して、方向情報の出力開始を指示する制御情報を出力する。つまり、センサ制御部１７は、センサ情報の取得を開始する（ステップＳ１２）。センサ制御部１７は、取得依頼がない場合には（ステップＳ１１：否定）、ステップＳ１３に進む。
センサ制御部１７は、取得解除依頼があるか否かを判定する（ステップＳ１３）。センサ制御部１７は、取得解除依頼がある場合には（ステップＳ１３：肯定）、方向検出センサ１３に対して、方向情報の出力終了を指示する制御情報を出力する。つまり、センサ制御部１７は、センサ情報の取得を終了する（ステップＳ１４）。センサ制御部１７は、取得解除依頼がない場合には（ステップＳ１３：否定）、ステップＳ１５に進む。
センサ制御部１７は、センサ情報を取得中であるか否かを判定する（ステップＳ１５）。センサ制御部１７は、センサ情報を取得中である場合には（ステップＳ１５：肯定）、方向検出センサ１３から取得中の方向情報をセンサ情報とし、当該センサ情報を表示制御装置１００に送信する（ステップＳ１６）。センサ制御部１７は、センサ情報を取得中でない場合には（ステップＳ１５：否定）、ステップＳ２０に進む。
表示制御装置１００の算出部１３２は、方向情報を含むセンサ情報を受信すると（ステップＳ１７）、表示領域２２、プレ表示領域２３および方向情報に基づいて、ユーザの視界２４を設定する。算出部１３２は、設定した視界２４を表示制御部１３１に出力する。
表示制御部１３１は、算出部１３２から視界２４が入力されると、入力された視界２４を表示領域２２およびプレ表示領域２３に重畳表示させる。また、表示制御部１３１は、オブジェクトデータ記憶部１２１を参照し、表示領域２２内、かつ、視界２４内のオブジェクトデータを表示画面に表示させる（ステップＳ１８）。つまり、表示制御部１３１は、表示画面を更新させる。
ＨＭＤ１０の表示制御部１８は、表示画面の更新に応じて、表示部１４の表示を更新する（ステップＳ１９）。センサ制御部１７は、送受信サービスが終了したか否かを判定する（ステップＳ２０）。センサ制御部１７は、送受信サービスが終了していない場合には（ステップＳ２０：否定）、ステップＳ１１に戻る。センサ制御部１７は、送受信サービスが終了した場合には（ステップＳ２０：肯定）、処理を終了する。
表示制御装置１００の表示制御部１３１は、アプリケーションが終了したか否かを判定する（ステップＳ２１）。表示制御部１３１は、アプリケーションが終了していない場合には（ステップＳ２１：否定）、ステップＳ７に戻る。表示制御部１３１は、アプリケーションが終了した場合には（ステップＳ２１：肯定）、送受信サービスを終了し（ステップＳ２２）、表示制御処理を終了する。これにより、表示制御装置１００は、ＨＭＤ１０の消費電力を削減できる。
なお、上記実施例では、ユーザの位置の測定を表示制御装置１００で行ったが、これに限定されない。例えば、ＨＭＤ１０でユーザの位置を測定してもよい。
このように、表示制御装置１００は、センサにより検出されたヘッドマウントディスプレイ１０の位置および向きに応じて特定されるエリア内の位置に対応付けて登録されたオブジェクトデータを検出する。また、表示制御装置１００は、検出したオブジェクトデータをヘッドマウントディスプレイ１０に表示する。また、表示制御装置１００は、複数のオブジェクトデータそれぞれに対応付けられた位置までの距離を算出する。また、表示制御装置１００は、算出した距離の分布に基づき、ヘッドマウントディスプレイ１０の向きの検出を抑制する制御を行う。その結果、ヘッドマウントディスプレイ１０の消費電力を削減できる。
また、表示制御装置１００は、複数のオブジェクトデータに対応付けられた位置のうち何れの位置もヘッドマウントディスプレイ１０にオブジェクトデータを表示する対象の範囲に含まれない場合、ヘッドマウントディスプレイ１０の向きの検出を抑制する制御を行う。その結果、表示するオブジェクトデータがない場合に、ヘッドマウントディスプレイ１０の消費電力を削減できる。
また、表示制御装置１００は、複数のオブジェクトデータに対応付けられた位置のうち何れの位置も距離が指定された距離よりも大きい場合、ヘッドマウントディスプレイ１０の向きの検出を抑制する制御を行う。その結果、オブジェクトデータがユーザから指定の距離より遠い場合に、ヘッドマウントディスプレイ１０の消費電力を削減できる。
また、表示制御装置１００は、ヘッドマウントディスプレイ１０からセンサ情報を受信する。また、表示制御装置１００は、位置を測定する。また、表示制御装置１００は、測定した位置と所定の位置関係にある位置に対応付けられたオブジェクトの有無判定結果に応じて、ヘッドマウントディスプレイ１０が備えるセンサの動作、または、センサ情報の送信を制御する信号をヘッドマウントディスプレイ１０に送信する。その結果、オブジェクトの有無に応じて、ヘッドマウントディスプレイ１０のセンサの動作またはセンサ情報の送信を制御できる。
また、ヘッドマウントディスプレイ１０が備えるセンサは、ヘッドマウントディスプレイ１０の方向を検出するセンサである。その結果、ヘッドマウントディスプレイ１０の方向の検出をオブジェクトの有無に応じて制御できる。
また、表示制御装置１００は、オブジェクトが無い旨の判定結果である場合に、オブジェクトが有る旨の判定結果である場合と比較して、センサの検出動作の周期を長くする制御、および、センサ情報の送信の周期を長くする制御のうち、１つ以上の制御を行う信号をヘッドマウントディスプレイ１０に送信する。その結果、ヘッドマウントディスプレイ１０の消費電力を削減できる。
また、表示制御装置１００は、位置検出センサ１２と、方向検出センサ１３とを備えたヘッドマウントディスプレイ１０から位置検出センサ１２で検出された位置を受信する。また、表示制御装置１００は、受信した位置に基づく、位置と所定の位置関係にある位置に対応づけられたオブジェクトの有無判定結果に応じて、位置検出センサ１２及び／又は方向検出センサ１３を制御する信号をヘッドマウントディスプレイ１０に送信する。制御する信号は、位置検出センサ１２及び／又は方向検出センサ１３の動作、または、位置検出センサ１２及び／又は方向検出センサ１３で取得したセンサ情報の送信を制御する信号である。
また、表示制御装置１００は、位置検出センサ１２と、方向検出センサ１３とを備えたヘッドマウントディスプレイ１０から位置検出センサ１２で検出された位置を受信する。また、表示制御装置１００は、ヘッドマウントディスプレイ１０に信号を送信する。また、表示制御装置１００は、受信した位置に基づく、位置と所定の位置関係にある位置に対応づけられたオブジェクトの検索に応じて、方向検出センサ１３による検出方向をヘッドマウントディスプレイ１０から送信するようにヘッドマウントディスプレイ１０に指示する信号を送信するように制御する。また、表示制御装置１００は、ヘッドマウントディスプレイ１０から受信した位置と方向とに基づくオブジェクトの検索に応じて、特定のオブジェクトを含む画像をヘッドマウントディスプレイ１０に送信するように制御する。その結果、ヘッドマウントディスプレイ１０の位置と方向に応じたオブジェクトを表示できる。
なお、上記実施例では、表示領域２２またはプレ表示領域２３内にオブジェクトデータが位置しない場合に、方向検出センサ１３での向きの検出を抑制したが、これに限定されない。例えば、表示領域２２内にオブジェクトデータが位置しない場合のみに、方向検出センサ１３での向きの検出を抑制するようにしてもよい。
また、上記実施例では、工場の設備点検を一例として挙げたが、これに限定されない。例えば、観光地における名所案内等にも適用してもよい。
また、上記実施例では、表示制御装置１００とＨＭＤ１０とをユーザが装着する形態として説明したが、これに限定されない。例えば、ＨＭＤ１０を用いずに、例えばスマートフォンである表示制御装置１００の表示操作部１１２に表示画面を表示するようにしてもよい。
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、算出部１３２と検出制御部１３３とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
さらに、各装置で行われる各種処理機能は、ＣＰＵ（又はＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部又は任意の一部を実行するようにしてもよいことは言うまでもない。
ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図１２は、表示制御プログラムを実行するコンピュータの一例を示す図である。
図１２に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、データ入力を受け付ける入力装置３０２と、モニタ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る媒体読取装置３０４と、各種装置と接続するためのインタフェース装置３０５と、他の情報処理装置等と有線または無線により接続するための通信装置３０６とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０７と、フラッシュメモリ３０８とを有する。また、各装置３０１〜３０８は、バス３０９に接続される。
フラッシュメモリ３０８には、図１に示した表示制御部１３１、算出部１３２、検出制御部１３３および位置測定部１３４の各処理部と同様の機能を有する表示制御プログラムが記憶される。また、フラッシュメモリ３０８には、オブジェクトデータ記憶部１２１、および、表示制御プログラムを実現するための各種データが記憶される。入力装置３０２は、例えば、コンピュータ３００のユーザから操作情報等の各種情報の入力を受け付ける。モニタ３０３は、例えば、コンピュータ３００のユーザに対して表示画面等の各種画面を表示する。インタフェース装置３０５は、例えばヘッドホン等が接続される。通信装置３０６は、例えば、図１に示した第１通信部１１０および第２通信部１１１と同様の機能を有しＨＭＤ１０およびネットワークＮと接続され、ＨＭＤ１０およびサーバ２００と各種情報をやりとりする。
ＣＰＵ３０１は、フラッシュメモリ３０８に記憶された各プログラムを読み出して、ＲＡＭ３０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ３００を図１に示した表示制御部１３１、算出部１３２、検出制御部１３３および位置測定部１３４として機能させることができる。
なお、上記の表示制御プログラムは、必ずしもフラッシュメモリ３０８に記憶されている必要はない。例えば、コンピュータ３００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ３００が読み出して実行するようにしてもよい。コンピュータ３００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの表示制御プログラムを記憶させておき、コンピュータ３００がこれらから表示制御プログラムを読み出して実行するようにしてもよい。
以上、本実施例を含む実施の形態に関し、さらに以下の付記を開示する。
（付記１）センサにより検出されたヘッドマウントディスプレイの位置および向きに応じて特定されるエリア内の位置に対応付けて登録されたオブジェクトデータを検出すると、前記オブジェクトデータを前記ヘッドマウントディスプレイに表示する表示制御方法において、
複数のオブジェクトデータそれぞれに対応付けられた位置までの距離を算出し、
算出した前記距離の分布に基づき、前記ヘッドマウントディスプレイの向きの検出を抑制する制御を行う、
処理をコンピュータが実行することを特徴とする表示制御方法。
（付記２）前記抑制する制御を行う処理は、前記複数のオブジェクトデータに対応付けられた位置のうち何れの位置も前記ヘッドマウントディスプレイにオブジェクトデータを表示する対象の範囲に含まれない場合、前記ヘッドマウントディスプレイの向きの検出を抑制する制御を行う、
ことを特徴とする付記１に記載の表示制御方法。
（付記３）前記抑制する制御を行う処理は、前記複数のオブジェクトデータに対応付けられた位置のうち何れの位置も前記距離が指定された距離よりも大きい場合、前記ヘッドマウントディスプレイの向きの検出を抑制する制御を行う、
ことを特徴とする付記１に記載の表示制御方法。
（付記４）ヘッドマウントディスプレイからセンサ情報を受信する受信部と、
位置を測定する位置測定部と、
前記位置測定部で測定した位置と所定の位置関係にある位置に対応付けられたオブジェクトの有無判定結果に応じて、該ヘッドマウントディスプレイが備えるセンサの動作、または、センサ情報の送信を制御する信号を前記ヘッドマウントディスプレイに送信する送信部と、
を備えたことを特徴とする通信装置。
（付記５）前記ヘッドマウントディスプレイが備える前記センサは、前記ヘッドマウントディスプレイの方向を検出するセンサであることを特徴とする付記４に記載の通信装置。
（付記６）前記送信部は、前記オブジェクトが無い旨の判定結果である場合に、前記オブジェクトが有る旨の判定結果である場合と比較して、前記センサの検出動作の周期を長くする制御、および、前記センサ情報の送信の周期を長くする制御のうち、１つ以上の制御を行う信号を前記ヘッドマウントディスプレイに送信する、
ことを特徴とする付記４または５に記載の通信装置。
（付記７）位置検出センサと、方向検出センサとを備えたヘッドマウントディスプレイから前記位置検出センサで検出された位置を受信する受信部と、
受信した前記位置に基づく、前記位置と所定の位置関係にある位置に対応づけられたオブジェクトの有無判定結果に応じて、前記位置検出センサ及び／又は前記方向検出センサの動作、または、前記位置検出センサ及び／又は前記方向検出センサで取得したセンサ情報の送信を制御する信号を前記ヘッドマウントディスプレイに送信する送信部と、
を備えたことを特徴とする通信装置。
（付記８）位置検出センサと、方向検出センサとを備えたヘッドマウントディスプレイから前記位置検出センサで検出された位置を受信する受信部と、
前記ヘッドマウントディスプレイに信号を送信する送信部と、
受信した前記位置に基づく、前記位置と所定の位置関係にある位置に対応づけられたオブジェクトの検索に応じて、前記方向検出センサによる検出方向を前記ヘッドマウントディスプレイから送信するように前記ヘッドマウントディスプレイに指示する信号を送信するように前記送信部を制御する制御部と、
を備え、
前記制御部は、前記ヘッドマウントディスプレイから受信した位置と方向とに基づくオブジェクトの検索に応じて、特定のオブジェクトを含む画像を前記ヘッドマウントディスプレイに送信するように前記送信部を制御する、
ことを特徴とする通信装置。
（付記９）センサにより検出されたヘッドマウントディスプレイの位置および向きに応じて特定されるエリア内の位置に対応付けて登録されたオブジェクトデータを検出すると、前記オブジェクトデータを前記ヘッドマウントディスプレイに表示する処理をコンピュータに実行させる表示制御プログラムにおいて、
複数のオブジェクトデータそれぞれに対応付けられた位置までの距離を算出し、
算出した前記距離の分布に基づき、前記ヘッドマウントディスプレイの向きの検出を抑制する制御を行う、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
（付記１０）前記抑制する制御を行う処理は、前記複数のオブジェクトデータに対応付けられた位置のうち何れの位置も前記ヘッドマウントディスプレイにオブジェクトデータを表示する対象の範囲に含まれない場合、前記ヘッドマウントディスプレイの向きの検出を抑制する制御を行う、
ことを特徴とする付記９に記載の表示制御プログラム。
（付記１１）前記抑制する制御を行う処理は、前記複数のオブジェクトデータに対応付けられた位置のうち何れの位置も前記距離が指定された距離よりも大きい場合、前記ヘッドマウントディスプレイの向きの検出を抑制する制御を行う、
ことを特徴とする付記９に記載の表示制御プログラム。
（付記１２）センサにより検出されたヘッドマウントディスプレイの位置および向きに応じて特定されるエリア内の位置に対応付けて登録されたオブジェクトデータを検出すると、前記オブジェクトデータを前記ヘッドマウントディスプレイに表示する表示制御装置において、
複数のオブジェクトデータそれぞれに対応付けられた位置までの距離を算出する算出部と、
算出した前記距離の分布に基づき、前記ヘッドマウントディスプレイの向きの検出を抑制する制御を行う検出制御部と、
を備えることを特徴とする表示制御装置。
（付記１３）前記検出制御部は、前記複数のオブジェクトデータに対応付けられた位置のうち何れの位置も前記ヘッドマウントディスプレイにオブジェクトデータを表示する対象の範囲に含まれない場合、前記ヘッドマウントディスプレイの向きの検出を抑制する制御を行う、
ことを特徴とする付記１２に記載の表示制御装置。
（付記１４）前記検出制御部は、前記複数のオブジェクトデータに対応付けられた位置のうち何れの位置も前記距離が指定された距離よりも大きい場合、前記ヘッドマウントディスプレイの向きの検出を抑制する制御を行う、
ことを特徴とする付記１２に記載の表示制御装置。
１０ ＨＭＤ
１１ 通信部
１２ 位置検出センサ
１３ 方向検出センサ
１４ 表示部
１５ 記憶部
１６ 制御部
１７ センサ制御部
１８ 表示制御部
１００ 表示制御装置
１１０ 第１通信部
１１１ 第２通信部
１２０ 記憶部
１２１ オブジェクトデータ記憶部
１３０ 制御部
１３１ 表示制御部
１３２ 算出部
１３３ 検出制御部
１３４ 位置測定部
２００ サーバ
Ｎ ネットワーク

Claims (10)

  1. センサにより検出されたヘッドマウントディスプレイの位置および向きに応じて特定されるエリア内の位置に対応付けて登録されたオブジェクトデータを検出すると、前記オブジェクトデータを前記ヘッドマウントディスプレイに表示する表示制御方法において、
    複数のオブジェクトデータそれぞれに対応付けられた位置までの距離を算出し、
    算出した前記距離の分布に基づき、前記ヘッドマウントディスプレイの向きの検出を抑制する制御を行う、
    処理をコンピュータが実行することを特徴とする表示制御方法。
  2. 前記抑制する制御を行う処理は、前記複数のオブジェクトデータに対応付けられた位置のうち何れの位置も前記ヘッドマウントディスプレイにオブジェクトデータを表示する対象の範囲に含まれない場合、前記ヘッドマウントディスプレイの向きの検出を抑制する制御を行う、
    ことを特徴とする請求項１に記載の表示制御方法。
  3. 前記抑制する制御を行う処理は、前記複数のオブジェクトデータに対応付けられた位置のうち何れの位置も前記距離が指定された距離よりも大きい場合、前記ヘッドマウントディスプレイの向きの検出を抑制する制御を行う、
    ことを特徴とする請求項１に記載の表示制御方法。
  4. ヘッドマウントディスプレイからセンサ情報を受信する受信部と、
    位置を測定する位置測定部と、
    前記位置測定部で測定した位置と所定の位置関係にある位置に対応付けられたオブジェクトの有無判定結果に応じて、該ヘッドマウントディスプレイが備えるセンサの動作、または、センサ情報の送信を制御する信号を前記ヘッドマウントディスプレイに送信する送信部と、
    を備えたことを特徴とする通信装置。
  5. 前記ヘッドマウントディスプレイが備える前記センサは、前記ヘッドマウントディスプレイの方向を検出するセンサであることを特徴とする請求項４に記載の通信装置。
  6. 前記送信部は、前記オブジェクトが無い旨の判定結果である場合に、前記オブジェクトが有る旨の判定結果である場合と比較して、前記センサの検出動作の周期を長くする制御、および、前記センサ情報の送信の周期を長くする制御のうち、１つ以上の制御を行う信号を前記ヘッドマウントディスプレイに送信する、
    ことを特徴とする請求項４または５に記載の通信装置。
  7. 位置検出センサと、方向検出センサとを備えたヘッドマウントディスプレイから前記位置検出センサで検出された位置を受信する受信部と、
    受信した前記位置に基づく、前記位置と所定の位置関係にある位置に対応づけられたオブジェクトの有無判定結果に応じて、前記位置検出センサ及び／又は前記方向検出センサの動作、または、前記位置検出センサ及び／又は前記方向検出センサで取得したセンサ情報の送信を制御する信号を前記ヘッドマウントディスプレイに送信する送信部と、
    を備えたことを特徴とする通信装置。
  8. 位置検出センサと、方向検出センサとを備えたヘッドマウントディスプレイから前記位置検出センサで検出された位置を受信する受信部と、
    前記ヘッドマウントディスプレイに信号を送信する送信部と、
    受信した前記位置に基づく、前記位置と所定の位置関係にある位置に対応づけられたオブジェクトの検索に応じて、前記方向検出センサによる検出方向を前記ヘッドマウントディスプレイから送信するように前記ヘッドマウントディスプレイに指示する信号を送信するように前記送信部を制御する制御部と、
    を備え、
    前記制御部は、前記ヘッドマウントディスプレイから受信した位置と方向とに基づくオブジェクトの検索に応じて、特定のオブジェクトを含む画像を前記ヘッドマウントディスプレイに送信するように前記送信部を制御する、
    ことを特徴とする通信装置。
  9. センサにより検出されたヘッドマウントディスプレイの位置および向きに応じて特定されるエリア内の位置に対応付けて登録されたオブジェクトデータを検出すると、前記オブジェクトデータを前記ヘッドマウントディスプレイに表示する処理をコンピュータに実行させる表示制御プログラムにおいて、
    複数のオブジェクトデータそれぞれに対応付けられた位置までの距離を算出し、
    算出した前記距離の分布に基づき、前記ヘッドマウントディスプレイの向きの検出を抑制する制御を行う、
    処理をコンピュータに実行させることを特徴とする表示制御プログラム。
  10. センサにより検出されたヘッドマウントディスプレイの位置および向きに応じて特定されるエリア内の位置に対応付けて登録されたオブジェクトデータを検出すると、前記オブジェクトデータを前記ヘッドマウントディスプレイに表示する表示制御装置において、
    複数のオブジェクトデータそれぞれに対応付けられた位置までの距離を算出する算出部と、
    算出した前記距離の分布に基づき、前記ヘッドマウントディスプレイの向きの検出を抑制する制御を行う検出制御部と、
    を備えることを特徴とする表示制御装置。
JP2016044658A 2016-03-08 2016-03-08 表示制御方法、通信装置、表示制御プログラムおよび表示制御装置 Active JP6711033B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016044658A JP6711033B2 (ja) 2016-03-08 2016-03-08 表示制御方法、通信装置、表示制御プログラムおよび表示制御装置
US15/447,617 US10222876B2 (en) 2016-03-08 2017-03-02 Display control system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016044658A JP6711033B2 (ja) 2016-03-08 2016-03-08 表示制御方法、通信装置、表示制御プログラムおよび表示制御装置

Publications (2)

Publication Number Publication Date
JP2017161645A true JP2017161645A (ja) 2017-09-14
JP6711033B2 JP6711033B2 (ja) 2020-06-17

Family

ID=59787867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016044658A Active JP6711033B2 (ja) 2016-03-08 2016-03-08 表示制御方法、通信装置、表示制御プログラムおよび表示制御装置

Country Status (2)

Country Link
US (1) US10222876B2 (ja)
JP (1) JP6711033B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020145092A1 (ja) * 2019-01-07 2020-07-16 株式会社ｍｅｄｉＶＲ リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
JP2020110209A (ja) * 2019-01-07 2020-07-27 株式会社ｍｅｄｉＶＲ リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
DE112016007015T5 (de) * 2016-07-29 2019-03-21 Mitsubishi Electric Corporation Anzeigevorrichtung, anzeigesteuervorrichtung und anzeigesteuerverfahren
JP6816492B2 (ja) * 2016-12-14 2021-01-20 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
CN108827320B (zh) * 2018-06-08 2021-08-17 西安电子科技大学 一种便于在轨更换的星敏感器***及在轨更换方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013093706A (ja) * 2011-10-25 2013-05-16 Olympus Corp 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体及び画像処理システム
JP2014186434A (ja) * 2013-03-22 2014-10-02 Seiko Epson Corp 頭部装着型表示装置を利用した情報表示システム、頭部装着型表示装置を利用した情報表示方法、および、頭部装着型表示装置
JP2015155802A (ja) * 2014-02-19 2015-08-27 富士通株式会社 携帯電子機器、および位置算出プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5125779B2 (ja) 2008-06-04 2013-01-23 株式会社ニコン ヘッドマウントディスプレイ装置
KR101350033B1 (ko) * 2010-12-13 2014-01-14 주식회사 팬택 증강 현실 제공 단말기 및 방법
JP5960799B2 (ja) 2012-03-28 2016-08-02 パイオニア株式会社 ヘッドマウントディスプレイ及び表示方法
JP2014235717A (ja) 2013-06-05 2014-12-15 キヤノン株式会社 情報処理装置及び拡張現実表示システム及び閲覧ユーザの登録方法及びプログラム
EP2842529A1 (en) * 2013-08-30 2015-03-04 GN Store Nord A/S Audio rendering system categorising geospatial objects

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013093706A (ja) * 2011-10-25 2013-05-16 Olympus Corp 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体及び画像処理システム
JP2014186434A (ja) * 2013-03-22 2014-10-02 Seiko Epson Corp 頭部装着型表示装置を利用した情報表示システム、頭部装着型表示装置を利用した情報表示方法、および、頭部装着型表示装置
JP2015155802A (ja) * 2014-02-19 2015-08-27 富士通株式会社 携帯電子機器、および位置算出プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020145092A1 (ja) * 2019-01-07 2020-07-16 株式会社ｍｅｄｉＶＲ リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
JP2020110209A (ja) * 2019-01-07 2020-07-27 株式会社ｍｅｄｉＶＲ リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
JP2020110561A (ja) * 2019-01-07 2020-07-27 株式会社ｍｅｄｉＶＲ リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
JP7385238B2 (ja) 2019-01-07 2023-11-22 株式会社mediVR リハビリテーション支援装置、リハビリテーション支援方法及びリハビリテーション支援プログラム

Also Published As

Publication number Publication date
US10222876B2 (en) 2019-03-05
JP6711033B2 (ja) 2020-06-17
US20170262074A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
JP6711033B2 (ja) 表示制御方法、通信装置、表示制御プログラムおよび表示制御装置
JP7268692B2 (ja) 情報処理装置、制御方法及びプログラム
JP6816492B2 (ja) 表示制御プログラム、表示制御方法および表示制御装置
US9401050B2 (en) Recalibration of a flexible mixed reality device
CA2913650C (en) Virtual object orientation and visualization
JP6669067B2 (ja) 表示制御装置、表示制御方法およびプログラム
US10043314B2 (en) Display control method and information processing apparatus
US20150170422A1 (en) Information Display System With See-Through HMD, Display Control Program and Display Control Method
WO2017169081A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11727648B2 (en) Method and device for synchronizing augmented reality coordinate systems
EP3460633A1 (en) Head-mounted display apparatus and processing method thereof
JP6409644B2 (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
TW202004424A (zh) 用於追蹤和渲染對應於實體對象的虛擬對象的追蹤系統以及用於其的操作方法
JP6938904B2 (ja) 送信制御プログラム、送信制御方法および情報処理装置
JP6398630B2 (ja) 可視像表示方法、第１デバイス、プログラム、及び、視界変更方法、第１デバイス、プログラム
WO2019102676A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US9402162B1 (en) Mobile device, positioning method and non-transitor computer-readable recording medium
CN114647305B (zh) Ar导览中的障碍物提示方法、头戴式显示设备和可读介质
JP7400810B2 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP6941715B2 (ja) 表示装置、表示プログラム、表示方法及び表示システム
JP2017026762A (ja) 表示制御装置、表示制御方法、及びプログラム
US20210262802A1 (en) Information processing device, information processing method, information processing program, and terminal apparatus
JP2021086233A (ja) 情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200511

R150 Certificate of patent or registration of utility model

Ref document number: 6711033

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150