JP6740584B2 - 表示システム、表示装置の制御方法、及び、プログラム - Google Patents
表示システム、表示装置の制御方法、及び、プログラム Download PDFInfo
- Publication number
- JP6740584B2 JP6740584B2 JP2015181843A JP2015181843A JP6740584B2 JP 6740584 B2 JP6740584 B2 JP 6740584B2 JP 2015181843 A JP2015181843 A JP 2015181843A JP 2015181843 A JP2015181843 A JP 2015181843A JP 6740584 B2 JP6740584 B2 JP 6740584B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- unit
- image
- data
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は上記事情に鑑みてなされたものであり、使用者の頭部に装着される表示装置を、より直感的な入力操作により制御できる表示システム、表示装置の制御方法、及び、プログラムを提供することを目的とする。
本発明によれば、使用者の頭部に装着される表示装置が、表示装置とは別体の操作デバイスの操作に対応して、外景に関連するAR表示を行うので、直感的な入力操作によってAR表示を制御できる。
本発明によれば、操作対象物の操作に関する情報を、直感的に把握しやすい形態で表示できる。
本発明によれば、使用者の頭部に装着される表示装置が、表示装置とは別体の操作デバイスの操作を速やかに検出し、この操作に対応するAR表示を行うことができる。
本発明によれば、操作デバイスにおける操作を、表示装置において確実に検出できる。また、操作の検出に係る表示装置の負荷を軽減できる。
本発明によれば、AR表示を行っている間に、操作デバイスを操作することにより、AR表示を変更させることができる。
この場合において、前記制御部は、前記操作部に対する前記AR表示の割り当てを更新する処理を実行可能であってもよい。
本発明によれば、操作デバイスと表示装置との相対位置に対応して表示を制御できる。
本発明によれば、操作デバイスでタッチ操作を行うことにより、AR表示に対する様々な操作が可能となる。
本発明によれば、操作デバイスを動かすことで表示装置に対する操作を行える。
本発明によれば、表示装置とは別体の操作デバイスで撮像を行い、撮像画像を表示装置で表示できる。
本発明によれば、使用者の頭部に装着される表示装置に対し、表示装置とは別体の操作デバイスの操作に応じて画面を遷移させるので、より直感的な入力操作により表示装置を制御できる。
本発明によれば、表示装置とは別体の操作デバイスに対する操作を検出できる。
本発明によれば、操作デバイスにおける操作を、表示装置において確実に検出できる。また、操作の検出に係る表示装置の負荷を軽減できる。
本発明によれば、回転を伴う操作により、回転方向に対応して表示される画面が遷移するので、より直感的な操作を実現できる。また、操作の方向と画面の遷移の方向とが対応するため、例えば手探りの操作を行うことが可能となる。
本発明によれば、直感的な操作により表示装置が表示する画像の表示制御が可能となる。
本発明によれば、操作デバイスを、データを出力する装置として利用できる。
本発明によれば、表示装置とは別体の操作デバイスで撮像を行い、撮像画像を表示装置で表示できる。
本発明によれば、操作デバイスと表示装置との相対位置を速やかに求めることができる。
本発明によれば、操作デバイスを動かすことで表示装置に対する操作を行える。
本発明によれば、操作デバイスと表示装置との相対位置に対応して表示を制御できる。
本発明によれば、操作デバイスと表示装置との相対位置を速やかに求めることができる。
本発明によれば、使用者が外景を見ながら操作デバイスを操作して、表示装置の表示を制御できる。表示装置のみを注視せず、直感的に操作できるため、外景を見ながら表示装置を使用する場合に好適である。
本発明によれば、使用者の身体に装着される操作デバイスを用いて、より直感的な入力操作を行い、表示装置を制御できる。
本発明によれば、表示装置とは別体の操作対象物に関する情報を、使用者にわかりやすく提供できる。
本発明によれば、操作対象物に対する操作に対応して表示装置が処理を実行するので、操作対象物を使用して直感的な操作を実現できる。
本発明によれば、操作対象物に対する操作を表示装置が速やかに検出できる。また、操作対象物が通信機能を有していなくても、表示装置が操作対象物の操作に対応して処理を実行できる。
本発明によれば、操作対象物が通信を実行しなくても、表示装置が操作対象物を検出し、操作対象物に対する操作を検出できる。
本発明によれば、操作対象物に対応してAR表示を行う機能について、データを変更できるので、新しい操作対象物や未知の操作対象物に対応するようデータを変更できる。これにより、AR表示の対象とする操作対象物に関する制約を減らすことができ、利便性の向上を図ることができる。
本発明によれば、操作対象物とAR表示との対応を変更可能である。
本発明によれば、使用者の頭部に装着される表示装置が、表示装置とは別体の操作対象物に対応する操作用の画像を表示し、この操作用の画像に関する操作に応じて処理を実行する。このため、操作対象物を利用して表示装置に処理を実行させることが可能となり、表示装置に対する直感的な操作が可能となる。
本発明によれば、使用者の頭部に装着される表示部を有する表示装置が、外景に関連するAR表示を行う際に、表示装置とは別体の操作対象物の操作を反映する。このため、直感的な入力操作によってAR表示を制御できる。
本発明によれば、使用者の頭部に装着される表示部を有する表示装置が、外景に関連するAR表示を行う際に、表示装置とは別体の操作対象物の操作を反映する。このため、直感的な入力操作によってAR表示を制御できる。
本発明によれば、使用者の頭部に装着される表示部を有する表示装置に対し、表示装置とは別体の操作対象物を操作し、画面を遷移させるので、より直感的な入力操作により表示装置を制御できる。
本発明によれば、使用者の頭部に装着される表示部を有する表示装置に対し、表示装置とは別体の操作対象物を操作し、画面を遷移させるので、より直感的な入力操作により表示装置を制御できる。
本発明によれば、使用者の頭部に装着される表示部を有する表示装置に対し、表示装置とは別体の操作対象物を操作し、画面を遷移させるので、より直感的な入力操作により表示装置を制御できる。
図1は、本発明を適用した実施形態に係る表示システム1の概略構成を示す図である。
表示システム1は、使用者の身体に装着される頭部装着型表示装置100及び操作デバイス3を備える。
頭部装着型表示装置100は、図1に示すように、使用者の頭部に装着される画像表示部20を有する。頭部装着型表示装置100は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20(表示部)と、画像表示部20を制御する制御装置10と、を備えている。画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状のフレーム2(本体)を有する。また、制御装置10は、使用者が頭部装着型表示装置100を操作するコントローラーとしても機能する。制御装置10は、使用者の衣服のポケットに収容され、或いは、使用者の腰のベルトに取り付けられる。
また、操作デバイス3は、使用者の身体に装着可能な、いわゆるウェアラブルデバイスであり、本実施形態では使用者の腕に装着される腕時計状の形状とする。
図2は、操作デバイス3の構成を示す説明図であり、図2(A)は操作デバイス3の要部正面図であり、(B)及び(C)はLCD303の表示例を示す図である。また、図3は操作デバイス3の機能ブロック図である。これら図1〜図3を参照して操作デバイス3の構成を説明する。
ボタン309には異なる機能を割り当てることが可能であり、各々のボタン309に割り当てられた機能を、LCD303に表示できる。
LED(Light Emitting Diode)313は、赤外光を発する赤外LEDである。LED313は、カメラ311で撮像をする場合の照明として利用される。また、操作デバイス3は、LED313を点灯あるいは点滅させることで、光信号を送信できる。
操作デバイス3は、操作デバイス3の各部を制御する制御部350を備える。制御部350は、図示しないCPU、ROM、RAM等を備え、ROMに記憶したプログラムを実行することにより、操作デバイス3の機能を実現する。
制御部350には、通信用の機能部として、無線通信部361(通信部)及びNFC(Near Field Communication)部362を備える。無線通信部361は、無線LAN(WiFi(登録商標))、Miracast(登録商標)、Bluetooth(登録商標)等の規格に準じた無線データ通信を実行する。NFC部362は、NFC規格に準拠した近距離無線通信を実行する。
制御部350は、2つのカメラ311をそれぞれ制御して、撮像を実行させて撮像画像データを生成する。また、制御部350は、LED313に流れる電流をON/OFFして、LED313を任意のタイミングで点灯、或いは点滅させる。
バイブレーター369は、制御部350の制御に従って回転するモーター(図示略)を備える。このモーターの回転軸には錘が偏心して取り付けられ、モーターの回転に伴い操作デバイス3を振動させる。スピーカー370は、制御部350が出力する音声信号に基づき音声を出力する。
操作検出部351は、ボタン操作部366及び回転検出部367から入力される信号に基づき、操作デバイス3が備える操作子の操作を検出し、操作内容を特定する。具体的には、操作検出部351は、ボタン305、リュウズ型操作子307、及びボタン309の操作を検出する。また、操作検出部351は、9軸センサー368から入力される信号に基づいて、操作デバイス3を振る、動かす等の操作を検出する。さらに、操作検出部351は、タッチパネル304から入力される信号に基づき、LCD303に対する接触操作を検出し、操作位置を特定する。ここで、操作検出部351は、操作位置においてLCD303が表示する画像を特定することにより、操作位置に割り当てられる機能を特定することも可能である。
撮像制御部353は、カメラ311を制御して撮像を実行させ、撮像画像データを取得する。
通信制御部354は、無線通信部361またはNFC部362により、外部の機器とデータを送受信する。通信制御部354は、無線通信部361により頭部装着型表示装置100とデータ通信を実行できる。また、通信制御部354は、NFC部362により、近接通信が可能な機器を検出した場合に、この機器とデータを送受信する。また、通信制御部354は、LED313を点滅させて、光信号によりデータを送信できる。この場合、通信制御部354は、カメラ311により光信号を検出して受信する構成としてもよい。
頭部装着型表示装置100において、画像表示部20のフレーム2は、右保持部21及び左保持部23を有する。右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21は使用者の頭部において右耳またはその近傍に当接し、左保持部23は使用者の左耳またはその近傍に当接して、使用者の頭部に画像表示部20を保持する。
右光学像表示部26及び左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに連結されている。
右光学像表示部26及び左光学像表示部28は、導光板261,262(図2)と、調光板20Aとを備える。導光板261,262は、光透過性の樹脂等によって形成され、表示駆動部22,24が出力する画像光を、使用者の眼に導く。調光板20Aは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置される。調光板20Aは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板20Aの光学特性(光透過率など)を適宜選択することにより、外部から右光学像表示部26及び左光学像表示部28に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置100を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板20Aを用いる場合について説明する。調光板20Aは、右導光板261及び左導光板262を保護し、右導光板261及び左導光板262の損傷や汚れの付着等を抑制する。
調光板20Aは、右光学像表示部26及び左光学像表示部28に対し着脱可能としてもよく、複数種類の調光板20Aを交換して装着可能としてもよいし、省略してもよい。
そして、頭部装着型表示装置100は、内部で処理する画像の画像光と外光とを重ねて使用者の眼に入射させ、使用者にとっては、調光板20Aを透かして外景が見え、この外景に重ねて、画像光による画像が視認される。このように、頭部装着型表示装置100は、シースルー型の表示装置として機能する。
カメラ61は、頭部装着型表示装置100の表側方向、換言すれば、頭部装着型表示装置100を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ61の画角の広さは適宜設定可能であるが、カメラ61の撮像範囲が、使用者が右光学像表示部26、左光学像表示部28を通して視認する外界を含む範囲であることが好ましい。さらに、調光板20Aを通した使用者の視界の全体を撮像できるようにカメラ61の撮像範囲が設定されているとより好ましい。
カメラ61は、制御部140(図4)の制御に従って撮像を実行し、撮像画像データを制御部140に出力する。
頭部装着型表示装置100は、コンテンツの供給元となる種々の外部機器OAを接続するインターフェイス125を備える。インターフェイス125は、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器OAは、頭部装着型表示装置100に画像を供給する画像供給装置であり、パーソナルコンピューター(PC)、携帯電話端末、携帯型ゲーム機等が用いられる。
入力情報取得部110は、操作部111に接続される。操作部111は、制御装置10の各操作子に接続され、これら各操作子の操作を検出し、検出した操作子に対応する操作信号を入力情報取得部110に出力する。入力情報取得部110は、操作部111から入力される信号に基づき、制御装置10の操作により入力される入力内容を取得する。
制御装置10は、一次電池や二次電池を有する電源部130を備え、制御装置10及び画像表示部20の各部に電源部130から電源を供給する。
外部機器OAが、通信部117に無線接続された場合、制御部140は、コンテンツデータを通信部117より取得して、画像表示部20に画像を表示させる。一方、外部機器OAが、インターフェイス125に有線接続された場合、制御部140は、コンテンツデータをインターフェイス125より取得して、画像表示部20に画像を表示させる。通信部117及びインターフェイス125は、外部機器OAからコンテンツデータを取得するデータ取得部DAとして機能する。
なお、画像処理部160は、必要に応じて、画像データの解像度を右表示駆動部22及び左表示駆動部24に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部160は、画像データの輝度や彩度を調整する画像調整処理、3D画像データから2D画像データを作成し、或いは2D画像データから3D画像データを生成する2D/3D変換処理等を実行してもよい。
9軸センサー66が内蔵する加速度センサー及び角速度センサーの検出軸は、例えば、図1に示すX,Y,Zの3軸とすることができる。この例では、画像表示部20を装着する使用者の頭部に対し左右方向をX軸、前後方向をY軸、上下方向をZ軸とする。より詳細には、頭部装着型表示装置100の装着状態において、画像表示部20は左右の眼に対し、使用者が知覚する水平な位置にある。頭部装着型表示装置100の標準的な装着位置において、9軸センサー66の検出軸(X軸、Y軸、Z軸)が、使用者が知覚する左右、前後、及び上下に一致する構成である。9軸センサー66の加速度センサーは、X軸方向、Y軸方向、及びZ軸方向の加速度を検出する。また、9軸センサー66が備える角速度センサーは、X軸まわりの回転(ピッチ)、Y軸回りの回転(ヨー)、及びZ軸まわりの回転(ロール)を検出する。
また、インターフェイス25は、カメラ61、振動センサー65及び9軸センサー66を接続するインターフェイスである。振動センサー65による振動の検出結果や、9軸センサー66による加速度(3軸)、角速度(3軸)、地磁気(3軸)の検出結果は、インターフェイス25を介して制御部140に送られる。
デバイス制御部183は、通信部117を制御して操作デバイス3との間でデータ通信を行い、操作デバイス3から受信するデータを解析する。また、デバイス制御部183は、カメラ61の撮像画像データに基づき、操作デバイス3が備えるLED313の点滅パターンが特定のパターンに該当する場合に、このパターンを復号化して、データを受信する。
図5は、表示システム1の動作を示すフローチャートであり、特に、操作デバイス3の動作を示す。
操作デバイス3は、表示システム1の操作を行わない間は、時計モードで動作する(ステップS11)。時計モードにおいて、UIモードへの移行を指示する操作が行われると(ステップS12)、操作デバイス3の制御部350は、カメラ311、311により撮像を実行して使用者の視線を検出する(ステップS13)。制御部350は、視線を検出するまで撮像および撮像画像の解析を行う(ステップS13;NO)。
制御部350は、操作を待機し、操作検出部351により操作を検出すると(ステップS21)、検出した操作を示す操作データを頭部装着型表示装置100に送信する(ステップS22)。
終了条件は、例えば、タッチパネル304、ボタン305、リュウズ型操作子307、或いはボタン309によりUIモードの終了を指示する操作が行われたこと、頭部装着型表示装置100から終了を指示する制御データを受信したこと、等である。
図6は、頭部装着型表示装置100の動作を示すフローチャートであり、特に、操作デバイス3に対応したAR表示を行う動作を示す。
制御部140は、デバイス制御部183により、操作デバイス3が送信する操作データを通信部117で受信して解析し(ステップS31)、操作の種別を特定する(ステップS32)。ステップS31で受信するデータは、操作デバイス3が操作に対応して送信する操作データ(図5のステップS22)である。デバイス制御部183は、操作データが示す操作に対応する指示が、操作デバイス3の操作の設定に関する指示であるか否かを判定する(ステップS33)。操作の設定以外の指示である場合(ステップS33;NO)、デバイス制御部183は、ステップS32で特定した操作に対応する処理を実行し(ステップS34)、本処理を終了する。ステップS34では、例えば、撮像開始を指示する操作データに従ってカメラ61の撮像を開始する処理や、AR表示の開始又は終了を指示する操作データに従って、AR表示制御部185でAR表示を開始/終了する。
図7(A)の例では、使用者の視野VRに実物の操作デバイス3が視認され、この操作デバイス3に対応する位置に、ARコンテンツが画像表示部20により表示される。ARコンテンツは、割り当て候補表示A1、A2、A3、A4及び設定候補A11、A12、A13、A14である。割り当て候補表示A1、A2、A3、A4は、ベゼル301の回転に割り当てる機能の候補を示す画像であり、この例では、ベゼル301を回転させる操作で選択可能な機能の組合せを示すテキストを含む。割り当て候補表示A1は、「Home」、「戻る」、「メニュー」、「アプリ終了」の4つの文字列(テキスト)を含む。割り当て候補表示A2は、「進む」、「戻る」、「撮像」、「撮像終了」の4つの文字列を含む。操作デバイス3において、ベゼル301を回転する操作が行われると、割り当て候補A1〜A4のいずれかが順に選択できる。
頭部装着型表示装置100は、操作デバイス3の操作に応じて、文字列A51の表示サイズを変更し、例えば図8(B)に示すように、縮小して表示する。この動作は、操作デバイス3が送信する操作データを、デバイス制御部183が解析し、AR表示の縮小に相当する操作が行われたことをデバイス制御部183が検出すると、AR表示制御部185が表示サイズを変更する。
また、これらの操作に対応して、頭部装着型表示装置100は、画像表示部20で表示する画像(文字を含む)の拡大、縮小に限らず、回転、コピー、ページ送り等を行ってもよい。
操作デバイス3においてベゼル301を回転させる操作により、複数の候補を、順に切り替えて選択する操作を実現できる。この操作によれば、例えば、ファイルやフォルダーを選択する場合、仮想キーボードにおいて仮想キーを選択する場合に、ベゼル301を回転させればよい。ベゼル301は、直感的に操作が可能であり、操作デバイス3の平面部300Aの外周部に位置するため、手探りによる操作が可能である。このため、使用者は、画像表示部20により表示されるAR表示に注目しながらベゼル301を操作できる。さらに、平面部300Aとは離れた位置に設けられ、他のスイッチ式の操作子よりも大型のボタン305により、選択を確定できるので、より容易に操作を行える。ボタン305は、位置及びサイズが、ボタン309やリュウズ型操作子307とは異なるので、ベゼル301と同様に、手探りによる操作が容易である。このため、画像表示部20が表示する画像を見ながら、直感的で確実な操作を行える。
制御部140は、撮像処理部181によりカメラ61を制御して撮像を実行する(ステップS51)。制御部140は、カメラ61の撮像画像データを取得し、取得した撮像画像データを解析して、操作デバイス3の画像を検出する(ステップS52)。これにより、カメラ61の撮像画像において、操作デバイス3が写っている位置や操作デバイス3の画像の形状を検出できる。
頭部装着型表示装置100及び操作デバイス3は、撮像画像における座標に比べて大きいため、基準点を設定することが現実的である。すなわち、頭部装着型表示装置100と操作デバイス3との相対位置は、頭部装着型表示装置100において設定される基準点と、操作デバイス3において設定される基準点との相対位置として求められる。頭部装着型表示装置100における基準点がカメラ61の撮像面において光軸に重なる点である場合、ステップS53で求めた相対位置は、そのまま、操作デバイス3と頭部装着型表示装置100との相対位置となる。頭部装着型表示装置100の基準点がカメラ61の撮像面とは異なる位置にある場合、制御部140は、上述した変換を行えばよい。また、操作デバイス3における基準点は、例えば、ベゼル301の中心とすればよい。
AR表示制御部185は、操作デバイス3と頭部装着型表示装置100との間の距離に対応して、ARコンテンツの表示サイズを調整してもよい。また、AR表示制御部185は、頭部装着型表示装置100に対する操作デバイス3のLCD303の向きに対応して、ARコンテンツの表示位置を調整してもよいし、ARコンテンツに含まれる画像を変形してもよい。
図10の動作は、例えば、操作デバイス3がUIモードである場合に実行する。
操作デバイス3の制御部350は、カメラ311、311により撮像を実行して使用者の視線を検出する(ステップS61)。制御部350は、視線を検出するまで撮像および撮像画像の解析を行う(ステップS61;NO)。
その後、制御部140は、ステップS73で算出した操作デバイス3と頭部装着型表示装置100との相対位置を示すデータを生成する(ステップS74)。制御部140は、生成したデータを含む相対位置データを、記憶部120に記憶する。
AR表示制御部185は、操作デバイス3と頭部装着型表示装置100との間の距離に対応して、ARコンテンツの表示サイズを調整してもよい。また、AR表示制御部185は、頭部装着型表示装置100に対する操作デバイス3のLCD303の向きに対応して、ARコンテンツの表示位置を調整してもよいし、ARコンテンツに含まれる画像を変形してもよい。
ここで、操作対象物の別の構成例として、操作対象物4、5を使用する場合について説明する。
上記実施形態の表示システム1の説明では、頭部装着型表示装置100と通信を実行可能な操作デバイス3を使用者が使用する場合を例示した。
頭部装着型表示装置100は、操作デバイス3に限らず、例えば通信機能を有しないような操作対象物を使用者が操作する場合も、操作対象物の操作に対応する処理を実行できる。
操作対象物4は、操作デバイス3と同様に腕時計型のデバイスであるが、操作デバイス3のような通信機能は必須ではないため、ここでは操作対象物と称する。操作対象物4は、例えば、一般的に使用される腕時計である。
図13に例示する操作対象物4は、腕時計の本体ケースに、リュウズ401、ベゼル402、文字盤403、長針404、短針405、インデックス406、及び日付窓407を備えるアナログ式の腕時計である。リュウズ401は通常位置において回転させることが可能であり、リュウズ401を図中右方向に引き出して回転させることにより、長針404及び短針405を回転させ、日付窓407の日付表示を送り、日時の調整を行える。
リュウズ501は手動で回転させることが可能な構成であってもよいし、プッシュボタンであってもよい。ベゼル502は手動で回転させることが可能な構成であってもよいし、固定された装飾であってもよい。ボタン508はプッシュ式のボタンであってもよい。
制御部140は、撮像処理部181によりカメラ61を制御して撮像を実行させ(ステップS101)、撮像画像データを取得する。制御部140は、AR表示制御部185により、撮像画像から操作対象物4または操作対象物5の画像を検出する(ステップS102)。AR表示制御部185が操作対象物4、5の画像を検出する処理は、例えば、予め記憶部120に記憶する操作対象物4、5の画像の特徴量を示すデータを用いることで実現できる。
使用者の視野VRには実空間の操作対象物4が、画像表示部20を透過して視認される。AR表示制御部185は、操作対象物4に対応する位置に見えるように、操作表示B11〜B19を含む操作用画像を表示する。操作表示B11〜B19のそれぞれは、操作対象物4の部分(制御オブジェクト)に対応する。操作表示B11〜B19のそれぞれは、図16に示すように、対応する部分を示す矢印を含んでもよい。また、操作表示B11〜B19のそれぞれは、操作対象物4の部分に対する操作により実行される処理内容を、テキストや画像により案内する。
使用者の視野VRには実空間の操作対象物5が、画像表示部20を透過して視認される。AR表示制御部185は、操作対象物5に対応する位置に見えるように、操作表示B31〜B39を含む操作用画像を表示する。操作表示B31〜B39のそれぞれは、マーカー510のマーク511(制御オブジェクト)に対応する。操作表示B31〜B39のそれぞれは、図17に示すように、対応するマーク511を示す矢印を含んでもよい。また、操作表示B31〜B39のそれぞれは、マーク511に対する操作により実行される処理内容を、テキストや画像により案内する。
図17の操作表示B31〜B39を含む操作用画像が表示された状態で、操作対象物5に対する操作は、例えば、使用者の手指をマーク511に重ねることで行われる。この場合、制御部140は、デバイス制御部183により、カメラ61の撮像画像から使用者の手指の画像を検出して、指先の位置に近いマーク511を特定し、このマーク511のマーカー510における位置を特定する。これにより、特定されたマーク511が操作されたと見なして、制御部140は操作表示B31〜B39に示される処理を実行する。
図7(A)に示した操作設定用のAR表示、図16及び図17に示した操作用画像は、ARコンテンツの一例である。
ARコンテンツデータ123は、ARコンテンツを表示するためのデータであり、図7(A)の操作設定用のAR表示、図16及び図17の操作用画像を表示するデータに該当する。AR要素表示データ123aは、操作用のARコンテンツの要素(操作用の画像)を表示するためのデータである。ARコンテンツの要素とは、操作デバイスまたは操作対象物の操作部に対応付けて表示される文字や画像であり、矢印等の付属的な画像を伴ってもよい。図7(A)の例では割り当て候補表示A1、A2、A3、A4及び設定候補A11、A12、A13、A14が要素に相当する。図7(B)の例では割り当て候補表示A21、A22、A23、A24及び設定候補A31、A32、A33、A34が要素に相当する。また、図16の例では操作表示B11〜B19が要素に相当し、図17の例では操作表示B31〜B39が要素に相当する。AR要素表示データ123aは、例えば、上記要素を表示するための画像データ、テキストデータ、画像やテキストの表示属性(色、サイズ、フォント、背景など)を指定するデータ等を含む。
図16の例で、制御部140は、長針404に対する操作に応じて表示倍率を拡大し、短針405に対する操作に応じて表示倍率を縮小する。また、リュウズ401を回転させる操作に応じてメニュー画面を表示し、画面表示を遷移させる。また、日付窓407の操作に応じて確定の指示を受け付ける処理を行い、6時位置のインデックス406に対する操作に応じて履歴を表示する。また、12時位置のインデックス406に対する操作によってカメラ61で撮像を行い、ベゼル402の6時位置に対する操作に応じて操作対象物4に対する操作をロックする。また、ベゼル402を回転させる操作に応じて、表示を右回転或いは左回転させる。
図17の例で、制御部140は、マーク511の操作に応じて、カメラ61の撮像、操作対象物4に対する操作のロック、確定の指示の受付、表示の回転、表示倍率の拡大/縮小、ホーム画面の表示、メニュー画面の表示、画面表示の遷移等の処理を行う。
対応処理データ123cは、これらの処理を指定するデータを含む。
対象デバイスデータ127は、制御部140が、例えばステップS52(図9)で操作デバイス3を検出する場合、ステップS102(図15)で操作対象物4、5を検出する場合に参照される。制御部140は、対象デバイスデータ127に基づき、操作デバイスまたは操作対象物を検出または認識し、対応するARコンテンツを特定して、ARコンテンツデータ123に基づきARコンテンツを表示できる。
また、対象デバイスデータ127を、ARコンテンツデータ123に含めてもよい。この場合、ARコンテンツデータ123は、ARコンテンツ毎に、AR要素表示データ123a、位置属性データ123b、対応処理データ123c、及び対象デバイスデータ127を対応付けて含む態様となる。
図19は、ARコンテンツデータ123を編集する処理を示すフローチャートである。
制御部140は、使用者の操作に応じて、ARコンテンツデータ123の編集を開始する(ステップS121)。以下の説明では、使用者の操作は、操作部111で受け付けられる操作、及び、カメラ61で検出した使用者の手等の指示体によるジェスチャー操作のいずれであってもよい。
また、表示中のARコンテンツの要素について、使用者の操作により、ARコンテンツの要素に対応して制御部140が実行する処理が指定されると、制御部140は、入力に従って制御部140が実行する処理の指定または変更を行う(ステップS125)。
なお、ステップS124、S125の処理の実行順序は変更可能であり、ステップS124、S125の処理を並列的に実行してもよい。
制御部140は、使用者の操作または外部の機器からのアクセスに応じてダウンロードを開始する(ステップS141)。制御部140は、ARコンテンツデータ123をダウンロードして取得する(ステップS142)。制御部140は、取得したARコンテンツデータ123のAR要素表示データ123a、位置属性データ123b、及び対応処理データ123cについて記憶部120に記憶する(ステップS143)。制御部140は、必要ならば、ステップS143において、記憶したデータを使用可能とする設定を行ってもよい。
頭部装着型表示装置100は、操作対象物5が表示するマーカー510におけるマーク511を操作部として検出し、マーク511に対応する位置に、ARコンテンツとしての操作表示B31〜B39を表示する。操作表示B31〜B39は、例えば、マーク511の色に対応付けられる。制御部140は、マーク511の色により、マーク511を識別し、操作表示B31〜B39を予め対応付けられた色のマーク511に対応する位置に表示する。この場合、マーカー510におけるマーク511の位置に関係なく、操作表示B31〜B39が表示される。
従って、マーク511の色が共通で、マーク511の位置が異なる複数のマーカー510は、頭部装着型表示装置100に対して同様の機能を実行させることができる。この場合、使用者は、マーク511の位置が異なり色が共通する複数のマーカー510を、頭部装着型表示装置100に実行させる処理を変更することなく、使い分けることができる。
これはあくまで一例であり、頭部装着型表示装置100がマーク511の模様(テクスチャー)に基づきマーク511を識別する構成、マーク511の形状によりマーク511を識別する構成とすることもできる。この場合、マーク511の模様や形状が変化しない範囲において、マーク511の位置が異なるマーカー510を、頭部装着型表示装置100の機能に影響を与えることなく使い分けることができる。
この場合、操作対象物5を使用する使用者の好みで、着せ替えをするように、表示面503における表示を切り替えることができる。操作対象物5は、マーカー510のデータを取得する場合に、無線通信または通信用のケーブルにより、頭部装着型表示装置100、或いは外部の機器に接続してもよい。
また、操作デバイス3は、操作部が受け付けた操作を示すデータを頭部装着型表示装置100に送信する無線通信部361を備えてもよい。この場合、制御部140は、操作デバイス3から送信されるデータに基づき、操作部に対応付けられた態様で、画像表示部20を透過する外景に関連するAR表示を画像表示部20によって行う。
この場合において、制御部140は、操作部に対するAR表示の割り当てを更新する処理を実行可能であってもよい。
また、操作デバイス3が有する制御部350は、操作デバイス3の動きを操作として検出してもよい。
操作デバイス3を動かすことで頭部装着型表示装置100に対する操作を行える。
図11(A)は、ファイル及びフォルダーを選択する選択用画面A41を、使用者の視野VRに表示した例を示す。このように選択候補(この例ではフォルダー)が複数並べて表示された状態で、ベゼル301を回転させる操作が行われると、候補が順に選択される。
また、図11(B)には、操作デバイス3または制御装置10の操作により表示される仮想キーボードA43を示す。仮想キーボードA43には文字及び記号に対応する仮想キーが複数配置される。仮想キーボードA43の表示中にベゼル301を回転させる操作が行われると、仮想キーボードA43において仮想キーが順に選択される。
頭部装着型表示装置100のオペレーティングシステム150が、iOS(登録商標)やAndroid(登録商標)のように、複数の画面を切り替え、遷移させる構成である場合、ベゼル301の操作をより効果的に使用できる。図12の例では、ベゼル301を回転させる操作により、画面1〜4の4つの画面を順に切り替えて表示できる。また、画面1〜4を順次選択する場合の送り方向は、ベゼル301の操作方向に対応して、正方向と逆方向にしてもよい。
図12に示す例ではボタン305の確定操作を経ずにベゼル301を回転させることで、素早く表示画面を遷移させることができる。
頭部装着型表示装置100は、操作デバイス3の操作に対応して、画像表示部20で表示する画像(文字を含む)の拡大、縮小、回転、コピー、ページ送り等を行ってもよい。この場合、操作デバイス3における操作は、ベゼル301の回転、ボタン309の押圧操作、ボタン305の押圧操作、及びリュウズ型操作子307を回転させる操作だけでなく、例えば、タッチパネル304に対し指で接触する操作を含んでもよい。例えば、ベゼル301を右に回す操作に対応して表示画像を拡大し、ベゼル301を左に回す操作に対応して表示画像を縮小してもよい。また、タッチパネル304の中央部に対する指の接触を検出した場合に表示画像を拡大し、タッチパネル304の周縁部(例えば、左下枠近傍)への指の接触を検出した場合に表示画像を縮小してもよい。また、タッチパネル304に接触した指が、接触したまま右回し、左回し等の回転運動をした場合に、この回転に合わせて表示画像を回転させてもよい。
また、操作デバイス3が有する操作部は、例えばベゼル301及び回転検出部367により、回転を伴う操作を検出する。頭部装着型表示装置100の制御部140は、操作デバイス3から回転を伴う操作を示すデータが送信された場合に、操作の回転方向に対応して、画像表示部20で表示する画面を、例えば図10に示すように遷移させる。このため、回転を伴う操作により画面を遷移させることができ、より直感的な操作を実現できる。また、操作の方向と画面の遷移の方向とが対応するため、例えば手探りの操作を行うことが可能となる。
また、操作デバイス3が有する制御部350は、操作デバイス3の動きを操作として検出してもよい。
また、画像表示部20は、外景を透過して使用者に視認させる透過型の表示部であってもよい。この場合、使用者が外景を見ながら操作デバイス3を操作して、頭部装着型表示装置100の表示を制御できる。頭部装着型表示装置100のみを注視せず、直感的に操作できるため、外景を見ながら頭部装着型表示装置100を使用する場合に好適である。
本実施形態では、頭部装着型表示装置100のユーザーインターフェイスとして使用される操作デバイス3が、腕時計の形状を有する例を説明した。本発明はこれに限定されず、頭部装着型表示装置100を使用する使用者の身体に装着するのに適した形状であればよい。例えば、指輪型、ブローチ型、ペンダントまたはネックレス型、或いはペン型のデバイスとすることができる。また、使用者の頭部や耳に装着されるヘッドホン型、イヤホン型、ヘッドセット型のデバイスとしてもよい。この場合、音声を出力するヘッドホンやイヤホンに、本発明の操作デバイスとしての機能を実装してもよい。音声を出力するスピーカーと、使用者が発話する音声を集音するマイクとを備えたヘッドセットに、本発明の操作デバイスとしての機能を実装してもよい。この構成においてヘッドホン、イヤホン、スピーカーは骨伝導スピーカーであってもよく、マイクは骨伝導マイクであってもよい。この場合、デバイスは、少なくとも、接触操作または押圧操作を検出する操作子を備え、無線通信部361、LED313、カメラ311、及び9軸センサー368を備えた構成とすることが望ましい。これらの構成では、表示に係る動作を除き、上記実施形態と同様の効果を得ることができる。
さらに、本発明の操作デバイスは、使用者の身体に直接装着され、或いは固定される態様に限定されない。例えば、使用者の身体に装着または固定される腕時計、アクセサリー、衣服、鞄、帽子、ヘルメットに、操作デバイスに相当する機器を固定してもよい。この場合の操作デバイスは、例えば、操作デバイス3からバンド部300を除いた構成とすることができる。
例えば、9軸センサー368の検出値と、頭部装着型表示装置100が備える9軸センサー66の検出値とを用いて、制御部140が、画像表示部20を透過して視認される外景と画像表示部20の表示領域との対応付けを行ってもよい。この場合、複数の装置が備えるセンサーの検出値を用いることで、より高精度で対応付けを行うことができる。この対応付けは、画像表示部20においてARコンテンツを表示する場合等に利用できる。
また、制御装置10として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置10として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置10が画像表示部20と分離して構成され、制御装置10と画像表示部20との間で無線通信により各種信号を送受信する構成としてもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、MEMSミラーを用いた走査光学系を採用し、MEMSディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するMEMSミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がMEMSミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。MEMSミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板261及び左導光板262のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。
また、制御装置10に形成された構成のうち、操作部111のみが単独の使用者インターフェイス(UI)として形成されてもよい。また、制御装置10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、制御部140に相当する制御部が制御装置10と画像表示部20との両方に形成されていてもよい。また、制御装置10に形成された制御部140と画像表示部20に形成されたCPUとが行う機能が別々に分けられている構成としてもよい。
Claims (25)
- 使用者の頭部に装着され、外景を透過して前記使用者に視認させる透過型の表示部を有する表示装置と、前記表示部とは別体として構成される操作対象物とを備え、
前記表示装置は、前記表示部を透過する前記外景に関連するAR表示として、操作用画像を前記表示部によって表示させる制御部と、
前記操作用画像のデータ、および、前記操作用画像のデータに前記操作対象物を対応付ける対象デバイスデータを記憶する記憶部と、
撮像部と、
を備え、
前記操作用画像は複数の要素を含み、各々の前記要素が選択された場合に前記制御部が実行する処理が定められ、
前記表示装置の前記制御部は、
前記撮像部の撮像画像に基づいて前記操作対象物を検出し、
検出された前記操作対象物が前記対象デバイスデータにより対応付けられている前記操作用画像のデータに基づき、前記操作用画像を、前記表示部を透過して視認される前記操作対象物に対応する位置に表示させ、
前記撮像部の撮像画像をもとに、前記使用者が前記操作用画像の前記要素を選択する操作を検出し、選択された前記要素に定められた処理を実行すること、
を特徴とする表示システム。 - 前記記憶部は、前記操作用画像のデータとして、前記要素を表示するための要素表示データと、前記要素が選択された場合に前記制御部が実行する処理を定める対応処理データと、を記憶し、
前記制御部は、前記対応処理データが定める処理を変更可能であること、
を特徴とする請求項1記載の表示システム。 - 前記操作対象物は、前記使用者の操作を受け付ける操作部と、
前記操作部が受け付けた操作を示すデータを前記表示装置に送信する通信部と、を備えた操作デバイスであり、
前記表示装置の前記制御部は、前記操作デバイスの操作に基づき、前記表示部によってAR表示を行うこと、
を特徴とする請求項1または2記載の表示システム。 - 前記表示装置の前記制御部は、前記操作デバイスの操作に基づき、前記操作部に対応付けられた態様で、前記表示部を透過する前記外景に関連するAR表示を前記表示部によって行うこと、
を特徴とする請求項3記載の表示システム。 - 前記制御部は、前記操作デバイスから送信されるデータに基づいて前記操作部の操作を検出し、検出した操作に対応して、前記表示部に表示中の前記AR表示を変更すること、
を特徴とする請求項3または4記載の表示システム。 - 前記制御部は、前記操作部に対する前記AR表示の割り当てを設定可能であること、
を特徴とする請求項3から5のいずれかに記載の表示システム。 - 前記制御部は、前記操作部に対する前記AR表示の割り当てを更新する処理を実行可能であること、
を特徴とする請求項6記載の表示システム。 - 前記表示装置の前記制御部は、前記操作デバイスと前記表示装置との相対位置を求め、求めた相対位置に基づき前記表示部でAR表示を行うこと、
を特徴とする請求項3から7のいずれかに記載の表示システム。 - 前記操作部は接触操作を検出するタッチ操作部を備え、
前記タッチ操作部は複数の操作領域を有し、
前記制御部は、前記タッチ操作部で操作された操作領域に割り当てられた前記AR表示を、前記表示部によって表示すること、
を特徴とする請求項3から8のいずれかに記載の表示システム。 - 前記操作デバイスは撮像部を備え、前記撮像部の撮像画像を含むデータを前記通信部により前記表示装置に送信すること、
を特徴とする請求項3から9のいずれかに記載の表示システム。 - 前記表示装置の前記制御部は、前記操作対象物に対する操作に基づき、前記表示部により表示する画面を遷移させる処理を含む表示制御を行う制御部を備えること、
を特徴とする請求項3から10のいずれかに記載の表示システム。 - 前記表示装置の前記制御部は、前記操作デバイスから送信されるデータに基づき、前記操作デバイスの操作を検出すること、
を特徴とする請求項3から11のいずれかに記載の表示システム。 - 前記操作デバイスが有する前記操作部は、回転を伴う操作を検出し、
前記表示装置の前記制御部は、前記操作デバイスから回転を伴う操作を示すデータが送信された場合に、前記操作の回転方向に対応して、前記表示部により表示する画面を遷移させること、
を特徴とする請求項12記載の表示システム。 - 前記表示装置の前記制御部は、前記操作デバイスから送信されるデータに基づき、前記表示部により表示する画像の拡大、縮小或いは回転のいずれかを含む表示制御を行うこと、
を特徴とする請求項12または13に記載の表示システム。 - 前記表示装置は、前記操作デバイスに出力用のデータを送信し、
前記操作デバイスは、前記表示装置が送信する出力用のデータを前記通信部で受信し、受信した出力用のデータを出力すること、
を特徴とする請求項3から14のいずれかに記載の表示システム。 - 前記表示装置の前記制御部は、前記操作デバイスから撮像画像を含むデータを受信し、受信したデータに基づいて、前記操作デバイスと前記表示装置との相対位置を求めること、
を特徴とする請求項10記載の表示システム。 - 前記操作デバイスが有する前記操作部は、前記操作デバイスの動きを操作として検出すること、
を特徴とする請求項3から16のいずれかに記載の表示システム。 - 前記制御部は、前記表示装置が備える前記撮像部の撮像画像に基づいて、前記操作デバイスと前記表示装置との相対位置を求めること、
を特徴とする請求項3から17のいずれかに記載の表示システム。 - 前記表示装置の前記制御部は、前記操作デバイスと前記表示装置との相対位置を求め、求めた相対位置に基づき前記表示部の表示を制御すること、
を特徴とする請求項16または18に記載の表示システム。 - 前記操作対象物は、前記使用者の身体に装着される装着部を有すること、
を特徴とする請求項1から19のいずれかに記載の表示システム。 - 前記表示装置は、前記操作対象物に対する操作を検出する検出部を備えること、
を特徴とする請求項1から20のいずれかに記載の表示システム。 - 前記制御部は、前記撮像部の撮像画像に基づいて前記操作対象物を検出し、前記操作対象物に対する操作を検出すること、
を特徴とする請求21記載の表示システム。 - 使用者の頭部に装着され、外景を透過して前記使用者に視認させる透過型の表示部と、撮像部と、を有する表示装置を、前記表示部とは別体として構成される操作対象物を用いて制御する制御方法において、
前記表示装置が備える記憶部に、操作用画像のデータ、及び、前記操作用画像のデータに前記操作対象物を対応付ける対象デバイスデータを記憶させ、
前記操作用画像は複数の要素を含み、各々の前記要素が選択された場合に制御部が実行する処理が定められた構成とし、
前記表示装置の前記制御部により、
前記撮像部の撮像画像に基づいて前記操作対象物を検出し、
検出した前記操作対象物が前記対象デバイスデータにより対応付けられている前記操作用画像のデータに基づき、前記操作用画像を、前記表示部を透過して視認される前記操作対象物に対応する位置に、前記表示部を透過する前記外景に関連するAR表示として前記表示部によって表示させ、
前記撮像部の撮像画像をもとに、前記使用者が前記操作用画像の前記要素を選択する操作を検出し、選択された前記要素に定められた処理を実行すること、
を特徴とする表示装置の制御方法。 - 前記表示装置により、前記操作対象物に対する操作に基づき、前記表示部により表示する画面を遷移させる処理を含む表示制御を行うこと、
を特徴とする請求項23記載の表示装置の制御方法。 - 使用者の頭部に装着され、外景を透過して前記使用者に視認させる透過型の表示部と、撮像部とを有する表示装置を制御する制御部が実行可能なプログラムであって、
前記表示装置が備える記憶部に、操作用画像のデータ、及び、前記操作用画像のデータに前記操作対象物を対応付ける対象デバイスデータを記憶させ、
前記操作用画像は複数の要素を含み、各々の前記要素が選択された場合に前記制御部が実行する処理が定められた構成とし、
前記制御部により、
前記表示部とは別体として構成される操作対象物を前記撮像部の撮像画像に基づいて検出し、
操作用画像のデータに前記操作対象物を対応付ける対象デバイスデータに基づき、前記操作用画像を、前記表示部を透過して視認される前記操作対象物に対応する位置に、前記表示部を透過する前記外景に関連するAR表示として前記表示部によって表示させ、
前記撮像部の撮像画像をもとに、前記使用者が前記操作用画像の前記要素を選択する操作を検出し、選択された前記要素に定められた処理を実行すること、
を特徴とするプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015181843A JP6740584B2 (ja) | 2015-09-15 | 2015-09-15 | 表示システム、表示装置の制御方法、及び、プログラム |
US14/976,761 US20160196693A1 (en) | 2015-01-06 | 2015-12-21 | Display system, control method for display device, and computer program |
CN201511030028.0A CN105759422B (zh) | 2015-01-06 | 2015-12-31 | 显示***和显示装置的控制方法 |
EP16150303.2A EP3043237A1 (en) | 2015-01-06 | 2016-01-06 | Display system, control method for display device, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015181843A JP6740584B2 (ja) | 2015-09-15 | 2015-09-15 | 表示システム、表示装置の制御方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017058840A JP2017058840A (ja) | 2017-03-23 |
JP6740584B2 true JP6740584B2 (ja) | 2020-08-19 |
Family
ID=58390356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015181843A Active JP6740584B2 (ja) | 2015-01-06 | 2015-09-15 | 表示システム、表示装置の制御方法、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6740584B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6867055B2 (ja) * | 2017-03-24 | 2021-04-28 | サン電子株式会社 | 画像表示ユニット |
WO2019003571A1 (ja) * | 2017-06-28 | 2019-01-03 | シャープ株式会社 | 電子機器、電子機器の制御方法およびプログラム |
JP6389305B1 (ja) * | 2017-07-21 | 2018-09-12 | 株式会社コロプラ | 情報処理方法、コンピュータ、及びプログラム |
JP2019101811A (ja) * | 2017-12-04 | 2019-06-24 | 富士通株式会社 | 処理プログラム、処理方法及び処理装置、並びに表示プログラム、表示方法及び表示制御装置 |
JP2019023869A (ja) * | 2018-08-03 | 2019-02-14 | 株式会社コロプラ | 情報処理方法、コンピュータ、及びプログラム |
CN110134197A (zh) * | 2019-06-26 | 2019-08-16 | 北京小米移动软件有限公司 | 可穿戴式控制设备、虚拟/增强现实***及控制方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5803060B2 (ja) * | 2010-05-24 | 2015-11-04 | 株式会社ニコン | ヘッドマウントディスプレイ |
JP5787099B2 (ja) * | 2012-11-06 | 2015-09-30 | コニカミノルタ株式会社 | 案内情報表示装置 |
JP5941427B2 (ja) * | 2013-03-28 | 2016-06-29 | ビッグローブ株式会社 | 情報処理装置、装着状態検出方法、及びプログラム |
JP2015043180A (ja) * | 2013-08-26 | 2015-03-05 | ブラザー工業株式会社 | 画像処理プログラム |
JP6206099B2 (ja) * | 2013-11-05 | 2017-10-04 | セイコーエプソン株式会社 | 画像表示システム、画像表示システムを制御する方法、および、頭部装着型表示装置 |
JP2015118556A (ja) * | 2013-12-18 | 2015-06-25 | マイクロソフト コーポレーション | コントロールデバイスのための拡張現実オーバーレイ |
-
2015
- 2015-09-15 JP JP2015181843A patent/JP6740584B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017058840A (ja) | 2017-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105759422B (zh) | 显示***和显示装置的控制方法 | |
JP6740584B2 (ja) | 表示システム、表示装置の制御方法、及び、プログラム | |
US10635182B2 (en) | Head mounted display device and control method for head mounted display device | |
CN107037876B (zh) | ***及控制其的方法 | |
JP2018101019A (ja) | 表示装置及び表示装置の制御方法 | |
US10949055B2 (en) | Display system, display apparatus, control method for display apparatus | |
CN106067833B (zh) | 移动终端及其控制方法 | |
JP2018142857A (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
US20190227642A1 (en) | Head-mounted display apparatus and method of controlling head-mounted display apparatus | |
JP2018124721A (ja) | 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 | |
JP6303274B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP6776578B2 (ja) | 入力装置、入力方法、コンピュータープログラム | |
JP6439448B2 (ja) | 表示システム、プログラム、及び、表示装置の制御方法 | |
US10884498B2 (en) | Display device and method for controlling display device | |
JP6638392B2 (ja) | 表示装置、表示システム、表示装置の制御方法、及び、プログラム | |
JP2018022426A (ja) | 表示装置、頭部装着型表示装置、及び、表示装置の制御方法 | |
JP6996115B2 (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP6740613B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
US20190086677A1 (en) | Head mounted display device and control method for head mounted display device | |
JP6932917B2 (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP6459516B2 (ja) | 表示システム、プログラム、サーバー装置、及び、表示装置の制御方法 | |
JP2017182460A (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム | |
JP2017134630A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP6693160B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP6631299B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190924 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191122 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200324 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200518 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200623 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200706 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6740584 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |