JP2019128693A - 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 - Google Patents
頭部装着型表示装置、及び頭部装着型表示装置の制御方法 Download PDFInfo
- Publication number
- JP2019128693A JP2019128693A JP2018008629A JP2018008629A JP2019128693A JP 2019128693 A JP2019128693 A JP 2019128693A JP 2018008629 A JP2018008629 A JP 2018008629A JP 2018008629 A JP2018008629 A JP 2018008629A JP 2019128693 A JP2019128693 A JP 2019128693A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- display
- sensor
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】操作デバイスを用いる操作の操作性を向上させる。【解決手段】使用者の頭部に装着され、画像を表示する画像表示部20と、第1操作として制御装置10Aを用いる操作を検出する6軸センサー111及び磁気センサー113と、使用者の指の接触を第2操作として検出するタッチセンサー115と、画像表示部20に制御装置10Aの操作対象としてのポインター330を表示させ、6軸センサー111及び磁気センサー113により検出された制御装置10Aの動きや姿勢に基づいてポインター330を移動させる表示制御部154と、を備え、表示制御部154は、タッチセンサー115により使用者の指の接触が検出された場合に、ポインター330の表示位置を、制御装置10Aを用いる操作により移動させない動作状態に移行する、HMD100。【選択図】図4
Description
本発明は、頭部装着型表示装置、及び頭部装着型表示装置の制御方法に関する。
従来、操作デバイスの動きや姿勢を検出して、表示部が表示する操作画像の位置を、検出した操作デバイスの動きや姿勢に対応して移動させる装置が知られている(例えば、特許文献1参照)。
特許文献1は、第1コントローラーから送信される角速度データ、すなわち、第1コントローラーに着脱可能に装着されるジャイロセンサユニットの姿勢に基づいて、ゲーム空間内の移動オブジェクトの位置及び姿勢を設定するゲーム装置を開示する。
特許文献1は、第1コントローラーから送信される角速度データ、すなわち、第1コントローラーに着脱可能に装着されるジャイロセンサユニットの姿勢に基づいて、ゲーム空間内の移動オブジェクトの位置及び姿勢を設定するゲーム装置を開示する。
ところで、操作デバイスには、例えば、ボタンやスイッチ等の入力を受け付ける受付部が設けられているものがある。使用者が操作デバイスを手に持って受付部に入力を行う場合、入力を行うときに操作デバイスの位置や姿勢に変化が生じ、操作画像の位置が変化してしまう場合がある。このため、受付部が入力を受け付けたときの操作画像の表示位置に基づいて入力内容が判断される操作の場合、正確な操作を入力することができない場合がある。
本発明は、操作デバイスを用いる操作の操作性を向上させることを目的とする。
本発明は、操作デバイスを用いる操作の操作性を向上させることを目的とする。
上記課題を解決するため、本発明は、使用者の頭部に装着され、画像を表示する表示部と、操作デバイスを用いる第1操作を検出する検出部と、前記第1操作とは異なる第2操作を受け付ける受付部と、前記表示部に前記操作デバイスの操作対象としての操作画像を表示させ、前記検出部で検出された前記第1操作に基づいて前記操作画像を移動させる表示制御部と、を備え、前記表示制御部は、前記受付部が前記第2操作を受け付けた場合に、前記操作画像の表示位置を前記第1操作により移動させない動作状態に移行する。
この構成によれば、受付部が第2操作を受け付けた場合に、第1操作が行われても操作画像の表示位置が移動しない。このため、操作画像の表示位置を変更せずに操作デバイスに対する操作を行うことができる。従って、受付部が第2操作を受け付けたときの操作画像の表示位置に基づいて入力内容が判断される操作の場合、正確な操作を入力することができる。このため、操作デバイスを用いる操作の操作性を向上させることができる。
この構成によれば、受付部が第2操作を受け付けた場合に、第1操作が行われても操作画像の表示位置が移動しない。このため、操作画像の表示位置を変更せずに操作デバイスに対する操作を行うことができる。従って、受付部が第2操作を受け付けたときの操作画像の表示位置に基づいて入力内容が判断される操作の場合、正確な操作を入力することができる。このため、操作デバイスを用いる操作の操作性を向上させることができる。
また、本発明は、前記表示制御部は、前記受付部が前記第2操作とは異なる第3操作を受け付けた場合に、前記第1操作と前記操作画像の移動量との対応を変更する。
この構成によれば、受付部が第3操作を受け付けた場合に、第1操作による操作画像の移動量が変更される。従って、第1操作により操作画像を目的位置に容易に移動させることができる。
この構成によれば、受付部が第3操作を受け付けた場合に、第1操作による操作画像の移動量が変更される。従って、第1操作により操作画像を目的位置に容易に移動させることができる。
また、本発明は、前記操作デバイスは、前記操作デバイスの位置、方向及び変位の少なくともいずれかを検出するセンサーを備え、前記検出部は、前記センサーの検出結果に基づいて、前記操作デバイスを変位させる操作を前記第1操作として検出し、前記操作デバイスの変位方向及び変位量を前記第1操作の操作方向及び操作量として取得し、前記表示制御部は、取得した変位方向及び変位量に基づいて、前記操作画像の移動方向及び移動量を決定し、前記操作画像を移動させる。
この構成によれば、センサーにより検出される操作デバイスの位置、方向及び変位の少なくともいずれかに基づいて操作画像の移動方向及び移動量が決定され、決定された移動方向及び移動量に基づいて操作画像が移動される。このため、操作デバイスを用いる操作により操作画像の表示位置を変更することができる。
この構成によれば、センサーにより検出される操作デバイスの位置、方向及び変位の少なくともいずれかに基づいて操作画像の移動方向及び移動量が決定され、決定された移動方向及び移動量に基づいて操作画像が移動される。このため、操作デバイスを用いる操作により操作画像の表示位置を変更することができる。
また、本発明は、前記操作デバイスは、前記操作デバイスの位置、方向及び変位の少なくともいずれかを検出するセンサーを備え、前記検出部は、前記センサーの検出結果に基づいて、前記操作デバイスを変位させる操作を前記第1操作として検出し、前記操作デバイスの方向を前記第1操作の操作方向として取得し、前記表示制御部は、前記第1操作の操作方向に基づいて、前記操作画像の移動方向を決定し、前記第1操作が維持される時間に対応して前記操作画像を移動させる。
この構成によれば、センサーにより検出される操作デバイスの操作方向により移動方向が決定され、操作画像を、決定された移動方向に、第1操作が維持される時間に対応して移動させることができる。このため、操作デバイスを用いる操作により操作画像の表示位置を変更することができる。
この構成によれば、センサーにより検出される操作デバイスの操作方向により移動方向が決定され、操作画像を、決定された移動方向に、第1操作が維持される時間に対応して移動させることができる。このため、操作デバイスを用いる操作により操作画像の表示位置を変更することができる。
また、本発明は、前記操作デバイスは操作検出部を備え、前記受付部は前記第2操作を受け付けたか否かを、前記操作検出部の検出結果に基づいて判定する。
この構成によれば、受付部が第2操作を受け付けたか否かを操作検出部の検出結果により判定することができる。
この構成によれば、受付部が第2操作を受け付けたか否かを操作検出部の検出結果により判定することができる。
また、本発明は、前記操作検出部は接触操作を検出するセンサーである。
この構成によれば、センサーにより接触操作を検出して、操作画像の表示位置を第1操作により移動させない動作状態に移行させることができる。
この構成によれば、センサーにより接触操作を検出して、操作画像の表示位置を第1操作により移動させない動作状態に移行させることができる。
また、本発明は、前記操作検出部は近接操作を検出するセンサーである。
この構成によれば、センサーにより近接操作を検出して、操作画像の表示位置を第1操作により移動させない動作状態に移行させることができる。
この構成によれば、センサーにより近接操作を検出して、操作画像の表示位置を第1操作により移動させない動作状態に移行させることができる。
また、本発明は、前記操作デバイスは、前記操作デバイスの位置、方向及び変位の少なくともいずれかを検出するセンサーを備え、前記受付部は、前記センサーにより検出される前記操作デバイスの位置及び方向に基づいて前記操作デバイスの姿勢を検出し、検出した前記操作デバイスの姿勢が予め設定された姿勢パターンに該当する姿勢であると判定した場合に、前記第2操作を受け付けたと判定する。
この構成によれば、センサーが検出する操作デバイスの位置及び方向により操作デバイスの姿勢が決定され、決定された操作デバイスの姿勢が姿勢パターンに該当する場合に、第2操作が検出されたと判定する。このため、操作デバイスの姿勢を姿勢パターンに該当する姿勢とすることで、頭部装着型表示装置に第2操作を入力することができる。
この構成によれば、センサーが検出する操作デバイスの位置及び方向により操作デバイスの姿勢が決定され、決定された操作デバイスの姿勢が姿勢パターンに該当する場合に、第2操作が検出されたと判定する。このため、操作デバイスの姿勢を姿勢パターンに該当する姿勢とすることで、頭部装着型表示装置に第2操作を入力することができる。
また、本発明は、前記表示部は、前記使用者の視線を検出する視線検出部を備え、前記受付部は、前記視線検出部により検出される視線が所定の方向である場合に、前記第1操作と、前記操作画像の移動量との対応を変更する。
この構成によれば、視線を所定の方向に向けることで、第1操作による操作画像の移動量が変更される。従って、第1操作による操作画像の目的位置への移動を容易に行うことができる。
この構成によれば、視線を所定の方向に向けることで、第1操作による操作画像の移動量が変更される。従って、第1操作による操作画像の目的位置への移動を容易に行うことができる。
また、本発明は、前記表示制御部は、前記受付部が前記第2操作とは異なる第4操作を受け付けた場合に、前記表示部により表示されている画像において前記操作画像を含む部分を拡大して表示させる。
この構成によれば、頭部装着型表示装置に第2操作を入力することで、表示部により表示される画像の操作画像を含む部分を拡大して表示することができる。
この構成によれば、頭部装着型表示装置に第2操作を入力することで、表示部により表示される画像の操作画像を含む部分を拡大して表示することができる。
上記課題を解決するため、本発明は、使用者の頭部に装着され、画像を表示する表示部を備える頭部装着型表示装置の制御方法であって、操作デバイスを用いる第1操作を検出し、前記第1操作とは異なる第2操作を受け付け、前記表示部に前記操作デバイスの操作対象としての操作画像を表示させ、前記検出部で検出された前記第1操作に基づいて前記操作画像を移動させ、前記受付部が前記第2操作を受け付けた場合に、前記操作画像の表示位置を前記第1操作により移動させない動作状態に移行する、頭部装着型表示装置の制御方法。
この構成によれば、受付部が第2操作を受け付けた場合に、第1操作が行われても操作画像の表示位置が移動しない。このため、操作画像の表示位置を変更せずに操作デバイスに対する操作を行うことができる。従って、受付部が第2操作を受け付けたときの操作画像の表示位置に基づいて入力内容が判断される操作の場合、正確な操作を入力することができる。このため、操作デバイスを用いる操作の操作性を向上させることができる。
この構成によれば、受付部が第2操作を受け付けた場合に、第1操作が行われても操作画像の表示位置が移動しない。このため、操作画像の表示位置を変更せずに操作デバイスに対する操作を行うことができる。従って、受付部が第2操作を受け付けたときの操作画像の表示位置に基づいて入力内容が判断される操作の場合、正確な操作を入力することができる。このため、操作デバイスを用いる操作の操作性を向上させることができる。
図1は、本発明を適用した実施形態のHMD(Head Mounted Display:頭部装着型表示装置)100の外観構成を示す説明図である。
HMD100は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御装置10Aと、を備える表示装置である。画像表示装置20は、本発明の「表示部」に相当し、制御装置10Aは、本発明の「操作デバイス」に相当する。制御装置10Aは、図1に示すように、平たい箱形のケース8A(筐体、あるいは本体ともいえる)を備え、ケース8Aに後述する各部を備える。ケース8Aの表面には、使用者の操作を受け付ける各種のボタンやスイッチ、トラックパッド14が設けられる。これらを使用者が操作することによって、制御装置10Aは、HMD100のコントローラーとして機能する。
HMD100は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御装置10Aと、を備える表示装置である。画像表示装置20は、本発明の「表示部」に相当し、制御装置10Aは、本発明の「操作デバイス」に相当する。制御装置10Aは、図1に示すように、平たい箱形のケース8A(筐体、あるいは本体ともいえる)を備え、ケース8Aに後述する各部を備える。ケース8Aの表面には、使用者の操作を受け付ける各種のボタンやスイッチ、トラックパッド14が設けられる。これらを使用者が操作することによって、制御装置10Aは、HMD100のコントローラーとして機能する。
画像表示部20は、使用者の頭部に装着される眼鏡形状の装着体であり、外光を透過可能に構成される。画像表示部20は、右保持部21と、左保持部23と、前部フレーム27とを有する本体に、右表示ユニット22、左表示ユニット24、右導光板26及び左導光板28を備える。
右保持部21及び左保持部23は、それぞれ、前部フレーム27の両端部から後方に延び、眼鏡のテンプル(つる)のように、使用者の頭部に画像表示部20を保持する。ここで、前部フレーム27の両端部のうち、画像表示部20の装着状態において使用者の右側に位置する端部を端部ERとし、使用者の左側に位置する端部を端部ELとする。右保持部21は、前部フレーム27の端部ERから、画像表示部20の装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部23は、端部ELから、画像表示部20の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。
右導光板26及び左導光板28は、前部フレーム27に設けられる。右導光板26は、画像表示部20の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板28は、画像表示部20の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。
前部フレーム27は、右導光板26の一端と左導光板28の一端とを互いに連結した形状を有する。右導光板26と左導光板28との連結位置は、使用者が画像表示部20を装着する装着状態において、使用者の眉間に位置する。前部フレーム27は、右導光板26と左導光板28との連結位置において、画像表示部20の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部21及び左保持部23とにより画像表示部20を使用者の頭部に保持できる。また、右保持部21及び左保持部23に、画像表示部20の装着状態において使用者の後頭部に接するベルト(図示略)を連結してもよく、この場合、ベルトによって画像表示部20を使用者の頭部に保持できる。
右表示ユニット22は、右導光板26による画像の表示に係るユニットであり、右保持部21に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット24は、左導光板28による画像の表示に係るユニットであり、左保持部23に設けられ、装着状態において使用者の左側頭部の近傍に位置する。
本実施形態の右導光板26及び左導光板28は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムによって構成される。右導光板26及び左導光板28は、右表示ユニット22及び左表示ユニット24が出力する画像光を使用者の眼に導く。
画像表示部20は、右表示ユニット22及び左表示ユニット24がそれぞれ生成する画像光を、右導光板26及び左導光板28に導き、この画像光により虚像を使用者に視認させる。すなわち、使用者の前方から、右導光板26及び左導光板28を透過して外光が使用者の眼に入射される。
前部フレーム27には、カメラ61及び内側カメラ62が配設される。カメラ61は、使用者が画像表示部20を装着した状態で視認する外景方向を撮像することが望ましく、前部フレーム27の前面において、右導光板26及び左導光板28を透過する外光を遮らない位置に設けられる。図1の例では、カメラ61が前部フレーム27の端部ER側に配置される。カメラ61は、端部EL側に配置されてもよく、右導光板26と左導光板28との連結部に配置されてもよい。
また、内側カメラ62は、前部フレーム27の使用者側に配設される。内側カメラ62は、使用者の右眼RE及び左眼LEのそれぞれに対応するように、右導光板26と左導光板28との中央位置に一対設けられる。
また、内側カメラ62は、前部フレーム27の使用者側に配設される。内側カメラ62は、使用者の右眼RE及び左眼LEのそれぞれに対応するように、右導光板26と左導光板28との中央位置に一対設けられる。
カメラ61は、CCDやCMOS等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、本実施形態のカメラ61は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ61は、HMD100の表側方向、換言すれば、HMD100を装着した状態における使用者の視界方向の少なくとも一部の外景(実空間)を撮像する。別の表現では、カメラ61は、使用者の視界と重なる範囲又は方向を撮像し、使用者が注視する方向を撮像するということもできる。カメラ61の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右導光板26及び左導光板28を通して視認する外界を含む。より好ましくは、右導光板26及び左導光板28を透過して視認可能な使用者の視界の全体を撮像できるように、カメラ61の撮像範囲が設定される。カメラ61は、制御部150(図5)の制御に従って撮像を実行し、撮像画像データを撮像制御部153に出力する。
内側カメラ62は、カメラ61と同様に、CCDやCMOS等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。内側カメラ62は、HMD100の内側方向、換言すれば、画像表示部20の装着状態における使用者と対向する方向を撮像する。
図2は、画像表示部20が備える光学系の構成を示す要部平面図である。図2には説明のため使用者の左眼LE及び右眼REを図示する。
図2に示すように、右表示ユニット22と左表示ユニット24とは、左右対称に構成される。使用者の右眼REに画像を視認させる構成として、右表示ユニット22は、画像光を発するOLED(Organic Light Emitting Diode)ユニット221と、OLEDユニット221が発する画像光Lを導くレンズ群等を備えた右光学系251とを備える。画像光Lは、右光学系251により右導光板26に導かれる。
図2に示すように、右表示ユニット22と左表示ユニット24とは、左右対称に構成される。使用者の右眼REに画像を視認させる構成として、右表示ユニット22は、画像光を発するOLED(Organic Light Emitting Diode)ユニット221と、OLEDユニット221が発する画像光Lを導くレンズ群等を備えた右光学系251とを備える。画像光Lは、右光学系251により右導光板26に導かれる。
OLEDユニット221は、OLEDパネル223と、OLEDパネル223を駆動するOLED駆動回路225とを有する。OLEDパネル223は、有機エレクトロルミネッセンスにより発光してR(赤)、G(緑)、B(青)の色光をそれぞれ発する発光素子をマトリクス状に配置して構成される、自発光型の表示パネルである。OLEDパネル223は、R、G、Bの素子を1個ずつ含む単位を1画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。OLED駆動回路225は、制御部150(図5)の制御に従って、OLEDパネル223が備える発光素子の選択及び発光素子への通電を実行して、OLEDパネル223の発光素子を発光させる。OLED駆動回路225は、OLEDパネル223の裏面すなわち発光面の裏側に、ボンディング等により固定される。OLED駆動回路225は、例えばOLEDパネル223を駆動する半導体デバイスで構成され、OLEDパネル223の裏面に固定される基板(図示略)に実装されてもよい。
なお、OLEDパネル223は、白色に発光する発光素子をマトリクス状に配置し、R、G、Bの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、R、G、Bの色光をそれぞれ放射する発光素子に加え、W(白)の光を発する発光素子を備えるWRGB構成のOLEDパネル223を用いてもよい。
なお、OLEDパネル223は、白色に発光する発光素子をマトリクス状に配置し、R、G、Bの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、R、G、Bの色光をそれぞれ放射する発光素子に加え、W(白)の光を発する発光素子を備えるWRGB構成のOLEDパネル223を用いてもよい。
右光学系251は、OLEDパネル223から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、右導光板26に入射する。右導光板26の内部において光を導く光路には、画像光Lを反射する複数の反射面が形成される。画像光Lは、右導光板26の内部で複数回の反射を経て右眼RE側に導かれる。右導光板26には、右眼REの眼前に位置するハーフミラー261(反射面)が形成される。画像光Lは、ハーフミラー261で反射して右眼REに向けて右導光板26から射出され、この画像光Lが右眼REの網膜に像を結び、使用者に画像を視認させる。
また、使用者の左眼LEに画像を視認させる構成として、左表示ユニット24は、画像光を発するOLEDユニット241と、OLEDユニット241が発する画像光Lを導くレンズ群等を備えた左光学系252とを備える。画像光Lは、左光学系252により左導光板28に導かれる。
OLEDユニット241は、OLEDパネル243と、OLEDパネル243を駆動するOLED駆動回路245とを有する。OLEDパネル243は、OLEDパネル223と同様に構成される自発光型の表示パネルである。OLED駆動回路245は、制御部150の制御に従って、OLEDパネル243が備える発光素子の選択及び発光素子への通電を実行して、OLEDパネル243の発光素子を発光させる。OLED駆動回路245は、OLEDパネル243の裏面すなわち発光面の裏側に、ボンディング等により固定される。OLED駆動回路245は、例えばOLEDパネル243を駆動する半導体デバイスで構成され、OLEDパネル243の裏面に固定される基板(図示略)に実装されてもよい。
左光学系252は、OLEDパネル243から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、左導光板28に入射する。左導光板28は、画像光Lを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Lは、左導光板28の内部で複数回の反射を経て左眼LE側に導かれる。左導光板28には、左眼LEの眼前に位置するハーフミラー281(反射面)が形成される。画像光Lは、ハーフミラー281で反射して左眼LEに向けて左導光板28から射出され、この画像光Lが左眼LEの網膜に像を結び、使用者に画像を視認させる。
この構成によれば、HMD100は、シースルー型の表示装置として機能する。すなわち、使用者の右眼REには、ハーフミラー261で反射した画像光Lと、右導光板26を透過した外光OLとが入射する。また、左眼LEには、ハーフミラー281で反射した画像光Lと、ハーフミラー281を透過した外光OLとが入射する。このように、HMD100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させ、使用者にとっては右導光板26及び左導光板28を透かして外景が見え、この外景に重ねて画像光Lによる画像が視認される。
ハーフミラー261、281は、右表示ユニット22及び左表示ユニット24がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。
ハーフミラー261、281は、右表示ユニット22及び左表示ユニット24がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。
なお、左光学系252及び左導光板28と、右光学系251及び右導光板26との構成は上記の例に限定されない。画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いてもよいし、半透過反射膜を用いてもよい。
図1に戻り、制御装置10Aと画像表示部20とは、接続ケーブル40により接続される。接続ケーブル40は、ケース8Aの下部に設けられるコネクター(図示略)に着脱可能に接続され、左保持部23の先端から、画像表示部20の内部に設けられる各種回路に接続する。接続ケーブル40は、デジタルデータを伝送するメタルケーブル又は光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル40の途中には、コネクター46が設けられる。コネクター46は、ステレオミニプラグを接続するジャックであり、コネクター46と制御装置10Aとは、例えばアナログ音声信号を伝送するラインで接続される。図1に示す構成例では、ステレオヘッドホンを構成する右イヤホン32と左イヤホン34、及びマイク63を有するヘッドセット30が、コネクター46に接続される。
マイク63は、例えば図1に示すように、マイク63の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声インターフェイス180(図4)に出力する。マイク63は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
制御装置10Aは、使用者により操作される***作部として、操作ボタン11、LEDインジケーター12、移動変更ボタン13A、決定ボタン13B、タッチセンサー115を備える。さらに、制御装置10Aは、***作部として、トラックパッド14、上下キー15、切替スイッチ16、及び電源スイッチ18を備える。これらの***作部はケース8Aの表面に配置される。タッチセンサー115は、本発明の「操作検出部」として動作する。
操作ボタン11は、制御装置10Aが実行するオペレーティングシステム(以下、OSと略記する)143(図5)の操作等を行うためのメニューキー、ホームキー、戻るキー等を含み、特に、これらのキーやスイッチのうち押圧操作により変位するものを含む。LEDインジケーター12は、HMD100の動作状態に対応して点灯し、或いは点滅する。移動変更ボタン13Aは、「操作画像」であるポインター330の移動方式を変更するボタンである。決定ボタン13Bは、操作を確定させるボタンである。タッチセンサー115は、使用者の指等の物体の接触を検出するセンサーであり、指の接触操作を第2操作として検出する。上下キー15は、右イヤホン32及び左イヤホン34から出力する音量の増減の指示入力や、画像表示部20の表示の明るさの増減の指示入力に利用される。切替スイッチ16は、上下キー15の操作に対応する入力を切り替えるスイッチである。電源スイッチ18は、HMD100の電源のオン/オフを切り替えるスイッチであり、例えばスライドスイッチで構成される。図1には、操作ボタン11や、移動変更ボタン13A、決定ボタン13Bをハードウェアボタンで設ける例を示したが、タッチパネルやタッチパッドによりカーソルを操作することでソフトウェアボタンとして画像表示部20が表示する操作ボタン11や、移動変更ボタン13A、決定ボタン13Bを操作できるようにしてもよい。
トラックパッド14は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。トラックパッド14への接触(タッチ操作)は、例えば、タッチセンサー(図示略)により検出される。トラックパッド14は、接触が検出された操作面の位置を示す信号を制御部150に出力する。
図3は、画像表示部20の要部構成を示す図である。図3は、画像表示部20を使用者の頭部側から見た要部斜視図である。別の言い方をすれば、右導光板26及び左導光板28の裏側が見えている。
図3では、使用者の右眼REに画像光を照射するハーフミラー261、及び左眼LEに画像光を照射するハーフミラー281が、略四角形の領域として見える。また、ハーフミラー261、281を含む右導光板26及び左導光板28の全体が、上述したように外光を透過する。このため、使用者には、右導光板26及び左導光板28の全体を透過して外景が視認され、ハーフミラー261、281の位置に矩形の表示画像が視認される。
図3では、使用者の右眼REに画像光を照射するハーフミラー261、及び左眼LEに画像光を照射するハーフミラー281が、略四角形の領域として見える。また、ハーフミラー261、281を含む右導光板26及び左導光板28の全体が、上述したように外光を透過する。このため、使用者には、右導光板26及び左導光板28の全体を透過して外景が視認され、ハーフミラー261、281の位置に矩形の表示画像が視認される。
カメラ61は、画像表示部20が表示する画像と共に視認可能な外景を含む範囲を撮像する。カメラ61は、画像表示部20において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとっての前方を撮像する。カメラ61の光軸は、右眼RE及び左眼LEの視線方向を含む方向とされる。使用者がHMD100を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で、使用者の前方に位置する対象物を注視する場合、使用者から対象物までの距離は、30cm〜10m程度であることが多く、1m〜4m程度であることがより多い。そこで、HMD100について、通常使用時における使用者から対象物までの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし、使用者が設定してもよい。カメラ61の光軸及び画角は、通常使用時における対象物までの距離が、設定された上限の目安に相当する場合、及び下限の目安に相当する場合に、この対象物が画角に含まれるように設定されることが好ましい。
一般に、人間の視野角は水平方向におよそ200度、垂直方向におよそ125度とされ、そのうち情報受容能力に優れる有効視野は水平方向に30度、垂直方向に20度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に60〜90度、垂直方向に45度〜70度程度とされている。注視点が使用者の前方に位置する対象物であるとき、使用者の視野において、右眼RE及び左眼LEのそれぞれの視線を中心として水平方向に30度、垂直方向に20度程度が有効視野である。また、水平方向に60〜90度、垂直方向に45度〜70度程度が安定注視野であり、水平方向に約200度、垂直方向に約125度が視野角となる。さらに、使用者が右導光板26及び左導光板28を透過して視認する実際の視野を、実視野(FOV:Field Of View)と呼ぶことができる。図1及び図2に示す本実施形態の構成で、実視野は、右導光板26及び左導光板28を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。
カメラ61の画角は、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角が、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角が、使用者の実視野よりも広いことがより好ましい。さらに好ましくは、画角が、使用者の安定注視野よりも広く、最も好ましくは、画角が使用者の両眼の視野角よりも広いことがより好ましい。
カメラ61が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ61が備える構成であってもよい。
内側カメラ62は、使用者の右眼を撮像するための内側カメラと、左眼を撮像するための内側カメラとを含む。内側カメラ62の画角の広さは、カメラ61と同様に適宜設定できる。ただし、内側カメラ62の画角の広さは、使用者の右眼又は左眼の全体を撮像可能な範囲に設定されることが好ましい。内側カメラ62は、カメラ61と同様に、制御部150の制御に従って撮像を実行し、得られた撮像データを制御部150に出力する。内側カメラ62は、制御部150と協働することにより「視線検出部」として機能する。例えば、制御部150は、内側カメラ62の撮像画像データから右眼RE及び左眼LEの眼球表面における反射光や瞳孔の画像を検出し、使用者の視線方向を特定する。
また、視線検出の方法は、内側カメラ62の撮像画像データから反射光や瞳孔の画像を検出し、使用者の視線方向を特定する方法に限らない。例えば、眼の筋電を検出して使用者の視線方向を検出したり、赤外線を画像光等と一緒に使用者の眼に入射させ、その反射光を赤外線カメラで撮像し、撮像された撮像画像データを画像処理することで視線方向を検出してもよい。
また、視線検出の方法は、内側カメラ62の撮像画像データから反射光や瞳孔の画像を検出し、使用者の視線方向を特定する方法に限らない。例えば、眼の筋電を検出して使用者の視線方向を検出したり、赤外線を画像光等と一緒に使用者の眼に入射させ、その反射光を赤外線カメラで撮像し、撮像された撮像画像データを画像処理することで視線方向を検出してもよい。
図4は、HMD100を構成する各部の構成を示すブロック図である。
制御装置10Aは、プログラムを実行してHMD100を制御するメインプロセッサー140を備える。メインプロセッサー140には、メモリー121や不揮発性記憶部123が接続される。また、メインプロセッサー140には、センサー類として、6軸センサー111、磁気センサー113、タッチセンサー115が接続される。また、メインプロセッサー140には、GPS受信部117、通信部119、音声コーデック182、外部コネクター184が接続される。さらに、メインプロセッサー140には、外部メモリーインターフェイス186、USB(Universal Serial Bus)コネクター188、センサーハブ192及びFPGA194が接続される。これらは外部とのインターフェイスとして機能する。また、メインプロセッサー140には、LED表示部17、バイブレーター19、操作部110、電源部130が接続される。
制御装置10Aは、プログラムを実行してHMD100を制御するメインプロセッサー140を備える。メインプロセッサー140には、メモリー121や不揮発性記憶部123が接続される。また、メインプロセッサー140には、センサー類として、6軸センサー111、磁気センサー113、タッチセンサー115が接続される。また、メインプロセッサー140には、GPS受信部117、通信部119、音声コーデック182、外部コネクター184が接続される。さらに、メインプロセッサー140には、外部メモリーインターフェイス186、USB(Universal Serial Bus)コネクター188、センサーハブ192及びFPGA194が接続される。これらは外部とのインターフェイスとして機能する。また、メインプロセッサー140には、LED表示部17、バイブレーター19、操作部110、電源部130が接続される。
メインプロセッサー140は、制御装置10Aに内蔵されたコントローラー基板120に実装される。コントローラー基板120には、メインプロセッサー140に加えて、メモリー121、不揮発性記憶部123、6軸センサー111、磁気センサー113、GPS受信部117、通信部119、音声コーデック182等がさらに実装される。また、本実施形態は、外部コネクター184、外部メモリーインターフェイス186、USBコネクター188、センサーハブ192、FPGA194及びインターフェイス(I/F)196がコントローラー基板120に実装される。
メモリー121は、メインプロセッサー140が制御プログラムを実行する場合に、実行される制御プログラム、及び処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部123は、フラッシュメモリーやeMMC(embedded Multi Media Card)で構成される。不揮発性記憶部123は、メインプロセッサー140が実行するプログラムや、メインプロセッサー140がプログラムを実行して処理する各種データを記憶する。
図4には一つのメインプロセッサー140により制御装置10Aの機能を実現する構成を示すが、複数のプロセッサー又は半導体チップにより制御装置10Aの機能を実現するようにしてもよい。例えば、コントローラー基板120に、SoC(System-on-a-Chip)やMCU(Micro Control Unit)、FPGA(Field-Programmable Gate Array)等の副処理装置(co-processor)をさらに搭載してもよい。また、制御装置10Aは、メインプロセッサー140及び副処理装置の双方を協働させるか、あるいは双方のうちの一方を選択的に用いて各種の制御を行ってもよい。
6軸センサー111は、3軸加速度センサー及び3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー111は、上記のセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。磁気センサー113は、例えば、3軸の地磁気センサーである。6軸センサー111及び磁気センサー113は、操作デバイスを用いる操作を検出する「検出部」及び「センサー」として動作する。
6軸センサー111及び磁気センサー113は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー140に出力する。また、6軸センサー111及び磁気センサー113は、メインプロセッサー140の要求に応じて、メインプロセッサー140により指定されたタイミングで、検出値をメインプロセッサー140に出力する。
GPS受信部117は、図示しないGPSアンテナを備え、GPS衛星から送信されるGPS信号を受信する。GPS受信部117は、受信したGPS信号をメインプロセッサー140に出力する。また、GPS受信部117は、受信したGPS信号の信号強度を計測し、メインプロセッサー140に出力する。信号強度には、例えば、受信信号強度(RSSI:Received Signal Strength Indication)、電界強度、磁界強度、信号雑音比(SNR:Signal to Noise ratio)等の情報を用いることができる。
通信部119は、外部の機器との間で無線通信を実行する。通信部119は、アンテナ、RF(radio frequency)回路、ベースバンド回路、通信制御回路等を備えて構成され、又はこれらが統合されたデバイスで構成される。通信部119は、例えば、Bluetooth(登録商標)、無線LAN{Wi−Fi(登録商標)を含む}等の規格に準拠した無線通信を行う。
音声インターフェイス180は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス180は、接続ケーブル40に設けられたコネクター46(図1)を含む。コネクター46はヘッドセット30に接続される。音声インターフェイス180が出力する音声信号は右イヤホン32、及び左イヤホン34に入力され、これにより右イヤホン32及び左イヤホン34が音声を出力する。また、ヘッドセット30が備えるマイク63は、音声を集音して、音声信号を音声インターフェイス180に出力する。マイク63から音声インターフェイス180に入力される音声信号は、外部コネクター184に入力される。
音声コーデック182は、音声インターフェイス180に接続され、音声インターフェイス180を介して入出力される音声信号のエンコード及びデコードを行う。音声コーデック182はアナログ音声信号からデジタル音声データへの変換を行うA/Dコンバーター、及びその逆の変換を行うD/Aコンバーターを備えてもよい。例えば、本実施形態のHMD100は、音声を右イヤホン32及び左イヤホン34により出力し、マイク63で集音する。音声コーデック182は、メインプロセッサー140が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス180を介して出力する。また、音声コーデック182は、音声インターフェイス180に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー140に出力する。
外部コネクター184は、メインプロセッサー140と通信する外部の装置を接続するコネクターである。外部コネクター184は、例えば、外部の装置をメインプロセッサー140に接続し、メインプロセッサー140が実行するプログラムのデバッグや、HMD100の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。
外部メモリーインターフェイス186は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
USBコネクター188は、USB規格に準拠したコネクターとインターフェイス回路とを備える。USBコネクター188は、USBメモリーデバイス、スマートフォン、コンピューター等を接続できる。USBコネクター188のサイズや形状、適合するUSB規格のバージョンは適宜に選択、変更可能である。
センサーハブ192及びFPGA194は、インターフェイス196を介して、画像表示部20に接続される。センサーハブ192は、画像表示部20が備える各種センサーの検出値を取得してメインプロセッサー140に出力する。また、FPGA194は、メインプロセッサー140と画像表示部20の各部との間で送受信するデータの処理、及びインターフェイス196を介した伝送を実行する。
タッチセンサー115は、例えば、ケース8Aの側面に設けられ、同じく側面に設けられた決定ボタン13Bの操作のときに、使用者の指の側面への接触(タッチ)を検出する。
LEDインジケーター12は、HMD100の動作状態に対応して点灯し、又は点滅する。LED表示部17は、メインプロセッサー140の制御に従って、LEDインジケーター12の点灯及び消灯を制御する。また、LED表示部17は、トラックパッド14の直下に配置されるLED(図示略)、及びこのLEDを点灯させる駆動回路を含む構成であってもよい。この場合、LED表示部17は、メインプロセッサー140の制御に従って、LEDを点灯、点滅、消灯させる。
バイブレーター19は、モーター、偏心した回転子(いずれも図示略)を備え、その他の必要な構成を備えてもよい。バイブレーター19は、メインプロセッサー140の制御に従って上記モーターを回転させることにより振動を発生する。HMD100は、例えば、操作部110に対する操作を検出した場合や、HMD100の電源がオン又はオフされる場合、その他の場合に、所定の振動パターンでバイブレーター19により振動を発生する。
操作部110は、操作子13及びトラックパッド14を備える。操作子13は、ボタンやキースイッチの総称であり、操作子13には、例えば、操作ボタン11、移動変更ボタン13A、決定ボタン13B、上下キー15、切替スイッチ16、電源スイッチ18等が含まれる。操作部110は、操作子13やトラックパッド14が操作を受けた場合に、操作を受けた操作子13やトラックパッド14の識別情報と、受けた操作内容を示す情報とを含む操作信号を制御部150に出力する。
制御装置10Aは、電源部130を備え、電源部130から供給される電力により動作する。電源部130は、充電可能なバッテリー132、及びバッテリー132の残容量の検出、及びバッテリー132への充電の制御を行う電源制御回路134を備える。電源制御回路134はメインプロセッサー140に接続され、バッテリー132の残容量の検出値、又は電圧の検出値をメインプロセッサー140に出力する。また、電源部130が供給する電力に基づき、制御装置10Aから画像表示部20に電力を供給してもよい。また、電源部130から制御装置10Aの各部及び画像表示部20への電力の供給状態を、メインプロセッサー140が制御可能な構成としてもよい。
画像表示部20の右表示ユニット22及び左表示ユニット24は、それぞれ、制御装置10Aに接続される。図1に示すように、HMD100では左保持部23に接続ケーブル40が接続され、この接続ケーブル40に繋がる配線が画像表示部20内部に敷設され、右表示ユニット22と左表示ユニット24のそれぞれが制御装置10Aに接続される。
右表示ユニット22は、表示ユニット基板210を有する。表示ユニット基板210には、インターフェイス196に接続されるインターフェイス(I/F)211、インターフェイス211を介して制御装置10Aから入力されるデータを受信する受信部(Rx)213、及びEEPROM215が実装される。
インターフェイス211は、受信部213、EEPROM215、温度センサー217、カメラ61、内側カメラ62、照度センサー65及びLEDインジケーター67を、制御装置10Aに接続する。
インターフェイス211は、受信部213、EEPROM215、温度センサー217、カメラ61、内側カメラ62、照度センサー65及びLEDインジケーター67を、制御装置10Aに接続する。
EEPROM(Electrically Erasable Programmable Read−Only Memory)215は、各種のデータをメインプロセッサー140が読み取り可能に記憶する。EEPROM215は、例えば、画像表示部20が備えるOLEDユニット221、241の発光特性や表示特性に関するデータ、右表示ユニット22又は左表示ユニット24が備えるセンサーの特性に関するデータなどを記憶する。具体的には、OLEDユニット221、241のガンマ補正に係るパラメーター、温度センサー217、239の検出値を補償するデータ等を記憶する。これらのデータは、HMD100の工場出荷時の検査によって生成され、EEPROM215に書き込まれ、出荷後はメインプロセッサー140がEEPROM215のデータを利用して処理を行える。
カメラ61及び内側カメラ62は、インターフェイス211を介して入力される信号に従って撮像を実行し、撮像画像データ、又は撮像結果を示す信号を制御装置10Aに出力する。
照度センサー65は、図1に示すように、前部フレーム27の端部ERに設けられ、画像表示部20を装着する使用者の前方からの外光を受光するよう配置される。照度センサー65は、受光量(受光強度)に対応する検出値を出力する。
LEDインジケーター67は、図1に示すように、前部フレーム27の端部ERにおいてカメラ61の近傍に配置される。LEDインジケーター67は、カメラ61による撮像を実行中に点灯して、撮像中であることを報知する。
温度センサー217は、温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。温度センサー217は、OLEDパネル223(図2)の裏面側に実装される。温度センサー217は、例えばOLED駆動回路225と同一の基板に実装されてもよい。この構成により、温度センサー217は、主としてOLEDパネル223の温度を検出する。
受信部213は、インターフェイス211を介してメインプロセッサー140が送信するデータを受信する。受信部213は、OLEDユニット221で表示する画像の画像データを受信した場合に、受信した画像データを、OLED駆動回路225(図2)に出力する。
左表示ユニット24は、表示ユニット基板230を有する。表示ユニット基板230には、インターフェイス196に接続されるインターフェイス(I/F)231、インターフェイス231を介して制御装置10Aから入力されるデータを受信する受信部(Rx)233が実装される。また、表示ユニット基板210には、6軸センサー235及び磁気センサー237が実装される。インターフェイス231は、受信部233、6軸センサー235、磁気センサー237、内側カメラ62及び温度センサー239を制御装置10Aに接続する。
6軸センサー235は、3軸加速度センサー及び3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー235は、上記のセンサーがモジュール化されたIMUを採用してもよい。磁気センサー237は、例えば、3軸の地磁気センサーである。
内側カメラ62は、インターフェイス231を介して入力される信号に従って撮像を実行し、撮像画像データ、又は撮像結果を示す信号を制御装置10Aに出力する。
温度センサー239は、温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。温度センサー239は、OLEDパネル243(図2)の裏面側に実装される。温度センサー239は、例えばOLED駆動回路245と同一の基板に実装されてもよい。この構成により、温度センサー239は、主としてOLEDパネル243の温度を検出する。また、温度センサー239が、OLEDパネル243又はOLED駆動回路245に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、OLEDパネル243が、Si−OLEDとして、OLED駆動回路245等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー239を実装してもよい。
右表示ユニット22が備えるカメラ61、内側カメラ62、照度センサー65、温度センサー217、及び左表示ユニット24が備える6軸センサー235、磁気センサー237、内側カメラ62、温度センサー239は、センサーハブ192に接続される。
センサーハブ192は、メインプロセッサー140の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ192は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ192は、予め設定されたタイミングで、右表示ユニット22及び左表示ユニット24が備える各センサーの検出値を、メインプロセッサー140に出力する。センサーハブ192は、各センサーの検出値を、メインプロセッサー140に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ192は、各センサーの出力値の信号形式、又はデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー140に出力する機能を備えてもよい。また、センサーハブ192は、メインプロセッサー140の制御に従ってLEDインジケーター67への通電を開始及び停止させ、カメラ61が撮像を開始及び終了するタイミングに合わせて、LEDインジケーター67を点灯又は点滅させる。
図5は、制御装置10Aの制御系を構成する記憶部160、及び制御部150の機能ブロック図である。図5に示す記憶部160は、不揮発性記憶部123(図4)により構成される論理的な記憶部であり、EEPROM215を含んでもよい。また、制御部150、及び制御部150が有する各種の機能部は、メインプロセッサー140がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部150、及び制御部150を構成する各機能部は、例えば、メインプロセッサー140、メモリー121、及び不揮発性記憶部123により構成される。
制御部150は、記憶部160が記憶するデータを利用して各種処理を実行し、HMD100を制御する。記憶部160は、制御部150が処理する各種のデータを記憶する。記憶部160は、設定データ161、参照波形162及びコンテンツデータ163を記憶する。設定データ161は、HMD100の動作に係る各種の設定値を含む。また、制御部150がHMD100を制御する際にパラメーター、行列式、演算式、LUT(LookUp Table)等を用いる場合、これらを設定データ161に含めてもよい。
設定データ161には、第1角度θ1及び第2角度θ2の設定が含まれる。
第1角度θ1は、制御装置10Aによる指示位置が表示領域VRの左端である場合の制御装置10Aの角度と、制御装置10Aによる指示位置が表示領域VRの右端である場合の制御装置10Aの角度との差である。
第2角度θ2は、制御装置10Aによる指示位置が表示領域VRの上端である場合の制御装置10Aの角度と、制御装置10Aによる指示位置が表示領域VRの下端である場合の制御装置10Aの角度との差である。
また、HMD100の水平画角を第1角度θ1、HMD100の垂直画角を第2角度θ2として予め設定しておくことも可能である。
第1角度θ1は、制御装置10Aによる指示位置が表示領域VRの左端である場合の制御装置10Aの角度と、制御装置10Aによる指示位置が表示領域VRの右端である場合の制御装置10Aの角度との差である。
第2角度θ2は、制御装置10Aによる指示位置が表示領域VRの上端である場合の制御装置10Aの角度と、制御装置10Aによる指示位置が表示領域VRの下端である場合の制御装置10Aの角度との差である。
また、HMD100の水平画角を第1角度θ1、HMD100の垂直画角を第2角度θ2として予め設定しておくことも可能である。
図6は、表示領域VRを示す図である。
ここで、表示領域VRについて説明する。表示領域VRは、画像表示部20を頭部に装着した使用者の視野範囲(FV)において、画像表示部20が画像を表示可能な領域である。表示領域VRは外景に重畳され、使用者は画像表示部20が表示するオブジェクトと外景とを同時に視認することができる。図6に示す表示領域VRには、画像表示部20が表示する画像の一例として、自転車の画像310、アイコン320及びポインター330が表示された状態を示す。ポインター330は、本発明の「操作対象としての操作画像」に相当する。図6には、矢印形状のポインター330を示すが、ポインター330の形状(例えば、丸形)や、大きさ、色等は任意に変更可能である。
ここで、表示領域VRについて説明する。表示領域VRは、画像表示部20を頭部に装着した使用者の視野範囲(FV)において、画像表示部20が画像を表示可能な領域である。表示領域VRは外景に重畳され、使用者は画像表示部20が表示するオブジェクトと外景とを同時に視認することができる。図6に示す表示領域VRには、画像表示部20が表示する画像の一例として、自転車の画像310、アイコン320及びポインター330が表示された状態を示す。ポインター330は、本発明の「操作対象としての操作画像」に相当する。図6には、矢印形状のポインター330を示すが、ポインター330の形状(例えば、丸形)や、大きさ、色等は任意に変更可能である。
図7は、第1角度θ1を示す図である。また、図8は、第2角度θ2を示す図である。
図7及び8において、X軸は表示領域VRの横方向に対応し、Y軸は表示領域VRの縦方向に対応し、Z軸は表示領域VRの奥行き方向に対応する。図7及び8には、X軸が水平方向に平行な方向に設定され、表示領域VRの左端を原点とし、使用者の側から見て右方向にX軸の正方向が設定された場合を示す。また、図7及び図8には、Y軸が鉛直方向に平行な方向に設定され、表示領域VRの下端を原点とし、鉛直上方にY軸の正方向が設定された場合を示す。また、「奥行き方向」とは、使用者が画像表示部20を頭部に装着した状態において、使用者が向いている方向、すなわち前後方向に対応する。図7及び図8には、使用者から離れる方向にZ軸の正方向が設定された場合を示す。
なお、図7及び8には、X軸が水平方向に平行な方向に設定された場合を示すが、表示領域VRの横方向は、使用者の頭部の傾きによって決定される。すなわち、使用者が頭部を左肩方向に傾けた場合、X軸も傾いて設定される。
図7及び8において、X軸は表示領域VRの横方向に対応し、Y軸は表示領域VRの縦方向に対応し、Z軸は表示領域VRの奥行き方向に対応する。図7及び8には、X軸が水平方向に平行な方向に設定され、表示領域VRの左端を原点とし、使用者の側から見て右方向にX軸の正方向が設定された場合を示す。また、図7及び図8には、Y軸が鉛直方向に平行な方向に設定され、表示領域VRの下端を原点とし、鉛直上方にY軸の正方向が設定された場合を示す。また、「奥行き方向」とは、使用者が画像表示部20を頭部に装着した状態において、使用者が向いている方向、すなわち前後方向に対応する。図7及び図8には、使用者から離れる方向にZ軸の正方向が設定された場合を示す。
なお、図7及び8には、X軸が水平方向に平行な方向に設定された場合を示すが、表示領域VRの横方向は、使用者の頭部の傾きによって決定される。すなわち、使用者が頭部を左肩方向に傾けた場合、X軸も傾いて設定される。
使用者は、まず、第1角度θ1を設定する。
使用者は、制御装置10Aの予め設定された側面(より詳細には側面の法線)が表示領域VRの左端に向くように制御装置10Aを操作する。この側面を、以下では操作側面という。例えば、電源スイッチ18やLEDインジケーター12が設けられた面が操作側面である場合を説明する。使用者は、トラックパッド14の操作面が上を向き、操作側面の法線が表示領域VRの左端を向くように、手に持った制御装置10Aの向きを調整する。このとき、使用者は、例えば、トラックパッド14の操作面が上向きであって、できるだけ水平となるように制御装置10Aの姿勢を維持する。使用者は、制御装置10Aの操作側面の法線を表示領域VRの左端に向けると、予め設定された操作を入力する。この操作は、操作部110に設けられた操作子13の操作であってもよいし、トラックパッド14の操作であってもよい。制御部150は、予め設定された操作が入力されると、磁気センサー113の検出値を取得する。制御部150は、取得した検出値により方位角を検出し、検出した方位角を表示領域VRの左端に対応する方位角としてメモリー121に記憶させる。
使用者は、制御装置10Aの予め設定された側面(より詳細には側面の法線)が表示領域VRの左端に向くように制御装置10Aを操作する。この側面を、以下では操作側面という。例えば、電源スイッチ18やLEDインジケーター12が設けられた面が操作側面である場合を説明する。使用者は、トラックパッド14の操作面が上を向き、操作側面の法線が表示領域VRの左端を向くように、手に持った制御装置10Aの向きを調整する。このとき、使用者は、例えば、トラックパッド14の操作面が上向きであって、できるだけ水平となるように制御装置10Aの姿勢を維持する。使用者は、制御装置10Aの操作側面の法線を表示領域VRの左端に向けると、予め設定された操作を入力する。この操作は、操作部110に設けられた操作子13の操作であってもよいし、トラックパッド14の操作であってもよい。制御部150は、予め設定された操作が入力されると、磁気センサー113の検出値を取得する。制御部150は、取得した検出値により方位角を検出し、検出した方位角を表示領域VRの左端に対応する方位角としてメモリー121に記憶させる。
同様に、使用者は、トラックパッド14の操作面が上を向き、操作側面の法線が表示領域VRの右端を向くように、手に持った制御装置10Aの向きを調整する。このとき、使用者は、例えば、トラックパッド14の操作面が上向きであって、できるだけ水平となるように制御装置10Aの姿勢を維持する。使用者は、制御装置10Aの操作側面の法線を表示領域VRの右端に向けると、予め設定された操作を入力する。制御部150は、予め設定された操作が入力されると、磁気センサー113の検出値を取得する。制御部150は、取得した検出値により方位角を検出し、検出した方位角を、表示領域VRの右端に対応する方位角としてメモリー121に記憶させる。制御部150は、制御装置10Aの操作側面を表示領域VRの左端に向けたときの方位角と、表示領域VRの右端に向けたときの方位角との差を第1角度θ1として算出する。制御部150は、求めた第1角度θ1を記憶部160に記憶させる。
同様にして、使用者は、制御装置10Aの操作側面を表示領域VRの上端に向けて予め設定された操作を入力する。制御部150は、6軸センサー111の検出値により制御装置10Aの傾斜角度を検出し、検出した傾斜角度を、表示領域VRの上端に対応する傾斜角度としてメモリー121に記憶させる。また、使用者は、制御装置10Aの操作側面を表示領域VRの下端に向けて予め設定された操作を入力する。制御部150は、6軸センサー111の検出値により制御装置10Aの傾斜角度を検出し、検出した傾斜角度を、表示領域VRの下端に対応する傾斜角度としてメモリー121に記憶させる。制御部150は、制御装置10Aの操作側面を表示領域VRの上端に向けたときの傾斜角度と、表示領域VRの下端上端に向けたときの傾斜角度との差を第2角度θ2として算出する。制御部150は、求めた第2角度θ2を記憶部160に記憶させる。
また、記憶部160には、参照波形162が記憶される。参照波形162は、筋電センサーにより計測された微小電圧の波形である。参照波形162の詳細については後述する。
また、記憶部160は、コンテンツデータ163を記憶する。コンテンツデータ163は、制御部150の制御によって画像表示部20が表示する画像や映像を含むコンテンツのデータであり、画像データ又は映像データを含む。また、コンテンツデータ163は、音声データを含んでもよい。また、コンテンツデータ163は複数の画像の画像データを含んでもよく、この場合、これら複数の画像は同時に画像表示部20に表示される画像に限定されない。また、コンテンツデータ163は、コンテンツを画像表示部20により表示する際に、制御装置10Aによって使用者の操作を受け付けて、受け付けた操作に応じた処理を制御部150が実行する、双方向型のコンテンツであってもよい。この場合、コンテンツデータ163は、操作を受け付ける場合に表示するメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理等を定めるデータ等を含んでもよい。
制御部150は、OS151、画像処理部152、撮像制御部153及び表示制御部154の機能を備える。
OS151の機能は、記憶部160が記憶する制御プログラムの機能であり、その他の制御部150の各部は、OS151上で実行されるアプリケーションプログラムの機能である。
画像処理部152は、画像表示部20により表示する画像又は映像の画像データに基づいて、右表示ユニット22及び左表示ユニット24に送信する信号を生成する。画像処理部152が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。
また、画像処理部152は、必要に応じて、画像データの解像度を右表示ユニット22及び左表示ユニット24に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部152は、画像データの輝度や彩度を調整する画像調整処理、3D画像データから2D画像データを作成し、或いは2D画像データから3D画像データを生成する2D/3D変換処理等を実行してもよい。画像処理部152は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル40を介して画像表示部20に送信する。
画像処理部152は、メインプロセッサー140がプログラムを実行して実現される構成のほか、メインプロセッサー140とは別のハードウェア(例えば、DSP(Digital Signal Processor))で構成してもよい。
また、画像処理部152は、必要に応じて、画像データの解像度を右表示ユニット22及び左表示ユニット24に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部152は、画像データの輝度や彩度を調整する画像調整処理、3D画像データから2D画像データを作成し、或いは2D画像データから3D画像データを生成する2D/3D変換処理等を実行してもよい。画像処理部152は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル40を介して画像表示部20に送信する。
画像処理部152は、メインプロセッサー140がプログラムを実行して実現される構成のほか、メインプロセッサー140とは別のハードウェア(例えば、DSP(Digital Signal Processor))で構成してもよい。
撮像制御部153は、カメラ61及び内側カメラ62を制御して撮像を実行させ、それぞれのカメラ61、62に撮像画像データを生成させる。撮像制御部153は、カメラ61及び内側カメラ62から取得した撮像画像データを記憶部160に一時的に記憶させる。また、カメラ61又は内側カメラ62が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部153は撮像画像データをカメラ61又は内側カメラ62から取得して、記憶部160に一時的に記憶させる。
表示制御部154は、右表示ユニット22及び左表示ユニット24を制御する制御信号を生成し、この制御信号により、右表示ユニット22及び左表示ユニット24のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部154は、OLED駆動回路225、245を制御して、OLEDパネル223、243による画像の表示を実行させる。表示制御部154は、画像処理部152が出力する信号に基づきOLED駆動回路225、245がOLEDパネル223、243に描画するタイミングの制御、OLEDパネル223、243の輝度の制御等を行う。
図9は、制御装置10Aを示す図である。
また、表示制御部154は、制御装置10Aを用いた操作により、ポインター330の表示位置を変更する。制御装置10Aを用いた操作とは、制御装置10Aの位置、方向、及び変位に対応してポインター330の表示位置を変更する操作である。制御装置10Aには、6軸センサー111や磁気センサー113が搭載されている。表示制御部154は、図9に示すx軸(左右方向)、y軸(上下方向)及びz軸(前後方向)回りの回転量や、磁気センサー113により検出される方位角等に基づいて、制御装置10Aの位置、方向、及び変位を検出する。以下では、制御装置10Aの変位を「動き」といい、制御装置10Aの位置及び方向を「姿勢」という。表示制御装置154は、6軸センサー111や磁気センサー113の検出値により制御装置10Aの動きや姿勢を検出し、表示領域VRにおけるポインター330の表示位置を、検出した動きや姿勢に応じた位置に変更する。使用者が制御装置10Aを手に持ち、手に持った制御装置10Aを動かしたり、姿勢を変更したりして変位させる操作が本発明の「第1操作」に相当する。
また、表示制御部154は、制御装置10Aを用いた操作により、ポインター330の表示位置を変更する。制御装置10Aを用いた操作とは、制御装置10Aの位置、方向、及び変位に対応してポインター330の表示位置を変更する操作である。制御装置10Aには、6軸センサー111や磁気センサー113が搭載されている。表示制御部154は、図9に示すx軸(左右方向)、y軸(上下方向)及びz軸(前後方向)回りの回転量や、磁気センサー113により検出される方位角等に基づいて、制御装置10Aの位置、方向、及び変位を検出する。以下では、制御装置10Aの変位を「動き」といい、制御装置10Aの位置及び方向を「姿勢」という。表示制御装置154は、6軸センサー111や磁気センサー113の検出値により制御装置10Aの動きや姿勢を検出し、表示領域VRにおけるポインター330の表示位置を、検出した動きや姿勢に応じた位置に変更する。使用者が制御装置10Aを手に持ち、手に持った制御装置10Aを動かしたり、姿勢を変更したりして変位させる操作が本発明の「第1操作」に相当する。
また、制御装置10Aには、移動変更ボタン13Aや、決定ボタン13B、タッチセンサー115が設けられる。表示制御部154は、移動変更ボタン13Aや、決定ボタン13Bにより受け付ける操作や、タッチセンサー115の検出結果に対応した処理を実行する。図9には、制御装置10Aのいずれかの側面に、操作子13として設けられた移動変更ボタン13A及び決定ボタン13Bと、タッチセンサー115との配置を示す。
移動変更ボタン13Aは、ポインター330の移動方式を変更するボタンである。表示制御部154は、移動変更ボタン13Aを短押する操作(短押操作)を受け付けると、ポインター330の移動方式を変更する。ポインター330の移動方式には、絶対座標方式と、相対座標方式とがある。
絶対座標方式は、制御装置10Aの角度と、表示領域VRでのポインター330の表示位置とを1対1で対応付けた方式である。
絶対座標方式では、まず第1角度θ1及び第2角度θ2を設定する。第1角度θ1及び第2角度θ2の設定方法の説明は説明済みであるため省略する。使用者は、制御装置10Aを操作して、制御装置10Aの操作側面を、ポインター330を移動させたい方向に制御装置10Aの向きを変更する。すなわち、制御装置10Aの操作側面の法線を延長した延長線上に、表示させたいポインター330の位置がくるように制御装置10Aの向きを変更する。
絶対座標方式では、まず第1角度θ1及び第2角度θ2を設定する。第1角度θ1及び第2角度θ2の設定方法の説明は説明済みであるため省略する。使用者は、制御装置10Aを操作して、制御装置10Aの操作側面を、ポインター330を移動させたい方向に制御装置10Aの向きを変更する。すなわち、制御装置10Aの操作側面の法線を延長した延長線上に、表示させたいポインター330の位置がくるように制御装置10Aの向きを変更する。
表示制御部154は、6軸センサー111及び磁気センサー113の検出値により制御装置10Aの操作が検出されると、検出した検出値により制御装置10Aの回転方向及び回転量(角度)を検出する。回転方向及び回転量(角度)が本発明の「第1操作の操作方向及び操作量」に相当する。表示制御部154は、検出した制御装置10Aの回転方向及び回転量(角度)に基づいてポインター330の移動方向及び移動量を決定する。表示制御部154は、決定した移動方向及び移動量に基づいてポインター330を移動させる。
具体的には、表示制御部154は、6軸センサー111や磁気センサー113の検出結果により制御装置10Aの姿勢に変化があるか否かを判定する。表示制御部154は、制御装置10Aの姿勢に変化があると判定した場合、制御装置10Aの方位角や、傾斜角度を6軸センサー111や磁気センサー113の検出結果により検出する。
メモリー121には、表示領域VRの左端及び右端に対応する方位角や、表示領域VRの上端及び下端に対応する傾斜角度、第1角度θ1、第2角度θ2の情報が記憶される。表示制御部154は、これらの情報に基づいて、検出した方位角や、傾斜角度に対応する表示領域VRの位置、具体的には、ポインター330を表示させるOLEDパネル223、243の画素位置をそれぞれに特定する。また、表示制御部154は、OLEDパネル223と、OLEDパネル243とで共通の画素位置を特定してもよい。
メモリー121には、表示領域VRの左端及び右端に対応する方位角や、表示領域VRの上端及び下端に対応する傾斜角度、第1角度θ1、第2角度θ2の情報が記憶される。表示制御部154は、これらの情報に基づいて、検出した方位角や、傾斜角度に対応する表示領域VRの位置、具体的には、ポインター330を表示させるOLEDパネル223、243の画素位置をそれぞれに特定する。また、表示制御部154は、OLEDパネル223と、OLEDパネル243とで共通の画素位置を特定してもよい。
相対座標方式は、制御装置10Aの操作量に対応して、表示領域VRにおけるポインター330の表示位置を変更する方式である。設定データ161には、制御装置10Aの単位回転量(例えば、1度)当たりのポインター330の移動量、具体的には、OLEDパネル223、243の画素数を示す情報が含まれる。表示制御部154は、6軸センサー111及び磁気センサー113の検出値により制御装置10Aの操作が検出されると、検出した検出値により制御装置10Aの回転方向及び回転量(角度)を検出する。表示制御部154は、検出した制御装置10Aの回転方向及び回転量(角度)と、設定データ161とに基づいて、ポインター330の移動方向及び移動量を決定する。表示制御部154は、決定した移動方向及び移動量に基づいてポインター330を移動させる。相対座標方式において、ポインター330の移動量は、制御装置10Aを用いる操作が維持される時間に対応する移動量となる。すなわち、使用者が制御装置10Aを操作(例えば、回転操作)する時間が長い程、表示領域VRにおけるポインター330の移動量も多くなる。
表示制御部154は、移動変更ボタン13Aの操作を受け付けると、ポインター330の移動方式を変更する。例えば、ポインター330の移動方式として絶対座標方式が設定されている場合に、移動変更ボタン13Aを短押しする短押操作を受け付けると、表示制御部154は、ポインター330の移動方式を相対座標方式に変更する。また、ポインター330の移動方式として相対座標方式が設定されている場合に、移動変更ボタン13Aを短押しする短押操作を受け付けると、表示制御部154は、ポインター330の移動方式を絶対座標方式に変更する。
また、表示制御部154は、移動変更ボタン13Aを長押しする操作(長押操作)を受け付けた場合、移動変更ボタン13Aの短押操作とは異なる処理を実行する。
例えば、表示制御部154は、移動変更ボタン13Aの長押操作が検出されている間に、6軸センサー111の検出結果に変化があると、6軸センサー111の検出結果に従ってポインター330の表示位置を移動させる。また、表示制御部154は、使用者の指が移動変更ボタン13Aから離れ、移動変更ボタン13Aの長押操作が解除されると、長押操作が解除されたときに表示位置がポインター330に重なる画像のサイズを、ポインター330の表示位置を中心として変更する。移動変更ボタン13Aの長押操作を解除する操作が本発明の「第4操作」に相当し、この場合、操作部110が本発明の「受付部」として動作する。また、移動変更ボタン13Aが所定時間以上押下された場合に、第4操作が検出されたと判定し、移動変更ボタン13Aから指が離れるまでに行われた第1操作である制御装置10Aを変位させる操作により画像のサイズを拡大又は縮小させてもよい。
例えば、表示制御部154は、移動変更ボタン13Aの長押操作が検出されている間に、6軸センサー111の検出結果に変化があると、6軸センサー111の検出結果に従ってポインター330の表示位置を移動させる。また、表示制御部154は、使用者の指が移動変更ボタン13Aから離れ、移動変更ボタン13Aの長押操作が解除されると、長押操作が解除されたときに表示位置がポインター330に重なる画像のサイズを、ポインター330の表示位置を中心として変更する。移動変更ボタン13Aの長押操作を解除する操作が本発明の「第4操作」に相当し、この場合、操作部110が本発明の「受付部」として動作する。また、移動変更ボタン13Aが所定時間以上押下された場合に、第4操作が検出されたと判定し、移動変更ボタン13Aから指が離れるまでに行われた第1操作である制御装置10Aを変位させる操作により画像のサイズを拡大又は縮小させてもよい。
例えば、図6に示す例では、ポインター330は、自転車の画像310のサドル位置を指し示している。表示制御部154は、移動変更ボタン13Aの長押操作が解除されると、ポインター330と表示位置が重なるサドル(操作画像を含む部分)を中心として、自転車の画像310のサイズを一定時間ごとに一定サイズずつ拡大又は縮小させる。また、表示制御部154は、移動変更ボタン13Aの操作(短押操作又は長押操作)が検出されると、画像を拡大又は縮小させる処理を停止し、6軸センサー111の検出結果に従って、ポインター330の表示位置を変更する。
また、表示制御部154は、移動変更ボタン13Aの長押操作が解除された後に検出される6軸センサー111の検出値に基づいて、ポインター330に重なる画像を拡大又は縮小してもよい。
例えば、表示制御部154は、制御装置10Aを前方(Z軸正方向)に移動させる操作が検出された場合、ポインター330に重なる位置を中心として画像を拡大させる。また、表示制御部154は、制御装置10Aを後方(Z軸負方向)に移動させる操作が検出された場合、ポインター330に重なる位置を中心として画像を縮小させる。
例えば、表示制御部154は、制御装置10Aを前方(Z軸正方向)に移動させる操作が検出された場合、ポインター330に重なる位置を中心として画像を拡大させる。また、表示制御部154は、制御装置10Aを後方(Z軸負方向)に移動させる操作が検出された場合、ポインター330に重なる位置を中心として画像を縮小させる。
次に、決定ボタン13B及びタッチセンサー115について説明する。
決定ボタン13Bは、操作を確定させるボタンである。例えば、表示領域VRに複数のアイコン320が表示された状態において、決定ボタン13Bの操作を受け付けると、表示制御部154は、ポインター330に重なる位置に表示されたアイコンが選択されたと判定する。
決定ボタン13Bは、操作を確定させるボタンである。例えば、表示領域VRに複数のアイコン320が表示された状態において、決定ボタン13Bの操作を受け付けると、表示制御部154は、ポインター330に重なる位置に表示されたアイコンが選択されたと判定する。
図10は、使用者が制御装置10Aを手に持った状態を示す図である。
使用者は、決定ボタン13Bの操作が可能なように、移動変更ボタン13Aや決定ボタン13B、タッチセンサー115が設けられた側面を上にして制御装置10Aを手に持つ。このとき、使用者は、親指の指先側に決定ボタン13Bが位置し、親指の付け根側にタッチセンサー115が位置するように制御装置10Aを手に持つ。
使用者は、決定ボタン13Bの操作が可能なように、移動変更ボタン13Aや決定ボタン13B、タッチセンサー115が設けられた側面を上にして制御装置10Aを手に持つ。このとき、使用者は、親指の指先側に決定ボタン13Bが位置し、親指の付け根側にタッチセンサー115が位置するように制御装置10Aを手に持つ。
使用者が制御装置10Aを手に持った状態で、決定ボタン13Bを押下すると、親指の指先が決定ボタン13Bに接触するよりも先に、親指の付け根がタッチセンサー115に接触する。タッチセンサー115は、接触を検出すると、接触を検出したことを示す検出信号を表示制御部154に出力する。表示制御部154は、第2操作を受け付ける「受付部」として動作する。また、タッチセンサー115は、表示制御部154に出力する検出信号の信号レベルを変化させることで、接触を検出したことを表示制御部154に通知する構成であってもよい。
表示制御部154は、タッチセンサー115から検出信号が入力されると、6軸センサー111の検出値により制御装置10Aの動きや姿勢の変化を検出しても、ポインター330の表示位置を変更しない動作状態に移行する。このため、ポインター330の表示位置を変更する操作と、決定ボタン13Bを押下する操作とを別々の操作として検出することができる。すなわち、使用者が決定ボタン13Bを押下しようとして手振れが生じ、制御装置10Aが動いたり姿勢が変化したりしても、ポインター330が移動してしまうようなことがない。従って、使用者が意図したポインター330の表示位置で、決定ボタン13Bの操作を行うことができる。
本実施形態は、制御装置10Aがタッチセンサー115を備える場合を説明したが、タッチセンサー115に代えて、非接触で検出物体の近接操作を検出する近接センサーを制御装置10Aに設けてもよい。近接センサーは、検出物体としての指の接近を検出することができるので、制御装置10Aの動きや姿勢の変化によるポインター330の移動を、より早期に規制することができる。このため、使用者が意図したポインター330の位置で、決定ボタン13Bの操作をさらに確実に行うことができる。
また、近接センサーは、図9に示すタッチセンサー115を設けた位置に配置してもよいし、決定ボタン13Bに重ねて、又は決定ボタン13Bの周囲に配置してもよい。この場合、使用者の決定ボタン13Bの操作をより確実に検出し、制御装置10Aの動きや姿勢によってポインター330の表示位置が変更されないようにすることができる。
また、近接センサーは、図9に示すタッチセンサー115を設けた位置に配置してもよいし、決定ボタン13Bに重ねて、又は決定ボタン13Bの周囲に配置してもよい。この場合、使用者の決定ボタン13Bの操作をより確実に検出し、制御装置10Aの動きや姿勢によってポインター330の表示位置が変更されないようにすることができる。
図11は、表示制御部154の動作を示すフローチャートである。
まず、表示制御部154は、ポインター330の移動が有効な状態であるか否かを判定する(ステップS1)。表示制御部154は、タッチセンサー115から検出信号が入力されたか否かを判定する。表示制御部154は、タッチセンサー115から検出信号が入力されていない場合、ポインター330の移動は有効な状態であると判定し、検出信号が入力された場合、ポインター330の移動は無効な状態であると判定する。
まず、表示制御部154は、ポインター330の移動が有効な状態であるか否かを判定する(ステップS1)。表示制御部154は、タッチセンサー115から検出信号が入力されたか否かを判定する。表示制御部154は、タッチセンサー115から検出信号が入力されていない場合、ポインター330の移動は有効な状態であると判定し、検出信号が入力された場合、ポインター330の移動は無効な状態であると判定する。
表示制御部154は、ポインター330の移動は無効な状態であると判定すると(ステップS1/NO)、ステップS1の判定に戻る。また、表示制御部154は、ポインター330の移動が有効な状態であると判定すると(ステップS1/YES)、6軸センサー111の検出値を入力する(ステップS2)。表示制御部154は、入力された検出された6軸センサー111の検出値により制御装置10Aの動きや姿勢に変化が生じたか否かを判定する(ステップS3)。表示制御部154は、制御装置10Aの動きや姿勢に変化が生じていないと判定すると(ステップS3/NO)、ステップS1の判定に戻る。また、表示制御部154は、6軸センサー111の検出値により制御装置10Aの姿勢に変化が生じたと判定した場合(ステップS3/YES)、6軸センサー111の検出値に基づいて移動方向及び移動量を算出する。そして、表示制御部154は、ポインター330の表示位置を、算出した移動方向に移動量だけ移動させる(ステップS4)。その後、表示制御部154は、ステップS1の判定に戻る。
図12は、決定ボタン13Bの操作を検出する他の方法を説明する説明図である。特に、図12は、使用者が手に筋電位測定用のグローブ350を装着した状態を示す図である。
使用者は、制御装置10Aを持つ手に筋電位測定用のグローブ350を装着する。このグローブ350は、使用者が筋肉を動かすときに発生する微小電圧を計測する筋電センサー(図示略)を備える。また、このグローブ350は、例えば、Bluetooth等の近距離無線を行う通信部360を備え、計測した微小電圧の波形を示すデータを、通信部360により制御装置10Aの通信部119に送信する。
使用者は、制御装置10Aを持つ手に筋電位測定用のグローブ350を装着する。このグローブ350は、使用者が筋肉を動かすときに発生する微小電圧を計測する筋電センサー(図示略)を備える。また、このグローブ350は、例えば、Bluetooth等の近距離無線を行う通信部360を備え、計測した微小電圧の波形を示すデータを、通信部360により制御装置10Aの通信部119に送信する。
記憶部160には参照波形162が記憶される。
参照波形162は、グローブ350を使用者が装着した装着状態において、グローブ350の筋電センサーにより計測される信号波形である。より具体的には、参照波形162は、使用者が親指を押し下げる(親指を人指し指の方向に移動させる)動作を行ったときに、筋電センサーにより計測された微小電圧の波形である。
参照波形162は、グローブ350を使用者が装着した装着状態において、グローブ350の筋電センサーにより計測される信号波形である。より具体的には、参照波形162は、使用者が親指を押し下げる(親指を人指し指の方向に移動させる)動作を行ったときに、筋電センサーにより計測された微小電圧の波形である。
表示制御部154は、グローブ350から受信した微小電圧の波形と、記憶部160から読み出した参照波形162とを比較し、受信した波形に、参照波形162に一致する波形が含まれるか否かを判定する。表示制御部154は、受信した波形に、参照波形162に一致する波形が含まれる場合、使用者の親指が動かされたと判定する。この場合、表示制御部154は、6軸センサー111の検出値により制御装置10Aの動きや姿勢の変化が検出されても、ポインター330の表示位置を変更しない動作状態に移行する。
図12には、グローブ350に筋電センサーを設ける場合を説明したが、筋電センサーを設ける部材はグローブ350に限定されない。例えば、使用者の腕に装着するアームバンド等に筋電センサーを設けてもよい。
図13及び図14は、制御装置10Aの他の形態を示す図である。
図13及び図14に示す他の形態の制御装置10Bは、ケース8BがL字状に屈曲した形状を有する。ケース8Bは、第1の方向に延伸した第1筐体部410と、第2の方向に延伸した第2筐体部420とを備える。第1筐体部410の長さは、第2筐体部420の長さよりも長い。第2筐体部420は、第1筐体部410の延伸方向の一端部に形成され、第1筐体部410と第2筐体部420とのなす角度θは略90°である。
図13及び図14に示す他の形態の制御装置10Bは、ケース8BがL字状に屈曲した形状を有する。ケース8Bは、第1の方向に延伸した第1筐体部410と、第2の方向に延伸した第2筐体部420とを備える。第1筐体部410の長さは、第2筐体部420の長さよりも長い。第2筐体部420は、第1筐体部410の延伸方向の一端部に形成され、第1筐体部410と第2筐体部420とのなす角度θは略90°である。
使用者は、制御装置10Bを操作する場合、第2筐体部420を手に持ち、ポインター330を移動させたい方向に第1筐体部410を向ける。
表示制御部154は、6軸センサー111の検出値により、移動変更ボタン13Aや決定ボタン13Bが設けられた制御装置10Bの面(以下、操作側面411という)の法線方向が上方向であると判定した場合、ポインター330の移動を有効に設定する。法線方向が上方向である場合とは、法線方向が鉛直方向である場合を含み、さらに法線方向が鉛直方向から所定角度(例えば、30度)以内の範囲を含む。また、表示制御部154は、6軸センサー111の検出値により、操作側面411の法線方向が上方向以外の方向であると判定した場合、ポインター330の移動を無効に設定する。図13は、操作側面411の法線方向が上向きの方向である場合を示し、図14には、操作側面411の法線方向が水平方向である場合を示す。
表示制御部154は、6軸センサー111の検出値により、移動変更ボタン13Aや決定ボタン13Bが設けられた制御装置10Bの面(以下、操作側面411という)の法線方向が上方向であると判定した場合、ポインター330の移動を有効に設定する。法線方向が上方向である場合とは、法線方向が鉛直方向である場合を含み、さらに法線方向が鉛直方向から所定角度(例えば、30度)以内の範囲を含む。また、表示制御部154は、6軸センサー111の検出値により、操作側面411の法線方向が上方向以外の方向であると判定した場合、ポインター330の移動を無効に設定する。図13は、操作側面411の法線方向が上向きの方向である場合を示し、図14には、操作側面411の法線方向が水平方向である場合を示す。
記憶部160には、操作側面411の法線方向が上方向以外の方向である場合の制御装置10Bの姿勢を示す6軸センサー111の検出値が記憶される。操作側面411の法線方向が上方向以外の方向である場合の制御装置10Bの姿勢が本発明の「姿勢パターン」に相当する。表示制御部154は、6軸センサー111の検出値により操作側面411の法線方向が上方向以外の方向であると判定した場合に、ポインター330の移動を無効に設定する。
また、ポインター330の移動を有効とするときの操作側面411の方向は、操作側面411の法線方向が上方向である場合に限定されない。例えば、操作側面411の法線方向が鉛直下向きであってもよいし、水平左向き又は水平右向きであってもよい。同様に、ポインター330の移動を無効とするときの操作側面411の方向は、操作側面411の法線方向が水平方向である場合に限定されず、鉛直上向き又は下向きの方向であってもよい。また、制御装置10Bの向きや姿勢を判定する面は、操作側面411に限定されず、他の面を基準としてポインター330の移動の有効と無効とを切り替えてもよい。
図15は、絶対座標方式において、ポインター330の移動範囲を制限する様子を示す図である。
また、表示制御部154は、移動変更ボタン13Aの長押操作を受け付けているときと、長押操作を受け付けていないときとで、ポインター330の移動範囲や移動量を変更してもよい。例えば、ポインター330の移動方式として、絶対座標方式が選択されている場合に、移動変更ボタン13Aが長押操作されると、ポインター330の表示位置を基準とする予め設定された範囲を移動範囲に設定する。移動範囲は、制御装置10Aの操作によりポインター330を移動させることができる範囲である。表示制御部154は、6軸センサー111や磁気センサー113の検出値により検出した方位角や傾斜角度に、予め設定された値を加算又は減算して、移動範囲の左端、右端、上端及び下端に対応する方位角や傾斜角度を求める。このように、制御装置10Aを操作して行うポインター330の移動範囲を制限することで、ポインター330の表示位置が目的位置から大きくずれることがないので、ポインター330を目的位置に移動させる時間を短縮することができる。
また、表示制御部154は、移動変更ボタン13Aの長押操作を受け付けているときと、長押操作を受け付けていないときとで、ポインター330の移動範囲や移動量を変更してもよい。例えば、ポインター330の移動方式として、絶対座標方式が選択されている場合に、移動変更ボタン13Aが長押操作されると、ポインター330の表示位置を基準とする予め設定された範囲を移動範囲に設定する。移動範囲は、制御装置10Aの操作によりポインター330を移動させることができる範囲である。表示制御部154は、6軸センサー111や磁気センサー113の検出値により検出した方位角や傾斜角度に、予め設定された値を加算又は減算して、移動範囲の左端、右端、上端及び下端に対応する方位角や傾斜角度を求める。このように、制御装置10Aを操作して行うポインター330の移動範囲を制限することで、ポインター330の表示位置が目的位置から大きくずれることがないので、ポインター330を目的位置に移動させる時間を短縮することができる。
また、表示制御部154は、ポインター330の移動方式として、相対座標方式が選択されている場合に、移動変更ボタン13Aが長押操作されると、制御装置10Aの移動量に対するポインター330の移動量を変更してもよい。移動変更ボタン13Aの長押操作が本発明の「第3操作」に相当し、この場合、操作部110が本発明の「受付部」として動作する。移動変更ボタン13Aの長押操作によりポインター330の移動量を変更する場合、使用者は、制御装置10の姿勢が変化して6軸センサー111の検出結果に変化が生じないように、制御装置10の姿勢を維持する。また、ポインター330の移動量を変更する場合、移動変更ボタン13Aの長押操作と他のボタンの操作とを検出してもよい。例えば、表示制御部154は、移動変更ボタン13Aと、決定ボタン13Bとが長押し操作された場合に、ポインター330の移動量を変更してもよい。
図16には、移動量を制限する前において、制御装置10Aを回転量αだけ回転させた場合のポインター330の水平方向の移動量を示す。移動量を制限する前のポインター330の水平方向の移動量dXは、6軸センサー111により検出された制御装置10Aの水平方向の回転量αに、所定の係数Aを積算した値となる。
また、図17には、移動量を制限した後において、制御装置10Aを回転量αだけ回転させた場合のポインター330の水平方向の移動量を示す。移動量を制限した後のポインター330の水平方向の移動量dXは、6軸センサー111により検出された制御装置10Aの水平方向の回転量αに、所定の係数Bを積算した値となる。係数Bの値は、係数Aの値よりも小さい。このため、制御装置10Aを同一の回転量だけ回転させても、制限した後では、ポインター330の移動量が移動量を制限する前よりも小さくなる。
また、図17には、移動量を制限した後において、制御装置10Aを回転量αだけ回転させた場合のポインター330の水平方向の移動量を示す。移動量を制限した後のポインター330の水平方向の移動量dXは、6軸センサー111により検出された制御装置10Aの水平方向の回転量αに、所定の係数Bを積算した値となる。係数Bの値は、係数Aの値よりも小さい。このため、制御装置10Aを同一の回転量だけ回転させても、制限した後では、ポインター330の移動量が移動量を制限する前よりも小さくなる。
また、表示制御部154は、内側カメラ62の撮像画像データから使用者の視線方向を特定して、使用者が注視する表示領域VRの位置(以下、注視点という)を特定する。表示制御部154は、特定した注視点を中心とする所定範囲内にポインター330が移動した場合に、制御装置10Aの移動量に対するポインター330の移動量を変更してもよい。
使用者は、ポインター330を移動させたい目的の位置を注視しながら、制御装置10Aを用いた操作によりポインター330を目的位置に近づける。ポインター330が注視点を中心とする所定範囲内にポインター330が移動した場合、表示制御部154は、制御装置10Aの移動量に対するポインター330の移動量を変更する。このため、ポインター330の位置が目的位置に近づくと、制御装置10Aを用いた操作によるポインター330の移動量が小さくなるので、ポインター330の目的位置への移動が容易になる。
使用者は、ポインター330を移動させたい目的の位置を注視しながら、制御装置10Aを用いた操作によりポインター330を目的位置に近づける。ポインター330が注視点を中心とする所定範囲内にポインター330が移動した場合、表示制御部154は、制御装置10Aの移動量に対するポインター330の移動量を変更する。このため、ポインター330の位置が目的位置に近づくと、制御装置10Aを用いた操作によるポインター330の移動量が小さくなるので、ポインター330の目的位置への移動が容易になる。
図18は、表示制御部154の動作を示すフローチャートである。
まず、表示制御部154は、ポインター330の移動が有効な状態であるか否かを判定する(ステップS11)。表示制御部154は、ポインター330の移動は無効な状態であると判定すると(ステップS11/NO)、ステップS11の判定に戻る。また、表示制御部154は、ポインター330の移動が有効な状態であると判定すると(ステップS11/YES)、6軸センサー111の検出値を入力する(ステップS12)。表示制御部154は、入力された検出された6軸センサー111の検出値により制御装置10Aの動きや姿勢に変化が生じたか否かを判定する(ステップS13)。表示制御部154は、制御装置10Aの動きや姿勢に変化が生じていないと判定すると(ステップS13/NO)、ステップS11の判定に戻る。また、表示制御部154は、6軸センサー111の検出値により制御装置10Aの姿勢に変化が生じたと判定した場合(ステップS13/YES)、ポインター330の移動量が制限されている状態か否かを判定する(ステップS14)。例えば、表示制御部154は、移動変更ボタン13Aの操作を受け付けているか否かを判定して、ポインター330の移動量が制限されている状態か否かを判定する。表示制御部154は、移動変更ボタン13Aの操作を受け付けている場合、ポインター330の移動量が制限されていると判定する。また、表示制御部154は、移動変更ボタン13Aの操作を受け付けていない場合、ポインター330の移動量が制限されていないと判定する。
まず、表示制御部154は、ポインター330の移動が有効な状態であるか否かを判定する(ステップS11)。表示制御部154は、ポインター330の移動は無効な状態であると判定すると(ステップS11/NO)、ステップS11の判定に戻る。また、表示制御部154は、ポインター330の移動が有効な状態であると判定すると(ステップS11/YES)、6軸センサー111の検出値を入力する(ステップS12)。表示制御部154は、入力された検出された6軸センサー111の検出値により制御装置10Aの動きや姿勢に変化が生じたか否かを判定する(ステップS13)。表示制御部154は、制御装置10Aの動きや姿勢に変化が生じていないと判定すると(ステップS13/NO)、ステップS11の判定に戻る。また、表示制御部154は、6軸センサー111の検出値により制御装置10Aの姿勢に変化が生じたと判定した場合(ステップS13/YES)、ポインター330の移動量が制限されている状態か否かを判定する(ステップS14)。例えば、表示制御部154は、移動変更ボタン13Aの操作を受け付けているか否かを判定して、ポインター330の移動量が制限されている状態か否かを判定する。表示制御部154は、移動変更ボタン13Aの操作を受け付けている場合、ポインター330の移動量が制限されていると判定する。また、表示制御部154は、移動変更ボタン13Aの操作を受け付けていない場合、ポインター330の移動量が制限されていないと判定する。
表示制御部154は、ポインター330の移動量が制限されていないと判定した場合(ステップS14/NO)、6軸センサー111の検出値に基づいてポインター330を移動させる移動方向及び移動量を算出する。このとき、表示制御部154は、6軸センサー111の検出値により検出した制御装置10Aの回転量αに所定の係数Aを積算し、ポインター330の表示領域VR上の移動量を算出する(ステップS15)。表示制御部154は、移動方向及び移動量を算出すると、ポインター330の表示位置を、算出した移動方向に移動量だけ移動させる(ステップS17)。その後、表示制御部154は、ステップS11の判定に戻る。
表示制御部154は、ポインター330の移動量が制限されていると判定した場合(ステップS14/YES)、6軸センサー111の検出値に基づいてポインター330を移動させる移動方向及び移動量を算出する。このとき、表示制御部154は、6軸センサー111の検出値により検出した制御装置10Aの回転量αに所定の係数Bを積算し、ポインター330の表示領域VR上の移動量を算出する(ステップS16)。係数Bの値は、係数Aよりも小さい。表示制御部154は、移動方向及び移動量を算出すると、ポインター330の表示位置を、算出した移動方向に移動量だけ移動させる(ステップS17)。
図19は、3次元空間の座標を示す図である。
画像表示部20には、6軸センサー235や磁気センサー237が搭載されている。表示制御部154は、6軸センサー235や磁気センサー237の検出値に基づいて、画像表示部20に表示させた画像を3次元空間上の座標に対応付け、画像の3次元空間上の座標を管理する。
画像表示部20には、6軸センサー235や磁気センサー237が搭載されている。表示制御部154は、6軸センサー235や磁気センサー237の検出値に基づいて、画像表示部20に表示させた画像を3次元空間上の座標に対応付け、画像の3次元空間上の座標を管理する。
例えば、表示制御部154は、6軸センサー235や磁気センサー237の検出値により使用者の頭部(又は体)向きを検出する。具体的には、表示制御部154は、磁気センサー237の検出値に基づいて方位角を検出し、6軸センサー235の検出値に基づいて使用者の頭部のX軸回りの回転角であるピッチ角、すなわち、仰角や俯角を検出する。これらの情報を以下では向き情報という。
表示制御部154は、画像表示部20により画像を表示させると、表示させた画像の識別情報と、検出した使用者の向き情報とを対応付けて記憶部160に記憶させる。すなわち、表示制御部154は、3次元空間の座標として使用者の向き情報を使用し、画像と、画像の3次元空間での座標とを対応付ける。
3次元空間の座標に対応付けられた画像は、使用者が登録された座標の方向を向いた場合に表示領域VRに表示される。表示制御部154は、6軸センサー235や磁気センサー237の検出値により使用者の向き情報を検出する。表示制御部154は、使用者が、向き情報が示す方向に向いたときに、表示領域VR内に表示可能な画像があるか否かを、記憶部160に記憶させた向き情報に基づいて判定する。表示制御部154は、表示領域VR内に表示可能な画像がある場合には、この画像を表示領域VRに表示させる。
画像表示部20が表示させる画像には、ポインター330も含まれる。
表示制御部154は、ポインター330の操作が有効に設定された場合、制御装置10Aを用いた操作により、表示領域VR内でのポインター330の表示位置を変更する。また、表示制御部154は、ポインター330の操作が無効にされた場合、ポインター330の表示位置を3次元空間の座標に対応付け、対応付けた位置に固定する。すなわち、ポインター330の操作を無効にした際に使用者が向いていた方向とは異なる方向に使用者が向き、ポインター330の位置が表示領域VRの外側となると、ポインター330の画像を表示領域VRから消去する。また、表示制御部154は、6軸センサー235や磁気センサー237により検出した向き情報により、使用者が、ポインター330の3次元空間上の座標として登録された方向を向いていると判定した場合、表示領域VR内にポインター330を表示させる。
表示制御部154は、ポインター330の操作が有効に設定された場合、制御装置10Aを用いた操作により、表示領域VR内でのポインター330の表示位置を変更する。また、表示制御部154は、ポインター330の操作が無効にされた場合、ポインター330の表示位置を3次元空間の座標に対応付け、対応付けた位置に固定する。すなわち、ポインター330の操作を無効にした際に使用者が向いていた方向とは異なる方向に使用者が向き、ポインター330の位置が表示領域VRの外側となると、ポインター330の画像を表示領域VRから消去する。また、表示制御部154は、6軸センサー235や磁気センサー237により検出した向き情報により、使用者が、ポインター330の3次元空間上の座標として登録された方向を向いていると判定した場合、表示領域VR内にポインター330を表示させる。
すなわち、ポインター330の操作を無効にすることで、ポインター330を3次元空間上の一定の位置に固定することができる。このため、画像表示部20により表示された他の画像、例えば、図19に示す自転車の画像310の位置にポインター330を表示し続けることができる。すなわち、ポインター330を3次元空間上にピン止めすることでき、例えば、選択した画像の位置をポインター330により示すことができ、画像表示部20により表示される画像の選択が容易になる。
図20は、制御装置10Aとポインター330とをつなぐ線分を表示領域VRに表示した状態を示す図である。
制御装置10Aを用いた操作の操作性をさらに向上させるため、表示制御部154は、画像表示部20に、制御装置10Aとポインター330とを結ぶ線分を表示させてもよい。図20には、制御装置10Aとポインター330とを結ぶ線分371を示す。この線分371のうち、破線で示す線分372は、表示されない。すなわち、制御装置10Aとポインター330とを直線で結んだときに、表示領域VRよりも外側に位置する線分372は、表示されない。
制御装置10Aを用いた操作の操作性をさらに向上させるため、表示制御部154は、画像表示部20に、制御装置10Aとポインター330とを結ぶ線分を表示させてもよい。図20には、制御装置10Aとポインター330とを結ぶ線分371を示す。この線分371のうち、破線で示す線分372は、表示されない。すなわち、制御装置10Aとポインター330とを直線で結んだときに、表示領域VRよりも外側に位置する線分372は、表示されない。
以上説明したように本実施形態のHMD100は、画像表示部20と、6軸センサー111及び磁気センサー113と、表示制御部154とを備える。
画像表示部20は、使用者の頭部に装着され、画像を表示する。
6軸センサー111及び磁気センサー113は、制御装置10Aとしての制御装置10Aを用いる操作を検出する検出部として動作する。
表示制御部154は、操作検出部としてのタッチセンサー115が検出する接触操作の検出結果を第2操作として受け付ける。また、表示制御部154は、画像表示部20に、制御装置10Aの操作対象としてポインター330を表示させ、6軸センサー111及び磁気センサー113の検出結果に基づいてポインター330を移動させる。さらに、表示制御部154は、タッチセンサー115により接触操作が検出された場合に、ポインター330の表示位置を、制御装置10Aを用いた操作により移動させない動作状態に移行する。
従って、制御装置10Aに設けられた決定ボタン13Bを操作するときに、ポインター330の表示位置が変更されない。このため、タッチセンサー115が接触操作を検出したときのポインター330の表示位置に基づいて入力内容を判断する場合に、正確な操作を入力することができる。従って、制御装置10Aを用いる操作の操作性を向上させることができる。
画像表示部20は、使用者の頭部に装着され、画像を表示する。
6軸センサー111及び磁気センサー113は、制御装置10Aとしての制御装置10Aを用いる操作を検出する検出部として動作する。
表示制御部154は、操作検出部としてのタッチセンサー115が検出する接触操作の検出結果を第2操作として受け付ける。また、表示制御部154は、画像表示部20に、制御装置10Aの操作対象としてポインター330を表示させ、6軸センサー111及び磁気センサー113の検出結果に基づいてポインター330を移動させる。さらに、表示制御部154は、タッチセンサー115により接触操作が検出された場合に、ポインター330の表示位置を、制御装置10Aを用いた操作により移動させない動作状態に移行する。
従って、制御装置10Aに設けられた決定ボタン13Bを操作するときに、ポインター330の表示位置が変更されない。このため、タッチセンサー115が接触操作を検出したときのポインター330の表示位置に基づいて入力内容を判断する場合に、正確な操作を入力することができる。従って、制御装置10Aを用いる操作の操作性を向上させることができる。
また、表示制御部164は、受付部として動作する操作部110が、移動変更ボタン13Aの長押操作である第3操作を受け付けた場合に、制御装置10Aを用いる操作とポインター330の移動量との対応を変更する。
従って、制御装置10Aを用いる操作により、ポインター330を目的位置に容易に移動させることができる。
従って、制御装置10Aを用いる操作により、ポインター330を目的位置に容易に移動させることができる。
また、制御装置10Aは、制御装置10Aの位置、方向及び変位の少なくともいずれかを検出する6軸センサー111及び磁気センサー113を備える。
表示制御装置154は、6軸センサー111及び磁気センサー113の検出結果に基づいて、制御装置10Aを変位させる操作を第1操作として検出する。また、表示制御装置154は、制御装置10Aの変位方向及び変位量を第1操作の操作方向及び操作量として取得し、取得した変位方向及び変位量に基づいて、ポインター330の移動方向及び移動量を決定し、ポインター330を移動させる。
従って、制御装置10Aを用いる操作によりポインター330の表示位置を変更することができる。
表示制御装置154は、6軸センサー111及び磁気センサー113の検出結果に基づいて、制御装置10Aを変位させる操作を第1操作として検出する。また、表示制御装置154は、制御装置10Aの変位方向及び変位量を第1操作の操作方向及び操作量として取得し、取得した変位方向及び変位量に基づいて、ポインター330の移動方向及び移動量を決定し、ポインター330を移動させる。
従って、制御装置10Aを用いる操作によりポインター330の表示位置を変更することができる。
また、表示制御装置154は、6軸センサー111及び磁気センサー113の検出結果に基づいて、制御装置10Aを変位させる操作を第1操作として検出し、制御装置10Aの方向を第1操作の操作方向として取得する。また、表示制御装置154は、第1操作の操作方向に基づいて、ポインター330の移動方向を決定し、第1操作が維持される時間に対応してポインター330を移動させる。
従って、制御装置10Aを用いる操作によりポインター330の表示位置を変更することができる。
従って、制御装置10Aを用いる操作によりポインター330の表示位置を変更することができる。
また、制御装置10Aは操作検出部として動作するタッチセンサー115を備える。
表示制御装置154は、タッチセンサー115が検出する接触操作の検出結果により第2操作を受け付けたか否かを判定する。
従って、タッチセンサー115が検出する接触操作により第2操作を検出し、制御装置10Aを用いた操作によりポインター330の表示位置を移動させない動作状態に移行させることができる。
表示制御装置154は、タッチセンサー115が検出する接触操作の検出結果により第2操作を受け付けたか否かを判定する。
従って、タッチセンサー115が検出する接触操作により第2操作を検出し、制御装置10Aを用いた操作によりポインター330の表示位置を移動させない動作状態に移行させることができる。
また、制御装置10Aは、操作検出部として、近接操作を検出する近接センサーを有していてもよい。
従って、近接センサーが検出する近接操作作により第2操作を検出し、制御装置10Aを用いた操作によりポインター330の表示位置を移動させない動作状態に移行させることができる。
従って、近接センサーが検出する近接操作作により第2操作を検出し、制御装置10Aを用いた操作によりポインター330の表示位置を移動させない動作状態に移行させることができる。
また、表示制御部154は、6軸センサー111や磁気センサー113により検出される制御装置10Aの位置及び方向に基づいて制御装置10Aの姿勢を検出する。表示制御部154は、検出した制御装置10Aの姿勢が予め設定された姿勢パターンに該当する姿勢であると判定した場合に、第2操作を受け付けたと判定する。
従って、制御装置10Aの姿勢を姿勢パターンに該当する姿勢とすることで、HMD100に第2操作を入力することができる。
従って、制御装置10Aの姿勢を姿勢パターンに該当する姿勢とすることで、HMD100に第2操作を入力することができる。
また、制御部150及び内側カメラ62は、使用者の視線を検出する視線検出部として動作する。表示制御装置154は、検出される視線が所定の方向である場合に、制御装置10Aを用いる操作と、ポインター330の移動量との対応を変更する。
従って、制御装置10Aを用いる操作によるポインター330の目的位置への移動を容易に行うことができる。
従って、制御装置10Aを用いる操作によるポインター330の目的位置への移動を容易に行うことができる。
また、表示制御部154は、操作部110が、移動変更ボタン13Aの長押操作を解除する操作を受け付けた場合に、画像表示部20により表示されている画像においてポインター330を含む部分を拡大して表示させる。
従って、画像表示部20により表示される画像のポインター330を含む部分を拡大して表示することができる。
従って、画像表示部20により表示される画像のポインター330を含む部分を拡大して表示することができる。
上述した実施形態は、本発明の好適な実施の形態である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上述した実施形態では、制御装置10Aが画像表示部20と有線接続される構成を例示したが、本発明はこれに限定されず、制御装置10Aに対して画像表示部20が無線接続される構成であってもよい。この場合の無線通信方式は通信部119が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。
例えば、上述した実施形態では、制御装置10Aが画像表示部20と有線接続される構成を例示したが、本発明はこれに限定されず、制御装置10Aに対して画像表示部20が無線接続される構成であってもよい。この場合の無線通信方式は通信部119が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。
また、制御装置10Aが備える一部の機能を画像表示部20に設けてもよく、制御装置10Aを複数の装置により実現してもよい。例えば、制御装置10Aに代えて、使用者の身体、着衣、或いは、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。また、制御装置10Aとして、スマートフォンやタブレット端末を用いることもできる。
さらに、上記実施形態では、画像表示部20と制御装置10Aとが分離され、接続ケーブル40を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置10Aと画像表示部20とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、上記実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板26及び左導光板28が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ61の撮像画像、この撮像画像に基づき生成される画像やCG、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。例えば、カメラ61により撮像する外景の画像と、表示画像とを合成した合成画像を画像表示部20により表示する構成とすれば、画像表示部20が外光を透過しなくても、使用者に外景と画像とを視認可能に表示できる。このような、いわゆるビデオシースルー型の表示装置に本発明を適用することも勿論可能である。
また、例えば、画像表示部20に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼LEに対応して画像を表示する表示部と、使用者の右眼REに対応して画像を表示する表示部とを備えていればよい。また、本発明の頭部装着型表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
また、画像光を使用者の眼に導く光学系として、右導光板26及び左導光板28の一部に、ハーフミラー261、281により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板26及び左導光板28の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー261、281を有する右導光板26、左導光板28に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
さらに、本発明の光学素子は、ハーフミラー261、281を有する右導光板26、左導光板28に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
また、図4、図5に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部150が実行するプログラムは、不揮発性記憶部123又は制御装置10A内の他の記憶装置(図示略)に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部119や外部コネクター184を介して取得して実行する構成としてもよい。また、制御装置10Aに形成された構成のうち、操作部110が使用者インターフェイス(UI)として形成されてもよい。また、制御装置10Aに形成された構成が重複して画像表示部20に形成されていてもよい。例えば、メインプロセッサー140と同様のプロセッサーが画像表示部20に配置されてもよいし、制御装置10Aが備えるメインプロセッサー140と画像表示部20のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。
また、本発明の頭部装着型表示装置の制御方法を、表示装置を備えるコンピューターにを用いて実現される場合、本発明を、上記制御方法を実現するためにコンピューターが実行するプログラム、このプログラムを前記コンピューターで読み取り可能に記録した記録媒体、或いは、このプログラムを伝送する伝送媒体の態様で構成することも可能である。上記記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、HDD(Hard Disk Drive)、CD−ROM(Compact Disk Read Only Memory)、DVD(Digital Versatile Disk)、Blu−ray(登録商標) Disc、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、画像表示装置が備える内部記憶装置であるRAM(Random Access Memory)、ROM(Read Only Memory)、HDD等の不揮発性記憶装置であってもよい。
8A…ケース、8B…ケース、10A、10B…制御装置、11…操作ボタン、12…LEDインジケーター、13…操作子、13A…移動変更ボタン、13B…決定ボタン、14…トラックパッド、15…上下キー、16…切替スイッチ、17…LED表示部、18…電源スイッチ、19…バイブレーター、20…画像表示部、21…右保持部、22…右表示ユニット、23…左保持部、24…左表示ユニット、26…右導光板、27…前部フレーム、28…左導光板、30…ヘッドセット、32…右イヤホン、34…左イヤホン、40…接続ケーブル、46…コネクター、61…カメラ、62…内側カメラ、63…マイク、65…照度センサー、67…LEDインジケーター、100…HMD、110…操作部、111…6軸センサー、113…磁気センサー、115…タッチセンサー、117…GPS受信部、119…通信部、120…コントローラー基板、121…メモリー、123…不揮発性記憶部、130…電源部、132…バッテリー、134…電源制御回路、140…メインプロセッサー、143…オペレーティングシステム、150…制御部、151…OS、152…画像処理部、153…撮像制御部、154…表示制御部、160…記憶部、161…設定データ、162…参照波形、163…コンテンツデータ、180…音声インターフェイス、182…音声コーデック、184…外部コネクター、186…外部メモリーインターフェイス、188…USBコネクター、192…センサーハブ、194…FPGA、196、211…インターフェイス、213、233…受信部、215…EEPROM、217、239…温度センサー、221、241…OLEDユニット、223…OLEDパネル、225、245…OLED駆動回路、231…インターフェイス、235…6軸センサー、237…磁気センサー、251…右光学系、252…左光学系、261、281…ハーフミラー、310…画像、320…アイコン、330…ポインター、350…グローブ、360…通信部、371、372…線分、410…第1筐体部、411…操作側面、420…第2筐体部。
Claims (11)
- 使用者の頭部に装着され、画像を表示する表示部と、
操作デバイスを用いる第1操作を検出する検出部と、
前記第1操作とは異なる第2操作を受け付ける受付部と、
前記表示部に前記操作デバイスの操作対象としての操作画像を表示させ、前記検出部で検出された前記第1操作に基づいて前記操作画像を移動させる表示制御部と、を備え、
前記表示制御部は、前記受付部が前記第2操作を受け付けた場合に、前記操作画像の表示位置を前記第1操作により移動させない動作状態に移行する、頭部装着型表示装置。 - 前記表示制御部は、前記受付部が前記第2操作とは異なる第3操作を受け付けた場合に、前記第1操作と前記操作画像の移動量との対応を変更する、請求項1に記載の頭部装着型表示装置。
- 前記操作デバイスは、前記操作デバイスの位置、方向及び変位の少なくともいずれかを検出するセンサーを備え、
前記検出部は、前記センサーの検出結果に基づいて、前記操作デバイスを変位させる操作を前記第1操作として検出し、前記操作デバイスの変位方向及び変位量を前記第1操作の操作方向及び操作量として取得し、
前記表示制御部は、取得した変位方向及び変位量に基づいて、前記操作画像の移動方向及び移動量を決定し、前記操作画像を移動させる、請求項1又は2に記載の頭部装着型表示装置。 - 前記操作デバイスは、前記操作デバイスの位置、方向及び変位の少なくともいずれかを検出するセンサーを備え、
前記検出部は、前記センサーの検出結果に基づいて、前記操作デバイスを変位させる操作を前記第1操作として検出し、前記操作デバイスの方向を前記第1操作の操作方向として取得し、
前記表示制御部は、前記第1操作の操作方向に基づいて、前記操作画像の移動方向を決定し、前記第1操作が維持される時間に対応して前記操作画像を移動させる、請求項1又は2に記載の頭部装着型表示装置。 - 前記操作デバイスは操作検出部を備え、
前記受付部は前記第2操作を受け付けたか否かを、前記操作検出部の検出結果に基づいて判定する、請求項1から4のいずれか1項に記載の頭部装着型表示装置。 - 前記操作検出部は接触操作を検出するセンサーである、請求項5記載の頭部装着型表示装置。
- 前記操作検出部は近接操作を検出するセンサーである、請求項5記載の頭部装着型表示装置。
- 前記操作デバイスは、前記操作デバイスの位置、方向及び変位の少なくともいずれかを検出するセンサーを備え、
前記受付部は、前記センサーにより検出される前記操作デバイスの位置及び方向に基づいて前記操作デバイスの姿勢を検出し、検出した前記操作デバイスの姿勢が予め設定された姿勢パターンに該当する姿勢であると判定した場合に、前記第2操作を受け付けたと判定する、請求項1又は2に記載の頭部装着型表示装置。 - 前記表示部は、前記使用者の視線を検出する視線検出部を備え、
前記受付部は、前記視線検出部により検出される視線が所定の方向である場合に、前記第1操作と、前記操作画像の移動量との対応を変更する、請求項1又は2に記載の頭部装着型表示装置。 - 前記表示制御部は、前記受付部が前記第2操作とは異なる第4操作を受け付けた場合に、前記表示部により表示されている画像において前記操作画像を含む部分を拡大して表示させる、請求項1から9のいずれか1項に記載の頭部装着型表示装置。
- 使用者の頭部に装着され、画像を表示する表示部を備える頭部装着型表示装置の制御方法であって、
操作デバイスを用いる第1操作を検出し、
前記第1操作とは異なる第2操作を受け付け、
前記表示部に前記操作デバイスの操作対象としての操作画像を表示させ、検出された前記第1操作に基づいて前記操作画像を移動させ、
前記第2操作を受け付けた場合に、前記操作画像の表示位置を前記第1操作により移動させない動作状態に移行する、頭部装着型表示装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018008629A JP2019128693A (ja) | 2018-01-23 | 2018-01-23 | 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 |
US16/254,142 US10976836B2 (en) | 2018-01-23 | 2019-01-22 | Head-mounted display apparatus and method of controlling head-mounted display apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018008629A JP2019128693A (ja) | 2018-01-23 | 2018-01-23 | 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019128693A true JP2019128693A (ja) | 2019-08-01 |
Family
ID=67298683
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018008629A Pending JP2019128693A (ja) | 2018-01-23 | 2018-01-23 | 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10976836B2 (ja) |
JP (1) | JP2019128693A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11893165B2 (en) | 2021-04-30 | 2024-02-06 | Canon Kabushiki Kaisha | Display apparatus communicably connected to external control apparatus that receives operator's operation, control method for same, and storage medium |
WO2024048912A1 (ko) * | 2022-08-29 | 2024-03-07 | 삼성전자주식회사 | 전자 장치의 입력에 기반하여 웨어러블 장치를 제어하기 위한 전자 장치 및 그 방법 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10514545B2 (en) * | 2017-12-08 | 2019-12-24 | Facebook Technologies, Llc | Selective tracking of a head-mounted display |
BR102018004967A2 (pt) * | 2018-03-13 | 2019-10-01 | Samsung Eletrônica da Amazônia Ltda. | Método para processar o movimento de ponteiros virtuais |
US11285368B2 (en) * | 2018-03-13 | 2022-03-29 | Vc Inc. | Address direction guiding apparatus and method |
US10554883B2 (en) * | 2018-03-30 | 2020-02-04 | Ricoh Company, Ltd. | VR system, communication method, and non-transitory computer-readable medium |
US20220004262A1 (en) * | 2020-07-01 | 2022-01-06 | Wacom Co., Ltd. | Systems and methods for dynamic sketching with exaggerated content |
US11836302B2 (en) * | 2022-03-03 | 2023-12-05 | Htc Corporation | Motion computing system and method for virtual reality |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001251552A (ja) | 2000-03-08 | 2001-09-14 | Ricoh Co Ltd | ぶれ防止機能付き撮像装置 |
JP2005258694A (ja) | 2004-03-10 | 2005-09-22 | Asahi Kasei Microsystems Kk | ポインティング装置 |
JP2008015564A (ja) | 2006-06-30 | 2008-01-24 | Tokyo Institute Of Technology | 変位報知装置及び変位報知装置と連携したguiプログラム |
US8933892B2 (en) * | 2007-11-19 | 2015-01-13 | Cirque Corporation | Touchpad combined with a display and having proximity and touch sensing capabilities to enable different functions or interfaces to be displayed |
JP5520457B2 (ja) | 2008-07-11 | 2014-06-11 | 任天堂株式会社 | ゲーム装置およびゲームプログラム |
US9342610B2 (en) * | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
US10545584B2 (en) * | 2016-05-17 | 2020-01-28 | Google Llc | Virtual/augmented reality input device |
-
2018
- 2018-01-23 JP JP2018008629A patent/JP2019128693A/ja active Pending
-
2019
- 2019-01-22 US US16/254,142 patent/US10976836B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11893165B2 (en) | 2021-04-30 | 2024-02-06 | Canon Kabushiki Kaisha | Display apparatus communicably connected to external control apparatus that receives operator's operation, control method for same, and storage medium |
WO2024048912A1 (ko) * | 2022-08-29 | 2024-03-07 | 삼성전자주식회사 | 전자 장치의 입력에 기반하여 웨어러블 장치를 제어하기 위한 전자 장치 및 그 방법 |
Also Published As
Publication number | Publication date |
---|---|
US10976836B2 (en) | 2021-04-13 |
US20190227642A1 (en) | 2019-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11310483B2 (en) | Display apparatus and method for controlling display apparatus | |
US10635182B2 (en) | Head mounted display device and control method for head mounted display device | |
US10976836B2 (en) | Head-mounted display apparatus and method of controlling head-mounted display apparatus | |
US20180259775A1 (en) | Transmission-type display device, display control method, and computer program | |
US20170289533A1 (en) | Head mounted display, control method thereof, and computer program | |
US10261327B2 (en) | Head mounted display and control method for head mounted display | |
JP2018142168A (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP2018142857A (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP2019082891A (ja) | 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム | |
JP2019105777A (ja) | 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 | |
JP2018084886A (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム | |
JP6776578B2 (ja) | 入力装置、入力方法、コンピュータープログラム | |
US10884498B2 (en) | Display device and method for controlling display device | |
JP2018022426A (ja) | 表示装置、頭部装着型表示装置、及び、表示装置の制御方法 | |
JP6932917B2 (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP2018042004A (ja) | 表示装置、頭部装着型表示装置、及び、表示装置の制御方法 | |
JP6996115B2 (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
US20180260068A1 (en) | Input device, input control method, and computer program | |
JP2017134630A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2019053644A (ja) | 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 | |
JP2017182460A (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム | |
JP2017182413A (ja) | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム | |
JP6790769B2 (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP2017142294A (ja) | 表示装置、及び、表示装置の制御方法 | |
JP6631299B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム |