JP6064316B2 - 透過型表示装置、及び操作入力方法 - Google Patents

透過型表示装置、及び操作入力方法 Download PDF

Info

Publication number
JP6064316B2
JP6064316B2 JP2011258699A JP2011258699A JP6064316B2 JP 6064316 B2 JP6064316 B2 JP 6064316B2 JP 2011258699 A JP2011258699 A JP 2011258699A JP 2011258699 A JP2011258699 A JP 2011258699A JP 6064316 B2 JP6064316 B2 JP 6064316B2
Authority
JP
Japan
Prior art keywords
image
unit
operation surface
display device
extraction area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011258699A
Other languages
English (en)
Other versions
JP2013113963A (ja
Inventor
総志 木村
総志 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2011258699A priority Critical patent/JP6064316B2/ja
Priority to US13/686,450 priority patent/US9298255B2/en
Publication of JP2013113963A publication Critical patent/JP2013113963A/ja
Priority to US14/950,824 priority patent/US9436275B2/en
Application granted granted Critical
Publication of JP6064316B2 publication Critical patent/JP6064316B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)

Description

本発明は、透過型（シースルー型）表示装置、及び操作入力方法に関する。
直観的なインターフェースにより機器を操作させることを目的とした表示装置（ヘッドマウントディスプレイ）が、特許文献１に開示されている。
特開２０１０−２３１２９０号公報
しかしながら、特許文献１に開示されている表示装置の画像取り出しエリアに、例えば、押下操作可能なアイコン画像を表示させた場合、そのアイコン画像は虚像であるため触ることができないので、表示装置を頭部に装着したユーザーにとっては、アイコン画像の押下操作に違和感がある。このように、特許文献１に開示されている表示装置は、操作性が低いという問題がある。
本発明は、前記の点に鑑みてなされたものであり、操作性が高い透過型表示装置、及び操作入力方法を提供することを目的とする。
本発明は、上記の課題を解決するためになされたものであり、操作面に対する操作入力を検出する移動可能な操作部と、所定画像光を出力する画像出力部と、画像取り出しエリアに前記所定画像光を視認可能に提示し、且つ、前記画像取り出しエリアに外界からの入射光を透過させる画像取り出し部と、前記操作面と前記画像取り出しエリアとの相対位置に応じた信号を出力するセンサーと、前記画像取り出しエリアを透過した前記操作面の光学像と、前記所定画像光との前記画像取り出しエリア上での重なりを、前記相対位置に応じた信号に基づいて検出し、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付ける判定部と、を備えることを特徴とする透過型表示装置である。
この構成により、判定部は、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付けると判定する。これにより、例えば、ユーザーは、透過型表示装置の画像取り出しエリアのアイコン画像に重なるようにトラックパッドを持ち、このトラックパッドをタッチパネルのように操作できる。すなわち、透過型表示装置は、操作性を高くすることができる。また、透過型表示装置は、虚像であるアイコン画像を用いた操作入力の誤動作を防ぐことができる。
また、本発明は、前記判定部が、前記操作面の光学像と前記所定画像光との重なりを検出し、重なる部分に対する前記操作入力を受け付けることを特徴とする透過型表示装置である。
この構成により、判定部は、前記操作面の光学像と前記所定画像との重なりを検出し、重なる部分に対する前記操作入力のみを受け付ける。これにより、透過型表示装置は、前記操作面の光学像と前記所定画像とが一部だけ重なる場合でも、タッチパネルのような操作性を実現することができる。
また、本発明は、前記判定部が、前記操作面が前記画像取り出しエリアに対向しているか否かを判定し、前記操作面が前記画像取り出しエリアに対向している場合、前記操作入力を受け付けることを特徴とする透過型表示装置である。
この構成により、判定部は、前記相対位置に応じた信号に基づいて、前記操作面が前記画像取り出しエリアに対向しているか否かを判定し、前記操作面が前記画像取り出しエリアに対向している場合、前記操作入力を受け付けると判定する。これにより、透過型表示装置は、操作性を高くすることができる。すなわち、透過型表示装置は、虚像であるアイコン画像を用いた操作入力の誤動作を防ぐことができる。
また、本発明は、前記センサーが、前記操作面を撮像し、前記判定部が、前記センサーにより撮像された前記操作面の画像に基づいて、前記画像取り出しエリア上での重なりを検出することを特徴とする透過型表示装置である。
この構成により、判定部は、前記センサーにより撮像された前記操作面の画像に基づいて、前記画像取り出しエリア上での重なりを検出する。これにより、透過型表示装置は、操作性を高くすることができる。
また、本発明は、前記操作部又は前記画像出力部が、光源を備え、前記センサーが、前記操作部に前記光源が備えられている場合、前記光源からの光を前記画像出力部側で受光して、該受光した光に応じた信号を出力し、前記画像出力部に前記光源が備えられている場合、前記光源からの光を前記操作部側で受光して、該受光した光に応じた信号を出力し、前記判定部が、前記受光した光に応じた信号に基づいて、前記画像取り出しエリア上での重なりを検出することを特徴とする透過型表示装置である。
この構成により、判定部は、前記光源からの光に応じた信号に基づいて、前記画像取り出しエリア上での重なりを検出する。これにより、透過型表示装置は、操作性を高くすることができる。
また、本発明は、前記操作部が、トラックパッドであることを特徴とする透過型表示装置である。
この構成により、トラックパッドは、操作面に対する操作入力を検出する。これにより、透過型表示装置は、操作性を高くすることができる。すなわち、透過型表示装置は、トラックパッドを用いて、タッチパネルのような操作性を実現することができる。
また、本発明は、前記所定画像光を投射する投射光学系と、前記投射光学系により投射された前記所定画像光を前記画像取り出しエリアに導く導光部と、を備え、前記判定部は、前記操作面の光学像と、前記導光部により導かれた前記所定画像光と、の観察位置から見た重なりを検出し、重なる部分に対する前記操作入力を受け付けることを特徴とする透過型表示装置である。
この構成により、判定部は、前記操作面の光学像と前記所定画像光との観察される重なりを検出し、重なる部分に対する前記操作入力を受け付ける。これにより、透過型表示装置は、前記操作面の光学像と前記所定画像光とが一部だけ重なる場合でも、タッチパネルのような操作性を実現することができる。
また、本発明は、透過型表示装置における操作入力方法であって、画像出力部が、所定画像光を出力するステップと、画像取り出し部が、外界からの入射光を透過させる画像取り出しエリアに前記所定画像光を視認可能に提示するステップと、センサーが、前記操作面と前記画像取り出しエリアとの相対位置に応じた信号を出力するステップと、移動可能な操作部が、前記操作面に対する操作入力を検出するステップと、判定部が、前記画像取り出しエリアを透過した前記操作面の光学像と、前記所定画像光との前記画像取り出しエリア上での重なりを、前記相対位置に応じた信号に基づいて検出し、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付けるステップと、を有することを特徴とする操作入力方法である。
この方法により、判定部は、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付けると判定する。これにより、例えば、ユーザーは、透過型表示装置の画像取り出しエリアのアイコン画像に重なるようにトラックパッドを持ち、このトラックパッドをタッチパネルのように操作できる。すなわち、透過型表示装置は、操作性を高くすることができる。また、透過型表示装置は、虚像であるアイコン画像を用いた操作入力の誤動作を防ぐことができる。
本発明によれば、透過型表示装置は、操作面の光学像と所定画像とが重なる場合、操作入力を受け付ける。これにより、透過型表示装置は、操作性を高くすることができる。
本発明の第１実施形態における、透過型表示装置と、透過型表示装置を使用中のユーザーとを示す図である。 本発明の第１実施形態における、透過型表示装置の構成例を示すブロック図である。 本発明の第１実施形態における、透過型表示装置の外観図である。 本発明の第１実施形態における、表示装置の構成例を示す平面図である。 本発明の第１実施形態における、制御装置の外観図である。 本発明の第１実施形態における、画像取り出しエリアの全領域に操作面の全領域が重なってユーザーに見える場合の座標の対応例を示す図である。 本発明の第１実施形態における、画像取り出しエリアの一部に操作面の一部が重なってユーザーに見える場合の座標の対応例を示す図である。 本発明の第１実施形態における、画像取り出しエリアの一部に操作面の全領域が重なってユーザーに見える場合の座標の対応例を示す図である。 本発明の第２実施形態における、制御装置の筐体に備えられた光源の配置例を示す図である。 本発明の第３実施形態における、操作部の操作面にキーを割り当てる場合の表示例を示す図である。 本発明の第３実施形態における、操作部の光学像にキー画像を重畳した場合の表示例を示す図である。
［第１実施形態］
本発明の第１実施形態について図面を参照して詳細に説明する。図１には、透過型表示装置と、透過型表示装置を使用中のユーザーとが示されている。透過型表示装置（透過型ヘッドマウントディスプレイ）は、表示装置１００と、制御装置２００（コントローラー）とを備える。
ユーザーは、表示装置１００（眼鏡型）を頭部に装着することにより、表示装置１００の画像取り出し部の画像取り出しエリアに表示された所定画像（例えば、アイコン画像、メニュー画像）を見ることができる。表示装置１００の画像取り出しエリアは、入射光の少なくとも一部が透過するように構成されている。これにより、ユーザーは、表示装置１００を頭部に装着したまま、表示装置１００の画像取り出しエリアを通して制御装置２００を見ることができる。つまり、ユーザーは、その両眼の位置を観察位置として、入射光による光学像と、表示された所定画像とを同時に観察可能である。また、ユーザーは、手に持つことにより移動可能な制御装置２００の操作面に対して操作入力をすることができる。
図２には、透過型表示装置の構成例が、ブロック図により示されている。また、図３には、透過型表示装置の外観図が示されている。表示装置１００は、左眼用画像出力部１１０Ａと、右眼用画像出力部１１０Ｂと、センサー１２０とを備える。
左眼用画像出力部１１０Ａは、左眼用画像形成部１０Ａと、画像取り出し部２１Ａとを備える。左眼用画像形成部１０Ａは、装着時にユーザーの頭部左側に位置するよう、表示装置１００の左側テンプル部に備えられる。左眼用画像形成部１０Ａには、制御装置２００から画像信号が入力される。左眼用画像形成部１０Ａは、ユーザーの左眼用に所定画像光を形成し、形成した所定画像光を画像取り出し部２１Ａの画像取り出しエリアに出力する。
画像取り出し部２１Ａの画像取り出しエリアには、ユーザーの左眼用に所定画像が表示される。画像取り出し部２１Ａは、装着時にユーザーの左眼前に位置するよう、表示装置１００の左側リム部に備えられる。画像取り出し部２１Ａの画像取り出しエリアは、入射光の少なくとも一部が透過するよう構成されている。これにより、ユーザーの左眼には、入射光による光学像が導かれる。
右眼用画像出力部１１０Ｂは、右眼用画像形成部１０Ｂと、画像取り出し部２１Ｂとを備える。右眼用画像形成部１０Ｂは、装着時にユーザーの頭部右側に位置するよう、表示装置１００の右側テンプル部に備えられる。右眼用画像形成部１０Ｂには、制御装置２００から画像信号が入力される。右眼用画像形成部１０Ｂは、ユーザーの右眼用に所定画像光を形成し、形成した所定画像光を画像取り出し部２１Ｂの画像取り出しエリアに出力する。
画像取り出し部２１Ｂの画像取り出しエリアには、ユーザーの右眼用に所定画像が表示される。画像取り出し部２１Ｂは、装着時にユーザーの右眼前に位置するよう、表示装置１００の右側リム部に備えられる。画像取り出し部２１Ｂの画像取り出しエリアは、入射光の少なくとも一部が透過するよう構成されている。これにより、ユーザーの右眼には、入射光による光学像が導かれる。
図４には、表示装置の構成例が、平面図により示されている。左眼用画像出力部１１０Ａと右眼用画像出力部１１０Ｂとは互いに左右対称の構成を有するため、ここでは、左眼用画像出力部１１０Ａの構成例についてのみ説明する。
左眼用画像出力部１１０Ａは、左眼用画像形成部１０Ａと、左眼用導光部２０Ａとを備える。左眼用画像形成部１０Ａは、画像生成部１１Ａと、投射光学系１２Ａとを有する。画像生成部１１Ａは、発光色毎の光源（例えば、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：ＬＥＤ））と、光変調素子（例えば、液晶表示デバイス）とを備える。
画像生成部１１Ａには、制御装置２００から画像信号が入力される。画像生成部１１Ａは、光源から射出された赤色光、緑色光及び青色光を光学系により拡散させて、光変調素子に投射する。光変調素子は、制御装置２００から入力された画像信号に応じて、赤色光、緑色光及び青色光を空間変調することにより、画像信号に応じた画像光を射出する。投射光学系１２は、光変調素子から射出された画像光を、平行な状態の光束にする。
左眼用導光部２０Ａは、投射光学系１２により平行な状態の光束となった画像光を、左眼用導光部２０Ａが有する画像取り出し部２１Ａ（例えば、三角プリズム）の面に形成されている画像取り出しエリアに投射する。ここで、画像取り出し部２１Ａの面の表裏のうち、装着時にユーザーの左眼３１０Ａに向く側（画像取り出しエリア）には、ミラー層等の反射コーティングが施されている。画像取り出し部２１Ａの画像取り出しエリアに投射された画像光は、この反射コーティングされた面により、ユーザーの左眼３１０Ａに向けて全反射される。これにより、画像取り出し部２１Ａの画像取り出しエリア上には、所定画像（例えば、アイコン画像）が表示される。一方、画像取り出し部２１Ａに外界から入射する光の少なくとも一部は、画像取り出し部２１Ａの画像取り出しエリアを透過し、ユーザーの左眼３１０Ａに導かれる。これにより、ユーザーには、左眼用画像形成部１０Ａにより形成された所定画像と、入射光による光学像とが、画像取り出し部２１Ａの画像取り出しエリア上に重畳されて見える。
図２及び図３に戻り、透過型表示装置の構成例及び外観の説明を続ける。以下、画像取り出し部２１Ａと画像取り出し部２１Ｂとに共通する事項については、符号のローマ字を省略して、「画像取り出し部２１」と表記する。
センサー１２０は、表示装置１００の外界を撮像する撮像装置である。センサー１２０は、装着時にユーザーの頭部正面に位置するよう、表示装置１００のリム部又はブリッジ部に備えられる。つまり、センサー１２０は、制御装置２００の外観が、表示装置１００と制御装置２００との相対位置に応じて変化して見える位置に備えられる。例えば、装着時にユーザーの顔が制御装置２００に向いていれば、センサー１２０は、制御装置２００の外観を撮像し、撮像された画像の画像信号を出力することができる。
なお、センサー１２０は、複数備えられていてもよい。これにより、センサー１２０は、制御装置２００を複数方向から撮像することができる。また、センサー１２０は、表示装置１００でなく制御装置２００に備えられることにより、制御装置２００から表示装置１００を撮像し、表示装置１００が撮像された画像の画像信号（相対位置に応じた信号）を出力してもよい。
制御装置２００は、ユーザーによる操作入力を検出し、検出した操作入力を受け付けるか否かを判定する。制御装置２００は、操作入力を受け付けると判定した場合、その操作入力に応じて表示装置１００を制御する。制御装置２００は、操作部２１０と、判定部２２０と、制御部２３０と、記憶部２４０と、操作ボタン部２５０とを備える。
記憶部２４０は、画像取り出し部２１の画像取り出しエリアを透過した操作部２１０の操作面の光学像と、所定画像（例えば、アイコン画像）との画像取り出し部２１の画像取り出しエリア上での重なり方（以下、「重なり情報」という）を、センサー１２０が予め撮像した制御装置２００の参照画像毎に予め記憶している。
重なり情報は、センサー１２０が予め撮像した制御装置２００の参照画像と、操作中にセンサー１２０が撮像した制御装置２００の画像とに比較に基づいて検出される。詳細については、図６〜図８を用いて後述する。
操作ボタン部２５０は、操作ボタン群を備える。各操作ボタンは、ユーザーに押下されることにより、押下された操作ボタンに予め対応付けられた処理を示す信号を、制御部２３０に出力する。ここで、予め対応付けられた処理とは、例えば、画像取り出し部２１（図３を参照）の画像取り出しエリアに表示されている画像の輝度を調整する処理である。
操作部２１０は、制御装置２００の筐体に備えられた操作面に対する操作入力を検出する。より具体的には、操作部２１０は、操作入力をするユーザーの指が触れた操作面上の座標を検出する。操作部２１０は、例えば、トラックパッドである。
図５には、制御装置の外観図が示されている。図５（Ａ）に示すように、制御装置２００の一方の面には、操作ボタン部２５０が備えられている。また、制御装置２００の他方の面の全面には、操作部２１０（操作面）が備えられている。なお、図５（Ｂ）に示すように、制御装置２００の片面に、操作部２１０及び操作ボタン部２５０が備えられてもよい。以下では、一例として、図５（Ｂ）に示す操作部２１０（操作面）に注目して説明を続ける。
図２に戻り、透過型表示装置の構成例の説明を続ける。判定部２２０は、画像取り出し部２１の画像取り出しエリアを透過した操作部２１０の操作面の光学像と、所定画像（例えば、アイコン画像）との画像取り出し部２１の画像取り出しエリア上での重なりを、センサー１２０により撮像された操作部２１０の操作面の画像（相対位置に応じた信号）に基づいて検出する。
ここで、判定部２２０は、センサー１２０が今回撮像した制御装置２００の画像と、記憶部２４０に予め記憶されている複数の参照画像とに対して、画像マッチングを実行する。そして、判定部２２０は、画像マッチングにより最も類似していると判断された参照画像に対応付けられている重なり情報を、記憶部２４０から選択する。
判定部２２０は、操作部２１０の操作面の光学像と、所定画像とが、画像取り出し部２１の画像取り出しエリア上で重なる場合、操作部２１０が検出した操作入力を受け付ける。
なお、判定部２２０は、センサー１２０により撮像された操作部２１０の操作面の画像（相対位置に応じた信号）に基づいて、操作部２１０の操作面が画像取り出し部２１（図３を参照）の画像取り出しエリアに対向しているか否かを判定し、操作部２１０の操作面が画像取り出し部２１の画像取り出しエリアに対向している場合、操作部２１０が検出した操作入力を受け付けるとしてもよい。
また、複数の所定画像（例えば、アイコン画像）が、画像取り出し部２１の画像取り出しエリア上の異なる位置にそれぞれ表示されている場合、判定部２２０は、次のように動作してもよい。判定部２２０は、操作部２１０の操作面の光学像と所定画像とのそれぞれの重なりを検出し、これらの重なる部分に対する操作入力のみを受け付ける。この検出処理の詳細については、図６〜図８を用いて後述する。
判定部２２０は、操作入力を受け付ける操作面上の位置のうち、実際に操作入力された操作面上の位置に対応付けられた画像取り出し部２１の画像取り出しエリア上の位置を示す情報を、制御部２３０に出力する。
なお、判定部２２０は、操作部２１０の操作面の光学像と重なる所定画像が表示される画像取り出し部２１の画像取り出しエリア上の位置が検出されない場合、操作部２１０が検出した操作入力を一切受け付けない、と判定してもよい（誤動作防止）。
制御部２３０には、押下された操作ボタン毎の信号が、操作ボタン部２５０から入力される。制御部２３０は、この入力された信号に基づいて、所定の処理（例えば、画像の輝度を調整する処理）を実行する。
また、制御部２３０には、操作入力を受け付けると判定部２２０が判定した操作面上の位置（座標）のうち、実際に操作入力された操作面上の位置に対応付けられた画像取り出し部２１の画像取り出しエリア上の位置を示す情報が、判定部２２０から通知される。制御部２３０は、判定部２２０から通知された画像取り出し部２１の画像取り出しエリア上の位置に対応付けられた処理（例えば、音楽データを再生する処理）を実行する。
制御部２３０は、表示装置１００の左眼用画像出力部１１０Ａ及び右眼用画像出力部１１０Ｂに、画像信号（例えば、アイコン画像、コンテンツ画像）を出力する。ここで、左眼用画像出力部１１０Ａに出力される画像信号と、右眼用画像出力部１１０Ｂに出力される画像信号とは、その内容（例えば、画像の視差）が異なっていてもよい。例えば、画像に視差が在る場合、制御部２３０は、表示装置１００に３次元画像を表示させることができる。
また、制御部２３０は、表示装置１００に出力する画像信号の内容を、操作入力に応じて変更してもよい。例えば、制御部２３０は、操作部２１０の操作面の光学像と、所定画像とが画像取り出し部２１の画像取り出しエリア上で重なっていないこと（判定結果）を、判定部２２０から通知されるようにし、通知された場合、画像取り出し部２１の画像取り出しエリア上で重なっていないこと表す警告表示を、画像取り出しエリアに表示させてもよい。ユーザーは、操作部２１０の操作面に対する操作を制御装置２００が受け付けない状態に在ることを、この警告表示により知ることができる。
次に、判定部２２０が実行する検出処理の詳細を説明する。
図６には、画像取り出しエリアの全領域に操作面の全領域が重なってユーザーに見える場合における、座標の対応例が示されている。つまり、図６には、画像取り出し部２１の画像取り出しエリアの四隅と、操作部２１０の操作面の四隅とが一致してユーザーに見える場合における、座標の対応例が示されている。以下では、一例として、アイコン画像４００と、アイコン画像４１０、４２０、４３０が、所定画像として画像取り出し部２１の画像取り出しエリアに表示されているものとして説明を続ける。
図６に示す例では、画像取り出し部２１の画像取り出しエリアの全領域に、操作部２１０の操作面の全領域が重なっている場合について、アイコン画像４００の位置は、重なり情報として、操作部２１０の操作面上の絶対座標（０，０）に対応付けられている。また、アイコン画像４１０の位置は、重なり情報として、操作部２１０の操作面上の絶対座標（１，０）に対応付けられている。また、アイコン画像４２０の位置は、重なり情報として、操作部２１０の操作面上の絶対座標（２，０）に対応付けられている。また、アイコン画像４３０の位置は、重なり情報として、操作部２１０の操作面上の絶対座標（０，１）に対応付けられている。
判定部２２０は、画像取り出し部２１の画像取り出しエリア上で各アイコン画像に重なる操作部２１０の操作面上の絶対座標（０，０）、（１，０）、（２，０）、（０，１）をそれぞれ検出する。判定部２２０は、操作部２１０が検出した操作面上のこれらの絶対座標に対する操作入力を受け付けると判定する。
また、判定部２２０は、操作部２１０の操作面上の絶対座標（０，０）、（１，０）、（２，０）、（０，１）のいずれかに対して操作入力がされた場合、その操作入力がされた座標に重なるアイコン画像の位置を示す情報を、制御部２３０に通知する。これにより、制御部２３０は、判定部２２０から通知されたアイコン画像の表示位置に対応付けられた処理を実行することができる。
なお、操作面上の座標にヒステリシスを設けることで、判定部２２０は、操作面上の座標に対する操作入力と、その座標の近傍に対する操作入力との両方を受け付けるようにしてもよい。
図７には、画像取り出しエリアの一部に操作面の一部が重なってユーザーに見える場合における、座標の対応例が示されている。各アイコン画像の位置と、操作面上の位置（座標）との対応付けは、重なり情報毎に記憶部２４０に予め記憶されている。図７に示す例では、画像取り出し部２１の画像取り出しエリアの一部に、操作部２１０の操作面の一部が重なっている場合について、アイコン画像４００の位置は、操作部２１０の操作面上の絶対座標（２，１）に対応付けられている。
判定部２２０は、操作部２１０の操作面の光学像と重なるアイコン画像４００が表示される画像取り出し部２１の画像取り出しエリア上の位置を検出し、この重なるアイコン画像４００の位置に対応付けられた、操作部２１０の操作面上の絶対座標（２，１）に対する操作入力を受け付ける。
また、判定部２２０は、操作部２１０の操作面上の絶対座標（２，１）に対して操作入力がされた場合、重なるアイコン画像４００の位置を示す情報を、制御部２３０に通知する。これにより、制御部２３０は、判定部２２０から通知されたアイコン画像４００の表示位置に対応付けられた処理を実行することができる。
図８には、画像取り出しエリアの一部に操作面の全領域が重なってユーザーに見える場合における、座標の対応例が示されている。各アイコン画像の位置と、操作面上の位置（座標）との対応付けは、重なり情報毎に記憶部２４０に予め記憶されている。図８に示す例では、画像取り出し部２１の画像取り出しエリアの一部に、操作部２１０の操作面の全領域が重なっている場合について、アイコン画像４３０の位置は、操作部２１０の操作面上の全領域に対応付けられている。
判定部２２０は、操作部２１０の操作面の光学像と重なるアイコン画像４３０が表示される画像取り出し部２１の画像取り出しエリア上の位置を検出し、この重なるアイコン画像４３０の位置に対応付けられた、操作部２１０の操作面上の全領域におけるどの座標に対する操作入力でも受け付けると判定する。
また、判定部２２０は、操作部２１０の操作面に対して操作入力がされた場合、重なるアイコン画像４３０の位置を示す情報を、制御部２３０に通知する。これにより、制御部２３０は、判定部２２０から通知されたアイコン画像４３０の位置に対応付けられた処理（例えば、撮像処理）を実行することができる。
なお、画像取り出し部２１の画像取り出しエリア上の固定位置にアイコン画像が表示されていない場合でも、その固定位置に操作部２１０の操作面の光学像をユーザーが重ねたことをトリガーにして、制御部２３０は、その固定位置にアイコン画像を表示させてもよい。
以上のように、透過型表示装置は、操作面に対する操作入力を検出する移動可能な操作部２１０と、所定画像光（例えば、アイコン画像光）を出力する画像生成部１１Ａ及び１１Ｂ、投射光学系１２Ａ及び１２Ｂ、並びに、左眼用導光部２０Ａ及び２０Ｂと、画像取り出しエリアに所定画像光を視認可能に提示し、且つ、画像取り出しエリアに外界からの入射光を透過させる画像取り出し部２１と、前記操作面と画像取り出しエリアとの相対位置に応じた信号（例えば、制御装置２００が撮像された画像の画像信号）を出力するセンサー１２０と、画像取り出しエリアを透過した前記操作面の光学像と、前記所定画像光との画像取り出しエリア上での重なりを、前記相対位置に応じた信号に基づいて検出し、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付ける判定部２２０と、を備える。
この構成により、判定部２２０は、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付ける。例えば、ユーザーは、透過型表示装置の画像取り出しエリアのアイコン画像に重なるように制御装置２００を持ち、操作部２２０の操作面をタッチパネルのように操作できる。これにより、透過型表示装置は、操作性を高くすることができる。また、透過型表示装置は、虚像であるアイコン画像を用いた操作入力の誤動作を防ぐことができる。
［第２実施形態］
本発明の第２実施形態について図面を参照して詳細に説明する。第２実施形態では、制御装置２００又は表示装置１００の筐体に光源が備えられる点が、第１実施形態と異なる。以下では、第１実施形態との相違点についてのみ説明する。
図９には、制御装置の筐体に備えられた光源の配置例が示されている。制御装置２００の操作部２１０の操作面の位置を示すマークとして、操作面の隅近傍に光源２６０が備えられる。光源２６０は、操作面の面外方向に、指向性のある赤外線を射出する。光源２６０は、例えば、発光ダイオードである。また、光源２６０は、図９に示すように操作部２１０の操作面の隅に対角に配置されてもよいし、操作面の三隅又は四隅に配置されてもよい。
センサー１２０（図２及び図３を参照）は、光源２６０から射出された指向性のある赤外光を受光し、その光（例えば、受光強度）に応じた信号、すなわち、操作部２１０の操作面と画像取り出し部２１の画像取り出しエリアとの相対位置に応じた信号を出力する。センサー１２０は、例えば、フォトダイオードである。
なお、センサー１２０は、複数備えられていてもよい。これにより、センサー１２０は、光源２６０からの赤外光を、複数方向から受光することができる。また、判定部２２０は、これらの受光結果に基づいて、操作部２１０の操作面と画像取り出し部２１の画像取り出しエリアとの相対距離を算出してもよい。また、光源２６０は、表示装置１００に備えられていてもよい。この場合、センサー１２０は、表示装置１００でなく制御装置２００に備えられることにより、光源２６０からの赤外光を制御装置２００で受光し、その光に応じた信号（相対位置に応じた信号）を出力してもよい。
判定部２２０は、光源２６０からの光に応じた信号に基づいて、画像取り出し部２１の画像取り出しエリア上での重なりを検出する。例えば、判定部２２０は、受光強度が所定強度以上である場合、画像取り出し部２１の画像取り出しエリアの全領域に操作面の全領域が重なっていると判定する。
以上のように、透過型表示装置は、操作部２１０、又は、左眼用画像出力部１１０Ａ及び右眼用画像出力部１１０Ｂが、光源を備え、センサー１２０が、操作部２１０に前記光源が備えられている場合、前記光源からの光を左眼用画像出力部１１０Ａ及び右眼用画像出力部１１０Ｂ側で受光して、該受光した光に応じた信号を出力し、左眼用画像出力部１１０Ａ及び右眼用画像出力部１１０Ｂに前記光源が備えられている場合、前記光源からの光を操作部２１０側で受光して、該受光した光に応じた信号を出力し、判定部２２０が、前記受光した光に応じた信号に基づいて、画像取り出し部２１の画像取り出しエリア上での重なりを検出する。
この構成により、判定部２２０は、前記受光した光に応じた信号に基づいて、画像取り出し部２１の画像取り出しエリア上での重なりを検出する。これにより、透過型表示装置は、操作性を高くすることができる。
［第３実施形態］
本発明の第３実施形態について図面を参照して詳細に説明する。第３実施形態では、制御装置２００の光学像にキー画像が重畳される点が、第１及び第２実施形態と異なる。以下では、第１及び第２実施形態との相違点についてのみ説明する。
図１０には、操作部の操作面にキーを割り当てる場合の表示例が示されている。図１０では、メニュー画像「ＱＷＥＲＴＹ」と、このメニュー画像に対応付けられたキー配置を示すキー画像８００とが、画像取り出し部２１の画像取り出しエリアに投射されている。また、キー画像８００を構成するキーのうち、予め定められた一つ以上のキー（図１０では、「Ｑ」、「ＥＮＴＥＲ」）の配置が、枠により示されている。これにより、ユーザーは、枠により示されている各キーを、操作部２１０の操作面のどの位置（座標の基準点）にそれぞれ対応させるかを、指定することができる。
より具体的には、画像取り出し部２１の画像取り出しエリアを観察しているユーザーは、画像取り出し部２１の画像取り出しエリア上で操作部２１０の光学像の左上隅にキー「Ｑ」を表示させるために、操作部２１０の操作面の左上隅に指を触れたとする。さらに、ユーザーは、画像取り出し部２１の画像取り出しエリア上で操作部２１０の光学像の右下隅にキー「ＥＮＴＥＲ」を表示させるために、操作部２１０の操作面の右下隅に指を触れたとする。この状態で、操作部２１０は、ユーザーの指が触れている位置、すなわち、操作入力がされた座標を検出する。
制御部２３０は、操作入力がされた座標に重なるキー画像の位置を示す情報に基づいて、操作部２１０の操作面に仮想的にキー配置を定める。ここで、制御部２３０は、ユーザーの指が触れられている操作部２１０の操作面の左上隅をキー「Ｑ」の位置とし、ユーザーの指が触れられている操作部２１０の操作面の右上隅をキー「ＥＮＴＥＲ」の位置と定める（位置合わせ）。さらに、制御部２３０は、キー「Ｑ」及びキー「ＥＮＴＥＲ」の位置（基準点）に基づいて、他のキーの位置も定める（割付）。
なお、制御部２３０は、操作入力がされた座標に基づかずに、操作部２１０の画像の画像信号に基づいて、操作部２１０の操作面の左上隅をキー「Ｑ」の位置とし、操作部２１０の操作面の右下隅をキー「ＥＮＴＥＲ」の位置と定めてもよい（位置合わせ）。さらに、認識部２２０は、定めたキー「Ｑ」及びキー「ＥＮＴＥＲ」の位置（基準点）に基づいて、他のキーの位置も定める（割付）。
なお、表示装置１００は、キー配置に応じたキー画像と重ならないよう、他の画像（例えば、操作入力された文字列を表示するための領域を示す画像）を画像取り出し部２１の画像取り出しエリアに表示してもよい。また、表示装置１００は、ユーザーによる操作入力（モード指定）に基づいて、キー画像の大きさを調整して表示してもよい。
図１１には、操作部の光学像にキー画像を重畳した場合の表示例が示されている。制御部２３０は、操作部２１０の光学像の大きさ及び形状と、記憶部２４０から取得したキー画像８１０の大きさ及び形状とが、画像取り出し部２１の画像取り出しエリア上で一致するように、操作部２１０の画像の画像信号に基づいて、キー画像８１０を必要に応じて変形させる。例えば、制御部２３０は、斜視図となるようにキー画像８１０を変形させてもよい。
図１１では、ユーザーがキー「Ｅ」を操作したことにより、操作入力された文字「Ｅ」が操作入力画像９００に表示されている状態が示されている。例えば、制御部２３０は、このようにして操作入力された文字列を、コンピューターネットワーク上で検索（Ｓｅａｒｃｈ）してもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
例えば、制御装置２００には、制御装置２００の姿勢（回転等）を検出するセンサー（例えば、ジャイロセンサー）が備えられていてもよい。制御部２３０は、検出された制御装置２００の姿勢に表示の向きを連動させて、所定画像（例えば、アイコン画像）を画像取り出し部２１（図３を参照）の画像取り出しエリアに表示させてもよい。
また、例えば、操作部２１０は、操作面の光学像と所定画像の位置とが画像取り出し部２１の画像取り出しエリア上で重なっていない場合、指示体が触れた操作面上の位置を、操作面上の相対座標で検出してもよい。
また、例えば、表示装置１００は、前記投射光学系、前記導光部、及び前記画像取り出し部の代わりに、瞳分割方式シースルー光学系を備えていてもよいし、半透過鏡方式シースルー光学系を備えていてもよい。また、例えば、表示装置１００は、前記投射光学系、前記導光部、及び前記画像取り出し部の代わりに、画像表示装置（特開２００８−２０７７０号公報）、頭部装着型ディスプレイ（特許第４６３６１６４号公報）、ビーム走査型表示装置（国際公開第２００９／０４１０５５号）、又は、表示装置（特許第４０５５２８３号公報）が備える光学系を備えていてもよい。
なお、以上に説明した透過型表示装置を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
１０Ａ…左眼用画像形成部、１０Ｂ…右眼用画像形成部、１１Ａ…画像生成部、１１Ｂ…画像生成部、１２Ａ…投射光学系、１２Ｂ…投射光学系、２０Ａ…左眼用導光部、２１Ａ…画像取り出し部、２１Ｂ…画像取り出し部、１００…表示装置、１１０Ａ…左眼用画像出力部、１１０Ｂ…右眼用画像出力部、１２０…センサー、２００…制御装置（コントローラー）、２１０…操作部、２２０…検出部、２３０…制御部、２４０…記憶部、２５０…操作ボタン、２６０…光源、３１０Ａ…ユーザーの左眼、４００…アイコン画像、４１０…アイコン画像、４２０…アイコン画像、４３０…アイコン画像、８００…キー画像、８１０…キー画像、９００…操作入力画像

Claims (11)

  1. 操作面に対する操作入力を検出する移動可能な操作部と、
    複数の所定画像を形成する画像光を出力する画像出力部と、
    画像取り出しエリアに前記所定画像を視認可能に表示し、且つ、前記画像取り出しエリアに外界からの入射光を透過させる画像取り出し部と、
    前記操作面と前記画像取り出しエリアとの相対位置に応じた信号を出力するセンサーと、
    前記画像取り出しエリア上で各前記所定画像と重なる前記操作部の前記操作面上の位置を前記センサーから出力された前記相対位置に応じた信号に基づいて検出し、前記操作面の光学像と前記所定画像とが重なる場合、前記所定画像と重なる前記操作面上の前記位置に対する前記操作入力を受け付ける判定部と、
    を備え、
    前記判定部は、前記画像取り出しエリアに表示された前記所定画像と前記操作面の一部の光学像との重なりを検出した場合、前記操作面の一部の光学像に重なる前記所定画像の位置に対応付けられた前記操作面上の前記位置に対する操作入力を受け付けることを特徴とする透過型表示装置。
  2. 前記操作面の光学像と前記所定画像とが前記画像取り出しエリア上で重なっていない場合、前記画像取り出しエリア上で重なっていないこと表す警告表示を、前記画像取り出しエリアに表示させる制御部
    を更に備えることを特徴とする請求項１に記載の透過型表示装置。
  3. 前記操作部は、前記操作面の光学像と前記所定画像の位置とが前記画像取り出しエリア上で重なっていない場合、指示体が触れた前記操作面上の前記位置を、前記操作面上の相対座標で検出することを特徴とする請求項１又は請求項２に記載の透過型表示装置。
  4. 前記判定部は、前記相対位置に応じた信号に基づいて、前記操作面が前記画像取り出しエリアに対向しているか否かを判定し、前記操作面が前記画像取り出しエリアに対向している場合、前記操作入力を受け付けることを特徴とする請求項１から請求項３のいずれか一項に記載の透過型表示装置。
  5. 前記センサーは、前記操作面を撮像し、
    前記判定部は、前記センサーにより撮像された前記操作面の画像に基づいて、前記画像取り出しエリア上での重なりを検出することを特徴とする請求項１から請求項４のいずれか一項に記載の透過型表示装置。
  6. 前記操作部又は前記画像出力部は、光源を備え、
    前記センサーは、前記操作部に前記光源が備えられている場合、前記光源からの光を前記画像出力部側で受光して、該受光した光に応じた信号を出力し、前記画像出力部に前記光源が備えられている場合、前記光源からの光を前記操作部側で受光して、該受光した光に応じた信号を出力し、
    前記判定部は、前記受光した光に応じた信号に基づいて、前記画像取り出しエリア上での重なりを検出することを特徴とする請求項１から請求項４のいずれか一項に記載の透過型表示装置。
  7. 前記操作部は、トラックパッドであることを特徴とする請求項１から請求項６のいずれか一項に記載の透過型表示装置。
  8. 前記所定画像を投射する投射光学系と、
    前記投射光学系により投射された前記所定画像を前記画像取り出しエリアに導く導光部と、
    を備え、
    前記判定部は、前記操作面の光学像と、前記導光部により導かれた前記所定画像と、の観察位置から見た重なりを検出し、重なる部分に対する前記操作入力を受け付けることを特徴とする請求項１から請求項７のいずれか一項に記載の透過型表示装置。
  9. 前記重なりを表す情報を、前記センサーにより撮像された前記操作面の画像毎に予め記憶する記憶部
    を更に備え、
    前記判定部は、前記重なりを表す情報と、前記センサーにより撮像された前記操作面の画像とに基づく画像マッチングの実行結果に基づいて、前記重なる部分に対する前記操作入力を受け付けることを特徴とする請求項８に記載の透過型表示装置。
  10. 前記判定部は、前記操作面上の前記位置にヒステリシスを設けることで、前記操作面上の前記位置に対する操作入力と前記操作面上の前記位置の近傍に対する操作入力との両方を受け付けることを特徴とする請求項１から請求項９のいずれか一項に記載の透過型表示装置。
  11. 透過型表示装置における操作入力方法であって、
    画像出力部が、複数の所定画像を形成する画像光を出力するステップと、
    画像取り出し部が、外界からの入射光を透過させる画像取り出しエリアに前記所定画像を視認可能に表示するステップと、
    センサーが、操作面と前記画像取り出しエリアとの相対位置に応じた信号を出力するステップと、
    移動可能な操作部が、前記操作面に対する操作入力を検出するステップと、
    判定部が、前記画像取り出しエリア上で各前記所定画像と重なる前記操作部の前記操作面上の位置を前記センサーから出力された前記相対位置に応じた信号に基づいて検出し、前記操作面の光学像と前記所定画像とが重なる場合、前記所定画像と重なる前記操作面上の前記位置に対する前記操作入力を受け付けるステップと、
    を有し、
    前記判定部は、前記画像取り出しエリアに表示された前記所定画像と前記操作面の一部の光学像との重なりを検出した場合、前記操作面の一部の光学像に重なる前記所定画像の位置に対応付けられた前記操作面上の前記位置に対する操作入力を受け付けることを特徴とする操作入力方法。
JP2011258699A 2011-11-28 2011-11-28 透過型表示装置、及び操作入力方法 Active JP6064316B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011258699A JP6064316B2 (ja) 2011-11-28 2011-11-28 透過型表示装置、及び操作入力方法
US13/686,450 US9298255B2 (en) 2011-11-28 2012-11-27 Transmissive display apparatus and operation input method
US14/950,824 US9436275B2 (en) 2011-11-28 2015-11-24 Transmissive display apparatus and operation input method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011258699A JP6064316B2 (ja) 2011-11-28 2011-11-28 透過型表示装置、及び操作入力方法

Publications (2)

Publication Number Publication Date
JP2013113963A JP2013113963A (ja) 2013-06-10
JP6064316B2 true JP6064316B2 (ja) 2017-01-25

Family

ID=48466367

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011258699A Active JP6064316B2 (ja) 2011-11-28 2011-11-28 透過型表示装置、及び操作入力方法

Country Status (2)

Country Link
US (2) US9298255B2 (ja)
JP (1) JP6064316B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105210144B (zh) * 2013-05-21 2017-12-08 索尼公司 显示控制装置、显示控制方法和记录介质
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
JP2015176588A (ja) * 2014-03-18 2015-10-05 株式会社東芝 表示装置、画像表示システムおよび情報処理方法
JP6331893B2 (ja) * 2014-09-01 2018-05-30 コニカミノルタ株式会社 操作表示システム
USD767509S1 (en) * 2015-01-20 2016-09-27 My Core Control Development, Llc Controller device for heating kit
USD772821S1 (en) 2015-06-11 2016-11-29 Oculus Vr, Llc Remote control unit
US10380966B2 (en) * 2015-08-31 2019-08-13 International Business Machines Corporation Power and processor management for a personal imaging system
US9801295B2 (en) 2015-11-05 2017-10-24 Oculus Vr, Llc Remote control unit with lanyard attachment mechanism
US9763348B2 (en) 2015-11-06 2017-09-12 Oculus Vr, Llc Remote control unit with battery retention mechanism
US9722235B2 (en) 2015-12-11 2017-08-01 Oculus Vr, Llc Remote control unit with battery isolation tab
EP3405828A1 (en) 2016-01-22 2018-11-28 Corning Incorporated Wide field personal display
CN108475121A (zh) * 2016-11-26 2018-08-31 华为技术有限公司 一种信息提示的方法和终端
US10976551B2 (en) 2017-08-30 2021-04-13 Corning Incorporated Wide field personal display device
JP7238456B2 (ja) * 2019-02-21 2023-03-14 セイコーエプソン株式会社 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法
JP2023036149A (ja) * 2021-09-02 2023-03-14 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4636164B1 (ja) 1967-09-13 1971-10-23
JPH10240491A (ja) * 1997-02-26 1998-09-11 Olympus Optical Co Ltd 情報処理装置
JP4055283B2 (ja) 1999-02-25 2008-03-05 ブラザー工業株式会社 表示装置
JP2002157606A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体
JP2005352288A (ja) * 2004-06-11 2005-12-22 Nikon Corp 光束径拡大用の光学系、イメージコンバイナ、画像表示装置
JP2006276748A (ja) * 2005-03-30 2006-10-12 Olympus Corp 情報呈示装置、情報呈示方法、及びコンピュータプログラム
JP4872499B2 (ja) 2006-07-14 2012-02-08 ソニー株式会社 回折格子部材、光学装置、及び、画像表示装置
JP5005283B2 (ja) 2006-08-02 2012-08-22 倉敷化工株式会社 防振マウントの製造装置
WO2009041055A1 (ja) 2007-09-26 2009-04-02 Panasonic Corporation ビーム走査型表示装置、その表示方法、プログラム、及び集積回路
JP2009211447A (ja) * 2008-03-05 2009-09-17 Yokogawa Electric Corp 入力システム及びこれを用いた表示システム
JP5104679B2 (ja) * 2008-09-11 2012-12-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP4636164B2 (ja) 2008-10-23 2011-02-23 ソニー株式会社 頭部装着型ディスプレイ
JP2010145861A (ja) 2008-12-19 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ
JP5201015B2 (ja) * 2009-03-09 2013-06-05 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2010231290A (ja) 2009-03-26 2010-10-14 National Institute Of Advanced Industrial Science & Technology 頭部運動による入力装置及び方法
JP5428943B2 (ja) * 2010-03-02 2014-02-26 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5681850B2 (ja) * 2010-03-09 2015-03-11 レノボ・イノベーションズ・リミテッド（香港） ヘッドマウントディスプレイを外部表示装置として使用する携帯端末
EP2372431A3 (en) * 2010-03-24 2011-12-28 Olympus Corporation Head-mounted type display device
JP4971483B2 (ja) * 2010-05-14 2012-07-11 任天堂株式会社 画像表示プログラム、画像表示装置、画像表示システム、および画像表示方法

Also Published As

Publication number Publication date
US20130135197A1 (en) 2013-05-30
JP2013113963A (ja) 2013-06-10
US9436275B2 (en) 2016-09-06
US20160078686A1 (en) 2016-03-17
US9298255B2 (en) 2016-03-29

Similar Documents

Publication Publication Date Title
JP6064316B2 (ja) 透過型表示装置、及び操作入力方法
JP5927867B2 (ja) 表示システム、及び操作入力方法
US11073901B2 (en) Display device, control method for display device, and computer program
JP6393367B2 (ja) 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
US10102676B2 (en) Information processing apparatus, display apparatus, information processing method, and program
JP6123365B2 (ja) 画像表示システム及び頭部装着型表示装置
JP2015049883A (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム
JP6554948B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2010055266A (ja) ３次元表示時における指示位置設定装置および方法並びにプログラム
JP2015115038A (ja) 情報処理装置および情報処理装置の制御方法
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2012108723A (ja) 指示受付装置
JP2017134575A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2006195665A (ja) 情報処理装置
JP6638392B2 (ja) 表示装置、表示システム、表示装置の制御方法、及び、プログラム
JP2013070227A (ja) 頭部装着型表示装置
JP6740613B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2016164701A (ja) 情報処理装置及び情報処理装置の制御方法
JP2014154074A (ja) 入力装置、頭部装着型表示装置および入力装置の制御方法
JP2012252386A (ja) 表示装置
JP6669183B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20240184133A1 (en) Air floating video display apparatus
US20220269342A1 (en) Electronic device and method of operating the same
JP2015176526A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2016135908A1 (ja) 感覚提示装置および操作処理装置および画像表示装置ならびに感覚提示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141003

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161205

R150 Certificate of patent or registration of utility model

Ref document number: 6064316

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150