JP5272827B2 - Head mounted display - Google Patents

Head mounted display Download PDF

Info

Publication number
JP5272827B2
JP5272827B2 JP2009066514A JP2009066514A JP5272827B2 JP 5272827 B2 JP5272827 B2 JP 5272827B2 JP 2009066514 A JP2009066514 A JP 2009066514A JP 2009066514 A JP2009066514 A JP 2009066514A JP 5272827 B2 JP5272827 B2 JP 5272827B2
Authority
JP
Japan
Prior art keywords
user
image
head
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009066514A
Other languages
Japanese (ja)
Other versions
JP2010218405A (en
Inventor
知裕 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2009066514A priority Critical patent/JP5272827B2/en
Priority to PCT/JP2010/054585 priority patent/WO2010107072A1/en
Publication of JP2010218405A publication Critical patent/JP2010218405A/en
Application granted granted Critical
Publication of JP5272827B2 publication Critical patent/JP5272827B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/105—Scanning systems with one or more pivoting mirrors or galvano-mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

An HMD provided with a display means to make image light corresponding to image information incident to an eye of a user, and to display an image corresponding to the image information; an image capturing means to capture an image of a predetermined range in the viewable direction of the user; a head status detection means to detect an angle of the head of the user; a portion specifying means to specify a portion of the body of the user located in the viewable direction of the user on the basis of the image captured by the image capturing means and the detected angle of the head of the user; and a control processing means to execute an operation corresponding to the information of the portion of the body of the user specified by the portion specifying means.

Description

本発明は、ヘッドマウントディスプレイに関する。   The present invention relates to a head mounted display.

従来、画像表示装置の一つとして、画像情報に応じた画像光をユーザの眼に入射させ、前記画像情報に応じた画像をユーザに視認させるようにした表示手段を備えるヘッドマウントディスプレイが知られている。   2. Description of the Related Art Conventionally, as one of image display devices, a head-mounted display having a display unit that makes image light according to image information incident on the user's eyes and allows the user to visually recognize the image according to the image information is known. ing.

かかるヘッドマウントディスプレイは、文字通り頭部に装着するものであり、ハンズフリーで画像を視認できる特性があり、持ち運びに適している。   Such a head-mounted display is literally worn on the head, has a characteristic of visually recognizing a hand-free image, and is suitable for carrying.

そこで、かかる特性をより活かすために、操作キーなどの操作を不要とすることによってユーザの操作負担をなくした表示装置が提案されている。   Therefore, in order to make better use of such characteristics, there has been proposed a display device that eliminates the operation burden of the user by eliminating the operation of operation keys and the like.

例えば、ユーザの目の前方に位置するように配置されて画像の表示を行う表示手段と、外界情報を取得する撮像手段などの外界情報取得手段と、この外界情報取得手段で取得された情報に基づいて、上記表示手段の動作を制御する制御手段とを備えるものがある（例えば特許文献１を参照）。   For example, display means for displaying an image arranged so as to be positioned in front of the user's eyes, external world information acquisition means such as an imaging means for acquiring external world information, and information acquired by the external world information acquisition means On the basis of the above, there is a control means for controlling the operation of the display means (see, for example, Patent Document 1).

かかる構成により、撮像手段（外界情報取得手段）により取得した画像情報などから、外界情報として撮像した対象物が何であるかを識別し、識別したものと所定の情報とを関連付けることで、操作キーなどを操作することなく、ヘッドマウントディスプレイに所定の動作を行わせることが可能となる。   With such a configuration, the operation key is identified by identifying what is the object imaged as external information from the image information acquired by the imaging means (external world information acquisition means), and associating the identified object with predetermined information. It is possible to cause the head mounted display to perform a predetermined operation without operating the above.

特開２００８-８３２９０号公報JP 2008-83290 A

しかしながら、撮像した画像情報から、この撮像された対象物が何であるかを確実に識別することは難しく、誤動作を引き起こすおそれが多々あった。   However, it is difficult to reliably identify what the captured object is from the captured image information, and there are many possibilities of causing malfunctions.

そこで、ハンズフリーでより確実に所望する操作を行うことのできるヘッドマウントディスプレイが望まれている。   Therefore, there is a demand for a head-mounted display that can perform a desired operation more reliably and hands-free.

上記目的を達成するために、請求項１に記載の発明は、画像情報に応じた画像光をユーザの眼に入射させ、前記画像情報に応じた画像を表示する表示手段を備えたヘッドマウントディスプレイにおいて、前記ユーザの視野方向の所定範囲を撮像する撮像手段と、前記ユーザの頭部の角度を検出する頭部状態検出手段と、前記撮像手段により撮像した画像と前記検出した前記ユーザの頭部の角度とにより前記ユーザの視野方向にある当該ユーザの身体の部位を特定する部位特定手段と、前記部位特定手段により特定したユーザの身体の部位の情報に応じた操作を実行する制御処理手段と、を備える構成とした。   In order to achieve the above object, the invention according to claim 1 is directed to a head mounted display including display means for displaying an image corresponding to the image information by causing image light corresponding to the image information to enter a user's eye. An imaging means for imaging a predetermined range in the visual field direction of the user, a head state detection means for detecting an angle of the head of the user, an image captured by the imaging means, and the detected head of the user A part specifying unit that specifies a part of the user's body in the visual field direction of the user based on the angle, and a control processing unit that performs an operation according to information on the part of the user's body specified by the part specifying unit; It was set as the structure provided with.

また、請求項２に記載の発明は、請求項１に記載のヘッドマウントディスプレイにおいて、前記部位特定手段により特定した前記ユーザの身体の部位の状態を判定する部位状態判定手段を備え、前記制御処理手段は、前記部位特定手段で特定した部位に対応する操作のうち前記部位状態判定手段により判定した前記部位の状態に応じた操作を実行することを特徴とする。   The invention according to claim 2 is the head-mounted display according to claim 1, further comprising a part state determining unit that determines the state of the body part of the user specified by the part specifying unit, and the control process The means is characterized by executing an operation according to the state of the part determined by the part state determination means among the operations corresponding to the part specified by the part specifying means.

また、請求項３に記載の発明は、請求項２に記載のヘッドマウントディスプレイにおいて、前記部位状態判定手段は、前記部位特定手段により特定した前記ユーザの身体の部位の状態として、前記ユーザの身体の部位にユーザの手が接触又は近接した状態か否かを判定することを特徴とする。   According to a third aspect of the present invention, in the head-mounted display according to the second aspect, the part state determining unit is configured to use the user's body as the state of the part of the user's body specified by the part specifying unit. It is characterized in that it is determined whether or not the user's hand is in contact with or close to the part.

また、請求項４に記載の発明は、請求項３に記載のヘッドマウントディスプレイにおいて、前記部位状態判定手段は、前記ユーザの手に装着された装着具を検出することによって、前記ユーザの手の位置を検出することを特徴とする。   According to a fourth aspect of the present invention, in the head-mounted display according to the third aspect, the part state determination means detects a mounting tool mounted on the user's hand, thereby detecting the user's hand. The position is detected.

また、請求項５に記載の発明は、請求項２〜４のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記ユーザの身体の部位に操作の情報を関連付けたテーブルを記憶した記憶手段を備え、前記制御処理手段は、前記部位状態判定手段により判定した前記部位に応じた操作の情報を前記テーブルが記憶された記憶手段から読み出して、当該操作を実行することを特徴とする。   The invention according to claim 5 is the head mounted display according to any one of claims 2 to 4, further comprising storage means for storing a table in which operation information is associated with the body part of the user. The control processing means reads out operation information corresponding to the part determined by the part state determination means from the storage means in which the table is stored, and executes the operation.

また、請求項６に記載の発明は、請求項５に記載のヘッドマウントディスプレイにおいて、前記テーブルに情報を記憶した操作は、前記表示手段への画像の表示処理に対する操作であることを特徴とする。   The invention according to claim 6 is the head-mounted display according to claim 5, wherein the operation for storing information in the table is an operation for displaying an image on the display means. .

また、請求項７に記載の発明は、請求項６に記載のヘッドマウントディスプレイにおいて、前記ユーザの身体の部位の状態に操作の情報を関連付けた第２のテーブルを記憶した第２記憶手段を備え、前記制御処理手段は、前記第2のテーブルに基づき、前記ユーザの身体の部位の状態に応じて、さらに前記表示手段への画像の表示処理に対する操作を実行することを特徴とする。   The invention according to claim 7 is the head-mounted display according to claim 6, further comprising second storage means for storing a second table in which operation information is associated with the state of the body part of the user. The control processing means further executes an operation for an image display process on the display means according to the state of the body part of the user based on the second table.

また、請求項８に記載の発明は、請求項５〜７のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記部位特定手段により特定したユーザの身体の部位に応じて、操作情報を前記テーブルに設定することを特徴とする。   According to an eighth aspect of the present invention, in the head mounted display according to any one of the fifth to seventh aspects, the operation information is stored in the table according to a part of the user's body specified by the part specifying unit. It is characterized by setting to.

また、請求項９に記載の発明は、請求項５〜８のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記撮像手段による撮像画像から前記ユーザの身体の部位を特定する情報を抽出して、前記テーブルに記憶するキャリブレーション手段を備えたことを特徴とする   The invention according to claim 9 is the head-mounted display according to any one of claims 5 to 8, wherein information specifying the body part of the user is extracted from an image captured by the imaging unit. And calibration means for storing in the table

また、請求項１０に記載の発明は、請求項１〜９のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記表示手段は、前記画像光を外光と共にユーザの眼に入射させ、外景と重ねて画像を表示可能としたことを特徴とする。   According to a tenth aspect of the present invention, in the head-mounted display according to any one of the first to ninth aspects, the display means causes the image light to enter the user's eyes together with external light, It is characterized in that images can be displayed in an overlapping manner.

本発明によれば、ユーザの頭部の角度を検出する頭部状態検出手段を備え、撮像手段により撮像した画像と、検出したユーザの頭部の角度とによりユーザの身体の部位を特定し、特定したユーザの身体の部位の情報に応じた操作を実行するため、ハンズフリーによる動作をより確実に実行させることが可能となる。また、身体の部位と記憶したい情報を関連させて記憶することは非常に有効な記憶術であり、身体の部位と操作させたい情報とを関連付けて記憶することは容易であるため、希望する操作を行うために身体の部位を特定する際に、ユーザは迷ったり、間違えたりすることなくスムーズにその特定を行うことができる。したがって、ユーザは、メニューやガイダンスに頼ることなくハンズフリーによる操作を確実にすばやく実行させることができる。   According to the present invention, the head state detection means for detecting the angle of the user's head is provided, and the body part of the user is specified by the image captured by the imaging means and the detected angle of the user's head, Since the operation according to the identified information on the body part of the user is executed, it is possible to more reliably execute the hands-free operation. In addition, it is a very effective memory technique to store the body part and the information to be stored in association with each other, and it is easy to store the body part and the information to be operated in association with each other. When the body part is specified for performing the operation, the user can perform the specification smoothly without getting lost or mistaken. Therefore, the user can surely and quickly execute the hands-free operation without depending on the menu or the guidance.

実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）の光の進路を示す説明図である。It is explanatory drawing which shows the course of the light of the head mounted display (HMD) which concerns on embodiment. 同ＨＭＤの装着状態を示す説明図である。It is explanatory drawing which shows the mounting state of the same HMD. 同ＨＭＤの概要構成図である。It is a schematic block diagram of the HMD. 同ＨＭＤのカメラモードにおける使用状態の一例を示す説明図である。It is explanatory drawing which shows an example of the use condition in the camera mode of the HMD. 同ＨＭＤのカメラモードにおける使用状態の一例を示す説明図である。It is explanatory drawing which shows an example of the use condition in the camera mode of the HMD. ユーザの身体の部位に操作の情報を関連付けたキャリブレーション済みのテーブルの一例を示す説明図である。It is explanatory drawing which shows an example of the calibrated table which linked | related the information of operation with the site | part of a user's body. ユーザの身体の部位の状態に操作の情報を関連付け第２のテーブルの一例を示す説明図である。It is explanatory drawing which shows an example of the 2nd table which relates the information of operation to the state of the body part of a user. ユーザの身体の部位を特定する方法の変形例を示す説明図である。It is explanatory drawing which shows the modification of the method of specifying the site | part of a user's body. 実施形態に係るＨＭＤの外観構成を示す説明図である。It is explanatory drawing which shows the external appearance structure of HMD which concerns on embodiment. 同ＨＭＤの電気的構成及び光学的構成を示したブロック図である。It is the block diagram which showed the electric structure and optical structure of the HMD. 制御部の構成を示すブロック図である。It is a block diagram which shows the structure of a control part. キャリブレーションの処理の流れを示す説明図である。It is explanatory drawing which shows the flow of the process of a calibration. カメラモードの処理の一例の流れを示した説明図である。It is explanatory drawing which showed the flow of an example of the process of camera mode. 撮像処理の流れを示す説明図である。It is explanatory drawing which shows the flow of an imaging process. 実施形態に係るＨＭＤの閲覧モードにおける使用状態の一例を示す説明図である。It is explanatory drawing which shows an example of the use condition in the browsing mode of HMD which concerns on embodiment. 同ＨＭＤの閲覧モードにおける使用状態の一例を示す説明図である。It is explanatory drawing which shows an example of the use condition in the browsing mode of the same HMD. 同ＨＭＤの閲覧モードにおける使用状態の一例を示す説明図である。It is explanatory drawing which shows an example of the use condition in the browsing mode of the same HMD. 閲覧モードに用いられるキャリブレーション用のデータテーブルの一例を示す説明図である。It is explanatory drawing which shows an example of the data table for calibration used for browsing mode. 身体の一部とコマンドとの割り付けを示す割付テーブルの一例を示す説明図である。It is explanatory drawing which shows an example of the allocation table which shows allocation of a part of body and a command.

以下、本実施形態に係るヘッドマウントディスプレイ（以下、「ＨＭＤ：Head Mount Display」という。）の一例について、図面を参照して説明する。   Hereinafter, an example of a head mounted display (hereinafter referred to as “HMD: Head Mount Display”) according to the present embodiment will be described with reference to the drawings.

［１．ＨＭＤの概要］
図１に示すように、本実施形態に係るＨＭＤは、外光４００の一部が少なくともユーザ１００のいずれかの眼１０１に到達する状態で、画像情報に応じた画像光５００をハーフミラー１０で反射させてユーザ１００の眼１０１に投射し、当該ユーザ１００に表示画像２００を外景と重ねて視認させるシースルー型の表示部１を表示手段として備えている。 [1. Overview of HMD]
As shown in FIG. 1, the HMD according to the present embodiment uses the half mirror 10 to emit image light 500 according to image information in a state where a part of the external light 400 reaches at least one of the eyes 101 of the user 100. The see-through type display unit 1 is provided as a display unit that reflects the light and projects the image onto the eye 101 of the user 100 so that the user 100 can visually recognize the display image 200 superimposed on the outside scene.

図２に示すように、ＨＭＤは、ユーザ１００の頭部１０２に装着される略眼鏡形状とした装着部１１に取り付けられた筐体１３と接続ケーブル５２を介して当該筐体１３と接続されたコントロールユニット３とを備えている。そして、本実施形態に係るＨＭＤの表示部１は、後に詳述するように筐体１３に収納された投影ユニット１ａとコントロールユニット３に収納配設された光源ユニット１ｂとから構成される。   As shown in FIG. 2, the HMD is connected to the casing 13 via the connection cable 52 and the casing 13 attached to the mounting portion 11 having a substantially glasses shape that is mounted on the head 102 of the user 100. And a control unit 3. The display unit 1 of the HMD according to this embodiment includes a projection unit 1a housed in a housing 13 and a light source unit 1b housed in the control unit 3 as will be described in detail later.

したがって、図２に示すように、コントロールユニット３をポケットなどに収納してＨＭＤを頭部１０２に装着すれば、ユーザ１００は、ハンズフリーの状態で持ち運び可能であり、室内、屋外を問わず、外景を見ながら様々な表示画像２００を視認することができる。   Therefore, as shown in FIG. 2, if the control unit 3 is housed in a pocket or the like and the HMD is mounted on the head 102, the user 100 can be carried in a hands-free state, whether indoors or outdoors, Various display images 200 can be viewed while viewing the outside scene.

このように、本実施形態に係るＨＭＤは、画像信号に基づいて生成した画像光を２次元的に走査し、その走査された画像光をユーザの眼に投射して網膜上に結像させる網膜走査型であって、なおかつ、画像光を外光と共にユーザの眼に入射させ、画像を外景と重ねて表示するシースルー型としている。しかし、画像情報に応じた画像光をユーザの眼に入射させ、前記画像情報に応じた画像を表示する表示手段を備えたヘッドマウントディスプレイであれば、その構成は何ら限定されるものではない。   As described above, the HMD according to the present embodiment two-dimensionally scans the image light generated based on the image signal, projects the scanned image light onto the user's eyes, and forms an image on the retina. The scanning type is a see-through type in which image light is incident on the user's eyes together with external light, and the image is displayed superimposed on the external scene. However, the configuration of the head-mounted display is not limited as long as the head-mounted display includes a display unit that causes image light according to the image information to enter the user's eyes and displays the image according to the image information.

また、本実施形態に係るＨＭＤは、ユーザ１００の視野方向の所定範囲を撮像する撮像手段としてのＣＣＤカメラ２を備えている。   Further, the HMD according to the present embodiment includes a CCD camera 2 as an imaging unit that captures a predetermined range in the viewing direction of the user 100.

ＣＣＤカメラ２は、図１及び図２に示すように、表示部１の筐体１３に取り付けられる小型のものであり、ユーザ１００の視野範囲を撮像することができ、この撮像データを解析することにより、ユーザ１００がどの方向に顔を向けているかを判定することが可能になっている。また、ＣＣＤカメラ２のシャッタを切ることで、ユーザ１００は、撮像した画像を表示画像２００として表示部１により表示させて視認することもできる。   As shown in FIGS. 1 and 2, the CCD camera 2 is a small camera attached to the housing 13 of the display unit 1, can capture the field of view of the user 100, and analyze the captured data. Thus, it is possible to determine in which direction the user 100 is facing. Further, by closing the shutter of the CCD camera 2, the user 100 can also display the captured image as a display image 200 on the display unit 1 for visual recognition.

なお、表示画像２００の画像情報は、ＣＣＤカメラ２で撮像した撮像画像のファイルの他、主にパーソナルコンピュータ（以下「ＰＣ」と呼ぶ）などにより作成されたコンテンツデータ、あるいはＰＣを介してインターネットサイトやＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体から取得されたコンテンツデータであり、静止画のみならず、例えば映画などのような動画の表示も可能である。そのために、本実施形態に係るＨＭＤはイヤホン９を用いて音声データを再生することもできる。   Note that the image information of the display image 200 includes content data created mainly by a personal computer (hereinafter referred to as “PC”) in addition to a captured image file captured by the CCD camera 2, or an Internet site via a PC. Content data acquired from a recording medium such as CD-ROM or DVD-ROM, and can display not only still images but also moving images such as movies. Therefore, the HMD according to the present embodiment can also reproduce audio data using the earphone 9.

また、本実施形態に係るＨＭＤは、ユーザ１００の頭部１０２の角度を検出する頭部状態検出手段としての角度センサ４を備えている。角度センサは地磁気を利用した磁気センサ、重力方向を検知する傾斜センサ、ジャイロセンサなどが単独あるいは組み合わせて用いられる。   Further, the HMD according to the present embodiment includes an angle sensor 4 as a head state detection unit that detects the angle of the head 102 of the user 100. As the angle sensor, a magnetic sensor using geomagnetism, a tilt sensor for detecting the direction of gravity, a gyro sensor, or the like is used alone or in combination.

この角度センサ４は、図１に示すように、筐体１３の内部に設けられており、ユーザ１００の頭部１０２の傾きを三次元的に検出することができる。すなわち、頭部１０２がどの方向にどの程度傾いているかを、上下方向角度θ、水平方向角度φで決定することができる。   As shown in FIG. 1, the angle sensor 4 is provided inside the housing 13 and can detect the inclination of the head 102 of the user 100 three-dimensionally. That is, how much the head 102 is inclined in which direction can be determined by the vertical angle θ and the horizontal angle φ.

このように、本実施形態におけるＨＭＤは、ＣＣＤカメラ２で撮像した撮像画像のファイルやＰＣを介して取得したコンテンツデータなどの画像情報に応じた画像を表示することが可能であり、電源投入すると、図２に示すように、表示画像２００として、先ずメニュー画面が表示され、カメラモードと閲覧モードとのいずれかを選択できるようになっている。カメラモードでは撮像画像の表示や保存を行え、閲覧モードではコンテンツデータの再生、停止などが行える。   As described above, the HMD in the present embodiment can display an image according to image information such as a file of a captured image captured by the CCD camera 2 and content data acquired via a PC, and when the power is turned on. As shown in FIG. 2, a menu screen is first displayed as the display image 200 so that one of the camera mode and the browsing mode can be selected. In the camera mode, the captured image can be displayed and saved, and in the browsing mode, content data can be played back and stopped.

そして、いずれのモードを選択するかを、角度センサ４を用いて、ユーザ１００の頭部１０２の傾きなどの検出によるハンズフリーで行えるようにしている。本実施形態では、表示部１により表示された選択枝からの選択する場合や、同じく表示された設問に「Ｙｅｓ」と答える意思表示に対応する場合について、例えば、Ｙｅｓの意思表示は、「ユーザは自分の腹部に手を当ててその手を見る」、Ｎｏの意志表示は、「ユーザは手を頭の前方に挙げた状態で手を見る」などが予め設定されている。   Then, which mode is selected can be performed hands-free by detecting the tilt of the head 102 of the user 100 using the angle sensor 4. In the present embodiment, when selecting from the selection branch displayed by the display unit 1 or when corresponding to the intention display that answers “Yes” to the same displayed question, for example, the intention display of Yes is “user The user touches his / her abdomen and sees his / her hand ”, and the intention display of No is preset such as“ the user looks at the hand with his hand raised in front of the head ”.

さらに、本実施形態に係るＨＭＤは、上述したＣＣＤカメラ２及び角度センサ４に加え、ＣＣＤカメラ２により撮像した画像と、角度センサ４により検出したユーザ１００の頭部１０２の角度とによりユーザ１００の視野方向にある当該ユーザ１００の身体の部位（以下、単に「身体部位」という場合もある）を特定する部位特定手段と、この部位特定手段により特定したユーザ１００の身体の部位の情報に応じた操作を実行する制御処理手段とを備えている。   Furthermore, in addition to the CCD camera 2 and the angle sensor 4 described above, the HMD according to the present embodiment is based on the image captured by the CCD camera 2 and the angle of the head 102 of the user 100 detected by the angle sensor 4. In accordance with the information on the part of the body of the user 100 in the viewing direction (hereinafter also simply referred to as “body part”), and information on the part of the body of the user 100 specified by the part specifying unit Control processing means for executing the operation.

すなわち、ユーザ１００は、操作キーなどを操作することなく、自分の身体の部位を見つめるだけで、ＨＭＤに所定の動作を正確に行わせることが可能となっている。   That is, the user 100 can cause the HMD to accurately perform a predetermined operation only by looking at a part of his / her body without operating an operation key or the like.

部位特定手段及び制御処理手段としての機能は、図３に示すように、実質的にはＨＭＤ全体を制御する制御部３０が担っている。なお、この制御部３０は、後に詳述するが、図示するように記憶手段を備えており、この記憶手段には、ユーザ１００の身体の部位に操作の情報を関連付けたテーブルが記憶されている。ここで、操作とは、表示部１への画像の表示処理に対する操作であり、表示、保存、消去、さらに動画などであれば再生、停止などのコマンドを含む概念である。   As shown in FIG. 3, the function as the part specifying unit and the control processing unit is substantially performed by the control unit 30 that controls the entire HMD. As will be described in detail later, the control unit 30 includes a storage unit as illustrated, and the storage unit stores a table in which operation information is associated with the body part of the user 100. . Here, the operation is an operation for an image display process on the display unit 1, and is a concept including commands for displaying, saving, erasing, and reproducing and stopping for a moving image.

また、ユーザ１００の身体の部位の状態に操作の情報を関連付けた第２のテーブルが記憶された第２記憶手段を備えており、制御部３０は、この第２のテーブルに基づき、ユーザ１００の身体の部位の状態に応じて、さらに表示部１への画像の表示処理に対する操作を実行するようにしている。なお、記憶手段及び第２記憶手段は、いずれも後に詳述するフラッシュＲＯＭ４２などがその機能を担う。   Moreover, the control part 30 is provided with the 2nd memory | storage means by which the 2nd table which linked | related the operation information with the state of the body part of the user 100 was memorize | stored, and the control part 30 of the user 100 is based on this 2nd table. Further, an operation for an image display process on the display unit 1 is executed in accordance with the state of the body part. Note that the storage means and the second storage means have the functions of the flash ROM 42 and the like which will be described in detail later.

かかる構成により、本実施形態に係るＨＭＤでは、ユーザ１００が自分の身体の一部、例えば、手や腕や肘、あるいは膝などを見ると、その見た身体の部位を腕なら腕、肘なら肘と特定し、特定した部位に応じた操作、例えばカメラモードであれば、ＣＣＤカメラ２で撮像した画像を表示画像２００として表示したり、あるいは身体に関連付けて保存したりすることができる。また、閲覧モードであれば、動画の再生あるいは停止などを行うことができる。   With this configuration, in the HMD according to the present embodiment, when the user 100 looks at a part of his / her body, for example, a hand, arm, elbow, or knee, the seen body part is an arm or elbow. If the operation is specified as the elbow and the operation is performed according to the specified part, for example, in the camera mode, the image captured by the CCD camera 2 can be displayed as the display image 200 or stored in association with the body. In the browsing mode, it is possible to play or stop a moving image.

例えばカメラモードの場合であれば、ファイルを保存する記憶手段上の仮想フォルダと身体の部位とを、予め関連付けさせてテーブル化して記憶しておけば、図２に示すような風景をＣＣＤカメラ２で撮像すると、制御部３０（制御処理手段）は、「この画像を保存しますか？」のメッセージとともに撮像画像を表示画像２００として表示部１により表示させる。   For example, in the case of the camera mode, if the virtual folder on the storage means for storing the file and the body part are associated with each other in advance and stored in a table, a landscape as shown in FIG. Then, the control unit 30 (control processing means) causes the display unit 1 to display the captured image as a display image 200 together with a message “Do you want to save this image?”.

この撮像画像を、肘に関連付けさせて保存したい場合、ユーザ１００は頭部１０２を動かして自分の肘を正視する。   When it is desired to store the captured image in association with the elbow, the user 100 moves the head 102 and looks straight at his / her elbow.

そうすると、ユーザ１００が撮像した風景の画像（現在の表示画像２００）が、記憶手段の所定領域、すなわち、この場合は仮想的に規定された肘フォルダに記憶されるのである。   Then, the landscape image (current display image 200) captured by the user 100 is stored in a predetermined area of the storage means, that is, in this case, a virtually defined elbow folder.

何らかのものを身体の一部と関連付けて記憶するのは記憶術としてもポピュラーであるため、例えばこの場合の風景の画像などの保存先は肘フォルダである、といったことをユーザ１００は記憶しやすい。したがって、この画像を呼び出す場合もユーザ１００は容易に肘フォルダから探し出すことができる。当然ながら、肘フォルダの他に、腕フォルダ、手フォルダなどのように、ファイル保存先を、ユーザ１００の身体の複数の部位と関連付けておくことができる。   Since storing something in association with a part of the body is also popular as a memory technique, the user 100 can easily memorize that, for example, the storage destination of an image of a landscape in this case is an elbow folder. Therefore, even when calling this image, the user 100 can easily find out from the elbow folder. Of course, in addition to the elbow folder, a file storage destination can be associated with a plurality of parts of the body of the user 100, such as an arm folder or a hand folder.

撮像画像をハンズフリーにより保存操作する場合についてより詳しく説明する。例えば、図２に示した風景をＣＣＤカメラ２で撮像したとすると、図４（ａ）に示すように、制御部３０（制御処理手段）は、「この画像０９００１．ＪＰＧを保存しますか？」のメッセージとともに撮像画像を表示画像２００として表示部１により表示させる。   The case where the captured image is stored in a hands-free manner will be described in more detail. For example, when the landscape shown in FIG. 2 is imaged by the CCD camera 2, as shown in FIG. 4A, the control unit 30 (control processing means) says “Do you want to save this image 09001. JPG? The captured image is displayed on the display unit 1 as the display image 200 together with the message “.

本実施形態におけるＣＣＤカメラ２は、ユーザ１００の視野方向のうち、正視方向を中心とした範囲を撮像可能に取付けられているため、ユーザ１００が肘フォルダを選択しようとして肘を正視した場合、図４（ａ）に示すように、ユーザ１００の肘が画像中心となるような撮像画像を得られる。   The CCD camera 2 according to the present embodiment is mounted so as to be able to image a range centering on the normal viewing direction in the visual field direction of the user 100. Therefore, when the user 100 views the elbow in an attempt to select the elbow folder, FIG. As shown in FIG. 4A, a captured image in which the elbow of the user 100 is the image center can be obtained.

また、制御部３０（制御処理手段）は、先ず、角度センサ４の検出値により、頭部１０２がどの方向にどれだけ傾いているかを判定し、これによって、ユーザ１００の身体の部位のうちいずれの部位近傍に顔面が向いているかを判定するようにしている。これにより、CCDカメラ２で撮像された肘の画像が自分の肘か他人の肘かを頭部の方向で区別でき、誤動作を防止することができる。   In addition, the control unit 30 (control processing means) first determines how much the head 102 is inclined in which direction based on the detection value of the angle sensor 4, and thereby, which of the body parts of the user 100 is determined. It is determined whether the face is in the vicinity of the part. Thereby, it is possible to distinguish whether the elbow image captured by the CCD camera 2 is the elbow of the other person or the elbow of another person in the direction of the head, and malfunction can be prevented.

つまり、この場合のユーザ１００が見つめている身体部位は「左腕の中央部分」であると絞られることになる。そして、制御部３０は、撮像画像のデータに含まれる各画素のＲＧＢ値から色温度を算出し、画像の中央に設定された規定領域２５０内において、同規定領域２５０の中央に位置する画素の色温度をサンプルし、サンプルした色温度に対して所定の許容差範囲内の色温度の画素が集合した領域の輪郭から部位形状を認識し、予め各身体の部位を示す形状として記憶しておいた複数のモデル形状のいずれに相当するかを判定し、「肘」を示すモデル形状に相当すると判定された場合、制御部３０は、ユーザ１００は「肘」を見ていると判定するのである。   In other words, the body part that the user 100 is looking at in this case is narrowed down to be “the central part of the left arm”. Then, the control unit 30 calculates the color temperature from the RGB value of each pixel included in the captured image data, and within the defined area 250 set at the center of the image, the pixel located at the center of the defined area 250. The color temperature is sampled, the part shape is recognized from the outline of the region where the pixels having the color temperature within the predetermined tolerance range with respect to the sampled color temperature, and stored in advance as a shape indicating each part of the body. The control unit 30 determines that the user 100 is looking at the “elbow” when it is determined that the model shape corresponds to the model shape indicating “elbow”. .

なお、例えば、腕などが露出している場合であれば、肌色を示す色温度の画素が集合した領域の面積（以下、「肌色面積」とも呼ぶ）が、予め各身体の部位を示す面積値として記憶しておいた複数のモデル面積のいずれに相当するかを判定し、「肘」を示すモデル面積に相当すると判定された場合、制御部３０は、ユーザ１００は「肘」を見ていると判定することもできる。   For example, in the case where the arm or the like is exposed, the area of a region in which pixels of color temperature indicating skin color are gathered (hereinafter also referred to as “skin color area”) is an area value indicating each body part in advance. It is determined which one of the plurality of model areas stored as is equivalent to the model area indicating “elbow”, and when it is determined that the model area corresponds to “elbow”, the control unit 30 is viewing the “elbow”. It can also be determined.

そして、その判定状態が所定時間（例えば２秒）連続した場合、制御部３０は、フラッシュＲＯＭなどの記憶手段に規定された領域（肘フォルダに相当）に画像ファイルを記憶する（保存する）。   When the determination state continues for a predetermined time (for example, 2 seconds), the control unit 30 stores (saves) the image file in an area (corresponding to an elbow folder) defined in a storage unit such as a flash ROM.

そして、制御部３０は、図４（ｂ）に示すように、表示部１により、「肘フォルダに画像０９００１．ＪＰＧを保存しました」のメッセージが含まれる表示画像２００を表示させ、ユーザ１００に撮像した画像が保存されたことを報知する。   Then, as shown in FIG. 4B, the control unit 30 causes the display unit 1 to display a display image 200 including the message “Image 09001.JPG has been saved in the elbow folder” and allows the user 100 to display the display image 200. Notifies that the captured image has been saved.

また、制御部３０は、前記部位特定手段により特定したユーザ１００の身体の部位の状態を判定する部位状態判定手段としても機能する（図３）。つまり、制御部３０が制御処理手段として機能する場合、部位特定手段で特定した部位に対応する操作のうち、当該部位状態判定手段により判定した部位の状態に応じた操作を実行するのである。したがって、ＨＭＤのハンズフリーによる操作をより確実に行わせることが可能になるとともに、操作の種類を多岐にわたらせることができる。   The control unit 30 also functions as a part state determination unit that determines the state of the body part of the user 100 specified by the part specification unit (FIG. 3). That is, when the control unit 30 functions as a control processing unit, an operation corresponding to the state of the part determined by the part state determination unit is performed among the operations corresponding to the part specified by the part specifying unit. Therefore, it becomes possible to perform the operation by hands-free of the HMD more reliably, and it is possible to diversify the types of operations.

ここで、部位の状態とは、例えば、ユーザ１００の身体の部位にユーザ１００の手が接触又は近接した状態が含まれている。   Here, the state of the part includes, for example, a state where the hand of the user 100 is in contact with or close to the body part of the user 100.

身体の部位にユーザ１００の手が接触又は近接した状態を判定するには、例えば、身体の部位として認識するために検出していた部位形状に、さらに接触又は近接した手の形状が加わることによって形状が変化したことを検出して判定することができる。また、肌色面積で部位を検出していた場合、肌色面積に、さらに接触又は近接した手によって肌色面積が増加したことを検出して判定することもできる。   In order to determine the state in which the hand of the user 100 is in contact with or close to the body part, for example, by adding the shape of the hand that is in contact or close to the part shape detected for recognition as the body part. It can be determined by detecting that the shape has changed. Moreover, when the site | part was detected by the skin color area, it can also determine by detecting that the skin color area increased further by the hand which touched or approached the skin color area.

例えば、これまでにユーザ１００がＣＣＤカメラ２で撮像した複数の画像ファイルが、前述したように、複数のフォルダ（肘フォルダ、腕フォルダ、手フォルダなど）毎にカテゴリー別に保存されているとする。   For example, it is assumed that a plurality of image files captured by the user 100 with the CCD camera 2 so far are stored for each of a plurality of folders (elbow folder, arm folder, hand folder, etc.) for each category as described above.

ユーザ１００が、所望する画像ファイルを表示させたい場合、例えば、それが人物画像であって、それが手フォルダに保存されているとする。その場合、図５（ａ）に示すように、ユーザ１００が自分自身の手（ここでは左手）を見ると、制御部３０は、手に関連付けられて記憶されている複数の画像ファイルをサムネイル化して表示部１により表示するとともに、図示するように、例えば画像の枠を太くしたりするなどして、順次、強調表示していく。   When the user 100 wants to display a desired image file, for example, it is assumed that it is a person image and is stored in the hand folder. In this case, as shown in FIG. 5 (a), when the user 100 looks at his / her hand (here, the left hand), the control unit 30 thumbnails a plurality of image files stored in association with the hand. Are displayed on the display unit 1 and are highlighted in sequence, for example, by thickening the frame of the image as shown in the figure.

表示したい画像ファイルが強調表示された際に、ユーザ１００は、図５（ｂ）に示すように、見つめていた左手に右手を添える。すなわち、左手に右手が重なる状態となって身体の部位の状態が変化する。   When the image file to be displayed is highlighted, the user 100 attaches the right hand to the staring left hand as shown in FIG. That is, the state of the body part changes with the right hand overlapping the left hand.

制御部３０では、一つの手を示す輪郭形状に他の手の輪郭が加わり、全体の形状が変化したことにより、現在表示中が画像ファイルが選択されたと判定し、その判定結果に応じて、図示するように、当該画像ファイルを表示画像２００の全領域に表示するのである。   In the control unit 30, it is determined that the image file is currently being displayed because the contour shape of the other hand is added to the contour shape indicating one hand, and the overall shape has changed, and according to the determination result, As shown in the figure, the image file is displayed in the entire area of the display image 200.

また、ユーザ１００の身体の部位、あるいはその部位の状態に応じた操作を実行するために、制御部３０は、ＣＣＤカメラ２による撮像画像からユーザ１００の身体の部位を特定する情報を抽出して、テーブルに記憶するキャリブレーション手段を備えている（図３）。   In addition, in order to execute an operation corresponding to the body part of the user 100 or the state of the part, the control unit 30 extracts information for specifying the body part of the user 100 from the image captured by the CCD camera 2. And calibration means for storing in a table (FIG. 3).

すなわち、身体の部位とこの部位に応じた操作の情報とがデフォルトで設定されていたとしても、実際にＨＭＤを用いるユーザ１００の骨格や体質、さらには姿勢などによっては、身体の部位を見る際の頭部１０２の角度はそれぞれ異なると考えられる。そこで、ＨＭＤを使用するに先立って、キャリブレーションを行うようにしている。このようにキャリブレーションを行うようにしたため、ユーザ１００の個体差などにも対応でき、ハンズフリーによる操作の精度を高めることができる。   In other words, even if the body part and the operation information corresponding to this part are set by default, depending on the skeleton, constitution, posture, etc. of the user 100 who actually uses the HMD, The angles of the heads 102 are considered to be different. Therefore, calibration is performed prior to using the HMD. Since the calibration is performed in this way, it is possible to cope with individual differences of the user 100 and the like, and it is possible to improve the accuracy of the hands-free operation.

図６にキャリブレーション済みのデータテーブルの一例を示している。これは、撮像画像のファイルを保存する仮想フォルダと身体の部位とを、キャリブレーションを行うことによって予め関連付けさせたテーブルであり、後述するフラッシュＲＯＭ４２に記憶されている。ここでは、身体の部位の一例として、「左腕」、「左肘」、「左手」を用いるようにした場合としており、図４に示すように、左腕を前方に突き出し、肘を中心に略直角に曲げた状態のときの「腕」、「肘」、「手」を特定できるようにしている。   FIG. 6 shows an example of a calibrated data table. This is a table in which a virtual folder for storing a captured image file and a body part are associated in advance by performing calibration, and is stored in a flash ROM 42 described later. Here, as an example of the body part, “left arm”, “left elbow”, and “left hand” are used, and as shown in FIG. 4, the left arm is projected forward and the elbow is centered at a substantially right angle. The "arm", "elbow", and "hand" can be specified when bent to the right.

図６で示すテーブルには、ユーザ１００が実際に前述した姿勢のときの「腕」、「肘」、「手」を見るために頭部１０２を動かしたときの角度センサ４の検出値と、その頭部角度においてＣＣＤカメラ２が撮像した撮像画像とが、頭部角度、パターン画像として身体の部位（「腕」、「肘」、「手」）に関連付けられる。なお、本実施形態では、角度センサ４からの検出値は、θ（上下方向角度）、φ（水平方向角度）として得ることができる。   In the table shown in FIG. 6, the detection value of the angle sensor 4 when the user 100 moves the head 102 to see “arm”, “elbow”, and “hand” when the user 100 is actually in the posture described above, The captured image captured by the CCD camera 2 at the head angle is associated with the body part (“arm”, “elbow”, “hand”) as the head angle and pattern image. In the present embodiment, the detection values from the angle sensor 4 can be obtained as θ (vertical angle) and φ (horizontal angle).

ところで、このテーブルでは、「肘」が肘フォルダに対応し、画像カテゴリーとして風景画像が割り付けられている（図４参照）。同じように、「手」は手フォルダに対応して画像カテゴリーとしては人物画像が割り付けられ（図５参照）、「腕」は腕フォルダに対応して画像カテゴリーとしてはその他画像が割り付けられている。   By the way, in this table, “elbow” corresponds to the elbow folder, and landscape images are assigned as image categories (see FIG. 4). Similarly, “hand” is assigned a human image as an image category corresponding to the hand folder (see FIG. 5), and “arm” is assigned another image as an image category corresponding to the arm folder. .

また、図７に示すテーブルは、ユーザ１００の身体の部位の状態に操作の情報を関連付けた第２のテーブルに相当するものであり、これも後述するフラッシュＲＯＭ４２に記憶されている。この第２のテーブルには、図示するように、ユーザ１００の一方（ここでは左方）の「腕」、「手」、「肘」にユーザ１００の他方の手が接触又は近接した状態がパターン画像として関連付けられている。そして、それぞれの対応コマンドとしては、撮像画像の全体表示が対応付けられている。   The table shown in FIG. 7 corresponds to a second table in which operation information is associated with the state of the body part of the user 100, and is also stored in the flash ROM 42 described later. The second table has a pattern in which the other hand of the user 100 is in contact with or close to the “arm”, “hand”, and “elbow” of one of the users 100 (left side here) as shown in the figure. Associated as an image. Each associated command is associated with the entire display of the captured image.

こうして、前述したように、カメラモードにおいて、例えばＣＣＤカメラ２で撮像して保存しておいた所定の人物画像を表示させたい場合、ユーザ１００は「手」を見ることで手フォルダ内の複数の人物画像がサムネイルで表示され、所望する人物画像が強調表示されたときに、その手にユーザ１００の他の手を添えた状態にすると、図７に示すテーブルを参照した制御部３０は、該当する人物画像を、表示画像２００として表示領域全体に表示するのである。   Thus, as described above, in the camera mode, for example, when a predetermined person image captured and stored by the CCD camera 2 is to be displayed, the user 100 looks at the “hand” to display a plurality of human images in the hand folder. When the person image is displayed as a thumbnail and the desired person image is highlighted, when the other hand of the user 100 is put on the hand, the control unit 30 referring to the table shown in FIG. The person image to be displayed is displayed as a display image 200 over the entire display area.

ところで、図７からも分かるように、本実施形態では、ユーザ１００の身体の部位の状態を判定する場合、ユーザ１００の身体の部位にユーザ１００の手が接触又は近接した状態か否かを判定するものとして説明した。   By the way, as can be seen from FIG. 7, in this embodiment, when determining the state of the body part of the user 100, it is determined whether or not the hand of the user 100 is in contact with or close to the body part of the user 100. Explained as what to do.

このように、ユーザ１００の身体の部位の状態を判定することで、ユーザ１００が見ている身体部位の特定だけで行える操作の数よりも多くの操作を正確に行うことも可能となる効果がある。   Thus, by determining the state of the body part of the user 100, it is possible to accurately perform more operations than the number of operations that can be performed only by specifying the body part the user 100 is viewing. is there.

また、ユーザ１００の身体の部位の状態を判定してユーザ１００が見ている身体部位を正確に特定するとした場合、ユーザ１００の手に装着された装着具１１０を検出することによってユーザ１００の手の位置を検出することにより、当該身体部位を正確に特定することもできる。   Further, when the state of the body part of the user 100 is determined and the body part that the user 100 is looking at is accurately specified, the user's 100 hand is detected by detecting the wearing tool 110 attached to the user's 100 hand. By detecting the position of the body part, the body part can be accurately specified.

例えば、図８に示すように、ユーザ１００は右手の指に、認識しやすい特定の色の装着具１１０を嵌めておく。そして、ユーザ１００が肘を見つめ、かつ肘に手を置いた場合、ＣＣＤカメラ２が撮像した画像の中央に設定された規定領域２５０内には装着具１１０が位置しているため、ＣＰＵ４０は、装着具１１０による特定の色の画素領域を認識することができる。   For example, as shown in FIG. 8, the user 100 puts a specific color wearing tool 110 that is easy to recognize on the finger of the right hand. When the user 100 stares at the elbow and puts his hand on the elbow, the wearing tool 110 is located in the prescribed area 250 set at the center of the image captured by the CCD camera 2. A pixel region of a specific color by the mounting tool 110 can be recognized.

したがって、角度センサ４の検出値により、頭部１０２がどの方向にどれだけ傾いているかが判定され、ユーザ１００が見つめている身体部位が「左腕の中央部分」であると絞られ、さらに、特定の色の画素が所定面積だけ集合した領域が画面の座標中央に位置することが検出されると、制御部３０は、腕の中央部分のその中央、すなわち、肘をユーザ１００は見ていると判定することができる。   Therefore, it is determined how much the head 102 is tilted in what direction by the detection value of the angle sensor 4, and the body part that the user 100 is looking at is narrowed down to be “the central part of the left arm”, and further specified. If the control unit 30 detects that the region where the pixels of the predetermined color are gathered by a predetermined area is located at the coordinate center of the screen, the control unit 30 assumes that the user 100 is looking at the center of the arm, that is, the elbow. Can be determined.

このように、ユーザ１００の手に装着された装着具１１０を検出することによってユーザ１００の手の位置を検出すれば、ユーザ１００が見ている身体部位を正確に特定することができる。なお、装着具１１としては、図示するような指輪タイプのみならず、手に装着できるものであれば何でもよく、手袋なども含まれる。   Thus, if the position of the hand of the user 100 is detected by detecting the wearing tool 110 attached to the hand of the user 100, the body part that the user 100 is looking at can be accurately specified. The wearing tool 11 is not limited to a ring type as shown in the figure, but may be anything that can be worn on the hand, and includes gloves.

こうして、本実施形態によれば、ユーザ１００は本実施形態に係るＨＭＤを装着し、カメラモードを選択した場合は、ＣＣＤカメラ２で撮像した画像の表示や保存の操作を、ハンズフリーで正確に行うことが可能となる。   Thus, according to the present embodiment, when the user 100 wears the HMD according to the present embodiment and selects the camera mode, the operation of displaying and saving the image captured by the CCD camera 2 can be accurately performed in a hands-free manner. Can be done.

［２．ＨＭＤの電気的構成及び光学的構成を含む具体的構成］ [2. Specific configuration including electrical configuration and optical configuration of HMD]

ここで、ＨＭＤの外観構成、電気的構成及び光学的構成を含むより具体的構成について詳細に説明する。   Here, a more specific configuration including the external configuration, electrical configuration, and optical configuration of the HMD will be described in detail.

（ＨＭＤの外観）
図９にＨＭＤの外観構成を示す。図示するように、ＨＭＤは、ユーザ１００の頭部１０２に装着される装着部１１に取り付けられた筐体１３と、光ファイバケーブル５０や電送ケーブル５１や音声ケーブル９９などからなる接続ケーブル５２を介して当該筐体１３と接続されたコントロールユニット３とを備えている。そして、筐体１３に収納された投影ユニット１ａと、コントロールユニット３に収納配設された光源ユニット１ｂとから表示部１を構成している。なお、装着部１１は略眼鏡形状とした支持部材からなり、あたかも眼鏡のようにして簡単に装着することができ、装着したときに、投影ユニット１ａを収納した筐体１３がユーザ１００の顔面左前方に位置するようにしている。 (HMD appearance)
FIG. 9 shows an external configuration of the HMD. As shown in the figure, the HMD is connected to the housing 13 attached to the mounting portion 11 attached to the head 102 of the user 100, and a connection cable 52 including an optical fiber cable 50, a transmission cable 51, an audio cable 99, and the like. And the control unit 3 connected to the housing 13. The display unit 1 is composed of the projection unit 1 a housed in the housing 13 and the light source unit 1 b housed in the control unit 3. Note that the mounting portion 11 is formed of a support member having a substantially glasses shape, and can be easily mounted as if it were glasses, and when mounted, the housing 13 housing the projection unit 1a is located on the left side of the face of the user 100. It is located in the front.

本実施形態における筐体１３は、装着部１１をユーザ１００の頭部１０２へ装着したとき、ユーザ１００の左眼部分と左側こめかみ部分とを被覆するような平面視略Ｌ字形状に形成されている。そして、この筐体１３の上面１３ａ側にＣＣＤカメラ２を配設し、電送ケーブル５１を介してコントロールユニット３の制御部３０に接続している。ＣＣＤカメラ２は、ユーザ１００が当該ユーザ１００の手や腕や脚などの身体を正視したときに、その視線が捉えた身体の部位に焦点が合わせられるように光軸が合わせられている。さらに、このＣＣＤカメラ２は、図示しないシャッタボタンを備えており、このシャッタボタンの操作により撮像することができる。なお、コントロールユニット３に撮像用の操作ボタンを設け、その撮像ボタンを押すことで手動撮像させても良い。   The housing 13 in the present embodiment is formed in a substantially L shape in plan view so as to cover the left eye portion and the left temple portion of the user 100 when the mounting portion 11 is mounted on the head 102 of the user 100. Yes. The CCD camera 2 is disposed on the upper surface 13 a side of the housing 13 and is connected to the control unit 30 of the control unit 3 via a transmission cable 51. The CCD camera 2 has an optical axis so that when the user 100 views the body, such as the user's 100 hand, arm, or leg, the body part captured by the line of sight is focused. Further, the CCD camera 2 includes a shutter button (not shown), and an image can be taken by operating the shutter button. The control unit 3 may be provided with an operation button for imaging, and manual imaging may be performed by pressing the imaging button.

また、図示するように、筐体１３の先端側には、左の眼１０１の前方に位置するようにハーフミラー１０が取り付けられており、外光４００をハーフミラー１０から透過させてユーザ１００の左の眼１０１に入射させ、画像光５００はハーフミラー１０で反射させてユーザ１００の眼１０１に入射させるようにしている（図１参照）。また、当然ながら、外光４００は右の眼１０１にも入射している。したがって、ユーザ１００は、両眼１０１，１０１を開けている場合は当然のこと、右の眼１０１を閉じた状態であっても、表示画像２００を見ながら外界を見ることができる。   Further, as shown in the figure, the half mirror 10 is attached to the front end side of the housing 13 so as to be positioned in front of the left eye 101, and the external light 400 is transmitted through the half mirror 10 to allow the user 100. The light is incident on the left eye 101, and the image light 500 is reflected by the half mirror 10 and is incident on the eye 101 of the user 100 (see FIG. 1). Of course, the external light 400 is also incident on the right eye 101. Therefore, the user 100 can naturally see the outside world while viewing the display image 200 even when the right eye 101 is closed, when both eyes 101 and 101 are opened.

コントロールユニット３は、ユーザ１００が衣服のポケットなどに収納して携行可能であり（図２参照）、ケース表面には電源スイッチ７と電源ランプ８とが設けられている。また、このコントロールユニット３内に光源ユニット１ｂとともに収納配設された制御部３０は、通信Ｉ／Ｆ３９を介して画像情報などを外部のＰＣなどから取得可能となっている。そして、取得した画像情報などを、光源ユニット１ｂの画像信号供給回路６に送信している。なお、ＰＣなどの外部機器との接続は無線、有線いずれでも可能である。   The control unit 3 can be carried by being stored in a pocket of clothes by the user 100 (see FIG. 2), and a power switch 7 and a power lamp 8 are provided on the case surface. Further, the control unit 30 housed in the control unit 3 together with the light source unit 1b can acquire image information and the like from an external PC or the like via the communication I / F 39. And the acquired image information etc. are transmitted to the image signal supply circuit 6 of the light source unit 1b. Connection to an external device such as a PC can be performed either wirelessly or wired.

光源ユニット１ｂの画像信号供給回路６では、取得した画像情報を画素単位で強度変調して画像光５００を形成し、この画像光５００を、光ファイバケーブル５０を介して投影ユニット１ａへ伝送し、投影ユニット１ａでは、伝送された画像光５００を走査してユーザ１００にコンテンツ画像２００を視認させることができる。   The image signal supply circuit 6 of the light source unit 1b modulates the intensity of the acquired image information in units of pixels to form image light 500, and transmits the image light 500 to the projection unit 1a via the optical fiber cable 50. In the projection unit 1a, the transmitted image light 500 can be scanned so that the user 100 can visually recognize the content image 200.

また、制御部３０に設けた音声回路４５では、ＰＣなどから取得したコンテンツデータに含まれる音声データを音声信号に変換して、音声ケーブル９９を介してイヤホン９に伝送可能としている。   The audio circuit 45 provided in the control unit 30 can convert audio data included in content data acquired from a PC or the like into an audio signal and transmit it to the earphone 9 via the audio cable 99.

図１０はＨＭＤの電気的構成及び光学的構成を示したブロック図、図１１は制御部の構成を示したブロック図である。図１０及び図１１に示すように、ＨＭＤは表示部１、ＣＣＤカメラ２、角度センサ４及びイヤホン９を備えており、表示部１は、前述したように装着部１１に設けられた投影ユニット１ａと、コントロールユニット３に配設された光源ユニット１ｂとから構成されている。   FIG. 10 is a block diagram showing the electrical configuration and optical configuration of the HMD, and FIG. 11 is a block diagram showing the configuration of the control unit. As shown in FIGS. 10 and 11, the HMD includes a display unit 1, a CCD camera 2, an angle sensor 4, and an earphone 9, and the display unit 1 is a projection unit 1 a provided in the mounting unit 11 as described above. And a light source unit 1 b disposed in the control unit 3.

このコントロールユニット３には、ＨＭＤ全体の動作を統括制御する制御部３０も配設されており、光源ユニット１ｂは、この制御部３０から供給される画像信号Ｓから画像情報を画素単位で読み出し、読み出した画素単位の画像情報に基づいてＲ（赤色），Ｇ（緑色），Ｂ（青色）の各色毎に強度変調されたレーザ光を生成して出射するようになっている。   The control unit 3 is also provided with a control unit 30 that controls the overall operation of the HMD. The light source unit 1b reads image information from the image signal S supplied from the control unit 30 in units of pixels. Based on the read image information for each pixel, laser light whose intensity is modulated for each color of R (red), G (green), and B (blue) is generated and emitted.

なお、光源ユニット１ｂをコントロールユニット３内に設けるのではなく、投影ユニット１ａ内に設けるようにしてもよい。また、本実施形態では表示部１として２次元的に走査したレーザ光をユーザ１００の眼１０１に入射し網膜１０１ｂ上に画像を投影する網膜走査型の表示部を例に挙げて説明するが、これに限らず、例えば、液晶型の表示部を用いることもできる。液晶型の表示部としては、例えば、透過型液晶パネルに光源からの光を照射してこの液晶パネルを透過した光を画像光としてユーザの眼に入射する透過型のものや、反射型液晶パネルに光源からの光を照射してこの液晶パネルを反射した光を画像光としてユーザの眼に入射する反射型のものがある。   The light source unit 1b may be provided in the projection unit 1a instead of being provided in the control unit 3. In the present embodiment, the display unit 1 will be described by taking, as an example, a retinal scanning type display unit that projects two-dimensionally scanned laser light into the eye 101 of the user 100 and projects an image on the retina 101b. For example, a liquid crystal display unit can also be used. As the liquid crystal display unit, for example, a transmissive liquid crystal panel is irradiated with light from a light source, and light transmitted through the liquid crystal panel is incident on the user's eyes as image light. There is a reflective type in which the light reflected from the liquid crystal panel after being irradiated with light from the light source is incident on the user's eyes as image light.

（光源ユニット１ｂ）
光源ユニット１ｂには、画像を合成するための要素となる信号等を発生する画像信号供給回路６が設けられている。ＰＣから供給される画像データが制御部３０に入力されると、制御部３０はその画像データに基づいて画像信号Ｓを生成して画像信号供給回路６に送る。画像信号供給回路６は、画像信号Ｓに基づいて、表示画像２００を形成するための要素となる各信号を画素単位で生成する。すなわち、画像信号供給回路６からは、Ｒ（赤色）画像信号６０ｒ，Ｇ（緑色）画像信号６０ｇ，Ｂ（青色）画像信号６０ｂが生成されて出力される。また、画像信号供給回路６は、水平走査部８０で使用される水平駆動信号６１と、垂直走査部９０で使用される垂直駆動信号６２とをそれぞれ出力する。 (Light source unit 1b)
The light source unit 1b is provided with an image signal supply circuit 6 that generates a signal or the like as an element for synthesizing an image. When image data supplied from the PC is input to the control unit 30, the control unit 30 generates an image signal S based on the image data and sends it to the image signal supply circuit 6. Based on the image signal S, the image signal supply circuit 6 generates each signal that is an element for forming the display image 200 in units of pixels. That is, the image signal supply circuit 6 generates and outputs an R (red) image signal 60r, a G (green) image signal 60g, and a B (blue) image signal 60b. The image signal supply circuit 6 outputs a horizontal drive signal 61 used in the horizontal scanning unit 80 and a vertical drive signal 62 used in the vertical scanning unit 90, respectively.

また、光源ユニット１ｂには、画像信号供給回路６から画素単位で出力されるＲ画像信号６０ｒ、Ｇ画像信号６０ｇ、Ｂ画像信号６０ｂの各画像信号６０ｒ，６０ｇ，６０ｂをもとに、それぞれ強度変調されたレーザ光（「光束」とも呼ぶ。）である画像光５００を出射するように、Ｒレーザ６３，Ｇレーザ６４，Ｂレーザ６５をそれぞれ駆動するためのＲレーザドライバ６６，Ｇレーザドライバ６７，Ｂレーザドライバ６８が設けられている。各レーザ６３，６４，６５は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、レーザ光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えてレーザ光の強度変調を行う必要がある。   The light source unit 1b has an intensity based on the image signals 60r, 60g, and 60b of the R image signal 60r, the G image signal 60g, and the B image signal 60b output from the image signal supply circuit 6 in units of pixels. An R laser driver 66 and a G laser driver 67 for driving the R laser 63, the G laser 64, and the B laser 65, respectively, so as to emit image light 500 that is modulated laser light (also referred to as “light beam”). , B laser driver 68 is provided. Each laser 63, 64, 65 can be configured as, for example, a semiconductor laser or a solid-state laser with a harmonic generation mechanism. If a semiconductor laser is used, the drive current can be directly modulated to modulate the intensity of the laser beam. However, if a solid-state laser is used, each laser is equipped with an external modulator, and the intensity of the laser beam is modulated. Need to do.

さらに、光源ユニット１ｂは、各レーザ６３，６４，６５より出射されたレーザ光を平行光にコリメートするように設けられたコリメート光学系７１，７２，７３と、このコリメートされたレーザ光を合波するためのダイクロイックミラー７４，７５，７６と、合波されたレーザ光を光ファイバケーブル５０に導く結合光学系７７とが設けられている。   Furthermore, the light source unit 1b combines the collimated laser light and collimated optical systems 71, 72, 73 provided so as to collimate the laser light emitted from the lasers 63, 64, 65 into parallel light. There are provided dichroic mirrors 74, 75, and 76, and a coupling optical system 77 that guides the combined laser light to the optical fiber cable 50.

従って、各レーザ６３，６４，６５から出射したレーザ光は、コリメート光学系７１，７２，７３によってそれぞれ平行化された後に、ダイクロイックミラー７４，７５，７６に入射される。その後、これらのダイクロイックミラー７４，７５，７６により、各レーザ光が波長に関して選択的に反射・透過される。そして、これら３つのダイクロイックミラー７４，７５，７６にそれぞれ入射した３原色のレーザ光は、波長選択的に反射または透過して結合光学系７７に達し、集光されて光ファイバケーブル５０へ出力される。   Therefore, the laser beams emitted from the lasers 63, 64, 65 are collimated by the collimating optical systems 71, 72, 73, respectively, and then enter the dichroic mirrors 74, 75, 76. Thereafter, each of the laser beams is selectively reflected and transmitted with respect to the wavelength by these dichroic mirrors 74, 75, and 76. The three primary color laser beams incident on these three dichroic mirrors 74, 75, and 76 are reflected or transmitted in a wavelength selective manner, reach the coupling optical system 77, and are collected and output to the optical fiber cable 50. The

（投影ユニット１ａ）
光源ユニット１ｂとユーザ１００の眼１０１との間に位置する投影ユニット１ａには、光源ユニット１ｂで生成され、光ファイバケーブル５０を介して出射されるレーザ光を平行光化するコリメート光学系７９と、このコリメート光学系７９で平行光化されたレーザ光を画像表示のために水平方向に往復走査する水平走査部８０と、水平走査部８０で水平方向に走査されたレーザ光を垂直方向に走査する垂直走査部９０と、水平走査部８０と垂直走査部９０との間に設けられた第１リレー光学系８５と、このように水平方向と垂直方向に走査されたレーザ光を瞳孔１０１ａへ出射するための第２リレー光学系９５とが設けられている。 (Projection unit 1a)
The projection unit 1a located between the light source unit 1b and the eye 101 of the user 100 includes a collimating optical system 79 that collimates laser light generated by the light source unit 1b and emitted through the optical fiber cable 50. The laser beam collimated by the collimating optical system 79 is scanned horizontally in the horizontal direction for image display, and the laser beam scanned in the horizontal direction by the horizontal scanning unit 80 is scanned in the vertical direction. The vertical scanning unit 90, the first relay optical system 85 provided between the horizontal scanning unit 80 and the vertical scanning unit 90, and the laser beam thus scanned in the horizontal and vertical directions are emitted to the pupil 101a. A second relay optical system 95 is provided.

水平走査部８０及び垂直走査部９０は、光ファイバケーブル５０から入射されたレーザ光を画像としてユーザ１００の網膜１０１ｂに投影可能な状態にするために、水平方向と垂直方向に走査して走査光束とする光学系であり、水平走査部８０は、レーザ光を水平方向に走査するため偏向面を有する共振型の偏向素子８１と、この偏向素子８１を共振させて偏向素子８１の偏向面を揺動させる駆動信号を水平駆動信号６１に基づいて発生する水平走査駆動回路８２を備えている。   The horizontal scanning unit 80 and the vertical scanning unit 90 scan in the horizontal direction and the vertical direction to scan the laser beam incident from the optical fiber cable 50 as an image so that the laser beam can be projected onto the retina 101b of the user 100. The horizontal scanning unit 80 includes a resonance type deflection element 81 having a deflection surface for scanning the laser beam in the horizontal direction, and resonating the deflection element 81 to shake the deflection surface of the deflection element 81. A horizontal scanning drive circuit 82 that generates a drive signal to be moved based on the horizontal drive signal 61 is provided.

一方、垂直走査部９０は、レーザ光を垂直方向に走査するため偏向面を有する非共振型の偏向素子９１と、この偏向素子９１の偏向面を非共振状態で揺動させる駆動信号を垂直駆動信号６２に基づいて発生する垂直走査制御回路９２とを備え、表示すべき画像の１フレームごとに、画像を形成するためのレーザ光を最初の水平走査線から最後の水平走査線に向かって垂直に走査する。ここで「水平走査線」とは、水平走査部８０による水平方向への１走査を意味する。   On the other hand, the vertical scanning unit 90 vertically drives a non-resonance type deflection element 91 having a deflection surface for scanning the laser beam in the vertical direction and a drive signal for swinging the deflection surface of the deflection element 91 in a non-resonance state. And a vertical scanning control circuit 92 generated based on the signal 62, and for each frame of the image to be displayed, a laser beam for forming an image is vertically directed from the first horizontal scanning line toward the last horizontal scanning line. To scan. Here, the “horizontal scanning line” means one scanning in the horizontal direction by the horizontal scanning unit 80.

なお、偏向素子８１，９１は、ここではガルバノミラーを用いることとするが、レーザ光を走査するようにその偏向面（反射面）を揺動又は回転させられるものであれば、圧電駆動、電磁駆動、静電駆動等いずれの駆動方式によるものであってもよい。また、本実施形態においては、水平走査部８０に共振タイプの偏向素子を用い、垂直走査部９０を非共振タイプの偏向素子を用いることとしているが、これに限らず、例えば、垂直走査系に共振タイプの偏向素子を用いてもよく、どちらも非共振タイプの偏向素子としてもよい。   Here, galvanometer mirrors are used as the deflection elements 81 and 91. However, as long as the deflection surface (reflection surface) can be swung or rotated so as to scan the laser beam, piezoelectric driving, electromagnetic Any driving method such as driving or electrostatic driving may be used. In this embodiment, a resonance type deflection element is used for the horizontal scanning unit 80, and a non-resonance type deflection element is used for the vertical scanning unit 90. However, the present invention is not limited to this. A resonance type deflection element may be used, and both may be non-resonance type deflection elements.

また、水平走査部８０と垂直走査部９０との間でレーザ光を中継する第１リレー光学系８５は、偏向素子８１の偏向面によって水平方向に走査されたレーザ光を偏向素子９１の偏向面に収束させる。そして、このレーザ光が偏向素子９１の偏向面によって垂直方向に走査され、正の屈折力を持つ２つのレンズ９５ａ，９５ｂが直列配置された第２リレー光学系９５を介して、眼１０１の前方に位置させたハーフミラー１０で反射されてユーザ１００の瞳孔１０１ａに入射し、網膜１０１ｂ上に画像信号Ｓに応じた表示画像２００が投影される。これにより、ユーザ１００はこのように瞳孔１０１ａに入射する画像光５００であるレーザ光を、表示画像２００として認識する（図１及び図２参照）。   Further, the first relay optical system 85 that relays the laser light between the horizontal scanning unit 80 and the vertical scanning unit 90 converts the laser light scanned in the horizontal direction by the deflection surface of the deflection element 81 into the deflection surface of the deflection element 91. To converge. Then, the laser light is scanned in the vertical direction by the deflection surface of the deflection element 91, and the front of the eye 101 is passed through the second relay optical system 95 in which two lenses 95a and 95b having positive refractive power are arranged in series. Is reflected by the half mirror 10 positioned on the user's 100 and enters the pupil 101a of the user 100, and a display image 200 corresponding to the image signal S is projected onto the retina 101b. As a result, the user 100 recognizes the laser light, which is the image light 500 incident on the pupil 101a, as the display image 200 (see FIGS. 1 and 2).

なお、第２リレー光学系９５においては、レンズ９５ａによって、それぞれのレーザ光がそのレーザ光の中心線を相互に略平行にされ、かつそれぞれ収束レーザ光に変換される。そして、レンズ９５ｂによってそれぞれほぼ平行なレーザ光となると共に、これらのレーザ光の中心線がユーザ１００の瞳孔１０１ａに収束するように変換される。   In the second relay optical system 95, the respective laser beams are made substantially parallel to each other by the lens 95a and converted into convergent laser beams. Then, the laser beams are converted into substantially parallel laser beams by the lens 95b, and the center lines of these laser beams are converted so as to converge on the pupil 101a of the user 100.

（制御部３０）
制御部３０は、その内部に記憶されている制御プログラムにしたがって後述する所定の処理を実行することによって、前述した頭部状態検出手段、部位特定手段、制御処理手段、部位状態判別手段、及びキャリブレーション手段等として機能する。 (Control unit 30)
The control unit 30 executes predetermined processing, which will be described later, in accordance with a control program stored therein, thereby performing the above-described head state detecting means, part specifying means, control processing means, part state determining means, and calibration. Function as a means of communication.

図１１に示すように、制御部３０は、各コントローラ３１，３２，３６と、各ＶＲＡＭ（Video Random Access Memory）３３，３７と、周辺機器インターフェース（図中「Ｉ／Ｆ」と示し、以下「Ｉ／Ｆ」とも呼ぶ）３８と、通信Ｉ／Ｆ３９とを備えている。   As shown in FIG. 11, the control unit 30 indicates each controller 31, 32, 36, each video random access memory (VRAM) 33, 37, and a peripheral device interface (“I / F” in the figure). 38) and a communication I / F 39.

主コントローラ３１は、ＣＰＵ（Central Processing Unit）４０と、プログラムＲＯＭ（Read Only Memory）４１と、不揮発性メモリであるフラッシュＲＯＭ（フラッシュメモリ）４２と、ＲＡＭ（Random Access Memory）４３とを備えており、これらはデータ通信用のバスにそれぞれ接続され、このデータ通信用のバスを介して、角度センサ４からの頭部角度などをはじめとする各種情報の送受信を行う。   The main controller 31 includes a CPU (Central Processing Unit) 40, a program ROM (Read Only Memory) 41, a flash ROM (flash memory) 42 which is a nonvolatile memory, and a RAM (Random Access Memory) 43. These are respectively connected to a data communication bus, and various information such as a head angle from the angle sensor 4 is transmitted / received via the data communication bus.

ＣＰＵ４０は、プログラムＲＯＭ４１に記憶されている制御プログラムを実行することにより、主コントローラ３１として、ＨＭＤを構成する各部を動作させて、当該ＨＭＤが備える各種機能を実行させる演算処理装置である。   The CPU 40 is an arithmetic processing unit that operates various parts of the HMD as the main controller 31 by executing a control program stored in the program ROM 41 to execute various functions of the HMD.

また、フラッシュＲＯＭ４２は、ＣＣＤカメラ２などから出力される画像データや、ＨＭＤの動作制御に必要な各種テーブルや表示画像２００の輝度の設定値などを記憶する。フラッシュＲＯＭ４２に記憶されたテーブルとしては、図６、図７、さらに後述する図１８及び図１９に示すように、ユーザの身体の部位や当該部位の状態に操作の情報を関連付けたテーブルなどが含まれる。   The flash ROM 42 stores image data output from the CCD camera 2 and the like, various tables necessary for operation control of the HMD, setting values of brightness of the display image 200, and the like. Tables stored in the flash ROM 42 include tables in which operation information is associated with a part of the user's body and the state of the part as shown in FIGS. 6 and 7 and FIGS. 18 and 19 described later. It is.

そして、ＣＰＵ４０は、ＣＣＤカメラ２により撮像した画像と角度センサ４により検出したユーザ１００の頭部１０２の角度とにより、当該ユーザ１００の視野方向にある当該ユーザ１００の身体の部位を特定することが可能となっている。   Then, the CPU 40 can specify the body part of the user 100 in the visual field direction of the user 100 based on the image captured by the CCD camera 2 and the angle of the head 102 of the user 100 detected by the angle sensor 4. It is possible.

ＨＭＤ用コントローラ３２は、主コントローラ３１からの要求に応じて表示手段である表示部１を制御し、主コントローラ３１によりＨＭＤ用ＶＲＡＭ３３に記憶された画像データに基づいた画像信号Ｓを表示部１に供給する。表示部１は、ＨＭＤ用コントローラ３２から画像信号Ｓが入力されると、この画像信号Ｓに基づいて強度変調した各色のレーザ光を生成及び走査してユーザ１００の眼１０１に出射し、ユーザ１００の網膜１０１ｂに画像信号Ｓに応じた画像を投影する。こうして、主コントローラ３１は、画像を表示させる制御を行う。   The HMD controller 32 controls the display unit 1 that is a display unit in response to a request from the main controller 31, and the image signal S based on the image data stored in the HMD VRAM 33 by the main controller 31 is displayed on the display unit 1. Supply. When the image signal S is input from the HMD controller 32, the display unit 1 generates and scans laser light of each color whose intensity is modulated based on the image signal S, and emits it to the eye 101 of the user 100. An image corresponding to the image signal S is projected onto the retina 101b. Thus, the main controller 31 performs control to display an image.

カメラ用コントローラ３６は、撮像手段であるＣＣＤカメラ２を制御し、カメラ用ＶＲＡＭ３７は、ＣＣＤカメラ２から出力される画像データを一時的に記憶する。主コントローラ３１は、ＣＣＤカメラ２から出力される画像データをカメラ用ＶＲＡＭ３７を介してＨＭＤ用ＶＲＡＭ３３に出力することにより、ＣＣＤカメラ２から出力される画像データを主コントローラ３１で取得することができる。   The camera controller 36 controls the CCD camera 2 that is an imaging means, and the camera VRAM 37 temporarily stores image data output from the CCD camera 2. The main controller 31 can acquire the image data output from the CCD camera 2 by the main controller 31 by outputting the image data output from the CCD camera 2 to the HMD VRAM 33 via the camera VRAM 37.

主コントローラ３１は、ユーザ１００の視野方向にある当該ユーザ１００自身の身体の部位を特定するために、カメラ用コントローラ３６を介してＣＣＤカメラ２を制御し、ユーザ１００の視野範囲のうち、ユーザ１００の顔に正対する方向にある対象物が、表示部１による画像の表示領域の略中心位置となるようにＣＣＤカメラ２により撮像させ、ＣＣＤカメラ２から出力される画像データをカメラ用ＶＲＡＭ３７を介して取得する。これによって、主コントローラ３１は、ＣＣＤカメラ２によって撮像された画像を取得することができる。   The main controller 31 controls the CCD camera 2 via the camera controller 36 in order to specify the body part of the user 100 in the visual field direction of the user 100, and the user 100 out of the visual field range of the user 100. The object in the direction facing the face of the camera is picked up by the CCD camera 2 so as to be at the substantially center position of the display area of the image by the display unit 1, and the image data output from the CCD camera 2 is passed through the camera VRAM 37. Get. As a result, the main controller 31 can acquire an image captured by the CCD camera 2.

そして、主コントローラ３１は、先ず、前述したように、角度センサ４の検出値により、頭部１０２がどの方向にどれだけ傾いているかを判定し、これによって、ユーザ１００の身体の部位のうちいずれの部位近傍に顔面が向いているかを判定する。すなわち、頭部１０２の傾きによって、ユーザ１００が見つめている身体部位を、例えば「左腕の中央部分」あるいは「左腕の先端部分」であるというように絞るのである。   First, as described above, the main controller 31 determines how much the head 102 is tilted in which direction based on the detection value of the angle sensor 4, and thereby, which of the body parts of the user 100 is selected. It is determined whether the face is in the vicinity of the part. In other words, the body part that the user 100 is staring at is narrowed to be, for example, “the center part of the left arm” or “the tip part of the left arm” by the inclination of the head 102.

そして、ＣＣＤカメラ２によって撮像された画像を解析して部位形状を検出するとともに、予め記憶しておいたモデル形状と比較することによって、ユーザ１００の身体部位を検出できるようにしている。また、部位形状を検出することにより、ユーザ１００の身体の部位に接触又は近接する手についても認識することができる。なお、ＣＣＤカメラ２によって撮像された画像の処理をするために主コントローラ３１内に別途画像処理部をハードウェアで構成することにより画像処理を高速に行うこともできる。   The body shape of the user 100 can be detected by analyzing the image captured by the CCD camera 2 to detect the part shape and comparing it with the model shape stored in advance. Further, by detecting the shape of the part, it is possible to recognize a hand that is in contact with or close to the part of the body of the user 100. In addition, in order to process an image picked up by the CCD camera 2, image processing can be performed at high speed by separately configuring an image processing unit in the main controller 31 with hardware.

周辺機器Ｉ／Ｆ３８は、電源スイッチ７やコンテンツ表示スイッチやランプ類等（図示せず）の周辺機器５を主コントローラ３１に接続するためのインターフェースである。例えば、電源スイッチ７やコンテンツ表示スイッチやランプ類が周辺機器Ｉ／Ｆ３８に接続されたとき、主コントローラ３１は、電源スイッチ７やコンテンツ表示スイッチ等のスイッチ類からの操作情報を周辺機器Ｉ／Ｆ３８から受け取り、周辺機器Ｉ／Ｆ３８を介してランプ類の点灯情報をランプ類に供給する。   The peripheral device I / F 38 is an interface for connecting the peripheral device 5 such as a power switch 7, a content display switch, and lamps (not shown) to the main controller 31. For example, when the power switch 7, the content display switch, and the lamps are connected to the peripheral device I / F 38, the main controller 31 receives the operation information from the switches such as the power switch 7 and the content display switch as the peripheral device I / F 38. The lighting information of the lamps is supplied to the lamps via the peripheral device I / F 38.

通信Ｉ／Ｆ３９は、主コントローラ３１とＰＣとを通信可能に制御する。主コントローラ３１は、例えば、通信Ｉ／Ｆ３９を介して画像データの供給をＰＣに要求し、ＰＣから通信Ｉ／Ｆ３９を介して供給された画像データに基づいた画像信号ＳをＨＭＤ用コントローラ３２により表示部１に供給する。   The communication I / F 39 controls the main controller 31 and the PC so that they can communicate with each other. For example, the main controller 31 requests the PC to supply image data via the communication I / F 39, and the HMD controller 32 sends an image signal S based on the image data supplied from the PC via the communication I / F 39. This is supplied to the display unit 1.

なお、上述においては、撮像手段としてＣＣＤカメラ２を用いることとしたが、これに限られず、ＣＭＯＳカメラなどを用いてもよい。   In the above description, the CCD camera 2 is used as the imaging means. However, the present invention is not limited to this, and a CMOS camera or the like may be used.

［３．ＨＭＤにおける制御処理］
ここで、カメラモードを選択した場合の動作を実現させるための制御部３０による処理の一例について、図１２〜図１４を参照して説明する。図１２はキャリブレーションの処理の流れを示す説明図、図１３はカメラモードの処理の一例である撮像処理の流れを示す説明図、図１４は同じくカメラモードの処理の一例である画像データの表示処理の流れを示した説明図である。なお、各処理においては、ＨＭＤの電源スイッチ７は既にオン操作されており、電源スイッチ７がオン操作された後の初期設定処理などは全て完了していることとしている。また、図１３及び図１４の処理では、既にカメラモードが選択された場合としている（図２参照）。 [3. Control processing in HMD]
Here, an example of processing by the control unit 30 for realizing the operation when the camera mode is selected will be described with reference to FIGS. FIG. 12 is an explanatory diagram showing the flow of calibration processing, FIG. 13 is an explanatory diagram showing the flow of imaging processing which is an example of camera mode processing, and FIG. 14 is a display of image data which is also an example of camera mode processing. It is explanatory drawing which showed the flow of the process. In each process, the power switch 7 of the HMD has already been turned on, and all the initial setting processes after the power switch 7 is turned on have been completed. In the processing of FIGS. 13 and 14, it is assumed that the camera mode has already been selected (see FIG. 2).

（キャリブレーション）
キャリブレーションが開始されると、図１２に示すように、主コントローラ３１のＣＰＵ４０は、表示部１により、身体の特定の部位（ここでは左肘、左手、左腕のいずれか）を見て所定の決定トリガーを入力するようにユーザ１００に対して指示コメントを表示する（ステップＳ１０１）。ユーザ１００は、指示された身体の部位を見るとともに、例えばコントロールユニット３に設けた決定トリガーとしての操作ボタン（図示せず）を押すなどして決定トリガーを入力することになる。なお、ボタン操作に代えて角度センサ４を利用し、この角度センサ４が検出したユーザ１００の頭部１０２の傾きが所定の傾きとなったことを決定トリガーとすることもできる。 (Calibration)
When calibration is started, as shown in FIG. 12, the CPU 40 of the main controller 31 uses the display unit 1 to look at a specific part of the body (here, one of the left elbow, left hand, and left arm) and An instruction comment is displayed to the user 100 so as to input a determination trigger (step S101). The user 100 views the instructed body part and inputs a determination trigger by pressing an operation button (not shown) as a determination trigger provided in the control unit 3, for example. Note that the angle sensor 4 may be used instead of the button operation, and the determination trigger may be that the inclination of the head 102 of the user 100 detected by the angle sensor 4 has become a predetermined inclination.

次いで、ＣＰＵ４０は、ユーザ１００が入力した決定トリガーを取得する（ステップＳ１０２）。   Next, the CPU 40 acquires the determination trigger input by the user 100 (step S102).

次いで、ＣＰＵ４０は、決定トリガーが入力されたときの頭の傾きのデータ、すなわち角度センサ４が検出したデータ値と、決定トリガーが入力されたときのＣＣＤカメラ２による撮像データとを、ステップＳ１０1で見るように指示した身体の部位の名称と関連付けてテーブルに記憶する（ステップＳ１０３）。   Next, the CPU 40 obtains the head tilt data when the determination trigger is input, that is, the data value detected by the angle sensor 4 and the image data captured by the CCD camera 2 when the determination trigger is input in step S101. The table is stored in association with the name of the body part instructed to view (step S103).

そして、ステップＳ１０４において、ＣＰＵ４０は設定すべき必要な身体の部位に対して全て関連付けを行ったか否かを判定し、全て終えるまで、必要な身体の部位に対する関連付け処理を繰り返し、全ての関連付けを終えるとキャリブレーションの処理を終了する。こうして、図６に示すテーブルが生成されることになる。   In step S104, the CPU 40 determines whether or not all of the necessary body parts to be set have been associated, and repeats the association process for the necessary body parts until all are completed, thereby completing all the associations. And the calibration process ends. Thus, the table shown in FIG. 6 is generated.

（撮像処理）
次に、カメラモードの処理の一例として、ＣＣＤカメラ２による撮像処理について、図１３を参照しながら説明する。図１３に示すように、ＣＰＵ４０は、ＣＣＤカメラ２のシャッタ操作がなされたか否かを判定する（ステップＳ２０１）。 (Imaging processing)
Next, imaging processing by the CCD camera 2 will be described as an example of camera mode processing with reference to FIG. As shown in FIG. 13, the CPU 40 determines whether or not the shutter operation of the CCD camera 2 has been performed (step S201).

シャッタ操作がなされた場合（ステップＳ２０１：Ｙｅｓ）、ＣＰＵ４０は、図４（ａ）に示すように、撮った画像を表示部１により表示させる（ステップＳ２０２）。このとき、画像の保存をするか否かを尋ねるメッセージも表示させる。   When the shutter operation is performed (step S201: Yes), the CPU 40 causes the display unit 1 to display the captured image as illustrated in FIG. 4A (step S202). At this time, a message asking whether or not to save the image is also displayed.

ユーザ１００は、この画像を保存すると決めた場合、画像を記憶（保存）させたい身体の部位を見る。本実施形態では、前述したように、風景は肘（肘フォルダ）に、人物は手（手フォルダ）に、その他であれば腕（腕フォルダ）に記憶するようにしている。このように、その被写体のカテゴリー別に画像を保存すると、後に画像を検索しやすい。   When the user 100 decides to save the image, the user 100 looks at a part of the body where the image is to be stored (saved). In this embodiment, as described above, the landscape is stored in the elbow (elbow folder), the person is stored in the hand (hand folder), and the other is stored in the arm (arm folder). Thus, if an image is stored for each category of the subject, it is easy to search for the image later.

ステップＳ２０３において、ＣＰＵ４０は、ユーザ１００が見ている身体部位を特定する。すなわち、角度センサ４の検出値からユーザ１００の頭部１０２の傾きを検出し、検出した頭の傾きから、ユーザ１００が見ていると推定される身体部位を絞り込むとともに、頭部１０２に装着されたＣＣＤカメラ２による撮像データを取得して、絞り込まれた身体部位と撮像された画像とが一致する身体部位の情報をフラッシュＲＯＭ４２のテーブルから取得する。   In step S203, the CPU 40 identifies the body part that the user 100 is looking at. That is, the inclination of the head 102 of the user 100 is detected from the detection value of the angle sensor 4, and the body part estimated to be viewed by the user 100 is narrowed down from the detected inclination of the head 100 and is attached to the head 102. The acquired image data by the CCD camera 2 is acquired, and information on the body part where the narrowed-down body part and the captured image coincide with each other is acquired from the table of the flash ROM 42.

次に、ＣＰＵ４０は、ＣＣＤカメラ２による撮像画像の状態から、特定した部位が所定時間（例えば２秒）見続けられているか否かを判定する（ステップＳ２０４）。例えば、撮像データに所定時間変化がない場合、ＣＰＵ４０はユーザ１００の視線が固定されていると判定するのである。   Next, the CPU 40 determines from the state of the image captured by the CCD camera 2 whether or not the specified part is continuously viewed for a predetermined time (for example, 2 seconds) (step S204). For example, when there is no change in the imaging data for a predetermined time, the CPU 40 determines that the line of sight of the user 100 is fixed.

ＣＰＵ４０は、特定された部位が所定時間（例えば２秒）見続けられていると判定した場合（ステップＳ２０４：Ｙｅｓ）はステップＳ２０５へ、見続けられていないと判定した場合（ステップＳ２０４：Ｎｏ）はステップＳ２０６へ処理を移す。   When the CPU 40 determines that the specified part is continuously viewed for a predetermined time (for example, 2 seconds) (step S204: Yes), the CPU 40 proceeds to step S205, and when it is determined that the specified part is not continuously viewed (step S204: No). Moves the process to step S206.

ステップＳ２０５では、特定された部位に関連付けられたフォルダに撮像画像のファイルを保存する。すなわち、フラッシュＲＯＭ４２の所定領域に記憶する。   In step S205, the captured image file is stored in a folder associated with the identified part. That is, it is stored in a predetermined area of the flash ROM 42.

一方、例えば撮像した画像をユーザ１００が気に入らない場合などは、特定部位から視線を外せばよい。その場合、ステップＳ２０４においては、ＣＰＵ４０は、特定部位は見続けられていないと判定し、撮像画像のファイルを削除するか否かのコメントを表示部１により表示させる（ステップＳ２０６）。   On the other hand, for example, when the user 100 does not like the captured image, the line of sight may be removed from the specific part. In this case, in step S204, the CPU 40 determines that the specific part is not continuously viewed, and causes the display unit 1 to display a comment as to whether or not to delete the captured image file (step S206).

そして、ＣＰＵ４０は、角度センサ４の検出値から、ユーザ１００の頭部１０２が上下に振れたと判定した場合（ステップＳ２０６：Ｙｅｓ）、撮像画像のファイルを削除する（ステップＳ２０７）。他方、ユーザ１００の頭部１０２が左右に振れたと判定した場合（ステップＳ２０６：Ｎｏ）、ＣＰＵ４０は処理をステップＳ２０３に移す。このとき、ＣＰＵ４０は、「保存する場所を２秒以上見続けてください」などのコメントを表示部１に表示させるとよい。   If the CPU 40 determines from the detection value of the angle sensor 4 that the head 102 of the user 100 has shaken up and down (step S206: Yes), the CPU 40 deletes the captured image file (step S207). On the other hand, when it determines with the head 102 of the user 100 having shaken right and left (step S206: No), CPU40 moves a process to step S203. At this time, the CPU 40 may cause the display unit 1 to display a comment such as “please continue to look at the place to save” for at least two seconds.

こうして、ユーザ１００はＣＣＤカメラ２で撮像した画像をボタン操作あるいはスイッチ操作などをすることなく、ハンズフリーで保存させることが可能となる。特に、保存先を身体の一部と関連付けているので、保存先のフォルダを記憶しやすい。   In this way, the user 100 can store the image captured by the CCD camera 2 in a hands-free manner without performing a button operation or a switch operation. In particular, since the save destination is associated with a part of the body, it is easy to store the save destination folder.

（画像データの表示処理）
次に、同じくカメラモードの処理の一例として、ＣＣＤカメラ２で既に撮像して、身体に関連付けたフォルダに保存されている画像データを表示する処理について、図１４を参照しながら説明する。 (Image data display processing)
Next, as an example of processing in the camera mode, processing for displaying image data already captured by the CCD camera 2 and stored in a folder associated with the body will be described with reference to FIG.

ユーザ１００により選択されたカメラモードが開始されると、図１４に示すように、ＣＰＵ４０は、角度センサ４の検出値からユーザ１００の頭部１０２の傾きを検出する（ステップＳ３０１）。そして、ＣＰＵ４０は、検出した頭の傾きから、ユーザ１００が見ていると推定される身体部位を絞り込む（ステップＳ３０２）。さらに、ＣＰＵ４０は、頭部１０２に装着されたＣＣＤカメラ２から撮像データを取得する（ステップＳ３０３）。このステップＳ３０1〜Ｓ３０３の流れについては、そのステップの順番は必ずしも限定されるものではない。   When the camera mode selected by the user 100 is started, as shown in FIG. 14, the CPU 40 detects the inclination of the head 102 of the user 100 from the detection value of the angle sensor 4 (step S301). Then, the CPU 40 narrows down the body part estimated to be viewed by the user 100 from the detected head inclination (step S302). Further, the CPU 40 acquires imaging data from the CCD camera 2 attached to the head 102 (step S303). Regarding the flow of steps S301 to S303, the order of the steps is not necessarily limited.

次に、ＣＰＵ４０は、絞り込まれた身体部位と撮像された画像とが一致する身体部位の情報がフラッシュＲＯＭ４２のテーブルにあるか否かを判定する（ステップＳ３０４）。テーブルにないと判定された場合（ステップＳ３０４：Ｎｏ）、ＣＰＵ４０は処理をステップＳ３０１に移す。すなわち、テーブルに身体部位があると判定されるまでユーザ１００は頭部１０２の傾きを微調整したりすることにより、ステップＳ３０1〜Ｓ３０４の処理が繰り返される。   Next, the CPU 40 determines whether or not there is information on the body part in which the narrowed-down body part and the captured image match in the table of the flash ROM 42 (step S304). If it is determined that the table is not present (step S304: No), the CPU 40 shifts the processing to step S301. That is, until it is determined that there is a body part on the table, the user 100 finely adjusts the inclination of the head 102 to repeat the processes of steps S301 to S304.

絞り込まれた身体部位と撮像された画像とが一致する身体部位の情報がフラッシュＲＯＭ４２のテーブルにあると判定されると（ステップＳ３０４：Ｙｅｓ）、検出された身体部位に対応する画像（情報）を表示する（ステップＳ３０５）。   If it is determined that there is information on the body part in which the narrowed body part and the captured image match in the table of the flash ROM 42 (step S304: Yes), an image (information) corresponding to the detected body part is displayed. It is displayed (step S305).

具体的には、図５（ａ）に示したように、例えば身体部位が手（例えば左手）の場合であれば、仮想フォルダである手フォルダに記憶されている人物画像の一覧をサムネイル表示する。このとき身体部位が肘の場合であれば風景画像が、身体部位が腕の場合であればその他のカテゴリーの画像がサムネイル表示される。しかも、ＣＰＵ４０は、サムネイル表示中、一つずつ順次強調表示する。   Specifically, as shown in FIG. 5A, for example, if the body part is a hand (for example, the left hand), a list of person images stored in the hand folder which is a virtual folder is displayed as a thumbnail. . At this time, if the body part is an elbow, a landscape image is displayed as a thumbnail, and if the body part is an arm, images of other categories are displayed as thumbnails. Moreover, the CPU 40 sequentially highlights one by one during thumbnail display.

サムネイルの中から、表示したい画像を選択するにあたって、ユーザ１００は、表示した画像が強調表示されたタイミングで画像のカテゴリーに関連付けられている身体部位に手（例えば右手）を差し出して接触又は近接させる。   In selecting an image to be displayed from among the thumbnails, the user 100 brings a hand (for example, the right hand) into contact with or close to the body part associated with the image category at the timing when the displayed image is highlighted. .

ステップＳ３０６において、ＣＰＵ４０は、このときの右手が身体部位に接触、あるいは近接したか否か、すなわち、左手の輪郭形状に右手の輪郭形状が重なったことで身体部位の状態が変化したか否かを判定する。また、手の場合であれば、右手の肌色領域がＣＣＤカメラ２により撮像されて、肌色面積が増加したか否かを判定して、身体部位の状態が変化したか否かを判定することもできる。   In step S306, the CPU 40 determines whether or not the right hand at this time is in contact with or close to the body part, that is, whether or not the state of the body part has changed because the contour shape of the right hand overlaps the contour shape of the left hand. Determine. In the case of the hand, the skin color area of the right hand is imaged by the CCD camera 2 to determine whether or not the skin color area has increased and to determine whether or not the state of the body part has changed. it can.

このステップＳ３０６の処理において、右手が身体部位に接触、あるいは近接したと判定されない場合（ステップＳ３０６：Ｎｏ）、ＣＰＵ４０は処理をステップＳ３０５に戻す。このとき、表示部１により、ユーザ１００に対して「右手の位置を前後左右に少しずらしてみてください。」などのメッセージを表示できるようにしておくことが好ましい。   In the process of step S306, when it is not determined that the right hand is in contact with or close to the body part (step S306: No), the CPU 40 returns the process to step S305. At this time, it is preferable that the display unit 1 can display a message such as “Please shift the position of the right hand slightly forward / backward / left / right” to the user 100.

他方、右手が身体部位に接触、あるいは近接したと判定された場合（ステップＳ３０６：Ｙｅｓ）、ＣＰＵ４０は、このタイミングで強調表示していたサムネイルに相当する画像、すなわちユーザ１００が選択した画像全体を表示部１により表示させ（ステップＳ３０７）、この画像表示処理を終了する。   On the other hand, when it is determined that the right hand is in contact with or close to the body part (step S306: Yes), the CPU 40 displays the image corresponding to the thumbnail highlighted at this timing, that is, the entire image selected by the user 100. The image is displayed on the display unit 1 (step S307), and the image display process is terminated.

こうして、ユーザ１００は所望する画像を、特別にボタン操作あるいはスイッチ操作などをすることなく、ハンズフリーで表示させることが可能となる。また、ステップＳ３０１〜Ｓ３０７の処理を繰り返すことで、画像表示を連続して行える。   In this way, the user 100 can display a desired image in a hands-free manner without any special button operation or switch operation. In addition, image display can be continuously performed by repeating the processes of steps S301 to S307.

このように、本実施形態に係るＨＭＤでは、カメラモードを選択した後は、撮像した画像の保存操作、また保存した画像を呼び出して表示部１により表示させる操作を、ボタンやスイッチ操作などを行うことなく、ハンズフリーにて行うことが可能となる。   As described above, in the HMD according to the present embodiment, after the camera mode is selected, the operation for saving the captured image, or the operation for calling the saved image and displaying it on the display unit 1 is performed using a button or a switch. It becomes possible to carry out by hands-free.

（ＨＭＤの使用形態の一例）
次に、ユーザ１００が閲覧モードを選択した場合について簡単に説明する。ここでは、映画などのような動画コンテンツを鑑賞する場合としている。 (Example of usage form of HMD)
Next, a case where the user 100 selects the browsing mode will be briefly described. Here, it is assumed that a moving image content such as a movie is viewed.

図１５〜図１７は、ＨＭＤの閲覧モードにおける使用形態の一例を示す説明図である。図１５に示すように、例えば電車などの中で映画を鑑賞しようとした場合、ユーザ１００は、図１６（ａ）に示すように、表示部１により表示されている表示画像２００内のメニューから閲覧モードを選択する。このときの選択も、前述したように、頭部１０２の傾きを角度センサ４で検出することによってハンズフリーで行うことができる。   15 to 17 are explanatory diagrams illustrating examples of usage patterns in the browsing mode of the HMD. As shown in FIG. 15, for example, when a user tries to watch a movie on a train or the like, the user 100 uses a menu in the display image 200 displayed by the display unit 1 as shown in FIG. Select the viewing mode. Selection at this time can also be performed hands-free by detecting the tilt of the head 102 with the angle sensor 4 as described above.

また、閲覧モードにあっては、身体の部位と関連付けたフラッシュＲＯＭ４２上の仮想フォルダに１つのタイトルが保存されていることとしている。したがって、例えば、肘フォルダに保存されている映画を見る場合は、ユーザ１００は図１６（ｂ）に示すように、自分の左手の肘を所定時間（例えば２秒）正視する。   In the browsing mode, one title is stored in a virtual folder on the flash ROM 42 associated with a body part. Therefore, for example, when watching a movie stored in the elbow folder, the user 100 looks straight at the elbow of his / her left hand for a predetermined time (for example, 2 seconds) as shown in FIG.

すると、先のカメラモードの処理において説明したように、制御部３０は、ユーザ１００の頭部１０２の傾きと、画像の中央に設定された規定領域２５０内における肌色面積とからユーザ１００が「肘」を見ていると判定し、肘フォルダに保存されている映画タイトル（例えば「七人の用心棒」）を表示部１により表示する。   Then, as described in the previous camera mode process, the control unit 30 determines that the user 100 is “elbow” based on the inclination of the head 102 of the user 100 and the skin color area in the specified region 250 set at the center of the image. Is displayed, and the movie title (for example, “Seven Bouncers”) stored in the elbow folder is displayed on the display unit 1.

その映画タイトルが所望する映画であれば、図１７に示すように、ユーザ１００は、再生コマンドが割り付けられている腕を所定時間（例えば２秒）見つめる。すると、映画「七人の用心棒」が表示部１により再生される。   If the movie title is a desired movie, as shown in FIG. 17, the user 100 looks at the arm to which the playback command is assigned for a predetermined time (for example, 2 seconds). Then, the movie “Seven Bouncers” is reproduced by the display unit 1.

このように、本実施形態に係るＨＭＤを用いれば、電車の中であっても、横の客などから覗かれたりすることなく、所望の映画などのコンテンツなどを楽しむことができる。しかも、ハンズフリーで再生や停止ができるため、吊革などに掴まって立っている場合でも表示部１の操作に支障を来すことがない。   As described above, by using the HMD according to the present embodiment, it is possible to enjoy content such as a desired movie without being looked at by a side customer or the like even on a train. In addition, since it can be played back or stopped hands-free, it does not hinder the operation of the display unit 1 even when standing by holding on a hanging leather or the like.

ところで、この閲覧モードにおいても、カメラモード同様にキャリブレーションを行っている。すなわち、身体の部位と、この部位に応じた操作の情報とを、ＨＭＤを実際に使用するユーザ１００の体格などの特徴に合わせるようにしている。   By the way, in this browsing mode, calibration is performed as in the camera mode. That is, the body part and the operation information corresponding to this part are matched with features such as the physique of the user 100 who actually uses the HMD.

図１８は、キャリブレーション済みのデータテーブルの一例、図１９に示すものはユーザ１００の身体の部位の状態に操作コマンドを関連付けた第２のテーブルの一例であり、いずれもフラッシュＲＯＭ４２に記憶されている。   FIG. 18 shows an example of a calibrated data table, and FIG. 19 shows an example of a second table in which operation commands are associated with the state of the body part of the user 100, both of which are stored in the flash ROM 42. Yes.

図１８に示すように、映画タイトルで示される動画ファイルを保存する仮想フォルダと身体の部位とが、キャリブレーションを行うことによって予め関連付けられている。身体の部位の一例としては、ここでも「腕」、「肘」、「手」を用いており、図１６（ｂ）に示すように、左腕を前方に突き出し、肘を中心に略直角に曲げた状態のときの「腕」、「肘」、「手」が特定できるようにしている。   As shown in FIG. 18, a virtual folder that stores a moving image file indicated by a movie title and a body part are associated in advance by performing calibration. As an example of the body part, “arms”, “elbows”, and “hands” are also used here. As shown in FIG. 16B, the left arm is projected forward and bent at a substantially right angle around the elbow. The “arm”, “elbow”, and “hand” in the state of being touched can be specified.

また、この図１８で示したテーブルには、ユーザ１００が実際に前述した姿勢のときの「腕」、「肘」、「手」を見るために頭部１０２を動かしたときの角度センサ４の検出値と、その頭部角度においてＣＣＤカメラ２が撮像した撮像画像とが、頭部角度、パターン画像として身体の部位（「腕」、「肘」、「手」）に関連付けられている。   Further, in the table shown in FIG. 18, the angle sensor 4 when the user moves the head 102 to see the “arm”, “elbow”, and “hand” when the user 100 is actually in the above-described posture. The detected value and the captured image captured by the CCD camera 2 at the head angle are associated with the body part (“arm”, “elbow”, “hand”) as the head angle and pattern image.

ところで、このテーブルでは、「肘」が肘フォルダに対応し、動画ファイルとしては映画「七人の用心棒」が割り付けられている。また、「手」は手フォルダに対応しており、動画ファイルとしては映画「荒野のおくりびと」が割り付けられ、「腕」は腕フォルダに対応して動画ファイルとしては映画「鰆四十浪」が割り付けられている。   By the way, in this table, “elbow” corresponds to the elbow folder, and the movie “seven bouncers” is assigned as the moving image file. Also, “Hand” corresponds to the hand folder, and the movie “Wild Wilderness” is assigned as the movie file, and “Arm” corresponds to the arm folder, and the movie “鰆 40” is the movie file. Is assigned.

また、図１９に示すテーブルでは、ユーザ１００の身体の部位の状態に操作コマンドが関連付けられており、図示するように、「腕」は再生コマンド、「肘」は停止コマンド、「手」に関しては一時停止コマンドが関連付けられている。   In the table shown in FIG. 19, the operation command is associated with the state of the body part of the user 100. As shown in the figure, “arm” is a reproduction command, “elbow” is a stop command, and “hand” Associated with a pause command.

したがって、映画を再生中、ユーザ１００は、手を見つめたり、肘や腕を見つめたりすることによって映画の再生に関する操作をハンズフリーで行うことができる。   Therefore, during playback of a movie, the user 100 can perform operations related to playback of the movie in a hands-free manner by staring at the hand or staring at the elbow or arm.

このように、本実施形態によれば、ユーザ１００は本実施形態に係るＨＭＤを装着し、閲覧モードを選択した場合は、映画の鑑賞など関する操作をハンズフリーで正確に行うことが可能となる。   As described above, according to the present embodiment, when the user 100 wears the HMD according to the present embodiment and selects the viewing mode, it is possible to accurately perform operations related to watching a movie in a hands-free manner. .

なお、本実施形態における閲覧モードでは、映画などの動画ファイルを鑑賞（閲覧）することとしたが、勿論静止画像の閲覧であってもよい。   In the viewing mode according to the present embodiment, a movie file such as a movie is viewed (viewed), but of course, still image viewing may be performed.

上述してきた本実施形態によれば、以下の効果が期待できる。   According to the embodiment described above, the following effects can be expected.

（１）画像情報に応じた画像光５００をユーザ１００の眼に入射させ、前記画像情報に応じた表示画像２００を表示する表示部１（表示手段）を備えたＨＭＤにおいて、ユーザ１００の視野方向の所定範囲を撮像するＣＣＤカメラ２（撮像手段）と、ユーザ１００の頭部１０２の角度を検出する角度センサ４（頭部状態検出手段）と、ＣＣＤカメラ２により撮像した画像と前記検出したユーザ１００の頭部１０２の角度とによりユーザ１００の視野方向にある当該ユーザ１００の身体の部位（例えば、腕、肘、手など）を特定し、特定したユーザ１００の身体の部位の情報に応じた操作を実行する制御部３０（部位特定手段、制御処理手段として機能する）を備えているため、表示された表示画像２００をハンズフリーで楽しめるＨＭＤの操作を、視認するときと同じように、様々な操作についてもハンズフリーで確実に実行させることができる。   (1) The viewing direction of the user 100 in the HMD including the display unit 1 (display means) that displays the display image 200 according to the image information by causing the image light 500 according to the image information to enter the eyes of the user 100 A CCD camera 2 (imaging means) that captures a predetermined range, an angle sensor 4 (head state detection means) that detects an angle of the head 102 of the user 100, an image captured by the CCD camera 2, and the detected user The body part (for example, arm, elbow, hand, etc.) of the user 100 in the viewing direction of the user 100 is specified by the angle of the head 102 of the 100, and according to the information on the specified body part of the user 100 Since the control unit 30 (functioning as a part specifying unit and a control processing unit) that executes the operation is provided, the HMD operation that allows the displayed display image 200 to be enjoyed hands-free. The, as if to view, it is possible to reliably perform hands-free even for various operations.

（２）前記制御部３０は、特定したユーザ１００の身体の部位の状態を判定する部位状態判定手段としても機能し、特定した部位に対応する操作のうち、判定した部位の状態に応じた操作を実行するようにしたため、ハンズフリー操作をより確実に行わせることが可能になるとともに、操作の種類を多岐にわたらせることも可能となる。   (2) The control unit 30 also functions as a part state determination unit that determines the state of the body part of the identified user 100, and an operation corresponding to the determined part state among the operations corresponding to the identified part. Therefore, hands-free operation can be performed more reliably, and various types of operations can be performed.

（３）前記制御部３０は、特定したユーザ１００の身体の部位の状態として、ユーザ１００の身体の部位にユーザ１００の手が接触又は近接した状態か否かを判定することとしたので、身体部位を正確に特定することができる。   (3) Since the control unit 30 determines whether the body part of the user 100 is in contact with or close to the body part of the user 100 as the state of the body part of the user 100, The site can be accurately identified.

（４）前記制御部３０は、ユーザ１００の手に装着された装着具１１０を検出することによって、ユーザ１００の手の位置を検出することとしたので、簡単な制御で身体部位を正確に特定することが可能となる。   (4) Since the control unit 30 detects the position of the user's 100 hand by detecting the wearing tool 110 attached to the user's 100 hand, the body part is accurately identified by simple control. It becomes possible to do.

（５）ユーザ１００の身体の部位に操作の情報を関連付けたテーブルを記憶したフラッシュＲＯＭ４２など（記憶手段）を備え、前記制御部３０は、判定した部位に応じた操作の情報を前記テーブルが記憶されたフラッシュＲＯＭ４２などから読み出して、当該操作を実行するようにしたため、制御部３０は複雑な演算などが不要で処理の高速化が図れるとともに、制御部３０のＣＰＵ４０への負荷の軽減を図ることもできる。   (5) A flash ROM 42 or the like (storage means) that stores a table in which operation information is associated with a body part of the user 100 is provided (storage means), and the control unit 30 stores operation information corresponding to the determined part. Since the operation is performed by reading from the flash ROM 42 or the like, the control unit 30 does not require complicated calculations and the processing speed can be increased, and the load on the CPU 40 of the control unit 30 can be reduced. You can also.

（６）前記テーブルに情報を記憶した操作は、表示部１への表示画像２００の表示処理に対する操作としたため、ＨＭＤとしての使い勝手が良好となる。   (6) Since the operation storing information in the table is an operation for the display processing of the display image 200 on the display unit 1, the usability as the HMD is improved.

（７）ユーザ１００の身体の部位の状態に操作の情報を関連付けた第２のテーブルをフラッシュＲＯＭ４２（第２記憶手段）に記憶し、制御部３０は、前記第2のテーブルに基づき、ユーザ１００の身体の部位の状態に応じて、さらに表示部１への表示画像２００の表示処理に対する操作を実行することとしたため、ＨＭＤとしての使い勝手を良好としながら、制御部３０は複雑な演算などが不要で処理の高速化が図れるとともに、制御部３０のＣＰＵ４０への負荷の軽減を図ることもできる。   (7) A second table in which operation information is associated with the state of the body part of the user 100 is stored in the flash ROM 42 (second storage unit), and the control unit 30 is based on the second table. Since the operation for the display processing of the display image 200 on the display unit 1 is further executed in accordance with the state of the body part of the human body, the control unit 30 does not require complicated calculations while being easy to use as an HMD. Thus, the processing speed can be increased and the load on the CPU 40 of the control unit 30 can be reduced.

（８）前記制御部３０が部位特定手段として特定したユーザ１００の身体の部位に応じて、操作情報を前記テーブルに設定することとしたため、様々な操作を正確かつ高速に処理することが可能となる。   (8) Since the operation information is set in the table according to the body part of the user 100 specified as the part specifying means by the control unit 30, various operations can be processed accurately and at high speed. Become.

（９）前記制御部３０は、前記ＣＣＤカメラ２による撮像画像からユーザ１００の身体の部位を特定する情報を抽出して、前記テーブルに記憶するキャリブレーション手段として機能するため、ユーザ１００の個体差などに対応でき、ハンズフリーによる操作の精度を高めることができる。   (9) Since the control unit 30 functions as a calibration unit that extracts information specifying the body part of the user 100 from the image captured by the CCD camera 2 and stores the information in the table, the individual difference of the user 100 The accuracy of hands-free operation can be improved.

（１０）前記表示部１は、画像光５００を外光４００と共にユーザ１００の眼１０１に入射させ、外景と重ねて表示画像２００を表示可能としたため、当該ＨＭＤを装着したままでも何ら支障なく移動したりすることができ、しかも、移動した先々で表示部１をハンズフリーによって操作することができる。   (10) The display unit 1 makes the image light 500 incident on the eye 101 of the user 100 together with the external light 400 so that the display image 200 can be displayed so as to be superimposed on the external scene. In addition, the display unit 1 can be operated in a hands-free manner at the point of movement.

以上、実施形態を通して本発明を説明してきたが、本発明はこれらに限定されるものではない。例えば、ＨＭＤの操作に関連付けられる身体部位としては腕、肘、手を例に挙げて説明したが、これらに代えて、あるいは加えて、膝や足などを用いることもできる。また、上述した各効果は、本実施形態から生じる効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。   As mentioned above, although this invention has been demonstrated through embodiment, this invention is not limited to these. For example, the body parts associated with the operation of the HMD have been described by taking arms, elbows, and hands as examples. However, instead of or in addition to these, knees and legs can be used. Moreover, each effect mentioned above only enumerated the effect which arises from this embodiment, and the effect by this invention is not limited to what was described in this embodiment.

１ 表示部（表示手段）
１ａ 投影ユニット
１ｂ 光源ユニット
２ ＣＣＤカメラ（撮像手段）
３ コントロールユニット
４ 角度センサ（頭部状態検出手段）
３０ 制御部（部位特定手段、部位状態判定手段、制御処理手段、キャリブレーション手段）
３１ 主コントローラ
４０ ＣＰＵ
４２ フラッシュＲＯＭ（記憶手段、第２記憶手段）
１００ ユーザ
１０２ 頭部 1 Display section (display means)
1a Projection unit 1b Light source unit 2 CCD camera (imaging means)
3 Control unit 4 Angle sensor (head condition detection means)
30 control unit (part specifying means, part state determining means, control processing means, calibration means)
31 Main controller 40 CPU
42 Flash ROM (storage means, second storage means)
100 user 102 head

Claims (10)

画像情報に応じた画像光をユーザの眼に入射させ、前記画像情報に応じた画像を表示する表示手段を備えたヘッドマウントディスプレイにおいて、
前記ユーザの視野方向の所定範囲を撮像する撮像手段と、
前記ユーザの頭部の角度を検出する頭部状態検出手段と、
前記撮像手段により撮像した画像と前記検出した前記ユーザの頭部の角度とにより前記ユーザの視野方向にある当該ユーザの身体の部位を特定する部位特定手段と、
前記部位特定手段により特定したユーザの身体の部位の情報に応じた操作を実行する制御処理手段と、を備えたヘッドマウントディスプレイ。 In a head-mounted display having display means for causing image light according to image information to enter a user's eye and displaying an image according to the image information.
Imaging means for imaging a predetermined range in the user's visual field direction;
Head state detecting means for detecting an angle of the user's head;
A part specifying means for specifying a part of the user's body in the visual field direction of the user based on the image picked up by the image pickup means and the detected angle of the head of the user;
And a control processing unit that performs an operation according to information on a part of the user's body specified by the part specifying unit. 前記部位特定手段により特定した前記ユーザの身体の部位の状態を判定する部位状態判定手段を備え、
前記制御処理手段は、前記部位特定手段で特定した部位に対応する操作のうち前記部位状態判定手段により判定した前記部位の状態に応じた操作を実行することを特徴とする請求項１に記載のヘッドマウントディスプレイ。 Comprising a part state determining means for determining the state of the part of the user's body specified by the part specifying means;
2. The control processing unit according to claim 1, wherein the control processing unit executes an operation according to a state of the part determined by the part state determination unit among operations corresponding to the part specified by the part specifying unit. Head mounted display. 前記部位状態判定手段は、前記部位特定手段により特定した前記ユーザの身体の部位の状態として、前記ユーザの身体の部位にユーザの手が接触又は近接した状態か否かを判定することを特徴とする請求項２に記載のヘッドマウントディスプレイ。   The part state determining unit determines whether the user's hand is in contact with or close to the part of the user's body as the state of the user's body part specified by the part specifying unit. The head mounted display according to claim 2. 前記部位状態判定手段は、前記ユーザの手に装着された装着具を検出することによって、前記ユーザの手の位置を検出することを特徴とする請求項３に記載のヘッドマウントディスプレイ。   The head mounted display according to claim 3, wherein the part state determination unit detects the position of the user's hand by detecting a wearing tool attached to the user's hand. 前記ユーザの身体の部位に操作の情報を関連付けたテーブルを記憶した記憶手段を備え、
前記制御処理手段は、前記部位状態判定手段により判定した前記部位に応じた操作の情報を前記テーブルが記憶された記憶手段から読み出して、当該操作を実行することを特徴とする請求項２〜４のいずれか１項に記載のヘッドマウントディスプレイ。 Storage means for storing a table in which operation information is associated with the body part of the user;
5. The control processing unit reads out information on an operation corresponding to the part determined by the part state determination unit from a storage unit in which the table is stored, and executes the operation. The head mounted display of any one of these. 前記テーブルに情報を記憶した操作は、前記表示手段への画像の表示処理に対する操作であることを特徴とする請求項５に記載のヘッドマウントディスプレイ。   6. The head mounted display according to claim 5, wherein the operation storing information in the table is an operation for displaying an image on the display means. 前記ユーザの身体の部位の状態に操作の情報を関連付けた第２のテーブルを記憶した第２記憶手段を備え、
前記制御処理手段は、前記第2のテーブルに基づき、前記ユーザの身体の部位の状態に応じて、さらに前記表示手段への画像の表示処理に対する操作を実行することを特徴とする請求項６に記載のヘッドマウントディスプレイ。 Second storage means storing a second table in which operation information is associated with the state of the body part of the user;
The control processing means further executes an operation for an image display process on the display means according to a state of a body part of the user based on the second table. The described head mounted display. 前記部位特定手段により特定したユーザの身体の部位に応じて、操作情報を前記テーブルに設定することを特徴とする請求項５〜７のいずれか１項に記載のヘッドマウントディスプレイ。   The head-mounted display according to any one of claims 5 to 7, wherein operation information is set in the table according to a part of a user's body specified by the part specifying unit. 前記撮像手段による撮像画像から前記ユーザの身体の部位を特定する情報を抽出して、前記テーブルに記憶するキャリブレーション手段を備えたことを特徴とする請求項５〜８のいずれか１項に記載のヘッドマウントディスプレイ。   9. The apparatus according to claim 5, further comprising a calibration unit that extracts information specifying a body part of the user from an image captured by the imaging unit and stores the extracted information in the table. Head mounted display. 前記表示手段は、前記画像光を外光と共にユーザの眼に入射させ、外景と重ねて画像を表示可能としたことを特徴とする請求項１〜９のいずれか１項に記載のヘッドマウントディスプレイ。   The head-mounted display according to any one of claims 1 to 9, wherein the display unit allows the image light to be incident on a user's eye together with external light so that the image can be displayed so as to overlap the external scene. .
JP2009066514A 2009-03-18 2009-03-18 Head mounted display Expired - Fee Related JP5272827B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009066514A JP5272827B2 (en) 2009-03-18 2009-03-18 Head mounted display
PCT/JP2010/054585 WO2010107072A1 (en) 2009-03-18 2010-03-17 Head-mounted display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009066514A JP5272827B2 (en) 2009-03-18 2009-03-18 Head mounted display

Publications (2)

Publication Number Publication Date
JP2010218405A JP2010218405A (en) 2010-09-30
JP5272827B2 true JP5272827B2 (en) 2013-08-28

Family

ID=42739731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009066514A Expired - Fee Related JP5272827B2 (en) 2009-03-18 2009-03-18 Head mounted display

Country Status (2)

Country Link
JP (1) JP5272827B2 (en)
WO (1) WO2010107072A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9335547B2 (en) 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
WO2013028908A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
JP5821464B2 (en) * 2011-09-22 2015-11-24 セイコーエプソン株式会社 Head-mounted display device
JP2013206412A (en) * 2012-03-29 2013-10-07 Brother Ind Ltd Head-mounted display and computer program
EP2863382A4 (en) * 2012-06-18 2016-02-24 Sony Corp Image display device, image display program, and image display method
JP5904887B2 (en) * 2012-06-27 2016-04-20 株式会社オプティム Message transmission system, message transmission method, and program
JP6260613B2 (en) * 2013-02-22 2018-01-17 ソニー株式会社 Head mounted display system, head mounted display, head mounted display control program, image display method, and image display apparatus
JP5962547B2 (en) * 2013-03-08 2016-08-03 ソニー株式会社 Information processing apparatus, information processing method, and program
WO2014141504A1 (en) 2013-03-11 2014-09-18 Ｎｅｃソリューションイノベータ株式会社 Three-dimensional user interface device and three-dimensional operation processing method
JP6169462B2 (en) * 2013-09-30 2017-07-26 株式会社Ｎｔｔドコモ Information processing apparatus and information processing method
US10386637B2 (en) * 2014-01-15 2019-08-20 Maxell, Ltd. Information display terminal, information display system, and information display method
JP6065960B2 (en) * 2015-10-08 2017-01-25 セイコーエプソン株式会社 Head-mounted display device
JP6308249B2 (en) * 2016-07-14 2018-04-11 セイコーエプソン株式会社 Head-mounted display device and method
US10955971B2 (en) 2016-10-27 2021-03-23 Nec Corporation Information input device and information input method
JP7301615B2 (en) * 2019-06-17 2023-07-03 キヤノン株式会社 Electronic equipment and its control method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (en) * 1994-04-22 1996-01-12 Canon Inc Display device
JP2000148381A (en) * 1998-11-05 2000-05-26 Telecommunication Advancement Organization Of Japan Input image processing method, input image processor and recording medium on which input image processing program has been recorded
JP2004013326A (en) * 2002-06-04 2004-01-15 Canon Inc Image processor and its control method, computer program and computer readable storage medium
JP4927631B2 (en) * 2006-06-27 2012-05-09 パナソニック株式会社 Display device, control method therefor, program, recording medium, and integrated circuit
JP4883774B2 (en) * 2006-08-07 2012-02-22 キヤノン株式会社 Information processing apparatus, control method therefor, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9335547B2 (en) 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
US9921646B2 (en) 2013-03-25 2018-03-20 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device

Also Published As

Publication number Publication date
WO2010107072A1 (en) 2010-09-23
JP2010218405A (en) 2010-09-30

Similar Documents

Publication Publication Date Title
JP5272827B2 (en) Head mounted display
CN107430278B (en) User-based context sensitive hologram response
KR102179142B1 (en) Wearable food nutrition feedback system
US9767524B2 (en) Interaction with virtual objects causing change of legal status
US9967487B2 (en) Preparation of image capture device in response to pre-image-capture signal
CN103984097B (en) Head-mounted display apparatus, the control method of head-mounted display apparatus and image display system
JP2023517073A (en) Devices, methods, and graphical user interfaces for providing computer-generated experiences
JP6149403B2 (en) Display device and control method of display device
JP6277673B2 (en) Head-mounted display device and method for controlling head-mounted display device
JP6094305B2 (en) Head-mounted display device and method for controlling head-mounted display device
KR20150114977A (en) Projection optical system for coupling image light to a near-eye display
JP2017016056A (en) Display system, display device, display device control method, and program
JPH086708A (en) Display device
JP6554948B2 (en) Display device, display device control method, and program
JP2011070458A (en) Head-mounted display and imaging data using system including the same head-mounted display
KR20170135762A (en) Gaze detection system
JP6303274B2 (en) Head-mounted display device and method for controlling head-mounted display device
JP6638392B2 (en) Display device, display system, display device control method, and program
US20240020371A1 (en) Devices, methods, and graphical user interfaces for user authentication and device management
JP6740613B2 (en) Display device, display device control method, and program
JP2018042004A (en) Display device, head-mounted type display device, and method for controlling display device
JP6304415B2 (en) Head-mounted display device and method for controlling head-mounted display device
US10990197B2 (en) Display system, control program for information processing device, and method for controlling information processing device
WO2023203923A1 (en) Head-mounted information processing device, information processing method, recording medium
JP6669183B2 (en) Head mounted display and control method of head mounted display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130429

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5272827

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees