WO2010107072A1 - ヘッドマウントディスプレイ - Google Patents

ヘッドマウントディスプレイ Download PDF

Info

Publication number
WO2010107072A1
WO2010107072A1 PCT/JP2010/054585 JP2010054585W WO2010107072A1 WO 2010107072 A1 WO2010107072 A1 WO 2010107072A1 JP 2010054585 W JP2010054585 W JP 2010054585W WO 2010107072 A1 WO2010107072 A1 WO 2010107072A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
image
display
unit
head
Prior art date
Application number
PCT/JP2010/054585
Other languages
English (en)
French (fr)
Inventor
佐藤知裕
Original Assignee
ブラザー工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブラザー工業株式会社 filed Critical ブラザー工業株式会社
Publication of WO2010107072A1 publication Critical patent/WO2010107072A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/105—Scanning systems with one or more pivoting mirrors or galvano-mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present invention relates to a head mounted display.
  • an image display device that includes display means that causes image light according to image information to be incident on the user's eyes and allows the user to visually recognize an image according to the image information HMD.
  • the HMD is literally worn on the user's head, has a characteristic that allows hands-free viewing of images, and is suitable for carrying.
  • a display unit that is arranged so as to be positioned in front of the user's eyes and that displays an image
  • an external information acquisition unit such as an imaging unit that acquires external information
  • the external information acquisition unit There is a control means for controlling the operation of the display means based on the information (for example, see Patent Document 1).
  • the operation key is identified by identifying what is the object imaged as external information from image information acquired by the imaging means (external world information acquisition means) and associating the identified object with predetermined information. It is possible to cause the HMD to perform a predetermined operation without operating the above.
  • the HMD includes a display means, an imaging means, a head state detection means, a part specifying means, and a control processing means.
  • the display means causes image light corresponding to the image information to enter the user's eyes and displays an image corresponding to the image information.
  • the imaging means images a predetermined range in the visual field direction of the user.
  • the head state detecting means detects the angle of the user's head.
  • the part specifying unit specifies a part of the user's body in the visual field direction of the user based on the image captured by the imaging unit and the detected angle of the user's head.
  • the control processing means performs an operation according to information on a part of the user's body specified by the part specifying means.
  • a part of the user's body is specified by the image captured by the imaging unit and the detected angle of the user's head, and an operation according to the information on the specified part of the user's body Is executed. For this reason, it becomes possible to more reliably execute a hands-free operation. Further, it is a very effective memory technique to store the body part and the information to be stored in association with each other, and it is easy to store the body part and the information to be operated in association with each other. For this reason, when the user specifies a body part in order to perform a desired operation, the user can smoothly specify the part without hesitation or mistake. Therefore, the user can surely and quickly execute the hands-free operation without depending on the menu or the guidance.
  • the HMD further includes a part state determining unit that determines a state of the body part of the user specified by the part specifying unit, wherein the control processing unit includes an operation corresponding to the part specified by the part specifying unit. You may make it perform operation according to the state of the said site
  • Such a configuration makes it possible to perform a hands-free operation more reliably and to allow a wide variety of operation types.
  • the part state determination unit determines whether the user's hand is in contact with or close to the part of the user's body as the state of the user's body part specified by the part specifying unit. You may make it do.
  • This configuration makes it possible to accurately identify the body part.
  • the part state determination means may detect the position of the user's hand by detecting a wearing tool attached to the user's hand.
  • the HMD further includes a storage unit that stores a table in which operation information is associated with a part of the user's body, and the control processing unit stores operation information corresponding to the part determined by the part state determination unit.
  • the operation may be executed by reading from the storage means storing the table.
  • control processing means does not require complicated calculations and the processing speed can be increased, and the load on the control processing means can be reduced.
  • the operation for storing information in the table may be an operation for an image display process on the display means.
  • the HMD further includes a second storage unit that stores a second table in which operation information is associated with the state of the body part of the user, and the control processing unit is configured to store the user's body based on the second table. Depending on the state of the body part, an operation for displaying the image on the display unit may be further performed.
  • control processing means does not require a complicated calculation and the processing speed can be increased while improving the usability as an HMD, and the load on the control processing means can be reduced.
  • the operation information may be set in the table according to the part of the user's body specified by the part specifying means.
  • the HMD may include calibration means for extracting information for specifying the body part of the user from the image captured by the imaging means and storing the information in the table.
  • Such a configuration can cope with individual differences among users and improve the accuracy of hands-free operation.
  • the display means may make the image light incident on a user's eye together with external light and display an image superimposed on an external scene.
  • the HMD of the present invention is provided with a head state detection unit that detects the angle of the user's head, and is based on the image captured by the imaging unit and the angle of the user's head detected by the head state detection unit.
  • the part of the user's body is specified, and an operation according to the information on the specified part of the user's body is executed. For this reason, it is possible to more reliably execute a hands-free operation.
  • it is a very effective memory technique to store the body part and the information to be stored in association with each other, and it is easy to store the body part and the information to be operated in association with each other. For this reason, when the user specifies a body part in order to perform a desired operation, the user can smoothly specify the part without hesitation or mistake. Therefore, the user can surely and quickly execute the hands-free operation without depending on the menu or the guidance.
  • HMD Head Mount Display
  • the HMD includes a see-through type display unit 1 as a display means.
  • the display unit 1 reflects the image light 500 corresponding to the image information with the half mirror 10 and projects the image light 500 on the eye 101 of the user 100 in a state where a part of the external light 400 reaches at least one of the eyes 101 of the user 100. Then, the user 100 is caused to visually recognize the display image 200 superimposed on the outside scene.
  • the HMD includes a housing 13 and a control unit 3.
  • the housing 13 is attached to a mounting portion 11 having a substantially glasses shape that is mounted on the head 102 of the user 100.
  • the control unit 3 is connected to the housing 13 via the connection cable 52.
  • the display unit 1 of the HMD according to this embodiment includes a projection unit 1a housed in a housing 13 and a light source unit 1b housed in a control unit 3 as will be described in detail later. .
  • the user 100 if the user 100 stores the control unit 3 in a pocket or the like and attaches the HMD to the head 102, the user 100 can carry it in a hands-free state, whether indoors or outdoors, Various display images 200 can be viewed while viewing the outside scene.
  • the HMD according to the present embodiment two-dimensionally scans the image light generated based on the image signal, and projects the scanned image light onto the user's eye to form an image on the retina. It is a type.
  • the HMD according to the present embodiment is a see-through type in which image light is incident on the user's eyes together with external light, and the image is displayed superimposed on the external scene.
  • the configuration of the HMD is not limited as long as the HMD includes a display unit that causes image light according to the image information to enter the user's eyes and displays the image according to the image information.
  • the HMD according to the present embodiment includes a CCD camera 2 as an imaging unit that images a predetermined range in the visual field direction of the user 100.
  • the CCD camera 2 is a small camera attached to the housing 13 of the display unit 1 as shown in FIGS.
  • the CCD camera 2 can image the field of view of the user 100, and by analyzing the image data, it can be determined in which direction the user 100 is facing. Further, the user 100 can also view the captured image as the display image 200 on the display unit 1 by viewing the CCD camera 2 by closing the shutter.
  • the image information of the display image 200 includes content data created mainly by a personal computer (hereinafter referred to as “PC”) in addition to a captured image file captured by the CCD camera 2, or an Internet site via a PC.
  • the display unit 1 can display not only a still image but also a moving image such as a movie as image information of the display image 200. Therefore, the HMD according to the present embodiment can also reproduce audio data using the earphone 9.
  • the HMD according to the present embodiment includes an angle sensor 4 as a head state detection unit that detects the angle of the head 102 of the user 100.
  • an angle sensor 4 a magnetic sensor using geomagnetism, a tilt sensor that detects the direction of gravity, a gyro sensor, or the like is used alone or in combination.
  • the angle sensor 4 is provided inside the housing 13 as shown in FIG. 1, and can detect the inclination of the head 102 of the user 100 in a three-dimensional manner. That is, the angle sensor 4 can determine how much the head 102 is inclined in which direction by the vertical angle ⁇ and the horizontal angle ⁇ .
  • the HMD can display an image according to image information such as a file of a captured image captured by the CCD camera 2 or content data acquired via a PC.
  • image information such as a file of a captured image captured by the CCD camera 2 or content data acquired via a PC.
  • a menu screen is first displayed as a display image 200 as shown in FIG.
  • the camera mode or the browsing mode can be selected.
  • the camera mode a captured image can be displayed and stored, and in the browsing mode, content data can be played back and stopped.
  • an intention display is set in advance when selecting from the options displayed by the display unit 1 or corresponding to an intention display in which “Yes” is answered to the same displayed question. For example, “Yes, the user touches his / her abdomen and sees his / her hand” is set in advance as the intention display of Yes, and “No user's intention display” "See” is preset.
  • the HMD includes a part specifying unit and a control processing unit in addition to the CCD camera 2 and the angle sensor 4 described above.
  • the part specifying means is a part of the body of the user 100 in the viewing direction of the user 100 (hereinafter simply referred to as “body”) based on the image captured by the CCD camera 2 and the angle of the head 102 of the user 100 detected by the angle sensor 4. A region ").
  • the control processing means performs an operation according to information on the body part of the user 100 specified by the part specifying means.
  • the user 100 can cause the HMD to accurately perform a predetermined operation by merely looking at a part of his / her body without operating an operation key or the like.
  • the function as the part specifying means and the control processing means is borne by the control unit 30 that substantially controls the entire HMD.
  • the control unit 30 includes a storage unit as illustrated, and the storage unit stores a table in which operation information is associated with the body part of the user 100.
  • the operation is an operation for an image display process on the display unit 1, and is a concept including commands for displaying, saving, erasing, and reproducing and stopping for a moving image.
  • control unit 30 includes a second storage unit in which a second table in which operation information is associated with the state of the body part of the user 100 is stored. Based on the second table, the control unit 30 further performs an operation for displaying the image on the display unit 1 according to the state of the body part of the user 100. Note that the functions of the storage means and the second storage means are all performed by the flash memory 42 and the like which will be described in detail later.
  • the HMD according to the present embodiment is such that when the user 100 looks at a part of his / her body, such as a hand, arm, elbow, or knee, the body part viewed by the user 100 is an arm. If it is an arm or elbow, identify it as an elbow.
  • the HMD can display an image captured by the CCD camera 2 as the display image 200 or store the image in association with the body if the operation is in accordance with the specified part, for example, the camera mode.
  • the HMD can play or stop a moving image in the browsing mode.
  • control unit 30 (control processing means) The operation like this is performed.
  • the control unit 30 causes the display unit 1 to display the captured image as a display image 200 together with a message “Do you want to save this image?”.
  • the user 100 wants to store the captured image displayed on the display unit 1 in association with the elbow as described above, the user 100 moves the head 102 and looks straight at his / her elbow.
  • the landscape image (current display image 200) captured by the user 100 is stored in a predetermined area of the storage means, that is, in this case, a virtually defined elbow folder.
  • a file storage destination can be associated with a plurality of parts of the body of the user 100, such as an arm folder or a hand folder.
  • the control unit 30 controls processing means
  • the captured image is displayed as a display image 200 by the display unit 1.
  • the CCD camera 2 is attached so as to be able to image a range centering on the normal viewing direction among the viewing directions of the user 100. For this reason, when the user 100 looks straight at the elbow while trying to select the elbow folder, a captured image in which the elbow of the user 100 is the image center is obtained as shown in FIG. 4A.
  • control unit 30 (control processing means) first determines how much the head 102 is inclined in what direction based on the detection value of the angle sensor 4. Accordingly, the control unit 30 determines which part of the body part of the user 100 is near the face. Thereby, it is possible to distinguish whether the elbow image captured by the CCD camera 2 is the elbow of the other person or the elbow of another person in the direction of the head, and malfunction can be prevented.
  • the body part that the user 100 is looking at in this case is narrowed down to be “the central part of the left arm”.
  • the control unit 30 calculates the color temperature from the RGB value of each pixel included in the captured image data, and within the defined area 250 set at the center of the image, the pixel located at the center of the defined area 250. Sample the color temperature.
  • the control unit 30 recognizes a part shape from the outline of a region where pixels having a color temperature within a predetermined tolerance range with respect to the sampled color temperature.
  • the control unit 30 determines which of the plurality of model shapes stored in advance as the shape indicating each body part is recognized. When the control unit 30 determines that the model shape indicates “elbow”, the user 100 determines that the user is looking at “elbow”.
  • the control unit 30 determines that the area of the region where the pixels of the color temperature indicating the skin color are gathered (hereinafter also referred to as “skin color area”) It is determined which one of the plurality of model areas stored as the area value indicating the part corresponds to. When the control unit 30 determines that the skin color area corresponds to the model area indicating “elbow”, the control unit 30 can also determine that the user 100 is viewing “elbow”.
  • control unit 30 stores (saves) the image file in an area (corresponding to an elbow folder) defined in a storage unit such as a flash memory.
  • control unit 30 causes the display unit 1 to display the display image 200 including the message “Image 09001.JPG was saved in the elbow folder”, and the image captured by the user 100 is displayed. Informs that has been saved.
  • the control unit 30 also functions as a part state determining unit that determines the state of the body part of the user 100 specified by the part specifying unit (FIG. 3). That is, when the control unit 30 functions as a control processing unit, an operation corresponding to the state of the part determined by the part state determining unit is executed among the operations corresponding to the part specified by the part specifying unit. Therefore, it becomes possible to perform the operation by hands-free of the HMD more reliably, and it is possible to diversify the types of operations.
  • the state of the part includes, for example, a state where the hand of the user 100 is in contact with or close to the body part of the user 100.
  • the state in which the hand of the user 100 is in contact with or close to the body part is changed, for example, by adding the shape of the hand that is in contact with or close to the part shape detected for recognition as the body part. Can be detected and determined. Moreover, when the site
  • a plurality of image files captured by the user 100 with the CCD camera 2 so far are stored for each of a plurality of folders (elbow folder, arm folder, hand folder, etc.) by category. .
  • the desired image file is a person image and is stored in a hand folder.
  • the control unit 30 converts the plurality of image files stored in association with the hand into thumbnails and displays them. 1 is displayed.
  • the control unit 30 highlights the images sequentially, for example, by thickening the frame of the image.
  • the user 100 adds the right hand to the left hand that is staring when the image file to be displayed is highlighted. That is, the state of the body part changes with the right hand overlapping the left hand.
  • the control unit 30 determines that the currently displayed image file has been selected by adding the contour of another hand to the contour shape indicating one hand and changing the overall shape. Then, the control unit 30 displays the image file in the entire area of the display image 200 as illustrated in accordance with the determination result.
  • control unit 30 includes a calibration unit in order to execute an operation corresponding to the body part of the user 100 or the state of the part (FIG. 3).
  • the calibration means extracts information specifying the body part of the user 100 from the image captured by the CCD camera 2 and stores it in the table.
  • FIG. 6 shows an example of a calibrated data table.
  • the table shown in FIG. 6 is a table in which a virtual folder storing a captured image file and a body part are associated in advance by performing calibration, and is stored in the flash memory 42.
  • “left arm”, “left elbow”, and “left hand” are used as an example of a body part.
  • the detection value of the angle sensor 4 when the user 100 moves the head 102 to see “arm”, “elbow”, and “hand” when the user 100 is actually in the posture described above The captured image captured by the CCD camera 2 at the head angle is associated with the body part (“arm”, “elbow”, “hand”) as the head angle and pattern image.
  • the detection values from the angle sensor 4 can be obtained as ⁇ (vertical angle) and ⁇ (horizontal angle).
  • the table shown in FIG. 7 corresponds to a second table in which operation information is associated with the state of the body part of the user 100, and is also stored in the flash memory 42.
  • the second table has a pattern in which the other hand of the user 100 is in contact with or close to the “arm”, “hand”, and “elbow” of one of the users 100 (left side here) as shown in the figure.
  • Each associated command is associated with the entire display of the captured image.
  • the control unit 30 referring to the table shown in FIG. 7 displays the corresponding person image as the display image. 200 is displayed in the entire display area.
  • the user's 100 hand is detected by detecting the wearing tool 110 attached to the user's 100 hand. By detecting the position of the body part, the body part can be accurately specified.
  • the user 100 puts a specific color wearing tool 110 that is easy to recognize on the finger of the right hand.
  • the wearing tool 110 is located in the prescribed area 250 set at the center of the image captured by the CCD camera 2.
  • a pixel region of a specific color by the mounting tool 110 can be recognized.
  • the control unit 30 moves the center of the arm, that is, the elbow to the user 100. Can be determined to be watching.
  • the wearing tool 11 is not limited to a ring type as shown in the figure, but may be anything that can be worn on the hand, and includes gloves.
  • the user 100 when the user 100 wears the HMD according to the present embodiment and selects the camera mode, the user 100 can accurately display and save an image captured by the CCD camera 2 in a hands-free manner. Can be performed.
  • FIG. 9 shows an external configuration of the HMD.
  • the HMD is connected to the housing 13 attached to the mounting portion 11 attached to the head 102 of the user 100, and a connection cable 52 including an optical fiber cable 50, a transmission cable 51, an audio cable 99, and the like.
  • the control unit 3 connected to the housing 13.
  • the display unit 1 includes the projection unit 1 a housed in the housing 13 and the light source unit 1 b housed in the control unit 3.
  • the mounting portion 11 is made of a support member having a substantially glasses shape, and can be easily mounted as if it were glasses.
  • the mounting unit 11 is configured such that when mounted on the user's head 102, the housing 13 that houses the projection unit 1 a is positioned on the left front of the user 100.
  • the housing 13 is formed in a substantially L shape in plan view so as to cover the left eye portion and the left temple portion of the user 100 when the mounting portion 11 is mounted on the head 102 of the user 100.
  • the CCD camera 2 is disposed on the upper surface 13 a side of the housing 13.
  • the CCD camera 2 is connected to the control unit 30 of the control unit 3 via a power transmission cable 51.
  • the CCD camera 2 has an optical axis that is focused on the body part captured by the user's 100 line of sight when the user 100 views the body such as the user's 100 hand, arm, or leg.
  • the CCD camera 2 includes a shutter button (not shown), and an image can be taken by operating the shutter button.
  • the control unit 3 may be provided with an operation button for imaging, and the CCD camera 2 may perform manual imaging by pressing the imaging button.
  • the half mirror 10 is attached to the front end side of the housing 13 so as to be positioned in front of the left eye 101. Accordingly, the external light 400 is transmitted through the half mirror 10 and is incident on the left eye 101 of the user 100, and the image light 500 is reflected by the half mirror 10 and is incident on the eye 101 of the user 100 (FIG. 1). Of course, the external light 400 is also incident on the right eye 101. Therefore, the user 100 can naturally see the outside world while viewing the display image 200 even when the right eye 101 is closed, when both eyes 101 and 101 are opened.
  • the control unit 3 is configured so that the user 100 can be carried in a pocket of clothes (see FIG. 2).
  • a power switch 7 and a power lamp 8 are provided on the case surface of the control unit 3.
  • the control unit 30 housed in the control unit 3 together with the light source unit 1b can acquire image information and the like from an external PC or the like via the communication I / F 39. And the control part 30 is transmitting the acquired image information etc. to the image signal supply circuit 6 of the light source unit 1b. Connection to an external device such as a PC can be performed either wirelessly or wired.
  • the image signal supply circuit 6 of the light source unit 1b modulates the intensity of the acquired image information in units of pixels to form image light 500, and transmits the image light 500 to the projection unit 1a via the optical fiber cable 50.
  • the projection unit 1a can cause the user 100 to visually recognize the content image 200 by scanning the transmitted image light 500.
  • the audio circuit 45 provided in the control unit 30 can convert audio data included in content data acquired from a PC or the like into an audio signal and transmit it to the earphone 9 via the audio cable 99.
  • the HMD includes a display unit 1, a CCD camera 2, an angle sensor 4, and an earphone 9.
  • the display unit 1 includes the projection unit 1 a provided in the mounting unit 11 and the light source unit 1 b provided in the control unit 3.
  • the control unit 3 is also provided with a control unit 30 that controls the overall operation of the HMD.
  • the light source unit 1b reads image information from the image signal S supplied from the control unit 30 in units of pixels, and R (red), G (green), and B (blue) based on the read pixel information. Laser light whose intensity is modulated for each color is generated and emitted.
  • the light source unit 1b may be provided not in the control unit 3 but in the projection unit 1a.
  • the display unit 1 will be described by taking as an example a retinal scanning type display unit that projects two-dimensionally scanned laser light into the eye 101 of the user 100 and projects an image on the retina 101b.
  • a liquid crystal display unit can be used.
  • the liquid crystal display unit for example, a transmissive liquid crystal panel is irradiated with light from a light source, and the light transmitted through the liquid crystal panel is incident on the user's eyes as image light.
  • the light source unit 1b is provided with an image signal supply circuit 6 that generates a signal that is an element for synthesizing an image.
  • the control unit 30 When receiving the input of the image data supplied from the PC, the control unit 30 generates an image signal S based on the image data and sends it to the image signal supply circuit 6.
  • the image signal supply circuit 6 Based on the image signal S, the image signal supply circuit 6 generates each signal that is an element for forming the display image 200 in units of pixels. That is, the image signal supply circuit 6 generates and outputs an R (red) image signal 60r, a G (green) image signal 60g, and a B (blue) image signal 60b.
  • the image signal supply circuit 6 outputs a horizontal drive signal 61 used in the horizontal scanning unit 80 and a vertical drive signal 62 used in the vertical scanning unit 90, respectively.
  • the light source unit 1b also modulates the intensity based on the image signals 60r, 60g, and 60b of the R image signal 60r, the G image signal 60g, and the B image signal 60b output from the image signal supply circuit 6 in units of pixels.
  • the image light 500 that is the laser beam (also referred to as “light beam”) is emitted.
  • the light source unit 1b is provided with an R laser driver 66, a G laser driver 67, and a B laser driver 68 for driving the R laser 63, the G laser 64, and the B laser 65, respectively.
  • Each laser 63, 64, 65 can be configured as, for example, a semiconductor laser or a solid-state laser with a harmonic generation mechanism.
  • the drive current can be directly modulated to modulate the intensity of the laser beam.
  • each laser is equipped with an external modulator, and the intensity of the laser beam is modulated. Need to do.
  • the light source unit 1 b has collimating optical systems 71, 72, 73, dichroic mirrors 74, 75, 76, and a coupling optical system 77.
  • the collimating optical systems 71, 72, and 73 collimate the laser beams emitted from the lasers 63, 64, and 65 into parallel lights.
  • the dichroic mirrors 74, 75, and 76 combine the laser beams collimated by the collimating optical systems 71, 72, and 73.
  • the coupling optical system 77 guides the laser light combined by the dichroic mirrors 74, 75, 76 to the optical fiber cable 50.
  • the laser beams emitted from the lasers 63, 64, and 65 are collimated by the collimating optical systems 71, 72, and 73 and then enter the dichroic mirrors 74, 75, and 76, respectively. Thereafter, each of the laser beams is selectively reflected and transmitted with respect to the wavelength by these dichroic mirrors 74, 75, and 76.
  • the three primary color laser beams incident on these three dichroic mirrors 74, 75, and 76 are reflected or transmitted in a wavelength selective manner, reach the coupling optical system 77, and are collected and output to the optical fiber cable 50.
  • the projection unit 1a located between the light source unit 1b and the eye 101 of the user 100 includes a collimating optical system 79, a horizontal scanning unit 80, a vertical scanning unit 90, a first relay optical system 85, and a second relay.
  • An optical system 95 is provided.
  • the collimating optical system 79 collimates the laser light generated by the light source unit 1 b and emitted through the optical fiber cable 50.
  • the horizontal scanning unit 80 reciprocally scans the laser beam collimated by the collimating optical system 79 in the horizontal direction for image display.
  • the vertical scanning unit 90 scans the laser beam scanned in the horizontal direction by the horizontal scanning unit 80 in the vertical direction.
  • the first relay optical system 85 is provided between the horizontal scanning unit 80 and the vertical scanning unit 90.
  • the second relay optical system 95 is an optical system for emitting the laser beam thus scanned in the horizontal direction and the vertical direction to the pupil 101a.
  • the horizontal scanning unit 80 and the vertical scanning unit 90 scan in the horizontal direction and the vertical direction to scan the laser beam incident from the optical fiber cable 50 as an image so that the laser beam can be projected onto the retina 101b of the user 100. It is an optical system.
  • the horizontal scanning unit 80 horizontally drives a resonance type deflection element 81 having a deflection surface for scanning laser light in the horizontal direction, and a driving signal for causing the deflection element 81 to resonate and swing the deflection surface of the deflection element 81.
  • a horizontal scanning drive circuit 82 that is generated based on the signal 61 is provided.
  • the vertical scanning unit 90 vertically drives a non-resonance type deflection element 91 having a deflection surface for scanning the laser beam in the vertical direction and a drive signal for swinging the deflection surface of the deflection element 91 in a non-resonance state. And a vertical scanning control circuit 92 generated based on the signal 62.
  • the vertical scanning unit 90 vertically scans laser light for forming an image from the first horizontal scanning line toward the last horizontal scanning line for each frame of the image to be displayed.
  • the “horizontal scanning line” means one scanning in the horizontal direction by the horizontal scanning unit 80.
  • galvanometer mirrors are used as the deflection elements 81 and 91.
  • the deflection surface deflection surface
  • electrostatic driving any driving method such as driving or electrostatic driving may be used.
  • a resonance type deflection element is used for the horizontal scanning unit 80 and a non-resonance type deflection element is used for the vertical scanning unit 90.
  • a resonance type deflection element may be used.
  • the first relay optical system 85 that relays the laser light between the horizontal scanning unit 80 and the vertical scanning unit 90 converts the laser light scanned in the horizontal direction by the deflection surface of the deflection element 81 into the deflection surface of the deflection element 91. To converge. Then, the laser light is scanned in the vertical direction by the deflection surface of the deflection element 91, and the front of the eye 101 is passed through the second relay optical system 95 in which two lenses 95a and 95b having positive refractive power are arranged in series. The light is reflected by the half mirror 10 positioned at, and enters the pupil 101 a of the user 100.
  • the display image 200 corresponding to the image signal S is projected on the retina 101b.
  • the user 100 recognizes the laser light, which is the image light 500 incident on the pupil 101a, as the display image 200 (see FIGS. 1 and 2).
  • the respective laser beams are made substantially parallel to each other and converted into convergent laser beams by the lens 95a. Then, the laser light converted by the lens 95a is converted into substantially parallel laser light by the lens 95b, and the center line of these laser lights is converted so as to converge on the pupil 101a of the user 100.
  • Control unit 30 The control unit 30 executes predetermined processing according to a control program stored therein, thereby performing the above-described head state detecting means, part specifying means, control processing means, part state determining means, and calibration means. And so on.
  • control unit 30 indicates each controller 31, 32, 36, each VRAM (Video Random Access Memory) 33, 37, and a peripheral device interface (“I / F” in the figure). 38) and a communication I / F 39.
  • VRAM Video Random Access Memory
  • the main controller 31 includes a CPU (Central Processing Unit) 40, a program ROM (Read Only Memory) 41, a flash memory 42 which is a nonvolatile memory, and a RAM (Random Access Memory) 43.
  • the CPU 40, the program ROM 41, the flash memory 42, and the RAM 43 are connected to a data communication bus, and transmit and receive various information including the head angle from the angle sensor 4 through the data communication bus. I do.
  • the CPU 40 is an arithmetic processing unit that, as a main controller 31, operates various units included in the HMD and executes various functions included in the HMD by executing a control program stored in the program ROM 41.
  • the flash memory 42 stores image data output from the CCD camera 2 and the like, various tables necessary for operation control of the HMD, setting values of luminance of the display image 200, and the like.
  • the table stored in the flash memory 42 includes a table in which operation information is associated with the body part of the user and the state of the part, as shown in FIGS. 6, 7, 18, and 19. .
  • the CPU 40 can specify the body part of the user 100 in the visual field direction of the user 100 based on the image captured by the CCD camera 2 and the angle of the head 102 of the user 100 detected by the angle sensor 4. it can.
  • the HMD controller 32 controls the display unit 1 that is a display unit in response to a request from the main controller 31, and the image signal S based on the image data stored in the HMD VRAM 33 by the main controller 31 is displayed on the display unit 1.
  • the display unit 1 When the image signal S is input from the HMD controller 32, the display unit 1 generates and scans laser light of each color whose intensity is modulated based on the image signal S, and emits it to the eye 101 of the user 100. An image corresponding to the image signal S is projected onto the retina 101b.
  • the main controller 31 performs control to display an image.
  • the camera controller 36 controls the CCD camera 2 that is an imaging means.
  • the camera VRAM 37 temporarily stores image data output from the CCD camera 2.
  • the main controller 31 can acquire the image data output from the CCD camera 2 by outputting the image data output from the CCD camera 2 to the HMD VRAM 33 via the camera VRAM 37.
  • the main controller 31 controls the CCD camera 2 via the camera controller 36 in order to specify the body part of the user 100 in the viewing direction of the user 100.
  • the main controller 31 causes the CCD camera 2 to capture an image of the object in the direction facing the face of the user 100 within the visual field range of the user 100 so as to be approximately at the center position of the image display area by the display unit 1.
  • the main controller 31 acquires image data output from the CCD camera 2 via the camera VRAM 37. As a result, the main controller 31 can acquire an image captured by the CCD camera 2.
  • the main controller 31 determines how much the head 102 is tilted in which direction based on the detection value of the angle sensor 4, and thereby, which of the body parts of the user 100 is selected. It is determined whether the face is in the vicinity of the part. That is, the main controller 31 narrows down the body part that the user 100 is looking at, for example, “the center part of the left arm” or “the tip part of the left arm” by tilting the head 102.
  • the image captured by the CCD camera 2 is analyzed to detect a part shape, and the detected part shape is compared with a prestored model shape, thereby detecting the body part of the user 100.
  • a hand that is in contact with or close to the part of the body of the user 100 is also recognized.
  • image processing can be performed at high speed by separately configuring an image processing unit in the main controller 31 with hardware.
  • Peripheral device I / F 38 is an interface for connecting peripheral device 5 such as power switch 7, content display switch, and lamps (not shown) to main controller 31.
  • peripheral device 5 such as power switch 7, content display switch, and lamps (not shown)
  • the main controller 31 receives operation information from the switches such as the power switch 7 and the content display switch as the peripheral device I / F 38. Receive from.
  • the main controller 31 supplies lamp lighting information to the lamps via the peripheral device I / F 38.
  • the communication I / F 39 controls the main controller 31 and the PC so that they can communicate with each other.
  • the main controller 31 requests the PC to supply image data via the communication I / F 39
  • the HMD controller 32 sends an image signal S based on the image data supplied from the PC via the communication I / F 39. This is supplied to the display unit 1.
  • the CCD camera 2 is used as the imaging means.
  • the present invention is not limited to this, and a CMOS camera or the like may be used.
  • FIG. 13 shows a flow of imaging processing which is an example of camera mode processing
  • FIG. 14 shows a flow of image data display processing which is also an example of camera mode processing.
  • the power switch 7 of the HMD is already turned on, and the initial setting process after the power switch 7 is turned on is all completed.
  • 13 and 14 are processes when the camera mode has already been selected (see FIG. 2).
  • the CPU 40 of the main controller 31 uses the display unit 1 to look at a specific part of the body (here, one of the left elbow, left hand, and left arm) and An instruction comment is displayed to the user 100 so as to input a determination trigger (step S101).
  • the user 100 views the instructed body part and inputs a determination trigger by, for example, pressing an operation button (not shown) as a determination trigger provided in the control unit 3.
  • the angle sensor 4 may be used instead of the button operation, and the determination trigger may be that the inclination of the head 102 of the user 100 detected by the angle sensor 4 has become a predetermined inclination.
  • the CPU 40 acquires the determination trigger input by the user 100 (step S102).
  • the CPU 40 gives the name of the body part instructed to view the head tilt data when the determination trigger is input and the image data captured by the CCD camera 2 when the determination trigger is input in step S101. And stored in the table (step S103).
  • the data of the tilt of the head when the determination trigger is input is a data value detected by the angle sensor 4.
  • step S104 the CPU 40 determines whether or not all necessary body parts to be set have been associated.
  • the CPU 40 repeats the associating process for the necessary body parts until all the processes are completed, and when all the processes are completed, the calibration process is terminated. In this way, the table shown in FIG. 6 is generated.
  • imaging processing by the CCD camera 2 will be described as an example of camera mode processing with reference to FIG. As shown in FIG. 13, the CPU 40 determines whether or not the shutter operation of the CCD camera 2 has been performed (step S201).
  • step S201 Yes
  • the CPU 40 causes the display unit 1 to display the captured image as illustrated in FIG. 4A (step S202). At this time, the CPU 40 also displays a message asking whether or not to save the image.
  • the user 100 looks at the part of the body where the image is to be stored (saved).
  • the landscape is stored in the elbow (elbow folder), the person is stored in the hand (hand folder), and the other is stored in the arm (arm folder).
  • step S203 the CPU 40 identifies the body part that the user 100 is looking at. That is, the CPU 40 detects the tilt of the head 102 of the user 100 from the detection value of the angle sensor 4 and narrows down the body part estimated to be viewed by the user 100 from the detected tilt of the head. The CPU 40 narrows down the body part, obtains image data from the CCD camera 2 attached to the head 102, and stores information on the body part where the narrowed body part and the captured image match in the flash memory 42. Get from table.
  • the CPU 40 determines from the state of the image captured by the CCD camera 2 whether or not the specified part is continuously viewed for a predetermined time (for example, 2 seconds) (step S204). For example, the CPU 40 determines that the line of sight of the user 100 is fixed when there is no change in the imaging data for a predetermined time.
  • a predetermined time for example, 2 seconds
  • step S204: Yes When the CPU 40 determines that the specified part is continuously viewed for a predetermined time (for example, 2 seconds) (step S204: Yes), the CPU 40 proceeds to step S205, and when it is determined that the specified part is not continuously viewed (step S204: No). Moves the process to step S206.
  • a predetermined time for example, 2 seconds
  • step S205 the CPU 40 saves the captured image file in a folder associated with the identified part. That is, the CPU 40 stores it in a predetermined area of the flash memory 42.
  • step S204 the CPU 40 determines that the specific part is not continuously viewed, and causes the display unit 1 to display a comment as to whether or not to delete the captured image file (step S206).
  • step S206 If the CPU 40 determines from the detection value of the angle sensor 4 that the head 102 of the user 100 has shaken up and down (step S206: Yes), the CPU 40 deletes the captured image file (step S207). On the other hand, if the CPU 40 determines that the head 102 of the user 100 has swung from side to side (step S206: No), the process proceeds to step S203. At this time, the CPU 40 may cause the display unit 1 to display a comment such as “please continue to look at the place to save” for at least two seconds.
  • the user 100 can store the image captured by the CCD camera 2 in a hands-free manner without performing a button operation or a switch operation.
  • the save destination is associated with a part of the body, the user 100 can easily store the save destination folder.
  • the CPU 40 detects the inclination of the head 102 of the user 100 from the detection value of the angle sensor 4 as shown in FIG. 14 (step S301). Then, the CPU 40 narrows down the body part estimated to be viewed by the user 100 from the detected head inclination (step S302). Further, the CPU 40 acquires imaging data from the CCD camera 2 mounted on the head 102 (step S303). Regarding the flow of steps S301 to S303, the order of the steps is not necessarily limited.
  • the CPU 40 determines whether there is information on the body part in which the narrowed-down body part and the captured image match in the table of the flash memory 42 (step S304). If the CPU 40 determines that it is not in the table (step S304: No), it moves the process to step S301. That is, until it is determined that there is a body part on the table, the user 100 finely adjusts the inclination of the head 102 to repeat the processes of steps S301 to S304.
  • step S304 When the CPU 40 determines that there is information on the body part in which the narrowed body part and the captured image match in the table of the flash memory 42 (step S304: Yes), the image (information) corresponding to the detected body part ) Is displayed (step S305).
  • the CPU 40 displays a list of person images stored in the hand folder which is a virtual folder as a thumbnail. .
  • the CPU 40 displays a list of person images stored in the hand folder which is a virtual folder as a thumbnail.
  • the body part is an elbow
  • a landscape image is displayed as a thumbnail
  • images of other categories are displayed as thumbnails.
  • the CPU 40 sequentially highlights one by one during thumbnail display.
  • the user 100 When the user 100 selects an image to be displayed from among the thumbnails, the user 100 presents a hand (for example, the right hand) to the body part associated with the category of the image at the timing when the displayed image is highlighted, and brings it into contact or proximity. .
  • a hand for example, the right hand
  • step S306 the CPU 40 determines whether or not the right hand at this time is in contact with or close to the body part. In other words, the CPU 40 determines whether or not the state of the body part has changed because the contour shape of the right hand overlaps the contour shape of the left hand. Further, in the case of the hand, the CPU 40 determines whether or not the skin color area has increased due to the skin color area of the right hand being captured by the CCD camera 2 and whether or not the state of the body part has changed. Can also be determined.
  • step S306 when it is not determined that the right hand is in contact with or close to the body part (step S306: No), the CPU 40 returns the process to step S305. At this time, it is preferable for the CPU 40 to display a message such as “Please shift the position of the right hand slightly forward / backward / left / right” to the user 100 by the display unit 1.
  • step S306 when it is determined that the right hand is in contact with or close to the body part (step S306: Yes), the CPU 40 displays the image corresponding to the thumbnail highlighted at this timing, that is, the entire image selected by the user 100. The image is displayed on the display unit 1 (step S307), and the image display process is terminated.
  • the user 100 can display a desired image in a hands-free manner without any special button operation or switch operation. Further, by repeating the processes of steps S301 to S307, image display can be performed continuously.
  • the user 100 after the camera mode is selected, the user 100 performs an operation for saving the captured image, an operation for calling the saved image and causing the display unit 1 to display the button, It is possible to perform hands-free operation without performing a switch operation or the like.
  • 15 to 17 are explanatory diagrams showing examples of usage patterns in the browsing mode of the HMD.
  • the user 100 selects a viewing mode from a menu in the display image 200 displayed by the display unit 1 as shown in FIG. 16A. select.
  • the selection at this time can also be performed hands-free by the user 100 detecting the tilt of the head 102 with the angle sensor 4 as described above.
  • one title is stored in the virtual folder on the flash memory 42 associated with the body part. Therefore, for example, when watching a movie stored in the elbow folder, the user 100 looks at the elbow of his left hand for a predetermined time (for example, 2 seconds) as shown in FIG. 16B.
  • a predetermined time for example, 2 seconds
  • the control unit 30 determines that the user 100 is “elbow” based on the inclination of the head 102 of the user 100 and the skin color area in the specified region 250 set at the center of the image. " Then, the control unit 30 causes the display unit 1 to display the movie title (for example, “Seven Bouncers”) stored in the elbow folder.
  • the user 100 looks at the arm to which the playback command is assigned for a predetermined time (for example, 2 seconds). Then, the movie “Seven Bouncers” is reproduced by the display unit 1.
  • the user 100 can enjoy content such as a desired movie without being looked at by a side customer or the like even on a train. .
  • it since it can be played back or stopped hands-free, it does not hinder the operation of the display unit 1 even when standing by holding on a hanging leather or the like.
  • this browsing mode calibration is performed as in the camera mode. That is, the body part and the operation information corresponding to this part are matched with features such as the physique of the user 100 who actually uses the HMD.
  • FIG. 18 is an example of a calibrated data table
  • FIG. 19 is an example of a second table in which an operation command is associated with the state of the body part of the user 100. These tables are all stored in the flash memory 42.
  • a virtual folder that stores a moving image file indicated by a movie title and a body part are associated in advance by performing calibration.
  • body part “arm”, “elbow”, and “hand” are also used here, and as shown in FIG. 16B, the left arm protrudes forward and is bent at a substantially right angle around the elbow.
  • the “arm”, “elbow”, and “hand” at the time are identified.
  • the detection value of the angle sensor 4 and the captured image captured by the CCD camera 2 are the head angle and the body part (“arm”, “elbow”, “Hand”).
  • the detection value of the angle sensor 4 is a detection value when the head 102 is moved in order to see the “arm”, “elbow”, and “hand” when the user 100 is actually in the posture described above.
  • the captured image captured by the CCD camera 2 is an image captured by the CCD camera 2 at a head angle when the user 100 moves the head 102.
  • the operation command is associated with the state of the body part of the user 100.
  • “arm” is a reproduction command
  • “elbow” is a stop command
  • “hand” Associated with a pause command.
  • the user 100 can perform operations relating to playback of the movie in a hands-free manner by staring at a hand or staring at an elbow or an arm.
  • the present embodiment when the user 100 wears the HMD according to the present embodiment and selects the viewing mode, it is possible to accurately perform operations related to watching a movie in a hands-free manner. .
  • a movie file such as a movie is viewed (viewed), but of course, still image viewing may be performed.
  • Display section (display means) 1a Projection unit 1b Light source unit 2 CCD camera (imaging means) 3 Control unit 4 Angle sensor (head condition detection means) 30 control unit (part specifying means, part state determining means, control processing means, calibration means) 31 Main controller 40 CPU 42 Flash memory (storage means, second storage means) 100 user 102 head

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　ＨＭＤにおいて、画像情報に応じた画像光をユーザの眼に入射させ、前記画像情報に応じた画像を表示する表示手段と、前記ユーザの視野方向の所定範囲を撮像する撮像手段と、前記ユーザの頭部の角度を検出する頭部状態検出手段と、前記撮像手段により撮像した画像と前記検出した前記ユーザの頭部の角度とにより前記ユーザの視野方向にある当該ユーザの身体の部位を特定する部位特定手段と、前記部位特定手段により特定したユーザの身体の部位の情報に応じた操作を実行する制御処理手段と、を備える構成とした。

Description

ヘッドマウントディスプレイ
　本発明は、ヘッドマウントディスプレイに関する。
　従来、画像表示装置の一つとして、画像情報に応じた画像光をユーザの眼に入射させ、前記画像情報に応じた画像をユーザに視認させるようにした表示手段を備えるヘッドマウントディスプレイ（以下、ＨＭＤとする）が知られている。
　ＨＭＤは、文字通りユーザの頭部に装着されるものであり、ハンズフリーで画像を視認できる特性があり、持ち運びに適している。
　そこで、前記特性をより活かすために、操作キーなどの操作を不要とすることによってユーザの操作負担をなくした表示装置が提案されている。
　ＨＭＤには、例えば、ユーザの目の前方に位置するように配置されて画像の表示を行う表示手段と、外界情報を取得する撮像手段などの外界情報取得手段と、この外界情報取得手段で取得された情報に基づいて、上記表示手段の動作を制御する制御手段とを備えるものがある（例えば特許文献１参照）。
　前記構成により、撮像手段（外界情報取得手段）により取得した画像情報などから、外界情報として撮像した対象物が何であるかを識別し、識別したものと所定の情報とを関連付けることで、操作キーなどを操作することなく、ＨＭＤに所定の動作を行わせることが可能となる。
特開２００８-８３２９０号公報
　しかしながら、撮像された画像情報から、撮像された対象物が何であるかを確実に識別することは難しく、誤動作が引き起こされるおそれが多々あった。
　そこで、ハンズフリーでより確実に所望する操作を行うことのできるＨＭＤが望まれている。
　上記目的を達成するために、本発明の一つの観点によれば、ＨＭＤは、表示手段と、撮像手段と、頭部状態検出手段と、部位特定手段と、制御処理手段とを備える。表示手段は、画像情報に応じた画像光をユーザの眼に入射させ、前記画像情報に応じた画像を表示する。撮像手段は、前記ユーザの視野方向の所定範囲を撮像する。頭部状態検出手段は、前記ユーザの頭部の角度を検出する。部位特定手段は、前記撮像手段により撮像した画像と前記検出した前記ユーザの頭部の角度とにより前記ユーザの視野方向にある当該ユーザの身体の部位を特定する。制御処理手段は、前記部位特定手段により特定したユーザの身体の部位の情報に応じた操作を実行する。
　このような構成にすることにより、撮像手段により撮像した画像と、検出したユーザの頭部の角度とによりユーザの身体の部位が特定され、特定されたユーザの身体の部位の情報に応じた操作が実行される。このため、ハンズフリーによる動作をより確実に実行することが可能となる。また、身体の部位と記憶したい情報を関連させて記憶することは非常に有効な記憶術であり、身体の部位と操作させたい情報とを関連付けて記憶することは容易である。このため、ユーザは、希望する操作を行うために身体の部位を特定する際に、迷ったり、間違えたりすることなくスムーズにその特定を行うことができる。したがって、ユーザは、メニューやガイダンスに頼ることなくハンズフリーによる操作を確実にすばやく実行させることができる。
　また、ＨＭＤにおいて、前記部位特定手段により特定した前記ユーザの身体の部位の状態を判定する部位状態判定手段を備え、前記制御処理手段は、前記部位特定手段で特定した部位に対応する操作のうち前記部位状態判定手段により判定した前記部位の状態に応じた操作を実行するようにしてもよい。
　このような構成にすることにより、ハンズフリー操作をより確実に行わせることが可能になるとともに、操作の種類を多岐にわたらせることも可能となる。
　また、ＨＭＤにおいて、前記部位状態判定手段は、前記部位特定手段により特定した前記ユーザの身体の部位の状態として、前記ユーザの身体の部位にユーザの手が接触又は近接した状態か否かを判定するようにしてもよい。
　このような構成にすることにより、身体部位を正確に特定することができる。
　また、ＨＭＤにおいて、前記部位状態判定手段は、前記ユーザの手に装着された装着具を検出することによって、前記ユーザの手の位置を検出するようにしてもよい。
　このような構成にすることにより、ユーザの手の位置を検出することとしたので、簡単な制御で身体部位を正確に特定することが可能となる。
　また、ＨＭＤにおいて、前記ユーザの身体の部位に操作の情報を関連付けたテーブルを記憶した記憶手段を備え、前記制御処理手段は、前記部位状態判定手段により判定した前記部位に応じた操作の情報を前記テーブルが記憶された記憶手段から読み出して、当該操作を実行するようにしてもよい。
　このような構成にすることにより、制御処理手段は複雑な演算などが不要で処理の高速化が図れるとともに、制御処理手段への負荷の軽減を図ることもできる。
　また、ＨＭＤにおいて、前記テーブルに情報を記憶した操作は、前記表示手段への画像の表示処理に対する操作であることとしてもよい。
　このような構成にすることにより、ＨＭＤとしての使い勝手が良好となる。
　また、ＨＭＤにおいて、前記ユーザの身体の部位の状態に操作の情報を関連付けた第２のテーブルを記憶した第２記憶手段を備え、前記制御処理手段は、前記第２テーブルに基づき、前記ユーザの身体の部位の状態に応じて、さらに前記表示手段への画像の表示処理に対する操作を実行するようにしてもよい。
　このような構成にすることにより、ＨＭＤとしての使い勝手を良好としながら、制御処理手段は複雑な演算などが不要で処理の高速化が図れるとともに、制御処理手段への負荷の軽減を図ることもできる。
　また、ＨＭＤにおいて、前記部位特定手段により特定したユーザの身体の部位に応じて、操作情報を前記テーブルに設定するようにしてもよい。
　このような構成にすることにより、様々な操作を正確かつ高速に処理することが可能となる。
　また、ＨＭＤにおいて、前記撮像手段による撮像画像から前記ユーザの身体の部位を特定する情報を抽出して、前記テーブルに記憶するキャリブレーション手段を備えるようにしてもよい。
　このような構成にすることにより、ユーザの個体差などに対応でき、ハンズフリーによる操作の精度を高めることができる。
　また、ＨＭＤにおいて、前記表示手段は、前記画像光を外光と共にユーザの眼に入射させ、外景と重ねて画像を表示可能としてもよい。
　このような構成にすることにより、ＨＭＤを装着したままでも何ら支障なく移動したりすることができ、しかも、移動した先々で表示部をハンズフリーによって操作することができる。
　本発明のＨＭＤでは、ユーザの頭部の角度を検出する頭部状態検出手段が備えられ、撮像手段により撮像された画像と、頭部状態検出手段により検出されたユーザの頭部の角度とによりユーザの身体の部位が特定され、特定されたユーザの身体の部位の情報に応じた操作が実行される。このため、ハンズフリーによる動作をより確実に実行させることが可能となる。また、身体の部位と記憶したい情報を関連させて記憶することは非常に有効な記憶術であり、身体の部位と操作させたい情報とを関連付けて記憶することは容易である。このため、ユーザは、希望する操作を行うために身体の部位を特定する際に、迷ったり、間違えたりすることなくスムーズにその特定を行うことができる。したがって、ユーザは、メニューやガイダンスに頼ることなくハンズフリーによる操作を確実にすばやく実行させることができる。
実施形態に係るＨＭＤの光の進路を示す説明図である。 同ＨＭＤの装着状態を示す説明図である。 同ＨＭＤの概要構成図である。 同ＨＭＤのカメラモードにおける使用状態の一例を示す説明図である。 同ＨＭＤのカメラモードにおける使用状態の一例を示す説明図である。 同ＨＭＤのカメラモードにおける使用状態の一例を示す説明図である。 同ＨＭＤのカメラモードにおける使用状態の一例を示す説明図である。 同ＨＭＤのカメラモードにおける使用状態の一例を示す説明図である。 ユーザの身体の部位に操作の情報を関連付けたキャリブレーション済みのテーブルの一例を示す説明図である。 ユーザの身体の部位の状態に操作の情報を関連付け第２のテーブルの一例を示す説明図である。 ユーザの身体の部位を特定する方法の変形例を示す説明図である。 実施形態に係るＨＭＤの外観構成を示す説明図である。 同ＨＭＤの電気的構成及び光学的構成を示したブロック図である。 制御部の構成を示すブロック図である。 キャリブレーションの処理の流れを示す説明図である。 カメラモードの処理の一例の流れを示した説明図である。 撮像処理の流れを示す説明図である。 実施形態に係るＨＭＤの閲覧モードにおける使用状態の一例を示す説明図である。 同ＨＭＤの閲覧モードにおける使用状態の一例を示す説明図である。 同ＨＭＤの閲覧モードにおける使用状態の一例を示す説明図である。 同ＨＭＤの閲覧モードにおける使用状態の一例を示す説明図である。 閲覧モードに用いられるキャリブレーション用のデータテーブルの一例を示す説明図である。 身体の一部とコマンドとの割り付けを示す割付テーブルの一例を示す説明図である。
　以下、本実施形態に係るＨＭＤ（Head Mount Display）の一例について、図面を参照して説明する。
［１．ＨＭＤの概要］
　図１に示すように、本実施形態に係るＨＭＤは、シースルー型の表示部１を表示手段として備える。表示部１は、外光４００の一部が少なくともユーザ１００のいずれかの眼１０１に到達する状態で、画像情報に応じた画像光５００をハーフミラー１０で反射させてユーザ１００の眼１０１に投射し、ユーザ１００に表示画像２００を外景と重ねて視認させる。
　図２に示すように、ＨＭＤは、筐体１３とコントロールユニット３とを備える。筐体１３は、ユーザ１００の頭部１０２に装着される略眼鏡形状とした装着部１１に取り付けられる。コントロールユニット３は、接続ケーブル５２を介して筐体１３と接続される。そして、本実施形態に係るＨＭＤの表示部１は、後に詳述するように、筐体１３に収納された投影ユニット１ａと、コントロールユニット３に収納配設された光源ユニット１ｂとから構成される。
　したがって、図２に示すように、ユーザ１００は、コントロールユニット３をポケットなどに収納してＨＭＤを頭部１０２に装着すれば、ハンズフリーの状態で持ち運ぶことができ、室内、屋外を問わず、外景を見ながら様々な表示画像２００を視認することができる。
　このように、本実施形態に係るＨＭＤは、画像信号に基づいて生成した画像光を２次元的に走査し、その走査した画像光をユーザの眼に投射して網膜上に結像させる網膜走査型である。なおかつ、本実施形態に係るＨＭＤは、画像光を外光と共にユーザの眼に入射させ、画像を外景と重ねて表示するシースルー型である。しかし、画像情報に応じた画像光をユーザの眼に入射させ、前記画像情報に応じた画像を表示する表示手段を備えたＨＭＤであれば、その構成は何ら限定されるものではない。
　また、本実施形態に係るＨＭＤは、ユーザ１００の視野方向の所定範囲を撮像する撮像手段としてのＣＣＤカメラ２を備えている。
　ＣＣＤカメラ２は、図１及び図２に示すように、表示部１の筐体１３に取り付けられる小型のものである。ＣＣＤカメラ２は、ユーザ１００の視野範囲を撮像することができ、この撮像データを解析することにより、ユーザ１００がどの方向に顔を向けているかを判定することができる。また、ユーザ１００は、ＣＣＤカメラ２のシャッタを切ることで、撮像した画像を表示画像２００として表示部１により表示させて視認することもできる。
　なお、表示画像２００の画像情報は、ＣＣＤカメラ２で撮像した撮像画像のファイルの他、主にパーソナルコンピュータ（以下「ＰＣ」と呼ぶ）などにより作成されたコンテンツデータ、あるいはＰＣを介してインターネットサイトやＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどの記録媒体から取得されたコンテンツデータである。表示部１は、表示画像２００の画像情報として、静止画のみならず、例えば映画などのような動画の表示も可能である。そのために、本実施形態に係るＨＭＤはイヤホン９を用いて音声データを再生することもできる。
　また、本実施形態に係るＨＭＤは、ユーザ１００の頭部１０２の角度を検出する頭部状態検出手段としての角度センサ４を備えている。角度センサ４としては、地磁気を利用した磁気センサ、重力方向を検知する傾斜センサ、ジャイロセンサなどが単独あるいは組み合わせて用いられる。
　この角度センサ４は、図１に示すように、筐体１３の内部に設けられており、ユーザ１００の頭部１０２の傾きを三次元的に検出することができる。すなわち、角度センサ４により、頭部１０２がどの方向にどの程度傾いているかを、上下方向角度θ、水平方向角度φで決定することができる。
　このように、本実施形態に係るＨＭＤは、ＣＣＤカメラ２で撮像した撮像画像のファイルやＰＣを介して取得したコンテンツデータなどの画像情報に応じた画像を表示することができる。このＨＭＤにおいて、電源が投入されると、図２に示すように、表示画像２００として、先ずメニュー画面が表示される。メニュー画面は、カメラモードと閲覧モードとのいずれかを選択することができるようになっている。カメラモードでは撮像画像の表示や保存を行うことができ、閲覧モードではコンテンツデータの再生、停止などを行うことができる。
　そして、いずれのモードを選択するかを、角度センサ４を用いたユーザ１００の頭部１０２の傾きなどの検出によるハンズフリーで行うことが可能となっている。本実施形態では、表示部１により表示された選択肢から選択する場合や、同じく表示された設問に「Ｙｅｓ」と答える意思表示に対応する場合についての意思表示が予め設定されている。例えば、Ｙｅｓの意思表示として、「ユーザは自分の腹部に手を当ててその手を見る」などが予め設定され、Ｎｏの意志表示として、「ユーザは手を頭の前方に挙げた状態で手を見る」などが予め設定されている。
　さらに、本実施形態に係るＨＭＤは、上述したＣＣＤカメラ２及び角度センサ４に加え、部位特定手段と、制御処理手段とを備える。部位特定手段は、ＣＣＤカメラ２により撮像した画像と、角度センサ４により検出したユーザ１００の頭部１０２の角度とによりユーザ１００の視野方向にある当該ユーザ１００の身体の部位（以下、単に「身体部位」という場合もある）を特定する。制御処理手段は、部位特定手段により特定したユーザ１００の身体の部位の情報に応じた操作を実行する。
　すなわち、ユーザ１００は、操作キーなどを操作することなく、自分の身体の部位を見つめるだけで、ＨＭＤに所定の動作を正確に行わせることができる。
　部位特定手段及び制御処理手段としての機能は、図３に示すように、実質的にはＨＭＤ全体を制御する制御部３０が担っている。なお、この制御部３０は、後に詳述するが、図示するように記憶手段を備えており、この記憶手段には、ユーザ１００の身体の部位に操作の情報を関連付けたテーブルが記憶されている。ここで、操作とは、表示部１への画像の表示処理に対する操作であり、表示、保存、消去、さらに動画などであれば再生、停止などのコマンドを含む概念である。
　また、制御部３０は、ユーザ１００の身体の部位の状態に操作の情報を関連付けた第２のテーブルが記憶された第２記憶手段を備えている。制御部３０は、この第２のテーブルに基づき、ユーザ１００の身体の部位の状態に応じて、さらに表示部１への画像の表示処理に対する操作を実行する。なお、記憶手段及び第２記憶手段の機能は、いずれも後に詳述するフラッシュメモリ４２などにより担われる。
　このような構成により、本実施形態に係るＨＭＤは、ユーザ１００が自分の身体の一部、例えば、手や腕や肘、あるいは膝などを見ると、ユーザ１００の見た身体の部位を腕なら腕、肘なら肘と特定する。そして、ＨＭＤは、特定した部位に応じた操作、例えばカメラモードであれば、ＣＣＤカメラ２で撮像した画像を表示画像２００として表示したり、あるいは身体に関連付けて保存したりすることができる。また、ＨＭＤは、閲覧モードであれば、動画の再生あるいは停止などを行うことができる。
　例えばカメラモードの場合であれば、ファイルを保存する記憶手段上の仮想フォルダと身体の部位とを、予め関連付けさせてテーブル化して記憶しておけば、制御部３０（制御処理手段）は、次のような動作を行う。制御部３０は、図２に示すような風景をＣＣＤカメラ２で撮像すると、「この画像を保存しますか？」のメッセージとともに撮像画像を表示画像２００として表示部１により表示させる。
　ユーザ１００は、このように表示部１に表示される撮像画像を、肘に関連付けさせて保存したい場合、頭部１０２を動かして自分の肘を正視する。
　そうすると、ユーザ１００が撮像した風景の画像（現在の表示画像２００）が、記憶手段の所定領域、すなわち、この場合は仮想的に規定された肘フォルダに記憶される。
　何らかのものを身体の一部と関連付けて記憶することは、記憶術としてもポピュラーである。このため、ユーザ１００は、例えばこの場合の風景の画像などの保存先は肘フォルダである、といったことを記憶しやすい。したがって、ユーザ１００は、この画像を呼び出す場合も容易に肘フォルダから探し出すことができる。当然ながら、肘フォルダの他に、腕フォルダ、手フォルダなどのように、ファイル保存先を、ユーザ１００の身体の複数の部位と関連付けておくことができる。
　撮像画像をハンズフリーにより保存操作する場合についてより詳しく説明する。例えば、図２に示した風景をＣＣＤカメラ２で撮像したとすると、図４Ａに示すように、制御部３０（制御処理手段）は、「この画像０９００１．ＪＰＧを保存しますか？」のメッセージとともに撮像画像を表示画像２００として表示部１により表示させる。
　本実施形態に係るＣＣＤカメラ２は、ユーザ１００の視野方向のうち、正視方向を中心とした範囲を撮像可能に取付けられている。このため、ユーザ１００が肘フォルダを選択しようとして肘を正視した場合、図４Ａに示すように、ユーザ１００の肘が画像中心となるような撮像画像が得られる。
　また、制御部３０（制御処理手段）は、先ず、角度センサ４の検出値により、頭部１０２がどの方向にどれだけ傾いているかを判定する。これによって、制御部３０は、ユーザ１００の身体の部位のうちいずれの部位近傍に顔面が向いているかを判定する。これにより、CCDカメラ２で撮像された肘の画像が自分の肘か他人の肘かを頭部の方向で区別でき、誤動作を防止することができる。
　つまり、この場合のユーザ１００が見つめている身体部位は「左腕の中央部分」であると絞られることになる。そして、制御部３０は、撮像画像のデータに含まれる各画素のＲＧＢ値から色温度を算出し、画像の中央に設定された規定領域２５０内において、同規定領域２５０の中央に位置する画素の色温度をサンプルする。そして、制御部３０は、サンプルした色温度に対して所定の許容差範囲内の色温度の画素が集合した領域の輪郭から部位形状を認識する。そして、制御部３０は、認識した部位形状が予め各身体の部位を示す形状として記憶しておいた複数のモデル形状のいずれに相当するかを判定する。そして、制御部３０は、「肘」を示すモデル形状に相当すると判定した場合、ユーザ１００は「肘」を見ていると判定する。
　なお、制御部３０は、例えば、腕などが露出している場合であれば、肌色を示す色温度の画素が集合した領域の面積（以下、「肌色面積」とも呼ぶ）が、予め各身体の部位を示す面積値として記憶しておいた複数のモデル面積のいずれに相当するかを判定する。そして、制御部３０は、肌色面積が「肘」を示すモデル面積に相当すると判定した場合、ユーザ１００は「肘」を見ていると判定することもできる。
　そして、その判定状態が所定時間（例えば２秒）連続した場合、制御部３０は、フラッシュメモリなどの記憶手段に規定された領域（肘フォルダに相当）に画像ファイルを記憶する（保存する）。
　そして、制御部３０は、図４Ｂに示すように、表示部１により、「肘フォルダに画像０９００１．ＪＰＧを保存しました」のメッセージが含まれる表示画像２００を表示させ、ユーザ１００に撮像した画像が保存されたことを報知する。
　また、制御部３０は、前記部位特定手段により特定したユーザ１００の身体の部位の状態を判定する部位状態判定手段としても機能する（図３）。つまり、制御部３０が制御処理手段として機能する場合、部位特定手段で特定した部位に対応する操作のうち、当該部位状態判定手段により判定した部位の状態に応じた操作を実行する。したがって、ＨＭＤのハンズフリーによる操作をより確実に行わせることが可能になるとともに、操作の種類を多岐にわたらせることができる。
　ここで、部位の状態には、例えば、ユーザ１００の身体の部位にユーザ１００の手が接触又は近接した状態が含まれている。
　身体の部位にユーザ１００の手が接触又は近接した状態は、例えば、身体の部位として認識するために検出していた部位形状に、さらに接触又は近接した手の形状が加わることによって形状が変化したことを検出して判定することができる。また、肌色面積で部位が検出されていた場合、肌色面積に、さらに接触又は近接した手によって肌色面積が増加したことを検出して判定することもできる。
　例えば、これまでにユーザ１００によってＣＣＤカメラ２で撮像された複数の画像ファイルが、前述したように、複数のフォルダ（肘フォルダ、腕フォルダ、手フォルダなど）毎にカテゴリー別に保存されているとする。
　ユーザ１００が、所望する画像ファイルを表示させたい場合、例えば、所望する画像ファイルが人物画像であって、それが手フォルダに保存されているとする。その場合、図５Ａに示すように、ユーザ１００が自分自身の手（ここでは左手）を見ると、制御部３０は、手に関連付けられて記憶されている複数の画像ファイルをサムネイル化して表示部１により表示する。これとともに、制御部３０は、図示するように、例えば画像の枠を太くしたりするなどして、順次、強調表示していく。
　ユーザ１００は、図５Ｃに示すように、表示したい画像ファイルが強調表示された際に、見つめていた左手に右手を添える。すなわち、左手に右手が重なる状態となって身体の部位の状態が変化する。
　制御部３０で、一つの手を示す輪郭形状に他の手の輪郭が加わり、全体の形状が変化したことにより、制御部３０は、現在表示中の画像ファイルが選択されたと判定する。そして、制御部３０は、その判定結果に応じて、図示するように、当該画像ファイルを表示画像２００の全領域に表示する。
　また、制御部３０は、ユーザ１００の身体の部位、あるいはその部位の状態に応じた操作を実行するために、キャリブレーション手段を備えている（図３）。キャリブレーション手段は、ＣＣＤカメラ２による撮像画像からユーザ１００の身体の部位を特定する情報を抽出して、テーブルに記憶する。
　すなわち、身体の部位とこの部位に応じた操作の情報とがデフォルトで設定されていたとしても、実際にＨＭＤを用いるユーザ１００の骨格や体質、さらには姿勢などによっては、身体の部位を見る際の頭部１０２の角度はそれぞれ異なると考えられる。そこで、ＨＭＤを使用するに先立って、キャリブレーションが行われる。このようにキャリブレーションを行うようにしたため、ユーザ１００の個体差などにも対応でき、ハンズフリーによる操作の精度を高めることができる。
　図６は、キャリブレーション済みのデータテーブルの一例を示す。図６に示すテーブルは、撮像画像のファイルを保存する仮想フォルダと身体の部位とを、キャリブレーションを行うことによって予め関連付けさせたテーブルであり、フラッシュメモリ４２に記憶されている。ここでは、身体の部位の一例として、「左腕」、「左肘」、「左手」を用いるようにしている。そして、図４に示すように、左腕を前方に突き出し、肘を中心に略直角に曲げた状態のときの「腕」、「肘」、「手」を特定することができる。
　図６で示すテーブルには、ユーザ１００が実際に前述した姿勢のときの「腕」、「肘」、「手」を見るために頭部１０２を動かしたときの角度センサ４の検出値と、その頭部角度においてＣＣＤカメラ２が撮像した撮像画像とが、頭部角度、パターン画像として身体の部位（「腕」、「肘」、「手」）に関連付けられる。なお、本実施形態では、角度センサ４からの検出値は、θ（上下方向角度）、φ（水平方向角度）として得ることができる。
　ところで、このテーブルでは、「肘」が肘フォルダに対応し、画像カテゴリーとして風景画像が割り付けられている（図４参照）。同じように、「手」は手フォルダに対応して画像カテゴリーとしては人物画像が割り付けられ（図５Ａ、図５Ｂ参照）、「腕」は腕フォルダに対応して画像カテゴリーとしてはその他画像が割り付けられている。
　また、図７に示すテーブルは、ユーザ１００の身体の部位の状態に操作の情報を関連付けた第２のテーブルに相当するものであり、これもフラッシュメモリ４２に記憶されている。この第２のテーブルには、図示するように、ユーザ１００の一方（ここでは左方）の「腕」、「手」、「肘」にユーザ１００の他方の手が接触又は近接した状態がパターン画像として関連付けられている。そして、それぞれの対応コマンドとしては、撮像画像の全体表示が対応付けられている。
　こうして、前述したように、カメラモードにおいて、ユーザ１００は、例えばＣＣＤカメラ２で撮像して保存しておいた所定の人物画像を表示させたい場合、「手」を見ることで手フォルダ内の複数の人物画像がサムネイルで表示される。所望する人物画像が強調表示されたときに、その手にユーザ１００の他の手が添えられた状態になると、図７に示すテーブルを参照した制御部３０は、該当する人物画像を、表示画像２００として表示領域全体に表示する。
　ところで、図７からも分かるように、本実施形態では、ユーザ１００の身体の部位の状態が判定される場合、ユーザ１００の身体の部位にユーザ１００の手が接触又は近接した状態か否かが判定されるものとして説明した。
　このように、ユーザ１００の身体の部位の状態を判定することで、ユーザ１００が見ている身体部位の特定だけで行える操作の数よりも多くの操作を正確に行うことも可能となる効果がある。
　また、ユーザ１００の身体の部位の状態を判定してユーザ１００が見ている身体部位を正確に特定するとした場合、ユーザ１００の手に装着された装着具１１０を検出することによってユーザ１００の手の位置を検出することにより、当該身体部位を正確に特定することもできる。
　例えば、図８に示すように、ユーザ１００は、右手の指に、認識しやすい特定の色の装着具１１０を嵌めておく。そして、ユーザ１００が肘を見つめ、かつ肘に手を置いた場合、ＣＣＤカメラ２が撮像した画像の中央に設定された規定領域２５０内には装着具１１０が位置しているため、ＣＰＵ４０は、装着具１１０による特定の色の画素領域を認識することができる。
　したがって、角度センサ４の検出値により、頭部１０２がどの方向にどれだけ傾いているかが判定され、ユーザ１００が見つめている身体部位が「左腕の中央部分」であると絞られる。そして、さらに、特定の色の画素が所定面積だけ集合した領域が画面の座標中央に位置することが検出されると、制御部３０は、腕の中央部分のその中央、すなわち、肘をユーザ１００は見ていると判定することができる。
　このように、ユーザ１００の手に装着された装着具１１０を検出することによってユーザ１００の手の位置を検出すれば、ユーザ１００が見ている身体部位を正確に特定することができる。なお、装着具１１としては、図示するような指輪タイプのみならず、手に装着できるものであれば何でもよく、手袋なども含まれる。
　こうして、本実施形態によれば、ユーザ１００は、本実施形態に係るＨＭＤを装着し、カメラモードを選択した場合は、ＣＣＤカメラ２で撮像した画像の表示や保存の操作を、ハンズフリーで正確に行うことが可能となる。
［２．ＨＭＤの電気的構成及び光学的構成を含む具体的構成］
　ここで、ＨＭＤの外観構成、電気的構成及び光学的構成を含むより具体的構成について詳細に説明する。
（ＨＭＤの外観）
　図９にＨＭＤの外観構成を示す。図示するように、ＨＭＤは、ユーザ１００の頭部１０２に装着される装着部１１に取り付けられた筐体１３と、光ファイバケーブル５０や電送ケーブル５１や音声ケーブル９９などからなる接続ケーブル５２を介して当該筐体１３と接続されたコントロールユニット３とを備えている。そして、筐体１３に収納された投影ユニット１ａと、コントロールユニット３に収納配設された光源ユニット１ｂとから表示部１が構成される。なお、装着部１１は、略眼鏡形状とした支持部材からなり、あたかも眼鏡のようにして簡単に装着することができる。装着部１１は、ユーザの頭部１０２へ装着されたときに、投影ユニット１ａを収納した筐体１３がユーザ１００の顔面左前方に位置するように構成されている。
　本実施形態に係る筐体１３は、装着部１１がユーザ１００の頭部１０２へ装着されたとき、ユーザ１００の左眼部分と左側こめかみ部分とを被覆するような平面視略Ｌ字形状に形成されている。そして、この筐体１３の上面１３ａ側にＣＣＤカメラ２が配設されている。ＣＣＤカメラ２は、電送ケーブル５１を介してコントロールユニット３の制御部３０に接続されている。ＣＣＤカメラ２は、ユーザ１００が当該ユーザ１００の手や腕や脚などの身体を正視したときに、ユーザ１００の視線が捉えた身体の部位に焦点が合うように光軸が合わせられている。さらに、このＣＣＤカメラ２は、図示しないシャッタボタンを備えており、このシャッタボタンの操作により撮像することができる。なお、コントロールユニット３に撮像用の操作ボタンを設け、その撮像ボタンを押すことで、ＣＣＤカメラ２によって手動撮像させる構成であっても良い。
　また、図示するように、筐体１３の先端側には、左の眼１０１の前方に位置するようにハーフミラー１０が取り付けられている。これにより、外光４００はハーフミラー１０を透過させられてユーザ１００の左の眼１０１に入射させられ、画像光５００はハーフミラー１０で反射させられてユーザ１００の眼１０１に入射させられる（図１参照）。また、当然ながら、外光４００は右の眼１０１にも入射している。したがって、ユーザ１００は、両眼１０１，１０１を開けている場合は当然のこと、右の眼１０１を閉じた状態であっても、表示画像２００を見ながら外界を見ることができる。
　コントロールユニット３は、ユーザ１００が衣服のポケットなどに収納して携行可能に構成される（図２参照）。コントロールユニット３のケース表面には電源スイッチ７と電源ランプ８とが設けられている。また、このコントロールユニット３内に光源ユニット１ｂとともに収納配設された制御部３０は、通信Ｉ／Ｆ３９を介して画像情報などを外部のＰＣなどから取得可能となっている。そして、制御部３０は、取得した画像情報などを、光源ユニット１ｂの画像信号供給回路６に送信している。なお、ＰＣなどの外部機器との接続は無線、有線いずれでも可能である。
　光源ユニット１ｂの画像信号供給回路６は、取得した画像情報を画素単位で強度変調して画像光５００を形成し、この画像光５００を、光ファイバケーブル５０を介して投影ユニット１ａへ伝送する。投影ユニット１ａは、伝送された画像光５００を走査してユーザ１００にコンテンツ画像２００を視認させることができる。
　また、制御部３０に設けられた音声回路４５は、ＰＣなどから取得したコンテンツデータに含まれる音声データを音声信号に変換して、音声ケーブル９９を介してイヤホン９に伝送することができる。
　図１０及び図１１に示すように、ＨＭＤは表示部１、ＣＣＤカメラ２、角度センサ４及びイヤホン９を備える。表示部１は、前述したように装着部１１に設けられた投影ユニット１ａと、コントロールユニット３に配設された光源ユニット１ｂとから構成されている。
　このコントロールユニット３には、ＨＭＤ全体の動作を統括制御する制御部３０も配設されている。光源ユニット１ｂは、この制御部３０から供給される画像信号Ｓから画像情報を画素単位で読み出し、読み出した画素単位の画像情報に基づいてＲ（赤色），Ｇ（緑色），Ｂ（青色）の各色毎に強度変調されたレーザ光を生成して出射する。
　なお、光源ユニット１ｂは、コントロールユニット３内ではなく、投影ユニット１ａ内に設けられてもよい。また、本実施形態では表示部１として２次元的に走査したレーザ光をユーザ１００の眼１０１に入射し網膜１０１ｂ上に画像を投影する網膜走査型の表示部を例に挙げて説明するが、これに限らず、例えば、液晶型の表示部を用いることもできる。液晶型の表示部としては、例えば、透過型液晶パネルに光源からの光を照射してこの液晶パネルを透過した光を画像光としてユーザの眼に入射する透過型のものや、反射型液晶パネルに光源からの光を照射してこの液晶パネルを反射した光を画像光としてユーザの眼に入射する反射型のものがある。
（光源ユニット１ｂ）
　光源ユニット１ｂには、画像を合成するための要素となる信号等を発生する画像信号供給回路６が設けられている。制御部３０は、ＰＣから供給される画像データの入力を受けると、その画像データに基づいて画像信号Ｓを生成して画像信号供給回路６に送る。画像信号供給回路６は、画像信号Ｓに基づいて、表示画像２００を形成するための要素となる各信号を画素単位で生成する。すなわち、画像信号供給回路６からは、Ｒ（赤色）画像信号６０ｒ，Ｇ（緑色）画像信号６０ｇ，Ｂ（青色）画像信号６０ｂが生成されて出力される。また、画像信号供給回路６は、水平走査部８０で使用される水平駆動信号６１と、垂直走査部９０で使用される垂直駆動信号６２とをそれぞれ出力する。
　また、光源ユニット１ｂは、画像信号供給回路６から画素単位で出力されるＲ画像信号６０ｒ、Ｇ画像信号６０ｇ、Ｂ画像信号６０ｂの各画像信号６０ｒ，６０ｇ，６０ｂをもとに、それぞれ強度変調されたレーザ光（「光束」とも呼ぶ。）である画像光５００を出射する。このため、光源ユニット１ｂには、Ｒレーザ６３，Ｇレーザ６４，Ｂレーザ６５をそれぞれ駆動するためのＲレーザドライバ６６，Ｇレーザドライバ６７，Ｂレーザドライバ６８が設けられている。各レーザ６３，６４，６５は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、レーザ光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えてレーザ光の強度変調を行う必要がある。
　さらに、光源ユニット１ｂは、コリメート光学系７１，７２，７３と、ダイクロイックミラー７４，７５，７６と、結合光学系７７とを有する。コリメート光学系７１，７２，７３は、各レーザ６３，６４，６５より出射されたレーザ光を平行光にコリメートする。ダイクロイックミラー７４，７５，７６は、コリメート光学系７１，７２，７３によりコリメートされたレーザ光を合波する。結合光学系７７は、ダイクロイックミラー７４，７５，７６により合波されたレーザ光を光ファイバケーブル５０に導く。
　従って、各レーザ６３，６４，６５から出射したレーザ光は、コリメート光学系７１，７２，７３によってそれぞれ平行化された後に、ダイクロイックミラー７４，７５，７６に入射される。その後、これらのダイクロイックミラー７４，７５，７６により、各レーザ光が波長に関して選択的に反射・透過される。そして、これら３つのダイクロイックミラー７４，７５，７６にそれぞれ入射した３原色のレーザ光は、波長選択的に反射または透過して結合光学系７７に達し、集光されて光ファイバケーブル５０へ出力される。
　（投影ユニット１ａ）
　光源ユニット１ｂとユーザ１００の眼１０１との間に位置する投影ユニット１ａには、コリメート光学系７９と、水平走査部８０と、垂直走査部９０と、第１リレー光学系８５と、第２リレー光学系９５とが設けられている。コリメート光学系７９は、光源ユニット１ｂで生成され、光ファイバケーブル５０を介して出射されるレーザ光を平行光化する。水平走査部８０は、コリメート光学系７９で平行光化されたレーザ光を画像表示のために水平方向に往復走査する。垂直走査部９０は、水平走査部８０で水平方向に走査されたレーザ光を垂直方向に走査する。第１リレー光学系８５は、水平走査部８０と垂直走査部９０との間に設けられる。第２リレー光学系９５は、このように水平方向と垂直方向に走査されたレーザ光を瞳孔１０１ａへ出射するための光学系である。
　水平走査部８０及び垂直走査部９０は、光ファイバケーブル５０から入射されたレーザ光を画像としてユーザ１００の網膜１０１ｂに投影可能な状態にするために、水平方向と垂直方向に走査して走査光束とする光学系である。水平走査部８０は、レーザ光を水平方向に走査するため偏向面を有する共振型の偏向素子８１と、この偏向素子８１を共振させて偏向素子８１の偏向面を揺動させる駆動信号を水平駆動信号６１に基づいて発生する水平走査駆動回路８２を備えている。
　一方、垂直走査部９０は、レーザ光を垂直方向に走査するため偏向面を有する非共振型の偏向素子９１と、この偏向素子９１の偏向面を非共振状態で揺動させる駆動信号を垂直駆動信号６２に基づいて発生する垂直走査制御回路９２とを備える。垂直走査部９０は、表示すべき画像の１フレームごとに、画像を形成するためのレーザ光を最初の水平走査線から最後の水平走査線に向かって垂直に走査する。ここで「水平走査線」とは、水平走査部８０による水平方向への１走査を意味する。
　なお、偏向素子８１，９１は、ここではガルバノミラーを用いることとするが、レーザ光を走査するようにその偏向面（反射面）を揺動又は回転させられるものであれば、圧電駆動、電磁駆動、静電駆動等いずれの駆動方式によるものであってもよい。また、本実施形態においては、水平走査部８０に共振タイプの偏向素子が用いられ、垂直走査部９０に非共振タイプの偏向素子が用いられているが、これに限らず、例えば、どちらも非共振タイプの偏向素子とされてもよい。
　また、水平走査部８０と垂直走査部９０との間でレーザ光を中継する第１リレー光学系８５は、偏向素子８１の偏向面によって水平方向に走査されたレーザ光を偏向素子９１の偏向面に収束させる。そして、このレーザ光が偏向素子９１の偏向面によって垂直方向に走査され、正の屈折力を持つ２つのレンズ９５ａ，９５ｂが直列配置された第２リレー光学系９５を介して、眼１０１の前方に位置させたハーフミラー１０で反射されてユーザ１００の瞳孔１０１ａに入射する。このように瞳孔１０１ａにレーザ光が入射することで、網膜１０１ｂ上に画像信号Ｓに応じた表示画像２００が投影される。これにより、ユーザ１００はこのように瞳孔１０１ａに入射する画像光５００であるレーザ光を、表示画像２００として認識する（図１及び図２参照）。
　なお、第２リレー光学系９５においては、レンズ９５ａによって、それぞれのレーザ光がそのレーザ光の中心線を相互に略平行にされ、かつそれぞれ収束レーザ光に変換される。そして、レンズ９５ａによって変換されたレーザ光は、レンズ９５ｂによってそれぞれほぼ平行なレーザ光となると共に、これらのレーザ光の中心線がユーザ１００の瞳孔１０１ａに収束するように変換される。
（制御部３０）
　制御部３０は、その内部に記憶されている制御プログラムにしたがって所定の処理を実行することによって、前述した頭部状態検出手段、部位特定手段、制御処理手段、部位状態判別手段、及びキャリブレーション手段等として機能する。
　図１１に示すように、制御部３０は、各コントローラ３１，３２，３６と、各ＶＲＡＭ（Video Random Access Memory）３３，３７と、周辺機器インターフェース（図中「Ｉ／Ｆ」と示し、以下「Ｉ／Ｆ」とも呼ぶ）３８と、通信Ｉ／Ｆ３９とを備えている。
　主コントローラ３１は、ＣＰＵ（Central  Processing  Unit）４０と、プログラムＲＯＭ（Read　Only　Memory）４１と、不揮発性メモリであるフラッシュメモリ４２と、ＲＡＭ（Random　Access　Memory）４３とを備える。ＣＰＵ４０、プログラムＲＯＭ４１、フラッシュメモリ４２、及びＲＡＭ４３は、データ通信用のバスにそれぞれ接続され、このデータ通信用のバスを介して、角度センサ４からの頭部角度などをはじめとする各種情報の送受信を行う。
　ＣＰＵ４０は、プログラムＲＯＭ４１に記憶されている制御プログラムを実行することにより、主コントローラ３１として、ＨＭＤを構成する各部を動作させて、当該ＨＭＤが備える各種機能を実行させる演算処理装置である。
　また、フラッシュメモリ４２は、ＣＣＤカメラ２などから出力される画像データや、ＨＭＤの動作制御に必要な各種テーブルや表示画像２００の輝度の設定値などを記憶する。フラッシュメモリ４２に記憶されたテーブルには、図６、図７、さらに図１８及び図１９に示すように、ユーザの身体の部位や当該部位の状態に操作の情報を関連付けたテーブルなどが含まれる。
　そして、ＣＰＵ４０は、ＣＣＤカメラ２により撮像した画像と角度センサ４により検出したユーザ１００の頭部１０２の角度とにより、当該ユーザ１００の視野方向にある当該ユーザ１００の身体の部位を特定することができる。
　ＨＭＤ用コントローラ３２は、主コントローラ３１からの要求に応じて表示手段である表示部１を制御し、主コントローラ３１によりＨＭＤ用ＶＲＡＭ３３に記憶された画像データに基づいた画像信号Ｓを表示部１に供給する。表示部１は、ＨＭＤ用コントローラ３２から画像信号Ｓが入力されると、この画像信号Ｓに基づいて強度変調した各色のレーザ光を生成及び走査してユーザ１００の眼１０１に出射し、ユーザ１００の網膜１０１ｂに画像信号Ｓに応じた画像を投影する。こうして、主コントローラ３１は、画像を表示させる制御を行う。
　カメラ用コントローラ３６は、撮像手段であるＣＣＤカメラ２を制御する。カメラ用ＶＲＡＭ３７は、ＣＣＤカメラ２から出力される画像データを一時的に記憶する。主コントローラ３１は、ＣＣＤカメラ２から出力される画像データを、カメラ用ＶＲＡＭ３７を介してＨＭＤ用ＶＲＡＭ３３に出力することにより、ＣＣＤカメラ２から出力される画像データを取得することができる。
　主コントローラ３１は、ユーザ１００の視野方向にある当該ユーザ１００自身の身体の部位を特定するために、カメラ用コントローラ３６を介してＣＣＤカメラ２を制御する。主コントローラ３１は、ユーザ１００の視野範囲のうち、ユーザ１００の顔に正対する方向にある対象物が、表示部１による画像の表示領域の略中心位置となるようにＣＣＤカメラ２により撮像させる。主コントローラ３１は、ＣＣＤカメラ２から出力される画像データを、カメラ用ＶＲＡＭ３７を介して取得する。これによって、主コントローラ３１は、ＣＣＤカメラ２によって撮像された画像を取得することができる。
　そして、主コントローラ３１は、先ず、前述したように、角度センサ４の検出値により、頭部１０２がどの方向にどれだけ傾いているかを判定し、これによって、ユーザ１００の身体の部位のうちいずれの部位近傍に顔面が向いているかを判定する。すなわち、主コントローラ３１は、頭部１０２の傾きによって、ユーザ１００が見つめている身体部位を、例えば「左腕の中央部分」あるいは「左腕の先端部分」であるというように絞る。
　そして、ＣＣＤカメラ２によって撮像された画像が解析されて部位形状が検出されるとともに、検出された部位形状が予め記憶されているモデル形状と比較されることによって、ユーザ１００の身体部位が検出される。また、部位形状が検出されることにより、ユーザ１００の身体の部位に接触又は近接する手も認識される。なお、ＣＣＤカメラ２によって撮像された画像の処理をするために主コントローラ３１内に別途画像処理部をハードウェアで構成することにより画像処理を高速に行うこともできる。
　周辺機器Ｉ／Ｆ３８は、電源スイッチ７やコンテンツ表示スイッチやランプ類等（図示せず）の周辺機器５を主コントローラ３１に接続するためのインターフェースである。主コントローラ３１は、例えば、電源スイッチ７やコンテンツ表示スイッチやランプ類が周辺機器Ｉ／Ｆ３８に接続されたとき、電源スイッチ７やコンテンツ表示スイッチ等のスイッチ類からの操作情報を周辺機器Ｉ／Ｆ３８から受け取る。そして、主コントローラ３１は、周辺機器Ｉ／Ｆ３８を介してランプ類の点灯情報をランプ類に供給する。
　通信Ｉ／Ｆ３９は、主コントローラ３１とＰＣとを通信可能に制御する。主コントローラ３１は、例えば、通信Ｉ／Ｆ３９を介して画像データの供給をＰＣに要求し、ＰＣから通信Ｉ／Ｆ３９を介して供給された画像データに基づいた画像信号ＳをＨＭＤ用コントローラ３２により表示部１に供給する。
　なお、上述においては、撮像手段としてＣＣＤカメラ２が用いられているが、これに限られず、ＣＭＯＳカメラなどが用いられてもよい。
［３．ＨＭＤにおける制御処理］
　ここで、カメラモードを選択した場合の動作を実現させるための制御部３０による処理の一例について、図１２～図１４を参照して説明する。なお、図１３はカメラモードの処理の一例である撮像処理の流れを示し、図１４は同じくカメラモードの処理の一例である画像データの表示処理の流れを示す。また、各処理においては、ＨＭＤの電源スイッチ７は既にオン操作されており、電源スイッチ７がオン操作された後の初期設定処理などは全て完了していることとしている。また、図１３及び図１４の処理は、既にカメラモードが選択された場合の処理である（図２参照）。
（キャリブレーション）
　キャリブレーションが開始されると、図１２に示すように、主コントローラ３１のＣＰＵ４０は、表示部１により、身体の特定の部位（ここでは左肘、左手、左腕のいずれか）を見て所定の決定トリガーを入力するようにユーザ１００に対して指示コメントを表示する（ステップＳ１０１）。ユーザ１００は、指示された身体の部位を見るとともに、例えばコントロールユニット３に設けた決定トリガーとしての操作ボタン（図示せず）を押すなどして決定トリガーを入力することになる。なお、ボタン操作に代えて角度センサ４を利用し、この角度センサ４により検出されたユーザ１００の頭部１０２の傾きが所定の傾きとなったことを決定トリガーとすることもできる。
　次いで、ＣＰＵ４０は、ユーザ１００が入力した決定トリガーを取得する（ステップＳ１０２）。
　次いで、ＣＰＵ４０は、決定トリガーが入力されたときの頭の傾きのデータと、決定トリガーが入力されたときのＣＣＤカメラ２による撮像データとを、ステップＳ１０1で見るように指示した身体の部位の名称と関連付けてテーブルに記憶する（ステップＳ１０３）。ここで、決定トリガーが入力されたときの頭の傾きのデータは、角度センサ４が検出したデータ値である。
　そして、ステップＳ１０４において、ＣＰＵ４０は、設定すべき必要な身体の部位に対して全て関連付けを行ったか否かを判定する。ＣＰＵ４０は、全て終えるまで、必要な身体の部位に対する関連付け処理を繰り返し、全ての関連付けを終えるとキャリブレーションの処理を終了する。こうして、図６に示すテーブルが生成される。
（撮像処理）
　次に、カメラモードの処理の一例として、ＣＣＤカメラ２による撮像処理について、図１３を参照しながら説明する。図１３に示すように、ＣＰＵ４０は、ＣＣＤカメラ２のシャッタ操作がなされたか否かを判定する（ステップＳ２０１）。
　シャッタ操作がなされた場合（ステップＳ２０１：Ｙｅｓ）、ＣＰＵ４０は、図４Ａに示すように、撮った画像を表示部１により表示させる（ステップＳ２０２）。このとき、ＣＰＵ４０は、画像の保存をするか否かを尋ねるメッセージも表示させる。
　ユーザ１００は、この画像を保存すると決めた場合、画像を記憶（保存）させたい身体の部位を見る。本実施形態では、前述したように、風景は肘（肘フォルダ）に、人物は手（手フォルダ）に、その他であれば腕（腕フォルダ）に記憶される。このように、その被写体のカテゴリー別に画像が保存されると、後に画像を検索しやすい。
　ステップＳ２０３において、ＣＰＵ４０は、ユーザ１００が見ている身体部位を特定する。すなわち、ＣＰＵ４０は、角度センサ４の検出値からユーザ１００の頭部１０２の傾きを検出し、検出した頭の傾きから、ユーザ１００が見ていると推定される身体部位を絞り込む。ＣＰＵ４０は、身体部位を絞り込むとともに、頭部１０２に装着されたＣＣＤカメラ２による撮像データを取得して、絞り込まれた身体部位と撮像された画像とが一致する身体部位の情報をフラッシュメモリ４２のテーブルから取得する。
　次に、ＣＰＵ４０は、ＣＣＤカメラ２による撮像画像の状態から、特定した部位が所定時間（例えば２秒）見続けられているか否かを判定する（ステップＳ２０４）。ＣＰＵ４０は、例えば、撮像データに所定時間変化がない場合、ユーザ１００の視線が固定されていると判定する。
　ＣＰＵ４０は、特定された部位が所定時間（例えば２秒）見続けられていると判定した場合（ステップＳ２０４：Ｙｅｓ）はステップＳ２０５へ、見続けられていないと判定した場合（ステップＳ２０４：Ｎｏ）はステップＳ２０６へ処理を移す。
　ステップＳ２０５では、ＣＰＵ４０は、特定された部位に関連付けられたフォルダに撮像画像のファイルを保存する。すなわち、ＣＰＵ４０は、フラッシュメモリ４２の所定領域に記憶する。
　一方、ユーザ１００は、例えば撮像した画像を気に入らない場合などは、特定部位から視線を外せばよい。その場合、ステップＳ２０４においては、ＣＰＵ４０は、特定部位は見続けられていないと判定し、撮像画像のファイルを削除するか否かのコメントを表示部１により表示させる（ステップＳ２０６）。
　そして、ＣＰＵ４０は、角度センサ４の検出値から、ユーザ１００の頭部１０２が上下に振れたと判定した場合（ステップＳ２０６：Ｙｅｓ）、撮像画像のファイルを削除する（ステップＳ２０７）。他方、ＣＰＵ４０は、ユーザ１００の頭部１０２が左右に振れたと判定した場合（ステップＳ２０６：Ｎｏ）、処理をステップＳ２０３に移す。このとき、ＣＰＵ４０は、「保存する場所を２秒以上見続けてください」などのコメントを表示部１に表示させるとよい。
　こうして、ユーザ１００はＣＣＤカメラ２で撮像した画像をボタン操作あるいはスイッチ操作などをすることなく、ハンズフリーで保存させることが可能となる。特に、保存先が身体の一部と関連付けられているので、ユーザ１００は保存先のフォルダを記憶しやすい。
（画像データの表示処理）
　次に、同じくカメラモードの処理の一例として、ＣＣＤカメラ２で既に撮像して、身体に関連付けたフォルダに保存されている画像データを表示する処理について、図１４を参照しながら説明する。
　ユーザ１００により選択されたカメラモードが開始されると、図１４に示すように、ＣＰＵ４０は、角度センサ４の検出値からユーザ１００の頭部１０２の傾きを検出する（ステップＳ３０１）。そして、ＣＰＵ４０は、検出した頭の傾きから、ユーザ１００が見ていると推定される身体部位を絞り込む（ステップＳ３０２）。さらに、ＣＰＵ４０は、頭部１０２に装着されたＣＣＤカメラ２から撮像データを取得する（ステップＳ３０３）。このステップＳ３０1～Ｓ３０３の流れについては、そのステップの順番は必ずしも限定されるものではない。
　次に、ＣＰＵ４０は、絞り込まれた身体部位と撮像された画像とが一致する身体部位の情報がフラッシュメモリ４２のテーブルにあるか否かを判定する（ステップＳ３０４）。ＣＰＵ４０は、テーブルにないと判定した場合（ステップＳ３０４：Ｎｏ）、処理をステップＳ３０１に移す。すなわち、テーブルに身体部位があると判定されるまでユーザ１００は頭部１０２の傾きを微調整したりすることにより、ステップＳ３０1～Ｓ３０４の処理が繰り返される。
　ＣＰＵ４０は、絞り込まれた身体部位と撮像された画像とが一致する身体部位の情報がフラッシュメモリ４２のテーブルにあると判定すると（ステップＳ３０４：Ｙｅｓ）、検出された身体部位に対応する画像（情報）を表示する（ステップＳ３０５）。
　具体的には、図５Ａに示したように、例えば身体部位が手（例えば左手）の場合であれば、ＣＰＵ４０は、仮想フォルダである手フォルダに記憶されている人物画像の一覧をサムネイル表示する。このとき身体部位が肘の場合であれば風景画像が、身体部位が腕の場合であればその他のカテゴリーの画像がサムネイル表示される。しかも、ＣＰＵ４０は、サムネイル表示中、一つずつ順次強調表示する。
　ユーザ１００は、サムネイルの中から、表示したい画像を選択するにあたって、表示した画像が強調表示されたタイミングで画像のカテゴリーに関連付けられている身体部位に手（例えば右手）を差し出して接触又は近接させる。
　ステップＳ３０６において、ＣＰＵ４０は、このときの右手が身体部位に接触、あるいは近接したか否かを判定する。言い換えると、ＣＰＵ４０は、左手の輪郭形状に右手の輪郭形状が重なったことで身体部位の状態が変化したか否かを判定する。また、ＣＰＵ４０は、手の場合であれば、右手の肌色領域がＣＣＤカメラ２により撮像されることで、肌色面積が増加したか否かを判定して、身体部位の状態が変化したか否かを判定することもできる。
　このステップＳ３０６の処理において、右手が身体部位に接触、あるいは近接したと判定されない場合（ステップＳ３０６：Ｎｏ）、ＣＰＵ４０は処理をステップＳ３０５に戻す。このとき、ＣＰＵ４０としては、表示部１により、ユーザ１００に対して「右手の位置を前後左右に少しずらしてみてください。」などのメッセージを表示できるようにしておくことが好ましい。
　他方、右手が身体部位に接触、あるいは近接したと判定された場合（ステップＳ３０６：Ｙｅｓ）、ＣＰＵ４０は、このタイミングで強調表示していたサムネイルに相当する画像、すなわちユーザ１００が選択した画像全体を表示部１により表示させ（ステップＳ３０７）、この画像表示処理を終了する。
　こうして、ユーザ１００は所望する画像を、特別にボタン操作あるいはスイッチ操作などをすることなく、ハンズフリーで表示させることが可能となる。また、ステップＳ３０１～Ｓ３０７の処理が繰り返されることで、画像表示が連続して行える。
　このように、本実施形態に係るＨＭＤでは、カメラモードが選択された後は、ユーザ１００は、撮像した画像の保存操作、また保存した画像を呼び出して表示部１により表示させる操作を、ボタンやスイッチ操作などを行うことなく、ハンズフリーにて行うことが可能となる。
（ＨＭＤの使用形態の一例）
　次に、ユーザ１００が閲覧モードを選択した場合について簡単に説明する。ここでは、映画などのような動画コンテンツを鑑賞する場合について説明する。
　図１５～図１７は、ＨＭＤの閲覧モードにおける使用形態の一例を示す説明図である。図１５に示すように、例えば電車などの中で映画を鑑賞しようとした場合、ユーザ１００は、図１６Ａに示すように、表示部１により表示されている表示画像２００内のメニューから閲覧モードを選択する。このときの選択も、ユーザ１００は、前述したように、頭部１０２の傾きを角度センサ４で検出することによってハンズフリーで行うことができる。
　また、閲覧モードにあっては、身体の部位と関連付けられたフラッシュメモリ４２上の仮想フォルダに１つのタイトルが保存されていることとしている。したがって、ユーザ１００は、例えば、肘フォルダに保存されている映画を見る場合は、図１６Ｂに示すように、自分の左手の肘を所定時間（例えば２秒）正視する。
　すると、先のカメラモードの処理において説明したように、制御部３０は、ユーザ１００の頭部１０２の傾きと、画像の中央に設定された規定領域２５０内における肌色面積とからユーザ１００が「肘」を見ていると判定する。そして、制御部３０は、肘フォルダに保存されている映画タイトル（例えば「七人の用心棒」）を表示部１により表示する。
　その映画タイトルが所望する映画であれば、図１７に示すように、ユーザ１００は、再生コマンドが割り付けられている腕を所定時間（例えば２秒）見つめる。すると、映画「七人の用心棒」が表示部１により再生される。
　このように、ユーザ１００は、本実施形態に係るＨＭＤを用いれば、電車の中であっても、横の客などから覗かれたりすることなく、所望の映画などのコンテンツなどを楽しむことができる。しかも、ハンズフリーで再生や停止ができるため、吊革などに掴まって立っている場合でも表示部１の操作に支障を来すことがない。
　ところで、この閲覧モードにおいても、カメラモード同様にキャリブレーションが行われている。すなわち、身体の部位と、この部位に応じた操作の情報とが、ＨＭＤを実際に使用するユーザ１００の体格などの特徴に合わせられる。
　図１８は、キャリブレーション済みのデータテーブルの一例であり、図１９は、ユーザ１００の身体の部位の状態に操作コマンドを関連付けた第２のテーブルの一例である。これらのテーブルは、いずれもフラッシュメモリ４２に記憶されている。
　図１８に示すように、映画タイトルで示される動画ファイルを保存する仮想フォルダと身体の部位とが、キャリブレーションを行うことによって予め関連付けられている。身体の部位の一例としては、ここでも「腕」、「肘」、「手」が用いられており、図１６Ｂに示すように、左腕を前方に突き出し、肘を中心に略直角に曲げた状態のときの「腕」、「肘」、「手」が特定される。
　また、この図１８で示したテーブルには、角度センサ４の検出値と、ＣＣＤカメラ２が撮像した撮像画像とが、頭部角度、パターン画像として身体の部位（「腕」、「肘」、「手」）に関連付けられている。ここで、角度センサ４の検出値は、ユーザ１００が実際に前述した姿勢のときの「腕」、「肘」、「手」を見るために頭部１０２を動かしたときの検出値である。また、ＣＣＤカメラ２が撮像した撮像画像は、そのユーザ１００が頭部１０２を動かした状態での頭部角度においてＣＣＤカメラ２が撮像した画像である。
　ところで、このテーブルでは、「肘」が肘フォルダに対応し、動画ファイルとしては映画「七人の用心棒」が割り付けられている。また、「手」は手フォルダに対応しており、動画ファイルとしては映画「荒野のおくりびと」が割り付けられ、「腕」は腕フォルダに対応して動画ファイルとしては映画「鰆四十浪」が割り付けられている。
　また、図１９に示すテーブルでは、ユーザ１００の身体の部位の状態に操作コマンドが関連付けられており、図示するように、「腕」は再生コマンド、「肘」は停止コマンド、「手」に関しては一時停止コマンドが関連付けられている。
　したがって、映画を再生中、ユーザ１００は、手を見つめたり、肘や腕を見つめたりすることによって映画の再生に関する操作をハンズフリーで行うことができる。
　このように、本実施形態によれば、ユーザ１００は本実施形態に係るＨＭＤを装着し、閲覧モードを選択した場合は、映画の鑑賞など関する操作をハンズフリーで正確に行うことが可能となる。
　なお、本実施形態に係る閲覧モードでは、映画などの動画ファイルを鑑賞（閲覧）することとしたが、勿論静止画像の閲覧であってもよい。
　以上、実施形態を通して本発明を説明してきたが、本発明はこれらに限定されるものではない。例えば、ＨＭＤの操作に関連付けられる身体部位としては腕、肘、手を例に挙げて説明したが、これらに代えて、あるいは加えて、膝や足などを用いることもできる。また、上述した各効果は、本実施形態から生じる効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
　　１　表示部（表示手段）
　　１ａ　投影ユニット
　　１ｂ　光源ユニット
　　２　ＣＣＤカメラ（撮像手段）
　　３　　コントロールユニット
　　４　　角度センサ（頭部状態検出手段）
　　３０　制御部（部位特定手段、部位状態判定手段、制御処理手段、キャリブレーション手段）
　　３１　主コントローラ
　　４０　ＣＰＵ
　　４２　フラッシュメモリ（記憶手段、第２記憶手段）
　　１００　ユーザ
　　１０２　頭部

Claims (10)

  1. 　画像情報に応じた画像光をユーザの眼に入射させ、前記画像情報に応じた画像を表示する表示手段と、
    　前記ユーザの視野方向の所定範囲を撮像する撮像手段と、
    　前記ユーザの頭部の角度を検出する頭部状態検出手段と、
    　前記撮像手段により撮像した画像と前記検出した前記ユーザの頭部の角度とにより前記ユーザの視野方向にある当該ユーザの身体の部位を特定する部位特定手段と、
    　前記部位特定手段により特定したユーザの身体の部位の情報に応じた操作を実行する制御処理手段と、を備えたヘッドマウントディスプレイ。
  2. 　前記部位特定手段により特定した前記ユーザの身体の部位の状態を判定する部位状態判定手段を備え、
    　前記制御処理手段は、前記部位特定手段で特定した部位に対応する操作のうち前記部位状態判定手段により判定した前記部位の状態に応じた操作を実行することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
  3. 　前記部位状態判定手段は、前記部位特定手段により特定した前記ユーザの身体の部位の状態として、前記ユーザの身体の部位にユーザの手が接触又は近接した状態か否かを判定することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
  4. 　前記部位状態判定手段は、前記ユーザの手に装着された装着具を検出することによって、前記ユーザの手の位置を検出することを特徴とする請求項３に記載のヘッドマウントディスプレイ。
  5. 　前記ユーザの身体の部位に操作の情報を関連付けたテーブルを記憶した記憶手段を備え、
    　前記制御処理手段は、前記部位状態判定手段により判定した前記部位に応じた操作の情報を前記テーブルが記憶された記憶手段から読み出して、当該操作を実行することを特徴とする請求項２～４のいずれか１項に記載のヘッドマウントディスプレイ。
  6. 　前記テーブルに情報を記憶した操作は、前記表示手段への画像の表示処理に対する操作であることを特徴とする請求項５に記載のヘッドマウントディスプレイ。
  7. 　前記ユーザの身体の部位の状態に操作の情報を関連付けた第２のテーブルを記憶した第２記憶手段を備え、
    　前記制御処理手段は、前記第2のテーブルに基づき、前記ユーザの身体の部位の状態に応じて、さらに前記表示手段への画像の表示処理に対する操作を実行することを特徴とする請求項６に記載のヘッドマウントディスプレイ。
  8. 　前記部位特定手段により特定したユーザの身体の部位に応じて、操作情報を前記テーブルに設定することを特徴とする請求項５～７のいずれか１項に記載のヘッドマウントディスプレイ。
  9. 　前記撮像手段による撮像画像から前記ユーザの身体の部位を特定する情報を抽出して、前記テーブルに記憶するキャリブレーション手段を備えたことを特徴とする請求項５～８のいずれか１項に記載のヘッドマウントディスプレイ。
  10. 　前記表示手段は、前記画像光を外光と共にユーザの眼に入射させ、外景と重ねて画像を表示可能としたことを特徴とする請求項１～９のいずれか１項に記載のヘッドマウントディスプレイ。
PCT/JP2010/054585 2009-03-18 2010-03-17 ヘッドマウントディスプレイ WO2010107072A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-066514 2009-03-18
JP2009066514A JP5272827B2 (ja) 2009-03-18 2009-03-18 ヘッドマウントディスプレイ

Publications (1)

Publication Number Publication Date
WO2010107072A1 true WO2010107072A1 (ja) 2010-09-23

Family

ID=42739731

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/054585 WO2010107072A1 (ja) 2009-03-18 2010-03-17 ヘッドマウントディスプレイ

Country Status (2)

Country Link
JP (1) JP5272827B2 (ja)
WO (1) WO2010107072A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014010502A (ja) * 2012-06-27 2014-01-20 Shunji Sugaya メッセージ送信システム、メッセージ送信方法、プログラム
WO2014129105A1 (ja) * 2013-02-22 2014-08-28 ソニー株式会社 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム
JP2014174747A (ja) * 2013-03-08 2014-09-22 Sony Corp 情報処理装置、情報処理方法およびプログラム
CN105874528A (zh) * 2014-01-15 2016-08-17 日立麦克赛尔株式会社 信息显示终端、信息显示***以及信息显示方法
JP2016186658A (ja) * 2016-07-14 2016-10-27 セイコーエプソン株式会社 頭部装着型表示装置および方法
WO2018079446A1 (ja) * 2016-10-27 2018-05-03 日本電気株式会社 情報入力装置および情報入力方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
WO2013028908A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
JP5821464B2 (ja) * 2011-09-22 2015-11-24 セイコーエプソン株式会社 頭部装着型表示装置
JP2013206412A (ja) * 2012-03-29 2013-10-07 Brother Ind Ltd ヘッドマウントディスプレイ及びコンピュータプログラム
CN104380369B (zh) * 2012-06-18 2017-10-13 索尼公司 图像显示设备和图像显示方法
EP2975492A1 (en) 2013-03-11 2016-01-20 NEC Solution Innovators, Ltd. Three-dimensional user interface device and three-dimensional operation processing method
US9335547B2 (en) * 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
JP6169462B2 (ja) * 2013-09-30 2017-07-26 株式会社Ｎｔｔドコモ 情報処理装置及び情報処理方法
JP6065960B2 (ja) * 2015-10-08 2017-01-25 セイコーエプソン株式会社 頭部装着型表示装置
JP7301615B2 (ja) * 2019-06-17 2023-07-03 キヤノン株式会社 電子機器およびその制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP2000148381A (ja) * 1998-11-05 2000-05-26 Telecommunication Advancement Organization Of Japan 入力画像処理方法、入力画像処理装置、及び入力画像処理プログラムを記録した記録媒体
JP2004013326A (ja) * 2002-06-04 2004-01-15 Canon Inc 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP2008033891A (ja) * 2006-06-27 2008-02-14 Matsushita Electric Ind Co Ltd 表示装置及びその制御方法
JP2008040832A (ja) * 2006-08-07 2008-02-21 Canon Inc 複合現実感提示システム及びその制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP2000148381A (ja) * 1998-11-05 2000-05-26 Telecommunication Advancement Organization Of Japan 入力画像処理方法、入力画像処理装置、及び入力画像処理プログラムを記録した記録媒体
JP2004013326A (ja) * 2002-06-04 2004-01-15 Canon Inc 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP2008033891A (ja) * 2006-06-27 2008-02-14 Matsushita Electric Ind Co Ltd 表示装置及びその制御方法
JP2008040832A (ja) * 2006-08-07 2008-02-21 Canon Inc 複合現実感提示システム及びその制御方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014010502A (ja) * 2012-06-27 2014-01-20 Shunji Sugaya メッセージ送信システム、メッセージ送信方法、プログラム
WO2014129105A1 (ja) * 2013-02-22 2014-08-28 ソニー株式会社 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム
US9829997B2 (en) 2013-02-22 2017-11-28 Sony Corporation Head-mounted display system, head-mounted display, and head-mounted display control program
JP2014174747A (ja) * 2013-03-08 2014-09-22 Sony Corp 情報処理装置、情報処理方法およびプログラム
CN105874528A (zh) * 2014-01-15 2016-08-17 日立麦克赛尔株式会社 信息显示终端、信息显示***以及信息显示方法
CN105874528B (zh) * 2014-01-15 2018-07-20 麦克赛尔株式会社 信息显示终端、信息显示***以及信息显示方法
JP2016186658A (ja) * 2016-07-14 2016-10-27 セイコーエプソン株式会社 頭部装着型表示装置および方法
WO2018079446A1 (ja) * 2016-10-27 2018-05-03 日本電気株式会社 情報入力装置および情報入力方法
JPWO2018079446A1 (ja) * 2016-10-27 2019-09-19 日本電気株式会社 情報入力装置および情報入力方法
US10955971B2 (en) 2016-10-27 2021-03-23 Nec Corporation Information input device and information input method

Also Published As

Publication number Publication date
JP5272827B2 (ja) 2013-08-28
JP2010218405A (ja) 2010-09-30

Similar Documents

Publication Publication Date Title
JP5272827B2 (ja) ヘッドマウントディスプレイ
JP6693060B2 (ja) 表示システム、表示装置、表示装置の制御方法、及び、プログラム
CN107430278B (zh) 基于用户的上下文敏感全息图反应
US9967487B2 (en) Preparation of image capture device in response to pre-image-capture signal
KR102179142B1 (ko) 착용식 식품 영양 피드백 시스템
CN103984097B (zh) 头戴式显示装置、头戴式显示装置的控制方法以及图像显示***
JP5168161B2 (ja) ヘッドマウントディスプレイ
JP6149403B2 (ja) 表示装置、および、表示装置の制御方法
JP6094305B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
WO2010073879A1 (ja) ヘッドマウントディスプレイ
GB2495159A (en) A head-mounted somatosensory control and display system based on a user's body action
JP2017102768A (ja) 情報処理装置、表示装置、情報処理方法、及び、プログラム
JP2010211408A (ja) ヘッドマウントディスプレイ
JP6459380B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6554948B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP7243193B2 (ja) 表示システム、表示システムの制御方法、情報処理装置、及び情報処理装置の制御プログラム
JP6337534B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2017120488A (ja) 表示装置、表示システム、表示装置の制御方法、及び、プログラム
JP6740613B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2018042004A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
WO2023230291A2 (en) Devices, methods, and graphical user interfaces for user authentication and device management
JP2016090853A (ja) 表示装置、表示装置の制御方法、及び、プログラム
WO2010082270A1 (ja) ヘッドマウントディスプレイ
JP6304415B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10753563

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10753563

Country of ref document: EP

Kind code of ref document: A1