WO2016052061A1 - ヘッドマウントディスプレイ - Google Patents

ヘッドマウントディスプレイ Download PDF

Info

Publication number
WO2016052061A1
WO2016052061A1 PCT/JP2015/074907 JP2015074907W WO2016052061A1 WO 2016052061 A1 WO2016052061 A1 WO 2016052061A1 JP 2015074907 W JP2015074907 W JP 2015074907W WO 2016052061 A1 WO2016052061 A1 WO 2016052061A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
user
proximity sensor
screen
detection
Prior art date
Application number
PCT/JP2015/074907
Other languages
English (en)
French (fr)
Inventor
加藤　剛
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Publication of WO2016052061A1 publication Critical patent/WO2016052061A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Definitions

  • the present invention relates to a head mounted display.
  • HMD Eyeglass-type head-mounted displays
  • products that can be used by general users are increasing.
  • see-through type display installed in front of the HMD user's eyes, and the HMD user can visually recognize the image (virtual image) displayed on the display and display the same display.
  • the outside world real image
  • a smartphone or the like employs a touch-type image display screen as a user interface, and a predetermined input can be performed by touching the screen.
  • a predetermined input can be performed by touching the screen.
  • Patent Document 1 as an example using a non-contact user interface, when a user's hand enters the imaging range of a camera, the user's hand is extracted from the captured image and the gesture of the hand is recognized.
  • a head mounted display is disclosed in which a display image is an image on the next page.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an HMD having a non-contact user interface that can perform an intuitive operation and has low power consumption and low risk of erroneous detection. To do.
  • a head-mounted display reflecting one aspect of the present invention includes a mounting member mounted on a user's head and a screen on which the user can display an image so as to be visible And a display unit supported by the mounting member so that the display member is positioned in front of at least one eye of the user, and supported by the mounting member in a front proximity range.
  • a proximity sensor that detects the presence of an object in a detection area and generates an output; and a control device that controls a screen display of the display unit based on the output of the proximity sensor.
  • the detection area of the proximity sensor is a visual view of the eye facing the display member of the user. It is located within.
  • this head mounted display it is possible to provide a head mounted display having a non-contact user interface with low power consumption and low risk of erroneous detection.
  • an intuitive operation is possible, and a head mounted display having a user interface with excellent operability can be provided.
  • HMD head mounted display
  • FIG. 1 is a perspective view of the HMD 100 according to the present embodiment.
  • FIG. 2 is a front view of the HMD 100 according to the present embodiment.
  • FIG. 3 is a view of the HMD 100 according to the present embodiment as viewed from above.
  • the right side and the left side of the HMD 100 refer to the right side and the left side for the user wearing the HMD 100.
  • the HMD 100 of this embodiment has a frame 101 as a mounting member.
  • a frame 101 that is U-shaped when viewed from above has a front part 101a to which two spectacle lenses 102 are attached, and side parts 101b and 101c extending rearward from both ends of the front part 101a.
  • the two spectacle lenses 102 attached to the frame 101 may or may not have refractive power.
  • the cylindrical main body 103 is fixed to the front part 101 a of the frame 101 on the upper part of the spectacle lens 102 on the right side (which may be on the left side according to the user's dominant eye).
  • the main body 103 is provided with a display unit 104.
  • a display control unit 104DR (see FIG. 6 described later) that controls display of the display unit 104 based on an instruction from the processor 121 described later is disposed. If necessary, a display unit may be arranged in front of both eyes.
  • FIG. 4 is a schematic cross-sectional view showing the configuration of the display unit 104.
  • the display unit 104 includes an image forming unit 104A and an image display unit 104B.
  • the image forming unit 104A is incorporated in the main body unit 103, and includes a light source 104a, a unidirectional diffuser 104b, a condenser lens 104c, and a display element 104d.
  • the image display unit 104B which is a so-called see-through type display member, is disposed on the entire plate so as to extend downward from the main body unit 103 and extend in parallel to one eyeglass lens 102 (see FIG. 1).
  • the eyepiece prism 104f, the deflecting prism 104g, and the hologram optical element 104h is disposed on the entire plate so as to extend downward from the main body unit 103 and extend in parallel to one eyeglass lens 102 (see FIG. 1).
  • the light source 104a has a function of illuminating the display element 104d.
  • the light source 104a emits light having a predetermined wavelength width, whereby the image light obtained by illuminating the display element 104d can have a predetermined wavelength width, and the hologram optical element 104h transmits the image light. When diffracted, the image can be observed by the user over the entire observation angle of view at the position of the pupil B. Further, the peak wavelength for each color of the light source 104a is set in the vicinity of the peak wavelength of the diffraction efficiency of the hologram optical element 104h, so that the light use efficiency is improved.
  • the light source 104a is composed of LEDs that emit RGB light, the cost of the light source 104a can be reduced, and a color image is displayed on the display element 104d when the display element 104d is illuminated. The color image can be visually recognized by the user.
  • each of the RGB LED elements has a narrow emission wavelength width, the use of a plurality of such LED elements enables high color reproducibility and bright image display.
  • the display element 104d displays an image by modulating the light emitted from the light source 104a in accordance with image data, and is configured by a transmissive liquid crystal display element having pixels that serve as light transmitting regions in a matrix. Has been. Note that the display element 104d may be of a reflective type.
  • the eyepiece prism 104f totally reflects the image light from the display element 104d incident through the base end face PL1 by the opposed parallel inner side face PL2 and outer side face PL3, and passes through the hologram optical element 104h to the user's pupil.
  • external light is transmitted and guided to the user's pupil, and is composed of, for example, an acrylic resin together with the deflecting prism 104g.
  • the eyepiece prism 104f and the deflection prism 104g are joined by an adhesive with the hologram optical element 104h sandwiched between inclined surfaces PL4 and PL5 inclined with respect to the inner surface PL2 and the outer surface PL3.
  • the deflection prism 104g is joined to the eyepiece prism 104f, and becomes a substantially parallel flat plate integrated with the eyepiece prism 104f. By joining the deflecting prism 104g to the eyepiece prism 104f, it is possible to prevent distortion in the external image observed by the user through the display unit 104.
  • the hologram optical element 104h diffracts and reflects the image light (light having a wavelength corresponding to the three primary colors) emitted from the display element 104d, guides it to the pupil B, enlarges the image displayed on the display element 104d, and enlarges the user's pupil. It is a volume phase type reflection hologram guided as a virtual image.
  • the hologram optical element 104h has, for example, three wavelength ranges of 465 ⁇ 5 nm (B light), 521 ⁇ 5 nm (G light), and 634 ⁇ 5 nm (R light) with a peak wavelength of diffraction efficiency and a wavelength width of half the diffraction efficiency. The light is diffracted (reflected).
  • the peak wavelength of diffraction efficiency is the wavelength at which the diffraction efficiency reaches a peak
  • the wavelength width at half maximum of the diffraction efficiency is the wavelength width at which the diffraction efficiency is at half maximum of the diffraction efficiency peak. is there.
  • the reflection-type hologram optical element 104h has high wavelength selectivity, and only diffracts and reflects light having a wavelength in the above-mentioned wavelength range (near the exposure wavelength).
  • the hologram optical element 104h is transmitted, and a high external light transmittance can be realized.
  • the light emitted from the light source 104a is diffused by the unidirectional diffusion plate 104b, condensed by the condenser lens 104c, and enters the display element 104d.
  • the light incident on the display element 104d is modulated for each pixel based on the image data input from the display control unit 104DR, and is emitted as image light. Thereby, a color image is displayed on the display element 104d.
  • Image light from the display element 104d enters the eyepiece prism 104f from its base end face PL1, is totally reflected a plurality of times by the inner side face PL2 and the outer side face PL3, and enters the hologram optical element 104h.
  • the light incident on the hologram optical element 104h is reflected there, passes through the inner side surface PL2, and reaches the pupil B.
  • the user can observe an enlarged virtual image of the image displayed on the display element 104d, and can visually recognize it as a screen formed on the image display unit 104B.
  • the hologram optical element 104h constitutes a screen, or it can be considered that a screen is formed on the inner surface PL2.
  • “screen” may refer to an image to be displayed.
  • the eyepiece prism 104f, the deflecting prism 104g, and the hologram optical element 104h transmit almost all of the external light, the user can observe an external field image (real image) through them. Therefore, the virtual image of the image displayed on the display element 104d is observed so as to overlap with a part of the external image. In this manner, the user of the HMD 100 can simultaneously observe the image provided from the display element 104d and the external image via the hologram optical element 104h. Note that when the display unit 104 is in the non-display state, the image display unit 104B is transparent, and only the external image can be observed.
  • a display unit is configured by combining a light source, a liquid crystal display element, and an optical system.
  • a self-luminous display element for example, an organic EL display
  • Element for example, an organic EL display
  • a transmissive organic EL display panel having transparency in a non-light emitting state may be used.
  • the proximity sensor 105 disposed near the center of the frame 101 and the lens 106 a of the camera 106 disposed near the side are provided on the front of the main body 103 so as to face the front. It has been.
  • the “proximity sensor” refers to a detection region in the proximity range in front of the detection surface of the proximity sensor in order to detect that an object, for example, a part of the human body is close to the user's eyes. This means that a signal is output by detecting whether or not it exists.
  • the “proximity range” refers to a range where the distance from the detection surface of the proximity sensor is within 200 mm. If the distance from the proximity sensor is 200 mm or less, the user can put the palm in and out of the user's field of view with the arm bent, and can be easily operated by gestures using the hand. In addition, there is less risk of erroneously detecting a human body or furniture other than the user.
  • control device determines that the object exists in the proximity range based on a signal output from the proximity sensor when the object enters the detection area in the proximity range in front of the proximity sensor.
  • an effective signal may be output from the proximity sensor to the control device.
  • a passive proximity sensor has a detection unit that detects invisible light and electromagnetic waves emitted from an object when the object approaches.
  • a passive proximity sensor there are a pyroelectric sensor that detects invisible light such as infrared rays emitted from an approaching human body, and a capacitance sensor that detects a change in electrostatic capacitance between the approaching human body and the like.
  • the active proximity sensor includes an invisible light and sound wave projection unit, and a detection unit that receives the invisible light and sound wave reflected and returned from the object.
  • Active proximity sensors include infrared sensors that project infrared rays and receive infrared rays reflected by objects, laser sensors that project laser beams and receive laser beams reflected by objects, and project ultrasonic waves. Then, there is an ultrasonic sensor that receives ultrasonic waves reflected by an object. Note that the passive proximity sensor is excellent in low power consumption. An active proximity sensor can easily improve the reliability of detection, and can detect even when the user is wearing gloves, for example. A plurality of types of proximity sensors may be used in combination.
  • Proximity sensors are generally smaller and cheaper than cameras, and consume less power.
  • the proximity sensor cannot perform complicated detection such as detection of the shape of the object, but can determine the approach or separation of the object, so that the HMD is operated by passing the hand or holding the hand.
  • complicated image processing required for gesture recognition by analysis of the image captured by the camera is also unnecessary.
  • FIG. 5 is an enlarged view of the proximity sensor 105 used in the present embodiment as viewed from the front.
  • the proximity sensor 105 includes a light receiving unit 105a for invisible light such as infrared light emitted from a human body.
  • the light receiving unit 105a forms light receiving regions RA to RD as detection units arranged in 2 rows and 2 columns, and when invisible light is received, a corresponding signal is individually received from each of the light receiving regions RA to RD. It is output.
  • the right sub-body portion 107 is attached to the right side portion 101b of the frame 101
  • the left sub-body portion 108 is attached to the left side portion 101c of the frame 101.
  • the right sub-main body portion 107 and the left sub-main body portion 108 have an elongated plate shape, and have elongated protrusions 107a and 108a on the inner side, respectively.
  • the right sub-body portion 107 is attached to the frame 101 in a positioned state
  • the elongated protrusion 108 a is attached to the side of the frame 101.
  • the left sub-main body portion 108 is attached to the frame 101 in a positioned state.
  • An acceleration sensor 109 and a gyro 110 (see FIG. 6 to be described later) as an attitude detection device that generates an output corresponding to the attitude are mounted in the right sub-main body unit 107.
  • a sound unit 111 (see FIG. 6 described later) having a speaker (or earphone) and a microphone is provided in the main body portion 108.
  • the main main body 103 and the right sub main body 107 are connected so as to be able to transmit signals through a wiring HS, and the main main body 103 and the left sub main body 108 are connected so as to be able to transmit signals through a wiring (not shown). Yes.
  • FIG. 1 As schematically illustrated in FIG.
  • the right sub-main body 107 is connected to the control unit CTU via a cord CD extending from the rear end.
  • the acceleration sensor 109 and the gyro 110 may be integrated into a six-axis sensor.
  • HMD based on the output signal produced
  • the main main body 103 and the left sub main body 108 may be configured to be wirelessly connected.
  • FIG. 6 is a block diagram of main circuits of the HMD 100.
  • the control unit CTU includes a processor 121, an operation unit 122, a communication unit 123 that exchanges data with the outside, a ROM 124 that stores programs, a RAM 125 that stores image data, and a battery 126 that supplies power to each unit. And have.
  • the processor 121 can use an application processor used in a smartphone or the like, but the type of the processor 121 is not limited. For example, if an application processor has built-in hardware necessary for image processing such as GPU and Codec as a standard, it can be said that the processor is suitable for a small HMD.
  • the processor 121 and the display control unit 104DR constitute a control device that controls screen display based on the output of the proximity sensor 105.
  • the signal is input to the processor 121.
  • the processor 121 controls image display on the display unit 104 via the display control unit 104DR.
  • the processor 121 receives a signal from the gyro 110 and the acceleration sensor 109 as an attitude detection device and an output signal from the microphone 111.
  • the processor 121 receives power from the battery 126, operates in accordance with a program stored in the ROM 124, inputs image data from the camera 106 according to an operation input such as power-on from the operation unit 122, and stores the image data in the RAM 125. Communication with the outside can be performed via the communication unit 123 as necessary. Furthermore, as will be described later, it is possible to detect a gesture operation in a non-contact manner and execute image control corresponding to the detected gesture operation. Further, the processor 121 can execute a non-display mode to be described later through the display control unit 104DR.
  • FIG. 7 is a front view when the user US wears the HMD 100 of the present embodiment.
  • FIG. 8 is a side view (a) and a top view (b) when the user US wears the HMD 100, and shows it together with the user's hand.
  • FIG. 9 is a diagram showing an image visually recognized by the user US through the see-through type image display unit 104B.
  • the gesture operation is an operation in which at least the hand HD of the user US approaches or separates and can be detected by the processor 121 of the HMD 100 via the proximity sensor 105. As shown in FIG.
  • the screen 104i of the image display unit 104B is arranged so as to overlap the effective visual field EV of the user's eye facing the image display unit 104B (here, positioned in the effective visual field EV).
  • the detection area SA of the proximity sensor 105 is in the visual field of the user's eye facing the image display unit 104B.
  • the detection area SA is located within the stable focus field of the user's eye or inside the visual field (within about 90 ° horizontal and within about 70 ° vertical), and more preferably located inside the stable focus field.
  • the proximity sensor 105 may be installed with its arrangement and orientation adjusted so as to overlap with the effective visual field EV or the inner visual field (horizontal within about 30 °, vertical within about 20 °).
  • the detection area SA overlaps the screen 104i.
  • the detection region SA of the proximity sensor 105 by setting the detection region SA of the proximity sensor 105 within the visual field of the eye of the user US while the user US is wearing the frame 101 that is a mounting member on the head, the screen is displayed through the screen 104i. While observing the hand, the approach and retraction of the hand to the detection area SA of the proximity sensor 105 can be reliably recognized without accompanying eye movement.
  • the gesture operation can be reliably performed while recognizing the detection area SA. .
  • the gesture operation can be performed more reliably. If the detection area SA overlaps the screen 104i, the gesture operation can be performed more reliably.
  • the entire detection unit is regarded as one light receiving unit, and the maximum detection range of the light receiving unit is regarded as a detection region.
  • FIG. 9 when the detection area SA of the proximity sensor 105 is set to overlap the screen 104i, an image indicating the detection area SA is displayed on the screen 104i (for example, the range of the area SA is indicated by a solid line). ), The user can surely recognize the detection area SA, so that the operation by the gesture can be performed more reliably.
  • gesture operation detection If there is nothing in front of the user US, the light receiving unit 105a does not receive invisible light, so the processor 121 determines that no gesture operation is performed. On the other hand, as shown in FIG. 8, when the user's US hand HD is brought close to the user US's eyes, invisible light emitted from the hand HD can be detected by the light receiving unit 105a as shown by the dotted line. . Accordingly, the processor 121 determines that a gesture operation has been performed.
  • the light receiving unit 105a has the light receiving regions RA to RD arranged in 2 rows and 2 columns (see FIG. 5). Therefore, when the user US moves the hand HD closer to the front of the HMD 100 from either the left, right, up, or down directions, the output timings of signals detected in the light receiving areas RA to RD are different.
  • 10 and 11 are examples of signal waveforms of the light receiving areas RA to RD, where the vertical axis represents the signal intensity of the light receiving areas RA to RD and the horizontal axis represents the time.
  • the vertical axis represents the signal intensity of the light receiving areas RA to RD
  • the horizontal axis represents the time.
  • the light receiving areas RA and RC first receive invisible light. Therefore, as shown in FIG. 10, first, the signals in the light receiving areas RA and RC rise, the signals in the light receiving areas RB and RD rise later, and the signals in the light receiving areas RA and RC fall, and then the light receiving areas RB, The RD signal falls.
  • the processor 121 detects the timing of this signal, and determines that the user US has performed the gesture operation by moving the hand HD from the right to the left. Accordingly, the processor 121 controls the display control unit 104DR to change the display so that the page is turned from the image G1 to the image G2, for example, in accordance with the movement of the hand HD as shown in FIG. be able to.
  • the signals of the light receiving areas RA and RB rise first, the signals of the light receiving areas RC and RD rise after a delay, and the signals of the light receiving areas RA and RB further fall, and then the signals of the light receiving areas RC and RD. Is falling.
  • the processor 121 detects the timing of this signal, and determines that the user US has performed the gesture operation by moving the hand HD from the top to the bottom.
  • the presence and movement of the hand HD can be reliably detected by using the proximity sensor and positioning the detection region within the visual field of the user's eye facing the image display unit. Accordingly, the user US can view the hand operation and the operation in conjunction with each other, and can realize an intuitive operation. Furthermore, since the proximity sensor is small and consumes less power than the camera, the continuous operation time of the HMD 100 can be extended.
  • the execution of the gesture detection process by the processor 121 or the energization to the proximity sensor is stopped to detect the gesture operation. It may be temporarily interrupted.
  • the operation for detecting the gesture operation can be started and stopped by any means (for example, the operation unit 122).
  • the processor 121 may start and stop the operation for detecting the gesture operation by detecting the gesture operation.
  • the proximity sensor 105 is operated intermittently, the user US approaches the hand HD in front of the proximity sensor 105, and the hand is held as it is for a predetermined time (for example, about 1 second).
  • 105a continuously outputs the intermittent signal during that time, so that the processor 121 that detects this can start control for detecting the gesture operation, or the proximity sensor 105 can be returned to the normal detection operation.
  • the above gesture operation can also be used to cancel the sleep mode.
  • the light receiving unit 105a of the proximity sensor 105 can detect the relative light reception amount of invisible light, a change in the light reception amount can be achieved by moving the hand HD closer to or away from the proximity sensor 105.
  • the processor 121 can determine different operations of the hand HD. It is conceivable to detect this and assign it to the operation of starting or stopping the gesture operation.
  • the proximity sensor 105 can detect an object other than the hand HD of the user US (for example, another person's hand) from its detection characteristics, the hand HD is detected when starting or stopping the operation for detecting the gesture operation. It is also preferable to use means other than that from the viewpoint of reducing malfunctions.
  • the processor 121 by providing the processor 121 with a voice recognition function, for example, the microphone 111 acquires voices such as “start” and “stop” of the user US, and an output signal from the microphone generated accordingly. May be activated or stopped by the processor 121 analyzing and recognizing the voice. When listening to music, the volume can be adjusted by voice recognition.
  • the processor 121 waits until the light receiving unit 105a detects invisible light in step S102. If invisible light is detected, the processor 121 enters the hand HD in step S103. It is determined that the gesture operation is performed as follows from the timing of the signals in the areas RA to RD. (1) Signal rise in areas RA and RC first, followed by signal rise in areas RB and RD: The hand HD has entered in the direction from right to left. (2) Signal rise in areas RB and RD first, followed by signal rise in areas RA and RC: The hand HD has entered in the direction from left to right.
  • step S104 the processor 121 stores the determined approach direction of the hand HD.
  • step S105 the processor 121 waits until the light receiving unit 105a does not detect invisible light. If the light receiving unit 105a does not detect it, the processor 121 determines the direction of detachment of the hand HD in the region RA to RD in step S106. From the timing, it is determined that the gesture operation is performed as follows. (5) Signal fall in areas RA and RC first, followed by signal fall in areas RB and RD: Hand HD left in the direction from right to left. (6) Signal fall in areas RB and RD first, followed by signal fall in areas RA and RC: Hand HD left in the direction from left to right.
  • step S107 the processor 121 determines whether the entry direction and the withdrawal direction of the hand HD match. If the entering direction and the leaving direction of the hand HD do not match, there is a risk of erroneous detection of the gesture operation. In this example, the gesture operation is not detected and the process proceeds to step S113. Note that a case where the entering direction and the leaving direction of the hand HD are different may be detected and used for another control. Alternatively, the time from the entry to the withdrawal of the hand HD may be measured with a timer, and if the movement is within the time, it may be determined that the gesture operation is correct. For example, if a signal indicating withdrawal is not output even after 1 second or more from the signal indicating entry, the gesture action may be ignored or determined as another pattern gesture action.
  • step S107 if it is determined in step S107 that the approach direction and the withdrawal direction of the hand HD match, the processor 121 determines a gesture operation in the subsequent step S108. Specifically, when the processor 121 determines that the gesture operation (1) + (5) has been continuously performed, in step S109, the screen moves from right to left (turns or scrolls). In this manner, the display unit 104 is controlled via the display control unit 104DR. When the processor 121 determines that the gesture operation (2) + (6) has been continuously performed, the processor 121 displays the display via the display control unit 104DR so that the screen moves from left to right in step S110. The unit 104 is controlled.
  • step S111 the processor 121 displays the display via the display control unit 104DR so that the screen moves from top to bottom.
  • the unit 104 is controlled.
  • the processor 121 determines that the gesture operation (4) + (8) has been continuously performed, the processor 121 displays the display via the display control unit 104DR so that the screen moves from the bottom to the top in step S112.
  • the unit 104 is controlled.
  • the user US can turn the page and scroll the image in the same direction as the movement of the hand while visually confirming the movement of the hand HD entering and leaving the front through the image display unit 104B.
  • the desired operation can be performed intuitively, so it is easy to use.
  • step S113 the processor 121 returns the flow to step S102 and continues control unless a signal instructing the end of the gesture operation detection operation is input.
  • the processor 121 ends the gesture operation detection control process.
  • gesture operations are likely to be carried out continuously, it usually waits for detection of the next gesture operation. However, if the user US forgets the stop operation, it is consumed if the non-operation time is long. In order to reduce power consumption, detection of gesture operation may be stopped by setting a timer of the processor 121.
  • FIG. 13 is a diagram illustrating an example of an image that is switched by a gesture operation.
  • the movement of the hand up and down, left and right can be recognized as a swipe operation, and can be switched by sliding in accordance with this.
  • the following operation is controlled by the processor 121 in accordance with a signal from the proximity sensor 105.
  • the home screen G11 is displayed on the display unit 104. In the home screen G11 shown in FIG.
  • the current date, temperature, humidity, and the like are displayed at the top of the screen.
  • a gesture operation is performed by moving the hand HD from the bottom to the top
  • a non-display mode in which no screen display is performed is entered, and the display unit 104 is switched to the non-display screen G01.
  • the user US can observe only the external image through the display unit 104. From this screen display (that is, during the execution of the non-display mode), when the gesture operation is performed by moving the hand HD from top to bottom, the non-display mode is canceled and the display unit 104 is switched to the home screen G11.
  • the gesture operation is performed by moving the hand HD from the right to the left from the display of the home screen G11
  • the music display mode is displayed and the music title display screen G10 is displayed on the display unit 104.
  • the title, author, and the like flowing from the speaker or earphone are displayed at the top of the screen, and the volume control VOL is displayed on the left side of the screen.
  • the volume of the song to be played increases one by one, and conversely the hand HD from the top to the bottom.
  • the volume decreases by one tick and the display changes with it.
  • the display unit 104 is switched to the home screen G11.
  • the display mode 104 is displayed and the imaging field angle display screen G12 is displayed on the display unit 104.
  • the user US can capture the subject within the rectangular frame displayed on the imaging angle-of-view display screen G12 with the camera 106 as a still image or a moving image.
  • the imaging may be started / finished in accordance with the switching of the screen, or the imaging may be started / finished after the standby time has elapsed from that point. Imaging may be started / stopped by operation of the operation unit or by voice. From this screen display, when the hand HD is moved from right to left and a gesture operation is performed, the display unit 104 is switched to the home screen G11.
  • the setting mode is displayed and the setting display screen G21 is displayed on the display unit 104.
  • the display unit 104 switches to another setting display screen G20, or the hand HD is moved from the left to the right.
  • the display unit 104 switches to another setting display screen G22, and each different setting can be performed using the operation unit 122, for example.
  • the display unit 104 is switched to the home screen G11. In addition, you may perform the movement to the vertical direction or horizontal direction for selecting a candidate item from one display screen (menu screen) containing a some selection item using the detection of gesture operation.
  • the user US can operate the screen by moving the hand HD in front of the display unit 104 while viewing the display screen of the display unit 104. Therefore, it is not necessary to move the viewpoint to view the operation unit like a device having an operation panel. It can appear to move and operate. Therefore, an easy-to-use user interface can be provided. Moreover, unlike the gesture recognition by the camera, the recognized area can be accurately grasped.
  • each screen is merely an example, and arbitrary items may be added or replaced from various screens including images associated with other functions. Moreover, what screen should be switched according to the moving direction of the hand, how to set the animation at the time of switching may be set as appropriate according to the preference of the user.
  • FIG. 14 is a diagram showing a part of the HMD according to the modification of the present embodiment.
  • two proximity sensors 105U and 105D are provided apart from the top and bottom of the main body 103.
  • the arrangement and orientation of the proximity sensors 105U and 105D are set appropriately so that the upper proximity sensor 105U detects only the hand HD positioned above, and the lower proximity sensor 105D detects only the hand HD positioned below. Make it detectable.
  • different signals can be input to the processor 121 depending on whether the hand HD is moved upward or downward, and the operation can be divided into different operations depending on the position to which the hand is moved.
  • the proximity sensor may be spaced from side to side.
  • the same signal is detected from the proximity sensor 105 when the user US swings the head of the user US up and down and left and right with the hand HD held in front of the HMD 100 and stationary. Therefore, when the processor 121 determines that the user US has swung his head up and down and left and right based on a signal from the acceleration sensor 109 as the posture detection device, the processor 121 detects the head when the signal is output from the proximity sensor 105. Image control (for example, high-speed page turning) different from the case where the hand HD is moved up, down, left and right after being stationary, or other control can be performed.
  • Image control for example, high-speed page turning
  • the processor 121 can detect that the user US is facing upward or downward with a signal from the gyro 110 as the posture detection device, a signal is output from the proximity sensor 105 by bringing the hand HD closer.
  • a signal is output from the proximity sensor 105 by bringing the hand HD closer.
  • different image control for example, proper use of page turning and screen scrolling
  • control is also performed using the output from the attitude detection device, so that variations in control increase.
  • the processor 121 when the acceleration sensor 109 (or a GPS device not shown) as the movement detection device detects that the user US wearing the HMD 100 is moving by walking, the processor 121 outputs a signal from the proximity sensor 105. Even when “” is input, it is possible to ignore the signal and not control the image display. This is because the user's safety can be secured by not switching the images carelessly while walking. However, display such as navigation which is not based on the signal from the proximity sensor can be arbitrarily performed.
  • control device may control the screen display of the display based on the signal from the proximity sensor and the electric signal from the microphone.
  • variation of control according to the signal of the proximity sensor can be increased by performing page turning or scroll switching by voice recognition from the analysis of the output signal from the microphone.
  • voice recognition after detecting a gesture operation, when a short voice is input with a microphone and converted into an electric signal within a certain period of time, it is possible to perform voice recognition to determine a command and speed up the control. .
  • a short voice often has a low voice recognition rate as a command.
  • combining with a gesture operation increases the possibility that an ambiguous voice is accepted as a command.
  • a pyroelectric sensor which is a kind of passive sensor is used as a proximity sensor.
  • a light emitting unit that emits invisible light such as infrared light and a light emitting unit emit light.
  • An active type sensor having a light receiving unit that detects invisible light reflected by an object may be used. If an active sensor is used, there is an advantage that gesture operation can be detected even when the user is wearing gloves.
  • HMD 101 Frame 101a Front part 101b Side part 101c Side part 101d Long hole 101e Long hole 102 Eyeglass lens 103 Main body part 104 Display 104A Image forming part 104B Image display part 104DR Display control part 104a Light source 104b Unidirectional diffuser 104c Condensing lens 104d Display element 104f Eyepiece prism 104g Deflection prism 104h Hologram optical element 104i Screen 105 Proximity sensor 105U, 105D Proximity sensor 105a Light receiving part 106 Camera 106a Lens 107 Right sub-main part 107a Projection 108 Left sub-main part 108a Projection 109 Acceleration sensor 110 Gyro 111 Audio Unit 121 Processor 122 Operation unit 12
  • the communication unit 126 cells CD code CTU control unit HD hand HS wiring PL1 proximal face PL2 inner surface PL3 outer surface PL4 inclined surface PL4, PL5 inclined surface RA-RD light receiving region SA detection area EV effective field US users

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　直感的な操作を行えると共に、消費電力が少なく誤検出の恐れが少ないユーザーインタフェースを有するヘッドマウントディスプレイを提供する。ヘッドマウンドディスレイは、ユーザーの頭部に装着される装着部材と、ユーザーが視認可能に画像を表示できる画面を備えたシースルー型の表示部材を含み、ユーザーの少なくとも一方の眼前に表示部材が位置するように装着部材で支持されたディスプレイユニットと、装着部材によって支持され、前方の近接範囲にある検出領域における物体の存在を検出して出力を生成する近接センサと、近接センサの出力に基づいて、ディスプレイユニットの画面表示を制御する制御装置と、を備え、ユーザーが前記装着部材を頭部に装着した状態で、前記近接センサの検出領域が、ユーザーの前記表示部材に対向する眼の視野内に位置する。

Description

ヘッドマウントディスプレイ
　本発明はヘッドマウントディスプレイに関する。
　最近、スマートフォンに代わる端末として、ユーザーの身体に装着可能なウェラブル端末が開発され既に上市されている。中でもメガネタイプのヘッドマウントディスプレイ（Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ、以下ＨＭＤと記す）は、業務用途に限られず、一般のユーザーが使用可能な製品も増えつつある。このようなＨＭＤの一タイプとして、所謂シースルータイプのディスプレイを、ＨＭＤユーザーの目の前に設置したものがあり、ＨＭＤユーザーは、かかるディスプレイに表示された画像（虚像）を視認しつつ、同じディスプレイを通して外界（実像）を観察することができる。
　ところで、ＨＭＤのディスプレイにおける画面操作のため、どのようなユーザーインタフェースを用いるかが課題となっている。ここで、画面表示の入力操作性を優先すると、汎用性の高いユーザーインタフェースを用いることが望ましいので、例えばマウスやキーボード等を、無線などを介してＨＭＤに接続し、それにより複雑な入力を行うこともできる。しかしながら、マウスやキーボード等を別個に設けるとなると、ＨＭＤの画面を見ながら他の作業を行うことが難しくなるし、ＨＭＤの特徴である携帯性も損なわれることとなるから、より簡素なユーザーインタフェースが切望されている。
　一方、スマートフォン等ではユーザーインタフェースとしてタッチ式の画像表示スクリーンを採用しており、これにタッチすることで所定の入力を行えるようになっている。しかしながら、ＨＭＤのディスプレイにユーザーが直接タッチして入力を行うことは望ましくない。その理由としては、ユーザーの手が汚れていたり手の脂がついていたりしたような場合など、その手でディスプレイにタッチすることで画面が汚れてしまい、画面に表示された虚像のみならず実像も見えにくくなるという問題があるからである。また、ＨＭＤにおいては画面の実サイズが小さいため、そもそも画面を指でタッチして操作することは難しい。ＨＭＤのフレームや筐体に操作部を設けることも考えられるが、操作によってＨＭＤの位置ずれが生じる恐れがあるし、直観的操作が難しいという問題や、筐体部分が汚れるという問題が残る。これらの問題を鑑みると、非接触のユーザーインタフェースを用いて入力を行うのが好ましいといえる。
　特許文献１には、非接触のユーザーインタフェースを用いた例として、カメラの撮像範囲内にユーザーの手が進入したときに、撮像した画像からユーザーの手を抽出して、その手のジェスチャーを認識することで表示画像を次頁の画像にするヘッドマウントディスプレイが開示されている。
特開２０１３－２０６４１２号公報
　しかるに、特許文献１のようにＨＭＤに搭載されたカメラによる撮像で認識されるユーザーの手のジェスチャーを利用した操作では、次のような課題がある。
（１）カメラの配置と向きと画角により、ユーザーの手のジェスチャーを認識可能な範囲が決まるが、ユーザーがその範囲を認識しにくいため、直感的な操作を行いづらい。
（２）カメラの撮像により手のジェスチャーを認識させる場合、ユーザーの手や身体の一部だけではなく、無関係の人の手や、形や色が似た物体もカメラに撮像される可能性があるため、誤動作を起こしやすい。
（３）ジェスチャー動作を認識させるためには、カメラを連続動作させる必要があり、その間の撮像及び画像処理にかかる消費電力が比較的大きいことから、携帯できる電池の容量が制限される中では連続動作時間が短くなり、使い勝手が悪い。又、ユーザーの手を認識する際に画像処理を行うので、処理に負担がかかり操作性が低下したり、高性能の処理回路が必要になる結果、コストが増大したりする。
（４）ＨＭＤの大型化回避等を目的として、被写体撮像用のカメラをジェスチャーの認識に兼用すると、通常の被写体の撮像と、ジェスチャーの認識の為のマクロ撮像とを実行できる高度な光学系や、撮像の切り換え操作等が必要となり、コスト増を招くと共に操作が複雑になる。
　本発明は、上記の事情に鑑みてなされたものであって、直感的な操作を行えると共に、消費電力が少なく誤検出の恐れが少ない非接触のユーザーインタフェースを有するＨＭＤを提供することを目的とする。
　上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映したヘッドマウントディスプレイは、ユーザーの頭部に装着される装着部材と、前記ユーザーが視認可能に画像を表示できる画面を備えたシースルー型の表示部材を含み、前記ユーザーの少なくとも一方の眼前に前記表示部材が位置するように前記装着部材で支持されたディスプレイユニットと、前記装着部材によって支持され、前方の近接範囲にある検出領域における物体の存在を検出して出力を生成する近接センサと、前記近接センサの出力に基づいて、前記ディスプレイユニットの画面表示を制御する制御装置と、を備えており、ユーザーが前記装着部材を頭部に装着した状態で、前記近接センサの検出領域が、ユーザーの前記表示部材に対向する眼の視野内に位置している。
　このヘッドマウントディスプレイによれば、消費電力が少なく誤検出の恐れが少ない非接触のユーザーインタフェースを有するヘッドマウントディスプレイを提供することができる。また、直感的な操作が可能であり、操作性に優れたユーザーインタフェースを有するヘッドマウントディスプレイを提供することができる。
本実施形態にかかるヘッドマウントディスプレイ（ＨＭＤ）の斜視図である。 ＨＭＤを正面から見た図である。 ＨＭＤを上方から見た図である。 ディスプレイユニットの構成を示す概略断面図である。 近接センサの拡大図である。 ＨＭＤの主要回路のブロック図である。 ユーザーがＨＭＤを装着したときの正面図である。 ユーザーがＨＭＤを装着したときの側面図（ａ）及び部分上面図（ｂ）である。 シースルー型の画像表示部を通してユーザーが視認する像を示す図である。 複数の受光領域が出力する信号波形の例を示す図である。 複数の受光領域が出力する信号波形の他の例を示す図である。 プロセッサが実行する、ジェスチャーに基づく画面制御処理を示すフローチャートである。 ジェスチャー操作によって切り変わる画像の例を示す図である。 本実施形態の変形例にかかるＨＭＤの一部を示す図である。
　以下に本発明の実施形態を、図面を参照して説明する。図１は、本実施形態にかかるＨＭＤ１００の斜視図である。図２は、本実施形態にかかるＨＭＤ１００を正面から見た図である。図３は、本実施形態にかかるＨＭＤ１００を上方から見た図である。以下、ＨＭＤ１００の右側及左側とは、ＨＭＤ１００を装着したユーザーにとっての右側及び左側をいうものとする。
　図１～３に示すように、本実施形態のＨＭＤ１００は，装着部材であるフレーム１０１を有している。上方から見てコ字状であるフレーム１０１は、２つの眼鏡レンズ１０２を取り付ける前方部１０１ａと、前方部１０１ａの両端から後方へと延在する側部１０１ｂ、１０１ｃとを有する。フレーム１０１に取り付けられた２つの眼鏡レンズ１０２は屈折力を有していてもよいし、有していなくてもよい。
　右側（ユーザーの利き目などに応じて左側でもよい）の眼鏡レンズ１０２の上部において、円筒状の主本体部１０３がフレーム１０１の前方部１０１ａに固定されている。主本体部１０３にはディスプレイユニット１０４が設けられている。主本体部１０３内には、後述するプロセッサ１２１からの指示に基づいてディスプレイユニット１０４の表示制御を司る表示制御部１０４ＤＲ（後述する図６を参照）が配置されている。なお、必要であれば両眼の前にそれぞれディスプレイユニットを配置してもよい。
　図４は、ディスプレイユニット１０４の構成を示す概略断面図である。ディスプレイユニット１０４は、画像形成部１０４Ａと画像表示部１０４Ｂとからなる。画像形成部１０４Ａは、主本体部１０３内に組み込まれており、光源１０４ａと、一方向拡散板１０４ｂと、集光レンズ１０４ｃと、表示素子１０４ｄとを有している。一方、いわゆるシースルー型の表示部材である画像表示部１０４Ｂは、主本体部１０３から下方に向かい、片方の眼鏡レンズ１０２（図１参照）に平行に延在するように配置された全体的に板状であって、接眼プリズム１０４ｆと、偏向プリズム１０４ｇと、ホログラム光学素子１０４ｈとを有している。
　光源１０４ａは、表示素子１０４ｄを照明する機能を有し、例えば光強度のピーク波長及び光強度半値の波長幅で４６２±１２ｎｍ（Ｂ光）、５２５±１７ｎｍ（Ｇ光）、６３５±１１ｎｍ（Ｒ光）となる３つの波長帯域の光を発するＲＧＢ一体型のＬＥＤで構成されている。このように光源１０４ａが所定の波長幅の光を出射することにより、表示素子１０４ｄを照明して得られる画像光に所定の波長幅を持たせることができ、ホログラム光学素子１０４ｈにて画像光を回折させたときに、瞳孔Ｂの位置にて観察画角全域にわたってユーザーに画像を観察させることができる。また、光源１０４ａの各色についてのピーク波長は、ホログラム光学素子１０４ｈの回折効率のピーク波長の近傍に設定されており、光利用効率の向上がはかられている。
　また、光源１０４ａは、ＲＧＢの光を出射するＬＥＤで構成されているので、光源１０４ａのコストを抑えることができるとともに、表示素子１０４ｄを照明したときに、表示素子１０４ｄにてカラー画像を表示することが可能となり、そのカラー画像をユーザーが視認可能とすることができる。また、ＲＧＢの各ＬＥＤ素子は発光波長幅が狭いので、そのようなＬＥＤ素子を複数用いることにより、色再現性が高く、明るい画像表示が可能となる。
　表示素子１０４ｄは、光源１０４ａからの出射光を画像データに応じて変調して画像を表示するものであり、光が透過する領域となる各画素をマトリクス状に有する透過型の液晶表示素子で構成されている。なお、表示素子１０４ｄは、反射型であってもよい。
　接眼プリズム１０４ｆは、基端面ＰＬ１を介して入射する表示素子１０４ｄからの画像光を、相対する平行な内側面ＰＬ２と外側面ＰＬ３とで全反射させ、ホログラム光学素子１０４ｈを介してユーザーの瞳に導く一方、外光を透過させてユーザーの瞳に導くものであり、偏向プリズム１０４ｇとともに、例えばアクリル系樹脂で構成されている。この接眼プリズム１０４ｆと偏向プリズム１０４ｇとは、内側面ＰＬ２及び外側面ＰＬ３に対して傾斜した傾斜面ＰＬ４、ＰＬ５でホログラム光学素子１０４ｈを挟み、接着剤で接合されている。
　偏向プリズム１０４ｇは、接眼プリズム１０４ｆに接合されて、接眼プリズム１０４ｆと一体となって略平行平板となるものである。この偏向プリズム１０４ｇを接眼プリズム１０４ｆに接合することにより，ユーザーがディスプレイユニット１０４を介して観察する外界像に歪みが生じるのを防止することができる。
　すなわち、例えば、接眼プリズム１０４ｆに偏向プリズム１０４ｇを接合させない場合、外光は接眼プリズム１０４ｆの傾斜面ＰＬ４を透過するときに屈折するので、接眼プリズム１０４ｆを介して観察される外界像に歪みが生じる。しかし、接眼プリズム１０４ｆに相補的な傾斜面ＰＬ５を有する偏向プリズム１０４ｇを接合させて一体的な略平行平板を形成することで、外光が傾斜面ＰＬ４，ＰＬ５（ホログラム光学素子１０４ｈ）を透過するときの屈折を偏向プリズム１０４ｇでキャンセルすることができる。その結果、シースルーで観察される外界像に歪みが生じるのを防止することができる。なお、ディスプレイユニット１０４とユーザーの瞳の間に眼鏡レンズ１０２（図１参照）を装着すると、通常眼鏡を使用しているユーザーでも問題なく画像を観察することが可能である。
　ホログラム光学素子１０４ｈは、表示素子１０４ｄから出射される画像光（３原色に対応した波長の光）を回折反射して瞳孔Ｂに導き、表示素子１０４ｄに表示される画像を拡大してユーザーの瞳に虚像として導く体積位相型の反射型ホログラムである。このホログラム光学素子１０４ｈは、例えば、回折効率のピーク波長および回折効率半値の波長幅で４６５±５ｎｍ（Ｂ光）、５２１±５ｎｍ（Ｇ光）、６３４±５ｎｍ（Ｒ光）の３つの波長域の光を回折（反射）させるように作製されている。ここで、回折効率のピーク波長は、回折効率がピークとなるときの波長のことであり、回折効率半値の波長幅とは、回折効率が回折効率ピークの半値となるときの波長幅のことである。
　反射型のホログラム光学素子１０４ｈは、高い波長選択性を有しており、上記波長域（露光波長近辺）の波長の光しか回折反射しないので、回折反射される波長以外の波長を含む外光はホログラム光学素子１０４ｈを透過することになり、高い外光透過率を実現することができる。
　次に、ディスプレイユニット１０４の動作について説明する。光源１０４ａから出射された光は、一方向拡散板１０４ｂにて拡散され、集光レンズ１０４ｃにて集光されて表示素子１０４ｄに入射する。表示素子１０４ｄに入射した光は、表示制御部１０４ＤＲから入力された画像データに基づいて画素ごとに変調され、画像光として出射される。これにより、表示素子１０４ｄには、カラー画像が表示される。
　表示素子１０４ｄからの画像光は、接眼プリズム１０４ｆの内部にその基端面ＰＬ１から入射し、内側面ＰＬ２と外側面ＰＬ３で複数回全反射されて、ホログラム光学素子１０４ｈに入射する。ホログラム光学素子１０４ｈに入射した光は、そこで反射され、内側面ＰＬ２を透過して瞳孔Ｂに達する。瞳孔Ｂの位置では、ユーザーは、表示素子１０４ｄに表示された画像の拡大虚像を観察することができ、画像表示部１０４Ｂに形成される画面として視認することができる。この場合、ホログラム光学素子１０４ｈが画面を構成しているとみることもできるし、内側面ＰＬ２に画面が形成されているとみることもできる。なお、本明細書において「画面」というときは、表示される画像を指すこともある。
　一方、接眼プリズム１０４ｆ、偏向プリズム１０４ｇおよびホログラム光学素子１０４ｈは、外光をほとんど全て透過させるので、ユーザーはこれらを介して外界像（実像）を観察することができる。したがって、表示素子１０４ｄに表示された画像の虚像は、外界像の一部に重なって観察されることになる。このようにして、ＨＭＤ１００のユーザーは、ホログラム光学素子１０４ｈを介して、表示素子１０４ｄから提供される画像と外界像とを同時に観察することができる。尚、ディスプレイユニット１０４が非表示状態のとき画像表示部１０４Ｂは素通しとなり、外界像のみを観察できる。なお、本例では、光源と液晶表示素子と光学系とを組み合わせて表示ユニットを構成しているが、光源と液晶表示素子の組合せに代えて、自発光型の表示素子（例えば、有機ＥＬ表示素子）を用いても良い。また、光源と液晶表示素子と光学系の組合せに代えて、非発光状態で透過性を有する透過型有機ＥＬ表示パネルを用いてもよい。いずれにしても、画像表示部１０４Ｂに対向するユーザーの眼の視野に入るように、好ましくは、有効視野に少なくとも一部が重なるように、画面を配置すると、ユーザーは画像を容易に視認することができる。
　更に図１、２において、主本体部１０３の正面には、フレーム１０１の中央寄りに配置された近接センサ１０５と、側部寄りに配置されたカメラ１０６のレンズ１０６ａが前方を向くようにして設けられている。
　本明細書において、「近接センサ」とは、物体、例えば人体の一部がユーザーの眼前に近接していることを検知するために、近接センサの検出面前方の近接範囲にある検出領域内に存在しているか否かを検出して信号を出力するものをいう。ここで、「近接範囲」とは、近接センサの検出面からの距離が２００ｍｍ以内の範囲を指すものとする。近接センサからの距離が２００ｍｍ以内であれば、ユーザーが腕を曲げた状態で、手のひらをユーザーの視野内に入れたり出したりできるため、手を使ったジェスチャーによって容易に操作を行うことができ、また、ユーザー以外の人体や家具等を誤って検出する恐れが少なくなる。ここで制御装置は、近接センサの前方の近接範囲にある検出領域に物体が入った際に近接センサから出力される信号に基づいて、物体が近接範囲に存在すると判定する。検出領域に物体が入った際に、近接センサから有効な信号を制御装置に出力するようにしても良い。
　近接センサには、パッシブ型とアクティブ型とがある。パッシブ型の近接センサは、物体が近接した際に物体から放射される不可視光や電磁波を検出する検出部を有する。パッシブ型の近接センサとしては、接近した人体から放射される赤外線などの不可視光を検出する焦電センサや、接近した人体との間の静電容量変化を検出する静電容量センサなどがある。アクティブ型の近接センサは、不可視光や音波の投射部と、物体に反射して戻った不可視光や音波を受ける検出部とを有する。アクティブ型の近接センサとしては、赤外線を投射して物体で反射された赤外線を受光する赤外線センサや、レーザ光を投射して物体で反射されたレーザ光を受光するレーザセンサや、超音波を投射して物体で反射された超音波を受け取る超音波センサなどがある。尚、パッシブ型の近接センサは低消費電力性に優れている。アクティブ型の近接センサは検知の確実性を向上させやすく、例えば、ユーザーが手袋をしているような場合でも、検出することができる。複数種類の近接センサを組み合わせて用いても良い。
　近接センサは、カメラに比べて、概して小型で安価であり、消費電力も小さい。また、近接センサは、物体の形状の検出など複雑な検出はできないが、物体の接近や離間を判別することができるので、手を通過させたり手をかざしたりすることで、ＨＭＤの操作を行うことができ、しかも、カメラの撮影画像の解析によるジェスチャー認識に必要とされる複雑な画像処理も不要である。
　図５は、本実施形態で用いる近接センサ１０５を正面から見た拡大図である。本実施形態では、近接センサ１０５として、焦電センサを用いた例について説明する。図５において、近接センサ１０５は、人体から放射される赤外光などの不可視光の受光部１０５ａを有する。受光部１０５ａは、２行２列に並べられた検出部としての受光領域ＲＡ～ＲＤを形成しており、不可視光を受光した際に、それに対応した信号が各受光領域ＲＡ～ＲＤから個々に出力されるようになっている。人体から放射される赤外光を検出する焦電センサであれば、露出した人体以外の物体を誤検出しくにいので、例えば、狭所で作業する場合などにおいて、効果的に誤検出を防ぐことができるというメリットがある。
　図１、２において、フレーム１０１の右側の側部１０１ｂには、右副本体部１０７が取り付けられ、フレーム１０１の左側の側部１０１ｃには、左副本体部１０８が取り付けられている。右副本体部１０７及び左副本体部１０８は、細長い板形状を有しており、それぞれ内側に細長い突起１０７ａ，１０８ａを有している。この細長い突起１０７ａを、フレーム１０１の側部１０１ｂの長孔１０１ｄに係合させることで、右副本体部１０７が位置決めされた状態でフレーム１０１に取り付けられ、また細長い突起１０８ａを、フレーム１０１の側部１０１ｃの長孔１０１ｅに係合させることで、左副本体部１０８が位置決めされた状態でフレーム１０１に取り付けられている。
　右副本体部１０７内には、姿勢に応じた出力を生成する姿勢検出装置としての、加速度センサ１０９と、角速度センサを含むジャイロ１１０（後述する図６参照）とが搭載されており、左副本体部１０８内には、スピーカ（又はイヤホン）及びマイクを有する音声ユニット１１１（後述する図６参照）が設けられている。主本体部１０３と右副本体部１０７とは、配線ＨＳで信号伝達可能に接続されており、主本体部１０３と左副本体部１０８とは、不図示の配線で信号伝達可能に接続されている。図３に簡略図示するように、右副本体部１０７は、その後端から延在するコードＣＤを介して制御ユニットＣＴＵに接続されている。なお、加速度センサ１０９及びジャイロ１１０を一体化した６軸センサとしてもよい。また、入力される音声に応じてマイクから生成される出力信号に基づいて、後述するように、音声によってＨＭＤを操作することもできる。また、主本体部１０３と左副本体部１０８とが無線接続されるように構成してもよい。
　図６は、ＨＭＤ１００の主要回路のブロック図である。制御ユニットＣＴＵは、プロセッサ１２１と、操作部１２２と、外部とデータのやりとりを行う通信部１２３と、プログラム等を格納するＲＯＭ１２４と、画像データを保存するＲＡＭ１２５と、各部に給電するための電池１２６とを有している。プロセッサ１２１はスマートフォンなどで用いられているアプリケーションプロセッサを使用することが出来るが、プロセッサ１２１の種類は問わない。例えば、アプリケーションプロセッサの内部にＧＰＵやＣｏｄｅｃなど画像処理に必要なハードウェアが標準で組み込まれているものは、小型のＨＭＤには適したプロセッサであるといえる。ここでは、プロセッサ１２１と表示制御部１０４ＤＲとで、近接センサ１０５の出力に基づいて画面表示を制御する制御装置を構成する。
　更に、プロセッサ１２１には、受光部１０５ａが人体から放射される不可視光を検出したときは、その信号が入力される。又、プロセッサ１２１は、表示制御部１０４ＤＲを介してディスプレイユニット１０４の画像表示を制御する。尚、プロセッサ１２１には、姿勢検出装置としてのジャイロ１１０や加速度センサ１０９からの信号や、マイク１１１からの出力信号が入力されるようになっている。
　プロセッサ１２１は、電池１２６からの給電を受け、ＲＯＭ１２４に格納されたプログラムに従って動作し、操作部１２２からの電源オンなどの操作入力に従い、カメラ１０６からの画像データを入力してＲＡＭ１２５に記憶し、必要に応じて通信部１２３を介して外部と通信を行うことができる。更に、後述するように、非接触でジェスチャー操作を検出して，それに応じた画像制御を実行できる。また、プロセッサ１２１は、表示制御部１０４ＤＲを通じて後述する非表示モードを実行可能である。
　図７は、ユーザーＵＳが本実施形態のＨＭＤ１００を装着したときの正面図である。図８は、ユーザーＵＳがＨＭＤ１００を装着したときの側面図（ａ）及び上面図（ｂ）であり、ユーザーの手と共に示している。図９は、シースルー型の画像表示部１０４Ｂを通してユーザーＵＳが視認する像を示す図である。ここで、ジェスチャー操作とは、少なくともユーザーＵＳの手ＨＤが接近又は離間する動作であり、近接センサ１０５を介してＨＭＤ１００のプロセッサ１２１が検出できるものである。図９に示すように、画像表示部１０４Ｂの画面１０４ｉは、画像表示部１０４Ｂに対向するユーザーの眼の有効視野ＥＶに重なるように（ここでは、有効視野ＥＶ内に位置するように）配置される。また、近接センサ１０５の検出領域ＳＡは、画像表示部１０４Ｂに対向するユーザーの眼の視野内にある。好ましくは、検出領域ＳＡが、ユーザーの眼の安定注視野又はその内側の視野内（水平約９０°以内、垂直約７０°以内）に位置し、さらに好ましくは、安定注視野よりも内側に位置する、有効視野ＥＶ又はその内側の視野内（水平約３０°以内、垂直約２０°以内）に重なるように位置するように、近接センサ１０５の配置と向きを調整して設置するとよい。図９では、検出領域ＳＡが画面１０４ｉに重なっている例を示している。このように、ユーザーＵＳが装着部材であるフレーム１０１を頭部に装着した状態で、ユーザーＵＳの眼の視野内に近接センサ１０５の検出領域ＳＡが位置するように設定することで、画面１０４ｉを通して手を観察しつつ、眼の移動を伴うことなく、近接センサ１０５の検出領域ＳＡへの手の進入と退避とを確実に視認することができる。特に、近接センサ１０５の検出領域ＳＡを安定注視野又はその内側の視野内とすることで、ユーザーが画面を観察していても検出領域ＳＡを認識しつつ、確実にジェスチャー操作を行うことができる。また、近接センサ１０５の検出領域ＳＡを有効視野ＥＶ又はその内側の視野内とすることで、さらに確実にジェスチャー操作を行うことができる。検出領域ＳＡが画面１０４ｉに重なるようにすれば、さらに確実にジェスチャー操作を行うことができる。なお、本実施形態のように、近接センサが複数の検出部を有する場合は、複数の検出部全体を一つの受光部とみて、その受光部の最大検出範囲を検出領域とみなすものとする。図９のように、近接センサ１０５の検出領域ＳＡが画面１０４ｉに重なるように設定されている場合は、検出領域ＳＡを示す画像を画面１０４ｉに表示する（例えば、領域ＳＡの範囲を実線で示す）と、ユーザーは検出領域ＳＡを確実に認識できるので、ジェスチャーによる操作をより確実に行うことができる。
　ジェスチャー操作の検出について説明する。ユーザーＵＳの前方に何も存在しなければ、受光部１０５ａは不可視光を受光しないので、プロセッサ１２１はジェスチャー操作が行われていないと判断する。一方、図８に示すように、ユーザーＵＳの目の前にユーザーＵＳ自身の手ＨＤを接近させると、点線で示すように手ＨＤから放射される不可視光を受光部１０５ａで検出することができる。これによりプロセッサ１２１はジェスチャー操作が行われたと判断する。
　上述したように、受光部１０５ａは、２行２列に並べられた受光領域ＲＡ～ＲＤを有する（図５参照）。従って、ユーザーＵＳが、左右上下いずれの方向から手ＨＤをＨＭＤ１００の前方に近づけた場合、各受光領域ＲＡ～ＲＤで検出する信号の出力タイミングが異なる。
　図１０、１１は、縦軸に受光領域ＲＡ～ＲＤの信号強度をとり、横軸に時間をとって示した、受光領域ＲＡ～ＲＤの信号波形の一例である。例えば、図８、図９を参照してユーザーＵＳがＨＭＤ１００の前方で右方から左方に向かって手ＨＤを移動させた場合、手ＨＤから放射された不可視光が受光部１０５ａに入射するが、このとき最初に不可視光を受光するのは受光領域ＲＡ，ＲＣである。従って、図１０に示すように、まず受光領域ＲＡ，ＲＣの信号が立ち上がり、遅れて受光領域ＲＢ，ＲＤの信号が立ち上がり、更に受光領域ＲＡ，ＲＣの信号が立ち下がった後に、受光領域ＲＢ，ＲＤの信号が立ち下がる。この信号のタイミングをプロセッサ１２１が検出し、ユーザーＵＳは手ＨＤを右から左へと移動させてジェスチャー操作を行ったと判断する。これに伴い、プロセッサ１２１は、表示制御部１０４ＤＲを制御して、図９に示すように、例えば手ＨＤの動きに合わせて、画像Ｇ１から画像Ｇ２へとページめくりを行うように表示を変更することができる。
　図１１の例では、まず受光領域ＲＡ，ＲＢの信号が立ち上がり、遅れて受光領域ＲＣ，ＲＤの信号が立ち上がり、更に受光領域ＲＡ，ＲＢの信号が立ち下がった後に、受光領域ＲＣ，ＲＤの信号が立ち下がっている。この信号のタイミングをプロセッサ１２１が検出し、ユーザーＵＳは手ＨＤを上から下へと移動させてジェスチャー操作を行ったと判断する。
　本実施形態によれば、近接センサを用いて、その検出領域が画像表示部に対向するユーザーの眼の視野内に位置させることで、確実に手ＨＤの存在と移動を検出することができる。従って、ユーザーＵＳは手の動作と操作を連動させて見ることができ、直感的な操作を実現できる。更に、近接センサは、小型でカメラより低消費電力であるから、ＨＭＤ１００の連続動作時間を長くすることができる。
　ＨＭＤ１００の消費電力をさらに低減したい場合や、ジェスチャー操作以外のユーザーインタフェースによる操作を優先したい場合は、プロセッサ１２１によるジェスチャーの検出処理の実行や近接センサへの通電を停止して、ジェスチャー操作の検出を一時的に中断してもよい。ジェスチャー操作を検出する動作の起動と停止は任意の手段（例えば操作部１２２）で行うことができる。
　プロセッサ１２１がジェスチャー操作を検出する動作の起動と停止を、ジェスチャー操作の検出で行えるようにしてもよい。例えば、近接センサ１０５を間欠的に作動させておき、近接センサ１０５の前にユーザーＵＳが手ＨＤを接近させ、そのまま所定時間（例えば約1秒）、手を保持しておくことで、受光部１０５ａがその間継続して間欠信号を出力することで、これを検出したプロセッサ１２１がジェスチャー操作を検出する制御を開始したり、近接センサ１０５を通常の検出動作に戻したりすることができる。
　ＨＭＤ１００全体を省電力状態とするスリープモードを設けている場合は、スリープモードの解除にも、上記のジェスチャー操作を用いることができる。また、近接センサ１０５の受光部１０５ａは、不可視光の相対的な受光量を検出することが可能であるから、手ＨＤを近接センサ１０５の前で近づけたり遠ざけたりすることで、受光量の変化として手ＨＤの異なる動作をプロセッサ１２１が判別できる。これを検出して、ジェスチャー操作の起動又は停止の操作に割り当てることも考えられる。
　但し、近接センサ１０５はその検出特性から、ユーザーＵＳの手ＨＤ以外の物体（例えば他人の手）も検出できてしまうことから、ジェスチャー操作を検出する動作の起動又は停止にあたっては、手ＨＤを検出する以外の手段を用いることが、誤動作を減らすという観点からも好ましい。一例としては、プロセッサ１２１に音声認識機能を持たせることで、例えばマイク１１１にてユーザーＵＳの「スタート」、「ストップ」などの音声を取得して、それに応じて生成されるマイクからの出力信号をプロセッサ１２１が解析して音声認識することで、ジェスチャー操作の起動や停止を行うようにしても良い。楽曲を聴いているときなどに、音声認識によりボリューム調整を行うこともできる。
　次に、プロセッサ１２１が実行する、ジェスチャー操作に基づく画像制御処理を、図１２に示すフローチャートを参照して説明する。上述した操作によってジェスチャー操作の検出動作をスタートさせた後、プロセッサ１２１は、ステップＳ１０２において、受光部１０５ａが不可視光を検出するまで待ち、不可視光を検出した場合、ステップＳ１０３で、手ＨＤの進入方向を領域ＲＡ～ＲＤの信号のタイミングから，以下のようにジェスチャー操作が行われたと判断する。
（１）先に領域ＲＡ，ＲＣの信号立ち上がり、次いで領域ＲＢ，ＲＤの信号立ち上がり：手ＨＤは右から左へ向かう方向に進入した。
（２）先に領域ＲＢ，ＲＤの信号立ち上がり、次いで領域ＲＡ，ＲＣの信号立ち上がり：手ＨＤは左から右へ向かう方向に進入した。
（３）先に領域ＲＡ，ＲＢの信号立ち上がり、次いで領域ＲＣ，ＲＤの信号立ち上がり：手ＨＤは上から下へ向かう方向に進入した。
（４）先に領域ＲＣ，ＲＤの信号立ち上がり、次いで領域ＲＡ，ＲＢの信号立ち上がり：手ＨＤは下から上へ向かう方向に進入した。
　ステップＳ１０４で、プロセッサ１２１は判断した手ＨＤの進入方向を記憶する。次いで、ステップＳ１０５で、プロセッサ１２１は、受光部１０５ａが不可視光の不検出となるまで待ち、不検出となった場合には、ステップＳ１０６で、手ＨＤの離脱方向を領域ＲＡ～ＲＤの信号のタイミングから，以下のようにジェスチャー操作が行われたと判断する。
（５）先に領域ＲＡ，ＲＣの信号立ち下がり、次いで領域ＲＢ，ＲＤの信号立ち下がり：手ＨＤは右から左へ向かう方向に離脱した。
（６）先に領域ＲＢ，ＲＤの信号立ち下がり、次いで領域ＲＡ，ＲＣの信号立ち下がり：手ＨＤは左から右へ向かう方向に離脱した。
（７）先に領域ＲＡ，ＲＢの信号立ち下がり、次いで領域ＲＣ，ＲＤの信号立ち下がり：手ＨＤは上から下へ向かう方向に離脱した。
（８）先に領域ＲＣ，ＲＤの信号立ち下がり、次いで領域ＲＡ，ＲＢの信号立ち下がり：手ＨＤは下から上へ向かう方向に離脱した。
　ステップＳ１０７で，プロセッサ１２１は手ＨＤの進入方向と離脱方向が一致しているか否か判断する。手ＨＤの進入方向と離脱方向が一致していない場合、ジェスチャー操作の誤検出の恐れがあるため、本例では、ジェスチャー操作を検出せずステップＳ１１３へと移行する。尚、手ＨＤの進入方向と離脱方向が異なる場合を検出して、別な制御に利用しても良い。又、手ＨＤの進入から離脱までの時間をタイマで計測し、時間内動作である場合に正しいジェスチャー操作と判定しても良い。例えば、進入を示す信号から1秒以上経っても離脱を示す信号が出力されない場合は、ジェスチャー動作を無視するか、或いは別のパターンのジェスチャー動作として判定してもよい。
　一方、ステップＳ１０７で手ＨＤの進入方向と離脱方向が一致していると判断した場合、プロセッサ１２１は、続くステップＳ１０８でジェスチャー操作を判定する。具体的には、プロセッサ１２１は、ジェスチャー操作（１）＋（５）が連続して行われたと判断したときは、ステップＳ１０９で、画面が右から左へと移動する（頁めくり又はスクロールする）ように表示制御部１０４ＤＲを介してディスプレイユニット１０４を制御する。又、プロセッサ１２１は、ジェスチャー操作（２）＋（６）が連続して行われたと判断したときは、ステップＳ１１０で、画面が左から右へと移動するように表示制御部１０４ＤＲを介してディスプレイユニット１０４を制御する。更に、プロセッサ１２１は、ジェスチャー操作（３）＋（７）が連続して行われたと判断したときは、ステップＳ１１１で、画面が上から下へと移動するように表示制御部１０４ＤＲを介してディスプレイユニット１０４を制御する。又、プロセッサ１２１は、ジェスチャー操作（４）＋（８）が連続して行われたと判断したときは、ステップＳ１１２で、画面が下から上へと移動するように表示制御部１０４ＤＲを介してディスプレイユニット１０４を制御する。このように、本実施の態様によれば、検出領域を物体が通過する際に、複数の検出部がユーザーの手を検出するタイミングに応じて、ユーザーの手が検出領域に接近又は離間する方向を判別し、判別した方向に応じて画面表示を制御するので、近接センサの信号に応じた制御のバリエーションを増やすことができる。
　ユーザーＵＳは、目の前に進入し離脱する手ＨＤの動きを、画像表示部１０４Ｂを通して視認しつつ、それに同期して手の移動と同じ方向に画像の頁めくりやスクロールを行うことが出来、直感的に所望の操作を行えるので使い勝手に優れる。
　更にプロセッサ１２１は、次のステップＳ１１３にて、ジェスチャー操作の検出動作の終了を指示する信号が入力されない限り、フローをステップＳ１０２へと戻して制御を続行する。一方、ステップＳ１１３で、ユーザーＵＳによりジェスチャー操作の検出動作の終了を指示する信号が入力されたと判断した場合、プロセッサ１２１は、ジェスチャー操作の検出制御処理を終了する。
　ジェスチャー操作は継続的に実施される可能性が高いため、通常は次のジェスチャー操作の検出を待つことが多いが、ユーザーＵＳが停止操作を忘れたときなど、未操作時間が長い場合は、消費電力削減のため、プロセッサ１２１のタイマ設定によりジェスチャー操作の検出を停止させるようにしてもよい。
　図１３は、ジェスチャー操作によって切り変わる画像の一例を示す図である。各画面間の遷移は、手の上下左右への手の移動をスワイプ操作として認識し、これに合わせてスライドさせて切り替わるようにすることができる。ここで、手ＨＤを上下に移動させる際は、ユーザーの手のひらと肘を水平に保持したまま移動させるか、肘を支点にして手のひらを上下に移動させることが誤検出を回避する上で好ましい。以下の動作は、近接センサ１０５の信号に応じて、プロセッサ１２１が制御を司るものとする。ＨＭＤ１００の電源オン時には、ディスプレイユニット１０４にホーム画面Ｇ１１を表示する。図１３に示すホーム画面Ｇ１１では、画面上部に現在の日時、気温、湿度などが表示される。ここで、下から上へと手ＨＤを移動させてジェスチャー操作を行うと、画面表示を行わない非表示モードに入り、ディスプレイユニット１０４は非表示画面Ｇ０１へと切り変わる。かかる状態では、ユーザーＵＳは、ディスプレイユニット１０４を通して外界像のみを観察できる。この画面表示（つまり、非表示モードの実行中）から、上から下へと手ＨＤを移動させてジェスチャー操作を行うと、非表示モードが解除され、ディスプレイユニット１０４はホーム画面Ｇ１１に切り変わる。
　又、ホーム画面Ｇ１１の表示から、右から左へと手ＨＤを移動させてジェスチャー操作を行うと、音楽再生モードに移行すると共に、ディスプレイユニット１０４に曲名表示画面Ｇ１０を表示する。曲名表示画面Ｇ１０では、画面上部に、スピーカまたはイヤホンより流れている曲目，作者などが表示されると共に、画面左にボリュームコントロールＶＯＬが表示される。曲名表示画面Ｇ１０が表示されている状態で、ユーザーＵＳが下から上へと手ＨＤを移動させる度に、再生される曲のボリュームが一目盛ずつ増大し、逆に上から下へと手ＨＤを移動させる度に、ボリュームが一目盛ずつ減少し、それと共に表示が変化する。つまり、ボリュームコントロールの画像が表示されている間に、検知領域に手が接近又は離間すると、その方向を判別して、ボリューム画像に対応付けられた機能（ボリューム）が調整され、それとともに表示が更新される。この画面表示から、左から右へと手ＨＤを移動させてジェスチャー操作を行うと、ディスプレイユニット１０４はホーム画面Ｇ１１に切り変わる。
　又、ホーム画面Ｇ１１の表示から、左から右へと手ＨＤを移動させてジェスチャー操作を行うと、撮像モードに移行すると共に、ディスプレイユニット１０４に撮像画角表示画面Ｇ１２を表示する。ユーザーＵＳは、撮像画角表示画面Ｇ１２に表示された矩形枠内の被写体を、カメラ１０６により静止画又は動画にて撮像できることが分かる。画面の切り替わりに合わせて撮像開始／終了してもよいし、それを起点にして待機時間が経過した後に撮像開始／終了してもよい。操作部の操作や音声で撮像開始／終了してもよい。この画面表示から、右から左へと手ＨＤを移動させてジェスチャー操作を行うと、ディスプレイユニット１０４はホーム画面Ｇ１１に切り変わる。
　又、ホーム画面Ｇ１１の表示から、上から下へと手ＨＤを移動させてジェスチャー操作を行うと、設定モードに移行すると共に、ディスプレイユニット１０４に設定表示画面Ｇ２１を表示する。設定表示画面Ｇ２１の表示から、右から左へと手ＨＤを移動させてジェスチャー操作を行うと、ディスプレイユニット１０４は別の設定表示画面Ｇ２０に切り変わり、或いは左から右へと手ＨＤを移動させてジェスチャー操作を行うと、ディスプレイユニット１０４は別の設定表示画面Ｇ２２に切り変わり、それぞれ別の設定を，例えば操作部１２２を利用して行うことができる。設定表示画面Ｇ２１の表示から、右から左へと手ＨＤを移動させてジェスチャー操作を行うと、ディスプレイユニット１０４はホーム画面Ｇ１１に切り変わる。尚、複数の選択項目を含む一表示画面（メニュー画面）から、候補の項目を選択するための縦方向や横方向への移動を、ジェスチャー操作の検出を用いて行っても良い。
　ユーザーＵＳは、ディスプレイユニット１０４の表示画面を見ながら、その前方で手ＨＤを動かすことで、画面操作ができるため、操作パネルを持つ装置のように操作部を見るための視点移動は不要となり、動作と操作が連動するように見せることができる。よって、使い勝手のよいユーザーインタフェースを提供できる。しかも、カメラによってジェスチャー認識するのとは異なり、認識される領域を正確に把握することができる。
　なお、各画面の表示内容はあくまでも一例であって、他の機能に関連づけられた画像を含む様々な画面から任意のものを追加したり差し替えたりしても構わない。また、手の移動方向に応じてどの画面に切り替えるか、切り替えるときのアニメーションをどのように設定するかなども、ユーザーの好みに応じて適宜設定すればよい。
　図１４は、本実施形態の変形例にかかるＨＭＤの一部を示す図である。本変形例では、主本体部１０３の上下に離して、２つの近接センサ１０５Ｕ，１０５Ｄを設けている。この場合、近接センサ１０５Ｕ，１０５Ｄの配置と向きを適切に設定して、上方の近接センサ１０５Ｕが上方に位置する手ＨＤのみを検出し、下方の近接センサ１０５Ｄが下方に位置する手ＨＤのみを検出できるようにする。これによって、手ＨＤを上方で移動させる場合と、下方で移動させる場合とで異なる信号をプロセッサ１２１に入力することができ、手を移動させる位置に応じて、異なる操作に切り分けることができる。尚、近接センサは左右に離間させても良い。
　更に、ユーザーＵＳが手ＨＤをＨＭＤ１００の前方に掲げ静止させた状態で、ユーザーＵＳの頭部を手ＨＤに対して上下左右に振ったときも、近接センサ１０５から同様な信号が検出される。そこで、プロセッサ１２１は、姿勢検出装置としての加速度センサ１０９からの信号により、ユーザーＵＳが頭部を上下左右に振ったと判断したときは、近接センサ１０５から信号が出力された際に、頭部を静止させて手ＨＤを上下左右に移動させたときとは異なる画像制御（例えば高速のページめくり等）、又はその他の制御を行うことができる。或いは、ユーザーＵＳが上方を向いているか下方を向いていることを、プロセッサ１２１は姿勢検出装置としてのジャイロ１１０の信号で検出できるので、手ＨＤを近づけることで近接センサ１０５から信号が出力された際に、ユーザーＵＳが上方を向いているか下方を向いているかで、異なる画像制御（例えばページめくりと画面スクロールの使い分け）、又はその他の制御を行うこともできる。近接センサ１０５からの出力に加えて、姿勢検出装置からの出力も用いて制御を行うことで、制御のバリエーションが増える。
　更に、プロセッサ１２１は、移動検出装置としての加速度センサ１０９（或いは不図示のＧＰＳ装置）が、ＨＭＤ１００を装着したユーザーＵＳが歩行により移動中であることを検出している場合、近接センサ１０５から信号を入力した場合にも、この信号を無視して、画像表示の制御を行わないようにもできる。歩行中に不用意に画像を切り替わらせないことで、ユーザーの安全を確保できるからである。但し、近接センサからの信号に基づかないナビゲーション等の表示は任意に行える。
　さらに、制御装置は、近接センサからの信号と、マイクからの電気信号とに基づいて、ディスプレイの画面表示を制御するようにしてもよい。この場合、マイクからの出力信号の解析からの音声認識により，ページ送り或いはスクロールの切り換え等を行うことで、近接センサの信号に応じた制御のバリエーションを増やすことができる。それ以外にも、ジェスチャー操作を検出後、ある時間内に短い音声をマイクで入力して電気信号に変換したときは、音声認識を実行してコマンドを判別し、制御を高速化することもできる。一般的に短い音声はコマンドとしての音声認識率が低くなることが多いが、ジェスチャー操作と組み合わせることで、曖昧な音声でもコマンドとして受け付けられる可能性が高まる。
　なお、本実施形態においては、近接センサとしてパッシブ型センサの一種である焦電センサを用いたが、これに代えて、赤外光等の不可視光を照射する発光部と、発光部から照射され、物体によって反射された不可視光を検出する受光部とを有するアクティブ型のセンサを用いてもよい。アクティブ型のセンサを用いれば、ユーザーが手袋をしているような場合でも、ジェスチャー操作の検出を行えるというメリットがある。
　本発明は、本明細書に記載の実施形態に限定されるものではなく、他の実施形態・変形例を含むことは、本明細書に記載された実施形態や技術思想から本分野の当業者にとって明らかである。
１００　　　　　　ＨＭＤ
１０１　　　　　　フレーム
１０１ａ　　　　　前方部
１０１ｂ　　　　　側部
１０１ｃ　　　　　側部
１０１ｄ　　　　　長孔
１０１ｅ　　　　　長孔
１０２　　　　　　眼鏡レンズ
１０３　　　　　　主本体部
１０４　　　　　　ディスプレイ
１０４Ａ　　　　　画像形成部
１０４Ｂ　　　　　画像表示部
１０４ＤＲ　　　　表示制御部
１０４ａ　　　　　光源
１０４ｂ　　　　　一方向拡散板
１０４ｃ　　　　　集光レンズ
１０４ｄ　　　　　表示素子
１０４ｆ　　　　　接眼プリズム
１０４ｇ　　　　　偏向プリズム
１０４ｈ　　　　　ホログラム光学素子
１０４ｉ　　　　　画面
１０５　　　　　　近接センサ
１０５Ｕ，１０５Ｄ　　近接センサ
１０５ａ　　　　　受光部
１０６　　　　　　カメラ
１０６ａ　　　　　レンズ
１０７　　　　　　右副本体部
１０７ａ　　　　　突起
１０８　　　　　　左副本体部
１０８ａ　　　　　突起
１０９　　　　　　加速度センサ
１１０　　　　　　ジャイロ
１１１　　　　　　音声ユニット
１２１　　　　　　プロセッサ
１２２　　　　　　操作部
１２３　　　　　　通信部
１２６　　　　　　電池
ＣＤ　　　　　　　コード
ＣＴＵ　　　　　　制御ユニット
ＨＤ　　　　　　　手
ＨＳ　　　　　　　配線
ＰＬ１　　　　　　基端面
ＰＬ２　　　　　　内側面
ＰＬ３　　　　　　外側面
ＰＬ４　　　　　　傾斜面
ＰＬ４，ＰＬ５　　傾斜面
ＲＡ－ＲＤ　　　　受光領域
ＳＡ　　　　　　　検出領域
ＥＶ　　　　　　　有効視野
ＵＳ　　　　　　　ユーザー

Claims (11)

  1. 　ユーザーの頭部に装着される装着部材と、
    　前記ユーザーが視認可能に画像を表示できる画面を備えたシースルー型の表示部材を含み、前記ユーザーの少なくとも一方の眼前に前記表示部材が位置するように前記装着部材で支持されたディスプレイユニットと、
    　前記装着部材によって支持され、前方の近接範囲にある検出領域における物体の存在を検出して出力を生成する近接センサと、
    　前記近接センサの出力に基づいて、前記ディスプレイユニットの画面表示を制御する制御装置と、を備え、
    　ユーザーが前記装着部材を頭部に装着した状態で、前記近接センサの検出領域が、ユーザーの前記表示部材に対向する眼の視野内に位置する、ヘッドマウントディスプレイ。
  2. 　ユーザーが前記装着部材を頭部に装着した状態で、前記近接センサの検出領域が、ユーザーの前記表示部材に対向する眼の安定注視野又はその内側の視野内に位置する請求項１に記載のヘッドマウントディスプレイ。
  3. 　ユーザーが前記装着部材を頭部に装着した状態で、前記近接センサの検出領域の少なくとも一部が、前記表示部材の画面に重なっている請求項２に記載のヘッドマウントディスプレイ。
  4. 　前記制御装置は、前記近接センサの検出領域を示す画像を前記画面に表示する請求項３に記載のヘッドマウントディスプレイ。
  5. 　前記近接センサは、物体から放射又は反射される不可視光を検出する受光部を有する請求項１～４のいずれかに記載のヘッドマウントディスプレイ。
  6. 　前記近接センサは、並べて配置された複数の検出部を有しており、前記制御装置は、前記検出領域を物体が通過する際に、前記複数の検出部が前記物体を検出するタイミングに基づいて、前記物体が前記検出領域に接近又は離間する方向を判別し、判別した方向に応じて画面表示を制御する請求項１～５のいずれかに記載のヘッドマウントディスプレイ。
  7. 　前記制御装置は、前記ディスプレイユニットの画面に画像が表示されている間に、前記物体が前記検出領域に接近又は離間する方向を判別して、前記画像に対応付けられた機能を調整する請求項６に記載のヘッドマウントディスプレイ。
  8. 　姿勢に応じた出力を生成する姿勢検出装置をさらに備え、前記制御装置は、前記近接センサの出力と、前記姿勢検出装置の出力とに基づいて、前記ディスプレイユニットの画面表示を制御する請求項１～７のいずれかに記載のヘッドマウントディスプレイ。
  9. 　入力される音声に応じた出力信号を生成するマイクをさらに備え、前記制御装置は、前記近接センサの出力と、前記マイクの出力信号とに基づいて、前記ディスプレイユニットの画面表示を制御する請求項１～８のいずれかに記載のヘッドマウントディスプレイ。
  10. 　前記制御装置は、前記ディスプレイユニットの画面を非表示とする非表示モードを実行可能であり、前記非表示モードの実行中に、前記近接センサが物体の検出を示す出力を生成したときは前記非表示モードを解除する請求項１～９のいずれかに記載のヘッドマウントディスプレイ。
  11. 　前記装着部材を装着したユーザーの移動を検出して出力を生成する移動検出装置をさらに備え、前記制御装置は、前記移動検出装置から前記移動を示す出力が生成されている間、前記近接センサの出力に基づく前記ディスプレイユニットの画面表示の制御を行わない請求項１～１０のいずれかに記載のヘッドマウントディスプレイ。
PCT/JP2015/074907 2014-09-30 2015-09-02 ヘッドマウントディスプレイ WO2016052061A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-199813 2014-09-30
JP2014199813 2014-09-30

Publications (1)

Publication Number Publication Date
WO2016052061A1 true WO2016052061A1 (ja) 2016-04-07

Family

ID=55630105

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/074907 WO2016052061A1 (ja) 2014-09-30 2015-09-02 ヘッドマウントディスプレイ

Country Status (1)

Country Link
WO (1) WO2016052061A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018092674A1 (ja) * 2016-11-18 2018-05-24 コニカミノルタ株式会社 表示装置及びジェスチャー入力方法
CN109154656A (zh) * 2016-05-19 2019-01-04 哈曼国际工业有限公司 具有可见反馈的支持姿势的音频装置
JP2021517763A (ja) * 2018-03-01 2021-07-26 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 仮想現実および拡張現実低持続性のためのアクティブｌｃｄシャッタ

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0581503A (ja) * 1991-09-20 1993-04-02 Seikosha Co Ltd 人体移動方向判別装置
JP2009086729A (ja) * 2007-09-27 2009-04-23 Sogo Keibi Hosho Co Ltd 監視システム、警備装置、センサおよび監視方法
JP2012065027A (ja) * 2010-09-14 2012-03-29 Canon Inc 撮像装置及び撮像装置の制御方法
JP2013025220A (ja) * 2011-07-25 2013-02-04 Nec Corp 安全確保システム、装置、方法及びプログラム
JP2013137413A (ja) * 2011-12-28 2013-07-11 Brother Ind Ltd ヘッドマウントディスプレイ
WO2014128789A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
JP2014174401A (ja) * 2013-03-11 2014-09-22 Seiko Epson Corp 画像表示システム及び頭部装着型表示装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0581503A (ja) * 1991-09-20 1993-04-02 Seikosha Co Ltd 人体移動方向判別装置
JP2009086729A (ja) * 2007-09-27 2009-04-23 Sogo Keibi Hosho Co Ltd 監視システム、警備装置、センサおよび監視方法
JP2012065027A (ja) * 2010-09-14 2012-03-29 Canon Inc 撮像装置及び撮像装置の制御方法
JP2013025220A (ja) * 2011-07-25 2013-02-04 Nec Corp 安全確保システム、装置、方法及びプログラム
JP2013137413A (ja) * 2011-12-28 2013-07-11 Brother Ind Ltd ヘッドマウントディスプレイ
WO2014128789A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
JP2014174401A (ja) * 2013-03-11 2014-09-22 Seiko Epson Corp 画像表示システム及び頭部装着型表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ATSUSHI TOCHIO ET AL.: "Attempt of Virtual Reality User Interface Using Kinect and HMD", FIT2013 DAI 12 KAI FORUM ON INFORMATION TECHNOLOGY KOEN RONBUNSHU, vol. 3, 20 August 2013 (2013-08-20), pages 523 - 526 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109154656A (zh) * 2016-05-19 2019-01-04 哈曼国际工业有限公司 具有可见反馈的支持姿势的音频装置
CN109154656B (zh) * 2016-05-19 2023-08-25 哈曼国际工业有限公司 具有可见反馈的支持姿势的音频装置
WO2018092674A1 (ja) * 2016-11-18 2018-05-24 コニカミノルタ株式会社 表示装置及びジェスチャー入力方法
JP2021517763A (ja) * 2018-03-01 2021-07-26 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 仮想現実および拡張現実低持続性のためのアクティブｌｃｄシャッタ
JP7292294B2 (ja) 2018-03-01 2023-06-16 グーグル エルエルシー 仮想現実および拡張現実低持続性のためのアクティブｌｃｄシャッタ

Similar Documents

Publication Publication Date Title
JP6617974B2 (ja) 電子機器、電子機器の制御方法及びその制御プログラム
TWI498771B (zh) 可辨識手勢動作的眼鏡
JP5957875B2 (ja) ヘッドマウントディスプレイ
US10191281B2 (en) Head-mounted display for visually recognizing input
JP6786792B2 (ja) 情報処理装置、表示装置、情報処理方法、及び、プログラム
CN105511846A (zh) 电子设备和显示控制方法
JP6398870B2 (ja) ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法
WO2015096335A1 (zh) 交互识别***以及显示装置
KR20130053377A (ko) 텍스트 입력장치와 포인터 위치정보 입력장치가 구비된 복합 휴먼 인터페이스 장치
WO2016052061A1 (ja) ヘッドマウントディスプレイ
JP2009104429A (ja) ヘッドマウントディスプレイ装置及び携帯装置
KR101268209B1 (ko) 포인터 위치정보 입력부와 포인터 실행 명령부를 갖는 휴먼 인터페이스 장치
CN106155604B (zh) 显示处理方法和电子设备
WO2016072271A1 (ja) 表示装置、表示装置の制御方法及びその制御プログラム
CN106155605B (zh) 显示处理方法和电子设备
WO2017094557A1 (ja) 電子機器及びヘッドマウントディスプレイ
WO2017065050A1 (ja) 入力装置、電子機器、電子機器の入力方法及びその入力プログラム
TWI492099B (zh) 可辨識手勢動作的眼鏡
WO2017065051A1 (ja) 入力装置、電子機器、電子機器の入力方法及びその入力プログラム
JP6176368B2 (ja) ヘッドマウントディスプレイ及び情報表示装置
KR101891837B1 (ko) 증강현실 인터페이스를 이용하는 착용형 디스플레이 장치
WO2018092674A1 (ja) 表示装置及びジェスチャー入力方法
JP2017228300A (ja) 画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム
WO2017104525A1 (ja) 入力装置、電子機器及びヘッドマウントディスプレイ
JP2001142605A (ja) 入力システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15847831

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15847831

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP