WO2015125364A1 - 電子機器、および画像の提供方法 - Google Patents
電子機器、および画像の提供方法 Download PDFInfo
- Publication number
- WO2015125364A1 WO2015125364A1 PCT/JP2014/080546 JP2014080546W WO2015125364A1 WO 2015125364 A1 WO2015125364 A1 WO 2015125364A1 JP 2014080546 W JP2014080546 W JP 2014080546W WO 2015125364 A1 WO2015125364 A1 WO 2015125364A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sensor
- user
- setting information
- unit
- control unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Definitions
- the present disclosure relates to an electronic device and an image providing method.
- HMD head mounted display
- an image real image
- a type of HMD has also been developed in which an image (virtual image) is perceived by guiding image display light to an observer's eye using an optical system.
- Patent Literature 1 describes a technique for realizing an HMD capable of guiding image display light from a lateral direction with respect to an observer's eye and allowing it to enter the eye.
- Patent Document 2 proposes a technique for generating a given command based on detection data of at least one of HMD impact and displacement.
- a sensor data acquisition unit that acquires data including a detection value of a sensor included in a device worn or carried by a user, and an abnormality that has occurred in the user when a predetermined pattern appears in the detection value
- a state detection unit for detecting a state and a light source of a wearable optical device that emits light for causing the user to perceive an image superimposed in real space, and the brightness of the light when the abnormal state is detected
- an electronic device including a control unit that minimizes.
- a device that is worn or carried by a user and includes a sensor, a light source that emits light for causing the user to perceive an image superimposed in real space, and data including a detection value of the sensor
- a sensor data acquisition unit for acquiring a state, a state detection unit for detecting an abnormal state occurring in the user when a predetermined pattern appears in the detection value, and a minimum luminance of the light when the abnormal state is detected
- a wearable optical device having a control unit to be provided.
- a detection value of a sensor included in an apparatus worn or carried by a user is acquired, and an abnormal state that has occurred in the user is detected when a predetermined pattern appears in the detection value.
- a method for providing an image wherein the wearable optical device minimizes the brightness of light for allowing the user to perceive an image superimposed in real space when the abnormal state is detected.
- An abnormal state that has occurred to the user can be detected based on a predetermined pattern that appears in a detection value of a sensor provided in a device that is worn or carried by the user.
- the abnormal state is detected, by minimizing the brightness of the light for allowing the user to perceive the image superimposed on the real space, the user who has encountered the abnormal state fully recognizes the surrounding real space, It is possible to support taking actions to appropriately cope with abnormal conditions.
- an appropriate operation for supporting the user can be executed.
- FIG. 6 is a sequence diagram illustrating a first example of processing related to state detection and luminance control according to an embodiment of the present disclosure.
- FIG. 12 is a sequence diagram illustrating a second example of processing related to state detection and luminance control according to an embodiment of the present disclosure.
- FIG. 12 is a sequence diagram illustrating a third example of processing related to state detection and luminance control according to an embodiment of the present disclosure.
- FIG. 12 is a sequence diagram illustrating a fourth example of processing related to state detection and luminance control according to an embodiment of the present disclosure.
- FIG. FIG. 3 is a block diagram illustrating a hardware configuration example of an electronic device according to an embodiment of the present disclosure.
- FIG. 1 is a diagram illustrating a schematic configuration of a system according to an embodiment of the present disclosure.
- FIG. 2 is a block diagram showing a schematic functional configuration of the system shown in FIG.
- the system 10 includes a head mounted display (HMD) 100, a smartphone 200, a server 300, and a watch 400.
- HMD head mounted display
- smartphone 200 a smartphone
- server 300 a server
- watch 400 a watch
- the HMD 100 includes a display unit 110 and a control unit 160.
- the display unit 110 has, for example, a glasses-type housing, and is attached to the head of the user (observer).
- the control unit 160 is connected to the display unit 110 with a cable.
- the display unit 110 includes a light source 112 and a light guide plate 114 as shown in FIG.
- the light source 112 emits image display light according to the control of the control unit 160.
- the light guide plate 114 guides the image display light incident from the light source 112 and emits the image display light at a position corresponding to the user's eyes.
- Light that enters from the real space and passes through the light guide plate 114 and image display light guided from the light source 112 by the light guide plate 114 enter the user's eyes. Accordingly, the user wearing the display unit 110 can perceive an image superimposed on the real space.
- a technique described in Japanese Patent No. 4777285 described above may be used.
- the display unit 110 may further include an optical system (not shown) for such a configuration.
- the display unit 110 may include a motion sensor 116, an illuminance sensor 118, and / or a camera 120, as shown in FIG.
- the motion sensor 116 includes, for example, a 3-axis acceleration sensor, a 3-axis gyro sensor, and a 3-axis geomagnetic sensor. Based on the acceleration, angular velocity, and direction of the display unit 110 detected by these sensors, the posture and movement (displacement and rotation) of the display unit 110 can be specified.
- the illuminance sensor 118 detects the illuminance of light incident on the display unit 110.
- the camera 120 captures an image of real space. An image photographed by the camera 120 is treated as an image corresponding to the user's field of view in real space, for example.
- the control unit 160 includes a processor 162, a memory 164, a communication device 166, an input key 168, a touch sensor 170, a microphone 172, a speaker 174, an acceleration sensor 176, a cable insertion / extraction sensor 178, and a battery 180. Is provided.
- the processor 162 implements various functions by operating in accordance with programs stored in the memory 164. Functions such as a state detection unit and a control unit to be described later are realized by the processor 162, for example.
- the processor 162 transmits a control signal to the display unit 110 by wired communication via a cable, and provides a power source for the light source 112 and the motion sensor 116. Further, the processor 162 acquires data output from the motion sensor 116 and the camera 120 provided in the display unit 110, and executes processing based on these data.
- the memory 164 stores various data for the operation of the processor 162.
- the memory 164 stores programs for the processor 162 to realize various functions.
- the memory 164 temporarily stores data output from the motion sensor 116 of the display unit 110 and the camera 120.
- the communication device 166 performs wireless communication with the smartphone 200.
- wireless communication for example, Bluetooth (registered trademark) or Wi-Fi is used.
- the input keys 168 include, for example, a return key, a PTT (Push to Talk) key, and the like, and acquire user operations on the HMD 100.
- the touch sensor 170 acquires a user operation on the HMD 100. More specifically, for example, the touch sensor 170 acquires a user's operation such as a tap or a swipe.
- the microphone 172 converts the sound into an audio signal and provides it to the processor 162.
- the speaker 174 outputs sound according to the control of the processor 162.
- the acceleration sensor 176 is a triaxial acceleration sensor, for example, and detects the acceleration of the control unit 160.
- the cable insertion / extraction sensor 178 is a sensor that detects a connection state of a cable that connects the control unit 160 and the display unit 110.
- the cable insertion / extraction sensor 178 includes, for example, a state where the cable is completely connected, a state where the cable is incompletely connected (a state where the connection is not completely connected but the connection is maintained), and a cable is connected. It may be possible to detect a state that is not.
- the battery 180 supplies power to the entire control unit 160 and the display unit 110.
- the processor 162 In the HMD 100, the processor 162, the microphone 172, the speaker 174, the battery 180, and the like are mounted on the control unit 160, and the display unit 110 and the control unit 160 are separated and connected by a cable, thereby reducing the size of the display unit 110. And we are trying to reduce weight. Since the control unit 160 is also carried by the user, it is desirable to make it as small and light as possible. Therefore, for example, the functions realized by the processor 162 are set to the minimum functions for controlling the display unit 110, and the other functions are realized by the smartphone 200, whereby the battery 180 and the power consumption of the processor 162 are reduced. The entire control unit 160 may be downsized.
- the smartphone 200 includes a processor 202, a memory 204, communication devices 206 and 208, a sensor 210, a display 212, a touch panel 214, a GPS (Global Positioning System) receiver 216, a microphone 218, a speaker 220, A battery 222.
- the processor 202 implements various functions by operating in accordance with a program stored in the memory 204. As described above, when the processor 202 realizes various functions in cooperation with the processor 162 included in the control unit 160 of the HMD 100, the control unit 160 can be reduced in size and weight.
- the memory 204 stores various data for the operation of the smartphone 200. For example, the memory 204 stores programs for the processor 202 to realize various functions.
- the memory 204 temporarily or continuously stores data acquired by the sensor 210 and the GPS receiver 216 and data transmitted to and received from the HMD 100.
- the communication device 206 performs wireless communication using Bluetooth (registered trademark) or Wi-Fi between the communication device 166 included in the control unit 160 of the HMD 100 and the communication device 406 included in the watch 400.
- the communication device 208 performs network communication with the server 300. Network communication may be performed via a mobile phone network, for example.
- the sensor 210 includes, for example, an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, or an illuminance sensor, and detects various states of the smartphone 200.
- the display 212 displays various images according to the control of the processor 202.
- the touch panel 214 is disposed on the display 212 and acquires a user's touch operation on the display 212.
- the GPS receiver 216 receives a GPS signal for measuring the latitude, longitude, and altitude of the smartphone 200.
- the microphone 218 converts the sound into an audio signal and provides it to the processor 202.
- the speaker 220 outputs sound according to the control of the processor 202.
- the battery 222 supplies power to the entire smartphone 200.
- the server 300 includes a processor 302, a memory 304, and a communication device 306.
- the server 300 is realized by, for example, a plurality of server devices cooperating on a network, but here, it is described as a virtual single device for the sake of simplicity.
- the processor 302 implements various functions by operating in accordance with programs stored in the memory 304.
- the processor 302 of the server 300 executes various types of information processing in response to requests received from the smartphone 200 and transmits the results to the smartphone 200.
- the memory 304 stores various data for the operation of the server 300.
- the memory 304 stores programs for the processor 302 to realize various functions.
- the memory 304 may further store data uploaded from the smartphone 200 temporarily or continuously.
- the communication device 306 executes network communication with the smartphone 200 via, for example, a mobile phone network.
- the watch 400 includes a processor 402, a memory 404, a communication device 406, a sensor 408, a display 410, a touch panel 412, and a battery 414.
- the watch 400 is an example of another wearable device worn by the user of the HMD 100.
- the system 10 may include a wearable device that is worn on other parts of the user's body instead of or in conjunction with the watch 400. Further, when the detection value of the sensor of the watch 400 is not used in the state detection process described later, the system 10 does not necessarily include a wearable device other than the HMD 100 such as the watch 400.
- the processor 402 implements various functions by operating in accordance with a program stored in the memory 404.
- the processor 402 transmits, for example, a user operation acquired via the touch panel 412 to the smartphone 200 using the communication device 406, and receives a result of processing performed by the smartphone 200 based on the user operation.
- the control to display on the display 410 is executed.
- the watch 400 may operate in cooperation with the HMD 100, and the processor 402 may transmit a user operation for operating the HMD 100 acquired via the touch panel 412 to the smartphone 200 via the communication device 406.
- the communication device 406 performs wireless communication with the communication device 206 included in the smartphone 200 using Bluetooth (registered trademark) or Wi-Fi. Note that the communication device 406 may be able to directly communicate with the communication device 166 included in the control unit 160 of the HMD 100.
- Sensor 408 includes, for example, an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, or an illuminance sensor, and detects various states of watch 400.
- the display 410 displays various images according to the control of the processor 402.
- the touch panel 412 is disposed on the display 410 and acquires a user's touch operation on the display 410.
- the battery 414 supplies power to the entire watch 400.
- the HMD 100 is an example of an electronic device that includes a wearable optical device (display unit 110).
- the HMD 100 perceives an image by guiding the image display light to the viewer's eyes using the light guide plate 114. Therefore, although the term “display” is used, the HMD 100 does not necessarily form an image on the display surface.
- an HMD of a type that forms an image on the display surface instead of the HMD 100 may be used.
- the HMD 100 does not necessarily have to be separated into the display unit 110 and the control unit 160.
- the entire configuration of the HMD 100 described above is integrated in a glasses-type housing such as the display unit 110. May be.
- at least a part of the function for controlling the HMD 100 may be realized by the smartphone 200.
- the display unit 110 may also include a processor, and information processing in the HMD 100 may be realized by cooperation between the processor 162 of the control unit 160 and the processor of the display unit 110.
- the system 10 does not include the smartphone 200, and communication may be directly performed between the HMD 100, the watch 400, and / or the server 300.
- the smartphone 200 is replaced with another device capable of executing communication with the HMD 100, the server 300, and / or the watch 400, such as a tablet terminal, a personal computer, or a portable game machine. May be.
- the system 10 does not necessarily include the watch 400.
- FIG. 3 is a diagram illustrating an example of a processing sequence in the system according to an embodiment of the present disclosure.
- a user operation is input via the touch panel 412 on the watch 400 (S101).
- the processor 402 transmits information indicating the content of the user operation to the smartphone 200 via the communication device 406 (S103).
- the processor 202 determines the content of the next image to be displayed based on the information received from the watch 400 via the communication device 206 (S105).
- the processor 202 may communicate with the server 300 via the communication device 208 to acquire information necessary for an image to be displayed next.
- the processor 202 transmits information necessary for an image to be displayed next, such as an icon and text, to the HMD 100 via the communication device 206 (S107).
- the processor 162 generates an image (frame image) to be displayed next based on information received from the smartphone 200 via the communication device 166 (S109). Further, the processor 162 controls the light source 112 of the display unit 110 based on the generated frame image data, and updates the image frame provided by the image display light emitted from the light source 112 (S111).
- an image is provided by the HMD 100 based on a user operation acquired by the watch 400.
- the input key 168 or the touch sensor 170 of the touch panel 214 of the smartphone 200 or the control unit 160 of the HMD 100 is provided.
- An image may be provided by the HMD 100 based on a user operation acquired by the HMD 100.
- FIG. 4 is a block diagram illustrating a functional configuration for detecting an abnormal state and controlling brightness according to an embodiment of the present disclosure.
- detection of an abnormal state and brightness control are realized by a functional configuration including a sensor data acquisition unit 510, a state detection unit 520, and a control unit 530.
- the functional configuration may further include a storage unit 540, a reception unit 550, and an update control unit 560.
- these functional configurations are realized, for example, when the processor 162 provided in the control unit 160 of the HMD 100 operates according to a program stored in the memory 164.
- part or all of the functional configuration described above is performed by the processor 202 of the smartphone 200 that communicates with the HMD 100 via wireless communication such as Bluetooth (registered trademark) or Wi-Fi according to a program stored in the memory 204. May be realized.
- part or all of the functional configuration described above may be realized by the processor 302 of the server 300 operating according to a program stored in the memory 304. That is, the functional configuration described above may be realized in any electronic device (HMD 100, smartphone 200, or server 300) included in the system 10, and a plurality of electronic devices included in the system 10 cooperate. It may be realized by.
- the sensor data acquisition unit 510 acquires data including detection values of sensors included in an apparatus worn by a user.
- the state detection unit 520 detects an abnormal state that has occurred to the user based on the detection value of the sensor included in the data acquired by the sensor data acquisition unit 510. More specifically, the state detection unit 520 detects an abnormal state when a predetermined pattern appears in the detection value.
- the device including the sensor may be the display unit 110 or the control unit 160 of the HMD 100, or may be another device that is worn or carried by the user, such as the smartphone 200 or the watch 400.
- the smartphone 200 and the watch 400 are examples of devices different from the wearable optical device (HMD 100).
- the smartphone 200 is an example of an information processing terminal that is carried by a user and operates in cooperation with the wearable optical device.
- the watch 400 is an example of a wearable device that is worn by a user and is different from the wearable optical device.
- the sensor data acquisition unit 510 may acquire data including detection values of sensors provided in any one of the display unit 110, the control unit 160, the smartphone 200, and the watch 400, or a plurality of devices The data including the detection values of the sensors respectively provided in the above may be acquired.
- the sensor may be, for example, a motion sensor (acceleration sensor and / or gyro sensor), microphone, cable insertion / extraction sensor, touch sensor, or illuminance sensor.
- the devices included in the system 10 will be specifically described.
- the motion sensor 116 included in the display unit 110 of the HMD 100, the illuminance sensor 118, the microphone 172 included in the control unit 160, the acceleration sensor 176, the sensor 210 included in the smartphone 200, the touch panel 214, A sensor 408 included in the microphone 218 and the watch 400 can be used.
- control unit 160 of the HMD 100 implements the sensor data acquisition unit 510
- data including the detection value of the sensor 210 included in the smartphone 200 is transmitted from the communication device 206 of the smartphone 200 to the communication device 166 of the HMD 100. Is done.
- data including the detection value of the sensor 408 included in the watch 400 is transmitted from the communication device 406 of the watch 400 to the communication device 206 of the smartphone 200, and further, the communication of the HMD 100 is performed by transfer control by the processor 202 of the smartphone 200. Transmitted to the device 166.
- the sensor data acquisition unit 510 acquires data including the detection value of the sensor from another wearable device (watch 400) via the information processing terminal (smart phone 200) that operates in cooperation with the wearable optical device (HMD 100). ing. If the HMD 100 and the watch 400 can directly communicate, the data may be transmitted from the communication device 406 of the watch 400 to the communication device 166 of the HMD 100.
- the function of the sensor data acquisition unit 510 may be realized in a device including a sensor used for detecting an abnormal state, or a device interposed between the device including the sensor and the HMD 100.
- the function of the sensor data acquisition unit 510 may be realized by the processor 202 of the smartphone 200.
- the function of the sensor data acquisition unit 510 is that the processor 402 of the watch 400 or the processor 202 of the smartphone 200 interposed between the watch 400 and the HMD 100. It may be realized by.
- the functions of the state detection unit 520 and the control unit 530 may be realized in the same device as the sensor data acquisition unit 510, or may be realized in a different device (for example, a device closer to the HMD 100).
- the state detection unit 520 detects an abnormal state that has occurred in the user of the HMD 100 when a predetermined pattern appears in the detection value of the sensor.
- the predetermined pattern may include a change exceeding a detection value threshold. For example, if the acceleration sensor or gyro sensor included in the motion sensor indicates that a large acceleration or angular velocity exceeding the normal range is applied to the device worn or carried by the user (the user falls down, It is presumed that the player has hit it strongly), and when a loud sound exceeding the normal range is detected by the microphone (when the user or the surrounding people make a loud voice or a shocking sound is generated) It is highly probable that an abnormal state has occurred in the user.
- the state detection unit 520 may detect an abnormal state when a detection value of the acceleration sensor or the microphone exceeds the threshold based on a preset threshold corresponding to a normal range of acceleration or volume. Good.
- the threshold value may be changeable by a user operation on the HMD 100 or the smartphone 200, for example. In this case, it is possible to personalize for each user what state is an abnormal state.
- the predetermined pattern when using a detection value of a motion sensor or a microphone, the predetermined pattern may be a waveform pattern corresponding to a specific motion or sound that occurs in an abnormal state.
- the state detection unit 520 may detect an abnormal state when the pattern appears.
- the state detection unit 520 indicates that the pattern has appeared.
- An abnormal state may be detected by.
- the predetermined pattern may be a change from a cable connection state to a non-connection state.
- the unconnected state of the cable detected by the cable insertion / extraction sensor in this embodiment means a state where the cable is not completely connected but the connection is maintained.
- the predetermined pattern may include the entire shielding of the touch sensor or the illuminance sensor.
- the state detection unit 520 may automatically detect an unexpected abnormal state (such as hitting something, falling down, or suddenly looking back) generated by the user, or detecting an abnormal state.
- An operation performed by the user who has performed may be detected.
- the user taps the frame of the display unit 110 of the HMD 100 strongly, pulls the cable between the display unit 110 and the control unit 160 (may be pulled out), or taps the control unit 160 strongly.
- the acceleration sensor included in the display unit 110 or the control unit 160 may detect a large acceleration
- the state detection unit 520 can detect an abnormal state.
- the user may cause the state detection unit 520 to detect an abnormal state by strongly tapping the smartphone 200 or the watch 400.
- the user covers the touch panel 214 of the smartphone 200, the touch panel 412 of the watch 400, or the illuminance sensor included in the sensor 408 with a hand or makes a loud sound near the control unit 160 of the HMD 100 (speaks a voice,
- the state detection unit 520 may detect an abnormal state by hitting a hand, hitting or rubbing the control unit 160 itself, or the like.
- the control unit 530 controls the light source 112 included in the display unit 110 of the HMD 100, and minimizes the luminance of light emitted from the light source 112 when an abnormal state is detected by the state detection unit 520.
- the control unit 530 controls the light source 112 to emit light (image display light) for causing the user to perceive an image superimposed on the real space with a predetermined luminance.
- the control unit 530 minimizes the luminance of the image display light.
- control unit 530 may stop the operation of the light source 112 and set the luminance of the image display light to zero.
- the control unit 530 minimizes the luminance of the image display light, the display unit 110 of the HMD 100 can easily see the external real space through the entire surface of the light guide plate 114.
- control unit 530 displays the image display light when a predetermined time elapses after a predetermined pattern for detecting an abnormal state does not appear in the detection value of the sensor acquired by the sensor data acquisition unit 510. May be restored to the original predetermined brightness.
- the control unit 530 may restore the luminance of the image display light when a predetermined pattern appears again in the sensor detection value. More specifically, for example, when the state detection unit 520 detects an abnormal state because the detected acceleration value acquired by the motion sensor exceeds the threshold value, the control unit 530 first exceeds the threshold value. When the abnormal state is detected, the luminance of the image display light may be minimized while the luminance of the image display light may be restored when the detected value exceeds the threshold again.
- the control unit 530 indicates that the cable insertion / extraction sensor is disconnected from the cable.
- the change from the state to the connection state is detected, the luminance of the image display light may be restored.
- the luminance can be restored by some method, and the provision of the image can be resumed.
- the user can restore the luminance by waiting for a while after the abnormal state is detected and the luminance is minimized.
- the user can perform the same operation again after the abnormal state is erroneously detected and the luminance is minimized by the operation that happens to be performed (for example, the operation of tapping the device or covering the touch panel or the illumination sensor with a hand). By executing, the luminance can be restored.
- the user can re-insert the luminance by reinserting the cable. Can be restored.
- the storage unit 540 stores setting information of the HMD 100 including setting information related to detection of an abnormal state.
- the receiving unit 550 receives setting information from the smartphone 200.
- the update control unit 560 controls updating of the stored setting information based on the setting information received by the receiving unit 550.
- the storage unit 540 is realized by, for example, the memory 164 included in the control unit 160 of the HMD 100, the reception unit 550 is realized by the communication device 166, and the update control unit 560 is realized by the processor 162.
- the update control unit 560 compares the setting information stored in the storage unit 540 with the setting information received by the receiving unit 550 when the received setting information is setting information related to detection of an abnormal state. Then, setting information having a wider range of the predetermined pattern for detecting an abnormal state is stored in the storage unit 540. Therefore, when the setting information already stored in the storage unit 540 has a wider range of the predetermined pattern for detecting an abnormal state than the setting information newly received from the smartphone 200, the setting information is updated. It may not be. On the other hand, the update control unit 560 overwrites the setting information stored in the storage unit 540 with the setting information received by the receiving unit 550 when the received setting information is not setting information related to detection of an abnormal state.
- the setting information of the HMD 100 can be set by either the HMD 100 or the smartphone 200 and is stored in both the memory 164 (storage unit 540) of the HMD 100 and the memory 204 of the smartphone 200.
- the setting information stored in the smartphone 200 is transmitted to the HMD 100, and the setting information stored in each device is shared.
- an image is provided before the connection between the HMD 100 and the smartphone 200 is established or even when the connection is temporarily disconnected. Can continue.
- the update control of the setting information by the update control unit 560 is performed.
- the update control unit 560 uses the setting information received from the smartphone 200 by the receiving unit 550 for the general setting information of the HMD 100, such as the luminance setting and the congestion setting (during normal times), for example.
- the setting information stored in is overwritten. That is, the setting information stored on the smartphone 200 side is handled as master information, and the setting information stored on the HMD 100 side is synchronized with the master information. This is because the HMD 100 may be shared between different users, whereas the smartphone 200 is basically dedicated to a single user and better suited for storing personalized settings. is there.
- the update control unit 560 compares the setting information received from the smartphone 200 by the receiving unit 550 with the setting information stored in the storage unit 540 for the setting information related to the detection of the abnormal state by the state detecting unit 520.
- setting information having a wider range of the predetermined pattern for detecting the abnormal state is stored in the storage unit 540. That is, the update control unit 560 overwrites the setting information stored in the storage unit 540 with the received setting information if the received setting information has a wider range of the predetermined pattern. Further, the update control unit 560 discards the received setting information and maintains the setting information stored in the storage unit 540 if the setting information already stored has a wider range of the predetermined pattern. That is, the update control unit 560 employs setting information on the safer side among the received setting information and stored setting information.
- the HMD 100 by handling the setting information stored on the smartphone 200 side as master information, even when the HMD 100 is shared between different users, it is easy to use the HMD 100 with personalized settings for each user. Become. However, it is inconvenient for the setting relating to the detection of the abnormal state that there is a discrepancy between the setting expected by the user and the actual setting. For example, when the owner of the HMD 100 connects the HMD 100 to the smartphone 200 of another user (for example, when using an application or content held by the smartphone 200 of another user), the owner of the HMD 100 is stored in the smartphone 200 of the other user.
- the setting information of the HMD 100 is overwritten with the set information, and the owner of the HMD 100 is detected as an abnormal state when the state detecting unit 520 detects an abnormal state based on the overwritten setting information (owned) It is possible that the abnormal state is not detected in the setting information of the person).
- an abnormal state is detected and the image is displayed. Assume that the setting is such that the brightness of light is minimized.
- the motion sensor 116 detects It is assumed that the abnormal state is not detected unless the acceleration to be performed exceeds the second threshold value that is larger than the first threshold value, or the acceleration detected by the motion sensor 116 is changed so as not to be used for detecting the abnormal state.
- the state detection unit 520 does not detect the abnormal state, and control is performed.
- the luminance minimization by the unit 530 is not executed. Since the detection of the abnormal state is a process for the safety of the user, it is inconvenient that it does not function as expected by the user.
- the update control unit 560 compares the setting information received from the smartphone 200 with the setting information already stored in the HMD 100, and is stored in the HMD 100. Because the setting information has a wider range of the predetermined pattern (the acceleration detected by the motion sensor 116 is used for determination of the abnormal state / the abnormal state is detected with the first threshold lower than the second threshold). The received setting information is discarded, and the setting information stored in the HMD 100 is maintained. Note that the update control unit 560 may overwrite the setting information stored in the storage unit 540 with the setting information received from the smartphone 200 for setting information other than the detection of the abnormal state. In the above example, when the first user connects the HMD 100 to his / her smartphone 200 again, the setting information (related to other than detection of an abnormal state) is rewritten to information personalized by the first user.
- the management of the setting information as in the above example is an example, and the setting information related to the detection of the abnormal state may be managed by other methods.
- setting information stored on the HMD 100 side may be used as master information. In that case, the processing of the update control unit 560 is not required.
- the management of the setting information as in the above example is performed, the setting information received by the receiving unit 550 is not limited to the smartphone 200. For example, even if the server 300 transmits the setting information. Good.
- Such a configuration may be employed when the HMD 100 can communicate with the server 300 without passing through the smartphone 200 or when the setting information is stored in the server 300 even when the smartphone 200 is interposed.
- the setting related to the detection of the abnormal state may be automatically adjusted based on, for example, the result of action recognition in addition to being adjusted by a user operation.
- the system 10 for example, it is possible to acquire information indicating a user's action state using the motion sensor 116 provided in the display unit 110 of the HMD 100, the sensor 210 provided in the smartphone 200, the GPS receiver 216, and the like as sensors.
- Such behavior recognition technology is a known technology described in Japanese Patent Application Laid-Open No. 2010-198595, Japanese Patent Application Laid-Open No. 2011-81431, Japanese Patent Application Laid-Open No. 2012-8771, and the like, and thus detailed description thereof is omitted.
- the state detection unit 520 extracts from the detection value of the sensor based on the pattern that is extracted from the result of behavior recognition, such as what state is an abnormal state and what operation the user performs in the abnormal state. An abnormal state may be detected.
- settings related to brightness control can be adjusted in the same way. For example, how much the control unit 530 reduces the luminance of the image display light (whether the operation of the light source 112 is stopped and the luminance is reduced to 0, or the luminance is decreased to a minimum value while the operation of the light source 112 is continued) ) May be adjusted by a user operation on the smartphone 200 or the HMD 100 itself.
- the control unit 530 minimizes the luminance of the image display light the reproduction of the content provided by the image may be terminated or may be paused and resumed after the luminance is restored. For example, whether the user continues to watch the content after the brightness is restored.
- FIG. 5 is a sequence diagram showing a first example.
- acceleration exceeding a threshold is detected by the acceleration sensor included in the motion sensor 116 of the display unit 110 (S201).
- a signal indicating the detected acceleration is transmitted from the display unit 110 to the control unit 160 (S203), and the control unit 160 determines to minimize the luminance of the image display light (S205).
- the control unit 160 transmits a request for stopping the operation of the light source 112 included in the display unit 110 (request for minimizing luminance) to the display unit 110 (S207), and the light source 112 stops operating in the display unit 110 (S209). ).
- the processor 162 of the control unit 160 acquires the acceleration detection value (function of the sensor data acquisition unit 510), and determines whether or not the detection value exceeds the threshold (state detection unit 520). If it exceeds, the control for stopping the light source 112 of the display unit 110 is executed (function of the control unit 530). Note that, for example, when the motion sensor 116 of the display unit 110 detects an angular velocity exceeding the threshold value, the same processing as the sequence of FIG. 5 can be executed.
- FIG. 6 is a sequence diagram showing a second example.
- acceleration exceeding a threshold is detected by the acceleration sensor 176 of the control unit 160 (S211).
- the control unit 160 determines to minimize the luminance of the image display light based on the detected acceleration (S205), and requests to stop the operation of the light source 112 provided in the display unit 110 (request to minimize the luminance). Is transmitted to the display unit 110 (S207).
- the light source 112 stops operating in response to the request (S209).
- the microphone 172 of the control unit 160 detects sound at a volume exceeding the threshold, or when the cable insertion / extraction sensor 178 detects a change in the connection state of the cable, the same processing as the sequence of FIG. 6 is performed. Can be executed.
- FIG. 7 is a sequence diagram showing a third example.
- acceleration exceeding a threshold is detected by an acceleration sensor included in the sensor 408 of the watch 400 (S221).
- the watch 400 determines to minimize the luminance of the image display light of the HMD 100 based on the detected acceleration (S223), and requests to stop the operation of the light source 112 included in the display unit 110 (request to minimize the luminance).
- Is transmitted (S225).
- the transmitted request is transferred to the control unit 160 by the smartphone 200 (S227).
- the control unit 160 transmits a request for stopping the operation of the light source 112 included in the display unit 110 (request for minimizing luminance) to the display unit 110 (S207), and the light source 112 stops operating in the display unit 110 (S209). ).
- the processor 402 of the watch 400 acquires a detection value of acceleration (a function of the sensor data acquisition unit 510), and determines whether or not the detection value exceeds a threshold (state detection unit 520). If it exceeds, the control (request transmission) for stopping the light source 112 of the display unit 110 is executed (function of the control unit 530). As another example, the watch 400 transmits a detected value when the detected value of acceleration is a certain amount (not necessarily the same as the threshold set in the HMD 100), The functions of the sensor data acquisition unit 510, the state detection unit 520, and the control unit 530 may be realized by the processor 162 of the control unit 160 that has received the detection value (S205 illustrated by a broken line).
- the functions of the above-described units may be realized by the processor 202 of the smartphone 200. Note that, for example, when the touch panel 412 of the watch 400 or the illuminance sensor included in the sensor 408 is totally shielded, the same processing as the sequence of FIG. 7 can be executed.
- FIG. 8 is a sequence diagram showing a fourth example.
- acceleration exceeding a threshold is detected by an acceleration sensor included in the sensor 210 of the smartphone 200 (S231).
- the smartphone 200 determines to minimize the luminance of the image display light of the HMD 100 based on the detected acceleration (S233), and requests to stop the operation of the light source 112 included in the display unit 110 (request to minimize the luminance) ) Is transmitted (S235).
- the control unit 160 that has received the request transmits a request to stop the operation of the light source 112 included in the display unit 110 (a request to minimize the luminance) to the display unit 110 (S207), and the light source 112 operates in the display unit 110. Stop (S209).
- the processor 202 of the smartphone 200 acquires the acceleration detection value (function of the sensor data acquisition unit 510), and determines whether or not the detection value exceeds the threshold (state detection unit 520). If it exceeds, the control (request transmission) for stopping the light source 112 of the display unit 110 is executed (function of the control unit 530).
- the smartphone 200 transmits a detected value and receives a detected value when the detected value of acceleration is a certain level (not necessarily the same as the threshold set in the HMD 100).
- the functions of the sensor data acquisition unit 510, the state detection unit 520, and the control unit 530 may be realized by the processor 162 of the control unit 160 (S205 illustrated by a broken line). Note that, for example, when other sensors included in the touch panel 214 of the smartphone 200, the microphone 218, and the sensor 210 are used for determination of an abnormal state, the same processing as the sequence in FIG. 8 can be executed.
- FIG. 9 is a block diagram illustrating a hardware configuration example of the electronic device according to the embodiment of the present disclosure.
- the illustrated electronic device 900 can realize, for example, the HMD 100, the smartphone 200, the server device configuring the server 300, and / or the watch 400 in the above-described embodiment.
- the electronic device 900 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
- the electronic device 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
- the electronic device 900 may include an imaging device 933 and a sensor 935 as necessary.
- the electronic device 900 may have a processing circuit called DSP (Digital Signal Processor) or ASIC (Application Specific Integrated Circuit) instead of or in addition to the CPU 901.
- DSP Digital Signal Processor
- ASIC Application Specific Integrated Circuit
- the CPU 901 functions as an arithmetic processing unit and a control unit, and controls all or a part of the operation in the electronic device 900 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
- the ROM 903 stores programs and calculation parameters used by the CPU 901.
- the RAM 905 primarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
- the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
- PCI Peripheral Component Interconnect / Interface
- the input device 915 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
- the input device 915 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone that supports the operation of the electronic device 900.
- the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data to the electronic device 900 and instruct processing operations.
- the output device 917 is a device that can notify the user of the acquired information visually or audibly.
- the output device 917 can be, for example, a display device such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Electro-Luminescence) display, an audio output device such as a speaker and headphones, and a printer device.
- the output device 917 outputs the result obtained by the processing of the electronic device 900 as video such as text or an image, or outputs it as audio such as voice or sound.
- the storage device 919 is a data storage device configured as an example of a storage unit of the electronic device 900.
- the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
- the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
- the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the electronic device 900.
- the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
- the drive 921 writes a record in the attached removable recording medium 927.
- the connection port 923 is a port for directly connecting the device to the electronic device 900.
- the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
- the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
- the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
- the communication device 925 may be, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
- the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
- the communication device 925 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
- the communication network 931 connected to the communication device 925 is a wired or wireless network, such as the Internet, a home LAN, infrared communication, radio wave communication, or satellite communication.
- the imaging device 933 uses various members such as an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and a lens for controlling the formation of a subject image on the imaging element. It is an apparatus that images a real space and generates a captured image.
- the imaging device 933 may capture a still image or may capture a moving image.
- the sensor 935 is various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, and a sound sensor.
- the sensor 935 obtains information related to the state of the electronic device 900 itself, such as the posture of the casing of the electronic device 900, and information related to the surrounding environment of the electronic device 900, such as brightness and noise around the electronic device 900.
- the sensor 935 may include a GPS sensor that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the apparatus.
- GPS Global Positioning System
- Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
- Embodiments of the present disclosure include, for example, an electronic device, a system, a method executed by the electronic device or the system as described above, a program for causing the electronic device to function, and a non-temporary tangible recording of the program.
- Media may be included.
- a sensor data acquisition unit that acquires data including a detection value of a sensor included in a device worn or carried by a user;
- a state detection unit that detects an abnormal state that has occurred to the user when a predetermined pattern appears in the detection value;
- a control unit that controls a light source of a wearable optical device that emits light for causing the user to perceive an image superimposed in real space, and that minimizes the luminance of the light when the abnormal state is detected.
- Electronics (2) The electronic device according to (1), wherein the sensor includes a sensor provided in at least one device different from the wearable optical device.
- the wearable optical device includes a first unit that includes the light source and is attached to the user's head, and a second unit separated from the first unit, The electronic device according to (6), wherein the sensor includes a sensor provided in the second unit. (8) The electronic device according to any one of (1) to (7), wherein the sensor includes an acceleration sensor or an angular velocity sensor. (9) The electronic device according to any one of (1) to (8), wherein the sensor includes a microphone. (10) The electronic device according to any one of (1) to (9), wherein the predetermined pattern includes a change exceeding a threshold value of the detection value. (11) The electronic device according to any one of (1) to (10), wherein the control unit restores the luminance of the light when the predetermined pattern appears again in the detection value.
- the control unit according to any one of (1) to (11), wherein the luminance of the light is restored when a predetermined time elapses after the predetermined pattern does not appear in the detection value.
- the electronic device as described in. (13) The sensor includes a sensor that detects a connection state of a cable that connects between a device including the sensor and another device, or a plurality of modules included in the device including the sensor.
- the electronic device according to any one of (1) to (12), wherein the predetermined pattern includes a change from a connected state of the cable to a disconnected state.
- the electronic device according to (13), wherein the control unit restores the luminance of the light when the detected value indicates a change from a non-connected state to a connected state of the cable.
- the sensor includes a touch sensor or an illuminance sensor, The electronic device according to any one of (1) to (14), wherein the predetermined pattern includes a total shielding of the touch sensor or the illuminance sensor.
- a storage unit for storing setting information; A receiving unit for receiving the setting information from an external device; An update control unit that controls updating of the stored setting information based on the received setting information, and The update control unit compares the stored setting information with the received setting information when the received setting information is setting information related to detection of the abnormal state, and the range of the predetermined pattern (1) to (15), wherein wider setting information is stored in the storage unit, and if not, the stored setting information is overwritten with the received setting information.
- Electronic equipment is a touch sensor or an illuminance sensor, The electronic device according to any one of (1) to (14), wherein the predetermined pattern includes a total shielding of the touch sensor or the illuminance sensor.
- a device mounted or carried by a user and provided with a sensor A light source that emits light for causing the user to perceive an image superimposed in real space, a sensor data acquisition unit that acquires data including detection values of the sensors, and when a predetermined pattern appears in the detection values
- a wearable optical device comprising: a state detection unit that detects an abnormal state generated by a user; and a control unit that minimizes the luminance of the light when the abnormal state is detected.
- a method of providing an image comprising: when a wearable optical device detects the abnormal state, minimizing a luminance of light for allowing the user to perceive an image superimposed on a real space.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本発明は、ウェアラブル光学装置を装着したユーザに異常状態が発生した場合に、ユーザを支援するための適切な動作を実行することを目的とする。ユーザによって装着または携帯される装置が備えるセンサの検出値を含むデータを取得するセンサデータ取得部(510)と、上記検出値に所定のパターンが現れた場合に上記ユーザに発生した異常状態を検出する状態検出部(520)と、実空間に重畳される画像を上記ユーザに知覚させるための光を射出するウェアラブル光学装置の光源を制御し、上記異常状態が検出された場合に上記光の輝度を最小化する制御部(530)とを備える電子機器が提供される。
Description
本開示は、電子機器、および画像の提供方法に関する。
近年、実空間の像に重畳する仮想的な画像を観察者に知覚させることが可能な光学装置が種々開発されている。こうした光学装置は、例えばウェアラブル光学装置であり、特にユーザの頭部に装着されるものはヘッドマウントディスプレイ(HMD:Head Mounted Display)として知られている。HMDとして、例えば観察者の瞳の前方に設けられるハーフミラーを表示面として、そこに画像(実像)を結像させるタイプのものが知られている。また、光学系を用いて画像表示光を観察者の眼に導光することによって画像(虚像)を知覚させるタイプのHMDも開発されている。例えば、特許文献1には、観察者の眼に対して横方向から画像表示光を導光して眼に入射させることが可能なHMDを実現するための技術が記載されている。
例えば特許文献1に記載されたような技術や、その他の技術を利用することによって、HMDのようなウェアラブル光学装置の小型化および軽量化が進み、ユーザが基本的に常時装着することを前提としたHMDも開発されている。これを受けて、HMDのユーザビリティを向上させるための技術も種々提案されている。例えば、特許文献2では、HMDの衝撃および変位の少なくとも一方の検出データに基づいて所与のコマンドを発生させる技術が提案されている。
しかしながら、ユーザがHMDのようなウェアラブル光学装置を装着する時間が長くなると、その分、装着中にユーザに何らかの異常状態が発生する可能性も高くなる。そのような場合には、ウェアラブル光学装置によって提供される画像が実空間の視認の妨げになり、異常状態に遭遇したユーザが適切な行動をとることができない可能性がある。例えば特許文献2に記載されたような技術では、ユーザが通常の状態において(指で叩くなどして)HMDに与えた衝撃や変位を利用して機器操作を行うことが可能であるが、異常状態においてユーザを支援するための適切な動作を実行することが可能になるわけではない。
そこで、本開示では、ウェアラブル光学装置を装着したユーザに異常状態が発生した場合に、ユーザを支援するための適切な動作を実行することが可能な、新規かつ改良された電子機器、および画像の提供方法を提案する。
本開示によれば、ユーザによって装着または携帯される装置が備えるセンサの検出値を含むデータを取得するセンサデータ取得部と、上記検出値に所定のパターンが現れた場合に上記ユーザに発生した異常状態を検出する状態検出部と、実空間に重畳される画像を上記ユーザに知覚させるための光を射出するウェアラブル光学装置の光源を制御し、上記異常状態が検出された場合に上記光の輝度を最小化する制御部とを備える電子機器が提供される。
また、本開示によれば、ユーザによって装着または携帯され、センサを備える装置と、実空間に重畳される画像を上記ユーザに知覚させるための光を射出する光源、上記センサの検出値を含むデータを取得するセンサデータ取得部、上記検出値に所定のパターンが現れた場合に上記ユーザに発生した異常状態を検出する状態検出部、および上記異常状態が検出された場合に上記光の輝度を最小化する制御部を備えるウェアラブル光学装置とを含むシステムが提供される。
また、本開示によれば、ユーザによって装着または携帯される装置が備えるセンサの検出値を取得することと、上記検出値に所定のパターンが現れた場合に上記ユーザに発生した異常状態を検出することと、上記異常状態が検出された場合に、ウェアラブル光学装置が実空間に重畳される画像を上記ユーザに知覚させるための光の輝度を最小化することとを含む画像の提供方法が提供される。
ユーザに発生した異常状態は、ユーザによって装着または携帯される装置が備えるセンサの検出値に現れる所定のパターンに基づいて検出することができる。異常状態が検出された場合に、実空間に重畳される画像をユーザに知覚させるための光の輝度を最小化することで、異常状態に遭遇したユーザが周囲の実空間を十分に視認し、異常状態に適切に対処するための行動をとるのを支援することができる。
以上説明したように本開示によれば、ウェアラブル光学装置を装着したユーザに異常状態が発生した場合に、ユーザを支援するための適切な動作を実行することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.システム構成
2.異常状態の検出および輝度制御
3.具体的な例
4.ハードウェア構成
5.補足
1.システム構成
2.異常状態の検出および輝度制御
3.具体的な例
4.ハードウェア構成
5.補足
(1.システム構成)
図1は、本開示の一実施形態に係るシステムの概略的な構成を示す図である。図2は、図1に示すシステムの概略的な機能構成を示すブロック図である。図1および図2を参照すると、システム10は、ヘッドマウントディスプレイ(HMD)100と、スマートフォン200と、サーバ300と、ウォッチ400とを含む。以下、それぞれの機器の構成について説明する。
図1は、本開示の一実施形態に係るシステムの概略的な構成を示す図である。図2は、図1に示すシステムの概略的な機能構成を示すブロック図である。図1および図2を参照すると、システム10は、ヘッドマウントディスプレイ(HMD)100と、スマートフォン200と、サーバ300と、ウォッチ400とを含む。以下、それぞれの機器の構成について説明する。
(ヘッドマウントディスプレイ)
HMD100は、ディスプレイユニット110と、コントロールユニット160とを含む。ディスプレイユニット110は、例えば眼鏡型の筐体を有し、ユーザ(観察者)の頭部に装着される。コントロールユニット160は、ディスプレイユニット110にケーブルで接続される。
HMD100は、ディスプレイユニット110と、コントロールユニット160とを含む。ディスプレイユニット110は、例えば眼鏡型の筐体を有し、ユーザ(観察者)の頭部に装着される。コントロールユニット160は、ディスプレイユニット110にケーブルで接続される。
ディスプレイユニット110は、図1に示されるように、光源112と、導光板114とを備える。光源112は、コントロールユニット160の制御に従って画像表示光を射出する。導光板114は、光源112から入射した画像表示光を導光し、ユーザの眼に対応する位置で画像表示光を出射する。ユーザの眼には、実空間から入射して導光板114を透過する光と、導光板114によって光源112から導光された画像表示光とが入射する。これによって、ディスプレイユニット110を装着したユーザは、実空間に重畳される画像を知覚することができる。なお、光源112から導光板114を介して画像表示光を出射させるための構成には、例えば上述した特許4776285号公報に記載されたような技術が用いられてもよい。ディスプレイユニット110は、このような構成のための図示しない光学系をさらに備えてもよい。
さらに、ディスプレイユニット110は、図2に示されるように、モーションセンサ116、照度センサ118、および/またはカメラ120を備えてもよい。モーションセンサ116は、例えば、3軸加速度センサ、3軸ジャイロセンサ、および3軸地磁気センサを含む。これらのセンサによって検出されるディスプレイユニット110の加速度、角速度、および方位に基づいて、ディスプレイユニット110の姿勢や動き(変位および回転)を特定することができる。照度センサ118は、ディスプレイユニット110に入射する光の照度を検出する。カメラ120は、実空間の画像を撮影する。カメラ120によって撮影される画像は、例えば、実空間におけるユーザの視界に対応する画像として扱われる。
コントロールユニット160は、プロセッサ162と、メモリ164と、通信装置166と、入力キー168と、タッチセンサ170と、マイクロフォン172と、スピーカ174と、加速度センサ176と、ケーブル挿抜センサ178と、バッテリー180とを備える。プロセッサ162は、メモリ164に格納されたプログラムに従って動作することによって各種の機能を実現する。後述する状態検出部、および制御部などの機能は、例えばプロセッサ162によって実現される。プロセッサ162は、ケーブルを介した有線通信によってディスプレイユニット110に制御信号を送信し、また光源112やモーションセンサ116のための電源を提供する。また、プロセッサ162は、ディスプレイユニット110に備えられるモーションセンサ116、およびカメラ120から出力されたデータを取得し、これらに基づく処理を実行する。
メモリ164は、プロセッサ162の動作のためのさまざまなデータを格納する。例えば、メモリ164は、プロセッサ162が各種機能を実現するためのプログラムを格納する。また、メモリ164は、ディスプレイユニット110のモーションセンサ116、およびカメラ120から出力されたデータを一時的に格納する。通信装置166は、スマートフォン200との間で無線通信を実行する。無線通信には、例えばBluetooth(登録商標)またはWi-Fiなどが用いられる。入力キー168は、例えば戻るキーやPTT(Push to Talk)キーなどを含み、HMD100に対するユーザ操作を取得する。タッチセンサ170も、同様にHMD100に対するユーザ操作を取得する。より具体的には、例えば、タッチセンサ170は、ユーザによるタップやスワイプなどの操作を取得する。
マイクロフォン172は、音声を音声信号に変換し、プロセッサ162に提供する。スピーカ174は、プロセッサ162の制御に従って音声を出力する。加速度センサ176は、例えば3軸加速度センサであり、コントロールユニット160の加速度を検出する。ケーブル挿抜センサ178は、コントロールユニット160とディスプレイユニット110とを接続するケーブルの接続状態を検出するセンサである。ケーブル挿抜センサ178は、例えば、ケーブルが完全に接続された状態と、ケーブルが不完全に接続された状態(完全には接続されていないが接続は維持されている状態)と、ケーブルが接続されていない状態とを検出可能でありうる。バッテリー180は、コントロールユニット160およびディスプレイユニット110の全体に電源を供給する。
なお、HMD100では、プロセッサ162やマイクロフォン172、スピーカ174、バッテリー180などをコントロールユニット160に搭載し、ディスプレイユニット110とコントロールユニット160とを分離してケーブルで接続することによって、ディスプレイユニット110の小型化および軽量化を図っている。コントロールユニット160もまたユーザによって携帯されるため、可能な限り小型化および軽量化することが望ましい。そこで、例えば、プロセッサ162が実現する機能をディスプレイユニット110の制御のための最低限の機能とし、それ以外の機能についてはスマートフォン200で実現することによって、プロセッサ162の消費電力の低減によるバッテリー180およびコントロールユニット160全体の小型化を図ってもよい。
(スマートフォン)
スマートフォン200は、プロセッサ202と、メモリ204と、通信装置206,208と、センサ210と、ディスプレイ212と、タッチパネル214と、GPS(Global Positioning System)受信機216と、マイクロフォン218と、スピーカ220と、バッテリー222とを備える。プロセッサ202は、メモリ204に格納されたプログラムに従って動作することによって各種の機能を実現する。上述の通り、プロセッサ202がHMD100のコントロールユニット160が備えるプロセッサ162と協働して各種の機能を実現することによって、コントロールユニット160の小型化および軽量化が可能になる。メモリ204は、スマートフォン200の動作のためのさまざまなデータを格納する。例えば、メモリ204は、プロセッサ202が各種機能を実現するためのプログラムを格納する。また、メモリ204は、センサ210やGPS受信機216によって取得されたデータ、およびHMD100との間で送受信されるデータを、一時的または継続的に格納する。
スマートフォン200は、プロセッサ202と、メモリ204と、通信装置206,208と、センサ210と、ディスプレイ212と、タッチパネル214と、GPS(Global Positioning System)受信機216と、マイクロフォン218と、スピーカ220と、バッテリー222とを備える。プロセッサ202は、メモリ204に格納されたプログラムに従って動作することによって各種の機能を実現する。上述の通り、プロセッサ202がHMD100のコントロールユニット160が備えるプロセッサ162と協働して各種の機能を実現することによって、コントロールユニット160の小型化および軽量化が可能になる。メモリ204は、スマートフォン200の動作のためのさまざまなデータを格納する。例えば、メモリ204は、プロセッサ202が各種機能を実現するためのプログラムを格納する。また、メモリ204は、センサ210やGPS受信機216によって取得されたデータ、およびHMD100との間で送受信されるデータを、一時的または継続的に格納する。
通信装置206は、HMD100のコントロールユニット160が備える通信装置166、およびウォッチ400が備える通信装置406との間で、Bluetooth(登録商標)またはWi-Fiなどを用いた無線通信を実行する。また、通信装置208は、サーバ300との間でネットワーク通信を実行する。ネットワーク通信は、例えば携帯電話網を経由して実行されてもよい。センサ210は、例えば加速度センサ、角速度センサ、地磁気センサ、または照度センサなどを含み、スマートフォン200のさまざまな状態を検出する。ディスプレイ212は、プロセッサ202の制御に従って各種の画像を表示する。タッチパネル214は、ディスプレイ212上に配置され、ディスプレイ212に対するユーザのタッチ操作を取得する。GPS受信機216は、スマートフォン200の緯度、経度、および高度を測定するためのGPS信号を受信する。マイクロフォン218は、音声を音声信号に変換し、プロセッサ202に提供する。スピーカ220は、プロセッサ202の制御に従って音声を出力する。バッテリー222は、スマートフォン200の全体に電源を供給する。
(サーバ)
サーバ300は、プロセッサ302と、メモリ304と、通信装置306とを備える。なお、サーバ300は、例えばネットワーク上で複数のサーバ装置が協働することによって実現されるが、ここでは説明を簡単にするために仮想的な単一の装置として説明する。プロセッサ302は、メモリ304に格納されたプログラムに従って動作することによって各種の機能を実現する。サーバ300のプロセッサ302は、例えば、スマートフォン200から受信したリクエストに応じて各種の情報処理を実行し、結果をスマートフォン200に送信する。メモリ304は、サーバ300の動作のためのさまざまなデータを格納する。例えば、メモリ304は、プロセッサ302が各種機能を実現するためのプログラムを格納する。メモリ304は、さらに、スマートフォン200からアップロードされたデータを一時的または継続的に格納してもよい。通信装置306は、スマートフォン200との間で、例えば携帯電話網を経由したネットワーク通信を実行する。
サーバ300は、プロセッサ302と、メモリ304と、通信装置306とを備える。なお、サーバ300は、例えばネットワーク上で複数のサーバ装置が協働することによって実現されるが、ここでは説明を簡単にするために仮想的な単一の装置として説明する。プロセッサ302は、メモリ304に格納されたプログラムに従って動作することによって各種の機能を実現する。サーバ300のプロセッサ302は、例えば、スマートフォン200から受信したリクエストに応じて各種の情報処理を実行し、結果をスマートフォン200に送信する。メモリ304は、サーバ300の動作のためのさまざまなデータを格納する。例えば、メモリ304は、プロセッサ302が各種機能を実現するためのプログラムを格納する。メモリ304は、さらに、スマートフォン200からアップロードされたデータを一時的または継続的に格納してもよい。通信装置306は、スマートフォン200との間で、例えば携帯電話網を経由したネットワーク通信を実行する。
(ウォッチ)
ウォッチ400は、プロセッサ402と、メモリ404と、通信装置406と、センサ408と、ディスプレイ410と、タッチパネル412と、バッテリー414とを備える。ウォッチ400は、HMD100のユーザによって装着される別のウェアラブル装置の例である。システム10は、ウォッチ400に代えて、またはウォッチ400とともに、ユーザの身体の他の部分に装着されるウェアラブル装置を含んでもよい。また、後述する状態検出の処理においてウォッチ400のセンサの検出値が利用されないような場合、システム10は必ずしもウォッチ400のようなHMD100以外のウェアラブル装置を含まなくてもよい。
ウォッチ400は、プロセッサ402と、メモリ404と、通信装置406と、センサ408と、ディスプレイ410と、タッチパネル412と、バッテリー414とを備える。ウォッチ400は、HMD100のユーザによって装着される別のウェアラブル装置の例である。システム10は、ウォッチ400に代えて、またはウォッチ400とともに、ユーザの身体の他の部分に装着されるウェアラブル装置を含んでもよい。また、後述する状態検出の処理においてウォッチ400のセンサの検出値が利用されないような場合、システム10は必ずしもウォッチ400のようなHMD100以外のウェアラブル装置を含まなくてもよい。
プロセッサ402は、メモリ404に格納されたプログラムに従って動作することによって各種の機能を実現する。本実施形態において、プロセッサ402は、例えばタッチパネル412を介して取得されたユーザ操作を、通信装置406を用いてスマートフォン200に送信し、スマートフォン200がユーザ操作に基づいて実行した処理の結果を受信してディスプレイ410に表示する制御を実行する。あるいは、ウォッチ400はHMD100と連係動作し、プロセッサ402は、タッチパネル412を介して取得された、HMD100を動作させるためのユーザ操作を、通信装置406を介してスマートフォン200に送信してもよい。通信装置406は、スマートフォン200が備える通信装置206との間で、Bluetooth(登録商標)またはWi-Fiなどを用いた無線通信を実行する。なお、通信装置406は、HMD100のコントロールユニット160が備える通信装置166と直接的に通信可能であってもよい。
センサ408は、例えば加速度センサ、角速度センサ、地磁気センサ、または照度センサなどを含み、ウォッチ400のさまざまな状態を検出する。ディスプレイ410は、プロセッサ402の制御に従って各種の画像を表示する。タッチパネル412は、ディスプレイ410上に配置され、ディスプレイ410に対するユーザのタッチ操作を取得する。バッテリー414は、ウォッチ400の全体に電源を供給する。
以上、本開示の一実施形態におけるシステム構成について説明した。なお、本実施形態において、HMD100は、ウェアラブル光学装置(ディスプレイユニット110)を含む電子機器の一例である。上述の通り、HMD100は、導光板114を用いて画像表示光を観察者の眼に導光することによって画像を知覚させる。従って、ディスプレイという用語が用いられているが、HMD100は必ずしも表示面に画像を結像させるものではない。もちろん、他の方式のHMDとして知られているように、HMD100に代えて表示面に画像を結像させるタイプのHMDが用いられてもよい。
また、上記のシステム構成は一例であり、他にもさまざまなシステム構成が可能である。例えば、HMD100は、必ずしもディスプレイユニット110とコントロールユニット160とに分離していなくてもよく、例えば上記で説明したHMD100の構成の全体が、ディスプレイユニット110のような眼鏡型の筐体に集約されていてもよい。また、既に述べた通り、HMD100を制御するための機能の少なくとも一部が、スマートフォン200で実現されてもよい。あるいは、ディスプレイユニット110もプロセッサを備え、HMD100における情報処理がコントロールユニット160のプロセッサ162とディスプレイユニット110のプロセッサとの協働によって実現されてもよい。
さらなる変形例として、システム10がスマートフォン200を含まず、HMD100とウォッチ400、および/またはサーバ300との間で直接的に通信が実行されてもよい。また、システム10において、スマートフォン200は、HMD100、サーバ300、および/またはウォッチ400との通信を実行することが可能な他の装置、例えばタブレット端末、パーソナルコンピュータ、または携帯型ゲーム機などによって代替されてもよい。また、上述の通り、システム10は必ずしもウォッチ400を含まなくてもよい。
図3は、本開示の一実施形態に係るシステムにおける処理シーケンスの例を示す図である。図3を参照すると、まず、ウォッチ400において、タッチパネル412を介してユーザ操作が入力される(S101)。このとき、プロセッサ402は、ユーザ操作の内容を示す情報を、通信装置406を介してスマートフォン200に送信する(S103)。スマートフォン200では、プロセッサ202が、通信装置206を介してウォッチ400から受信した情報に基づいて、次に表示する画像の内容を判断する(S105)。図示していないが、このとき、プロセッサ202は、通信装置208を介してサーバ300と通信し、次に表示する画像のために必要な情報を取得してもよい。
続いて、プロセッサ202は、通信装置206を介して、次に表示する画像のために必要な情報、例えばアイコンやテキストなどをHMD100に送信する(S107)。HMD100では、プロセッサ162が、通信装置166を介してスマートフォン200から受信した情報に基づいて、次に表示する画像(フレーム画像)を生成する(S109)。さらに、プロセッサ162は、生成されたフレーム画像のデータに基づいてディスプレイユニット110の光源112を制御し、光源112から射出される画像表示光によって提供される画像のフレームを更新する(S111)。
なお、上記の例では、ウォッチ400において取得されたユーザ操作に基づいてHMD100で画像が提供されるが、同様に、スマートフォン200のタッチパネル214や、HMD100のコントロールユニット160の入力キー168またはタッチセンサ170が取得したユーザ操作に基づいてHMD100で画像が提供されてもよい。
(2.異常状態の検出および輝度制御)
図4は、本開示の一実施形態における異常状態の検出および輝度制御のための機能構成を示すブロック図である。図4を参照すると、本実施形態において、異常状態の検出および輝度制御は、センサデータ取得部510と、状態検出部520と、制御部530とを含む機能構成によって実現される。機能構成は、さらに、記憶部540と、受信部550と、更新制御部560とを含んでもよい。
図4は、本開示の一実施形態における異常状態の検出および輝度制御のための機能構成を示すブロック図である。図4を参照すると、本実施形態において、異常状態の検出および輝度制御は、センサデータ取得部510と、状態検出部520と、制御部530とを含む機能構成によって実現される。機能構成は、さらに、記憶部540と、受信部550と、更新制御部560とを含んでもよい。
システム10において、これらの機能構成は、例えばHMD100のコントロールユニット160が備えるプロセッサ162がメモリ164に格納されたプログラムに従って動作することによって実現される。あるいは、上記の機能構成の一部または全部は、Bluetooth(登録商標)やWi-Fiなどの無線通信を介してHMD100と通信するスマートフォン200のプロセッサ202が、メモリ204に格納されたプログラムに従って動作することによって実現されてもよい。同様に、上記の機能構成の一部または全部は、サーバ300のプロセッサ302が、メモリ304に格納されたプログラムに従って動作することによって実現されてもよい。つまり、上記の機能構成は、システム10に含まれるいずれかの電子機器(HMD100、スマートフォン200、またはサーバ300)において実現されてもよいし、システム10に含まれる複数の電子機器が協働することによって実現されてもよい。
(異常状態の検出)
まず、センサデータ取得部510および状態検出部520によって実行される、HMD100のユーザに発生した異常状態の検出について説明する。本実施形態において、センサデータ取得部510は、ユーザによって装着される装置が備えるセンサの検出値を含むデータを取得する。状態検出部520は、センサデータ取得部510が取得したデータに含まれるセンサの検出値に基づいて、ユーザに発生した異常状態を検出する。より具体的には、状態検出部520は、検出値に所定のパターンが現れた場合に異常状態を検出する。
まず、センサデータ取得部510および状態検出部520によって実行される、HMD100のユーザに発生した異常状態の検出について説明する。本実施形態において、センサデータ取得部510は、ユーザによって装着される装置が備えるセンサの検出値を含むデータを取得する。状態検出部520は、センサデータ取得部510が取得したデータに含まれるセンサの検出値に基づいて、ユーザに発生した異常状態を検出する。より具体的には、状態検出部520は、検出値に所定のパターンが現れた場合に異常状態を検出する。
ここで、センサを備える装置は、HMD100のディスプレイユニット110またはコントロールユニット160であってもよいし、ユーザによって装着または携帯される他の装置、例えばスマートフォン200またはウォッチ400であってもよい。スマートフォン200およびウォッチ400は、ウェアラブル光学装置(HMD100)とは異なる装置の例である。スマートフォン200は、ユーザによって携帯され、ウェアラブル光学装置と連携動作する情報処理端末の例である。ウォッチ400は、ユーザによって装着される、ウェアラブル光学装置とは別のウェアラブル装置の例である。センサデータ取得部510は、ディスプレイユニット110、コントロールユニット160、スマートフォン200、およびウォッチ400のうち、いずれか1つの装置に備えられるセンサの検出値を含むデータを取得してもよいし、複数の装置にそれぞれ備えられるセンサの検出値を含むデータを取得してもよい。
また、センサは、例えばモーションセンサ(加速度センサおよび/またはジャイロセンサ)、マイクロフォン、ケーブル挿抜センサ、タッチセンサ、または照度センサなどでありうる。システム10に含まれる装置について具体的に説明すると、HMD100のディスプレイユニット110が備えるモーションセンサ116、照度センサ118、コントロールユニット160が備えるマイクロフォン172、加速度センサ176、スマートフォン200が備えるセンサ210、タッチパネル214、マイクロフォン218、ウォッチ400が備えるセンサ408が利用されうる。
ここで、例えば、HMD100のコントロールユニット160がセンサデータ取得部510を実現する場合、スマートフォン200が備えるセンサ210の検出値を含むデータは、スマートフォン200の通信装置206からHMD100の通信装置166へと送信される。同様に、ウォッチ400が備えるセンサ408の検出値を含むデータは、ウォッチ400の通信装置406からスマートフォン200の通信装置206へと送信され、さらに、スマートフォン200のプロセッサ202による転送制御によって、HMD100の通信装置166へと送信される。このとき、センサデータ取得部510は、ウェアラブル光学装置(HMD100)と連携動作する情報処理端末(スマートフォン200)を介して、別のウェアラブル装置(ウォッチ400)からセンサの検出値を含むデータを取得している。HMD100とウォッチ400とが直接的に通信可能であれば、データはウォッチ400の通信装置406からHMD100の通信装置166に送信されてもよい。
あるいは、センサデータ取得部510の機能は、異常状態の検出に利用されるセンサを備える装置、またはセンサを備える装置とHMD100との間に介在する装置において実現されてもよい。例えば、スマートフォン200が備えるセンサ210が異常状態の検出に利用される場合、センサデータ取得部510の機能は、スマートフォン200のプロセッサ202によって実現されてもよい。また、ウォッチ400が備えるセンサ408が異常状態の検出に利用される場合、センサデータ取得部510の機能は、ウォッチ400のプロセッサ402、またはウォッチ400とHMD100との間に介在するスマートフォン200のプロセッサ202によって実現されてもよい。状態検出部520および制御部530の機能は、センサデータ取得部510と同じ装置において実現されてもよいし、異なる装置(例えば、よりHMD100に近い装置)で実現されてもよい。
上述のように、状態検出部520は、センサの検出値に所定のパターンが現れた場合に、HMD100のユーザに発生した異常状態を検出する。例えば、モーションセンサやマイクロフォンの検出値を利用する場合、所定のパターンは、検出値の閾値を越える変化を含んでもよい。例えば、モーションセンサに含まれる加速度センサやジャイロセンサによって、ユーザに装着または携帯される装置に通常の範囲を超えた大きな加速度や角速度がかかったことが示される場合(ユーザが転倒したり、装置を強く叩いたりしたような場合と推定される)、およびマイクロフォンによって通常の範囲を超えた大きな音が検出された場合(ユーザや周囲の人が大きな声を出したり、衝撃音が発生したような場合と推定される)には、ユーザに異常状態が発生している可能性が高い。そこで、状態検出部520は、予め設定された、加速度や音量の通常の範囲に対応する閾値に基づいて、加速度センサやマイクロフォンの検出値が閾値を超えた場合に、異常状態を検出してもよい。なお、閾値は、例えばHMD100やスマートフォン200へのユーザ操作によって変更可能であってもよい。この場合、どのような状態を異常状態とするかを、ユーザごとに個人化することができる。
あるいは、モーションセンサやマイクロフォンの検出値を利用する場合、所定のパターンは、異常状態において発生する特定のモーションや音声に対応する波形のパターンであってもよい。例えば、モーションセンサに含まれる加速度センサ、ジャイロセンサ、または地磁気センサの検出値において、ユーザが転倒したり、装置を強く叩いたりした場合に検出される波形に特定のパターンが現れることがわかっている場合、状態検出部520は、そのパターンが現れたことによって異常状態を検出してもよい。また、例えば、マイクロフォンの検出値において、人の叫び声や衝撃音が発生した場合に検出される波形に特定のパターンが現れることが分かっている場合、状態検出部520は、そのパターンが現れたことによって異常状態を検出してもよい。
また、ケーブル挿抜センサの検出値を利用する場合、所定のパターンは、ケーブルの接続状態から非接続状態への変化であってもよい。なお、この場合、ケーブルの接続が完全に解除されるとディスプレイユニット110に電源が供給されないために光源112が強制的にシャットダウンされる(つまり、後述する制御部530が制御するまでもなく輝度が最小化される)ため、本実施形態においてケーブル挿抜センサが検出するケーブルの非接続状態は、ケーブルが完全には接続されていないが接続は維持されている状態を意味する。例えば、HMD100において、ディスプレイユニット110とコントロールユニット160との間のケーブルが引き抜かれかけた場合、ユーザに異常状態が発生している可能性が高い。また、タッチセンサまたは照度センサの検出値を利用する場合、所定のパターンは、タッチセンサや照度センサの全面的な遮蔽を含んでもよい。
上記のような構成によって、状態検出部520は、ユーザに発生した不意の異常状態(何かにぶつかる、転倒する、急激に振り返るなど)を自動的に検出してもよいし、異常状態を感知したユーザが咄嗟に実行する動作を検出してもよい。例えば、ユーザは、HMD100のディスプレイユニット110のフレームを強くタップしたり、ディスプレイユニット110とコントロールユニット160との間のケーブルを強く引っ張ったり(引き抜いてもよい)、コントロールユニット160を強くタップしたりして、ディスプレイユニット110またはコントロールユニット160が備える加速度センサに大きな加速度を検出させることによって、状態検出部520に異常状態を検出させることができる。また、ユーザは、スマートフォン200やウォッチ400を強くタップすることによって状態検出部520に異常状態を検出させてもよい。あるいは、ユーザは、スマートフォン200のタッチパネル214や、ウォッチ400のタッチパネル412、またはセンサ408に含まれる照度センサを手で覆ったり、HMD100のコントロールユニット160の近傍で大きな音を出したり(声を出す、手を叩く、コントロールユニット160自体を叩いたり擦ったりするなど)することによって、状態検出部520に異常状態を検出させてもよい。
(輝度制御)
次に、制御部530によって実行される、異常状態が検出された場合のHMD100の輝度制御について説明する。本実施形態において、制御部530は、HMD100のディスプレイユニット110が備える光源112を制御し、状態検出部520によって異常状態が検出された場合には光源112が射出する光の輝度を最小化する。通常の状態において、制御部530は、光源112が、実空間に重畳される画像をユーザに知覚させるための光(画像表示光)を所定の輝度で射出するように制御している。一方、状態検出部520によって異常状態が検出された場合、制御部530は、画像表示光の輝度を最小化する。より具体的には、制御部530は、光源112の動作を停止させ、画像表示光の輝度を0にしてもよい。制御部530が画像表示光の輝度を最小化することによって、HMD100のディスプレイユニット110では、導光板114の全面を透過して外部の実空間を視認することが容易になる。
次に、制御部530によって実行される、異常状態が検出された場合のHMD100の輝度制御について説明する。本実施形態において、制御部530は、HMD100のディスプレイユニット110が備える光源112を制御し、状態検出部520によって異常状態が検出された場合には光源112が射出する光の輝度を最小化する。通常の状態において、制御部530は、光源112が、実空間に重畳される画像をユーザに知覚させるための光(画像表示光)を所定の輝度で射出するように制御している。一方、状態検出部520によって異常状態が検出された場合、制御部530は、画像表示光の輝度を最小化する。より具体的には、制御部530は、光源112の動作を停止させ、画像表示光の輝度を0にしてもよい。制御部530が画像表示光の輝度を最小化することによって、HMD100のディスプレイユニット110では、導光板114の全面を透過して外部の実空間を視認することが容易になる。
ここで、制御部530は、センサデータ取得部510によって取得されるセンサの検出値に、異常状態の検出のための所定のパターンが現れなくなってから所定の時間が経過した場合に、画像表示光の輝度を、元の所定の輝度に復旧させてもよい。あるいは、制御部530は、センサ検出値に再度所定のパターンが現れた場合に、画像表示光の輝度を復旧させてもよい。より具体的には、例えば、モーションセンサによって取得された加速度の検出値が閾値を超えたことによって状態検出部520が異常状態を検出する場合、制御部530は、最初に検出値が閾値を超えた(異常状態が検出された)ときには画像表示光の輝度を最小化する一方で、その後再び検出値が閾値を超えた場合には画像表示光の輝度を復旧させてもよい。また、例えば、ケーブル挿抜センサがケーブルの接続状態から非接続状態への変化を検出したことによって状態検出部520が異常状態を検出する場合、制御部530は、ケーブル挿抜センサがケーブルの非接続状態から接続状態への変化を検出した場合には、画像表示光の輝度を復旧させてもよい。
上記のような構成によって、状態検出部520が異常状態を検出したことによって画像表示光の輝度が最小化された後に、何らかの方法で輝度を復旧させ、画像の提供を再開させることができる。例えば、ユーザは、異常状態が検出されて輝度が最小化された後、しばらく待つことによって、輝度を復旧させることができる。あるいは、ユーザは、たまたま実行した動作(例えば、装置をタップしたり、タッチパネルや照度センサを手で覆ったりする動作)によって異常状態が誤検出されて輝度が最小化された後、同じ動作をもう一度実行することによって、輝度を復旧させることができる。また、ユーザは、HMD100のディスプレイユニット110とコントロールユニット160との間のケーブルを誤って抜いてしまったことによって異常状態が検出されて輝度が最小化された後、ケーブルを挿し直すことによって、輝度を復旧させることができる。
(設定情報の管理)
次に、記憶部540、受信部550、および更新制御部560によって実行される、上記の異常状態の検出のための設定情報の管理について説明する。本実施形態において、記憶部540は、異常状態の検出に関する設定情報を含む、HMD100の設定情報を記憶する。受信部550は、設定情報をスマートフォン200から受信する。更新制御部560は、受信部550によって受信された設定情報に基づいて、記憶された設定情報の更新を制御する。本実施形態において、記憶部540は例えばHMD100のコントロールユニット160が備えるメモリ164によって、受信部550は通信装置166によって、更新制御部560はプロセッサ162によって、それぞれ実現される。
次に、記憶部540、受信部550、および更新制御部560によって実行される、上記の異常状態の検出のための設定情報の管理について説明する。本実施形態において、記憶部540は、異常状態の検出に関する設定情報を含む、HMD100の設定情報を記憶する。受信部550は、設定情報をスマートフォン200から受信する。更新制御部560は、受信部550によって受信された設定情報に基づいて、記憶された設定情報の更新を制御する。本実施形態において、記憶部540は例えばHMD100のコントロールユニット160が備えるメモリ164によって、受信部550は通信装置166によって、更新制御部560はプロセッサ162によって、それぞれ実現される。
ここで、更新制御部560は、受信された設定情報が異常状態の検出に関する設定情報である場合には、記憶部540に記憶された設定情報と受信部550によって受信された設定情報とを比較し、異常状態の検出のための所定のパターンの範囲がより広い設定情報を記憶部540に記憶させる。従って、スマートフォン200から新たに受信された設定情報よりも、記憶部540に既に記憶されている設定情報の方が、異常状態の検出のための所定のパターンの範囲が広い場合、設定情報が更新されないことがありうる。一方、更新制御部560は、受信された設定情報が異常状態の検出に関する設定情報ではない場合には、記憶部540に記憶された設定情報を受信部550によって受信された設定情報によって上書きする。
本実施形態において、HMD100の設定情報は、HMD100でもスマートフォン200でも設定操作が可能であり、HMD100のメモリ164(記憶部540)およびスマートフォン200のメモリ204の両方で記憶される。HMD100とスマートフォン200とが無線通信によって接続されたときには、スマートフォン200に記憶された設定情報がHMD100に送信され、それぞれの装置に記憶された設定情報が共有される。スマートフォン200のメモリ204だけでなく、HMD100のメモリ164にも設定情報を記憶させることによって、HMD100とスマートフォン200との接続が確立される前や、一時的に接続が切断された場合でも画像の提供を継続することができる。
その一方で、HMD100とスマートフォン200との両方で設定情報を記憶することによって、例えば無線通信の接続が切断されている間にHMD100側で設定情報が変更された場合や、HMD100を異なるスマートフォン200に接続した場合、HMD100側の設定情報とスマートフォン200側の設定情報との間に齟齬が生じる。そこで、HMD100とスマートフォン200とが接続されたときの設定情報の共有では、更新制御部560による設定情報の更新制御が実施される。
上記のように、更新制御部560は、例えば(通常時の)輝度設定や輻輳設定など、HMD100の一般的な設定情報については、受信部550によってスマートフォン200から受信された設定情報によって記憶部540に記憶された設定情報を上書きする。つまり、スマートフォン200側に記憶された設定情報をマスタ情報として扱い、HMD100側に記憶された設定情報をマスタ情報に同期させる。これは、HMD100は異なるユーザ間で共有される可能性があるのに対して、スマートフォン200は基本的に単一のユーザによって専有され、個人化された設定を記憶するのにより適しているためである。
一方、更新制御部560は、状態検出部520による異常状態の検出に関する設定情報については、受信部550によってスマートフォン200から受信された設定情報と、記憶部540に記憶された設定情報とを比較して、異常状態の検出のための所定のパターンの範囲がより広い設定情報を記憶部540に記憶させる。つまり、更新制御部560は、受信された設定情報の方が所定のパターンの範囲が広ければ、受信された設定情報によって記憶部540に記憶された設定情報を上書きする。また、更新制御部560は、既に記憶されている設定情報の方が所定のパターンの範囲が広ければ、受信された設定情報を破棄し、記憶部540に記憶されている設定情報を維持する。つまり、更新制御部560は、受信された設定情報と記憶された設定情報とのうち、より安全側にある設定情報を採用する。
上述のように、スマートフォン200側に記憶された設定情報をマスタ情報として扱うことによって、HMD100を異なるユーザ間で共有する場合でも、各ユーザに個人化された設定でHMD100を使用することが容易になる。ところが、異常状態の検出に関する設定については、ユーザが予想している設定と実際の設定との間に齟齬があると不都合である。例えば、HMD100の所有者が、他のユーザのスマートフォン200にHMD100を接続する場合(例えば、他のユーザのスマートフォン200が保持するアプリケーションやコンテンツを利用したい場合)、他のユーザのスマートフォン200に記憶された設定情報でHMD100の設定情報が上書きされ、上書きされた設定情報に基づいて状態検出部520が異常状態を検出すると、HMD100の所有者が異常状態として検出されることを想定している(所有者の設定情報では異常状態として検出されることになっている)状態で、異常状態が検出されないことがありうる。
より具体的には、例えば、第1のユーザがHMD100を所有しており、ディスプレイユニット110が備えるモーションセンサ116によって第1の閾値を超える加速度が検出された場合に異常状態が検出され、画像表示光の輝度が最小化されるように設定していたとする。この状態で、第1のユーザが、第2のユーザが所有するスマートフォン200にHMD100を接続し、スマートフォン200から送信された設定情報でHMD100の設定情報が上書きされたことによって、モーションセンサ116が検出する加速度が第1の閾値よりも大きい第2の閾値を超えないと異常状態が検出されないか、またはモーションセンサ116が検出する加速度は異常状態の検出には用いられないように変更されたとする。このような場合、第1のユーザがHMD100を使用中に異常状態を感知し、ディスプレイユニット110を(いつもの強さで)叩いたとしても、状態検出部520が異常状態を検出せず、制御部530による輝度の最小化が実行されない。異常状態の検出はユーザの安全のための処理であるため、ユーザが想定したように機能しないのは不都合である。
そこで、本実施形態では、上記のような場合に、更新制御部560が、スマートフォン200から受信された設定情報と、HMD100で既に記憶されている設定情報とを比較し、HMD100に記憶されている設定情報の方が所定のパターンの範囲が広い(モーションセンサ116が検出した加速度が異常状態の判定に用いられる/第2の閾値よりも低い第1の閾値で異常状態が検出される)ために、受信された設定情報を破棄し、HMD100に記憶されている設定情報を維持する。なお、更新制御部560は、異常状態の検出以外に関する設定情報については、スマートフォン200から受信された設定情報によって記憶部540に記憶された設定情報を上書きしてもよい。上記の例では、第1のユーザが再び自らのスマートフォン200にHMD100を接続したときに、(異常状態の検出以外に関する)設定情報が、第1のユーザに個人化された情報に再び書き換えられる。
なお、上記の例のような設定情報の管理は一例であり、その他の方法で異常状態の検出に関する設定情報が管理されてもよい。例えば、HMD100がユーザ間で共有されることがあまり想定されないような場合には、HMD100側に記憶されている設定情報をマスタ情報として用いてもよい。その場合、上記の更新制御部560の処理は必要とされない。また、上記の例のような設定情報の管理が実施される場合も、受信部550が受信する設定情報を送信するのはスマートフォン200には限られず、例えばサーバ300が設定情報を送信してもよい。HMD100がスマートフォン200を介さずにサーバ300と通信可能である場合や、スマートフォン200が介在する場合でも設定情報がサーバ300において記憶される場合には、このような構成が採用されうる。
また、異常状態の検出に関する設定は、ユーザ操作によって調整されるほか、例えば行動認識の結果などに基づいて自動的に調整されてもよい。システム10では、例えばHMD100のディスプレイユニット110が備えるモーションセンサ116、スマートフォン200が備えるセンサ210やGPS受信機216などをセンサとして用いて、ユーザの行動状態を示す情報を取得することが可能である。こうした行動認識の技術については、特開2010-198595号公報や、特開2011-81431号公報、特開2012-8771号公報などに記載された公知の技術であるため詳細な説明は省略する。状態検出部520は、行動認識の結果から抽出される、どのような状態が異常状態であるのか、異常状態においてユーザがどのような動作をするのか、といったパターンに基づいて、センサの検出値から異常状態を検出してもよい。
また、輝度制御に関する設定も、同様にして調整可能でありうる。例えば、制御部530が画像表示光の輝度をどの程度下げるか(光源112の動作を停止させて輝度を0にするか、光源112の動作を継続したまま輝度を最小限の値まで低下させるか)は、スマートフォン200やHMD100自体へのユーザ操作などによって調整されてもよい。また、制御部530が画像表示光の輝度を最小化したときに、画像によって提供されていたコンテンツの再生を終了するか、一時停止させて輝度の復旧後に再開するかも、ユーザ操作や操作履歴(輝度が復旧した後にコンテンツを見続けているかどうか)などに基づいて調整されてもよい。
(3.具体的な例)
次に、図5~図8を参照して、本実施形態に係る状態検出および輝度制御に関する処理の具体的な例について説明する。
次に、図5~図8を参照して、本実施形態に係る状態検出および輝度制御に関する処理の具体的な例について説明する。
図5は、第1の例を示すシーケンス図である。図5を参照すると、まず、ディスプレイユニット110のモーションセンサ116に含まれる加速度センサよって、閾値を超える加速度が検出される(S201)。検出された加速度を示す信号はディスプレイユニット110からコントロールユニット160に送信され(S203)、コントロールユニット160で、画像表示光の輝度を最小化することが決定される(S205)。コントロールユニット160は、ディスプレイユニット110が備える光源112の動作を停止させる要求(輝度を最小化する要求)をディスプレイユニット110に送信し(S207)、ディスプレイユニット110で光源112が動作を停止する(S209)。
本実施形態では、ディスプレイユニット110のモーションセンサ116で取得された加速度の検出値が基本的にすべてコントロールユニット160に送信される。従って、上記の例では、コントロールユニット160のプロセッサ162が、加速度の検出値を取得し(センサデータ取得部510の機能)、検出値が閾値を超えているか否かを判定し(状態検出部520の機能)、超えていればディスプレイユニット110の光源112を停止させるための制御を実行する(制御部530の機能)。なお、例えばディスプレイユニット110のモーションセンサ116が閾値を超える角速度を検出したような場合にも、図5のシーケンスと同様の処理が実行されうる。
図6は、第2の例を示すシーケンス図である。図6を参照すると、まず、コントロールユニット160の加速度センサ176によって、閾値を超える加速度が検出される(S211)。コントロールユニット160では、検出された加速度に基づいて画像表示光の輝度を最小化することを決定し(S205)、ディスプレイユニット110が備える光源112の動作を停止させる要求(輝度を最小化する要求)をディスプレイユニット110に送信する(S207)。ディスプレイユニット110では、要求に応じて光源112が動作を停止する(S209)。なお、例えばコントロールユニット160のマイクロフォン172が閾値を超える音量で音声を検出したり、ケーブル挿抜センサ178がケーブルの接続状態の変化を検出したような場合にも、図6のシーケンスと同様の処理が実行されうる。
図7は、第3の例を示すシーケンス図である。図7を参照すると、まず、ウォッチ400のセンサ408に含まれる加速度センサによって、閾値を超える加速度が検出される(S221)。ウォッチ400では、検出された加速度に基づいてHMD100の画像表示光の輝度を最小化することを決定し(S223)、ディスプレイユニット110が備える光源112の動作を停止させる要求(輝度を最小化する要求)を送信する(S225)。送信された要求はスマートフォン200によってコントロールユニット160に転送される(S227)。コントロールユニット160は、ディスプレイユニット110が備える光源112の動作を停止させる要求(輝度を最小化する要求)をディスプレイユニット110に送信し(S207)、ディスプレイユニット110で光源112が動作を停止する(S209)。
上記の第3の例では、ウォッチ400のプロセッサ402が、加速度の検出値を取得し(センサデータ取得部510の機能)、検出値が閾値を超えているか否かを判定し(状態検出部520の機能)、超えていればディスプレイユニット110の光源112を停止させるための制御(要求の送信)を実行する(制御部530の機能)。なお、別の例として、ウォッチ400は加速度の検出値がある程度の大きさ(必ずしもHMD100において設定された閾値と同じでなくてもよい)であった場合に検出値を送信し、スマートフォン200を介して検出値を受信したコントロールユニット160のプロセッサ162によって、センサデータ取得部510、状態検出部520、および制御部530の機能が実現されてもよい(破線で図示したS205)。同様に、スマートフォン200のプロセッサ202によって、上記の各部の機能が実現されてもよい。なお、例えばウォッチ400のタッチパネル412や、センサ408に含まれる照度センサが全面的に遮蔽されたような場合にも、図7のシーケンスと同様の処理が実行されうる。
図8は、第4の例を示すシーケンス図である。図8を参照すると、まず、スマートフォン200のセンサ210に含まれる加速度センサによって、閾値を超える加速度が検出される(S231)。スマートフォン200では、検出された加速度に基づいてHMD100の画像表示光の輝度を最小化することを決定し(S233)、ディスプレイユニット110が備える光源112の動作を停止させる要求(輝度を最小化する要求)を送信する(S235)。要求を受信したコントロールユニット160は、ディスプレイユニット110が備える光源112の動作を停止させる要求(輝度を最小化する要求)をディスプレイユニット110に送信し(S207)、ディスプレイユニット110で光源112が動作を停止する(S209)。
上記の第4の例では、スマートフォン200のプロセッサ202が、加速度の検出値を取得し(センサデータ取得部510の機能)、検出値が閾値を超えているか否かを判定し(状態検出部520の機能)、超えていればディスプレイユニット110の光源112を停止させるための制御(要求の送信)を実行する(制御部530の機能)。なお、別の例として、スマートフォン200は加速度の検出値がある程度の大きさ(必ずしもHMD100において設定された閾値と同じでなくてもよい)であった場合に検出値を送信し、検出値を受信したコントロールユニット160のプロセッサ162によって、センサデータ取得部510、状態検出部520、および制御部530の機能が実現されてもよい(破線で図示したS205)。なお、例えばスマートフォン200のタッチパネル214や、マイクロフォン218、センサ210に含まれる他のセンサが異常状態の判定に利用される場合にも、図8のシーケンスと同様の処理が実行されうる。
(4.ハードウェア構成)
次に、図9を参照して、本開示の実施形態に係る電子機器のハードウェア構成について説明する。図9は、本開示の実施形態に係る電子機器のハードウェア構成例を示すブロック図である。図示された電子機器900は、例えば、上記の実施形態におけるHMD100、スマートフォン200、サーバ300を構成するサーバ装置、および/またはウォッチ400を実現しうる。
次に、図9を参照して、本開示の実施形態に係る電子機器のハードウェア構成について説明する。図9は、本開示の実施形態に係る電子機器のハードウェア構成例を示すブロック図である。図示された電子機器900は、例えば、上記の実施形態におけるHMD100、スマートフォン200、サーバ300を構成するサーバ装置、および/またはウォッチ400を実現しうる。
電子機器900は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、電子機器900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、電子機器900は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。電子機器900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、電子機器900内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、電子機器900の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、電子機器900に対して各種のデータを入力したり処理動作を指示したりする。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro-Luminescence)ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置917は、電子機器900の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
ストレージ装置919は、電子機器900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、電子機器900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を電子機器900に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS-232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、電子機器900と外部接続機器929との間で各種のデータが交換されうる。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えば電子機器900の筐体の姿勢など、電子機器900自体の状態に関する情報や、電子機器900の周辺の明るさや騒音など、電子機器900の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
以上、電子機器900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
(5.補足)
本開示の実施形態は、例えば、上記で説明したような電子機器、システム、電子機器またはシステムで実行される方法、電子機器を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
本開示の実施形態は、例えば、上記で説明したような電子機器、システム、電子機器またはシステムで実行される方法、電子機器を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)ユーザによって装着または携帯される装置が備えるセンサの検出値を含むデータを取得するセンサデータ取得部と、
前記検出値に所定のパターンが現れた場合に前記ユーザに発生した異常状態を検出する状態検出部と、
実空間に重畳される画像を前記ユーザに知覚させるための光を射出するウェアラブル光学装置の光源を制御し、前記異常状態が検出された場合に前記光の輝度を最小化する制御部と
を備える電子機器。
(2)前記センサは、前記ウェアラブル光学装置とは異なる少なくとも1つの装置に備えられるセンサを含む、前記(1)に記載の電子機器。
(3)前記少なくとも1つの装置は、前記ユーザによって携帯され、前記ウェアラブル光学装置と連係動作する情報処理端末を含む、前記(2)に記載の電子機器。
(4)前記少なくとも1つの装置は、前記ユーザによって装着される別のウェアラブル装置を含む、前記(2)または(3)に記載の電子機器。
(5)前記センサデータ取得部は、前記ウェアラブル光学装置と連係動作する情報処理端末を介して、前記別のウェアラブル装置から前記センサの検出値を含むデータを取得する、前記(4)に記載の電子機器。
(6)前記センサは、前記ウェアラブル光学装置に備えられるセンサを含む、前記(1)~(5)のいずれか1項に記載の電子機器。
(7)前記ウェアラブル光学装置は、前記光源を含み前記ユーザの頭部に装着される第1のユニットと、前記第1のユニットから分離した第2のユニットとを含み、
前記センサは、前記第2のユニットに備えられるセンサを含む、前記(6)に記載の電子機器。
(8)前記センサは、加速度センサまたは角速度センサを含む、前記(1)~(7)のいずれか1項に記載の電子機器。
(9)前記センサは、マイクロフォンを含む、前記(1)~(8)のいずれか1項に記載の電子機器。
(10)前記所定のパターンは、前記検出値の閾値を超える変化を含む、前記(1)~(9)のいずれか1項に記載の電子機器。
(11)前記制御部は、前記検出値に再度前記所定のパターンが現れた場合に前記光の輝度を復旧させる、前記(1)~(10)のいずれか1項に記載の電子機器。
(12)前記制御部は、前記検出値に前記所定のパターンが現れなくなってから所定の時間が経過した場合に前記光の輝度を復旧させる、前記(1)~(11)のいずれか1項に記載の電子機器。
(13)前記センサは、前記センサを備える装置と他の装置、または前記センサを備える装置に含まれる複数のモジュールの間を接続するケーブルの接続状態を検出するセンサを含み、
前記所定のパターンは、前記ケーブルの接続状態から非接続状態への変化を含む、前記(1)~(12)のいずれか1項に記載の電子機器。
(14)前記制御部は、前記検出値によって前記ケーブルの非接続状態から接続状態への変化が示される場合に前記光の輝度を復旧させる、前記(13)に記載の電子機器。
(15)前記センサは、タッチセンサまたは照度センサを含み、
前記所定のパターンは、前記タッチセンサまたは前記照度センサの全面的な遮蔽を含む、前記(1)~(14)のいずれか1項に記載の電子機器。
(16)設定情報を記憶する記憶部と、
前記設定情報を外部装置から受信する受信部と、
前記受信された設定情報に基づいて前記記憶された設定情報の更新を制御する更新制御部と
をさらに備え、
前記更新制御部は、前記受信された設定情報が前記異常状態の検出に関する設定情報である場合には前記記憶された設定情報と前記受信された設定情報とを比較して前記所定のパターンの範囲がより広い設定情報を前記記憶部に記憶させ、そうでない場合には前記受信された設定情報によって前記記憶された設定情報を上書きする、前記(1)~(15)のいずれか1項に記載の電子機器。
(17)ユーザによって装着または携帯され、センサを備える装置と、
実空間に重畳される画像を前記ユーザに知覚させるための光を射出する光源、前記センサの検出値を含むデータを取得するセンサデータ取得部、前記検出値に所定のパターンが現れた場合に前記ユーザに発生した異常状態を検出する状態検出部、および前記異常状態が検出された場合に前記光の輝度を最小化する制御部を備えるウェアラブル光学装置と
を含むシステム。
(18)前記センサを備える装置は、前記ユーザによって携帯され、前記ウェアラブル光学装置と連係動作する情報処理端末を含む、前記(17)に記載のシステム。
(19)前記センサを備える装置は、前記ユーザによって装着される別のウェアラブル装置を含む、前記(17)または(18)に記載のシステム。
(20)ユーザによって装着または携帯される装置が備えるセンサの検出値を取得することと、
前記検出値に所定のパターンが現れた場合に前記ユーザに発生した異常状態を検出することと、
前記異常状態が検出された場合に、ウェアラブル光学装置が実空間に重畳される画像を前記ユーザに知覚させるための光の輝度を最小化することと
を含む画像の提供方法。
(1)ユーザによって装着または携帯される装置が備えるセンサの検出値を含むデータを取得するセンサデータ取得部と、
前記検出値に所定のパターンが現れた場合に前記ユーザに発生した異常状態を検出する状態検出部と、
実空間に重畳される画像を前記ユーザに知覚させるための光を射出するウェアラブル光学装置の光源を制御し、前記異常状態が検出された場合に前記光の輝度を最小化する制御部と
を備える電子機器。
(2)前記センサは、前記ウェアラブル光学装置とは異なる少なくとも1つの装置に備えられるセンサを含む、前記(1)に記載の電子機器。
(3)前記少なくとも1つの装置は、前記ユーザによって携帯され、前記ウェアラブル光学装置と連係動作する情報処理端末を含む、前記(2)に記載の電子機器。
(4)前記少なくとも1つの装置は、前記ユーザによって装着される別のウェアラブル装置を含む、前記(2)または(3)に記載の電子機器。
(5)前記センサデータ取得部は、前記ウェアラブル光学装置と連係動作する情報処理端末を介して、前記別のウェアラブル装置から前記センサの検出値を含むデータを取得する、前記(4)に記載の電子機器。
(6)前記センサは、前記ウェアラブル光学装置に備えられるセンサを含む、前記(1)~(5)のいずれか1項に記載の電子機器。
(7)前記ウェアラブル光学装置は、前記光源を含み前記ユーザの頭部に装着される第1のユニットと、前記第1のユニットから分離した第2のユニットとを含み、
前記センサは、前記第2のユニットに備えられるセンサを含む、前記(6)に記載の電子機器。
(8)前記センサは、加速度センサまたは角速度センサを含む、前記(1)~(7)のいずれか1項に記載の電子機器。
(9)前記センサは、マイクロフォンを含む、前記(1)~(8)のいずれか1項に記載の電子機器。
(10)前記所定のパターンは、前記検出値の閾値を超える変化を含む、前記(1)~(9)のいずれか1項に記載の電子機器。
(11)前記制御部は、前記検出値に再度前記所定のパターンが現れた場合に前記光の輝度を復旧させる、前記(1)~(10)のいずれか1項に記載の電子機器。
(12)前記制御部は、前記検出値に前記所定のパターンが現れなくなってから所定の時間が経過した場合に前記光の輝度を復旧させる、前記(1)~(11)のいずれか1項に記載の電子機器。
(13)前記センサは、前記センサを備える装置と他の装置、または前記センサを備える装置に含まれる複数のモジュールの間を接続するケーブルの接続状態を検出するセンサを含み、
前記所定のパターンは、前記ケーブルの接続状態から非接続状態への変化を含む、前記(1)~(12)のいずれか1項に記載の電子機器。
(14)前記制御部は、前記検出値によって前記ケーブルの非接続状態から接続状態への変化が示される場合に前記光の輝度を復旧させる、前記(13)に記載の電子機器。
(15)前記センサは、タッチセンサまたは照度センサを含み、
前記所定のパターンは、前記タッチセンサまたは前記照度センサの全面的な遮蔽を含む、前記(1)~(14)のいずれか1項に記載の電子機器。
(16)設定情報を記憶する記憶部と、
前記設定情報を外部装置から受信する受信部と、
前記受信された設定情報に基づいて前記記憶された設定情報の更新を制御する更新制御部と
をさらに備え、
前記更新制御部は、前記受信された設定情報が前記異常状態の検出に関する設定情報である場合には前記記憶された設定情報と前記受信された設定情報とを比較して前記所定のパターンの範囲がより広い設定情報を前記記憶部に記憶させ、そうでない場合には前記受信された設定情報によって前記記憶された設定情報を上書きする、前記(1)~(15)のいずれか1項に記載の電子機器。
(17)ユーザによって装着または携帯され、センサを備える装置と、
実空間に重畳される画像を前記ユーザに知覚させるための光を射出する光源、前記センサの検出値を含むデータを取得するセンサデータ取得部、前記検出値に所定のパターンが現れた場合に前記ユーザに発生した異常状態を検出する状態検出部、および前記異常状態が検出された場合に前記光の輝度を最小化する制御部を備えるウェアラブル光学装置と
を含むシステム。
(18)前記センサを備える装置は、前記ユーザによって携帯され、前記ウェアラブル光学装置と連係動作する情報処理端末を含む、前記(17)に記載のシステム。
(19)前記センサを備える装置は、前記ユーザによって装着される別のウェアラブル装置を含む、前記(17)または(18)に記載のシステム。
(20)ユーザによって装着または携帯される装置が備えるセンサの検出値を取得することと、
前記検出値に所定のパターンが現れた場合に前記ユーザに発生した異常状態を検出することと、
前記異常状態が検出された場合に、ウェアラブル光学装置が実空間に重畳される画像を前記ユーザに知覚させるための光の輝度を最小化することと
を含む画像の提供方法。
10 システム
100 HMD
110 ディスプレイユニット
112 光源
114 導光板
116 モーションセンサ
118 照度センサ
120 カメラ
160 コントロールユニット
162 プロセッサ
164 メモリ
170 タッチセンサ
172 マイクロフォン
176 加速度センサ
178 ケーブル挿抜センサ
200 スマートフォン
202 プロセッサ
204 メモリ
210 センサ
214 タッチパネル
216 GPS受信機
218 マイクロフォン
300 サーバ
302 プロセッサ
304 メモリ
400 ウォッチ
402 プロセッサ
404 メモリ
408 センサ
412 タッチパネル
510 センサデータ取得部
520 状態判定部
530 制御部
540 記憶部
550 受信部
560 更新制御部
100 HMD
110 ディスプレイユニット
112 光源
114 導光板
116 モーションセンサ
118 照度センサ
120 カメラ
160 コントロールユニット
162 プロセッサ
164 メモリ
170 タッチセンサ
172 マイクロフォン
176 加速度センサ
178 ケーブル挿抜センサ
200 スマートフォン
202 プロセッサ
204 メモリ
210 センサ
214 タッチパネル
216 GPS受信機
218 マイクロフォン
300 サーバ
302 プロセッサ
304 メモリ
400 ウォッチ
402 プロセッサ
404 メモリ
408 センサ
412 タッチパネル
510 センサデータ取得部
520 状態判定部
530 制御部
540 記憶部
550 受信部
560 更新制御部
Claims (20)
- ユーザによって装着または携帯される装置が備えるセンサの検出値を含むデータを取得するセンサデータ取得部と、
前記検出値に所定のパターンが現れた場合に前記ユーザに発生した異常状態を検出する状態検出部と、
実空間に重畳される画像を前記ユーザに知覚させるための光を射出するウェアラブル光学装置の光源を制御し、前記異常状態が検出された場合に前記光の輝度を最小化する制御部と
を備える電子機器。 - 前記センサは、前記ウェアラブル光学装置とは異なる少なくとも1つの装置に備えられるセンサを含む、請求項1に記載の電子機器。
- 前記少なくとも1つの装置は、前記ユーザによって携帯され、前記ウェアラブル光学装置と連係動作する情報処理端末を含む、請求項2に記載の電子機器。
- 前記少なくとも1つの装置は、前記ユーザによって装着される別のウェアラブル装置を含む、請求項2に記載の電子機器。
- 前記センサデータ取得部は、前記ウェアラブル光学装置と連係動作する情報処理端末を介して、前記別のウェアラブル装置から前記センサの検出値を含むデータを取得する、請求項4に記載の電子機器。
- 前記センサは、前記ウェアラブル光学装置に備えられるセンサを含む、請求項1に記載の電子機器。
- 前記ウェアラブル光学装置は、前記光源を含み前記ユーザの頭部に装着される第1のユニットと、前記第1のユニットから分離した第2のユニットとを含み、
前記センサは、前記第2のユニットに備えられるセンサを含む、請求項6に記載の電子機器。 - 前記センサは、加速度センサまたは角速度センサを含む、請求項1に記載の電子機器。
- 前記センサは、マイクロフォンを含む、請求項1に記載の電子機器。
- 前記所定のパターンは、前記検出値の閾値を超える変化を含む、請求項1に記載の電子機器。
- 前記制御部は、前記検出値に再度前記所定のパターンが現れた場合に前記光の輝度を復旧させる、請求項1に記載の電子機器。
- 前記制御部は、前記検出値に前記所定のパターンが現れなくなってから所定の時間が経過した場合に前記光の輝度を復旧させる、請求項1に記載の電子機器。
- 前記センサは、前記センサを備える装置と他の装置、または前記センサを備える装置に含まれる複数のモジュールの間を接続するケーブルの接続状態を検出するセンサを含み、
前記所定のパターンは、前記ケーブルの接続状態から非接続状態への変化を含む、請求項1に記載の電子機器。 - 前記制御部は、前記検出値によって前記ケーブルの非接続状態から接続状態への変化が示される場合に前記光の輝度を復旧させる、請求項13に記載の電子機器。
- 前記センサは、タッチセンサまたは照度センサを含み、
前記所定のパターンは、前記タッチセンサまたは前記照度センサの全面的な遮蔽を含む、請求項1に記載の電子機器。 - 設定情報を記憶する記憶部と、
前記設定情報を外部装置から受信する受信部と、
前記受信された設定情報に基づいて前記記憶された設定情報の更新を制御する更新制御部と
をさらに備え、
前記更新制御部は、前記受信された設定情報が前記異常状態の検出に関する設定情報である場合には前記記憶された設定情報と前記受信された設定情報とを比較して前記所定のパターンの範囲がより広い設定情報を前記記憶部に記憶させ、そうでない場合には前記受信された設定情報によって前記記憶された設定情報を上書きする、請求項1に記載の電子機器。 - ユーザによって装着または携帯され、センサを備える装置と、
実空間に重畳される画像を前記ユーザに知覚させるための光を射出する光源、前記センサの検出値を含むデータを取得するセンサデータ取得部、前記検出値に所定のパターンが現れた場合に前記ユーザに発生した異常状態を検出する状態検出部、および前記異常状態が検出された場合に前記光の輝度を最小化する制御部を備えるウェアラブル光学装置と
を含むシステム。 - 前記センサを備える装置は、前記ユーザによって携帯され、前記ウェアラブル光学装置と連係動作する情報処理端末を含む、請求項17に記載のシステム。
- 前記センサを備える装置は、前記ユーザによって装着される別のウェアラブル装置を含む、請求項17に記載のシステム。
- ユーザによって装着または携帯される装置が備えるセンサの検出値を取得することと、
前記検出値に所定のパターンが現れた場合に前記ユーザに発生した異常状態を検出することと、
前記異常状態が検出された場合に、ウェアラブル光学装置が実空間に重畳される画像を前記ユーザに知覚させるための光の輝度を最小化することと
を含む画像の提供方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-031605 | 2014-02-21 | ||
JP2014031605 | 2014-02-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015125364A1 true WO2015125364A1 (ja) | 2015-08-27 |
Family
ID=53877893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2014/080546 WO2015125364A1 (ja) | 2014-02-21 | 2014-11-18 | 電子機器、および画像の提供方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2015125364A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018074292A1 (ja) * | 2016-10-18 | 2018-04-26 | コニカミノルタ株式会社 | ウエアラブル機器 |
WO2018084227A1 (ja) * | 2016-11-02 | 2018-05-11 | シャープ株式会社 | 端末装置、動作方法及びプログラム |
CN113192376A (zh) * | 2021-04-28 | 2021-07-30 | 深圳市思麦云科技有限公司 | 一种基于虚拟现实眼镜vr技术应用于电力行业的*** |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05304646A (ja) * | 1992-04-24 | 1993-11-16 | Sony Corp | 映像表示装置 |
JPH11161190A (ja) * | 1997-11-25 | 1999-06-18 | Seiko Epson Corp | 頭部装着型表示装置 |
JP2001013941A (ja) * | 1999-06-30 | 2001-01-19 | Toshiba Corp | 装着型情報呈示装置および方法および記憶媒体 |
JP3117396U (ja) * | 2005-10-06 | 2006-01-05 | 株式会社島津製作所 | ヘッドマウントディスプレイ |
JP2011123148A (ja) * | 2009-12-09 | 2011-06-23 | Sanyo Electric Co Ltd | 携帯機器用ホルダおよび携帯装置 |
JP2012252236A (ja) * | 2011-06-06 | 2012-12-20 | Hioki Ee Corp | 電子機器、および照明装置の輝度制御方法 |
JP2013137413A (ja) * | 2011-12-28 | 2013-07-11 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP2013195867A (ja) * | 2012-03-22 | 2013-09-30 | Seiko Epson Corp | 頭部装着型表示装置 |
-
2014
- 2014-11-18 WO PCT/JP2014/080546 patent/WO2015125364A1/ja active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05304646A (ja) * | 1992-04-24 | 1993-11-16 | Sony Corp | 映像表示装置 |
JPH11161190A (ja) * | 1997-11-25 | 1999-06-18 | Seiko Epson Corp | 頭部装着型表示装置 |
JP2001013941A (ja) * | 1999-06-30 | 2001-01-19 | Toshiba Corp | 装着型情報呈示装置および方法および記憶媒体 |
JP3117396U (ja) * | 2005-10-06 | 2006-01-05 | 株式会社島津製作所 | ヘッドマウントディスプレイ |
JP2011123148A (ja) * | 2009-12-09 | 2011-06-23 | Sanyo Electric Co Ltd | 携帯機器用ホルダおよび携帯装置 |
JP2012252236A (ja) * | 2011-06-06 | 2012-12-20 | Hioki Ee Corp | 電子機器、および照明装置の輝度制御方法 |
JP2013137413A (ja) * | 2011-12-28 | 2013-07-11 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP2013195867A (ja) * | 2012-03-22 | 2013-09-30 | Seiko Epson Corp | 頭部装着型表示装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018074292A1 (ja) * | 2016-10-18 | 2018-04-26 | コニカミノルタ株式会社 | ウエアラブル機器 |
WO2018084227A1 (ja) * | 2016-11-02 | 2018-05-11 | シャープ株式会社 | 端末装置、動作方法及びプログラム |
CN113192376A (zh) * | 2021-04-28 | 2021-07-30 | 深圳市思麦云科技有限公司 | 一种基于虚拟现实眼镜vr技术应用于电力行业的*** |
CN113192376B (zh) * | 2021-04-28 | 2022-12-06 | 深圳市思麦云科技有限公司 | 一种基于虚拟现实眼镜vr技术应用于电力行业的*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10691194B2 (en) | Electronic apparatus and method of controlling power supply | |
US11223718B2 (en) | Communication control device, method of controlling communication, and program | |
US10049497B2 (en) | Display control device and display control method | |
KR102349716B1 (ko) | 영상 공유 방법 및 이를 수행하는 전자 장치 | |
US9588910B2 (en) | Electronic apparatus and linked operation method | |
JP6750697B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6356915B2 (ja) | 制御装置、制御方法及びプログラム | |
CN113223129A (zh) | 一种图像渲染方法、电子设备及*** | |
WO2015125364A1 (ja) | 電子機器、および画像の提供方法 | |
JP6690749B2 (ja) | 情報処理装置、通信制御方法およびコンピュータプログラム | |
WO2017022769A1 (ja) | ヘッドマウントディスプレイ、表示制御方法及びプログラム | |
US11037519B2 (en) | Display device having display based on detection value, program, and method of controlling device | |
US20170366785A1 (en) | Hands-Free Headset For Use With Mobile Communication Device | |
CN209344483U (zh) | 连接线、待供电设备及电子设备 | |
JP2021099538A (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2018101162A1 (ja) | ヘッドマウントディスプレイ、表示制御装置、表示制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14883055 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 14883055 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |