WO2023238197A1 - 仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法 - Google Patents
仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法 Download PDFInfo
- Publication number
- WO2023238197A1 WO2023238197A1 PCT/JP2022/022808 JP2022022808W WO2023238197A1 WO 2023238197 A1 WO2023238197 A1 WO 2023238197A1 JP 2022022808 W JP2022022808 W JP 2022022808W WO 2023238197 A1 WO2023238197 A1 WO 2023238197A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- head
- hmd
- unit
- display
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 18
- 210000001747 pupil Anatomy 0.000 claims abstract description 20
- 210000003128 head Anatomy 0.000 claims description 75
- 210000001508 eye Anatomy 0.000 claims description 49
- 238000001514 detection method Methods 0.000 claims description 48
- 230000033001 locomotion Effects 0.000 claims description 24
- 230000004044 response Effects 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 26
- 238000012937 correction Methods 0.000 description 20
- 230000007246 mechanism Effects 0.000 description 19
- 230000007704 transition Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 16
- 238000012986 modification Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 239000003550 marker Substances 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
Definitions
- the present invention relates to data processing technology, and particularly to a virtual reality content display system and a virtual reality content display method.
- VR content electronic content
- VR virtual reality
- a walk-through system has also been developed in which a user wearing a head-mounted display can virtually walk around a space displayed as VR content by physically moving the user.
- the present invention has been made in view of these problems, and one purpose is to provide a technology for quickly presenting VR content to a user wearing a head-mounted display taken out from a storage unit.
- a virtual reality content display system includes a head-mounted display that includes a first detection section that detects the position of the user's eyes, and a storage section that can accommodate the head-mounted display. , when the head-mounted display is taken out from the storage unit, the first detection unit starts determining whether or not the position of the eyes of the user wearing the head-mounted display is at a predetermined appropriate position. and a display control unit that starts displaying virtual reality content on the head-mounted display when it is determined that the position of the eyes of a user wearing the head-mounted display is at an appropriate position.
- Another aspect of the present invention is a virtual reality content display method.
- a head-mounted display equipped with a first detection section that detects the position of the user's pupils is taken out from a storage section, the first detection section detects the position of the user wearing the head-mounted display.
- the step of starting to determine whether or not the position of the pupil is at a predetermined appropriate position;
- the computer performs the step of starting displaying the virtual reality content.
- VR content can be quickly presented to a user wearing a head-mounted display taken out from the storage unit.
- FIG. 1 is a diagram showing the configuration of a VR content display system according to a first embodiment.
- 2 is a diagram illustrating an example of the shape of the HMD and storage device in FIG. 1.
- FIG. 2 is a diagram showing another example of the shape of the HMD and storage device in FIG. 1.
- FIG. 2 is a diagram illustrating an example of the hardware configuration of the storage device in FIG. 1.
- FIG. 2 is a block diagram showing functional blocks included in the storage device of FIG. 1.
- FIG. 2 is a diagram showing an example of the hardware configuration of the HMD shown in FIG. 1.
- FIG. FIG. 2 is a block diagram showing functional blocks included in the HMD of FIG. 1.
- FIG. 2 is a diagram schematically showing the operation from when the HMD is taken out from the storage device to when the VR content is displayed on the HMD in the VR content display system of the first embodiment.
- FIG. 4 is a diagram schematically illustrating the operation from the end of displaying VR content on the HMD until the HMD is stored in the storage device in the VR content display system of the first embodiment.
- FIG. 7 is a diagram schematically showing operations from when an HMD is taken out from a storage device to when VR content is displayed on the HMD in a modified VR content display system.
- FIG. 3 is a diagram showing the configuration of a viewing support device according to a second embodiment.
- FIG. 2 is a diagram illustrating an example of how a viewing support device is used. It is a figure which shows another structure of the assist part in a viewing support apparatus.
- FIG. 3 is a diagram illustrating the configuration and usage example of a VR content display system according to a third embodiment.
- a VR content display system reduces the time from taking out the HMD from the storage device to displaying VR content by maximally automating the attachment and detachment of a head-mounted display (hereinafter also referred to as "HMD"). propose.
- the VR content may be, for example, an image selected or desired by the user showing a virtual reality space.
- the VR content may be an entertaining image (such as an image showing a game world), or may be an image or data for business use (such as document data).
- the VR content in the example does not include images for optical correction or testing.
- images include one or both of moving images and still images.
- the VR content display system of the first embodiment includes (1) an HMD storage function, (2) an HMD automatic adjustment function, and (3) a support function.
- the storage function includes a function to store the HMD in a compact shape. Further, the storage function includes a function to automatically attach the HMD to the user, and a function to automatically remove and store the HMD from the user.
- the storage function is realized by the storage device and the HMD.
- the automatic adjustment function includes optical correction when the HMD is attached and line-of-sight dependent drawing correction when displaying VR content.
- the automatic adjustment function is realized by the HMD.
- Support functions include functions that support and assist users in restricting their actions and reducing their load.
- the support function is realized by a member (support part 26, which will be described later) that connects the storage device and the HMD.
- FIG. 1 shows the configuration of a VR content display system 10 according to a first embodiment.
- the VR content display system 10 includes an HMD 12, a storage device 14, and an input device 16.
- the input device 16 is a device through which a user inputs instructions (operations) to the HMD 12 and storage device 14 .
- the input device 16 may be realized by a keyboard, a game pad, a touch panel, or the like.
- the input device 16 transmits the input data regarding the user's operation to the HMD 12 and the storage device 14 via wireless communication.
- FIG. 2 shows an example of the shape of the HMD 12 and storage device 14 in FIG. 1.
- the upper part of FIG. 2 shows a top view of the HMD 12 when stored, and a front view and a side view of the HMD 12 and storage device 14 when stored.
- the storage device 14 can also be said to be a storage section that can store the HMD 12.
- the HMD 12 includes an output mechanism section 20, a mounting mechanism section 22, and a speaker 24.
- the output mechanism section 20 includes a casing shaped to cover the user's left and right eyes when the HMD 12 is worn, and has a display panel (for the left eye) disposed inside so as to directly face the user's left and right eyes when the HMD 12 is worn. display panel, right eye display panel). It is assumed that the display panel of the HMD 12 of the example does not have light transmission properties, that is, the HMD 12 of the example is a non-light transmission type HMD.
- the speaker 24 is provided at a position corresponding to the user's ear when worn.
- the attachment mechanism section 22 is a mechanism that realizes attachment and fixation of the HMD 12 to the user's head.
- the mounting mechanism section 22 includes a mounting mechanism section 22a and a mounting mechanism section 22b.
- the mounting mechanism section 22a is a member that covers the user's head in the left-right direction (direction perpendicular to the user's orientation), and the mounting mechanism section 22b covers the user's head in the front-rear direction (horizontal direction to the user's orientation). It is a member.
- FIG. 2 shows a front view and a side view of the HMD 12 and the storage device 14 when they are attached.
- HMD 12 and storage device 14 are connected via support section 26.
- the support unit 26 includes (1) a cable that holds the HMD and transmits force to restrict the user's actions, (2) a cable winding mechanism, and (3) controls so that the tension of the cable is constant. includes a servo mechanism.
- the support unit 26 of the embodiment includes a communication cable through which signals exchanged between the HMD 12 and the storage device 14 flow.
- the HMD 12 and the storage device 14 communicate by wire, but as a modification, they may communicate wirelessly.
- FIG. 3 shows another example of the shape of the HMD 12 and storage device 14 in FIG. 1. This figure shows a simpler shape than the shape shown in FIG.
- the storage device 14 further includes a storage hook 28.
- the storage hook 28 supports and fixes the HMD 12 to maintain the storage state of the HMD 12.
- the storage hook 28 is released, thereby releasing the HMD 12 from the storage device 14.
- FIG. 4 shows an example of the hardware configuration of the storage device 14 in FIG. 1.
- the storage device 14 includes a processing section 220, a storage mechanism 242, and a support section 26.
- the support section 26 includes a communication cable 246 connected to the HMD 12.
- the support section 26 is a member whose main purpose is to hold the HMD 12 and to transmit force for restricting the user's actions.
- the storage mechanism 242 is a member for storing the HMD 12.
- the storage mechanism 242 may include a member (for example, a storage hook) that supports or fixes the HMD 12.
- the processing unit 220 includes a computer that executes various data processing including rendering of VR content.
- the processing unit 220 includes a CPU (Central Processing Unit) 222 , a GPU (Graphics Processing Unit) 224 , and a main memory 226 . These units are interconnected via a bus 230.
- An input/output interface 228 is further connected to the bus 230.
- a communication section 232 , a storage section 234 , an output section 236 , and an input section 238 are connected to the input/output interface 228 .
- the communication unit 232 includes peripheral device interfaces such as USB and IEEE1394, and network interfaces such as wired LAN or wireless LAN.
- the processing unit 220 transmits and receives data to and from an external device (for example, a content distribution server on the cloud) via the communication unit 232.
- the storage unit 234 includes a hard disk drive, nonvolatile memory, and the like.
- the output unit 236 outputs data to the HMD 12.
- the input unit 238 accepts data input from the HMD 12 and also accepts data input (information regarding user operations, etc.) from the input device 16.
- the CPU 222 controls the entire storage device 14 by executing the operating system stored in the storage unit 234. Further, the CPU 222 executes various programs (eg, VR game applications, etc.) read from the storage unit 234 or a removable recording medium and loaded into the main memory 226, or downloaded via the communication unit 232.
- the GPU 224 has the function of a geometry engine and the function of a rendering processor, performs a drawing process in accordance with a drawing command from the CPU 222, and outputs the drawing result to the output unit 236.
- the main memory 226 is composed of a RAM (Random Access Memory) and stores programs and data necessary for processing.
- FIG. 5 is a block diagram showing functional blocks included in the storage device 14 of FIG. 1.
- the plurality of functional blocks shown in the block diagrams of this specification are realized in terms of hardware by a combination of various electronic circuits (for example, the configuration of the CPU 222, GPU 224, main memory 226, storage unit 234, etc. shown in FIG. 4). can.
- various electronic circuits for example, the configuration of the CPU 222, GPU 224, main memory 226, storage unit 234, etc. shown in FIG. 4
- software it can be realized by a computer program including a plurality of program modules corresponding to a plurality of functional blocks. Therefore, those skilled in the art will understand that these functional blocks can be implemented in various ways using only hardware, only software, or a combination thereof, and are not limited to either.
- the storage device 14 includes a storage control section 30, a drawing section 32, and an image providing section 34.
- a computer program in which the functions of these plurality of functional blocks are implemented may be installed in the storage unit 234.
- the CPU 222 and the GPU 224 may perform the functions of the plurality of functional blocks shown in FIG. 5 by reading this computer program into the main memory 226 and executing it.
- the storage control unit 30 controls the operation of the support unit 26 to release the HMD 12 from the state where it is stored and fixed in the storage device 14, and transitions the HMD 12 to a state where it can be mounted on the user's head. Furthermore, the storage control unit 30 controls the operation of the support unit 26 to store and fix the HMD 12 that has been removed from the user's head in the storage device 14 .
- FIG. 6 shows an example of the hardware configuration of the HMD 12 in FIG. 1.
- the HMD 12 includes a CPU 120, a GPU 121, a main memory 122, a display section 124, and a speaker 24. These parts are interconnected via a bus 128.
- An input/output interface 130 is further connected to the bus 128.
- a communication unit 132 , a storage unit 133 , a motion sensor 134 , an eye tracking sensor 136 , and an imaging unit 138 are connected to the input/output interface 130 .
- the CPU 120 processes information acquired from each part of the HMD 12 via the bus 128, and supplies display image and audio data acquired from the storage device 14 to the display unit 124 and the speaker 24.
- the GPU 121 has the function of a geometry engine and the function of a rendering processor, performs a drawing process according to a drawing command from the CPU 120, and outputs the drawing result to the display unit 124.
- the main memory 122 stores programs and data necessary for processing in the CPU 120 and GPU 121.
- the display unit 124 includes a display panel such as a liquid crystal panel or an organic EL panel, and displays images in front of the eyes of the user wearing the HMD 12.
- the display unit 124 realizes stereoscopic vision by displaying a pair of stereo images on a left eye display panel provided in front of the user's left eye and a right eye display panel provided in front of the user's right eye. do.
- the display unit 124 further includes a pair of eyepiece lenses that are positioned between the display panel and the user's eyes when the HMD 12 is worn, and expand the user's viewing angle.
- the pair of eyepieces includes a left lens 140 and a right lens 142.
- the left lens 140 is provided between the left eye display panel and the user's left eye
- the right lens 142 is provided between the right eye display panel and the user's right eye.
- the speaker 24 is provided at a position corresponding to the user's ear when the HMD 12 is worn. Speaker 24 may include earphones.
- the communication unit 132 is an interface for transmitting and receiving data between the storage device 14 and the input device 16.
- the communication unit 132 realizes communication using known communication technologies such as wired LAN, wireless LAN, and Bluetooth (registered trademark).
- the storage unit 133 includes a nonvolatile memory and the like.
- the motion sensor 134 includes a gyro sensor and an acceleration sensor, and acquires the angular velocity and acceleration of the HMD 12.
- the eye tracking sensor 136 is a sensor serving as a first detection unit, and includes a known sensor for eye tracking (including an infrared camera, etc.). Eye tracking, which can also be called line-of-sight measurement, is a technology that detects the position, movement, and line-of-sight direction of a user's pupils (also called eyeballs). For example, the eye tracking sensor 136 detects the position and movement of the user's pupils based on infrared reflection patterns and the like.
- the imaging unit 138 includes a camera that images the user's head. The direction in which images are captured by the imaging unit 138 includes at least the direction from the storage position of the HMD 12 in the storage device 14 to the user's head.
- FIG. 7 is a block diagram showing functional blocks included in the HMD 12 of FIG. 1.
- the HMD 12 includes a release detection section 40, a head position detection section 42, a wearing support section 46, an eye tracking section 48, an optical correction section 50, a drawing correction section 52, a drawing section 54, an image acquisition section 56, a display control section 58, and a removal section.
- a support section 60 is provided.
- the head position detection section 42 includes a clearance detection section 44 .
- a computer program in which the functions of these plurality of functional blocks are implemented may be installed in the storage unit 133.
- the CPU 120 and the GPU 121 may perform the functions of the plurality of functional blocks shown in FIG. 7 by reading this computer program into the main memory 226 and executing it.
- FIG. 8 schematically shows the operation from when the HMD 12 is taken out from the storage device 14 to when the VR content is displayed on the HMD 12 in the VR content display system 10 of the first embodiment.
- the VR content display system 10 transits through the storage stage, attachment/detachment stage, and viewing stage in this order before displaying the VR content.
- the storage stage is a state in which the HMD 12 is stored in the storage device 14, in other words, the HMD 12 is in an unused state.
- the viewing stage is a state in which the HMD 12 is completely attached to the user's head and the VR content is displayed on the HMD 12.
- the attachment/detachment stage is a state between the storage stage and the viewing stage, and includes both the installation transition stage and the storage transition stage.
- the mounting transition stage is a state from when the HMD 12 is taken out from the storage device 14 until the mounting of the HMD 12 on the user's head is completed.
- the storage transition stage is a state from when the HMD 12 is removed from the user's head until the storage of the HMD 12 into the storage device 14 is completed.
- the marker band 74 includes a marker (for example, a magnetic marker) whose position is detected by a sensor (for example, a magnetic sensor) on the HMD 12 side.
- the marker band 74 may be shaped like glasses, a hair band, or a headband, or may have other shapes.
- the imaging range 70 indicates the imaging range (ie, the angle of view) by the imaging unit 138 of the HMD 12.
- the user inputs an operation indicating a viewing request for VR content into the input device 16.
- the viewing request includes a request to attach the HMD 12, and can also be called a request to attach the HMD 12.
- the input device 16 receives a viewing request from a user and transmits the viewing request to the storage device 14.
- the VR content display system 10 shifts from the storage stage to the attachment/detachment stage (viewing transition stage).
- the storage control unit 30 of the storage device 14 releases the HMD 12 from the storage device 14 in response to the viewing request transmitted from the input device 16.
- the storage control unit 30 activates the support unit 26 to stretch the cable, releases the storage state of the HMD 12, and moves the HMD 12 toward the user's head by moving the HMD 12 downward.
- the release detection unit 40 of the HMD 12 detects that the HMD 12 has been taken out from the storage device 14, in other words, that the storage state of the HMD 12 has been released.
- the release detection section 40 notifies the head position detection section 42 and the eye tracking section 48 that the HMD 12 has been taken out from the storage device 14 .
- the fact that the HMD 12 has been taken out from the storage device 14 may be detected mechanically or electrically, or may be realized by a known method.
- the HMD 12 may include a viewing request detection section that detects a viewing request transmitted from the HMD 12 instead of the release detection section 40. In this case, the subsequent processing of the HMD 12 may be executed when a viewing request is detected instead of being executed when the HMD 12 is released from the storage device 14.
- the imaging unit 138 of the HMD 12 starts imaging processing of the user's head when the HMD 12 is taken out from the storage device 14, in other words, when the HMD 12 is moved from the storage stage to the attachment/detachment stage.
- the head position detection unit 42 of the HMD detects the position of the user's head based on the captured image by the imaging unit 138. For example, the head position detection unit 42 detects the relative position of the user's head with respect to the HMD 12.
- the HMD 12 includes a marker sensor (for example, a magnetic sensor) that can detect the marker of the marker band 74.
- the head position detection unit 42 detects the marker position of the marker band 74 worn on the user's head based on the signal output from the marker sensor, and determines the position of the user's head and the marker position based on the marker position.
- the mounting position of the HMD 12 is detected.
- the clearance detection unit 44 of the head position detection unit 42 detects the clearance around the user's head based on the captured image by the imaging unit 138. In the example of FIG. 8, the clearance detection unit 44 detects the interval (distance) between the seat 72 and the user's head as a clearance 75. As a modification, the clearance detection unit 44 may detect the distance between the seat in front of the seat 72 and the user's head as the clearance around the user's head. Further, the clearance detection unit 44 may detect the distance between the user's head and the head of the person sitting next to the user as the clearance around the user's head.
- the attachment support unit 46 of the HMD 12 automatically attaches the HMD 12 to the user's head based on the position of the user's head detected by the head position detection unit 42 and the attachment position of the HMD 12.
- the mounting support section 46 automatically causes the HMD 12 to be mounted on the user's head when the clearance around the user's head detected by the clearance detection section 44 is greater than or equal to a predetermined threshold.
- This threshold value is a clearance value that should be secured in order to safely attach the HMD 12 to the user's head in a manner suitable for viewing VR content. This threshold value may be set to an appropriate value based on the developer's knowledge, experiments using the VR content display system 10, or the like.
- the mounting support unit 46 transmits a signal to the storage device 14 instructing the user to change the position of the HMD 12 based on the relative position of the user's head with respect to the HMD 12.
- the signal may be, for example, a signal instructing to extend the cable of the support section 26.
- the storage control unit 30 of the storage device 14 changes the position of the HMD 12 based on the signal transmitted from the HMD 12. In the example of FIG. 8, the storage control unit 30 may move the HMD 12 downward by extending the cable of the support unit 26.
- the mounting support section 46 places the HMD 12 on the user's head by deforming the mounting mechanism section 22a and the mounting mechanism section 22b so that the HMD 12 is mounted on the mounting position detected based on the marker on the user's head. fix it in the proper position.
- the eye tracking sensor 136 of the HMD 12 starts detecting the position of the user's eyes when the HMD 12 is taken out from the storage device 14, in other words, when the HMD 12 moves from the storage stage to the attachment/detachment stage.
- the eye tracking unit 48 functions as a position determination unit, and when the HMD 12 is taken out from the storage device 14, it starts determining whether or not the position of the eyes of the user wearing the HMD 12 is at a predetermined appropriate position. do.
- the eye tracking unit 48 repeatedly performs the above determination until the determination results in a positive result.
- the position of the user's pupil being in a predetermined appropriate position may mean that the relative position of the user's pupil with respect to the lens of the HMD 12 is within a predetermined appropriate range. Furthermore, the position of the user's pupils being at a predetermined appropriate position may also mean that both of the following (1) and (2) are satisfied.
- (1) The user's left pupil is in a position directly facing the left lens 140, or the width of the deviation between the center of the user's left pupil and the center of the left lens 140 is within a predetermined threshold.
- the user's right pupil is in a position directly facing the right lens 142, or the width of the deviation between the center of the user's right pupil and the center of the right lens 142 is within a predetermined threshold.
- Appropriate conditions and values may be set for the above-mentioned appropriate position and threshold value based on the developer's knowledge, experiments using the VR content display system 10, and the like.
- Optical correction unit 50 makes sure that the user's pupil position is at a predetermined appropriate position.
- Optical correction when the HMD 12 is attached can also be called optical position correction, and includes, for example, viewpoint position adjustment, interpupillary adjustment, and diopter adjustment. Diopter adjustment is a process of adjusting the power of the HMD lens according to the user's visual acuity.
- the optical correction unit 50 determines the respective positions of the left lens 140 and the right lens 142 (positions in the front-rear direction, up-down direction, left-right direction), and the distance between the lenses, depending on the type of interaction with the user. ) may be adjusted.
- the VR content display system 10 shifts from the attachment/detachment stage (viewing transition stage) to the viewing stage.
- the display control unit 58 of the HMD 12 controls the HMD 12 upon transition from the attachment/detachment stage to the viewing stage, in other words, upon determination by the eye tracking unit 48 that the position of the user's eyes is within a predetermined appropriate range.
- the display control unit 58 displays at least one of the VR content data generated by the drawing unit 32 of the storage device 14 and the VR content data generated by the drawing unit 54 of the HMD 12 on the display unit 124 (left and right display panels) of the HMD 12. ).
- the VR content may be, for example, a large virtual screen 76 placed at a predetermined distance from the user, and various VR objects displayed on the virtual screen 76.
- the image acquisition unit 56 of the HMD 12 transmits a signal instructing the storage device 14 to start generating VR content data, taking the transition from the attachment/detachment stage to the viewing stage as an opportunity.
- the drawing unit 32 of the storage device 14 starts generating VR content data.
- the drawing unit 32 draws data based on at least one of data input from the input device 16, data transmitted from an external device (such as a server), and data stored in the storage unit 234 (programs, parameters, etc. related to VR content). to generate VR content data.
- the VR content data generated by the drawing unit 32 of the storage device 14 may include an uncorrected VR image that includes various VR objects. Further, it may include a VR image that is a distant view from the user's viewpoint in the VR space.
- the image providing unit 34 of the storage device 14 transmits the VR content data generated by the drawing unit 32 to the HMD 12.
- the image acquisition unit 56 of the HMD 12 acquires the VR content data transmitted from the storage device 14.
- the drawing unit 54 of the HMD 12 starts generating VR content data upon transition from the attachment/detachment stage to the viewing stage.
- the drawing unit 54 uses VR content data transmitted from the storage device 14, data input from the input device 16, data stored in the storage unit 133 (programs and parameters related to VR content, etc.), and data detected by the eye tracking unit 48.
- VR content data is generated based on at least one of the user's viewpoint and line-of-sight direction.
- the drawing unit 54 may perform a known reprojection process (also called asynchronous time warp process) in response to the movement of the HMD 12 detected by the motion sensor 134.
- the drawing unit 54 may generate a VR image for display as VR content data by processing the basic VR image transmitted from the storage device 14 according to changes in the user's line of sight. .
- the drawing unit 54 may generate a VR image that is a close view from the user's viewpoint in the VR space.
- the drawing unit 54 uses the VR image (distant view image) transmitted from the storage device 14 and the VR image (near view image) generated by the drawing unit 54 as the VR image for display as VR content data.
- a composite image may be generated by combining these.
- the display control unit 58 of the HMD 12 may cause the display unit 124 to display the VR image for display generated by the drawing unit 54.
- the drawing correction unit 52 of the HMD 12 executes line-of-sight dependent drawing correction when displaying VR content, triggered by the transition from the attachment/detachment stage to the viewing stage.
- the line-of-sight dependent drawing correction includes drawing position correction depending on the user's line-of-sight direction, and also includes foveal precision correction (for example, correction regarding chromatic aberration and correction regarding lens distortion). Note that the techniques described in Documents 1 to 3 below may be applied to the line-of-sight dependent drawing correction.
- Document 1 International Publication No. 2020/170454
- Document 2 International Publication No. 2020/170455
- Document 3 International Publication No. 2020/170456
- the drawing unit 54 draws the VR object at the drawing position corrected by the drawing correction unit 52.
- a VR image for display may be generated as shown in FIG.
- the HMD 12 since the HMD 12 can be stored in the storage device 14, it is possible to avoid the HMD 12 from getting in the way when the VR content is not viewed. Furthermore, in the VR content display system 10 of the first embodiment, taking out the HMD 12 from the storage device 14 is a trigger to start determining whether or not the position of the user's eyes is an appropriate position, and if the determination is affirmative. Once the results are obtained, the display of VR content is started. Thereby, the time from when the HMD 12 is attached to the user's head until the VR content is displayed on the HMD 12 can be reduced, and the VR content can be quickly provided to the user.
- the VR content display system 10 of the first embodiment by automatically attaching the HMD 12 to the user's head, the user's workload for viewing VR content can be reduced. Furthermore, by automatically mounting the HMD 12 on the condition that there is sufficient clearance around the user's head, it is possible to suppress failures in automatically mounting the HMD 12 and improve its safety.
- FIG. 9 schematically shows the operation of the VR content display system 10 of the first embodiment from when the display of VR content on the HMD 12 ends until the HMD 12 is stored in the storage device 14.
- the VR content display system 10 transits in the following order: a viewing stage, an attachment/detachment stage (storage transition stage), and a storage stage until the HMD 12 is stored in the storage device 14.
- the VR content display system 10 shifts from the viewing stage to the attachment/detachment stage (storage transition stage) when a predetermined removal condition is satisfied in the viewing stage.
- the HMD 12 removal support unit 60 automatically removes the HMD 12 from the user's head when any of a plurality of predetermined removal conditions is met while displaying VR content.
- the removal support section 60 deforms the mounting mechanism section 22a and the mounting mechanism section 22b to release the HMD 12 from being fixed to the user's head. Further, the removal support unit 60 transmits a signal instructing to change the position of the HMD 12, for example, a signal instructing to wind up the cable of the support unit 26 to the storage device 14.
- the storage control unit 30 of the storage device 14 winds up the cable of the support unit 26 by a predetermined first amount based on the above-mentioned signal transmitted from the HMD 12, as shown in the attachment/detachment stage of FIG.
- the HMD 12 is brought into a state suspended above the user (hereinafter also referred to as a "standby state").
- the plurality of removal conditions include the following (1) to (4).
- a predetermined user operation for example, an operation instructing to end viewing
- the position and/or angle of the user's head detected by the motion sensor 134 has deviated from a predetermined appropriate range.
- the appropriate range is the range of positions and angles suitable for viewing VR content, and appropriate values are determined according to the constraints of the environment surrounding the user (for example, the range of positions and angles that do not interfere with the person next to the user). It's okay to be rejected.
- a predetermined voice command (for example, a voice such as "end viewing") is input directly to the HMD 12 or input via the input device 16.
- a predetermined user operation (for example, a touch operation instructing to end viewing, etc.) is input to the HMD 12 or the input device 16.
- the removal support unit 60 waits until a storage instruction operation is input from the user.
- the period of waiting for the input of the storage instruction operation is the period during which the user can input the reinstallation instruction operation.
- the wearing support unit 46 of the HMD 12 executes the automatic wearing sequence described above again.
- the removal support unit 60 works with the storage control unit 30 of the storage device 14 to store the HMD 12 in the standby state in the storage device 14.
- the removal support section 60 may transmit a signal to the storage device 14 instructing the cable of the support section 26 to be wound up.
- the storage control section 30 of the storage device 14 winds up the cable of the support section 26 by a predetermined second amount based on the signal transmitted from the HMD 12, thereby maintaining the state in which the HMD 12 is stored in the storage device 14. You may also move to
- the imaging unit 138 of the HMD 12 may image not only the user's head side but also the space around the HMD 12.
- the removal support unit 60 detects an object (an object other than the user's head) close to the HMD 12 in the standby state, the removal support unit 60 connects the storage control unit 30 of the storage device 14 even if the user has not input a storage instruction operation.
- the HMD 12 in a standby state may be automatically stored in the storage device 14. This makes it easier to avoid the HMD 12 colliding with other objects or getting in the way.
- the HMD 12 is automatically stored in the storage device 14 when viewing the VR content is finished. Thereby, the user's work when finishing viewing VR content can be reduced, and the convenience of the VR content display system 10 can be improved.
- the storage device 14 of the modified example includes the same functional blocks as the storage device 14 of the first embodiment.
- the HMD 12 of the modification does not include the mounting support section 46, but has other functional blocks similar to the HMD 12 of the first embodiment. This is because, in this modification, the user manually attaches the HMD 12.
- FIG. 10 schematically shows the operation of the modified VR content display system 10 from when the HMD 12 is taken out from the storage device 14 to when the VR content is displayed on the HMD 12.
- a user who wishes to view VR content inputs a VR content viewing request into the input device 16. Similar to the first embodiment, upon receiving a user's viewing request, the VR content display system 10 shifts from the storage stage to the attachment/detachment stage (viewing transition stage). The storage control unit 30 of the storage device 14 releases the HMD 12 from the storage device 14 in response to the viewing request transmitted from the input device 16.
- the user grasps the HMD 12 and manually attaches the HMD 12 to his or her head.
- the support section 26 of the storage device 14 reduces the load on the user by keeping the tension of the cable constant.
- the eye tracking unit 48 of the HMD 12 takes advantage of the transition to the attachment/detachment stage to perform eye tracking processing and determination processing whether or not the user's pupil position is at a predetermined appropriate position.
- the display control unit 58 of the HMD 12 displays the VR content on the HMD 12 when the eye tracking unit 48 determines that the position of the user's eyes is within a predetermined appropriate range. start.
- the time from when the HMD 12 is attached to the user's head until the VR content is displayed on the HMD 12 is reduced. It is possible to quickly provide VR content to users.
- the mode of transition from the viewing stage to the storage stage is the same as that of the VR content display system 10 of the first embodiment. That is, also in the VR content display system 10 of this modification, the HMD 12 is automatically removed from the user's head, and the HMD 12 is automatically stored in the storage device 14.
- the mounting support unit 46 of the HMD 12 automatically attaches the HMD 12 to the user's head when the clearance around the user's head detected by the clearance detection unit 44 is less than a predetermined threshold.
- the mounting sequence may be stopped.
- the attachment support unit 46 may notify the user of content urging the user to increase the clearance around the head.
- the wearing support unit 46 may display an image with content encouraging the user to increase the clearance around the head on a predetermined display device (for example, the display of the input device 16), and may transmit audio with the same content from the speaker 24 of the HMD 12. You may also output it.
- FIG. 11 shows the configuration of the viewing support device 80 of the second embodiment.
- the viewing support device 80 is a device corresponding to the VR content display system 10 of the first embodiment.
- the viewing support device 80 includes an HMD 12, a storage device 14, and an assist section 82.
- the configuration of the HMD 12 of the viewing support device 80 is the same as the configuration of the HMD 12 of the first embodiment, and the configuration of the storage device 14 of the viewing support device 80 is the same as the configuration of the storage device 14 of the first example.
- the assist unit 82 includes a seat 84 on which the user sits and a seat holding unit 86.
- the seat holding unit 86 holds the seat 84 on the casing of the viewing support device 80 and assists in vertical movement of the seat 84 along the casing of the viewing support device 80 .
- the viewing support device 80 may include a spring, and the elastic force of the spring may reduce the load caused by the upward movement of the seat 84.
- FIG. 12 shows an example of how the viewing support device 80 is used.
- the user bends or stretches his legs while viewing VR content 88 displayed on the HMD 12.
- the motion sensor 134 of the HMD 12 detects vertical movement of the HMD 12 that occurs when the user bends or stretches his or her legs.
- the drawing unit 54 of the HMD 12 changes the user's viewpoint in the virtual space in accordance with the vertical movement of the user in the real space detected by the motion sensor 134 on the viewing stage.
- the drawing unit 54 generates VR content data based on the user's changed viewpoint. That is, the drawing unit 54 changes the display mode of the VR content on the HMD 12 according to the vertical movement of the user in the real space.
- FIG. 13 shows another configuration of the assist section 82 in the viewing support device 80.
- the assist section 82 in FIG. 13 includes a seat 84, a footrest 92, and an extendable section 94.
- the extensible part 94 is an extensible member, and is made of an elastic member such as a spring.
- the height of the user's waist does not change, but the footrest 92 is configured to move in the vertical direction, so that the user can bend and straighten their legs while viewing VR content. I can do it.
- the HMD 12 may further include a user motion detection unit that detects the user's vertical movement.
- the user motion detection unit may determine that the user has moved downward when the user bends his or her legs and the length of the stretchable portion 94 becomes relatively short.
- the user motion detection unit may determine that the user has moved upward when the user extends his or her legs and the length of the stretchable part 94 becomes relatively long.
- the drawing unit 54 of the HMD 12 may change the user's viewpoint in the virtual space according to the vertical movement of the user detected by the user motion detection unit.
- the drawing unit 54 recognizes that the user's viewpoint has lowered and moves it to a relatively lower position.
- VR content 88 seen from the user's perspective is generated.
- the user can display the lower part of the VR content 88 on the HMD 12 by bending the legs.
- the drawing unit 54 recognizes that the user's viewpoint has risen and relatively VR content 88 viewed from the viewpoint of the user in the upper position is generated.
- the user can display the upper part of the VR content 88 on the HMD 12 by bending the legs.
- the viewing support device 80 of the second embodiment it is possible to realize the viewing of VR content while maintaining the user's physicality, and it is possible to improve the interest of viewing the VR content.
- the viewing support device 80 of the second embodiment can provide the user with a novel viewing experience in which the user can change his or her viewpoint in the VR space by moving his or her body up and down within the possible range.
- FIG. 14 shows the configuration and usage example of the VR content display system 10 of the third embodiment.
- the VR content display system 10 of the third embodiment includes an HMD 12 and a storage device 14, and also includes a display monitor 100 and a spatial reproduction display 102 as display devices different from the HMD 12.
- Display monitor 100 is a general display that displays 2D content.
- the spatial reproduction display 102 detects the line of sight of the viewer and controls the display of 3D content in real time according to the angle of the line of sight, so that it appears as if the object (3D object 104) exists in the space on the display. This is a well-known display that reproduces 3D images.
- the HMD 12 further includes a content acquisition unit (not shown).
- the content acquisition unit acquires data of electronic content (2D content or 3D content) displayed on the display monitor 100 and the spatial reproduction display 102 via the communication unit 132.
- the content acquisition unit may acquire data of electronic content displayed on the display monitor 100 and the spatial reproduction display 102 from the display monitor 100 and the spatial reproduction display 102.
- the content acquisition unit may acquire data of electronic content displayed on the display monitor 100 and the spatial reproduction display 102 from a server connected to the display monitor 100 and the spatial reproduction display 102.
- the display control unit 58 of the HMD 12 causes the display unit 124 of the HMD 12 to display VR content corresponding to the electronic content acquired by the content acquisition unit.
- the drawing unit 54 of the HMD 12 may generate VR content data that includes the electronic content acquired by the content acquisition unit as an object in the virtual space. Further, as shown in the viewing stage of FIG. 14, the drawing unit 54 displays a virtual display monitor 108 corresponding to the display monitor 100, a virtual space reproduction display 110 corresponding to the space reproduction display 102, and a 3D object 112 corresponding to the 3D object 104. You may generate data of VR content 106 including the following.
- the display control unit 58 may display the VR content generated by the drawing unit 54 on the display unit 124 of the HMD 12.
- the VR content display system 10 of the third embodiment when the user inputs a predetermined operation to instruct VR transition into the input device 16 etc., even if the automatic mounting sequence of the HMD 12 similar to the first embodiment is executed. good. Then, in the viewing stage, the processes of the content acquisition section, drawing section 54, and display control section 58 described above may be executed.
- the objects and information displayed on the display monitor 100 or the spatial reproduction display 102 can be displayed on the HMD 12, in other words, they can be displayed as objects in the VR space. I can do it.
- the user can check the objects and information displayed on the display monitor 100 or the spatial reproduction display 102 with a wide viewing angle and high resolution in the VR space with few restrictions provided by the HMD 12, which improves the efficiency of the user's work. I can support you.
- the storage device 14 may include a content acquisition section.
- the drawing unit 32 of the storage device 14 may generate VR content data that includes the electronic content acquired by the content acquisition unit and displayed on the display monitor 100 and the spatial reproduction display 102 as an object in the virtual space. good.
- the display control unit 58 of the HMD 12 may display the VR content generated by the drawing unit 32 of the storage device 14 on the display unit 124 of the HMD 12.
- the HMD 12 may have some of the functions provided by the storage device 14 in the above embodiment.
- the storage device 14 may include some of the functions provided by the HMD 12 in the above embodiment.
- a head-mounted display including a first detection unit that detects the position of the user's pupils; a storage section capable of storing the head-mounted display; Taking the head mounted display out of the storage unit as an opportunity, determine whether the position of the eyes of the user wearing the head mounted display, which is detected by the first detection unit, is at a predetermined appropriate position.
- a virtual reality content display system comprising: According to this system, since the HMD can be stored in the storage section, it is possible to avoid the HMD from becoming a hindrance when VR content is not viewed. Further, VR content can be quickly presented to a user wearing a head-mounted display taken out from the storage unit, and the user's waiting time until viewing VR content can be reduced.
- a second detection unit that detects the position of the user's head;
- the virtual device according to item 1, further comprising: an attachment support unit that automatically attaches the head mounted display to the user's head based on the position of the user's head detected by the second detection unit.
- Real content display system According to this system, the user's workload for viewing VR content can be reduced.
- the second detection unit further detects a clearance around the user's head,
- the attachment support unit automatically attaches the head mounted display to the user's head when a clearance around the user's head is equal to or greater than a predetermined threshold.
- the virtual reality content display system according to item 2.
- a second detection unit that detects the position of the user's head; Further comprising a removal support unit that automatically removes the head mounted display from the user's head if the position of the user's head deviates from a predetermined appropriate range while displaying the virtual reality content.
- the virtual reality content display system according to any one of items 1 to 3. According to this system, the user's work when finishing viewing VR content can be reduced.
- a drawing unit that generates data of the virtual reality content based on the user's viewpoint in the virtual space; further comprising an assist unit that assists the user in vertical movement in real space, The drawing unit changes a viewpoint of the user in the virtual space according to a vertical movement of the user in the real space.
- the virtual reality content display system according to any one of items 1 to 4. According to this system, it is possible to realize the viewing of VR content while maintaining the user's physicality, and it is possible to improve the interest of viewing the VR content.
- [Item 6] further comprising an acquisition unit that acquires data of electronic content displayed on a display device different from the head-mounted display, The display control unit displays virtual reality content corresponding to the electronic content on the head mounted display.
- the virtual reality content display system according to any one of items 1 to 5. According to this system, by linking the different display devices and the HMD, the user's work can be effectively supported using VR content, and the usage of the HMD can be expanded.
- the head mounted display including a first detection unit that detects the position of the user's pupils is taken out from the storage unit, the eyes of the user wearing the head mounted display detected by the first detection unit starting to determine whether or not the position of is at a predetermined proper position; Starting display of virtual reality content on the head-mounted display upon determining that the position of the eyes of the user wearing the head-mounted display is at the appropriate position; A virtual reality content display method performed by a computer.
- the HMD since the HMD can be stored in the storage section, it is possible to avoid the HMD from becoming a hindrance when the VR content is not viewed. Further, VR content can be quickly presented to a user wearing a head-mounted display taken out from the storage unit, and the user's waiting time until viewing VR content can be reduced.
- the present invention can be applied to systems and devices that display virtual reality content.
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
VRコンテンツ表示システム10は、ヘッドマウントディスプレイ(HMD12)、収納装置14、位置判定部、表示制御部を備える。位置判定部は、HMD12が収納装置14から取り出されたことを契機に、HMD12を装着したユーザの瞳の位置が所定の適正位置にあるか否かの判定を開始する。表示制御部は、HMD12を装着したユーザの瞳の位置が上記適正位置にあると判定されたことを契機に、HMD12における仮想現実コンテンツの表示を開始させる。
Description
本発明は、データ処理技術に関し、特に仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法に関する。
ヘッドマウントディスプレイを装着したユーザが対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えば仮想3次元空間を表示対象とし、ユーザの視線方向に応じた画像がヘッドマウントディスプレイに表示されるようにすることで仮想現実(Virtual Reality:VR)を実現する電子コンテンツ(以下「VRコンテンツ」とも呼ぶ。)が知られている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲーム等のアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、VRコンテンツとして表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。
ユーザが、収納部から取り出したヘッドマウントディスプレイを装着してVRコンテンツを視聴する場合、ヘッドマウントディスプレイの装着からVRコンテンツの表示までの時間は短い方が望ましい。
本発明はこうした課題に鑑みてなされたものであり、1つの目的は、収納部から取り出したヘッドマウントディスプレイを装着したユーザに対してVRコンテンツを迅速に提示する技術を提供することにある。
上記課題を解決するために、本発明のある態様の仮想現実コンテンツ表示システムは、ユーザの瞳の位置を検出する第1検出部を備えるヘッドマウントディスプレイと、ヘッドマウントディスプレイを収納可能な収納部と、ヘッドマウントディスプレイが収納部から取り出されたことを契機に、第1検出部により検出された、ヘッドマウントディスプレイを装着したユーザの瞳の位置が所定の適正位置にあるか否かの判定を開始する位置判定部と、ヘッドマウントディスプレイを装着したユーザの瞳の位置が適正位置にあると判定されたことを契機に、ヘッドマウントディスプレイにおける仮想現実コンテンツの表示を開始させる表示制御部とを備える。
本発明の別の態様は、仮想現実コンテンツ表示方法である。この方法は、ユーザの瞳の位置を検出する第1検出部を備えるヘッドマウントディスプレイが収納部から取り出されたことを契機に、第1検出部により検出された、ヘッドマウントディスプレイを装着したユーザの瞳の位置が所定の適正位置にあるか否かの判定を開始するステップと、ヘッドマウントディスプレイを装着したユーザの瞳の位置が適正位置にあると判定されたことを契機に、ヘッドマウントディスプレイにおける仮想現実コンテンツの表示を開始させるステップと、をコンピュータが実行する。
なお、以上の構成要素の任意の組合せ、本発明の表現を装置、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、収納部から取り出したヘッドマウントディスプレイを装着したユーザに対してVRコンテンツを迅速に提示することができる。
<第1実施例>
第1実施例では、ヘッドマウントディスプレイ(以下「HMD」とも呼ぶ。)の着脱を最大限に自動化することによって、収納装置からのHMDの取り出しからVRコンテンツ表示までの時間を低減するVRコンテンツ表示システムを提案する。VRコンテンツは、例えば、ユーザが選択または所望した、仮想現実空間を示す画像であってもよい。また、VRコンテンツは、エンタテインメント性を有する画像(ゲーム世界を映す画像等)であってもよく、業務用の画像やデータ(文書データ等)であってもよい。ただし、実施例でのVRコンテンツは、光学補正やテストのための画像を含まないこととする。以下、特に
断らない限り、画像は、動画像と静止画の一方または両方を含む。
第1実施例では、ヘッドマウントディスプレイ(以下「HMD」とも呼ぶ。)の着脱を最大限に自動化することによって、収納装置からのHMDの取り出しからVRコンテンツ表示までの時間を低減するVRコンテンツ表示システムを提案する。VRコンテンツは、例えば、ユーザが選択または所望した、仮想現実空間を示す画像であってもよい。また、VRコンテンツは、エンタテインメント性を有する画像(ゲーム世界を映す画像等)であってもよく、業務用の画像やデータ(文書データ等)であってもよい。ただし、実施例でのVRコンテンツは、光学補正やテストのための画像を含まないこととする。以下、特に
断らない限り、画像は、動画像と静止画の一方または両方を含む。
第1実施例のVRコンテンツ表示システムは、(1)HMDの収納機能、(2)HMDの自動調整機能、(3)サポート機能を備える。
(1)収納機能は、HMDをコンパクトな形状に収納する機能を含む。また、収納機能は、HMDをユーザに自動で装着させる機能、および、ユーザからHMDを自動で取り外して収納する機能を含む。収納機能は、収納装置とHMDにより実現される。
(1)収納機能は、HMDをコンパクトな形状に収納する機能を含む。また、収納機能は、HMDをユーザに自動で装着させる機能、および、ユーザからHMDを自動で取り外して収納する機能を含む。収納機能は、収納装置とHMDにより実現される。
(2)自動調整機能は、HMD装着時の光学補正と、VRコンテンツ表示時の視線依存描画補正とを含む。自動調整機能は、HMDにより実現される。
(3)サポート機能は、ユーザの行動制限と負荷軽減をサポートし、アシストする機能を含む。サポート機能は、収納装置とHMDとを接続する部材(実施例では後述のサポート部26)により実現される。
(3)サポート機能は、ユーザの行動制限と負荷軽減をサポートし、アシストする機能を含む。サポート機能は、収納装置とHMDとを接続する部材(実施例では後述のサポート部26)により実現される。
図1は、第1実施例のVRコンテンツ表示システム10の構成を示す。VRコンテンツ表示システム10は、HMD12、収納装置14、入力装置16を備える。入力装置16は、ユーザがHMD12および収納装置14に対する指示(操作)を入力する装置である。入力装置16は、キーボード、ゲームパッド、タッチパネル等により実現されてもよい。入力装置16は、入力されたユーザの操作に関するデータを無線通信にてHMD12および収納装置14へ送信する。
図2は、図1のHMD12と収納装置14の形状の例を示す。図2の上段は、収納時のHMD12を示す上面図と、収納時のHMD12と収納装置14を示す前面図および側面図を示している。収納装置14は、HMD12を収納可能な収納部とも言える。HMD12は、出力機構部20、装着機構部22、スピーカ24を備える。
出力機構部20は、HMD12の装着時にユーザの左右の目を覆うような形状の筐体を含み、内部には、装着時にユーザの左右の目に正対するように配置された表示パネル(左目用表示パネル、右目用表示パネル)を備える。実施例のHMD12の表示パネルは光透過性がないものとし、すなわち、実施例のHMD12は、光不透過型のHMDである。スピーカ24は、装着時にユーザの耳に対応する位置に設けられる。
装着機構部22は、ユーザの頭部へのHMD12の装着および固定を実現する機構である。装着機構部22は、装着機構部22aと装着機構部22bを含む。装着機構部22aは、ユーザの頭部を左右方向(ユーザの向きと垂直方向)に覆う部材であり、装着機構部22bは、ユーザの頭部を前後方向(ユーザの向きと水平方向)に覆う部材である。
図2の下段は、装着時のHMD12と収納装置14を示す前面図および側面図を示している。HMD12と収納装置14は、サポート部26を介して接続される。サポート部26は、(1)HMDを保持し、また、ユーザの行動を制約するための力を伝達するケーブル、(2)ケーブルの巻き取り機構、(3)ケーブルのテンションが一定になるよう制御するサーボ機構を含む。なお、実施例のサポート部26は、HMD12と収納装置14間でやり取りされる信号が流れる通信ケーブルを含む。実施例では、HMD12と収納装置14は有線通信を行うこととするが、変形例として無線通信を行ってもよい。
図3は、図1のHMD12と収納装置14の形状の別の例を示す。同図は、図2の形状よりも簡易な形状を示している。収納装置14は、収納フック28をさらに備える。収納時、収納フック28は、HMD12を支持および固定してHMD12の収納状態を維持する。装着時には収納フック28が解放されることで、収納装置14からHMD12がリリースされる。
図4は、図1の収納装置14のハードウェア構成の例を示す。収納装置14は、処理部220、収納機構242、サポート部26を備える。サポート部26は、HMD12と接続される通信ケーブル246を含む。ただし、サポート部26は、HMD12を保持し、また、ユーザの行動を制約するための力を伝達することを主目的とする部材である。収納機構242は、HMD12を収納するための部材である。収納機構242は、HMD12を支持または固定する部材(例えば収納フック等)を含んでもよい。
処理部220は、VRコンテンツの描画を含む各種データ処理を実行するコンピュータを含む。処理部220は、CPU(Central Processing Unit)222、GPU(Graphics Processing Unit)224、メインメモリ226を含む。これらの各部は、バス230を介して相互に接続される。バス230にはさらに入出力インターフェイス228が接続される。入出力インターフェイス228には、通信部232、記憶部234、出力部236、入力部238が接続される。
通信部232は、USBやIEEE1394などの周辺機器インターフェイスや、有線LANまたは無線LAN等のネットワークインターフェイスを含む。処理部220は、通信部232を介して、外部装置(例えばクラウド上のコンテンツ配信サーバ等)とデータを送受信する。記憶部234は、ハードディスクドライブや不揮発性メモリ等を含む。出力部236は、HMD12へのデータを出力する。入力部238は、HMD12からのデータ入力を受け付け、また、入力装置16からのデータ入力(ユーザの操作に関する情報等)を受け付ける。
CPU222は、記憶部234に記憶されているオペレーティングシステムを実行することにより収納装置14の全体を制御する。また、CPU222は、記憶部234またはリムーバブル記録媒体から読み出されてメインメモリ226にロードされた、あるいは通信部232を介してダウンロードされた各種プログラム(例えばVRゲームアプリケーション等)を実行する。GPU224は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、CPU222からの描画命令にしたがって描画処理を行い、描画結果を出力部236に出力する。メインメモリ226は、RAM(Random Access Memory)により構成され、処理に必要なプログラムやデータを記憶する。
図5は、図1の収納装置14が備える機能ブロックを示すブロック図である。本明細書のブロック図に示す複数の機能ブロックは、ハードウェア的には、各種電子回路の組み合わせ(例えば、図4に示したCPU222、GPU224、メインメモリ226、記憶部234等の構成)で実現できる。また、ソフトウェア的には、複数の機能ブロックに対応する複数のプログラムモジュールを含むコンピュータプログラムにより実現できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
収納装置14は、収納制御部30、描画部32、画像提供部34を備える。これら複数の機能ブロックの機能が実装されたコンピュータプログラムが記憶部234にインストールされてもよい。CPU222およびGPU224は、このコンピュータプログラムをメインメモリ226に読み出して実行することにより、図5に示す複数の機能ブロックの機能を発揮してもよい。
収納制御部30は、サポート部26の動作を制御して、HMD12を収納装置14に収納・固定された状態からリリースし、HMD12をユーザの頭部に装着可能な状態に移行させる。また、収納制御部30は、サポート部26の動作を制御して、ユーザの頭部から取り外されたHMD12を収納装置14に収納・固定させる。
図6は、図1のHMD12のハードウェア構成の例を示す。HMD12は、CPU120、GPU121、メインメモリ122、表示部124、スピーカ24を含む。これらの各部はバス128を介して相互に接続されている。バス128にはさらに入出力インターフェイス130が接続されている。入出力インターフェイス130には、通信部132、記憶部133、モーションセンサ134、アイトラッキングセンサ136、撮像部138が接続される。
CPU120は、バス128を介してHMD12の各部から取得した情報を処理するとともに、収納装置14から取得した表示画像や音声のデータを表示部124やスピーカ24に供給する。GPU121は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、CPU120からの描画命令にしたがって描画処理を行い、描画結果を表示部124に出力する。メインメモリ122は、CPU120およびGPU121における処理に必要なプログラムやデータを格納する。
表示部124は、液晶パネルや有機ELパネルなどの表示パネルを含み、HMD12を装着したユーザの眼前に画像を表示する。表示部124は、ユーザの左目の前に設けられた左目用の表示パネルと、ユーザの右目の前に設けられた右目用の表示パネルとに一対のステレオ画像を表示することにより立体視を実現する。
表示部124はさらに、HMD12装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対の接眼レンズを含む。一対の接眼レンズは、左レンズ140と右レンズ142を含む。左レンズ140は、左目用の表示パネルとユーザの左目の間に設けられ、右レンズ142は、右目用の表示パネルとユーザの右目の間に設けられる。
スピーカ24は、HMD12の装着時にユーザの耳に対応する位置に設けられる。スピーカ24は、イヤホンを含んでもよい。通信部132は、収納装置14および入力装置16との間でデータを送受するためのインターフェイスである。通信部132は、有線LANや無線LAN、Bluetooth(登録商標)などの既知の通信技術により通信を実現する。記憶部133は、不揮発性メモリ等を含む。モーションセンサ134は、ジャイロセンサおよび加速度センサを含み、HMD12の角速度や加速度を取得する。
アイトラッキングセンサ136は、第1検出部としてのセンサであり、アイトラッキング用の公知のセンサ(赤外線カメラ等を含む)を含む。アイトラッキングは、視線計測とも言え、ユーザの瞳(眼球とも言える)の位置、動きおよび視線方向を検出する技術である。例えば、アイトラッキングセンサ136は、赤外線の反射パターン等に基づいてユーザの瞳の位置および動きを検出する。撮像部138は、ユーザの頭部を撮像するカメラを含む。撮像部138により撮像される方向は、収納装置14におけるHMD12の収納位置からユーザの頭部への方向を少なくとも含む。
図7は、図1のHMD12が備える機能ブロックを示すブロック図である。HMD12は、リリース検出部40、頭部位置検出部42、装着支援部46、アイトラッキング部48、光学補正部50、描画補正部52、描画部54、画像取得部56、表示制御部58、取り外し支援部60を備える。頭部位置検出部42は、クリアランス検出部44を含む。これら複数の機能ブロックの機能が実装されたコンピュータプログラムが記憶部133にインストールされてもよい。CPU120およびGPU121は、このコンピュータプログラムをメインメモリ226に読み出して実行することにより、図7に示す複数の機能ブロックの機能を発揮してもよい。
以上の構成によるVRコンテンツ表示システム10の動作を説明する。
図8は、第1実施例のVRコンテンツ表示システム10において、収納装置14からHMD12が取り出され、HMD12にVRコンテンツが表示されるまでの動作を模式的に示す。VRコンテンツ表示システム10は、VRコンテンツの表示までに、収納ステージ、着脱ステージ、視聴ステージの順に遷移する。
図8は、第1実施例のVRコンテンツ表示システム10において、収納装置14からHMD12が取り出され、HMD12にVRコンテンツが表示されるまでの動作を模式的に示す。VRコンテンツ表示システム10は、VRコンテンツの表示までに、収納ステージ、着脱ステージ、視聴ステージの順に遷移する。
収納ステージは、HMD12が収納装置14に収納された状態であり、言い換えれば、HMD12が未使用の状態である。視聴ステージは、ユーザの頭部へのHMD12の装着が完了して、VRコンテンツがHMD12に表示される状態である。着脱ステージは、収納ステージと視聴ステージの間の状態であって、装着移行ステージと収納移行ステージの両方を含む。装着移行ステージは、図8に示すように、収納装置14からHMD12が取り出されてから、ユーザの頭部へのHMD12の装着が完了するまでの状態である。収納移行ステージは、図8とは逆に、ユーザの頭部からHMD12が取り外されてから、収納装置14へのHMD12の収納が完了するまでの状態である。
これからVRコンテンツを視聴しようとするユーザは、マーカーバンド74を頭部に装着して座席72に座る。マーカーバンド74は、HMD12側のセンサ(例えば磁気センサ)により位置が検知されるマーカー(例えば磁気マーカー)を含む。マーカーバンド74は、眼鏡型、ヘアバンド型、またはカチューシャ型であってもよく、他の形状であってもよい。撮像範囲70は、HMD12の撮像部138による撮像範囲(すなわち画角)を示している。
ユーザは、VRコンテンツの視聴リクエストを示す操作を入力装置16に入力する。視聴リクエストは、HMD12の装着リクエストを含み、HMD12の装着リクエストとも言える。入力装置16は、ユーザから視聴リクエストを受け付け、その視聴リクエストを収納装置14へ送信する。VRコンテンツ表示システム10は、ユーザの視聴リクエストを受け付けたことを契機に、収納ステージから着脱ステージ(視聴移行ステージ)へ移行する。収納装置14の収納制御部30は、入力装置16から送信された視聴リクエストに応じて、HMD12を収納装置14からリリースする。例えば、収納制御部30は、ケーブルを伸ばすようサポート部26を作動させてHMD12の収納状態を解除し、HMD12を下方に移動させることでHMD12をユーザの頭部側へ移動させる。
HMD12のリリース検出部40は、HMD12が収納装置14から取り出されたこと、言い換えれば、HMD12の収納状態が解除されたことを検出する。リリース検出部40は、HMD12が収納装置14から取り出されたことを頭部位置検出部42およびアイトラッキング部48へ通知する。HMD12が収納装置14から取り出されたことは、機械式で検出されてもよく、電気式で検出されてもよく、公知の方法で実現されてよい。変形例として、HMD12は、リリース検出部40に代えて、HMD12から送信された視聴リクエストを検出する視聴リクエスト検出部を備えてもよい。この場合、以降のHMD12の処理は、HMD12が収納装置14からリリースされたことを契機に実行されることに代えて、視聴リクエストが検出されたことを契機に実行されてもよい。
HMD12の撮像部138は、HMD12が収納装置14から取り出されたことを契機に、言い換えれば、収納ステージから着脱ステージへの移行を契機に、ユーザの頭部の撮像処理を開始する。HMD12の頭部位置検出部42は、第2検出部として、撮像部138による撮像画像に基づいて、ユーザの頭部の位置を検出する。例えば、頭部位置検出部42は、HMD12を基準としたユーザの頭部の相対的な位置を検出する。また、HMD12は、マーカーバンド74のマーカーを検知可能なマーカーセンサ(例えば磁気センサ)を備える。頭部位置検出部42は、マーカーセンサから出力された信号に基づいて、ユーザの頭部に装着されたマーカーバンド74のマーカー位置を検出し、マーカー位置を基準として、ユーザの頭部の位置およびHMD12の装着位置を検出する。
頭部位置検出部42のクリアランス検出部44は、撮像部138による撮像画像に基づいて、ユーザの頭部周りのクリアランスを検出する。図8の例では、クリアランス検出部44は、座席72とユーザの頭部との間隔(距離)をクリアランス75として検出する。変形例として、クリアランス検出部44は、ユーザの頭部周りのクリアランスとして、座席72の前の座席とユーザの頭部との間隔を検出してもよい。また、クリアランス検出部44は、ユーザの頭部周りのクリアランスとして、ユーザの頭部と、ユーザの隣に座る人の頭部との間隔を検出してもよい。
HMD12の装着支援部46は、頭部位置検出部42により検出されたユーザの頭部の位置およびHMD12の装着位置に基づいて、ユーザの頭部にHMD12を自動で装着させる。第1実施例では、装着支援部46は、クリアランス検出部44により検出されたユーザの頭部周りのクリアランスが所定の閾値以上である場合に、ユーザの頭部にHMD12を自動で装着させる。この閾値は、ユーザの頭部にHMD12を安全に、かつ、VRコンテンツの視聴に適した態様で装着するために確保されるべきクリアランスの値である。この閾値は、開発者の知見やVRコンテンツ表示システム10を用いた実験等に基づいて適切な値が設定されてもよい。
装着支援部46は、HMD12を基準としたユーザの頭部の相対的な位置に基づいて、HMD12の位置を変更するよう指示する信号を収納装置14へ送信する。上記信号は、例えば、サポート部26のケーブルを伸ばすよう指示する信号であってもよい。収納装置14の収納制御部30は、HMD12から送信された上記信号に基づいて、HMD12の位置を変更する。図8の例では、収納制御部30は、サポート部26のケーブルを伸ばすことにより、HMD12を下方に移動させてもよい。また、装着支援部46は、ユーザの頭部のマーカーに基づいて検出された装着位置にHMD12を装着させるように、装着機構部22aおよび装着機構部22bを変形させることにより、HMD12をユーザの頭部の適正位置に固定する。
HMD12のアイトラッキングセンサ136は、HMD12が収納装置14から取り出されたことを契機に、言い換えれば、収納ステージから着脱ステージへの移行を契機に、ユーザの瞳の位置の検出処理を開始する。アイトラッキング部48は、位置判定部として機能し、HMD12が収納装置14から取り出されたことを契機に、HMD12を装着したユーザの瞳の位置が所定の適正位置にあるか否かの判定を開始する。アイトラッキング部48は、着脱ステージの間、上記判定が肯定的な結果になるまで、上記判定を繰り返し実行する。
ユーザの瞳の位置が所定の適正位置にあるとは、HMD12のレンズに対するユーザの瞳の相対位置が所定の適正範囲内にあることでもよい。また、ユーザの瞳の位置が所定の適正位置にあるとは、以下の(1)、(2)の両方を満たすことでもよい。
(1)ユーザの左の瞳が左レンズ140に正対する位置にあり、または、ユーザの左の瞳の中心と左レンズ140の中心とのずれの幅が所定の閾値内であること。
(2)ユーザの右の瞳が右レンズ142に正対する位置にあり、または、ユーザの右の瞳の中心と右レンズ142の中心とのずれの幅が所定の閾値内であること。
上記の適正位置および閾値は、開発者の知見やVRコンテンツ表示システム10を用いた実験等により適切な条件および値が設定されてよい。
(1)ユーザの左の瞳が左レンズ140に正対する位置にあり、または、ユーザの左の瞳の中心と左レンズ140の中心とのずれの幅が所定の閾値内であること。
(2)ユーザの右の瞳が右レンズ142に正対する位置にあり、または、ユーザの右の瞳の中心と右レンズ142の中心とのずれの幅が所定の閾値内であること。
上記の適正位置および閾値は、開発者の知見やVRコンテンツ表示システム10を用いた実験等により適切な条件および値が設定されてよい。
着脱ステージの間、言い換えれば、アイトラッキング部48によりユーザの瞳の位置が所定の適正位置にあると判定されるまでの間、光学補正部50は、ユーザの瞳の位置が所定の適正位置になるためのHMD12装着時の光学補正を継続して実行する。HMD12装着時の光学補正は、光学位置補正とも言え、例えば、視点位置調整、瞳間調整、視度調整を含む。視度調整は、ユーザの視力に合わせてHMDのレンズの度数を調整する処理である。光学補正部50は、HMD12装着時の光学補正時に、ユーザとの対話形式によって、左レンズ140と右レンズ142のそれぞれの位置(前後方向、上下方向、左右方向の位置であり、またレンズ間距離を含む)を調整してもよい。
アイトラッキング部48によりユーザの瞳の位置が所定の適正範囲にあると判定された場合、VRコンテンツ表示システム10は、着脱ステージ(視聴移行ステージ)から視聴ステージに移行する。HMD12の表示制御部58は、着脱ステージから視聴ステージへの移行を契機に、言い換えれば、アイトラッキング部48によりユーザの瞳の位置が所定の適正範囲にあると判定されたことを契機に、HMD12におけるVRコンテンツの表示を開始させる。表示制御部58は、収納装置14の描画部32により生成されたVRコンテンツのデータと、HMD12の描画部54により生成されたVRコンテンツのデータの少なくとも一方をHMD12の表示部124(左右の表示パネル)に表示させる。VRコンテンツは、例えば、ユーザから所定距離に大きな仮想スクリーン76を配置し、仮想スクリーン76に様々なVRオブジェクトを映すものであってもよい。
具体的には、HMD12の画像取得部56は、着脱ステージから視聴ステージへの移行を契機に、収納装置14に対してVRコンテンツのデータの生成を開始するよう指示する信号を送信する。収納装置14の描画部32は、HMD12から上記信号を受信したことを契機に、VRコンテンツのデータの生成を開始する。描画部32は、入力装置16から入力されたデータ、外部装置(サーバ等)から送信されたデータ、記憶部234に記憶されたデータ(VRコンテンツに関するプログラムやパラメータ等)のうち少なくとも1つに基づいて、VRコンテンツのデータを生成する。
収納装置14の描画部32により生成されるVRコンテンツのデータは、様々なVRオブジェクトを含む補正前のVR画像を含んでもよい。また、VR空間におけるユーザの視点から遠景となるVR画像を含んでもよい。収納装置14の画像提供部34は、描画部32により生成されたVRコンテンツのデータをHMD12へ送信する。HMD12の画像取得部56は、収納装置14から送信されたVRコンテンツのデータを取得する。
HMD12の描画部54は、着脱ステージから視聴ステージへの移行を契機に、VRコンテンツのデータの生成を開始する。描画部54は、収納装置14から送信されたVRコンテンツのデータ、入力装置16から入力されたデータ、記憶部133に記憶されたデータ(VRコンテンツに関するプログラムやパラメータ等)、アイトラッキング部48により検出されたユーザの視点および視線方向のうち少なくとも1つに基づいて、VRコンテンツのデータを生成する。
描画部54は、モーションセンサ134により検知されたHMD12の動きに応じて、公知のリプロジェクション処理(非同期タイムワープ処理とも呼ばれる)を実行してもよい。この場合、描画部54は、収納装置14から送信された基本のVR画像をユーザの視線方向の変化に応じて加工することにより、VRコンテンツのデータとして表示用のVR画像を生成してもよい。
また、描画部54は、VR空間におけるユーザの視点から近景となるVR画像を生成してもよい。この場合、描画部54は、VRコンテンツのデータとしての表示用のVR画像として、収納装置14から送信されたVR画像(遠景の画像)と、描画部54で生成したVR画像(近景の画像)とを合成した合成画像を生成してもよい。いずれの場合も、HMD12の表示制御部58は、描画部54により生成された表示用のVR画像を表示部124に表示させてもよい。
HMD12の描画補正部52は、着脱ステージから視聴ステージへの移行を契機に、VRコンテンツ表示時の視線依存描画補正を実行する。視線依存描画補正は、ユーザの視線方向に依存した描画位置補正を含み、また、中心窩精密補正(例えば色収差に関する補正やレンズ歪みに関する補正)を含む。なお、視線依存描画補正については、以下の文献1~3に記載の技術を適用してもよい。
文献1:国際公開第2020/170454号
文献2:国際公開第2020/170455号
文献3:国際公開第2020/170456号
描画部54は、描画補正部52により補正された描画位置にVRオブジェクトを描画するように表示用のVR画像を生成してもよい。
文献1:国際公開第2020/170454号
文献2:国際公開第2020/170455号
文献3:国際公開第2020/170456号
描画部54は、描画補正部52により補正された描画位置にVRオブジェクトを描画するように表示用のVR画像を生成してもよい。
第1実施例のVRコンテンツ表示システム10によると、HMD12を収納装置14に格納可能であることにより、VRコンテンツ未視聴時にHMD12が邪魔になってしまうことを回避できる。また、第1実施例のVRコンテンツ表示システム10では、収納装置14からのHMD12の取り出しを契機としてユーザの瞳の位置が適正位置であるか否かの判定を開始して、その判定が肯定的な結果となったことを契機にVRコンテンツの表示を開始する。これにより、ユーザの頭部にHMD12が装着されてからHMD12にVRコンテンツが表示されるまでの時間を低減でき、ユーザに対してVRコンテンツを迅速に提供できる。
また、第1実施例のVRコンテンツ表示システム10によると、ユーザの頭部にHMD12を自動で装着することにより、VRコンテンツを視聴するためのユーザの作業量を低減できる。また、ユーザの頭部周りに十分なクリアランスがあることを条件としてHMD12を自動装着させることにより、HMD12自動装着の失敗を抑制でき、また、その安全性を高めることができる。
図9は、第1実施例のVRコンテンツ表示システム10において、HMD12におけるVRコンテンツの表示が終了して、HMD12が収納装置14に収納されるまでの動作を模式的に示す。VRコンテンツ表示システム10は、HMD12が収納装置14に収納されるまでに、視聴ステージ、着脱ステージ(収納移行ステージ)、収納ステージの順に遷移する。
VRコンテンツ表示システム10は、視聴ステージにおいて所定の取り外し条件が満たされた場合、視聴ステージから着脱ステージ(収納移行ステージ)に移行する。具体的には、HMD12の取り外し支援部60は、VRコンテンツの表示中に、予め定められた複数の取り外し条件のうちいずれかが満たされた場合、ユーザの頭部からHMD12を自動で取り外す。
例えば、取り外し支援部60は、装着機構部22aおよび装着機構部22bを変形させることにより、HMD12がユーザの頭部に固定された状態を解除する。また、取り外し支援部60は、HMD12の位置を変更するよう指示する信号であり、例えば、サポート部26のケーブルを巻き取るよう指示する信号を収納装置14へ送信する。収納装置14の収納制御部30は、HMD12から送信された上記信号に基づいて、サポート部26のケーブルを予め定められた第1の量巻き取ることにより、図9の着脱ステージに示すように、HMD12がユーザの上方に吊り下げられた状態(以下、「待機状態」とも呼ぶ。)に移行させる。
複数の取り外し条件は、以下の(1)~(4)を含む。
(1)VRコンテンツに対して所定のユーザ操作(例えば視聴終了を指示する操作等)が入力されたこと。
(2)モーションセンサ134により検知されたユーザの頭部の位置および/または角度(言い換えれば、HMD12の位置および/または角度)が予め定められた適正範囲を逸脱したこと。適正範囲は、VRコンテンツの視聴に適した位置・角度の範囲であり、ユーザを取り巻く環境の制約(例えばユーザの隣の人の邪魔にならない位置・角度の範囲)に応じて適切な値が定められてよい。
(1)VRコンテンツに対して所定のユーザ操作(例えば視聴終了を指示する操作等)が入力されたこと。
(2)モーションセンサ134により検知されたユーザの頭部の位置および/または角度(言い換えれば、HMD12の位置および/または角度)が予め定められた適正範囲を逸脱したこと。適正範囲は、VRコンテンツの視聴に適した位置・角度の範囲であり、ユーザを取り巻く環境の制約(例えばユーザの隣の人の邪魔にならない位置・角度の範囲)に応じて適切な値が定められてよい。
(3)所定の音声コマンド(例えば「視聴終了」等の音声)がHMD12に直接入力され、または、入力装置16を介して入力されたこと。
(4)HMD12または入力装置16に対して所定のユーザ操作(例えば視聴終了を指示するタッチ操作等)が入力されたこと。
(4)HMD12または入力装置16に対して所定のユーザ操作(例えば視聴終了を指示するタッチ操作等)が入力されたこと。
取り外し支援部60は、HMD12が待機状態になった場合、ユーザから収納指示操作が入力されるまで待機する。収納指示操作の入力を待つ期間は、ユーザから再装着指示操作が入力されうる期間である。ユーザから再装着指示操作が入力されたことが入力装置16から通知された場合、HMD12の装着支援部46は、既述の自動装着シークエンスを再度実行する。
ユーザから収納指示操作が入力されたことが入力装置16から通知された場合、取り外し支援部60は、収納装置14の収納制御部30と連携して、待機状態のHMD12を収納装置14に収納する。例えば、取り外し支援部60は、サポート部26のケーブルを巻き取るよう指示する信号を収納装置14へ送信してもよい。収納装置14の収納制御部30は、HMD12から送信された上記信号に基づいて、サポート部26のケーブルを予め定められた第2の量巻き取ることにより、HMD12を収納装置14に収納された状態に移行させてもよい。
なお、HMD12の撮像部138は、ユーザの頭部側に限らず、HMD12の周囲の空間を撮像してもよい。取り外し支援部60は、待機状態のHMD12に近接する物体(ユーザの頭部以外の物体)を検出した場合、ユーザの収納指示操作が未入力であっても、収納装置14の収納制御部30と連携して、待機状態のHMD12を収納装置14に自動で収納してもよい。これにより、HMD12が他の物体に衝突したり、また、邪魔になってしまうことを回避しやすくなる。
第1実施例のVRコンテンツ表示システム10では、VRコンテンツの視聴終了時にHMD12を収納装置14へ自動的に収納する。これにより、VRコンテンツの視聴終了時のユーザの作業を低減でき、VRコンテンツ表示システム10の利便性を高めることができる。
変形例を説明する。第1実施例のVRコンテンツ表示システム10では、収納ステージから視聴ステージまで自動で移行した。変形例として、収納ステージから視聴ステージまで半自動(言い換えれば一部手動)で移行する構成であってもよい。変形例の収納装置14は、第1実施例の収納装置14と同様の機能ブロックを備える。変形例のHMD12は、第1実施例のHMD12とは異なり装着支援部46を備えないが、他の機能ブロックは第1実施例のHMD12と同様に備える。本変形例では、ユーザが手動でHMD12を装着するからである。
図10は、変形例のVRコンテンツ表示システム10において、収納装置14からHMD12が取り出され、HMD12にVRコンテンツが表示されるまでの動作を模式的に示す。VRコンテンツを視聴しようとするユーザは、VRコンテンツの視聴リクエストを入力装置16に入力する。第1実施例と同様に、ユーザの視聴リクエストを受け付けたことを契機として、VRコンテンツ表示システム10は、収納ステージから着脱ステージ(視聴移行ステージ)へ移行する。収納装置14の収納制御部30は、入力装置16から送信された視聴リクエストに応じて、HMD12を収納装置14からリリースする。
第1実施例とは異なり、変形例の着脱ステージにおいて、ユーザは、HMD12を把持して自身の頭部にHMD12を手動で装着する。このとき、収納装置14のサポート部26は、ケーブルのテンションを一定に保つことによりユーザにかかる負荷を低減する。
一方で、第1実施例と同様に、HMD12のアイトラッキング部48は、着脱ステージへの移行を契機にアイトラッキング処理と、ユーザの瞳の位置が所定の適正位置にあるか否かの判定処理を開始する。また、第1実施例と同様に、HMD12の表示制御部58は、アイトラッキング部48によりユーザの瞳の位置が所定の適正範囲にあると判定されたことを契機に、HMD12におけるVRコンテンツの表示を開始させる。
本変形例のVRコンテンツ表示システム10によると、第1実施例のVRコンテンツ表示システム10と同様に、ユーザの頭部にHMD12が装着されてからHMD12にVRコンテンツが表示されるまでの時間を低減でき、ユーザに対してVRコンテンツを迅速に提供できる。なお、本変形例のVRコンテンツ表示システム10においても、視聴ステージから収納ステージまでの移行態様は、第1実施例のVRコンテンツ表示システム10と同様である。すなわち、本変形例のVRコンテンツ表示システム10においても、ユーザの頭部からHMD12を自動で取り外し、また、そのHMD12を収納装置14に自動で収納する。
別の変形例を説明する。上記実施例では言及していないが、HMD12の装着支援部46は、クリアランス検出部44により検出されたユーザの頭部周りのクリアランスが所定の閾値未満の場合、ユーザの頭部へのHMD12の自動装着シークエンスを停止してもよい。この場合、装着支援部46は、頭部周りのクリアランスを拡げるよう促す内容をユーザに通知してもよい。例えば、装着支援部46は、頭部周りのクリアランスを拡げるよう促す内容の画像を所定の表示装置(例えば入力装置16のディスプレイ)に表示させてもよく、同内容の音声をHMD12のスピーカ24から出力させてもよい。
<第2実施例>
第2実施例について、第1実施例と相違する点を中心に説明し、共通する点の説明を省略する。第2実施例の特徴は、第1実施例および変形例の特徴と任意の組合せが可能であることはもちろんである。
第2実施例について、第1実施例と相違する点を中心に説明し、共通する点の説明を省略する。第2実施例の特徴は、第1実施例および変形例の特徴と任意の組合せが可能であることはもちろんである。
図11は、第2実施例の視聴支援装置80の構成を示す。視聴支援装置80は、第1実施例のVRコンテンツ表示システム10に対応する装置である。視聴支援装置80は、HMD12、収納装置14、アシスト部82を備える。視聴支援装置80のHMD12の構成は、第1実施例のHMD12の構成と同様であり、視聴支援装置80の収納装置14の構成は、第1実施例の収納装置14の構成と同様である。
アシスト部82は、ユーザが座る座席84と座席保持部86を含む。座席保持部86は、座席84を視聴支援装置80の筐体上に保持し、視聴支援装置80の筐体に沿った座席84の上下方向の動きをアシストする。例えば、視聴支援装置80は、ばねを含んでもよく、ばねの弾性力により座席84が上方向に動くための負荷を低減してもよい。
図12は、視聴支援装置80の利用例を示す。同図では、ユーザは、HMD12に表示されたVRコンテンツ88を見つつ、脚を曲げまたは伸ばす。HMD12のモーションセンサ134は、ユーザが脚を曲げまたは伸ばすことに伴い生じるHMD12の上下方向の移動を検出する。HMD12の描画部54は、視聴ステージにおいて、モーションセンサ134により検出された現実空間におけるユーザの上下方向の動きに応じて、仮想空間におけるユーザの視点を変化させる。描画部54は、変化させた後のユーザの視点に基づいて、VRコンテンツのデータを生成する。すなわち、描画部54は、現実空間におけるユーザの上下方向の動きに応じて、HMD12におけるVRコンテンツの表示態様を変化させる。
図13は、視聴支援装置80におけるアシスト部82の別の構成を示す。図13のアシスト部82は、座席84、フットレスト92、伸縮部94を含む。伸縮部94は、伸縮可能な部材であり、ばね等の弾性を有する部材により構成される。図13のアシスト部82では、ユーザの腰の高さは変化しないが、フットレスト92が上下方向に移動するよう構成されることで、ユーザは、VRコンテンツを視聴中に脚の曲げ伸ばしを行うことができる。
図13の例では、HMD12は、ユーザの上下方向の動きを検出するユーザ動作検出部をさらに備えてもよい。ユーザ動作検出部は、ユーザが脚を曲げて、伸縮部94の長さが相対的に短くなった場合、ユーザが下方向に動いたと判断してもよい。一方、ユーザ動作検出部は、ユーザが脚を伸ばして、伸縮部94の長さが相対的に長くなった場合、ユーザが上方向に動いたと判断してもよい。HMD12の描画部54は、ユーザ動作検出部により検出されたユーザの上下方向の動きに応じて、仮想空間におけるユーザの視点を変化させてもよい。
図12の例、図13の例のいずれにおいても、ユーザが下方向に動いたことが検出された場合、描画部54は、ユーザの視点が下がったことを認識して、相対的に下位置のユーザの視点から見たVRコンテンツ88を生成する。ユーザは、VRコンテンツ88の下部分を注視する場合、脚を曲げることによりVRコンテンツ88の下部分をHMD12に表示させることができる。
また、図12の例、図13の例のいずれにおいても、ユーザが上方向に動いたことが検出された場合、描画部54は、ユーザの視点が上がったことを認識して、相対的に上位置のユーザの視点から見たVRコンテンツ88を生成する。ユーザは、VRコンテンツ88の上部分を注視する場合、脚を曲げることによりVRコンテンツ88の上部分をHMD12に表示させることができる。
第2実施例の視聴支援装置80によると、ユーザの身体性を維持したVRコンテンツの視聴を実現でき、VRコンテンツ視聴の興趣を向上させることができる。言い換えれば、第2実施例の視聴支援装置80によると、可能な範囲で身体を上下方向に動かすことによってVR空間での己の視点を切り替えることができるという斬新な視聴体験をユーザに提供できる。
<第3実施例>
第3実施例について、第1実施例と相違する点を中心に説明し、共通する点の説明を省略する。第3実施例の特徴は、第1実施例、第2実施例、および変形例の特徴と任意の組合せが可能であることはもちろんである。
第3実施例について、第1実施例と相違する点を中心に説明し、共通する点の説明を省略する。第3実施例の特徴は、第1実施例、第2実施例、および変形例の特徴と任意の組合せが可能であることはもちろんである。
図14は、第3実施例のVRコンテンツ表示システム10の構成と利用例を示す。第3実施例のVRコンテンツ表示システム10は、HMD12と収納装置14を備え、また、HMD12と異なる表示装置として、ディスプレイモニタ100と空間再現ディスプレイ102を備える。ディスプレイモニタ100は、2Dコンテンツを表示する一般的なディスプレイである。空間再現ディスプレイ102は、見る人の視線を検知し、視線の角度に合わせて3Dコンテンツの表示をリアルタイムで制御することで、あたかもディスプレイ上の空間に物体(3Dオブジェクト104)が存在するかのような立体映像を再現する公知のディスプレイである。
HMD12は、コンテンツ取得部(不図示)をさらに備える。コンテンツ取得部は、通信部132を介して、ディスプレイモニタ100および空間再現ディスプレイ102に表示された電子コンテンツ(2Dコンテンツまたは3Dコンテンツ)のデータを取得する。コンテンツ取得部は、ディスプレイモニタ100および空間再現ディスプレイ102から、ディスプレイモニタ100および空間再現ディスプレイ102に表示された電子コンテンツのデータを取得してもよい。または、コンテンツ取得部は、ディスプレイモニタ100および空間再現ディスプレイ102と接続されたサーバから、ディスプレイモニタ100および空間再現ディスプレイ102に表示された電子コンテンツのデータを取得してもよい。
HMD12の表示制御部58は、コンテンツ取得部により取得された電子コンテンツに対応するVRコンテンツをHMD12の表示部124に表示させる。具体的には、HMD12の描画部54は、コンテンツ取得部により取得された電子コンテンツを仮想空間のオブジェクトとして含むVRコンテンツのデータを生成してもよい。また、描画部54は、図14の視聴ステージで示すように、ディスプレイモニタ100に対応する仮想ディスプレイモニタ108、空間再現ディスプレイ102に対応する仮想空間再現ディスプレイ110、3Dオブジェクト104に対応する3Dオブジェクト112を含むVRコンテンツ106のデータを生成してもよい。表示制御部58は、描画部54により生成されたVRコンテンツをHMD12の表示部124に表示させてもよい。
第3実施例のVRコンテンツ表示システム10では、ユーザがVR移行を指示する所定の操作を入力装置16等に入力した場合に、第1実施例と同様のHMD12の自動装着シークエンスが実行されてもよい。そして、視聴ステージにおいて、上記のコンテンツ取得部、描画部54、表示制御部58の処理が実行されてもよい。
第3実施例のVRコンテンツ表示システム10によると、ディスプレイモニタ100または空間再現ディスプレイ102に表示された対象物や情報を、HMD12に表示させることができ、言い換えれば、VR空間のオブジェクトとして表示させることができる。ユーザは、HMD12が提供する制約が少ないVR空間にて、広い視野角と高い解像度で、ディスプレイモニタ100または空間再現ディスプレイ102に表示された対象物や情報を確認でき、ユーザの作業の効率化を支援できる。
変形例として、収納装置14が、コンテンツ取得部を備える構成であってもよい。この場合、収納装置14の描画部32が、コンテンツ取得部により取得された、ディスプレイモニタ100および空間再現ディスプレイ102に表示された電子コンテンツを仮想空間のオブジェクトとして含むVRコンテンツのデータを生成してもよい。HMD12の表示制御部58は、収納装置14の描画部32により生成されたVRコンテンツをHMD12の表示部124に表示させてもよい。
以上、本発明を第1実施例~第3実施例をもとに説明した。これらの実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
上述の実施例において収納装置14が備えた機能の一部をHMD12が備えてもよい。逆に、上述の実施例においてHMD12が備えた機能の一部を収納装置14が備えてもよい。
上述した実施例および変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。
上述した実施例および変形例に記載の技術は、以下の各項目に記載の態様によって特定されてもよい。
[項目1]
ユーザの瞳の位置を検出する第1検出部を備えるヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイを収納可能な収納部と、
前記ヘッドマウントディスプレイが前記収納部から取り出されたことを契機に、前記第1検出部により検出された、前記ヘッドマウントディスプレイを装着した前記ユーザの瞳の位置が所定の適正位置にあるか否かの判定を開始する位置判定部と、
前記ヘッドマウントディスプレイを装着した前記ユーザの瞳の位置が前記適正位置にあると判定されたことを契機に、前記ヘッドマウントディスプレイにおける仮想現実コンテンツの表示を開始させる表示制御部と、
を備える仮想現実コンテンツ表示システム。
このシステムによると、HMDを収納部に格納可能であることにより、VRコンテンツ未視聴時にHMDが邪魔になってしまうことを回避できる。また、収納部から取り出したヘッドマウントディスプレイを装着したユーザに対してVRコンテンツを迅速に提示でき、VRコンテンツ視聴までのユーザの待ち時間を低減できる。
[項目2]
前記ユーザの頭部の位置を検出する第2検出部と、
前記第2検出部により検出された前記ユーザの頭部の位置に基づいて、前記ユーザの頭部に前記ヘッドマウントディスプレイを自動で装着させる装着支援部と、をさらに備える、 項目1に記載の仮想現実コンテンツ表示システム。
このシステムによると、VRコンテンツを視聴するためのユーザの作業量を低減できる。
[項目3]
前記第2検出部は、前記ユーザの頭部周りのクリアランスをさらに検出し、
前記装着支援部は、前記ユーザの頭部周りのクリアランスが所定の閾値以上である場合に、前記ユーザの頭部に前記ヘッドマウントディスプレイを自動で装着させる、
項目2に記載の仮想現実コンテンツ表示システム。
このシステムによると、ユーザの頭部周りに十分なクリアランスがあることを条件としてHMDを自動装着させることにより、HMD自動装着の失敗を抑制でき、また、その安全性を高めることができる。
[項目4]
前記ユーザの頭部の位置を検出する第2検出部と、
前記仮想現実コンテンツの表示中に前記ユーザの頭部の位置が所定の適正範囲を逸脱した場合、前記ユーザの頭部から前記ヘッドマウントディスプレイを自動で取り外す取り外し支援部と、をさらに備える、
項目1から3のいずれかに記載の仮想現実コンテンツ表示システム。
このシステムによると、VRコンテンツの視聴終了時のユーザの作業を低減できる。
[項目5]
仮想空間における前記ユーザの視点に基づいて、前記仮想現実コンテンツのデータを生成する描画部と、
現実空間における前記ユーザの上下方向の動きをアシストするアシスト部と、をさらに備え、
前記描画部は、前記現実空間における前記ユーザの上下方向の動きに応じて、前記仮想空間における前記ユーザの視点を変化させる、
項目1から4のいずれかに記載の仮想現実コンテンツ表示システム。
このシステムによると、ユーザの身体性を維持したVRコンテンツの視聴を実現でき、VRコンテンツ視聴の興趣を向上させることができる。
[項目6]
前記ヘッドマウントディスプレイとは異なる表示装置に表示された電子コンテンツのデータを取得する取得部をさらに備え、
前記表示制御部は、前記電子コンテンツに対応する仮想現実コンテンツを前記ヘッドマウントディスプレイに表示させる、
項目1から5のいずれかに記載の仮想現実コンテンツ表示システム。
このシステムによると、上記異なる表示装置とHMDとの連携により、ユーザの作業をVRコンテンツを用いて効果的に支援でき、また、HMDの使用用途を拡張できる。
[項目7]
ユーザの瞳の位置を検出する第1検出部を備えるヘッドマウントディスプレイが収納部から取り出されたことを契機に、前記第1検出部により検出された、前記ヘッドマウントディスプレイを装着した前記ユーザの瞳の位置が所定の適正位置にあるか否かの判定を開始するステップと、
前記ヘッドマウントディスプレイを装着した前記ユーザの瞳の位置が前記適正位置にあると判定されたことを契機に、前記ヘッドマウントディスプレイにおける仮想現実コンテンツの表示を開始させるステップと、
をコンピュータが実行する仮想現実コンテンツ表示方法。
この方法によると、HMDを収納部に格納可能であることにより、VRコンテンツ未視聴時にHMDが邪魔になってしまうことを回避できる。また、収納部から取り出したヘッドマウントディスプレイを装着したユーザに対してVRコンテンツを迅速に提示でき、VRコンテンツ視聴までのユーザの待ち時間を低減できる。
[項目1]
ユーザの瞳の位置を検出する第1検出部を備えるヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイを収納可能な収納部と、
前記ヘッドマウントディスプレイが前記収納部から取り出されたことを契機に、前記第1検出部により検出された、前記ヘッドマウントディスプレイを装着した前記ユーザの瞳の位置が所定の適正位置にあるか否かの判定を開始する位置判定部と、
前記ヘッドマウントディスプレイを装着した前記ユーザの瞳の位置が前記適正位置にあると判定されたことを契機に、前記ヘッドマウントディスプレイにおける仮想現実コンテンツの表示を開始させる表示制御部と、
を備える仮想現実コンテンツ表示システム。
このシステムによると、HMDを収納部に格納可能であることにより、VRコンテンツ未視聴時にHMDが邪魔になってしまうことを回避できる。また、収納部から取り出したヘッドマウントディスプレイを装着したユーザに対してVRコンテンツを迅速に提示でき、VRコンテンツ視聴までのユーザの待ち時間を低減できる。
[項目2]
前記ユーザの頭部の位置を検出する第2検出部と、
前記第2検出部により検出された前記ユーザの頭部の位置に基づいて、前記ユーザの頭部に前記ヘッドマウントディスプレイを自動で装着させる装着支援部と、をさらに備える、 項目1に記載の仮想現実コンテンツ表示システム。
このシステムによると、VRコンテンツを視聴するためのユーザの作業量を低減できる。
[項目3]
前記第2検出部は、前記ユーザの頭部周りのクリアランスをさらに検出し、
前記装着支援部は、前記ユーザの頭部周りのクリアランスが所定の閾値以上である場合に、前記ユーザの頭部に前記ヘッドマウントディスプレイを自動で装着させる、
項目2に記載の仮想現実コンテンツ表示システム。
このシステムによると、ユーザの頭部周りに十分なクリアランスがあることを条件としてHMDを自動装着させることにより、HMD自動装着の失敗を抑制でき、また、その安全性を高めることができる。
[項目4]
前記ユーザの頭部の位置を検出する第2検出部と、
前記仮想現実コンテンツの表示中に前記ユーザの頭部の位置が所定の適正範囲を逸脱した場合、前記ユーザの頭部から前記ヘッドマウントディスプレイを自動で取り外す取り外し支援部と、をさらに備える、
項目1から3のいずれかに記載の仮想現実コンテンツ表示システム。
このシステムによると、VRコンテンツの視聴終了時のユーザの作業を低減できる。
[項目5]
仮想空間における前記ユーザの視点に基づいて、前記仮想現実コンテンツのデータを生成する描画部と、
現実空間における前記ユーザの上下方向の動きをアシストするアシスト部と、をさらに備え、
前記描画部は、前記現実空間における前記ユーザの上下方向の動きに応じて、前記仮想空間における前記ユーザの視点を変化させる、
項目1から4のいずれかに記載の仮想現実コンテンツ表示システム。
このシステムによると、ユーザの身体性を維持したVRコンテンツの視聴を実現でき、VRコンテンツ視聴の興趣を向上させることができる。
[項目6]
前記ヘッドマウントディスプレイとは異なる表示装置に表示された電子コンテンツのデータを取得する取得部をさらに備え、
前記表示制御部は、前記電子コンテンツに対応する仮想現実コンテンツを前記ヘッドマウントディスプレイに表示させる、
項目1から5のいずれかに記載の仮想現実コンテンツ表示システム。
このシステムによると、上記異なる表示装置とHMDとの連携により、ユーザの作業をVRコンテンツを用いて効果的に支援でき、また、HMDの使用用途を拡張できる。
[項目7]
ユーザの瞳の位置を検出する第1検出部を備えるヘッドマウントディスプレイが収納部から取り出されたことを契機に、前記第1検出部により検出された、前記ヘッドマウントディスプレイを装着した前記ユーザの瞳の位置が所定の適正位置にあるか否かの判定を開始するステップと、
前記ヘッドマウントディスプレイを装着した前記ユーザの瞳の位置が前記適正位置にあると判定されたことを契機に、前記ヘッドマウントディスプレイにおける仮想現実コンテンツの表示を開始させるステップと、
をコンピュータが実行する仮想現実コンテンツ表示方法。
この方法によると、HMDを収納部に格納可能であることにより、VRコンテンツ未視聴時にHMDが邪魔になってしまうことを回避できる。また、収納部から取り出したヘッドマウントディスプレイを装着したユーザに対してVRコンテンツを迅速に提示でき、VRコンテンツ視聴までのユーザの待ち時間を低減できる。
本発明は、仮想現実コンテンツを表示するシステムや装置に適用することができる。
10 VRコンテンツ表示システム、 12 HMD、 14 収納装置、 32 描画部、 42 頭部位置検出部、 44 クリアランス検出部、 46 装着支援部、 48 アイトラッキング部、 54 描画部、 58 表示制御部、 60 取り外し支援部、 82 アシスト部。
Claims (7)
- ユーザの瞳の位置を検出する第1検出部を備えるヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイを収納可能な収納部と、
前記ヘッドマウントディスプレイが前記収納部から取り出されたことを契機に、前記第1検出部により検出された、前記ヘッドマウントディスプレイを装着した前記ユーザの瞳の位置が所定の適正位置にあるか否かの判定を開始する位置判定部と、
前記ヘッドマウントディスプレイを装着した前記ユーザの瞳の位置が前記適正位置にあると判定されたことを契機に、前記ヘッドマウントディスプレイにおける仮想現実コンテンツの表示を開始させる表示制御部と、
を備える仮想現実コンテンツ表示システム。 - 前記ユーザの頭部の位置を検出する第2検出部と、
前記第2検出部により検出された前記ユーザの頭部の位置に基づいて、前記ユーザの頭部に前記ヘッドマウントディスプレイを自動で装着させる装着支援部と、をさらに備える、 請求項1に記載の仮想現実コンテンツ表示システム。 - 前記第2検出部は、前記ユーザの頭部周りのクリアランスをさらに検出し、
前記装着支援部は、前記ユーザの頭部周りのクリアランスが所定の閾値以上である場合に、前記ユーザの頭部に前記ヘッドマウントディスプレイを自動で装着させる、
請求項2に記載の仮想現実コンテンツ表示システム。 - 前記ユーザの頭部の位置を検出する第2検出部と、
前記仮想現実コンテンツの表示中に前記ユーザの頭部の位置が所定の適正範囲を逸脱した場合、前記ユーザの頭部から前記ヘッドマウントディスプレイを自動で取り外す取り外し支援部と、をさらに備える、
請求項1に記載の仮想現実コンテンツ表示システム。 - 仮想空間における前記ユーザの視点に基づいて、前記仮想現実コンテンツのデータを生成する描画部と、
現実空間における前記ユーザの上下方向の動きをアシストするアシスト部と、をさらに備え、
前記描画部は、前記現実空間における前記ユーザの上下方向の動きに応じて、前記仮想空間における前記ユーザの視点を変化させる、
請求項1から4のいずれかに記載の仮想現実コンテンツ表示システム。 - 前記ヘッドマウントディスプレイとは異なる表示装置に表示された電子コンテンツのデータを取得する取得部をさらに備え、
前記表示制御部は、前記電子コンテンツに対応する仮想現実コンテンツを前記ヘッドマウントディスプレイに表示させる、
請求項1から4のいずれかに記載の仮想現実コンテンツ表示システム。 - ユーザの瞳の位置を検出する第1検出部を備えるヘッドマウントディスプレイが収納部から取り出されたことを契機に、前記第1検出部により検出された、前記ヘッドマウントディスプレイを装着した前記ユーザの瞳の位置が所定の適正位置にあるか否かの判定を開始するステップと、
前記ヘッドマウントディスプレイを装着した前記ユーザの瞳の位置が前記適正位置にあると判定されたことを契機に、前記ヘッドマウントディスプレイにおける仮想現実コンテンツの表示を開始させるステップと、
をコンピュータが実行する仮想現実コンテンツ表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/022808 WO2023238197A1 (ja) | 2022-06-06 | 2022-06-06 | 仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/022808 WO2023238197A1 (ja) | 2022-06-06 | 2022-06-06 | 仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023238197A1 true WO2023238197A1 (ja) | 2023-12-14 |
Family
ID=89118035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/022808 WO2023238197A1 (ja) | 2022-06-06 | 2022-06-06 | 仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023238197A1 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09304729A (ja) * | 1996-05-15 | 1997-11-28 | Sony Corp | 光学視覚装置 |
WO2015108225A1 (en) * | 2014-01-16 | 2015-07-23 | Lg Electronics Inc. | Head mounted dispay and method of controlling therefor |
JP2017058794A (ja) * | 2015-09-14 | 2017-03-23 | 株式会社コーエーテクモゲームス | 情報処理装置、表示制御方法、及び表示制御プログラム |
WO2017051564A1 (ja) * | 2015-09-25 | 2017-03-30 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
US20200134867A1 (en) * | 2018-10-29 | 2020-04-30 | Tobii Ab | Determination of position of a head-mounted device on a user |
CN112083789A (zh) * | 2020-09-01 | 2020-12-15 | Oppo广东移动通信有限公司 | 可穿戴设备的控制方法、装置、存储介质及可穿戴设备 |
JP2021511564A (ja) * | 2018-01-17 | 2021-05-06 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 |
JP2021516132A (ja) * | 2018-03-16 | 2021-07-01 | ファオエル コースター ゲーエムベーハー ウント コー.カーゲーVR Coaster GmbH & Co. KG | 娯楽用の乗り物においてヘッドマウントディスプレイを仮想世界と同期するためのベースステーションを備えた同期装置、この種の同期装置を備えた娯楽用の乗り物、およびこの種の娯楽用の乗り物を作動させる方法 |
-
2022
- 2022-06-06 WO PCT/JP2022/022808 patent/WO2023238197A1/ja unknown
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09304729A (ja) * | 1996-05-15 | 1997-11-28 | Sony Corp | 光学視覚装置 |
WO2015108225A1 (en) * | 2014-01-16 | 2015-07-23 | Lg Electronics Inc. | Head mounted dispay and method of controlling therefor |
JP2017058794A (ja) * | 2015-09-14 | 2017-03-23 | 株式会社コーエーテクモゲームス | 情報処理装置、表示制御方法、及び表示制御プログラム |
WO2017051564A1 (ja) * | 2015-09-25 | 2017-03-30 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
JP2021511564A (ja) * | 2018-01-17 | 2021-05-06 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 |
JP2021516132A (ja) * | 2018-03-16 | 2021-07-01 | ファオエル コースター ゲーエムベーハー ウント コー.カーゲーVR Coaster GmbH & Co. KG | 娯楽用の乗り物においてヘッドマウントディスプレイを仮想世界と同期するためのベースステーションを備えた同期装置、この種の同期装置を備えた娯楽用の乗り物、およびこの種の娯楽用の乗り物を作動させる方法 |
US20200134867A1 (en) * | 2018-10-29 | 2020-04-30 | Tobii Ab | Determination of position of a head-mounted device on a user |
CN112083789A (zh) * | 2020-09-01 | 2020-12-15 | Oppo广东移动通信有限公司 | 可穿戴设备的控制方法、装置、存储介质及可穿戴设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8752963B2 (en) | See-through display brightness control | |
US8487838B2 (en) | Gaze detection in a see-through, near-eye, mixed reality display | |
US9213163B2 (en) | Aligning inter-pupillary distance in a near-eye display system | |
US9213185B1 (en) | Display scaling based on movement of a head-mounted display | |
KR101912958B1 (ko) | 증강 현실 디스플레이를 위한 자동 가변 가상 초점 | |
US20150003819A1 (en) | Camera auto-focus based on eye gaze | |
KR20140059213A (ko) | 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이 | |
KR20160022924A (ko) | Hmd의 최적의 눈 맞춤을 위한 시스템 | |
EP3987355B1 (en) | Imaging device with field-of-view shift control | |
JP6201024B1 (ja) | ヘッドマウントデバイスを用いてコンテンツを提供するアプリケーションへの入力を支援するための方法、当該方法をコンピュータに実行させるためのプログラム、およびコンテンツ表示装置 | |
JP6276434B1 (ja) | 仮想空間における移動を支援するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
US20240085980A1 (en) | Eye tracking using alternate sampling | |
JP6212666B1 (ja) | 情報処理方法、プログラム、仮想空間配信システム及び装置 | |
US11743447B2 (en) | Gaze tracking apparatus and systems | |
US10380779B2 (en) | Wearable information processing device | |
JP2023554490A (ja) | 眼鏡に適応可能な視線追跡キット | |
WO2023238197A1 (ja) | 仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法 | |
CN112034980B (zh) | 一种家庭vr影院*** | |
CN113093502A (zh) | 一种穿戴跟踪型几何全息显示*** | |
JP6738308B2 (ja) | 情報処理方法、プログラム、仮想空間配信システム及び装置 | |
JP2016116066A (ja) | 表示装置、及び、表示装置の制御方法 | |
EP4206867A1 (en) | Peripheral tracking system and method | |
EP4120052A1 (en) | Head-mountable display systems and methods | |
WO2023157332A1 (ja) | 情報処理装置および調整画面表示方法 | |
US20240210678A1 (en) | Head-mounted display apparatus and operating method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22945707 Country of ref document: EP Kind code of ref document: A1 |