WO2019225354A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- WO2019225354A1 WO2019225354A1 PCT/JP2019/018720 JP2019018720W WO2019225354A1 WO 2019225354 A1 WO2019225354 A1 WO 2019225354A1 JP 2019018720 W JP2019018720 W JP 2019018720W WO 2019225354 A1 WO2019225354 A1 WO 2019225354A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display
- information processing
- user
- processing apparatus
- video
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
- G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
Definitions
- the present technology relates to an information processing apparatus, an information processing method, and a program for displaying an image of which the display range changes according to the orientation of the user's head, such as a spherical image.
- omnidirectional video is progressing in fields such as VR (virtual reality).
- the omnidirectional video is shot by a shooting device capable of shooting around 360 ° and is disclosed on a website or the like.
- These omnidirectional images may be images with no left-right parallax or stereo images with parallax that can be stereoscopically viewed.
- the user can view such a spherical image using a head-mounted display (hereinafter referred to as HMD) or a simple HMD using a smartphone.
- HMD head-mounted display
- a simple HMD using a smartphone.
- the rotation of the HMD is detected, and a part of the omnidirectional video is cut out and displayed on the display device according to the rotation (see, for example, Patent Document 1). ).
- the omnidirectional video can be seen.
- the user may feel uncomfortable with respect to the relationship between the user's sense of equilibrium in accordance with the user's movement in the real space and the change in the video.
- the present disclosure provides an information processing apparatus, an information processing method, and a program that can suppress a user's uncomfortable feeling with respect to a change in video according to a user's operation.
- An information processing apparatus includes a display control unit.
- the display control unit has motion parallax corresponding to the change in the position of the user's head in a display space in which the position of the viewpoint is controlled substantially independently of the change in the position of the user's head. Control the display device to display the object.
- an object having motion parallax corresponding to a change in the position of the user's head is displayed in the display space. For this reason, even when the position of the viewpoint of the display space does not substantially change with respect to the change of the position of the user's head, the user can suppress the discomfort with respect to the display space by visually recognizing the object having motion parallax. It is possible.
- the display control unit may change the object from a non-display state to a display state according to a change in the position of the user's head.
- the display control unit changes the state of the object from the display state to the non-display state when the position of the user's head is not substantially changed after the state of the object is changed to the display state. You may change to
- the display control unit detects a translational movement of the user's head position as a change in the user's head position, and changes the display space with respect to the rotational movement of the user's head.
- the display space may not be substantially changed with respect to the translational movement of the user's head.
- the display control unit may change the object from a non-display state to a display state according to a change in the display space.
- the display control unit may change the display space according to a change in the position of the viewpoint.
- the change in the viewpoint position may correspond to the shaking of the camera that acquires the display space.
- the object may be a user interface for operation.
- the display control unit may localize the object in the display space.
- the display control unit may fix the object within a predetermined distance from the viewpoint of the display space.
- the display space may be an image wider than the user's field of view.
- the display space may be a spherical image.
- the display device may be a head mounted display.
- the display control unit may generate the motion parallax based on an output of a six-degree-of-freedom sensor that detects rotation and movement of the head mounted display.
- the display control unit includes the user's head in a display space in which the position of the viewpoint is substantially independently controlled with respect to a change in the position of the user's head.
- the display device is controlled so as to display an object having motion parallax according to the change in position.
- a program according to an embodiment of the present technology is responsive to a change in the position of the user's head in a display space in which the position of the viewpoint is controlled substantially independently of the change in the position of the user's head.
- the information processing apparatus is caused to function as a display control unit that controls the display apparatus to display an object having motion parallax.
- the present technology it is possible to provide an information processing apparatus, an information processing method, and a program that can suppress a user's uncomfortable feeling with respect to a change in display space according to a user's operation.
- the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
- FIG. 1 is a schematic diagram of a video display system according to an embodiment of the present technology. It is a block diagram which shows the functional structure of the video display system. It is an example of the visual field image
- the video display system includes a display device and an information processing device.
- the information processing apparatus controls the position of the viewpoint in the display space (virtual space) substantially independently of the change in the position of the user's head.
- the information processing apparatus controls a display device (HMD (Head-Mounted-Display)) that displays an object having motion parallax according to a change in the position of the user's head.
- HMD Head-Mounted-Display
- the video display system of the present disclosure may include various display devices configured to cover substantially the entire visual field of the user instead of the HMD.
- the video display system may include a head mounted projector (Head Mounted Projector) that projects a virtual space in real space instead of the HMD.
- the video display system may include a projector that is provided separately from the information processing apparatus and that projects a video of the virtual space in accordance with a user operation.
- the position of the viewpoint of the omnidirectional video does not change, so the display video is not changed.
- VR sickness is likely to occur because no visual feedback occurs in the movement of the user.
- the video display system (information processing apparatus) according to the present disclosure solves the problem relating to the mismatch between the change in the display space and the sense of balance of the user.
- the video display system includes an HMD
- FIG. 1 is a schematic diagram illustrating a configuration of a video display system 100 according to the present embodiment
- FIG. 2 is a block diagram illustrating a functional configuration of the video display system 100.
- the video display system 100 includes an HMD 110 and an information processing device 120.
- the HMD 110 is a display worn on the user's head and includes a display device 111 and a sensor 112.
- the HMD 110 may be a general HMD, or a simple HMD configured from a smartphone and a device for mounting the smartphone on the user's head.
- the display device 111 is a display device such as a liquid crystal display or an organic EL display.
- the display device 111 may include separate display screens for the right eye and the left eye of the user, or may include only one display screen.
- Sensor 112 detects the movement of HMD 110.
- the sensor 112 can use a six-degree-of-freedom (6DoF) sensor that can detect three-axis rotation of yaw, roll, and pitch, and movement in three directions, front and rear, left and right, and up and down.
- 6DoF six-degree-of-freedom
- the sensor 112 may be an IMU (inertial measurement unit) or various combinations such as a gyro sensor and an acceleration sensor. It should be noted that the function of detecting the acceleration of the sensor 112 can be replaced by various sensors such as a camera mounted on the HMD 110 or an external sensor provided separately from the HMD 110.
- the information processing apparatus 120 is an information processing apparatus such as a smartphone, a tablet computer, or a personal computer, and is connected to the HMD 110 by wired communication or wireless communication.
- the information processing apparatus 120 includes a video decoder 121, a visual field video generation unit 122, a translation detection unit 123, a video shake detection unit 124, an object generation unit 125, and a video synthesis unit 126.
- the video decoder 121 acquires omnidirectional video data (hereinafter referred to as video data) and decodes it.
- the omnidirectional video is a 360-degree omnidirectional video with a certain point as the center, and is a video obtained by synthesizing a video taken using a omnidirectional camera or videos taken by a plurality of cameras.
- the video decoder 121 may acquire video data by reading video data stored in the information processing apparatus 120, or may acquire video data via a network.
- the video decoder 121 When the video decoder 121 acquires the video data, the video decoder 121 decodes the video data and generates a spherical image. The video decoder 121 supplies the generated omnidirectional video to the in-field video generation unit 122 and the video shake detection unit 124.
- the in-view image generation unit 122 generates an in-view image, which is an image displayed on the display device 111, from the omnidirectional image supplied from the image decoder 121.
- FIG. 3 shows an in-view image G1, which is an example of an in-view image.
- the in-view image generation unit 122 can generate the in-view image by acquiring sensor information from the sensor 112 and extracting a part of the omnidirectional image according to the orientation of the HMD 110.
- the in-field image generation unit 122 moves the range of the omnidirectional image that becomes the in-field image according to the rotation.
- the omnidirectional image realized by the in-view image forms a display space in which the viewpoint position is controlled substantially independently of the change in the position of the user's head.
- the translation detection unit 123 acquires sensor information from the sensor 112 and detects the translation of the HMD 110.
- the translation of the HMD 110 is the movement of the HMD 110 without rotation. Specifically, the sensor 112 does not detect the rotation of the three axes of yaw, roll and pitch, and detects the movement in the three directions of front and rear, left and right and up and down. This is the case.
- the translation of the HMD 110 may be regarded as corresponding to the translational movement of the user's head. Further, the rotation of the HMD 110 may be regarded as corresponding to the rotational movement of the user's head.
- the translation detection unit 123 holds a predetermined threshold for the movement, and can determine that the HMD 110 is translating when the movement threshold exceeds a predetermined value.
- the predetermined threshold value for the movement may be set so that the unconscious movement of the head of the user is not detected as a translational movement and the explicit peeping action of the user is detected.
- the translation detection unit 123 supplies the determination result to the object generation unit 125.
- the translation detection unit 123 may hold a predetermined threshold for the rotation and determine the translation of the HMD 110 only when the rotation threshold is less than the predetermined value. Supply.
- the video shake detection unit 124 acquires the omnidirectional video from the video decoder 121 and detects the shake of the omnidirectional video.
- the shaking of the omnidirectional video is caused by the shaking of the camera at the time of shooting the omnidirectional video.
- the image shake detection unit 124 can detect the shake of the omnidirectional image by image processing on the omnidirectional image.
- the image shake detection unit 124 can detect the shake of the omnidirectional image using, for example, an optical flow.
- the optical flow means a displacement vector of an object between adjacent frames caused by the movement of the object or the camera.
- the image shake detection unit 124 can detect the image of the omnidirectional image using the IMU sensor log included in the omnidirectional image.
- the IMU sensor log is a log of the IMU sensor provided in the photographing camera at the time of photographing the omnidirectional video, and the shake of the photographing camera, that is, the omnidirectional video can be detected from the IMU sensor log.
- the image shake detection unit 124 can determine that the omnidirectional image is oscillated when the omnidirectional image detected based on the image processing or the IMU sensor log exceeds a threshold value.
- the video shake detection unit 124 supplies the determination result to the object generation unit 125.
- the object generation unit 125 generates a virtual object displayed on the display device 111.
- FIG. 4 is a schematic diagram illustrating the object P generated by the object generation unit 125.
- the object generation unit 125 generates the object P as an object having motion parallax according to the change in the position of the user's head in the display space, and localizes the object P in the display space.
- the object generation unit 125 supplies the generated object P to the video composition unit 126.
- the object P is substantially fixed at a predetermined position based on the viewpoint of the display space, and the object P does not move with the user.
- the object P may be fixed within a predetermined distance from the viewpoint (center) of the display space when viewed from the user.
- the object generation unit 125 may generate the object P on condition that the translation of the HMD 110 is detected by the translation detection unit 123 so as not to prevent the user from viewing the video.
- the object generation unit 125 may generate the object P on the condition that the image shake detection unit 124 detects the shake of the omnidirectional image. Note that the object generation unit 125 may switch between the display state and the non-display state of the object P according to a manual operation on a mobile controller separate from the HMD 110 instead of the translation detection unit 123 or the image shake detection unit 124. good.
- the video composition unit 126 synthesizes the visual field video G1 supplied from the visual field video generation unit 122 and the object P supplied from the object generation unit 125 to generate a display video.
- FIG. 5 is an example of the display video G2 generated by the video composition unit 126. As shown in the figure, the video composition unit 126 superimposes the visual field video G1 and the object P to generate a display video G2. The video composition unit 126 supplies the composited display video G2 to the display device 111 for display.
- the video display system 100 has the above configuration.
- the in-view image generation unit 122, the translation detection unit 123, the image shake detection unit 124, the object generation unit 125, and the image composition unit 126 make the display device 111 display the display image including the object P on the display device 111.
- Control It may be considered that at least one of the in-view image generation unit 122, the translation detection unit 123, the image shake detection unit 124, the object generation unit 125, and the image composition unit 126 functions as the display control unit of the present disclosure.
- the display control unit of the present disclosure may be considered to include at least the in-field video generation unit 122, the object generation unit 125, and the video synthesis unit 126.
- the display control unit may be regarded as including at least one of the translation detection unit 123 and the image shake detection unit 124.
- the display control unit may include at least a processor (at least one of the CPU 1001 or the GPU 1002) described later.
- the video display system 100 may include only one of the translation detection unit 123 and the video shake detection unit 124.
- the video decoder 121, the in-field video generation unit 122, the translation detection unit 123, the video shake detection unit 124, the object generation unit 125, and the video synthesis unit 126 have a functional configuration realized by cooperation of hardware and a program described later. is there.
- FIG. 6 is a flowchart showing the operation of the video display system 100.
- the video decoder 121 acquires the video data of the omnidirectional video and decodes it (St101).
- the in-view image generation unit 122 acquires sensor information from the sensor 112 (St102), and generates an in-view image from the omnidirectional image based on the sensor information.
- the translation detection unit 123 detects the translation of the HMD 110 (St103: Yes), or the video shake detection unit 124 detects the omnidirectional video shake (St104: Yes), the object generation unit 125 detects the object. P is generated (St105).
- the object generation unit 125 does not generate the object P (106).
- the video composition unit 126 When the object P has been generated, the video composition unit 126 synthesizes the object P and the visual field video to generate a display video (St107). If the object P has not been generated, the video composition unit 126 sets the video in the field of view as the display video (St107). The video composition unit 126 outputs the generated display video to the display device 111 and causes the display device 111 to display the display video.
- a display video that does not include the object P is generated, and when the translation of the HMD 110 is detected, the object is displayed.
- a display image including P is generated.
- the video display system 100 changes the object P from the non-display state to the display state according to the change in the position of the user's head.
- the object generation unit 125 may generate an object P that is not completely visible, or may generate an object P that is less visible than the display state.
- the visibility of the object P can be adjusted by the transparency of the object P, for example.
- a display video including the object P is generated even when a shake of the omnidirectional video is detected.
- the video display system 100 changes the object P from the non-display state to the display state according to the change in the display space corresponding to the change in the viewpoint position.
- the object generation unit 125 may generate an object P that is not completely visible in the non-display state, or may generate an object P that is less visible than the display state.
- the video in the field of view does not change, and visual feedback does not occur in the movement of the user depending on the video in the field of view.
- the object P localized in the display space as described above is displayed in the display video.
- FIG. 7 is a schematic diagram showing a virtual positional relationship between the user U wearing the HMD 110 and the object P.
- FIG. 8 is an example of the display video G2 displayed on the HMD 110.
- FIG. 7A when the user U starts translation, a display image G2 shown in FIG. 8A is displayed on the display device 111. Even when the user U moves to the position shown in FIG. 7B, the in-view image G1 does not change as shown in FIG. 8B.
- the user U can recognize his movement by the approach of the object P, that is, Since visual feedback by the object P can be obtained, VR sickness can be prevented.
- the omnidirectional video image is shaken due to camera shake or the like during the shooting of the omnidirectional video image
- the image in the field of view that is a part of the omnidirectional video image is also shaken.
- the user U may have the illusion that he is shaking by the in-view image.
- FIG. 9 is an example of the display image G2 when the omnidirectional image is shaken. As shown in the figure, even if the in-view image G1 is shaken, the object P is not shaken, and the user can recognize that he / she is not shaken, so that VR sickness can be prevented. Is possible.
- the object P may be a virtual object having motion parallax according to the change in the position of the user's head in the display space.
- the object P may be an object for suppressing VR sickness or an operation object. Types can be used.
- FIG. 10 is a schematic diagram showing an example of an object P for suppressing VR sickness.
- the object P can be a particulate object arranged with the user U as the center.
- the particle-like object P preferably has a size and density that do not hinder the user U's field of view.
- the object P can be an iron lattice object arranged in front of the user. Thereby, it can be set as the expression where the user U is appreciating the celestial sphere image from the cage.
- the object P may be a handrail object arranged around the user U.
- the omnidirectional video image is shaken, it can be strongly perceived that the user U is not moving.
- an object P for suppressing VR sickness can be selected appropriately depending on the content of the omnidirectional video and the type of application that presents the omnidirectional video.
- the visibility of the object P can also be adjusted by the transparency according to the content content and the type of application.
- FIG. 11 is a schematic diagram illustrating an example of the operation object P.
- the object P may be an object that functions as an operation UI (user interface) such as a virtual keyboard or a virtual control panel.
- operation UI user interface
- the type and visibility of the object P for operation can be adjusted according to the content content and the type of application.
- the object generation unit 125 may simultaneously generate both an object for suppressing VR sickness and an operation object as the object P.
- the object generation unit 125 generates the object P when the translation detection unit 123 detects the translation of the HMD 110 or when the image shake detection unit 124 detects the omnidirectional video shake.
- FIG. 12 is a graph showing how the object P is displayed by the object generator 125.
- the object generation unit 125 sets the object P to the display state using this detection as a trigger. At this time, the object generating unit 125 can gradually increase the visibility of the object P and make an expression that fades in the display image.
- the object generation unit 125 changes the object P from the display state to the non-display state when the position of the user's head does not substantially change for a certain period of time after the object P is in the display state and no shaking is detected in the celestial sphere image. Can be changed.
- the object generation unit 125 can gradually reduce the visibility of the object P and make it fade out from the display video.
- the object generation unit 125 does not necessarily have to generate the object P using the translation of the HMD 110 or the shaking of the omnidirectional video as a trigger.
- the object generation unit 125 may generate the object P using a user U gesture or an operation input to the information processing apparatus 120 as a trigger.
- the object generation unit 125 redisplays the object P when the trigger occurs again after the object P is in the non-display state.
- the object P when the object P is an object for suppressing VR sickness, it may be displayed again at a previously displayed position, or may be displayed again based on the current position of the user U.
- the object generation unit 125 re-displays the current user U based on the current position so that the user U can easily operate.
- the operation object is inappropriate when displayed at a fixed position with respect to the user U during the display period. This is because if the user U continues to be displayed at a fixed position, visual feedback for the translation of the user U is lost.
- FIG. 13 is a schematic diagram showing a state in which an object P and an operation object Q for suppressing VR sickness are arranged. As shown in FIGS. 13A and 13B, unlike the object P, the operation object Q is not localized in the display space, and the positional relationship with respect to the HMD 110 is fixed in the display space.
- the object generation unit 125 can always generate the object P while the in-view image is displayed, for example, when the visibility of the object P is small.
- FIG. 14 and FIG. 15 are schematic diagrams showing a preferred arrangement of the objects P.
- the object generation unit 125 is preferably arranged so that the object P avoids the front of the user U as shown in FIG.
- the object generation unit 125 arrange the object P avoiding the place where the in-video object T exists as shown in FIG.
- FIG. 16 is a schematic diagram illustrating a hardware configuration of the information processing apparatus 120.
- the information processing apparatus 120 includes a CPU 1001, a GPU 1002, a memory 1003, a storage 1004, and an input / output unit (I / O) 1005 as hardware configurations. These are connected to each other by a bus 1006.
- a CPU (Central Processing Unit) 1001 controls other configurations in accordance with a program stored in the memory 1003, performs data processing in accordance with the program, and stores a processing result in the memory 1003.
- the CPU 1001 can be a microprocessor.
- a GPU (Graphic Processing Unit) 1002 executes image processing under the control of the CPU 1001.
- the GPU 1002 can be a microprocessor.
- the memory 1003 stores programs and data executed by the CPU 1001.
- the memory 1003 can be a RAM (Random Access Memory).
- the storage 1004 stores programs and data.
- the storage 1004 can be an HDD (hard disk drive) or an SSD (solid state drive).
- the input / output unit 1005 receives an input to the information processing device 120 and supplies the output of the information processing device 120 to the outside.
- the input / output unit 1005 includes an input device such as a touch panel and a keyboard, an output device such as a display, and a connection interface such as a network.
- the hardware configuration of the information processing apparatus 120 is not limited to that shown here, and any hardware configuration that can realize the functional configuration of the information processing apparatus 120 is acceptable. A part or all of the hardware configuration may exist on the network.
- the video display system 100 is configured from the HMD 110 and the information processing apparatus 120 as described above, a part or all of the functional configuration of the information processing apparatus 120 may be included in the HMD 110.
- the HMD 110 is a simple HMD configured by a smartphone, and may include the functional configuration of the information processing apparatus 120.
- configurations other than the display device 111 may be mounted on the information processing device 120.
- the configuration other than the display device 111 may be realized by a server connected to the HMD 110 or the information processing device 120 via a network.
- the sensor 112 is not limited to the one mounted on the HMD 110, and may be a sensor that is arranged around the HMD 110 and can detect the position and orientation of the HMD 110.
- the display target video of the video display system 100 has been described as a omnidirectional video, the display target video is not limited to the omnidirectional video, and is a video having a wider range than at least the user's field of view. Any video may be used as long as the display range changes according to the orientation of the video.
- this technique can also take the following structures.
- An information processing apparatus comprising a display control unit for controlling the apparatus.
- the display control unit is configured to change the object from a non-display state to a display state according to a change in the position of the user's head.
- the display control unit changes the state of the object from the display state to the non-display state when the position of the user's head is not substantially changed after the state of the object is changed to the display state. Change to information processing device.
- the display control unit As a change in the position of the user's head, the translational movement of the position of the user's head is detected, The information processing apparatus, wherein the display space is changed with respect to the rotational movement of the user's head while the display space is not substantially changed with respect to the translational movement of the user's head.
- the information processing apparatus corresponds to the shaking of the camera that acquires the display space.
- the information processing apparatus according to any one of (1) to (11) above,
- the display space is an omnidirectional video image processing apparatus.
- the display device is a head-mounted display.
- the display control unit generates the motion parallax based on an output of a six-degree-of-freedom sensor that detects rotation and movement of the head mounted display.
- An object having motion parallax corresponding to a change in the position of the user's head in a display space in which the display control unit is substantially independently controlled with respect to the change in the position of the user's head An information processing method for controlling a display device to display a message.
- Video display system 110 ... HMD DESCRIPTION OF SYMBOLS 111 ... Display apparatus 112 ... Sensor 120 ... Information processing apparatus 121 ... Image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】ユーザの動作に応じた映像の変化に対するユーザの違和感を抑制することが可能な情報処理装置、情報処理方法及びプログラムを提供すること。 【解決手段】本技術に係る情報処理装置は、表示制御部を具備する。上記表示制御部は、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する。
Description
本技術は、全天球映像等の、ユーザの頭部の向きに応じて表示範囲が変化する映像の表示を行う情報処理装置、情報処理方法及びプログラムに関する。
近年、VR(virtual reality)等の分野で全天球映像の利用が進んでいる。全天球映像は、周囲360°の撮影が可能な撮影装置によって撮影され、ウェブサイト等で公開されている。これらの全天球映像は左右視差のない映像であったり、立体視が可能な視差付きのステレオ映像であったりする。
ユーザは、ヘッドマウントディスプレイ(以下、HMD)やスマートフォンによる簡易型のHMDを用いてこのような全天球映像を視聴することができる。ユーザが実空間上で頭部の向きを変化させると、HMDの回転が検出され、その回転に応じて全天球映像の一部が切り出され、表示装置において表示される(例えば特許文献1参照)。これにより、ユーザが周囲を見渡すように頭部を動かすと、全天球映像を見渡すことができる。
しかしながら、引用文献1に記載のような表示方法では、実空間におけるユーザの動作に応じたユーザの平衡感覚と映像の変化との関係性に対し、ユーザが違和感を覚える場合がある。
そこで、本開示では、ユーザの動作に応じた映像の変化に対するユーザの違和感を抑制することが可能な情報処理装置、情報処理方法及びプログラムを提供する。
本技術の一形態に係る情報処理装置は、表示制御部を具備する。
上記表示制御部は、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する。
上記表示制御部は、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する。
この構成によれば、ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトが表示空間に表示される。このため、ユーザの頭部の位置の変化に対し表示空間の視点の位置が実質的に変化しない場合であっても、ユーザは運動視差を有するオブジェクトを視認することによって表示空間に対する違和感を抑制することが可能である。
上記表示制御部は、上記ユーザの頭部の位置の変化に応じて上記オブジェクトを非表示状態から表示状態に変更してもよい。
上記表示制御部は、上記オブジェクトの状態が上記表示状態に変更された後、上記ユーザの頭部の位置が実質的に変化していない場合、上記オブジェクトの状態を上記表示状態から上記非表示状態に変更してもよい。
上記表示制御部は、上記ユーザの頭部の位置の変化として、上記ユーザの頭部の位置の並進運動を検出し、上記表示空間を上記ユーザの頭部の回転運動に対して変化させる一方で、上記表示空間を上記ユーザの頭部の並進運動に対しては実質的に変化させなくてもよい。
上記表示制御部は、上記表示空間の変化に応じて上記オブジェクトを非表示状態から表示状態に変更してもよい。
上記表示制御部は、上記視点の位置の変化に応じて上記表示空間を変化させてもよい。
上記視点の位置の変化は、上記表示空間を取得するカメラの揺れに対応してもよい。
上記オブジェクトは操作用ユーザインターフェースであってもよい。
上記表示制御部は、上記オブジェクトを上記表示空間に定位してもよい。
上記表示制御部は、上記オブジェクトを上記表示空間の視点から所定の距離以内に固定してもよい。
上記表示空間は、上記ユーザの視野よりも広い映像であってもよい。
上記表示空間は全天球映像であってもよい。
上記表示装置はヘッドマウントディスプレイであってもよい。
上記表示制御部は、上記ヘッドマウントディスプレイの回転及び移動を検出する6自由度センサの出力に基づいて上記運動視差を生成してもよい。
本技術の一形態に係る情報処理方法は、表示制御部が、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する。
本技術の一形態に係るプログラムは、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する表示制御部として情報処理装置を機能させる。
以上のように、本技術によれば、ユーザの動作に応じた表示空間の変化に対するユーザの違和感を抑制することが可能な情報処理装置、情報処理方法及びプログラムを提供することが可能である。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
はじめに、本発明の実施形態に係る映像表示システムの概要について説明する。映像表示システムは、表示装置と情報処理装置を含む。後述の通り、情報処理装置は、表示空間(仮想空間)の視点の位置を、ユーザの頭部の位置の変化に対して実質的に独立して制御する。また、情報処理装置は、ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示する表示装置(HMD(Head Mounted Display))を制御する。なお、本開示の映像表示システムは、HMDに代えて、ユーザの視野を実質的に全てカバーするように構成された種々の表示装置を含み得る。"ユーザの視野を実質的に全てカバーする"とは、ユーザの視野よりも広い視野角を有する映像を提供すること、と見做されても良い。例えば、映像表示システムは、HMDに代えて、実空間に仮想空間を投影するヘッドマウントプロジェクタ(Head Mounted Projector)を含んでも良い。あるいは、映像表示システムは、情報処理装置とは別体に設けられ、ユーザの動作に応じて仮想空間の映像を投影するプロジェクタを含んでも良い。
次に、本開示における情報処理装置が解決する課題の一例を説明する。
一般的なHMDによる映像視聴では、実空間におけるユーザの動作(動作状態)に応じたユーザの平衡感覚と映像(例えば、全天球映像)の変化との関係性に対し、ユーザが違和感を覚える場合がある。このユーザの違和感は、実空間におけるユーザの平衡感覚と映像の変化の不一致による自律神経の失調状態(VR酔い)と見做され得る。
例えば、全天球映像の視聴においては、ユーザが頭部の向きを変えずに移動(並進)したとしても、全天球映像の視点の位置は変化しないため、表示映像は変更されない、この結果、ユーザの移動に視覚的なフィードバックが生じないためにVR酔いが生じやすい。
あるいは、全天球映像の撮影時における撮影機器の揺れ等によって表示映像に揺れが生じている場合、ユーザは自身が揺れていると錯覚し、映像の変化と平衡感覚に不一致が生じてVR酔いが生じやすい。
以上のような事情に鑑み、本開示における映像表示システム(情報処理装置)は、表示空間の変化とユーザの平衡感覚の不一致に関する課題を解決する。以下、映像表示システムが、HMDを含む場合について具体的に説明する。
[映像表示システムの構成]
図1は本実施形態に係る映像表示システム100の構成を示す模式図であり、図2は映像表示システム100の機能的構成を示すブロック図である。
図1は本実施形態に係る映像表示システム100の構成を示す模式図であり、図2は映像表示システム100の機能的構成を示すブロック図である。
これらの図に示すように、映像表示システム100は、HMD110と情報処理装置120から構成されている。
HMD110は、ユーザの頭部に装着されるディスプレイであり、表示装置111及びセンサ112を備える。HMD110は、一般的なHMDであってもよく、スマートフォンと、スマートフォンをユーザの頭部に装着するための装具から構成された簡易型のHMDであってもよい。
表示装置111は、液晶ディスプレイ又は有機ELディスプレイ等の表示装置である。表示装置111は、ユーザの右眼用と左眼用にそれぞれ別の表示画面を備えるものであってもよく、一つの表示画面のみを備えるものであってもよい。
センサ112は、HMD110の動きを検出する。センサ112は、ヨー、ロール及びピッチの3軸の回転と、前後、左右及び上下の3方向の移動を検出可能な6自由度センサ(6DoF:six degrees of freedom)を利用することができる。以下、センサ112による検出結果をセンサ情報とする。なお、センサ112は、IMU(inertial measurement unit:慣性計測装置)であってもよく、ジャイロセンサや加速度センサといった種々の組み合わせであっても良い。センサ112の加速度を検出する機能は、HMD110に搭載されたカメラ、あるいはHMD110とは別に設けられた外部センサといった種々のセンサによって代替され得ることに留意されたい。
情報処理装置120は、スマートフォン、タブレット型コンピュータ又はパーソナルコンピュータ等の情報処理装置であり、有線通信又は無線通信によってHMD110に接続されている。情報処理装置120は、映像デコーダ121、視野内映像生成部122、並進検出部123、映像揺れ検出部124、オブジェクト生成部125及び映像合成部126を備える。
映像デコーダ121は、全天球映像のデータ(以下、映像データ)を取得し、デコードを行う。全天球映像は、ある一点を中心とする360°の全方位の映像であり、全天球カメラを利用して撮像された映像や複数のカメラで撮影された映像を合成した映像である。
映像デコーダ121は、情報処理装置120に保存されている映像データを読出すことによって映像データを取得してもよく、ネットワークを介して映像データを取得してもよい。
映像デコーダ121は、映像データを取得すると、映像データを復号し、全天球映像を生成する。映像デコーダ121は、生成した全天球映像を視野内映像生成部122及び映像揺れ検出部124に供給する。
視野内映像生成部122は、映像デコーダ121から供給された全天球映像から、表示装置111に表示される映像である視野内映像を生成する。図3は、視野内映像の例である視野内映像G1を示す。
視野内映像生成部122は、センサ112からセンサ情報を取得し、HMD110の向き応じて全天球映像の一部を抽出することによって視野内映像を生成することができる。視野内映像生成部122は、センサ112によってヨー、ロール及びピッチの3軸の回転が検出されると、その回転に応じて全天球映像のうち視野内映像となる範囲を移動させる。
これにより、ユーザが頭部を動かすと、HMD110の動きに追随して全天球映像のうち視野内映像となる範囲が移動し、ユーザは周囲を見渡すかのように全天球映像を視聴することができる。即ち、視野内映像によって実現される全天球映像により、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間が形成される。
並進検出部123は、センサ112からセンサ情報を取得し、HMD110の並進を検出する。HMD110の並進とは、回転を伴わないHMD110の移動であり、具体的にはセンサ112によってヨー、ロール及びピッチの3軸の回転が検出されず、前後、左右及び上下の3方向の移動が検出された場合である。なお、HMD110の並進は、ユーザの頭部の並進運動に対応すると見做されてもよい。また、HMD110の回転は、ユーザの頭部の回転運動に対応すると見做されてもよい。
並進検出部123は、上記移動について所定の閾値を保持し、移動の閾値が所定値を超える場合にHMD110が並進していると判定することができる。上記移動についての所定の閾値は、無意識的なユーザの頭部の揺動は並進運動として検出されず、かつ、ユーザの明示的な覗き込み動作は検出されるように設定されると良い。並進検出部123は、判定結果をオブジェクト生成部125に供給する。なお、並進検出部123は、上記回転について所定の閾値を保持し、回転の閾値が所定値未満である場合にのみHMD110の並進を判定してもよい。
供給する。
供給する。
映像揺れ検出部124は、映像デコーダ121から全天球映像を取得し、全天球映像の揺れを検出する。全天球映像の揺れは、全天球映像の撮影時におけるカメラの揺れ等によるものである。
映像揺れ検出部124は、全天球映像に対する画像処理によって全天球映像の揺れを検出することができる。映像揺れ検出部124は、例えば、オプティカルフローを用いて全天球映像の揺れを検出することができる。オプティカルフローは物体やカメラの移動によって生じる隣接フレーム間の物体の変位ベクトルを意味する。
また、映像揺れ検出部124は、全天球映像に含まれるIMUセンサログを用いて全天球映像の映像を検出することもできる。IMUセンサログは全天球映像の撮影時に撮影カメラに設けられたIMUセンサのログであり、IMUセンサログから撮影カメラの揺れ、即ち全天球映像の揺れを検出することができる。
映像揺れ検出部124は、上記画像処理又はIMUセンサログ等に基づいて検出した全天球映像の揺れが閾値を超える場合に、全天球映像に揺れが生じていると判定することができる。映像揺れ検出部124は判定結果をオブジェクト生成部125に供給する。
オブジェクト生成部125は、表示装置111に表示される仮想的なオブジェクトを生成する。図4は、オブジェクト生成部125が生成するオブジェクトPを示す模式図である。
オブジェクト生成部125は、オブジェクトPを表示空間においてユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトとして生成し、オブジェクトPを表示空間に定位させる。オブジェクト生成部125は、生成したオブジェクトPを映像合成部126に供給する。これにより、HMD110を装着したユーザが実空間で並進移動しても、オブジェクトPは、表示空間の視点を基準とした所定の位置に実質的に固定され、オブジェクトPはユーザと共に移動しない。例えば、オブジェクトPは、ユーザから見て表示空間の視点(中心)から所定の距離以内に固定されてもよい。
オブジェクト生成部125は、ユーザが映像を視聴することを妨げないように、並進検出部123によってHMD110の並進が検出されたことを条件にオブジェクトPを生成してもよい。また、オブジェクト生成部125は映像揺れ検出部124によって全天球映像の揺れが検出されたことを条件にオブジェクトPを生成してもよい。なお、オブジェクト生成部125は、並進検出部123または映像揺れ検出部124に代えて、HMD110とは別体のモバイルコントローラに対するマニュアル操作に応じてオブジェクトPの表示状態と非表示状態を切り変えても良い。
映像合成部126は、視野内映像生成部122から供給された視野内映像G1と、オブジェクト生成部125から供給されたオブジェクトPを合成し、表示映像を生成する。
図5は、映像合成部126が生成する表示映像G2の例である。同図に示すように、映像合成部126は、視野内映像G1とオブジェクトPを重畳させ、表示映像G2を生成する。映像合成部126は、合成した表示映像G2を表示装置111に供給し、表示させる。
映像表示システム100は以上のような構成を有する。なお、視野内映像生成部122、並進検出部123、映像揺れ検出部124、オブジェクト生成部125及び映像合成部126は、オブジェクトPを含む表示映像を表示装置111に表示するように表示装置111を制御する。視野内映像生成部122、並進検出部123、映像揺れ検出部124、オブジェクト生成部125及び映像合成部126のうち少なくとも1つが、本開示の表示制御部として機能すると見做されても良い。より具体的には、本開示の表示制御部は、視野内映像生成部122、オブジェクト生成部125、映像合成部126を少なくとも含むものと見做されても良い。好ましくは、表示制御部は、並進検出部123と映像揺れ検出部124のうち少なくとも一方を含むものと見做されても良い。なお、表示制御部は、後述するプロセッサ(CPU1001またはGPU1002の少なくとも一方)を少なくとも含み得る。
また、映像表示システム100は、並進検出部123と映像揺れ検出部124のいずれか一方のみを有してもよい。
映像デコーダ121、視野内映像生成部122、並進検出部123、映像揺れ検出部124、オブジェクト生成部125及び映像合成部126は、後述するハードウェアとプログラムの協働によって実現される機能的構成である。
[映像表示システムの動作]
図6は、映像表示システム100の動作を示すフローチャートである。
図6は、映像表示システム100の動作を示すフローチャートである。
同図に示すように、映像デコーダ121が全天球映像の映像データを取得し、デコードする(St101)。
視野内映像生成部122は、センサ112からセンサ情報を取得し(St102)、センサ情報に基づいて全天球映像から視野内映像を生成する。
続いて、並進検出部123によってHMD110の並進が検出され(St103:Yes)、又は映像揺れ検出部124によって全天球映像の揺れが検出される(St104:Yes)と、オブジェクト生成部125がオブジェクトPを生成する(St105)。
また、HMD110の並進及び全天球映像の揺れが検出されない場合(St103:No、St104:No)、オブジェクト生成部125はオブジェクトPを生成しない(106)。
映像合成部126は、オブジェクトPが生成されている場合、オブジェクトPと視野内映像を合成し、表示映像を生成する(St107)。また、映像合成部126は、オブジェクトPが生成されていない場合、視野内映像を表示映像とする(St107)。映像合成部126は生成した表示映像を表示装置111に出力し、表示装置111に表示させる。
このように、映像表示システム100では、HMD110の並進及び全天球映像の揺れが検出されていない場合には、オブジェクトPを含まない表示映像が生成され、HMD110の並進が検出された場合にオブジェクトPを含む表示映像が生成される。
即ち、映像表示システム100はユーザの頭部の位置の変化に応じてオブジェクトPを非表示状態から表示状態に変更する。なお、非表示状態においてオブジェクト生成部125は、完全に視認性がないオブジェクトPを生成してもよく、表示状態に比べて視認性が小さいオブジェクトPを生成してもよい。オブジェクトPの視認性は例えばオブジェクトPの透過性によって調整することができる。
また、映像表示システム100では、全天球映像の揺れが検出された場合にもオブジェクトPを含む表示映像が生成される。
即ち、映像表示システム100は視点の位置の変化に対応する表示空間の変化に応じてオブジェクトPを非表示状態から表示状態に変更する。この場合も、非表示状態においてオブジェクト生成部125は、完全に視認性がないオブジェクトPを生成してもよく、表示状態に比べて視認性が小さいオブジェクトPを生成してもよい。
[映像表示システムの効果]
映像表示システム100について説明する。HMD110を装着したユーザが並進、即ちHMD110を回転させずに移動した場合、センサ112によってHMD110の回転が検出されないため、視野内映像生成部122は全天球映像において視野内映像となる範囲を移動させない。
映像表示システム100について説明する。HMD110を装着したユーザが並進、即ちHMD110を回転させずに移動した場合、センサ112によってHMD110の回転が検出されないため、視野内映像生成部122は全天球映像において視野内映像となる範囲を移動させない。
このため、ユーザが移動しているにも係わらず、視野内映像は変化せず、視野内映像によってはユーザの移動に視覚的なフィードバックが生じない。ここで、映像表示システム100では、上記のように表示空間に定位されたオブジェクトPが表示映像において表示されている。
図7は、HMD110を装着したユーザUとオブジェクトPの仮想的な位置関係を示す模式図である。図8は、HMD110に表示される表示映像G2の例である。
図7(a)に示すように、ユーザUが並進を開始した場合、表示装置111には、図8(a)に示す表示映像G2が表示されている。ユーザUが図7(b)の位置に移動しても、図8(b)に示すように、視野内映像G1は変化しない。
一方、図7(b)に示すように、オブジェクトPの実空間における位置は変化しないため、図8(b)に示すようにオブジェクトPはユーザUの並進に伴ってユーザUに接近するように表示される。
ユーザUは自己の移動をオブジェクトPの接近によって認識することができ、即ち、
オブジェクトPによる視覚的なフィードバックを得ることができるため、VR酔いを防止することが可能である。
オブジェクトPによる視覚的なフィードバックを得ることができるため、VR酔いを防止することが可能である。
また、全天球映像の撮影時のカメラの揺れ等によって全天球映像に揺れが生じている場合、全天球映像の一部である視野内映像にも揺れが生じる。このため、ユーザUは視野内映像によって自身が揺れていると錯覚するおそれがある。
ここで映像表示システム100では、視野内映像とは別に生成されたオブジェクトPが視野内映像と共にユーザUに提示される。図9は、全天球映像に揺れが生じている場合の表示映像G2の例である。同図に示すように、視野内映像G1に揺れが生じていても、オブジェクトPに揺れは生じず、ユーザは自身が揺れていないことを認識することができるため、VR酔いを防止することが可能である。
[オブジェクトの種類ついて]
上述のようにオブジェクトPは、表示空間においてユーザの頭部の位置の変化に応じた運動視差を有する仮想的なオブジェクトであればよいが、VR酔い抑制のためのオブジェクトと、操作用オブジェクトの2種類を利用することができる。
上述のようにオブジェクトPは、表示空間においてユーザの頭部の位置の変化に応じた運動視差を有する仮想的なオブジェクトであればよいが、VR酔い抑制のためのオブジェクトと、操作用オブジェクトの2種類を利用することができる。
図10は、VR酔い抑制のためのオブジェクトPの例を示す模式図である。図10(a)に示すように、オブジェクトPはユーザUを中心として配置される粒子状オブジェクトとすることができる。粒子状のオブジェクトPは、ユーザUの視界を妨げない大きさ、密度のものが好適である。
また、図10(b)に示すようにオブジェクトPはユーザの前方に配置される鉄格子状オブジェクトとすることもできる。これにより、ユーザUが檻の中から全天球映像を鑑賞しているような表現とすることができる。
さらに、図10(c)に示すようにオブジェクトPはユーザUを中心として配置される手すり状オブジェクトとすることもできる。これにより、全天球映像に揺れが生じている場合に、ユーザU自身が動いていないことを強く知覚させることができる。
この他にもVR酔い抑制のためのオブジェクトPは、全天球映像のコンテンツ内容や全天球映像を提示するアプリケーションの種類に応じて適切なものを選択することができる。オブジェクトPの視認性も、コンテンツ内容やアプリケーションの種類に応じて、透過度によって調整することができる。
図11は、操作用のオブジェクトPの例を示す模式図である。同図に示すように、オブジェクトPは、仮想的キーボードや仮想的コントロールパネル等のような操作用UI(ユーザインターフェース)として機能するオブジェクトとすることもできる。
操作用のオブジェクトPの種類や視認性も、コンテンツ内容やアプリケーションの種類に応じて調整することが可能である。
また、オブジェクト生成部125は、VR酔い抑制のためのオブジェクトと操作用オブジェクトの両方をオブジェクトPとして同時に生成してもよい。
[オブジェクトの表示方法について]
上述のようにオブジェクト生成部125は、並進検出部123によってHMD110の並進が検出された場合、又は映像揺れ検出部124によって全天球映像の揺れが検出された場合にオブジェクトPを生成する。
上述のようにオブジェクト生成部125は、並進検出部123によってHMD110の並進が検出された場合、又は映像揺れ検出部124によって全天球映像の揺れが検出された場合にオブジェクトPを生成する。
図12は、オブジェクト生成部125によるオブジェクトPの表示態様を示すグラフである。同図に示すようにオブジェクト生成部125は、HMD110の並進又は全天球映像の揺れが検出されると、この検出をトリガとしてオブジェクトPを表示状態とする。この際、オブジェクト生成部125は、次第にオブジェクトPの視認性を上昇させ、表示映像に対してフェードインさせるような表現とすることができる。
オブジェクト生成部125は、オブジェクトPを表示状態とした後、一定時間ユーザの頭部の位置が実質的に変化せず、かつ天球映像において揺れが検出されない場合、オブジェクトPを表示状態から非表示状態に変更することができる。
この際、オブジェクト生成部125は、オブジェクトPの視認性を次第に低下させ、表示映像からフェードアウトさせるような表現とすることができる。
なお、オブジェクト生成部125は、必ずしもHMD110の並進又は全天球映像の揺れをトリガとしてオブジェクトPを生成するものでなくてもよい。オブジェクト生成部125は、例えばオブジェクトPが操作用のオブジェクトである場合には、ユーザUのジェスチャや情報処理装置120に対する操作入力をトリガをとしてオブジェクトPを生成してもよい。
オブジェクト生成部125は、オブジェクトPが非表示状態となった後、再度トリガが生じた場合にはオブジェクトPを再表示させる。ここで、オブジェクトPがVR酔い抑制のためのオブジェクトである場合には、以前に表示した位置に再表示させてもよく、現在のユーザUの位置を基準として再表示させてもよい。
また、オブジェクト生成部125は、オブジェクトPが操作用オブジェクトである場合、ユーザUが操作しやすいように現在のユーザUの位置を基準として再表示させると好適である。なお、操作用オブジェクトは、表示期間中にユーザUに対して固定された位置に表示されると不適当である。ユーザUに対して固定された位置に表示し続けるとユーザUの並進に対する視覚的フィードバックがなくなるためである。
この場合、オブジェクト生成部125は、操作用オブジェクトに合わせて、VR酔い抑制のためのオブジェクトを生成すると好適である。図13は、VR酔い抑制のためのオブジェクトPと操作用オブジェクトQを配置した状態を示す模式図である。図13(a)及び(b)に示すように、操作用オブジェクトQはオブジェクトPとは異なって表示空間に定位されず、表示空間においてHMD110に対する位置関係が固定されている。
なお、オブジェクト生成部125は、オブジェクトPの視認性が小さい場合等には、視野内映像が表示されている間、常にオブジェクトPを生成することも可能である。
図14及び図15は、オブジェクトPの好適な配置を示す模式図である。オブジェクトPがユーザUの正面に配置されるとユーザUの視界が妨げられるため、オブジェクト生成部125は、図14に示すようにオブジェクトPはユーザUの正面を避けて配置すると好適である。
また、全天球映像が視差付全天球映像の場合、映像内物体とユーザUの距離を取得することができる。この場合、オブジェクト生成部125は、図15に示すように、映像内物体Tが存在する場所を避けてオブジェクトPを配置すると好適である。
[ハードウェア構成]
図16は、情報処理装置120のハードウェア構成を示す模式図である。同図に示すように情報処理装置120はハードウェア構成として、CPU1001、GPU1002、メモリ1003、ストレージ1004及び入出力部(I/O)1005を有する。これらはバス1006によって互いに接続されている。
図16は、情報処理装置120のハードウェア構成を示す模式図である。同図に示すように情報処理装置120はハードウェア構成として、CPU1001、GPU1002、メモリ1003、ストレージ1004及び入出力部(I/O)1005を有する。これらはバス1006によって互いに接続されている。
CPU(Central Processing Unit)1001は、メモリ1003に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ1003に格納する。CPU1001はマイクロプロセッサとすることができる。
GPU(Graphic Processing Unit)1002は、CPU1001による制御を受けて、画像処理を実行する。GPU1002はマイクロプロセッサとすることができる。
メモリ1003はCPU1001によって実行されるプログラム及びデータを格納する。メモリ1003はRAM(Random Access Memory)とすることができる。
ストレージ1004は、プログラムやデータを格納する。ストレージ1004はHDD(hard disk drive)又はSSD(solid state drive)とすることができる。
入出力部1005は情報処理装置120に対する入力を受け付け、また情報処理装置120の出力を外部に供給する。入出力部1005は、タッチパネルやキーボード等の入力機器やディスプレイ等の出力機器、ネットワーク等の接続インターフェースを含む。
情報処理装置120のハードウェア構成はここに示すものに限られず、情報処理装置120の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の一部又は全部はネットワーク上に存在していてもよい。
[変形例]
映像表示システム100は、上述のようにHMD110と情報処理装置120から構成されるとしたが、情報処理装置120の機能的構成の一部又は全部はHMD110が備えるものであってもよい。例えば、HMD110はスマートフォンによって構成される簡易型HMDであり、情報処理装置120の機能的構成を備えるものであってもよい。
映像表示システム100は、上述のようにHMD110と情報処理装置120から構成されるとしたが、情報処理装置120の機能的構成の一部又は全部はHMD110が備えるものであってもよい。例えば、HMD110はスマートフォンによって構成される簡易型HMDであり、情報処理装置120の機能的構成を備えるものであってもよい。
また、映像表示システム100の機能的構成のうち、表示装置111以外の構成は情報処理装置120に搭載されてもよい。さらに、表示装置111以外の構成は、HMD110又は情報処理装置120にネットワークを介して接続されたサーバによって実現されてもよい。
センサ112もHMD110に搭載されるものに限られず、HMD110の周囲に配置され、HMD110の位置及び向きを検出できるセンサであってもよい。
また、映像表示システム100の表示対象映像は全天球映像として説明したが、表示対象映像は全天球映像に限られず、少なくともユーザの視野よりも広い範囲の映像であって、ユーザの頭部の向きに応じて表示範囲が変化する映像であればよい。
なお、本技術は以下のような構成も採ることができる。
(1)
ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する表示制御部
を具備する情報処理装置。
ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する表示制御部
を具備する情報処理装置。
(2)
上記(1)に記載の情報処理装置であって、
上記表示制御部は、上記ユーザの頭部の位置の変化に応じて上記オブジェクトを非表示状態から表示状態に変更する
情報処理装置。
上記(1)に記載の情報処理装置であって、
上記表示制御部は、上記ユーザの頭部の位置の変化に応じて上記オブジェクトを非表示状態から表示状態に変更する
情報処理装置。
(3)
上記(1)又は(2)に記載の情報処理装置であって、
上記表示制御部は、上記オブジェクトの状態が上記表示状態に変更された後、上記ユーザの頭部の位置が実質的に変化していない場合、上記オブジェクトの状態を上記表示状態から上記非表示状態に変更する
情報処理装置。
上記(1)又は(2)に記載の情報処理装置であって、
上記表示制御部は、上記オブジェクトの状態が上記表示状態に変更された後、上記ユーザの頭部の位置が実質的に変化していない場合、上記オブジェクトの状態を上記表示状態から上記非表示状態に変更する
情報処理装置。
(4)
上記(2)に記載の情報処理装置であって、
上記表示制御部は、
上記ユーザの頭部の位置の変化として、上記ユーザの頭部の位置の並進運動を検出し、
上記表示空間を上記ユーザの頭部の回転運動に対して変化させる一方で、上記表示空間を上記ユーザの頭部の並進運動に対しては実質的に変化させない
情報処理装置。
上記(2)に記載の情報処理装置であって、
上記表示制御部は、
上記ユーザの頭部の位置の変化として、上記ユーザの頭部の位置の並進運動を検出し、
上記表示空間を上記ユーザの頭部の回転運動に対して変化させる一方で、上記表示空間を上記ユーザの頭部の並進運動に対しては実質的に変化させない
情報処理装置。
(5)
上記(1)から(4)のうちいずれか一つに記載の情報処理装置であって、
上記表示制御部は、上記表示空間の変化に応じて上記オブジェクトを非表示状態から表示状態に変更する
情報処理装置。
上記(1)から(4)のうちいずれか一つに記載の情報処理装置であって、
上記表示制御部は、上記表示空間の変化に応じて上記オブジェクトを非表示状態から表示状態に変更する
情報処理装置。
(6)
上記(5)に記載の情報処理装置であって、
上記表示制御部は、上記視点の位置の変化に応じて上記表示空間を変化させる
情報処理装置。
上記(5)に記載の情報処理装置であって、
上記表示制御部は、上記視点の位置の変化に応じて上記表示空間を変化させる
情報処理装置。
(7)
上記(6)に記載の情報処理装置であって、
上記視点の位置の変化は、上記表示空間を取得するカメラの揺れに対応する
情報処理装置。
上記(6)に記載の情報処理装置であって、
上記視点の位置の変化は、上記表示空間を取得するカメラの揺れに対応する
情報処理装置。
(8)
上記(1)から(7)のうちいずれか一つに記載の情報処理装置であって
上記オブジェクトは操作用ユーザインターフェースである
情報処理装置。
上記(1)から(7)のうちいずれか一つに記載の情報処理装置であって
上記オブジェクトは操作用ユーザインターフェースである
情報処理装置。
(9)
上記(1)から(8)のうちいずれか一つに記載の情報処理装置であって
上記表示制御部は、上記オブジェクトを上記表示空間に定位する
情報処理装置。
上記(1)から(8)のうちいずれか一つに記載の情報処理装置であって
上記表示制御部は、上記オブジェクトを上記表示空間に定位する
情報処理装置。
(10)
上記(1)から(9)のうちいずれか一つに記載の情報処理装置であって
上記表示制御部は、上記オブジェクトを上記表示空間の視点から所定の距離以内に固定する
情報処理装置。
上記(1)から(9)のうちいずれか一つに記載の情報処理装置であって
上記表示制御部は、上記オブジェクトを上記表示空間の視点から所定の距離以内に固定する
情報処理装置。
(11)
上記(1)から(10)のうちいずれか一つに記載の情報処理装置であって
上記表示空間は、上記ユーザの視野よりも広い映像である
情報処理装置。
上記(1)から(10)のうちいずれか一つに記載の情報処理装置であって
上記表示空間は、上記ユーザの視野よりも広い映像である
情報処理装置。
(12)
上記(1)から(11)のうちいずれか一つに記載の情報処理装置であって、
上記表示空間は全天球映像である
情報処理装置。
上記(1)から(11)のうちいずれか一つに記載の情報処理装置であって、
上記表示空間は全天球映像である
情報処理装置。
(13)
上記(1)から(12)のうちいずれか一つに記載の情報処理装置であって、
上記表示装置はヘッドマウントディスプレイである
情報処理装置。
上記(1)から(12)のうちいずれか一つに記載の情報処理装置であって、
上記表示装置はヘッドマウントディスプレイである
情報処理装置。
(14)
上記(1)から(13)のうちいずれか一つに記載の情報処理装置であって、
上記表示制御部は、上記ヘッドマウントディスプレイの回転及び移動を検出する6自由度センサの出力に基づいて上記運動視差を生成する
情報処理装置。
上記(1)から(13)のうちいずれか一つに記載の情報処理装置であって、
上記表示制御部は、上記ヘッドマウントディスプレイの回転及び移動を検出する6自由度センサの出力に基づいて上記運動視差を生成する
情報処理装置。
(15)
表示制御部が、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する
情報処理方法。
表示制御部が、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する
情報処理方法。
(16)
ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する表示制御部
として情報処理装置を機能させるプログラム。
ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する表示制御部
として情報処理装置を機能させるプログラム。
100…映像表示システム
110…HMD
111…表示装置
112…センサ
120…情報処理装置
121…映像デコーダ
122…視野内映像生成部
123…並進検出部
124…映像揺れ検出部
125…オブジェクト生成部
126…映像合成部
110…HMD
111…表示装置
112…センサ
120…情報処理装置
121…映像デコーダ
122…視野内映像生成部
123…並進検出部
124…映像揺れ検出部
125…オブジェクト生成部
126…映像合成部
Claims (16)
- ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、前記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する表示制御部
を具備する情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記表示制御部は、前記ユーザの頭部の位置の変化に応じて前記オブジェクトを非表示状態から表示状態に変更する
情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記表示制御部は、前記オブジェクトの状態が前記表示状態に変更された後、前記ユーザの頭部の位置が実質的に変化していない場合、前記オブジェクトの状態を前記表示状態から前記非表示状態に変更する
情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記表示制御部は、
前記ユーザの頭部の位置の変化として、前記ユーザの頭部の位置の並進運動を検出し、
前記表示空間を前記ユーザの頭部の回転運動に対して変化させる一方で、前記表示空間を前記ユーザの頭部の並進運動に対しては実質的に変化させない
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記表示制御部は、前記表示空間の変化に応じて前記オブジェクトを非表示状態から表示状態に変更する
情報処理装置。 - 請求項5に記載の情報処理装置であって、
前記表示制御部は、前記視点の位置の変化に応じて前記表示空間を変化させる
情報処理装置。 - 請求項6に記載の情報処理装置であって、
前記視点の位置の変化は、前記表示空間を取得するカメラの揺れに対応する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記オブジェクトは操作用ユーザインターフェースである
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記表示制御部は、前記オブジェクトを前記表示空間に定位する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記表示制御部は、前記オブジェクトを前記表示空間の視点から所定の距離以内に固定する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記表示空間は、前記ユーザの視野よりも広い映像である
情報処理装置。 - 請求項11に記載の情報処理装置であって、
前記表示空間は全天球映像である
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記表示装置はヘッドマウントディスプレイである
情報処理装置。 - 請求項13に記載の情報処理装置であって、
前記表示制御部は、前記ヘッドマウントディスプレイの回転及び移動を検出する6自由度センサの出力に基づいて前記運動視差を生成する
情報処理装置。 - 表示制御部が、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、前記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する
情報処理方法。 - ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、前記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する表示制御部
として情報処理装置を機能させるプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020521155A JPWO2019225354A1 (ja) | 2018-05-22 | 2019-05-10 | 情報処理装置、情報処理方法及びプログラム |
US17/056,135 US20210314557A1 (en) | 2018-05-22 | 2019-05-10 | Information processing apparatus, information processing method, and program |
CN201980032291.3A CN112119451A (zh) | 2018-05-22 | 2019-05-10 | 信息处理装置、信息处理方法和程序 |
KR1020207031129A KR20210011369A (ko) | 2018-05-22 | 2019-05-10 | 정보 처리 장치, 정보 처리 방법 및 프로그램 |
EP19807859.4A EP3799027A4 (en) | 2018-05-22 | 2019-05-10 | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018098130 | 2018-05-22 | ||
JP2018-098130 | 2018-05-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019225354A1 true WO2019225354A1 (ja) | 2019-11-28 |
Family
ID=68617318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/018720 WO2019225354A1 (ja) | 2018-05-22 | 2019-05-10 | 情報処理装置、情報処理方法及びプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20210314557A1 (ja) |
EP (1) | EP3799027A4 (ja) |
JP (1) | JPWO2019225354A1 (ja) |
KR (1) | KR20210011369A (ja) |
CN (1) | CN112119451A (ja) |
WO (1) | WO2019225354A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7086307B1 (ja) * | 2021-04-09 | 2022-06-17 | 三菱電機株式会社 | 酔い調整装置、酔い調整方法、及び酔い調整プログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023148434A1 (fr) * | 2022-02-01 | 2023-08-10 | Boarding Ring | Procédé d'affichage d'un repère visuel de confort, notamment anti-cinétose |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012105153A (ja) * | 2010-11-11 | 2012-05-31 | Sharp Corp | 立体画像表示装置、立体画像表示方法、立体画像表示方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体 |
JP2015232783A (ja) * | 2014-06-09 | 2015-12-24 | 株式会社バンダイナムコエンターテインメント | プログラムおよび画像生成装置 |
WO2016157923A1 (ja) * | 2015-03-30 | 2016-10-06 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
JP2017102297A (ja) | 2015-12-02 | 2017-06-08 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御装置及び表示制御方法 |
JP2017138973A (ja) * | 2017-01-18 | 2017-08-10 | 株式会社コロプラ | 仮想空間の提供方法、およびプログラム |
JP2017144038A (ja) * | 2016-02-17 | 2017-08-24 | 株式会社コーエーテクモゲームス | 情報処理プログラム及び情報処理装置 |
US20170285344A1 (en) * | 2016-03-29 | 2017-10-05 | Microsoft Technology Licensing, Llc | Peripheral display for head mounted display device |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7646394B1 (en) * | 2004-03-05 | 2010-01-12 | Hrl Laboratories, Llc | System and method for operating in a virtual environment |
JP2014071499A (ja) * | 2012-09-27 | 2014-04-21 | Kyocera Corp | 表示装置および制御方法 |
JP5884816B2 (ja) * | 2013-12-16 | 2016-03-15 | コニカミノルタ株式会社 | 透過型hmdを有する情報表示システム及び表示制御プログラム |
US9473764B2 (en) * | 2014-06-27 | 2016-10-18 | Microsoft Technology Licensing, Llc | Stereoscopic image display |
JP2016025633A (ja) * | 2014-07-24 | 2016-02-08 | ソニー株式会社 | 情報処理装置、管理装置、情報処理方法、およびプログラム |
US9904055B2 (en) * | 2014-07-25 | 2018-02-27 | Microsoft Technology Licensing, Llc | Smart placement of virtual objects to stay in the field of view of a head mounted display |
US10416760B2 (en) * | 2014-07-25 | 2019-09-17 | Microsoft Technology Licensing, Llc | Gaze-based object placement within a virtual reality environment |
JP6689694B2 (ja) * | 2016-07-13 | 2020-04-28 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
JP6093473B1 (ja) * | 2016-08-19 | 2017-03-08 | 株式会社コロプラ | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム |
JP6181842B1 (ja) * | 2016-11-30 | 2017-08-16 | グリー株式会社 | アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム |
-
2019
- 2019-05-10 JP JP2020521155A patent/JPWO2019225354A1/ja not_active Ceased
- 2019-05-10 EP EP19807859.4A patent/EP3799027A4/en active Pending
- 2019-05-10 US US17/056,135 patent/US20210314557A1/en not_active Abandoned
- 2019-05-10 KR KR1020207031129A patent/KR20210011369A/ko not_active Application Discontinuation
- 2019-05-10 CN CN201980032291.3A patent/CN112119451A/zh active Pending
- 2019-05-10 WO PCT/JP2019/018720 patent/WO2019225354A1/ja unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012105153A (ja) * | 2010-11-11 | 2012-05-31 | Sharp Corp | 立体画像表示装置、立体画像表示方法、立体画像表示方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体 |
JP2015232783A (ja) * | 2014-06-09 | 2015-12-24 | 株式会社バンダイナムコエンターテインメント | プログラムおよび画像生成装置 |
WO2016157923A1 (ja) * | 2015-03-30 | 2016-10-06 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
JP2017102297A (ja) | 2015-12-02 | 2017-06-08 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御装置及び表示制御方法 |
JP2017144038A (ja) * | 2016-02-17 | 2017-08-24 | 株式会社コーエーテクモゲームス | 情報処理プログラム及び情報処理装置 |
US20170285344A1 (en) * | 2016-03-29 | 2017-10-05 | Microsoft Technology Licensing, Llc | Peripheral display for head mounted display device |
JP2017138973A (ja) * | 2017-01-18 | 2017-08-10 | 株式会社コロプラ | 仮想空間の提供方法、およびプログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3799027A4 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7086307B1 (ja) * | 2021-04-09 | 2022-06-17 | 三菱電機株式会社 | 酔い調整装置、酔い調整方法、及び酔い調整プログラム |
WO2022215258A1 (ja) * | 2021-04-09 | 2022-10-13 | 三菱電機株式会社 | 酔い調整装置、酔い調整方法、及び酔い調整プログラム |
DE112021007014T5 (de) | 2021-04-09 | 2023-12-07 | Mitsubishi Electric Corporation | Bewegungsübelkeit-regulierungsvorrichtung, bewegungsübelkeit-regulierungsverfahren und bewegungsübelkeit-regulierungsprogramm |
Also Published As
Publication number | Publication date |
---|---|
US20210314557A1 (en) | 2021-10-07 |
KR20210011369A (ko) | 2021-02-01 |
CN112119451A (zh) | 2020-12-22 |
EP3799027A4 (en) | 2021-06-16 |
EP3799027A1 (en) | 2021-03-31 |
JPWO2019225354A1 (ja) | 2021-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11202008B2 (en) | Head mounted display having a plurality of display modes | |
US10692300B2 (en) | Information processing apparatus, information processing method, and image display system | |
EP3349107B1 (en) | Information processing device and image generation method | |
JP6346131B2 (ja) | 情報処理装置および画像生成方法 | |
CN110300994B (zh) | 图像处理装置、图像处理方法以及图像*** | |
WO2019065846A1 (ja) | プログラム、情報処理方法、情報処理システム、頭部装着型表示装置、情報処理装置 | |
JP2016198180A (ja) | 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム | |
WO2019225354A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
AU2017346451B2 (en) | HMD delivery system and method | |
US11051005B2 (en) | Virtual reality device and operation method of virtual reality device | |
KR20160128735A (ko) | 디스플레이 장치 및 그의 제어 방법 | |
CN108140357B (zh) | 信息处理装置 | |
US12075157B2 (en) | Image display apparatus having a plurality of display modes | |
KR102286517B1 (ko) | 컨트롤러 입력에 따른 회전 구동 제어 방법 및 이를 이용한 헤드 마운티드 디스플레이 시스템 | |
KR20200114921A (ko) | 관전 영상의 자동제어를 이용한 부하 감소 방법 및 이를 이용한 헤드 마운티드 디스플레이 | |
JP2018136706A (ja) | 画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19807859 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020521155 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2019807859 Country of ref document: EP Effective date: 20201222 |