WO2021049356A1 - 再生装置、再生方法、及び記録媒体 - Google Patents
再生装置、再生方法、及び記録媒体 Download PDFInfo
- Publication number
- WO2021049356A1 WO2021049356A1 PCT/JP2020/032879 JP2020032879W WO2021049356A1 WO 2021049356 A1 WO2021049356 A1 WO 2021049356A1 JP 2020032879 W JP2020032879 W JP 2020032879W WO 2021049356 A1 WO2021049356 A1 WO 2021049356A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- amount
- image
- head
- movement
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/66—Transforming electric information into light information
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
Definitions
- the present technology relates to a reproduction device, a reproduction method, and a recording medium, and more particularly to a reproduction device, a reproduction method, and a recording medium capable of suppressing the influence of motion parallax and image distortion.
- a stereoscopic image is displayed based on image information obtained by shooting a subject with a plurality of cameras, and an image that gives an immersive feeling to a user who wears the playback device on his or her head. Is provided.
- Patent Document 1 As a technique for viewing a stereoscopic image with a head-mounted display, the technique disclosed in Patent Document 1 is known.
- This technology was made in view of such a situation, and makes it possible to suppress the influence of motion parallax and image distortion.
- the playback device on one side of the present technology projects an image taken from a specific position in the real space onto a projection surface arranged according to a reference position set in the virtual space, and looks at the projected image.
- the head movement amount of the user is acquired, and the head movement amount with respect to the reference position in at least one direction of the left-right direction and the up-down direction as seen from the user is obtained in the first direction.
- the first relative distance between the reference position and the user position in the virtual space is changed according to the amount of movement of the head with respect to the reference position in the second direction which is the front-back direction seen from the user.
- a reproduction device including an image processing unit that performs a process of making the amount of change in the second relative distance with respect to the amount of movement of the head in the second direction smaller than the amount of change.
- the reproduction device projects an image taken from a specific position in the real space onto a projection surface arranged according to a reference position set in the virtual space, and the projection is performed.
- the head movement amount of the user who is viewing the image is acquired, and the head movement amount with respect to the reference position in at least one direction of the left-right direction and the up-down direction as seen from the user is described.
- the head with respect to the reference position in the second direction which is the front-back direction seen from the user, by changing the first relative distance between the reference position and the user position in the virtual space in the first direction.
- the second relative distance between the reference position and the user position is changed in the second direction according to the movement amount, and the first relative distance with respect to the head movement amount in the first direction.
- This is a reproduction method in which the amount of change in is smaller than the amount of change in the second relative distance with respect to the amount of movement of the head in the second direction.
- the recording medium of one aspect of the present technology projects an image taken from a specific position in the real space onto a projection surface arranged according to a reference position set in the virtual space, and the projected image is projected.
- the head movement amount of the user who is watching is acquired, and the head movement amount with respect to the reference position in at least one direction of the left-right direction and the up-down direction as seen from the user is obtained.
- the first relative distance between the reference position and the user position in the virtual space is changed in one direction, and the head movement with respect to the reference position in the second direction which is the front-back direction seen from the user.
- the second relative distance between the reference position and the user position is changed in the second direction, and the first relative distance with respect to the head movement amount in the first direction is changed.
- an image taken from a specific position in the real space is projected onto a projection surface arranged according to a reference position set in the virtual space.
- the head movement amount of the user who is viewing the projected image is acquired, and the head movement amount with respect to the reference position in at least one direction of the left-right direction and the up-down direction as seen from the user is obtained.
- the first relative distance between the reference position and the user position in the virtual space is changed in the first direction, and the reference position in the second direction which is the front-rear direction seen from the user.
- the second relative distance between the reference position and the user position is changed in the second direction according to the movement amount of the head with respect to the first direction, and the second relative distance with respect to the movement amount of the head in the first direction is changed.
- the amount of change in the relative distance of 1 is made smaller than the amount of change in the second relative distance with respect to the amount of movement of the head in the second direction.
- the reproduction device on one side of the present technology may be an independent device or an internal block constituting one device.
- HMD Head Mounted Display
- the user position is the spherical screen. It is assumed that the position is other than the position of the center Ct of Sc (Fig. 2).
- the image displayed on the display is significantly distorted in the vertical direction and the horizontal direction (vertical and horizontal directions). This occurs because the position of the camera shot in real space corresponds to the position of the center Ct of the spherical screen Sc, and there is no shooting data when shooting from other angles. Is.
- FIG. 3 shows an example of the configuration of the image reproduction system 1 to which the present technology is applied.
- the image reproduction system 1 is composed of a reproduction device 10 and a recording device 20.
- the reproduction device 10 and the recording device 20 are connected to each other via a network 30.
- the network 30 includes communication networks such as the Internet, an intranet, and a mobile phone network.
- the playback device 10 is an electronic device such as a head-mounted display, a smartphone, a wearable device, and a game machine.
- a head-mounted display will be described as an example of the playback device 10.
- the playback device 10 transmits an image data distribution request to the recording device 20 via the network 30 in response to a user operation or the like.
- the playback device 10 receives the image data distributed from the recording device 20 via the network 30.
- the reproduction device 10 performs image processing on the received image data, and displays (reproduces) the stereoscopic image (3D image) obtained as a result.
- the spherical screen Sc on which the spherical image is projected is arranged in a three-dimensional virtual space based on the spherical image data obtained by shooting. The visual image is displayed.
- the recording device 20 is composed of a server that records image data for displaying a stereoscopic image (3D image), a workstation specialized in image processing, and the like.
- the recording device 20 is provided by a business operator or the like that provides a content service such as a stereoscopic image distribution service as a business.
- the recording device 20 transmits (distributes) image data via the network 30 as a response to the distribution request from the playback device 10.
- FIG. 4 shows an example of a music live video distribution service as a service provided by the image reproduction system 1 of FIG.
- the subject Sr for example, a performer
- a spherical camera 21 or cameras such as cameras 22-1 and 22-2 for stereo photography in a real space such as a live venue By doing so, shooting data can be obtained.
- This shooting data is sent to the recording device 20 installed in a studio or the like via a network or a recording medium.
- the recording device 20 is composed of a server, a workstation, or the like, performs image processing on the captured data, and records the resulting music live image data (for example, all-sky image data) and sound data.
- the recording device 20 distributes live music data via the network 30 in response to a distribution request from the playback device 10.
- a dedicated distribution server may be provided in a data center or the like so that the distribution server distributes live music data.
- the playback device 10 receives live music data distributed from the recording device 20 via the network 30.
- the playback device 10 performs image processing on the image data of the live music and displays the stereoscopic image of the live music in a three-dimensional virtual space. Further, the playback device 10 performs audio processing on the sound data of the live music and outputs the sound of the live music.
- a user who wears a playback device 10 such as a head-mounted display on his head in a real space such as a home can display a photographer Sv (for example, a performer) in the virtual space at a desired angle and size. You can experience the live music as if you were there by watching and listening to the performance.
- the user's avatar Av may be arranged in the virtual space.
- FIG. 5 shows an example of the configuration of the reproduction device 10 of FIG.
- the reproduction device 10 includes a control unit 101, a memory 102, a sensor 103, an image processing unit 104, a storage unit 105, a communication unit 106, a display unit 107, a sound output unit 108, and the like.
- the control unit 101 is composed of a processor such as a CPU (Central Processing Unit).
- the control unit 101 is a central control device (processing device) that controls the operation of each unit and performs various arithmetic processes, and controls the operation of each unit of the reproduction device 10.
- the memory 102 is composed of a semiconductor memory such as RAM (Random Access Memory).
- the memory 102 temporarily stores various data processed by the control unit 101.
- the sensor 103 is composed of various sensor devices.
- the sensor 103 senses the user and its surroundings, and supplies the sensor data obtained as a result of the sensing to the control unit 101.
- the control unit 101 performs various processes based on the sensor data supplied from the sensor 103.
- the sensor 103 includes an inertial measurement unit (IMU: Inertial Measurement Unit) that measures three-dimensional angular velocity and acceleration.
- IMU Inertial Measurement Unit
- the inertial measurement unit (IMU) can obtain three-dimensional angular velocity and acceleration by using a three-axis gyroscope and a three-way accelerometer.
- the sensor 103 includes a proximity sensor that measures close objects, a biological sensor that measures information such as the heart rate, body temperature, or posture of an organism, and a magnetic sensor that measures the magnitude and direction of a magnetic field. You may.
- the image processing unit 104 is composed of a processor such as a GPU (Graphics Processing Unit).
- the image processing unit 104 performs predetermined image processing on the image data or the like according to the control from the control unit 101.
- the display data obtained by this image processing is supplied to the display unit 107.
- the storage unit 105 is an auxiliary storage device including a semiconductor memory such as a non-volatile memory.
- the storage unit 105 may be configured as an internal storage, or may be an external storage such as a memory card.
- the storage unit 105 records various data such as image data and sound data according to the control from the control unit 101.
- the control unit 101 can read and process various types of data recorded in the storage unit 105.
- the communication unit 106 is configured as a communication device (communication module) that supports wireless communication such as wireless LAN (Local Area Network) and cellular communication (for example, LTE-Advanced, 5G, etc.) or wired communication.
- the communication unit 106 communicates with other devices via the network 30 in accordance with the control from the control unit 101.
- the communication unit 106 transmits an image data distribution request to the recording device 20 via the network 30.
- the communication unit 106 receives image data and sound data distributed from the recording device 20 via the network 30.
- the image data is supplied to the image processing unit 104 for processing via the control unit 101, or is supplied to the storage unit 105 for recording.
- the display unit 107 is a display device such as a liquid crystal panel or an OLED (Organic Light Emitting Diode) panel.
- the display unit 107 displays (draws) a stereoscopic image and various types of information according to the display data from the image processing unit 104 in accordance with the control from the control unit 101.
- the sound output unit 108 is a sound output device such as earphones or headphones connected via a speaker, a connector or the like.
- the sound output unit 108 outputs sound according to the sound data delivered together with the image data according to the control from the control unit 101.
- FIG. 6 shows a detailed configuration of the image processing unit 104 of FIG.
- the image processing unit 104 includes an image projection unit 121, a head movement amount acquisition unit 122, a relative distance adjustment unit 123, a trimming image generation unit 124, a switching processing unit 125, and the like.
- the image projection unit 121 performs a process of projecting a captured image obtained from image data onto the spherical screen Sc (projection surface) in a three-dimensional virtual space.
- the head movement amount acquisition unit 122 performs a process of acquiring the head movement amount of a user wearing a playback device 10 such as a head-mounted display, based on sensor data or the like from the sensor 103.
- the relative distance adjusting unit 123 corresponds to the reference position (center Ct of the spherical screen Sc) set in the virtual space based on the information such as the head movement amount acquired by the head movement amount acquisition unit 122.
- the process of adjusting the relative distance between the position) and the user position is performed.
- the trimming image generation unit 124 performs a process of generating a trimming image cut out from the captured image projected on the spherical screen Sc.
- the switching processing unit 125 has an image corresponding to the virtual camera arranged corresponding to the user position in the virtual space and an image corresponding to the virtual sub camera arranged on a straight line connecting the user's viewpoint and the reference position. Performs the process of switching between.
- FIG. 7 shows a method of suppressing VR sickness and image distortion to which the present technology is applied.
- the virtual space in which the spherical screen Sc on which the photographed image is projected is arranged is represented by the world coordinate system of the XYZ axes.
- the image is substantially enlarged (plus) or by giving the inverse vector of the movement vector of the user's head to the spherical screen Sc in conjunction with the movement of the user's head. It is designed to be reduced (minus). As a result, the enlargement ratio of the captured image projected on the spherical screen Sc is changed, and the image zoom function is realized.
- the horizontal component and the vertical component that affect the image distortion are multiplied by an attenuation coefficient that reduces the displacement amount of the inverse vector so that the image distortion is reduced (U in the figure). X , U Y ).
- the inverse vector (horizontal component or vertical component) corresponding to the movement is multiplied by a damping coefficient that reduces the amount of displacement in the horizontal direction.
- the amount of displacement in the vertical direction can be reduced. Therefore, it is possible to reduce the distortion of the image.
- VR sickness is reduced by multiplying the depth direction component, in which the distortion of the image is inconspicuous, by an appropriate coefficient considering the scale of the spherical screen Sc (U Z in the figure).
- an appropriate coefficient can be a value that generates a natural motion parallax in the depth direction that matches the movement sensation of the user's head.
- the user's head moves in the depth direction
- the user's head is multiplied by a coefficient corresponding to the scale of the spherical screen Sc by multiplying the inverse vector (the depth component of the movement) according to the movement. It is possible to generate a natural motion difference in the depth direction that matches the movement sensation of. Therefore, it is possible to reduce VR sickness caused by the influence of motor parallax.
- the playback device 10 solves the two problems of VR sickness and image distortion when viewing the spherical image, and can suppress VR sickness and image distortion at the same time.
- the distortion of the image is conspicuous in the region deviated from the center Ct of the all-sky screen Sc, the region corresponding to the background deviated from the center Ct is cut and the plain background such as black is used as the base.
- a background image in which objects such as computer graphics (CG: Computer Graphics) and particles are arranged in a predetermined pattern may be used.
- the image pickup body for example, the performer
- the image pickup body may be set to green background photography, and the distortion component of the image may be removed by chroma key composition with the 3D CG background.
- the components in the horizontal direction or the vertical direction can be detected.
- the amount of displacement may be limited. As a result, the amount of displacement of the components in the horizontal direction or the vertical direction is limited, and distortion of the image can be suppressed.
- step S11 the image projection unit 121 converts the spherical screen Sc into a sufficient diameter size in which the displacement amount of each component of the XYZ axes of the reproduction device 10 can be ignored.
- step S12 the image projection unit 121 projects the captured image onto the spherical screen Sc (projection surface).
- step S13 the head movement amount acquisition unit 122 acquires the head movement amount of the user who is viewing the projected captured image.
- step S14 the relative distance adjusting unit 123 determines whether or not the user position has moved from the position of the center Ct of the spherical screen Sc based on the acquired information such as the amount of head movement.
- step S14 If it is determined in the determination process of step S14 that the user position has moved from the position of the center Ct, the process proceeds to step S15.
- step S15 the relative distance adjusting unit 123 multiplies the inverse vector of the user's movement vector as the horizontal component and the vertical component of the all-sky screen Sc by a damping coefficient that reduces the amount of displacement in the horizontal direction. And change the relative distance between the reference position and the user position in the vertical direction.
- step S16 the relative distance adjusting unit 123 multiplies the inverse vector of the user's movement vector by an appropriate coefficient in consideration of the scale of the spherical screen Sc as the depth component of the spherical screen Sc, and the depth The relative distance between the reference position and the user position is changed in the direction.
- the vertical component is multiplied by the attenuation coefficient that reduces the displacement of the inverse vector (S15), and the depth component where the distortion of the image is not noticeable is multiplied by an appropriate coefficient considering the scale of the spherical screen Sc. (S16).
- step S16 When the process of step S16 is completed or when it is determined to be negative in the determination process of step S14 (“No” in S14), the process returns to the process of step S13, and the processes of steps S13 to 16 are repeated.
- the visible range of the imager Sv for example, the performer
- the size changes. The loose image is drawn.
- steps S15 and S16 In the process of steps S15 and S16 described above, the case where the user's head moves in three directions of the XYZ axes has been described, but at least one of the ⁇ X direction, the ⁇ Y direction, and the ⁇ Z direction ( When moving in one direction, two directions, or three directions), the processes of steps S15 and S16 may be performed according to the moving direction.
- the image processing unit 104 of the playback device 10 is set at a specific position in the real space (positions of cameras such as the all-sky camera 21 and cameras 22-1, 22-2 for stereo photography).
- the image (photographed image) taken from is placed on the projection surface (all-sky screen Sc) arranged according to the reference position (position corresponding to the center Ct of the all-sky screen Sc) set in the virtual space.
- Projected (S12) the amount of head movement of the user (experiencer) viewing the projected image is acquired (S13), and at least one of the horizontal and vertical directions (horizontal and vertical directions) as seen by the user.
- the distance is changed (S15), and the distance between the reference position and the user position is changed in the second direction according to the amount of head movement with respect to the reference position in the second direction, which is the front-back direction (depth direction) as seen from the user.
- the process of changing the second relative distance (S16) is performed.
- the amount of change (displacement amount) of the first relative distance with respect to the amount of head movement in the first direction is the amount of head movement in the second direction (depth direction). It is smaller than the amount of change (displacement amount) of the second relative distance with respect to the amount (S15, S16).
- the image processing unit 104 can multiply the component in the first direction by a first coefficient (attenuation coefficient) that reduces the amount of change in the first relative distance with respect to the amount of head movement. That is, the image processing unit 104 reduces the amount of change to the inverse vector of the movement vector according to the amount of head movement as a component in the first direction on the projection surface (omnidirectional screen Sc). Multiply the coefficient (attenuation coefficient) to change the first relative distance.
- a first coefficient attenuation coefficient
- the image processing unit 104 can multiply a second coefficient (an appropriate coefficient considering the scale of the spherical screen Sc) according to the size of the projection surface as a component in the second direction.
- This second coefficient is a value that generates natural motion parallax in the second direction according to the movement of the user's head.
- the first coefficient and the second coefficient have a relationship of the second coefficient> the first coefficient> 0.
- VR sickness is reduced by giving an appropriate coefficient to the depth direction component
- image distortion is reduced by giving an attenuation coefficient that reduces the displacement of the inverse vector to the horizontal and vertical components. To. Therefore, VR sickness and image distortion can be suppressed at the same time.
- the image is naturally and correctly linked to the movement of the user approaching the live-action image projected on the spherical screen. Since it is possible to perform the process of zooming and drawing the image, it is possible to reproduce the motion parallax experience equivalent to the real experience. As a result, VR sickness can be suppressed (reduced).
- the horizontal component (occurs when walking) and the vertical component (occurs when crouching) of the movement vector of the position of the user's head, which occurs when the user walks or crouches By reducing or canceling, it is possible to suppress (reduce) the distortion of the live image (image) in the vertical direction and the horizontal direction (vertical and horizontal direction). As a result, the reality and quality of the live-action (image) are guaranteed, and the value of the live-action viewing experience can be improved.
- FIG. 9 shows an example of distortion of the trimmed image.
- the virtual space in which the spherical screen Sc on which the photographed image is projected is arranged is represented by the world coordinate system of the XYZ axes.
- the trimmed image Ic obtained when the user position (position of the virtual camera) coincides with the position of the center Ct of the spherical screen Sc is in the vertical direction and the horizontal direction (vertical and horizontal directions).
- the distortion that occurs is small (solid rectangle in the figure).
- virtual sub-cameras Cs for complementing the virtual camera Cm are arranged at a predetermined position corresponding to the center Ct of the spherical screen Sc and trimmed.
- the virtual camera Cm is switched to the virtual sub camera Cs.
- a trimmed image corresponding to the position of the virtual sub-camera Cs for complementation (hereinafter referred to as the complementary camera position) is generated.
- the virtual space is represented by the world coordinate system of the XYZ axes.
- the virtual sub-camera Cs is on a straight line passing through the position of the user's viewpoint T on the spherical screen Sc and the position of the center Ct of the spherical screen Sc, and is the same as the distance D. It is placed at a position separated by the distance of. However, the distance D represents the distance between the position of the viewpoint T on the spherical screen Sc and the user position (the position of the virtual camera Cm).
- the vector calculation formula for specifying the arrangement position and orientation of the virtual sub-cameras Cs can be shown as follows, for example.
- the position vector of the virtual sub-camera Cs is represented by the following equation (1).
- the vector from the position of the center Ct of the spherical screen Sc to the position of the virtual sub-camera Cs is the following equation (2) using the vector from the position of the center Ct to the position of the viewpoint T and the distance D. ).
- step S31 the control unit 101 determines whether to cut out an image on the screen according to the operation of the user.
- This operation includes an operation for executing the screenshot function.
- the image cropping function may be implemented based on a predetermined event, trigger, or the like, not limited to the user's operation.
- step S31 If it is determined in the determination process of step S31 that the image is to be cut out, the process proceeds to step S32.
- step S32 the trimming image generation unit 124 calculates the complementary camera position as the position of the virtual sub-camera Cs by using the vector calculation formula described above.
- step S33 the trimming image generation unit 124 generates a trimming image according to the position and orientation of the virtual sub-cameras Cs installed at the calculated complementary camera positions.
- This trimmed image is recorded in the storage unit 105 or displayed on the display unit 107.
- the process of step S33 is completed, the process is completed.
- FIG. 12 shows the relationship between the positions of the virtual camera Cm and the virtual sub-camera Cs with respect to the position of the viewpoint T on the spherical screen Sc.
- the virtual space in which the spherical screen Sc on which the captured image is projected is arranged is represented by the world coordinate system of the XYZ axes.
- the virtual sub-cameras Cs can be arranged on a straight line passing through the position of the viewpoint T on the spherical screen Sc and the position of the center Ct of the spherical screen Sc. Further, the position of the virtual camera Cm corresponds to the user position.
- the virtual camera Cm and the virtual sub-camera Cs are used in order to seamlessly switch the user position.
- FIG. 13 shows an example of a user position switching method to which the present technology is applied. Note that FIG. 13 shows a case where the spherical screen Sc arranged in the virtual space represented by the world coordinate system of the XYZ axes is viewed from the ZX plane.
- the position of the virtual camera Cm is gradually brought closer to the straight line of the moving trajectory of the virtual sub-camera Cs so that the image viewed by the user is not distorted. That is, the position of the virtual camera Cm gradually approaches the straight line of the moving trajectory of the virtual sub-cameras Cs along the moving trajectory at predetermined time intervals, so that the position from the user position to the position of the viewpoint T can be reached. Do not affect the distance D.
- the virtual camera Cm is switched to the virtual sub camera Cs, and the user position is moved by the virtual camera Cm. Seamlessly switch from the orbit to the moving orbit of the virtual sub-camera Cs. After that, the positions of the virtual sub-cameras Cs according to the user positions are moved on the movement trajectory at predetermined time intervals so as to approach the position of the viewpoint T.
- the black circles on the straight line indicated by the times t1, t2, ... tn are the moving directions (dotted lines in the figure) according to the user's intention to move toward the viewpoint T.
- the moving trajectory of the virtual camera (Cm, Cs) can be set to a moving trajectory that gives natural motion parallax in the depth direction ( ⁇ Z direction), and as a result, VR sickness is suppressed. can do.
- FIG. 13 shows a case where the virtual camera Cm is switched from the virtual camera Cm to the virtual sub-camera Cs when the position of the virtual camera Cm is brought closer to the position of the viewpoint T, but conversely, the position of the virtual sub-camera Cs is changed. , When moving away from the position of the viewpoint T, the following may be performed.
- the virtual camera Cm moves from the moving trajectory of the virtual sub-camera Cs. It is sufficient to seamlessly switch to the orbit and return to the moving orbit of the virtual camera Cm.
- the rectangular boundary fence area Ap inscribed in the circular spherical screen Sc is an area in which the user U (virtual camera Cm, virtual sub-camera Cs) is allowed to move in the virtual space. Represents.
- the boundary fence area Ap By setting this boundary fence area Ap, the movement of the user position is restricted, so that the movement in the horizontal direction ( ⁇ X direction) is restricted, and distortion of the image can be suppressed.
- the virtual camera Cm is selected as the virtual camera corresponding to the user position in the initial state.
- step S51 the switching processing unit 125 calculates the position of the viewpoint T on the spherical screen Sc on which the captured image is projected.
- step S52 the switching processing unit 125 determines whether or not the straight line connecting the position of the viewpoint T on the spherical screen Sc and the user position passes through the position of the center Ct of the spherical screen Sc. ..
- step S52 If it is determined in the determination process of step S52 that the straight line connecting the position of the viewpoint T and the user position passes through the position of the center Ct, the process proceeds to step S53.
- step S53 the switching processing unit 125 draws an image corresponding to the selected virtual camera Cm.
- step S54 if it is determined that the straight line connecting the position of the viewpoint T and the user position does not pass through the position of the center Ct, the process proceeds to step S54.
- step S54 the switching processing unit 125 performs displacement movement with respect to the position of the viewpoint T while moving the position of the virtual camera Cm to the moving trajectory of the virtual sub-camera Cs.
- the moving trajectory of the virtual sub-camera Cs is a straight line connecting the viewpoint T and the center Ct, as shown in FIG.
- "while approaching" in step S54 means that the position of the virtual camera Cm is set to the moving trajectory of the virtual sub-camera Cs at a speed that does not affect the distance D to the viewpoint T and does not cause a sudden change in the user position. It means to bring it to.
- step S55 the switching processing unit 125 determines whether or not the position of the virtual camera Cm has reached the moving trajectory of the virtual sub-camera Cs.
- step S55 If it is determined in the determination process of step S55 that the position of the virtual camera Cm has not reached the moving trajectory of the virtual sub-camera Cs, the process proceeds to step S56.
- step S56 the switching processing unit 125 maintains the selection of the virtual camera Cm. At this time, the image corresponding to the selected virtual camera Cm is continuously drawn.
- step S56 When the process of step S56 is completed, the process returns to step S54, and the processes of steps S54 to S56 are repeated. Then, when it is determined in the determination process of step S55 that the position of the virtual camera Cm has reached the moving trajectory of the virtual sub-camera Cs, the process proceeds to step S57.
- step S57 the switching processing unit 125 switches the selected virtual camera from the virtual camera Cm to the virtual sub-camera Cs.
- step S57 When the process of step S57 is completed, the process proceeds to step S53.
- step S53 the switching processing unit 125 draws an image corresponding to the selected virtual sub-camera Cs.
- the process of step S53 is completed.
- the moving trajectory of the virtual camera (Cm, Cs) can be changed to a moving trajectory that gives natural motion parallax in the depth direction ( ⁇ Z direction), resulting in VR sickness. Can be suppressed. Further, since the position of the virtual camera Cm is moved to the moving trajectory of the virtual sub-camera Cs at a speed that does not affect the distance D to the viewpoint T and does not cause a sudden change in the user position, the image being viewed is being viewed. Distortion can be suppressed.
- FIG. 15 shows an example of comparing image distortion due to a difference in the position of a virtual camera.
- a in FIG. 15 is a virtual space in which a spherical screen Sc on which a captured image is projected is arranged, and is a virtual camera Cm when the user's viewpoint T is directed to the photographed body Sv (for example, a performer).
- An example of the arrangement of virtual sub-cameras Cs is shown. In the above-mentioned example, the relationship of the arrangement of the virtual cameras is used.
- the image of the virtual camera Cm is an image of an angle seen from a position other than the center Ct of the spherical screen Sc.
- the image becomes distorted (B in FIG. 15).
- the image of the virtual sub-camera Cs is on a straight line passing through the center Ct of the spherical screen Sc, and the distance from the position of the viewpoint T is equal to the distance between the position of the viewpoint T and the virtual camera Cm. It is an image of the angle seen from the virtual sub-camera Cs in.
- the image becomes a distortion-free image (C in FIG. 15).
- the reproduction device 10 has a configuration having the image processing unit 104 and the display unit 107.
- the reproduction device 10 having the image processing unit 104 (dedicated).
- the display unit 107 may not be included in the image processing device such as the console of the above.
- the recording device 20 may be configured as one device, or may be configured by an individual server for each function (image processing function, recording function, distribution function, etc.).
- a system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing.
- each component may be connected via the Internet or may be connected via a local net (LAN (Local Area Network) or WAN (Wide Area Network)). Further, each component may be connected by wire or wirelessly.
- LAN Local Area Network
- WAN Wide Area Network
- a case where a three-dimensional virtual space viewing experience is performed by projecting a spherical image (photographed image) on a spherical screen Sc composed of 360 ° spherical screens (spheres) is illustrated.
- the spherical surface is an example, and the spherical screen Sc is a general term including a screen on a spherical surface that partially uses a spherical surface such as a 180 ° hemispherical sphere.
- the video distribution service of live music has been described as an example, but as a live-action viewing experience that involves physical exercise of the user, in addition to a live-action viewing experience such as sports, travel, meetings, and other leisure activities
- This technology can be applied to live-action viewing experiences of all spherical screens, such as simulated experiences of facilities.
- this technology can be applied not only to the live-action viewing experience of spherical screens, but also to, for example, live-action screenshots and aerial images from unmanned aerial vehicles (drones).
- the "viewpoint” means an object (gaze point) that the user is looking at on the spherical screen Sc on which the photographed image is projected. Therefore, the position (standing point) at which the user is looking at the target (gaze point) is described as "the position of the head of the user U” or “the user position” to distinguish it from the "viewpoint”.
- image may be read as “video”.
- FIG. 16 is a block diagram showing a configuration example of hardware of a computer that executes the above-mentioned series of processes programmatically.
- the CPU Central Processing Unit
- the ROM Read Only Memory
- the RAM Random Access Memory
- An input / output interface 1005 is further connected to the bus 1004.
- An input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
- the input unit 1006 includes a microphone, a keyboard, a mouse, and the like.
- the output unit 1007 includes a speaker, a display, and the like.
- the recording unit 1008 includes a hard disk, a non-volatile memory, and the like.
- the communication unit 1009 includes a network interface and the like.
- the drive 1010 drives a removable recording medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
- the CPU 1001 loads the program recorded in the ROM 1002 and the recording unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program as described above. A series of processing is performed.
- the program executed by the computer 1000 can be recorded and provided on a removable recording medium 1011 as a package medium or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
- the program can be installed in the recording unit 1008 via the input / output interface 1005 by mounting the removable recording medium 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 and installed in the recording unit 1008 via a wired or wireless transmission medium. In addition, the program can be pre-installed in the ROM 1002 or the recording unit 1008.
- the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object). Further, the program may be processed by one computer (processor) or may be distributed by a plurality of computers.
- each step of the above-mentioned processing can be executed by one device or shared by a plurality of devices. Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
- An image taken from a specific position in the real space is projected onto a projection plane arranged according to the reference position set in the virtual space.
- the head movement amount of the user who is viewing the projected image is acquired, and the head movement amount is acquired.
- the reference position and the user in the virtual space in the first direction according to the amount of movement of the head with respect to the reference position in the first direction which is at least one direction in the left-right direction and the up-down direction as seen from the user.
- the second relative distance between the reference position and the user position in the second direction is set according to the amount of movement of the head with respect to the reference position in the second direction which is the front-back direction as seen from the user.
- a playback device including an image processing unit to perform.
- the image processing unit multiplies the inverse vector of the movement vector according to the head movement amount by the first coefficient for reducing the change amount as the component in the first direction on the projection surface.
- the reproduction device according to any one of (1) to (6), wherein the user position is brought closer to the reference position and the second relative distance is changed according to the amount of movement of the head in the second direction.
- the image processing unit When moving toward the user's viewpoint on the projected image, a second virtual camera different from the first virtual camera arranged corresponding to the user's position is referred to the viewpoint and the reference position. Place it in place on the straight line connecting the When the position of the first virtual camera that has moved on the first moving orbit from the user position intersects the second moving orbit of the second virtual camera, the image corresponding to the first virtual camera.
- the playback device according to (7) above, wherein the image is switched to an image corresponding to the second virtual camera.
- the image processing unit The position of the first virtual camera is moved on the first moving orbit at predetermined time intervals so as to approach the second moving orbit.
- the image corresponding to the first virtual camera is switched to the image corresponding to the second virtual camera.
- the movement of the first virtual camera on the first movement orbit and the movement of the second virtual camera on the second movement orbit are temporal with the movement from the user position toward the viewpoint.
- the image processing unit sets a boundary region, which is an region in which the first virtual camera and the second virtual camera are allowed to move, in a region corresponding to the projection surface (8) to (10).
- the playback device according to any one of.
- the image processing unit cuts out a trimmed image including the user's viewpoint on the projected image in a state where the user position is away from the reference position, the image processing unit starts from a predetermined position corresponding to the reference position.
- the playback device according to (1) above which cuts out a trimmed image when the viewpoint is viewed.
- the image processing unit uses a second virtual camera, which is different from the first virtual camera arranged corresponding to the user position, on a straight line connecting the viewpoint and the reference position, and the viewpoint and the user.
- the reproduction device according to (12) above which is arranged at a position separated by the same distance as the position.
- the projection surface is an omnidirectional screen.
- the reference position is a position corresponding to the center of the spherical screen.
- the second relative distance between the reference position and the user position in the second direction is set according to the amount of movement of the head with respect to the reference position in the second direction which is the front-back direction as seen from the user.
- Change A reproduction method in which the amount of change in the first relative distance with respect to the amount of movement of the head in the first direction is smaller than the amount of change in the second relative distance with respect to the amount of movement of the head in the second direction.
- Computer An image taken from a specific position in the real space is projected onto a projection plane arranged according to the reference position set in the virtual space. The head movement amount of the user who is viewing the projected image is acquired, and the head movement amount is acquired.
- the reference position and the user in the virtual space in the first direction according to the amount of movement of the head with respect to the reference position in the first direction which is at least one direction in the left-right direction and the up-down direction as seen from the user.
- Change the first relative distance to the position, The second relative distance between the reference position and the user position in the second direction is set according to the amount of movement of the head with respect to the reference position in the second direction which is the front-back direction as seen from the user.
- Change A process of making the amount of change in the first relative distance with respect to the amount of movement of the head in the first direction smaller than the amount of change in the second relative distance with respect to the amount of movement of the head in the second direction.
- 1 image reproduction system 10 reproduction device, 20 recording device, 21.22-1,22-2 camera, 30 network, 101 control unit, 102 memory, 103 sensor, 104 image processing unit, 105 storage unit, 106 communication unit, 107 display unit, 108 sound output unit, 121 image projection unit, 122 head movement amount acquisition unit, 123 relative distance adjustment unit, 124 trimming image generation unit, 125 switching processing unit, 1001 CPU, 1011 removable recording medium
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
Abstract
本技術は、運動視差の影響と画像の歪みを抑制することができるようにする再生装置、再生方法、及び記録媒体に関する。 実空間の特定の位置から撮影した画像を、仮想空間に設定された基準位置に応じて配置された投影面に投影し、投影された画像を見ているユーザの頭部移動量を取得し、ユーザから見た左右方向及び上下方向の少なくとも一方向である第1の方向における基準位置に対する頭部移動量に応じて、第1の方向において基準位置とユーザ位置との間の第1の相対距離を変化させ、ユーザから見た前後方向である第2の方向における基準位置に対する頭部移動量に応じて、第2の方向において基準位置とユーザ位置との間の第2の相対距離を変化させ、第1の相対距離の変化量を、第2の相対距離の変化量よりも小さくする処理を行う画像処理部を備える再生装置が提供される。本技術は、例えば、ヘッドマウントディスプレイに適用することができる。
Description
本技術は、再生装置、再生方法、及び記録媒体に関し、特に、運動視差の影響と画像の歪みを抑制することができるようにした再生装置、再生方法、及び記録媒体に関する。
近年、立体視画像を視聴するための再生装置として、ヘッドマウントディスプレイ等の機器が普及している。
この種の再生装置では、複数のカメラにより被写体を撮影することで得られる画像情報に基づいて立体視画像を表示して、当該再生装置を頭部に装着したユーザに対して没入感のある画像を提供している。
また、ヘッドマウントディスプレイにより立体視画像を視聴するための技術としては、特許文献1に開示されている技術が知られている。
ところで、再生装置を使用するユーザが立体視画像を見ている場合において、当該ユーザの頭部の位置が移動したときには、運動視差の影響と画像の歪みを抑制することが求められる。
本技術はこのような状況に鑑みてなされたものであり、運動視差の影響と画像の歪みを抑制することができるようにするものである。
本技術の一側面の再生装置は、実空間の特定の位置から撮影した画像を、仮想空間に設定された基準位置に応じて配置された投影面に投影し、投影された前記画像を見ているユーザの頭部移動量を取得し、前記ユーザから見た左右方向及び上下方向の少なくとも一方向である第1の方向における前記基準位置に対する前記頭部移動量に応じて、前記第1の方向において前記基準位置と前記仮想空間内のユーザ位置との間の第1の相対距離を変化させ、前記ユーザから見た前後方向である第2の方向における前記基準位置に対する前記頭部移動量に応じて、前記第2の方向において前記基準位置と前記ユーザ位置との間の第2の相対距離を変化させ、前記第1の方向における前記頭部移動量に対する前記第1の相対距離の変化量を、前記第2の方向における前記頭部移動量に対する前記第2の相対距離の変化量よりも小さくする処理を行う画像処理部を備える再生装置である。
本技術の一側面の再生方法は、再生装置が、実空間の特定の位置から撮影した画像を、仮想空間に設定された基準位置に応じて配置された投影面に投影し、投影された前記画像を見ているユーザの頭部移動量を取得し、前記ユーザから見た左右方向及び上下方向の少なくとも一方向である第1の方向における前記基準位置に対する前記頭部移動量に応じて、前記第1の方向において前記基準位置と前記仮想空間内のユーザ位置との間の第1の相対距離を変化させ、前記ユーザから見た前後方向である第2の方向における前記基準位置に対する前記頭部移動量に応じて、前記第2の方向において前記基準位置と前記ユーザ位置との間の第2の相対距離を変化させ、前記第1の方向における前記頭部移動量に対する前記第1の相対距離の変化量を、前記第2の方向における前記頭部移動量に対する前記第2の相対距離の変化量よりも小さくする再生方法である。
本技術の一側面の記録媒体は、コンピュータを、実空間の特定の位置から撮影した画像を、仮想空間に設定された基準位置に応じて配置された投影面に投影し、投影された前記画像を見ているユーザの頭部移動量を取得し、前記ユーザから見た左右方向及び上下方向の少なくとも一方向である第1の方向における前記基準位置に対する前記頭部移動量に応じて、前記第1の方向において前記基準位置と前記仮想空間内のユーザ位置との間の第1の相対距離を変化させ、前記ユーザから見た前後方向である第2の方向における前記基準位置に対する前記頭部移動量に応じて、前記第2の方向において前記基準位置と前記ユーザ位置との間の第2の相対距離を変化させ、前記第1の方向における前記頭部移動量に対する前記第1の相対距離の変化量を、前記第2の方向における前記頭部移動量に対する前記第2の相対距離の変化量よりも小さくする処理を行う画像処理部として機能させるためのプログラムを記録した記録媒体である。
本技術の一側面の再生装置、再生方法、及び記録媒体においては、実空間の特定の位置から撮影した画像が、仮想空間に設定された基準位置に応じて配置された投影面に投影され、投影された前記画像を見ているユーザの頭部移動量が取得され、前記ユーザから見た左右方向及び上下方向の少なくとも一方向である第1の方向における前記基準位置に対する前記頭部移動量に応じて、前記第1の方向において前記基準位置と前記仮想空間内のユーザ位置との間の第1の相対距離が変化され、前記ユーザから見た前後方向である第2の方向における前記基準位置に対する前記頭部移動量に応じて、前記第2の方向において前記基準位置と前記ユーザ位置との間の第2の相対距離が変化され、前記第1の方向における前記頭部移動量に対する前記第1の相対距離の変化量が、前記第2の方向における前記頭部移動量に対する前記第2の相対距離の変化量よりも小さくされる。
なお、本技術の一側面の再生装置は、独立した装置であってもよいし、1つの装置を構成している内部ブロックであってもよい。
以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
1.本技術の実施の形態
2.変形例
3.コンピュータの構成
2.変形例
3.コンピュータの構成
<1.本技術の実施の形態>
ヘッドマウントディスプレイ(HMD:Head Mounted Display)を装着したユーザ(体験者)が、全天球型画像による3次元的な仮想空間の視聴体験を行うに際しては、画像の歪みを抑制するために、仮想空間内のユーザUの頭部の位置(以下、ユーザ位置という)に対応した仮想カメラの位置を、全天球型スクリーンScの中心Ctの位置に固定する必要がある(図1)。
これにより、図1のAの画像のように、ディスプレイに表示される画像の歪みを防止することが可能となる一方で、ユーザ位置が撮影体(例えば演者)に近づく場合などに、実際のユーザ(体験者)の頭部の位置移動に伴う重力変化に対して、視覚的な変化が生じないために、運動視差の影響によってVR酔いの問題が発生してしまう。
これに対し、このVR酔いの発生を抑制するために、全天球型画像で囲まれた仮想空間上で、ユーザ位置の変位移動を開放した場合に、当該ユーザ位置が、全天球型スクリーンScの中心Ctの位置以外の位置にあるときを想定する(図2)。
このとき、図2のAの画像のように、ディスプレイに表示される画像には、垂直方向と水平方向(縦横方向)の歪みが顕著に発生してしまう。これは、実空間で撮影を行ったカメラの位置は、全天球型スクリーンScの中心Ctの位置に対応しており、その他のアングルから撮影したときの撮影データが存在しないために発生するものである。
このように、全天球型画像による3次元的な仮想空間の視聴体験を実現するに際しては、VR酔い(運動視差の影響)と画像の歪みが問題となっていた。そこで、本技術では、VR酔いと画像の歪みの2つの問題を同時に解決するための方式を提案する。
(システムの構成)
図3は、本技術を適用した画像再生システム1の構成の例を示している。
図3は、本技術を適用した画像再生システム1の構成の例を示している。
画像再生システム1は、再生装置10、及び記録装置20から構成される。画像再生システム1において、再生装置10と記録装置20は、ネットワーク30を介して相互に接続されている。ネットワーク30は、インターネット、イントラネット、携帯電話網などの通信網を含む。
再生装置10は、ヘッドマウントディスプレイ、スマートフォン、ウェアラブル機器、ゲーム機などの電子機器である。以下の説明では、再生装置10として、ヘッドマウントディスプレイを一例に説明する。
再生装置10は、ユーザの操作等に応じて、画像データの配信要求を、ネットワーク30を介して記録装置20に送信する。再生装置10は、記録装置20から配信される画像データを、ネットワーク30を介して受信する。
再生装置10は、受信した画像データに対する画像処理を施して、その結果得られる立体視画像(3D画像)を表示(再生)する。例えば、再生装置10では、撮影で得られた全天球型画像データに基づき、3次元的な仮想空間に、全天球型画像を投影した全天球型スクリーンScを配置することで、立体視画像が表示される。
記録装置20は、立体視画像(3D画像)を表示するための画像データを記録するサーバや、画像処理に特化したワークステーション等から構成される。記録装置20は、立体視画像配信サービス等のコンテンツサービスを事業として行う事業者などにより提供される。
記録装置20は、再生装置10からの配信要求に対する応答として、ネットワーク30を介して画像データを送信(配信)する。
(サービスの例)
図4は、図3の画像再生システム1により提供されるサービスとして、音楽ライブの動画配信サービスの例を示している。
図4は、図3の画像再生システム1により提供されるサービスとして、音楽ライブの動画配信サービスの例を示している。
この音楽ライブの動画配信サービスでは、ライブ会場等の実空間で、全天球型カメラ21や、ステレオ撮影用のカメラ22-1,22-2等のカメラにより被写体Sr(例えば演者)等を撮影することで撮影データが得られる。
この撮影データは、ネットワークや記録媒体などを介して、スタジオ等に設置される記録装置20に送られる。記録装置20は、サーバやワークステーション等から構成され、撮影データに対する画像処理を施し、その結果得られる音楽ライブの画像データ(例えば全天球型画像データ等)や音データを記録する。
記録装置20は、再生装置10からの配信要求に応じて、音楽ライブのデータを、ネットワーク30を介して配信する。なお、データセンタ等に専用の配信サーバを設けて、当該配信サーバが音楽ライブのデータを配信するようにしてもよい。
再生装置10は、ネットワーク30を介して記録装置20から配信される音楽ライブのデータを受信する。再生装置10は、音楽ライブの画像データに対する画像処理を施して、3次元的な仮想空間に音楽ライブの立体視画像を表示する。また、再生装置10は、音楽ライブの音データに対する音声処理を施して、音楽ライブの音を出力する。
これにより、自宅等の実空間でヘッドマウントディスプレイ等の再生装置10を頭部に装着したユーザ(体験者)は、仮想空間内の撮影体Sv(例えば演者)を、所望の角度や大きさで見たり、演奏を聴いたりして、音楽ライブをその場にいるように体感することができる。なお、仮想空間内には、ユーザのアバタAvが配置されてもよい。
(再生装置の構成)
図5は、図3の再生装置10の構成の例を示している。
図5は、図3の再生装置10の構成の例を示している。
図5において、再生装置10は、制御部101、メモリ102、センサ103、画像処理部104、記憶部105、通信部106、表示部107、及び音出力部108などから構成される。
制御部101は、CPU(Central Processing Unit)等のプロセッサから構成される。制御部101は、各部の動作の制御や各種の演算処理を行う中心的な制御装置(処理装置)であり、再生装置10の各部の動作を制御する。
メモリ102は、RAM(Random Access Memory)等の半導体メモリから構成される。メモリ102は、制御部101により処理される各種のデータを一時的に記憶する。
センサ103は、各種のセンサデバイスから構成される。センサ103は、ユーザやその周辺などのセンシングを行い、そのセンシングの結果得られるセンサデータを、制御部101に供給する。制御部101は、センサ103から供給されるセンサデータに基づき、各種の処理を行う。
センサ103としては、3次元の角速度と加速度を測定する慣性計測装置(IMU:Inertial Measurement Unit)などを含む。慣性計測装置(IMU)は、3軸のジャイロスコープと3方向の加速度計により、3次元の角速度と加速度を求めることができる。
なお、センサ103には、近接するものを測定する近接センサ、生物の持つ心拍数、体温、又は姿勢といった情報を測定する生体センサ、磁場(磁界)の大きさや方向を測定する磁気センサなどを含めてもよい。
画像処理部104は、GPU(Graphics Processing Unit)等のプロセッサから構成される。画像処理部104は、制御部101からの制御に従い、画像データ等に対する所定の画像処理を行う。この画像処理で得られた表示データは、表示部107に供給される。
記憶部105は、不揮発性メモリ等の半導体メモリを含む補助記憶装置である。記憶部105は、内部ストレージとして構成されてもよいし、メモリカード等の外部ストレージであってもよい。
記憶部105は、制御部101からの制御に従い、画像データや音データ等の各種のデータを記録する。制御部101は、記憶部105に記録された各種のデータを読み出して処理することができる。
通信部106は、無線LAN(Local Area Network)や、セルラー方式の通信(例えばLTE-Advancedや5G等)などの無線通信又は有線通信に対応した通信装置(通信モジュール)として構成される。通信部106は、制御部101からの制御に従い、ネットワーク30を介して他の機器と通信を行う。
通信部106は、画像データの配信要求を、ネットワーク30を介して、記録装置20に送信する。通信部106は、記録装置20からネットワーク30を介して配信される画像データや音データを受信する。画像データは、制御部101を介して、画像処理部104に供給されて処理されるか、あるいは記憶部105に供給されて記録される。
表示部107は、液晶パネルやOLED(Organic Light Emitting Diode)パネル等の表示装置である。表示部107は、制御部101からの制御に従い、画像処理部104からの表示データに応じた立体視画像や、各種の情報を表示(描画)する。
音出力部108は、スピーカや、コネクタ等を介して接続されるイヤホンやヘッドホン等の音出力装置である。音出力部108は、制御部101からの制御に従い、画像データとともに配信される音データに応じた音を出力する。
(画像処理部の詳細)
図6は、図5の画像処理部104の詳細な構成を示している。
図6は、図5の画像処理部104の詳細な構成を示している。
図6において、画像処理部104は、画像投影部121、頭部移動量取得部122、相対距離調整部123、トリミング画像生成部124、及び切り替え処理部125などから構成される。
画像投影部121は、3次元的な仮想空間で、画像データから得られる撮影画像を、全天球型スクリーンSc(の投影面)に投影する処理を行う。
頭部移動量取得部122は、センサ103からのセンサデータ等に基づいて、ヘッドマウントディスプレイ等の再生装置10を装着したユーザの頭部移動量を取得する処理を行う。
相対距離調整部123は、頭部移動量取得部122により取得された頭部移動量等の情報に基づいて、仮想空間に設定された基準位置(全天球型スクリーンScの中心Ctに対応した位置)と、ユーザ位置(仮想空間内のユーザUの頭部の位置)との間の相対距離を調整する処理を行う。
トリミング画像生成部124は、全天球型スクリーンScに投影された撮影画像から切り出されるトリミング画像を生成する処理を行う。
切り替え処理部125は、仮想空間内で、ユーザ位置に対応して配置される仮想カメラに応じた画像と、ユーザの視点と基準位置とを結ぶ直線上に配置される仮想サブカメラに応じた画像とを切り替える処理を行う。
(VR酔いと画像の歪みの抑制)
図7は、本技術を適用したVR酔いと画像の歪みの抑制方法を示している。なお、図7において、撮影画像を投影した全天球型スクリーンScが配置された仮想空間は、XYZ軸のワールド座標系で表される。
図7は、本技術を適用したVR酔いと画像の歪みの抑制方法を示している。なお、図7において、撮影画像を投影した全天球型スクリーンScが配置された仮想空間は、XYZ軸のワールド座標系で表される。
図7においては、全天球型スクリーンScに撮影画像を投影する際に、ユーザが装着したヘッドマウントディスプレイ等の再生装置10のXYZ軸の各成分の変位量を無視(キャンセル)できるように、全天球型スクリーンScの直径のサイズを、実際のサイズよりも十分な大きさに変換する。
再生装置10では、ユーザの頭部の動きに連動させて、全天球型スクリーンScに対し、ユーザの頭部の移動ベクトルの逆ベクトルを与えることで、実質的に画像が拡大(プラス)又は縮小(マイナス)されるようにしている。これにより、全天球型スクリーンScに投影された撮影画像の拡大率が変更され、画像のズーム機能が実現される。
このとき、画像の歪みに影響がある水平方向成分と垂直方向成分には、逆ベクトルの変位量を小さくする減衰係数を乗じることで、画像の歪みが軽減されるようにする(図中のUX,UY)。
すなわち、ユーザの頭部が水平方向又は垂直方向に移動したときには、その移動に応じた逆ベクトル(の水平方向成分又は垂直方向成分)に、変位量を小さくする減衰係数を乗じることで、水平方向又は垂直方向の変位量を小さくできる。そのため、画像の歪みを軽減することが可能となる。
一方で、画像の歪みが目立たない奥行き方向成分には、全天球型スクリーンScのスケールを考慮した適切な係数を乗じることで、VR酔いが軽減されるようにする(図中のUZ)。ここで、適切な係数は、ユーザの頭部の移動感覚に合った奥行き方向の自然な運動視差を発生させる値とすることができる。
すなわち、ユーザの頭部が奥行き方向に移動したときには、その移動に応じた逆ベクトル(の奥行き方向成分)に、全天球型スクリーンScのスケールに応じた係数を乗じることで、ユーザの頭部の移動感覚に合った奥行き方向の自然な運動視差を発生させることができる。そのため、運動視差の影響により発生するVR酔いを軽減することが可能となる。
これにより、再生装置10では、全天球型画像の視聴時におけるVR酔いと画像の歪みの2つの問題が解決され、VR酔いと画像の歪みを同時に抑制することができる。
なお、全天球型スクリーンScの中心Ctから外れた領域で、画像の歪みが目立つ場合には、この中心Ctから外れた背景に相当する領域はカットし、黒色等の無地の背景をベースにして、コンピュータグラフィックス(CG:Computer Graphics)やパーティクル等のオブジェクトを所定のパターンで配置した背景画を用いてもよい。あるいは、撮影体(例えば演者)をグリーンバック撮影にして、3D CG背景とのクロマキー合成を用いて画像の歪み成分を除去してもよい。
また、画像の歪みの開始位置を検出して、その検出位置を境界にしたXYZ軸の各成分の変位量の制限を与える境界フェンス領域を設置するなどして、水平方向又は垂直方向の成分の変位量に制限を与えてもよい。これにより、水平方向又は垂直方向の成分の変位量が制限されて、画像の歪みを抑制することができる。
(画像処理の流れ)
次に、図8のフローチャートを参照して、VR酔いと画像の歪みの抑制に対応した画像処理の流れを説明する。
次に、図8のフローチャートを参照して、VR酔いと画像の歪みの抑制に対応した画像処理の流れを説明する。
ステップS11において、画像投影部121は、全天球型スクリーンScを、再生装置10のXYZ軸の各成分の変位量を無視できる十分な直径サイズに変換する。
ステップS12において、画像投影部121は、撮影画像を、全天球型スクリーンSc(の投影面)に投影する。
ステップS13において、頭部移動量取得部122は、投影された撮影画像を見ているユーザの頭部移動量を取得する。
ステップS14において、相対距離調整部123は、取得した頭部移動量等の情報に基づいて、ユーザ位置が、全天球型スクリーンScの中心Ctの位置から移動したかどうかを判定する。
ステップS14の判定処理で、ユーザ位置が中心Ctの位置から移動したと判定された場合、処理は、ステップS15に進められる。
ステップS15において、相対距離調整部123は、全天球型スクリーンScの水平方向成分及び垂直方向成分として、ユーザの移動ベクトルの逆ベクトルに、その変位量を小さくする減衰係数を乗じて、水平方向及び垂直方向において基準位置とユーザ位置との間の相対距離を変化させる。
ステップS16において、相対距離調整部123は、全天球型スクリーンScの奥行き成分として、ユーザの移動ベクトルの逆ベクトルに、全天球型スクリーンScのスケールを考慮した適切な係数を乗じて、奥行き方向において基準位置とユーザ位置との間の相対距離を変化させる。
ここでは、再生装置10を装着したユーザの頭部の動きに連動させて、全天球型スクリーンScに対してユーザの移動ベクトルの逆ベクトルを与えるに際して、画像の歪みに影響がある水平方向成分及び垂直方向成分には逆ベクトルの変位量を小さくする減衰係数を乗じる(S15)とともに、画像の歪みが目立たない奥行き方向成分には全天球型スクリーンScのスケールを考慮した適切な係数を乗じている(S16)。
ステップS16の処理が終了するか、ステップS14の判定処理で否定であると判定された場合(S14の「No」)と、処理は、ステップS13の処理に戻り、ステップS13乃至16の処理が繰り返され、再生装置10を装着したユーザの頭部の動きに連動して、再生装置10では、例えば、仮想空間内の撮影体Sv(例えば演者)の見える範囲が変化したり、大きさが変化したりした画像が描画される。
なお、上述したステップS15,S16の処理では、ユーザの頭部がXYZ軸の3方向に移動した場合を説明したが、±X方向、±Y方向、及び±Z方向のうち、少なくとも一方向(1方向、2方向、又は3方向)に移動した場合には、移動した方向に応じて、ステップS15,S16の処理が行われても構わない。
以上、画像処理の流れを説明した。
すなわち、この画像処理では、再生装置10の画像処理部104が、実空間の特定の位置(全天球型カメラ21や、ステレオ撮影用のカメラ22-1,22-2等のカメラの位置)から撮影した画像(撮影画像)を、仮想空間に設定された基準位置(全天球型スクリーンScの中心Ctに対応した位置)に応じて配置された投影面(全天球型スクリーンSc)に投影し(S12)、投影された画像を見ているユーザ(体験者)の頭部移動量を取得し(S13)、ユーザから見た左右方向及び上下方向(水平方向及び垂直方向)の少なくとも一方向である第1の方向における基準位置に対する頭部移動量に応じて、第1の方向において基準位置と仮想空間内のユーザ位置(ユーザUの頭部の位置)との間の第1の相対距離を変化させ(S15)、ユーザから見た前後方向(奥行き方向)である第2の方向における基準位置に対する頭部移動量に応じて、第2の方向において基準位置とユーザ位置との間の第2の相対距離を変化させる(S16)処理を行っている。
このとき、第1の方向(水平方向及び垂直方向の少なくとも一方向)における頭部移動量に対する第1の相対距離の変化量(変位量)は、第2の方向(奥行き方向)における頭部移動量に対する第2の相対距離の変化量(変位量)よりも小さくなる(S15,S16)。
具体的には、画像処理部104は、第1の方向の成分として、頭部移動量に対する第1の相対距離の変化量を小さくする第1の係数(減衰係数)を乗じることができる。つまり、画像処理部104は、投影面(全天球型スクリーンSc)における第1の方向の成分として、頭部移動量に応じた移動ベクトルの逆ベクトルに、その変化量を小さくする第1の係数(減衰係数)を乗じて、第1の相対距離を変化させる。
また、画像処理部104は、第2の方向の成分として、投影面の大きさに応じた第2の係数(全天球型スクリーンScのスケールを考慮した適切な係数)を乗じることができる。この第2の係数は、ユーザの頭部の移動に応じた第2の方向の自然な運動視差を発生させる値である。例えば、第1の係数と第2の係数は、第2の係数 > 第1の係数 > 0の関係を有する。
以上のように、奥行き方向成分に適切な係数を与えることでVR酔いが軽減され、水平方向成分及び垂直方向成分に逆ベクトルの変位量を小さくした減衰係数を与えることで画像の歪みが軽減される。よって、VR酔いと画像の歪みを同時に抑制することができる。
例えば、ヘッドマウントディスプレイ等を頭部に装着したユーザ(体験者)が、全天球型スクリーンの実写の視聴体験を行う場合、仮想空間内で撮影体(例えば演者)に、より近づきたいという要求が高くなる傾向がある。
それに対して、本技術では、上述した画像処理を適用することで、ユーザが全天球型スクリーンに投影された実写(の画像)に近づく動きに連動して、自然に、かつ、正しく、画像をズームして描画する処理を行うことができるため、現実体験と同等の運動視差体験を再現させることが可能となる。その結果として、VR酔いを抑制(軽減)することができる。
その際に、例えば、ユーザが歩いたり、しゃがんだりするときに発生する、ユーザの頭部の位置の移動ベクトルの水平方向成分(歩くときに発生)と垂直方向成分(しゃがむときに発生)を、軽減又はキャンセルすることで、垂直方向と水平方向(縦横方向)の実写(の画像)の歪みを抑制(軽減)することができる。その結果として、実写(の画像)のリアリティやクオリティが担保され、実写の視聴体験の価値を向上させることができる。
(補完用のカメラの配置)
ところで、画像の歪みを発生させないための条件として、投影された撮影画像から切り出されるトリミング画像の矩形の中心位置が、全天球型スクリーンScの中心Ctの位置と重なることが前提となる場合、この条件が満たされたときには、画像の歪みが発生せずに、奥行き方向(±Z方向)のズーム機能を実現することが可能となる。
ところで、画像の歪みを発生させないための条件として、投影された撮影画像から切り出されるトリミング画像の矩形の中心位置が、全天球型スクリーンScの中心Ctの位置と重なることが前提となる場合、この条件が満たされたときには、画像の歪みが発生せずに、奥行き方向(±Z方向)のズーム機能を実現することが可能となる。
図9は、トリミング画像の歪みの例を示している。なお、図9においては、撮影画像を投影した全天球型スクリーンScが配置された仮想空間は、XYZ軸のワールド座標系で表される。
図9において、ユーザ位置、すなわち、仮想カメラの位置が、全天球型スクリーンScの中心Ctの位置から外れる場合に切り出されるトリミング画像Itでは、垂直方向と水平方向(縦横方向)に発生する歪みは大きくなる(図中の破線の矩形)。
一方で、図9において、ユーザ位置(仮想カメラの位置)が、全天球型スクリーンScの中心Ctの位置と一致する場合に得られるトリミング画像Icでは、垂直方向と水平方向(縦横方向)に発生する歪みは小さくなる(図中の実線の矩形)。
すなわち、ユーザ位置が中心Ctの位置から外れる場合に、より歪みの小さいトリミング画像を得るためには、全天球型スクリーンScの中心Ctに対応した所定の位置に設置された仮想カメラから得られる画像を用いればよい。
ここでは、ユーザ位置に対応した仮想カメラCmの他に、仮想カメラCmを補完するための仮想サブカメラCsを、全天球型スクリーンScの中心Ctに対応した所定の位置に配置して、トリミング画像の切り出し時には、仮想カメラCmから仮想サブカメラCsに切り替える。そして、補完用の仮想サブカメラCsの位置(以下、補完カメラ位置という)に応じたトリミング画像が生成されるようにする。
ここで、図10を参照しながら、本技術を適用した補完用の仮想サブカメラCsの配置方法の例を説明する。なお、図10においても、仮想空間は、XYZ軸のワールド座標系で表される。
図10において、仮想サブカメラCsは、全天球型スクリーンSc上のユーザの視点Tの位置と、全天球型スクリーンScの中心Ctの位置とを通る直線上で、かつ、距離Dと同一の距離だけ離れた位置に配置される。ただし、距離Dは、全天球型スクリーンSc上の視点Tの位置と、ユーザ位置(仮想カメラCmの位置)との距離を表している。
仮想サブカメラCsの配置位置と姿勢を特定するベクトル演算式は、例えば、次のように示すことができる。
すなわち、ワールド座標系において、仮想サブカメラCsの位置ベクトルは、下記の式(1)で表される。
また、全天球型スクリーンScの中心Ctの位置から仮想サブカメラCsの位置へ向かうベクトルは、中心Ctの位置から視点Tの位置に向かうベクトルと、距離Dを用いて、下記の式(2)で表される。
なお、式(2)において、「.norm」は、正規化を表している。
このとき、距離Dは、下記の式(3)の関係で表される。
(トリミング画像生成処理の流れ)
次に、図11のフローチャートを参照して、トリミング画像生成処理の流れを説明する。
次に、図11のフローチャートを参照して、トリミング画像生成処理の流れを説明する。
ステップS31において、制御部101は、ユーザの操作に応じて、画面の画像を切り出すかどうかを判定する。
この操作としては、スクリーンショット機能を実施するための操作などが含まれる。なお、ユーザの操作に限らず、所定のイベントやトリガなどに基づき、画像の切り出し機能が実施されてもよい。
ステップS31の判定処理で、画像を切り出すと判定された場合、処理は、ステップS32に進められる。ステップS32において、トリミング画像生成部124は、上述したベクトル演算式を用いて、仮想サブカメラCsの位置として、補完カメラ位置を算出する。
ステップS33において、トリミング画像生成部124は、算出した補完カメラ位置に設置された仮想サブカメラCsの位置と姿勢に応じたトリミング画像を生成する。
このトリミング画像は、記憶部105に記録されたり、あるいは表示部107に表示されたりする。なお、ステップS33の処理が終了すると、処理を終了する。
以上、トリミング画像生成処理の流れを説明した。
このトリミング画像生成処理では、撮影画像を投影した全天球型スクリーンScが配置された仮想空間内で、ユーザがスクリーンショット機能などを実施するに際し、全天球型スクリーンScの中心Ctに対応した所定の位置に設置された仮想サブカメラCsの位置と姿勢に応じたトリミング画像が生成される。そのため、歪みが抑制されたトリミング画像を得ることができる。
(ユーザ位置の切り替え方法)
次に、仮想空間において、全天球型スクリーンSc上の視点Tに対するユーザ位置をシームレスに切り替える方法について説明する。
次に、仮想空間において、全天球型スクリーンSc上の視点Tに対するユーザ位置をシームレスに切り替える方法について説明する。
図12は、全天球型スクリーンSc上の視点Tの位置に対する仮想カメラCmと仮想サブカメラCsの位置の関係を示している。なお、図12においては、撮影画像を投影した全天球型スクリーンScが配置された仮想空間は、XYZ軸のワールド座標系で表される。
図12に示すように、仮想サブカメラCsは、全天球型スクリーンSc上の視点Tの位置と、全天球型スクリーンScの中心Ctの位置とを通る直線上に配置することができる。また、仮想カメラCmの位置は、ユーザ位置に対応している。
ここでは、ユーザ位置の切り替えを、シームレスに実現するために、仮想カメラCmと仮想サブカメラCsを利用する。
図13は、本技術を適用したユーザ位置の切り替え方法の例を示している。なお、図13は、XYZ軸のワールド座標系で表された仮想空間に配置された全天球型スクリーンScを、ZX平面から見た場合を示している。
図13においては、ユーザが見ている画像の歪みが発生しないように、仮想カメラCmの位置を、仮想サブカメラCsの移動軌道の直線上に徐々に近づける。すなわち、仮想カメラCmの位置が、その移動軌道に沿って、所定の時間間隔で徐々に仮想サブカメラCsの移動軌道の直線上に近づくようにすることで、ユーザ位置から視点Tの位置までの距離Dに影響を与えないようにする。
そして、仮想カメラCmの位置が、仮想サブカメラCsの移動軌道の直線と交わった時点のカメラ切り替え点Ccで、仮想カメラCmから仮想サブカメラCsに切り替えて、ユーザ位置を、仮想カメラCmの移動軌道から、仮想サブカメラCsの移動軌道にシームレスに切り替える。その後、ユーザ位置に応じた仮想サブカメラCsの位置を、その移動軌道上で、視点Tの位置に近づくように所定の時間間隔で移動させる。
図13において、時刻t1,t2,・・・tn(n:1以上の整数)が示す直線上の黒丸は、視点Tに向けたユーザの移動意思に応じた移動方向(図中の点線)と、仮想カメラ(Cm,Cs)の実際の移動軌道とで、視点Tの位置からの距離Dが同一であることを表している(図中の破線と一点鎖線)。
このようにして、仮想カメラ(Cm,Cs)の移動軌道を、奥行き方向(±Z方向)に、自然な運動視差を与える移動軌道とすることが可能となるため、結果として、VR酔いを抑制することができる。
なお、図13においては、仮想カメラCmの位置を、視点Tの位置に近づける際に、仮想カメラCmから仮想サブカメラCsに切り替える場合を示したが、その逆に、仮想サブカメラCsの位置を、視点Tの位置から遠ざける場合には、次のようにすればよい。
すなわち、仮想サブカメラCsの位置を、視点Tの位置から仮想サブカメラCsの移動軌道の直線上で遠ざけ、カメラ切り替え点Ccに到達したとき、仮想サブカメラCsの移動軌道から仮想カメラCmの移動軌道にシームレスに切り替えて、仮想カメラCmの移動軌道に戻せばよい。
また、図13において、円形の全天球型スクリーンScに内接した矩形の境界フェンス領域Apは、仮想空間内のユーザU(仮想カメラCm,仮想サブカメラCs)の移動が許容される領域を表している。この境界フェンス領域Apを設定することで、ユーザ位置の移動が制限されるため、例えば水平方向(±X方向)の移動が制限されて、画像の歪みを抑制することができる。
(ユーザ位置切り替え処理の流れ)
次に、図14のフローチャートを参照して、ユーザ位置切り替え処理の流れを説明する。
次に、図14のフローチャートを参照して、ユーザ位置切り替え処理の流れを説明する。
なお、ユーザ位置切り替え処理を実施するに際して、初期状態では、ユーザ位置に対応した仮想カメラとして、仮想カメラCmが選択されているものとする。
ステップS51において、切り替え処理部125は、撮影画像を投影する全天球型スクリーンSc上の視点Tの位置を算出する。
ステップS52において、切り替え処理部125は、全天球型スクリーンSc上の視点Tの位置と、ユーザ位置とを結ぶ直線が、全天球型スクリーンScの中心Ctの位置を通るかどうかを判定する。
ステップS52の判定処理で、視点Tの位置とユーザ位置とを結ぶ直線が、中心Ctの位置を通ると判定された場合、処理は、ステップS53に進められる。
ステップS53において、切り替え処理部125は、選択中の仮想カメラCmに応じた画像を描画する。
一方で、視点Tの位置とユーザ位置とを結ぶ直線が、中心Ctの位置を通らないと判定された場合、処理は、ステップS54に進められる。
ステップS54において、切り替え処理部125は、仮想カメラCmの位置を、仮想サブカメラCsの移動軌道に寄せながら、視点Tの位置に対する変位移動を行う。
ここで、仮想サブカメラCsの移動軌道は、図13に示したように、視点Tと中心Ctを結ぶ直線である。また、ステップS54の「寄せながら」とは、視点Tまでの距離Dに影響を与えずに、急激なユーザ位置の変更にならない速度で、仮想カメラCmの位置を、仮想サブカメラCsの移動軌道に寄せることを意味する。
ステップS55において、切り替え処理部125は、仮想カメラCmの位置が、仮想サブカメラCsの移動軌道に到達したかどうかを判定する。
ステップS55の判定処理で、仮想カメラCmの位置が仮想サブカメラCsの移動軌道に到達していないと判定された場合、処理は、ステップS56に進められる。
ステップS56において、切り替え処理部125は、仮想カメラCmの選択を維持する。このとき、選択中の仮想カメラCmに応じた画像が継続して描画される。
ステップS56の処理が終了すると、処理は、ステップS54に戻り、ステップS54乃至S56の処理が繰り返される。そして、ステップS55の判定処理で、仮想カメラCmの位置が仮想サブカメラCsの移動軌道に到達したと判定された場合、処理は、ステップS57に進められる。
ステップS57において、切り替え処理部125は、選択する仮想カメラを、仮想カメラCmから仮想サブカメラCsに切り替える。
ステップS57の処理を終了すると、処理は、ステップS53に進められる。ステップS53において、切り替え処理部125は、選択中の仮想サブカメラCsに応じた画像を描画する。なお、ステップS53の処理が終了すると、処理を終了する。
以上、ユーザ位置切り替え処理の流れを説明した。
このユーザ位置切り替え処理では、仮想カメラ(Cm,Cs)の移動軌道を、奥行き方向(±Z方向)に、自然な運動視差を与える移動軌道とすることが可能となるため、結果として、VR酔いを抑制することができる。また、仮想カメラCmの位置を、視点Tまでの距離Dに影響を与えずに、急激なユーザ位置の変更にならない速度で、仮想サブカメラCsの移動軌道に寄せているため、視聴中の画像の歪みを抑制することができる。
換言すれば、このユーザ位置切り替え処理では、水平方向(又は垂直方向)においてユーザ位置が基準位置(中心Ctに対応した位置)から離れている状態で、奥行き方向における頭部移動量が変化した場合に、水平方向(又は垂直方向)において、ユーザ位置を基準位置に近づけるとともに、奥行き方向における頭部移動量に応じた相対距離(基準位置とユーザ位置との間の相対距離)を変化させているとも言える。
(画像の歪みの有無の比較)
図15は、仮想カメラの位置の違いによる画像の歪みの比較の例を示している。
図15は、仮想カメラの位置の違いによる画像の歪みの比較の例を示している。
図15のAは、撮影画像を投影した全天球型スクリーンScが配置された仮想空間で、撮影体Sv(例えば演者)に対してユーザの視点Tが向けられている場合における仮想カメラCmと仮想サブカメラCsの配置の例を示している。上述した例では、この仮想カメラの配置の関係を利用している。
すなわち、仮想カメラCmの画像は、全天球型スクリーンScの中心Ct以外の位置から見たアングルの画像となる。この仮想カメラCmに応じた画像を描画した場合、歪みのある画像となる(図15のB)。
一方で、仮想サブカメラCsの画像は、全天球型スクリーンScの中心Ctを通る直線上で、かつ、視点Tの位置からの距離が、視点Tの位置と仮想カメラCmの距離と等しい距離にある仮想サブカメラCsから見たアングルの画像となる。この仮想サブカメラCsに応じた画像を描画した場合、歪みのない画像となる(図15のC)。
<2.変形例>
上述した説明では、再生装置10が、画像処理部104と表示部107を有する構成を示したが、表示部107を有する表示装置を別途設けることで、画像処理部104を有する再生装置10(専用のコンソール等の画像処理装置)に、表示部107を含めない構成としてもよい。記録装置20は、1つの機器として構成されることは勿論、その機能(画像処理機能や記録機能、配信機能等)ごとに個別のサーバにより構成されてもよい。
なお、画像再生システム1において、再生装置10と記録装置20の各装置を構成する各構成要素が、どの装置に含まれるかは任意である。換言すれば、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。
したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。また、各構成要素の通信形態も任意である。換言すれば、各構成要素は、インターネットを介して接続されてもよく、ローカルネット(LAN(Local Area Network)又はWAN(Wide Area Network))を介して接続されてもよい。さらに、各構成要素は、有線で接続されてもよく、無線で接続されてもよい。
上述した説明では、360°の全天球(球体)からなる全天球型スクリーンScに、全天球型画像(撮影画像)を投影した3次元的な仮想空間の視聴体験を行う場合を例示したが、全天球は一例であって、全天球型スクリーンScは、180°の半天球などの球体面を部分的に用いた球面上のスクリーンを含めた総称である。
また、上述した説明では、音楽ライブの動画配信サービスを一例に説明したが、ユーザの身体的な運動を伴う実写の視聴体験としては、スポーツなどのライブ視聴体験の他、旅行や会議、その他レジャー施設などの擬似体験など、あらゆる全天球型スクリーンの実写の視聴体験に、本技術を適用することができる。
また、本技術は、全天球型スクリーンの実写の視聴体験に限らず、例えば、実写のスクリーンショットや、無人航空機(ドローン)等からの空撮画像などにも適用することができる。
なお、本明細書において、「視点」とは、撮影画像が投影された全天球型スクリーンSc上で、ユーザが見ている対象(注視点)を意味している。そのため、当該対象(注視点)をユーザが見ている位置(立脚点)のことを、「ユーザUの頭部の位置」、又は「ユーザ位置」と記述して、「視点」と区別している。
また、本明細書において、「画像」は、「映像」と読み替えても構わない。
<3.コンピュータの構成>
上述した一連の処理(例えば、図8に示した画像処理等)は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。図16は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータ1000において、CPU(Central Processing Unit)1001、ROM(Read Only Memory)1002、RAM(Random Access Memory)1003は、バス1004により相互に接続されている。バス1004には、さらに、入出力インターフェース1005が接続されている。入出力インターフェース1005には、入力部1006、出力部1007、記録部1008、通信部1009、及び、ドライブ1010が接続されている。
入力部1006は、マイクロフォン、キーボード、マウスなどよりなる。出力部1007は、スピーカ、ディスプレイなどよりなる。記録部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインターフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体1011を駆動する。
以上のように構成されるコンピュータ1000では、CPU1001が、ROM1002や記録部1008に記録されているプログラムを、入出力インターフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ1000(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
コンピュータ1000では、プログラムは、リムーバブル記録媒体1011をドライブ1010に装着することにより、入出力インターフェース1005を介して、記録部1008にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部1009で受信し、記録部1008にインストールすることができる。その他、プログラムは、ROM1002や記録部1008に、あらかじめインストールしておくことができる。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。また、プログラムは、1のコンピュータ(プロセッサ)により処理されてもよいし、複数のコンピュータによって分散処理されてもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、上述した処理の各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は、以下のような構成をとることができる。
(1)
実空間の特定の位置から撮影した画像を、仮想空間に設定された基準位置に応じて配置された投影面に投影し、
投影された前記画像を見ているユーザの頭部移動量を取得し、
前記ユーザから見た左右方向及び上下方向の少なくとも一方向である第1の方向における前記基準位置に対する前記頭部移動量に応じて、前記第1の方向において前記基準位置と前記仮想空間内のユーザ位置との間の第1の相対距離を変化させ、
前記ユーザから見た前後方向である第2の方向における前記基準位置に対する前記頭部移動量に応じて、前記第2の方向において前記基準位置と前記ユーザ位置との間の第2の相対距離を変化させ、
前記第1の方向における前記頭部移動量に対する前記第1の相対距離の変化量を、前記第2の方向における前記頭部移動量に対する前記第2の相対距離の変化量よりも小さくする
処理を行う画像処理部を備える
再生装置。
(2)
前記画像処理部は、前記第1の方向の成分として、前記頭部移動量に対する前記第1の相対距離の変化量を小さくする第1の係数を乗じる
前記(1)に記載の再生装置。
(3)
前記画像処理部は、前記投影面における前記第1の方向の成分として、前記頭部移動量に応じた移動ベクトルの逆ベクトルに、その変化量を小さくする前記第1の係数を乗じて、前記第1の相対距離を変化させる
前記(2)に記載の再生装置。
(4)
前記画像処理部は、前記第2の方向の成分として、前記投影面の大きさに応じた第2の係数を乗じる
前記(2)又は(3)に記載の再生装置。
(5)
前記第2の係数は、前記ユーザの頭部の移動に応じた前記第2の方向の自然な運動視差を発生させる値である
前記(4)に記載の再生装置。
(6)
前記第2の係数 > 前記第1の係数 > 0の関係を有する
前記(4)又は(5)に記載の再生装置。
(7)
前記画像処理部は、前記第1の方向において前記ユーザ位置が前記基準位置から離れている状態で、前記第2の方向における前記頭部移動量が変化した場合、前記第1の方向において、前記ユーザ位置を前記基準位置に近づけるとともに、前記第2の方向における前記頭部移動量に応じて前記第2の相対距離を変化させる
前記(1)乃至(6)のいずれかに記載の再生装置。
(8)
前記画像処理部は、
投影された前記画像上の前記ユーザの視点に向けて移動する場合に、前記ユーザ位置に対応して配置される第1の仮想カメラと異なる第2の仮想カメラを、前記視点と前記基準位置とを結ぶ直線上の所定の位置に配置し、
前記ユーザ位置から第1の移動軌道上を移動した前記第1の仮想カメラの位置が、前記第2の仮想カメラの第2の移動軌道に交わったとき、前記第1の仮想カメラに応じた画像から、前記第2の仮想カメラに応じた画像に切り替える
前記(7)に記載の再生装置。
(9)
前記画像処理部は、
前記第1の仮想カメラの位置を、前記第1の移動軌道上で、前記第2の移動軌道に近づくように所定の時間間隔で移動させ、
前記第1の仮想カメラの位置が、前記第2の移動軌道に交わったとき、前記第1の仮想カメラに応じた画像から、前記第2の仮想カメラに応じた画像に切り替え、
前記第2の仮想カメラの位置を、前記第2の移動軌道上で、前記視点の位置に近づくように所定の時間間隔で移動させる
前記(8)に記載の再生装置。
(10)
前記第1の移動軌道上の前記第1の仮想カメラの移動、及び前記第2の移動軌道上の前記第2の仮想カメラの移動は、前記ユーザ位置から前記視点の方向に向かう移動と時間的に対応している
前記(8)又は(9)に記載の再生装置。
(11)
前記画像処理部は、前記投影面に対応した領域において、前記第1の仮想カメラ及び前記第2の仮想カメラの移動が許容される領域である境界領域を設定する
前記(8)乃至(10)のいずれかに記載の再生装置。
(12)
前記画像処理部は、前記ユーザ位置が前記基準位置から離れている状態で、投影された前記画像上の前記ユーザの視点を含むトリミング画像を切り出す場合に、前記基準位置に対応する所定の位置から前記視点を見たときのトリミング画像が切り出されるようにする
前記(1)に記載の再生装置。
(13)
前記画像処理部は、前記ユーザ位置に対応して配置される第1の仮想カメラと異なる第2の仮想カメラを、前記視点と前記基準位置とを結ぶ直線上で、かつ、前記視点と前記ユーザ位置と同一の距離だけ離れた位置に配置する
前記(12)に記載の再生装置。
(14)
前記画像処理部は、前記トリミング画像を切り出す場合に、前記第1の仮想カメラに応じた画像から、前記第2の仮想カメラに応じた画像に切り替える
前記(13)に記載の再生装置。
(15)
前記投影面は、全天球型スクリーンである
前記(1)乃至(14)のいずれかに記載の再生装置。
(16)
前記基準位置は、前記全天球型スクリーンの中心に対応した位置である
前記(15)に記載の再生装置。
(17)
ヘッドマウントディスプレイとして構成される
前記(15)に記載の再生装置。
(18)
前記画像処理部は、前記全天球型スクリーンを、前記ヘッドマウントディスプレイのXYZ軸の各成分の変化量を無視できる十分な直径サイズに変換する
前記(17)に記載の再生装置。
(19)
再生装置が、
実空間の特定の位置から撮影した画像を、仮想空間に設定された基準位置に応じて配置された投影面に投影し、
投影された前記画像を見ているユーザの頭部移動量を取得し、
前記ユーザから見た左右方向及び上下方向の少なくとも一方向である第1の方向における前記基準位置に対する前記頭部移動量に応じて、前記第1の方向において前記基準位置と前記仮想空間内のユーザ位置との間の第1の相対距離を変化させ、
前記ユーザから見た前後方向である第2の方向における前記基準位置に対する前記頭部移動量に応じて、前記第2の方向において前記基準位置と前記ユーザ位置との間の第2の相対距離を変化させ、
前記第1の方向における前記頭部移動量に対する前記第1の相対距離の変化量を、前記第2の方向における前記頭部移動量に対する前記第2の相対距離の変化量よりも小さくする
再生方法。
(20)
コンピュータを、
実空間の特定の位置から撮影した画像を、仮想空間に設定された基準位置に応じて配置された投影面に投影し、
投影された前記画像を見ているユーザの頭部移動量を取得し、
前記ユーザから見た左右方向及び上下方向の少なくとも一方向である第1の方向における前記基準位置に対する前記頭部移動量に応じて、前記第1の方向において前記基準位置と前記仮想空間内のユーザ位置との間の第1の相対距離を変化させ、
前記ユーザから見た前後方向である第2の方向における前記基準位置に対する前記頭部移動量に応じて、前記第2の方向において前記基準位置と前記ユーザ位置との間の第2の相対距離を変化させ、
前記第1の方向における前記頭部移動量に対する前記第1の相対距離の変化量を、前記第2の方向における前記頭部移動量に対する前記第2の相対距離の変化量よりも小さくする
処理を行う画像処理部として機能させるためのプログラムを記録した記録媒体。
実空間の特定の位置から撮影した画像を、仮想空間に設定された基準位置に応じて配置された投影面に投影し、
投影された前記画像を見ているユーザの頭部移動量を取得し、
前記ユーザから見た左右方向及び上下方向の少なくとも一方向である第1の方向における前記基準位置に対する前記頭部移動量に応じて、前記第1の方向において前記基準位置と前記仮想空間内のユーザ位置との間の第1の相対距離を変化させ、
前記ユーザから見た前後方向である第2の方向における前記基準位置に対する前記頭部移動量に応じて、前記第2の方向において前記基準位置と前記ユーザ位置との間の第2の相対距離を変化させ、
前記第1の方向における前記頭部移動量に対する前記第1の相対距離の変化量を、前記第2の方向における前記頭部移動量に対する前記第2の相対距離の変化量よりも小さくする
処理を行う画像処理部を備える
再生装置。
(2)
前記画像処理部は、前記第1の方向の成分として、前記頭部移動量に対する前記第1の相対距離の変化量を小さくする第1の係数を乗じる
前記(1)に記載の再生装置。
(3)
前記画像処理部は、前記投影面における前記第1の方向の成分として、前記頭部移動量に応じた移動ベクトルの逆ベクトルに、その変化量を小さくする前記第1の係数を乗じて、前記第1の相対距離を変化させる
前記(2)に記載の再生装置。
(4)
前記画像処理部は、前記第2の方向の成分として、前記投影面の大きさに応じた第2の係数を乗じる
前記(2)又は(3)に記載の再生装置。
(5)
前記第2の係数は、前記ユーザの頭部の移動に応じた前記第2の方向の自然な運動視差を発生させる値である
前記(4)に記載の再生装置。
(6)
前記第2の係数 > 前記第1の係数 > 0の関係を有する
前記(4)又は(5)に記載の再生装置。
(7)
前記画像処理部は、前記第1の方向において前記ユーザ位置が前記基準位置から離れている状態で、前記第2の方向における前記頭部移動量が変化した場合、前記第1の方向において、前記ユーザ位置を前記基準位置に近づけるとともに、前記第2の方向における前記頭部移動量に応じて前記第2の相対距離を変化させる
前記(1)乃至(6)のいずれかに記載の再生装置。
(8)
前記画像処理部は、
投影された前記画像上の前記ユーザの視点に向けて移動する場合に、前記ユーザ位置に対応して配置される第1の仮想カメラと異なる第2の仮想カメラを、前記視点と前記基準位置とを結ぶ直線上の所定の位置に配置し、
前記ユーザ位置から第1の移動軌道上を移動した前記第1の仮想カメラの位置が、前記第2の仮想カメラの第2の移動軌道に交わったとき、前記第1の仮想カメラに応じた画像から、前記第2の仮想カメラに応じた画像に切り替える
前記(7)に記載の再生装置。
(9)
前記画像処理部は、
前記第1の仮想カメラの位置を、前記第1の移動軌道上で、前記第2の移動軌道に近づくように所定の時間間隔で移動させ、
前記第1の仮想カメラの位置が、前記第2の移動軌道に交わったとき、前記第1の仮想カメラに応じた画像から、前記第2の仮想カメラに応じた画像に切り替え、
前記第2の仮想カメラの位置を、前記第2の移動軌道上で、前記視点の位置に近づくように所定の時間間隔で移動させる
前記(8)に記載の再生装置。
(10)
前記第1の移動軌道上の前記第1の仮想カメラの移動、及び前記第2の移動軌道上の前記第2の仮想カメラの移動は、前記ユーザ位置から前記視点の方向に向かう移動と時間的に対応している
前記(8)又は(9)に記載の再生装置。
(11)
前記画像処理部は、前記投影面に対応した領域において、前記第1の仮想カメラ及び前記第2の仮想カメラの移動が許容される領域である境界領域を設定する
前記(8)乃至(10)のいずれかに記載の再生装置。
(12)
前記画像処理部は、前記ユーザ位置が前記基準位置から離れている状態で、投影された前記画像上の前記ユーザの視点を含むトリミング画像を切り出す場合に、前記基準位置に対応する所定の位置から前記視点を見たときのトリミング画像が切り出されるようにする
前記(1)に記載の再生装置。
(13)
前記画像処理部は、前記ユーザ位置に対応して配置される第1の仮想カメラと異なる第2の仮想カメラを、前記視点と前記基準位置とを結ぶ直線上で、かつ、前記視点と前記ユーザ位置と同一の距離だけ離れた位置に配置する
前記(12)に記載の再生装置。
(14)
前記画像処理部は、前記トリミング画像を切り出す場合に、前記第1の仮想カメラに応じた画像から、前記第2の仮想カメラに応じた画像に切り替える
前記(13)に記載の再生装置。
(15)
前記投影面は、全天球型スクリーンである
前記(1)乃至(14)のいずれかに記載の再生装置。
(16)
前記基準位置は、前記全天球型スクリーンの中心に対応した位置である
前記(15)に記載の再生装置。
(17)
ヘッドマウントディスプレイとして構成される
前記(15)に記載の再生装置。
(18)
前記画像処理部は、前記全天球型スクリーンを、前記ヘッドマウントディスプレイのXYZ軸の各成分の変化量を無視できる十分な直径サイズに変換する
前記(17)に記載の再生装置。
(19)
再生装置が、
実空間の特定の位置から撮影した画像を、仮想空間に設定された基準位置に応じて配置された投影面に投影し、
投影された前記画像を見ているユーザの頭部移動量を取得し、
前記ユーザから見た左右方向及び上下方向の少なくとも一方向である第1の方向における前記基準位置に対する前記頭部移動量に応じて、前記第1の方向において前記基準位置と前記仮想空間内のユーザ位置との間の第1の相対距離を変化させ、
前記ユーザから見た前後方向である第2の方向における前記基準位置に対する前記頭部移動量に応じて、前記第2の方向において前記基準位置と前記ユーザ位置との間の第2の相対距離を変化させ、
前記第1の方向における前記頭部移動量に対する前記第1の相対距離の変化量を、前記第2の方向における前記頭部移動量に対する前記第2の相対距離の変化量よりも小さくする
再生方法。
(20)
コンピュータを、
実空間の特定の位置から撮影した画像を、仮想空間に設定された基準位置に応じて配置された投影面に投影し、
投影された前記画像を見ているユーザの頭部移動量を取得し、
前記ユーザから見た左右方向及び上下方向の少なくとも一方向である第1の方向における前記基準位置に対する前記頭部移動量に応じて、前記第1の方向において前記基準位置と前記仮想空間内のユーザ位置との間の第1の相対距離を変化させ、
前記ユーザから見た前後方向である第2の方向における前記基準位置に対する前記頭部移動量に応じて、前記第2の方向において前記基準位置と前記ユーザ位置との間の第2の相対距離を変化させ、
前記第1の方向における前記頭部移動量に対する前記第1の相対距離の変化量を、前記第2の方向における前記頭部移動量に対する前記第2の相対距離の変化量よりも小さくする
処理を行う画像処理部として機能させるためのプログラムを記録した記録媒体。
1 画像再生システム,10 再生装置, 20 記録装置, 21,22-1,22-2 カメラ, 30 ネットワーク, 101 制御部, 102 メモリ, 103 センサ, 104 画像処理部, 105 記憶部, 106 通信部, 107 表示部, 108 音出力部, 121 画像投影部, 122 頭部移動量取得部, 123 相対距離調整部, 124 トリミング画像生成部, 125 切り替え処理部, 1001 CPU, 1011 リムーバブル記録媒体
Claims (20)
- 実空間の特定の位置から撮影した画像を、仮想空間に設定された基準位置に応じて配置された投影面に投影し、
投影された前記画像を見ているユーザの頭部移動量を取得し、
前記ユーザから見た左右方向及び上下方向の少なくとも一方向である第1の方向における前記基準位置に対する前記頭部移動量に応じて、前記第1の方向において前記基準位置と前記仮想空間内のユーザ位置との間の第1の相対距離を変化させ、
前記ユーザから見た前後方向である第2の方向における前記基準位置に対する前記頭部移動量に応じて、前記第2の方向において前記基準位置と前記ユーザ位置との間の第2の相対距離を変化させ、
前記第1の方向における前記頭部移動量に対する前記第1の相対距離の変化量を、前記第2の方向における前記頭部移動量に対する前記第2の相対距離の変化量よりも小さくする
処理を行う画像処理部を備える
再生装置。 - 前記画像処理部は、前記第1の方向の成分として、前記頭部移動量に対する前記第1の相対距離の変化量を小さくする第1の係数を乗じる
請求項1に記載の再生装置。 - 前記画像処理部は、前記投影面における前記第1の方向の成分として、前記頭部移動量に応じた移動ベクトルの逆ベクトルに、その変化量を小さくする前記第1の係数を乗じて、前記第1の相対距離を変化させる
請求項2に記載の再生装置。 - 前記画像処理部は、前記第2の方向の成分として、前記投影面の大きさに応じた第2の係数を乗じる
請求項2に記載の再生装置。 - 前記第2の係数は、前記ユーザの頭部の移動に応じた前記第2の方向の自然な運動視差を発生させる値である
請求項4に記載の再生装置。 - 前記第2の係数 > 前記第1の係数 > 0の関係を有する
請求項4に記載の再生装置。 - 前記画像処理部は、前記第1の方向において前記ユーザ位置が前記基準位置から離れている状態で、前記第2の方向における前記頭部移動量が変化した場合、前記第1の方向において、前記ユーザ位置を前記基準位置に近づけるとともに、前記第2の方向における前記頭部移動量に応じて前記第2の相対距離を変化させる
請求項1に記載の再生装置。 - 前記画像処理部は、
投影された前記画像上の前記ユーザの視点に向けて移動する場合に、前記ユーザ位置に対応して配置される第1の仮想カメラと異なる第2の仮想カメラを、前記視点と前記基準位置とを結ぶ直線上の所定の位置に配置し、
前記ユーザ位置から第1の移動軌道上を移動した前記第1の仮想カメラの位置が、前記第2の仮想カメラの第2の移動軌道に交わったとき、前記第1の仮想カメラに応じた画像から、前記第2の仮想カメラに応じた画像に切り替える
請求項7に記載の再生装置。 - 前記画像処理部は、
前記第1の仮想カメラの位置を、前記第1の移動軌道上で、前記第2の移動軌道に近づくように所定の時間間隔で移動させ、
前記第1の仮想カメラの位置が、前記第2の移動軌道に交わったとき、前記第1の仮想カメラに応じた画像から、前記第2の仮想カメラに応じた画像に切り替え、
前記第2の仮想カメラの位置を、前記第2の移動軌道上で、前記視点の位置に近づくように所定の時間間隔で移動させる
請求項8に記載の再生装置。 - 前記第1の移動軌道上の前記第1の仮想カメラの移動、及び前記第2の移動軌道上の前記第2の仮想カメラの移動は、前記ユーザ位置から前記視点の方向に向かう移動と時間的に対応している
請求項9に記載の再生装置。 - 前記画像処理部は、前記投影面に対応した領域において、前記第1の仮想カメラ及び前記第2の仮想カメラの移動が許容される領域である境界領域を設定する
請求項8に記載の再生装置。 - 前記画像処理部は、前記ユーザ位置が前記基準位置から離れている状態で、投影された前記画像上の前記ユーザの視点を含むトリミング画像を切り出す場合に、前記基準位置に対応する所定の位置から前記視点を見たときのトリミング画像が切り出されるようにする
請求項1に記載の再生装置。 - 前記画像処理部は、前記ユーザ位置に対応して配置される第1の仮想カメラと異なる第2の仮想カメラを、前記視点と前記基準位置とを結ぶ直線上で、かつ、前記視点と前記ユーザ位置と同一の距離だけ離れた位置に配置する
請求項12に記載の再生装置。 - 前記画像処理部は、前記トリミング画像を切り出す場合に、前記第1の仮想カメラに応じた画像から、前記第2の仮想カメラに応じた画像に切り替える
請求項13に記載の再生装置。 - 前記投影面は、全天球型スクリーンである
請求項1に記載の再生装置。 - 前記基準位置は、前記全天球型スクリーンの中心に対応した位置である
請求項15に記載の再生装置。 - ヘッドマウントディスプレイとして構成される
請求項15に記載の再生装置。 - 前記画像処理部は、前記全天球型スクリーンを、前記ヘッドマウントディスプレイのXYZ軸の各成分の変化量を無視できる十分な直径サイズに変換する
請求項17に記載の再生装置。 - 再生装置が、
実空間の特定の位置から撮影した画像を、仮想空間に設定された基準位置に応じて配置された投影面に投影し、
投影された前記画像を見ているユーザの頭部移動量を取得し、
前記ユーザから見た左右方向及び上下方向の少なくとも一方向である第1の方向における前記基準位置に対する前記頭部移動量に応じて、前記第1の方向において前記基準位置と前記仮想空間内のユーザ位置との間の第1の相対距離を変化させ、
前記ユーザから見た前後方向である第2の方向における前記基準位置に対する前記頭部移動量に応じて、前記第2の方向において前記基準位置と前記ユーザ位置との間の第2の相対距離を変化させ、
前記第1の方向における前記頭部移動量に対する前記第1の相対距離の変化量を、前記第2の方向における前記頭部移動量に対する前記第2の相対距離の変化量よりも小さくする
再生方法。 - コンピュータを、
実空間の特定の位置から撮影した画像を、仮想空間に設定された基準位置に応じて配置された投影面に投影し、
投影された前記画像を見ているユーザの頭部移動量を取得し、
前記ユーザから見た左右方向及び上下方向の少なくとも一方向である第1の方向における前記基準位置に対する前記頭部移動量に応じて、前記第1の方向において前記基準位置と前記仮想空間内のユーザ位置との間の第1の相対距離を変化させ、
前記ユーザから見た前後方向である第2の方向における前記基準位置に対する前記頭部移動量に応じて、前記第2の方向において前記基準位置と前記ユーザ位置との間の第2の相対距離を変化させ、
前記第1の方向における前記頭部移動量に対する前記第1の相対距離の変化量を、前記第2の方向における前記頭部移動量に対する前記第2の相対距離の変化量よりも小さくする
処理を行う画像処理部として機能させるためのプログラムを記録した記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/640,983 US20220337805A1 (en) | 2019-09-13 | 2020-08-31 | Reproduction device, reproduction method, and recording medium |
CN202080062605.7A CN114342367A (zh) | 2019-09-13 | 2020-08-31 | 再现装置、再现方法和记录介质 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-166893 | 2019-09-13 | ||
JP2019166893 | 2019-09-13 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021049356A1 true WO2021049356A1 (ja) | 2021-03-18 |
Family
ID=74866590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/032879 WO2021049356A1 (ja) | 2019-09-13 | 2020-08-31 | 再生装置、再生方法、及び記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220337805A1 (ja) |
CN (1) | CN114342367A (ja) |
WO (1) | WO2021049356A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018163427A (ja) * | 2017-03-24 | 2018-10-18 | 株式会社コロプラ | 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置 |
WO2018216355A1 (ja) * | 2017-05-24 | 2018-11-29 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2019078033A1 (ja) * | 2017-10-20 | 2019-04-25 | ソニー株式会社 | 再生装置および方法、並びに、生成装置および方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6337882B1 (en) * | 1998-03-06 | 2002-01-08 | Lucent Technologies Inc. | Method and apparatus for generating unlimited selected image views from a larger image |
JP3472273B2 (ja) * | 2001-03-07 | 2003-12-02 | キヤノン株式会社 | 画像再生装置及び画像処理装置及び方法 |
JP4384697B2 (ja) * | 2008-03-26 | 2009-12-16 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、ゲーム処理方法、ならびに、プログラム |
US9516225B2 (en) * | 2011-12-02 | 2016-12-06 | Amazon Technologies, Inc. | Apparatus and method for panoramic video hosting |
US9241103B2 (en) * | 2013-03-15 | 2016-01-19 | Voke Inc. | Apparatus and method for playback of multiple panoramic videos with control codes |
US9201578B2 (en) * | 2014-01-23 | 2015-12-01 | Microsoft Technology Licensing, Llc | Gaze swipe selection |
US9699437B2 (en) * | 2014-03-03 | 2017-07-04 | Nextvr Inc. | Methods and apparatus for streaming content |
WO2016032973A1 (en) * | 2014-08-25 | 2016-03-03 | Schepens Eye Research Institute | Compensating 3d stereoscopic imagery |
EP3304897A1 (en) * | 2015-05-27 | 2018-04-11 | Google LLC | Capture and render of panoramic virtual reality content |
US10607398B2 (en) * | 2016-07-04 | 2020-03-31 | Colopl, Inc. | Display control method and system for executing the display control method |
US11061557B2 (en) * | 2016-12-22 | 2021-07-13 | ReScan, Inc. | Dynamic single touch point navigation |
JP2018026099A (ja) * | 2017-03-30 | 2018-02-15 | 株式会社コロプラ | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム |
CN107277485B (zh) * | 2017-07-18 | 2019-06-18 | 歌尔科技有限公司 | 基于虚拟现实的图像显示方法和装置 |
US10831265B2 (en) * | 2018-04-20 | 2020-11-10 | Microsoft Technology Licensing, Llc | Systems and methods for gaze-informed target manipulation |
JP6500159B1 (ja) * | 2018-12-07 | 2019-04-10 | 株式会社gumi | プログラム、情報処理装置、情報処理システム、情報処理方法及びヘッドマウントディスプレイ |
US11127380B2 (en) * | 2019-12-13 | 2021-09-21 | Qualcomm Incorporated | Content stabilization for head-mounted displays |
-
2020
- 2020-08-31 CN CN202080062605.7A patent/CN114342367A/zh active Pending
- 2020-08-31 US US17/640,983 patent/US20220337805A1/en active Pending
- 2020-08-31 WO PCT/JP2020/032879 patent/WO2021049356A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018163427A (ja) * | 2017-03-24 | 2018-10-18 | 株式会社コロプラ | 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置 |
WO2018216355A1 (ja) * | 2017-05-24 | 2018-11-29 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2019078033A1 (ja) * | 2017-10-20 | 2019-04-25 | ソニー株式会社 | 再生装置および方法、並びに、生成装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114342367A (zh) | 2022-04-12 |
US20220337805A1 (en) | 2022-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10574889B2 (en) | Information processing device, information processing method, and program | |
JP6725038B2 (ja) | 情報処理装置及び方法、表示制御装置及び方法、プログラム、並びに情報処理システム | |
JP7277451B2 (ja) | レーシングシミュレーション | |
RU2665872C2 (ru) | Стереопросмотр | |
US20200090403A1 (en) | Information processing device, information processing system, and information processing method | |
CN107636534A (zh) | 一般球面捕获方法 | |
US20190045125A1 (en) | Virtual reality video processing | |
JP2016025633A (ja) | 情報処理装置、管理装置、情報処理方法、およびプログラム | |
JP7157985B2 (ja) | ユーザに再生するためのオーディオ信号をレンダリングするための装置および方法 | |
US20240077941A1 (en) | Information processing system, information processing method, and program | |
US11099392B2 (en) | Stabilized and tracked enhanced reality images | |
US20220239888A1 (en) | Video distribution system, video distribution method, and display terminal | |
CN112272817A (zh) | 用于在沉浸式现实中提供音频内容的方法和装置 | |
WO2020059327A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11187895B2 (en) | Content generation apparatus and method | |
WO2021049356A1 (ja) | 再生装置、再生方法、及び記録媒体 | |
WO2019235106A1 (ja) | ヒートマップ提示装置およびヒートマップ提示用プログラム | |
JP2020530218A (ja) | 没入型視聴覚コンテンツを投影する方法 | |
JP6921204B2 (ja) | 情報処理装置および画像出力方法 | |
WO2019146426A1 (ja) | 画像処理装置、画像処理方法、プログラム、および投影システム | |
JP6916896B2 (ja) | 情報処理装置および画像生成方法 | |
JP2021015417A (ja) | 画像処理装置、画像配信システム、および画像処理方法 | |
WO2022220306A1 (ja) | 映像表示システム、情報処理装置、情報処理方法、及び、プログラム | |
JP2024031113A (ja) | 情報処理装置および画像生成方法 | |
JP5779140B2 (ja) | 映像生成システム及び映像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20863893 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20863893 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |