WO2023013130A1 - 情報処理装置、情報処理方法、及び記録媒体 - Google Patents
情報処理装置、情報処理方法、及び記録媒体 Download PDFInfo
- Publication number
- WO2023013130A1 WO2023013130A1 PCT/JP2022/010253 JP2022010253W WO2023013130A1 WO 2023013130 A1 WO2023013130 A1 WO 2023013130A1 JP 2022010253 W JP2022010253 W JP 2022010253W WO 2023013130 A1 WO2023013130 A1 WO 2023013130A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- viewpoint
- information
- timing
- information processing
- user
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 84
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000004364 calculation method Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000000034 method Methods 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000009877 rendering Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
- H04N13/125—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
Definitions
- the present technology relates to an information processing device, an information processing method, and a recording medium applicable to image display.
- Patent Document 1 a first plane parallel to the horizontal plane is observed in a region corresponding to the distance from the lower end to the upper end of the display surface on which the stereoscopic image is displayed and the angle formed by the horizontal plane and the display surface in real space.
- An information processing apparatus for displaying a stereoscopic image is described. This reduces the burden on the user who observes the stereoscopic image (paragraphs [0045] to [0057] in FIG. 6 of the specification of Patent Document 1, etc.).
- the purpose of the present technology is to provide an information processing device, an information processing method, and a recording medium capable of realizing a high-quality viewing experience.
- an information processing device includes a display control unit.
- the display control unit converts the first viewpoint information at the first timing into second viewpoint information based on correction information according to the user's viewpoint position at a second timing after the first timing. Based on this, display processing is performed on a first area of the display device and a second area adjacent to the first area.
- the first viewpoint information at the first timing is converted into the second viewpoint information based on the correction information corresponding to the user's viewpoint position at the second timing after the first timing. Based on this, the display processing of the first area of the display device and the second area adjacent to the first area is performed. This makes it possible to achieve a high-quality viewing experience.
- the information processing apparatus further comprising a rendering unit that acquires the first viewpoint information at the first timing and executes rendering processing of the display device according to the first viewpoint information. good too.
- the viewpoint information may include number information based on a matrix of sub-pixels of an output image output to the display device based on the number of viewpoint positions.
- the information processing apparatus may further include a calculation unit that calculates the correction information based on the viewpoint position of the user at the second timing.
- the correction information may include adding the viewpoint number.
- the calculation unit may calculate the correction information based on another viewpoint position at the first timing different from the viewpoint position and the viewpoint position at the second timing.
- the first viewpoint information may include viewpoint information based on the other viewpoint position at the first timing, or viewpoint information based on the reference viewpoint position at the user's predetermined position.
- the timing may be timing relating to rendering or display of the output image.
- the first timing may be timing in drawing the output image.
- the second timing may be timing when the output image is displayed.
- the calculation unit calculates the first viewpoint information based on other correction information corresponding to a third viewpoint position at a third timing, which is a timing when a predetermined area of the display device is displayed. 3 correction information may be calculated.
- the display device may have a raster scan display.
- the first area and the second area may be divided in the drawing direction of the raster scan display.
- the information processing apparatus may further include a generation unit that generates the viewpoint information according to the viewpoint position of the user.
- the generation unit may acquire the viewpoint position of the user at each timing, and generate the viewpoint information based on each viewpoint position at each timing.
- the information processing device may further include an estimation unit that estimates the viewpoint position of the user at each timing.
- the estimation unit may estimate the viewpoint position of the user when the viewpoint information is generated based on first sensor information acquired by a first sensor.
- the estimation unit may estimate the viewpoint position of the user when the correction information is calculated based on second sensor information acquired by a second sensor.
- the second sensor may be a sensor different from the first sensor.
- the estimation unit may estimate the movement amount of the viewpoint position of the user from the difference between the second sensor information and the first sensor information.
- An information processing method is an information processing method executed by a computer system, in which, with respect to first viewpoint information at a first timing, at a second timing after the first timing performing display processing of a first region of the display device and a second region adjacent to the first region based on second viewpoint information based on correction information according to the user's viewpoint position in .
- a recording medium recording a program causes a computer system to perform the following steps.
- the second viewpoint information based on the correction information according to the user's viewpoint position at the second timing after the first timing, based on the second viewpoint information.
- FIG. 4 is a diagram showing a viewpoint table according to the present technology
- FIG. 1 is a block diagram showing a configuration example of an autostereoscopic display
- FIG. 7 is a flow chart showing offset calculation based on a viewpoint table
- 4 is a timing chart of slicing of the display unit and processing of each block
- FIG. 4 is a schematic diagram showing an example of a viewpoint image width
- 3 is a block diagram showing an autostereoscopic display and an image rendering unit;
- FIG. 1 is a block diagram showing a configuration example of an autostereoscopic display
- FIG. 7 is a flow chart showing offset calculation based on a viewpoint table
- 4 is a timing chart of slicing of the display unit and processing of each block
- FIG. 4 is a schematic diagram showing an example of a viewpoint image width
- 3 is a block diagram showing an autostereoscopic display and an image rendering unit
- FIG. 1 is a diagram showing a viewpoint table according to the present technology.
- FIG. 1A is a diagram schematically showing viewpoints in an autostereoscopic display (autostereoscopic image display device).
- FIG. 1B is a diagram schematically showing a viewpoint table.
- the autostereoscopic display 100 is a display device capable of displaying a stereoscopic image using a lenticular lens, which is assumed to be used by one person.
- the autostereoscopic display 100 has a lenticular lens 1 attached to the display, so that the visible pixel positions change depending on the viewing location (viewpoints 1, 2, 3, and 4). That is, when a single output image 2 obtained by appropriately synthesizing a plurality of images (viewpoint 1 image, viewpoint 2 image, viewpoint 3 image, and viewpoint 4 image) is displayed on the display and viewed through the lenticular lens 1, the The image you see changes.
- the viewpoint 1 image is incident on the left eye and the viewpoint 2 image is incident on the right eye.
- the position of the user 3 changes, the image that the user 3 can visually recognize changes.
- N viewpoint images to be displayed from each viewpoint and a viewpoint table (lookup table) describing which image is displayed by each sub-pixel of the output image are described. table).
- the viewpoint table 5 stores viewpoint numbers in a matrix whose width is three times the width (width) [px] of the output image and whose height is the same as the height (height) [px] of the output image. It is a table in which 1 to N are listed.
- FIG. 1B shows the view point table 5 when there are 6 view points. That is, in FIG. 1B, the numbers in each frame indicate the pixels of the viewpoint 1 image, the viewpoint 2 image, the viewpoint 3 image, the viewpoint 4 image, the viewpoint 5 image, and the viewpoint 6 image.
- the number information indicating which number is included in the matrix of the viewpoint table 5 is determined according to the parameters of the lenticular lens and the display and the number of viewpoints.
- the value of the subpixel of the output image is determined from the viewpoint number of the viewpoint table corresponding to each subpixel of the output image and the N images to be shown at each viewpoint.
- the viewpoint table 5 shown in FIG. 1B since the (0, 0) component of the viewpoint table 5 is 4, the (0, 1) component is 5, and the (0, 2) component is 6, the output image ( R of the 0, 0) component (frame 6) is the R value of the (0, 0) component of the viewpoint 4 image, G is the G value of the (0, 0) component of the viewpoint 5 image, and B is the viewpoint 6 image.
- the (0,0) component color of the output image is determined by adopting each of the (0,0) component B values.
- the autostereoscopic display 100 uses a raster scan light emission method, and the display can be divided into a plurality of slices.
- the autostereoscopic display 100 acquires the latest estimation result of the user's face position at the timing when the upper part of each slice starts to be displayed, and adds correction information (offset) to the viewpoint table based on the estimation result, thereby adjusting the position of the user's head. Reduces dynamic crosstalk caused by position shifts.
- Dynamic crosstalk is generated by the time (Motion To Photon delay) from when the user's face moves to when the position is recognized, an output image is drawn and generated, output to the display, and the light is actually emitted. It refers to crosstalk. Dynamic crosstalk thus includes the delay of light emission from the top of the display to the bottom.
- FIG. 2 is a block diagram showing a configuration example of an autostereoscopic display.
- the autostereoscopic display 100 has a sensor section 10 , a control section 20 , a storage section 30 , a display control section 40 and a display section 50 .
- the sensor unit 10 acquires the user's location information.
- the sensor unit 10 has a camera 11 and acquires a captured image including the user.
- it may have a depth camera or a motion sensor for acquiring the position information of the user, or a configuration capable of tracking.
- the photographed image acquired by the camera 11 is supplied to the face position estimation section 21 .
- the control unit 20 has a face position estimation unit 21, an image drawing unit 22, and a viewpoint table generation unit 23.
- the face position estimation unit 21 estimates the position information of the user's face and eyes from the captured image. In this embodiment, the face position estimation unit 21 estimates the position of the user as needed in a separate thread. For example, the face position estimation unit 21 estimates the user's face position when drawing on the display unit 50 (first timing). Further, for example, the user's face position immediately before the display on the display unit 50 (second timing) is estimated. Further, for example, the position of the user's face is estimated when the quarter display is performed on the display unit 50 (third timing). Further, for example, the position of the user's face at the time of half display on the display unit 50 (fourth timing) is estimated.
- the timing at which the face position is estimated is not limited, and may be set according to the number of slices of the display unit 50. That is, the timings 1 to N at the time of display may be set according to each of the slices 1 to N.
- the user's position information estimated at each timing described above is supplied to the face position storage unit 31 .
- the method of estimating the user's location information is not limited.
- the position information may also include the line-of-sight direction of the left eye, the line-of-sight direction of the right eye, the user's field of view, the user's posture, and the like.
- the image drawing unit 22 generates images incident on the left and right eyes of the user.
- the image rendering unit 22 renders a left-eye image incident on the left eye and a right-eye image incident on the right eye.
- the virtual camera position may be determined according to the estimated face position and drawing may be performed.
- the viewpoint table generation unit 23 generates a viewpoint table that maps to which viewpoint the left-eye image or the right-eye image should be output, based on the estimation result of the user's position information. For example, when viewpoints 1 to 6 are arranged in order from the left, it is assumed that the position of the user's left eye is at viewpoint 3 and the position of the user's right eye is at viewpoint 4 . In this case, the viewpoint table generation unit 23 sets the viewpoint images so that the viewpoint images incident on viewpoints 1, 2, and 3 are all left-eye images, and the viewpoint images incident on viewpoints 4, 5, and 6 are all right-eye images. Generate a table.
- the storage unit 30 has a face position storage unit 31 , a viewpoint offset storage unit 32 , a viewpoint table storage unit 33 , a left eye image storage unit 34 and a right eye image storage unit 35 .
- the face position storage unit 31 stores position information of the user's face and eyes estimated by the face position estimation unit 21 .
- the face position storage unit 31 supplies the user position information estimated at the first timing to the viewpoint table generation unit 23 .
- the face position storage unit 31 also supplies the user position information estimated after the second timing to the viewpoint table offset calculation unit 41 .
- the viewpoint offset storage unit 32 stores correction information based on the viewpoint table calculated by the viewpoint table offset calculation unit 41 .
- the stored correction information is supplied to the viewpoint number determination unit 42 .
- the viewpoint table storage unit 33 stores the viewpoint table generated by the viewpoint table generation unit 23.
- the stored viewpoint table is supplied to the viewpoint number determination unit 42 .
- the left-eye image storage unit 34 stores the left-eye image rendered by the image rendering unit 22 .
- the right-eye image storage unit 35 stores the right-eye image rendered by the image rendering unit 22 .
- the stored left-eye and right-eye images are provided to the output subpixel lookup unit 43 .
- the display control unit 40 has a viewpoint table offset calculation unit 41, a viewpoint number determination unit 42, and an output subpixel lookup unit 43.
- the display control unit 40 has a CPU, GPU, and HDD or SSD.
- the display control unit 40 has hardware necessary for configuring a computer, such as a processor such as a DSP, a memory such as a ROM and a RAM, and a storage device.
- a processor such as a DSP
- a memory such as
- the display control unit 40 can be realized by any computer such as a PC.
- hardware such as FPGA and ASIC may be used.
- the CPU executes a predetermined program to configure the viewpoint table offset calculation unit as a functional block.
- dedicated hardware such as an IC (integrated circuit) may be used to implement the functional blocks.
- the program is installed in the display control unit 40 via various recording media, for example. Alternatively, program installation may be performed via the Internet or the like.
- the type of recording medium on which the program is recorded is not limited, and any computer-readable recording medium may be used.
- any computer-readable non-transitory storage medium may be used.
- the viewpoint table offset calculation unit 41 calculates the offset of the viewpoint table based on the user's face position. In this embodiment, the viewpoint table offset calculation unit 41 calculates the offset of the viewpoint table from the latest estimation result of the user's face position. The calculated offset is supplied to the viewpoint offset storage unit 32 .
- the viewpoint number determination unit 42 determines which sub-pixel of the left-eye image or the right-eye image is to be output based on the viewpoint table and the offset. In this embodiment, the viewpoint number determining unit 42 increments (adds) the viewpoint number looked up from the viewpoint table by the offset amount. If the viewpoint number exceeds the upper limit, the remainder may be taken.
- the output subpixel lookup unit 43 fetches subpixel values from the left-eye image or right-eye image to be output and outputs them to the display unit 50 .
- the display unit 50 is a display that displays an output image.
- the display unit 50 is sliced in the horizontal direction (width direction in FIG. 1B) (see FIG. 4A).
- the face position estimation unit 21 corresponds to an estimation unit that estimates the user's viewpoint position at each timing.
- the viewpoint table generation unit 23 corresponds to a generation unit that generates viewpoint information according to the user's viewpoint position.
- the viewpoint table corresponds to viewpoint information.
- the display control unit 40 corrects the first viewpoint information at the first timing based on the correction information corresponding to the user's viewpoint position at the second timing after the first timing. It corresponds to a display control unit that executes display processing of a first area of a display device and a second area adjacent to the first area based on second viewpoint information.
- the viewpoint table offset calculator 41 corresponds to a calculator that calculates correction information based on the user's viewpoint position at the second timing.
- the display unit 50 corresponds to a display device. Note that in the present embodiment, the multiple slices of the display unit 50 correspond to the first area of the display device and the second area adjacent to the first area.
- FIG. 3 is a flowchart showing offset calculation based on the viewpoint table.
- the flowchart shown in FIG. 3 is processed for each frame. That is, the processing from step 101 to step 112 indicates the start and end of 1-frame processing.
- FIG. 4 is a timing chart of slices of the display unit 50 and processing of each block.
- FIG. 4A is a schematic diagram showing a slice of the display unit 50.
- FIG. 4B is a timing chart of processing of each block.
- the sensor information is acquired by the sensor unit 10 (step 101).
- the position information of the user's face position is estimated by the face position estimation unit 21 (step 102). As shown in FIG. 4B, this estimation process is executed in another thread as needed.
- the image drawing unit 22 draws the left-eye image and the right-eye image (step 103).
- the latest face position estimation result 60 is used to generate an image.
- the viewpoint table generation unit 23 calculates a viewpoint image of each sub-pixel of the output image based on the estimation result of the user's face position, and generates a viewpoint table (step 104).
- the latest estimation result 62 (first timing) of the user's face position is used to generate the viewpoint table.
- estimation results used to generate the image may be used.
- the display unit 50 is sliced in the horizontal direction (drawing direction).
- the display section 50 is divided into four slices.
- the offset and viewpoint number of the viewpoint table are determined based on the coordinates (w, h) of the sub-pixel 55 to be processed.
- the viewpoint table offset calculator 41 determines whether the coordinate h of the sub-pixel 55 is lower than the height of the output image (step 105). If the coordinate h of the sub-pixel 55 is less than Height (YES in step 105), it is determined whether the coordinate w of the sub-pixel 55 is less than three times the Width of the output image (step 106).
- the top of the slice indicates the highest coordinate of each slice. For example, when the Height is 1000 [px] and the number of slices is 4, the coordinates h at the beginning of the slice are 0, 250, 500, and 750, respectively.
- the viewpoint table offset calculator 41 calculates the viewpoint based on the latest face position estimation result 64 (second timing).
- a table offset is calculated (step 108).
- the offset of the viewpoint table is calculated before the light emission of the upper left portion of each slice of the preset display section 50 starts. Further, as shown in FIG. 4B, the processing from step 103 to step 108 is performed in one frame cycle. Similarly, the processing from step 109 to the light emission of the display is performed in one frame cycle.
- the viewpoint table offset calculation unit 41 calculates the horizontal and vertical viewpoint image widths, the face position estimation result 62 used in the viewpoint table generation unit 23, and the face position estimation result 64 used when calculating the offset. Calculate the offset from the difference between
- the width at which pixels of each viewpoint number can be seen is calculated from the parameters of the lenticular lens and the display.
- FIG. 5 is a schematic diagram showing an example of viewpoint image width.
- the user 70 sees 6 viewpoint images with the right eye and 4 viewpoint images with the left eye through the lenticular lens 71 .
- the viewpoint images visible to each eye are also different.
- the offset is calculated according to whether the head position of the user 70 has moved by 32.5 mm or more. That is, when the head of the user 70 moves x with the viewpoint image width X, the offset is floor(x/X).
- offsets may be calculated for movement of the user 70 in the Y-axis direction and the Z-axis direction.
- the viewpoint number determination unit 42 determines the color of either the left-eye image or the right-eye image to emit light (step 109). In this embodiment, as shown in FIG. 4B, the viewpoint number determination unit 42 is called for each drawing of each sub-pixel of the display unit 50 .
- the output subpixel lookup unit 43 fetches pixel values from the left-eye image or the right-eye image based on the determination result of the viewpoint number determination unit 42, and emits light to the display (step 111).
- step 112 Perform w+1 on the coordinates of the sub-pixel 55 to be processed (step 112).
- sub-pixels whose coordinates are shifted by one in the slice direction of the display unit 50 are targeted.
- the sub-pixel of interest is subjected to the determination of step 106 . Also, since the coordinates of the sub-pixel are increased by w+1, the determination at step 107 is not satisfied. That is, the viewpoint table offset calculation unit is called in units of slices.
- h+1 is performed on the coordinates of the target subpixel (step 113).
- the display control unit 40 performs display based on the viewpoint table in the face position estimation result 62 based on the offset corresponding to the user's viewpoint position in the face position estimation result 64 .
- Display processing of slice 1 and slice 2 of unit 50 is performed. This makes it possible to achieve a high-quality viewing experience.
- the display screen is divided into multiple slices, and the result of estimating the user's face position is acquired at the timing when the upper part of each slice starts to be displayed.
- the viewpoint table generation unit 23 uses the latest facial position estimation result to generate the viewpoint table.
- a static viewpoint table that does not depend on the user's face position may be held.
- a reference viewpoint table based on the user's face at a predetermined position may be stored in the storage unit 30 .
- the viewpoint table offset calculator 41 may calculate the offset from the difference between the latest estimated face position and the reference face position.
- each of the latest face position estimation results was used to generate the viewpoint table and calculate the offset.
- the movement amount of the time difference until the face position estimation result is used may be predicted.
- the same method is used for estimating the face position used for generating the viewpoint table and calculating the offset.
- the method of estimating the face position is not limited to this, and different methods may be used.
- the amount of movement from the face position estimation result used by the viewpoint table generation unit 23 may be used.
- the viewpoint table generation unit 23 estimates the face position using the RGB camera image
- the viewpoint table offset calculation unit 41 calculates the face position that has moved since the processing of the viewpoint table generation unit 23 estimated from the information of the DVS camera.
- a displacement may be used. That is, estimation methods with different accuracies or estimation methods with different time required for estimation may be used.
- the sensor unit 10 may have two or more types of sensors with different accuracies and acquisition times.
- the number of slices in the display section is set to four.
- the number of slices is not limited to this, and the number of slices may be determined by the width drawn during the processing time of the face position estimation processing. For example, assuming that the time difference between the issuing timings of the upper part and the lower part of the screen in a raster scan light emitting display is 16 ms and the processing time is 8 ms, the number of slices is determined to be 2. In this case, the face position estimation process may be synchronized with Vsync.
- the slice width may be determined in units of this cycle. For example, if the vertical period is 6px, the slice width may be 6px and the number of slices may be Height/6. Alternatively, the slice width may be a multiple of the period in the vertical direction.
- the viewpoint number determination unit 42 increments the viewpoint number looked up from the viewpoint table by the amount of the offset.
- the viewpoint table may be generated larger than the actual screen (display) of the display unit 50, and the reading position may be shifted by the offset amount.
- the viewpoint table which is larger than the actual screen of the display unit 50, stores the assumed maximum amount of motion of the user's face that moves during the offset calculation cycle that depends on the slice width of the display. The quotient obtained by dividing by the width is the maximum possible movement amount of the viewpoint number.
- the viewpoint table may be generated to be larger in the vertical and horizontal directions by the amount of movement.
- the autostereoscopic display 100 is used to calculate the offset and the like. It is not limited to this, and some functions of the autostereoscopic display 100 may function by a cloud server.
- FIG. 6 is a block diagram showing an autostereoscopic display 100 and an image rendering section 75 according to another embodiment.
- the image drawing unit 75 may function by a cloud server. Heavy processing such as drawing may be performed by the cloud server.
- a cloud server it is possible to easily distribute and update content, and to prevent cheating of content on the client side and unauthorized use such as extraction of 3D model data.
- the viewpoint table generation unit 23 may function by a cloud server. That is, device-specific processing may be performed on the client side, and processing common to other devices such as AR and VR may be performed on the cloud server side.
- viewpoint table generation unit the viewpoint table offset calculation unit, the viewpoint number determination unit, etc., the offset calculation flow, and the like, which have been described with reference to the drawings, are merely one embodiment, and are within the scope of the present technology. , can be arbitrarily transformed. That is, any other configuration, algorithm, or the like for implementing the present technology may be employed.
- the information processing device, information processing method, and recording medium according to the present technology can be executed not only in a computer system configured by a single computer, but also in a computer system in which a plurality of computers work together.
- a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules within a single housing, are both systems.
- Execution of the information processing device, information processing method, and recording medium according to the present technology by a computer system for example, when generation of a viewpoint table, calculation of an offset, determination of a viewpoint number, etc. are executed by a single computer, and when each process is executed by a different computer.
- Execution of each process by a predetermined computer includes causing another computer to execute part or all of the process and obtaining the result.
- the information processing device, information processing method, and recording medium according to the present technology can be applied to a cloud computing configuration in which a single function is shared by a plurality of devices via a network and processed jointly. be.
- the present technology can also adopt the following configuration.
- (1) With respect to the first viewpoint information at the first timing, the second viewpoint information based on the correction information according to the user's viewpoint position at the second timing after the first timing, based on the second viewpoint information.
- An information processing apparatus comprising: a display control unit that executes display processing of a first area and a second area adjacent to the first area.
- the information processing device includes number information based on a matrix of sub-pixels of an output image output to the display device based on the number of viewpoint positions.
- the information processing device further comprising: An information processing apparatus comprising a calculator that calculates the correction information based on the viewpoint position of the user at the second timing.
- the information processing device further comprising: An information processing apparatus comprising a calculator that calculates the correction information based on the viewpoint position of the user at the second timing.
- the information processing device includes adding the viewpoint number.
- the information processing device according to (4), The information processing apparatus, wherein the calculation unit calculates the correction information based on another viewpoint position at the first timing different from the viewpoint position and the viewpoint position at the second timing.
- the first viewpoint information includes viewpoint information based on the other viewpoint position at the first timing, or viewpoint information based on a reference viewpoint position at a predetermined position of the user.
- the information processing device according to (2) The timing is timing related to drawing or displaying the output image, the first timing is a timing in drawing the output image; The information processing apparatus, wherein the second timing is timing when the output image is displayed.
- the information processing device according to (4) The calculation unit calculates the first viewpoint information based on other correction information corresponding to a third viewpoint position at a third timing, which is a timing when a predetermined area of the display device is displayed. An information processing device that calculates the correction information of 3.
- the information processing device wherein the display device has a raster scan display, The information processing apparatus, wherein the first area and the second area are divided in a drawing direction of the raster scan display.
- An information processing apparatus comprising a generator that generates the viewpoint information according to the viewpoint position of the user.
- the generation unit acquires the viewpoint position of the user at each timing, and generates the viewpoint information based on each viewpoint position at each timing.
- Information processing equipment (13)
- the information processing device further comprising: An information processing apparatus comprising an estimation unit that estimates the viewpoint position of the user at each timing.
- the information processing device (14) The information processing device according to (13), The information processing apparatus, wherein the estimation unit estimates a viewpoint position of the user when the viewpoint information is generated based on first sensor information acquired by a first sensor. (15) The information processing device according to (14), The information processing apparatus, wherein the estimation unit estimates the viewpoint position of the user when the correction information is calculated based on second sensor information acquired by a second sensor. (16) The information processing device according to (15), The second sensor is a sensor different from the first sensor, The information processing apparatus, wherein the estimation unit estimates a movement amount of the viewpoint position of the user from a difference between the second sensor information and the first sensor information.
- the second viewpoint information based on the correction information according to the user's viewpoint position at the second timing after the first timing, based on the second viewpoint information.
- the second viewpoint information based on the correction information according to the user's viewpoint position at the second timing after the first timing, based on the second viewpoint information.
- a recording medium storing a program for causing a computer system to execute display processing for a first area and a second area adjacent to the first area.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本技術の一形態に係る情報処理装置は、表示制御部を具備する。前記表示制御部は、第一のタイミングにおける第1の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第2の視点情報に基づいて、表示装置の第1の領域及び前記第1の領域に隣接した第2の領域の表示処理を実行する。これにより、高品質な視聴体験を実現することが可能となる。
Description
本技術は、画像表示に適用可能な情報処理装置、情報処理方法、及び記録媒体に関する。
特許文献1には、立体画像を表示する表示面の下端から上端までの距離、及び実空間における水平面と表示面とがなす角度に応じた領域に、水平面と平行な第1の平面が観察されるように立体画像を表示させる情報処理装置が記載される。これにより、立体画像を観察するユーザの負担を抑制することが図られている(特許文献1の明細書段落[0045]~[0057]図6等)。
このような、立体画像を視聴可能な表示デバイスにおいて、高品質な視聴体験を実現することが可能な技術が求められている。
以上のような事情に鑑み、本技術の目的は、高品質な視聴体験を実現することが可能な情報処理装置、情報処理方法、及び記録媒体を提供することにある。
上記目的を達成するため、本技術の一形態に係る情報処理装置は、表示制御部を具備する。
前記表示制御部は、第一のタイミングにおける第1の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第2の視点情報に基づいて、表示装置の第1の領域及び前記第1の領域に隣接した第2の領域の表示処理を実行する。
前記表示制御部は、第一のタイミングにおける第1の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第2の視点情報に基づいて、表示装置の第1の領域及び前記第1の領域に隣接した第2の領域の表示処理を実行する。
この情報処理装置では、第一のタイミングにおける第1の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第2の視点情報に基づいて、表示装置の第1の領域及び前記第1の領域に隣接した第2の領域の表示処理が実行される。これにより、高品質な視聴体験を実現することが可能となる。
前記情報処理装置であって、さらに、前記第1のタイミングにおける前記第1の視点情報を取得し、前記第1の視点情報に応じて前記表示装置の描画処理を実行する描画部を具備してもよい。
前記視点情報は、前記視点位置の数に基づいて、前記表示装置に出力される出力画像のサブピクセルのマトリクスに基づく番号情報を含んでもよい。
前記情報処理装置であって、さらに、前記第二のタイミングにおける前記ユーザの視点位置に基づいて、前記補正情報を算出する算出部を具備してもよい。
前記補正情報は、前記視点番号を加算することを含んでもよい。
前記算出部は、前記視点位置とは異なる前記第1のタイミングにおける他の視点位置、及び前記第2のタイミングにおける前記視点位置に基づいて、前記補正情報を算出してもよい。
前記第1の視点情報は、前記第1のタイミングにおける前記他の視点位置に基づく視点情報、又は前記ユーザの所定の位置における基準視点位置に基づく視点情報を含んでもよい。
前記タイミングは、前記出力画像の描画又は表示に関するタイミングであってもよい。この場合、前記第1のタイミングは、前記出力画像の描画におけるタイミングであってもよい。前記第2のタイミングは、前記出力画像の表示の際のタイミングであってもよい。
前記算出部は、前記第1の視点情報に対して、前記表示装置の所定の領域まで表示した際のタイミングである第3のタイミングにおける第3の視点位置に応じた他の補正情報に基づく第3の補正情報を算出してもよい。
前記表示装置は、ラスタスキャンディスプレイを有してもよい。この場合、前記第1の領域及び前記第2の領域は、前記ラスタスキャンディスプレイの描画方向に分けられてもよい。
前記情報処理装置であって、さらに、前記ユーザの視点位置に応じた前記視点情報を生成する生成部を具備してもよい。
前記生成部は、各タイミングにおける前記ユーザの視点位置を取得し、前記各タイミングにおける各々の視点位置に基づいて、前記視点情報を生成してもよい。
前記情報処理装置であって、さらに、各タイミングにおける前記ユーザの視点位置を推定する推定部を具備してもよい。
前記推定部は、第1のセンサにより取得される第1のセンサ情報に基づいて、前記視点情報が生成される際の前記ユーザの視点位置を推定してもよい。
前記推定部は、第2のセンサにより取得される第2のセンサ情報に基づいて、前記補正情報が算出される際の前記ユーザの視点位置を推定してもよい。
前記第2のセンサは、前記第1のセンサとは異なるセンサであってもよい。この場合、前記推定部は、前記第2のセンサ情報と前記第1のセンサ情報との差分から、前記ユーザの視点位置の移動量を推定してもよい。
本技術の一形態に係る情報処理方法は、コンピュータシステムが実行する情報処理方法であって、第一のタイミングにおける第1の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第2の視点情報に基づいて、表示装置の第1の領域及び前記第1の領域に隣接した第2の領域の表示処理を実行することを含む。
本技術の一形態に係るプログラムを記載した記録媒体は、コンピュータシステムに以下のステップを実行させる。
第一のタイミングにおける第1の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第2の視点情報に基づいて、表示装置の第1の領域及び前記第1の領域に隣接した第2の領域の表示処理を実行するステップ。
第一のタイミングにおける第1の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第2の視点情報に基づいて、表示装置の第1の領域及び前記第1の領域に隣接した第2の領域の表示処理を実行するステップ。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
[視点テーブル]
図1は、本技術に係る視点テーブルを示す図である。図1Aは、裸眼立体ディスプレイ(裸眼立体画像表示装置)における視点を模式的に示す図である。図1Bは、視点テーブルを模式的に示す図である。
図1は、本技術に係る視点テーブルを示す図である。図1Aは、裸眼立体ディスプレイ(裸眼立体画像表示装置)における視点を模式的に示す図である。図1Bは、視点テーブルを模式的に示す図である。
裸眼立体ディスプレイ100は、1人使用を前提とするレンチキュラーレンズを用いた立体画像を表示可能な表示装置である。
図1Aに示すように、裸眼立体ディスプレイ100は、ディスプレイにレンチキュラーレンズ1が貼り合わせられることで、見る場所(視点1、2、3、及び4)によって見えるピクセルの位置が変わる。すなわち、複数の画像(視点1画像、視点2画像、視点3画像、及び視点4画像)を適切に合成した1枚の出力画像2をディスプレイに表示しレンチキュラーレンズ1越しに見ると、視点に応じて見える画像が変化する。
例えば、ユーザ3の左目が視点1、右目が視点2の位置にある場合、左目には視点1画像が入射され、右目には視点2画像が入射される。同様に、ユーザ3の位置(目の位置)が変わることで、ユーザ3が視認できる画像が変化する。
本実施形態では、ユーザに出力される出力画像の作成方法として、各視点で見せたい視点画像N枚と、出力画像の各サブピクセルがどの画像を表示するかが記述された視点テーブル(ルックアップテーブル)から作成される。
図1Bに示すように、視点テーブル5は、横幅が出力画像の横幅(Width)[px]の3倍、縦幅が出力画像の縦幅(Height)[px]と同じのマトリクスに、視点番号1~Nが記載されているテーブルである。図1Bでは、視点が6個の場合の視点テーブル5が図示される。すなわち、図1Bでは各枠に記載されている数字は、視点1画像、視点2画像、視点3画像、視点4画像、視点5画像、及び視点6画像のピクセルを示す。
また視点テーブル5のマトリクスに何番が入るかの番号情報は、レンチキュラーレンズ及びディスプレイのパラメータと視点の数に応じて決定される。
視点テーブルを用いて出力画像を生成する際は、出力画像の各サブピクセルに対応する視点テーブルの視点番号と、各視点で見せたい画像N枚とからその出力画像のサブピクセルの値を決定する。例えば、図1Bに示す視点テーブル5の場合、視点テーブル5の(0,0)成分は4、(0,1)成分は5、(0,2)成分は6であるので、出力画像の(0,0)成分(枠6)のRは視点4画像の(0,0)成分のR値を、Gは視点5画像の(0,0)成分のG値を、Bは視点6画像の(0,0)成分のB値をそれぞれ採用して出力画像の(0,0)成分の色が決定される。
本実施形態では、裸眼立体ディスプレイ100は、ラスタスキャン発光方式を利用しており、ディスプレイを複数のスライスに分けられる。裸眼立体ディスプレイ100は、各スライスの上部を表示し始めるタイミングに最新のユーザの顔位置の推定結果を取得し、推定結果に基づいて視点テーブルに補正情報(オフセット)を加えることでユーザの頭の位置の移動によって発生する動的クロストークを軽減する。
なお、動的クロストークとは、ユーザの顔が動いてから、その位置を認識し出力画像を描画し生成、ディスプレイに出力され実際に発光されるまでの時間(Motion To Photon遅延)により発生するクロストークのことを指す。すなわち動的クロストークは、ディスプレイ上部から下部までの発光の遅延も含まれる。
[裸眼立体ディスプレイ]
図2は、裸眼立体ディスプレイの構成例を示すブロック図である。
図2は、裸眼立体ディスプレイの構成例を示すブロック図である。
図2に示すように、裸眼立体ディスプレイ100は、センサ部10、制御部20、記憶部30、表示制御部40、及び表示部50を有する。
センサ部10は、ユーザの位置情報を取得する。例えば、センサ部10は、カメラ11を有し、ユーザを含む撮影画像を取得する。これ以外にも、ユーザの位置情報を取得するためのデプスカメラ又は人感センサやトラッキング可能な構成を有してもよい。本実施形態では、カメラ11により取得された撮影画像が顔位置推定部21に供給される。
制御部20は、顔位置推定部21、画像描画部22、及び視点テーブル生成部23を有する。
顔位置推定部21は、撮影画像からユーザの顔や目の位置情報を推定する。本実施形態では、顔位置推定部21は、別スレッドで随時、ユーザの位置を推定する。例えば、顔位置推定部21は、表示部50に描画している際(第1のタイミング)のユーザの顔位置を推定する。また例えば、表示部50に表示する直前(第2のタイミング)のユーザの顔位置が推定される。また例えば、表示部50に4分の1表示した際(第3のタイミング)のユーザの顔位置が推定される。また例えば、表示部50に2分の1表示した際(第4のタイミング)のユーザの顔位置が推定される。
なお、顔位置が推定されるタイミングは限定されず、表示部50のスライス数に応じて設定されてもよい。すなわち、各スライス1~Nに応じて、表示される際のタイミング1~Nが設定されてもよい。
本実施形態では、上記の各タイミングで推定されたユーザの位置情報が顔位置記憶部31に供給される。なお、ユーザの位置情報を推定する方法は限定されない。また位置情報には、左目の視線方向、右目の視線方向、ユーザの視界、ユーザの姿勢等が含まれてもよい。
画像描画部22は、ユーザの左目及び右目に入射される画像を生成する。本実施形態では、画像描画部22は、左目に入射される左目画像と、右目に入射される右目画像とを描画する。またディスプレイ(表示部50)を通じて仮想空間を見せる場合は、推定した顔位置に応じて仮想カメラ位置を決定し描画を行ってもよい。
視点テーブル生成部23は、ユーザの位置情報の推定結果に基づいて、どの視点に左目画像又は右目画像が出力すべきかをマッピングした視点テーブルを生成する。例えば、視点1から6が左から順に並ぶ場合、ユーザの左目の位置が視点3、右目の位置が視点4にあると推定されたとする。この場合、視点テーブル生成部23は、視点1、2、及び3に入射される視点画像を全て左目画像、視点4、5、及び6に入射される視点画像を全て右目画像となるように視点テーブルを生成する。
記憶部30は、顔位置記憶部31、視点オフセット記憶部32、視点テーブル記憶部33、左目画像記憶部34、及び右目画像記憶部35を有する。
顔位置記憶部31は、顔位置推定部21により推定されたユーザの顔や目の位置情報を記憶する。本実施形態では、顔位置記憶部31は、第1のタイミングで推定されたユーザの位置情報を視点テーブル生成部23に供給する。また顔位置記憶部31は、第2のタイミング以降で推定されたユーザの位置情報を視点テーブルオフセット算出部41に供給する。
視点オフセット記憶部32は、視点テーブルオフセット算出部41により算出された視点テーブルに基づく補正情報を記憶する。本実施形態では、記憶された補正情報は、視点番号決定部42に供給される。
視点テーブル記憶部33は、視点テーブル生成部23により生成された視点テーブルを記憶する。本実施形態では、記憶された視点テーブルは、視点番号決定部42に供給される。
左目画像記憶部34は、画像描画部22により描画された左目画像を記憶する。右目画像記憶部35は、画像描画部22により描画された右目画像を記憶する。本実施形態では、記憶された左目画像及び右目画像は出力サブピクセルルックアップ部43に供給される。
表示制御部40は、視点テーブルオフセット算出部41、視点番号決定部42、及び出力サブピクセルルックアップ部43を有する。
表示制御部40は、CPU、GPU、及びHDD又はSSDを有する。これ以外にも、表示制御部40は、例えばDSP等のプロセッサ、ROMやRAM等のメモリ、記憶デバイス等、コンピュータの構成に必要なハードウェアを有する。例えばCPUがROM等に予め記録されている本技術に係るプログラムをRAMにロードして実行することにより、本技術に係る情報処理方法が実行される。
例えばPC等の任意のコンピュータにより、表示制御部40を実現することが可能である。もちろんFPGA、ASIC等のハードウェアが用いられてもよい。
本実施形態では、CPUが所定のプログラムを実行することで、機能ブロックとしての視点テーブルオフセット算出部が構成される。もちろん機能ブロックを実現するために、IC(集積回路)等の専用のハードウェアが用いられてもよい。
プログラムは、例えば種々の記録媒体を介して表示制御部40にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
視点テーブルオフセット算出部41は、ユーザの顔位置に基づいて、視点テーブルのオフセットを算出する。本実施形態では、視点テーブルオフセット算出部41は、最新のユーザの顔位置の推定結果から視点テーブルのオフセットを算出する。算出されたオフセットは、視点オフセット記憶部32に供給される。
視点番号決定部42は、視点テーブル及びオフセットに基づいて、左目画像又は右目画像のどちらのサブピクセルを出力するかを決定する。本実施形態では、視点番号決定部42は、視点テーブルからルックアップした視点番号に対し、オフセットの量だけインクリメント(加算)する。なお、視点番号の上限を超えた場合は、剰余を取ってもよい。
出力サブピクセルルックアップ部43は、出力すべき左目画像又は右目画像からサブピクセルの値をフェッチして、表示部50に出力する。
表示部50は、出力画像を表示するディスプレイである。本実施形態では、表示部50は、横方向(図1BのWidth方向)にスライスされる(図4A参照)。
なお、本実施形態において、顔位置推定部21は、各タイミングにおけるユーザの視点位置を推定する推定部に相当する。
なお、本実施形態において、視点テーブル生成部23は、ユーザの視点位置に応じた視点情報を生成する生成部に相当する。
なお、本実施形態において、視点テーブルは、視点情報に相当する。
なお、本実施形態において、表示制御部40は、第一のタイミングにおける第1の視点情報に対して、第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第2の視点情報に基づいて、表示装置の第1の領域及び前記第1の領域に隣接した第2の領域の表示処理を実行する表示制御部に相当する。
なお、本実施形態において、視点テーブルオフセット算出部41は、第二のタイミングにおけるユーザの視点位置に基づいて、補正情報を算出する算出部に相当する。
なお、本実施形態において、表示部50は、表示装置に相当する。
なお、本実施形態において、表示部50の複数のスライスは、表示装置の第1の領域及び第1の領域に隣接した第2の領域に相当する。
なお、本実施形態において、視点テーブル生成部23は、ユーザの視点位置に応じた視点情報を生成する生成部に相当する。
なお、本実施形態において、視点テーブルは、視点情報に相当する。
なお、本実施形態において、表示制御部40は、第一のタイミングにおける第1の視点情報に対して、第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第2の視点情報に基づいて、表示装置の第1の領域及び前記第1の領域に隣接した第2の領域の表示処理を実行する表示制御部に相当する。
なお、本実施形態において、視点テーブルオフセット算出部41は、第二のタイミングにおけるユーザの視点位置に基づいて、補正情報を算出する算出部に相当する。
なお、本実施形態において、表示部50は、表示装置に相当する。
なお、本実施形態において、表示部50の複数のスライスは、表示装置の第1の領域及び第1の領域に隣接した第2の領域に相当する。
図3は、視点テーブルに基づくオフセットの算出を示すフローチャートである。
本実施形態では、図3に示すフローチャートは、1フレームごとに処理が行われる。すなわち、ステップ101~ステップ112までの処理が1フレーム処理の開始及び終了を示す。
図4は、表示部50のスライス及び各ブロックの処理のタイミングチャートである。図4Aは、表示部50のスライスを示す模式図である。図4Bは各ブロックの処理のタイミングチャートである。
センサ部10により、センサ情報が取得される(ステップ101)。顔位置推定部21によりユーザの顔位置の位置情報が推定される(ステップ102)。図4Bに示すように、この推定処理は別スレッドで随時実行される。
画像描画部22により、左目画像及び右目画像が描画される(ステップ103)。本実施形態では、図4Bに示すように、画像の生成に最新の顔位置の推定結果60が用いられる。
視点テーブル生成部23により、ユーザの顔位置の推定結果に基づいて、出力画像の各サブピクセルの視点画像が算出され、視点テーブルが生成される(ステップ104)。図4Bでは、最新のユーザの顔位置の推定結果62(第1のタイミング)が視点テーブルの生成に用いられる。これ以外にも、画像の生成に用いられた推定結果が用いられてもよい。
図4Aに示すように表示部50は、横方向(描画方向)にスライスされる。本実施形態では、表示部50は、4つのスライスに分けられる。また本実施形態では、処理対象のサブピクセル55の座標(w,h)に基づいて、視点テーブルのオフセット及び視点番号が決定される。
図3に示すように、視点テーブルオフセット算出部41により、サブピクセル55の座標hが出力画像のHeightよりも低いか否かが判定される(ステップ105)。サブピクセル55の座標hがHeightよりも低い場合(ステップ105のYES)、サブピクセル55の座標wが出力画像のWidthの3倍よりも低いか否かが判定される(ステップ106)。
また視点テーブルオフセット算出部41により、サブピクセル55の座標wがWidthの3倍よりも低い場合(ステップ106のYES)、サブピクセル55の座標hがスライスの先頭、かつw=0か否かが判定される(ステップ107)。
スライスの先頭とは、各スライスの最も高い座標を示す。例えば、Heightが1000[px]で、スライス数が4の場合、スライスの先頭の座標hは、0、250、500、750となる。
サブピクセル55の座標hがスライスの先頭、かつw=0の場合(ステップ107のYES)、視点テーブルオフセット算出部41により、最新の顔位置の推定結果64(第2のタイミング)に基づいて視点テーブルのオフセットが算出される(ステップ108)。本実施形態では、図4Bに示すように、事前に設定された表示部50の各スライスの左上部の発光が始まる前に視点テーブルのオフセットが算出される。また図4Bに示すように、ステップ103からステップ108までの処理が1フレーム周期で行われる。同様に、ステップ109からディスプレイの発光までの処理も1フレーム周期で行われる。
視点テーブルオフセット算出部41は、水平方向及び垂直方向の視点画像幅と、視点テーブル生成部23で使用された顔位置の推定結果62と、オフセットの算出の際に用いられる顔位置の推定結果64との差からオフセットを算出する。
典型的に、レンチキュラーレンズが用いられた立体画像を表示可能な表示装置において、各視点番号の画素が見える幅は、レンチキュラーレンズとディスプレイとのパラメータから算出される。
図5は、視点画像幅の例を示す模式図である。
図5に示すように、ユーザ70には、レンチキュラーレンズ71により右目には視点6画像、左目には視点4画像が見えている。ユーザ70が位置を変えることで、各目に見える視点画像も異なる。例えば、水平方向の視点画像幅72が32.5mmの場合に、ユーザ70の頭の位置が32.5mm以上動いたかに応じてオフセットが算出される。すなわち、視点画像幅Xでユーザ70の頭がx移動した場合、オフセットは、floor(x/X)となる。同様にY軸方向、Z軸方向におけるユーザ70の移動についてもオフセットが算出されてもよい。
視点番号決定部42により、生成された視点テーブル及び算出されたオフセットに基づいて、左目画像又は右目画像のどちらの画像の色を発光するかを決定する(ステップ109)。本実施形態では、図4Bに示すように、視点番号決定部42は、表示部50の各サブピクセルの描画ごとに呼ばれる。
出力サブピクセルルックアップ部43により、視点番号決定部42の決定結果に基づいて、左目画像又は右目画像から画素値をフェッチし、ディスプレイに発光される(ステップ111)。
処理対象のサブピクセル55の座標に対してw+1を行う(ステップ112)。すなわち、表示部50のスライス方向に1つずれた座標のサブピクセルを対象にする。対象のサブピクセルは、ステップ106の判定が行われる。またサブピクセルの座標はw+1されるため、ステップ107の判定を満たさないため、ステップ109へ移行する。すなわち、視点テーブルオフセット算出部は、スライス単位で呼ばれる。
これらの動作を繰り返すことで、対象のサブピクセルの座標がWidthの3倍を超えた場合(ステップ106のNO)、対象のサブピクセルの座標に対してh+1を行う(ステップ113)。
ステップ112及びステップ113がフレーム周期内にスライス分だけ繰り返されることで、表示部50の全体の発光が完了する。
以上、本実施形態に係る表示制御部40は、顔位置の推定結果62における視点テーブルに対して、顔位置の推定結果64におけるユーザの視点位置に応じたオフセットに基づく視点テーブルに基づいて、表示部50のスライス1及びスライス2の表示処理が実行される。これにより、高品質な視聴体験を実現することが可能となる。
従来、1人使用を前提としたレンチキュラーレンズを用いた3D立体視可能なディスプレイにおいて、ユーザの顔が移動することで出力画像を生成するときに前提としていた
顔の位置と実際にディスプレイが発光した際の顔の位置とが一致しないことがある。そのため動的クロストークが発生し立体視が阻害される。
顔の位置と実際にディスプレイが発光した際の顔の位置とが一致しないことがある。そのため動的クロストークが発生し立体視が阻害される。
本技術では、ディスプレイ画面を複数のスライスに分け、その各スライスの上部を表示し始めるタイミングにユーザの顔位置の推定結果を取得する。その推定結果を用いて視点テーブルにオフセットを加えることで、ユーザの顔位置の移動によって発生する動的クロストークを軽減する。
<その他の実施形態>
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
上記の実施形態では、視点テーブル生成部23により最新の顔位置の推定結果が用いられ視点テーブルが生成された。これに限定されず、ユーザの顔位置に依存しない静的な視点テーブルが保持されてもよい。例えば、所定の位置のユーザの顔を基準とした基準視点テーブルが記憶部30に記憶されてもよい。またこの場合、視点テーブルオフセット算出部41は、最新の推定された顔位置と基準の顔位置との差分からオフセットを算出してもよい。
上記の実施形態では、それぞれの最新の顔位置の推定結果が用いられ、視点テーブルの生成やオフセットの算出が行われた。これに限定されず、取得されたセンサ情報から推定された顔位置を基準に、その顔位置の推定結果が使用されるまでの時差分の移動量が予測されてもよい。
上記の実施形態では、視点テーブルの生成やオフセットの算出に用いられる顔位置の推定を行う方法(アルゴリズム)は同じ方法が用いられた。これに限定されず、顔位置の推定方法は異なっていてもよい。オフセットを算出する際に、視点テーブル生成部23で使用された顔位置の推定結果からの移動量が用いられてもよい。例えば、視点テーブル生成部23では、RGBカメラ画像を用いて顔位置が推定され、視点テーブルオフセット算出部41では、DVSカメラの情報から推定した視点テーブル生成部23の処理時から移動した顔位置の移動量が使用されてもよい。すなわち、精度が異なる推定方法、又は推定にかかる時間に差がある推定方法が用いられてもよい。またセンサ部10が精度や取得にかかる時間が異なるセンサを2種類以上有してもよい。
上記の実施形態では、表示部のスライス数が4つに設定された。これに限定されず、スライス数は顔位置の推定処理の処理時間の間に描画される幅で決定されてもよい。例えば、ラスタスキャン発光方式のディスプレイにおける画面上部と画面下部での発行するタイミングの時差が16msの場合に処理時間が8msかかるとすると、スライス数が2と決定される。またこの場合、顔位置の推定処理をVsyncと同期させてもよい。
またレンチキュラーレンズとディスプレイとが斜めに貼り合わせられる場合、視点番号に縦方向の周期性が生じる。この周期単位でスライス幅が決定されてもよい。例えば、縦方向の周期が6pxの場合、スライス幅を6px、スライス数をHeight/6としてもよい。また縦方向の周期の倍数をスライス幅としてもよい。
上記の実施形態では、視点番号決定部42により、視点テーブルからルックアップした視点番号に対し、オフセットの量だけインクリメントされた。これに限定されず、視点テーブルを実際の表示部50の画面(ディスプレイ)よりも大きく生成し、オフセットの量だけ読み出し位置をずらしてもよい。例えば、実際の表示部50の画面よりも大きい視点テーブルは、ディスプレイのスライス幅に依存するオフセットの算出周期の間に動くユーザの顔の動き量の想定される最大値を1視点あたりの視点画像幅で割った商が、想定される最大の視点番号の移動量となる。その移動量の分だけ視点テーブルが上下左右に大きく生成されてもよい。
上記の実施形態では、裸眼立体ディスプレイ100によりオフセットの算出等が行われた。これに限定されず、裸眼立体ディスプレイ100の一部の機能がクラウドサーバにより機能してもよい。
図6は、他の実施形態に係る裸眼立体ディスプレイ100及び画像描画部75を示すブロック図である。
図6に示すように、画像描画部75がクラウドサーバにより機能してもよい。描画のように重い処理がクラウドサーバにより機能してもよい。またクラウドサーバを用いることにより、コンテンツの配信や更新が容易に行え、クライアント側でのコンテンツにおけるチート行為や3Dモデルデータの抽出等の不正な利用を防ぐことが可能となる。
また視点テーブル生成部23がクラウドサーバにより機能してもよい。すなわち、デバイス特有の処理はクライアント側で実行され、ARやVR等の他のデバイスと共通の処理がクラウドサーバ側で実行されてもよい。
各図面を参照して説明した視点テーブル生成部、視点テーブルオフセット算出部、視点番号決定部等の各構成、オフセットの算出フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。
また本技術に係る情報処理装置、情報処理方法、及び記録媒体は、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお、本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
コンピュータシステムによる本技術に係る情報処理装置、情報処理方法、及び記録媒体の実行は、例えば、視点テーブルの生成、オフセットの算出、及び視点番号の決定等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部又は全部を他のコンピュータに実行させその結果を取得することを含む。
すなわち本技術に係る情報処理装置、情報処理方法、及び記録媒体は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
なお、本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、もちろん本開示中に記載されていない効果が発揮される可能性もある。
以上説明した各形態の特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。
なお、本技術は以下のような構成も採ることができる。
(1)
第一のタイミングにおける第1の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第2の視点情報に基づいて、表示装置の第1の領域及び前記第1の領域に隣接した第2の領域の表示処理を実行する表示制御部と
を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、さらに、
前記第1のタイミングにおける前記第1の視点情報を取得し、前記第1の視点情報に応じて前記表示装置の描画処理を実行する描画部
を具備する情報処理装置。
(3)(1)に記載の情報処理装置であって、
前記視点情報は、前記視点位置の数に基づいて、前記表示装置に出力される出力画像のサブピクセルのマトリクスに基づく番号情報を含む
情報処理装置。
(4)(1)に記載の情報処理装置であって、さらに、
前記第二のタイミングにおける前記ユーザの視点位置に基づいて、前記補正情報を算出する算出部を具備する
情報処理装置。
(5)(1)に記載の情報処理装置であって、
前記補正情報は、前記視点番号を加算することを含む
情報処理装置。
(6)(4)に記載の情報処理装置であって、
前記算出部は、前記視点位置とは異なる前記第1のタイミングにおける他の視点位置、及び前記第2のタイミングにおける前記視点位置に基づいて、前記補正情報を算出する
情報処理装置。
(7)(4)に記載の情報処理装置であって、
前記第1の視点情報は、前記第1のタイミングにおける前記他の視点位置に基づく視点情報、又は前記ユーザの所定の位置における基準視点位置に基づく視点情報を含む
情報処理装置。
(8)(2)に記載の情報処理装置であって、
前記タイミングは、前記出力画像の描画又は表示に関するタイミングであり、
前記第1のタイミングは、前記出力画像の描画におけるタイミングであり、
前記第2のタイミングは、前記出力画像の表示の際のタイミングである
情報処理装置。
(9)(4)に記載の情報処理装置であって、
前記算出部は、前記第1の視点情報に対して、前記表示装置の所定の領域まで表示した際のタイミングである第3のタイミングにおける第3の視点位置に応じた他の補正情報に基づく第3の補正情報を算出する
情報処理装置。
(10)(1)に記載の情報処理装置であって
前記表示装置は、ラスタスキャンディスプレイを有し、
前記第1の領域及び前記第2の領域は、前記ラスタスキャンディスプレイの描画方向に分けられる
情報処理装置。
(11)(1)に記載の情報処理装置であって、さらに、
前記ユーザの視点位置に応じた前記視点情報を生成する生成部を具備する
情報処理装置。
(12)(11)に記載の情報処理装置であって
前記生成部は、各タイミングにおける前記ユーザの視点位置を取得し、前記各タイミングにおける各々の視点位置に基づいて、前記視点情報を生成する
情報処理装置。
(13)(12)に記載の情報処理装置であって、さらに、
各タイミングにおける前記ユーザの視点位置を推定する推定部を具備する
情報処理装置。
(14)(13)に記載の情報処理装置であって、
前記推定部は、第1のセンサにより取得される第1のセンサ情報に基づいて、前記視点情報が生成される際の前記ユーザの視点位置を推定する
情報処理装置。
(15)(14)に記載の情報処理装置であって、
前記推定部は、第2のセンサにより取得される第2のセンサ情報に基づいて、前記補正情報が算出される際の前記ユーザの視点位置を推定する
情報処理装置。
(16)(15)に記載の情報処理装置であって、
前記第2のセンサは、前記第1のセンサとは異なるセンサであり、
前記推定部は、前記第2のセンサ情報と前記第1のセンサ情報との差分から、前記ユーザの視点位置の移動量を推定する
情報処理装置。
(17)
第一のタイミングにおける第1の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第2の視点情報に基づいて、表示装置の第1の領域及び前記第1の領域に隣接した第2の領域の表示処理を実行する
ことをコンピュータシステムが実行する情報処理方法。
(18)
第一のタイミングにおける第1の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第2の視点情報に基づいて、表示装置の第1の領域及び前記第1の領域に隣接した第2の領域の表示処理を実行するステップ
をコンピュータシステムに実行させるプログラムを記載した記録媒体。
(1)
第一のタイミングにおける第1の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第2の視点情報に基づいて、表示装置の第1の領域及び前記第1の領域に隣接した第2の領域の表示処理を実行する表示制御部と
を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、さらに、
前記第1のタイミングにおける前記第1の視点情報を取得し、前記第1の視点情報に応じて前記表示装置の描画処理を実行する描画部
を具備する情報処理装置。
(3)(1)に記載の情報処理装置であって、
前記視点情報は、前記視点位置の数に基づいて、前記表示装置に出力される出力画像のサブピクセルのマトリクスに基づく番号情報を含む
情報処理装置。
(4)(1)に記載の情報処理装置であって、さらに、
前記第二のタイミングにおける前記ユーザの視点位置に基づいて、前記補正情報を算出する算出部を具備する
情報処理装置。
(5)(1)に記載の情報処理装置であって、
前記補正情報は、前記視点番号を加算することを含む
情報処理装置。
(6)(4)に記載の情報処理装置であって、
前記算出部は、前記視点位置とは異なる前記第1のタイミングにおける他の視点位置、及び前記第2のタイミングにおける前記視点位置に基づいて、前記補正情報を算出する
情報処理装置。
(7)(4)に記載の情報処理装置であって、
前記第1の視点情報は、前記第1のタイミングにおける前記他の視点位置に基づく視点情報、又は前記ユーザの所定の位置における基準視点位置に基づく視点情報を含む
情報処理装置。
(8)(2)に記載の情報処理装置であって、
前記タイミングは、前記出力画像の描画又は表示に関するタイミングであり、
前記第1のタイミングは、前記出力画像の描画におけるタイミングであり、
前記第2のタイミングは、前記出力画像の表示の際のタイミングである
情報処理装置。
(9)(4)に記載の情報処理装置であって、
前記算出部は、前記第1の視点情報に対して、前記表示装置の所定の領域まで表示した際のタイミングである第3のタイミングにおける第3の視点位置に応じた他の補正情報に基づく第3の補正情報を算出する
情報処理装置。
(10)(1)に記載の情報処理装置であって
前記表示装置は、ラスタスキャンディスプレイを有し、
前記第1の領域及び前記第2の領域は、前記ラスタスキャンディスプレイの描画方向に分けられる
情報処理装置。
(11)(1)に記載の情報処理装置であって、さらに、
前記ユーザの視点位置に応じた前記視点情報を生成する生成部を具備する
情報処理装置。
(12)(11)に記載の情報処理装置であって
前記生成部は、各タイミングにおける前記ユーザの視点位置を取得し、前記各タイミングにおける各々の視点位置に基づいて、前記視点情報を生成する
情報処理装置。
(13)(12)に記載の情報処理装置であって、さらに、
各タイミングにおける前記ユーザの視点位置を推定する推定部を具備する
情報処理装置。
(14)(13)に記載の情報処理装置であって、
前記推定部は、第1のセンサにより取得される第1のセンサ情報に基づいて、前記視点情報が生成される際の前記ユーザの視点位置を推定する
情報処理装置。
(15)(14)に記載の情報処理装置であって、
前記推定部は、第2のセンサにより取得される第2のセンサ情報に基づいて、前記補正情報が算出される際の前記ユーザの視点位置を推定する
情報処理装置。
(16)(15)に記載の情報処理装置であって、
前記第2のセンサは、前記第1のセンサとは異なるセンサであり、
前記推定部は、前記第2のセンサ情報と前記第1のセンサ情報との差分から、前記ユーザの視点位置の移動量を推定する
情報処理装置。
(17)
第一のタイミングにおける第1の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第2の視点情報に基づいて、表示装置の第1の領域及び前記第1の領域に隣接した第2の領域の表示処理を実行する
ことをコンピュータシステムが実行する情報処理方法。
(18)
第一のタイミングにおける第1の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第2の視点情報に基づいて、表示装置の第1の領域及び前記第1の領域に隣接した第2の領域の表示処理を実行するステップ
をコンピュータシステムに実行させるプログラムを記載した記録媒体。
5…視点テーブル
21…顔位置推定部
22…画像描画部
23…視点テーブル生成部
40…表示制御部
41…視点テーブルオフセット算出部
42…視点番号決定部
100…裸眼立体ディスプレイ
21…顔位置推定部
22…画像描画部
23…視点テーブル生成部
40…表示制御部
41…視点テーブルオフセット算出部
42…視点番号決定部
100…裸眼立体ディスプレイ
Claims (18)
- 第一のタイミングにおける第1の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第2の視点情報に基づいて、表示装置の第1の領域及び前記第1の領域に隣接した第2の領域の表示処理を実行する表示制御部と
を具備する情報処理装置。 - 請求項1に記載の情報処理装置であって、さらに、
前記第1のタイミングにおける前記第1の視点情報を取得し、前記第1の視点情報に応じて前記表示装置の描画処理を実行する描画部
を具備する情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記視点情報は、前記視点位置の数に基づいて、前記表示装置に出力される出力画像のサブピクセルのマトリクスに基づく番号情報を含む
情報処理装置。 - 請求項1に記載の情報処理装置であって、さらに、
前記第二のタイミングにおける前記ユーザの視点位置に基づいて、前記補正情報を算出する算出部を具備する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記補正情報は、前記視点番号を加算することを含む
情報処理装置。 - 請求項4に記載の情報処理装置であって、
前記算出部は、前記視点位置とは異なる前記第1のタイミングにおける他の視点位置、及び前記第2のタイミングにおける前記視点位置に基づいて、前記補正情報を算出する
情報処理装置。 - 請求項4に記載の情報処理装置であって、
前記第1の視点情報は、前記第1のタイミングにおける前記他の視点位置に基づく視点情報、又は前記ユーザの所定の位置における基準視点位置に基づく視点情報を含む
情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記タイミングは、前記出力画像の描画又は表示に関するタイミングであり、
前記第1のタイミングは、前記出力画像の描画におけるタイミングであり、
前記第2のタイミングは、前記出力画像の表示の際のタイミングである
情報処理装置。 - 請求項4に記載の情報処理装置であって、
前記算出部は、前記第1の視点情報に対して、前記表示装置の所定の領域まで表示した際のタイミングである第3のタイミングにおける第3の視点位置に応じた他の補正情報に基づく第3の補正情報を算出する
情報処理装置。 - 請求項1に記載の情報処理装置であって
前記表示装置は、ラスタスキャンディスプレイを有し、
前記第1の領域及び前記第2の領域は、前記ラスタスキャンディスプレイの描画方向に分けられる
情報処理装置。 - 請求項1に記載の情報処理装置であって、さらに、
前記ユーザの視点位置に応じた前記視点情報を生成する生成部を具備する
情報処理装置。 - 請求項11に記載の情報処理装置であって
前記生成部は、各タイミングにおける前記ユーザの視点位置を取得し、前記各タイミングにおける各々の視点位置に基づいて、前記視点情報を生成する
情報処理装置。 - 請求項12に記載の情報処理装置であって、さらに、
各タイミングにおける前記ユーザの視点位置を推定する推定部を具備する
情報処理装置。 - 請求項13に記載の情報処理装置であって、
前記推定部は、第1のセンサにより取得される第1のセンサ情報に基づいて、前記視点情報が生成される際の前記ユーザの視点位置を推定する
情報処理装置。 - 請求項14に記載の情報処理装置であって、
前記推定部は、第2のセンサにより取得される第2のセンサ情報に基づいて、前記補正情報が算出される際の前記ユーザの視点位置を推定する
情報処理装置。 - 請求項15に記載の情報処理装置であって、
前記第2のセンサは、前記第1のセンサとは異なるセンサであり、
前記推定部は、前記第2のセンサ情報と前記第1のセンサ情報との差分から、前記ユーザの視点位置の移動量を推定する
情報処理装置。 - 第一のタイミングにおける第1の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第2の視点情報に基づいて、表示装置の第1の領域及び前記第1の領域に隣接した第2の領域の表示処理を実行する
ことをコンピュータシステムが実行する情報処理方法。 - 第一のタイミングにおける第1の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第2の視点情報に基づいて、表示装置の第1の領域及び前記第1の領域に隣接した第2の領域の表示処理を実行するステップ
をコンピュータシステムに実行させるプログラムを記載した記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021128732 | 2021-08-05 | ||
JP2021-128732 | 2021-08-05 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023013130A1 true WO2023013130A1 (ja) | 2023-02-09 |
Family
ID=85154167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/010253 WO2023013130A1 (ja) | 2021-08-05 | 2022-03-09 | 情報処理装置、情報処理方法、及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023013130A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013016966A (ja) * | 2011-07-01 | 2013-01-24 | Japan Display West Co Ltd | 表示装置 |
JP2014072602A (ja) * | 2012-09-28 | 2014-04-21 | Jvc Kenwood Corp | 多視点画像生成装置及び方法 |
JP2016116221A (ja) * | 2014-12-10 | 2016-06-23 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 3d表示のための装置及び方法 |
WO2019026765A1 (ja) * | 2017-08-02 | 2019-02-07 | 株式会社ソニー・インタラクティブエンタテインメント | レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法 |
WO2020071029A1 (ja) * | 2018-10-04 | 2020-04-09 | ソニー株式会社 | 情報処理装置、情報処理方法、及び記録媒体 |
-
2022
- 2022-03-09 WO PCT/JP2022/010253 patent/WO2023013130A1/ja unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013016966A (ja) * | 2011-07-01 | 2013-01-24 | Japan Display West Co Ltd | 表示装置 |
JP2014072602A (ja) * | 2012-09-28 | 2014-04-21 | Jvc Kenwood Corp | 多視点画像生成装置及び方法 |
JP2016116221A (ja) * | 2014-12-10 | 2016-06-23 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 3d表示のための装置及び方法 |
WO2019026765A1 (ja) * | 2017-08-02 | 2019-02-07 | 株式会社ソニー・インタラクティブエンタテインメント | レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法 |
WO2020071029A1 (ja) * | 2018-10-04 | 2020-04-09 | ソニー株式会社 | 情報処理装置、情報処理方法、及び記録媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6866297B2 (ja) | ヘッドマウントディスプレイの電子ディスプレイ安定化 | |
EP3712840A1 (en) | Method and system for generating an image of a subject in a scene | |
US9251621B2 (en) | Point reposition depth mapping | |
US8189035B2 (en) | Method and apparatus for rendering virtual see-through scenes on single or tiled displays | |
US20150304624A1 (en) | Optimal depth mapping | |
JP2019517012A5 (ja) | ||
TWI594018B (zh) | 廣視角裸眼立體圖像顯示方法、裸眼立體顯示設備以及其操作方法 | |
US20130038600A1 (en) | System and Method of Processing 3D Stereoscopic Image | |
US20140306954A1 (en) | Image display apparatus and method for displaying image | |
JP2007052304A (ja) | 映像表示システム | |
KR20120075829A (ko) | 적응적 부화소 렌더링 장치 및 방법 | |
US10136121B2 (en) | System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display | |
KR20140073584A (ko) | 화상 처리 장치, 입체 화상 표시 장치, 화상 처리 방법 및 화상 처리 프로그램 | |
KR20180099703A (ko) | 적응형 초점면을 갖는 가상 현실을 렌더링하기 위한 구성 | |
CN110956695A (zh) | 信息处理装置、信息处理方法和存储介质 | |
US9918066B2 (en) | Methods and systems for producing a magnified 3D image | |
JP6687751B2 (ja) | 画像表示システム、画像表示装置、その制御方法、及びプログラム | |
CN110969706B (zh) | 增强现实设备及其图像处理方法、***以及存储介质 | |
US20130210520A1 (en) | Storage medium having stored therein game program, game apparatus, game system, and game image generation method | |
WO2023013130A1 (ja) | 情報処理装置、情報処理方法、及び記録媒体 | |
KR101634225B1 (ko) | 다시점 입체 영상 보정 장치 및 방법 | |
US20140362197A1 (en) | Image processing device, image processing method, and stereoscopic image display device | |
KR101831978B1 (ko) | 회전된 렌티큘러시트를 부착한 디스플레이에 표시되는 요소영상콘텐츠 생성 방법 | |
De Sorbier et al. | Augmented reality for 3D TV using depth camera input | |
US9269177B2 (en) | Method for processing image and apparatus for processing image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22852559 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |