WO2012176431A1 - 多視点画像生成装置、多視点画像生成方法 - Google Patents

多視点画像生成装置、多視点画像生成方法 Download PDF

Info

Publication number
WO2012176431A1
WO2012176431A1 PCT/JP2012/003975 JP2012003975W WO2012176431A1 WO 2012176431 A1 WO2012176431 A1 WO 2012176431A1 JP 2012003975 W JP2012003975 W JP 2012003975W WO 2012176431 A1 WO2012176431 A1 WO 2012176431A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
amount
viewpoint
image
autostereoscopic display
Prior art date
Application number
PCT/JP2012/003975
Other languages
English (en)
French (fr)
Inventor
智英 石上
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201280030116.9A priority Critical patent/CN103636200A/zh
Priority to US14/126,678 priority patent/US20140111627A1/en
Publication of WO2012176431A1 publication Critical patent/WO2012176431A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to a technique for generating a multi-viewpoint image for an autostereoscopic display from left and right two-viewpoint images.
  • Stereoscopic displays include a glasses-type stereoscopic display that uses light-transmitting and light-shielding switching using 3D glasses, and an autostereoscopic display that uses a parallax barrier such as a parallax barrier or a lenticular lens.
  • the content displayed on the glasses-type stereoscopic display is composed of images from two left and right viewpoints, whereas the content displayed on the autostereoscopic display is not suitable for reverse viewing depending on the viewing position. Consists of viewpoint images.
  • the current mainstream stereoscopic display is a glasses-type stereoscopic display
  • most of the currently distributed 3D content is composed of images of two left and right viewpoints. For this reason, there is a lack of 3D content for autostereoscopic displays that require multi-viewpoint images.
  • a multi-viewpoint image for an autostereoscopic display is generated using a technique for generating a multi-viewpoint image from two left-right viewpoint images.
  • the technique disclosed in Patent Document 1 first, the inter-pixel distance in each pixel is calculated from the images of two left and right viewpoints by stereo matching.
  • a multi-viewpoint image is generated from the left-right two-viewpoint image by interpolating or extrapolating the inter-pixel distance.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide a multi-viewpoint image generation apparatus that generates a multi-viewpoint image suitable for display on an autostereoscopic display.
  • a multi-viewpoint image generation device is a multi-viewpoint image generation device that generates a multi-viewpoint image for an autostereoscopic display, and an image that acquires two-right and left-viewpoint images.
  • a display characteristic storage unit that stores display characteristics, a parallax analysis unit that adjusts the parallax amount calculated by the parallax calculation unit using the autostereoscopic display characteristics, and a parallax amount adjusted by the parallax analysis unit
  • a multi-viewpoint image generating unit that generates a multi-viewpoint image by shifting each pixel of the left-right two-viewpoint image, and the multi-viewpoint image.
  • a view synthesis unit for synthesizing a composite image obtained by synthesis by the view synthesis unit, and an outputting section which outputs the autostereoscopic display.
  • the characteristics of the autostereoscopic display are stored in advance, and the parallax amount calculated by the parallax calculation unit is calculated using the characteristics of the autostereoscopic display. It is adjusted.
  • a multi-viewpoint image with a parallax amount suitable for an autostereoscopic display can be generated, and a stereoscopic image fused with the whole screen can be displayed to the user without causing visual fatigue or difficulty in stereoscopic fusion. Can be provided.
  • An autostereoscopic display generally has a higher amount of crosstalk in which left and right viewpoint images are mixed than a glasses-type stereoscopic display. Therefore, when viewing a video with a large amount of parallax between viewpoints (distance between pixels for each pixel) for Blu-ray 3D as it is, the video appears to be a double image without being fused, and the eyes are tired. The phenomenon of impairing the feeling occurs.
  • the inventor generates a viewpoint image by interpolating or extrapolating the inter-pixel distance according to the viewpoint position in the multi-viewpoint generation system disclosed in Patent Document 1, so that depending on the scene, The amount of parallax between them increased, and the image was seen as a double image without melting, and the eyes were tired and the stereoscopic effect could be lost.
  • the inventor has obtained one aspect of the invention shown below based on the above knowledge.
  • a multi-viewpoint image generation device is a multi-viewpoint image generation device that generates a multi-viewpoint image for an autostereoscopic display, an image acquisition unit that acquires images of two left and right viewpoints, A parallax calculation unit that calculates the parallax amount between the left and right viewpoints from the viewpoint image, and stores the autostereoscopic display characteristics of the crosstalk amount in the autostereoscopic display or the recommended parallax amount in the autostereoscopic display.
  • the display characteristic storage unit the parallax analysis unit that adjusts the parallax amount calculated by the parallax calculation unit using the autostereoscopic display characteristic, and the parallax amount adjusted by the parallax analysis unit,
  • a multi-viewpoint image generation unit that generates a multi-viewpoint image by shifting each pixel of the viewpoint image; a viewpoint synthesis unit that combines the multi-viewpoint image;
  • the characteristics of the autostereoscopic display are stored in advance, and the parallax amount calculated by the parallax calculation unit is adjusted using the characteristics of the autostereoscopic display.
  • the parallax analysis unit further responds to a difference in parallax amount between a pixel to be processed and pixels around the pixel to be processed. Then, the parallax amount after adjusting the parallax amount using the autostereoscopic display characteristics is locally adjusted.
  • the amount of parallax is adjusted according to the difference in amount of parallax between the pixel to be processed and its surrounding pixels, so that the contrast of the amount of parallax can be adjusted, and the stereoscopic effect is more emphasized.
  • a viewpoint image can be generated.
  • the disparity analysis unit is configured such that the difference in the amount of disparity between the pixel to be processed and pixels around the pixel to be processed has a predetermined value.
  • the difference in the amount of parallax is increased, and when the difference in amount of parallax between the pixel to be processed and the pixels around the pixel to be processed is equal to or greater than a predetermined value, the difference in amount of parallax is decreased.
  • the stereoscopic effect is reduced by reducing the difference in the amount of parallax, and when the difference in the amount of parallax with the surrounding pixels is small
  • the three-dimensional effect can be strengthened by increasing the amount difference. Thereby, a multi-viewpoint image with enhanced stereoscopic effect can be provided to the user.
  • the parallax analysis unit includes the parallax amount in the upper X% and the lower Y% in the parallax amount calculated by the parallax calculation unit.
  • the parallax amount is adjusted so that a certain parallax amount falls within a recommended range of the parallax amount in the autostereoscopic display.
  • the parallax amount is adjusted so that the parallax amount in the upper X% and the parallax amount in the lower Y% are within the recommended range of the parallax amount in the autostereoscopic display. Therefore, it is possible to generate a multi-viewpoint image having a parallax amount suitable for an autostereoscopic display. Even when there is a protruding amount of parallax in the 3D content, the amount of parallax can be adjusted appropriately without being influenced by the protruding value of the amount of parallax.
  • the parallax analysis unit changes the values of X% and Y% according to the number of pixels having a parallax amount near 0.
  • the parallax amount more suitable for a user can be adjusted by adjusting the parallax amount with the area of the screen surface vicinity.
  • the parallax analysis unit uses the X% and Y% values as one or both of the left and right viewpoint images. Is changed according to the amount of motion between frames.
  • the parallax amount more suitable for a user can be adjusted by adjusting the parallax amount according to the amount of motion between frames.
  • the parallax analysis unit is configured such that the maximum value and the minimum value of the parallax amount calculated by the parallax calculation unit are parallaxes in the autostereoscopic display.
  • the parallax amount is adjusted so as to be within the recommended range of the amount.
  • the parallax amount suitable for the autostereoscopic display can be generated.
  • the image acquisition unit is configured to perform a first operation that is assumed when the left and right two-viewpoint images are displayed on a general stereoscopic display.
  • the crosstalk amount is acquired, and the parallax analysis unit compares the second crosstalk amount, which is the crosstalk amount in the autostereoscopic display stored in the display characteristic storage unit, with the first crosstalk amount. Then, the parallax amount is adjusted according to the ratio of the crosstalk amount.
  • the crosstalk amount is approximately proportional to the recommended jump amount and the recommended depth amount
  • the first crosstalk amount assumed when being displayed on the stereoscopic display, and the autostereoscopic view Generating a multi-viewpoint image having a parallax amount suitable for an autostereoscopic display by adjusting the parallax amount according to a ratio of the crosstalk amount to a second crosstalk amount which is a crosstalk amount in the display. Can do.
  • the parallax analysis unit includes the parallax amount in the upper X% and the lower Y% in the parallax amount calculated by the parallax calculation unit.
  • the multi-viewpoint image generation unit obtains a magnification for multiplying the parallax amount by a predetermined number so that a certain amount of parallax falls within a recommended range of the parallax amount in the autostereoscopic display.
  • a plurality of multi-view image generation patterns adopted as a part of the multi-view image are selected using the magnification obtained by the parallax analyzer, and a multi-view image is generated using the selected multi-view image generation pattern.
  • the parallax amount between the viewpoints is a parallax amount suitable for the autostereoscopic display from the left and right viewpoint images.
  • the multi-viewpoint image generation unit refers to information on the effect of the viewer, and corresponds to the effect of the viewer in the multi-viewpoint image.
  • the multi-viewpoint image generation pattern is selected so that more images of the two left and right viewpoints are assigned to the viewpoint image to be performed.
  • the viewpoint so that the LR original image can be seen more effectively according to the effect information, it is possible to generate a multi-viewpoint image that can be fused and easily obtain a stereoscopic effect.
  • the parallax analysis unit calculates a barycentric position of a pixel group in which the parallax amount calculated by the parallax calculation unit is near 0. And the amount of parallax is locally adjusted according to the distance between the center point of the region of interest and the pixel to be processed.
  • the parallax of the area far from the on-screen area of interest that has a low resolution to feel between three-dimensional objects is weakened by reducing the amount of parallax of the area on the screen of interest that has high resolution to feel between the three-dimensional objects.
  • the amount can be strengthened.
  • a multi-viewpoint image generation device is a multi-viewpoint image generation device that generates a multi-viewpoint image for an autostereoscopic display, and an image acquisition unit that acquires images of two left and right viewpoints; Depth image acquisition unit that acquires a depth image indicating the depth of each pixel in the left and right viewpoint images, and the autostereoscopic display characteristics of the recommended value of the crosstalk amount in the autostereoscopic display or the parallax amount in the autostereoscopic display A parallax analysis unit that adjusts the parallax amount between the left and right viewpoints determined from the depth amount indicated in the depth image, using the autostereoscopic display characteristics, A multi-viewpoint image is obtained by shifting each pixel of the left-right two-viewpoint image using the parallax amount adjusted by the parallax analysis unit. Comprising a multi-view image generation unit that formed a view synthesis unit for synthesizing the multi-viewpoint image, a composite image obtained by synthesis by the view
  • the parallax analysis unit further responds to a difference in parallax amount between a pixel to be processed and pixels around the pixel to be processed. Then, the parallax amount after adjusting the parallax amount using the autostereoscopic display characteristics is locally adjusted.
  • the parallax amount is adjusted using the depth image indicating the depth of each pixel in the left and right two-viewpoint images, according to the difference in the parallax amount between the pixel to be processed and the surrounding pixels.
  • the contrast of the parallax amount is adjusted, it is possible to generate a multi-viewpoint image with a more enhanced stereoscopic effect.
  • the disparity analysis unit includes a disparity amount in the upper X% of disparity amounts determined from the depth amount indicated in the depth image, and The parallax amount is adjusted so that the parallax amount in the lower Y% is within the range of the recommended parallax amount in the autostereoscopic display.
  • the parallax amount when the parallax amount is adjusted using the depth image indicating the depth of each pixel in the left and right viewpoint images, the upper X is within the range of the recommended value of the parallax amount in the autostereoscopic display. %, And the parallax amount is adjusted so that the parallax amount in the lower Y% falls within the parallax amount, so that a multi-viewpoint image having a parallax amount suitable for an autostereoscopic display can be generated. Further, even when there is a protruding amount of parallax in the 3D content, the amount of parallax can be adjusted without being influenced by the protruding value of the amount of parallax.
  • a multi-viewpoint image generation device is a multi-viewpoint image generation device that generates a multi-viewpoint image for an autostereoscopic display, and an image acquisition unit that acquires images of two left and right viewpoints; Stores the parallax calculation unit that calculates the amount of parallax between the left and right viewpoints from the left and right viewpoint images, and the autostereoscopic display characteristics of the crosstalk amount in the autostereoscopic display or the recommended parallax amount in the autostereoscopic display The parallax calculated by the parallax calculation unit using the display characteristic storage unit that is being used, the autostereoscopic display characteristics, and the difference in parallax between the pixel to be processed and pixels around the pixel to be processed By using the parallax analyzer that adjusts the amount and the amount of parallax adjusted by the parallax analyzer, each pixel of the left and right viewpoint images is shifted to A multi-viewpoint image generation unit that generates an image; a viewpoint synthesis
  • the parallax amount calculated by the parallax calculation unit is calculated using the autostereoscopic display characteristics and a difference in parallax amount between the pixel to be processed and a pixel around the pixel to be processed. Because it adjusts, it is a multi-viewpoint image with a three-dimensional effect fused on the entire screen, and the contrast of the amount of parallax is adjusted in the autostereoscopic display without causing visual fatigue or difficulty in three-dimensional fusion. A multi-viewpoint image can be generated.
  • a multi-viewpoint image generation method is a multi-viewpoint image generation method for generating a multi-viewpoint image for an autostereoscopic display, and an image acquisition step for acquiring left and right two-viewpoint images; Stores the parallax amount calculation step for calculating the parallax amount between the left and right viewpoints from the left and right viewpoint images, and the autostereoscopic display characteristics of the crosstalk amount in the autostereoscopic display or the recommended value of the parallax amount in the autostereoscopic display Display characteristic storing step, Using the autostereoscopic display characteristics, the parallax amount adjustment step for adjusting the parallax amount calculated by the parallax amount calculation step, and the parallax amount adjusted by the parallax amount adjustment step, the left and right viewpoint images
  • a multi-viewpoint image generation step for generating a multi-viewpoint image by shifting each pixel of the image, a viewpoint synthesis step for synthesizing the multi-viewpoint image, and a synthesized
  • a multi-viewpoint image generation method capable of generating a multi-viewpoint image having a parallax amount suitable for an autostereoscopic display.
  • FIG. 1 is a configuration diagram of the multi-viewpoint image generation apparatus according to the first embodiment.
  • the multi-viewpoint image generation apparatus includes an image acquisition unit 101, a parallax calculation unit 102, a display characteristic storage unit 103, a parallax analysis unit 104, a viewpoint generation unit 105, a viewpoint synthesis unit 106, and an autostereoscopic display unit 107.
  • the image acquisition unit 101 includes an image acquisition unit 101, a parallax calculation unit 102, a display characteristic storage unit 103, a parallax analysis unit 104, a viewpoint generation unit 105, a viewpoint synthesis unit 106, and an autostereoscopic display unit 107.
  • the image acquisition unit 101 receives left-right (LR) bi-parallax images such as Blu-ray 3D, side-by-side, top-and-bottom, etc., decomposes them into left-eye images (L images) and right-eye images (R images), and calculates parallax
  • LR left-right
  • L images left-eye images
  • R images right-eye images
  • the image is output to the unit 102 and the viewpoint generation unit 105.
  • the parallax calculation unit 102 calculates the inter-pixel distance in each pixel based on the L and R images output from the image acquisition unit 101 by a stereo image creation technique using a block matching method such as SAD or SSD or a graph cut. Calculate and output an L parallax image and an R parallax image for the L image and the R image.
  • the display characteristic storage unit 103 is an autostereoscopic display device such as a crosstalk amount in an autostereoscopic display that outputs a multi-viewpoint image, or a recommended value of parallax amount in the autostereoscopic display (an amount of parallax popping out from a screen surface and an amount of depth parallax).
  • the characteristics of the visual display are stored in a nonvolatile or volatile memory or the like and read by the parallax analyzer 104.
  • the parallax analyzer 104 creates a parallax histogram or the like from the L parallax image and the R parallax image created by the parallax calculator 102, and based on the autostereoscopic display characteristic values stored in the display characteristic memory 103. The amount of parallax between viewpoints that is optimal for an autostereoscopic display is calculated. Thereafter, the L parallax image and the R parallax image are converted based on the calculated result, and are output to the viewpoint generation unit 105.
  • the viewpoint generation unit 105 uses the parallax image and the R parallax image adjusted for the autostereoscopic display output from the parallax calculation unit 104 based on the L image and the R image output from the image acquisition unit 101.
  • the autostereoscopic display unit 107 generates a viewpoint image having the required number of viewpoints by horizontally moving in accordance with the amount and the viewpoint position.
  • the viewpoint synthesis unit 106 synthesizes the multi-viewpoint image output from the viewpoint generation unit 105 as an image to be displayed on the autostereoscopic display unit 107 and outputs the synthesized image to the autostereoscopic display unit 107.
  • the autostereoscopic display unit 107 displays the composite image output from the viewpoint synthesis unit 106 through a parallax barrier or a lenticular lens. Thereby, autostereoscopic viewing is possible.
  • FIG. 2 is a diagram illustrating an example of the parallax calculation unit 102 in FIG.
  • 201 is an L image
  • 202 is an object A reflected in the L image
  • 203 is an object B reflected in the L image
  • 211 is an L parallax image
  • 212 is an object A in the L parallax image 211
  • 213 is an L parallax image 211.
  • Object B, 221 is an R image
  • 222 is an object A reflected in the R image
  • 223 is an object B reflected in the R image
  • 231 is an R parallax image
  • 232 is an object A in the R parallax image 231
  • 233 is an object in the R parallax image 231 B.
  • the object A 202 and the object B 203 are reflected, and the same object is reflected in the object A 222 and the object B 223 of the R image 221.
  • the object A222 of the R image 221 has moved two pixels to the right from the same pixel position, and thus the parallax amount of the object A212 in the L parallax image 211 is 2.
  • the search for the correspondence can be realized by using general SAD (SumSof Absolute Difference), SSD (Sum of Squared Difference), NCC (Normalized Cross-Correlation) or the like in block matching.
  • the parallax amount of the object B 213 of the L parallax image 211 corresponding to the object B 203 of the L image 201 is 1.
  • the right side is defined as + and the left side as-, and the direction of the parallax amount is defined.
  • the parallax amount corresponding to the object A232 of the R parallax image 231 is 2 pixels, and the parallax amount corresponding to the object B233 is 1 pixel.
  • FIG. 3 is a diagram showing an example of characteristics included in the display characteristic storage unit 103 in FIG.
  • FIG. 4 is an example diagram of a disparity analysis unit according to Embodiment 1 of the present invention.
  • 301 is a crosstalk amount
  • 302 is a recommended jump amount
  • 303 is a recommended depth amount.
  • the amount of crosstalk 301 is the amount of light that appears when an image for one side (for example, the left eye) leaks to the other side (for example, the right eye) when viewing a stereoscopic image displayed on the display from an appropriate viewing position. It is a ratio. In the case of a multi-viewpoint image, this is the ratio of the amount of light that appears when an image for another viewpoint leaks when an image for a certain viewpoint is displayed.
  • the value of the crosstalk amount 301 is calculated, for example, by displaying a test image independently for each viewpoint on an autostereoscopic display that displays a multi-viewpoint image, and measuring the luminance using a luminance meter. be able to.
  • the recommended pop-up amount 302 is a limit parallax amount at which a stereoscopic image popping out from the screen surface (zero parallax between viewpoints) can be seen in a suitable viewing position on the autostereoscopic display, and the recommended depth amount 303 is This is the limit of the amount of parallax that can be seen when a stereoscopic image withdrawn from the screen surface is fused at an appropriate viewing position.
  • the values of the recommended pop-up amount 302 and the recommended depth amount 304 are obtained by reproducing and evaluating various test images in which the parallax amount is associated in advance with the autostereoscopic display adjusted in advance at the appropriate viewing position. Number. Further, since it actually changes depending on the contrast value with the periphery, it may be provided for each contrast ratio with the periphery.
  • FIG. 4A shows the result of adjusting the amount of parallax in accordance with the display characteristics.
  • FIG. 4B is a diagram illustrating switching of the parallax conversion type.
  • 4 (a) and 4 (b) 401 is the maximum amount of parallax, 402 is the minimum amount of parallax, 411 is the recommended amount of projection, 412 is the recommended amount of depth, 421 is the maximum amount of parallax corrected according to the characteristics, 422 is the minimum amount of parallax corrected according to the characteristics, and 431 to 433 are parallax amount conversion formulas that switch according to the absolute value difference of the parallax amount between the target pixel and surrounding pixels. When the amount of parallax is-, it appears to be retracted from the screen.
  • the maximum parallax 421 is adjusted according to the characteristics by adjusting the parallax amount in the + direction by linear interpolation or the like so that the distance between the maximum parallax amount 401 and the screen surface having the zero parallax amount becomes the recommended pop-up amount Ru411. Corresponds to the recommended pop-up amount Ru411. Similarly, in the minimum parallax amount 402, the corrected maximum parallax amount 422 matches the recommended depth amount Rd412.
  • the parallax analysis unit 104 acquires the maximum parallax amount and the minimum parallax amount among the parallax amounts in the image, and recommends the parallax amount recommended values (recommended pop-up amount Ru, recommended depth amount Rd). ) And the maximum parallax amount and the minimum parallax amount in the image, and the ratio of the parallax amounts is calculated as a parallax amount correction coefficient. Then, the parallax analyzer 104 multiplies the parallax amount of each pixel by the value indicated by the parallax amount correction coefficient to change the parallax amount. Thereby, the parallax amount of the two-viewpoint image can be adjusted so as to be within the range of the recommended parallax amount recommended in the autostereoscopic display.
  • FIGS. 3 and 4 are examples of the multi-viewpoint image generation device according to one aspect of the present invention, and this configuration is not necessarily required.
  • the parallax analysis unit 104 may adjust the parallax amount using the crosstalk amount characteristic of the autostereoscopic display stored in the display characteristic storage unit 103. Specifically, it is assumed that the crosstalk amount at the appropriate viewing position is CT% due to the characteristics of the autostereoscopic display, and the content of the left and right (LR) two viewpoints acquired by the image acquisition unit 101 is the crosstalk amount CT ′%. If it is made (for example, Blu-ray 3D made assuming active shutter glasses), it is assumed that the amount of crosstalk is roughly proportional to the recommended amount of projection and the recommended depth, and the parallax correction coefficient is set to that crosstalk. Calculated from the quantity ratio (CT / CT '(CT ⁇ CT')). Then, the parallax analyzer 104 multiplies the parallax amount of each pixel by the value indicated by the parallax amount correction coefficient to change the parallax amount.
  • CT% due to the characteristics of the autostereoscopic display
  • the upper X% and the lower Y% of the parallax amount histogram are searched by the p-tile method or the like, and the parallax in the upper X% of the parallax amounts calculated by the parallax calculation unit
  • the amount of parallax may be adjusted so that the amount is the recommended pop-up amount and the amount of parallax in the lower Y% is the recommended depth amount.
  • the parallax analysis unit 104 acquires the parallax amount in the upper X% and the parallax amount in the lower Y% among the parallax amounts in the image, and recommends the recommended parallax amount (recommended pop-up amount Ru).
  • the recommended depth amount Rd) is compared with the parallax amount at the upper X% and the parallax amount at the lower Y% in the image, and the ratio of the parallax amounts is calculated as the parallax amount correction coefficient.
  • the parallax amount is adjusted so that the parallax amount in the upper X% and the parallax amount in the lower Y% are within the recommended range of the parallax amount in the autostereoscopic display.
  • a multi-viewpoint image having an appropriate amount of parallax can be generated. Even when there is a protruding amount of parallax in the 3D content, the amount of parallax can be adjusted appropriately without being influenced by the protruding value of the amount of parallax.
  • the values of X% and Y% may be dynamically changed according to the area (number of pixels) around the screen surface (near parallax). Specifically, the X and Y values are increased if the area around the screen surface is large, and the X and Y values are decreased if the area around the screen surface is small.
  • the values of X% and Y% are dynamically changed according to the amount of movement between the previous and next frames in one or both of the left and right viewpoint images acquired by the image acquisition unit 101. Good. Specifically, the X and Y values are increased if the amount of motion between frames is large, and the X and Y values are decreased if the amount of motion between frames is small.
  • the parallax amount of the pixel to be processed (target pixel) and the surrounding parallax amount are evaluated, and the parallax is determined by the difference between the parallax amount of the target pixel and the average parallax amount of the peripheral pixels
  • the amount may be adjusted. Specifically, the amount of parallax after adjusting the amount of parallax using the autostereoscopic display characteristics is locally adjusted according to the difference in amount of parallax between the pixel to be processed and pixels around the pixel to be processed To do.
  • the difference in the amount of parallax between the pixel to be processed and the surrounding pixels of the pixel to be processed is equal to or less than a predetermined value
  • the difference in the amount of parallax is increased, and the pixel to be processed and the process
  • the difference in the amount of parallax with the surrounding pixels of the target pixel is greater than or equal to a predetermined value
  • the difference in the amount of parallax is reduced.
  • the range within the range is between the recommended jump amount and the recommended depth amount, but the dynamic is compressed locally.
  • the purpose is to increase the effect. Since the contrast of the amount of parallax is adjusted according to the difference in the amount of parallax between the pixel to be processed and the surrounding pixels, it is possible to generate a multi-viewpoint image with a more enhanced stereoscopic effect.
  • the parallax amount may be adjusted by switching from the parallax conversion equation 432 in FIG. 4B to the parallax conversion equation 431 or the parallax conversion equation 432 according to the absolute value difference between the parallax amounts of the target pixel and the surrounding pixels. Good.
  • the parallax conversion equation 431 is applied so as to weaken the absolute difference because a feeling is obtained, and when the absolute difference is small, the contrast of the parallax amount is locally increased by applying 433 to obtain a sufficient stereoscopic effect. As a result, it is possible to adjust the amount of parallax between viewpoints that matches the characteristics of the autostereoscopic display.
  • the present invention is not limited to this, and a simple difference may be used.
  • the conversion of the amount of parallax may be locally adjusted depending on whether it is protruding or retracting (depth direction).
  • the parallax may be locally adjusted according to the distance from the center point of the region of interest (for example, near the center of the screen or the barycentric position of the pixel group near zero parallax).
  • the pixel located near the center point of the region of interest has high resolution to feel a three-dimensional effect, so the local parallax adjustment due to the difference between the target pixel and surrounding pixels is weakened so that it does not look like a double image.
  • the resolution to feel the stereoscopic effect is weak, and even if it looks somewhat double, it is not anxious. Emphasize the feeling.
  • FIG. 5 is a diagram showing an example of the operation of the viewpoint generation unit 105 in FIG.
  • 501 is an L image
  • 502 is an object A reflected in the L image 501
  • 503 is an object B reflected in the L image 501
  • 511 is an L parallax image
  • 512 is an object A reflected in an L parallax image
  • 513 is an L parallax image.
  • Objects B and 521 are images obtained by moving the L image 501 to the right by 0.5 times the LR parallax
  • 522 are objects A and 523 that appear in the moved image 521
  • objects B and 532 and 533 that are reflected in the moved image 521 Is the place where a hole is opened in the image.
  • FIG. 5 shows an example of generating a viewpoint at a position moved from the L image to the right by 0.5 times the LR parallax to the right using the L image 501 and the L parallax image 511.
  • the LR parallax indicates the amount of parallax between the L image and the R image acquired by the image acquisition unit 101 in FIG. 1, and in this example, the viewpoint position is exactly at the center of the camera that captured the L image and the R image. Is equivalent to
  • FIG. 5 is an example of the first embodiment of the present invention, and this configuration is not necessarily required.
  • the viewpoint generation unit sets the viewpoint position from the L image to the right, but may set the viewpoint position to the left, and may generate the viewpoint in the vertical direction as well as horizontally. That is, an arbitrary horizontal and vertical viewpoint image can be generated from the parallax images of the L image and the R image.
  • each pixel is moved by horizontal or vertical movement to generate a new viewpoint image, but this configuration is not necessarily required.
  • feature points etc. are detected in advance using SHIFT and SURF, corresponding points are calculated, and each polygonal area connecting the feature points is converted using perspective projection transformation etc. It may be generated.
  • viewpoint generation unit 105 in FIG. 1 actively uses an LR image to create a high-quality viewpoint generation image
  • FIG. 6 determines how many times the amount of parallax between the viewpoints should be increased from the LR that is the amount of parallax between the L image and the R image generated by the image acquisition unit of FIG. This is an example of generating multiple viewpoints with the amount of parallax between viewpoints corresponding to the value, and is an example of generating eight viewpoints from viewpoint images 01 to 08.
  • the viewpoint generation unit 105 selects a multi-view image generation pattern based on the magnification used when the parallax amount is adjusted by the parallax analysis unit 104, and generates a multi-view image using the selected multi-view image generation pattern. .
  • the viewpoint generation unit 105 obtains the magnification obtained by the parallax analysis unit from 0.30 times.
  • a pattern 604 having a small parallax amount of 0.25 times is selected.
  • eight viewpoints from the viewpoint images 01 to 08 are generated using the selected pattern, and each viewpoint image is generated by multiplying the parallax amount of the parallax image by 0.25 ⁇ n (n varies from the viewpoint position).
  • the original L image is assigned to the viewpoint image 03 and the R image is assigned to the viewpoint image 07, and three viewpoints from 04 to 06 are included inside the L image and the R image.
  • the viewpoint analysis unit 105 only analyzes the ideal amount of parallax between the viewpoints, and corrects the amount of parallax in the parallax image and outputs the parallax image to the viewpoint generation unit 105 as shown in FIG. do not do.
  • FIGS. 7A and 7B are diagrams illustrating an example of a 4-viewpoint image in which the amount of parallax between viewpoints is generated at 0.50LR.
  • the effect is the right eye.
  • the generation patterns include a pattern shown in FIG. 7A and a pattern shown in FIG. 7B.
  • the multi-viewpoint image generation pattern is selected so that more images of the two left and right viewpoints are assigned to the viewpoint image corresponding to the effect of the viewer among the multi-viewpoint images.
  • two multi-viewpoint image generation patterns can be considered.
  • viewpoints so that the LR original image can be seen more effectively according to the effect information set in step 1
  • effect information of a person registered in advance by a technique such as face authentication may be taken out and automatically switched.
  • FIG. 8 shows an example of the viewpoint synthesis unit 106 when the autostereoscopic display unit 107 in FIG. 1 includes a six-view parallax barrier.
  • the parallax barrier has holes for every six viewpoints in the sub pixel unit, it is necessary to synthesize the parallax barrier in the sub pixel unit. Therefore, the sub-pixels at each viewpoint are filled according to the RGB order of the sub-pixels. For example, since the upper left sub-pixel 801 of the composite image 800 is an R component, the sub-pixel 811 corresponding to the upper left R component of the first viewpoint image 810 is filled.
  • the sub pixel 804 adjacent to the sub pixel 801 of the composite image 800 is filled with a sub pixel 824 corresponding to the upper left G component of the second viewpoint image 820 because of the G component.
  • the sub pixel 812 corresponding to the upper left G component of the first viewpoint image 810 corresponds to the upper left B component of the first viewpoint image 810 to the sub pixel 802 corresponding to the G component of the second row of the composite image 800.
  • the sub pixel 813 to be embedded is filled into 803 corresponding to the B component in the third row of the composite image 800.
  • a composite image 800 can be generated by extracting and combining the pixels. Note that FIG. 8 is an example of a synthesis example, and this configuration is not necessarily required.
  • each viewpoint image reduced in the horizontal direction by the number of viewpoints with respect to the resolution of the composite image may be prepared, and may be filled in sub-pixel units, or the vertical resolution may be increased (the composite image and each viewpoint image The vertical position matches).
  • FIG. 9 is a flowchart showing the flow of processing of the multi-viewpoint image generation device according to one aspect of the present invention.
  • the image acquisition unit 101 acquires images from two left and right viewpoints (step S901).
  • the parallax calculation unit 102 calculates the amount of parallax between the left and right viewpoint images acquired by the image acquisition unit 101 (step S902). Specifically, the parallax calculation unit 102 calculates the inter-pixel distance in each pixel by a stereo image creation technique using a block matching method such as SAD or SSD or a graph cut, and the L parallax for the L image and the R image. An image and an R parallax image are generated.
  • a stereo image creation technique such as SAD or SSD or a graph cut
  • the parallax analyzer 104 reads the characteristics of the autostereoscopic display stored in the display characteristics storage 103 (step S903).
  • the parallax analysis unit 104 adjusts the parallax amount calculated by the parallax calculation unit 102 using the read characteristics of the autostereoscopic display (step S904). Details of this parallax amount adjustment processing will be described later.
  • the viewpoint generation unit 105 generates a multi-viewpoint image using the parallax amount adjusted by the parallax analysis unit 104 (step S905). This multi-viewpoint image generation process will be described later.
  • the viewpoint synthesis unit 106 synthesizes the multi-viewpoint image generated by the viewpoint generation unit 105 (step S906).
  • the viewpoint synthesis unit 106 outputs the synthesized image obtained by the synthesis process in step S906 to the autostereoscopic display unit 107, and the autostereoscopic display unit 107 displays the synthesized image (step S907).
  • FIG. 10 is a flowchart showing details of the parallax amount adjustment processing.
  • the parallax analysis unit 104 determines whether or not information on the recommended value of the parallax amount in the autostereoscopic display is stored in the display characteristic storage unit 103 (step 1001).
  • the parallax analysis unit 104 acquires the recommended value of the parallax amount in the autostereoscopic display from the display characteristic storage unit 103. (Step S1002).
  • the parallax analysis unit 104 acquires the maximum parallax amount and the minimum parallax amount among the parallax amounts in the image (step S1003).
  • the parallax analysis unit 104 compares the recommended value of the parallax amount with the maximum parallax amount and the minimum parallax amount in the image, and calculates the parallax amount ratio as a parallax amount correction coefficient (step S1004).
  • the parallax analysis unit 104 displays the two-viewpoint image acquired by the image acquisition unit 101 on a general stereoscopic display ( For example, a crosstalk amount (first crosstalk amount) that is assumed when the image is displayed on a stereoscopic display that reproduces BD-3D is acquired (step S1005).
  • the parallax analyzer 104 acquires the crosstalk amount (second crosstalk amount) of the autostereoscopic display from the display storage unit 103 (step S1006).
  • the parallax analysis unit 104 compares the first crosstalk amount and the second crosstalk amount, and calculates the ratio of the crosstalk amount as a parallax amount correction coefficient (step S1007).
  • the parallax analyzer 104 multiplies the parallax amount of each pixel by the value indicated by the parallax amount correction coefficient to change the parallax amount (step S1008). Thereby, the parallax amount of the two-viewpoint image can be adjusted so as to be within the range of the recommended parallax amount recommended in the autostereoscopic display.
  • the parallax analysis unit 104 acquires a difference in parallax amount between the pixel to be processed and its surrounding pixels, and further locally adjusts the parallax amount adjusted using display characteristics according to the difference in parallax amount. Adjustment is made (step S1009). Specifically, when the difference in the amount of parallax between the processing target pixel and the surrounding pixels of the processing target pixel is equal to or less than a predetermined value, the difference in the amount of parallax is increased, and the processing target pixel and the processing target pixel When the difference in the amount of parallax from the surrounding pixels is greater than or equal to a predetermined value, the difference in the amount of parallax is weakened.
  • step S905 This completes the description of the details of the parallax amount adjustment processing in step S904. Next, details of the multi-viewpoint image generation process in step S905 will be described.
  • FIG. 11 is a flowchart showing details of the multi-viewpoint image generation process.
  • the viewpoint generation unit 105 acquires the parallax amount correction coefficient used for adjusting the parallax amount (step S1101).
  • the viewpoint generation unit 105 selects a multi-viewpoint image generation pattern based on the acquired parallax amount correction coefficient (step S1102).
  • the viewpoint generation unit 105 shifts each pixel of the left and right viewpoint images by the number of pixels determined from the parallax amount adjusted by the parallax analysis unit 104 and the selected multi-view image generation pattern, and generates a multi-view image. (Step S1103).
  • the processing shown in FIG. 12 can be considered as a modification of the above-described multi-viewpoint image generation processing.
  • the viewpoint generation unit 105 obtains the effect information of the viewer (step S1201).
  • the efficacy information is stored in a nonvolatile or volatile memory or the like, and the viewpoint generation unit 105 reads the efficacy information from the memory or the like.
  • the viewpoint generation unit 105 selects a multi-viewpoint image generation pattern using the parallax amount correction coefficient and the effect information (step S1202). This makes it possible to select a multi-viewpoint image generation pattern that assigns more images of two left and right viewpoints to the viewpoint image corresponding to the viewer's effect among the multi-viewpoint images.
  • the multi-viewpoint image generation apparatus is different from the first embodiment in that it acquires a depth image indicating the depth of each pixel of a two-viewpoint image and generates a multi-viewpoint image using the acquired depth image. This is different from such a multi-viewpoint image generation apparatus.
  • FIG. 13 is a configuration diagram of the positioning processing apparatus according to the second embodiment of the present invention.
  • reference numeral 1301 denotes a depth image acquisition unit, which acquires a depth image input from the outside and sends it to the parallax analysis unit 1302.
  • content created with CG, etc. contains 3D model data, so it is easy to output accurate 3D depth information, and it is possible to easily create depth images on the content side. It is.
  • a distance sensor such as TOF (Time-of-Flight) can simultaneously acquire a grayscale image and a distance (depth) image.
  • the depth image output from the depth image acquisition unit 1301 is not the amount of parallax that is the distance between the pixels of the L image and the R image as in the first embodiment, but the three-dimensional acquired from the CG model or the TOF sensor. This is a value storing the depth information. Therefore, the parallax analysis unit 1302 needs to convert the depth information corresponding to the pixel value in the depth image into the range of the recommended pop-up amount and the recommended depth amount parallax amount called from the display characteristic storage unit 103. A simple conversion example will be described with reference to FIG.
  • FIG. 14 is an example of converting the parallax amount from the depth image.
  • 1401 is the minimum depth amount in the depth image
  • 1402 is the maximum depth amount in the depth image
  • 1403 is the depth amount corresponding to the screen surface (zero parallax)
  • 1404 is the recommended depth amount
  • 1405 is the recommended jump amount. Is the average depth.
  • the parallax analyzer 1302 converts the minimum depth 1401 in the depth image into a recommended depth 1404 and the maximum depth 1402 into a recommended pop-up 1405.
  • the parallax analysis unit 1302 assigns an average depth value 1406 to the screen surface 1403 with zero parallax, and converts the depth amount and the parallax amount by linear interpolation in each section.
  • the depth information of the target pixel and the surrounding pixels is used.
  • the amount of parallax may be locally converted and adjusted.
  • the parallax generation unit 105 receives the parallax image and the image acquisition unit 101 from the parallax image and the image acquisition unit 101 as in the first embodiment. Based on the acquired input image, a plurality of viewpoints are generated, the multiple viewpoints are combined by the parallax combining unit 106, and displayed by the autostereoscopic display unit 107.
  • FIG. 15 is a flowchart of a process flow of the multi-viewpoint image generation apparatus according to the second embodiment. The same parts as those in the operation of the multi-viewpoint image generation apparatus according to the first embodiment shown in FIG.
  • the depth image acquisition unit 1201 After acquiring the left and right viewpoint images (step S901), the depth image acquisition unit 1201 acquires the depth image (step S1501).
  • the viewpoint analysis unit 1302 After reading out the characteristics of the autostereoscopic display (step S903), the viewpoint analysis unit 1302 uses the characteristics of the autostereoscopic display to view the depth amount indicated in the depth image on the autostereoscopic display. The parallax amount is converted into a suitable amount (step S1502).
  • step S1502 the processing from step S905 to step S907 is performed.
  • the present invention may be an application execution method disclosed by the processing procedure described in each embodiment. Further, the present invention may be a computer program including program code that causes a computer to operate according to the processing procedure.
  • the present invention can also be implemented as an LSI that controls the multi-viewpoint image generation apparatus described in each of the above embodiments.
  • Such an LSI can be realized by integrating functional blocks such as the parallax calculation unit 102 and the parallax analysis unit 103. These functional blocks may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • LSI is used, but depending on the degree of integration, it may be called IC, system LSI, super LSI, or ultra LSI.
  • the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the present invention can also be realized as a three-dimensional image display device such as a digital television, a mobile phone device, or a personal computer including the multi-viewpoint image generation device described in each of the above embodiments. Further, it can be realized as a playback device such as a BD player or a DVD player including the multi-viewpoint image generation device described in each of the above embodiments.
  • the viewpoint generation device adjusts the amount of parallax between viewpoints in accordance with the characteristics of the autostereoscopic display, so that the entire screen can be fused to realize autostereoscopic vision with a stereoscopic effect. Be beneficial.
  • FIG. 7A 702 Multiview image generation in FIG. 7A Viewing example of the 02 and 03 viewpoints in the pattern 703 Viewing example of the 03 and 04 viewpoints in the multi-view image generation pattern in FIG. 7A 704 Viewing example of the 01 and 02 viewpoints in the multi-view image generation pattern in FIG. 7B 705 Viewing example of the 02 and 03 viewpoints in the multi-view image generation pattern in FIG. 7B 706 Viewing example of the 03 and 04 viewpoints in the multi-view image generation pattern in FIG.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　画像取得部は、左右二視点の画像を取得する。視差計算部は、左右二視点間の視差量を計算する。ディスプレイ特性記憶部は、裸眼立体視ディスプレイにおけるクロストーク量または裸眼立体視ディスプレイにおける視差量の推奨値の裸眼立体視ディスプレイ特性を記憶している。視差解析部は、ディスプレイ特性記憶部から裸眼立体視ディスプレイ特性を読み出し、読み出した裸眼立体視ディスプレイ特性を用いて、左右二視点間の視差量を調整する。多視点画像生成部は、視差解析部により調整された視差量を用いて、左右二視点の画像の各画素をシフトさせることにより、多視点画像を生成する。

Description

多視点画像生成装置、多視点画像生成方法
　本発明は、左右二視点の画像から、裸眼立体視ディスプレイに対する多視点画像を生成する技術に関する。
　立体視ディスプレイには、３Ｄメガネによる透光・遮光の切り替えを利用したメガネ式立体視ディスプレイと、パララックスバリアやレンチキュラーレンズ等による視差障壁を利用した裸眼立体視ディスプレイがある。メガネ式立体視ディスプレイに表示するコンテンツは、左右二視点の画像から構成されるのに対して、裸眼立体視ディスプレイに表示するコンテンツは、視聴位置に応じて逆視に見えるのを防ぐため、多視点の画像から構成される。
　ここで、現在主流の立体視ディスプレイは、メガネ式立体視ディスプレイであるため、現在流通する３Ｄコンテンツの多くは左右二視点の画像から構成されている。このため、多視点の画像を必要とする裸眼立体視ディスプレイ向けの３Ｄコンテンツが不足している。
　そこで、左右二視点の画像から多視点の画像を生成する技術を用いて、裸眼立体視ディスプレイ向けの多視点の画像が生成されている。特許文献１に開示される技術では、まず、左右二視点の画像から、ステレオマッチングにより各画素における画素間距離を計算する。そして、画素間距離の内挿または外挿により、左右二視点の画像から多視点の画像を生成している。
特開２００９－１２４３０８号公報
　しかしながら、上記の従来技術を用いて生成した多視点画像を裸眼立体視ディスプレイに表示した場合、視覚疲労や立体融合の困難が生じる場合がある。
　本発明は上記事情に鑑みなされたものであり、裸眼立体視ディスプレイでの表示に適した多視点画像を生成する多視点画像生成装置を提供することを目的とする。
　上記目的を達成するため、本発明の一態様にかかる多視点画像生成装置は、裸眼立体視ディスプレイに対する多視点画像を生成する多視点画像生成装置であって、左右二視点の画像を取得する画像取得部と、前記左右二視点の画像から、左右二視点間の視差量を算出する視差計算部と、裸眼立体視ディスプレイにおけるクロストーク量または裸眼立体視ディスプレイにおける視差量の推奨値の裸眼立体視ディスプレイ特性を記憶しているディスプレイ特性記憶部と、前記裸眼立体視ディスプレイ特性を用いて、前記視差計算部が算出した視差量を調整する視差解析部と、前記視差解析部により調整された視差量を用いて、前記左右二視点の画像の各画素をシフトさせることにより、多視点画像を生成する多視点画像生成部と、前記多視点画像を合成する視点合成部と、前記視点合成部による合成により得られる合成画像を、裸眼立体視ディスプレイに対して出力する出力部とを備えることを特徴とする。
　本発明の一態様にかかる多視点画像生成装置によれば、裸眼立体視ディスプレイの特性を事前に記憶しておき、その裸眼立体視ディスプレイの特性を用いて、視差計算部で算出した視差量を調整している。これにより、裸眼立体視ディスプレイに適した視差量の多視点画像を生成することでき、視覚疲労や立体融合の困難が生じることなく、画面全体で融像した立体感のある立体視映像をユーザに提供することができる。
本発明の実施の形態１における視点生成装置の構成図である。 本発明の実施の形態１における視差計算部の一例図である。 本発明の実施の形態１におけるディスプレイ特性の一例図である。 本発明の実施の形態１における視差解析部の一例図である。 本発明の実施の形態１における視点生成部の一例図である。 本発明の実施の形態１における積極的にLR画像を利用した視点生成の一例図である。 本発明の実施の形態１における効き目を考慮した視点生成の一例図である。 本発明の実施の形態１における視差合成部の一例図である。 本発明の一態様にかかる多視点画像生成装置の処理の流れを示すフローチャートである。 視差量調整処理の詳細を示すフローチャートである。 多視点画像生成処理の詳細を示すフローチャートである。 多視点画像生成処理の変形例を示すフローチャートである。 本発明の実施の形態２における視点生成装置の構成図である。 本発明の実施の形態２における奥行情報と視差量の変換の一例図である。 実施の形態２にかかる多視点画像生成装置の処理の流れを示すフローチャートである。
　（本発明にかかる一態様の基礎となった知見）
　まず、本発明にかかる一態様の基礎となった知見について説明する。
　裸眼立体視ディスプレイは、メガネ式立体視ディスプレイに比べ、一般的に左右視点画像が混在するクロストークの量が高い。そのため、Blu-ray 3D用に視点間の視差量（画素毎の視点間の画素間距離）が大きな映像をそのまま見た場合、映像が融像せずに二重像に見え、目が疲れ立体感を損なうという現象が生じる。
　発明者は、鋭意研究の結果、特許文献１に開示される多視点生成システムでは、視点位置に応じて画素間距離の内挿または外挿により視点画像を生成しているため、シーンによっては視点間の視差量が多くなり、映像が融像せずに二重像に見え、目が疲れ立体感を損なう場合があることを見いだした。
　また、多視点画像において、左目と右目に入る視点画像が大きく異なると脳内で立体映像として融像できなくなり、フリッカー等のノイズとして認識し、目が疲れてしまう。
　発明者は、以上の知見を基礎に、以下に示す発明の一態様を得るに至った。
　（本発明の一態様の概要）
　本発明の一態様である多視点画像生成装置は、裸眼立体視ディスプレイに対する多視点画像を生成する多視点画像生成装置であって、左右二視点の画像を取得する画像取得部と、前記左右二視点の画像から、左右二視点間の視差量を算出する視差計算部と、裸眼立体視ディスプレイにおけるクロストーク量または裸眼立体視ディスプレイにおける視差量の推奨値の裸眼立体視ディスプレイ特性を記憶しているディスプレイ特性記憶部と、前記裸眼立体視ディスプレイ特性を用いて、前記視差計算部が算出した視差量を調整する視差解析部と、前記視差解析部により調整された視差量を用いて、前記左右二視点の画像の各画素をシフトさせることにより、多視点画像を生成する多視点画像生成部と、前記多視点画像を合成する視点合成部と、前記視点合成部による合成により得られる合成画像を、裸眼立体視ディスプレイに対して出力する出力部とを備える。
　上記の態様によれば、裸眼立体視ディスプレイの特性を事前に記憶しておき、その裸眼立体視ディスプレイの特性用いて、視差計算部で算出した視差量を調整している。これにより、裸眼立体視ディスプレイにおいて、視覚疲労や立体融合の困難が生じることなく、画面全体で融像した立体感のある映像をユーザに提供することができる。
　また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記視差解析部は、さらに、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差に応じて、前記裸眼立体視ディスプレイ特性を用いた視差量の調整後の視差量を局所的に調整する。
　上記の態様によれば、処理対象の画素とその周辺の画素との視差量の差に応じて視差量を調整するので、視差量のコントラストを調整することができ、立体感をより強調した多視点画像を生成することができる。
　また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記視差解析部は、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差が所定の値以下である場合、当該視差量の差を強め、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差が所定の値以上である場合、当該視差量の差を弱める。
　上記の態様によれば、周辺の画素との視差量の差が大きい場合は、視差量の差を弱めることで立体感を低下させ、周辺の画素との視差量の差が小さい場合は、視差量の差を強めることで立体感を強めることができる。これにより、より立体感を強調した多視点画像をユーザに対して提供することができる。
　また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記視差解析部は、前記視差計算部が算出した視差量のうち上位Ｘ％にある視差量、および下位Ｙ％にある視差量が、前記裸眼立体視ディスプレイにおける視差量の推奨値の範囲に収まるように前記視差量を調整する。
　上記の態様によれば、裸眼立体視ディスプレイにおける視差量の推奨値の範囲内に、上位Ｘ％にある視差量および下位Ｙ％にある視差量にある視差量が収まるように視差量を調整するので、裸眼立体視ディスプレイに適した視差量を有する多視点画像を生成することができる。また、３Ｄコンテンツ内に突出した値の視差量がある場合であっても、その視差量の突出値に左右されることなく、視差量を適切に調整することができる。
　また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記視差解析部は、前記Ｘ％およびＹ％の値を、０付近の視差量を有する画素の数に応じて変化させる。
　画面全体に占めるスクリーン面が多いと、融像できる面積が多く、一部の視差が強い場所が存在しても、画面全体としてみるとほとんど気にならない。このため、上記の態様によれば、スクリーン面付近の面積で視差量を調整することにより、ユーザにとってより適した視差量の調整が可能となる。
　また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記視差解析部は、前記Ｘ％およびＹ％の値を、前記左右二視点の画像のうち、一方または両方の画像におけるフレーム間の動きの量に応じて変化させる。
　前後のフレームの動きの量が大きい場合、一部の視差量が強い場所が存在しても、画面全体としてみるとほとんど気にならない。このため、上記の態様によれば、フレーム間の動きの量に応じて視差量を調整することにより、ユーザにとってより適した視差量の調整が可能となる。
　また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記視差解析部は、前記視差計算部が算出した視差量の最大値および最小値が、前記裸眼立体視ディスプレイにおける視差量の推奨値の範囲に収まるように前記視差量を調整する。
　上記の態様によれば、裸眼立体視ディスプレイにおける視差量の推奨値の範囲内に、視差量の最大値および最小値が収まるように視差量を調整するので、裸眼立体視ディスプレイに適した視差量を有する多視点画像を生成することができる。
　また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記画像取得部は、前記左右二視点の画像が、一般立体視ディスプレイに表示される際に想定される第１のクロストーク量を取得し、前記視差解析部は、前記ディスプレイ特性記憶部に記憶される裸眼立体視ディスプレイにおけるクロストーク量である第２のクロストーク量と、前記第１のクロストーク量とを比較し、そのクロストーク量の比に応じて前記視差量を調整する。
　上記の態様によれば、おおよそクロストーク量と推奨飛出量や推奨奥行量が比例すると考えられるため、立体視ディスプレイに表示される際に想定される第１のクロストーク量と、裸眼立体視ディスプレイにおけるクロストーク量である第２のクロストーク量とのクロストーク量の比に応じて前記視差量を調整することで、裸眼立体視ディスプレイに適した視差量を有する多視点画像を生成することができる。
　また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記視差解析部は、前記視差計算部が算出した視差量のうち上位Ｘ％にある視差量、および下位Ｙ％にある視差量が、前記裸眼立体視ディスプレイにおける視差量の推奨値の範囲に収まるように視差量を所定数倍する際の倍率を求め、前記多視点画像生成部は、前記左右二視点の画像を多視点画像の一部として採用した複数の多視点画像生成パターンを、前記視差解析部が求めた前記倍率を用いて選択し、選択した多視点画像生成パターンを用いて多視点画像を生成する。
　上記の態様によれば、左右の二視点の画像から、視点間の視差量が裸眼立体視ディスプレイに適した視差量である多視点画像を生成することができる。
　また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記多視点画像生成部は、視聴者の効き目の情報を参照し、多視点画像のうち、視聴者の効き目に該当する視点画像へ前記左右二視点の画像がより多く割り当てられるように多視点画像生成パターンを選択する。
　上記の態様によれば、効き目の情報に従って、より効き目にＬＲの原画像が見えるように視点生成する事で、画面全体で融像し立体感を得やすい多視点画像を生成することができる。
　また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記視差解析部は、前記視差計算部が算出した視差量の値が０付近である画素群の重心位置を興味領域の中心点して定め、当該興味領域の中心点と処理対象の画素との距離に応じて、局所的に視差量を調整する。
　上記の態様によれば、立体間を感じる分解能が高い、注目している画面上の領域の視差量を弱め、立体間を感じる分解能が低い、注目している画面上の領域から遠い領域の視差量を強めることができる。
　また、本発明の一態様である多視点画像生成装置は、裸眼立体視ディスプレイに対する多視点画像を生成する多視点画像生成装置であって、左右二視点の画像を取得する画像取得部と、前記左右二視点の画像における個々の画素の奥行きを示す奥行画像を取得する奥行画像取得部と、裸眼立体視ディスプレイにおけるクロストーク量、または裸眼立体視ディスプレイにおける視差量の推奨値の裸眼立体視ディスプレイ特性を記憶しているディスプレイ特性記憶部と、前記裸眼立体視ディスプレイ特性を用いて、前記奥行画像に示される奥行き量から定まる前記左右二視点の画像間の視差量を調整する視差解析部と、前記視差解析部により調整された視差量を用いて、前記左右二視点の画像の各画素をシフトさせることにより、多視点画像を生成する多視点画像生成部と、前記多視点画像を合成する視点合成部と、前記視点合成部による合成により得られる合成画像を、裸眼立体視ディスプレイに対して出力する出力部とを備える。
　上記の態様によれば、左右二視点の画像における個々の画素の奥行きを示す奥行き画像を用いて、裸眼立体視ディスプレイ適した視差量を有する多視点画像を生成することができる。これにより、裸眼立体視ディスプレイにおいて、視覚疲労や立体融合の困難が生じることなく、画面全体で融像した立体感のある映像をユーザに提供することができる。
　また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記視差解析部は、さらに、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差に応じて、前記裸眼立体視ディスプレイ特性を用いた視差量の調整後の視差量を局所的に調整する。
　上記の態様によれば、左右二視点の画像における個々の画素の奥行きを示す奥行き画像を用いて視差量を調整する場合において、処理対象の画素とその周辺の画素との視差量の差に応じて、視差量のコントラストを調整するので、立体感をより強調した多視点画像を生成することができる。
　また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記視差解析部は、前記奥行画像に示される奥行き量から定まる視差量のうち、上位Ｘ％にある視差量、および下位Ｙ％にある視差量が、前記裸眼立体視ディスプレイにおける視差量の推奨値の範囲に収まるように視差量を調整する。
　上記の態様によれば、左右二視点の画像における個々の画素の奥行きを示す奥行き画像を用いて視差量を調整する場合において、裸眼立体視ディスプレイにおける視差量の推奨値の範囲内に、上位Ｘ％にある視差量および下位Ｙ％にある視差量にある視差量が収まるように視差量を調整するので、裸眼立体視ディスプレイに適した視差量を有する多視点画像を生成することができる。また、３Ｄコンテンツ内に、突出した値の視差量がある場合であっても、その視差量の突出値に左右されることなく、視差量を調整することができる。
　また、本発明の一態様である多視点画像生成装置は、裸眼立体視ディスプレイに対する多視点画像を生成する多視点画像生成装置であって、左右二視点の画像を取得する画像取得部と、前記左右二視点の画像から、左右二視点間の視差量を算出する視差計算部と、裸眼立体視ディスプレイにおけるクロストーク量、または裸眼立体視ディスプレイにおける視差量の推奨値の裸眼立体視ディスプレイ特性を記憶しているディスプレイ特性記憶部と、前記裸眼立体視ディスプレイ特性と、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差とを用いて、前記視差計算部が算出した視差量を調整する視差解析部と、前記視差解析部により調整された視差量を用いて、前記左右二視点の画像の各画素をシフトさせることにより、多視点画像を生成する多視点画像生成部と、前記多視点画像を合成する視点合成部と、前記視点合成部による合成により得られる合成画像を、裸眼立体視ディスプレイに対して出力する出力部とを備える。
　上記の態様によれば、前記裸眼立体視ディスプレイ特性と、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差とを用いて、前記視差計算部が算出した視差量を調整するので、裸眼立体視ディスプレイにおいて、視覚疲労や立体融合の困難が生じることなく、画面全体で融像した立体感のある多視点画像で、かつ視差量のコントラストを調整した、より立体感を有する多視点画像を生成することができる。
　また、本発明の一態様である多視点画像生成方法は、裸眼立体視ディスプレイに対する多視点画像を生成する多視点画像生成方法であって、左右二視点の画像を取得する画像取得ステップと、前記左右二視点の画像から、左右二視点間の視差量を算出する視差量算出ステップと、裸眼立体視ディスプレイにおけるクロストーク量または裸眼立体視ディスプレイにおける視差量の推奨値の裸眼立体視ディスプレイ特性を記憶しているディスプレイ特性記憶ステップと、
　前記裸眼立体視ディスプレイ特性を用いて、前記視差量算出ステップが算出した視差量を調整する視差量調整ステップと、前記視差量調整ステップにより調整された視差量を用いて、前記左右二視点の画像の各画素をシフトさせることにより、多視点画像を生成する多視点画像生成ステップと、前記多視点画像を合成する視点合成ステップと、前記視点合成ステップによる合成により得られる合成画像を、裸眼立体視ディスプレイに対して出力する出力ステップとを含む。
　上記の態様によれば、裸眼立体視ディスプレイに適した視差量を有する多視点画像を生成することができる多視点画像生成方法を提供することができる。
　（実施の形態１）
　以下では、本発明の実施の形態について、図面を参照しながら説明する。
　図１は、実施の形態１における多視点画像生成装置の構成図である。図１において、多視点画像生成装置は、画像取得部１０１、視差計算部１０２、ディスプレイ特性記憶部１０３、視差解析部１０４、視点生成部１０５、視点合成部１０６、裸眼立体表示部１０７で構成される。
　画像取得部１０１は、Blu-ray 3Dやサイドバイサイド、トップアンドボトム等の左右（LR）二視差の画像を受け取り、左目用画像（L画像）と右目用画像（R画像）に分解し、視差計算部１０２や視点生成部１０５へ画像を出力する。
　視差計算部１０２は、画像取得部１０１から出力されたL、R画像を元に、SADやSSD等のブロックマッチング手法やグラフカット等を利用したステレオ画像作成技術により、各画素における画素間距離を計算し、L画像とR画像に対するL視差画像、R視差画像を出力する。
　ディスプレイ特性記憶部１０３は、多視点画像を出力する裸眼立体視ディスプレイにおけるクロストーク量や、裸眼立体視ディスプレイにおける視差量の推奨値（スクリーン面からの飛び出し視差量および奥行き視差量）等の裸眼立体視ディスプレイの特性を不揮発性または揮発性のメモリ等で記憶しており、視差解析部１０４により読み出される。
　視差解析部１０４は、視差計算部１０２で作成したL視差画像、R視差画像から視差量のヒストグラム等を作成し、ディスプレイ特性記憶部１０３で記憶している裸眼立体視ディスプレイの特性値を元に、裸眼立体視ディスプレイに最適な視点間の視差量を計算する。その後、計算した結果を元にL視差画像、R視差画像を変換し、視点生成部１０５へ出力する。
　視点生成部１０５は、視差計算部１０４から出力される裸眼立体視ディスプレイ用に調整したL視差画像とR視差画像とを、画像取得部１０１から出力されるL画像とR画像とに基づき、視差量と視点位置に応じて水平移動させ、裸眼立体表示部１０７で必要な視点数の視点画像を生成する。
　視点合成部１０６は、視点生成部１０５で出力した多視点画像を、裸眼立体表示部１０７で表示するための画像として合成し、裸眼立体表示部１０７へ出力する。
　裸眼立体表示部１０７は、視点合成部１０６から出力される合成画像を、視差バリアやレンチキュラーレンズを通して表示する。これにより、裸眼立体視が可能となる。
　次に、図２を用いて視差計算部１０２を説明する。図２は、図１における視差計算部１０２の一例を示した図である。図２において、２０１はL画像、２０２はL画像に映る物体A、２０３はL画像に映る物体B、２１１はL視差画像、２１２はL視差画像２１１における物体A、２１３はL視差画像２１１における物体B、２２１はR画像、２２２はR画像に映る物体A、２２３はR画像に映る物体B、２３１はR視差画像、２３２はR視差画像２３１における物体A、２３３はR視差画像２３１における物体Bである。
　L画像２０１は、物体A２０２と物体B２０３が映っており、同じ物体が、R画像２２１の物体A２２２と物体B２２３に映っている。この時、L画像２０１の物体A２０２から見ると、R画像２２１の物体A２２２は同じ画素位置から右側へ２画素移動しているため、L視差画像２１１における物体A２１２の視差量は２となる。この時、対応関係を探索するのはブロックマッチングで一般的なSAD（Sum of Absolute Difference)やSSD(Sum of Squared Difference)、NCC(Normalized Cross-Correlation)等を用いる事で実現できる。
　同様に計算すると、L画像２０１の物体B２０３に相当するL視差画像２１１の物体B２１３の視差量は１となる。この時、L画像においては、右側を＋、左側を－と視差量の向きを定義する。同じく、R画像においては、左側を＋、右側を－として視差量を定義すると、R視差画像２３１の物体A２３２に相当する視差量は２画素、物体B２３３に相当する視差量は１画素となる。
　次に、図３～４を用いてディスプレイ特性部１０３と視差解析部１０４を説明する。図３は、図１におけるディスプレイ特性記憶部１０３内に含まれる特性の一例を示した図である。また、図４は、本発明の実施の形態１における視差解析部の一例図である。
　図３において、３０１はクロストーク量、３０２は推奨飛出量、３０３は推奨奥行量である。ここで、クロストーク量３０１は、適視位置から、ディスプレイに表示された立体視画像を視聴した場合に、片側（例えば左目）用画像がもう片方（例えば右目）に漏れて見える光の量の割合である。多視点画像の場合は、ある視点用の画像を表示した際、別の視点の画像が漏れて見える光の量の割合である。このクロストーク量３０１の値は、例えば、多視点画像を表示する裸眼立体視ディスプレイに対して各視点毎に独立にテスト画像を表示し、その輝度を輝度計を用いて測定することで算出することができる。
　また、推奨飛出量３０２は、裸眼立体視ディスプレイでスクリーン面（視点間の視差ゼロ）から飛び出した立体映像が適視位置において融像して見れる限界の視差量であり、推奨奥行量３０３は、スクリーン面から奥へ引っ込んだ立体映像が適視位置において融像して見れる限界の視差量である。
　これら推奨飛出量３０２や推奨奥行量３０４の値は、事前に適視位置で調整した裸眼立体視ディスプレイに、事前に視差量を関連付けておいた様々なテスト画像を再生し評価する事により得られた数値である。また、実際は周辺とのコントラスト値によっても変化するため、周辺とのコントラスト比毎に設けてもよい。
　また、図４（ａ）は、ディスプレイ特性に合わせて、視差量を調整した結果を表す。また、図４（ｂ）は、視差変換式の切替を示す図である。図４（ａ）および図４（ｂ）において、４０１は最大視差量、４０２は最小視差量、４１１は推奨飛出量、４１２は推奨奥行量、４２１は特性に合わせて修正した最大視差量、４２２は特性に合わせて修正した最小視差量、４３１～４３３は注目画素と周辺画素の視差量の絶対値差に応じて切り替わる視差量変換式であり、視差量が＋の場合画面より飛び出して見え、視差量が－の場合画面より奥に引っ込んで見える。
　この時、裸眼立体ディスプレイは、事前評価により推奨飛出量Ru４１１と、推奨奥行量Rd４１２の範囲に視差量が収まると適視位置で融像し快適に立体映像が観察される。このため、最大視差量４０１と視差量ゼロのスクリーン面の距離が、推奨飛出量Ru４１１になるように、線形補完等で＋方向の視差量を調整し、特性に合わせて修正した最大視差４２１が推奨飛出量Ru４１１と一致する。同様に、最小視差量４０２は、修正後の最大視差量４２２が推奨奥行量Ｒｄ４１２と一致する。
　より具体的には、視差解析部１０４は、画像内における視差量のうち、最大の視差量と最小の視差量とを取得し、視差量の推奨値（推奨飛出量Ru、推奨奥行量Rd）と画像内の最大の視差量および最小の視差量とを比較して、その視差量の比を視差量補正係数として算出する。そして、視差解析部１０４は、各画素が有する視差量に視差量補正係数に示される値を掛け合わせ、視差量を変更する。これにより、裸眼立体視ディスプレイにおいて推奨される視差量の推奨値の範囲内に収まるように、二視点画像が有する視差量を調整することができる。
　なお、図３、図４に示す構成は、本発明の一態様にかかる多視点画像生成装置の一例であり、必ずしもこの構成でなくてもよい。
　例えば、視差解析部１０４は、ディスプレイ特性記憶部１０３に記憶している裸眼立体視ディスプレイのクロストーク量の特性を用いて、視差量を調整してもよい。具体的には、裸眼立体視ディスプレイの特性で適視位置におけるクロストーク量がCT%で、画像取得部１０１が取得した左右（ＬＲ）二視点のコンテンツがクロストーク量CT'%を想定して作られてた場合（例えばアクティブシャッター式のメガネを想定して作られたBlu-ray 3D)、おおよそクロストーク量と推奨飛出量や推奨奥行量が比例するとして、視差補正係数をそのクロストーク量の比（CT/CT’（CT < CT'））から算出する。そして、視差解析部１０４は、各画素が有する視差量に視差量補正係数に示される値を掛け合わせ、視差量を変更する。
　また、最大視差量と最小視差量でなく、視差量のヒストグラムの上位Ｘ％や下位Ｙ％をp-tile法等により探索し、視差計算部が算出した視差量のうち上位Ｘ％にある視差量が推奨飛出量に、下位Ｙ％にある視差量が推奨奥行量になるように視差量を調整してもよい。
　具体的には、視差解析部１０４は、画像内における視差量のうち、上位Ｘ％にある視差量と下位Ｙ％にある視差量とを取得し、視差量の推奨値（推奨飛出量Ru、推奨奥行量Rd）と画像内の上位Ｘ％にある視差量および下位Ｙ％にある視差量とを比較して、その視差量の比を視差量補正係数として算出する。
　裸眼立体視ディスプレイにおける視差量の推奨値の範囲内に、上位Ｘ％にある視差量および下位Ｙ％にある視差量にある視差量が収まるように視差量を調整するので、裸眼立体視ディスプレイに適した視差量を有する多視点画像を生成することができる。また、３Ｄコンテンツ内に突出した値の視差量がある場合であっても、その視差量の突出値に左右されることなく、視差量を適切に調整することができる。
　更に、Ｘ％やＹ％の値を、スクリーン面周辺(視差ゼロ付近）の面積（画素数）によって動的に変更するとしてもよい。具体的には、スクリーン面周辺の面積が大きければＸおよびＹの値を大きくし、スクリーン面周辺の面積が小さければＸおよびＹの値を小さくする。
　これは、画面全体に占めるスクリーン面が多いと、融像できる面積が多く、一部の視差が強い場所が存在しても、画面全体としてみるとほとんど気にならないため、スクリーン面付近の面積で視差量を調整しても効果的である。
　また、Ｘ％やＹ％の値を、画像取得部１０１で取得した左右二視点の画像うち、一方または両方の画像における前後のフレーム間の動きの量に応じて、動的に変更するとしてもよい。具体的には、フレーム間の動きの量が大きければＸおよびＹの値を大きくし、フレーム間の動きの量が小さければＸおよびＹの値を小さくする。
　前後のフレームの動きの量が大きい場合、一部の視差量が強い場所が存在しても、画面全体としてみるとほとんど気にならないため、フレーム間の動きの量に応じて視差量を調整することにより、ユーザにとってより適した視差量の調整が可能となる。
　また、視差量を最適化する際、処理対象の画素（注目画素）の視差量とその周辺の視差量を評価し、注目画素の視差量と周辺画素の視差量の平均との差で、視差量を調整してもよい。具体的には、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差に応じて、裸眼立体視ディスプレイ特性を用いた視差量の調整後の視差量を局所的に調整する。より具体的には、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差が所定の値以下である場合、当該視差量の差を強め、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差が所定の値以上である場合、当該視差量の差を弱める。
　これは、人間の視覚特性を利用した画像のダイナミックレンジ圧縮技術の拡張であり、基本的にはレンジを収める範囲が推奨飛出量と推奨奥行量の間であるが、局所的にダイナミックを圧縮して効果を上げるのが目的である。処理対象の画素とその周辺の画素との視差量の差に応じて、視差量のコントラストを調整するので、立体感をより強調した多視点画像を生成することができる。
　例えば、注目画素と周辺の画素の視差量の絶対値差に応じて、図４（ｂ）の視差変換式４３２から、視差変換式４３１や視差変換式４３２に切替えて視差量を調整してもよい。一例として、注目画素と周辺の画素の視差量の絶対差が立体感を感じる重要な要素であると仮定し、注目画素と周辺の画素の視差量の絶対値差が多い場合は、十分な立体感が得られるため絶対差を弱めるように視差変換式４３１を、絶対差が少ない場合は、十分な立体感を得るために４３３を適応することで、局所的に視差量のコントラストを上げる。これにより、裸眼立体視ディスプレイの特性に合った視点間の視差量調整が可能となる。また、注目画素と周辺画素の視差量の絶対値差を用いた一例を示したが、これに限定されるものではなく、単純な差を用いてもよく、注目画素が周辺画素より、どの程度飛び出しているまたは引っ込んでいる(奥行方向）かで、視差量の変換を局所的に調整してもよい。
　同様に、注目している画面上の注視領域が最も立体感を感じる分解能が高く、その周辺は立体感を感じる分解能が低いと仮定し、注目画素と周辺の画素の視差量の絶対差だけでなく、さらに興味領域の中心点（例えば画面中心付近や、視差ゼロ付近にある画素群の重心位置）からの距離に応じて、局所的に視差を調整するとしてもよい。一例として、興味領域の中心点付近に位置する画素は、立体感を感じる分解能が高いため、二重像に見えないように注目画素と周辺の画素の差による局所的な視差の調整を弱めに行い、興味領域の中心点から離れるにつれて立体感を感じる分解能が弱く多少二重像に見えていても気にならないため、注目画素と周辺の画素の差による局所的な視差の調整を強めにかけて立体感を強調する。
　次に、図５を用いて、視点生成部１０５を説明する。図５は図１における視点生成部１０５の動作の一例を示した図である。図５において、５０１はL画像、５０２はL画像５０１に映る物体A、５０３はL画像５０１に映る物体B、５１１はL視差画像、５１２はL視差画像に映る物体A、５１３はL視差画像に映る物体B、５２１はL画像５０１を右側へLR視差の0.5倍移動させた画像、５２２は移動させた画像５２１に映る物体A、５２３は移動させた画像５２１に映る物体B、５３２および５３３は画像中に穴（hole）が開いた場所である。
　図５では、L画像５０１とL視差画像５１１を用いて、L画像から右へLR視差の０．５倍右へ移動させた位置の視点を生成する一例である。またLR視差とは、図１の画像取得部１０１が取得したL画像とR画像の視差量を示しており、この例では、ちょうどL画像とR画像を撮影したカメラの中心に視点位置が存在する事と等価である。
　この時、L画像に映る物体A５０２は、視差量がL視差画像５１１に映る物体A５１２に注目すると４である。従って、右側へLR視差の０．５倍移動させた場合、４×０．５＝２画素右へ移動させればよく、５２２へ物体A５０２を移動させる。同様にL画像に映る物体B５０３は、視差量が２のため、右側へLR視差の０．５倍移動させた場合は1画素右へ移動されればよく、５２３へ移動する。
　この時、L画像５０１に含まれる画素すべてをL視差画像５１１に従って移動させると、５３２、５３３の位置で穴（hole）が開いた画素が存在する。これらの穴は、L画像では見えていて、R画像では見えてないオクリュージョンに相当するため、適当な値で穴を埋める必要がある。一例としては、無限遠方の背景はどの視点でも同じ場所に同じように見えるため、穴が開いた画素の周辺を探索し、視差の少ない背景に相当する色を探索し、その色で埋めるなどがある。
　なお、図５は本発明における実施例１の一例であり、必ずしもこの構成でなくてもよい。例えば、図５において、視点生成部は視点位置をL画像から右へ設定したが、左へ設定してもよく、更に水平移動だけでなく、垂直方向に視点を生成してもよい。すなわち、L画像とR画像の視差画像から、水平垂直の任意の視点画像が生成可能である。
　また、図５では水平または垂直移動により各画素を移動させ、新しい視点画像を生成したが、必ずしもこの構成でなくてもよい。例えば、画素単位でなく、事前にSHIFTやSURFを用いて特徴点等を検出、対応点を計算しておき、特徴点を結んだ多角形領域毎に透視投影変換等を用いて変換させ視点を生成してもよい。この時は、特徴点同士が一致するため、図５のような穴が存在しない。
　次に、図６を用いて、図１の視点生成部１０５が積極的にLR画像を利用し、高画質な視点生成画像を作成する一例を示す。図６は、視点解析部１０４の解析結果によって、図１の画像取得部で生成したL画像とR画像の視差量であるLRから、各視点間の視差量を何倍にするか決定し、その値に対応する視点間の視差量で多視点生成する例であり、視点画像０１から０８までの8視点生成の一例である。視点生成部１０５は、視差解析部１０４で視差量を調整する際に用いた倍率に基づき、多視点画像生成パターンを選択し、選択した多視点画像生成パターンを用いて、多視点画像を生成する。
　例えば、視点解析部１０４で、０．３０倍に各視点間の視差量を生成するように解析されると、視点生成部１０５は、その視差解析部が求めた倍率である０．３０倍より少ない０．２５倍の視差量である６０４のパターンを選択する。そして、選択したパターンを用いて視点画像０１から０８までの8視点を生成し、視差画像の視差量を０．２５×ｎ倍（ｎは視点位置より変化）して各視点画像を生成する。この時、オリジナルであるL画像は視点画像０３に、R画像は視点画像０７に割り当てられ、L画像とR画像の内側には、０４から０６までの3視点分が含まれる。この時、視点解析部１０５は、各視点間の理想的な視差量を解析するのみであり、図４のように、視差画像内の視差量を補正して視点生成部１０５に視差画像を出力しない。
　次に、図７を用いて、効き目を考慮した視点生成の一例について説明する。
　図７（ａ）および図７（ｂ）では、視点間の視差量を０．５０ＬＲで生成した４視点画像の一例を示す図である。本図の例では、効き目が右目であるとする。図７（ａ）の例では、視点画像０１と０２を見ている７０１、視点画像０３と０４を見ている７０３については、効き目が原画像と対応しており、ノイズがまったくない理想的な画像が効き目に映る。これに対して、図７（ｂ）の例では、視点画像０２と０３を見ている７０５については、効き目が原画像と対応しており、ノイズがまったくない理想的な画像が効き目に映る。このように、４視点の画像を生成する際、その生成パターンは図７（ａ）に示すパターンと、図７（ｂ）に示すパターンがあるが、視点生成部１０５は、視聴者の効き目の情報を参照し、多視点画像のうち、視聴者の効き目に該当する視点画像へ左右二視点の画像がより多く割り当てられるように多視点画像生成パターンを選択する。
　視点数が偶数でＬ画像とＲ画像の間に奇数、または視点数が奇数でＬ画像とＲ画像の間に偶数存在する時には、多視点画像生成パターンが２つ考えられるが、事前にリモコン等で設定しておいた効き目の情報に従って、より効き目にＬＲの原画像が見えるように視点生成する事で、画面全体で融像し立体感を得易い裸眼立体環境を提供できる。なお、効き目の取得方法としては、顔認証等の技術により事前に登録した人物の効き目情報を取り出し自動的に切替えてもよい。
　次に、図８を用いて、図１における視点合成部１０６について説明する。図８は、図１における裸眼立体表示部１０７が６視点の視差バリアを備えた時の、視点合成部１０６の一例を示している。ここで、視差バリアは、サブ画素単位で6視点毎に穴があいているため、サブ画素単位で合成する必要がある。そのため、サブ画素のRGBの順番に従い、各視点におけるサブ画素を埋めていく。例えば、合成画像８００の左上のサブ画素８０１は、Ｒ成分のため、第一視点画像８１０の左上のＲ成分に相当するサブ画素８１１で埋める。次に、合成画像８００のサブ画素８０１の隣のサブ画素８０４は、Ｇ成分のため、第二視点画像８２０の左上のＧ成分に相当するサブ画素８２４で埋める。また、第一視点画像８１０の左上のＧ成分に相当するサブ画素８１２は、合成画像８００の二行目のＧ成分に相当するサブ画素８０２へ、第一視点画像８１０の左上のＢ成分に相当するサブ画素８１３は、合成画像８００の三行目のＢ成分にあたる８０３へ埋める。このように、合成画像の解像度に対し、横方向へ視点数分／サブ画素数（＝３）分縮小し、縦方向へサブ画素数（＝３）分縮小した各視点画像から、順番にサブ画素を取り出して合成することで合成画像８００が生成可能である。なお、図８は合成例の一例であり、必ずもこの構成でなくてもよい。例えば、合成画像の解像度に対し、横方向へ視点数分縮小した各視点画像を用意し、サブ画素単位で埋めてもよく、縦方向の解像度を高めてもよい（合成画像と各視点画像の縦の位置は一致する）。
　続いて、上記構成を備える本発明の一態様にかかる多視点画像生成装置の動作について説明する。
　図９は、本発明の一態様にかかる多視点画像生成装置の処理の流れを示すフローチャートである。
　本図に示されるように、画像取得部１０１は、左右二視点の画像を取得する（ステップＳ９０１）。
　次に、視差計算部１０２は、画像取得部１０１が取得した左右二視点の画像間の視差量を算出する（ステップＳ９０２）。具体的には、視差計算部１０２は、SADやSSD等のブロックマッチング手法やグラフカット等を利用したステレオ画像作成技術により、各画素における画素間距離を計算し、L画像とR画像に対するL視差画像、R視差画像を生成する。
　次に、視差解析部１０４は、ディスプレイ特性記憶部１０３に記憶されている裸眼立体視ディスプレイの特性を読み出す（ステップＳ９０３）。
　次に、視差解析部１０４は、読み出した裸眼立体視ディスプレイの特性を用いて、視差計算部１０２で算出された視差量を調整する（ステップＳ９０４）。この視差量調整処理の詳細については後述する。
　次に、視点生成部１０５は、視差解析部１０４で調整された視差量を用いて多視点画像を生成する（ステップＳ９０５）。この多視点画像生成処理については後述する。
　次に、視点合成部１０６は、視点生成部１０５で生成された多視点画像を合成する（ステップＳ９０６）。
　次に、視点合成部１０６は、ステップＳ９０６の合成処理により得られた合成画像を裸眼立体表示部１０７に出力し、裸眼立体表示部１０７は合成画像を表示する（ステップＳ９０７）。
　以上が、本発明の一態様にかかる多視点画像生成装置の処理についての説明である。続いて、ステップＳ９０４の視差量調整処理の詳細について説明する。
　図１０は、視差量調整処理の詳細を示すフローチャートである。
　本図に示されるように、視差解析部１０４は、裸眼立体視ディスプレイにおける視差量の推奨値の情報が、ディスプレイ特性記憶部１０３に記憶されているか判定する（ステップ１００１）。
　ディスプレイ特性記憶部１０３に視差量の推奨値の情報が記憶されている場合（ステップＳ１００１、ＹＥＳ）、視差解析部１０４は、裸眼立体視ディスプレイにおける視差量の推奨値をディスプレイ特性記憶部１０３から取得する（ステップＳ１００２）。
　次に、視差解析部１０４は、画像内における視差量のうち、最大の視差量と最小の視差量とを取得する（ステップＳ１００３）。
　そして、視差解析部１０４は、視差量の推奨値と画像内の最大の視差量および最小の視差量とを比較して、その視差量の比を視差量補正係数として算出する（ステップＳ１００４）。
　ディスプレイ特性記憶部１０３に視差量の推奨値の情報が記憶されていない場合（ステップＳ１００１、ＮＯ）、視差解析部１０４は、画像取得部１０１が取得した二視点画像を一般的な立体視ディスプレイ（例えば、ＢＤ－３Ｄを再生する立体視ディスプレイ）に表示した場合に想定されるクロストーク量（第１のクロストーク量）を取得する（ステップＳ１００５）。
　次に、視差解析部１０４は、ディスプレイ記憶部１０３から裸眼立体視ディスプレイのクロストーク量（第２のクロストーク量）を取得する（ステップＳ１００６）。
　そして、視差解析部１０４は、第１のクロストーク量と第２のクロストーク量とを比較し、そのクロストーク量の比を視差量補正係数として算出する（ステップＳ１００７）。
　ステップＳ１００４、またはステップＳ１００７の処理の後、視差解析部１０４は、各画素が有する視差量に視差量補正係数に示される値を掛け合わせ、視差量を変更する（ステップＳ１００８）。これにより、裸眼立体視ディスプレイにおいて推奨される視差量の推奨値の範囲内に収まるように、二視点画像が有する視差量を調整することができる。
　その後、視差解析部１０４は、処理対象の画素とその周辺の画素との視差量の差を取得し、その視差量の差に応じて、ディスプレイ特性を用いて調整した視差量をさらに局所的に調整する（ステップＳ１００９）。具体的には、処理対象の画素と処理対象の画素の周辺の画素との視差量の差が所定の値以下である場合、視差量の差を強め、処理対象の画素と処理対象の画素の周辺の画素との視差量の差が所定の値以上である場合、視差量の差を弱める。
　以上が、ステップＳ９０４の視差量調整処理の詳細についての説明である。続いて、ステップＳ９０５の多視点画像生成処理の詳細について説明する。
　図１１は、多視点画像生成処理の詳細を示すフローチャートである。
　本図に示されるように、視点生成部１０５は、視差量の調整に用いた視差量補正係数を取得する（ステップＳ１１０１）。
　次に、視点生成部１０５は、取得した視差量補正係数に基づき多視点画像生成パターンを選択する（ステップＳ１１０２）。
　そして、視点生成部１０５は、視差解析部１０４により調整した視差量と、選択した多視点画像生成パターンから定まる画素数分、左右二視点の画像の各画素をシフトさせ、多視点画像を生成する（ステップＳ１１０３）。
　以上が、ステップＳ９０５の多視点画像生成処理の詳細についての説明である。
　なお、上記の多視点画像生成処理の変形例として、図１２に示す処理が考えられる。この処理では、視差量の調整に用いた視差量補正係数の取得（ステップＳ１１０１）の後、視点生成部１０５は、視聴者の効き目情報を取得する（ステップＳ１２０１）。効き目情報は、不揮発性または揮発性のメモリ等で記憶されており、視点生成部１０５は、そのメモリ等から効き目情報を読み出す。
　そして、視点生成部１０５は、視差量補正係数および効き目情報を用いて、多視点画像生成パターンを選択する（ステップＳ１２０２）。これにより、多視点画像のうち、視聴者の効き目に該当する視点画像へ左右二視点の画像がより多く割り当てられるような多視点画像生成パターンを選択することができる。
　（実施の形態２）
　実施の形態２にかかる多視点画像生成装置は、二視点画像の各画素の奥行きを示す奥行き画像を取得し、取得した奥行き画像を用いて多視点画像を生成する点において、実施の形態１にかかる多視点画像生成装置と異なる。
　図１３は、本発明の実施の形態２の測位処理装置の構成図である。図１３において、図１と同じ構成要素については同じ符号を用い、説明を省略する。図１３において、１３０１は奥行画像取得部であり、外部から入力される奥行画像を取得し、視差解析部１３０２へ送る。例えば、CG等で作成したコンテンツでは、3次元のモデルデータを含んでいるため、正確な三次元の奥行情報を出力するのが容易であり、コンテンツ側で奥行画像を簡単に作成することが可能である。また、別の例としてはTOF（Time-of-Flight)等の距離センサーは、濃淡画像と距離（奥行）画像を同時に取得可能である。
　この時、奥行画像取得部１３０１が出力する奥行画像は、実施の形態１のような、L画像とR画像の画素間距離である視差量ではなく、CGモデルや、TOFセンサーから取得した3次元の奥行情報を格納した値である。従って、視差解析部１３０２は、奥行画像内の画素値に相当する奥行情報を、ディスプレイ特性記憶部１０３から呼び出した推奨飛出量と推奨奥行量の視差量の範囲に変換する必要がある。図１４を用いて簡単な変換例を示す。
　図１４は、奥行画像から視差量を変換する一例図である。図１４において、１４０１は奥行画像における最小奥行量、１４０２は奥行画像における最大奥行量、１４０３はスクリーン面(視差ゼロ）に相当する奥行量、１４０４は推奨奥行量、１４０５は推奨飛出量、１４０６は奥行量の平均値である。図１４の例では、視差解析部１３０２は、奥行画像における最小奥行量１４０１を推奨奥行量１４０４に、最大奥行量１４０２を推奨飛出量１４０５に変換している。また、視差解析部１３０２は、視差ゼロのスクリーン面１４０３を、奥行量の平均値１４０６を割り当て、各区間内は線形補完により奥行量と視差量を変換している。
　なお、図１４で説明したのは一例であるが、更に奥行画像から視差量を変換する方式として、図４を用いて視差解析部１０４を説明したように、注目画素と周辺画素の奥行情報から局所的に視差量を変換して調整してもよい。
　図１３において、視差解析部１０４が、裸眼立体ディスプレイに最適な奥行量から視差量に変換した視差画像を出力すると、視差生成部１０５では、実施例１と同様、視差画像と画像取得部１０１から取得する入力画像を元に、複数の視点を生成し、視差合成部１０６で多視点を合成し、裸眼立体表示部１０７で表示する。
　続いて、上記構成を備える実施の形態２にかかる多視点画像生成装置の動作について説明する。
　図１５は、実施の形態２にかかる多視点画像生成装置の処理の流れを示すフローチャートである。なお、図９に示される実施の形態１にかかる多視点画像生成装置の動作と同じ部分については、同符号を付す。
　左右二視点の画像を取得（ステップＳ９０１）の後、奥行画像取得部１２０１は奥行き画像を取得する（ステップＳ１５０１）。
　そして、裸眼立体視ディスプレイの特性の読み出し（ステップＳ９０３）の後、視点解析部１３０２は、奥行き画像に示される奥行き量を、裸眼立体視ディスプレイの特性を用いて、裸眼立体視ディスプレイでの視聴に適した視差量に変換する（ステップＳ１５０２）。
　ステップＳ１５０２の処理後、ステップＳ９０５乃至ステップＳ９０７の処理を行なう。
　以上が、実施の形態２にかかる多視点画像生成装置の処理についての説明である。
　（変形例）
なお、上記の実施の形態に基づいて説明してきたが、本発明は上記の実施の形態に限定されないことはもちろんである。以下のような場合も本発明に含まれる。
　［ａ］本発明は、各実施形態で説明した処理手順が開示するアプリケーション実行方法であるとしてもよい。また、前記処理手順でコンピュータを動作させるプログラムコードを含むコンピュータプログラムであるとしてもよい。
　［ｂ］本発明は、上記各実施の形態に記載の多視点画像生成装置を制御するＬＳＩとしても実施可能である。このようなＬＳＩは、視差計算部１０２、視差解析部１０３等の各機能ブロックを集積化することで実現できる。これらの機能ブロックは、個別に１チップ化されても良いし、一部または全てを含むように１チップ化されてもよい。
　ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または、汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロック及び部材の集積化を行ってもよい。このような技術には、バイオ技術の適用等が可能性としてありえる。
　［ｃ］本発明は、上記各実施の形態に記載の多視点画像生成装置を備えるデジタルテレビ、携帯電話機器、パーソナルコンピュータ等の三次元画像表示装置としても実現可能である。また、上記各実施の形態に記載の多視点画像生成装置を備えるＢＤプレーヤ、ＤＶＤプレーヤ等の再生機器としても実現可能である。
　［ｄ］上記の実施の形態では、裸眼立体視ディスプレイ特性を用いて視差量を調整した後、さらに、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差に応じて局所的に調整する場合を説明したが、本発明は必ずしもこの場合に限定されない。裸眼立体視ディスプレイ特性を用いた視差量の調整と、周辺画素との視差量の差に応じた局所的な視差量の調整を同時に行うとしてもよい。すなわち、裸眼立体視ディスプレイ特性と、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差とを用いて、視差量算出部１０２が算出した視差量を調整するとしてもよい。
　［ｅ］上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
　本発明にかかる視点生成装置は、裸眼立体ディスプレイの特性に合わせて視点間の視差量を調整する事で、画面全体が融像し、立体感のある裸眼立体視を実現する事が可能であり、有益である。
　１０１　画像取得部
　１０２　視差計算部
　１０３　ディスプレイ特性記憶部
　１０４　視差解析部
　１０５　視点生成部
　１０６　視点合成部
　１０７　裸眼立体表示部
　２０１　Ｌ画像
　２０２　Ｌ画像における物体Ａ
　２０３　Ｌ画像における物体Ｂ
　２１１　Ｌ視差画像
　２１２　Ｌ視差画像における物体Ａ
　２１３　Ｌ視差画像における物体Ｂ
　２２１　Ｒ画像
　２２２　Ｒ画像における物体Ａ
　２２３　Ｒ画像における物体Ｂ
　２３１　Ｒ視差画像
　２３２　Ｒ視差画像における物体Ａ
　２３３　Ｒ視差画像における物体Ｂ
　３０１　クロストーク量
　３０２　推奨飛出量
　３０３　推奨奥行量
　４０１　最大視差量
　４０２　最小視差量
　４１１　推奨飛出量
　４１２　推奨奥行量
　４２１　特性に合わせて修正した最大視差量
　４２２　特性に合わせて修正した最小視差量
　４３１、４３２、４３３　注目画素と周辺画素の視差量の絶対値差に応じて切り替わる視差量変換式
　５０１　Ｌ画像
　５０２　Ｌ画像における物体Ａ
　５０３　Ｌ画像における物体Ｂ
　５１１　Ｌ視差画像
　５１２　Ｌ視差画像における物体Ａ
　５１３　Ｌ視差画像における物体Ｂ
　６０１、６０２、６０３、６０４、６０５、６０６　視点生成部における視点生成のパターン
　７０１　図７（ａ）の多視点画像生成パターンにおける０１、０２視点の視聴例
　７０２　図７（ａ）の多視点画像生成パターンにおける０２、０３視点の視聴例
　７０３　図７（ａ）の多視点画像生成パターンにおける０３、０４視点の視聴例
　７０４　図７（ｂ）の多視点画像生成パターンにおける０１、０２視点の視聴例
　７０５　図７（ｂ）の多視点画像生成パターンにおける０２、０３視点の視聴例
　７０６　図７（ｂ）の多視点画像生成パターンにおける０３、０４視点の視聴例
　８００　合成画像
　８０１　合成画像における左上付近のＲ成分のサブ画素
　８０２　合成画像における左上付近のＧ成分のサブ画素１
　８０３　合成画像における左上付近のＢ成分のサブ画素
　８０４　合成画像における左上付近のＧ成分のサブ画素２
　８１０　第１視点画像
　８１１　第１視点画像における左上付近のR成分のサブ画素
　８１２　第１視点画像における左上付近のG成分のサブ画素
　８１３　第１視点画像における左上付近のB成分のサブ画素
　８２０　第２視点画像
　８２４　第２視点画像における左上付近のG成分のサブ画素
　１３０１　奥行画像取得部
　１３０２　視差解析部
　１４０１　奥行画像における最小奥行量
　１４０２　奥行画像における最大奥行量
　１４０３　スクリーン面に相当する奥行量
　１４０４　推奨奥行量
　１４０５　推奨飛出量
　１４０６　奥行量の平均値

Claims (16)

  1. 　裸眼立体視ディスプレイに対する多視点画像を生成する多視点画像生成装置であって、
    　左右二視点の画像を取得する画像取得部と、
    　前記左右二視点の画像から、左右二視点間の視差量を算出する視差計算部と、
    　裸眼立体視ディスプレイにおけるクロストーク量または裸眼立体視ディスプレイにおける視差量の推奨値の裸眼立体視ディスプレイ特性を記憶しているディスプレイ特性記憶部と、
    　前記裸眼立体視ディスプレイ特性を用いて、前記視差計算部が算出した視差量を調整する視差解析部と、
    　前記視差解析部により調整された視差量を用いて、前記左右二視点の画像の各画素をシフトさせることにより、多視点画像を生成する多視点画像生成部と、
    　前記多視点画像を合成する視点合成部と、
    　前記視点合成部による合成により得られる合成画像を、裸眼立体視ディスプレイに対して出力する出力部とを備える
    　ことを特徴とする多視点画像生成装置。
  2. 　前記視差解析部は、さらに、
    　処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差に応じて、前記裸眼立体視ディスプレイ特性を用いた視差量の調整後の視差量を局所的に調整する
    　ことを特徴とする請求項１に記載の多視点画像生成装置。
  3. 　前記視差解析部は、
    　処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差が所定の値以下である場合、当該視差量の差を強め、
    　処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差が所定の値以上である場合、当該視差量の差を弱める
    　ことを特徴とする請求項２に記載の多視点画像生成装置。
  4. 　前記視差解析部は、
    　前記視差計算部が算出した視差量のうち上位Ｘ％にある視差量、および下位Ｙ％にある視差量が、前記裸眼立体視ディスプレイにおける視差量の推奨値の範囲に収まるように前記視差量を調整する
    　ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の多視点画像生成装置。
  5. 　前記視差解析部は、
    　前記Ｘ％およびＹ％の値を、０付近の視差量を有する画素の数に応じて変化させる
    　ことを特徴とする請求項４に記載の多視点画像生成装置。
  6. 　前記視差解析部は、
    　前記Ｘ％およびＹ％の値を、前記左右二視点の画像のうち、一方または両方の画像におけるフレーム間の動きの量に応じて変化させる
    　ことを特徴とする請求項４に記載の多視点画像生成装置。
  7. 　前記視差解析部は、
    　前記視差計算部が算出した視差量の最大値および最小値が、前記裸眼立体視ディスプレイにおける視差量の推奨値の範囲に収まるように前記視差量を調整する
    　ことを特徴とする請求項１乃至請求項６のいずれか１項に記載の多視点画像生成装置。
  8. 　前記画像取得部は、
    　前記左右二視点の画像が、一般立体視ディスプレイに表示される際に想定される第１のクロストーク量を取得し、
    　前記視差解析部は、
    　前記ディスプレイ特性記憶部に記憶される裸眼立体視ディスプレイにおけるクロストーク量である第２のクロストーク量と、前記第１のクロストーク量とを比較し、そのクロストーク量の比に応じて前記視差量を調整する
    　ことを特徴とする請求項１乃至請求項７のいずれか１項に記載の多視点画像生成装置。
  9. 　前記視差解析部は、
    　前記視差計算部が算出した視差量のうち上位Ｘ％にある視差量、および下位Ｙ％にある視差量が、前記裸眼立体視ディスプレイにおける視差量の推奨値の範囲に収まるように視差量を所定数倍する際の倍率を求め、
    　前記多視点画像生成部は、
    　前記左右二視点の画像を多視点画像の一部として採用した複数の多視点画像生成パターンを、前記視差解析部が求めた前記倍率を用いて選択し、選択した多視点画像生成パターンを用いて多視点画像を生成する
    　ことを特徴とする請求項１乃至請求項８のいずれか１項に記載の視点生成装置。
  10. 　前記多視点画像生成部は、
    　視聴者の効き目の情報を参照し、多視点画像のうち、視聴者の効き目に該当する視点画像へ前記左右二視点の画像がより多く割り当てられるように多視点画像生成パターンを選択する
    　ことを特徴とする請求項９に記載の視点生成装置。
  11. 　前記視差解析部は、
    　前記視差計算部が算出した視差量の値が０付近である画素群の重心位置を興味領域の中心点して定め、当該興味領域の中心点と処理対象の画素との距離に応じて、局所的に視差量を調整する
    　ことを特徴とする請求項１乃至請求項１０のいずれか１項に記載の視点生成装置
  12. 　裸眼立体視ディスプレイに対する多視点画像を生成する多視点画像生成装置であって、
    　左右二視点の画像を取得する画像取得部と、
    　前記左右二視点の画像における個々の画素の奥行きを示す奥行画像を取得する奥行画像取得部と、
    　裸眼立体視ディスプレイにおけるクロストーク量、または裸眼立体視ディスプレイにおける視差量の推奨値の裸眼立体視ディスプレイ特性を記憶しているディスプレイ特性記憶部と、
    　前記裸眼立体視ディスプレイ特性を用いて、前記奥行画像に示される奥行き量から定まる前記左右二視点の画像間の視差量を調整する視差解析部と、
    　前記視差解析部により調整された視差量を用いて、前記左右二視点の画像の各画素をシフトさせることにより、多視点画像を生成する多視点画像生成部と、
    　前記多視点画像を合成する視点合成部と、
    　前記視点合成部による合成により得られる合成画像を、裸眼立体視ディスプレイに対して出力する出力部とを備える
    　ことを特徴とする多視点画像生成装置。
  13. 　前記視差解析部は、さらに、
    　処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差に応じて、前記裸眼立体視ディスプレイ特性を用いた視差量の調整後の視差量を局所的に調整する
    　ことを特徴とする請求項１２に記載の多視点画像生成装置。
  14. 　前記視差解析部は、
    　前記奥行画像に示される奥行き量から定まる視差量のうち、上位Ｘ％にある視差量、および下位Ｙ％にある視差量が、前記裸眼立体視ディスプレイにおける視差量の推奨値の範囲に収まるように視差量を調整する
    　ことを特徴とする請求項１２乃至請求項１３のいずれか１項に記載の多視点画像生成装置。
  15. 　裸眼立体視ディスプレイに対する多視点画像を生成する多視点画像生成装置であって、
    　左右二視点の画像を取得する画像取得部と、
    　前記左右二視点の画像から、左右二視点間の視差量を算出する視差計算部と、
    　裸眼立体視ディスプレイにおけるクロストーク量、または裸眼立体視ディスプレイにおける視差量の推奨値の裸眼立体視ディスプレイ特性を記憶しているディスプレイ特性記憶部と、
    　前記裸眼立体視ディスプレイ特性と、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差とを用いて、前記視差計算部が算出した視差量を調整する視差解析部と、
    　前記視差解析部により調整された視差量を用いて、前記左右二視点の画像の各画素をシフトさせることにより、多視点画像を生成する多視点画像生成部と、
    　前記多視点画像を合成する視点合成部と、
    　前記視点合成部による合成により得られる合成画像を、裸眼立体視ディスプレイに対して出力する出力部とを備える
    　ことを特徴とする多視点画像生成装置。
  16. 　裸眼立体視ディスプレイに対する多視点画像を生成する多視点画像生成方法であって、
    　左右二視点の画像を取得する画像取得ステップと、
    　前記左右二視点の画像から、左右二視点間の視差量を算出する視差量算出ステップと、
    　裸眼立体視ディスプレイにおけるクロストーク量または裸眼立体視ディスプレイにおける視差量の推奨値の裸眼立体視ディスプレイ特性を記憶しているディスプレイ特性記憶ステップと、
    　前記裸眼立体視ディスプレイ特性を用いて、前記視差量算出ステップが算出した視差量を調整する視差量調整ステップと、
    　前記視差量調整ステップにより調整された視差量を用いて、前記左右二視点の画像の各画素をシフトさせることにより、多視点画像を生成する多視点画像生成ステップと、
    　前記多視点画像を合成する視点合成ステップと、
    　前記視点合成ステップによる合成により得られる合成画像を、裸眼立体視ディスプレイに対して出力する出力ステップとを含む
    　ことを特徴とする多視点画像生成方法。
PCT/JP2012/003975 2011-06-20 2012-06-19 多視点画像生成装置、多視点画像生成方法 WO2012176431A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201280030116.9A CN103636200A (zh) 2011-06-20 2012-06-19 多视点图像生成装置、多视点图像生成方法
US14/126,678 US20140111627A1 (en) 2011-06-20 2012-06-19 Multi-viewpoint image generation device and multi-viewpoint image generation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-136639 2011-06-20
JP2011136639 2011-06-20

Publications (1)

Publication Number Publication Date
WO2012176431A1 true WO2012176431A1 (ja) 2012-12-27

Family

ID=47422289

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/003975 WO2012176431A1 (ja) 2011-06-20 2012-06-19 多視点画像生成装置、多視点画像生成方法

Country Status (4)

Country Link
US (1) US20140111627A1 (ja)
JP (1) JPWO2012176431A1 (ja)
CN (1) CN103636200A (ja)
WO (1) WO2012176431A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103079084A (zh) * 2013-02-21 2013-05-01 厦门市羽星智能科技有限责任公司 一种有利于实时融合播放的多视点裸眼立体片源存储方式
CN103414907A (zh) * 2013-07-26 2013-11-27 冠捷显示科技（厦门）有限公司 一种可改善3d显示器串扰的方法
CN103763540A (zh) * 2014-01-08 2014-04-30 深圳超多维光电子有限公司 立体显示方法和立体显示装置
CN103813153A (zh) * 2014-01-27 2014-05-21 北京乐成光视科技发展有限公司 一种基于加权求和的裸眼3d多视点图像合成方法
TWI495327B (zh) * 2013-02-07 2015-08-01 Au Optronics Corp 顯示裝置及其操作方法
JP2016521041A (ja) * 2013-04-02 2016-07-14 ドルビー ラボラトリーズ ライセンシング コーポレイション 支援３ｄディスプレイアダプテーション
JP2016521488A (ja) * 2013-04-05 2016-07-21 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３次元画像信号の再ターゲット
CN112188186A (zh) * 2020-09-28 2021-01-05 南京工程学院 一种基于归一化无限视点的获取裸眼3d合成图方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9402041B2 (en) * 2013-07-11 2016-07-26 Canon Kabushiki Kaisha Solid-state image sensor and imaging apparatus using same
KR101856568B1 (ko) * 2013-09-16 2018-06-19 삼성전자주식회사 다시점 영상 디스플레이 장치 및 제어 방법
KR102130123B1 (ko) * 2013-10-31 2020-07-03 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
TWI566576B (zh) 2014-06-03 2017-01-11 宏碁股份有限公司 立體影像合成方法及裝置
KR101966152B1 (ko) 2014-08-07 2019-04-05 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
KR102185130B1 (ko) * 2015-05-21 2020-12-01 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
JP6611531B2 (ja) * 2015-09-16 2019-11-27 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
US10554956B2 (en) * 2015-10-29 2020-02-04 Dell Products, Lp Depth masks for image segmentation for depth-based computational photography
CN105491366B (zh) * 2015-12-09 2017-07-28 四川长虹电器股份有限公司 基于osg的裸眼3d交互方法
FI20165059A (fi) 2016-01-29 2017-07-30 Nokia Technologies Oy Menetelmä ja laite videoinformaation käsittelemiseksi
US10560683B2 (en) 2016-04-08 2020-02-11 Maxx Media Group, LLC System, method and software for producing three-dimensional images that appear to project forward of or vertically above a display medium using a virtual 3D model made from the simultaneous localization and depth-mapping of the physical features of real objects
CN105847783B (zh) * 2016-05-17 2018-04-13 武汉鸿瑞达信息技术有限公司 基于流媒体的3d视频显示与交互方法及装置
WO2018187743A1 (en) * 2017-04-06 2018-10-11 Maxx Media Group, LLC Producing three-dimensional images using a virtual 3d model
US11126658B1 (en) * 2018-09-12 2021-09-21 Amazon Technologies, Inc. Scalable graph authoring and versioning techniques
CN109525830A (zh) * 2018-11-28 2019-03-26 浙江未来技术研究院(嘉兴) 一种立体视频采集***
CN112925430A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 实现悬浮触控的方法、3d显示设备和3d终端
CN111225201B (zh) * 2020-01-19 2022-11-15 深圳市商汤科技有限公司 视差校正方法及装置、存储介质
CN113891061B (zh) * 2021-11-19 2022-09-06 深圳市易快来科技股份有限公司 一种裸眼3d显示方法及显示设备
US20230237730A1 (en) * 2022-01-21 2023-07-27 Meta Platforms Technologies, Llc Memory structures to support changing view direction
CN114359396B (zh) * 2022-03-18 2022-05-17 成都工业学院 一种立体图像获取及显示方法
TWI807713B (zh) * 2022-03-22 2023-07-01 友達光電股份有限公司 立體顯示系統及方法
CN115866232B (zh) * 2022-11-23 2023-06-02 马全生 裸眼悬浮3d视频显示方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009516447A (ja) * 2005-11-17 2009-04-16 ノキア コーポレイション ３次元画像データを生成、転送および処理するための方法および装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4958233B2 (ja) * 2007-11-13 2012-06-20 学校法人東京電機大学 多眼視画像作成システム及び多眼視画像作成方法
CN102598051B (zh) * 2009-10-30 2014-10-29 富士胶片株式会社 图像处理装置和图像处理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009516447A (ja) * 2005-11-17 2009-04-16 ノキア コーポレイション ３次元画像データを生成、転送および処理するための方法および装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI495327B (zh) * 2013-02-07 2015-08-01 Au Optronics Corp 顯示裝置及其操作方法
CN103079084A (zh) * 2013-02-21 2013-05-01 厦门市羽星智能科技有限责任公司 一种有利于实时融合播放的多视点裸眼立体片源存储方式
US10063845B2 (en) 2013-04-02 2018-08-28 Dolby Laboratories Licensing Corporation Guided 3D display adaptation
JP2016521041A (ja) * 2013-04-02 2016-07-14 ドルビー ラボラトリーズ ライセンシング コーポレイション 支援３ｄディスプレイアダプテーション
JP2016521488A (ja) * 2013-04-05 2016-07-21 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３次元画像信号の再ターゲット
CN103414907A (zh) * 2013-07-26 2013-11-27 冠捷显示科技（厦门）有限公司 一种可改善3d显示器串扰的方法
CN103414907B (zh) * 2013-07-26 2015-04-29 冠捷显示科技（厦门）有限公司 一种可改善3d显示器串扰的方法
CN103763540B (zh) * 2014-01-08 2017-01-04 深圳超多维光电子有限公司 立体显示方法和立体显示装置
CN103763540A (zh) * 2014-01-08 2014-04-30 深圳超多维光电子有限公司 立体显示方法和立体显示装置
CN103813153A (zh) * 2014-01-27 2014-05-21 北京乐成光视科技发展有限公司 一种基于加权求和的裸眼3d多视点图像合成方法
CN103813153B (zh) * 2014-01-27 2015-12-30 万象三维视觉科技（北京）有限公司 一种基于加权求和的裸眼3d多视点图像合成方法
CN112188186A (zh) * 2020-09-28 2021-01-05 南京工程学院 一种基于归一化无限视点的获取裸眼3d合成图方法
CN112188186B (zh) * 2020-09-28 2023-01-24 南京工程学院 一种基于归一化无限视点的获取裸眼3d合成图方法

Also Published As

Publication number Publication date
JPWO2012176431A1 (ja) 2015-02-23
US20140111627A1 (en) 2014-04-24
CN103636200A (zh) 2014-03-12

Similar Documents

Publication Publication Date Title
WO2012176431A1 (ja) 多視点画像生成装置、多視点画像生成方法
US9786253B2 (en) Conversion of a digital stereo image into multiple views with parallax for 3D viewing without glasses
JP6094863B2 (ja) 画像処理装置、画像処理方法、プログラム、集積回路
JP6021541B2 (ja) 画像処理装置及び方法
JP6517245B2 (ja) 三次元画像を生成するための方法及び機器
JP5291755B2 (ja) 立体視画像生成方法および立体視画像生成システム
CN100565589C (zh) 用于深度感知的装置和方法
US20110271235A1 (en) Method for displaying a setting menu and corresponding device
JP2013534742A (ja) デプスマップ情報を利用した立体映像変換方法及び装置
Winkler et al. Stereo/multiview picture quality: Overview and recent advances
WO2012147329A1 (ja) 立体視強度調整装置、立体視強度調整方法、プログラム、集積回路、記録媒体
CN108141578A (zh) 呈现相机
US20120069004A1 (en) Image processing device and method, and stereoscopic image display device
KR101847675B1 (ko) 입체영상 및 영상시퀀스의 스테레오 간격 확장을 위한 방법 및 장치
JP2014515569A (ja) 両眼視画像の両眼視用および単眼視用の同時表示を可能にするための該両眼視画像の自動変換
JP6585938B2 (ja) 立体像奥行き変換装置およびそのプログラム
JP6033625B2 (ja) 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体
JP6128748B2 (ja) 画像処理装置及び方法
KR101754976B1 (ko) 적층형 홀로그램용 콘텐츠 변환방법 및 변환장치
WO2013080898A2 (en) Method for generating image for virtual view of scene
Tanimoto et al. Frameworks for FTV coding
KR101912242B1 (ko) 3d 디스플레이 장치 및 그 영상 처리 방법
US9064338B2 (en) Stereoscopic image generation method and stereoscopic image generation system
KR101192313B1 (ko) 깊이 영상의 시간적 상관도 향상 방법
Jeong et al. 3D Autostereoscopic Display Image Generation Framework using Direct Light Field Rendering

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12802176

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013521446

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14126678

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12802176

Country of ref document: EP

Kind code of ref document: A1