WO2011036798A1 - 立体画像生成装置 - Google Patents
立体画像生成装置 Download PDFInfo
- Publication number
- WO2011036798A1 WO2011036798A1 PCT/JP2009/066779 JP2009066779W WO2011036798A1 WO 2011036798 A1 WO2011036798 A1 WO 2011036798A1 JP 2009066779 W JP2009066779 W JP 2009066779W WO 2011036798 A1 WO2011036798 A1 WO 2011036798A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- stereoscopic image
- display
- generation unit
- stereoscopic
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
Definitions
- the present invention relates to a process for generating a stereoscopic image.
- a display method called an integral imaging method (hereinafter abbreviated as II method), in which a vertical lenticular lens is used and flipping (image skipping) is naturally suppressed by a set of light rays, is performed (Patent Literature). 1).
- an elemental image constituting one dot of an image is composed of a plurality of parallax pixels, and an optical aperture that selectively outputs light of a predetermined pixel according to an observation angle Are arranged corresponding to each element image.
- Patent Document 2 has a problem that an appropriate display cannot be obtained with an image shot in a range narrower than the camera installation range determined by the display parameters. This is an angle larger than the angle of the central viewing zone with respect to an image shot in a range narrower than the camera installation range in order to enlarge the viewing zone by discretely shifting the parallax with respect to the parallax arrangement. This is because the parallax information is required.
- the present invention has been made in view of the above, and it is an object of the present invention to provide a stereoscopic image generating apparatus capable of enlarging the viewing zone without acquiring an image from a position having a large parallax.
- the present invention provides an image display unit that arranges element images including a plurality of pixels adjacent in the horizontal direction in a matrix, and an optical aperture corresponding to the element image.
- a three-dimensional image generating device for generating a three-dimensional image to be displayed on a three-dimensional image display device arranged so that the element image is deviated toward the screen end side with respect to the optical opening, from different camera positions
- a shooting characteristic acquisition unit that acquires shooting characteristics including at least a shooting distance of a multi-viewpoint image obtained by shooting the same subject, and a display characteristic of a stereoscopic image display device, and a stereoscopic image displayed on the stereoscopic image display device.
- a display characteristic acquisition unit that acquires display characteristics including at least a viewing distance assumed to be observed, and a virtual image so that at least a part of the display of the stereoscopic image on the stereoscopic image display device is reverse-parsed.
- Display that generates display effect characteristics using the incident angle corresponding to the camera position and the virtual camera position shift amount corresponding to the arrangement of the element image with respect to the optical aperture as variables of the screen position of the stereoscopic image display device
- An effect characteristic generation unit a parameter generation unit that generates parameters for sampling an image to be displayed on a plurality of pixels from a multi-viewpoint image based on the shooting distance, viewing distance, and display effect characteristic, and a plurality of multi-viewpoint images according to the parameters
- a stereoscopic image generation unit that generates a stereoscopic image by sampling an image to be displayed on each pixel.
- the stereoscopic image generating apparatus has an effect that the viewing zone can be expanded without acquiring an image from a position with a large parallax.
- the structure of the stereoscopic image display apparatus applicable to this Embodiment Structure of a stereoscopic image display device.
- the 4th sampling pattern by this Embodiment The figure explaining adjusting perspective and reducing a sense of incongruity.
- a stereoscopic image display device for displaying a stereoscopic image will be described.
- an integral imaging method (hereinafter abbreviated as II method) that represents a stereoscopic image as a set of directional light is used as a stereoscopic image display method.
- FIG. 1 is a horizontal sectional view for illustrating the structure of an example of a stereoscopic image display apparatus 100 applicable to the present embodiment.
- a stereoscopic image display device 100 illustrated in FIG. 1 includes a backlight 110, a display unit 120, and an opening control unit 115.
- the backlight 110 is a light source that emits light using, for example, an LED (Light Emitting Diode).
- the observer can observe the image displayed on the display unit 120 in a three-dimensional manner by observing the stereoscopic image display device 100 from the direction of the arrow in the figure.
- the display unit 120 is driven by a display drive circuit (not shown), and displays parallax image information necessary for displaying a stereoscopic image on a pixel.
- a display drive circuit not shown
- a transmissive type there are a transmissive type and a self-luminous type.
- a light source backlight 110
- the display unit 120 is a self-luminous type, a light source is unnecessary.
- an ordinary direct-view type two-dimensional display such as an organic EL (Organic Electro Luminescence), an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), or a projection display Etc. can be applied.
- an LCD is used as the display unit 120.
- electrodes are formed in a matrix on the glass substrates 113A and 113B.
- color filters of RGB colors are further formed on the glass substrate 113B.
- a display element is formed by a pair of electrodes, a color filter corresponding to the electrodes, and a liquid crystal layer between the glass substrates 113A and 113B. Display elements are arranged in a matrix to form a display element array 114. Light rays passing through the liquid crystal layer are polarized by the polarizing plates 112A and 112B. The display of brightness according to the voltage applied to the electrode can be obtained by the polarized light.
- the aperture control unit 115 restricts the transmitted light and emits the light in a predetermined direction.
- a lenticular lens is used as the aperture control unit 115.
- the lenticular lens is a segment lens array plate having lens segments that control incident and outgoing light beams to direct the light beams in a predetermined direction.
- an array plate such as a slit array provided with a light transmission region as appropriate can be used.
- the light transmission region and the lens segment have a function of selectively emitting only a specific light beam among the light beams emitted from the display unit 120 toward the front thereof.
- the lens segment and the light transmission region are collectively referred to as an opening.
- the opening control unit 115 uses, for example, a lenticular lens having a bus in the vertical direction of the screen in the display unit 120.
- the openings 116, 116,... (See FIG. 2) of the lenticular lens are arranged corresponding to the pixels.
- the aperture control unit 115 is not limited to the above-described lenticular lens and the array plate provided with the light transmission region, but can also use an LCD as an optical shutter that can change the position and shape of the light transmission region with time.
- the structure of the stereoscopic image display device 100 will be described in more detail with reference to the display unit 120 (display element array 114), with reference to FIG.
- one pixel is made up of RGB (color) pixels (sub-pixels).
- display elements subpixels 140, 140,...) Having an aspect ratio of 3: 1 are arranged in a matrix in the display element array 114.
- each subpixel is repeatedly arranged in the order of R (red), G (green), and B (blue) in the horizontal direction within the same row of the matrix.
- Each subpixel is repeatedly arranged in the order of R (red), B (blue), and G (green) in the vertical direction within the same column of the matrix.
- An image displayed in a pixel group in which subpixels of RBGs arranged in the column direction form one pixel and adjacent pixels are arranged in the row direction by the number of parallaxes is referred to as an element image.
- a one-element image 141 (shown with a frame in FIG. 2) is displayed with 18 pixels.
- stereoscopic display that gives 18 parallaxes in the horizontal direction is possible.
- the position of the pixel in the horizontal direction within one effective pixel corresponds to the aperture control unit 115 and has a correlation with the angle of the emitted light beam.
- An address indicating the light beam direction is called a parallax address.
- the parallax address corresponds to the position of the pixel in the horizontal direction within one effective pixel.
- the parallax address increases toward the right side of the screen.
- the openings 116, 116,... In the opening controller 115 are provided corresponding to the position of the element image.
- the width Ps of the opening 116 and the width of the one-element image are matched.
- a plurality of images respectively acquired from a same subject with a plurality of different parallaxes are supplied from a computer system or the like to a display drive circuit (not shown).
- the plurality of images are interleaved for each pixel corresponding to the position and supplied as one image data.
- the present invention is not limited to this, and a plurality of image data can be supplied.
- the display drive circuit distributes, for a plurality of supplied images, pixels corresponding to positions and having different parallaxes in order according to the parallax.
- An element image is formed by distribution and supplied to the display element array 114 to drive each display element.
- the light beam emitted from the backlight 110 enters the display unit 120 through the light guide plate 111.
- the light is polarized by the polarizing plate 112A and emitted through the glass substrate 113A, the display element array 114 and the liquid crystal layer, the glass substrate 113B, and the polarizing plate 112B.
- the light beam emitted from the display unit 120 enters the aperture control unit 115.
- the opening 116 of the opening control unit 115 is provided so as to correspond to the element image 141. Therefore, the light rays from the parallax pixels corresponding to the direction from the observer's viewpoint in the element image 141 selectively reach the observer's viewpoint. When the light rays from the different parallax pixels reach the eyes of the observer, the observer can observe a stereoscopic image.
- FIGS. FIG. 3A and FIG. 4A are examples in which the relationship between the stereoscopic image display device 100 and the observer's viewpoint is viewed from above when a lenticular lens is used as the aperture control unit 115 of the stereoscopic image display device 100.
- the display unit 120 disposed on the rear side of the lenticular lens as viewed from the observer has a parallax image that looks slightly different depending on the angle due to the opening 116 and the element image in which a plurality of pixels are arranged.
- a group that is, a multi-viewpoint image is displayed. Light rays from the multi-viewpoint image are condensed through any one of the openings 116 of the opening control unit 115, and a stereoscopic image is reproduced.
- 3A and 4A conceptually show examples of observing images displayed on the stereoscopic image display device 100 with the left eye and right eye of the observer, respectively.
- the observer 130 observes the element image 132 in the display unit 120
- the left eye 131A and the right eye 131B of the observer 130 have different element images included in the element image 132.
- the rays from each arrive. This is because light beams emitted from a plurality of pixels included in the element image 132 are emitted with directivity provided by the openings 116.
- the observer 130 observes the different pixels included in the element image 132 enlarged by the opening 116 with the left eye 131A and the right eye 131B, respectively. .
- a stereoscopic image is displayed for the observer 130.
- a transmissive display unit 120 is used and a backlight 110, a display unit 120, and an opening control unit 115 are sequentially arranged. It is not limited. For example, the display unit 120 and the opening control unit 115 are exchanged. Even if the backlight 110, the aperture control unit 115, and the display unit 120 are arranged in this order, it is possible to generate light rays that carry the same parallax image.
- FIG. 5 shows an example of a light beam emitted from each element image in the display unit 120 as a horizontal sectional view.
- the viewing area refers to a range in which an image displayed on the stereoscopic image display device 100 can be observed as a stereoscopic image.
- an image based on an element image (hereinafter referred to as an element image) has a viewing distance L serving as a reference when the image is arranged on the display unit 120.
- a viewing zone reference plane 118 at the viewing distance L is determined.
- the width hva indicates the width of the viewing zone in the horizontal direction on the viewing zone reference plane 118.
- the position V 0 indicates the center of the viewing zone. As will be described later, so that the trajectory of the light ray R from the element image enters the viewing zone on the viewing zone reference plane 118 (so that it enters the viewing zone width hva if limited to the horizontal direction).
- the aperture controller 115 is arranged so as to be biased with respect to the corresponding light transmission region (opening 116).
- the viewing area is an area where only a stereoscopic image is observed.
- the viewing area corresponds to an area excluding a mixed area where a false image is observed together with a normal image as a stereoscopic image and a false image area where a false image is generated.
- the arrangement of the corresponding element images P1 to Pn is changed with respect to the center of the light transmission region (opening 116).
- the total transmitted rays Rx emitted from the element images P1 to Pn and passing through all the openings 116, 116,... Substantially overlap in the region at the viewing distance L, and the viewing zone width hva is substantially maximized. .
- FIG. 6 shows the relationship between the parallax address of each pixel in the element image and the 3D pixel address representing the horizontal position of the opening 116 in the screen in the basic sampling method.
- the horizontal axis indicates a 3D pixel address representing the horizontal position of the opening 116 in the screen.
- the left and right directions in FIG. 6 correspond to the left and right directions of the screen, respectively.
- the vertical axis indicates, for example, the angle of light rays reaching the lens from the subject (hereinafter referred to as the incident angle) when the subject of the image data is captured.
- the incident angle is 0 ° when reaching from the front of the lens, positive (+) when a light ray arrives from the right side of the lens, and negative ( ⁇ ) when reaching from the left side.
- the y-axis plot shown at a certain x coordinate indicates the light beam emitted from each pixel in the element image at the position of the x coordinate. That is, each y-axis plot at an x-coordinate corresponds to the parallax address of each pixel in the element image indicated by the x-coordinate, and light rays photographed at an incident angle indicated by the y-coordinate of the plot are emitted. become. Note that, for a certain x-coordinate, it is assumed that the parallax address is larger as the plot is displayed at the top in the figure.
- FIG. 6 Note that the definitions in FIG. 6 also apply to other similar figures (FIGS. 7, 10 to 13).
- the light beam may be incident at an angle obtained by equally dividing the viewing zone exit angle ⁇ 0 .
- the light beam is emitted toward the center, so that a light beam having a larger incident angle is required.
- 1 is added to the parallax address and the number of parallaxes is one. It is shifted with respect to the added parallax address.
- the pitch of the openings 116 that emits light rays at equal viewing zone emission angles is substantially an integral multiple of the pixel pitch of the display unit 120, the light rays are always at a constant angle regardless of the horizontal 3D pixel address. Is ideally sampled. Therefore, in FIG. 6, the same parallax address is aligned. In order to acquire such an image, a parallel projection camera using a telecentric lens or the like is used.
- sampling method for image data for enlarging the viewing zone As a method for displaying a stereoscopic image with little distortion using a perspective projection image in an enlarged viewing zone, there is a sampling method called a pseudo multi-view method.
- a sampling method called a pseudo multi-view method.
- image data is sampled as illustrated in FIG. That is, at each parallax address, sampling is performed so that the incident angle of the light beam is continuously shifted according to the pixel address of the camera.
- the parallax address is shifted. There is no pixel data. Therefore, the same image is overlapped in the shift portion.
- the degree of perspective projection changes depending on the angle of view (focal length) of the imaging lens.
- the angle of view focal length
- the image 151 is an example in which a subject is photographed at a predetermined photographing distance using a lens having a standard angle of view. Since it is photographed as a perspective projection image, the far side boundary of the bottom surface with a long distance appears shorter than the border on the near side.
- the far-side boundary of the far bottom surface appears shorter than the border on the near side.
- the far side bottom boundary is shorter than the near side border, but the far bottom bottom in the image 150 and the image 151 is shown. It is longer than the side boundary.
- the degree of perspective projection of an image with respect to the same change in depth varies depending on the photographing method and the like.
- This degree is referred to herein as the degree of transparency.
- the degree of transparency is high when a lens with a short photographing distance and a wider angle of view is used, and the degree of transparency is low when a lens with a long photographing distance and a narrower angle of view is used.
- the transparency can be represented by the slope of a straight line shown in the figure when the horizontal axis is a 3D pixel address and the vertical axis is an incident angle as shown in FIG.
- the change of the incident angle due to the change of the pixel position in the element image is large, and the transparency is increased.
- the image is like an image taken with a wide-angle lens with a short shooting distance, and the perspective is emphasized.
- the change in the incident angle due to the change in the pixel position in the element image is small, and the transparency is lowered. In this case, the image becomes as if it was shot with a telephoto lens with a longer shooting distance, and the perspective is compressed.
- pixel data sampled from an image acquired from multiple viewpoints is processed into data having a relationship between a predetermined 3D pixel address and an incident angle using a technique such as interpolation or fine acquisition in advance.
- a technique such as interpolation or fine acquisition in advance.
- FIG. 9 is a functional block diagram illustrating an example of functions of the stereoscopic image generating apparatus 200 according to the present embodiment.
- the image acquisition unit 202 acquires a plurality of image data (hereinafter, multi-viewpoint images) obtained by capturing the same subject from a plurality of different camera positions, that is, a plurality of different parallaxes, input from the input unit 201.
- the acquired multi-viewpoint image is supplied to the stereoscopic image generation unit 205.
- the imaging characteristic acquisition unit 203 acquires imaging characteristics when the multi-viewpoint image input from the input unit 201 is captured.
- the shooting characteristics include, for example, the shooting distance, the angle of view, the angle between the subject and the lens (incident angle), and the number of parallax shot. Whether it is a parallel projection image or a perspective projection image is also included in the imaging characteristics.
- the shooting characteristics are input by the user using an input device such as a keyboard. It may be input via a recording medium. For example, the attribute information of the multi-viewpoint image input from the input unit 201 may be input.
- the shooting characteristics acquired by the shooting characteristics acquisition unit 203 are supplied to the parameter generation unit 204.
- the display device characteristic acquisition unit 207 acquires the characteristics of the display device that displays the stereoscopic image generated by the stereoscopic image generation device 200.
- the characteristics of the display device include, for example, the number of element images (the number of pixels of the 3D image), the number of pixels in the element image (number of parallaxes), and the viewing distance L.
- the display characteristic may further include an amount of depth that can be expressed by the stereoscopic image display apparatus 100.
- the shooting characteristics are input by the user using an input device such as a keyboard. It may be input via a recording medium. However, the display characteristics may be directly acquired from the stereoscopic image display apparatus 100 via a predetermined connection line or the like.
- the display device characteristic acquired by the display device characteristic acquisition unit 207 is supplied to the parameter generation unit 204.
- the display effect characteristic generation unit 208 generates a display effect characteristic to be added to the stereoscopic image generated by the stereoscopic image generation unit 205.
- the display effect characteristic is, for example, the degree at which the degree of transparency is changed, and includes the degree of reverse parsing, the range for applying reverse parsing, the degree of smoothness, the shift amount with respect to the parallax address, and the like. These display effect characteristics are generated, for example, according to the operation of the input device by the user. It is also possible to automatically set the display effect characteristic based on the photographing characteristic and the display device characteristic.
- the acquired display effect characteristic is supplied to the parameter generation unit 204.
- the parameter generation unit 204 generates parameters for sampling the multi-viewpoint image based on the characteristics supplied from the imaging characteristic acquisition unit 203, the display device characteristic acquisition unit 207, and the display effect characteristic generation unit 208, respectively. That is, the parameter generation unit 204 generates parameters for sampling the multi-viewpoint image based on the viewing distance L in the stereoscopic image display apparatus 100 and the shooting distance at the time of shooting the multi-viewpoint image. More specifically, the parameter generation unit 204 obtains a position for sampling the multi-viewpoint image at coordinates including the element image position and the incident angle in the horizontal direction of the screen based on the supplied characteristics. The coordinates as parameters at the time of sampling are supplied to the stereoscopic image generation unit 205.
- the stereoscopic image generation unit 205 samples the multi-viewpoint image supplied from the above-described image acquisition unit 202 based on the parameters supplied from the parameter generation unit 204, and generates image data for displaying the stereoscopic image. At this time, for parameters for which no corresponding image data exists, image data is generated by interpolation processing or the like. Thereby, image data based on an arbitrary sampling pattern can be generated.
- the image data sampled by the stereoscopic image generation unit 205 is converted into a data format suitable for the stereoscopic image display device 100 described with reference to FIGS. 1 and 2, for example, and supplied to the presentation unit 206.
- the presentation unit 206 outputs the supplied image data and supplies it to the stereoscopic image display apparatus 100, for example.
- the present invention is not limited to this, and the output may be recorded on a recording medium.
- the parameter generation unit 204 generates a sampling pattern as in the following examples based on the characteristics supplied from the imaging characteristic acquisition unit 203, the display device characteristic acquisition unit 207, and the display effect characteristic generation unit 208.
- the sampling pattern is generated so as to include a reverse perspective portion in which the degree of transparency is opposite to normal in the parallax image that is the base of sampling.
- reverse parsing can be realized by generating a sampling pattern having a negative slope when the horizontal axis represents the 3D pixel address and the vertical axis represents the incident angle.
- the angle range of parallax to be used can be narrowed even when the viewing zone is optimally expanded
- a stereoscopic image can be generated even with image data shot in a narrow camera installation range.
- the stereoscopic image may be uncomfortable when observed as the reverse perspective. There is also sex.
- FIG. 10 shows an example of a first sampling pattern according to the present embodiment.
- This first example is an example in which a decimal value less than 1 is given to the shift amount of the parallax address at the position where the number of parallaxes increases, and the discrete shift amount when the viewing zone is optimized is relaxed.
- the angular interval of the parallax indicating the parallax address is shifted by 0.5, for example. Since the stereoscopic image generated by sampling the image data with such a sampling pattern has a narrow range with respect to the incident angle of the parallax address, the installation range of the camera at the time of shooting the subject can be narrowed.
- the state illustrated in FIG. 10 is a state in which the parallax image is a disparity image that is a shift position of the parallax address and is a discrete parallax image that is an image having the same relative positional relationship in the element image. is there.
- the degree of transparency is reduced.
- the camera installation angle range can be further narrowed. That is, even when the angle range of a plurality of image data captured with a plurality of parallaxes is insufficient, a stereoscopic image can be synthesized without reducing the camera interval.
- stereoscopic display can be performed without greatly impairing the stereoscopic effect.
- plots of incident angles (vertical axes) with respect to 3D pixel addresses exemplified in FIG. 10 and FIGS. 11 to 13 described later correspond to the respective pixels in the element image at the 3D pixel addresses. This is a virtual camera position with respect to an incident angle when it is assumed that a camera exists.
- FIG. 11 shows an example of a second sampling pattern according to the present embodiment.
- This second example is an example of a sampling pattern generated so that the incident angle of the parallax image is opposite to that in the perspective projection with respect to the 3D pixel address. That is, in the example of FIG. 11, the sampling pattern is reverse parsed as a whole.
- the parallax address of the pixel data to be displayed on the parallax pixels in the element image can be generated by shifting the parallax address extremely small, for example, by 0.01 or 0.1 for each 3D pixel address.
- the camera installation angle range can be made narrower.
- FIG. 12 shows an example of a third sampling pattern according to this embodiment.
- a sampling pattern that is reverse parsed and a sampling pattern that is normal parse that expresses normal perspective are respectively set to 3D pixel addresses corresponding to horizontal positions in the screen. This is an example of combination.
- the sampling pattern is generated so that the central portion of the screen is a normal perspective and the reverse perspective is an end portion of the screen. At this time, it is preferable to change the sampling pattern in a curve so that the normal parsing sampling pattern and the reverse parsing sampling pattern are smoothly connected.
- a sampling pattern is generated using a cubic curve as shown in the following equation (1).
- the sampling pattern as illustrated in FIG. 12 is generated by shifting the parallax address of the curve according to the equation (1) at a position where the number of parallaxes increases.
- FIG. 13 shows an example of a fourth sampling pattern according to this embodiment.
- the sampling pattern is generated so that reverse parsing is performed at the center of the screen and normal parsing is performed at the end of the screen.
- the sampling pattern is generated using a quadratic curve as shown in the following equation (2) so that the sampling patterns of the normal parse and the reverse parse can be connected smoothly.
- the meaning of each variable in Formula (2) is the same as that of Formula (1) mentioned above.
- the sampling pattern includes reverse perspective
- the transparency is reduced and the camera installation angle range is also reduced. Can be made narrower.
- the reverse perspective portion and the normal perspective portion are connected using a cubic curve and a quadratic curve, respectively, but this is not limited to this example. That is, the reverse perspective portion and the normal perspective portion may be connected to each other using a curve based on another function, or a pattern in which the curve of the connection portion is created by handwriting or the like may be used. .
- the forward / reverse perspective is switched between the center portion and the end portion of the screen, but this is not limited to this example.
- the forward / reverse perspective may be switched on the left and right of the screen, or the screen may be divided into finer areas, and the forward / reverse perspective may be switched for each area.
- These forward / reverse perspective switching methods are preferably selected according to the subject to be displayed as a stereoscopic image and the nature of the image.
- the stereoscopic image generation unit 205 maps the image data of each viewpoint supplied from the image acquisition unit 202 on a two-dimensional plane including the 3D pixel address and the incident angle, and based on the sampling pattern supplied from the parameter generation unit 204. By performing the interpolation processing, image data for each parallax address can be generated.
- the transparency determined by the angle of view of the photographing system is displayed as it is in the stereoscopic image and becomes the transparency in the vertical direction. It can be considered that this causes a sense of discomfort due to the difference between the vertical perspective and the horizontal perspective. For example, let us consider a case in which a stereoscopic image based on image data captured at an imaging distance of 3 m is displayed on the stereoscopic image display device 100 having a viewing distance L of 50 cm. In this case, the transparency with a viewing distance of 50 cm can be reproduced in the horizontal direction.
- the degree of transparency at the time of photographing (in this example, the degree of transparency when the subject is observed 3 m away) is expressed as it is.
- the transparency of the sense of distance is different between the horizontal direction and the vertical direction, a sense of incongruity appears in the stereoscopic display.
- the parameter generation unit 204 is based on the shooting distance and angle of view acquired from the shooting characteristic acquisition unit 203 and the viewing distance L of the stereoscopic image display device 100 acquired from the display device characteristic acquisition unit 207. Adjust the transparency to fit the angle of view. As described above, the transparency can be changed by changing the inclination on the coordinate plane composed of the 3D pixel address and the incident angle.
- the parameter generation unit 204 adjusts the perspective by, for example, generating the sampling pattern described above in consideration of the viewing distance L, the shooting distance, and the angle of view, thereby reducing a sense of incongruity.
- the parameter generation unit 204 generates a sampling pattern that adjusts the transparency in the horizontal direction as shown by the arrow in FIG. 14B based on these pieces of information.
- FIG. 14A illustrates a subject such as that illustrated in FIG. 14A
- the transparency is reproduced in the horizontal direction as shown in FIG. 14B
- the display according to the angle of view of the photographing system is displayed in the vertical direction.
- the angle of view in the vertical direction can be obtained in advance based on the shooting distance, the angle of view, and the viewing distance L.
- the parameter generation unit 204 generates a sampling pattern that adjusts the transparency in the horizontal direction as shown by the arrow in FIG. 14B based on these pieces of information.
- the sampling pattern is generated so that the inclination on the coordinate plane composed of the 3D pixel address and the incident angle is further reduced.
- image data is sampled according to the sampling pattern adjusted in this way and displayed on the stereoscopic image display device 100, a stereoscopic image with a reduced sense of incongruity is adjusted as illustrated in FIG. 14C. be able to.
- the first method is a method of reproducing with a camera interval narrower than the correct camera interval. In this first method, the depth amount is crushed and reproduced.
- the second method uses the transparency adjustment processing according to the present embodiment.
- the first method narrows the camera interval to crush the depth amount of the image to obtain the depth amount that can be expressed. Becomes effective.
- the process of adjusting the transparency by the second method is effective. In this case, stereoscopic display can be performed without reducing the stereoscopic effect.
- the depth amount of the captured image is estimated by stereo matching or the like for a plurality of images from multiple viewpoints, and the estimated depth amount is compared with the depth amount that can be expressed as a characteristic of the stereoscopic image display device 100. . Based on the comparison result, the parameter generation unit 204 determines whether to perform the process of reducing the depth amount of the image or the process of adjusting the transparency.
- the processing for crushing the stereoscopic effect is performed until the depth expression amount of the stereoscopic image display device 100 and the depth amount of the live-action image become equal. If the angle range is still insufficient, adjust the transparency.
- a part of the stereoscopic image displayed on the stereoscopic image display device 100 is reverse-parsed. Accordingly, it is possible to reduce the installation angle range of the multi-camera when shooting a multi-viewpoint image without damaging the stereoscopic effect due to the binocular parallax and without causing distortion or the like in the displayed stereoscopic image.
- the sampling pattern for sampling the multi-viewpoint image is generated using interpolation on the coordinates based on the 3D pixel address and the incident angle, so that the perspective is emphasized and relaxed by changing the transparency. can do.
- display effect characteristics such as the degree of change in perspective, the degree of reverse parsing, the range to apply reverse parsing, the degree of smoothness, and the shift amount with respect to the parallax address are displayed on the display effect characteristic generation unit 208 by a user operation. Can be entered.
- the angle range of the light beam to be displayed in the viewing zone of the stereoscopic image display apparatus 100 may exceed the incident angle range of the image data. In such a case, it is more preferable that the stereoscopic image generating apparatus 200 issues a warning to the user.
- the parameter generation unit 204 compares the incident angle acquired from the imaging characteristic acquisition unit 203 with the sampling pattern generated based on the perspective obtained by the display effect characteristic generation unit 208 according to a user instruction. As a result of the comparison, if it is determined that the incident angle range including the sampling pattern exceeds the incident angle acquired from the imaging characteristic acquisition unit 203, a warning to that effect is issued.
- the warning can be issued using a predetermined display or sound.
- the stereoscopic image generating apparatus 200 according to the present embodiment can be realized by, for example, a general computer 300.
- a CPU 302 a ROM 303, a RAM 304, and a display control unit 305 are connected to a bus 301.
- the CPU 302 controls the entire computer 300 using the RAM 304 as a work memory in accordance with programs stored in the ROM 303 and the hard disk 307.
- the display control unit 305 converts the display control signal generated by the CPU 302 into a signal that can be displayed by the display device 306 and outputs the signal.
- the hard disk 307 stores a program to be executed by the CPU 302 and stores image data and other data.
- the drive device 308 can be loaded with a removable recording medium 320 and can read / write data from / to the recording medium.
- a disk recording medium such as a CD or a DVD, or a nonvolatile semiconductor memory (for example, an EEPROM) can be considered.
- the input unit 309 inputs data from the outside.
- the input unit 309 has a predetermined interface such as USB or IEEE1394, and inputs data from an external device through this interface.
- An input device such as a keyboard and a mouse is connected to the input unit 309. The user can issue an instruction to the computer 300 by operating these input devices in accordance with the display on the display device 306, for example.
- the communication I / F 310 communicates with an external communication network using a predetermined protocol.
- the image acquisition unit 202, the imaging characteristic acquisition unit 203, the parameter generation unit 204, the stereoscopic image generation unit 205, the display device characteristic acquisition unit 207, and the display effect characteristic generation unit 208 in the stereoscopic image generation apparatus 200 described above operate on the CPU 302. Realized by the program.
- the input unit 201 corresponds to the hard disk 307, for example.
- the input unit 309 may input image data from the recording medium 320 loaded in the drive device 308 or another device connected to the input unit 309.
- a program for executing the stereoscopic image generating apparatus 200 according to the present embodiment is provided by being recorded in a computer-readable recording medium such as a CD-ROM or a DVD in an installable or executable format file. Is done.
- a program for executing the stereoscopic image generation apparatus 200 may be stored in the ROM 303 in advance and provided.
- the program for executing the stereoscopic image generating apparatus 200 according to the present embodiment may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. Good.
- a program for executing the stereoscopic image generation apparatus 200 according to the present embodiment may be configured to be provided or distributed via a network such as the Internet.
- the program for executing the stereoscopic image generation apparatus 200 includes the above-described units (image acquisition unit 202, photographing characteristic acquisition unit 203, parameter generation unit 204, stereoscopic image generation unit 205, display device characteristic acquisition unit). 207 and a display effect characteristic generation unit 208).
- the CPU 302 reads the program from, for example, the hard disk 307 and executes the program, and the above-described units are loaded on the main storage device. Each unit is generated on the main memory.
- stereoscopic image display device 114 display element array 115 aperture control unit 116 aperture 120 display unit 141 element image 200 stereoscopic image generation device 201 input unit 202 image acquisition unit 203 imaging characteristic acquisition unit 204 parameter generation unit 205 stereoscopic image generation unit 207 display Device characteristic generation unit 208 Display effect characteristic generation unit
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
表示効果特性生成部は、立体画像を表示する際に一部が逆パースとなるような表示効果特性を生成する。パラメータ生成部は、多視点画像を撮影した際の撮影特性、立体画像を表示させる表示装置の表示特性、表示効果特性生成部で生成された表示効果特性に基づき、多視点画像をサンプリングする際のパラメータを生成する。立体画像生成部は、パラメータ生成部から供給されたパラメータに基づき、画像取得部から供給された多視点画像をサンプリングして、立体画像を表示するための画像データを生成する。このとき、対応する画像データが存在しないパラメータについては、補間処理などにより画像データを生成する。
Description
本発明は、立体画像の生成処理に関する。
様々な方式の立体画像表示装置が開発されている。例えば、垂直レンチキュラーレンズを用い、光線の集合によって自然でフリッピング(画像の飛び)が抑制された、インテグラルイメージング方式(以下、II方式と略称する)と呼ばれる表示方法が行われている(特許文献1)。
II方式によれば、表示系において、画像の1ドットを構成する要素画像を複数の視差画素により構成し、観察する角度に応じて所定の画素の光が選択的に出力される光学的開口部を、各要素画像に対応させて配置する。1の被写体を異なる複数の視差から撮影して得られた視差毎の画像を、視点に対応する視差画素に出力することで、観察者は、被写体が立体表示された立体画像を観察することができる。
このII方式において、より広い範囲(視域)で立体画像を観察可能とするためには、角度がより大きい位置からの画像を取得する必要がある。これは、画像を取得するための撮影システムが大規模になり撮影のコストが嵩む。そのため、撮影システムの規模を変えずに視域を拡大する技術が開発されている。II方式により立体表示される立体像が観察可能な範囲(視域)を最適に拡げるための技術が記載されている(特許文献2)。
しかしながら、特許文献2では、ディスプレイのパラメータによって決まるカメラの設置範囲より狭い範囲で撮影された画像では、適正な表示を得ることができないという問題点があった。これは、視差配置に対して視差を離散的にシフトさせて視域の拡大を行うために、カメラの設置範囲より狭い範囲で撮影された画像に対して、中央の視域の角度より大きい角度の視差情報が必要となるためである。
本発明は、上記に鑑みてなされたものであって、視差が大きい位置からの画像を取得しなくても視域の拡大が可能な立体画像生成装置を提供することにある。
上述した課題を解決し、目的を達成するために、本発明は、水平方向に隣接する複数の画素を含む要素画像をマトリクス状に配置する画像表示部と、要素画像に対応した光学的開口部とを備え、要素画像が光学的開口部に対して画面端側に向けて偏倚して配置される立体画像表示装置に表示させる立体画像を生成する立体画像生成装置であって、異なるカメラ位置から同一被写体の撮影を行った多視点画像の、少なくとも撮影距離を含む撮影特性を取得する撮影特性取得部と、立体画像表示装置の表示特性であって、立体画像表示装置に表示される立体画像を観察すると想定される視距離を少なくとも含む表示特性を取得する表示特性取得部と、立体画像表示装置に対する立体画像の表示の少なくとも一部が逆パースとなるように、仮想的なカメラ位置に対応した入射角と、要素画像の光学的開口部に対する配置に対応した仮想的なカメラ位置のシフト量とを、立体画像表示装置の画面位置の変数とする表示効果特性を生成する表示効果特性生成部と、撮影距離、視距離および表示効果特性に基づき、複数の画素に表示させる画像を多視点画像からサンプリングする際のパラメータを生成するパラメータ生成部と、パラメータに従い多視点画像から複数の画素に表示させる画像のサンプリングを行い立体画像を生成する立体画像生成部とを有することを特徴とする。
本発明に係る立体画像生成装置は、視差が大きい位置からの画像を取得しなくても視域の拡大が可能であるという効果を奏する。
以下に、本発明に係る立体画像生成装置の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本発明が限定されるものではない。先ず、本実施の形態に係る、立体画像を表示するための立体画像表示装置について説明する。本実施の形態では、立体画像の表示方式として、指向性を持った光の集合として立体像を表すインテグラルイメージング方式(以下、II方式と略称する)を用いる。
先ず、立体画像表示装置について、概念的に説明する。図1は、本実施の形態に適用可能な立体画像表示装置100の一例の構造を示すための水平断面図である。図1に例示される立体画像表示装置100は、バックライト110、表示ユニット120および開口制御部115からなる。バックライト110は、例えばLED(Light Emitting Diode)を用いて光を発する光源である。観察者は、図内の矢印の方向からこの立体画像表示装置100を観察することで、表示ユニット120に表示される画像を立体的に観察することができる。
表示ユニット120は、図示されない表示駆動回路に駆動され、立体画像の表示に必要な視差画像情報を画素に表示させる。表示ユニット120の方式として、透過型と自己発光型とがある。透過型の画像表示装置であれば、図1に例示されるように光源(バックライト110)が必要とされる。表示ユニット120が自己発光型であれば、光源は不要である。
透過型および自己発光型を含めて、表示ユニット120として、通常の直視型2次元ディスプレイ、例えば、有機EL(Organic Electro Luminescence)やLCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、投射型ディスプレイなどを適用することができる。
図1の例では、表示ユニット120としてLCDを用いている。例えば、ガラス基板113Aおよび113B上にマトリクス状に電極が形成される。当該電極に対応して、ガラス基板113B上にさらにRGB各色のカラーフィルタが形成される。一対の電極と、当該電極に対応するカラーフィルタと、ガラス基板113Aおよび113B間の液晶層とで表示素子が形成される。表示素子がマトリクス状に配置されて表示素子アレイ114を構成する。液晶層を通過する光線を偏光板112Aおよび112Bで偏光させる。偏光により、電極に印加する電圧に応じた明るさの表示を得ることができる。
開口制御部115は、透過する光線を制限して光線を所定方向に向けて出射させる。図1の例では、開口制御部115としてレンチキュラーレンズが用いられている。レンチキュラーレンズは、入射および射出光線を制御して光線を所定方向に向けるレンズセグメントを有するセグメントレンズアレイ板である。開口制御部115として、光透過領域を適宜設けたスリットアレイなどのアレイ板を用いることもできる。これら光透過領域およびレンズセグメントは、表示ユニット120からその前方に向けて発散される光線中のうち特定の光線のみを選択的に出射する機能を有する。以下では、レンズセグメントおよび光透過領域を、纏めて開口部と称する。
開口制御部115は、例えば表示ユニット120における画面の垂直方向に母線を有するレンチキュラーレンズを用いる。レンチキュラーレンズの開口部116、116、…(図2参照)が画素に対応して配置される。開口制御部115は、上述したレンチキュラーレンズや光透過領域を設けたアレイ板に限らず、時間と共に光透過領域の位置および形状を変えることができる光シャッタとしてLCDを利用することもできる。
ここで、図2を用いて、立体画像表示装置100の構造について、表示ユニット120(表示素子アレイ114)に注目してより詳細に説明する。
ここで、1の画素は、RGB各色の画素(サブピクセル)から構成される。1の表示素子が1のサブピクセルに対応するものとする。図2の例では、表示素子アレイ114には、縦横比が3:1の表示素子(サブピクセル140、140、…)がマトリクス状に配列される。各サブピクセルは、例えばマトリクスの同一行内で水平方向にR(赤)、G(緑)、B(青)の順で繰り返し配列される。各サブピクセルは、マトリクスの同一列内で垂直方向にR(赤)、B(青)、G(緑)の順に繰り返し配列される。列方向に並ぶRBG各色のサブピクセルが1画素を構成し、隣接する画素を視差の数だけ行方向に並べた画素群に表示される画像を要素画像と呼ぶ。
図2の例では、画素が、列方向に並ぶRBGサブピクセルの組が2組で構成されている。そして、18画素で1要素画像141(図2内で枠を付して示す)を表示する。図2では、水平方向に18視差を与える立体表示が可能となる。なお、1実効画素内の水平方向における画素の位置は、開口制御部115と対応し、射出される光線の角度と相関を持つ。光線方向を表すアドレスを視差アドレスと呼ぶ。視差アドレスは、1実効画素内の水平方向における画素の位置に対応する。視差アドレスは、画面の右方向に向けて大きくなる。
開口制御部115における開口部116、116、…は、要素画像の位置に対応して設けられる。図2の例では、開口部116の幅Psと、1要素画像の幅とが一致させられている。
上述のような構成において、例えば、コンピュータシステムなどから、同一被写体から異なる複数の視差でそれぞれ取得された複数の画像が図示されない表示駆動回路に供給される。複数の画像は、位置が対応する画素毎にそれぞれインターリーブして1の画像データとして供給される。これに限らず、複数の画像データをそれぞれ供給するようにもできる。表示駆動回路は、例えば供給された複数の画像について、位置が対応し視差が異なる画素を視差に応じた順番に配分する。配分により要素画像を構成して表示素子アレイ114に供給し、各表示素子を駆動する。
一方、バックライト110から出射した光線は、導光板111を介して表示ユニット120に入射される。偏光板112Aで偏光され、ガラス基板113A、表示素子アレイ114および液晶層、ガラス基板113B、ならびに、偏光板112Bを介して出射される。表示ユニット120から出射された光線は、開口制御部115に入射される。
ここで、開口制御部115の開口部116は、要素画像141と対応するように設けられている。そのため、要素画像141内の、観察者の視点からの方向に応じた視差の画素からの光線が、選択的に観察者の視点に到達する。観察者の両眼にそれぞれ異なる視差の画素からの光線が到達することで、観察者は、立体的な画像を観察することができる。
図3および図4を用いて、立体画像表示装置100により立体画像が観察できる原理について説明する。図3Aおよび図4Aは、それぞれ立体画像表示装置100の開口制御部115としてレンチキュラーレンズを用いた場合の、立体画像表示装置100と観察者の視点との関係を上側から見た例である。
観察者から見てレンチキュラーレンズの後ろ側に配置される表示ユニット120は、上述した開口部116と、複数の画素が配列された要素画像とにより、角度に応じて微妙に見え方の違う視差画像群、すなわち多視点画像を表示する。この多視点画像による光線は、開口制御部115の何れかの開口部116を通って集光されて、立体画像が再生される。
図3Aおよび図4Aは、それぞれ観察者の左目および右目で立体画像表示装置100で表示される画像を観察する例を概念的に示す。例えば、図3Aおよび図4Aに示されるように、観察者130が表示ユニット120における要素画像132を観察するとき、観察者130の左目131Aおよび右目131Bには、要素画像132に含まれる異なる要素画像からの光線がそれぞれ到達する。これは、要素画像132に含まれる複数の画素から発する光線が、開口部116によってそれぞれ指向性を与えられて出射されるからである。
この結果、観察者130は、図3Bおよび図4Bに例示されるように、開口部116により拡大された、要素画像132に含まれる異なる画素を、左目131Aおよび右目131Bでそれぞれ観察することになる。このように、観察者130の左目131Aおよび右目131Bに対し、被写体が同じで視差が異なる画像をそれぞれ表示させることで、観察者130に対して立体画像が表示される。
なお、図1に例示される立体画像表示装置100においては、透過型の表示ユニット120を用い、バックライト110、表示ユニット120および開口制御部115が順次配列されているが、これはこの例に限定されない。例えば、表示ユニット120と開口制御部115を入れ替える。バックライト110、開口制御部115および表示ユニット120の順に配列されても、同様の視差画像を担う光線を発生することができる。
次に、II方式における視域の拡大方法について、図5を用いて説明する。図5は、表示ユニット120における各要素画像から出射される光線の例を、水平方向の断面図として示す。
ここで、視域とは、立体画像表示装置100に表示される画像が立体画像として観察可能な範囲をいう。図5に示されるように、立体画像表示装置100においては、要素画像による画像(以下、要素画像)は、表示ユニット120上に配置する際の基準となる視距離Lが定められる。また、この視距離Lにおける視域基準面118が定められる。
図5において、幅hvaは、視域基準面118における水平方向の視域の幅を示す。位置V0は、視域の中心を示す。要素画像からの光線Rの軌跡が視域基準面118における視域に入射するように(水平方向に限っていえば視域の幅hva内に入射するように)、要素画像が、後述するように開口制御部115の対応する光透過領域(開口部116)に対して偏倚して配置される。
ここで視域とは、立体画像のみが観察される領域である。視域は、立体画像として正画像と共に偽画像が観察される混在領域および偽画像が生ずる偽画像領域を除く領域に相当している。このように、光透過領域(開口部116)の中心に対して、対応する要素画像P1~Pnの配置を変える。要素画像P1~Pnから発せられ、全ての開口部116、116、…を通過する全透過光線R×は、視距離Lにおける領域で略重なり、視域の幅hvaが実質的に最大化される。
このような視域の最大化を行うための、画像データの基本的なサンプリング方法について説明する。図6は、基本的なサンプリング方法における、要素画像における各画素の視差アドレスと開口部116の画面内での水平方向の位置を表す3D画素アドレスとの関係を示す。
図6において、横軸は、開口部116の画面内での水平方向の位置を表す3D画素アドレスを示す。図6における左右方向が画面の左右方向にそれぞれ対応するものとする。縦軸は、例えば画像データの被写体を撮影して得る場合、被写体からレンズに到達する光線の角度(以下、入射角と呼ぶ)を示す。入射角は、レンズの正面から到達する場合に0°とし、レンズの右側から光線が到達する場合に正(+)、左側から到達する場合に負(-)とする。
また、図6において、あるx座標に示されるy軸のプロットは、当該x座標の位置の要素画像における各画素から射出される光線を示す。すなわち、あるx座標におけるy軸のプロットのそれぞれは、当該x座標が示す要素画像における各画素の視差アドレスに対応し、当該プロットのy座標が示す入射角で撮影された光線が射出されることになる。なお、あるx座標について、図内で上に表示されるプロットほど視差アドレスが大きいものとする。
なお、この図6における各定義は、同様の他の図(図7、図10~図13)についても適用される。
画面の中央部分では、視域射出角θ0を均等に分割した角度で光線が入射されればよい。一方、画面の両端側では、光線が中央に向けて射出されるため、入射角がより大きい光線が必要となる。図6に示される基本的なサンプリング方法においては、この光線の入射角が離散的にシフトする点では、視差アドレスが1追加されて視差数が1多い要素画像となり、次の3D画素アドレスより、追加された視差アドレスに対してシフトされる。
光線を等間隔の視域射出角で射出するような開口部116のピッチが、表示ユニット120の画素ピッチの略整数倍の場合、水平方向の3D画素アドレスに関わらず、常に一定の角度で光線がサンプリングされることが理想的である。そのため、図6では、同一の視差アドレスが一直線に並んでいる。このような画像を取得するためには、テレセントリックレンズなどを用いた平行投影カメラなどを用いる。
次に、視域の拡大を行うための、画像データの他のサンプリング方法について説明する。拡大された視域において、透視投影画像を用いて立体画像を歪み少なく表示する方法として、擬似多眼方式というサンプリング方法がある。通常のカメラを用いて被写体を撮影すると、カメラの結像レンズの主点位置を基準点として、画素位置によって光線の角度が異なる透視投影画像が取得できる。
疑似多眼方式では、図7に例示されるように画像データのサンプリングを行う。すなわち、視差アドレスのそれぞれにおいて、カメラの画素アドレスに応じて光線の入射角が連続的にシフトするようにサンプリングを行う。このようにサンプリングされた画像データを用いて、開口部116のピッチが表示ユニット120の画素ピッチの略整数倍であって、且つ、視域を最大化する場合、視差アドレスがシフトする点での画素データが無い。そのため、シフト部分では、同じ画像を重ねるようにする。
次に、透視投影画像の透視度について、図8を用いて説明する。一般的なカメラレンズでは、結像レンズの画角(焦点距離)によって透視投影の度合が変化する。例えば、上方向に少し傾けた立方体を被写体として、異なる撮影距離から、被写体を撮影した画像の大きさが等しくなるように撮影する場合について考える。画像151は、標準的な画角のレンズを用いて所定の撮影距離で被写体を撮影した例である。透視投影画像として撮影されるため、距離の遠い底面の奥側境界は、手前側の境界に比べて短く写る。これに対して、撮影距離をより短くより画角の広いレンズを用いて撮影した画像150の場合、遠い底面の奥側境界は、手前側の境界に比べてさらに短く写る。一方、撮影距離を長くより画角の狭いレンズを用いて撮影した画像152は、遠い底面の奥側境界は、手前側の境界に比べて短く写るが、画像150や画像151における遠い底面の奥側境界よりは長くなる。
このように、同じ奥行きの変化に対する画像の透視投影の度合が撮影方法などにより変化する。その度合を、ここで透視度と呼ぶ。上述の例では、撮影距離を短くより画角の広いレンズを用いた場合に透視度が高く、撮影距離を長くより画角の狭いレンズを用いた場合に透視度が低いとする。
つまり、透視度が高い場合に遠方の図形はより小さく近景の図形は大きく写る。透視度が低い場合は、この変化率が小さくなる。また、平行投影の場合は、遠景でも近景でも奥行き位置によらず図形の大きさは変わらない状態となる。
透視度は、例えば図7の如く横軸に3D画素アドレスを取り、縦軸に入射角を取った場合、図で示される直線の傾きで表すことができる。傾きが大きいと、要素画像内における画素位置変化による入射角の変化が大きく、透視度が高くなる。この場合、撮影距離を短くして広角レンズで撮影したような画像となり、遠近感が強調される。一方、傾きが小さいと、要素画像内における画素位置変化による入射角の変化が小さいことになり、透視度が低くなる。この場合、撮影距離を長くして望遠レンズで撮影したような画像となり、遠近感が圧縮される。
次に、本実施の形態について説明する。上述したように、視域を最大化するためには、画面の端部においてより入射角のきつい光線が必要となっていた。このような画像を撮影するためには、カメラを被写体に対してより角度がきついところから撮影する必要があり、一度に撮影するマルチカメラアレイの大型化が避けられなかった。
本実施の形態では、多視点で取得された画像からサンプリングした画素データを、補間する若しくは予め細かく取得するなどの手法を用いて所定の3D画素アドレスおよび入射角の関係を持つデータに加工して新たなサンプリングデータを生成することで、撮影に必要なマルチカメラアレイの小型化を図る。
図9は、本実施の形態による立体画像生成装置200の機能を示す一例の機能ブロック図である。画像取得部202は、入力部201から入力された、同一の被写体を複数の異なるカメラ位置、すなわち複数の異なる視差から撮影した複数の画像データ(以下、多視点画像)を取得する。取得された多視点画像は、立体画像生成部205に供給される。
撮影特性取得部203は、入力部201から入力された多視点画像を撮影した際の撮影特性を取得する。撮影特性は、例えば撮影距離、画角、被写体とレンズとの角度(入射角)および撮影した視差数を含む。平行投影画像か、透視投影画像かも、撮影特性に含まれる。撮影特性は、例えばキーボードなどの入力デバイスを用いてユーザにより入力される。記録媒体を介して入力されてもよい。これに限らず、例えば入力部201から入力される多視点画像の属性情報として入力するようにしてもよい。撮影特性取得部203で取得された撮影特性は、パラメータ生成部204に供給される。
表示装置特性取得部207は、この立体画像生成装置200で生成した立体画像を表示させる表示装置の特性を取得する。表示装置の特性は、例えば要素画像数(3D画像の画素数)、要素画像内の画素数(視差数)および視距離Lを含む。表示特性に、さらに、立体画像表示装置100が表現可能な奥行き量を含めてもよい。撮影特性は、例えばキーボードなどの入力デバイスを用いてユーザにより入力される。記録媒体を介して入力されてもよい。これに限らず、立体画像表示装置100から所定の接続線などを介して、表示特性を直接的に取得するようにしてもよい。表示装置特性取得部207で取得された表示装置特性は、パラメータ生成部204に供給される。
表示効果特性生成部208は、立体画像生成部205で生成される立体画像に対して付加する表示効果の特性を生成する。表示効果特性は、例えば透視度を変更する際の度合であって、逆パースの度合、逆パースをかける範囲や滑らかさの度合、視差アドレスに対するシフト量などが含まれる。これらの表示効果特性は、例えばユーザによる入力デバイスの操作に応じて生成される。表示効果特性を、撮影特性や表示装置特性に基づき自動的に設定することも可能である。取得された表示効果特性は、パラメータ生成部204に供給される。
パラメータ生成部204は、撮影特性取得部203、表示装置特性取得部207および表示効果特性生成部208からそれぞれ供給された各特性に基づき、多視点画像をサンプリングする際のパラメータを生成する。すなわち、パラメータ生成部204は、立体画像表示装置100における視距離Lと、多視点画像の撮影時の撮影距離に基づき多視点画像をサンプリングする際のパラメータを生成する。より具体的には、パラメータ生成部204は、供給された各特性に基づき、画面の水平方向の要素画像位置と入射角とを含む座標における、多視点画像をサンプリングする位置を求める。このサンプリングの際のパラメータとしての座標は、立体画像生成部205に供給される。
立体画像生成部205は、パラメータ生成部204から供給されたパラメータに基づき、上述した画像取得部202から供給された多視点画像をサンプリングして、立体画像を表示する画像データを生成する。このとき、対応する画像データが存在しないパラメータについては、補間処理などにより画像データを生成する。これにより、任意のサンプリングパターンに基づく画像データを生成することができる。
立体画像生成部205でサンプリングされた画像データは、例えば図1および図2を用いて説明した立体画像表示装置100に適合するデータフォーマットに変換されて、提示部206に供給される。提示部206は、供給された画像データを出力し、例えば立体画像表示装置100に供給する。これに限らず、出力を記録媒体に記録するようにしてもよい。
以下に、本実施の形態による画像データのサンプリングの例を示す。パラメータ生成部204は、撮影特性取得部203、表示装置特性取得部207および表示効果特性生成部208から供給された各特性に基づき、以下の各例のようなサンプリングパターンを生成する。
本実施の形態では、サンプリングのベースとなる視差画像において透視度が通常とは逆になる逆パースの部分を含むように、サンプリングパターンを生成する。逆パースは、例えば上述した図6および図7のように、横軸に3D画素アドレス、縦軸に入射角を取った場合に、傾きが負のサンプリングパターンを生成することで、実現できる。
視差画像を逆パースとすると、視差画像の中では本来遠方にある被写体が手前側に、被写体に対して大きく写る画像となる。しかし、立体画像として合成したときには、観察される表示は必ずしも逆パースになるとは限らず、殆どの場合において、透視度が理想的な透視度に比べて低くなるだけの影響となる。一方、人間の視覚は、透視度に対する感度は高くないので、例えば自然物や曲面であれば、透視度が低くなっても違和感を感じ難いことが知られている。このように、視差画像に逆パースの部分を含むサンプリングパターンで画像データのサンプリングを行って立体画像を生成することで、視域を最適に拡大しても使用する視差の角度範囲を狭くできるため、狭いカメラ設置範囲で撮影された画像データであっても、立体画像を生成することができる。
なお、勿論、直方体のような、パースが明確に判別し易い形状の場合は、逆パースの部分を含むサンプリングパターンで表示を行っても逆パースとして観察されるとき、立体画像において違和感が生じる可能性もある。
図10は、本実施の形態による第1のサンプリングパターンの例を示す。この第1の例は、視差数が増える位置での視差アドレスのシフト量に対して1未満の少数値を与え、視域の最適化を行う際の離散的なシフト量を緩和した例である。例えばこの第1の例は、視差アドレスを示す視差の角度間隔を、例えば0.5ずつシフトさせたものである。このようなサンプリングパターンで画像データをサンプリングして生成された立体画像は、視差アドレスの入射角に対する範囲が狭くなるので、被写体撮影時のカメラの設置範囲を狭くすることができる。
また、この図10に例示される状態は、視差アドレスのシフト位置で、要素画像内の相対的な位置関係を同じくする画像である視差画像として、離散的に逆パースに変化している状態である。この場合は、図10に例示されるサンプリングパターンで画像データをサンプリングして生成した立体画像において、透視度が緩和されることになる。それと共に、視差画像のサンプリングパターンに逆パースを伴うようににすることで、カメラの設置角度範囲をより狭くすることができる。すなわち、複数の視差で撮影された複数の画像データの角度範囲が不十分である場合にも、カメラ間隔を狭くせずに立体画像が合成できる。同時に、立体感を大きく損なうことなく立体表示を行うことができる。
なお、この図10、ならびに、後述する図11~図13に例示される3D画素アドレスに対する各入射角(縦軸)のプロットは、当該3D画素アドレスにおける要素画像内の各画素に対応してそれぞれカメラが存在すると仮定した場合の入射角に対する仮想的なカメラ位置である。
図11は、本実施の形態による第2のサンプリングパターンの例を示す。この第2の例は、3D画素アドレスに対して視差画像の入射角が透視投影の場合と逆方向となるように生成したサンプリングパターンの例である。すなわち、図11の例では、サンプリングパターンが全体として逆パースとなっている。この場合、要素画像内の視差画素に表示する画素データの視差アドレスを、3D画素アドレス毎に、例えば0.01ずつ、あるいは、0.1ずつといったように、極めて小さくシフトさせることで生成できる。この第2のサンプリングパターンについても、カメラの設置角度範囲をより狭くすることができる。
図12は、本実施の形態による第3のサンプリングパターンの例を示す。この第3および後述する第4の例は、それぞれ、逆パースとなるサンプリングパターンと、通常の遠近感を表現する正パースとなるサンプリングパターンとを、画面内の水平位置に対応する3D画素アドレスに応じて組み合わせた例である。
第3の例では、図12に例示されるように、画面の中央部分を正パースとし、画面の端部において逆パースとなるようにサンプリングパターンを生成する。このとき、正パースのサンプリングパターンと逆パースのサンプリングパターンとが滑らかに接続されるように、サンプリングパターンを曲線的に変化させると好ましい。この図12の例では、次式(1)に示すような3次曲線を用いてサンプリングパターンを生成している。
式(1)における各変数の意味を下記に記す。
x:画面位置(画面左端を原点とする座標系)
X:画面全体の長さ
A:振幅の係数(A<0)
Y:入射角
x:画面位置(画面左端を原点とする座標系)
X:画面全体の長さ
A:振幅の係数(A<0)
Y:入射角
この式(1)による曲線を、視差数の増える位置で視差アドレスをシフトさせることで、図12に例示されるようなサンプリングパターンを生成する。
図13は、本実施の形態による第4のサンプリングパターンの例を示す。この第4の例では、画面の中央部で逆パースとし、画面の端部において正パースとなるようにサンプリングパターンを生成している。この図13の例では、正パースおよび逆パースのサンプリングパターンが滑らかに接続できるように、次式(2)に示すような2次曲線を用いてサンプリングパターンを生成している。なお、式(2)における各変数の意味は、上述した式(1)と同様である。
この第3および第4の例においても、サンプリングパターンに逆パースを含むため、これらのサンプリングパターンで画像データをサンプリングして生成した立体画像において、透視度が緩和されると共に、カメラの設置角度範囲をより狭くすることができる。
なお、上述の第3および第4のサンプリングパターンでは、それぞれ3次曲線および2次曲線を用いて逆パースの部分と正パースの部分とを接続しているが、これはこの例に限定されない。すなわち、逆パースの部分と正パースの部分とを、他の関数に基づく曲線を用いて各部を接続してもよいし、接続部の曲線を手書きなどにより作成したパターンを用いることも可能である。
さらに、上述では、画面の中央部と端部とで正逆パースを切り替えているが、これはこの例に限定されない。正逆パースを画面の左右で切り替えてもよいし、画面をさらに細かい領域に分割して、領域毎に正逆パースを切り替えてもよい。これら正逆パースの切り替え方法は、立体画像として表示させる被写体や画像の性質に応じて選択すると好ましい。
これらサンプリングパターンの第1~第4の例では、例えば上述した図7のようにして撮影された各視点毎の画像データに対し、より細かい視差情報が必要となる。立体画像生成部205は、画像取得部202から供給された各視点の画像データを、3D画素アドレスと入射角を含む2次元平面上にマッピングし、パラメータ生成部204から供給されたサンプリングパターンに基づき補間処理を行うことで、各視差アドレス毎の画像データを生成することができる。
ところで、垂直方向には視差を持たない場合、撮影系の画角によって決まる透視度が立体画像においてそのまま表示され、垂直方向の透視度となる。垂直方向の透視度と水平方向の透視度の違いによる違和感の要因となることが考えられる。例えば、視距離Lが50cmである立体画像表示装置100に対して、3mの撮影距離で撮影された画像データによる立体画像を表示させる場合を考える。この場合、水平方向については、視距離50cmの透視度を再現できる。一方、垂直方向は、撮影時の透視度(この例では被写体を3m離れて観察したときの透視度)がそのまま表現されることになる。このように、水平方向と垂直方向とで異なる距離感の透視度となるため、立体表示に違和感が生じる。
そこで、パラメータ生成部204は、撮影特性取得部203から取得された撮影距離および画角と、表示装置特性取得部207から取得された立体画像表示装置100の視距離Lとに基づき、撮影系の画角に適合するように透視度を調整する。上述のように、3D画素アドレスと入射角とからなる座標平面上での傾きを変えることにより透視度を変化させることができる。パラメータ生成部204は、上述したサンプリングパターンを、例えば視距離Lと撮影距離および画角とを考慮して生成することで、パースの調整を行い、違和感の低減化を図る。
例えば、図14Aに例示されるような被写体を立体画像表示装置100に表示させると、図14Bの如く水平方向には透視度が再現され、垂直方向には撮影系の画角に応じた表示となる。垂直方向の画角は、撮影距離および画角と視距離Lとに基づき予め求めることができる。この場合、パラメータ生成部204は、これらの情報に基づき、図14Bに矢印で示される如く水平方向の透視度を調整するようなサンプリングパターンを生成する。図14Bの例では、透視度を低くする方向に調整することになるため、3D画素アドレスと入射角とからなる座標平面上での傾きをより小さくするように、サンプリングパターンを生成する。このように調整されたサンプリングパターンに従い画像データをサンプリングして立体画像表示装置100に対して表示させると、図14Cに例示されるように、透視度が調整され違和感の低減された立体画像を得ることができる。
撮影された実写画像の角度範囲が立体表示装置の必要とする角度範囲より狭い場合、2つの方法により表示を行うことができる。第1の方法は、正しいカメラ間隔よりも狭いカメラ間隔で再現する方法である。この第1の方法では、奥行き量が潰れて再現される。第2の方法は、本実施の形態による透視度の調整処理を用いる方法である。
実写画像の奥行き量が立体画像表示装置100の表現可能な奥行き量よりも大きい場合には、第1の方法によりカメラ間隔を狭くして画像の奥行き量を潰し、表現可能な奥行き量とする処理が有効となる。一方、撮影された実写画像の奥行き量が立体画像表示装置100の表現可能な奥行き量より小さい場合、第2の方法による透視度を調整する処理が有効である。この場合、立体感が低減されずに立体表示を行うことができる。
そこで、撮像された画像の奥行き量を、多視点による複数の画像に対するステレオマッチングなどにより推定し、推定された奥行き量と、立体画像表示装置100の特性としての表現可能な奥行き量とを比較する。パラメータ生成部204は、この比較結果に基づき、画像の奥行き量を潰す処理を行うか、透視度を調整する処理を行うかを決める。
例えば、立体画像表示装置100の表現可能な奥行き量が実写画像の奥行き量よりも小さい場合、立体画像表示装置100の奥行き表現量と実写画像の奥行き量とが等しくなるまで立体感を潰す処理が行われ、それでも角度範囲が足りない場合は、透視度を調整する。
なお、投影透視画像による画像データ群を用いてII方式の立体表示の違和感を抑えて表示する方法は、例えば特開2005-331844号公報に記載されているように、既に行われている。また、カメラ間隔を調整し、表示される立体画像の奥行き量を調整することも、例えば特開2001-148869号公報に記載されているように、既に行われている。
しかしながら、特開2005-331844号公報に記載の方法では、サンプリングが不連続に行われるため、表示される立体画像の歪みが大きい。また、特開2001-148869号公報に記載の方法では、カメラ間隔を狭めることで立体感を潰すことが可能である一方で立体感が失われてしまう。また、これら特開2005-331844号公報や特開2001-148869号公報の技術では、透視度を変化させて、立体表示における遠近感の強調や緩和を制御することができなかった。
これに対して、本実施の形態によれば、上述したように、立体画像表示装置100に表示される立体画像の一部が逆パースになるようにしている。これにより、両眼視差による立体感を損なわず、表示される立体画像に歪みなどを感じさせずに、多視点画像を撮影する際のマルチカメラの設置角度範囲を小さくすることができる。また、多視点画像をサンプリングするサンプリングパターンを、3D画素アドレスおよび入射角による座標上で、補間を用いて生成しているため、透視度を変化させて立体表示における遠近感の強調や緩和を制御することができる。
上述したように、透視度の変更度合、逆パースの度合、逆パースをかける範囲や滑らかさの度合、視差アドレスに対するシフト量といった表示効果特性は、ユーザ操作により表示効果特性生成部208に対して入力することができる。このとき、入力されたデータの値によっては、立体画像表示装置100の視域で表示させるための光線の角度範囲が、画像データの入射角の範囲を超える場合が有り得る。このような場合に、立体画像生成装置200においてユーザに対して警告を発するようにすると、より好ましい。
例えばパラメータ生成部204は、撮影特性取得部203から取得された入射角と、ユーザの指示により表示効果特性生成部208で取得された透視度に基づき生成されたサンプリングパターンとを比較する。比較の結果、サンプリングパターンが含まれる入射角範囲が、撮影特性取得部203から取得された入射角を超えていると判定されたら、その旨の警告を発する。警告は、所定の表示や音声を用いて発することができる。
次に、本実施の形態による立体画像生成装置200を実現可能な構成の例について、図15を用いて説明する。図15に例示されるように、本実施の形態による立体画像生成装置200は、例えば一般的なコンピュータ300により実現可能である。
図15において、バス301に対してCPU302、ROM303、RAM304および表示制御部305が接続される。また、バス301に対して、ハードディスク307、ドライブ装置308、入力部309および通信I/F310が接続される。
CPU302は、ROM303およびハードディスク307に記憶されるプログラムに従い、RAM304をワークメモリとして用いて、このコンピュータ300の全体を制御する。表示制御部305は、CPU302により生成された表示制御信号を、表示装置306が表示可能な信号に変換して出力する。
ハードディスク307は、上述のCPU302が実行するためのプログラムが格納されると共に、画像データや他のデータが格納される。ドライブ装置308は、脱着可能な記録媒体320が装填可能とされ、当該記録媒体に対するデータの読み書きを行うことができる。ドライブ装置308が対応可能な記録媒体320としては、CD、DVDといったディスク記録媒体や、不揮発性の半導体メモリ(例えばEEPROM)が考えられる。
入力部309は、外部からのデータの入力を行う。例えば、入力部309は、USBやIEEE1394といった所定のインターフェイスを有し、このインターフェイスにより外部の機器からのデータ入力を行う。また、入力部309に対して、キーボードやマウスといった入力デバイスが接続される。ユーザは、例えば表示装置306に対する表示に応じてこれら入力デバイスを操作することで、コンピュータ300に対して指示を出すことができる。
通信I/F310は、所定のプロトコルを用いて外部の通信ネットワークと通信を行う。
上述した立体画像生成装置200における画像取得部202、撮影特性取得部203、パラメータ生成部204、立体画像生成部205、表示装置特性取得部207および表示効果特性生成部208は、CPU302上で動作するプログラムによって実現される。入力部201は、例えばハードディスク307に対応する。入力部309は、ドライブ装置308に装填された記録媒体320や、入力部309に接続される他の機器から画像データを入力するようにしてもよい。
本実施の形態に係る立体画像生成装置200を実行するためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、DVDなどのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、立体画像生成装置200を実行するためのプログラムを、ROM303に予め記憶させて提供してもよい。
さらに、本実施の形態に係る立体画像生成装置200を実行するためのプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態に係る立体画像生成装置200を実行するためのプログラムを、インターネットなどのネットワーク経由で提供または配布するように構成してもよい。
本実施の形態に係る立体画像生成装置200を実行するためのプログラムは、上述した各部(画像取得部202、撮影特性取得部203、パラメータ生成部204、立体画像生成部205、表示装置特性取得部207および表示効果特性生成部208)を含むモジュール構成となっており、実際のハードウェアとしてはCPU302が例えばハードディスク307から当該プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
100 立体画像表示装置
114 表示素子アレイ
115 開口制御部
116 開口部
120 表示ユニット
141 要素画像
200 立体画像生成装置
201 入力部
202 画像取得部
203 撮影特性取得部
204 パラメータ生成部
205 立体画像生成部
207 表示装置特性生成部
208 表示効果特性生成部
114 表示素子アレイ
115 開口制御部
116 開口部
120 表示ユニット
141 要素画像
200 立体画像生成装置
201 入力部
202 画像取得部
203 撮影特性取得部
204 パラメータ生成部
205 立体画像生成部
207 表示装置特性生成部
208 表示効果特性生成部
Claims (5)
- 水平方向に隣接する複数の画素を含む要素画像をマトリクス状に配置する画像表示部と、該要素画像に対応した光学的開口部とを備え、該要素画像が該光学的開口部に対して画面端側に向けて偏倚して配置される立体画像表示装置に表示させる立体画像を生成する立体画像生成装置であって、
異なるカメラ位置から同一被写体の撮影を行った多視点画像の、少なくとも撮影距離を含む撮影特性を取得する撮影特性取得部と、
前記立体画像表示装置の表示特性であって、該立体画像表示装置に表示される前記立体画像を観察すると想定される視距離を少なくとも含む表示特性を取得する表示特性取得部と、
前記立体画像表示装置に対する前記立体画像の表示の少なくとも一部が逆パースとなるように、仮想的なカメラ位置に対応した入射角と、前記要素画像の前記光学的開口部に対する配置に対応した該仮想的なカメラ位置のシフト量とを、前記立体画像表示装置の画面位置の変数とする表示効果特性を生成する表示効果特性生成部と、
前記撮影距離、前記視距離および前記表示効果特性に基づき、前記複数の画素に表示させる画像を前記多視点画像からサンプリングする際のパラメータを生成するパラメータ生成部と、
前記パラメータに従い前記多視点画像から前記複数の画素に表示させる画像のサンプリングを行い前記立体画像を生成する立体画像生成部と
を有する
ことを特徴とする立体画像生成装置。 - 前記表示効果特性生成部は、
正パースと逆パースとを画面位置に応じて組み合わせたように前記立体画像を表示させる前記表示効果特性を生成する
ことを特徴とする請求項1に記載の立体画像生成装置。 - 前記立体画像生成部は、
前記多視点画像を前記入射角と前記要素画像を含む座標上で補間して前記画像のサンプリングを行う
ことを特徴とする請求項2に記載の立体画像生成装置。 - 前記撮影特性は、前記撮影の際の画角をさらに含み、
前記表示効果特性生成部は、
前記画角と前記視距離とに基づき前記多視点画像が前記立体画像表示装置に表示される際の垂直方向の画角を求め、該垂直方向の画角に基づき該視距離での水平方向の画角を調整する前記表示効果特性を生成する
ことを特徴とする請求項3に記載の立体画像生成装置。 - 前記表示特性は、前記立体画像表示装置が表現可能な第1の奥行き量をさらに含み、
前記表示効果特性生成部は、
前記多視点画像における前記被写体の第2の奥行き量を推定し、前記第1の奥行き量と該第2の奥行き量とを比較した比較結果に応じて、
該第1の奥行き量が該第2の奥行き量よりも小さい場合には、該立体画像の透視投影の度合をより小さくし、
該第1の奥行き量が該第2の奥行き量よりも大きい場合には、前記立体画像表示装置に表示させる前記多視点画像に基づく前記立体画像の表現される奥行き量の度合をより小さくする
ことを特徴とする請求項3に記載の立体画像生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2009/066779 WO2011036798A1 (ja) | 2009-09-28 | 2009-09-28 | 立体画像生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2009/066779 WO2011036798A1 (ja) | 2009-09-28 | 2009-09-28 | 立体画像生成装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011036798A1 true WO2011036798A1 (ja) | 2011-03-31 |
Family
ID=43795568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2009/066779 WO2011036798A1 (ja) | 2009-09-28 | 2009-09-28 | 立体画像生成装置 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2011036798A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013005376A (ja) * | 2011-06-21 | 2013-01-07 | Office Sansara Co Ltd | 画像処理プログラム、画像処理装置、及び画像処理方法 |
CN105049827A (zh) * | 2015-08-13 | 2015-11-11 | 深圳市华星光电技术有限公司 | 裸眼3d成像方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004198971A (ja) * | 2002-12-20 | 2004-07-15 | Namco Ltd | 立体視用表示装置及び立体視用表示方法 |
JP2005078078A (ja) * | 2003-08-30 | 2005-03-24 | Sharp Corp | マルチビュー指向性ディスプレイ |
JP2009169155A (ja) * | 2008-01-17 | 2009-07-30 | Namco Bandai Games Inc | 立体視用印刷物の製造方法、立体視用印刷物、画像生成システム、画像生成方法、プログラム及び情報記憶媒体 |
-
2009
- 2009-09-28 WO PCT/JP2009/066779 patent/WO2011036798A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004198971A (ja) * | 2002-12-20 | 2004-07-15 | Namco Ltd | 立体視用表示装置及び立体視用表示方法 |
JP2005078078A (ja) * | 2003-08-30 | 2005-03-24 | Sharp Corp | マルチビュー指向性ディスプレイ |
JP2009169155A (ja) * | 2008-01-17 | 2009-07-30 | Namco Bandai Games Inc | 立体視用印刷物の製造方法、立体視用印刷物、画像生成システム、画像生成方法、プログラム及び情報記憶媒体 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013005376A (ja) * | 2011-06-21 | 2013-01-07 | Office Sansara Co Ltd | 画像処理プログラム、画像処理装置、及び画像処理方法 |
CN105049827A (zh) * | 2015-08-13 | 2015-11-11 | 深圳市华星光电技术有限公司 | 裸眼3d成像方法及*** |
US9900575B2 (en) | 2015-08-13 | 2018-02-20 | Shenzhen China Star Optoelectronics Technology Co., Ltd. | Naked-eye 3D image forming method and system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102185130B1 (ko) | 다시점 영상 디스플레이 장치 및 그 제어 방법 | |
JP5364666B2 (ja) | 立体画像表示装置、方法およびプログラム | |
KR102030830B1 (ko) | 곡면형 다시점 영상 디스플레이 장치 및 그 제어 방법 | |
US9280951B2 (en) | Stereoscopic image display device, image processing device, and stereoscopic image processing method | |
JP4328311B2 (ja) | 三次元画像表示用多視点画像の作成方法およびプログラム | |
JP4331224B2 (ja) | 三次元画像表示装置及び三次元画像の表示方法 | |
JP5306275B2 (ja) | 表示装置及び立体画像の表示方法 | |
KR102121389B1 (ko) | 무안경 3d 디스플레이 장치 및 그 제어 방법 | |
JP4937424B1 (ja) | 立体画像表示装置および方法 | |
WO2011125368A1 (ja) | 立体画像表示装置、表示システム、駆動方法、駆動装置、表示制御方法、表示制御装置、プログラム、およびコンピュータ読み取り可能な記録媒体 | |
US10694173B2 (en) | Multiview image display apparatus and control method thereof | |
JP2009080144A (ja) | 立体映像表示装置および立体映像表示方法 | |
KR102143473B1 (ko) | 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법 | |
KR102174258B1 (ko) | 무안경 3d 디스플레이 장치 및 그 제어 방법 | |
JPWO2012176443A1 (ja) | 映像表示装置および映像表示方法 | |
JP2004264858A (ja) | 立体映像表示装置 | |
EP3182702B1 (en) | Multiview image display device and control method therefor | |
TW201519636A (zh) | 三維影像顯示裝置 | |
JP2008244835A (ja) | 立体表示装置および立体画像表示方法 | |
TWI489149B (zh) | 立體顯示裝置及儲存媒體 | |
US20080158671A1 (en) | Three-Dimensional Image Display Apparatus Using Flat Panel Display | |
KR20120025282A (ko) | 입체영상표시장치 | |
KR102143463B1 (ko) | 다시점 영상 디스플레이 장치 및 그 제어 방법 | |
WO2011036798A1 (ja) | 立体画像生成装置 | |
US20140362197A1 (en) | Image processing device, image processing method, and stereoscopic image display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 09849829 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 09849829 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |