WO2013073028A1 - 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
WO2013073028A1
WO2013073028A1 PCT/JP2011/076447 JP2011076447W WO2013073028A1 WO 2013073028 A1 WO2013073028 A1 WO 2013073028A1 JP 2011076447 W JP2011076447 W JP 2011076447W WO 2013073028 A1 WO2013073028 A1 WO 2013073028A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
viewer
panel
parallax
image processing
Prior art date
Application number
PCT/JP2011/076447
Other languages
English (en)
French (fr)
Inventor
徳裕 中村
三田　雄志
賢一 下山
隆介 平井
三島　直
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to PCT/JP2011/076447 priority Critical patent/WO2013073028A1/ja
Priority to KR1020147012552A priority patent/KR20140073584A/ko
Priority to JP2013544054A priority patent/JP5881732B2/ja
Priority to CN201180074832.2A priority patent/CN103947199A/zh
Priority to TW100148039A priority patent/TW201322733A/zh
Publication of WO2013073028A1 publication Critical patent/WO2013073028A1/ja
Priority to US14/272,956 priority patent/US20140247329A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Definitions

  • Embodiments described herein relate generally to an image processing device, a stereoscopic image display device, an image processing method, and an image processing program.
  • the viewer can observe the stereoscopic image with the naked eye without using special glasses.
  • a stereoscopic image display device displays a plurality of images with different viewpoints (hereinafter, each image is referred to as a parallax image), and controls the light rays of these parallax images by, for example, a parallax barrier, a lenticular lens, or the like.
  • the images to be displayed need to be rearranged so that the intended image is observed in the intended direction when viewed through a parallax barrier, a lenticular lens, or the like.
  • This rearrangement method is hereinafter referred to as pixel mapping.
  • the light beam controlled by the parallax barrier, the lenticular lens, and the like and the pixel mapping according to the parallax lens is guided to the viewer's eyes, and the viewer can view the stereoscopic image if the viewer's observation position is appropriate. Can be recognized. An area in which the viewer can observe a stereoscopic image is called a viewing area.
  • the viewpoint of the image perceived by the left eye is on the right side relative to the viewpoint of the image perceived by the right eye, and there is a reverse viewing area that is an observation area where a stereoscopic image cannot be recognized correctly.
  • the viewer's position is detected by some means (for example, a sensor), and the parallax images before pixel mapping are replaced according to the viewer's position.
  • some means for example, a sensor
  • the parallax images before pixel mapping are replaced according to the viewer's position.
  • the position of the viewing zone can be controlled only in a discrete manner, and cannot be sufficiently matched to the position of the viewer that continuously changes. For this reason, not only the image quality of the image changes depending on the position of the viewpoint, but also during the transition, specifically, the video appears to suddenly switch at the timing of replacing the parallax image, giving the viewer a sense of incongruity.
  • the position at which each parallax image is viewed is determined in advance by the design of the parallax barrier and lenticular lens and the positional relationship with the subpixels of the panel. This is because it is not possible to cope with the change.
  • the problem to be solved by one aspect of the present invention is to make it possible to view a stereoscopic image while suppressing deterioration in image quality as much as possible regardless of the position of the viewer.
  • An image processing apparatus is an image processing apparatus for displaying a stereoscopic image on a display device having a panel and an optical opening, and includes a parallax image acquisition unit, a viewer position acquisition unit, And an image generation unit.
  • the parallax image acquisition unit acquires at least one parallax image that is an image at one viewpoint.
  • the viewer position acquisition unit acquires the position of the viewer.
  • the image generation unit corrects a parameter related to the correspondence relationship between the panel and the optical opening based on the position of the viewer, and when displayed on the display device based on the corrected parameter An image in which each pixel of the parallax image is assigned so that the viewer can see the stereoscopic image is generated.
  • the figure which shows the processing flow of the image processing apparatus shown in FIG. The figure for demonstrating the meaning between the angle between a panel and a lens, pixel mapping, and various terms.
  • the image processing apparatus can be used in a stereoscopic image display apparatus such as a TV, a PC, a smartphone, or a digital photo frame that allows a viewer to observe a stereoscopic image with the naked eye.
  • the stereoscopic image is an image including a plurality of parallax images having parallax with each other, and the viewer observes the stereoscopic image through an optical opening such as a lenticular lens or a parallax barrier, so that the stereoscopic image is displayed. Visible.
  • the image described in the embodiment may be either a still image or a moving image.
  • FIG. 1 is a block diagram illustrating a configuration example of the stereoscopic image display apparatus according to the present embodiment.
  • the stereoscopic image display device includes an image acquisition unit 1, a viewing position acquisition unit 2, a mapping control parameter calculation unit 3, a pixel mapping processing unit 4, and a display unit (display device) 5.
  • the image acquisition unit 1, viewing position acquisition unit 2, mapping control parameter calculation unit 3, and pixel mapping processing unit 4 form an image processing device 7.
  • the mapping control parameter calculation unit 3 and the pixel mapping processing unit 4 form an image generation unit 8.
  • the display unit 5 is a display device for displaying a stereoscopic image.
  • a range (region) in which a viewer can observe a stereoscopic image displayed by the display device is called a viewing zone.
  • the center of the panel display surface (display) is set as the origin, the X axis in the horizontal direction of the display surface, the Y axis in the vertical direction of the display surface, Set the Z axis in the normal direction.
  • the height direction refers to the Y-axis direction.
  • the method for setting coordinates in the real space is not limited to this.
  • the display device includes a display element 20 and an opening control unit 26.
  • the viewer visually recognizes the stereoscopic image displayed on the display device by observing the display element 20 through the opening control unit 26.
  • the display element 20 displays a parallax image used for displaying a stereoscopic image.
  • Examples of the display element 20 include a direct-view type two-dimensional display such as an organic EL (Organic Electro Luminescence), an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), and a projection display.
  • the display element 20 may have a known configuration in which, for example, RGB sub-pixels are arranged in a matrix with RGB as one pixel (the individual small rectangles of the display element 20 in FIG. Sub-pixels).
  • the RGB sub-pixels arranged in the first direction constitute one pixel
  • the first direction is, for example, the column direction (vertical direction or Y-axis direction)
  • the second direction is, for example, the row direction (horizontal direction or X-axis direction).
  • the arrangement of the subpixels of the display element 20 may be another known arrangement.
  • the subpixels are not limited to the three colors RGB. For example, four colors may be used.
  • the aperture control unit 26 emits light emitted from the display element 20 toward the front thereof in a predetermined direction through the aperture (hereinafter, an aperture having such a function is referred to as an optical aperture). Call).
  • an aperture having such a function is referred to as an optical aperture.
  • Examples of the optical opening 26 include a lenticular lens and a parallax barrier.
  • the optical aperture is arranged so as to correspond to each element image 30 of the display element 20.
  • One optical aperture corresponds to one element image.
  • a parallax image group (multi-parallax image) corresponding to a plurality of parallax directions is displayed on the display element 20.
  • the light beam from the multi-parallax image is transmitted through each optical opening.
  • the viewer 33 located in the viewing zone observes the pixels included in the element image 30 with the left eye 33A and the right eye 33B, respectively.
  • the viewer 33 can observe the stereoscopic image by displaying images with different parallaxes on the left eye 33A and the right eye 33B of the viewer 33, respectively.
  • the optical opening 26 is arranged in parallel with the panel display surface, and the extending direction of the optical opening is Has a predetermined inclination ⁇ with respect to the first direction (Y-axis direction) of the display element 20.
  • the image acquisition unit 1 acquires one or a plurality of parallax images according to the number of parallax images to be displayed (number of parallaxes).
  • the parallax image is acquired from the recording medium. For example, it may be stored in advance on a hard disk, server, etc. and obtained from there, or it may be configured to obtain directly from an input device such as a camera, a camera array in which a plurality of cameras are connected, or a stereo camera. Also good.
  • the viewing position acquisition unit 2 acquires the position of the viewer in the real space within the viewing area as a three-dimensional coordinate value.
  • devices such as radar and sensors can be used in addition to imaging devices such as a visible camera and an infrared camera.
  • the position of the viewer is acquired from information obtained by these devices (photographed images in the case of cameras) using a known technique.
  • the viewing position acquisition unit 2 acquires the position of the viewer.
  • the obtained radar signal is signal-processed to detect the viewer and calculate the viewer's position.
  • the viewing position acquisition unit 2 acquires the position of the viewer.
  • any target that can be determined to be a person such as a face, head, whole person, or marker, may be detected.
  • the position of the viewer's eyes may be detected. Note that the method for acquiring the viewer's position is not limited to the above method.
  • the pixel mapping processing unit 4 assigns each subpixel of the parallax image group acquired by the image acquisition unit 1 to the number of parallaxes N, the inclination ⁇ of the optical aperture with respect to the Y-axis, Each element image 30 is determined by rearranging (assigning) based on control parameters such as a shift amount (panel conversion shift amount) koffset and a width Xn on the panel corresponding to one optical opening.
  • the plurality of element images 30 displayed on the entire display element 20 are referred to as an element image array.
  • the element image array is an image in which each pixel of the parallax image is assigned so that the viewer can view the stereoscopic image at the time of display.
  • the direction in which the light rays emitted from each sub-pixel of the element image array fly through the optical aperture 26 is calculated.
  • the method described in Non-Patent Document 1 Image Preparation for 3D-LCD can be used.
  • sub_x and sub_y are the coordinates of the subpixel when the upper left corner of the panel is used as a reference.
  • v (sub_x, sub_y) is a direction in which light beams emitted from sub-pixels sub_x and sub_y fly through the optical aperture 26.
  • the direction of the light beam obtained here defines a region having a horizontal width Xn with respect to the extending direction of the optical opening 26 with respect to the X axis, and exists in the most negative direction of the X axis of the region. If the direction in which the light emitted from the position corresponding to the boundary line to fly is defined as 0, and the direction in which the light emitted from a position away from the boundary by Xn / N is defined as 1 in order, each sub This is a number indicating the direction in which light emitted from the pixel travels through the optical aperture 26. For further detailed description, please refer to the known document 1.
  • the direction calculated for each sub-pixel is associated with the acquired parallax image.
  • the parallax image which acquires a color is determined for every sub pixel.
  • a line running obliquely along the plane of the drawing represents an optical aperture disposed at an angle ⁇ with respect to the Y axis.
  • the numbers described in each rectangular cell correspond to the number of the reference parallax image and also correspond to the direction in which the above-mentioned light flies.
  • the integer corresponds to a parallax image having the same number
  • the decimal corresponds to an image interpolated by two numbers of parallax images including the number in between. For example, if the number is 7.0, the number 7 parallax image is used as the reference parallax image, and if the number is 6.7, an image interpolated using the number 6 and number 7 reference parallax images is used as the reference parallax image. Used as Finally, a subpixel at a position corresponding to the case where the reference parallax image is made to correspond to the entire display element 20 is assigned to each subpixel of the element image array. As described above, the value assigned to each sub-pixel of each display pixel in the display device is determined.
  • parallax image acquisition unit 1 when the parallax image acquisition unit 1 reads only one parallax image, another parallax image may be generated from the one parallax image. For example, when one parallax image corresponding to No. 0 is read out, parallax images corresponding to Nos. 1 to 11 may be generated from the parallax image.
  • each parameter is originally determined by the relationship between the panel 27 and the optical aperture 26, and does not change unless the hardware is redesigned.
  • the above parameters (particularly the amount of offset koffset in the X-axis direction between the optical opening and the panel, the width Xn on the panel corresponding to one optical opening) based on the viewpoint position of the observer. Is corrected to move the viewing zone to a desired position. For example, when the method of Non-Patent Document 1 is used for pixel mapping, the movement of the viewing zone is realized by correcting the parameters as shown in Equation 2 below.
  • R_offset represents the correction amount for koffset.
  • r_Xn represents a correction amount for Xn. A method for calculating these correction amounts will be described later.
  • Equation 2 the case where koffset is defined as the amount of deviation of the optical opening with respect to the optical opening is shown. However, when the amount of deviation of the optical opening with respect to the panel is defined, as in equation 3 below: Become. Note that the correction for Xn is the same as that in Equation 2 above.
  • mapping control parameter calculation unit 3 calculates a correction parameter (correction amount) for moving the viewing zone according to the observer.
  • the correction parameter is also called a mapping control parameter.
  • the parameters to be corrected are two parameters koffset and Xn.
  • a viewing zone is formed in front of the panel.
  • a device is added to this. That is, the correction is performed so that koffset, which is a shift between the panel and the optical opening, is increased or decreased from the physical shift amount according to the position of the viewer.
  • the degree of position correction in the horizontal direction (X-axis direction) of the viewing zone by pixel mapping can be continuously (finely), and the horizontal level that can only be changed discretely by replacing parallax images in the prior art.
  • the position of the viewing zone in the direction (X-axis direction) can be continuously changed. Therefore, when the viewer is at an arbitrary horizontal position (position in the X-axis direction), the viewing zone can be appropriately adjusted for the viewer.
  • the width Xn on the panel corresponding to one optical opening is increased as shown in FIG. 5B.
  • the viewing zone is close to the panel (that is, the element image width is larger in FIG. 5B than in FIG. 5A). Therefore, by correcting the value of Xn so as to increase or decrease from the actual value, the degree of position correction in the vertical direction (Z-axis direction) of the viewing zone by pixel mapping can be continuously (finely).
  • the position of the viewing zone in the vertical direction (Z-axis direction) which could only be changed discretely by replacing the parallax images in the prior art, can be changed continuously. Therefore, when the viewer is at an arbitrary vertical position (position in the Z-axis direction), the viewing zone can be appropriately adjusted.
  • ⁇ R_koffset r_koffset is calculated from the X coordinate of the viewing position. Specifically, the X coordinate of the current viewing position, the viewing distance L that is the distance from the viewing position to the panel (or lens), and the distance between the optical aperture (principal point P in the case of a lens) and the panel R_koffset is calculated by the following equation 4 using the gap g (see FIG. 4C).
  • the current viewing position is acquired by the viewing position acquisition unit 2, and the viewing distance L is calculated from the current viewing position.
  • ⁇ R_Xn r_Xn is calculated by the following formula 5 from the Z coordinate of the viewing position.
  • Lens_width (see FIG. 4C) is a width when the optical opening is cut along the X-axis direction (longitudinal direction of the lens).
  • the display unit 5 is a display device including the display element 20 and the optical opening 26 as described above. The viewer observes the stereoscopic image displayed on the display device by observing the display element 20 through the optical opening 26.
  • the display element 20 includes a direct-view type two-dimensional display such as an organic EL (Organic Electro Luminescence), an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), and a projection display.
  • the display element 20 may have a known configuration in which RGB sub-pixels are arranged in a matrix with RGB as one pixel.
  • the arrangement of the subpixels of the display element 20 may be another known arrangement.
  • the subpixels are not limited to the three colors RGB. For example, four colors may be used.
  • FIG. 3 is a flowchart showing an operation flow of the image processing apparatus shown in FIG.
  • step S101 the parallax image acquisition unit 1 acquires one or a plurality of parallax images from the recording medium.
  • step S102 the viewing position acquisition unit 2 acquires the position information of the viewer using an imaging device or a device such as a radar or a sensor.
  • step S103 the mapping control parameter calculation unit 3 calculates a correction amount (mapping control parameter) for correcting the parameter related to the correspondence between the panel and the optical opening based on the position information of the viewer. Examples of calculation of the correction amount are as shown in Equation 4 and Equation 5.
  • step S104 the pixel mapping processing unit 4 corrects the parameters related to the correspondence between the panel and the optical aperture based on the correction amount (see Expressions 2 and 3). Based on the corrected parameters, the pixel mapping processing unit 4 generates an image to which each pixel of the parallax image is assigned so that the viewer can view the stereoscopic image when displayed on the display device (see Equation 1). ).
  • the display unit 5 drives each display pixel so that the generated image is displayed on the panel.
  • the viewer can observe the stereoscopic image by observing the display element of the panel through the optical opening 26.
  • the viewing area is controlled in the direction of the viewer by correcting the physical parameters that are uniquely determined according to the position of the viewer.
  • the physical parameter a positional deviation between the panel and the optical opening and a width on the panel corresponding to one optical opening are used. Since these parameters can take arbitrary values, the viewing zone can be more accurately adjusted to the viewer as compared to the conventional technique (discrete control by parallax image replacement). Therefore, the viewing zone can be accurately followed in accordance with the movement of the viewer.
  • the image processing apparatus of the above-described embodiment has a hardware configuration including a CPU (Central Processing Unit), a ROM, a RAM, a communication I / F device, and the like.
  • the function of each unit described above is realized by the CPU developing and executing a program stored in the ROM on the RAM.
  • the present invention is not limited to this, and at least a part of the functions of the respective units can be realized by individual circuits (hardware).
  • the program executed by the image processing apparatus of the above-described embodiment may be provided by storing it on a computer connected to a network such as the Internet and downloading it via the network.
  • the program executed by the image processing apparatus according to each of the above-described embodiments and modifications may be provided or distributed via a network such as the Internet.
  • the program executed by the image processing apparatus of the above-described embodiment may be provided by being incorporated in advance in a ROM or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

［課題］視聴者の位置にかかわらず、画質の劣化を抑制して、立体画像を視聴可能にする。 ［解決手段］実施形態に係る画像処理装置は、パネルと光学的開口部とを有する表示装置に立体画像を表示するための画像処理装置であって、視差画像取得部と、視聴者位置取得部と、画像生成部と、を備える。前記視差画像取得部は、１つの視点での画像である少なくとも１つの視差画像を取得する。前記視聴者位置取得部は、視聴者の位置を取得する。前記画像生成部は、前記表示装置に対する前記視聴者の位置に基づいて、前記パネルと光学的開口部との対応関係に関するパラメータを補正し、前記表示装置に表示されたときに前記視聴者に前記立体画像を可視可能なように前記視差画像の各ピクセルを割り当てた画像を生成する。

Description

画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
　本発明の実施形態は、画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラムに関する。
　立体画像表示装置では、視聴者は特殊なメガネを使用せずに裸眼で立体画像を観察することができる。このような立体画像表示装置は、視点の異なる複数の画像（以下ではそれぞれの画像を視差画像とよぶ）を表示し、これらの視差画像の光線を、例えばパララックスバリア、レンチキュラレンズなどによって制御する。この際、表示する画像は、パララックスバリア、レンチキュラレンズなどを通して覗いた場合に意図した方向で意図した画像が観察されるように並びかえられたものである必要がある。この並べ替え方法を以下ではピクセルマッピングと呼ぶ。以上のように、パララックスバリア、レンチキュラレンズなどとそれに合わせたピクセルマッピングによって制御された光線は、視聴者の両眼に導かれ、視聴者の観察位置が適切であれば、視聴者は立体画像を認識できる。このように視聴者が立体画像を観察可能な領域を視域という。
　しかしながら、このような視域は限定的であるという問題がある。例えば、左目に知覚される画像の視点が、右目に知覚される画像の視点に比べて相対的に右側となり、立体画像を正しく認識できない観察領域である逆視領域が存在する。
　従来、視聴者の位置に応じて視域を設定する技術として、視聴者の位置を何らかの手段（例えばセンサなど）で検出し、視聴者の位置に応じて、ピクセルマッピング前の視差画像を入れ替えて、視域を制御する技術が知られている。
米国特許第６０６４４２４号
Image Preparation for 3D-LCD
　しかしながら、従来技術のような視差画像の入れ替えでは、離散的にしか視域の位置を制御することができず、連続的に移り変わる視聴者の位置に、十分に合わせることができない。そのため、視点の位置によって画像の画質が変化するだけでなく、移り変わりの最中、具体的には視差画像を入れ替えるタイミングなどで、映像が突然切り替わるように見え、視聴者に違和感を与える。これは、各視差画像がどの位置で見えるかはパララックスバリア、レンチキュラレンズの設計と、パネルのサブピクセルとの位置関係によってあらかじめ決められており、その位置からずれた場合、どのように視差画像を入れ替えても対応することができないためである。
　本発明の一側面が解決しようとする課題は、視聴者の位置にかかわらず、画質の劣化をできるだけ抑制して、立体画像を視聴可能にすることである。
　本発明の実施形態に係る画像処理装置は、パネルと光学的開口部とを有する表示装置に立体画像を表示するための画像処理装置であって、視差画像取得部と、視聴者位置取得部と、画像生成部と、を備える。
　前記視差画像取得部は、１つの視点での画像である少なくとも１つの視差画像を取得する。
　前記視聴者位置取得部は、視聴者の位置を取得する。
　前記画像生成部は、前記視聴者の位置に基づいて、前記パネルと光学的開口部との対応関係に関するパラメータを補正し、補正後のパラメータに基づいて、前記表示装置に表示されたときに前記視聴者に前記立体画像を可視可能なように前記視差画像の各ピクセルを割り当てた画像を生成する。
実施形態の画像処理装置を備えた立体画像表示装置の構成例を示す図。 光学的開口部および表示素子を示す図。 図１に示した画像処理装置の処理フローを示す図。 パネルおよびレンズ間の角度、ピクセルマッピング、および各種用語の意味を説明するための図。 パネルと光学的開口部との対応関係に関するパラメータと、視域との関係を説明するための図。 パネルの中心を原点としたＸ，Ｙ、Ｚ座標空間を表す図。
　本実施形態の画像処理装置は、視聴者が裸眼で立体画像を観察可能なＴＶ、ＰＣ、スマートフォン、デジタルフォトフレーム等の立体画像表示装置に用いられ得る。立体画像とは、互いに視差を有する複数の視差画像を含む画像であり、視聴者はこの画像を、レンチキュラレンズや、パララックスバリア等の光学的開口部を介して観察することで、立体画像を視認できる。なお、実施形態で述べる画像は、静止画又は動画のいずれであってもよい。
　図１は、本実施形態の立体画像表示装置の構成例を示すブロック図である。立体画像表示装置は、画像取得部１と、視聴位置取得部２と、マッピング制御パラメータ算出部３と、ピクセルマッピング処理部４と、表示部（表示装置）５とを備える。画像取得部１と、視聴位置取得部２と、マッピング制御パラメータ算出部３と、ピクセルマッピング処理部４は、画像処理装置７を形成する。マッピング制御パラメータ算出部３とピクセルマッピング処理部４は、画像生成部８を形成する。
　表示部５は、立体画像を表示するための表示装置である。表示装置が表示する立体画像を視聴者が観察可能な範囲（領域）を視域と呼ぶ。
　本実施形態では、図６に示すように、実空間上において、パネル表示面（ディスプレイ）の中心を原点とし、ディスプレイ面の水平方向にＸ軸、ディスプレイ面の鉛直方向にＹ軸、ディスプレイ面の法線方向にＺ軸を設定する。本実施形態では、高さ方向とはＹ軸方向を指す。ただし、実空間上における座標の設定方法はこれに限定されるものではない。
　図２（Ａ）に示すように、表示装置は、表示素子２０と開口制御部２６とを含む。視聴者は、開口制御部２６を介して表示素子２０を観察することで、表示装置に表示される立体画像を視認する。
　表示素子２０は、立体画像の表示に用いる視差画像を表示する。表示素子２０としては、直視型２次元ディスプレイ、例えば、有機ＥＬ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）やＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、投射型ディスプレイなどがある。
　表示素子２０は、例えば、ＲＧＢ各色のサブピクセルを、ＲＧＢを１画素としてマトリクス状に配置した公知の構成であってよい（図２（Ａ）における表示素子２０の個々の小さな矩形は、ＲＧＢのサブピクセルを示す）。この場合、第１方向に並ぶＲＧＢ各色のサブピクセルが１画素を構成し、隣接する画素を視差の数だけ、第１方向に交差する第２方向に並べた画素群に表示される画像を要素画像３０と称する。第１方向は、例えば列方向（垂直方向、あるいはＹ軸方向）であり、第２方向は、例えば行方向（水平方向、あるいはＸ軸方向）である。表示素子２０のサブピクセルの配列は、他の公知の配列であっても構わない。また、サブピクセルは、ＲＧＢの３色に限定されない。例えば、４色であっても構わない。
　開口制御部２６は、表示素子２０からその前方に向けて発散される光線を、開口部を介して所定方向に向けて出射させる（以下、このような機能を有する開口部を光学的開口部と呼ぶ）。光学的開口部２６としては、レンチキュラレンズや、パララックスバリア等がある。
　光学的開口部は、表示素子２０の各要素画像３０に対応するように配置される。１つの光学的開口部が１つの要素画像に対応している。表示素子２０に複数の要素画像３０を表示すると、表示素子２０には、複数の視差方向に対応した視差画像群（多視差画像）が表示される。この多視差画像による光線は、各光学的開口部を透過する。そして、視域内に位置する視聴者３３は、要素画像３０に含まれる画素を、左目３３Ａおよび右目３３Ｂでそれぞれ観察することになる。このように、視聴者３３の左目３３Ａおよび右目３３Ｂに対し、視差の異なる画像をそれぞれ表示させることで、視聴者３３が立体画像を観察することができる。
　本実施形態では、図２（Ｂ）の平面図および図４（Ａ）の斜視図に示すように、光学的開口部２６はパネル表示面と平行に配置され、その光学的開口部の延伸方向が表示素子２０の第１方向（Ｙ軸方向）に対して、所定の傾きθを有している。
　以下、図１に示した立体画像表示装置の各ブロックを詳細に説明する。
[画像取得部１]
　画像取得部１では、表示したい視差画像数（視差数）に応じて、１つまたは複数の視差画像を取得する。視差画像は、記録媒体から取得する。たとえばハードディスクやサーバ等にあらかじめ保存しておき、そこから取得してもよいし、カメラや、複数のカメラを連結させたカメラアレイ、ステレオカメラ等の入力デバイスから、直接取得するように構成してもよい。
[視聴位置取得部２]
　視聴位置取得部２は、視聴領域内の実空間における視聴者の位置を３次元座標値として取得する。視聴者の位置の取得には、例えば、可視カメラ、赤外線カメラ等の撮像機器の他、レーダやセンサ等の機器を用いることができる。これらの機器で得られた情報（カメラの場合には撮影画像）から、公知の技術を用いて、視聴者の位置を取得する。
　例えば、可視カメラを用いた場合には、撮像によって得た画像を画像解析することで、視聴者の検出および視聴者の位置の算出を行う。これによって、視聴位置取得部２は視聴者の位置を取得する。
　また、レーダを用いた場合には、得られたレーダ信号を信号処理することで、視聴者の検出及び視聴者の位置の算出を行う。これによって、視聴位置取得部２は視聴者の位置を取得する。
　また、人物検出・位置算出における視聴者の検出においては、顔、頭、人物全体、マーカーなど、人であると判定可能な任意の対象を検出してもよい。視聴者の目の位置を検出してもよい。なお、視聴者の位置の取得方法は、上記の方法に限定されるものではない。
[ピクセルマッピング処理部４]
　ピクセルマッピング処理部４は、画像取得部１で取得した視差画像群の各サブピクセルを、視差数N、光学的開口部のY軸に対する傾きθ、光学的開口部とパネルとのX軸方向のずれ量（パネル換算シフト量）koffset、光学的開口部１つに対応するパネル上での幅Xn等の制御パラメータをもとに並べ替える（割り当てる）ことで、各要素画像３０を決定する。なお、以下では表示素子２０全体に表示する複数の要素画像３０を要素画像アレイと呼ぶ。要素画像アレイは、表示時に視聴者が立体画像を可視可能なように視差画像の各ピクセルを割り当てた画像である。
　並べ替えには、まず要素画像アレイの各サブピクセルから射出される光線が、光学的開口部２６を通して飛ぶ方向を算出する。これには、例えば非特許文献１（Image Preparation for 3D-LCD）に記載の方法を用いることができる。
　例えば、以下の式１を用いて、光線が飛ぶ方向を算出することができる。式中のsub_x, sub_yはそれぞれパネル左上隅を基準とした場合のサブピクセルの座標である。v(sub_x, sub_y)はsub_x, sub_yのサブピクセルから射出される光線が光学的開口部２６を通して飛ぶ方向である。
Figure JPOXMLDOC01-appb-M000001
　ここで求められる光線の方向とは、光学的開口部２６の延伸方向に対してX軸を基準とした場合の水平幅Xnの領域を定義し、その領域の最もX軸の負の方向に存在する境界線に対応する位置から射出される光が飛ぶ方向を0とし、その境界からXn/Nだけ離れた位置から射出される光が飛ぶ方向を1というように順に定義した場合に、各サブピクセルから出る光が光学的開口部２６を通して飛ぶ方向を表す番号のことである。さらなる詳細な説明については公知文献１を参照いただきたい。
　そののち、サブピクセルごとに計算された方向と、取得した視差画像を対応付ける。例えば、視差画像群のうち、視差画像生成時の視点位置と光線の方向とが互いに最も近いものを選択する、中間の視点位置の視差画像を視差画像間の補間により生成するなどが考えられる。これにより、サブピクセルごとに、色を取得する視差画像（参照視差画像）が決定される。
　図４（Ｂ）に、視差数N＝１２とし、各視差画像に０～１１までの番号を割り当てた場合の参照視差画像の番号の一例を示す。紙面に沿って横方向にならぶ０，１，２，３，・・・は、サブピクセルのＸ軸方向の位置を表し、縦方向に並ぶ０，１，２，・・・は、Ｙ軸方向の位置を表す。紙面に沿って斜めに走る線は、Ｙ軸に対してθの角度で配置された光学的開口部を表している。矩形の各セル内に記載された数字が、参照視差画像の番号に対応するとともに、前述した光が飛ぶ方向に対応する。数字が整数の場合は、その整数は、同じ番号の視差画像に対応し、小数は、その数字を間に含む２つの番号の視差画像により補間した画像に対応する。たとえば数字が７．０であれば、番号７の視差画像を参照視差画像として用い、数字が６．７であれば、番号６および番号７の参照視差画像を用いて補間した画像を参照視差画像として用いる。最後に、要素画像アレイのサブピクセルごとに、参照視差画像を表示素子２０全体に対応させた場合に対応する位置のサブピクセルを割り当てる。以上により、表示装置における各表示画素の各サブピクセルに割り当てる値が決まる。なお、視差画像取得部１が１つの視差画像しか読み出していない場合は、当該１つの視差画像から他の視差画像を生成すればよい。たとえば上記の０番に相当する視差画像１つを読み出した場合は、当該視差画像から、１～１１番に相当する視差画像を生成すればよい。
　なお、ピクセルマッピング処理には必ずしも公知文献１を用いる必要はなく、パネルと光学的開口部との対応関係に関するパラメータ、上記の例では、パネルと光学的開口部の位置ずれを定義するパラメータ、および光学的開口部１つに対応するパネル上での幅を定義するパラメータ、に基づいたピクセルマッピング処理であれば、いずれの手法を用いてもよい。
　ここで、本来、各パラメータはパネル２７と光学的開口部２６との関係によって決定され、ハードウェアを再設計しない限り変わることはない。本実施形態では、観察者の視点位置をもとに上記パラメータ（特に光学的開口部とパネルとのX軸方向のずれ量koffset、光学的開口部１つに対応するパネル上での幅Xn）を補正することにより、所望の位置に視域を移動させる。例えば非特許文献１の方法をピクセルマッピングに用いる場合は、以下の式２のようにパラメータを補正することで、視域の移動を実現する。
Figure JPOXMLDOC01-appb-M000002
　r_offsetは,koffsetに対する補正量を表す。r_XnはXnに対する補正量を表す。これらの補正量の算出方法については、後述する。
　上記の式２では、koffsetを、光学的開口部に対するパネルのずれ量と定義した場合を示しているが、パネルに対する光学的開口部のずれ量と定義する場合は、以下の式３のようになる。なお、Xnに対する補正は、上記の式２と同じである。
Figure JPOXMLDOC01-appb-M000003
[マッピング制御パラメータ算出部３]
　マッピング制御パラメータ算出部３は、視域を観察者に合わせて移動させるための、補正パラメータ（補正量）を算出する。補正パラメータは、マッピング制御パラメータとも呼ばれる。本実施形態で、補正対象となるパラメータはkoffsetとXnの２つのパラメータである。
　パネルおよび光学的開口部が図５（Ａ）に示す状態にあるときに、パネルと光学的開口部の位置関係を水平方向にずらすと、図５（Ｃ）に示すように、ずらした方向に視域が移動する。図５（Ｃ）の例では、光学的開口部を紙面に沿って左にシフトしたことで、光線がηだけ図５（Ａ）の場合よりも左に寄り、これによって視域も左に寄っている。これは、レンズの位置をもとの位置で固定して考えた場合、表示画像が逆方向に動くのと等価である。本来、このずれはピクセルマッピングの際にkoffsetとして与えられ、両者のずれを考慮してv(sub_x, sub_y)が決定される。これにより、両者が相対的にずれた場合でもパネル正面に視域が構成される。本実施形態では、これに対して工夫を加える。すなわち、視聴者の位置に応じて、パネルと光学的開口部のずれであるkoffsetを物理的なずれ量よりも増減させるように補正する。これにより、ピクセルマッピングによる視域の水平方向（X軸方向）の位置補正の程度を連続的に（細かく）でき、従来技術では視差画像の入れ替えにより離散的にしか変化させることができなかった水平方向（Ｘ軸方向）における視域の位置を、連続的に変化させることが可能となる。よって、視聴者が任意の水平位置（Ｘ軸方向の位置）にいる場合に、視聴者に対し適切に視域を合わせることが可能となる。
　また、パネルおよび光学的開口部が図５（Ａ）に示す状態にあるときに、図５（Ｂ）に示すように、光学的開口部１つに対応するパネル上での幅Xnを広げると、視域はパネルに近くなる（つまり、図５（Ｂ）では図５（Ａ）よりも要素画像幅が大きくなっている）。したがって、Xnの値を、実際の値よりも増減させるように補正することで、ピクセルマッピングによる視域の垂直方向（Ｚ軸方向）の位置補正の程度を連続的に（細かく）できる。これにより、従来技術では視差画像の入れ替えにより離散的にしか変化させることができなかった垂直方向（Ｚ軸方向）における視域の位置を、連続的に変化させることが可能となる。よって、視聴者が任意の垂直位置（Ｚ軸方向の位置）にいる場合に、適切に視域を合わせることが可能となる。
　以上より、パラメータkoffset、Xnを適切に補正することで、水平方向および垂直方向のいずれにも視域の位置を連続的に変化させることができる。よって、観察者が任意の位置にいる場合でも、その位置に合わせた視域を設定することが可能となる。
　以下、koffsetに対する補正量r_koffset、Xnに対する補正量r_Xnの算出方法を示す。
・r_koffset
　r_koffsetは、視聴位置のX座標から算出する。具体的には、現在の視聴位置のX座標と、視聴位置からパネル（あるいはレンズ）までの距離である視距離L、および光学的開口部（レンズの場合は主点Ｐ）とパネルとの距離であるギャップg（図４（Ｃ）参照）を用いて、以下の式４で、r_koffsetは算出される。なお、現在の視聴位置は、視聴位置取得部２により取得され、視距離Ｌは、当該現在の視聴位置から計算される。
Figure JPOXMLDOC01-appb-M000004
・r_Xn
　r_Xnは、視聴位置のZ座標から、以下の式５により算出される。なお、lens_width（図４（Ｃ）参照）は、光学的開口部をX軸方向（レンズの長手方向）に沿って切った場合の幅である。
Figure JPOXMLDOC01-appb-M000005
[表示部５]
　表示部５は前述したような、表示素子２０と光学的開口部２６とを含む表示装置である。視聴者は、光学的開口部２６を介して表示素子２０を観察することで、表示装置に表示される立体画像を観察する。
　前述したように、表示素子２０としては、直視型２次元ディスプレイ、例えば、有機ＥＬ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）やＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、投射型ディスプレイなどがある。表示素子２０は、例えば、ＲＧＢ各色のサブピクセルを、ＲＧＢを１画素としてマトリクス状に配置した公知の構成であってよい。表示素子２０のサブピクセルの配列は、他の公知の配列であっても構わない。また、サブピクセルは、ＲＧＢの３色に限定されない。例えば、４色であっても構わない。
　図３は、図１に示した画像処理装置の動作の流れを示すフローチャートである。
　ステップS101において、視差画像取得部１が、記録媒体から１つまたは複数の視差画像を取得する。
　ステップS102において、視聴位置取得部２が、撮像機器または、レーダやセンサ等の機器を用いて、視聴者の位置情報を取得する。
　ステップS103において、マッピング制御パラメータ算出部３が、視聴者の位置情報に基づき、パネルと光学的開口部の対応関係に関するパラメータを補正するための補正量（マッピング制御パラメータ）を計算する。補正量の計算例は、式４および式５に示した通りである。
　ステップS104において、ピクセルマッピング処理部４が、当該補正量に基づき、当該パネルと光学的開口部の対応関係に関するパラメータを補正する（式２、式３参照）。ピクセルマッピング処理部４が、補正後のパラメータに基づき、表示装置に表示されたときに視聴者が立体画像を可視可能なように、視差画像の各ピクセルを割り当てた画像を生成する（式１参照）。
　この後、表示部５が、当該生成された画像がパネルに表示されるように各表示画素を駆動する。視聴者は、光学的開口部２６を介してパネルの表示素子を観察することで、立体画像を観察することができる。
　以上に説明したように、本実施形態では、ピクセルマッピング時に、本来一意に決定されている物理的パラメータを観察者の位置に応じて補正することにより、視域を視聴者の方向に制御する。当該物理的パラメータには、パネルと光学的開口部の位置ずれ、および光学的開口部１つに対応するパネル上での幅を用いる。これらのパラメータは任意の値をとることが可能であるため、従来技術（視差画像入れ替えによる離散的な制御）に比べ、視域をより正確に視聴者に合わせることが可能となる。よって、視聴者の移動に合わせて、正確に視域を追従させることができる。
　以上、本発明の実施形態を説明したが、上述の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。
　上述の実施形態の画像処理装置は、ＣＰＵ（Central　Processing　Unit）、ＲＯＭ、ＲＡＭ、および、通信Ｉ／Ｆ装置などを含んだハードウェア構成となっている。上述した各部の機能は、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭ上で展開して実行することにより実現される。また、これに限らず、各部の機能のうちの少なくとも一部を個別の回路（ハードウェア）で実現することもできる。
　また、上述の実施形態の画像処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の各実施形態および変形例の画像処理装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の実施形態の画像処理装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

Claims (10)

  1. 　パネルと光学的開口部とを有する表示装置に立体画像を表示するための画像処理装置であって、
    　１つの視点での画像である少なくとも１つの視差画像を取得する視差画像取得部と、
    　視聴者の位置を取得する視聴者位置取得部と、
    　前記表示装置に対する前記視聴者の位置に基づいて、前記パネルと光学的開口部との対応関係に関するパラメータを補正し、補正後のパラメータに基づいて、前記表示装置に表示されたときに前記視聴者に前記立体画像を可視可能なように前記視差画像の各ピクセルを割り当てた画像を生成する画像生成部と、
    　を備えた画像処理装置。
  2. 　前記画像生成部は、前記パネルに対する前記視聴者の水平方向位置と、前記視聴者の視距離とに応じて前記パラメータを補正する、
    　請求項１に記載の画像処理装置。
  3. 　マッピング制御パラメータ算出部をさらに備え、
    　前記パラメータは、前記パネルと前記光学的開口部との位置ずれ量を表し、
    　前記マッピング制御パラメータ算出部は、前記パネルに対する前記視聴者の水平方向位置と、前記視聴者の視距離とに応じて補正量を算出し、
    　前記画像生成部は、前記パラメータを、前記補正量に基づいて補正する、
    　請求項２に記載の画像処理装置。
  4. 　前記画像生成部は、前記パネルに対する前記視聴者の垂直方向位置と、前記光学的開口部の幅に応じて、前記パラメータを補正する、
    　請求項１ないし３のいずれか一項に記載の画像処理装置。
  5. 　マッピング制御パラメータ算出部をさらに備え、
    　前記パラメータは、１つの光学的開口部に対応するパネル上の幅を表し、
    　前記マッピング制御パラメータ算出部は、前記パネルに対する前記視聴者の垂直方向位置と、前記光学的開口部の幅に応じて、補正量を算出し、
    　前記画像生成部は、前記パラメータを、前記補正量に基づいて補正する、
    　請求項４に記載の画像処理装置。
  6. 　前記視聴者位置取得部は、撮像機器により撮像された画像を解析することで顔を認識し、認識した顔をもとに前記視聴者の位置を取得する、
    　請求項１ないし５のいずれか一項に記載の画像処理装置。
  7. 　前記視聴者位置取得部は、視聴者の動きを検出するセンサにより検出された信号を処理することにより、前記視聴者の位置を取得する、
    　請求項１ないし５のいずれか一項に記載の画像処理装置。
  8. 　パネルと光学的開口部とを有する表示装置に立体画像を表示するための画像処理方法であって、
    　１つの視点での画像である少なくとも１つの視差画像を取得する視差画像取得ステップと、
    　視聴者の位置を取得する視聴者位置取得ステップと、
    　前記表示装置に対する前記視聴者の位置に基づいて、前記パネルと光学的開口部との対応関係に関するパラメータを補正し、補正後のパラメータに基づいて、前記表示装置に表示されたときに前記視聴者に前記立体画像を可視可能なように前記視差画像の各ピクセルを割り当てた画像を生成する画像生成処理ステップと、
    　を備えた画像処理方法。
  9. 　パネルと光学的開口部とを有する表示装置に立体画像を表示するための画像処理プログラムであって、
    　１つの視点での画像である少なくとも１つの視差画像を取得する視差画像取得ステップと、
    　視聴者の位置を取得する視聴者位置取得ステップと、
    　前記表示装置に対する前記視聴者の位置に基づいて、前記パネルと光学的開口部との対応関係に関するパラメータを補正し、補正後のパラメータに基づいて、前記表示装置に表示されたときに前記視聴者に前記立体画像を可視可能なように前記視差画像の各ピクセルを割り当てた画像を生成する画像生成処理ステップと、
    　をコンピュータに実行させるための画像処理プログラム。
  10. 　パネルと光学的開口部とを有する表示部と、
    　１つの視点での画像である少なくとも１つの視差画像を取得する視差画像取得部と、
    　視聴者の位置を取得する視聴者位置取得部と、
    　前記表示部に対する前記視聴者の位置に基づいて、前記パネルと光学的開口部との対応関係に関するパラメータを補正し、補正後のパラメータに基づいて、前記表示部に表示された時に前記視聴者に前記立体画像を可視可能なように前記視差画像の各ピクセルを割り当てた画像を生成する画像生成部と、を備え、
    　前記表示部は、前記画像生成部により生成された画像を表示する
    　立体画像表示装置。
PCT/JP2011/076447 2011-11-16 2011-11-16 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム WO2013073028A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
PCT/JP2011/076447 WO2013073028A1 (ja) 2011-11-16 2011-11-16 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
KR1020147012552A KR20140073584A (ko) 2011-11-16 2011-11-16 화상 처리 장치, 입체 화상 표시 장치, 화상 처리 방법 및 화상 처리 프로그램
JP2013544054A JP5881732B2 (ja) 2011-11-16 2011-11-16 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
CN201180074832.2A CN103947199A (zh) 2011-11-16 2011-11-16 图像处理装置、立体图像显示设备、图像处理方法和图像处理程序
TW100148039A TW201322733A (zh) 2011-11-16 2011-12-22 影像處理裝置、立體影像顯示裝置、影像處理方法及影像處理程式
US14/272,956 US20140247329A1 (en) 2011-11-16 2014-05-08 Image processing device, stereoscopic image display apparatus, image processing method and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/076447 WO2013073028A1 (ja) 2011-11-16 2011-11-16 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/272,956 Continuation US20140247329A1 (en) 2011-11-16 2014-05-08 Image processing device, stereoscopic image display apparatus, image processing method and image processing program

Publications (1)

Publication Number Publication Date
WO2013073028A1 true WO2013073028A1 (ja) 2013-05-23

Family

ID=48429140

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/076447 WO2013073028A1 (ja) 2011-11-16 2011-11-16 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム

Country Status (6)

Country Link
US (1) US20140247329A1 (ja)
JP (1) JP5881732B2 (ja)
KR (1) KR20140073584A (ja)
CN (1) CN103947199A (ja)
TW (1) TW201322733A (ja)
WO (1) WO2013073028A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126318A (ja) * 2014-12-31 2016-07-11 深▲セン▼超多▲維▼光▲電▼子有限公司 広視野角の裸眼立体画像表示方法及び表示デバイス
JP2017523661A (ja) * 2014-06-18 2017-08-17 サムスン エレクトロニクス カンパニー リミテッド 裸眼（Ｇｌａｓｓｅｓ−Ｆｒｅｅ）３Ｄディスプレイモバイル装置、その設定方法及び使用方法
US9986226B2 (en) 2014-03-06 2018-05-29 Panasonic Intellectual Property Management Co., Ltd. Video display method and video display apparatus
JP2018523338A (ja) * 2015-05-05 2018-08-16 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 裸眼立体視ディスプレイのための画像の生成
JPWO2017122541A1 (ja) * 2016-01-13 2018-11-01 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、手術システム
US10394037B2 (en) 2014-06-18 2019-08-27 Samsung Electronics Co., Ltd. Glasses-free 3D display mobile device, setting method of the same, and using method of the same

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI559731B (zh) * 2014-09-19 2016-11-21 大昱光電股份有限公司 製作立體影像方法
KR102269137B1 (ko) * 2015-01-13 2021-06-25 삼성디스플레이 주식회사 표시 제어 방법 및 장치
KR102396289B1 (ko) * 2015-04-28 2022-05-10 삼성디스플레이 주식회사 입체 영상 표시 장치 및 그 구동 방법
JP6732617B2 (ja) * 2016-09-21 2020-07-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
EP3316575A1 (en) * 2016-10-31 2018-05-02 Thomson Licensing Method for providing continuous motion parallax effect using an auto-stereoscopic display, corresponding device, computer program product and computer-readable carrier medium
US11647888B2 (en) 2018-04-20 2023-05-16 Covidien Lp Compensation for observer movement in robotic surgical systems having stereoscopic displays
CN112748796B (zh) * 2019-10-30 2024-02-20 京东方科技集团股份有限公司 显示方法及显示装置
CN114079765B (zh) * 2021-11-17 2024-05-28 京东方科技集团股份有限公司 图像显示方法、装置及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008185629A (ja) * 2007-01-26 2008-08-14 Seiko Epson Corp 画像表示装置
EP1971159A2 (en) * 2007-03-15 2008-09-17 Kabushiki Kaisha Toshiba Three-dimensional image display device, method for displaying three-dimensional image, and structure of three-dimensional image data
JP2010282098A (ja) * 2009-06-05 2010-12-16 Kenji Yoshida パララッスクスバリア、裸眼立体ディスプレイ
JP2011215422A (ja) * 2010-03-31 2011-10-27 Toshiba Corp 表示装置及び立体画像の表示方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8331023B2 (en) * 2008-09-07 2012-12-11 Mediatek Inc. Adjustable parallax barrier 3D display
JP2011141381A (ja) * 2010-01-06 2011-07-21 Ricoh Co Ltd 立体画像表示装置及び立体画像表示方法
WO2011111349A1 (ja) * 2010-03-10 2011-09-15 パナソニック株式会社 立体映像表示装置および視差調整方法
JP2011223482A (ja) * 2010-04-14 2011-11-04 Sony Corp 画像処理装置、画像処理方法、およびプログラム
CN101984670B (zh) * 2010-11-16 2013-01-23 深圳超多维光电子有限公司 一种立体显示方法、跟踪式立体显示器及图像处理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008185629A (ja) * 2007-01-26 2008-08-14 Seiko Epson Corp 画像表示装置
EP1971159A2 (en) * 2007-03-15 2008-09-17 Kabushiki Kaisha Toshiba Three-dimensional image display device, method for displaying three-dimensional image, and structure of three-dimensional image data
US20080225113A1 (en) * 2007-03-15 2008-09-18 Kabushiki Kaisha Toshiba Three-dimensional image display device, method for displaying three-dimensional image, and structure of three-dimensional image data
JP2008228199A (ja) * 2007-03-15 2008-09-25 Toshiba Corp 立体画像表示装置及び立体画像表示方法並びに立体画像用データの構造
CN101276061A (zh) * 2007-03-15 2008-10-01 株式会社东芝 三维图像显示装置及用于显示三维图像的方法
JP2010282098A (ja) * 2009-06-05 2010-12-16 Kenji Yoshida パララッスクスバリア、裸眼立体ディスプレイ
JP2011215422A (ja) * 2010-03-31 2011-10-27 Toshiba Corp 表示装置及び立体画像の表示方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9986226B2 (en) 2014-03-06 2018-05-29 Panasonic Intellectual Property Management Co., Ltd. Video display method and video display apparatus
JP2017523661A (ja) * 2014-06-18 2017-08-17 サムスン エレクトロニクス カンパニー リミテッド 裸眼（Ｇｌａｓｓｅｓ−Ｆｒｅｅ）３Ｄディスプレイモバイル装置、その設定方法及び使用方法
US10394037B2 (en) 2014-06-18 2019-08-27 Samsung Electronics Co., Ltd. Glasses-free 3D display mobile device, setting method of the same, and using method of the same
US11428951B2 (en) 2014-06-18 2022-08-30 Samsung Electronics Co., Ltd. Glasses-free 3D display mobile device, setting method of the same, and using method of the same
JP2016126318A (ja) * 2014-12-31 2016-07-11 深▲セン▼超多▲維▼光▲電▼子有限公司 広視野角の裸眼立体画像表示方法及び表示デバイス
US10075703B2 (en) 2014-12-31 2018-09-11 Superd Technology Co., Ltd. Wide-angle autostereoscopic three-dimensional (3D) image display method and device
JP2018523338A (ja) * 2015-05-05 2018-08-16 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 裸眼立体視ディスプレイのための画像の生成
JPWO2017122541A1 (ja) * 2016-01-13 2018-11-01 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、手術システム

Also Published As

Publication number Publication date
US20140247329A1 (en) 2014-09-04
CN103947199A (zh) 2014-07-23
TW201322733A (zh) 2013-06-01
JP5881732B2 (ja) 2016-03-09
JPWO2013073028A1 (ja) 2015-04-02
KR20140073584A (ko) 2014-06-16

Similar Documents

Publication Publication Date Title
JP5881732B2 (ja) 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
JP6061852B2 (ja) 映像表示装置および映像表示方法
JP5306275B2 (ja) 表示装置及び立体画像の表示方法
US9110296B2 (en) Image processing device, autostereoscopic display device, and image processing method for parallax correction
JP6142985B2 (ja) 自動立体ディスプレイおよびその製造方法
WO2012070103A1 (ja) 立体画像表示装置および方法
JP2007094022A (ja) 三次元画像表示装置、三次元画像表示方法および三次元画像表示プログラム
US9179119B2 (en) Three dimensional image processing device, method and computer program product, and three-dimensional image display apparatus
JP2013527932A5 (ja)
CN111869202B (zh) 用于减少自动立体显示器上的串扰的方法
JP5763208B2 (ja) 立体画像表示装置、画像処理装置および画像処理方法
CN108307185B (zh) 裸眼3d显示设备及其显示方法
TWI500314B (zh) A portrait processing device, a three-dimensional portrait display device, and a portrait processing method
JP5696107B2 (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
KR20120082364A (ko) 삼차원 영상 표시 장치
US20140362197A1 (en) Image processing device, image processing method, and stereoscopic image display device
JP5143291B2 (ja) 画像処理装置、方法、および立体画像表示装置
JP2014103502A (ja) 立体画像表示装置、その方法、そのプログラム、および画像処理装置
JP2013182209A (ja) 立体画像表示装置、立体画像表示方法、および制御装置
JP2014135590A (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
JP2014216719A (ja) 画像処理装置、立体画像表示装置、画像処理方法およびプログラム
JP7456290B2 (ja) ヘッドアップディスプレイ装置
JP2012242544A (ja) 表示装置
JP2012157008A (ja) 立体画像決定装置、立体画像決定方法、および立体画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11875991

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20147012552

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2013544054

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11875991

Country of ref document: EP

Kind code of ref document: A1