JP4477521B2 - Stereoscopic image display device - Google Patents
Stereoscopic image display device Download PDFInfo
- Publication number
- JP4477521B2 JP4477521B2 JP2005043615A JP2005043615A JP4477521B2 JP 4477521 B2 JP4477521 B2 JP 4477521B2 JP 2005043615 A JP2005043615 A JP 2005043615A JP 2005043615 A JP2005043615 A JP 2005043615A JP 4477521 B2 JP4477521 B2 JP 4477521B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- brightness
- correction
- viewpoints
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、立体画像表示装置に関し、特に多視点立体画像を表示するための表示画像表示装置に関する。 The present invention relates to a stereoscopic image display device, and more particularly to a display image display device for displaying a multi-viewpoint stereoscopic image.
従来から、3次元画像を表示する様々な方法が提案されている。その中でも一般的に用いられているのは、両眼視差を利用する「2眼式」と呼ばれる方法である。これは、両眼視差を持った左眼用画像と右眼用画像とを用意し、それぞれ独立に左右の眼に投影することにより立体視を行う方法である。2眼式の代表的な方式として、フィールドシーケンシャル方式やパララクスバリア方式が提案されている。 Conventionally, various methods for displaying a three-dimensional image have been proposed. Among them, a method called “binocular method” that uses binocular parallax is generally used. This is a method of performing stereoscopic vision by preparing a left-eye image and a right-eye image having binocular parallax and independently projecting them on the left and right eyes. As a typical twin-lens system, a field sequential system and a parallax barrier system have been proposed.
図13は、フィールドシーケンシャル方式の概念図である。図13に示すように、フィールドシーケンシャル方式13では、左眼画像13−1、13−3、…と、右眼画像13−2、13−4、…とが垂直方向に1画素おきに交互に配置されており、左眼画像の表示と右眼画像の表示とが交互に切り替えられて表示される。左眼画像13−1、13−3、…および右眼画像13−2、13−4、…は、通常の2次元表示の場合と比べて、垂直解像度が1/2になっている。観察者は、ディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用されるシャッタは、左眼画像が表示されている時は左眼側が開いて右眼側が閉じ、右眼画像が表示されている時は左眼側が閉じて右眼側が開く。このようにすることにより、左眼画像は左眼のみで、右眼画像は右眼のみで観察されるため、立体視が可能となる。
FIG. 13 is a conceptual diagram of the field sequential method. As shown in FIG. 13, in the field
図14は、パララクスバリア方式の概念図である。図14(A)は、視差が生じる原理を示す図である。一方、図14(B)は、パララクスバリア方式で表示される画面を示す図である。図14(A)に示すように、図14(B)に示す左眼画像と右眼画像とが水平方向1画素おきに交互にならんで配置された画像204を画像表示パネル200に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア201を画像表示パネル200の前面に置くことにより、左眼画像は左眼202だけで、右眼画像は右眼203だけで観察することになり、立体視が可能になる。
FIG. 14 is a conceptual diagram of the parallax barrier method. FIG. 14A is a diagram illustrating the principle that parallax occurs. On the other hand, FIG. 14B is a diagram showing a screen displayed by the parallax barrier method. As shown in FIG. 14A, an
以上の方式では、2次元画像の表示も可能である。例えば、フィールドシーケンシャル方式では、観察者がメガネをはずすことにより、パララクスバリア方式や下記特許文献1の方式では、スリットの開口率を最大にすることにより、2次元画像を表示することができる。
In the above method, a two-dimensional image can be displayed. For example, in the field sequential method, a two-dimensional image can be displayed by maximizing the aperture ratio of the slit in the parallax barrier method or the method disclosed in
また、特許文献1では、遮光のためのスリット表示用LCD、画像表示用LCD、バックライト照明の順で配置し、スリットを通して異なる視点の画像をそれぞれ、観察者の左目もしくは右目のある位置に集光させることにより、立体画像を表示する方法が開示されている。
In
この方式では、LCD上に表示されるスリットのパターンを変更することにより、任意の複数の視点の3次元画像を表示する。この際、バックライト照明と観察者との間にスリットが設置されるが、このスリットの遮光部の面積は表示する視点の数に比例して大きくなる。このため、3次元部分画像と2次元部分画像とが混在する表示を行う際に、各部分画像の明るさが一定とならない、或いは、3次元画像表示と2次元画像表示とを切り換えた際に画面の明るさが変化してしまうという問題がある。この問題を解決するために、表示の際の視点数に応じてバックライト照明を減光したり、画像データの輝度の取りうる範囲を変更したり、スリット全体の透過率を調整したりして、明るさを一定に保つ方法が開示されている。 In this method, a three-dimensional image of an arbitrary plurality of viewpoints is displayed by changing a slit pattern displayed on the LCD. At this time, a slit is provided between the backlight illumination and the observer, and the area of the light shielding portion of the slit increases in proportion to the number of viewpoints to be displayed. For this reason, when performing display in which a 3D partial image and a 2D partial image are mixed, the brightness of each partial image is not constant, or when switching between 3D image display and 2D image display is performed. There is a problem that the brightness of the screen changes. In order to solve this problem, the backlight illumination is dimmed according to the number of viewpoints at the time of display, the range of brightness of image data can be changed, or the transmittance of the entire slit is adjusted. A method of keeping the brightness constant is disclosed.
しかしながら、特許文献1に記載の技術では、複数の視点の画像を表示する際に、画像全体に対して明るさの調整を行なうため、画像内に含まれる各視点の画像の間の明るさの違いが存在する場合に、明るさの調整後にその違いが強調されてしまい、立体画像として見づらくなり、観察者の目が疲れてしまうという問題があった。
However, in the technique described in
さらに、特許文献1では、視点の数を変えて立体表示を行なう際に、見る位置によって明るさが異なるため、観察位置によっては、各表示において明るさが異なってしまうという問題があった。例えば、2視点表示で2視点のデータを左右の眼で観察する場合と、3視点表示で最も明るい視点の画像を除いた残りの2視点を左右の眼で観察する場合とでは、明るさが違ってしまうという問題があった。
Furthermore, in
本発明は、立体画像として見やすくすることを目的とする。また、観察者の目が疲れないようにすることを目的とする。さらに、2視点表示と3視点とによる明るさの違いを少なくすることを目的とする。 An object of this invention is to make it easy to see as a stereo image. Another object is to prevent the eyes of the observer from getting tired. Furthermore, it aims at reducing the difference in the brightness by 2 viewpoint display and 3 viewpoints.
本発明に係る立体画像表示装置は、立体画像データ内の視点数や表示する際の視点数のうち少なくとも一方に応じて明るさを調整すると共に、立体画像データ内の各視点の画像の明るさの違いが少なくなるよう、さらに明るさを調整することにより、複数の視点の画像の表示を行なうことを特徴とする。 The stereoscopic image display apparatus according to the present invention adjusts the brightness according to at least one of the number of viewpoints in the stereoscopic image data and the number of viewpoints at the time of display, and the brightness of the image at each viewpoint in the stereoscopic image data. A feature is that images of a plurality of viewpoints are displayed by further adjusting the brightness so that the difference between them is reduced.
すなわち、本発明の一観点によれば、複数の視点の画像データを含む入力画像データに基づいて立体画像を表示する表示手段を備えた立体画像表示装置であって、前記表示手段に表示する視点数である第1の視点数と、前記入力画像データ内に含まれる視点数である第2の視点数と、に応じて表示の明るさを調整するための第1の補正情報を作成する第1の補正情報算出手段と、前記入力画像データ内の視点の異なる画像データ毎に明るさを調整するための第2の補正情報を作成する第2の補正情報算出手段と、作成された前記第1の補正情報と前記第2の補正情報とに基づいて入力画像データを補正する補正手段と、を有する明るさ調整手段を備えることを特徴とする立体画像表示装置が提供される。 That is, according to one aspect of the present invention, there is provided a stereoscopic image display apparatus including a display unit that displays a stereoscopic image based on input image data including image data of a plurality of viewpoints, First correction information for adjusting display brightness according to the first viewpoint number as the score and the second viewpoint number as the viewpoint number included in the input image data is generated. One correction information calculation unit, a second correction information calculation unit that generates second correction information for adjusting brightness for each image data having a different viewpoint in the input image data, and the generated first correction information calculation unit There is provided a stereoscopic image display device comprising a brightness adjustment unit having a correction unit that corrects input image data based on one correction information and the second correction information.
上記装置によれば、複数の視点の画像データから構成される入力画像データを入力し、表示する視点数に応じて明るさを調整し表示することができる。この立体表示装置によれば、視点数N(Nは1以上の整数)で適切な明るさになるように作成された入力画像データを、N以外の視点数の画像データに変換して表示する場合、元の画像データの視点数と表示する視点数に応じて明るさの調整をすることにより、立体画像をより見やすく表示することができる。 According to the above apparatus, input image data composed of image data of a plurality of viewpoints can be input, and brightness can be adjusted and displayed according to the number of viewpoints to be displayed. According to this stereoscopic display device, input image data created so as to have appropriate brightness with the number of viewpoints N (N is an integer equal to or greater than 1) is converted into image data with a number of viewpoints other than N and displayed. In this case, the stereoscopic image can be displayed more easily by adjusting the brightness according to the number of viewpoints of the original image data and the number of viewpoints to be displayed.
本発明の別の観点によれば、複数の視点の画像データを含む入力画像データに基づいて立体画像を表示する立体画像表示方法であって、水平方向の視点数N1と、表示視点数N2と、が入力されたか否かを判定するステップと、両方が入力されたと判定された場合に、前記N1と前記N2とが等しいか否かを判定するステップと、前記N1と前記N2とが等しいと判定された場合に、補正は行なわずに入力画像データがそのまま出力画像データとして出力し、N1がN2より大きいと判定した場合は、前記N1と前記N2との違いに基づいて、前記入力画像データの各画素の輝度値に加算するための少なくとも一つ以上の補正値を求めるステップと、該補正値により明るさを調整し、調整後の明るさで立体画像を表示するステップとを有することを特徴とする立体画像表示方法が提供される。 According to another aspect of the present invention, there is provided a stereoscopic image display method for displaying a stereoscopic image based on input image data including image data of a plurality of viewpoints, wherein the horizontal viewpoint number N1, the display viewpoint number N2, and the like. , Whether or not N1 and N2 are equal to each other, and N1 and N2 are equal to each other when N1 and N2 are equal to each other. If it is determined, the input image data is directly output as output image data without correction, and if it is determined that N1 is greater than N2, the input image data is based on the difference between N1 and N2. Obtaining at least one correction value to be added to the luminance value of each of the pixels, adjusting the brightness with the correction value, and displaying a stereoscopic image with the adjusted brightness Stereoscopic image display method comprising the door is provided.
本発明の立体表示装置によれば、視点数N(Nは1以上の整数)で適切な明るさになるように作成された入力画像データを、N以外の視点数の画像データに変換して表示する場合、元の画像データの視点数と表示する視点数に応じて明るさの調整をすることにより、立体画像をより見やすく表示することができる。 According to the stereoscopic display device of the present invention, input image data created so as to have appropriate brightness with the number of viewpoints N (N is an integer of 1 or more) is converted into image data with the number of viewpoints other than N. When displaying, a stereoscopic image can be displayed more easily by adjusting the brightness according to the number of viewpoints of the original image data and the number of viewpoints to be displayed.
また、複数の範囲の輝度の値を持つ画素ごとに異なる明るさの調整を行なうため、局所領域ごとに、かつ、画素の輝度の値に応じた、細かい明るさの調整が可能である。 Further, since different brightness adjustment is performed for each pixel having a plurality of ranges of brightness values, fine brightness adjustment is possible for each local region and according to the brightness value of the pixel.
さらに、本発明の立体表示装置によれば、明るさの調整の際に、視点ごとの画像データの画素の輝度値の平均を求め、代表画像情報が示す視点の画像の画素の輝度値の平均で、他の視点の画像の画素の輝度値の平均を割ったものを重み付けとして、補正値に反映することにより、各視点の画像データの明るさが均等になるように調整されるため、より見やすい立体表示が可能となる。 Furthermore, according to the stereoscopic display device of the present invention, when adjusting the brightness, the average luminance value of the pixels of the image data for each viewpoint is obtained, and the average luminance value of the pixels of the viewpoint image indicated by the representative image information is calculated. Then, by dividing the average of the luminance values of the pixels of the images of the other viewpoints as weights and reflecting them in the correction value, the brightness of the image data of each viewpoint is adjusted to be equalized. Easy-to-see 3D display is possible.
加えて、この際、代表画像情報が示す視点の画像の画素の輝度値の平均で割ったものを重み付けとして、補正値に反映するため、同じ画像データを用いて表示する視点数が異なった場合であっても、一定の明るさで、表示することができるという利点がある。 In addition, in this case, when the number of viewpoints displayed using the same image data is different because the weight divided by the average luminance value of the pixels of the viewpoint image indicated by the representative image information is reflected in the correction value. Even so, there is an advantage that it is possible to display with constant brightness.
以下、本発明の実施の形態による立体画像表示装置について図面を参照しつつ説明を行う。以下では、3Dを3次元または立体とし、2Dを2次元とし、立体画像を3D画像とし、通常の2次元画像を2D画像として説明を行なう。 Hereinafter, a stereoscopic image display device according to an embodiment of the present invention will be described with reference to the drawings. In the following description, 3D is assumed to be three-dimensional or stereoscopic, 2D is assumed to be two-dimensional, a stereoscopic image is assumed to be a 3D image, and a normal two-dimensional image is assumed to be a 2D image.
図1は、本発明の第1の実施の形態による立体画像表示装置の一構成例を示す機能ブロック図である。図1に示すように、本実施の形態による立体画像表示装置1は、3D画像データを入力とし、3D画像を表示する装置である。立体画像表示装置1は、3D画像データから画像データと3D制御情報とを分離する分離手段2と、3D制御情報を解析する3D制御情報解析手段3と、画像データを復号する画像データ復号手段4と、表示画像を作成する表示画像作成手段5と、明るさを調整する明るさ調整手段6と、各部を制御する制御手段7と、画像を表示する表示手段8と、を有している。
FIG. 1 is a functional block diagram showing a configuration example of a stereoscopic image display device according to the first embodiment of the present invention. As shown in FIG. 1, the stereoscopic
ここで、3D画像データは、画像データと3D制御情報とを有して構成されたデータである。上記各手段に関する詳細な説明は後述する。まず、3D画像データと3D制御情報とに関して説明を行なう。 Here, the 3D image data is data configured by including image data and 3D control information. Detailed description regarding each means will be described later. First, 3D image data and 3D control information will be described.
図2は、3D画像データの一構成例を示す図である。図2に示すように、3D画像データは、ヘッダ11と画像データ12とから構成されており、ヘッダ11内に3D制御情報11aが含まれている。ヘッダ11の例としては、EXIF(Exchangeable Image File Format)ヘッダや、AVI(Audio Video Interleaved),ASF(Advanced Streaming Format)、WMV(Windows Media Video)、MP4などのファイルフォーマットのヘッダなどが挙げられる。また、画像データの例としては、未圧縮の画像データや、JPEG(Joint Photographic Experts Group)やMPEG(Moving Picture Experts Group)などの圧縮方式で圧縮された圧縮画像データが挙げられる。3D制御情報11aは、3D画像データ内の画像データ12の構成に関する情報、3D画像を表示する際に表示を制御するための情報を含む。
FIG. 2 is a diagram illustrating a configuration example of 3D image data. As shown in FIG. 2, the 3D image data includes a
図3は、3D制御情報11aの一例を示す図である。図3に示すように、3D制御情報11aは、水平方向及び垂直方向の視点の数12a、12bと、画像縦横比12cと、代表画像情報12dと、を含んだ構成を有している。ここで、水平方向及び垂直方向の視点の数12a、12bとは、3D画像データ内に含まれる視点の異なる画像データの数の情報を示す。また、画像縦横比12cとは、画像データ12の垂直方向の拡大縮小率を水平方向の拡大縮小率で割った値を表記した情報を示す。また、代表画像情報12dは、2D表示を行うときに、どの視点の画像データを選択するかに関する情報を含む。
FIG. 3 is a diagram illustrating an example of the
図4及び図5は、3D画像データ内の画像データの一例について説明するための図である。例えば、図4(b)は、水平方向の視点の数が2、垂直方向の視点の数が1、画像縦横比が1の場合の画像データの例であり、図4(a)のような2つの視点の画像データ15a、15bを、図4(b)のように左右に並べて(15a、15b)、一枚の画像データとしたものが、3D画像データ内の画像データとなる。例えば、図4(d)は、水平方向の視点の数が2、垂直方向の視点の数が1、画像縦横比が2のときの画像データの例であり、図4(c)のような水平に2分の1に縮小された2つの視点の画像データを、図4(d)のように左右に並べて一枚の画像データとしたものが、3D画像データ内の画像データとなる。
4 and 5 are diagrams for explaining an example of image data in the 3D image data. For example, FIG. 4B is an example of image data when the number of horizontal viewpoints is 2, the number of vertical viewpoints is 1, and the image aspect ratio is 1, as shown in FIG. The image data in the 3D image data is obtained by arranging the
例えば、図5は、水平方向の視点の数が4、垂直方向の視点の数が2、画像縦横比が1の場合の画像データの例であり、8つの視点18−1〜18−8までの画像データを、番号1から8のように視点順に左上から右下に並べて一枚の画像データとしたものである。これが、3D画像データ内の画像データとなる。
For example, FIG. 5 shows an example of image data in the case where the number of horizontal viewpoints is 4, the number of vertical viewpoints is 2, and the image aspect ratio is 1, up to eight viewpoints 18-1 to 18-8. Are arranged in the order of viewpoint from the upper left to the lower right as
次に、立体画像表示装置1と、立体画像表示装置1内の各手段の動作について、図面を参照しつつ説明を行なう。まず、立体画像表示装置1に3D画像データが入力される。分離手段2は、入力された3D画像データを、ヘッダ及びそのヘッダに含まれる3D制御情報、画像データに分離して出力する。入力された3D画像データは、分離手段2に入力され、3D制御情報及びヘッダ、画像データにそれぞれ分離されて出力される。この3D制御情報は、3D制御情報解析手段3に、ヘッダと画像データは、画像データ復号手段4にそれぞれ入力される。
Next, operations of the stereoscopic
3D制御情報解析手段3は、入力された3D制御情報の解析を行い、解析された情報を出力する。ここで、垂直方向の視点数は1とする。解析された情報のうち、水平方向の視点N1と、画像縦横比F、代表画像情報が出力される。水平方向の視点数N1及び、画像縦横比F、代表画像情報が、表示画像作成手段5に、水平方向の視点数N1が明るさ調整手段6に、それぞれ入力される。
The 3D control
画像データ復号手段4は、入力された圧縮画像データを画像データであれば復号し、画像データでなければそのまま出力する手段であり、公知の復号手段と同じであるため説明は省略する。ここでは、入力された画像データは圧縮画像データとし、画像データ復号手段4は、この圧縮画像データから一枚の画像データを復号し、出力する。
The image
制御手段7は、表示手段8で表示する画像の表示視点数を制御し、かつ、その際の表示視点数を出力する手段である。制御手段7は、表示視点数N2を出力する。表示画像作成手段5は、入力された画像データと、水平方向の視点数N1と、画像縦横比Fと、表示視点数N2と、代表画像情報と、から表示用画像を作成し、出力する手段である。表示画像作成手段5に、画像データと、水平方向の視点数N1と、画像縦横比Fと、表示視点数N2と、代表画像情報と、が入力される。ここで、N1=n、N2=mとする(n,mは1以上の整数である。)。
The control means 7 is means for controlling the number of display viewpoints of the image displayed on the display means 8 and outputting the number of display viewpoints at that time. The control means 7 outputs the display viewpoint number N2. The display image creation means 5 creates and outputs a display image from the input image data, the horizontal viewpoint number N1, the image aspect ratio F, the display viewpoint number N2, and the representative image information. It is. Image data, the horizontal viewpoint number N1, the image aspect ratio F, the display viewpoint number N2, and the representative image information are input to the display
また、以下の説明では、表示画像作成手段5において、複数の視点の画像データを含む画像データを水平方向に縮小拡大する場合、同じ視点の画像データのみを、視点ごとにそれぞれ同じ率だけ縮小拡大するものとする。
Further, in the following description, when the display
図6、図7は、水平方向の視点数n>表示視点数mの場合における表示画像作成手段5が作成する出力画像データについて示す図である。図6の最上段の図は、表示画像作成手段5に入力された入力画像データの構成例を示す図である。この画像6−1は、I1からInまでのn個の視点の画像データから構成されており、各視点の画像データをIp(pは、1≦p≦nの整数であり、画像データの左上端から右下端にかけてラスタスキャンした際の各視点の画像データの番号を示す)とする。まず、表示画像作成手段5は、入力画像データから、図6の中段の図に示すように、連続する視点の画像データをm視点分つまりI1〜Imまでを抜き出す。この際、抜き出す視点の画像データは、連続した視点の画像データであれば、どの位置から抜き出してもよいが、代表画像情報が示す視点の画像データが含まれるように抜き出す。
6 and 7 are diagrams showing the output image data created by the display image creation means 5 when the number of horizontal viewpoints n> the number of display viewpoints m. 6 is a diagram showing a configuration example of the input image data input to the display
その後、抜き出した画像データから、図6下段に示すように、水平方向にn/m倍に拡大した画像データを作成する。さらに、この画像データを水平方向にF/n倍の大きさにサイズを変更し、新たに画像データを作成する。 Thereafter, from the extracted image data, as shown in the lower part of FIG. 6, image data enlarged n / m times in the horizontal direction is created. Further, the size of the image data is changed to a size of F / n times in the horizontal direction, and new image data is created.
図7は、上記手順により作成された画像データに並び替えを行って作成した出力画像データについて説明するための図である。図7(a)は、並び替え前の画像データ7−1を示す図である。それぞれ視点毎に、並び替え前の画像データを縦の短冊状に水平方向にk分割する(kは1以上の整数)。この各短冊に相当する画像データを短冊データIjk(jは、1≦j≦mの整数であり、画像データの左端から並ぶ視点画像の視点番号を示す。また、kは各視点画像データの水平方向の分割数を示す)で表す。このように分割された縦の短冊を並び替え、出力画像データを作成する。図7(b)は、並び替え後の画像データ7−2を示す図である。まず、各視点の画像データの最も左側に存在する短冊データから、I11、I21、…、Ij1の順で並び替える。同様にして、各視点の画像データの最も右にある短冊データIjkまで順にすべて並び替えていき、並び替えた画像データを出力画像データとして出力する。 FIG. 7 is a diagram for explaining output image data created by rearranging the image data created by the above procedure. FIG. 7A shows image data 7-1 before rearrangement. For each viewpoint, image data before rearrangement is divided into vertical strips in the horizontal direction k (k is an integer of 1 or more). The image data corresponding to each strip is represented by strip data Ijk (j is an integer of 1 ≦ j ≦ m, and indicates the viewpoint number of the viewpoint image arranged from the left end of the image data. It indicates the number of divisions in the direction). The vertical strips thus divided are rearranged to create output image data. FIG. 7B is a diagram showing the image data 7-2 after rearrangement. First, the strip data present on the leftmost side of the image data of each viewpoint is rearranged in the order of I11, I21,..., Ij1. Similarly, all the image data of each viewpoint are rearranged in order up to the rightmost strip data Ijk, and the rearranged image data is output as output image data.
次にn<mの場合について説明する。図8は、n<mの場合における表示画像作成手段5(図1)が作成する出力画像データを示す図である。図8の上段の図は、表示画像作成手段に入力された入力画像データ8−1を示す図である。この画像8−1は、n個の視点の画像データから構成されており、各視点の画像データをIp(pは、1≦p≦nの整数であり、画像データの左端から並ぶ視点画像の視点番号を示す。)とする。表示画像作成手段は、入力画像データ8−1から、連続する視点の画像データをn視点分、つまりI1からInまでをそのまま抜き出した後、さらに、補間により作成した残りの(m−n)視点分のデータを追加して、図8の中段に示す画像データ8−2を作成する。ここで補間の方法は、例えば、既にある視点の画像から、画像内にある各オブジェクトの構造を解析し、異なる視点からみた画像を作成する方法でもよい。また、補間の方法は公知のいかなる方法であっても良い。また、補間ができない場合は、補完対象の領域に黒い画像を挿入し、非表示エリアとしてもよい。 Next, the case where n <m will be described. FIG. 8 is a diagram showing output image data created by the display image creating means 5 (FIG. 1) when n <m. The upper part of FIG. 8 is a diagram showing the input image data 8-1 inputted to the display image creating means. This image 8-1 is composed of image data of n viewpoints, and the image data of each viewpoint is represented by Ip (p is an integer of 1 ≦ p ≦ n, and the viewpoint images arranged from the left end of the image data. Indicates the viewpoint number.) The display image creation means extracts the image data of continuous viewpoints from the input image data 8-1 for n viewpoints, that is, from I1 to In as it is, and then the remaining (mn) viewpoints created by interpolation. Are added to create image data 8-2 shown in the middle of FIG. Here, the interpolation method may be, for example, a method in which the structure of each object in the image is analyzed from an image of an existing viewpoint and an image viewed from a different viewpoint is created. The interpolation method may be any known method. If interpolation is not possible, a black image may be inserted into the region to be complemented to make a non-display area.
このように視点を補間した図8中段の画像データに対して、図8下段に示すように、水平方向にn/m倍に縮小した画像データを作成する。さらに、この画像データを、水平方向にF/n倍の大きさにサイズを変更した画像データを作成し、並び替えを行なった画像を出力画像とする。このときの並び替えはn>mの場合に説明した方法と同様とする。 As shown in the lower part of FIG. 8, the image data reduced in the horizontal direction by n / m times is created for the image data in the middle part of FIG. Further, image data is generated by changing the size of the image data to a size of F / n times in the horizontal direction, and the rearranged image is used as an output image. The rearrangement at this time is the same as the method described in the case of n> m.
最後にn=mの場合は、図示しないが、表示画像作成手段は、入力画像データに対し、並べ替えのみを行なった画像を出力画像として出力する。このときの並び替えもn>mの場合に説明した方法と同様である。また、出力画像として出力するととともに、出力した画像のうちいずれの視点の画像が代表画像情報で示された視点の画像かを示す画像位置情報を出力する。明るさ調整手段6(図1)は、入力された水平方向の視点数及び表示手段8(図1)で表示する画像の表示視点数、視点数毎の画像データの輝度の総和、各総和の比を用いて算出した輝度への補正値、同じく入力された画像データの各画素の輝度に対して加えることにより、輝度を補正した画像データを出力する。 Finally, when n = m, although not shown, the display image creating means outputs an image obtained by rearranging only the input image data as an output image. The rearrangement at this time is the same as the method described in the case of n> m. In addition to outputting as an output image, image position information indicating which viewpoint image among the output images is the viewpoint image indicated by the representative image information is output. The brightness adjustment unit 6 (FIG. 1) is configured to input the number of horizontal viewpoints, the number of display viewpoints of the image displayed on the display unit 8 (FIG. 1), the sum of the brightness of the image data for each number of viewpoints, By adding the correction value to the luminance calculated using the ratio and the luminance of each pixel of the input image data, the image data with the corrected luminance is output.
図9は、図1に示す明るさ調整手段6の構成例を示す機能ブロック図である。図9に示すように、明るさ調整手段6は、水平方向の視点数N1と、表示視点数N2と、画像位置情報と、画像データと、を入力とし、基準補正情報算出手段9−1と、スイッチ9−2と、修正補正情報算出手段9−3と、補正手段9−4と、を有している。
FIG. 9 is a functional block diagram showing a configuration example of the brightness adjusting means 6 shown in FIG. As shown in FIG. 9, the
次に、図面とフローチャートとを用いて、図9に示す明るさ調整手段6を構成する各手段が、入力された画像データの各画素の輝度に対して補正を行なう際の動作の流れについて説明する。
Next, with reference to the drawings and flowcharts, an explanation will be given of the flow of operation when each unit constituting the
図10は、明るさ調整手段6の動作の流れを示すフローチャート図である。図10に示すように、処理が開始されると、まず、ステップS1において、明るさ調整手段6の電源投入時やリセット時に、明るさ調整手段6を制御する制御部が、スイッチ9−2を操作して、端子10aと10bとが接続された状態とし、ステップS2に進む。判定ステップS2において、基準補正情報算出手段9−1は、水平方向の視点数N1と、表示視点数N2と、が入力されたか否かを判定し、両方が入力されたと判定した場合は(YES)、判定ステップS3に進み、そうでない場合は(NO)判定ステップS2に戻る。
FIG. 10 is a flowchart showing the operation flow of the brightness adjusting means 6. As shown in FIG. 10, when the process is started, first, in step S1, when the
判定ステップS3において、基準補正情報算出手段9−1は、N1とN2とが等しいか否かを判定し、等しいと判定した場合は(YES)ステップS4へ進み、そうでない場合は(NO)ステップS5へ進む。ステップS4において、基準補正情報算出手段9−1は、スイッチ9−2の端子10aと10cとをつなぐようスイッチ10を操作する。この際、補正は行なわれず、入力画像データがそのまま出力画像データとして出力される(状態a)。
In determination step S3, the reference correction information calculation unit 9-1 determines whether N1 and N2 are equal. If it is determined that they are equal (YES), the process proceeds to step S4, and if not, (NO) step. Proceed to S5. In step S4, the reference correction information calculation unit 9-1 operates the switch 10 so as to connect the
次いで、ステップS5において、基準補正情報算出手段9−1は、スイッチ9−2の端子10aと10bとをつなぐようにスイッチ9−2を操作し、判定ステップS6に進む。判定ステップS6において、基準補正情報算出手段9−1は、N1がN2より大きいか否かを判定し、大きいと判定した場合は(YES)ステップS7へ進み、そうでない場合は(NO)ステップS8へ進む。ステップS7において、基準補正情報算出手段9−1は、視点数N1と表示視点数N2とから、基準の補正情報(以下、「基準補正情報」と称する。)を作成し、補正手段9−4に出力し、ステップS9に進む。
Next, in step S5, the reference correction information calculation unit 9-1 operates the switch 9-2 so as to connect the
ここで補正情報とは、入力画像データの各画素の輝度値に加算するための少なくとも一つ以上の補正値と、その補正値を適用する輝度レベル(0から255までの値)との組み合わせで表される補正パターンの情報と、補正情報に含まれる補正パターンの総数とを示す。例えば、ステップS7で算出される補正情報の例を表1に示す。 Here, the correction information is a combination of at least one correction value to be added to the luminance value of each pixel of the input image data and the luminance level (value from 0 to 255) to which the correction value is applied. The correction pattern information represented and the total number of correction patterns included in the correction information are shown. For example, Table 1 shows an example of the correction information calculated in step S7.
表1において、このときの補正情報は、補正パターンの総数Aが3とする。この場合、補正パターン1は、例えば、「0から50(=輝度レベルL1)までの画素の輝度値に対して、―5(=補正値 D1)減算することを意味する情報」であり、補正パターン2は、「51から200(=輝度レベルL2)までの画素の輝度値に対して、―10(=補正値 D2)減算することを意味する情報」であり、補正パターン3は、「201から255(=輝度レベルL3)までの画素の輝度値に対して、―20(=補正値 D3)減算することを意味する情報」となる。
In Table 1, the correction information at this time is assumed that the total number A of correction patterns is 3. In this case, the
このときの各補正値Di(iは整数、1≦i≦A)の算出方法について説明する。補正値Diは下記の式1から算出することができる。
A method of calculating each correction value Di (i is an integer, 1 ≦ i ≦ A) at this time will be described. The correction value Di can be calculated from
Di = di + {(N2 − N1) × αi + N2 × βi} (1) Di = di + {(N2−N1) × αi + N2 × βi} (1)
ここで、diは補正パターンiの補正値の基本値であり、α、βは重み係数である。例えば、d1=7、N1=4、N2=2、α1=0.5、β1=0.5とした場合、D1は−5となる。同様に、d2=12、N1=4、N2=2、α2=0.5、β2=0.5とした場合は、D2は−10となる。同様に、d3=22、N1=4、N2=2、α3=0.5、β3=0.5とした場合、D3は−20となる。上記の補正値の計算式は一例であり、「元の画像の水平方向の視点数N1と、実際に表示する表示視点数N2との視点数の差」と、「表示視点数N2」とのそれぞれに対して、異なる重み付けを行うような式であれば、これ以外の式も適用可能である。 Here, di is a basic value of the correction value of the correction pattern i, and α and β are weighting factors. For example, when d1 = 7, N1 = 4, N2 = 2, α1 = 0.5, and β1 = 0.5, D1 is −5. Similarly, when d2 = 12, N1 = 4, N2 = 2, α2 = 0.5, and β2 = 0.5, D2 is −10. Similarly, when d3 = 22, N1 = 4, N2 = 2, α3 = 0.5, and β3 = 0.5, D3 is −20. The above calculation formula of the correction value is an example, and “the difference between the number of viewpoints N1 in the horizontal direction of the original image and the number N2 of display viewpoints actually displayed” and the “number of display viewpoints N2” Other formulas can also be applied as long as different weights are used for the respective formulas.
また、補正値D1の値は定数であっても良いし、「元の画像の水平方向の視点数N1と、実際に表示する表示視点数N2との視点数の差」と、「表示視点数N2」の2つの値を入力として、これらの値に対応する補正値D1を出力するようなテーブルをあらかじめ用意しておき、このテーブルから補正値D1を決定してもよい。 Further, the value of the correction value D1 may be a constant, “the difference in the number of viewpoints between the number of viewpoints N1 in the horizontal direction of the original image and the number N2 of display viewpoints actually displayed”, and “the number of display viewpoints”. A table may be prepared in advance so that the two values “N2” are input and the correction value D1 corresponding to these values is output, and the correction value D1 may be determined from this table.
表2は、補正情報の別の構成例を示す表である。例えば、表2に示すように、補正パターンの総数Aを2とし、補正値 D1=0、D2=−20と設定してもよい(D2はd2=22、N1=4、N2=2、α2=0.5、β2=0.5として(1)式より求めることができる。)。この場合、入力画像データの画素の輝度値が200以下の画素には、補正を行なわないことを意味する。 Table 2 is a table showing another configuration example of the correction information. For example, as shown in Table 2, the total number A of correction patterns may be 2, and the correction values D1 = 0 and D2 = −20 may be set (D2 is d2 = 22, N1 = 4, N2 = 2, α2). = 0.5 and β2 = 0.5 can be obtained from the equation (1)). In this case, it means that correction is not performed for pixels with luminance values of pixels of 200 or less in the input image data.
表3は、補正情報のさらに別の構成例を示す表である。表3に示すように、補正パターンの総数Aを1とし、補正値 D1=−5(このときのD1は表1のD1と同様にして求める)と設定してもよい。 Table 3 is a table showing still another configuration example of the correction information. As shown in Table 3, the total number A of correction patterns may be set to 1, and the correction value D1 = −5 (D1 at this time is obtained in the same manner as D1 in Table 1) may be set.
表3の場合には、入力画像データの画素の輝度値が50以下の画素に対してのみ、補正を行なうことを意味し、そうでない画素には補正を行なわないことを意味する。従って、上記のように補正パターンの総数Aを1にする、或いは、補正値に“0”を設定することにより、特定の部分にのみ補正をかけることが可能となる。特定な部分とは、例えば、画像データ内において最初から明るい部分(輝度の高い部分)や、暗い部分(輝度の低い部分)などに対してのみ補正を行うことがを意味する。 In the case of Table 3, it means that correction is performed only for pixels whose luminance value of input image data is 50 or less, and that correction is not performed for other pixels. Accordingly, by setting the total number A of correction patterns to 1 as described above or by setting “0” as a correction value, it is possible to correct only a specific portion. The specific part means, for example, that correction is performed only on a bright part (high brightness part) or a dark part (low brightness part) from the beginning in the image data.
本実施の形態による立体表示装置1が備える表示手段8は、従来例で説明したパララクスバリア方式と同様に、光を遮光するスリットを表示するスリット表示用LCDを、画像を表示するLCDの前面(又は背面)に設置することにより、視点の異なる画像を表示する表示手段である。この場合、複数の視点の画像を表示するには、各スリットの開口部の間隔が大きくなるようなスリットパターンをスリット表示用LCDに表示させれば良いが、このようにすると、光を遮光する遮光部の面積が大きくなることを意味する。この際、遮光部の面積が大きくなるのに比例して表示する画像の明るさは弱くなる。このことを予め考慮し、例えばN1の視点数で表示する表示装置に適した明るさになるように3D画像データが作成されていた場合、N1より小さい値であるN2の視点数で表示すると、明るさが明るくなりすぎるという問題がある。しかしながら、上記のようにして表示する画像データの輝度に対して、視点数N1とN2との違いに応じて算出された補正値を加算し明るさを調整することより、適切な明るさで立体画像を表示することができる。
The display means 8 provided in the
図10のステップS9において、表示視点数情報N2と、画像位置情報、画像データが、修正補正情報算出手段9−3に入力されると、修正補正情報算出手段9−3は、入力された画像データから各視点の画像データの輝度の平均値Ra(aは整数。1≦a≦N2)を求め、ステップS10に進む。 In step S9 in FIG. 10, when the display viewpoint number information N2, image position information, and image data are input to the correction correction information calculation unit 9-3, the correction correction information calculation unit 9-3 inputs the input image. The average brightness Ra (a is an integer. 1 ≦ a ≦ N2) of the image data of each viewpoint is obtained from the data, and the process proceeds to step S10.
ステップS10において、修正補正情報算出手段9−3は、各視点の画像データの輝度の平均値のうち、画像位置情報が示す視点の平均値で全ての平均値を割った値qa(aは整数。1≦a≦N2)を修正補正情報として作成する。このときの修正補正情報は、画像位置情報が示す視点の画像データの明るさを1とした場合の、他の各視点の画像データの明るさの比に相当する。また、この際、輝度の平均の代わりに輝度の値の総和、又は輝度の値の最大値を用いても良い。ステップS10で作成した修正補正情報と、表示視点数情報N2を出力し、ステップS11に進み、ステップS8で作成された基準修正補正情報とステップ10で修正された修正補正情報とに基づいて、輝度を補正する。 In step S10, the correction correction information calculation unit 9-3 calculates a value qa (a is an integer) obtained by dividing all average values by the average value of the viewpoints indicated by the image position information among the average values of the luminance values of the image data of the respective viewpoints. 1 ≦ a ≦ N2) is created as correction correction information. The correction correction information at this time corresponds to the brightness ratio of the image data of each other viewpoint when the brightness of the image data of the viewpoint indicated by the image position information is 1. At this time, instead of the average of luminance, the sum of luminance values or the maximum value of luminance values may be used. The correction correction information generated in step S10 and the display viewpoint number information N2 are output, and the process proceeds to step S11. Based on the reference correction correction information generated in step S8 and the correction correction information corrected in step 10, the luminance Correct.
ステップS4からは、ステップS12に進み状態a)輝度補正をせずに入力画像データをそのまま出力する。ステップS11からは、ステップS13に進み、状態b)入力画像データが暗くなるように補正して出力するか、ステップS14に進み、状態c)入力画像データを明るくなるように補正して出力する。 From step S4, the process proceeds to step S12. State a) The input image data is output as it is without luminance correction. From step S11, the process proceeds to step S13, and the state b) the input image data is corrected and output so as to be dark, or the process proceeds to step S14, and the state c) the input image data is corrected and output so as to be bright.
以下に、ステップS11における補正手段9−4の処理についてフローチャート図を用いて説明する。図11は、ステップS11における補正手段9−4の動作の流れを示すフローチャート図である。図11に示すように、まず、ステップS12において、表示視点数情報N2と、画像データと、基準補正情報と、修正補正情報と、が補正手段9−4(図9)に入力され、ステップS13に進む。ステップS13において、画像から補正対象の画素の輝度値を、左上から右下にかけて順に1画素ずつ選択し、かつ、補正情報カウントCを1に設定し、ステップS14に進む。ここで、補正情報カウントCとは、現在使用する補正値が、補正情報内の補正パターンにおいて、いくつめのものであるかを示す情報とする(Cは整数。1≦C≦A)。ステップS14において、補正情報内のC番目にある輝度レベルをバッファB1に、補正値をB2にそれぞれ代入し、判定ステップS15に進む。判定ステップS15において、補正対象画素の輝度値が輝度レベルB1以上であるか否かを判定し、B1以上であれば(YES)ステップS16に進み、B1未満であれば(NO)ステップS18に進む。ステップS16において、補正情報カウントCを1だけインクリメントし、判定ステップS17に進む。判定ステップS17において、補正情報カウントCが補正パターンの総数Aより小さいか否かが判定され、小さければ(YES)ステップS14へ戻り、そうでなければ(NO)判定ステップS20へ進む。 Below, the process of the correction | amendment means 9-4 in step S11 is demonstrated using a flowchart figure. FIG. 11 is a flowchart showing the flow of operation of the correction means 9-4 in step S11. As shown in FIG. 11, first, in step S12, the display viewpoint number information N2, the image data, the reference correction information, and the correction correction information are input to the correction unit 9-4 (FIG. 9), and step S13. Proceed to In step S13, the luminance value of the pixel to be corrected is selected from the image one pixel at a time from the upper left to the lower right, and the correction information count C is set to 1, and the process proceeds to step S14. Here, the correction information count C is information indicating how many correction values are currently used in the correction pattern in the correction information (C is an integer, 1 ≦ C ≦ A). In step S14, the Cth luminance level in the correction information is assigned to buffer B1 and the correction value is assigned to B2, and the process proceeds to determination step S15. In determination step S15, it is determined whether or not the luminance value of the correction target pixel is equal to or higher than the luminance level B1, and if it is equal to or higher than B1 (YES), the process proceeds to step S16, and if it is lower than B1 (NO), the process proceeds to step S18. . In step S16, the correction information count C is incremented by 1, and the process proceeds to determination step S17. In determination step S17, it is determined whether or not the correction information count C is smaller than the total number A of correction patterns. If it is smaller (YES), the process returns to step S14, and if not (NO), the process proceeds to determination step S20.
判定ステップS20において、補正対象画素が画像内の最後の画素か否かを判定し、最後の画像であれば(YES)補正した画像を出力して補正手段9−4の処理を終了し、そうでなければ(NO)補正処理を行なっていない残りの画素に対して補正を行なうためステップS13に戻る。 In determination step S20, it is determined whether or not the correction target pixel is the last pixel in the image. If it is the last image (YES), the corrected image is output and the processing of the correction means 9-4 is terminated. Otherwise (NO), the process returns to step S13 to correct the remaining pixels that have not been subjected to the correction process.
ステップS18に進んだ場合には、補正対象画素の水平方向における左端からの画素位置と表示視点数情報N2とから、どの位置の視点の画像かを求め、補正対象画素がどの視点の画像かを求める。次いで、修正補正情報から、求めた視点に対応する重み付け係数を選択し、ステップS19に進む。ステップS19において、求めた重み付け係数を補正値B2に乗算し、新しい補正値を作成する。この新しい補正値を補正対象画素の輝度値に加算し、加算した値が0より小さければ0に、255より大きければ255にクリッピングして、補正した輝度に変更した後、判定ステップS20へ進む。 When the process proceeds to step S18, the position of the viewpoint image is obtained from the pixel position from the left end of the correction target pixel in the horizontal direction and the display viewpoint number information N2, and the viewpoint image of the correction target pixel is determined. Ask. Next, a weighting coefficient corresponding to the obtained viewpoint is selected from the correction correction information, and the process proceeds to step S19. In step S19, the correction value B2 is multiplied by the obtained weighting coefficient to create a new correction value. The new correction value is added to the luminance value of the pixel to be corrected, and if the added value is smaller than 0, it is clipped to 0, and if it is larger than 255, it is clipped to 255 and changed to the corrected luminance, and the process proceeds to decision step S20.
以上のように、補正手段9−4は、入力画像データの明るさが暗くなるように明るさが調整された画像データを出力する(状態b)。 As described above, the correcting unit 9-4 outputs the image data whose brightness is adjusted so that the brightness of the input image data is dark (state b).
次に、ステップS8において、基準基準補正情報算出手段9−1は、視点数N1と表示視点数N2から基準補正情報を作成し補正手段9−4に出力し、ステップS9に進む。 Next, in step S8, the reference reference correction information calculation unit 9-1 creates reference correction information from the viewpoint number N1 and the display viewpoint number N2, outputs the reference correction information to the correction unit 9-4, and proceeds to step S9.
このとき、ステップS8で算出される補正情報の例を表4に示す。 At this time, an example of the correction information calculated in step S8 is shown in Table 4.
このときの各補正値Diを算出するための計算式は、視点数N1>表示視点数N2であったステップS7の場合とは異なり、下記の(2)式を用いて、補正値Diを算出する。 The calculation formula for calculating each correction value Di at this time is different from the case of step S7 in which the number of viewpoints N1> the number of display viewpoints N2, and the correction value Di is calculated using the following formula (2). To do.
Di = d’i ― {(N2 − N1) × γi − N2 × ηi} (2) Di = d'i-{(N2-N1) * [gamma] i-N2 * [eta] i} (2)
ここで、d‘iは補正パターンIiの補正値の基本値であり、γi、ηiは重み係数である。例えば、d’1=18、N1=2、N2=3、α1=0.5、β1=0.5とした場合、D1は20となる。同様に、d’2=8、N1=2、N2=3、α2=0.5、β2=0.5とした場合、D2は10となる。同様に、d’3=3、N1=2、N2=3、α3=0.5、β3=0.5とした場合、D3は5となる。 Here, d′ i is a basic value of the correction value of the correction pattern Ii, and γi and ηi are weighting factors. For example, when d′ 1 = 18, N1 = 2, N2 = 3, α1 = 0.5, and β1 = 0.5, D1 is 20. Similarly, when d′ 2 = 8, N1 = 2, N2 = 3, α2 = 0.5, and β2 = 0.5, D2 is 10. Similarly, when d′ 3 = 3, N1 = 2, N2 = 3, α3 = 0.5, and β3 = 0.5, D3 is 5.
また、補正値Diの値は、D1で述べたように、定数であっても良いし、「元の画像の水平方向の視点数N1と、実際に表示する表示視点数N2との視点数の差」と、「表示視点数N2」との2つの値を入力として、これらの値に対応する補正値Diを出力するようなテーブルをあらかじめ用意しておき、このテーブルから補正値Diを決定してもよい。或いは、補正値Diは定数であっても良い。 The correction value Di may be a constant as described in D1, or “the number of viewpoints of the horizontal viewpoint number N1 of the original image and the display viewpoint number N2 to be actually displayed. A table is prepared in advance so that two values of “difference” and “number of display viewpoints N2” are input, and a correction value Di corresponding to these values is output, and the correction value Di is determined from this table. May be. Alternatively, the correction value Di may be a constant.
ステップS7で説明したように、視点数N1の視点数で表示する表示装置に適した明るさになるように3D画像データが作成されていた場合、N1より大きい値であるN2の視点数で表示すると、スリットの遮光部の面積が大きくなり、表示する画像の明るさが暗くなる。しかし、上記のように、表示する画像データの輝度に対して補正値を加算して、明るさを強くすることより、適切な明るさで表示することが可能である。 As described in step S7, when the 3D image data has been created so as to have brightness suitable for the display device that displays the number of viewpoints N1, the display is performed with the number of viewpoints N2 that is larger than N1. Then, the area of the light shielding part of the slit increases, and the brightness of the displayed image becomes dark. However, as described above, it is possible to display with appropriate brightness by adding a correction value to the brightness of the image data to be displayed to increase the brightness.
以下、ステップS9からS11までの動作に関しては既に説明済みである重複は避ける。以上のようにして、補正手段9−4は、補正した画像データを作成し出力する。 Hereinafter, with respect to the operations from step S9 to S11, the overlap already described is avoided. As described above, the correction unit 9-4 creates and outputs corrected image data.
以上のように、補正手段9−4は、入力画像データの明るさが明るくなるように明るさが調整された画像データを出力する(状態c)。 As described above, the correcting unit 9-4 outputs the image data whose brightness is adjusted so that the brightness of the input image data is brightened (state c).
1)上述の補正値は、3D画像データの視点数N1と表示視点数N2との差分をとり、その差に合わせて作成された補正値であるため、さまざまな数の視点数をもつ3D画像データが入力された場合であっても、入力にあわせて、より細かく明るさの制御をすることにより、表示を適切な明るさで行うことが可能である。 1) Since the above-described correction value is a correction value created according to the difference between the number of viewpoints N1 and the number of display viewpoints N2 of the 3D image data, a 3D image having various numbers of viewpoints. Even when data is input, it is possible to perform display with appropriate brightness by controlling the brightness more finely according to the input.
2)また、実際に表示する視点数N2が大きくなればなるほど、スリットの遮光部の面積が大きくなり、その結果、表示が暗くなるため、N2の大きさに合わせて補正値を変更することにより、表示手段8の特性に合わせた明るさの調整を行なうことが可能である。 2) In addition, as the number of viewpoints N2 to be actually displayed increases, the area of the light shielding portion of the slit increases, and as a result, the display becomes dark. Therefore, by changing the correction value according to the size of N2. It is possible to adjust the brightness according to the characteristics of the display means 8.
3)また、明るさの調整の際に、視点毎の画像データの画素の輝度値の平均を求め、代表画像情報が示す視点の画像の画素の輝度値の平均で、他の視点の画像の画素の輝度値の平均を割ったものを重み付け値として補正値に反映することにより、各視点の画像データの明るさが均等になるように調整される。従って、より見やすい立体表示が可能となる。さらに、この際に、代表画像情報が示す視点の画像の画素の輝度値の平均で割ったものを重み付けとして補正値に反映すると、同じ画像データを用いて表示する視点数が異なった場合であっても、一定の明るさで表示することができる。 3) In addition, when adjusting the brightness, the average of the luminance values of the pixels of the image data for each viewpoint is obtained, and the average of the luminance values of the pixels of the viewpoint image indicated by the representative image information is calculated. The brightness of the image data of each viewpoint is adjusted to be equal by reflecting the correction value as a weighted value obtained by dividing the average of the luminance values of the pixels. Accordingly, it is possible to make a stereoscopic display easier to see. In this case, if the average value of the luminance values of the pixels of the viewpoint image indicated by the representative image information is reflected in the correction value as a weight, the number of viewpoints displayed using the same image data may be different. However, it is possible to display with a certain brightness.
また、複数の範囲の輝度の値を持つ画素毎に異なる明るさの調整を行なうことにより、局所的な領域毎に、画素の輝度の値に応じて、明るさを細かく調整することが可能である。 In addition, by adjusting different brightness for each pixel having a brightness value in a plurality of ranges, it is possible to finely adjust the brightness for each local area according to the brightness value of the pixel. is there.
以上のようにして、明るさが調整された画像データが、表示手段8に入力される。表示手段8は、入力された画像データを、2Dもしくは3D表示する手段であり、かつ、3D表示の際、制御手段7により表示する画像の表示視点数を制御することができる手段である。
The image data whose brightness has been adjusted as described above is input to the display means 8. The
図12は、表示手段8の動作を説明するための概念図である。 FIG. 12 is a conceptual diagram for explaining the operation of the display means 8.
図12の(A)は、表示視点数N2=2のときの表示手段8を、装置の上部から見た上面図である。例えば、表示手段8は、バックライト100と、画像表示用LCD101と、スリット表示用のLCD102と、を有して構成されている。この場合に、制御手段7がスリット表示用のLCD102を制御して、スリットの開口率や開口部分S1の周期を2視点用に設定したスリットのパターンを、スリット表示用のLCD102上に形成することにより、2つの視点の画像を表示させることができる。
FIG. 12A is a top view of the
図12(B)は、表示視点数N2=3のときの表示手段8を、装置の上部から見た図である。2視点のときと同様に、制御手段7がスリット表示用のLCD102を制御して、スリットの開口率や、開口部分S2の周期を3視点用に設定したスリットのパターンを、スリット表示用のLCD102上に形成することにより、3つの視点の画像を表示することができる。このようにして、表示手段8は、スリットのパターンを変えることにより、表示手段8は、表示視点数N2に合わせて表示する視点数を変更して、入力された画像データを表示することができる。
FIG. 12B is a view of the
また、上記の補正手段9−4では、最終的に補正手段9−4で作成した補正値を入力画像データの画素の輝度に加算することにより、入力画像データを補正したが、この補正値を、輝度に対する重み付けの値として、入力画像データの輝度に乗算することにより補正を行なっても良い。 In the correction unit 9-4, the input image data is corrected by adding the correction value finally created by the correction unit 9-4 to the luminance of the pixel of the input image data. Correction may be performed by multiplying the luminance of the input image data as a weighting value for the luminance.
例えば、ステップS7で算出される補正情報の別の構成例を表5に示す。 For example, Table 5 shows another configuration example of the correction information calculated in step S7.
表5において、このときの補正情報は、補正パターンの総数Aが3、補正パターン1は、「0から50(=輝度レベルL1)までの画素の輝度値を95(=補正値 D1)%の明るさにする、つまり、0.95を乗算することを意味する情報」、補正パターン2は、51から255(=輝度レベルL2)までの画素の輝度値を90(=補正値 D2)%の明るさにする、つまり、0.9を乗算することを意味する情報」となる。
In Table 5, the correction information at this time is that the total number A of correction patterns is 3, and the
このときの各補正値Di(iは整数、1≦Ii≦A)の算出方法の例について以下に説明する。補正値Diは(3)式から算出される。 An example of a method for calculating each correction value Di (i is an integer, 1 ≦ Ii ≦ A) at this time will be described below. The correction value Di is calculated from the equation (3).
Di = 100 - di + {(N2 − N1) × αi + N2 × βi} (3) Di = 100−di + {(N2−N1) × αi + N2 × βi} (3)
ここで、d1は補正パターンIiの補正値の基本値であり、α、βは重み係数とする。
例えば、d1=7、N1=4、N2=2、α1=0.5、β1=0.5とした場合、D1は95となる。同様に、d2=12、N1=4、N2=2、α2=0.5、β2=0.5とした場合、D2は90となる。
Here, d1 is a basic value of the correction value of the correction pattern Ii, and α and β are weighting factors.
For example, when d1 = 7, N1 = 4, N2 = 2, α1 = 0.5, and β1 = 0.5, D1 is 95. Similarly, when d2 = 12, N1 = 4, N2 = 2, α2 = 0.5, and β2 = 0.5, D2 is 90.
このようにして、求めた補正値を、ステップS11において入力画像データ内の画素の輝度の値に修正補正情報と共に乗算することにより補正を行なってもよい。 In this way, correction may be performed by multiplying the obtained correction value by the luminance value of the pixel in the input image data together with the correction correction information in step S11.
また、上記の補正手段9−4において補正を行なう際に、視点毎の画像データからそれぞれエッジを抽出してもよい。この際、抽出の方法は、従来の方法のいずれであっても良く、例えば、2次微分処理、ハフ変換や、張法、収縮法、延長跡法を用いた方法などが挙げられる。このようにしてエッジを抽出した後、エッジと判定された場所の画素及びその周辺の画素に関しては、補正を行わないようにしてもよい。この場合、エッジと判定された画素の4近傍の画素又は8近傍の画素などを周辺の画素の例として挙げることができる。このようにすることにより、エッジ部分に対しては明るさの調整を行わずにして、エッジでの表示のぼやけの発生を防止しつつ明るさ調整を行うことができる。 Further, when correction is performed by the correction unit 9-4, edges may be extracted from the image data for each viewpoint. At this time, the extraction method may be any of the conventional methods, for example, a method using a secondary differentiation process, a Hough transform, a tension method, a contraction method, an extended trace method, or the like. After extracting the edge in this way, correction may not be performed for the pixel at the location determined as the edge and the surrounding pixels. In this case, 4 neighboring pixels or 8 neighboring pixels of the pixel determined to be an edge can be given as examples of the peripheral pixels. By doing so, it is possible to adjust the brightness while preventing the occurrence of blurring of the display at the edge without adjusting the brightness for the edge portion.
また、上記補正手段9−4において輝度を補正する際に、隣り合う視点の画像データから特定領域毎に視差を求め、その視差の値によって、さらに輝度の値に補正を行なってもよい。例えば、視差抽出手段を補正手段9−4の前段に設置し、入力画像データから、隣り合う視点の画像データを抜き出し、画像マッチングなどにより、特定領域毎に視差を求め、領域毎に求めた視差を補正手段9−4に入力してもよい。この場合、特定領域の視差が立体表示した画像が表示面よりも飛び出してみえる領域であることを示す場合は、その領域の明るさがさらに強くなるように補正の値をより大きくして補正を行なってもよい。逆に引っ込んでみえる領域である場合は明るさがさらに弱くなるように補正の値をより小さくして補正を行なってもよい。 Further, when the luminance is corrected by the correcting unit 9-4, a parallax may be obtained for each specific area from image data of adjacent viewpoints, and the luminance value may be further corrected based on the parallax value. For example, disparity extraction means is installed in front of the correction means 9-4, image data of adjacent viewpoints is extracted from the input image data, disparity is obtained for each specific area by image matching or the like, and the disparity obtained for each area May be input to the correction means 9-4. In this case, when the parallax of the specific area indicates that the stereoscopically displayed image appears to protrude beyond the display surface, the correction value is increased so that the brightness of the area becomes stronger. You may do it. On the contrary, in a region where the image can be retracted, the correction may be performed with a smaller correction value so that the brightness is further weakened.
また、飛び出してみえる領域であり、かつ、補正の値が正の値の場合のみ、その領域の明るさがさらに強くなるように補正の値をより大きくして補正を行なってもよいし、引っ込んでみえる領域であり、かつ、補正の値が負の値の場合のみ、その領域の明るさがさらに弱くなるように補正の値をより小さくして補正を行なってもよい。 Further, only when the area is visible and the correction value is a positive value, the correction value may be increased and the correction may be performed so that the brightness of the area is further increased. Only when the correction value is negative and the correction value is a negative value, correction may be performed with a smaller correction value so that the brightness of the region is further weakened.
また、飛び出してみえる領域であり、かつ、補正の値が負の値の場合、もしくは、引っ込んでみえる領域であり、かつ、補正の値が正の値の場合には、補正を行なわないようにしてもよい。立体画像は、一般的に、手前に飛び出した画像が明るいほど飛び出し感が強く、逆に奥に引っ込んだ画像が暗いほど奥行き感が強まる。そこで、上記のように、明るさの調整を行なう際に視差を考慮に入れることにより、明るさの調整により、立体感を協調することができ、また逆に立体感が弱まることを防ぐことができるという利点がある。 Also, if the correction value is negative or the correction value is negative, or if the correction value is positive and the correction value is positive, do not perform correction. May be. In general, a stereoscopic image has a stronger feeling of popping out as the image popping out toward the front is brighter, and conversely, a feeling of depth becomes stronger as an image retracted into the back is darker. Therefore, as described above, by taking the parallax into consideration when adjusting the brightness, it is possible to coordinate the stereoscopic effect by adjusting the brightness, and to prevent the stereoscopic effect from being weakened. There is an advantage that you can.
以上に説明したように、本実施の形態による立体表示装置によれば、視点数N(Nは1以上の整数)で適切な明るさになるように作成された入力画像データを、N以外の視点数の画像データに変換して表示する場合に、元の画像データの視点数と表示する視点数とに応じて明るさの調整をすることにより、立体画像をより見やすく表示することができる。 As described above, according to the stereoscopic display device according to the present embodiment, input image data created so as to have appropriate brightness with the number of viewpoints N (N is an integer of 1 or more) When the image data is converted into image data with the number of viewpoints and displayed, the stereoscopic image can be displayed more easily by adjusting the brightness according to the number of viewpoints of the original image data and the number of viewpoints to be displayed.
また、複数の範囲の輝度の値を持つ画素毎に異なる明るさの調整を行なうため、局所領域ごとに、かつ、画素の輝度の値に応じた、細かい明るさの調整が可能である。 In addition, since the brightness that differs for each pixel having luminance values in a plurality of ranges is adjusted, it is possible to finely adjust the brightness for each local region and according to the luminance value of the pixel.
また、本実施の形態による立体表示装置によれば、明るさの調整の際に、視点毎の画像データの画素の輝度値の平均を求め、他の視点の画像の画素の輝度値の平均を代表画像情報が示す視点の画像の画素の輝度値の平均で除算したものを重み付けとして、補正値に反映することにより、各視点の画像データの明るさが均等になるように調整されるため、より見やすい立体表示が可能となる。 Further, according to the stereoscopic display device according to the present embodiment, when adjusting the brightness, the average of the luminance values of the pixels of the image data for each viewpoint is obtained, and the average of the luminance values of the pixels of the images of the other viewpoints is obtained. Since the brightness divided by the average of the luminance values of the pixels of the viewpoint image indicated by the representative image information is weighted and reflected in the correction value, the brightness of the image data of each viewpoint is adjusted to be uniform. A stereoscopic display that is easier to see is possible.
さらに、この際に、代表画像情報が示す視点の画像の画素の輝度値の平均で割ったものを重み付けとして補正値に反映するため、同じ画像データを用いて表示する視点数が異なった場合であっても、一定の明るさで、表示することができるという利点がある。 Furthermore, in this case, since the weight divided by the average of the luminance values of the pixels of the viewpoint image indicated by the representative image information is reflected in the correction value as a weight, the number of viewpoints displayed using the same image data is different. Even if it exists, there exists an advantage that it can display with fixed brightness.
本発明は、立体画像表示装置に利用可能である。 The present invention is applicable to a stereoscopic image display device.
1 立体画像表示装置
2 分離手段
3 3D制御情報解析手段
4 画像データ復号手段
5 表示画像作成手段
6 明るさ調整手段
7 制御手段
8 表示手段
9−1 基準補正情報算出手段
9−2 スイッチ
9−3 修正補正情報算出手段
9−4 補正手段
100 バックライト
101 画像表示用LCD
102 スリット表示用LCD
200 画像表示パネル
201 パララクスバリア
202 右眼
203 左眼
DESCRIPTION OF
102 LCD for slit display
200
Claims (10)
前記表示手段に表示する視点数である第1の視点数と、前記入力画像データ内に含まれる視点数である第2の視点数と、に応じて表示の明るさを調整するための第1の補正情報を作成する第1の補正情報算出手段と、前記入力画像データ内の視点の異なる画像データ毎に明るさを調整するための第2の補正情報を作成する第2の補正情報算出手段と、作成された前記第1の補正情報と前記第2の補正情報とに基づいて入力画像データを補正する補正手段と、を有する明るさ調整手段を備えることを特徴とする立体画像表示装置。 A stereoscopic image display device comprising display means for displaying a stereoscopic image based on input image data including image data of a plurality of viewpoints,
A first number for adjusting display brightness according to a first number of viewpoints that is the number of viewpoints displayed on the display means and a second number of viewpoints that is the number of viewpoints included in the input image data. First correction information calculation means for generating the correction information of the second, and second correction information calculation means for generating the second correction information for adjusting the brightness for each image data having a different viewpoint in the input image data And a brightness adjusting means for correcting the input image data based on the created first correction information and the second correction information.
水平方向の視点数N1と、表示視点数N2と、が入力されたか否かを判定するステップと、
両方が入力されたと判定された場合に、前記N1と前記N2とが等しいか否かを判定するステップと、
前記N1と前記N2とが等しいと判定された場合に、補正は行なわずに入力画像データがそのまま出力画像データとして出力し、N1がN2より大きいと判定した場合は、前記N1と前記N2との違いに基づいて、前記入力画像データの各画素の輝度値に加算するための少なくとも一つ以上の補正値を求めるステップと、
該補正値により明るさを調整し、調整後の明るさで立体画像を表示するステップと
を有することを特徴とする立体画像表示方法。 A stereoscopic image display method for displaying a stereoscopic image based on input image data including image data of a plurality of viewpoints,
Determining whether the horizontal viewpoint number N1 and the display viewpoint number N2 have been input;
Determining whether N1 and N2 are equal when it is determined that both have been input; and
If it is determined that N1 and N2 are equal, the input image data is output as it is as output image data without correction, and if it is determined that N1 is greater than N2, N1 and N2 Obtaining at least one correction value to be added to the luminance value of each pixel of the input image data based on the difference; and
And a step of adjusting the brightness with the correction value and displaying a stereoscopic image with the adjusted brightness.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005043615A JP4477521B2 (en) | 2005-02-21 | 2005-02-21 | Stereoscopic image display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005043615A JP4477521B2 (en) | 2005-02-21 | 2005-02-21 | Stereoscopic image display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006229818A JP2006229818A (en) | 2006-08-31 |
JP4477521B2 true JP4477521B2 (en) | 2010-06-09 |
Family
ID=36990743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005043615A Active JP4477521B2 (en) | 2005-02-21 | 2005-02-21 | Stereoscopic image display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4477521B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101314211B1 (en) | 2006-12-04 | 2013-10-02 | 엘지디스플레이 주식회사 | 3D display device |
JP4748398B2 (en) * | 2007-06-15 | 2011-08-17 | 富士フイルム株式会社 | Imaging apparatus, imaging method, and program |
JP5659589B2 (en) * | 2010-07-13 | 2015-01-28 | 株式会社ニコン | Display device and control method |
JP5568409B2 (en) * | 2010-08-24 | 2014-08-06 | 株式会社日立製作所 | 3D display device |
JP5304758B2 (en) * | 2010-09-08 | 2013-10-02 | 株式会社Jvcケンウッド | Multi-viewpoint image creation apparatus, multi-viewpoint image creation method, and multi-viewpoint image display system |
JP5492311B2 (en) * | 2011-02-08 | 2014-05-14 | 富士フイルム株式会社 | Viewpoint image generation apparatus, viewpoint image generation method, and stereoscopic image printing apparatus |
JP2013134410A (en) * | 2011-12-27 | 2013-07-08 | Seiko Epson Corp | Image forming device and image forming method |
WO2013179539A1 (en) * | 2012-05-28 | 2013-12-05 | パナソニック株式会社 | Image processing device, imaging device, image processing method, and program |
WO2014136140A1 (en) * | 2013-03-05 | 2014-09-12 | パナソニック株式会社 | Video processing device and video processing method |
-
2005
- 2005-02-21 JP JP2005043615A patent/JP4477521B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2006229818A (en) | 2006-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4477521B2 (en) | Stereoscopic image display device | |
JP4251952B2 (en) | Stereoscopic image display apparatus and stereoscopic image display method | |
KR101166248B1 (en) | Method of analyzing received image data, computer readable media, view mode analyzing unit, and display device | |
JP5615136B2 (en) | Stereoscopic image correction method, stereoscopic display device, and stereoscopic image generation device | |
US8035683B2 (en) | Stereoscopic image reproducing apparatus and stereoscopic image reproducing method | |
EP2259600B1 (en) | Image processing method, image processing device, and recording medium | |
JP4212987B2 (en) | Stereoscopic image display apparatus, stereoscopic image display method, program for causing computer to execute the method, and recording medium recording the program | |
EP1807806B1 (en) | Disparity map | |
EP1788824B1 (en) | 3d image reproduction device | |
EP2197217A1 (en) | Image based 3D video format | |
EP2347597B1 (en) | Method and system for encoding a 3d image signal, encoded 3d image signal, method and system for decoding a 3d image signal | |
CN104539935B (en) | The adjusting method and adjusting means of brightness of image, display device | |
US9013561B2 (en) | Stereoscopic video processing apparatus, method, and program | |
US9571808B2 (en) | Video format determination device, video format determination method, and video display device | |
EP2463853A1 (en) | Image display device, image display system, and image display method | |
EP2498501A2 (en) | 3D image display method and apparatus thereof | |
EP2490173B1 (en) | Method for processing a stereoscopic image comprising a black band and corresponding device | |
EP2954674B1 (en) | System for generating an intermediate view image | |
CA2954942A1 (en) | Method for representing a three-dimensional scene on an auto-stereoscopic monitor | |
KR20140004393A (en) | Display apparatus and control method thereof | |
JP2007318184A (en) | Three-dimensional image creating device, and creation method of the three-dimensional image | |
WO2012175386A1 (en) | Method for reducing the size of a stereoscopic image | |
JP4507843B2 (en) | Image display device | |
JP5911325B2 (en) | Stereoscopic image processing apparatus and stereoscopic image display apparatus | |
JP5561081B2 (en) | Image display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070302 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100112 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100309 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100311 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 3 |