JP2018050253A - Image generating apparatus and program - Google Patents
Image generating apparatus and program Download PDFInfo
- Publication number
- JP2018050253A JP2018050253A JP2016185972A JP2016185972A JP2018050253A JP 2018050253 A JP2018050253 A JP 2018050253A JP 2016185972 A JP2016185972 A JP 2016185972A JP 2016185972 A JP2016185972 A JP 2016185972A JP 2018050253 A JP2018050253 A JP 2018050253A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- pixel
- virtual camera
- pixel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 description 67
- 230000008569 process Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 14
- 230000002194 synthesizing effect Effects 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000002675 image-guided surgery Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、画像生成装置及びプログラムに関する。 The present invention relates to an image generation apparatus and a program.
従来から、専用のメガネを用いずに自然な立体像を観察者に視認させることができる立体ディスプレイ装置が提案されている。かかる立体ディスプレイ方式には、レンチキュラ方式、インテグラル方式、などがある。これらの立体ディスプレイ装置は、現実の被写体の像と同様の左右両眼に提示される像の違い（両眼視差）及び観視位置に応じた見え方の変化（運動視差）を再現する。このことは観察者に立体感を生み出す。すなわち、立体ディスプレイ装置は、表示面の前面における観察位置、つまり観察者の左右両眼の位置に応じた像の光線をその位置に応じて選択的に提示する仕組みを備える。 2. Description of the Related Art Conventionally, a stereoscopic display device has been proposed that allows an observer to visually recognize a natural stereoscopic image without using dedicated glasses. Such stereoscopic display methods include a lenticular method and an integral method. These stereoscopic display devices reproduce the difference between images presented to the left and right eyes (binocular parallax) and the change in appearance (motion parallax) according to the viewing position, similar to the image of a real subject. This creates a stereoscopic effect for the viewer. That is, the stereoscopic display device includes a mechanism for selectively presenting light rays of an image according to the observation position on the front surface of the display surface, that is, the positions of the left and right eyes of the observer according to the position.
レンチキュラ方式、インテグラル方式のいずれも、レンズを備えた光学的な仕組みを備える。レンチキュラ方式の立体ディスプレイ装置は、細長いかまぼこ型の複数の凸レンズの長手方向を垂直方向に向け、それらの凸レンズを水平方向に配列してなるレンズ板を備える。インテグラル方式の立体ディスプレイ装置は、主面の形状が円形である複数の凸レンズを２次元平面上にアレイ状に配列してなるレンズ板を備える。そして、これらの立体ディスプレイ装置は、レンズ板からレンズの焦点距離だけ奥に離れた位置にディスプレイパネルを備える。レンズ板よりも手前の観察位置における観察者は、その観察位置に応じて表示単位からの光線による像を選択的に観察することができる。ここで、表示単位とは、レンチキュラ方式においては、各１個のかまぼこ型の凸レンズを介して観察位置に光線が到来するディスプレイパネル上の画素列となる。インテグラル方式においては、表示単位は、各１個の円形の凸レンズを介して観察位置に光線が到来するディスプレイパネル上の画素となる。 Both the lenticular method and the integral method have an optical mechanism with a lens. The lenticular three-dimensional display device includes a lens plate formed by arranging a plurality of long, semi-cylindrical convex lenses in a vertical direction and arranging the convex lenses in a horizontal direction. The integral type stereoscopic display device includes a lens plate in which a plurality of convex lenses having a circular main surface are arranged in an array on a two-dimensional plane. These three-dimensional display devices include a display panel at a position away from the lens plate by the focal length of the lens. An observer at an observation position before the lens plate can selectively observe an image of light rays from the display unit according to the observation position. Here, in the lenticular method, the display unit is a pixel row on the display panel where light rays arrive at the observation position via each one kamaboko type convex lens. In the integral method, the display unit is a pixel on the display panel where a light ray arrives at the observation position via each one circular convex lens.
レンズ板よりも奥に配置されたディスプレイパネルに表示される画像を表示画像と呼び、視点毎の画像は要素画像と呼ばれることがある。要素画像は、ディスプレイパネル前面の所定の視域内の視点において観察される被写体の像である。観察者は、要素画像が集積してなる表示画像をレンズ板越しに観察して、立体像を視認することができる。要素画像の取得方法には、主に３つの方法がある。第１の方法は、カメラのイメージセンサの前面にレンズ板を設置し、イメージセンサの各画素の入射する光線がなす像を記録する方法である。第１の方法は、主に実写の際に用いられることがある。第２の方法は、多視点実写画像やＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ、コンピュータグラフィクス）モデルを用いて生成した複数視点の画像を用いて、要素画像を合成する方法である。第２の方法は、複数視点のそれぞれにおいて観察される２次元画像を集積し、レンズ板の特性に合わせて、集積した２次元画像の各画素を再配置することにより実現される。画像の集積において平行投影、透視投影などの手法が用いられる。第２の方法は、特許文献１及び非特許文献１に例示されている。第３の方法は、ＣＧモデルを用いて被写体から各視点に到来する光線をシミュレーションして要素画像を合成する方法である。第３の方法は、光線追跡法と呼ばれることがある。第３の方法は、非特許文献１−４に例示されている。 An image displayed on a display panel disposed behind the lens plate may be referred to as a display image, and an image for each viewpoint may be referred to as an element image. The element image is an image of a subject observed at a viewpoint within a predetermined viewing area on the front surface of the display panel. The observer can visually recognize the stereoscopic image by observing the display image obtained by accumulating the element images through the lens plate. There are mainly three methods for acquiring element images. The first method is a method in which a lens plate is installed in front of an image sensor of a camera and an image formed by light rays incident on each pixel of the image sensor is recorded. The first method may be used mainly for live-action shooting. The second method is a method of synthesizing element images using a multi-viewpoint image and a multi-viewpoint image generated using a CG (Computer Graphics, computer graphics) model. The second method is realized by accumulating two-dimensional images observed at each of a plurality of viewpoints and rearranging the pixels of the accumulated two-dimensional image in accordance with the characteristics of the lens plate. Techniques such as parallel projection and perspective projection are used for collecting images. The second method is exemplified in Patent Document 1 and Non-Patent Document 1. The third method is a method of synthesizing element images by simulating light rays coming from the subject to each viewpoint using a CG model. The third method is sometimes called ray tracing. The third method is exemplified in Non-Patent Documents 1-4.
要素画像の生成には、膨大な計算量及びデータ量を要する。例えば、第３の方法では、撮影対象の３次元空間内にインテグラル方式のディスプレイ装置が設置されていることを仮定し、３次元空間内の被写体上の各点からレンズ板よりも奥に設置されたディスプレイパネルに到来する光線を積算して得られる表示画像の画素値を算出する。第３の方法は、光学的な厳密さを備える。その反面、最終的に得られる表示画像への寄与がほとんどない光線も画素値の算出対象となるので、その計算が無用になる。第２の方法では、ＣＧモデルなどを用いて取得した３次元空間内の複数の視点に仮想カメラが設置されていると仮定し、それぞれの仮想カメラが取得した画像に基づいて表示画像を生成する。仮想カメラは表示画像の生成に最低限必要な画素毎の画素値をサンプリングするので、第２の方法では、仮想カメラに到来しない光線についての計算を要しない。そのため、第２の方法によれば、第３の方法よりも高速な表示画像の生成が可能となる。しかしながら、第２の方法では、仮想カメラがそれぞれ取得した画像を統合するために、それらの画像や表示画像の作成に用いる作業用の画像を蓄積することを要する。従って、必要とされる計算コストやメモリの記憶容量が多くなる。 Generation of element images requires a huge amount of calculation and data. For example, in the third method, it is assumed that an integral type display device is installed in the three-dimensional space to be photographed, and is installed behind the lens plate from each point on the subject in the three-dimensional space. The pixel value of the display image obtained by integrating the light rays arriving at the displayed display panel is calculated. The third method provides optical stringency. On the other hand, light rays that hardly contribute to the finally obtained display image are also subject to calculation of pixel values, so that calculation is unnecessary. In the second method, it is assumed that virtual cameras are installed at a plurality of viewpoints in a three-dimensional space acquired using a CG model, and display images are generated based on images acquired by the respective virtual cameras. . Since the virtual camera samples a pixel value for each pixel necessary for generating a display image, the second method does not require calculation for rays that do not arrive at the virtual camera. Therefore, according to the second method, it is possible to generate a display image at a higher speed than in the third method. However, in the second method, in order to integrate the images acquired by the virtual cameras, it is necessary to accumulate work images used to create those images and display images. Therefore, the required calculation cost and the memory storage capacity increase.
第２の方法によって生成される表示画像を観察して視認される再生像について十分な品質を確保するには、表現しようとする被写体の像が大きいほど、多くの視点から取得される画像を要する。特に、ディスプレイ装置のレンズ板から遠い位置に表れる像を表す表示画像についてサンプリングが空間的に疎らになるため、画質が劣化する。例えば、視認される再生像において第３の方法では生じえない不自然な線や二重像などのアーチファクトが生じる。仮想カメラの数を増やすことによって空間サンプリングを密にすることができるが、要素画像の実写の際においては、その数に限界がある。また、ＣＧにより要素画像を取得する場合でも、合成対象である要素画像の増加により描画パフォーマンスが低下する。 In order to ensure a sufficient quality for a reproduced image visually observed by observing the display image generated by the second method, the larger the image of the subject to be expressed, the more images acquired from the viewpoint. . In particular, since the sampling is spatially sparse for a display image representing an image appearing at a position far from the lens plate of the display device, the image quality is deteriorated. For example, artifacts such as unnatural lines and double images that cannot be generated by the third method occur in a visually reproduced image. Spatial sampling can be made dense by increasing the number of virtual cameras, but there is a limit to the number of elemental images that are actually captured. Even when element images are acquired by CG, drawing performance is degraded due to an increase in element images to be combined.
また、視点毎の要素画像を用いて表示画像を生成する際、レンズ板を構成するレンズの直径が、表示画像を表示するディスプレイパネルの画素ピッチの整数倍である、などの所定の関係を満たす場合には、表示画像の生成に関わる計算量が比較的少ない。しかしながら、レンズ板の立体ディスプレイ装置への取り付け精度は、機械精度となり、画素ピッチよりも粗い。そのため、レンズ板を構成する全てのレンズについて、レンズの直径と画素ピッチとの関係をディスプレイパネル全面にわたり均一にすることは困難である。この点に関して、特許文献１には、表示画像についてフィルタ処理（リサンプリング）を行うことにより、レンズの直径と画素ピッチとの関係が均一でない場合に生じ得る画質の劣化を軽減する立体像生成装置について記載されている。画素値のフィルタ処理は、表示画像の生成に必要な処理であるが、計算コストを増加させる要因となる。 Further, when generating a display image using an element image for each viewpoint, a predetermined relationship is satisfied such that the diameter of the lens constituting the lens plate is an integer multiple of the pixel pitch of the display panel that displays the display image. In this case, the amount of calculation related to the generation of the display image is relatively small. However, the accuracy of attaching the lens plate to the stereoscopic display device is mechanical accuracy, which is coarser than the pixel pitch. Therefore, it is difficult to make the relationship between the lens diameter and the pixel pitch uniform over the entire surface of the display panel for all the lenses constituting the lens plate. In this regard, Patent Document 1 discloses a stereoscopic image generation apparatus that reduces image quality degradation that may occur when the relationship between the lens diameter and the pixel pitch is not uniform by performing filter processing (resampling) on a display image. Is described. The pixel value filtering process is a process necessary for generating a display image, but increases the calculation cost.
以上に説明した表示画像の生成方法には、複数の仮想カメラからの要素画像の画素を並べ替え、要素画像よりも画素数が多い中間画像を生成する過程が含まれていた。生成された中間画像から各要素レンズに対応する画像が抽出され、抽出された画像が集積されることで表示画像が生成される。中間画像には、最終的に得られる表示画像に採用されない画素の画素値が含まれることがある。このことは、メモリの利用効率が低下する要因になっていた。また、メモリに作成された中間画像を蓄積することで、各要素画像から表示画像内の１つの画素値の決定にかかる処理を画素間で独立に実行できなかった。このことは、処理の並列化におけるボトルネックとなっていた。 The display image generation method described above includes a process of rearranging the pixels of the element image from a plurality of virtual cameras and generating an intermediate image having a larger number of pixels than the element image. Images corresponding to the element lenses are extracted from the generated intermediate image, and the extracted images are accumulated to generate a display image. The intermediate image may include pixel values of pixels that are not employed in the finally obtained display image. This has been a factor in reducing the memory utilization efficiency. In addition, by accumulating the intermediate image created in the memory, it has not been possible to independently execute processing for determining one pixel value in the display image from each element image between the pixels. This has been a bottleneck in parallel processing.
本発明は上記の点に鑑みてなされたものであり、効率的に表示画像を生成することができる画像生成装置及びプログラムを提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an image generation apparatus and a program that can efficiently generate a display image.
本発明は上記の課題を解決するためになされたものであり、［１］本発明の一態様は、画像を表示する表示部が複数の要素レンズを配列してなるレンズ板に対面して配置された画像表示装置に表示させる表示画像を生成する画像生成装置であって、各視点の仮想カメラ画像を取得する仮想カメラ画像取得手段と、前記表示画像の画素である表示画素に対応する要素レンズを特定し、前記表示画素と同じ位置の仮想カメラ画像の画素の画素値を、前記表示画素の位置と前記仮想カメラ画像の位置に基づく重み係数を乗じて得られる値を仮想カメラ画像間で合成して前記表示画素の画素値を算出する画素値決定手段と、を備える画像生成装置である。
［１］の構成によれば、表示画像を構成する表示画素と同じ位置の仮想カメラ画像の画素の画素値と、その表示画素に対応する要素レンズの位置を基準とする表示画像の位置と仮想カメラ画像の視点により定めた重み係数を用いて、その表示画素の画素値が算出される。中間画像を生成することなく、仮想カメラ画像に基づいて表示画像が直接生成されるので、表示画像の生成が効率化される。また、表示画素の画素値が表示画素間で独立に算出されるので、これらの演算を並列にすることで、表示画像を高速に生成することができる。
The present invention has been made to solve the above problems. [1] In one aspect of the present invention, a display unit for displaying an image is arranged facing a lens plate in which a plurality of element lenses are arranged. An image generation device that generates a display image to be displayed on the image display device, a virtual camera image acquisition unit that acquires a virtual camera image of each viewpoint, and an element lens corresponding to a display pixel that is a pixel of the display image And a value obtained by multiplying the pixel value of the pixel of the virtual camera image at the same position as the display pixel by a weighting factor based on the position of the display pixel and the position of the virtual camera image is synthesized between the virtual camera images And a pixel value determining means for calculating a pixel value of the display pixel.
According to the configuration of [1], the pixel value of the pixel of the virtual camera image at the same position as the display pixel constituting the display image, the position of the display image based on the position of the element lens corresponding to the display pixel, and the virtual The pixel value of the display pixel is calculated using a weighting factor determined by the viewpoint of the camera image. Since the display image is directly generated based on the virtual camera image without generating the intermediate image, the generation of the display image is made efficient. Further, since the pixel value of the display pixel is calculated independently between the display pixels, a display image can be generated at high speed by parallelizing these calculations.
［２］本発明の一態様は、上述の画像生成装置であって、前記画素値決定手段は、前記複数の要素レンズのうち前記表示画素に最も近接した要素レンズを前記表示画素に対応する要素レンズとして特定し、前記重み係数は、所定の値域内に正規化され、前記表示画素の位置が特定された前記要素レンズの中心点から離れているほど大きい値であることを特徴とする。
［２］の構成によれば、算出される画素値に対する仮想カメラ画像の成分が表示画素間において平滑化される。そのため、表示画像において要素レンズの間隔よりも微細な成分によるアーチファクトが軽減又は解消されるので、視認される像の画質が向上する。
[2] One aspect of the present invention is the above-described image generation device, wherein the pixel value determination unit includes an element lens that is closest to the display pixel among the plurality of element lenses and corresponds to the display pixel. It is specified as a lens, and the weighting coefficient is normalized within a predetermined value range, and the value of the weighting factor increases as the position of the display pixel moves away from the specified center point of the element lens.
According to the configuration of [2], the component of the virtual camera image corresponding to the calculated pixel value is smoothed between display pixels. For this reason, artifacts due to components finer than the interval between the element lenses in the display image are reduced or eliminated, so that the image quality of the visually recognized image is improved.
［３］本発明の一態様は、上述の画像生成装置であって、画素値決定手段は、前記レンズ板の取付誤差調整パラメータに基づいて前記複数の要素レンズの座標を補正し、補正した前記座標に基づいて前記表示画素に対応する要素レンズを特定することを特徴とする。
［３］の構成によれば、取得された取付誤差調整パラメータに基づいて補正された位置に応じて表示画素に対応する要素レンズが特定され、特定された要素レンズの位置に応じた重み係数に基づいて、その表示画素の画素値が得られる。そのため、レンズ板の取付誤差の調整に伴って変更した取付誤差調整パラメータに対応する画素値で示される表示画像が得られる。表示画像に基づいて取付誤差調整パラメータを調整することができるため、取付誤差調整パラメータの校正に係る作業能率を向上させることができる。
[3] One aspect of the present invention is the above-described image generation device, wherein the pixel value determination unit corrects the coordinates of the plurality of element lenses based on the lens plate mounting error adjustment parameter, and corrects the coordinates. An element lens corresponding to the display pixel is specified based on the coordinates.
According to the configuration of [3], the element lens corresponding to the display pixel is specified according to the position corrected based on the acquired attachment error adjustment parameter, and the weighting coefficient is set according to the position of the specified element lens. Based on this, the pixel value of the display pixel is obtained. Therefore, a display image indicated by the pixel value corresponding to the attachment error adjustment parameter that is changed along with the adjustment of the attachment error of the lens plate is obtained. Since the attachment error adjustment parameter can be adjusted based on the display image, the work efficiency related to the calibration of the attachment error adjustment parameter can be improved.
［４］本発明の一態様は、画像を表示する表示部が複数の要素レンズを配列してなるレンズ板に対面して配置された画像表示装置に表示させる表示画像を生成する画像生成装置であって、各視点の仮想カメラ画像を取得する仮想カメラ画像取得手段と、前記表示画像の画素である表示画素に対応する要素レンズを特定し、前記表示画素と同じ位置の仮想カメラ画像の画素の画素値を、前記表示画素の位置と前記仮想カメラ画像の位置に基づく重み係数を乗じて得られる値を仮想カメラ画像間で合成して前記表示画素の画素値を算出する画素値決定手段と、を備える画像生成装置として、コンピュータに機能させるためのプログラムである。
［４］の構成によれば、表示画像を構成する表示画素と同じ位置の仮想カメラ画像の画素の画素値と、その表示画素に対応する要素レンズの位置を基準とする表示画像の位置と仮想カメラ画像の視点により定めた重み係数を用いて、その表示画素の画素値が算出される。中間画像を生成することなく、仮想カメラ画像に基づいて表示画像が直接生成されるので、表示画像の生成が効率化される。また、表示画素の画素値が表示画素間で独立に算出されるので、これらの演算を並列にすることで、表示画像を高速に生成することができる。
[4] One aspect of the present invention is an image generation device that generates a display image to be displayed on an image display device that is arranged so that a display unit that displays an image faces a lens plate in which a plurality of element lenses are arranged. A virtual camera image acquisition means for acquiring a virtual camera image of each viewpoint, an element lens corresponding to a display pixel that is a pixel of the display image is specified, and a pixel of the virtual camera image at the same position as the display pixel is identified. Pixel value determining means for calculating a pixel value of the display pixel by synthesizing a value obtained by multiplying a pixel value by a weighting factor based on the position of the display pixel and the position of the virtual camera image between the virtual camera images; This is a program for causing a computer to function as an image generation apparatus comprising
According to the configuration of [4], the pixel value of the pixel of the virtual camera image at the same position as the display pixel constituting the display image, the position of the display image based on the position of the element lens corresponding to the display pixel, and the virtual The pixel value of the display pixel is calculated using a weighting factor determined by the viewpoint of the camera image. Since the display image is directly generated based on the virtual camera image without generating the intermediate image, the generation of the display image is made efficient. Further, since the pixel value of the display pixel is calculated independently between the display pixels, a display image can be generated at high speed by parallelizing these calculations.
本発明によれば、効率的に表示画像を生成することができる。 According to the present invention, a display image can be generated efficiently.
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る画像生成装置１０の構成例を示すブロック図である。
画像生成装置１０は、インテグラル方式の立体ディスプレイ装置（図示せず）に表示させる表示画像を生成する。インテグラル方式の立体ディスプレイ装置は、画像を表示するディスプレイパネルと複数の要素レンズを配列してなるレンズ板とを備える。ディスプレイパネルとレンズ板は、それぞれの主面が互いに平行に対面して配置される。観察者は、ディスプレイパネルに表示された表示画像を、レンズ板を通して観察することにより、立体像を視認することができる。
画像生成装置１０は、カメラパラメータ記録手段１１０、入力部１２０、カメラパラメータ・仮想カメラ画像関連付け手段１３０、画素値決定手段１４０及び出力部１５０を含んで構成される。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a configuration example of an image generation apparatus 10 according to the present embodiment.
The image generation device 10 generates a display image to be displayed on an integral stereoscopic display device (not shown). The integral stereoscopic display device includes a display panel for displaying an image and a lens plate formed by arranging a plurality of element lenses. The display panel and the lens plate are arranged such that their main surfaces face each other in parallel. The observer can visually recognize the stereoscopic image by observing the display image displayed on the display panel through the lens plate.
The image generation apparatus 10 includes a camera parameter recording unit 110, an input unit 120, a camera parameter / virtual camera image association unit 130, a pixel value determination unit 140, and an output unit 150.
カメラパラメータ記録手段１１０は、画像生成装置１０の外部から複数の仮想カメラのそれぞれに係るカメラパラメータを取得し、取得したカメラパラメータを記録する。仮想カメラとは、仮想的に３次元空間内に設置された画像取得手段を意味する。カメラパラメータは、仮想カメラによる画像の取得に係るパラメータである。カメラパラメータには、仮想カメラの光学中心の位置が含まれる。この位置は、視点の位置に相当し、所定の位置を基準とする相対的な位置として表されてもよい。基準とする所定の位置は、例えば、複数の仮想カメラの分布領域の重心点である。 The camera parameter recording unit 110 acquires camera parameters related to each of the plurality of virtual cameras from the outside of the image generation apparatus 10 and records the acquired camera parameters. The virtual camera means an image acquisition unit that is virtually installed in a three-dimensional space. The camera parameter is a parameter related to image acquisition by the virtual camera. The camera parameter includes the position of the optical center of the virtual camera. This position corresponds to the position of the viewpoint, and may be expressed as a relative position with a predetermined position as a reference. The predetermined position as a reference is, for example, the center of gravity of the distribution area of the plurality of virtual cameras.
入力部１２０には、画像生成装置１０の外部から各種のデータが入力される。入力部１２０は、仮想カメラ画像取得手段１２１、立体ディスプレイパラメータ入力手段１２２及び表示画像調整パラメータ入力手段１２３を含んで構成される。
仮想カメラ画像取得手段１２１は、個々の仮想カメラが設置される位置である視点において観察される共通の被写体の画像を示す画像データを取得する。取得される画像データは、現実にその視点において撮影された被写体の画像を示す画像データでもよいし、公知のＣＧ技術を用いて合成され、その視点において観察されうる被写体の画像を示す画像データでもよい。以下の説明では、各仮想カメラについて取得される画像を仮想カメラ画像と呼び、その仮想カメラ画像を示すデータを仮想カメラ画像データと呼ぶ。仮想カメラ画像は、要素画像と呼ばれることがある。仮想カメラ画像データは、画素毎の画素値を示すデータである。画素値は、画素毎の明るさを示す輝度値、色を示す色空間値のいずれでもよい。色空間値として、例えば、ＲＧＢ表色系で色を表現するＲＧＢ値が利用可能である。仮想カメラ画像取得手段は、仮想カメラ毎に取得される仮想カメラ画像データをカメラパラメータ・仮想カメラ画像関連付け手段１３０に出力する。
Various data are input to the input unit 120 from the outside of the image generation apparatus 10. The input unit 120 includes a virtual camera image acquisition unit 121, a stereoscopic display parameter input unit 122, and a display image adjustment parameter input unit 123.
The virtual camera image acquisition unit 121 acquires image data indicating an image of a common subject observed from a viewpoint that is a position where each virtual camera is installed. The acquired image data may be image data indicating an image of a subject actually taken at that viewpoint, or may be image data indicating an image of a subject that is synthesized using a known CG technique and can be observed at that viewpoint. Good. In the following description, an image acquired for each virtual camera is referred to as a virtual camera image, and data indicating the virtual camera image is referred to as virtual camera image data. The virtual camera image may be referred to as an element image. Virtual camera image data is data indicating a pixel value for each pixel. The pixel value may be either a luminance value indicating brightness for each pixel or a color space value indicating color. As the color space value, for example, an RGB value representing a color in the RGB color system can be used. The virtual camera image acquisition unit outputs the virtual camera image data acquired for each virtual camera to the camera parameter / virtual camera image association unit 130.
立体ディスプレイパラメータ入力手段１２２は、立体ディスプレイパラメータを取得する。立体ディスプレイパラメータは、立体ディスプレイ装置による表示画像の表示に係るパラメータである。立体ディスプレイパラメータには、例えば、立体ディスプレイ装置を構成するレンズ板のパラメータと、ディスプレイパネルのパラメータとが含まれる。レンズ板のパラメータには、レンズ板を構成する個々の要素レンズの直径、焦点距離、配置間隔（ピッチ）、水平方向ならびに垂直方向の要素レンズの個数などが含まれる。ディスプレイパラメータには、画像を表示する画素の画素ピッチ、水平方向ならびに垂直方向の画素の個数などが含まれる。立体ディスプレイパラメータ入力手段１２２は、取得した立体ディスプレイパラメータを画素値決定手段１４０に出力する。 The stereoscopic display parameter input means 122 acquires a stereoscopic display parameter. The stereoscopic display parameter is a parameter related to display of a display image by the stereoscopic display device. The stereoscopic display parameters include, for example, parameters of lens plates constituting the stereoscopic display device and parameters of the display panel. The parameters of the lens plate include the diameter of each element lens constituting the lens plate, the focal length, the arrangement interval (pitch), the number of element lenses in the horizontal direction and the vertical direction, and the like. The display parameters include the pixel pitch of pixels for displaying an image, the number of pixels in the horizontal direction and the vertical direction, and the like. The stereoscopic display parameter input unit 122 outputs the acquired stereoscopic display parameter to the pixel value determination unit 140.
表示画像調整パラメータ入力手段１２３は、表示画像調整パラメータを取得する。表示画像調整パラメータは、立体ディスプレイ装置に表示させる表示画像の表示位置や向きを調整するためのパラメータである。表示画像調整パラメータには、レンズ板のディスプレイ装置への取り付け誤差を調整するための取付誤差調整パラメータ、例えば、所定の基準位置からの垂直方向の変位ならびに水平方向の変位、所定の基準方向からの回転角などが含まれる。表示画像調整パラメータ入力手段１２３は、取得した表示画像調整パラメータを画素値決定手段１４０に出力する。 The display image adjustment parameter input unit 123 acquires display image adjustment parameters. The display image adjustment parameter is a parameter for adjusting the display position and orientation of the display image displayed on the stereoscopic display device. The display image adjustment parameter includes an attachment error adjustment parameter for adjusting an attachment error of the lens plate to the display device, for example, a vertical displacement from a predetermined reference position, a horizontal displacement, and a predetermined reference direction. Includes rotation angle. The display image adjustment parameter input unit 123 outputs the acquired display image adjustment parameter to the pixel value determination unit 140.
カメラパラメータ・仮想カメラ画像関連付け手段１３０には、仮想カメラ画像取得手段１２１から仮想カメラ画像データが入力され、入力される仮想カメラ画像データに対応する仮想カメラに係るカメラパラメータをカメラパラメータ記録手段１１０から読み取る。カメラパラメータ・仮想カメラ画像関連付け手段１３０は、読み取ったカメラパラメータと入力された仮想カメラ画像データとを仮想カメラ、即ち視点毎に関連付け、カメラパラメータと仮想カメラ画像データのセットを形成する。カメラパラメータ・仮想カメラ画像関連付け手段１３０は、仮想カメラ毎に形成したカメラパラメータと仮想カメラ画像データのセットを画素値決定手段１４０に出力する。 Virtual camera image data is input from the virtual camera image acquisition unit 121 to the camera parameter / virtual camera image association unit 130, and camera parameters related to the virtual camera corresponding to the input virtual camera image data are input from the camera parameter recording unit 110. read. The camera parameter / virtual camera image associating unit 130 associates the read camera parameters with the input virtual camera image data for each virtual camera, that is, for each viewpoint, and forms a set of camera parameters and virtual camera image data. The camera parameter / virtual camera image association unit 130 outputs a set of camera parameters and virtual camera image data formed for each virtual camera to the pixel value determination unit 140.
画素値決定手段１４０には、カメラパラメータ・仮想カメラ画像関連付け手段１３０からカメラパラメータと仮想カメラ画像データのセットが仮想カメラ毎に入力され、立体ディスプレイパラメータ入力手段１２２から立体ディスプレイパラメータが入力される。画素値決定手段１４０は、立体ディスプレイパラメータとカメラパラメータに基づいて、表示画像を表示するディスプレイパネルと、そのディスプレイパネルと平行に対面して配置されるレンズ板を構成する要素レンズの位置関係を判定する。そして、画素値決定手段１４０は、表示画像の画素である表示画素毎に、その表示画素に対応する要素レンズを特定する。表示画像に対応する要素レンズとは、中心点がその表示画素から最も近接した要素レンズである。立体ディスプレイ装置において、その表示画素に対面する要素レンズが存在する場合には、その対面要素レンズが対応する要素レンズとなる。画素値決定手段１４０は、入力された仮想カメラ画像データから、その表示画素と画像内の位置を示す座標値が等しい画素の画素値を抽出する。画素値決定手段１４０は、表示画素に対応する要素レンズを特定し、特定した要素レンズの位置を基準とする表示画素の位置とその仮想カメラの位置とに基づいて、抽出した画素値に対する重み係数を定める。その仮想カメラの位置は、対応する視点の位置に相当する。そして、画素値決定手段１４０は、抽出した画素値と定めた重み係数を乗じて得られる乗算値を仮想カメラ画像間で総和をとることにより、その表示画素の画素値を定める。画素値決定手段１４０は、定めた表示画素毎の画素値を示す表示画像データを生成し、生成した表示画像データを出力部１５０に出力する。 A set of camera parameters and virtual camera image data is input to the pixel value determination unit 140 for each virtual camera from the camera parameter / virtual camera image association unit 130, and a stereoscopic display parameter is input from the stereoscopic display parameter input unit 122. The pixel value determining means 140 determines the positional relationship between a display panel that displays a display image and an element lens that constitutes a lens plate that is arranged in parallel with the display panel based on the stereoscopic display parameter and the camera parameter. To do. Then, the pixel value determination unit 140 specifies an element lens corresponding to the display pixel for each display pixel that is a pixel of the display image. The element lens corresponding to the display image is an element lens whose center point is closest to the display pixel. In the stereoscopic display device, when there is an element lens facing the display pixel, the facing element lens is a corresponding element lens. The pixel value determination unit 140 extracts the pixel value of the pixel having the same coordinate value indicating the position in the image and the display pixel from the input virtual camera image data. The pixel value determining unit 140 identifies an element lens corresponding to the display pixel, and based on the position of the display pixel relative to the position of the identified element lens and the position of the virtual camera, a weight coefficient for the extracted pixel value Determine. The position of the virtual camera corresponds to the position of the corresponding viewpoint. Then, the pixel value determination means 140 determines the pixel value of the display pixel by taking the sum of the multiplication values obtained by multiplying the extracted pixel value and the determined weighting coefficient between the virtual camera images. The pixel value determination unit 140 generates display image data indicating the pixel value for each determined display pixel, and outputs the generated display image data to the output unit 150.
画素値決定手段１４０には、表示画像調整パラメータ入力手段１２３から表示画像調整パラメータがさらに入力されることがある。その場合には、画素値決定手段１４０は、所定のレンズ板の位置と向きを入力された表示画像調整パラメータを用いて、レンズ板の位置と向きを補正する。この補正によりレンズ板を構成する要素レンズ毎の位置と向きが補正される。画素値決定手段１４０は、位置と向きが補正された複数の要素レンズから、表示画素に対応する要素レンズを特定する。画素値決定手段１４０における画素値を決定する手法については、後述する。 The pixel value determining unit 140 may further receive a display image adjustment parameter from the display image adjustment parameter input unit 123. In that case, the pixel value determination unit 140 corrects the position and orientation of the lens plate using the display image adjustment parameter to which the position and orientation of the predetermined lens plate are input. This correction corrects the position and orientation of each element lens constituting the lens plate. The pixel value determining unit 140 specifies an element lens corresponding to the display pixel from the plurality of element lenses whose positions and orientations are corrected. A method of determining the pixel value in the pixel value determining unit 140 will be described later.
出力部１５０は、画素値決定手段１４０から入力された表示画像データを、自部が備える出力バッファに一時的に記憶し、画像生成装置１０の外部、例えば、ディスプレイ装置のディスプレイパネルに表示画像データを出力する。ディスプレイパネルは、出力部１５０から入力される表示画像データが示す表示画像を表示する。なお、表示画像データは、必ずしも立体ディスプレイ装置に出力されずに、その他の機器、例えば、画像データベースなどに出力されてもよい。 The output unit 150 temporarily stores the display image data input from the pixel value determination unit 140 in an output buffer included in the output unit 150, and displays the display image data on the outside of the image generation device 10, for example, on the display panel of the display device. Is output. The display panel displays a display image indicated by display image data input from the output unit 150. Note that the display image data is not necessarily output to the stereoscopic display device, but may be output to other devices, such as an image database.
（仮想カメラの配置例）
次に、本実施形態に係る仮想カメラの配置例について説明する。図２は、本実施形態に係る仮想カメラの配置例を示す図である。表示画像の生成において複数の視点のそれぞれから観察される被写体Ｏｂを表す平面画像Ｅｉを用いる。図２に示す例では、各視点に相当する仮想カメラの光学中心の位置が被写体に対面した２次元平面内にアレイ状に配置される。立体像の画質を確保するために、一方向に配置される仮想カメラの個数は、レンズ板を構成する１つの要素レンズの領域内に収容可能な画素数以上になることが望ましい。例えば、要素レンズの直径、画素ピッチがそれぞれ１ｍｍ、０．１ｍｍであるとき、仮想カメラの水平方向、垂直方向の個数は、それぞれ１０個以上であることが望ましい。また、仮想カメラの分布は、要素レンズに対応した配列であってもよい。図２に示す例では、ほぼ円形の領域内に複数の仮想カメラが水平方向及び垂直方向に等間隔に配置される。
(Virtual camera placement example)
Next, an arrangement example of the virtual camera according to the present embodiment will be described. FIG. 2 is a diagram illustrating an arrangement example of the virtual cameras according to the present embodiment. In the generation of the display image, a planar image Ei representing the subject Ob observed from each of a plurality of viewpoints is used. In the example shown in FIG. 2, the position of the optical center of the virtual camera corresponding to each viewpoint is arranged in an array in a two-dimensional plane facing the subject. In order to ensure the image quality of the stereoscopic image, it is desirable that the number of virtual cameras arranged in one direction is equal to or greater than the number of pixels that can be accommodated in the region of one element lens constituting the lens plate. For example, when the diameter of the element lens and the pixel pitch are 1 mm and 0.1 mm, respectively, it is desirable that the number of virtual cameras in the horizontal direction and the vertical direction is 10 or more, respectively. Further, the distribution of the virtual camera may be an array corresponding to the element lens. In the example shown in FIG. 2, a plurality of virtual cameras are arranged at equal intervals in the horizontal direction and the vertical direction in a substantially circular area.
カメラパラメータとして用いられる各仮想カメラＶｃの座標（ｃｘ，ｃｙ）は、それらの中心に配置された仮想カメラの座標を原点Ｏ（０，０）とした相対位置で表されてもよい。原点に配置された仮想カメラの図２に対して左方に隣接する仮想カメラの座標は、（−ｐ，０）となる。ｐは、仮想カメラのピッチ（間隔）を示す。水平方向の座標値ｃｘ、垂直方向の座標値ｃｙは、複数の仮想カメラの水平方向、垂直方向の分布の幅をそれぞれ２Ｃとして正規化した値であってもよい。その場合、座標値ｃｘ、ｃｙの最大値、最小値は、それぞれＣ、−Ｃである。従って、水平方向、垂直方向の仮想カメラの数である２×Ｃ／ｐは、画素ピッチに対する要素レンズの直径の比よりも大きければよい。要素レンズの半径を１とするとき、後述する画素値の算出において採用される補間法によっては、Ｃは１よりも大きい値であってもよい。例えば、Ｃ＝１＋２ｐと設定しておいてもよい。よって、座標値ｃｘ、ｃｙがいずれも−１以上であって１以下となる仮想カメラに係る画素の画素値が確実に算出される。なお、仮想カメラ画像取得手段１２１は、複数の仮想カメラの全てについて仮想カメラ画像データを一斉に取得しなくてもよい。仮想カメラ画像取得手段１２１は、移動する１つの仮想カメラに係る仮想カメラ画像データを取得してもよい。従って、それぞれ異なる時刻において異なる視点から観察される複数の画像を示す仮想カメラ画像データが取得される。 The coordinates (cx, cy) of each virtual camera Vc used as a camera parameter may be represented by a relative position with the coordinates of the virtual camera arranged at the center as the origin O (0, 0). The coordinates of the virtual camera adjacent to the left with respect to FIG. 2 of the virtual camera arranged at the origin are (−p, 0). p indicates the pitch (interval) of the virtual camera. The horizontal coordinate value cx and the vertical coordinate value cy may be values normalized by setting the horizontal and vertical distribution widths of a plurality of virtual cameras to 2C. In that case, the maximum and minimum values of the coordinate values cx and cy are C and -C, respectively. Therefore, 2 × C / p, which is the number of virtual cameras in the horizontal and vertical directions, only needs to be larger than the ratio of the diameter of the element lens to the pixel pitch. When the radius of the element lens is 1, C may be a value larger than 1 depending on an interpolation method used in pixel value calculation described later. For example, C = 1 + 2p may be set. Therefore, the pixel values of the pixels related to the virtual camera whose coordinate values cx and cy are both −1 or more and 1 or less are reliably calculated. Note that the virtual camera image acquisition unit 121 may not acquire the virtual camera image data for all of the plurality of virtual cameras at the same time. The virtual camera image acquisition unit 121 may acquire virtual camera image data related to one moving virtual camera. Therefore, virtual camera image data indicating a plurality of images observed from different viewpoints at different times is acquired.
（表示画像）
次に、表示画像の例について説明する。図３は、表示画像の一例を示す図である。図３に示す表示画像は、図２に示す被写体Ｏｂを複数の仮想カメラの位置において観察される表示画像を、画素値決定手段１４０において集積ならびに合成して得られる。この表示画像は、出力部１５０から最終的に出力される表示画像データに基づいて立体ディスプレイ装置のディスプレイパネルにより表示される二次元の画像である。この表示画像にディスプレイパネルの前面に平行にレンズ板を設置し、観察者がレンズ板を透過した表示画像を観察することによって立体像を視認することができる。
なお、（ｕ，ｖ）は、表示画像内の画素の座標値を示す。原点は、表示画像の左下端の画素である。ｕ、ｖは、それぞれ水平方向、垂直方向の座標値を示す値であって、０以上１以下に正規化された値をとる。例えば、表示画像の左下端、右上端の画素の座標は、それぞれ（０，０）、（１，１）となる。
(Display image)
Next, an example of a display image will be described. FIG. 3 is a diagram illustrating an example of a display image. The display image shown in FIG. 3 is obtained by integrating and synthesizing the display image obtained by observing the subject Ob shown in FIG. 2 at the positions of a plurality of virtual cameras in the pixel value determining means 140. This display image is a two-dimensional image displayed on the display panel of the stereoscopic display device based on the display image data finally output from the output unit 150. A stereoscopic image can be visually recognized by installing a lens plate parallel to the front surface of the display panel and observing the display image transmitted through the lens plate by the observer.
Note that (u, v) indicates the coordinate value of the pixel in the display image. The origin is the lower left pixel of the display image. u and v are values indicating coordinate values in the horizontal direction and the vertical direction, respectively, and are values normalized to 0 or more and 1 or less. For example, the coordinates of the pixels at the lower left and upper right corners of the display image are (0, 0) and (1, 1), respectively.
図４は、図３に示す座標値（ｕ，ｖ）の周辺を拡大して表す拡大図である。表示画像を構成する表示画素は、その表示画素に対面するレンズ板の１つの要素レンズに対応付けられる。＋印を中心とする円は、１つの要素レンズの領域を示す。画素値決定手段１４０は、表示画素の画素値を定めるために、その表示画素の座標値（ｕ，ｖ）に最も近接する要素レンズのディスプレイパネル上の中心点を特定する。画素値決定手段１４０は、座標値（ｕ，ｖ）をその中心点Ｏｒを原点（０，０）とするレンズ中心座標系の座標値（ｒｘ，ｒｙ）に変換する。 FIG. 4 is an enlarged view showing the periphery of the coordinate value (u, v) shown in FIG. 3 in an enlarged manner. A display pixel constituting a display image is associated with one element lens of a lens plate facing the display pixel. A circle centered on the + mark indicates a region of one element lens. In order to determine the pixel value of the display pixel, the pixel value determining unit 140 specifies the center point on the display panel of the element lens closest to the coordinate value (u, v) of the display pixel. The pixel value determining means 140 converts the coordinate value (u, v) into the coordinate value (rx, ry) of the lens center coordinate system having the center point Or as the origin (0, 0).
より具体的には、画素値決定手段１４０は、座標値（ｕ，ｖ）を、式（１）に示す関係を用いて表示画素を単位とする座標値（Ｐｘ，Ｐｙ）に変換する。 More specifically, the pixel value determining unit 140 converts the coordinate value (u, v) into a coordinate value (Px, Py) with the display pixel as a unit using the relationship shown in Expression (1).
式（１）において、ｗｉｄｔｈ、ｈｅｉｇｈｔは、それぞれ要素画像の水平方向、垂直方向の画素数を示す。要素画像の水平方向、垂直方向の画素数は、通例、ディスプレイパネルの解像度に相当する。例えば、立体ディスプレイ装置のディスプレイパネルが、解像度が８Ｋである８Ｋディスプレイであるとき、そのディスプレイパネルの水平方向、垂直方向の画素数は、それぞれ７６８０、４３２０である。
なお、座標値（ｕ，ｖ）に代えて座標値（Ｐｘ，Ｐｙ）が取得されている場合には、座標値（ｕ，ｖ）から座標値（Ｐｘ，Ｐｙ）への変換は省略可能である。
In Expression (1), width and height indicate the number of pixels in the horizontal direction and the vertical direction of the element image, respectively. The number of pixels in the horizontal and vertical directions of the element image usually corresponds to the resolution of the display panel. For example, when the display panel of the stereoscopic display device is an 8K display having a resolution of 8K, the number of pixels in the horizontal direction and the vertical direction of the display panel is 7680 and 4320, respectively.
If coordinate values (Px, Py) are acquired instead of coordinate values (u, v), conversion from coordinate values (u, v) to coordinate values (Px, Py) can be omitted. is there.
表示画像調整パラメータが入力される場合には、画素値決定手段１４０は、入力された表示画像調整パラメータを用いて座標値（Ｐｘ，Ｐｙ）を補正する。補正後の座標値（Ｐｘ’，Ｐｙ’）は、式（２）に示す関係を用いて算出される。 When the display image adjustment parameter is input, the pixel value determination unit 140 corrects the coordinate value (Px, Py) using the input display image adjustment parameter. The corrected coordinate values (Px ′, Py ′) are calculated using the relationship shown in Expression (2).
式（２）において、ｈ、ｖ、θは、それぞれ所定の基準点からの水平方向の変位（ずれ）、その基準点からの垂直方向の変位、所定の基準方向からの回転角を示す。 In Expression (2), h, v, and θ represent a horizontal displacement (displacement) from a predetermined reference point, a vertical displacement from the reference point, and a rotation angle from the predetermined reference direction, respectively.
次に、画素値決定手段１４０は、表示画素の座標値（ｕ，ｖ）から最も近接する要素レンズの中心点を特定する。要素レンズの配置がデルタ配列である場合を例にして、最も近接する要素レンズの中心点を特定する手順を説明する。デルタ配列とは、各行について列方向に等間隔に配列対象物が配列され、ある行に配列された配列対象物の列方向の位置と、その行に隣接する行に配列された配列対象物の列方向の位置とのずれが、列方向の配列間隔の半分となる配列である。図５に示す例では、配列対象物が要素レンズであり、各要素レンズの中心点が三角格子の各頂点に配列されている。従って、列方向の要素レンズの位置について、隣接する行間のずれはｄ／２となり、要素レンズの列間の間隔はｄ√３／２となる。ここで、ｄは、各要素レンズの直径を示し、要素レンズの直径が列方向の配列間隔に等しいことを前提としている。なお、ｄは、実寸の要素レンズの直径ｄｌ（単位：ｍｍ）についてディスプレイパネルの画素ピッチｐｐ（単位：ｍｍ／ｐｉｘ）で正規化された値（単位：ｐｉｘ）をとる。 Next, the pixel value determination unit 140 specifies the center point of the element lens that is closest to the coordinate value (u, v) of the display pixel. A procedure for specifying the center point of the closest element lens will be described by taking as an example a case where the arrangement of the element lenses is a delta arrangement. The delta arrangement is an array of objects arranged at equal intervals in the column direction for each row, the position of the array object arranged in a row in the column direction, and the arrangement object arranged in a row adjacent to the row. In this arrangement, the deviation from the position in the column direction is half the arrangement interval in the column direction. In the example shown in FIG. 5, the array target is an element lens, and the center point of each element lens is arrayed at each vertex of the triangular lattice. Accordingly, with respect to the position of the element lens in the column direction, the deviation between adjacent rows is d / 2, and the distance between the element lens columns is d√3 / 2. Here, d indicates the diameter of each element lens, and it is assumed that the diameter of the element lens is equal to the arrangement interval in the column direction. Note that d is a value (unit: pix) normalized by the pixel pitch pp (unit: mm / pix) of the display panel with respect to the diameter dl (unit: mm) of the actual element lens.
そして、画素値決定手段１４０は、各要素レンズの中心点と中心点が同一である正方形の領域のうち、表示画素の位置を含む領域を特定する。図５に破線で示す正方形は、その領域の１つを示す。特定される領域がレンズ板の最下行から第Ｎ行であるとすると、Ｎは、式（３）に示す関係を用いて算出される。 Then, the pixel value determination unit 140 specifies an area including the position of the display pixel among square areas in which the center point of each element lens is the same as the center point. A square indicated by a broken line in FIG. 5 indicates one of the regions. Assuming that the specified region is the Nth row from the bottom row of the lens plate, N is calculated using the relationship shown in Equation (3).
式（３）において、（ｉｎｔ）…は、実数…の小数点以下の値を切り捨てて得られる整数値を示す。画素値決定手段１４０は、特定される領域の列番号についても、その領域の行番号Ｎの算出と同様の手法を要素レンズの列に適用して定めることができる。
画素値決定手段１４０は、座標値（Ｐｘ’，Ｐｙ’）を特定される領域の左下端を原点とする座標値（Ｑｘ，Ｑｙ）に変換する。座標値（Ｑｘ，Ｑｙ）は、式（４）に示す関係を用いて算出される。但し、座標値（Ｐｘ，Ｐｙ）が補正されない場合には、画素値決定手段１４０は、座標値（Ｐｘ’，Ｐｙ’）に代えて座標値（Ｐｘ，Ｐｙ）を用いて座標値（Ｑｘ，Ｑｙ）を算出する。
In the formula (3), (int)... Indicates an integer value obtained by rounding down values after the decimal point of the real numbers. The pixel value determining means 140 can determine the column number of the specified region by applying the same method as the calculation of the row number N of the region to the element lens column.
The pixel value determining unit 140 converts the coordinate value (Px ′, Py ′) into a coordinate value (Qx, Qy) having the origin at the lower left corner of the specified area. The coordinate values (Qx, Qy) are calculated using the relationship shown in Equation (4). However, when the coordinate values (Px, Py) are not corrected, the pixel value determining unit 140 uses the coordinate values (Px, Py) instead of the coordinate values (Px ′, Py ′) to use the coordinate values (Qx, Py). Qy) is calculated.
式（４）において、ｅは、行番号Ｎが偶数行であるか奇数行であるかを示す変数である。具体的には、変数ｅは、式（５）に示すように、行番号Ｎを２で除算して得られる剰余として算出される。従って、行番号Ｎが偶数行を示すとき変数ｅは０であり、行番号Ｎが奇数行を示すとき変数ｅは１である。 In Equation (4), e is a variable indicating whether the row number N is an even row or an odd row. Specifically, the variable e is calculated as a remainder obtained by dividing the line number N by 2 as shown in Expression (5). Accordingly, the variable e is 0 when the line number N indicates an even line, and the variable e is 1 when the line number N indicates an odd line.
画素値決定手段１４０は、座標値（Ｑｘ，Ｑｙ）を、特定される領域の中心点を原点とする座標値（Ｑｘ’，Ｑｙ’）に変換する。座標値（Ｑｘ’，Ｑｙ’）は、式（６）に示す関係を用いて算出される。なお、以下の説明では、座標値（Ｑｘ’，Ｑｙ’）又はその座標値で表される位置の座標点をＱ’と表すことがある。 The pixel value determining unit 140 converts the coordinate value (Qx, Qy) into a coordinate value (Qx ′, Qy ′) having the origin at the center point of the specified region. The coordinate values (Qx ′, Qy ′) are calculated using the relationship shown in Equation (6). In the following description, the coordinate value (Qx ′, Qy ′) or the coordinate point at the position represented by the coordinate value may be expressed as Q ′.
次に、画素値決定手段１４０は、変換した座標値（Ｑｘ’，Ｑｙ’）でその位置が表される座標点Ｑ’に最も近接する要素レンズの中心点を判定する。図６に示す例では、候補となる要素レンズの中心点は、特定される領域の中心点の座標値ｐｌ０と、その中心点からの距離がｄである６個の隣接要素レンズの中心点である。これら７個の中心点の座標値ｐｌ０〜ｐｌ６は、式（７）に示す。この例では、座標値（Ｑｘ’，Ｑｙ’）、ｐｌ０〜ｐｌ６は、それぞれ中心点ｐｌ０を原点とする座標系で表されている。 Next, the pixel value determining unit 140 determines the center point of the element lens closest to the coordinate point Q ′ whose position is represented by the converted coordinate values (Qx ′, Qy ′). In the example shown in FIG. 6, the center point of the candidate element lens is the coordinate point pl0 of the center point of the specified region and the center point of six adjacent element lenses whose distance from the center point is d. is there. The coordinate values pl0 to pl6 of these seven center points are shown in Expression (7). In this example, the coordinate values (Qx ′, Qy ′) and pl0 to pl6 are each represented by a coordinate system having the center point pl0 as the origin.
座標値Ｑ’に最も近接する要素レンズの中心点の座標値ｐｌｃは、式（８）に示す関係を用いて表される。 The coordinate value plc of the center point of the element lens closest to the coordinate value Q ′ is expressed using the relationship shown in Expression (8).
式（８）において、ｉは、０〜６のいずれかの値をとる中心点のインデックスである。ａｒｇｍｉｎｐｌｉ…は、…を最小化する座標値ｐｌｉを示す。
そして、画素値決定手段１４０は、座標値（Ｑｘ’，Ｑｙ’）を、その座標点Ｑ’に最も近接する要素レンズの中心点ｐｌｃを原点とする座標値Ｑ’’に変換する。座標値Ｑ’’は、式（９）に示す関係を用いて表される。
In Expression (8), i is an index of the center point taking any value of 0-6. argmin pri ... indicates a coordinate value pri that minimizes.
Then, the pixel value determining means 140 converts the coordinate value (Qx ′, Qy ′) into a coordinate value Q ″ having the origin at the center point plc of the element lens closest to the coordinate point Q ′. The coordinate value Q ″ is expressed using the relationship shown in Equation (9).
画素値決定手段１４０は、式（１０）に示すように変換した座標値Ｑ’’を要素レンズの半径ｄ／２で正規化して座標値（ｒｘ，ｒｙ）を算出する。 The pixel value determination unit 140 normalizes the coordinate value Q ″ converted as shown in Expression (10) by the radius d / 2 of the element lens, and calculates the coordinate value (rx, ry).
以上の処理により、表示画素の座標値（ｕ，ｖ）は、レンズ中心座標系の座標値（ｒｘ，ｒｙ）に変換される。
次に、画素値決定手段１４０は、各仮想カメラについて仮想カメラ画像データを構成する画素のうち、表示画素の座標値（ｕ，ｖ）と等しい座標値で表される位置に配置された画素の画素値を選択する。画素値決定手段１４０は、抽出した画素値に、その画素値に対応する重み係数を乗じて得られる乗算値を仮想カメラ間で合成して得られる値を、その表示画素の画素値として定める。具体的には、画素値決定手段１４０は、式（１１）に示す関係を用いて座標値（ｕ，ｖ）に配置された表示画素の画素値ｃｏｌ（ｕ，ｖ）を算出する。
With the above processing, the coordinate value (u, v) of the display pixel is converted into the coordinate value (rx, ry) of the lens center coordinate system.
Next, the pixel value determination unit 140 determines the pixel arranged at the position represented by the coordinate value equal to the coordinate value (u, v) of the display pixel among the pixels constituting the virtual camera image data for each virtual camera. Select a pixel value. The pixel value determining means 140 determines a value obtained by synthesizing between the virtual cameras a multiplication value obtained by multiplying the extracted pixel value by a weighting factor corresponding to the pixel value as a pixel value of the display pixel. Specifically, the pixel value determining unit 140 calculates the pixel value col (u, v) of the display pixel arranged at the coordinate value (u, v) using the relationship shown in Expression (11).
式（１１）において、ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）は、重み係数を示す。重み係数ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）は、仮想カメラの位置を示す座標値（ｃｘ，ｃｙ）、レンズ中心座標系の座標値（ｒｘ，ｒｙ）及び仮想カメラのピッチｐに依存する。式（１１）においてΣは、総和を示す記号である。この記号に付された座標値（ｃｘ，ｃｙ）は、それぞれの仮想カメラを示す。画素値ｃｏｌ（ｕ，ｖ） （ｃｘ，ｃｙ）は、座標値（ｕ，ｖ）に配置された仮想カメラの仮想カメラ画像を構成する画素のうち、表示画像の座標値（ｕ，ｖ）が示す位置に配置された画素の画素値を示す。総和は、仮想カメラを示す座標値（ｃｘ，ｃｙ）間で、表示画素毎に独立に演算される。 In Equation (11), w (cx, cy, rx, ry, p) represents a weighting factor. The weight coefficient w (cx, cy, rx, ry, p) depends on the coordinate value (cx, cy) indicating the position of the virtual camera, the coordinate value (rx, ry) of the lens center coordinate system, and the pitch p of the virtual camera. To do. In equation (11), Σ is a symbol indicating the sum. The coordinate values (cx, cy) attached to this symbol indicate the respective virtual cameras. The pixel value col (u, v) (cx, cy) has the coordinate value (u, v) of the display image among the pixels constituting the virtual camera image of the virtual camera arranged at the coordinate value (u, v). The pixel value of the pixel arrange | positioned in the position shown is shown. The sum is calculated independently for each display pixel between coordinate values (cx, cy) indicating the virtual camera.
重み係数ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）は、式（１２）に示すよう水平方向と垂直方向のそれぞれの因子ｗ’（ｃｘ，ｒｘ，ｐ）、ｗ’（ｃｙ，ｒｙ，ｐ）の積として算出される。 The weighting factors w (cx, cy, rx, ry, p) are the factors w ′ (cx, rx, p) and w ′ (cy, ry, p) in the horizontal direction and the vertical direction as shown in the equation (12). ).
各方向の因子ｗ’（ｓ，ｔ，ｐ）として公知の画像の補間法において用いられる補間係数が適用可能である。補間法の一例として、バイキュービック（ｂｉｃｕｂｉｃ）法が適用可能である。バイキュービック法は、式（１３）に示す関係を用いて算出される因子ｗ’（ｓ，ｔ，ｐ）が重み係数として用いられる補間法である。 As a factor w ′ (s, t, p) for each direction, an interpolation coefficient used in a known image interpolation method is applicable. As an example of the interpolation method, a bicubic method can be applied. The bicubic method is an interpolation method in which a factor w ′ (s, t, p) calculated using the relationship shown in Expression (13) is used as a weighting factor.
式（１３）に示すｘは、仮想カメラからの画像を構成する画素の要素レンズの中心点を基準とする座標値を要素レンズの間隔ｐで正規化して得られる。ａは、因子ｗ’（ｓ，ｔ，ｐ）を調整するための調整係数を示す。調整係数ａは、例えば、−０．５〜−１．０の範囲内の実数である。これにより、因子ｗ’（ｓ，ｔ，ｐ）は、所定の値域（この場合、−４／２７〜１）内の値を持つ。因子ｗ’（ｓ，ｔ，ｐ）は、ｘが０から２までの場合でｘ＝１の場合を除き、正または負の値をとり、ｘが２以上である場合０となる。これにより、座標値（ｕ，ｖ）に最も近接する要素レンズの中心点から要素レンズの間隔ｐの２倍以上離れている領域外の画素については、表示画素の画素値の算出において無視され、その領域内の画素が表示画素の画素値の算出対象となる。また、因子ｗ’（ｓ，ｔ，ｐ）は、ｘの絶対値が小さい、つまり座標値（ｕ，ｖ）に最も近接する要素レンズの中心点から近い画素ほど大きく、その中心点から通り画素ほど小さくなる。これにより、表示画素間において算出される画素値に対する仮想カメラ画像の成分が平滑化される。そのため、空間エリアシングによる画質の劣化が緩和する。具体的には、不自然な線や二重像などのアーチファクトが軽減又は解消される。 X shown in Expression (13) is obtained by normalizing the coordinate value based on the center point of the element lens of the pixel constituting the image from the virtual camera with the interval p of the element lens. a represents an adjustment coefficient for adjusting the factor w ′ (s, t, p). The adjustment coefficient a is a real number within a range of −0.5 to −1.0, for example. Thereby, the factor w ′ (s, t, p) has a value within a predetermined range (in this case, −4/27 to 1). The factor w ′ (s, t, p) takes a positive or negative value except when x is 0 to 2 and x = 1, and becomes 0 when x is 2 or more. As a result, pixels outside the region that is at least twice the element lens interval p from the center point of the element lens closest to the coordinate value (u, v) are ignored in the calculation of the pixel value of the display pixel. Pixels in the region are targets for calculation of pixel values of display pixels. Further, the factor w ′ (s, t, p) has a smaller absolute value of x, that is, a pixel closer to the center point of the element lens closest to the coordinate value (u, v), and is larger, and the pixel passes from the center point. It gets smaller. Thereby, the component of the virtual camera image with respect to the pixel value calculated between display pixels is smoothed. Therefore, image quality degradation due to spatial aliasing is alleviated. Specifically, artifacts such as unnatural lines and double images are reduced or eliminated.
補間法の他の例として、最近傍（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）補間法も適用可能である。最近傍補間法は、式（１４）に示す関係を用いて算出される因子ｗ’（ｓ，ｔ，ｐ）が重み係数として用いられる補間法である。 As another example of the interpolation method, a nearest neighbor interpolation method is also applicable. The nearest neighbor interpolation method is an interpolation method in which a factor w ′ (s, t, p) calculated using the relationship shown in Expression (14) is used as a weighting factor.
式（１４）において、ｘは、要素レンズの中心点を基準とする画素の座標値を要素レンズの間隔ｐで正規化して得られる。従って、因子ｗ’（ｓ，ｔ，ｐ）は、ｘの絶対値が０．５以下、つまり要素レンズの中心点からその間隔の半分の距離ｐ／２の範囲内の画素について１であり、その範囲外における画素について０であることを示す。これにより、座標値（ｕ，ｖ）に最も近接する要素レンズの中心点から要素レンズの間隔ｐの半分以下の領域外の画素については、表示画素の画素値の算出において無視され、その領域内の画素が表示画素の画素値の算出対象となる。従って、式（１４）に示す因子ｗ’（ｓ，ｔ，ｐ）が用いられる場合には、その要素画素に対面する要素レンズが要素画素に対応する要素レンズとして採用されればよい。 In Expression (14), x is obtained by normalizing the coordinate value of the pixel with the center point of the element lens as a reference by the interval p of the element lens. Therefore, the factor w ′ (s, t, p) is 1 for pixels in which the absolute value of x is 0.5 or less, that is, within a range of a distance p / 2 that is half the distance from the center point of the element lens. A pixel outside the range is 0. As a result, pixels outside the area that is less than half of the distance p between the element lenses from the center point of the element lens that is closest to the coordinate value (u, v) are ignored in the calculation of the pixel value of the display pixel. This pixel is a calculation target of the pixel value of the display pixel. Therefore, when the factor w ′ (s, t, p) shown in Expression (14) is used, the element lens facing the element pixel may be adopted as the element lens corresponding to the element pixel.
図７は、表示画像の生成に係る仮想カメラ画像の例を示す。図７（ａ）、（ｂ）、（ｃ）は、それぞれ異なる位置に設置された仮想カメラから取得された画像を示す。図７（ａ）、（ｂ）、（ｃ）に示す例では、仮想カメラの座標値（ｃｘ，ｃｙ）は、それぞれ（１．１，−０．１）、（０．０，０．０）、（−１．１，０．１）である。即ち、図７（ａ）に示す画像は、図７（ｂ）に示す画像よりも左下の視点から観察して得られる。図７（ｃ）に示す画像は、図７（ｂ）に示す画像よりも右上の視点から観察して得られる。座標値（ｕ，ｖ）における表示画素に対応する画素であって、図７（ａ）、（ｂ）、（ｃ）に示す画像の画素の画素値ｃｏｌ（ｕ，ｖ） （ｃｘ，ｃｙ）は、それぞれｃｏｌ（ｕ，ｖ） （１．１，―０．１）、ｃｏｌ（ｕ，ｖ） （０，０）、ｃｏｌ（ｕ，ｖ） （―１．１，０．１）と表される。また、座標値（ｕ，ｖ）における表示画素に対応する画素であって、図７（ａ）、（ｂ）、（ｃ）に示す画像の画素の画素値ｃｏｌ（ｕ，ｖ） （ｃｘ，ｃｙ）に対する重み係数ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）は、それぞれｗ（１．１，−０．１，ｒｘ，ｒｙ，ｐ）、ｗ（０，０，ｒｘ，ｒｙ，ｐ）、ｗ（−１．１，０．１，ｒｘ，ｒｙ，ｐ）と表される。上述したように、座標値（ｕ，ｖ）において配置された表示画素の画素値ｃｏｌ（ｕ，ｖ）は、画素値ｃｏｌ（ｕ，ｖ） （１．１，―０．１）と重み係数ｗ（１．１，−０．１，ｒｘ，ｒｙ，ｐ）との積、画素値ｃｏｌ（ｕ，ｖ） （０，０）と重み係数ｗ（０，０，ｒｘ，ｒｙ，ｐ）との積、画素値ｃｏｌ（ｕ，ｖ） （−１．１，０。１）と重み係数ｗ（−１．１，０．１，ｒｘ，ｒｙ，ｐ）との積を仮想カメラ間で加算することによって算出される。 FIG. 7 shows an example of a virtual camera image related to generation of a display image. 7A, 7B, and 7C show images acquired from virtual cameras installed at different positions. In the examples shown in FIGS. 7A, 7B, and 7C, the coordinate values (cx, cy) of the virtual camera are (1.1, −0.1), (0.0, 0.0), respectively. ), (−1.1, 0.1). That is, the image shown in FIG. 7A is obtained by observing from the lower left viewpoint than the image shown in FIG. The image shown in FIG. 7C is obtained by observing from the upper right viewpoint than the image shown in FIG. The pixel value col (u, v) (cx, cy) corresponding to the display pixel at the coordinate value (u, v) and the pixel of the image shown in FIGS. 7 (a), (b), and (c ) Are col (u, v) (1.1, -0.1) , col (u, v) (0 , 0) , col (u, v) (-1.1, 0.1) , respectively. Is done. Also, the pixel corresponding to the display pixel at the coordinate value (u, v), the pixel value col (u, v) (cx, The weight coefficients w (cx, cy, rx, ry, p ) for cy) are w (1.1, -0.1, rx, ry, p) and w (0, 0, rx, ry, p), respectively. , W (−1.1, 0.1, rx, ry, p). As described above, the pixel value col (u, v) of the display pixel arranged at the coordinate value (u, v) is the pixel value col (u, v) (1.1, −0.1) and the weighting factor. The product of w (1.1, −0.1, rx, ry, p), the pixel value col (u, v) (0, 0) and the weighting factor w (0, 0, rx, ry, p) And the product of the pixel value col (u, v) (−1.1, 0.1) and the weight coefficient w (−1.1, 0.1, rx, ry, p) is added between the virtual cameras. It is calculated by doing.
各表示画素の画素値ｃｏｌ（ｕ，ｖ）の計算は、中間画像バッファなどに計算途中のデータを保存せずに、各仮想カメラの画像を構成する画素の画素値のうち、必要な画素値を抽出して実行される。この計算は、表示画素毎に独立になされるため、それらを並列に行うことにより表示画像の生成に係る処理全体が高速化される。 The calculation of the pixel value col (u, v) of each display pixel is a necessary pixel value among the pixel values of the pixels constituting each virtual camera image without storing data being calculated in the intermediate image buffer or the like. Is extracted and executed. Since this calculation is performed independently for each display pixel, the entire processing relating to the generation of the display image is accelerated by performing them in parallel.
（画像生成処理）
次に、本実施形態に係る画像生成処理について説明する。図８は、本実施形態に係る画像生成処理の一例を示すフローチャートである。
（ステップＳ１０１）カメラパラメータ記録手段１１０は、３次元空間における複数の仮想カメラのそれぞれの位置の情報を取得する。その後、ステップＳ１０２の処理に進む。
（ステップＳ１０２）カメラパラメータ記録手段１１０は、取得した仮想カメラのそれぞれの位置から所定の基準点を原点とする相対位置を算出し、算出した相対位置を示す相対位置情報をカメラパラメータとして記録する。その後、ステップＳ１０３の処理に進む。
（ステップＳ１０３）立体ディスプレイパラメータ入力手段１２２は、立体ディスプレイパラメータを取得する。表示画像調整パラメータ入力手段１２３は、表示画像調整パラメータを取得する。表示画像調整パラメータには、レンズ板の取付誤差調整パラメータが含まれる。その後、ステップＳ１０４の処理に進む。
(Image generation processing)
Next, image generation processing according to the present embodiment will be described. FIG. 8 is a flowchart illustrating an example of image generation processing according to the present embodiment.
(Step S <b> 101) The camera parameter recording unit 110 acquires information on the positions of the plurality of virtual cameras in the three-dimensional space. Thereafter, the process proceeds to step S102.
(Step S102) The camera parameter recording unit 110 calculates a relative position with a predetermined reference point as an origin from each position of the acquired virtual camera, and records relative position information indicating the calculated relative position as a camera parameter. Thereafter, the process proceeds to step S103.
(Step S103) The stereoscopic display parameter input means 122 acquires a stereoscopic display parameter. The display image adjustment parameter input unit 123 acquires display image adjustment parameters. The display image adjustment parameter includes a lens plate attachment error adjustment parameter. Thereafter, the process proceeds to step S104.
（ステップＳ１０４）画素値決定手段１４０は、仮想カメラの相対位置情報と仮想カメラ画像データを用いて表示画素毎に画素値決定処理を行うことにより表示画像を示す表示画像データを生成する。画素値決定処理については、後述する。その後、ステップＳ１０５の処理に進む。
（ステップＳ１０５）出力部１５０は、画素値決定手段が生成した表示画像データを立体ディスプレイ装置のディスプレイパネルに出力する。ディスプレイパネルには出力部１５０から供給された表示画像データに基づく表示画像が表示される。その後、図８に示す処理を終了する。
(Step S104) The pixel value determination unit 140 generates display image data indicating a display image by performing pixel value determination processing for each display pixel using the relative position information of the virtual camera and the virtual camera image data. The pixel value determination process will be described later. Thereafter, the process proceeds to step S105.
(Step S105) The output unit 150 outputs the display image data generated by the pixel value determining means to the display panel of the stereoscopic display device. A display image based on the display image data supplied from the output unit 150 is displayed on the display panel. Thereafter, the process shown in FIG.
次に、本実施形態に係る画素値決定処理について説明する。
図９に示す処理は、図８のステップＳ１０４において実行される。
図９は、本実施形態に係る画素値決定処理の一例を示すフローチャートである。
（ステップＳ１１１）画素値決定手段１４０は、表示画像を構成する表示画素毎にその座標値（ｕ，ｖ）を画素を単位とする座標値（Ｐｘ，Ｐｙ）に変換する。その後、ステップＳ１１２の処理に進む。
（ステップＳ１１２）画素値決定手段１４０は、座標値（ｕ，ｖ）を、画素を単位とする座標値（Ｐｘ，Ｐｙ）に変換し、変換した座標値（Ｐｘ，Ｐｙ）を、表示画像調整パラメータを用いて座標値（Ｐｘ’，Ｐｙ’）に補正する。その後、ステップＳ１１３の処理に進む。
（ステップＳ１１３）画素値決定手段１４０は、補正した座標値（Ｐｘ’，Ｐｙ’）で表される表示画素の位置を、その領域に含む要素レンズを特定する。その後、ステップＳ１１４の処理に進む。
Next, pixel value determination processing according to the present embodiment will be described.
The process shown in FIG. 9 is executed in step S104 of FIG.
FIG. 9 is a flowchart illustrating an example of a pixel value determination process according to the present embodiment.
(Step S111) The pixel value determining means 140 converts the coordinate value (u, v) for each display pixel constituting the display image into a coordinate value (Px, Py) in units of pixels. Thereafter, the process proceeds to step S112.
(Step S112) The pixel value determining means 140 converts the coordinate value (u, v) into a coordinate value (Px, Py) in units of pixels, and the converted coordinate value (Px, Py) is adjusted for display image adjustment. The coordinate values (Px ′, Py ′) are corrected using the parameters. Thereafter, the process proceeds to step S113.
(Step S113) The pixel value determining unit 140 specifies an element lens that includes the position of the display pixel represented by the corrected coordinate values (Px ′, Py ′) in the area. Thereafter, the process proceeds to step S114.
（ステップＳ１１４）画素値決定手段１４０は、座標値（Ｐｘ’，Ｐｙ’）特定した要素レンズに係るレンズ中心座標系の座標値（ｒｘ、ｒｙ）に変換する。その後、ステップＳ１１５の処理に進む。
（ステップＳ１１５）画素値決定手段１４０は、各仮想カメラからの画像のうち、表示画素の座標値（ｕ，ｖ）に対応する位置に配置された画素の画素値を取得する。その後、ステップＳ１１６の処理に進む。
（ステップＳ１１６）画素値決定手段１４０は、各仮想カメラの相対位置（ｃｘ，ｃｙ）と表示画素の座標値（ｒｘ、ｒｙ）に基づいて、その仮想カメラの対応する画素に対する重み係数ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）を算出する。その後、ステップＳ１１７の処理に進む。
(Step S114) The pixel value determining means 140 converts the coordinate value (Px ′, Py ′) into the coordinate value (rx, ry) of the lens center coordinate system related to the identified element lens. Thereafter, the process proceeds to step S115.
(Step S115) The pixel value determination means 140 acquires the pixel value of the pixel arranged at the position corresponding to the coordinate value (u, v) of the display pixel in the image from each virtual camera. Thereafter, the process proceeds to step S116.
(Step S116) The pixel value determining means 140, based on the relative position (cx, cy) of each virtual camera and the coordinate value (rx, ry) of the display pixel, the weight coefficient w (cx) for the corresponding pixel of the virtual camera. , Cy, rx, ry, p). Thereafter, the process proceeds to step S117.
（ステップＳ１１７）画素値決定手段１４０は、各仮想カメラにおいて取得される画像のうち、表示画像の座標値（ｕ、ｖ）で表される位置に配置される画素の画素値ｃｏｌ（ｕ，ｖ） （ｃｘ，ｃｙ）と、この画素に対する重み値ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）との積を算出し、算出した積を仮想カメラ間で加算して、その表示画素の画素値ｃｏｌ（ｕ，ｖ）を表示画素毎に定める。画素値決定手段１４０は、表示画素毎の画素値を表す表示画像データを生成する。その後、ステップＳ１０５（図８）の処理に進む。 (Step S117) The pixel value determining means 140 is the pixel value col (u, v ) of the pixel arranged at the position represented by the coordinate value (u, v) of the display image among the images acquired by each virtual camera. ) Calculate the product of (cx, cy) and the weight value w (cx, cy, rx, ry, p) for this pixel, add the calculated products between the virtual cameras, and obtain the pixel value of the display pixel col (u, v) is determined for each display pixel. The pixel value determining unit 140 generates display image data representing the pixel value for each display pixel. Thereafter, the process proceeds to step S105 (FIG. 8).
以上に説明したように、本実施形態に係る画像生成装置１０は、画像表示部（ディスプレイパネル）が複数の要素レンズを配列してなるレンズ板に対面して配置された画像表示装置に表示させる表示画像を生成する。画像生成装置１０は、各視点の仮想カメラ画像を取得する仮想カメラ画像取得手段１２１を備える。また、画像生成装置１０は、表示画像の画素である表示画素に対応する要素レンズを特定し、表示画素と同じ位置の仮想カメラ画像の画素の画素値を、その表示画素の位置とその仮想カメラ画像の視点の位置に基づく重み係数を乗じて得られる値を仮想カメラ画像間で合成して表示画素の画素値を算出する画素値決定手段１４０を備える。
この構成により、表示画像を構成する表示画素と同じ位置の仮想カメラ画像の画素の画素値と、その表示画素に対応する要素レンズの位置を基準とする表示画像の位置と仮想カメラ画像の視点により定めた重み係数を用いて、その表示画素の画素値が算出される。仮想カメラ画像に基づいて中間画像を生成せずに表示画像を直接生成することが可能となるので、表示画像の生成を高速化し、メモリ利用効率を向上させることができる。また、表示画素の画素値が表示画素間で独立に算出されるので、これらの演算を並列に処理することで、表示画像の生成をさらに高速化することができる。また、高速化に伴い仮想カメラの数の増加が許容されるので、仮想カメラ画像を取得する視点がより密に設定されることで視認される像の画質が向上する。そのため、通常のテレビジョン番組などの一方向的なメディアに限らず、コンピュータゲーム、ビデオ通信などインタラクティブメディアへの画像表示装置による立体像の応用が促進される。
As described above, the image generation device 10 according to the present embodiment causes the image display unit (display panel) to display on the image display device disposed facing the lens plate formed by arranging a plurality of element lenses. Generate a display image. The image generation apparatus 10 includes virtual camera image acquisition means 121 that acquires a virtual camera image of each viewpoint. Further, the image generation device 10 identifies an element lens corresponding to a display pixel that is a pixel of the display image, and determines the pixel value of the pixel of the virtual camera image at the same position as the display pixel, and the position of the display pixel and the virtual camera. A pixel value determining unit 140 is provided that calculates a pixel value of a display pixel by synthesizing values obtained by multiplying a weighting factor based on the position of the viewpoint of the image between the virtual camera images.
With this configuration, the pixel value of the pixel of the virtual camera image at the same position as the display pixel constituting the display image, the position of the display image based on the position of the element lens corresponding to the display pixel, and the viewpoint of the virtual camera image The pixel value of the display pixel is calculated using the determined weight coefficient. Since it is possible to directly generate a display image without generating an intermediate image based on the virtual camera image, it is possible to speed up the generation of the display image and improve the memory utilization efficiency. Further, since the pixel value of the display pixel is calculated independently between the display pixels, the generation of the display image can be further speeded up by processing these operations in parallel. Further, since the increase in the number of virtual cameras is allowed as the speed is increased, the image quality of the visually recognized image is improved by setting the viewpoint for acquiring the virtual camera images more densely. Therefore, the application of a stereoscopic image by an image display device to an interactive medium such as a computer game and video communication is promoted as well as a unidirectional medium such as a normal television program.
画素値決定手段１４０は、複数の要素レンズのうち表示画素に最も近接した要素レンズをその表示画素に対応する要素レンズとして特定する。また、画素値決定手段１４０が定める重み係数は、所定の値域内に正規化され、その表示画素の位置が特定された要素レンズの中心点から離れているほど大きい値であることを特徴とする。
この構成により、算出される画素値に対する仮想カメラ画像の成分が表示画素間において平滑化される。そのため、表示画像において要素レンズの間隔よりも微細な成分によるアーチファクトが軽減又は解消されるので、視認される像の画質が向上する。
The pixel value determination unit 140 identifies the element lens closest to the display pixel among the plurality of element lenses as the element lens corresponding to the display pixel. Further, the weighting coefficient determined by the pixel value determining means 140 is normalized within a predetermined value range, and the weighting coefficient is larger as the position of the display pixel is farther from the center point of the specified element lens. .
With this configuration, the component of the virtual camera image corresponding to the calculated pixel value is smoothed between display pixels. For this reason, artifacts due to components finer than the interval between the element lenses in the display image are reduced or eliminated, so that the image quality of the visually recognized image is improved.
また、画素値決定手段１４０は、レンズ板の取付誤差調整パラメータに基づいてレンズ板を構成する複数の要素レンズの座標を補正し、補正した座標に基づいて表示画素に対応する要素レンズを特定することを特徴とする。
この構成により、取付誤差調整パラメータに基づいて補正された位置に応じて表示画素に対応する要素レンズが特定され、特定された要素レンズの位置に応じた重み係数、ひいてはその表示画素の画素値が得られる。そのため、レンズ板の取付誤差の調整に伴って変更した取付誤差調整パラメータに対応する画素値で示される表示画像が即座に得られる。表示画像による立体像を観察しながら取付誤差調整パラメータをインタラクティブに調整することができるので、取付誤差調整パラメータの校正に係る作業能率を向上させることができる。
Further, the pixel value determining unit 140 corrects the coordinates of a plurality of element lenses constituting the lens plate based on the lens plate attachment error adjustment parameter, and specifies the element lens corresponding to the display pixel based on the corrected coordinates. It is characterized by that.
With this configuration, the element lens corresponding to the display pixel is specified according to the position corrected based on the attachment error adjustment parameter, and the weighting coefficient according to the position of the specified element lens, and thus the pixel value of the display pixel is determined. can get. Therefore, a display image indicated by the pixel value corresponding to the attachment error adjustment parameter that has been changed along with the adjustment of the attachment error of the lens plate can be obtained immediately. Since the attachment error adjustment parameter can be adjusted interactively while observing the stereoscopic image by the display image, the work efficiency related to the calibration of the attachment error adjustment parameter can be improved.
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。 As described above, the embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to the above, and various design changes and the like can be made without departing from the scope of the present invention. It is possible to
例えば、上述したレンズ板は、単位図形が正三角形である三角格子の各格子点上に、それぞれの要素レンズの中心点を配置して形成される場合を例にしたが、これには限られない。要素レンズの中心点は、所定の周期をもって空間的に繰り返される平行移動対称性を有する格子の各格子点に配置されればよい。そのような格子には、例えば、正方格子、矩形格子、二等辺三角格子などがある。各要素レンズの主面の形状は、円形に限られず、例えば、長方形、三角形などであってもよい。 For example, the above-described lens plate has been described as an example in which the center point of each element lens is arranged on each lattice point of a triangular lattice whose unit figure is a regular triangle. Absent. The center point of the element lens may be arranged at each lattice point of a lattice having parallel movement symmetry that is spatially repeated with a predetermined period. Examples of such a lattice include a square lattice, a rectangular lattice, and an isosceles triangular lattice. The shape of the main surface of each element lens is not limited to a circle, and may be, for example, a rectangle or a triangle.
また、上述した画像生成装置１０の一部又は全部は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのデータ処理、特に並列処理を実行可能な集積回路を備えたコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、画像生成装置１０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における画像生成装置１０の一部又は全部をＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。画像生成装置１０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
Further, part or all of the image generation apparatus 10 described above may be realized by a computer including an integrated circuit capable of executing data processing such as GPU (Graphics Processing Unit), particularly parallel processing. In that case, the program for realizing the control function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by the computer system and executed. Here, the “computer system” is a computer system built in the image generation apparatus 10 and includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” is a medium that dynamically holds a program for a short time, such as a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line, In this case, a volatile memory inside a computer system that serves as a server or a client may be included that holds a program for a certain period of time. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
Further, a part or all of the image generation apparatus 10 in the above-described embodiment may be realized as an integrated circuit such as an LSI (Large Scale Integration). Each functional block of the image generation apparatus 10 may be individually made into a processor, or a part or all of them may be integrated into a processor. Further, the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. In addition, when an integrated circuit technology that replaces LSI appears due to the advancement of semiconductor technology, an integrated circuit based on the technology may be used.
１０…画像生成装置、１１０…カメラパラメータ記録手段、１２０…入力部、１２１…仮想カメラ画像取得手段、１２２…立体ディスプレイパラメータ入力手段、１２３…表示画像調整パラメータ入力手段、１３０…カメラパラメータ・仮想カメラ画像関連付け手段、１４０…画素値決定手段、１５０…出力部 DESCRIPTION OF SYMBOLS 10 ... Image generation apparatus, 110 ... Camera parameter recording means, 120 ... Input part, 121 ... Virtual camera image acquisition means, 122 ... Three-dimensional display parameter input means, 123 ... Display image adjustment parameter input means, 130 ... Camera parameter and virtual camera Image association means, 140 ... pixel value determination means, 150 ... output unit
Claims (4)
各視点の仮想カメラ画像を取得する仮想カメラ画像取得手段と、
前記表示画像の画素である表示画素に対応する要素レンズを特定し、
前記表示画素と同じ位置の仮想カメラ画像の画素の画素値を、前記表示画素の位置と前記仮想カメラ画像の位置に基づく重み係数を乗じて得られる値を仮想カメラ画像間で合成して前記表示画素の画素値を算出する画素値決定手段と、
を備える画像生成装置。 An image generating device that generates a display image to be displayed on an image display device arranged so as to face a lens plate in which a display unit that displays an image is arranged with a plurality of element lenses,
Virtual camera image acquisition means for acquiring a virtual camera image of each viewpoint;
Identifying an element lens corresponding to a display pixel that is a pixel of the display image;
A value obtained by multiplying a pixel value of a pixel of the virtual camera image at the same position as the display pixel by a weighting factor based on the position of the display pixel and the position of the virtual camera image is synthesized between the virtual camera images and the display Pixel value determining means for calculating a pixel value of the pixel;
An image generation apparatus comprising:
前記複数の要素レンズのうち前記表示画素に最も近接した要素レンズを前記表示画素に対応する要素レンズとして特定し、
前記重み係数は、所定の値域内に正規化され、前記表示画素の位置が特定された前記要素レンズの中心点から離れているほど大きい値である
ことを特徴とする請求項１に記載の画像生成装置。 The pixel value determining means includes
Specifying the element lens closest to the display pixel among the plurality of element lenses as an element lens corresponding to the display pixel;
2. The image according to claim 1, wherein the weighting factor is normalized within a predetermined value range, and becomes a larger value as the position of the display pixel is farther from the specified center point of the element lens. Generator.
前記レンズ板の取付誤差調整パラメータに基づいて前記複数の要素レンズの座標を補正し、
補正した前記座標に基づいて前記表示画素に対応する要素レンズを特定する
ことを特徴とする請求項１又は請求項２に記載の画像生成装置。 The pixel value determining means includes
Correcting the coordinates of the plurality of element lenses based on the mounting error adjustment parameter of the lens plate,
The image generation apparatus according to claim 1, wherein an element lens corresponding to the display pixel is specified based on the corrected coordinates.
各視点の仮想カメラ画像を取得する仮想カメラ画像取得手段と、
前記表示画像の画素である表示画素に対応する要素レンズを特定し、
前記表示画素と同じ位置の仮想カメラ画像の画素の画素値を、前記表示画素の位置と前記仮想カメラ画像の位置に基づく重み係数を乗じて得られる値を仮想カメラ画像間で合成して前記表示画素の画素値を算出する画素値決定手段と、
を備える画像生成装置として、コンピュータに機能させるためのプログラム。 An image generating device that generates a display image to be displayed on an image display device arranged so as to face a lens plate in which a display unit that displays an image is arranged with a plurality of element lenses,
Virtual camera image acquisition means for acquiring a virtual camera image of each viewpoint;
Identifying an element lens corresponding to a display pixel that is a pixel of the display image;
A value obtained by multiplying a pixel value of a pixel of the virtual camera image at the same position as the display pixel by a weighting factor based on the position of the display pixel and the position of the virtual camera image is synthesized between the virtual camera images and the display Pixel value determining means for calculating a pixel value of the pixel;
A program for causing a computer to function as an image generation apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016185972A JP6768431B2 (en) | 2016-09-23 | 2016-09-23 | Image generator and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016185972A JP6768431B2 (en) | 2016-09-23 | 2016-09-23 | Image generator and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018050253A true JP2018050253A (en) | 2018-03-29 |
| JP6768431B2 JP6768431B2 (en) | 2020-10-14 |
Family
ID=61767858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016185972A Active JP6768431B2 (en) | 2016-09-23 | 2016-09-23 | Image generator and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6768431B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021111859A (en) * | 2020-01-09 | 2021-08-02 | 日本放送協会 | Stereoscopic image generation device and program thereof |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006162945A (en) * | 2004-12-07 | 2006-06-22 | Hitachi Displays Ltd | Stereoscopic display apparatus |
| JP2012084105A (en) * | 2010-10-15 | 2012-04-26 | Nippon Hoso Kyokai <Nhk> | Stereoscopic image generation device and program therefor |
| JP2013196532A (en) * | 2012-03-22 | 2013-09-30 | Nippon Hoso Kyokai <Nhk> | Three-dimensional model/integral image conversion device and program thereof |
| JP2014107752A (en) * | 2012-11-28 | 2014-06-09 | Nippon Hoso Kyokai <Nhk> | Photographing apparatus and display device |
-
2016
- 2016-09-23 JP JP2016185972A patent/JP6768431B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006162945A (en) * | 2004-12-07 | 2006-06-22 | Hitachi Displays Ltd | Stereoscopic display apparatus |
| JP2012084105A (en) * | 2010-10-15 | 2012-04-26 | Nippon Hoso Kyokai <Nhk> | Stereoscopic image generation device and program therefor |
| JP2013196532A (en) * | 2012-03-22 | 2013-09-30 | Nippon Hoso Kyokai <Nhk> | Three-dimensional model/integral image conversion device and program thereof |
| JP2014107752A (en) * | 2012-11-28 | 2014-06-09 | Nippon Hoso Kyokai <Nhk> | Photographing apparatus and display device |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021111859A (en) * | 2020-01-09 | 2021-08-02 | 日本放送協会 | Stereoscopic image generation device and program thereof |
| JP7437941B2 (en) | 2020-01-09 | 2024-02-26 | 日本放送協会 | Stereoscopic image generation device and its program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6768431B2 (en) | 2020-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3163535B1 (en) | Wide-area image acquisition method and device | |
| JP5340952B2 (en) | 3D projection display | |
| JP4065488B2 (en) | 3D image generation apparatus, 3D image generation method, and storage medium | |
| CN104155765B (en) | The method and apparatus of revision for 3-D image in spliced integration imaging display | |
| TW201715880A (en) | An image calibrating, composing and depth rebuilding method of a panoramic fish-eye camera and a system thereof | |
| RU2453922C2 (en) | Method of displaying original three-dimensional scene based on results of capturing images in two-dimensional projection | |
| JP2009518877A (en) | Method and system for acquiring and displaying a three-dimensional light field | |
| JP2009037301A (en) | Method for generating free viewpoint image by local area division | |
| JP4764624B2 (en) | Stereoscopic display device and stereoscopic image generation method | |
| KR100897542B1 (en) | Method and Device for Rectifying Image in Synthesizing Arbitary View Image | |
| JP2012186755A (en) | Image processing device, image processing method, and program | |
| JP5522794B2 (en) | Stereoscopic image generating apparatus and program thereof | |
| JP5809607B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5452801B2 (en) | Stereoscopic image generating apparatus and program thereof | |
| KR20200144097A (en) | Light field image generation system, image display system, shape information acquisition server, image generation server, display device, light field image generation method and image display method | |
| JP2017011520A (en) | Stereoscopic image depth conversion device and program therefor | |
| CN110969706B (en) | Augmented reality device, image processing method, system and storage medium thereof | |
| JP7416573B2 (en) | Stereoscopic image generation device and its program | |
| JP6846165B2 (en) | Image generator, image display system and program | |
| KR101208767B1 (en) | Stereoscopic image generation method, device and system using circular projection and recording medium for the same | |
| JP6768431B2 (en) | Image generator and program | |
| JPH1097642A (en) | Image processing method, its device and storage medium | |
| Gurrieri et al. | Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos | |
| JP2006211383A (en) | Stereoscopic image processing apparatus, stereoscopic image display apparatus, and stereoscopic image generating method | |
| JP2018133064A (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181026 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190730 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200604 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200609 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200807 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200825 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200923 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6768431 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |