JP2007081873A - Apparatus and method for image generation, and program - Google Patents
Apparatus and method for image generation, and program Download PDFInfo
- Publication number
- JP2007081873A JP2007081873A JP2005267520A JP2005267520A JP2007081873A JP 2007081873 A JP2007081873 A JP 2007081873A JP 2005267520 A JP2005267520 A JP 2005267520A JP 2005267520 A JP2005267520 A JP 2005267520A JP 2007081873 A JP2007081873 A JP 2007081873A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- intersection
- value
- determined
- image generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 254
- 238000012545 processing Methods 0.000 claims abstract description 49
- 230000008569 process Effects 0.000 claims description 77
- 230000003287 optical effect Effects 0.000 claims description 62
- 238000009877 rendering Methods 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 29
- 230000008859 change Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 32
- 230000014509 gene expression Effects 0.000 description 20
- 230000009466 transformation Effects 0.000 description 19
- 230000000007 visual effect Effects 0.000 description 19
- 238000003860 storage Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000005070 sampling Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000003491 array Methods 0.000 description 6
- 230000004888 barrier function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 101100136063 Mycobacterium tuberculosis (strain ATCC 25618 / H37Rv) PE11 gene Proteins 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 101100136064 Mycobacterium tuberculosis (strain ATCC 25618 / H37Rv) PE13 gene Proteins 0.000 description 1
- -1 PE12 Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000020509 sex determination Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、画素を配置した画素パネルと、該画素パネルの各画素の光線に指向性を与える光学素子群とを備えた立体視映像表示装置に表示させる、所与のプリミティブ面が配置された三次元仮想空間の立体視画像を生成する画像生成装置等に関する。 According to the present invention, a given primitive surface is arranged to be displayed on a stereoscopic video display device including a pixel panel in which pixels are arranged and an optical element group that gives directivity to the light rays of each pixel of the pixel panel. The present invention relates to an image generation device that generates a stereoscopic image in a three-dimensional virtual space.
従来から知られているとおり、LCD等のフラットパネルディスプレイとレンズアレイ(例えば、レンチキュラレンズアレイや蝿の目レンズアレイ)やバリアアレイ(例えば、パララックスバリアアレイやピンホールアレイ)等の光学素子群を組み合わせることで立体視映像表示装置を作成することができる。その方式には、多眼方式(2眼を含む)や超多眼方式、IP(Integral Photography)方式、光線再生法等が知られており、例えば非特許文献1や非特許文献2に開示されている。
多眼方式では、図43に示すように、立体視画像が表示された表示面の各画素から射出され、光学素子群(同図では、レンチキュラレンズアレイ)により指向性が与えられた光線が、設定された複数(同図では、4つ)の視点位置に集まるように設計されている。そして、解像度は光学素子のピッチに依存し、視点(ビュー)の数は画素ピッチと光学素子のピッチとの比に依存している。そのため、視点数が少ない多眼方式においては、各視点での解像度は比較的高いが、視点数が少ないため自然な立体感が得られないという欠点があった。 In the multi-view method, as shown in FIG. 43, the light beam emitted from each pixel of the display surface on which the stereoscopic image is displayed and given directivity by the optical element group (the lenticular lens array in the figure) It is designed to gather at a plurality of set viewpoint positions (four in the figure). The resolution depends on the pitch of the optical element, and the number of viewpoints (views) depends on the ratio between the pixel pitch and the pitch of the optical element. For this reason, the multi-view method with a small number of viewpoints has a drawback that a natural stereoscopic effect cannot be obtained because the number of viewpoints is small although the resolution at each viewpoint is relatively high.
そこで、多眼方式を改良し、左右両眼の視差の内側にも非常に多くの視点を設定することで自然な立体感を得られるようにしたものが、図44に示す超多眼方式である。しかし、超多眼方式では、視点数を非常に多くした結果、解像度の低下が著しいという欠点があり、満足な解像度を得るためには非常に高解像度な画素パネルを用いる必要があった。即ち、解像度と視点数とがトレードオフの関係にあった。 Therefore, the super multi-view method shown in FIG. 44 is an improvement of the multi-view method so that a natural stereoscopic effect can be obtained by setting very many viewpoints inside the parallax between the left and right eyes. is there. However, the super multi-view system has a drawback that the resolution is remarkably reduced as a result of increasing the number of viewpoints, and it is necessary to use a very high resolution pixel panel in order to obtain a satisfactory resolution. That is, the resolution and the number of viewpoints have a trade-off relationship.
また、多眼方式及び超多眼方式では、想定した複数の視点位置それぞれから描画を行う(画像を生成する)こととしていた。このため、光学素子のピッチと画素ピッチとが正確に合うように設計を行う必要があった。 In the multi-view method and the super-multi-view method, drawing is performed (generating an image) from each of a plurality of assumed viewpoint positions. For this reason, it is necessary to design the optical element so that the pitch of the optical element and the pixel pitch exactly match.
IP(Integral Photography)方式及び光線再生法では、図45、46に示すように、各画素から射出され、光学素子群により指向性を与えられた光線が、物体のサンプリングされた点群に集まるように設計されており、これを、更に遠くの視点から観察することによって立体視を実現している。図45はIP方式の場合を示しており、図46は光線再生法の場合を示している。 In the IP (Integral Photography) method and the ray reproduction method, as shown in FIGS. 45 and 46, rays emitted from each pixel and given directivity by the optical element group are collected at the sampled point group of the object. The stereoscopic view is realized by observing this from a further distant viewpoint. FIG. 45 shows the case of the IP system, and FIG. 46 shows the case of the light beam reproduction method.
そして、解像度は、物体のサンプリング点の数に依存し、各サンプリング点の視線数は、そのサンプリング点に集まる光線の数に依存している。つまり、サンプリング点の数が少ない程、各サンプリング点に多くの光線を集めることができ、自然な立体感の再現が可能となるが、サンプリング点が少ないために解像度が低くなる。また、解像度を高くするためサンプリング点の数を増加させると、各サンプリング点には少数の光線しか集めることができず、自然な立体視が不可能となる。 The resolution depends on the number of sampling points of the object, and the number of lines of sight at each sampling point depends on the number of rays collected at the sampling point. In other words, the smaller the number of sampling points, the more light rays can be collected at each sampling point, and a natural three-dimensional effect can be reproduced. However, since the sampling points are small, the resolution is lowered. Further, if the number of sampling points is increased in order to increase the resolution, only a small number of light beams can be collected at each sampling point, and natural stereoscopic vision becomes impossible.
特に、IP方式では、図45に示すように、自然な距離感を観察できる位置が描画面(立体視画像の表示面)に平行な結像面に限られ、それ以外の位置での物体の距離感は不自然に観察される。一方、光線再生法は、IP方式に比較して自由な距離で結像を行うことができるものである。 In particular, in the IP method, as shown in FIG. 45, the position where a natural sense of distance can be observed is limited to an image plane parallel to the drawing plane (stereoscopic image display plane), and the object at other positions can be observed. A sense of distance is observed unnaturally. On the other hand, the light beam reproduction method can form an image at a free distance as compared with the IP method.
また、IP方式には、レンズアレイを用いるものとピンホールアレイを用いるものとがあるが、図45に示したように、レンズアレイを用いた場合には、描画面と結像面との間の距離がレンズの焦点距離に依存する。即ち、図47に示すように、レンズの焦点面と表示面との間の距離をA、レンズの焦点面と結像面との間の距離をB、レンズの焦点距離をFとすると、良く知られているように、次式の関係があるため、結像位置(描画面からの距離)を同時に2つ以上設定することができない。
(1/A)+(1/B)=(1/F)
In addition, IP systems include those using a lens array and those using a pinhole array. As shown in FIG. 45, when a lens array is used, there is a gap between the drawing surface and the imaging surface. Depends on the focal length of the lens. That is, as shown in FIG. 47, if the distance between the focal plane of the lens and the display plane is A, the distance between the focal plane of the lens and the imaging plane is B, and the focal distance of the lens is F, As is known, since there is a relationship represented by the following expression, two or more imaging positions (distances from the drawing surface) cannot be set at the same time.
(1 / A) + (1 / B) = (1 / F)
一方、光線再生法は、図46に示すように、レンズアレイでなくピンホールアレイを用いていることで、結像距離を同時に2つ以上設定することができる(同図では、2つ)が、ピンホールアレイを用いているために画面が暗く、点列が並んだような映像となってしまう欠点がある。 On the other hand, as shown in FIG. 46, the light beam reproduction method uses a pinhole array instead of a lens array, so that two or more imaging distances can be set simultaneously (two in the figure). Since the pinhole array is used, there is a drawback that the screen is dark and the image is like a sequence of dots.
また、IP方式及び光線再生法では、原理上、非常に多くの光線を集める必要があるため、サンプリング点が疎ら、即ち解像度の低いものが一般的である。つまり、満足な解像度を得るためには、超多眼方式の場合と同様に、非常に高解像度な画素パネルを用いる必要があった。即ち、多眼方式や超多眼方式とは尺度が異なるが、解像度と視点数とがトレードオフの関係にあったといえる。 Further, in the IP method and the light beam reproducing method, since it is necessary to collect a very large number of light beams in principle, sampling points are generally sparse, that is, those having low resolution. That is, in order to obtain a satisfactory resolution, it is necessary to use a pixel panel with a very high resolution, as in the super multi-view system. That is, although the scale is different from the multi-view method and the super multi-view method, it can be said that the resolution and the number of viewpoints have a trade-off relationship.
また、IP方式及び光線再生法では、各結像位置と各光学素子の位置関係、或いは、各結像位置と各画素との位置関係によって視線(視点)の位置及び方向を決定していた。具体的には、光学素子群を先に用意し、視線を結像位置と各光学素子の位置関係で決定する場合には、光学素子群に合わせて画素の配置を決定せねばならない。また、画素パネルを先に用意し、視線を各結像位置と各画素との位置関係で決定する場合には、画素パネルに合わせて光学素子群の配置を決定せねばならない。何れにしても、光学素子のピッチと画素のピッチを合わせる設計を行う必要があった。 In the IP method and the light beam reproduction method, the position and direction of the line of sight (viewpoint) are determined based on the positional relationship between each imaging position and each optical element or the positional relationship between each imaging position and each pixel. Specifically, when an optical element group is prepared first and the line of sight is determined based on the positional relationship between the imaging position and each optical element, the pixel arrangement must be determined in accordance with the optical element group. In addition, when a pixel panel is prepared first and the line of sight is determined by the positional relationship between each imaging position and each pixel, the arrangement of the optical element group must be determined in accordance with the pixel panel. In any case, it is necessary to design to match the pitch of the optical elements with the pitch of the pixels.
何れの方式にせよ、従来の立体視映像表示装置では、光学素子群の光学素子ピッチと画素パネルの画素ピッチとを合わせる必要があり、光学素子群と画素パネルのどちらのピッチを他方に合わせて決定するかは、主に、両者のコスト関係によって決定される。 In any method, in the conventional stereoscopic video display device, it is necessary to match the optical element pitch of the optical element group and the pixel pitch of the pixel panel, and either pitch of the optical element group or the pixel panel is adjusted to the other. The decision is mainly based on the cost relationship between the two.
例えば、古くから知られている、立体視画像を印刷した印刷物(紙やプラスチックカード等)とレンチキュラレンズアレイ等の光学素子を組み合わせた立体視用の印刷加工物においては、立体視画像が印刷された印刷物の印刷面に光学素子群(レンズアレイやバリアアレイ等)が貼付等して装着されており、印刷物に印刷された立体視画像の各ドットの反射光線が光学素子群によって指向性が与えられることで立体視が実現される。このような印刷加工物の場合には、印刷する立体視画像のドットの配置変更が容易であるため、光学素子群に合わせて印刷する立体視画像のドットのピッチが決定される。また、コンピュータのディスプレイ等を画素パネルとして用いる場合には、その画素ピッチに合わせた専用の光学素子群(例えば、レンチキュラレンズアレイ)を設計・製作して用いていた。 For example, a stereoscopic image printed on a combination of a printed material (such as paper or plastic card) on which a stereoscopic image is printed and an optical element such as a lenticular lens array, which has been known for a long time, is printed. An optical element group (lens array, barrier array, etc.) is attached to the printed surface of the printed material, and the reflected light of each dot of the stereoscopic image printed on the printed material is given directivity by the optical element group. As a result, stereoscopic vision is realized. In the case of such a printed product, it is easy to change the arrangement of the dots of the stereoscopic image to be printed, and therefore the pitch of the dots of the stereoscopic image to be printed is determined according to the optical element group. In addition, when a computer display or the like is used as a pixel panel, a dedicated optical element group (for example, a lenticular lens array) that matches the pixel pitch is designed and manufactured.
そこで、従来の立体視の方式のような視点の数と映像解像度とのトレードオフの関係を打破し、自然な立体感と高い解像度を両立させることのできる新しい立体視の方式(以下、「FV(フラクショナル・ビュー)方式」と呼ぶ)を発明した。 Therefore, a new stereoscopic method (hereinafter referred to as “FV”) that breaks the trade-off relationship between the number of viewpoints and the video resolution as in the conventional stereoscopic method and achieves both a natural stereoscopic effect and a high resolution. (Fractional view) method ") was invented.
図18〜42を参照して、このFV方式について詳細に説明する。尚、各図面では、光線の方向を明確に示すためにあえてハッチングを描いていない。また、以下では、光学素子群としてレンチキュラレンズアレイを用いた立体視画像を生成する場合について説明するが、これに限定されるものではない。 The FV method will be described in detail with reference to FIGS. In each drawing, hatching is not drawn in order to clearly show the direction of light rays. Hereinafter, a case where a stereoscopic image using a lenticular lens array as an optical element group is generated will be described. However, the present invention is not limited to this.
〔FV方式による立体視画像の生成原理〕
図18は、FV方式における立体視画像生成の概要を示す図であり、表示面22に対する垂直断面図を示している。FV方式では、表示面22の画素PE毎に、(1)該画素PEの代表点(例えば、画素PEの中心)と該画素PEに対応するレンズ(光学素子)の主点とを通過した後の光線の逆方向を視線方向とする視線Vを決定し、(2)決定した視線Vの視線方向にある物体の色情報を該画素PEの色情報とする(レンダリング)ことで立体視画像を生成する。
[Principle of generating stereoscopic image by FV method]
FIG. 18 is a diagram showing an outline of stereoscopic image generation in the FV method, and shows a vertical sectional view with respect to the
(1)視線Vの決定
視線Vは、立体視画像を表示させることとなる立体視映像表示装置の構成パラメータ(後述するように、画素パネルとレンズ板との相対的な配置関係や画素パネルの画素ピッチ、レンズ板のレンズピッチや焦点距離等)と、想定した観察者の位置(以下、「想定観察位置」と呼ぶ。)とに基づいて決定する。具体的には、画素PE毎に、表示装置の構成パラメータ及び想定観察位置に基づいて該画素PEに対応するレンズ(光学素子)を決定し、該画素PEの代表点と決定した該画素PEに対応するレンズの主点とを通過した後の光線(代表光線)を算出する。そして、その代表光線PRと位置は同じで方向を逆にした視線を該画素の視線Vとして決定する。尚、想定観察位置は、立体視映像表示装置の表示面に対する相対的な観察者の視点の位置とする。
(1) Determination of the line of sight V The line of sight V is a configuration parameter of a stereoscopic video display device that displays a stereoscopic image (as will be described later, the relative arrangement relationship between the pixel panel and the lens plate, The pixel pitch, the lens pitch of the lens plate, the focal length, and the like) and an assumed observer position (hereinafter referred to as “assumed observation position”) are determined. Specifically, for each pixel PE, a lens (optical element) corresponding to the pixel PE is determined based on the configuration parameter and the assumed observation position of the display device, and the pixel PE determined as the representative point of the pixel PE is determined. A ray (representative ray) after passing through the corresponding principal point of the lens is calculated. Then, the line of sight having the same position as that of the representative light ray PR and having the direction reversed is determined as the line of sight V of the pixel. The assumed observation position is the position of the observer's viewpoint relative to the display surface of the stereoscopic video display device.
ここで、立体視映像表示装置について説明する。ここでは、レンチキュラ方式の立体視映像表示装置に表示させる立体視画像を生成する。レンチキュラ方式の立体視映像表示装置とは、光学素子群としてレンチキュラレンズアレイを用いた立体視映像表示装置であり、平面液晶ディスプレイ等のフラットパネルディスプレイの表示面から一定の距離にレンチキュラレンズアレイが装着され、観察者がレンチキュラレンズアレイを介して表示面に表示された画像を見る(観察する)ことで、観察者に立体視を認識せしめる表示装置である。 Here, the stereoscopic video display device will be described. Here, a stereoscopic image to be displayed on the lenticular stereoscopic image display device is generated. A lenticular stereoscopic image display device is a stereoscopic image display device that uses a lenticular lens array as an optical element group, and the lenticular lens array is mounted at a certain distance from the display surface of a flat panel display such as a flat liquid crystal display. The display device allows the observer to recognize stereoscopic vision by viewing (observing) the image displayed on the display surface via the lenticular lens array.
また、立体視映像表示装置は、表示面とレンチキュラレンズアレイとの配置関係によって、(A)垂直レンチキュラ方式、(B)斜めレンチキュラ方式、の2種類に分類される。 Stereoscopic image display devices are classified into two types, (A) vertical lenticular method and (B) oblique lenticular method, depending on the arrangement relationship between the display surface and the lenticular lens array.
(A)垂直レンチキュラ方式の立体視映像表示装置
図19は、垂直レンチキュラ方式の立体視映像表示装置200Aの概略構造を示す図である。同図(a)は、立体視映像表示装置200Aの表示面に対する横方向(水平走査方向)断面図を示し、同図(b)は、観察者側から見た平面図を示している。
(A) Vertical lenticular stereoscopic image display apparatus FIG. 19 is a diagram illustrating a schematic structure of a vertical lenticular stereoscopic
同図によれば、立体視映像表示装置200Aは、主に、バックライト10と、画素パネル20と、レンズ板30とを備えて構成される。バックライト10、画素パネル20及びレンズ板30は、それぞれ板状体であって互いに平行に配置されている。
According to the figure, the stereoscopic
バックライト10は光を出射し、その光は画素パネル20とレンズ板30とを通過して立体視映像表示装置200Aの外に進行する。即ち、観察者は、レンズ板30を介して画素パネル20に表示される画像を見ることになる。
The
画素パネル20は、画素(ピクセル)が一定の配列で配置されたカラー表示可能なディスプレイであり、レンズ板30と組み合わせることで立体視が可能となるものであれば種類は問わない。例えば、カラーフィルタ方式の液晶ディスプレイ、プラズマディスプレイ、無機ELディスプレイ或いは有機ELディスプレイ等がある。また、カラーフィルタを用いないものでも、単色発光素子を配列した有機ELディスプレイやLEDディスプレイのように、赤(R)、緑(G)及び青(B)等の単色に自発光する素子を配置したディスプレイであっても適用可能である。また、いわゆる同色に発光する画素が配置されたモノクロディスプレイであっても構わず、更には、R(赤),G(緑),B(青)以外の色の画素を持ったディスプレイであっても構わない。また、画素の配置については、格子状は勿論、画素の代表点の座標を求めることが可能なものであれば、デルタ配列やその他の配列であっても構わない。
The
レンズ板30は、一方の面が、断面半円筒状(蒲鉾型)若しくはこれと光学的に等価な光学素子であるマイクロレンズ(以下、単に「レンズ」という)32が連接して成る凹凸面であり、他方の面が略平面状のレンチキュラレンズアレイである。レンズ板30の各レンズ32は、表示面22の各画素PEから射出される光線(射出光線)に指向性を与える働きをする。
One surface of the
また、レンズ板30は、平面が画素パネル20の表示面22に対向し、且つ、レンズ板30の主点面と表示面22との間の距離Gが各レンズ32の焦点距離Fにほぼ一致するように配置されている。尚、この距離Gは、焦点距離Fに完全に一致せず、ある程度の誤差があっても良い。例えば図38(a)は、G=F、とした状態であり、特定の方向から見ると、1つの画素PEがレンズ32いっぱいに広がって観察される。また、距離Gが焦点距離Fから少し離れた位置、即ち同図(b)、(c)に示す状態でも、特定の方向から見ると、1つの画素PEがレンズ32いっぱいに広がって観察される。しかし、距離Gが焦点距離Fからこれ以上離れた位置になると、レンズ32がその隣の画素PEをも映してしまうため、立体視の画質が損なわれる。即ち、画素パネル20のサブピクセル単位での画素ピッチの長さをS、レンズ板30のレンズピッチの長さをLとすると、距離Gが次式(1)を満たすように配置されていれば、そうでない場合よりも画質の良い立体視を実現することができる。
(L−S)・F/L≦G≦(L+S)・F/L ・・・(1)
The
(LS) · F / L ≦ G ≦ (L + S) · F / L (1)
尚、IP方式では、像を一定距離Cに結像させるため、距離Gが焦点距離Fよりも長くなっている。つまり、次式が成立する。この点において、FV方式は、IP方式とは原理的に異なる。
1/G+1/C=1/F、即ち、G=(C・F)/(C−F)>F
また、光線再生法では、複数の距離で結像させるため、光学素子にレンズを用いることができず、ピンホールを用いている。この点において、FV方式は、光線再生法とも原理的に異なる。
In the IP system, the distance G is longer than the focal length F in order to form an image at a constant distance C. That is, the following equation is established. In this respect, the FV system is fundamentally different from the IP system.
1 / G + 1 / C = 1 / F, that is, G = (C · F) / (C−F)> F
In the light beam reproduction method, since an image is formed at a plurality of distances, a lens cannot be used as an optical element, and a pinhole is used. In this respect, the FV method is fundamentally different from the light beam reproduction method.
表示パネル20及びレンズ板30をこのように配置させることで、各レンズ32の焦点が画素パネル20の表示面22の一点に位置し、該焦点が位置する画素PEがレンズ32によって拡大されて見えることになる。尚、光学的にほぼ等価であるとみなせる場合には、レンズ板30の凹凸面を画素パネル20の表示面22に対向するように配置しても良い。
By disposing the
また、レンズ板30は、図19(b)に示すように、各レンズ32の主点線36(主点の集合。レンチキュラレンズ板のマイクロレンズは円筒形状(蒲鉾型)であるため、主点の集合は直線となる。)の方向が画素パネル20の縦方向の画素配列方向(鉛直走査方向)に一致するように配置される。同図(b)において、線32aはレンズ板30の各レンズ32の端部を示している。
Further, as shown in FIG. 19B, the
ところで、従来のレンチキュラ方式の立体視映像表示装置では、レンズ板のレンズピッチと画素パネルの画素ピッチとが合う(以下、単に「ピッチが合う」という。)ように設計される。即ち、n眼式の場合には次式(2)が成立する。
L=n・S ・・・(2)
By the way, the conventional lenticular stereoscopic image display device is designed so that the lens pitch of the lens plate matches the pixel pitch of the pixel panel (hereinafter simply referred to as “pitch match”). That is, in the case of the n-eye system, the following expression (2) is established.
L = n · S (2)
しかし、FV方式では、レンズ板30は、レンズピッチが画素パネル20の画素ピッチと合わない(以下、単に「ピッチが合わない」という。)ように設計されている。即ち、次式(3)が成立しない。
L=n・S ・・・(3)
但し、nは自然数である。
However, in the FV method, the
L = n · S (3)
However, n is a natural number.
ところで、実際に観察者が立体視映像表示装置に表示された立体視画像を見る場合には、その観察者の視点は表示面22から有限距離に位置する。即ち、図20に示すように、表示面22の場所によって観察者の視点の視線方向が異なり、このため、レンズ32と画素PEとの対応関係がずれることになる。つまり、実質的なレンズピッチLEは次式(4)で与えられる。尚、同図は、立体視映像表示装置の表示面に対する横方向断面図を示している。
LE=L×(D+F)/D ・・・(4)
但し、Dは、観察者の視点と表示面との間の距離である。
By the way, when an observer actually views a stereoscopic image displayed on the stereoscopic video display device, the viewpoint of the observer is located at a finite distance from the
L E = L × (D + F) / D (4)
However, D is the distance between an observer's viewpoint and a display surface.
従って、厳密には、次式(5)が成立することが「ピッチが合う」状態であり、成立しないことが「ピッチが合わない」状態であるといえる。
LE=n・S ・・・(5)
Therefore, strictly speaking, it can be said that the following equation (5) is satisfied in the “pitch match” state, and not satisfied is the “pitch mismatch” state.
L E = n · S (5)
また、「ピッチが合う/合わない」ことは、実際の(或いは、想定した)観察者の視点から見た1つの画素PEに対する視角(対画素視角)σと、この画素PEの射出光線に指向性を与える1つのレンズ32に対する視角(対レンズ視角)λとによっても表現される。対画素視角σは式(6a)で与えられ、対レンズ視角λは次式(6b)で与えられる。
tanσ=S/(D+F) ・・・(6a)
tanλ=L/D ・・・(6b)
In addition, “pitch matches / does not match” refers to the viewing angle (versus-pixel viewing angle) σ with respect to one pixel PE viewed from the actual (or assumed) observer's viewpoint, and the emission light of this pixel PE. It is also expressed by a viewing angle (a viewing angle with respect to the lens) λ with respect to one
tan σ = S / (D + F) (6a)
tan λ = L / D (6b)
そして、次式(7)が成立することが「ピッチが合う」状態であり、成立しないことが「ピッチが合わない」状態である。
λ=n・σ ・・・(7)
但し、nは自然数である。
If the following expression (7) is satisfied, the “pitch is matched” state is satisfied, and if not satisfied, the “pitch is not matched” state.
λ = n · σ (7)
However, n is a natural number.
つまり、式(7)が成立するのは、対レンズ視角λが対画素視角σのn倍に一致する、即ちレンズピッチLEが画素ピッチSのn倍に一致する場合であり、その場合が「ピッチが合う」状態であるといえる。 That is, the equation (7) is satisfied, versus lens viewing angle λ is equal to n times the pair pixel viewing angle sigma, that is, when the lens pitch L E matches the n multiple of the pixel pitch S, in which case the It can be said that it is in a “pitch fit” state.
尚、式(7)の条件は、従来の多眼式或いは超多眼式の立体視において、各視点間の距離を人間の両眼距離と一致させる必要を考慮しない場合の条件である。各視点間の距離を人間の両眼距離と一致させるためには、図39に示すように、観察距離Dと、両眼距離Eと、画素ピッチSと、レンズの焦点距離Fとの間に次式(8)が成立する必要がある。
E/D=S/F ・・・(8)
即ち、従来の各視点間の距離を人間の両眼距離と一致させた多眼式の場合には、式(7)及び式(8)を同時に満たす必要がある。そのため、従来の多眼式では、正確なレンズ設計が必要であった。
The condition of Expression (7) is a condition in the case of not considering the necessity of making the distance between the viewpoints coincide with the binocular distance of the human in the conventional multi-view or super-multi-view stereoscopic view. In order to make the distance between the viewpoints coincide with the binocular distance of the human, as shown in FIG. 39, the distance between the observation distance D, the binocular distance E, the pixel pitch S, and the focal distance F of the lens. The following equation (8) needs to be satisfied.
E / D = S / F (8)
That is, in the case of a multi-lens system in which the distance between the respective viewpoints is matched with the human binocular distance, it is necessary to satisfy the expressions (7) and (8) at the same time. Therefore, an accurate lens design is necessary for the conventional multi-lens system.
(B)斜めレンチキュラ方式の立体視映像表示装置
図21は、斜めレンチキュラ方式の立体視映像表示装置200Bの概略構造を示す図である。同図(a)は、立体視映像表示装置200Bの表示面に対する横方向(水平走査方向)断面図を示し、同図(b)は、観察者側から見た平面図を示している。
(B) Oblique Lenticular Stereoscopic Video Display Device FIG. 21 is a diagram illustrating a schematic structure of an oblique lenticular stereoscopic
斜めレンチキュラ方式の立体視映像表示装置では、画素パネル20の画素配列方向に対してレンズ板30の主点線36の方向が斜めに配置される(レンズ32の端部32aの方向も同様)ため、レンズ板30を介して画素パネル20を見たときに視認される映像に生じるモアレを分散させて目立たなくさせることが知られている。
In the oblique lenticular stereoscopic image display device, the direction of the principal dotted
同図によれば、立体視映像表示装置200Bは、垂直レンチキュラ方式の立体視映像表示装置200Aと同様に、主に、板状体であって互いに平行配置されたバックライト10と、画素パネル20と、レンズ板30と、を備えて構成される。
According to the figure, the stereoscopic
そして、斜めレンチキュラ方式の立体視映像表示装置200Bでは、レンズ板30は、同図(b)に示すように、主点線36の方向が画素パネル20の縦方向の画素配列方向(鉛直走査方向)に対して角度θを成すように配置されている。従って、同図(a)に示す断面図におけるレンズピッチ(画素パネル20の画素ピッチ方向に沿ったレンズの幅)Mは、次式(9)で与えられる。
M=L/cosθ ・・(9)
In the oblique lenticular stereoscopic
M = L / cos θ (9)
また、レンズ板30は、同図(a)に示す断面図におけるレンズピッチMと画素パネル20の画素ピッチSとが合わないように配置されている。即ち、次式(10)が成立しない。
M=n・S ・・・(10)
但し、nは自然数である。
The
M = n · S (10)
However, n is a natural number.
より詳細には、(A)垂直レンチキュラ方式の立体視映像表示装置200Aと同様に、実際の(或いは、想定した)観察者の視点の位置によって実質的なレンズピッチMEが変化し、そのレンズピッチMEは次式(11)で与えられる。
ME=M×(D+F)/D ・・・(11)
More specifically, (A) similarly to the stereoscopic
M E = M × (D + F) / D (11)
また、式(6b)において、L←M、として与えられる対レンズ視角λを用いて式(7)が成立する状態が、斜めレンチキュラレンズ方式の立体視映像表示装置200Bにおいて「ピッチが合わない」ことに相当する。
Further, in Formula (6b), the state in which Formula (7) is established using the anti-lens viewing angle λ given as L ← M is “the pitch does not match” in the oblique lenticular lens type stereoscopic
尚、従来の斜めレンチキュラ方式の立体視映像表示装置では、図22(a)に示すように、5眼式ではあるが、レンズピッチMEが画素ピッチSの2.5倍に一致させた方式や、同図(b)に示すように、7眼式ではあるが、レンズピッチMEが画素ピッチSの3.5倍に一致させた方式が用いられることがある。 In the conventional oblique lenticular stereoscopic image display device, as shown in FIG. 22 (a), although it is a five-lens type, the lens pitch M E is matched with 2.5 times the pixel pitch S. Alternatively, as shown in FIG. 7B, although a seven-lens system is used, a system in which the lens pitch M E is matched with 3.5 times the pixel pitch S may be used.
しかし、例えば同図(a)に示すような画素配置(5眼式)の場合、後述する図36(b)に示すような画素配置であるとみなして描画を行っているため、実際の配置との差異により、1つの眼に視差が異なる2つビューの状態が混じって観察されて物体が二重に見えるクロストークが顕著になるという問題がある。 However, for example, in the case of the pixel arrangement (five-lens type) as shown in FIG. 6A, drawing is performed assuming that the pixel arrangement is as shown in FIG. Due to this difference, there is a problem that cross-talk in which two objects with different parallax are observed in one eye and the object is viewed as a double object becomes remarkable.
尚、図22に示すような従来の斜めレンチキュラ方式の立体視映像表示装置(多眼式)では、式(7)は次式のようになる。
λ=2.5σ、即ち、λ:σ=5:2 (図22(a)の場合)
λ=3.5σ、即ち、λ:σ=7:2 (図22(b)の場合)
このように、従来の多眼式では、水平方向で一定の長さ毎に同じ視点の繰り返しが発生している。また、これらの多眼式では、予め設定されたn個の視点(個別視点)に基づく画像(個別視点画像)を生成し、それらの画像を視点の繰り返しパターンに合わせて再配置(インターリーブ)することで立体視画像を生成している。
In the conventional oblique lenticular stereoscopic image display apparatus (multi-lens type) as shown in FIG. 22, the expression (7) is as follows.
λ = 2.5σ, that is, λ: σ = 5: 2 (in the case of FIG. 22A)
λ = 3.5σ, that is, λ: σ = 7: 2 (in the case of FIG. 22B)
As described above, in the conventional multi-view system, the same viewpoint is repeatedly generated for every certain length in the horizontal direction. In addition, in these multi-view systems, images (individual viewpoint images) based on n preset viewpoints (individual viewpoints) are generated, and these images are rearranged (interleaved) according to the viewpoint repetition pattern. Thus, a stereoscopic image is generated.
しかしながら、FV方式では、以上のような同じ視点の繰り返しが発生しない場合にこそ、良い立体視画像が得られることを特徴としている。ここで、水平方向に同じ視点の繰り返しが発生する条件とは、前述の対画素視角σと対レンズ視角λとの間に、次式(12)の関係が成立することであるといえる。
λ:σ=n:m ・・・(12)
但し、n、mは自然数である。
However, the FV method is characterized in that a good stereoscopic image can be obtained only when the same viewpoint as described above does not occur. Here, it can be said that the condition that the same viewpoint repeats in the horizontal direction is that the relationship of the following expression (12) is established between the above-described anti-pixel viewing angle σ and the anti-lens viewing angle λ.
λ: σ = n: m (12)
However, n and m are natural numbers.
つまり、式(12)が成立しないときが、「同じ視点の繰り返しが発生しない」、即ち「ピッチが合わない状態となる。但し、この同じ視点の繰り返しは、少なくとも立体視画像の画像表示領域内で発生しなければ良いので、それを考慮した「同じ視点の繰り返しが発生しない」、即ち「ピッチが合わない」条件は、式(12)において、「mがΦ/λ未満の自然数」であることである。但し、Φは、実際の(或いは想定した)観察者の視点から見た表示面22中の立体視画像が表示される領域(立体視画像表示領域)に対する視角(対表示領域視角)である。
That is, when Expression (12) is not satisfied, “the same viewpoint is not repeated”, that is, “the pitch is not matched. However, the repetition of the same viewpoint is at least within the image display area of the stereoscopic image. Therefore, the condition that “the repetition of the same viewpoint does not occur”, that is, “the pitch does not match” is “the natural number where m is less than Φ / λ” in Expression (12). That is. However, Φ is a viewing angle (versus display area viewing angle) with respect to an area (stereoscopic image display area) in which a stereoscopic image on the
このように、FV方式では、ピッチが合っていない(即ち、式(12)が成立しない)立体視映像表示装置を考え、この立体視映像表示装置に表示させる立体視画像を生成するものとする。つまり、従来のレンチキュラ方式の立体視映像表示装置では、立体視可能とするためにはレンズピッチと画素ピッチが合うように設計する必要があるが、FV方式は、ピッチが合っていない立体視映像表示装置において立体視を可能ならしめる。従って、個々のディスプレイの画素ピッチに合ったレンチキュラレンズ板を製造する必要が無くなり、既製のレンチキュラレンズ板を種々のディスプレイに適用できることとなって、レンズ板のコストを大幅に下げるという効果が得られる。また、選択可能な複数のレンズ板から最も目的に合ったものを選ぶこともできる。更には、斜めレンチキュラ方式を採用する場合に、斜めの角度θも自由に設定できる。具体的には、新たなレンズを製造することなく、画素パネルに対するレンズ板の斜めの配置角度θを調節するだけで、モアレや色縞を軽減することができる。 As described above, in the FV system, a stereoscopic video display device in which the pitch is not matched (that is, the formula (12) is not satisfied) is considered, and a stereoscopic image to be displayed on the stereoscopic video display device is generated. . That is, in the conventional lenticular stereoscopic image display device, it is necessary to design the lens pitch and the pixel pitch to be matched in order to make stereoscopic viewing possible. Enables stereoscopic viewing on the display device. Therefore, it is not necessary to manufacture a lenticular lens plate that matches the pixel pitch of each display, and the ready-made lenticular lens plate can be applied to various displays, so that the cost of the lens plate can be greatly reduced. . It is also possible to select the most suitable one from a plurality of selectable lens plates. Furthermore, when the oblique lenticular method is adopted, the oblique angle θ can be set freely. Specifically, moire and color fringes can be reduced by adjusting the oblique arrangement angle θ of the lens plate with respect to the pixel panel without manufacturing a new lens.
続いて、表示面22の各画素PEの視線Vの決定方法を説明するが、その前に、表示面22の座標系を図23に示すように定義する。即ち、表示面22の水平走査方向(横方向)に沿った方向をx軸方向とし、鉛直走査方向(縦方向)に沿った方向をy軸方向とし、表示面22から観察者側へ垂直に向かう方向をz軸正方向とする。
Next, a method for determining the line of sight V of each pixel PE on the
先ず、FV方式における視線Vの決定方法の内、最も基本となる方法について説明する。この方法は、観察者の視線が表示面22の「正面」(表示面22の中心Oを通過する観察視線方向が表示面22に対して垂直となる位置)で、且つ「無限遠」にあると想定した方法であり、非立体視画像の描画方法でいえば「直投影」に相当する。また、ここでは、立体視映像表示装置が上述した垂直/斜めレンチキュラ方式のそれぞれである場合の視線Vの決定方法について説明する。尚、以下では、1つの画素PEについての視線Vの決定方法を説明するが、他の画素PEについても勿論同様に決定できる。
First, the most basic method of determining the line of sight V in the FV method will be described. In this method, the observer's line of sight is “front” of the display surface 22 (the position where the observation line of sight passing through the center O of the
(A)垂直レンチキュラ方式の立体視映像表示装置
立体視映像表示装置が垂直レンチキュラ方式である場合の視線Vの決定方法を、図24を参照して説明する。図24は、垂直レンチキュラ方式の立体視映像表示装置200Aの概略三面図であり、同図(a)は、x−z平面に平行な断面図(水平走査方向断面図)を示し、同図(b)は、y−z平面に平行な断面図(鉛直走査方向断面図)を示し、同図(c)は、x−y平面図を示している。
(A) Vertical lenticular stereoscopic image display device A method of determining the line of sight V when the stereoscopic image display device is a vertical lenticular method will be described with reference to FIG. FIG. 24 is a schematic three-view diagram of a vertical lenticular stereoscopic
先ず、視線Vを決定する画素(以下、「対象画素」という)PEに対応するレンズ32を決定する。図24(a)において、レンズ板30の各レンズ32を画素パネル20の表示面22に平行投影して(即ち、各レンズ32の端部32aを通過する表示面22に垂直な直線によって)、表示面22を各レンズ32の投影領域に分割する。そして、対象画素PEの代表点(ここでは、画素の中心とする)が属する投影領域のレンズ32を対象画素PEに対応するレンズ32とする。但し、同図(a)は、対象画素PEの代表点を通過する断面図である。
First, a
同図(a)では、表示面22は、レンズ32−1の投影領域26−1と、レンズ32−2の投影領域26−2と、・・・、に分割される。そして、対象画素PEの代表点は投影領域26−1に属しているので、対象画素PEに対応するレンズ32はレンズ32−1となる。
In FIG. 5A, the
次いで、対象画素PEの代表点と、対象画素PEに対応するレンズ32の主点とを通過した後の光線(以下、「代表光線」という)PRを算出し、その代表光線PRと位置は同じで方向を逆にした視線を対象画素PEの視線Vとする。具体的には、対象画素PEに対応するレンズ32−1の主点線36の内、y座標が対象画素PEの代表点のy座標に等しい点を算出し、これを代表主点36aとする。そして、対象画素PEの代表点と、この代表主点36aとを通過した後の代表光線PRを算出し、この代表光線PRと位置は同じで方向を逆にした視線を対象画素PEに対応する視線Vとする。ここでは、簡明のため、対象画素PEの代表点から対象画素PEに対応するレンズ32の代表主点に向かう方向を代表光線PRの方向とする。
Next, a light ray PR (hereinafter referred to as “representative ray”) PR after passing through the representative point of the target pixel PE and the principal point of the
(B)斜めレンチキュラ方式の立体視映像表示装置
次に、立体視映像表示装置が斜めレンチキュラ方式の場合の視線Vの決定方法を、図25を参照して説明する。図25は、斜めレンチキュラ方式の立体視映像表示装置200Bの概略三面図であり、同図(a)は、x−z平面に平行な断面図(横方向断面図)を示し、同図(b)は、y−z平面に平行な断面図(縦方向断面図)を示し、同図(c)は、x−y平面図を示している。
(B) Oblique Lenticular Stereoscopic Video Display Device Next, a method for determining the line of sight V when the stereoscopic video display device is an oblique lenticular method will be described with reference to FIG. FIG. 25 is a schematic three-view diagram of an oblique lenticular stereoscopic
かかる装置での視線Vの決定方法は、上述した(A)垂直レンチキュラ方式の立体視映像表示装置200Aの場合と同様である。即ち、同図(a)において、レンズ板30を画素パネル20の表示面22に平行投影して、表示面22を各レンズ32の投影領域に分割する。そして、対象画素PEの代表点が属する投影領域のレンズ32を、対象画素PEに対応するレンズ32とする。但し、同図(a)は、対象画素PEの代表点を通過する断面図(横方向断面図)である。
The method of determining the line of sight V in such an apparatus is the same as that of the above-described (A) vertical lenticular stereoscopic
同図(a)では、表示面22は、レンズ32−4の投影領域26−4と、レンズ32−5の投影領域26−5と、・・・、に分割される。そして、対象画素PEの代表点は投影領域26−4に属しているので、対象画素PEに対応するレンズ32はレンズ32−4となる。
In FIG. 5A, the
次いで、対象画素PEに対応するレンズ32の主点線36の内、y座標が対象画素PEの代表点のy座標に等しい点を算出し、これを代表主点36bとする。そして、対象画素PEの代表点と、この代表主点36bとを通過した後の代表光線PRを算出し、この代表光線PRと位置は同じで方向を逆にした視線を対象画素PEに対応する視線Vとする。
Next, a point where the y coordinate is equal to the y coordinate of the representative point of the target pixel PE is calculated from the main dotted
以上説明したこの方法は、観察者の視点が無限遠にあることを想定したものだが、実際の立体視画像の観察時には、観察者の視点は無限遠ではないため、後述する方法に対して、特に近距離から観察した場合、遠近法(パース)の掛かり具合に違和感を感じることがある。しかし、各視線Vの決定方法が簡単であるため、計算負荷を軽減することができる等といった利点がある。 This method described above assumes that the observer's viewpoint is at infinity, but when observing an actual stereoscopic image, the observer's viewpoint is not at infinity. In particular, when observed from a short distance, a sense of incongruity may be felt in the perspective. However, since the method of determining each line of sight V is simple, there is an advantage that the calculation load can be reduced.
次に、上述した方法に比較してより自然な立体視が可能となる視線Vの決定方法を説明する。この方法は、観察者の視点を一定の位置に想定した描画方法であり、非立体画像の描画方法でいえば「透視投影」に相当する。 Next, a method for determining the line of sight V that enables more natural stereoscopic viewing than the above-described method will be described. This method is a drawing method that assumes the observer's viewpoint at a fixed position, and corresponds to “perspective projection” in terms of a non-stereoscopic image drawing method.
ここでは、想定観察位置40を、図26に示すように、立体視映像表示装置の表示面22に対して「正面」に設定する。「正面」の想定観察位置40とは、表示面22の中心Oを通過する観察視線方向が、表示面22に対して垂直となる位置である。以下、この想定観察位置40と表示面22との間の距離Dを「想定観察距離D」という。そして、想定観察位置40を「正面且つ有限距離の定位置」とした場合の視線Vの決定方法を、垂直/斜めレンチキュラ方式の立体視映像表示装置それぞれについて説明する。
Here, as shown in FIG. 26, the assumed
(A)垂直レンチキュラ方式の立体視映像表示装置
立体視映像表示装置が垂直レンチキュラ方式である場合の視線Vの決定方法を、図27、28を参照して説明する。図27は、垂直レンチキュラ方式の立体視映像表示装置200Aの部分概略斜視図である。また、図28は、立体視映像表示装置200Aの概略三面図であり、同図(a)は、図27のx−z平面に平行なA−A位置での断面図(水平走査方向断面図)を示し、図28(b)は、図27のy−z平面に平行なB−B位置での断面図(鉛直方向断面図)を示し、図28(c)は、x−y平面図を示している。尚、レンズ板30及び画素パネル20は、レンズ板30の各レンズ32の焦点距離Fを隔てて平行配置されている。
(A) Vertical lenticular stereoscopic image display device A method of determining the line of sight V when the stereoscopic image display device is a vertical lenticular method will be described with reference to FIGS. FIG. 27 is a partial schematic perspective view of a vertical lenticular stereoscopic
先ず、対象画素PEに対応するレンズ32を決定する。具体的には、図28(a)において、想定観察位置40からレンズ板30の各レンズ32を画素パネル20の表示面22に投影して(即ち、想定観察位置40から各レンズ32の端部へと向かう直線によって)、表示面22を各レンズ32の投影領域に分割する。そして、対象画素PEの代表点がどの投影領域に属するかによって対応するレンズ32を決定する。但し、同図(a)は、対象画素PEの代表点を通過する断面図である。
First, the
同図(a)では、表示面22は、レンズ32−7の投影領域26−7と、レンズ32−8の投影領域26−8と、レンズ32−9の投影領域26−9と、・・・、に分割される。そして、対象画素PEの代表点は投影領域26−7に属しているので、この対象画素PEに対応するレンズ32はレンズ32−7となる。
In FIG. 6A, the
次に、対象画素PEの代表点と、対象画素PEに対応するレンズ32の主点とを通過した後の代表光線を算出し、算出した代表光線と位置は同じで方向を逆にした視線を対象画素の視線Vとする。具体的には、図28(b)において、対象画素PEの代表点と想定観察位置40とを結ぶ直線LN1と、レンズ板30の主点面(各レンズ32の主点を含む面。表示面22に平行な平面である)35との交点のy座標を算出する。算出したy座標を「y1」とする。但し、同図(b)は、対象画素PEの代表点を通過する断面図である。
Next, a representative ray after passing through the representative point of the target pixel PE and the principal point of the
次いで、対象画素PEに対応するレンズ32−1の主点線36の内、y座標が「y1」である点を算出し、これを代表主点36cとする。そして、対象画素PEの代表点と、この代表主点36cとを通過した後の代表光線PRを算出し、この代表光線PRと位置は同じで方向を逆にした視線を対象画素PEに対応する視線Vとする。
Next, a point whose y coordinate is “y1” is calculated from the main dotted
(B)斜めレンチキュラ方式
次に、立体視映像表示装置が斜めレンチキュラ方式である場合の視線Vの決定方法を、図29、30を参照して説明する。図29は、斜めレンチキュラ方式の立体視映像表示装置200Bの部分概略斜視図である。また、図30は、立体視映像表示装置200Bの概略三面図であり、同図(a)は、図29のx−z平面に平行なC−C位置での断面図(横方向断面図)を示し、図30(b)は、図29のy−z平面に平行なD−D位置での断面図(縦方向断面図)を示し、図30(c)は、x−y平面図を示している。尚、画素パネル20及びレンズ板30は、レンズ板30の各レンズ32の焦点距離Fを隔てて平行配置されている。
(B) Diagonal lenticular method Next, a method of determining the line of sight V when the stereoscopic image display apparatus is an oblique lenticular method will be described with reference to FIGS. FIG. 29 is a partial schematic perspective view of an oblique lenticular stereoscopic image display apparatus 200B. 30 is a schematic three-view diagram of the stereoscopic
先ず、図30(b)において、対象画素PEの代表点と想定観察位置40とを結ぶ直線LN2と、レンズ板30の主点面35との交点のy座標を算出する。算出したy座標を「y2」とする。但し、同図(b)は、対象画素PEの代表点を通過する断面図である。
First, in FIG. 30B, the y-coordinate of the intersection point between the straight line LN2 connecting the representative point of the target pixel PE and the assumed
次いで、図30(a)において、想定観察位置40から各レンズ32を表示面22に投影して、表示面22を各レンズ32の投影領域に分割する。そして、対象画素PEの代表点がどの投影領域に属するかによって対応するレンズ32を決定する。但し、同図(a)は、y座標が先に算出した「y2」である断面図である。
Next, in FIG. 30A, each
同図(a)では、表示面22は、レンズ32−10の投影領域26−10と、レンズ32−11の投影領域26−11と、レンズ32−12の投影レンズ32−12と、・・・、に分割される。そして、対象画素PEの代表点は投影領域26−10に属しているので、この対象画素PEに対応するレンズ32はレンズ32−10となる。
In FIG. 6A, the
続いて、対象画素PEに対応するレンズ32の主点線36の内、y座標が「y2」である点を算出し、これを代表主点36dとする。そして、対象画素PEの代表点と、この代表主点36dとを通過した後の代表光線PRを算出し、この代表光線PRと位置は同じで方向を逆にした視線を対象画素PEの視線Vとする。
Subsequently, a point whose y coordinate is “y2” is calculated from the main dotted
以上、想定観察位置が「正面且つ無限遠」及び「正面且つ有限距離の定位置」のそれぞれである場合の、表示面22の各画素PEの視線Vの決定方法を説明した。尚、以上では、各レンズ32に入射する光線は屈折を起こさない(即ち、対象画素PEの代表点から対象画素PEに対応するレンズ32の代表主点に向かう方向が代表光線PRの方向に一致する)ものとして説明したが、厳密には、図31に示すように、屈折作用によって、代表光線PRは、対象画素PEの代表点と対象画素PEに対応するレンズ32の代表主点とを結ぶ直線に対してy座標位置が僅かにずれて一致しない。そこで、このずれを算出して補正することにより、各画素PEの視線Vを正確に求めることとすればより好適である。
The method for determining the line of sight V of each pixel PE on the
また、各画素PEに対するレンズ32の決定を、図27、28を参照して説明したように、想定観察位置40を「有限距離の定位置」として行うことで、遠近法(パース)の掛かり具合が自然になること以外にも、想定観察位置40周辺での観察範囲が広くなるという効果を得ることができる。その効果を、図40を参照して説明する。
In addition, as described with reference to FIGS. 27 and 28, determination of the
図40に示すように、一つのレンズに対応する全画素の射出光線が拡がる角度αと、レンズの焦点距離Fと、レンズの水平方向のピッチLとの間には、概ね次式(13)の関係がある。
tan(α/2)=L/(2F) ・・・(13)
そして、図41に示すように、レンズ板の全てのレンズから拡がる角度αの範囲内に観察者の両眼(視点)が位置するとき、好適な立体視が可能となる。
As shown in FIG. 40, the following expression (13) is generally set between the angle α at which the light rays emitted from all the pixels corresponding to one lens spread, the focal length F of the lens, and the pitch L in the horizontal direction of the lens. There is a relationship.
tan (α / 2) = L / (2F) (13)
Then, as shown in FIG. 41, when the observer's eyes (viewpoints) are located within the range of the angle α spreading from all the lenses of the lens plate, a suitable stereoscopic view is possible.
また、図41は、各画素に対応するレンズの決定を、想定観察位置40を「正面且つ無限遠」として行った場合の図であるが、各画素に対応するレンズの決定を、想定観察位置40を「有限距離の定位置」として行うことで、図42に示すように、想定観察位置40周辺での適視範囲を広げることができる。但し、この効果は、あくまでも想定観察位置40周辺でのみ得られるものであり、それ以外の場所ではむしろ画質が悪くなることがある。そこで、例えば観察者が複数想定される場合等、観察位置を一箇所に特定(想定)できない場合には、各画素に対応するレンズの決定を、想定観察位置を「正面且つ無限遠」として行い、その後の視線Vの決定は、想定観察位置40を「正面且つ有限距離の定位置」として行っても良い。
FIG. 41 is a diagram in the case where the lens corresponding to each pixel is determined when the assumed
このように、各画素に対応する視線Vを決定した後、図32に示すように、決定した視線Vを基に、仮想カメラに相当する画素別視点CMを画素PE毎に設定する。尚、ここでは、画素PEに該画素PEに対応する画素別視点CMを設定するが、画素別視点CMを特に設定せず、全画素PEについての視線Vに共通なz方向の描画範囲を設定し、各視線Vについて描画を行うこととしても良い。 After the line of sight V corresponding to each pixel is determined in this way, as shown in FIG. 32, a pixel-specific viewpoint CM corresponding to the virtual camera is set for each pixel PE based on the determined line of sight V. Here, the pixel-specific viewpoint CM corresponding to the pixel PE is set for the pixel PE, but the pixel-specific viewpoint CM is not set in particular, and a drawing range in the z direction common to the line of sight V for all the pixels PE is set. However, drawing may be performed for each line of sight V.
図32は、画素別視点CMの設定を説明するための図であり、表示面22の一部横方向断面図を示している。同図に示すように、各画素PE(PE1,PE2,・・・)の画素別視点CM(CM1,CM2,・・・)は、その視線方向が対応する視線V(V1,V2,・・・)となるように設定する。また、各画素別視点CMと表示面22との間の距離は、例えば同図に示すように、表示面22に平行な同一平面上に位置するように設定する。
FIG. 32 is a diagram for explaining the setting of the pixel-specific viewpoint CM, and shows a partial horizontal cross-sectional view of the
同図では、画素PE1,PE2,・・・、のそれぞれの視線Vは視線V1,V2,・・・、である。従って、画素PE1の画素別視点CMは、視線V1がその視線方向の画素別視点CM1となる。また、画素PE2の画素別視点CMは、視線V2がその視線方向の画素別視点CM2となる。更に、画素PE3,PE4,・・・、についても同様に、それぞれの画素別視点CMは、視線V3,V4,・・・、がその視線方向の画素別視点CM3,CM4,・・・、となる。 In the figure, the visual lines V of the pixels PE1, PE2,... Are visual lines V1, V2,. Accordingly, the pixel-specific viewpoint CM of the pixel PE1 has the line of sight V1 as the pixel-specific viewpoint CM1 in the line-of-sight direction. In the pixel-specific viewpoint CM of the pixel PE2, the line of sight V2 is the pixel-specific viewpoint CM2 in the line-of-sight direction. Further, similarly, for the pixels PE3, PE4,..., The viewpoints CM for each pixel have the line of sight V3, V4,. Become.
(2)レンダリング
各画素PEの画素別視点CMを設定した後、設定した各画素別視点CMを基に三次元仮想空間をレンダリングすることで立体視画像を生成する。具体的には、画素PE毎に、該画素PEに対応する画素別視点CMの視線方向のオブジェクト空間の色情報(RGB値やα値等)を算出し、算出した色情報を該画素PEの色情報とすることで立体視画像を生成する。
(2) Rendering After setting the pixel-specific viewpoint CM of each pixel PE, a stereoscopic image is generated by rendering a three-dimensional virtual space based on the set pixel-specific viewpoint CM. Specifically, for each pixel PE, color information (RGB value, α value, etc.) of the object space in the line-of-sight direction of the pixel-specific viewpoint CM corresponding to the pixel PE is calculated, and the calculated color information is calculated for the pixel PE. A stereoscopic image is generated by using color information.
図33は、色情報の算出を説明する図であり、表示面22の一部横方向断面図を示している。同図に示すように、表示面22の各画素PEについて、対応する画素別視点CMの視線方向のオブジェクト空間の色情報を算出し、算出した色情報を該画素PEの色情報とする。色情報の算出方法としては、例えば画素別視点CMからその視線方向に沿った光線を基に決定する、いわゆるレイトレーシング法等によって実現される。
FIG. 33 is a diagram for explaining the calculation of color information, and shows a partial cross-sectional view of the
同図では、画素PE1,PE2,・・・、のそれぞれの画素別視点は画素別視点CM1,CM2,・・・、である。従って、画素PE1の色情報は、画素別視点CM1の視線方向のオブジェクト空間の色情報となり、また、画素PE2の色情報は、画素別視点CM2の視線方向のオブジェクト空間の色情報となる。更に、画素PE3,PE4,・・・、のそれぞれについても同様に、対応する画素別視点CM3,CM4,・・・、の視線方向のオブジェクト空間の色情報が該画素PE3,PE4,・・・、の色情報となる。 In the figure, the pixel-specific viewpoints of the pixels PE1, PE2,... Are pixel-specific viewpoints CM1, CM2,. Therefore, the color information of the pixel PE1 is color information of the object space in the line-of-sight direction of the pixel-by-pixel viewpoint CM1, and the color information of the pixel PE2 is color information of the object space in the line-of-sight direction of the pixel-by-pixel viewpoint CM2. Further, for each of the pixels PE3, PE4,..., The color information of the object space in the line-of-sight direction of the corresponding pixel-specific viewpoints CM3, CM4,. , Color information.
このように、FV方式では、表示面の画素PE毎に、(1)視線Vを決定し、(2)決定した視線Vの視線方向の色情報を該画素PEの色情報とする(レンダリングする)、ことで立体視画像を生成する。 As described above, in the FV method, (1) the line of sight V is determined for each pixel PE on the display surface, and (2) the color information of the line of sight of the determined line of sight V is used as the color information of the pixel PE (rendering). ), Thereby generating a stereoscopic image.
尚、このように生成した画像を立体視画像としてFV方式用の立体視映像表示装置に表示させた場合、観察者によって視認される映像は、従来の立体視映像と比べて若干正確さに欠く像となる。 When an image generated in this manner is displayed as a stereoscopic image on a stereoscopic video display device for the FV system, the video viewed by the observer is slightly less accurate than the conventional stereoscopic video. Become a statue.
図34は、FV方式の立体視映像が若干正確さに欠けることを説明するための図であり、表示面22の横方向一部断面図を示している。同図において、観察者の右目EY1から立体視映像表示装置を見ると、レンズ32−1を介して画素PE1が見え、レンズ32−2を介して画素PE2が見え、レンズ32−3を介して画素PE3が見える。
FIG. 34 is a diagram for explaining that the FV system stereoscopic image is slightly inaccurate, and shows a partial cross-sectional view of the
ところで、画素PE1の色情報は、画素別視点CM1の視線方向のオブジェクト空間の色情報であり、画素PE2の色情報は、画素別視点CM2の視線方向のオブジェクト空間の色情報であり、また、画素PE3の色情報は、画素別視点CM3の視線方向のオブジェクト空間の色情報である。即ち、右目EY1と画素別視点CM1,CM2,CM3とは一致しないため、観察者によって認識される各画素PEの色情報は、その位置から見た正確な色情報とはならない。 By the way, the color information of the pixel PE1 is color information of the object space in the line-of-sight direction of the pixel-specific viewpoint CM1, the color information of the pixel PE2 is color information of the object space in the line-of-sight direction of the pixel-specific viewpoint CM2, The color information of the pixel PE3 is color information of the object space in the viewing direction of the pixel-specific viewpoint CM3. That is, since the right eye EY1 does not match the pixel-specific viewpoints CM1, CM2, and CM3, the color information of each pixel PE recognized by the observer is not accurate color information viewed from the position.
しかしながら、画素別視点CM1,CM2,CM3の位置は右目EY1の近傍であり、また、それらの視線方向は、右目EY1がレンズ32−1,32−2,32−3を介して画素PE1,PE2,PE3を見る視線方向とは僅かにずれる程度である。このため、観察者の右目EY1で視認される像(色情報)は、その位置から見た正確な像(色情報)ではないものの、一定の明確性を有して視認される。 However, the positions of the pixel-specific viewpoints CM1, CM2, and CM3 are in the vicinity of the right eye EY1, and the line-of-sight directions of the pixels PE1, PE2 are determined by the right eye EY1 through the lenses 32-1, 32-2, and 32-3. , PE3 viewing direction is slightly shifted. For this reason, the image (color information) visually recognized by the observer's right eye EY1 is not an accurate image (color information) viewed from the position, but is visually recognized with a certain degree of clarity.
また、FV方式では、視点(ビュー)の数が極めて多く、自然な立体視が可能となる。このことを、従来の多眼方式の立体視と比較した図35、36、37を参照して説明する。 In the FV system, the number of viewpoints (views) is extremely large, and natural stereoscopic vision is possible. This will be described with reference to FIGS. 35, 36, and 37, which are compared with the conventional multi-view stereoscopic vision.
図35は、従来の多眼方式の立体視の概略(イメージ)を示す図であり、3眼式の場合を示している。同図上側に示すように、従来の3眼式の立体視では、オブジェクト空間において、適当な距離を隔てて3つの個別視点1,2,3を設定し、個別視点1,2,3のそれぞれから見たオブジェクト空間の個別視点画像1,2,3を生成する。そして、これら3つの個別視点画像1,2,3をインターリーブ処理することで立体視画像を生成する。尚、同図において、立体視画像の各画素の数字は対応する個別視点画像(個別視点)の番号を表している。また、各画素別視点CMの位置及び視線方向は、概略図(イメージ図)であるために大凡であり、正確なものではない。
FIG. 35 is a diagram showing an outline (image) of a conventional multi-view type stereoscopic view, and shows a case of a trinocular type. As shown in the upper side of the figure, in the conventional three-eye stereoscopic view, three
そして、同図下側に示すように、生成した立体視画像を従来の3眼式の立体視映像表示装置に表示させて適視位置1,2,3のそれぞれから見ると、適視位置1では個別視点画像1が見え、適視位置2では個別視点画像2が見え、適視位置3では個別視点画像3が見える。より詳細には、適視位置1をほぼ中心とする適視範囲1では個別視点画像1が見え、適視位置2をほぼ中心とする適視範囲2では個別視点画像2が見え、適視位置3をほぼ中心とする個別視点適視範囲3では画像3が見える。但し、同図において、適視範囲は概略図(イメージ図)であるために大凡のものであり、正確なものではない。
Then, as shown in the lower side of the figure, when the generated stereoscopic image is displayed on a conventional three-lens stereoscopic image display device and viewed from each of the
即ち、観察者OBが、右目EY1が適視位置2にほぼ一致し、左目EY2が適視位置1にほぼ一致する位置で立体視画像を見ると、右目EY1では個別視点画像2が見え、左目EY2では個別視点画像1が見えることで立体視映像を認識する。つまり、右目EY1を個別視点2とし、左目EY2を個別視点1としてオブジェクト空間を見た状態に相当する。
That is, when the observer OB views the stereoscopic image at a position where the right eye EY1 substantially matches the
また、観察者OBの位置が、立体視画像に対して右方向へ移動すると、右目EY1或いは左目EY2が適視範囲の境界部分を通過する際に、該右目EY1或いは左目EY2で見える画像が急に切り換わる。具体的には、例えば右目EY1が適視範囲2と適視範囲3との境界部分を通過する際に、右目EY1に見える画像が個別視点画像2から個別視点画像3に切り換わる。また、左目EY2が適視範囲1と適視範囲2との境界部分を通過する際に、左目EY2に見える画像が個別視点画像1から個別画像2に切り換わる。
Further, when the position of the observer OB moves to the right with respect to the stereoscopic image, when the right eye EY1 or the left eye EY2 passes through the boundary portion of the appropriate viewing range, an image that can be seen with the right eye EY1 or the left eye EY2 suddenly appears. Switch to. Specifically, for example, when the right eye EY1 passes through the boundary portion between the
これは、従来の多眼方式の立体視では、n個の個別視点から見た各個別視点画像をインターリーブ処理して立体視画像を生成し、これを、ピッチが合うように設計されたn眼式の立体視映像表示装置に表示させることで立体視を実現しているためである。即ち、従来の立体視映像表示装置では、立体視画像を、レンチキュラレンズ板によって各個別視点画像に分離しているためである。 This is because in conventional multi-view stereoscopic vision, each individual viewpoint image viewed from n individual viewpoints is interleaved to generate a stereoscopic image, which is designed to match the pitch. This is because the stereoscopic view is realized by displaying the image on a stereoscopic image display device. That is, in the conventional stereoscopic video display device, the stereoscopic image is separated into the individual viewpoint images by the lenticular lens plate.
また更に、従来の斜めレンチキュラ方式の立体視映像表示装置では、実際には図36(a)に示すような画素配置となっているところを、同図(b)に示すような画素配置になっているものとみなして描画処理を行っている。そのため、実際の配置との差異によるクロストーク(隣の視点位置の画像が混じって見える現象)が起こり、個別視点画像の分離性が良くないという問題が発生していた。 Further, in the conventional oblique lenticular stereoscopic image display device, the pixel arrangement shown in FIG. 36A is actually changed to the pixel arrangement shown in FIG. The drawing process is performed assuming that For this reason, crosstalk (a phenomenon in which images at adjacent viewpoint positions appear to be mixed) due to a difference from the actual arrangement has occurred, causing a problem that the individual viewpoint images are not separable.
図37は、FV方式の立体視の概要(イメージ)を示す図である。FV方式では、上述のように、画素PE毎に画素別視点CMを設定し、各画素別視点CMの視線方向のオブジェクト空間の色情報を対応する画素PEの色情報とすることで立体視画像を生成している。即ち、同図上側に示すように、画素数に等しい画素別視点CM1,CM2,・・・を設定し、設定した画素別視点CM1,CM2,・・・、のそれぞれの視線方向の色情報を画素PE1,PE2,・・・、の色情報として立体視画像を生成している。尚、同図において、立体視画像の各画素PEの数字は、対応する画素別視点CMの番号を表している。 FIG. 37 is a diagram showing an outline (image) of stereoscopic vision in the FV system. In the FV method, as described above, a stereoscopic viewpoint image is set by setting a pixel-specific viewpoint CM for each pixel PE and using the color information of the object space in the line-of-sight direction of each pixel-specific viewpoint CM as the color information of the corresponding pixel PE. Is generated. That is, as shown in the upper side of the figure, pixel-specific viewpoints CM1, CM2,... Equal to the number of pixels are set, and the color information of the respective line-of-sight directions of the set pixel-specific viewpoints CM1, CM2,. A stereoscopic image is generated as color information of the pixels PE1, PE2,. In the figure, the number of each pixel PE of the stereoscopic image represents the number of the corresponding pixel viewpoint CM.
このように生成された立体視画像を、例えば図19に示したFV方式用の立体視映像表示装置200Aに表示させ、観察者OBが、同図下側に示す位置で立体視画像を見る。すると、左目EY2には、画素PE1,PE2,PE3,・・・、から構成される画像Aが見え、右目EY1には、画素PE11,PE12,PE13,・・・、から構成される画像Bが見える。つまり、左目EY2を、画素別視点CM1,CM2,・・・,CM10、から成る視点群とし、右目EY1を、画素別視点CM11,CM12,・・・,CM20、から成る視点群としてオブジェクト空間を見ている状態に相当する。
The stereoscopic image generated in this way is displayed on, for example, the stereoscopic
そして、観察者OBの位置が、立体視画像に対して少し右方向に移動すると、観察者の左目EY2に見える画像が、画像Aの一部の画素PEが隣の画素PEに入れ替わった画像A2に変化し、右目EY1に見える画像が、画素Bの一部の画素PEが隣の画素PEに入れ替わった画像B2に変化する。 Then, when the position of the observer OB moves slightly to the right with respect to the stereoscopic image, an image A in which an image seen by the left eye EY2 of the observer is replaced with a pixel PE that is a part of the image A is replaced with an adjacent pixel PE. 2 to change an image viewed by the right eye EY1 is changed to the image B 2 that some of the pixels PE is switched to the pixel PE of the adjacent pixel B.
このように、FV方式では、立体視画像を見る観察者の位置(観察位置)が変化すると、この変化に伴って右目EY1及び左目EY2のそれぞれに見える画像が少しずつ変化する。詳細には、幾つかの画素がその近隣の画素に入れ替わった画像に変化する。従って、観察者OBの右目EY1及び左目EY2のそれぞれに見える画像が少しづつ変化することで、認識される映像が少しずつ変化する。 As described above, in the FV method, when the position of the observer viewing the stereoscopic image (observation position) changes, the images seen in each of the right eye EY1 and the left eye EY2 change little by little. Specifically, the image changes to a pixel in which some pixels are replaced by neighboring pixels. Therefore, the recognized image changes little by little as the images seen by each of the right eye EY1 and left eye EY2 of the observer OB change little by little.
このため、例えば図35に示した従来の多眼方式の立体視映像のように、適視範囲の境界部分で見える画像が急に切り変わる(即ち、認識される立体視映像が急に変化する)といった現象が生じず、観察位置の変化に伴って少しづつ変化する自然な立体視映像を実現できるとともに、観察者により視認される像の明確性が一定以上に保たれる。 For this reason, for example, an image seen at the boundary portion of the appropriate viewing range suddenly changes like the conventional multi-view stereoscopic image shown in FIG. 35 (that is, the recognized stereoscopic image suddenly changes). ), A natural stereoscopic image that changes little by little as the observation position changes can be realized, and the clarity of the image visually recognized by the observer is maintained above a certain level.
尚、上述のように、観察者OBの右目EY1及び左目FY2の各目に見える画像は、実際の画像とは若干正確さに欠く映像となる。しかし、各目が各画素を見る視線方向は、図37下側に示すように、該画素の画素別視点CMの視線方向にほぼ沿った方向となっている。即ち、左目EY2が画像Aの各画素PE1,PE2,・・・、を見る視線方向は、これら各画素PE1,PE2,・・・、に対応する画素別視点CM1,CM2,・・・、の視線方向にほぼ沿った方向となっている。また、右目EY1についても同様に、画像Bの各画素PE11,PE12,・・・、を見る視線方向は、これら各画素PE11,PE12,・・・、に対応する画素別視点CM11,CM12,・・・、の視線方向にほぼ沿った方向となっている。このため、観察者に視認される映像は、若干正確さに欠くものの、像として視認できる明確性を有したものとなる。また、前述のように、観察者の位置が変化しても、視認される像の明確性が一定以上に保たれる。 Note that, as described above, the images of the right eye EY1 and the left eye FY2 that are visible to the observer OB are images that are slightly inaccurate from the actual images. However, the line-of-sight direction in which each eye views each pixel is substantially along the line-of-sight direction of the pixel-specific viewpoint CM of the pixel, as shown in the lower side of FIG. That is, the line-of-sight direction in which the left eye EY2 views each pixel PE1, PE2,... Of the image A is that of the pixel-specific viewpoints CM1, CM2,. The direction is substantially along the line-of-sight direction. Similarly, for the right eye EY1, the line-of-sight direction for viewing the pixels PE11, PE12,... Of the image B is the pixel-specific viewpoints CM11, CM12,.・ ・ The direction is almost along the line of sight. For this reason, the image visually recognized by the observer has clarity that can be visually recognized as an image, although it is slightly inaccurate. Further, as described above, even if the position of the observer changes, the clarity of the visually recognized image is maintained at a certain level or higher.
また、FV方式において観察者に認識される立体視映像は、従来の多眼方式の立体視映像と同程度の解像度が得られる。例えば図19に示す立体視映像表示装置200Aでは、レンズピッチLはサブピクセル単位での画素ピッチSの3〜4倍である。従って、かかる立体視映像表示装置200では、画素パネル20の解像度の1/3〜1/4程度の解像度、即ち、従来の3〜4眼式の立体視映像と同程度の解像度が得られることになる。
In addition, a stereoscopic image recognized by an observer in the FV system can have a resolution comparable to that of a conventional multi-view stereoscopic image. For example, in the stereoscopic
このように、FV方式による立体視では、認識される立体視映像の正確さが僅かに欠けるけれども、従来の多眼方式の立体視映像と同程度の解像度を有しつつ、且つ、視点(ビュー)の数が膨大になったような自然な立体視映像を実現できる。 As described above, in the stereoscopic vision based on the FV system, although the accuracy of the recognized stereoscopic video is slightly lacking, it has the same resolution as that of the conventional multi-view stereoscopic video and has a viewpoint (view). ) Can be realized as a natural stereoscopic image.
〔FV方式の課題〕
ここまで、FV方式による立体視画像生成について詳細に説明してきた。上述した通り、FV方式では、(1)視線Vの決定、(2)レンダリングの2つの手順によって立体視画像を生成する。
[FV system issues]
Up to this point, the stereoscopic image generation by the FV method has been described in detail. As described above, in the FV method, a stereoscopic image is generated by two procedures: (1) determination of the line of sight V and (2) rendering.
ゲーム装置等の高速な3DCG画像生成を行う際の画像生成方法としては、例えばZバッファ法が良く知られている。Zバッファ法は、非常に高速な画像生成を可能とする点で優れた手法であるが、Zバッファ法では、1つの視点を想定してレンダリングを行っている。このため、複数の視点が存在する多眼式における立体視画像生成では、各視点毎にZバッファ法による計算を行う必要があった。 For example, a Z buffer method is well known as an image generation method for performing high-speed 3DCG image generation in a game device or the like. The Z buffer method is an excellent method in that an image can be generated at a very high speed. In the Z buffer method, rendering is performed assuming one viewpoint. For this reason, in the multi-view stereoscopic image generation in which a plurality of viewpoints exist, it is necessary to perform calculation by the Z buffer method for each viewpoint.
FV方式に従来のZバッファ法を適用した場合、FV方式は、画素数と同じ数の視点Vが存在するため、Zバッファ法による計算も画素数と同じ回数だけ行わなければならず、処理時間が膨大なものになってしまう。すなわち、FV方式における立体視画像生成において、従来のZバッファ法によるレンダリングが適しているとは言い難かった。 When the conventional Z buffer method is applied to the FV method, since the FV method has the same number of viewpoints V as the number of pixels, the calculation by the Z buffer method must be performed as many times as the number of pixels, and the processing time Will become enormous. That is, it is difficult to say that rendering by the conventional Z buffer method is suitable for generating a stereoscopic image in the FV method.
一方、高品位な画像生成を行う方法として、先に触れたレイ・トレーシング法が知られている。レイ・トレーシング法は、高品位な静止画の描画やムービー製作に用いられるが、画素毎に対応した光線を追跡することでレンダリングを行うため、ゲーム等で要求されるような高速な描画には向いていない。更に、FV方式を含め、一般にRGBのサブピクセルが存在するフラットパネルを用いた立体視ディスプレイの場合には、サブピクセル単位で画素を扱うことにより画質を高めているため、ピクセル単位で画素を扱う場合と比べて、処理時間が単純に3倍になる。従って、従来から知られているレイ・トレーシング法も、FV方式において高速に描画を行いたい場合には、立体視画像生成のレンダリングに適しているとは言い難かった。 On the other hand, the ray tracing method mentioned above is known as a method for generating high-quality images. The ray tracing method is used for high-quality still image drawing and movie production, but it performs rendering by tracking rays corresponding to each pixel, so it can be used for high-speed drawing required by games etc. Is not suitable. Furthermore, in the case of a stereoscopic display using a flat panel that generally includes RGB sub-pixels including the FV method, the image quality is improved by handling the pixels in units of sub-pixels, so that the pixels are handled in units of pixels. Compared to the case, the processing time is simply tripled. Therefore, it is difficult to say that the conventionally known ray tracing method is suitable for rendering for generating a stereoscopic image when it is desired to perform drawing at high speed in the FV method.
本発明はこのような課題に鑑みて為されたものであり、その目的とするところは、FV方式に適した、より高速な立体視画像生成方法を提案することにある。 The present invention has been made in view of such problems, and an object of the present invention is to propose a higher-speed stereoscopic image generation method suitable for the FV method.
以上の課題を解決するための第1の発明は、
画素を配置した画素パネル(例えば、図19、21の画素パネル20)と、該画素パネルの各画素の光線に指向性を与える光学素子群(例えば、図19、21のレンズ板30)とを備えた立体視映像表示装置(例えば、図13の立体視画像生成装置1)に表示させる、所与のプリミティブ面が配置された三次元仮想空間の立体視画像を、
前記画素パネルの所定のスキャンライン毎に、当該スキャンライン内の各画素について、
1)前記光学素子群による前記指向性の最大角度である指向最大角度(例えば、図9の角度α)と、2)前記スキャンラインと前記立体視画像を観察する位置として予め定められた想定観察位置とを結んだスキャンライン平面が前記プリミティブ面と交わった交線である描画対象線分(例えば、図11のポリゴン線分PG)の端点と、に基づいて、前記光学素子群によって指向性が与えられた当該画素の射出光線(例えば、図11の代表光線PR)が当該描画対象線分に交差する可能性を判定する交差可能性判定ステップ(例えば、図17のステップB1)と、
前記交差可能性判定ステップにより交差可能性有りと判定された場合に、当該画素の射出光線が前記描画対象線分に交差するか否かを判定する交差判定ステップ(例えば、図17のステップB7、B11及びB17、B21)と、
前記交差判定ステップにより交差すると判定された場合に、当該画素の射出光線が前記描画対象線分に交差する点の色情報を当該画素の色情報として、当該射出光線の方向に基づくレンダリング処理で求める色情報算出ステップ(例えば、図16のステップA29〜A37)と、
を実行することで、前記交差可能性判定ステップにより交差可能性無しと判定された画素及び前記交差判定ステップにより交差しないと判定された画素の色情報を算出せずに生成する画像生成装置である。
The first invention for solving the above problems is:
A pixel panel in which pixels are arranged (for example, the
For each predetermined scan line of the pixel panel, for each pixel in the scan line,
1) Maximum directional angle (for example, angle α in FIG. 9) that is the maximum directional angle of the directivity by the optical element group, and 2) Assumption observation predetermined as a position for observing the scan line and the stereoscopic image. The optical element group has directivity based on the end point of the drawing target line segment (for example, the polygon line segment PG in FIG. 11), which is an intersection line of the scan line plane connecting the position and the primitive plane. A crossing possibility determination step (for example, step B1 in FIG. 17) for determining a possibility that a given emission ray of the pixel (for example, the representative light ray PR in FIG. 11) crosses the drawing target line segment;
When it is determined that there is a possibility of intersection in the intersection possibility determination step, an intersection determination step for determining whether or not the emitted light beam of the pixel intersects the drawing target line segment (for example, step B7 in FIG. 17, B11 and B17, B21),
When it is determined that the intersection is determined by the intersection determination step, the color information of the point where the emitted light of the pixel intersects the drawing target line segment is obtained as the color information of the pixel by the rendering process based on the direction of the emitted light. A color information calculation step (for example, steps A29 to A37 in FIG. 16);
This is an image generation device that generates without calculating the color information of the pixel determined not to be crossable by the crossing possibility determination step and the pixel determined not to cross by the crossing determination step. .
また、第7の発明は、
画素を配置した画素パネル(例えば、図19、21の画素パネル20)と、該画素パネルの各画素の光線に指向性を与える光学素子群(例えば、図19、21のレンズ板30)とを備えた立体視映像表示装置(例えば、図13の立体視画像生成装置1)に表示させる、所与のプリミティブ面が配置された三次元仮想空間の立体視画像を、
前記画素パネルの所定のスキャンライン毎に、当該スキャンライン内の各画素について、
1)前記光学素子群による前記指向性の最大角度である指向最大角度(例えば、図9の角度α)と、2)前記スキャンラインと前記立体視画像を観察する位置として予め定められた想定観察位置とを結んだスキャンライン平面が前記プリミティブ面と交わった交線である描画対象線分(例えば、図11のポリゴン線分PG)の端点と、に基づいて、前記光学素子群によって指向性が与えられた当該画素の射出光線(例えば、図11の代表光線PR)が当該描画対象線分に交差する可能性を判定する交差可能性判定ステップ(例えば、図6のステップT13)と、
前記交差可能性判定ステップにより交差可能性有りと判定された場合に、当該画素の射出光線が前記描画対象線分に交差するか否かを判定する交差判定ステップ(例えば、図6のステップT15)と、
前記交差判定ステップにより交差すると判定された場合に、当該画素の射出光線が前記描画対象線分に交差する点の色情報を当該画素の色情報として、当該射出光線の方向に基づくレンダリング処理で求める色情報算出ステップ(例えば、図6のステップT17、T19)と、
を実行することで、前記交差可能性判定ステップにより交差可能性無しと判定された画素及び前記交差判定ステップにより交差しないと判定された画素の色情報を算出せずに生成する画像生成方法である。
In addition, the seventh invention,
A pixel panel in which pixels are arranged (for example, the
For each predetermined scan line of the pixel panel, for each pixel in the scan line,
1) Maximum directional angle (for example, angle α in FIG. 9) that is the maximum directional angle of the directivity by the optical element group, and 2) Assumption observation predetermined as a position for observing the scan line and the stereoscopic image. The optical element group has directivity based on the end point of the drawing target line segment (for example, the polygon line segment PG in FIG. 11), which is an intersection line of the scan line plane connecting the position and the primitive plane. A cross possibility determination step (for example, step T13 in FIG. 6) for determining a possibility that a given emission light beam of the pixel (for example, the representative light beam PR in FIG. 11) crosses the drawing target line segment;
When it is determined that there is a possibility of intersection in the intersection possibility determination step, an intersection determination step for determining whether or not the emitted light beam of the pixel intersects the drawing target line segment (for example, step T15 in FIG. 6). When,
When it is determined that the intersection is determined by the intersection determination step, the color information of the point where the emitted light of the pixel intersects the drawing target line segment is obtained as the color information of the pixel by the rendering process based on the direction of the emitted light. A color information calculation step (for example, steps T17 and T19 in FIG. 6);
This is an image generation method for generating without calculating color information of pixels determined to have no possibility of crossing by the crossing possibility determination step and pixels determined not to cross by the crossing determination step. .
この第1又は第7の発明によれば、画素パネルの所定のスキャンライン毎に、光学素子群によって指向性が与えられた画素の射出光線が描画対象線分に交差する可能性が、交差可能性判定ステップにより各画素について判定され、交差可能性有りと判定された画素については、当該画素の射出光線が描画対象線分に交差するか否かが、交差判定ステップにより判定される。そして、交差判定ステップにより交差すると判定されると、当該画素の射出光線が描画対象線分に交差する点の色情報が当該画素の色情報として、レンダリング処理で求められる。そして、交差可能性判定ステップにより交差可能性無しと判定された画素及び交差判定ステップにより交差しないと判定された画素の色情報は算出されずに、立体視画像が生成される。 According to the first or seventh aspect of the present invention, the possibility that the emitted light beam of the pixel having directivity given by the optical element group intersects the drawing target line segment can be intersected for each predetermined scan line of the pixel panel. For each pixel that is determined for each pixel in the sex determination step and is determined to have a possibility of crossing, it is determined in the cross determination step whether or not the emitted light beam of the pixel intersects the drawing target line segment. Then, when it is determined that the intersection is determined in the intersection determination step, the color information of the point where the emitted light beam of the pixel intersects the drawing target line segment is obtained as the color information of the pixel by the rendering process. Then, the stereoscopic image is generated without calculating the color information of the pixel determined to have no crossing possibility in the crossing possibility determination step and the pixel determined not to cross in the crossing determination step.
従って、各画素の射出光線が様々な方向を向いているような場合、すなわち各画素の射出光線が互いに平行でなく、特定の視点に集まっていることもないような場合であってもレンダリング処理が適切に行われるため、FV方式に適した立体視画像生成がなされることになる。また、画素の射出交線が描画対象線分に交差する交差可能性無しと判定された画素及び交差しないと判定された画素についてはレンダリング処理が行われないため、全ての画素についてレンダリング処理が行われる場合と比べて、処理時間が短時間で済む。 Therefore, even when the exit rays of each pixel are directed in various directions, that is, when the exit rays of each pixel are not parallel to each other and are not gathered at a specific viewpoint, rendering processing is performed. Therefore, stereoscopic image generation suitable for the FV method is performed. Further, since the pixel is not subjected to the rendering process for the pixel determined to have no possibility of intersecting with the line to be drawn and the pixel determined not to intersect, the rendering process is performed for all the pixels. Compared with the case where it is displayed, processing time is short.
第2の発明は、第1の発明の画像生成装置であって、
前記立体視映像表示装置は、所定の想定観察位置における一の光学素子に対する視角を対光学素子視角λ、前記一の光学素子により指向性が与えられる一の画素に対する視角を対画素視角σ、前記画素パネル中の立体視画像描画領域に対する視角を対描画領域視角Φとしたとき、λ:σ=n:m(但し、nは自然数、mはΦ/λ未満の自然数)が成立しないことを特徴とする画像生成装置である。
The second invention is the image generating device of the first invention,
The stereoscopic image display device has a viewing angle with respect to one optical element at a predetermined assumed observation position as a viewing angle with respect to the optical element λ, a viewing angle with respect to one pixel to which directivity is given by the one optical element as a viewing angle with respect to pixel σ, and Λ: σ = n: m (where n is a natural number and m is a natural number less than Φ / λ) is not established when the viewing angle with respect to the stereoscopic image drawing region in the pixel panel is a paired drawing region viewing angle Φ. Is an image generation apparatus.
また、第3の発明は、第1又は第2の発明の画像生成装置であって、
前記立体視映像表示装置は、一の光学素子の水平方向幅をL、前記一の光学素子により指向性が与えられる一の画素の水平方向幅をS、前記画素パネル中の立体視画像描画領域の水平方向幅をRとしたとき、L:S=o:p(但し、oは自然数、pはR/L未満の自然数)が成立しないことを特徴とする画像生成装置である。
The third invention is the image generation device of the first or second invention,
The stereoscopic video display device has a horizontal width of one optical element as L, a horizontal width of one pixel provided with directivity by the one optical element as S, and a stereoscopic image drawing area in the pixel panel. Is an image generation device characterized in that L: S = o: p (where o is a natural number and p is a natural number less than R / L) is not established.
また、第8の発明は、第7の発明の画像生成方法であって、
前記立体視映像表示装置は、所定の想定観察位置における一の光学素子に対する視角を対光学素子視角λ、前記一の光学素子により指向性が与えられる一の画素に対する視角を対画素視角σ、前記画素パネル中の立体視画像描画領域に対する視角を対描画領域視角Φとしたとき、λ:σ=n:m(但し、nは自然数、mはΦ/λ未満の自然数)が成立しないことを特徴とする画像生成方法である。
The eighth invention is the image generation method of the seventh invention,
The stereoscopic image display apparatus has a viewing angle with respect to one optical element at a predetermined assumed observation position as a viewing angle with respect to the optical element λ, a viewing angle with respect to one pixel given directivity by the one optical element as a viewing angle with respect to pixel σ, and Λ: σ = n: m (where n is a natural number and m is a natural number less than Φ / λ) is not established when the viewing angle with respect to the stereoscopic image drawing region in the pixel panel is a paired drawing region viewing angle Φ. This is an image generation method.
また、第9の発明は、第7又は第8の発明の画像生成方法であって、
前記立体視映像表示装置は、一の光学素子の水平方向幅をL、前記一の光学素子により指向性が与えられる一の画素の水平方向幅をS、前記画素パネル中の立体視画像描画領域の水平方向幅をRとしたとき、L:S=o:p(但し、oは自然数、pはR/L未満の自然数)が成立しないことを特徴とする画像生成方法である。
The ninth invention is the image generation method of the seventh or eighth invention,
The stereoscopic video display device has a horizontal width of one optical element as L, a horizontal width of one pixel provided with directivity by the one optical element as S, and a stereoscopic image drawing area in the pixel panel. Is an image generation method characterized in that L: S = o: p (where o is a natural number and p is a natural number less than R / L) is not established.
この第2、第3、第8又は第9の発明によれば、レンズのレンズピッチと表示装置の画素ピッチとが合わない(いわゆる「ピッチが合わない」)場合において立体視画像生成がなされることになる。 According to the second, third, eighth, or ninth invention, a stereoscopic image is generated when the lens pitch of the lens and the pixel pitch of the display device do not match (so-called “pitch does not match”). It will be.
第4の発明は、第1〜第3の何れか一の発明の画像生成装置であって、
前記交差可能性判定ステップは、交差可能性として、交差可能性無し、確実に交差する、及び、交差の是非は不確実、のうちの何れかの判定をするステップであり、
前記交差判定ステップは、前記交差可能性判定ステップにより不確実と判定された場合にのみ、当該画素の射出光線が前記描画対象線分に交差するか否かを判定するステップであり、
前記色情報算出ステップは、前記交差判定ステップにより交差すると判定された場合、又は、前記交差可能性判定ステップにより確実に交差すると判定された場合に、当該画素の色情報を求めるステップである、
ことを特徴とする画像生成装置である。
A fourth invention is the image generation apparatus according to any one of the first to third inventions,
The crossing possibility determination step is a step of determining any of crossing possibility, no crossing possibility, surely crossing, and whether or not crossing is uncertain.
The intersection determination step is a step of determining whether or not the emitted light beam of the pixel intersects the drawing target line segment only when it is determined uncertain by the intersection possibility determination step.
The color information calculation step is a step of obtaining color information of the pixel when it is determined that the intersection is determined by the intersection determination step, or when it is determined that the intersection is surely intersected by the intersection possibility determination step.
An image generating apparatus characterized by the above.
第10の発明は、第7〜第9の何れか一の発明の画像生成方法であって、
前記交差可能性判定ステップは、交差可能性として、交差可能性無し、確実に交差する、及び、交差の是非は不確実、のうちの何れかの判定をするステップであり、
前記交差判定ステップは、前記交差可能性判定ステップにより不確実と判定された場合にのみ、当該画素の射出光線が前記描画対象線分に交差するか否かを判定するステップであり、
前記色情報算出ステップは、前記交差判定ステップにより交差すると判定された場合、又は、前記交差可能性判定ステップにより確実に交差すると判定された場合に、当該画素の色情報を求めるステップである、
ことを特徴とする画像生成方法である。
A tenth invention is an image generation method according to any one of the seventh to ninth inventions,
The crossing possibility determination step is a step of determining any of crossing possibility, no crossing possibility, surely crossing, and whether or not crossing is uncertain.
The intersection determination step is a step of determining whether or not the emitted light beam of the pixel intersects the drawing target line segment only when it is determined uncertain by the intersection possibility determination step.
The color information calculation step is a step of obtaining color information of the pixel when it is determined that the intersection is determined by the intersection determination step, or when it is determined that the intersection is surely intersected by the intersection possibility determination step.
An image generation method characterized by this.
この第4又は第10の発明によれば、交差可能性として、交差可能性無し、確実に交差する、及び、交差の是非は不確実の何れかが交差可能性判定ステップにより判定され、交差の是非は不確実と判定された場合にのみ、当該画素の射出光線が描画対象線分に交差するか否かが交差判定ステップにより判定される。また、交差判定ステップにより交差すると判定された場合、又は、交差可能性ステップにより確実に交差すると判定された場合に、当該画素の色情報が求められることになる。従って、画素の射出光線が描画対象線分と交差するか否かが、各画素について適切且つ効率的に判断されることになる。 According to the fourth or tenth aspect of the present invention, as the possibility of intersection, the possibility of intersection is determined, the intersection is surely performed, and whether the intersection is uncertain is determined by the intersection possibility determination step. Only when it is determined to be uncertain, the intersection determination step determines whether or not the emitted light beam of the pixel intersects the drawing target line segment. In addition, when it is determined that the intersection is determined in the intersection determination step, or when it is determined that the intersection is surely determined in the intersection possibility step, the color information of the pixel is obtained. Therefore, it is determined appropriately and efficiently for each pixel whether or not the emitted light of the pixel intersects the drawing target line segment.
第5の発明は、第4の発明の画像生成装置であって、
前記色情報算出ステップは、前記レンダリング処理における隠面消去処理として、Zバッファ法に基づく隠面消去処理を行う隠面消去処理ステップ(例えば、図16のステップA29〜A37)を有し、
前記隠面消去処理ステップは、当該画素の射出光線が前記描画対象線分に交差する点のz値を当該画素のz値として算出するz値算出ステップ(例えば、図16のステップA29)を有し、前記z値算出ステップにより算出されたz値に基づくZバッファ法で隠面消去処理を行うステップである、
ことを特徴とする画像生成装置である。
The fifth invention is the image generating device of the fourth invention,
The color information calculation step includes a hidden surface removal process step (for example, steps A29 to A37 in FIG. 16) for performing a hidden surface removal process based on the Z buffer method as the hidden surface removal process in the rendering process.
The hidden surface removal processing step includes a z value calculation step (for example, step A29 in FIG. 16) in which the z value of the point where the light ray emitted from the pixel intersects the drawing target line segment is calculated as the z value of the pixel. A hidden surface removal process using a Z buffer method based on the z value calculated in the z value calculating step.
An image generating apparatus characterized by the above.
また、第11の発明は、第10の発明の画像生成方法であって、
前記色情報算出ステップは、前記レンダリング処理における隠面消去処理として、Zバッファ法に基づく隠面消去処理を行う隠面消去処理ステップ(例えば、図6のステップT17、T19)を有し、
前記隠面消去処理ステップは、当該画素の射出光線が前記描画対象線分に交差する点のz値を当該画素のz値として算出するz値算出ステップ(例えば、図6のステップT17)を有し、前記z値算出ステップにより算出されたz値に基づくZバッファ法で隠面消去処理を行うステップである、
ことを特徴とする画像生成方法である。
The eleventh aspect of the invention is the image generation method of the tenth aspect of the invention,
The color information calculation step includes a hidden surface removal process step (for example, steps T17 and T19 in FIG. 6) for performing a hidden surface removal process based on the Z buffer method as the hidden surface removal process in the rendering process.
The hidden surface removal processing step includes a z value calculation step (for example, step T17 in FIG. 6) in which the z value of the point where the emitted light beam of the pixel intersects the drawing target line segment is calculated as the z value of the pixel. A hidden surface removal process using a Z buffer method based on the z value calculated in the z value calculating step.
An image generation method characterized by this.
この第5又は第11の発明によれば、当該画素の射出光線が描画対象線分に交差する点のz値が当該画素のz値として算出され、算出されたz値に基づくZバッファ法で隠面消去処理が行われることになる。 According to the fifth or eleventh aspect of the invention, the z value of the point at which the emitted light beam of the pixel intersects the drawing target line segment is calculated as the z value of the pixel, and the Z buffer method based on the calculated z value is used. A hidden surface removal process is performed.
第6の発明は、第5の発明の画像生成装置であって、
前記z値算出ステップは、前記画素パネルを前記想定観察位置に基づき前記三次元仮想空間へ配置した場合の前記三次元仮想空間における画素ピッチである空間相当画素ピッチと、前記プリミティブ面の法線ベクトルとに基づいて当該画素に隣接する隣接画素のz値から当該画素のz値へのz値変化量を算出し、算出したz値変化量を当該隣接画素のz値に加えることで、当該画素のz値を算出するステップである、
ことを特徴とする画像生成装置である。
A sixth invention is the image generating device of the fifth invention,
The z value calculating step includes a space equivalent pixel pitch which is a pixel pitch in the three-dimensional virtual space when the pixel panel is arranged in the three-dimensional virtual space based on the assumed observation position, and a normal vector of the primitive surface And calculating the z value change amount from the z value of the adjacent pixel adjacent to the pixel to the z value of the pixel, and adding the calculated z value change amount to the z value of the adjacent pixel. A step of calculating a z value of
An image generating apparatus characterized by the above.
また、第12の発明は、第11の発明の画像生成方法であって、
前記z値算出ステップは、前記画素パネルを前記想定観察位置に基づき前記三次元仮想空間へ配置した場合の前記三次元仮想空間における画素ピッチである空間相当画素ピッチと、前記プリミティブ面の法線ベクトルとに基づいて当該画素に隣接する隣接画素のz値から当該画素のz値へのz値変化量を算出し、算出したz値変化量を当該隣接画素のz値に加えることで、当該画素のz値を算出するステップである、
ことを特徴とする画像生成方法である。
The twelfth invention is the image generation method of the eleventh invention,
The z value calculating step includes a space equivalent pixel pitch which is a pixel pitch in the three-dimensional virtual space when the pixel panel is arranged in the three-dimensional virtual space based on the assumed observation position, and a normal vector of the primitive surface And calculating the z value change amount from the z value of the adjacent pixel adjacent to the pixel to the z value of the pixel, and adding the calculated z value change amount to the z value of the adjacent pixel. A step of calculating a z value of
An image generation method characterized by this.
この第6又は第12の発明によれば、空間相当画素ピッチと、プリミティブ面の法線ベクトルとに基づいて当該画素に隣接する隣接画素のz値から当該画素のz値へのz値変化量が算出され、算出されたz値変化量が当該隣接画素のz値に加算されることで、当該画素のz値が算出される。従って、色情報算出の対象となる各画素について、画素の射出光線と描画対象線分との交点のz値を逐次算出して当該画素のz値とするといった迂遠な処理を行う必要無しに、z値変化量の加算により各画素のz値を順次求めることができるようになる。 According to the sixth or twelfth invention, the amount of change in the z value from the z value of the adjacent pixel adjacent to the pixel to the z value of the pixel based on the space equivalent pixel pitch and the normal vector of the primitive surface Is calculated, and the calculated z value change amount is added to the z value of the adjacent pixel, whereby the z value of the pixel is calculated. Therefore, for each pixel that is the target of color information calculation, there is no need to perform a detour process such as sequentially calculating the z value of the intersection of the emitted light of the pixel and the drawing target line segment to obtain the z value of the pixel. By adding the amount of change in z value, the z value of each pixel can be obtained sequentially.
第13の発明は、
コンピュータに、第7〜第12の何れか一の発明の画像生成方法を実行させるためのプログラム(例えば、図13の立体視画像生成プログラム420)である。
The thirteenth invention
A program for causing a computer to execute the image generation method according to any one of the seventh to twelfth inventions (for example, the stereoscopic
この第13の発明によれば、第7〜第12の何れか一の発明と同様の作用効果を奏するプログラムを実現することができる。 According to the thirteenth aspect, it is possible to realize a program that exhibits the same effects as any one of the seventh to twelfth aspects.
本発明によれば、画素パネルの所定のスキャンライン毎に、光学素子群によって指向性が与えられた画素の射出光線が描画対象線分に交差する可能性が、交差可能性判定ステップにより各画素について判定され、交差可能性有りと判定された画素については、当該画素の射出光線が描画対象線分に交差するか否かが、交差判定ステップにより判定される。そして、交差判定ステップにより交差すると判定されると、当該画素の射出光線が描画対象線分に交差する点の色情報が当該画素の色情報として、レンダリング処理で求められる。そして、交差可能性判定ステップにより交差可能性無しと判定された画素及び交差判定ステップにより交差しないと判定された画素の色情報は算出されずに、立体視画像が生成される。 According to the present invention, for each predetermined scan line of the pixel panel, the possibility that the emitted light beam of the pixel given directivity by the optical element group intersects the drawing target line segment is determined by the intersection possibility determination step. With respect to a pixel that is determined with respect to the possibility of crossing, it is determined in the cross determination step whether or not the emitted light beam of the pixel crosses the drawing target line segment. Then, when it is determined that the intersection is determined in the intersection determination step, the color information of the point where the emitted light beam of the pixel intersects the drawing target line segment is obtained as the color information of the pixel by the rendering process. Then, the stereoscopic image is generated without calculating the color information of the pixel determined to have no crossing possibility in the crossing possibility determination step and the pixel determined not to cross in the crossing determination step.
従って、各画素の射出光線が様々な方向を向いているような場合、すなわち各画素の射出光線が互いに平行でなく、特定の視点に集まっていることもないような場合であってもレンダリング処理が適切に行われるため、FV方式に適した立体視画像生成がなされることになる。また、画素の射出交線が描画対象線分に交差する交差可能性無しと判定された画素及び交差しないと判定された画素についてはレンダリング処理が行われないため、全ての画素についてレンダリング処理が行われる場合と比べて、処理時間が短時間で済む。 Therefore, even when the exit rays of each pixel are directed in various directions, that is, when the exit rays of each pixel are not parallel to each other and are not gathered at a specific viewpoint, rendering processing is performed. Therefore, stereoscopic image generation suitable for the FV method is performed. Further, since the pixel is not subjected to the rendering process for the pixel determined to have no possibility of intersecting with the line to be drawn and the pixel determined not to intersect, the rendering process is performed for all the pixels. Compared with the case where it is displayed, processing time is short.
1.原理
1−1.従来の平面視画像生成方法
先ず、図1〜図5を参照して、従来の平面視の3DCG画像である平面視画像生成方法について説明する。
1. Principle 1-1. Conventional Plane View Image Generation Method First, a conventional plan view image generation method that is a 3DCG image in plan view will be described with reference to FIGS.
ここでは、従来のZバッファ法によるレンダリング処理を行って画像生成を行う場合を例に挙げて説明する。Zバッファ法では、画像の各画素の色情報を格納するフレームバッファと同じ解像度を持ち、奥行き情報であるz値を画素毎に格納するZバッファを用いた奥行き判定が行われる。但し、ここでいう「画素」とは、ピクセル単位で表される画素のことを指し、図中では実線で分断して各画素を区別する。 Here, a case where image generation is performed by performing rendering processing by a conventional Z buffer method will be described as an example. In the Z buffer method, depth determination is performed using a Z buffer that has the same resolution as a frame buffer that stores color information of each pixel of an image and stores a z value that is depth information for each pixel. Here, the “pixel” refers to a pixel expressed in units of pixels, and in the figure, each pixel is distinguished by being divided by a solid line.
図1は、従来の平面視画像生成方法の流れを示すフローチャートである。
先ず、毎フレーム時間単位で(例えば、1/60秒毎に)、ループAの処理が繰り返し実行される。
ループAでは、最初に初期設定が行われる(ステップS1)。具体的には、オブジェクト空間に複数のプリミティブ面(例えばポリゴン)から成るオブジェクトが配置され、該オブジェクト空間を観察する仮想カメラ等の視点が設定される。尚、以下では、プリミティブ面を、最も一般的な代表例であるポリゴンとして説明する。
FIG. 1 is a flowchart showing a flow of a conventional planar image generation method.
First, the process of the loop A is repeatedly executed every frame time unit (for example, every 1/60 seconds).
In loop A, initial setting is first performed (step S1). Specifically, an object composed of a plurality of primitive surfaces (for example, polygons) is arranged in the object space, and a viewpoint such as a virtual camera for observing the object space is set. In the following, the primitive surface will be described as a polygon that is the most general representative example.
図2は、視点VPから見て左右方向をXc軸、高さ方向をYc軸、前後方向をZc軸とするカメラ座標系でオブジェクト空間を表現したものであり、視点VP及びある1つのスキャンラインSLyを通る平面と、オブジェクト空間に配置された1つのポリゴンとが交わる線分(後述するポリゴン線分に対応)をPGで表している。 FIG. 2 represents the object space in a camera coordinate system with the left and right direction as viewed from the viewpoint VP as the Xc axis, the height direction as the Yc axis, and the front and rear direction as the Zc axis. A line segment where a plane passing through one scan line SLy and one polygon arranged in the object space intersect (corresponding to a polygon line segment described later) is represented by PG.
また、ステップS1の初期設定では、フレームバッファの各画素の色情報を背景色とすることでフレームバッファが初期化され、Zバッファの各画素のz値を視点VPから無限遠に配置した際の値(Zv軸の方向に応じて決まるが、図3のようにZv軸の向きを取るのであれば、負の無限大)とすることで、Zバッファが初期化される。 In the initial setting in step S1, the frame buffer is initialized by setting the color information of each pixel of the frame buffer as the background color, and the z value of each pixel of the Z buffer is arranged at infinity from the viewpoint VP. (although dependent on the direction of the Z v axis, if taking the direction of the Z v axis as shown in FIG. 3, negative infinity) value by a, Z buffer is initialized.
次いで、オブジェクト空間内の各ポリゴンについて、ループBの処理が繰り返し実行される。
ループBでは、処理対象となるポリゴン(以下、「対象ポリゴン」と呼ぶ。)について射影変換(透視投影変換)が行われる(ステップS3)。この射影変換により、オブジェクト空間の座標系が、図2に示すようなカメラ座標系から、視点VPを基準とした視野座標系へと変換される。視野座標系は、図3に示すような、視点VPを基準とした前後方向と左右方向とが直交する座標系(Xv軸、Yv軸、Zv軸で表す)である。
Next, the process of loop B is repeatedly executed for each polygon in the object space.
In the loop B, projective transformation (perspective projection transformation) is performed on a polygon to be processed (hereinafter referred to as “target polygon”) (step S3). By this projective transformation, the coordinate system of the object space is transformed from a camera coordinate system as shown in FIG. 2 to a visual field coordinate system based on the viewpoint VP. Visual field coordinate system, as shown in FIG. 3, the viewpoint VP reference the longitudinal direction and the coordinate system and the left-right direction perpendicular to a (X v-axis, Y v-axis, represented by Z v axis).
図4は、射影変換の概念を示す図である。
投影面となるスクリーンSCには、視点VPに基づく対象ポリゴンの投影図が形作られる(図4参照。)。この投影法が、射影変換(透視投影変換)である。以下、文中で説明する座標値は、特に断りの無い限り射影変換後の座標系である視野座標系における座標値を指すものとし、Xv軸、Yv軸、Zv軸方向それぞれについての座標値を、簡単にx、y、zで表すことにする。
FIG. 4 is a diagram showing the concept of projective transformation.
On the screen SC serving as the projection surface, a projection view of the target polygon based on the viewpoint VP is formed (see FIG. 4). This projection method is projective transformation (perspective projection transformation). Hereinafter, the coordinate values described in the text, especially intended to refer to coordinates in the visual field coordinate system is a coordinate system after the projection conversion unless otherwise stated, X v-axis, Y v axes, coordinates for each Z v axis direction The values are simply expressed as x, y, z.
尚、射影変換は、描画範囲(ビューボリューム)に相当する四角錘台を直方体に変換する行列(射影行列)を求め、その射影行列によってもとの座標系を変換することによって実現されるが、これはコンピュータグラフィクスの基本概念の一つであるので、詳細については省略する。 The projective transformation is realized by obtaining a matrix (projection matrix) for converting a square frustum corresponding to the drawing range (view volume) into a rectangular parallelepiped, and transforming the original coordinate system by the projection matrix. Since this is one of the basic concepts of computer graphics, details are omitted.
スクリーンSC上に形作られた対象ポリゴンの投影図を、図5に示す。
スクリーンSCは、表示装置の表示画面に対応する面である。図5において、横方向の線分SL1,SL2,SL3,・・・SLm,・・・,SLn−1,SLnは、表示装置のスキャンラインに対応する線分を示している。ここで、スクリーンSCのYv軸方向において対象ポリゴンが描画される範囲を「スキャンライン範囲」と呼ぶ。具体的には、対象ポリゴンのy値の最小値をymin、最大値をymaxとすると、ymin≦y≦ymaxの範囲(図5では、スキャンラインSL3〜SLn−1)がスキャンライン範囲とされる。
FIG. 5 shows a projected view of the target polygon formed on the screen SC.
The screen SC is a surface corresponding to the display screen of the display device. 5, horizontal line segments SL1, SL2, SL3,... SLm,..., SLn−1, SLn indicate line segments corresponding to scan lines of the display device. Here, the range in which the target polygon is drawn in the Y v-axis direction of the screen SC is referred to as a "scan line range". Specifically, if the minimum value of y value of the target polygon is y min and the maximum value is y max , the range of y min ≦ y ≦ y max (scan lines SL3 to SLn−1 in FIG. 5) is a scan line. Scope.
また、スキャンライン範囲に含まれる各スキャンラインそれぞれがループCの処理対象となるが、ループCの1回分の処理において対象となるスキャンライン(以下、「対象スキャンライン」と呼ぶ。)と対象ポリゴンとの交線が描画対象線分となる。以下、この線分のことを「ポリゴン線分」と呼び、符号PGで表すことにする。図5に、スキャンラインSLmにおけるポリゴン線分PGを太線で示す。また、対象スキャンラインにおいて、Xv軸方向について描画が行われる範囲を「描画範囲」と呼ぶ。具体的には、ポリゴン線分PGのx値の最小値をxmin、最大値をxmaxをすると、xmin≦x≦xmaxの範囲が描画範囲とされる。 In addition, each scan line included in the scan line range is a processing target of the loop C, but a target scan line (hereinafter referred to as “target scan line”) and a target polygon in one processing of the loop C. The line intersecting with is the drawing target line segment. Hereinafter, this line segment will be referred to as a “polygon line segment” and will be represented by the symbol PG. In FIG. 5, the polygon line segment PG in the scan line SLm is indicated by a bold line. In addition, a range in which drawing is performed in the Xv- axis direction on the target scan line is referred to as a “drawing range”. Specifically, when the minimum value of the x value of the polygon line segment PG is x min and the maximum value is x max , the drawing range is x min ≦ x ≦ x max .
図1のフローチャートに戻って、ステップS3で射影変換が行われると、対象ポリゴンのy値の最小値yminと最大値ymaxとが特定され、スキャンライン範囲がymin≦y≦ymaxとして求められる(ステップS5)。 Returning to the flowchart of FIG. 1, when projective transformation is performed in step S <b> 3, the minimum value y min and the maximum value y max of the target polygon are specified, and the scan line range is y min ≦ y ≦ y max. It is obtained (step S5).
そして、ステップS5で求められたスキャンライン範囲に含まれる各スキャンラインについて、ループCの処理が繰り返し実行される。
ループCでは、対象スキャンラインと対象ポリゴンとの交線であるポリゴン線分PGが求められる(ステップS7)。そして、ポリゴン線分PGのx値の最小値xminと最大値xmaxとが特定され、対象スキャンラインにおける描画範囲がxmin≦x≦xmaxとして求められる(ステップS9)。
Then, the process of loop C is repeatedly executed for each scan line included in the scan line range obtained in step S5.
In the loop C, a polygon line segment PG that is an intersection line between the target scan line and the target polygon is obtained (step S7). Then, the minimum value x min and the maximum value x max of the x value of the polygon line segment PG are specified, and the drawing range in the target scan line is obtained as x min ≦ x ≦ x max (step S9).
次いで、ステップS9で求められた描画範囲に含まれる各画素について、ループDの処理が繰り返し実行される。
ループDでは、先ず対象となる画素(以下、「対象画素」と呼ぶ。)のz値が求められる(ステップS11)。
Next, the process of loop D is repeatedly executed for each pixel included in the drawing range obtained in step S9.
In the loop D, first, a z value of a target pixel (hereinafter referred to as “target pixel”) is obtained (step S11).
ここで、対象画素のz値を求める方法について、詳細に説明する。
視野座標系において、対象ポリゴンの法線ベクトルをN(nx,ny,nz)、対象ポリゴンの何れかの頂点をPi(xi,yi,zi)で表すことにすると、対象ポリゴンを含む平面上の点P(x,y,z)は式(14)で表される。
(P−Pi)・N=0 ・・・(14)
Here, a method for obtaining the z value of the target pixel will be described in detail.
In the field-of-view coordinate system, if the normal vector of the target polygon is represented by N (n x , n y , n z ) and any vertex of the target polygon is represented by P i (x i , y i , z i ), A point P (x, y, z) on the plane including the target polygon is expressed by Expression (14).
(P-P i) · N = 0 ··· (14)
式(14)を、各座標成分を使って表すと、式(15)のようになる。
nxx+nyy+nzz+d=0 ・・・(15)
ここで、dは式(16)で表され、Nが単位法線ベクトルの場合は、視野座標系の原点から式(14)で表される平面に下ろした垂線の符号付き長さとなる。
d=−Pi・N
=−(nxxi+nyyi+nzzi) ・・・(16)
When Expression (14) is expressed using each coordinate component, Expression (15) is obtained.
n x x + ny y + nz z + d = 0 (15)
Here, d is expressed by Expression (16), and when N is a unit normal vector, it is the signed length of a perpendicular line drawn from the origin of the visual field coordinate system to the plane expressed by Expression (14).
d = −P i · N
= − (N x x i + ny y i + n z z i ) (16)
式(15)をzについて解くと式(17)となり、対象画素のz値は、この式(17)から求めることができる。
z=−(nxx+nyy+d)/nz ・・・(17)
Solving Equation (15) for z yields Equation (17), and the z value of the target pixel can be obtained from Equation (17).
z = − (n x x + ny y + d) / nz (17)
尚、式(17)を逐次計算することで各画素のz値を求めても良いが、増分法と呼ばれる手法を用いると、より簡便にz値を求めることができる。今、スキャンライン毎に処理を行うことにしているため、式(17)の分子のnyy+dは定数とみなすことができる。従って、スキャンライン上で隣接する画素のz値は、左隣の画素のz値に奥行きの増分Δz=−nx/nzを加算することで、順次求めることができる。この増分法を用いれば、同一のスキャンライン上に位置する全ての画素のz値を加算のみで求めることができるため、処理時間を大幅に節約することができる。 Note that the z value of each pixel may be obtained by sequentially calculating equation (17), but the z value can be obtained more easily by using a method called an incremental method. Now, since processing is performed for each scan line, n y y + d of the numerator in Expression (17) can be regarded as a constant. Therefore, the z value of the adjacent pixels on the scan line can be sequentially obtained by adding the depth increment Δz = −n x / nz to the z value of the left adjacent pixel. If this incremental method is used, the z values of all the pixels located on the same scan line can be obtained only by addition, so that the processing time can be greatly saved.
次いで、ステップS11で求められた対象画素のz値を用いて、Zバッファ法によるレンダリング処理が行われる(ステップS13)。具体的には、ステップS11で求められた対象画素のz値が、既にZバッファに格納されている対象画素のz値よりも大きいか否かが判定され、大きくないと判定された場合は、何もせずに次の画素へと処理が移行される。 Next, rendering processing by the Z buffer method is performed using the z value of the target pixel obtained in step S11 (step S13). Specifically, it is determined whether or not the z value of the target pixel obtained in step S11 is greater than the z value of the target pixel already stored in the Z buffer. Processing is shifted to the next pixel without doing anything.
一方、ステップS11で求められた対象画素のz値が、既にZバッファに格納されている対象画素のz値よりも大きいと判定された場合は、ポリゴン線分PGと対象画素の射出光線(Zv軸に平行)との交点の色情報(RGB値やα値等)を求めて、対象画素の色情報とされる。すなわち、求めた対象画素の色情報がフレームバッファに格納・更新される。また、ステップS11で求めた対象画素のz値がZバッファに格納・更新されて、次の画素へと処理が移行される。 On the other hand, if it is determined that the z value of the target pixel obtained in step S11 is larger than the z value of the target pixel already stored in the Z buffer, the polygonal line segment PG and the emitted light (Z The color information (RGB value, α value, etc.) of the intersection with the parallel to the v axis is obtained and used as the color information of the target pixel. That is, the obtained color information of the target pixel is stored / updated in the frame buffer. In addition, the z value of the target pixel obtained in step S11 is stored / updated in the Z buffer, and the process proceeds to the next pixel.
視野座標系では、z値が大きいほど視点VPからの距離が短いことになるため、ステップS13のZバッファ法によるレンダリング処理により、視点VPにより近くに位置するものが優先的に描画される、所謂隠面消去処理がなされることになる。 In the field-of-view coordinate system, the greater the z value, the shorter the distance from the viewpoint VP, so that what is positioned closer to the viewpoint VP is preferentially rendered by the rendering process using the Z buffer method in step S13. A hidden surface removal process is performed.
そして、描画範囲に含まれる全ての画素について処理が実行されると、ループDの処理が終了となり、全てのスキャンラインについて処理が実行されると、ループCの処理が終了となる。 Then, when the process is executed for all the pixels included in the drawing range, the process of Loop D ends, and when the process is executed for all the scan lines, the process of Loop C ends.
また、全てのポリゴンについて処理が実行されると、ループBの処理が終了となり、生成された平面視画像が表示される(ステップS15)。そして、毎フレーム時間単位で描画されていくことで動画が生成・表示される。 In addition, when the processing has been executed for all the polygons, the processing of loop B ends, and the generated planar view image is displayed (step S15). A moving image is generated and displayed by being drawn in units of frame time.
1−2.立体視画像生成方法
次に、図6〜図12を参照して、本発明を適用した立体視画像生成方法について説明する。ここで説明する立体視画像生成方法は、FV方式による立体視画像生成方法である。但し、レンダリングの前段階である代表光線PRの算出、視線Vの決定方法等については、「FV方式による立体視画像の生成原理」で説明した通りであるため、詳細な説明を省略する。また、以下の説明において「画素」とは、サブピクセル単位で表される画素のことを指し、図中では実線で分断して各画素を区別する。
1-2. Stereoscopic Image Generation Method Next, a stereoscopic image generation method to which the present invention is applied will be described with reference to FIGS. The stereoscopic image generation method described here is a stereoscopic image generation method based on the FV method. However, the calculation of the representative ray PR, the method of determining the line of sight V, etc., which are the pre-rendering stages, are the same as described in “The principle of generating a stereoscopic image by the FV method”, and thus detailed description thereof is omitted. Further, in the following description, “pixel” refers to a pixel expressed in units of sub-pixels, and each pixel is distinguished by being divided by a solid line in the drawing.
図6は、立体視画像生成方法の流れを示すフローチャートである。
先ず、立体視映像表示装置200のレンズ板30の各レンズ及び画素パネル20の各画素について、想定観察位置40を視点とする射影変換(透視投影変換)が行われる(ステップT1)。
FIG. 6 is a flowchart showing the flow of the stereoscopic image generation method.
First, projective transformation (perspective projection transformation) with the assumed
次いで、各画素について対応するレンズが求められ、求められたレンズの主点からの当該画素の代表点のXv方向の位置u(以下、「代表点位置」と呼ぶ。)及びレンズの焦点距離F(但し、何れも視野座標系での値)から、焦点距離当たりの代表点位置u0=u/Fが各画素について算出される(ステップT3)。このu0は、ステップT17において対象画素のz値を算出する際に用いられる。 Next, a corresponding lens is obtained for each pixel, the position u in the Xv direction of the representative point of the pixel from the principal point of the obtained lens (hereinafter referred to as “representative point position”), and the focal length of the lens. From F (where all are values in the visual field coordinate system), a representative point position u 0 = u / F per focal length is calculated for each pixel (step T3). The u 0 is used when calculating the z value of the target pixel in step T17.
次いで、毎フレーム時間単位で(例えば、1/60秒毎に)、ループEの処理が繰り返し実行される。
ループEでは、最初に初期設定が行われる(ステップT5)。具体的には、オブジェクト空間に複数のプリミティブ面(例えばポリゴン)から成るオブジェクトが配置される。尚、この場合も、プリミティブ面を、最も一般的な代表例であるポリゴンとして説明する。
Next, the process of the loop E is repeatedly executed in units of frame time (for example, every 1/60 seconds).
In the loop E, initial setting is first performed (step T5). Specifically, an object composed of a plurality of primitive surfaces (for example, polygons) is arranged in the object space. In this case as well, the primitive surface will be described as a polygon that is the most general representative example.
また、フレームバッファの各画素の色情報を背景色とすることでフレームバッファが初期化され、Zバッファの各画素のz値を想定観察位置40から無限遠に配置した際の値(Zv軸の方向に応じて決まるが、図8のようにZv軸の向きを取るのであれば、負の無限大)とすることで、Zバッファが初期化される。
Further, the frame buffer is initialized by setting the color information of each pixel of the frame buffer as the background color, and the value ( Zv axis) when the z value of each pixel of the Z buffer is arranged at an infinite distance from the assumed
次いで、オブジェクト空間内の各ポリゴンについて、ループFの処理が繰り返し実行される。このループFにおいて、処理対象となるポリゴンのことを「対象ポリゴン」と呼ぶ。
ループFでは、対象ポリゴンについて射影変換(透視投影変換)が行われる(ステップT7)。この射影変換により、オブジェクト空間の座標系が、図7に示すようなカメラ座標系から、図8に示すような視野座標系へと変換される。
Next, the process of loop F is repeatedly executed for each polygon in the object space. In the loop F, a polygon to be processed is called a “target polygon”.
In loop F, projective transformation (perspective projection transformation) is performed on the target polygon (step T7). By this projective transformation, the coordinate system of the object space is transformed from a camera coordinate system as shown in FIG. 7 to a visual field coordinate system as shown in FIG.
次いで、対象ポリゴンに対するスキャンライン範囲が求められる(ステップT9)。より具体的には、射影変換された対象ポリゴンのy値の最小値ymin及び最大値ymaxが特定され、ymin≦y≦ymaxの範囲がスキャンライン範囲とされる。 Next, a scan line range for the target polygon is obtained (step T9). More specifically, the minimum value y min and the maximum value y max of the y value of the target polygon subjected to the projective transformation are specified, and the range of y min ≦ y ≦ y max is set as the scan line range.
次いで、ステップT9で決定されたスキャンライン範囲に含まれる各スキャンラインについて、ループGの処理が繰り返し実行される。このループGにおいて、処理対象となるスキャンラインのことを「対象スキャンライン」と呼ぶ。
ループGでは、対象スキャンラインと対象ポリゴンとの交線(ポリゴン線分PG)が求められる(ステップT11)。
Next, the process of loop G is repeatedly executed for each scan line included in the scan line range determined in step T9. In the loop G, a scan line to be processed is referred to as a “target scan line”.
In the loop G, an intersection line (polygon line segment PG) between the target scan line and the target polygon is obtained (step T11).
そして、対象スキャンラインに含まれる各画素について、ループHの処理が繰り返し実行される。このループHにおいて、処理対象となる画素のことを「対象画素」と呼ぶ。
ループHでは、対象画素について、対象ポリゴンの描画対象線分であるポリゴン線分PGと、対象画素の代表光線PRとが交差する可能性が判定される(ステップT13)。但し、代表光線PRとは、対象画素の代表点と、対象画素に対応するレンズの主点とを通過した後の光線のことであり、その詳細については、「FV方式による立体視画像の生成原理」で説明した通りである。
Then, the process of loop H is repeatedly executed for each pixel included in the target scan line. In the loop H, a pixel to be processed is referred to as a “target pixel”.
In the loop H, it is determined with respect to the target pixel that the polygon line segment PG, which is the drawing target line segment of the target polygon, and the representative ray PR of the target pixel intersect (step T13). However, the representative ray PR is a ray after passing through the representative point of the target pixel and the principal point of the lens corresponding to the target pixel. For details, see “Generation of stereoscopic image by FV method”. As explained in “Principle”.
ここで、ステップT13において、交差可能性を判定する方法について詳細に説明する。FV方式では、各画素の代表光線PRの方向がZv軸に平行ではなく、様々な方向を向いているため、ポリゴン線分PGの両端座標に挟まれる範囲(xmin≦x≦xmax)を単純に対象スキャンラインの描画範囲とするわけにはいかない。 Here, the method for determining the possibility of intersection in step T13 will be described in detail. In the FV method, the direction of the representative ray PR of each pixel is not parallel to the Zv axis, but is directed in various directions, and therefore the range between the both end coordinates of the polygon line segment PG (x min ≦ x ≦ x max ) Cannot simply be the drawing range of the target scan line.
そこで、先ず図9のように、視野座標系におけるレンズの焦点距離Fと、レンズピッチLとから、一つのレンズに対応する全画素の代表光線PRが拡がる角度αを求める。尚、この角度αは、式(13)から求めることができる。 Therefore, as shown in FIG. 9, the angle α at which the representative rays PR of all the pixels corresponding to one lens spread is obtained from the focal length F of the lens in the visual field coordinate system and the lens pitch L. In addition, this angle (alpha) can be calculated | required from Formula (13).
そして、図10のように、画素パネル上で、ポリゴン線分PGの両端座標から角度αだけ拡張された範囲(同図では、範囲(B)及び(D))は、代表光線PRとポリゴン線分PGとが交差するか否かが不確実な範囲であることから「交差不確実範囲」とし、この交差不確実範囲に挟まれる範囲(同図では、範囲(C))は、代表光線PRとポリゴン線分PGとが確実に交差する範囲であることから「交差確実範囲」とする。そして、交差確実範囲に含まれる画素は交差可能性「100%」、交差不確実範囲に含まれる画素は交差可能性「0%超100%未満」、それ以外の画素は交差可能性「0%」と判定する。 As shown in FIG. 10, on the pixel panel, the range expanded by the angle α from the both end coordinates of the polygon line segment PG (ranges (B) and (D) in the figure) is the representative ray PR and the polygon line. Since it is an uncertain range whether or not it intersects with the minute PG, it is set as a “cross uncertain range”, and a range (range (C) in the figure) between the cross uncertain ranges is the representative ray PR. Since this is a range where the polygonal line segment PG reliably intersects, the “intersecting certain range” is set. Then, a pixel included in the certain range of intersection has a crossing probability “100%”, a pixel included in the crossing uncertainty range has a crossing probability “over 0% and less than 100%”, and other pixels have a crossing probability “0%”. Is determined.
ステップT13において、対象画素の交差可能性が「0%超100%未満」であると判定された場合は(ステップT13;0%超100%未満)、対象ポリゴンのポリゴン線分PGと、対象画素の代表光線PRとが交差するか否かが判定される(ステップT15)。 If it is determined in step T13 that the possibility of intersection of the target pixel is “over 0% and less than 100%” (step T13; over 0% and less than 100%), the polygon line segment PG of the target polygon and the target pixel It is determined whether or not the representative ray PR intersects (step T15).
一方、ステップT13において、対象画素の交差可能性が「100%」であると判定された場合は(ステップT13;100%)、ステップT17へと処理が移行され、対象画素の交差可能性が「0%」であると判定された場合は(ステップT13;0%)、対象スキャンラインの次の画素へと処理が移行される。 On the other hand, when it is determined in step T13 that the crossing possibility of the target pixel is “100%” (step T13; 100%), the process proceeds to step T17, and the crossing possibility of the target pixel is “ When it is determined that it is “0%” (step T13; 0%), the processing is shifted to the next pixel of the target scan line.
ここで、ステップT15において、対象ポリゴンのポリゴン線分PGと、対象画素の代表光線PRとの交差判定を行う方法について詳細に説明する。ポリゴン線分PGがXv軸と平行である場合と平行でない場合とで、交差判定の方法が異なる。 Here, a method for performing the intersection determination between the polygon line segment PG of the target polygon and the representative ray PR of the target pixel in step T15 will be described in detail. The method of intersection determination differs depending on whether the polygon line segment PG is parallel to the Xv axis or not.
先ず、図10のように、ポリゴン線分PGがXv軸と平行でない場合は、ポリゴン線分PGと代表光線PRとの交点のz値を求め、求めたz値が、ポリゴン線分PGの両端のz値に挟まれる範囲内にあるか否か(zmin≦z≦zmaxであるか否か)を判定する。そして、zmin≦z≦zmaxである場合に、ポリゴン線分PGと代表光線PRとは交差するものとする。 First, as shown in FIG. 10, when the polygon line segment PG is not parallel to the Xv axis, the z value of the intersection of the polygon line segment PG and the representative ray PR is obtained, and the obtained z value is the polygon line segment PG. It is determined whether or not it is within a range between z values at both ends (whether or not z min ≤z ≤ z max ). When z min ≦ z ≦ z max , the polygonal line segment PG and the representative ray PR cross each other.
ポリゴン線分PGと代表光線PRとの交点のz値は、以下のようにして求める。
図11のように、視野座標系における原点O1からの対象画素の代表点の位置をx0とすると、対象画素の代表光線PRは、x0とu0とを用いて式(18)のように定式化される。
x+u0z=x0 ・・・(18)
但し、前述した通り、u0=u/Fである。
The z value of the intersection between the polygon line segment PG and the representative ray PR is obtained as follows.
As shown in FIG. 11, when the position of the representative point of the target pixel from the origin O 1 in the visual field coordinate system is x 0 , the representative ray PR of the target pixel is expressed by the equation (18) using x 0 and u 0 . It is formulated as follows.
x + u 0 z = x 0 (18)
However, as described above, u 0 = u / F.
今、対象スキャンラインをy=y0とし、式(15)で表されるポリゴン線分PGの式と、式(18)で表される代表光線PRの式とを連立させてzについて解くと、式(19)のようになる。
z=(nxx0+nyy0+d)/(nxu0−nz) ・・・(19)
Now, assuming that the target scan line is y = y 0 and the equation of the polygon line segment PG represented by the equation (15) and the equation of the representative ray PR represented by the equation (18) are simultaneously solved for z (19).
z = (n x x 0 +
ポリゴン線分PGと代表光線PRとの交点のz値は、式(19)により求めることができる。この際、ステップT3で各画素についてu0を算出してあるため、このu0を用いればz値を簡単に求めることができる。
The z value of the intersection between the polygon line segment PG and the representative ray PR can be obtained by Expression (19). At this time, since u 0 is calculated for each pixel in
尚、交点のz値を、各画素について式(19)を逐次計算することで求めても良いが、増分法を用いることで、より簡便にz値を求めることができる。今、スキャンライン毎に処理を行うことにしているため、式(19)の分子のnyy0+dは定数とみなすことができる。そこで、nyy0+d=d2とおくと、式(19)は式(20)のように書き換えられる。
z=(nxx0+d2)/(nxu0−nz) ・・・(20)
Note that the z value of the intersection may be obtained by sequentially calculating Equation (19) for each pixel, but the z value can be obtained more simply by using the incremental method. Now, because you have to perform the processing for each scan line,
z = (n x x 0 + d 2 ) / (n x u 0 −n z ) (20)
先ず、式(20)の分子zf=nxx0+d2について考えると、スキャンライン上で隣接する画素については、左隣の画素のzfに増分Δzf=nxs(但し、sは視野座標系に換算した画素ピッチ)を加算することで、順次求めることができる。 First, considering the molecular z f = n x x 0 + d 2 of the formula (20), for the pixels adjacent to each other on the scanning line, increment the z f of the left adjacent pixel Δz f = n x s (where, s Can be obtained sequentially by adding the pixel pitch converted to the visual field coordinate system.
また、式(20)の分母zd=nxu0−nzについても、スキャンライン上で隣接する画素については、左隣の画素のzdに増分Δzd=nxsを加算することで、順次求めることができる。但し、図11から、uの範囲は−L/2≦u≦L/2(但し、Lは視野座標系に換算したレンズピッチ)であり、u0=u/Fであることから、zdの範囲は−nxL/2F−nz≦zd≦nxL/2F−nzとなる。従って、zd>nxL/2F−nzとなる度に、zdからnxL/Fを減算する必要がある。 As for the denominator z d = n x u 0 -n z of formula (20), for the pixels adjacent to each other on the scanning line, adding the increment Δz d = n x s to z d of the left adjacent pixel And can be obtained sequentially. However, from FIG. 11, the range of u is −L / 2 ≦ u ≦ L / 2 (where L is the lens pitch converted to the visual field coordinate system), and u 0 = u / F, so z d The range of −n × L / 2F− nz ≦ z d ≦ n × L / 2F− nz . Therefore, every time a z d> n x L / 2F -n z, it is necessary to subtract the n x L / F from z d.
一方、ポリゴン線分PGがXv軸と平行である場合は、上述したような交差判定を行うことができない。なぜなら、ポリゴン線分PGのz値が一定(z=z0)であり、zmin=zmaxとなるからである。 On the other hand, when the polygon line segment PG is parallel to the Xv axis, the intersection determination as described above cannot be performed. This is because the z value of the polygon line segment PG is constant (z = z 0 ), and z min = z max .
そこで、ポリゴン線分PGと代表光線PRとの交点のx値を求め、求めたx値が、ポリゴン線分PGの両端のx値に挟まれる範囲内にあるか否か(xmin≦x≦xmaxであるか否か)を判定する。そして、xmin≦x≦xmaxである場合に、ポリゴン線分PGと代表光線PRとは交差するものとする。ポリゴン線分PGがXv軸と平行である場合の一例を、図12に示す。図12では、(E)及び(G)で表される範囲が「交差不確実範囲」であり、(F)で表される範囲が「交差確実範囲」である。 Therefore, the x value of the intersection of the polygon line segment PG and the representative ray PR is obtained, and whether or not the obtained x value is within the range between the x values at both ends of the polygon line segment PG (x min ≦ x ≦ xmax ) is determined. When x min ≦ x ≦ x max , the polygon line segment PG and the representative ray PR intersect. An example when the polygon line segment PG is parallel to the Xv axis is shown in FIG. In FIG. 12, the range represented by (E) and (G) is the “crossing uncertainty range”, and the range represented by (F) is the “crossing certain range”.
ポリゴン線分PGと代表光線PRとの交点のx値は、式(18)をxについて解き、z=z0とすることで、式(21)のように求めることができる。
x=x0−u0z0 ・・・(21)
X value at the intersection of the polygon segment PG as representative rays PR has the formula (18) is solved for x, With z = z 0, can be obtained as equation (21).
x = x 0 −u 0 z 0 (21)
そして、ステップT15において交差しないと判定された場合は(ステップT15;交差しない)、対象スキャンラインの次の画素へと処理が移行され、交差すると判定された場合は(ステップT15;交差する)、対象ポリゴンのポリゴン線分PGと、対象画素の代表光線PRとの交点のz値が対象画素のz値とされる(ステップT17)。 If it is determined in step T15 that they do not intersect (step T15; do not intersect), the process proceeds to the next pixel of the target scan line, and if it is determined that they intersect (step T15; intersect). The z value of the intersection of the polygon line segment PG of the target polygon and the representative ray PR of the target pixel is set as the z value of the target pixel (step T17).
ステップT17において対象画素のz値が求められると、Zバッファ法によるレンダリング処理が行われる(ステップT19)。このZバッファ法によるレンダリング処理は、従来の画像生成方法におけるステップS13の処理と同一である。 When the z value of the target pixel is obtained in step T17, rendering processing by the Z buffer method is performed (step T19). The rendering process by the Z buffer method is the same as the process in step S13 in the conventional image generation method.
そして、対象スキャンラインの全ての画素について処理が実行されると、ループHの処理が終了となり、全てのスキャンラインについて処理が実行されると、ループGの処理が終了となる。 Then, when the process is executed for all the pixels of the target scan line, the process of the loop H is finished, and when the process is executed for all the scan lines, the process of the loop G is finished.
また、全てのポリゴンについて処理が実行されると、ループFの処理が終了となり、生成された立体視画像が表示される(ステップT21)。そして、毎フレーム時間単位で描画されていくことで動画が生成・表示される。 Further, when the processing is executed for all the polygons, the processing of loop F ends, and the generated stereoscopic image is displayed (step T21). A moving image is generated and displayed by being drawn in units of frame time.
1−3.作用効果
上述した立体視画像生成方法によれば、各画素の代表光線PRが様々な方向を向いているような場合、すなわち各画素の代表光線PRが互いに平行でなく、特定の視点に集まっているようなこともないFV方式において、適切にレンダリングが行われることになる。また、交差不確実範囲にも交差確実範囲にも含まれない画素と、交差不確実範囲に含まれるが代表光線PRとポリゴン線分PGとが交差しないと判定された画素とについてはレンダリング処理が行われないため、全ての画素についてレンダリングが行われる場合と比べて、処理時間が短時間で済む。
1-3. Effect According to the above-described stereoscopic image generation method, when the representative ray PR of each pixel is directed in various directions, that is, the representative rays PR of each pixel are not parallel to each other and gather at a specific viewpoint. In the FV method that is never present, rendering is performed appropriately. Further, rendering processing is performed on pixels that are not included in the intersection uncertainty range or the intersection certainty range and pixels that are included in the intersection uncertainty range but are determined not to intersect the representative ray PR and the polygon line segment PG. Since this is not performed, the processing time is shorter than when rendering is performed for all pixels.
1−4.変形例
1−4−1.交差可能性の判定
上述した立体視画像生成方法では、対象スキャンラインの各画素について交差可能性の判定を行うものとして説明したが、次のようにしても良い。すなわち、図6のステップT11で対象ポリゴンのポリゴン線分PGを求めた後に、一つのレンズに対応する全画素の代表光線PRが拡がる角度αを式(13)から求める。
1-4. Modified example 1-4-1. Determination of Crossing Possibility In the stereoscopic image generation method described above, it has been described that the crossing possibility is determined for each pixel of the target scan line. However, the following may be performed. That is, after obtaining the polygon line segment PG of the target polygon in step T11 in FIG. 6, the angle α at which the representative ray PR of all the pixels corresponding to one lens spreads is obtained from equation (13).
そして、求めたポリゴン線分PG及び角度αから交差確実範囲及び交差不確実範囲を決定し、決定した交差確実範囲及び交差不確実範囲に含まれる画素のみを対象としたループで、ステップT15〜ステップT19の処理を行うようにする。この場合、対象スキャンラインの全ての画素について交差可能性を判定する場合と比べて、より高速な処理が実現されるようになる。 Then, the intersection certain range and the intersection uncertainty range are determined from the obtained polygon line segment PG and the angle α, and the loops for only the pixels included in the determined intersection certain range and intersection uncertainty range are performed in steps T15 to T15. The process of T19 is performed. In this case, faster processing is realized as compared with the case where the possibility of crossing is determined for all pixels of the target scan line.
1−4−2.FV方式以外の立体視画像生成への適用
本発明をFV方式による立体視画像生成に適用した場合について説明したが、FV方式以外の立体視画像生成に適用しても良いことは勿論である。最近では、多眼式や超多眼式のような視点ベースの立体視方式においても、設定される視点の数が多くなってきている傾向にあるため、かかる場合に上述した立体視画像生成方法を用いることで、高速な描画を期待できる。また、IP方式においても、上述した立体視画像生成方法を用いることで、高速な描画を期待できる。
1-4-2. Application to Stereoscopic Image Generation Other than FV System Although the case where the present invention is applied to stereoscopic image generation using the FV system has been described, it is needless to say that the present invention may be applied to stereoscopic image generation other than the FV system. Recently, even in viewpoint-based stereoscopic viewing methods such as multi-view and super-multi-view, there is a tendency that the number of set viewpoints is increasing. By using, high-speed drawing can be expected. Also in the IP system, high-speed drawing can be expected by using the above-described stereoscopic image generation method.
2.実施形態
次に、1−2.立体視画像生成方法に基づいて立体視画像を生成する立体視画像生成装置について説明する。
2. Embodiment Next, 1-2. A stereoscopic image generation apparatus that generates a stereoscopic image based on the stereoscopic image generation method will be described.
2−1.機能構成
図13は、本実施形態における立体視画像生成装置1の機能構成を示すブロック図である。立体視画像生成装置1は、入力部100と、立体視映像表示装置200と、処理部300と、記憶部400とを備えて構成される。
2-1. Functional Configuration FIG. 13 is a block diagram showing a functional configuration of the stereoscopic
入力部100は、ユーザによる操作指示入力を受け付け、操作に応じた操作信号を処理部300に出力する。この機能は、例えばボタンスイッチやレバー、ジョイスティック、ダイヤル、マウス、トラックボール、キーボード、タブレット、タッチパネル、各種センサ等の入力装置によって実現される。
The
立体視映像表示装置200は、立体視画像生成部320により生成された立体視画像を表示して観察者に立体視映像を認識せしめる表示装置である。本実施形態では、例えば図19に示した垂直レンチキュラ方式の立体視映像表示装置200A、或いは、例えば図21に示した斜めレンチキュラレンズ方式の立体視映像表示装置200Bの何れかにより実現される。
The stereoscopic
処理部300は、立体視映像表示装置1全体の制御や画像生成等の各種演算処理を行う。この機能は、例えばCPU(CISC型、RISC型)、ASIC(ゲートアレイ等)等の演算装置やその制御プログラムにより実現される。特に、本実施形態では、処理部300は、立体視画像生成部320を含む。
The
立体視画像生成部320は、記憶部400に記憶されている立体視画像生成プログラム420に従った処理を実行することで立体視画像を生成し、生成した立体視画像を立体視映像表示装置200に表示させる。また、立体視画像生成部320は、記憶部400に記憶されている交差判定プログラム421に従った処理を実行する交差判定部321を含んでいる。
The stereoscopic
記憶部400は、処理部300に立体視画像生成装置1を統合的に制御させるためのシステムプログラムやデータ等を記憶するとともに、処理部300の作業領域として用いられ、処理部300が各種プログラムに従って実行した演算結果や入力部100から入力される入力データ等を一時的に記憶する。この機能は、例えば各種ICメモリやハードディスク、フロッピー(登録商標)ディスク、CD−ROM、DVD、MO、RAM、VRAM等によって実現される。
The
特に、本実施形態では、記憶部400は、処理部300を立体視画像生成部320として機能させるための立体視画像生成プログラム420と、立体視画像生成部320により生成された画像の各画素の画像データを格納するフレームバッファ430と、各画素のz値を格納するZバッファ440と、表示装置データ450と、想定観察位置データ460と、画素別視点データ470と、画素別代表点位置データ480と、画素別交差フラグデータ490とを含む。
In particular, in the present embodiment, the
また、立体視画像生成プログラム420は、立体視画像生成部320を交差判定部321として機能させるための交差判定プログラム421をサブルーチンとして含んでいる。
The stereoscopic
表示装置データ450は、立体視映像表示装置200の構成パラメータのデータである。この表示装置データ450のデータ構成の一例を、図14に示す。表示装置データ450は、立体視映像表示装置200を構成する画素パネル20の画素ピッチと、レンズ板30のレンズピッチ及び焦点距離と、画素パネル20に対するレンズ板30の配置角度と、画素パネル20に対するレンズ板30の配置基準位置とを格納する。
The
配置角度は、画素パネル20の画素ピッチ方向とレンズ板30のレンズピッチ方向とが成す角度θの値を格納する。即ち、配置角度は、立体視映像表示装置200が垂直/斜めレンチキュラ方式の何れであるかを示すデータでもあり、垂直レンチキュラ方式の場合には、θ=0゜となり、斜めレンチキュラ方式の場合には、θ=0゜以外となる。配置基準位置は、表示装置上でのレンズ板30の配置位置であり、画素パネル20上の基準位置からのレンズ板30の水平方向のずれの大きさdxを格納する。尚、この表示装置データ450は、固定的なデータとして予め記憶されていることとするが、入力部100からのユーザ入力に従って設定されることとしても良い。
The arrangement angle stores the value of the angle θ formed by the pixel pitch direction of the
また、想定観察位置データ460とは、想定観察位置40のデータであり、具体的には、立体視映像表示装置200の画素パネル20の表示面と、想定した観察者の視点(想定観察位置)40との間の想定観察距離Dの値を格納する。尚、この想定観察位置データ460は、固定的なデータとして予め記憶されていることとするが、入力部100からのユーザ入力によって設定されることとしても良い。想定観察位置データ460をユーザ入力により設定できるようにすることで、想定観察位置を変更したい場合にも容易に対応できる。また、入力装置としてヘッドトラッキング装置を用いて、観察位置が自動的にフィードバック(入力)されるようにしても良い。
Further, the assumed
画素別視点データ470は、立体視画像生成部320により設定された各画素PEの画素別視点CMのデータである。この画素別視点データ470のデータ構成の一例を、図15に示す。画素別視点データ470は、立体視映像表示装置200の画素パネル20の画素毎に、設定された画素別視点ベクトルを対応付けて格納している。画素別視点ベクトルには、対応する画素別視点CMを表すデータとして視線Vのデータが、正規化されたベクトルとして格納される。
The pixel-
画素別代表点位置データ480は、立体視画像生成部320により算出された焦点距離当たりの代表点位置(u0=u/F)が、画素毎に格納されたデータである。この焦点距離当たりの代表点位置u0は、立体視画像生成部320が対象画素のz値を算出する際に用いられる。
The pixel-specific representative
画素別交差フラグデータ490は、交差判定部321により対象画素の代表光線PRと対象ポリゴンのポリゴン線分PGとが交差すると判定された場合にONに設定される交差フラグが、画素毎に格納されたデータである。
The pixel-by-pixel
2−2.処理の流れ
図16は、立体視画像生成処理の流れを示すフローチャートである。この処理は、立体視画像生成部320により記憶部400の立体視画像生成プログラム420が実行されることで実現される処理である。
2-2. Processing Flow FIG. 16 is a flowchart showing a flow of stereoscopic image generation processing. This process is realized by the stereoscopic
先ず、立体視画像生成部320は、立体視映像表示装置200のレンズ板30の各レンズ及び画素パネル20の各画素について、想定観察位置データ460に基づいた想定観察位置40を視点とする射影変換(透視投影変換)を行う(ステップA1)。
First, the stereoscopic
次いで、立体視画像生成部320は、各画素について対応するレンズを求め、当該画素の代表点位置uとレンズの焦点距離Fとから、焦点距離当たりの代表点位置u0=u/Fを、各画素毎に算出する(ステップA3)。そして、立体視画像生成部320は、算出したu0を、画素別代表点位置データ480として記憶部400に記憶させる(ステップA5)。
Next, the stereoscopic
次いで、立体視画像生成部320は、各画素について代表光線PRを算出し(ステップA7)、算出した代表光線PRから視線Vを決定する(ステップA9)。そして、立体視画像生成部320は、各画素について、ステップA9で決定した視線Vを視線方向とする画素別視点を設定し(ステップA11)、画素別視点データ470として記憶部400に記憶させる。
Next, the stereoscopic
尚、ポリゴン線分PGと各画素の代表交線PRとの交点のz値を求める処理においては、式(21)の通り、焦点距離当たりの代表点位置u0のデータがあれば良く、視線Vのデータは不要である。また、対象画素の色情報を求める処理(ステップA33)においても、視線Vは焦点距離当たりの代表点位置u0やスキャンラインの情報から求めることができるので、画素別視点データ470は必ずしも必要ではない。しかし、記憶装置の容量に余裕がある場合には、事前に求めておくことで、高速に計算を行うことができる。
In the process of obtaining the z value of the intersection point between the polygon line segment PG and the representative intersection line PR of each pixel, as long as there is data of the representative point position u 0 per focal length as shown in equation (21), the line of sight V data is not required. Also in the process of obtaining the color information of the target pixel (step A33), since the line of sight V can be obtained from the information of the representative point position u 0 and the scan lines per focal length, pixel-
次いで、立体視画像生成部320は、毎フレーム時間単位で(例えば、1/60秒毎に)、ループKの処理を繰り返し実行する。
ループKでは、立体視画像生成部320は、先ずオブジェクト空間を設定する(ステップA13)。具体的には、立体視画像生成部320は、オブジェクト空間に複数のプリミティブ面(例えばポリゴン)から成るオブジェクトを配置する。尚、この場合も、プリミティブ面を、最も一般的な代表例であるポリゴンとして説明する。
Next, the stereoscopic
In the loop K, the stereoscopic
次いで、立体視画像生成部320は、フレームバッファ430及びZバッファ440の初期化を行う(ステップA15、A17)。具体的には、立体視画像生成部320は、フレームバッファの各画素の色情報を背景色とし、Zバッファの各画素のz値を想定観察位置40から無限遠に配置した際の値(Zv軸の方向に応じて決まるが、図8のようにZv軸の向きを取るのであれば、負の無限大)とする。尚、位置(i,j)における画素の、フレームバッファに格納される色情報をF(i,j)、Zバッファに格納されるz値をZ(i,j)で表すことにする。
Next, the stereoscopic
立体視画像生成部320により行われるステップA13〜A17の処理が、1−2.立体視画像生成方法で説明したステップT5の初期設定に対応するものである。
The processing of steps A13 to A17 performed by the stereoscopic
次いで、立体視画像生成部320は、オブジェクト空間内の各ポリゴンについて、ループLの処理を繰り返し実行する。ループLにおいて、処理対象となるポリゴンのことを「対象ポリゴン」と呼ぶ。
ループLでは、立体視画像生成部320は、対象ポリゴンについて射影変換(透視投影変換)を行う(ステップA19)。
Next, the stereoscopic
In the loop L, the stereoscopic
そして、立体視画像生成部320は、対象ポリゴンに対するスキャンライン範囲を求める(ステップA21)。具体的には、射影変換した対象ポリゴンのy座標の最小値ymin及び最大値ymaxを算出し、ymin≦y≦ymaxの範囲をスキャンライン範囲とする。
Then, the stereoscopic
次いで、立体視画像生成部320は、ステップA21で求めたスキャンライン範囲に含まれる各スキャンラインについて、ループMの処理を繰り返し実行する。ループMにおいて、処理対象となるスキャンラインのことを「対象スキャンライン」と呼ぶ。
ループMでは、立体視画像生成部320は、対象スキャンラインと対象ポリゴンとの交線(ポリゴン線分PG)を求める(ステップA23)。
Next, the stereoscopic
In the loop M, the stereoscopic
そして、立体視画像生成部320は、対象スキャンラインに含まれる各画素について、ループNの処理を繰り返し実行する。ループNにおいて、処理対象となる画素のことを「対象画素」と呼ぶ。
ループNでは、立体視画像生成部320は、記憶部400の交差判定プログラム421を実行することで、交差判定処理を行う(ステップA25)。
Then, the stereoscopic
In loop N, the stereoscopic
図17は、交差判定処理の流れを示すフローチャートである。
先ず交差判定部321は、対象画素が含まれる範囲が何れの範囲であるかを判定し(ステップB1)、交差確実範囲又は交差不確実範囲であると判定した場合は(ステップB1;交差確実範囲又は交差不確実範囲)、対象ポリゴンのポリゴン線分PGが、視野座標系のXv軸と平行であるか否かを判定する(ステップB3)。
FIG. 17 is a flowchart showing the flow of the intersection determination process.
First, the
ステップB3において、Xv軸と平行ではないと判定した場合は(ステップB3;No)、交差判定部321は、対象ポリゴンのポリゴン線分PGと、対象画素の代表光線PRとの交点のz値を、式(19)により算出する(ステップB5)。
If it is determined in step B3 that the axis is not parallel to the Xv axis (step B3; No), the
そして、交差判定部321は、対象画素の含まれる範囲が交差不確実範囲であるか否かを判定し(ステップB7)、交差不確実範囲ではないと判定した場合、すなわち交差確実範囲であると判定した場合は(ステップB7;No)、対象画素の交差フラグをONに設定して(ステップB9)、交差判定処理を終了する。
Then, the
一方、ステップB7において、交差不確実範囲であると判定した場合は(ステップB7;Yes)、交差判定部321は、ステップB5で算出したz値が、対象ポリゴンのポリゴン線分PGの両端のz値に挟まれる範囲にあるか否か(zmin≦z≦zmaxであるか否か)を判定する(ステップB11)。
On the other hand, when it is determined in step B7 that the intersection is in the uncertain range (step B7; Yes), the
ステップB11において、挟まれる範囲にあると判定した場合は(ステップB11;Yes)、交差判定部321は、ステップB9へと処理を移行し、挟まれる範囲にないと判定した場合は(ステップB11;No)、対象画素の交差フラグをOFFに設定して(ステップB13)、交差判定処理を終了する。
In Step B11, when it is determined that it is within the sandwiched range (Step B11; Yes), the
一方、ステップB3において、対象ポリゴンのポリゴン線分PGがXv軸と平行であると判定した場合は(ステップB3;Yes)、交差判定部321は、対象画素の含まれる範囲が交差不確実範囲であるか否かを判定し(ステップB15)、交差不確実範囲ではないと判定した場合、すなわち交差確実範囲であると判定した場合は(ステップB15;No)、対象画素の交差フラグをONに設定して(ステップB17)、交差判定処理を終了する。
On the other hand, when it is determined in step B3 that the polygon line segment PG of the target polygon is parallel to the Xv axis (step B3; Yes), the
一方、ステップB15において、交差不確実範囲であると判定した場合は(ステップB15;Yes)、交差判定部321は、対象ポリゴンのポリゴン線分PGと、対象画素の代表光線PRの交点のx値を、式(21)により算出する(ステップB19)。
On the other hand, when it is determined in step B15 that it is within the intersection uncertainty range (step B15; Yes), the
そして、交差判定部321は、ステップB19で算出したx値が、対象ポリゴンのポリゴン線分PGの両端のx値に挟まれる範囲にあるか否か(xmin≦x≦xmaxであるか否か)を判定する(ステップB21)。
Then, the
ステップB21において、挟まれる範囲にあると判定した場合は(ステップB21;Yes)、交差判定部321は、ステップB17へと処理を移行し、挟まれる範囲にないと判定した場合は(ステップB21;No)、対象画素の交差フラグをOFFに設定して(ステップB23)、交差判定処理を終了する。
In Step B21, when it is determined that it is within the sandwiched range (Step B21; Yes), the
また、ステップB1において、対象画素が含まれる範囲が交差確実範囲でも交差不確実範囲でもないと判定した場合は(ステップB1;それ以外)、交差判定部321は、ステップB13へと処理を移行する。
In Step B1, when it is determined that the range including the target pixel is neither the intersection certain range nor the intersection uncertainty range (Step B1; other than that), the
立体視画像生成処理に戻って、交差判定処理を終了すると、立体視画像生成部320は、対象画素の交差フラグがONであるか否かを判定し(ステップA27)、ONではないと判定した場合は(ステップA27;No)、対象スキャンラインの次の画素へと処理を移行する。
Returning to the stereoscopic image generation process, when the intersection determination process ends, the stereoscopic
一方、ステップA27において、対象画素の交差フラグがONであると判定した場合は(ステップA27;Yes)、立体視画像生成部320は、対象画素のz値を求める(ステップA29)。具体的には、対象ポリゴンのポリゴン線分PGがXv軸と平行でない場合は、交差判定処理のステップB5で算出した交点のz値を、対象画素のz値とする。一方、対象ポリゴンのポリゴン線分PGがXv軸と平行である場合は、ポリゴン線分PGのz値(z=z0)を、対象画素のz値とする。
On the other hand, if it is determined in step A27 that the intersection flag of the target pixel is ON (step A27; Yes), the stereoscopic
そして、立体視画像生成部320は、ステップA29で求めた対象画素のz値を用いて、ステップA31〜A37のZバッファ法によるレンダリング処理を行う。具体的には、立体視画像生成部320は、ステップA29で求めた対象画素のz値が、既にZバッファ440に格納されている対象画素のz値よりも大きいか否かを判定し(ステップA31)、大きくないと判定した場合は(ステップA31;No)、対象スキャンラインの次の画素へと処理を移行する。
Then, the stereoscopic
一方、ステップA31において、対象画素のz値が既にZバッファ440に格納されている対象画素のz値よりも大きいと判定した場合は(ステップA31;Yes)、立体視画像生成部320は、対象画素の色情報を算出する(ステップA33)。具体的には、立体視画像生成部320は、対象ポリゴンのポリゴン線分PGと、対象画素の代表光線PRとの交点の色情報(対象画素がR(赤)である場合はR値、α値等)を算出して、対象画素の色情報とする。
On the other hand, when it is determined in step A31 that the z value of the target pixel is larger than the z value of the target pixel already stored in the Z buffer 440 (step A31; Yes), the stereoscopic
そして、立体視画像生成部320は、ステップA33で算出した対象画素の色情報をフレームバッファ430に格納・更新し(ステップA35)、ステップA29で算出した対象画素のz値をZバッファ440に格納・更新する(ステップA37)。
Then, the stereoscopic
そして、立体視画像生成部320は、対象スキャンラインの全ての画素について処理を行った後、ループNの処理を終了し、全てのスキャンラインについて処理を行った後、ループMの処理を終了する。
Then, the stereoscopic
また、立体視画像生成部320は、全てのポリゴンについて処理を行った後、ループLの処理を終了し、生成した立体視画像を立体視映像表示装置200に表示させる(ステップA39)。そして、立体視画像生成部320は、毎フレーム時間単位で立体視画像を生成・表示していくことで動画を生成・表示する。
In addition, the stereoscopic
2−3.作用効果
本実施形態によれば、1−2.立体視画像生成方法に基づいた立体視画像を生成・表示する立体視画像生成装置が実現される。交差判定処理により、各画素が何れの範囲に含まれるかが判定され、交差不確実範囲にも交差確実範囲にも含まれない画素と、交差不確実範囲に含まれるが代表光線PRとポリゴン線分PGとが交差しないと判定された画素とについてはレンダリング処理が行われないため、立体視画像が高速に生成されることになる。
2-3. Effects According to the present embodiment, 1-2. A stereoscopic image generation apparatus that generates and displays a stereoscopic image based on the stereoscopic image generation method is realized. In the intersection determination process, it is determined in which range each pixel is included, pixels that are not included in the intersection uncertainty range or the intersection certain range, and the representative ray PR and polygon line that are included in the intersection uncertainty range. Since the rendering process is not performed on the pixels determined not to intersect the minute PG, a stereoscopic image is generated at high speed.
1 立体視画像生成装置
100 入力部
200 立体視映像表示装置
300 処理部
320 立体視画像生成部
321 交差判定部
400 記憶部
420 立体視画像生成プログラム
421 交差判定プログラム
430 フレームバッファ
440 Zバッファ
450 表示装置データ
460 想定観察位置データ
470 画素別視点データ
480 画素別代表点位置データ
490 画素別交差フラグデータ
DESCRIPTION OF
Claims (13)
前記画素パネルの所定のスキャンライン毎に、当該スキャンライン内の各画素について、
1)前記光学素子群による前記指向性の最大角度である指向最大角度と、2)前記スキャンラインと前記立体視画像を観察する位置として予め定められた想定観察位置とを結んだスキャンライン平面が前記プリミティブ面と交わった交線である描画対象線分の端点と、に基づいて、前記光学素子群によって指向性が与えられた当該画素の射出光線が当該描画対象線分に交差する可能性を判定する交差可能性判定ステップと、
前記交差可能性判定ステップにより交差可能性有りと判定された場合に、当該画素の射出光線が前記描画対象線分に交差するか否かを判定する交差判定ステップと、
前記交差判定ステップにより交差すると判定された場合に、当該画素の射出光線が前記描画対象線分に交差する点の色情報を当該画素の色情報として、当該射出光線の方向に基づくレンダリング処理で求める色情報算出ステップと、
を実行することで、前記交差可能性判定ステップにより交差可能性無しと判定された画素及び前記交差判定ステップにより交差しないと判定された画素の色情報を算出せずに生成する画像生成装置。 A three-dimensional virtual space on which a given primitive surface is arranged, which is displayed on a stereoscopic video display device including a pixel panel in which pixels are arranged and an optical element group that gives directivity to the light rays of each pixel of the pixel panel Stereoscopic images of
For each predetermined scan line of the pixel panel, for each pixel in the scan line,
1) a scan line plane connecting the maximum directivity angle, which is the maximum angle of directivity by the optical element group, and 2) the scan line and an assumed observation position predetermined as a position for observing the stereoscopic image. Based on the end point of the drawing target line segment that is a crossing line with the primitive surface, the possibility that the emitted light beam of the pixel given directivity by the optical element group intersects the drawing target line segment. A crossing possibility determination step for determining;
An intersection determination step for determining whether or not an exit ray of the pixel intersects the drawing target line segment when it is determined that there is a possibility of intersection in the intersection possibility determination step;
When it is determined that the intersection is determined by the intersection determination step, the color information of the point where the emitted light of the pixel intersects the drawing target line segment is obtained as the color information of the pixel by the rendering process based on the direction of the emitted light. A color information calculation step;
An image generation device that generates without calculating color information of pixels determined to be non-intersectable in the crossing possibility determination step and pixels determined not to cross in the crossing determination step.
前記交差判定ステップは、前記交差可能性判定ステップにより不確実と判定された場合にのみ、当該画素の射出光線が前記描画対象線分に交差するか否かを判定するステップであり、
前記色情報算出ステップは、前記交差判定ステップにより交差すると判定された場合、又は、前記交差可能性判定ステップにより確実に交差すると判定された場合に、当該画素の色情報を求めるステップである、
ことを特徴とする請求項1〜3の何れか一項に記載の画像生成装置。 The crossing possibility determination step is a step of determining any of crossing possibility, no crossing possibility, surely crossing, and whether or not crossing is uncertain.
The intersection determination step is a step of determining whether or not the emitted light beam of the pixel intersects the drawing target line segment only when it is determined uncertain by the intersection possibility determination step.
The color information calculation step is a step of obtaining color information of the pixel when it is determined that the intersection is determined by the intersection determination step, or when it is determined that the intersection is surely intersected by the intersection possibility determination step.
The image generation apparatus according to claim 1, wherein the image generation apparatus is an image generation apparatus.
前記隠面消去処理ステップは、当該画素の射出光線が前記描画対象線分に交差する点のz値を当該画素のz値として算出するz値算出ステップを有し、前記z値算出ステップにより算出されたz値に基づくZバッファ法で隠面消去処理を行うステップである、
ことを特徴とする請求項4に記載の画像生成装置。 The color information calculation step includes a hidden surface removal process step of performing a hidden surface removal process based on the Z buffer method as a hidden surface removal process in the rendering process,
The hidden surface erasure processing step includes a z value calculation step of calculating a z value of a point where an emitted light beam of the pixel intersects the drawing target line segment as a z value of the pixel, and is calculated by the z value calculation step. A hidden surface removal process by a Z buffer method based on the z value that has been performed,
The image generation apparatus according to claim 4.
ことを特徴とする請求項5に記載の画像生成装置。 The z value calculating step includes a space equivalent pixel pitch which is a pixel pitch in the three-dimensional virtual space when the pixel panel is arranged in the three-dimensional virtual space based on the assumed observation position, and a normal vector of the primitive surface And calculating the z value change amount from the z value of the adjacent pixel adjacent to the pixel to the z value of the pixel, and adding the calculated z value change amount to the z value of the adjacent pixel. A step of calculating a z value of
The image generating apparatus according to claim 5.
前記画素パネルの所定のスキャンライン毎に、当該スキャンライン内の各画素について、
1)前記光学素子群による前記指向性の最大角度である指向最大角度と、2)前記スキャンラインと前記立体視画像を観察する位置として予め定められた想定観察位置とを結んだスキャンライン平面が前記プリミティブ面と交わった交線である描画対象線分の端点と、に基づいて、前記光学素子群によって指向性が与えられた当該画素の射出光線が当該描画対象線分に交差する可能性を判定する交差可能性判定ステップと、
前記交差可能性判定ステップにより交差可能性有りと判定された場合に、当該画素の射出光線が前記描画対象線分に交差するか否かを判定する交差判定ステップと、
前記交差判定ステップにより交差すると判定された場合に、当該画素の射出光線が前記描画対象線分に交差する点の色情報を当該画素の色情報として、当該射出光線の方向に基づくレンダリング処理で求める色情報算出ステップと、
を実行することで、前記交差可能性判定ステップにより交差可能性無しと判定された画素及び前記交差判定ステップにより交差しないと判定された画素の色情報を算出せずに生成する画像生成方法。 A three-dimensional virtual space on which a given primitive surface is arranged, which is displayed on a stereoscopic video display device including a pixel panel in which pixels are arranged and an optical element group that gives directivity to the light rays of each pixel of the pixel panel Stereoscopic images of
For each predetermined scan line of the pixel panel, for each pixel in the scan line,
1) a scan line plane connecting the maximum directivity angle, which is the maximum angle of directivity by the optical element group, and 2) the scan line and an assumed observation position predetermined as a position for observing the stereoscopic image. Based on the end point of the drawing target line segment that is a crossing line with the primitive surface, the possibility that the emitted light beam of the pixel given directivity by the optical element group intersects the drawing target line segment. A crossing possibility determination step for determining;
An intersection determination step for determining whether or not an exit ray of the pixel intersects the drawing target line segment when it is determined that there is a possibility of intersection in the intersection possibility determination step;
When it is determined that the intersection is determined by the intersection determination step, the color information of the point where the emitted light of the pixel intersects the drawing target line segment is obtained as the color information of the pixel by the rendering process based on the direction of the emitted light. A color information calculation step;
An image generation method of generating without calculating color information of pixels determined to have no possibility of crossing by the crossing possibility determination step and pixels determined not to cross by the crossing determination step.
前記立体視映像表示装置は、所定の想定観察位置における一の光学素子に対する視角を対光学素子視角λ、前記一の光学素子により指向性が与えられる一の画素に対する視角を対画素視角σ、前記画素パネル中の立体視画像描画領域に対する視角を対描画領域視角Φとしたとき、λ:σ=n:m(但し、nは自然数、mはΦ/λ未満の自然数)が成立しないことを特徴とする画像生成方法。 The image generation method according to claim 7, comprising:
The stereoscopic image display device has a viewing angle with respect to one optical element at a predetermined assumed observation position as a viewing angle with respect to the optical element λ, a viewing angle with respect to one pixel to which directivity is given by the one optical element as a viewing angle with respect to pixel σ, and Λ: σ = n: m (where n is a natural number and m is a natural number less than Φ / λ) is not established when the viewing angle with respect to the stereoscopic image drawing region in the pixel panel is a paired drawing region viewing angle Φ. An image generation method.
前記立体視映像表示装置は、一の光学素子の水平方向幅をL、前記一の光学素子により指向性が与えられる一の画素の水平方向幅をS、前記画素パネル中の立体視画像描画領域の水平方向幅をRとしたとき、L:S=o:p(但し、oは自然数、pはR/L未満の自然数)が成立しないことを特徴とする画像生成方法。 The image generation method according to claim 7 or 8,
The stereoscopic video display device has a horizontal width of one optical element as L, a horizontal width of one pixel provided with directivity by the one optical element as S, and a stereoscopic image drawing area in the pixel panel. An image generation method characterized in that L: S = o: p (where o is a natural number and p is a natural number less than R / L) does not hold when the horizontal width of R is R.
前記交差判定ステップは、前記交差可能性判定ステップにより不確実と判定された場合にのみ、当該画素の射出光線が前記描画対象線分に交差するか否かを判定するステップであり、
前記色情報算出ステップは、前記交差判定ステップにより交差すると判定された場合、又は、前記交差可能性判定ステップにより確実に交差すると判定された場合に、当該画素の色情報を求めるステップである、
ことを特徴とする請求項7〜9の何れか一項に記載の画像生成方法。 The crossing possibility determination step is a step of determining any of crossing possibility, no crossing possibility, surely crossing, and whether or not crossing is uncertain.
The intersection determination step is a step of determining whether or not the emitted light beam of the pixel intersects the drawing target line segment only when it is determined uncertain by the intersection possibility determination step.
The color information calculation step is a step of obtaining color information of the pixel when it is determined that the intersection is determined by the intersection determination step, or when it is determined that the intersection is surely intersected by the intersection possibility determination step.
The image generation method according to claim 7, wherein the image generation method is an image generation method.
前記隠面消去処理ステップは、当該画素の射出光線が前記描画対象線分に交差する点のz値を当該画素のz値として算出するz値算出ステップを有し、前記z値算出ステップにより算出されたz値に基づくZバッファ法で隠面消去処理を行うステップである、
ことを特徴とする請求項10に記載の画像生成方法。 The color information calculation step includes a hidden surface removal process step of performing a hidden surface removal process based on the Z buffer method as a hidden surface removal process in the rendering process,
The hidden surface erasure processing step includes a z value calculation step of calculating a z value of a point where an emitted light beam of the pixel intersects the drawing target line segment as a z value of the pixel, and is calculated by the z value calculation step. A hidden surface removal process by a Z buffer method based on the z value that has been performed,
The image generation method according to claim 10.
ことを特徴とする請求項11に記載の画像生成方法。 The z value calculating step includes a space equivalent pixel pitch which is a pixel pitch in the three-dimensional virtual space when the pixel panel is arranged in the three-dimensional virtual space based on the assumed observation position, and a normal vector of the primitive surface And calculating the z value change amount from the z value of the adjacent pixel adjacent to the pixel to the z value of the pixel, and adding the calculated z value change amount to the z value of the adjacent pixel. A step of calculating a z value of
The image generation method according to claim 11.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005267520A JP4695470B2 (en) | 2005-09-14 | 2005-09-14 | Image generating apparatus, image generating method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005267520A JP4695470B2 (en) | 2005-09-14 | 2005-09-14 | Image generating apparatus, image generating method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007081873A true JP2007081873A (en) | 2007-03-29 |
JP4695470B2 JP4695470B2 (en) | 2011-06-08 |
Family
ID=37941696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005267520A Active JP4695470B2 (en) | 2005-09-14 | 2005-09-14 | Image generating apparatus, image generating method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4695470B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140285640A1 (en) * | 2013-03-22 | 2014-09-25 | Samsung Display Co., Ltd. | Three dimensional image display device and method of displaying three dimensional image |
JP2022554410A (en) * | 2019-12-13 | 2022-12-28 | ソニーグループ株式会社 | Volume data reduction while preserving visual fidelity |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002222431A (en) * | 2001-01-29 | 2002-08-09 | Namco Ltd | System, program, and information storage medium for image generation |
JP2006287592A (en) * | 2005-03-31 | 2006-10-19 | Namco Bandai Games Inc | Image generating device, electronic equipment, and image generation method and program |
-
2005
- 2005-09-14 JP JP2005267520A patent/JP4695470B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002222431A (en) * | 2001-01-29 | 2002-08-09 | Namco Ltd | System, program, and information storage medium for image generation |
JP2006287592A (en) * | 2005-03-31 | 2006-10-19 | Namco Bandai Games Inc | Image generating device, electronic equipment, and image generation method and program |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140285640A1 (en) * | 2013-03-22 | 2014-09-25 | Samsung Display Co., Ltd. | Three dimensional image display device and method of displaying three dimensional image |
US9467684B2 (en) * | 2013-03-22 | 2016-10-11 | Samsung Display Co., Ltd. | Three dimensional image display device and method of displaying three dimensional image |
JP2022554410A (en) * | 2019-12-13 | 2022-12-28 | ソニーグループ株式会社 | Volume data reduction while preserving visual fidelity |
JP7419522B2 (en) | 2019-12-13 | 2024-01-22 | ソニーグループ株式会社 | Volume data reduction while preserving visual fidelity |
Also Published As
Publication number | Publication date |
---|---|
JP4695470B2 (en) | 2011-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4832833B2 (en) | Arrangement lens specification deriving method, program, information storage medium, and arrangement lens specification deriving device | |
US11662585B2 (en) | Virtual/augmented reality system having reverse angle diffraction grating | |
JP4764305B2 (en) | Stereoscopic image generating apparatus, method and program | |
JP5306275B2 (en) | Display device and stereoscopic image display method | |
JP4856534B2 (en) | Image generating apparatus, program, and information storage medium | |
CN101529310B (en) | Autostereoscopic system | |
JP5208767B2 (en) | On-the-fly hardware image summary | |
JP2006287592A (en) | Image generating device, electronic equipment, and image generation method and program | |
KR101629479B1 (en) | High density multi-view display system and method based on the active sub-pixel rendering | |
JP3619063B2 (en) | Stereoscopic image processing apparatus, method thereof, stereoscopic parameter setting apparatus, method thereof and computer program storage medium | |
KR101732836B1 (en) | Stereoscopic conversion with viewing orientation for shader based graphics content | |
JP4672461B2 (en) | Image generating apparatus, electronic device, printed material, image generating method and program | |
KR101675961B1 (en) | Apparatus and Method for Rendering Subpixel Adaptively | |
JP2009080578A (en) | Multiview-data generating apparatus, method, and program | |
CN110390711A (en) | Computer graphical based on layering ray cast | |
JP4772952B2 (en) | Stereoscopic image generation apparatus and information storage medium | |
CN111919437B (en) | Stereoscopic knitting for head tracking autostereoscopic displays | |
JP5763208B2 (en) | Stereoscopic image display apparatus, image processing apparatus, and image processing method | |
JP2007271751A (en) | Print product, container, cylindrical object, image forming apparatus, and image forming method | |
JP2009147508A (en) | Stereoscopic image generating method, apparatus thereof, and stereoscopic image display | |
JP7141833B2 (en) | Image processing device and image processing program | |
JP4695470B2 (en) | Image generating apparatus, image generating method, and program | |
JP3122479U (en) | Containers and annular objects | |
WO2019026183A1 (en) | Image generation device and image generation method | |
US20150234196A1 (en) | Image display apparatus, lenticular lens, and image display method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080912 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20081017 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20081017 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100901 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110222 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110225 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4695470 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |