JP2008292736A - Three-dimensional image display method and three-dimensional image display device - Google Patents
Three-dimensional image display method and three-dimensional image display device Download PDFInfo
- Publication number
- JP2008292736A JP2008292736A JP2007137794A JP2007137794A JP2008292736A JP 2008292736 A JP2008292736 A JP 2008292736A JP 2007137794 A JP2007137794 A JP 2007137794A JP 2007137794 A JP2007137794 A JP 2007137794A JP 2008292736 A JP2008292736 A JP 2008292736A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional image
- light
- image display
- light beam
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Description
本発明は三次元画像表示方法及び三次元画像表示装置に係り、特にインテグラルフォトグラフィ(Integral Photography:IP)の原理に基づいて、三次元の空間像を再生表示する三次元画像表示方法及び三次元画像表示装置に関する。 The present invention relates to a three-dimensional image display method and a three-dimensional image display device, and in particular, based on the principle of integral photography (IP), a three-dimensional image display method and three-dimensional display for reproducing and displaying a three-dimensional aerial image. The present invention relates to an original image display device.
リップマン(M.G Lippman)が1908年に提案したインテグラルフォトグラフィ(IP)の原理に基づき、実物表面からの光線と同等な光線を空間に再現することにより、自然な三次元画像を再生する三次元ディスプレイの研究開発が盛んに行われている。 Based on the principle of integral photography (IP) proposed in 1908 by MG Lippman, three-dimensional reproduction of natural three-dimensional images by reproducing light rays equivalent to those from the real surface in space Research and development of displays are actively conducted.
例えば、レンズアレイと写真乾板とを用いて被写体を撮影した後に、現像後の写真をレンズアレイの背後から照明することにより、元の被写体の位置に光線が逆行して集まることから三次元像が再生されることが報告されている(例えば、非特許文献1参照)。また、上記プロセスを電子化し、撮像と表示をリアルタイムに行うインテグラル立体テレビシステムが報告されている(例えば、非特許文献2参照)。 For example, after a subject is photographed using a lens array and a photographic plate, a developed photograph is illuminated from the back of the lens array, so that light rays are gathered back to the original subject position, so that a three-dimensional image is obtained. It is reported that it is reproduced (see, for example, Non-Patent Document 1). Also, an integral 3D television system that digitizes the above process and performs imaging and display in real time has been reported (for example, see Non-Patent Document 2).
また、現在実用化されている電子デバイスの情報量不足を補うため、垂直方向の立体情報を水平方向に割り振ることにより、水平方向の立体視に特化した三次元ディスプレイの実現方法が知られている(例えば、特許文献1参照)。更に、この特許文献1に開示された技術を128枚の小型液晶表示素子を用いて実現した事例が報告されている(例えば、非特許文献3参照)。 In addition, in order to compensate for the shortage of information in electronic devices that are currently in practical use, a method for realizing a three-dimensional display specialized for horizontal stereoscopic vision by allocating vertical stereoscopic information in the horizontal direction is known. (For example, refer to Patent Document 1). Furthermore, a case where the technique disclosed in Patent Document 1 is realized using 128 small liquid crystal display elements has been reported (for example, see Non-Patent Document 3).
しかるに、特許文献1又は非特許文献3に開示された三次元画像表示装置の構成は、指向性の高い光線を狭い角度ピッチで、異なる方向に表示させるため、必要な表示素子の数が多くなるという課題がある。例えば、非特許文献3によれば、128枚の表示素子からの光線を異なる方向に角度ピッチ0.23度で高密度に表示し、約30度の水平視域を得たことが報告されている。光線の角度ピッチを保ったまま水平視域を拡大するには、さらに多数の表示素子が必要になる。また、光線の角度ピッチを大きくしたのでは、単眼に入射する光線数が減少することにより、輻輳と調節の不一致による目の疲労が生じるという問題が生じる。 However, the configuration of the three-dimensional image display device disclosed in Patent Document 1 or Non-Patent Document 3 displays light beams with high directivity in different directions at a narrow angle pitch, and thus the number of necessary display elements increases. There is a problem. For example, according to Non-Patent Document 3, it has been reported that light beams from 128 display elements are displayed in different directions at a high density with an angular pitch of 0.23 degrees, and a horizontal viewing area of about 30 degrees is obtained. Yes. In order to expand the horizontal viewing area while maintaining the angular pitch of light rays, a larger number of display elements are required. In addition, when the angle pitch of the light beam is increased, the number of light beams incident on the monocular decreases, which causes a problem that eye fatigue occurs due to a mismatch between convergence and adjustment.
ところで、本出願人は、特許文献1に開示された三次元画像表示装置の構成を本出願人が製造販売する超高解像度液晶パネル(水平方向画素数4096、垂直方向画素数2160からなる反射型液晶表示素子D−ILA(登録商標))を用いることにより、必要な表示素子の数を削減する技術を報告している(末廣晃也、中村博哉、山田邦男、吉村真,「D−ILAデバイスを用いた投射型3次元ディスプレイ」,3次元画像コンファレンス2006講演論文集,p.219-222(2006))。 By the way, the applicant of the present invention is an ultra-high resolution liquid crystal panel manufactured by the applicant of the configuration of the three-dimensional image display device disclosed in Patent Document 1 (reflective type comprising 4096 horizontal pixels and 2160 vertical pixels). A technology that reduces the number of necessary display elements by using a liquid crystal display element D-ILA (registered trademark) has been reported (Sueya Sue, Hiroya Nakamura, Kunio Yamada, Makoto Yoshimura, “D-ILA Device Projection-type 3D Display ", Proceedings of 3D Image Conference 2006, p.219-222 (2006)).
しかしながら、当該技術においても、光線の角度ピッチを保ったまま視域を拡大するには、総画素数としては依然として膨大な数が必要となり、信号処理に必要なハードウェア構成が極めて大規模なものになるという課題がある。 However, even in this technique, enlarging the viewing zone while maintaining the angular pitch of the light rays still requires a huge number of total pixels, and the hardware configuration necessary for signal processing is extremely large. There is a problem of becoming.
本発明は以上の点に鑑みなされたもので、多数の光源を空間に再現することにより自然な三次元画像を表示する三次元画像表示方法およびその装置において、画質の低下を最小限に抑えながら必要な光線数を大幅に削減することのできる三次元画像表示方法及び三次元画像表示装置を提供することを目的とする。 The present invention has been made in view of the above points. In a three-dimensional image display method and apparatus for displaying a natural three-dimensional image by reproducing a large number of light sources in a space, the degradation of image quality is minimized. It is an object of the present invention to provide a 3D image display method and a 3D image display apparatus capable of greatly reducing the number of necessary light beams.
上記の目的を達成するため、第1の発明は、実物体又は仮想物体からの広がりをもった連続的な光を所定の角度刻みでサンプリングすることにより得られる離散的な光線群を空間に多数配置することにより、インテグラルフォトグラフィの原理に基づいて当該実物体又は仮想物体の三次元画像を再生する三次元画像表示方法であって、
実物体又は仮想物体からの光のサンプリングを非等間隔な角度刻みで行い、当該角度刻みに対応する光線密度で光線群を空間に配置することにより、三次元画像を観察する観察者の瞳に対して観察方向によって異なる本数の光線を入射させることを特徴とする。
In order to achieve the above object, according to the first invention, a large number of discrete ray groups obtained by sampling continuous light having a spread from a real object or a virtual object at predetermined angular intervals are provided in space. A three-dimensional image display method for reproducing a three-dimensional image of the real object or virtual object based on the principle of integral photography by arranging,
Sampling light from real or virtual objects at non-equal angular intervals, and arranging light beams in space at a light density corresponding to the angular intervals, to the observer's pupil who observes a three-dimensional image On the other hand, it is characterized in that a different number of light beams are incident depending on the observation direction.
また、上記の目的を達成するため、第2の発明は、実物体又は仮想物体からの広がりをもった連続的な光を所定の角度刻みでサンプリングすることにより得られる離散的な光線群を空間に多数配置することにより、インテグラルフォトグラフィの原理に基づいて当該実物体又は仮想物体の三次元画像を再生する三次元画像表示装置であって、
実物体又は仮想物体からの光を非等間隔な角度刻みでサンプリングすることにより得られる光線群を所定の平面上で記録した多数の二次元画像の各々を表示する複数の二次元画像表示装置からなる二次元画像表示装置アレイと、二次元画像表示装置アレイに表示された多数の二次元画像からの光線をサンプリング角度刻みに対応した光線密度で偏向して拡大投影する複数の偏向光学素子が二次元的に配置された投射レンズユニットと、投射レンズユニットによる投影像の結像面付近の光線をテレセントリック化するレンズ板と、レンズ板を透過した光線の拡散角を垂直方向に拡散するスクリーンとを有し、スクリーンからの光線群の交点を空間に生成して、空間像としての三次元画像を表示することを特徴とする。
In order to achieve the above object, the second aspect of the present invention provides a discrete light beam group obtained by sampling a continuous light having a spread from a real object or a virtual object at predetermined angular intervals. A three-dimensional image display device that reproduces a three-dimensional image of the real object or virtual object based on the principle of integral photography,
From a plurality of two-dimensional image display devices that display each of a number of two-dimensional images in which a group of rays obtained by sampling light from a real object or a virtual object at non-equal angular intervals is recorded on a predetermined plane Two-dimensional image display device array and a plurality of deflecting optical elements for deflecting and projecting light beams from a number of two-dimensional images displayed on the two-dimensional image display device array at a light beam density corresponding to sampling angle increments. A projection lens unit arranged in a three-dimensional manner, a lens plate for telecentricizing a light beam in the vicinity of an image plane of a projection image by the projection lens unit, and a screen for diffusing the diffusion angle of the light beam transmitted through the lens plate in a vertical direction. A point of intersection of light rays from the screen is generated in the space, and a three-dimensional image as a spatial image is displayed.
更に、上記の目的を達成するため、第3の発明は、実物体又は仮想物体からの広がりをもった連続的な光を所定の角度刻みでサンプリングすることにより得られる離散的な光線群を空間に多数配置することにより、インテグラルフォトグラフィの原理に基づいて当該実物体又は仮想物体の三次元画像を再生する三次元画像表示装置であって、
実物体又は仮想物体からの光を非等間隔な角度刻みでサンプリングすることにより得られる光線群を所定の平面上で記録した多数の二次元画像の各々を画素毎にインターリーブして表示するフラットパネルディスプレイと、フラットパネルディスプレイに表示された多数の二次元画像からの光線をサンプリング角度刻みに対応した光線密度で偏向してテレセントリック化する偏向光学素子アレイとを有し、偏向光学素子アレイからの光線群の交点を空間に生成して、空間像としての三次元画像を表示することを特徴とする。
Furthermore, in order to achieve the above-mentioned object, the third invention provides a discrete ray group obtained by sampling a continuous light having a spread from a real object or a virtual object at predetermined angular intervals. A three-dimensional image display device that reproduces a three-dimensional image of the real object or virtual object based on the principle of integral photography,
A flat panel that interleaves and displays for each pixel a number of two-dimensional images in which a group of rays obtained by sampling light from real or virtual objects at non-equal angular intervals is recorded on a predetermined plane A light beam from the deflecting optical element array having a display and a deflecting optical element array that deflects light rays from a number of two-dimensional images displayed on the flat panel display at a light beam density corresponding to the sampling angle step and telecentricizes A group intersection point is generated in a space, and a three-dimensional image as a spatial image is displayed.
本発明によれば、同一の視域を実現するのに必要な光線数を従来の構成に比べて削減できるため、必要な二次元画像表示装置の数または総画素数を削減でき、従って三次元画像表示装置のコストダウンを実現できる。 According to the present invention, the number of light beams required to realize the same viewing zone can be reduced as compared with the conventional configuration, so that the number of necessary two-dimensional image display devices or the total number of pixels can be reduced, and thus three-dimensional. The cost of the image display device can be reduced.
また、本発明によれば、従来の半分の二次元画像表示装置の数または総画素数であっても、光線密度が最も高い視域の中央付近又は観察者の瞳の位置では目の疲労の少ない立体視が可能であり、同時に光線密度が低い視域の周辺部では運動視差により三次元画像を回り込んで観察できるため、観察者にとって違和感のない自然な三次元画像表示装置の実用化が可能となる。 Further, according to the present invention, even when the number of conventional two-dimensional image display devices or the total number of pixels is used, eye fatigue occurs near the center of the viewing zone where the light density is the highest or at the position of the observer's pupil. Fewer stereoscopic viewing is possible, and at the same time, in the periphery of the viewing zone where the light density is low, 3D images can be observed by moving parallax. It becomes possible.
次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。図1は本発明になる三次元画像表示方法の一実施例の光線の配置を示す図である。同図に示すように、本実施例は、スクリーン1(二次元画像表示面)、三次元画像(球)2a、三次元画像(立方体)2b、三次元画像(球)2aを構成する光線群3a、三次元画像(立方体)2bを構成する光線群3bから構成されている。 Next, the best mode for carrying out the present invention will be described in detail with reference to the drawings. FIG. 1 is a diagram showing the arrangement of light rays in one embodiment of the three-dimensional image display method according to the present invention. As shown in the figure, in this embodiment, a light beam group constituting a screen 1 (two-dimensional image display surface), a three-dimensional image (sphere) 2a, a three-dimensional image (cube) 2b, and a three-dimensional image (sphere) 2a. 3a, a light beam group 3b constituting a three-dimensional image (cube) 2b.
スクリーン1には、三次元画像を構成する多数の光線群3a、3bとなる二次元画像が図示しない二次元画像表示装置アレイから投影されて表示される。この二次元画像は、非特許文献3においては指向性画像と呼ばれており、より一般的には視差画像と呼ばれる。この二次元画像(視差画像)は、三次元の実物体からの光波を様々な角度から平行投影法より投影することにより得られるもので、透視投影法により撮影した画像は視点画像と呼んで区別されることがある。インテグラルフォトグラフィの場合は、要素画像と呼ばれている。 On the screen 1, a two-dimensional image that becomes a large number of light groups 3 a and 3 b constituting a three-dimensional image is projected and displayed from a two-dimensional image display device array (not shown). This two-dimensional image is called a directional image in Non-Patent Document 3, and more generally called a parallax image. This two-dimensional image (parallax image) is obtained by projecting light waves from a three-dimensional real object from various angles by the parallel projection method. Images taken by the perspective projection method are called viewpoint images and distinguished from each other. May be. In the case of integral photography, it is called an element image.
本実施例は、実物体又は仮想物体(図示せず)からの広がりをもった連続的な光を所定の角度刻みでサンプリングすることにより得られる離散的な光線群3a、3bを空間に多数配置することによりインテグラルフォトグラフィの原理に基づいて当該実物体又は仮想物体の三次元画像2a、2bを空間に再生する構成である。 In the present embodiment, a large number of discrete light beam groups 3a and 3b obtained by sampling continuous light having a spread from a real object or a virtual object (not shown) at predetermined angular intervals are arranged in space. Thus, the three-dimensional images 2a and 2b of the real object or virtual object are reproduced in space based on the principle of integral photography.
図1におけるスクリーン1上の二次元画像からの光線群3a(または3b)は拡散性が小さく、画素毎に指向性をもつ。これらは、空間で交点を形成することにより、図1に示すように、三次元画像(球)2a(または三次元画像(立方体)2b)の表面における1点から発散する光線を形成する。図1における発散光線の広がり角は約38度(全角)であり、これが三次元画像(球)2a(または三次元画像(立方体)2b)を回り込んで観察可能な範囲である視域に相当する。図1では、約38度の視域内に65本の光線が角度ピッチ△θで存在するように描かれている。これらの光線の角度ピッチ△θは、扇形の光線群3a、3bの中心付近では密に、周辺部にいくに従って疎になるように、異なる角度刻みで配置されている。 The light ray group 3a (or 3b) from the two-dimensional image on the screen 1 in FIG. 1 has a low diffusivity and directivity for each pixel. These form intersections in space, thereby forming light rays that diverge from one point on the surface of the three-dimensional image (sphere) 2a (or three-dimensional image (cube) 2b) as shown in FIG. The divergence angle of the divergent ray in FIG. 1 is about 38 degrees (full angle), which corresponds to the viewing zone that is an observable range around the 3D image (sphere) 2a (or 3D image (cube) 2b). To do. In FIG. 1, 65 light beams are drawn at an angular pitch Δθ in a viewing area of about 38 degrees. The angle pitch Δθ of these rays is arranged in different angular increments so that it is dense near the center of the fan-shaped ray groups 3a and 3b and becomes sparse toward the periphery.
いま、視域(全角)を2θ、スクリーン1に平行な面から測った各光線の角度をθ(n)、光線の最小角度ピッチを△θ0としたとき、これらの間には以下の関係が成立する。 Assuming that the viewing zone (full angle) is 2θ, the angle of each light ray measured from a plane parallel to the screen 1 is θ (n), and the minimum angle pitch of the light ray is Δθ 0 , the following relationship is established between them: Is established.
2θ=θ(nmax)−θ(nmin) (1) 2θ = θ (n max ) −θ (n min ) (1)
2θ=Δθ0×(N−1) (4) 2θ = Δθ 0 × (N−1) (4)
ところで、3次元画像表示装置の用途にもよるが、多くの場合、観察者は静止しており、視域2θの周辺領域から三次元画像2aまたは2bの側面を観察する時間よりも、視域2θの中心付近から三次元画像2aまたは2bの正面を観察する時間の方が長いと考えられる。 By the way, although depending on the use of the three-dimensional image display device, in many cases, the observer is stationary and the viewing zone is longer than the time for observing the side surface of the three-dimensional image 2a or 2b from the peripheral region of the viewing zone 2θ. It is considered that the time for observing the front of the three-dimensional image 2a or 2b from the vicinity of the center of 2θ is longer.
一方、観察者の目の疲労はその目に入射する光線の光線密度にほぼ対応し、光線密度が疎である(光線間隔が広い)ほど目が疲れやすい。従って、目の疲労につながる光線密度は最も重要な三次元画像2aまたは2bの正面付近が最も高い(密である)ことが少なくとも必要であり、この条件を満たせば、周辺部の光線数を間引いてその周辺部の光線密度を正面付近の光線密度に比較して多少疎としても、長時間観察しない限り、目の疲労の影響は実質的に殆ど無いことが期待できる。 On the other hand, the fatigue of the eyes of the observer substantially corresponds to the light density of the light incident on the eyes, and the eye is more tired as the light density is sparse (the light beam interval is wider). Therefore, the light density that leads to eye fatigue should be at least the highest (dense) in the vicinity of the front of the most important three-dimensional image 2a or 2b. If this condition is satisfied, the number of light rays in the periphery is thinned out. Even if the light density at the periphery is slightly sparse compared to the light density near the front, it can be expected that there is substantially no influence of eye fatigue unless it is observed for a long time.
また、視域の周辺部で光線間隔を中心部付近に比べて広くすることが許されるならば、例えば本実施例のように光線数を半分にすることが可能になる。このことは、すなわち必要な二次元画像表示アレイの総画素数が半分で済むことになる。ホログラフィ型の3次元画像表示装置と異なり、光線を再現する方式の3次元画像表示装置において、装置規模及びコストを左右する要因として最も決定的なのは画素数であるから、本発明は画質の低下を最小限に抑えながら装置規模及びコストを最小にできる可能性がある。 Further, if it is allowed to widen the light ray interval in the peripheral part of the viewing zone as compared with the vicinity of the central part, for example, the number of light rays can be halved as in this embodiment. This means that the total number of pixels of the required two-dimensional image display array can be halved. Unlike a holographic type three-dimensional image display device, in a three-dimensional image display device that reproduces light rays, the most decisive factor is the number of pixels that affects the device scale and cost. There is a possibility that the apparatus size and cost can be minimized while minimizing.
図3は、実物体またはCG(コンピュータグラフィクス)における仮想物体が発する波動としての連続的な光波の一例を表す図である。本発明は実物体又は仮想物体30a、30bが発する連続的な光波からなる光線群30a、30bの光線の角度ピッチ△θを観察者が静止する位置付近では最も高くし、周辺部にいくに従って段階的に低く(疎に)なるように、異なる角度刻みで配置することで、従来の半分の二次元画像表示素子の数であっても、観察者の目の疲労の少ない立体視を可能とし、実質的に図3における連続的な光波を観察しているのと同等な状態を実現することを目指したものである。 FIG. 3 is a diagram illustrating an example of a continuous light wave as a wave generated by a real object or a virtual object in CG (computer graphics). In the present invention, the angle pitch Δθ of the light beams 30a and 30b composed of continuous light waves emitted from the real or virtual objects 30a and 30b is set to be highest near the position where the observer is at rest, and as the distance to the periphery is increased. By arranging them at different angular increments so as to be low (sparsely), it is possible to achieve stereoscopic vision with less eye fatigue for the observer even with the number of conventional two-dimensional image display elements, This is intended to realize a state substantially equivalent to observing a continuous light wave in FIG.
図4は本発明における光線の配置の仕方の一例をより具体的に説明するための図である。図4はスクリーン1から射出される非等間隔な角度ピッチの光線3aが、三次元画像2aを形成するように空間で交差し、その後観察者の眼球4の瞳41に入射する様子を示している。図4に示すように、光線3aは三次元画像2aの正面付近(視域6の中心軸5付近)の光線密度が密であり、また周辺部の光線密度が正面付近の光線密度に比較して疎になるように配置されている。 FIG. 4 is a diagram for more specifically explaining an example of the arrangement of light rays in the present invention. FIG. 4 shows a state in which the light beams 3a having non-uniform angular pitches emitted from the screen 1 intersect in space so as to form a three-dimensional image 2a and then enter the pupil 41 of the observer's eyeball 4. Yes. As shown in FIG. 4, the light ray 3a has a dense light density in the vicinity of the front of the three-dimensional image 2a (near the central axis 5 of the viewing zone 6), and the light density in the peripheral portion is compared with the light density in the vicinity of the front. Are arranged so as to be sparse.
超多眼条件として知られているように、瞳41に複数の光線が入射した場合、図4に示すように、3次元画像2a上の光線の交点にピントが合うように、眼球4の水晶体(図示なし)の調節機構が働く。これにより、空間の注視点にピント合わせを行うことが可能になり、疲労が軽減される。図4では視域6の中心軸5付近では光線群3aの光線密度が密であるため、中心軸5の近傍に観察者の瞳41がある場合には複数の光線が単眼の瞳41に入射し超多眼と同様な状態となる。 As is known as the super multi-eye condition, when a plurality of light rays are incident on the pupil 41, as shown in FIG. 4, the crystalline lens of the eyeball 4 is focused on the intersection of the light rays on the three-dimensional image 2a. The adjustment mechanism (not shown) works. Thereby, it becomes possible to focus on the gaze point of the space, and fatigue is reduced. In FIG. 4, the light density of the light beam group 3 a is dense near the central axis 5 of the viewing zone 6, so that when the observer's pupil 41 is near the central axis 5, a plurality of light rays are incident on the monocular pupil 41. However, it becomes the same state as super multi-view.
図5は、観察者が回り込んで3次元画像2aを観察する様子を示す図である。同図に示すように、視域6の周辺領域では光線密度が疎であるため、三次元画像2aからの光線のうち眼球4の瞳41に入射するのは1本のみである.従って、眼球4の水晶体の調節は、スクリーン1にピントが合うように機能する。従って、図示しないもう一方の眼で3次元画像2aを注視した場合には、注視点は光線群3aの交点であるが、ピントが合う位置としてはスクリーン1となり、いわゆる輻輳調節矛盾の状態となる。 FIG. 5 is a diagram illustrating a state in which the observer turns around and observes the three-dimensional image 2a. As shown in the figure, since the light density is sparse in the peripheral region of the viewing area 6, only one light ray from the three-dimensional image 2a enters the pupil 41 of the eyeball 4. Therefore, the adjustment of the lens of the eyeball 4 functions so that the screen 1 is in focus. Therefore, when the other eye (not shown) gazes at the three-dimensional image 2a, the point of gaze is the intersection of the light beam group 3a, but the in-focus position is the screen 1, which is a state of so-called congestion adjustment contradiction. .
しかしながら、実際上は回り込んだ状態のままで長時間観察する機会は少ないため、疲労は実際上問題とならないと考えられる。むしろ、視域6の周辺部では、運動視差が不連続にならない程度に積極的に光線数を削減することで、同じ光線数で実現し得る視域6の範囲を拡大することが可能となる。 However, in practice, there are few opportunities to observe for a long time in a wraparound state, so it is considered that fatigue is not a problem in practice. Rather, in the periphery of the viewing zone 6, it is possible to expand the range of the viewing zone 6 that can be realized with the same number of rays by actively reducing the number of rays so that the motion parallax does not become discontinuous. .
図6は、観察者の静止位置が、視域6の中心軸5にない場合を示す図である。三次元画像を複数人で観察する場合は、このような状祝は比較的多く起こり得る。そこで、観察者が一人又は複数人存在する場合には、光線群3aの光線密度が密な領域(最も光線密度が高い領域)は、中心軸5付近ではなく、一人又は複数人の観察者のそれぞれの瞳の位置にずらすことが好ましい。これを行うには、カメラなどのセンサーで観察者の位置を検出するようにしておき、観察者の検出位置に光線が密に投射され、観察者から離れるに従って光線密度が疎になるように、スクリーン1に入射する光学系を調整すればよい。かかる光学系の詳細については後の実施例において後述する。 FIG. 6 is a diagram illustrating a case where the observer's stationary position is not on the central axis 5 of the viewing zone 6. When a three-dimensional image is observed by a plurality of people, such a celebration can occur relatively frequently. Therefore, when there are one or more observers, the region in which the light density of the light group 3a is dense (the region having the highest light density) is not the vicinity of the central axis 5, but one or more observers. It is preferable to shift to the position of each pupil. In order to do this, the position of the observer is detected by a sensor such as a camera, and the light beam is densely projected at the detection position of the observer, so that the light density becomes sparse as the distance from the observer increases. The optical system incident on the screen 1 may be adjusted. Details of such an optical system will be described later in Examples.
図7は、本発明になる三次元画像表示方法の一実施例のフローチャートを示す。まず、図3に示した実物体又は仮想物体20a、20bの観察方向中心を決定する(ステップS101)。これは三次元画像表示装置のスクリーン1の正面(視域の中心軸)であることが多いが、複数人観察を想定すると、センサーで観察者の位置を検出してから決定する必要がある。 FIG. 7 shows a flowchart of an embodiment of the three-dimensional image display method according to the present invention. First, the observation direction center of the real object or the virtual objects 20a and 20b shown in FIG. 3 is determined (step S101). This is often the front (the central axis of the viewing zone) of the screen 1 of the three-dimensional image display device. However, assuming the observation of a plurality of people, it is necessary to determine the position after detecting the position of the observer with a sensor.
次に、図3に示した実物体または仮想物体20a、20bからの光30a、30bを離散的な光線として非等間隔な角度ピッチで標本化して撮像する(ステップS102)。すなわち、実物体または仮想物体20a、20bからの広がりをもった連続的な光30a、30bを所定の角度刻みでサンプリングすることにより得られる離散的な光線群3a、3bを空間に多数配置することによりインテグラルフォトグラフィの原理に基づいて当該実物体又は仮想物体20a、20bの三次元画像(図1の2a、2b)を再生する三次元画像表示を行うに当たり、まず、実物体または仮想物体20a、20bからの光30a、30bのサンプリングを、(3a)又は(3b)式に基づく非等間隔な角度刻みで行う。 Next, the light 30a and 30b from the real or virtual objects 20a and 20b shown in FIG. 3 are sampled and imaged at discrete angular pitches as discrete rays (step S102). That is, a large number of discrete light beam groups 3a and 3b obtained by sampling continuous light 30a and 30b having a spread from real objects or virtual objects 20a and 20b at predetermined angular intervals are arranged in space. In performing the three-dimensional image display for reproducing the three-dimensional image (2a, 2b in FIG. 1) of the real object or virtual object 20a, 20b based on the principle of integral photography, first, the real object or virtual object 20a , 20b are sampled at non-uniform angular intervals based on equation (3a) or (3b).
もし、十分微小な間隔で撮影できるのであれば等間隔で撮像しておき、後でそれらの一部を抜き出して使用してもよい。静止物に対してカメラを移動させながら撮影するような場合にはそれが可能である。動画を撮影する場合には、カメラ数を削減したいという要請があるため、やはり非等間隔な角度ピッチでカメラアレイまたはレンズアレイを配置する必要がある。CGの場合には、仮想カメラの位置を非等間隔に設定すればよい。 If images can be taken at sufficiently small intervals, images may be taken at equal intervals, and a part of them may be extracted and used later. This is possible when shooting while moving the camera relative to a stationary object. When shooting a moving image, there is a demand to reduce the number of cameras, and therefore it is necessary to arrange camera arrays or lens arrays at angular intervals that are not evenly spaced. In the case of CG, the virtual camera positions may be set at non-uniform intervals.
続いて、多数の二次元画像を生成する(ステップS103)。カメラアレイで撮影した場合には、透視投影画像が撮像されているため、平行投影画像に変換する必要がある。高精細カメラにレンズアレイを装着することにより、画素単位でインターリーブされた画像を撮影した場合にはかかる変換の必要はない。 Subsequently, a large number of two-dimensional images are generated (step S103). When the image is taken with the camera array, the perspective projection image is captured, and thus needs to be converted into a parallel projection image. By attaching a lens array to a high-definition camera, such a conversion is not necessary when an image interleaved in pixel units is taken.
続いて、多数の二次元画像の1フレームを二次元画像表示素子アレイ上に表示する(ステップS104)。この二次元画像表示素子アレイについては後述する。続いて、二次元画像表示素子アレイ上の各々の二次元画像からの光を偏向光学素子により偏向する(ステップS105)。そして、その偏向の角度刻みが撮影時の角度刻みに一致しているかどうか判定し(ステップS106)、一致していない場合には、上記偏向光学素子の偏向角度を調整する。このようにして、最終的には二次元画像からの光の偏向の角度刻みが、撮影時の角度刻みに一致するように制御が行われる。なお、ステップS106における具体的な判定方法とその判定結果に基づく制御方法の具体例は後述する。 Subsequently, one frame of many two-dimensional images is displayed on the two-dimensional image display element array (step S104). This two-dimensional image display element array will be described later. Subsequently, light from each two-dimensional image on the two-dimensional image display element array is deflected by the deflecting optical element (step S105). Then, it is determined whether or not the angle increment of the deflection coincides with the angle increment at the time of photographing (step S106). If not, the deflection angle of the deflection optical element is adjusted. In this way, control is finally performed so that the angular increment of light deflection from the two-dimensional image matches the angular increment at the time of photographing. A specific example of the specific determination method in step S106 and a control method based on the determination result will be described later.
図8は、光線群3aの各光線の角度刻み(角度ピッチ)が一定の場合(△θ:等間隔)の光線数対視域角特性Iと、本発明のような光線の角度刻み(角度ピッチ)が光線数Nの関数である場合(△θ(n):非等間隔)の光線数対視域角特性IIとを示す。原点は光線密度が最も密な領域を表しており、この特性図では視域角が0.3度である。約35度の視域を実現するのに必要な光線数は、特性Iに示すように表示角度刻みが一定の場合には約120本の光線が必要であるのに対し、特性IIに示すように表示角度刻みが光線数Nの関数である本実施の形態の場合には、半分の約60本の光線で済むことが分かる。 FIG. 8 shows the number of rays versus viewing angle characteristic I when the angle increment (angular pitch) of each ray in the light beam group 3a is constant (Δθ: equally spaced), and the angle increment (angle) of the ray as in the present invention. When the pitch is a function of the number of rays N (Δθ (n): non-uniform spacing), the number of rays versus viewing angle characteristic II is shown. The origin represents the region with the highest light density, and in this characteristic diagram, the viewing zone angle is 0.3 degrees. The number of rays necessary to realize a viewing zone of about 35 degrees is as shown in the characteristic II, while about 120 rays are required when the display angle increment is constant as shown in the characteristic I. In the case of the present embodiment in which the display angle increment is a function of the number of light rays N, it can be seen that about 60 light rays, which is half, are sufficient.
次に、本発明になる三次元画像表示装置の具体的な実施例について詳細に説明する。図9は本発明の三次元画像表示装置の実施例1の表示系の構成図を示す。同図において、3原色のLED光源(またはレーザー光源)10、照明光学系11、液晶表示素子12及び投射レンズユニット13はプロジェクタを構成している。プロジェクタは投影光学系を有する二次元画像表示装置であり、全体としては水平方向(図9では紙面に平行な方向)及び垂直方向に二次元的に複数配置されて、二次元画像表示装置アレイを構成している。なお、水平方向とは、例えば観察者の両眼を結ぶ方向に平行な方向である。投射レンズユニット13は、例えば複数のレンズが二次元的に複数配置されたレンズアレイと、そのレンズアレイを構成する各レンズに対応して形成された開口が二次元的に複数配置された開口アレイとからなる。 Next, specific examples of the three-dimensional image display apparatus according to the present invention will be described in detail. FIG. 9 shows a configuration diagram of a display system of the first embodiment of the three-dimensional image display apparatus of the present invention. In the figure, an LED light source (or laser light source) 10 of three primary colors, an illumination optical system 11, a liquid crystal display element 12, and a projection lens unit 13 constitute a projector. The projector is a two-dimensional image display device having a projection optical system. As a whole, a plurality of two-dimensional image display devices are arranged in two dimensions in the horizontal direction (direction parallel to the paper surface in FIG. 9) and the vertical direction. It is composed. The horizontal direction is, for example, a direction parallel to the direction connecting both eyes of the observer. The projection lens unit 13 includes, for example, a lens array in which a plurality of lenses are two-dimensionally arranged, and an aperture array in which a plurality of openings formed corresponding to the lenses constituting the lens array are two-dimensionally arranged. It consists of.
また、投射レンズユニット13の前方には、レンズ板7と垂直方向拡散スクリーン8とがほぼ一体化されて配置されている。レンズ板7と垂直方向拡散スクリーン8とは図1等に示したスクリーン1を構成している。垂直方向拡散スクリーン8は、垂直方向にのみ光線の拡散を行うスクリーンであり、これにより射出瞳が垂直方向にのみ拡大され、二次元的に配置された二次元画像表示装置アレイに共通の垂直表示角度範囲を発生させることができる。 Further, in front of the projection lens unit 13, the lens plate 7 and the vertical diffusing screen 8 are substantially integrated. The lens plate 7 and the vertical diffusion screen 8 constitute the screen 1 shown in FIG. The vertical diffusion screen 8 is a screen that diffuses light rays only in the vertical direction, whereby the exit pupil is enlarged only in the vertical direction, and the vertical display common to the two-dimensional image display device array arranged two-dimensionally. An angular range can be generated.
図9の液晶表示素子12は二次元画像表示装置を構成しており、図示しない再生装置とドライブ回路により被写体20a、20bの平行投影画像を表示させる。図9における液晶表示素子12へのLED光源11からの光の導入の仕方は、原色光毎に光ファイバー束で分割して導入することで、色ムラのない均一照明を実現することができる。 The liquid crystal display element 12 of FIG. 9 constitutes a two-dimensional image display device, and displays parallel projection images of the subjects 20a and 20b by a reproduction device and a drive circuit (not shown). In the method of introducing light from the LED light source 11 into the liquid crystal display element 12 in FIG. 9, uniform illumination without color unevenness can be realized by dividing and introducing the primary color light by the optical fiber bundle.
この液晶表示素子12は,画素の高密度化がしやすい反射型液晶表示素子であるLCOS(Liquid Crystal On Silicon)を使用することが好ましいが、もちろん、HTPS(High Temperature Poly-Silicon:高温ポリシリコンTFT液晶)に代表される透過型液晶あるいはDLP(Digital Light Processing:登録商標)などの他のマイクロディスプレイデバイス(Micro Display Device:MD)を用いることも可能である。 The liquid crystal display element 12 preferably uses LCOS (Liquid Crystal On Silicon), which is a reflective liquid crystal display element that easily increases the density of pixels, but of course, HTPS (High Temperature Poly-Silicon). It is also possible to use transmissive liquid crystal represented by TFT liquid crystal) or other micro display device (MD) such as DLP (Digital Light Processing: registered trademark).
本実施例では、液晶表示素子12と投射レンズユニット13との配置位置を、三次元画像2a、2bが観察可能な角度範囲である視域の中心付近又は観察者の瞳付近の光線密度が最も密であり、当該視域の中心付近又は観察者の瞳付近から視域の端部に向かうに従って光線密度が段階的により疎になるように設定する点に特徴がある。液晶表示素子12の中心位置と投射レンズユニット13の中心位置との間の水平方向又は垂直方向の距離が小さいほど上記光線密度を密にすることができる。 In the present embodiment, the arrangement position of the liquid crystal display element 12 and the projection lens unit 13 is set so that the light ray density near the center of the viewing zone or the vicinity of the observer's pupil is the angle range in which the 3D images 2a and 2b can be observed. It is dense, and is characterized in that the light density is set so as to be gradually sparser from the vicinity of the center of the viewing zone or the vicinity of the observer's pupil toward the end of the viewing zone. As the distance in the horizontal or vertical direction between the center position of the liquid crystal display element 12 and the center position of the projection lens unit 13 is smaller, the light density can be made denser.
次に、本実施例の動作について説明する。LED光源(またはレーザー光源)10から発光された照明光が、光ファイバー束を介して照明光学系11に入射し、ここで直線偏光の照明光とされて液晶表示素子12を照明する。液晶表示素子12は図示しない再生装置とドライブ回路により被写体20a、20bの平行投影画像である二次元画像を表示する。 Next, the operation of this embodiment will be described. Illumination light emitted from the LED light source (or laser light source) 10 enters the illumination optical system 11 through the optical fiber bundle, where it is used as linearly polarized illumination light to illuminate the liquid crystal display element 12. The liquid crystal display element 12 displays a two-dimensional image, which is a parallel projection image of the subjects 20a and 20b, using a playback device and a drive circuit (not shown).
この液晶表示素子12から出射される二次元画像の光線は、図示しない偏光ビームスプリッタをテレセントリックな状態で透過した後、投射レンズユニット13に入射する。この投射レンズユニット13は、液晶表示素子12の拡大像をレンズ板7と垂直方向拡散スクリーン8とからなるスクリーン付近に結像させる。 The light beam of the two-dimensional image emitted from the liquid crystal display element 12 passes through a polarization beam splitter (not shown) in a telecentric state and then enters the projection lens unit 13. The projection lens unit 13 forms an enlarged image of the liquid crystal display element 12 in the vicinity of the screen composed of the lens plate 7 and the vertical diffusion screen 8.
ここで、二次元配置された多数の液晶表示素子12のうち、少なくとも水平方向の複数の液晶表示素子の各画素と投射レンズユニット13の入射中心位置とを設定することにより、実物体又は仮想物体からの光を非等間隔な角度刻みでサンプリングすることにより得られる光線群を所定の平面上で記録した多数の二次元画像の拡大像を得ることができる。この拡大像を構成する光線群の光線密度は、前述したように、視域の中心軸付近又は観察者の瞳の位置において最も高くなり、その周辺ほど低くなるようにされている。 Here, by setting at least each pixel of the plurality of liquid crystal display elements in the horizontal direction and the incident center position of the projection lens unit 13 among the two-dimensionally arranged liquid crystal display elements 12, a real object or a virtual object is set. It is possible to obtain enlarged images of a large number of two-dimensional images in which light beams obtained by sampling the light from the light source at non-equal angular intervals are recorded on a predetermined plane. As described above, the light density of the light beam group constituting the enlarged image is highest near the central axis of the viewing zone or at the position of the observer's pupil, and lower in the vicinity.
この拡大像の光線はレンズ板7によりテレセントリック化された後、垂直方向拡散スクリーン8により垂直方向にのみ射出瞳が拡大され、複数本の平行光を一組とする複数組の光線からなる光線群3a、3bの交点が空間に生成され、三次元画像2a、2bを空間に表示させる。なお、本実施例では、実物体又は仮想物体の発する光線を特定の視点から標本化(サンプリング)した画像(視点画像)として表現するのではなく、実物体又は仮想物体の発する光線を角度単位で標本化(サンプリング)することにより、光線空間を再現するために準平行光線が必要となる。 The enlarged image rays are telecentric by the lens plate 7, and then the exit pupil is enlarged only in the vertical direction by the vertical diffusing screen 8, so that a light ray group composed of a plurality of sets of light rays. An intersection of 3a and 3b is generated in the space, and the three-dimensional images 2a and 2b are displayed in the space. In this embodiment, the light beam emitted from the real object or the virtual object is not expressed as an image (viewpoint image) sampled (sampled) from a specific viewpoint, but the light beam emitted from the real object or the virtual object is expressed in angular units. By sampling (sampling), quasi-parallel rays are required to reproduce the ray space.
この準平行光線という意味は、投射レンズユニット13の開口絞り中心を通る主光線同士が平行(テレセントリック)な状態にあることに加え、主光線の周りの外縁光線についても発散角が小さいということである。このような発散角の小さなテレセントリック光線(準平行光線)を空間に投射させて、これらの光線の交点を空間の異なる奥行き範囲に形成することにより、三次元画像を表示することができる。 The meaning of the quasi-parallel rays is that the principal rays passing through the center of the aperture stop of the projection lens unit 13 are in a parallel (telecentric) state, and that the outer edge rays around the principal rays have a small divergence angle. is there. A three-dimensional image can be displayed by projecting such a telecentric ray (quasi-parallel ray) having a small divergence angle and forming intersections of these rays in different depth ranges of the space.
このような本実施例によれば、同一の視域を実現するのに必要な光線数を従来の構成に比べて削減できるため、必要な二次元画像表示装置(液晶表示素子12)の数または総画素数が削減でき、従って三次元画像表示装置のコストダウンが実現される。また、本実施例によれば、従来の半分の二次元画像表示装置の数であっても、光線を密に表示する視域の中央付近では目の疲労の少ない立体視が可能であり、同時に光線を疎に表示する周辺部では運動視差により三次元画像を回り込んで観察できるため、観察者にとって違和感のない自然な三次元画像表示の実用化が可能となる。 According to the present embodiment, since the number of light beams necessary for realizing the same viewing zone can be reduced as compared with the conventional configuration, the number of necessary two-dimensional image display devices (liquid crystal display elements 12) or The total number of pixels can be reduced, and thus the cost of the three-dimensional image display device can be reduced. In addition, according to the present embodiment, even in the conventional half of the number of two-dimensional image display devices, stereoscopic vision with less eye fatigue is possible near the center of the viewing area where light rays are displayed densely, and at the same time In the peripheral area where light rays are displayed sparsely, a three-dimensional image can be observed by moving parallax, so that a natural three-dimensional image display can be put to practical use without any sense of incongruity for the observer.
図10は本発明になる三次元画像表示装置の実施例2の表示系の構成図を示す。同図中、図9と同一構成部分には同一符号を付し、その説明を省略する。図10に示す実施例は、実物体又は仮想物体からの光を非等間隔な角度刻みでサンプリングすることにより得られる光線群3a、3bを所定の平面上で記録した多数の二次元画像の各々を画素毎にインターリーブして表示するフラットパネルディスプレイ15と、フラットパネルディスプレイ15に表示された二次元画像からの光線をサンプリング角度刻みに対応した角度刻みで偏向してテレセントリック化する偏向光学素子アレイ16とを有する点に特徴がある。 FIG. 10 shows a configuration diagram of a display system of Embodiment 2 of the three-dimensional image display apparatus according to the present invention. In the figure, the same components as those in FIG. 9 are denoted by the same reference numerals, and the description thereof is omitted. In the embodiment shown in FIG. 10, each of a large number of two-dimensional images in which light groups 3a and 3b obtained by sampling light from a real object or a virtual object at non-equal angular intervals are recorded on a predetermined plane. Are interleaved and displayed for each pixel, and a deflecting optical element array 16 that deflects light rays from a two-dimensional image displayed on the flat panel display 15 in an angular increment corresponding to the sampling angular increment to make it telecentric. It has the feature in having.
現時点ではマルチプロジェクション型の構成が最も高画質な3次元画像の表示を実現できる。しかし、将来的にフラットパネルディスプレイ15の解像度が上がれば、薄型の3次元ディスプレイを実現できる。この場合、偏向光学素子アレイ16として、屈折率が可変なレンズアレイを使用することが好ましい。屈折率が可変なレンズとしては例えば、バリオプティック(Varioptic)株式会社製の液体レンズが使用可能である。 At present, the multi-projection type configuration can realize display of a three-dimensional image with the highest image quality. However, if the resolution of the flat panel display 15 increases in the future, a thin three-dimensional display can be realized. In this case, it is preferable to use a lens array having a variable refractive index as the deflecting optical element array 16. As the lens having a variable refractive index, for example, a liquid lens manufactured by Varioptic Co., Ltd. can be used.
図11は本発明になる三次元画像表示装置の実施例3の構成図を示す。同図中、図9と同一構成部分には同一符号を付し、その説明を省略する。本実施例は、図9の構成の3次元画像表示系31と、その入力側に設けられた3次元実写画像撮像系21とからなる構成である。3次元画像表示系31は、N個の2次元配置された2次元画像表示素子121〜12Nと、偏向光学素子131〜13Nと、この偏向光学素子131〜13Nを個別に駆動するアクチュエータ13a1〜13aNとから構成されている。 FIG. 11 shows a configuration diagram of Embodiment 3 of the three-dimensional image display apparatus according to the present invention. In the figure, the same components as those in FIG. The present embodiment has a configuration including a three-dimensional image display system 31 having the configuration shown in FIG. 9 and a three-dimensional live-action image capturing system 21 provided on the input side thereof. The three-dimensional image display system 31 individually includes N two-dimensionally arranged two-dimensional image display elements 12 1 to 12 N , deflecting optical elements 13 1 to 13 N, and deflecting optical elements 13 1 to 13 N. The actuators 13a 1 to 13a N are driven.
ここで、2次元画像表示素子121〜12Nの各々は液晶表示素子12である。また、偏向光学素子131〜13Nの各々は投射レンズユニット13である。なお、3次元画像表示系31には図9に示したように、レンズ板7及び垂直方向拡散スクリーン8も設けられているが、図示の便宜上、省略してある。 Here, each of the two-dimensional image display elements 12 1 to 12 N is the liquid crystal display element 12. Each of the deflection optical elements 13 1 to 13 N is a projection lens unit 13. As shown in FIG. 9, the three-dimensional image display system 31 is also provided with a lens plate 7 and a vertical diffusion screen 8, which are omitted for convenience of illustration.
また、3次元実写画像撮像系21は、実物体20a、20bからの光波を離散的な光線として非等間隔な角度ピッチで標本化して撮像するN台のカメラ221〜22Nが設けられている。カメラ221〜22Nにより図7のステップS102の処理が実現される。カメラ221〜22Nからの撮像信号は、それぞれ対応して設けられたパーソナルコンピュータ(以下、PC)231〜23Nに供給され、ここで図7のステップS103で示した二次元画像が生成される。 Further, the three-dimensional photographed image capturing system 21 is provided with N cameras 22 1 to 22 N that sample and capture light waves from the real objects 20a and 20b as discrete rays at unequal angular pitches. Yes. The processing of step S102 in FIG. 7 is realized by the cameras 22 1 to 22 N. Imaging signals from the cameras 22 1 to 22 N are respectively supplied to corresponding personal computers (hereinafter referred to as PCs) 23 1 to 23 N , where a two-dimensional image shown in step S103 of FIG. 7 is generated. Is done.
PC231〜23Nから出力された二次元画像信号は、補間画像生成PC24に供給され、ここでその1フレームを二次元画像表示素子121〜12Nに供給して表示させると共に、アクチュエータ13a1〜13aNに標本化角度データを供給して、対応して設けられた偏向光学素子131〜13Nを互いに独立して二次元画像表示素子121〜12Nに対する相対位置を制御して前述したように、例えば視域の中心軸付近又は観察者の瞳の位置において光線群の光線密度が最も高くなり、その周辺ほど低くなるようにされる。これにより、図7のステップS104及びS105が実現される。 The two-dimensional image signals output from the PCs 23 1 to 23 N are supplied to the interpolated image generation PC 24, where the one frame is supplied to the two-dimensional image display elements 12 1 to 12 N for display, and the actuator 13a 1 The sampling angle data is supplied to .about.13a N , and the deflection optical elements 13 1 to 13 N provided in correspondence thereto are controlled independently of each other to control the relative positions with respect to the two-dimensional image display elements 12 1 to 12 N. As described above, for example, the light beam density of the light beam group is the highest near the central axis of the viewing zone or at the position of the observer's pupil, and is lowered toward the periphery. Thereby, steps S104 and S105 of FIG. 7 are realized.
図12は本発明になる三次元画像表示装置の実施例4の構成図を示す。同図中、図9及び図11と同一構成部分には同一符号を付し、その説明を省略する。本実施例は、図9及び図11の構成の3次元画像表示系31と、その入力側に設けられた3次元CG画像生成系25とからなる構成である。 FIG. 12 shows a configuration diagram of Embodiment 4 of the three-dimensional image display apparatus according to the present invention. In FIG. 9, the same components as those in FIGS. 9 and 11 are denoted by the same reference numerals, and description thereof is omitted. In this embodiment, the three-dimensional image display system 31 having the structure shown in FIGS. 9 and 11 and the three-dimensional CG image generation system 25 provided on the input side thereof are configured.
3次元CG画像生成系25は、CGデータによる仮想物体をN台のPC261〜26Nにより、仮想物体からの光波を離散的な光線として非等間隔な角度ピッチで標本化して撮像したと同様な撮像信号が生成される。PC261〜26Nにより図7のステップS102の処理が実現される。続いて、PCサーバ27が、PC261〜26Nからの信号に基づいて多数の二次元画像を生成した後、ここでその1フレームを二次元画像表示素子121〜12Nに供給して表示させると共に、アクチュエータ13a1〜13aNに標本化角度データを供給して、対応して設けられた偏向光学素子131〜13Nを互いに独立して二次元画像表示素子121〜12Nに対する相対位置を制御して前述したように、例えば視域の中心軸付近又は観察者の瞳の位置において光線群の光線密度が最も高くなり、その周辺ほど低くなるようにされる。これにより、図7のステップS104及びS105が実現される。 The three-dimensional CG image generation system 25 is similar to the case where a virtual object based on CG data is sampled and imaged by N PCs 26 1 to 26 N as light rays from the virtual object as discrete rays at nonuniform angular pitches. An imaging signal is generated. The processing of step S102 in FIG. 7 is realized by the PCs 26 1 to 26 N. Subsequently, PC server 27, PC 26 1 ~ 26 after generating a number of two-dimensional image on the basis of signals from N, shown here in the one frame and supplies the two-dimensional image display device 12 1 to 12 N At the same time, sampling angle data is supplied to the actuators 13a 1 to 13a N , and the corresponding deflection optical elements 13 1 to 13 N are made independent of each other relative to the two-dimensional image display elements 12 1 to 12 N. As described above by controlling the position, for example, the light beam density of the light beam group is highest at the vicinity of the central axis of the viewing zone or at the position of the pupil of the observer, and is lowered as the periphery thereof. Thereby, steps S104 and S105 of FIG. 7 are realized.
図13は本発明になる三次元画像表示装置の実施例5の構成図を示す。同図中、図9及び図11と同一構成部分には同一符号を付し、その説明を省略する。本実施例は、実施例3に、三次元画像を撮像する角度刻み検出用カメラ35を追加し、図7のステップS106の処理を実現する点に特徴がある。前記ステップS106において、偏向の角度刻みは、表示された三次元画像に基づいて検出する。すなわち、三次元画像2a又は2bとして三次元格子などの既知のテストパターンを表示しながら、これらを図13に示す角度刻み検出用カメラ35でモニタし、正規の表示位置からの位置ずれ量に基づいて偏向の角度刻みのずれ量を検出する。 FIG. 13 shows a configuration diagram of Embodiment 5 of the three-dimensional image display apparatus according to the present invention. In FIG. 9, the same components as those in FIGS. 9 and 11 are denoted by the same reference numerals, and description thereof is omitted. The present embodiment is characterized in that the angle increment detection camera 35 for capturing a three-dimensional image is added to the third embodiment to realize the processing in step S106 in FIG. In step S106, the angular increment of deflection is detected based on the displayed three-dimensional image. That is, while displaying a known test pattern such as a three-dimensional lattice as the three-dimensional image 2a or 2b, these are monitored by the angle increment detection camera 35 shown in FIG. 13, and based on the amount of displacement from the normal display position. Thus, the deviation amount of the deflection angle increment is detected.
正規の表示位置は、X軸、Y軸、Z軸の3方向に動作する直動ステージにこの角度刻み検出用カメラ35を装着することで測定することができる。すなわち、正規の表示位置は、三次元画像として表示された格子パターンの交点位置が角度刻み検出用カメラ35による撮影画像中心にくるときの直動ステージの移動量と正規の表示位置との差(ずれ量)を正確に検出することにより測定することができる。 The normal display position can be measured by mounting the angle increment detection camera 35 on a linear motion stage that operates in three directions of the X axis, the Y axis, and the Z axis. That is, the normal display position is the difference between the amount of movement of the linear motion stage and the normal display position when the intersection position of the lattice pattern displayed as a three-dimensional image comes to the center of the image captured by the angle increment detection camera 35 ( It can be measured by accurately detecting (shift amount).
このずれ量を誤差データとして、PCサーバ27に帰還し、ここで補正された標本化角度データにより偏向光学素子131〜13Nのアクチュエータ13a1〜13aNの駆動量及び駆動方向を制御することにより、図7のステップS105とS106の動作を繰り返し、最終的にはステップS106で偏向の角度刻みが撮像時の角度刻みに一致するようにすることができる。偏向光学素子131〜13Nの例としては投射レンズ、アクチュエータ13a1〜13aNとしては、投射レンズの光軸を2次元画像表示素子121〜12Nの光軸に対して偏心させるレンズシフト機能を採用することが可能である。 The shift amount as error data, it is fed back to the PC server 27, controls the driving amount and the driving direction of the actuator 13a 1 ~13a N of the corrected sampled angle data by the deflecting optical element 13 1 to 13 N where Accordingly, the operations in steps S105 and S106 in FIG. 7 are repeated, and finally, in step S106, the angular increment of deflection can coincide with the angular increment at the time of imaging. Optical deflector 131-134 projection lens as an example of N, as the actuator 13a 1 ~13a N, the lens shift function to decenter the optical axis of the projection lens with respect to the optical axis of the two-dimensional image display device 121~12N It is possible to adopt.
なお、本発明は、以上の実施例に限定されるものではなく、例えば、水平方向視差をもつ場合だけでなく、垂直方向視差をもつインテグラルフォトグラフィでも実施し得ることはいうまでもない。 It should be noted that the present invention is not limited to the above-described embodiments, and it goes without saying that the present invention can be implemented not only in the case of having a horizontal parallax but also in integral photography having a vertical parallax.
1 二次元画像表示面のスクリーン
2a、2b 三次元画像
3a、3b 三次元画像を構成する光線群
20a、20b 実物体または仮想物体
30a、30b 実物体または仮想物体からの光
4 観察者の眼球
41 瞳
5 光軸(視域の中心軸)
6 視域
7 レンズ板
8 垂直方向拡散スクリーン
10 3原色のLED光源(またはレーザー光源)
11 照明光学系
12 液晶表示素子
121〜12N 二次元画像表示素子
13 投射レンズユニット
131〜13N 偏向光学素子
13a1〜13aN アクチュエータ
15 フラットパネルディスプレイ
16 偏向光学素子アレイ
21 3次元実写画像撮像系
221〜22N カメラ
231〜23N パーソナルコンピュータ(PC)
24 補間画像生成PC
25 3次元CG画像生成系
261〜26N 仮想カメラ(PC)
27 PCサーバ
31 3次元画像表示系
35 角度刻み検出用カメラ
DESCRIPTION OF SYMBOLS 1 Screen of 2D image display surface 2a, 2b 3D image 3a, 3b Ray group which comprises 3D image 20a, 20b Real object or virtual object 30a, 30b Light from real object or virtual object 4 Eyeball of observer 41 Pupil 5 Optical axis (central axis of viewing zone)
6 viewing area 7 lens plate 8 vertical diffusion screen 10 3 primary color LED light sources (or laser light sources)
11 an illumination optical system 12 liquid crystal display device 12 1 to 12 N two-dimensional image display device 13 a projection lens unit 13 1 to 13 N optical deflector 13a 1 ~13a N actuator 15 flat panel display 16 optical deflector array 21 three-dimensional real image Imaging system 22 1 to 22 N camera 23 1 to 23 N personal computer (PC)
24 Interpolated image generation PC
25 3D CG image generation system 26 1 to 26 N virtual camera (PC)
27 PC server 31 3D image display system 35 Camera for angle increment detection
Claims (9)
前記実物体又は仮想物体からの光のサンプリングを非等間隔な角度刻みで行い、当該角度刻みに対応する光線密度で前記光線群を空間に配置することにより、前記三次元画像を観察する観察者の瞳に対して観察方向によって異なる本数の光線を入射させることを特徴とする三次元画像表示方法。 Based on the principle of integral photography, by arranging a large number of discrete ray groups obtained by sampling continuous light with a spread from real objects or virtual objects at a predetermined angular interval A three-dimensional image display method for reproducing a three-dimensional image of the real object or virtual object,
An observer who observes the three-dimensional image by sampling light from the real object or virtual object in non-equal angular intervals and arranging the light beams in a space at a light density corresponding to the angular steps. A method of displaying a three-dimensional image, wherein different numbers of light rays are incident on the pupil of the eye depending on the viewing direction.
前記実物体又は仮想物体からの光を非等間隔な角度刻みでサンプリングすることにより得られる光線群を所定の平面上で記録した多数の二次元画像の各々を表示する複数の二次元画像表示装置からなる二次元画像表示装置アレイと、
前記二次元画像表示装置アレイに表示された多数の前記二次元画像からの光線を前記サンプリング角度刻みに対応した光線密度で偏向して拡大投影する複数の偏向光学素子が二次元的に配置された投射レンズユニットと、
前記投射レンズユニットによる投影像の結像面付近の光線をテレセントリック化するレンズ板と、
前記レンズ板を透過した光線の拡散角を垂直方向に拡散するスクリーンと
を有し、前記スクリーンからの光線群の交点を空間に生成して、空間像としての三次元画像を表示することを特徴とする三次元画像表示装置。 Based on the principle of integral photography, by arranging a large number of discrete ray groups obtained by sampling continuous light with a spread from real objects or virtual objects at a predetermined angular interval A three-dimensional image display device that reproduces a three-dimensional image of the real object or virtual object,
A plurality of two-dimensional image display devices for displaying each of a number of two-dimensional images in which a light beam group obtained by sampling light from the real object or virtual object at non-equal intervals is recorded on a predetermined plane A two-dimensional image display device array comprising:
A plurality of deflecting optical elements for deflecting and projecting light rays from a number of the two-dimensional images displayed on the two-dimensional image display device array at a light beam density corresponding to the sampling angle increments are two-dimensionally arranged. A projection lens unit;
A lens plate for telecentricizing light rays in the vicinity of the image plane of the projection image by the projection lens unit;
A screen for diffusing the diffusion angle of the light beam transmitted through the lens plate in a vertical direction, and generating an intersection of light beams from the screen in a space to display a three-dimensional image as a spatial image. A three-dimensional image display device.
前記実物体又は仮想物体からの光を非等間隔な角度刻みでサンプリングすることにより得られる光線群を所定の平面上で記録した多数の二次元画像の各々を画素毎にインターリーブして表示するフラットパネルディスプレイと、
前記フラットパネルディスプレイに表示された前記多数の二次元画像からの光線を前記サンプリング角度刻みに対応した光線密度で偏向してテレセントリック化する偏向光学素子アレイと
を有し、前記偏向光学素子アレイからの光線群の交点を空間に生成して、空間像としての三次元画像を表示することを特徴とする三次元画像表示装置。 Based on the principle of integral photography, by arranging a large number of discrete ray groups obtained by sampling continuous light with a spread from real objects or virtual objects at a predetermined angular interval A three-dimensional image display device that reproduces a three-dimensional image of the real object or virtual object,
A flat that interleaves and displays each of a number of two-dimensional images, each of which is obtained by sampling a light beam obtained by sampling light from the real object or virtual object at non-equal angular intervals on a predetermined plane. A panel display,
A deflection optical element array that deflects light from the multiple two-dimensional images displayed on the flat panel display at a light density corresponding to the sampling angle increments to make a telecentricity, and from the deflection optical element array A three-dimensional image display device that generates an intersection of ray groups in a space and displays a three-dimensional image as a spatial image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007137794A JP2008292736A (en) | 2007-05-24 | 2007-05-24 | Three-dimensional image display method and three-dimensional image display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007137794A JP2008292736A (en) | 2007-05-24 | 2007-05-24 | Three-dimensional image display method and three-dimensional image display device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008292736A true JP2008292736A (en) | 2008-12-04 |
Family
ID=40167506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007137794A Pending JP2008292736A (en) | 2007-05-24 | 2007-05-24 | Three-dimensional image display method and three-dimensional image display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008292736A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013130037A1 (en) * | 2012-02-27 | 2013-09-06 | Dolby Laboratories Licensing Corporation | Multi-segment imager |
US8976080B2 (en) | 2005-12-06 | 2015-03-10 | Dolby Laboratories Licensing Corporation | Multi-segment imager |
JP2018517320A (en) * | 2015-04-09 | 2018-06-28 | クアルコム,インコーポレイテッド | Combined processing and display device package for light field displays |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003140083A (en) * | 2001-11-02 | 2003-05-14 | Japan Science & Technology Corp | Three-dimensional display method and its device |
JP2005045824A (en) * | 2004-08-06 | 2005-02-17 | Canon Inc | Stereoimage regeneration system with its control method and storage medium |
JP2007017634A (en) * | 2005-07-06 | 2007-01-25 | Ntt Docomo Inc | Stereoscopic image display device and stereoscopic image display method |
-
2007
- 2007-05-24 JP JP2007137794A patent/JP2008292736A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003140083A (en) * | 2001-11-02 | 2003-05-14 | Japan Science & Technology Corp | Three-dimensional display method and its device |
JP2005045824A (en) * | 2004-08-06 | 2005-02-17 | Canon Inc | Stereoimage regeneration system with its control method and storage medium |
JP2007017634A (en) * | 2005-07-06 | 2007-01-25 | Ntt Docomo Inc | Stereoscopic image display device and stereoscopic image display method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8976080B2 (en) | 2005-12-06 | 2015-03-10 | Dolby Laboratories Licensing Corporation | Multi-segment imager |
WO2013130037A1 (en) * | 2012-02-27 | 2013-09-06 | Dolby Laboratories Licensing Corporation | Multi-segment imager |
JP2018517320A (en) * | 2015-04-09 | 2018-06-28 | クアルコム,インコーポレイテッド | Combined processing and display device package for light field displays |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW571120B (en) | Three-dimensional display method and its device | |
US7327389B2 (en) | Apparatus and method for photographing three-dimensional image, apparatus and method for displaying three-dimensional image, and apparatus and method for converting three-dimensional image display position | |
US20120127570A1 (en) | Auto-stereoscopic display | |
US20070109505A1 (en) | Projection three-dimensional display apparatus | |
JP2004534276A (en) | Image projection apparatus and method | |
JP4631812B2 (en) | Multi-view video display device, multi-view video imaging device, and multi-view video generation device | |
US20070139767A1 (en) | Stereoscopic image display apparatus | |
KR100430381B1 (en) | Three-dimensional display | |
JP5767502B2 (en) | 3D image display device | |
JP4728825B2 (en) | 3D image display device | |
JP5888742B2 (en) | 3D display device | |
US20080259281A1 (en) | Apparatus and method for displaying three-dimensional image | |
JP2015031835A (en) | Light projection device and display device having the same | |
JP2008292736A (en) | Three-dimensional image display method and three-dimensional image display device | |
JP2007102201A (en) | Three-dimensional light ray input apparatus | |
JP2007264261A (en) | Projection type stereoscopic display device | |
JP2007233253A (en) | Stereoscopic video display device | |
Watanabe et al. | Wide viewing angle projection-type integral 3D display system with multiple UHD projectors | |
WO2018161648A1 (en) | Image display system | |
JP2010054917A (en) | Naked-eye stereoscopic display device | |
US9936178B2 (en) | Three-dimensional image display apparatus using laser beam scanning projection optical systems | |
JP4886419B2 (en) | 3D image display device | |
JP2018163282A (en) | Stereoscopic video display device | |
JP2013105000A (en) | Video display device and video display method | |
JP2005102198A (en) | Three-dimensional video display apparatus, three-dimensional video display method and three-dimensional display video data generating method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091228 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100730 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20111012 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120313 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120703 |