JP2008292736A - Three-dimensional image display method and three-dimensional image display device - Google Patents
Three-dimensional image display method and three-dimensional image display device Download PDFInfo
- Publication number
- JP2008292736A JP2008292736A JP2007137794A JP2007137794A JP2008292736A JP 2008292736 A JP2008292736 A JP 2008292736A JP 2007137794 A JP2007137794 A JP 2007137794A JP 2007137794 A JP2007137794 A JP 2007137794A JP 2008292736 A JP2008292736 A JP 2008292736A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional image
- light
- image display
- light beam
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Description
本発明は三次元画像表示方法及び三次元画像表示装置に係り、特にインテグラルフォトグラフィ（Integral Photography：ＩＰ）の原理に基づいて、三次元の空間像を再生表示する三次元画像表示方法及び三次元画像表示装置に関する。 The present invention relates to a three-dimensional image display method and a three-dimensional image display device, and in particular, based on the principle of integral photography (IP), a three-dimensional image display method and three-dimensional display for reproducing and displaying a three-dimensional aerial image. The present invention relates to an original image display device.
リップマン（M.G Lippman）が１９０８年に提案したインテグラルフォトグラフィ（ＩＰ）の原理に基づき、実物表面からの光線と同等な光線を空間に再現することにより、自然な三次元画像を再生する三次元ディスプレイの研究開発が盛んに行われている。 Based on the principle of integral photography (IP) proposed in 1908 by MG Lippman, three-dimensional reproduction of natural three-dimensional images by reproducing light rays equivalent to those from the real surface in space Research and development of displays are actively conducted.
例えば、レンズアレイと写真乾板とを用いて被写体を撮影した後に、現像後の写真をレンズアレイの背後から照明することにより、元の被写体の位置に光線が逆行して集まることから三次元像が再生されることが報告されている（例えば、非特許文献１参照）。また、上記プロセスを電子化し、撮像と表示をリアルタイムに行うインテグラル立体テレビシステムが報告されている（例えば、非特許文献２参照）。 For example, after a subject is photographed using a lens array and a photographic plate, a developed photograph is illuminated from the back of the lens array, so that light rays are gathered back to the original subject position, so that a three-dimensional image is obtained. It is reported that it is reproduced (see, for example, Non-Patent Document 1). Also, an integral 3D television system that digitizes the above process and performs imaging and display in real time has been reported (for example, see Non-Patent Document 2).
また、現在実用化されている電子デバイスの情報量不足を補うため、垂直方向の立体情報を水平方向に割り振ることにより、水平方向の立体視に特化した三次元ディスプレイの実現方法が知られている（例えば、特許文献１参照）。更に、この特許文献１に開示された技術を１２８枚の小型液晶表示素子を用いて実現した事例が報告されている（例えば、非特許文献３参照）。 In addition, in order to compensate for the shortage of information in electronic devices that are currently in practical use, a method for realizing a three-dimensional display specialized for horizontal stereoscopic vision by allocating vertical stereoscopic information in the horizontal direction is known. (For example, refer to Patent Document 1). Furthermore, a case where the technique disclosed in Patent Document 1 is realized using 128 small liquid crystal display elements has been reported (for example, see Non-Patent Document 3).
しかるに、特許文献１又は非特許文献３に開示された三次元画像表示装置の構成は、指向性の高い光線を狭い角度ピッチで、異なる方向に表示させるため、必要な表示素子の数が多くなるという課題がある。例えば、非特許文献３によれば、１２８枚の表示素子からの光線を異なる方向に角度ピッチ０.２３度で高密度に表示し、約３０度の水平視域を得たことが報告されている。光線の角度ピッチを保ったまま水平視域を拡大するには、さらに多数の表示素子が必要になる。また、光線の角度ピッチを大きくしたのでは、単眼に入射する光線数が減少することにより、輻輳と調節の不一致による目の疲労が生じるという問題が生じる。 However, the configuration of the three-dimensional image display device disclosed in Patent Document 1 or Non-Patent Document 3 displays light beams with high directivity in different directions at a narrow angle pitch, and thus the number of necessary display elements increases. There is a problem. For example, according to Non-Patent Document 3, it has been reported that light beams from 128 display elements are displayed in different directions at a high density with an angular pitch of 0.23 degrees, and a horizontal viewing area of about 30 degrees is obtained. Yes. In order to expand the horizontal viewing area while maintaining the angular pitch of light rays, a larger number of display elements are required. In addition, when the angle pitch of the light beam is increased, the number of light beams incident on the monocular decreases, which causes a problem that eye fatigue occurs due to a mismatch between convergence and adjustment.
ところで、本出願人は、特許文献１に開示された三次元画像表示装置の構成を本出願人が製造販売する超高解像度液晶パネル（水平方向画素数４０９６、垂直方向画素数２１６０からなる反射型液晶表示素子Ｄ−ＩＬＡ（登録商標））を用いることにより、必要な表示素子の数を削減する技術を報告している（末廣晃也、中村博哉、山田邦男、吉村真,「Ｄ−ＩＬＡデバイスを用いた投射型３次元ディスプレイ」,３次元画像コンファレンス2006講演論文集,p.219-222(2006)）。 By the way, the applicant of the present invention is an ultra-high resolution liquid crystal panel manufactured by the applicant of the configuration of the three-dimensional image display device disclosed in Patent Document 1 (reflective type comprising 4096 horizontal pixels and 2160 vertical pixels). A technology that reduces the number of necessary display elements by using a liquid crystal display element D-ILA (registered trademark) has been reported (Sueya Sue, Hiroya Nakamura, Kunio Yamada, Makoto Yoshimura, “D-ILA Device Projection-type 3D Display ", Proceedings of 3D Image Conference 2006, p.219-222 (2006)).
しかしながら、当該技術においても、光線の角度ピッチを保ったまま視域を拡大するには、総画素数としては依然として膨大な数が必要となり、信号処理に必要なハードウェア構成が極めて大規模なものになるという課題がある。 However, even in this technique, enlarging the viewing zone while maintaining the angular pitch of the light rays still requires a huge number of total pixels, and the hardware configuration necessary for signal processing is extremely large. There is a problem of becoming.
本発明は以上の点に鑑みなされたもので、多数の光源を空間に再現することにより自然な三次元画像を表示する三次元画像表示方法およびその装置において、画質の低下を最小限に抑えながら必要な光線数を大幅に削減することのできる三次元画像表示方法及び三次元画像表示装置を提供することを目的とする。 The present invention has been made in view of the above points. In a three-dimensional image display method and apparatus for displaying a natural three-dimensional image by reproducing a large number of light sources in a space, the degradation of image quality is minimized. It is an object of the present invention to provide a 3D image display method and a 3D image display apparatus capable of greatly reducing the number of necessary light beams.
上記の目的を達成するため、第１の発明は、実物体又は仮想物体からの広がりをもった連続的な光を所定の角度刻みでサンプリングすることにより得られる離散的な光線群を空間に多数配置することにより、インテグラルフォトグラフィの原理に基づいて当該実物体又は仮想物体の三次元画像を再生する三次元画像表示方法であって、
実物体又は仮想物体からの光のサンプリングを非等間隔な角度刻みで行い、当該角度刻みに対応する光線密度で光線群を空間に配置することにより、三次元画像を観察する観察者の瞳に対して観察方向によって異なる本数の光線を入射させることを特徴とする。
In order to achieve the above object, according to the first invention, a large number of discrete ray groups obtained by sampling continuous light having a spread from a real object or a virtual object at predetermined angular intervals are provided in space. A three-dimensional image display method for reproducing a three-dimensional image of the real object or virtual object based on the principle of integral photography by arranging,
Sampling light from real or virtual objects at non-equal angular intervals, and arranging light beams in space at a light density corresponding to the angular intervals, to the observer's pupil who observes a three-dimensional image On the other hand, it is characterized in that a different number of light beams are incident depending on the observation direction.
また、上記の目的を達成するため、第２の発明は、実物体又は仮想物体からの広がりをもった連続的な光を所定の角度刻みでサンプリングすることにより得られる離散的な光線群を空間に多数配置することにより、インテグラルフォトグラフィの原理に基づいて当該実物体又は仮想物体の三次元画像を再生する三次元画像表示装置であって、
実物体又は仮想物体からの光を非等間隔な角度刻みでサンプリングすることにより得られる光線群を所定の平面上で記録した多数の二次元画像の各々を表示する複数の二次元画像表示装置からなる二次元画像表示装置アレイと、二次元画像表示装置アレイに表示された多数の二次元画像からの光線をサンプリング角度刻みに対応した光線密度で偏向して拡大投影する複数の偏向光学素子が二次元的に配置された投射レンズユニットと、投射レンズユニットによる投影像の結像面付近の光線をテレセントリック化するレンズ板と、レンズ板を透過した光線の拡散角を垂直方向に拡散するスクリーンとを有し、スクリーンからの光線群の交点を空間に生成して、空間像としての三次元画像を表示することを特徴とする。
In order to achieve the above object, the second aspect of the present invention provides a discrete light beam group obtained by sampling a continuous light having a spread from a real object or a virtual object at predetermined angular intervals. A three-dimensional image display device that reproduces a three-dimensional image of the real object or virtual object based on the principle of integral photography,
From a plurality of two-dimensional image display devices that display each of a number of two-dimensional images in which a group of rays obtained by sampling light from a real object or a virtual object at non-equal angular intervals is recorded on a predetermined plane Two-dimensional image display device array and a plurality of deflecting optical elements for deflecting and projecting light beams from a number of two-dimensional images displayed on the two-dimensional image display device array at a light beam density corresponding to sampling angle increments. A projection lens unit arranged in a three-dimensional manner, a lens plate for telecentricizing a light beam in the vicinity of an image plane of a projection image by the projection lens unit, and a screen for diffusing the diffusion angle of the light beam transmitted through the lens plate in a vertical direction. A point of intersection of light rays from the screen is generated in the space, and a three-dimensional image as a spatial image is displayed.
更に、上記の目的を達成するため、第３の発明は、実物体又は仮想物体からの広がりをもった連続的な光を所定の角度刻みでサンプリングすることにより得られる離散的な光線群を空間に多数配置することにより、インテグラルフォトグラフィの原理に基づいて当該実物体又は仮想物体の三次元画像を再生する三次元画像表示装置であって、
実物体又は仮想物体からの光を非等間隔な角度刻みでサンプリングすることにより得られる光線群を所定の平面上で記録した多数の二次元画像の各々を画素毎にインターリーブして表示するフラットパネルディスプレイと、フラットパネルディスプレイに表示された多数の二次元画像からの光線をサンプリング角度刻みに対応した光線密度で偏向してテレセントリック化する偏向光学素子アレイとを有し、偏向光学素子アレイからの光線群の交点を空間に生成して、空間像としての三次元画像を表示することを特徴とする。
Furthermore, in order to achieve the above-mentioned object, the third invention provides a discrete ray group obtained by sampling a continuous light having a spread from a real object or a virtual object at predetermined angular intervals. A three-dimensional image display device that reproduces a three-dimensional image of the real object or virtual object based on the principle of integral photography,
A flat panel that interleaves and displays for each pixel a number of two-dimensional images in which a group of rays obtained by sampling light from real or virtual objects at non-equal angular intervals is recorded on a predetermined plane A light beam from the deflecting optical element array having a display and a deflecting optical element array that deflects light rays from a number of two-dimensional images displayed on the flat panel display at a light beam density corresponding to the sampling angle step and telecentricizes A group intersection point is generated in a space, and a three-dimensional image as a spatial image is displayed.
本発明によれば、同一の視域を実現するのに必要な光線数を従来の構成に比べて削減できるため、必要な二次元画像表示装置の数または総画素数を削減でき、従って三次元画像表示装置のコストダウンを実現できる。 According to the present invention, the number of light beams required to realize the same viewing zone can be reduced as compared with the conventional configuration, so that the number of necessary two-dimensional image display devices or the total number of pixels can be reduced, and thus three-dimensional. The cost of the image display device can be reduced.
また、本発明によれば、従来の半分の二次元画像表示装置の数または総画素数であっても、光線密度が最も高い視域の中央付近又は観察者の瞳の位置では目の疲労の少ない立体視が可能であり、同時に光線密度が低い視域の周辺部では運動視差により三次元画像を回り込んで観察できるため、観察者にとって違和感のない自然な三次元画像表示装置の実用化が可能となる。 Further, according to the present invention, even when the number of conventional two-dimensional image display devices or the total number of pixels is used, eye fatigue occurs near the center of the viewing zone where the light density is the highest or at the position of the observer's pupil. Fewer stereoscopic viewing is possible, and at the same time, in the periphery of the viewing zone where the light density is low, 3D images can be observed by moving parallax. It becomes possible.
次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。図１は本発明になる三次元画像表示方法の一実施例の光線の配置を示す図である。同図に示すように、本実施例は、スクリーン１（二次元画像表示面）、三次元画像（球）２ａ、三次元画像（立方体）２ｂ、三次元画像（球）２ａを構成する光線群３ａ、三次元画像（立方体）２ｂを構成する光線群３ｂから構成されている。 Next, the best mode for carrying out the present invention will be described in detail with reference to the drawings. FIG. 1 is a diagram showing the arrangement of light rays in one embodiment of the three-dimensional image display method according to the present invention. As shown in the figure, in this embodiment, a light beam group constituting a screen 1 (two-dimensional image display surface), a three-dimensional image (sphere) 2a, a three-dimensional image (cube) 2b, and a three-dimensional image (sphere) 2a. 3a, a light beam group 3b constituting a three-dimensional image (cube) 2b.
スクリーン１には、三次元画像を構成する多数の光線群３ａ、３ｂとなる二次元画像が図示しない二次元画像表示装置アレイから投影されて表示される。この二次元画像は、非特許文献３においては指向性画像と呼ばれており、より一般的には視差画像と呼ばれる。この二次元画像（視差画像）は、三次元の実物体からの光波を様々な角度から平行投影法より投影することにより得られるもので、透視投影法により撮影した画像は視点画像と呼んで区別されることがある。インテグラルフォトグラフィの場合は、要素画像と呼ばれている。 On the screen 1, a two-dimensional image that becomes a large number of light groups 3 a and 3 b constituting a three-dimensional image is projected and displayed from a two-dimensional image display device array (not shown). This two-dimensional image is called a directional image in Non-Patent Document 3, and more generally called a parallax image. This two-dimensional image (parallax image) is obtained by projecting light waves from a three-dimensional real object from various angles by the parallel projection method. Images taken by the perspective projection method are called viewpoint images and distinguished from each other. May be. In the case of integral photography, it is called an element image.
本実施例は、実物体又は仮想物体（図示せず）からの広がりをもった連続的な光を所定の角度刻みでサンプリングすることにより得られる離散的な光線群３ａ、３ｂを空間に多数配置することによりインテグラルフォトグラフィの原理に基づいて当該実物体又は仮想物体の三次元画像２ａ、２ｂを空間に再生する構成である。 In the present embodiment, a large number of discrete light beam groups 3a and 3b obtained by sampling continuous light having a spread from a real object or a virtual object (not shown) at predetermined angular intervals are arranged in space. Thus, the three-dimensional images 2a and 2b of the real object or virtual object are reproduced in space based on the principle of integral photography.
図１におけるスクリーン１上の二次元画像からの光線群３ａ（または３ｂ）は拡散性が小さく、画素毎に指向性をもつ。これらは、空間で交点を形成することにより、図１に示すように、三次元画像（球）２ａ（または三次元画像（立方体）２ｂ）の表面における１点から発散する光線を形成する。図１における発散光線の広がり角は約３８度（全角）であり、これが三次元画像（球）２ａ（または三次元画像（立方体）２ｂ）を回り込んで観察可能な範囲である視域に相当する。図１では、約３８度の視域内に６５本の光線が角度ピッチ△θで存在するように描かれている。これらの光線の角度ピッチ△θは、扇形の光線群３ａ、３ｂの中心付近では密に、周辺部にいくに従って疎になるように、異なる角度刻みで配置されている。 The light ray group 3a (or 3b) from the two-dimensional image on the screen 1 in FIG. 1 has a low diffusivity and directivity for each pixel. These form intersections in space, thereby forming light rays that diverge from one point on the surface of the three-dimensional image (sphere) 2a (or three-dimensional image (cube) 2b) as shown in FIG. The divergence angle of the divergent ray in FIG. 1 is about 38 degrees (full angle), which corresponds to the viewing zone that is an observable range around the 3D image (sphere) 2a (or 3D image (cube) 2b). To do. In FIG. 1, 65 light beams are drawn at an angular pitch Δθ in a viewing area of about 38 degrees. The angle pitch Δθ of these rays is arranged in different angular increments so that it is dense near the center of the fan-shaped ray groups 3a and 3b and becomes sparse toward the periphery.
いま、視域（全角）を２θ、スクリーン１に平行な面から測った各光線の角度をθ（ｎ）、光線の最小角度ピッチを△θ０としたとき、これらの間には以下の関係が成立する。 Assuming that the viewing zone (full angle) is 2θ, the angle of each light ray measured from a plane parallel to the screen 1 is θ (n), and the minimum angle pitch of the light ray is Δθ 0 , the following relationship is established between them: Is established.
２θ＝θ（ｎｍａｘ）−θ（ｎｍｉｎ） （１） 2θ = θ (n max ) −θ (n min ) (1)
２θ＝Δθ０×（Ｎ−１） （４） 2θ = Δθ 0 × (N−1) (4)
ところで、３次元画像表示装置の用途にもよるが、多くの場合、観察者は静止しており、視域２θの周辺領域から三次元画像２ａまたは２ｂの側面を観察する時間よりも、視域２θの中心付近から三次元画像２ａまたは２ｂの正面を観察する時間の方が長いと考えられる。 By the way, although depending on the use of the three-dimensional image display device, in many cases, the observer is stationary and the viewing zone is longer than the time for observing the side surface of the three-dimensional image 2a or 2b from the peripheral region of the viewing zone 2θ. It is considered that the time for observing the front of the three-dimensional image 2a or 2b from the vicinity of the center of 2θ is longer.
一方、観察者の目の疲労はその目に入射する光線の光線密度にほぼ対応し、光線密度が疎である（光線間隔が広い）ほど目が疲れやすい。従って、目の疲労につながる光線密度は最も重要な三次元画像２ａまたは２ｂの正面付近が最も高い（密である）ことが少なくとも必要であり、この条件を満たせば、周辺部の光線数を間引いてその周辺部の光線密度を正面付近の光線密度に比較して多少疎としても、長時間観察しない限り、目の疲労の影響は実質的に殆ど無いことが期待できる。 On the other hand, the fatigue of the eyes of the observer substantially corresponds to the light density of the light incident on the eyes, and the eye is more tired as the light density is sparse (the light beam interval is wider). Therefore, the light density that leads to eye fatigue should be at least the highest (dense) in the vicinity of the front of the most important three-dimensional image 2a or 2b. If this condition is satisfied, the number of light rays in the periphery is thinned out. Even if the light density at the periphery is slightly sparse compared to the light density near the front, it can be expected that there is substantially no influence of eye fatigue unless it is observed for a long time.
また、視域の周辺部で光線間隔を中心部付近に比べて広くすることが許されるならば、例えば本実施例のように光線数を半分にすることが可能になる。このことは、すなわち必要な二次元画像表示アレイの総画素数が半分で済むことになる。ホログラフィ型の３次元画像表示装置と異なり、光線を再現する方式の３次元画像表示装置において、装置規模及びコストを左右する要因として最も決定的なのは画素数であるから、本発明は画質の低下を最小限に抑えながら装置規模及びコストを最小にできる可能性がある。 Further, if it is allowed to widen the light ray interval in the peripheral part of the viewing zone as compared with the vicinity of the central part, for example, the number of light rays can be halved as in this embodiment. This means that the total number of pixels of the required two-dimensional image display array can be halved. Unlike a holographic type three-dimensional image display device, in a three-dimensional image display device that reproduces light rays, the most decisive factor is the number of pixels that affects the device scale and cost. There is a possibility that the apparatus size and cost can be minimized while minimizing.
図３は、実物体またはＣＧ（コンピュータグラフィクス）における仮想物体が発する波動としての連続的な光波の一例を表す図である。本発明は実物体又は仮想物体３０ａ、３０ｂが発する連続的な光波からなる光線群３０ａ、３０ｂの光線の角度ピッチ△θを観察者が静止する位置付近では最も高くし、周辺部にいくに従って段階的に低く（疎に）なるように、異なる角度刻みで配置することで、従来の半分の二次元画像表示素子の数であっても、観察者の目の疲労の少ない立体視を可能とし、実質的に図３における連続的な光波を観察しているのと同等な状態を実現することを目指したものである。 FIG. 3 is a diagram illustrating an example of a continuous light wave as a wave generated by a real object or a virtual object in CG (computer graphics). In the present invention, the angle pitch Δθ of the light beams 30a and 30b composed of continuous light waves emitted from the real or virtual objects 30a and 30b is set to be highest near the position where the observer is at rest, and as the distance to the periphery is increased. By arranging them at different angular increments so as to be low (sparsely), it is possible to achieve stereoscopic vision with less eye fatigue for the observer even with the number of conventional two-dimensional image display elements, This is intended to realize a state substantially equivalent to observing a continuous light wave in FIG.
図４は本発明における光線の配置の仕方の一例をより具体的に説明するための図である。図４はスクリーン１から射出される非等間隔な角度ピッチの光線３ａが、三次元画像２ａを形成するように空間で交差し、その後観察者の眼球４の瞳４１に入射する様子を示している。図４に示すように、光線３ａは三次元画像２ａの正面付近（視域６の中心軸５付近）の光線密度が密であり、また周辺部の光線密度が正面付近の光線密度に比較して疎になるように配置されている。 FIG. 4 is a diagram for more specifically explaining an example of the arrangement of light rays in the present invention. FIG. 4 shows a state in which the light beams 3a having non-uniform angular pitches emitted from the screen 1 intersect in space so as to form a three-dimensional image 2a and then enter the pupil 41 of the observer's eyeball 4. Yes. As shown in FIG. 4, the light ray 3a has a dense light density in the vicinity of the front of the three-dimensional image 2a (near the central axis 5 of the viewing zone 6), and the light density in the peripheral portion is compared with the light density in the vicinity of the front. Are arranged so as to be sparse.
超多眼条件として知られているように、瞳４１に複数の光線が入射した場合、図４に示すように、３次元画像２ａ上の光線の交点にピントが合うように、眼球４の水晶体（図示なし）の調節機構が働く。これにより、空間の注視点にピント合わせを行うことが可能になり、疲労が軽減される。図４では視域６の中心軸５付近では光線群３ａの光線密度が密であるため、中心軸５の近傍に観察者の瞳４１がある場合には複数の光線が単眼の瞳４１に入射し超多眼と同様な状態となる。 As is known as the super multi-eye condition, when a plurality of light rays are incident on the pupil 41, as shown in FIG. 4, the crystalline lens of the eyeball 4 is focused on the intersection of the light rays on the three-dimensional image 2a. The adjustment mechanism (not shown) works. Thereby, it becomes possible to focus on the gaze point of the space, and fatigue is reduced. In FIG. 4, the light density of the light beam group 3 a is dense near the central axis 5 of the viewing zone 6, so that when the observer's pupil 41 is near the central axis 5, a plurality of light rays are incident on the monocular pupil 41. However, it becomes the same state as super multi-view.
図５は、観察者が回り込んで３次元画像２ａを観察する様子を示す図である。同図に示すように、視域６の周辺領域では光線密度が疎であるため、三次元画像２ａからの光線のうち眼球４の瞳４１に入射するのは１本のみである．従って、眼球４の水晶体の調節は、スクリーン１にピントが合うように機能する。従って、図示しないもう一方の眼で３次元画像２ａを注視した場合には、注視点は光線群３ａの交点であるが、ピントが合う位置としてはスクリーン１となり、いわゆる輻輳調節矛盾の状態となる。 FIG. 5 is a diagram illustrating a state in which the observer turns around and observes the three-dimensional image 2a. As shown in the figure, since the light density is sparse in the peripheral region of the viewing area 6, only one light ray from the three-dimensional image 2a enters the pupil 41 of the eyeball 4. Therefore, the adjustment of the lens of the eyeball 4 functions so that the screen 1 is in focus. Therefore, when the other eye (not shown) gazes at the three-dimensional image 2a, the point of gaze is the intersection of the light beam group 3a, but the in-focus position is the screen 1, which is a state of so-called congestion adjustment contradiction. .
しかしながら、実際上は回り込んだ状態のままで長時間観察する機会は少ないため、疲労は実際上問題とならないと考えられる。むしろ、視域６の周辺部では、運動視差が不連続にならない程度に積極的に光線数を削減することで、同じ光線数で実現し得る視域６の範囲を拡大することが可能となる。 However, in practice, there are few opportunities to observe for a long time in a wraparound state, so it is considered that fatigue is not a problem in practice. Rather, in the periphery of the viewing zone 6, it is possible to expand the range of the viewing zone 6 that can be realized with the same number of rays by actively reducing the number of rays so that the motion parallax does not become discontinuous. .
図６は、観察者の静止位置が、視域６の中心軸５にない場合を示す図である。三次元画像を複数人で観察する場合は、このような状祝は比較的多く起こり得る。そこで、観察者が一人又は複数人存在する場合には、光線群３ａの光線密度が密な領域（最も光線密度が高い領域）は、中心軸５付近ではなく、一人又は複数人の観察者のそれぞれの瞳の位置にずらすことが好ましい。これを行うには、カメラなどのセンサーで観察者の位置を検出するようにしておき、観察者の検出位置に光線が密に投射され、観察者から離れるに従って光線密度が疎になるように、スクリーン１に入射する光学系を調整すればよい。かかる光学系の詳細については後の実施例において後述する。 FIG. 6 is a diagram illustrating a case where the observer's stationary position is not on the central axis 5 of the viewing zone 6. When a three-dimensional image is observed by a plurality of people, such a celebration can occur relatively frequently. Therefore, when there are one or more observers, the region in which the light density of the light group 3a is dense (the region having the highest light density) is not the vicinity of the central axis 5, but one or more observers. It is preferable to shift to the position of each pupil. In order to do this, the position of the observer is detected by a sensor such as a camera, and the light beam is densely projected at the detection position of the observer, so that the light density becomes sparse as the distance from the observer increases. The optical system incident on the screen 1 may be adjusted. Details of such an optical system will be described later in Examples.
図７は、本発明になる三次元画像表示方法の一実施例のフローチャートを示す。まず、図３に示した実物体又は仮想物体２０ａ、２０ｂの観察方向中心を決定する（ステップＳ１０１）。これは三次元画像表示装置のスクリーン１の正面（視域の中心軸）であることが多いが、複数人観察を想定すると、センサーで観察者の位置を検出してから決定する必要がある。 FIG. 7 shows a flowchart of an embodiment of the three-dimensional image display method according to the present invention. First, the observation direction center of the real object or the virtual objects 20a and 20b shown in FIG. 3 is determined (step S101). This is often the front (the central axis of the viewing zone) of the screen 1 of the three-dimensional image display device. However, assuming the observation of a plurality of people, it is necessary to determine the position after detecting the position of the observer with a sensor.
次に、図３に示した実物体または仮想物体２０ａ、２０ｂからの光３０ａ、３０ｂを離散的な光線として非等間隔な角度ピッチで標本化して撮像する（ステップＳ１０２）。すなわち、実物体または仮想物体２０ａ、２０ｂからの広がりをもった連続的な光３０ａ、３０ｂを所定の角度刻みでサンプリングすることにより得られる離散的な光線群３ａ、３ｂを空間に多数配置することによりインテグラルフォトグラフィの原理に基づいて当該実物体又は仮想物体２０ａ、２０ｂの三次元画像（図１の２ａ、２ｂ）を再生する三次元画像表示を行うに当たり、まず、実物体または仮想物体２０ａ、２０ｂからの光３０ａ、３０ｂのサンプリングを、（３ａ）又は（３ｂ）式に基づく非等間隔な角度刻みで行う。 Next, the light 30a and 30b from the real or virtual objects 20a and 20b shown in FIG. 3 are sampled and imaged at discrete angular pitches as discrete rays (step S102). That is, a large number of discrete light beam groups 3a and 3b obtained by sampling continuous light 30a and 30b having a spread from real objects or virtual objects 20a and 20b at predetermined angular intervals are arranged in space. In performing the three-dimensional image display for reproducing the three-dimensional image (2a, 2b in FIG. 1) of the real object or virtual object 20a, 20b based on the principle of integral photography, first, the real object or virtual object 20a , 20b are sampled at non-uniform angular intervals based on equation (3a) or (3b).
もし、十分微小な間隔で撮影できるのであれば等間隔で撮像しておき、後でそれらの一部を抜き出して使用してもよい。静止物に対してカメラを移動させながら撮影するような場合にはそれが可能である。動画を撮影する場合には、カメラ数を削減したいという要請があるため、やはり非等間隔な角度ピッチでカメラアレイまたはレンズアレイを配置する必要がある。ＣＧの場合には、仮想カメラの位置を非等間隔に設定すればよい。 If images can be taken at sufficiently small intervals, images may be taken at equal intervals, and a part of them may be extracted and used later. This is possible when shooting while moving the camera relative to a stationary object. When shooting a moving image, there is a demand to reduce the number of cameras, and therefore it is necessary to arrange camera arrays or lens arrays at angular intervals that are not evenly spaced. In the case of CG, the virtual camera positions may be set at non-uniform intervals.
続いて、多数の二次元画像を生成する（ステップＳ１０３）。カメラアレイで撮影した場合には、透視投影画像が撮像されているため、平行投影画像に変換する必要がある。高精細カメラにレンズアレイを装着することにより、画素単位でインターリーブされた画像を撮影した場合にはかかる変換の必要はない。 Subsequently, a large number of two-dimensional images are generated (step S103). When the image is taken with the camera array, the perspective projection image is captured, and thus needs to be converted into a parallel projection image. By attaching a lens array to a high-definition camera, such a conversion is not necessary when an image interleaved in pixel units is taken.
続いて、多数の二次元画像の１フレームを二次元画像表示素子アレイ上に表示する（ステップＳ１０４）。この二次元画像表示素子アレイについては後述する。続いて、二次元画像表示素子アレイ上の各々の二次元画像からの光を偏向光学素子により偏向する（ステップＳ１０５）。そして、その偏向の角度刻みが撮影時の角度刻みに一致しているかどうか判定し（ステップＳ１０６）、一致していない場合には、上記偏向光学素子の偏向角度を調整する。このようにして、最終的には二次元画像からの光の偏向の角度刻みが、撮影時の角度刻みに一致するように制御が行われる。なお、ステップＳ１０６における具体的な判定方法とその判定結果に基づく制御方法の具体例は後述する。 Subsequently, one frame of many two-dimensional images is displayed on the two-dimensional image display element array (step S104). This two-dimensional image display element array will be described later. Subsequently, light from each two-dimensional image on the two-dimensional image display element array is deflected by the deflecting optical element (step S105). Then, it is determined whether or not the angle increment of the deflection coincides with the angle increment at the time of photographing (step S106). If not, the deflection angle of the deflection optical element is adjusted. In this way, control is finally performed so that the angular increment of light deflection from the two-dimensional image matches the angular increment at the time of photographing. A specific example of the specific determination method in step S106 and a control method based on the determination result will be described later.
図８は、光線群３ａの各光線の角度刻み（角度ピッチ）が一定の場合（△θ：等間隔）の光線数対視域角特性Iと、本発明のような光線の角度刻み（角度ピッチ）が光線数Ｎの関数である場合（△θ（ｎ）：非等間隔）の光線数対視域角特性IIとを示す。原点は光線密度が最も密な領域を表しており、この特性図では視域角が０.３度である。約３５度の視域を実現するのに必要な光線数は、特性Iに示すように表示角度刻みが一定の場合には約１２０本の光線が必要であるのに対し、特性IIに示すように表示角度刻みが光線数Ｎの関数である本実施の形態の場合には、半分の約６０本の光線で済むことが分かる。 FIG. 8 shows the number of rays versus viewing angle characteristic I when the angle increment (angular pitch) of each ray in the light beam group 3a is constant (Δθ: equally spaced), and the angle increment (angle) of the ray as in the present invention. When the pitch is a function of the number of rays N (Δθ (n): non-uniform spacing), the number of rays versus viewing angle characteristic II is shown. The origin represents the region with the highest light density, and in this characteristic diagram, the viewing zone angle is 0.3 degrees. The number of rays necessary to realize a viewing zone of about 35 degrees is as shown in the characteristic II, while about 120 rays are required when the display angle increment is constant as shown in the characteristic I. In the case of the present embodiment in which the display angle increment is a function of the number of light rays N, it can be seen that about 60 light rays, which is half, are sufficient.
次に、本発明になる三次元画像表示装置の具体的な実施例について詳細に説明する。図９は本発明の三次元画像表示装置の実施例１の表示系の構成図を示す。同図において、３原色のＬＥＤ光源（またはレーザー光源）１０、照明光学系１１、液晶表示素子１２及び投射レンズユニット１３はプロジェクタを構成している。プロジェクタは投影光学系を有する二次元画像表示装置であり、全体としては水平方向（図９では紙面に平行な方向）及び垂直方向に二次元的に複数配置されて、二次元画像表示装置アレイを構成している。なお、水平方向とは、例えば観察者の両眼を結ぶ方向に平行な方向である。投射レンズユニット１３は、例えば複数のレンズが二次元的に複数配置されたレンズアレイと、そのレンズアレイを構成する各レンズに対応して形成された開口が二次元的に複数配置された開口アレイとからなる。 Next, specific examples of the three-dimensional image display apparatus according to the present invention will be described in detail. FIG. 9 shows a configuration diagram of a display system of the first embodiment of the three-dimensional image display apparatus of the present invention. In the figure, an LED light source (or laser light source) 10 of three primary colors, an illumination optical system 11, a liquid crystal display element 12, and a projection lens unit 13 constitute a projector. The projector is a two-dimensional image display device having a projection optical system. As a whole, a plurality of two-dimensional image display devices are arranged in two dimensions in the horizontal direction (direction parallel to the paper surface in FIG. 9) and the vertical direction. It is composed. The horizontal direction is, for example, a direction parallel to the direction connecting both eyes of the observer. The projection lens unit 13 includes, for example, a lens array in which a plurality of lenses are two-dimensionally arranged, and an aperture array in which a plurality of openings formed corresponding to the lenses constituting the lens array are two-dimensionally arranged. It consists of.
また、投射レンズユニット１３の前方には、レンズ板７と垂直方向拡散スクリーン８とがほぼ一体化されて配置されている。レンズ板７と垂直方向拡散スクリーン８とは図１等に示したスクリーン１を構成している。垂直方向拡散スクリーン８は、垂直方向にのみ光線の拡散を行うスクリーンであり、これにより射出瞳が垂直方向にのみ拡大され、二次元的に配置された二次元画像表示装置アレイに共通の垂直表示角度範囲を発生させることができる。 Further, in front of the projection lens unit 13, the lens plate 7 and the vertical diffusing screen 8 are substantially integrated. The lens plate 7 and the vertical diffusion screen 8 constitute the screen 1 shown in FIG. The vertical diffusion screen 8 is a screen that diffuses light rays only in the vertical direction, whereby the exit pupil is enlarged only in the vertical direction, and the vertical display common to the two-dimensional image display device array arranged two-dimensionally. An angular range can be generated.
図９の液晶表示素子１２は二次元画像表示装置を構成しており、図示しない再生装置とドライブ回路により被写体２０ａ、２０ｂの平行投影画像を表示させる。図９における液晶表示素子１２へのＬＥＤ光源１１からの光の導入の仕方は、原色光毎に光ファイバー束で分割して導入することで、色ムラのない均一照明を実現することができる。 The liquid crystal display element 12 of FIG. 9 constitutes a two-dimensional image display device, and displays parallel projection images of the subjects 20a and 20b by a reproduction device and a drive circuit (not shown). In the method of introducing light from the LED light source 11 into the liquid crystal display element 12 in FIG. 9, uniform illumination without color unevenness can be realized by dividing and introducing the primary color light by the optical fiber bundle.
この液晶表示素子１２は，画素の高密度化がしやすい反射型液晶表示素子であるＬＣＯＳ（Liquid Crystal On Silicon）を使用することが好ましいが、もちろん、ＨＴＰＳ（High Temperature Poly-Silicon：高温ポリシリコンＴＦＴ液晶）に代表される透過型液晶あるいはＤＬＰ（Digital Light Processing：登録商標）などの他のマイクロディスプレイデバイス（Micro Display Device：ＭＤ）を用いることも可能である。 The liquid crystal display element 12 preferably uses LCOS (Liquid Crystal On Silicon), which is a reflective liquid crystal display element that easily increases the density of pixels, but of course, HTPS (High Temperature Poly-Silicon). It is also possible to use transmissive liquid crystal represented by TFT liquid crystal) or other micro display device (MD) such as DLP (Digital Light Processing: registered trademark).
本実施例では、液晶表示素子１２と投射レンズユニット１３との配置位置を、三次元画像２ａ、２ｂが観察可能な角度範囲である視域の中心付近又は観察者の瞳付近の光線密度が最も密であり、当該視域の中心付近又は観察者の瞳付近から視域の端部に向かうに従って光線密度が段階的により疎になるように設定する点に特徴がある。液晶表示素子１２の中心位置と投射レンズユニット１３の中心位置との間の水平方向又は垂直方向の距離が小さいほど上記光線密度を密にすることができる。 In the present embodiment, the arrangement position of the liquid crystal display element 12 and the projection lens unit 13 is set so that the light ray density near the center of the viewing zone or the vicinity of the observer's pupil is the angle range in which the 3D images 2a and 2b can be observed. It is dense, and is characterized in that the light density is set so as to be gradually sparser from the vicinity of the center of the viewing zone or the vicinity of the observer's pupil toward the end of the viewing zone. As the distance in the horizontal or vertical direction between the center position of the liquid crystal display element 12 and the center position of the projection lens unit 13 is smaller, the light density can be made denser.
次に、本実施例の動作について説明する。ＬＥＤ光源（またはレーザー光源）１０から発光された照明光が、光ファイバー束を介して照明光学系１１に入射し、ここで直線偏光の照明光とされて液晶表示素子１２を照明する。液晶表示素子１２は図示しない再生装置とドライブ回路により被写体２０ａ、２０ｂの平行投影画像である二次元画像を表示する。 Next, the operation of this embodiment will be described. Illumination light emitted from the LED light source (or laser light source) 10 enters the illumination optical system 11 through the optical fiber bundle, where it is used as linearly polarized illumination light to illuminate the liquid crystal display element 12. The liquid crystal display element 12 displays a two-dimensional image, which is a parallel projection image of the subjects 20a and 20b, using a playback device and a drive circuit (not shown).
この液晶表示素子１２から出射される二次元画像の光線は、図示しない偏光ビームスプリッタをテレセントリックな状態で透過した後、投射レンズユニット１３に入射する。この投射レンズユニット１３は、液晶表示素子１２の拡大像をレンズ板７と垂直方向拡散スクリーン８とからなるスクリーン付近に結像させる。 The light beam of the two-dimensional image emitted from the liquid crystal display element 12 passes through a polarization beam splitter (not shown) in a telecentric state and then enters the projection lens unit 13. The projection lens unit 13 forms an enlarged image of the liquid crystal display element 12 in the vicinity of the screen composed of the lens plate 7 and the vertical diffusion screen 8.
ここで、二次元配置された多数の液晶表示素子１２のうち、少なくとも水平方向の複数の液晶表示素子の各画素と投射レンズユニット１３の入射中心位置とを設定することにより、実物体又は仮想物体からの光を非等間隔な角度刻みでサンプリングすることにより得られる光線群を所定の平面上で記録した多数の二次元画像の拡大像を得ることができる。この拡大像を構成する光線群の光線密度は、前述したように、視域の中心軸付近又は観察者の瞳の位置において最も高くなり、その周辺ほど低くなるようにされている。 Here, by setting at least each pixel of the plurality of liquid crystal display elements in the horizontal direction and the incident center position of the projection lens unit 13 among the two-dimensionally arranged liquid crystal display elements 12, a real object or a virtual object is set. It is possible to obtain enlarged images of a large number of two-dimensional images in which light beams obtained by sampling the light from the light source at non-equal angular intervals are recorded on a predetermined plane. As described above, the light density of the light beam group constituting the enlarged image is highest near the central axis of the viewing zone or at the position of the observer's pupil, and lower in the vicinity.
この拡大像の光線はレンズ板７によりテレセントリック化された後、垂直方向拡散スクリーン８により垂直方向にのみ射出瞳が拡大され、複数本の平行光を一組とする複数組の光線からなる光線群３ａ、３ｂの交点が空間に生成され、三次元画像２ａ、２ｂを空間に表示させる。なお、本実施例では、実物体又は仮想物体の発する光線を特定の視点から標本化（サンプリング）した画像（視点画像）として表現するのではなく、実物体又は仮想物体の発する光線を角度単位で標本化（サンプリング）することにより、光線空間を再現するために準平行光線が必要となる。 The enlarged image rays are telecentric by the lens plate 7, and then the exit pupil is enlarged only in the vertical direction by the vertical diffusing screen 8, so that a light ray group composed of a plurality of sets of light rays. An intersection of 3a and 3b is generated in the space, and the three-dimensional images 2a and 2b are displayed in the space. In this embodiment, the light beam emitted from the real object or the virtual object is not expressed as an image (viewpoint image) sampled (sampled) from a specific viewpoint, but the light beam emitted from the real object or the virtual object is expressed in angular units. By sampling (sampling), quasi-parallel rays are required to reproduce the ray space.
この準平行光線という意味は、投射レンズユニット１３の開口絞り中心を通る主光線同士が平行（テレセントリック）な状態にあることに加え、主光線の周りの外縁光線についても発散角が小さいということである。このような発散角の小さなテレセントリック光線（準平行光線）を空間に投射させて、これらの光線の交点を空間の異なる奥行き範囲に形成することにより、三次元画像を表示することができる。 The meaning of the quasi-parallel rays is that the principal rays passing through the center of the aperture stop of the projection lens unit 13 are in a parallel (telecentric) state, and that the outer edge rays around the principal rays have a small divergence angle. is there. A three-dimensional image can be displayed by projecting such a telecentric ray (quasi-parallel ray) having a small divergence angle and forming intersections of these rays in different depth ranges of the space.
このような本実施例によれば、同一の視域を実現するのに必要な光線数を従来の構成に比べて削減できるため、必要な二次元画像表示装置（液晶表示素子１２）の数または総画素数が削減でき、従って三次元画像表示装置のコストダウンが実現される。また、本実施例によれば、従来の半分の二次元画像表示装置の数であっても、光線を密に表示する視域の中央付近では目の疲労の少ない立体視が可能であり、同時に光線を疎に表示する周辺部では運動視差により三次元画像を回り込んで観察できるため、観察者にとって違和感のない自然な三次元画像表示の実用化が可能となる。 According to the present embodiment, since the number of light beams necessary for realizing the same viewing zone can be reduced as compared with the conventional configuration, the number of necessary two-dimensional image display devices (liquid crystal display elements 12) or The total number of pixels can be reduced, and thus the cost of the three-dimensional image display device can be reduced. In addition, according to the present embodiment, even in the conventional half of the number of two-dimensional image display devices, stereoscopic vision with less eye fatigue is possible near the center of the viewing area where light rays are displayed densely, and at the same time In the peripheral area where light rays are displayed sparsely, a three-dimensional image can be observed by moving parallax, so that a natural three-dimensional image display can be put to practical use without any sense of incongruity for the observer.
図１０は本発明になる三次元画像表示装置の実施例２の表示系の構成図を示す。同図中、図９と同一構成部分には同一符号を付し、その説明を省略する。図１０に示す実施例は、実物体又は仮想物体からの光を非等間隔な角度刻みでサンプリングすることにより得られる光線群３ａ、３ｂを所定の平面上で記録した多数の二次元画像の各々を画素毎にインターリーブして表示するフラットパネルディスプレイ１５と、フラットパネルディスプレイ１５に表示された二次元画像からの光線をサンプリング角度刻みに対応した角度刻みで偏向してテレセントリック化する偏向光学素子アレイ１６とを有する点に特徴がある。 FIG. 10 shows a configuration diagram of a display system of Embodiment 2 of the three-dimensional image display apparatus according to the present invention. In the figure, the same components as those in FIG. 9 are denoted by the same reference numerals, and the description thereof is omitted. In the embodiment shown in FIG. 10, each of a large number of two-dimensional images in which light groups 3a and 3b obtained by sampling light from a real object or a virtual object at non-equal angular intervals are recorded on a predetermined plane. Are interleaved and displayed for each pixel, and a deflecting optical element array 16 that deflects light rays from a two-dimensional image displayed on the flat panel display 15 in an angular increment corresponding to the sampling angular increment to make it telecentric. It has the feature in having.
現時点ではマルチプロジェクション型の構成が最も高画質な３次元画像の表示を実現できる。しかし、将来的にフラットパネルディスプレイ１５の解像度が上がれば、薄型の３次元ディスプレイを実現できる。この場合、偏向光学素子アレイ１６として、屈折率が可変なレンズアレイを使用することが好ましい。屈折率が可変なレンズとしては例えば、バリオプティック（Varioptic）株式会社製の液体レンズが使用可能である。 At present, the multi-projection type configuration can realize display of a three-dimensional image with the highest image quality. However, if the resolution of the flat panel display 15 increases in the future, a thin three-dimensional display can be realized. In this case, it is preferable to use a lens array having a variable refractive index as the deflecting optical element array 16. As the lens having a variable refractive index, for example, a liquid lens manufactured by Varioptic Co., Ltd. can be used.
図１１は本発明になる三次元画像表示装置の実施例３の構成図を示す。同図中、図９と同一構成部分には同一符号を付し、その説明を省略する。本実施例は、図９の構成の３次元画像表示系３１と、その入力側に設けられた３次元実写画像撮像系２１とからなる構成である。３次元画像表示系３１は、Ｎ個の２次元配置された２次元画像表示素子１２１〜１２Ｎと、偏向光学素子１３１〜１３Ｎと、この偏向光学素子１３１〜１３Ｎを個別に駆動するアクチュエータ１３ａ１〜１３ａＮとから構成されている。 FIG. 11 shows a configuration diagram of Embodiment 3 of the three-dimensional image display apparatus according to the present invention. In the figure, the same components as those in FIG. The present embodiment has a configuration including a three-dimensional image display system 31 having the configuration shown in FIG. 9 and a three-dimensional live-action image capturing system 21 provided on the input side thereof. The three-dimensional image display system 31 individually includes N two-dimensionally arranged two-dimensional image display elements 12 1 to 12 N , deflecting optical elements 13 1 to 13 N, and deflecting optical elements 13 1 to 13 N. The actuators 13a 1 to 13a N are driven.
ここで、２次元画像表示素子１２１〜１２Ｎの各々は液晶表示素子１２である。また、偏向光学素子１３１〜１３Ｎの各々は投射レンズユニット１３である。なお、３次元画像表示系３１には図９に示したように、レンズ板７及び垂直方向拡散スクリーン８も設けられているが、図示の便宜上、省略してある。 Here, each of the two-dimensional image display elements 12 1 to 12 N is the liquid crystal display element 12. Each of the deflection optical elements 13 1 to 13 N is a projection lens unit 13. As shown in FIG. 9, the three-dimensional image display system 31 is also provided with a lens plate 7 and a vertical diffusion screen 8, which are omitted for convenience of illustration.
また、３次元実写画像撮像系２１は、実物体２０ａ、２０ｂからの光波を離散的な光線として非等間隔な角度ピッチで標本化して撮像するＮ台のカメラ２２１〜２２Ｎが設けられている。カメラ２２１〜２２Ｎにより図７のステップＳ１０２の処理が実現される。カメラ２２１〜２２Ｎからの撮像信号は、それぞれ対応して設けられたパーソナルコンピュータ（以下、ＰＣ）２３１〜２３Ｎに供給され、ここで図７のステップＳ１０３で示した二次元画像が生成される。 Further, the three-dimensional photographed image capturing system 21 is provided with N cameras 22 1 to 22 N that sample and capture light waves from the real objects 20a and 20b as discrete rays at unequal angular pitches. Yes. The processing of step S102 in FIG. 7 is realized by the cameras 22 1 to 22 N. Imaging signals from the cameras 22 1 to 22 N are respectively supplied to corresponding personal computers (hereinafter referred to as PCs) 23 1 to 23 N , where a two-dimensional image shown in step S103 of FIG. 7 is generated. Is done.
ＰＣ２３１〜２３Ｎから出力された二次元画像信号は、補間画像生成ＰＣ２４に供給され、ここでその１フレームを二次元画像表示素子１２１〜１２Ｎに供給して表示させると共に、アクチュエータ１３ａ１〜１３ａＮに標本化角度データを供給して、対応して設けられた偏向光学素子１３１〜１３Ｎを互いに独立して二次元画像表示素子１２１〜１２Ｎに対する相対位置を制御して前述したように、例えば視域の中心軸付近又は観察者の瞳の位置において光線群の光線密度が最も高くなり、その周辺ほど低くなるようにされる。これにより、図７のステップＳ１０４及びＳ１０５が実現される。 The two-dimensional image signals output from the PCs 23 1 to 23 N are supplied to the interpolated image generation PC 24, where the one frame is supplied to the two-dimensional image display elements 12 1 to 12 N for display, and the actuator 13a 1 The sampling angle data is supplied to .about.13a N , and the deflection optical elements 13 1 to 13 N provided in correspondence thereto are controlled independently of each other to control the relative positions with respect to the two-dimensional image display elements 12 1 to 12 N. As described above, for example, the light beam density of the light beam group is the highest near the central axis of the viewing zone or at the position of the observer's pupil, and is lowered toward the periphery. Thereby, steps S104 and S105 of FIG. 7 are realized.
図１２は本発明になる三次元画像表示装置の実施例４の構成図を示す。同図中、図９及び図１１と同一構成部分には同一符号を付し、その説明を省略する。本実施例は、図９及び図１１の構成の３次元画像表示系３１と、その入力側に設けられた３次元ＣＧ画像生成系２５とからなる構成である。 FIG. 12 shows a configuration diagram of Embodiment 4 of the three-dimensional image display apparatus according to the present invention. In FIG. 9, the same components as those in FIGS. 9 and 11 are denoted by the same reference numerals, and description thereof is omitted. In this embodiment, the three-dimensional image display system 31 having the structure shown in FIGS. 9 and 11 and the three-dimensional CG image generation system 25 provided on the input side thereof are configured.
３次元ＣＧ画像生成系２５は、ＣＧデータによる仮想物体をＮ台のＰＣ２６１〜２６Ｎにより、仮想物体からの光波を離散的な光線として非等間隔な角度ピッチで標本化して撮像したと同様な撮像信号が生成される。ＰＣ２６１〜２６Ｎにより図７のステップＳ１０２の処理が実現される。続いて、ＰＣサーバ２７が、ＰＣ２６１〜２６Ｎからの信号に基づいて多数の二次元画像を生成した後、ここでその１フレームを二次元画像表示素子１２１〜１２Ｎに供給して表示させると共に、アクチュエータ１３ａ１〜１３ａＮに標本化角度データを供給して、対応して設けられた偏向光学素子１３１〜１３Ｎを互いに独立して二次元画像表示素子１２１〜１２Ｎに対する相対位置を制御して前述したように、例えば視域の中心軸付近又は観察者の瞳の位置において光線群の光線密度が最も高くなり、その周辺ほど低くなるようにされる。これにより、図７のステップＳ１０４及びＳ１０５が実現される。 The three-dimensional CG image generation system 25 is similar to the case where a virtual object based on CG data is sampled and imaged by N PCs 26 1 to 26 N as light rays from the virtual object as discrete rays at nonuniform angular pitches. An imaging signal is generated. The processing of step S102 in FIG. 7 is realized by the PCs 26 1 to 26 N. Subsequently, PC server 27, PC 26 1 ~ 26 after generating a number of two-dimensional image on the basis of signals from N, shown here in the one frame and supplies the two-dimensional image display device 12 1 to 12 N At the same time, sampling angle data is supplied to the actuators 13a 1 to 13a N , and the corresponding deflection optical elements 13 1 to 13 N are made independent of each other relative to the two-dimensional image display elements 12 1 to 12 N. As described above by controlling the position, for example, the light beam density of the light beam group is highest at the vicinity of the central axis of the viewing zone or at the position of the pupil of the observer, and is lowered as the periphery thereof. Thereby, steps S104 and S105 of FIG. 7 are realized.
図１３は本発明になる三次元画像表示装置の実施例５の構成図を示す。同図中、図９及び図１１と同一構成部分には同一符号を付し、その説明を省略する。本実施例は、実施例３に、三次元画像を撮像する角度刻み検出用カメラ３５を追加し、図７のステップＳ１０６の処理を実現する点に特徴がある。前記ステップＳ１０６において、偏向の角度刻みは、表示された三次元画像に基づいて検出する。すなわち、三次元画像２ａ又は２ｂとして三次元格子などの既知のテストパターンを表示しながら、これらを図１３に示す角度刻み検出用カメラ３５でモニタし、正規の表示位置からの位置ずれ量に基づいて偏向の角度刻みのずれ量を検出する。 FIG. 13 shows a configuration diagram of Embodiment 5 of the three-dimensional image display apparatus according to the present invention. In FIG. 9, the same components as those in FIGS. 9 and 11 are denoted by the same reference numerals, and description thereof is omitted. The present embodiment is characterized in that the angle increment detection camera 35 for capturing a three-dimensional image is added to the third embodiment to realize the processing in step S106 in FIG. In step S106, the angular increment of deflection is detected based on the displayed three-dimensional image. That is, while displaying a known test pattern such as a three-dimensional lattice as the three-dimensional image 2a or 2b, these are monitored by the angle increment detection camera 35 shown in FIG. 13, and based on the amount of displacement from the normal display position. Thus, the deviation amount of the deflection angle increment is detected.
正規の表示位置は、Ｘ軸、Ｙ軸、Ｚ軸の３方向に動作する直動ステージにこの角度刻み検出用カメラ３５を装着することで測定することができる。すなわち、正規の表示位置は、三次元画像として表示された格子パターンの交点位置が角度刻み検出用カメラ３５による撮影画像中心にくるときの直動ステージの移動量と正規の表示位置との差（ずれ量）を正確に検出することにより測定することができる。 The normal display position can be measured by mounting the angle increment detection camera 35 on a linear motion stage that operates in three directions of the X axis, the Y axis, and the Z axis. That is, the normal display position is the difference between the amount of movement of the linear motion stage and the normal display position when the intersection position of the lattice pattern displayed as a three-dimensional image comes to the center of the image captured by the angle increment detection camera 35 ( It can be measured by accurately detecting (shift amount).
このずれ量を誤差データとして、ＰＣサーバ２７に帰還し、ここで補正された標本化角度データにより偏向光学素子１３１〜１３Ｎのアクチュエータ１３ａ１〜１３ａＮの駆動量及び駆動方向を制御することにより、図７のステップＳ１０５とＳ１０６の動作を繰り返し、最終的にはステップＳ１０６で偏向の角度刻みが撮像時の角度刻みに一致するようにすることができる。偏向光学素子１３１〜１３Ｎの例としては投射レンズ、アクチュエータ１３ａ１〜１３ａＮとしては、投射レンズの光軸を２次元画像表示素子１２１〜１２Ｎの光軸に対して偏心させるレンズシフト機能を採用することが可能である。 The shift amount as error data, it is fed back to the PC server 27, controls the driving amount and the driving direction of the actuator 13a 1 ~13a N of the corrected sampled angle data by the deflecting optical element 13 1 to 13 N where Accordingly, the operations in steps S105 and S106 in FIG. 7 are repeated, and finally, in step S106, the angular increment of deflection can coincide with the angular increment at the time of imaging. Optical deflector 131-134 projection lens as an example of N, as the actuator 13a 1 ~13a N, the lens shift function to decenter the optical axis of the projection lens with respect to the optical axis of the two-dimensional image display device 121~12N It is possible to adopt.
なお、本発明は、以上の実施例に限定されるものではなく、例えば、水平方向視差をもつ場合だけでなく、垂直方向視差をもつインテグラルフォトグラフィでも実施し得ることはいうまでもない。 It should be noted that the present invention is not limited to the above-described embodiments, and it goes without saying that the present invention can be implemented not only in the case of having a horizontal parallax but also in integral photography having a vertical parallax.
１ 二次元画像表示面のスクリーン
２ａ、２ｂ 三次元画像
３ａ、３ｂ 三次元画像を構成する光線群
２０ａ、２０ｂ 実物体または仮想物体
３０ａ、３０ｂ 実物体または仮想物体からの光
４ 観察者の眼球
４１ 瞳
５ 光軸（視域の中心軸）
６ 視域
７ レンズ板
８ 垂直方向拡散スクリーン
１０ ３原色のＬＥＤ光源（またはレーザー光源）
１１ 照明光学系
１２ 液晶表示素子
１２１〜１２Ｎ 二次元画像表示素子
１３ 投射レンズユニット
１３１〜１３Ｎ 偏向光学素子
１３ａ１〜１３ａＮ アクチュエータ
１５ フラットパネルディスプレイ
１６ 偏向光学素子アレイ
２１ ３次元実写画像撮像系
２２１〜２２Ｎ カメラ
２３１〜２３Ｎ パーソナルコンピュータ（ＰＣ）
２４ 補間画像生成ＰＣ
２５ ３次元ＣＧ画像生成系
２６１〜２６Ｎ 仮想カメラ（ＰＣ）
２７ ＰＣサーバ
３１ ３次元画像表示系
３５ 角度刻み検出用カメラ
DESCRIPTION OF SYMBOLS 1 Screen of 2D image display surface 2a, 2b 3D image 3a, 3b Ray group which comprises 3D image 20a, 20b Real object or virtual object 30a, 30b Light from real object or virtual object 4 Eyeball of observer 41 Pupil 5 Optical axis (central axis of viewing zone)
6 viewing area 7 lens plate 8 vertical diffusion screen 10 3 primary color LED light sources (or laser light sources)
11 an illumination optical system 12 liquid crystal display device 12 1 to 12 N two-dimensional image display device 13 a projection lens unit 13 1 to 13 N optical deflector 13a 1 ~13a N actuator 15 flat panel display 16 optical deflector array 21 three-dimensional real image Imaging system 22 1 to 22 N camera 23 1 to 23 N personal computer (PC)
24 Interpolated image generation PC
25 3D CG image generation system 26 1 to 26 N virtual camera (PC)
27 PC server 31 3D image display system 35 Camera for angle increment detection
Claims (9)
前記実物体又は仮想物体からの光のサンプリングを非等間隔な角度刻みで行い、当該角度刻みに対応する光線密度で前記光線群を空間に配置することにより、前記三次元画像を観察する観察者の瞳に対して観察方向によって異なる本数の光線を入射させることを特徴とする三次元画像表示方法。 Based on the principle of integral photography, by arranging a large number of discrete ray groups obtained by sampling continuous light with a spread from real objects or virtual objects at a predetermined angular interval A three-dimensional image display method for reproducing a three-dimensional image of the real object or virtual object,
An observer who observes the three-dimensional image by sampling light from the real object or virtual object in non-equal angular intervals and arranging the light beams in a space at a light density corresponding to the angular steps. A method of displaying a three-dimensional image, wherein different numbers of light rays are incident on the pupil of the eye depending on the viewing direction.
前記実物体又は仮想物体からの光を非等間隔な角度刻みでサンプリングすることにより得られる光線群を所定の平面上で記録した多数の二次元画像の各々を表示する複数の二次元画像表示装置からなる二次元画像表示装置アレイと、
前記二次元画像表示装置アレイに表示された多数の前記二次元画像からの光線を前記サンプリング角度刻みに対応した光線密度で偏向して拡大投影する複数の偏向光学素子が二次元的に配置された投射レンズユニットと、
前記投射レンズユニットによる投影像の結像面付近の光線をテレセントリック化するレンズ板と、
前記レンズ板を透過した光線の拡散角を垂直方向に拡散するスクリーンと
を有し、前記スクリーンからの光線群の交点を空間に生成して、空間像としての三次元画像を表示することを特徴とする三次元画像表示装置。 Based on the principle of integral photography, by arranging a large number of discrete ray groups obtained by sampling continuous light with a spread from real objects or virtual objects at a predetermined angular interval A three-dimensional image display device that reproduces a three-dimensional image of the real object or virtual object,
A plurality of two-dimensional image display devices for displaying each of a number of two-dimensional images in which a light beam group obtained by sampling light from the real object or virtual object at non-equal intervals is recorded on a predetermined plane A two-dimensional image display device array comprising:
A plurality of deflecting optical elements for deflecting and projecting light rays from a number of the two-dimensional images displayed on the two-dimensional image display device array at a light beam density corresponding to the sampling angle increments are two-dimensionally arranged. A projection lens unit;
A lens plate for telecentricizing light rays in the vicinity of the image plane of the projection image by the projection lens unit;
A screen for diffusing the diffusion angle of the light beam transmitted through the lens plate in a vertical direction, and generating an intersection of light beams from the screen in a space to display a three-dimensional image as a spatial image. A three-dimensional image display device.
前記実物体又は仮想物体からの光を非等間隔な角度刻みでサンプリングすることにより得られる光線群を所定の平面上で記録した多数の二次元画像の各々を画素毎にインターリーブして表示するフラットパネルディスプレイと、
前記フラットパネルディスプレイに表示された前記多数の二次元画像からの光線を前記サンプリング角度刻みに対応した光線密度で偏向してテレセントリック化する偏向光学素子アレイと
を有し、前記偏向光学素子アレイからの光線群の交点を空間に生成して、空間像としての三次元画像を表示することを特徴とする三次元画像表示装置。 Based on the principle of integral photography, by arranging a large number of discrete ray groups obtained by sampling continuous light with a spread from real objects or virtual objects at a predetermined angular interval A three-dimensional image display device that reproduces a three-dimensional image of the real object or virtual object,
A flat that interleaves and displays each of a number of two-dimensional images, each of which is obtained by sampling a light beam obtained by sampling light from the real object or virtual object at non-equal angular intervals on a predetermined plane. A panel display,
A deflection optical element array that deflects light from the multiple two-dimensional images displayed on the flat panel display at a light density corresponding to the sampling angle increments to make a telecentricity, and from the deflection optical element array A three-dimensional image display device that generates an intersection of ray groups in a space and displays a three-dimensional image as a spatial image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007137794A JP2008292736A (en) | 2007-05-24 | 2007-05-24 | Three-dimensional image display method and three-dimensional image display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007137794A JP2008292736A (en) | 2007-05-24 | 2007-05-24 | Three-dimensional image display method and three-dimensional image display device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008292736A true JP2008292736A (en) | 2008-12-04 |
Family
ID=40167506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007137794A Pending JP2008292736A (en) | 2007-05-24 | 2007-05-24 | Three-dimensional image display method and three-dimensional image display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008292736A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013130037A1 (en) * | 2012-02-27 | 2013-09-06 | Dolby Laboratories Licensing Corporation | Multi-segment imager |
| US8976080B2 (en) | 2005-12-06 | 2015-03-10 | Dolby Laboratories Licensing Corporation | Multi-segment imager |
| JP2018517320A (en) * | 2015-04-09 | 2018-06-28 | クアルコム，インコーポレイテッド | Combined processing and display device package for light field displays |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003140083A (en) * | 2001-11-02 | 2003-05-14 | Japan Science & Technology Corp | Three-dimensional display method and its device |
| JP2005045824A (en) * | 2004-08-06 | 2005-02-17 | Canon Inc | Stereoimage regeneration system with its control method and storage medium |
| JP2007017634A (en) * | 2005-07-06 | 2007-01-25 | Ntt Docomo Inc | Stereoscopic image display device and stereoscopic image display method |
-
2007
- 2007-05-24 JP JP2007137794A patent/JP2008292736A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003140083A (en) * | 2001-11-02 | 2003-05-14 | Japan Science & Technology Corp | Three-dimensional display method and its device |
| JP2005045824A (en) * | 2004-08-06 | 2005-02-17 | Canon Inc | Stereoimage regeneration system with its control method and storage medium |
| JP2007017634A (en) * | 2005-07-06 | 2007-01-25 | Ntt Docomo Inc | Stereoscopic image display device and stereoscopic image display method |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8976080B2 (en) | 2005-12-06 | 2015-03-10 | Dolby Laboratories Licensing Corporation | Multi-segment imager |
| WO2013130037A1 (en) * | 2012-02-27 | 2013-09-06 | Dolby Laboratories Licensing Corporation | Multi-segment imager |
| JP2018517320A (en) * | 2015-04-09 | 2018-06-28 | クアルコム，インコーポレイテッド | Combined processing and display device package for light field displays |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TW571120B (en) | Three-dimensional display method and its device | |
| US7327389B2 (en) | Apparatus and method for photographing three-dimensional image, apparatus and method for displaying three-dimensional image, and apparatus and method for converting three-dimensional image display position | |
| US20120127570A1 (en) | Auto-stereoscopic display | |
| US20070109505A1 (en) | Projection three-dimensional display apparatus | |
| JP2004534276A (en) | Image projection apparatus and method | |
| JP4631812B2 (en) | Multi-view video display device, multi-view video imaging device, and multi-view video generation device | |
| US20070139767A1 (en) | Stereoscopic image display apparatus | |
| KR100430381B1 (en) | Three-dimensional display | |
| JP5767502B2 (en) | 3D image display device | |
| JP4728825B2 (en) | 3D image display device | |
| JP5888742B2 (en) | 3D display device | |
| US20080259281A1 (en) | Apparatus and method for displaying three-dimensional image | |
| JP2015031835A (en) | Light projection device and display device having the same | |
| JP2008292736A (en) | Three-dimensional image display method and three-dimensional image display device | |
| JP2007102201A (en) | Three-dimensional light ray input apparatus | |
| JP2007264261A (en) | Projection type stereoscopic display device | |
| JP2007233253A (en) | Stereoscopic video display device | |
| Watanabe et al. | Wide viewing angle projection-type integral 3D display system with multiple UHD projectors | |
| WO2018161648A1 (en) | Image display system | |
| JP2010054917A (en) | Naked-eye stereoscopic display device | |
| US9936178B2 (en) | Three-dimensional image display apparatus using laser beam scanning projection optical systems | |
| JP4886419B2 (en) | 3D image display device | |
| JP2018163282A (en) | Stereoscopic video display device | |
| JP2013105000A (en) | Video display device and video display method | |
| JP2005102198A (en) | Three-dimensional video display apparatus, three-dimensional video display method and three-dimensional display video data generating method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091228 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100730 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20111012 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120313 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120703 |