JP4660769B2 - Multi-view stereoscopic display device - Google Patents
Multi-view stereoscopic display device Download PDFInfo
- Publication number
- JP4660769B2 JP4660769B2 JP2006185022A JP2006185022A JP4660769B2 JP 4660769 B2 JP4660769 B2 JP 4660769B2 JP 2006185022 A JP2006185022 A JP 2006185022A JP 2006185022 A JP2006185022 A JP 2006185022A JP 4660769 B2 JP4660769 B2 JP 4660769B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- display surface
- condensing system
- observer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
この発明は、同時に複数人が固有視点からの立体像を見ることが出来、また、立体視特有の目の疲労を感じずに観賞でき、しかも簡単な構造をもった多視点立体ディスプレイに関している。 The present invention relates to a multi-view stereoscopic display in which a plurality of persons can simultaneously view a stereoscopic image from a unique viewpoint, can be viewed without feeling the fatigue of eyes peculiar to stereoscopic vision, and has a simple structure.
立体ディスプレイ装置は、より実物に近い表示ができることから、展示用の表示の他に、コンピュータゲーム、訓練用シミュレータ、装置の遠隔操作の表示装置、などに用いられており、さらにその応用分野は拡大している。しかし、立体ディスプレイ装置を長時間使用すると、通常の平面ディスプレイ装置によるものとは異なる疲労が残ることが知られている。 3D display devices can be displayed closer to the real thing, so in addition to display for display, they are used in computer games, simulators for training, display devices for remote operation of devices, etc. is doing. However, it is known that when a stereoscopic display device is used for a long time, fatigue different from that of a normal flat display device remains.
空間上のある点を凝視した際における、目線の向き(輻輳：近くのものを見るときに寄り目になる動き)、左右の目に映る像のずれの量(両眼視差)、水晶体の厚さ(焦点距離)の３つによって立体が知覚されていることが知られている。例えば、メガネを使用する方式の立体ディスプレイでは、偏光フィルタや液晶シャッターなどを用いて左右の目それぞれに異なる画像を入力することにより、両眼視差と輻輳角の提示を実現している。しかし、これらの立体表示方式では、輻輳と焦点調節との間に生理的矛盾が生じるという問題があり、この立体視特有の目の疲労は、両眼の輻輳角と各眼の焦点調節の間に生じる輻輳調節矛盾によるところが大きいと言われている。この問題を解決する目的で、既に多くの手法が提案されている。 The direction of the line of sight when staring at a certain point in space (convergence: movement that becomes a cross-eyed when looking at nearby objects), the amount of image shift (binocular parallax) seen in the left and right eyes, the thickness of the lens It is known that a solid is perceived by three (focal length). For example, a stereoscopic display using glasses uses a polarizing filter or a liquid crystal shutter to input different images to the left and right eyes, thereby realizing binocular parallax and a convergence angle. However, these three-dimensional display methods have a problem in that there is a physiological contradiction between convergence and focus adjustment, and the eye fatigue peculiar to stereoscopic vision is caused by the convergence angle between both eyes and the focus adjustment of each eye. It is said that this is largely due to the contradiction in congestion adjustment. Many methods have already been proposed to solve this problem.
そのひとつは光線再現型解決法であり、その代表例として、ホログラムがある。しかし、ホログラムでは、処理すべき情報が膨大であるため、電子ディスプレイでこれを実現するのは現時点では困難である。また、電子的に細かな光線再現を実現する方法として、超多眼方式が知られている（非特許文献１，２）。ただし、この方式でも用意すべきデータの量は非常に多く、実現するためには、画像の解像度（画素数）を犠牲にせざるをえない。 One of them is a ray reproduction type solution, and a typical example is a hologram. However, with holograms, the amount of information to be processed is enormous, so it is difficult at present to achieve this with an electronic display. Further, as a method for realizing electronically fine light beam reproduction, a super multi-view system is known (Non-Patent Documents 1 and 2). However, even with this method, the amount of data to be prepared is very large, and in order to realize this, the resolution (number of pixels) of the image must be sacrificed.
処理すべき情報量を抑えた上で輻輳調節矛盾を解決する方法として、シリンダーレンズと高周波パターンを組み合わせる方法が提案されている（非特許文献３）。この方法は、必要なデータ数の増加は大幅に減らすことが可能であるが、元画像に高周波パターンを重畳することから、それによる画質の低下は避けられない。 A method of combining a cylinder lens and a high-frequency pattern has been proposed as a method for solving congestion adjustment contradiction while suppressing the amount of information to be processed (Non-Patent Document 3). Although this method can significantly reduce the increase in the number of necessary data, since the high frequency pattern is superimposed on the original image, the deterioration of the image quality due to this is inevitable.
一方、映像を高速に回転させたり、複数枚のスクリーンを重ねたりすることにより、ボリュームディスプレイを実現する方式もいくつか提案されている（非特許文献４、５、６）。これらの方式では、対応する奥行きに光源が置かれるので、輻輳調節矛盾は生じない。しかし、ボリュームディスプレイの場合、一般に物体間の隠蔽関係（occlusion ; オクルージョン）や光沢を表現することができないという問題が生じる。また、ボリューム表示を実現するためには、当然映像空間のボリューム情報が必要となる。実世界に対して実時間での正確な３次元計測は困難であり、実写をボリュームディスプレイに表示するのは一般には難しい。
On the other hand, several methods for realizing a volume display by rotating an image at a high speed or overlapping a plurality of screens have been proposed (Non-Patent
以上の問題を全て同時に解決する手法として、本発明の発明者らはエッジ領域のみをボリュームディスプレイで表示し、フラット領域（エッジ以外の領域）をステレオ方式で表示する立体映像表示方法を提案している（非特許文献７）。しかし、この方法はボリューム表示に多数のモノクロ液晶を並べて表示するため、装置はある程度高価とならざるをえない。また、フラット領域をステレオ式で表示するための多視点立体ディスプレイをいかにコンパクトかつ安価に構築するかの問題も残る。 As a technique for solving all of the above problems at the same time, the inventors of the present invention have proposed a stereoscopic video display method in which only the edge region is displayed on a volume display and the flat region (region other than the edge) is displayed in a stereo system. (Non-Patent Document 7). However, since this method displays a large number of monochrome liquid crystals side by side on the volume display, the apparatus must be somewhat expensive. In addition, there remains a problem of how to construct a multi-view stereoscopic display for displaying a flat area in a stereo manner in a compact and inexpensive manner.
本発明では、輻輳調節矛盾を解消する多視点立体ディスプレイの安価な構築法を提案し、多視点立体ディスプレイを簡単な構成とするために、新たな光学系の提案を行なう。輻輳調節矛盾の解消法として、多層化された多視点立体映像を表示する方法と、多視点立体映像に重ねて多層のバックグラウンドエッジを提示する方法を提案する。 In the present invention, an inexpensive construction method of a multi-view stereoscopic display that eliminates the congestion adjustment contradiction is proposed, and a new optical system is proposed to make the multi-view stereoscopic display simple. As a method for resolving the contradiction of congestion adjustment, a method for displaying a multi-layered multi-viewpoint video and a method for displaying a multi-layered background edge over the multi-viewpoint video are proposed.
この発明によって、輻輳調節矛盾を抑制した多視点立体ディスプレイを安価に構築できる。 According to the present invention, a multi-view three-dimensional display in which congestion adjustment contradiction is suppressed can be constructed at low cost.
本発明は、上記のエッジの分離表示手法を利用しつつ、装置全体をできるだけ簡単な構成にして安価にできる多視点立体表示方式に関するものである。以下では、まず多視点立体表示部の改良について説明し、次に簡単な方法で輻輳調節矛盾を解消する方法として、表示する多視点立体映像を多層化する方式と、エッジパターンを層状に重ねて提示する方式を説明する。 The present invention relates to a multi-view three-dimensional display system that can make the entire apparatus as simple as possible while making use of the above-described edge separation display method. In the following, first, the improvement of the multi-view stereoscopic display unit will be described, and then, as a method for solving the contradiction of congestion adjustment by a simple method, a multi-view stereoscopic image to be displayed is layered, and edge patterns are layered in layers. The presentation method will be described.
［多視点立体表示部の改良］
多視点立体表示方法として、本発明の発明者らは、図１に示す多視点ＦＬＯＡＴＳを既に提案している（特許文献１）。この装置のうち、観察者に近いフレネルレンズは、空間像生成を目的としたもので、これを除いてもフライアイレンズ上が焦点調節点となる立体ディスプレイとして機能する。さらに、フライアイレンズを取り除いた光学系を考えると、ＬＣＤ（液晶表示装置）と凸レンズアレイの組み合わせは、プロジェクタアレイと見立てられ、教科書レベルのテキスト（非特許文献８）にも記載されており、凸レンズ光学系による古典的ステレオ表示方式の多視点への拡張版に相当する。
[Improved multi-view 3D display]
As a multi-view stereoscopic display method, the inventors of the present invention have already proposed multi-view FLOATS shown in FIG. 1 (Patent Document 1). Of these devices, the Fresnel lens close to the observer is for the purpose of generating an aerial image, and even if this is omitted, it functions as a stereoscopic display where the fly-eye lens is the focal point adjustment point. Furthermore, considering the optical system from which the fly-eye lens is removed, the combination of the LCD (liquid crystal display device) and the convex lens array is regarded as a projector array, and is also described in textbook level text (Non-Patent Document 8). Corresponds to an extended version of the classic stereo display system with a convex lens optical system.
上記で、なぜフライアイレンズが必要になるかというと、図２に示す様に、レンズの光軸から大きくずれた角度から画像を観測する場合、画面の中央部以外ではプロジェクタによる結像が不十分になるからである。これを放置すると、視点位置によって像の位置が大きく揺れる。このため、歪なく定位する立体像を観測することはできない。そこで、多視点ＦＬＯＡＴＳでは、個々の微小レンズの焦点距離が十分長いフライアイレンズを挿入し、微妙に光を拡散する。この方法で、像をフライアイレンズ面に定位し、視点位置の移動による像のゆれが解消している。ただし、今度は、フライアイレンズ面での不十分な集光が、像のぼけという形で現れることになり、表示される立体像の鮮明度は低下してしまう、という問題が起こる。 The reason why a fly-eye lens is necessary in the above case is that, as shown in FIG. 2, when an image is observed from an angle greatly deviated from the optical axis of the lens, image formation by the projector is not possible except at the center of the screen. It will be enough. If this is left unattended, the position of the image greatly fluctuates depending on the viewpoint position. For this reason, it is not possible to observe a stereo image that is localized without distortion. Therefore, in the multi-viewpoint FLOATS, a fly-eye lens having a sufficiently long focal length of each minute lens is inserted to diffuse light slightly. By this method, the image is localized on the fly-eye lens surface, and the image shake due to the movement of the viewpoint position is eliminated. However, this time, insufficient condensing on the fly-eye lens surface appears in the form of image blurring, resulting in a problem that the sharpness of the displayed stereoscopic image is lowered.
光軸から離れた視点においても、安定した立体像を観測することが可能になる光学系として、本発明では、ＬＣＤ部とレンズアレイ部との距離が、レンズアレイを構成する各レンズの焦点距離と概ね等しくなるように配置する光学系を提案する。この場合、レンズアレイから出てくる光は概ね平行光となるので、このままでは結像はおこらない。そこで、結像には、手前のフレネルレンズの力を利用することになる。このフレネルレンズは、もともとは各視点に対応する画像をそれぞれの視点でのみ観測できるように振り分けることを意図して使われるものであるが、これを結像にも利用するという考え方である。この場合、実像がフレネルレンズよりさらに手前の空中に結ばれることになる。空間像を生成するという点では、図１のFLOATSと同様であるが、実像の生成が１回で済むので、システム全体の光路長は大幅に短縮されるという利点がある。 As an optical system capable of observing a stable stereoscopic image even at a viewpoint away from the optical axis, in the present invention, the distance between the LCD unit and the lens array unit is the focal length of each lens constituting the lens array. We propose an optical system that is arranged so as to be substantially equal. In this case, since the light coming out of the lens array becomes almost parallel light, no image is formed as it is. Therefore, the power of the Fresnel lens in front is used for imaging. This Fresnel lens is originally intended to be distributed so that an image corresponding to each viewpoint can be observed only from each viewpoint, but it is an idea that this is also used for imaging. In this case, the real image is formed in the air in front of the Fresnel lens. Although it is the same as FLOATS in FIG. 1 in that the aerial image is generated, since the generation of the real image is only once, there is an advantage that the optical path length of the entire system is greatly shortened.
［輻輳調節矛盾の解消］
立体映像観察時に観察者が目の疲労や酔いを感じるのは、両眼視差に基づく目の輻輳角と、それぞれの眼で像をはっきりとらえるための焦点調節の間において矛盾が生じることが主原因となっていると言われている。これを解消する方法として、映像提示面を一枚ではなく複数枚にし、複数の奥行きに像を提示することが考えられる。提示する立体像を、本来の奥行きに最も近い提示面に表示することで、輻輳調節矛盾を解消することができる。ただし、この方法を実践するには、表示する立体映像の全ての画素について、その画素がどの奥行きから由来するものなのかを知っている必要がある。そのため、コンピュータグラフィックスでの応用は可能であるが、実写映像での応用は難しい。
[Resolution of congestion adjustment contradiction]
The main reason that observers feel eye fatigue and sickness when viewing stereoscopic images is that there is a discrepancy between the vergence angle of the eyes based on binocular parallax and the focus adjustment that makes each eye clearly see the image. It is said that it has become. As a method for solving this, it is conceivable to use a plurality of video presentation surfaces instead of one and present images at a plurality of depths. By displaying the stereoscopic image to be presented on the presentation surface closest to the original depth, the congestion adjustment contradiction can be resolved. However, in order to practice this method, it is necessary to know from which depth the pixels come from all the pixels of the stereoscopic image to be displayed. Therefore, application in computer graphics is possible, but application in live-action video is difficult.
実写における輻輳調節矛盾の低減は、次の方法で実現可能である。人間が物体を注視する際、焦点調節の手がかりとして画像中のエッジの情報を用いていると考えられる。このエッジのぼけが最も少なくなる距離に人間は焦点を合わせようとする。この性質を利用し、本発明の発明者らは画像中のエッジ情報のみを取り出し、それをボリュームディスプレイ上に表示することで、輻輳調節矛盾する方法を提案している（非特許文献７）。具体的には、両眼視差・輻輳の提示は平滑化した画像を用い、それにより提示した立体像と重なるようにエッジ画像を配置する。この方法では、エッジ部分についてのみ、その画素の奥行きを知る必要があるが、それならば実写でもステレオマッチング法によって、かなりの精度で実現することが可能である。 Reduction of congestion adjustment contradiction in live action can be realized by the following method. When a human gazes at an object, it is considered that information on edges in the image is used as a clue for focus adjustment. The human tries to focus on the distance where the blur of the edge is the smallest. Utilizing this property, the inventors of the present invention have proposed a method of contradicting congestion adjustment by extracting only edge information in an image and displaying it on a volume display (Non-patent Document 7). Specifically, a smoothed image is used for presentation of binocular parallax and convergence, and an edge image is arranged so as to overlap with the presented stereoscopic image. In this method, it is necessary to know the depth of the pixel only for the edge portion, but if this is the case, real shooting can be realized with considerable accuracy by the stereo matching method.
さらに、ここで、システム全体を簡略化するアプローチが考えられる。上で述べた手法は、立体像に含まれるエッジを積極的に取り出して表示する方法である。しかし、もともと電子ディスプレイでは、本来意図しないエッジが存在している。それは画像ピッチのエッジである。これが焦点調節をある程度誘導してしまう可能性は否定できない。そこで、この現象を逆に積極的に利用し、画像ピッチのような一定の細かなパターンを意図的に複数の奥行きにバックグラウンドとしてばら撒いて重ねて表示する方法が考えられる。 Furthermore, an approach for simplifying the entire system can be considered here. The method described above is a method in which edges included in a stereoscopic image are positively extracted and displayed. However, there are edges that are not originally intended in electronic displays. It is the edge of the image pitch. It cannot be denied that this may lead to some focus adjustment. In view of this, it is conceivable to conversely actively use this phenomenon and intentionally disperse and display a certain fine pattern such as an image pitch as a background at a plurality of depths.
この方法を実際に多視点立体ディスプレイと組み合わせる場合、個々の視点に対応するＬＣＤの前後に細かなエッジパターンがプリントされた透明シートを挿入する、あるいは、空間像が生成されることを利用し、空間像ができる付近にそれを配置することで、層状のバックグラウンドエッジを多視点画像と重ねて表示できる。 When this method is actually combined with a multi-view stereoscopic display, a transparent sheet on which a fine edge pattern is printed is inserted before or after the LCD corresponding to each viewpoint, or an aerial image is generated. By arranging it in the vicinity where an aerial image is formed, a layered background edge can be displayed superimposed on the multi-viewpoint image.
このため、本発明の多視点立体ディスプレイ装置は、画素を表示する表示面と、前記表示面からの光を入射して概ね平行である平行光線を出射する集光系の複数が前記の表示面に沿って隣接して形成された集光系アレイと、前記の集光系アレイからの概ね平行である平行光線を入射して、観察者の両眼のそれぞれに向かって出射する大口径集光系と、上記表示面と上記観察者とを結ぶ線上で、上記観察者から見て上記集光系アレイよりも遠方にあって上記表示面の前または後の位置に設けた複数の表示面、あるいは、上記表示面と上記観察者とを結ぶ線上で、上記大口径集光系と上記観察者の間にあって上記大口径集光系の結像面の前または後の位置に設けた複数の表示面と、を備える。前記の大口径集光系は、大口径集光系と前記の観察者との間の結像面上に結像させるものである。但し、ここでいう結像面は、表示面上の画像の結像点の張る仮想的な２次元面である。また、概ね平行である平行光線とは、上記の集光系アレイと大口径集光系との間では結像せず、大口径集光系と観察者の間で結像する範囲にある平行光線である。 For this reason, the multi-view stereoscopic display device of the present invention includes a display surface for displaying pixels, and a plurality of condensing systems that emit light from the display surface and emit substantially parallel light rays. Condensation system array formed adjacent to each other along with a large-diameter condensing beam that is incident on parallel light beams from the above-described condensing system array and exits toward each of the eyes of the observer A plurality of display surfaces provided at positions before or after the display surface on a line connecting the system and the display surface and the observer, farther than the light collection system array as viewed from the observer ; Alternatively, on a line connecting the display surface and the observer, a plurality of displays provided between the large-diameter condensing system and the observer and at positions before or after the imaging surface of the large-diameter condensing system A surface. The large-diameter condensing system forms an image on an imaging plane between the large-diameter condensing system and the observer. However, the image forming surface here is a virtual two-dimensional surface extending from the image forming point of the image on the display surface. In addition, parallel rays that are substantially parallel do not form an image between the above-described condensing system array and the large-diameter condensing system, but are parallel within a range in which an image is formed between the large-diameter condensing system and the observer. Light rays.
上記の集光系アレイの要素あるいは大口径集光系は、凸レンズであってもよい。 A convex lens may be sufficient as the element of said condensing system array, or a large aperture condensing system.
上記の集光系アレイの要素あるいは大口径集光系は、レンズあるいはミラーを組み合わせた集光系であってもよい。 The elements of the above-described light condensing system array or the large-diameter condensing system may be a condensing system in which a lens or a mirror is combined.
また、上記の表示面と前記の複数の表示面とを用いて３次元画像情報を表示する。前記の複数の表示面には、上記の表示面に表示される画像の奥行き位置に対応した画像を表示するもので、上記の表示面の画像とさらに設けた複数の表示面の全てが観察者から見えるようにすることで、立体表示を行なうことが出来る。 In addition, three-dimensional image information is displayed using the display surface and the plurality of display surfaces. An image corresponding to the depth position of the image displayed on the display surface is displayed on the plurality of display surfaces. The image on the display surface and the plurality of display surfaces further provided are all observers. 3D display can be performed by making it visible from.
また、上記の多視点立体ディスプレイ装置で、上記表示面と観察者を結ぶ線上で、上記観察者から見て上記集光系アレイよりも遠方にあって上記の表示面の前または後の位置に、あるいは、上記表示面と上記観察者とを結ぶ線上で、上記大口径集光系と上記観察者の間にあって上記大口径集光系の結像面の前または後の位置に、上記の表示面に表示される画像のエッジパターン、あるいはあらかじめ決められたバックグラウンドエッジパターンを表示するエッジパターン表示面を複数設けて、上記の画像の奥行き位置に対応したエッジパターン表示面にそのエッジパターンを表示するものであって、上記の表示面の画像と上記のエッジパターン表示面のエッジパターンの全てが上記の観察者から見える構成を備えるようにすることで、輻輳調節矛盾を解消できる。 Further, in the multi-viewpoint three-dimensional display device, on the line connecting the display surface and the observer, the distant from the light collection system array as viewed from the observer, and at a position before or after the display surface. Alternatively, on the line connecting the display surface and the observer, the display is located at a position between the large-diameter condensing system and the observer and before or after the imaging surface of the large-diameter condensing system. Provide multiple edge pattern display surfaces to display the edge pattern of the image displayed on the screen or a predetermined background edge pattern, and display the edge pattern on the edge pattern display surface corresponding to the depth position of the above image By providing a configuration in which all of the image on the display surface and the edge pattern on the edge pattern display surface are visible to the observer, the congestion adjustment is performed. Contradiction can be eliminated.
本発明は、図１１に示すように、画素を表示する表示面１と、前記表示面１からの光を入射して概ね平行である平行光線を出射する集光系の複数が前記の表示面に沿って隣接して形成された集光系アレイ２と、前記の集光系アレイ２からの概ね平行である平行光線を入射して、観察者５の両眼のそれぞれに向かって出射する大口径集光系３と、とを備え、前記の大口径集光系３は、大口径集光系３と前記の観察者５との間の結像面４上に結像させるものである。但し、ここでいう結像面は、表示面上の画像の結像点の張る仮想的な２次元面である。また、概ね平行である平行光線とは、上記の集光系アレイ２と大口径集光系３との間では結像せず、大口径集光系３と観察者５の間で結像する範囲にある平行光線である。表示面１は、表示制御器６で制御される。
As shown in FIG. 11, the present invention includes a display surface 1 for displaying pixels and a plurality of condensing systems that emit light from the display surface 1 and emit parallel rays that are substantially parallel to each other. And a collimated
本発明ではまた、図１２に示す様に、上記の表示面１の近傍にさらに複数の表示面、図１２の７a、７ｂを設けて、上記の表示面１と前記の複数の表示面とを用いて３次元画像情報を表示し、前記の複数の表示面には、上記の表示面１に表示される画像の奥行き位置に対応した画像を表示するものであって、上記の表示面１の画像とさらに設けた複数の表示面の全てが観察者から見えるように配置する。ここで（７a、７ｂ）は例であって、複数の表示面をこれらの２面に限るものではない。 In the present invention, as shown in FIG. 12, a plurality of display surfaces, 7a and 7b in FIG. 12, are further provided in the vicinity of the display surface 1, and the display surface 1 and the plurality of display surfaces are provided. 3D image information is displayed, and an image corresponding to the depth position of the image displayed on the display surface 1 is displayed on the plurality of display surfaces. An image and a plurality of further provided display surfaces are arranged so that they can be seen by an observer. Here, (7a, 7b) is an example, and the plurality of display surfaces are not limited to these two surfaces.
また、本発明は、図１３、１４に示す様に、上記の表示面１の近傍、あるいは、上記の結像面４の近傍の、表示面１と観察者５を結ぶ線上で前後する位置に、上記の表示面１に表示される画像のエッジパターンを表示するエッジパターン表示面、図１３の１１a、１１ｂ、あるいは、図１４の１２a、１２ｂ、を複数設けて、上記の画像の奥行き位置に対応したエッジパターン表示面にそのエッジパターンを表示するものであって、上記の表示面１の画像とエッジパターン表示面のエッジパターンの全てが観察者から見えるように配置する。表示面１は、結像面４に結像し、エッジパターン表示面、図１３の１１a、１１ｂは、結像面４a、４ｂに結像する。上記と同様に、（図１３の１１a、１１ｂ、あるいは、図１４の１２a、１２ｂは、例であって、複数の表示面をこれらの２面に限るものではない。それぞれのエッジパターン表示面は、エッジパターン表示制御器９あるいは１０で制御する。
In addition, as shown in FIGS. 13 and 14, the present invention is located in the vicinity of the display surface 1 or in the vicinity of the
まずは、多視点立体表示部の改良のために、以上の光学設計方針に基づき、構成要素を配置した例の光路シミュレーションを行った。凸レンズアレイとしてＦナンバーが小さい光学系を使った場合、画面の端では像が一定の場所に結像しないが、Ｆナンバーを上げると、結像状態は良好となり、安定した像が観測されることが分かった（図４）。 First, in order to improve the multi-view three-dimensional display unit, an optical path simulation of an example in which components are arranged based on the above optical design policy was performed. When an optical system with a small F number is used as the convex lens array, an image is not formed at a fixed place at the edge of the screen, but when the F number is increased, the image forming state becomes good and a stable image is observed. (Figure 4).
実際に、ＬＣＤとして３８４０Ｘ２４００ピクセルの２２インチ液晶モニタ、凸レンズアレイとして焦点距離９０ｍｍ、一辺の長さ３５ｍｍの正方形フレネルレンズ１０４枚を用い、観察者側のフレネルレンズとして焦点距離６００ｍｍ、一辺の長さ６００ｍｍのレンズを凸レンズアレイから１０００ｍｍの場所に配置した１０４視点の多視点立体ディスプレイを製作した。その結果、鮮明な立体像がある程度安定した位置に定位して観測されることを確認した。 Actually, a 3840 × 2400 pixel 22-inch liquid crystal monitor as LCD, 104 square Fresnel lenses with a focal length of 90 mm and a side length of 35 mm as a convex lens array, a focal length of 600 mm and a side length of 600 mm as a Fresnel lens on the observer side. A multi-view three-dimensional display with 104 viewpoints was prepared by arranging the above lenses at a position 1000 mm from the convex lens array. As a result, it was confirmed that a clear stereoscopic image was observed in a localized position to a certain degree of stability.
Ｆナンバーが大きい場合、表示すべき画像はＬＣＤ上に稠密に並んでいるため、凸レンズアレイとフレネルレンズの間の距離を十分大きくとらなければ、立体像を大画面に表示することはできない。これは、大画面化には装置のサイズの大型化が不可避であることを意味する。もちろん、収差が起きないような特殊なレンズを用いることも考えられるが、凸レンズアレイに使う個々のレンズが高価になると、装置全体の製作コストも大幅に増大することになる。フレネルレンズの代わりに、一般的な凸レンズを組み合わせることで、短い光路でも大きな立体像を少ない収差で提示できる光学系をつくることは可能である。 When the F number is large, the images to be displayed are densely arranged on the LCD. Therefore, a stereoscopic image cannot be displayed on a large screen unless the distance between the convex lens array and the Fresnel lens is sufficiently large. This means that an increase in the size of the apparatus is inevitable for increasing the screen size. Of course, it is conceivable to use a special lens that does not cause aberrations. However, if the individual lenses used in the convex lens array become expensive, the manufacturing cost of the entire apparatus will increase significantly. By combining a general convex lens instead of the Fresnel lens, it is possible to create an optical system that can present a large three-dimensional image with less aberration even in a short optical path.
また、「複数の奥行きに細かなバックグラウンドエッジが層状にある場合、提示する視差画像の輻輳角に応じて、輻輳角に最も近いバックグラウンドエッジ提示面に焦点調節が誘導される」という仮説を立てて以下のように検証した。この仮説が実証されれば、多層のバックグラウンドエッジを挿入するだけで、輻輳調節矛盾を解消できることになる。 In addition, the hypothesis that "when there are multiple background edges with multiple depths in layers, focus adjustment is induced to the background edge presentation surface closest to the convergence angle according to the convergence angle of the parallax image to be presented." I verified it as follows. If this hypothesis is proved, congestion adjustment contradiction can be solved by simply inserting a multi-layered background edge.
この仮説を検証するために組んだ実験系を、図５に示す。この実験では、観察者から１ｍの位置に視差提示を行う。視差提示は、図６のような光学系（非特許文献９）を用いて行い、提示画像としては図７に示す彩度をそろえた色によるグラデーションをつけた画像を用いた。 FIG. 5 shows an experimental system set up to verify this hypothesis. In this experiment, parallax is presented at a position 1 m from the observer. The parallax presentation is performed using an optical system as shown in FIG. 6 (Non-Patent Document 9), and the presented image is an image with gradation by colors with the same saturation as shown in FIG.
まずは、観察者から４０ｃｍの奥行きに輻輳角が誘導できるように視差画像の位置をずらして提示し、その上で、観察者から１枚だけのバックグラウンドエッジを３３ｃｍ、４０ｃｍ、５０ｃｍの奥行きに挿入した場合、およびそれぞれの奥行きに１枚ずつ計３枚のバックグラウンドエッジを挿入した場合について、観察者の目の球面度数をレフラクトメータにより測定した。７名の被験者についての実験結果を図８に示す。図８は、バックグラウンドエッジを一層だけ表示した場合と多層表示した場合の観察者の眼の球面度数を示す。図８から容易にわかるように、エッジ画像を３枚重ねて提示した実験では、４０ｃｍの奥行きのみにエッジを提示した場合と同様の結果が得られ、視差による立体像の融像が行われる奥行き付近に焦点が誘導されていることが確認された。 First, the position of the parallax image is presented so that the angle of convergence can be guided to a depth of 40 cm from the observer, and then only one background edge is inserted from the observer at a depth of 33 cm, 40 cm, and 50 cm. The spherical power of the observer's eyes was measured with a refractometer for each case and for a case where three background edges were inserted, one for each depth. The experimental results for 7 subjects are shown in FIG. FIG. 8 shows the spherical power of the observer's eye when only one background edge is displayed and when multiple layers are displayed. As can be easily seen from FIG. 8, in the experiment in which three edge images are presented in an overlapping manner, the same result as in the case of presenting edges only at a depth of 40 cm is obtained, and the depth at which a stereoscopic image is fused by parallax is obtained. It was confirmed that the focus was guided in the vicinity.
しかし、この実験結果だけでは、３枚重ねたエッジ画像のうちの真ん中の位置に立体像を浮かび上がらせていたために、バックグラウンドエッジを重ねて提示するときは、それらのうちの中央の奥行き付近に焦点調節が誘導されるという説明も成り立つ。 However, only in this experimental result, a 3D image emerged at the middle position of the three superimposed edge images. There is also an explanation that focus adjustment is induced.
そこで次に、３３ｃｍ、４０ｃｍ、５０ｃｍの位置に計３枚のバックグラウンドエッジを提示しつつ、視差画像の視差量を変化させ、輻輳が観察者から３３ｃｍ、４０ｃｍ、５０ｃｍの奥行きに誘導されるようにした場合について、観察者の目の球面度数を測定した。３名の被験者について得られた実験結果を図９に示す。図９は、３層のバックグラウンドエッジを固定し、輻輳角を変化させた場合の観察者の眼の球面度数で、標準値は、その奥行きにある実指標観察時の球面度数である。ここで、標準値とは、実物体（指標）を対応する奥行きに置いたときの計測結果である。図９が示すとおり、全ての場合において、焦点調節は視差画像の輻輳角に対応する奥行き付近に合うという結果が得られた。 Therefore, next, while presenting a total of three background edges at the positions of 33 cm, 40 cm, and 50 cm, the parallax amount of the parallax image is changed, and the convergence is induced from the observer to a depth of 33 cm, 40 cm, and 50 cm. In this case, the spherical power of the observer's eyes was measured. The experimental results obtained for three subjects are shown in FIG. FIG. 9 shows the spherical power of the eye of the observer when the background edge of the three layers is fixed and the convergence angle is changed, and the standard value is the spherical power when observing the real index at the depth. Here, the standard value is a measurement result when an actual object (index) is placed at a corresponding depth. As shown in FIG. 9, in all cases, the result that the focus adjustment fits near the depth corresponding to the convergence angle of the parallax image was obtained.
図１５は、表示面近くにバックグラウンドエッジ表示面（１３ａ、１３ｂ）を設置した構成を示す図である。表示面１は、結像面４に結像し、バックグラウンドエッジ表示面（１３ａ、１３ｂ）は、結像面４a、４ｂに結像する。また、図１６は、結像面近くにバックグラウンドエッジ表示面（１４ａ、１４ｂ）を設置した構成を示す図である。これらの図では、バックグラウンドエッジ表示面を２面ずつ記載しているが、これは例であって、さらに多くのバックグラウンドエッジ表示面を用意する方が望ましい。また、バックグラウンドエッジ表示面に用いることができるパターンには、任意性があり種々のものを用いることができる。図１７にその例を示す。図１７（ａ）は縦横の格子模様、（ｂ）は斜線の格子模様、（ｃ）は何らかのパターンの繰り返し、（ｄ）は、位相をずらした繰り返し模様、（ｅ）は微細構造をもった紋様を規則的にならべたもの、（ｆ）は格子点に単純な図形を配置した模様、（ｇ）はランダムに点あるいは線分を配置したもの、（ｈ）は２つのパターンを合成したもの、である。このようなパタンーンを例えば透明なガラス板上に描いて、図１６あるいは図１７に示すように配置する。これらのバックグラウンドエッジ表示面が観察者からすべて重なって見えるように配置する。異なったパターンをもったバックグラウンドエッジ表示面を、例えば図１５、あるいは図１６の１３a、１３ｂ、あるいは、１４a、１４ｂに用いてもよい。
FIG. 15 is a diagram showing a configuration in which background edge display surfaces (13a, 13b) are installed near the display surface. The display surface 1 forms an image on the
上記で凸レンズアレイとしたが、これは、一般に焦点をもった集光系アレイに拡張することができる。また、大口径凸レンズとしてフレネルレンズを用いたが、これも、一般に焦点をもった大口径集光系に拡張しても問題ない。また、前記の集光系アレイは、複数のレンズアレイを組み合わせた結果として集光系アレイとして働けば、本発明に適用できる事は明らかである。同様に、大口径集光系をレンズあるいはミラーを組み合わせて構成してもよい事は明らかである。集光系アレイのそれぞれに２枚の凸レンズを、また、大口径集光系にも２枚の凸レンズを用いて収差を抑制した例を図１０に示す。 Although a convex lens array has been described above, this can be extended to a condensing system array generally having a focus. Further, although a Fresnel lens is used as a large-diameter convex lens, there is no problem even if this is extended to a large-diameter condensing system generally having a focus. In addition, it is obvious that the above-described condensing system array can be applied to the present invention if it functions as a condensing system array as a result of combining a plurality of lens arrays. Similarly, it is obvious that the large aperture condensing system may be configured by combining a lens or a mirror. FIG. 10 shows an example in which aberration is suppressed by using two convex lenses for each condensing system array and two convex lenses for the large-diameter condensing system.
上記の説明においては、集光系アレイや大口径集光系は、固定された焦点距離をもつものとすると理解し易い。しかし、これらの集光系は、可変焦点の集光系であっても何ら問題はない。可変焦点の集光系を用いることによって、また、場面ごとに焦点特性を僅かに変えることによって、さらに適した表示を行なうことができる。 In the above description, it is easy to understand that the condensing system array and the large-diameter condensing system have a fixed focal length. However, there is no problem even if these light collecting systems are variable focus light collecting systems. A more suitable display can be performed by using a variable focus condensing system and by slightly changing the focus characteristics for each scene.
また、上記の説明では、観察者として１名を図示したのみであるが、この観察者の位置を変えても、上記の説明は、成立するので、多数の観察者にとって、本発明の多視点立体ディスプレイ装置の立体画像を同時に観察できる事は明らかである。 Further, in the above description, only one person is shown as an observer. However, even if the position of the observer is changed, the above description is valid, so for many observers, the multi-viewpoint of the present invention can be achieved. Obviously, the stereoscopic image of the stereoscopic display device can be observed simultaneously.
１ 表示面
２ 集光系アレイ
３ 大口径集光系
４ 結像面
４ａ、４ｂ 結像面
５ 観察者
６ 表示制御器
７a、７ｂ 表示面
９、１０ エッジパターン表示制御器
１１a、１１ｂ エッジパターン表示面
１２a、１２ｂ エッジパターン表示面
１３a、１３ｂ バックグラウンドエッジ表示面
１４a、１４ｂ バックグラウンドエッジ表示面
DESCRIPTION OF SYMBOLS 1
Claims (7)
前記表示面からの光を入射して平行光線を出射する集光系の複数が前記の表示面に沿って隣接して形成された集光系アレイと、
前記の集光系アレイからの平行光線を入射して、観察者の両眼のそれぞれに向かって出射する大口径集光系と、
上記表示面と上記観察者とを結ぶ線上で、上記観察者から見て上記集光系アレイよりも遠方にあって上記表示面の前または後の位置に設けた複数の表示面、あるいは、上記表示面と上記観察者とを結ぶ線上で、上記大口径集光系と上記観察者の間にあって上記大口径集光系の結像面の前または後の位置に設けた複数の表示面と、を備え、
上記集光系から出射される平行光線は、上記集光系アレイと上記大口径集光系との間では結像せず、上記大口径集光系と上記観察者の間で結像する範囲にある平行光線であり、
前記の大口径集光系は、上記大口径集光系と前記の観察者との間の結像面上に結像することを特徴とする多視点立体ディスプレイ装置。 A display surface for displaying pixels;
A plurality of condensing systems that enter the light from the display surface and emit parallel light, and are formed adjacent to each other along the display surface; and
A large-diameter condensing system that injects parallel rays from the condensing system array and emits the light toward each of both eyes of the observer;
On a line connecting the display surface and the observer, a plurality of display surfaces provided at positions before or after the display surface at a position farther than the light collection system array as viewed from the observer , or the above On the line connecting the display surface and the observer, a plurality of display surfaces provided between the large-diameter condensing system and the observer and provided at a position before or after the imaging surface of the large-diameter condensing system , With
The parallel light beam emitted from the condensing system does not form an image between the condensing system array and the large-diameter condensing system, but forms an image between the large-diameter condensing system and the observer. Parallel rays at
The multi-view stereoscopic display device characterized in that the large-diameter condensing system forms an image on an image plane between the large-diameter condensing system and the observer.
前記の複数の表示面には、上記の表示面に表示される画像の奥行き位置に対応した画像を表示するものであって、
上記の表示面の画像とさらに設けた複数の表示面の全てが上記の観察者から見える構成を備えることを特徴とする請求項１ないし５のいずれかに記載の多視点立体ディスプレイ装置。 Displaying three-dimensional image information using the display surface and the plurality of display surfaces,
An image corresponding to the depth position of the image displayed on the display surface is displayed on the plurality of display surfaces,
The multi-view stereoscopic display device according to any one of claims 1 to 5, further comprising a configuration in which an image on the display surface and a plurality of further provided display surfaces are visible to the observer.
上記の表示面の画像と上記のエッジパターン表示面のエッジパターンの全てが上記の観察者から見える構成を備えることを特徴とする請求項１ないし５のいずれかに記載の多視点立体ディスプレイ装置。 On the line connecting the display surface and the viewer, at a position farther than the condensing system array as viewed from the viewer and before or after the display surface , or the display surface and the viewer The edge pattern of the image displayed on the display surface is displayed at a position between the large aperture condensing system and the observer and before or after the image plane of the large aperture condensing system. Providing a plurality of edge pattern display surfaces to display a predetermined fine edge pattern on the edge pattern display surface corresponding to the depth position of the image,
6. The multi-viewpoint three-dimensional display device according to claim 1, further comprising a configuration in which all of the image on the display surface and the edge pattern on the edge pattern display surface are visible to the observer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006185022A JP4660769B2 (en) | 2006-07-05 | 2006-07-05 | Multi-view stereoscopic display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006185022A JP4660769B2 (en) | 2006-07-05 | 2006-07-05 | Multi-view stereoscopic display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008015121A JP2008015121A (en) | 2008-01-24 |
| JP4660769B2 true JP4660769B2 (en) | 2011-03-30 |
Family
ID=39072219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006185022A Active JP4660769B2 (en) | 2006-07-05 | 2006-07-05 | Multi-view stereoscopic display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4660769B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010128450A (en) * | 2008-12-01 | 2010-06-10 | Nippon Telegr & Teleph Corp <Ntt> | Three-dimensional display object, three-dimensional image forming apparatus, method and program for forming three-dimensional image |
| JP2011033819A (en) * | 2009-07-31 | 2011-02-17 | Univ Of Tsukuba | Three-dimensional image display device |
| JP5412655B2 (en) * | 2010-07-07 | 2014-02-12 | 国立大学法人 筑波大学 | 3D image display device |
| JP6121131B2 (en) | 2012-10-16 | 2017-04-26 | アルパイン株式会社 | Multiple display device |
| CN114355622B (en) * | 2022-02-28 | 2023-10-13 | 北京京东方技术开发有限公司 | Light modulation element, glasses and 3D display system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005165236A (en) * | 2003-12-01 | 2005-06-23 | Hidenori Kakeya | Method and device for displaying stereoscopic image |
| JP2005173190A (en) * | 2003-12-11 | 2005-06-30 | Nippon Hoso Kyokai <Nhk> | Stereoscopic image display apparatus and stereoscopic image pickup apparatus |
-
2006
- 2006-07-05 JP JP2006185022A patent/JP4660769B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005165236A (en) * | 2003-12-01 | 2005-06-23 | Hidenori Kakeya | Method and device for displaying stereoscopic image |
| JP2005173190A (en) * | 2003-12-11 | 2005-06-30 | Nippon Hoso Kyokai <Nhk> | Stereoscopic image display apparatus and stereoscopic image pickup apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008015121A (en) | 2008-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1757109B1 (en) | 3d display method and apparatus | |
| JP4331224B2 (en) | 3D image display device and 3D image display method | |
| JP3966830B2 (en) | 3D display device | |
| US20020114078A1 (en) | Resolution modulation in microlens image reproduction | |
| US20110063289A1 (en) | Device for displaying stereoscopic images | |
| JP4404146B2 (en) | Projection type 3D image reproduction device | |
| CN107102446B (en) | A kind of 3 D stereo display panel, its display methods and display device | |
| JP4546505B2 (en) | Spatial image projection apparatus and method | |
| JP4631812B2 (en) | Multi-view video display device, multi-view video imaging device, and multi-view video generation device | |
| KR20060042259A (en) | Three dimensional image display device | |
| KR102070800B1 (en) | Stereoscopic display apparatus, and display method thereof | |
| JP4660769B2 (en) | Multi-view stereoscopic display device | |
| JP2019091043A (en) | Stereoscopic image display device and stereoscopic image display method | |
| Kakeya | MOEVision: simple multiview display with clear floating image | |
| KR100274625B1 (en) | Apparatus for 3D image generator using multiple liquid slit | |
| JP2008541165A (en) | 3D image display device using flat panel display | |
| KR20090002662A (en) | Integral photography type 3-dimensional image display device | |
| Kakeya | 21‐3: A Full‐HD Super‐Multiview Display with Time‐Division Multiplexing Parallax Barrier | |
| Pastoor | 3D Displays | |
| US20100177382A1 (en) | Autostereoscopic image display appliance for producing a floating real stereo image | |
| KR100274624B1 (en) | Apparatus for 3D image generator using accumulative liquid display | |
| Surman | Stereoscopic and autostereoscopic displays | |
| KR101093929B1 (en) | Method and system for displaying 3-dimensional images using depth map | |
| KR101544841B1 (en) | Autostereoscopic multi-view 3d display system with triple segmented-slanted parallax barrier | |
| JP4492208B2 (en) | 3D image playback device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100615 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100615 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100907 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101101 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101207 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |