JP2008146221A - Image display system - Google Patents

Image display system Download PDF

Info

Publication number
JP2008146221A
JP2008146221A JP2006330665A JP2006330665A JP2008146221A JP 2008146221 A JP2008146221 A JP 2008146221A JP 2006330665 A JP2006330665 A JP 2006330665A JP 2006330665 A JP2006330665 A JP 2006330665A JP 2008146221 A JP2008146221 A JP 2008146221A
Authority
JP
Japan
Prior art keywords
image
image display
display device
observer
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006330665A
Other languages
Japanese (ja)
Inventor
Masayasu Hayashi
正健 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006330665A priority Critical patent/JP2008146221A/en
Publication of JP2008146221A publication Critical patent/JP2008146221A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image display system which easily provides a three-dimensional view according to a three-dimensional motion parallax. <P>SOLUTION: The image display system comprises: an image display unit 1 for displaying a three-dimensional view on the basis of a beam regenerating process; imaging cameras 2A and 2B and relative position calculation section 3 for detecting a three-dimensional position (view point position) of the eyes 21 of an observer 20; an image signal source input section 4 for entering basic image information displayed on the image display unit 1; and a displayed image creation section 5 for creating images corresponding to respective view point positions. The image corresponding to the relative view point position of the observer 20, namely, the image corresponding to the motion parallax is displayed in the image display unit 1 by operating it at real time. The three-dimensional view according to the complete three-dimensional motion parallax as well as convergence is easily realized even in the image display unit 1 which reappears the motion parallax only in the horizontal direction on the by the beam regeneration process. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、立体的な画像表示を実現する画像表示システムに関する。   The present invention relates to an image display system that realizes stereoscopic image display.

従来より、コンピュータの演算により仮想３次元空間上の物体を平面上に投影して描画する３ＤＣＧ（3 Dimensional Computer Graphics)技術が知られている。３ＤＣＧでは、最終的な出力先である表示装置は２次元（２Ｄ）であるが、３ＤＣＧは作成時に持っている情報（物体の形状、位置、光源の強度・位置等）が３次元（３Ｄ）である。しかしながら、単純に３ＤＣＧを通常の２次元画像表示装置（液晶表示モニタや投射型ディスプレイ等）に表示しただけでは、いわゆる立体視と呼ばれる立体感を得ることはできない。   2. Description of the Related Art Conventionally, 3DCG (3 Dimensional Computer Graphics) technology is known in which an object in a virtual three-dimensional space is projected onto a plane and drawn by computer computation. In 3DCG, the display device that is the final output destination is two-dimensional (2D), but 3DCG has information (object shape, position, intensity / position of light source, etc.) at the time of creation in three dimensions (3D). It is. However, a stereoscopic effect called so-called stereoscopic vision cannot be obtained by simply displaying 3DCG on a normal two-dimensional image display device (liquid crystal display monitor, projection display, etc.).

立体視を実現する手法として、両眼視差を利用したものがある。代表的なものとして、専用眼鏡を用いて左眼と右眼とに視差のある画像（視差画像）を別々に表示する２眼式の立体表示装置がある。例えば、偏光方向が異なる２つの視差画像を偏光メガネで左眼と右眼とに分離して観察することで立体視を実現する手法が知られている（特許文献１参照）。また、液晶シャッタのような電子的なシャッタを備えた専用眼鏡を利用し、左眼用画像と右眼用画像とを時分割で切り替えて表示する方法もある。また、専用眼鏡を用いることなく、裸眼で両眼視差を利用した立体表示を行うものとして、レンチキュラー方式やパララックス・バリア方式が知られている（特許文献２参照）。レンチキュラー方式は、円筒状のレンチキュラーレンズを画像表示面上に複数配列することで、左眼用画像を形成する光線と右眼用画像を形成する光線とを別々の方向に出射して両眼視差が得られるようにしたものである。パララックス・バリア方式は、左眼用画像を表示する画素と右眼用画像を表示する画素とを水平方向に交互に配列し、その前側に左眼用画像の光束と右眼用画像の光束とを分離するためのスリット状の開口部を有するパララックスバリアを配置したものである。   As a method for realizing stereoscopic vision, there is a method using binocular parallax. As a typical example, there is a binocular stereoscopic display device that separately displays images (parallax images) having parallax between the left eye and the right eye using dedicated glasses. For example, there is known a technique for realizing stereoscopic vision by observing two parallax images having different polarization directions separately by polarizing glasses for the left eye and the right eye (see Patent Document 1). In addition, there is a method of switching and displaying the left-eye image and the right-eye image in a time-sharing manner using dedicated glasses having an electronic shutter such as a liquid crystal shutter. In addition, a lenticular method and a parallax barrier method are known for performing stereoscopic display using binocular parallax with the naked eye without using dedicated glasses (see Patent Document 2). In the lenticular method, a plurality of cylindrical lenticular lenses are arranged on the image display surface, so that the light beam forming the left eye image and the light beam forming the right eye image are emitted in different directions and binocular parallax. Is intended to be obtained. In the parallax barrier method, the pixels for displaying the left-eye image and the pixels for displaying the right-eye image are alternately arranged in the horizontal direction, and the light beam for the left-eye image and the light beam for the right-eye image are arranged on the front side. A parallax barrier having a slit-shaped opening for separating the two is disposed.

これらの立体表示方式では、物理的に立体的な画像が意図した位置にあるのではなく、例えば左眼用画像と右眼用画像とが２次元のディスプレイ面上に存在し、常にその位置は一定の位置に存在する。このことから、特に視覚系生理反応である輻輳と調節とが連動せず、それに伴う眼精疲労が問題となっている。これに対し、実際の３次元物体からの光波と等価な状況を光線によって再現することで立体表示を行う光線再生法と呼ばれる技術がある（特許文献３参照）。光線再生法では、例えば、空間的に変調された光を投射する投射手段を多数配列し、各投射手段から角度の異なる投射光をスクリーン上に投影することで、任意の点に複数の方向からの像を多重結像させる。光線再生法による立体画像は、任意の点に複数の方向からの像が多重結像されたものであり、実世界における３次元物体を見たときと同様、任意の点について、見る位置によって見え方が異なる。光線再生技術によれば、視覚機能としての焦点調節および両眼輻輳角調節に対して有効に働く程度の光線により像を生成することで、眼精疲労が極めて少ない立体画像を提供することができる。それだけでなく、視点位置の移動に伴う画像の変化を連続的に提供することができる。
特開平１−３１５７３０号公報 特開平１０−２３４０５７号公報 特表２００３−５３０６０６号公報 In these three-dimensional display methods, a physically three-dimensional image is not at the intended position. For example, a left-eye image and a right-eye image exist on a two-dimensional display surface, and the position is always Present at a certain position. For this reason, convergence and adjustment that are physiological reactions of the visual system are not particularly linked, and eye strain associated therewith is a problem. On the other hand, there is a technique called a light beam reproduction method for performing stereoscopic display by reproducing a situation equivalent to a light wave from an actual three-dimensional object with light beams (see Patent Document 3). In the light ray reproduction method, for example, a large number of projection means for projecting spatially modulated light are arranged, and projection light with different angles is projected on the screen from each projection means, so that an arbitrary point can be projected from a plurality of directions. Multiple images are formed. A stereoscopic image by the ray reconstruction method is an image in which images from a plurality of directions are multiplexed at an arbitrary point. Similar to when viewing a three-dimensional object in the real world, an arbitrary point can be seen depending on the viewing position. Is different. According to the light beam reproduction technique, it is possible to provide a stereoscopic image with very little eye strain by generating an image with a light beam that is effective for focus adjustment and binocular convergence angle adjustment as a visual function. . In addition, it is possible to continuously provide image changes accompanying the movement of the viewpoint position.
JP-A-1-315730 Japanese Patent Laid-Open No. 10-234057 Special table 2003-530606 gazette

しかしながら、従来の両眼視差を利用した専用眼鏡方式やレンチキュラー方式等では、頭（視点）を静止した状態であっても動かした状態であっても、観察者に呈示される画像情報が同じである。このため、視点を静止した状態では違和感なく立体的に見えても、視点を動かしたときには画像が変化しない、すなわち運動視差が実現できていない。このため、視点を移動させたときに不自然に感じてしまうという問題がある。これに対し、特許文献２では、観察者の視点位置の移動を検出する視点位置検出手段と、レンチキュラー方式等による立体ディスプレイと、その立体ディスプレイに表示する視差画像を撮影する立体カメラとを備え、観察者の視点位置の移動に応じて立体ディスプレイを回転させると共に、立体カメラも回転させ、立体ディスプレイに表示する画像を変化させるようにすることで、運動視差の効果を得る手法が提案されている。しかしながら、この方法では、観察者の視点位置の移動に伴ってリアルタイムで立体ディスプレイと立体カメラとを移動させる機構が必要であり、構成が複雑化する。また、この手法では、水平方向の回転移動しかできないため、垂直方向の運動視差を実現できない。垂直方向の運動視差を実現するためには立体ディスプレイと立体カメラとを垂直方向にも移動制御する機構が必要となり、さらに構成が複雑化し、実現が困難である。   However, in the conventional glasses method and lenticular method using binocular parallax, the image information presented to the observer is the same regardless of whether the head (viewpoint) is stationary or moved. is there. For this reason, even if the viewpoint is stationary, the image does not change when the viewpoint is moved even if it looks three-dimensional without a sense of incongruity, that is, motion parallax cannot be realized. For this reason, there is a problem that it feels unnatural when the viewpoint is moved. On the other hand, Patent Document 2 includes a viewpoint position detecting unit that detects movement of the viewpoint position of the observer, a stereoscopic display using a lenticular method, and a stereoscopic camera that captures a parallax image displayed on the stereoscopic display. A method has been proposed in which the effect of motion parallax is obtained by rotating the stereoscopic display according to the movement of the observer's viewpoint and rotating the stereoscopic camera to change the image displayed on the stereoscopic display. . However, this method requires a mechanism for moving the stereoscopic display and the stereoscopic camera in real time in accordance with the movement of the observer's viewpoint position, which complicates the configuration. Also, with this method, only horizontal rotational movement is possible, so vertical motion parallax cannot be realized. In order to realize the vertical motion parallax, a mechanism for moving and controlling the stereoscopic display and the stereoscopic camera in the vertical direction is required, which further complicates the configuration and is difficult to realize.

一方、光線再生法では、現実の３次元物体からの光波と等価な状況を光線によって再現するので、原理上は、水平、垂直、および奥行き方向の３次元すべての方向について運動視差を実現できる。しかしながら、光線再生法によって３次元すべての方向について運動視差を実現するためには、３次元すべての方向からの光波に対応する光線を高い密度で空間上に散布する必要がある。そのためには例えば投射手段を高密度で多数配置する必要があり、装置全体の大型化や光利用効率の低下の問題等が生じ、現実的には実現するのは困難である。そこで、通常では、水平方向の運動視差のみ実現しているのが一般的であり、垂直方向については運動視差が実現されないため、視点を移動させたときにはやはり不自然に感じる場合がある。例えば視点を固定している場合には、両眼の輻輳角等による立体感を実感できる。また視点が水平方向に動いた場合も、水平方向については光線再生されているため、その装置の視野角の範囲内では正常に運動視差が再現される。しかし、通常は垂直方向については光線再生を行わないために、視点が上下方向に動いた場合は、運動視差が再現されず、従って表示物体が逆に動いたように見えるという問題が発生する。また同様の理由で、視点位置が奥行き方向に動いた場合、物体の縦横比が変化して見える場合があり、やはり観察者に不自然な感じを与える問題がある。   On the other hand, in the light beam reproduction method, a situation equivalent to a light wave from an actual three-dimensional object is reproduced by light beams. In principle, motion parallax can be realized in all three dimensions of the horizontal, vertical, and depth directions. However, in order to realize motion parallax in all three dimensions by the light beam reproduction method, it is necessary to scatter light beams corresponding to light waves from all three dimensions at high density on the space. For this purpose, for example, it is necessary to arrange a large number of projection means at a high density, which causes problems such as an increase in the overall size of the apparatus and a decrease in light utilization efficiency, which is difficult to realize in practice. Therefore, in general, only the motion parallax in the horizontal direction is generally realized, and the motion parallax is not realized in the vertical direction. Therefore, when the viewpoint is moved, it sometimes feels unnatural. For example, when the viewpoint is fixed, a stereoscopic effect due to the convergence angle of both eyes can be realized. Even when the viewpoint moves in the horizontal direction, since the light beam is reproduced in the horizontal direction, motion parallax is normally reproduced within the range of the viewing angle of the apparatus. However, since the light beam is not normally reproduced in the vertical direction, when the viewpoint moves in the vertical direction, the motion parallax is not reproduced, and thus the display object appears to move in the opposite direction. For the same reason, when the viewpoint position moves in the depth direction, the aspect ratio of the object may appear to change, which also causes a problem of giving the observer an unnatural feeling.

本発明はかかる問題点に鑑みてなされたもので、その目的は、３次元的な運動視差による立体視を容易に実現できるようにした画像表示システムを提供することにある。   The present invention has been made in view of such problems, and an object of the present invention is to provide an image display system capable of easily realizing stereoscopic vision by three-dimensional motion parallax.

本発明の第１の観点に係る画像表示システムは、２次元画像表示装置と、観察者の眼の３次元的な位置を検出する検出手段と、検出手段の検出結果に基づいて、２次元画像表示装置に対する観察者の相対的な視点位置を算出する相対位置算出手段と、相対的な視点位置に応じた画像を、２次元画像表示装置に表示する画像として生成する画像生成手段とを備えたものである。   An image display system according to a first aspect of the present invention includes a two-dimensional image display device, a detection unit that detects a three-dimensional position of an observer's eye, and a two-dimensional image based on a detection result of the detection unit. Relative position calculation means for calculating the relative viewpoint position of the observer with respect to the display device, and image generation means for generating an image corresponding to the relative viewpoint position as an image to be displayed on the two-dimensional image display device. Is.

本発明の第１の観点に係る画像表示システムでは、２次元画像表示装置に対する観察者の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像が、２次元画像表示装置に表示される。この第１の観点に係る画像表示システムでは、運動視差に対応した２次元画像が表示される。これにより、例えば両眼視差画像を表示しない通常の２次元画像表示装置を用いて、運動視差が実現でき、擬似的な立体表示（３次元的な視点位置に応じた画像表示）が可能となる。   In the image display system according to the first aspect of the present invention, an image corresponding to the relative viewpoint position of the observer with respect to the two-dimensional image display device, that is, an image corresponding to motion parallax is displayed on the two-dimensional image display device. The In the image display system according to the first aspect, a two-dimensional image corresponding to motion parallax is displayed. Thereby, for example, using a normal two-dimensional image display device that does not display a binocular parallax image, motion parallax can be realized, and pseudo three-dimensional display (image display corresponding to a three-dimensional viewpoint position) is possible. .

本発明の第２の観点に係る画像表示システムは、観察者の両眼に左眼用画像と右眼用画像とを表示する画像表示装置と、観察者の両眼の３次元的な位置を検出する検出手段と、検出手段の検出結果に基づいて、画像表示装置に対する観察者の左眼および右眼それぞれの相対的な視点位置を算出する相対位置算出手段と、相対的な視点位置に応じた画像を、画像表示装置に表示する左眼用画像および右眼用画像として生成する画像生成手段とを備えたものである。   An image display system according to a second aspect of the present invention includes an image display device that displays an image for the left eye and an image for the right eye on both eyes of the observer, and a three-dimensional position of the eyes of the observer. Detecting means for detecting, relative position calculating means for calculating the relative viewpoint positions of the left eye and right eye of the observer with respect to the image display device based on the detection result of the detecting means, and depending on the relative viewpoint position Image generating means for generating a left eye image and a right eye image to be displayed on the image display device.

本発明の第２の観点に係る画像表示システムでは、両眼視差を利用した立体視が可能な画像表示装置において、画像表示装置に対する観察者の両眼の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像が表示される。これにより、両眼視差に加えて、運動視差が実現でき、従来の両眼視差を利用した立体表示装置に比べて、輻輳を含むより自然な立体視を実現できる。   In the image display system according to the second aspect of the present invention, in an image display device capable of stereoscopic viewing using binocular parallax, an image according to the relative viewpoint position of the observer's eyes with respect to the image display device, That is, an image corresponding to motion parallax is displayed. Accordingly, in addition to binocular parallax, motion parallax can be realized, and more natural stereoscopic vision including convergence can be realized as compared with a conventional stereoscopic display device using binocular parallax.

本発明の第３の観点に係る画像表示システムは、光線再生法により立体的な画像を表示する画像表示装置と、観察者の眼の３次元的な位置を検出する検出手段と、検出手段の検出結果に基づいて、画像表示装置に対する観察者の相対的な視点位置を算出する相対位置算出手段と、相対的な視点位置に応じた画像を、画像表示装置に表示する画像として生成する画像生成手段とを備えたものである。   An image display system according to a third aspect of the present invention includes an image display device that displays a three-dimensional image by a light beam reproduction method, a detection unit that detects a three-dimensional position of an observer's eye, Based on the detection result, relative position calculation means for calculating the relative viewpoint position of the observer with respect to the image display device, and image generation for generating an image corresponding to the relative viewpoint position as an image to be displayed on the image display device Means.

本発明の第３の観点に係る画像表示システムでは、光線再生法による立体表示が可能な画像表示装置において、画像表示装置に対する観察者の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像が表示される。これにより、例えば光線再生法により水平方向のみしか運動視差を再現しない画像表示装置であっても、垂直方向の運動視差を実現でき、従来の光線再生法による立体表示装置に比べて、より自然な立体視を実現できる。   In the image display system according to the third aspect of the present invention, in an image display device capable of stereoscopic display by the light beam reproduction method, an image corresponding to the viewpoint position of the observer relative to the image display device, that is, motion parallax is supported. The image to be displayed is displayed. As a result, for example, even in an image display device that reproduces motion parallax only in the horizontal direction by the light beam reproduction method, motion parallax in the vertical direction can be realized, which is more natural than a stereoscopic display device by a conventional light beam reproduction method. Stereoscopic view can be realized.

本発明の第１の観点に係る画像表示システムによれば、２次元画像表示装置に対する観察者の相対的な視点位置に応じた画像、すなわち運動視差に対応した２次元画像を、２次元画像表示装置に表示するようにしたので、例えば両眼視差画像を表示しない通常の２次元画像表示装置を用いて、３次元的な運動視差による立体視を容易に実現できる。   According to the image display system of the first aspect of the present invention, an image corresponding to the observer's relative viewpoint position with respect to the two-dimensional image display device, that is, a two-dimensional image corresponding to motion parallax is displayed in two-dimensional images. Since the image is displayed on the apparatus, for example, using a normal two-dimensional image display apparatus that does not display a binocular parallax image, it is possible to easily realize a stereoscopic view based on a three-dimensional motion parallax.

本発明の第２の観点に係る画像表示システムによれば、両眼視差を利用した立体視が可能な画像表示装置において、画像表示装置に対する観察者の両眼の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像を表示するようにしたので、従来の両眼視差を利用した立体表示装置に比べて、３次元的な運動視差による立体視を容易に実現でき、輻輳を含むより自然な立体視を行うことができる。   According to the image display system according to the second aspect of the present invention, in an image display device capable of stereoscopic viewing using binocular parallax, the image display device corresponds to the relative viewpoint position of the observer's eyes with respect to the image display device. Since the image, that is, the image corresponding to the motion parallax is displayed, compared with the conventional stereoscopic display device using the binocular parallax, the stereoscopic vision by the three-dimensional motion parallax can be easily realized, and the congestion is included. A more natural stereoscopic view can be performed.

本発明の第３の観点に係る画像表示システムによれば、光線再生法による立体表示が可能な画像表示装置において、画像表示装置に対する観察者の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像を表示するようにしたので、例えば光線再生法により水平方向のみしか運動視差を再現しない画像表示装置であっても、垂直方向の運動視差を実現でき、完全に３次元的な運動視差による立体視を容易に実現できる。これにより、従来の光線再生法による立体表示装置に比べて、より自然な立体視を実現できる。   According to the image display system of the third aspect of the present invention, in an image display device capable of stereoscopic display by the light beam reproduction method, an image according to the relative viewpoint position of the observer with respect to the image display device, that is, motion parallax. For example, even an image display device that reproduces motion parallax only in the horizontal direction by the light beam reproduction method can realize motion parallax in the vertical direction, and is completely three-dimensional motion. Stereoscopic viewing with parallax can be easily realized. Thereby, a more natural stereoscopic view can be realized as compared with a stereoscopic display device by a conventional light beam reproduction method.

以下、本発明の実施の形態について図面を参照して詳細に説明する。
［第１の実施の形態］ Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[First Embodiment]

図１は、本発明の第１の実施の形態に係る画像表示システムの一構成例を示している。この画像表示システムは、光線再生法により立体的な画像を表示する画像表示装置１と、観察者２０の眼２１の３次元的な位置（視点位置）を検出するための撮影カメラ２Ａ，２Ｂおよび相対位置算出部３と、画像表示装置１で表示する基本的な画像情報を入力する画像信号源入力部４と、視点位置に応じた画像を生成する表示画像生成部５とを備えている。   FIG. 1 shows a configuration example of an image display system according to the first embodiment of the present invention. This image display system includes an image display device 1 that displays a three-dimensional image by a light beam reproduction method, photographing cameras 2A and 2B for detecting a three-dimensional position (viewpoint position) of an eye 21 of an observer 20, and A relative position calculation unit 3, an image signal source input unit 4 that inputs basic image information to be displayed on the image display device 1, and a display image generation unit 5 that generates an image according to the viewpoint position are provided.

画像表示装置１は、前面にスクリーン１１を有し、内部には、図２に示したように複数の投射部１０を有している。スクリーン１１は、水平方向に比べて垂直方向に光を広く拡散させるような構成とされている。投射部１０は、水平方向に複数配列されている。また、画像表示装置１の内部の側面は、光を反射するミラー１２が配置されている。複数の投射部１０はそれぞれ独立して機能し、図示しないが内部に、光源と、与えられた画像信号に従って光源からの光を変調する液晶表示デバイス等の空間光変調器と、その空間光変調器によって変調された光をスクリーン１１に向けて投射する投射光学系とを有している。画像表示装置１では、図３に示したように、スクリーン１１の任意の位置に対して、各投射部１０から水平方向について角度の異なる投射光ＬＰが投射される。これにより、任意の点に複数の方向からの像が多重結像される。これにより、観察者２０に対して、水平方向について運動視差を持つ視差画像が表示される。画像表示装置１による立体画像のより詳しい表示原理は後述する。   The image display device 1 has a screen 11 on the front surface and a plurality of projection units 10 inside as shown in FIG. The screen 11 is configured to diffuse light more widely in the vertical direction than in the horizontal direction. A plurality of projection units 10 are arranged in the horizontal direction. In addition, a mirror 12 that reflects light is disposed on the inner side surface of the image display device 1. The plurality of projection units 10 function independently of each other. Although not shown, a light source, a spatial light modulator such as a liquid crystal display device that modulates light from the light source according to a given image signal, and the spatial light modulation A projection optical system for projecting the light modulated by the instrument toward the screen 11. In the image display device 1, as shown in FIG. 3, projection light LP having different angles in the horizontal direction is projected from each projection unit 10 to an arbitrary position of the screen 11. As a result, images from a plurality of directions are multiply formed at an arbitrary point. Thereby, a parallax image having motion parallax in the horizontal direction is displayed to the observer 20. A more detailed display principle of the stereoscopic image by the image display device 1 will be described later.

撮影カメラ２Ａ，２Ｂは、例えばＣＣＤ（Charge Coupled Device）撮像素子を有し、観察者２０の頭部をリアルタイムで撮影するようになっている。撮影カメラ２Ａ，２Ｂを２台設置しているのは、三角測量の原理により３次元的な視点位置を検出するためである。なお、撮影カメラ２Ａ，２Ｂを３台以上、設置しても良い。撮影カメラ２Ａ，２Ｂからの撮像信号は、相対位置算出部３に出力されるようになっている。   The photographing cameras 2A and 2B have, for example, a CCD (Charge Coupled Device) image sensor, and photograph the head of the observer 20 in real time. The reason why two photographing cameras 2A and 2B are installed is to detect a three-dimensional viewpoint position by the principle of triangulation. Three or more photographing cameras 2A and 2B may be installed. Imaging signals from the imaging cameras 2A and 2B are output to the relative position calculation unit 3.

相対位置算出部３は、撮影カメラ２Ａ，２Ｂの撮像結果に基づいて３次元的な視点位置を検出するようになっている。相対位置算出部３は、例えば、観察者２０の右眼２１Ｒと左眼２１Ｌとの位置を検出し、それらの中点２２（図６参照）を視点位置として検出するようになっている。この場合において、右眼２１Ｒおよび左眼２１Ｌの検出は、例えば画像処理によって行うことができる。例えばあらかじめ用意された人間の顔画像のテンプレートと実際に撮影された観察者２０の顔画像とを比較して、右眼２１Ｒと左眼２１Ｌとを検出する方法がある。また、撮影カメラ２Ａ，２Ｂにおいて、赤外線等を照射する手段を備え、観察者２０に赤外線等を照射してその反射光から直接、右眼２１Ｒおよび左眼２１Ｌの眼球位置を検出するようにしても良い。   The relative position calculation unit 3 detects a three-dimensional viewpoint position based on the imaging results of the imaging cameras 2A and 2B. For example, the relative position calculation unit 3 detects the positions of the right eye 21R and the left eye 21L of the observer 20, and detects the midpoint 22 (see FIG. 6) as the viewpoint position. In this case, the detection of the right eye 21R and the left eye 21L can be performed by image processing, for example. For example, there is a method of detecting the right eye 21R and the left eye 21L by comparing a template of a human face image prepared in advance with a face image of the observer 20 actually taken. Further, the photographing cameras 2A and 2B are provided with means for irradiating infrared rays or the like so that the observer 20 is irradiated with infrared rays or the like and the eyeball positions of the right eye 21R and the left eye 21L are detected directly from the reflected light. Also good.

相対位置算出部３はまた、検出した視点位置に基づいて、画像表示装置１に対する相対的な視点位置を算出するようになっている。より具体的には、例えば画像表示装置１のスクリーン１１の中心位置（Ｘ０，Ｙ０，Ｚ０）を基準座標（０，０，０）とし、それに対する視点位置の座標（Ｘ１，Ｙ１，Ｚ１）を、相対的な視点位置として算出するようになっている。なお、相対位置算出部３はあらかじめ、撮影カメラ２Ａ，２Ｂの設置位置の情報とスクリーン１１の配置位置の情報とを有している。   The relative position calculation unit 3 also calculates a relative viewpoint position with respect to the image display device 1 based on the detected viewpoint position. More specifically, for example, the center position (X0, Y0, Z0) of the screen 11 of the image display device 1 is set as the reference coordinates (0, 0, 0), and the coordinates (X1, Y1, Z1) of the viewpoint position relative thereto are set. The relative viewpoint position is calculated. The relative position calculation unit 3 has information on the installation positions of the photographing cameras 2A and 2B and information on the arrangement position of the screen 11 in advance.

相対位置算出部３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）を有し、ＣＰＵがＲＡＭをワーキングエリアとしてＲＯＭに格納された所定の演算プログラムを実行することで、上述の相対位置検出のための演算を行うようになってる。
本実施の形態において、撮影カメラ２Ａ，２Ｂおよび相対位置算出部３が、本発明における「検出手段」の一具体例に対応し、相対位置算出部３が、本発明における「相対位置算出手段」の一具体例に対応する。 The relative position calculation unit 3 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory), and the CPU executes a predetermined calculation program stored in the ROM using the RAM as a working area. By doing so, the calculation for the above-mentioned relative position detection is performed.
In the present embodiment, the photographing cameras 2A and 2B and the relative position calculation unit 3 correspond to a specific example of “detection unit” in the present invention, and the relative position calculation unit 3 corresponds to “relative position calculation unit” in the present invention. This corresponds to a specific example.

画像信号源入力部４は、画像表示装置１で表示する基本的な画像情報を提供するものである。画像信号源入力部４は、磁気記録媒体や光記録媒体等の記録媒体を有し、その画像情報を記憶している。例えば撮影装置によって、あらかじめ、画像表示装置１で表示する立体像を複数方向から撮影して、立体画像表示に必要な画像情報を用意し、記録媒体に記憶しておく。なお、実際に撮影したものでなくても３ＤＣＧで作成した画像情報であっても良い。画像信号源入力部４で提供するのは、画像表示装置１の視野角内で表示物の３次元的な表示を行うための演算処理に必要な画像情報である。   The image signal source input unit 4 provides basic image information to be displayed on the image display device 1. The image signal source input unit 4 has a recording medium such as a magnetic recording medium or an optical recording medium, and stores the image information. For example, a stereoscopic image to be displayed on the image display device 1 is captured in advance from a plurality of directions by a photographing device, image information necessary for stereoscopic image display is prepared, and stored in a recording medium. Note that image information created by 3DCG may be used instead of actually captured. The image signal source input unit 4 provides image information necessary for arithmetic processing for performing a three-dimensional display of a display object within the viewing angle of the image display device 1.

表示画像生成部５は、相対位置算出部３で算出された相対的な視点位置に応じた画像を、画像表示装置１に表示する画像として生成するものである。表示画像生成部５は、ＣＰＵ、ＲＯＭ、およびＲＡＭを有し、ＣＰＵがＲＡＭをワーキングエリアとしてＲＯＭに格納された画像処理用のプログラムを実行することで、画像を生成するようになっている。表示画像生成部５は、相対的な視点位置の変化に追随して随時、リアルタイムで、３ＤＣＧのレンダリング技術によるレンダリング処理を行って画像表示装置１に表示すべき画像を生成するようになっている。   The display image generation unit 5 generates an image corresponding to the relative viewpoint position calculated by the relative position calculation unit 3 as an image to be displayed on the image display device 1. The display image generation unit 5 includes a CPU, a ROM, and a RAM, and the CPU generates an image by executing an image processing program stored in the ROM using the RAM as a working area. The display image generation unit 5 follows a change in the relative viewpoint position and generates an image to be displayed on the image display device 1 by performing a rendering process using a 3DCG rendering technique in real time as needed. .

以上のシステム構成において、立体的な画像を表示する動作について説明する。
まず、主に図２を参照して、画像表示装置１における光線再生法による立体画像表示の基本原理について説明する。図２には、立体画像表示に必要なｎ枚分（複数枚分）の画像情報が用意され、このｎ枚分の画像情報を利用した立体画像表示の態様を模式的に示している。例えば投射部１０のうち１つの投射部１０ｍから、矢印ｍ１〜ｍ５で示すように、スクリーン１１に向かって投射光が投射される。なお、側面に配置されたミラー１２によって反射された光も矢印ｍ１´で示すようにスクリーン１１に入射される。 An operation for displaying a stereoscopic image in the above system configuration will be described.
First, the basic principle of stereoscopic image display by the light beam reproduction method in the image display apparatus 1 will be described mainly with reference to FIG. In FIG. 2, image information for n sheets (a plurality of sheets) necessary for stereoscopic image display is prepared, and a stereoscopic image display mode using the image information for n sheets is schematically shown. For example, projection light is projected toward the screen 11 from one projection unit 10m of the projection unit 10 as indicated by arrows m1 to m5. Note that the light reflected by the mirror 12 disposed on the side surface is also incident on the screen 11 as indicated by an arrow m1 ′.

スクリーン１１は水平方向については微小な所定の拡散角を有する構成とされており、ｍ１´，ｍ２〜ｍ５で示す光がスクリーン１１を通過する水平方向の角度は、ほぼ一定に保持される。ここで、１つの投射部１０ｍから投射される、矢印ｍ１´、ｍ２〜ｍ５で示す光は、立体画像を構成する複数枚の画像情報Ｐ１〜Ｐｎのうち、縦方向に分割された一部の画像情報Ｐ２ｍ〜Ｐｎｍを表示するものとなる。これは、スクリーン１１が垂直方向には大きい拡散角を有していると共に、水平方向には微小な所定の拡散角を有する構成とされているため、１つの投射部１０ｍからの情報はほぼ垂直方向にしか拡散されず、縦ラインの表示として見えるためである。すなわち、矢印ｍ１´，ｍ２〜ｍ５で示す光が通過するスクリーン１１の位置を単位画素とすると、垂直方向に延びる単位画素から観察者２０の眼２１に向けて、立体画像を構成する縦ラインの画像情報Ｐ２ｍ〜Ｐｎｍが出射されることとなる。この場合において、スクリーン１１の隣の単位画素の表示ラインはその隣の投射部からの表示情報が眼２１に入る。従って、複数の投射部１０からそれぞれ必要な情報が眼２１に入るようにすることによって、水平方向の視野角内において、左右の眼２１で観察されるスクリーン１１上の画像は、複数の投射部１０による縦ライン表示の合成画像として見える。そしてこの場合、スクリーン１１が水平方向において例えば１°未満程度の微小な拡散角を有していれば、各投射部１０が表示するこれらの縦ラインの間に隙間が生じることなく、良好な立体画像表示を行うことができる。   The screen 11 is configured to have a minute predetermined diffusion angle in the horizontal direction, and the horizontal angle at which the light indicated by m1 ′, m2 to m5 passes through the screen 11 is held substantially constant. Here, the light indicated by the arrows m1 ′ and m2 to m5 projected from one projection unit 10m is a part of the plurality of pieces of image information P1 to Pn constituting the stereoscopic image divided in the vertical direction. The image information P2m to Pnm is displayed. This is because the screen 11 has a large diffusion angle in the vertical direction and a small predetermined diffusion angle in the horizontal direction, so information from one projection unit 10m is almost vertical. This is because it is diffused only in the direction and appears as a vertical line display. That is, assuming that the position of the screen 11 through which the light indicated by the arrows m1 ′ and m2 to m5 passes is a unit pixel, the vertical line constituting the stereoscopic image from the unit pixel extending in the vertical direction toward the eye 21 of the observer 20 The image information P2m to Pnm is emitted. In this case, the display information of the unit pixel adjacent to the screen 11 receives the display information from the adjacent projection unit in the eye 21. Therefore, by allowing necessary information from the plurality of projection units 10 to enter the eye 21, an image on the screen 11 that is observed by the left and right eyes 21 within the horizontal viewing angle can be obtained from the plurality of projection units. 10 appears as a composite image of vertical line display. In this case, if the screen 11 has a minute diffusion angle of, for example, less than about 1 ° in the horizontal direction, a good three-dimensional image can be obtained without generating a gap between these vertical lines displayed by each projection unit 10. Image display can be performed.

以上で説明した基本原理による画像表示装置１で表示される立体表示画像は、水平方向の運動視差のみ実現している。すなわち、画像表示装置１自体は垂直方向（Ｙ方向）および奥行き方向（Ｚ方向）の運動視差の表示には対応していない。しかしながら、本実施の形態では、さらに、画像表示装置１の各投射部１０に与える画像情報自体を垂直方向および奥行き方向の運動視差にも対応して変化させる（視点位置の移動に応じてリアルタイムに変化させる）ことで、結果的に、３次元すべての方向について運動視差に対応した立体画像の表示を可能としている。この３次元すべての方向についての運動視差に対応した画像は、表示画像生成部５によって生成される。   The stereoscopic display image displayed on the image display device 1 based on the basic principle described above realizes only the motion parallax in the horizontal direction. That is, the image display device 1 itself does not support display of motion parallax in the vertical direction (Y direction) and the depth direction (Z direction). However, in the present embodiment, the image information itself given to each projection unit 10 of the image display device 1 is also changed corresponding to the motion parallax in the vertical direction and the depth direction (in real time according to the movement of the viewpoint position). As a result, it is possible to display a stereoscopic image corresponding to motion parallax in all three dimensions. An image corresponding to the motion parallax in all three dimensions is generated by the display image generation unit 5.

表示画像生成部５は、３ＤＣＧのレンダリング技術によるレンダリング処理を行うことで、その運動視差に対応した画像を生成する。レンダリング処理は例えば、画像表示装置１で表示する画像の毎フレームごとに行う。３ＤＣＧのレンダリング技術では、仮想的なカメラを設定し、その仮想的なカメラによって撮影されるはずの画像を生成する。表示画像生成部５は、その仮想的なカメラの位置を相対位置算出部３で算出した視点位置とし、その仮想的なカメラによって撮影されるはずの画像を生成する。例えば図５に示したように、視点位置が（Ｘ１，Ｙ１，Ｚ１）から所定量以上変化して（Ｘ１±ΔＸ，Ｙ１±ΔＹ，Ｚ１±ΔＹ）となったとき（ΔＸ，ΔＹ，ΔＹはそれぞれ、Ｘ，Ｙ，Ｚ方向の移動量）には、表示画像生成部５は、その変化量に対応した画像をレンダリング処理によって生成する。すなわち、表示画像生成部５は、変化後の視点位置（Ｘ１±ΔＸ，Ｙ１±ΔＹ，Ｚ１±ΔＹ）を仮想的なカメラの位置に設定して、その仮想的なカメラによって撮影されるはずの画像を生成する。これによって、垂直方向（Ｙ方向）および奥行き方向（Ｚ方向）の運動視差に対応した画像を生成する。   The display image generation unit 5 generates an image corresponding to the motion parallax by performing a rendering process using a 3DCG rendering technique. For example, the rendering process is performed for each frame of an image displayed on the image display device 1. In the 3DCG rendering technology, a virtual camera is set, and an image that should be taken by the virtual camera is generated. The display image generation unit 5 uses the position of the virtual camera as the viewpoint position calculated by the relative position calculation unit 3, and generates an image that should be taken by the virtual camera. For example, as shown in FIG. 5, when the viewpoint position changes by a predetermined amount or more from (X1, Y1, Z1) to (X1 ± ΔX, Y1 ± ΔY, Z1 ± ΔY) (ΔX, ΔY, ΔY is For each of the movement amounts in the X, Y, and Z directions, the display image generation unit 5 generates an image corresponding to the change amount by rendering processing. That is, the display image generation unit 5 should set the viewpoint position (X1 ± ΔX, Y1 ± ΔY, Z1 ± ΔY) after the change to the position of the virtual camera and be photographed by the virtual camera. Generate an image. Thus, an image corresponding to motion parallax in the vertical direction (Y direction) and the depth direction (Z direction) is generated.

これにより、具体的には例えば、視点位置が画像表示装置１のスクリーン１１の基準位置（Ｘ０，Ｙ０，Ｚ０）よりも斜め上方に変化した場合は、図４（Ａ）のように斜め上方から見た画像が表示され、逆に視点位置が基準位置（Ｘ０，Ｙ０，Ｚ０）よりも斜め下方に変化した場合は、図４（Ｂ）のように、斜め下方から見た画像が表示される。なお、これは、直方体形状の立体画像を表示し、スクリーン１１の正面から見たときには直方体の正面が見えているものとした場合の例である。このような表示を行うことで、垂直方向の運動視差も再現できるようになる。   Thus, specifically, for example, when the viewpoint position changes obliquely upward from the reference position (X0, Y0, Z0) of the screen 11 of the image display device 1, as shown in FIG. When the viewed image is displayed and, conversely, the viewpoint position changes obliquely below the reference position (X0, Y0, Z0), the image viewed obliquely from below is displayed as shown in FIG. . This is an example of a case where a rectangular parallelepiped-shaped stereoscopic image is displayed and the front of the rectangular parallelepiped is visible when viewed from the front of the screen 11. By performing such display, vertical motion parallax can also be reproduced.

以上説明したように、本実施の形態に係る画像表示システムによれば、光線再生法による立体表示が可能な画像表示装置１において、画像表示装置１に対する観察者２０の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像をリアルタイムに演算して表示するようにしたので、光線再生法により水平方向のみしか運動視差を再現しない画像表示装置１であっても、輻輳のみならず完全に３次元的な運動視差による立体視を容易に実現できる。これにより、従来の光線再生法による立体表示装置に比べて、より自然な立体視を実現できる。また、光線再生法による立体表示では、視点位置が奥行き方向に動いた場合、物体の縦横比が変化して見える問題があったが、本実施の形態によれば、奥行き方向について視点位置の移動に応じて表示画像を変化させるので、その問題は自動的に解決される。
［第２の実施の形態］ As described above, according to the image display system according to the present embodiment, in the image display device 1 capable of stereoscopic display by the light beam reproduction method, the image display device 1 corresponds to the relative viewpoint position of the observer 20. Since the image corresponding to the motion parallax is calculated and displayed in real time, the image display device 1 that reproduces the motion parallax only in the horizontal direction by the light ray reproduction method is not only congested but also completely In addition, stereoscopic viewing by three-dimensional motion parallax can be easily realized. Thereby, a more natural stereoscopic view can be realized as compared with a stereoscopic display device by a conventional light beam reproduction method. Further, in the stereoscopic display based on the ray reproduction method, there is a problem that the aspect ratio of the object appears to change when the viewpoint position moves in the depth direction. Since the display image is changed according to the above, the problem is automatically solved.
[Second Embodiment]

次に、本発明の第２の実施の形態を説明する。なお、上記第１の実施の形態に係る画像表示システムと実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。   Next, a second embodiment of the present invention will be described. Note that components that are substantially the same as those of the image display system according to the first embodiment are denoted by the same reference numerals, and description thereof is omitted as appropriate.

上記第１の実施の形態では、表示装置が、光線再生法による立体画像表示装置である場合を例に説明したが、本実施の形態は、専用眼鏡を用いて画像を分離することで、左眼と右眼とに視差のある画像（視差画像）を別々に表示する２眼式の立体表示装置に関するものである。専用眼鏡としては、偏光メガネを利用する方式がある。この場合、図１における画像表示装置１は、偏光方向が互いに異なる左眼用画像と右眼用画像とを表示する。観察者２０は偏光メガネを通して左眼用画像と右眼用画像とを別々に観察する。画像表示装置１に表示される画像自体は２次元画像であるが、左眼と右眼とに視差のある画像（視差画像）が別々に表示されることで、両眼視差を利用した立体視が実現される。なお、電子的なシャッタを備えた専用眼鏡を利用する方式であっても良い。この場合、画像表示装置１は、左眼用画像と右眼用画像とを時分割で切り替えて表示する。観察者２０は専用眼鏡を通して左眼用画像と右眼用画像とを時分割で別々に観察することで、両眼視差を利用した立体視が実現される。   In the first embodiment, the case where the display device is a stereoscopic image display device based on the light beam reproduction method has been described as an example. However, in this embodiment, an image is separated using dedicated glasses, The present invention relates to a binocular stereoscopic display device that separately displays images having a parallax between the eyes and the right eye (parallax images). As dedicated glasses, there is a method using polarized glasses. In this case, the image display device 1 in FIG. 1 displays a left-eye image and a right-eye image having different polarization directions. The observer 20 observes the left eye image and the right eye image separately through the polarized glasses. Although the image itself displayed on the image display device 1 is a two-dimensional image, stereoscopic images using binocular parallax are displayed by separately displaying parallax images (parallax images) for the left eye and the right eye. Is realized. Note that a method using dedicated glasses equipped with an electronic shutter may be used. In this case, the image display device 1 displays the left-eye image and the right-eye image by switching in a time-sharing manner. The observer 20 observes the image for the left eye and the image for the right eye separately through time-division through dedicated glasses, thereby realizing stereoscopic viewing using binocular parallax.

本実施の形態では、画像信号源入力部４は、画像表示装置１で表示する基本的な画像情報を提供する。本実施の形態において画像信号源入力部４で提供するのは、立体表示装置による立体視の演算に必要なだけの画像情報である。また、本実施の形態では、相対位置算出部３が、撮影カメラ２Ａ，２Ｂの撮像結果に基づいて観察者２０の両眼の３次元的な視点位置を別々に検出する。相対位置算出部３はまた、検出した視点位置に基づいて、画像表示装置１に対する左眼と右眼の相対的な視点位置をそれぞれ、算出する。この場合、図７に示したような専用眼鏡３０を用いると、視点位置の検出が容易になる。専用眼鏡３０には、視点位置検出用の目印３１が設けられている。目印３１は、人間の眼よりも高いコントラストを持ち、また輪郭のはっきりした特定の形状を有するものである。このような目印３１を設けることで、相対位置算出部３において画像処理で左右の視点位置を検出することが容易になる。   In the present embodiment, the image signal source input unit 4 provides basic image information to be displayed on the image display device 1. In the present embodiment, the image signal source input unit 4 provides only the image information necessary for the stereoscopic calculation by the stereoscopic display device. In the present embodiment, the relative position calculation unit 3 separately detects the three-dimensional viewpoint positions of both eyes of the observer 20 based on the imaging results of the imaging cameras 2A and 2B. The relative position calculation unit 3 also calculates the relative viewpoint positions of the left eye and the right eye with respect to the image display device 1 based on the detected viewpoint position. In this case, the use of the dedicated glasses 30 as shown in FIG. 7 facilitates detection of the viewpoint position. The dedicated glasses 30 are provided with a mark 31 for detecting the viewpoint position. The mark 31 has a higher contrast than that of the human eye and has a specific shape with a clear outline. Providing such a mark 31 makes it easy for the relative position calculation unit 3 to detect the left and right viewpoint positions by image processing.

また、本実施の形態では、表示画像生成部５が、相対位置算出部３で算出された相対的な両眼の視点位置に応じた画像を、画像表示装置１に表示する左眼用画像および右眼用画像として生成する。ここで、一般的な２眼式の立体表示装置で表示される画像は、運動視差にはまったく対応していない。すなわち、観察者２０の視点位置が変化しても表示装置に表示される画像に変化は無い。これに対して、本実施の形態では、画像表示装置１に与える画像情報自体を水平方向、垂直方向および奥行き方向の運動視差にも対応して変化させる（視点位置の移動に応じてリアルタイムに変化させる）。これにより、結果的に、３次元すべての方向について運動視差に対応した立体画像の表示を可能としている。この３次元すべての方向についての運動視差に対応した左眼および右眼それぞれについての画像が、表示画像生成部５によって生成される。   Further, in the present embodiment, the display image generation unit 5 displays an image corresponding to the relative binocular viewpoint position calculated by the relative position calculation unit 3 on the image display device 1 and the left-eye image. Generated as an image for the right eye. Here, an image displayed on a general binocular stereoscopic display device does not correspond to motion parallax at all. That is, even if the viewpoint position of the observer 20 changes, the image displayed on the display device does not change. On the other hand, in the present embodiment, the image information itself given to the image display device 1 is changed corresponding to the motion parallax in the horizontal direction, the vertical direction, and the depth direction (changes in real time according to the movement of the viewpoint position). ) As a result, stereoscopic images corresponding to motion parallax can be displayed in all three-dimensional directions. The display image generation unit 5 generates images for the left eye and the right eye corresponding to the motion parallax for all three dimensions.

本実施の形態による画像表示システムによれば、両眼視差を利用した立体視が可能な画像表示装置において、画像表示装置に対する観察者の両眼の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像が表示される。これにより、両眼視差に加えて、運動視差が実現でき、従来の両眼視差を利用した立体表示装置に比べて、輻輳を含むより自然な立体視を実現できる。
［第３の実施の形態］ According to the image display system according to the present embodiment, in an image display apparatus capable of stereoscopic viewing using binocular parallax, an image corresponding to the relative viewpoint position of the observer's eyes with respect to the image display apparatus, that is, motion An image corresponding to the parallax is displayed. Accordingly, in addition to binocular parallax, motion parallax can be realized, and more natural stereoscopic vision including convergence can be realized as compared with a conventional stereoscopic display device using binocular parallax.
[Third Embodiment]

次に、本発明の第３の実施の形態を説明する。なお、上記第１または第２の実施の形態に係る画像表示システムと実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。   Next, a third embodiment of the present invention will be described. Note that components that are substantially the same as those of the image display system according to the first or second embodiment are denoted by the same reference numerals, and description thereof is omitted as appropriate.

本実施の形態は、画像表示装置１として、２次元画像表示装置を利用するものである。すなわち、立体視用の特別な表示装置ではなく、一般的な液晶表示モニタ等の表示装置を画像表示装置１として用いる。本実施の形態では、画像信号源入力部４は、画像表示装置１で表示する基本的な画像情報を提供する。   In the present embodiment, a two-dimensional image display device is used as the image display device 1. That is, a display device such as a general liquid crystal display monitor is used as the image display device 1 instead of a special display device for stereoscopic viewing. In the present embodiment, the image signal source input unit 4 provides basic image information to be displayed on the image display device 1.

本実施の形態では、上記第１の実施の形態と同様に、相対位置算出部３が、例えば観察者２０の右眼２１Ｒと左眼２１Ｌとの中点２２（図６参照）を視点位置として検出する。相対位置算出部３はまた、検出した視点位置に基づいて、画像表示装置１に対する相対的な視点位置を算出する。   In the present embodiment, as in the first embodiment, the relative position calculation unit 3 uses, for example, the midpoint 22 (see FIG. 6) of the right eye 21R and the left eye 21L of the observer 20 as the viewpoint position. To detect. The relative position calculation unit 3 also calculates a viewpoint position relative to the image display device 1 based on the detected viewpoint position.

また、本実施の形態では、表示画像生成部５が、相対位置算出部３で算出された相対的な視点位置に応じた画像を、画像表示装置１に表示する２次元画像として生成する。ここで、一般的な２次元画像表示装置で表示される画像は、運動視差にはまったく対応していない。すなわち、観察者２０の視点位置が変化しても表示装置に表示される画像に変化は無い。これに対して、本実施の形態では、画像表示装置１に与える画像情報自体を水平方向、垂直方向および奥行き方向の運動視差にも対応して変化させる（視点位置の移動に応じてリアルタイムに変化させる）。これにより、結果的に、３次元すべての方向について運動視差に対応した立体画像の表示を可能としている。この３次元すべての方向についての運動視差に対応した画像が、表示画像生成部５によって生成される。   In the present embodiment, the display image generation unit 5 generates an image corresponding to the relative viewpoint position calculated by the relative position calculation unit 3 as a two-dimensional image to be displayed on the image display device 1. Here, an image displayed on a general two-dimensional image display device does not correspond to motion parallax at all. That is, even if the viewpoint position of the observer 20 changes, the image displayed on the display device does not change. On the other hand, in the present embodiment, the image information itself given to the image display device 1 is changed corresponding to the motion parallax in the horizontal direction, the vertical direction, and the depth direction (changes in real time according to the movement of the viewpoint position). ) As a result, stereoscopic images corresponding to motion parallax can be displayed in all three-dimensional directions. An image corresponding to the motion parallax in all three dimensions is generated by the display image generation unit 5.

本実施の形態による画像表示システムによれば、２次元画像表示装置に対する観察者２０の相対的な視点位置に応じた画像、すなわち運動視差に対応する画像が、２次元画像表示装置に表示される。これにより、例えば両眼視差画像を表示しない通常の２次元画像表示装置を用いて、運動視差が実現でき、擬似的な立体表示（３次元的な視点位置に応じた画像表示）が可能となる。
［その他の実施の形態］ According to the image display system according to the present embodiment, an image corresponding to the relative viewpoint position of the observer 20 with respect to the two-dimensional image display device, that is, an image corresponding to motion parallax is displayed on the two-dimensional image display device. . Thereby, for example, using a normal two-dimensional image display device that does not display a binocular parallax image, motion parallax can be realized, and pseudo three-dimensional display (image display corresponding to a three-dimensional viewpoint position) is possible. .
[Other embodiments]

本発明は、上記各実施の形態に限定されず、種々の変形実施が可能である。例えば、上記第２の実施の形態では、専用眼鏡を用いて両眼視差を実現する方法について述べたが、レンチキュラー方式やパララックス・バリア方式等、専用眼鏡を用いることなく裸眼で両眼視差を実現する立体表示であっても、本発明は適用可能である。この場合にも、表示画像生成部５が、相対位置算出部３で算出された両眼の視点位置に応じた画像を、画像表示装置１に表示する左眼用画像および右眼用画像として生成することで、運動視差を実現できる。   The present invention is not limited to the above embodiments, and various modifications can be made. For example, in the second embodiment, a method for realizing binocular parallax using dedicated glasses has been described. However, binocular parallax can be performed with the naked eye without using dedicated glasses such as a lenticular method or a parallax barrier method. The present invention can be applied even if the stereoscopic display is realized. Also in this case, the display image generation unit 5 generates an image corresponding to the binocular viewpoint position calculated by the relative position calculation unit 3 as a left-eye image and a right-eye image to be displayed on the image display device 1. By doing so, motion parallax can be realized.

本発明の第１の実施の形態に係る画像表示システムの一構成例を示す全体構成図である。1 is an overall configuration diagram illustrating a configuration example of an image display system according to a first embodiment of the present invention. 光線再生法による画像表示装置の内部構成および画像表示の原理を示す説明図である。It is explanatory drawing which shows the internal structure of the image display apparatus by a light beam reproduction method, and the principle of an image display. 光線再生法による画像表示の原理を示す説明図である。It is explanatory drawing which shows the principle of the image display by a light ray reproduction method. 視点位置に応じて生成される画像の一例を示す説明図である。It is explanatory drawing which shows an example of the image produced | generated according to a viewpoint position. 視点位置と画像表示装置のスクリーンとの相対的な位置関係を示す説明図である。It is explanatory drawing which shows the relative positional relationship of a viewpoint position and the screen of an image display apparatus. 本発明の第１の実施の形態に係る画像表示システムにおいて検出する視点位置の説明図である。It is explanatory drawing of the viewpoint position detected in the image display system which concerns on the 1st Embodiment of this invention. 本発明の第２の実施の形態に係る画像表示システムで用いる専用眼鏡の一例を示す構成図である。It is a block diagram which shows an example of the exclusive spectacles used with the image display system which concerns on the 2nd Embodiment of this invention.

符号の説明Explanation of symbols

１…画像表示装置、２Ａ，２Ｂ…撮影カメラ、３…相対位置算出部、４…画像信号源入力部、５…表示画像生成部、１０…投射部、１１…スクリーン、１２…ミラー、２０…観察者、２１…眼、３０…専用眼鏡、３１…目印。   DESCRIPTION OF SYMBOLS 1 ... Image display apparatus, 2A, 2B ... Shooting camera, 3 ... Relative position calculation part, 4 ... Image signal source input part, 5 ... Display image generation part, 10 ... Projection part, 11 ... Screen, 12 ... Mirror, 20 ... Observer, 21 ... eyes, 30 ... dedicated glasses, 31 ... landmark.

Claims (11)

２次元画像表示装置と、
観察者の眼の３次元的な位置を検出する検出手段と、
前記検出手段の検出結果に基づいて、前記２次元画像表示装置に対する前記観察者の相対的な視点位置を算出する相対位置算出手段と、
前記相対的な視点位置に応じた画像を、前記２次元画像表示装置に表示する画像として生成する画像生成手段と
を備えたことを特徴とする画像表示システム。 A two-dimensional image display device;
Detection means for detecting the three-dimensional position of the eye of the observer;
A relative position calculating means for calculating a relative viewpoint position of the observer with respect to the two-dimensional image display device based on a detection result of the detecting means;
An image display system comprising: an image generation unit configured to generate an image corresponding to the relative viewpoint position as an image to be displayed on the two-dimensional image display device. 前記検出手段として、前記観察者を撮影する複数の撮影手段を有し
前記相対位置算出手段は、前記複数の撮影手段により撮影された前記観察者の画像に基づいて前記相対的な視点位置を算出する
ことを特徴とする請求項１に記載の画像表示システム。 The detection means includes a plurality of photographing means for photographing the observer, and the relative position calculation means calculates the relative viewpoint position based on the images of the observer photographed by the plurality of photographing means. The image display system according to claim 1, wherein: 前記画像生成手段は、前記相対的な視点位置の変化に追随して、随時レンダリング処理を行って前記２次元画像表示装置に表示する画像を生成する
ことを特徴とする請求項１に記載の画像表示システム。 2. The image according to claim 1, wherein the image generation unit generates an image to be displayed on the two-dimensional image display device by performing a rendering process at any time following the change in the relative viewpoint position. Display system. 観察者の両眼に左眼用画像と右眼用画像とを表示する画像表示装置と、
観察者の両眼の３次元的な位置を検出する検出手段と、
前記検出手段の検出結果に基づいて、前記画像表示装置に対する前記観察者の左眼および右眼それぞれの相対的な視点位置を算出する相対位置算出手段と、
前記相対的な視点位置に応じた画像を、前記画像表示装置に表示する前記左眼用画像および前記右眼用画像として生成する画像生成手段と
を備えたことを特徴とする画像表示システム。 An image display device that displays an image for the left eye and an image for the right eye on both eyes of the observer;
Detecting means for detecting a three-dimensional position of both eyes of the observer;
Relative position calculation means for calculating relative viewpoint positions of the left and right eyes of the observer with respect to the image display device based on the detection result of the detection means;
An image display system comprising: an image generation unit configured to generate an image corresponding to the relative viewpoint position as the left-eye image and the right-eye image displayed on the image display device. 前記検出手段として、前記観察者を撮影する複数の撮影手段を有し
前記相対位置算出手段は、前記複数の撮影手段により撮影された前記観察者の画像に基づいて前記相対的な視点位置を算出する
ことを特徴とする請求項４に記載の画像表示システム。 The detection means includes a plurality of photographing means for photographing the observer, and the relative position calculation means calculates the relative viewpoint position based on the images of the observer photographed by the plurality of photographing means. The image display system according to claim 4, wherein: 前記画像生成手段は、前記相対的な視点位置の変化に追随して、随時レンダリング処理を行って前記画像表示装置に表示する画像を生成する
ことを特徴とする請求項４に記載の画像表示システム。 5. The image display system according to claim 4, wherein the image generation unit generates an image to be displayed on the image display device by performing a rendering process at any time following the change in the relative viewpoint position. . 前記画像表示装置からの画像を観察者の両眼に前記左眼用画像と前記右眼用画像とに分離する立体視用眼鏡をさらに備え、
前記立体視用眼鏡に、前記検出手段が観察者の両眼の位置を検出するための目印が設けられている
ことを特徴とする請求項４に記載の画像表示システム。 Stereoscopic glasses for separating the image from the image display device into the left-eye image and the right-eye image in both eyes of an observer,
The image display system according to claim 4, wherein the stereoscopic glasses are provided with a mark for the detection unit to detect the positions of both eyes of the observer. 光線再生法により立体的な画像を表示する画像表示装置と、
観察者の眼の３次元的な位置を検出する検出手段と、
前記検出手段の検出結果に基づいて、前記画像表示装置に対する前記観察者の相対的な視点位置を算出する相対位置算出手段と、
前記相対的な視点位置に応じた画像を、前記画像表示装置に表示する画像として生成する画像生成手段と
を備えたことを特徴とする画像表示システム。 An image display device for displaying a three-dimensional image by a light beam reproduction method;
Detection means for detecting the three-dimensional position of the eye of the observer;
A relative position calculating means for calculating a relative viewpoint position of the observer with respect to the image display device based on a detection result of the detecting means;
An image display system comprising: an image generation unit configured to generate an image corresponding to the relative viewpoint position as an image to be displayed on the image display device. 前記検出手段として、前記観察者を撮影する複数の撮影手段を有し
前記相対位置算出手段は、前記複数の撮影手段により撮影された前記観察者の画像に基づいて前記相対的な視点位置を算出する
ことを特徴とする請求項８に記載の画像表示システム。 The detection means includes a plurality of photographing means for photographing the observer, and the relative position calculation means calculates the relative viewpoint position based on the images of the observer photographed by the plurality of photographing means. The image display system according to claim 8. 前記画像生成手段は、前記相対的な視点位置の変化に追随して、随時レンダリング処理を行って前記画像表示装置に表示する画像を生成する
ことを特徴とする請求項８に記載の画像表示システム。 The image display system according to claim 8, wherein the image generation unit generates an image to be displayed on the image display device by performing a rendering process at any time following the change in the relative viewpoint position. . 前記画像表示装置は、空間的に変調された光を投射する複数の投射手段と、前記複数の投射手段からの投射光が投影されるスクリーンとを有し、光線再生法により水平方向に視差を持つ画像を表示するものである
ことを特徴とする請求項８に記載の画像表示システム。 The image display device includes a plurality of projection means for projecting spatially modulated light, and a screen on which the projection light from the plurality of projection means is projected. The image display system according to claim 8, wherein the image is displayed.
JP2006330665A 2006-12-07 2006-12-07 Image display system Pending JP2008146221A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006330665A JP2008146221A (en) 2006-12-07 2006-12-07 Image display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006330665A JP2008146221A (en) 2006-12-07 2006-12-07 Image display system

Publications (1)

Publication Number Publication Date
JP2008146221A true JP2008146221A (en) 2008-06-26

Family

ID=39606357

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006330665A Pending JP2008146221A (en) 2006-12-07 2006-12-07 Image display system

Country Status (1)

Country Link
JP (1) JP2008146221A (en)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010081440A (en) * 2008-09-26 2010-04-08 National Institute Of Information & Communication Technology Three-dimensional video image display, three-dimensional video display method, and three-dimensional video display program
JP2011004054A (en) * 2009-06-17 2011-01-06 Sharp Corp Image processing system and method
JP2011141381A (en) * 2010-01-06 2011-07-21 Ricoh Co Ltd Stereoscopic image display device and stereoscopic image display method
JP2011151652A (en) * 2010-01-22 2011-08-04 Sony Corp Image display apparatus with imaging device
JP2012022143A (en) * 2010-07-14 2012-02-02 Nikon Corp Display device
JP2012023488A (en) * 2010-07-13 2012-02-02 Ntt Docomo Inc Image processor, image processing method, display device, and program
JP2012090256A (en) * 2010-09-22 2012-05-10 Nikon Corp Image display device and imaging device
WO2012093641A1 (en) * 2011-01-07 2012-07-12 シャープ株式会社 Stereoscopic image display device and stereoscopic vision glasses
JP2012142846A (en) * 2011-01-05 2012-07-26 Nec Personal Computers Ltd Display device and information processor
CN102668573A (en) * 2009-11-16 2012-09-12 Lg电子株式会社 Image display apparatus and operating method thereof
CN102740100A (en) * 2011-03-31 2012-10-17 索尼公司 Display control device, display control method, and program
WO2012157540A1 (en) * 2011-05-19 2012-11-22 ソニー株式会社 Image processing apparatus, image processing method, and program
JP2013210590A (en) * 2012-03-30 2013-10-10 National Institute Of Information & Communication Technology Stereoscopic display
JP2013250579A (en) * 2013-09-03 2013-12-12 Hitachi Consumer Electronics Co Ltd Projection board device and transmission type screen used therefor
CN103760980A (en) * 2014-01-21 2014-04-30 Tcl集团股份有限公司 Display method, system and device for conducting dynamic adjustment according to positions of two eyes
CN103765878A (en) * 2011-09-12 2014-04-30 英特尔公司 Using motion parallax to create 3D perception from 2D images
US9325983B2 (en) 2010-09-07 2016-04-26 Samsung Electronics Co., Ltd. Image processing apparatus and method using tracking of gaze of user
US9348210B2 (en) 2009-05-12 2016-05-24 Hitachi Maxell, Ltd. Projection apparatus and transparent screen for it
TWI582647B (en) * 2011-01-24 2017-05-11 余瑞蘭 Portable electronic device with 3d touch screen
US9857601B2 (en) 2013-03-14 2018-01-02 Japan Display Inc. Display device
US11785203B2 (en) 2019-03-19 2023-10-10 Sony Group Corporation Information processing apparatus, information processing method, and program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000354257A (en) * 1999-06-10 2000-12-19 Sony Corp Image processor, image processing method and program provision medium
JP2003530606A (en) * 2000-04-07 2003-10-14 ティボル・バログ Method and apparatus for expressing three-dimensional images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000354257A (en) * 1999-06-10 2000-12-19 Sony Corp Image processor, image processing method and program provision medium
JP2003530606A (en) * 2000-04-07 2003-10-14 ティボル・バログ Method and apparatus for expressing three-dimensional images

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010081440A (en) * 2008-09-26 2010-04-08 National Institute Of Information & Communication Technology Three-dimensional video image display, three-dimensional video display method, and three-dimensional video display program
US9348210B2 (en) 2009-05-12 2016-05-24 Hitachi Maxell, Ltd. Projection apparatus and transparent screen for it
JP2011004054A (en) * 2009-06-17 2011-01-06 Sharp Corp Image processing system and method
CN102668573B (en) * 2009-11-16 2015-01-21 Lg电子株式会社 Image display apparatus and operating method thereof
CN102668573A (en) * 2009-11-16 2012-09-12 Lg电子株式会社 Image display apparatus and operating method thereof
JP2011141381A (en) * 2010-01-06 2011-07-21 Ricoh Co Ltd Stereoscopic image display device and stereoscopic image display method
JP2011151652A (en) * 2010-01-22 2011-08-04 Sony Corp Image display apparatus with imaging device
JP2012023488A (en) * 2010-07-13 2012-02-02 Ntt Docomo Inc Image processor, image processing method, display device, and program
JP2012022143A (en) * 2010-07-14 2012-02-02 Nikon Corp Display device
US9781410B2 (en) 2010-09-07 2017-10-03 Samsung Electronics Co., Ltd. Image processing apparatus and method using tracking of gaze of user
US9325983B2 (en) 2010-09-07 2016-04-26 Samsung Electronics Co., Ltd. Image processing apparatus and method using tracking of gaze of user
JP2012090256A (en) * 2010-09-22 2012-05-10 Nikon Corp Image display device and imaging device
JP2012142846A (en) * 2011-01-05 2012-07-26 Nec Personal Computers Ltd Display device and information processor
WO2012093641A1 (en) * 2011-01-07 2012-07-12 シャープ株式会社 Stereoscopic image display device and stereoscopic vision glasses
US8953027B2 (en) 2011-01-07 2015-02-10 Sharp Kabushiki Kaisha Stereoscopic-image display apparatus and stereoscopic eyewear
JP2012156991A (en) * 2011-01-07 2012-08-16 Sharp Corp Stereoscopic image display device and stereoscopic vision glasses
TWI582647B (en) * 2011-01-24 2017-05-11 余瑞蘭 Portable electronic device with 3d touch screen
CN102740100A (en) * 2011-03-31 2012-10-17 索尼公司 Display control device, display control method, and program
CN103518372B (en) * 2011-05-19 2015-12-02 索尼公司 Image processing apparatus, image processing method and program
WO2012157540A1 (en) * 2011-05-19 2012-11-22 ソニー株式会社 Image processing apparatus, image processing method, and program
US9710955B2 (en) 2011-05-19 2017-07-18 Sony Corporation Image processing device, image processing method, and program for correcting depth image based on positional information
CN103518372A (en) * 2011-05-19 2014-01-15 索尼公司 Image processing apparatus, image processing method, and program
CN103765878A (en) * 2011-09-12 2014-04-30 英特尔公司 Using motion parallax to create 3D perception from 2D images
JP2013210590A (en) * 2012-03-30 2013-10-10 National Institute Of Information & Communication Technology Stereoscopic display
US9857601B2 (en) 2013-03-14 2018-01-02 Japan Display Inc. Display device
JP2013250579A (en) * 2013-09-03 2013-12-12 Hitachi Consumer Electronics Co Ltd Projection board device and transmission type screen used therefor
CN103760980A (en) * 2014-01-21 2014-04-30 Tcl集团股份有限公司 Display method, system and device for conducting dynamic adjustment according to positions of two eyes
US11785203B2 (en) 2019-03-19 2023-10-10 Sony Group Corporation Information processing apparatus, information processing method, and program

Similar Documents

Publication Publication Date Title
JP2008146221A (en) Image display system
JP3397602B2 (en) Image display apparatus and method
US20130242053A1 (en) Endoscopic apparatus and method for producing via a holographic optical element an autostereoscopic 3-d image
JP4489610B2 (en) Stereoscopic display device and method
JP4546505B2 (en) Spatial image projection apparatus and method
JPH09238369A (en) Three-dimension image display device
WO2013132601A1 (en) 3d image display device and program
Miyazaki et al. Floating three-dimensional display viewable from 360 degrees
JP2010113159A (en) Stereoscopic image display apparatus and method
US11012681B2 (en) System and method for enhanced motion parallax in a 3D display
JP2015037282A (en) Image processing device, image processing method, and program
JP4256597B2 (en) Stereoscopic image display device
JP5487935B2 (en) Display device and display method
KR101567002B1 (en) Computer graphics based stereo floting integral imaging creation system
JP2001218231A (en) Device and method for displaying stereoscopic image
JP2012008298A (en) Three dimensional picture display device
KR101883883B1 (en) method for glass-free hologram display without flipping images
JP2585614B2 (en) Stereoscopic image output device
US20150234196A1 (en) Image display apparatus, lenticular lens, and image display method
KR101093929B1 (en) Method and system for displaying 3-dimensional images using depth map
KR20120072892A (en) Method and apparatus for generating anaglyph image using binocular disparity and depth information
US9269177B2 (en) Method for processing image and apparatus for processing image
JP2007043603A (en) Spetroscopic image display device and system thereof
WO2019135088A1 (en) Multi-angle light-field capture and display system
Jang et al. 100-inch 3D real-image rear-projection display system based on Fresnel lens

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110726

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111116