JPH07296185A - Three-dimensional image display device - Google Patents
Three-dimensional image display deviceInfo
- Publication number
- JPH07296185A JPH07296185A JP6092192A JP9219294A JPH07296185A JP H07296185 A JPH07296185 A JP H07296185A JP 6092192 A JP6092192 A JP 6092192A JP 9219294 A JP9219294 A JP 9219294A JP H07296185 A JPH07296185 A JP H07296185A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- input
- pixel
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Digital Computer Display Output (AREA)
- Image Generation (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は３次元画像表示装置に係
わり、特に、位置に関する２次元情報を３次元情報に変
換する画像処理系を有する３次元画像表示装置に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional image display device, and more particularly to a three-dimensional image display device having an image processing system for converting position two-dimensional information into three-dimensional information.
【０００２】[0002]
【従来の技術】画像情報の大部分は、３次元空間内の物
体を２次元の面に投影したものとして表されている。す
なわち、画像情報の大部分は２次元画像として記録され
ているものである。この場合、３次元空間内の物体は実
際に存在するものであってもよいし、アニメーションの
場合などのように仮想的なものであってもよい。Most of the image information is represented as a projection of an object in a three-dimensional space onto a two-dimensional surface. That is, most of the image information is recorded as a two-dimensional image. In this case, the object in the three-dimensional space may actually exist or may be a virtual object such as in the case of animation.
【０００３】ところで、３次元空間内の物体上の各点
は、その位置が３次元の座標値で表されるとともに、色
空間における３次元の情報を持っている。上記色空間に
おける３次元の情報とは、例えば、色相、明度、彩度で
あり、加色法による場合は、アドレスカウンタ（Ｒ）、
緑（Ｇ）、青（Ｂ）の各色成分の強度であってもよい。By the way, each point on an object in a three-dimensional space has its position represented by a three-dimensional coordinate value and has three-dimensional information in a color space. The three-dimensional information in the color space is, for example, hue, lightness, and saturation, and in the case of the additive method, an address counter (R),
The intensity of each color component of green (G) and blue (B) may be used.
【０００４】このように、物体上の各点が表されている
ことに対応し、２次元面に投影された画像の各画素は、
２次元の座標値のほかに、色空間における少なくとも１
次元の情報を保持している。例えば、白黒画像であれ
ば、色空間における情報は１次元（明度情報のみ）であ
り、カラー画像であれば、色空間における情報は３次元
である。In this way, corresponding to each point on the object being represented, each pixel of the image projected on the two-dimensional surface is
In addition to the two-dimensional coordinate value, at least 1 in the color space
Holds dimensional information. For example, for a monochrome image, the information in the color space is one-dimensional (only the brightness information), and for a color image, the information in the color space is three-dimensional.
【０００５】また、複数の画像（フレーム）が時系列に
連続している場合は、動画であり、時間軸方向について
も１次元分の情報を保持している。つまり、３次元空間
での物体に対応する位置３次元、時間１次元、色空間３
次元の合計７次元の情報のうち、投影によって位置２次
元の情報としたものが一般的な画像情報（２次元画像）
であり、この画像情報は、時間色空間情報については、
少なくとも色空間情報１次元分を保持している。Further, when a plurality of images (frames) are continuous in time series, it is a moving image and holds one-dimensional information in the time axis direction. In other words, the position corresponding to the object in the three-dimensional space is three-dimensional, the time is one-dimensional, and the color space is three.
Of the total 7-dimensional information, the information that is made into the 2-dimensional position information by projection is general image information (2-dimensional image)
And this image information is, for temporal color space information,
It holds at least one-dimensional color space information.
【０００６】一方、わずかではあるが、マルチプレック
スホログラムやＣＴ（コンピュータ断層）画像のよう
に、位置情報を２次元に投影することなく３次元のまま
で記録する画像技術も知られている。これらの３次元画
像技術では、実質的に全ての点の３次元座標値を保持し
ており、任意の方向への投影に対応でき、任意の２次元
断面での投影像を得ることが可能である。[0006] On the other hand, there is also known an image technology, such as a multiplex hologram or a CT (computer tomographic) image, which records the position information in the three-dimensional form without projecting it in the two-dimensional form, although it is small. In these three-dimensional image technologies, the three-dimensional coordinate values of substantially all points are held, the projection in any direction can be supported, and the projected image in any two-dimensional cross section can be obtained. is there.
【０００７】また、視点の異なる２つの２次元画像を用
いることにより、物体の立体視が可能となる。このこと
を利用し、立体視に必要な２つの異なった投影像だけで
不完全ながらも位置情報を３次元的に管理する方法もあ
る。上記の不完全とは、こうした２つの視点の異なる投
影像だけからは、物体の影になって見えない部分につい
ての情報がないため、任意の方向からの投影像を得るこ
とができないからである。つまり、物体の表側からみた
場合の立体視用の２画像を用いた場合には、影となって
いる物体の裏側についての３次元情報を得ることはでき
ないということである。Further, by using two two-dimensional images having different viewpoints, it is possible to stereoscopically view an object. There is also a method of utilizing this fact to manage the position information three-dimensionally even though it is incomplete only with two different projected images required for stereoscopic vision. The above-mentioned incompleteness is because it is not possible to obtain a projected image from an arbitrary direction because there is no information about a portion that cannot be seen as a shadow of the object from only the projected images of two different viewpoints. . In other words, if two images for stereoscopic viewing as viewed from the front side of the object are used, it is not possible to obtain three-dimensional information about the back side of the object in shadow.
【０００８】ここでは、マルチプレックスホログラムや
ＣＴ画像で得られるような、物体上の各点の位置につい
ての完全な３次元情報を「完全位置３次元情報」と呼ぶ
ことにする。また、立体視用の２枚の投影像から得られ
るような位置情報を「立体視用位置３次元情報」と呼ぶ
ことにする。Here, the complete three-dimensional information about the position of each point on the object, such as obtained by a multiplex hologram or a CT image, will be referred to as "complete position three-dimensional information". In addition, position information obtained from two projection images for stereoscopic viewing will be referred to as “stereoscopic position three-dimensional information”.
【０００９】ところで、特開平５−１２６５４６号、５
−１２６５４７号、５−１８１９７９号の各公報には、
２次元陰影画像情報から３次元形状データを得る技術が
開示されている。By the way, JP-A-5-126546, 5
In each of the gazettes of -126547 and 5-181979,
A technique for obtaining three-dimensional shape data from two-dimensional shadow image information is disclosed.
【００１０】上記技術は、３次元形状を微分するとその
表面が計算でき、その表面から反射地図を用いて変換す
ると陰影情報が得られることを利用し、この変換を逆に
行い、陰影情報から対象物体の表面の方向を求め、得ら
れた表面を積分することによって３次元形状を復元しよ
うとするものである。The above technique utilizes the fact that the surface can be calculated by differentiating a three-dimensional shape, and the shadow information can be obtained by converting from the surface using a reflection map. This conversion is performed in reverse and the object is calculated from the shadow information. It seeks to restore a three-dimensional shape by finding the direction of the surface of an object and integrating the obtained surface.
【００１１】通常の位置２次元に投影された画像の表示
はＣＲＴディスプレイ、液晶ディスプレイ等目覚ましい
発達を遂げている。一方近年、「立体視用位置３次元情
報」を使ったヘッドマウンテッドディスプレイ（ＨＭ
Ｄ）やレンチキュラディスプレイなど、立体視による３
次元ディスプレイが考案され、３次元画像への期待も高
まっている。The display of an image projected in a normal two-dimensional position has made remarkable progress such as a CRT display and a liquid crystal display. On the other hand, in recent years, a head mounted display (HM
D), lenticular display, etc.
A three-dimensional display has been devised, and expectations for three-dimensional images are increasing.
【００１２】[0012]
【発明が解決しようとする課題】ところで、写真、絵
画、映画などといった映像情報ソフトのうち既存のもの
の大部分は、位置情報として２次元の情報しか保持して
いない。近年、ヘッドマウンテッドディスプレイ（ＨＭ
Ｄ）や、レンチキュラディスプレイなど、立体視による
３次元ディスプレイが発達を遂げている。By the way, most of the existing image information software such as photographs, paintings, movies, etc. hold only two-dimensional information as position information. In recent years, head mounted display (HM
D), lenticular display, and other three-dimensional displays with stereoscopic vision have been developed.
【００１３】また、３次元画像への期待も高まっている
が、既存の位置情報２次元の映像ソフトのままでは立体
視を行うことができなかった。このため、既存の位置情
報２次元の映像ソフトを立体視用位置３次元情報に変換
することも考えられるが、次元数が足りないこともあ
り、このような試みは行われていなかった。Although expectations for three-dimensional images are increasing, stereoscopic viewing cannot be performed with existing position information two-dimensional video software. Therefore, it is conceivable to convert existing two-dimensional position information video software into stereoscopic position three-dimensional information, but such an attempt has not been made because the number of dimensions is insufficient.
【００１４】一方、上述の特開平５−１２６５４６号、
５−１２６５４７号、５−１８１９７９号の各公報に記
載されている技術の場合は、所定方向からの照明光の存
在下での２次元陰影画像データを対象とするものであっ
た。したがって、これらの技術は光源が複数個あった
り、光源位置が未知であるような一般的な場合には適用
することができなかった。On the other hand, the above-mentioned JP-A-5-126546,
In the case of the techniques described in the publications of Nos. 5 to 126547 and 5 to 181979, two-dimensional shadow image data in the presence of illumination light from a predetermined direction is targeted. Therefore, these techniques cannot be applied to general cases where there are a plurality of light sources or the light source position is unknown.
【００１５】また、複雑な形状の物体を対象とする場合
には計算量が膨大になってしまう問題があるとともに、
１枚の画像の中に遠景や近景が混在するような場合には
全く役に立たないという問題点があった。Further, when an object having a complicated shape is targeted, there is a problem that the amount of calculation becomes enormous, and
There is a problem that it is completely useless when a distant view and a near view are mixed in one image.
【００１６】また、位置３次元情報を映像情報として取
り込む場合には、「完全位置３次元情報」については言
うに及ばず、「立体視用位置３次元情報」についてでさ
えその映像情報は複眼撮像系を使って取り込む必要があ
り、撮像系が大掛かりになってしまうという問題点があ
った。上記のように撮像系が大掛かりになることが、位
置３次元情報に基づく映像ソフトの普及の障害となって
いた。When the position three-dimensional information is captured as video information, not only the "complete position three-dimensional information" but also the "stereoscopic position three-dimensional information" is imaged by the compound eye. There is a problem that the image pickup system becomes large in size because it is necessary to use the system for capturing. The large scale of the imaging system as described above has been an obstacle to the widespread use of video software based on the three-dimensional position information.
【００１７】本発明は上述の問題点にかんがみ、簡単な
構成の撮像系で得られた映像情報であって、位置情報と
しては２次元の既存の映像情報（動画を含む）を入力し
て立体視表示を行うことができるようにすることを目的
とする。In view of the above problems, the present invention is stereoscopic by inputting two-dimensional existing image information (including a moving image) as image information obtained by an image pickup system having a simple structure. The purpose is to enable visual display.
【００１８】[0018]
【課題を解決するための手段】本発明の３次元画像表示
装置は、１つの視点から投影され位置情報としては２次
元である入力画像を１枚入力したり、２つの視点から投
影され位置情報としては２次元である入力画像を２枚入
力したりする画像入力系と、上記画像入力系から入力さ
れる画像を取り込んで保持する入力画像保持手段と、上
記入力画像の各画素について、上記画素の画素値および
上記画素の周囲の画素の画素値に基づいて３次元での位
置情報を復元する画像処理手段と、上記画像処理手段で
復元された３次元での位置情報に基づいて上記１つの視
点とは異なる視点に対応し、かつ位置情報としては２次
元である画像を生成する２次元位置画像生成手段を有す
る画像処理系と、上記画像処理系から出力される映像情
報を受けて視点の異なる２画像に基づいて立体視画像を
表示する３次元表示系とからなる。The three-dimensional image display device of the present invention inputs one input image which is projected from one viewpoint and has two-dimensional position information, or position information projected from two viewpoints. Is an image input system for inputting two input images which are two-dimensional, an input image holding means for capturing and holding an image input from the image input system, and the pixel for each pixel of the input image. Image processing means for restoring the three-dimensional position information based on the pixel value of the pixel and the pixel values of the pixels around the pixel, and the one based on the three-dimensional position information restored by the image processing means. An image processing system having a two-dimensional position image generating means for generating a two-dimensional image corresponding to a viewpoint different from the viewpoint and having two-dimensional position information, and receiving the video information output from the image processing system, Consisting of a three-dimensional display system for displaying a stereoscopic image based on the composed two images.
【００１９】また、本発明の他の特徴としては、画像入
力系への入力が２つの視点から投影され位置情報として
は２次元である入力画像が２枚の場合には、入力信号を
画像処理系を通さずに３次元表示系へ送るようにしてい
る。As another feature of the present invention, when the input to the image input system is projected from two viewpoints and the number of input images is two-dimensional as position information, the input signal is subjected to image processing. It is designed to be sent to the 3D display system without passing through the system.
【００２０】また、本発明の３次元画像表示装置のその
他の特徴としては、１つの視点から投影され位置情報と
しては２次元である入力画像を１枚入力したり、または
２つの視点から投影され位置情報としては２次元である
入力画像を２枚入力したりする画像入力系と、上記画像
入力系から入力される画像を取り込んで保持する入力画
像保持手段、上記入力画像の各画素について、上記画素
の画素値および上記画素の周囲の画素の画素値に基づい
て上記画素に対応する３次元空間内の点を上記１つの視
点とは異なる視点から２次元の面に投影した場合におけ
る上記２次元の面上での上記視点に対応する画素位置を
知識ベースを用いた推論によって算出する画像処理手
段、および上記画像処理手段で算出された画素位置に基
づいて上記異なる視点から投影され、かつ位置情報とし
ては２次元である画像を生成する２次元位置画像生成手
段を有する画像処理系と、上記画像処理系からの出力を
受けて視点の異なる２画像に基いて立体視画像を表示す
る３次元表示系とを具備している。Another feature of the three-dimensional image display device of the present invention is that it inputs one input image which is projected from one viewpoint and has two-dimensional position information, or is projected from two viewpoints. An image input system for inputting two input images which are two-dimensional as position information, an input image holding means for fetching and holding an image input from the image input system, and each pixel of the input image are described above. The two-dimensional case where a point in the three-dimensional space corresponding to the pixel is projected from a viewpoint different from the one viewpoint on a two-dimensional surface based on the pixel value of the pixel and the pixel values of the pixels around the pixel Image processing means for calculating the pixel position corresponding to the viewpoint on the plane of the image by inference using a knowledge base, and the different visual images based on the pixel position calculated by the image processing means. An image processing system having a two-dimensional position image generating means for generating an image projected from the image and having two-dimensional position information, and stereoscopic vision based on two images from different viewpoints upon receiving an output from the image processing system. And a three-dimensional display system for displaying an image.
【００２１】また、本発明のその他の特徴としては、上
記画像入力系への入力が２つの視点から投影され位置情
報としては２次元である入力画像が２枚の場合には、入
力信号を上記画像処理系を通さずに３次元表示系へ直接
送るようにしている。Another feature of the present invention is that when the input to the image input system is projected from two viewpoints and the position information is two-dimensional input images, there are two input images. It is sent directly to the three-dimensional display system without passing through the image processing system.
【００２２】[0022]
【作用】本発明は上記技術手段を有するので、以下の作
用が得られる。すなわち、ヘッドマウンテッドディスプ
レイやレンチキュラディスプレイなどの３次元ディスプ
レイを用いて立体視を行う場合、上記立体視に使用され
る２枚の２次元画像は、視点は異なるものの、相互間で
大きな違いがあるわけではない。Since the present invention has the above technical means, the following effects can be obtained. That is, when performing stereoscopic vision using a three-dimensional display such as a head-mounted display or a lenticular display, the two two-dimensional images used for the stereoscopic vision have different viewpoints, but there are large differences between them. Do not mean.
【００２３】したがって、２次元画像がいくら複雑なも
のであっても、その２次元画像の各領域に対して局所的
な変形を行うことにより、その２次元画像と対になって
立体視に使用される２次元画像を生成することは可能で
ある。問題は、どのようにこの局所的な変形を行うかで
ある。Therefore, no matter how complicated the two-dimensional image is, by locally deforming each area of the two-dimensional image, the two-dimensional image is paired with the two-dimensional image for stereoscopic viewing. It is possible to generate a two-dimensional image that is rendered. The question is how to make this local deformation.
【００２４】そこで、入力画像である２次元画像に注目
すると、この２次元画像自体に位置３次元情報への手掛
かりが含まれている。それゆえ、この手掛かりを利用す
ることによって、入力画像の各画素について、その画素
の画素値および周囲の画素の画素値から、その画素に対
する３次元での位置情報を復元することが可能となる。
そして、各画素に対応する３次元での位置情報を復元で
きれば、その復元された位置情報を元に入力画像とは異
なる視点からの画像（変換画像）を生成することによ
り、１対の立体視用の画像が得られることになる。Then, when attention is paid to the two-dimensional image which is the input image, the two-dimensional image itself includes a clue to the three-dimensional position information. Therefore, by using this clue, it becomes possible to restore the three-dimensional position information for each pixel of the input image from the pixel value of that pixel and the pixel values of the surrounding pixels.
Then, if the three-dimensional position information corresponding to each pixel can be restored, an image (converted image) from a viewpoint different from that of the input image is generated based on the restored position information, whereby a pair of stereoscopic images is obtained. Image will be obtained.
【００２５】ところで、人間は、絵画や写真などの１枚
の２次元画像から、無意識のうちに画像に現れた３次元
構造を把握している。ここでは、２次元画像が透視図投
影によるもの、すなわち、遠近法で表現されているもの
とする。人間がどのように３次元構造を把握しているか
は、次第に明らかになりつつある（「ビジョン−視覚の
計算理論と脳内表現−」、デビッド・マー著、乾敏郎、
安藤広志訳、産業図書、１９８７年など）。たとえば、
小さく現れているものほど遠くにあると判断したり、画
像に現れている物体が何であるか（人であるか家である
かなど）を認識したりして、その物体の典型的大きさに
関する知識を基にその物体までの距離を推定したりして
いる。By the way, from a single two-dimensional image such as a painting or a photograph, a person unknowingly grasps the three-dimensional structure appearing in the image. Here, it is assumed that the two-dimensional image is based on perspective projection, that is, is represented by the perspective method. It is becoming clearer how humans perceive 3D structures ("Vision: Computational Theory of Vision and Brain Expression", by David Ma, Toshiro Inui,
Translated by Hiroshi Ando, Sangyo Tosho, 1987). For example,
Knowledge of the typical size of an object, by deciding that the smaller the object is, the further away it is, and recognizing what the object appears in the image (whether it is a person or a house). It estimates the distance to the object based on.
【００２６】したがって、人間が無意識に判断している
基準を客観的に表現した推論規則を集積して知識ベース
とし、この知識ベースを用いて推論を行うことにより、
入力画像の各画素について、その画素に対応する３次元
空間内の点の位置を推定することができる。「立体視用
位置３次元情報」の観点からすれば、入力画像の視点と
は異なる視点からの投影像における対応する画素位置が
分かればよいから、知識ベースを用いた推論は容易に行
える。この画素位置が分かれば、入力画像とは異なる視
点位置からの２次元画像を生成することができるので、
「立体視用位置３次元情報」が得られるようになる。Therefore, by accumulating the inference rules that objectively express the criteria that humans unconsciously judge to make a knowledge base, and infer using this knowledge base,
For each pixel of the input image, the position of the point in the three-dimensional space corresponding to that pixel can be estimated. From the viewpoint of the “stereoscopic position three-dimensional information”, it is sufficient to know the corresponding pixel position in the projection image from a viewpoint different from the viewpoint of the input image, and therefore inference using a knowledge base can be easily performed. If this pixel position is known, it is possible to generate a two-dimensional image from a viewpoint position different from the input image.
"Stereoscopic position three-dimensional information" can be obtained.
【００２７】すなわち、本発明では、位置情報としては
２次元である既存の映像情報（動画を含む）に対して、
投影によって失われた位置情報１次元分の情報を、位置
情報３次元の情報として部分的に復元し、その３次元位
置情報に基いて別の視点方向からの投影２次元位置画像
を少なくとも１つは作り出す画像処理系を設け、元の投
影２次元位置画像と作り出された投影２次元位置画像情
報の中から２視点方向分の２次元位置画像情報を３次元
表示系に表示することによって、「立体視用位置３次元
情報」を提供できるようにしたものである。That is, according to the present invention, with respect to existing image information (including a moving image) that is two-dimensional as position information,
The position information one-dimensional information lost by the projection is partially restored as position information three-dimensional information, and at least one projected two-dimensional position image from another viewpoint direction is based on the three-dimensional position information. By providing an image processing system for producing, the two-dimensional position image information for two viewpoint directions from the original projected two-dimensional position image and the produced two-dimensional position image information is displayed on the three-dimensional display system. 3D position information for stereoscopic vision "can be provided.
【００２８】具体的には、入力画像に対して立体視を行
うのであれば、視点が異なる２次元画像が１つ得られれ
ばよいから、入力画像が利き目画像であるとすれば、反
利き目画像が生成されるようにすればよい。Specifically, if the input image is to be stereoscopically viewed, one two-dimensional image having different viewpoints can be obtained. Therefore, if the input image is the dominant-eye image, it is a dominant hand. The eye image may be generated.
【００２９】また、入力画像の視点に対して対称な２視
点を選択し、これら２視点のそれぞれから投影した合計
２枚の画像を生成するようにしてもよい。この場合は、
入力画像が中心画像であって、生成される画像が右目画
像、左目画像ということになる。本発明においては、必
要に応じ、１枚の入力画像から複数枚の画像を生成する
ことができる。さらには、生成した画像を新たに入力画
像とし、この新たな入力画像を元にして次の画像を生成
することも可能である。すなわち、１枚の入力画像か
ら、子の画像、孫の画像と言うように、累代の画像を生
成することが可能である。It is also possible to select two viewpoints that are symmetrical with respect to the viewpoint of the input image and generate a total of two images projected from each of these two viewpoints. in this case,
The input image is the central image, and the generated images are the right-eye image and the left-eye image. In the present invention, a plurality of images can be generated from one input image as needed. Furthermore, it is possible to use the generated image as a new input image and generate the next image based on this new input image. That is, it is possible to generate successive images from one input image, such as child images and grandchild images.
【００３０】このように複数の画像を生成した場合、複
数の画像における視点がそれぞれ異なるから、入力画像
の画素と生成される画像（変換画像）の画素とは１対１
で対応するとは限らない。入力画像側の複数の画素が生
成される変換画像の１画素に対応する場合には、推論に
よって最も近いと判断された（入力画像側の）画素を選
択すればよい。一方、生成される変換画像の画素であっ
て入力画像に対応する画素が存在しないものに関して
は、内挿あるいは外挿によって画素値を定めることが可
能である。When a plurality of images are generated in this way, the viewpoints of the plurality of images are different from each other, so that the pixels of the input image and the pixels of the generated image (converted image) are one-to-one.
Does not always correspond. When a plurality of pixels on the input image side correspond to one pixel of the converted image to be generated, the pixel (on the input image side) determined to be closest by inference may be selected. On the other hand, with respect to the pixels of the generated converted image that do not have pixels corresponding to the input image, the pixel value can be determined by interpolation or extrapolation.
【００３１】本発明の３次元画像表示装置では、ヘッド
マウンテッドディスプレイやレンチキュラディスプレイ
等の３次元表示系（３次元ディスプレイ装置）に、１枚
の入力画像に基いて、２次元位置画像生成手段が１枚の
画像を生成する場合には、この画像と入力画像とによっ
て立体視画像を表示するようにすればよい。In the three-dimensional image display device of the present invention, a two-dimensional position image generating means is provided on a three-dimensional display system (three-dimensional display device) such as a head mounted display or a lenticular display based on one input image. When one image is generated, a stereoscopic image may be displayed by this image and the input image.
【００３２】また、２次元位置画像生成手段が複数枚の
画像を生成する場合には、これら生成された画像および
入力画像のうちの視点の異なる２画像によって、立体視
画像を表示するようにすればよい。Further, when the two-dimensional position image generating means generates a plurality of images, it is possible to display a stereoscopic image by two images having different viewpoints among the generated images and the input image. Good.
【００３３】[0033]
【実施例】次に、本発明の３次元画像表示装置の一実施
例について図面を参照して説明する。図１は、本発明の
第１の実施例の３次元画像表示装置の概略構成を示すブ
ロック図である。図示したように、本実施例の３次元画
像表示装置は、画像入力系１、画像処理系２および３次
元表示系３とからなっている。DESCRIPTION OF THE PREFERRED EMBODIMENTS Next, an embodiment of the three-dimensional image display device of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of a three-dimensional image display device according to the first embodiment of the present invention. As shown in the figure, the three-dimensional image display device of this embodiment includes an image input system 1, an image processing system 2 and a three-dimensional display system 3.
【００３４】画像入力系１には、１つの視点から投影さ
れ、位置情報としては２次元である入力画像が１枚、ま
たは２つの視点から投影され位置情報としては２次元で
ある入力画像が２枚入力される。そして、入力された画
像の種類によってその画像情報は、画像処理系２または
３次元表示系３に送られる。本実施例では、入力画像の
種類を判断するための入力画像の種類判断手段１ａが画
像入力系１に設けられている。図２に、上記入力画像の
種類判断手段１ａのフローの例を示す。In the image input system 1, one input image projected from one viewpoint and two-dimensional as position information, or two input images projected from two viewpoints and two-dimensional as position information. Sheets are entered. Then, the image information is sent to the image processing system 2 or the three-dimensional display system 3 depending on the type of the input image. In this embodiment, the image input system 1 is provided with input image type determining means 1a for determining the type of input image. FIG. 2 shows an example of the flow of the input image type determination means 1a.
【００３５】この例では、動作が開始されてステップＰ
１で画像が入力されると、次のステップＰ２で入力され
た画像が複数の（２つの）視点による複数枚（２枚）の
画像であるかどうかを判断するするようにしている。In this example, the operation is started and the step P
When an image is input in step 1, it is determined in the next step P2 whether the input image is a plurality of (two) images from a plurality of (two) viewpoints.
【００３６】これは、入力された画像が複数枚の場合は
「立体視用位置３次元情報」になっているので、３次元
表示系３に直接送られ３次元立体表示される（ステップ
Ｐ３）。また、１視点からの１枚の画像の場合には、別
の視点から見た画像を生成するために画像処理系２に送
られる（ステップＰ４）。この画像処理系２の構成につ
いては、図３に詳しく説明する。This is "stereoscopic position three-dimensional information" when there are a plurality of input images, so it is sent directly to the three-dimensional display system 3 and three-dimensionally displayed (step P3). . Further, in the case of one image from one viewpoint, it is sent to the image processing system 2 to generate an image viewed from another viewpoint (step P4). The configuration of the image processing system 2 will be described in detail with reference to FIG.
【００３７】図３に示すように、ここでは位置情報とし
ては２次元であるオリジナルの画像情報を入力画像１０
とし、入力画像１０から視点の異なる画像（変換画像）
を生成し、入力画像と生成した変換画像とを立体視画像
として３次元表示系３に送って表示するようにしてい
る。As shown in FIG. 3, here, the input image 10 is the original image information which is two-dimensional as the position information.
And an image with a different viewpoint from the input image 10 (converted image)
Is generated, and the input image and the generated converted image are sent to the three-dimensional display system 3 as a stereoscopic image for display.
【００３８】入力画像１０は、具体的には、写真、絵画
など、３次元空間内にある位置情報を、実際に２次元の
面に投影したものである。これらの画像情報は、静止画
像として、位置情報２次元、色空間情報としては白黒画
像なら明度の１次元、カラー画像なら彩度・色相をさら
に加えた３次元の情報を持っている。ここでは、入力画
像１０として、図示されるような「利き目画像５１」が
入力されるとする。利き目画像とは、利き目の位置およ
び方向からの画像のことである。The input image 10 is, specifically, a photograph, a painting, or the like, in which positional information in a three-dimensional space is actually projected onto a two-dimensional surface. The image information includes two-dimensional position information as a still image, one-dimensional lightness as a color image for a monochrome image, and three-dimensional information in which saturation and hue are further added for a color image. Here, it is assumed that the "dominant eye image 51" as illustrated is input as the input image 10. The dominant eye image is an image from the position and direction of the dominant eye.
【００３９】画像処理をするためには、一般的には、入
力画像１０を読み取ってディジタル化処理する画像入力
部１１が設けられる。そして、読み取られた画像情報
は、各画素ごとの画素値（情報）として入力画像用のフ
レームメモリ１２に保存され、フレームメモリ１２から
画像処理部１４と３次元表示系３とに供給されるように
なっている。なお、画像入力系１からの入力画像１０が
デジタル情報として与えられる場合などには、入力画像
１０をフレームメモリ１２に直接入力するようにしても
よい。In order to perform image processing, generally, an image input unit 11 which reads the input image 10 and digitizes it is provided. Then, the read image information is stored in the frame memory 12 for the input image as a pixel value (information) for each pixel, and is supplied from the frame memory 12 to the image processing unit 14 and the three-dimensional display system 3. It has become. When the input image 10 from the image input system 1 is given as digital information, the input image 10 may be directly input to the frame memory 12.
【００４０】画像処理部１４は、入力画像１０の各画素
について、投影によって失われた位置情報１次元分の情
報を、その画素およびまわりの画素の情報より推論し、
３次元位置情報として部分的に復元するためのものであ
る。具体的には、入力画像用のフレームメモリ１２を参
照し、各画素について、その画素の画素値およびその画
素の近傍の画素の画素値に基づき、その画素に対応する
３次元空間内の点を入力画像の視点とは異なる視点から
２次元の面（変換画像面）に投影した場合における、投
影面（変換画像面）上での画素位置を知識ベースによる
推論によって算出するものである。The image processing unit 14 infers, for each pixel of the input image 10, the one-dimensional position information lost by projection from the information of that pixel and surrounding pixels,
This is for partially restoring as three-dimensional position information. Specifically, the frame memory 12 for the input image is referred to, and for each pixel, the point in the three-dimensional space corresponding to the pixel is determined based on the pixel value of the pixel and the pixel value of the pixel in the vicinity of the pixel. When the image is projected onto a two-dimensional surface (converted image surface) from a viewpoint different from the viewpoint of the input image, the pixel position on the projection surface (converted image surface) is calculated by inference based on a knowledge base.
【００４１】画像処理部１４の次段には、画像処理部１
４での位置３次元情報として復元された画像情報が入力
され、入力画像１０とは異なる視点からの２次元画像
（変換画像）を生成する投影２次元位置画像生成部１５
が設けられている。このとき、物体の反射や拡散特性を
用いて、色空間情報も変換されるようにしてもよい。The image processing unit 1 is provided next to the image processing unit 1.
The projected two-dimensional position image generation unit 15 that receives the image information restored as the position three-dimensional information at 4 and generates a two-dimensional image (converted image) from a viewpoint different from the input image 10
Is provided. At this time, the color space information may be converted using the reflection and diffusion characteristics of the object.
【００４２】具体的には、投影２次元位置画像生成部１
５は、画像処理部１４で算出された画素位置に基づき、
変換画像側での各画素（その位置は算出された画素位置
で表される）の画素値を入力画像の画素値から決定す
る。簡単には、入力画像側の対応する画素の画素値をそ
のまま用いてもよいが、色空間情報からの推論によって
画素値を決定してもよい。Specifically, the projection two-dimensional position image generation unit 1
5 is based on the pixel position calculated by the image processing unit 14,
The pixel value of each pixel (the position of which is represented by the calculated pixel position) on the converted image side is determined from the pixel value of the input image. For simplicity, the pixel value of the corresponding pixel on the input image side may be used as it is, but the pixel value may be determined by inference from the color space information.
【００４３】また、投影２次元位置画像生成部１５は、
後述するように、変換画像側に入力画像に対応しない画
素（欠落画像）があった場合に、内挿あるいは外挿によ
ってこの画素の画素値を定めたりする処理も行う。さら
に、この変換画像を保存する変換画像用のフレームメモ
リ１３が設けられており、変換画像はこのフレームメモ
リ１３から３次元表示系３に出力される。この場合は、
入力画像１０が利き目画像５１であったので、変換画像
の視点位置および方向は反利き目のものととられること
が一般的であり、結局、変換画像は図示されるような
「反利き目画像５２」となる。Further, the projection two-dimensional position image generator 15 is
As will be described later, when there is a pixel (missing image) that does not correspond to the input image on the converted image side, processing for determining the pixel value of this pixel by interpolation or extrapolation is also performed. Further, a converted image frame memory 13 for storing the converted image is provided, and the converted image is output from the frame memory 13 to the three-dimensional display system 3. in this case,
Since the input image 10 is the dominant-eye image 51, the viewpoint position and direction of the converted image are generally taken to be those of the dominant hand, and the converted image is the “dominant-eye image” as shown in the figure. Image 52 ".
【００４４】３次元表示系３としては、ヘッドマウンテ
ッドディスプレイ（ＨＭＤ）、偏光を用いて右目ならび
に左目画像を重ねて表示するもの、レンチキュラシート
を用いたものなどを使用することができる。３次元表示
系３は、図４に示すように入力画像用のフレームメモリ
１２から送られてくる入力画像（利き目画像５１）と変
換画像用のフレームメモリ１３から送られてくる変換画
像（反利き目画像５２）とを視差を持った２枚の画像
（右目画像と左目画像）とし、これら２枚の画像を投影
して３次元画像として立体表示するものである。As the three-dimensional display system 3, a head mounted display (HMD), a system for displaying right and left eye images by using polarized light in an overlapping manner, a system using a lenticular sheet, and the like can be used. As shown in FIG. 4, the three-dimensional display system 3 includes an input image (dominant eye image 51) sent from the input image frame memory 12 and a converted image (reverse image) sent from the converted image frame memory 13. The dominant-eye image 52) is used as two images having a parallax (a right-eye image and a left-eye image), and these two images are projected and stereoscopically displayed as a three-dimensional image.
【００４５】次に、画像処理部１４での推論について説
明する。画像処理部１４で行う推論に用いられる推論規
則（知識ルール）としては各種のものが考えられるが、
具体的には、以下に例示される推定などを行えばよい。Next, the inference in the image processing unit 14 will be described. Various types of inference rules (knowledge rules) used for inference performed by the image processing unit 14 are conceivable.
Specifically, the estimation exemplified below may be performed.
【００４６】（１）画像中の要素図形の輪郭（特に直線
図形なかでも台形部の利用）より消失点算出を行い、視
点の位置および各画素の奥行きを推定する。これは、画
像中の台形部は、実空間（３次元空間）での長方形が投
影によって台形となった場合が多いことによる。(1) The vanishing point is calculated from the contour of the element graphic in the image (especially the use of the trapezoidal part in the straight graphic) to estimate the position of the viewpoint and the depth of each pixel. This is because the trapezoidal portion in the image is often a rectangle in the real space (three-dimensional space) that becomes a trapezoid by projection.
【００４７】（２）画像中の要素図形の重なりを濃度や
色相のステップ的変化や輪郭線の交差状況（Ｌ型、Ｔ
型、Ｘ型など）より判断し、各画素の奥行きを推定す
る。(2) The overlapping of element figures in the image is determined by the stepwise change of density and hue and the crossing condition of contour lines (L type, T type).
Type, X type, etc.) to estimate the depth of each pixel.
【００４８】（３）画像中の繰り返し図形に注目し、そ
の大きさと歪み方の変化の規則性より各画素の奥行きを
推定する。これは、画像中の繰り返し図形は、実空間で
は同一サイズの物体である場合が多いことによる。(3) Attention is paid to the repetitive figure in the image, and the depth of each pixel is estimated from the regularity of the change in the size and distortion. This is because the repeated figures in the image are often objects of the same size in the real space.
【００４９】（４）画像中の陰影や鏡面中の写り込みに
注目し、その形状および図形内の濃度勾配より、光源位
置および前後関係、距離勾配などを判断して、各画素の
奥行きを推定する。(4) Paying attention to the shadow in the image and the reflection in the mirror surface, the light source position, the front-rear relationship, the distance gradient, etc. are judged from the shape and the density gradient in the figure to estimate the depth of each pixel. To do.
【００５０】（５）画像中の図形要素の事物が何を表し
ているか（例えば家、人など）を認識し、記憶されてい
るその事物の絶対的大きさおよび細部の対応構造と、図
形での事物の大きさおよびその相似対応関係とを比較す
ることにより、事物の奥行きを推定する。なお、ここで
の認識には、「鉛筆は机上に置かれていることが多い」
など、周囲にあるものとの整合性も利用することができ
る。(5) Recognize what an object of a graphic element in an image represents (for example, a house, a person, etc.), and store the absolute size and the corresponding structure of the details of the object stored and the graphic. The depth of the thing is estimated by comparing the size of the thing and its similarity correspondence. For the recognition here, "a pencil is often placed on the desk."
Consistency with surroundings such as can also be used.
【００５１】（６）後ろ側にあると判断された事物に関
し、隠れている部分の奥行き情報を見えている部分の規
則性より外挿を用いて推定する。(6) For an object judged to be on the back side, the depth information of the hidden part is estimated by extrapolation from the regularity of the visible part.
【００５２】（７）一般的な法則、例えば、重力の働い
ているところでは画面の下方にある物体は近くにあるこ
とが多く、画面上方にあるものは天井や街灯（ランプ部
分）などを除いては遠くにあることが多い。また、近景
と遠景とでは空間周波数特性や分光特性が異なることが
多く、解像度が悪い（ボケている部分）部分は遠い部分
であることが多い。さらに、明度情報が緩やかに変化し
ていくものは曲面で構成される場合が多く、直線で囲ま
れるものは多面体、曲線で囲まれるものは円板を除き曲
面で囲まれる立体であることが多い、などの法則を用い
て各画素の奥行きを推定する。(7) A general law, for example, in the place where gravity works, an object below the screen is often nearby, and an object above the screen excludes the ceiling and street lamps (lamps). Are often far away. Also, the spatial frequency characteristic and the spectral characteristic are often different between the near view and the distant view, and the poor resolution (blurred portion) is often a distant portion. Furthermore, things whose brightness information changes gently are often composed of curved surfaces, those enclosed by straight lines are polyhedrons, and those enclosed by curves are often solids enclosed by curved surfaces excluding discs. , Etc. are used to estimate the depth of each pixel.
【００５３】これらの推定を単独で、あるいは適宜組み
合わせることにより奥行き判定が行われ、位置情報３次
元の情報が、部分的ではあるが復元される。精度向上の
ためには、これら奥行き判定技術を組み合わせることが
望ましい。次に、この画像処理装置の動作について、図
５および図６に示したフローチャートを用いて詳細に説
明する。なお、図５および図６は、同一のフローチャー
トのそれぞれ前半部分、後半部分であって、図５にはス
テップＰ１〜Ｐ１２が、図６にはステップＰ１３〜Ｐ１
９がそれぞれ示されている。Depth determination is performed by using these estimations singly or in combination, and the three-dimensional position information is restored although it is partial. To improve accuracy, it is desirable to combine these depth determination techniques. Next, the operation of this image processing apparatus will be described in detail with reference to the flowcharts shown in FIGS. 5 and 6 are the first half part and the second half part of the same flowchart, respectively, in which steps P1 to P12 are shown in FIG. 5 and steps P13 to P1 are shown in FIG.
9 are shown respectively.
【００５４】まず、画像入力部１１は、入力画像１０と
して色空間情報〔明度、（色相）、（彩度）〕をもつ２
次元画像を読み込み、画素に分解する（ステップＰ
１）。画素に分解された入力画素１０は、入力画像用の
フレームメモリ１２に書き込まれる（ステップＰ２）。First, the image input section 11 has color space information [lightness, (hue), (saturation)] as the input image 2
Read the 3D image and decompose it into pixels (Step P
1). The input pixel 10 decomposed into pixels is written in the frame memory 12 for the input image (step P2).
【００５５】続いて、フレームメモリ１２より、入力画
像中の画素であって変換の対象とする画素を１つ取り出
す（ステップＰ３）。画像処理部１４は、入力画像の取
り出された画素にし、その画素の画像情報（画素値）と
その画素の周囲の画素の画素値とに基づき、変換画像で
の対応画素の画素位置（アドレス）を算出する（ステッ
プＰ４）。Then, from the frame memory 12, one pixel in the input image to be converted is taken out (step P3). The image processing unit 14 sets the extracted pixel of the input image to the pixel position (address) of the corresponding pixel in the converted image based on the image information (pixel value) of the pixel and the pixel values of the pixels around the pixel. Is calculated (step P4).
【００５６】周囲の画素の画素値はフレームメモリ１２
を参照して入手し、画素位置の算出には上述したような
知識ベースを用いた推論を利用する。入力画像１０が利
き目画像であれば、変換画像は、例えば反利き目画像と
なる。算出した画素位置は投影２次元位置画像生成部１
５に送られる。The pixel values of the surrounding pixels are the frame memory 12
And the inference using the knowledge base as described above is utilized for the calculation of the pixel position. If the input image 10 is a dominant-eye image, the converted image is, for example, an anti-dominant-eye image. The calculated pixel position is the projected two-dimensional position image generation unit 1.
Sent to 5.
【００５７】投影２次元位置画像生成部１５は、まず、
算出された画素位置が変換画像のフレーム内に収まって
いるかどうかを判定する（ステップＰ５）。そして、フ
レーム外と判断した場合にはステップＰ１１に飛び、フ
レーム内と判断した場合には、変換画像用のフレームメ
モリ１３を参照して、変換画像において算出された画素
位置に既に色空間情報が書き込まれているかを判断する
（ステップＰ６）。The projected two-dimensional position image generator 15 first
It is determined whether the calculated pixel position is within the frame of the converted image (step P5). When it is determined that the color space information is outside the frame, the process jumps to Step P11. When it is determined that the color space is inside the frame, the frame memory 13 for the converted image is referred to, and the color space information is already stored in the pixel position calculated in the converted image. It is judged whether or not it has been written (step P6).
【００５８】ステップＰ６の判定の結果、書き込まれて
いない場合には、ステップＰ９にジャンプする。また、
書き込まれている場合は、入力画像側の異なる画素が変
換画像側の同一画素位置に対応する場合であるから、今
取り扱おうとしている（入力画像側の）画素に対応する
３次元空間内での位置が、既に書き込まれている色空間
情報に対応する３次元空間内での位置よりも手前にある
かどうか、すなわち、視点側にあるかどうかを判断する
（ステップＰ７）。If the result of determination in step P6 is that it is not written, processing jumps to step P9. Also,
In the case of being written, different pixels on the input image side correspond to the same pixel position on the converted image side. Therefore, in the three-dimensional space corresponding to the pixel (on the input image side) to be handled now. It is determined whether or not the position is in front of the position in the three-dimensional space corresponding to the already written color space information, that is, whether or not it is on the viewpoint side (step P7).
【００５９】この判定の結果、手前側にない場合には、
その情報は変換画像では隠れている部分の情報なので無
視することとし、ステップＰ１１に飛ぶ。また、手前側
にある場合には、ステップＰ８に進み、既に書き込まれ
ている情報は変換画像では見えないはずのものなので、
対象としている画素位置に書き込まれている情報を消去
し、ステップＰ９へと進む。If the result of this determination is that it is not on the front side,
Since that information is the information of the hidden part in the converted image, it is ignored and the process jumps to step P11. If it is on the front side, the process proceeds to step P8, and the already written information should not be seen in the converted image.
The information written in the target pixel position is erased, and the process proceeds to step P9.
【００６０】ステップＰ９では、知識ベースを使用した
推論により、変換画像における算出された画素位置の画
素（変換画素）に対する色空間情報（画素値）を算出す
る。そして、変換画像用のフレームメモリ１３内の算出
された画素位置に、求めた色空間情報を書き込む（ステ
ップＰ１０）。以上の処理により、入力画像１０から取
り出した１つの画素に対する変換が終了したことにな
り、ステップＰ１１に移行する。In step P9, color space information (pixel value) for the pixel at the calculated pixel position (converted pixel) in the converted image is calculated by inference using the knowledge base. Then, the obtained color space information is written in the calculated pixel position in the frame memory 13 for the converted image (step P10). With the above processing, the conversion for one pixel extracted from the input image 10 is completed, and the process moves to step P11.
【００６１】ステップＰ１１では、次に、変換すべき画
素、すなわち、変換が行われていない画素が入力画像内
に残っているかどうかの判断を行う。そして、変換すべ
き画素が残っている場合には、次に、ステップＰ１２に
進み、変換する画素を入力画像用のフレームメモリ１２
から取り出す。次に、新たに取り出した画素に対して上
述の処理を実行するために、ステップＰ４に戻る。In step P11, it is next determined whether or not the pixel to be converted, that is, the pixel which has not been converted remains in the input image. Then, if there are remaining pixels to be converted, the process proceeds to step P12, and the pixels to be converted are set to the frame memory 12 for the input image.
Take out from. Next, the process returns to step P4 in order to execute the above processing on the newly extracted pixel.
【００６２】一方、ステップＰ１１の判定の結果、変換
すべき画素が残っていない場合、すなわち、入力画像の
全画像に対して変換処理が実行された場合には、欠落画
素に対する処理を行うためにステップＰ１３に移行す
る。On the other hand, if the result of determination in step P11 is that there are no pixels remaining to be converted, that is, if the conversion processing has been executed for all images of the input image, in order to perform processing for the missing pixels. Control goes to step P13.
【００６３】ステップＰ１３では、変換画像用のフレー
ムメモリ１３から、チェック対象の画素を１つ取り出
す。そして、取り出しが終了したら、ステップＰ１４に
進み、取り出した画素に色空間情報が書き込まれている
かどうかを判断する。この判定の結果、色空間情報が書
き込まれている場合は、その画素が欠落画素でない場合
なので、ステップＰ１７へ飛ぶ。At step P13, one pixel to be checked is taken out from the frame memory 13 for converted image. When the extraction is completed, the process proceeds to step P14, and it is determined whether the color space information is written in the extracted pixel. If the result of this determination is that the color space information has been written, that pixel is not a missing pixel, and so processing jumps to step P17.
【００６４】一方、書き込まれていない場合は、その画
素が欠落画素、すなわち、入力画像側に対応する画素が
存在しない画素なので、この画素に付与すべき色空間情
報を内挿あるいは外挿によって補う必要がある場合であ
る。この場合は、ステップＰ１５に進んで変換画像用の
フレームメモリ１３を参照し、この欠落画素の周囲の画
素の画素値の基づき、欠落画素の色空間情報を算出す
る。On the other hand, if it is not written, the pixel is a missing pixel, that is, the pixel corresponding to the input image side does not exist, so the color space information to be given to this pixel is supplemented by interpolation or extrapolation. This is when it is necessary. In this case, the process proceeds to step P15, the converted image frame memory 13 is referred to, and the color space information of the missing pixel is calculated based on the pixel values of the pixels around the missing pixel.
【００６５】なお、上記欠落画素の色空間情報を算出す
るのは、単純に、近傍の画素の画素値の平均値をもって
欠落画素の色空間情報としてもよいが、ここでは、知識
ベースを用いた推論によって色空間情報を求めるものと
した。そして、算出が終了したら、次に、ステップＰ１
６に進み、算出した色空間情報をフレームメモリ１３上
の対応する画素に書き込む。これにより、変換画像用の
フレームメモリ１３から取り出した１つの画素が欠落画
素であった場合の処理が終了するので、ステップＰ１７
に移行する。Note that the color space information of the missing pixel may be calculated simply by using the average value of the pixel values of neighboring pixels as the color space information of the missing pixel, but here, the knowledge base is used. The color space information is obtained by inference. Then, when the calculation is completed, next, step P1
In step 6, the calculated color space information is written in the corresponding pixel on the frame memory 13. As a result, the process in the case where one pixel extracted from the frame memory 13 for converted images is a missing pixel is completed, so that the process in step P17 is completed.
Move to.
【００６６】ステップＰ１７では、変換画像の画素であ
って欠落画素かどうかのチェックがまだ行われていない
画素が残っているかどうかの判断を行う。チェックが行
われていない画素が残っている場合には、次に、ステッ
プＰ１８に進んでチェックする画素を取り出し、ステッ
プＰ１４に戻る。In step P17, it is determined whether or not there is a pixel in the converted image that has not been checked for missing pixels. If there are unchecked pixels, the process proceeds to step P18, the pixels to be checked are extracted, and the process returns to step P14.
【００６７】また、ステップＰ１７の判定の結果、変換
画像の全ての画素についてチェックが行われている場合
には、ステップＰ１９に進み、変換画像に対し画像品位
の観点からの再チェックを行う。この再チェックは、変
換画像の全ての画素について、周囲の画素との関連性が
妥当なものかどうかを判断することによって行う。If it is determined in step P17 that all the pixels in the converted image have been checked, the process proceeds to step P19, and the converted image is rechecked from the viewpoint of image quality. This recheck is performed by determining whether or not all the pixels of the converted image have a proper relationship with surrounding pixels.
【００６８】そして、知識ベースと照合し、関連性が妥
当でない場合、すなわち、画像が不自然な場合には、画
像処理部１４によって微小修正を行うようにする。ま
た、場合によっては、ユーザが微小修正を行うようにし
てもよい。なお、ステップＰ１９の再チェック工程は必
要に応じて行われるものであり、省略することも十分に
可能である。Then, it is collated with the knowledge base, and if the relevance is not appropriate, that is, if the image is unnatural, the image processing unit 14 performs minute correction. Further, in some cases, the user may make a minute correction. The recheck process in step P19 is performed as needed, and can be omitted satisfactorily.
【００６９】以上の処理により、入力画像１０からの変
換画像の生成が完了する。そして、フレームメモリ１２
内の入力画像と、フレームメモリ１３内の変換画像は、
ともに３次元表示系３に送られ、３次元表示系３によっ
て立体画像として表示される。With the above processing, the generation of the converted image from the input image 10 is completed. Then, the frame memory 12
The input image in the frame and the converted image in the frame memory 13 are
Both are sent to the three-dimensional display system 3 and displayed as a stereoscopic image by the three-dimensional display system 3.
【００７０】次に、図７に従って本発明の第２の実施例
を説明する。この第２の実施例では、撮影された１枚の
入力画像に対して生成される変換画像の枚数は１枚とは
限られず、複数枚の変換画像を生成することが可能であ
る。Next, a second embodiment of the present invention will be described with reference to FIG. In the second embodiment, the number of converted images generated for one captured input image is not limited to one, and it is possible to generate a plurality of converted images.
【００７１】図７は、本発明の３次元画像表示装置の第
２の実施例の画像処理系を示すブロック図である。な
お、画像入力系１および３次元表示系３は、上述した第
１の実施例と基本的には同じなので詳しい説明は省略す
る。この第２の実施例における画像処理系では、１枚の
入力画像２０に対し、２枚の変換画像が生成されるよう
になっている。FIG. 7 is a block diagram showing the image processing system of the second embodiment of the three-dimensional image display device of the present invention. The image input system 1 and the three-dimensional display system 3 are basically the same as those in the above-described first embodiment, and detailed description thereof will be omitted. In the image processing system according to the second embodiment, two converted images are generated for one input image 20.
【００７２】入力画像２０を読み取る画像入力部２１の
出力側には、入力画像用のフレームメモリ２２が設けら
れ、フレームメモリ２２の出力側には画像処理部２４が
設けられている。画像処理部２４の構成は、実施例１の
画像処理部１４と同様のものであるが、この第２の実施
例の場合は変換画像を２枚生成するようにしているの
で、知識ベースを用いた推論によって、入力画像２０の
１画素に対して２つの画素位置を算出するように構成さ
れている。A frame memory 22 for the input image is provided on the output side of the image input section 21 for reading the input image 20, and an image processing section 24 is provided on the output side of the frame memory 22. The configuration of the image processing unit 24 is the same as that of the image processing unit 14 of the first embodiment, but in the case of the second embodiment, two converted images are generated, so that the knowledge base is used. It is configured to calculate two pixel positions with respect to one pixel of the input image 20 by the above inference.
【００７３】この場合、入力画像２０の視点に関して対
称的に配置された２つの視点のそれぞれからの画素位置
が算出されるようになっている。すなわち、入力画像２
０が図示されるような中心画像５３であるとすると、本
実施例における変換画像は、左目画像５４および右目画
像５５ということになる。画像処理部２４の出力側に
は、算出された画素位置が入力する投影２次元位置画像
生成部２５が設けられている。In this case, the pixel position from each of the two viewpoints symmetrically arranged with respect to the viewpoint of the input image 20 is calculated. That is, the input image 2
If 0 is the central image 53 as shown, the converted images in this embodiment are the left-eye image 54 and the right-eye image 55. On the output side of the image processing unit 24, a projected two-dimensional position image generation unit 25 to which the calculated pixel position is input is provided.
【００７４】この投影２次元位置画像生成部２５は、上
述した第１の実施例の投影２次元位置画像生成部１５と
同様の構成のものであるが、一方の変換画像（例えば左
目画像）に対応する画素位置から一方の変換画像を生成
して一方の変換画像用のフレームメモリ２３Ｌに格納
し、他方の変換画像（例えば右目画像）に対応する画素
位置から他方の変換画像を生成して他方の変換画像用の
フレームメモリ２３Ｒに格納するように構成されてい
る。The projection two-dimensional position image generation unit 25 has the same configuration as the projection two-dimensional position image generation unit 15 of the first embodiment described above, but one converted image (for example, the left eye image) is One converted image is generated from the corresponding pixel position and stored in the frame memory 23L for one converted image, and the other converted image is generated from the pixel position corresponding to the other converted image (for example, the right-eye image) and the other converted image is generated. The converted image is stored in the frame memory 23R.
【００７５】このように各フレームメモリ２３Ｌ、２３
Ｒに保存された各変換画像は、視差をもった２枚の画像
として、ヘッドマウンテッドディスプレイ、レンチキュ
ラディスプレイなどの３次元表示系３に送られて立体表
示される。本実施例は、入力画像から生成される変換画
像が２枚であるので、第１の実施例に比べて多くの処理
時間を要する。In this way, each frame memory 23L, 23
Each converted image stored in R is sent to the three-dimensional display system 3 such as a head-mounted display or a lenticular display as two images having parallax and is stereoscopically displayed. In the present embodiment, since the number of converted images generated from the input image is two, it takes a longer processing time than the first embodiment.
【００７６】また、本実施例の画像処理装置では、入力
画像において隠れているが変換画像上では見えてくる部
分を外挿や推論によって推定しているので、入力画像の
視点から変換画像の視点までの距離が大きくなるにつ
れ、推定の不確実性による画像情報の誤りの度合いが急
速に増加する。Further, in the image processing apparatus of this embodiment, since the portion hidden in the input image but visible on the converted image is estimated by extrapolation or inference, the viewpoint of the input image to that of the converted image is estimated. As the distance to is increased, the degree of error in the image information due to estimation uncertainty increases rapidly.
【００７７】しかし、本実施例では２枚の画像間で同じ
視差を得ようとする場合、第１の実施例に比べて処理時
間は余計にかかるものの、個々の変換画像の視点と入力
画像の視点との距離が第１の実施例に比べて半分なの
で、第１の実施例と比べて全体としての画像情報の誤り
を少なく押さえることができる。However, in this embodiment, when it is attempted to obtain the same parallax between two images, the processing time is longer than that in the first embodiment, but the viewpoints of the individual converted images and the input images are different. Since the distance from the viewpoint is half that in the first embodiment, it is possible to reduce errors in the image information as a whole as compared with the first embodiment.
【００７８】次に、図８を参照して本発明の第３の実施
例を説明する。本実施例の画像処理装置は、静止画像の
みならず、位置情報としては２次元である動画像にも適
用することができるようにしている。Next, a third embodiment of the present invention will be described with reference to FIG. The image processing apparatus of the present embodiment can be applied not only to a still image but also to a moving image having two-dimensional position information.
【００７９】図８は、本実施例の３次元画像表示装置の
画像処理装置を示すブロック図である。この第３の実施
例における画像処理装置は、第１の実施例で示した画像
処理装置と同様に、画像入力部３１、入力画像用のフレ
ームメモリ３２、変換画像用のフレームメモリ３３、画
像処理部３４、投影２次元位置画像生成部３５によって
構成されており、これら各構成要素は動画対応となって
いる。FIG. 8 is a block diagram showing the image processing apparatus of the three-dimensional image display apparatus of this embodiment. The image processing apparatus according to the third embodiment is similar to the image processing apparatus shown in the first embodiment in that the image input unit 31, the input image frame memory 32, the converted image frame memory 33, and the image processing unit. It is composed of a unit 34 and a projected two-dimensional position image generation unit 35, and each of these constituent elements corresponds to a moving image.
【００８０】入力画像３０としては映画やビデオなどが
用いられ、画像入力部３１はこれらの入力画像３０をフ
レームごとにシーケンシャルに読み取って画素に分解す
るように構成されている。この場合、入力画像３０は動
画であるから、位置情報２次元、色空間情報が少なくと
も１次元であるほか、時間軸方向にもシーケンシャルな
情報をもっている。これに対応し、画像処理部３４にお
ける推論において、第１の実施例で説明した推論規則の
他に、以下に示すような推論規則を使用するようにして
いる。A movie, a video or the like is used as the input image 30, and the image input section 31 is configured to sequentially read the input image 30 frame by frame and decompose it into pixels. In this case, since the input image 30 is a moving image, the position information is two-dimensional and the color space information is at least one-dimensional, and also has sequential information in the time axis direction. Corresponding to this, in the inference in the image processing unit 34, the following inference rule is used in addition to the inference rule described in the first embodiment.
【００８１】すなわち、（８）時間軸方向に異なるいく
つかのフレームを解析して撮影視点に対して相対的に運
動している運動物体を抽出し、その物体の運動視差を用
いることによりその物体の奥行き方向の運動の様子を推
定する。That is, (8) a number of different frames in the time axis direction are analyzed to extract a moving object that is moving relative to the photographing viewpoint, and the motion parallax of the object is used to extract the object. Estimate the movement in the depth direction of.
【００８２】（９）物体が運動していくと隠れた部分が
見えてくることを利用し、時間的に異なった別のフレー
ムの対応物体の情報より、図形の背後部分に隠されてい
る奥行き方向の情報を推定する。(9) By utilizing the fact that the hidden part becomes visible as the object moves, the depth hidden behind the figure is determined from the information of the corresponding object in another frame that is temporally different. Estimate direction information.
【００８３】ここでは入力画像３０は、図示されるよう
なシーケンシャルな利き目画像５６であるとする。画像
処理部３４は、入力画像の各フレームごとにそのフレー
ムに含まれる各画素について、その画素に対応する変換
画像中での画素位置を推論によって算出し、算出した画
素位置を投影２次元位置画像生成部３５に送る。Here, it is assumed that the input image 30 is a sequential dominant eye image 56 as shown in the figure. The image processing unit 34 calculates, for each frame of the input image, the pixel position in the converted image corresponding to the pixel included in the frame by inference, and the calculated pixel position is the projected two-dimensional position image. It is sent to the generation unit 35.
【００８４】投影２次元値画像生成部３５は、画像処理
部３４からの画素位置情報に基づき、各フレームごとに
変換画像を生成する。この変換画像は、図示されるよう
なシーケンシャルな反利き目画像５７となる。The projected two-dimensional value image generation section 35 generates a converted image for each frame based on the pixel position information from the image processing section 34. This converted image becomes a sequential dominant eye image 57 as shown in the figure.
【００８５】そして、入力画像（利き目画像５６）およ
び変換画像（反利き目画像５７）は、それぞれフレーム
メモリ３２、３３を経由して必要に応じて３次元表示系
３に送られ、視差をもった２組の動画像として投影さ
れ、立体動画像として上記３次元表示系３に表示され
る。Then, the input image (dominant-eye image 56) and the converted image (anti-dominant-eye image 57) are sent to the three-dimensional display system 3 as needed via the frame memories 32 and 33, respectively, and the parallax is displayed. It is projected as two sets of moving images and is displayed on the three-dimensional display system 3 as a three-dimensional moving image.
【００８６】本実施例においても、第２の実施例と同様
に、動画像である入力画像とは異なる２視点にそれぞれ
対応する２つの変換画像（動画像）を生成し、生成した
２つの変換画像を用いて３次元動画像表示を行うように
することもできる。例えば、入力画像が中心画像である
とき、左目画像および右目画像を変換画像として生成す
るようにすることもできる。この場合は、変換画像用の
フレームメモリを２つ設けることになる。Also in the present embodiment, as in the second embodiment, two converted images (moving images) respectively corresponding to two viewpoints different from the input image which is a moving image are generated, and the two generated conversions are generated. It is also possible to display a three-dimensional moving image using an image. For example, when the input image is the central image, the left-eye image and the right-eye image may be generated as converted images. In this case, two frame memories for converted images are provided.
【００８７】[0087]
【発明の効果】本発明は上述したように、複数視点（２
視点）からの複数枚（２枚）の入力画像のみならず、１
つの視点から投影され位置情報としては２次元である入
力画像の各画素に対し、その画素の画素値および周囲の
画素の画素値に基づいて３次元の位置情報を復元し、入
力画像とは異なる視点からの２次元画像を生成するよう
にしたので、１枚の２次元画像のみを用いて立体視表示
を行うようにすることができる。また、入力された視点
の画像とは異なった２視点の画像を用いた立体視表示を
行うことができる。したがって、既存の２次元画像情
報、映像情報から３次元画素情報、映像情報を容易に作
成することができ、３次元画像ソフトウェアの充実を図
るようにすることができる。As described above, the present invention has a plurality of viewpoints (2
Not only multiple (2) input images from viewpoints, but also 1
For each pixel of the input image that is projected from two viewpoints and has two-dimensional position information, three-dimensional position information is restored based on the pixel value of that pixel and the pixel values of surrounding pixels, and is different from the input image. Since the two-dimensional image is generated from the viewpoint, stereoscopic display can be performed using only one two-dimensional image. Further, it is possible to perform stereoscopic display using images of two viewpoints different from the input viewpoint image. Therefore, it is possible to easily create the three-dimensional pixel information and the video information from the existing two-dimensional image information and the video information, and to enhance the three-dimensional image software.
【図１】本発明の３次元画像表示装置の第１の実施例の
概略構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of a first embodiment of a three-dimensional image display device of the present invention.
【図２】第１の実施例の画像入力系の処理手順を示すフ
ローチャートである。FIG. 2 is a flowchart showing a processing procedure of an image input system according to the first embodiment.
【図３】第１の実施例の画像処理系の構成を示すブロッ
ク図である。FIG. 3 is a block diagram showing a configuration of an image processing system according to a first embodiment.
【図４】第１の実施例の３次元表示系の構成を示すブロ
ック図である。FIG. 4 is a block diagram showing a configuration of a three-dimensional display system of the first embodiment.
【図５】第１の実施例の画像処理系の処理手順を示すフ
ローチャートである。FIG. 5 is a flowchart showing a processing procedure of the image processing system of the first embodiment.
【図６】第１の実施例の画像処理系の処理手順を示すフ
ローチャートである。FIG. 6 is a flowchart showing a processing procedure of the image processing system of the first embodiment.
【図７】第２の実施例の３次元画像表示装置の画像処理
系の構成を示すブロック図である。FIG. 7 is a block diagram showing a configuration of an image processing system of a three-dimensional image display device according to a second embodiment.
【図８】第３の実施例の３次元画像表示装置の画像処理
系の構成を示すブロック図である。FIG. 8 is a block diagram showing a configuration of an image processing system of a three-dimensional image display device according to a third embodiment.
１ 画像入力系 ２ 画像処理系 ３ ３次元表示系 １０，２０，３０ 入力画像 １１，２１，３１ 画像入力部 １２，１３，２２，２３Ｌ，２３Ｒ，３２，３３ フレ
ームメモリ １４，２４，３４ 画像処理部 １５，２５，３５ 投影２次元位置画像生成部 ５１，５６ 利き目画像 ５２，５７ 反利き目画像 ５３ 中心画像 ５４ 左目画像 ５５ 右目画像1 Image Input System 2 Image Processing System 3 3D Display System 10, 20, 30 Input Image 11, 21, 31 Image Input Section 12, 13, 22, 23L, 23R, 32, 33 Frame Memory 14, 24, 34 Image Processing Part 15, 25, 35 Projection two-dimensional position image generation unit 51, 56 Dominant eye image 52, 57 Anti-dominant eye image 53 Central image 54 Left eye image 55 Right eye image
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｆ 15/18 ５５０ Ｇ 9071−5Ｌ Ｇ０６Ｔ 7/00 Ｈ０４Ｎ 13/00 9365−5Ｌ Ｇ０６Ｆ 15/72 ４５０ Ａ ─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 6 Identification number Internal reference number FI Technical display location G06F 15/18 550 G 9071-5L G06T 7/00 H04N 13/00 9365-5L G06F 15/72 450 A
Claims (11)
は２次元である入力画像を１枚入力したり、２つの視点
から投影され位置情報としては２次元である入力画像を
２枚入力したりするための画像入力系と、 上記画像入力系から入力される画像を取り込んで保持す
る入力画像保持手段、上記入力画像の各画素について、
上記画素の画素値および上記画素の周囲の画素の画素値
に基づいて３次元での位置情報を復元する画像処理手
段、および上記画像処理手段で復元された３次元での位
置情報に基づいて上記１つの視点とは異なる視点に対応
し、かつ位置情報としては２次元である画像を生成する
２次元位置画像生成手段を有する画像処理系と、 上記画像処理系から出力される映像情報を受けて、視点
の異なる２画像に基いて立体視画像を表示する３次元表
示系とを具備することを特徴とする３次元画像表示装
置。1. Inputting one input image projected from one viewpoint and having two-dimensional positional information, or inputting two input images projected from two viewpoints and two-dimensional as positional information. An image input system for performing the above, an input image holding means for capturing and holding an image input from the image input system, and each pixel of the input image,
An image processing unit that restores three-dimensional position information based on the pixel value of the pixel and the pixel values of pixels around the pixel, and the image processing unit based on the three-dimensional position information restored by the image processing unit. An image processing system having a two-dimensional position image generating means for generating an image which is different from one viewpoint and has two-dimensional position information, and image information output from the image processing system is received. And a three-dimensional display system for displaying a stereoscopic image based on two images with different viewpoints.
の視点から投影され位置情報としては２次元である入力
画像が１枚か、または２つの視点から投影され位置情報
としては２次元である入力画像が２枚かを判断する入力
画像の種類判断手段を上記画像入力系に設け、上記画像
入力系の入力が、２つの視点から投影され位置情報とし
ては２次元である入力画像が２枚の場合には、上記入力
された画像信号を上記画像処理系を通さずに上記３次元
表示系へ直接送るようにしたことを特徴とする請求項１
に記載の３次元画像表示装置。2. In the above three-dimensional image display device, one input image projected from one viewpoint and having two-dimensional position information, or one input image projected from two viewpoints and two-dimensional as position information An input image type determination means for determining whether or not there are two images is provided in the image input system, and the input of the image input system is projected from two viewpoints and two input images are two-dimensional as position information. In this case, the input image signal is directly sent to the three-dimensional display system without passing through the image processing system.
The three-dimensional image display device according to item 1.
ベースを用いた推論によって３次元での位置情報を復元
することを特徴とする請求項１または２に記載の３次元
画像表示装置。3. The three-dimensional image display device according to claim 1, wherein the image processing means of the image processing system restores the three-dimensional position information by inference using a knowledge base.
ては２次元である入力画像を１枚入力したり、または２
つの視点から投影され位置情報としては２次元である入
力画像を２枚入力したりするための画像入力系と、 上記画像入力系から入力される入力画像を取り込んで保
持する入力画像保持手段、上記入力画像の各画素につい
て、上記画素の画素値および上記画素の周囲の画素の画
素値に基づいて上記画素に対応する３次元空間内の点を
上記１つの視点とは異なる視点から２次元の面に投影し
た場合における上記２次元の面上での上記視点に対応す
る画素位置を知識ベースを用いた推論によって算出する
画像処理手段、および上記画像処理手段で算出された画
素位置に基づいて上記異なる視点から投影され、かつ位
置情報としては２次元である画像を生成する２次元位置
画像生成手段を有する画像処理系と、 上記画像処理系から出力される映像情報を受けて視点の
異なる２画像に基づいて立体視画像を表示する３次元表
示系とを具備することを特徴とする３次元画像表示装
置。4. One input image projected from one viewpoint and having two-dimensional position information as position information, or 2
An image input system for inputting two input images which are projected from one viewpoint and are two-dimensional as position information; input image holding means for taking in and holding an input image input from the image input system; For each pixel of the input image, a point in a three-dimensional space corresponding to the pixel based on the pixel value of the pixel and the pixel values of pixels around the pixel is a two-dimensional surface from a viewpoint different from the one viewpoint. Image processing means for calculating the pixel position corresponding to the viewpoint on the two-dimensional surface when projected on the image plane by inference using a knowledge base, and the difference based on the pixel position calculated by the image processing means. An image processing system having a two-dimensional position image generating means for generating an image projected from a viewpoint and having two-dimensional position information, and video information output from the image processing system. 3-dimensional image display apparatus characterized by comprising a three-dimensional display system for displaying a stereoscopic image based on the two different images viewpoints undergoing.
の視点から投影され、位置情報としては２次元である入
力画像が１枚であるか、２つの視点から投影され位置情
報としては２次元の入力画像が２枚であるかかを判断す
る入力画像の種類判断手段を上記画像入力系に設け、上
記画像入力系の入力が２つの視点から投影され、位置情
報としては２次元である入力画像が２枚の場合には、入
力信号を上記画像処理系を通さずに上記３次元表示系へ
直接送るようにしたことを特徴とする請求項４に記載の
３次元画像表示装置。5. In the three-dimensional image display device, one input image is projected from one viewpoint and is two-dimensional as position information, or one input image is projected from two viewpoints and two-dimensional as position information. An input image type determining means for determining whether or not there are two input images is provided in the image input system, and inputs of the image input system are projected from two viewpoints, and the input image is two-dimensional as position information. 5. The three-dimensional image display device according to claim 4, wherein when there are two sheets, the input signal is directly sent to the three-dimensional display system without passing through the image processing system.
入力画像の２以上の画素が上記２次元の面上の同一の画
素位置に対応する場合には、推論により手前側にあると
判断される画素と上記画素位置とを対応させることを特
徴とする請求項４または５に記載の３次元画像表示装
置。6. The image processing means of the image processing system, if two or more pixels of the input image correspond to the same pixel position on the two-dimensional surface, it is inferred to be on the front side. The three-dimensional image display device according to claim 4 or 5, wherein the pixel to be displayed and the pixel position are associated with each other.
段は、上記２次元の面上の画素位置であって、上記入力
画像の画素に対応しないものがある場合には、上記画素
位置に近接する画素位置に対応する画素値からの外挿あ
るいは内挿処理により、上記画素位置に対応する画素値
を算出して画像を生成することを特徴とする請求項４な
いし６のいずれか１項に記載の３次元画像表示装置。7. A two-dimensional position image generating means of the image processing system, if there is a pixel position on the two-dimensional surface that does not correspond to a pixel of the input image, the two-dimensional position image generating means sets the pixel position to the pixel position. 7. An image is generated by calculating a pixel value corresponding to the pixel position by extrapolation or interpolation processing from pixel values corresponding to adjacent pixel positions. The three-dimensional image display device according to item 1.
なる２画像が上記２次元位置画像生成手段で生成された
画像、および上記入力画像の中から選択される２画像で
あることを特徴とする請求項４ないし７のいずれか１項
に記載の３次元画像表示装置。8. The two images with different viewpoints displayed on the three-dimensional display system are the images generated by the two-dimensional position image generating means and the two images selected from the input images. The three-dimensional image display device according to any one of claims 4 to 7.
２次元位置画像生成手段で生成される画像が上記利き目
画像に対応する反利き目画像であり、上記３次元表示系
が上記利き目画像および上記反利き目画像による立体視
画像を表示することを特徴とする請求項１、４乃至７の
いずれか１項に記載の３次元画像表示装置。9. The input image is a dominant eye image, the image generated by the two-dimensional position image generating means is an antidominant image corresponding to the dominant eye image, and the three-dimensional display system is the dominant image. The three-dimensional image display device according to any one of claims 1, 4 to 7, which displays a stereoscopic image based on an eye image and the anti-dominant eye image.
２次元位置画像生成手段が上記中心画像に対応する右目
画像および左目画像を生成するものであり、上記３次元
表示系が上記右目画像および上記左目画像による立体視
画像を表示することを特徴とする請求項１、４乃至７の
いずれか１項に記載の３次元画像表示装置。10. The input image is a central image, the two-dimensional position image generating means generates a right-eye image and a left-eye image corresponding to the central image, and the three-dimensional display system is the right-eye image. The three-dimensional image display device according to claim 1, wherein a stereoscopic image based on the left-eye image is displayed.
て時間情報および色空間情報のうちの少なくとも色空間
情報１次元分の情報を保持することを特徴とする請求項
１乃至９のいずれか１項に記載の３次元画像表示装置。11. The pixel according to claim 1, wherein each pixel of the input image holds at least one-dimensional information of color space information among time information and color space information as a pixel value. The three-dimensional image display device according to item 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09219294A JP3524147B2 (en) | 1994-04-28 | 1994-04-28 | 3D image display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09219294A JP3524147B2 (en) | 1994-04-28 | 1994-04-28 | 3D image display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07296185A true JPH07296185A (en) | 1995-11-10 |
| JP3524147B2 JP3524147B2 (en) | 2004-05-10 |
Family
ID=14047583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09219294A Expired - Fee Related JP3524147B2 (en) | 1994-04-28 | 1994-04-28 | 3D image display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3524147B2 (en) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002092633A (en) * | 2000-09-20 | 2002-03-29 | Namco Ltd | Game system and information storage medium |
| JP2005318421A (en) * | 2004-04-30 | 2005-11-10 | Sharp Corp | Stereoscopic video display device |
| JP2006080982A (en) * | 2004-09-10 | 2006-03-23 | Kazunari Era | Device for generating stereoscopic vision image, and program |
| JP2007053496A (en) * | 2005-08-16 | 2007-03-01 | Sony Corp | Image display method and program thereof, recording medium with stored program, and image display device |
| US7262767B2 (en) | 2004-09-21 | 2007-08-28 | Victor Company Of Japan, Limited | Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system |
| JP2007528518A (en) * | 2003-12-19 | 2007-10-11 | ティディヴィジョン コーポレイション エス．エー． デ シー．ヴィ． | 3D video game system |
| JP2008510408A (en) * | 2004-08-17 | 2008-04-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | View mode detection |
| JP2010522469A (en) * | 2007-03-23 | 2010-07-01 | トムソン ライセンシング | System and method for region classification of 2D images for 2D-TO-3D conversion |
| JP2010526295A (en) * | 2007-04-24 | 2010-07-29 | 株式会社ソニー・コンピュータエンタテインメント | Scanning 3D objects using a video camera and TV monitor |
| JP2010171646A (en) * | 2009-01-21 | 2010-08-05 | Sony Corp | Signal processing device, image display device, signal processing method, and computer program |
| JP2011082829A (en) * | 2009-10-07 | 2011-04-21 | Nikon Corp | Image generation apparatus, image generation method, and program |
| JP2011172293A (en) * | 2011-06-07 | 2011-09-01 | Toshiba Corp | Video processing apparatus, video processing method and program |
| JP2011253554A (en) * | 2011-08-02 | 2011-12-15 | Td Vision Corporation S.A. De C.V. | Three-dimensional video game system |
| JP2012010196A (en) * | 2010-06-25 | 2012-01-12 | Casio Comput Co Ltd | Projection apparatus, projection method and program |
| JP2012015799A (en) * | 2010-06-30 | 2012-01-19 | Casio Comput Co Ltd | Image processing apparatus, image processing method, projection apparatus, and program |
| JP2012151754A (en) * | 2011-01-20 | 2012-08-09 | Nec Personal Computers Ltd | Information processing apparatus, information processing method, and program |
| JP2012165272A (en) * | 2011-02-08 | 2012-08-30 | Canon Inc | Image display device, image display method, and program |
| CN103308000A (en) * | 2013-06-19 | 2013-09-18 | 武汉理工大学 | Method for measuring curve object on basis of binocular vision |
| US8619123B2 (en) | 2010-01-20 | 2013-12-31 | Kabushiki Kaisha Toshiba | Video processing apparatus and method for scaling three-dimensional video |
| US9342861B2 (en) | 2011-04-19 | 2016-05-17 | Deluxe 3D Llc | Alternate viewpoint rendering |
| JP2016186561A (en) * | 2015-03-27 | 2016-10-27 | セイコーエプソン株式会社 | Display device, control method for display device, and program |
| US9503742B2 (en) | 2004-02-27 | 2016-11-22 | Td Vision Corporation S.A. De C.V. | System and method for decoding 3D stereoscopic digital video |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292865B (en) * | 2017-05-16 | 2021-01-26 | 哈尔滨医科大学 | Three-dimensional display method based on two-dimensional image processing |
-
1994
- 1994-04-28 JP JP09219294A patent/JP3524147B2/en not_active Expired - Fee Related
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002092633A (en) * | 2000-09-20 | 2002-03-29 | Namco Ltd | Game system and information storage medium |
| US8206218B2 (en) | 2003-12-19 | 2012-06-26 | Tdvision Corporation S.A. De C.V. | 3D videogame system |
| JP4841250B2 (en) * | 2003-12-19 | 2011-12-21 | ティディヴィジョン コーポレイション エス．エー． デ シー．ヴィ． | 3D video game system |
| JP2007528518A (en) * | 2003-12-19 | 2007-10-11 | ティディヴィジョン コーポレイション エス．エー． デ シー．ヴィ． | 3D video game system |
| US9503742B2 (en) | 2004-02-27 | 2016-11-22 | Td Vision Corporation S.A. De C.V. | System and method for decoding 3D stereoscopic digital video |
| JP4591997B2 (en) * | 2004-04-30 | 2010-12-01 | シャープ株式会社 | Stereoscopic image display device |
| JP2005318421A (en) * | 2004-04-30 | 2005-11-10 | Sharp Corp | Stereoscopic video display device |
| JP2008510408A (en) * | 2004-08-17 | 2008-04-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | View mode detection |
| JP4523368B2 (en) * | 2004-09-10 | 2010-08-11 | 株式会社マーキュリーシステム | Stereoscopic image generation apparatus and program |
| US7945088B2 (en) | 2004-09-10 | 2011-05-17 | Kazunari Era | Stereoscopic image generation apparatus |
| JP2006080982A (en) * | 2004-09-10 | 2006-03-23 | Kazunari Era | Device for generating stereoscopic vision image, and program |
| US7262767B2 (en) | 2004-09-21 | 2007-08-28 | Victor Company Of Japan, Limited | Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system |
| US8159527B2 (en) | 2005-08-16 | 2012-04-17 | Sony Corporation | Method of displaying pictures, program for displaying pictures, recording medium holding the program, and display unit |
| JP2007053496A (en) * | 2005-08-16 | 2007-03-01 | Sony Corp | Image display method and program thereof, recording medium with stored program, and image display device |
| JP2010522469A (en) * | 2007-03-23 | 2010-07-01 | トムソン ライセンシング | System and method for region classification of 2D images for 2D-TO-3D conversion |
| JP2010526295A (en) * | 2007-04-24 | 2010-07-29 | 株式会社ソニー・コンピュータエンタテインメント | Scanning 3D objects using a video camera and TV monitor |
| US8564645B2 (en) | 2009-01-21 | 2013-10-22 | Sony Corporation | Signal processing device, image display device, signal processing method, and computer program |
| JP2010171646A (en) * | 2009-01-21 | 2010-08-05 | Sony Corp | Signal processing device, image display device, signal processing method, and computer program |
| JP2011082829A (en) * | 2009-10-07 | 2011-04-21 | Nikon Corp | Image generation apparatus, image generation method, and program |
| US8619123B2 (en) | 2010-01-20 | 2013-12-31 | Kabushiki Kaisha Toshiba | Video processing apparatus and method for scaling three-dimensional video |
| JP2012010196A (en) * | 2010-06-25 | 2012-01-12 | Casio Comput Co Ltd | Projection apparatus, projection method and program |
| JP2012015799A (en) * | 2010-06-30 | 2012-01-19 | Casio Comput Co Ltd | Image processing apparatus, image processing method, projection apparatus, and program |
| JP2012151754A (en) * | 2011-01-20 | 2012-08-09 | Nec Personal Computers Ltd | Information processing apparatus, information processing method, and program |
| JP2012165272A (en) * | 2011-02-08 | 2012-08-30 | Canon Inc | Image display device, image display method, and program |
| US9342861B2 (en) | 2011-04-19 | 2016-05-17 | Deluxe 3D Llc | Alternate viewpoint rendering |
| JP2011172293A (en) * | 2011-06-07 | 2011-09-01 | Toshiba Corp | Video processing apparatus, video processing method and program |
| JP2011253554A (en) * | 2011-08-02 | 2011-12-15 | Td Vision Corporation S.A. De C.V. | Three-dimensional video game system |
| CN103308000A (en) * | 2013-06-19 | 2013-09-18 | 武汉理工大学 | Method for measuring curve object on basis of binocular vision |
| JP2016186561A (en) * | 2015-03-27 | 2016-10-27 | セイコーエプソン株式会社 | Display device, control method for display device, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3524147B2 (en) | 2004-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3524147B2 (en) | 3D image display device | |
| CN109615703B (en) | Augmented reality image display method, device and equipment | |
| KR101956149B1 (en) | Efficient Determination of Optical Flow Between Images | |
| US4925294A (en) | Method to convert two dimensional motion pictures for three-dimensional systems | |
| US6205241B1 (en) | Compression of stereoscopic images | |
| JP4065488B2 (en) | 3D image generation apparatus, 3D image generation method, and storage medium | |
| JP5036132B2 (en) | Critical alignment of parallax images for autostereoscopic display | |
| JP3593466B2 (en) | Method and apparatus for generating virtual viewpoint image | |
| KR102120046B1 (en) | How to display objects | |
| US7643025B2 (en) | Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates | |
| JP4351996B2 (en) | Method for generating a stereoscopic image from a monoscope image | |
| US20080246757A1 (en) | 3D Image Generation and Display System | |
| WO2012153447A1 (en) | Image processing device, image processing method, program, and integrated circuit | |
| WO2016183380A1 (en) | Facial signature methods, systems and software | |
| JP7479729B2 (en) | Three-dimensional representation method and device | |
| US20100158482A1 (en) | Method for processing a video data set | |
| JP2020173529A (en) | Information processing device, information processing method, and program | |
| JP3561446B2 (en) | Image generation method and apparatus | |
| CA2540538C (en) | Stereoscopic imaging | |
| CN113253845A (en) | View display method, device, medium and electronic equipment based on eye tracking | |
| KR20080034419A (en) | 3d image generation and display system | |
| Knorr et al. | Stereoscopic 3D from 2D video with super-resolution capability | |
| JP6168597B2 (en) | Information terminal equipment | |
| JP2008153805A (en) | Stereoscopic video image display device, and stereoscopic video imaging method for two-dimensional image | |
| JPH07175930A (en) | Image processor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040127 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040212 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080220 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090220 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100220 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100220 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110220 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |