JP3834615B2

JP3834615B2 - Image display method and system

Info

Publication number: JP3834615B2
Application number: JP2001337805A
Authority: JP
Inventors: 隆吉見
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2001-11-02
Filing date: 2001-11-02
Publication date: 2006-10-18
Anticipated expiration: 2021-11-02
Also published as: JP2003141574A

Description

【０００１】
【発明の属する技術分野】
本発明は、三次元情報入力装置を用いて基準物体の表示装置に対する相対的な位置姿勢を計測し、基準物体に対して固定した座標系に基づいて三次元立体画像を計算し、表示装置に表示する画像表示方法及びシステムに関する。
【０００２】
【従来の技術】
従来、よく用いられる三次元画像を表示するための装置は劇場の固定されたスクリーンに左右の目のための画像を表示し、それを偏光や色などによって分解する眼鏡によって見る方法が主であった。この方法だと実際に画面を表示するための大きなスクリーンが必要になり、携帯には不向きである。また、観客が自由な向きから物体を見たりすることができない。
【０００３】
コンピュータディスプレイで同様の機能を実現したものもあるが、物体の向きを変えたりするときには、ダイヤルのついたパッドやキーボード、あるいは手の動きを計測するデータグローブなどの装置で扱う必要があった。パッドやキーボードは特別な操作が必要であり、現実の物体を取り扱うようには操作できない。データグローブというのは、バーチャルリアリティでよく使われる入力装置で、手袋の形をしており、手の位置や姿勢、そして指の曲げ角をリアルタイムに計測するものである。データグローブはかなり現実的な操作を可能にするが、計測するのは位置のみで物理的な力を再現できないため、操作にはなれが必要である。また、当然のことながら対象物体はコンピュータディスプレイ上の小さな物体に限られ、大きな三次元画像を回り込むような見方はできない。
【０００４】
また、仮想現実においては磁場などを使用した位置計測装置を用いて、使用者の頭に装着した表示装置や操作のためのデータグローブなどの位置を測定し、それを仮想の三次元空間に投影する方法が主であった（図１１）。この図では、使用者は顔に表示装置(HMD=Head Mount Display)を装着し、手にデータグローブをはめている。HMDおよびデータグローブの部屋の座標を基準にした両者の位置姿勢が計測されて合成画像の表示に利用される。これもまた、動作空間全体で顔や手の位置計測を必要とするため、部屋全体の大掛かりな装置が必要であり、小型の装置は存在しない。また、この方法もまた、ハンドリングするときには手の位置のみを計測するので、現実の操作感とは異なり、使用者のなれが必要である。
【０００５】
【発明が解決しようとする課題】
本発明は、係る問題点を解決して、従来必要とされたような巨大な三次元計測装置を不要にし、また、手自体の測定を不要にして、視点に依存しない三次元立体画像を表示装置に表示する画像表示方法及びシステムを提供することを目的としている。
また、本発明は、操作においても現実感があり使用者の慣れを必要としない画像表示方法及びシステムを提供することを目的としている。
また、本発明は、部屋や建物のサイズの三次元画像の中を歩いたりすることも可能にすることを目的としている。
【０００６】
【課題を解決するための手段】
図３は、本発明システムの基本構成を例示する図である。本発明システムは、基準物体、三次元情報入力装置、座標変換装置、表示画像合成装置、表示装置によって構成される。また、必要に応じて、表示データ記録装置、通信装置を含めることができる。
基準物体とは、表示しようとする立体画像を表示するときの基準となる座標系を与える物体である。それを三次元情報入力装置で測定したときに一意に座標が計算できるものならば何でもよい。具体的には、手でもてるサイズの矩形のフレームなどがありうる。表示する三次元画像が大きなものの場合、基準物体は互いに区別可能な複数のパターンであってもよい。
【０００７】
表示装置とは、使用者の両眼に合成した立体像を見せる装置で、小型のディスプレイを二つつなげたものである。このディスプレイは、両眼にわずかに異なった合成映像を表示し、使用者に計算された三次元映像を見せる。それと同時に、合成画像を表示しない部分には現実に使用者に見える画像をそのまま表示するシースルー機能が必要である。この現実部分は、ディスプレイの素子そのものが透明で素通ししてもよいし、カメラで撮影した前方の画像を表示するものであってもよい。
【０００８】
三次元情報入力装置は、視野内に置かれた基準物体を観測し、その位置と姿勢をリアルタイムで計測する装置である。現在このような目的で使用できるものには、二台のカメラを用いるステレオビジョンシステムが存在する。この三次元情報入力装置は、表示装置に固定されている必要がある（ステレオビジョンとは、二つ以上のテレビカメラの映像のずれから対称物体の輪郭の三次元座標を計算する手法である）。
【０００９】
座標変換装置は、計測された基準物体の位置姿勢（これは三次元情報入力装置および表示装置に対する相対的な座標）から基準物体に固定された座標と三次元情報入力装置に固定された座標との変換行列をリアルタイムに計算し、それにもとづき、表示対象の三次元画像の座標変換を行う。
表示画像合成装置は、座標変換された三次元画像の左右の目の位置から見える二次元画像を計算する計算装置である。
【００１０】
【発明の実施の形態】
以下、本発明の複合現実感を実現する三次元表示を行う方法及びシステムを例示に基づき説明する。図１は、図３に例示した本発明システムを具体化する例を示している。
この例では、装置は眼鏡状のステレオ画像表示装置１と二つのカメラ２、そして演算装置３によって構成されている。また、必要な付属品として基準座標を与える対象物４が必要である。この図では、PDAのような大きさの矩形の板を使っている。
【００１１】
表示装置１は装着者が実際に見る現実の風景と合成画像を重ねて表示することができる。両眼で別々の映像を重ねることで立体的な合成画像を表示することができる。ステレオ立体視は人間が両眼で日常的に行っている立体視である。眼鏡をかけて立体映像を表示するしかけとして一般的なのは、大型のスクリーンに両眼の映像を重ね合わせたり時間的にずらして表示し、それを眼鏡の色フィルター、液晶シャッターや偏光フィルターなどにより分離する方法である。ここで用いる装置では、そのような巨大な装置は使わず、直接眼鏡の表面に映像を合成する。
【００１２】
カメラ２は小型のビデオカメラである。これらは動画像を電子的に入力できるもので、現在だとほとんどがＣＣＤ画像素子を使ったものになる。撮影間隔は、通常、ＮＴＳＣであれば３０分の１秒／フレームである。しかし、物体の追跡を行うという目的からは、なるべくフレームごとの移動量が少ない方が認識のミスが減るので望ましい。最近は高速度撮影可能な市販カメラも出始めている。「物体の追跡」とは、三次元物体空間を移動する物体の位置姿勢をリアルタイムに入力することであり、毎回ステレオ画像処理することもできるが、通常は画面ごとの移動量は小さいため、画像全体から対象物（この場合は基準物体）を探すよりも、画面内の前の位置の近くを探すようにして計算量を減らすことで高速な演算が可能になる。
【００１３】
本発明は、二つ以上のカメラから撮った画像から三次元物体の形状を復元するためにステレオ画像処理をする。基本的には三角測量の原理で、左右のカメラに写った同一の特徴点の三次元座標をカメラの配置から計算する。しかし、実際には（１）一般的な物体を対象にすると特徴点が画像上にきれいに出ない（２）特徴点と似た形状の図形があると誤対応となり、三次元形状が正確に計算できないなどの実装上の困難な点がある。対象物体が既知の形状を持っているときには、点の対応だけでなく、境界線やそれの組み合わせなどの大局的な情報を使えるようになるので、対応点探索がよりスムーズにかつ正確に行えるようになる。本発明の場合、基準物体にステレオ画像処理に適した形状を持たせたり、特徴を強調する機械的な仕掛け（ＬＥＤをつけるなど）をつけたりする工夫で誤対応の確率をさらに下げることが可能である。
【００１４】
演算装置３は画像処理、座標変換、表示などを行う計算機である。具体的にはコンピュータである。座標変換に特化すれば、専用のハードウェアを用いることで小型化、高速化が可能である。
基準物体４は基準座標を与える指標となる物体である。形態は、三次元計測において位置や姿勢が精度良く計算できる形である物体であればよい。大きさは小さくても構わないが、あまり小さなものだと計測時の誤差が影響して姿勢の精度が落ち、基準座標が不安定になる可能性がある。また、あまり大きいと、三次元計測をするカメラの視野に入らなくなり、この場合も問題があるので、カメラの視野に入り、かつ小さすぎない大きさが適当である。また、画像処理によって三次元計測をするため、周囲と見分けやすい色や形が望ましい。
【００１５】
次に、図１に例示したシステム例の動作を説明する。
（１）図１２に示すように、二台のカメラ２を用いて基準物体４の映像を入力し、演算装置３において三次元計測し、カメラの座標系Ｃ２からみた相対的な基準物体４の位置と姿勢を計測する。物体４の形状や色などはあらかじめデータとして蓄えておき、視野に他の物体があっても間違わないようにする。
【００１６】
（２）図１３に示すように、物体４の位置姿勢の情報から、物体４上に固定された座標系Ｃ４からカメラ座標系Ｃ２への変換行列Ｒ42を計算する。
（３）また、図１３に示すように、カメラ座標系Ｃ２から表示装置の座標系Ｃ１への変換行列Ｒ21もあらかじめ計算しておく。カメラと表示装置は固定されているので、これは一度キャリブレーションを行えば変更はしない。
（４）合成する立体画像のデータは座標系Ｃ４上に定義して用意される。これを（２）で計算した変換行列Ｒ42によって座標系Ｃ２のものに変換し、さらに（３）の変換行列Ｒ21によって座標系Ｃ１のものに変換する。
【００１７】
（５）このように変換された三次元データから使用者の両眼から見える映像を作成し、それを表示装置１のそれぞれの表示装置において表示する。
以上の処理によって、使用者は、物体４の移動や回転に追従する三次元の立体画像を見ることができる。三次元画像は静止画である必要はなく、演算装置の能力が許せば動画像でも可能である。
【００１８】
図４は、図３とは別の本発明の第２のシステムを例示する図である。図３では、映像を表示するために使う三次元データを演算装置内部に記録しているが、図４ではそれを外部に持ち、通信によって取得する。図２は、図４に例示したシステムを具体化する例を示している。図２に示すように、基準物体にボタン類を付加して、基準物体とシステムの間で通信することによって表示の操作が可能となる。ここで可能となる操作とは、例えば、動画像の三次元映像を表示する場合に、再生、停止、早送り、巻き戻しなどの画像の再生速度をビデオのように行うものが考えられる。また、静止した三次元映像でも拡大、縮小、色の変更などの操作が考えられる。このように、ボタンを使えば、基準物体によって可能な物体の位置姿勢の変化以外の操作を三次元映像に行うことができる。これにより、動画像の再生、停止などの操作やゲームのインターフェースとしても利用可能である。
【００１９】
図５は、三次元画像を表示し、それを自由に移動して角度を変えて見るための表示装置に、本発明を応用した第１の応用例を示す図である。基準物体は手でもてるサイズのフレームであり、複数の使用者がいても、同一の基準物体には同一の基準座標が定義されるので、三次元画像を前にしたディスカッションが可能となる。
【００２０】
図６は、携帯電話に付随して移動する仮想大画面ディスプレイに、本発明を応用した第２の応用例を示す図である。基準物体は携帯電話あるいはそこから突き出したアンテナである。
【００２１】
図７は、卓上の仮想大画面ディスプレイに、本発明を応用した第３の応用例を示す図である。基準物体はキーボードに付属したフレームである。
【００２２】
図８は、本発明を応用した第４の応用例を示す図である。この例において、卓上全体がコンピュータの仮想ディスプレイになる。基準物体は机に置かれたパターンである。
【００２３】
図９は、本発明を応用した第５の応用例を示す図である。洋服や自動車に動画像の広告などを表示することができる。基準物体は洋服や自動車に描かれた固定パターンである。この場合、表示する三次元画像のデータは基準物体が描かれている衣服を着た人あるいは自動車側にあり、それを通信で近くの装着者に送るようになる。
【００２４】
図１０は、本発明を応用した第６の応用例を示す図である。舞台における服装、着ぐるみなどの立体的装飾を可能にする。基準物体は体に固定されたパターンである。この図では、演技者は体に多数の基準物体をはりつけており、それぞれは区別可能で、四肢のそれぞれの座標に対して表示された合成画像を重ねることで、観察者にはパンダが歩いているように見える。
【００２５】
【発明の効果】
本発明では、顔に取り付けられた視覚による三次元計測装置によって、基準物体の位置と姿勢を計測し、表示系と物体系の相対的な位置関係を顔の座標を基準にしてリアルタイムで測定することで、上記の従来技術において必要な巨大な三次元計測装置を不要にすることができる。また、表示された三次元物体を手で持って裏側を見るような動作も、本発明では実際に手で移動された基準物体を測定するので、手自体の測定は不要であり、また、操作においても現実感があり使用者の慣れは必要ない。また、基準物体のひとつが三次元測定装置の視野に入っている限り座標変換は可能であるので、部屋や建物のサイズの三次元画像の中を歩いたりすることも可能である。
【図面の簡単な説明】
【図１】図３に例示した本発明システムを具体化する例を示している。
【図２】図４に例示したシステムを具体化する例を示している。
【図３】本発明システムの基本構成を例示する図である。
【図４】図３とは別の本発明の第２のシステムを例示する図である。
【図５】本発明を応用した第１の応用例を示す図である。
【図６】本発明を応用した第２の応用例を示す図である。
【図７】本発明を応用した第３の応用例を示す図である。
【図８】本発明を応用した第４の応用例を示す図である。
【図９】本発明を応用した第５の応用例を示す図である。
【図１０】本発明を応用した第６の応用例を示す図である。
【図１１】従来技術に基づき、仮想の三次元空間に投影する方法を説明するための図である。
【図１２】二台のカメラを用いて基準物体の映像を入力し、その位置と姿勢を計測する方法を説明するための図である。
【図１３】物体上に固定された座標系Ｃ４からカメラ座標系Ｃ２への変換行列Ｒ42、及びカメラ座標系Ｃ２から表示装置の座標系Ｃ１への変換行列Ｒ21の計算を説明するための図である。
【符号の説明】
１眼鏡状のステレオ画像表示装置
２カメラ
３演算装置
４対象物[0001]
BACKGROUND OF THE INVENTION
The present invention measures the relative position and orientation of a reference object with respect to a display device using a three-dimensional information input device, calculates a three-dimensional stereoscopic image based on a coordinate system fixed with respect to the reference object, and The present invention relates to a method and system for displaying an image.
[0002]
[Prior art]
Conventionally, a commonly used device for displaying a three-dimensional image has mainly been a method of displaying an image for the left and right eyes on a fixed screen of a theater and viewing it with glasses that decompose by polarization or color. It was. This method requires a large screen to actually display the screen and is not suitable for carrying. Also, the audience cannot see the object from any direction.
[0003]
Some computer displays have the same function, but when changing the direction of an object, it was necessary to use a pad with a dial, a keyboard, or a data glove that measures hand movement. Pads and keyboards require special operation and cannot be operated to handle real objects. A data glove is an input device that is often used in virtual reality. It is in the shape of a glove and measures the position and posture of a hand and the bending angle of a finger in real time. The data glove enables a fairly realistic operation, but it is necessary to be familiar with the operation because the physical force cannot be reproduced by measuring only the position. As a matter of course, the target object is limited to a small object on a computer display, and it is not possible to view a large three-dimensional image.
[0004]
In virtual reality, a position measurement device using a magnetic field or the like is used to measure the position of a display device worn on the user's head or a data glove for operation, and the result is projected into a virtual three-dimensional space. The main method was (FIG. 11). In this figure, the user wears a display device (HMD = Head Mount Display) on his face and puts a data glove on his hand. The position and orientation of both the HMD and the data glove room are measured and used to display a composite image. This also requires measurement of the position of the face and hand in the entire operation space, so a large-scale device for the entire room is required, and there is no small device. In addition, this method also measures only the position of the hand when handling, so that it is necessary to be familiar with the user, unlike an actual operation feeling.
[0005]
[Problems to be solved by the invention]
The present invention solves such problems and eliminates the need for a huge three-dimensional measuring apparatus as conventionally required, and eliminates the need for measuring the hand itself, and displays a three-dimensional stereoscopic image independent of the viewpoint. An object of the present invention is to provide an image display method and system for displaying on an apparatus.
It is another object of the present invention to provide an image display method and system that are realistic in operation and do not require user's familiarity.
Another object of the present invention is to make it possible to walk in a three-dimensional image of the size of a room or building.
[0006]
[Means for Solving the Problems]
FIG. 3 is a diagram illustrating the basic configuration of the system of the present invention. The system of the present invention includes a reference object, a three-dimensional information input device, a coordinate conversion device, a display image composition device, and a display device. Further, a display data recording device and a communication device can be included as necessary.
The reference object is an object that gives a coordinate system that serves as a reference when displaying a stereoscopic image to be displayed. Anything can be used as long as the coordinates can be calculated uniquely when measured with a three-dimensional information input device. Specifically, there may be a rectangular frame that can be held by hand. When the displayed three-dimensional image is large, the reference object may be a plurality of patterns that can be distinguished from each other.
[0007]
A display device is a device that displays a combined three-dimensional image on both eyes of a user, and is a device in which two small displays are connected. This display displays slightly different composite images for both eyes and shows the calculated 3D image to the user. At the same time, a see-through function for displaying an image that is actually visible to the user as it is is required in a portion where the composite image is not displayed. The real part may be a display element that is transparent and transparent, or may display a front image taken by a camera.
[0008]
The three-dimensional information input device is a device that observes a reference object placed in the field of view and measures its position and posture in real time. Currently, there is a stereo vision system using two cameras that can be used for such a purpose. This three-dimensional information input device needs to be fixed to a display device (stereo vision is a method of calculating the three-dimensional coordinates of the contour of a symmetric object from the displacement of two or more television camera images) .
[0009]
The coordinate conversion device includes coordinates fixed to the reference object and coordinates fixed to the three-dimensional information input device based on the measured position and orientation of the reference object (which are relative to the three-dimensional information input device and the display device). Is converted in real time, and coordinate conversion of the 3D image to be displayed is performed based on the calculation matrix.
The display image composition device is a calculation device that calculates a two-dimensional image that can be seen from the positions of the left and right eyes of a coordinate-converted three-dimensional image.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a method and system for performing a three-dimensional display for realizing the mixed reality of the present invention will be described based on examples. FIG. 1 shows an example embodying the system of the present invention illustrated in FIG.
In this example, the apparatus includes a glasses-like stereo image display device 1, two cameras 2, and an arithmetic device 3. Moreover, the target object 4 which gives a reference | standard coordinate as a required accessory is required. In this figure, a rectangular plate sized like a PDA is used.
[0011]
The display device 1 can superimpose and display the actual scenery actually seen by the wearer and the composite image. A stereoscopic composite image can be displayed by overlapping separate images with both eyes. Stereo stereoscopic vision is stereoscopic vision that humans routinely perform with both eyes. The most common way to display stereoscopic images with glasses is to display the images of both eyes on a large screen or to shift them in time, and then separate them by using color filters, liquid crystal shutters, polarizing filters, etc. It is a method to do. The apparatus used here synthesizes an image directly on the surface of the glasses without using such a huge apparatus.
[0012]
The camera 2 is a small video camera. These can be used to input moving images electronically, and most of them use CCD image elements at present. The shooting interval is usually 1/30 second / frame for NTSC. However, for the purpose of tracking an object, it is preferable that the amount of movement for each frame is as small as possible because recognition errors are reduced. Recently, a commercially available camera capable of high-speed photography has begun to appear. “Object tracking” means inputting the position and orientation of an object moving in a three-dimensional object space in real time, and stereo image processing can be performed every time, but the amount of movement for each screen is usually small. Rather than searching for an object (in this case, a reference object) from the whole, it is possible to perform high-speed calculation by reducing the amount of calculation by searching for the vicinity of the previous position in the screen.
[0013]
The present invention performs stereo image processing to restore the shape of a three-dimensional object from images taken from two or more cameras. Basically, based on the principle of triangulation, the three-dimensional coordinates of the same feature point reflected on the left and right cameras are calculated from the camera arrangement. However, in practice, (1) feature points do not appear clearly on the image of a general object. (2) If there is a figure with a shape similar to the feature points, it will be miscorresponding and the 3D shape will be calculated correctly. There are some difficult points in implementation, such as inability to do so. When the target object has a known shape, you can use not only point correspondences but also global information such as boundaries and their combinations, so that the corresponding point search can be performed more smoothly and accurately. become. In the case of the present invention, it is possible to further reduce the probability of mishandling by making the reference object have a shape suitable for stereo image processing, or by adding a mechanical mechanism (such as attaching an LED) to emphasize features. is there.
[0014]
The arithmetic device 3 is a computer that performs image processing, coordinate conversion, display, and the like. Specifically, it is a computer. If specializing in coordinate transformation, it is possible to reduce the size and speed by using dedicated hardware.
The reference object 4 is an object that serves as an index for giving reference coordinates. The form may be any object that can accurately calculate the position and orientation in three-dimensional measurement. The size may be small, but if it is too small, the error in measurement affects the posture accuracy and the reference coordinates may become unstable. On the other hand, if it is too large, it will not enter the field of view of the camera that performs the three-dimensional measurement, and there is also a problem in this case. Also, since three-dimensional measurement is performed by image processing, colors and shapes that are easy to distinguish from the surroundings are desirable.
[0015]
Next, the operation of the system example illustrated in FIG. 1 will be described.
(1) As shown in FIG. 12, the image of the reference object 4 is input using the two cameras 2, three-dimensionally measured by the arithmetic unit 3, and the relative reference object 4 as viewed from the camera coordinate system C 2 Measure position and orientation. The shape, color, and the like of the object 4 are stored as data in advance so that no mistake is made even if there is another object in the field of view.
[0016]
(2) As shown in FIG. 13, a transformation matrix R42 from the coordinate system C4 fixed on the object 4 to the camera coordinate system C2 is calculated from the position and orientation information of the object 4.
(3) Further, as shown in FIG. 13, a conversion matrix R21 from the camera coordinate system C2 to the coordinate system C1 of the display device is also calculated in advance. Since the camera and the display device are fixed, this is not changed once calibration is performed.
(4) Three-dimensional image data to be synthesized is defined and prepared on the coordinate system C4. This is converted into the coordinate system C2 by the conversion matrix R42 calculated in (2), and further converted into the coordinate system C1 by the conversion matrix R21 in (3).
[0017]
(5) An image that can be seen from both eyes of the user is created from the three-dimensional data thus converted, and is displayed on each display device of the display device 1.
Through the above processing, the user can see a three-dimensional stereoscopic image following the movement and rotation of the object 4. The three-dimensional image does not need to be a still image, and can be a moving image if the capability of the arithmetic unit permits.
[0018]
FIG. 4 is a diagram illustrating a second system of the present invention different from FIG. In FIG. 3, the three-dimensional data used for displaying the video is recorded inside the arithmetic unit, but in FIG. 4, it is held outside and acquired by communication. FIG. 2 shows an example embodying the system illustrated in FIG. As shown in FIG. 2, a display operation can be performed by adding buttons to the reference object and communicating between the reference object and the system. The operation that can be performed here is, for example, an operation in which the playback speed of an image such as playback, stop, fast forward, and rewind is performed like a video when displaying a 3D video of a moving image. In addition, operations such as enlargement, reduction, and color change can be considered for a stationary 3D image. In this way, if the button is used, operations other than the change in the position and orientation of the object that can be performed by the reference object can be performed on the three-dimensional image. Thus, it can also be used as an operation for playing and stopping a moving image and a game interface.
[0019]
FIG. 5 is a diagram showing a first application example in which the present invention is applied to a display device for displaying a three-dimensional image and moving it freely to change the angle. Since the reference object is a hand-sized frame, and even if there are a plurality of users, the same reference coordinates are defined for the same reference object, it is possible to have a discussion in front of a three-dimensional image.
[0020]
FIG. 6 is a diagram showing a second application example in which the present invention is applied to a virtual large-screen display that moves accompanying a mobile phone. The reference object is a mobile phone or an antenna protruding therefrom.
[0021]
FIG. 7 is a diagram showing a third application example in which the present invention is applied to a desktop virtual large-screen display. The reference object is a frame attached to the keyboard.
[0022]
FIG. 8 is a diagram showing a fourth application example to which the present invention is applied. In this example, the entire table becomes the virtual display of the computer. The reference object is a pattern placed on a desk.
[0023]
FIG. 9 is a diagram showing a fifth application example to which the present invention is applied. Video advertisements can be displayed on clothes and cars. The reference object is a fixed pattern drawn on clothes or a car. In this case, the data of the three-dimensional image to be displayed is on the person wearing the clothes on which the reference object is drawn or on the car side, and is sent to a nearby wearer by communication.
[0024]
FIG. 10 is a diagram showing a sixth application example to which the present invention is applied. It enables three-dimensional decorations such as clothes and costumes on the stage. The reference object is a pattern fixed to the body. In this figure, the performer has a large number of reference objects attached to the body, each of which can be distinguished, and by overlaying the composite images displayed for the coordinates of each limb, the panda walks to the observer. Looks like you are.
[0025]
【The invention's effect】
In the present invention, the position and orientation of the reference object are measured by a visual three-dimensional measuring device attached to the face, and the relative positional relationship between the display system and the object system is measured in real time based on the coordinates of the face. Thus, the huge three-dimensional measuring device required in the above-described conventional technology can be eliminated. In addition, the operation of holding the displayed three-dimensional object by hand and looking at the back side also measures the reference object actually moved by hand in the present invention. However, there is a sense of reality and the user's familiarity is not necessary. In addition, since coordinate conversion is possible as long as one of the reference objects is in the field of view of the three-dimensional measuring apparatus, it is possible to walk in a three-dimensional image of the size of a room or a building.
[Brief description of the drawings]
FIG. 1 shows an example embodying the system of the present invention illustrated in FIG.
2 shows an example in which the system illustrated in FIG. 4 is embodied.
FIG. 3 is a diagram illustrating a basic configuration of the system of the present invention.
FIG. 4 is a diagram illustrating a second system of the present invention different from FIG. 3;
FIG. 5 is a diagram showing a first application example to which the present invention is applied.
FIG. 6 is a diagram showing a second application example to which the present invention is applied.
FIG. 7 is a diagram showing a third application example to which the present invention is applied.
FIG. 8 is a diagram showing a fourth application example to which the present invention is applied.
FIG. 9 is a diagram showing a fifth application example to which the present invention is applied.
FIG. 10 is a diagram showing a sixth application example to which the present invention is applied.
FIG. 11 is a diagram for explaining a method of projecting into a virtual three-dimensional space based on a conventional technique.
FIG. 12 is a diagram for explaining a method of inputting an image of a reference object using two cameras and measuring its position and orientation.
FIG. 13 is a diagram for explaining calculation of a transformation matrix R42 from the coordinate system C4 to the camera coordinate system C2 fixed on the object and a transformation matrix R21 from the camera coordinate system C2 to the coordinate system C1 of the display device. is there.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Glasses-like stereo image display apparatus 2 Camera 3 Computation apparatus 4 Object

Claims

三次元立体画像を表示装置に表示する画像表示方法において、
表示しようとする三次元立体画像を表示するときの基準となる座標系を与える基準物体と、視野内に置かれた基準物体を観測し、その位置と姿勢を計測する三次元情報入力装置と、座標変換装置と、表示画像合成装置と、シースルー機能を有する表示装置とを備えて、
計測された基準物体の位置姿勢から、基準物体に固定された座標から前記三次元情報入力装置に固定された座標へ変換する変換行列を計算し、それにもとづき、基準物体に固定された座標に基づいて定義された表示対象の三次元立体画像の基準物体に固定された座標から前記三次元情報入力装置に固定された座標への座標変換を前記座標変換装置により行い、
座標変換された三次元画像の左右の目の位置から見える二次元画像を前記表示画像合成装置により計算して、前記シースルー機能を有する表示装置に使用者の両眼用にわずかに異なった合成画像を表示し、使用者に計算された三次元画像を見せると同時に、合成画像を表示しない部分には現実に使用者に見える画像をそのまま表示する、
ことから成る画像表示方法。In an image display method for displaying a three-dimensional stereoscopic image on a display device,
A reference object to provide a reference consisting coordinate system when displaying the three-dimensional image to be displayed, by observing a reference object placed in the field of view, and 3D information input device for measuring the position and orientation meter A coordinate conversion device, a display image composition device, and a display device having a see-through function ,
From the position and orientation of the measured reference object, a transformation matrix for transforming from a fixed coordinate on the reference object to a fixed coordinate in the three-dimensional information input apparatus calculates, based on it, based on a fixed coordinate in the reference object The coordinate conversion device performs coordinate conversion from the coordinates fixed to the reference object of the three-dimensional stereoscopic image to be displayed defined to the coordinates fixed to the three- dimensional information input device,
A two-dimensional image viewed from the left and right eye positions of the coordinate-converted three-dimensional images calculated by the display image synthesis device, a display device to the user of slightly different synthesized images for both eyes with the see-through function To display the calculated 3D image to the user and at the same time display the image that is actually visible to the user as it is in the area where the composite image is not displayed.
An image display method comprising:

三次元立体画像を表示装置に表示する画像表示システムにおいて、
表示しようとする三次元立体画像を表示するときの基準となる座標系を与える基準物体と、
視野内に置かれた基準物体を観測し、その位置と姿勢を計測する三次元情報入力装置と、
計測された基準物体の位置姿勢から、基準物体に固定された座標から前記三次元情報入力装置に固定された座標へ変換する変換行列を計算し、それにもとづき、基準物体に固定された座標に基づいて定義された表示対象の三次元立体画像の基準物体に固定された座標から前記三次元情報入力装置に固定された座標への座標変換を行う座標変換装置と、
座標変換された三次元画像の左右の目の位置から見える二次元画像を計算する表示画像合成装置と、
使用者の両眼用にわずかに異なった合成画像を表示し、使用者に計算された三次元画像を見せると同時に、合成画像を表示しない部分には現実に使用者に見える画像をそのまま表示するシースルー機能を有する表示装置と、
から成る画像表示システム。In an image display system for displaying a three-dimensional stereoscopic image on a display device,
A reference object that provides a reference coordinate system for displaying a 3D stereoscopic image to be displayed;
Observing the reference object placed in the field of view, and 3D information input device for measuring the position and orientation meter,
From the position and orientation of the measured reference object, a transformation matrix for transforming from a fixed coordinate on the reference object to a fixed coordinate in the three-dimensional information input apparatus calculates, based on it, based on a fixed coordinate in the reference object A coordinate conversion device that performs coordinate conversion from coordinates fixed to a reference object of a three-dimensional stereoscopic image to be displayed defined to coordinates fixed to the three- dimensional information input device;
A display image synthesizer that calculates a two-dimensional image that can be seen from the left and right eye positions of the coordinate-converted three-dimensional image;
A slightly different composite image is displayed for both eyes of the user, and the calculated 3D image is displayed to the user. At the same time, an image that is actually visible to the user is displayed as it is in a portion where the composite image is not displayed. A display device having a see-through function;
An image display system comprising: