JP2003141574A - 画像表示方法及びシステム - Google Patents
画像表示方法及びシステムInfo
- Publication number
- JP2003141574A JP2003141574A JP2001337805A JP2001337805A JP2003141574A JP 2003141574 A JP2003141574 A JP 2003141574A JP 2001337805 A JP2001337805 A JP 2001337805A JP 2001337805 A JP2001337805 A JP 2001337805A JP 2003141574 A JP2003141574 A JP 2003141574A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- displayed
- reference object
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 視点に依存しない三次元立体画像を表示す
る。 【解決手段】 本発明は、表示しようとする三次元立体
画像を表示するときの基準となる座標系を与える基準物
体と、視野内に置かれた基準物体を観測し、その位置と
姿勢をリアルタイムで計測する三次元情報入力装置とを
備える。計測された基準物体の位置姿勢から基準物体に
固定された座標と三次元情報入力装置に固定された座標
との変換行列をリアルタイムに計算し、それにもとづ
き、表示対象の三次元立体画像の座標変換を行う。座標
変換された三次元画像の左右の目の位置から見える二次
元画像を計算して、シースルー機能を有する表示装置に
使用者の両眼用にわずかに異なった合成画像を表示し、
使用者に計算された三次元画像を見せる。合成画像を表
示しない部分には現実に使用者に見える画像をそのまま
表示する。
る。 【解決手段】 本発明は、表示しようとする三次元立体
画像を表示するときの基準となる座標系を与える基準物
体と、視野内に置かれた基準物体を観測し、その位置と
姿勢をリアルタイムで計測する三次元情報入力装置とを
備える。計測された基準物体の位置姿勢から基準物体に
固定された座標と三次元情報入力装置に固定された座標
との変換行列をリアルタイムに計算し、それにもとづ
き、表示対象の三次元立体画像の座標変換を行う。座標
変換された三次元画像の左右の目の位置から見える二次
元画像を計算して、シースルー機能を有する表示装置に
使用者の両眼用にわずかに異なった合成画像を表示し、
使用者に計算された三次元画像を見せる。合成画像を表
示しない部分には現実に使用者に見える画像をそのまま
表示する。
Description
【０００１】
【発明の属する技術分野】本発明は、三次元情報入力装
置を用いて基準物体の表示装置に対する相対的な位置姿
勢を計測し、基準物体に対して固定した座標系に基づい
て三次元立体画像を計算し、表示装置に表示する画像表
示方法及びシステムに関する。
置を用いて基準物体の表示装置に対する相対的な位置姿
勢を計測し、基準物体に対して固定した座標系に基づい
て三次元立体画像を計算し、表示装置に表示する画像表
示方法及びシステムに関する。
【０００２】
【従来の技術】従来、よく用いられる三次元画像を表示
するための装置は劇場の固定されたスクリーンに左右の
目のための画像を表示し、それを偏光や色などによって
分解する眼鏡によって見る方法が主であった。この方法
だと実際に画面を表示するための大きなスクリーンが必
要になり、携帯には不向きである。また、観客が自由な
向きから物体を見たりすることができない。
するための装置は劇場の固定されたスクリーンに左右の
目のための画像を表示し、それを偏光や色などによって
分解する眼鏡によって見る方法が主であった。この方法
だと実際に画面を表示するための大きなスクリーンが必
要になり、携帯には不向きである。また、観客が自由な
向きから物体を見たりすることができない。
【０００３】コンピュータディスプレイで同様の機能を
実現したものもあるが、物体の向きを変えたりするとき
には、ダイヤルのついたパッドやキーボード、あるいは
手の動きを計測するデータグローブなどの装置で扱う必
要があった。パッドやキーボードは特別な操作が必要で
あり、現実の物体を取り扱うようには操作できない。デ
ータグローブというのは、バーチャルリアリティでよく
使われる入力装置で、手袋の形をしており、手の位置や
姿勢、そして指の曲げ角をリアルタイムに計測するもの
である。データグローブはかなり現実的な操作を可能に
するが、計測するのは位置のみで物理的な力を再現でき
ないため、操作にはなれが必要である。また、当然のこ
とながら対象物体はコンピュータディスプレイ上の小さ
な物体に限られ、大きな三次元画像を回り込むような見
方はできない。
実現したものもあるが、物体の向きを変えたりするとき
には、ダイヤルのついたパッドやキーボード、あるいは
手の動きを計測するデータグローブなどの装置で扱う必
要があった。パッドやキーボードは特別な操作が必要で
あり、現実の物体を取り扱うようには操作できない。デ
ータグローブというのは、バーチャルリアリティでよく
使われる入力装置で、手袋の形をしており、手の位置や
姿勢、そして指の曲げ角をリアルタイムに計測するもの
である。データグローブはかなり現実的な操作を可能に
するが、計測するのは位置のみで物理的な力を再現でき
ないため、操作にはなれが必要である。また、当然のこ
とながら対象物体はコンピュータディスプレイ上の小さ
な物体に限られ、大きな三次元画像を回り込むような見
方はできない。
【０００４】また、仮想現実においては磁場などを使用
した位置計測装置を用いて、使用者の頭に装着した表示
装置や操作のためのデータグローブなどの位置を測定
し、それを仮想の三次元空間に投影する方法が主であっ
た（図１１）。この図では、使用者は顔に表示装置(HMD
=Head Mount Display)を装着し、手にデータグローブを
はめている。HMDおよびデータグローブの部屋の座標を
基準にした両者の位置姿勢が計測されて合成画像の表示
に利用される。これもまた、動作空間全体で顔や手の位
置計測を必要とするため、部屋全体の大掛かりな装置が
必要であり、小型の装置は存在しない。また、この方法
もまた、ハンドリングするときには手の位置のみを計測
するので、現実の操作感とは異なり、使用者のなれが必
要である。
した位置計測装置を用いて、使用者の頭に装着した表示
装置や操作のためのデータグローブなどの位置を測定
し、それを仮想の三次元空間に投影する方法が主であっ
た（図１１）。この図では、使用者は顔に表示装置(HMD
=Head Mount Display)を装着し、手にデータグローブを
はめている。HMDおよびデータグローブの部屋の座標を
基準にした両者の位置姿勢が計測されて合成画像の表示
に利用される。これもまた、動作空間全体で顔や手の位
置計測を必要とするため、部屋全体の大掛かりな装置が
必要であり、小型の装置は存在しない。また、この方法
もまた、ハンドリングするときには手の位置のみを計測
するので、現実の操作感とは異なり、使用者のなれが必
要である。
【０００５】
【発明が解決しようとする課題】本発明は、係る問題点
を解決して、従来必要とされたような巨大な三次元計測
装置を不要にし、また、手自体の測定を不要にして、視
点に依存しない三次元立体画像を表示装置に表示する画
像表示方法及びシステムを提供することを目的としてい
る。また、本発明は、操作においても現実感があり使用
者の慣れを必要としない画像表示方法及びシステムを提
供することを目的としている。また、本発明は、部屋や
建物のサイズの三次元画像の中を歩いたりすることも可
能にすることを目的としている。
を解決して、従来必要とされたような巨大な三次元計測
装置を不要にし、また、手自体の測定を不要にして、視
点に依存しない三次元立体画像を表示装置に表示する画
像表示方法及びシステムを提供することを目的としてい
る。また、本発明は、操作においても現実感があり使用
者の慣れを必要としない画像表示方法及びシステムを提
供することを目的としている。また、本発明は、部屋や
建物のサイズの三次元画像の中を歩いたりすることも可
能にすることを目的としている。
【０００６】
【課題を解決するための手段】図３は、本発明システム
の基本構成を例示する図である。本発明システムは、基
準物体、三次元情報入力装置、座標変換装置、表示画像
合成装置、表示装置によって構成される。また、必要に
応じて、表示データ記録装置、通信装置を含めることが
できる。基準物体とは、表示しようとする立体画像を表
示するときの基準となる座標系を与える物体である。そ
れを三次元情報入力装置で測定したときに一意に座標が
計算できるものならば何でもよい。具体的には、手でも
てるサイズの矩形のフレームなどがありうる。表示する
三次元画像が大きなものの場合、基準物体は互いに区別
可能な複数のパターンであってもよい。
の基本構成を例示する図である。本発明システムは、基
準物体、三次元情報入力装置、座標変換装置、表示画像
合成装置、表示装置によって構成される。また、必要に
応じて、表示データ記録装置、通信装置を含めることが
できる。基準物体とは、表示しようとする立体画像を表
示するときの基準となる座標系を与える物体である。そ
れを三次元情報入力装置で測定したときに一意に座標が
計算できるものならば何でもよい。具体的には、手でも
てるサイズの矩形のフレームなどがありうる。表示する
三次元画像が大きなものの場合、基準物体は互いに区別
可能な複数のパターンであってもよい。
【０００７】表示装置とは、使用者の両眼に合成した立
体像を見せる装置で、小型のディスプレイを二つつなげ
たものである。このディスプレイは、両眼にわずかに異
なった合成映像を表示し、使用者に計算された三次元映
像を見せる。それと同時に、合成画像を表示しない部分
には現実に使用者に見える画像をそのまま表示するシー
スルー機能が必要である。この現実部分は、ディスプレ
イの素子そのものが透明で素通ししてもよいし、カメラ
で撮影した前方の画像を表示するものであってもよい。
体像を見せる装置で、小型のディスプレイを二つつなげ
たものである。このディスプレイは、両眼にわずかに異
なった合成映像を表示し、使用者に計算された三次元映
像を見せる。それと同時に、合成画像を表示しない部分
には現実に使用者に見える画像をそのまま表示するシー
スルー機能が必要である。この現実部分は、ディスプレ
イの素子そのものが透明で素通ししてもよいし、カメラ
で撮影した前方の画像を表示するものであってもよい。
【０００８】三次元情報入力装置は、視野内に置かれた
基準物体を観測し、その位置と姿勢をリアルタイムで計
測する装置である。現在このような目的で使用できるも
のには、二台のカメラを用いるステレオビジョンシステ
ムが存在する。この三次元情報入力装置は、表示装置に
固定されている必要がある（ステレオビジョンとは、二
つ以上のテレビカメラの映像のずれから対称物体の輪郭
の三次元座標を計算する手法である）。
基準物体を観測し、その位置と姿勢をリアルタイムで計
測する装置である。現在このような目的で使用できるも
のには、二台のカメラを用いるステレオビジョンシステ
ムが存在する。この三次元情報入力装置は、表示装置に
固定されている必要がある（ステレオビジョンとは、二
つ以上のテレビカメラの映像のずれから対称物体の輪郭
の三次元座標を計算する手法である）。
【０００９】座標変換装置は、計測された基準物体の位
置姿勢（これは三次元情報入力装置および表示装置に対
する相対的な座標）から基準物体に固定された座標と三
次元情報入力装置に固定された座標との変換行列をリア
ルタイムに計算し、それにもとづき、表示対象の三次元
画像の座標変換を行う。表示画像合成装置は、座標変換
された三次元画像の左右の目の位置から見える二次元画
像を計算する計算装置である。
置姿勢（これは三次元情報入力装置および表示装置に対
する相対的な座標）から基準物体に固定された座標と三
次元情報入力装置に固定された座標との変換行列をリア
ルタイムに計算し、それにもとづき、表示対象の三次元
画像の座標変換を行う。表示画像合成装置は、座標変換
された三次元画像の左右の目の位置から見える二次元画
像を計算する計算装置である。
【００１０】
【発明の実施の形態】以下、本発明の複合現実感を実現
する三次元表示を行う方法及びシステムを例示に基づき
説明する。図１は、図３に例示した本発明システムを具
体化する例を示している。この例では、装置は眼鏡状の
ステレオ画像表示装置１と二つのカメラ２、そして演算
装置３によって構成されている。また、必要な付属品と
して基準座標を与える対象物４が必要である。この図で
は、PDAのような大きさの矩形の板を使っている。
する三次元表示を行う方法及びシステムを例示に基づき
説明する。図１は、図３に例示した本発明システムを具
体化する例を示している。この例では、装置は眼鏡状の
ステレオ画像表示装置１と二つのカメラ２、そして演算
装置３によって構成されている。また、必要な付属品と
して基準座標を与える対象物４が必要である。この図で
は、PDAのような大きさの矩形の板を使っている。
【００１１】表示装置１は装着者が実際に見る現実の風
景と合成画像を重ねて表示することができる。両眼で別
々の映像を重ねることで立体的な合成画像を表示するこ
とができる。ステレオ立体視は人間が両眼で日常的に行
っている立体視である。眼鏡をかけて立体映像を表示す
るしかけとして一般的なのは、大型のスクリーンに両眼
の映像を重ね合わせたり時間的にずらして表示し、それ
を眼鏡の色フィルター、液晶シャッターや偏光フィルタ
ーなどにより分離する方法である。ここで用いる装置で
は、そのような巨大な装置は使わず、直接眼鏡の表面に
映像を合成する。
景と合成画像を重ねて表示することができる。両眼で別
々の映像を重ねることで立体的な合成画像を表示するこ
とができる。ステレオ立体視は人間が両眼で日常的に行
っている立体視である。眼鏡をかけて立体映像を表示す
るしかけとして一般的なのは、大型のスクリーンに両眼
の映像を重ね合わせたり時間的にずらして表示し、それ
を眼鏡の色フィルター、液晶シャッターや偏光フィルタ
ーなどにより分離する方法である。ここで用いる装置で
は、そのような巨大な装置は使わず、直接眼鏡の表面に
映像を合成する。
【００１２】カメラ２は小型のビデオカメラである。こ
れらは動画像を電子的に入力できるもので、現在だとほ
とんどがＣＣＤ画像素子を使ったものになる。撮影間隔
は、通常、ＮＴＳＣであれば３０分の１秒／フレームで
ある。しかし、物体の追跡を行うという目的からは、な
るべくフレームごとの移動量が少ない方が認識のミスが
減るので望ましい。最近は高速度撮影可能な市販カメラ
も出始めている。「物体の追跡」とは、三次元物体空間
を移動する物体の位置姿勢をリアルタイムに入力するこ
とであり、毎回ステレオ画像処理することもできるが、
通常は画面ごとの移動量は小さいため、画像全体から対
象物（この場合は基準物体）を探すよりも、画面内の前
の位置の近くを探すようにして計算量を減らすことで高
速な演算が可能になる。
れらは動画像を電子的に入力できるもので、現在だとほ
とんどがＣＣＤ画像素子を使ったものになる。撮影間隔
は、通常、ＮＴＳＣであれば３０分の１秒／フレームで
ある。しかし、物体の追跡を行うという目的からは、な
るべくフレームごとの移動量が少ない方が認識のミスが
減るので望ましい。最近は高速度撮影可能な市販カメラ
も出始めている。「物体の追跡」とは、三次元物体空間
を移動する物体の位置姿勢をリアルタイムに入力するこ
とであり、毎回ステレオ画像処理することもできるが、
通常は画面ごとの移動量は小さいため、画像全体から対
象物（この場合は基準物体）を探すよりも、画面内の前
の位置の近くを探すようにして計算量を減らすことで高
速な演算が可能になる。
【００１３】本発明は、二つ以上のカメラから撮った画
像から三次元物体の形状を復元するためにステレオ画像
処理をする。基本的には三角測量の原理で、左右のカメ
ラに写った同一の特徴点の三次元座標をカメラの配置か
ら計算する。しかし、実際には（１）一般的な物体を対
象にすると特徴点が画像上にきれいに出ない（２）特徴
点と似た形状の図形があると誤対応となり、三次元形状
が正確に計算できないなどの実装上の困難な点がある。
対象物体が既知の形状を持っているときには、点の対応
だけでなく、境界線やそれの組み合わせなどの大局的な
情報を使えるようになるので、対応点探索がよりスムー
ズにかつ正確に行えるようになる。本発明の場合、基準
物体にステレオ画像処理に適した形状を持たせたり、特
徴を強調する機械的な仕掛け（ＬＥＤをつけるなど）を
つけたりする工夫で誤対応の確率をさらに下げることが
可能である。
像から三次元物体の形状を復元するためにステレオ画像
処理をする。基本的には三角測量の原理で、左右のカメ
ラに写った同一の特徴点の三次元座標をカメラの配置か
ら計算する。しかし、実際には（１）一般的な物体を対
象にすると特徴点が画像上にきれいに出ない（２）特徴
点と似た形状の図形があると誤対応となり、三次元形状
が正確に計算できないなどの実装上の困難な点がある。
対象物体が既知の形状を持っているときには、点の対応
だけでなく、境界線やそれの組み合わせなどの大局的な
情報を使えるようになるので、対応点探索がよりスムー
ズにかつ正確に行えるようになる。本発明の場合、基準
物体にステレオ画像処理に適した形状を持たせたり、特
徴を強調する機械的な仕掛け（ＬＥＤをつけるなど）を
つけたりする工夫で誤対応の確率をさらに下げることが
可能である。
【００１４】演算装置３は画像処理、座標変換、表示な
どを行う計算機である。具体的にはコンピュータであ
る。座標変換に特化すれば、専用のハードウェアを用い
ることで小型化、高速化が可能である。基準物体４は基
準座標を与える指標となる物体である。形態は、三次元
計測において位置や姿勢が精度良く計算できる形である
物体であればよい。大きさは小さくても構わないが、あ
まり小さなものだと計測時の誤差が影響して姿勢の精度
が落ち、基準座標が不安定になる可能性がある。また、
あまり大きいと、三次元計測をするカメラの視野に入ら
なくなり、この場合も問題があるので、カメラの視野に
入り、かつ小さすぎない大きさが適当である。また、画
像処理によって三次元計測をするため、周囲と見分けや
すい色や形が望ましい。
どを行う計算機である。具体的にはコンピュータであ
る。座標変換に特化すれば、専用のハードウェアを用い
ることで小型化、高速化が可能である。基準物体４は基
準座標を与える指標となる物体である。形態は、三次元
計測において位置や姿勢が精度良く計算できる形である
物体であればよい。大きさは小さくても構わないが、あ
まり小さなものだと計測時の誤差が影響して姿勢の精度
が落ち、基準座標が不安定になる可能性がある。また、
あまり大きいと、三次元計測をするカメラの視野に入ら
なくなり、この場合も問題があるので、カメラの視野に
入り、かつ小さすぎない大きさが適当である。また、画
像処理によって三次元計測をするため、周囲と見分けや
すい色や形が望ましい。
【００１５】次に、図１に例示したシステム例の動作を
説明する。 （１）図１２に示すように、二台のカメラ２を用いて基
準物体４の映像を入力し、演算装置３において三次元計
測し、カメラの座標系Ｃ２からみた相対的な基準物体４
の位置と姿勢を計測する。物体４の形状や色などはあら
かじめデータとして蓄えておき、視野に他の物体があっ
ても間違わないようにする。
説明する。 （１）図１２に示すように、二台のカメラ２を用いて基
準物体４の映像を入力し、演算装置３において三次元計
測し、カメラの座標系Ｃ２からみた相対的な基準物体４
の位置と姿勢を計測する。物体４の形状や色などはあら
かじめデータとして蓄えておき、視野に他の物体があっ
ても間違わないようにする。
【００１６】（２）図１３に示すように、物体４の位置
姿勢の情報から、物体４上に固定された座標系Ｃ４から
カメラ座標系Ｃ２への変換行列Ｒ42を計算する。 （３）また、図１３に示すように、カメラ座標系Ｃ２か
ら表示装置の座標系Ｃ１への変換行列Ｒ21もあらかじめ
計算しておく。カメラと表示装置は固定されているの
で、これは一度キャリブレーションを行えば変更はしな
い。 （４）合成する立体画像のデータは座標系Ｃ４上に定義
して用意される。これを（２）で計算した変換行列Ｒ42
によって座標系Ｃ２のものに変換し、さらに（３）の変
換行列Ｒ21によって座標系Ｃ１のものに変換する。
姿勢の情報から、物体４上に固定された座標系Ｃ４から
カメラ座標系Ｃ２への変換行列Ｒ42を計算する。 （３）また、図１３に示すように、カメラ座標系Ｃ２か
ら表示装置の座標系Ｃ１への変換行列Ｒ21もあらかじめ
計算しておく。カメラと表示装置は固定されているの
で、これは一度キャリブレーションを行えば変更はしな
い。 （４）合成する立体画像のデータは座標系Ｃ４上に定義
して用意される。これを（２）で計算した変換行列Ｒ42
によって座標系Ｃ２のものに変換し、さらに（３）の変
換行列Ｒ21によって座標系Ｃ１のものに変換する。
【００１７】（５）このように変換された三次元データ
から使用者の両眼から見える映像を作成し、それを表示
装置１のそれぞれの表示装置において表示する。 以上の処理によって、使用者は、物体４の移動や回転に
追従する三次元の立体画像を見ることができる。三次元
画像は静止画である必要はなく、演算装置の能力が許せ
ば動画像でも可能である。
から使用者の両眼から見える映像を作成し、それを表示
装置１のそれぞれの表示装置において表示する。 以上の処理によって、使用者は、物体４の移動や回転に
追従する三次元の立体画像を見ることができる。三次元
画像は静止画である必要はなく、演算装置の能力が許せ
ば動画像でも可能である。
【００１８】図４は、図３とは別の本発明の第２のシス
テムを例示する図である。図３では、映像を表示するた
めに使う三次元データを演算装置内部に記録している
が、図４ではそれを外部に持ち、通信によって取得す
る。図２は、図４に例示したシステムを具体化する例を
示している。図２に示すように、基準物体にボタン類を
付加して、基準物体とシステムの間で通信することによ
って表示の操作が可能となる。ここで可能となる操作と
は、例えば、動画像の三次元映像を表示する場合に、再
生、停止、早送り、巻き戻しなどの画像の再生速度をビ
デオのように行うものが考えられる。また、静止した三
次元映像でも拡大、縮小、色の変更などの操作が考えら
れる。このように、ボタンを使えば、基準物体によって
可能な物体の位置姿勢の変化以外の操作を三次元映像に
行うことができる。これにより、動画像の再生、停止な
どの操作やゲームのインターフェースとしても利用可能
である。
テムを例示する図である。図３では、映像を表示するた
めに使う三次元データを演算装置内部に記録している
が、図４ではそれを外部に持ち、通信によって取得す
る。図２は、図４に例示したシステムを具体化する例を
示している。図２に示すように、基準物体にボタン類を
付加して、基準物体とシステムの間で通信することによ
って表示の操作が可能となる。ここで可能となる操作と
は、例えば、動画像の三次元映像を表示する場合に、再
生、停止、早送り、巻き戻しなどの画像の再生速度をビ
デオのように行うものが考えられる。また、静止した三
次元映像でも拡大、縮小、色の変更などの操作が考えら
れる。このように、ボタンを使えば、基準物体によって
可能な物体の位置姿勢の変化以外の操作を三次元映像に
行うことができる。これにより、動画像の再生、停止な
どの操作やゲームのインターフェースとしても利用可能
である。
【００１９】図５は、三次元画像を表示し、それを自由
に移動して角度を変えて見るための表示装置に、本発明
を応用した第１の応用例を示す図である。基準物体は手
でもてるサイズのフレームであり、複数の使用者がいて
も、同一の基準物体には同一の基準座標が定義されるの
で、三次元画像を前にしたディスカッションが可能とな
る。
に移動して角度を変えて見るための表示装置に、本発明
を応用した第１の応用例を示す図である。基準物体は手
でもてるサイズのフレームであり、複数の使用者がいて
も、同一の基準物体には同一の基準座標が定義されるの
で、三次元画像を前にしたディスカッションが可能とな
る。
【００２０】図６は、携帯電話に付随して移動する仮想
大画面ディスプレイに、本発明を応用した第２の応用例
を示す図である。基準物体は携帯電話あるいはそこから
突き出したアンテナである。
大画面ディスプレイに、本発明を応用した第２の応用例
を示す図である。基準物体は携帯電話あるいはそこから
突き出したアンテナである。
【００２１】図７は、卓上の仮想大画面ディスプレイ
に、本発明を応用した第３の応用例を示す図である。基
準物体はキーボードに付属したフレームである。
に、本発明を応用した第３の応用例を示す図である。基
準物体はキーボードに付属したフレームである。
【００２２】図８は、本発明を応用した第４の応用例を
示す図である。この例において、卓上全体がコンピュー
タの仮想ディスプレイになる。基準物体は机に置かれた
パターンである。
示す図である。この例において、卓上全体がコンピュー
タの仮想ディスプレイになる。基準物体は机に置かれた
パターンである。
【００２３】図９は、本発明を応用した第５の応用例を
示す図である。洋服や自動車に動画像の広告などを表示
することができる。基準物体は洋服や自動車に描かれた
固定パターンである。この場合、表示する三次元画像の
データは基準物体が描かれている衣服を着た人あるいは
自動車側にあり、それを通信で近くの装着者に送るよう
になる。
示す図である。洋服や自動車に動画像の広告などを表示
することができる。基準物体は洋服や自動車に描かれた
固定パターンである。この場合、表示する三次元画像の
データは基準物体が描かれている衣服を着た人あるいは
自動車側にあり、それを通信で近くの装着者に送るよう
になる。
【００２４】図１０は、本発明を応用した第６の応用例
を示す図である。舞台における服装、着ぐるみなどの立
体的装飾を可能にする。基準物体は体に固定されたパタ
ーンである。この図では、演技者は体に多数の基準物体
をはりつけており、それぞれは区別可能で、四肢のそれ
ぞれの座標に対して表示された合成画像を重ねること
で、観察者にはパンダが歩いているように見える。
を示す図である。舞台における服装、着ぐるみなどの立
体的装飾を可能にする。基準物体は体に固定されたパタ
ーンである。この図では、演技者は体に多数の基準物体
をはりつけており、それぞれは区別可能で、四肢のそれ
ぞれの座標に対して表示された合成画像を重ねること
で、観察者にはパンダが歩いているように見える。
【００２５】
【発明の効果】本発明では、顔に取り付けられた視覚に
よる三次元計測装置によって、基準物体の位置と姿勢を
計測し、表示系と物体系の相対的な位置関係を顔の座標
を基準にしてリアルタイムで測定することで、上記の従
来技術において必要な巨大な三次元計測装置を不要にす
ることができる。また、表示された三次元物体を手で持
って裏側を見るような動作も、本発明では実際に手で移
動された基準物体を測定するので、手自体の測定は不要
であり、また、操作においても現実感があり使用者の慣
れは必要ない。また、基準物体のひとつが三次元測定装
置の視野に入っている限り座標変換は可能であるので、
部屋や建物のサイズの三次元画像の中を歩いたりするこ
とも可能である。
よる三次元計測装置によって、基準物体の位置と姿勢を
計測し、表示系と物体系の相対的な位置関係を顔の座標
を基準にしてリアルタイムで測定することで、上記の従
来技術において必要な巨大な三次元計測装置を不要にす
ることができる。また、表示された三次元物体を手で持
って裏側を見るような動作も、本発明では実際に手で移
動された基準物体を測定するので、手自体の測定は不要
であり、また、操作においても現実感があり使用者の慣
れは必要ない。また、基準物体のひとつが三次元測定装
置の視野に入っている限り座標変換は可能であるので、
部屋や建物のサイズの三次元画像の中を歩いたりするこ
とも可能である。
【図１】図３に例示した本発明システムを具体化する例
を示している。
を示している。
【図２】図４に例示したシステムを具体化する例を示し
ている。
ている。
【図３】本発明システムの基本構成を例示する図であ
る。
る。
【図４】図３とは別の本発明の第２のシステムを例示す
る図である。
る図である。
【図５】本発明を応用した第１の応用例を示す図であ
る。
る。
【図６】本発明を応用した第２の応用例を示す図であ
る。
る。
【図７】本発明を応用した第３の応用例を示す図であ
る。
る。
【図８】本発明を応用した第４の応用例を示す図であ
る。
る。
【図９】本発明を応用した第５の応用例を示す図であ
る。
る。
【図１０】本発明を応用した第６の応用例を示す図であ
る。
る。
【図１１】従来技術に基づき、仮想の三次元空間に投影
する方法を説明するための図である。
する方法を説明するための図である。
【図１２】二台のカメラを用いて基準物体の映像を入力
し、その位置と姿勢を計測する方法を説明するための図
である。
し、その位置と姿勢を計測する方法を説明するための図
である。
【図１３】物体上に固定された座標系Ｃ４からカメラ座
標系Ｃ２への変換行列Ｒ42、及びカメラ座標系Ｃ２から
表示装置の座標系Ｃ１への変換行列Ｒ21の計算を説明す
るための図である。
標系Ｃ２への変換行列Ｒ42、及びカメラ座標系Ｃ２から
表示装置の座標系Ｃ１への変換行列Ｒ21の計算を説明す
るための図である。
１ 眼鏡状のステレオ画像表示装置
２ カメラ
３ 演算装置
４ 対象物
フロントページの続き
Ｆターム(参考） 5B050 AA09 BA09 BA13 EA07 EA19
EA27 FA02 FA06 FA09
5B057 AA20 CA13 CB12 CD14 CE08
CH01 DA16
5C061 AA01 AA20 AB04 AB08 AB18
AB20 AB24
5C082 AA27 BA12 BA46 BB25 BB26
CA55 CB03 DA22 DA42 DA73
DA86 MM09 MM10
Claims (2)
- 【請求項１】 三次元立体画像を表示装置に表示する画
像表示方法において、 表示しようとする三次元立体画像を表示するときの基準
となる座標系を与える基準物体と、視野内に置かれた基
準物体を観測し、その位置と姿勢をリアルタイムで計測
する三次元情報入力装置とを備えて、 計測された基準物体の位置姿勢から基準物体に固定され
た座標と三次元情報入力装置に固定された座標との変換
行列をリアルタイムに計算し、それにもとづき、表示対
象の三次元立体画像の座標変換を行い、 座標変換された三次元画像の左右の目の位置から見える
二次元画像を計算して、 シースルー機能を有する表示
装置に使用者の両眼用にわずかに異なった合成画像を表
示し、使用者に計算された三次元画像を見せると同時
に、合成画像を表示しない部分には現実に使用者に見え
る画像をそのまま表示する、 ことから成る画像表示方法。 - 【請求項２】 三次元立体画像を表示装置に表示する画
像表示システムにおいて、 表示しようとする三次元立体画像を表示するときの基準
となる座標系を与える基準物体と、 視野内に置かれた基準物体を観測し、その位置と姿勢を
リアルタイムで計測する三次元情報入力装置と、 計測された基準物体の位置姿勢から基準物体に固定され
た座標と三次元情報入力装置に固定された座標との変換
行列をリアルタイムに計算し、それにもとづき、表示対
象の三次元立体画像の座標変換を行う座標変換装置と、 座標変換された三次元画像の左右の目の位置から見える
二次元画像を計算する表示画像合成装置と、 使用者の両眼用にわずかに異なった合成画像を表示し、
使用者に計算された三次元画像を見せると同時に、合成
画像を表示しない部分には現実に使用者に見える画像を
そのまま表示するシースルー機能を有する表示装置と、 から成る画像表示システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001337805A JP3834615B2 (ja) | 2001-11-02 | 2001-11-02 | 画像表示方法及びシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001337805A JP3834615B2 (ja) | 2001-11-02 | 2001-11-02 | 画像表示方法及びシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003141574A true JP2003141574A (ja) | 2003-05-16 |
| JP3834615B2 JP3834615B2 (ja) | 2006-10-18 |
Family
ID=19152393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001337805A Expired - Lifetime JP3834615B2 (ja) | 2001-11-02 | 2001-11-02 | 画像表示方法及びシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3834615B2 (ja) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005293141A (ja) * | 2004-03-31 | 2005-10-20 | Canon Inc | マーカ検出方法及び装置並びに位置姿勢推定方法 |
| JP2006127468A (ja) * | 2004-09-28 | 2006-05-18 | Canon Inc | 情報処理方法および装置 |
| JP2016115148A (ja) * | 2014-12-15 | 2016-06-23 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
| WO2020115784A1 (ja) * | 2018-12-03 | 2020-06-11 | マクセル株式会社 | 拡張現実表示装置及び拡張現実表示方法 |
| WO2020185405A1 (en) | 2019-03-12 | 2020-09-17 | Magic Leap, Inc. | Registration of local content between first and second augmented reality viewers |
| US11567324B2 (en) | 2017-07-26 | 2023-01-31 | Magic Leap, Inc. | Exit pupil expander |
| US11579441B2 (en) | 2018-07-02 | 2023-02-14 | Magic Leap, Inc. | Pixel intensity modulation using modifying gain values |
| US11598651B2 (en) | 2018-07-24 | 2023-03-07 | Magic Leap, Inc. | Temperature dependent calibration of movement detection devices |
| US11609645B2 (en) | 2018-08-03 | 2023-03-21 | Magic Leap, Inc. | Unfused pose-based drift correction of a fused pose of a totem in a user interaction system |
| US11624929B2 (en) | 2018-07-24 | 2023-04-11 | Magic Leap, Inc. | Viewing device with dust seal integration |
| US11630507B2 (en) | 2018-08-02 | 2023-04-18 | Magic Leap, Inc. | Viewing system with interpupillary distance compensation based on head motion |
| US11737832B2 (en) | 2019-11-15 | 2023-08-29 | Magic Leap, Inc. | Viewing system for use in a surgical environment |
| US11756335B2 (en) | 2015-02-26 | 2023-09-12 | Magic Leap, Inc. | Apparatus for a near-eye display |
| US11762222B2 (en) | 2017-12-20 | 2023-09-19 | Magic Leap, Inc. | Insert for augmented reality viewing device |
| US11776509B2 (en) | 2018-03-15 | 2023-10-03 | Magic Leap, Inc. | Image correction due to deformation of components of a viewing device |
| US11790554B2 (en) | 2016-12-29 | 2023-10-17 | Magic Leap, Inc. | Systems and methods for augmented reality |
| US11856479B2 (en) | 2018-07-03 | 2023-12-26 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality along a route with markers |
| US11874468B2 (en) | 2016-12-30 | 2024-01-16 | Magic Leap, Inc. | Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light |
| US11885871B2 (en) | 2018-05-31 | 2024-01-30 | Magic Leap, Inc. | Radar head pose localization |
| US11953653B2 (en) | 2017-12-10 | 2024-04-09 | Magic Leap, Inc. | Anti-reflective coatings on optical waveguides |
| US12016719B2 (en) | 2018-08-22 | 2024-06-25 | Magic Leap, Inc. | Patient viewing system |
| US12033286B2 (en) | 2022-10-18 | 2024-07-09 | Maxell, Ltd. | Augmented reality display device and augmented reality display method |
-
2001
- 2001-11-02 JP JP2001337805A patent/JP3834615B2/ja not_active Expired - Lifetime
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4537104B2 (ja) * | 2004-03-31 | 2010-09-01 | キヤノン株式会社 | マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法 |
| JP2005293141A (ja) * | 2004-03-31 | 2005-10-20 | Canon Inc | マーカ検出方法及び装置並びに位置姿勢推定方法 |
| JP2006127468A (ja) * | 2004-09-28 | 2006-05-18 | Canon Inc | 情報処理方法および装置 |
| JP4689380B2 (ja) * | 2004-09-28 | 2011-05-25 | キヤノン株式会社 | 情報処理方法および装置 |
| JP2016115148A (ja) * | 2014-12-15 | 2016-06-23 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
| US11756335B2 (en) | 2015-02-26 | 2023-09-12 | Magic Leap, Inc. | Apparatus for a near-eye display |
| US11790554B2 (en) | 2016-12-29 | 2023-10-17 | Magic Leap, Inc. | Systems and methods for augmented reality |
| US11874468B2 (en) | 2016-12-30 | 2024-01-16 | Magic Leap, Inc. | Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light |
| US11567324B2 (en) | 2017-07-26 | 2023-01-31 | Magic Leap, Inc. | Exit pupil expander |
| US11927759B2 (en) | 2017-07-26 | 2024-03-12 | Magic Leap, Inc. | Exit pupil expander |
| US11953653B2 (en) | 2017-12-10 | 2024-04-09 | Magic Leap, Inc. | Anti-reflective coatings on optical waveguides |
| US11762222B2 (en) | 2017-12-20 | 2023-09-19 | Magic Leap, Inc. | Insert for augmented reality viewing device |
| US11776509B2 (en) | 2018-03-15 | 2023-10-03 | Magic Leap, Inc. | Image correction due to deformation of components of a viewing device |
| US11908434B2 (en) | 2018-03-15 | 2024-02-20 | Magic Leap, Inc. | Image correction due to deformation of components of a viewing device |
| US11885871B2 (en) | 2018-05-31 | 2024-01-30 | Magic Leap, Inc. | Radar head pose localization |
| US12001013B2 (en) | 2018-07-02 | 2024-06-04 | Magic Leap, Inc. | Pixel intensity modulation using modifying gain values |
| US11579441B2 (en) | 2018-07-02 | 2023-02-14 | Magic Leap, Inc. | Pixel intensity modulation using modifying gain values |
| US11856479B2 (en) | 2018-07-03 | 2023-12-26 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality along a route with markers |
| US11624929B2 (en) | 2018-07-24 | 2023-04-11 | Magic Leap, Inc. | Viewing device with dust seal integration |
| US11598651B2 (en) | 2018-07-24 | 2023-03-07 | Magic Leap, Inc. | Temperature dependent calibration of movement detection devices |
| US11630507B2 (en) | 2018-08-02 | 2023-04-18 | Magic Leap, Inc. | Viewing system with interpupillary distance compensation based on head motion |
| US11609645B2 (en) | 2018-08-03 | 2023-03-21 | Magic Leap, Inc. | Unfused pose-based drift correction of a fused pose of a totem in a user interaction system |
| US11960661B2 (en) | 2018-08-03 | 2024-04-16 | Magic Leap, Inc. | Unfused pose-based drift correction of a fused pose of a totem in a user interaction system |
| US12016719B2 (en) | 2018-08-22 | 2024-06-25 | Magic Leap, Inc. | Patient viewing system |
| JPWO2020115784A1 (ja) * | 2018-12-03 | 2021-10-14 | マクセル株式会社 | 拡張現実表示装置及び拡張現実表示方法 |
| US11508134B2 (en) | 2018-12-03 | 2022-11-22 | Maxell, Ltd. | Augmented reality display device and augmented reality display method |
| JP7244541B2 (ja) | 2018-12-03 | 2023-03-22 | マクセル株式会社 | 拡張現実表示装置及び拡張現実表示方法 |
| WO2020115784A1 (ja) * | 2018-12-03 | 2020-06-11 | マクセル株式会社 | 拡張現実表示装置及び拡張現実表示方法 |
| EP3939030A4 (en) * | 2019-03-12 | 2022-11-30 | Magic Leap, Inc. | REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY |
| US11762623B2 (en) | 2019-03-12 | 2023-09-19 | Magic Leap, Inc. | Registration of local content between first and second augmented reality viewers |
| WO2020185405A1 (en) | 2019-03-12 | 2020-09-17 | Magic Leap, Inc. | Registration of local content between first and second augmented reality viewers |
| US11737832B2 (en) | 2019-11-15 | 2023-08-29 | Magic Leap, Inc. | Viewing system for use in a surgical environment |
| US12033081B2 (en) | 2020-11-13 | 2024-07-09 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
| US12033286B2 (en) | 2022-10-18 | 2024-07-09 | Maxell, Ltd. | Augmented reality display device and augmented reality display method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3834615B2 (ja) | 2006-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3834615B2 (ja) | 画像表示方法及びシステム | |
| US10422994B1 (en) | Method and apparatus for multiple user self-relative tracking using magnetic tracking | |
| Azuma | A survey of augmented reality | |
| Van Krevelen et al. | A survey of augmented reality technologies, applications and limitations | |
| CN106101689B (zh) | 利用手机单目摄像头对虚拟现实眼镜进行增强现实的方法 | |
| JP4933406B2 (ja) | 画像処理装置、画像処理方法 | |
| WO2019152617A1 (en) | Calibration system and method to align a 3d virtual scene and 3d real world for a stereoscopic head-mounted display | |
| US20070132662A1 (en) | Information processing method, information processing apparatus, and image sensing apparatus | |
| KR20150093831A (ko) | 혼합 현실 환경에 대한 직접 상호작용 시스템 | |
| JPH1051711A (ja) | ３次元仮想物体表示装置および方法 | |
| JPH075978A (ja) | 入力装置 | |
| WO2005116938A1 (en) | Image processing method and image processing apparatus | |
| JPH07311857A (ja) | 画像合成表示装置およびシミュレーションシステム | |
| JP4624582B2 (ja) | 画像生成装置、プログラム及び情報記憶媒体 | |
| Cortes et al. | Mosart: Mobile spatial augmented reality for 3d interaction with tangible objects | |
| TW202025719A (zh) | 圖像處理方法及裝置、電子設備及儲存介質 | |
| CN113544766A (zh) | 在第一和第二增强现实观看器之间配准本地内容 | |
| CN115735150A (zh) | 增强现实眼戴器与3d服装 | |
| CN114937139A (zh) | 一种基于视频流融合的内窥镜增强现实***及方法 | |
| JP4624587B2 (ja) | 画像生成装置、プログラム及び情報記憶媒体 | |
| JP4491598B2 (ja) | 画像表示システム | |
| JP7262973B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP4689344B2 (ja) | 情報処理方法、情報処理装置 | |
| JP2001222723A (ja) | 立体視画像の生成方法及び同装置 | |
| JP2005251118A (ja) | 画像処理方法、画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060404 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060501 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060530 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060531 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060627 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3834615 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |