JPH06268943A - 視点映像用ビデオカメラを有する頭部搭載型ディスプレイ - Google Patents
視点映像用ビデオカメラを有する頭部搭載型ディスプレイInfo
- Publication number
- JPH06268943A JPH06268943A JP5375193A JP5375193A JPH06268943A JP H06268943 A JPH06268943 A JP H06268943A JP 5375193 A JP5375193 A JP 5375193A JP 5375193 A JP5375193 A JP 5375193A JP H06268943 A JPH06268943 A JP H06268943A
- Authority
- JP
- Japan
- Prior art keywords
- image
- real
- head
- mirror
- video camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
(57)【要約】
【目的】 頭部搭載型ディスプレイ装着時における実際
の周囲状況の把握し、実画像中の映像を情報として分解
し、コンピュータグラフィクス等と合成することによる
コンピュータグラフィクス描画負荷を減少させ、現実
感、実視点実画像の解像度、鮮明度を向上させる等を目
的とする。 【構成】 使用者の視点から見た映像を取得するための
左右両眼用の実視点実画像取得用ビデオカメラ(0
6)、左右両眼用の視野映像提供用ディスプレイ(01
1)、光学系(02,03,04,05,012)及び
画像合成装置(08)よりなるものである。
の周囲状況の把握し、実画像中の映像を情報として分解
し、コンピュータグラフィクス等と合成することによる
コンピュータグラフィクス描画負荷を減少させ、現実
感、実視点実画像の解像度、鮮明度を向上させる等を目
的とする。 【構成】 使用者の視点から見た映像を取得するための
左右両眼用の実視点実画像取得用ビデオカメラ(0
6)、左右両眼用の視野映像提供用ディスプレイ(01
1)、光学系(02,03,04,05,012)及び
画像合成装置(08)よりなるものである。
Description
【0001】
【産業上の利用分野】本発明は、使用者の視点から見た
映像である実視点実画像をビデオカメラにより取得でき
るように改良した頭部搭載型ディスプレイに関する。
映像である実視点実画像をビデオカメラにより取得でき
るように改良した頭部搭載型ディスプレイに関する。
【0002】
【従来の技術】従来の頭部搭載型ディスプレイ(Head M
ounted Display:HMD)を大別すると、以下の二種類
に分類される。
ounted Display:HMD)を大別すると、以下の二種類
に分類される。
【0003】(1)図6(a)(b)に示すように、人
体頭部015の眼前にディスプレイ026及びその光学
系を配置し、このディスプレイ026にコンピュータグ
ラフィクス又は他の地点のビデオカメラからの画像であ
る他視点実画像を表示することにより、使用者に空間情
報を視覚的に認識させるものである。
体頭部015の眼前にディスプレイ026及びその光学
系を配置し、このディスプレイ026にコンピュータグ
ラフィクス又は他の地点のビデオカメラからの画像であ
る他視点実画像を表示することにより、使用者に空間情
報を視覚的に認識させるものである。
【0004】即ち、図6(a)に示すように、人体頭部
015には頭部位置及び方向センサ018を設けると共
にその為の発振源017を配置し、頭部位置及び方向セ
ンサ018及びその為の発振源017からの信号を頭部
位置演算装置へ出力し、この出力に基づいてコンピュー
タグラフィクス描画装置がディスプレイ026へ画像を
出力するのである。
015には頭部位置及び方向センサ018を設けると共
にその為の発振源017を配置し、頭部位置及び方向セ
ンサ018及びその為の発振源017からの信号を頭部
位置演算装置へ出力し、この出力に基づいてコンピュー
タグラフィクス描画装置がディスプレイ026へ画像を
出力するのである。
【0005】また、図6(b)に示すように、人体頭部
015には頭部位置及び方向センサ018を設けると共
にその為の発振源017を配置し、頭部位置及び方向セ
ンサ018及びその為の発振源017からの信号を頭部
位置演算装置へ出力し、頭部位置演算装置の出力を座標
変換してカメラ位置制御装置へ出力し、そして、カメラ
位置制御装置がビデオカメラ020の位置制御を行うこ
とにより、ビデオカメラ020の画像をディスプレイ0
26へ出力するのである。
015には頭部位置及び方向センサ018を設けると共
にその為の発振源017を配置し、頭部位置及び方向セ
ンサ018及びその為の発振源017からの信号を頭部
位置演算装置へ出力し、頭部位置演算装置の出力を座標
変換してカメラ位置制御装置へ出力し、そして、カメラ
位置制御装置がビデオカメラ020の位置制御を行うこ
とにより、ビデオカメラ020の画像をディスプレイ0
26へ出力するのである。
【0006】(2)更に、図7に示すように、人体頭部
015の眼前に、ハーフミラーを配置すると共にこのハ
ーフミラーの側方にディスプレイ026を配置し、実際
の視界上にハーフミラーを介した三次元情報を表示する
ものである。
015の眼前に、ハーフミラーを配置すると共にこのハ
ーフミラーの側方にディスプレイ026を配置し、実際
の視界上にハーフミラーを介した三次元情報を表示する
ものである。
【0007】即ち、図7に示すように、人体頭部015
には頭部位置及び方向センサ018を設けると共にその
為の発振源017を配置し、頭部位置及び方向センサ0
18及びその為の発振源017からの信号を頭部位置演
算装置へ出力し、この出力に基づいてコンピュータグラ
フィクス描画装置がディスプレイ026へ画像を出力す
るのである。
には頭部位置及び方向センサ018を設けると共にその
為の発振源017を配置し、頭部位置及び方向センサ0
18及びその為の発振源017からの信号を頭部位置演
算装置へ出力し、この出力に基づいてコンピュータグラ
フィクス描画装置がディスプレイ026へ画像を出力す
るのである。
【0008】
【発明が解決しようとする課題】上述した従来の頭部搭
載型ディスプレイにおいては、それぞれ次の問題点があ
る。
載型ディスプレイにおいては、それぞれ次の問題点があ
る。
【0009】(1)使用者が実際の周囲状況を確認する
ためには、頭部搭載型ディスプレイを外して直接肉眼で
確認するしか方法がないため、頭部搭載型ディスプレイ
を装着したままでは実際に周囲環境に対して作業を行う
ことは不可能であった。中でも、コンピュータグラフィ
クスのみにより空間情報を提供するものは、常時画像を
生成しなければならないため、コンピュータグラフィク
ス用コンピュータの負荷が大きかった。
ためには、頭部搭載型ディスプレイを外して直接肉眼で
確認するしか方法がないため、頭部搭載型ディスプレイ
を装着したままでは実際に周囲環境に対して作業を行う
ことは不可能であった。中でも、コンピュータグラフィ
クスのみにより空間情報を提供するものは、常時画像を
生成しなければならないため、コンピュータグラフィク
ス用コンピュータの負荷が大きかった。
【0010】また、視野内の空間情報を全てコンピュー
タグラフィクスで描くため、コンピュータ処理時間の長
大化による動画数の減少が生じ、使用者の動きに対する
画像変化の遅延等の違和感が発生する。
タグラフィクスで描くため、コンピュータ処理時間の長
大化による動画数の減少が生じ、使用者の動きに対する
画像変化の遅延等の違和感が発生する。
【0011】加えて、周囲の人物や物体を使用者に認識
させる場合には、コンピュータグラフィクスで表現する
しか手段がないため、現実感の低下を招いていた。
させる場合には、コンピュータグラフィクスで表現する
しか手段がないため、現実感の低下を招いていた。
【0012】(2)ハーフミラーを介して実視界とコン
ピュータグラフィクスを重ね合わせているため、実視界
とコンピュータグラフィクスともに解像度、鮮明度が低
下する。また、実際の物体から、使用者の目に直接入る
映像を操作することが不可能であった。更に、コンピュ
ータグラフィクスと実視界との合成精度が低かった。
ピュータグラフィクスを重ね合わせているため、実視界
とコンピュータグラフィクスともに解像度、鮮明度が低
下する。また、実際の物体から、使用者の目に直接入る
映像を操作することが不可能であった。更に、コンピュ
ータグラフィクスと実視界との合成精度が低かった。
【0013】本発明は、上記従来技術に鑑みてなされた
ものであり、使用者の実際の視点から見た映像である実
視点実画像をビデオカメラにより取得することにより、
頭部搭載型ディスプレイ装着時における実際の周囲状況
の把握し、実画像中の映像を情報として分解し、コンピ
ュータグラフィクス等と合成することによるコンピュー
タグラフィクス描画負荷を減少させ、現実感、実視点実
画像の解像度、鮮明度を向上させ、コンピュータグラフ
ィクス又は他視点実画像との合成精度を確保し、並びに
実視点実画像の情報処理を可能とする頭部搭載型ディス
プレイを提供することを目的とする。
ものであり、使用者の実際の視点から見た映像である実
視点実画像をビデオカメラにより取得することにより、
頭部搭載型ディスプレイ装着時における実際の周囲状況
の把握し、実画像中の映像を情報として分解し、コンピ
ュータグラフィクス等と合成することによるコンピュー
タグラフィクス描画負荷を減少させ、現実感、実視点実
画像の解像度、鮮明度を向上させ、コンピュータグラフ
ィクス又は他視点実画像との合成精度を確保し、並びに
実視点実画像の情報処理を可能とする頭部搭載型ディス
プレイを提供することを目的とする。
【0014】
【課題を解決するための手段】斯かる目的を達成する本
発明の頭部搭載型ディスプレイは、視野映像提供用ディ
スプレイ2器(左右両眼用)、実視点実画像取得用ビデ
オカメラ2器(左右両眼用)、光学系(ミラー、レンズ
等)及び画像合成装置よりなるものである。
発明の頭部搭載型ディスプレイは、視野映像提供用ディ
スプレイ2器(左右両眼用)、実視点実画像取得用ビデ
オカメラ2器(左右両眼用)、光学系(ミラー、レンズ
等)及び画像合成装置よりなるものである。
【0015】視野映像提供用ディスプレイとは、使用者
の眼に映像を提供するためのディスプレイであり、使用
者の視野方向の空間を確保できるようにミラー、レンズ
を用いて映像が使用者の眼に到達するように頭部に配置
する。また、実視点実画像取得用ビデオカメラは、使用
者の実際の視点に入る映像をミラー、レンズを介して取
得でき、且つ、上記のディスプレイ用光学系を干渉しな
いように配置する。
の眼に映像を提供するためのディスプレイであり、使用
者の視野方向の空間を確保できるようにミラー、レンズ
を用いて映像が使用者の眼に到達するように頭部に配置
する。また、実視点実画像取得用ビデオカメラは、使用
者の実際の視点に入る映像をミラー、レンズを介して取
得でき、且つ、上記のディスプレイ用光学系を干渉しな
いように配置する。
【0016】尚、ビデオカメラに入る映像を、使用者の
視点に入るはずの映像と一致させるために、ビデオカメ
ラ用光学系入口に入る映像中の角度情報と、ディスプレ
イから使用者の目に入る映像の角度情報が一致するよう
にビデオカメラ及びディスプレイを配置する。
視点に入るはずの映像と一致させるために、ビデオカメ
ラ用光学系入口に入る映像中の角度情報と、ディスプレ
イから使用者の目に入る映像の角度情報が一致するよう
にビデオカメラ及びディスプレイを配置する。
【0017】画像合成装置は、実視点実画像と外部画像
をそれぞれ、画面上の指定した領域に割り付けて合成
し、ディスプレイに対してこの合成画像を出力する装置
である。
をそれぞれ、画面上の指定した領域に割り付けて合成
し、ディスプレイに対してこの合成画像を出力する装置
である。
【0018】
【作用】本装置を使用者の頭部に装着し、使用者の眼に
対する配置を調整することにより、ディスプレイの位置
でビデオカメラの位置の調整を同時に完了することがで
きる。
対する配置を調整することにより、ディスプレイの位置
でビデオカメラの位置の調整を同時に完了することがで
きる。
【0019】このディスプレイに、実視点実画像、他視
点実画像、コンピュータグラフィクスを合成又は選択し
て表示することにより、使用者は任意の三次元空間情報
を資格的に認識することができる。
点実画像、コンピュータグラフィクスを合成又は選択し
て表示することにより、使用者は任意の三次元空間情報
を資格的に認識することができる。
【0020】また、実視点実画像に必要な領域だけコン
ピュータグラフィクスを合成することにより、コンピュ
ータグラフィクス描画における計算機負荷の減少、現実
感の向上及びコンピュータグラフィクスと周囲状況の同
時確認が可能となる。
ピュータグラフィクスを合成することにより、コンピュ
ータグラフィクス描画における計算機負荷の減少、現実
感の向上及びコンピュータグラフィクスと周囲状況の同
時確認が可能となる。
【0021】更に、コンピュータグラフィクス描画にお
ける座標系と実視点実画像の描画領域を比較し、整合す
ることにより、コンピュータグラフィクス合成精度を向
上させることができる。
ける座標系と実視点実画像の描画領域を比較し、整合す
ることにより、コンピュータグラフィクス合成精度を向
上させることができる。
【0022】加えて、特別に空間情報を提供する必要の
ない場合には、実視点実画像のみを表示することによ
り、頭部搭載型ディスプレイ非装着時のように実際の周
囲状況を把握し、実際の周囲環境に対して作業すること
が可能となる。
ない場合には、実視点実画像のみを表示することによ
り、頭部搭載型ディスプレイ非装着時のように実際の周
囲状況を把握し、実際の周囲環境に対して作業すること
が可能となる。
【0023】
【実施例】以下、本発明について、図面に示す実施例を
参照して詳細に説明する。 〔第一実施例〕本発明の第一実施例を図1(a)(b)
に示す。本実施例では、実視点実画像の取得を容易とす
る目的で、使用者の視野方向の空間を確保できるように
配置したものである。
参照して詳細に説明する。 〔第一実施例〕本発明の第一実施例を図1(a)(b)
に示す。本実施例では、実視点実画像の取得を容易とす
る目的で、使用者の視野方向の空間を確保できるように
配置したものである。
【0024】即ち、人体頭部015の左右の両眼前に
は、ミラー013がそれぞれ配置されると共にこのミラ
ー013の前方にはそれぞれ、ミラー03、レンズ02
が配置されている。ミラー013の上方、つまり、額前
面にはディスプレイ011及びレンズ012が配置さ
れ、ディスプレイ011に表示される画像が使用者の眼
に到達するように反射させるため、ミラー013は、上
部になるほど前方に傾斜している。
は、ミラー013がそれぞれ配置されると共にこのミラ
ー013の前方にはそれぞれ、ミラー03、レンズ02
が配置されている。ミラー013の上方、つまり、額前
面にはディスプレイ011及びレンズ012が配置さ
れ、ディスプレイ011に表示される画像が使用者の眼
に到達するように反射させるため、ミラー013は、上
部になるほど前方に傾斜している。
【0025】ミラー03の側方にはミラー04が配置さ
れると共に使用者の耳の側前方にビデオカメラ06が配
置され、使用者の視点から見た映像である実視点実画像
01を折り曲げてビデオカメラ06で取得できるよう
に、ミラー03,04はそれぞれ左右方向に傾けて配置
されている。
れると共に使用者の耳の側前方にビデオカメラ06が配
置され、使用者の視点から見た映像である実視点実画像
01を折り曲げてビデオカメラ06で取得できるよう
に、ミラー03,04はそれぞれ左右方向に傾けて配置
されている。
【0026】このようにディスプレイ用光学系であるレ
ンズ012、ミラー013と、ビデオカメラ用光学系で
あるレンズ02、ミラー03,04、レンズ05との干
渉を防ぎ、且つ、ビデオカメラ06が使用者の眼の位置
から見たものと等価な実視点実画像を取得することがで
きる。
ンズ012、ミラー013と、ビデオカメラ用光学系で
あるレンズ02、ミラー03,04、レンズ05との干
渉を防ぎ、且つ、ビデオカメラ06が使用者の眼の位置
から見たものと等価な実視点実画像を取得することがで
きる。
【0027】ここで、ビデオカメラ06に入る映像が、
頭部搭載型ディスプレイ非装着時に使用者の視点014
に入る映像と一致するように、レンズ02とビデオカメ
ラ06との間の光路距離を、レンズ02とディスプレイ
011において想定される使用者の視点014までの距
離に応じてビデオカメラ06の配置を調整する。
頭部搭載型ディスプレイ非装着時に使用者の視点014
に入る映像と一致するように、レンズ02とビデオカメ
ラ06との間の光路距離を、レンズ02とディスプレイ
011において想定される使用者の視点014までの距
離に応じてビデオカメラ06の配置を調整する。
【0028】更に、ビデオカメラ06からの実視点実画
像信号07a,07bは、それぞれ左右両眼用の画像合
成装置08へ出力され、画像合成装置08において、コ
ンピュータグラフィクス又は他視点実画像等の外部画像
信号9a,9bと合成され、出力画像信号010a,0
10bとしてディスプレイ011へ出力される。図2中
に示すように、破線内で囲まれた領域は人体頭部015
に搭載される機器016を示し、画像合成装置08も含
まれる。
像信号07a,07bは、それぞれ左右両眼用の画像合
成装置08へ出力され、画像合成装置08において、コ
ンピュータグラフィクス又は他視点実画像等の外部画像
信号9a,9bと合成され、出力画像信号010a,0
10bとしてディスプレイ011へ出力される。図2中
に示すように、破線内で囲まれた領域は人体頭部015
に搭載される機器016を示し、画像合成装置08も含
まれる。
【0029】本実施例で外部画像としてコンピュータグ
ラフィクスを用いる場合には、人体頭部015の位置及
びその方向が必要であり、その情報を得るため、人体頭
部015に磁界センサ又は超音波センサ等のセンサ01
8を設ける一方、そのセンサ用発振源017を配置して
いる。センサ018及びその発振源017からの信号
は、図2(a)に示すように頭部位置演算装置へ入力さ
れて人体頭部015の位置及び方向が演算されることに
なる。この結果は、コンピュータグラフィクス描画装置
に利用される。
ラフィクスを用いる場合には、人体頭部015の位置及
びその方向が必要であり、その情報を得るため、人体頭
部015に磁界センサ又は超音波センサ等のセンサ01
8を設ける一方、そのセンサ用発振源017を配置して
いる。センサ018及びその発振源017からの信号
は、図2(a)に示すように頭部位置演算装置へ入力さ
れて人体頭部015の位置及び方向が演算されることに
なる。この結果は、コンピュータグラフィクス描画装置
に利用される。
【0030】コンピュータグラフィクス描画装置は、コ
ンピュータグラフィクスデータベースのデータを、人体
頭部015の位置及び方向により、使用者の視野内の三
次元的な視覚的情報を表すコンピュータグラフィクス画
像信号19a,019bとして画像合成装置08へ出力
する。
ンピュータグラフィクスデータベースのデータを、人体
頭部015の位置及び方向により、使用者の視野内の三
次元的な視覚的情報を表すコンピュータグラフィクス画
像信号19a,019bとして画像合成装置08へ出力
する。
【0031】本実施例においては、ディスプレイ011
に表示する画像の背景は、実視点実画像情報を用いるこ
とができ、また、実視点実画像中に存在する任意の物体
の映像、例えば、使用者の体、手等も利用できるので、
コンピュータグラフィクスで描画する必要のあるもの
は、実際には存在しない物体のみに限定することがで
き、コンピュータグラフィクス描画装置の描画負担を大
幅に減少させることができる。
に表示する画像の背景は、実視点実画像情報を用いるこ
とができ、また、実視点実画像中に存在する任意の物体
の映像、例えば、使用者の体、手等も利用できるので、
コンピュータグラフィクスで描画する必要のあるもの
は、実際には存在しない物体のみに限定することがで
き、コンピュータグラフィクス描画装置の描画負担を大
幅に減少させることができる。
【0032】画像合成装置08は、図2(b)に示すア
ルゴリズムにより、実画像実画像信号07a,07bと
外部画像信号09a,9bを画像合成信号010a,0
10bを得るものである。
ルゴリズムにより、実画像実画像信号07a,07bと
外部画像信号09a,9bを画像合成信号010a,0
10bを得るものである。
【0033】即ち、実画像実画像をエッジ検出及び特徴
点を検出して画像合成領域を決定し、外部画像をこの画
像合成領域に当てはめてウィンドウ化した後に実視点実
画像を重ね合わせることにより、実視点実画像と外部画
像の合成を行う。エッジ及び特徴点を指定しておくこと
により、実視点実画像中の任意の場所にコンピュータグ
ラフィクスによる三次元情報を視覚的に提供することが
でき、且つ、視野内のコンピュータグラフィクス表示領
域以外の部分では、実際の周囲状況の情報も実画像で提
供することができる。この結果、本発明の使用者は、コ
ンピュータグラフィクスによる三次元情報と実際の周囲
環境の三次元情報を視覚的に認識することが可能とな
る。
点を検出して画像合成領域を決定し、外部画像をこの画
像合成領域に当てはめてウィンドウ化した後に実視点実
画像を重ね合わせることにより、実視点実画像と外部画
像の合成を行う。エッジ及び特徴点を指定しておくこと
により、実視点実画像中の任意の場所にコンピュータグ
ラフィクスによる三次元情報を視覚的に提供することが
でき、且つ、視野内のコンピュータグラフィクス表示領
域以外の部分では、実際の周囲状況の情報も実画像で提
供することができる。この結果、本発明の使用者は、コ
ンピュータグラフィクスによる三次元情報と実際の周囲
環境の三次元情報を視覚的に認識することが可能とな
る。
【0034】このように本実施例では、ビデオカメラ0
6により得られた実視点実画像信号07a,07bに外
部画像信号09a,09bを画像合成装置08により画
像合成して出力画像010a,010bをディスプレイ
011に表示することにより、使用者に三次元空間情報
を視覚的に認識させることができる。尚、本実施例で
は、外部画像としてコンピュータグラフィクス、画像合
成方法としてエッジ検出及び特徴点抽出による領域指定
を用いているが、本発明は、これらに限るものではな
い。
6により得られた実視点実画像信号07a,07bに外
部画像信号09a,09bを画像合成装置08により画
像合成して出力画像010a,010bをディスプレイ
011に表示することにより、使用者に三次元空間情報
を視覚的に認識させることができる。尚、本実施例で
は、外部画像としてコンピュータグラフィクス、画像合
成方法としてエッジ検出及び特徴点抽出による領域指定
を用いているが、本発明は、これらに限るものではな
い。
【0035】〔第二実施例〕本発明の第二実施例を図3
に示す。本実施例においては、画像合成方式は、第一実
施例と同じ方式を用いる。また、人体頭部015に搭載
される機器016も実施例1と共通である。但し、外部
画像としては、使用者の位置とは異なる位置に設置され
た、使用者の頭部の動きに連動する2台のビデオカメラ
020により得られる実画像(他視点実画像)を用い
る。このビデオカメラ020を駆動するためには、使用
者の頭部の位置及び方向の情報が必要であり、この情報
の検出は、第一実施例と同様に磁気センサ、超音波セン
サ等のセンサ018を使用者頭部に装着することにより
行う。
に示す。本実施例においては、画像合成方式は、第一実
施例と同じ方式を用いる。また、人体頭部015に搭載
される機器016も実施例1と共通である。但し、外部
画像としては、使用者の位置とは異なる位置に設置され
た、使用者の頭部の動きに連動する2台のビデオカメラ
020により得られる実画像(他視点実画像)を用い
る。このビデオカメラ020を駆動するためには、使用
者の頭部の位置及び方向の情報が必要であり、この情報
の検出は、第一実施例と同様に磁気センサ、超音波セン
サ等のセンサ018を使用者頭部に装着することにより
行う。
【0036】本実施例の外部描画も、第一実施例のコン
ピュータグラフィクスと同様に、使用者の頭部の運動に
応じて変化するので、この外部描画を画像合成装置08
により、ウィンドウ化及び実視点実画像との重ね合わせ
を行うことで、実視点実画像中の任意の場所に他視点実
画像による三次元情報を視覚的に提供することができ、
且つ、視野中の他視点実画像表示領域以外の部分では、
実際の周囲状況の情報も実画像で提供することができ
る。この結果、本発明の使用者は、他視点実画像による
三次元情報と実際の周囲環境の三次元情報を視覚的に認
識することが可能となる。
ピュータグラフィクスと同様に、使用者の頭部の運動に
応じて変化するので、この外部描画を画像合成装置08
により、ウィンドウ化及び実視点実画像との重ね合わせ
を行うことで、実視点実画像中の任意の場所に他視点実
画像による三次元情報を視覚的に提供することができ、
且つ、視野中の他視点実画像表示領域以外の部分では、
実際の周囲状況の情報も実画像で提供することができ
る。この結果、本発明の使用者は、他視点実画像による
三次元情報と実際の周囲環境の三次元情報を視覚的に認
識することが可能となる。
【0037】〔第三実施例〕本発明の第三実施例を図4
(a)(b)に示す。本実施例においては、画像合成方
式は、第一、第二実施例と同様な方法を用いる。外部画
像としては、コンピュータグラフィクス、他視点実画像
の何れでも良い。人体頭部015に搭載される機器01
6は、第一実施例と共通であるので省略した。
(a)(b)に示す。本実施例においては、画像合成方
式は、第一、第二実施例と同様な方法を用いる。外部画
像としては、コンピュータグラフィクス、他視点実画像
の何れでも良い。人体頭部015に搭載される機器01
6は、第一実施例と共通であるので省略した。
【0038】本実施例では、更に、画像合成を容易とす
るため、エッジ検出及び特徴的検出の容易な図4(a)
に示す画像領域指定装置024装置を追加する。図4
(a)に示すように画像領域指定装置024は、エッジ
022及び特徴点021により構成される。特徴点02
1は、数個が隠されていても、本装置の検出が行われる
ように冗長性をもたせて多数設置することが望ましい。
図4(b)に示すように、画像領域指定装置024を本
発明使用者の視野内に設置し、画像合成装置08のエッ
ジ検出及び特徴点検出特性を本装置を検出するように調
整することで画像合成領域023の指定が容易となる。
るため、エッジ検出及び特徴的検出の容易な図4(a)
に示す画像領域指定装置024装置を追加する。図4
(a)に示すように画像領域指定装置024は、エッジ
022及び特徴点021により構成される。特徴点02
1は、数個が隠されていても、本装置の検出が行われる
ように冗長性をもたせて多数設置することが望ましい。
図4(b)に示すように、画像領域指定装置024を本
発明使用者の視野内に設置し、画像合成装置08のエッ
ジ検出及び特徴点検出特性を本装置を検出するように調
整することで画像合成領域023の指定が容易となる。
【0039】この結果、本発明使用者は、視野内の画像
領域指定装置024により指定される画像合成領域02
3内に、コンピュータグラフィクス又は他視点実画像に
よる三次元情報を視覚的に認識することができ、同時
に、画像合成領域023以外の部分について、実際の周
囲環境に関する三次元情報も視覚的に把握することがで
きる。
領域指定装置024により指定される画像合成領域02
3内に、コンピュータグラフィクス又は他視点実画像に
よる三次元情報を視覚的に認識することができ、同時
に、画像合成領域023以外の部分について、実際の周
囲環境に関する三次元情報も視覚的に把握することがで
きる。
【0040】〔第四実施例〕本発明の第四の実施例を図
5(a)(b)に示す。本実施例に用いる外部画像とし
ては、コンピュータグラフィクス、他視点画像の何れを
も用いることができる。人体頭部015に搭載される機
器016は、第一実施例と共通であるので省略した。本
実施例における画像合成方式として、以下の方式を用い
る。
5(a)(b)に示す。本実施例に用いる外部画像とし
ては、コンピュータグラフィクス、他視点画像の何れを
も用いることができる。人体頭部015に搭載される機
器016は、第一実施例と共通であるので省略した。本
実施例における画像合成方式として、以下の方式を用い
る。
【0041】先ず、使用者の周囲に青色に塗装した面
(以下、「ブルーバック」という)025を配置する。
更に、画像合成方式にクロマキー合成方式を用いる。ク
ロマキー合成方式の作動方式を図5(b)に示す。図5
(b)に示すように入力画像07a又は07b中の青色
の部分に、入力画像09a又は09bをリアルタイムで
回路的に合成するものである。本実施例の場合、入力画
像07a又は07bとして実視点実画像を、入力画像0
9a又は09bとして外部画像を用いるので、実視点実
画像中のブルーバックで指定された領域に外部画像をリ
アルタイムで合成することができる。
(以下、「ブルーバック」という)025を配置する。
更に、画像合成方式にクロマキー合成方式を用いる。ク
ロマキー合成方式の作動方式を図5(b)に示す。図5
(b)に示すように入力画像07a又は07b中の青色
の部分に、入力画像09a又は09bをリアルタイムで
回路的に合成するものである。本実施例の場合、入力画
像07a又は07bとして実視点実画像を、入力画像0
9a又は09bとして外部画像を用いるので、実視点実
画像中のブルーバックで指定された領域に外部画像をリ
アルタイムで合成することができる。
【0042】この結果、使用者は、視野内のブルーバッ
クで指定した領域内においては、外部画像による三次元
情報を視覚的に認識することができ、同時にブルーバッ
ク領域以外の部分について、実際の周囲環境に関する三
次元情報を視覚的に把握することが可能となる。
クで指定した領域内においては、外部画像による三次元
情報を視覚的に認識することができ、同時にブルーバッ
ク領域以外の部分について、実際の周囲環境に関する三
次元情報を視覚的に把握することが可能となる。
【0043】
【発明の効果】以上、実施例に基づいて具体的に説明し
たように、本発明の頭部搭載型ディスプレイは、実視点
実画像取得用ビデオカメラを左右両眼について配置する
ことにより、頭部搭載型ディスプレイ装着時の実際の周
囲状況の把握、実視点実画像中の映像を情報として分割
し、コンピュータグラフィクス等と合成することによる
コンピュータグラフィクス描画負担の減少及び現実感の
向上並びにコンピュータグラフィクスと周囲状況の同時
認識、実視点実画像の解像度、鮮明度、コンピュータグ
ラフィクスとの合成精度の確保を可能とする。
たように、本発明の頭部搭載型ディスプレイは、実視点
実画像取得用ビデオカメラを左右両眼について配置する
ことにより、頭部搭載型ディスプレイ装着時の実際の周
囲状況の把握、実視点実画像中の映像を情報として分割
し、コンピュータグラフィクス等と合成することによる
コンピュータグラフィクス描画負担の減少及び現実感の
向上並びにコンピュータグラフィクスと周囲状況の同時
認識、実視点実画像の解像度、鮮明度、コンピュータグ
ラフィクスとの合成精度の確保を可能とする。
【図1】同図(a)、(b)は本発明の一実施例に係る
頭部搭載型ディスプレイの平面図、側面図である。
頭部搭載型ディスプレイの平面図、側面図である。
【図2】同図(a)は本発明の一実施例に係る頭部搭載
型ディスプレイのブロック図、同図(b)は画像合成装
置のアルゴリズムを示すブロック図である。
型ディスプレイのブロック図、同図(b)は画像合成装
置のアルゴリズムを示すブロック図である。
【図3】本発明の第二の実施例に係る頭部搭載型ディス
プレイの構成図である。
プレイの構成図である。
【図4】同図(a)は本発明の第三の実施例に係る頭部
搭載型ディスプレイの画像合成領域の説明図、同図
(b)は、本発明の第三の実施例に係る頭部搭載型ディ
スプレイの構成図である。
搭載型ディスプレイの画像合成領域の説明図、同図
(b)は、本発明の第三の実施例に係る頭部搭載型ディ
スプレイの構成図である。
【図5】同図(a)、(b)は本発明の第四の実施例に
係る頭部搭載型ディスプレイの構成図、ブロック図であ
る。
係る頭部搭載型ディスプレイの構成図、ブロック図であ
る。
【図6】同図(a)、(b)は従来の頭部搭載型ディス
プレイの構成図である。
プレイの構成図である。
【図7】従来の頭部搭載型ディスプレイの構成図であ
る。
る。
01 実視点実映像 02 レンズ 03 ミラー 04 ミラー 05 レンズ 06 ビデオカメラ 07 実視点実画像 08 画像合成装置 09 外部画像 010 出力画像 011 ディスプレイ 012 レンズ 013 ミラー 014 使用者の視点 015 人体頭部 016 人体頭部に搭載される機器 017 頭部位置及び方向センサ用発振源 018 頭部位置及び方向センサ 019 コンピュータグラフィクス画像 020 ビデオカメラ 021 特徴点 022 エッジ 023 画像合成領域 024 合成領域指定装置 025 ブルーバック 026 ディスプレイ
Claims (1)
- 【請求項1】 使用者の視点から見た映像を取得するた
めのビデオカメラを左右両眼用に二つ備え、このビデオ
カメラの出力部に画像合成装置を接続したことを特徴と
する頭部搭載型ディスプレイ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5375193A JPH06268943A (ja) | 1993-03-15 | 1993-03-15 | 視点映像用ビデオカメラを有する頭部搭載型ディスプレイ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5375193A JPH06268943A (ja) | 1993-03-15 | 1993-03-15 | 視点映像用ビデオカメラを有する頭部搭載型ディスプレイ |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH06268943A true JPH06268943A (ja) | 1994-09-22 |
Family
ID=12951519
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5375193A Withdrawn JPH06268943A (ja) | 1993-03-15 | 1993-03-15 | 視点映像用ビデオカメラを有する頭部搭載型ディスプレイ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH06268943A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997031477A1 (fr) * | 1996-02-26 | 1997-08-28 | Seiko Epson Corporation | Dispositif portable affichant des informations et procede d'affichage d'informations utilisant ledit dispositif |
US6151060A (en) * | 1995-12-14 | 2000-11-21 | Olympus Optical Co., Ltd. | Stereoscopic video display apparatus which fuses real space image at finite distance |
WO2004061519A1 (ja) * | 2002-12-24 | 2004-07-22 | Nikon Corporation | ヘッドマウントディスプレイ |
JP2007219082A (ja) * | 2006-02-15 | 2007-08-30 | Canon Inc | 複合現実感表示システム |
JP2009111511A (ja) * | 2007-10-26 | 2009-05-21 | Canon Inc | 画像表示システム、画像表示装置及びその制御方法、コンピュータプログラム |
JP2010070889A (ja) * | 2008-09-22 | 2010-04-02 | Seiren Co Ltd | 仮想試着装置 |
JP2018121132A (ja) * | 2017-01-23 | 2018-08-02 | ティフォン インコーポレーテッドTyffon Inc. | 映像提供システム、映像提供方法及び映像提供プログラム |
JP2018137609A (ja) * | 2017-02-22 | 2018-08-30 | 株式会社東芝 | 部分画像処理装置 |
-
1993
- 1993-03-15 JP JP5375193A patent/JPH06268943A/ja not_active Withdrawn
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6151060A (en) * | 1995-12-14 | 2000-11-21 | Olympus Optical Co., Ltd. | Stereoscopic video display apparatus which fuses real space image at finite distance |
WO1997031477A1 (fr) * | 1996-02-26 | 1997-08-28 | Seiko Epson Corporation | Dispositif portable affichant des informations et procede d'affichage d'informations utilisant ledit dispositif |
KR100595834B1 (ko) * | 1996-02-26 | 2006-10-13 | 세이코 엡슨 가부시키가이샤 | 신체장착형정보표시장치및그것을이용한표시방법 |
WO2004061519A1 (ja) * | 2002-12-24 | 2004-07-22 | Nikon Corporation | ヘッドマウントディスプレイ |
JP2007219082A (ja) * | 2006-02-15 | 2007-08-30 | Canon Inc | 複合現実感表示システム |
JP2009111511A (ja) * | 2007-10-26 | 2009-05-21 | Canon Inc | 画像表示システム、画像表示装置及びその制御方法、コンピュータプログラム |
JP2010070889A (ja) * | 2008-09-22 | 2010-04-02 | Seiren Co Ltd | 仮想試着装置 |
JP2018121132A (ja) * | 2017-01-23 | 2018-08-02 | ティフォン インコーポレーテッドTyffon Inc. | 映像提供システム、映像提供方法及び映像提供プログラム |
US10499030B2 (en) | 2017-01-23 | 2019-12-03 | Tyffon Inc. | Video providing system, video providing method, and video providing program |
JP2018137609A (ja) * | 2017-02-22 | 2018-08-30 | 株式会社東芝 | 部分画像処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102359978B1 (ko) | 다중-소스 가상 콘텐츠 합성을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법 | |
US6175379B1 (en) | Stereoscopic CG image generating apparatus and stereoscopic TV apparatus | |
JP3653790B2 (ja) | 立体電子ズーム装置及び立体画質制御装置 | |
US6037914A (en) | Method and apparatus for augmented reality using a see-through head-mounted display | |
CN111164971B (zh) | 用于3d内容的视差观察器*** | |
US20170324899A1 (en) | Image pickup apparatus, head-mounted display apparatus, information processing system and information processing method | |
US20070003162A1 (en) | Image generation device, image generation method, and image generation program | |
WO2013094588A1 (ja) | 画像処理装置、画像処理方法、画像処理装置用プログラム、記録媒体、および、画像表示装置 | |
US7782320B2 (en) | Information processing method and information processing apparatus | |
JP3383228B2 (ja) | ヘッドマウントディスプレイ装置 | |
JPH10327433A (ja) | 合成画像の表示装置 | |
US11120632B2 (en) | Image generating apparatus, image generating system, image generating method, and program | |
KR20080024545A (ko) | 화상 표시 시스템, 화상 표시 방법 및 기록 매체 | |
JP3372926B2 (ja) | ヘッドマウントディスプレイ装置およびヘッドマウントディスプレイシステム | |
US11003408B2 (en) | Image generating apparatus and image generating method | |
US11813988B2 (en) | Image processing apparatus, image processing method, and image processing system | |
EP1161094B1 (en) | Image cut-away/display system | |
JPH06268943A (ja) | 視点映像用ビデオカメラを有する頭部搭載型ディスプレイ | |
CN115223231A (zh) | 视线方向检测方法和装置 | |
KR20170044319A (ko) | 헤드 마운트 디스플레이의 시야 확장 방법 | |
US11234090B2 (en) | Using audio visual correspondence for sound source identification | |
JP3206874B2 (ja) | 遠隔施工支援用の画像システム | |
JPH0628452A (ja) | 3次元画像処理装置 | |
JP2950160B2 (ja) | 立体映像表示装置 | |
JP3083450B2 (ja) | 眼鏡型画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20000530 |