JPH10188034A - 立体画像生成装置および距離演算装置 - Google Patents
立体画像生成装置および距離演算装置Info
- Publication number
- JPH10188034A JPH10188034A JP8357800A JP35780096A JPH10188034A JP H10188034 A JPH10188034 A JP H10188034A JP 8357800 A JP8357800 A JP 8357800A JP 35780096 A JP35780096 A JP 35780096A JP H10188034 A JPH10188034 A JP H10188034A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- dimensional image
- display
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
- G02B30/24—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
- H04N13/289—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
テムを構成したとしても演算時間が比較的短く、従って
遅滞のない視差の制御或いは輻輳距離の制御が行われ得
るこの種の装置を実現する。 【構成】ターゲットオブジェクトの距離に対応した条件
下でレンダリングを行なうために、2次元投影面の位置
や向き等についてのレンダリング条件の制御を行った
上、レンダリングを実行して立体表示様のデータを得る
(A方式)か、または、ターゲットオブジェクトの距離
に依存せずレンダリングを実行し、その結果得られたデ
ータについて画像変換処理を施して立体表示用のデータ
を得る(B方式)。
Description
ターグラフィックス等の技術により、3次元空間座標が
設定された仮想空間内に立体モデリングされた複数のオ
ブジェクトを配置し、これらのオブジェクトを適宜の画
像表示手段を用いて観察することができるようにするた
めの立体画像生成装置に関し、特にそれら複数のオブジ
ェクトのうち特定のものについて適切な視差により違和
感や疲労感なく観察することができるようにした立体画
像生成装置に関するものである。
クス)等の技術を用い、3次元空間座標が設定された仮
想空間内に立体モデリングされた複数のオブジェクトを
生成してそれぞれ静的に或いは動的に配置し、これらの
オブジェクトを適宜の画像表示手段を用いて観察するこ
とができるようにするための立体画像生成装置の開発が
進んでおり、種々のものが提案され、また製造されるに
至っている。このような立体画像生成装置では左眼用画
像および右眼用画像の視差がない単なるステレオ表示画
像を得るだけの装置に比し、両眼視差を持った2種類の
画像をそれぞれ生成する必要があることから、画像生成
のための演算過程が複雑となり、所要の画像データを得
るまでに多大な時間を要するか、或いは、能力の高いコ
ンピュータが必要とされるのが一般的傾向である。
および右眼用画像を生成して観察者の左眼および右眼で
それぞれ観察できるようにして立体視の効果を得るよう
にした装置において、左眼用画像および右眼用画像を構
成するCG画像をフィールド単位でレンダリング(コン
ピュータ内に入力された3次元のモデリングに対してデ
ィスプレイ上に可視化する作業:テレビジョン学会編、
オーム社発行「3次元CG」等参照)することによって
レンダリングに掛かる時間を短縮するようにしたCG立
体視アニメーションの生成法が提案されている。
および右眼用画像の視差に対応した輻輳(見ようとする
対象に両眼の視線を自然に集中すること:小柳修爾著、
オプトロニクス社発行「光学技術用語辞典」等参照)と
両画像を観察するための表示装置による画像(光学系に
よって作られる虚像)から観察者の両眼までの距離、従
って眼のピント(調節)との関係に矛盾が生じると、観
察者は違和感を感じ且つ疲労が生じる場合もある。ま
た、注目した画像乃至画像の部分について視差が頻繁に
変化すると、これもまた観察者の疲労を呼ぶことにな
る。
ラで2方向から被写体を撮影して記録し、この記録画像
を再生して観察するに際しては、注目する被写体の像乃
至像部分について、視差が一定となるように表示態様が
制御された表示を得るようにした立体画像撮像および表
示装置が開示されている。
557 号公報に開示されたCG立体視アニメーションの生
成法では、仮想空間内に立体モデリングされたオブジェ
クトを観察する場合における違和感や疲労感の低減とい
った視点からの配慮は全く示唆されていない。また、左
眼用画像および右眼用画像を構成するCG画像をフィー
ルド単位でレンダリングするという方法がこの限りで提
起されているだけであり、具体的な構成についての開示
は無い。
は、画像の両眼視差から観察者が最も広い範囲で被写体
の奥行き世界を知覚可能である最適注視点を計算し、こ
の最適注視点が画像表示装置の表示面位置から所定の奥
行き方向距離の位置に再現されるように制御するように
構成されたものである。このような制御を行うために、
左眼用画像および右眼用画像から相関マッチング法を用
いて視差地図を演算により求め、更に、当該画像の平均
値または画面中央に重みをかけた加重平均値を演算して
求める。そして、このようにして求めた視差の平均値を
用いて視差制御手段により左眼用画像および右眼用画像
に相応するデータの水平位置に係る読み出しのタイミン
グを制御することにより両画像の水平方向での映出位置
を制御している。しかしながら、この方式ではフレーム
毎に画面全体の視差地図を計算するために演算が複雑と
なり特段高性能のコンピュータを用いてシステムを構成
できることができる場合などはともかく、通常は演算結
果を得るまでに比較的長い時間を要することになる。
たものであり、通常のパーソナルコンピュータ等を用い
てシステムを構成したとしても演算時間が比較的短く、
従って遅滞のない視差の制御或いは輻輳距離の制御が行
われ得るこの種の装置を提供することを目的とする。
決するため、一つの本願発明は: ・3次元空間座標が設定された仮想空間内に立体モデリ
ングされた複数のオブジェクトを配置し、上記3次元空
間座標での座標位置が互いに異なる第1の視点と第2の
視点から各所定の第1の投影面と第2の投影面に上記オ
ブジェクトをそれぞれ投影するに相応した投影演算を実
行して該投影による第1の2次元画像および第2の2次
元画像を各表わす第1の2次元画像データおよび第2の
2次元画像データをそれぞれ生成するようになされた立
体画像生成装置であって、上記複数のオブジェクトの中
から特定のオブジェクトを決定する特定オブジェクト決
定手段と、上記特定のオブジェクトに関する上記第1の
2次元画像および第2の2次元画像に係る視差が略一定
となるように視差を制御する視差制御手段を備えたこと
を特徴とする立体画像生成装置である……………………
…〔1〕
ェクトに関して視差が略一定となるように制御動作が行
われる。
示装置に映出された画像を観察する観察者の視線方向を
検出するための視線方向検出手段を含んでなり該視線方
向検出手段の検出出力に基づいて上記複数のオブジェク
トの中から特定のオブジェクトを決定するように構成さ
れたものであることを特徴とする上記〔1〕に記載の立
体画像生成装置である………………………〔2〕
に係る検出値に依拠して上記複数のオブジェクトの中か
ら特定のオブジェクトが決定される。
観察するための左眼用光学系と、右眼用の表示素子と、
該右眼用の表示素子の表示面を観察するための右眼用光
学系と、上記各表示素子および光学系を所定の位置関係
を維持して観察者の頭部に位置決め支持するための支持
手段と、を含んでなる頭部装着型立体画像表示装置を更
に備え、該頭部装着型立体画像表示装置の上記両表示面
に表示されるべき画像を表わすデータとして上記視差制
御手段により得た画像データが供給され得るように構成
されてなることを特徴とする上記〔1〕に記載の立体画
像生成装置である……………………………………………
〔3〕
像表示装置によって表示面から観察者の眼球までの距離
を常に一定に保った状態で観察することができる。
記投影演算の実行に先立って、上記特定オブジェクトか
ら上記第1の視点と第2の視点とを結ぶ直線までの距離
であるオブジェクト距離に基づいて、上記第1の視点と
第1の投影面の中心とを結ぶ直線である第1の視軸と上
記第2の視点と第2の投影面の中心とを結ぶ直線である
第2の視軸との交点である視軸交点から上記第1の視点
と第2の視点とを結ぶ直線までの距離である視軸交点の
距離を制御するようになされた視軸制御手段を含んで構
成されたものであることを特徴とする上記〔1〕に記載
の立体画像生成装置である………………………〔4〕
距離に基づいて上記視軸交点の距離を制御するため簡易
な演算により制御が行われる。
の回りに回動させることにより、及び/又は、上記第2
の投影面を第2の視点の回りに回動させることにより、
上記視軸交点の距離を制御するようになされたものであ
ることを特徴とする上記〔4〕に記載の立体画像生成装
置である………………………〔5〕
第1の視点の回りに回動させるというこの種の装置では
一般的な視軸変更処理と同じ処理によって上記視軸交点
の距離が制御される。
は、上記第2の投影面を、面内方向に移動させることに
より、上記視軸交点の距離を制御するようになされたも
のであることを特徴とする上記〔4〕に記載の立体画像
生成装置である………………………………………………
……〔6〕
一方向への移動という簡単な処理によって上記視軸交点
の距離が制御される。
画像を表わす第3の2次元画像データと、上記第2の2
次元画像と合成されるべき第4の2次元画像を表わす第
4の2次元画像データとを、所定の同一の2次元画像を
表わす画像データに基づいてこの画像データに対して上
記視差制御手段により制御された視差を相対的に加味す
ることにより該両2次元画像データとして各生成する合
成対象画像生成手段と、上記第1の2次元画像と上記第
3の2次元画像とを合成した一の2次元画像を表わす2
次元画像データを生成するための第1の画像合成手段
と、上記第2の2次元画像と上記第4の2次元画像とを
合成した他の2次元画像を表わす2次元画像データを生
成するための第2の画像合成手段と、を更に備えてなる
ことを特徴とする上記〔1〕に記載の立体画像生成装置
である…………………………………………………………
〔7〕
目的の画像と背景となる画像とを合成して一つの立体画
像を生成する場合などにおいて、目的の画像と背景とな
る画像との奥行き方向の位置関係が上記視差制御手段に
より制御された視差に基づいて適正に定められる。
ジェクト距離とが等しくなるように視軸交点の距離を制
御して該制御が加味されてなる画像データを得るように
構成され、左眼用の表示面を観察するための左眼用光学
系と右眼用の表示面を観察するための右眼用光学系とを
有し上記各光学系に係るレンズの主点とこれに各対応す
る表示面の中心を通る両光学視軸の交点が該両光学系に
よる虚像面内の位置にあるように構成された立体画像表
示手段を更に備え、上記立体画像表示手段の上記両表示
面に表示されるべき画像を表わすデータとして上記視軸
制御手段により得た画像データが供給されるように構成
されてなることを特徴とする上記〔4〕に記載の立体画
像生成装置である………〔8〕
うに制御された画像データを立体画像表示手段に供給し
さえすれば、観察者の両眼の輻輳による両視軸の交差す
る位置が観察の対象となる虚像面の位置に一致した違和
感や疲労感の少ない見易い画像表示が得られる。
記投影演算の実行後に、上記特定オブジェクトから上記
第1の視点と第2の視点とを結ぶ直線までの距離である
オブジェクト距離に基づいて、適用される立体画像表示
手段における所定の第1の画像表示領域に映出される2
次元画像および所定の第2の画像表示領域に映出される
2次元画像の該両2次元画像の水平方向の相対的位置関
係を制御してなる2次元画像データを得る2次元画像デ
ータ制御手段を含んで構成されたものであることを特徴
とする上記〔1〕に記載の立体画像生成装置である……
……………………………………………………………
置における上記投影演算の実行後に、特定オブジェクト
を決定するための演算と視差の制御のための演算とを時
分割等により並列的に実行することができる。
クトに係る視差が無くなるように上記両2次元画像の水
平方向の相対的位置関係を制御するようになされ、左眼
用の表示面を観察するための左眼用光学系と右眼用の表
示面を観察するための右眼用光学系とを有し上記各光学
系に係るレンズの主点とこれに各対応する表示面の中心
を通る両光学視軸の交点が該両光学系による虚像面内の
位置にあるように構成された立体画像表示手段を更に備
え、上記立体画像表示手段の上記両表示面に表示される
べき画像を表わすデータとして上記2次元画像データ制
御手段により得た画像データが供給されるように構成さ
れてなることを特徴とする上記
生成装置である………………………………………………
…………〔10〕
データ制御手段により視差が0となるように制御された
画像データを立体画像表示手段に供給しさえすれば、観
察者の両眼の輻輳による両視軸の交差する位置が観察の
対象となる虚像面の位置に一致した違和感や疲労感の少
ない見易い画像表示が得られる。
画像を表わすデータを生成する立体画像データ生成手段
と、上記複数のオブジェクトのうちの特定のオブジェク
トを決定する特定オブジェクト決定手段と、上記特定オ
ブジェクトの視差が0となるように上記立体画像全体の
視差が制御された画像データを得るための視差制御手段
と、左眼用の表示面を観察するための左眼用光学系と右
眼用の表示面を観察するための右眼用光学系とを有し上
記各光学系のレンズの主点とこれに各対応する表示面の
中心を通る両光学視軸の交点が該両光学系による虚像面
内の位置にあるように構成され、且つ、上記両表示面に
表示されるべき画像を表わすデータとして上記視差制御
手段により得た画像データが供給されるように構成され
てなる立体画像表示手段と、を備えてなることを特徴と
する立体画像生成装置である…………〔11〕
ように制御された特定オブジェクトの画像データが立体
画像表示手段に供給されるため、この特定オブジェクト
について、観察者の両眼の輻輳による両視軸の交差する
位置が観察の対象となる虚像面の位置に一致した違和感
や疲労感の少ない見易い画像表示が得られる。
画像を表わすデータを生成する立体画像データ生成手段
と、上記複数のオブジェクトのうちの特定のオブジェク
トを決定する特定オブジェクト決定手段と、上記特定オ
ブジェクトの視差が0となるように上記立体画像全体の
視差が制御された画像データを得るための視差制御手段
と、左眼用の表示面を観察するための左眼用光学系と右
眼用の表示面を観察するための右眼用光学系とを有し、
上記両表示面に表示されるべき画像を表わすデータとし
て上記視差制御手段により得た画像データが供給され得
るようになされ、上記各光学系に係る両視軸の交点が該
両光学系による虚像面内の位置にあるように上記両表示
面の有効表示領域の中心位置が規制されるように構成さ
れてなる立体画像表示手段と、を備えてなることを特徴
とする立体画像生成装置である……〔12〕
ように制御された特定オブジェクトの画像データが立体
画像表示手段に供給されるため、この特定オブジェクト
について、観察者の両眼の輻輳による両視軸の交差する
位置が観察の対象となる虚像面の位置に一致した違和感
や疲労感の少ない見易い画像表示が得られる。
線方向を検出するための視線方向検出手段と、上記視線
方向検出手段の検出出力に基づいて視線方向に係る複数
の方向角を求める複数方向角決定手段と、上記複数方向
角決定手段により求められた複数の方向角に沿う各直線
上にある対象物を決定する対象物決定手段と、上記対象
物決定手段により決定された対象物の奥行き距離を決定
する奥行き距離決定手段と、を備えてなることを特徴と
する距離演算装置である……〔13〕
角に沿う各直線上にある対象物を決定し該決定された対
象物の奥行き距離を決定するため、ヒトの眼球について
通常生じている固視微動のような視線のふらつきによる
対象物の決定に係る誤認が回避される。
視線方向検出動作を所定時間内に複数回繰り返すことに
よって得た異なる時刻での複数の検出出力に基づいて該
異なる時刻に各対応する複数の視線方向角を決定するよ
うに構成され、上記対象物決定手段は、上記決定された
異なる時刻に各対応する複数の視線方向角に沿う各直線
上にある対象物を決定するように構成されたものである
ことを特徴とする上記〔13〕に記載の距離演算装置で
ある……〔14〕
いて通常生じている固視微動やサッカード現象のような
視線のふらつきに対応した領域を知ることができるた
め、この領域内にあるものとして対象物を正確に特定で
きる。
検出出力に対応した一の視線方向を中心とし該一の視線
方向からそれぞれ所定角度の開きを有する複数の視線方
向角を決定するように構成され、上記対象物決定手段
は、上記決定された異なる複数の視線方向角に沿う各直
線上にある対象物を決定するように構成されたものであ
ることを特徴とする上記〔13〕に記載の距離演算装置
である……〔15〕
線方向にある対象物を決定することができるため処理速
度が速い。
り決定された複数の対象物のうち最も発生頻度の高い対
象物の奥行き距離を求めるように構成されたものである
ことを特徴とする上記〔13〕に記載の距離演算装置で
ある……………………………………………………………
…〔16〕
対象物について奥行き距離を求めるため誤検出が回避さ
れる。
り決定された複数の対象物の奥行き距離をそれぞれ求
め、該求められた各距離のうち最小の距離を決定するよ
うに構成されたものであることを特徴とする請求項13
に記載の距離演算装置である………………………………
………………………〔17〕
の境界領域を注視しているような場合でもヒトの眼球に
ついて通常生じている固視微動やサッカード現象に起因
する誤検出が回避される。
り決定された複数の対象物の奥行き距離をそれぞれ求
め、次いで、該求められた各距離の逆数をそれぞれ求
め、更に、該求められた各逆数の平均値をそれぞれ求
め、次いで、該各平均値の逆数をそれぞれ求めるように
構成された演算手段を含んでなるものであることを特徴
とする上記〔13〕に記載の距離演算装置である………
〔18〕
中に無限遠の奥行き距離に該当するようなものが存在し
ていても複数の対象物の平均的な奥行き距離を正確に求
めることができる。
を示す図面に基づいて説明する。図1は、本発明の基本
概念を表したブロック図である。
像表示装置としての頭部装着型画像表示装置(Head Mou
nted Doialay: HMDと略記)2とケーブルによって接
続されており、HMD2側から視線方向検知手段による
視線方向信号を受けるように構成されている。立体画像
生成装置本体(ゲーム機)1は、上記視線方向信号に基
づいて注目画像である特定オブジェクトとしてのターゲ
ットオブジェクトを決定し、決定した当該ターゲットオ
ブジェクトについて後述する演算によりその距離Lobj
を算出する。
方式として、このターゲットオブジェクトの距離Lobj
に対応した条件下でレンダリング(仮想3次元空間内に
配された当該オブジェクトについて、これを立体視する
ための2つの各2次元投影面上への投影を行なうに相応
したデータを求めることにより、同オブジェクトを両眼
で立体視できるようにするための処理)を行なうため2
次元投影面の位置や向き等についてのレンダリング条件
の制御を行った上、同レンダリングを実行して立体表示
様のデータを得る。……………………………(A方式)
ットオブジェクトの距離Lobj に対応してレンダリング
条件としては別段の制御を行なうことなくレンダリング
を実行し、レンダリングの結果得られたデータについ
て、後述する画像変換処理を施して立体表示様のデータ
を得る。………………………(B方式)
オブジェクトの像を表わすデータについて、それらオブ
ジェクトの背景画像データを添える処理(後に詳述する
「背景貼り込み処理」)を実行した後、この処理によっ
て得たデータをHMD2側に供給する。
たオブジェクトとその背景画像のデータに基づいて立体
画像表示部による画像の表示(左右画像の表示素子の表
示面に画像を映出する)を行なう。
ーゲットオブジェクトについて既述の視距離と輻輳距離
とが等しくなるように左右両画像の表示位置等について
オフセットが付加されるように構成されている。
2を適用してなる本発明の実施の形態としての立体画像
表示装置のシステムを示す図である。
構成され、アプリケーションプログラムを格納したカー
ドメモリ等のプログラム記録媒体3を装填し、このプロ
グラム記録媒体3に格納されたデータを用いて、図3に
ついて後述するように、3次元空間座標が設定された仮
想空間内に立体モデリングされた複数のオブジェクトを
配置し、これらオブジェクトを立体視するための2つの
2次元画像データを生成するための処理を実行するよう
になされた立体画像生成装置本体4(ゲーム機1)とが
HMD2とケーブル5によって接続されており、データ
および電源の授受を行なうように構成されている。
装置本体4側からHMD2側に、左画像データ,右画像
データ,左音声データ,右音声データ,液晶シャッタ駆
動信号,動作電源等が供給される。
いてHMD2の左および右の液晶表示素子の表示面に各
該当する画像が映出され、左音声データ,右音声データ
に基づいてHMD2の左および右のスピーカ6L,6R
からステレオ音声が発音される。
よび右の液晶シャッタ機能を不透過状態にして液晶表示
素子を画像表示用に機能させる画像表示モードと、液晶
シャッタを透過状態にして前方視野を見通すことができ
るシースルーモードとのいずれかに選択切り換えするた
めの駆動信号である。
体4側には、後述する視線方向検知手段からの視線方向
信号やHMD2の装着者の頭部の動き(姿勢)を検出す
るヘッドモーションセンサ7からのヘッドモーション信
号等が供給される。
ムコントローラ8がケーブル9によって接続され、この
ゲームコントローラ8から種々の操作信号が立体画像生
成装置本体4側に供給される。
空間内に立体モデリングされた複数のオブジェクトを配
置し、これらオブジェクトを立体視するための2つの2
次元画像データを生成するための処理を概念的に説明す
るための模式図である。
略)が設定された仮想空間(図示の全域)内には、立体
モデリングされた複数のオブジェクトとしての三角錐1
0と球11とが配置されている。当該立体画像生成装置
内のコンピュータを主とする該当機能部によって、3次
元空間座標位置が互いに異なる第1の視点および第2の
視点としての左視点12および右視点13から各所定の
第1の投影面と第2の投影面としての左投影面14およ
び右投影面15に上記オブジェクトをそれぞれ投影する
に相応した投影演算が実行されて該投影による第1の2
次元画像および第2の2次元画像を各表わす第1の2次
元画像データおよび第2の2次元画像データがそれぞれ
生成される。
つの視点から見たときの投影図を表示するようにしたも
のであるが、本発明に該当するものは図3について上述
したように2つの視点に各対応した両2次元画像データ
によって表されるものである。
び右画像について、仮想3次元空間内を表示対象となる
2つのオブジェクト(三角錐と球)がそれらの奥行き方
向の相対移動する場合、左右両画面内での表示位置が移
動する様子を、一般的な立体画像生成法を採った場合に
ついて示す図である。
ブジェクトの一つである三角錐10と他の一つである球
11とが奥行き方向の相対位置が或る一定の位置に在る
場合の左画像および右画像を表している。同図の(b)
部は球11のみが左視点12および右視点13に近づく
よう移動した場合の左画像および右画像を表している。
同図の(c)部は球11のみが左視点12および右視点
13に更に近づくよう移動した場合の左画像および右画
像を表している。
る通り、球11のみが左視点12および右視点13に近
づくよう移動するとき、三角錐10の像は左右両画面内
で移動せず、これに対して球11の像は左右両画面の中
間位置に向けて次第に寄ってくるように移動し且つ大き
さも次第に大きくなってゆく。
れぞれを左および右表示素子18,19の画面に映出
し、左および右接眼光学系(レンズ)16,17で拡大
したときに生成される3次元空間像を示す模式図であ
る。図より明らかなとおり、左接眼光学系16および左
表示素子18が左眼球20に対応し、右接眼光学系17
および右表示素子19が右眼球21に対応するように配
置されている。
なって矢線図示のように手前側に飛び出してくるように
見えるが、このとき球の像を見る左右両眼の各視線方向
の直線が交差する角度である輻輳角も球の像の接近と共
に次第に大きくなる。
左右両眼の視線方向の直線が交差する点までの距離であ
る輻輳距離が次第に短くなる。このようなことが起こる
と、左右両眼を結ぶ直線から虚像面までの距離である視
距離は(左右の表示画面とそれらの各接眼光学系との関
係が一定である限り)変化しないにも拘らず輻輳距離だ
けが変化することとなるため、観察者は視距離と輻輳距
離との違いに起因する違和感を感じたり、或いは長時間
の観察においては疲労感を覚えたりすることになってし
まう。
ために、移動に伴って像が手前側に飛び出してくる飛び
出し量を小さく制限してしまうことも考えられるが、こ
のようにしてしまうと3次元画像としてのインパクトが
減殺されてしまう。
ち視差量の変化の許容値に係る文献のデータを例示す
る。図6は、輻輳と調節(眼の焦点調節の状態如何)と
の対応関係を示す図である。同図には輻輳−調節と視差
量の変化の許容範囲が示されている(文献名「オープラ
ス イー」( 0 Plus E )1985年12月 PP.103 生理光学
15)。この図の横軸は輻輳(輻輳角:MW)で縦軸は調
節(視度)(D:ディオプター)を示す。この図から分
かるように輻輳が4ディオプター内の変化量であれば短
時間提示で輻輳できる。
像表示(立体ディスプレイ)を得るための左画像および
右画像について、表示対象となる2つのオブジェクト
(三角錐と球)がそれらの奥行き方向の相対移動に伴っ
て左右両画面内での表示位置が移動する様子を示す図で
ある。
ブジェクトの一つである三角錐と他の一つのオブジェク
ト(この場合での注目する対象とされるべきオブジェク
ト)である球とが奥行き方向の相対位置が或る一定の位
置に在る場合の左画像および右画像を表している。同図
の(b)部は球のみが左視点および右視点に近づくよう
移動した場合の左画像および右画像を表している。同図
の(c)部は球のみが左視点および右視点に更に近づく
よう移動した場合の左画像および右画像を表している。
通り、本発明の場合は、球のみが左視点および右視点に
近づくよう移動するとき、三角錐の像の方が左右両画面
内で両画面の中間位置からの間隔が開いてゆくように移
動し、これに対して球の像は左右両画面中でその中心位
置を変えないままで大きさが次第に大きくなってゆくよ
うに変化する。
れぞれを左および右表示素子の画面に映出し、左および
右接眼光学系(レンズ)で拡大したときに生成される3
次元空間像を示す模式図である。この図8において、既
述の図5との対応部には同一の符号を付してある。
体画像表示装置では、両眼に係る視差の無い像(オブジ
ェクトの像)については、奥行き距離が無限大に見える
ことになるが、この実施の形態では、表示装置に視差の
無い像を表わす画像データが供給されたときに、同装置
の左右両眼用の各表示素子の画面に映出される画像の虚
像の位置が、左右両眼を横に結ぶ直線から左右両眼の視
線方向の直線が交差する点までの距離(輻輳距離)だけ
離隔した位置に等しくなるように、両表示素子(両表示
面)とこれに対応する両接眼光学系との位置関係が、前
者の中心間の間隔が後者の中心間の間隔より左右とも相
互に接近する方向に位置がずらされて(位置に関するオ
フセットが付加されて)配置されている。(後述の図1
3,14,15を参考)
移すると、球の像が次第に大きくなり、かつ三角錐の像
は図8に矢線図示のように球の像に対して相対的に奥行
き方向に遠ざかるので結果として観察者には球が手前側
に飛び出してくるように見える。しかしながら、球に対
する輻輳角は変化しない。
左右両眼の視線方向の直線が交差する点までの距離であ
る輻輳距離は球の飛び出しに対応して変化するというこ
とがない。
クトである球については、左右両眼を結ぶ直線から虚像
面までの距離である視距離と上述の輻輳距離とが一致し
たまま変化せず、観察者は視距離と輻輳距離との違いに
起因する違和感や疲労感が大幅に軽減される。
制するために、移動に伴って像が手前側に飛び出してく
る飛び出し量を小さく制限することを要しないため、3
次元画像としてのインパクトが減殺されてしまう虞れも
ない。
において、HMDに設けられた後述する視線方向検知手
段により視線方向を検出し、この視線方向の情報によっ
て注目画像である特定オブジェクトとしてのターゲット
オブジェクトを決定する過程を説明するための模式図で
ある。
線方向検知手段により視線方向を検出し、この視線方向
の情報から規格化された視線方向角のデータを得る過程
について説明するための、HMD光学系によりオブジェ
クトの虚像を観察する状況を示す模式図である。
眼に対応して各接眼光学系(レンズ)16,17が配さ
れ、これら左眼用レンズ16および右眼用レンズ17に
よって、各対応する左眼用表示素子および右眼用表示素
子としての各LCD18,19に映出された画像の虚像
が観察されるようになされている。別途説明のように、
本例の装置では、視線軸は観察者の両眼のうち左眼につ
いて検出されるように構成されている。
してのLCD18の左右端を見込む画角の1/2の角
度、即ち左眼用レンズ16の主点を頂角としてLCD1
8の右端に向けて引いた直線Lr と同LCD18の表示
面の中心に向けて引いた直線である左光学視軸La との
開き角度(半画角)がθ、同左光学視軸La と左視線軸
Ls との開き角度がψであるとき、規格化された視線方
向角ψ/θがHMD2側における該当する演算手段によ
って求められ、このψ/θのデータが接続ケーブル5
(図2参照)を通して画像表示装置本体4(図2参照)
に供給されるように構成される。
(本紙面の面内方向)の視線方向角についてのみ言及し
たが、y方向(本紙面に直交する面内の方向)の視線方
向角についても上記と全く同様に規格化された視線方向
角が算出され、このデータが画像表示装置本体4に供給
されるように構成される。以下においても、説明を簡単
にする便宜上、x方向(本紙面の面内方向)の視線方向
角に係る状況についてのみ詳述するが、y方向(本紙面
に直交する面内の方向)の視線方向角についても上記と
全く同様にして説明され得るものであり、それについて
の説明は省略する。
ータを用いるのは、仮想空間内に設定される一方の視点
(左視点)12からの視野の半画角Θは必ずしもHMD
2側のθとはその絶対値が等しいとは限らないため、そ
の半画角Θの絶対値の如何に拠らず上述のHMD2側の
規格化された視線方向角ψ/θの値に対して仮想空間内
での上記半画角Θを乗ずることで、ターゲットオブジェ
クトの方向、従ってターゲットオブジェクト自体を決定
することができるようにするためである。
省略)が設定された仮想空間内に立体モデリングされた
複数のオブジェクトとしての三角錐と球とが配置されて
おり、図9の(A)部について説明したHMD2側の規
格化された視線方向角ψ/θのデータに基づいてターゲ
ットオブジェクトを識別する過程を説明するための模式
図である。
3のうち、左視点12から左投影面14を見込む画角
(左視点からの視野角)の1/2の角度、即ち左視点1
2を頂角として左投影面14の中心に向けて引いた直線
と左投影面14の右端に向けて引いた直線との開き角度
(半画角)がΘである。
れた視線方向角ψ/θのデータが接続ケーブルを通して
立体画像生成装置本体4に供給され、この規格化された
視線方向角ψ/θに上記半画角Θを乗ずることで、ター
ゲットオブジェクトの方向角Ψ(左視点12を頂角とし
て左投影面14の中心に向けて引いた直線とターゲット
オブジェクトの方向に向けて引いた直線との開き角度)
が得られる。
判ると、立体画像生成装置本体4では自己の保有する各
オブジェクトを表わすデータのうち何れのものがこの方
向角Ψに該当するものかを認識できることとなる。即
ち、ターゲットオブジェクトを決定することができる。
あって、この球の左視点12から見た奥行き方向の位置
(距離)がターゲットオブジェクトの距離Lobj であ
る。以上が本発明の実施形態の全体の共通構成について
の説明である。
説明する。図10は、本発明の実施の形態としての装置
において、特定の注目オブジェクトに対する視差が一定
となるような投影演算を行って左右の各2次元画像デー
タをそれぞれ生成する原理を示す模式図であり、前述の
図1のA方式の例である。
モデリングされた複数のオブジェクトとしての三角錐1
0と球11とが配置されている場合において、特定の注
目オブジェクトであるターゲットオブジェクトを球11
とし、第1の視点および第2の視点としての左視点12
および右視点13から各対応する第1の投影面と第2の
投影面としての左投影面14および右投影面15に上記
三角錐10と球11のオブジェクトをそれぞれ投影する
に相応した投影演算を実行するが、このとき、ターゲッ
トオブジェクトである球については、該投影演算による
第1の2次元画像および第2の2次元画像に係る視差
が、球のオブジェクトの奥行き方向の距離に拠らず一定
となるようにされた第1の2次元画像データおよび第2
の2次元画像データたる左右の像のデータがそれぞれ生
成される。
めに、図示のように、左視点12および右視点13と各
対応する左投影面14および右投影面15のそれぞれの
中心点を通る直線である左および右の視軸(この場合、
両視軸は各対応する左投影面14および右投影面15に
それぞれ垂直である)の交点である視軸交点Pisが、左
視点12および右視点13を結ぶ線分の中点で同線分に
立てた垂線上に位置するように、且つ、左視点12およ
び右視点13を結ぶ直線から球のオブジェクト(より厳
密には、そのうちの注目点であって、この図では球の中
心のように想定されている)までの距離であるオブジェ
クト距離Lobj だけ離隔した位置(図示の直線Ld 上)
にあるといった状態が維持されるように、左投影面14
および右投影面15が各対応する左視点12および右視
点13との距離を一定に保持しつつこれら両視点の回り
に旋回させたに相応する演算が実行される。
よび右視点13を結ぶ直線から視軸交点Pisまでの距離
である視軸交点の距離Pisd が、常に、上記のオブジェ
クト距離Lobj に等しい。
4における右端から球の投影点までの距離aは、右投影
面15における右端から球の投影点までの距離a′に、
常に等しくなる。即ち、ターゲットオブジェクト(球乃
至そのうちの注目点)に係る投影演算による第1の2次
元画像(左画像)および第2の2次元画像(右画像)に
係る視差が、球のオブジェクトの奥行き方向の距離に拠
らず0となる。
投影演算を実行して左右の像のデータをそれぞれ生成す
るまでの情報処理過程を説明するフローチャートであ
る。
ず、仮想空間内に、立体モデリングされた複数のオブジ
ェクト(三角錐と球)が配置されている場合を想定した
プログラムがロードされ(ステップS1)、次いで、こ
のプログラムが実行される(ステップS2)。
画像表示システムに適用される画像表示装置(HMD)
から、図9について既述の、規格化された視線方向角ψ
/θのデータが供給され、このデータに依拠して視線方
向変換処理が実行され、ターゲットオブジェクトの方向
角Ψが算出され(ステップS3)、次いで、この方向角
Ψに基づいて特定の注目オブジェクトであるターゲット
オブジェクト(球)が決定される(ステップS4)。
決定されると、このターゲットオブジェクトから視点ま
での距離(左右の視点を結ぶ直線までの距離)Lobj
が、ステップS1でロードされている複数の各オブジェ
クトを表わすデータの中から該当するデータを検索して
演算する如くして求められる(ステップS5)。
合するようにして、図10を用いて説明したような条件
を満たすものとして左右の投影面が決定される(ステッ
プS6)。
と、この投影面に対して左右の画像の投影演算(レンダ
リング)が実行される(ステップS7)。投影演算の結
果得られたデータ(信号)が出力されて、上記画像表示
装置(HMD)に供給される(ステップS8)。
3の処理に戻り、その時点での規格化された視線方向角
ψ/θのデータに対応してステップS3〜ステップS8
の処理が繰り返し実行される。
例の立体画像表示システムに適用される画像表示装置
(HMD)に備えられ、既述の規格化された視線方向角
ψ/θのデータを得るように構成された視線方向検出手
段22の構成例を示す模式図である。
察者の左眼(左眼球20)に対応して設けられている。
図12の左表示素子としてのLCD18は供給された左
眼用画像を映出するためのものである。左眼用接眼光学
系16Lは自己の底部内面の凹面ミラー16Laと内部
中央に略々対角線状に設けられたハーフミラー16Lb
とを有するプリズムで成る。
を投射する各赤外線投射用LEDを含んで成り、この光
源23からの投射光は上記プリズム(左眼用接眼光学
系)16Lのハーフミラー16Lbで反射されて左眼2
0に平行に投射され、その角膜24からの反射光がハー
フミラー16Lbを透過してレンズ25を通して光電変
換素子26の光電変換面26Sに入射する。
た信号の値が視線方向角ψ、即ち、図9について上述の
視線軸Ls と左光軸La との開き角度(半画角)に対応
するものとなるように構成されている。このψのデータ
は次段の規格化演算器27で処理されて、図9について
上述の半画角をθとしたときの規格化された視線方向角
ψ/θが算出され、このψ/θのデータが接続ケーブル
を通して立体画像生成装置本体4(図2)に供給される
ように構成される。
ステムに適用される頭部装着型画像表示装置(HMD)
の光学系の構成例を示す模式図である。図13におい
て、既述の図8との対応部には同一の符号を付してあ
る。
ンズ)16,17の主点を通る光軸と表示素子の表示面
の中心点との相対位置を特定の関係に置くようにしたも
のである。即ち、左右両眼20,21に各対応する両表
示素子18,19の表示面の夫々の中心点位置が各対応
する接眼光学系(接眼レンズ)16,17の主点を通る
光軸位置よりも内側に(双方が接近する方向に)等量だ
けずらされて位置する(図示のように位置的オフセット
S0 が加えられた)ように構成され、且つ、このオフセ
ット量は上記各接眼光学系(接眼レンズ)16,17の
主点とこれに各対応する両表示素子18,19の表示面
の中心を通る両光学視軸の交点が該両光学系による虚像
面内の位置となるように選択されている。
D)に、上記両表示面に表示されるべき画像を表わすデ
ータとして当該立体画像生成装置本体の視差制御手段に
より、ターゲットオブジェクトについての左右の2次元
画像に係る視差が0となるように制御された画像データ
が供給された場合、このターゲットオブジェクトについ
て左右両眼を結ぶ直線から虚像面Vp までの距離である
視距離と輻輳距離とが一致したまま変化せず、観察者は
視距離と輻輳距離との違いに起因する違和感や疲労感が
大幅に軽減される。
ステムに適用される画像表示装置(HMD)の光学系の
他の構成例を示す模式図である。図14においても、既
述の図8との対応部には同一の符号を付してある。
面の夫々の中心点位置について位置的オフセットS0 が
加えられた構成を採ったのに対し、この図14のもので
は両表示素子18,19の表示面の各裏面側が相互に向
き合う方向に等量だけ適宜に傾けて、各接眼光学系(接
眼レンズ)16,17の主点とこれに各対応する表示面
の中心を通る両光学視軸の交点が該両光学系による虚像
面Vp 内の位置となるように選択されている。
D)に、上記両表示面に表示されるべき画像を表わすデ
ータとして当該立体画像生成装置本体の視差制御手段に
より、ターゲットオブジェクトについての左右の2次元
画像に係る視差が0となるように制御された画像データ
が供給された場合、このターゲットオブジェクトについ
て左右両眼を結ぶ直線から虚像面Vp までの距離である
視距離と輻輳距離とが一致したまま変化せず、図13の
形態と同様の作用効果が得られる。
のシステムに適用される画像表示装置(HMD)の光学
系と画像の表示との関係を示す模式図である。
面の夫々の中心点位置について位置的オフセットS0 が
加えられた構成を採ったのに対し、この図15のもので
は光学系自体にはこのうようなオフセットが付加されて
いない。
子18,19の表示面の中心点が両接眼光学系(接眼レ
ンズ)16,17の主点を通る光軸上に位置するように
構成され、且つ、このような左右両表示素子18,19
によって映出されるべき画像信号として、その画像信号
による画像の中心位置について、図13で説明したオフ
セットS0 と同様の位置的オフセットが生じるよう予め
所定量だけ電気的にシフティングしている。
ーゲットオブジェクトについての左右の2次元画像に係
る視差が0となるように制御された画像データが供給さ
れた場合、このターゲットオブジェクトについて左右両
眼を結ぶ直線から虚像面Vpまでの距離である視距離と
輻輳距離とが一致したまま変化せず、図13の形態と同
様の作用効果が得られる。
想3次元空間内を2つのオブジェクト(三角錐とターゲ
ットオブジェクトである球)がそれらの左右の視点位置
を基準にして表したときの奥行き方向の相対移動の様子
を示す模式図である。
象となる2つのオブジェクトに対し投影演算を行った後
の左画像および右画像について、それらオブジェクトの
奥行き方向の相対移動に伴って左右両画面内での表示位
置が移動する様子を示す図である。
ェクト(三角錐と球)について、図16について説明し
たようにそれらが奥行き方向に相対移動したとき左右画
面内での表示位置が移動する様子を一般的な立体画像生
成装置を用いた場合について示す図であり、(イ)部
は、上記オブジェクトの同様の相対移動に伴なう左右両
画面内での表示位置の移動を、本発明の実施の形態の立
体画像生成装置を用いた場合について示す図である。
示対象となるオブジェクトの一つである三角錐とターゲ
ットオブジェクトである球とが奥行き方向の相対位置が
或る一定の位置に在る場合の左画像および右画像を表し
ている。
手前側に、且つ、三角錐方が相対的に奥側に移動した場
合の左画像および右画像を表している。同図(ア)の
(c)部は球の方が相対的に更に手前側に、且つ、三角
錐方が相対的に更に奥側に移動した場合の左画像および
右画像を表している。
解される通り、球の方が三角錐に対して相対的に手前側
に移動するとき、三角錐の像は左右両画面内で各画面の
中央位置に向けて次第に相対的に離れるように移動し、
これに対して球の像は左右両画面の中間位置に向けて次
第に寄ってくるように移動し且つ大きさも次第に大きく
なってゆく。
された球についても、その奥行き方向の移動に伴って左
右の画像の視差が変化している。これは、ターゲットオ
ブジェクトの奥行き方向の移動に伴って、観察者の両眼
を結ぶ直線の位置から左右両画像を観察する光学系によ
る虚像面までの位置である視距離と輻輳距離との乖離が
大きくなってしまうことを意味している。
おけると同様に、(a)部は表示対象となるオブジェク
トの一つである三角錐と他の一つである球とが奥行き方
向の相対位置が或る一定の位置に在る場合の左画像およ
び右画像を表している。
手前側に、且つ、三角錐方が相対的に奥側に移動した場
合の左画像および右画像を表している。同図(イ)の
(c)部は球の方が相対的に更に手前側に、且つ、三角
錐方が相対的に更に奥側に移動した場合の左画像および
右画像を表している。
解される通り、球の方が三角錐に対して相対的に手前側
に移動するとき、三角錐の像は左右両画面内で次第に相
対的に離れるように移動し、これに対して球の像は左右
両画面とも略々その中央位置から大きく移動することが
ないまま大きさだけが次第に大きくなってゆく。
された球については、その奥行き方向の移動に伴って左
右の画像の視差が変化しない。これは、ターゲットオブ
ジェクトの奥行き方向の移動に伴って、観察者の両眼を
結ぶ直線の位置から左右両画像を観察する光学系による
虚像面までの位置である視距離と輻輳距離との乖離が極
小に抑制され得ることを意味している。
13或いは図14について説明したように構成すること
により、ターゲットオブジェクトの奥行き方向の移動に
拠らず、視距離と輻輳距離が略々等しい状態を維持でき
ることになる。
トの位置が画面の略々中央にあって移動しなければ左右
両画像の視差は常に0であるため、両画像をそのまま観
察したのでは、ターゲットオブジェクトである球につい
ては輻輳距離が常に無限遠である場合と同じ状態となっ
てしまう。これに対し、本実施の形態では、表示面と光
学系との位置関係を図13或いは図14或いは図5につ
いて説明したように構成することにより、ターゲットオ
ブジェクトは奥行き位置が有限の適宜の距離にあるよう
に観察され得ることになる。
想3次元空間内を2つのオブジェクト(三角錐とターゲ
ットオブジェクトである球)がそれらの左右の視点位置
を基準にして表したときの奥行き方向の相対移動の様子
を示す模式図である。
ある球は左視点に対応する位置より更に左側の奥手位置
から斜め右手前に向かって右視点に対応する位置のとこ
ろまで移動するように想定されている。
象となる2つのオブジェクトに対し投影演算を行った後
の左画像および右画像について、ターゲットオブジェク
トの既述のような移動に伴って左右両画面内での表示位
置が移動する様子を示す図である。
ブジェクト(三角錐と球)について、ターゲットオブジ
ェクトである球が図18について説明したように移動す
るに伴って左右画面内での表示位置が移動する様子を一
般的な立体画像生成装置を適用した場合について示す図
であり、(イ)部は、上記オブジェクトの同様の移動に
伴なう左右両画面内での表示位置の移動を、本発明の実
施の形態の立体画像生成装置を適用した場合について示
す図である。
示対象となるオブジェクトの一つである三角錐とターゲ
ットオブジェクトである球とが奥行き方向の相対位置が
略々等しい或る一定の位置(移動前の位置)に在る場合
の左画像および右画像を表している。
前側に移動し、且つ、三角錐は元の位置から移動しない
場合の左画像および右画像を表している。同図(ア)の
(c)部は球の方が相対的に更に斜め右手前側に移動
し、且つ、三角錐は元の位置から移動しない場合の左画
像および右画像を表している。
解される通り、球の方が三角錐に対して相対的に斜め右
手前側に移動するとき、三角錐の像は左右両画面内で元
の位置を維持し、これに対して球の像は左右両画面でい
ずれも次第に右側に移動し且つ大きさも次第に大きくな
ってゆく。そして左画面内における球の像の位置と右画
面内における球の像の位置とのずれは大きくなってい
く。
ーゲットオブジェクトとして想定された球について、そ
の奥行き方向の移動に伴って左右の画像の視差が変化し
ている。これは、ターゲットオブジェクトの奥行き方向
の移動に伴って、観察者の両眼を結ぶ直線の位置から左
右両画像を観察する光学系による虚像面までの位置であ
る視距離と輻輳距離との乖離が大きくなってしまうこと
を意味している。
おけると同様に、(a)部は表示対象となるオブジェク
トの一つである三角錐とターゲットオブジェクトである
球とが奥行き方向の相対位置が略々等しい或る一定の位
置(移動前の位置)に在る場合の左画像および右画像を
表している。
前側に移動し、且つ、三角錐は元の位置から移動しない
場合の左画像および右画像を表している。同図(ア)の
(c)部は球の方が相対的に更に斜め右手前側に移動
し、且つ、三角錐は元の位置から移動しない場合の左画
像および右画像を表している。
解される通り、球の方が三角錐に対して相対的に右斜め
手前側に移動するとき、左画面内における三角錐の像は
次第に左手に移動し、右画面内における三角錐の像は次
第に右手に移動する。これに対して球の像は左右両画面
間で各画面の中央位置と球の中心位置とのずれ量を略々
等しく保ちつつ、右側に移動してゆき、且つ、大きさが
次第に大きくなってゆく。
された球については、その奥行き方向の移動に伴って左
右の画像の視差が変化しない。これは、ターゲットオブ
ジェクトの奥行き方向の移動に伴って、観察者の両眼を
結ぶ直線の位置から左右両画像を観察する光学系による
虚像面までの位置である視距離と輻輳距離との乖離が極
小に抑制され得ることを意味している。
位置関係を図13或いは図14或いは図15について説
明したように構成することにより、ターゲットオブジェ
クトの奥行き方向の移動に拠らず、視距離と輻輳距離が
略々等しい状態を維持できることになる。
位置と右の表示面内でのターゲットオブジェクトの位置
とが常に等しければ、左右両画像の視差は常に0である
ため、両画像をそのまま観察したのでは、ターゲットオ
ブジェクトである球については輻輳距離が常に無限遠で
ある場合と同じ状態となってしまう。これに対し、本実
施の形態では、表示面と光学系との位置関係を図13或
いは図14或いは図15について説明したように構成す
ることにより、ターゲットオブジェクトは奥行き位置が
有限の適宜の距離にあるように観察され得ることにな
る。
図19の(ア)部について説明した左右画像それぞれを
左および右表示素子18,19の画面に映出し、左およ
び右接眼光学系(レンズ)16,17で拡大したときに
生成される3次元空間像を示す模式図である。
へと状態が推移すると、球の像は矢線図示のように次第
に大きくなって右斜め手前側に飛び出してくるように見
え、一方、三角錐の像は大きさ位置共変化しない。
図19の(イ)部について説明した左右画像それぞれを
左および右表示素子18,19の画面に映出し、左およ
び右接眼光学系(レンズ)16,17で拡大したときに
生成される3次元空間像を示す模式図である。
へと状態が推移すると、球の像は矢線図示のように次第
に大きくなって右側に移動し、同時に、三角錐の像は大
きさは変わらないまま奥行き方向に次第に遠のくため、
双方の像を同時に観察する者にとっては、結果的に球の
像は次第に大きくなって右斜め手前側に飛び出してくる
ように知覚される。
した、左右両眼に各対応する両表示素子の表示面の夫々
の中心点位置が各対応する接眼光学系(接眼レンズ)の
主点を通る光軸位置よりも内側に(双方が接近する方向
に)等量だけずらされて位置した構成の(位置的オフセ
ットS0 が加えられた)表示装置を適用している。ここ
に、上記オフセットの量は上記各接眼光学系(接眼レン
ズ)の主点とこれに各対応する表示面の中心を通る両光
学視軸の交点が該両光学系による虚像面内の位置となる
ように選択されている。
左右両眼の視線方向の直線が交差する点までの距離であ
る輻輳距離は球の飛び出しに対応して変化するというこ
とがない。従って、この場合での注目すべきオブジェク
トである球については、左右両眼を結ぶ直線から虚像面
までの距離である視距離と輻輳距離とが一致したまま変
化せず、観察者は視距離と輻輳距離との違いに起因する
違和感や疲労感が大幅に軽減される。
制するために、移動に伴って像が手前側に飛び出してく
る飛び出し量を小さく制限することを要しないため、3
次元画像としてのインパクトが減殺されてしまう虞れも
ない。
明する。図22は、ターゲットオブジェクトに関する左
右両画像間の視差が0となるような画像(データ)を生
成する第2の実施形態の原理を示す概念図である。第1
の実施形態と同様にA方式(レンダリング制御+レンダ
リング)の例であるが、第1の実施形態とはレンダリン
グ制御方法が異なる。
球の像は、左投影面14上では、その中心が同左投影面
14の左端から距離bの点に位置するように投影され
る。一方、右投影面15上でも、その中心が同右投影面
15の左端から上述の距離bに等しい距離b′の点に位
置するように投影されるよう、左右の投影面14,15
を投影面内方向にシフトする。
定めるについて距離b=距離b′となるように両投影面
14,15の面内方向の相対位置がシフトされる。
めに、図示のように、左視点12および右視点13と各
対応する左投影面14および右投影面15のそれぞれの
中心点を通る直線である左および右の視軸の交点である
視軸交点Pisが、左視点12および右視点13を結ぶ線
分の中点で同線分に立てた垂線上に位置するように、且
つ、左視点12および右視点13を結ぶ直線から球のオ
ブジェクト(より厳密には、そのうちの注目点であっ
て、この図では球の中心のように想定されている)まで
の距離であるオブジェクト距離Lobj だけ離隔した位置
(破線図示の直線Ld 上)にあるといった状態が維持さ
れるように、左投影面14および右投影面15が各対応
する左視点12および右視点13との距離を一定に保持
しつつこれら両投影面の面内方向にシフトしたに相応す
る演算が実行される。
よび右視点13を結ぶ直線から前述の視軸交点Pisまで
の距離である視軸交点の距離Pisd が、常に、上記のオ
ブジェクト距離Lobj に等しい。
(球乃至そのうちの注目点)に係る投影演算による第1
の2次元画像(左画像)および第2の2次元画像(右画
像)に係る視差が、球のオブジェクトの奥行き方向の距
離に拠らず一定となる。即ち、図示のように、常に、距
離b=距離b′となる。
12を通る左投影面14の垂線が同左投影面14と交差
する点と、左視点と上記視軸交点Pisとを結ぶ直線が左
投影面14と交差する点との距離をS、上記左視点12
および右視点13を結ぶ線分の中点からいずれかの視点
つでの距離をD(両視点間の半距離)、いずれかの視点
(例えば左視点12)から対応する投影面(左投影面1
4)を見込む角の半分の角度(半画角)をΘとすると、
上記Sは、次のように投影面の大きさに対する割合によ
る無次元の量として扱うことができる:
記(1)式の右辺第2項の分子1には同表示面の水平方
向の画素数Ph の1/2であるPh-halfが対応するため
次のように表される:
り、同一の効果を有する。
る。第3の実施形態は前述の図1のB3式に対応してい
る。結果として得られる左右画像は第1の実施形態と同
様であり、図23は、本発明の装置において、立体画像
を得るための左画像および右画像について、表示対象と
なる2つのオブジェクト(三角錐と球)のうちターゲッ
トオブジェクトに関する視差を両画面内での表示状態を
変化させることによって最適化する様子を示す図であ
る。
ブジェクトの一つである三角錐と他の一つのオブジェク
ト(この場合での注目する対象とされるべきオブジェク
ト)である球についてレンダリングによる画像を別段の
手段を講じることなく映出した段階での左画像および右
画像を表している。
黒枠を映出させた状態での左画像および右画像を表して
いる。ここで、黒枠を映出させているのは、後述の
(C)で画像をシフトしたときに、表示画像の面積が変
化してしまうのを防ぐ為である。
である球に関する左右両画像間の視差が0となるように
黒枠も含めた画像全体の幅を図示のようにSだけシフト
した場合の左画像および右画像を表している。
置において、特定の注目オブジェクトに対する視差が一
定となるように画像のシフトを行なう場合の条件式を導
出する原理を示す模式図である。
ら、各それらを結ぶ線分の中点Oまでの距離(即ち、両
視点12および13間の距離の1/2の距離)、Θは各
視点(左視点12,右視点13)から夫々対応する投影
面(左投影面14,右投影面15)を見込む角の半分の
角度(半画角)、X1 はターゲットオブジェクトの像の
左投影面14上での投影位置の中心を同左投影面14の
中央位置を基準に表したもの、X2 はターゲットオブジ
ェクトの像の右投影面15上での投影位置の中心を同右
投影面15の中央位置を基準に表したもの、Lobj は左
視点12および右視点14を結ぶ直線から当該ターゲッ
トオブジェクト(より厳密には、そのうちの注目点であ
って、例えば球の中心のように想定される)までの距離
であるオブジェクト距離である。また、−Hは上記中点
Oで両視点を結ぶ線分に立てた垂線の位置を基準にした
ときの上記ターゲットオブジェクト(の中心)の位置
(距離)である。
投影面の画像に対応する左右の表示面である各LCD表
示面上で見た左右画像の視差|X1 −X2 |を表わす図
である。この図の表現では、各LCD表示面の水平方向
の長さを2として規格化した表現となっている。原理を
示す模式図である。以上、図24および図25を用いて
説明した各部の値に基づいて、上記左右画像の視差|X
1 −X2 |を表わすと次の(2)式のようになる:
(の中心)の位置(既述の図25では、左視点12およ
び右視点13を結ぶ線分の中点Oで同線分に立てた垂線
の位置を基準にしたときの上記ターゲットオブジェクト
の中心の位置−H)に関わらず、上記Lobj が求まれば
視差|X1 −X2 |が算出されること、即ち、視差を最
適な状態にするための各部の値が割り出せることを意味
している。そして、ここで求めた視差|X1 −X2 |が
常に0となる為の既述の図15或いは図23における画
像乃至黒枠の所要シフト量S0 求める。図22について
説明したように当該表示面における画素数で表すと、上
述した(1)式の右辺第2項の分子1には同表示面の水
平方向の画素数Ph の1/2であるPh-halfが対応する
ため、眼幅の1/2(半眼幅)をd,両眼から光学系に
よる虚像面までの視距離をLBaseとするとき、次のよう
に表される:
投影演算を実行して左右の像のデータをそれぞれ生成す
るまでの情報処理過程を説明するフローチャートであ
る。
ず、仮想空間内に、立体モデリングされた複数のオブジ
ェクト(三角錐と球)が配置されている場合を想定した
プログラムがロードされ(ステップS1)、次いで、こ
のプログラムが実行される(ステップS2)。
直ちに、上記複数のオブジェクト(三角錐と球)につい
て左右画像のレンダリングを実行する(ステップS
3)。
ータを記憶する(ステップS4)。当該情報処理機能部
に対して、本例の立体画像表示システムに適用される画
像表示装置(HMD)から、図9について既述の、規格
化された視線方向角ψ/θのデータが供給され、このデ
ータに依拠して視線方向変換処理が実行され、ターゲッ
トオブジェクトの方向角Θが算出され(ステップS
5)、次いで、この方向角Θに対して前回のシフト分相
応の視線方向の補正が行われる。
ついては既にシフトが加えられているため、このシフト
相応分の影響を除去して、シフトの影響を被っていない
視線方向を割り出す必要があるためである。このように
して補正された視線方向に基づいて特定の注目オブジェ
クトであるターゲットオブジェクト(この場合は球)が
決定される(ステップS7)。
決定されると、このターゲットオブジェクトから視点ま
での距離(左右の視点を結ぶ直線までの距離)Lobj
が、ステップS1でロードされている複数の各オブジェ
クトを表わすデータの中から該当するデータを検索して
演算する如くして求められる(ステップS9)。
合するようにして、図25を用いて説明したような条件
を満たすように左右の画像データおよび黒枠のシフト量
が演算により割り出される(ステップS10)。演算の
結果得られたデータ(シフト量)に応じて、上記画像表
示装置(HMD)に供給されるデータが制御され、画像
データも黒枠もシフトされる(ステップS11)。
の時点での規格化された視線方向角ψ/θのデータに対
応してステップS3〜ステップS11の処理が繰り返し
実行される。
る。この第4の実施形態も前述の図1のB方式に対応し
ているが、第3の実施形態とは画像変換方法が異なる。
図27は、本発明の装置において、立体画像を得るため
の左画像および右画像について、表示対象となる2つの
オブジェクト(三角錐と球)のうちターゲットオブジェ
クトに関する視差を両画面内での表示状態を変化させる
ことによって最適化する様子を示す図である。
説明した形態の変形例ともいうべきものであり、現実に
ターゲットオブジェクトの画面内での表示位置をシフト
させるに替えて、元となる水平方向の寸法の大きい画面
内でのターゲットオブジェクトの位置は変化させないま
ま、該元となる大きい画面からターゲットオブジェクト
を含んで部分的に切り出すようにして抽出してくる画面
の切り出し位置を変化させることにより、実効的にター
ゲットオブジェクトの表示位置をシフトさせる効果を得
るようにしたものである。
ブジェクトの一つである三角錐と他の一つのオブジェク
ト(この場合での注目する対象とされるべきオブジェク
ト)である球についてレンダリングによる画像を別段の
手段を講じることなく元となる水平方向の寸法の大きい
画面内に映出した段階での左画像および右画像を表して
いる。
となる大きい画面からターゲットオブジェクトを含んで
画面を部分的に切り出すときの切り出し位置を可変設定
する様子を表している。
である球を含んで切り出し(抽出)処理された後の左画
像および右画像を表している。
る。図28は、本発明の距離演算装置において、ターゲ
ットオブジェクトを識別し、その距離(既述のLobj )
を算出する過程を説明するための模式図である。
オブジェクトB(三角錐)とが或る平面投影状態では部
分的に重なり合って位置している場合が示されている。
一般に、ヒトの視点移動は比較的短時間に微動しながら
逐次移動する傾向があり、この現象は固視微動として良
く知られている。従って、或る一つの時点のみで視線方
向をサンプリングしても、この固視微動があるため、正
確に注目オブジェクトを特定することは困難である。
視点)をサンプリングして、これらの情報を総合的に判
断の根拠として用いれば、比較的正確に注目オブジェク
トを特定することができ、従って、その距離を正確に割
り出すことが可能となる。
トの注視点を検出するようにしている。
ントの注視点の情報に基づいて注目オブジェクトを決定
し、その距離を割り出す方法について説明するための概
念図である。
の各ポイントについて、その注視点毎にそれがオブジェ
クトAに属するカウント数(度数)N(A)とオブジェ
クトBに属するカウント数(度数)N(B)とを求め
る。
して、度数の高いものに係るオブジェクト(例えばオブ
ジェクトAである球)を注目オブジェクトとして決定
し、予めその注目オブジェクトに関して保有している画
像データに基づいて距離(LA1を算出して、この距離
を既述のLobj として出力する。
ントの注視点の情報に基づいて各ポイントに対応したオ
ブジェクトが何であるかを弁別して該当するオブジェク
トの距離を求め、最も近い距離を注目オブジェクトの距
離として割り出す方法について説明するための概念図で
ある。
の各ポイントについて、各対応するオブジェクトが何で
あるかを先ず弁別する。この例では、それらオブジェク
トはAまたはBであることが弁別される。次いでこれら
該当するオブジェクトの距離をそれぞれ予め保有してい
る画像データに基づいて算出する。
ついて相互に比較し、それらの内最も近い距離を注目オ
ブジェクトの距離として決定し、出力するようにしてい
る。これは、通常の観察者は近距離にあるオブジェクト
に注目するであろうとの仮定に立脚した方法である。
ントの注視点の情報に基づいて各ポイントに対応したオ
ブジェクトの距離を算出し、一旦これらの距離の逆数を
求めてから、平均値をとってその値を注目オブジェクト
の距離として割り出す方法について説明するための概念
図である。
の各ポイントについて、先ず、各ポイントに対応したオ
ブジェクトの距離を算出する。次いで、これら各距離の
逆数を算出する。このようにして求めた逆数に基づいて
図示のような演算によって距離の平均値を算出する。こ
の平均値を注目オブジェクトの距離Lobj とし出力す
る。上述の方法では、各距離の逆数を一旦求め、これに
よって距離の平均値を算出するため、一部のオブジェク
トの距離が無限遠であったような場合でも平均値を算出
するについて適切な有限の値を得ることができる。
て、ターゲットオブジェクトを識別し、その距離(既述
のLobj )を算出するための他の過程を説明するための
模式図である。
オブジェクトB(三角錐)とが或る平面投影状態では部
分的に重なり合って位置している場合が示されている。
この方法では、予め、×で示された注目点を中心として
一定の角度ずつの広がり持った領域内に所定数(この例
では9ポイント)のサンプリング点(○)を設定して、
これら各サンプリング点からの情報を用いて距離を割り
出す。
ントの注視点の情報に基づいて注目オブジェクトを決定
し、その距離を割り出す方法について説明するための概
念図である。
れたサンプリング点1からサンプリング点9までの各ポ
イントについて、そのサンプリングポイント毎にそれが
オブジェクトAに属するかオブジェクトBに属するか、
或いは該当するオブジェクトがないかを検出する。
(度数)N(A)とオブジェクトBに属するカウント数
(度数)N(B)とを求める。
して、度数の高いものに係るオブジェクト(例えばオブ
ジェクトAである球)を注目オブジェクトとして決定
し、予めその注目オブジェクトに関して保有している画
像データに基づいて距離(LA)を算出して、この距離
を既述のLobj として出力する。
ントのサンプリング点の情報に基づいて各ポイントに対
応したオブジェクトが何であるかを弁別して該当するオ
ブジェクトの距離を求め、最も近い距離を注目オブジェ
クトの距離として割り出す方法について説明するための
概念図である。
プリング点9までの各ポイントについて、各対応するオ
ブジェクトが何であるかを先ず弁別する。この例では、
それらオブジェクトはAまたはBであることが弁別され
る。
をそれぞれ予め保有している画像データに基づいて算出
する。これら算出された各距離(LA ,LB )について
相互に比較し、それらの内最も近い距離を注目オブジェ
クトの距離として決定し、出力するようにしている。こ
れは、通常の観察者は近距離にあるオブジェクトに注目
するであろうとの仮定に立脚した方法である。
ントの注視点の情報に基づいて各ポイントに対応したオ
ブジェクトの距離を算出し、一旦これらの距離の逆数を
求めてから、平均値をとってその値を注目オブジェクト
の距離として割り出す方法について説明するための概念
図である。
プリング点9までの各サンプリングポイントに対応して
そのポイントがオブジェクトAに属するかオブジェクト
Bに属するか、或いは該当するオブジェクトがないかを
検出する。
出する。この後、これら各距離の逆数を算出する。この
ようにして求めた逆数に基づいて図示のような演算によ
って距離の平均値を算出する。
j とし出力する。この方法では、各距離の逆数を一旦求
め、これによって距離の平均値を算出するため、一部の
オブジェクトの距離が無限遠であったような場合でも平
均値を算出するについて適切な有限の値を得ることがで
きる。
6は、本発明の装置において、立体画像を得るための左
画像および右画像について、主たる表示対象となる2つ
のオブジェクト(三角錐と球)のうち特にターゲットオ
ブジェクトに関する視差は既述の第1,2の実施形態の
ようにして両画面内での表示状態を変化させることによ
って最適化する一方、背景画像については適宜の固定的
視差を持つようにした画像を上記左右画像に合成して
(貼り込んで)しまう様子を示す図である。
理が、図1において「オブジェクトの背景画像データを
添える処理」として既述のものである。
ブジェクトの一つである三角錐と他の一つのオブジェク
ト(この場合での注目する対象とされるべきオブジェク
ト)である球についてのみレンダリングによる画像を画
面内に映出した段階での左画像および右画像を表してい
る。
となる水平方向の幅の広い同一の画像から切り出し(抽
出)位置をずらした関係で各部分的に切り出した画像
(テクスチャ)を左画像及び右画像用の背景として設定
した様子を表している。
ェクトに対して背景となる画像を貼り込んで合成処理さ
れた後の左画像および右画像を表している。
て説明した背景となる画像(テクスチャ)を、元となる
水平方向の幅の広い同一の画像(テクスチャTX)から
切り出し(抽出)位置をずらした関係で各部分的に切り
出し、実線図示の枠(左テクスチャ領域)のように切り
出した部分を左画像用の背景画像とし、一点鎖線図示の
枠(右テクスチャ領域)のように切り出した部分を右画
像用の背景画像とするときの、切り出し処理する様子を
表している。双方の切り出し領域は、図23について説
明したSの2倍だけ水平方向にずれた位置となるように
選択されている。
像を得るための左画像および右画像について、主たる表
示対象となる2つのオブジェクト(三角錐と球)のうち
特にターゲットオブジェクトに関する視差は既述の第
3,4の実施形態のようにして両画面内での表示状態を
変化させることによって最適化する一方、背景画像につ
いては適宜の固定的視差を持つようにした画像を上記2
つのオブジェクトの像に合成して(貼り込んで)しまう
他の例を示す図である。
理も、図1について「オブジェクトの背景画像データを
添える処理」として既述のものである。
ブジェクトの一つである三角錐と他の一つのオブジェク
ト(この場合での注目する対象とされるべきオブジェク
ト)である球についてのみレンダリングによる画像を画
面内に映出した段階での左画像および右画像を表してい
る。
となる水平方向の幅の広い同一の画像から同一部分を各
切り出した画像(テクスチャ)を左画像及び右画像用の
背景として設定した様子を表している。
ェクトに対して背景となる画像を貼り込んで合成処理さ
れた後の左画像および右画像を表している。
黒枠を映出させた状態での左画像および右画像を表して
いる。
も共に左右画像が離隔する方向にシフトしたと実効的に
等価な効果を得るように黒枠も含めた画像全体をSだけ
シフトした場合の左画像および右画像を表している。
ンピュータ等を用いてシステムを構成したとしても演算
時間が比較的短く、従って遅滞のない視差の制御或いは
輻輳距離の制御が行われ得るこの種の装置が実現され
る。また、注目するオブジェクトの距離を的確に算出す
ることのできる装置が実現される。
る本発明の実施の形態としての立体画像表示装置のシス
テムを示す図である。
モデリングされた複数のオブジェクトを配置し、これら
オブジェクトを立体視するための2つの2次元画像デー
タを生成するための処理を概念的に説明するための模式
図である。
いて、仮想3次元空間内を表示対象となる2つのオブジ
ェクト(三角錐と球)がそれらの奥行き方向の相対移動
する場合、左右両画面内での表示位置が移動する様子
を、一般的な立体画像生成法を採った場合について示す
図である。
角錐と球)を左および右接眼光学系を通して左および右
表示素子の画面に映出された像の虚像として観察すると
きの見え方を示す模式図である。
何)との対応関係を示す図である。
ための左画像および右画像について、表示対象となる2
つのオブジェクト(三角錐と球)がそれらの奥行き方向
の相対移動に伴って左右両画面内での表示位置が移動す
る様子を示す図である。
の画面にそれぞれ表示される2つのオブジェクト(三角
錐と球)を左右の接眼光学系(レンズ)を通して画面に
映出された像の虚像として観察するときの見え方を示す
模式図である。
線方向の情報によって注目画像である特定オブジェクト
としてのターゲットオブジェクトを決定する過程を説明
するための模式図である。
特定の注目オブジェクトに対する視差が一定となるよう
な投影演算を行って左右の各2次元画像データをそれぞ
れ生成する原理を示す模式図である。
行して左右の像のデータをそれぞれ生成するまでの情報
処理過程を説明するフローチャートである。
表示システムに適用されるHMDに備えられ、規格化さ
れた視線方向角のデータを得るように構成された視線方
向検出手段の構成例を示す模式図である。
される頭部装着型画像表示装置(HMD)の光学系の構
成例を示す模式図である。
されるHMDの光学系の他の構成例を示す模式図であ
る。
適用されるHMDの光学系と画像の表示との関係を示す
模式図である。
ブジェクトである球)がそれらの左右の視点位置を基準
にして表したときの奥行き方向の相対移動の様子を示す
模式図である。
のオブジェクトが当該立体表示装置において、3次元画
像表示を得るための左画像および右画像について、それ
らオブジェクトの奥行き方向の相対移動に伴って左右両
画面内での表示位置が移動する様子を示す図である。
ブジェクトである球)がそれらの左右の視点位置を基準
にして表したときの奥行き方向の相対移動の様子を示す
模式図である。
のオブジェクトが当該立体表示装置において、3次元画
像表示を得るための左画像および右画像について、ター
ゲットオブジェクトの既述のような移動に伴って左右両
画面内での表示位置が移動する様子を示す図である。
クトである球が斜め右手前側に移動する様子を、一般的
な表示装置を適用して、その左右の接眼光学系を通して
画面に映出された像の虚像として観察するときの見え方
を示す模式図である。
クトである球が斜め右手前側に移動する様子を、本発明
の表示装置を適用して、その左右の接眼光学系を通して
画面に映出された像の虚像として観察するときの見え方
を示す模式図である。
間の視差が0となるような画像(データ)を生成するた
めの原理を示す概念図である。
るための左画像および右画像について、ターゲットオブ
ジェクトに関する視差を両画面内での表示状態を変化さ
せることによって最適化する様子を示す図である。
特定の注目オブジェクトに対する視差が一定となるよう
に画像のシフトを行なう場合の条件式を導出する原理を
示す模式図である。
に対応する左右の表示面上で見た左右画像の視差を表わ
す図である。
行して左右の像のデータをそれぞれ生成するまでの情報
処理過程を説明するフローチャートである。
るための左画像および右画像について、ターゲットオブ
ジェクトに関する視差を両画面内での表示状態を変化さ
せることによって最適化する様子を示す図である。
オブジェクトを識別し、その距離を算出する過程を説明
するための模式図である。
オブジェクトを決定し、その距離を割り出す方法につい
て説明するための概念図である。
いて各ポイントに対応したオブジェクトを弁別してそれ
らオブジェクトの距離を求め、最小距離を注目オブジェ
クトの距離として割り出す方法について説明するための
概念図である。
いて各ポイントに対応したオブジェクトの距離を算出
し、一旦これらの距離の逆数を求めてから、平均値をと
ってその値を注目オブジェクトの距離として割り出す方
法について説明するための概念図である。
オブジェクトを識別し、その距離)を算出するための他
の過程を説明するための模式図である。
いて注目オブジェクトを決定し、その距離を割り出す方
法について説明するための概念図である。
報に基づいて各ポイントに対応したオブジェクトの距離
を求め、最小距離を注目オブジェクトの距離として割り
出す方法について説明するための概念図である。
いて各ポイントに対応したオブジェクトの距離を算出
し、一旦これらの距離の逆数を求めてから、平均値をと
ってその値を注目オブジェクトの距離として割り出す方
法について説明するための概念図である。
るための左画像および右画像について、背景画像につい
ては適宜の固定的視差を持つようにした画像をオブジェ
クトの像に合成する様子を示す図である。
画像から切り出すときの、切り出し処理する様子を表し
ている。
るための左画像および右画像について、背景画像につい
ては適宜の固定的視差を持つようにした画像をオブジェ
クトの像に合成する他の例を示す図である。
Claims (18)
- 【請求項1】3次元空間座標が設定された仮想空間内に
立体モデリングされた複数のオブジェクトを配置し、上
記3次元空間座標での座標位置が互いに異なる第1の視
点と第2の視点から各所定の第1の投影面と第2の投影
面に上記オブジェクトをそれぞれ投影するに相応した投
影演算を実行して該投影による第1の2次元画像および
第2の2次元画像を各表わす第1の2次元画像データお
よび第2の2次元画像データをそれぞれ生成するように
なされた立体画像生成装置であって、 上記複数のオブジェクトの中から特定のオブジェクトを
決定する特定オブジェクト決定手段と、 上記特定のオブジェクトに関する上記第1の2次元画像
および第2の2次元画像に係る視差が略一定となるよう
に視差を制御する視差制御手段を備えたことを特徴とす
る立体画像生成装置。 - 【請求項2】上記特定オブジェクト決定手段は、適用さ
れた画像表示装置に映出された画像を観察する観察者の
視線方向を検出するための視線方向検出手段を含んでな
り該視線方向検出手段の検出出力に基づいて上記複数の
オブジェクトの中から特定のオブジェクトを決定するよ
うに構成されたものであることを特徴とする請求項1に
記載の立体画像生成装置。 - 【請求項3】左眼用の表示素子と、該左眼用の表示素子
の表示面を観察するための左眼用光学系と、右眼用の表
示素子と、該右眼用の表示素子の表示面を観察するため
の右眼用光学系と、上記各表示素子および光学系を所定
の位置関係を維持して観察者の頭部に位置決め支持する
ための支持手段と、を含んでなる頭部装着型立体画像表
示装置を更に備え、該頭部装着型立体画像表示装置の上
記両表示面に表示されるべき画像を表わすデータとして
上記視差制御手段により得た画像データが供給され得る
ように構成されてなることを特徴とする請求項1に記載
の立体画像生成装置。 - 【請求項4】上記視差制御手段は、本立体画像生成装置
における上記投影演算の実行に先立って、上記特定オブ
ジェクトから上記第1の視点と第2の視点とを結ぶ直線
までの距離であるオブジェクト距離に基づいて、上記第
1の視点と第1の投影面の中心とを結ぶ直線である第1
の視軸と上記第2の視点と第2の投影面の中心とを結ぶ
直線である第2の視軸との交点である視軸交点から上記
第1の視点と第2の視点とを結ぶ直線までの距離である
視軸交点の距離を制御するようになされた視軸制御手段
を含んで構成されたものであることを特徴とする請求項
1に記載の立体画像生成装置。 - 【請求項5】上記視軸制御手段は、上記第1の投影面を
第1の視点の回りに回動させることにより、及び/又
は、上記第2の投影面を第2の視点の回りに回動させる
ことにより、上記視軸交点の距離を制御するようになさ
れたものであることを特徴とする請求項4に記載の立体
画像生成装置。 - 【請求項6】上記視軸制御手段は、上記第1の投影面、
及び/又は、上記第2の投影面を、面内方向に移動させ
ることにより、上記視軸交点の距離を制御するようにな
されたものであることを特徴とする請求項4に記載の立
体画像生成装置。 - 【請求項7】上記第1の2次元画像と合成されるべき第
3の2次元画像を表わす第3の2次元画像データと、上
記第2の2次元画像と合成されるべき第4の2次元画像
を表わす第4の2次元画像データとを、所定の同一の2
次元画像を表わす画像データに基づいてこの画像データ
に対して上記視差制御手段により制御された視差を相対
的に加味することにより該両2次元画像データとして各
生成する合成対象画像生成手段と、 上記第1の2次元画像と上記第3の2次元画像とを合成
した一の2次元画像を表わす2次元画像データを生成す
るための第1の画像合成手段と、 上記第2の2次元画像と上記第4の2次元画像とを合成
した他の2次元画像を表わす2次元画像データを生成す
るための第2の画像合成手段と、を更に備えてなること
を特徴とする請求項1に記載の立体画像生成装置。 - 【請求項8】上記視軸制御手段は、上記視軸交点の距離
と上記オブジェクト距離とが等しくなるように視軸交点
の距離を制御して該制御が加味されてなる画像データを
得るように構成され、 左眼用の表示面を観察するための左眼用光学系と右眼用
の表示面を観察するための右眼用光学系とを有し上記各
光学系に係るレンズの主点とこれに各対応する表示面の
中心を通る両光学視軸の交点が該両光学系による虚像面
内の位置にあるように構成された立体画像表示手段を更
に備え、 上記立体画像表示手段の上記両表示面に表示されるべき
画像を表わすデータとして上記視軸制御手段により得た
画像データが供給されるように構成されてなることを特
徴とする請求項4に記載の立体画像生成装置。 - 【請求項9】上記視差制御手段は、本立体画像生成装置
における上記投影演算の実行後に、上記特定オブジェク
トから上記第1の視点と第2の視点とを結ぶ直線までの
距離であるオブジェクト距離に基づいて、適用される立
体画像表示手段における所定の第1の画像表示領域に映
出される2次元画像および所定の第2の画像表示領域に
映出される2次元画像の該両2次元画像の水平方向の相
対的位置関係を制御してなる2次元画像データを得る2
次元画像データ制御手段を含んで構成されたものである
ことを特徴とする請求項1に記載の立体画像生成装置。 - 【請求項10】上記2次元画像データ制御手段は、上記
特定オブジェクトに係る視差が無くなるように上記両2
次元画像の水平方向の相対的位置関係を制御するように
なされ、 左眼用の表示面を観察するための左眼用光学
系と右眼用の表示面を観察するための右眼用光学系とを
有し上記各光学系に係るレンズの主点とこれに各対応す
る表示面の中心を通る両光学視軸の交点が該両光学系に
よる虚像面内の位置にあるように構成された立体画像表
示手段を更に備え、 上記立体画像表示手段の上記両表示面に表示されるべき
画像を表わすデータとして上記2次元画像データ制御手
段により得た画像データを供給するように構成されてな
ることを特徴とする請求項9に記載の立体画像生成装
置。 - 【請求項11】複数のオブジェクトを異なる視差で表現
してなる立体画像を表わすデータを生成する立体画像デ
ータ生成手段と、 上記複数のオブジェクトのうちの特定のオブジェクトを
決定する特定オブジェクト決定手段と、 上記特定オブジェクトの視差が0となるように上記立体
画像全体の視差が制御された画像データを得るための視
差制御手段と、 左眼用の表示面を観察するための左眼用光学系と右眼用
の表示面を観察するための右眼用光学系とを有し上記各
光学系のレンズの主点とこれに各対応する表示面の中心
を通る両光学視軸の交点が該両光学系による虚像面内の
位置にあるように構成され、且つ、上記両表示面に表示
されるべき画像を表わすデータとして上記視差制御手段
により得た画像データが供給されるように構成されてな
る立体画像表示手段と、を備えてなることを特徴とする
立体画像生成装置。 - 【請求項12】複数のオブジェクトを異なる視差で表現
してなる立体画像を表わすデータを生成する立体画像デ
ータ生成手段と、 上記複数のオブジェクトのうちの特定のオブジェクトを
決定する特定オブジェクト決定手段と、 上記特定オブジェクトの視差が0となるように上記立体
画像全体の視差が制御された画像データを得るための視
差制御手段と、 左眼用の表示面を観察するための左眼用光学系と右眼用
の表示面を観察するための右眼用光学系とを有し、上記
両表示面に表示されるべき画像を表わすデータとして上
記視差制御手段により得た画像データが供給され得るよ
うになされ、上記各光学系に係る両視軸の交点が該両光
学系による虚像面内の位置にあるように上記両表示面の
有効表示領域の中心位置が規制されるように構成されて
なる立体画像表示手段と、を備えてなることを特徴とす
る立体画像生成装置。 - 【請求項13】画像表示装置に映出された画像を観察す
る観察者の視線方向を検出するための視線方向検出手段
と、 上記視線方向検出手段の検出出力に基づいて視線方向に
係る複数の方向角を求める複数方向角決定手段と、 上記複数方向角決定手段により求められた複数の方向角
に沿う各直線上にある対象物を決定する対象物決定手段
と、 上記対象物決定手段により決定された対象物の奥行き距
離を決定する奥行き距離決定手段と、を備えてなること
を特徴とする距離演算装置。 - 【請求項14】上記複数方向角決定手段は、上記視線方
向検出手段が視線方向検出動作を所定時間内に複数回繰
り返すことによって得た異なる時刻での複数の検出出力
に基づいて該異なる時刻に各対応する複数の視線方向角
を決定するように構成され、 上記対象物決定手段は、上記決定された異なる時刻に各
対応する複数の視線方向角に沿う各直線上にある対象物
を決定するように構成されたものであることを特徴とす
る請求項13に記載の距離演算装置。 - 【請求項15】上記複数方向角決定手段は、上記視線方
向検出手段の検出出力に対応した一の視線方向を中心と
し該一の視線方向からそれぞれ所定角度の開きを有する
複数の視線方向角を決定するように構成され、 上記対象物決定手段は、上記決定された異なる複数の視
線方向角に沿う各直線上にある対象物を決定するように
構成されたものであることを特徴とする請求項13に記
載の距離演算装置。 - 【請求項16】上記奥行き距離決定手段は、上記対象物
決定手段により決定された複数の対象物のうち最も発生
頻度の高い対象物の奥行き距離を求めるように構成され
たものであることを特徴とする請求項13に記載の距離
演算装置。 - 【請求項17】上記奥行き距離決定手段は、上記対象物
決定手段により決定された複数の対象物の奥行き距離を
それぞれ求め、該求められた各距離のうち最小の距離を
決定するように構成されたものであることを特徴とする
請求項13に記載の距離演算装置。 - 【請求項18】上記奥行き距離決定手段は、上記対象物
決定手段により決定された複数の対象物の奥行き距離を
それぞれ求め、次いで、該求められた各距離の逆数をそ
れぞれ求め、更に、該求められた各逆数の平均値をそれ
ぞれ求め、次いで、該各平均値の逆数をそれぞれ求める
ように構成された演算手段を含んでなるものであること
を特徴とする請求項13に記載の距離演算装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP35780096A JP3802630B2 (ja) | 1996-12-28 | 1996-12-28 | 立体画像生成装置および立体画像生成方法 |
US08/998,782 US6111597A (en) | 1996-12-28 | 1997-12-29 | Stereo image forming apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP35780096A JP3802630B2 (ja) | 1996-12-28 | 1996-12-28 | 立体画像生成装置および立体画像生成方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005372837A Division JP4270347B2 (ja) | 2005-12-26 | 2005-12-26 | 距離演算装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10188034A true JPH10188034A (ja) | 1998-07-21 |
JP3802630B2 JP3802630B2 (ja) | 2006-07-26 |
Family
ID=18455992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP35780096A Expired - Fee Related JP3802630B2 (ja) | 1996-12-28 | 1996-12-28 | 立体画像生成装置および立体画像生成方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6111597A (ja) |
JP (1) | JP3802630B2 (ja) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7072504B2 (en) | 2000-02-21 | 2006-07-04 | Sharp Kabushiki Kaisha | Image synthesis apparatus |
JP2008210405A (ja) * | 2008-05-16 | 2008-09-11 | Sharp Corp | 画像処理方法、その方法を実現するためにコンピュータにより実行されるプログラム、及びそのプログラムを記録した記録媒体 |
JP2009129420A (ja) * | 2007-11-28 | 2009-06-11 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
WO2010123053A1 (ja) * | 2009-04-24 | 2010-10-28 | ソニー株式会社 | 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム |
JP2011086188A (ja) * | 2009-10-16 | 2011-04-28 | Konami Digital Entertainment Co Ltd | 立体画像生成装置、立体画像生成方法、ならびに、プログラム |
JP2012073792A (ja) * | 2010-09-28 | 2012-04-12 | Casio Comput Co Ltd | 画像処理装置、画像表示装置、及び画像処理方法 |
JP4938901B1 (ja) * | 2011-05-11 | 2012-05-23 | 学校法人 文教大学学園 | ズーミング可能な立体写真ビューア |
JP2012141819A (ja) * | 2010-12-29 | 2012-07-26 | Nintendo Co Ltd | 画像処理システム、画像処理プログラム、画像処理方法及び画像処理装置 |
JP2012141461A (ja) * | 2010-12-29 | 2012-07-26 | Sony Corp | ヘッド・マウント・ディスプレイ |
JP2012169730A (ja) * | 2011-02-10 | 2012-09-06 | Nec Personal Computers Ltd | 画像処理方法及び画像処理装置 |
JP2012237970A (ja) * | 2012-01-30 | 2012-12-06 | Bunkyo Daigaku Gakuen | ズーミング可能な立体写真ビューア |
JP5644862B2 (ja) * | 2010-12-10 | 2014-12-24 | 富士通株式会社 | 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム |
JP2014241523A (ja) * | 2013-06-12 | 2014-12-25 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
JP2015519590A (ja) * | 2012-03-30 | 2015-07-09 | カール ツァイス ヴィジョン インターナショナル ゲーエムベーハー | 3次元画像の可視化システム |
US9618759B2 (en) | 2012-08-06 | 2017-04-11 | Sony Corporation | Image display apparatus and image display method |
JP2019004471A (ja) * | 2018-07-12 | 2019-01-10 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
JP2019217269A (ja) * | 2018-06-11 | 2019-12-26 | 任天堂株式会社 | 立体視効果を調節するためのシステムおよび方法 |
US11054650B2 (en) | 2013-03-26 | 2021-07-06 | Seiko Epson Corporation | Head-mounted display device, control method of head-mounted display device, and display system |
JP6959682B1 (ja) * | 2020-12-28 | 2021-11-05 | 株式会社計数技研 | 画像合成装置、画像合成方法、及びプログラム |
WO2022145414A1 (ja) * | 2020-12-28 | 2022-07-07 | 株式会社計数技研 | 画像合成装置、画像合成方法、及びプログラム |
JP2023059137A (ja) * | 2021-10-14 | 2023-04-26 | 株式会社計数技研 | 画像合成装置、画像合成方法、及びプログラム |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4235291B2 (ja) * | 1998-10-02 | 2009-03-11 | キヤノン株式会社 | 立体映像システム |
JP2000354257A (ja) * | 1999-06-10 | 2000-12-19 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム提供媒体 |
JP2001142380A (ja) * | 1999-11-12 | 2001-05-25 | Sony Corp | ホログラム作成装置及び方法、並びにホログラム |
JP4269482B2 (ja) * | 2000-04-27 | 2009-05-27 | コニカミノルタホールディングス株式会社 | 映像表示装置 |
US7126558B1 (en) | 2001-10-19 | 2006-10-24 | Accenture Global Services Gmbh | Industrial augmented reality |
US6924799B2 (en) * | 2002-02-28 | 2005-08-02 | Hewlett-Packard Development Company, L.P. | Method, node, and network for compositing a three-dimensional stereo image from a non-stereo application |
US7483031B2 (en) * | 2003-04-17 | 2009-01-27 | Nvidia Corporation | Method for synchronizing graphics processing units |
JP4266878B2 (ja) * | 2004-04-22 | 2009-05-20 | Necディスプレイソリューションズ株式会社 | 映像表示装置 |
US7643672B2 (en) * | 2004-10-21 | 2010-01-05 | Kazunari Era | Image processing apparatus, image pickup device and program therefor |
KR20100105351A (ko) * | 2007-02-14 | 2010-09-29 | 포틴트 벤처 그룹 인코포레이티드 | 바나나 코덱 |
JP4637942B2 (ja) * | 2008-09-30 | 2011-02-23 | 富士フイルム株式会社 | 3次元表示装置および方法並びにプログラム |
JP5430266B2 (ja) * | 2009-07-21 | 2014-02-26 | 富士フイルム株式会社 | 画像表示装置および方法並びにプログラム |
KR20120005328A (ko) * | 2010-07-08 | 2012-01-16 | 삼성전자주식회사 | 입체 안경 및 이를 포함하는 디스플레이장치 |
KR101708306B1 (ko) * | 2010-09-13 | 2017-02-20 | 엘지전자 주식회사 | 이동 단말기 및 그의 3d 이미지 합성방법 |
JP5522018B2 (ja) * | 2010-12-15 | 2014-06-18 | 富士通株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
FR2969791B1 (fr) * | 2010-12-23 | 2012-12-28 | Thales Sa | Procede de correction de l'hyperstereoscopie et systeme de visualisation de casque associe |
CN103782234B (zh) * | 2011-09-09 | 2015-11-25 | 富士胶片株式会社 | 立体图像捕捉设备和方法 |
US9497501B2 (en) | 2011-12-06 | 2016-11-15 | Microsoft Technology Licensing, Llc | Augmented reality virtual monitor |
US20150312561A1 (en) * | 2011-12-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Virtual 3d monitor |
TWI450024B (zh) * | 2012-06-05 | 2014-08-21 | Wistron Corp | 立體深度影像建立系統及其方法 |
JP5351311B1 (ja) * | 2012-06-29 | 2013-11-27 | 株式会社ソニー・コンピュータエンタテインメント | 立体映像観察デバイスおよび透過率制御方法 |
CN103353677B (zh) | 2013-06-28 | 2015-03-11 | 北京智谷睿拓技术服务有限公司 | 成像装置及方法 |
CN103353663B (zh) | 2013-06-28 | 2016-08-10 | 北京智谷睿拓技术服务有限公司 | 成像调整装置及方法 |
CN103353667B (zh) | 2013-06-28 | 2015-10-21 | 北京智谷睿拓技术服务有限公司 | 成像调整设备及方法 |
CN103431840B (zh) | 2013-07-31 | 2016-01-20 | 北京智谷睿拓技术服务有限公司 | 眼睛光学参数检测***及方法 |
CN103424891B (zh) | 2013-07-31 | 2014-12-17 | 北京智谷睿拓技术服务有限公司 | 成像装置及方法 |
CN103431980A (zh) | 2013-08-22 | 2013-12-11 | 北京智谷睿拓技术服务有限公司 | 视力保护成像***及方法 |
CN103439801B (zh) * | 2013-08-22 | 2016-10-26 | 北京智谷睿拓技术服务有限公司 | 视力保护成像装置及方法 |
CN103605208B (zh) | 2013-08-30 | 2016-09-28 | 北京智谷睿拓技术服务有限公司 | 内容投射***及方法 |
CN103500331B (zh) | 2013-08-30 | 2017-11-10 | 北京智谷睿拓技术服务有限公司 | 提醒方法及装置 |
CN103558909B (zh) | 2013-10-10 | 2017-03-29 | 北京智谷睿拓技术服务有限公司 | 交互投射显示方法及交互投射显示*** |
IL236420A (en) | 2014-12-23 | 2016-06-30 | Ron Schneider | Methods and systems for producing an enlarged 3D image |
CN107810634A (zh) * | 2015-06-12 | 2018-03-16 | 微软技术许可有限责任公司 | 用于立体增强现实的显示器 |
JP5856344B1 (ja) * | 2015-07-27 | 2016-02-09 | 正樹 房間 | 3d画像表示装置 |
KR102459850B1 (ko) * | 2015-12-03 | 2022-10-27 | 삼성전자주식회사 | 3d 이미지 처리 방법 및 장치, 및 그래픽 처리 장치 |
WO2018027015A1 (en) * | 2016-08-04 | 2018-02-08 | Dolby Laboratories Licensing Corporation | Single depth tracked accommodation-vergence solutions |
CN109644261B (zh) * | 2016-08-04 | 2021-06-01 | 杜比实验室特许公司 | 单一深度追踪调节-聚散解决方案 |
US10742964B2 (en) * | 2017-04-04 | 2020-08-11 | Nextvr Inc. | Methods and apparatus for displaying images |
JP7349808B2 (ja) * | 2019-03-20 | 2023-09-25 | 任天堂株式会社 | 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB8701288D0 (en) * | 1987-01-21 | 1987-02-25 | Waldern J D | Perception of computer-generated imagery |
JPH05300544A (ja) * | 1992-04-23 | 1993-11-12 | Sony Corp | 映像表示装置 |
JPH0638219A (ja) * | 1992-07-20 | 1994-02-10 | Olympus Optical Co Ltd | 映像表示装置 |
US5579026A (en) * | 1993-05-14 | 1996-11-26 | Olympus Optical Co., Ltd. | Image display apparatus of head mounted type |
AUPM701394A0 (en) * | 1994-07-22 | 1994-08-18 | Monash University | A graphical display system |
US5737012A (en) * | 1994-12-01 | 1998-04-07 | Olympus Optical Co., Ltd. | Head mounted image display apparatus and image forming apparatus related thereto |
US5742264A (en) * | 1995-01-24 | 1998-04-21 | Matsushita Electric Industrial Co., Ltd. | Head-mounted display |
JPH08322004A (ja) * | 1995-05-24 | 1996-12-03 | Olympus Optical Co Ltd | 立体視ディスプレイ装置 |
-
1996
- 1996-12-28 JP JP35780096A patent/JP3802630B2/ja not_active Expired - Fee Related
-
1997
- 1997-12-29 US US08/998,782 patent/US6111597A/en not_active Expired - Lifetime
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7072504B2 (en) | 2000-02-21 | 2006-07-04 | Sharp Kabushiki Kaisha | Image synthesis apparatus |
JP2009129420A (ja) * | 2007-11-28 | 2009-06-11 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
JP2008210405A (ja) * | 2008-05-16 | 2008-09-11 | Sharp Corp | 画像処理方法、その方法を実現するためにコンピュータにより実行されるプログラム、及びそのプログラムを記録した記録媒体 |
JP4610634B2 (ja) * | 2008-05-16 | 2011-01-12 | シャープ株式会社 | 画像処理方法、その方法を実現するためにコンピュータにより実行されるプログラム、及びそのプログラムを記録した記録媒体 |
US8698877B2 (en) | 2009-04-24 | 2014-04-15 | Sony Corporation | Image information processing apparatus, image capture apparatus, image information processing method, and program |
WO2010123053A1 (ja) * | 2009-04-24 | 2010-10-28 | ソニー株式会社 | 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム |
JP2010258723A (ja) * | 2009-04-24 | 2010-11-11 | Sony Corp | 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム |
JP2011086188A (ja) * | 2009-10-16 | 2011-04-28 | Konami Digital Entertainment Co Ltd | 立体画像生成装置、立体画像生成方法、ならびに、プログラム |
JP2012073792A (ja) * | 2010-09-28 | 2012-04-12 | Casio Comput Co Ltd | 画像処理装置、画像表示装置、及び画像処理方法 |
JP5644862B2 (ja) * | 2010-12-10 | 2014-12-24 | 富士通株式会社 | 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム |
US9113144B2 (en) | 2010-12-29 | 2015-08-18 | Nintendo Co., Ltd. | Image processing system, storage medium, image processing method, and image processing apparatus for correcting the degree of disparity of displayed objects |
US9268138B2 (en) | 2010-12-29 | 2016-02-23 | Sony Corporation | Head-mounted display |
JP2012141819A (ja) * | 2010-12-29 | 2012-07-26 | Nintendo Co Ltd | 画像処理システム、画像処理プログラム、画像処理方法及び画像処理装置 |
JP2012141461A (ja) * | 2010-12-29 | 2012-07-26 | Sony Corp | ヘッド・マウント・ディスプレイ |
JP2012169730A (ja) * | 2011-02-10 | 2012-09-06 | Nec Personal Computers Ltd | 画像処理方法及び画像処理装置 |
JP4938901B1 (ja) * | 2011-05-11 | 2012-05-23 | 学校法人 文教大学学園 | ズーミング可能な立体写真ビューア |
JP2012237970A (ja) * | 2012-01-30 | 2012-12-06 | Bunkyo Daigaku Gakuen | ズーミング可能な立体写真ビューア |
JP2015519590A (ja) * | 2012-03-30 | 2015-07-09 | カール ツァイス ヴィジョン インターナショナル ゲーエムベーハー | 3次元画像の可視化システム |
US9618759B2 (en) | 2012-08-06 | 2017-04-11 | Sony Corporation | Image display apparatus and image display method |
US10670880B2 (en) | 2012-08-06 | 2020-06-02 | Sony Corporation | Image display apparatus and image display method |
US11054650B2 (en) | 2013-03-26 | 2021-07-06 | Seiko Epson Corporation | Head-mounted display device, control method of head-mounted display device, and display system |
JP2014241523A (ja) * | 2013-06-12 | 2014-12-25 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
JP2019217269A (ja) * | 2018-06-11 | 2019-12-26 | 任天堂株式会社 | 立体視効果を調節するためのシステムおよび方法 |
JP2019004471A (ja) * | 2018-07-12 | 2019-01-10 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
JP6959682B1 (ja) * | 2020-12-28 | 2021-11-05 | 株式会社計数技研 | 画像合成装置、画像合成方法、及びプログラム |
WO2022145414A1 (ja) * | 2020-12-28 | 2022-07-07 | 株式会社計数技研 | 画像合成装置、画像合成方法、及びプログラム |
JP2022103572A (ja) * | 2020-12-28 | 2022-07-08 | 株式会社計数技研 | 画像合成装置、画像合成方法、及びプログラム |
JP2023059137A (ja) * | 2021-10-14 | 2023-04-26 | 株式会社計数技研 | 画像合成装置、画像合成方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3802630B2 (ja) | 2006-07-26 |
US6111597A (en) | 2000-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3802630B2 (ja) | 立体画像生成装置および立体画像生成方法 | |
JP7042889B2 (ja) | 仮想/拡張現実システムにおける内向き角度を用いてファイバスキャナをコリメートする設計 | |
JP5515301B2 (ja) | 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体 | |
JP5160741B2 (ja) | 3dグラフィック処理装置及びこれを利用した立体映像表示装置 | |
US10241329B2 (en) | Varifocal aberration compensation for near-eye displays | |
KR101912958B1 (ko) | 증강 현실 디스플레이를 위한 자동 가변 가상 초점 | |
US20160267720A1 (en) | Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience | |
JP4270347B2 (ja) | 距離演算装置 | |
JP2019502142A (ja) | 逆角度回折格子を有する仮想/拡張現実システム | |
JP2005295004A (ja) | 立体画像処理方法および立体画像処理装置 | |
US9106906B2 (en) | Image generation system, image generation method, and information storage medium | |
JPH0676073A (ja) | 立体三次元画像を生成する方法及び装置 | |
JP2017204674A (ja) | 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法 | |
JP2014219621A (ja) | 表示装置、表示制御プログラム | |
JPH09322199A (ja) | 立体映像ディスプレイ装置 | |
KR20190141656A (ko) | 비디오 시스루를 갖는 디스플레이 시스템 | |
CN109474816B (zh) | 增强现实的虚实融合装置及其虚实融合方法、设备、介质 | |
US11868527B2 (en) | Eye tracking using alternate sampling | |
CN212460199U (zh) | 头戴式显示设备 | |
KR101947372B1 (ko) | Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd | |
CN115202475A (zh) | 显示方法、装置、电子设备及计算机可读存储介质 | |
KR20140115637A (ko) | 다수 사용자에 입체 영상을 제공하는 시스템 및 그 방법 | |
JPH09224267A (ja) | 立体映像作成装置及び立体映像表示装置並びにシステム | |
JPH08223609A (ja) | 焦点調節の可能な三次元表示方法および表示装置 | |
JPH09233499A (ja) | 立体画像生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051026 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060421 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060428 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100512 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100512 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |