JPH10188034A - 立体画像生成装置および距離演算装置 - Google Patents

立体画像生成装置および距離演算装置

Info

Publication number
JPH10188034A
JPH10188034A JP8357800A JP35780096A JPH10188034A JP H10188034 A JPH10188034 A JP H10188034A JP 8357800 A JP8357800 A JP 8357800A JP 35780096 A JP35780096 A JP 35780096A JP H10188034 A JPH10188034 A JP H10188034A
Authority
JP
Japan
Prior art keywords
image
distance
dimensional image
display
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8357800A
Other languages
English (en)
Other versions
JP3802630B2 (ja
Inventor
Seiichiro Tabata
端 誠 一 郎 田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP35780096A priority Critical patent/JP3802630B2/ja
Priority to US08/998,782 priority patent/US6111597A/en
Publication of JPH10188034A publication Critical patent/JPH10188034A/ja
Application granted granted Critical
Publication of JP3802630B2 publication Critical patent/JP3802630B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】 【目的】通常のパーソナルコンピュータ等を用いてシス
テムを構成したとしても演算時間が比較的短く、従って
遅滞のない視差の制御或いは輻輳距離の制御が行われ得
るこの種の装置を実現する。 【構成】ターゲットオブジェクトの距離に対応した条件
下でレンダリングを行なうために、2次元投影面の位置
や向き等についてのレンダリング条件の制御を行った
上、レンダリングを実行して立体表示様のデータを得る
(A方式)か、または、ターゲットオブジェクトの距離
に依存せずレンダリングを実行し、その結果得られたデ
ータについて画像変換処理を施して立体表示用のデータ
を得る(B方式)。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えばコンピュー
ターグラフィックス等の技術により、3次元空間座標が
設定された仮想空間内に立体モデリングされた複数のオ
ブジェクトを配置し、これらのオブジェクトを適宜の画
像表示手段を用いて観察することができるようにするた
めの立体画像生成装置に関し、特にそれら複数のオブジ
ェクトのうち特定のものについて適切な視差により違和
感や疲労感なく観察することができるようにした立体画
像生成装置に関するものである。
【0002】
【従来の技術】近年、CG(コンピューターグラフィッ
クス)等の技術を用い、3次元空間座標が設定された仮
想空間内に立体モデリングされた複数のオブジェクトを
生成してそれぞれ静的に或いは動的に配置し、これらの
オブジェクトを適宜の画像表示手段を用いて観察するこ
とができるようにするための立体画像生成装置の開発が
進んでおり、種々のものが提案され、また製造されるに
至っている。このような立体画像生成装置では左眼用画
像および右眼用画像の視差がない単なるステレオ表示画
像を得るだけの装置に比し、両眼視差を持った2種類の
画像をそれぞれ生成する必要があることから、画像生成
のための演算過程が複雑となり、所要の画像データを得
るまでに多大な時間を要するか、或いは、能力の高いコ
ンピュータが必要とされるのが一般的傾向である。
【0003】特開平07-230557 号公報には、左眼用画像
および右眼用画像を生成して観察者の左眼および右眼で
それぞれ観察できるようにして立体視の効果を得るよう
にした装置において、左眼用画像および右眼用画像を構
成するCG画像をフィールド単位でレンダリング(コン
ピュータ内に入力された3次元のモデリングに対してデ
ィスプレイ上に可視化する作業:テレビジョン学会編、
オーム社発行「3次元CG」等参照)することによって
レンダリングに掛かる時間を短縮するようにしたCG立
体視アニメーションの生成法が提案されている。
【0004】一方、立体画像生成装置では、左眼用画像
および右眼用画像の視差に対応した輻輳(見ようとする
対象に両眼の視線を自然に集中すること:小柳修爾著、
オプトロニクス社発行「光学技術用語辞典」等参照)と
両画像を観察するための表示装置による画像(光学系に
よって作られる虚像)から観察者の両眼までの距離、従
って眼のピント(調節)との関係に矛盾が生じると、観
察者は違和感を感じ且つ疲労が生じる場合もある。ま
た、注目した画像乃至画像の部分について視差が頻繁に
変化すると、これもまた観察者の疲労を呼ぶことにな
る。
【0005】特開平07-167633 号公報には、2台のカメ
ラで2方向から被写体を撮影して記録し、この記録画像
を再生して観察するに際しては、注目する被写体の像乃
至像部分について、視差が一定となるように表示態様が
制御された表示を得るようにした立体画像撮像および表
示装置が開示されている。
【0006】
【発明が解決しようとする課題】上述した特開平07-230
557 号公報に開示されたCG立体視アニメーションの生
成法では、仮想空間内に立体モデリングされたオブジェ
クトを観察する場合における違和感や疲労感の低減とい
った視点からの配慮は全く示唆されていない。また、左
眼用画像および右眼用画像を構成するCG画像をフィー
ルド単位でレンダリングするという方法がこの限りで提
起されているだけであり、具体的な構成についての開示
は無い。
【0007】特開平07-167633 号公報に開示された装置
は、画像の両眼視差から観察者が最も広い範囲で被写体
の奥行き世界を知覚可能である最適注視点を計算し、こ
の最適注視点が画像表示装置の表示面位置から所定の奥
行き方向距離の位置に再現されるように制御するように
構成されたものである。このような制御を行うために、
左眼用画像および右眼用画像から相関マッチング法を用
いて視差地図を演算により求め、更に、当該画像の平均
値または画面中央に重みをかけた加重平均値を演算して
求める。そして、このようにして求めた視差の平均値を
用いて視差制御手段により左眼用画像および右眼用画像
に相応するデータの水平位置に係る読み出しのタイミン
グを制御することにより両画像の水平方向での映出位置
を制御している。しかしながら、この方式ではフレーム
毎に画面全体の視差地図を計算するために演算が複雑と
なり特段高性能のコンピュータを用いてシステムを構成
できることができる場合などはともかく、通常は演算結
果を得るまでに比較的長い時間を要することになる。
【0008】本発明は叙上のような事情に鑑みてなされ
たものであり、通常のパーソナルコンピュータ等を用い
てシステムを構成したとしても演算時間が比較的短く、
従って遅滞のない視差の制御或いは輻輳距離の制御が行
われ得るこの種の装置を提供することを目的とする。
【0009】
【課題を解決するための手段および作用】上記課題を解
決するため、一つの本願発明は: ・3次元空間座標が設定された仮想空間内に立体モデリ
ングされた複数のオブジェクトを配置し、上記3次元空
間座標での座標位置が互いに異なる第1の視点と第2の
視点から各所定の第1の投影面と第2の投影面に上記オ
ブジェクトをそれぞれ投影するに相応した投影演算を実
行して該投影による第1の2次元画像および第2の2次
元画像を各表わす第1の2次元画像データおよび第2の
2次元画像データをそれぞれ生成するようになされた立
体画像生成装置であって、上記複数のオブジェクトの中
から特定のオブジェクトを決定する特定オブジェクト決
定手段と、上記特定のオブジェクトに関する上記第1の
2次元画像および第2の2次元画像に係る視差が略一定
となるように視差を制御する視差制御手段を備えたこと
を特徴とする立体画像生成装置である……………………
…〔1〕
【0010】上記〔1〕の発明では、上記特定のオブジ
ェクトに関して視差が略一定となるように制御動作が行
われる。
【0011】また、他の一つの本願発明は: ・上記特定オブジェクト決定手段は、適用された画像表
示装置に映出された画像を観察する観察者の視線方向を
検出するための視線方向検出手段を含んでなり該視線方
向検出手段の検出出力に基づいて上記複数のオブジェク
トの中から特定のオブジェクトを決定するように構成さ
れたものであることを特徴とする上記〔1〕に記載の立
体画像生成装置である………………………〔2〕
【0012】上記〔2〕の発明では、観察者の視線方向
に係る検出値に依拠して上記複数のオブジェクトの中か
ら特定のオブジェクトが決定される。
【0013】また、更に他の一つの本願発明は: ・左眼用の表示素子と、該左眼用の表示素子の表示面を
観察するための左眼用光学系と、右眼用の表示素子と、
該右眼用の表示素子の表示面を観察するための右眼用光
学系と、上記各表示素子および光学系を所定の位置関係
を維持して観察者の頭部に位置決め支持するための支持
手段と、を含んでなる頭部装着型立体画像表示装置を更
に備え、該頭部装着型立体画像表示装置の上記両表示面
に表示されるべき画像を表わすデータとして上記視差制
御手段により得た画像データが供給され得るように構成
されてなることを特徴とする上記〔1〕に記載の立体画
像生成装置である……………………………………………
〔3〕
【0014】上記〔3〕の発明では、頭部装着型立体画
像表示装置によって表示面から観察者の眼球までの距離
を常に一定に保った状態で観察することができる。
【0015】また、更に他の一つの本願発明は: ・上記視差制御手段は、本立体画像生成装置における上
記投影演算の実行に先立って、上記特定オブジェクトか
ら上記第1の視点と第2の視点とを結ぶ直線までの距離
であるオブジェクト距離に基づいて、上記第1の視点と
第1の投影面の中心とを結ぶ直線である第1の視軸と上
記第2の視点と第2の投影面の中心とを結ぶ直線である
第2の視軸との交点である視軸交点から上記第1の視点
と第2の視点とを結ぶ直線までの距離である視軸交点の
距離を制御するようになされた視軸制御手段を含んで構
成されたものであることを特徴とする上記〔1〕に記載
の立体画像生成装置である………………………〔4〕
【0016】上記〔4〕の発明では、上記オブジェクト
距離に基づいて上記視軸交点の距離を制御するため簡易
な演算により制御が行われる。
【0017】また、更に他の一つの本願発明は: ・上記視軸制御手段は、上記第1の投影面を第1の視点
の回りに回動させることにより、及び/又は、上記第2
の投影面を第2の視点の回りに回動させることにより、
上記視軸交点の距離を制御するようになされたものであ
ることを特徴とする上記〔4〕に記載の立体画像生成装
置である………………………〔5〕
【0018】上記〔5〕の発明では、該当する投影面を
第1の視点の回りに回動させるというこの種の装置では
一般的な視軸変更処理と同じ処理によって上記視軸交点
の距離が制御される。
【0019】また、更に他の一つの本願発明は: ・上記視軸制御手段は、上記第1の投影面、及び/又
は、上記第2の投影面を、面内方向に移動させることに
より、上記視軸交点の距離を制御するようになされたも
のであることを特徴とする上記〔4〕に記載の立体画像
生成装置である………………………………………………
……〔6〕
【0020】上記〔6〕の発明では、該当する投影面の
一方向への移動という簡単な処理によって上記視軸交点
の距離が制御される。
【0021】また、更に他の一つの本願発明は: ・上記第1の2次元画像と合成されるべき第3の2次元
画像を表わす第3の2次元画像データと、上記第2の2
次元画像と合成されるべき第4の2次元画像を表わす第
4の2次元画像データとを、所定の同一の2次元画像を
表わす画像データに基づいてこの画像データに対して上
記視差制御手段により制御された視差を相対的に加味す
ることにより該両2次元画像データとして各生成する合
成対象画像生成手段と、上記第1の2次元画像と上記第
3の2次元画像とを合成した一の2次元画像を表わす2
次元画像データを生成するための第1の画像合成手段
と、上記第2の2次元画像と上記第4の2次元画像とを
合成した他の2次元画像を表わす2次元画像データを生
成するための第2の画像合成手段と、を更に備えてなる
ことを特徴とする上記〔1〕に記載の立体画像生成装置
である…………………………………………………………
〔7〕
【0022】上記〔7〕の発明では、例えば注目すべき
目的の画像と背景となる画像とを合成して一つの立体画
像を生成する場合などにおいて、目的の画像と背景とな
る画像との奥行き方向の位置関係が上記視差制御手段に
より制御された視差に基づいて適正に定められる。
【0023】また、更に他の一つの本願発明は: ・上記視軸制御手段は、上記視軸交点の距離と上記オブ
ジェクト距離とが等しくなるように視軸交点の距離を制
御して該制御が加味されてなる画像データを得るように
構成され、左眼用の表示面を観察するための左眼用光学
系と右眼用の表示面を観察するための右眼用光学系とを
有し上記各光学系に係るレンズの主点とこれに各対応す
る表示面の中心を通る両光学視軸の交点が該両光学系に
よる虚像面内の位置にあるように構成された立体画像表
示手段を更に備え、上記立体画像表示手段の上記両表示
面に表示されるべき画像を表わすデータとして上記視軸
制御手段により得た画像データが供給されるように構成
されてなることを特徴とする上記〔4〕に記載の立体画
像生成装置である………〔8〕
【0024】上記〔8〕の発明では、視差が0となるよ
うに制御された画像データを立体画像表示手段に供給し
さえすれば、観察者の両眼の輻輳による両視軸の交差す
る位置が観察の対象となる虚像面の位置に一致した違和
感や疲労感の少ない見易い画像表示が得られる。
【0025】また、更に他の一つの本願発明は: ・上記視差制御手段は、本立体画像生成装置における上
記投影演算の実行後に、上記特定オブジェクトから上記
第1の視点と第2の視点とを結ぶ直線までの距離である
オブジェクト距離に基づいて、適用される立体画像表示
手段における所定の第1の画像表示領域に映出される2
次元画像および所定の第2の画像表示領域に映出される
2次元画像の該両2次元画像の水平方向の相対的位置関
係を制御してなる2次元画像データを得る2次元画像デ
ータ制御手段を含んで構成されたものであることを特徴
とする上記〔1〕に記載の立体画像生成装置である……
……………………………………………………………
〔9〕
【0026】上記
〔9〕の発明では、本立体画像生成装
置における上記投影演算の実行後に、特定オブジェクト
を決定するための演算と視差の制御のための演算とを時
分割等により並列的に実行することができる。
【0027】また、更に他の一つの本願発明は: ・上記2次元画像データ制御手段は、上記特定オブジェ
クトに係る視差が無くなるように上記両2次元画像の水
平方向の相対的位置関係を制御するようになされ、左眼
用の表示面を観察するための左眼用光学系と右眼用の表
示面を観察するための右眼用光学系とを有し上記各光学
系に係るレンズの主点とこれに各対応する表示面の中心
を通る両光学視軸の交点が該両光学系による虚像面内の
位置にあるように構成された立体画像表示手段を更に備
え、上記立体画像表示手段の上記両表示面に表示される
べき画像を表わすデータとして上記2次元画像データ制
御手段により得た画像データが供給されるように構成さ
れてなることを特徴とする上記
〔9〕に記載の立体画像
生成装置である………………………………………………
…………〔10〕
【0028】上記〔10〕の発明では、上記2次元画像
データ制御手段により視差が0となるように制御された
画像データを立体画像表示手段に供給しさえすれば、観
察者の両眼の輻輳による両視軸の交差する位置が観察の
対象となる虚像面の位置に一致した違和感や疲労感の少
ない見易い画像表示が得られる。
【0029】また、更に他の一つの本願発明は: ・複数のオブジェクトを異なる視差で表現してなる立体
画像を表わすデータを生成する立体画像データ生成手段
と、上記複数のオブジェクトのうちの特定のオブジェク
トを決定する特定オブジェクト決定手段と、上記特定オ
ブジェクトの視差が0となるように上記立体画像全体の
視差が制御された画像データを得るための視差制御手段
と、左眼用の表示面を観察するための左眼用光学系と右
眼用の表示面を観察するための右眼用光学系とを有し上
記各光学系のレンズの主点とこれに各対応する表示面の
中心を通る両光学視軸の交点が該両光学系による虚像面
内の位置にあるように構成され、且つ、上記両表示面に
表示されるべき画像を表わすデータとして上記視差制御
手段により得た画像データが供給されるように構成され
てなる立体画像表示手段と、を備えてなることを特徴と
する立体画像生成装置である…………〔11〕
【0030】上記〔11〕の発明では、視差が0となる
ように制御された特定オブジェクトの画像データが立体
画像表示手段に供給されるため、この特定オブジェクト
について、観察者の両眼の輻輳による両視軸の交差する
位置が観察の対象となる虚像面の位置に一致した違和感
や疲労感の少ない見易い画像表示が得られる。
【0031】また、更に他の一つの本願発明は: ・複数のオブジェクトを異なる視差で表現してなる立体
画像を表わすデータを生成する立体画像データ生成手段
と、上記複数のオブジェクトのうちの特定のオブジェク
トを決定する特定オブジェクト決定手段と、上記特定オ
ブジェクトの視差が0となるように上記立体画像全体の
視差が制御された画像データを得るための視差制御手段
と、左眼用の表示面を観察するための左眼用光学系と右
眼用の表示面を観察するための右眼用光学系とを有し、
上記両表示面に表示されるべき画像を表わすデータとし
て上記視差制御手段により得た画像データが供給され得
るようになされ、上記各光学系に係る両視軸の交点が該
両光学系による虚像面内の位置にあるように上記両表示
面の有効表示領域の中心位置が規制されるように構成さ
れてなる立体画像表示手段と、を備えてなることを特徴
とする立体画像生成装置である……〔12〕
【0032】上記〔12〕の発明では、視差が0となる
ように制御された特定オブジェクトの画像データが立体
画像表示手段に供給されるため、この特定オブジェクト
について、観察者の両眼の輻輳による両視軸の交差する
位置が観察の対象となる虚像面の位置に一致した違和感
や疲労感の少ない見易い画像表示が得られる。
【0033】また、更に他の一つの本願発明は: ・画像表示装置に映出された画像を観察する観察者の視
線方向を検出するための視線方向検出手段と、上記視線
方向検出手段の検出出力に基づいて視線方向に係る複数
の方向角を求める複数方向角決定手段と、上記複数方向
角決定手段により求められた複数の方向角に沿う各直線
上にある対象物を決定する対象物決定手段と、上記対象
物決定手段により決定された対象物の奥行き距離を決定
する奥行き距離決定手段と、を備えてなることを特徴と
する距離演算装置である……〔13〕
【0034】上記〔13〕の発明では、上記複数の方向
角に沿う各直線上にある対象物を決定し該決定された対
象物の奥行き距離を決定するため、ヒトの眼球について
通常生じている固視微動のような視線のふらつきによる
対象物の決定に係る誤認が回避される。
【0035】また、更に他の一つの本願発明は: ・上記複数方向角決定手段は、上記視線方向検出手段が
視線方向検出動作を所定時間内に複数回繰り返すことに
よって得た異なる時刻での複数の検出出力に基づいて該
異なる時刻に各対応する複数の視線方向角を決定するよ
うに構成され、上記対象物決定手段は、上記決定された
異なる時刻に各対応する複数の視線方向角に沿う各直線
上にある対象物を決定するように構成されたものである
ことを特徴とする上記〔13〕に記載の距離演算装置で
ある……〔14〕
【0036】上記〔14〕の発明では、ヒトの眼球につ
いて通常生じている固視微動やサッカード現象のような
視線のふらつきに対応した領域を知ることができるた
め、この領域内にあるものとして対象物を正確に特定で
きる。
【0037】また、更に他の一つの本願発明は: ・上記複数方向角決定手段は、上記視線方向検出手段の
検出出力に対応した一の視線方向を中心とし該一の視線
方向からそれぞれ所定角度の開きを有する複数の視線方
向角を決定するように構成され、上記対象物決定手段
は、上記決定された異なる複数の視線方向角に沿う各直
線上にある対象物を決定するように構成されたものであ
ることを特徴とする上記〔13〕に記載の距離演算装置
である……〔15〕
【0038】上記〔15〕の発明では、1回で複数の視
線方向にある対象物を決定することができるため処理速
度が速い。
【0039】また、更に他の一つの本願発明は: ・上記奥行き距離決定手段は、上記対象物決定手段によ
り決定された複数の対象物のうち最も発生頻度の高い対
象物の奥行き距離を求めるように構成されたものである
ことを特徴とする上記〔13〕に記載の距離演算装置で
ある……………………………………………………………
…〔16〕
【0040】上記〔16〕の発明では、発生頻度の高い
対象物について奥行き距離を求めるため誤検出が回避さ
れる。
【0041】また、更に他の一つの本願発明は: ・上記奥行き距離決定手段は、上記対象物決定手段によ
り決定された複数の対象物の奥行き距離をそれぞれ求
め、該求められた各距離のうち最小の距離を決定するよ
うに構成されたものであることを特徴とする請求項13
に記載の距離演算装置である………………………………
………………………〔17〕
【0042】上記〔17〕の発明では、観察者が対象物
の境界領域を注視しているような場合でもヒトの眼球に
ついて通常生じている固視微動やサッカード現象に起因
する誤検出が回避される。
【0043】また、更に他の一つの本願発明は: ・上記奥行き距離決定手段は、上記対象物決定手段によ
り決定された複数の対象物の奥行き距離をそれぞれ求
め、次いで、該求められた各距離の逆数をそれぞれ求
め、更に、該求められた各逆数の平均値をそれぞれ求
め、次いで、該各平均値の逆数をそれぞれ求めるように
構成された演算手段を含んでなるものであることを特徴
とする上記〔13〕に記載の距離演算装置である………
〔18〕
【0044】上記〔18〕の発明では、複数の対象物の
中に無限遠の奥行き距離に該当するようなものが存在し
ていても複数の対象物の平均的な奥行き距離を正確に求
めることができる。
【0045】
【発明の実施の形態】以下に、本発明をその実施の形態
を示す図面に基づいて説明する。図1は、本発明の基本
概念を表したブロック図である。
【0046】立体画像生成装置本体(ゲーム機)1は画
像表示装置としての頭部装着型画像表示装置(Head Mou
nted Doialay: HMDと略記)2とケーブルによって接
続されており、HMD2側から視線方向検知手段による
視線方向信号を受けるように構成されている。立体画像
生成装置本体(ゲーム機)1は、上記視線方向信号に基
づいて注目画像である特定オブジェクトとしてのターゲ
ットオブジェクトを決定し、決定した当該ターゲットオ
ブジェクトについて後述する演算によりその距離Lobj
を算出する。
【0047】次に、本発明の実施の形態における一つの
方式として、このターゲットオブジェクトの距離Lobj
に対応した条件下でレンダリング(仮想3次元空間内に
配された当該オブジェクトについて、これを立体視する
ための2つの各2次元投影面上への投影を行なうに相応
したデータを求めることにより、同オブジェクトを両眼
で立体視できるようにするための処理)を行なうため2
次元投影面の位置や向き等についてのレンダリング条件
の制御を行った上、同レンダリングを実行して立体表示
様のデータを得る。……………………………(A方式)
【0048】また、他の一つの方式として、このターゲ
ットオブジェクトの距離Lobj に対応してレンダリング
条件としては別段の制御を行なうことなくレンダリング
を実行し、レンダリングの結果得られたデータについ
て、後述する画像変換処理を施して立体表示様のデータ
を得る。………………………(B方式)
【0049】上述したA方式またはB方式によって得た
オブジェクトの像を表わすデータについて、それらオブ
ジェクトの背景画像データを添える処理(後に詳述する
「背景貼り込み処理」)を実行した後、この処理によっ
て得たデータをHMD2側に供給する。
【0050】HMD2側では上述のようにして供給され
たオブジェクトとその背景画像のデータに基づいて立体
画像表示部による画像の表示(左右画像の表示素子の表
示面に画像を映出する)を行なう。
【0051】本発明では、このようにして映出されるタ
ーゲットオブジェクトについて既述の視距離と輻輳距離
とが等しくなるように左右両画像の表示位置等について
オフセットが付加されるように構成されている。
【0052】図2は、3次元画像表示装置としてHMD
2を適用してなる本発明の実施の形態としての立体画像
表示装置のシステムを示す図である。
【0053】マイクロコンピュータを主要な要素として
構成され、アプリケーションプログラムを格納したカー
ドメモリ等のプログラム記録媒体3を装填し、このプロ
グラム記録媒体3に格納されたデータを用いて、図3に
ついて後述するように、3次元空間座標が設定された仮
想空間内に立体モデリングされた複数のオブジェクトを
配置し、これらオブジェクトを立体視するための2つの
2次元画像データを生成するための処理を実行するよう
になされた立体画像生成装置本体4(ゲーム機1)とが
HMD2とケーブル5によって接続されており、データ
および電源の授受を行なうように構成されている。
【0054】即ち、ケーブル5を通して、立体画像生成
装置本体4側からHMD2側に、左画像データ,右画像
データ,左音声データ,右音声データ,液晶シャッタ駆
動信号,動作電源等が供給される。
【0055】これら左画像データ,右画像データに基づ
いてHMD2の左および右の液晶表示素子の表示面に各
該当する画像が映出され、左音声データ,右音声データ
に基づいてHMD2の左および右のスピーカ6L,6R
からステレオ音声が発音される。
【0056】液晶シャッタ駆動信号は、HMD2の左お
よび右の液晶シャッタ機能を不透過状態にして液晶表示
素子を画像表示用に機能させる画像表示モードと、液晶
シャッタを透過状態にして前方視野を見通すことができ
るシースルーモードとのいずれかに選択切り換えするた
めの駆動信号である。
【0057】一方、HMD2側から立体画像生成装置本
体4側には、後述する視線方向検知手段からの視線方向
信号やHMD2の装着者の頭部の動き(姿勢)を検出す
るヘッドモーションセンサ7からのヘッドモーション信
号等が供給される。
【0058】また、立体画像生成装置本体4には、ゲー
ムコントローラ8がケーブル9によって接続され、この
ゲームコントローラ8から種々の操作信号が立体画像生
成装置本体4側に供給される。
【0059】図3は、3次元空間座標が設定された仮想
空間内に立体モデリングされた複数のオブジェクトを配
置し、これらオブジェクトを立体視するための2つの2
次元画像データを生成するための処理を概念的に説明す
るための模式図である。
【0060】図において、上記3次元空間座標(図示省
略)が設定された仮想空間(図示の全域)内には、立体
モデリングされた複数のオブジェクトとしての三角錐1
0と球11とが配置されている。当該立体画像生成装置
内のコンピュータを主とする該当機能部によって、3次
元空間座標位置が互いに異なる第1の視点および第2の
視点としての左視点12および右視点13から各所定の
第1の投影面と第2の投影面としての左投影面14およ
び右投影面15に上記オブジェクトをそれぞれ投影する
に相応した投影演算が実行されて該投影による第1の2
次元画像および第2の2次元画像を各表わす第1の2次
元画像データおよび第2の2次元画像データがそれぞれ
生成される。
【0061】3次元CG画像と呼ばれているものは、一
つの視点から見たときの投影図を表示するようにしたも
のであるが、本発明に該当するものは図3について上述
したように2つの視点に各対応した両2次元画像データ
によって表されるものである。
【0062】図4は、立体画像を得るための左画像およ
び右画像について、仮想3次元空間内を表示対象となる
2つのオブジェクト(三角錐と球)がそれらの奥行き方
向の相対移動する場合、左右両画面内での表示位置が移
動する様子を、一般的な立体画像生成法を採った場合に
ついて示す図である。
【0063】図において、(a)部は表示対象となるオ
ブジェクトの一つである三角錐10と他の一つである球
11とが奥行き方向の相対位置が或る一定の位置に在る
場合の左画像および右画像を表している。同図の(b)
部は球11のみが左視点12および右視点13に近づく
よう移動した場合の左画像および右画像を表している。
同図の(c)部は球11のみが左視点12および右視点
13に更に近づくよう移動した場合の左画像および右画
像を表している。
【0064】図4の(a)部乃至(c)部より理解され
る通り、球11のみが左視点12および右視点13に近
づくよう移動するとき、三角錐10の像は左右両画面内
で移動せず、これに対して球11の像は左右両画面の中
間位置に向けて次第に寄ってくるように移動し且つ大き
さも次第に大きくなってゆく。
【0065】図5は、図4について説明した左右画像そ
れぞれを左および右表示素子18,19の画面に映出
し、左および右接眼光学系(レンズ)16,17で拡大
したときに生成される3次元空間像を示す模式図であ
る。図より明らかなとおり、左接眼光学系16および左
表示素子18が左眼球20に対応し、右接眼光学系17
および右表示素子19が右眼球21に対応するように配
置されている。
【0066】三角錐の像に対して球の像は次第に大きく
なって矢線図示のように手前側に飛び出してくるように
見えるが、このとき球の像を見る左右両眼の各視線方向
の直線が交差する角度である輻輳角も球の像の接近と共
に次第に大きくなる。
【0067】換言すれば、左右両眼を横に結ぶ直線から
左右両眼の視線方向の直線が交差する点までの距離であ
る輻輳距離が次第に短くなる。このようなことが起こる
と、左右両眼を結ぶ直線から虚像面までの距離である視
距離は(左右の表示画面とそれらの各接眼光学系との関
係が一定である限り)変化しないにも拘らず輻輳距離だ
けが変化することとなるため、観察者は視距離と輻輳距
離との違いに起因する違和感を感じたり、或いは長時間
の観察においては疲労感を覚えたりすることになってし
まう。
【0068】このような違和感や疲労感を極力抑制する
ために、移動に伴って像が手前側に飛び出してくる飛び
出し量を小さく制限してしまうことも考えられるが、こ
のようにしてしまうと3次元画像としてのインパクトが
減殺されてしまう。
【0069】次に、輻輳距離の変化量の許容値、すなわ
ち視差量の変化の許容値に係る文献のデータを例示す
る。図6は、輻輳と調節(眼の焦点調節の状態如何)と
の対応関係を示す図である。同図には輻輳−調節と視差
量の変化の許容範囲が示されている(文献名「オープラ
ス イー」( 0 Plus E )1985年12月 PP.103 生理光学
15)。この図の横軸は輻輳(輻輳角:MW)で縦軸は調
節(視度)(D:ディオプター)を示す。この図から分
かるように輻輳が4ディオプター内の変化量であれば短
時間提示で輻輳できる。
【0070】図7は、本発明の装置において、3次元画
像表示(立体ディスプレイ)を得るための左画像および
右画像について、表示対象となる2つのオブジェクト
(三角錐と球)がそれらの奥行き方向の相対移動に伴っ
て左右両画面内での表示位置が移動する様子を示す図で
ある。
【0071】図において、(a)部は表示対象となるオ
ブジェクトの一つである三角錐と他の一つのオブジェク
ト(この場合での注目する対象とされるべきオブジェク
ト)である球とが奥行き方向の相対位置が或る一定の位
置に在る場合の左画像および右画像を表している。同図
の(b)部は球のみが左視点および右視点に近づくよう
移動した場合の左画像および右画像を表している。同図
の(c)部は球のみが左視点および右視点に更に近づく
よう移動した場合の左画像および右画像を表している。
【0072】図の(a)部乃至(c)部より理解される
通り、本発明の場合は、球のみが左視点および右視点に
近づくよう移動するとき、三角錐の像の方が左右両画面
内で両画面の中間位置からの間隔が開いてゆくように移
動し、これに対して球の像は左右両画面中でその中心位
置を変えないままで大きさが次第に大きくなってゆくよ
うに変化する。
【0073】図8は、図7について説明した左右画像そ
れぞれを左および右表示素子の画面に映出し、左および
右接眼光学系(レンズ)で拡大したときに生成される3
次元空間像を示す模式図である。この図8において、既
述の図5との対応部には同一の符号を付してある。
【0074】通常、左右両眼用の各表示素子を備えた立
体画像表示装置では、両眼に係る視差の無い像(オブジ
ェクトの像)については、奥行き距離が無限大に見える
ことになるが、この実施の形態では、表示装置に視差の
無い像を表わす画像データが供給されたときに、同装置
の左右両眼用の各表示素子の画面に映出される画像の虚
像の位置が、左右両眼を横に結ぶ直線から左右両眼の視
線方向の直線が交差する点までの距離(輻輳距離)だけ
離隔した位置に等しくなるように、両表示素子(両表示
面)とこれに対応する両接眼光学系との位置関係が、前
者の中心間の間隔が後者の中心間の間隔より左右とも相
互に接近する方向に位置がずらされて(位置に関するオ
フセットが付加されて)配置されている。(後述の図1
3,14,15を参考)
【0075】図7の(a)部から(c)部へと状態が推
移すると、球の像が次第に大きくなり、かつ三角錐の像
は図8に矢線図示のように球の像に対して相対的に奥行
き方向に遠ざかるので結果として観察者には球が手前側
に飛び出してくるように見える。しかしながら、球に対
する輻輳角は変化しない。
【0076】換言すれば、左右両眼を横に結ぶ直線から
左右両眼の視線方向の直線が交差する点までの距離であ
る輻輳距離は球の飛び出しに対応して変化するというこ
とがない。
【0077】従って、この場合での注目すべきオブジェ
クトである球については、左右両眼を結ぶ直線から虚像
面までの距離である視距離と上述の輻輳距離とが一致し
たまま変化せず、観察者は視距離と輻輳距離との違いに
起因する違和感や疲労感が大幅に軽減される。
【0078】また、このような違和感や疲労感を極力抑
制するために、移動に伴って像が手前側に飛び出してく
る飛び出し量を小さく制限することを要しないため、3
次元画像としてのインパクトが減殺されてしまう虞れも
ない。
【0079】図9は、本発明の実施の形態としての装置
において、HMDに設けられた後述する視線方向検知手
段により視線方向を検出し、この視線方向の情報によっ
て注目画像である特定オブジェクトとしてのターゲット
オブジェクトを決定する過程を説明するための模式図で
ある。
【0080】図9の(A)部は、HMDに設けられた視
線方向検知手段により視線方向を検出し、この視線方向
の情報から規格化された視線方向角のデータを得る過程
について説明するための、HMD光学系によりオブジェ
クトの虚像を観察する状況を示す模式図である。
【0081】本例でのHMD2(図2参照)は、左右両
眼に対応して各接眼光学系(レンズ)16,17が配さ
れ、これら左眼用レンズ16および右眼用レンズ17に
よって、各対応する左眼用表示素子および右眼用表示素
子としての各LCD18,19に映出された画像の虚像
が観察されるようになされている。別途説明のように、
本例の装置では、視線軸は観察者の両眼のうち左眼につ
いて検出されるように構成されている。
【0082】左眼用レンズ16の主点から左表示素子と
してのLCD18の左右端を見込む画角の1/2の角
度、即ち左眼用レンズ16の主点を頂角としてLCD1
8の右端に向けて引いた直線Lr と同LCD18の表示
面の中心に向けて引いた直線である左光学視軸La との
開き角度(半画角)がθ、同左光学視軸La と左視線軸
Ls との開き角度がψであるとき、規格化された視線方
向角ψ/θがHMD2側における該当する演算手段によ
って求められ、このψ/θのデータが接続ケーブル5
(図2参照)を通して画像表示装置本体4(図2参照)
に供給されるように構成される。
【0083】尚、以上は説明を簡単にするためにx方向
(本紙面の面内方向)の視線方向角についてのみ言及し
たが、y方向(本紙面に直交する面内の方向)の視線方
向角についても上記と全く同様に規格化された視線方向
角が算出され、このデータが画像表示装置本体4に供給
されるように構成される。以下においても、説明を簡単
にする便宜上、x方向(本紙面の面内方向)の視線方向
角に係る状況についてのみ詳述するが、y方向(本紙面
に直交する面内の方向)の視線方向角についても上記と
全く同様にして説明され得るものであり、それについて
の説明は省略する。
【0084】上述のように規格化された視線方向角のデ
ータを用いるのは、仮想空間内に設定される一方の視点
(左視点)12からの視野の半画角Θは必ずしもHMD
2側のθとはその絶対値が等しいとは限らないため、そ
の半画角Θの絶対値の如何に拠らず上述のHMD2側の
規格化された視線方向角ψ/θの値に対して仮想空間内
での上記半画角Θを乗ずることで、ターゲットオブジェ
クトの方向、従ってターゲットオブジェクト自体を決定
することができるようにするためである。
【0085】図9の(B)部は、3次元空間座標(図示
省略)が設定された仮想空間内に立体モデリングされた
複数のオブジェクトとしての三角錐と球とが配置されて
おり、図9の(A)部について説明したHMD2側の規
格化された視線方向角ψ/θのデータに基づいてターゲ
ットオブジェクトを識別する過程を説明するための模式
図である。
【0086】上記仮想空間での左および右視点12,1
3のうち、左視点12から左投影面14を見込む画角
(左視点からの視野角)の1/2の角度、即ち左視点1
2を頂角として左投影面14の中心に向けて引いた直線
と左投影面14の右端に向けて引いた直線との開き角度
(半画角)がΘである。
【0087】このとき、HMD2側から上述の規格化さ
れた視線方向角ψ/θのデータが接続ケーブルを通して
立体画像生成装置本体4に供給され、この規格化された
視線方向角ψ/θに上記半画角Θを乗ずることで、ター
ゲットオブジェクトの方向角Ψ(左視点12を頂角とし
て左投影面14の中心に向けて引いた直線とターゲット
オブジェクトの方向に向けて引いた直線との開き角度)
が得られる。
【0088】このターゲットオブジェクトの方向角Ψが
判ると、立体画像生成装置本体4では自己の保有する各
オブジェクトを表わすデータのうち何れのものがこの方
向角Ψに該当するものかを認識できることとなる。即
ち、ターゲットオブジェクトを決定することができる。
【0089】本例では、ターゲットオブジェクトは球で
あって、この球の左視点12から見た奥行き方向の位置
(距離)がターゲットオブジェクトの距離Lobj であ
る。以上が本発明の実施形態の全体の共通構成について
の説明である。
【0090】以下、本発明の第1の実施の形態について
説明する。図10は、本発明の実施の形態としての装置
において、特定の注目オブジェクトに対する視差が一定
となるような投影演算を行って左右の各2次元画像デー
タをそれぞれ生成する原理を示す模式図であり、前述の
図1のA方式の例である。
【0091】即ち、仮想空間(図示の全域)内に、立体
モデリングされた複数のオブジェクトとしての三角錐1
0と球11とが配置されている場合において、特定の注
目オブジェクトであるターゲットオブジェクトを球11
とし、第1の視点および第2の視点としての左視点12
および右視点13から各対応する第1の投影面と第2の
投影面としての左投影面14および右投影面15に上記
三角錐10と球11のオブジェクトをそれぞれ投影する
に相応した投影演算を実行するが、このとき、ターゲッ
トオブジェクトである球については、該投影演算による
第1の2次元画像および第2の2次元画像に係る視差
が、球のオブジェクトの奥行き方向の距離に拠らず一定
となるようにされた第1の2次元画像データおよび第2
の2次元画像データたる左右の像のデータがそれぞれ生
成される。
【0092】このような左右の像のデータを生成するた
めに、図示のように、左視点12および右視点13と各
対応する左投影面14および右投影面15のそれぞれの
中心点を通る直線である左および右の視軸(この場合、
両視軸は各対応する左投影面14および右投影面15に
それぞれ垂直である)の交点である視軸交点Pisが、左
視点12および右視点13を結ぶ線分の中点で同線分に
立てた垂線上に位置するように、且つ、左視点12およ
び右視点13を結ぶ直線から球のオブジェクト(より厳
密には、そのうちの注目点であって、この図では球の中
心のように想定されている)までの距離であるオブジェ
クト距離Lobj だけ離隔した位置(図示の直線Ld 上)
にあるといった状態が維持されるように、左投影面14
および右投影面15が各対応する左視点12および右視
点13との距離を一定に保持しつつこれら両視点の回り
に旋回させたに相応する演算が実行される。
【0093】また、上述の状態において、左視点12お
よび右視点13を結ぶ直線から視軸交点Pisまでの距離
である視軸交点の距離Pisd が、常に、上記のオブジェ
クト距離Lobj に等しい。
【0094】以上の条件下で、図示のように左投影面1
4における右端から球の投影点までの距離aは、右投影
面15における右端から球の投影点までの距離a′に、
常に等しくなる。即ち、ターゲットオブジェクト(球乃
至そのうちの注目点)に係る投影演算による第1の2次
元画像(左画像)および第2の2次元画像(右画像)に
係る視差が、球のオブジェクトの奥行き方向の距離に拠
らず0となる。
【0095】図11は、図10を用いて説明したような
投影演算を実行して左右の像のデータをそれぞれ生成す
るまでの情報処理過程を説明するフローチャートであ
る。
【0096】この情報処理過程がスタートすると、先
ず、仮想空間内に、立体モデリングされた複数のオブジ
ェクト(三角錐と球)が配置されている場合を想定した
プログラムがロードされ(ステップS1)、次いで、こ
のプログラムが実行される(ステップS2)。
【0097】当該情報処理機能部に対して、本例の立体
画像表示システムに適用される画像表示装置(HMD)
から、図9について既述の、規格化された視線方向角ψ
/θのデータが供給され、このデータに依拠して視線方
向変換処理が実行され、ターゲットオブジェクトの方向
角Ψが算出され(ステップS3)、次いで、この方向角
Ψに基づいて特定の注目オブジェクトであるターゲット
オブジェクト(球)が決定される(ステップS4)。
【0098】このようにしてターゲットオブジェクトが
決定されると、このターゲットオブジェクトから視点ま
での距離(左右の視点を結ぶ直線までの距離)Lobj
が、ステップS1でロードされている複数の各オブジェ
クトを表わすデータの中から該当するデータを検索して
演算する如くして求められる(ステップS5)。
【0099】次に、ターゲットオブジェクトの状態に適
合するようにして、図10を用いて説明したような条件
を満たすものとして左右の投影面が決定される(ステッ
プS6)。
【0100】このようにして左右の投影面が決定される
と、この投影面に対して左右の画像の投影演算(レンダ
リング)が実行される(ステップS7)。投影演算の結
果得られたデータ(信号)が出力されて、上記画像表示
装置(HMD)に供給される(ステップS8)。
【0101】上述のステップS8の後、再度ステップS
3の処理に戻り、その時点での規格化された視線方向角
ψ/θのデータに対応してステップS3〜ステップS8
の処理が繰り返し実行される。
【0102】図12は、図9を用いて説明したような本
例の立体画像表示システムに適用される画像表示装置
(HMD)に備えられ、既述の規格化された視線方向角
ψ/θのデータを得るように構成された視線方向検出手
段22の構成例を示す模式図である。
【0103】本実施の形態では、視線方向検出手段は観
察者の左眼(左眼球20)に対応して設けられている。
図12の左表示素子としてのLCD18は供給された左
眼用画像を映出するためのものである。左眼用接眼光学
系16Lは自己の底部内面の凹面ミラー16Laと内部
中央に略々対角線状に設けられたハーフミラー16Lb
とを有するプリズムで成る。
【0104】視線方向検出手段22の光源23は赤外線
を投射する各赤外線投射用LEDを含んで成り、この光
源23からの投射光は上記プリズム(左眼用接眼光学
系)16Lのハーフミラー16Lbで反射されて左眼2
0に平行に投射され、その角膜24からの反射光がハー
フミラー16Lbを透過してレンズ25を通して光電変
換素子26の光電変換面26Sに入射する。
【0105】光電変換面26Sへの入射光の位置に応じ
た信号の値が視線方向角ψ、即ち、図9について上述の
視線軸Ls と左光軸La との開き角度(半画角)に対応
するものとなるように構成されている。このψのデータ
は次段の規格化演算器27で処理されて、図9について
上述の半画角をθとしたときの規格化された視線方向角
ψ/θが算出され、このψ/θのデータが接続ケーブル
を通して立体画像生成装置本体4(図2)に供給される
ように構成される。
【0106】図13は、本発明の実施の形態としてのシ
ステムに適用される頭部装着型画像表示装置(HMD)
の光学系の構成例を示す模式図である。図13におい
て、既述の図8との対応部には同一の符号を付してあ
る。
【0107】本実施の形態では、両接眼光学系(接眼レ
ンズ)16,17の主点を通る光軸と表示素子の表示面
の中心点との相対位置を特定の関係に置くようにしたも
のである。即ち、左右両眼20,21に各対応する両表
示素子18,19の表示面の夫々の中心点位置が各対応
する接眼光学系(接眼レンズ)16,17の主点を通る
光軸位置よりも内側に(双方が接近する方向に)等量だ
けずらされて位置する(図示のように位置的オフセット
S0 が加えられた)ように構成され、且つ、このオフセ
ット量は上記各接眼光学系(接眼レンズ)16,17の
主点とこれに各対応する両表示素子18,19の表示面
の中心を通る両光学視軸の交点が該両光学系による虚像
面内の位置となるように選択されている。
【0108】このように構成された画像表示装置(HM
D)に、上記両表示面に表示されるべき画像を表わすデ
ータとして当該立体画像生成装置本体の視差制御手段に
より、ターゲットオブジェクトについての左右の2次元
画像に係る視差が0となるように制御された画像データ
が供給された場合、このターゲットオブジェクトについ
て左右両眼を結ぶ直線から虚像面Vp までの距離である
視距離と輻輳距離とが一致したまま変化せず、観察者は
視距離と輻輳距離との違いに起因する違和感や疲労感が
大幅に軽減される。
【0109】図14は、本発明の実施の形態としてのシ
ステムに適用される画像表示装置(HMD)の光学系の
他の構成例を示す模式図である。図14においても、既
述の図8との対応部には同一の符号を付してある。
【0110】既述の図13のものでは両表示素子の表示
面の夫々の中心点位置について位置的オフセットS0 が
加えられた構成を採ったのに対し、この図14のもので
は両表示素子18,19の表示面の各裏面側が相互に向
き合う方向に等量だけ適宜に傾けて、各接眼光学系(接
眼レンズ)16,17の主点とこれに各対応する表示面
の中心を通る両光学視軸の交点が該両光学系による虚像
面Vp 内の位置となるように選択されている。
【0111】このように構成された画像表示装置(HM
D)に、上記両表示面に表示されるべき画像を表わすデ
ータとして当該立体画像生成装置本体の視差制御手段に
より、ターゲットオブジェクトについての左右の2次元
画像に係る視差が0となるように制御された画像データ
が供給された場合、このターゲットオブジェクトについ
て左右両眼を結ぶ直線から虚像面Vp までの距離である
視距離と輻輳距離とが一致したまま変化せず、図13の
形態と同様の作用効果が得られる。
【0112】図15は、本発明の他の実施の形態として
のシステムに適用される画像表示装置(HMD)の光学
系と画像の表示との関係を示す模式図である。
【0113】既述の図13のものでは両表示素子の表示
面の夫々の中心点位置について位置的オフセットS0 が
加えられた構成を採ったのに対し、この図15のもので
は光学系自体にはこのうようなオフセットが付加されて
いない。
【0114】即ち、この実施の形態では、左右両表示素
子18,19の表示面の中心点が両接眼光学系(接眼レ
ンズ)16,17の主点を通る光軸上に位置するように
構成され、且つ、このような左右両表示素子18,19
によって映出されるべき画像信号として、その画像信号
による画像の中心位置について、図13で説明したオフ
セットS0 と同様の位置的オフセットが生じるよう予め
所定量だけ電気的にシフティングしている。
【0115】この図15の実施の形態でも、結果的にタ
ーゲットオブジェクトについての左右の2次元画像に係
る視差が0となるように制御された画像データが供給さ
れた場合、このターゲットオブジェクトについて左右両
眼を結ぶ直線から虚像面Vpまでの距離である視距離と
輻輳距離とが一致したまま変化せず、図13の形態と同
様の作用効果が得られる。
【0116】図16は、立体画像生成装置が生成する仮
想3次元空間内を2つのオブジェクト(三角錐とターゲ
ットオブジェクトである球)がそれらの左右の視点位置
を基準にして表したときの奥行き方向の相対移動の様子
を示す模式図である。
【0117】図17は、図16について説明した表示対
象となる2つのオブジェクトに対し投影演算を行った後
の左画像および右画像について、それらオブジェクトの
奥行き方向の相対移動に伴って左右両画面内での表示位
置が移動する様子を示す図である。
【0118】図において(ア)部は、上記2つのオブジ
ェクト(三角錐と球)について、図16について説明し
たようにそれらが奥行き方向に相対移動したとき左右画
面内での表示位置が移動する様子を一般的な立体画像生
成装置を用いた場合について示す図であり、(イ)部
は、上記オブジェクトの同様の相対移動に伴なう左右両
画面内での表示位置の移動を、本発明の実施の形態の立
体画像生成装置を用いた場合について示す図である。
【0119】図の(ア)部について、その(a)部は表
示対象となるオブジェクトの一つである三角錐とターゲ
ットオブジェクトである球とが奥行き方向の相対位置が
或る一定の位置に在る場合の左画像および右画像を表し
ている。
【0120】同図(ア)の(b)部は球の方が相対的に
手前側に、且つ、三角錐方が相対的に奥側に移動した場
合の左画像および右画像を表している。同図(ア)の
(c)部は球の方が相対的に更に手前側に、且つ、三角
錐方が相対的に更に奥側に移動した場合の左画像および
右画像を表している。
【0121】図の(ア)の(a)部乃至(c)部より理
解される通り、球の方が三角錐に対して相対的に手前側
に移動するとき、三角錐の像は左右両画面内で各画面の
中央位置に向けて次第に相対的に離れるように移動し、
これに対して球の像は左右両画面の中間位置に向けて次
第に寄ってくるように移動し且つ大きさも次第に大きく
なってゆく。
【0122】即ち、ターゲットオブジェクトとして想定
された球についても、その奥行き方向の移動に伴って左
右の画像の視差が変化している。これは、ターゲットオ
ブジェクトの奥行き方向の移動に伴って、観察者の両眼
を結ぶ直線の位置から左右両画像を観察する光学系によ
る虚像面までの位置である視距離と輻輳距離との乖離が
大きくなってしまうことを意味している。
【0123】一方、図の(イ)部についても(ア)部に
おけると同様に、(a)部は表示対象となるオブジェク
トの一つである三角錐と他の一つである球とが奥行き方
向の相対位置が或る一定の位置に在る場合の左画像およ
び右画像を表している。
【0124】同図(イ)の(b)部は球の方が相対的に
手前側に、且つ、三角錐方が相対的に奥側に移動した場
合の左画像および右画像を表している。同図(イ)の
(c)部は球の方が相対的に更に手前側に、且つ、三角
錐方が相対的に更に奥側に移動した場合の左画像および
右画像を表している。
【0125】図の(イ)の(a)部乃至(c)部より理
解される通り、球の方が三角錐に対して相対的に手前側
に移動するとき、三角錐の像は左右両画面内で次第に相
対的に離れるように移動し、これに対して球の像は左右
両画面とも略々その中央位置から大きく移動することが
ないまま大きさだけが次第に大きくなってゆく。
【0126】即ち、ターゲットオブジェクトとして想定
された球については、その奥行き方向の移動に伴って左
右の画像の視差が変化しない。これは、ターゲットオブ
ジェクトの奥行き方向の移動に伴って、観察者の両眼を
結ぶ直線の位置から左右両画像を観察する光学系による
虚像面までの位置である視距離と輻輳距離との乖離が極
小に抑制され得ることを意味している。
【0127】従って、表示面と光学系との位置関係を図
13或いは図14について説明したように構成すること
により、ターゲットオブジェクトの奥行き方向の移動に
拠らず、視距離と輻輳距離が略々等しい状態を維持でき
ることになる。
【0128】左右の表示面内でのターゲットオブジェク
トの位置が画面の略々中央にあって移動しなければ左右
両画像の視差は常に0であるため、両画像をそのまま観
察したのでは、ターゲットオブジェクトである球につい
ては輻輳距離が常に無限遠である場合と同じ状態となっ
てしまう。これに対し、本実施の形態では、表示面と光
学系との位置関係を図13或いは図14或いは図5につ
いて説明したように構成することにより、ターゲットオ
ブジェクトは奥行き位置が有限の適宜の距離にあるよう
に観察され得ることになる。
【0129】図18は、立体画像生成装置が生成する仮
想3次元空間内を2つのオブジェクト(三角錐とターゲ
ットオブジェクトである球)がそれらの左右の視点位置
を基準にして表したときの奥行き方向の相対移動の様子
を示す模式図である。
【0130】この図の場合、ターゲットオブジェクトで
ある球は左視点に対応する位置より更に左側の奥手位置
から斜め右手前に向かって右視点に対応する位置のとこ
ろまで移動するように想定されている。
【0131】図19は、図18について説明した表示対
象となる2つのオブジェクトに対し投影演算を行った後
の左画像および右画像について、ターゲットオブジェク
トの既述のような移動に伴って左右両画面内での表示位
置が移動する様子を示す図である。
【0132】図19において(ア)部は、上記2つのオ
ブジェクト(三角錐と球)について、ターゲットオブジ
ェクトである球が図18について説明したように移動す
るに伴って左右画面内での表示位置が移動する様子を一
般的な立体画像生成装置を適用した場合について示す図
であり、(イ)部は、上記オブジェクトの同様の移動に
伴なう左右両画面内での表示位置の移動を、本発明の実
施の形態の立体画像生成装置を適用した場合について示
す図である。
【0133】図19の(ア)部について、(a)部は表
示対象となるオブジェクトの一つである三角錐とターゲ
ットオブジェクトである球とが奥行き方向の相対位置が
略々等しい或る一定の位置(移動前の位置)に在る場合
の左画像および右画像を表している。
【0134】同図(ア)の(b)部は球の方が斜め右手
前側に移動し、且つ、三角錐は元の位置から移動しない
場合の左画像および右画像を表している。同図(ア)の
(c)部は球の方が相対的に更に斜め右手前側に移動
し、且つ、三角錐は元の位置から移動しない場合の左画
像および右画像を表している。
【0135】図の(ア)の(a)部乃至(c)部より理
解される通り、球の方が三角錐に対して相対的に斜め右
手前側に移動するとき、三角錐の像は左右両画面内で元
の位置を維持し、これに対して球の像は左右両画面でい
ずれも次第に右側に移動し且つ大きさも次第に大きくな
ってゆく。そして左画面内における球の像の位置と右画
面内における球の像の位置とのずれは大きくなってい
く。
【0136】即ち、図17について説明したと同様、タ
ーゲットオブジェクトとして想定された球について、そ
の奥行き方向の移動に伴って左右の画像の視差が変化し
ている。これは、ターゲットオブジェクトの奥行き方向
の移動に伴って、観察者の両眼を結ぶ直線の位置から左
右両画像を観察する光学系による虚像面までの位置であ
る視距離と輻輳距離との乖離が大きくなってしまうこと
を意味している。
【0137】一方、図の(イ)部についても(ア)部に
おけると同様に、(a)部は表示対象となるオブジェク
トの一つである三角錐とターゲットオブジェクトである
球とが奥行き方向の相対位置が略々等しい或る一定の位
置(移動前の位置)に在る場合の左画像および右画像を
表している。
【0138】同図(ア)の(b)部は球の方が斜め右手
前側に移動し、且つ、三角錐は元の位置から移動しない
場合の左画像および右画像を表している。同図(ア)の
(c)部は球の方が相対的に更に斜め右手前側に移動
し、且つ、三角錐は元の位置から移動しない場合の左画
像および右画像を表している。
【0139】図の(イ)の(a)部乃至(c)部より理
解される通り、球の方が三角錐に対して相対的に右斜め
手前側に移動するとき、左画面内における三角錐の像は
次第に左手に移動し、右画面内における三角錐の像は次
第に右手に移動する。これに対して球の像は左右両画面
間で各画面の中央位置と球の中心位置とのずれ量を略々
等しく保ちつつ、右側に移動してゆき、且つ、大きさが
次第に大きくなってゆく。
【0140】即ち、ターゲットオブジェクトとして想定
された球については、その奥行き方向の移動に伴って左
右の画像の視差が変化しない。これは、ターゲットオブ
ジェクトの奥行き方向の移動に伴って、観察者の両眼を
結ぶ直線の位置から左右両画像を観察する光学系による
虚像面までの位置である視距離と輻輳距離との乖離が極
小に抑制され得ることを意味している。
【0141】従って、この場合も、表示面と光学系との
位置関係を図13或いは図14或いは図15について説
明したように構成することにより、ターゲットオブジェ
クトの奥行き方向の移動に拠らず、視距離と輻輳距離が
略々等しい状態を維持できることになる。
【0142】左表示面内でのターゲットオブジェクトの
位置と右の表示面内でのターゲットオブジェクトの位置
とが常に等しければ、左右両画像の視差は常に0である
ため、両画像をそのまま観察したのでは、ターゲットオ
ブジェクトである球については輻輳距離が常に無限遠で
ある場合と同じ状態となってしまう。これに対し、本実
施の形態では、表示面と光学系との位置関係を図13或
いは図14或いは図15について説明したように構成す
ることにより、ターゲットオブジェクトは奥行き位置が
有限の適宜の距離にあるように観察され得ることにな
る。
【0143】図20は、一般的な表示装置を適用して、
図19の(ア)部について説明した左右画像それぞれを
左および右表示素子18,19の画面に映出し、左およ
び右接眼光学系(レンズ)16,17で拡大したときに
生成される3次元空間像を示す模式図である。
【0144】図19の(ア)部の(a)部から(c)部
へと状態が推移すると、球の像は矢線図示のように次第
に大きくなって右斜め手前側に飛び出してくるように見
え、一方、三角錐の像は大きさ位置共変化しない。
【0145】図21は、本発明の表示装置を適用して、
図19の(イ)部について説明した左右画像それぞれを
左および右表示素子18,19の画面に映出し、左およ
び右接眼光学系(レンズ)16,17で拡大したときに
生成される3次元空間像を示す模式図である。
【0146】図19の(イ)部の(a)部から(c)部
へと状態が推移すると、球の像は矢線図示のように次第
に大きくなって右側に移動し、同時に、三角錐の像は大
きさは変わらないまま奥行き方向に次第に遠のくため、
双方の像を同時に観察する者にとっては、結果的に球の
像は次第に大きくなって右斜め手前側に飛び出してくる
ように知覚される。
【0147】この図21の場合は、図13について説明
した、左右両眼に各対応する両表示素子の表示面の夫々
の中心点位置が各対応する接眼光学系(接眼レンズ)の
主点を通る光軸位置よりも内側に(双方が接近する方向
に)等量だけずらされて位置した構成の(位置的オフセ
ットS0 が加えられた)表示装置を適用している。ここ
に、上記オフセットの量は上記各接眼光学系(接眼レン
ズ)の主点とこれに各対応する表示面の中心を通る両光
学視軸の交点が該両光学系による虚像面内の位置となる
ように選択されている。
【0148】本発明では、左右両眼を横に結ぶ直線から
左右両眼の視線方向の直線が交差する点までの距離であ
る輻輳距離は球の飛び出しに対応して変化するというこ
とがない。従って、この場合での注目すべきオブジェク
トである球については、左右両眼を結ぶ直線から虚像面
までの距離である視距離と輻輳距離とが一致したまま変
化せず、観察者は視距離と輻輳距離との違いに起因する
違和感や疲労感が大幅に軽減される。
【0149】また、このような違和感や疲労感を極力抑
制するために、移動に伴って像が手前側に飛び出してく
る飛び出し量を小さく制限することを要しないため、3
次元画像としてのインパクトが減殺されてしまう虞れも
ない。
【0150】次に、本発明の第2の実施形態について説
明する。図22は、ターゲットオブジェクトに関する左
右両画像間の視差が0となるような画像(データ)を生
成する第2の実施形態の原理を示す概念図である。第1
の実施形態と同様にA方式(レンダリング制御+レンダ
リング)の例であるが、第1の実施形態とはレンダリン
グ制御方法が異なる。
【0151】この場合のターゲットオブジェクトである
球の像は、左投影面14上では、その中心が同左投影面
14の左端から距離bの点に位置するように投影され
る。一方、右投影面15上でも、その中心が同右投影面
15の左端から上述の距離bに等しい距離b′の点に位
置するように投影されるよう、左右の投影面14,15
を投影面内方向にシフトする。
【0152】換言すれば、左および右の投影面の位置を
定めるについて距離b=距離b′となるように両投影面
14,15の面内方向の相対位置がシフトされる。
【0153】このような左右の像のデータを生成するた
めに、図示のように、左視点12および右視点13と各
対応する左投影面14および右投影面15のそれぞれの
中心点を通る直線である左および右の視軸の交点である
視軸交点Pisが、左視点12および右視点13を結ぶ線
分の中点で同線分に立てた垂線上に位置するように、且
つ、左視点12および右視点13を結ぶ直線から球のオ
ブジェクト(より厳密には、そのうちの注目点であっ
て、この図では球の中心のように想定されている)まで
の距離であるオブジェクト距離Lobj だけ離隔した位置
(破線図示の直線Ld 上)にあるといった状態が維持さ
れるように、左投影面14および右投影面15が各対応
する左視点12および右視点13との距離を一定に保持
しつつこれら両投影面の面内方向にシフトしたに相応す
る演算が実行される。
【0154】また、上述の状態において、左視点12お
よび右視点13を結ぶ直線から前述の視軸交点Pisまで
の距離である視軸交点の距離Pisd が、常に、上記のオ
ブジェクト距離Lobj に等しい。
【0155】以上の条件下で、ターゲットオブジェクト
(球乃至そのうちの注目点)に係る投影演算による第1
の2次元画像(左画像)および第2の2次元画像(右画
像)に係る視差が、球のオブジェクトの奥行き方向の距
離に拠らず一定となる。即ち、図示のように、常に、距
離b=距離b′となる。
【0156】上記において、左投影面14上で、左視点
12を通る左投影面14の垂線が同左投影面14と交差
する点と、左視点と上記視軸交点Pisとを結ぶ直線が左
投影面14と交差する点との距離をS、上記左視点12
および右視点13を結ぶ線分の中点からいずれかの視点
つでの距離をD(両視点間の半距離)、いずれかの視点
(例えば左視点12)から対応する投影面(左投影面1
4)を見込む角の半分の角度(半画角)をΘとすると、
上記Sは、次のように投影面の大きさに対する割合によ
る無次元の量として扱うことができる:
【数1】 また、上記Sを当該表示面における画素数で表すと、上
記(1)式の右辺第2項の分子1には同表示面の水平方
向の画素数Ph の1/2であるPh-halfが対応するため
次のように表される:
【数2】 結果として得られる左右画像は第1実施例と同様であ
り、同一の効果を有する。
【0157】以下、本発明の第3の実施形態を説明す
る。第3の実施形態は前述の図1のB3式に対応してい
る。結果として得られる左右画像は第1の実施形態と同
様であり、図23は、本発明の装置において、立体画像
を得るための左画像および右画像について、表示対象と
なる2つのオブジェクト(三角錐と球)のうちターゲッ
トオブジェクトに関する視差を両画面内での表示状態を
変化させることによって最適化する様子を示す図であ
る。
【0158】図において、(a)部は表示対象となるオ
ブジェクトの一つである三角錐と他の一つのオブジェク
ト(この場合での注目する対象とされるべきオブジェク
ト)である球についてレンダリングによる画像を別段の
手段を講じることなく映出した段階での左画像および右
画像を表している。
【0159】同図の(b)部は各画面の左右にそれぞれ
黒枠を映出させた状態での左画像および右画像を表して
いる。ここで、黒枠を映出させているのは、後述の
(C)で画像をシフトしたときに、表示画像の面積が変
化してしまうのを防ぐ為である。
【0160】同図の(c)部はターゲットオブジェクト
である球に関する左右両画像間の視差が0となるように
黒枠も含めた画像全体の幅を図示のようにSだけシフト
した場合の左画像および右画像を表している。
【0161】図24は、本発明の実施の形態としての装
置において、特定の注目オブジェクトに対する視差が一
定となるように画像のシフトを行なう場合の条件式を導
出する原理を示す模式図である。
【0162】図中、Dは左視点12および右視点13か
ら、各それらを結ぶ線分の中点Oまでの距離(即ち、両
視点12および13間の距離の1/2の距離)、Θは各
視点(左視点12,右視点13)から夫々対応する投影
面(左投影面14,右投影面15)を見込む角の半分の
角度(半画角)、X1 はターゲットオブジェクトの像の
左投影面14上での投影位置の中心を同左投影面14の
中央位置を基準に表したもの、X2 はターゲットオブジ
ェクトの像の右投影面15上での投影位置の中心を同右
投影面15の中央位置を基準に表したもの、Lobj は左
視点12および右視点14を結ぶ直線から当該ターゲッ
トオブジェクト(より厳密には、そのうちの注目点であ
って、例えば球の中心のように想定される)までの距離
であるオブジェクト距離である。また、−Hは上記中点
Oで両視点を結ぶ線分に立てた垂線の位置を基準にした
ときの上記ターゲットオブジェクト(の中心)の位置
(距離)である。
【0163】図25は、図24について説明した左右の
投影面の画像に対応する左右の表示面である各LCD表
示面上で見た左右画像の視差|X1 −X2 |を表わす図
である。この図の表現では、各LCD表示面の水平方向
の長さを2として規格化した表現となっている。原理を
示す模式図である。以上、図24および図25を用いて
説明した各部の値に基づいて、上記左右画像の視差|X
1 −X2 |を表わすと次の(2)式のようになる:
【数3】
【0164】上記(2)式は、ターゲットオブジェクト
(の中心)の位置(既述の図25では、左視点12およ
び右視点13を結ぶ線分の中点Oで同線分に立てた垂線
の位置を基準にしたときの上記ターゲットオブジェクト
の中心の位置−H)に関わらず、上記Lobj が求まれば
視差|X1 −X2 |が算出されること、即ち、視差を最
適な状態にするための各部の値が割り出せることを意味
している。そして、ここで求めた視差|X1 −X2 |が
常に0となる為の既述の図15或いは図23における画
像乃至黒枠の所要シフト量S0 求める。図22について
説明したように当該表示面における画素数で表すと、上
述した(1)式の右辺第2項の分子1には同表示面の水
平方向の画素数Ph の1/2であるPh-halfが対応する
ため、眼幅の1/2(半眼幅)をd,両眼から光学系に
よる虚像面までの視距離をLBaseとするとき、次のよう
に表される:
【数4】
【0165】図26は、図24を用いて説明したような
投影演算を実行して左右の像のデータをそれぞれ生成す
るまでの情報処理過程を説明するフローチャートであ
る。
【0166】この情報処理過程がスタートすると、先
ず、仮想空間内に、立体モデリングされた複数のオブジ
ェクト(三角錐と球)が配置されている場合を想定した
プログラムがロードされ(ステップS1)、次いで、こ
のプログラムが実行される(ステップS2)。
【0167】この実施の形態では、プログラムの実行後
直ちに、上記複数のオブジェクト(三角錐と球)につい
て左右画像のレンダリングを実行する(ステップS
3)。
【0168】次いでレンダリングの結果としての画像デ
ータを記憶する(ステップS4)。当該情報処理機能部
に対して、本例の立体画像表示システムに適用される画
像表示装置(HMD)から、図9について既述の、規格
化された視線方向角ψ/θのデータが供給され、このデ
ータに依拠して視線方向変換処理が実行され、ターゲッ
トオブジェクトの方向角Θが算出され(ステップS
5)、次いで、この方向角Θに対して前回のシフト分相
応の視線方向の補正が行われる。
【0169】これは、前回観察者の見たオブジェクトに
ついては既にシフトが加えられているため、このシフト
相応分の影響を除去して、シフトの影響を被っていない
視線方向を割り出す必要があるためである。このように
して補正された視線方向に基づいて特定の注目オブジェ
クトであるターゲットオブジェクト(この場合は球)が
決定される(ステップS7)。
【0170】このようにしてターゲットオブジェクトが
決定されると、このターゲットオブジェクトから視点ま
での距離(左右の視点を結ぶ直線までの距離)Lobj
が、ステップS1でロードされている複数の各オブジェ
クトを表わすデータの中から該当するデータを検索して
演算する如くして求められる(ステップS9)。
【0171】次に、ターゲットオブジェクトの状態に適
合するようにして、図25を用いて説明したような条件
を満たすように左右の画像データおよび黒枠のシフト量
が演算により割り出される(ステップS10)。演算の
結果得られたデータ(シフト量)に応じて、上記画像表
示装置(HMD)に供給されるデータが制御され、画像
データも黒枠もシフトされる(ステップS11)。
【0172】これ以降、ステップS3の処理に戻り、そ
の時点での規格化された視線方向角ψ/θのデータに対
応してステップS3〜ステップS11の処理が繰り返し
実行される。
【0173】次に、本発明の第4の実施形態を説明す
る。この第4の実施形態も前述の図1のB方式に対応し
ているが、第3の実施形態とは画像変換方法が異なる。
図27は、本発明の装置において、立体画像を得るため
の左画像および右画像について、表示対象となる2つの
オブジェクト(三角錐と球)のうちターゲットオブジェ
クトに関する視差を両画面内での表示状態を変化させる
ことによって最適化する様子を示す図である。
【0174】この図27の実施の形態は図23について
説明した形態の変形例ともいうべきものであり、現実に
ターゲットオブジェクトの画面内での表示位置をシフト
させるに替えて、元となる水平方向の寸法の大きい画面
内でのターゲットオブジェクトの位置は変化させないま
ま、該元となる大きい画面からターゲットオブジェクト
を含んで部分的に切り出すようにして抽出してくる画面
の切り出し位置を変化させることにより、実効的にター
ゲットオブジェクトの表示位置をシフトさせる効果を得
るようにしたものである。
【0175】図において、(a)部は表示対象となるオ
ブジェクトの一つである三角錐と他の一つのオブジェク
ト(この場合での注目する対象とされるべきオブジェク
ト)である球についてレンダリングによる画像を別段の
手段を講じることなく元となる水平方向の寸法の大きい
画面内に映出した段階での左画像および右画像を表して
いる。
【0176】同図の(b)部は左右各画面について、元
となる大きい画面からターゲットオブジェクトを含んで
画面を部分的に切り出すときの切り出し位置を可変設定
する様子を表している。
【0177】同図の(c)部はターゲットオブジェクト
である球を含んで切り出し(抽出)処理された後の左画
像および右画像を表している。
【0178】次に、本発明の第5の実施形態を説明す
る。図28は、本発明の距離演算装置において、ターゲ
ットオブジェクトを識別し、その距離(既述のLobj )
を算出する過程を説明するための模式図である。
【0179】この図28では、オブジェクトA(球)と
オブジェクトB(三角錐)とが或る平面投影状態では部
分的に重なり合って位置している場合が示されている。
一般に、ヒトの視点移動は比較的短時間に微動しながら
逐次移動する傾向があり、この現象は固視微動として良
く知られている。従って、或る一つの時点のみで視線方
向をサンプリングしても、この固視微動があるため、正
確に注目オブジェクトを特定することは困難である。
【0180】そこで、所定時間内に複数の視線方向(注
視点)をサンプリングして、これらの情報を総合的に判
断の根拠として用いれば、比較的正確に注目オブジェク
トを特定することができ、従って、その距離を正確に割
り出すことが可能となる。
【0181】図示の例では、500msecの間に7ポイン
トの注視点を検出するようにしている。
【0182】図29は、図28において説明した7ポイ
ントの注視点の情報に基づいて注目オブジェクトを決定
し、その距離を割り出す方法について説明するための概
念図である。
【0183】この方法では、注視点1から注視点7まで
の各ポイントについて、その注視点毎にそれがオブジェ
クトAに属するカウント数(度数)N(A)とオブジェ
クトBに属するカウント数(度数)N(B)とを求め
る。
【0184】次いで、このN(A)とN(B)とを比較
して、度数の高いものに係るオブジェクト(例えばオブ
ジェクトAである球)を注目オブジェクトとして決定
し、予めその注目オブジェクトに関して保有している画
像データに基づいて距離(LA1を算出して、この距離
を既述のLobj として出力する。
【0185】図30は、図28において説明した7ポイ
ントの注視点の情報に基づいて各ポイントに対応したオ
ブジェクトが何であるかを弁別して該当するオブジェク
トの距離を求め、最も近い距離を注目オブジェクトの距
離として割り出す方法について説明するための概念図で
ある。
【0186】この方法では、注視点1から注視点7まで
の各ポイントについて、各対応するオブジェクトが何で
あるかを先ず弁別する。この例では、それらオブジェク
トはAまたはBであることが弁別される。次いでこれら
該当するオブジェクトの距離をそれぞれ予め保有してい
る画像データに基づいて算出する。
【0187】これら算出された各距離(LA ,LB )に
ついて相互に比較し、それらの内最も近い距離を注目オ
ブジェクトの距離として決定し、出力するようにしてい
る。これは、通常の観察者は近距離にあるオブジェクト
に注目するであろうとの仮定に立脚した方法である。
【0188】図31は、図28において説明した7ポイ
ントの注視点の情報に基づいて各ポイントに対応したオ
ブジェクトの距離を算出し、一旦これらの距離の逆数を
求めてから、平均値をとってその値を注目オブジェクト
の距離として割り出す方法について説明するための概念
図である。
【0189】この方法では、注視点1から注視点7まで
の各ポイントについて、先ず、各ポイントに対応したオ
ブジェクトの距離を算出する。次いで、これら各距離の
逆数を算出する。このようにして求めた逆数に基づいて
図示のような演算によって距離の平均値を算出する。こ
の平均値を注目オブジェクトの距離Lobj とし出力す
る。上述の方法では、各距離の逆数を一旦求め、これに
よって距離の平均値を算出するため、一部のオブジェク
トの距離が無限遠であったような場合でも平均値を算出
するについて適切な有限の値を得ることができる。
【0190】図32は、本発明の距離演算装置におい
て、ターゲットオブジェクトを識別し、その距離(既述
のLobj )を算出するための他の過程を説明するための
模式図である。
【0191】この図32では、オブジェクトA(球)と
オブジェクトB(三角錐)とが或る平面投影状態では部
分的に重なり合って位置している場合が示されている。
この方法では、予め、×で示された注目点を中心として
一定の角度ずつの広がり持った領域内に所定数(この例
では9ポイント)のサンプリング点(○)を設定して、
これら各サンプリング点からの情報を用いて距離を割り
出す。
【0192】図33は、図32において説明した9ポイ
ントの注視点の情報に基づいて注目オブジェクトを決定
し、その距離を割り出す方法について説明するための概
念図である。
【0193】この方法では、図32において各○で示さ
れたサンプリング点1からサンプリング点9までの各ポ
イントについて、そのサンプリングポイント毎にそれが
オブジェクトAに属するかオブジェクトBに属するか、
或いは該当するオブジェクトがないかを検出する。
【0194】次いでオブジェクトAに属するカウント数
(度数)N(A)とオブジェクトBに属するカウント数
(度数)N(B)とを求める。
【0195】この後、このN(A)とN(B)とを比較
して、度数の高いものに係るオブジェクト(例えばオブ
ジェクトAである球)を注目オブジェクトとして決定
し、予めその注目オブジェクトに関して保有している画
像データに基づいて距離(LA)を算出して、この距離
を既述のLobj として出力する。
【0196】図34は、図32において説明した9ポイ
ントのサンプリング点の情報に基づいて各ポイントに対
応したオブジェクトが何であるかを弁別して該当するオ
ブジェクトの距離を求め、最も近い距離を注目オブジェ
クトの距離として割り出す方法について説明するための
概念図である。
【0197】この方法では、サンプリング点1からサン
プリング点9までの各ポイントについて、各対応するオ
ブジェクトが何であるかを先ず弁別する。この例では、
それらオブジェクトはAまたはBであることが弁別され
る。
【0198】次いでこれら該当するオブジェクトの距離
をそれぞれ予め保有している画像データに基づいて算出
する。これら算出された各距離(LA ,LB )について
相互に比較し、それらの内最も近い距離を注目オブジェ
クトの距離として決定し、出力するようにしている。こ
れは、通常の観察者は近距離にあるオブジェクトに注目
するであろうとの仮定に立脚した方法である。
【0199】図35は、図32において説明した9ポイ
ントの注視点の情報に基づいて各ポイントに対応したオ
ブジェクトの距離を算出し、一旦これらの距離の逆数を
求めてから、平均値をとってその値を注目オブジェクト
の距離として割り出す方法について説明するための概念
図である。
【0200】この方法では、サンプリング点1からサン
プリング点9までの各サンプリングポイントに対応して
そのポイントがオブジェクトAに属するかオブジェクト
Bに属するか、或いは該当するオブジェクトがないかを
検出する。
【0201】次いで各該当するオブジェクトの距離を算
出する。この後、これら各距離の逆数を算出する。この
ようにして求めた逆数に基づいて図示のような演算によ
って距離の平均値を算出する。
【0202】この平均値を注目オブジェクトの距離Lob
j とし出力する。この方法では、各距離の逆数を一旦求
め、これによって距離の平均値を算出するため、一部の
オブジェクトの距離が無限遠であったような場合でも平
均値を算出するについて適切な有限の値を得ることがで
きる。
【0203】本発明の第6の実施形態を説明する。図3
6は、本発明の装置において、立体画像を得るための左
画像および右画像について、主たる表示対象となる2つ
のオブジェクト(三角錐と球)のうち特にターゲットオ
ブジェクトに関する視差は既述の第1,2の実施形態の
ようにして両画面内での表示状態を変化させることによ
って最適化する一方、背景画像については適宜の固定的
視差を持つようにした画像を上記左右画像に合成して
(貼り込んで)しまう様子を示す図である。
【0204】この図36における背景画像の貼り込み処
理が、図1において「オブジェクトの背景画像データを
添える処理」として既述のものである。
【0205】図において、(a)部は表示対象となるオ
ブジェクトの一つである三角錐と他の一つのオブジェク
ト(この場合での注目する対象とされるべきオブジェク
ト)である球についてのみレンダリングによる画像を画
面内に映出した段階での左画像および右画像を表してい
る。
【0206】同図の(b)部は左右各画面について、元
となる水平方向の幅の広い同一の画像から切り出し(抽
出)位置をずらした関係で各部分的に切り出した画像
(テクスチャ)を左画像及び右画像用の背景として設定
した様子を表している。
【0207】同図の(c)部は(a)部の2つのオブジ
ェクトに対して背景となる画像を貼り込んで合成処理さ
れた後の左画像および右画像を表している。
【0208】図37は、図36における(b)部につい
て説明した背景となる画像(テクスチャ)を、元となる
水平方向の幅の広い同一の画像(テクスチャTX)から
切り出し(抽出)位置をずらした関係で各部分的に切り
出し、実線図示の枠(左テクスチャ領域)のように切り
出した部分を左画像用の背景画像とし、一点鎖線図示の
枠(右テクスチャ領域)のように切り出した部分を右画
像用の背景画像とするときの、切り出し処理する様子を
表している。双方の切り出し領域は、図23について説
明したSの2倍だけ水平方向にずれた位置となるように
選択されている。
【0209】図38は、本発明の装置において、立体画
像を得るための左画像および右画像について、主たる表
示対象となる2つのオブジェクト(三角錐と球)のうち
特にターゲットオブジェクトに関する視差は既述の第
3,4の実施形態のようにして両画面内での表示状態を
変化させることによって最適化する一方、背景画像につ
いては適宜の固定的視差を持つようにした画像を上記2
つのオブジェクトの像に合成して(貼り込んで)しまう
他の例を示す図である。
【0210】この図38における背景画像の貼り込み処
理も、図1について「オブジェクトの背景画像データを
添える処理」として既述のものである。
【0211】図において、(a)部は表示対象となるオ
ブジェクトの一つである三角錐と他の一つのオブジェク
ト(この場合での注目する対象とされるべきオブジェク
ト)である球についてのみレンダリングによる画像を画
面内に映出した段階での左画像および右画像を表してい
る。
【0212】同図の(b)部は左右各画面について、元
となる水平方向の幅の広い同一の画像から同一部分を各
切り出した画像(テクスチャ)を左画像及び右画像用の
背景として設定した様子を表している。
【0213】同図の(c)部は(a)部の2つのオブジ
ェクトに対して背景となる画像を貼り込んで合成処理さ
れた後の左画像および右画像を表している。
【0214】同図の(d)部は各画面の左右にそれぞれ
黒枠を映出させた状態での左画像および右画像を表して
いる。
【0215】同図の(e)部はオブジェクトおよび背景
も共に左右画像が離隔する方向にシフトしたと実効的に
等価な効果を得るように黒枠も含めた画像全体をSだけ
シフトした場合の左画像および右画像を表している。
【0216】
【発明の効果】本願発明によれば、通常のパーソナルコ
ンピュータ等を用いてシステムを構成したとしても演算
時間が比較的短く、従って遅滞のない視差の制御或いは
輻輳距離の制御が行われ得るこの種の装置が実現され
る。また、注目するオブジェクトの距離を的確に算出す
ることのできる装置が実現される。
【0217】
【図面の簡単な説明】
【図1】本発明の基本概念を表したブロック図である。
【図2】3次元画像表示装置としてHMDを適用してな
る本発明の実施の形態としての立体画像表示装置のシス
テムを示す図である。
【図3】3次元空間座標が設定された仮想空間内に立体
モデリングされた複数のオブジェクトを配置し、これら
オブジェクトを立体視するための2つの2次元画像デー
タを生成するための処理を概念的に説明するための模式
図である。
【図4】立体画像を得るための左画像および右画像につ
いて、仮想3次元空間内を表示対象となる2つのオブジ
ェクト(三角錐と球)がそれらの奥行き方向の相対移動
する場合、左右両画面内での表示位置が移動する様子
を、一般的な立体画像生成法を採った場合について示す
図である。
【図5】図4について説明した2つのオブジェクト(三
角錐と球)を左および右接眼光学系を通して左および右
表示素子の画面に映出された像の虚像として観察すると
きの見え方を示す模式図である。
【図6】図6は、輻輳と調節(眼の焦点調節の状態如
何)との対応関係を示す図である。
【図7】本発明の装置において、3次元画像表示を得る
ための左画像および右画像について、表示対象となる2
つのオブジェクト(三角錐と球)がそれらの奥行き方向
の相対移動に伴って左右両画面内での表示位置が移動す
る様子を示す図である。
【図8】図7について説明した左右両眼用の各表示素子
の画面にそれぞれ表示される2つのオブジェクト(三角
錐と球)を左右の接眼光学系(レンズ)を通して画面に
映出された像の虚像として観察するときの見え方を示す
模式図である。
【図9】本発明の実施の形態としての装置において、視
線方向の情報によって注目画像である特定オブジェクト
としてのターゲットオブジェクトを決定する過程を説明
するための模式図である。
【図10】本発明の実施の形態としての装置において、
特定の注目オブジェクトに対する視差が一定となるよう
な投影演算を行って左右の各2次元画像データをそれぞ
れ生成する原理を示す模式図である。
【図11】図10を用いて説明したような投影演算を実
行して左右の像のデータをそれぞれ生成するまでの情報
処理過程を説明するフローチャートである。
【図12】図9を用いて説明したような本例の立体画像
表示システムに適用されるHMDに備えられ、規格化さ
れた視線方向角のデータを得るように構成された視線方
向検出手段の構成例を示す模式図である。
【図13】本発明の実施の形態としてのシステムに適用
される頭部装着型画像表示装置(HMD)の光学系の構
成例を示す模式図である。
【図14】本発明の実施の形態としてのシステムに適用
されるHMDの光学系の他の構成例を示す模式図であ
る。
【図15】本発明の他の実施の形態としてのシステムに
適用されるHMDの光学系と画像の表示との関係を示す
模式図である。
【図16】2つのオブジェクト(三角錐とターゲットオ
ブジェクトである球)がそれらの左右の視点位置を基準
にして表したときの奥行き方向の相対移動の様子を示す
模式図である。
【図17】図16について説明した表示対象となる2つ
のオブジェクトが当該立体表示装置において、3次元画
像表示を得るための左画像および右画像について、それ
らオブジェクトの奥行き方向の相対移動に伴って左右両
画面内での表示位置が移動する様子を示す図である。
【図18】2つのオブジェクト(三角錐とターゲットオ
ブジェクトである球)がそれらの左右の視点位置を基準
にして表したときの奥行き方向の相対移動の様子を示す
模式図である。
【図19】図18について説明した表示対象となる2つ
のオブジェクトが当該立体表示装置において、3次元画
像表示を得るための左画像および右画像について、ター
ゲットオブジェクトの既述のような移動に伴って左右両
画面内での表示位置が移動する様子を示す図である。
【図20】図19の(ア)部のうちターゲットオブジェ
クトである球が斜め右手前側に移動する様子を、一般的
な表示装置を適用して、その左右の接眼光学系を通して
画面に映出された像の虚像として観察するときの見え方
を示す模式図である。
【図21】図19の(イ)部のうちターゲットオブジェ
クトである球が斜め右手前側に移動する様子を、本発明
の表示装置を適用して、その左右の接眼光学系を通して
画面に映出された像の虚像として観察するときの見え方
を示す模式図である。
【図22】ターゲットオブジェクトに関する左右両画像
間の視差が0となるような画像(データ)を生成するた
めの原理を示す概念図である。
【図23】本発明の装置において、3次元画像表示を得
るための左画像および右画像について、ターゲットオブ
ジェクトに関する視差を両画面内での表示状態を変化さ
せることによって最適化する様子を示す図である。
【図24】本発明の実施の形態としての装置において、
特定の注目オブジェクトに対する視差が一定となるよう
に画像のシフトを行なう場合の条件式を導出する原理を
示す模式図である。
【図25】図24について説明した左右の投影面の画像
に対応する左右の表示面上で見た左右画像の視差を表わ
す図である。
【図26】図24を用いて説明したような投影演算を実
行して左右の像のデータをそれぞれ生成するまでの情報
処理過程を説明するフローチャートである。
【図27】本発明の装置において、3次元画像表示を得
るための左画像および右画像について、ターゲットオブ
ジェクトに関する視差を両画面内での表示状態を変化さ
せることによって最適化する様子を示す図である。
【図28】本発明の距離演算装置において、ターゲット
オブジェクトを識別し、その距離を算出する過程を説明
するための模式図である。
【図29】図28における注視点の情報に基づいて注目
オブジェクトを決定し、その距離を割り出す方法につい
て説明するための概念図である。
【図30】図28において説明した注視点の情報に基づ
いて各ポイントに対応したオブジェクトを弁別してそれ
らオブジェクトの距離を求め、最小距離を注目オブジェ
クトの距離として割り出す方法について説明するための
概念図である。
【図31】図28において説明した注視点の情報に基づ
いて各ポイントに対応したオブジェクトの距離を算出
し、一旦これらの距離の逆数を求めてから、平均値をと
ってその値を注目オブジェクトの距離として割り出す方
法について説明するための概念図である。
【図32】本発明の距離演算装置において、ターゲット
オブジェクトを識別し、その距離)を算出するための他
の過程を説明するための模式図である。
【図33】図32において説明した注視点の情報に基づ
いて注目オブジェクトを決定し、その距離を割り出す方
法について説明するための概念図である。
【図34】図32において説明したサンプリング点の情
報に基づいて各ポイントに対応したオブジェクトの距離
を求め、最小距離を注目オブジェクトの距離として割り
出す方法について説明するための概念図である。
【図35】図32において説明した注視点の情報に基づ
いて各ポイントに対応したオブジェクトの距離を算出
し、一旦これらの距離の逆数を求めてから、平均値をと
ってその値を注目オブジェクトの距離として割り出す方
法について説明するための概念図である。
【図36】本発明の装置において、3次元画像表示を得
るための左画像および右画像について、背景画像につい
ては適宜の固定的視差を持つようにした画像をオブジェ
クトの像に合成する様子を示す図である。
【図37】図36における背景となる画像を、元となる
画像から切り出すときの、切り出し処理する様子を表し
ている。
【図38】本発明の装置において、3次元画像表示を得
るための左画像および右画像について、背景画像につい
ては適宜の固定的視差を持つようにした画像をオブジェ
クトの像に合成する他の例を示す図である。
【符号の説明】
1 ゲーム機 2 頭部装着型画像表示装置(HMD) 3 プログラム記録媒体 4 立体画像生成装置本体 5 ケーブル 6L 左スピーカ 6R 右スピーカ 7 ヘッドモーションセンサ 8 ゲームコントローラ 9 ケーブル 10 三角錐(のオブジェクト) 11 球(のオブジェクト) 12 左視点 13 右視点 14 左投影面 15 右投影面 16 左接眼光学系 17 右接眼光学系 18 左表示素子 19 右表示素子 20 左眼球 21 右眼球 22 視線方向検出手段 23 光源 24 角膜 25 レンズ 26 光電変換 27 規格化演算器

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】3次元空間座標が設定された仮想空間内に
    立体モデリングされた複数のオブジェクトを配置し、上
    記3次元空間座標での座標位置が互いに異なる第1の視
    点と第2の視点から各所定の第1の投影面と第2の投影
    面に上記オブジェクトをそれぞれ投影するに相応した投
    影演算を実行して該投影による第1の2次元画像および
    第2の2次元画像を各表わす第1の2次元画像データお
    よび第2の2次元画像データをそれぞれ生成するように
    なされた立体画像生成装置であって、 上記複数のオブジェクトの中から特定のオブジェクトを
    決定する特定オブジェクト決定手段と、 上記特定のオブジェクトに関する上記第1の2次元画像
    および第2の2次元画像に係る視差が略一定となるよう
    に視差を制御する視差制御手段を備えたことを特徴とす
    る立体画像生成装置。
  2. 【請求項2】上記特定オブジェクト決定手段は、適用さ
    れた画像表示装置に映出された画像を観察する観察者の
    視線方向を検出するための視線方向検出手段を含んでな
    り該視線方向検出手段の検出出力に基づいて上記複数の
    オブジェクトの中から特定のオブジェクトを決定するよ
    うに構成されたものであることを特徴とする請求項1に
    記載の立体画像生成装置。
  3. 【請求項3】左眼用の表示素子と、該左眼用の表示素子
    の表示面を観察するための左眼用光学系と、右眼用の表
    示素子と、該右眼用の表示素子の表示面を観察するため
    の右眼用光学系と、上記各表示素子および光学系を所定
    の位置関係を維持して観察者の頭部に位置決め支持する
    ための支持手段と、を含んでなる頭部装着型立体画像表
    示装置を更に備え、該頭部装着型立体画像表示装置の上
    記両表示面に表示されるべき画像を表わすデータとして
    上記視差制御手段により得た画像データが供給され得る
    ように構成されてなることを特徴とする請求項1に記載
    の立体画像生成装置。
  4. 【請求項4】上記視差制御手段は、本立体画像生成装置
    における上記投影演算の実行に先立って、上記特定オブ
    ジェクトから上記第1の視点と第2の視点とを結ぶ直線
    までの距離であるオブジェクト距離に基づいて、上記第
    1の視点と第1の投影面の中心とを結ぶ直線である第1
    の視軸と上記第2の視点と第2の投影面の中心とを結ぶ
    直線である第2の視軸との交点である視軸交点から上記
    第1の視点と第2の視点とを結ぶ直線までの距離である
    視軸交点の距離を制御するようになされた視軸制御手段
    を含んで構成されたものであることを特徴とする請求項
    1に記載の立体画像生成装置。
  5. 【請求項5】上記視軸制御手段は、上記第1の投影面を
    第1の視点の回りに回動させることにより、及び/又
    は、上記第2の投影面を第2の視点の回りに回動させる
    ことにより、上記視軸交点の距離を制御するようになさ
    れたものであることを特徴とする請求項4に記載の立体
    画像生成装置。
  6. 【請求項6】上記視軸制御手段は、上記第1の投影面、
    及び/又は、上記第2の投影面を、面内方向に移動させ
    ることにより、上記視軸交点の距離を制御するようにな
    されたものであることを特徴とする請求項4に記載の立
    体画像生成装置。
  7. 【請求項7】上記第1の2次元画像と合成されるべき第
    3の2次元画像を表わす第3の2次元画像データと、上
    記第2の2次元画像と合成されるべき第4の2次元画像
    を表わす第4の2次元画像データとを、所定の同一の2
    次元画像を表わす画像データに基づいてこの画像データ
    に対して上記視差制御手段により制御された視差を相対
    的に加味することにより該両2次元画像データとして各
    生成する合成対象画像生成手段と、 上記第1の2次元画像と上記第3の2次元画像とを合成
    した一の2次元画像を表わす2次元画像データを生成す
    るための第1の画像合成手段と、 上記第2の2次元画像と上記第4の2次元画像とを合成
    した他の2次元画像を表わす2次元画像データを生成す
    るための第2の画像合成手段と、を更に備えてなること
    を特徴とする請求項1に記載の立体画像生成装置。
  8. 【請求項8】上記視軸制御手段は、上記視軸交点の距離
    と上記オブジェクト距離とが等しくなるように視軸交点
    の距離を制御して該制御が加味されてなる画像データを
    得るように構成され、 左眼用の表示面を観察するための左眼用光学系と右眼用
    の表示面を観察するための右眼用光学系とを有し上記各
    光学系に係るレンズの主点とこれに各対応する表示面の
    中心を通る両光学視軸の交点が該両光学系による虚像面
    内の位置にあるように構成された立体画像表示手段を更
    に備え、 上記立体画像表示手段の上記両表示面に表示されるべき
    画像を表わすデータとして上記視軸制御手段により得た
    画像データが供給されるように構成されてなることを特
    徴とする請求項4に記載の立体画像生成装置。
  9. 【請求項9】上記視差制御手段は、本立体画像生成装置
    における上記投影演算の実行後に、上記特定オブジェク
    トから上記第1の視点と第2の視点とを結ぶ直線までの
    距離であるオブジェクト距離に基づいて、適用される立
    体画像表示手段における所定の第1の画像表示領域に映
    出される2次元画像および所定の第2の画像表示領域に
    映出される2次元画像の該両2次元画像の水平方向の相
    対的位置関係を制御してなる2次元画像データを得る2
    次元画像データ制御手段を含んで構成されたものである
    ことを特徴とする請求項1に記載の立体画像生成装置。
  10. 【請求項10】上記2次元画像データ制御手段は、上記
    特定オブジェクトに係る視差が無くなるように上記両2
    次元画像の水平方向の相対的位置関係を制御するように
    なされ、 左眼用の表示面を観察するための左眼用光学
    系と右眼用の表示面を観察するための右眼用光学系とを
    有し上記各光学系に係るレンズの主点とこれに各対応す
    る表示面の中心を通る両光学視軸の交点が該両光学系に
    よる虚像面内の位置にあるように構成された立体画像表
    示手段を更に備え、 上記立体画像表示手段の上記両表示面に表示されるべき
    画像を表わすデータとして上記2次元画像データ制御手
    段により得た画像データを供給するように構成されてな
    ることを特徴とする請求項9に記載の立体画像生成装
    置。
  11. 【請求項11】複数のオブジェクトを異なる視差で表現
    してなる立体画像を表わすデータを生成する立体画像デ
    ータ生成手段と、 上記複数のオブジェクトのうちの特定のオブジェクトを
    決定する特定オブジェクト決定手段と、 上記特定オブジェクトの視差が0となるように上記立体
    画像全体の視差が制御された画像データを得るための視
    差制御手段と、 左眼用の表示面を観察するための左眼用光学系と右眼用
    の表示面を観察するための右眼用光学系とを有し上記各
    光学系のレンズの主点とこれに各対応する表示面の中心
    を通る両光学視軸の交点が該両光学系による虚像面内の
    位置にあるように構成され、且つ、上記両表示面に表示
    されるべき画像を表わすデータとして上記視差制御手段
    により得た画像データが供給されるように構成されてな
    る立体画像表示手段と、を備えてなることを特徴とする
    立体画像生成装置。
  12. 【請求項12】複数のオブジェクトを異なる視差で表現
    してなる立体画像を表わすデータを生成する立体画像デ
    ータ生成手段と、 上記複数のオブジェクトのうちの特定のオブジェクトを
    決定する特定オブジェクト決定手段と、 上記特定オブジェクトの視差が0となるように上記立体
    画像全体の視差が制御された画像データを得るための視
    差制御手段と、 左眼用の表示面を観察するための左眼用光学系と右眼用
    の表示面を観察するための右眼用光学系とを有し、上記
    両表示面に表示されるべき画像を表わすデータとして上
    記視差制御手段により得た画像データが供給され得るよ
    うになされ、上記各光学系に係る両視軸の交点が該両光
    学系による虚像面内の位置にあるように上記両表示面の
    有効表示領域の中心位置が規制されるように構成されて
    なる立体画像表示手段と、を備えてなることを特徴とす
    る立体画像生成装置。
  13. 【請求項13】画像表示装置に映出された画像を観察す
    る観察者の視線方向を検出するための視線方向検出手段
    と、 上記視線方向検出手段の検出出力に基づいて視線方向に
    係る複数の方向角を求める複数方向角決定手段と、 上記複数方向角決定手段により求められた複数の方向角
    に沿う各直線上にある対象物を決定する対象物決定手段
    と、 上記対象物決定手段により決定された対象物の奥行き距
    離を決定する奥行き距離決定手段と、を備えてなること
    を特徴とする距離演算装置。
  14. 【請求項14】上記複数方向角決定手段は、上記視線方
    向検出手段が視線方向検出動作を所定時間内に複数回繰
    り返すことによって得た異なる時刻での複数の検出出力
    に基づいて該異なる時刻に各対応する複数の視線方向角
    を決定するように構成され、 上記対象物決定手段は、上記決定された異なる時刻に各
    対応する複数の視線方向角に沿う各直線上にある対象物
    を決定するように構成されたものであることを特徴とす
    る請求項13に記載の距離演算装置。
  15. 【請求項15】上記複数方向角決定手段は、上記視線方
    向検出手段の検出出力に対応した一の視線方向を中心と
    し該一の視線方向からそれぞれ所定角度の開きを有する
    複数の視線方向角を決定するように構成され、 上記対象物決定手段は、上記決定された異なる複数の視
    線方向角に沿う各直線上にある対象物を決定するように
    構成されたものであることを特徴とする請求項13に記
    載の距離演算装置。
  16. 【請求項16】上記奥行き距離決定手段は、上記対象物
    決定手段により決定された複数の対象物のうち最も発生
    頻度の高い対象物の奥行き距離を求めるように構成され
    たものであることを特徴とする請求項13に記載の距離
    演算装置。
  17. 【請求項17】上記奥行き距離決定手段は、上記対象物
    決定手段により決定された複数の対象物の奥行き距離を
    それぞれ求め、該求められた各距離のうち最小の距離を
    決定するように構成されたものであることを特徴とする
    請求項13に記載の距離演算装置。
  18. 【請求項18】上記奥行き距離決定手段は、上記対象物
    決定手段により決定された複数の対象物の奥行き距離を
    それぞれ求め、次いで、該求められた各距離の逆数をそ
    れぞれ求め、更に、該求められた各逆数の平均値をそれ
    ぞれ求め、次いで、該各平均値の逆数をそれぞれ求める
    ように構成された演算手段を含んでなるものであること
    を特徴とする請求項13に記載の距離演算装置。
JP35780096A 1996-12-28 1996-12-28 立体画像生成装置および立体画像生成方法 Expired - Fee Related JP3802630B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP35780096A JP3802630B2 (ja) 1996-12-28 1996-12-28 立体画像生成装置および立体画像生成方法
US08/998,782 US6111597A (en) 1996-12-28 1997-12-29 Stereo image forming apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35780096A JP3802630B2 (ja) 1996-12-28 1996-12-28 立体画像生成装置および立体画像生成方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005372837A Division JP4270347B2 (ja) 2005-12-26 2005-12-26 距離演算装置

Publications (2)

Publication Number Publication Date
JPH10188034A true JPH10188034A (ja) 1998-07-21
JP3802630B2 JP3802630B2 (ja) 2006-07-26

Family

ID=18455992

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35780096A Expired - Fee Related JP3802630B2 (ja) 1996-12-28 1996-12-28 立体画像生成装置および立体画像生成方法

Country Status (2)

Country Link
US (1) US6111597A (ja)
JP (1) JP3802630B2 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7072504B2 (en) 2000-02-21 2006-07-04 Sharp Kabushiki Kaisha Image synthesis apparatus
JP2008210405A (ja) * 2008-05-16 2008-09-11 Sharp Corp 画像処理方法、その方法を実現するためにコンピュータにより実行されるプログラム、及びそのプログラムを記録した記録媒体
JP2009129420A (ja) * 2007-11-28 2009-06-11 Fujifilm Corp 画像処理装置および方法並びにプログラム
WO2010123053A1 (ja) * 2009-04-24 2010-10-28 ソニー株式会社 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム
JP2011086188A (ja) * 2009-10-16 2011-04-28 Konami Digital Entertainment Co Ltd 立体画像生成装置、立体画像生成方法、ならびに、プログラム
JP2012073792A (ja) * 2010-09-28 2012-04-12 Casio Comput Co Ltd 画像処理装置、画像表示装置、及び画像処理方法
JP4938901B1 (ja) * 2011-05-11 2012-05-23 学校法人 文教大学学園 ズーミング可能な立体写真ビューア
JP2012141819A (ja) * 2010-12-29 2012-07-26 Nintendo Co Ltd 画像処理システム、画像処理プログラム、画像処理方法及び画像処理装置
JP2012141461A (ja) * 2010-12-29 2012-07-26 Sony Corp ヘッド・マウント・ディスプレイ
JP2012169730A (ja) * 2011-02-10 2012-09-06 Nec Personal Computers Ltd 画像処理方法及び画像処理装置
JP2012237970A (ja) * 2012-01-30 2012-12-06 Bunkyo Daigaku Gakuen ズーミング可能な立体写真ビューア
JP5644862B2 (ja) * 2010-12-10 2014-12-24 富士通株式会社 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム
JP2014241523A (ja) * 2013-06-12 2014-12-25 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2015519590A (ja) * 2012-03-30 2015-07-09 カール ツァイス ヴィジョン インターナショナル ゲーエムベーハー 3次元画像の可視化システム
US9618759B2 (en) 2012-08-06 2017-04-11 Sony Corporation Image display apparatus and image display method
JP2019004471A (ja) * 2018-07-12 2019-01-10 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2019217269A (ja) * 2018-06-11 2019-12-26 任天堂株式会社 立体視効果を調節するためのシステムおよび方法
US11054650B2 (en) 2013-03-26 2021-07-06 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
JP6959682B1 (ja) * 2020-12-28 2021-11-05 株式会社計数技研 画像合成装置、画像合成方法、及びプログラム
WO2022145414A1 (ja) * 2020-12-28 2022-07-07 株式会社計数技研 画像合成装置、画像合成方法、及びプログラム
JP2023059137A (ja) * 2021-10-14 2023-04-26 株式会社計数技研 画像合成装置、画像合成方法、及びプログラム

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4235291B2 (ja) * 1998-10-02 2009-03-11 キヤノン株式会社 立体映像システム
JP2000354257A (ja) * 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
JP2001142380A (ja) * 1999-11-12 2001-05-25 Sony Corp ホログラム作成装置及び方法、並びにホログラム
JP4269482B2 (ja) * 2000-04-27 2009-05-27 コニカミノルタホールディングス株式会社 映像表示装置
US7126558B1 (en) 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
US6924799B2 (en) * 2002-02-28 2005-08-02 Hewlett-Packard Development Company, L.P. Method, node, and network for compositing a three-dimensional stereo image from a non-stereo application
US7483031B2 (en) * 2003-04-17 2009-01-27 Nvidia Corporation Method for synchronizing graphics processing units
JP4266878B2 (ja) * 2004-04-22 2009-05-20 Necディスプレイソリューションズ株式会社 映像表示装置
US7643672B2 (en) * 2004-10-21 2010-01-05 Kazunari Era Image processing apparatus, image pickup device and program therefor
KR20100105351A (ko) * 2007-02-14 2010-09-29 포틴트 벤처 그룹 인코포레이티드 바나나 코덱
JP4637942B2 (ja) * 2008-09-30 2011-02-23 富士フイルム株式会社 3次元表示装置および方法並びにプログラム
JP5430266B2 (ja) * 2009-07-21 2014-02-26 富士フイルム株式会社 画像表示装置および方法並びにプログラム
KR20120005328A (ko) * 2010-07-08 2012-01-16 삼성전자주식회사 입체 안경 및 이를 포함하는 디스플레이장치
KR101708306B1 (ko) * 2010-09-13 2017-02-20 엘지전자 주식회사 이동 단말기 및 그의 3d 이미지 합성방법
JP5522018B2 (ja) * 2010-12-15 2014-06-18 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
FR2969791B1 (fr) * 2010-12-23 2012-12-28 Thales Sa Procede de correction de l'hyperstereoscopie et systeme de visualisation de casque associe
CN103782234B (zh) * 2011-09-09 2015-11-25 富士胶片株式会社 立体图像捕捉设备和方法
US9497501B2 (en) 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
US20150312561A1 (en) * 2011-12-06 2015-10-29 Microsoft Technology Licensing, Llc Virtual 3d monitor
TWI450024B (zh) * 2012-06-05 2014-08-21 Wistron Corp 立體深度影像建立系統及其方法
JP5351311B1 (ja) * 2012-06-29 2013-11-27 株式会社ソニー・コンピュータエンタテインメント 立体映像観察デバイスおよび透過率制御方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测***及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像***及方法
CN103439801B (zh) * 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射***及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN103558909B (zh) 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示***
IL236420A (en) 2014-12-23 2016-06-30 Ron Schneider Methods and systems for producing an enlarged 3D image
CN107810634A (zh) * 2015-06-12 2018-03-16 微软技术许可有限责任公司 用于立体增强现实的显示器
JP5856344B1 (ja) * 2015-07-27 2016-02-09 正樹 房間 3d画像表示装置
KR102459850B1 (ko) * 2015-12-03 2022-10-27 삼성전자주식회사 3d 이미지 처리 방법 및 장치, 및 그래픽 처리 장치
WO2018027015A1 (en) * 2016-08-04 2018-02-08 Dolby Laboratories Licensing Corporation Single depth tracked accommodation-vergence solutions
CN109644261B (zh) * 2016-08-04 2021-06-01 杜比实验室特许公司 单一深度追踪调节-聚散解决方案
US10742964B2 (en) * 2017-04-04 2020-08-11 Nextvr Inc. Methods and apparatus for displaying images
JP7349808B2 (ja) * 2019-03-20 2023-09-25 任天堂株式会社 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8701288D0 (en) * 1987-01-21 1987-02-25 Waldern J D Perception of computer-generated imagery
JPH05300544A (ja) * 1992-04-23 1993-11-12 Sony Corp 映像表示装置
JPH0638219A (ja) * 1992-07-20 1994-02-10 Olympus Optical Co Ltd 映像表示装置
US5579026A (en) * 1993-05-14 1996-11-26 Olympus Optical Co., Ltd. Image display apparatus of head mounted type
AUPM701394A0 (en) * 1994-07-22 1994-08-18 Monash University A graphical display system
US5737012A (en) * 1994-12-01 1998-04-07 Olympus Optical Co., Ltd. Head mounted image display apparatus and image forming apparatus related thereto
US5742264A (en) * 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
JPH08322004A (ja) * 1995-05-24 1996-12-03 Olympus Optical Co Ltd 立体視ディスプレイ装置

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7072504B2 (en) 2000-02-21 2006-07-04 Sharp Kabushiki Kaisha Image synthesis apparatus
JP2009129420A (ja) * 2007-11-28 2009-06-11 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP2008210405A (ja) * 2008-05-16 2008-09-11 Sharp Corp 画像処理方法、その方法を実現するためにコンピュータにより実行されるプログラム、及びそのプログラムを記録した記録媒体
JP4610634B2 (ja) * 2008-05-16 2011-01-12 シャープ株式会社 画像処理方法、その方法を実現するためにコンピュータにより実行されるプログラム、及びそのプログラムを記録した記録媒体
US8698877B2 (en) 2009-04-24 2014-04-15 Sony Corporation Image information processing apparatus, image capture apparatus, image information processing method, and program
WO2010123053A1 (ja) * 2009-04-24 2010-10-28 ソニー株式会社 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム
JP2010258723A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム
JP2011086188A (ja) * 2009-10-16 2011-04-28 Konami Digital Entertainment Co Ltd 立体画像生成装置、立体画像生成方法、ならびに、プログラム
JP2012073792A (ja) * 2010-09-28 2012-04-12 Casio Comput Co Ltd 画像処理装置、画像表示装置、及び画像処理方法
JP5644862B2 (ja) * 2010-12-10 2014-12-24 富士通株式会社 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム
US9113144B2 (en) 2010-12-29 2015-08-18 Nintendo Co., Ltd. Image processing system, storage medium, image processing method, and image processing apparatus for correcting the degree of disparity of displayed objects
US9268138B2 (en) 2010-12-29 2016-02-23 Sony Corporation Head-mounted display
JP2012141819A (ja) * 2010-12-29 2012-07-26 Nintendo Co Ltd 画像処理システム、画像処理プログラム、画像処理方法及び画像処理装置
JP2012141461A (ja) * 2010-12-29 2012-07-26 Sony Corp ヘッド・マウント・ディスプレイ
JP2012169730A (ja) * 2011-02-10 2012-09-06 Nec Personal Computers Ltd 画像処理方法及び画像処理装置
JP4938901B1 (ja) * 2011-05-11 2012-05-23 学校法人 文教大学学園 ズーミング可能な立体写真ビューア
JP2012237970A (ja) * 2012-01-30 2012-12-06 Bunkyo Daigaku Gakuen ズーミング可能な立体写真ビューア
JP2015519590A (ja) * 2012-03-30 2015-07-09 カール ツァイス ヴィジョン インターナショナル ゲーエムベーハー 3次元画像の可視化システム
US9618759B2 (en) 2012-08-06 2017-04-11 Sony Corporation Image display apparatus and image display method
US10670880B2 (en) 2012-08-06 2020-06-02 Sony Corporation Image display apparatus and image display method
US11054650B2 (en) 2013-03-26 2021-07-06 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
JP2014241523A (ja) * 2013-06-12 2014-12-25 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2019217269A (ja) * 2018-06-11 2019-12-26 任天堂株式会社 立体視効果を調節するためのシステムおよび方法
JP2019004471A (ja) * 2018-07-12 2019-01-10 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6959682B1 (ja) * 2020-12-28 2021-11-05 株式会社計数技研 画像合成装置、画像合成方法、及びプログラム
WO2022145414A1 (ja) * 2020-12-28 2022-07-07 株式会社計数技研 画像合成装置、画像合成方法、及びプログラム
JP2022103572A (ja) * 2020-12-28 2022-07-08 株式会社計数技研 画像合成装置、画像合成方法、及びプログラム
JP2023059137A (ja) * 2021-10-14 2023-04-26 株式会社計数技研 画像合成装置、画像合成方法、及びプログラム

Also Published As

Publication number Publication date
JP3802630B2 (ja) 2006-07-26
US6111597A (en) 2000-08-29

Similar Documents

Publication Publication Date Title
JP3802630B2 (ja) 立体画像生成装置および立体画像生成方法
JP7042889B2 (ja) 仮想/拡張現実システムにおける内向き角度を用いてファイバスキャナをコリメートする設計
JP5515301B2 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
JP5160741B2 (ja) 3dグラフィック処理装置及びこれを利用した立体映像表示装置
US10241329B2 (en) Varifocal aberration compensation for near-eye displays
KR101912958B1 (ko) 증강 현실 디스플레이를 위한 자동 가변 가상 초점
US20160267720A1 (en) Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
JP4270347B2 (ja) 距離演算装置
JP2019502142A (ja) 逆角度回折格子を有する仮想/拡張現実システム
JP2005295004A (ja) 立体画像処理方法および立体画像処理装置
US9106906B2 (en) Image generation system, image generation method, and information storage medium
JPH0676073A (ja) 立体三次元画像を生成する方法及び装置
JP2017204674A (ja) 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
JP2014219621A (ja) 表示装置、表示制御プログラム
JPH09322199A (ja) 立体映像ディスプレイ装置
KR20190141656A (ko) 비디오 시스루를 갖는 디스플레이 시스템
CN109474816B (zh) 增强现实的虚实融合装置及其虚实融合方法、设备、介质
US11868527B2 (en) Eye tracking using alternate sampling
CN212460199U (zh) 头戴式显示设备
KR101947372B1 (ko) Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
CN115202475A (zh) 显示方法、装置、电子设备及计算机可读存储介质
KR20140115637A (ko) 다수 사용자에 입체 영상을 제공하는 시스템 및 그 방법
JPH09224267A (ja) 立体映像作成装置及び立体映像表示装置並びにシステム
JPH08223609A (ja) 焦点調節の可能な三次元表示方法および表示装置
JPH09233499A (ja) 立体画像生成装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051026

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060428

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100512

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100512

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees