JPH10333094A - 立体画像表示装置、立体画像表示方法及び記録媒体 - Google Patents

立体画像表示装置、立体画像表示方法及び記録媒体

Info

Publication number
JPH10333094A
JPH10333094A JP9253903A JP25390397A JPH10333094A JP H10333094 A JPH10333094 A JP H10333094A JP 9253903 A JP9253903 A JP 9253903A JP 25390397 A JP25390397 A JP 25390397A JP H10333094 A JPH10333094 A JP H10333094A
Authority
JP
Japan
Prior art keywords
stereoscopic
eye
display
image
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9253903A
Other languages
English (en)
Other versions
JP3651204B2 (ja
Inventor
Toshihito Hoshino
俊仁 星野
Toru Ozeki
徹 大関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP25390397A priority Critical patent/JP3651204B2/ja
Priority to EP97310250A priority patent/EP0849959B1/en
Priority to US08/992,337 priority patent/US6388639B1/en
Priority to DE69728633T priority patent/DE69728633T2/de
Publication of JPH10333094A publication Critical patent/JPH10333094A/ja
Application granted granted Critical
Publication of JP3651204B2 publication Critical patent/JP3651204B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/368Image reproducers using viewer tracking for two or more viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/373Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/376Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/38Image reproducers using viewer tracking for tracking vertical translational head movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

(57)【要約】 【課題】 仮想立体空間内に忠実に再現された仮想物体
を表示する。 【解決手段】 実際の空間位置と位置センサで検出した
仮想空間となり得べき空間位置との誤差を補正するため
の空間補正処理が行われ(100)、スクリーン16上
に表示される画像の3次元位置を正確に把握するための
スクリーン位置設定処理が行われ(102)、オペレー
タOPの実際の視点位置を定めるための視点位置設定処
理が行われることにより(104)、視点位置及びスク
リーンの位置が正確に入力でき、空間補正された仮想空
間上に上記設定されたスクリーン位置及び視点位置を採
用して仮想立体空間内に実物に忠実に高精度の立体画像
表示が行われる(106)。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、立体画像表示装
置、立体画像表示方法及び記録媒体にかかり、特に、仮
想立体空間内に仮想物体を表示する立体画像表示装置、
立体画像表示方法及び記録媒体に関する。
【0002】
【従来の技術】車両の車体の形状や部品等を設計や評価
する場合、設計値による部材(設計値と同一の値である
実物)を作成して評価や検討そして再設計という処理を
繰り返し行っていた。ところが、部材を作成して検討や
再設計を繰り返すことは、膨大な時間を必要とする。こ
のため、実物である部材を製作することなく、評価や検
討することを可能とする装置の必要性が叫ばれている。
【0003】このような装置として、設計値により形成
されるべき実物に相当する仮想物体を仮想空間上に表示
させる、コンピュータグラフィック(CG)の立体画像
により再現して検討を行うことや再設計の情報を得るこ
とが注目されている。すなわち、最近では、設計段階か
らCADを用いたコンピュータ設計が行われており、こ
のCADデータを用いて立体画像用のデータを生成し、
立体画像を表示させることが可能となってきている。一
例としては、立体視眼鏡を用いて、3次元空間を生成
し、その仮想空間内の仮想物体を操作することにより、
CADの操作性を向上させる立体表示装置が知られてい
る(特開平6−131442号公報参照)。
【0004】
【発明が解決しようとする課題】しかしながら、実物で
ある部材を作成することなく評価や検討等をするために
は、設計値の忠実な再現、すなわち表示が必要となる。
このためには、実物と同一サイズの表示や予め定めた一
定尺度による表示を行わなければならない。従来の立体
表示装置では、表示精度について十分な検討がなされて
おらず、実物と同一サイズの表示や予め定めた一定尺度
による表示をすることができない。
【0005】また、個々のオペレータでは仮想立体空間
内の仮想物体の認知(知覚情報)についてばらつきがあ
るが、従来の立体表示装置では、この点について十分な
検討がなされておらず、高精度の立体表示が不可能であ
った。
【0006】さらに、従来の立体表示装置は、仮想空間
上に実物と同様の仮想物体を表示させることができる
が、その仮想物体は唯一のオペレータのみが目視可能で
あった。このため、立体表示された仮想物体を複数のオ
ペレータ(観察者)が目視することが困難であった。
【0007】本発明は、上記事実を考慮して、仮想立体
空間内に忠実に再現された仮想物体を表示することがで
きる立体画像表示装置、立体画像表示方法及び記録媒体
を得ることが目的である。
【0008】また、上記目的に加え、本発明は、仮想立
体空間内に再現された仮想物体を複数のオペレータが認
知することができる立体画像表示装置、立体画像表示方
法及び記録媒体を得ることを目的とする。
【0009】
【課題を解決するための手段】上記目的を達成するため
に請求項1に記載の発明の立体画像表示装置は、画像を
表示するための表示領域を有する表示手段と、前記表示
手段から離れた位置に設けられかつ、各々入力された信
号に基づいて光の透過及び未透過を切り換え可能な左眼
用光学素子及び右眼用光学素子を備えた立体視眼鏡と、
前記立体視眼鏡近傍に位置する眼球の位置を入力するた
めの視点位置入力手段と、前記表示手段の表示領域上の
位置を入力するための表示位置入力手段と、前記入力さ
れた眼球の位置及び前記表示領域上の位置に基づいて前
記表示手段と前記立体視眼鏡との間に含まれる空間を仮
想立体空間に定め、仮想立体空間内で仮想物体を認知さ
せるために仮想物体の左眼用画像及び仮想物体の右眼用
画像を前記表示手段に切り換えて表示させると共に、該
切り換えに同期して前記左眼用光学素子及び右眼用光学
素子が交互に光を透過または未透過を繰り返すように切
換信号を出力する制御手段と、を備えている。
【0010】請求項2に記載の発明は、請求項1に記載
の立体画像表示装置において、前記表示手段は光の一部
を反射する反射部材を含んで形成され、前記視点位置入
力手段は前記立体視眼鏡近傍に位置する眼球が前記表示
手段上に写し出された該表示手段上の位置の入力に基づ
いて視点位置を入力することを特徴とする。
【0011】請求項3に記載の発明は、請求項1に記載
の立体画像表示装置において、前記視点位置入力手段
は、自己の位置を入力するための位置入力部と前記位置
入力部に対して基準視軸を形成する照準部とを備え、入
力された自己の位置及び前記基準視軸に基づいて視点位
置を入力することを特徴とする。
【0012】請求項4に記載の発明は、請求項2または
3に記載の立体画像表示装置において、前記視点位置入
力手段は、前記立体視眼鏡近傍に位置する眼球の回転を
検出する検出部を備え、検出された眼球の回転に基づい
て視点位置を入力することを特徴とする。
【0013】請求項5に記載の発明は、請求項2または
3に記載の立体画像表示装置において、前記視点位置入
力手段は、前記表示手段上の注視位置から眼球の回転を
検出する検出手段を備え、検出された眼球の回転に基づ
いて視点位置を入力することを特徴とする。
【0014】請求項6に記載の発明は、請求項1乃至請
求項5の何れか1項に記載の立体画像表示装置におい
て、前記表示位置入力手段は、自己の位置を入力するた
めの位置入力部と前記位置入力部に対して基準光軸を形
成する光照射部とを備え、前記表示領域上に表示された
基準図形について入力された自己の位置及び前記基準光
軸に基づいて表示領域上の位置を入力することを特徴と
する。
【0015】請求項7に記載の発明は、請求項1乃至請
求項6の何れか1項に記載の立体画像表示装置におい
て、前記仮想立体空間内の知覚位置と、前記視点位置入
力手段で入力する位置及び前記表示位置入力手段で入力
する位置の少なくとも一方の位置との対応関係を予め求
め、該対応関係に基づいて仮想物体を表示するための仮
想立体空間の座標を補正する補正手段をさらに備えたこ
とを特徴とする。
【0016】請求項8に記載の発明は、請求項7に記載
の立体画像表示装置において、前記補正手段は、前記対
応関係に基づいて仮想物体の左眼用画像及び仮想物体の
右眼用画像を計算することを特徴とする。
【0017】請求項9に記載の発明は、請求項7または
8に記載の立体画像表示装置において、前記補正手段
は、予め測定された仮想立体空間内に表示した仮想物体
の位置と、該仮想物体の知覚位置を測定した測定位置と
の誤差に基づいて、前記対応関係を求めることを特徴と
する。
【0018】請求項10に記載の発明は、プログラムさ
れたコンピュータによって立体画像を表示する立体画像
表示方法であって、各々入力された信号に基づいて光の
透過及び未透過を切り換え可能な左眼用光学素子及び右
眼用光学素子を有する立体視眼鏡近傍に位置する眼球の
位置を入力し、画像を表示するための表示領域を有する
表示手段の該表示領域上の位置を入力し、前記眼球の位
置及び前記表示領域上の位置に基づいて前記表示手段と
前記立体視眼鏡との間に含まれる空間を仮想立体空間に
定め、仮想立体空間内で仮想物体を認知させるために仮
想物体の左眼用画像及び仮想物体の右眼用画像を切り換
えると共に、該切り換えに同期して前記左眼用光学素子
及び右眼用光学素子を光の透過または未透過に切り換え
ることを特徴とする。
【0019】請求項11に記載の発明は、コンピュータ
によって立体画像を表示するための立体画像表示プログ
ラムを記録した記録媒体であって、各々入力された信号
に基づいて光の透過及び未透過を切り換え可能な左眼用
光学素子及び右眼用光学素子を有する立体視眼鏡近傍に
位置する眼球の位置を入力し、画像を表示するための表
示領域を有する表示手段の該表示領域上の位置を入力
し、前記眼球の位置及び前記表示領域上の位置に基づい
て仮想立体空間を定め、仮想立体空間内で仮想物体を認
知させるために仮想物体の左眼用画像及び仮想物体の右
眼用画像を切り換えると共に、該切り換えに同期して前
記左眼用光学素子及び右眼用光学素子を光の透過または
未透過に切り換えることを特徴とする。
【0020】請求項12に記載の発明の立体画像表示装
置は、画像を表示するための表示手段と、前記表示手段
から離れた位置に設けられかつ、各々自己の位置を報知
する報知手段を備えると共に、各々入力された信号に基
づいて光の透過及び未透過を切り換え可能な左眼用光学
素子及び右眼用光学素子を備えた複数の立体視眼鏡と、
前記複数の立体視眼鏡から知覚対象の立体視眼鏡を選択
する選択手段と、前記表示手段の位置を入力するための
表示位置入力手段と、前記表示手段から離間しかつ予め
定めた基準位置及び前記表示手段の位置に基づいて前記
表示手段と前記立体視眼鏡との間に含まれる空間を仮想
立体空間に定め、仮想立体空間内で仮想物体を認知させ
るために仮想物体の左眼用画像及び仮想物体の右眼用画
像を前記表示手段に切り換えて表示させると共に、該切
り換えに同期して前記知覚対象の立体視眼鏡の左眼用光
学素子及び右眼用光学素子が交互に光を透過または未透
過を繰り返すように切換信号を出力する制御手段と、を
備えている。
【0021】請求項13に記載の発明は、請求項12に
記載の立体画像表示装置において、前記基準位置は、前
記複数の立体視眼鏡のうちの1つの立体視眼鏡の報知手
段から報知された自己の位置に基づいて基準位置を定め
ることを特徴とする。
【0022】請求項14に記載の発明は、請求項12に
記載の立体画像表示装置において、前記基準位置は、予
め定めた視点位置または前記複数の立体視眼鏡のうちの
1つの立体視眼鏡の報知手段から報知された位置に基づ
いて定めた視点位置であることを特徴とする。
【0023】請求項15に記載の発明は、請求項12に
記載の立体画像表示装置において、前記選択手段は、前
記基準位置まで最短距離の前記立体視眼鏡を選択するこ
とを特徴とする。
【0024】請求項16に記載の発明は、請求項12乃
至請求項14のうち何れか1項に記載の立体画像表示装
置において、前記選択手段は、前記基準位置に基づいて
前記立体視眼鏡が存在することが予想される存在領域を
定める領域設定手段を有し、該存在領域及び前記報知手
段から報知された複数の位置に基づいて知覚対象の立体
視眼鏡を選択することを特徴とする。
【0025】請求項17に記載の発明は、請求項12乃
至請求項16の何れか1項に記載の立体画像表示装置に
おいて、前記立体視眼鏡の左眼用光学素子及び右眼用光
学素子は、液晶シャッタであることを特徴とする。
【0026】請求項18に記載の発明は、プログラムさ
れたコンピュータによって立体画像を表示する立体画像
表示方法であって、画像を表示するための表示領域を有
する表示手段の該表示領域上の位置を入力し、各々入力
された信号に基づいて光の透過及び未透過を切り換え可
能な左眼用光学素子及び右眼用光学素子を有する複数の
立体視眼鏡から知覚対象の立体視眼鏡を選択し、前記表
示手段から離間しかつ予め定めた基準位置及び前記表示
手段の位置に基づいて前記表示手段と前記立体視眼鏡と
の間に含まれる空間を仮想立体空間に定め、仮想立体空
間内で仮想物体を認知させるために仮想物体の左眼用画
像及び仮想物体の右眼用画像を前記表示手段に切り換え
て表示させると共に、該切り換えに同期して前記知覚対
象の立体視眼鏡の左眼用光学素子及び右眼用光学素子を
光の透過または未透過に切り換えることを特徴とする。
【0027】請求項19に記載の発明は、コンピュータ
によって立体画像を表示するための立体画像表示プログ
ラムを記録した記録媒体であって、画像を表示するため
の表示領域を有する表示手段の該表示領域上の位置を入
力し、各々入力された信号に基づいて光の透過及び未透
過を切り換え可能な左眼用光学素子及び右眼用光学素子
を有する複数の立体視眼鏡から知覚対象の立体視眼鏡を
選択し、前記表示手段から離間しかつ予め定めた基準位
置及び前記表示手段の位置に基づいて前記表示手段と前
記立体視眼鏡との間に含まれる空間を仮想立体空間に定
め、仮想立体空間内で仮想物体を認知させるために仮想
物体の左眼用画像及び仮想物体の右眼用画像を前記表示
手段に切り換えて表示させると共に、該切り換えに同期
して前記知覚対象の立体視眼鏡の左眼用光学素子及び右
眼用光学素子を光の透過または未透過に切り換えること
を特徴とする。
【0028】請求項1の発明では、視点位置入力手段に
より立体視眼鏡近傍に位置する眼球の位置が入力され
る。また、表示位置入力手段により表示手段の表示領域
上の位置が入力される。これによって、表示手段の表示
領域上の位置と眼球の位置とが正確に対応される。制御
手段は、入力された眼球の位置及び表示領域上の位置に
基づいて表示手段と立体視眼鏡との間に含まれる空間を
仮想立体空間に定める。これと共に、制御手段は、仮想
立体空間内で仮想物体を認知させるために仮想物体の左
眼用画像及び仮想物体の右眼用画像を前記表示手段に切
り換えて表示させると共に、該切り換えに同期して前記
左眼用光学素子及び右眼用光学素子が交互に光を透過ま
たは未透過を繰り返すように切換信号を出力する。立体
視眼鏡は、左眼用光学素子及び右眼用光学素子を備えて
おり、各々について光の透過及び未透過が制御手段から
の信号によって切り換えられることにより仮想立体空間
内に表示された実際の物体に相当する仮想物体がオペレ
ータにより認知される。
【0029】前記表示手段が光の一部を反射する反射部
材を含んで形成されることによって、オペレータの瞳を
表示手段に写し出すことができ、請求項2に記載したよ
うに、前記視点位置入力手段は前記立体視眼鏡近傍に位
置する眼球が前記表示手段上に写し出された該表示手段
上の位置の入力に基づいて視点位置を入力することがで
きる。すなわち、オペレータの瞳から表示手段に写し出
された瞳までの視軸と表示手段に写し出された瞳とオペ
レータの瞳とを結ぶ直線とが一致し、表示手段上の位置
の入力が視点位置を正確に対応することになる。
【0030】前記視点位置入力手段は、請求項3に記載
したように、自己の位置を入力するための位置入力部と
前記位置入力部に対して基準視軸を形成する照準部とを
備え、入力された自己の位置及び前記基準視軸に基づい
て視点位置を入力することによって、オペレータが目視
する表示手段上の位置は正確に特定することができると
共に、その特定できる位置を指示した自己の位置を正確
に入力することができる。
【0031】また、前記視点位置入力手段は、請求項4
に記載したように、前記立体視眼鏡近傍に位置する眼球
の回転を検出する検出部を備え、検出された眼球の回転
に基づいて視点位置を入力することによって、眼球の回
転運動による視点位置の移動を検出でき、正確に視点位
置を入力することができる。
【0032】また、前記視点位置入力手段は、請求項5
に記載したように、前記表示手段上の注視位置から眼球
の回転を検出する検出手段を備え、検出された眼球の回
転に基づいて視点位置を入力することによって、眼球の
回転運動による視点位置の移動を検出でき、正確に視点
位置を入力することができる。
【0033】前記表示位置入力手段は、請求項6に記載
したように、自己の位置を入力するための位置入力部と
前記位置入力部に対して基準光軸を形成する光照射部と
を備え、前記表示領域上に表示された基準図形について
入力された自己の位置及び前記基準光軸に基づいて表示
領域上の位置を入力することによって、表示手段上に基
準光軸に沿う光で指示することができると共に、その表
示手段上を指示した位置の延長線上の自己の位置を正確
に入力することができる。
【0034】請求項7に記載したように、前記仮想立体
空間内の知覚位置と、前記視点位置入力手段で入力する
位置及び前記表示位置入力手段で入力する位置の少なく
とも一方の位置との対応関係を予め求め、該対応関係に
基づいて仮想物体を表示するための仮想立体空間の座標
を補正する補正手段をさらに備えることによって、仮想
立体空間内の位置と視点位置入力手段で入力する位置と
の対応関係や、仮想立体空間内の位置と表示位置入力手
段で入力する位置との対応関係が定まるので、仮想物体
を表示するための仮想立体空間の座標を容易に補正する
ことができ、高精度で仮想物体を表示することができ
る。
【0035】オペレータが画像を目視するとき、常時頭
部が固定されているわけではない。従って、オペレータ
の頭部が移動することで眼球の位置と表示領域との間の
関係は相対的に移動する。この場合、上記対応関係を仮
想立体空間内の知覚位置と、前記視点位置入力手段で入
力する位置及び前記表示位置入力手段で入力する位置の
少なくとも一方の所定位置との対応関係を求めたのみで
は、目視位置によって、仮想物体の表示精度が悪化す
る。このため、眼球の位置と表示領域迄の空間の距離を
考慮して、対応関係を求めるようにすれば、オペレータ
の頭部の移動や表示装置の移動によっても、高精度で仮
想物体を表示することができる。
【0036】前記補正手段は、請求項8に記載したよう
に、前記対応関係に基づいて仮想物体の左眼用画像及び
仮想物体の右眼用画像を計算することによって、より正
確な位置に仮想物体を立体画像として得ることができ
る。
【0037】また、前記補正手段は、請求項9に記載し
たように、予め測定された仮想立体空間内に表示した仮
想物体の位置と、該仮想物体の知覚位置を測定した測定
位置との誤差に基づいて、前記対応関係を求めることに
より、オペレータの知覚特性に応じた仮想物体を表示す
ることができる。
【0038】上記立体画像表示装置では、請求項10に
も記載したように、プログラムされたコンピュータによ
って立体画像を表示する立体画像表示方法による処理が
実行される。すなわち、各々入力された信号に基づいて
光の透過及び未透過を切り換え可能な左眼用光学素子及
び右眼用光学素子を有する立体視眼鏡近傍に位置する眼
球の位置を入力し、画像を表示するための表示領域を有
する表示手段の該表示領域上の位置を入力し、前記眼球
の位置及び前記表示領域上の位置に基づいて前記表示手
段と前記立体視眼鏡との間に含まれる空間を仮想立体空
間に定め、仮想立体空間内で仮想物体を認知させるため
に仮想物体の左眼用画像及び仮想物体の右眼用画像を切
り換えると共に、該切り換えに同期して前記左眼用光学
素子及び右眼用光学素子を光の透過または未透過に切り
換える。
【0039】また、眼球の位置と表示領域迄の空間の距
離は表示中に変動することがあるので、この場合には、
請求項11にも記載したように、前記仮想立体空間内の
知覚位置と、前記眼球の位置及び前記表示領域上の位置
の少なくとも一方の位置との対応関係を予め求め、該対
応関係に基づいて仮想物体を表示するための仮想立体空
間の座標を補正すればよい。
【0040】上記実行される処理は、請求項11に記載
したように、コンピュータによって立体画像を表示する
ための立体画像表示プログラムを記録した記録媒体に格
納することができる。この記録媒体には、各々入力され
た信号に基づいて光の透過及び未透過を切り換え可能な
左眼用光学素子及び右眼用光学素子を有する立体視眼鏡
近傍に位置する眼球の位置を入力し、画像を表示するた
めの表示領域を有する表示手段の該表示領域上の位置を
入力し、前記眼球の位置及び前記表示領域上の位置に基
づいて仮想立体空間を定め、仮想立体空間内で仮想物体
を認知させるために仮想物体の左眼用画像及び仮想物体
の右眼用画像を切り換えると共に、該切り換えに同期し
て前記左眼用光学素子及び右眼用光学素子を光の透過ま
たは未透過に切り換えることによって、立体画像を表示
するための立体画像表示プログラムが記録される。
【0041】請求項12の発明では、選択手段によっ
て、複数の立体視眼鏡から知覚対象の立体視眼鏡が選択
される。制御手段は、予め定めた基準位置及び表示位置
入力手段により入力された表示手段の位置に基づいて、
表示手段と、選択された立体視眼鏡との間に含まれる空
間を仮想立体空間に定める。これと共に、制御手段は、
仮想立体空間内で仮想物体を認知させるために仮想物体
の左眼用画像及び仮想物体の右眼用画像を前記表示手段
に切り換えて表示させると共に、該切り換えに同期して
前記左眼用光学素子及び右眼用光学素子が交互に光を透
過または未透過を繰り返すように切換信号を出力する。
立体視眼鏡は、左眼用光学素子及び右眼用光学素子を備
えており、各々について光の透過及び未透過が制御手段
からの信号によって切り換えられることにより仮想立体
空間内に表示された実際の物体に相当する仮想物体が、
複数の立体視眼鏡から知覚対象として選択された立体視
眼鏡を装着したオペレータにより認知される。
【0042】従って、複数の立体視眼鏡について知覚対
象の立体視眼鏡を選択して仮想物体を認知させることが
できるので、複数のオペレータのうち選択した立体視眼
鏡を有するオペレータに対して仮想物体を提示すること
ができる。また、複数の立体視眼鏡について知覚対象の
立体視眼鏡を順次選択することによって、複数のオペレ
ータに仮想物体を提示することができる。
【0043】例えば、車両内部から目視する物体につい
て仮想立体空間を提示して仮想物体を知覚させようとす
る場合、前記基準位置は、車両内部空間の任意の位置、
例えば運転席を基準位置とすることができる。また、通
常、車両内には複数の乗員が着座可能であるので、各乗
員の着座位置を基準位置とすることにより、それぞれの
乗員に対して仮想物体を提示することができる。そこ
で、前記基準位置は、請求項13に記載したように、複
数の立体視眼鏡のうち1つの立体視眼鏡の報知手段から
報知された自己の位置に基づいて基準位置を定めること
ができる。このように、報知手段から報知された位置に
基づいて基準位置を定めることによって、立体視眼鏡を
装着しているオペレータに対して最適な仮想物体を提示
することができる。
【0044】また、車両内部から目視する物体について
仮想立体空間を提示して仮想物体を知覚させようとする
場合、その知覚は目視位置からであるので、前記基準位
置は、運転席に着座したドライバの目視位置とすること
ができる。また、車両内の複数の乗員の各々の着座位置
または目視位置を基準位置とすることにより、それぞれ
の乗員に対して仮想物体を提示することができる。そこ
で、請求項14に記載したように、予め定めた視点位置
または複数の立体視眼鏡のうちの1つの立体視眼鏡の報
知手段から報知された位置に基づいて定めた視点位置を
前記基準位置とすることによって、知覚対象となるオペ
レータが目視する位置から正確に仮想立体空間に定めて
仮想物体を表示させることができる。
【0045】前記選択手段が複数の立体視眼鏡から知覚
対象の立体視眼鏡を選択する場合、複数の立体視眼鏡の
うち、1つを指定する入力手段によって定めて選択する
ようにしてもよい。また、複数の立体視眼鏡から自動的
に知覚対象の立体視眼鏡を選択することもできる。すな
わち、請求項15に記載したように、前記選択手段とし
て、基準位置まで最短距離の前記立体視眼鏡を選択する
ようにすれば、基準位置付近に立体視眼鏡を装着した複
数のオペレータが存在しても、その中から最短距離の立
体視眼鏡が選択されるので、簡単かつ正確に知覚対象と
なるオペレータに対して仮想物体を表示させることがで
きる。
【0046】また、前記選択手段は、請求項16に記載
したように、前記基準位置に基づいて立体視眼鏡が存在
することが予想される存在領域を定める領域設定手段を
有することができる。領域設定手段は、基準位置から所
定範囲、例えば半径1mで規定される形状(円や楕円
等)の存在領域を定める。この存在領域には立体視眼鏡
を装着したオペレータが存在することが予想されるの
で、存在領域及び報知手段から報知された複数の位置に
基づいて、知覚対象の立体視眼鏡を選択することができ
る。存在領域及び報知手段による位置からの選択は、存
在領域内に立体視眼鏡が存在するときに基準点まで最短
距離の立体視眼鏡を選択したり、存在領域に対する依存
度が高い立体視眼鏡例えば存在領域外まで最長距離の立
体視眼鏡を選択したりする。また、存在領域内に立体視
眼鏡が存在しないときに存在領域まで最短距離の立体視
眼鏡を選択すればよい。このように、存在領域及び報知
手段による位置から知覚対象の立体視眼鏡を選択できる
ので、複数の立体視眼鏡から自動的に知覚対象の立体視
眼鏡を選択することもできる。
【0047】なお、請求項17に記載したように、前記
立体視眼鏡の左眼用光学素子及び右眼用光学素子とし
て、液晶シャッタを用いることによって、立体視眼鏡の
左眼用光学素子及び右眼用光学素子は追従性を高速にか
つ遮光性の切り替えを容易にすることができ、立体視眼
鏡により仮想物体を容易にオペレータに認知させること
ができる。
【0048】上記立体画像表示装置では、請求項18に
も記載したように、プログラムされたコンピュータによ
って立体画像を表示する立体画像表示方法による処理が
実行される。すなわち、画像を表示するための表示領域
を有する表示手段の該表示領域上の位置を入力し、各々
入力された信号に基づいて光の透過及び未透過を切り換
え可能な左眼用光学素子及び右眼用光学素子を有する複
数の立体視眼鏡から知覚対象の立体視眼鏡を選択し、前
記表示手段から離間しかつ予め定めた基準位置及び前記
表示手段の位置に基づいて前記表示手段と前記立体視眼
鏡との間に含まれる空間を仮想立体空間に定め、仮想立
体空間内で仮想物体を認知させるために仮想物体の左眼
用画像及び仮想物体の右眼用画像を前記表示手段に切り
換えて表示させると共に、該切り換えに同期して前記知
覚対象の立体視眼鏡の左眼用光学素子及び右眼用光学素
子を光の透過または未透過に切り換える。
【0049】上記実行される処理は、請求項19に記載
したように、コンピュータによって立体画像を表示する
ための立体画像表示プログラムを記録した記録媒体に格
納することができる。この記録媒体には、画像を表示す
るための表示領域を有する表示手段の該表示領域上の位
置を入力し、各々入力された信号に基づいて光の透過及
び未透過を切り換え可能な左眼用光学素子及び右眼用光
学素子を有する複数の立体視眼鏡から知覚対象の立体視
眼鏡を選択し、前記表示手段から離間しかつ予め定めた
基準位置及び前記表示手段の位置に基づいて前記表示手
段と前記立体視眼鏡との間に含まれる空間を仮想立体空
間に定め、仮想立体空間内で仮想物体を認知させるため
に仮想物体の左眼用画像及び仮想物体の右眼用画像を前
記表示手段に切り換えて表示させると共に、該切り換え
に同期して前記知覚対象の立体視眼鏡の左眼用光学素子
及び右眼用光学素子を光の透過または未透過に切り換え
ることによって、立体画像を表示するための立体画像表
示プログラムが記録される。
【0050】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態の一例を詳細に説明する。
【0051】〔第1実施の形態〕第1実施の形態は、単
一のオペレータ(観察者)に対して立体画像を提示する
場合に本発明を適用したものである。
【0052】図1に示すように、本実施の形態の立体画
像表示装置10は、暗室60内に、スクリーン16に画
像を投影するプロジェクタ12を備えている。プロジェ
クタ12は、立体表示のための画像を生成する制御装置
14上に取り付けられている。
【0053】プロジェクタ12の投影側でスクリーン1
6より下流側にはオペレータOPが着座するためのシー
ト24が位置している。シート24は台座26上に設け
られ、この台座26は蛇腹28Aを介してモータ28に
連結されている。モータ28は床上を移動可能な台車2
8Bに固定されており、モータ28の駆動によって、蛇
腹28Aが伸縮する。この蛇腹28Aの伸縮により、台
座26が上下方向(図1の矢印UD方向)に移動され、
シート24に着座したオペレータOPが昇降する。この
シート24に着座したオペレータOPの昇降は、車種に
応じた車高の調整に用いられるものである。
【0054】なお、台車28Bは、床上を所定方向(前
後方向として図1の矢印FR方向、及び左右方向として
図1の矢印RL方向)に移動可能である。
【0055】オペレータOPは、位置座標等を入力する
ための位置入力装置18(詳細は後述)を所持してい
る。また、オペレータOPの頭部には、液晶シャッタ眼
鏡20が取り付けられており、この液晶シャッタ眼鏡2
0には位置センサ22が設けられている。位置センサ2
2は、磁界検出センサであり、オペレータOPの後方に
設けられた磁界発生装置30から発生された磁界を検出
して、位置センサ22が位置する3次元座標及び方向を
検出するためのものである。
【0056】図2に示すように、制御装置14は、単数
または複数のCPU34,RAM36,ROM38、及
び入出力ポート40を含んだマイクロコンピュータで構
成され、各々コマンドやデータ授受が可能なようにバス
42によって接続されている。この入出力ポート40に
はドライバ44を介して位置入力装置18が接続されて
いる。また、入出力ポート40にはドライバ46を介し
て液晶シャッタ眼鏡20が接続され、ドライバ48を介
して位置センサ22が接続されている。また、プロジェ
クタ12は、ドライバ50を介して入出力ポート40に
接続されている。さらに、入出力ポート40には、ドラ
イバ52を介してモータ28が接続され、ドライバ54
を介して磁界発生装置30が接続されている。また、入
出力ポート40にはドライバ56を介してキーボード3
2が接続されている。また、ROM38には、後述する
処理ルーチンが記憶されている。
【0057】また、入出力ポート40には、記録媒体と
してのフロッピーディスク37が挿抜可能なフロッピー
デュスクユニット(FDU)35が接続されている。な
お、後述する処理ルーチン等は、FDU35を用いてフ
ロッピーディスク37に対して読み書き可能である。従
って、後述する処理ルーチンは、ROM38に記憶する
ことなく、予めフロッピーディスク37に記録してお
き、FDU35を介してフロッピーディスク37に記録
された処理プログラムを実行してもよい。また、制御装
置14にハードディスク装置等の大容量記憶装置(図示
省略)を接続し、フロッピーディスク37に記録された
処理プログラムを大容量記憶装置(図示省略)へ格納
(インストール)して実行するようにしてもよい。ま
た、記録媒体としては、CD−ROM等の光ディスク
や、MD,MO等の光磁気ディスクがあり、これらを用
いるときには、上記FDU35に代えてまたはさらにC
D−ROM装置、MD装置、MO装置等を用いればよ
い。
【0058】図3に示すように、位置入力装置18は、
ペン型形状のボデー62を有しており、先端部に磁界を
検出する検出部64が取り付けられると共に、検出する
タイミングを指示するための指示部66が取り付けられ
ている。なお、本実施の形態では、位置入力装置18と
して、3次元の座標入力を容易とするため、以下の説明
では次に示す他の3次元ポインタ18A,18Bを用い
ることもある。
【0059】図4に示すように、3次元ポインタ18A
は、レーザ装置68を有しており、レーザ装置68に取
り付けられた把手69に磁界を検出することにより3次
元の位置を検出する検出部70が取り付けられると共
に、検出するタイミングを指示するための指示部72が
取り付けられている。また、図5に示すように、3次元
ポインタ18Bは、円筒状のボデー75の両端部に照準
74、76が取り付けられている。ボデー75には3次
元ポインタ18Aと同様に、把手69が取り付けられて
おり、この把手69には磁界を検出する検出部70が取
り付けられると共に、検出するタイミングを指示するた
めの指示部72が取り付けられている。これらの3次元
ポインタ18A,18Bは、位置入力装置18として制
御装置14に接続可能とされている。
【0060】次に、本実施の形態の作用を説明する。立
体画像表示装置10に電源が投入されると、制御装置1
4において、図6の処理ルーチンが実行される。まず、
ステップ100では実際の空間位置と位置センサで検出
した仮想空間となり得べき空間位置との誤差を補正する
ための空間補正処理が行われ、次のステップ102では
スクリーン16上に表示される画像の3次元位置を正確
に把握するためのスクリーン位置設定処理が行われ、次
のステップ104ではオペレータOPの実際の視点位置
を定めるための視点位置設定処理が行われ、次のステッ
プ106では空間補正された仮想空間上に上記設定され
たスクリーン位置及び視点位置を採用して立体画像表示
が行われる。
【0061】次に、図6のステップ100の空間補正処
理の詳細を説明する。図7に示すように、空間補正処理
では、ステップ110において空間フレーム座標データ
を読み取り、次のステップ112においてフレームを表
示する。空間フレーム座標データは、3次元空間上にて
所定間隔dの座標値をXYZの各方向に所定個(例えば
m個)有する座標データであり、各座標点を直線で結ぶ
ことにより、辺の長さdの所定の大きさの小立方体が積
み重ねられた辺の長さmdの立方体を構成する。また、
空間フレーム座標データによるフレーム表示は、長さd
の間隔で糸やレーザ光線(図示省略)をXYZの各方向
に直交するように配置することにより形成することがで
きる。
【0062】次のステップ114では、表示されたフレ
ームの交点座標を入力する。すなわち、ペン型の位置入
力装置18の先端部の検出部64を表示されたフレーム
の複数の交点に位置させて、各々で指示部66により検
出を指示して磁界を検出することにより、表示されたフ
レームの交点座標を入力する。次のステップ116で
は、表示されたフレームの交点座標と、磁界の検出によ
り入力された交点座標との対応関係を補正テーブルとし
て求めて記憶する。
【0063】これにより、磁界の検出により入力される
座標は、実際の空間座標に対応されることになる。
【0064】次に、図6のステップ102のスクリーン
位置設定処理の詳細を説明する。なお、ステップ102
の処理では、位置入力装置18として、レーザ装置68
を有する3次元ポインタ18Aを用いている。また、こ
の3次元ポインタ18Aは、指示部72で検出を指示す
ることにより、検出部70で磁界を検出すると共に、方
向を検出するものとする。すなわち、3次元ポインタ1
8Aは、指示部72の指示で、3次元ポインタ18Aか
らレーザ光が射出される中心点J(図4参照)の3次元
座標値、及びレーザ光の射出方向に沿う方向のベクトル
を出力する。
【0065】図8に示すように、スクリーン位置設定処
理では、ステップ120において、基準形状データを読
み取り、次のステップ122で基準形状をスクリーン1
6に表示する。本実施の形態では、図9に示すように、
スクリーン16におけるプロジェクタ12の投影可能範
囲の最大枠16Aの相似形でかつその最大枠より小さな
所定の相似比の長方形16Bを基準形状に設定してい
る。最大枠16Aは、スクリーン表示外枠として四隅の
点A,B,C,Dで定められ、その最大枠16Aより小
さな長方形16Bも同様に四隅の点A’,B’,C’,
D’で定められる。
【0066】次のステップ124では、スクリーン16
上に表示された基準形状である長方形16Bの四隅の点
A’,B’,C’,D’を3次元ポインタ18Aによっ
て入力することで、各3次元座標及びベクトルを読み取
る。すなわち、点A’を3次元ポインタ18Aから射出
されるレーザ光を照射し、指示部72で指示することで
点A”の座標値及びベクトルaを得る。同様に、点B’
を3次元ポインタ18Aのレーザ光で照射して指示部7
2で指示し点B”の座標値及びベクトルbを得て、点
C’を3次元ポインタ18Aのレーザ光で照射して指示
部72で指示し点C”の座標値及びベクトルcを得て、
点D’を3次元ポインタ18Aのレーザ光で照射して指
示部72で指示し点D”の座標値及びベクトルdを得
る。
【0067】次のステップ126では、点A”,B”,
C”,D”の座標値及びベクトルa,b,c,dを用い
て、以下に示すように、スクリーン16上に表示された
基準形状である長方形16Bの四隅の点A’,B’,
C’,D’の仮想空間上の座標値を得る。
【0068】仮想空間上の中心点をOとすると、中心点
Oからスクリーン16上の点A’,B’,C’,D’ま
では、次のように表せる。
【0069】OA’=OA”+pa OB’=OB”+qb OC’=OC”+rc OD’=OD”+sd 但し、p,q,r,sは変数(p>0,q>0,r>
0,s>0)
【0070】点A”,B”,C”,D”の座標値、及び
ベクトルa,b,c,dは既知であり、A’B’=C’
D’,A’B’・A’D’=0であることにより、点
A’,B’,C’,D’の座標値を求めることができ
る。
【0071】次のステップ128では、上記で求めた点
A’,B’,C’,D’の座標値を用いて最大枠16A
の四隅の点A,B,C,Dの座標値を求める。本実施の
形態では、最大枠16Aと長方形16Bとが中心が同一
の長方形であるため、点A’,B’,C’,D’の座標
値からその中心を求めて相似比を用いて点A,B,C,
Dの座標値を求める。
【0072】このように、仮想空間上の座標値から遠隔
に設置されたスクリーン16の3次元の位置を高精度で
かつ容易に求めることができる。
【0073】なお、上記では基準形状として四角形を用
いた場合を説明したが、測定する基準形状を変形(多角
形)したり、測定点を増加させたりしてもよい。
【0074】また、上記では、演算により求めた場合を
説明したが、実測によって求めても良い。次に、この実
測によって求める他処理を説明する。
【0075】図10に示すように、スクリーン位置設定
の他処理では、ステップ130において、基準点データ
を読み取る。この基準点データは、空間補正処理(図
7)においてフレーム表示させたときの1つの交点座標
値を用いる。次のステップ132では、読み取った基準
点の座標値を空中に表示させる。すなわち、2本のレー
ザ光を用いて交差させたその交点が前記交点座標値に位
置するようにレーザ光を射出させる。この交点を基準点
として、次のステップ134においてペン型の3次元ポ
インタ、すなわち位置入力装置18で入力する。次のス
テップ136では、位置入力装置18で入力した基準点
からスクリーン16までの距離を実際に測定し、その測
定値を用いて点A,B,C,Dの座標値、すなわちスク
リーン表示外枠の座標値を求める。
【0076】このように、空中に表示された交点を基準
点として用いているので、基準点を表示させるときの障
害が生じることなく、測定することができる。
【0077】すなわち、2本のレーザ光を用いて交差さ
せて生じる交点を基準点として、ペン型の3次元ポイン
タ、すなわち位置入力装置18で位置を入力し、その基
準点からスクリーン16までの距離を実際に測定し、そ
の測定値を用いて点A,B,C,Dの座標値、すなわち
スクリーン表示外枠の座標値を求めてもよい。このよう
に、空中に表示された交点を基準点として用いれば、基
準点を表示させるときの障害が生じることなく、測定す
ることができる。
【0078】次に、図6のステップ104の視点位置設
定処理の詳細を説明する。図11に示すように、視点位
置設定処理では、ステップ140においてスクリーン1
6上に十字カーソル80(図12)を表示させ、次のス
テップ142においてキーボード32の入力に応じて十
字カーソル80を移動させる。ステップ142では、オ
ペレータOPは、スクリーン16上に写し出された自己
の左右の瞳像82L,82R上に各々十字カーソル80
を移動させ(図12)、座標読み取り指示を行う。次の
ステップ144では、自己の左右の瞳像82L,82R
上に合致された十字カーソル80の位置を各々読み取
り、次のステップ146において、視点位置を演算す
る。このステップ144で読みとった座標値から正視状
態(略無限遠を目視した状態)の瞳孔間距離PDを求め
ることができる。なお、ステップ146で求める視点位
置は、オペレータOPの頭部に位置する位置センサ22
からの標準的な頭部形状から定まる距離で求めることが
できる。また、ペン型の位置入力装置18の先端部の検
出部64をオペレータOPの眼球付近に位置させて入力
した座標値から頭部形状を求め、その頭部形状から定ま
る距離を採用してもよい。
【0079】なお、上記実施の形態では、スクリーン1
6上に写し出された自己の瞳像に十字カーソルを合わせ
込む場合を説明したが、スクリーン16上に自己の瞳が
写し出されない場合には、オペレータOPとスクリーン
16との間にハーフミラー等の反射部材を設けて写し出
すようにすればよい。
【0080】また、上記では、スクリーン16上に写し
出された自己の瞳像から視点位置を求めた場合を説明し
たが、より正確に視点位置を求める他処理について図1
3及び図14を参照して説明する。なお、より正確に視
点位置を求める他処理では、位置入力装置18として、
円筒状のボデー75の両端部に照準74、76が取り付
けられた3次元ポインタ18B(図5)を用いている。
また、この3次元ポインタ18Bは、指示部72で検出
を指示することにより、検出部70で磁界を検出すると
共に、方向を検出するものとする。すなわち、3次元ポ
インタ18Bは、指示部72の指示で、3次元座標値、
及び3次元ポインタ18Bの照準74、76に合致する
スクリーン16上の点に向かう方向のベクトルを出力す
る。つまり、オペレータOPがスクリーン16上の点を
3次元ポインタ18Bの照準74、76で合致させるこ
とにより、3次元ポインタ18B上の視軸の1点JJの
座標値及び視軸の方向ベクトルを求めることができる。
【0081】このように、異なる2点において、オペレ
ータOPがスクリーン16上の点を3次元ポインタ18
Bの照準74、76で合致させることにより、3次元ポ
インタ18B上の視軸の1点JJの座標値及び視軸の方
向ベクトルを求め、視点位置を求めることができる。
【0082】図13に示すように、視点位置設定の他処
理では、ステップ150において、基準点データを読み
取る。この基準点データは、スクリーン16上に表示さ
せるための基準点Sの座標データであり、予め定められ
ている。次のステップ152では、この基準点Sをスク
リーン16上に表示させる。次のステップ154ではオ
ペレータOPに第1位置において座標値及び視軸の方向
ベクトルの指示を促し基準点Sを入力させる。これによ
り、3次元ポインタ18B上の視軸の1点JJの座標値
である位置ベクトルa及び視軸の方向ベクトルである単
位ベクトルbが入力される(図14)。次のステップ1
56では第1位置と異なる位置の第2位置において座標
値及び視軸の方向ベクトルの指示を促し基準点を入力さ
せる。これにより、第2位置による位置ベクトルa’及
び単位ベクトルb’が入力される。
【0083】次のステップ158では、位置入力装置1
8で入力された基準点の位置ベクトル及び単位ベクトル
を用いて視点位置を求める。この視点位置を求める方法
を詳細に説明する。なお、オペレータOPに取り付けら
れた位置センサ22の位置を検出することが可能である
ため、視点位置は、位置センサ22から視点Xまでのベ
クトルtを求めることに相当する。
【0084】図14に示すように、基準点S、点Aの位
置ベクトルa及び単位ベクトルb、点A’の位置ベクト
ルa’及び単位ベクトルb’は、上記のようにして入力
される。従って、左眼について、第1位置の視点Xの位
置ベクトルx、第2位置の視点X’の位置ベクトルx’
は、以下のように表せる。なお、図中、点Oは、仮想空
間上の中心点を表している。
【0085】x =t+p =s+k・b x’=t+p’=s+k’・b’ 但し、t :位置センサから視点Xまでの位置ベクトル x :視点Xの位置ベクトル x’:視点X’の位置ベクトル p :点Oから第1位置の位置センサまでの位置ベクト
ル p’:点Oから第2位置の位置センサまでの位置ベクト
ル k,k’:変数
【0086】上記の式からベクトルtを求めることがで
き、視点位置を求めることができる。なお、右眼につい
ても、上記と同様の処理により求めることができる。
【0087】上記説明したようにしてオペレータOPの
視点位置を設定することができるが、オペレータOP
は、目視する方向によって視点位置が変化する。すなわ
ち、注視点の位置によって視点位置が変化する。このよ
うに、注視点の位置によって変化する視点位置を求める
処理を説明する。
【0088】図15に示すように、注視点の位置による
視点位置を求める処理は、まず、ステップ160におい
て眼球の中心位置L0,R0を求める。すなわち、眼球
の大きさは一般的にばらつきが少なく、標準的に眼球の
直径を定めることができるので、図13の処理で求めた
ように、予め求めた視点位置から所定の眼球直径を用い
て、眼球の中心位置L0,R0を求める。次のステップ
161では、オペレータOPに取り付けられた位置セン
サ22によって顔面の方向を読み取る。次のステップ1
62では、注視点の位置座標を読み取り、この注視点の
位置座標、ステップ161で読み取った顔面方向、眼球
の中心位置L0,R0及び眼球直径から次のステップ1
64において視点位置を求める。
【0089】図16を参照して、オペレータOPが正視
状態から変化した状態の場合を例にして、視点位置を求
める方法を説明する。なお、本実施の形態では、略無限
遠を目視した状態をオペレータOPの正視状態としてい
る。この場合、オペレータOPの顔面の方向は、両眼の
中心と目視した位置を結ぶ方向を向いているものとす
る。従って、所謂流し目、上目づかいや下目づかい等の
ように、眼球のみを回転させた状態は、正視状態ではな
い。このような、所謂流し目、上目づかいや下目づかい
等の状態を、以下の説明では総称して斜視状態という。
【0090】オペレータOPが顔面を前方(スクリー
ン)に向けて注視点Scを目視するとき(斜視状態)、
左眼の視点位置は、正視状態の視点位置L1から左眼の
中心L0と注視点Scとを結ぶ直線と眼球直径による円
との交点に移動した視点位置L2に移動する。同様に、
右眼の視点位置は、正視状態の視点位置R1から右眼の
中心R0と注視点Scとを結ぶ直線と眼球直径による円
との交点に移動した視点位置R2に移動する。従って、
注視点Scの位置、眼球の中心位置L0,R0及び眼球
直径から、注視点の位置によって変化する視点位置L
2,R2を求めることができる。なお、図16ではオペ
レータOPが顔面を前方(スクリーン)に向けた状態で
ある場合を説明したが、オペレータOPに取り付けられ
た位置センサ22によって顔面の方向を検出することが
可能であるため、オペレータOPの顔面の向きがいかな
る状態の場合でも、顔面の方向と注視点Scの位置及び
眼球の直径から、注視点の位置によって変化する視点位
置L2,R2を求めることができる。
【0091】この注視点の位置によって変化する視点位
置を求めることは、オペレータOPに表示する仮想物体
の位置をオペレータOPの正視方向から上下左右に大き
く移動させて表示させたときに、すなわち斜視状態のと
きに有効である。
【0092】上記では、演算により、注視点の位置によ
って変化する視点位置を求めた場合を説明したが、眼球
運動を直接検出して視点位置を求めることもできる。こ
の直接眼球運動を検出して視点位置を求める他処理につ
いて図17を参照して説明する。なお、この眼球運動を
直接検出するものとしては、瞳の回転運動や角膜の反射
率変化から眼球の回転運動を検出するアイトラッカ(図
示省略)がある。ここでは、この図示しないアイトラッ
カからの出力信号が制御装置14に入力されるものとす
る。また、このアイトラッカは液晶シャッタ眼鏡20に
取り付けることが好ましい。
【0093】図17に示すように、眼球運動を検出して
視点位置を求める他処理では、ステップ174におい
て、アイトラッカにより眼球の回転運動を読み取り、次
のステップ176において、眼球の回転運動による角度
によって正視状態での視点位置R1,L1から変化した
視点位置L2,R2を求めることができる。
【0094】次に、図6のステップ106の立体画像表
示処理の詳細を説明する。図18に示すように、立体画
像表示処理では、ステップ200において仮想空間上に
仮想物体を表示するための画像データを読み取り、次の
ステップ202において位置センサ22を読み取ってオ
ペレータOPの位置を読み取る。次のステップ204で
は、上記設定した視点位置等を用いて後述するように画
像データを補正して、補正された画像データによって次
のステップ206で立体画像を表示する。
【0095】ここで、立体画像の表示について図19を
参照して簡単に説明する。瞳孔間距離PDのオペレータ
OPは、左眼の視点L、及び右眼の視点Rからスクリー
ン16を目視する。このスクリーン16上には、画像デ
ータによる画像が表示される。この画像データから瞳孔
間距離PD及びスクリーン16までの距離が考慮され
て、視差を含んだ左眼用画像GL及び右眼用画像GRが
生成され、左眼用画像GL及び右眼用画像GRが交互に
表示される。この左眼用画像GL及び右眼用画像GRの
表示の切り換えに同期して、液晶シャッタ眼鏡20の左
眼部と右眼部との光の透過が切り換えられる。これによ
って、左眼により目視される左眼用画像GLまでの領域
と、右眼により目視される右眼用画像GRまでの領域と
の重複領域が仮想物体を表示できる仮想空間Vrとな
り、左眼用画像GL及び右眼用画像GRの表示による仮
想物体が立体表示される。
【0096】なお、立体画像の表示は、図33に示すよ
うに、スクリーン16上に表示する左眼用画像GL及び
右眼用画像GRの重複領域を増加させることで、左眼に
より目視される左眼用画像GLまでの領域と、右眼によ
り目視される右眼用画像GRまでの領域との重複領域が
増加し、仮想物体を表示できる仮想空間Vrが広がるこ
とになる。
【0097】本発明者等は、仮想空間Vrに表示された
実際の物体に相当する仮想物体の認知について、すなわ
ち知覚特性がばらつくという点に着目し、知覚特性につ
いての実験を行った。実験には、実際の物体として円錐
を用いて、その円錐の頂点を測定点とすると共に、その
円錐を仮想物体として仮想空間上に表示させ、仮想物体
である円錐の頂点をオペレータOPにより指示させたと
きの知覚位置と、その測定点の提示位置との関係を求め
た。
【0098】図20(1)は、10人の異なるオペレー
タOPによって、正視状態で仮想物体を目視したときの
提示位置と誤差(提示位置と知覚位置の差)との関係を
示すものであり、図20(2)は、斜視状態で仮想物体
を目視したときの提示位置と知覚位置との関係を示すも
のである。なお、図中、提示位置はオペレータOPから
の距離を示している。また、誤差は正符号がオペレータ
OPから離間する方向を示し、負符号はオペレータOP
に接近する方向を示している。
【0099】図20(1)から理解されるように、個々
にばらつきはあるが、正視状態による仮想物体の知覚距
離は、オペレータOPに近づくにしたがってより近くで
知覚され、オペレータOPから離間するにしたがってよ
り遠くで知覚される。また、図20(2)から理解され
るように、斜視状態による仮想物体の知覚距離は、正視
状態の知覚特性と同様の傾向であると共に、全体的にオ
ペレータOPに近づく方向にシフトしている。
【0100】本発明者等は、上記実験結果から、仮想空
間Vrに表示された実際の物体に相当する仮想物体を認
知するオペレータOPの知覚特性は、個々に違いがある
と共に提示距離によっても提示距離と知覚距離の誤差に
違いがあることに着目し、仮想物体をオペレータOPに
とって正しい位置に知覚させるためには、補正が必要で
あるという知見を得た。
【0101】なお、本発明者等は、仮想物体がオペレー
タOPに対する知覚距離から提示距離を引いた誤差量が
提示距離が増加するに伴って増加するという点につい
て、眼球の輻輳により変化する点を勘案し、瞳孔間距離
PDの関係を実験し次の結果を得た。図21は実験結果
を示すものであり、図21(1)には、正視状態による
仮想物体の提示距離に対する瞳孔間距離PDの関係を示
し、図21(2)には、斜視状態による仮想物体の提示
距離に対する瞳孔間距離PDの関係を示した。なお、図
中、太線は、仮想物体の提示距離変化に応じた理論的な
瞳孔間距離PDの変化特性を示したものである。この結
果より、理論的な輻輳によってのみでは知覚誤差が解消
されないという知見も得た。
【0102】以下、仮想物体をオペレータOPにとって
正しい位置に知覚させるための処理である、図18のス
テップ204の画像データ補正処理を説明する。
【0103】まず、仮想空間Vrに表示された実際の物
体に相当する仮想物体を認知するオペレータOPの知覚
特性を把握するため、後述する補正処理で用いる補正用
のデータを計測し、空間歪みテーブルを生成する処理を
図22のフローチャートを参照して説明する。
【0104】図22に示すように、空間歪みテーブル生
成処理は、ステップ210において、複数(仮想空間内
を網羅する点に相当する数)の提示距離で仮想物体を表
示させると共に、表示された仮想物体の知覚位置を入力
するようにオペレータOPに促す。次のステップ212
では、オペレータOPにより入力された仮想物体の知覚
位置を読み取る。この仮想物体の知覚位置の入力は、ペ
ン型の位置入力装置18を用いて行い、3次元座標のデ
ータを得る。次のステップ214では、仮想物体の提示
距離と、知覚位置の入力値との関係を空間歪みテーブル
として生成し記憶する。この場合、空間歪みテーブル
は、多数のオペレータOPによる計測値により一般化し
てもよく、またオペレータOPの個人のテーブルとして
用いてもよい。なお、空間歪みテーブルには、オペレー
タOPの瞳孔間距離PDが対応されて記憶されるものと
する。
【0105】なお、上記では、表示された仮想物体の知
覚位置を入力しそのときの誤差をテーブルとして採用す
ることができるが、実際に位置すべき位置に仮想物体を
移動させた移動量を採用することもできる。
【0106】次に、仮想物体をオペレータOPに正しい
位置に知覚させるための補正処理について説明する。ま
ず、第1の歪み補正について図23の補正処理を参照し
て説明する。第1の歪み補正は、瞳孔間距離を、仮想物
体が正しい位置に知覚される基準瞳孔間距離に設定し補
正するものである。
【0107】図23に示すように、第1の歪み補正処理
は、ステップ220において、上記空間歪みテーブルを
読み取って、次のステップ222において、仮想空間内
の予め定めた所定位置において位置誤差が略0となる瞳
孔間距離のデータを抽出する。抽出した瞳孔間距離を次
のステップ224において基準瞳孔間距離として設定
し、その基準瞳孔間距離を用いてステップ228で画像
を計算する。
【0108】このように、位置誤差が略0となる瞳孔間
距離を基準瞳孔間距離として設定するので、瞳孔間距離
が異なるオペレータOPであっても仮想物体を正しい位
置に知覚させることができる。
【0109】次に、第1の歪み補正処理と異なる、第2
の歪み補正処理について図24を参照して説明する。第
2の歪み補正は、空間の歪みに応じて仮想物体の形状を
歪ませて補正するものである。
【0110】図24に示すように、第2の歪み補正処理
は、ステップ230において、上記空間歪みテーブルを
読み取って、次のステップ232において、仮想空間内
で画像の形状を歪ませて表示させるための歪み補正関数
fを導出する。導出した歪み補正関数fを用いて、ステ
ップ236で画像を計算する。
【0111】上記の歪み補正関数は、次の式で表され
る。 (α’,β’,y’)=f(α,β,y) α’=α β’=β y’=a(α,β)・y+b(α,β) 但し、y :知覚させるべき奥行距離 y’:データ上の奥行距離の補正値 α :知覚させるべき垂直方向の流し目角度(垂直方向
注視点角度) α’:データ上の垂直方向の流し目角度補正値 β :知覚させるべき水平方向の流し目角度(水平方向
注視点角度) β’:データ上の水平方向の流し目角度補正値 a(α,β),b(α,β):α,βに依存する関数
【0112】上記歪み補正関数fは、オペレータOPの
知覚位置と提示位置とが略線形関係にあることに着目し
(図20参照)、各オペレータOPについて回帰直線を
求めてその平均値を傾きa(α,β)とし、切片b
(α,β)を定めるものである。これらの関数a(α,
β)、b(α,β)は、個々のオペレータOPに応じて
計測した2点(y1,y1’),(y2,y2’)から
求めることができる。
【0113】図25には、上記の補正関数fによって補
正した位置に仮想物体を提示した知覚希望位置と、その
知覚希望位置からの知覚位置の誤差との関係を求めた結
果を示した。図25(1)には正視状態で目視したとき
の関係を示し、(2)には斜視状態で目視したときの関
係を示した。図から理解されるように、オペレータOP
にかかわらず略均等に知覚される。
【0114】なお、上記の補正関数fは、基準となる点
(α0,β0,y0)について(α0,β0,y0)=
f(α0,β0,y0)となるように、個々のオペレー
タOPの瞳孔間距離を変更することによって、少数のオ
ペレータOPによる関数a(α,β)、b(α,β)か
ら一般化することができる。
【0115】また、上記では、垂直方向及び水平方向の
各々の角度について別個に補正するようにしたが、単に
視線方向からの偏角θで置き換えてもよい。このように
することで歪み補正関数fを簡略化することができる。
【0116】次に、第3の歪み補正処理について図26
を参照して説明する。第3の歪み補正は、空間の歪みに
応じた仮想の瞳孔間距離を求めて、その視点位置で立体
画像を表示させるものである。
【0117】図26に示すように、第3の歪み補正処理
は、ステップ240において、上記空間歪みテーブルを
読み取って、次のステップ242において、仮想の瞳孔
間距離を求めるための歪み補正関数gを導出する。導出
した歪み補正関数gを用いて、次のステップ244で仮
想の瞳孔間距離を求める。次のステップ248では、画
像データを読み取って、仮想の瞳孔間距離を用いて補正
する。
【0118】上記のこの歪み補正関数gは、次の式で表
される。 (α’,β’,d’)=g(α,β,y) α’=α β’=β d’=a(α,β)・y+b(α,β) 但し、y :知覚させるべき奥行距離 d’:データ上の瞳孔間距離の補正値 α :知覚させるべき垂直方向の流し目角度(垂直方向
注視点角度) α’:データ上の垂直方向の流し目角度補正値 β :知覚させるべき水平方向の流し目角度(水平方向
注視点角度) β’:データ上の水平方向の流し目角度補正値 a(α,β),b(α,β):α,βに依存する関数
【0119】上記歪み補正関数gの関数a(α,β)、
b(α,β)は、個々のオペレータOPに応じて計測し
た2点(y1,d1’),(y2,d2’)から求める
ことができる。例えば、ある任意の奥行きy1で位置誤
差0となるように瞳孔間距離dを修正し、定めることが
できる。また、他の方法として、ある任意の奥行きy1
で、瞳孔間距離d1としたときの奥行き誤差eを計測
し、その誤差からデータ上の瞳孔間距離d1’を次の式
で求める。
【0120】d1’=(d1・ds・e)/{y1・
(ds−y1−e)}+d1 但し、ds:視点からスクリーンまでの距離
【0121】なお、上記の補正関数gは、標準的なオペ
レータOPの関数a(α,β)、b(α,β)の基準値
を予め求め、基準となる点(α0,β0,y0)につい
て、個々のオペレータOPに対するデータ上の瞳孔間距
離と、標準的なオペレータOPの瞳孔間距離との誤差を
計測し、その誤差成分を加味して個々のオペレータOP
の関数a(α,β)、b(α,β)を求めることにより
一般化することができる。
【0122】また、上記では、垂直方向及び水平方向の
各々の角度について別個に補正するようにしたが、単に
視線方向からの偏角θで置き換えてもよい。このように
することで歪み補正関数gを簡略化することができる。
【0123】次に、第4の歪み補正処理について図27
を参照して説明する。第4の歪み補正は、空間の歪みに
応じた仮想の眼球半径を求め、仮想の眼球半径による仮
想の視点を求めて、その視点位置で立体画像を表示させ
るものである。
【0124】図27に示すように、第4の歪み補正処理
は、ステップ250において、上記空間歪みテーブルを
読み取って、次のステップ252において、仮想の眼球
半径rを求めるための関数hを導出する。導出した関数
hを用いて、次のステップ254で仮想の視点位置を求
める。その仮想の視点位置を用いて次のステップ258
で画像を計算する。
【0125】上記の関数hは、次の式で表される。 r=h(α,β)
【0126】
【数1】
【0127】但し、r :仮想の眼球半径 y :知覚させるべき奥行距離 α :知覚させるべき垂直方向の流し目角度(垂直方向
注視点角度) β :知覚させるべき水平方向の流し目角度(水平方向
注視点角度) d(α,β,y):データ上の瞳孔間距離の補正値
【0128】上記関数hでは各(α,β)について、2
点y1,y2での仮想の瞳孔間距離d(α,β,y
1),d(α,β,y2)を必要とするが、上記の処理
(図26)から求めることができる。
【0129】なお、上記の関数hは、基準となる点(α
0,β0,y0)について、rを同じにするような仮想
の瞳孔間距離を用いたり、瞳孔間距離を同じにするよう
にrを計算することによって一般化することができる。
【0130】また、上記では、垂直方向及び水平方向の
各々の角度について別個に補正するようにしたが、単に
視線方向からの偏角θで置き換えてもよい。このように
することで歪み補正関数hを簡略化することができる。
【0131】上記の補正処理(図18のステップ20
4)は、立体画像表示について常時なされることが好ま
しいが、リアルタイム処理を可能とするときには視点追
従に応じて補正処理がなされるため、仮想空間上におい
て仮想物体がふらつくことがある。このたような画像の
ふらつき感を減少させるため、図28に示すように、ス
テップ260において位置センサを読み取ってその値が
所定値より大きいときにのみ、ステップ264で補正処
理をすることが好ましい。このようにすることによっ
て、所定値を越えるまでの移動に対しては平滑化され、
安定感が増加することになる。なお、補正にヒステリシ
スを有させるようにしてもよい。
【0132】次に、本発明者等は、上記知覚特性のばら
つきに起因するものとして、視点からスクリーンまでの
距離が関係すると勘案し、視点からスクリーンまでの距
離を変化させたときの知覚特性の実験を行った。実験に
は、同一の提示距離の仮想物体を異なるスクリーンまで
の距離で仮想空間上に表示させ、その知覚位置と、提示
位置との関係を求めたものである。
【0133】図29は、3人の異なるオペレータOP
に、スクリーン位置を4点の各々に変更して、各々の位
置で3点の提示位置(オペレータOPからの距離、すな
わち提示距離)に仮想物体を提示したときの仮想瞳孔間
距離の関係を示すものである。図から理解されるよう
に、提示距離が一定の場合、スクリーン位置が離間する
に従って仮想瞳孔間距離が減少する傾向にある。また、
スクリーン位置にかかわらず提示距離が増加するに従っ
て仮想瞳孔間距離が増加する傾向にある。
【0134】本発明者等は、上記の実験から、仮想空間
Vrに表示された仮想物体を認知するオペレータOPの
知覚特性は、視点からスクリーンまでの距離の影響を受
ける点に着目し、仮想物体をオペレータOPにとって正
しい位置に知覚させるためには、視点からスクリーンま
での距離を考慮した補正が必要であるという知見を得
た。すなわち、オペレータは仮想物体を目視するとき頭
部が静止しているとは限らないため、頭部が移動する
と、視点からスクリーンまでの距離は変動する。このた
め、視点からスクリーンまでの距離を考慮した補正を行
うことで、より正確にオペレータに仮想物体を知覚させ
ることができる。
【0135】上記の視点からスクリーンまでの距離を考
慮した補正(図18のステップ204の画像データ補正
処理)について説明する。
【0136】第5の歪み補正処理は、上記第2の歪み補
正と類似するものであり、視点からスクリーンまでの距
離を考慮し、空間の歪みに応じて仮想物体の形状を歪ま
せて補正するものである。
【0137】図49に示すように、第5の歪み補正処理
は、上記空間歪テーブル作成時に、視点からスクリーン
までの距離をパラメータとして付加したものであり、ス
テップ231において、上記空間歪みテーブルを読み取
って、次のステップ233において、仮想空間内で画像
の形状を歪ませて表示させるための歪み補正関数f"、
すなわち、形状をデフォルメする補正関数f" を導出す
る。導出した歪み補正関数fを用いて、ステップ237
で画像を計算する。すなわち、導出した歪み補正関数f
を用いて形状を歪めてその形状を用いた画像を生成す
る。これによって知覚誤差を補正できる。
【0138】上記の歪み補正関数f”は、次の式で表さ
れる。すなわち、上記第2の歪補正関数fに視点からス
クリーンまでの距離をパラメータとして付加したもので
ある。
【0139】 (y’,α’,β’,s’)=f" (y,α,β,s) 但し、s :視点からスクリーンまでの距離 s’:データ上の視点からスクリーンまでの距離
【0140】次に、第6の歪み補正処理を説明する。第
6の補正処理は、第3の歪み補正と類似するものであ
り、視点からスクリーンまでの距離を考慮し、空間の歪
みに応じた仮想の瞳孔間距離を求めて、その視点位置で
立体画像を表示させるものである。
【0141】図30に示すように、第6の歪み補正処理
は、ステップ270において、上記空間歪みテーブルを
読み取って、次のステップ272で、スクリーン位置s
に応じた仮想瞳孔間距離PD’を求めるための補正関数
u(詳細は後述)を導出する。導出した補正関数uを用
いて、次のステップ274で補正した仮想瞳孔間距離P
D’を求める。次に、仮想瞳孔間距離PD’を用いて次
のステップ278で補正する。
【0142】上記の補正関数uは、次の式で表される。 PD’=u(x,PD,s) 但し、x:知覚させるべき仮想物体の奥行距離(提示距
離) PD:提示距離に対する仮想瞳孔間距離 s:スクリーン位置
【0143】詳細には、次のようになる。まず、仮想瞳
孔間距離と提示距離との線形な関係は、次の式で表すこ
とができる。
【0144】
【数2】
【0145】但し、PDn (x,s):スクリーン位置
に応じた仮想瞳孔間距離 n:オペレータを表す番号 x:オペレータOPn に対する提示距離 s:スクリーンの位置 i,j:提示距離 PDn (i,s):提示距離iの仮想瞳孔間距離 PDn (j,s):提示距離jの仮想瞳孔間距離
【0146】また、スクリーン位置については、上記説
明したように、スクリーン位置が離間するに従って仮想
瞳孔間距離が短くなることから、予め行った実験によっ
て、スクリーン位置と提示距離とについて回帰分析を行
い、次に示す回帰直線を求め、この回帰直線で近似す
る。
【0147】PDn (i,s)=ank・s+bnk 但し、ank:提示距離kにおける回帰直線の傾き bnk:提示距離kにおける回帰直線の切片
【0148】本実施の形態では、2点の提示距離(i=
300mm,j=500mm)を基準としてオペレータ
OPn に対して回帰直線の傾きan300,an500及び切片
n3 00,bn500を求め、回帰直線の式に代入し、任意の
スクリーン位置sでの仮想瞳孔間距離PDn (300,
s),PDn (500,s)を求める。求めた値を上記
仮想瞳孔間距離と提示距離との線形関係を表す式に代入
し、各提示距離x、各スクリーン位置sに応じた仮想瞳
孔間距離PDn (x,s)を求めている。なお、本実施
の形態では、各オペレータについて8カ所の仮想瞳孔間
距離の測定を行った。
【0149】図31には、知覚距離のずれと提示距離と
の間の関係を求めた結果を示したものである。図31
(1)は仮想瞳孔間距離を固定して測定したものであ
り、図31(2)は上記補正式を適用して求めた仮想瞳
孔間距離により提示した仮想物体について測定したもの
である。図31から理解されるように、視点からスクリ
ーンまでの距離を考慮して仮想瞳孔間距離を補正するこ
とによって、提示距離にかかわらず知覚距離のずれが軽
減されて、略正確な位置に仮想物体が知覚されている。
【0150】図32には、知覚距離のずれとスクリーン
位置との間の関係を求めた結果を示したものである。図
32(1)は仮想瞳孔間距離を固定して測定したもので
あり、図32(2)は上記補正式を適用して求めた仮想
瞳孔間距離により提示した仮想物体について測定したも
のである。図32から理解されるように、視点からスク
リーンまでの距離を考慮して仮想瞳孔間距離を補正する
ことによって、スクリーン位置にかかわらず知覚距離の
ずれが軽減されて、略正確な位置に仮想物体が知覚され
ている。
【0151】また、第7の歪補正処理として、図示は省
略するが、上記第4の歪補正処理において眼球半径を求
めるときに、視点からスクリーンまでの距離を考慮し、
視点からスクリーンまでの距離に応じて眼球半径を求め
直してもよい。
【0152】〔第2実施の形態〕次に、第2実施の形態
を説明する。上記の実施の形態では単一のオペレータに
対して立体画像を提示する場合を説明したが、本実施の
形態は複数のオペレータに対して立体画像を提示する場
合に本発明を適用したものである。なお、本実施の形態
は複数のオペレータに対して立体画像を提示するため、
所定時間毎に優先提示させるべきオペレータを設定して
立体画像を表示するものである。また、本実施の形態
は、上記実施の形態と略同様の構成のため、同一部分に
は同一符号を付して詳細な説明を省略する。
【0153】図34に示すように、本実施の形態の立体
画像表示装置11は、暗室60内に、スクリーン16に
画像を投影するプロジェクタ12を備えている。プロジ
ェクタ12は、立体表示のための画像を生成する制御装
置15上に接続されている。スクリーン16の上方に
は、スクリーン16より下流に位置するオペレータへ向
けて赤外線を送信するための赤外線送信機17が取り付
けられている。プロジェクタ12の投影側でスクリーン
16より下流側には複数(本実施の形態では2人)のオ
ペレータOP1 ,OP2 が着座するための複数(本実施
の形態では2つ)のシート241 ,242 が順に位置し
ている。なお、以下の説明では、複数のオペレータのう
ちで特に指定せずにオペレータについて一般的に説明す
るときは、オペレータOPと表記する。
【0154】オペレータOP1 が着座するためのシート
241 は台座261 上に設けられ、この台座261 は蛇
腹28A1 を介してモータ281 に連結されている。モ
ータ281 は床上を所定方向(前後方向として図34の
矢印FR方向、及び左右方向として図34の矢印RL方
向)に移動可能な台車28B1 に固定されており、モー
タ281 の駆動によって、蛇腹28A1 が伸縮する。こ
の蛇腹28A1 の伸縮により、台座261 が上下方向
(図34の矢印UD方向)に移動され、シート241
着座したオペレータOP1 が昇降する。このシート24
1 に着座したオペレータOP1 の昇降は、車種に応じた
車高の調整に用いられるものである。
【0155】同様に、オペレータOP2 が着座するため
のシート242 は台座262 上に設けられ、台座262
は蛇腹28A2 を介してモータ282 に連結され、モー
タ282 は床上を移動可能な台車28B2 に固定されて
いる。このモータ282 の駆動によって、蛇腹28A2
が伸縮により、台座262 が上下方向に移動され、シー
ト242 に着座したオペレータOP2 が昇降する。
【0156】なお、このシート242 に着座したオペレ
ータOP2 は、オペレータOP1 の位置を運転席とした
場合に、台座262 の移動により、車種に応じた助手席
の位置や後部座席の位置に対応して設定することができ
る。これにより、オペレータOP1 ,OP2 の間の位置
関係は、車種に応じた車両内の着座位置に対応させるこ
とができる。
【0157】オペレータOP1 は、位置座標等を入力す
るための位置入力装置18を所持している。また、オペ
レータOP1 の頭部には、液晶シャッタ眼鏡201 が取
り付けられており、この液晶シャッタ眼鏡201 には位
置センサ221 が設けられている。位置センサ22
1 は、磁界検出センサであり、オペレータOP1 の後方
に設けられた磁界発生装置30から発生された磁界を検
出して、位置センサ221が位置する3次元座標及び方
向を検出するためのものである。
【0158】同様に、オペレータOP2 の頭部には、液
晶シャッタ眼鏡202 が取り付けられており、この液晶
シャッタ眼鏡202 には位置センサ222 が設けられて
いる。位置センサ222 は、位置センサ221 と同様の
磁界検出センサである。
【0159】図37に示すように、オペレータOP1
装着する液晶シャッタ眼鏡201 は、右側アーム21
R,右眼用フレーム23R,左目用フレーム23L,左
側アーム21Lから構成されている。右眼用フレーム2
3Rには右眼用液晶シャッタ25Rが取り付けられてお
り、左眼用フレーム23Lには左眼用液晶シャッタ25
Lが取り付けられている。右眼用フレーム23Rと左眼
用フレーム23Lとの間には赤外線受信機27が取り付
けられている。また、左側アーム21L上には、LED
29,31が取り付けられている。LED29は優先観
察者であるとき点灯するものであり、LED31は赤外
線受信機27で信号を受信したときに点灯するものであ
る(詳細は後述)。上記赤外線受信機27には、図示し
ないマイクロコンピュータが内蔵されており、赤外線受
信機27の赤外線を受信する受信部と、LED29,3
1とに接続されている。
【0160】なお、オペレータOP2 が装着する液晶シ
ャッタ眼鏡202 は、上記オペレータOP1 が装着する
液晶シャッタ眼鏡201 と同様の構成のため、詳細な説
明を省略する。
【0161】図35に示すように、制御装置15は、単
数または複数のCPU34,RAM36,ROM38、
及び入出力ポート40を含んだマイクロコンピュータで
構成され、各々コマンドやデータ授受が可能なようにバ
ス42によって接続されている。この入出力ポート40
にはドライバ43を介して赤外線送信機17が接続され
ると共に、ドライバ44を介して位置入力装置18が接
続されている。また、入出力ポート40にはドライバ4
6を介してオペレータOP1 についての位置センサ22
1 が接続され、ドライバ48を介してオペレータOP2
についての位置センサ222 が接続されている。また、
プロジェクタ12は、ドライバ50を介して入出力ポー
ト40に接続されている。さらに、入出力ポート40に
は、ドライバ52を介してモータ28が接続され、ドラ
イバ54を介して磁界発生装置30が接続されている。
また、入出力ポート40にはドライバ56を介してキー
ボード32が接続されている。また、ROM38には、
後述する処理ルーチンが記憶されている。
【0162】また、入出力ポート40には、記録媒体と
してのフロッピーディスク37が挿抜可能なフロッピー
デュスクユニット(FDU)35が接続されている。な
お、後述する処理ルーチン等は、FDU35を用いてフ
ロッピーディスク37に対して読み書き可能である。従
って、後述する処理ルーチンは、ROM38に記憶する
ことなく、予めフロッピーディスク37に記録してお
き、FDU35を介してフロッピーディスク37に記録
された処理プログラムを実行してもよい。また、制御装
置14にハードディスク装置等の大容量記憶装置(図示
省略)を接続し、フロッピーディスク37に記録された
処理プログラムを大容量記憶装置(図示省略)へ格納
(インストール)して実行するようにしてもよい。ま
た、記録媒体としては、CD−ROM等の光ディスク
や、MD,MO等の光磁気ディスクがあり、これらを用
いるときには、上記FDU35に代えてまたはさらにC
D−ROM装置、MD装置、MO装置等を用いればよ
い。
【0163】なお、本実施の形態における位置入力装置
は、上記実施の形態と同様であるため、説明を省略す
る。
【0164】次に、本実施の形態の作用を説明する。立
体画像表示装置11に電源が投入されると、制御装置1
5において、図36の処理ルーチンが実行される。ま
ず、オペレータOP1 について、上記実施の形態と同様
に、実際の空間位置と位置センサで検出した仮想空間と
なり得べき空間位置との誤差を補正するための空間補正
処理が行われ(ステップ100)、スクリーン16上に
表示される画像の3次元位置を正確に把握するためのス
クリーン位置設定処理が行われ(ステップ102)、オ
ペレータOP1 の実際の視点位置を定めるための視点位
置設定処理が行われる(ステップ104)。次のステッ
プ105では、全てのオペレータについて上記処理が終
了したか否かを判断する。上記では、オペレータOP1
のみ行ったため、ステップ105で否定され、ステップ
100へ戻りオペレータOP2 について上記と同様の処
理を行った後、ステップ107へ進む。次のステップ1
07では、上記のように設定された複数(本実施の形態
では2人)のオペレータの中から、立体画像の目視対象
となる優先観察者を定めて、その優先観察者について、
空間補正された仮想空間上に上記設定されたスクリーン
位置及び優先観察者の視点位置を採用して立体画像表示
が行われる。
【0165】次に、図36のステップ107の立体画像
表示処理の詳細を説明する。上記ステップ100〜ステ
ップ105において、各オペレータの設定が終了する
と、以下に説明するようにして立体画像表示が行われ
る。
【0166】本実施の形態では、立体画像を表示する所
定時間毎に優先観察者を設定して立体画像を表示するも
のである。立体画像表示処理が開始されると、図38の
立体画像表示処理ルーチンが実行される。まず、図38
のステップ300において、立体画像を表示するときの
基準となる基準点を設定すると共に、複数のオペレータ
の中から対象となるオペレータを定めるための優先領域
を設定する。次のステップ302では、設定された基準
点及び優先領域を用いて複数のオペレータの中から立体
画像の表示対象となる優先観察者を定め、次のステップ
304において、優先観察者の視点による立体画像を生
成し、表示する。
【0167】このように、複数のオペレータの中から立
体画像の表示対象となる優先観察者を定め、優先観察者
の視点による立体画像を生成し、表示するので、立体画
像を目視するオペレータが唯一となることはなく、複数
のオペレータに対して立体画像を提示することができ
る。
【0168】次に、上記基準点及び優先領域の設定処理
(図38のステップ300)の詳細を説明する。まず、
車両の運転席に着座する乗員を想定し、基準とした、基
準点及び優先領域の設定する第1の基準領域設定処理を
説明する。
【0169】第1の基準領域設定処理、すなわち基準点
及び優先領域の設定処理が開始されると、図39の設定
処理ルーチンが実行され、ステップ310へ進む。
【0170】ステップ310では、車両の運転席や助手
席等の座席シート位置や座席シート間距離、全長、車
幅、車高等の車両情報が読み取られる。次のステップ3
12では、上記読み取った車両情報を用いて、その車両
の運転席に標準体型の乗員が着座したときの標準視点を
算出し、その標準視点を基準点Poに設定する。次のス
テップ314では、上記で設定された基準点から優先領
域を求める。この優先領域は、基準点から一定距離まで
の空間や予め定めた関数により導出される形状空間、ま
た基準点を含む予め定めた形状による空間を優先領域と
して求めてもよい。次のステップ316では、上記基準
点及び優先領域が設定されたので、この後の処理で優先
観察者を設定することを可能とするため、優先観察者を
イニシャライズ(リセット)して本ルーチンを終了す
る。
【0171】このように、第1の基準領域設定処理で
は、車両の運転席の乗員についての標準視点を基準点P
oに設定し、その基準点から優先領域を求めているの
で、車両の運転席周辺に関する立体画像、すなわち運転
席に着座した乗員(ドライバ)に対して提示すべき立体
画像を、複数のオペレータに対して提示することが可能
となる。
【0172】次に、第2の基準領域設定処理を説明す
る。第2の基準領域設定処理は、複数のオペレータの中
から仮の優先観察者を設定し、そのかりの優先観察者の
視点を基準とした、基準点及び優先領域の設定する処理
である。
【0173】第2の基準領域設定処理が開始されると、
図40の設定処理ルーチンが実行され、ステップ320
へ進む。
【0174】ステップ320では、仮の優先観察者を指
定する。この仮の優先観察者の指定は、処理が開始され
るときやステップ320の実行時に何れかのオペレータ
を優先観察者として入力してもよく、予め定めたオペレ
ータを優先観察者として設定してもよい。仮の優先観察
者が設定されたときには、赤外線送信機17から各オペ
レータが装着した液晶シャッタ眼鏡へ向けて赤外線によ
るデータ送信が行われ、仮の優先観察者の液晶シャッタ
眼鏡(本実施の形態では、201 、202 の何れか)の
LED29が点灯し、優先観察者であることを他のオペ
レータに対して報知する。なお、赤外線送信機17から
のデータ送信では、赤外線受信機27が信号を受信し、
LED31が点灯してデータ受信中であることを報知し
ている。なお、ステップ320における仮の優先観察者
の設定は、詳細を後述する処理(図41〜図43)で優
先観察者を決定してもよい。
【0175】次のステップ322では、上記で設定され
た仮の優先観察者を着座させ、その着座させた位置によ
る視点を基準点Poとして設定する。着座位置による視
点の設定は、設定された仮の優先観察者の位置センサ
(221 または、222 )により、磁界発生装置30か
ら発生された磁界を検出して、位置センサが位置する3
次元座標及び方向を検出し、視点を求め設定できる。
【0176】上記のようにして第2の基準領域設定処理
における基準点の設定は終了したが、その基準点から優
先領域を定める必要がある。第2の基準領域設定処理で
は、以下のようにして、基準点から予め定めた優先領域
を求めたり、仮の優先観察者の指示で優先領域を定めた
りしている。
【0177】次のステップ324では、仮の優先観察者
の指示で優先領域を定めるか否かを判別するため、指定
した優先観察者を移動させるか否かを判断する。この判
断値は、処理開始時にフラグ等で予め定められており、
そのフラグ等を読み取った値を判別することで判断す
る。基準点から予め定めた優先領域を求めるときには優
先観察者を移動させる必要がなく、ステップ324で否
定され、次のステップ326において、上記ステップ3
14と同様に、基準点から一定距離や所定関数により導
出される形状空間等により優先領域を求める。
【0178】一方、仮の優先観察者の指示で優先領域を
定めるときには優先観察者を移動させることが必要であ
るので、ステップ324で肯定され、次のステップ32
8において、優先観察者を移動させる指示を行うと共
に、移動範囲から優先領域を求める。この移動範囲は、
優先観察者が座席シートに着座しているときに体勢を変
更する自己の許容範囲や、他のオペレータに優先観察者
に対する立体画像を提示するための許容範囲がある。な
お、移動範囲から優先領域を求める場合、優先観察者の
位置センサ(221 または、222 )の移動範囲を、磁
界発生装置30から発生された磁界により検出して、そ
の範囲から一定距離までの空間や予め定めた関数により
導出される形状空間を優先領域として求めてもよい。
【0179】このように、第2の基準領域設定処理で
は、複数のオペレータの中から指定したオペレータにつ
いての視点を基準点Poに設定し、その基準点から優先
領域を求めたり、オペレータの移動範囲から優先領域を
求めたりしているので、オペレータが位置する任意の座
席位置やオペレータが維持する車両内外の位置等の周辺
を視点とした立体画像を、複数のオペレータに対して提
示することが可能となる。
【0180】次に、上記のようにして設定された基準点
及び優先領域を用いて複数のオペレータの中から立体画
像の表示対象となる優先観察者を定める処理(図38の
ステップ302)の詳細を説明する。
【0181】基準点に基づき設定された優先領域が定め
られたとき、本来立体画像を表示する基準となる基準点
まで最短距離で到達するオペレータが、1または複数の
オペレータの中で、優先観察者となり得る可能性が高
い。そこで、第1の優先観察者設定処理は、1または複
数のオペレータが存在するときに、基準点までの距離か
ら優先観察者を設定するものである。
【0182】第1の優先観察者設定処理が実行される
と、図41のステップ330へ進み、各オペレータの視
点を求め、次のステップ332において各オペレータの
視点から基準点までの距離を求める。各オペレータの視
点は、各オペレータの位置センサ(本実施の形態では、
位置センサ221 または、222 )により、磁界発生装
置30から発生された磁界を検出して、位置センサが位
置する3次元座標及び方向を検出し、視点を求めること
ができる。次のステップ334では、ステップ332で
求めた距離のうち最短距離、すなわち基準点に最も近い
オペレータを優先観察者として設定する。
【0183】図44(1)に示すように、例えば、オペ
レータP1 ,P2 が優先領域Areaの外に存在すると
き、オペレータP1 ,P2 の基準点Poまでの距離はL
1 ,L2 (L1 <L2 )となり、オペレータP1 を優先
観察者として設定する。また、図44(2)に示すよう
に、オペレータP3 ,P4 が優先領域Areaの内に存
在するときは、オペレータP3 ,P4 の基準点Poまで
の距離はL3 ,L4 (L3 >L4 )となり、オペレータ
4 を優先観察者として設定する。なお、複数のオペレ
ータのうち優先領域Areaの内外に分散して存在する
場合も同様であり、基準点まで最短距離のオペレータを
優先観察者とする。
【0184】このように、基準点まで最短距離のオペレ
ータを優先観察者とするので、複数のオペレータの中か
ら、容易に優先観察者を設定することができる。
【0185】上記第1の優先観察者設定処理では、基準
点まで最短距離のオペレータを優先観察者に設定した
が、同一距離であるオペレータが複数存在するときには
設定することができない。そこで、第2の優先観察者設
定処理は、優先領域までの距離が最短のオペレータを優
先観察者に設定するものである。
【0186】第2の優先観察者設定処理が実行される
と、図42のステップ340へ進み、優先領域内にオペ
レータが存在するか否かを判断する。優先領域内にオペ
レータが存在しないときは、ステップ340で否定さ
れ、ステップ346へ進み、上記ステップ330と同様
にして各オペレータの視点を求め、次のステップ347
において各オペレータの優先領域までの距離を求める。
次のステップ348では、ステップ347で求めた距離
のうち最短距離、すなわち優先領域に最も近いオペレー
タを優先観察者として設定する。
【0187】一方、優先領域内にオペレータが存在する
ときは、ステップ340で肯定され、ステップ342へ
進み、存在するオペレータが複数か否かを判断する。単
数であるときは、ステップ342で否定され、ステップ
345でそのオペレータを優先観察者として設定する。
複数であるときはステップ342で肯定され、ステップ
344において、基準点まで最短距離のオペレータが優
先観察者として設定される。なお、このステップ344
の処理は、第1の優先観察者設定処理(図41)のステ
ップ330乃至ステップ334のように、各オペレータ
の視点、及び各オペレータの視点から基準点までの距離
を求め、最短距離、すなわち基準点に最も近いオペレー
タを優先観察者として設定すればよい。
【0188】図44(3)に示すように、例えば、オペ
レータP5 ,P6 が優先領域Areaの外に存在すると
き、オペレータP5 ,P6 の優先領域Areaまでの最
短距離はL5 ,L6 (L5 <L6 )であり、オペレータ
5 を優先観察者として設定する。また、図44(4)
に示すように、オペレータP7 ,P8 は優先領域Are
aの外に存在するが基準点までの距離が同一であると
き、オペレータP7 ,P 8 の優先領域Areaまでの最
短距離はL7 ,L8 (L7 >L8 )であり、オペレータ
8 を優先観察者として設定する。
【0189】このように、優先領域からはずれたオペレ
ータで基準点までの距離が同一であるオペレータが複数
存在しても、優先領域まで最短距離のオペレータを優先
観察者に設定するので、優先領域の大きさや形状に応じ
て優先観察者を設定することができ、複数のオペレータ
の中から容易に優先観察者を設定することができる。
【0190】上記第2の優先観察者設定処理では、優先
領域外の複数のオペレータが基準点までの距離が同一で
あっても優先観察者を設定することができたが、優先領
域内にオペレータが複数存在するときには設定すること
ができない。そこで、第3の優先観察者設定処理は、優
先領域から優先領域外へ移動するための距離が最短のオ
ペレータを優先観察者に設定するものである。なお、第
3の優先観察者設定処理は第2の優先観察者設定処理と
略同様のため、同一部分には同一符号を付して詳細な説
明を省略する。
【0191】第3の優先観察者設定処理が実行される
と、図43の処理ルーチンが実行される。まず、優先領
域内にオペレータが存在するか否かを判断し(ステップ
340)、オペレータが存在しないとき(否定判断)、
ステップ349において、図42のステップ346乃至
ステップ348と同様に、各オペレータの視点及び優先
領域までの距離を求め、優先領域に最も近いオペレータ
を優先観察者として設定する。
【0192】一方、優先領域内に1オペレータのみが存
在するときは(ステップ340で肯定、ステップ342
で否定)、そのオペレータを優先観察者として設定する
(ステップ345)。優先領域内に複数のオペレータが
存在するときは(ステップ340、342で肯定)、ス
テップ350へ進み、上記ステップ330と同様にして
各オペレータの視点を求め、次のステップ352におい
て各オペレータの優先領域外へ移動するための最短距離
を求める。次のステップ354では、ステップ352で
求めた距離のうち最長の距離、すなわち優先領域外へ移
動するのが最も困難なオペレータを優先観察者として設
定する。
【0193】図44(5)に示すように、オペレータP
9 ,P10が優先領域Areaの外に存在するとき、オペ
レータP9 ,P10の優先領域Areaまでの最短距離は
9,L10(L9 <L10)であり、オペレータP9 を優
先観察者として設定する。また、図44(6)に示すよ
うに、オペレータP11,P12は優先領域Areaの外に
存在するが基準点までの距離は同一である。このとき、
オペレータP11,P12の優先領域Areaの外へ移動す
るための最短距離はL11,L12(L11>L12)であり、
優先領域外への移動が最も困難なオペレータP11,を優
先観察者として設定する。
【0194】このように、優先領域の外への移動が最も
困難なオペレータを優先観察者としているので、基準点
までの距離が同一であるオペレータが複数存在しても、
優先領域の大きさや形状に応じて優先観察者を設定する
ことができ、複数のオペレータの中から容易に優先観察
者を設定することができる。
【0195】次に、上記立体画像の生成・表示処理(図
38のステップ304)の詳細を説明する。まず、複数
のオペレータの各々について、順次立体画像を提示する
第1の立体画像生成表示処理を説明する。
【0196】上記のように図38のステップ304が実
行されて、立体画像の生成・表示処理が開始されると、
第1の立体画像生成表示処理が実行されて、図45のス
テップ360へ進む。ステップ360では、上記のよう
にして設定された優先観察者について、その視点におけ
る立体画像を生成、すなわち、右眼用画像及び左眼用画
像が生成される。次のステップ362では、全てのオペ
レータの人数Nを検知する。この人数検知は、本処理が
実行される以前にキーボードから入力するようにしても
よく、予め設定していてもよい。また、本実施の形態で
は、人数検知はオペレータの位置センサ(221 、22
2 )からの入力数によって検知することができる。
【0197】次のステップ364では、カウンタ値iを
初期化(i=1)して、次のステップ366においてオ
ペレータiの右眼用の画像を表示し、次のステップ36
8においてオペレータiのみの液晶シャッタ眼鏡の右眼
用液晶シャッタを透過状態とする。これにより、オペレ
ータiの右眼にのみ画像が提示され、オペレータiの左
眼及び他のオペレータの右眼及び左眼には画像提示され
ることがない。なお、オペレータiの右眼用の画像は、
優先観察者の視点による画像をオペレータiの視点で補
正することが好ましいが、優先観察者による目視状態に
近づけるため、優先観察者の視点による画像をそのまま
提示していもよい。
【0198】次のステップ370では、オペレータiの
左眼用の画像を表示し、次のステップ372においてオ
ペレータiのみの液晶シャッタ眼鏡の左眼用液晶シャッ
タを透過状態とする。これにより、オペレータiの左眼
にのみ画像が提示され、オペレータiの右眼及び他のオ
ペレータの右眼及び左眼には画像提示されることがな
い。
【0199】次のステップ374では、i>Nか否かを
判断し、i≦Nで否定判断の場合には次のオペレータに
画像を提示するため、ステップ376でカウンタ値iを
インクリメント(i=i+1)し、ステップ366へ戻
り、上記処理を繰り返す。一方、i>Nでステップ37
4において肯定判断の場合には、ステップ378におい
て、終了指示がなされたか否かを判断する。このステッ
プ378の判断は、例えば、キーボードからの終了コマ
ンドの入力やオペレータの全てが優先領域から逸脱した
状態で肯定されるようにすればよい。画像表示を継続す
るときはステップ378で否定され、ステップ364へ
戻り、画像表示を終了するときはステップ378で肯定
され、本ルーチンを終了する。
【0200】次に、複数のオペレータの各々の右眼また
は左眼について、順次立体画像を提示する第2の立体画
像生成表示処理を説明する。
【0201】第2の立体画像生成表示処理が実行される
と、図46の処理ルーチンが実行され、優先観察者の視
点での立体画像を生成し(ステップ360)、全オペレ
ータの人数Nを検知する(ステップ362)。次のステ
ップ380では、右眼用カウンタ値i、及び左眼用カウ
ンタ値jを初期化(i=1,j=1)して、次のステッ
プ366においてオペレータiの右眼用の画像を表示
し、次のステップ368においてオペレータiのみの液
晶シャッタ眼鏡の右眼用液晶シャッタを透過状態とす
る。次のステップ374では、i>Nか否かを判断し、
i≦Nで否定判断の場合には次のオペレータの右眼に画
像を提示するため、ステップ376でカウンタ値iをイ
ンクリメント(i=i+1)し、ステップ366へ戻
り、上記処理を繰り返す。
【0202】一方、i>Nでステップ374において肯
定判断の場合には、左眼への画像提示を開始するため、
ステップ382へ進み、オペレータjの左眼用の画像を
表示し、次のステップ384においてオペレータjのみ
の液晶シャッタ眼鏡の左眼用液晶シャッタを透過状態と
する。次のステップ386では、j>Nか否かを判断
し、j≦Nで否定判断の場合には次のオペレータの左眼
に画像を提示するため、ステップ388でカウンタ値j
をインクリメント(j=j+1)し、ステップ382へ
戻り、上記処理を繰り返す。一方、j>Nでステップ3
86において肯定判断の場合には、ステップ390にお
いて、終了指示がなされたか否かを判断する。画像表示
を継続するときはステップ390で否定され、ステップ
364へ戻り、画像表示を終了するときはステップ39
0で肯定され、本ルーチンを終了する。
【0203】以上説明したように、本実施の形態では、
複数のオペレータが存在する場合に、基準点及び優先領
域を設定し、その基準点及び優先領域から優先観察者を
定めている。この優先観察者について、立体画像を表示
しているので、複数のオペレータが存在する場合であっ
ても、各々のオペレータに対して立体画像を提示するこ
とができる。
【0204】なお、上記優先観察者の視点での立体画像
の生成は(図45、図46のステップ360)、上記実
施の形態で説明したように、仮想空間に表示された実際
の物体に相当する仮想物体の認知に関するオペレータの
知覚特性のばらつきを考慮して、仮想物体をオペレータ
にとって正しい位置に知覚させるために補正することが
好ましい。
【0205】すなわち、仮想空間上に仮想物体を表示す
るための画像データを読み取ると共に、位置センサ22
を読み取ってオペレータの位置を読み取って、上記設定
した視点位置等を用いて後述するように画像データを補
正して、補正された画像データによって次のステップ2
06で立体画像を表示する(図18参照)。
【0206】〔第3実施の形態〕次に、第3実施の形態
を説明する。本実施の形態は、複数のオペレータに対し
て立体画像を提示するため、優先観察者の有無に応じて
立体画像を表示する場合に本発明を適用したものであ
る。なお、本実施の形態は、上記実施の形態と同様の構
成であるため、同一部分には同一符号を付して詳細な説
明を省略する。
【0207】上述のようにして、各オペレータの設定が
終了すると、立体画像表示が行われる(図36のステッ
プ107)。本実施の形態では、優先観察者有無に応じ
て立体画像を表示する。立体画像表示処理が開始される
と、図47の立体画像表示処理ルーチンが実行される。
まず、立体画像を表示するときの基準となる基準点を設
定すると共に、複数のオペレータの中から対象となるオ
ペレータを定めるための優先領域を設定する(ステップ
300)。基準点及び優先領域の設定が終了すると、ス
テップ392において、優先観察者が存在するか否かを
判断する。本処理ルーチンが起動したときには、優先観
察者が定められていないので、初回のみステップ392
は否定される。ステップ392で否定されると、上記設
定された基準点及び優先領域を用いて複数のオペレータ
の中から立体画像の表示対象となる優先観察者を定め
(ステップ302)、優先観察者の視点による立体画像
を生成し、表示する(ステップ304)。
【0208】一方、優先観察者が存在するときは、ステ
ップ392で肯定され、ステップ394において、その
優先観察者が優先領域内に存在しているか否かを判断す
る。優先観察者が優先領域内に不在であるときは、ステ
ップ394で否定され、上記と同様にして優先観察者を
決定した後に、立体画像を生成して表示する(ステップ
302、304)。優先観察者が優先領域内に存在する
ときは、ステップ394で肯定され、その優先観察者の
視点で立体画像を生成して表示する(ステップ30
6)。
【0209】このように、本実施の形態では、優先観察
者の存在の有無を判断すると共に、優先観察者が優先領
域外または優先観察者が不在のときにのみ優先観察者を
定めて、その優先観察者の視点による立体画像を生成し
表示するので、表示される立体画像を優先観察者を基準
として維持させることができる。
【0210】〔第4実施の形態〕次に、第4実施の形態
を説明する。本実施の形態は、複数のオペレータに対し
て立体画像を提示するため、優先観察者の有無及び優先
領域内のオペレータの有無に応じて立体画像を表示する
場合に本発明を適用したものである。なお、本実施の形
態は、上記実施の形態と同様の構成であるため、同一部
分には同一符号を付して詳細な説明を省略する。
【0211】上述のようにして、各オペレータの設定が
終了すると、立体画像表示が行われる(図36のステッ
プ107)。本実施の形態では、優先観察者有無に応じ
て立体画像を表示する。立体画像表示処理が開始される
と、図48の立体画像表示処理ルーチンが実行される。
まず、立体画像を表示するときの基準となる基準点を設
定すると共に、複数のオペレータの中から対象となるオ
ペレータを定めるための優先領域を設定する(ステップ
300)。基準点及び優先領域の設定が終了すると、優
先観察者が存在するか否かを判断する(ステップ39
2)。本処理ルーチンが起動したときには、優先観察者
が定められていないので、初回のみステップ392は否
定される。ステップ392で否定されると、上記設定さ
れた基準点及び優先領域を用いて複数のオペレータの中
から立体画像の表示対象となる優先観察者を定め(ステ
ップ302)、優先観察者の視点による立体画像を生成
し、表示する(ステップ304)。
【0212】一方、優先観察者が存在(ステップ392
で肯定)するときは、その優先観察者が優先領域内に存
在しているか否かを判断する(ステップ394)。優先
観察者が優先領域内に存在するときは、ステップ394
で肯定され、そのまま優先観察者の視点で立体画像を生
成して表示する(ステップ306)。優先観察者が優先
領域内に不在(ステップ394で否定)であるときは、
ステップ396へ進む。ステップ396では、優先領域
内にオペレータが存在するか否かを判断する。優先領域
内にオペレータが存在ときは、ステップ396で肯定さ
れ、上記と同様にして優先領域内に存在するオペレータ
の中から優先観察者を決定した後に、立体画像を生成し
て表示する(ステップ302、304)。一方、優先領
域内にオペレータが不在のとき(ステップ396で否
定)は、優先観察者は優先領域外であるが、新規に優先
観察者を定める必要がないと判断し、そのまま優先観察
者の視点で立体画像を生成して表示する(ステップ30
6)。
【0213】このように、本実施の形態では、優先観察
者の存在の有無を判断すると共に、優先観察者が優先領
域外または優先観察者が不在でかつ、優先領域内に他の
オペレータが存在するときにのみ優先観察者を定めて、
その優先観察者の視点による立体画像を生成し表示する
ので、一時的に優先観察者が席を離れたときであっても
表示される立体画像は以前の優先観察者を基準として維
持させることができる。
【0214】なお、上記実施の形態では、2人のオペレ
ータに立体画像を提示する場合を説明したが、本発明
は。2人に限定されるものではなく、3人以上のオペレ
ータに対して立体画像を提示するときにも適用が可能で
ある。
【0215】なお、上記実施の形態では、オペレータに
立体画像を知覚させるために、構造的な画像の歪を補正
して立体画像を提示する場合について説明したが、提示
する画像の色を補正対象として画像を補正してもよい。
【0216】
【発明の効果】以上説明したように請求項1に記載した
発明によれば、視点位置入力手段により立体視眼鏡近傍
に位置する眼球の位置が入力され、表示位置入力手段に
より表示手段の表示領域上の位置が入力されるので、表
示手段の表示領域上の位置と眼球の位置とが正確に対応
され、仮想立体空間内に表示された仮想物体は実際の物
体に相当する高精度の表示が可能となる、という効果が
ある。
【0217】請求項2に記載した発明によれば、表示手
段の反射部材に写し出されたオペレータの瞳を視点位置
入力手段で入力することができ、表示手段上の位置の入
力が視点位置を正確に対応され、視点位置入力の精度が
向上する、という効果がある。
【0218】請求項3に記載した発明によれば、視点位
置入力手段の位置を位置入力部で入力できると共に位置
入力部に対して基準視軸を形成する照準部で視点位置を
入力できるので、表示手段上の位置を正確に特定するこ
とができると共に、その特定できる位置を指示した自己
の位置を正確に入力することができる、という効果があ
る。
【0219】請求項4に記載した発明によれば、視点位
置入力手段の検出部により眼球の回転を検出し検出され
た眼球の回転から視点位置を入力できるので、正確に視
点位置を入力することができる、という効果がある。
【0220】請求項5に記載した発明によれば、視点位
置入力手段の検出手段により眼球の回転を検出し検出さ
れた眼球の回転から視点位置を入力できるので、正確に
視点位置を入力することができる、という効果がある。
【0221】請求項6に記載した発明によれば、表示位
置入力手段の位置入力部で自己の位置を入力できると共
に、光照射部が位置入力部に対して基準光軸を形成する
ので、自己の位置及び基準光軸の光の照射で表示領域上
の位置を入力でき、表示手段上を指示した位置の延長線
上の自己の位置を正確に入力することができる、という
効果がある。
【0222】請求項7に記載した発明によれば、仮想立
体空間内の知覚位置と、視点位置入力手段で入力する位
置及び表示位置入力手段で入力する位置の少なくとも一
方の位置との予め求めた対応関係から仮想物体を表示す
るための仮想立体空間の座標を補正することができるの
で、仮想物体を表示するための仮想立体空間の座標を容
易に補正することができ、高精度で仮想物体を表示する
ことができる、という効果がある。
【0223】請求項8に記載した発明によれば、補正手
段の対応関係に基づいて仮想物体の左眼用画像及び仮想
物体の右眼用画像を計算することによって、より正確な
位置に仮想物体を立体画像として得ることができる、と
いう効果がある。
【0224】請求項9に記載した発明によれば、予め測
定された仮想立体空間内に表示した仮想物体の位置と、
該仮想物体の知覚位置を測定した測定位置との誤差から
対応関係を求めているので、オペレータの知覚特性に応
じた仮想物体を表示することができる、という効果があ
る。
【0225】請求項12に記載した発明によれば、複数
の立体視眼鏡のうちの選択手段により選択された立体視
眼鏡について、制御手段により定められた仮想立体空間
内で仮想物体を表示させているので、複数の立体視眼鏡
から知覚対象として選択された立体視眼鏡を装着したオ
ペレータに仮想物体を認知させることが容易に行える、
という効果がある。
【0226】請求項13に記載した発明によれば、複数
の立体視眼鏡のうち1つの立体視眼鏡の報知手段から報
知された自己の位置に基づいて基準位置を定めるので、
立体視眼鏡を装着している各々のオペレータに対して最
適な仮想物体を提示することができる、という効果があ
る。
【0227】請求項14に記載した発明によれば、視点
位置または報知手段から報知された位置に基づいて定め
た視点位置を基準位置とするので、知覚対象となるオペ
レータが目視する位置から正確に仮想立体空間に定めて
仮想物体を表示させることができる、という効果があ
る。
【0228】請求項15に記載した発明によれば、選択
手段により基準位置まで最短距離の立体視眼鏡を選択す
るので、基準位置付近に立体視眼鏡を装着した複数のオ
ペレータが存在しても、その中から最短距離の立体視眼
鏡が選択されるので、簡単かつ正確に知覚対象となるオ
ペレータに対して仮想物体を表示させることができる、
という効果がある。
【0229】請求項16に記載した発明によれば、存在
領域及び報知手段による位置から知覚対象の立体視眼鏡
を選択できるので、複数の立体視眼鏡から自動的に知覚
対象の立体視眼鏡を選択することもできる、という効果
がある。
【0230】請求項17に記載した発明によれば、立体
視眼鏡の左眼用光学素子及び右眼用光学素子として液晶
シャッタを用いることができるので、追従性を高速にか
つ遮光性の切り替えを容易にすることができ、立体視眼
鏡により仮想物体を容易にオペレータに認知させること
ができる、という効果がある。
【図面の簡単な説明】
【図1】本発明の第1実施の形態にかかる立体画像表示
装置の概略構成を示すブロック図である。
【図2】本発明の第1実施の形態にかかる立体画像表示
装置の制御装置の概略構成を示すブロック図である。
【図3】位置入力装置の概略構成を示すイメージ図であ
る。
【図4】レーザ光を光軸とする位置入力装置の概略構成
を示すイメージ図である。
【図5】照準を備えた位置入力装置の概略構成を示すイ
メージ図である。
【図6】立体画像表示装置で立体画像を表示させる処理
の流れを示すフローチャートである。
【図7】立体画像を表示させるための空間補正処理の流
れを示すフローチャートである。
【図8】スクリーンの位置設定処理の流れを示すフロー
チャートである。
【図9】スクリーンの位置設定処理の過程を説明するた
めのイメージ図である。
【図10】スクリーンの位置設定の他例の処理の流れを
示すフローチャートである。
【図11】視点位置設定処理の流れを示すフローチャー
トである。
【図12】視点位置設定処理の過程を説明するためのイ
メージ図である。
【図13】視点位置設定の他例の処理の流れを示すフロ
ーチャートである。
【図14】視点位置設定の他例の処理の過程を説明する
ためのイメージ図である。
【図15】注視点から視点位置を設定する処理の流れを
示すフローチャートである。
【図16】注視点から視点位置を設定する処理の過程を
説明するためのイメージ図である。
【図17】注視点から視点位置を設定する他例の処理の
流れを示すフローチャートである。
【図18】立体画像表示の処理の流れを示すフローチャ
ートである。
【図19】立体画像表示の過程を説明するためのイメー
ジ図である。
【図20】オペレータによって知覚特性を示す線図であ
り、(1)は正視状態で仮想物体を目視したときの提示
位置と誤差との関係を示し、(2)は斜視状態における
関係を示している。
【図21】仮想物体の提示距離と瞳孔間距離の関係を示
す線図であり、(1)には、正視状態、(2)は斜視状
態の結果を示している。
【図22】空間歪みテーブルを生成する処理の流れを示
すフローチャートである。
【図23】オペレータに正しい位置で仮想物体を知覚さ
せるための第1の補正処理の流れを示すフローチャート
である。
【図24】オペレータに正しい位置で仮想物体を知覚さ
せるための第2の補正処理の流れを示すフローチャート
である。
【図25】仮想物体を補正した位置に提示したときの知
覚位置の誤差を示し、(1)は正視状態、(2)は斜視
状態を示している。
【図26】オペレータに正しい位置で仮想物体を知覚さ
せるための第3の補正処理の流れを示すフローチャート
である。
【図27】オペレータに正しい位置で仮想物体を知覚さ
せるための第4の補正処理の流れを示すフローチャート
である。
【図28】画像のふらつき感を減少させつつ補正する処
理の流れを示すフローチャートである。
【図29】異なる複数の仮想物体の提示位置の各々に対
するスクリーン位置と仮想瞳孔間距離との関係を示す線
図である。
【図30】オペレータに正しい位置で仮想物体を知覚さ
せるための第6の補正処理の流れを示すフローチャート
である。
【図31】オペレータの提示距離による知覚特性を示す
線図であり、(1)は仮想瞳孔間距離固定のときの仮想
物体の提示位置と知覚距離の誤差との関係を示し、
(2)は仮想瞳孔間距離を補正したときの仮想物体の提
示位置と知覚距離の誤差との関係を示している。
【図32】オペレータのスクリーン位置による知覚特性
を示す線図であり、(1)は仮想瞳孔間距離固定のとき
のスクリーン位置と知覚距離の誤差との関係を示し、
(2)は仮想瞳孔間距離を補正したときのスクリーン位
置と知覚距離の誤差との関係を示している。
【図33】立体画像表示の過程を説明するためのイメー
ジ図である。
【図34】本発明の第2実施の形態にかかる立体画像表
示装置の概略構成を示すブロック図である。
【図35】立体画像表示装置の制御装置の概略構成を示
すブロック図である。
【図36】立体画像表示装置で立体画像を表示させる処
理の流れを示すフローチャートである。
【図37】立体視眼鏡の概略構成を示す斜視図である。
【図38】第2実施の形態における、立体画像表示処理
の流れを示すフローチャートである。
【図39】図38のステップ300の詳細である第1の
基準領域設定処理の流れを示すフローチャートである。
【図40】図38のステップ300の詳細である第2の
基準領域設定処理の流れを示すフローチャートである。
【図41】図38のステップ302の詳細である第1の
優先観察者設定処理の流れを示すフローチャートであ
る。
【図42】図38のステップ302の詳細である第2の
優先観察者設定処理の流れを示すフローチャートであ
る。
【図43】図38のステップ302の詳細である第3の
優先観察者設定処理の流れを示すフローチャートであ
る。
【図44】優先観察者設定の過程を説明するための説明
図である。
【図45】図38のステップ304の詳細である第1の
立体画像生成表示処理の流れを示すフローチャートであ
る。
【図46】図38のステップ304の詳細である第2の
立体画像生成表示処理の流れを示すフローチャートであ
る。
【図47】第3実施の形態における、立体画像表示処理
の流れを示すフローチャートである。
【図48】第4実施の形態における、立体画像表示処理
の流れを示すフローチャートである。
【図49】オペレータに正しい位置で仮想物体を知覚さ
せるための第5の補正処理の流れを示すフローチャート
である。
【符号の説明】
10 立体画像表示装置 11 立体画像表示装置 12 プロジェクタ 14 制御装置 15 制御装置 16 スクリーン 18 位置入力装置 20 液晶シャッタ眼鏡 201 ,202 液晶シャッタ眼鏡 22 位置センサ 221 ,222 位置センサ 30 磁界発生装置

Claims (19)

    【特許請求の範囲】
  1. 【請求項1】 画像を表示するための表示領域を有する
    表示手段と、 前記表示手段から離れた位置に設けられかつ、各々入力
    された信号に基づいて光の透過及び未透過を切り換え可
    能な左眼用光学素子及び右眼用光学素子を備えた立体視
    眼鏡と、 前記立体視眼鏡近傍に位置する眼球の位置を入力するた
    めの視点位置入力手段と、 前記表示手段の表示領域上の位置を入力するための表示
    位置入力手段と、 前記入力された眼球の位置及び前記表示領域上の位置に
    基づいて前記表示手段と前記立体視眼鏡との間に含まれ
    る空間を仮想立体空間に定め、仮想立体空間内で仮想物
    体を認知させるために仮想物体の左眼用画像及び仮想物
    体の右眼用画像を前記表示手段に切り換えて表示させる
    と共に、該切り換えに同期して前記左眼用光学素子及び
    右眼用光学素子が交互に光を透過または未透過を繰り返
    すように切換信号を出力する制御手段と、 を備えた立体画像表示装置。
  2. 【請求項2】 前記表示手段は光の一部を反射する反射
    部材を含んで形成され、前記視点位置入力手段は前記立
    体視眼鏡近傍に位置する眼球が前記表示手段上に写し出
    された該表示手段上の位置の入力に基づいて視点位置を
    入力することを特徴とする請求項1に記載の立体画像表
    示装置。
  3. 【請求項3】 前記視点位置入力手段は、自己の位置を
    入力するための位置入力部と前記位置入力部に対して基
    準視軸を形成する照準部とを備え、入力された自己の位
    置及び前記基準視軸に基づいて視点位置を入力すること
    を特徴とする請求項1に記載の立体画像表示装置。
  4. 【請求項4】 前記視点位置入力手段は、前記立体視眼
    鏡近傍に位置する眼球の回転を検出する検出部を備え、
    検出された眼球の回転に基づいて視点位置を入力するこ
    とを特徴とする請求項2または3に記載の立体画像表示
    装置。
  5. 【請求項5】 前記視点位置入力手段は、前記表示手段
    上の注視位置から眼球の回転を検出する検出手段を備
    え、検出された眼球の回転に基づいて視点位置を入力す
    ることを特徴とする請求項2または3に記載の立体画像
    表示装置。
  6. 【請求項6】 前記表示位置入力手段は、自己の位置を
    入力するための位置入力部と前記位置入力部に対して基
    準光軸を形成する光照射部とを備え、前記表示領域上に
    表示された基準図形について入力された自己の位置及び
    前記基準光軸に基づいて表示領域上の位置を入力するこ
    とを特徴とする請求項1乃至請求項5の何れか1項に記
    載の立体画像表示装置。
  7. 【請求項7】 前記仮想立体空間内の知覚位置と、前記
    視点位置入力手段で入力する位置及び前記表示位置入力
    手段で入力する位置の少なくとも一方の位置との対応関
    係を予め求め、該対応関係に基づいて仮想物体を表示す
    るための仮想立体空間の座標を補正する補正手段をさら
    に備えたことを特徴とする請求項1乃至請求項6の何れ
    か1項に記載の立体画像表示装置。
  8. 【請求項8】 前記補正手段は、前記対応関係に基づい
    て仮想物体の左眼用画像及び仮想物体の右眼用画像を計
    算することを特徴とする請求項7に記載の立体画像表示
    装置。
  9. 【請求項9】 前記補正手段は、予め測定された仮想立
    体空間内に表示した仮想物体の位置と、該仮想物体の知
    覚位置を測定した測定位置との誤差に基づいて、前記対
    応関係を求めることを特徴とする請求項7または8に記
    載の立体画像表示装置。
  10. 【請求項10】 プログラムされたコンピュータによっ
    て立体画像を表示する立体画像表示方法であって、 各々入力された信号に基づいて光の透過及び未透過を切
    り換え可能な左眼用光学素子及び右眼用光学素子を有す
    る立体視眼鏡近傍に位置する眼球の位置を入力し、 画像を表示するための表示領域を有する表示手段の該表
    示領域上の位置を入力し、 前記眼球の位置及び前記表示領域上の位置に基づいて前
    記表示手段と前記立体視眼鏡との間に含まれる空間を仮
    想立体空間に定め、仮想立体空間内で仮想物体を認知さ
    せるために仮想物体の左眼用画像及び仮想物体の右眼用
    画像を切り換えると共に、該切り換えに同期して前記左
    眼用光学素子及び右眼用光学素子を光の透過または未透
    過に切り換えることを特徴とする立体画像表示方法。
  11. 【請求項11】 コンピュータによって立体画像を表示
    するための立体画像表示プログラムを記録した記録媒体
    であって、 各々入力された信号に基づいて光の透過及び未透過を切
    り換え可能な左眼用光学素子及び右眼用光学素子を有す
    る立体視眼鏡近傍に位置する眼球の位置を入力し、 画像を表示するための表示領域を有する表示手段の該表
    示領域上の位置を入力し、 前記眼球の位置及び前記表示領域上の位置に基づいて仮
    想立体空間を定め、仮想立体空間内で仮想物体を認知さ
    せるために仮想物体の左眼用画像及び仮想物体の右眼用
    画像を切り換えると共に、該切り換えに同期して前記左
    眼用光学素子及び右眼用光学素子を光の透過または未透
    過に切り換えることを特徴とする立体画像表示プログラ
    ムを記録した記録媒体。
  12. 【請求項12】 画像を表示するための表示手段と、前
    記表示手段から離れた位置に設けられかつ、各々自己の
    位置を報知する報知手段を備えると共に、各々入力され
    た信号に基づいて光の透過及び未透過を切り換え可能な
    左眼用光学素子及び右眼用光学素子を備えた複数の立体
    視眼鏡と、 前記複数の立体視眼鏡から知覚対象の立体視眼鏡を選択
    する選択手段と、 前記表示手段の位置を入力するための表示位置入力手段
    と、 前記表示手段から離間しかつ予め定めた基準位置及び前
    記表示手段の位置に基づいて前記表示手段と前記立体視
    眼鏡との間に含まれる空間を仮想立体空間に定め、仮想
    立体空間内で仮想物体を認知させるために仮想物体の左
    眼用画像及び仮想物体の右眼用画像を前記表示手段に切
    り換えて表示させると共に、該切り換えに同期して前記
    知覚対象の立体視眼鏡の左眼用光学素子及び右眼用光学
    素子が交互に光を透過または未透過を繰り返すように切
    換信号を出力する制御手段と、 を備えた立体画像表示装置。
  13. 【請求項13】 前記基準位置は、前記複数の立体視眼
    鏡のうちの1つの立体視眼鏡の報知手段から報知された
    自己の位置に基づいて基準位置を定めることを特徴とす
    る請求項12に記載の立体画像表示装置。
  14. 【請求項14】 前記基準位置は、予め定めた視点位置
    または前記複数の立体視眼鏡のうちの1つの立体視眼鏡
    の報知手段から報知された位置に基づいて定めた視点位
    置であることを特徴とする請求項12に記載の立体画像
    表示装置。
  15. 【請求項15】 前記選択手段は、前記基準位置まで最
    短距離の前記立体視眼鏡を選択することを特徴とする請
    求項12に記載の立体画像表示装置。
  16. 【請求項16】 前記選択手段は、前記基準位置に基づ
    いて前記立体視眼鏡が存在することが予想される存在領
    域を定める領域設定手段を有し、該存在領域及び前記報
    知手段から報知された複数の位置に基づいて知覚対象の
    立体視眼鏡を選択することを特徴とする請求項12乃至
    請求項14のうち何れか1項に記載の立体画像表示装
    置。
  17. 【請求項17】 前記立体視眼鏡の左眼用光学素子及び
    右眼用光学素子は、液晶シャッタであることを特徴とす
    る請求項12乃至請求項16の何れか1項に記載の立体
    画像表示装置。
  18. 【請求項18】 プログラムされたコンピュータによっ
    て立体画像を表示する立体画像表示方法であって、 画像を表示するための表示領域を有する表示手段の該表
    示領域上の位置を入力し、 各々入力された信号に基づいて光の透過及び未透過を切
    り換え可能な左眼用光学素子及び右眼用光学素子を有す
    る複数の立体視眼鏡から知覚対象の立体視眼鏡を選択
    し、 前記表示手段から離間しかつ予め定めた基準位置及び前
    記表示手段の位置に基づいて前記表示手段と前記立体視
    眼鏡との間に含まれる空間を仮想立体空間に定め、仮想
    立体空間内で仮想物体を認知させるために仮想物体の左
    眼用画像及び仮想物体の右眼用画像を前記表示手段に切
    り換えて表示させると共に、該切り換えに同期して前記
    知覚対象の立体視眼鏡の左眼用光学素子及び右眼用光学
    素子を光の透過または未透過に切り換えることを特徴と
    する立体画像表示方法。
  19. 【請求項19】 コンピュータによって立体画像を表示
    するための立体画像表示プログラムを記録した記録媒体
    であって、 画像を表示するための表示領域を有する表示手段の該表
    示領域上の位置を入力し、 各々入力された信号に基づいて光の透過及び未透過を切
    り換え可能な左眼用光学素子及び右眼用光学素子を有す
    る複数の立体視眼鏡から知覚対象の立体視眼鏡を選択
    し、 前記表示手段から離間しかつ予め定めた基準位置及び前
    記表示手段の位置に基づいて前記表示手段と前記立体視
    眼鏡との間に含まれる空間を仮想立体空間に定め、仮想
    立体空間内で仮想物体を認知させるために仮想物体の左
    眼用画像及び仮想物体の右眼用画像を前記表示手段に切
    り換えて表示させると共に、該切り換えに同期して前記
    知覚対象の立体視眼鏡の左眼用光学素子及び右眼用光学
    素子を光の透過または未透過に切り換えることを特徴と
    する立体画像表示プログラムを記録した記録媒体。
JP25390397A 1996-12-18 1997-09-18 立体画像表示装置、立体画像表示方法及び記録媒体 Expired - Lifetime JP3651204B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP25390397A JP3651204B2 (ja) 1996-12-18 1997-09-18 立体画像表示装置、立体画像表示方法及び記録媒体
EP97310250A EP0849959B1 (en) 1996-12-18 1997-12-17 Apparatus and method for displaying stereoscopic images
US08/992,337 US6388639B1 (en) 1996-12-18 1997-12-17 Stereoscopic image display apparatus, method of displaying stereoscopic image, and recording medium
DE69728633T DE69728633T2 (de) 1996-12-18 1997-12-17 Vorrichtung und Verfahren zur Anzeige dreidimensionaler Bilder

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP33874596 1996-12-18
JP8-338745 1996-12-18
JP9-83962 1997-04-02
JP8396297 1997-04-02
JP25390397A JP3651204B2 (ja) 1996-12-18 1997-09-18 立体画像表示装置、立体画像表示方法及び記録媒体

Publications (2)

Publication Number Publication Date
JPH10333094A true JPH10333094A (ja) 1998-12-18
JP3651204B2 JP3651204B2 (ja) 2005-05-25

Family

ID=27304382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25390397A Expired - Lifetime JP3651204B2 (ja) 1996-12-18 1997-09-18 立体画像表示装置、立体画像表示方法及び記録媒体

Country Status (4)

Country Link
US (1) US6388639B1 (ja)
EP (1) EP0849959B1 (ja)
JP (1) JP3651204B2 (ja)
DE (1) DE69728633T2 (ja)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006102495A (ja) * 2004-10-01 2006-04-20 General Electric Co <Ge> 外科手術室の情報ディスプレイの注視検出及びユーザの制御用優先順位付けのための方法及び装置
JP2008210359A (ja) * 2007-01-30 2008-09-11 Toyota Motor Corp 操作装置
JP2008229175A (ja) * 2007-03-22 2008-10-02 Matsushita Electric Works Ltd 映像表示装置および両眼視機能検査装置
JP2008539675A (ja) * 2005-04-26 2008-11-13 アイマックス コーポレイション 電子投影システムおよび方法
JP2010171608A (ja) * 2009-01-21 2010-08-05 Nikon Corp 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
WO2010146943A1 (ja) * 2009-06-19 2010-12-23 日本電気株式会社 液晶シャッターめがね
US8049722B2 (en) 2005-09-05 2011-11-01 Toyota Jidosha Kabushiki Kaisha Vehicular operating apparatus
US8094189B2 (en) 2007-01-30 2012-01-10 Toyota Jidosha Kabushiki Kaisha Operating device
JP2012169759A (ja) * 2011-02-10 2012-09-06 Sony Corp 表示装置および表示方法
JP2017107359A (ja) * 2015-12-09 2017-06-15 Kddi株式会社 眼鏡状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する画像表示装置、プログラム及び方法
JP2019507902A (ja) * 2016-02-11 2019-03-22 マジック リープ, インコーポレイテッドMagic Leap,Inc. 深度平面間の低減された切り替えを伴う多深度平面ディスプレイシステム
JP2021533465A (ja) * 2018-08-02 2021-12-02 マジック リープ, インコーポレイテッドMagic Leap, Inc. 頭部運動に基づく瞳孔間距離補償を伴う視認システム
JP2022188084A (ja) * 2017-03-06 2022-12-20 ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー 遊園地環境における層状仮想特徴のためのシステム及び方法
US11762222B2 (en) 2017-12-20 2023-09-19 Magic Leap, Inc. Insert for augmented reality viewing device
US11776509B2 (en) 2018-03-15 2023-10-03 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US11790554B2 (en) 2016-12-29 2023-10-17 Magic Leap, Inc. Systems and methods for augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US11874468B2 (en) 2016-12-30 2024-01-16 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US11885871B2 (en) 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization
US11927759B2 (en) 2017-07-26 2024-03-12 Magic Leap, Inc. Exit pupil expander
US11953653B2 (en) 2017-12-10 2024-04-09 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
US11960661B2 (en) 2018-08-03 2024-04-16 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US12001013B2 (en) 2018-07-02 2024-06-04 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US12016719B2 (en) 2018-08-22 2024-06-25 Magic Leap, Inc. Patient viewing system
US12033081B2 (en) 2020-11-13 2024-07-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE39539E1 (en) 1996-08-19 2007-04-03 Torch William C System and method for monitoring eye movement
JP2002532795A (ja) * 1998-12-07 2002-10-02 ユニバーサル シティ スタジオズ インコーポレイテッド 視点画像ゆがみを補償するための画像補正方法
JP2000354257A (ja) * 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
GB2362551B (en) * 2000-04-14 2004-08-18 Ford Global Tech Inc System and method of evaluation of a vehicle design within a virtual environment using virtual reality
KR100373818B1 (ko) * 2000-08-01 2003-02-26 삼성전자주식회사 리얼 사이즈 디스플레이 시스템
KR100406945B1 (ko) * 2001-02-19 2003-11-28 삼성전자주식회사 착용형 디스플레이 장치
US10039445B1 (en) 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US20110077548A1 (en) * 2004-04-01 2011-03-31 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
ZA200608191B (en) * 2004-04-01 2008-07-30 William C Torch Biosensors, communicators, and controllers monitoring eye movement and methods for using them
AU2005285558C1 (en) * 2004-08-12 2012-05-24 A4 Vision S.A Device for biometrically controlling a face surface
GB0525993D0 (en) * 2005-12-21 2006-02-01 Musion Systems Ltd Projection apparatus and method
US20110221876A1 (en) * 2008-10-20 2011-09-15 Macnaughton Boyd Solar Powered 3D Glasses
US20110063425A1 (en) * 2009-09-15 2011-03-17 Delphi Technologies, Inc. Vehicle Operator Control Input Assistance
KR101651568B1 (ko) 2009-10-27 2016-09-06 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법
US8890946B2 (en) * 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US20120005624A1 (en) 2010-07-02 2012-01-05 Vesely Michael A User Interface Elements for Use within a Three Dimensional Scene
US8643569B2 (en) * 2010-07-14 2014-02-04 Zspace, Inc. Tools for use within a three dimensional scene
JP5367846B2 (ja) * 2011-08-24 2013-12-11 株式会社東芝 画像処理装置、方法およびプログラム、並びに、立体画像表示装置
JP5711104B2 (ja) * 2011-12-14 2015-04-30 株式会社東芝 画像表示装置、方法、プログラム、及び画像処理装置
CN103217799B (zh) * 2012-01-19 2016-08-17 联想(北京)有限公司 一种信息处理方法及电子设备
EP2699006A1 (en) * 2012-08-16 2014-02-19 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) Pictures positioning on display elements
EP2725806A1 (fr) * 2012-10-23 2014-04-30 Vincent Meyrueis Dispositif et procédé de calibration des paramètres stéréoscopiques d'affichage d'un système de réalité virtuelle
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
EP3283994A4 (en) 2015-04-17 2018-12-19 Tulip Interfaces Inc. Monitoring tool usage
IL291915B2 (en) 2016-03-04 2024-03-01 Magic Leap Inc Reducing current leakage in AR/VR display systems
CA3017930A1 (en) 2016-03-25 2017-09-28 Magic Leap, Inc. Virtual and augmented reality systems and methods
WO2020018938A1 (en) 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4562463A (en) 1981-05-15 1985-12-31 Stereographics Corp. Stereoscopic television system with field storage for sequential display of right and left images
JPS62293381A (ja) 1986-06-11 1987-12-19 Toshiba Corp 立体画像表示装置
US5767821A (en) * 1989-11-07 1998-06-16 Paalsgaard; Goete Communication device
US5821989A (en) * 1990-06-11 1998-10-13 Vrex, Inc. Stereoscopic 3-D viewing system and glasses having electrooptical shutters controlled by control signals produced using horizontal pulse detection within the vertical synchronization pulse period of computer generated video signals
JPH06131442A (ja) 1992-10-19 1994-05-13 Mazda Motor Corp 3次元虚像造形装置
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5394202A (en) 1993-01-14 1995-02-28 Sun Microsystems, Inc. Method and apparatus for generating high resolution 3D images in a head tracked stereo display system
JPH08511631A (ja) * 1993-05-04 1996-12-03 ゼノテック リサーチ プロプライエタリー リミテッド 立体映像表示ユニット
JPH07222204A (ja) * 1994-02-07 1995-08-18 Terumo Corp 立体画像表示装置
JP3428151B2 (ja) * 1994-07-08 2003-07-22 株式会社セガ 画像表示装置を用いた遊戯装置
US5737012A (en) * 1994-12-01 1998-04-07 Olympus Optical Co., Ltd. Head mounted image display apparatus and image forming apparatus related thereto
JP2826710B2 (ja) 1995-02-27 1998-11-18 株式会社エイ・ティ・アール人間情報通信研究所 2眼式立体画像表示方法
US5991085A (en) * 1995-04-21 1999-11-23 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
US6005607A (en) * 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
US5831584A (en) * 1995-07-28 1998-11-03 Chrysler Corporation Hand calibration system and virtual display selection for vehicle simulator

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006102495A (ja) * 2004-10-01 2006-04-20 General Electric Co <Ge> 外科手術室の情報ディスプレイの注視検出及びユーザの制御用優先順位付けのための方法及び装置
US8567953B2 (en) 2005-04-26 2013-10-29 Imax Corporation Systems and methods for projecting composite images
JP2008539675A (ja) * 2005-04-26 2008-11-13 アイマックス コーポレイション 電子投影システムおよび方法
US9165536B2 (en) 2005-04-26 2015-10-20 Imax Corporation Systems and methods for projecting composite images
US8049722B2 (en) 2005-09-05 2011-11-01 Toyota Jidosha Kabushiki Kaisha Vehicular operating apparatus
US8094189B2 (en) 2007-01-30 2012-01-10 Toyota Jidosha Kabushiki Kaisha Operating device
JP2008210359A (ja) * 2007-01-30 2008-09-11 Toyota Motor Corp 操作装置
JP2008229175A (ja) * 2007-03-22 2008-10-02 Matsushita Electric Works Ltd 映像表示装置および両眼視機能検査装置
JP2010171608A (ja) * 2009-01-21 2010-08-05 Nikon Corp 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
US8675048B2 (en) 2009-01-21 2014-03-18 Nikon Corporation Image processing apparatus, image processing method, recording method, and recording medium
WO2010146943A1 (ja) * 2009-06-19 2010-12-23 日本電気株式会社 液晶シャッターめがね
JP5418591B2 (ja) * 2009-06-19 2014-02-19 日本電気株式会社 液晶シャッターめがね
US9436016B2 (en) 2009-06-19 2016-09-06 Nec Corporation Liquid crystal shutter eyeglass
JP2012169759A (ja) * 2011-02-10 2012-09-06 Sony Corp 表示装置および表示方法
JP2017107359A (ja) * 2015-12-09 2017-06-15 Kddi株式会社 眼鏡状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する画像表示装置、プログラム及び方法
JP2019507902A (ja) * 2016-02-11 2019-03-22 マジック リープ, インコーポレイテッドMagic Leap,Inc. 深度平面間の低減された切り替えを伴う多深度平面ディスプレイシステム
US11790554B2 (en) 2016-12-29 2023-10-17 Magic Leap, Inc. Systems and methods for augmented reality
US11874468B2 (en) 2016-12-30 2024-01-16 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
JP2022188084A (ja) * 2017-03-06 2022-12-20 ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー 遊園地環境における層状仮想特徴のためのシステム及び方法
US11927759B2 (en) 2017-07-26 2024-03-12 Magic Leap, Inc. Exit pupil expander
US11953653B2 (en) 2017-12-10 2024-04-09 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
US11762222B2 (en) 2017-12-20 2023-09-19 Magic Leap, Inc. Insert for augmented reality viewing device
US11908434B2 (en) 2018-03-15 2024-02-20 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US11776509B2 (en) 2018-03-15 2023-10-03 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US11885871B2 (en) 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization
US12001013B2 (en) 2018-07-02 2024-06-04 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
JP2021533465A (ja) * 2018-08-02 2021-12-02 マジック リープ, インコーポレイテッドMagic Leap, Inc. 頭部運動に基づく瞳孔間距離補償を伴う視認システム
US11960661B2 (en) 2018-08-03 2024-04-16 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US12016719B2 (en) 2018-08-22 2024-06-25 Magic Leap, Inc. Patient viewing system
US12033081B2 (en) 2020-11-13 2024-07-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality

Also Published As

Publication number Publication date
JP3651204B2 (ja) 2005-05-25
DE69728633D1 (de) 2004-05-19
EP0849959B1 (en) 2004-04-14
EP0849959A3 (en) 1998-12-23
US6388639B1 (en) 2002-05-14
EP0849959A2 (en) 1998-06-24
DE69728633T2 (de) 2005-03-17

Similar Documents

Publication Publication Date Title
JP3651204B2 (ja) 立体画像表示装置、立体画像表示方法及び記録媒体
JP3717653B2 (ja) 頭部搭載型画像表示装置
EP3531194A1 (en) Image preparation device, image preparation method, image preparation program, method for designing eyeglass lens, and method for manufacturing eyeglass lens
US20210197669A1 (en) Three-dimensional augmented reality head-up display for implementing augmented reality in driver&#39;s point of view by placing image on ground
JP4233270B2 (ja) 適応型自動立体表示システム
CN104253990B (zh) 用车辆视野显示装置的成像器显示三维图像的方法和设备
JP2612256B2 (ja) 観察者に二次元表示から三次元感覚を得させるための方法
CN109394252A (zh) 用于操作医学成像设备的方法和医学成像设备
CN104094162A (zh) 动态控制沉浸或抬头显示操作的宽视场3d立体视觉平台
GB2306826A (en) Display, method of calibrating an observer tracking display and observer tracking autostereoscopic 3D display
JPH0676073A (ja) 立体三次元画像を生成する方法及び装置
JP4367212B2 (ja) 虚像表示装置およびプログラム
EP0845737B1 (en) Image display method and apparatus therefor
US11808946B2 (en) Diaphragm for performing image position correction of a virtual image projectable on a windshield of a vehicle by means of a head-up display
JPH06235885A (ja) 立体映像表示装置
CN110794590B (zh) 虚拟现实显示***及其显示方法
JP4267556B2 (ja) 眼球制御装置、眼球制御方法および眼球制御プログラム
CN211786414U (zh) 虚拟现实显示***
JP2020031413A (ja) 表示装置、移動体、移動体制御システム、これらの製造方法、および映像の表示方法
JP3680250B2 (ja) 空間図形入力装置
CN103162708A (zh) 具有改善的地图显示的导航***
JP2007310285A (ja) 表示装置
JPH09102052A (ja) 立体画像表示装置
JP3546756B2 (ja) 空間座標入力装置
JP6677387B2 (ja) 立体画像表示装置及び立体画像表示方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041006

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041216

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050214

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090304

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100304

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110304

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110304

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120304

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120304

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130304

Year of fee payment: 8