JPH09251550A

JPH09251550A - 立体画像の記憶方法、表示方法及びその装置

Info

Publication number: JPH09251550A
Application number: JP8057557A
Authority: JP
Inventors: Hiroyuki Yamamoto; 裕之山本; Shinji Uchiyama; 晋二内山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-03-14
Filing date: 1996-03-14
Publication date: 1997-09-22

Abstract

(57)【要約】【課題】観察者の視線に応じて適応的に表示する画質
を制御して立体画像の表示が行え、同時に画像特徴の抽
出を行うことなくなり、データ量の圧縮が行える立体画
像表示方法を提案する。【解決手段】視点と対象物体の姿勢と方向（ａ）を姿
勢パラメータとして、前記対象物体の視点を色々と変え
て得た複数の画像を、対応する固有ベクトルデータと共
に、パラメトリック固有空間上の座標位置として記憶
し、観察者の視点と前記対象物体の姿勢とに基づいて再
生パラメータ（ｂ_L，ｂ_R）の値を決定し、決定された再
生パラメータの値に近い値を有する姿勢パラメータ
（ａ）に対応するところの左右画像の前記パラメトリッ
ク固有空間における座標を決定し、観察者の視線方向と
前記対象物体の位置方向とに基づいて、固有ベクトルの
数を決定し、決定された左右画像の座標位置と、固有ベ
クトルの組とに基づいて、左右画像を再構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、観察者の視線に適応的
に応じる立体画像表示方法、立体画像表示装置、立体画
像の記憶方法に関する。

【０００２】

【従来の技術】対象物体の実撮影画像を利用して立体画
像表示を行う方には以下のような方法がある。（１）２つのカメラを用意し、これらのカメラによって
撮影された２つの画像を一対のステレオ画像として立体
表示を行う手法。

【０００３】（２）複数台のカメラを用意し、これらカ
メラのうち、観察者の視点位置に応じて隣り合う２つの
カメラからの画像を選択し、これらの画像をステレオ画
像として立体表示を行う方法。（３）複数台のカメラを用意し、これらカメラから得ら
れる複数画像からエピポーラ画像を構成すると共に、観
察者の視点位置に相当する２つの仮想カメラを同定し、
このエピポーラ画像に基づいて前記仮想カメラ間から見
た画像を再構成（補間）して、２つの再構成画像をステ
レオ画像として立体表示を行う方法（参考文献：片山、
田中、押野、田村、“多視点画像データの補間処理によ
る視点追従型立体画像表示”、３次元画像コンファレン
ス’９４、pp7-12，1994．）。

【０００４】一方、複数の画像から画像特徴を抽出する
ことなしに、画像データの圧縮、画像の再構成を行う手
法に、（４）複数の視点からの画像系列を固有空間上の多様体
で記述するパラメトリック固有空間法（参考文献：例え
ば、村瀬、Nayar、“２次元照合による３次元物体の認
識とその学習”、電子情報通信学会信学技法, PRU93-12
0，1994.）がある。

【０００５】また、観察者の視線情報を利用した表示手
法に、（５）注視していない部分には解像度の低い画像データ
を、注視している部分には解像度の高い画像データを用
いて画像表示する方法（参考文献：山口、伴野、岸野、
“視線検出を利用する広視野高精細表示法の検討、電子
情報通信学会論文誌Ｃ−II, Vol. J73-C-II, No. 11,
pp. 721-732, 1990）と、（６）注視していない部分などの視覚上重用でない部分
には粗い形状データを用いるなど、視線に応じて描画す
るグラフィックオブジェクトの精密さを適応的に変化さ
せる方法（参考文献：大島、内山、山本、田村、“視覚
特性を利用した３次元グラフィックオブジェクトの適応
的表示法”、３次元画像コンファレンス’９４、ｐｐ．
２０１−２０６、１９９４．）がある。

【０００６】

【発明が解決しようとする課題】従来技術（１）従来技術（１）では、２つのカメラの設置場所が固定の
ため、観察者の視点の動きに応じた立体画像の表示が不
可能であった。また、撮影時と同一解像度の画像を画像
面に一様に表示しており、視線方向に応じて適応的に表
示する画質を制御することは考慮されていない。

【０００７】従来技術（２）また、従来技術（２）では、上記（１）の問題は解決さ
れているが、利用するカメラの数が少ない場合には、視
点移動に応じたスムーズな立体画像の表示が不可能であ
った。また、撮影時の視点数の増加に伴い、増加するデ
ータ量を圧縮する手法を別途考慮する必要があった。

【０００８】また、撮影時と同一解像度の画像を画像面
に一様に表示しており、視線方向に応じて適応的に表示
する画質を制御することは考慮されていない。従来技術（３）また、従来技術（３）では、上記（１）および（２）の
問題が解決される。しかしながら、エピポーラ画像から
画像の再構成に必要な直線などの画像特徴を安定に且つ
高速に抽出することは困難である。また、複数の画像を
エピポーラ画像群として蓄積すれば、すべての画像を蓄
積することと等価となり、結局、従来技術（２）と同様
の問題が発生する。再構成のための画像特徴が抽出され
た後は、画像特徴をコード化することでデータ量の圧縮
は可能である。

【０００９】また、撮影時と同一解像度の画像を画像面
に一様に表示しており、視線方向に応じて適応的に表示
する画質を制御することは考慮されていない。従来技術（５），（６）また、視点位置や視線方向を検出する手段を備えた従来
の立体画像表示装置（上記の従来技術（２）および
（３）は視点位置を検出し、従来技術（５），（６）は
視点位置と視線方向を検出している）では、視覚上重要
でない部分（画像中で注視していない部分など）は細部
の情報を表示せずとも観察者が知覚する画質は全体とし
ては極度に低下しないという特徴を利用することによ
り、表示に必要な処理に負荷を集中することができると
いう利点を有している。特に、大型ディスプレイを用
い、観察者に広視野の画像を提供する場合には、この傾
向は強い。しかしながら、特に従来技術（５）では、入
力された静止画像を２段階の解像度で表示する手法を実
現しているが、立体画像や従来技術（２）および（３）
で考慮されている視点移動への対応が検討されていな
い。

【００１０】また、従来技術（６）では、コンピュータ
グラフィックスを用いた立体表示装置を前提とし、視線
に応じて描画するグラフィックスオブジェクトの精密さ
を適応的に変化させる方法が提案されている。しかしな
がら、従来の実撮影画像の立体表示技術へこの方法を適
用することはできない。本発明は、比較的欠点の少ない
従来技術（４）をさらに発展させたもので、実撮影画像
の立体画像表示方法および装置を提供するものである。

【００１１】本発明によれば、観察者の視線に応じて適
応的に表示する画質を制御して立体画像の表示が行え、
同時に画像特徴の抽出を行うことなくデータ量の圧縮が
行える方法および装置を提供することが可能となる。

【００１２】

【課題を解決するための手段】上記課題を達成するため
の、観察者の視線に適応的に応じた立体画像を表示する
方法は、視点と対象物体の姿勢との相互位置関係を姿勢
パラメータとして、前記対象物体の視点を色々と変えて
得た複数の画像を、対応する複数の固有ベクトルデータ
と共に、パラメトリック固有空間上の座標位置として記
憶する記憶工程と、観察者の視点における両眼位置と前
記対象物体の姿勢とに基づいて左右画像の再生パラメー
タの値を決定するパラメータ決定工程と、決定された再
生パラメータの値に近い値を有する姿勢パラメータに対
応するところの左右画像の前記パラメトリック固有空間
における座標位置を決定する座標位置決定工程と、観察
者の視線方向と前記対象物体の位置方向とに基づいて、
固有ベクトルの数を決定する数決定工程と、決定された
左右画像の座標位置と、固有ベクトルの組とに基づい
て、左右画像を再構成する画像再構成工程とを具備する
ことを特徴とする。

【００１３】観察者の位置と物体の位置とに応じて左右
画像の表示位置がパラメトリック空間において決定され
る。一方、観察者の視線方向に応じて、どの複数の固有
ベクトル空間を用いるかが決定される。かくして、画像
再構成工程においては、観察者の視線方向に適した固有
ベクトル空間において、観察者の位置に適した画像表示
位置において、左右画像が再構成される。

【００１４】本発明の好適な一態様に拠れば、前記記憶
工程では、前記対象物体を異なる方向から前もって撮像
して得た画像データに基づいて、前記複数の画像を生成
する。本発明の好適な一態様に拠れば、前記記憶工程に
おいて、表示対象を移動・回転させながら撮影される。

【００１５】本発明の好適な一態様に拠れば、前記記憶
工程において、表示対象の周囲に複数のカメラを設置
し、前記対象を様々な方向から撮影する。本発明の好適
な一態様に拠れば、前記記憶工程において、コンピュー
タグラフィックスにより表示対象を様々な方向から観察
した画像を生成する。いずれの態様によっても、観察者
の位置、観察者の視線に近い画像を前もって得ることが
できる。

【００１６】本発明の好適な一態様に拠れば、前記対象
物体に対する撮像方向の角度が姿勢パラメータとされ
る。本発明の好適な一態様に拠れば、前記記憶工程にお
いて、前記対象物体の前記複数の画像を、対応する固有
ベクトルと固有値との組み合わせと共に、前記姿勢パラ
メータの値に応じて検索可能に記憶する。

【００１７】後の再構成工程において、観察者の姿勢に
関する上記パラメータに基づいて、最適な左右画像を取
り出すことができる。本発明の好適な一態様に拠れば、
前記数決定工程は、観察者の視線方向と前記対象物体の
位置方向とのなす角度を、この角度値が大きいほど小さ
な値の整数値に変換する工程と、この整数値の値が小さ
いほど少ない数の固有ベクトルを選択する工程とをさら
に有することを特徴とする。

【００１８】観察者の視線方向と前記対象物体の位置方
向とのなす角度が大きいときは、視線方向は物体方向と
ずれており、従って、分解能の高い画像を再構成するに
はより多くの固有ベクトルを必要とする。本発明の好適
な一態様に拠れば、前記数決定工程は、前記整数値の数
の固有ベクトルを、固有値の大きい順に選択する工程を
さらに有することを特徴とする。

【００１９】再現に大きな影響を与える固有値の大きな
データを重要視することによりより少ないデータ量で分
より解能の高い再生画像を再生することができる。本発
明の好適な一態様に拠れば、前記数決定工程において、
前記表示対象が視線に対して相対的に動いているとき、
その速度が大きくなるに従って固有ベクトルの組数を減
少させることを特徴とする。

【００２０】本発明の好適な一態様に拠れば、前記数決
定工程において、前記表示対象が観察者の融像領域から
離れるに従って固有ベクトルの組数を減少させることを
特徴とする。本願発明の、立体画像を記憶する方法は、
視点と対象物体の姿勢との相互位置関係を姿勢パラメー
タとして検出し、前記対象物体の視点を色々と変えて得
た複数の画像を、対応する複数組の固有ベクトルデータ
と共に、パラメトリック固有空間上の座標位置として記
憶する記憶工程と具備することを特徴とする。

【００２１】上記課題を達成するための、観察者の視線
に適応的に応じた立体画像を表示する装置は、視点と対
象物体の姿勢との相互位置関係を姿勢パラメータとし
て、前記対象物体の視点を色々と変えて得た複数の画像
を、対応する複数組の固有ベクトルデータと共に、パラ
メトリック固有空間上の座標位置として記憶する記憶手
段と、観察者の視点と前記対象物体の姿勢とを検出する
手段と、前記検出手段の出力に応じて再生パラメータの
値を決定し、再生パラメータの値に近い値を有する姿勢
パラメータに対応するところの左右画像の前記パラメト
リック固有空間における座標位置を前記記憶手段から呼
び出す手段と、観察者の視線方向と前記対象物体の位置
方向とを検出する手段と、前記検出手段の出力に応じて
固有ベクトルの数を決定し、決定された左右画像の座標
位置と、固有ベクトルの組とに基づいて、左右画像を再
構成する手段とを具備することを特徴とする。

【００２２】

【実施形態】以下、添付の図面に従って、本発明による
実施形態を説明する。〈原理〉本実施形態の立体画像表示装置では、対象物体
をカメラを移動させながら複数の視点から画像を撮影す
る。ここで、カメラの位置情報や方向情報も画像とあわ
せて入力される。このようにして撮影した画像配列で
は、隣接した視点で撮影された画像間の相関が非常に高
い。そこで、入力された画像系列の共分散行列の固有ベ
クトルが張る固有空間により、もとの画像系列を表現す
れば、データ圧縮が可能となる。

【００２３】つぎに、前記画像系列の各画像を、計算さ
れた固有空間中の１点の座標として表現する。ここで、
各カメラ位置から撮影された画像が、計算された固有空
間中の１点として表現される。以上の工程・手段は立体
表示の前処理であり、参考文献（村瀬、Ｎａｙａｒ、”
２次元照合による３次元物体の認識とその学習”、電子
情報通信学会信学技法,PRU93-120，1994.）と同一であ
る。

【００２４】立体画像の再生表示時には、観察者の左右
両眼の位置と視線方向を、観察者頭部に装着した位置検
出装置と眼球運動検出装置により入力（又は記憶手段か
ら入力）する。次に、観察者の視点位置と表示装置画面
上に表示される対象物体の相対的位置関係と等価な画像
（または、もっとも近いカメラ位置から撮影して得た画
像）を前記入力画像系列から選択し、その画像の対応す
る固有空間中での座標を求める。

【００２５】さらに、視点位置から画面上に表示される
対象へのベクトルと視線方向のなす角度に応じて、対象
が観察者の左右の目の網膜上に映ずる部位を固定する。
人間の視覚では、注視点（視線方向）での分解能が最も
高く、注視点を離れるにしたがって著しく分解能が低下
する特徴がある。そこで、網膜上の部位における視覚分
解能に応じて、表示すべき画像の画質を制御する。すな
わち、注視点付近では画像再生に用いる固有ベクトルを
固有値の大きな順に多く利用し高画質の画像を提示し、
対象が周辺視野に表示される場合には利用する固有ベク
トルの数を減らして画質を落として提示する。

【００２６】これらの画像の提示は、液晶シャッタ眼鏡
または偏光眼鏡を用いて左右両眼ごとに行われ、観察者
は立体画像を観察できる。〈具体的構成及び動作〉図１は、本発明の実施形態であ
る立体画像表示装置の基本構成図である。同図におい
て、１は処理手順を記憶するための記憶装置、２はその
処理に必要な情報及び入出力データを記憶するための記
憶装置、３は記憶装置１に記憶された処理手順にしたが
って処理を行うためのＣＰＵである。４は処理に必要な
情報や立体画像を表示するためのＣＲＴ、５は観察者の
視点のＣＲＴ４に対する３次元位置と視線方向を検出す
る視線入力装置を立体視用眼鏡に装着した装置、６はユ
ーザからのデータや、指示を入力するためのキーボー
ド、７はＣＲＴ４上での指示を入力するためのマウスで
ある。

【００２７】対象物体８は表示対象となり、カメラ９お
よび対象物体８を回転するターンテーブル１０を用いて
撮影される。入出力インターフェース１１は、これを経
由してターンテーブル１０の回転のための制御データを
出力したり、カメラ９で撮影された画像データが取り込
まれる。本実施形態では、視線入力装置６として図３に
示す視線入力眼鏡を用いる。視線入力装置６２０および
６３０により両目の眼鏡６１０に対する視線方向を検出
し、位置検出装置６４０により眼鏡６１０のＣＲＴ４に
対する位置と方向を検出する。これらの検出情報を用
い、位置検出装置６４０に対する左右両眼の位置を仮定
すると、左右両眼のＣＲＴ４に対する三次元位置と視線
方向が計算できる。

【００２８】本実施形態では、表示の対象となる物体を
撮影し立体画像表示に必要なデータに変換する前処理
と、前処理のデータを用いて観察者に三次元画像を提示
する表示処理の２段階で構成されている。前処理図４は本実施形態における立体表示のための前処理の流
れである。図４において、矢印は処理の流れを示してい
る。

【００２９】ステップＳ２１０〜ステップＳ２４０は、
表示対象物体８のＮ枚の画像を撮像する工程である。表
示対象物体８は、図１もしくは図２Ｂに示すように、タ
ーンテーブル１０に、対象物体８の重心がターンテーブ
ル１０の回転軸上にくるように設置される。また、カメ
ラ９は、その光軸がターンテーブル１０の回転軸に直交
するように設置する。ここで、物体８の基準方向を、物
体８が図２Ａ，図２Ｂのように突出部を有しているので
あれば、その突出方向に定める。

【００３０】ステップＳ２１０では、物体８とカメラ９
の光軸方向とを一致させ、その位置をｉ＝１とする。そ
して、ステップＳ２２０でカメラ９を用いて対象物体８
を撮影する。得られた画像データをＩ_iとする。次に、
ステップＳ２３０でターンテーブル１０を一定角度回転
し、ステップＳ２２０に戻って撮影を繰り返す。この処
理をターンテーブル１０が一回転するまで（ステップＳ
２４０）繰り返す。得られた画像群（Ｉ₁，…Ｉ_N）であ
り、Ｉ_iはｉ番目に入力した画像の各要素の値を順に並
べた１次元縦ベクトルである。尚、ターンテーブル１０
を１０度づつ回転した場合Ｎ＝３６となる。また、これ
らの画像群は記憶装置２に格納されている。

【００３１】次に、記憶装置２に格納された画像群のデ
ータ（Ｉ₁，…Ｉ_N）の各々について、参考文献（村瀬、
Ｎａｙａｒ、“２次元照合による３次元物体の認識とそ
の学習”、電子情報通信学会信学技法,PRU93-120，199
4.）の手法に基づいて、固有値（λ₁≧…≧λ_k≧…≧λ
_N）および対応する固有ベクトル（ｅ₁，…，ｅ_N）を計
算する（ステップＳ２５０）。ここで、固有値及び固有
ベクトルの順序は、撮像した順序（ｉ）ではなく、固有
値をその値の大きさに従って大きいものから順にλ₁≧
…≧λ_k≧…≧λ_Nと並べ、さらに、対応する固有ベクト
ルも固有値の順に並べたものである。ステップＳ２６０
で、画像群（Ｉ₁，…Ｉ_N）の任意の画像Ｉ_i（ｉ＝１..
Ｎ）を、ステップＳ２５０で得られた固有ベクトル（ｅ
₁，…，ｅ _N）が生成する固有空間上の座標ｘ_iで表現す
る。この時、任意の画像Ｉ_iに対応する座標ｘ_iは、ｘ_i＝［ｅ₁，ｅ₂，…，ｅ_N］^TＩ_i … （１）と記述される。ここで、Ｔは転置操作を意味する。ま
た、固有空間上の任意の座標ｘ_iには、対応する画像を
撮影したときのターンテーブル１０の初期状態からのｉ
番目の回転角度ａ_iが対応付けられる。

【００３２】固有ベクトル（ｅ₁，…，ｅ_N）と固有空間
上の座標ｘ_iとが記憶装置に記憶されていれば、（１）
式を用いることで、固有ベクトル（ｅ₁，…，ｅ_N）と固
有空間上の任意の座標ｘ_iからその画像を再生できるも
のの、Ｎ個の固有ベクトル（ｅ₁，…，ｅ_N）を格納する
ためにはＮ個の原画像を格納するためと同じデータ量を
要する。

【００３３】しかしながら、一般にはＮ個の固有ベクト
ルを用いなくとも原画像にほぼ等しい画像を再生できる
ので、Ｍ＜ＮなるＭを設定し、Ｍ個の固有値と対応する
固有ベクトルをステップＳ２７０で記憶して、表示処理
に引き渡す。具体的には、上から大きな順にＭ個の固有
値（λ₁≧…≧λ_M）と、それらの固有値に対応する固有
ベクトル（ｅ₁，…，ｅ_M）、および、Ｎ個の座標値（ｘ
^' _i，ａ_i）（ただし、ｉ＝１..Ｎ）を、記憶装置２に格
納する。ただし、ベクトルｘ'_iは、画像ｘ_iの最初のＭ
個の成分で構成される１次元縦ベクトルである。Ｍを小
さくすれば、格納するデータの圧縮率が高くなる。図５
を参照。

【００３４】表示処理図５に、表示対象８と観察者の視線方向との位置関係を
図示する。ここで、対象８の基準方向は固定であるとす
ると、観察者の位置（即ち、左右両目の位置）は基準方
向に対する角度（ｂ_L，ｂ_R）によって規定される。ま
た、観察者の注視点は、視線検出装置６２０，６３０に
よって検出されるが、その注視点位置を、表示対象８の
重心Ｗから左右の各々の目に至る方向５０，５１の夫々
からの角度（θ_L，θ_R）によって表す。ＣＲＴ４に表示
されるべき画像の質は、注視点の位置によって異なる。
即ち、観察者の両眼の位置が同じでも、注視点位置が異
なれば、再生画像の質を変えるべきである。周知のよう
に、表示対象が注視点から離れるに従って、人間の目の
分解能は減少するから、注視点が表示対象から離れてい
る場合には、立体画像表示のための画像処理の精度は高
いものを必要とされない。

【００３５】このように、本実施形態の表示処理では、
立体画像表示のための画像処理に影響を与えるパラメー
タを、表示対象に対する両眼の位置（ｂ_L，ｂ_R）と、注
視点位置（θ_L，θ_R）によって表すことにする。但し、
注視点位置（θ_L，θ_R）は、整数化処理を行うことによ
って正規化することが演算上好ましいので、θの代わり
に、ｎ_L＝［Ｍ−ｃ₁・ｅｘｐ（θ_L）＋１］ … （２）ｎ_R＝［Ｍ−ｃ₂・ｅｘｐ（θ_R）＋１］ … （３）となるｎ_Lとｎ_Rとを用いる。即ち、本実施形態では、
画像再生パラメータとして、（ｂ，ｎ）を採用する。た
だし、［Ｘ］なる表示はＸを越えない最大の整数を示す
ものとする。

【００３６】図６は本実施形態における観察者に立体画
像を提示する表示処理の流れである。まず、ステップＳ
４１０において、ステップＳ２７０で得られた画像デー
タを入力する。ステップＳ４２０で、観察者頭部に装着
された視線入力装置６を用いて、常に観察者のＣＲＴ４
に対する左右両眼の視点位置（Ｐ_R，Ｐ_L）と視線方向
（ν_R，ν_L）を検出する。

【００３７】つぎに、ステップＳ４３０で、表示対象８
の位置と姿勢を設定する。本実施形態では、表示対象８
はコンピュータグラフィックスにおけるオブジェクトと
同様、仮想的に３次元空間内で移動・回転させることが
できる。従って、図５に示すように観察者との位置関係
が３次元空間内で決定できる。本実施形態では、前述し
たように、観察者に対する表示対象８の姿勢は入力時に
設定したターンテーブル１０の回転軸周りの回転角のみ
によって指定できる。そこで、ステップＳ４４０で、左
右両眼に提示する画像を再生するための画像再生パラメ
ータ（ｂ_R，ｎ_R），（ｂ_L，ｎ_L）を（２），（３）式な
どを用いて計算する。

【００３８】以下、ステップＳ４７０までの処理は左右
両眼毎に行われるが、説明と図示の便宜上、一般的に画
像再生パラメータ（ｂ，ｎ）を用いて一方の画像につい
てのみ説明を行う。前述したように、再生パラメータｂ
は観察者の両眼に対する対象物体８の方向であるから、
物体８に対して方向ｂにある観察者の目には、基準方向
に対して角度ｂだけずれた位置において撮影した画像が
立体画像として最も好ましいはずである。従って、ステ
ップＳ４１０では、記憶装置２に記憶されている画像デ
ータ（ｘ^' _i，ａ_i）（ｉ＝１〜Ｎ）の中から、ｂに最も
近いａ_kを選択し、それに対応する固有空間座標ｘ^' _kを
求める。

【００３９】また、ステップＳ４６０では、大きな順に
並んだ固有値の中から、λ_kを中心にしてパラメータｎ
に相当するｎ個の固有値（λ₁，λ₂，λ_k，…，λ_n）を
選択する。そして、ステップＳ４７０で、固有値
（λ₁，λ₂，…，λ_n）に対応する固有ベクトル（ｅ₁，
ｅ₂，…，ｅ_n）とステップＳ４５０で得た固有空間座標
ｘ^' _kより、次式に従って画像を再生する。Ｉ＝Σ（ｘ^' _ki・ｅ_i） … （４）但し（４）式の和はｉ＝１〜ｎ迄行われる。

【００４０】ステップＳ４５０、４６０および４７０
は、左右両眼の画像再生パラメータ（ｂ_R，ｎ_R），（ｂ
_L，ｎ_L）に対して行われ、両眼用の画像Ｉ_RおよびＩ_Lが
式（４）に従って再生される。これを立体表示（ステッ
プＳ４８０）することで、観察者は立体画像を観察でき
る。これらの処理（ステップＳ４２０から４７０）は、
観察者の視点および視線が変化する度に繰り返される。

【００４１】他の実施形態上記の実施形態に以下の変更を加えることが可能であ
る。：ステップＳ２１０、Ｓ２２０で対象物体８をターン
テーブル１０に設置して撮影することにより複数方向か
らの画像を得るという方法に代わりに、対象物体８の周
りに複数のカメラを設置し、一度に複数の画像データを
入力する方法を採用することができる。これにより、他
のステップを変更する必要はない。

【００４２】：ステップＳ２１０、２２０で対象物体
８をターンテーブル１０に設置して全周から撮影する代
わりに、例えば透明な球形カプセル内に対象物体８を設
置し、カプセルを様々な方向に回転させて全方位から対
象物体８を撮影する。これにより、立体表示処理におい
て、表示対象の姿勢が撮影時回転軸周り回転だけでな
く、全方位に回転できる。これにより他のステップを変
更する必要はない。

【００４３】：ステップＳ２１０、２２０で対象物体
８をターンテーブル１０に設置して全周から撮影する代
わりに、等価な画像データをコンピュータグラフィック
スを用いて発生させることができる。この手法は、他の
実施形態にも適用できる。これにより、他のステップ
を変更する必要はない。：ステップＳ４５０、４６０、４７０において左右両
眼用の画像を再生する際、左右毎に個別のｎ（ｎ_R，
ｎ_L）を用いるのではなく、ｎ_R，ｎ_Lを平均したｎを用
いて左右両眼用の画像を再生することができる。

【００４４】：ステップＳ４４０においてｎを求める
際、図７に示すように表示対象の視線に対する相対的な
速度をΨとし、ｎ＝［Ｍ−ｃ₂×ψ］ …（５）によりｎを変化させることができる。これにより、物体
の速度が大きくなるに従ってｎの値を減少させ、解像度
の低い画像を提示することが実現できる。

【００４５】：ステップＳ４４０においてｎを求める
際、表示対象の融像領域（観察者が立体視したとき立体
画像として認識できる表示対象の存在領域：参考文献
大島、内山、山本、田村、”視覚特性を利用した３次元
グラフィックオブジェクトの適応的表示法”、３次元画
像コンファレンス’９４、ｐｐ．２０１−２０６、１９
９４．）から表示対象が離れるに従ってｎを減少させる
ことができる。これにより、融像領域から離れ観察者が
立体感を感じ難い物体に対しては、解像度の低い画像を
提示することが実現できる。

【００４６】：上記実施形態では、表示処理におい
て、固有ベクトルをａ_kを中心にｎ個選択していたが、
ａ_kを先頭にｎ個選択しても良い。〈実施形態の効果〉従来技術における課題（１）に関し
ては、観察者の動きに対応して前もって得ておいた複数
の画像を切り替える機能を設けることで、観察者の視点
の動きに応じた立体画像の表示を可能にしている。解決
した。

【００４７】課題（２）に関しては、画像データを圧縮
することでこれまで以上に多くの画像データ（視点位置
の切り替え）を格納することが可能となり、細やかな視
点移動に応じた立体画像の切り替えを実現することで解
決した。課題（３）に関しては、数値計算のみで行える
固有値や固有ベクトルの計算のみで立体画像の再生に用
いるデータを生成することで、複雑な画像特徴の抽出な
どの処理をせず、この問題を解決した。

【００４８】課題（４）に関しては、格納する固有ベク
トルの数（固有空間の次元）を１つの画像に含まれる画
素数以下に設定することで、データ量を圧縮し解決し
た。課題（５）、（６）および（７）に関しては、実写
のデータを用い、立体画像の再生に用いる固有ベクトル
の数を適応的に制御する機能を設けることで解決した。

【００４９】

【発明の効果】以上説明した本願発明の立体画像表示方
法及び装置によれば、観察者の視線に応じて適応的に表
示する画質を制御して立体画像の表示が行え、同時に画
像特徴の抽出を行うことなくなり、データ量の圧縮が行
える。又、本願発明の記憶方法は上記表示方法及び装置
に適した画像データの記憶方法を提供することができ
る。

【図面の簡単な説明】

【図１】本実施形態の立体画像表示装置の機器構成を示
すブロック図である。

【図２Ａ】本実施形態で対象物体を撮影する際の構成を
示す図である。

【図２Ｂ】本実施形態で対象物体を撮影する際の構成を
示す図である。

【図３】本実施形態にて用いる視点位置・視線方向検出
装置の構成図である。

【図４】本実施形態の立体画像表示に用いるデータを生
成する前処理の流れを示すフローチャートである。

【図５】本実施形態で対象物体と観察者の位置関係を示
す図である。

【図６】本実施形態における画像表示処理の制御手順の
フローチャート。

【図７】本実施形態での動いている対象物体と観察者の
位置関係を示す図である。

【符号の説明】

１処理手順を記憶するための記憶装置２処理に必要な情報及び入出力データを記憶するため
の記憶装置３記憶装置１に記憶された処理手順にしたがって処理
を行うためのＣＰＵ４処理に必要な情報や立体画像を表示するためのＣＲ
Ｔ５観察者の視点のＣＲＴ４に対する３次元位置と視線
方向を検出する視線入力装置を立体視用眼鏡に装着した
装置６ユーザからのデータや、指示を入力するためのキー
ボード７ＣＲＴ４上での指示を入力するためのマウス８表示対象物体９表示対象８を撮影するカメラ１０表示対象８を撮影する際用いるターンテーブル１１入出力インターフェース

Claims

【特許請求の範囲】

【請求項１】観察者の視線に適応的に応じた立体画像
を表示する方法であって、視点と対象物体の姿勢との相互位置関係を姿勢パラメー
タとして、前記対象物体の視点を色々と変えて得た複数
の画像を、対応する固有ベクトルデータと共に、パラメ
トリック固有空間上の座標位置として記憶する記憶工程
と、観察者の視点における両眼位置と前記対象物体の姿勢と
に基づいて左右画像の再生パラメータの値を決定するパ
ラメータ決定工程と、決定された再生パラメータの値に近い値を有する姿勢パ
ラメータに対応するところの左右画像の前記パラメトリ
ック固有空間における座標位置を決定する座標位置決定
工程と、観察者の視線方向と前記対象物体の位置方向とに基づい
て、固有ベクトルの数を決定する数決定工程と、決定された左右画像の座標位置と、固有ベクトルとに基
づいて、左右画像を再構成する画像再構成工程とを具備
することを特徴とする立体画像表示方法。
【請求項２】前記記憶工程は、前記対象物体を異なる
方向から前もって撮像して得た画像データに基づいて、
前記複数の画像を生成することを特徴とする請求項１に
記載の立体画像表示方法。
【請求項３】前記対象物体に対する撮像方向の角度を
姿勢パラメータとすることを特徴とする請求項１に記載
の立体画像表示方法。
【請求項４】前記記憶工程において、前記対象物体の
前記複数の画像を、対応する固有ベクトルと固有値との
組み合わせと共に、前記姿勢パラメータの値に応じて検
索可能に記憶することを特徴とする請求項１に記載の立
体画像表示方法。
【請求項５】前記数決定工程は、観察者の視線方向と前記対象物体の位置方向とのなす角
度を、この角度値が大きいほど小さな値の整数値に変換
する工程と、この整数値の値が小さいほど少ない数の固有ベクトルを
選択する工程とをさらに有することを特徴とする請求項
１に記載の立体画像表示方法。
【請求項６】前記数決定工程は、前記整数値の数の固有ベクトルを、固有値の大きい順に
選択する工程をさらに有することを特徴とする請求項１
に記載の立体画像表示方法。
【請求項７】前記記憶工程において、表示対象を移動
・回転させながら撮影することを特徴とする請求項１記
載の立体画像表示方法。
【請求項８】前記記憶工程において、表示対象の周囲
に複数のカメラを設置し、前記対象を様々な方向から撮
影することを特徴とする請求項１記載の立体画像表示方
法。
【請求項９】前記記憶工程において、コンピュータグ
ラフィックスにより表示対象を様々な方向から観察した
画像を生成することを特徴とする請求項１記載の立体画
像表示方法。
【請求項１０】前記数決定工程において、前記表示対
象が注視点から離れるに応じて固有ベクトルの数の減少
させることを特徴とする請求項１記載の立体画像表示方
法。
【請求項１１】前記数決定工程において、前記表示対
象が視線に対して相対的に動いているとき、その速度が
大きくなるに従って固有ベクトルの数を減少させること
を特徴とする請求項１記載の立体画像表示方法。
【請求項１２】前記数決定工程において、前記表示対
象が観察者の融像領域から離れるに従って固有ベクトル
の数を減少させることを特徴とする請求項１記載の立体
画像表示方法。
【請求項１３】視点と対象物体の姿勢との相互位置関
係を姿勢パラメータとして検出し、前記対象物体の視点を色々と変えて得た複数の画像を、
対応する固有ベクトルデータと共に、パラメトリック固
有空間上の座標位置として記憶する記憶工程と具備する
ことを特徴とする立体画像記憶方法。
【請求項１４】前記対象物体の前記複数の画像を、対
応する固有ベクトルと固有値との組み合わせと共に、前
記姿勢パラメータの値の大きさとに応じて検索可能に記
憶することを特徴とする請求項１３に記載の立体画像記
憶方法。
【請求項１５】対象物体を複数の視点から撮影した画
像を入力する入力工程と、該入力工程で撮影された画像群から固有ベクトルを計算
する固有ベクトル計算工程と、該固有ベクトル計算工程で計算された固有ベクトルを用
いて撮影された各視点での画像をパラメトリック固有空
間で表現する前処理工程を立体表示のための前処理とし
て設け、立体表示時には視点位置と視点方向を検出する
視線検出工程と、該視線検出工程で得られた視点位置と表示対象の位置関
係をもとにステレオ画像の左右画像毎に表示対象の対応
するパラメトリック固有空間の座標を決定するパラメー
タ決定工程と、該視線検出行程で得られた視点位置と視線方向や表示対
象をもとに対象が表示される部分の視覚上の重用性を決
定し画像の再構成に用いる固有ベクトルの数を決定する
固有ベクトル数決定工程と、該パラメータ決定工程で決定されたパラメトリック固有
空間の座標と該固有ベクトル計算工程で計算された固有
ベクトルから該固有ベクトル数決定工程で決定された数
の固有ベクトルを選択し画像を再構成する画像再生工程
と、該画像再生工程で再構成された左右画像を用いてステレ
オ画像とし立体表示を行う立体表示工程を備えたことを
特徴とする立体画像表示方法。
【請求項１６】観察者の視線に適応的に応じた立体画
像を表示する装置であって、視点と対象物体の姿勢との相互位置関係を姿勢パラメー
タとして、前記対象物体の視点を色々と変えて得た複数
の画像を、対応する固有ベクトルデータと共に、パラメ
トリック固有空間上の座標位置として記憶する記憶手段
と、観察者の視点と前記対象物体の姿勢とを検出する手段
と、前記検出手段の出力に応じて再生パラメータの値を決定
し、再生パラメータの値に近い値を有する姿勢パラメー
タに対応するところの左右画像の前記パラメトリック固
有空間における座標位置を前記記憶手段から呼び出す手
段と、観察者の視線方向と前記対象物体の位置方向とを検出す
る手段と、前記検出手段の出力に応じて固有ベクトルの数を決定
し、決定された左右画像の座標位置と、固有ベクトルと
に基づいて、左右画像を再構成する手段とを具備するこ
とを特徴とする立体画像表示方法。