JPH0415772A - 視線追従形高速画像生成表示方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は視線追従形高速画像生成表示方法に関し、た
とえばコンピュータグラフィックスのように高速で臨場
感のある画像をスクリーン上に表示するような視線追従
形高速画像生成表示方法に関する。

［従来の技術］ ３次元画像をコンピュータによって生成して表示する、
いわゆるコンピュータグラフィックスの技術は、科学技
術計算のシミュレーションを始めとして様々な分野に利
用されつつあるが、高精度化、すなわち、画像の高品質
化と高速化は相反する条件にあり、同時にこれを満たす
技術は現在のところ見当たらない。つまり、品質の高い
画像を生成しようとすると、画像生成のために膨大な計
算時間を必要とし、逆に高速、たとえば毎秒黴１０枚の
画像を表示するリアルタイム表示を目的とすると粗い計
算をせさるを得なくなり、生成画像の品質か悪くなる。

一方、コンピュータグラフィックスの適用分野は、知的
符号化通信と呼ばれる画像通信の分野にも広がりつつあ
る。この方法では、送信側は画像認識により、送信対象
の３次元構造情報を抽出し、その特徴をパラメータ化し
て伝送する。受信側では、予め３次元構造情報（データ
ベース）を用意しておき、伝送されてくる特徴パラメー
タに基づいて、該３次元データベースを高速に変換して
表示する。これらの通信方法では、受信側は送信側の３
次元構造情報を基にして、任意の視点からの画像を自在
に生成して表示することかできるため、以下のような多
くの利点をもつ。

■　受信者の視点の動きを検出し、この動きに応した画
像を表示することにより、運動視が実現できる。ここで
、運動視とは、頭を動かした際に眼球の網膜上に映る画
像の変化から空間を知覚する人の潜在能力のことであり
、日常、前後関係が分かりにくい視覚状況下で頭を動か
して認識を高めようとすることはよく経験することであ
る。すなわち、運動視をコンピュータグラフィックスに
より人工的に実現することにより、スクリーン上の画像
の立体感が向上することが期待され、臨場感豊かな表示
が可能となる。

■　受信者の両眼を２つの視点として、それぞれの視点
からの画像を生成して表示することにより、両眼立体視
を実現できる。人の両目は約６ｃｍの距離を隔てて位置
するため、頭を動かさなくとも、冬目の網膜には別々な
像が投影される。この異なった２つの像の対応関係は視
差情報と呼ばれ、人はこれを利用して空間の立体感覚を
得ている。この視差情報をもつ画像をコンピュータグラ
フィックスで実現することにより、スクリーン上の画像
の立体感がさらに向上する。

■　その他、相手側（送信側）の人と視線を合わせて会
話するような画像も容易に生成できる。

しかし、このような通信方法を実現するには、現状では
いくつかの困難がある。第１には、送信側における画像
認識および特徴パラメータの抽出であり、第２には、受
信側での高速でかつ広視野を高解像度で表示する画像生
成表示方法である。

通信では、実時間の処理が本質的な命題であり、従来の
コンピュータグラフィックスに比べて高速化への要求は
高い。

以下に、高速・高精度表示が困難な理由について詳細に
説明する。

第２１図は従来の代表的な３次元画像生成表示方法を説
明するための図である。第２１図において、スクリーン
Ｓ１は、このスクリーンＳ１の中心を原点とする表示基
準座標系Ｘ　（ｗ）　−Ｙ　（ｗ）Ｚ（ｗ）で表わされ
る。なお、この座標系は以下の各座標系の位置関係を記
述する機能をもち、スクリーンＳ１とは異なる別な場所
に設けてもよいものとする。視点座標系Ｘ　（ｅ）　−
Ｙ　（ｅ）Ｚ　（ｅ）は、表示基準座標系Ｘ　（ｗ）　
−Ｙ　（ｗ）−Ｚ（ｗ）からみて位置と座標軸の回転角
が既知になっている。表示対象物体ｏｂｊは３次元構造
をもち、この対象の構造点Ｐｉ（ｏｂｊ）は対象座標系
Ｘ　（ｏｂＤ　−Ｙ　（ｏｂｊ）−Ｚ　（ｏｂｊ）で表
わされているものとする。

このような状況において、構造点Ｐ１を視点○ｅから見
たとき、このＰｉ点がスクリーンＳ１上のどの位置に表
示されるかについて考える。表示基準座標系Ｘ　（ｗ）
　−Ｙ　（ｗ）　−Ｚ　（ｗ）に対して、対象座標系Ｘ
　（ｏｂ　Ｄ　−Ｙ　（ｏｂ　Ｄ　−Ｚ（ｏｂｊ）は既
知としているので、対象座標系Ｘ（ｏｂＤ　−Ｙ　（ｏ
ｂｊ）−Ｚ　（ｏｂＤで表わされる構造点Ｐｉ（ｐｂｊ
）は表示基準座標系Ｘ（ｗ）’−Ｙ　（ｗ）−Ｚ　（ｗ
）で、Ｐ　ｉ　　（ｗ）　−Ｍｌ・Ｐｉ（ｏｂｊ）のよ
うに示される。

ここで、Ｍｌは移動と回転のための変換マトリックスで
ある。また、視点座標系Ｘ　（ｅ）　−Ｙ（ｅ）−Ｚ　
（ｅ）も表示基準座標系Ｘ　（ｗ）　−Ｙ（Ｗ）−Ｚ　
（Ｗ）で表わすことかできると仮定しているので、この
変換マトリックスをＭ２とすると、表示基準座標系Ｘ　
（Ｗ）　−Ｙ　（ｗ）　−Ｚ　（ｗ）からみた構造点Ｐ
ｉ（ｗ）は、視点座標系Ｘ　（ｅ）Ｙ（ｅ）−Ｚ　（ｅ
）からみて、 Ｐ　ｉ　　（ｅ）＝Ｍ２−’　・Ｐ　ｉ　　（ｗ）＝Ｍ
１　ａＭ２１・Ｐｉ（ｏｂｊ） と表わすことができる。このように、表示基準座標系Ｘ
　（ｗ）　−Ｙ　（ｗ）　−Ｚ　（ｗ）と対象座標系Ｘ
　（ｏｂ　ｊ）　−Ｙ　（ｏｂ　ｊ）　−Ｚ　（ｏｂ　
Ｄ　オヨび表示基準座標系ｘ　（ｗ）　−Ｙ　（ｗ）　
−Ｚ　（ｗ）と視点座標系Ｘ　（ｅ）　−Ｙ　（ｅ）　
−Ｚ　（ｅ）との関係がわかれば、対象座標系で示され
た構造点Ｐｉ（ｏｂｊ）は視点座標系で自在に表わすこ
とができる。

ここで、視点座標系で示された構造点Ｐｉ（ｅ）のスク
リーン上の点を求めるために、正規透視座標系と呼ばれ
るＸ　（ｎｐ）　−Ｙ　（ｎｐ）　−Ｚ　（ｎｐ）を考
える。この座標系は視点座標系のＺ　（ｅ）軸上に原点
０（ｎｐ）があり、視点座標系でノーツチした視野ピラ
ミッドと呼ばれる領域Ａ、　　Ｂ、　　Ｃ。

Ｄ、　Ａ　（−）、　　Ｂ　（ｏｏ）、　　Ｃ（−）、
　Ｄ　（美）か、−点鎖線で示した直方体Ａ、　　Ｂ、
　　Ｃ，Ｄ、　Ａ’（ｏＯ）、　Ｂ’　（−）、　Ｃ’
　（ｏＯ）、　Ｄ’　（−）に一致する対応関係がある
。直方体のＺ（ｎｐ）軸方向は１に正規化しであるもの
とする。すなわち、Ｚ　（ｎｐ）＝０点は、Ｚ　（ｅ）
軸のｈに対応し、Ｚ　（ｎｐ）＝１の点はＺ　（ｅ）　
＝美に対応する。

この条件で第２１図に示す棒状物体ｏｂｊは正規透視座
標系Ｘ　（ｎｐ）−Ｙ　（ｎｐ）−Ｚ　（ｎｐ）では−
点鎖線で示すように、Ｚ（ｎｐ）軸の大きな方では断面
が小さくなる。この視点座標系と正規透視座標系との変
換は４×４のマトリックスＭ３で示すことができる。し
たがって、Ｐ　１　（ｎｐ）は、 Ｐｉ　　（ｎｐ）＝Ｍ：ｌＰｊ　　（ｅ）で表わすこと
ができる。ここで、Ｐｉ（ｎｐ）をＡ、　　Ｂ、　　Ｃ
，Ｄ面に平行投影すると、点線で示すξ１　（Ｓ）か得
られる。

第２１図では、説明の簡単のため、正規透視座標系Ｘ　
（ｎｐ）−Ｙ　（ｎｐ）−Ｚ　（ｎｐ）は表示基準座標
系Ｘ　（Ｗ）　−Ｙ　（ｗ）　−Ｚ　（ｗ）と原点およ
び軸方向が重なっているものとしている。したがって、
視点座標系のＺ　（ｅ）軸は、表示基準座標系のＺ（ｗ
）軸と同一方向である。

この場合、直方体Ａ、Ｂ、Ｃ，Ｄかスクリーンの大きさ
に対応する。したがって、ξ１　（Ｓ）がすなわち視点
０　（ｅ）から見たスクリーンへの投影像である。この
ように、構造点Ｐｉ（ｏｂｊ）からξｉ　　（ｓ）へは
３つの行列演算と平行投影が必要である。

次に、視点が表示基準座標系のＺ　（ｅ）軸からずれる
場合について説明する。第２１図において、０’　　（
ｅ）は移動した視点位置である。この移動した点を原点
とし、Ｏ’　　（ｅ）　−〇　（ｗ）線をＺ（ｅ）軸と
する新しい視点座標系Ｘ’　　（ｅ）Ｙ’　　（ｅ）−
Ｚ’　　（ｅ）を考える。表示基準座標系Ｘ　（ｗ）　
−Ｙ　（ｗ）　−Ｚ　（ｗ）から見た該新視点座標系の
位置を既知とすると、Ｘ　（ｅ）　−Ｙ（ｅ）−Ｚ　（
ｅ）からＸ’　　（ｅ）−Ｙ’　　（ｅ）−Ｚ’　　（
ｅ）への変換はマトリックスＭ４を介して可能である。

したがって、新視点座標系から見た構造点Ｐｉは、Ｐｉ
　（ｅ）’　＝Ｍ４・Ｐｉ　　（ｅ）＝Ｍ４・Ｍｌ・Ｍ
２−１・Ｐｉ（ｏｂｊ）で表わされる。

第２２図は第２１図のＹ（ｗ）軸上から見た図である。

Ｐｉ（ｅ）’　に前述の正規透視投影変換マトリックス
Ｍ３をかけると、Ｐｉ’　　（ｎｐ）が得られ、これを
平行投影するとξｉ”　　（ｓ）が得られる。ここで、
表示基準座標系から見た新視点座標系Ｘ’　　（ｅ）−
Ｙ’　　（ｅ）−Ｚ’　　（ｅ）の位置か既知のため、
ξｉ”　（Ｓ）とＯ’　　（ｅ）とを結ぶ線がスクリー
ンと交わる点を求めることは容易である。この点ξｉ’
　　（ｓ）がすなわち、視点Ｏ′から見たスクリーンへ
の投影像である。このように、構造点Ｐｉ（ｏｂｊ）か
らξｉ′　（ｓ）へは４つの行列演算と平行投影などが
必要である。

上述のごとく、表示基準座標系Ｘ（ｗ）−Ｙ（ｗ）−Ｚ
　（ｗ）において、対象座標系Ｘ（ｏｂｊ）　−Ｙ　（
ｏｂ　ｊ）　−Ｚ　（ｏｂ　ｊ）　（７）位置か記述さ
れた表示対象、また対象座標系において各構造点Ｐｉ（
ｏｂｊ）の座標が記述された表示対象は、任意の視点か
らスクリーンに透視投影できる。しかし、上述のごとく
、多くの行列演算を表示対象の構成点の全てについて行
なう必要があるため、計算時間が膨大になる。マトリッ
クスの演算はハードウェア化することにより、かなり高
速にはなるが、構成点の数が数１０００点以上になると
リアルタイムの処理が難しくなる。また、表示対象の位
置によって無駄な処理か多く行なわれ、処理速度を制限
している。これについて以下に示す。

第２３図は第２１図に示した座標系をＹ　（ｅ）軸上で
かつＺ　（ｅ）軸方向に見たものであり、第２４図は第
２３図に示した表示対象を示す図である。

第２３図において、スクリーンＳ１は多数の画素ｇｉか
らなる。表示対象は、第２４図に示すように３次元構造
をもち、構造点Ｐｉとその点かつくる構造面Ｌｉなどに
よって構成されている。この表示対象が表示基準座標系
において近くにある場合を第２３図（Ａ）で示し、遠く
にある場合を第２３図（Ｂ）で示し、それぞれｏｂｊｌ
、ｏｂｊ２とする。第２１図および第２２図で説明した
方法により、スクリーンＳ１には表示対象ｈ−。

ｂｊｌ、ｈ−ｏｂｊ２が投影される。各構成点のスクリ
ーン座標上の対応する画素に信号を送り表示することが
できる。ｏｂｊ２は遠方にあるため、ｈ−ｏｂｊｌに比
へて各構成点間の距離が小さい。

この間隔が画素間隔よりも十分小さくなれば、その画素
の中にはいるいくつかの構成点を全て計算する必要がな
くなる。また、人の目には視力特性があり、スクリーン
８１面においてこの眼の分解能以下の間隔で各構成点を
計算しても意味がない。

既存のアルゴリズムでは、表示対象の位置にかかわらず
、また利用者の視力特性を考慮することなく、対象の全
ての構成点について計算するため、表示速度が遅くなり
、複雑な対象をリアルタイムで表示することが困難とな
る。

［発明が解決しようとする課題］ 上述の問題は立体視コンピュータグラフィックスを実現
する際に特に問題となる。立体視コンピュータグラフィ
ックスとは、利用者の右目、左目を視点として、３次元
表示対象を見たときのスクリーンへの透視画像を別々に
計算し、これを時分割などにより利用者の左右の冬目に
対応したスクリーンに投影することにより、利用者に立
体的と感じさせる表示を行なう手法である。

立体視表示では、奥行き間隔か利用者にはっきりと認識
されるため、本来大きな物体（たとえば、ビルディング
など）は太き（、小さな物体（たとえば、虫など）は小
さくモデリングする必要が出てくる。立体視でないコン
ピュータグラフィックスでは、物体を大きくモデリング
しなくても視点の近くに配置することで大きく見せる工
夫が可能である。ところが、立体視では奥行き間隔か視
差情報により与えられるため、小さなものを手前におい
ても、大きな物体とは認識されず、そのとおり小さなも
のが手前にあるように見えてしまう。

物体を本来の大きさにモデル化すると、大きな物体は、
その物体が視点の近くに来てスクリーン−杯に広がる場
合も想定すると細部に至るまで細かくモデル化する必要
がある。一方、該物体が視点から遠くに離れた場合には
、第２３図（Ｂ）に示すように、スクリーンの一部分に
その全体が表示されるにもかかわらず、近くにある場合
と同じ計算量を必要とする不合理がある。

以上、高速のコンピュータグラフィックスの必要性につ
いて述べたが、コンピュータグラフィックスがリアルタ
イムであっても、応用によっては不都合がある。臨場感
通信では、仮想的な空間をコンピュータグラフィックス
により人工的に作り、この中に実際に居る感覚で該仮想
空間とは様々な相互作用をすることになる。この際求め
られるのは、単に高速というだけでなく、観測者の動き
に同期してスクリーンの画像を変化する特性である。

しかじ、コンピュータグラフィックスでは画像を生成す
るための時間が必ず残るため、毎秒数１０枚の画像を生
成し、表示できても、観測者の動きに対して各画像を生
成する遅れ時間があれば、違和感を生じ、仮想空間との
一体感が得られない。

さらに、人の視力特性は、後述するように注視点近傍で
は高いが、その周辺では大きく低下する。

これは、眼球の光軸から外れた網膜部分では焦点が合わ
ないという眼本来の性質がその１つの理由である。した
がって、人工的に画像を生成表示する場合には、網膜に
写る画像が実空間を見たときに近くなるように、スクリ
ーン画像を生成する必要かある。つまり、臨場感表示の
観点からはスクリーン全体を一様のアルゴリズムで高精
細に表示するのは必ずしも適切でない。

それゆえに、この発明の主たる目的は、知的符号化通信
や立体視コンピュータグラフィックスに必要なリアルタ
イムで精度の高いコンピュータグラフィックス表示を、
計算量を大幅に少なくすることにより実現し得る視線追
従形高速画像生成表示方法を提供することである。

この発明の他の目的は、連動親を実現するコンピュータ
グラフィックスなどにおいて、画像を生成してから表示
するまでの時間遅れを少なくし、違和感のない自然な表
示を実現し得る視線追従形高速画像生成表示方法を提供
することである。

さらに、この発明のさらに他の目的は、網膜に写る画像
か実空間を見たときに近くなるように、スクリーン画像
を生成することにより、実空間を見たときと同じような
感覚の画像を実現し得る視線追従形高速画像生成表示方
法を提供することである。

［課題を解決するための手段］ 第１請求項に係る発明は、立体構造を持つ対象を二次元
画面に投影して表示する視線追従形高速画像生成表示方
法であって、対象の構成面は対象座標系でかつ領域の大
きさを少なくとも１つの要素として階層的に記述され、
任意の視点から見たときの対象の構成面の二次元画面へ
の投影に際して、利用者の視線、または視線が二次元画
面と交わる注視点を検出し、視線または二次元画面の注
視点と視線とを結ぶ線分が表示座標系において対象の構
成面と最初に交差する点を空間注視点とし、その空間注
視点またはその点の近傍にあり、表示対象の表現に必要
な特徴点からの距離を少なくとも１つのパラメータとす
る空間ごとに階層度を選択するように構成したものであ
る。

第５請求項に係る発明は、立体構造を持つ対象を二次元
画面に投影して表示する視線追従形高速画像生成表示方
法であって、対象の構成面は対象座標系でかつ領域の大
きさを少なくとも１つの要素として階層的に記述され、
任意の視点から見たときの対象構成面の二次元画面への
投影に際して、利用者の視線または視線が二次元画面と
交わる注視点を検出し、視線またはその注視点と視点と
を結ぶ線分からその対象までの距離を少なくとも１つの
パラメータとして階層度を選択するように構成したもの
である。

第９請求項に係る発明は、立体構造を持つ対象を二次元
画面に投影表示する視線追従形高速画像生成表示方法で
あって、対象の構成面は対象座標系でかつ領域の大きさ
を少なくとも１つの要素として階層的に記述され、任意
の視点から見たときのその対象構成面の二次元画面への
投影に際して、両者の視線の動きから先の画像表示時刻
における表示基準座標系の中の注視点である空間注視点
またはこの近傍を推定し、その空間注視点またはこの近
傍からの距離を少なくとも１つのパラメータとして階層
度を選択し、予め投影画像を生成するように構成したも
のである。

より好ましくは、第１または第３請求項に係る発明に加
えて、第２または第６請求項に係る発明は、表示基準座
標系原点または視点から対象座標系で表わされるその対
象の任意の点までの距離を第２のパラメータとして階層
度を選択するように構成される。

さらに、より好ましくは、第３または第７請求項に係る
発明は左右の眼の光学系主点近傍を視点とし、その点か
ら見た投影画像が生成される。

第４．第８または第１０請求項に係る発明は、第］、第
５．第９に係る発明に加えて、視線と二次元画面とが交
わる点を注視点とし、その注視点の位置を起点として、
その周辺に高域遮断フィルタをかけて表示するように構
成される。

［作用コ 第１請求項に係る発明は、人の眼の視力が注視している
点では高く、その周辺では急激に低下する特性を利用し
て、表示対象を領域の大きさ、すなわちスケールを１つ
のパラメータとして階層的にモデリングし、表示対象の
注視部分は細かなモデリング階層まで表示し、注視部分
から外れた周辺視に対応する表示対象部分は粗いモデリ
ング階層で表示することにより、周辺視部分の計算量を
減らして高速化を図る。

第５請求項に係る発明は、視線または二次元画像の注視
点と視点とを結ぶ線分から対象までの距離を少なくとも
１つのパラメータとして階層度を選択することにより、
立体視コンピュータグラフィックス画像を高速、高品質
で生成する。

第９請求項に係る発明は、人の視線の動きを検出して、
この検出結果をコンピュータグラフィックスに反映する
場合に問題となる画像生成時間の遅れによる表示の違和
感を解消し、より自然な画像を得る。

第２および第６請求項に係る発明は、対象か表示基準座
標系原点または視点に近くにある場合は、細かなモデリ
ング階層まで表示し、遠くにある場合は、粗いモデリン
グ階層で表示することにより、遠くの物体について計算
量を減らし、高速化を図るという第２の特徴を第１およ
び第５請求項に係る発明と組合わせたものであり、表示
基準座標原点または視点から遠く、かつ周辺視に対応す
る部分については大幅に計算量を減らし、高速化を図る
。

第３および第７請求項係る発明は、観測者の眼の光学系
主点近傍を視点として、その点から見た投影画像を生成
する。

第４．第８．第１０請求項に係る発明は、注視点の位置
を起点として、その周辺に高域遮断フィルタをかけて表
示することにより、周辺部に対応する表示対象の各部分
を粗いモデリング階層で表示することによる不自然さを
補償する。粗いモデリング階層で表示すると、スクリー
ン投影画像において、表示対象の構成面と構成面との間
は不連続性が多くなり、この部分に高い周波数成分が発
生するが、周辺部分に高域遮断フィルタをかけることに
より、この違和感を生じさせる成分を除去できる。

［発明の実施例］ 第１図はこの発明の原理を示す図であり、第２図は第１
図に示した表示対象の階層的なモデリングを示す図であ
る。

第１図を参照して、この発明の原理について説明する。

表示装置のスクリーンＳ１は、その原点０　（ｗ）を基
準として表示基準座標系Ｘ　（ｗ）　−Ｙ　（ｗ）　−
Ｚ　（ｗ）で表わされる。なお、表示基準座標系Ｘ　（
ｗ）　−Ｙ　（ｗ）　−Ｚ　（ｗ）は以下に示す他の座
標系の基準となる座標系で、第１図におけるスクリーン
Ｓ１とは異なる別なところに設けてもよい。表示対象ｏ
ｂｊｌ、ｏｂｊ２は、第２３図に示した従来例と比べて
構造データの持ち方が異なっている。

すなわち、第２図に示すように、表示対象は複数の構造
点Ｐｉとその構造点Ｐｉの集合により作られる構造面（
第２図においては、４つの構造点により囲まれる面とし
て定義される）などにより記述される。また、各構造点
は対象座標系Ｘ（。

ｂ　ｊ）−Ｙ　（ｏｂＤ　−Ｚ　（ｏｂｊ）により表わ
される。第２図での階層の設定は、各構造点間の距離ま
たは構造面の大きさか所定の大きさを越えるごとに構造
点の数を減らしていき、（ａ）〜（ｄ）に示すように、
全体で４段階の階層としている。このような構造点とそ
の点を結ぶ線分により表わされるデータ構造をワイヤフ
レーム構造と呼ぶことにする。

ベクトルＶＯＩ、ＶＯ２はそれぞれ表示基準座標系Ｘ　
（ｗ）　−Ｙ　（ｗ）　−Ｚ　（ｗ）の原点０　（ｗ）
から表示対象ｏｂｊｌ、ｏｂｊ２の対象座標系原点ｏｂ
ｊｌ、ｏｂｊ２へのベクトルである。第１図において、
スクリーンＳ１の観察者である利用者２は両眼ｅｙｅｌ
、ｅｙｅ２によって表示対象ｏｂｊｌ、ｏｂｊ２を見る
。視線１０はスクリーンＳ１と点ｅｐで交わる。この点
ｅｐをスクリーン注視点と呼ぶ。Ｘ　（ｅ）　−Ｙ　（
ｅ）　−Ｚ　（ｅ）　。

Ｘ’　　（ｅ）−Ｙ’　　（ｅ）−Ｚ’　　（ｅ）は視
点座標系であり、ｅｏｌはＯ’　　（ｅ）とスクリーン
注視点ｅｐとを結ぶ線分が表示対象と交わる点である。

構造点Ｐｉ（ｏｂｊ）は第２図に示す粗い階層の表示対
象モデルにおける特徴点である。

ここで、視線１０は眼球の特徴点を２台のカメラで捕え
、このカメラ撮像面の位置情報からステレオ画像計測す
ることにより、その位置を表示対象座標系で求めること
ができる。特徴点としては、瞳孔中心、または表示対象
座標系で既知な点に設定した光源が角膜で反射したとき
に作る角膜反射象などを用いることがある。その詳細は
、特徴点抽出については、本願発明者等による「非接触
視線検出装置」　（特願昭６３−２８９７６１）。

「画像撮影装置」　（特願平１−１８１３８７）を用い
、瞳孔の位置計測については、「視線検出方式」　（特
願平１−２９６９００）を用いることによって可能にな
る。また、第１図におけるｅｏｌ点またはその近傍の特
徴点（たとえばＰｉ（ｏｂｊ））は、従来例で述べたＰ
ｉ点をスクリーン＄１に透視投影変換する手法の逆変換
で求めることができる。

第３図および第４図はスクリーン注視点ｅｐ（ｓ）に対
応するモデル上の点を求める方法を説明するための図で
ある。

第３図および第４図では、発明の簡略化のために、Ｚ（
ｗ）軸上の視点ｏ　（ｅ）かある場合を示している。表
示対象は第２図に示したような物体であり、スクリーン
注視点ｅｐ（ｓ）に対応する対象の位置を求めるには、
高速化を図るため粗いモデリング階層を行なう。第２Ｅ
　（ｄ）に示した対象を第３図の対象ｏｂｊとしている
。各構成点Ｐｉ（ｗ）の正規透視変換点をｐｉ（ｎｐ）
とする。粗いモデルであれば、この変換は高速に可能で
ある。なお正規透視変換点ｐｉ（ｎｐ）のスクリーンＳ
ｌ　（ＡＢＣＤ）への平行投影点をξ１（Ｓ）とする。

ここで、第４図に示すようにスクリーン注視点ｅｐ（ｓ
）かわかると、この点から出発し、Ｚ（ｎｐ）軸に平行
な探索線２０上を探索し、探索線２０が正規投影された
対象と交わる点を求めることができる。正規投影された
対象３０の構成点３０１〜３０３などが正規透視座標系
Ｘ（ｎｐ）Ｙ　（ｎｐ）−Ｚ　（ｎｐ）で与えられてい
れば、構成面３０１と交わる点ｅｈ（ｎ＋））を求める
ことは簡単である。

また、構成面か与えられていない場合でも、第４図に示
すように、探索線２０上にΔＳをとり、この面を線上に
走査し、その面内に最初に入る構造点ｐｉ（ｎｐ）を求
めることもできる。ここで、点ｅｈ　（ｎｐ）、ｐｉ　
　（ｎｐ）を表示基準座標系Ｘ　（ｗ）　−Ｙ　（ｗ）
　−Ｚ　（ｗ）に逆変換すれば、スクリーン注視点ｅｐ
　（ｓ）に対応する空間注視点ｅｏ（ｗ）またはこの近
傍にあるＰｉ（ｗ）を求めることができる。

なお、Ｐｉ（ｗ）については、スクリーン注視点ｅｐ　
（ｓ）から少し離れた対応点である。細かい階層のモデ
ルを使わない理由は、第３図の実施例の探索では、表示
対象の各構造点の正規透視座標変換データが既にあるこ
とを前提としているため、細かいモデリング階層を用い
ることは速度の点で矛盾するためである。しかし、この
発明の一実施例では、毎秒数枚〜数十枚を表示する場合
を考えており、このような速度では、時間的に連続した
２つのモデル間には変化が少ないと考えられる。

また、次に表示されるすぐ前の画像を生成するためのモ
デリング情報およびこの正規透視変換データは既に存在
している。そこで、この１つ前のデータを用いて探索す
れば、スクリーン注視点ｅｐ　（ｓ）に対応する表示対
象位置を精度良く求めることも可能である。このように
して、スクリーン注視点ｅｐ（ｓ）に対応する空間注視
点ｅＯ（Ｗ）またはこの近傍の位置を求めることは可能
である。

なお、この発明における空間注視点ｅｏ（ｗ）の近傍と
は、視線の近くにあり、注視していると判断される対象
の構成点２構成面あるいはその対象座標系原点などとす
る。以上の探索は、簡単な理論演算と座標変換演算で可
能であり、ハードウェア化が可能である。

第５図はモデルの階層を選択する方法を説明するための
図である。第５図を参照して、表示基準座標系原点０　
（Ｗ）または視点０′（ｅ）から対象座標系の原点への
ベクトル■ｏ１またはＶＯ２の絶対値、すなわち、距離
がＯ（ｗ）を中心とする所定の距離（ＴｈｌまたはＴｈ
２）内にあるか否かにより、モデルの階層を選択する。

対象０ｂｊ１については、距離Ｔｈｌの内側であり、第
２図（ｂ）に示す階層が選択され、ｏｂｊ２については
距離Ｔｈ２の内側であり、第２図（ｃ）に示す階層が選
択される。

次に、空間注視点位置（第５図では２つの例を示してい
る。）を考え、それぞれをｅｏ４．ｅ。

２とし、この点のまわりに所定の半径ＳＴｈ　ｌ５Ｔｈ
２の球を仮定する。なお、第５図に示した例は、第１図
に示したｅｏｌとＰｉ（○ｂｊ）が重なった場合を考え
る。半径５Ｔｈ１の内側については、１段階さらに細か
い階層のモデルを用いる。半径５Ｔｈ２の外側について
は、第５図には示していないが、１段階粗い階層モデル
に変更する。すなわち、対象ｏｂｊｌについては、半径
５Ｔｈｌの中を第２図（ａ）に示すモデルに変え、対象
ｏｂｊ２については半径５Ｔｈ１の中を第２図（ｂ）に
示すモデルに変える。以上のようにして、Ｏ（ｗ）から
近くは相対的に細かく、遠くは粗く、また空間注視点ｅ
ｏ（ｗ）の近傍では相対的に細かく、周辺では相対的に
粗くモデリングした対象が用意される。該モデルの各構
成点を従来の方法でスクリーンＳ１に投影変換すれば表
示画像が得られる。

第６図はこの発明の他の例におけるモデルの階層を選択
する方法を説明するための図である。第６図を参照して
、ｅｏｌ、ｅｏ２は空間注視点の位置であり、Ｔｈｉは
ｅｏｌを中心とする半径であって、Ｏ（ｗ）から対象座
標系原点までの距離ｄ＋（Ｖ＋の絶対値）の関数である
。該関数はｄｉが小さい場合、半径Ｔｈｌを大きくし、
距離ｄ１が大きい場合、半径Ｔｈｌを小さくするように
作用する。第６図に示した例では、空間注視点の位置ｅ
ｏｌのまわりのＴ　ｈ　＋−１は空間注視点ｅ０２の半
径Ｔ　ｈ　ｔ−２より大きい。半径Ｔｈｌの中では、第
２図（ａ）が選択され、半径ＴｈｌからＴｈ２の間では
第２図（ｂ）が選択され、半径Ｔｈ２からＴｈ３の間で
は第２図（Ｃ）が選択され、半径Ｔｈ３からＴｈ４の間
では第２図（ｄ）か選択される。以上のように、空間注
視点ｅｏ（ｗ）を中心として精細度が段階的に異なるモ
デルが得られる。

なお、前述の第１図、第５図および第６図に示した例で
は、表示基準座標系Ｘ　（ｗ）　−Ｙ　（ｗ）−Ｚ（ｗ
）の原点０（ｗ）を起点として、対象座標系の任意の点
までの距離をパラメータとしたが、視点原点（０（ｅ）
またはＯ’　　（ｅ）など）を起点としてもよい。この
場合表示対象は動かなくても視点が動いた場合、その都
度階層度を変更する手数はあるが、対象の細部を認識す
る人の視力特性が視点からの距離に大きく依存すること
を考慮すると、より合理的な階層度選択ができるといえ
る。

また、後述のように、両眼立体視コンピュータグラフィ
ックスなどでは、表示対象がスクリーンＳ１の手前に表
示される場合もあるか、このような場合は、第１図に示
したように、０（ｗ）からの距離をパラメータとすると
、視点０　（ｅ）の近くにある物体にもかかわらす、ス
クリーンＳ１のすぐ後（奥）にある物体より、粗い階層
が選択されるという不合理も生ずることになる。したが
って、計算の複雑さかあるか、視点から対象座標系の原
点までの距離をパラメータとする方法も有効である。

第７図は２次および３次のＢｅｚｉｅｒ曲面を示す図で
ある。第７図（ａ）に示した例は２次と３次（ｎ＝２．
３）の場合であり、次式で表わされる。

Ｒ（ｔ　：　３）＝　（１−ｔ＋ｔＥ）’　ＰａＢｅｚ
ｉｅｒ曲線は１＝０のとき、Ｐｏの制御点から出発し、
ｔ＝１のとき、終りの制御点（ｎ＝２の場合はＰ２．ｎ
＝３の場合はＰ３）に到達する。曲線はこの間を制御点
の近くを滑らかに連結する。制御点の数を増やすことは
、次数を増やすことに相当し、曲線の表現力が増す。

Ｂｉｚｉｅｒ曲面はＢｅｚｉｅｒ曲線の積の形で次式の
ように表わされる。

Ｓ　（ｕ　：ｍ、ｖ　：　ｎ）＝　（１−ｕ＋ｕＥ）Ｑ
（Ｉ　　Ｖ＋ｖＦ）”　Ｐｏ。

（０≦Ｕ≦１）　　　（０≦Ｖ≦１） Ｅ、Ｆはシフト演算子であり、Ｅ　Ｐ　、＝　Ｐ　ｔ−
１、、ＦＰ、＝Ｐ、、、、、の作用をなす。

第７図（ｃ）、　　（ｄ）は、２次、３次のＢｅｚｉｅ
ｒ曲面を示す。３次の場合、ＰＯＯからＰ３３まで１６
個の制御点を用意しておくことにより、この間を滑らか
に結ぶ自由曲面が生成される。

このように、部分領域を適応的に決め、この領域を記述
するに十分な制御点を選択すれば、細かい滑らかな表面
をもつ面となる。一方、部分領域を大きくとり、制御点
の数を少なくすれば、粗い表面の面となる。以上、部分
領域の中の制御点の数をパラメータとして階層化する例
を示した。

さらに、前述のＢｅｚｉｅｒ曲面式では、構造点は制御
点とｕ、ｖの値の取り方により決まる。

そこで、所定の制御点を決めておき、ｕ、　　ｖかとる
間隔を階層パラメータとしてもよい。すなわち、第７図
（ｄ）において、制御点か１６個で一定としても、ｕ、
　　ｖの間隔Δの決め方によって構成面は粗にも密にも
なる。間隔Δを小さくすれば該構成面は第７図（ｄ）よ
りさらに分割され、小さな構成面か多く生ずる。このよ
うに、Δをパラメータとして領域の大きさを階層化する
こともできる。

次にスクリーンへの表示の方法としては、第１図に示す
ように、■ワイヤフレームを透視投影した点と線を表示
する単純な方法の他に、■構造面には色データを用意し
ておき、表示の際に色づけする。■各構造面にはテクス
チャマツプと呼ばれる絵柄をデータとして用意しておき
、この絵柄を構造面の方向、位置によって回転、移動、
縮小。

拡大などの処理を施してスクリーン上に表示する。

■表示基準座標系において、所定の所に光源を仮定し、
視点からみた各構成面の該光による陰影を構成面ご−と
に計算して表示することなどが可能である。

一例として等置火の人物石膏像をＢｅｚｉｅｒ曲面でモ
デル化する場合について説明する。この石膏像を細部ま
でわかるようにモデル化するためには、制御点の数は約
５０００必要であった。すなわち、この５０００個の制
御点を第７図（ｄ）に示すように、４×４の制御点のか
たまりに分割し、さらに、この４×４の制御点で決まる
部分領域内をｕ、　　ｖの値を選ぶことにより１０分割
して細分化する。このようにして、５０万個の構造点に
よる構造面が形成される。この程度分割して表示面を作
ると、細部まで細かく認識できる画像が得られる。

一方、人物か否かが判別できる程度であれば、制御点は
数１０〜１００程度でよく、さらにＵ。

■も数分割でよい。つまり、１００程度の構造点で表現
できる。このように、人物程度の対象でも表示する環境
、必要性により１００〜数１０００倍のデータ量の差が
ある。つまり、階層化は、領域の大きさに関して、多様
に選択可能である。

第８図はこの発明のさらに他の例であって、視点を観測
者の眼球光学主点に示した例を示す図である。光学主点
は瞳孔または虹彩の中心位置で近似することができ、そ
の位置および視線方向は表示基準座標系で前述のように
わかるものとする。

第８図において、表示対象ｏｂｊｌｌ、ｏｂｊ１２、ｏ
ｂｊ１３、ｏｂｊ１４は第２図の階層を持つ同一大きさ
のモデリング物体であり、○（ｏｂｊ１２）はｏｂｊ１
２の原点であり、ｅｌはスクリーン注視点ｅｐ　（ｓ）
と視点○（ｅ）を結ぶ線分（すなわち視線）であり、ｄ
３．　　ｄ４．　　ｄ５゜ｄ６は線分ｅＬから各対象物
体ｏｂｊｌｌ〜ｏｂｊ１４の対象座標系原点（たとえば
０（ｏｂｊ１２））までの距離であり、Ｖ１２は視点０
　（ｅ）から０（ｏｂｊ１２）へのベクトルであり、２
２１．２２２は線分ｅｌ上でそれぞれ０（ｏｂｊｌｌ）
、Ｏ（ｏｂｊ１３）に最も近い点である。

各表示対象の対象座標系および視線がともに表示基準座
標系で表わされるため、上述の各距離を求めることは可
能である。このように、第８図では、表示対象ｏｂｊｌ
ｌ、ｏｂｊ１２は相対的に視点０　（ｅ）の近くにあり
、表示対象ｏｂｊ１３゜ｏｂｊ１４は遠くにある。また
、表示対象ｏｂｊ１１、ｏｂｊ１３は線分ｅＬの近（に
あり、表示対象ｏｂｊ１２．ｏｂｊ１４は線分ｅｔから
離れて位置する。モデルの階層選択法について例を示す
。

ベクトルＶ１２の絶対値を距離ｄ１２とし、１つのパラ
メータとする。また、線分ｅｔから対象ｏｂｊ１２の原
点０（ｏｂｊ１２）までの距離ｄ５を２つ目のパラメー
タとし、ｆ　（ｄ１２．ｄ５）なる関数の値によってモ
デルの階層を選択する。

ｆは距離ｄ１２またはｄ５の値が小さいほど小さくなる
。したがって、対象座標系が視点の近くにありかつ線分
ｅｔに近い対象ｏｂｊｌｌでは第２図（ｂ）に示す階層
か選択され、視点から遠くて線分ｅＬからも遠い対象ｏ
ｂｊ１４では第２図（ｄ）に示す階層が選択される。ま
た、視点からの距離と線分ｅｌからの距離のいずれかが
近く、他方が遠い対象ｏｂｊ１２．ｏｂｊ１３では第２
図（ｃ）に示す階層が選択される。

また、第８図において、視点０　（ｅ）から２２１また
は２２２までの距離を１つのパラメータとし、距離ｄ５
を第２のパラメータとしてｆなる関数を作ってもよい。

第８図では、線分ｅＬから対象座標系の原点までの距離
ｄ３．ｄ４．ｄ５．ｄ６をパラメータに用いたが、該パ
ラメータは原点である必要はなく、たとえば第９図に示
すように、各構成面の位置か、その面の中心位置などに
与えられている場合には、この距離をパラメータとして
用いることもできる。

第９図では、線分２５１は線分ｅｌの近くにあるため、
対応する面３００は第２図（ｂ）に示す階層でモデル化
され、線分２５２，２５３は線分ｅＬからやや離れてい
るため、第２図（Ｃ）に示す階層のモデルが選択される
。

さらに、表示対象は複数の構造物で構成されており、本
体に対応する主対象座標系と該本体の一部または付属物
に対応する副対象座標系を持つものでもよい。この場合
、副対象座標系原点と線分ｅＬとの距離をパラメータに
用いることができるのは当然である。

第１０図は人間の眼が平面の場合の一点を注視したとき
のその周辺の視力を測定し、注視点からの偏角と相対視
力との関係を示す図である。第１０図において、横軸は
注視点からの偏角であり、縦軸は注視点の視力で正規化
した相対視力である。

第１０図に示した２本の曲線は、指標提示時間により視
力特性が変化することを示したものである。

毎秒３０枚程度の速度で表示する動画では、この２本の
曲線の範囲に入ると考えられる。長く提示した方が視力
特性が良いことがわかるが、ともに周辺で視力が大きく
低下することがわかる。この理由は、視線の方向から外
れた周辺の視覚対象は光学的に網膜上に結像せず、ぼけ
を生じていること、および視線方向の網膜中心窩から外
れた網膜部分では分解能が低いためである。

さらに、奥行に変化がある対象を捕えるときは、輻襖を
変え、水晶体を調節してピントを合わせる。

つまり、視線が対象の方向を向いていても、ピントが合
っていなければやはりぼけが生じることは日常経験する
ことである。以上のことから、実空間ではっきり見えて
いる部分は視線と調節が制御されているごくわずかな部
分といえる。その他の部分は大きなぼけを生じている。

このような状況を踏まえ、人が見ている空間をコンピュ
ータグラフィックスで生成するにあたり、■スクリーン
注視点に対する空間注視点を検出し、その点からの距離
を１つのパラメータとして、■視線からその対象の任意
の点（たとえば対象座標系原点）までの距離を１つのパ
ラメータとして、該モデル構成面の精細度に重みづけす
るのは計算量を減らす点から合理的と言える。また、本
来ピントが合わず、ぼけが生じている箇所について、精
細に表示するのは、現実と異なるため、違和感を生じか
ねない。

ぼけのある画像を提示した方が実際に近い場合がある。

このように、この発明の方法は単に処理を高速にするだ
けでなく、臨場感を実現するにも効果がある。

第１１図はこの発明のさらに他の例を示す図である。第
１１図を参照して、表示対象ｏｂｊて各構成点および構
成面データは、該表示対象ｏｂｊの対象座標系と表示基
準座標系の関係が既知であれば、表示基準座標系Ｘ　（
ｗ）　−Ｙ　（ｗ）　−Ｚ（Ｗ）で表わすことができる
。２つの視点０　（ｅ）ＩＬ、　Ｏ（ｅ）　ｒはそれぞ
れ観察者の左右眼球光学系の視点に対応する。視点の位
置および視線の方向は前述のステレオ画像計測法などに
より、表示基準座標系で求めることができる。左右の眼
の視線がわかると、２つの視線が交わる点が、該観測者
が注意している対象位置である。視線の計測精度によっ
てはこの点は誤差を含むが、第８図に示した視点と注視
点を結ぶ線分（第１１図では視線に等しい）の近くにあ
る対象を求める方法を、左右の眼の視線について行なえ
ば、注視している対象を同定することは第８図の場合よ
り容易である。

この空間注視点（またはこの近傍）をｅｏとする。空間
注視点ｅｏのまわりに半径Ｔｈの球を仮定し、その球内
は第２図（ｂ）に示した階層でモデル化され、球の外は
第２図（ｄ）の階層でモデル化される。左右の像ｈ−ｏ
ｂ　ｊ　　（Ｌ）　、　　ｈ−。

ｂｊ（Ｒ）はそれぞれスクリーンに投影される。

この例において、２つの視点０　（ｅ）Ｌ、Ｏ（ｅ）Ｒ
および視線は観測者の動きに応じて常に変化するため、
この変化をリアルタイムで検出し、左右の像ｈ−ｏｂ　
ｊ　　（Ｌ）　、　　ｈ−ｏｂ　ｊ　　（Ｒ）を同様に
リアルタイムで再生して表示する。これにより、観測者
は頭を動かして表示対象ｏｂｊを左右、上下など様々な
方向から見ることができる。また、このとき２つの像は
ｈ−ｏｂｊ　　（Ｌ）、　　ｈ−ｏｂｊ　　（Ｒ）　ｌ
↓視差情報を持っているため、観測者は対象ｏｂｊを立
体的に比較できる。

さらに、対象ｏｂｊがスクリーンＳ１の手前に来たと仮
定したような画像を作ることもできる。

この方法では、表示の遅れが許されない。つまり、観測
者の眼を視点としているため、その動きに同期して画像
を生成して表示しなければ違和感を生ずる。許される遅
れは、１〜２／３０秒程度と考えられる。したがって、
高速性に有利なこの発明の方法が効果的に作用する。

なお、この実施例では、生成した画像を表示するために
、両眼立体視表示装置を用いることができる。この装置
の具体例については、本願発明者等による「立体表示装
置」　（特願平２−１８０５１）などが可能である。こ
の装置の構成は、表示面にレンチキュラーレンズと称さ
れる蒲鉾状レンズシートを設け、その各レンズの背面に
焦点を挾んで両側に右眼用の画素、左眼用の画素を配置
したものである。すなわち、２つの画素か１組として１
つの蒲鉾レンズに対向して配置される。２つの画素から
出る光はそのレンズにより空間的に分離され、観測者の
左右の眼に別々に入射する。このようにして、特別な装
置を装着することなく立体視が可能となる。

第１２図はこの発明のさらに他の例を示す図であって、
観測者の動きに対する遅れをさらに少なくした例である
。第１２図を参照して、表示対象ｏｂｊ１．ｏｂｊ２は
第２図に示したモデル物体であり、表示基準座標系Ｘ　
（ｗ）　−Ｙ　（ｗ）　−Ｚ（Ｗ）で表わされる。視点
かつ眼球の視点０　（ｅ）は瞳孔または虹彩の中心位置
で近似される。視線ｅｌ　（１）、ｅｌ　（０）は眼球
の回転に伴って変化する。瞳孔位置および視線は表示基
準座標系Ｘ（Ｗ）−Ｙ　（Ｗ）−Ｚ　（Ｗ）で表わされ
る。空間注視点ｅＯは視線延長上にある。視線から表示
対象ｏ　ｂ　ｊ　］、までの距離はｄ　（−１）、　　
ｄ　（０）で表わされる。

第１２図では、毎秒１０〜３０枚程度の程度が生成表示
される場合を示しており、したかって、（０）、　　（
−１）、　　（＋１）の各点は１００〜３３ｍ５ｅｃ程
度の間隔である。現在（０）、１つ前の状態（−１）に
おける階層は以下のように選択される。第８図で述べた
視線から対象までの距離がパラメータの１つとして用い
られる。（−１）では、表示対象ｏｂｊ２は視点から離
れているが、視線上にあるため、第２図（ｃ）に示す階
層が選択される。表示対象ｏｂｊｌは視点の近くにある
が、視点から少し離れているため、同様にして第２図（
Ｃ）に示した階層が選択される。このようにして、ｈ−
ｏｂ　ｊｌ　（−１）　、　　ｈ−ｏｂ　ｊ２（−１）
が生成されて表示される。また、（０）では表示対象ｏ
ｂｊ２は変わらないが、表示対象ｏｂｊｌは視線からさ
らに離れるため、第２図（ｄ）に示した階層が選択され
る。このようにして、ｈ−ｏｂｊｌ　（０）、ｈ−ｏｂ
ｊ２　（０）が生成されて表示される。

次に、視線の動きを予測した表示について説明する。眼
球の運動には大きく分けて、動く指標を追跡する際の滑
らかな随従運動、興味ある対象を探索する際などに見ら
れる跳躍運動とがある。随従運動では停止した指標を見
る際に比べて、視力の低下は少ない。一方、跳躍運動で
は、注視点が移動した直後は、−時、視力が大きく低下
する。

第１２図は空間注視点を注視ながら頭を動かしている状
態を示しているが、このようなときの視線の動きは滑ら
かであり、軌跡から次の画像を表示する時刻における視
線表示基準座標系Ｘ　（ｗ）　−Ｙ　（ｗ）　　Ｚ　（
ｗ）で求めることは容易である。

すなわち、Ｏ（ｅ）（−ｉ）　〜Ｏ（ｅ）（０）。

ｅ　Ｌ　（−ｉ）　〜ｅ　ｌ　（０）からＯ（ｅ）（＋
１）ｅｌ（＋１）を外挿により求めることは可能である
。そこで、Ｏ（ｅ）（＋１）から見た対象の透視投影画
像ｈ−ｏｂｊｌ　（＋１）、ｈ−ｏｂｊ２（＋１）を予
め生成し、（＋１）の時刻に表示する。

またこの実施例の場合には、（−１）、　　（０）の時
刻における空間注視点かｅｏであり、変化していないた
め、（＋１）においても取り敢えず同じ点を注視してい
ると仮定してｈ−ｏｂｊｌ（＋１）、ｈ−ｏｂｊ２　（
＋１）を生成ジテオくコトも可能である。このとき、観
測者はｏｂｊ２に関心があると推定することも可能であ
るため、モデムの階層を（０）の場合より１つ上げ、第
２図（ｂ）に示す階層とすることもできる。このように
、注視対象を同定し、その対象を適応的に細かい階層で
表示することも可能である。また、注視対象の同定には
、表示対象の位置関係、対象の意味、観測者の注視対象
の遷移、など様々な知識を併用することができる。

この発明による方法は、視線が滑らかな動きのときは予
測しにくいため問題は少ないが、跳躍運動が混入すると
、予測が外れるため、−見不合理と感じられる。しかし
、以下のような理由で問題ない。すなわち、前述のごと
く、視力は視線の動きと密接であり、跳躍運動の直後は
視力が低下し、回復するのに２００ｍ５ｅＣ以上の時間
を必要とする。したがって、仮に予測した視点が間違っ
ている場合でも、表示された画像について、観測者の視
力は大きく低下しているため違和感は少ない。

視力が回復するまでに、正しい瞳孔位置および視線を検
出し、その点から透視投影画像を生成表示すればよい。

ところで、上述の実施例では、スクリーン注視点ｅｐ（
ｓ）の近傍（中心視部）では細かい階層のモデルが選択
され、周辺視部では粗い階層のモデルが選択されて表示
される。このとき、周辺視にあたる部分では構造面が大
きくなるため、構造面間に境界ができたり、中心視部と
の連続性が崩れたりすることなどが考えられる。このよ
うな不連続面は、空間周波数が高いため、周辺視で知覚
されやすく違和感を生ずることがある。そこで、このよ
うな違和感を解消するために、スクリーン注視点ｅｐ（
ｓ）の周辺に高しきい遮断フィルタを被せることにより
画像をぼかす方法が考えられる。

第１３図はスクリーン注視点の周辺に被せられる高しき
い遮断フィルタを示す図である。第１３図を参照して、
スクリーン注視点ｅｐ（ｓ）の周辺１４°以内ではフィ
ルタなしく６．　６　ｃ　ｐ　ｄの原画像がそのまま表
示される）とされ、１４〜２０°の領域では４．５ｃｐ
ｄ、２０°以上では１゜０ｃｐｄとしている（なお、ｃ
ｐｄとは視野角１°中に表示可能な空間周波数数である
）。このフィルタはハードウェアで構成でき、スクリー
ン注視点ｅｐ（ｓ）の動きに追従してリアルタイムで表
示画像に作用させることが可能である。このフィルタの
設計では中心視部と周辺視部の解像度差および中心視部
の視野角などをどの程度にするかが課題である。

第１４図は第１３図に示したフィルタをカメラで捕えた
原画像に施した結果を示す図である。この第１４図から
明らかなように、第１３図に示した視野角区分を持ち、
周辺視部の解像度をパラメータとしたフィルタをカメラ
で捕えると、周辺の画像の最大空間周波数ｃｐｄが３．
０以上で原画像と区別できないことがわかる。したがっ
て中心視部を１４〜２０°としたフィルタにおいては、
周辺の最大空間周波数を３ｃｐｄ程度まで下げることが
可能である。このようなフィルタを用いることにより、
構造面の不連続性による違和感は低減される。

第１５図はこの発明の一実施例の概略ブロック図である
。この第１５図に示した実施例では、視点が眼球であり
、移動する場合であって、説明の簡略化のために表示対
象を表示基準座標系で静止しているものとする。なお、
第１５図に示した太い実線部分が従来にない新規な手段
である。

第１５図を参照して、視点および視線検出手段１０は表
示基準座標系で眼球の視点および視線を検出する。対象
座標系設定手段２０は表示基準座標系で表示対象の原点
位置と回転角（角度）を指定する。距離計算手段３０は
視点および視線検出手段１０の検出出力、対象座標系設
定手段２０で指定された原点位置および回転角に応じて
、視点から対象座標系原点までの距離を計算する。距離
計算手段４０は第１５図に示していないもう１つの目の
視線データを併用して、すなわち両方の視線か交わる点
を空間注視点として求めたり、または片目の視線であっ
ても視線の近傍にある対象座標系の原点をみつけ、その
原点をもって空間注視点としたり、あるいは対象座標系
の原点から視線に降ろした垂線の距離を計算する。

３次元階層化データベース８０には表示対象物体の構成
面の領域の大きさを１つのパラメータとして階層的に記
述されている。構成点／構成面生成手段５０は表示基準
座標系で指定された位置に対象の３次元モデルを生成す
る。すなわち、生成手段５０は距離計算手段３０によっ
て求められた視点から対象原点までの距離、距離計算手
段４０によって一求められた空間注視点から対象構成面
までの距離、対象原点から視線までの距離などをパラメ
ータとし、このパラメータの値を基準値と比較して対象
の構成面の階層を決定し、３次元階層化データベース８
０からのデータを受取って、表示基準座標系において３
次元モデルを生成する。

なお、第１５図の点線で囲まれた部分は上述のパラメー
タを用いて階層度を決定する処理手段１０１を構成して
いる。

透視投影変換手段６０は視点位置と上述の３次元モデル
を入力として、表示対象を２次元スクリーン画面に透視
投影する。表示画像生成手段７０は３次元階層化データ
ベース８０に対して物体の指定、構成面の指定９階層の
指定を行なうことによって得られる構成面データを参照
しながら、対象の構成面に着色などの模様づけをする。

高域遮断フィルタ手段９０はスクリーン注視点の周辺視
域に被せる高域空間周波数を遮断する。表示手段１００
はレンチキュラースクリーンなどが用いられ、対象物体
を表示する。

第１６図および第１７図はこの発明の一実施例の動作を
説明するためのフロー図である。

次に、第１５図〜第１７図を参照して、この発明の一実
施例の具体的な動作について説明する。

今、前述の第８図を例として、表示基準座標系Ｘ（ｗ）
−Ｙ　（ｗ）−Ｚ　（ｗ）において、対象ｏｂｊｌｌ〜
ｏｂｊ１４が所定のところにあるように見える画像をス
クリーンＳ１に生成することを考える。なお、視点の位
置は瞳孔位置とし、視点は動くものとする。また、対象
は説明の簡略化のために表示基準座標系において静止し
ており、対象の３次元構造データは第２図に示したよう
に、対象座標系で記述されており、かつ構成面は領域の
大きさはパラメータとして階層化されている。

まず、ステップ（図示ではＳＰと略称する）ＳＰｌにお
いて、対象座標系設定手段２０によって対象座標系原点
の位置ベクトルＶ。ｂｌ−＋　＝（ｘ−ｂｌ−１＋　Ｙ
ｏｂｌ−１ｇ　Ｚ。ｂｌ−１）と対象座標系の回転角Ｒ
ａｂｌ−１＝　（α。ｂｌ−１、β。ｂＩ−１，＋　　
　ｂｉ−１）γり とが設定されて処理手段１０１に与えられる。ステップ
ＳＰ２において、視点および視線検出手段によって検出
された視点位ａＶｏｅ＝（Ｘｏｅ。

Ｙｏ　ｅ、　Ｘｏ　ｅ）は処理手段１０１に与えられる
。

ステップＳＰ３において距離計算手段３０は視点および
視線検出手段１０から与えられるその時刻における視点
位置ベクトルＶｏｅを読取り、対象座標系原点の位置ベ
クトルＶ。６．−１と視点位置ベクトルＶｏｅとを用い
て、２点間の距離ｄｉｓｌｏｂｉ−１＝ｌ　Ｖ。ｂｉ−
Ｉ　　Ｖ　Ｏｅ　Ｉを演算する。処理手段４０はステッ
プＳＰ４において、第８図のｄ３〜ｄ６に示す視線から
対象座標原点までの距離ｄｉｓ２゜ｂｌ−１を求める。

次に、生成手段５０は距離計算手段３０によって求めら
れたパラメータｄｉｓｌ。、Ｉ−３と処理手段４０によ
って求められたパラメータｄ　Ｉ　Ｓ　２　ｏｂｊ−１
とを用いて、次の演算を行なう。

ｄｉｓ３ｏｂ＋−＋　＝ｆ　（ｄｉｓｌ。ｂ−＋　　ｄ
ｉｓ２ａｂｌ−１）　＝Ａ’　ｄ　Ｉ　Ｓ　１ａ）ｚ−
１十Ｂ’　ｄ　ｌ　ｓ２上述の式はパラメータｄ　ｌｓ
　３　ｏｂ＋−１の最も簡単な作成例である。なお、Ａ
、　　Ｂはここでは定数である。なお、人の視力特性を
考慮するなどして、さらに複雑な式を作成してもよい。

次に、第１７図に示すステップＳＰ６において処理手段
１０１はパラメータｄｉｓ３゜、１−１　と基準値Ｔｈ
３とを比較し、パラメータｄｉｓ３゜。

が基準値Ｔｈ３よりも大きければ、すなわち第８図の対
象ｏｂｊ１４のように遠くにありかつ視線から離れてい
れば、ステップＳＰ７において、３次元階層化データベ
ース８０から第２図（ｄ）に示すような階層度の低いモ
デルを選択し、ステップＳＰ８において、対象座標系原
点の位置ベクトルＶ。、１−１の位置に、対象座標系の
回転角Ｒａ　ｂｌ−１の角度で３次元モデルを生成する
。

処理手段１０１はステップＳＰ６においてパラメータｄ
ｉｓ３゜６．−１が基準値Ｔｈ３よりも小さいことを判
別し、さらにステップＳＰ９において基準値Ｔｈ２より
も大きいことを判別したとき、すなわち第８図に示す対
象０１）ｊ１２．ｏｂｊ１３のような場合には、ステッ
プ５ＰＩＯにおいて第２図（ｃ）に示した階層モデルを
３次元階層化データベース８０から選択する。しかし、
処理手段１０１がステップＳＰ９においてパラメータｄ
Ｉ　Ｓ　３　ｏｂｉ−１が基準値Ｔｈ２よりも小さいこ
とを判別すると、ステップ５Ｐ１２において、第２図（
ｂ）に示す階層モデル、すなわち第８図に示すような対
象ｏｂｊ１４のモデルを選択する。

上述のようにして、処理手段１０１は３次元階層化デー
タベース８０から全ての対象（１〜ｉ）についてモデル
データの読取を行なう。透視投影変換手段６０はステッ
プ５Ｐ１４において、その対象の透視投影変換画像り。

ｂｌ−１１＋　　ｈ　ａｂｌ−！□、ｈ。ｂｌ−１３ｖ
　　ｈ　ａｂＬ−１４を生成する。ステップ５Ｐ１５に
おいて、表示画像生成手段７０は３次元階層化データベ
ース８０に蓄積された各構成面模様データを読取り、２
次元画面の対象構成面に模様づけする。さらに、高域遮
断フィルタ手段９０はスクリーン注視点の周辺視域に被
せる高域空間周波数を遮断し、表示手段１００はステッ
プ５Ｐ１６において生成された対象画像を表示する。

第１８図はこの発明の他の実施例の動作を説明するため
のフロー図であり、視点から各対象座標系原点までの距
離を第１のパラメータとし、視線から各対象座標系原点
までの距離を比較し、それに最も近い対象原点を空間注
視点として推定し、この点からの距離を第２のパラメー
タとして用いる例であって、ステップＳＰＩ〜ＳＰ４は
第１６図と同じであり、ステップ５Ｐ２１〜５Ｐ２３の
処理が行なわれる点が第１６図と異なる。ステップＳＰ
４において、第８図のｄ３〜ｄ６に示す視線から対象座
標原点までの距離ｄ　Ｉ　Ｓ　ｏｂｌ、ユを求めた後、
ステップ５Ｐ２１において距離ｄｉ　ｓ２゜５．−１の
中で最も小さいｏｂｊ−ｍｉｎを探し、その対象原点を
空間注視点として推定する。第８図で説明すると、ステ
ップ５Ｐ２２において、０ｂｊｌｌの原点を仮に空間注
視点とし、この点から他の対象ｏｂｊ１２．ｏｂｊ１３
．ｏｂｊ１４の原点までの距離ｄｉｓ４゜１．−１を計
算する。距離計算手段４０は、そのパラメータｄｉｓ１
．ｂＩとｄｉｓ４゜、ｊ−、を用いて、次式の演算を行
なう。

ｄｉｓ３．＋ｚ−１＝ｆ　　（ｄｉｓｌ。ｂ＋＝　）　
　・ｇ（ｄ　ｉ　ｓ　４６ｂｌ−＋　）　　＝Ｃ−ｄ　
ｉ　ｓ　１゜ｂｌ−１・ｄｉＳ４゜、。

上述の式はパラメータｄｉｓ３゜６．−Ｉの最も簡単な
作成例である。Ｃはここでは定数としている。

以下、第１７図に示したステップＳＰ６ないし５Ｐ１６
の処理が行なわれる。なお、この実施例においても、人
の視力特性を考慮するなどして、さらに複雑な式を作成
してもよい。

第１９図はこの発明の他の実施例を示す概略ブロック図
である。この実施例は、構成面の階層度を選択するため
のパラメータの作成において、対象座標系の原点だけで
なく、対象構成面を利用できるように拡張したものであ
って、以下の点を除いて前述の第１５図と同じである。

すなわち、処理手段１０２は上位階層生成手段２１と距
離計算手段３１と４１とを含む。上位階層生成手段２１
は表示基準座標系から見て、対象座標系が設定され名位
置に該対象の概略構成すなわち階層度の粗い（上位階層
）構成面を生成する。階層度が上位であるため、この処
理は高速に行なうことが可能である。距離計算手段３１
は視点から概略構成面の基点例えば面の中央までの距離
を計算する。距離計算手段４１は、視線が概略構成面と
交差する点を空間注視点とし、またはこの近傍の構成面
の基点を計算したり、あるいは概略構成面の基点などか
ら視線に降ろした垂線の距離を計算する。構成点／構成
面生成手段５０は、対象の３次元モデルを生成するもの
であり、■の場合空間注視点からの距離をパラメータと
して基準値Ｔｈと比較しながら、３次元階層化データベ
ース８０の中から適当な階層度のデータを取込み、対象
の構成点／構成面を生成する。■の場合には、視線に降
ろした垂線の距離をパラメータとして、基準値Ｔｈと比
較しながら３次元階層化データベース８０の中から適当
な階層度のデータを取込み、対象の構成点／構成面を生
成する。なお、この実施例においては、第１５図に示し
た高域遮断フィルタ手段９０が省略されている。

第２０図はこの発明の応用例を示す図である。

この第２０図に示した例は、コンピュータグラフィック
ス画像を臨場感豊かに観測できるようにしたものである
。視点は瞳孔または虹彩の中心位置に対応している。こ
の視点または視線は図示しない視線検出装置によって視
点検出１が行なわれるとともに、図示しない検出装置に
よって手の位置および形状の検出２が行なわれる。これ
らのデータは意図理解処理部３に与えられて解析され、
観測者の注視している対象および次に行なおうとしてい
る作業などが推定される。この情報をもとにして、三次
元形状データベース４を参照しつつ三次元モデル世界６
の更新５が行なわれ、三次元モデル世界６が高速で生成
され、実時間立体コンピュータグラフィックスによって
画像生成７が行なわれ、スクリーン８に投影変換され、
実時間でスクリーンに表示される。

［発明の効果］ 以上のように、この発明によれば、注視対象の近傍とそ
の周辺でモデリングの階層に差をつけるようにしたため
、計算量を大幅に減らすことができる。逆に、この余っ
た時間で、注視点近傍を精細に計算できる。その結果、
高速で品質の高い画像生成表示が可能となる。奥行の少
ない、すなわちＺ軸方向に成分の少ない表示対象をこの
発明による方法でスクリーンに投影した場合をシミュレ
ーションすると、視野角３０°のスクリーンの場合で処
理時間は従来の１／３以下となり、６０゜の場合１／４
以下となった。奥行方向がある対象では、処理時間はさ
らにこの２乗で少なくすることができる。

さらに、表示基準座標系の原点または視点から遠くにあ
る物体について、計算量をさらに大幅に減らすことがで
きる。逆に、この余った時間で近くにある物体について
細かい部分まで精細に計算できる。その結果、さらに高
速で品質の高い画像生成表示が可能となる。従来と画像
品質を同程度とすると、処理速度は１／数１００以下に
大幅に短くなると考えられる。

視線の検出により、表示画像の各部分の精細度を適応的
に制御できるため、実空間を見たときに網膜上に写る映
像に近いものを、スクリーンを見たときに再現すること
ができ、自然で迫力のある画像が生成表示できる。さら
に、両眼立体視コンピュータグラフィックスについても
高速、高品質な表示が可能となる。

さらに、視線の動きを予測した表示により、眼球などの
動きに同期した画像が生成されるため、画像表示の遅れ
による違和感が少なく、画像との一体感が向上する。

また、この発明は臨場感豊かな知的符号化通信のコンピ
ュータグラフィックス処理部分、立体視コンピュータグ
ラフィックスに特に利用効果が大きい。その他、処理の
高速性と画像の高品質性が要求される多くのコンピュー
タグラフィックス分野に利用可能である。

【図面の簡単な説明】

第１図はこの発明の原理を示す図である。第２図は第１
図に示した表示対象の階層的なモデリングを示す図であ
る。第３図および第４図はスクリーン注視点ｅｐ（ｓ）
に対応するモデル上の点を求める方法を説明するための
図である。第５図はモデルの階層を選択する方法を説明
するための図である。第６図はこの発明の他の例におけ
るモデルの階層を選択する方法を説明するための図であ
る。第７図は２次および３次のＢｅｚｉｅｒ曲線を示す
図である。第８図はこの発明のさらに他の例であって視
点を観測者の眼球光学視点にした例を示す図である。第
９図は表示対象の構成面の位置がその面の中心位置で与
えられている実施例を示す図である。第１０図は人間の
眼が平面の一点を注視したときのその周辺の視力を測定
し、注視点からの偏角と相対視力との関係を示す図であ
る。 第１１図はこの発明のさらに他の例を示す図である。第
１２図はこの発明のさらに他の例の原理を示す図であっ
て、観測者の動きによる遅れをさらに少なくする例を示
す図である。第１３図はスクリーン注視点の周辺に被せ
られる高しきい遮断フィルタを示す図である。第１４図
は第１３図に示したフィルタをカメラで捕えた原画像に
施した結果を示す図である。第１５図はこの発明の一実
施例の概略ブロック図である。第１６図および第１７図
はこの発明の一実施例の動作を説明するためのフロー図
である。第１８図は、この発明の他の実施例の動作を説
明するためのフロー図である。 第１９図はこの発明のその他の実施例の概略ブロック図
である。第２０図はこの発明の応用例を示す図である。 第２１図は従来の代表的な三次元画像生成方法を示す図
である。第２２図は第２１図に示した座標系をＹ　（ｗ
）軸上から見た図である。 第２３図は第２１図に示した座標系をＹ　（ｅ）軸上で
かっＺ　（ｅ）軸方向に見た図である。第２４図は第２
３図に示した表示対象の図である。 図において、ｏｂｊは表示基準座標系で既知な表示対象
、Ｐｉ（ｏｂｊ）は対象座標系で示された表示対象の構
造点、Ｓｌはスクリーン、ｈ−。 ｂｊは透視投影画像、○（ｅ）は視点、ｅｐ（ｓ）はス
クリーン注視点、ｅｏ（ｗ）は空間注視点、Ｔｈは距離
を示す。 特許出願人　株式会社エイ・ティ・アール通信システム
研究所 稟１０ ｚ２区 ヒＹヒ ｉｔ　−０１ （ｂ） （電翼１） 龍璋” ス８図 第１０区 う１才！、、９、からの傷内 （度） 島 ２回 ０ｆｅｌ＋−１１ 島 区 ｅＬ ｅＲ 叢 「 夷 日 ｏ　　　　　　　　３０　　　　　　５０画イ龜周ＶＬ
卸の１ｉも空間用；を＆＋ｃｐｄ１−５７５＝ 見 図 も ち２４　ｆｆｉ 瓢２ も ２３図

Claims (9)

【特許請求の範囲】
1. （１）立体構造を持つ対象を二次元画面に投影して表示
   する視線追従形高速画像生成表示方法であって、 前記対象の構成面は、対象座標系でかつ領域の大きさを
   少なくとも１つの要素として階層的に記述され、 任意の視点から見たときの前記対象の構成面の前記二次
   元画面への投影に際して、利用者の視線または視線が前
   記二次元画面と交わる注視点を検出し、 視線または前記二次元画面の注視点と前記視線とを結ぶ
   線分が表示座標系において前記対象の構成面と最初に交
   差する点を空間注視点とし、該空間注視点または該点の
   近傍にあり、表示対象の表現に必要な特徴点からの距離
   を少なくとも１つのパラメータとする空間ごとに前記階
   層度を選択することを特徴とする、視線追従形高速画像
   生成表示方法。
2. （２）表示基準座標系原点または前記視点から対象座標
   系で表わされる該対象の任意の点までの距離を第２のパ
   ラメータとして前記階層度を選択することを特徴とする
   、請求項第１項記載の視線追従形高速画像生成表示方法
   。
3. （３）さらに、左右の眼の光学系主点近傍を視点として
   、該点から見た投影画像が生成されたことを特徴とする
   、請求項第１項または第２項記載の視線追従形高速画像
   生成表示方法。
4. （４）前記視線と前記二次元画面とが交わる点を注視点
   とし、該注視点の位置を基準として、その周辺に高域遮
   断フィルタをかけて表示することを特徴とする、請求項
   第１項ないし第３項のいずれかに記載の視線追従形高速
   画像生成表示方法。
5. （５）立体構造を持つ対象を二次元画面に投影して表示
   する視線追従形高速画像生成表示方法であって、 前記対象の構成面は、対象座標系でかつ領域の大きさが
   少なくとも１つの要素として階層的に記述され、 任意の視点から見たときの前記対象構成面の前記二次元
   画面への投影に際して、利用者の視線または視線が前記
   二次元画面と交わる注視点を検出し、 視線または前記二次元画面の注視点と前記視線とを結ぶ
   線分から該対象までの距離を少なくとも１つのパラメー
   タとして、前記階層度を選択することを特徴とする、視
   線追従形高速画像生成表示方法。
6. （６）前記二次元画面の表示基準座標系原点または視点
   から対象座標系で表わされる該対象の任意の点までの距
   離を第２のパラメータとして前記階層度を選択すること
   を特徴とする、請求項第５項記載の視線追従形高速画像
   生成表示方法。
7. （７）左右の眼の光学系主点近傍を視点として、該点か
   ら見た投影画像が生成されることを特徴とする、請求項
   第５項または第６項記載の視線追従形高速画像生成表示
   方法。
8. （８）前記注視点の位置を起点として、その周辺に高域
   遮断フィルタをかけて表示することを特徴とする、請求
   項第５項ないし第７項のいずれかに記載の視線追従形高
   速画像生成表示方法。
9. （９）立体構造を持つ対象を二次元画面に投影して表示
   する視線追従形高速画像生成表示方法であって、 前記対象の構成面は、対象座標系でかつ領域の大きさを
   少なくとも１つの要素として階層的に記述され、 任意の視点から見たときの前記対象構成面の前記二次元
   画面への投影に際して、利用者の視線の動きから先の画
   像表示時刻における前記二次元画面の表示基準座標系の
   中の注視点である空間注視点またはこの近傍を推定し、
   該空間注視点またはこの近傍からの距離を少なくとも１
   つのパラメータとして前記階層度を選択し、予め投影画
   像を生成することを特徴とする、視線追従形高速画像生
   成表示方法。