JPH09293147A

JPH09293147A - 視線検出を用いた画像処理装置

Info

Publication number: JPH09293147A
Application number: JP8102497A
Authority: JP
Inventors: Shoichi Yamazaki; 章市山崎; Shunichi Tamai; 俊一玉井; Hirokazu Akisada; 浩和秋定
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-04-24
Filing date: 1996-04-24
Publication date: 1997-11-11
Also published as: US6130672A

Abstract

(57)【要約】【課題】仮想的な三次元空間における指示方法を現実
にきわめて近い方法で、かつ、装置が大がかりにならず
低コストで実現できるようにすることにある。【解決手段】視野内に仮想三次元空間画像を表示する
表示手段と、前記視野内における操作者の視線位置を検
出する視線検出手段と、前記表示手段に三次元空間画像
を表示するとともに、前記視線検出手段によって検出さ
れた視線位置に応じて前記画像を変化させる画像処理手
段とからなる視線検出を用いた画像処理装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は視線検出手段を備え
た画像処理装置に関するものである。

【０００２】

【従来の技術】近年、コンピュータ機器の高性能化は著
しく、それに伴ってコンピュータを用いた高度な画像処
理が広く行われ、その手法も種々提案されている。

【０００３】特に、最近のコンピュータ画像処理では、
コンピュータ上に仮想的な三次元空間を作成して、その
空間内を自由に移動して見て回れるような手法がある。

【０００４】これは、仮想的な三次元空間内のある場所
に視点を設定し、この視点が移動や回転するごとに見え
るシーンを計算してディスプレイに描画する。

【０００５】従来、視点の移動を指示（すなわちポイン
タ）するものとして、マウス、トラックボール、スペー
スボール、データグローブ、磁気センサ（人の体に装着
して実際の空間を動いたりする）、圧力センサなどがあ
る（従来技術１）。

【０００６】また迷路のような空間内を移動するゲーム
などで、全体、或いは部分的な平面図／断面図を表示
し、そこに通ってきた軌跡を直線、連続点、自由曲線な
どで描くものがある。これは全体、或いは部分的な地図
のようなものの中での現在位置を認識するのに役立つ
（従来技術２）。

【０００７】また三次元空間表示システムでないが、カ
メラのオートフォーカスに視線検出を使用しているもの
がある。これはカメラのファインダー上で眼球が見つめ
ている方向を検出し、見つめたところにピントが合うも
のである。

【０００８】しかしながらこの視線検出光学系には、赤
外光のみを透過または反射するダイクロイックミラー、
ダイクロイックプリズム等が使用されており、ファイン
ダーが大きくなりまたコストも高くなる。またダイクロ
イックミラー、ダイクロイックプリズム等がファインダ
ー内に配置されるため、ファインダー倍率またはアイポ
イントが犠牲にならざるおえない。

【０００９】

【発明が解決しようとする課題】しかしながら上記従来
例１では仮想空間内を移動するための指示方法が現実の
世界とはかけ離れていて違和感があった。

【００１０】また、人体の何カ所かに磁気センサを装着
する場合は現実と同じ感覚で指示できるが、センシング
の装置群が大がかりになり、コストも高額になるという
欠点があった。

【００１１】また、上記従来例２では平面的な現在位置
の確認は可能だが、三次元上の位置を表示、確認するの
は困難であった。

【００１２】そこで、本願の課題は、表示視野内におい
て、仮想的な三次元空間上が変化するための指示方法を
現実にきわめて近い方法で、かつ、装置が大がかりにな
らず低コストで実現できるようにした視線検出を用いた
画像処理装置を提供することである。

【００１３】また本願の課題は、仮想的な三次元空間上
を移動していく上で、通ってきた位置を知る手段とし
て、三次元的な地図のような画像、あるいは軌跡のよう
に連続的な画像を簡単に表現できるようにし、単純な直
線的な軌跡でなく表現力の豊かな映像にした視線検出を
用いた画像処理装置を提供することである。

【００１４】本願の第課題は、画像を表示する表示手段
の機能を損なうことなく、仮想的な三次元空間上での視
線検出を高精度コンパクトで低コストの視線検出系によ
って可能とした視線検出を用いた画像処理装置を提供す
ることにある。

【００１５】

【課題を解決するための手段】上記課題を解決するため
に、本願における請求項１に記載の発明によれば、視野
内に仮想三次元空間画像を表示する表示手段と、前記視
野内における操作者の視線位置を検出する視線検出手段
と、前記表示手段に画像を表示するとともに、前記視線
検出手段によって検出された視線位置に応じて前記画像
を変化させる画像処理手段とからなる視線検出を用いた
画像処理装置を特徴とする。

【００１６】また本願における請求項２に記載の発明に
よれば、前記表示手段に表示される画像は、仮想的な三
次元空間画像であり、前記画像処理手段は、前記視線の
方向に応じて、前記仮想的な三次元空間画像が変化させ
ることを特徴とする。

【００１７】また本願における請求項３に記載の発明に
よれば、前記画像処理手段は、所定の画像を記憶したメ
モリを含み、視線の方向に応じて、前記仮想的な三次元
空間画像内における観察視点を任意に移動でき、移動し
た観察視点位置の近傍に、前記メモリから読み出した画
像を新たに発生させるように構成されていることを特徴
とする。

【００１８】また本願における請求項４に記載の発明に
よれば、前記画像処理手段は、視線の方向に応じて、前
記仮想的な三次元空間画像内における観察視点を任意に
移動でき、移動した観察視点位置の近傍に、画像を発生
させるとともに、発生させた画像と直前の観察視点位置
近傍に発生させた画像間を同一の画像を複数発生させて
連続的な画像となす処理を行うように構成されているこ
とを特徴とする。

【００１９】また本願における請求項５記載の発明によ
れば、前記画像処理手段は、発生させた物体と直前の観
察視点位置近傍に発生させた物体間に異なる大きさの物
体を複数発生させて連続的な物体を発生させる手段を持
つことを特徴とする。

【００２０】また本願における請求項６記載の発明によ
れば、前記画像処理手段は、発生させた画像を可視ある
いは不可視にすることを可能としたことを特徴とする。

【００２１】また本願における請求項７に記載の発明に
よれば、前記視線検出手段は非可視光を眼球に照射する
照明手段と眼球からの非可視光を結像させる視線光学系
と撮像素子を有することを特徴とする。

【００２２】また本願における請求項８に記載の発明に
よれば、さらに前記表示手段に表示された画像を拡大す
る接眼光学系を有し、前記接眼光学系の光路中に微小な
前記視線光学系の絞りを設けたことを特徴とする。

【００２３】本願における請求項９に記載の発明によれ
ば、前記視線光学系の絞りは前記接眼光学系中の反射面
上に設けられ、眼球からの非可視光は前記視線光学系の
微小絞りを透過し、結像レンズ系により撮像素子に結像
され、映像表示手段からの光は前記接眼光学系中の反射
面を反射し、眼球に導かれるように構成したことを特徴
とする。

【００２４】本願における請求項１０に記載の発明によ
れば、前記視線検出手段は、前記撮像素子から得られる
画像データ中の眼球瞳孔中心と、前記照明手段の角膜反
射面による虚像（プルキニエ像）の相対位置を、画像処
理により算出し眼球の視線方向を検出するように構成し
たことを特徴とする。

【００２５】

【発明の実施の形態】

《実施形態１》以下、各図を参照しながら、本発明の実
施形態について説明する。

【００２６】図１に本実施形態のハード構成を示すもの
である。

【００２７】同図において、１はシステム全体を制御す
るＣＰＵ（中央処理装置）、２は外部記憶装置としての
ハードディスクドライブユニット、３はハードディスク
コントローラ、４はデータ、コマンドを入力する入力手
段としてのキーボード、５は同じく入力手段としてのマ
ウスであり、これらは共通のバス１２によって相互に接
続されている。この構成については、パーソナルコンピ
ュータに一般に見られるシステム構成である。

【００２８】さらに６は、操作者の注視点位置を検出す
る視線検出装置、７は視線検出装置６より出力された視
線位置データをバス１２を介してＣＰＵ１あるいはメモ
リへと、送信する通信回線インタフェースである。

【００２９】また８は、各種データ、画像等を表示する
外部モニタであり、９はバス１２を介して、外部モニタ
８へと表示画像及び各種表示データを表示させるための
制御、信号変換を行う表示コントローラである。

【００３０】また視線検出装置６内には、表示コントロ
ーラ９より供給された画像データ及び視線検出用のメニ
ュー、コマンド等のアイコンを表示するための映像信号
を表示する表示装置が配されており、操作者はその表示
画面を見ながら、視線検出用のアイコンを注視すること
により、そのアイコンに対応する機能を実行させること
ができる。

【００３１】また１０は、本システムを動作さるための
所定のプログラムを格納したプログラムメモリであり、
その内部には、本システムの基本動作を制御するシステ
ム制御部、画像処理のモデルデータに関する処理を行う
モデルデータ処理部、モデルデータ処理部からの情報に
基づいて、画像の描写処理を行うレンダリング処理部が
それぞれ配されおり、各種制御ブロックと、他の装置を
バス１２によって相互に接続して各種装置との間でデー
タ通信を行うための通信回線Ｉ／F(インターフェース）
等を備えている。

【００３２】また１１は、画像処理の対象とするモデル
データ、画像の画面内における位置データ、視線検出装
置６で検出された視点データ等データを格納するための
ＲＡＭである。

【００３３】したがって、本システムは、プログラムメ
モリ１０内に格納された各種処理を行うためのプログラ
ムに従い、ＲＡＭ１１内に記憶された各種データを用い
て画像処理を行う。本実施例で見れば、画面内に表示さ
れた画像に対し、操作者の視点位置を検出し、その視点
位置に応じて画像を変化させるものである。

【００３４】次に図１のシステムにおいて行われる処理
を、図２に示すフローチャートを参照しながら説明す
る。尚この処理は、ＣＰＵ１によって、プログラムメモ
リ１０内に格納されたプログラムを実行することによっ
て、行われる。

【００３５】図２において、処理をスタートすると、プ
ログラムメモリ１０内の各種アプリケーションプログラ
ムが起動される。

【００３６】ステップＳ１では、三次元仮想空間を表現
するモデルデータをＨＤより読み込む。またプログラム
メモリ１０内のモデルデータ処理部がメモリ（ＲＡＭ）
上にモデルを展開する。また通常、モデルはワールド座
標系の原点を中心に読み込まれる。

【００３７】続いてステップＳ２では、前記仮想空間内
における操作者の視点位置を初期化する。例えばワール
ド座標系でＺ軸方向に前もって決めた位置に視点位置を
移動する。この時スクリーン位置（実際の表示装置に表
示される画像を生成する位置）も前もって視点との距離
と視角で決められている。またロードされたモデルのボ
リュームに応じて、レンダリングごとの視点の移動・回
転の量を設定する（変位の単位量。例えばモデルがワー
ルド座標系で（１．０、１．０、１．０）の中にロード
された場合、仮想空間内の視点の移動量を０．０１、視
軸の回転量を０．２度といったように設定する。ここで
の設定方法はシステム内で固定であっても、ユーザが任
意の値を入力しても構わない。

【００３８】今、この単位変位量を（ｄＤ、ｄＲ）とす
る。

【００３９】次にステップＳ３で、通信回線Ｉ／Ｆを初
期化する（本実施例では、例えばＲＳ２３２Ｃを用い、
ポートをオープンして通信可能な状態にする）。

【００４０】ステップＳ４では、スタートのビューすな
わちスタート時の初期画像を生成するためにプログラム
メモリ１０内のレンダリング処理部がレンダリングす
る。

【００４１】ステップＳ５では、ステップＳ４でレンダ
リングされた画像を表示コントローラを経由して外部モ
ニタと視線検出装置６内の表示部(不図示）に表示す
る。これによって、操作者（操作者以外の人には外部モ
ニタで表示する）に画像を表示することができる。

【００４２】ステップＳ６では、処理を終了するかどう
かを判定し（終了の合図はキーボードの特定のキーが押
されたとか、マウスの右ボタンが押されたとか、スター
トからの時間を計測して一定の時間が経過したら終了す
るとか、視線検出装置に外部スイッチを設けて、そのス
イッチが押されたら終了するなど、終了判別が可能な操
作であればよい）。

【００４３】そしてステップＳ５６で終了の操作がなさ
れた場合は、ステップＳ７で終了処理を実行する。これ
は通信回線をクローズし、処理中の画像をＨＤに記憶
し、ＲＡＭ上の使用していたメモリ領域などを開放する
等の処理を実行するものである。

【００４４】ステップＳ６で、終了の操作がなされない
場合には、ステップＳ８で、通信回線Ｉ／Ｆから、視線
検出装置６で検出された視線位置検出データ（Ｘｘ，Ｙ
ｙ）をＲＡＭ１１上に読み込む。この時の視線位置検出
データは視線検出装置６の表示／視線検出系での座標値
であるため、実際の画像処理空間を示すスクリーン座標
系のデータ（Ｘｉ，Ｙｉ）へ正規化される。視線検出デ
ータのＸ方向Ｙ方向の各領域とスクリーンの表示領域の
比で簡単に求められる。

【００４５】ステップＳ９では、仮想空間内の視点の移
動量を算出し、スクリーン上の対応する注視点を移動す
る。算出方法は、まず視軸を現視点位置を中心にｄＲ分
だけスクリーン座標系上の視線位置（Ｘｉ，Ｙｉ）方向
へ回転移動する。その視軸のベクトルを算出し、その視
軸上の現視点位置からｄＤの距離分（ワールド座標系）
の位置を算出することによって、視点のワールド座標系
での移動位置を求めることができる。この演算について
は、周知の３次元幾何学及び透視法で計算できるので詳
細は割愛する。

【００４６】ステップＳ１０では、新たな視点位置で、
シーンを描画すべくレンダリングを行う。従って、スク
リーン上（表示画面上）では、ごく自然に、少しずつ見
ている物体（場所）に近づいて行くように見える。

【００４７】本実施例では常に毎回のループで単位ベク
トル分の視点移動・回転をさせているが、例えばスクリ
ーン上を図３にあるように区分（意味的に）しておき、
視点の位置が対応する領域によって異なった移動をさせ
ることも可能である。図３のａの部分に検出された視線
位置が来ると前進すなわち画像が拡大されて、物体との
距離が近づいたような画像変化となり、ｂに来ると逆に
後退していくように、画像を縮小する。またｃの部分に
視点の位置が来ると画像の向きを回転するというような
視点移動方法をとることができる。

【００４８】《実施形態２》図４に本実施形態のハード
構成を示す。図１の実施形態１との差異は、新たにモデ
ル発生部１３が設けられている点である。

【００４９】図５に本実施例の全体の流れを示す。同図
において、ステップＳ２１〜Ｓ３０については、図２の
フローチャートのステップＳ１〜Ｓ１０の処理と同様で
あり、異なる部分は、ステップＳ３１のモデルの発生を
行う処理が追加されている点である。

【００５０】すなわち、仮想空間内の視点移動後、算出
された新たな視点位置からの視軸上でスクリーン画面と
前方クリッピング面の間（前方クリッピング面の近く
に、位置は初期値として持っている)に新たなモデルを
発生させる。モデルデータは前もってＲＡＭに用意して
おく。本実施形態の実験では、球体を用いた。大きさは
一番はじめに読み込まれた空間モデルデータのボリュー
ムにあわせて（経験的に調整した大きさ）決定した。そ
して操作者の視点方向に新たにＲＡＭに記憶された球体
の画像が発生し、成長していくような画像変化として表
示される。

【００５１】このように、注視点方向に画像の変化が発
生するような効果を得ることができ、視点情報を用いた
画像処理においては、極めて有効な手段である。

【００５２】《実施形態３》図６に本実施形態のハード
構成を示す。図４の実施形態２との差異は、モデル発生
部１３が、可視モデル画像を管理する可視モデル管理部
と複数の可視モデル画像間を補間する補間モデル発生部
とからなるモデル発生部１４に置き換えられている点で
ある。

【００５３】図７に本実施例の全体の流れを示す。同図
において、ステップＳ４１〜Ｓ５１については、図５の
フローチャートのステップＳ２１〜Ｓ３１の処理と同様
であり、異なる部分は、ステップＳ５２の補間モデルの
発生処理が桑あえられていることである。

【００５４】すなわち、ステップＳ５２の処理では、ス
テップＳ５１で新たなモデルを発生後、発生したモデル
と直前に発生したモデルの距離を算出し、その間を同一
のモデルを連続的に発生させて補間する。補間モデル群
は直線的に並べたが、２つ前のモデル発生位置を記憶し
ておいて、３点の位置を元にスプライン曲線状に補間モ
デルを発生させても良い。

【００５５】この処理によれば、視点の移動に伴い、画
像が補間処理を行いながら連続的に変化していくような
処理を行うことができ、視点情報を用いた画像処理を行
う上で、極めて有効である。

【００５６】《実施形態４》図８に本実施形態のハード
構成を示す。図６の実施形態３との差異は、図６モデル
発生部１４が、可視モデル画像を管理する可視モデル管
理部と複数の可視モデル画像間を補間する補間モデル発
生部とからなるモデル発生部１５に置き換えられている
点である。

【００５７】図９に本実施例の全体の流れを示す。同図
において、ステップＳ６１〜Ｓ７1については、図7のフ
ローチャートのステップＳ4１〜Ｓ5１の処理と同様であ
り、異なる部分は、ステップＳ7２の補間モデルの発生
処理の内容が異なっている点である。

【００５８】すなわち、ステップＳ72の処理では、連続
的に発生させる補間モデル群が所定の範囲内の大きさで
（レンジは初期値で規定）ランダムに変化するようにし
たものである。この処理によれば、視点の移動に伴い、
画像が補間処理を行いながら、且つランダムに大きさが
変化しながら連続的に変化していくような処理を行うこ
とができ、視点情報を用いた画像処理、コンピュータグ
ラフィックスを行う上で、極めて有効である。

【００５９】尚、上述の各実施形態２〜４において、発
生させたモデル群を任意の時に不可視にすることができ
る。不可視にさせるかどうかは、システムのキーボード
やマウスからの入力で変更できる。

【００６０】次に、視線検出装置６の具体的な構成につ
いて説明する。

【００６１】図１０、図１１は視線検出装置６内に配さ
れた映像観察手段と視線検出手段の断面図である。視線
検出手段は眼球１０６に赤外光を照射する照明手段（Ｉ
ＲＥＤ）１０３と眼球１０６からの赤外反射光を結像さ
せる視線光学系と撮像素子（ＣＣＤ）１０５からなる。
視線光学系はプリズム型接眼レンズ１０１と結像レンズ
系１０４からなる。また照明手段（ＩＲＥＤ）１０３が
存在することにより、眼球角膜反射面によるＩＲＥＤ１
０３の虚像（プルキニエ像）を形成している。

【００６２】図１０(a)では、照明手段（ＩＲＥＤ）１
０３が眼球１０６とプリズム型接眼レンズ１０１の間に
配置され、かつ小型液晶ディスプレイ１０２からの光を
けらないよう設定されている。こうする事により、ゴー
ストの少ない眼球のＣＣＤ像が得られ、視線検出精度が
高くなる。

【００６３】図１１(a)は、照明手段（ＩＲＥＤ）１０
３はプリズム型接眼レンズ１０１に対して眼球１０６と
反対側に配置する。こうする事により、小型液晶ディス
プレイ１０２からの光の光路に影響されることなく、任
意の位置に照明手段（ＩＲＥＤ）１０３を設定すること
ができる。

【００６４】また映像観察手段は図１０(a)、図１１(a)
に示すように小型液晶ディスプレイ（ＬＣＤ）１０２と
プリズム型接眼レンズ１０１からなるため小さくまとめ
られる。プリズム型接眼レンズ１の光路中に存在する視
線光学系の微小絞りＡの様子は図１０(b)、図１０(c)、
図１１(b)に示している。

【００６５】微小絞りＡはおよそφ0.2〜φ2ぐらいであ
り、微小絞りＡとＣＣＤ１０５との間には可視光カット
レンズまたは可視光カットフィルターが含まれ、ＣＣＤ
１０５には赤外光のみ導かれる。こうすることにより視
線光学系でのダイクロイックミラー、ダイクロイックプ
リズムを不要とした（もちろん微小絞りＡをダイクロイ
ックミラーとしても構わない）。

【００６６】また図１２は、微小絞りＡをプリズム型接
眼レンズ１０１の光路中に存在させた場合の視線光学系
トレース図であり、微小絞りＡの位置で最も光束径が細
くなることを示している。

【００６７】視線光学系での光束が最も小さくなる微小
絞りＡをプリズム型接眼レンズ１０１の光路中に設定す
ることにより、映像観察手段への影響は最も小さくなる
ため、ダイクロイックミラーを使用しなくても映像観察
手段への影響は無視できるが、絞りＡがプリズム型接眼
レンズ１０１の光路の外に設けられた場合は、眼球から
の赤外光線がプリズム型接眼レンズ１を射出する射出面
での光束面積が広くなるため（絞りＡの前後では光束径
が太くなるため）、映像観察手段への影響は無視できず
ダイクロイックミラーが必要となる。

【００６８】また微小絞りＡがプリズム型接眼レンズ１
０１の光路中に存在する場合は、プリズム型接眼レンズ
１０１の直後に微小絞りＡ、結像レンズ系１０４、ＣＣ
Ｄ１０５を配置できるため小型化できるが、絞りＡがプ
リズム型接眼レンズ１０１の光路外の場合は、プリズム
型接眼レンズ１０１から絞りＡまでの距離分だけ視線光
学系の光路長が長くなるため大きくなる。

【００６９】また図１０(b)、図１０(c)、図１１(b)は
プリズム型接眼レンズ１０１の反射面１０７の様子を示
している。Ｍの領域が１００％反射面であり、Ａ，Ａ
１，Ａ２は開口微小絞りであり反射作用はない。視線検
出手段としてはＩＲＥＤ１０３からの赤外光がＡ１，Ａ
２の開口微小絞り（φ0.5〜φ3）を透過し眼球を照射し
（図１０(a)では開口微小絞りなしでダイレクト眼球照
射）、眼球からの赤外反射光は開口微小絞りＡ（φ0.2
〜φ2）を透過してＣＣＤに結像される。映像観察手段
においてはＬＣＤ１０２からの可視光はプリズム型接眼
レンズ１０１に入射し、反射面１０７ともう一つの反射
面により光線が折り畳まれ、プリズム型接眼レンズ１０
１を射出し眼球に導かれる。

【００７０】この時ＬＣＤ１０２からの可視光は反射面
１０７上のＡ，Ａ１，Ａ２の開口微小絞りでは反射せず
抜けてしまうが、開口微小絞りは非常に眼球に近いため
ボケ、しかも径が小さいためほとんど見えず映像観察手
段への影響は無視できる。このようにすることにより、
接眼光学系の拡大倍率・アイポイントを視線光学系とは
独立して設定でき、低コストでコンパクトな視線光学系
と両立させることができた。

【００７１】もちろんＡ，Ａ１，Ａ２の開口微小絞りは
ダイクロイックミラーにする必要はないが、可視光反射
・赤外光透過のダイクロイックミラーにすればＬＣＤ１
０２からの可視光は反射面１０７上のＡ，Ａ１，Ａ２の
開口微小絞りで抜けず、全ての可視光は眼球に導かれ
る。また反射面１０７に開口微小絞りを設けず、全領域
を可視光反射・赤外光透過のダイクロイックミラーと
し、開口微小絞りＡをプリズム型接眼レンズ１の光路の
近傍に配置しても、ＬＣＤ１０２からの全ての可視光が
眼球に導かれる。両者ともコストは高くなるが、接眼光
学系の拡大倍率またはアイポイントを犠牲にせず、コン
パクトな視線光学系と両立させることは可能である。

【００７２】図１３(a)、図１３(b)は視線光学系により
結像されたＣＣＤ画像である。図１３(a)において中央
の大きな黒い円形部は瞳孔、瞳孔内の２つの白い点は、
２つのＩＲＥＤ光源１０３の角膜面反射による虚像（プ
ルキニエ像）である。

【００７３】瞳孔中心とプルキニエ像の相対的位置関係
の変化は、眼球の回転角と比例の関係があるため、画像
処理より必要な位置情報を演算抽出する。ＩＲＥＤ１０
３は原理的には１個でも良いが照明上、情報処理上の理
由により２個としている。

【００７４】図１３(b)は眼球光軸が左側に動いた場合
のＣＣＤ画像である。また眼鏡使用者のためにＩＲＥＤ
をもう１組設けることもある。

【００７５】図１４は眼球の水平断面図で眼球の回転角
度を求めるための原理を示している。Ｃは瞳孔中心、Ｐ
はプルキニエ像、Ｏは角膜の曲率中心、Ｑは眼球の回転
中心、θは眼球の回転角度、δはプルキニエ像と瞳孔中
心のズレ量である。目が中央を見ているときは、眼球の
回転がないためプルキニエ像と瞳孔中心は重なり、δ＝
０ θ＝０となる。目が左（右）を見ているときは、眼
球が回転しているためプルキニエ像と瞳孔中心の間にズ
レが生じ、ズレ量δと眼球の回転角度θの関係は δ＝ＯＣ×ｓｉｎθ となり、この関係式よりθを求めることができる。この
ような視線検出原理により精度の高い視線検出が可能と
なる。

【００７６】

【発明の効果】以上述べたように、本願における請求項
１に記載の発明によれば、視線検知情報を三次元仮想空
間に適用することのより、仮想的な三次元空間上を移動
していく場合の指示方法がきわめて現実に近く、人間の
感性に近いウオークスルーが可能となり、移動位置、移
動経過も立体的に把握できる。また映像観察手段、視線
検出手段を含めた装置自体も大がかりにならず低コスト
で実現できる。

【００７７】また視線検出の情報を仮想三次元空間にフ
ィードバックでき、視線で仮想三次元空間を変化させ、
人間の感性に近いウオークスルーが可能となる。

【００７８】また本願の請求項２乃至５に記載の発明に
よれば、仮想的な三次元空間上を移動していく上で、仮
想三次元空間中の移動位置、移動経過を立体的に把握で
きるとともに、三次元的な地図、あるいは軌跡のように
連続的な画像を簡単に表現でき、単純な直線的な軌跡で
なく表現力の豊かな映像にすることができる。

【００７９】また本願における請求項６に記載の発明に
よれば、仮想的な三次元空間上を移動した軌跡の表示を
可視、不可視に切り替えられるようにしたので、仮想空
間内にある物体を見えにくくすることがなく、違和感の
ない表示を行うことができる。

【００８０】本願における請求項７に記載の発明によれ
ば、仮想的な三次元空間内における視線検出を可能とす
ることができる。

【００８１】本願における請求項８乃至１０に記載の発
明によれば、カメラでは視線光学系の絞りが接眼光学系
光路外に存在するため、眼球からの非可視光を視線光学
系の絞りまで導くのにどうしてもダイクロイックミラ
ー、ダイクロイックプリズムを必要としたのに対して、
本発明では接眼光学系光路中に微小な視線光学系の絞り
を存在させることにより、ダイクロイックミラー、ダイ
クロイックプリズムを必要とせずコンパクトで低コスト
な視線検出系を実現することができる。

【００８２】また表示手段と、接眼光学系により映像表
示手段の拡大虚像を形成して観察するため、装置自体を
小型軽量に実現することができるとともに、仮想的な三
次元空間を表示する映像表示手段に犠牲を払うことな
く、コンパクトで高精度の視線検出手段を両立すること
ができる。

【００８３】以上各請求項に記載の発明によれば、仮想
的な三次元空間上を移動していく場合の指示方法がきわ
めて現実に近くなり、人間の感性に近いウオークスルー
が可能となる。また映像観察手段も含め装置が大がかり
にならず低コストで実現できるようになる効果もある。

【図面の簡単な説明】

【図１】本発明の第１の実施態様のコンピュータハード
構成を示すブロック図である。

【図２】本発明の第１の実施態様のコンピュータにおけ
る処理を示すフローチャートである。

【図３】表示画面上の区分を説明するための図である。

【図４】本発明の第２の実施形態のコンピュータハード
構成を示す図である。

【図５】本発明の第２の実施形態のコンピュータにおけ
る処理を示すフローチャートである。

【図６】本発明の第３の実施形態のコンピュータハード
構成を示すブロック図である。

【図７】本発明の第３の実施形態のコンピュータにおけ
る処理を示すフローチャートである。

【図８】本発明の第４の実施形態のコンピュータハード
構成を示すブロック図である。

【図９】本発明の第４の実施形態のコンピュータにおけ
る処理を示すフローチャートである。

【図１０】本発明の各実施形態に用いられる光学系の構
成を示す図である。

【図１１】本発明の各実施形態に用いられる光学系の他
の変形例の構成を示す図である。

【図１２】図１０、図１１の光学系における視線光学系
のトレース断面図である。

【図１３】視線検出手段における眼球ＣＣＤ画像を示す
図である。

【図１４】視線検出手段における原理図である。

【符号の説明】

１プリズム型接眼レンズ２ＬＣＤ３ＬＥＤ４結像レンズ５ＣＣＤ６眼球７反射面Ａ開口微小絞りＡ１開口微小絞りＡ２開口微小絞りＭ１００％反射面Ｃ瞳孔中心Ｐプルキニエ像Ｏ角膜の曲率中心Ｑ眼球の回転中心 θ 眼球の回転角度 δ プルキニエ像と瞳孔中心のズレ量

Claims

【特許請求の範囲】

【請求項１】視野内に仮想三次元空間画像を表示する
表示手段と、前記視野内における操作者の視線位置を検出する視線検
出手段と、前記表示手段に画像を表示するとともに、前記視線検出
手段によって検出された視線位置に応じて前記画像を変
化させる画像処理手段と、からなる視線検出を用いた画
像処理装置。
【請求項２】請求項１において、前記表示手段に表示される画像は、仮想的な三次元空間
画像であり、前記画像処理手段は、前記視線の方向に応
じて、前記仮想的な三次元空間画像が変化させることを
特徴とする視線検出を用いた画像処理装置。
【請求項３】請求項２において、前記画像処理手段は、所定の画像を記憶したメモリを含
み、視線の方向に応じて、前記仮想的な三次元空間画像
内における観察視点を任意に移動でき、移動した観察視
点位置の近傍に、前記メモリから読み出した画像を新た
に発生させるように構成されていることを特徴とする視
線検出を用いた画像処理装置。
【請求項４】請求項３において、前記画像処理手段は、視線の方向に応じて、前記仮想的
な三次元空間画像内における観察視点を任意に移動で
き、移動した観察視点位置の近傍に、画像を発生させる
とともに、発生させた画像と直前の観察視点位置近傍
に発生させた画像間を同一の画像を複数発生させて連続
的な画像となす処理を行うように構成されていることを
特徴とする視線検出を用いた画像処理装置。
【請求項５】請求項４において、前記画像処理手段は、発生させた物体と直前の観察視点
位置近傍に発生させた物体間に異なる大きさの物体を複
数発生させて連続的な物体を発生させる手段を持つこと
を特徴とする視線検出を用いた画像処理装置。
【請求項６】請求項２乃至５において、前記画像処理手段は、発生させた画像を可視あるいは不
可視にすることを可能としたことを特徴とする手段を持
つことを特徴とする視線検出を用いた画像処理装置。
【請求項７】請求項１乃至２において、前記視線検出手段は非可視光を眼球に照射する照明手段
と眼球からの非可視光を結像させる視線光学系と撮像素
子を有することを特徴とする視線検出を用いた画像処理
装置。
【請求項８】請求項７において、さらに前記表示手段に表示された画像を拡大する接眼光
学系を有し、前記接眼光学系の光路中に微小な前記視線
光学系の絞りを設けたことを特徴とする視線検出を用い
た画像処理装置。
【請求項９】請求項８において、前記視線光学系の絞りは前記接眼光学系中の反射面上に
設けられ、眼球からの非可視光は前記視線光学系の微小
絞りを透過し、結像レンズ系により撮像素子に結像さ
れ、映像表示手段からの光は前記接眼光学系中の反射面
を反射し、眼球に導かれるように構成したことを特徴と
する視線検出を用いた画像処理装置。
【請求項１０】請求項７乃至９において、前記視線検出手段は、前記撮像素子から得られる画像デ
ータ中の眼球瞳孔中心と、前記照明手段の角膜反射面に
よる虚像（プルキニエ像）の相対位置を、画像処理によ
り算出し眼球の視線方向を検出するように構成したこと
を特徴とする視線検出を用いた画像処理装置。