JPH09266559A

JPH09266559A - 表示装置

Info

Publication number: JPH09266559A
Application number: JP7417996A
Authority: JP
Inventors: Takashi Arai; 崇荒井; Shunichi Tamai; 俊一玉井; Hirokazu Akisada; 浩和秋定
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-03-28
Filing date: 1996-03-28
Publication date: 1997-10-07

Abstract

(57)【要約】【課題】プロジェクタによりスクリーン上に投影され
た映像を操作者の視線に応じて移動させる。【解決手段】コンピュータ１で生成された映像はスキ
ャンコンバータ４を介してプロジェクタ５と操作者３が
装着したヘッドマウントディスプレイ２に送られる。プ
ロジェクタ５から投影された映像は、雲台７に取り付け
たミラー６で反射されてスクリーン８に映像９として投
影される。一方、ヘッドマウントディスプレイ２内には
操作者３の視線検出回路が設けられ、ディスプレイ上の
映像１１の部分１２を注視して視線を移動させると、そ
の視線の移動が検出され、この検出に応じて雲台７、ミ
ラー６が回転することにより、スクリーン８上の映像９
が移動する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は視線検出機能を備え
映像や音声を表示する表示装置に関するものである。

【０００２】

【従来の技術】近年、パーソナルコンピュータ（パソコ
ン）のディスプレイ画面、ビデオカメラ、スチルカメラ
のファインダ画面内における操作者の視線位置を検出
し、その視線位置情報によって、各種情報の入力、制御
を行うことができるようにした、いわゆる視線入力装置
が提案かつ実施され、本出願人によって出願もなされて
いる。これらの視線入力装置の主な使用形態は、ビデオ
カメラ、スチルカメラで見れば、画面内において、焦点
検出領域を使用者の見ている位置に設定するための位置
情報入力手段として用いているものや、画面内に予め表
示されている特定の領域を見ることにより、その表示の
領域に対応づけられた機能を実行するというような、ス
イッチ的な機能として用いるもの等がある。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
視線入力手段は、上述のように、位置指定手段や、表示
を選択するためのスイッチ機能等にしか用いられておら
ず、入力手段として十分に活用されているとは言えな
い。たとえば、視線検出機能を有するパソコンシステム
で生成される映像をプロジェクタ等を用いてスクリーン
に投影する場合、視線検出に応じてスクリーン上の映像
を変化させることはできなかった。また、ヘッドマウン
トディスプレイにおいても視線検出に応じて映像や音声
を変化させることはできなかった。

【０００４】本発明は、視線入力手段の機能をさらに活
用し、表示される映像や音声を視線検出に応じて変化さ
せて特殊な表示効果を得ることのできる表示装置を得る
ことを目的とするものである。

【０００５】

【課題を解決するための手段】請求項１の発明において
は、スクリーンに映像を投影する映像投影手段と、使用
者の視線を検出する視線検出手段と、上記視線検出手段
が検出した視線に応じて上記映像投影手段の投影方向を
制御する制御手段とを設けている。

【０００６】請求項３の発明においては、音声を生成す
る音声生成手段と、使用者の視線を検出する視線検出手
段と、上記視線検出手段が検出した視線に応じて上記音
声生成手段が生成する音声の音質、音量、位相のうちの
少くとも１つを制御する制御手段とを設けている。

【０００７】

【作用】請求項１の発明によれば、使用者の視線の変化
に応じて映像の投影方向が制御されることにより、スク
リーン上の映像を移動させることができる。

【０００８】請求項３の発明によれば、使用者の視線の
変化に応じて生成される音声の音質、音量、位相のうち
の１つを変化させることができる。

【０００９】

【発明の実施の形態】まず、本実施の形態で用いられる
視線検出方法について説明する。図１１は視線検出方法
の原理を示す上面図（ａ）及び側面図（ｂ）である。図
１１において、９０６ａ、９０６ｂは観察者に対して不
感の赤外光を放射する発光ダイオード（ＩＲＥＤ）等の
光源であり、各光源は結像レンズ９１１の光軸に対して
ｘ方向（水平方向）に略対象に（ａ）、またｙ方向（垂
直方向）にはやや下側に（ｂ）配置され、観察者の眼球
を発散照明している。眼球で反射した照明光の一部は結
像レンズ９１１によってイメージセンサ９１２に結像す
る。図１２（ａ）はイメージセンサ９１２に投影される
眼球像の概略図。図１２（ｂ）はイメージセンサ９１２
の出力強度図である。

【００１０】以下各図を用いて視線の検出方法を説明す
る。まず水平面で考えると、図１１（ｂ）において光源
９０６ｂより放射された赤外光は観察者の眼球９０８の
角膜９１０を照明する。このとき角膜９１０の表面で反
射した赤外光により形成される角膜反射像ｄ（虚像）は
結像レンズ９１１により集光され、イメージセンサ９１
２上の位置ｄ′に結像する。同様に光源９０６ａより放
射された赤外光は眼球の角膜９１０を照明する。このと
き角膜９１０の表面で反射した赤外光により形成された
角膜反射像ｅ（虚像）は、結像レンズ９１１により集光
され、イメージセンサ９１２上の位置ｅ′に結像する。
また虹彩９０４の端部ａ、ｂからの光束は結像レンズ９
１１を介してイメージセンサ９１２上の位置ａ′、ｂ′
に端部ａ、ｂの像を結像する。結像レンズ９１１の光軸
に対する眼球９０８の光軸の回転θが小さい場合、虹彩
９０４の端部ａ、ｂのｘ座標をｘａ、ｘｂとすると、ｘ
ａ、ｘｂはイメージセンサ９１２上で多数点求めること
ができる（図１２（ａ）中の×印）。そこでまず円の最
小自乗法を用いて瞳孔中心ｘｃを算出する。

【００１１】一方、角膜９１０の曲率中心ｏのｘ座標を
ｘｏとすると、眼球９０８の光軸に対する回転角θｘ
は、ｏｃ＊ｓｉｎθｘ＝ｘｃ−ｘｏ ………（１）となる。また、角膜反射像ｄとｅの中点ｋに所定の補正
値δｘを考慮してｘｏを求めると、ｘｋ＝（ｘｄ＋ｘｅ）／２ｘｏ＝（ｘｄ＋ｘｅ）／２＋δｘ ………（２）ここでδｘは装置の設置方法／眼球距離等から幾何学的
に求められる数値であり、その算出方法は省略する。

【００１２】よって、（１）式を（２）式へ代入しθｘ
を求めると、 θｘ＝ａｒｃｓｉｎ［［ｘｃ−｛（ｘｄ＋ｘｅ）／２＋δｘ｝］／ｏｃ］ ………（３）さらにイメージセンサ上に投影された各々の特徴点の座
標を、′（ダッシュ）をつけて（４）式に書き換える
と、 θｘ＝ａｒｃｓｉｎ［［ｘｃ′−｛（ｘｄ′＋ｘｅ′）／２＋δｘ′｝］／ｏｃ／β］ ………（４）となる。ここでβは結像レンズ９１１に対する眼球の距
離ｓｚｅにより決まる倍率で、実際は角膜反射像の間隔
｜ｘｄ′−ｘｅ′｜の関数として求められる。

【００１３】垂直面で考えると、図１１（ｂ）の様な構
成となる。ここで２個のＩＲＥＤ９０６ａ、９０６ｂに
より生じる角膜反射像は同位置に発生し、これをｉとす
る。眼球の回転角θｙの算出方法は水平面の時とほぼ同
一であるが（２）式のみ異なり、角膜曲率中心ｏのｙ座
標をｙｏとすると、ｙｏ＝ｙｉ＋δｙ ………（５）ここでδｙは装置の配置方法、眼球距離等から幾何学に
求められる数値であり、その算出方法は省略する。よっ
て垂直方向の回転角θｙは、 θｙ＝ａｒｃｓｉｎ［［ｙｃ′−（ｙｉ′＋δｙ′）］／ｏｃ／β］ ………（６）となる。

【００１４】さらに、ファインダー等の画面上の位置座
標（ｘｎ、ｙｎ）はファインダー光学系で決まる定数ｍ
を用いると、水平面上、垂直面上それぞれ、ｘｎ＝ｍ＊ａｒｃｓｉｎ［［ｘｃ′−｛（ｘｄ′＋ｘｅ′）／２＋δｘ′｝］／ｏｃ／β） ………（７）ｙｎ＝ｍ＊ａｒｃｓｉｎ［［ｙｃ′−｛（ｙｉ′＋δｙ′）］／ｏｃ／β］ ………（８）となる。図９ａで明らかなように、瞳孔エッジの検出は
イメージセンサ９１２の出力波形の立ち上がり（ｘ
ｂ′）、立ち下がり（ｘａ′）を利用する。また、角膜
反射像の座標は鋭い立ち上がり部（ｘｅ′）及び（ｘ
ｄ′）を利用する。

【００１５】次に視線検出機能を持つパソコンシステム
の構成例を説明する。図１３は視線検出機能を持つパソ
コンシステムの一例を示す構成概略図である。図に示し
たパソコンシステムは、パソコンの本体部であるパソコ
ンユニット１００８、操作者がパソコンの画面を観察す
るためのヘッドマウントディスプレイ１００６、操作
者、または操作者以外の人がパソコンの画面を観察する
ための外部モニタ１００９により構成されている。ここ
で、ヘッドマウントディスプレイ１００６は、ゴーグ
ル、メガネフレーム等の部材により操作者の目の近傍に
固定されている。

【００１６】ヘッドマウントディスプレイ１００６は、
ＬＣＤ等を有する表示素子１００２と、拡大観察系を実
現するための特殊プリズム１００３、撮影者の目１００
５の視線を検出する視線検出回路１０６４と、パソコン
画面を表示素子１００２へ表示する表示回路１００７
と、撮影者の目１００５に赤外発光ダイオード１０６
０、１０６１と、赤外光を結像する結像レンズ１０６２
ａ、１０６２ｂと、この結像レンズ系１０６２により結
像された赤外光を電気信号に変換する光電変換素子とし
てのイメージセンサ１０６３と、このイメージセンサ１
０６３上の撮影者の目１００５の像を基に、撮影者の表
示素子１００２上の注視点を求める視線検出回路１０６
４とを具備している。

【００１７】次に、ヘッドマウントディスプレイ１００
６における、観察系の光学作用について説明する。表示
素子１００２からの光は第３の光学作用面ｃで、屈折透
過し、第１の光学作用面ａで全反射し、第２の光学作用
面ｂの反射層で反射し、再び第１の光学作用面ａを屈折
透過し、観察者の視度に適合した拡がり角（収束角、平
行）の光束となり、目側に射出する。ここで、観察者の
目１００５と表示素子１００２の中心を結ぶ線を基本光
軸として示している。観察者の視度に対する調整は、表
示素子１００２を、プリズム１００３の光軸に沿って平
行移動することにより可能となる。ここで、プリズム１
００３は、像性能と歪を補正し、テレセントリックな系
とするために、３つの作用面をそれぞれ回転対称軸を有
しない３次元曲面で構成するのが望ましく、ここでは、
基本光軸を含み、紙面に平行な平面にのみ対称な曲面構
造をしている。

【００１８】次に、ヘッドマウントディスプレイ１００
６における、視線検出系の光学作用について説明する。
裸眼用赤外発光ダイオード１０６０（奥行き方向に２
個）、眼鏡用赤外発光ダイオード１０６１（奥行き方向
に２個）から発した光は、第２の光学作用面ｂに設けら
れた開口部１０１２、１０１３、１０１４、１０１５を
通して、視線検出系の光軸とは異なる方向から観察者の
目を照明する。照明光は観察者の角膜、瞳孔で反射散乱
され、角膜で反射した光は角膜反射像を形成し、瞳孔で
散乱した光は瞳孔像を形成する。これらの光は、第２の
光学作用面ｂに設けられた開口部１０１０を通して、結
像レンズ系１０６２によりイメージセンサ１０６３上に
結像される。イメージセンサ１０６３から得られる目の
画像は、前述した視線検出原理によって構成された視線
検出回路１０６４により注視点データを出力することが
できる。

【００１９】ここで、結像レンズ系は、１０６２ａ、１
０６２ｂ、２枚のレンズで構成されている。特に１０６
２ｂのレンズは、くさび形状をしたレンズで、これによ
り結像レンズ系を、少ないレンズで構成することができ
小型化に適している。このレンズの斜めの面に、曲率を
つけることで、第２の光学作用面ｂで発生する偏心収差
を有効に補正することができる。さらに、結像レンズ系
には少なくとも非球面を１面設けると、軸外の結像性能
を補正する上で有効である。結像レンズ系の絞りは、第
２の光学作用面ｂに設けた開口部に近いほうが、開口部
１０１０を小さくすることができ、観察系に対する中抜
けを防ぐのに有効であり、できれば開口部と絞りが一致
しているのが望ましい。開口部は、２ｍｍより小さく設
定したほうが、目の瞳孔より小さくなり、さらに観察系
に対する中抜けを防ぐのに有効である。目を照明する光
は、視感度の低い光がよいので、赤外光を使用してい
る。このとき、結像レンズ系に可視光をカットする部材
のレンズを少なくとも１個設けると、視線の検出精度を
向上することができる。

【００２０】図１４は上記プリズム１００３を側面から
見た図である。ここで、上記光学作用面ｂは、反射用の
ミラーコーティングが施されているが、上記結像レンズ
系１０６２及び赤外発光ダイオード（１０６０、１０６
１）用の開口部、すなわちミラーコーティング未処理部
（１０１０は結像用、１０１２、１０１３は裸眼用赤外
発光ダイオード用、１０１４、１０１５は眼鏡用赤外発
光ダイオード用）が設けられている。なお前述したよう
に、これらはファインダ観察系に影響のない程度に小さ
いものであり、２ｍｍ以下位が望ましい。このようにミ
ラーコーティング開口部を設け、照明光源をプリズム１
００３をはさんで目と反対側に配置したため、プリズム
１００３の屈折力を強くし、高視野化した場合でも、目
の高さに近い位置から適切に照明することができる。

【００２１】ここで、上記赤外発光ダイオードは、異な
る配置で裸眼用と眼鏡用とを使い分けている。裸眼用２
個（１０６０）は、光軸からやや離れた下部から同一高
さで、光軸対称に狭い幅で左右１個ずつ、眼鏡用２個
（１０６１）は、光軸からかなり離れた下部から同一高
さで、光軸対称に広い幅で左右１個ずつ配置されてい
る。その理由は３つあり、その１つは眼球距離によっ
て、より良い照明条件を得るためで、できるだけ眼の検
出エリアを均等に照明するような位置になっている。２
つめは上記角膜反射像が、瞼でケラレないような高さに
する必要があるため、裸眼用赤外発光ダイオードは眼鏡
用赤外発光ダイオードに比べて、高い位置にある。３つ
めは赤外光が眼鏡に反射してできるゴーストが、検出に
影響の少ない周辺部に現れるようにするため、眼鏡用赤
外発光ダイオードは裸眼用より左右、下に、離れた位置
にある。なお、眼球と眼鏡の判別は、上記角膜反射像の
間隔｜ｘｄ′−ｘｅ′｜から、眼球とプリズム１００３
の距離を算出することで行う。また、視線検出回路１０
６４は、イメージセンサ１０６３上の撮影者の眼１００
５の像を基に、前述した原理に従い、撮影者の、表示素
子１００２画面上の注視点を求めるものである。

【００２２】次に、パソコンユニットについて説明す
る。第１３図において、１００８はパソコンユニットで
ある。１８１４はＣＰＵであり、プログラムやデータの
演算処理を行う。１８１３は各デバイスを結ぶシステム
バス、１８１８は、ＲＯＭ１８１６やＲＡＭ１８１７の
制御を行うメモリコントローラ、１８１２はビデオＲＡ
Ｍ１８１１に書かれた内容がディスプレイに表示される
よう制御するビデオグラフイックコントローラである。
１８１５はポインティングデバイス、キーボードをコン
トロールするアクセサリーデバイスコントローラであ
り、ここではヘッドマウントディスプレイ１００６の、
視線検出回路１０６４に接続される。１８１９は周辺装
置制御用のＩ／Ｏチャンネルであり、ここでは、ヘッド
マウントディスプレイの表示回路１００７に接続され
る。

【００２３】以上の構成により、ヘッドマウントディス
プレイ１００６の視線検出回路１０６４により検出され
た操作者の視線位置情報を、パソコンユニット１００８
の、ポインティングデバイスとして適用することがで
き、画面のスクロールや、メニュー選択に応用すること
ができる。また同時に、外部モニタ１００９にパソコン
画面を表示することができるため、操作者以外の人がパ
ソコン画面を見ることができる。また、片眼用ヘッドマ
ウントディスプレイを用いれば、操作者自身も外部モニ
タ１００９を見ることができる。

【００２４】図１は本発明の第１の実施の形態を示すも
ので、コンピュータ１で生成された映像をプロジェクタ
５を介してスクリーン上に投影すると共に、投影された
映像を操作者の視線検出に応じて変化させるようにした
システムの構成例を示す。図１において、１は映像を生
成するコンピュータ、２は生成された映像を表示する視
線入力スカウタ式のヘッドマウントディスプレイで、前
述した視線検出回路１０６４が設けられている。３はヘ
ッドマウントディスプレイ２を顔面に装着した操作者
（映像の体験者）である。

【００２５】４はコンピュータ１で生成された映像をプ
ロジェクタ５及びヘッドマウントディスプレイに適した
形式に変換するスキャンコンバータ、５は変換された映
像を投影するプロジェクタ、６はプロジェクタ５の映像
を反射させるミラー、７はミラー６を取付けた雲台、８
はミラー６で反射された映像が投影されるスクリーン、
９はスクリーン７上に投影された映像、１０はスクリー
ン８上の映像９を観察する観察者である。１１はヘッド
マウントディスプレイ２で表示されている映像、１２は
映像１１上の操作者２の視線が注視している映像領域
で、スクリーン８上の映像９と対応する。尚、操作者２
及び観察者１０はイヤホンあるいはスピーカにより音声
を聞くことができるように構成してもよい。

【００２６】図２はプロジェクタ５、ミラー６、雲台７
の部分の機構を示すもので、ミラー６は台座１３に取付
けられ、台座１３は雲台７と回転座１４を介して回転自
在に連結されている。尚、雲台７は内部にモータや制御
回路が設けられているものとする。１５は投影される映
像の光軸であり、雲台７の回転中心である。尚、プロジ
ェクタ５、雲台７はそれぞれ固定されている。

【００２７】図３はシステムの電気的な構成を示すブロ
ック図である。２１はＣＰＵで、全体の制御を行う。２
３はハードディスク、２２はハードディスクコントロー
ラで、ハードディスク２３内のデータ、プログラム等の
入出力制御を行う。２４はキーボード、２５はマウス
で、ＣＰＵ２１へプログラムの開始などの指示を出す。
２６はＲＡＭでプログラムやデータを格納する。２７は
通信回線インターフェースＡで雲台７の制御信号等を通
信する。２８は通信インターフェースＢで、ヘッドマウ
ントディスプレイ２と通信する。２９は映像データを格
納するビデオＲＡＭ、３０は表示コントローラで、ビデ
オＲＡＭ２９の映像データをスキャンコンバータ４に出
力する制御を行う。３１は映像を表示するモニタであ
る。

【００２８】次に上記構成による動作について図４のフ
ローチャートを用いて説明する。キーボード２４又はマ
ウス２５からプログラム実行開始の要求があると、ＣＰ
Ｕ２１はハードディスクからプログラムをＲＡＭ２６上
に読み込み実行を開始する。まずステップＳ１で３次元
仮想空間を表現するモデルデータをハードディスク２３
よりＲＡＭ２４上に読み込む。次にステップＳ２で、例
えば仮想空間内の視線位置を所定のスタート位置に設定
する等の初期化処理を行う。次にステップＳ３で通信イ
ンターフェースＡ、Ｂ２７、２８を通じて初期化信号を
雲台７、ヘッドマウントディスプレイ２に送ってこれら
を初期化する。

【００２９】次にステップＳ４では、最初の映像を生成
するためにＣＰＵ２１がＲＡＭ２６上にロードされてい
る３Ｄデータに対してレンダリング処理を施す。レンダ
リングの方法に関しては公知であるのでここでは詳述し
ない。レンダリングされた映像はステップＳ５で表示コ
ントローラ３０、スキャンコンバータ４を経由してヘッ
ドマウントディスプレイ２、モニタ３１に送られてそれ
ぞれ表示されると共に、プロジェクタ５に送られ、ミラ
ー６を介してスクリーン８に投影されて表示される。そ
してステップＳ６で、キーボード２４又はマウス２５か
ら終了の指示があるか否かを調べ、指示があればステッ
プＳ７で終了処理を行って、１回の操作を終了とする。

【００３０】終了の指示がない場合は、ステップＳ８に
進み、ヘッドマウントディスプレイ２から操作者３の視
線を検出した視線位置情報を読み込む。次にステップＳ
９で、読み込まれた視線位置情報に基づいて、３次元仮
想空間内の視点位置を幾何学的方法や透視法等を用いて
算出する。次にステップＳ１０で、上記算出された位置
に３次元仮想空間内の視点位置を移動する。そしてステ
ップＳ１１で、上記ステップＳ８で読み込んだ視線位置
情報とその前に読み込んだ視線位置情報（最初は原点）
とからミラー６（雲台７）の回転角、即ちパンニング角
度及びチルト角度を算出し、算出した値に応じてミラー
６（雲台７）を動かすための制御信号を通信インターフ
ェースＡ２７を通じて雲台７に送る。これによって雲台
７が回転して、スクリーン８上の映像９は操作者２の視
線の移動及び方向に同期して移動させることができる。

【００３１】この場合、本実施の形態では、スクリーン
８上に投影される映像は、ミラー６（雲台７）のパンニ
ングによって回転することになる。図５において、スク
リーン８中央の映像Ａをホームポジションとすると、ミ
ラー６が左右に回転すると映像Ｂ、Ｃは映像Ａを回転し
たものとなる。これは映像を投影するプロジェクタ５を
固定しているために起こる現象である。従って、プロジ
ェクタ５を直接雲台５に乗せて回転させるようにするこ
とにより、スクリーン８上で映像が回転することをなく
すことができる。但し、その場合、雲台５に設けるモー
タがプロジェクタ５の重量に耐える程の強力な、従って
高価なモータを用いる必要がある。また、モータの回転
スピードもそれ程速くすることができないという短所が
生じる。

【００３２】尚、本実施の形態は、プロジェクタ５の光
軸の中心（雲台５のパンニング中心）から同心円上にス
クリーン８を張って映像を観察する場合である。

【００３３】図４のステップＳ１１が終了すると再びス
テップＳ４に戻り、新たな３次元仮想空間内の視点位置
で映像を描画すべく再びレンダリングを行う。以上の動
作を繰り返して行うことにより、操作者２の視線位置に
同期してスクリーン８上に投影する映像を移動するの
で、他の観察者１０が操作者３の仮想的な３次元空間内
をウォークスルーしていく様子（スクリーン映像）と視
線位置（スクリーン上の映像位置）とを同時に観察でき
る。

【００３４】本実施の形態では、１回の制御指令による
雲台７の回転時間が１回のレンダリング時間を越えてし
まう場合、検出された視線位置情報は評価しないように
した。従って、スクリーン８に投影される位置が完全に
視線位置に一致しているわけでない。また、もし、完全
に追従できるくらいの雲台があったとしても、人間の眼
球の振れが細かく速いために観察者は酔ってしまうので
はないかと考えられる。おおよその視線位置が追従でき
ることで十分な効果が得られる。

【００３５】図６は第２の実施の形態を示すもので、図
３と対応する部分には同一符号を付して重複する説明を
省略する。本実施の形態の第１の実施の形態との相違点
はヘッドマウントディスプレイ２への第１の映像出力系
統とプロジェクタ５への第２の映像出力系統とを別系統
として異る映像を表示するようにした点である。このた
めに図６においては、表示コントローラＢ３２、スキャ
ンコンバータＢ３３から成る映像出力系統を設け、この
映像出力をプロジェクタ５とモニタ３４で表示するよう
にしている。

【００３６】その場合、ヘッドマウントディスプレイ２
で表示される第１の映像とプロジェクタ５で表示される
第２の映像とを異る映像にしたことにより、操作者３の
みが他の観察者１０とは異る臨場感を体験することがで
きる。

【００３７】図７は第３の実施の形態を示すもので、操
作者３の視線検出に応じて操作者３が聞く音声を変える
ようにした場合である。図７において、操作者３はヘッ
ドホン１６を装着してコンピュータ１で生成された音声
を聞くことができるようにしている。他の部分は図１と
同じように、コンピュータ１で生成された映像はスキャ
ンコンバータ４を介してヘッドマウントディスプレイ２
に送られることにより、操作者３が映像１１を見ること
ができる。

【００３８】図８はシステムの構成例であり、図３と対
応する部分には同一符号が付されている。図８において
は、サウンドジェネレータ３５を設け、ここで生成され
た音声を音声出力ポート３６を通じてヘッドホン１６に
送るようにしている。尚、本実施の形態では、操作者２
がそのまま体験者となる。

【００３９】次に上記構成による動作について図９のフ
ローチャートを用いて説明する。図９のステップＳ３０
１〜Ｓ３０９では、図３のステップＳ１〜Ｓ９と実質的
に同じ処理が行われる。但し、ステップＳ３０３による
初期化はヘッドマウントディスプレイ２のみに対して行
われる。

【００４０】次にステップＳ３１０では、検出された視
線位置上に３次元仮想空間内の特別なオブジェクトが無
いかどうかを判別する。これはまず、検出された視線位
置（表示映像上）から３次元仮想空間内の奥の方向に向
かってオブジェクトがあるかどうかを探し、最初に見つ
かったものをターゲットオブジェクトとする。演算方法
は幾何学演算なのでここでは詳述しない。また、見つか
ったオブジェクトに関してはあらかじめ特別なオブジェ
クトかどうかが記述されている（Ｓ３０１で読み込むモ
デルを生成するときに指定する）。もし特別なオブジェ
クトでなかった場合は、ステップＳ３１１で、もしその
モデル記述に音声を発生するものがあれば、通常通り音
を再生する。

【００４１】また、ステップＳ３１０で見つかったオブ
ジェクトが特別なモデルとして指定されていた場合は、
ステップＳ３１２で所定の音声エフェクトをかける。こ
れはＲＡＭ２６上にロードされている３Ｄ空間モデルデ
ータから対象のオブジェクト記述部分を探しだし、その
中に記述されている音声エフェクトの識別子を取得す
る。かけるエフェクトの内容は識別子ごとに別途ＲＡＭ
上にロードされている。本実施の形態での音声エフェク
トとしては、音量を大きくする、音質を変化させる、位
相を変化させる、の３種類を用意してあり、それぞれの
変化させる度合いが記述されている。このエフェクトの
内容に応じて、通常再生すべき音声に対してエフェクト
をかけて再生する。音声エフェクトをかけるための演算
方法は公知の信号処理なのでここでは詳述しない。

【００４２】次にステップＳ３１３で対象のモデルに対
してエフェクトをかける。これは音声と同様にモデルエ
フェクトが記述されており、そのエフェクトを対象モデ
ルに対してかける。例えば本実施の形態で用いたエフェ
クトとしては、そのオブジェクトを回転する、膨張／退
縮を繰り返す、振動する、透明度が変化する、所定の方
向に伸び／縮みする、穴があく、爆発する、霧状にな
る、溶ける、などである。オブジェクトにエフェクトを
かけるための演算方法は公知の３次元画像処理、幾何学
演算なのでここでは詳述しない。

【００４３】次にステップＳ３１４に入り、モデルのエ
フェクトに応じてレンダリンググループをかける。例え
ばオブジェクトの回転を行う場合、少しずつ回しながら
必要回数分レンダリングを行わせる。これによって映像
観察者から見ると物体が回転しているように見える。次
に、ステップＳ３１５で、視点位置をステップＳ３０９
で算出された位置へ移動する。そして新たな３次元仮想
空間内の視点位置でシーンを描画すべくレンダリングを
行う。以上を繰り返して行うことにより、操作者／体験
者が仮想的な３次元空間内をウォークスルーしていく上
で特別なオブジェクトに遭遇したとき音声と映像の双方
が変化するので、操作者（体験者）３に対して効果的な
合図等を送ることができる。

【００４４】図１０は第４の実施の形態を示すもので、
プロジェクタ５を用いてヘッドマウントディスプレイ２
と同じ映像を外部のスクリーンに投影する場合である。
即ち、ＣＰＵ２１で生成された映像は表示コントローラ
３０、スキャンコンバータ４を経由してヘッドマウント
ディスプレイ２、プロジェクタ５、モニタ３１に配送さ
れてそれぞれ映像が表示される。この場合、第１の実施
の形態のように雲台やミラーを制御するようにしてもよ
い。尚、ヘッドマウントディスプレイ２は、表示素子を
持たない前面がシースルーのものが用いられる。

【００４５】このように構成することによって、操作者
３の見る映像と視線情報とが、他の多数の観察者とスク
リーンを通じて共通に観察できるので、例えばイベント
などに用いて効果的である。

【００４６】

【発明の効果】以上説明したように、請求項１の発明に
よれば、視線の検出に応じてスクリーンに投影する方向
を変化させるようにしたことにより、デモ的な効果等の
エンターテイメント的な効果が得られると共に、スクリ
ーン全体に映像を投影しなくてもよいのでプロジェクタ
等の映像投影手段を小形にすることができる。

【００４７】また、請求項３の発明によれば、視線の検
出に応じて音声を変化させるようにしたことにより、例
えば音の変化によって操作の指示や合図等を与えたり、
また、エンターテイメント的なアートやゲーム等の分野
での効果音を得ることができる。

【００４８】また、プロジェクタの投影方向を変えるの
にミラーを設けて回転させることにより、プロジェクタ
自身を回転させるのに比べて、モータを小型にかつ回転
速度を速くすることができると共に、安価にすることが
できる。

【００４９】また、使用者が観察する映像表示手段を設
け、これを観察するときの視線を検出することにより、
使用者は他のスクリーン等の映像を観察する人々と同じ
映像を見ることができる。特に、映像表示手段を使用者
の顔面に装着するものにすれば使用者は臨場感のある映
像を観察することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示す構成図であ
る。

【図２】図１の要部の拡大側面図である。

【図３】第１の実施の形態を示すブロック図である。

【図４】第１の実施の形態の動作を示すフローチャート
である。

【図５】スクリーン上で映像が回転することを説明する
構成図である。

【図６】第２の実施の形態を示すブロック図である。

【図７】第３の実施の形態を示す構成図である。

【図８】第３の実施の形態を示すブロック図である。

【図９】第３の実施の形態の動作を示すフローチャート
である。

【図１０】第４の実施の形態を示すブロック図である。

【図１１】視線検出の原理を示す構成図である。

【図１２】視線検出の原理を示す目の正面図及びイメー
ジセンサの出力強度を示す特性図である。

【図１３】ヘッドマウントディスプレイを用いたパソコ
ンシステムを示すブロック図である。

【図１４】図１３の要部の構成図である。

【符号の説明】

１コンピュータ２ヘッドマウントディスプレイ３操作者（映像の体験者）５プロジェクタ６ミラー７雲台８スクリーン９映像１６ヘッドホン２９ビデオＲＡＭ３５サウンドジェネレータ

Claims

【特許請求の範囲】

【請求項１】スクリーンに映像を投影する映像投影手
段と、使用者の視線を検出する視線検出手段と、上記視線検出手段が検出した視線に応じて上記映像投影
手段の投影方向を制御する制御手段とを備えた表示装
置。
【請求項２】上記映像投影手段が投影する映像を反射
して上記スクリーン上に投影するミラーを回転自在に設
け、上記制御手段が上記ミラーの回転を制御することを
特徴とする請求項１記載の表示装置。
【請求項３】音声を生成する音声生成手段と、使用者の視線を検出する視線検出手段と、上記視線検出手段が検出した視線に応じて上記音声生成
手段が生成する音声の音質、音量、位相のうちの少くと
も１つを制御する制御手段とを備えた表示装置。
【請求項４】映像を表示して上記使用者が観察するた
めの映像表示手段を設け、上記視線検出手段は、上記観
察中における上記使用者の視線を検出することを特徴と
する請求項１又は３記載の表示装置。
【請求項５】上記映像表示手段は、上記使用者の顔面
に装着されるものであることを特徴とする請求項４記載
の表示装置。
【請求項６】上記映像表示手段で表示される映像を上
記視線検出手段の検出に応じて変化させるようにした請
求項４記載の表示装置。