JPH0981785A - 画像投影装置および機器制御装置 - Google Patents

画像投影装置および機器制御装置

Info

Publication number
JPH0981785A
JPH0981785A JP7259457A JP25945795A JPH0981785A JP H0981785 A JPH0981785 A JP H0981785A JP 7259457 A JP7259457 A JP 7259457A JP 25945795 A JP25945795 A JP 25945795A JP H0981785 A JPH0981785 A JP H0981785A
Authority
JP
Japan
Prior art keywords
image
head
screen
amount
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7259457A
Other languages
English (en)
Inventor
Mitsuo Sasuga
三夫 流石
Tomiyoshi Fukumoto
富義 福元
Kazuhiro Takashima
和宏 高島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP7259457A priority Critical patent/JPH0981785A/ja
Publication of JPH0981785A publication Critical patent/JPH0981785A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】 【目的】本発明の目的は非平面なスクリーンと小型の投
影機を一体化した構成で、原理的に発生する画像歪を光
学的或いは電子的に補正し、かつ三次元的な頭部の動き
検出機能を搭載することにより、従来以上に臨場感ある
画像空間を提供する小型軽量の画像投影装置を実現す
る。 【構成】投影画像を表示する非平面なスクリーンと、投
影する画像信号を生成する画像信号生成手段と、その画
像信号から投影する画像を形成する画像形成手段と、画
像形成手段によって形成された画像を投影する画像投影
手段と、画像形成手段で形成された投影画像をスクリー
ン上に結像させる投影光学系と、投影光学系とスクリー
ン及び投影画像形成手段から構成される投影光学系で生
じる歪を電子的に補正する歪補正手段と、頭部の動きを
検出する頭部動き検出手段と、頭部動き検出手段からの
検出信号により画像信号を制御する制御信号発生手段と
を具備することを特徴とする画像投影装置。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像信号を投影して、ス
クリーン上に結像させる画像投影装置に関する。また、
使用者の頭部動作を検出し、これに対応して各種機器の
制御を実行する機器制御装置に関する。
【0002】
【従来の技術】
(1) 従来、画像をスクリーンに投影する画像投影装
置は、主にスクリーンと投影装置が別々に構成されてい
る。図29から図32に画像投影装置の従来例を示す。
図29は映画館やホームシアター等で使用されている画
像投影装置の水平方向からの外観図である。301は平
面スクリーン、302は投影機で図に示すようにスクリ
ーンと投影機は正対位置に置かれる。303はこの時の
投影画像である。
【0003】このシステムは多人数を対象として大画面
で臨場感ある画像を楽しめる反面、広いスペースで照明
を消した状態での投影が必要である等、物理的な制約も
多く、かつ機器自体が大型で消費電力も大きい。
【0004】図30はプラネタリウムに見られるような
スクリーンが平面でなく、球面にして臨場感ある大画面
を投影する従来例である。この場合、球面スクリーン3
11に投影機312で画像を直接投影すると原理的に図
30(a)の投影画像に図30(c)に示すように樽型
歪が生じるため、投影画像自身にこれとは逆に予め糸巻
き歪図30(b)が生じるように電子的な補正をかける
ことにより、歪の少ない投影画像図30(d)を生成す
る従来例もある。
【0005】これに対して、個人用の投影画像装置とし
ては図29と同様な構成のハンディプロジェクタや図3
1に示すような頭部搭載型の投影装置がある。ハンディ
プロジェクタは個人用で投影機もコンパクトで投影する
スペースはさほど必要としないが、それでも大画面(4
0インチを想定)の投影には投影距離が2メートル前後
必要である。
【0006】図31は頭部搭載型の投影装置であるが、
この装置は画像自体を投影するものではない。投影機3
21で透過型のスクリーン322上に投影するのは情報
データであり、その情報データを外界の像323と別表
示あるいは重ね合わせて表示するものである。
【0007】一方、タイプが異なる個人用の頭部搭載型
ディスプレイも開発されてきている。図32はその原理
を示す図である。このタイプでは両眼の前に小型の画像
表示装置333,344を配置して、そこで表示される
画像を接眼レンズ331, 332によって拡大された虚
像335を鑑賞する。
【0008】この例は前述した例がスクリーン上に実像
を形成するのに対して、眼の調節機能を使って虚像を鑑
賞する方式であり方式的に異なるが、形状をコンパクト
に出来るという特長がある。
【0009】しかし、鑑賞中絶えず眼の調節機能を使い
続けるため、眼精疲労が大きいという問題点がある。こ
のように従来例ではスクリーン上に実像を投影する方式
で、かつ個人用の臨場感あふれる画像を楽しめる画像投
影装置は存在しない。
【0010】また、頭部搭載型の画像表示装置において
バーチャルリアリティの分野やゲーム応用の分野では頭
部の動きを検出する機能を備えた装置も開発されてはい
るが、いずれも画像表示装置としては虚像を鑑賞する方
式で、本発明で採用する実像投射型の装置は存在しな
い。 (2) また近年、頭部の動きを検出し、これに対応し
て機器を制御する装置が多くなってきた。
【0011】例えば、頭部の動きに合わせて頭部装着型
ディスプレイに表示する映像を変えるシステムや遠隔地
にあるテレビカメラの姿勢を変えるシステムなどがあ
る。このようなシステムにおける頭部の動き、あるいは
傾き角度を得る方法は、大きく以下の二方式に分類でき
る。
【0012】一つは、頭部の動き、あるいは傾き角度を
表現するための基準となる位置に信号源、あるいはこれ
に相当する装置を用意し、磁気、超音波、CCDカメラ
による映像などによって頭部の動きを検出し、その基準
点を原点として頭部の位置を絶対値として得る方式であ
り、もう一つは、頭部に装着されたヘッドセットに組み
込まれている頭部の運動、あるいは傾き角度を単独に検
出できるセンサによって、そのセンサからの出力自体、
あるいはそれに基づいた処理の結果から頭部の位置を得
る方式である。
【0013】このうち、前者の方式は、頭部の動きを絶
対値として精度よく得ることができる、使用者に非接触
で検出できることなどがあり、頭部以外の位置に基準点
用の装置の設置が必要である、検出手段(磁気、光、
音、映像など)によっては、基準点と頭部の間、あるい
はその周辺に、それを遮るもの、あるいは影響を与える
ものがあってはならない、頭部の位置を基準点との位置
関係から得るために画像処理、磁界検出などの処理が必
要でこれに時間がかかることなどがある。
【0014】一方、後者の方式には、位置検出の精度が
比較的低いが、検出速度は速い、検出に際して使用環境
に影響されにくく、影響を与えにくい、また使用者はヘ
ッドセットのみを取扱うだけでよい、つまり装置規模を
小型化できるなどの特徴がある。
【0015】
【発明が解決しようとする課題】
(1) 以上述べてきたように、従来のスクリーンに実
像を投影する画像投影装置では臨場感あふれる大画面を
投影するためには広いスペースが必要であり、かつ装置
自体が大型になる傾向がある。
【0016】また、現在一般家庭用も製品化されている
が、ある程度のスペース、あるいは投影上の制約から個
人が手軽に臨場感あるれる画像が楽しめるようなコンパ
クトなものではない。
【0017】また、虚像を鑑賞する方式の頭部搭載型の
表示装置は形状的にコンパクトになるが眼の調節機能を
絶えず使う為、眼精疲労が著しいという問題がある。 (2) 図36にヘッドセット10に組み込まれた速
度、あるいは加速度、あるいは角速度、または傾斜角な
どの一動作方向の頭部動作を単独に検出できるn個のセ
ンサ101〜10nによって頭部の動きを単独に検出す
る方式の従来例を示す。このような構成の装置では、最
初に設定した頭部の位置からの相対値として傾き角度を
信号処理部によって順次得ていき、この値を基に制御対
象機器1の制御を実行する。
【0018】しかしながら、このような従来の構成で
は、頭部の傾きを表すための基準となる使用者の基本姿
勢が明確には規定されていないため、旋回角度(ヨー
角)、前後屈角度(ピッチ角)、左右屈角度(ロール
角)からなる傾き角度に体系的に変換することが困難で
ある。なぜなら、最初に設定する頭部の位置によって傾
き角度を得る原点および空間座標軸が異なってしまうか
らである。
【0019】また、頭部に装着されたヘッドセット10
に組み込まれる速度、あるいは加速度、あるいは角速
度、または傾斜角などの一動作方向の頭部動作を単独に
検出できるn個のセンサ101〜10nには、同一の運
動を行っても、その動作が行われたときの頭部の位置状
態の違いによって出力が異なる場合、あるいはドリフト
によって出力が経時変化する場合がある。
【0020】さらに、複数個のセンサ101〜10nを
用いると、ある方向の頭部の動作に対してそれを検出す
るため以外のものが反応することがある。さらに、傾き
角度を得るために行う演算処理上の誤差、あるいは量子
化誤差などが累積することによって、常に正しい傾き角
度が得られると限らない。加えて、この種の装置を長時
間使用する場合には、軽量化したとしても一般的なヘル
メット程度の重量のあるヘッドセット10を装着して頭
部を動かすこと、さらにはディスプレイに表示された映
像、あるいは装置自体の動作状況などを凝視し続けるこ
とが必要なことから使用者が意識する、しないにかかわ
らず生理的、あるいは心理的な負担が大きくなってしま
う。
【0021】本発明の目的は、上記のような問題点を鑑
み、まず、頭部の動きを単独に検出するセンサによって
正確な動きを得ること、さらに頭部の傾き角度を体系的
に得るための使用者の基本姿勢を規定し、そのときの位
置を基準量として保持すること、またこの基準量を保持
するタイミングも規定し、この基準量に基づいて頭部の
傾き角度を安定して得つづけること、加えて装置の使用
時間を制限する手段を有することによって、取扱いが容
易で、使用者の身体への負担の少ない、快適な操作性の
頭部動作検出による機器制御装置を提供することにあ
る。
【0022】
【課題を解決するための手段】本発明は、投影すべき画
像を表示するための非平面なスクリーンと、このスクリ
ーンに投影する画像信号を生成するための画像信号生成
手段と、この画像信号生成手段で生成した画像信号に歪
を加える歪補正手段と、この歪補正手段によって歪を加
えられた画像信号から前記スクリーンに投影すべき画像
を形成する画像形成手段と、この画像形成手段によって
形成した画像をスクリーン上に投影するための画像投影
手段と、この画像投影手段によってスクリーン上に投影
された画像を結像させる投影光学系とを具備することを
特徴とする。
【0023】また、投影すべき画像を表示するための非
平面なスクリーンと、頭部の動きを検出する頭部動き検
出手段と、この頭部動き検出手段によって検出した頭部
の動きにより前記スクリーンに投影する画像信号を生成
するための画像信号生成手段と、この画像信号生成手段
で生成した画像信号に歪を加える歪補正手段と、この歪
補正手段によって歪を加えられた画像信号から前記スク
リーンに投影すべき画像を形成する画像形成手段と、こ
の画像形成手段によって形成した画像をスクリーン上に
投影するための画像投影手段と、この画像投影手段によ
ってスクリーン上に投影された画像を結像させる投影光
学系とを具備することを特徴とする。
【0024】
【作用】
(1) 本発明は上述したように高倍率な投影光学系
と、小型で非平面なスクリーンを一体化し、かつ頭部の
三次元的な動きを検出する機能を搭載することにより、
眼精疲労が少なく、従来以上に臨場感ある画像を提供す
る頭部搭載型画像投影装置を実現する。
【0025】頭の上部に置いた小型の画像投影装置から
投射された投影画像を顔の前方に配置した広い視野角を
持つ非平面なスクリーン上に投影すると共に、頭部の三
次元的な動きを動き検出機能によって検出し、画面を制
御することにより臨場感ある画像空間を実現できる。 (2) また、本発明の頭部動作検出による機器制御装
置は、上記構成および手段によって、正確な頭部の動き
による動作量を得ること、さらに頭部の傾き角度を規定
するための使用者の姿勢を規定し、このときの動作量を
規定されたタイミングで基準量として保持することによ
り、この基準量と動作量から頭部の動きを単独に検出す
るセンサによって傾き角度を安定して得ることができ
る。
【0026】その上、装置の使用経過時間、あるいは使
用者のまばたきの回数の増加率、あるいは閉眼継続時間
に基づき装置の使用時間を制限して使用者の身体への負
担が大きくなりすぎないようにできる。
【0027】
【実施例】
(実施例1)図1に本発明請求項1の実施例を示す。画
像信号はまず画像生成手段16において画像形成手段1
3に表示可能な信号形態に変換される。この画像生成手
段は外部からの画像入力に対して変換することも可能で
あるし、また、自身で画像を蓄積し、それに対して変換
することも可能であるものとする。そして変換後、歪補
正手段15に入力される。通常、入力される画像信号は
幾何学的な歪は全く含まれていない。
【0028】従来の投影装置での投影(投影機とスクリ
ーン が正対している場合)では投影レンズ自体が持つ
わずかな歪を除けば、幾何学的な歪が生じないため問題
はなかったが、本発明ではスクリーンと投影機(以下図
1の構成要素11〜16をまとめた総称として用いる)
は構成上、正対の位置関係にないため、原理的に幾何学
的な歪が発生する。この歪補正手段ではスクリーンと投
影機との位置関係によって生じる歪とは逆特性の歪を画
像生成手段によって生成した信号に印加して投影画像の
歪を軽減する。
【0029】ここで歪補正された画像信号は画像形成手
段13で投影画像に変換される。画像形成手段で形成さ
れた画像は、画像投影手段14と高倍率の投影レンズ1
2によって非平面なスクリーン11に臨場感ある画像と
して投影される。
【0030】また、これとは別に頭部に搭載した頭部動
き検出手段では頭部の三次元的な動きを検出して、制御
信号発生手段にて頭部の動きに対応した制御信号を発生
させ、これによって画像生成手段で生成する信号自身を
変化させれば、よりインタラクティブで臨場感ある画像
空間を生成することが出来る。
【0031】図2は本発明による頭部搭載型画像投影装
置を装着した状態を示す。ここでは図を簡単にするた
め、図1における12〜16を画像投影部23、また、
17、18を動き検出部24として表現する。この図か
ら明かなように従来の投影装置に比べ、非常にコンパク
トでありながら臨場感ある画像を楽しむことが出来る。
【0032】図3は具体的な画像の補正の様子を示した
図である。図3(a)は歪のない画像、図3(c)は歪
補正なしの状態で非平面なスクリーンに対して斜め上か
ら投影した場合の画像であり、入力画像にこれとは逆特
性の歪図3(b)を加えることにより最終的に歪の少な
い投影画像図3(d)をスクリーン上に形成する。
【0033】本発明ではスクリーンの形状を非平面とす
るが、従来の平面スクリーンに対しての特長を図4を用
いて説明する。ここでは非平面スクリーンとして球面を
例にとり水平方向の図で説明するが、垂直方向に関して
も同様なことがいえるので省略する。
【0034】図4で41は平面スクリーン、42は球面
スクリーン、43は頭の上部に配置した投影機を示す。
この図4で投影機からスクリーンまでの距離をd(m) 、
投影レンズの半画角をθ(rad) とすると、投影に必要な
水平方向な長さは平面スクリーンと球面スクリーンでそ
れぞれL1、L2とするとほぼ次式で求められる。
【0035】
【数1】 で求められる。上式より明かなようにθ《1においては
tan θ=θと置けるが、θが増加するに従ってL1》L2と
なる。
【0036】例えばd=1(m) で画角が90度(θ=π
/2)ではL1=2(m) 、L2=1.57(m) となり、球面スク
リーンと同一画角を平面スクリーンで実現しようとする
と、30%近く大きくする必要がある。画角を大きくす
れば、この差はさらに広がる。また平面スクリーンの投
影の場合、従来例と同様に投影機とスクリーンを別にす
る場合には投影時に周りの照明を消すなどして暗くする
必要がある。
【0037】また、平面スクリーンと投影機を一体化す
るとかなり大型になってしまう。本発明のように非平面
なスクリーンと投影機を一体化すれば、周囲に影響を与
えず(影響を受けず)に投影することが出来、かつスク
リーン以外は視野に入らないため投影画像に没頭するこ
とが出来る。ただ、構成的に画面の周辺にいくほど歪が
大きくなるが、本発明ではこの歪を考慮した補正信号を
画像信号生成手段からの信号に加えることにより歪が少
なく、かつ臨場感あふれる画像を楽しむことが出来る。
【0038】本発明の他の実施例を図5に示す。51は
匡体内部に形成された非平面なスクリーン、52は投射
光学系、53は画像形成手段、54は投影機本体、55
は後側被写界深度、56は前側被写界深度、57は投影
機からスクリーンまでの平均的な距離の延長した線、5
8は投射レンズの光軸に対して垂直な軸の延長線、59
は画像表示装置の軸の延長線である。
【0039】本実施例では57、58、59の3つの延
長線が一点Pに集まるように傾けた配置にし、この状態
で投影光学系の被写界深度内におさまるような構成をと
る。
【0040】このような関係にすると、シャインプルフ
の法則により投影スクリーンの平均的な面に対して被写
界深度に依らず全面にピントを合わせることが出来る。
本発明ではスクリーンが平面でない為、スクリーン全体
にピントを合わせる為には光学系の被写界深度に頼わざ
るを得ないが、図6に示すように従来の投影機とスクリ
ーンの位置関係をそのまま適用する場合(スクリーンと
投影光学系と画像形成手段が平行な関係)に比べ、スク
リーン全体にピントを合わせるのに必要な被写界深度を
浅くすることが出来る。被写界深度は概略的にレンズの
F値に比例することから、被写界深度を浅く出来るとい
うことは投射レンズ自体のF値を小さく出来ることにな
る。このことは画像を投影する光源の光量を有効に使え
ることを意味する。これは、同一の投影画像の明るさを
得るための光源の電力を従来よりも少なく出来、省電力
化にもつながる。本実施例によれば、より明るくピント
のあったクリアな投影画像を得ることが出来る。
【0041】図7〜図9は本発明の変形例を説明する図
である。図7は光学系の基本的な投影倍率の関係を示
す。71は投影像、72は投影レンズ、73は画像形成
手段による像である。
【0042】この時の投影倍率は投影レンズの主点から
投影像までの距離をs1、s2、s3、主点から画像投影手段
の像までの距離をs ′1 ,s ′2 ,s ′3 とすると、画
面端と画面中心では次式で表せる。
【0043】
【数2】 これは、投影レンズに正対した平面スクリーンでの投影
ではm1=m2=m3となり一様な倍率になるが、スクリーン
と投影レンズが正対しない場合や、正対してもスクリー
ンが平面でない場合は投影画面内の倍率は一様にならな
いため、歪が生じる。
【0044】図8は本発明の変形例の水平断面である。
81は投影画像の歪を低減するために非球面化したスク
リーン、82は曲率半径が一定な球面上のスクリーン、
83は画像形成手段、84は投影機である。82のスク
リーンの場合、図7同様に球面スクリーンでの投影倍率
を定義すると、m2>m1、m3となり、図より明かななよう
に画面中心部に比べ画面周辺部では投影倍率は著し減少
する。
【0045】この結果、投影画面には樽型歪が生じ画質
が著しく劣化する。この場合、中心部に比べ周辺部の倍
率が低いため周辺部の画像の倍率を電子的に上げること
で歪を補正することも可能ではあるが、電子的な補正で
は画質劣化を抑えるためには複雑な処理が必要となり、
リアルタイム処理が必要な動画等の投影には適さない。
【0046】本発明の特徴は電子的な歪補正による投影
画像の画質が許容限界内に入るようにスクリーンの曲率
を連続的に変化させる。図8では視覚的に許容できる歪
の範囲の水平画角をθHとすると、それ以外の(θH〜
θ)が画像歪の補正領域となる。この範囲での補正は画
面中心倍率に比べ低いため、倍率を上げる(拡大)操作
が必要である。この補正を電子的な補正で画質が許容で
きる範囲は電子的補正のみで行い、それ越える範囲につ
いては電子的補正の他にスクリーン形状による補正とを
組み合わせて補正を行う。図8では補正領域での補正が
電子的な補正領域を越えている場合であり、補正領域で
のスクリーン形状を破線で示すように連続的に変化させ
る。これにより、スクリーン形状による投影画像の周辺
部の倍率は次のように変化する(スクリーン形状は左右
対称であるのでm1=m3)。
【0047】
【数3】 となり、球面スクリーンに比べ周辺部の倍率は増加し、
中心部の倍率との差は減少する。この結果、スクリーン
形状による歪補正を行った上で電子的な補正を施すこと
により投影画像の歪を許容範囲内に抑えることが出来
る。
【0048】図9は本発明を垂直方向に適用した図であ
る。91は歪を軽減するために非球面化したスクリー
ン、92は球面スクリーン、93は画像形成手段、94
は投影機である。投影機とスクリーンとの関係は水平方
向に関しては左右対称であるが、垂直方向に関しては投
影機を頭上に配置する関係上、画面上半分と下半分では
歪特性が逆になるため曲率半径の変化も互いに逆にな
る。上半分では画面中心に対しては投影レンズとスクリ
ーン間の距離が短く、倍率が低くなるため倍率を上げる
ように球面スクリーンの曲率半径よりも距離が大きくな
るように非球面化し、下半分ではこれとは逆に倍率を抑
えるように球面スクリーンの曲率半径よりも距離が短く
なるように非球面化をおこなう。この場合も水平方向同
様、非球面化する曲率はさらに電子的な補正をかけた後
の投影画像の歪が許容範囲内に納まるように設定する。
このように電子的な歪補正を考慮して、スクリーンの曲
率半径を非球面化することにより、コンパクトで歪の少
ない画像投影装置を実現することが出来る。
【0049】図10、図11は本発明の別の変形例を説
明する図である。ここでは本発明の垂直断面を例にとっ
て説明する。111は非平面なスクリーン、112は投
影レンズ、113は画像形成手段、114は歪補正手
段、115は画像入力手段である。この場合、投影レン
ズとスクリーンとの距離は投影画面の中心を基準にとる
と上半分では距離が短く、下半分では距離が長くなる。
【0050】従って、投影画面は上から下にいくにつれ
て投影倍率は増加の一途を辿り、画面上端と下端では著
しい歪が生じる(図11(a))。 この歪の補正に関
しては電子的な補正、或いはスクリーンの非球面化によ
る補正が有効なことは上述した通りであるが、本実施例
ではさらに投影レンズ自身の特性に投影光学系で発生す
る歪とは逆特性の歪を与えることにより投影画像の歪を
低減する。本実施例では投影レンズに図11(b)のよ
うな糸巻き歪を予め持たせることにより、結果的に図1
1(c)に示すように投影画像の歪を低減する。このよ
うに投影レンズでも歪の補正を行うことにより電子的な
補正、及びスクリーンの非球面化による補正の負担を軽
減出来るため、簡単な構成で歪の少ない頭部搭載型画像
投影装置を実現することが出来る。
【0051】図12は本発明の他の変形例を示す。この
実施例ではスクリーンに画像を投影する投影レンズとは
別に歪補正を行う光学系を設けている。図で131は非
平面なスクリーン、132は投影光学系、133は歪補
正光学系による倒立実像面、134は歪補正光学系、1
35は画像形成手段、136は歪補正手段、137は画
像信号生成手段、138はスクリーンの平均的な結像面
である。
【0052】まず、投影光学系のみでは図13(a)
に示すような歪が生じてしまう。この場合、画面下方に
いくに従って光学系とスクリーンとの距離が大きくなる
ため垂直方向の倍率は増加する。そしてそれと共に水平
方向にも曲率を持つため、図のような非線形な歪が生じ
る。この歪は次のように説明出来る。曲面のスクリーン
に対しての平均的な結像面を仮定して倍率を概算すると
画面最上部と最下部での倍率は、(図で示す歪補正光学
系による倒立実像面に対するスクリーン 上の投影画像
の倍率)
【0053】
【数4】 ここでmd>muであるために歪が生じている。従ってこの
アンバランスさを補正光学系で補い、トータルの倍率の
差が小さくなるようにすれば、歪は大幅に低減出来る。
【0054】そのためには、歪補正光学系と画像形成手
段を図12のように配置する。図の関係において、画像
形成手段で形成される画像に対する歪補正光学系によっ
て形成される倒立実像面の最上部倍率と最下部倍率は、
【0055】
【数5】 となり、歪をなくすためにはmu・mcd =md・mcu となる
ように歪補正光学系134と画像形成手段の配置を決定
すればよい。この時、補正光学系とそれによる結像面と
画像形成装置のそれぞれの延長線は1点pに集まるよう
に配置(シャインプルフの法則)することによって画面
全体にピントを合わせることが出来る。
【0056】図13(b)は補正光学系単体の歪特性で
ある。光学系の特性を厳密に考慮すると、非線形な特性
となるが、ここでは単純に幾何学的な配置による歪特性
を示す。これによって電子的な補正手段136によらず
とも投影画像の歪は大幅に軽減される(図13
(c))。
【0057】また、装置の種々の制限によって倍率を厳
密に一致させることが出来なくても、この光学的な補正
により、電子的補正、スクリーン形状による補正等の負
荷を軽減することが出来る。
【0058】図14〜図17本発明の他の実施例を説明
する図である。図14(a)は従来の画像投影装置の投
影状態を示す。151はスクリーン、152は投影レン
ズ、153は画像形成手段を示す。
【0059】この時の画角に対する周辺光量比の変化を
図14(b)に示す。図14(b)に示すように周辺光
量は画角θに対してcos θの4乗に比例して低下する。
【0060】従来の画像投影装置では画角が比較的小さ
いが、投影レンズとスクリーンまでの距離を大きくする
ことによって大画面を実現していたため、必要な明るさ
を得るために光源を強くする必要はあったが、周辺光量
の低下はさほど問題とならなかった。
【0061】しかし、本発明では肉眼に比較的近い位置
に臨場感ある大画面を投影するため、必然的に投影レン
ズの画角は従来の投影レンズに比べかなり大きくなり、
周辺光量低下が画質に及ぼす影響は大きい。このため、
本実施例では画角の増加に伴う周辺光量低下を改善す
る。
【0062】図15(a)は本発明の垂直断面を示す。
161は非平面なスクリーン、162は投影レンズ、1
63は画像形成手段である。図15(b)はスクリーン
の反射率が一様な場合の周辺光量比(Iθ/I0)を示
す。図15(b)に示すように画面中心に対して上半分
(θ方向)と下半分(−θ方向)では周辺光量の低下が
アンバランスであり、かつ画角を大きくすると低下量と
アンバランスさが増加して画質を著しく劣化させる。
【0063】図16(a)は本発明の垂直断面を示す。
171は非平面なスクリーン、172は投影レンズ、1
73は画像形成手段である。図16(b)はスクリーン
の反射率が一様な場合の周辺光量比を示す。この場合も
垂直断面と同様に画角によて周辺光量が大きく低下する
ため、画質が大きく劣化する。
【0064】以上述べたように、非平面なスクリーンの
反射率が一様なままでは画面と投影位置によって周辺光
量の劣化が著しい。本実施例では、スクリーンの反射率
を投影箇所によって変化させることによって周辺光量の
低下による画質劣化を提言させる。
【0065】図17はスクリーンの反射率を投影箇所に
よって連続的に変化させることによって、周辺光量の低
下を許容範囲内に抑える例である。図17(a)〜
(c)は図15の垂直断面に適用した例である。図17
(a)はスクリーンの反射率が一様な場合の周辺光量
比、図17(b)は周辺光量比の低下を低減するために
連続的に変化させたスクリーンの反射率、図17(c)
は補正後の周辺光量比である。このように光学系の周辺
光量比の低下とは逆特性をスクリーンの反射率に持たせ
ることにより、画質を大幅に改善出来る。
【0066】以下に、本発明に搭載する動き検出機構の
実施例について説明する。まず、図18を用いて説明す
る。本発明で説明する頭部搭載型画像投影装置は、それ
自体独立に頭部の動きを検出する機能を有している。従
って、内部に装着時に基準となる状態量を設定し、それ
に対する動き検出センサ出力の変化を感知することによ
り、頭部の動きを検出する。
【0067】従来、動き検出機能を有するバーチャルリ
アリティシステムやゲームセンター等では動き検出を磁
気センサを用いて行ってきた。これはソース(直交コイ
ル)で発生させた磁界中にセンサ(直交コイル)を置く
とセンサに電流が誘起され、これを検出することで状態
量の位置、角度を検出する。この方式は精度よく動きが
検出される反面、原理的に動きを検出するセンサとは別
に固定のソース部分が必要であり、装置自体が大型でか
つ、価格的にも高価になるというデメリットがある。
【0068】本発明に搭載する動き検出機能はそれ自体
で独立し、かつ実用上問題のない動き検出を低価格なシ
ステムで実現することを目的としている。図18は装着
状態を検知して基準値を初期設定して動き検出動作に入
るまでのフローチャートを示す。図のような動作を行
い、装着時の各動き検出センサの状態を初期値として設
定し、以後は初期値からの変位量によって頭部の動きを
検出することにより、単体で自立した動き検出機能を実
現するこが出来る。
【0069】図19は本発明を説明する図である。本発
明は従来の画像投影装置とは異なり、投影装置の他に頭
部の動き検出機能も搭載している。頭部の動きは図19
に示すように大きく次の3つに分けられる(a:頭部左
右方向の傾き,b:頭部前後方向の傾き,c:頭部の水
平方向の回転)。
【0070】従って、この3つの動きを検出することに
よって、頭部の3次元的な動きは検出できる。本実施例
ではこの動き検出手段として、a,bに関しては傾き角
検出センサを用い、cに関しては角速度検出センサによ
って動きを検出する。
【0071】図20は各々のセンサの取付状態を示す。
211は頭部の左右方向の傾きを検出する傾斜角セン
サ、212は頭部水平方向への回転を検出する角速度検
出センサ、213は頭部前後方向の傾きを検出する傾斜
角センサである。211と213は同じ傾斜角センサで
あるが、角度の検出感度が互いに90度ずれた状態で最
大となるように配置する。
【0072】図20では各々の傾斜角センサがx,y軸
上に配置されているが、これは必ずしも軸上である必要
はなく同一平面上で各々がx軸,y軸に平行でかつ、互
いに検出方向が90度すれた状態に配置されていれば問
題はない。角速度センサについてはほぼ頭部の回転中心
の位置に配置し、水平方向の回転を検出する。
【0073】図21は、図20に示すように、各センサ
を配置した場合の検出角度と出力との関係を示す。図2
1(a)は傾斜角センサ211に対応する検出角度と入
出力特性、図21(b)は角速度センサ212に対応す
る検出角速度と入出力特性、図21(c)は傾斜角セン
サ213に対応する検出角度と入出力特性である。各々
のセンサは正負の角度あるいは角速度に対して線形の入
出力関係を示すので、これらのセンサ出力から容易に頭
部の三次元的な動きを検出することが出来る。
【0074】また、角速度センサについては出力をその
まま示したが、傾斜角センサと同様に角度を検出する場
合には、初期設定を行った後、それに対して角速度セン
サ出力を積分すれば角度(状態量)を求めることが出来
る。
【0075】本発明の実施例を図22〜図25を用いて
説明する。図22は本実施例で使用する頭部の水平方向
の回転を検出する角速度センサの回転軸がずれた場合の
入出力特性を示す。図に示すように回転軸(この例では
z軸)に対して角度θだけ傾斜した場合の出力電圧E0は
傾斜角が増加するに従って著しく減少する。本発明で提
案する頭部搭載型画像投影装置では、装着する人によっ
て装着状態は千差万別であり、装着者によって回転中心
がバラバラになる可能性がある。このため、角速度セン
サ1つで全ての範囲をカバーしようとすると、場合によ
っては頭部の動作検出感度が著しく劣化する可能性があ
る。
【0076】ここでは、この動作検出感度の劣化を防止
するために頭部水平方向の回転角速度を検出する角速度
センサを複数個配置して装着者の回転中心に一番近い角
速度センサを用いて回転動作を検出する。
【0077】図23に複数個の角速度センサの配置状態
を示す。図は本発明の頭部搭載型画像投影装置を背面か
ら見た図である。この実施例では角速度センサを3個配
置した例を示す。図中242、243、244は回転軸
を角度θずつ傾斜させた位置に配置した角速度センサで
ある。配置する位置は左右方向については中心軸245
を移動するものとする。それぞれの角速度センサは互い
に動き検出の感度が許容限界内になる傾斜角度θおきに
配置する。
【0078】図24は各センサの傾斜角に対する感度を
示す。図からわかるように各センサの感度のピークが傾
斜角θ毎に現れるため1つの傾斜角センサでの検出に比
べ、広範囲で一様な感度での検出が可能となる。
【0079】図25を用いて本実施例の動作の流れを説
明する。まず、本発明の画像投影装置を装着し、頭部を
水平に回転させた時に回転軸が異なる複数個の角速度セ
ンサからの出力261、262、263を出力比較手段
264で比較し、その中で出力が一番大きいセンサをセ
ンサ指定手段265で指定し、それ以後の動き検出に関
しては指定されたセンサ出力を用いて行う。このように
することにより、広範囲な装着状態に対して一様な動作
検出が可能となる。
【0080】図26の実施例では頭部の動きを検出する
ために3個の角速度センサを使用する。図26に角速度
センサの取付け位置を示す。271はZ軸を中心とした
回転、272はY軸を中心とした回転、273はX軸を
中心とした回転を検出する。
【0081】本実施例では回転によって全ての頭部の動
きを検出するため、センサの取付け位置は回転軸か或い
は回転軸から検出感度が許容できる範囲内に置く必要が
ある。このようにすることによって頭部の3次元的な動
きを検出することが出来る。ここで用いる角速度センサ
はそのままの出力では動きに対する変化量のみを検出す
るため、用途によって状態量として検出する場合にはセ
ンサ出力を積分することによって状態を検出することも
可能である。この例においても同様に装着時にセンサか
らの出力を初期値として記憶し、以後この初期値からの
変化量によって動き検出を行うことにより、単体で独立
した動き検出機能を実現することが出来る。
【0082】図27、図28の実施例を示す。図27
(a)は、その一実施例を示す。頭部動き検出手段から
の出力で視野変化変換手段で視野変化を検出した後、制
御信号発生手段を介して画像信号生成手段で生成される
画像信号のうちで視野に相当する範囲を投影画像として
選択する。図27(b)は画像信号生成手段で生成され
る画像信号の表示可能範囲283で視野に相当する画像
表示範囲284,285,286を示す。ここでは画像
生成手段で生成される画像範囲は視野に相当する画像表
示範囲を十分カバーできるように非常に画角の広いもの
とする。
【0083】これに対して視野に相当する画像表示範囲
は正面を向いている場合には284を表示する。そして
頭部を動かして頭部動き検出手段が左斜め上を向いてい
る場合には、視野変化変換手段によって285の範囲を
スクリーン281上に投影する画像として選択する。同
様に頭部の動きが右斜め下を向いていると判断した場合
には286の画像表示範囲を選択する。このようにすれ
ば頭部の動きによって視野に相当する画像を容易に切り
替えることが出来れば、臨場感ある画像を楽しむことが
出来る。
【0084】図28(a)はもう一つの実施例を示す。
図27では画像の表示範囲を画像信号生成手段を用いて
視野によって切り替えたが、この実施例では画像の信号
源を外部から供給する画像発生装置に直接視野変化に関
連する制御信号を入力し、入力画像自体を変化させる方
式である。図28(b)は頭部の動き検出によって切り
替える表示画像を示す。293は正面を向いている状態
での投影画像表示範囲、294は左斜め上を向いたと判
断した時の投影画像範囲、295は右斜め下を向いたと
判断した時の投影画像表示範囲である。
【0085】この方式では外部の画像発生装置で入力画
像を生成させるため、本発明の画像投影装置は簡単な構
成でよく、また画像発生装置として処理能力の高いコン
ピュータ等を用いれば、かなり高度なバーチャルリアリ
ティ空間を実現することも可能である。
【0086】実施例1をまとめると、以下のようにな
る。 1、頭部に装着する画像投影装置において、投影画像を
表示する非平面なスクリーンと、投影する画像信号を生
成する画像信号生成手段と、その画像信号から投影する
画像を形成する画像形成手段と、画像形成手段によって
形成した画像をスクリーン上に投影するための画像投影
手段と、画像形成手段で形成された投影画像をスクリー
ン上に結像させる投影光学系と、投影光学系とスクリー
ン、及び投影画像形成手段から構成される投影光学系で
生じる歪を電子的に補正する歪補正手段と、頭部の動き
を検出する頭部動き検出手段と、頭部動き検出手段から
の検出信号により画像信号を制御する制御信号発生手段
とを具備することを特徴とする。 2、前記スクリーンが投影光学系の被写界深度内に入る
ようにスクリーンに対して画像形成手段、及び投影光学
系を傾けることを特徴とする。 3、前記スクリーンの曲率半径は、投影光学系で発生す
る歪を低減するために投影箇所において連続的に変化さ
せることを特徴とする。 4、前記投影光学系の投影レンズは、投影光学系によっ
て生じる歪と逆特性の歪曲収差をもつことを特徴とす
る。 5、前記歪補正手段は、投影光学系とは別に設けた歪補
正光学系により投影光学系の歪とは逆特性の歪を投影画
像に加えて歪を補正することを特徴とする。 6、前記スクリーンの反射率は投影光学系の周辺光量の
低下を補正するように投影中心から画面周辺にいくにつ
れて増加させることを特徴とする。 7、前記動き検出手段は、本発明画像投影装置を装着時
の状態を初期値として記憶し、以後はその初期値からの
変化を検出することで頭部の動き検出動作を行うことを
特徴とする。 8、前記頭部動き検出手段は二軸の傾斜角検出センサと
一軸の回転角速度センサを用いて、頭部の三次元運動を
検出することを特徴とする。 9、前記頭部動き検出手段における頭部の水平方向の回
転の検出は、頭部左右中心軸上に配置された複数の角速
度センサの中で装着者の頭部の回転運動に対して一番出
力の大きい角速度センサを選択し、水平方向の角度を検
出することを特徴とする。 10、前記頭部動き検出手段は、互いに直交する3軸の
回転運動を検出する3個の角速度センサーにより頭部の
三次元運動を検出することを特徴とする。 11、前記画像信号を制御する制御信号発生手段は、頭
部の三次元運動による視野の変化を投影画像に対して行
わせることを特徴とする。 (実施例1の効果)上述したように、本発明は構成上発
生する幾何学的な歪を電子的或いは光学的な補正を施す
ことにより、眼精疲労が少なくかつ小型軽量でありなが
ら、大画面が楽しめ、さらに搭載している頭部動き検出
機能によって臨場感ある画像空間を生成する画像投影装
置を実現する。 (実施例2)以下、図面に基づいて本発明の実施例を説
明する。
【0087】図33は、本発明に係わる実施例の構成を
示したブロック図の一例である。本実施例の頭部動作検
出による機器制御装置は、速度、あるいは加速度、ある
いは角速度、または傾斜角などの一動作方向の頭部動作
を単独に検出できるn個のセンサ101〜10n、動作
量生成部342、基準量保持部343、状態量生成部3
44、変化量生成部345、動作パターンメモリ部34
6、頭部動作認識部347、制御信号生成部348、制
御実行処理部349からなり、センサ101〜10nは
動作量生成部342に接続され、この動作量生成部34
2は、基準量保持部343、状態量生成部344、変化
量生成部345に接続される。
【0088】また、基準量保持部343は状態量生成部
344に、状態量生成部344は変化量生成部345、
頭部動作認識部347、および制御信号生成部348
に、変化量生成部345は頭部動作認識部347、制御
信号生成部348に接続される。
【0089】さらに、動作パターンメモリ部346は頭
部動作認識部347に、頭部動作認識部347は制御信
号生成部348に、制御信号生成部348は制御実行処
理部349に、制御実行処理部349は制御対象機器3
41に接続される。
【0090】動作量生成部342は、図34に示すよう
なスピーカ3511、マイク3512などを備えるヘッ
ドセット3510に組み込まれた速度、あるいは加速
度、あるいは角速度、または傾斜角などの一動作方向の
頭部動作を単独に検出できるn個のセンサ101〜10
nを備え、これらの出力を、それぞれに、あるいは組み
合わせて動作量と呼ぶ量に順次変換する。この動作量と
は、図35に示すように動作量生成部342によって、
例えば、直交する3軸方向のそれぞれの移動速度を検出
できるようにヘッドセット3510に設置された3つの
センサ101〜103からの出力をVx、Vy、Vzと
すると、ある時刻tにおける動作量Mは、それぞれ単独
に動作量a14のように、
【0091】
【数6】 と規定、あるいは必要に応じてこれらを組み合わせて動
作量b15のように、
【0092】
【数7】 と規定されるセンサの出力に基づく頭部動作を表現する
量である。前者の動作量a14ようにそれぞれのセンサ
101〜103の出力を個々の動作量として扱うと、処
理をそれぞれ独立して行えるため回路構成を単純にでき
る。これは、図69に示す従来例でも行われている処理
である。
【0093】本発明では、さらに、ある時刻における制
御に必要な出力が一つ、あるいは二つと変化するとき、
あるいは制御には3軸すべての方向の頭部動作情報が必
要ないときなど、それぞれのセンサ101〜103の出
力を選択的に処理することにより、すべてのセンサ10
1〜103の出力を常に扱う場合に比べて信号の伝送お
よび処理効率を向上させることも念頭に入れている。
【0094】さらに、異なる種類のセンサ101〜10
nによって頭部動作を検出するときなどには、同じ時刻
に検出されたセンサの出力であっても、動作量a14の
ようにして、それぞれ独立して後段の処理を行うと、そ
れらの処理時間の違いにより結果として得られる頭部動
作が実際とは時間的にずれてしまう。また、組み込まれ
た全センサ101〜10nの出力の相互関係が得られる
と、すべてのセンサ101〜10nの出力に変化が生じ
ない状態の検出、つまり静止状態の検出やある時刻に行
われている頭部動作の3次元の方向ベクトルの検出など
が容易であるため、頭部動作をより正確に把握すること
ができる。以上のような理由から、本発明においては後
者の動作量b15のようにして、ある時刻に検出された
それぞれのセンサ101〜10nの出力を組み合わせて
取り扱うことを考慮した点も従来例と異なっている。
【0095】図69の従来例で示したような構成の装置
では、動きを単独に検出できるセンサから頭部の傾き角
度を体系的に得ることは、頭部の傾きを表すための基準
となる使用者の基本姿勢が一般には規定されていないた
め困難である。そこで、本発明に係わる頭部動作検出に
よる機器制御装装置では、図36のような姿勢、いわゆ
る使用者が正面を向いている状態を基準の頭部位置とす
ることにし、そのときの動作量、あるいはセンサの出力
を頭部の傾き角度を得るため基準量として基準量保持部
343で保持する。
【0096】このようにすることによって、速度、ある
いは加速度、あるいは角速度、または傾斜角などの一動
作方向の頭部動作を単独に検出できるセンサによっても
頭部の傾き角度を体系的に得ること、つまり本発明に係
わる頭部動作検出による機器制御装置、制御制御対象機
器341、および使用者の間での頭部の状態を一つの座
標系で共有できる。なお、図36中の正中面とは「身体
を左右の相半に分つ中心面」と、頭頂点とは「頭部の正
中面における最高点」と定義されている人体寸法計測に
関する用語である。また、保持される基準量は、センサ
の種類、特性によって静止状態を示す値、あるいは傾き
角度を示す値であるなどその性質が異なってもよい。
【0097】基準量保持部343における基準量の保持
は、装置を起動してヘッドセット3510を装着後、あ
るいはヘッドセット3510を装着して装置を起動後
に、図36で規定した姿勢、つまり正面を向いた状態で
行うことを基本とする。図37に示すように、基準量保
持部343では、まず、ある時刻における動作量の読み
込みを行い(S201)、これをヘッドセット3510
の装着、あるいは使用者による装着確認操作、あるいは
装置への電源投入、あるいは装置による任意のタイミン
グの何れかの基準量保持タイミングが検出されたかを判
断し(S202)、これが検出されるまで繰り返す。こ
の基準量保持タイミングが検出された直後、あるいは任
意に設定できる遅延時間後に、読み込んだ動作量を基準
量として保持する(S203)。
【0098】さらに、基準量の保持が終了したことを別
途用意するLEDの点灯などの保持完了通知手段によっ
て使用者に通知(S204)して処理を終える。この保
持完了通知によって、使用者は予め設定された基準量保
持タイミングで保持が行われなければ、再び装着確認操
作を、あるいは装置自身の再起動を行うなどの対応を迅
速に行うことができる。
【0099】以降は、このようにして保持された基準量
を頭部の姿勢を表すための基準値として頭部の傾き角度
を得る。このように、図69に示した従来例と違って、
基準量保持の基本姿勢だけではなくそのタイミングまで
も規定し、この保持が正しく行われたかを使用者が容易
に確認できるようにした。
【0100】基準量保持部343において、図37に示
した処理の基準量保持タイミングが検出されたかを判断
し(S202)、これが検出された後に、図37に示す
ようにセンサの出力Vが予め設定していた許容値R以上
か、あるいは頭部の傾き角度に対応して得られるセンサ
の出力Vが予め設定していた許容値R以上かを判断する
ステップ(S205)を加え、センサが故障しているよ
って出力が異常である、あるいは使用者が正面を向いて
いなくて頭部が傾いていることなどによって、異常な
値、あるいは基本姿勢以外での基準量の保持を行わない
ようにする。また、この追加ステップ(S205)で、
ある時間間隔のセンサの出力の変化ΔVが予め設定して
いた許容値R以上かをも判断し(S205)、このとき
には頭部が静止していないとして基準量の保持を行わな
いようにする。このようにすると、基準量を常に規定さ
れた条件下で正しく保持することができる。
【0101】ヘッドセット3510の装着を自動的に検
出するためには、図39のように頭部に固定するために
顎や後頭部などで留めるベルトの接合部をスイッチとす
る、あるいは固定に伴うヘッドセット3510内壁面の
圧力、温度の変化を検出する、さらには内壁面間に設置
した光学的スイッチの遮断を検出するなどの方法があ
る。
【0102】また、装着確認操作とは、使用者によるヘ
ッドセット3510装着の完了後に正面を向いた状態で
に行われる別途用意するコントローラに設置されたボタ
ンの押下、あるいはスイッチの入切などの自発的操作で
ある。このようにして、使用者に基準量保持のための操
作であることを意識させることにより、任意のタイミン
グでより確実に基準量を保持することができる。
【0103】状態量生成部344は、動作量生成部34
2で得られた動作量と基準量保持部343に保持されて
いる基準量から図40で規定された各角度軸に対する旋
回角度(ヨー角)、前後屈角度(ピッチ角)、左右屈角
度(ロール角)を演算し、それぞれの角度情報を状態量
と呼ぶ量として順次変換する。ある時刻tの状態量θt
は、このときの旋回角度をθy、前後屈角度をθp、左
右屈角度をθrとすると、θt = f(θy、θp、
θr)と規定される。このように処理することによっ
て、従来例などは困難であった頭部の傾き角度を体系的
に得ることができる。
【0104】状態量生成部344では、図41に示すよ
うに、まずその時刻の動作量を読み込む(S206)。
次に、保持されている基準量を読み込み(S207)、
状態量を得るための演算を行う(S208)。この状態
量を得るために行う演算は、基準量を基にして行われ、
センサの出力が速度などの変化量の場合は積分であり、
傾斜角度などの角度値の場合は減算である。また、図4
2のように状態量は、それぞれの角度軸において基準量
を保持した際の使用者の基本姿勢、つまり正面を向いて
いる状態を0度とする相対角度(±θ)として扱うこと
を基本とする。当然、相対角度の符号情報(+または
−)のみで頭部の姿勢の大まかな様子を得て、制御を実
行することも可能である。
【0105】変化量生成部345は、連続した頭部動作
に伴う動作量、あるいは状態量のある時間間隔における
変化分を演算し、これを変化量と呼ぶ量とする。変化量
は、図43に示すように演算する時間間隔をΔtとする
と、動作量M、あるいは状態量θの変化分なので、
【0106】
【数8】 と規定できる。なお、変化量を求める演算を行う時間間
隔は、センサの特性、制御対象機器341の仕様、また
は使用者の要求に応じて任意に設定できるものとする。
【0107】本発明においては、頭部動作に伴う変化
量、あるいは状態量に応じて逐次、制御対象機器341
を制御するのみではなく、ある時間間隔の一連の頭部動
作に応じた動作パターンによる制御を行うこともでき
る。そのために、動作パターンメモリ部346は、状態
量、あるいは変化量またはその両方からなる様々な頭部
動作の基本動作パターンを予め格納している。
【0108】例えば、制御対象機器341の制御に状態
量θのみからなる基本動作パターンPが必要な場合、図
44(a)のように、状態量と基本動作パターンが1対
1の関係で対応づけられたテーブル形式で格納される。
また、状態量θと変化量ΔCの両方からなる基本動作パ
ターンPが必要ならば、図44(b)のように、状態
量、変化量と基本動作パターンが2対1の関係で対応づ
けられたテーブル形式で格納される。
【0109】頭部動作認識部347は、図45に示すよ
うに、まず、頭部動作から順次得られる状態量、あるい
は変化量またはその両方を読み込む(S209)。これ
らと動作パターンメモリに格納されているデータを比較
(マッチング処理)して、一連の頭部動作を基本動作パ
ターンの何れかの動作として、あるいはそれ以外の動作
として識別する(S210)。そして、この頭部動作識
別処理の結果を出力する(S211)。さらに、別途用
意するLEDの点灯などの通知手段によって使用者に通
知する(S212)。
【0110】制御信号生成部348は、動作認識部によ
って認識された認識結果、あるいは状態量、あるいは変
化量に基づいて、予めそれらの頭部動作に対応して設定
されている制御対象機器341の制御に必要な制御信号
を出力する。これらの使い分けは、制御に必要な頭部動
作の違いによって、あるいは使用者の要求によって自由
に設定できるものとする。例えば、頭部の傾き角度、つ
まり状態量に応じて頭部装着型ディスプレイに表示する
映像の視野を変えるシステムでは、状態量θと映像の視
野を制御するための制御信号Dを1対1に対応して図4
6のように設定して格納しておけばよい。
【0111】制御実行処理部349は、制御信号生成部
348からの制御信号によって、所定のインタフェース
を介して制御対象機器341の制御を実行する。制御対
象機器341には、頭部動作に対応して映像の視野を変
える頭部装着型ディスプレイやテレビカメラの姿勢を変
える装置などがある。
【0112】なお、このような制御対象機器341が外
部からの制御信号によって制御できるようになっていな
い場合や装置の小型化が必要な場合には、本発明に係わ
る頭部動作検出による機器制御装置の全体、あるいは一
部を制御対象機器341の信号処理部の一部分として組
み込み、あたかも一体の装置であるかのように構成する
こともできる。
【0113】頭部動作が行われる時点の頭部の状態によ
ってセンサの出力が変化する場合がある。例えば、図4
7(a)のような構造の傾斜角センサ4820を考え
る。この傾斜角センサ4820は、図47(b)のよう
に、内部の振子4822が重力方向に移動することによ
って傾斜角を検出する。このセンサをX軸方向の検出を
するように設置した場合、図47(c)のように直交す
るY軸方向の傾斜角が大きくなるにつれて回転軸482
1部の摩擦が大きくなり振子4822がスムーズに重力
方向に移動できなくなる。その結果、X軸方向の傾斜角
を正しく検出できなくなる。また、センサの出力が速度
などの瞬時値を表すときにもヘッドセット3510の重
量と重力加速度の関係、あるいはそれぞれのセンサをヘ
ッドセット3510内のどの位置に設置するかによって
同一の動作であっても同じ出力が得られない場合があ
る。
【0114】そこで、これを補正するために動作量生成
部2のセンサ出力補正手段では、まず図48に示すよう
に状態量生成部344の状態量、つまり現在の頭部の傾
き角度を読み込む(S213)。次に、この状態量がセ
ンサの出力を補正する必要がある状態量であるかを格納
されているセンサ出力補正データテーブルから判断する
(S214)。補正する必要がある時は、その補正デー
タを読み込み(S215)、これを出力する(S21
6)。このセンサ出力補正手段には、図49に示すよう
な形式で、補正の必要な状態量についてのみのセンサの
出力補正データが格納されている。このようにすること
によって、同一の頭部動作であってもセンサの出力が異
なる場合に対応して正確な動作量を得ることができる。
【0115】制御対象機器341の制御に際しては、ヘ
ッドセット3510に組み込まれている全てのセンサの
出力を必ずしも正確に得る必要がない場合がある。例え
ば、図50(a)のように不安定な頭部動作によって、
パソコン画面上のカーソル5124を上下左右の一方向
へ直線的に動かしたい場合、あるいは図50(b)のよ
うに頭部の大まかな上下運動を“Yes”、大まかな左
右運動を“No”として回答するインタフェースを持つ
機器の制御を考えると、例えばヘッドセット3510に
組み込まれたそれぞれのセンサの出力を比較して、最も
変化量の大きいセンサの出力のみを動作量の変換に用い
て、他のセンサの出力の変化はなかったものとすれば、
直線的な動作入力が可能になり、加えて後段の処理の負
担を少なくできる。そこで、動作量生成部342は、単
独センサ選択手段によって、それぞれのセンサの出力を
比較した結果に基づいて、あるいは使用者の要求があれ
ば、任意に設定可能な一つのセンサの出力のみを動作量
の変換に用いる。この単独センサ選択手段によって、あ
る一動作方向の動作のみによって制御対象機器1を制御
できる。
【0116】この場合の処理は、図51に示すように、
まず全センサの出力を読み込み(S217)、ある時間
間隔におけるそれぞれの出力(Vy、Vr、Vp)の変
化量を演算し(S218)、それらの大小関係を比較し
て(S219〜S221)、最も変化量の大きいセンサ
の出力のみを動作量の変換に用いて、他のセンサの出力
の変化はなかったものとした動作量(My、Mr、M
p)を出力する(S222〜S224)。なお、センサ
の出力の変化量の比較だけではなく、絶対値の大小など
によって単独のセンサの出力を選択してもよい。
【0117】頭部動作による同一方向動作を複数の異な
る種類のセンサで検出して、その動作の特徴とセンサの
検出特性によって動作量の変換に用いるセンサを適応的
に切り換えてより正確な頭部動作の検出する装置の構成
が考えられる。例えば、図52のように頭部の旋回角度
(ヨー角)を得るために、頭部の旋回の回転中心に回転
角速度センサ5326と地磁気センサ5325を設置す
る場合を考える。このとき、回転角速度センサ5326
には頭部動作の瞬時値を得ることができるが、旋回角度
を得るために演算が必要で、その際に誤差が発生しやす
い、また、地磁気センサ5325には頭部の旋回角度を
得ることはできるが、応答速度が遅いため素早い動作の
検出は難しいなどの特徴がある。そこで、この場合は、
動作量生成部342における動作量の変換に際して、最
適センサ選択手段によって、予め設定した速度の大きさ
によって、頭部動作が設定値より速い場合は回転角速度
センサ5326、遅い場合は地磁気センサ5325とい
うように、検出に適した一つのセンサを選択する。さら
に、どのセンサを選択したかを把握できるセンサ識別番
号(センサID)をセンサの出力とともに出力し、後段
の処理部ではこれを参照して処理を行う。
【0118】次に、図53でこの場合の最適センサ選択
手段の処理を説明する。まず、ある時刻の回転角速度セ
ンサ5326出力Vtを読み込む(S225)。検出に
適した一つのセンサを選択するための設定値RとVtを
比較して(S226)、Vt>Rの場合は回転角速度セ
ンサ5326を選択し(S227)、このセンサの出力
と識別番号(センサID)を出力する(S228)。
【0119】逆に、Vt<Rの場合は地磁気センサ53
25を選択し(S229)、このセンサの出力と識別番
号(センサID)を出力する(S230)。
【0120】頭部動作によって家庭用のTVゲームのコ
ントロールを行う装置などには、頭部動作を検出するセ
ンサとして安価で低精度なものを使用することが考えら
れるが、このようなセンサのなかには図54のように環
境の温度変化や使用時間によって静止していても出力が
ドリフトするものがある。このような場合は、基準量保
持部343で保持された基準量が時間の経過とともに頭
部の傾き角度を得るための正しい基準とはならなくなっ
てしまう。そこで、基準量保持部343は、センサの出
力がドリフトによって変化する場合、基準量更新手段に
よって、その変化に対応して頭部の傾き角度を得る基準
として保持している基準量を自動的に更新する。なお、
センサの出力のドリフトに対応して基準量を自動的に更
新するための更新データは図55のような形式で格納さ
れている。
【0121】基準量更新手段の初期設定作業は、ドリフ
トの経時変化の様子を正確に得るためにヘッドセット3
510を頭部に装着せずに机上などの安定した場所に置
いて行う。まず、図56に示すように使用者による設定
作業開始操作を待ち(S231)、これが行われた後に
使用経過時間tを初期化(t=0)する(S232)。
次に、組み込まれたそれぞれのセンサの出力の経時変化
を別途設置するメモリにあるサンプリング間隔で時間情
報とともに記憶する(S233)。そして、連続したサ
ンプリング間隔のセンサの出力の変化ΔVが予め設定さ
れた値R以下になったとき、あるいは経過時間情報が使
用者が想定している装置使用時間T以上になったときに
メモリへの記憶を終了し(S234)、別途用意するL
EDの点灯などの通知手段によってこれを使用者に通知
して(S235)初期設定作業を終了する。
【0122】このドリフトの経時変化データに基づいて
基準量を更新する方法は、ドリフトの経時変化として記
憶されているセンサの出力のサンプリング間隔、または
その整数倍の時間間隔におけるの変化の割合によって使
い分ける。なぜなら、この変化の割合が制御に影響のな
いほど小さい場合は、センサの使用時間に依らず静止状
態が検出されたときにだけ、補助的にそのときのセンサ
の出力を基準量として更新すればよく、頻繁に更新処理
を行わなくてもよくなるからである。
【0123】初期設定作業で得られたドリフトの経時変
化データに基づいて基準量を更新する方法を使い分ける
処理について説明する。図57のようなドリフトの経時
変化のときの処理は、図58に示すように、センサ使用
経過時間tおよびt−1におけるドリフトによるセンサ
の出力をDt、Dt-1を読み込み(S236)、この時
間間隔の変化量ΔDを求める(S237)。この変化量
ΔDが更新方法を使い分けるために予め設定する変化の
割合の値Rと比較し(S238)、この変化量ΔDが設
定値Rより大きい場合、つまり、
【0124】
【数9】 のときは、記憶しているドリフトの経時変化データから
【0125】
【数10】 と更新し(S239)、逆にこの変化量ΔDが設定値R
より小さい場合、つまり、
【0126】
【数11】 のときは、記憶しているドリフトの経時変化およびセン
サ使用時間に依らず、静止状態を判断し(S240)、
これが検出されたときに補助的にこのセンサの出力Vを
読み込んで(S241)、
【0127】
【数12】 と更新する(S242)。
【0128】なお、更新方法を使い分けるための変化の
割合の設定値Rは、センサの特性、あるいは制御対象機
器341の仕様、あるいは使用者の要求によって任意に
設定可能とする。
【0129】実際に装置を使うときは、初期設定作業時
と使用環境の温度、あるいは再起動などによってセンサ
自身の温度が異なることにより、図59のように基準量
保持部243において保持された基準量Ref0と、ド
リフトの経時変化データとしてセンサ使用時間t=0に
対応して記憶しているセンサの出力D0とが異なる場合
がある。この場合は、記憶されたドリフトの経時変化デ
ータに基づいて基準量を更新すると頭部の傾き角度を得
るための正しい基準とはならなくなってしまう。
【0130】そこで、このときは図60のような処理に
よってドリフトの経時変化データに記憶されてるセンサ
使用時間tをシフトさせて対応する。まず、基準量保持
部343において保持された基準量をRef0、ドリフ
トの経時変化データとしてセンサ使用時間t=0に対応
して記憶しているセンサの出力D0を読み込み(S24
3)、これらの差ΔSを求める(S244)。(ΔS=
Ref0−D0) この差ΔSと予め設定していた許容範囲の設定値Rの大
小関係を比較し(S245)、ΔS>Rのとき、この基
準量Ref0に最も近い値のセンサの出力Dmを記憶し
ているドリフトの経時変化データから
【0131】
【数13】 のようにして探しだし(S246)、このときのセンサ
使用時間mから補正時間Tを以下のようにして算出する
(S247)。(T=t+m) 以降は記憶しているドリフトの経時変化データのセンサ
使用時間tをmだけシフトさせ、センサ使用時間tにお
ける基準量をReft=DT=Dt+mとして基準量を更
新する(S248)。
【0132】つまり、図59の場合には、D2が基準量
Ref0に最も近い値のセンサ出力Dmなので、補正時
間Tは、T=t+2となり、以降は、Reft=Dt+2
として、基準量を更新する。
【0133】動作量、基準量によって安定的に頭部の傾
き角度を得ようとしても、センサの出力へのノイズの混
入、あるいは処理過程で発生する誤差によって状態量生
成部344における角度情報が基準となる正面を向いた
状態に対してずれてしまう可能性がある。そこで、図6
1に示す一例のように旋回角度軸の正面状態を検出する
ため、ヘッドセット3510に設置された発光部a62
27からの光を体の所定の位置、例えば、図61(d)
のように胸ポケットなどに設置された反射板a6237
に向けて照射し、その反射光を同じくヘッドセット35
10に設置された受光部a6228によって受ける。そ
して、図61(a)および(b)のように反射光の有
無、あるいは強弱によって頭部が体に対して正面方向を
向いているかどうかを正面状態検出手段で検出、判断す
る。
【0134】なお、この反射板a6237の材質、形状
は、制御対象機器341の仕様、あるいは求められる正
面状態検出の精度によって適宜変更する。また、図61
(c)に示すように、発光部b6229、受光部b62
30、反射板b6238を追加して検出すれば、より精
度よく正面を向いているかを判断できる。
【0135】さらに、ヘッドセット3510に設置され
た発光部a6227からの光を直接、体の一部に向けて
照射し、その反射光を同じくヘッドセット3510に設
置された受光部a6228によって受けるような構成に
して、その反射光の有無、あるいは強弱によって判断し
てもよい。なお、正面状態検出手段によって正面状態で
あると判断される角度は、必ずしも厳密に状態量0度に
相当する角度のみでなく、状態量0度を含む範囲(0度
±θ)であってもよい。
【0136】次に正面状態検出手段の出力によって、状
態量を補正する角度情報補正手段の処理を図62で説明
する。正面状態検出手段で反射光の有無、あるいはその
強弱によって、正面状態に相当する結果が得られている
かを判断し(S249)、これが得られていれば、角度
情報補正手段で状態量を0度にリセットする(S25
0)。
【0137】例えば、図61(a)の場合は、発光部a
6227、および発光部b6229からの光のそれぞれ
の反射光が受光部a6228、および受光部b6230
でともに検出されているので旋回角度情報を0度にリセ
ットする。一方、図61(b)の場合は、発光部a62
27からの光の反射光が受光部a6228で検出されな
いのでリセットは行わない。このような手段によって、
様々な外乱や処理過程の誤差などによる角度情報のずれ
を、使用者が正面を向くことによって簡単に修正でき、
安定して制御を続けることができる。
【0138】また、この正面状態検出手段によって正面
状態であると判断された場合、これを別途用意するLE
Dの点灯などの正面状態通知手段によって通知すれば、
使用者は、装置の使用中にこれを確認できるのみなら
ず、前述の基準量保持に際して正面を向いていることを
客観的に知ることができるため、スムーズかつ正確に基
準量保持を行うことができる。さらに、このように正正
面状態であると判断された場合のみにしか基準量の保持
を行わないように装置側で設定してあれば、常に前述の
基本姿勢における正しい基準量保持が可能である。
【0139】頭部動作によって頭部装着型ディスプレイ
6236に表示する映像の視野を変える装置の制御など
において、図63のように観察したい映像の視野範囲が
限定される場合がある。このとき、その範囲を使用者が
予め任意に設定しておき、それが視野に入らない角度情
報となったときに装置から発せられる通知に応じて頭部
動作を加減すれば観察したい映像周辺だけを安定して観
察できる。この操作性を確保するための状態量生成部3
44おける角度超過通知手段の処理を図64で説明す
る。まず、状態量を読み込み(S251)、この状態量
がセンサの検出範囲以上ではないか(S252)、ある
いは使用者によって任意に設定可能な範囲以上になって
いないか判断する(S253)。そして、この結果が設
定範囲以上である場合には、角度超過通知手段によって
これを使用者に通知する(S254)。
【0140】頭部動作を検出して制御を行う機器には様
々なものがあり、それぞれに必要な頭部動作とその基本
パターンが異なっている。そこで、図65に示す一連の
処理で動作パターンメモリに記憶されている内容を書き
換える。まず、動作パターンメモリ部346の記憶して
いる内容の消去、あるいは書き換えの可能、不可能を管
理するメモリ管理手段の出力が書き換え可能かを判断す
る(S255)。これが書き換え可能のとき、使用者が
行う書き込み動作開始通知を待つ(S256)。この通
知が検出されたら、頭部の状態量、あるいは変化量また
はその両方からなる動作を基本動作パターンとして基本
動作書き込み手段で新たに動作パターンメモリ部6に格
納する(S257)。この格納処理は、動作終了通知の
操作が検出(S258)されるまで行う。
【0141】なお、この書き込み動作開始通知、終了通
知の操作とは別途用意するコントローラに設置されたボ
タンの押下、あるいはスイッチの入切などの使用者によ
る自発的操作である。このようにして基本動作書き込み
手段によって基本動作パターンが動作パターンメモリ部
346に書き込まれたとき、制御信号生成部348にお
いて、その状態量、あるいは変化量またはその両方から
なる基本動作パターンに対応した制御信号を制御信号設
定手段によって新たに設定する。このように、新たな基
本動作パターンを記憶する作業は、基本動作パターンの
書き込みだけではなく、これに対応した制御信号の設定
が行われたことを判断して(S259)完了となる。な
お、動作パターンメモリ部346に記憶されているデー
タを換えるには、メモリディバイス自体を交換してもよ
い。
【0142】本発明のような装置では、重量のあるヘッ
ドセット3510を装着しての頭部動作、さらにはディ
スプレイに表示された映像、あるいは装置自体の動作状
況などを凝視し続けることが必要となる。そのため、首
や肩への負担、目の疲れ、あるいは頭部装着型ディスプ
レイなどでは視界が閉鎖され続けることによる不安感や
圧迫感などといった、生理的、心理的な負担が生じてし
まう。これらの負担による疲労感が使用者に自覚されて
いれば、自ら装置の使用を中止する、休息をとるなどの
対応ができるので問題はないが、特にTVゲームなどの
エンタテイメントシステムでは操作に熱中するあまり使
用時間がつい長くなってしまいがちで、使用者自身でこ
れを防ぐことは非常に難しい。
【0143】そこで、図66に装置自体が使用時間を管
理することによって、使用時間が長くなりすぎること、
つまり身体への負担増大を防ぐための処理を示す。ま
ず、経過時間管理手段によって装置を起動してから現在
までの経過時間tを得て(S260)、この経過時間t
が制御対象機器1の仕様、作業負荷などによって予め設
定された制限時間T、あるいは使用者、もしくは管理者
によって任意に設定可能な制限時間T以上になったかを
判断する(S261)。この判断の結果、経過時間tが
制限時間T以上であるとき、これを使用者に通知し(S
262)、使用時間制限手段によって、制御実行処理部
349での一定時間後に機器制御の停止、あるいは制御
対象機器341の運転の停止を実行する(S263)。
使用者は、制限時間以上になったという通知を受けた
後、それまでの作業状態の記録などといった停止に備え
た各種作業を行う。このように装置の使用時間を管理す
ることによって、使用者の身体への負担を軽減させるこ
とができる。
【0144】生理的、あるいは心理的な負担は、必ずし
も装置を使用している時間の長さだけで決まるものでは
ない。特に、視覚の疲労は作業内容、作業環境、ディス
プレイに表示される映像内容と興味の度合い、あるいは
視力の違いといった個人差などの様々な要因によって疲
労感が大きく異なる。そこで、視覚の疲労による機能低
下によって生じるまばたきの回数の増加と、使用者が目
の疲労を解消するために無意識に、あるいは意識して行
う目を閉じるという行為の時間の長さ、つまり閉眼継続
時間の延長を視覚疲労を客観的に判断するための基準と
して装置の使用時間を制限する。
【0145】そこで、図67に示す処理のように、最初
に開閉眼検出手段で、起動時のまばたきの単位時間当た
りの回数の初期値N0を保持する(S264)。次に、
装置を起動してから現在までの経過時間tを読み込む
(S265)。そして、開閉眼検出手段によって現在の
目の状態がまばたきであるかを判断し(S266)、こ
こでまばたきであるという結果が得られたら、まばたき
の単位時間当たりの回数Nを得て(S267)、瞬目増
加率演算手段でこの値Nと保持している初期値N0から
増加率を演算し(S268)、この増加率が予め設定さ
れた値R以上になったかを判断する(S269)。この
結果、増加率が設定値R以上であるとき、これを使用者
に通知し(S270)、視覚疲労軽減手段によって、制
御実行処理部349での一定時間後に機器制御の停止、
あるいは制御対象機器341の運転の停止を実行する
(S271)。
【0146】一方、開閉眼検出手段によって現在の目の
状態がまばたきかどうかを判断し(S266)、ここで
まばたきではないという結果が得られたら、次に閉眼状
態であるかを判断する(S272)。この判断の結果が
閉眼状態であるとき、続いてこの閉眼状態が継続中であ
るかを判断する(S273)。ここで閉眼状態継続中で
はないという結果が得られたら、閉眼開始時刻t0を装
置の使用経過時刻tから得て(t0=t)、これを保持
する(S274)。この閉眼開始時刻t0と装置の使用
経過時刻tから閉眼継続時間を演算し(S275)、こ
の閉眼継続時間が予め設定された値T以上になったかを
判断する(S276)。この結果、閉眼継続時間が設定
値T以上であるとき、これを使用者に通知し(S27
0)、視覚疲労軽減手段によって、制御実行処理部34
9での一定時間後に機器制御の停止、あるいは制御対象
機器341の運転の停止を実行する(S271)。
【0147】以上のように、使用者は単位時間当たりの
まばたきの回数が増加した、あるいは閉眼継続時間が延
長したという通知、つまり視覚疲労が設定基準以上にな
ったという通知を受けた後、それまでの作業状態の記録
などといった停止に備えた各種作業を行う。
【0148】次に、開閉眼検出手段おいて、まばたきを
自動検出する方法の例とそのとき得れる出力を図68に
示す。図68(a)は光学的手段を用いて目の開閉状態
を検出する方法で、ヘッドセット3510に設置された
発光素子6939からの光を瞳に照射し、その反射光を
同じくヘッドセット3510に設置された受光素子69
40で受ける。その結果、受光素子6940で得られる
出力によって、図68(b)のような場合をまばたきと
して、図68(c)のような場合を閉眼状態として検出
する。
【0149】一方、図68(d)は電気的手段を用いて
目の開閉状態を検出する方法で、まぶた自体の動きを検
出するため、上まぶたに電極6941を、耳たぶにアー
ス電極6942を設置し、これらの間の生体電位を測定
する。その結果、得られる生体電位の出力によって、図
68(e)のような場合をまばたきとして、図68
(f)のような場合を閉眼状態として検出する。このよ
うに、視覚の疲労の程度によっても使用時間を制限する
ことを考慮するによって、生理的、あるいは心理的な負
担の少ない装置を提供できる。
【0150】使用時間制限手段、視覚疲労軽減手段によ
る制御の停止、あるいは運転の停止を実行は、それぞれ
を独立に、あるいはどちらかを優先するように使用者に
よって任意に設定できるようにする。このように、経過
時間、あるいは閉眼継続時間という絶対的な基準値によ
る使用時間の制限と、まばたきの回数の増加率という相
対的な基準値による使用時間の制限とを組み合わせるこ
とによって、使用者への生理的、心理的な負担を効果的
に軽減できる。なお、これらの手段によって制御の停
止、あるいは運転の停止を実行した時間を保持し、一定
時間後、つまり休息をとった後にのみ制御再開を可能と
する使用再開管理手段を有し、それまでは装置の起動を
不可能にする構成にしてもよい。
【0151】実施例2をまとめると、以下のようにな
る。 1、頭部動作を検出し、これに対応した機器の制御を実
行する装置において、頭部に装着されるヘッドセットに
組み込まれた少なくとも一つのセンサによって頭部の一
方向動作を検出し、その検出量を必要に応じてそれぞれ
単独に、あるいは組み合わせ、これを動作量として順次
変換する動作量生成部と、頭部の傾き角度を得る基準と
するために、ヘッドセットの装着を自動的に検出後、あ
るいは使用者による装着確認操作後、あるいは電源投入
後、または装置が任意のタイミングで前記動作量生成部
からの出力、あるいはセンサの出力を保持する基準量保
持部と、前記動作量生成部で得られた動作量と前記基準
量保持部に保持されている基準量から頭部の旋回角度、
あるいは前後屈角度、あるいは左右屈角度を演算し、そ
れぞれの角度情報を状態量として順次変換する状態量生
成部と、連続した頭部動作に伴って、前記動作量生成部
から出力される動作量の変化分、あるいは前記状態量生
成部から出力される状態量の変化分を演算する変化量生
成部と、状態量、あるいは変化量またはその両方からな
る所定の様々な頭部動作の基本動作パターンを予め格納
している動作パターンメモリ部と、前記状態量生成部に
より得られた状態量、あるいは前記変化量生成部で得ら
れた変化量またはその両方を前記動作パターンメモリ部
を参照して認識する頭部動作認識部と、前記頭部動作認
識部による認識結果、あるいは前記状態量生成部により
得られた状態量、あるいは前記変化量生成部で得られた
変化量に基づいて、予めそれらの頭部動作に対応して設
定されている制御信号を出力する制御信号生成部と、前
記制御信号生成部から出力された制御信号に基づき制御
対象機器の制御を実行する制御実行処理部とを具備した
ことを特徴とする。 2、前記動作量生成部は、同一の動作であっても、その
動作が行われる時点の頭部の状態によってセンサの出力
が変化する場合、前記状態量生成部を参照して、センサ
の出力を補正するセンサ出力補正手段を有することを特
徴とする。 3、前記動作量生成部は、ヘッドセットに組み込まれた
それぞれのセンサの出力を比較した結果に基づいて、あ
るいは使用者によって任意に設定可能な一つのセンサ出
力のみを動作量の変換に用いる単独センサ選択手段を有
することを特徴とする。 4、前記動作量生成部は、頭部動作による同一方向動作
を複数の異なる種類のセンサで検出し、その動作の特徴
によって動作量の変換に用いるセンサを一つ選択する最
適センサ選択手段を有することを特徴とする。 5、前記基準量保持部は、頭部の傾き角度を得る基準と
して保持している基準量の変化に対応して、これを自動
的に更新する基準量更新手段を有することを特徴とす
る。 6、ヘッドセットに設置した少なくとも一つの発光部か
らの光を体の一部、あるいは体の所定の位置に設置した
少なくとも一つの反射板に向けて照射し、その反射光を
同じくヘッドセットに設置した少なくとも一つの受光部
によって受け、反射光の有無、あるいは強弱によって頭
部が体に対して正面方向を向いていることを検出する正
面状態検出手段を有し、前記状態量生成部において、こ
の正面状態検出部の出力に応じて角度情報を補正する角
度情報補正手段を有することを特徴とする。 7、前記状態量生成部は、状態量がセンサの検出範囲以
上、あるいは使用者によって任意に設定可能な範囲以上
の角度情報となったとき、これを使用者に通知する角度
超過通知手段を有することを特徴とする。 8、前記動作パターンメモリ部は、記憶している内容の
消去、あるいは書き換えの可能、不可能を管理するメモ
リ管理手段を有することを特徴とする。 9、前記動作パターンメモリ部は、前記メモリ管理手段
の出力が書き換え可能であるとき、使用者が行う書き込
み動作開始通知と終了通知の操作を検出して、その間の
頭部の状態量、あるいは変化量またはその両方からなる
動作を基本動作パターンとして新たに格納する基本動作
書き込み手段を有することを特徴とする。 10、前記制御信号生成部は、前記基本動作書き込み手
段によって基本動作パターンが前記動作パターンメモリ
部に書き込まれたとき、その状態量、あるいは変化量ま
たはその両方からなる基本動作パターンに対応した制御
信号を新たに設定する制御信号設定手段を有することを
特徴とする。 11、装置を起動してから現在までの経過時間を得る経
過時間管理手段と、この経過時間が予め設定された、あ
るいは使用者によって任意に設定可能な制限時間以上に
なったとき、これを使用者に通知し、前記制御実行処理
部によって一定時間後に機器制御の停止、あるいは制御
対象機器の運転の停止を実行する使用時間制限手段を有
することを特徴とする。 12、使用者のまばたき、あるいは目の開閉状態を検出
する開閉眼検出手段と、装置を起動した時点の単位時間
当たりのまばたきの回数を保持し、装置使用時間の延長
に伴うこの回数の増加率を演算する瞬目増加率演算手段
と、目を閉じ続けている時間を得る閉眼継続時間検出手
段と、この瞬目増加率、あるいは閉眼継続時間が予め設
定された値以上になったとき、これを使用者に通知し、
前記制御実行処理部によって一定時間後に機器制御の停
止、あるいは制御対象機器の運転の停止を実行する視覚
疲労軽減手段を有することを特徴とする。 (実施例2の効果)以上の説明の通り、本発明によれ
ば、センサの頭部の傾き角度の違いによる出力の違い、
あるいは検出すべき動作以外を検出してしまう誤検出、
あるいはドリフトによる出力の経時変化などを考慮し、
それに対応した処理を行うことによって正確な頭部の動
作が検出ができ、起動後に正面を向いている状態を基本
姿勢として、このときのセンサの出力を保持し、これを
基準とすることによって、旋回角度(ヨー角)、前後屈
角度(ピッチ角)、左右屈角度(ロール角)からなる頭
部の傾き角度を得ることができる。また、正面を向いて
いることを光学的手段によって検出し、角度情報を補正
することによって傾き角度を安定して得ることができ
る。
【0152】さらに、装置の使用経過時間、あるいはま
ばたきの回数、あるいは閉眼継続時間を管理し、それら
に基づいて装置の使用時間を制限することによって、頭
部の動きによる操作や表示された映像を凝視し続けるこ
となどによる使用者の生理的、あるいは心理的な負担が
制限なく大きくなってしまうことを防ぐことができる。
【0153】
【発明の効果】上述したように、本発明は構成上発生す
る幾何学的な歪を電子的或いは光学的な補正を施すこと
により、眼精疲労が少なくかつ小型軽量でありながら、
大画面が楽しめ、さらに搭載している頭部動き検出機能
によって臨場感ある画像空間を生成する画像投影装置を
実現する。
【0154】また、頭部の位置を基準とすることによ
り、正確な頭部の動作を検出することができる。
【図面の簡単な説明】
【図1】 本発明の一実施例の構成を示す図である。
【図2】 本発明の画像投影装置を装着した状態を示す
図である。
【図3】 本発明の画像の補正を示す図である。
【図4】 本発明の平面スクリーンの特徴を示す図であ
る。
【図5】 スクリーンに対して画像形成手段及び投影光
学系を傾けた図である。
【図6】 スクリーンに対して画像形成手段及び投影光
学系を傾けた図である。
【図7】 スクリーンの曲率半径を投影箇所において連
続的に変化させた図である。
【図8】 スクリーンの曲率半径を投影箇所において連
続的に変化させた図である。
【図9】 スクリーンの曲率半径を投影箇所において連
続的に変化させた図である。
【図10】 投影光学系の投影レンズが、投影光学系に
よって生じる歪と逆特性の歪曲収差をもつことを示した
図である。
【図11】 投影光学系の投影レンズが、投影光学系に
よって生じる歪と逆特性の歪曲収差をもつことを示した
図である。
【図12】 歪補正光学系により投影光学系の歪とは逆
特性の歪を投影画像に加えて歪を補正することを示す図
である。
【図13】 歪補正光学系により投影光学系の歪とは逆
特性の歪を投影画像に加えて歪を補正することを示す図
である。
【図14】 スクリーンの反射率が画面周辺にいくにつ
れて増加することを示す図である。
【図15】 スクリーンの反射率が画面周辺にいくにつ
れて増加することを示す図である。
【図16】 スクリーンの反射率が画面周辺にいくにつ
れて増加することを示す図である。
【図17】 スクリーンの反射率が画面周辺にいくにつ
れて増加することを示す図である。
【図18】 画像投影装置を装着時の状態を初期値とし
て記憶し、以後はその初期値からの変化を検出すること
で頭部の動き検出動作を行うことを示す図である。
【図19】 二軸の傾斜角検出センサと一軸の回転角速
度センサを用いて、頭部の三次元運動を検出することを
示す図である。
【図20】 二軸の傾斜角検出センサと一軸の回転角速
度センサを用いて、頭部の三次元運動を検出することを
示す図である。
【図21】 二軸の傾斜角検出センサと一軸の回転角速
度センサを用いて、頭部の三次元運動を検出することを
示す図である。
【図22】 本願発明の頭部の水平方向の回転の検出を
示す図である。
【図23】 本願発明の頭部の水平方向の回転の検出を
示す図である。
【図24】 本願発明の頭部の水平方向の回転の検出を
示す図である。
【図25】 本願発明の頭部の水平方向の回転の検出を
示す図である。
【図26】 互いに直交する3軸の回転運動を検出する
3個の角速度センサにより頭部の三次元運動を検出する
ことを示す図である。
【図27】 頭部の三次元運動による視野の変化を投影
画像に対して行わせることを示す図である。
【図28】 頭部の三次元運動による視野の変化を投影
画像に対して行わせることを示す図である。
【図29】 従来例を示す図である。
【図30】 従来例を示す図である。
【図31】 従来例を示す図である。
【図32】 従来例を示す図である。
【図33】 本発明の第2の実施例に係わる実施例の構
成を示したブロック図である。
【図34】 動作量生成部とセンサを組み込むヘッドセ
ットの概略構成図である。
【図35】 動作量生成部のブロック図である。
【図36】 基準量保持部において基準量を保持する際
の基本姿勢の説明図
【図37】 基準量保持部における基準量保持の処理を
説明するフローチャートの図である。
【図38】 基準量保持部において基準量としてその動
作量を保持しない場合のフローチャートの図である。
【図39】 ヘッドセットの装着を自動的に検出する方
法の一例の説明図である。
【図40】 頭部の傾き角度およびこれを規定するため
の各角度軸の説明図である。
【図41】 状態量生成部における処理を説明するフロ
ーチャートの図である。
【図42】 正面状態を0度とする相対角度として状態
量を取り扱うことのを説明する図である。
【図43】 変化量生成部の変化量演算の説明図であ
る。
【図44】 動作パターンメモリ部に格納されている基
本動作パターン形式の一例を示す図である。
【図45】 頭部動作認識部における頭部動作の認識処
理を説明するフローチャートの図である。
【図46】 制御信号生成部に格納されている制御信号
形式の一例を示す図である。
【図47】 頭部の同一動作によるセンサの出力が異な
る場合の説明図である。
【図48】 センサ出力補正手段における処理を説明す
るフローチャートの図である。
【図49】 センサ出力補正手段に格納されている補正
データ形式の一例を示す図である。
【図50】 頭部動作による直線的な動作入力が必要な
場合を説明する図である。
【図51】 単独センサ選択手段における処理を説明す
るフローチャートの図である。
【図52】 頭部の同一方向動作を複数の異なる種類の
センサで検出する場合を説明する図である。
【図53】 最適センサ選択手段における処理を説明す
るフローチャートの図である。
【図54】 センサの出力のドリフトの経時変化の一例
を示す図である。
【図55】 基準量更新手段に格納されている更新デー
タ形式の一例を示す図である。
【図56】 基準量更新手段における初期設定作業の処
理を説明するフローチャートの図である。
【図57】 基準量更新手段における更新方法の使い分
けを説明する図である。
【図58】 基準量更新手段における更新方法の使い分
けの処理を説明するフローチャートの図である。
【図59】 ドリフトの経時変化データの初期値と基準
量保持部で保持された基準量の初期値が異なる場合を説
明する図である。
【図60】 基準量更新手段におけるタイムシフト処理
を説明するフローチャートの図である。
【図61】 正面状態検出手段によって正面を向いてい
ることを検出する方法の一例を示す図である。
【図62】 角度情報補正手段における処理を説明する
フローチャートの図である。
【図63】 角度超過通知手段による安定的な機器操作
を説明する図である。
【図64】 角度超過通知手段における処理をを説明す
るフローチャートの図である。
【図65】 動作パターンメモリ部に新たな基本動作パ
ターンを書き込むための一連の処理を説明するフローチ
ャートの図である。
【図66】 頭部動作検出による機器制御装置の使用時
間を制限するための経過時間管理手段と使用時間制限手
段を説明するフローチャートの図である。
【図67】 頭部動作検出による機器制御装置の使用時
間を制限するための開閉眼検出手段と瞬目増加率演算手
段と閉眼継続時間検出手段と視覚疲労軽減手段を説明す
るフローチャートの図である。
【図68】 開閉眼検出手段において目の開閉状態を自
動検出する方法の例とそのとき得られる出力を説明する
図である。
【図69】 従来の頭部の動きを単独に検出することに
よる機器制御装置の構成例の図である。
【符号の説明】
11,22,51,81,91,111,131,16
1,171,281,291 非平面スクリーン 12,72,112,132,152,162,17
2,282,292 投影レンズ 13,53,63,73,83,93,113,13
5,153,163,173 画像形成手段 14 画像投影手段 15,114,136 歪補正手段 16,115,137 画像信号生成手段 17 頭部動き検出手段 18 制御信号発生手段 23 画像投影部 24 動き検出部 41,151,301 平面スクリーン 42,82,92 球面スクリーン 43,54,64,84,94,302,321 投影
機 52,62 投影光学系 55,65 後側被写界深度 56,66 前側被写界深度 57,67,138 平均結像面 58,68 投影光学系の主点延長線 59,69 画像形成手段の延長線 71 投影像 133 倒立実像面 134 歪補正光学系 211,213 傾斜角センサ 212,242,243,244,271,272,2
73 角速度センサ 285,294 左斜め上画像 284,295 正面画像 286,296 右斜め下画像 283 入力画像範囲 303 投影画像 322 透過型スクリーン 323 外界の像 331,332 接眼レンズ 333,334 画像表示装置 335 虚像 101〜10n センサ 341 制御対象機器 342 動作量生成部 343 基準量保持部 344 状態量生成部 345 変化量生成部 346 動作パターンメモリ部 347 頭部動作認識部 348 制御信号生成部 349 制御実行処理部 3510 ヘッドセット 3511 スピーカ 3512 マイク 3513 頭部 3614 動作量a 3615 動作量b 4016 ベルトA 4017 接合具A 4018 ベルトB 4019 接合具B 4820 傾斜角センサ 4821 回転軸 4822 振子 5123 モニタ 5124 カーソル 5325 地磁気センサ 5326 回転角速度センサ 6227 発光部a 6228 受光部a 6229 発光部b 6230 受光部b 6231 光路a 6232 光路b 6233 光路a’ 6234 光路b’ 6235 信号処理部 6236 頭部装着型ディスプレイ 6237 反射板a 6238 反射板b 6939 発光素子 6940 受光素子 6941 電極 6942 アース電極

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】投影すべき画像を表示するための非平面な
    スクリーンと、 このスクリーンに投影する画像信号を生成するための画
    像信号生成手段と、 この画像信号生成手段で生成した画像信号に歪を加える
    歪補正手段と、 この歪補正手段によって歪を加えられた画像信号から前
    記スクリーンに投影すべき画像を形成する画像形成手段
    と、 この画像形成手段によって形成した画像をスクリーン上
    に投影するための画像投影手段と、 この画像投影手段によってスクリーン上に投影された画
    像を結像させる投影光学系とを具備することを特徴とす
    る画像投影装置。
  2. 【請求項2】投影すべき画像を表示するための非平面な
    スクリーンと、 頭部の動きを検出する頭部動き検出手段と、 この頭部動き検出手段によって検出した頭部の動きによ
    り前記スクリーンに投影する画像信号を生成するための
    画像信号生成手段と、 この画像信号生成手段で生成した画像信号に歪を加える
    歪補正手段と、 この歪補正手段によって歪を加えられた画像信号から前
    記スクリーンに投影すべき画像を形成する画像形成手段
    と、 この画像形成手段によって形成した画像をスクリーン上
    に投影するための画像投影手段と、 この画像投影手段によってスクリーン上に投影された画
    像を結像させる投影光学系とを具備することを特徴とす
    る画像投影装置。
  3. 【請求項3】頭部の動きを検出する頭部動き検出手段
    と、 この頭部動き検出手段によって検出した頭部の動きに応
    じた動作量を生成する動作量生成手段と、 この動作量生成手段によって任意のタイミングで生成さ
    れた動作量を、頭部の動作の基準量として保持する基準
    量保持手段と、 この基準量保持手段によって保持されている基準量をも
    とに、前記動作量生成手段によって生成された動作量か
    ら頭部の角度の変化量を生成する変化量生成手段と、 頭部動作の基本動作パターンを記憶してなる動作パター
    ン記憶手段と、 この動作パターン記憶手段に記憶された動作パターンを
    もとに、前記変化量生成手段によって生成された頭部の
    角度の変化量から頭部の動作を認識するための認識手段
    と、 この認識手段によって認識された頭部の動作に対応して
    機器の制御を行うための制御手段とを具備したことを特
    徴とする機器制御装置。
  4. 【請求項4】前記基準量保持手段は、ヘッドセットの装
    着を自動的に検出後、あるいは使用者による装着確認操
    作後、あるいは電源投入後に動作量を保持することを特
    徴とする請求項3記載の機器制御装置。
  5. 【請求項5】頭部が体に対して正面を向いていることを
    検出するための正面検出手段を有し、前記変化量生成手
    段において、角度の変化量を補正することを特徴とする
    請求項3記載の機器制御装置。
JP7259457A 1995-09-13 1995-09-13 画像投影装置および機器制御装置 Pending JPH0981785A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7259457A JPH0981785A (ja) 1995-09-13 1995-09-13 画像投影装置および機器制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7259457A JPH0981785A (ja) 1995-09-13 1995-09-13 画像投影装置および機器制御装置

Publications (1)

Publication Number Publication Date
JPH0981785A true JPH0981785A (ja) 1997-03-28

Family

ID=17334338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7259457A Pending JPH0981785A (ja) 1995-09-13 1995-09-13 画像投影装置および機器制御装置

Country Status (1)

Country Link
JP (1) JPH0981785A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002203257A (ja) * 2000-10-31 2002-07-19 Namco Ltd 画像表示装置、画像表示方法、情報記憶媒体および画像表示プログラム
JP2002236935A (ja) * 2000-12-07 2002-08-23 Namco Ltd 画像表示装置、画像表示方法、情報記憶媒体および画像表示プログラム
JP2003030677A (ja) * 2001-07-19 2003-01-31 Namco Ltd 画像表示装置、画像表示方法、情報記憶媒体および画像表示プログラム
WO2003107663A1 (en) * 2002-06-12 2003-12-24 Silicon Optix Inc. Short throw projection system and method
US7384158B2 (en) 2003-01-08 2008-06-10 Silicon Optix Inc Image projection system and method
JP2008275896A (ja) * 2007-04-27 2008-11-13 Ricoh Co Ltd 画像投影装置
US7714943B2 (en) 2002-06-12 2010-05-11 Geo Semiconductor Inc. Ultra-thin image projection system
JP2012514392A (ja) * 2008-12-30 2012-06-21 ゼンハイザー・エレクトロニック・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング・ウント・コンパニー・コマンデイトゲゼルシャフト 制御システム、イヤホン、および制御方法
JP2018004889A (ja) * 2016-06-30 2018-01-11 パナソニックIpマネジメント株式会社 ヘッドアップディスプレイ

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002203257A (ja) * 2000-10-31 2002-07-19 Namco Ltd 画像表示装置、画像表示方法、情報記憶媒体および画像表示プログラム
JP4726336B2 (ja) * 2000-10-31 2011-07-20 株式会社バンダイナムコゲームス 画像表示装置、画像表示方法、情報記憶媒体および画像表示プログラム
JP2002236935A (ja) * 2000-12-07 2002-08-23 Namco Ltd 画像表示装置、画像表示方法、情報記憶媒体および画像表示プログラム
JP4726347B2 (ja) * 2000-12-07 2011-07-20 株式会社バンダイナムコゲームス 画像表示装置、画像表示方法、情報記憶媒体および画像表示プログラム
JP2003030677A (ja) * 2001-07-19 2003-01-31 Namco Ltd 画像表示装置、画像表示方法、情報記憶媒体および画像表示プログラム
WO2003107663A1 (en) * 2002-06-12 2003-12-24 Silicon Optix Inc. Short throw projection system and method
US7714943B2 (en) 2002-06-12 2010-05-11 Geo Semiconductor Inc. Ultra-thin image projection system
US7384158B2 (en) 2003-01-08 2008-06-10 Silicon Optix Inc Image projection system and method
JP2008275896A (ja) * 2007-04-27 2008-11-13 Ricoh Co Ltd 画像投影装置
JP2012514392A (ja) * 2008-12-30 2012-06-21 ゼンハイザー・エレクトロニック・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング・ウント・コンパニー・コマンデイトゲゼルシャフト 制御システム、イヤホン、および制御方法
US8949744B2 (en) 2008-12-30 2015-02-03 Sennheiser Electronic Gmbh & Co. Kg Control system, earphone and control method
JP2018004889A (ja) * 2016-06-30 2018-01-11 パナソニックIpマネジメント株式会社 ヘッドアップディスプレイ

Similar Documents

Publication Publication Date Title
US11314325B2 (en) Eye tracking to adjust region-of-interest (ROI) for compressing images for transmission
US10775886B2 (en) Reducing rendering computation and power consumption by detecting saccades and blinks
US10720128B2 (en) Real-time user adaptive foveated rendering
US10983593B2 (en) Wearable glasses and method of displaying image via the wearable glasses
US10169846B2 (en) Selective peripheral vision filtering in a foveated rendering system
CN107430278B (zh) 基于用户的上下文敏感全息图反应
US9013264B2 (en) Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
CN108154864B (zh) 显示屏处理方法、第一电子设备以及第二电子设备
US20130114043A1 (en) See-through display brightness control
JP7001832B2 (ja) 視標追跡システムの画像調整
WO2020256968A1 (en) Imaging device with field-of-view shift control
US20160170482A1 (en) Display apparatus, and control method for display apparatus
CN116033864A (zh) 使用非球形角膜模型的眼睛跟踪
US20220291744A1 (en) Display processing device, display processing method, and recording medium
JP2022547893A (ja) 視覚シーンを投影面上へマッピングする装置および方法
JPH0981785A (ja) 画像投影装置および機器制御装置
WO2019021601A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018147086A (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
KR101492832B1 (ko) 영상 제어 방법 및 이를 이용한 영상 표시 장치
JP2018147458A (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
JPH09266559A (ja) 表示装置
CN207457605U (zh) 可视显示装置
JPH08266464A (ja) 眼光学系のシミュレーション装置
JPH1127608A (ja) ディスプレイシステム
WO2023023206A1 (en) Systems and methods for performing eye-tracking