JP4461792B2 - 情報表示装置 - Google Patents

Description

本発明は、ニアアイディスプレイなどのウエアラブルな情報表示装置、特に、ユーザに対し外界と画像との双方を呈示する情報表示装置に関する。なお、外界とは、情報表示装置より外側の領域のことである。

単眼タイプのニアアイディスプレイ（特許文献１など）を装着したユーザは、一方の眼で外界を目視し、他方の眼でニアアイディスプレイの表示画像を目視することができる。
例えば、ユーザは、このニアアイディスプレイをＤＶＤプレーヤなどの機器に接続して映画を見る。多くの場合、そのユーザの意識は外界よりも映画の方に集中する。
しかし、ユーザの前を人が突然横切ったり、ユーザの前方にあった物体が急接近したり、ユーザの周辺で消灯していた照明が急に点灯したり、ユーザの周囲で非常灯が点滅するなどの変化が生じると、ユーザの意識の集中の対象は、即座に映画から外界に切り換わる。

このような脳内の切り換えは、外界の危険を即座に察知するために役立つ。
特開平８−３０５２９８号公報

しかし、屋内などの比較的安全な使用状況にあっては、この脳内の切り換えは映画への没入感を損ねるだけなので、煩わしく感じられる。
そこで本発明は、ユーザの画像に対する没入感を維持することのできる情報表示装置を提供することを目的とする。

本発明の情報表示装置は、文字情報又は画像情報からなる画像を表示する光学系と、ユーザの両眼に対し外界と前記画像の双方が呈示されるよう前記光学系を前記ユーザに装着する装着手段とを備えた情報表示装置において、前記外界のうち、前記画像を見ている状態の前記ユーザが目視することのできる範囲の状況変化の速度を検出する検出手段と、前記外界に対する相対的な前記画像の強調度を変化させることの可能な制御部とを備え、前記制御部は、前記状況変化の速度が所定範囲に含まれるときには、前記画像の強調度を高めることを特徴とする。
なお、ここでいう「外界の状況変化」とは、特に、外界のうちユーザの視野に含まれる領域のイメージに影響を及ぼすものを指す。例えば、視野内における物体の上下方向、左右方向、遠近方向の移動や、視野外から視野内への物体の移動や、視野内に存在する物体の明るさの変化や、視野内に存在する物体のサイズの変化などは、「外界の状況変化」に含まれる。

なお、前記所定範囲は、前記ユーザの脳が認識可能な範囲に設定されてもよい。
また、前記制御部は、前記画像の輝度向上により前記画像の強調度を高めてもよい。

また、前記制御部は、前記画像のコントラスト強調により前記画像の強調度を高めてもよい。
また、前記制御部は、前記画像の輪郭強調により前記画像の強調度を高めてもよい。

また、前記制御部は、前記外界から前記眼に入射する外界光束の強度を弱めることにより前記画像の強調度を高めてもよい。
また、前記制御部は、前記状況変化の速度に応じて前記強調度を変化させるモードと、前記状況変化の速度に拘わらず前記強調度を変化させないモードとの間で切り換え可能であってもよい。

本発明によれば、ユーザの画像に対する没入感を維持することのできる情報表示装置が実現する。

以下、図面を参照して本発明の実施形態について説明する。
［第１実施形態］
以下、図１、図２、図３、図４、図５、図６を参照して本発明の第１実施形態について説明する。
本実施形態は、ニアアイディスプレイの実施形態である。

先ず、ニアアイディスプレイの全体の構成について説明する。
このニアアイディスプレイには、図１に示すように、ヘッドホン１１Ｒ，１１Ｌ、リアアーム１２、フロントアーム１３、コントローラ１４、ディスプレイ部（請求項における光学系に対応。）１６などが備えられる。
リアアーム１２，フロントアーム１３は、それぞれユーザＵの頭部より若干広い曲率半径の円弧状をしている。

ヘッドホン１１Ｒ，１１Ｌは、リアアーム１２の両端にそれぞれ取り付けられる。ヘッドホン１１Ｒには、ユーザＵの右耳に装着するための装着部材１１Ｒ’が、ヘッドホン１１Ｌには、ユーザＵの左耳に装着するための装着部材１１Ｌ’がそれぞれ取り付けられている（請求項における装着手段に対応。）。
ディスプレイ部１６は、フロントアーム１３の一端に取り付けられる。フロントアーム１３の他端は、コントローラ１４を介してリアアーム１２の一端に連結されている。

コントローラ１４は、フロントアーム１３及びリアアーム１２からなる全アームの何れかの箇所（図１では、フロントアーム１３とリアアーム１２との連結部）に設けられる。
ヘッドホン１１Ｒ，１１Ｌがそれぞれ装着部材１１Ｒ’，１１Ｌ’を介してユーザＵの右耳及び左耳に装着されると、ディスプレイ部１６はユーザＵの一方の眼ＥＬ（図１では左眼）の前に位置する。

この一方の眼ＥＬが画像を目視する眼であり、他方の眼ＥＲが外界を目視する眼である。以下、前者を「観察眼」、後者を「非観察眼」という。
因みに、この状態のままディスプレイ部１６のみを観察眼ＥＬの前から退避させたり、ディスプレイ部１６の位置や角度を調整したりするために、リアアーム１２及びフロントアーム１３からなる全アームの何れかの箇所には、不図示の伸縮機構や回動機構などからなる調整機構が設けられている。因みに、リアアーム１２とフロントアーム１３の連結部（コントローラ１４の設けられた箇所）は伸縮機構を有しており、観察眼ＥＬとディスプレイ部１６との間隔は調整可能である。

さらに、本実施形態のニアアイディスプレイにおいては、ディスプレイ部１６に画像センサ（小型ビデオカメラ）１７が設けられる（請求項における検出手段に対応。）。
画像センサ１７の解像度、フレーム速度などは、動体検出する監視用のビデオカメラなどと同程度である。
この画像センサ１７の検出対象範囲は、画像を見ている状態のユーザＵが目視することのできる外界の範囲（以下、単に「視野」という。）と略同じである。よって、画像センサ１７の出力は、ユーザＵが目視することのできる外界の映像を示す（以下、この映像を「視野映像」という。）。

次に、本実施形態のディスプレイ部１６、コントローラ１４の内部構成について説明する。
ディスプレイ部１６内には、図２に示すように、観察眼ＥＬの側から順にレンズ１６ａ及び表示素子１６ｂが配置される。表示素子１６ｂの表示画面Ｉは観察眼ＥＬの方向を向いている。

ディスプレイ部１６の画像センサ１７内には、外界側から順にレンズ１７ａ及び撮像素子１７ｂが配置される。
コントローラ１４内には、ＣＰＵ（請求項における制御手段に対応。）１４ａ、画像処理回路１４ｃ、外部インタフェース回路１４ｄ、検出回路（請求項における検出手段に対応。）１８が備えられる。

検出回路１８内には、図４（後述）に示すように、差分回路１８ａ、評価値抽出回路１８ｂ、閾値回路１８ｃが備えられる。
なお、ディスプレイ部１６とコントローラ１４とは、不図示の接続線を介して電気的に接続されている。
次に、本実施形態のニアアイディスプレイの基本動作について説明する。

コントローラ１４には、ＤＶＤプレーヤなどの外部機器から映像信号が順次入力される。映像信号は、コントローラ１４内の外部インタフェース回路１４ｄ及び画像処理回路１４ｃを介してディスプレイ部１６内の表示素子１６ｂに順次入力される。これによって、表示素子１６ｂの表示画面Ｉには映像が表示される（以下、この映像を「表示映像」という。）。

画像処理回路１４ｃは、順次入力される映像信号に対し階調変換処理や二次元画像処理などを施し、映像信号を表示素子１６ｂに適した状態に変換する。
本実施形態の画像処理回路１４ｃは、順次入力される映像信号に対し、コントラスト強調（輝度範囲拡大）の処理を施すこともできる。
この処理によって、外界に対する表示映像の相対的な強調度を高めることができる。

このコントラスト強調は、ＣＰＵ１４ａの指示に従って行われる。
因みに、コントラスト強調は、画像処理回路１４ｃの階調変換特性が、例えば図３（ａ）から図３（ｂ）へと変化することに相当する（なお、図３に示した変化は、中間の輝度範囲のみをコントラスト強調するものであるが、全体の輝度範囲がコントラスト強調されたのと実質的に同様の効果がある。）。

表示画面Ｉからの射出光束は、レンズ１６ａを介してユーザＵの観察眼ＥＬに入射する。レンズ１６ａは、表示画面Ｉからの射出光束を平行光束に近づける。よって、表示画面Ｉの実際の位置よりも観察眼ＥＬから離れた位置に、表示画面Ｉの虚像Ｉ’が呈示される。
一方、外界から画像センサ１７に入射した光束は、図４に示すように、レンズ１７ａを介して撮像素子１７ｂ上に結像する。

撮像素子１７ｂは、所定のフレーム速度で撮像を行い視野映像を示すフレームデータを繰り返し取得し、それを順次出力する。
よって、フレーム速度よりも高速で生じた視野内の周期的な輝度分布変化（例えば、蛍光灯のちらつきなど、ユーザＵの脳が認識できないような変化）は、フレームデータに反映されない。

フレームデータは、検出回路１８内の差分回路１８ａに入力される。差分回路１８ａは、隣接フレームデータ（図４（ａ）参照）の間の差分（図４（ｂ）参照）をとる。この差分のデータは、評価値抽出回路１８ｂに入力される。
評価値抽出回路１８ｂは、差分のデータの絶対値の積分値（図４（ｂ）の斜線部の面積）を求め、その積分値を評価値（図４（ｃ）参照）とする。

このような評価値は、１フレーム周期中の視野映像の輝度分布変化量（つまり、フレーム速度基準の輝度分布変化速度）に相当する。
この評価値は、閾値回路１８ｃに入力される。閾値回路は、予め決められた閾値と評価値とを比較し、評価値が閾値を上回った場合にのみ検出信号（図４（ｄ）参照）を生成する。

よって、検出信号は、視野映像の輝度分布変化速度が一定以上になったときにのみ生成される。
なお、視野映像の輝度分布変化速度がユーザＵの脳によって認識されないくらい緩やかなとき（例えば、視野映像が穏やかな空を映し出しているときなど）には検出信号が生成されないよう、閾値回路１８ｃの閾値は予めの実験結果に基づき適正値に選定される。

以上のようにして検出回路１８にて生成された検出信号は、ＣＰＵ１４ａに与えられる。ＣＰＵ１４ａは、この検出信号に応じて各部を制御する。
次に、本実施形態のニアアイディスプレイの動作の流れについて説明する。なお、この動作の流れは、ＣＰＵ１４ａが制御する。
ユーザＵは、このニアアイディスプレイを自分の所望する場所で使用する。このとき、表示画面Ｉ（図２参照）には、外部機器からの映像（表示映像）が表示される。ユーザＵの意識は、この表示映像に集中する。

ニアアイディスプレイでは、画像センサ１７及び検出回路１８が連続的に動作し、視野映像の輝度分布変化速度が一定以上になったときにのみ、検出信号が生成される（図４参照）。検出信号が生成されると、画像処理回路１４ｃは、即座にコントラスト強調（図３参照）の処理を開始する。コントラスト強調の処理は、所定期間に亘り続けられる。
これらの画像センサ１７及び検出回路１８の動作からコントラスト強調までの一連の処理は、繰り返し連続して行われる。

次に、本実施形態のニアアイディスプレイの効果について説明する。
このニアアイディスプレイでは、ユーザＵの意識が表示映像に集中しているときに、例えば図５（ａ）に示すように視野内に存在する物体Ｏの位置やサイズが一定の速度範囲で変化すると、例えば図５（ｂ）に示すように表示映像のコントラストが高まり、表示映像が強調される。同様に、視野内に存在する物体Ｏの明るさが一定の速度範囲で変化しても、表示映像のコントラストが高まり、表示映像が強調される。

したがって、このニアアイディスプレイは、視野内に状況変化が生じ始めたタイミングでユーザＵの意識を表示映像の方に惹きつけてユーザＵの脳内の切り換えを防ぎ、ユーザＵの表示映像への没入感を維持させることができる。
また、蛍光灯のちらつきなど、ユーザＵの脳が認識できないような高速の周期的変化はフレームデータに反映されず、また、穏やかな空の変化など、ユーザＵの脳が殆ど認識しないような低速変化は検出信号を何ら生成させないので、上述したコントラスト強調の処理の頻度は、必要最小限に抑えられる。

（その他）
なお、コントラスト強調の期間を「所定期間」としたが、その理由は、外界の状況変化が一度発生すると、その後にも繰り返し発生する可能性が高いからである。
また、コントラスト強調の程度を急激に変化させるとユーザＵに違和感を与える可能性があるので、例えば、コントラスト強調の期間の終了時には、その強調の程度を徐々に弱めるようにしてもよい。また、コントラスト強調の期間の開始時に、その強調の程度を徐々に強めるようにしてもよい。

また、検出信号の発生頻度が高いときにはコントラスト強調の期間を長くするなど、外界の状況変化の仕方に柔軟に対応した制御が行われてもよい。
また、本実施形態では、表示映像を強調するために、映像信号のコントラスト強調が行われたが、コントラスト強調に代えて輝度シフト（高輝度側へのシフト）が行われてもよい。

因みに、輝度シフトは、画像処理回路１４ｃの階調変換特性が、例えば図６（ａ）のように変化することに相当する（なお、図６（ａ）に示した変化は、比較的低い輝度範囲のみを輝度シフトするものであるが、全体の輝度範囲が輝度シフトされたのと実質的に同様の効果がある。）。
また、コントラスト強調に代えて、輪郭強調が行われてもよい。輪郭強調は、表示映像の輝度分布が、例えば図６（ｂ）のように変化することに相当する。

また、表示映像の輝度を変化させる方法としては、映像信号に対し変換を施す方法の他に、表示素子１６ｂの照明光強度を調整するなど他の方法が採用されてもよい。
また、表示映像のコントラストを変化させる方法としては、映像信号に対し変換を施す方法の他に、表示素子１６ｂの駆動電圧を調整するなど他の方法が採用されてもよい。
また、表示映像の強調方法としては、コントラスト強調、輝度シフト、輪郭強調の何れか２つ以上を組み合わせたものが採用されてもよい。

［第２実施形態］
以下、図７、図８を参照して本発明の第２実施形態について説明する。
本実施形態は、ニアアイディスプレイの実施形態である。ここでは、第１実施形態との相違点についてのみ説明する。
第１の相違点は、図７に示すように、外界光調整機構２０が設けられた点にある。この外界光調整機構２０は、第１実施形態のコントラスト調整に代わる動作をする（よって、本実施形態の画像処理回路１４ｃ’は、コントラスト調整をする必要は無い。）。

外界光調整機構２０は、減光板２０ａ、フロントアーム１３’、回動機構２０ｂなどからなる。
減光板２０ａは、フロントアーム１３’の一端に取り付けられる。フロントアーム１３’は、フロントアーム１３と対称にリアアーム１２に連結される。
ヘッドホン１１Ｒ，１１Ｌがそれぞれ装着部材１１Ｒ’，１１Ｌ’を介してユーザＵの右耳及び左耳に装着されると、減光板２０ａはユーザＵの非観察眼ＥＲの前に位置する。

回動機構２０ｂは、フロントアーム１３’を介して減光板２０ａを図７中の矢印Ｄの方向に移動することができる。
減光板２０ａは、非観察眼ＥＲの前に配置されたり、非観察眼ＥＲの前から退避したりする。
非観察眼ＥＲの前に配置された減光板２０ａは、外界から非観察眼ＥＲに入射する光束の光量の一部をカットし、非観察眼ＥＲから見た外界の明るさを抑える。減光板２０ａの透過率は、一般のサングラスなどの透過率と同程度である。

よって、回動機構２０ｂが駆動され、減光板２０ａが非観察眼ＥＲの前に配置されると、外界に対する表示映像（表示画面Ｉに映し出される映像）の相対的な強調度は高まり、減光板２０ａが非観察眼ＥＲの前から退避すると、表示映像の相対的な強調度は元に戻る。
回動機構２０ｂの内部には、図８に示すように回動機構２０ｂを駆動するモータＭが設けられ、そのモータＭはコントローラ１４’内のＣＰＵ１４ａ’の指示に従って動作する。

よって、表示映像の強調度は、ＣＰＵ１４ａ’によって制御可能である。
次に、本実施形態のニアアイディスプレイの動作の流れについて説明する。なお、この動作の流れは、ＣＰＵ１４ａ’が制御する。
ユーザＵは、このニアアイディスプレイを自分の所望する場所で使用する。このとき、表示画面Ｉ（図８参照）には、外部機器からの映像（表示映像）が表示される。ユーザＵの意識は、この表示映像に集中する。このとき、回動機構２０ｂは、減光板２０ａを非観察眼ＥＲの前から退避させている。

ニアアイディスプレイでは、画像センサ１７及び検出回路１８が連続的に動作し、視野映像の輝度分布変化速度が一定以上になったときにのみ、検出信号が生成される（図４参照）。検出信号が生成されると、回動機構２０ｂは、即座に減光板２０ａを非観察眼ＥＲの前に配置する。所定期間が経過すると、回動機構２０ｂは再び減光板２０ａを非観察眼ＥＲの前から退避させる。

これらの画像センサ１７及び検出回路１８の動作から減光板２０ａの移動までの一連の処理は、繰り返し連続して行われる。
なお、減光板２０ａの移動（非観察眼ＥＲの前に配置すること）は、検出信号の発生頻度が一定以上のときにのみ実施される。
次に、本実施形態のニアアイディスプレイの効果について説明する。

このニアアイディスプレイでは、ユーザＵの意識が表示映像に集中しているときに、例えば図５（ａ）に示すように視野内に存在する物体Ｏの位置やサイズが一定の速度範囲で変化すると、外界の見た目の明るさが抑えられ、表示映像が相対的に強調される。同様に、視野内に存在する物体Ｏの明るさが一定の速度範囲で変化しても、外界の見た目の明るさが抑えられ、表示映像が相対的に強調される。

したがって、このニアアイディスプレイは、第１実施形態のニアアイディスプレイと同様、視野内に状況変化が生じ始めたタイミングでユーザＵの意識を表示映像の方に惹きつけてユーザＵの脳内の切り換えを防ぎ、ユーザＵの表示映像への没入感を維持させることができる。
また、蛍光灯のちらつきなど、ユーザＵの脳が認識できないような高速の周期的変化はフレームデータに反映されず、また、穏やかな空の変化など、ユーザＵの脳が殆ど認識しないような低速変化は検出信号を何ら生成させないので、減光板２０ａの移動頻度は、必要最小限に抑えられる。

（その他）
なお、本実施形態では、外界の見た目の明るさを抑えるために減光板２０ａが用いられたが、遮光板が用いられてもよい。
また、本実施形態では、外界の見た目の明るさを変化させるために可動の部材（減光板２０ａ）とそれを駆動する機構（回動機構２０ｂ）とが用いられたが、透過率可変の減光素子（液晶素子など）を用いてもよい。

［その他］
なお、上記各実施形態のニアアイディスプレイにユーザＵ自身の運動（首を意図的に動かしたときの運動など）を検出するセンサ（加速度センサなど）を設け、視野内で生じた輝度分布変化がユーザＵ自身の運動によるもののみであった場合には、検出信号の有無に拘らず表示映像の強調が禁止されるように構成してもよい。このようにすれば、強調の頻度は、さらに抑えられる。

また、上記各実施形態のニアアイディスプレイにおける画像センサ１７の配置箇所は、ディスプレイ部１６とされたが、視野を検出対象範囲でカバーできるのであれば、ヘッドホン１１Ｒ，１１Ｌなど他の箇所であってもよい。
また、上記各実施形態では、視野の状況変化を検出するために、視野の輝度分布を検出する画像センサ１７が用いられたが、検出回路１８内の処理を簡単にするために、画像センサ１７に代えて視野の平均輝度のみを検出する輝度センサが用いられてもよい。

また、視野の状況変化を検出するために、視野内に存在する物体Ｏの距離の変化を検出する測距センサが用いられてもよい。
また、上記各実施形態のニアアイディスプレイを、状況変化の速度に応じて表示映像を強調するモード（集中モード）と、状況変化の速度に拘わらず表示映像を強調しないモード（非集中モード）との間で切り換え可能に構成してもよい。

例えば、ユーザＵは、屋内などの安全な場所でニアアイディスプレイを使用するときには「集中モード」に設定し、安全とは限らない場所でニアアイディスプレイを使用するときには「非集中モード」に設定する。
このように、「集中モード」と「非集中モード」とを使い分ければ、表示映像への没入感を、必要なときにのみ得ることができる。

第１実施形態のニアアイディスプレイの概観図である。 第１実施形態のディスプレイ部１６及びコントローラ１４のブロック図である。 コントラスト強調の方法の一例を説明する図である。 第１実施形態の画像センサ１７及び検出回路１８のブロック部図である。 ニアアイディスプレイの動作を示す図である。 輝度シフトの方法の一例、及び輪郭強調の方法の一例を説明する図である。 第２実施形態のニアアイディスプレイの概観図である。 第２実施形態のディスプレイ部１６、コントローラ１４’、外界光調整機構２０のブロック図である。

符号の説明

１１Ｒ，１１Ｌ ヘッドホン
１１Ｒ’，１１Ｌ’ 装着部材
１２ リアアーム
１３，１３’ フロントアーム
１４，１４’ コントローラ
１４ａ，１４ａ’ ＣＰＵ
１４ｄ 外部インタフェース回路
１４ｃ，１４ｃ’ 画像処理回路
１６ ディスプレイ部
１６ａ，１７ａ レンズ
１６ｂ 表示素子
１７ 画像センサ
１７ｂ 撮像素子
１８ 検出回路
１８ａ 差分回路
１８ｂ 評価値抽出回路
１８ｃ 閾値回路
ＥＬ 観察眼
ＥＲ 非観察眼
Ｕ ユーザ
Ｏ 物体
Ｉ 表示画面
Ｉ’ 虚像
２０ 外界光調整機構
２０ａ 減光板
２０ｂ 回動機構
Ｍ モータ

Claims (7)

1. 文字情報又は画像情報からなる画像を表示する光学系と、
   ユーザの両眼に対し外界と前記画像の双方が呈示されるよう前記光学系を前記ユーザに装着する装着手段と
   を備えた情報表示装置において、
   前記外界のうち、前記画像を見ている状態の前記ユーザが目視することのできる範囲の状況変化の速度を検出する検出手段と、
   前記外界に対する相対的な前記画像の強調度を変化させることの可能な制御部とを備え、
   前記制御部は、
   前記状況変化の速度が所定範囲に含まれるときには、前記画像の強調度を高める
   ことを特徴とする情報表示装置。
2. 請求項１に記載の情報表示装置において、
   前記所定範囲は、
   前記ユーザの脳が認識可能な範囲である
   ことを特徴とする情報表示装置。
3. 請求項１又は請求項２に記載の情報表示装置において、
   前記制御部は、
   前記画像の輝度向上により前記画像の強調度を高める
   ことを特徴とする情報表示装置。
4. 請求項１〜請求項３の何れか一項に記載の情報表示装置において、
   前記制御部は、
   前記画像のコントラスト強調により前記画像の強調度を高める
   ことを特徴とする情報表示装置。
5. 請求項１〜請求項４の何れか一項に記載の情報表示装置において、
   前記制御部は、
   前記画像の輪郭強調により前記画像の強調度を高める
   ことを特徴とする情報表示装置。
6. 請求項１〜請求項５の何れか一項に記載の情報表示装置において、
   前記制御部は、
   前記外界から前記眼に入射する外界光束の強度を弱めることにより前記画像の強調度を高める
   ことを特徴とする情報表示装置。
7. 請求項１〜請求項６の何れか一項に記載の情報表示装置において、
   前記制御部は、
   前記状況変化の速度に応じて前記強調度を変化させるモードと、前記状況変化の速度に拘わらず前記強調度を変化させないモードとの間で切り換え可能である
   ことを特徴とする情報表示装置。

Images