JP4622794B2

JP4622794B2 - 画面移動型表示装置

Info

Publication number: JP4622794B2
Application number: JP2005295008A
Authority: JP
Inventors: 裕二重田; 一郎吉田
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2005-10-07
Filing date: 2005-10-07
Publication date: 2011-02-02
Anticipated expiration: 2025-10-07
Also published as: JP2007099199A

Description

本発明は反射手段に複数の虚像画面を表示可能で、それら虚像画面の位置を移動できるようにした画面移動型表示装置に関する。

表示装置の一つにヘッドアップディスプレイがある。これは、透明または半透明な反射手段に向けて映像情報を光で投射すると、その映像情報の表示光が反射手段で反射されてユーザの目に入射することによって画像が虚像として結像されるというものである。

このヘッドアップディスプレイの技術を車両に適用し、車両のフロントウインドシールド（フロントウインドガラス）に映像情報を写し出す技術が開発されている（例えば、特許文献１）。これによれば、フロントウインドシールドを通して見る前景から目を離さずに映像情報を見ることができる。
特開２００５−２９０６７号公報

このヘッドアップディスプレイの応用として、フロントウインドシールドに映像情報としてスピードメータなどの計器類の画像、ナビ装置の地図画像、ビデオ画像やテレビ放送画像を映し出したりすることが考えられる。この場合、計器類や地図の画像は、運転席から見易い位置に表示されるなど、それら複数の画面は、それぞれ予め定められた位置に表示される。
しかしながら、地図画像であっても、助手席に座っている人が見たい場合もあり、また、ビデオ画像やテレビ放送画像は、車両の移動中は運転席の人には見えなくとも良いが、駐車中は運転席の人にとっても見易い位置に表示されることが望ましい。
そこで、本発明の目的は、反射手段によって映像情報を表示可能な表示装置において、その表示画面の位置を所望の位置に移動することができる表示装置を提供することにある。

請求項１の発明は、半透明または透明な反射手段に向けて映像情報を光で投射し、前記映像情報を前記反射手段による虚像として表示する光学ユニットと、ユーザの視線を検出する視線検出手段と、前記ユーザの指差し方向を検出する指差し方向検出手段と、前記視線検出手段により検出された前記視線と前記指差し方向検出手段により検出された前記指差し方向との一致位置を判断する方向一致判断手段と、前記方向一致判断手段により判断された前記視線と前記指差し方向との一致位置が前記反射手段に表示された前記虚像画面上あるとき当該虚像画面を移動対象画面と判断し、当該移動対象画面と判断した後、前記ユーザの視線と前記指差し方向が前記移動対象画面と判断された前記虚像画面上で一致したまま移動するとき、当該虚像画面を前記視線と前記指差し方向の移動に追従して移動させ、前記視線と前記指差し方向が不一致となった時、前記移動対象画面と判断された前記虚像画面を、前記視線と前記指差し方向が不一致となった位置で停止させる、または、前記移動対象画面と判断した後、前記移動対象画面と判断された前記虚像画面を残して前記ユーザの視線と前記指差し方向が一致したまま移動して前記視線と前記指差し方向が不一致となった時、前記移動対象画面と判断された前記虚像画面を、前記移動対象画面と判断された時の位置から前記視線と前記指差し方向が不一致となった位置に移す移動制御手段と、を具備してなる画面移動型表示装置にある。
上記構成の表示装置によれば、反射手段により表示される映像情報の表示位置を、ユーザの所望する位置に自在に移動させることができる。特に、視線と指差しによって画面を移動させることができるので、反射手段を通してその前方の状況を見ながらであっても、画面の移動操作が可能となる。

この場合、請求項２の発明のように、前記反射手段に向けて同時に複数の前記映像情報を光で投射可能で、前記反射手段により複数の前記虚像画面を表示可能としても良い。

請求項３の発明は、前記視線検出手段および前記指差し方向検出手段は、撮影手段による撮影画像に基づいて検出する構成で、撮影画像を予め記憶手段に記憶されているサンプル画像と比較して視線および指差し方向を判断することを特徴とする。
この構成によれば、視線を向けたり、指差したりする場合、個人毎に癖があって判断が難しいが、サンプル画像と比較することによって、比較的容易に判断することができる。

また、請求項４の発明のように、表示装置を車両に搭載し、反射手段を車両のフロントウインドシールドとすることができる。この構成に寄れば、計器類やナビゲーション装置の地図の画面をフロントウインドシールドに表示することができるので、フロントウインドシールドを通して見る前景から目を離さなくとも、計器類や地図を見ることができる。

以下、本発明の一実施形態を図面に基づいて説明する。
本実施形態の画面移動型表示装置１は、車両に搭載されており、図１に示すように、光学ユニット２を主体にして構成されている。この光学ユニット２は、複数台、例えば３台のヘッドアップディスプレイ３〜５を備えている。ヘッドアップディスプレイ３〜５は、反射手段としての透明なフロントウインドシールド６に画像を映し出す。なお、以下では、フロントウインドシールド６をウインドガラス６と称することとする。

ヘッドアップディスプレイ３〜５がウインドガラス６に画像を映し出す原理は、図３に示されている。即ち、ヘッドアップディスプレイ３〜５は、車両のインストルメントパネル７内に配設されており、それぞれ表示部としてのＴＦＴ型液晶パネル８、バックライト９およびミラー１０を備えている。液晶パネル８は、表示制御装置１１から映像情報を取得し、バックライト９からの光を受けてこの映像情報を画像として表示する。この液晶パネル８から出力される画像の表示光は、ミラー１０に反射されてウインドガラス６に向けて反射され、これにより、ウインドガラス６の前方に虚像ｍとして結像される。この場合、虚像ｍは、ウインドガラス６の前方に結像されるが、見る人にとっては、あたかも画像がウインドガラス６に映し出されたように見えるので、以下では、虚像ｍとして結像される画像をウインドガラス６に映し出された表示画面として扱うこととする。

本実施形態では、各ヘッドアップディスプレイ３〜５は、その向きを上下左右に自在に変えることができるように構成されており、その向きの変換によって、ウインドガラス６に映し出される表示画面の位置が移動されるようになっている。各ヘッドアップディスプレイ３〜５の向きの変換は、転向手段としての回動機構１２によって自動的に行われる。この回動機構１２は、各ヘッドアップディスプレイ３〜５を直交する２軸を中心にして回動できるように支持し、２個のステッピングモータ１２ａ，１２ｂによって一方の軸および他方の軸を中心に回動させる構成のものである。

一方、車両には、ナビゲーション装置１３が搭載されている。このナビゲーション装置１３は、図示しないラジオ受信機やＣＤプレーヤの他、ＤＶＤプレーヤ１４、テレビ受信機１５を組み込んだオーディオビデオ一体型として構成されている。また、ナビゲーション装置１３には、道路地図、ビデオやテレビ放送の映像を映し出すためのカラー液晶ディスプレイからなる表示部１６が組み込まれている。

ナビゲーション装置１３は、位置検出部１７、地図データ記憶部１８、メカニカルスイッチや表示部１６の画面上に設けられたタッチパネルなどからなる入力部１９、制御部２０などを備えている。制御部２０は、位置検出部１７から現在位置を検出し、地図データ記憶部１８から現在位置周辺の地図情報を取得して道路地図の映像情報（以下、単に地図映像情報）を出力する。また、ＤＶＤプレーヤ１４は、ＤＶＤからビデオ情報を取得して出力し、テレビ受信機１５は、テレビ放送電波を受信してテレビの映像情報（以下、単にテレビ映像情報）を出力する。

これらの地図映像情報、ビデオ情報、テレビ映像情報は、前述の表示制御装置１１に与えられ、この表示制御装置１１の制御下において、ナビゲーション装置１３の表示部１６に表示される。また、それら地図映像情報、ビデオ情報、テレビ映像情報は、表示制御装置１１の制御下において、光学ユニット２に与えられ、ウインドガラス６に表示することもできるようになっている。なお、ナビゲーション装置１３の表示部１６に、地図映像情報、ビデオ情報、テレビ映像情報のうちいずれを表示するかは、ナビゲーション装置１３の入力部１９の操作によって行う。また、地図映像情報、ビデオ情報およびテレビ映像情報をヘッドアップディスプレイ４によってウインドガラス６に表示することの選択は、同様にナビゲーション装置１３の入力部１９の操作によって行うようになっている。

車両には、表示制御装置１１に与えられる映像情報源として、上記のナビゲーション装置１３、ＤＶＤプレーヤ１４、テレビ受信機１５の他に、計器用映像情報生成装置２１が設けられている。この計器用映像情報生成装置２１は、車速センサ、燃料タンク残量センサ、油圧センサ、エンジン回転速度センサなどの各種計器用センサ群２２から計測データを取得し、これを基に計器映像情報を生成して表示制御装置１１に送る。表示制御装置１１は、この計器映像情報を光学ユニット２に与え、ウインドガラス６に表示させるようになっている。

ここで、光学ユニット２のヘッドアップディスプレイ３〜５は、それぞれ表示する映像を分担しており、ヘッドアップディスプレイ３は地図映像情報専用、ヘッドアップディスプレイ４はビデオ情報およびテレビ映像情報兼用、ヘッドアップディスプレイ５は計器映像情報専用となっている。これら、ヘッドアップディスプレイ３〜５によるウインドガラス６への表示画面の表示位置は、初期的には、例えば、計器映像情報の表示画面はウインドガラス６の運転席正面の中央下部、地図映像情報の表示画面は計器映像情報の表示画面の右側、ビデオ情報またはテレビ映像情報は計器映像情報の表示画面の左側に定められている。

そして、それら表示画面の表示位置は、ユーザの所望する位置に移動させることができるようになっている。この場合、本実施例では、表示画面のうち、地図映像情報、ビデオ情報、テレビ映像情報は、ウインドガラス６内だけでなく、ナビゲーション装置１３の表示部１６へも移動できるようにもなっている。本実施形態では、表示画面の移動操作は、視線と指差し方向、および音声で行うようになっている。そのために、図２に示すように、車両には、撮影手段としての撮影手段としての室内カメラ２３、マイクロフォン２４、手元スイッチ装置２５が設けられている。

室内カメラ２３は、車室内の天井の前部中央に配置されていて運転者の顔と手を撮影できるようになっている。マイクロフォン２４は、入力された音声を音声波形データにして出力する。手元スイッチ装置２５は、例えばステアリングホイール２６に設けられ、移動モード設定スイッチ２７および確定スイッチ２８の２つのスイッチからなる。これら、室内カメラ２３、マイクロフォン２４、移動モード設定スイッチ２７、確定スイッチ２８は、ヒューマン・マシーン・インターフェース（以下、ＨＭＩ）２９に接続されている。

移動モード設定スイッチ２７は、操作する都度、オンとオフを交互に行う形式のスイッチで、ウインドガラス６に表示された表示画面を移動させる移動モードに設定したり、移動モードを解除したりするものである。確定スイッチ２８は、操作している間だけオンする形式のスイッチで、ウインドガラス６に表示された表示画面をナビゲーション装置１３の表示部１６に移動させる場合に操作するスイッチである。

ＨＭＩ２９は、視線検出部（視線検出手段）３０、指差し方向検出部（指差し方向検出手段）３１、方向一致判断部（方向一致判断手段）３２、音声認識部３３、スイッチ信号処理部３４、記憶手段としてのデータベース３５、室内カメラ２３を含めてＨＭＩ２９の全体を制御する制御部３６を備えている。視線検出部３０は、室内カメラ２３により撮影された運転者の顔から両目を検出し、その両目の画像を画像認識処理（例えばパターンマッチング）することにより視線を検出する。指差し方向検出部３１は、室内カメラ２３により撮影された運転者の手その指が指し示す方向を検出する。

視線検出部３０による視線検出方法は、例えば、運転者の顔の向きおよび顔面に対する両目の黒目の偏り方向とその度合いを画像認識処理（例えばパターンマッチング）することにより、３次元での視線（方向）を判断するようにしている。また、指差し方向検出部３１は、例えば、指の延びている方向を水平面での指差し方向とし、指の付け根から先までの太さを画像認識処理（例えばパターンマッチング）することにより指の俯仰角を判定してこれを垂直面での指差し方向とし、それら水平面および垂直面での指差し方向に基いて３次元での指差し方向を判定するようにしている。
視線の検出としては、眼球運動を検出する方法、角膜と強膜の境界を利用する方法、角膜反射像を利用する方法、角膜反射像と瞳孔とを利用する方法などがある。また、アイカメラ（登録商標）を使用しても良い。

方向一致判断部３２は、視線検出部３０が検出した３次元での視線（方向）と、指差し方向検出部３１が検出した指の３次元での指差し方向との一致、不一致を判断する。この場合、方向一致判断部３２は、視線と指差し方向がウインドガラス６上で所定の距離内にあれば、両者は一致すると判断する。視線と指差し方向が一致した状態で両者が移動すると、方向一致検出部３１は、その両者の一致状態の下での移動方向も検出する。そして、方向一致判断部３２は、視線と指差し方向の一致情報とその一致した状態での移動方向情報を表示制御装置１１に出力する。

ウインドガラス６に表示された表示画面の位置を微調整したい場合には、音声で移動させたい方向を指示する。すると、マイクロフォン２４がその音声の波形を音声認識部３３に出力する。音声認識部３３は、その音声を予め登録された音声波形パターンと比較して音声を認識して認識結果を表示制御装置１１に出力する。

次に上記構成の作用を説明する
まず、視線と指差し方向をパターンマッチングによる画像認識処理にて検出するために、運転者の顔（両目）と指の撮影画像をサンプル画像としてデータベース３５に登録すると共に、表示画面の微小移動のための音声波形を登録しておく。ここでは、説明の簡単化のために運転者は一人とする。

ここで、顔の撮影画像をサンプル画像として登録する場合の手順を図４に示すフローチャートをも参照しながら説明する。ユーザが運転席に座り、「初期登録」する旨の簡単な音声を発すると、ＨＭＩ２９の音声認識部３３がマイクロフォン２４からの音声波形とデータベース３５に登録されている音声波形とを比較して「初期登録」と認識する。この認識に基づいて、制御部３６が初期登録モード設定信号を表示制御装置１１に出力する。

初期登録モードに設定されると、表示制御装置１１は、ヘッドアップディスプレイ３〜５のうちのいずれか、例えばヘッドアップディスプレイ４を使用して「あなたのお名前を言ってください。」の文字表示画面をウインドガラス６に表示する（図４のステップＳ１）。これに応じてユーザが自分の名前を言うと、音声認識部３３がマイクロファン２４から入力される音声波形をデータベース３５に登録する（ステップＳ２）。

次に、表示制御装置１１がヘッドアップディスプレイ４により「表示画面を目で見ながら左手で指差してください」という文字表示画面をウインドガラス６の左側に表示する（ステップＳ３）。この文字表示画面に従って、図７に示すように、ユーザがその文字表示画面を目で見ながら、左手の指で表示画面を指差す。すると、ＨＭＩ２９が室内カメラ２３に撮影信号を送り、室内カメラ２３でユーザの顔や手を撮影する（ステップＳ４）。その撮影画像は、制御部３６が有する図示しないメモリに一時的に記憶される（ステップＳ５）。

続いて、表示制御装置１１がヘッドアップディスプレイ４により「表示画面を目で見ながら左手で指差してください」という文字表示画面をウインドガラス６の中央に表示する（ステップＳ６）。この文字表示画面に従ってユーザがその表示画面を目で見ながら左手の指で表示画面を指差す。すると、上述のように室内カメラ２３でユーザの顔や手を撮影し（ステップＳ７）、その撮影画像は制御部３６のメモリに一時的に記憶される（ステップＳ８）。

更に、表示制御装置１１がヘッドアップディスプレイ４により「表示画面を目で見ながら左手で指差してください」という文字表示画面をウインドガラス６の右側に表示する（ステップＳ９）。この文字表示画面に従ってユーザがその表示画面を目で見ながら左の手の指で表示画面を指差す。また、ＨＭＩ２９が室内カメラ２３に撮影信号を送り、室内カメラ２３でユーザの顔や手を撮影し（ステップＳ１０）、その撮影画像は制御部３６が有する図示しないメモリに一時的に記憶される（ステップＳ１１）。

以上により、表示画面がウインドガラス６の左側、中央、右側に表示されたとき、その表示画面を見るユーザの顔（両目）と、図８に例示するような左手の指のサンプル画像が得られる。その後、このサンプル画像の信頼度、特に左手で行う指差し方向の信頼度を判定するために、表示制御装置１１がヘッドアップディスプレイ４により「表示画面をウインドガラスの中央の指定位置に移動させてください」という文字表示画面をウインドガラス６の左側に表示する（ステップＳ１２）。

この表示に応じて、ユーザがその文字表示画面を目で見ながら、その画面の方向を左手で指差す。すると、室内カメラ２３が撮影を開始し、そのユーザの撮影画像は、制御部３６に入力される（ステップＳ１３）。このときの視線と指差し方向は、それぞれ視線検出部３０および指差し方向検出部３１によって検出され、両者の一致、不一致が方向一致判断部３２により判断される。そして、視線と指差し方向が一致している場合（ステップＳ１４で「ＹＥＳ」）、制御部３６は、表示制御装置１１に一致信号を出力する。このため、表示制御装置１１がヘッドアップディスプレイ４によるウインドガラス６の表示画面の周囲部分の色を変化させ（ハイライト表示）、移動可能となったことを報知する（ステップＳ１５）。

その後、視線と左手の指差し方向とを一致させた状態でそれらを右方向に移動させると、その移動がＨＭＩ２９の制御部３６から表示制御装置１１に伝えられるため、表示制御装置１１がヘッドアップディスプレイ４の向きを変化させ、ウインドガラス６の左側に表示されていた表示画面を右側に移動させてゆく（ステップＳ１６，１７）。そして、表示画面がウインドガラス６の中央の指定位置（ステップＳ６での中央表示位置と同じ位置）まで移動したところで視線と左手の指差し方向の移動を停止すると（ステップＳ１８で「ＹＥＳ」、ステップＳ１９で「ＹＥＳ」）、表示画面の文字が「移動完了ですか」に切換わる（ステップＳ２０）。これに応答してユーザが「はい」と返事をすると、これを音声認識部３３が認識することに基づき、制御部３６が室内カメラ２３の撮影を停止させる（ステップＳ２１で「ＹＥＳ」、ステップＳ２２）。

そして、制御部３６は、撮影開始から撮影停止までの画像のうち、左側に表示された表示画面に視線と指差し方向を合せたときの画像および表示画面を中央に移動させる操作を完了したときの画像を、先にメモリに記憶した左側に表示画面を表示したときの撮影画像および中央に表示画面を表示したときの撮影画像と比較し、一致度を判断する（ステップＳ２３）。一致度が大きい場合（ステップＳ２３で「ＹＥＳ」）、メモリに記憶した画像をサンプル画像としてデータベースに登録し（ステップＳ２４）、リターンとなる。

一致度が低い場合には、記憶した画像では、表示画面を移動操作できる程度が低いとし、前記ステップＳ３に戻って以上の動作を再度実行する。この再度の実行においても、ステップＳ２３での一致度判断で一致度が低いとされたときには、図９に示すように、左側、中央、右側の各指差し状態について、複数のサンプル画像をデータベース３５に登録しておき、実際の移動操作時において撮影した画像が、いずれかのサンプル画像に近い画像であったとき、ユーザに画面表示或いは図示しないスピーカからの音声出力などによって指差し方向を確認するようにする。なお、視線についても、両目の画像の一致度が低い場合には、上記指差し方向と同様に複数の画像を登録してユーザに問い合わせを行うようにしても良い。
なお、指差し方向のサンプル画像も上記したと同様にして登録する。

次に、ウインドガラス６に表示されている表示画面を移動させる場合を図５のフローチャートをも参照して説明する。表示装置１に電源が投入されると、表示制御装置１１は、地図映像情報、ビデオ情報、テレビ映像情報、計器映像情報の各表示画面を前回設定された位置に表示する（図５のステップＡ１）。この場合、前回設定位置として、計器映像情報の表示画面がウインドガラス６の下部中央、地図映像情報の表示画面がウインドガラス６の右側、テレビ映像情報およびビデオ情報のうちの一方、例えばテレビ映像情報の表示画面がウインドガラス６の左側に設定されていたとすると、ステップＡ１では、それら各表示画面が上記各位置にされるのである。

次に、運転席に座ったユーザが自分の名前を発声すると、その音声がマイクロフォン２４に入力され、音声認識部３３によって名前が認識される。そして、ＨＭＩ２９の制御部３６は、音声認識部３３の認識結果に基づいてユーザを特定する（ステップＡ２で「ＹＥＳ」ステップＡ３）。その後、ユーザが表示画面を移動させるために、モード設定手段としての移動モード設定スイッチ２７をオン操作すると、制御部３６は、移動モードに入り（ステップＡ４で「ＹＥＳ」、ステップＡ５）、室内カメラ２３による撮影を開始すると共に、その撮影画像が視線検出部３０および指差し方向検出部３１に入力されるようにする。これにより、両検出部３０，３１がデータベース３５に登録されているユーザのサンプリング画像と比較し、視線および指差し方向を検出する。そして、方向一致判断部３２が視線と指差し方向との一致、不一致を判断する（ステップＡ６）。

図６に示すように、視線Ｓと指差し方向Ｆを移動させたい表示画面に向けると（画面選択手段）、方向一致判断部３２により視線と指差し方向とが一致していると判断され（ステップＡ６で「ＹＥＳ」）、制御部３６は、視線と指差し方向の一致部分に表示画面が存在するか否かを判断する（ステップＡ７）。この判断は、表示制御装置１１を介して各ヘッドアップディスプレイ３〜５の回動機構１２の２軸を中心とした回転位置情報を取得して各ヘッドアップディスプレイ３〜５の向きを求め、このヘッドアップディスプレイ３〜５の向きから演算される各表示画面の位置のいずれかに、視線と指差し方向との一致部分が存在するか否かによって行う。

視線と指差し方向との一致部分に表示画面が存在すると判断されると、制御部３６は、指示された表示画面が例えば地図画面であったとすると、その地図画面が移動対象画面に選択されたことを表示制御装置１１に通知する。すると、表示制御装置１１は、地図画面の周囲を明るくしてユーザに地図画面が移動対象画面となったことを報知する（ステップＡ８）。そして、制御部３６は、視線と指差し方向が依然として移動対象画面として選択された表示画面、この場合は地図画面上で一致していることを確認する（ステップＡ９）。このようにしてユーザが視線と指差し方向が図７に示すように、所定時間Ｔ以上、移動対象画面として選択された地図画面上で一致させたまま保持し、その後、視線と指差し方向を一致させたままで所望の方向へ移動させると、これを視線検出部３０および指差し方向検出部３１の検出信号に基いて方向一致判断部３２が検出する。そして、制御部３６は、視線と指差し方向の移動を表示制御装置１１に通知する。この移動の通知は、移動方向および移動量の情報を含んで行われ、表示制御装置１１は、これに基づいてヘッドアップディスプレイ３の回動機構１２を制御し、地図画面を視線と指差し方向の移動に追従して移動させる（ステップＡ１０で「ＹＥＳ」、ステップＡ１１の繰り返し:移動制御手段）。

地図画面が所望の位置に移動されると、ユーザは視線および指差し方向の移動をそこで停止し、視線および／または指差し方向、例えば図７にＲで示すように、指差し方向を地図画面から外す（移動位置設定手段）。すると、これを指差し方向検出部３１が検出し、これに基づく制御部３６からの通知により、表示制御装置１１が、地図画面を移動対象画面から外す（ハイライト表示解除）と共に、その移動を停止させる（ステップＡ１０で「ＮＯ」、ステップＡ１２で「ＮＯ」、ステップＡ１３）。
地図画面の停止位置が所望の位置から僅かにずれている場合には、ユーザが「少し左へ移動」とか「少し右へ移動」とかの音声を発する。すると、音声認識部３３がこれを認識し、制御部３６が表示制御装置１１に微小移動指令を出力し、地図画面を微小移動させる（ステップＡ１４，Ａ１５）。

その後、ユーザが移動モード設定スイッチ２７をオフ操作しなければ（ステップＡ１６で「ＮＯ」）、制御部３６は、ステップＡ６に戻って次の移動対象画面が設定されるのを待つようになる。また、モード解除手段としての移動モード設定スイッチ２７がオフ操作された場合には、制御部３６は、移動モードを解除し（ステップＡ１６で「ＹＥＳ」、ステップＡ１７）、移動モード設定スイッチ２７がオンされたか否かを監視するステップＡ４に戻る。

ところで、移動対象画面をナビゲーション装置１３の表示部１６に移したい場合がある。なお、計器映像情報については、ナビゲーション装置１３の表示部１６には移動させることはできないようになっている。また、ナビゲーション装置１３の表示部１６に地図画面、ビデオ画面、テレビ映像画面のうちのいずれかが表示されている場合、他の画面を移動させると、それまでの画面はウインドガラス６のほうへ自動的に移動される。

さて、移動対象画面、この場合には地図画面をナビゲーション装置１３の表示部１６に移動させるには、地図画面をウインドガラス６の最下位置まで移動させる。すると、地図画面はそれ以上、下方には移動しないため、視線および指差し方向の移動をそこで一旦止め、その後、視線および指差し方向を一致させたままナビゲーション装置１３の表示部１６上に移動させ、そして、確定スイッチ２８をオン操作する。

すると、制御部３６は、視線と指差し方向の一致を判断するステップＡ１２で「ＹＥＳ」、視線と指差し方向がナビゲーション装置１３の表示部１６を指しているかを判断するステップＡ１８で「ＹＥＳ」、他表示部選択手段としての確定スイッチ２８がオンされたことを判断するステップＡ１９で「ＹＥＳ」となる。そして、制御部３６は、表示制御部１１に移動対象画面である地図画面をナビゲーション装置１３の表示部１６に移動させる旨の指令を発する。

この指令に応答して、表示制御装置１１は、ナビゲーション装置１３の表示部１６に表示されている画面があるか否かを判断し（ステップＡ２０）、あれば現在表示部１６に表示されている画面をウインドガラス６に移動させ（ステップＡ２１）、次いで、地図画面を表示部１６に移動させる（ステップＡ２２）。また、現在、表示部１６に表示されている画面がなければ（ステップＡ２０で「ＮＯ」）、表示制御装置１１は、そのまま地図画面を表示部１６に移動させる。

以上の説明から理解されるように、視線検出部３０および指差し方向検出部３１は、ウインドガラス６に虚像として表示された複数の表示画面のうちから所望する表示画面を移動対象が面として選択するための画面選択手段と、この画面選択手段により選択された前記虚像画面の前記反射手段における表示位置を所望する位置を定めるための移動位置設定手段とを兼用する。

このように本実施形態によれば、ウインドガラス６に表示されている映像画面をユーザの所望の位置に移動させることができるので、各画面を場合に応じて最適位置に移動させることができる。

この場合において、表示画面の移動は、視線と指差し方向とによって行うので、インストルメントパネル７に位置調節用のスイッチ装置を設け、このスイッチ装置を操作することによって表示画面を移動させる構成とは異なり、スイッチ装置の位置に手を持ってゆくことに気を取られたりすることがない。また、視線だけ、或いは指差しだけで画面移動を行うものとは異なり、むやみに画面が移動されてしまうことがない。

なお、本発明は上記し且つ図面に示す実施形態に限定されるものではなく、以下のような拡張或いは変更が可能である。
移動対象画面は、視線と指差し方向とを一致させた状態で移動させたとき、その視線と指差し方向の移動に追従して移動するものに限られず、視線と指差し方向とが不一致となったとき、その不一致となった位置に移るように構成しても良い。
ウインドガラス６に表示する画面は、地図映像情報専用、ビデオ情報、テレビ映像情報、計器映像情報の画面に限られない。
また、ウインドガラス６に表示する画面は、１つだけであっても良い。

撮影カメラを複数台設け、顔、手を前、上、横の複数箇所から撮影するようにしても良い。このようにすれば、より正確に視線、指差し方向を判断できる。

光学ユニットは、複数のヘッドアップディスプレイからなるものに限られない。ヘッドアップディスプレイは、他の映像情報投射手段に換えても良い。
反射手段は、半透明のものであっても良い。
本発明の表示装置は、車載用に限られない。

本発明の一実施形態を示すもので、表示装置のブロック図各構成部分の車両内への配設位置を示すために、ドア部分を除去して示す車両の側面図ヘッドアップディスプレイによる虚像表示を示す図視線、指差しのサンプル画像の登録のためのフローチャート表示画面の移動のためのフローチャート表示画面を移動させる場合の視線と指差し方向を示す図視線と指差し方向の一致・不一致を説明するための図指差しのサンプル画像の一例を示す図指差しのサンプル画像の他の例を示す図

符号の説明

図中、１は画面移動型表示装置、２は光学ユニット、３〜４はヘッドアップディスプレイ、６はフロントウインドシールド（反射手段）、１１は表示制御装置（移動制御手段）、１３はナビゲーション装置、１４はＣＶＤプレーヤ、１５はテレビ受信機、１６は表示部、２３は室内カメラ、２４はマイクロフォン、２５は手元スイッチ装置、２９はＨＭＩ、３０は視線検出部（視線検出手段、画面選択手段、移動位置設定手段）、３１は指差し方向検出部（指差し方向検出手段、画面選択手段、移動位置設定手段）、３２は方向一致判断部（方向一致判断手段、画面選択手段、移動位置設定手段）、３５はデータベース（記憶手段）、３６は制御部である。

Claims

半透明または透明な反射手段に向けて映像情報を光で投射し、前記映像情報を前記反射手段による虚像として表示する光学ユニットと、
ユーザの視線を検出する視線検出手段と、
前記ユーザの指差し方向を検出する指差し方向検出手段と、
前記視線検出手段により検出された前記視線と前記指差し方向検出手段により検出された前記指差し方向との一致位置を判断する方向一致判断手段と、
前記方向一致判断手段により判断された前記視線と前記指差し方向との一致位置が前記反射手段に表示された前記虚像画面上あるとき当該虚像画面を移動対象画面と判断し、当該移動対象画面と判断した後、前記ユーザの視線と前記指差し方向が前記移動対象画面と判断された前記虚像画面上で一致したまま移動するとき、当該虚像画面を前記視線と前記指差し方向の移動に追従して移動させ、前記視線と前記指差し方向が不一致となった時、前記移動対象画面と判断された前記虚像画面を、前記視線と前記指差し方向が不一致となった位置で停止させる、または、前記移動対象画面と判断した後、前記移動対象画面と判断された前記虚像画面を残して前記ユーザの視線と前記指差し方向が一致したまま移動して前記視線と前記指差し方向が不一致となった時、前記移動対象画面と判断された前記虚像画面を、前記移動対象画面と判断された時の位置から前記視線と前記指差し方向が不一致となった位置に移す移動制御手段と、
を具備してなる画面移動型表示装置。
前記光学ユニットは、前記反射手段に向けて同時に複数の前記映像情報を光で投射可能で、前記反射手段により複数の前記虚像画面を表示可能であることを特徴とする請求項１記載の画面移動型表示装置。
前記視線検出手段および前記指差し方向検出手段は、撮影手段による撮影画像に基づいて検出する構成で、撮影画像を予め記憶手段に記憶されているサンプル画像と比較して視線および指差し方向を判断することを特徴とする請求項１または２記載の画面移動型表示装置。
車両に搭載され、前記反射手段を前記車両のフロントウインドシールドとしたことを特徴とする請求項１ないし３のいずれかに記載の画面移動型表示装置。