JP2004334590A

JP2004334590A - 操作入力装置

Info

Publication number: JP2004334590A
Application number: JP2003130593A
Authority: JP
Inventors: Masateru Inomae; 正輝井之前; Hiroshi Tsuchiya; 裕志土屋; Rieko Fukushima; 理恵子福嶋
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2003-05-08
Filing date: 2003-05-08
Publication date: 2004-11-25
Also published as: US20040254699A1; FR2854697A1; DE102004022494A1

Abstract

【課題】使用者の手の動きから使用者が発した操作指令を識別して、操作対象機器に対して操作指令を出力する操作入力装置において、使用者による使い勝手を向上し、使用者が簡単且つ確実に操作対象機器を操作できるようにする。
【解決手段】液晶表示装置２とフレネルレンズ４とを用いて、車両の助手席前方の仮想空間内に、車載機器に対する操作指令入力用の立体画像（虚像）を表示させると共に、仮想空間を含む乗員画像を撮像装置６にて撮像し、操作入力ＥＣＵ１０にて、その撮像画像を処理することにより、仮想空間内での乗員の手の動きを認識する。そして、乗員の手の動きが、仮想空間に表示した立体画像に対する所定の動きであれば、乗員が車載機器に対する操作指令を入力したと判断して、操作指令を車載機器に出力すると共に、操作指令に対応して仮想空間に表示した立体画像を変化させる。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、使用者の手の動きから使用者が発した操作指令を識別して、操作対象機器に対して操作指令を出力する操作入力装置に関する。
【０００２】
【従来の技術】
従来より、車両乗員が車載機器に直接触れることなく車載機器を操作できるようにするために、乗員が座席に座った状態で手を翳すことのできる空間を仮想空間として、該仮想空間内の画像を撮像し、その撮像した撮像画像から乗員の手の動きを認識して、その認識した手の動きに基づき操作指令を判定するように構成された入力装置が知られている（例えば、特許文献１等参照）。
【０００３】
そして、この入力装置によれば、乗員は、車両に搭載された空調装置やナビゲーション装置等の各種機器を、各機器用の操作部に直接触れることなく操作できるので、各機器に対する操作入力を極めて簡単に行うことができる。
また、この装置では、誤入力を防止するために、操作指令等の判定結果を音声にて乗員にコールバックすることにより、装置側で操作指令を誤判定した場合でも、その後乗員が仮想空間内で手を動かすことにより、その判定結果をキャンセルできるようにされている。
【０００４】
【特許文献１】
特開２０００−７５９９１
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来装置では、乗員は、車載機器を操作するために、何も存在しない仮想空間内で手を動かす必要があることから、仮想空間内での操作に不慣れな乗員にとっては、使い勝手が悪く、また、コールバックによって乗員が誤操作を認識しても、装置側での操作指令の判定結果をうまくキャンセルできないことがある、といった問題があった。
【０００６】
本発明は、こうした問題に鑑みなされたものであり、使用者の手の動きから使用者が発した操作指令を識別して、操作対象機器に対して操作指令を出力する操作入力装置において、使用者による使い勝手を向上し、使用者が簡単且つ確実に操作対象機器を操作できるようにすることを目的とする。
【０００７】
【課題を解決するための手段】
かかる目的を達成するためになされた請求項１記載の操作入力装置においては、所定の仮想空間に立体画像を表示する立体画像表示手段と、仮想空間を含む周囲の画像を撮像する１又は複数の撮像手段と、撮像手段により撮像された撮像画像から前記仮想空間内での使用者の手の動きを認識する認識手段とを備える。そして、制御手段が、立体画像表示手段に対して、操作対象機器を操作するための立体画像を表示させ、その画像表示中に認識手段により認識された使用者の手の動きから使用者が発した操作指令を識別し、その識別した操作指令に応じて立体画像表示手段が表示する立体画像を変化させると共に、操作指令を操作対象機器に出力する。
【０００８】
従って、本発明の操作入力装置によれば、使用者は、立体画像表示手段を介して仮想空間内に表示された操作用の立体画像を確認しつつ、仮想空間内で手を動かす（押す、回す、移動させる等）ことにより、操作対象機器に対する操作指令を入力することができるようになり、前述した従来装置のように機器操作のために何もない空間内で手を動かす必要がないので、使用者の使い勝手を向上できると共に、使用者の誤操作を防止できる。
【０００９】
また、仮想空間内に表示される操作用の立体画像は、制御手段が識別した操作指令に応じて変化するので、使用者は、その変化から操作結果をより確実に確認することができ、万一、誤操作した場合でも、立体画像を見ながら操作をし直せばよいので、これによっても、従来装置に比べて使い勝手を向上できる。
【００１０】
ここで、本発明の操作入力装置は、操作用の立体画像を仮想空間内に表示させることにより、使用者が操作指令入力のために仮想空間内で手を動かす際の操作性を向上するものであるが、複数の操作対象機器に対する操作指令を入力できるようにする場合や、操作対象機器の操作内容が多岐にわたるような場合には、一つの立体画像で全てを操作可能な情報を表示することができない。
【００１１】
そこで、このような場合には、請求項２に記載のように、制御手段を、立体画像表示手段に操作対象機器を操作するための立体画像を表示させる前に、使用者に対して操作対象機器若しくは操作種別を選択させるための立体画像を立体画像表示手段に表示させ、その画像表示中に認識手段により認識された手の動きから使用者が選択した操作対象機器若しくは操作種別を識別し、その後、その識別結果に応じて操作対象機器を操作するための立体画像を立体画像表示手段に表示させるように構成するとよい。
【００１２】
つまり、このようにすれば、使用者は、仮想空間に表示された機器若しくは操作種別選択用の立体画像を見て、仮想空間内で手を動かすことにより、操作したい操作対象機器や操作種別を選択して、操作用の立体画像を仮想空間内に表示させることができるようになり、複数の操作対象機器に対する操作指令や操作内容が多岐にわたる操作対象機器に対する操作指令についても、簡単な操作で入力できるようになる。
【００１３】
なお、この場合、操作対象機器や操作種別選択用の立体画像については、一般的な階層メニューのように、予め階層化しておき、使用者の選択操作に応じて選択用の立体画像を段階的に変化させることにより、所望の操作用立体画像を選択できるようにしてもよい。
【００１４】
また、本発明において、仮想空間に表示させる操作用の立体画像としては、単に操作用のボタンやツマミ（ボリューム）を立体的に表示させるようにしてもよいが、例えば、操作対象機器の実際の動作状態を検出して、その動作状態を立体的に表示させるようにすれば、使用者は、その表示画像から操作対象機器の動作状態を直感的に把握して所望の操作指令を入力できるようになる。また、この場合、操作指令の入力結果は、操作対象機器の動作状態の変化として仮想空間内に表示されることになるので、使用者は、操作結果をより簡単に確認することができる。
【００１５】
次に、請求項３に記載の操作入力装置は、本発明（請求項１，２）を、車両乗員が車載機器を操作するための車両用の操作入力装置に適用したものである。
そして、請求項３に記載の操作入力装置において、立体画像表示手段は、車両の座席前方に配置され、その座席に着座した乗員が手を翳すことのできる空間を仮想空間として、乗員に対して立体画像を表示するよう構成され、撮像装置は、立体画像表示手段と共に車両の座席前方に配置されて、座席に着座した乗員を前方から撮像するよう構成されている。
【００１６】
従って、請求項３に記載の操作入力装置によれば、車両において、乗員が座席に着座した状態で姿勢を変化させることなく、極めて簡単に車載機器を操作することができるようになる。
【００１７】
【発明の実施の形態】
以下に本発明の実施形態について説明する。
図１は、本発明が適用された実施例の操作入力装置全体の構成を表す概略構成図である。
【００１８】
図１に示すように、本実施例の操作入力装置は、車両に搭載されて、車両の助手席に着座した乗員からの操作指令を入力するためのものであり、助手席前方のフロントパネルに設けられた液晶表示装置２及びフレネルレンズ４と、同じくフロントパネルに設けられた撮像装置６と、操作入力用の電子制御装置（以下、操作入力ＥＣＵという）１０とから構成されている。
【００１９】
ここで、液晶表示装置２及びフレネルレンズ４は、助手席に着座した乗員の左右の眼に異なる画像が見えるように光を出射することで、乗員が着座した状態で手を翳すことのできる空間（仮想空間）内に虚像（立体画像）を表示させるためのものであり、本発明の立体画像表示手段に相当する。
【００２０】
即ち、液晶表示装置２は、例えば、視差を有する左眼用、右眼用の画像（所謂ステレオ画像）を時分割で交互に表示する液晶表示パネルと、液晶表示パネルに異なる方向から交互に光を照射することにより、液晶パネルに表示された左眼・右眼用の画像を乗員の左右両眼に選択的に投影させる２つの光源とを備え、フレネルレンズ４を介して、液晶表示パネルに表示したステレオ画像を虚像（立体画像）として拡大表示させるものである。
【００２１】
なお、こうした液晶表示装置２の構成は周知であるので、液晶表示装置２の詳細構成については説明を省略する（例えば、特開平９−２２２５８４号公報、特開２０００−５０３１６号公報、特開２００１−２１８２３１号公報等参照）。次に、撮像装置６は、例えばＣＣＤカメラからなり、液晶表示装置２及びフレネルレンズ４を介して立体画像が表示される仮想空間を含む乗員前方の画像（詳しくは二次元画像）を撮像するためのものであり、本発明の撮像手段に相当する。
【００２２】
そして、操作入力ＥＣＵ１０は、車両に搭載された空調装置（以下、エアコンという）、ナビゲーション装置、オーディオ装置等の各種車載機器を操作するための画像を液晶表示装置２を介して仮想空間内に立体的に表示させると共に、画像表示中に撮像装置６にて撮像された撮像画像を取り込み、画像を処理することにより仮想空間内での乗員の手の動きを認識して、その認識結果から乗員が入力した操作指令を識別し、エアコン、ナビゲーション装置、オーディオ装置等を制御する。
【００２３】
即ち、図２に示すように、操作入力ＥＣＵ１０は、ＣＰＵ１２、ＲＯＭ１４、ＲＡＭ１６、及びこれら各部を結ぶバスライン１８からなる周知のマイクロコンピュータにて構成されている。
また、操作入力ＥＣＵ１０には、液晶表示装置２を駆動して上述したステレオ画像を表示させる表示制御部２２、液晶表示装置２にステレオ画像を表示させるための表示データが格納された表示データ記憶部２４、撮像装置６にて撮像された撮像画像を処理することにより、使用者である乗員の手の位置や形状等を認識する画像処理部２６、乗員の手の動きから乗員が発した操作指令を識別するための操作パターンが予め記憶された操作パターン記憶部２８、及び、車両に配線された通信線８を介してエアコンＥＣＵ３０、ナビゲーションＥＣＵ４０、オーディオＥＣＵ５０等の車載機器との間でデータ通信を行うための通信部２０が設けられている。
【００２４】
そして、操作入力ＥＣＵ１０は、ＣＰＵ１２の動作によって、液晶表示装置２を介して仮想空間内に操作用の立体画像を表示させると共に、撮像装置６による撮像画像から使用者である乗員が発した操作指令を識別して、その操作指令をエアコンＥＣＵ３０、ナビゲーションＥＣＵ４０，オーディオＥＣＵ５０等に送信することにより、これら各ＥＣＵ３０、４０、５０を介して、車両に搭載されたエアコン、ナビゲーション装置、オーディオ装置等を制御する。
【００２５】
以下、このように操作入力ＥＣＵ１０（詳しくはＣＰＵ１２）にて乗員からの操作指令を受け付けるために実行される制御処理を、図３に示すフローチャートに沿って説明する。
なお、この制御処理を実行するに当たって、表示データ記憶部２４には、立体画像表示用の表示データとして、乗員に対して操作したい車載機器（操作対象機器）を選択させるための操作対象機器選択画像、乗員に対して操作対象機器の何を操作するのかを選択させるための操作種別選択画像、及び、乗員が選択した操作種別に対応した操作指令入力用画像が階層化して記憶されている。
【００２６】
また、操作パターン記憶部２８には、表示データ記憶部２４に記憶された各画像毎に、その画像を仮想空間に表示した際に乗員の手の動きから乗員が入力した選択指令若しくは操作指令を識別するための操作パターンが記憶されている。
図３に示すように、ＣＰＵ１２が制御処理を開始すると、まず、ステップ１１０（以下ステップを「Ｓ」と記載する）にて、表示データ記憶部２４から操作対象機器選択画像の表示データを読み込み、この表示データを表示制御部２２に出力することにより、液晶表示装置２に対して、仮想空間内に操作対象機器選択用の立体画像を表示させる。なお、本実施例では、操作対象機器が、エアコン、ナビゲーション装置、及び、オーディオ装置の３つであることから、仮想空間内には、例えば、図４（ａ）に示すように、これら３つの機器を表す選択ブロック（図では球状）が空中に浮いているように表示される。
【００２７】
次に、続くＳ１２０では、画像処理部２６から、撮像画像を処理することにより得られた乗員の手の位置及び形状の認識結果を読み込み、Ｓ１３０にて、その読み込んだ認識結果（手の位置及び形状）はＳ１２０にて前回読み込んだものから変化したか否かを判断する。
【００２８】
そして、Ｓ１３０にて、認識結果は変化していないと判断されると、再度Ｓ１１０に移行し、Ｓ１３０にて、認識結果は変化したと判断されると、続くＳ１４０に移行して、画像処理部２６の過去の認識結果から手の位置若しくは形状の変化パターンを演算し、その変化パターンと操作パターン記憶部２８に記憶されている操作パターンとを比較することにより、乗員が仮想空間内で手を動かすことによって入力した選択指令を認識する。
【００２９】
なお、本実施例では、操作対象機器選択画像の表示中には、図４（ａ）に例示するように、乗員が表示画像中の任意の選択ブロックの手前に手を翳して、その選択ブロックを押すように手を動かすか或いは選択ブロックを掴むように手を動かした際に、その選択ブロックを選択したと判断するように、操作パターンが設定されている。
【００３０】
次に、Ｓ１５０では、Ｓ１４０における選択指令の認識処理によって、乗員からの選択指令の入力が認識されたか否かを判断し、選択指令の入力が認識された場合には、Ｓ１８０に移行し、逆に、選択指令の入力が認識されなかった場合には、続くＳ１６０に移行して、Ｓ１４０における選択指令の認識処理によって、乗員によるキャンセル操作が認識されたか否かを判断する。
【００３１】
なお、このキャンセル操作は、例えば、乗員が仮想空間を横切るように手を左右に大きく振るものとして規定されており、Ｓ１４０では、乗員の手の動きからこのキャンセル操作についても識別する。
そして、Ｓ１６０にて、キャンセル操作が認識されていないと判断された場合には、再度Ｓ１１０に移行し、逆に、Ｓ１６０にて、キャンセル操作が認識されたと判断された場合には、仮想空間を利用した操作入力はキャンセルされたと判断して、当該制御処理を終了する。
【００３２】
但し、ＣＰＵ１２は、当該制御処理を終了しても、画像処理部２６から認識結果を取得して乗員の手の動きの変化パターンから乗員からの起動指令を認識する起動指令認識処理を実行するようにされており、ＣＰＵ１２は、乗員からの起動指令を認識すると、当該制御処理を起動して、Ｓ１１０以降の処理を実行する。
【００３３】
次に、Ｓ１５０にて、乗員からの選択指令の入力が認識されたと判断された場合に実行されるＳ１８０では、その選択指令によって選択された操作対象機器に対する操作種別を乗員に選択させるための操作種別選択画像を仮想空間に表示するために、表示データ記憶部２４から操作種別選択画像の表示データを読み込み、この表示データを表示制御部２２に出力する。
【００３４】
この結果、仮想空間内には、乗員が選択した操作対象機器に対する操作種別を表す選択ブロックが表示されることになる。例えば、本実施例では、エアコンに対する操作種別として、車室内前方の左端、右端、及び、中央の左・右にそれぞれ配置された４つの吹出口からの空調空気の吹出方向を設定するための風向き操作、車室内の温度や各吹出口からの空調空気の温度（高・低）を設定するための温度設定操作、空調装置の動作モード（自動・手動の設定、手動時の外気導入・内気循環の設定等）を設定するための動作モード設定操作、等が予め設定されており、図４（ａ）に示した操作対象機器選択画像内でエアコンの選択ブロックが選択された際には、図４（ｂ）に例示するように、これら３つの操作種別を表す選択ブロック（図では球状）が空中に浮いているように表示される。
【００３５】
そして、続くＳ１９０では、Ｓ１２０と同様に、画像処理部２６から、撮像画像を処理することにより得られた乗員の手の位置及び形状の認識結果を読み込み、Ｓ２００にて、その読み込んだ認識結果（手の位置及び形状）はＳ１９０にて前回読み込んだものから変化したか否かを判断する。
【００３６】
そして、Ｓ２００にて、認識結果は変化していないと判断されると、再度Ｓ１８０に移行し、Ｓ２００にて、認識結果は変化したと判断されると、続くＳ２１０に移行して、画像処理部２６の過去の認識結果から手の位置若しくは形状の変化パターンを演算し、その変化パターンと操作パターン記憶部２８に記憶されている操作パターンとを比較することにより、乗員が仮想空間内で手を動かすことによって入力した選択指令を認識する。
【００３７】
なお、操作種別選択画像内での選択指令を認識するための操作パターンは、操作対象機器選択画像内で選択指令を認識するための操作パターンと同じであり、図４（ｂ）に例示するように、乗員が表示画像中の任意の選択ブロックの手前に手を翳して、その選択ブロックを押すように手を動かすか或いは選択ブロックを掴むように手を動かした際に、その選択ブロックを選択したと判断するようにされている。
【００３８】
次に、Ｓ２２０では、Ｓ２１０における選択指令の認識処理によって、乗員からの選択指令の入力が認識されたか否かを判断し、選択指令の入力が認識された場合には、Ｓ２４０に移行し、逆に、選択指令の入力が認識されなかった場合には、続くＳ２３０に移行して、Ｓ２１０における選択指令の認識処理によって、乗員によるキャンセル操作が認識されたか否かを判断する。
【００３９】
そして、Ｓ２３０にて、キャンセル操作が認識されていないと判断された場合には、再度Ｓ１８０に移行し、逆に、Ｓ２３０にて、キャンセル操作が認識されたと判断された場合には、乗員が選択した操作対象機器に対する操作入力はキャンセルされたと判断して、再度Ｓ１１０に移行する。
【００４０】
次に、Ｓ２２０にて、乗員からの選択指令の入力が認識されたと判断された場合に実行されるＳ２４０では、その選択指令によって選択された操作種別に対応する操作対象機器の動作状態を、操作対象機器制御用のＥＣＵ（具体的には、エアコンＥＣＵ３０又はナビゲーションＥＣＵ４０又はオーディオＥＣＵ５０）からデータ通信によって取得する。
【００４１】
そして、続くＳ２５０では、表示データ記憶部２４から操作種別に対応した操作指令入力用画像の表示データを読み込み、この表示データとＳ２４０にて取得した操作対象機器の動作状態とに基づき、その動作状態を反映させた操作指令入力用画像を生成して、これを最終的な表示データとして表示制御部２２に出力することにより、操作対象機器の動作状態を表す操作指令入力用画像を仮想空間内に立体的に表示させる。
【００４２】
例えば、図４（ｂ）に示すエアコンの操作種別選択画像内で、操作種別として風向き操作が選択された場合、Ｓ２５０では、図４（ｃ）に例示するように、表示データ記憶部２４から読み込んだ車室内前方の４つの吹出口を表す操作指令入力用画像に、現在の動作状態である各吹出口からの空調空気の吹出方向を表す画像（図では矢印）を重ねた画像が生成されて、この画像が仮想空間内に立体画像として表示される。
【００４３】
次に、Ｓ２６０では、上述したＳ１２０或いはＳ１９０と同様に、画像処理部２６から、撮像画像を処理することにより得られた乗員の手の位置及び形状の認識結果を読み込み、Ｓ２７０にて、その読み込んだ認識結果（手の位置及び形状）はＳ２６０にて前回読み込んだものから変化したか否かを判断する。
【００４４】
そして、Ｓ２７０にて、認識結果は変化していないと判断されると、再度Ｓ２４０に移行し、Ｓ２７０にて、認識結果は変化したと判断されると、続くＳ２８０に移行して、画像処理部２６の過去の認識結果から手の位置若しくは形状の変化パターンを演算し、その変化パターンと操作パターン記憶部２８に記憶されている操作パターンとを比較することにより、乗員が仮想空間内で手を動かすことによって入力した操作指令を認識する。
【００４５】
なお、操作指令入力用画像内で操作指令を認識するための操作パターンは、操作指令入力用画像の形態によって異なるが、概ね、操作指令入力用画像内に表示させている機器の動作状態を変化させるような操作パターンが設定されている。例えば、図４（ｃ）に示した操作指令入力用画像では、風向きを変化させたい吹出口の前に手を翳して、その手を所望の方向に動かすことによって、その吹出口からの風向きを、手を動かした方向に変化させるものと認識するように、操作パターンが設定されている。
【００４６】
次に、Ｓ２９０では、Ｓ２８０における操作指令の認識処理によって、乗員からの操作指令が認識されたか否かを判断し、操作指令が認識された場合には、Ｓ３００に移行して、Ｓ２８０で認識した操作指令を、操作対象機器制御用のＥＣＵ（具体的には、エアコンＥＣＵ３０又はナビゲーションＥＣＵ４０又はオーディオＥＣＵ５０）に送信することにより、操作対象機器を操作指令に対応して制御した後、Ｓ２４０に移行する。
【００４７】
なお、この場合、Ｓ２４０では、操作指令送信後の操作対象機器の動作状態が取得されることから、その後Ｓ２５０の表示処理によって表示される操作指令入力画像は、例えば、図４（ｄ）に示すように、操作指令入力後の操作対象機器の動作状態が反映されたものとなり、乗員は、この操作指令入力画像から、操作指令入力後の制御結果を確認することができる。
【００４８】
また次に、Ｓ２９０にて、操作指令が認識されなかったと判断されると、Ｓ３１０に移行して、Ｓ２８０における操作指令の認識処理によって、乗員によるキャンセル操作が認識されたか否かを判断する。
そして、Ｓ２８０にて、キャンセル操作が認識されていないと判断された場合には、再度Ｓ２４０に移行し、逆に、Ｓ２８０にて、キャンセル操作が認識されたと判断された場合には、乗員が選択した操作種別に操作入力はキャンセルされたと判断して、再度Ｓ１８０に移行する。
【００４９】
以上説明したように、本実施例の操作入力装置においては、車両の助手席前方の仮想空間内に操作指令入力用の立体画像を表示させ、助手席に着座した乗員がその仮想空間内で手を動かすと、その動きから乗員が入力した操作指令を認識して、操作対象機器に操作指令を送信するようにされている。
【００５０】
このため、使用者である乗員は、仮想空間内に表示された操作指令入力用の立体画像を確認しつつ、仮想空間内で手を動かすことにより、操作対象機器に対する所望の操作指令を入力することができるようになり、前述した従来装置に比べて使用者の使い勝手を向上できると共に、使用者の誤操作を防止できる。
【００５１】
また、仮想空間内に表示する操作指令入力用画像は、操作対象機器の現在の動作状態を表しており、乗員が入力した操作指令に応じて操作対象機器が制御されると、その制御結果に応じて操作指令入力用画像が更新されることから、乗員は、操作指令入力後の操作対象機器の動作状態を確認できると共に、万一誤操作した場合でも、操作指令入力用画像を見ながら操作をし直せば操作対象機器を所望状態に戻すことができるので、これによっても、従来装置に比べて使い勝手を向上できる。
【００５２】
また、本実施例の操作入力装置は、複数の車載機器（詳しくは、エアコン、ナビゲーション装置、オーディオ装置）を細かく操作できるようにするために、仮想空間内に表示させる立体画像として、操作対象機器選択用の画像と、操作対象機器に対する操作種別選択用の画像と、操作種別に対応する操作指令入力用の画像との３種類の画像を予め用意しておき、これらを段階的に立体画像として仮想空間内に表示させることによって、乗員が操作対象機器や操作種別を選択できるようにしている。この結果、本実施例によれば、乗員は複数の車載機器を極めて簡単な動作で操作できるようになる。
【００５３】
なお、本実施例においては、操作入力ＥＣＵ１０にて実行される制御処理が本発明の制御手段に相当し、このうち、特に乗員の手の動きを認識するために実行されるＳ１２０、Ｓ１３０、Ｓ１９０、Ｓ２００，Ｓ２６０及びＳ２７０と、操作入力ＥＣＵ１０内の画像処理部２６とが本発明の認識手段に相当する。
【００５４】
以上、本発明の一実施例について説明したが、本発明は、上記実施例に限定されるものではなく、種々の態様を採ることができる。
例えば、上記実施例では、本発明を、複数の車載機器を操作するための車両用操作入力装置に適用した場合について説明したが、本発明は、一つの制御対象機器を操作するための装置であっても、車載機器以外の制御対象機器を操作するための装置であっても、上記実施例と同様に適用して、同様の効果を得ることができる。
【００５５】
そして、特に、車載機器以外の制御対象機器を操作するための装置に本発明を適用する場合には、例えば、列車の券売機のように、操作パネルと、操作パネル上のボタンを操作するために料金表等の他の表示物とを見て、操作パネルを操作する必要のある装置に適用すれば、より効果を発揮することができる。
【００５６】
つまり、列車の券売機の場合、仮想空間内に線路地図を立体画像として表示して、その立体画像上で使用者がその地図を動かす操作を行うことによって表示地図を変化させ、その表示地図上で使用者が行き先を指定することによって、料金が表示されるようにすれば、従来の券売機に比べて、極めて簡単に切符を購入することができるようになる。
【００５７】
なお、上記実施例において、ナビゲーション装置に対する操作手順については、説明を省略したが、例えば、ナビゲーション装置に表示する表示地図を変化させる際には、仮想空間内に地図を立体画像として表示させ、その立体画像上で乗員が地図を動かす操作を行えば、ナビゲーション装置に表示される地図が変化し、立体画像に対して視点を指定する操作を行えば、ナビゲーション装置に表示される地図がその視点に応じて変化するようにするとよい。
【００５８】
また次に、上記実施例では、撮像装置６は一つであるものとして説明したが、これは、自動車において、乗員の着座位置は略固定されており、一方向から撮像した画像だけで乗員の手の動きを識別できるためであり、使用者の位置が固定されない装置に適用する場合には、複数の撮像装置を用いて使用者を撮像し、その撮像した複数の撮像画像から使用者の手の動きを認識するようにすればよい。
【００５９】
同様に、使用者の位置が固定されず、使用者の眼の位置が大きく変化する装置では、仮想空間内に操作用の立体画像を正確に表示することが困難であることから、このような場合には、使用者の位置（詳しくは眼の位置）を検出して、その検出結果に応じて、液晶表示装置の表示パネルに表示させるステレオ画像の視差を調整するようにするとよい。
【００６０】
なお、上記実施例で説明した立体画像表示用の液晶表示装置２は一例であり、本発明の立体画像表示手段としては、使用者に対して立体画像を表示できるものであればよく、例えば、液晶表示パネルに左眼用と右眼用の画像を交互に並べて表示し、各画像が使用者の左右の眼にそれぞれ映るように液晶シャッター等のスイッチを利用して画像の表示方向を切り換える方式のものであっても、或いは、専用のめがねを用いることにより立体画像を表示させる方式のものであっても、利用することができる。
【図面の簡単な説明】
【図１】実施例の操作入力装置全体の構成を表す概略構成図である。
【図２】操作入力ＥＣＵの構成及びこれに通信線を介して接続された車載機器制御用のＥＣＵを表すブロック図である。
【図３】操作入力ＥＣＵにて実行される制御処理を表すフローチャートである。
【図４】仮想空間に表示される立体画像及びその立体画像に対する操作方法を説明する説明図である。
【符号の説明】
２…液晶表示装置、４…フレネルレンズ、６…撮像装置、８…通信線、１０…操作入力ＥＣＵ、１２…ＣＰＵ、１４…ＲＯＭ、１６…ＲＡＭ、２０…通信部、２２…表示制御部、２４…表示データ記憶部、２６…画像処理部、２８…操作パターン記憶部。

Claims

所定の仮想空間に立体画像を表示する立体画像表示手段と、
前記仮想空間を含む周囲の画像を撮像する１又は複数の撮像手段と、
該撮像手段により撮像された撮像画像から前記仮想空間内での使用者の手の動きを認識する認識手段と、
前記立体画像表示手段に対して、操作対象機器を操作するための立体画像を表示させ、該画像表示中に前記認識手段により認識された使用者の手の動きから使用者が発した操作指令を識別し、該識別した操作指令に応じて前記立体画像表示手段が表示する立体画像を変化させると共に、該操作指令を前記操作対象機器に出力する制御手段と、
を備えたことを特徴とする操作入力装置。
前記制御手段は、前記立体画像表示手段に前記操作対象機器を操作するための立体画像を表示させる前に、使用者に対して操作対象機器若しくは操作種別を選択させるための立体画像を前記立体画像表示手段に表示させ、該画像表示中に前記認識手段により認識された手の動きから使用者が選択した操作対象機器若しくは操作種別を識別し、その後、該識別結果に応じて操作対象機器を操作するための立体画像を前記立体画像表示手段に表示させることを特徴とする請求項１記載の操作入力装置。
当該操作入力装置は車両乗員が車載機器を操作するための装置であり、
前記立体画像表示手段は、車両の座席前方に配置され、該座席に着座した乗員が手を翳すことのできる空間を前記仮想空間として、該乗員に対して前記立体画像を表示するよう構成され、
前記撮像装置は、前記立体画像表示手段と共に車両の座席前方に配置されて、前記座席に着座した乗員を前方から撮像するよう構成されたことを特徴とする請求項１又は請求項２記載の操作入力装置。