JP2004334590A - 操作入力装置 - Google Patents
操作入力装置 Download PDFInfo
- Publication number
- JP2004334590A JP2004334590A JP2003130593A JP2003130593A JP2004334590A JP 2004334590 A JP2004334590 A JP 2004334590A JP 2003130593 A JP2003130593 A JP 2003130593A JP 2003130593 A JP2003130593 A JP 2003130593A JP 2004334590 A JP2004334590 A JP 2004334590A
- Authority
- JP
- Japan
- Prior art keywords
- image
- occupant
- virtual space
- stereoscopic image
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims description 12
- 239000004973 liquid crystal related substance Substances 0.000 abstract description 20
- 238000011022 operating instruction Methods 0.000 abstract 6
- 238000000034 method Methods 0.000 description 34
- 238000004891 communication Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 8
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004378 air conditioning Methods 0.000 description 2
- 238000007664 blowing Methods 0.000 description 2
- 230000001143 conditioned effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/213—Virtual instruments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/146—Instrument input by gesture
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
【解決手段】液晶表示装置2とフレネルレンズ4とを用いて、車両の助手席前方の仮想空間内に、車載機器に対する操作指令入力用の立体画像(虚像)を表示させると共に、仮想空間を含む乗員画像を撮像装置6にて撮像し、操作入力ECU10にて、その撮像画像を処理することにより、仮想空間内での乗員の手の動きを認識する。そして、乗員の手の動きが、仮想空間に表示した立体画像に対する所定の動きであれば、乗員が車載機器に対する操作指令を入力したと判断して、操作指令を車載機器に出力すると共に、操作指令に対応して仮想空間に表示した立体画像を変化させる。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、使用者の手の動きから使用者が発した操作指令を識別して、操作対象機器に対して操作指令を出力する操作入力装置に関する。
【0002】
【従来の技術】
従来より、車両乗員が車載機器に直接触れることなく車載機器を操作できるようにするために、乗員が座席に座った状態で手を翳すことのできる空間を仮想空間として、該仮想空間内の画像を撮像し、その撮像した撮像画像から乗員の手の動きを認識して、その認識した手の動きに基づき操作指令を判定するように構成された入力装置が知られている(例えば、特許文献1等参照)。
【0003】
そして、この入力装置によれば、乗員は、車両に搭載された空調装置やナビゲーション装置等の各種機器を、各機器用の操作部に直接触れることなく操作できるので、各機器に対する操作入力を極めて簡単に行うことができる。
また、この装置では、誤入力を防止するために、操作指令等の判定結果を音声にて乗員にコールバックすることにより、装置側で操作指令を誤判定した場合でも、その後乗員が仮想空間内で手を動かすことにより、その判定結果をキャンセルできるようにされている。
【0004】
【特許文献1】
特開2000−75991
【0005】
【発明が解決しようとする課題】
しかしながら、上記従来装置では、乗員は、車載機器を操作するために、何も存在しない仮想空間内で手を動かす必要があることから、仮想空間内での操作に不慣れな乗員にとっては、使い勝手が悪く、また、コールバックによって乗員が誤操作を認識しても、装置側での操作指令の判定結果をうまくキャンセルできないことがある、といった問題があった。
【0006】
本発明は、こうした問題に鑑みなされたものであり、使用者の手の動きから使用者が発した操作指令を識別して、操作対象機器に対して操作指令を出力する操作入力装置において、使用者による使い勝手を向上し、使用者が簡単且つ確実に操作対象機器を操作できるようにすることを目的とする。
【0007】
【課題を解決するための手段】
かかる目的を達成するためになされた請求項1記載の操作入力装置においては、所定の仮想空間に立体画像を表示する立体画像表示手段と、仮想空間を含む周囲の画像を撮像する1又は複数の撮像手段と、撮像手段により撮像された撮像画像から前記仮想空間内での使用者の手の動きを認識する認識手段とを備える。そして、制御手段が、立体画像表示手段に対して、操作対象機器を操作するための立体画像を表示させ、その画像表示中に認識手段により認識された使用者の手の動きから使用者が発した操作指令を識別し、その識別した操作指令に応じて立体画像表示手段が表示する立体画像を変化させると共に、操作指令を操作対象機器に出力する。
【0008】
従って、本発明の操作入力装置によれば、使用者は、立体画像表示手段を介して仮想空間内に表示された操作用の立体画像を確認しつつ、仮想空間内で手を動かす(押す、回す、移動させる等)ことにより、操作対象機器に対する操作指令を入力することができるようになり、前述した従来装置のように機器操作のために何もない空間内で手を動かす必要がないので、使用者の使い勝手を向上できると共に、使用者の誤操作を防止できる。
【0009】
また、仮想空間内に表示される操作用の立体画像は、制御手段が識別した操作指令に応じて変化するので、使用者は、その変化から操作結果をより確実に確認することができ、万一、誤操作した場合でも、立体画像を見ながら操作をし直せばよいので、これによっても、従来装置に比べて使い勝手を向上できる。
【0010】
ここで、本発明の操作入力装置は、操作用の立体画像を仮想空間内に表示させることにより、使用者が操作指令入力のために仮想空間内で手を動かす際の操作性を向上するものであるが、複数の操作対象機器に対する操作指令を入力できるようにする場合や、操作対象機器の操作内容が多岐にわたるような場合には、一つの立体画像で全てを操作可能な情報を表示することができない。
【0011】
そこで、このような場合には、請求項2に記載のように、制御手段を、立体画像表示手段に操作対象機器を操作するための立体画像を表示させる前に、使用者に対して操作対象機器若しくは操作種別を選択させるための立体画像を立体画像表示手段に表示させ、その画像表示中に認識手段により認識された手の動きから使用者が選択した操作対象機器若しくは操作種別を識別し、その後、その識別結果に応じて操作対象機器を操作するための立体画像を立体画像表示手段に表示させるように構成するとよい。
【0012】
つまり、このようにすれば、使用者は、仮想空間に表示された機器若しくは操作種別選択用の立体画像を見て、仮想空間内で手を動かすことにより、操作したい操作対象機器や操作種別を選択して、操作用の立体画像を仮想空間内に表示させることができるようになり、複数の操作対象機器に対する操作指令や操作内容が多岐にわたる操作対象機器に対する操作指令についても、簡単な操作で入力できるようになる。
【0013】
なお、この場合、操作対象機器や操作種別選択用の立体画像については、一般的な階層メニューのように、予め階層化しておき、使用者の選択操作に応じて選択用の立体画像を段階的に変化させることにより、所望の操作用立体画像を選択できるようにしてもよい。
【0014】
また、本発明において、仮想空間に表示させる操作用の立体画像としては、単に操作用のボタンやツマミ(ボリューム)を立体的に表示させるようにしてもよいが、例えば、操作対象機器の実際の動作状態を検出して、その動作状態を立体的に表示させるようにすれば、使用者は、その表示画像から操作対象機器の動作状態を直感的に把握して所望の操作指令を入力できるようになる。また、この場合、操作指令の入力結果は、操作対象機器の動作状態の変化として仮想空間内に表示されることになるので、使用者は、操作結果をより簡単に確認することができる。
【0015】
次に、請求項3に記載の操作入力装置は、本発明(請求項1,2)を、車両乗員が車載機器を操作するための車両用の操作入力装置に適用したものである。
そして、請求項3に記載の操作入力装置において、立体画像表示手段は、車両の座席前方に配置され、その座席に着座した乗員が手を翳すことのできる空間を仮想空間として、乗員に対して立体画像を表示するよう構成され、撮像装置は、立体画像表示手段と共に車両の座席前方に配置されて、座席に着座した乗員を前方から撮像するよう構成されている。
【0016】
従って、請求項3に記載の操作入力装置によれば、車両において、乗員が座席に着座した状態で姿勢を変化させることなく、極めて簡単に車載機器を操作することができるようになる。
【0017】
【発明の実施の形態】
以下に本発明の実施形態について説明する。
図1は、本発明が適用された実施例の操作入力装置全体の構成を表す概略構成図である。
【0018】
図1に示すように、本実施例の操作入力装置は、車両に搭載されて、車両の助手席に着座した乗員からの操作指令を入力するためのものであり、助手席前方のフロントパネルに設けられた液晶表示装置2及びフレネルレンズ4と、同じくフロントパネルに設けられた撮像装置6と、操作入力用の電子制御装置(以下、操作入力ECUという)10とから構成されている。
【0019】
ここで、液晶表示装置2及びフレネルレンズ4は、助手席に着座した乗員の左右の眼に異なる画像が見えるように光を出射することで、乗員が着座した状態で手を翳すことのできる空間(仮想空間)内に虚像(立体画像)を表示させるためのものであり、本発明の立体画像表示手段に相当する。
【0020】
即ち、液晶表示装置2は、例えば、視差を有する左眼用、右眼用の画像(所謂ステレオ画像)を時分割で交互に表示する液晶表示パネルと、液晶表示パネルに異なる方向から交互に光を照射することにより、液晶パネルに表示された左眼・右眼用の画像を乗員の左右両眼に選択的に投影させる2つの光源とを備え、フレネルレンズ4を介して、液晶表示パネルに表示したステレオ画像を虚像(立体画像)として拡大表示させるものである。
【0021】
なお、こうした液晶表示装置2の構成は周知であるので、液晶表示装置2の詳細構成については説明を省略する(例えば、特開平9−222584号公報、特開2000−50316号公報、特開2001−218231号公報等参照)。次に、撮像装置6は、例えばCCDカメラからなり、液晶表示装置2及びフレネルレンズ4を介して立体画像が表示される仮想空間を含む乗員前方の画像(詳しくは二次元画像)を撮像するためのものであり、本発明の撮像手段に相当する。
【0022】
そして、操作入力ECU10は、車両に搭載された空調装置(以下、エアコンという)、ナビゲーション装置、オーディオ装置等の各種車載機器を操作するための画像を液晶表示装置2を介して仮想空間内に立体的に表示させると共に、画像表示中に撮像装置6にて撮像された撮像画像を取り込み、画像を処理することにより仮想空間内での乗員の手の動きを認識して、その認識結果から乗員が入力した操作指令を識別し、エアコン、ナビゲーション装置、オーディオ装置等を制御する。
【0023】
即ち、図2に示すように、操作入力ECU10は、CPU12、ROM14、RAM16、及びこれら各部を結ぶバスライン18からなる周知のマイクロコンピュータにて構成されている。
また、操作入力ECU10には、液晶表示装置2を駆動して上述したステレオ画像を表示させる表示制御部22、液晶表示装置2にステレオ画像を表示させるための表示データが格納された表示データ記憶部24、撮像装置6にて撮像された撮像画像を処理することにより、使用者である乗員の手の位置や形状等を認識する画像処理部26、乗員の手の動きから乗員が発した操作指令を識別するための操作パターンが予め記憶された操作パターン記憶部28、及び、車両に配線された通信線8を介してエアコンECU30、ナビゲーションECU40、オーディオECU50等の車載機器との間でデータ通信を行うための通信部20が設けられている。
【0024】
そして、操作入力ECU10は、CPU12の動作によって、液晶表示装置2を介して仮想空間内に操作用の立体画像を表示させると共に、撮像装置6による撮像画像から使用者である乗員が発した操作指令を識別して、その操作指令をエアコンECU30、ナビゲーションECU40,オーディオECU50等に送信することにより、これら各ECU30、40、50を介して、車両に搭載されたエアコン、ナビゲーション装置、オーディオ装置等を制御する。
【0025】
以下、このように操作入力ECU10(詳しくはCPU12)にて乗員からの操作指令を受け付けるために実行される制御処理を、図3に示すフローチャートに沿って説明する。
なお、この制御処理を実行するに当たって、表示データ記憶部24には、立体画像表示用の表示データとして、乗員に対して操作したい車載機器(操作対象機器)を選択させるための操作対象機器選択画像、乗員に対して操作対象機器の何を操作するのかを選択させるための操作種別選択画像、及び、乗員が選択した操作種別に対応した操作指令入力用画像が階層化して記憶されている。
【0026】
また、操作パターン記憶部28には、表示データ記憶部24に記憶された各画像毎に、その画像を仮想空間に表示した際に乗員の手の動きから乗員が入力した選択指令若しくは操作指令を識別するための操作パターンが記憶されている。
図3に示すように、CPU12が制御処理を開始すると、まず、ステップ110(以下ステップを「S」と記載する)にて、表示データ記憶部24から操作対象機器選択画像の表示データを読み込み、この表示データを表示制御部22に出力することにより、液晶表示装置2に対して、仮想空間内に操作対象機器選択用の立体画像を表示させる。なお、本実施例では、操作対象機器が、エアコン、ナビゲーション装置、及び、オーディオ装置の3つであることから、仮想空間内には、例えば、図4(a)に示すように、これら3つの機器を表す選択ブロック(図では球状)が空中に浮いているように表示される。
【0027】
次に、続くS120では、画像処理部26から、撮像画像を処理することにより得られた乗員の手の位置及び形状の認識結果を読み込み、S130にて、その読み込んだ認識結果(手の位置及び形状)はS120にて前回読み込んだものから変化したか否かを判断する。
【0028】
そして、S130にて、認識結果は変化していないと判断されると、再度S110に移行し、S130にて、認識結果は変化したと判断されると、続くS140に移行して、画像処理部26の過去の認識結果から手の位置若しくは形状の変化パターンを演算し、その変化パターンと操作パターン記憶部28に記憶されている操作パターンとを比較することにより、乗員が仮想空間内で手を動かすことによって入力した選択指令を認識する。
【0029】
なお、本実施例では、操作対象機器選択画像の表示中には、図4(a)に例示するように、乗員が表示画像中の任意の選択ブロックの手前に手を翳して、その選択ブロックを押すように手を動かすか或いは選択ブロックを掴むように手を動かした際に、その選択ブロックを選択したと判断するように、操作パターンが設定されている。
【0030】
次に、S150では、S140における選択指令の認識処理によって、乗員からの選択指令の入力が認識されたか否かを判断し、選択指令の入力が認識された場合には、S180に移行し、逆に、選択指令の入力が認識されなかった場合には、続くS160に移行して、S140における選択指令の認識処理によって、乗員によるキャンセル操作が認識されたか否かを判断する。
【0031】
なお、このキャンセル操作は、例えば、乗員が仮想空間を横切るように手を左右に大きく振るものとして規定されており、S140では、乗員の手の動きからこのキャンセル操作についても識別する。
そして、S160にて、キャンセル操作が認識されていないと判断された場合には、再度S110に移行し、逆に、S160にて、キャンセル操作が認識されたと判断された場合には、仮想空間を利用した操作入力はキャンセルされたと判断して、当該制御処理を終了する。
【0032】
但し、CPU12は、当該制御処理を終了しても、画像処理部26から認識結果を取得して乗員の手の動きの変化パターンから乗員からの起動指令を認識する起動指令認識処理を実行するようにされており、CPU12は、乗員からの起動指令を認識すると、当該制御処理を起動して、S110以降の処理を実行する。
【0033】
次に、S150にて、乗員からの選択指令の入力が認識されたと判断された場合に実行されるS180では、その選択指令によって選択された操作対象機器に対する操作種別を乗員に選択させるための操作種別選択画像を仮想空間に表示するために、表示データ記憶部24から操作種別選択画像の表示データを読み込み、この表示データを表示制御部22に出力する。
【0034】
この結果、仮想空間内には、乗員が選択した操作対象機器に対する操作種別を表す選択ブロックが表示されることになる。例えば、本実施例では、エアコンに対する操作種別として、車室内前方の左端、右端、及び、中央の左・右にそれぞれ配置された4つの吹出口からの空調空気の吹出方向を設定するための風向き操作、車室内の温度や各吹出口からの空調空気の温度(高・低)を設定するための温度設定操作、空調装置の動作モード(自動・手動の設定、手動時の外気導入・内気循環の設定等)を設定するための動作モード設定操作、等が予め設定されており、図4(a)に示した操作対象機器選択画像内でエアコンの選択ブロックが選択された際には、図4(b)に例示するように、これら3つの操作種別を表す選択ブロック(図では球状)が空中に浮いているように表示される。
【0035】
そして、続くS190では、S120と同様に、画像処理部26から、撮像画像を処理することにより得られた乗員の手の位置及び形状の認識結果を読み込み、S200にて、その読み込んだ認識結果(手の位置及び形状)はS190にて前回読み込んだものから変化したか否かを判断する。
【0036】
そして、S200にて、認識結果は変化していないと判断されると、再度S180に移行し、S200にて、認識結果は変化したと判断されると、続くS210に移行して、画像処理部26の過去の認識結果から手の位置若しくは形状の変化パターンを演算し、その変化パターンと操作パターン記憶部28に記憶されている操作パターンとを比較することにより、乗員が仮想空間内で手を動かすことによって入力した選択指令を認識する。
【0037】
なお、操作種別選択画像内での選択指令を認識するための操作パターンは、操作対象機器選択画像内で選択指令を認識するための操作パターンと同じであり、図4(b)に例示するように、乗員が表示画像中の任意の選択ブロックの手前に手を翳して、その選択ブロックを押すように手を動かすか或いは選択ブロックを掴むように手を動かした際に、その選択ブロックを選択したと判断するようにされている。
【0038】
次に、S220では、S210における選択指令の認識処理によって、乗員からの選択指令の入力が認識されたか否かを判断し、選択指令の入力が認識された場合には、S240に移行し、逆に、選択指令の入力が認識されなかった場合には、続くS230に移行して、S210における選択指令の認識処理によって、乗員によるキャンセル操作が認識されたか否かを判断する。
【0039】
そして、S230にて、キャンセル操作が認識されていないと判断された場合には、再度S180に移行し、逆に、S230にて、キャンセル操作が認識されたと判断された場合には、乗員が選択した操作対象機器に対する操作入力はキャンセルされたと判断して、再度S110に移行する。
【0040】
次に、S220にて、乗員からの選択指令の入力が認識されたと判断された場合に実行されるS240では、その選択指令によって選択された操作種別に対応する操作対象機器の動作状態を、操作対象機器制御用のECU(具体的には、エアコンECU30又はナビゲーションECU40又はオーディオECU50)からデータ通信によって取得する。
【0041】
そして、続くS250では、表示データ記憶部24から操作種別に対応した操作指令入力用画像の表示データを読み込み、この表示データとS240にて取得した操作対象機器の動作状態とに基づき、その動作状態を反映させた操作指令入力用画像を生成して、これを最終的な表示データとして表示制御部22に出力することにより、操作対象機器の動作状態を表す操作指令入力用画像を仮想空間内に立体的に表示させる。
【0042】
例えば、図4(b)に示すエアコンの操作種別選択画像内で、操作種別として風向き操作が選択された場合、S250では、図4(c)に例示するように、表示データ記憶部24から読み込んだ車室内前方の4つの吹出口を表す操作指令入力用画像に、現在の動作状態である各吹出口からの空調空気の吹出方向を表す画像(図では矢印)を重ねた画像が生成されて、この画像が仮想空間内に立体画像として表示される。
【0043】
次に、S260では、上述したS120或いはS190と同様に、画像処理部26から、撮像画像を処理することにより得られた乗員の手の位置及び形状の認識結果を読み込み、S270にて、その読み込んだ認識結果(手の位置及び形状)はS260にて前回読み込んだものから変化したか否かを判断する。
【0044】
そして、S270にて、認識結果は変化していないと判断されると、再度S240に移行し、S270にて、認識結果は変化したと判断されると、続くS280に移行して、画像処理部26の過去の認識結果から手の位置若しくは形状の変化パターンを演算し、その変化パターンと操作パターン記憶部28に記憶されている操作パターンとを比較することにより、乗員が仮想空間内で手を動かすことによって入力した操作指令を認識する。
【0045】
なお、操作指令入力用画像内で操作指令を認識するための操作パターンは、操作指令入力用画像の形態によって異なるが、概ね、操作指令入力用画像内に表示させている機器の動作状態を変化させるような操作パターンが設定されている。例えば、図4(c)に示した操作指令入力用画像では、風向きを変化させたい吹出口の前に手を翳して、その手を所望の方向に動かすことによって、その吹出口からの風向きを、手を動かした方向に変化させるものと認識するように、操作パターンが設定されている。
【0046】
次に、S290では、S280における操作指令の認識処理によって、乗員からの操作指令が認識されたか否かを判断し、操作指令が認識された場合には、S300に移行して、S280で認識した操作指令を、操作対象機器制御用のECU(具体的には、エアコンECU30又はナビゲーションECU40又はオーディオECU50)に送信することにより、操作対象機器を操作指令に対応して制御した後、S240に移行する。
【0047】
なお、この場合、S240では、操作指令送信後の操作対象機器の動作状態が取得されることから、その後S250の表示処理によって表示される操作指令入力画像は、例えば、図4(d)に示すように、操作指令入力後の操作対象機器の動作状態が反映されたものとなり、乗員は、この操作指令入力画像から、操作指令入力後の制御結果を確認することができる。
【0048】
また次に、S290にて、操作指令が認識されなかったと判断されると、S310に移行して、S280における操作指令の認識処理によって、乗員によるキャンセル操作が認識されたか否かを判断する。
そして、S280にて、キャンセル操作が認識されていないと判断された場合には、再度S240に移行し、逆に、S280にて、キャンセル操作が認識されたと判断された場合には、乗員が選択した操作種別に操作入力はキャンセルされたと判断して、再度S180に移行する。
【0049】
以上説明したように、本実施例の操作入力装置においては、車両の助手席前方の仮想空間内に操作指令入力用の立体画像を表示させ、助手席に着座した乗員がその仮想空間内で手を動かすと、その動きから乗員が入力した操作指令を認識して、操作対象機器に操作指令を送信するようにされている。
【0050】
このため、使用者である乗員は、仮想空間内に表示された操作指令入力用の立体画像を確認しつつ、仮想空間内で手を動かすことにより、操作対象機器に対する所望の操作指令を入力することができるようになり、前述した従来装置に比べて使用者の使い勝手を向上できると共に、使用者の誤操作を防止できる。
【0051】
また、仮想空間内に表示する操作指令入力用画像は、操作対象機器の現在の動作状態を表しており、乗員が入力した操作指令に応じて操作対象機器が制御されると、その制御結果に応じて操作指令入力用画像が更新されることから、乗員は、操作指令入力後の操作対象機器の動作状態を確認できると共に、万一誤操作した場合でも、操作指令入力用画像を見ながら操作をし直せば操作対象機器を所望状態に戻すことができるので、これによっても、従来装置に比べて使い勝手を向上できる。
【0052】
また、本実施例の操作入力装置は、複数の車載機器(詳しくは、エアコン、ナビゲーション装置、オーディオ装置)を細かく操作できるようにするために、仮想空間内に表示させる立体画像として、操作対象機器選択用の画像と、操作対象機器に対する操作種別選択用の画像と、操作種別に対応する操作指令入力用の画像との3種類の画像を予め用意しておき、これらを段階的に立体画像として仮想空間内に表示させることによって、乗員が操作対象機器や操作種別を選択できるようにしている。この結果、本実施例によれば、乗員は複数の車載機器を極めて簡単な動作で操作できるようになる。
【0053】
なお、本実施例においては、操作入力ECU10にて実行される制御処理が本発明の制御手段に相当し、このうち、特に乗員の手の動きを認識するために実行されるS120、S130、S190、S200,S260及びS270と、操作入力ECU10内の画像処理部26とが本発明の認識手段に相当する。
【0054】
以上、本発明の一実施例について説明したが、本発明は、上記実施例に限定されるものではなく、種々の態様を採ることができる。
例えば、上記実施例では、本発明を、複数の車載機器を操作するための車両用操作入力装置に適用した場合について説明したが、本発明は、一つの制御対象機器を操作するための装置であっても、車載機器以外の制御対象機器を操作するための装置であっても、上記実施例と同様に適用して、同様の効果を得ることができる。
【0055】
そして、特に、車載機器以外の制御対象機器を操作するための装置に本発明を適用する場合には、例えば、列車の券売機のように、操作パネルと、操作パネル上のボタンを操作するために料金表等の他の表示物とを見て、操作パネルを操作する必要のある装置に適用すれば、より効果を発揮することができる。
【0056】
つまり、列車の券売機の場合、仮想空間内に線路地図を立体画像として表示して、その立体画像上で使用者がその地図を動かす操作を行うことによって表示地図を変化させ、その表示地図上で使用者が行き先を指定することによって、料金が表示されるようにすれば、従来の券売機に比べて、極めて簡単に切符を購入することができるようになる。
【0057】
なお、上記実施例において、ナビゲーション装置に対する操作手順については、説明を省略したが、例えば、ナビゲーション装置に表示する表示地図を変化させる際には、仮想空間内に地図を立体画像として表示させ、その立体画像上で乗員が地図を動かす操作を行えば、ナビゲーション装置に表示される地図が変化し、立体画像に対して視点を指定する操作を行えば、ナビゲーション装置に表示される地図がその視点に応じて変化するようにするとよい。
【0058】
また次に、上記実施例では、撮像装置6は一つであるものとして説明したが、これは、自動車において、乗員の着座位置は略固定されており、一方向から撮像した画像だけで乗員の手の動きを識別できるためであり、使用者の位置が固定されない装置に適用する場合には、複数の撮像装置を用いて使用者を撮像し、その撮像した複数の撮像画像から使用者の手の動きを認識するようにすればよい。
【0059】
同様に、使用者の位置が固定されず、使用者の眼の位置が大きく変化する装置では、仮想空間内に操作用の立体画像を正確に表示することが困難であることから、このような場合には、使用者の位置(詳しくは眼の位置)を検出して、その検出結果に応じて、液晶表示装置の表示パネルに表示させるステレオ画像の視差を調整するようにするとよい。
【0060】
なお、上記実施例で説明した立体画像表示用の液晶表示装置2は一例であり、本発明の立体画像表示手段としては、使用者に対して立体画像を表示できるものであればよく、例えば、液晶表示パネルに左眼用と右眼用の画像を交互に並べて表示し、各画像が使用者の左右の眼にそれぞれ映るように液晶シャッター等のスイッチを利用して画像の表示方向を切り換える方式のものであっても、或いは、専用のめがねを用いることにより立体画像を表示させる方式のものであっても、利用することができる。
【図面の簡単な説明】
【図1】実施例の操作入力装置全体の構成を表す概略構成図である。
【図2】操作入力ECUの構成及びこれに通信線を介して接続された車載機器制御用のECUを表すブロック図である。
【図3】操作入力ECUにて実行される制御処理を表すフローチャートである。
【図4】仮想空間に表示される立体画像及びその立体画像に対する操作方法を説明する説明図である。
【符号の説明】
2…液晶表示装置、4…フレネルレンズ、6…撮像装置、8…通信線、10…操作入力ECU、12…CPU、14…ROM、16…RAM、20…通信部、22…表示制御部、24…表示データ記憶部、26…画像処理部、28…操作パターン記憶部。
Claims (3)
- 所定の仮想空間に立体画像を表示する立体画像表示手段と、
前記仮想空間を含む周囲の画像を撮像する1又は複数の撮像手段と、
該撮像手段により撮像された撮像画像から前記仮想空間内での使用者の手の動きを認識する認識手段と、
前記立体画像表示手段に対して、操作対象機器を操作するための立体画像を表示させ、該画像表示中に前記認識手段により認識された使用者の手の動きから使用者が発した操作指令を識別し、該識別した操作指令に応じて前記立体画像表示手段が表示する立体画像を変化させると共に、該操作指令を前記操作対象機器に出力する制御手段と、
を備えたことを特徴とする操作入力装置。 - 前記制御手段は、前記立体画像表示手段に前記操作対象機器を操作するための立体画像を表示させる前に、使用者に対して操作対象機器若しくは操作種別を選択させるための立体画像を前記立体画像表示手段に表示させ、該画像表示中に前記認識手段により認識された手の動きから使用者が選択した操作対象機器若しくは操作種別を識別し、その後、該識別結果に応じて操作対象機器を操作するための立体画像を前記立体画像表示手段に表示させることを特徴とする請求項1記載の操作入力装置。
- 当該操作入力装置は車両乗員が車載機器を操作するための装置であり、
前記立体画像表示手段は、車両の座席前方に配置され、該座席に着座した乗員が手を翳すことのできる空間を前記仮想空間として、該乗員に対して前記立体画像を表示するよう構成され、
前記撮像装置は、前記立体画像表示手段と共に車両の座席前方に配置されて、前記座席に着座した乗員を前方から撮像するよう構成されたことを特徴とする請求項1又は請求項2記載の操作入力装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003130593A JP2004334590A (ja) | 2003-05-08 | 2003-05-08 | 操作入力装置 |
US10/839,796 US20040254699A1 (en) | 2003-05-08 | 2004-05-06 | Operation input device |
DE102004022494A DE102004022494A1 (de) | 2003-05-08 | 2004-05-07 | Betätigungseingabevorrichtung |
FR0404982A FR2854697A1 (fr) | 2003-05-08 | 2004-05-07 | Dispositif de designation d'action |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003130593A JP2004334590A (ja) | 2003-05-08 | 2003-05-08 | 操作入力装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004334590A true JP2004334590A (ja) | 2004-11-25 |
Family
ID=33308230
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003130593A Pending JP2004334590A (ja) | 2003-05-08 | 2003-05-08 | 操作入力装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20040254699A1 (ja) |
JP (1) | JP2004334590A (ja) |
DE (1) | DE102004022494A1 (ja) |
FR (1) | FR2854697A1 (ja) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006335112A (ja) * | 2005-05-31 | 2006-12-14 | Nissan Motor Co Ltd | コマンド入力装置 |
JP2007083990A (ja) * | 2005-09-26 | 2007-04-05 | Mazda Motor Corp | 車両用情報表示装置 |
JP2008210359A (ja) * | 2007-01-30 | 2008-09-11 | Toyota Motor Corp | 操作装置 |
JP2010078623A (ja) * | 2008-09-23 | 2010-04-08 | Denso Corp | 車室内空中表示装置 |
US7830602B2 (en) | 2005-10-26 | 2010-11-09 | Nippon Sheet Glass Company, Limited | In-vehicle stereoimage display apparatus |
JP2011210239A (ja) * | 2010-03-30 | 2011-10-20 | Harman Becker Automotive Systems Gmbh | 乗り物の電子デバイスのための乗り物のユーザーインターフェースユニット |
US8049722B2 (en) | 2005-09-05 | 2011-11-01 | Toyota Jidosha Kabushiki Kaisha | Vehicular operating apparatus |
US8094189B2 (en) | 2007-01-30 | 2012-01-10 | Toyota Jidosha Kabushiki Kaisha | Operating device |
JP2012221370A (ja) * | 2011-04-12 | 2012-11-12 | Sharp Corp | 表示装置、操作入力方法、操作入力プログラム、及び記録媒体 |
JP2013033344A (ja) * | 2011-08-01 | 2013-02-14 | Yazaki Corp | 表示装置 |
KR101367593B1 (ko) * | 2006-03-22 | 2014-02-25 | 폭스바겐 악티엔 게젤샤프트 | 쌍방향 조작 장치 및 쌍방향 조작 장치의 작동 방법 |
JP2014179099A (ja) * | 2013-03-14 | 2014-09-25 | Samsung Electronics Co Ltd | ユーザ機器のオブジェクト運用方法及び装置 |
KR101438615B1 (ko) | 2012-12-18 | 2014-11-03 | 현대자동차 주식회사 | 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법 |
JP2015084028A (ja) * | 2013-10-25 | 2015-04-30 | シャープ株式会社 | 画像形成装置 |
KR101542986B1 (ko) | 2013-12-19 | 2015-08-07 | 현대자동차 주식회사 | 홀로그램을 이용한 제스처 인식 시스템 및 그 제어 방법 |
US9377858B2 (en) | 2009-10-27 | 2016-06-28 | Samsung Electronics Co., Ltd. | Three-dimensional space interface apparatus and method |
JP2018085118A (ja) * | 2017-12-12 | 2018-05-31 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US10306136B2 (en) | 2010-03-04 | 2019-05-28 | Sony Corporation | Information processing apparatus, information processing method, and program |
US11153472B2 (en) | 2005-10-17 | 2021-10-19 | Cutting Edge Vision, LLC | Automatic upload of pictures from a camera |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1708010A1 (en) * | 2005-03-28 | 2006-10-04 | Kabushiki Kaisha Toshiba | Image display apparatus |
DE102005017313A1 (de) * | 2005-04-14 | 2006-10-19 | Volkswagen Ag | Verfahren zur Darstellung von Informationen in einem Verkehrsmittel und Kombiinstrument für ein Kraftfahrzeug |
US20070057912A1 (en) * | 2005-09-14 | 2007-03-15 | Romriell Joseph N | Method and system for controlling an interface of a device through motion gestures |
DE102005059449A1 (de) * | 2005-12-13 | 2007-06-14 | GM Global Technology Operations, Inc., Detroit | Bediensystem zum Bedienen von Funktionen in einem Fahrzeug |
DE102006032117A1 (de) * | 2006-07-12 | 2008-01-24 | Volkswagen Ag | Informationssystem für ein Verkehrsmittel und Verfahren zum Steuern eines solchen Informationssystems |
JP2008219788A (ja) * | 2007-03-07 | 2008-09-18 | Toshiba Corp | 立体画像表示装置、方法およびプログラム |
DE102007035769A1 (de) * | 2007-07-27 | 2009-02-26 | Continental Automotive Gmbh | Kraftfahrzeugcockpit |
DE102007039444A1 (de) * | 2007-08-21 | 2009-02-26 | Volkswagen Ag | Verfahren zum Anzeigen von Informationen in einem Kraftfahrzeug und Anzeigeeinrichtung für ein Kraftfahrzeug |
US20110063425A1 (en) * | 2009-09-15 | 2011-03-17 | Delphi Technologies, Inc. | Vehicle Operator Control Input Assistance |
DE102009043351A1 (de) * | 2009-09-29 | 2011-04-07 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Erzeugen eines Stereobilds durch eine Projektionseinheit für ein Head-Up-Display und Projektionseinheit für ein Head-Up-Display |
JP4900741B2 (ja) * | 2010-01-29 | 2012-03-21 | 島根県 | 画像認識装置および操作判定方法並びにプログラム |
JP4852159B2 (ja) * | 2010-02-24 | 2012-01-11 | 株式会社東芝 | 画像処理装置、画像処理方法および空調制御装置 |
US20120056989A1 (en) * | 2010-09-06 | 2012-03-08 | Shimane Prefectural Government | Image recognition apparatus, operation determining method and program |
DE102011112618A1 (de) * | 2011-09-08 | 2013-03-14 | Eads Deutschland Gmbh | Interaktion mit einem dreidimensionalen virtuellen Szenario |
US20130204457A1 (en) * | 2012-02-06 | 2013-08-08 | Ford Global Technologies, Llc | Interacting with vehicle controls through gesture recognition |
KR101318244B1 (ko) | 2012-02-29 | 2013-10-15 | 한국과학기술연구원 | 3차원 사용자 인터페이스 구현 시스템 및 구현 방법 |
DE102012203163A1 (de) * | 2012-02-29 | 2013-08-29 | Airbus Operations Gmbh | Vorrichtung und Verfahren zum Austauschen von Informationen zwischen mindestens einem Bediener und einer Maschine |
US9541997B2 (en) | 2012-07-27 | 2017-01-10 | Nec Solution Innovators, Ltd. | Three-dimensional user interface apparatus and three-dimensional operation method |
US20140188527A1 (en) * | 2012-12-31 | 2014-07-03 | Stubhub, Inc. | Enhanced Two-Dimensional Seat Map |
US20140368425A1 (en) * | 2013-06-12 | 2014-12-18 | Wes A. Nagara | Adjusting a transparent display with an image capturing device |
DE102014108656B4 (de) | 2013-07-03 | 2018-07-12 | Visteon Global Technologies, Inc. | Anpassen einer transparenten Anzeige mit einer Bilderfassungsvorrichtung |
CN103529947A (zh) * | 2013-10-31 | 2014-01-22 | 京东方科技集团股份有限公司 | 显示装置及其控制方法、手势识别方法 |
US9841844B2 (en) * | 2014-06-20 | 2017-12-12 | Funai Electric Co., Ltd. | Image display device |
KR101556521B1 (ko) * | 2014-10-06 | 2015-10-13 | 현대자동차주식회사 | 휴먼 머신 인터페이스 장치, 그를 가지는 차량 및 그 제어 방법 |
GB2533777A (en) * | 2014-12-24 | 2016-07-06 | Univ Of Hertfordshire Higher Education Corp | Coherent touchless interaction with steroscopic 3D images |
CN106155289A (zh) * | 2015-04-14 | 2016-11-23 | 鸿富锦精密工业(深圳)有限公司 | 车辆控制***及其操作方法 |
DE102016120999B4 (de) * | 2016-11-03 | 2018-06-14 | Visteon Global Technologies, Inc. | Benutzerschnittstelle und Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug |
DE102017117223A1 (de) * | 2017-07-31 | 2019-01-31 | Hamm Ag | Arbeitsmaschine, insbesondere Nutzfahrzeug |
DE102017219155A1 (de) * | 2017-10-25 | 2019-04-25 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Funktionsauslösung auf beliebigen Flächen |
DE102018206570A1 (de) * | 2018-04-27 | 2019-10-31 | Bayerische Motoren Werke Aktiengesellschaft | Holografische Anzeige-Bedienvorrichtung und Verfahren für den Betrieb einer holografischen Anzeige-Bedienvorrichtung |
DE102018221797A1 (de) * | 2018-12-14 | 2020-06-18 | Volkswagen Aktiengesellschaft | Benutzerschnittstelle eines Fahrzeugs und Verfahren zur Konfiguration und Steuerung der Benutzerschnittstelle |
DE102019206196A1 (de) * | 2019-04-30 | 2020-11-05 | Volkswagen Aktiengesellschaft | Fahrzeug mit einer Benutzerschnittstelle |
DE102019217703A1 (de) * | 2019-11-18 | 2021-06-02 | Volkswagen Aktiengesellschaft | Fahrzeugsitz |
FR3130702A1 (fr) * | 2021-12-16 | 2023-06-23 | Renault S.A.S | Système d’affichage de véhicules automobiles |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02280597A (ja) * | 1989-04-21 | 1990-11-16 | Nec Corp | 双方向リモコン |
JPH0346724A (ja) * | 1989-07-14 | 1991-02-28 | Aisin Seiki Co Ltd | スイッチ装置 |
JPH08115193A (ja) * | 1994-10-14 | 1996-05-07 | Fuji Xerox Co Ltd | 画像処理装置 |
JPH09185456A (ja) * | 1995-04-28 | 1997-07-15 | Matsushita Electric Ind Co Ltd | インターフェイス装置 |
JPH09190278A (ja) * | 1996-01-09 | 1997-07-22 | Mitsubishi Motors Corp | 機器の操作系選択装置 |
JPH09222584A (ja) * | 1996-02-16 | 1997-08-26 | Mitsubishi Electric Corp | 立体映像表示装置 |
JPH10105735A (ja) * | 1996-09-30 | 1998-04-24 | Terumo Corp | 入力装置及び画像表示システム |
JPH10207620A (ja) * | 1997-01-28 | 1998-08-07 | Atr Chinou Eizo Tsushin Kenkyusho:Kk | 立体インタラクション装置および立体インタラクション方法 |
JPH10224875A (ja) * | 1997-02-06 | 1998-08-21 | Matsushita Electric Ind Co Ltd | 機能制御方法 |
JP2000075991A (ja) * | 1998-08-28 | 2000-03-14 | Aqueous Research:Kk | 情報入力装置 |
JP2000099237A (ja) * | 1998-09-24 | 2000-04-07 | Toshiba Corp | 表示・入力装置 |
JP2001092575A (ja) * | 1999-09-20 | 2001-04-06 | Nec Corp | 視覚的接続機器制御方式とその方法 |
JP2001216069A (ja) * | 2000-02-01 | 2001-08-10 | Toshiba Corp | 操作入力装置および方向検出方法 |
WO2002039200A1 (de) * | 2000-11-10 | 2002-05-16 | Iee International Electronics & Engineering S.A. | Verfahren zum steuern von geräten |
JP2002236534A (ja) * | 2001-02-13 | 2002-08-23 | Mitsubishi Motors Corp | 車載機器操作装置 |
JP2003104122A (ja) * | 2001-09-28 | 2003-04-09 | Clarion Co Ltd | 車載用情報機器 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3795647B2 (ja) * | 1997-10-29 | 2006-07-12 | 株式会社竹中工務店 | ハンドポインティング装置 |
US6195104B1 (en) * | 1997-12-23 | 2001-02-27 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
US20020140633A1 (en) * | 2000-02-03 | 2002-10-03 | Canesta, Inc. | Method and system to present immersion virtual simulations using three-dimensional measurement |
US20020071277A1 (en) * | 2000-08-12 | 2002-06-13 | Starner Thad E. | System and method for capturing an image |
US7181342B2 (en) * | 2002-03-15 | 2007-02-20 | Mitsubishi Denki Kabushiki Kaisha | Vehicular navigation device |
-
2003
- 2003-05-08 JP JP2003130593A patent/JP2004334590A/ja active Pending
-
2004
- 2004-05-06 US US10/839,796 patent/US20040254699A1/en not_active Abandoned
- 2004-05-07 DE DE102004022494A patent/DE102004022494A1/de not_active Ceased
- 2004-05-07 FR FR0404982A patent/FR2854697A1/fr active Pending
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02280597A (ja) * | 1989-04-21 | 1990-11-16 | Nec Corp | 双方向リモコン |
JPH0346724A (ja) * | 1989-07-14 | 1991-02-28 | Aisin Seiki Co Ltd | スイッチ装置 |
JPH08115193A (ja) * | 1994-10-14 | 1996-05-07 | Fuji Xerox Co Ltd | 画像処理装置 |
JPH09185456A (ja) * | 1995-04-28 | 1997-07-15 | Matsushita Electric Ind Co Ltd | インターフェイス装置 |
JPH09190278A (ja) * | 1996-01-09 | 1997-07-22 | Mitsubishi Motors Corp | 機器の操作系選択装置 |
JPH09222584A (ja) * | 1996-02-16 | 1997-08-26 | Mitsubishi Electric Corp | 立体映像表示装置 |
JPH10105735A (ja) * | 1996-09-30 | 1998-04-24 | Terumo Corp | 入力装置及び画像表示システム |
JPH10207620A (ja) * | 1997-01-28 | 1998-08-07 | Atr Chinou Eizo Tsushin Kenkyusho:Kk | 立体インタラクション装置および立体インタラクション方法 |
JPH10224875A (ja) * | 1997-02-06 | 1998-08-21 | Matsushita Electric Ind Co Ltd | 機能制御方法 |
JP2000075991A (ja) * | 1998-08-28 | 2000-03-14 | Aqueous Research:Kk | 情報入力装置 |
JP2000099237A (ja) * | 1998-09-24 | 2000-04-07 | Toshiba Corp | 表示・入力装置 |
JP2001092575A (ja) * | 1999-09-20 | 2001-04-06 | Nec Corp | 視覚的接続機器制御方式とその方法 |
JP2001216069A (ja) * | 2000-02-01 | 2001-08-10 | Toshiba Corp | 操作入力装置および方向検出方法 |
WO2002039200A1 (de) * | 2000-11-10 | 2002-05-16 | Iee International Electronics & Engineering S.A. | Verfahren zum steuern von geräten |
JP2004527810A (ja) * | 2000-11-10 | 2004-09-09 | アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス.エイ. | 器具を制御するための方法 |
JP2002236534A (ja) * | 2001-02-13 | 2002-08-23 | Mitsubishi Motors Corp | 車載機器操作装置 |
JP2003104122A (ja) * | 2001-09-28 | 2003-04-09 | Clarion Co Ltd | 車載用情報機器 |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006335112A (ja) * | 2005-05-31 | 2006-12-14 | Nissan Motor Co Ltd | コマンド入力装置 |
US8049722B2 (en) | 2005-09-05 | 2011-11-01 | Toyota Jidosha Kabushiki Kaisha | Vehicular operating apparatus |
JP2007083990A (ja) * | 2005-09-26 | 2007-04-05 | Mazda Motor Corp | 車両用情報表示装置 |
JP4640604B2 (ja) * | 2005-09-26 | 2011-03-02 | マツダ株式会社 | 車両用情報表示装置 |
US11153472B2 (en) | 2005-10-17 | 2021-10-19 | Cutting Edge Vision, LLC | Automatic upload of pictures from a camera |
US11818458B2 (en) | 2005-10-17 | 2023-11-14 | Cutting Edge Vision, LLC | Camera touchpad |
US7830602B2 (en) | 2005-10-26 | 2010-11-09 | Nippon Sheet Glass Company, Limited | In-vehicle stereoimage display apparatus |
US9671867B2 (en) | 2006-03-22 | 2017-06-06 | Volkswagen Ag | Interactive control device and method for operating the interactive control device |
KR101367593B1 (ko) * | 2006-03-22 | 2014-02-25 | 폭스바겐 악티엔 게젤샤프트 | 쌍방향 조작 장치 및 쌍방향 조작 장치의 작동 방법 |
US8094189B2 (en) | 2007-01-30 | 2012-01-10 | Toyota Jidosha Kabushiki Kaisha | Operating device |
JP2008210359A (ja) * | 2007-01-30 | 2008-09-11 | Toyota Motor Corp | 操作装置 |
JP2010078623A (ja) * | 2008-09-23 | 2010-04-08 | Denso Corp | 車室内空中表示装置 |
US9880698B2 (en) | 2009-10-27 | 2018-01-30 | Samsung Electronics Co., Ltd. | Three-dimensional space interface apparatus and method |
US9377858B2 (en) | 2009-10-27 | 2016-06-28 | Samsung Electronics Co., Ltd. | Three-dimensional space interface apparatus and method |
US11190678B2 (en) | 2010-03-04 | 2021-11-30 | Sony Corporation | Information processing apparatus, information processing method, and program |
US10659681B2 (en) | 2010-03-04 | 2020-05-19 | Sony Corporation | Information processing apparatus, information processing method, and program |
US10306136B2 (en) | 2010-03-04 | 2019-05-28 | Sony Corporation | Information processing apparatus, information processing method, and program |
JP2011210239A (ja) * | 2010-03-30 | 2011-10-20 | Harman Becker Automotive Systems Gmbh | 乗り物の電子デバイスのための乗り物のユーザーインターフェースユニット |
JP2012221370A (ja) * | 2011-04-12 | 2012-11-12 | Sharp Corp | 表示装置、操作入力方法、操作入力プログラム、及び記録媒体 |
JP2013033344A (ja) * | 2011-08-01 | 2013-02-14 | Yazaki Corp | 表示装置 |
KR101438615B1 (ko) | 2012-12-18 | 2014-11-03 | 현대자동차 주식회사 | 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법 |
JP2014179099A (ja) * | 2013-03-14 | 2014-09-25 | Samsung Electronics Co Ltd | ユーザ機器のオブジェクト運用方法及び装置 |
JP2015084028A (ja) * | 2013-10-25 | 2015-04-30 | シャープ株式会社 | 画像形成装置 |
KR101542986B1 (ko) | 2013-12-19 | 2015-08-07 | 현대자동차 주식회사 | 홀로그램을 이용한 제스처 인식 시스템 및 그 제어 방법 |
JP2018085118A (ja) * | 2017-12-12 | 2018-05-31 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20040254699A1 (en) | 2004-12-16 |
FR2854697A1 (fr) | 2004-11-12 |
DE102004022494A1 (de) | 2004-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004334590A (ja) | 操作入力装置 | |
CN102934427A (zh) | 图像处理装置、图像处理***和图像处理方法 | |
JP5627253B2 (ja) | 画像処理装置、電子装置、および、画像処理方法 | |
US8947533B2 (en) | Parameter determining device, parameter determining system, parameter determining method, and recording medium | |
US20120287282A1 (en) | Image processing apparatus, image processing system, and image processing method | |
WO2013136740A1 (ja) | 運転支援装置および運転支援方法 | |
JP4367212B2 (ja) | 虚像表示装置およびプログラム | |
JP6257978B2 (ja) | 画像生成装置、画像表示システム及び画像生成方法 | |
CN102958754A (zh) | 图像处理装置、图像处理***和图像处理方法 | |
JP2011073496A (ja) | 車載立体表示装置、及び車載立体表示方法 | |
US20100156782A1 (en) | Hand Control Image For Replication | |
JP2018055614A (ja) | ジェスチャ操作システム、ジェスチャ操作方法およびプログラム | |
JP2019102936A (ja) | 表示装置、電子ミラー、表示装置の制御方法、および表示制御プログラム | |
JP2008141622A (ja) | 車両周辺情報表示装置 | |
JP5479639B2 (ja) | 画像処理装置、画像処理システム、および、画像処理方法 | |
JP2019102935A (ja) | 表示装置、電子ミラー、表示装置の制御方法、および表示制御プログラム | |
JP5465334B2 (ja) | 3次元立体表示装置 | |
US20230143429A1 (en) | Display controlling device and display controlling method | |
JP6005115B2 (ja) | 画像処理装置、電子装置、および、画像処理方法 | |
US20200307378A1 (en) | Non-contact operating apparatus for vehicle and vehicle | |
US11385715B2 (en) | Non-contact operating apparatus for vehicle and vehicle | |
US11425364B2 (en) | Head-up display system for vehicle | |
JP6720902B2 (ja) | 車載機器の制御装置及び車載機器制御用のアプリケーションソフトウェア | |
US11320669B2 (en) | Non-contact operating apparatus for vehicle and vehicle | |
US20240087334A1 (en) | Information process system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050613 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080624 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090818 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091019 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20101019 |