JP5261554B2 - 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース - Google Patents

指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース Download PDF

Info

Publication number
JP5261554B2
JP5261554B2 JP2011202049A JP2011202049A JP5261554B2 JP 5261554 B2 JP5261554 B2 JP 5261554B2 JP 2011202049 A JP2011202049 A JP 2011202049A JP 2011202049 A JP2011202049 A JP 2011202049A JP 5261554 B2 JP5261554 B2 JP 5261554B2
Authority
JP
Japan
Prior art keywords
user
limb
vector
user interface
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011202049A
Other languages
English (en)
Other versions
JP2012069114A (ja
Inventor
チャールズ ジラ ジョセフ
チャールズ ウィングローヴ セオドア
デュシャント チャネイ ロイス
Original Assignee
ビステオン グローバル テクノロジーズ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ビステオン グローバル テクノロジーズ インコーポレイテッド filed Critical ビステオン グローバル テクノロジーズ インコーポレイテッド
Publication of JP2012069114A publication Critical patent/JP2012069114A/ja
Application granted granted Critical
Publication of JP5261554B2 publication Critical patent/JP5261554B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/141Activation of instrument input devices by approaching fingers or pens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、一般に、ヒューマンマシンインタフェース(human-machine-interface)に関する。特に、本発明は、ユーザのトラッキングに基づいてユーザインタフェースと相互作用する適応インタフェースシステム及び方法を目的とする。
最新の車両システムは、下記の1つ以上の要素を備えたユーザインタフェースを有する。ディスプレイ、タッチスクリーン、タッチセンサ、コントロールノブ、ユーザが係合可能なボタン、及び他のコントロール装置。一般的に、ユーザは、直接接触又は物理的操作によってコントロール装置を作動させる。また、ごく最近では、車両は、ユーザを車両HMIと相互作用させるために、音声指令を使用する。加えて、簡単な手/指ジェスチャ又は手書きジェスチャを特徴とするいくつかの進化した自動車概念が明らかにされた。
例えば、米国特許出願公開第2009/0309765号明細書には、三次元ユーザインタフェースによって、デジタルカメラからコントロールナビゲーションに取り込まれた画像を使用するシステム及び方法が開示されている。
米国特許第6,624,833号明細書には、陰影検出を備えた、ジェスチャに基づく入力インタフェースシステムが開示されている。この入力インタフェースシステムは、画像信号のユーザジェスチャの分類による、コンピュータ上のアプリケーション実行のジェスチャに基づくユーザコントロールを提供する。
米国特許第7,598,942号明細書には、ジェスチャに基づくコントロールのシステム及び方法が明らかにされている。このシステムは、ディスプレイスクリーンに示されるさまざまな視覚要素にジェスチャインタフェースを提供する。
米国特許出願公開第2008/0065291号明細書には、車両の乗員の画像を受信する画像受信システムを備えた、車両内でコンポーネントをコントロールするシステム及び方法を開示されている。このシステムは、例えば、手のジェスチャといった、受け取った画像のジェスチャを認識するように配置される。また、この米国特許出願公開第2008/0065291号明細書には、認識されたジェスチャに基づいてコンポーネントをコントロールする、画像受信システムに接続されたコントロールシステムが開示されている。
しかしながら、車両環境でユーザインタフェースと相互作用する正確でタッチレスな手段の必要性は残されたままである。
したがって、ポインティングベクトルと実質的に一致した視覚的な出力を強調するように、ユーザの身体の一部の位置から導出されるポインティングベクトルに基づいてユーザインタフェースの視覚的な出力が自動的に設定(構成)される、適応ユーザインタフェースを開発することが望まれている。
米国特許出願公開第2009/0309765号明細書 米国特許第6,624,833号明細書 米国特許第7,598,942号明細書 米国特許出願公開第2008/0065291号明細書
本発明と調和及び一致した、ポインティングベクトルと実質的に一致した視覚的な出力を強調するために、ユーザの身体の一部の位置から導出されるポインティングベクトルに基づいてユーザインタフェースの視覚的な出力が自動的に設定される適応ユーザインタフェースが驚くべきことに発見された。
一実施形態においては、適応インタフェースシステムは、以下のものを備える。車両システムをコントロールするためのユーザインタフェース、ユーザの肢の位置を検出して、肢の位置を示したセンサ信号を生成するためのセンサ、並びに、センサ及びユーザインタフェースと通信をするプロセッサ、このプロセッサは、センサ信号を受信して、センサ信号を命令セットに基づいて分析してユーザのポインティングベクトルを決定し、ユーザのポインティングベクトルに基づいてユーザインタフェースを設定する。
別の実施形態においては、車両用適応インタフェースシステムは、以下のものを備える。車両内部に配置されたユーザインタフェース、このユーザインタフェースは、車両システムの状況を示した情報をユーザに通信するためのディスプレイを有する。ユーザの肢の位置を検出して、ユーザインタフェースに最も近いユーザの一部の肢の位置を示したセンサ信号を生成するためのセンサ、ユーザの身体の一部の推定位置(estimated position)を示したベクトルノードを記憶するための記憶デバイス、並びに、センサ、記憶デバイス及びユーザインタフェースと通信をするプロセッサ、このプロセッサは、センサ信号を受信して、少なくともユーザインタフェースに最も近いユーザの肢の一部の位置とベクトルノードに基づいて、ユーザの肢のポインティングベクトルを決定し、ディスプレイに示される特定の視覚的な出力を強調するように、ユーザの肢のポインティングベクトルに基づいてディスプレイを設定する。
また、ディスプレイを設定する方法も開示される。
1つの方法は、次の工程を備える。車両システムのコントロールをユーザインタフェースに提供すること、少なくともユーザの身体の一部の肢の位置を検出するためにセンサを提供すること、ユーザの身体の予め定められた部分の推定位置と関連したベクトルノードを定義すること、ユーザの身体の肢の位置及びノードから導出されるポインティングベクトルを決定すること、及び、ポインティングベクトルのポインティングフィールド内に少なくともユーザインタフェースの一部を表すように、ポインティングベクトルに基づいてユーザインタフェースを設定すること。
上記の内容は、本発明の他の利点と同様に、以下の添付の図面と照らして考慮されるときに、好ましい実施形態の下記の詳細な説明から当業者に容易に明らかとなるであろう。
本発明の一実施形態による適応インタフェースシステムを備えた車両内部の部分斜視図である。 図1のインタフェースシステムの概略ブロック図である。 インタフェースシステムを使用しているドライバを示した、図1のインタフェースシステムを備えた車両内部の部分上部平面図である。 インタフェースシステムを使用している同乗者を示した、図1のインタフェースシステムを備えた車両内部の部分上部平面図である。
以下の詳細な説明及び添付の図面は、本発明のさまざまな実施形態を説明及び図示する。この説明及び図面は、当業者が本発明を製作及び使用可能とするのに役立つものであり、何らかの方法で本発明の範囲を限定することを意図しない。開示される方法に関しては、示される工程は事実上例示的であり、したがって、工程の順序は、必要又は重要なものではない。
図1及び図2は、本発明の一実施形態による車両11のための適応インタフェースシステム10を示す。図示のように、インタフェースシステム10は、センサ12、プロセッサ14、及びユーザインタフェース16(又はコントロールデバイス)を備える。インタフェースシステム10は、必要に応じてさまざまなコンポーネントを備えることができる。インタフェースシステム10は、任意のユーザ環境下で一体化することができる。
センサ12は、ユーザの少なくとも一部の身体の位置を検出することが可能なユーザトラッキングデバイスである。非限定的な例として、センサ12は、ユーザの肢(例えば、指先、手、腕など)の位置を検出する。
ある実施形態では、センサ12は、ユーザの少なくとも腕の一部(例えば手、指など)の画像を取り込んで、取り込まれた画像を示したセンサ信号を生成する、相補型金属酸化物半導体(complementary metal-oxide-semiconductor:CMOS)カメラである。しかしながら、他のカメラ及び画像取込デバイスが使用可能であることはいうまでもない。さらに、例えば、ユーザインタフェース16と一体化された赤外線センサ又は投影型静電容量センサ12’といった(例えば、独立して、又は、カメラセンサと組み合わせられた)他のセンサが使用可能であることはいうまでもない。
ある実施形態では、放射エネルギーの発生源18が、ユーザの肢の少なくとも一部を照らすために配置される。非限定的な例として、放射エネルギーの発生源18は、赤外線放射用ダイオードとすることができる。しかしながら、他の放射エネルギーの発生源を使用することが可能である。
プロセッサ14は、入力信号(例えば、センサ信号)を受信し、入力信号を分析し、そして、入力信号の分析に応答してユーザインタフェース16を設定するのに適した任意のデバイス又はシステムとすることができる。ある実施形態では、プロセッサ14はマイクロコンピュータである。図示の実施形態では、プロセッサ14は、センサ12、12’、及びユーザインタフェース16を介してユーザによって提供された入力の少なくとも1つから入力信号を受信する。
図示のように、プロセッサ14は、命令セット20に基づいて入力信号を分析する。命令セット20は、任意のコンピュータ可読媒体で実施することができ、さまざまなタスクを実行するためにプロセッサ14を設定するプロセッサ実行可能命令を備える。プロセッサ14は、例えば、センサ12、12’及びユーザインタフェース16の動作をコントロールするといった、さまざまな機能を実行することができる。さまざまなアルゴリズム及びソフトウェアが、少なくともユーザの肢のポインティング方向を示したポインティングベクトル21を決定すべく、ユーザの肢の画像を分析するために使用可能であることはいうまでもない。
非限定的な例として、命令セット20は、(例えば、センサ信号を介して)プロセッサ14が受信した情報に基づいてユーザの肢のポインティングベクトル21を決定するのに適した学習アルゴリズムである。更に非限定的な例として、プロセッサ14は、ユーザの肢のポインティングベクトル21に基づいて、ポインティングフィールド22(すなわち指示フィールド)を決定する。このポインティングフィールド22は、ポインティングベクトル21と相違する予め定められた角度の範囲(例えば、+/−5度)によって定義される。計算されたポインティングベクトル21と関連する任意の角度の範囲が、ポインティングフィールド22を定義するために使用可能であることはいうまでもない。
ある実施形態では、プロセッサ14は、記憶デバイス23を備える。記憶デバイス23は、単一の記憶デバイスでもよいし、複数の記憶デバイスでもよい。さらに、記憶デバイス23は、ソリッドステート記憶システム、磁気記憶システム、光記憶システム、又は、他の任意の適切な記憶システム又はデバイスとすることができる。記憶デバイス23が命令セット20を記憶するのに適していてもよいことはいうまでもない。例えば、センサ12、12’及びユーザインタフェース16によって獲得されたデータ、計算されたポインティングベクトル21、並びに、ポインティングフィールド22といった、他のデータ及び情報が、記憶デバイス23に記憶及び分類されてもよい。ある実施形態では、ユーザの身体の一部の位置を示す予め定義されたベクトルノード24を、次の読み出しのために計算して記憶デバイス23に記憶することができる。任意の数のさまざまなベクトルノード24を、ポインティングベクトル21を決定するために、計算し記憶できることはいうまでもない。さらに、それぞれのベクトルノード24が、ユーザの身体の任意の部分を示すことができることはいうまでもない。
プロセッサ14は、更に、プログラム可能なコンポーネント25を備えることができる。プログラム可能なコンポーネント25は、例えば、センサ12、12’及びユーザインタフェース16といった、インタフェースシステム10の他の任意のコンポーネントと通信できることはいうまでもない。ある実施形態では、プログラム可能なコンポーネント25は、プロセッサ14の処理機能を管理及びコントロールするのに適している。特に、プログラム可能なコンポーネント25は、命令セット20を修正し、プロセッサ14が受信した信号及び情報の分析をコントロールするのに適している。プログラム可能なコンポーネント25が、センサ12及びユーザインタフェース16を管理及びコントロールするのに適していることはいうまでもない。さらに、プログラム可能なコンポーネント25が、記憶デバイス23にデータ及び情報を記憶させ、記憶デバイス23からデータ及び情報を引き出すように構成されていることはいうまでもない。
ユーザインタフェース16は、車両11と関連した機能をコントロールするために、任意のデバイス又はコンポーネント(例えば、ボタン、タッチスクリーン、ノブなど)を備えることができる。ユーザインタフェース16を、例えば、ボタン又はコントロール装置といった、単一のデバイスと定義することができることはいうまでもない。さらに、ユーザインタフェース16は、車両11全体にわたるさまざまな位置に配置可能であることはいうまでもない。
図示のように、ユーザインタフェース16は、ユーザに可視出力を示すためのディスプレイ26を備える。1を含む任意の数のディスプレイ26が使用可能であることはいうまでもない。さらに、二次元ディスプレイ、三次元ディスプレイ、タッチスクリーンなどの、任意の型のディスプレイが使用可能であることはいうまでもない。
図の実施形態では、ディスプレイ26は、その上に示されたユーザが係合可能な複数のボタン28を有するタッチ感知ディスプレイ(すなわちタッチスクリーン)である。ボタン28は、例えば、ナビゲーションシステム、ラジオ、インターネットに接続するのに適した通信デバイス、及び、クライメイトコントロールシステムといった、車両システム30の実行可能な機能と関連している。しかしながら、任意の車両システムを、ユーザが係合可能なボタン28と関連させることができる。さらに、任意の数のボタン28を、例えばハンドル又はコンソール上などの、車両11全体にわたるさまざまな位置に具備及び配置させることが可能であることはいうまでもない。
動作中、ユーザは、タッチレスな方法でインタフェースシステム10と相互作用する。プロセッサ14は、ユーザの位置に関する入力信号(例えばセンサ信号)及び情報を絶えず受信する。プロセッサ14は、ユーザのポインティングベクトル21を決定して、ポインティングベクトル21に応答してユーザインタフェース16の個人化された設定(又はアクティブ化)を生成するために、命令セット20に基づいて入力信号及び情報を分析する。ディスプレイ26と一体化するか、車両11全体にわたるさまざまな位置に(例えば、ハンドル、ダッシュボード、コンソール、又は、センタースタックに)配置された、ユーザが係合可能なボタン28の1つと(タッチレスな方法で)ユーザが相互作用できることはいうまでもない。
非限定的な例として、ユーザの肢の少なくとも1つの画像が取り込まれる。画像は、ポインティングベクトル21を計算するプロセッサ14に、センサ信号を介して出力される。さらに、非限定的な例として、投影型静電容量センサ12’をセンサ12’の検出ゾーン内でユーザの身体の肢の存在を検出するために使用することができる。センサ12’によって集められた情報は、ポインティングベクトル21を計算するプロセッサ14に、センサ信号を介して出力される。
プロセッサ14は、ユーザインタフェース16に対するユーザの肢(例えば、指、手、腕)の位置を決定するために、入力信号(例えば、センサ信号)を分析する。非限定的な例として、センサ信号によって示された画像データは、取り込まれた画像内で肢を定義するために、プロセッサ14によって分析される。ある実施形態では、取り込まれた画像のピクセルが、ユーザの肢の周端部を定義するために、分析(例えば、閾値分析)される。
一旦、画像内で肢が定義されると、ユーザインタフェース16に最も近いユーザの肢の一部(例えば指先)の相対位置が決定可能となる。ユーザインタフェース16に対する肢の位置を、ユーザインタフェース16の公知の位置、又は、更に、従来技術において公知の画像処理技術に基づいて、計算可能であることはいうまでもない。さらに、投影型静電容量センサ12’が、従来技術において理解されるように、センサ12’の容量検出ゾーンで検出された外乱に基づいて、ユーザの肢を位置決定できることはいうまでもない。当業者によって理解されるように、他のセンサ及び位置決定技術を使用することが可能である。
ユーザインタフェース16に最も近いユーザの肢の部分の相対位置は、ベクトルノード24の1つとして記憶される。ユーザの肢のさまざまな部分をベクトルノード24が表し、記憶することができることはいうまでもない。非限定的な例として、ユーザの肩の位置が、ベクトルノード24の別の1つとして、独立して推定され、記憶される。ユーザの身体の任意の部分の位置が、推定可能であることはいうまでもない。しかしながら、ユーザが車両11内にいる間に、ユーザの身体の比較的静的な部分(例えば、肩、臀部など)の位置を推定するときに、充分な処理結果が獲得されている。
また、プロセッサ14は、ベクトルノード24のうちの少なくとも2つに最適線形アルゴリズムを適用することによって、ポインティングベクトル21を計算することができる。複数のベクトルノード24を、入力信号の分析に基づいてプロセッサ14が生成可能であることはいうまでもない。更に、さまざまな最適線形アルゴリズム及び演算式を、ベクトルノード24上にポインティングベクトル21を「適合させる(fit)」ために使用できることはいうまでもない。
一旦ポインティングベクトル21が生成されると、プロセッサ14は、ユーザインタフェース16(又は、例えば、ユーザが係合可能なボタン28の1つといった、プロセッサ14と通信する任意のコンポーネント)へのポインティングベクトル21の拡張をシミュレートする。ポインティングベクトル21が交差するユーザインタフェース16(又は、他のコンポーネント、例えばユーザが係合可能なボタン28)の部分は、ポインティングフィールド22の中心を示す。ポインティングフィールド22の中心点のまわりの許容差範囲は、プロセッサ14及び命令セット20の予め定義されたセッティングによって、定義することができる。
ユーザインタフェース16は、ユーザのポインティングベクトル21に基づいて、プロセッサ14によって自動的に設定される。非限定的な例として、プロセッサ14は、自動的に、ユーザの手の検出された位置及び計算されたポインティングベクトル21に応答して、ディスプレイ26に示される可視出力を設定する。さらに、非限定的な例として、プロセッサ14は、ユーザのポインティングベクトル21に基づいて、ユーザインタフェース16(例えば、ボタン28)と関連した実行可能な機能を設定する。プロセッサ14が、計算されたポインティングベクトル21のポインティングフィールド22内にあるユーザが係合可能なボタン28の1つ(又は、他のコントロールデバイス)を設定(例えば、指定)可能であることはいうまでもない。さらに、ユーザが係合可能なボタン28(又は、コントロールデバイス)が一旦指定されると、ユーザが、関連機能を実行するために、ボタン28を起動できることはいうまでもない。
個人化された設定(即ち、指定(指示、明示))の例は、図3及び図4に示される。図3に図示のように、ユーザ(例えば、車両11のドライバ)が、ユーザが係合可能なボタン28の中心の1つを指さし、センサ12、12’のうちの少なくとも1つが、検出ゾーン内でユーザの肢を検出する。ユーザインタフェース16に最も近い肢の部分は、ベクトルノード24の1つとして記憶される。加えて、ユーザの肩の位置が推定され、ベクトルノード24の別の1つとして記憶される。そして、プロセッサ14は、ベクトルノード24のうちの少なくとも2つに最適線形アルゴリズムを適用することによって、ポインティングベクトル21を計算することができる。プロセッサ14は、ユーザインタフェース16の方へ、ポインティングベクトル21の拡張をシミュレートする。ポインティングベクトル21が交差するユーザインタフェース16の一部は、ポインティングフィールド22の中心を示す。
図示のように、ボタン28の中心の1つは、ポインティングフィールド22内にあり、指定されたボタン28’となる。例えば、指定されたボタン28’を、ボタン28の非指定のものより、高い輝度で照らすことができる。更なる例として、指定されたボタン28’を、ボタン28の非指定のものの大きさと比較して、ディスプレイ26で拡大させることができる。更に非限定的な例として、ボタン28’の指定された1つが、指定(即ち、設定)の状態を示すために、専用の光源(図示せず)で照らされる。ある実施形態では、視覚的なアイコン(図示せず)又はカーソルが、ポインティングフィールド22の位置のユーザにビジュアルキューを提供するために、ポインティングフィールド22内でディスプレイ26に示される。
図4に示すように、ユーザ(例えば、車両11の同乗者)が、ユーザが係合可能なボタン28の右の1つを指さし、センサ12、12’のうちの少なくとも1つが、検出ゾーン内でユーザの肢を検出する。複数のベクトルノード24が、ユーザの検出された肢のさまざまな部分に割り当てられる。そして、プロセッサ14は、ベクトルノード24のうちの少なくとも2つに最適線形アルゴリズムを適用することによって、ポインティングベクトル21を計算することができる。プロセッサ14は、ユーザインタフェース16の方へ、ポインティングベクトル21の拡張をシミュレートする。ポインティングベクトル21が交差するユーザインタフェース16の一部は、ポインティングフィールド22の中心を示す。
図示のように、ボタン28の中心の1つは、ポインティングフィールド22内にあり、指定されたボタン28’となる。例えば、指定されたボタン28’を、ボタン28の非指定のものより、高い輝度で照らすことができる。更なる例として、指定されたボタン28’を、ボタン28の非指定のものの大きさと比較して、ディスプレイ26で拡大させることができる。更に非限定的な例として、ボタン28’の指定された1つが、指定(即ち、設定)の状態を示すために、専用の光源(図示せず)で照らされる。ある実施形態では、視覚的なアイコン(図示せず)又はカーソルが、ポインティングフィールド22の位置のユーザにビジュアルキューを提供するために、ポインティングフィールド22内でディスプレイ26に示される。
ある実施形態では、ユーザのポインティングフィールド22内の視覚的な出力だけが、完全に照らされ、ポインティングフィールド22の外の視覚的な出力は抑制され、或いは不可視とされる。ユーザのポインティングベクトル21が変化すると、ユーザインタフェース16は、ユーザのポインティングフィールド22内でディスプレイ26の視覚的な出力を目立たせるか或いは強調するように、自動的に設定される。ユーザインタフェース16の任意の視覚的な出力が、上記の例の指定されたボタン28’と同じように設定できることはいうまでもない。さらに、ユーザインタフェース16のさまざまな設定を、ユーザのポインティングベクトル21の任意の変化のレベルに基づいて、使用できることはいうまでもない。さらに、任意のユーザインタフェース、ボタン、又はコントロールデバイス(例えば、クライメイトコントロール、無線コントロール)を、ユーザがタッチレスな方法で関連機能を実行するために、ポインティングフィールド22内に指定できることはいうまでもない。
一旦ユーザインタフェース16の少なくとも一部(又は他のコンポーネント、例えば、ユーザが係合可能なボタン28)が指定される(目立たせる、強調される)と、ユーザは、ユーザの身体の肢に関する予め定義されたジェスチャを実行することによって、タッチレスな方法で、指定された部分(例えばボタン28’)と係合することができる。例えば、ユーザは、指定されたボタン28’と「係合する(engage)」ために、指によるトリガを引く運動をシミュレートすることができる。予め定義されたジェスチャを、例えば音声指令又は物理的係合(すなわち、ハンドル上のボタンを押す)といった、別のコントロールと組み合わせて、命令を発動させるために使用することができる。ある実施形態では、ユーザ(例えば、車両同乗者)が、例えば、前照燈及び故障警告灯のコントロール装置といった、特定のコンポーネント、及び、ユーザが係合可能なボタン28から閉め出される。
ユーザが、ユーザインタフェース16及び実行可能な関連機能の設定を手動で修正できることはいうまでもない。さらに、インタフェースシステム10が、ユーザインタフェースの自動設定に関する選択的なコントロールを提供できることはいうまでもない。例えば、ユーザが、ポインティングモード又はタッチレスモードを開始しない限り、ユーザインタフェース16は、デフォルト設定にいつでも復帰することができる。このユーザインタフェース16は、ユーザのポインティングベクトル21と関連した個人化された設定に自動的に設定される。
インタフェースシステム10及びユーザインタフェース16を設定する方法は、ユーザの位置及び計算されたポインティングベクトル21に基づいた、ユーザインタフェース16のリアルタイムの個人化を提供する。その結果、ポインティングフィールド22内のユーザインタフェース16の一部にユーザの注意を集中させて、非集中の視覚出力によってもたらされる注意散漫を最小にする。
上記の説明から、当業者は、本発明の重要な特徴を容易に確認することができ、その趣旨及び範囲から逸脱することなく、さまざまな使用及び状況に適応させるために、本発明にさまざまな変更及び修正を加えることができる。
10 インタフェースシステム
12 12’ センサ
14 プロセッサ
16 ユーザインタフェース
18 放射エネルギーの発生源
20 命令セット
21 ポインティングベクトル
22 ポインティングフィールド
23 記憶デバイス
24 ベクトルノード
25 プログラム可能なコンポーネント
26 ディスプレイ
28、28’ ボタン
30 車両システム

Claims (10)

  1. 車両の内部に配置されるユーザインタフェースであって、車両システムの状況を示した情報をユーザに通信するためのディスプレイを有するユーザインタフェースと、
    ユーザの肢の位置を検出して、前記ユーザインタフェースに最も近いユーザの肢の一部の位置を含むユーザの肢の位置を示したセンサ信号を生成するためのセンサと、
    ユーザの身体の一部の推定位置を示したベクトルノードを記憶するための記憶デバイスと、
    前記センサ、前記記憶デバイス及び前記ユーザインタフェースと通信するプロセッサと、
    を備える、車両用適応インタフェースシステムであって、
    前記プロセッサは、前記センサ信号を受信し、前記ユーザの前記肢の複数の位置に複数のベクトルノードを割り当て、前記ユーザインタフェースに最も近いユーザの肢の一部の位置と前記複数のベクトルノードとに基づいて、ユーザの肢のポインティングベクトルを決定し、前記ディスプレイに示される特定の視覚的な出力を強調するように、ユーザの肢の前記ポインティングベクトルに基づいて前記ディスプレイを設定する
    ことを特徴とするインタフェースシステム。
  2. 前記センサは、ユーザの少なくとも肢の画像を取り込むためのトラッキングデバイスである、請求項1に記載のインタフェースシステム。
  3. 前記センサは、投影型静電容量センサである、請求項1に記載のインタフェースシステム。
  4. 前記センサは、前記ユーザインタフェースに対するユーザの肢の一部の位置を検出するために、前記ユーザインタフェースと一体化される、請求項1に記載のインタフェースシステム。
  5. 前記プロセッサは、少なくとも前記ユーザインタフェースに最も近いユーザの肢の部分の位置及び前記ベクトルノードに基づいて最適線を計算することによって、前記ポインティングベクトルを決定する、請求項1に記載のインタフェースシステム。
  6. 前記肢は、ユーザの指、手及び腕の少なくとも1つである、請求項1に記載のインタフェースシステム。
  7. 前記プロセッサは、ユーザのポインティングフィールド内で視覚的な出力の一部を目立たせるように、ユーザの肢の前記ポインティングベクトルに基づいて、前記ディスプレイを設定する、請求項1に記載のインタフェースシステム。
  8. ディスプレイを設定するための方法であって、
    車両システムのコントロールをユーザインタフェースに提供する工程と、
    ユーザの身体の肢の位置を検出するためにセンサを提供する工程と、
    前記ユーザの身体の前記肢の複数の位置に複数のベクトルノードを割り当てる工程と、
    ユーザの身体の予め定められた部分の推定位置と関連したベクトルノードを定義する工程と、
    ユーザの身体の肢の位置及び前記複数のベクトルノードから導出されるポインティングベクトルを決定する工程と、
    前記ポインティングベクトルのポインティングフィールド内に前記ユーザインタフェースの少なくとも一部を指定するように、前記ポインティングベクトルに基づいて前記ユーザインタフェースを設定する工程と、
    を含む方法。
  9. ユーザが前記ユーザインタフェースと相互作用する間、前記定義する工程で定義された前記ベクトルノードは、前記ユーザインタフェースに対して実質的に静的な、ユーザの身体の一部を示す、請求項8に記載の方法。
  10. 前記ポインティングベクトルを決定する工程は、少なくとも前記ユーザインタフェースに最も近いユーザの肢の部分の位置及び前記ベクトルノードに基づいて最適線を計算することを含む、請求項8に記載の方法。
JP2011202049A 2010-09-21 2011-09-15 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース Expired - Fee Related JP5261554B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/886,795 US8760432B2 (en) 2010-09-21 2010-09-21 Finger pointing, gesture based human-machine interface for vehicles
US12/886,795 2010-09-21

Publications (2)

Publication Number Publication Date
JP2012069114A JP2012069114A (ja) 2012-04-05
JP5261554B2 true JP5261554B2 (ja) 2013-08-14

Family

ID=45769066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011202049A Expired - Fee Related JP5261554B2 (ja) 2010-09-21 2011-09-15 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース

Country Status (3)

Country Link
US (1) US8760432B2 (ja)
JP (1) JP5261554B2 (ja)
DE (1) DE102011053449A1 (ja)

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011119154A1 (en) * 2010-03-24 2011-09-29 Hewlett-Packard Development Company, L.P. Gesture mapping for display device
US9365188B1 (en) 2011-04-22 2016-06-14 Angel A. Penilla Methods and systems for using cloud services to assign e-keys to access vehicles
US9648107B1 (en) 2011-04-22 2017-05-09 Angel A. Penilla Methods and cloud systems for using connected object state data for informing and alerting connected vehicle drivers of state changes
US9346365B1 (en) 2011-04-22 2016-05-24 Angel A. Penilla Methods and systems for electric vehicle (EV) charging, charging unit (CU) interfaces, auxiliary batteries, and remote access and user notifications
US11370313B2 (en) 2011-04-25 2022-06-28 Emerging Automotive, Llc Methods and systems for electric vehicle (EV) charge units and systems for processing connections to charge units
US9285944B1 (en) 2011-04-22 2016-03-15 Angel A. Penilla Methods and systems for defining custom vehicle user interface configurations and cloud services for managing applications for the user interface and learned setting functions
US11294551B2 (en) 2011-04-22 2022-04-05 Emerging Automotive, Llc Vehicle passenger controls via mobile devices
US9104537B1 (en) 2011-04-22 2015-08-11 Angel A. Penilla Methods and systems for generating setting recommendation to user accounts for registered vehicles via cloud systems and remotely applying settings
US9189900B1 (en) 2011-04-22 2015-11-17 Angel A. Penilla Methods and systems for assigning e-keys to users to access and drive vehicles
US11270699B2 (en) 2011-04-22 2022-03-08 Emerging Automotive, Llc Methods and vehicles for capturing emotion of a human driver and customizing vehicle response
US9288270B1 (en) 2011-04-22 2016-03-15 Angel A. Penilla Systems for learning user preferences and generating recommendations to make settings at connected vehicles and interfacing with cloud systems
US9536197B1 (en) 2011-04-22 2017-01-03 Angel A. Penilla Methods and systems for processing data streams from data producing objects of vehicle and home entities and generating recommendations and settings
US9171268B1 (en) 2011-04-22 2015-10-27 Angel A. Penilla Methods and systems for setting and transferring user profiles to vehicles and temporary sharing of user profiles to shared-use vehicles
US10824330B2 (en) 2011-04-22 2020-11-03 Emerging Automotive, Llc Methods and systems for vehicle display data integration with mobile device data
US10217160B2 (en) * 2012-04-22 2019-02-26 Emerging Automotive, Llc Methods and systems for processing charge availability and route paths for obtaining charge for electric vehicles
US10572123B2 (en) 2011-04-22 2020-02-25 Emerging Automotive, Llc Vehicle passenger controls via mobile devices
US9697503B1 (en) 2011-04-22 2017-07-04 Angel A. Penilla Methods and systems for providing recommendations to vehicle users to handle alerts associated with the vehicle and a bidding market place for handling alerts/service of the vehicle
US9230440B1 (en) 2011-04-22 2016-01-05 Angel A. Penilla Methods and systems for locating public parking and receiving security ratings for parking locations and generating notifications to vehicle user accounts regarding alerts and cloud access to security information
US9123035B2 (en) 2011-04-22 2015-09-01 Angel A. Penilla Electric vehicle (EV) range extending charge systems, distributed networks of charge kiosks, and charge locating mobile apps
US9348492B1 (en) 2011-04-22 2016-05-24 Angel A. Penilla Methods and systems for providing access to specific vehicle controls, functions, environment and applications to guests/passengers via personal mobile devices
US9215274B2 (en) 2011-04-22 2015-12-15 Angel A. Penilla Methods and systems for generating recommendations to make settings at vehicles via cloud systems
US9818088B2 (en) 2011-04-22 2017-11-14 Emerging Automotive, Llc Vehicles and cloud systems for providing recommendations to vehicle users to handle alerts associated with the vehicle
US9493130B2 (en) 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
US9180783B1 (en) 2011-04-22 2015-11-10 Penilla Angel A Methods and systems for electric vehicle (EV) charge location color-coded charge state indicators, cloud applications and user notifications
US9809196B1 (en) 2011-04-22 2017-11-07 Emerging Automotive, Llc Methods and systems for vehicle security and remote access and safety control interfaces and notifications
US11132650B2 (en) 2011-04-22 2021-09-28 Emerging Automotive, Llc Communication APIs for remote monitoring and control of vehicle systems
US9229905B1 (en) 2011-04-22 2016-01-05 Angel A. Penilla Methods and systems for defining vehicle user profiles and managing user profiles via cloud systems and applying learned settings to user profiles
US11203355B2 (en) 2011-04-22 2021-12-21 Emerging Automotive, Llc Vehicle mode for restricted operation and cloud data monitoring
US9581997B1 (en) 2011-04-22 2017-02-28 Angel A. Penilla Method and system for cloud-based communication for automatic driverless movement
US9371007B1 (en) 2011-04-22 2016-06-21 Angel A. Penilla Methods and systems for automatic electric vehicle identification and charging via wireless charging pads
US9139091B1 (en) 2011-04-22 2015-09-22 Angel A. Penilla Methods and systems for setting and/or assigning advisor accounts to entities for specific vehicle aspects and cloud management of advisor accounts
US10289288B2 (en) 2011-04-22 2019-05-14 Emerging Automotive, Llc Vehicle systems for providing access to vehicle controls, functions, environment and applications to guests/passengers via mobile devices
US10286919B2 (en) 2011-04-22 2019-05-14 Emerging Automotive, Llc Valet mode for restricted operation of a vehicle and cloud access of a history of use made during valet mode use
US8975903B2 (en) 2011-06-09 2015-03-10 Ford Global Technologies, Llc Proximity switch having learned sensitivity and method therefor
US8928336B2 (en) 2011-06-09 2015-01-06 Ford Global Technologies, Llc Proximity switch having sensitivity control and method therefor
US10004286B2 (en) 2011-08-08 2018-06-26 Ford Global Technologies, Llc Glove having conductive ink and method of interacting with proximity sensor
US20130063336A1 (en) * 2011-09-08 2013-03-14 Honda Motor Co., Ltd. Vehicle user interface system
US9143126B2 (en) 2011-09-22 2015-09-22 Ford Global Technologies, Llc Proximity switch having lockout control for controlling movable panel
US10112556B2 (en) 2011-11-03 2018-10-30 Ford Global Technologies, Llc Proximity switch having wrong touch adaptive learning and method
US8994228B2 (en) 2011-11-03 2015-03-31 Ford Global Technologies, Llc Proximity switch having wrong touch feedback
US8878438B2 (en) 2011-11-04 2014-11-04 Ford Global Technologies, Llc Lamp and proximity switch assembly and method
WO2013074897A1 (en) * 2011-11-16 2013-05-23 Flextronics Ap, Llc Configurable vehicle console
JP5921173B2 (ja) * 2011-12-12 2016-05-24 富士通テン株式会社 車載装置、及び回転方法
US20140309852A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Automatic vehicle diagnostic detection and communication
US9559688B2 (en) 2012-04-11 2017-01-31 Ford Global Technologies, Llc Proximity switch assembly having pliable surface and depression
US9184745B2 (en) 2012-04-11 2015-11-10 Ford Global Technologies, Llc Proximity switch assembly and method of sensing user input based on signal rate of change
US9287864B2 (en) 2012-04-11 2016-03-15 Ford Global Technologies, Llc Proximity switch assembly and calibration method therefor
US9568527B2 (en) 2012-04-11 2017-02-14 Ford Global Technologies, Llc Proximity switch assembly and activation method having virtual button mode
US8933708B2 (en) 2012-04-11 2015-01-13 Ford Global Technologies, Llc Proximity switch assembly and activation method with exploration mode
US9531379B2 (en) 2012-04-11 2016-12-27 Ford Global Technologies, Llc Proximity switch assembly having groove between adjacent proximity sensors
US9944237B2 (en) 2012-04-11 2018-04-17 Ford Global Technologies, Llc Proximity switch assembly with signal drift rejection and method
US9219472B2 (en) 2012-04-11 2015-12-22 Ford Global Technologies, Llc Proximity switch assembly and activation method using rate monitoring
US9660644B2 (en) 2012-04-11 2017-05-23 Ford Global Technologies, Llc Proximity switch assembly and activation method
US9831870B2 (en) 2012-04-11 2017-11-28 Ford Global Technologies, Llc Proximity switch assembly and method of tuning same
US9197206B2 (en) 2012-04-11 2015-11-24 Ford Global Technologies, Llc Proximity switch having differential contact surface
US9520875B2 (en) 2012-04-11 2016-12-13 Ford Global Technologies, Llc Pliable proximity switch assembly and activation method
US9065447B2 (en) 2012-04-11 2015-06-23 Ford Global Technologies, Llc Proximity switch assembly and method having adaptive time delay
US9855947B1 (en) 2012-04-22 2018-01-02 Emerging Automotive, Llc Connected vehicle communication with processing alerts related to connected objects and cloud systems
US9136840B2 (en) 2012-05-17 2015-09-15 Ford Global Technologies, Llc Proximity switch assembly having dynamic tuned threshold
US8981602B2 (en) 2012-05-29 2015-03-17 Ford Global Technologies, Llc Proximity switch assembly having non-switch contact and method
US9337832B2 (en) 2012-06-06 2016-05-10 Ford Global Technologies, Llc Proximity switch and method of adjusting sensitivity therefor
US9641172B2 (en) 2012-06-27 2017-05-02 Ford Global Technologies, Llc Proximity switch assembly having varying size electrode fingers
DE102013209721A1 (de) 2012-08-20 2014-02-20 Johnson Controls Gmbh Verfahren zur Kalibrierung einer TOF-Kamera
US8922340B2 (en) 2012-09-11 2014-12-30 Ford Global Technologies, Llc Proximity switch based door latch release
DE102012216193B4 (de) * 2012-09-12 2020-07-30 Continental Automotive Gmbh Verfahren und Vorrichtung zur Bedienung einer Kraftfahrzeugkomponente mittels Gesten
FR2995836B1 (fr) * 2012-09-27 2015-05-22 Valeo Systemes Thermiques Module de commande
US8796575B2 (en) 2012-10-31 2014-08-05 Ford Global Technologies, Llc Proximity switch assembly having ground layer
CN104049872B (zh) * 2013-03-13 2018-01-05 本田技研工业株式会社 利用指向的信息查询
US9311204B2 (en) 2013-03-13 2016-04-12 Ford Global Technologies, Llc Proximity interface development system having replicator and method
US8818716B1 (en) 2013-03-15 2014-08-26 Honda Motor Co., Ltd. System and method for gesture-based point of interest search
US8886399B2 (en) 2013-03-15 2014-11-11 Honda Motor Co., Ltd. System and method for controlling a vehicle user interface based on gesture angle
JP2015019279A (ja) * 2013-07-11 2015-01-29 京セラディスプレイ株式会社 電子機器
US9817521B2 (en) 2013-11-02 2017-11-14 At&T Intellectual Property I, L.P. Gesture detection
US10025431B2 (en) 2013-11-13 2018-07-17 At&T Intellectual Property I, L.P. Gesture detection
DE102014202490A1 (de) 2014-02-12 2015-08-13 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Signalisierung einer erfolgreichen Gesteneingabe
US9956878B2 (en) 2014-03-07 2018-05-01 Volkswagen Ag User interface and method for signaling a 3D-position of an input means in the detection of gestures
DE102014204800A1 (de) * 2014-03-14 2015-09-17 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen einer graphischen Nutzerschnittstelle in einem Fahrzeug
US9330306B2 (en) 2014-06-11 2016-05-03 Panasonic Intellectual Property Management Co., Ltd. 3D gesture stabilization for robust input control in mobile environments
US10936050B2 (en) 2014-06-16 2021-03-02 Honda Motor Co., Ltd. Systems and methods for user indication recognition
US9501810B2 (en) * 2014-09-12 2016-11-22 General Electric Company Creating a virtual environment for touchless interaction
KR101556521B1 (ko) * 2014-10-06 2015-10-13 현대자동차주식회사 휴먼 머신 인터페이스 장치, 그를 가지는 차량 및 그 제어 방법
US10038443B2 (en) 2014-10-20 2018-07-31 Ford Global Technologies, Llc Directional proximity switch assembly
KR101902434B1 (ko) * 2014-11-13 2018-10-01 현대자동차주식회사 터치 입력장치 및 이를 포함하는 차량
US9654103B2 (en) 2015-03-18 2017-05-16 Ford Global Technologies, Llc Proximity switch assembly having haptic feedback and method
TWI552892B (zh) * 2015-04-14 2016-10-11 鴻海精密工業股份有限公司 車輛控制系統及其操作方法
US9548733B2 (en) 2015-05-20 2017-01-17 Ford Global Technologies, Llc Proximity sensor assembly having interleaved electrode configuration
WO2017013805A1 (ja) * 2015-07-23 2017-01-26 富士通株式会社 入力装置、入力支援方法および入力支援プログラム
US9983407B2 (en) 2015-09-11 2018-05-29 Honda Motor Co., Ltd. Managing points of interest
US10692126B2 (en) 2015-11-17 2020-06-23 Nio Usa, Inc. Network-based system for selling and servicing cars
WO2017087872A1 (en) * 2015-11-20 2017-05-26 Harman International Industries, Incorporated Dynamic reconfigurable display knobs
US20180012196A1 (en) 2016-07-07 2018-01-11 NextEv USA, Inc. Vehicle maintenance manager
US9928734B2 (en) 2016-08-02 2018-03-27 Nio Usa, Inc. Vehicle-to-pedestrian communication systems
US10031523B2 (en) 2016-11-07 2018-07-24 Nio Usa, Inc. Method and system for behavioral sharing in autonomous vehicles
US10708547B2 (en) 2016-11-11 2020-07-07 Nio Usa, Inc. Using vehicle sensor data to monitor environmental and geologic conditions
US10410064B2 (en) 2016-11-11 2019-09-10 Nio Usa, Inc. System for tracking and identifying vehicles and pedestrians
US10694357B2 (en) 2016-11-11 2020-06-23 Nio Usa, Inc. Using vehicle sensor data to monitor pedestrian health
US10699305B2 (en) 2016-11-21 2020-06-30 Nio Usa, Inc. Smart refill assistant for electric vehicles
US10249104B2 (en) 2016-12-06 2019-04-02 Nio Usa, Inc. Lease observation and event recording
US10074223B2 (en) 2017-01-13 2018-09-11 Nio Usa, Inc. Secured vehicle for user use only
US10471829B2 (en) 2017-01-16 2019-11-12 Nio Usa, Inc. Self-destruct zone and autonomous vehicle navigation
US9984572B1 (en) 2017-01-16 2018-05-29 Nio Usa, Inc. Method and system for sharing parking space availability among autonomous vehicles
US10031521B1 (en) 2017-01-16 2018-07-24 Nio Usa, Inc. Method and system for using weather information in operation of autonomous vehicles
US10464530B2 (en) 2017-01-17 2019-11-05 Nio Usa, Inc. Voice biometric pre-purchase enrollment for autonomous vehicles
US10286915B2 (en) 2017-01-17 2019-05-14 Nio Usa, Inc. Machine learning for personalized driving
US11321951B1 (en) * 2017-01-19 2022-05-03 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for integrating vehicle operator gesture detection within geographic maps
US10897469B2 (en) 2017-02-02 2021-01-19 Nio Usa, Inc. System and method for firewalls between vehicle networks
US10234302B2 (en) 2017-06-27 2019-03-19 Nio Usa, Inc. Adaptive route and motion planning based on learned external and internal vehicle environment
US10369974B2 (en) 2017-07-14 2019-08-06 Nio Usa, Inc. Control and coordination of driverless fuel replenishment for autonomous vehicles
US10710633B2 (en) 2017-07-14 2020-07-14 Nio Usa, Inc. Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles
US10837790B2 (en) 2017-08-01 2020-11-17 Nio Usa, Inc. Productive and accident-free driving modes for a vehicle
US10635109B2 (en) 2017-10-17 2020-04-28 Nio Usa, Inc. Vehicle path-planner monitor and controller
US10606274B2 (en) 2017-10-30 2020-03-31 Nio Usa, Inc. Visual place recognition based self-localization for autonomous vehicles
US10935978B2 (en) 2017-10-30 2021-03-02 Nio Usa, Inc. Vehicle self-localization using particle filters and visual odometry
US10717412B2 (en) 2017-11-13 2020-07-21 Nio Usa, Inc. System and method for controlling a vehicle using secondary access methods
EP3735652A1 (en) * 2018-01-03 2020-11-11 Sony Semiconductor Solutions Corporation Gesture recognition using a mobile device
US10369966B1 (en) 2018-05-23 2019-08-06 Nio Usa, Inc. Controlling access to a vehicle using wireless access devices
US11106315B2 (en) 2018-11-29 2021-08-31 International Business Machines Corporation Touch screen device facilitating estimation of entity orientation and identity
CN111169409B (zh) * 2020-02-21 2022-03-18 广州小鹏汽车科技有限公司 一种控制方法和车辆
AU2021279100B2 (en) * 2020-05-29 2022-09-08 Marthinus Van Der Merwe A contactless touchscreen interface
WO2022043148A1 (en) * 2020-08-27 2022-03-03 Interdigital Ce Patent Holdings, Sas Method and apparatus for controlling at least a part of a device
CN114274158B (zh) * 2021-12-31 2024-02-02 北京博清科技有限公司 爬行焊接机器人的控制方法、控制器以及焊接***

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05324181A (ja) * 1992-05-26 1993-12-07 Takenaka Komuten Co Ltd ハンドポインティング式入力装置
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US6624833B1 (en) 2000-04-17 2003-09-23 Lucent Technologies Inc. Gesture-based input interface system with shadow detection
US20050024338A1 (en) 2001-03-29 2005-02-03 International Business Machines Corporation Finger-identifying keyboard
US7133021B2 (en) 2001-06-09 2006-11-07 Coghan Iv Francis F Finger-fitting pointing device
US20030132913A1 (en) 2002-01-11 2003-07-17 Anton Issinski Touchless computer input device to control display cursor mark position by using stereovision input from two video cameras
US20040080493A1 (en) 2002-10-25 2004-04-29 Shahar Kenin Index-finger computer mouse
US20080065291A1 (en) 2002-11-04 2008-03-13 Automotive Technologies International, Inc. Gesture-Based Control of Vehicular Components
ES2425076T3 (es) 2002-11-20 2013-10-11 Koninklijke Philips N.V. Sistema de interfaz de usuario basado en dispositivo de puntero
JP4035610B2 (ja) * 2002-12-18 2008-01-23 独立行政法人産業技術総合研究所 インタフェース装置
EP1851750A4 (en) * 2005-02-08 2010-08-25 Oblong Ind Inc SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES
US20070130547A1 (en) 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
US8614669B2 (en) * 2006-03-13 2013-12-24 Navisense Touchless tablet method and system thereof
WO2008010024A1 (en) 2006-07-16 2008-01-24 Cherradi I Free fingers typing technology
US8354997B2 (en) 2006-10-31 2013-01-15 Navisense Touchless user interface for a mobile device
CN101369180A (zh) 2007-08-15 2009-02-18 联想(北京)有限公司 手指指点装置
US8269842B2 (en) 2008-06-11 2012-09-18 Nokia Corporation Camera gestures for user interface control
EP2304527A4 (en) 2008-06-18 2013-03-27 Oblong Ind Inc GESTIK BASED CONTROL SYSTEM FOR VEHICLE INTERFACES
US20090327974A1 (en) 2008-06-26 2009-12-31 Microsoft Corporation User interface for gestural control

Also Published As

Publication number Publication date
US8760432B2 (en) 2014-06-24
JP2012069114A (ja) 2012-04-05
US20120068956A1 (en) 2012-03-22
DE102011053449A1 (de) 2012-03-22

Similar Documents

Publication Publication Date Title
JP5261554B2 (ja) 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース
KR101459441B1 (ko) 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법
US11124118B2 (en) Vehicular display system with user input display
JP2018150043A (ja) 自動車における情報伝送のためのシステム
JP2012003764A (ja) 顔追跡または眼追跡に基づいた表示部の再設定
KR101459445B1 (ko) 차량내 손목각을 이용한 사용자 인터페이스 조작 시스템 및 방법
KR101438615B1 (ko) 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법
KR101490908B1 (ko) 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
JP5427385B2 (ja) 操作制御装置及び操作表示方法
JP2016520946A (ja) 人間対コンピュータの自然な3次元ハンドジェスチャベースのナビゲーション方法
US20170108988A1 (en) Method and apparatus for recognizing a touch drag gesture on a curved screen
KR20150054042A (ko) 차량 및 그 제어방법
JP2017211884A (ja) 動き検出システム
JP2006285370A (ja) ハンドパターンスイッチ装置及びハンドパターン操作方法
EP3361352B1 (en) Graphical user interface system and method, particularly for use in a vehicle
US20130187845A1 (en) Adaptive interface system
KR101365083B1 (ko) 모션 인식을 통한 인터페이스 장치 및 이의 제어방법
JP2018055614A (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
CN105759955B (zh) 输入装置
JP6581482B2 (ja) 画像認識装置
US10261593B2 (en) User interface, means of movement, and methods for recognizing a user's hand
KR20140079025A (ko) 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법
KR100939831B1 (ko) 입력 에러를 감소시키기 위한 조작 입력 장치 및 정보 기기조작 장치
JP2018025888A (ja) 操作装置
JPWO2013175603A1 (ja) 操作入力装置、操作入力方法及び操作入力プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130426

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160502

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5261554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees