JP2018501998A - 自動車の機器を制御するためのシステムおよび方法 - Google Patents

自動車の機器を制御するためのシステムおよび方法 Download PDF

Info

Publication number
JP2018501998A
JP2018501998A JP2017517065A JP2017517065A JP2018501998A JP 2018501998 A JP2018501998 A JP 2018501998A JP 2017517065 A JP2017517065 A JP 2017517065A JP 2017517065 A JP2017517065 A JP 2017517065A JP 2018501998 A JP2018501998 A JP 2018501998A
Authority
JP
Japan
Prior art keywords
driver
gesture
control module
display
visual feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017517065A
Other languages
English (en)
Inventor
ミッシェル、イジク
フレデリック、アウトラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Comfort and Driving Assistance SAS
Original Assignee
Valeo Comfort and Driving Assistance SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Comfort and Driving Assistance SAS filed Critical Valeo Comfort and Driving Assistance SAS
Publication of JP2018501998A publication Critical patent/JP2018501998A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • B60K2360/14643D-gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77Instrument locations other than the dashboard
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)
  • Image Analysis (AREA)
  • Thermal Sciences (AREA)

Abstract

本システムは、自動車がヘッドアップ型ディスプレイ(34)を備え、当該システムが、自動車の運転者によって行われたジェスチャを表すデータを供給できるジェスチャ認識装置(26)と、データを処理するための制御モジュール(28)とを備え、制御モジュール(28)が、運転者によって行われたジェスチャを表す当該データを受信すると、少なくとも1つの視覚的なフィードバック(30、32)のディスプレイへの表示を制御することができるように構成されることを特徴とする。

Description

本発明は、自動車の少なくとも1つの機器を制御するためのシステムに関する。
従来の自動車は、例えば、暖房および冷房システム、カーラジオ、ハンズフリー電話装置、地理位置情報および道路ナビゲーションシステム等を含む、運転者の快適性または安全を高めるための多くの機器および機能を備える。これらの機器の増加は、これら複数の機能および機器を調整または構成する車内の制御装置数の増加をもたらし、制御装置は通常、押しボタン、ノブ等の形状である。
ハンドル付近、ダッシュボード付近、または乗員室の中央部にある多数の制御装置は、運転者が調節したい機能または機器に関連する制御装置を探し、次いで望む調節に従って制御装置の調節を実行するために道路から目を離さなければならないので、安全性の問題を引き起こす可能性がある。
現在の技術水準では、ジェスチャ認識装置は、1つには使用される認識技術が理由で、および1つには運転者によって行われたジェスチャの不正確さが理由で、行われたジェスチャを確実に認識することはできない。結果として、これらの装置の動作は、運転者の安全および快適性の要件を満たすことができない。
本発明は、既知の自動車制御システムの欠点のうちの少なくともいくつかを解消することを目的とする。
特に、本発明は、運転者によって行われたジェスチャの正しいまたは誤った認識を運転者に通知するためのジェスチャ認識装置を備える制御システムを提供することも目的とする。
本発明は、運転者が自動車の機器および機能を道路から目を離すことなく調節することを可能にする制御システムを提供することも目的とする。
この目的のため、本発明は、自動車の少なくとも1つの機器を制御するためのシステムに関し、本自動車はヘッドアップ型のディスプレイ装置を備え、当該システムは、自動車の運転者によって行われたジェスチャを表すデータを供給することができるジェスチャ認識装置と、当該データを処理することができる制御モジュールとを備え、制御モジュールは、運転者によって行われたジェスチャを表す当該データを受信すると、少なくとも1つの視覚的なフィードバックのディスプレイ装置への表示を制御することを特徴とする。
用語「ジェスチャ」は、特定の静的位置という意味でのサイン、および空間内の動きという意味でのジェスチャの両方を意味する。
用語「視覚的なフィードバック」は、行われたジェスチャの正しい認識が運転者に通知されることを可能にする、ディスプレイ装置上に運転者に対して表示するための情報を意味する。
本発明は、運転者が、実際には自分のジェスチャが認識されているときにシステムによって認識されていないと誤って考えたり、自分のジェスチャが認識されていないときにシステムによって認識されていると誤って考えたりしないように、運転者が、行われたジェスチャの認識または非認識に関して視覚的なフィードバックから利益を得ることも可能にする。本発明は、ジェスチャの検出、または運転者によるジェスチャの実際の実行のいずれかに起因する先行技術システムの不正確性を補うためにも使用され得る。
さらに、この視覚的なフィードバックはヘッドアップディスプレイ上に提供されるため、運転者は道路から目を離すことなく自分の機器を制御し得る。
好適には、本発明によれば、ジェスチャ認識装置は、自動車の運転者の手によって行われたジェスチャを表すデータを供給できる。
本発明のこの態様によれば、ジェスチャ認識は、ジェスチャ認識のために認識することが最も容易な運転者の身体の部分の1つである運転者の手に関連して行われる。さらには、手は、多くのサイン(手を握る、手を開く、指を曲げる/開くの異なる組合せなど)、および様々なジェスチャ(3次元の空間で)を行うのに容易に使用され得る。最後に、自分の手を使用することにより、運転者は、道路から目を離すことなくジェスチャを行うことができる。
好適には、および本発明のこの最後の態様によれば、制御モジュールは、ジェスチャ認識装置によって運転者の手の存在が検出されたことを表すデータを受信すると、第1の視覚的なフィードバックと呼ばれる1つの視覚的なフィードバックのディスプレイ装置への表示を制御する。
本発明のこの態様によれば、この第1の視覚的なフィードバックは、運転者が、ジェスチャを行う前でさえ、自分の手の存在が検出されているかどうかを知ることを可能にし、その結果、運転者は、続いて行われる可能性があるジェスチャが認識され得ると確信することができる。運転者が自分の手が検出されないときにジェスチャを行った場合、検出されなかったのが自分の手なのか、それともジェスチャなのかを運転者が知ることができない。この第1の視覚的なフィードバックは、この問題が解消されることを可能にする。
好適には、本発明によれば、制御モジュールは、ジェスチャ認識装置によって認識され得る様々なタイプのジェスチャを運転者に通知するために、ディスプレイ装置への支援画像の表示を制御する。
本発明のこの態様によれば、運転者は、自分が行うことができ、かつジェスチャ認識装置によって認識されることになるジェスチャの全てまたは一部を運転者に思い出させる支援画像から利益を得ることができる。この支援画像は、本装置を過度に混雑させる可能性のある、ディスプレイ装置上に利用可能なジェスチャを表示することによって平常時に運転者を煩わせることを避けるため、運転者の手が検出されたときのみ現れる。
好適には、本発明によれば、制御モジュールは、ジェスチャ認識装置によって認識され得る複数のタイプのジェスチャのうち運転者によって行われたジェスチャのタイプが認識されたことを表すデータを受信すると、第2の視覚的なフィードバックと呼ばれる1つの視覚的なフィードバックのディスプレイ装置への表示を制御する。
本発明のこの態様によれば、制御モジュールは、第2の視覚的なフィードバックを使用することによって、運転者によって行われたジェスチャの検出に関する情報を提供する。このジェスチャは、ジェスチャ認識装置によって認識されるジェスチャの部分を形成する場合のみ、したがってそれがこの装置が認識できるジェスチャのタイプに含まれる場合に、意味を有する。したがって、表示モジュールは、運転者に対して、運転者によって行われたジェスチャが正しく認識されたことを確認する。
好適には、および本発明によれば、制御モジュールは、第1の視覚的なフィードバックおよび第2の視覚的なフィードバックの表示を制御する。
本発明のこの態様によれば、運転者は、以下のことを確認しながらジェスチャを行い得る。
− 自分の手が検出されなかった場合に、検出されることのないジェスチャを行うことを避けることができるように、自分の手が実際に検出されたかどうか。
− ジェスチャが検出されたかどうかを知らずに、自分のジェスチャを何回か繰り返すことを避けることができるように、ジェスチャが実際に検出されたかどうか。
この組合せは、運転者のジェスチャの効率を大きく増加させて、検出に失敗した場合、または、検出が視覚的なフィードバックの確認なしに行われた場合(それにより運転者はすでに認識されたジェスチャを不必要に繰り返すことになる)に、不必要なジェスチャを行うことによって運転者が道路および自らの旅程に対する集中力を失うことを防ぐことができる。
好適には、本発明によれば、制御モジュールは、自動車の少なくとも1つの機器を制御し、当該機器は、ジェスチャ認識装置によって認識できる複数のタイプのジェスチャのうち運転者によって行われたジェスチャのタイプと関連付けられる。
本発明のこの態様によれば、制御モジュールは、認識装置からデータを受信し、かつ視覚的なフィードバックのディスプレイ装置への表示および自動車の機器への制御信号の送信の両方を可能にして、検出されたジェスチャと関連付けられた動作を実施する。
好適には、本発明によれば、制御モジュールは、ジェスチャ認識装置によって認識され得るジェスチャのタイプを含むデータベースを備える。
好適には、および本発明によれば、ジェスチャ認識装置は、運転者によって行われたジェスチャを検出する非接触検出器を備える。
好適には、本発明のこの最後に述べた態様によれば、非接触検出器は、以下の検出器のうちの1つ、またはそれらの組合せである。
− ビデオカメラ、
− タイム・オブ・フライトカメラ、
− 超音波検出器、
− 赤外線検出器、
− 容量検出器。
好適には、および本発明によれば、制御モジュールは、以下の機器のうち少なくとも1つの機器を制御するように構成される。
− 自動車の冷房/暖房システム、
− 自動車のカーラジオ、
− ハンズフリー電話装置、
− GPSシステムなどの地理位置情報および道路ナビゲーションシステム。
本発明は、自動車の少なくとも1つの機器を制御するための方法にも関し、自動車がヘッドアップ型のディスプレイ装置を備え、当該方法が、自動車の運転者によって行われたジェスチャを認識するステップと、当該ジェスチャを表すデータを送信するステップと、当該データを処理するステップと、処理ステップで処理されたデータを表す少なくとも1つの視覚的なフィードバックのディスプレイ装置への表示を制御するステップとを、連続して含むことを特徴とする。
好適には、本発明に係る方法は、本発明に係るシステムによって実行される。
好適には、本発明に係るシステムは、本発明に係る方法を実行する。
本発明の他の目的、特徴、および利点は、以下の添付図面を参照し、全くの非限定的な方法で提供される以下の説明を熟読すれば明白である。
本発明の実施形態に係る制御システムを備えた車内部の概略図である。 本発明の実施形態に係る制御システムの概略図である。 本発明の実施形態に係る制御方法の概略図である。
図面は、本発明を適用する目的のために詳細に本発明を示すものであり、当該図は、必要な場合には本発明をより綿密に定義するのに明らかに利用可能であることに留意されたい。
図1は、本発明に係るシステムを備えた車内部10の概略図である。自動車の運転者は、自動車のフロントガラス14に面する運転者の頭部12によって表され、フロントガラス14上に、画像16がヘッドアップディスプレイによって表示される。この場合、画像16は、フロントガラス14上に直接表示されるが、例えば、自動車の運転者12とフロントガラス14との間に配置される半透明のスクリーン上に表示され得る。
本発明に関連して、冷房/暖房、カーラジオ、またはハンズフリー電話装置などの自動車の異なる機器を制御する目的のため、運転者12は、自分の手18を使用して異なるジェスチャおよび/またはサイン(両方とも用語「ジェスチャ」に含まれる)を行い得る。各ジェスチャは、機器および/またはこの機器に送信されるべき制御信号と関連付けられて、例えば、冷房/暖房をオンまたはオフに切替えること、温度を上げるまたは下げること、電話に応答することなどを行う。運転者12の身体の別の部分(頭部、視線追従など)ではなく運転者12の手18を使用することは、運転者12が、とりわけ、道路から目を離すことなくジェスチャを行うことを可能にする。
ジェスチャは、自動車10に設置されたジェスチャ認識装置によって認識される。このジェスチャ認識装置は、非接触検出器20、例えば図1に示されるように、フロントガラスの上部および中央に置かれた、例えば、カメラ(ビデオカメラまたはタイム・オブ・フライトカメラ)、超音波もしくは赤外線検出器、容量検出器等(またはこれら最後に述べた例の組合せ)を備える。図1は、システムが本発明のこの実施形態に従って使用されるとき、運転者12の手18が配置される、カメラ20の視野22も示す。
本発明によれば、ジェスチャ認識装置による運転者12のジェスチャの認識によりデータが制御モジュールに送信され、次に制御モジュールが、1つの視覚的なフィードバック23のディスプレイ装置への表示を制御し得る。
図2は、26で識別されるジェスチャ認識装置、および28で識別される制御モジュールを備える、本発明の実施形態に係る制御システム24の概略図である。図1の検出器20を備えるジェスチャ認識装置26は、自動車の運転者12によって行われたジェスチャを表すデータを制御モジュール28へ送信する。次いで、制御モジュール28は、視覚的なフィードバック30または32をディスプレイ装置34へ表示することを制御でき、かつ自動車の1つまたは複数の機器36も制御できる。
実際には、ジェスチャ認識装置26および制御モジュール28は、2つの別個のコンポーネントであってもよく、または、制御モジュール28が、例えば、コンピュータ内にソフトウェア形式でインストールされたモジュールであるコンピュータなど、同じコンポーネントの部分を形成してもよい。
ジェスチャ認識装置26は、検出器20によって検出された運転者12の手18を認識でき、かつ、この手で行われる任意のジェスチャを認識できる。認識装置26によって送信される表示データは、制御モジュール28が、視覚的なフィードバック30、32のディスプレイ装置34への表示を制御でき、かつ機器36を制御できる情報を含む。本発明の様々な実施形態では、認識装置26によって送信されるデータは、タイム・オブ・フライトカメラから取得される距離データ(depth data)など、制御モジュール28によってその制御信号を実行するために解釈される生データ(raw data)に類似するものであり、あるいは、認識装置26は、例えば、認識されたジェスチャのタイプ、ジェスチャが行われていた時間等、認識装置26が自ら部分的に解釈した、より豊富なデータを送信する。
制御モジュール28は、1つまたは複数の視覚的なフィードバック30、32のディスプレイ装置34への表示を制御すること、および機器36を制御することの両方のために、これら認識されたジェスチャを制御信号に変換する。各ジェスチャの制御信号との関連付けのため、制御モジュール28は、好適には、ジェスチャ認識装置26によって認識できる異なるタイプのジェスチャを含むデータベース38を備える。各ジェスチャは、自動車製造業者によって事前にプログラムされた、またはシステム構成中に自動車の使用者によって記録された、一機能もしくは機器36と関連付けられる。
次いで、制御モジュール28が制御信号を送信する。ディスプレイ装置へ送信される視覚的なフィードバック用の制御信号は、リンク40(有線または無線のいずれかであり得る)によって送信される。この制御信号を受信すると、ディスプレイ装置34は、1つまたは複数の視覚的なフィードバック30、32を表示する。例えば、この視覚的なフィードバック30、32は、以下であり得る。
− 運転者12の手18の存在のジェスチャ認識装置26による正しい認識を運転者12に通知するための第1の視覚的なフィードバック30。これは、運転者12が、自分の手18が認識装置26によって検出されるまでジェスチャを行わないようにすることを可能にする。好適には、この第1の視覚的なフィードバック30は、ディスプレイ装置34によって表示される画像16を過度に混雑させることを回避するために目立たず、例えば、それは、ディスプレイ装置34上に表示される画像16全体を囲む拡散した光(halo)または照光された輪郭であり得、ディスプレイ装置34上の画像16内の他の情報に重畳されない視覚的なフィードバックを提供することを可能にする。図2では、第1の視覚的なフィードバック30は、拡散した光または照光された輪郭の場合にそうであるように、ディスプレイ装置の輪郭に沿って延在する点線の隅丸長方形で表される。
− 第2の視覚的なフィードバック32は、ジェスチャ認識装置26が認識できるジェスチャのうちの1つである行われたジェスチャの正しい認識を運転者12に通知することができる。好適には、このジェスチャと関連付けられた機器36を表すアイコンが、第2の視覚的なフィードバック32として表示される。例えば、図2では、第2の視覚的なフィードバック32は、太陽のアイコンで表され、それは、暖房に関与する自動車の機器に相当し得、かつ運転者12が、検出された制御信号が、ジェスチャを行ったときに自分が意図したものであることをチェックすることを可能にする。
運転者12が、機器36を制御するために自分が行うことができるジェスチャのタイプを忘れないようにするため、第1の視覚的なフィードバック30は、ジェスチャを行う手を表すアイコン、および必要であればこのジェスチャと関連付けられた機器を表すアイコンを備えた支援画像を使用した、利用可能なジェスチャの表示を伴い得る。この支援画像は、手が検出されるとすぐに、または、好ましくは3から4秒の時間遅れて表示され得る。
制御モジュール28によって送信される他の制御信号は、運転者によって行われたジェスチャのタイプと関連付けられた1つまたは複数の機器36に送信されるための制御信号である。システム24の制御モジュール28によって制御され得る機器36の例は、例えば、冷房/暖房システム42、カーラジオ43、ハンズフリー電話装置44、地理位置情報および道路ナビゲーションシステム45等である。ジェスチャは、2つ以上の機器36を同時に制御し得、例えば、冷房/暖房42を作動させる制御信号は、自動車の窓を閉めることも制御し得る。
この機器36への制御信号は、2段階で実行され得、運転者は、特定の静的位置という意味でのサイン、および/または空間内の動きという意味でのジェスチャを行い得る。サインは、制御されるべき機器36と関連付けられ得、このサインの認識後に行われるジェスチャは、この機器と関連付けられた特定の機能を実行し得る。例えば、開いた手(すなわち、5本全ての指が開いている)は、暖房/冷房42と関連付けられたサインであり得、次いで上向きの動きのジェスチャが、運転者12が温度を上げることを望むことを示す一方、下向きのジェスチャは、運転者12が温度を下げることを望むことを示す。
関連した機器、および利用可能な機能のサインの他の例は、以下の通りである。
− 冷房/暖房42:サイン:開いた手;機能:スイッチを入れる、スイッチを切る、温度を上げる/下げる、空気を再循環するなど。
− カーラジオ43:サイン:握った拳;機能:消音、音量を上げる/下げる、ラジオ局を変更するなど。
− ハンズフリー電話装置44:サイン:親指および人差し指を開く;機能:消音、電話に出る、電話を切るなど。
原則として、機能と関連付けられたジェスチャは、運転者12のいかなる注意散漫も回避するために、簡便でなければならない。例えば、右から左への動きが電話に出るために使用され得る一方で、左から右への動きは電話を切るために使用され得る。
それぞれの機器と関連付けられたジェスチャが運転者12に通知されることを可能にする支援画像と同様の方法では、ディスプレイ装置34上の支援画像は、選択された機器の機能と関連付けられたジェスチャを運転者12に通知するための機能も果たし得る。
図3は、運転者12の動作に関連付けられたステップを含むフロー図の形式で、本発明の実施形態に係る方法を示す概略図である。第1のステップは、システムと関連付けられた方法が開始しておらず、かつシステムによって実行される動作がない初期静止状態46である。この第1のステップは、「運転者12の手18が検出されたか?」という判定を含む決定ボックスの形式の、手を検出するステップ48に関連付けられる。答えがいいえ(文字Nで表される)の場合、この方法は、初期状態46へループし、答えがはい(文字Oで表される)の場合、この方法は、第1の視覚的なフィードバックを制御するステップ50に入る。この判定は、手18の実際の存在ではなく、ジェスチャ認識装置26による手18の検出に関連付けられるのであり、運転者12が自分の手18を認識装置26の前に置いたがそれが検出されない場合、この方法は、検出が行われるまで初期状態46へループする。
次いで、第1の視覚的なフィードバックを制御するステップ50は、運転者が、自分の手が実際に検出されたことを通知されることを可能にする。この制御ステップは、ジェスチャ認識装置26によって供給される表示データを制御モジュール28へ送信するステップ51と、制御モジュール28によって当該データを処理するステップ52と、運転者12の手18の存在が検出されたことに対応して、第1の視覚的なフィードバック30のディスプレイ装置34への表示を制御するステップ53とを含む。
第1の視覚的なフィードバックを制御するこのステップ50の後に、運転者12によって行われるジェスチャを待機するステップ54が続く。ステップ54は、ジェスチャ認識装置26が認識できる複数のタイプのジェスチャのうち運転者12によって行われた当該ジェスチャを認識するステップ56へと関連付けられ、このステップは、「既知の手18によるジェスチャが検出されたか?」という判定を含む決定ボックスの形式である。答えがいいえの場合、この方法は、手18の存在をチェックするステップ58に入る。答えがはいの場合、この方法は、2つの同時制御ステップ、すなわち第2の視覚的なフィードバック32を制御するステップ60および機器36を制御するステップ62を実行する。
より一般的な意味においては、手を検出するステップ48、およびジェスチャ認識装置26が認識できる複数のタイプのジェスチャのうち運転者12によって行われたジェスチャを認識するステップ56は、本発明に係る方法で運転者によって行われたジェスチャを認識するステップの2つの形態である。
手18の存在をチェックするステップ58は、運転者12の手18が依然として認識装置26によって検出されているかどうかをチェックするために使用され得る。この場合には、この方法は待機ステップ54へとループするか、そうでない場合には初期状態46へと戻る。
この実施形態では2つの制御ステップが同時に実施される。第2の視覚的なフィードバック32を制御するステップ60は、第1の視覚的なフィードバックを制御するステップ50に類似している。それは、ジェスチャ認識装置26によって供給される表示データを制御モジュール28に送信するステップ51’と、制御モジュール28によって当該データを処理するステップ52’と、運転者12によって行われたジェスチャの検出に対応して、第2の視覚的なフィードバック32のディスプレイ装置への表示を制御するステップ53’とを含む。
機器36を制御するステップ58は、制御モジュール28によって制御信号を、検出されたジェスチャと関連付けられた1つまたは複数の機器36へ送信することに相当する。

Claims (11)

  1. 自動車(10)の少なくとも1つの機器(36)を制御するためのシステムにおいて、前記自動車(10)がヘッドアップ型のディスプレイ装置(34)を備え、前記システムが、前記自動車の運転者(12)によって行われたジェスチャを表すデータを供給することができるジェスチャ認識装置(26)と、前記データを処理することができる制御モジュール(28)とを備え、
    前記制御モジュール(28)は、前記運転者(12)によって行われた前記ジェスチャを表す前記データを受信すると、少なくとも1つの視覚的なフィードバック(23、30、32)の前記ディスプレイ装置(34)への表示を制御することを特徴とする、システム。
  2. 前記ジェスチャ認識装置(26)が、前記自動車の運転者(12)の手(18)によって行われたジェスチャを表すデータを供給できることを特徴とする、請求項1に記載の制御システム。
  3. 前記制御モジュール(28)は、前記ジェスチャ認識装置(26)によって前記運転者(12)の前記手(18)の存在が検出されたことを表すデータを受信すると、第1の視覚的なフィードバック(30)と呼ばれる1つの前記視覚的なフィードバックの前記ディスプレイ装置(34)への表示を制御することを特徴とする、請求項2に記載の制御システム。
  4. 前記制御モジュール(28)が、前記ジェスチャ認識装置(26)によって認識できる様々なタイプのジェスチャを前記運転者(12)に通知するために、前記ディスプレイ装置(34)への支援画像の表示を制御することを特徴とする、請求項1から3のいずれかに記載の制御システム。
  5. 前記制御モジュール(28)が、前記ジェスチャ認識装置(26)によって認識できる複数のタイプのジェスチャのうち前記運転者(12)によって行われたジェスチャのタイプが認識されたことを表すデータを受信すると、第2の視覚的なフィードバック(32)と呼ばれる1つの視覚的なフィードバックの前記ディスプレイ装置(34)への表示を制御することを特徴とする、請求項1から4のいずれかに記載の制御システム。
  6. 前記制御モジュール(28)が、前記自動車の少なくとも1つの機器(36)を制御し、前記機器(36)が、前記ジェスチャ認識装置(26)によって認識できる複数のタイプのジェスチャのうち前記運転者(12)によって行われたジェスチャのタイプと関連付けられていることを特徴とする、請求項1から5のいずれかに記載の制御システム。
  7. 前記制御モジュール(28)が、前記ジェスチャ認識装置(26)によって認識できる前記ジェスチャのタイプを含むデータベース(38)を備えることを特徴とする、請求項1から6のいずれかに記載の制御システム。
  8. 前記ジェスチャ認識装置(26)が、前記運転者によって行われたジェスチャを検出する非接触検出器(20)を備えることを特徴とする、請求項1から7のいずれかに記載の制御システム。
  9. 前記非接触検出器(20)が、以下の検出器、
    ビデオカメラ、
    タイム・オブ・フライトカメラ、
    超音波検出器、
    赤外線検出器、
    容量検出器、
    のうちの1つ、またはそれらの組合せであることを特徴とする、請求項1から8のいずれかに記載の制御システム。
  10. 前記制御モジュール(28)が、以下の機器、
    自動車の冷房/暖房システム、
    前記自動車のカーラジオ、
    ハンズフリー電話装置、
    GPSシステムのような地理位置情報および道路ナビゲーションシステム、
    のうち少なくとも1つの機器(36)を制御することを特徴とする、請求項1から9のいずれかに記載の制御システム。
  11. 自動車(10)の少なくとも1つの機器(36)を制御するための方法において、
    前記自動車(10)がヘッドアップ型のディスプレイ装置(34)を備え、前記方法が、前記自動車の運転者(12)によって行われたジェスチャを認識するステップ(48、56)と、前記ジェスチャを表すデータを送信するステップ(51、51’)と、前記データを処理するステップ(52、52’)と、前記処理ステップ(52、52’)で処理された前記データを表す少なくとも1つの視覚的なフィードバックの前記ディスプレイ装置(34)への表示を制御するステップ(53、53’)とを、連続して含むことを特徴とする、方法。
JP2017517065A 2014-09-30 2015-09-29 自動車の機器を制御するためのシステムおよび方法 Pending JP2018501998A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1402203A FR3026502A1 (fr) 2014-09-30 2014-09-30 Systeme et procede de commande d'un equipement d'un vehicule automobile
FR1402203 2014-09-30
PCT/FR2015/052592 WO2016051071A1 (fr) 2014-09-30 2015-09-29 Système et procédé de commande d'un équipement d'un véhicule automobile

Publications (1)

Publication Number Publication Date
JP2018501998A true JP2018501998A (ja) 2018-01-25

Family

ID=52003867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017517065A Pending JP2018501998A (ja) 2014-09-30 2015-09-29 自動車の機器を制御するためのシステムおよび方法

Country Status (6)

Country Link
US (1) US20170228035A1 (ja)
EP (1) EP3201728A1 (ja)
JP (1) JP2018501998A (ja)
CN (1) CN107250948A (ja)
FR (1) FR3026502A1 (ja)
WO (1) WO2016051071A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11797172B2 (en) * 2015-03-06 2023-10-24 Alibaba Group Holding Limited Method and apparatus for interacting with content through overlays
FR3056369B1 (fr) * 2016-09-22 2020-01-31 Thales Systeme de communication et procede de communication associe
US11027822B2 (en) * 2018-06-21 2021-06-08 Rockwell Collins, Inc. Control system for touchless operation of mechanical input devices
JP6541910B1 (ja) * 2019-04-17 2019-07-10 京セラ株式会社 電子機器、制御方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2008052590A (ja) * 2006-08-25 2008-03-06 Toshiba Corp インターフェース装置及びその方法
JP2011525283A (ja) * 2008-06-18 2011-09-15 オブロング・インダストリーズ・インコーポレーテッド 車両インターフェース用ジェスチャ基準制御システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US7770136B2 (en) * 2007-01-24 2010-08-03 Microsoft Corporation Gesture recognition interactive feedback
US20090109036A1 (en) * 2007-10-29 2009-04-30 The Boeing Company System and Method for Alternative Communication
WO2010147600A2 (en) * 2009-06-19 2010-12-23 Hewlett-Packard Development Company, L, P. Qualified command
US9551590B2 (en) * 2009-08-28 2017-01-24 Robert Bosch Gmbh Gesture-based information and command entry for motor vehicle
JP5625506B2 (ja) * 2010-06-04 2014-11-19 ソニー株式会社 操作端末装置、電子機器、および電子機器システム
DE102011089195A1 (de) * 2011-06-30 2013-01-03 Johnson Controls Gmbh Vorrichtung und Verfahren zur berührungslosen Erfassung von Gegenständen und/oder Personen und von diesen ausgeführten Gesten und/oder Bedienvorgängen
US20130144583A1 (en) * 2011-09-02 2013-06-06 Saudi Arabia Oil Company Hyper-dimensional simulation for reservoir engineering and geosciences
US9684379B2 (en) * 2011-12-23 2017-06-20 Intel Corporation Computing system utilizing coordinated two-hand command gestures
US9639262B2 (en) * 2012-01-02 2017-05-02 Microsoft Technology Licensing, Llc Self-revealing gesture
US20140309873A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Positional based movements and accessibility of features associated with a vehicle
EP2853989A1 (en) * 2012-05-21 2015-04-01 Huawei Technologies Co., Ltd. Contactless gesture-based control method and apparatus
DE102012216193B4 (de) * 2012-09-12 2020-07-30 Continental Automotive Gmbh Verfahren und Vorrichtung zur Bedienung einer Kraftfahrzeugkomponente mittels Gesten
EP2936235B1 (en) * 2012-12-21 2021-10-13 Harman Becker Automotive Systems GmbH System for a vehicle
JP6015547B2 (ja) * 2013-05-09 2016-10-26 株式会社デンソー 視線入力装置
US10409382B2 (en) * 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2008052590A (ja) * 2006-08-25 2008-03-06 Toshiba Corp インターフェース装置及びその方法
JP2011525283A (ja) * 2008-06-18 2011-09-15 オブロング・インダストリーズ・インコーポレーテッド 車両インターフェース用ジェスチャ基準制御システム

Also Published As

Publication number Publication date
EP3201728A1 (fr) 2017-08-09
FR3026502A1 (fr) 2016-04-01
WO2016051071A1 (fr) 2016-04-07
CN107250948A (zh) 2017-10-13
US20170228035A1 (en) 2017-08-10

Similar Documents

Publication Publication Date Title
US10417510B2 (en) System, methods, and apparatus for in-vehicle fiducial mark tracking and interpretation
US9481246B2 (en) Vehicle control apparatus and method thereof
CN102575943B (zh) 对于机动车辆的基于手势的信息和命令输入
US10410319B2 (en) Method and system for operating a touch-sensitive display device of a motor vehicle
US9720498B2 (en) Controlling a vehicle
US10474357B2 (en) Touch sensing display device and method of detecting user input from a driver side or passenger side in a motor vehicle
US20170286785A1 (en) Interactive display based on interpreting driver actions
US9965169B2 (en) Systems, methods, and apparatus for controlling gesture initiation and termination
US20150352953A1 (en) Vehicle control system with mobile device interface
CN110114825A (zh) 语音识别***
US10042432B2 (en) Programmable onboard interface
KR20130063911A (ko) 주행중 운전자의 시선 이탈 방지 시스템
US10209832B2 (en) Detecting user interactions with a computing system of a vehicle
CN105446172B (zh) 一种车载控制方法、车载控制***及汽车
CN108698515B (zh) 装置、交通工具和用于在操作接触敏感的显示装置时辅助用户的方法
CN107000762B (zh) 用于自动实施机动车的至少一个行驶功能的方法
JP2018501998A (ja) 自動車の機器を制御するためのシステムおよび方法
JP4858206B2 (ja) 車載機器の操作支援装置、操作支援方法
WO2022267354A1 (zh) 人机交互方法、装置、电子设备以及存储介质
CN108216087B (zh) 利用对把手式门抓握方式的辨识识别用户的方法和装置
US9751406B2 (en) Motor vehicle and method for controlling a climate control system in a motor vehicle
KR101525351B1 (ko) 휴대용 단말기와 연동하는 차량의 표시 제어시스템
CN111511599A (zh) 用于运行辅助***的方法和汽车用辅助***
KR20220067606A (ko) 차량 내 전자 장치 및 차량 내 전자 장치에서 디스플레이 방법
KR102441509B1 (ko) 단말기, 차량 및 단말기 제어방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190716

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191025