JP2005352732A - 車両用制御装置およびその装置を備える車両用制御システム - Google Patents

車両用制御装置およびその装置を備える車両用制御システム Download PDF

Info

Publication number
JP2005352732A
JP2005352732A JP2004172242A JP2004172242A JP2005352732A JP 2005352732 A JP2005352732 A JP 2005352732A JP 2004172242 A JP2004172242 A JP 2004172242A JP 2004172242 A JP2004172242 A JP 2004172242A JP 2005352732 A JP2005352732 A JP 2005352732A
Authority
JP
Japan
Prior art keywords
user
intention
vehicle
function
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004172242A
Other languages
English (en)
Other versions
JP4305289B2 (ja
Inventor
Shogo Kameyama
昌吾 亀山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2004172242A priority Critical patent/JP4305289B2/ja
Priority to US11/146,108 priority patent/US7343234B2/en
Priority to DE102005027010A priority patent/DE102005027010A1/de
Publication of JP2005352732A publication Critical patent/JP2005352732A/ja
Application granted granted Critical
Publication of JP4305289B2 publication Critical patent/JP4305289B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/085Changing the parameters of the control units, e.g. changing limit values, working points by control input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0022Gains, weighting coefficients or weighting functions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00Input parameters relating to a particular sub-units
    • B60W2510/06Combustion engines, Gas turbines
    • B60W2510/0604Throttle position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/12Brake pedal position

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Burglar Alarm Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】 多数の機能が車両に搭載された場合であっても、ユーザの操作性が低下するのを抑制することができる車両用制御装置および車両用制御システムを提供する。
【解決手段】 車両用制御システムの構成を検出部10と、車両用制御装置20と、機能部40とを備える構成とする。また、車両用制御装置20の構成を、メモリ部21と、ユーザ状態判断部22と、意図判断部23と、機能選択部24と、機能制御部26とを備える構成とする。そして、ユーザ状態判断部22に、検出部10から入力された検出結果に基づいて、ユーザの動作および状態を判断させる。意図判断部23に、ユーザ状態判断部22の判断結果を、メモリ部21から読み出した意図マップデータに当てはめることで、ユーザの意図を判断させる。機能選択部24に、意図判断部23の判断結果に基づいて、機能部40の動作内容を決定させる。
【選択図】 図1

Description

本発明は、車両用制御装置およびその装置を有する車両用制御システムに関するものである。
従来、アクセルペダル、ブレーキペダルの操作量からユーザの操作意図を検出し、その検出されたユーザの操作意図に基づいて、車両制御を行う装置がある。
この装置では、ブレーキペダルの踏み込みからユーザの制動意図を検出したり、アクセルペダルの踏み込み量やアクセルペダル戻しからユーザの加速、減速意図を検出したりしている(例えば、特許文献1参照)。
これにより、上記した装置は、ユーザに煩わしさを覚えさせずに、制御手段の車両制御の制御内容を自動的に変更している。すなわち、上記した装置は、このようにして、ユーザの利便性の向上を図っている。
特開2002−114118号公報
ところで、将来、利便性向上のために、多数の機能が車両に搭載されることが予想される。しかし、車両の機能の増加に伴い、その機能を実行するための操作が増加すると、ユーザの負担が増加し、ユーザの操作性が著しく低下する。このことは、車両に高機能を搭載することのメリットを大きく損なってしまうため、好ましくない。
上記した装置では、ユーザの意図を検出するためには、アクセルペダルやブレーキペダルの踏み込みのように、制動、加速、減速などの車両の機能に相当する操作を、ユーザが行うことが前提となる。
このため、上記した装置を用いた場合であっても、多数の機能が車両に搭載された場合では、ユーザは車両の機能に相当する操作を行う必要があり、ユーザの操作性が低下してしまうという問題が生じる。
本発明は、上記点に鑑み、多数の機能が車両に搭載された場合であっても、ユーザの操作性が低下するのを抑制することができる車両用制御装置およびその装置を備える車両用制御システムを提供することを目的とする。
上記目的を達成するため、請求項1に記載の発明では、車両用制御装置は、記憶手段(21)と、ユーザ状態判断手段(22)と、ユーザ意図判断手段(23)と、動作決定手段(24)とを備えている。そして、記憶手段(21)は、ユーザの動作および状態と、ユーザの意図との相関を示す第1の情報を記憶している。ユーザ状態判断手段(22)は、ユーザの動作および状態を検出するユーザ検出手段(10)から入力された検出結果に基づいて、ユーザの動作および状態を判断する。また、ユーザ意図判断手段(23)は、ユーザ状態判断手段(22)の判断結果と、第1の情報とに基づいて、ユーザの意図を判断する。また、動作決定手段(24)は、ユーザ意図判断手段(23)の判断結果に基づいて、車両に搭載されている複数の機能(40)の動作内容を決定し、複数の機能(40)を制御する制御手段(26)に対して、動作内容の制御を実行する旨の指示信号を出力するようになっていることを特徴としている。
本発明の車両用制御装置によれば、ユーザが機能に相当する操作を行わない場合であっても、ユーザの動作や状態からユーザの意図を推定することができ、推定したユーザの意図に基づいて、車両もしくは車両に搭載された機器の制御を実行することができる。
この結果、多数の機能が車両に搭載された場合であっても、ユーザの操作性が低下するのを抑制することができる。
なお、車両に搭載されている複数の機能とは、走る、止まる、曲がる等の車両の駆動に関する機能や、オーディオ、カーナビ、エアコン等の車載機器に関する機能のことである。
請求項2に記載の発明では、第1の情報は、ユーザの動作および状態を示す複数の第1の項目と、ユーザの意図を示す複数の第2の項目とのそれぞれの間における相関を示すものである。そして、ユーザ状態判断手段(22)が、第1の項目に該当する複数のユーザの動作および状態を判断した場合、ユーザ意図判断手段(23)は、該当する第1の項目と第2の項目との相関関係のすべてに基づいて、ユーザの意図を判断するようになっていることを特徴としている。
つまり、ユーザ意図判断手段は、ユーザの意図を示す第2の項目ごとに、ユーザの動作および状態を示す第1の項目との相関を総合的に、判断するようになっていることを特徴としている。
例えば、第1の項目と第2の項目との間の相関に関して、相関の評価を単に「相関有り」、「相関無し」とした場合では、ユーザ意図判断手段は、ユーザの意図を示す第2の項目ごとに算出した「相関有り」の数に基づいてユーザの意図を判断することができる。
また、例えば、請求項4に示すように、相関の程度を、数値で示し、かつ、数値が大きいほど優先順位が高くなるように設定した場合では、ユーザ意図判断手段は、第2の項目ごとに、その数値の積算値もしくは合算値を算出し、これらの数値が高いものを、ユーザの意図であると判断することができる。
これにより、本発明によれば、1つのユーザの動作等からユーザの意図を推測する場合と比較して、推測した「ユーザの意図」の確からしさを、高めることができる。
請求項3に記載の発明では、第1の情報は、ユーザの意図との関連性の程度に応じて、複数の第1の項目が分類され、かつ、各分類間で優先順位が設けられている。そして、ユーザ意図判断手段(23)が、その優先順位に基づいて、ユーザの意図を判断するようになっていることを特徴としている。
例えば、「ユーザの動作」、「ユーザの仕草」、「ユーザの体調および感情」のように第1の情報の第1の項目を分類することができる。また、これらの分類においては、これらの並び順に、ユーザの意図との関連性が低くなる。そこで、これらの分類の優先順位を、これらの並び順に、下げておく。
そして、ユーザ意図判断手段がユーザの意図を判断する場合では、ユーザ意図判断手段に、複数の第2の項目のうち、優先順位が高い相関を有するものを、ユーザの意図であると推定させる。これにより、ユーザの意図をより的確に判断することができる。
請求項4に記載の発明では、第1の情報は、第1の項目と第2の項目との間における相関の程度が複数の段階に分けられている。そして、ユーザ意図判断手段(23)は、相関の程度に基づいて、ユーザの意図を判断するようになっていることを特徴としている。
これにより、1つの第1の項目(ユーザの動作)に相関のある第2の項目(ユーザの意図)が、複数存在する場合、その複数の第2の項目に優先順位を設けることができる。そして、ユーザ意図判断手段に、優先順位の高いものをユーザの意図であると判断させることで、ユーザ意図判断手段が判断したユーザの意図の確からしさを高めることができる。
また、動作決定手段(24)が機能(40)の動作内容を決定する場合、例えば、請求項5に示すように、動作決定手段(24)は、記憶手段(21)に記憶されているユーザの意図と複数の機能(40)の動作内容との相関を示す第2の情報と、ユーザ意図判断手段(23)の判断結果とに基づいて、複数の機能(40)の動作内容を決定することができる。
さらに、例えば、請求項6に示すように、動作決定手段(24)は、ユーザの意図を示す第2の項目と機能の動作内容を示す第3の項目との相関の程度に基づいて、複数の機能(40)の動作内容を決定することができる。なお、第2の情報としては、複数の第2の項目と、機能の動作内容を示す複数の第3の項目とのそれぞれの間における相関が示されており、第2の項目と第3の項目との相関の程度が複数の段階に分けられているものを用いる。
これにより、1つの第2の項目(ユーザの意図)に相関のある第3の項目(機能の動作内容)が、複数存在する場合、その複数の第3の項目に優先順位を設けることができる。そして、動作決定手段に、優先順位の高いものを、ユーザが操作したい機能の動作内容であると判断させることで、動作決定手段が判断した機能の動作内容を、ユーザ本来の意図に近づけることができる。
また、請求項7に記載の発明では、車両用制御装置が変更手段(27)を備えることを特徴としている。この変更手段(27)は、制御手段(26)による機能の動作内容と、ユーザによる機能(40)を制御するための操作もしくはユーザの動作とが競合した場合、ユーザによる機能を制御するための操作もしくはユーザの動作に基づいて、相関の程度の大きさを変更するものである。
これにより、ユーザの意図と制御手段による機能の動作内容との整合性を高めることができる。
なお、競合した場合とは、例えば、制御手段による機能の動作がユーザの本来の意図と異なっていた場合、ユーザは、直ちに、機能の動作内容が本来の意図に沿うように、自ら操作を行ったり、制御手段による機能の動作をやめさせる操作もしくは動作をしたりした場合を意味する。
また、請求項8に記載の発明では、車両用制御装置(20)が車両環境判断手段(25)を備えている。この車両環境判断手段(25)は、車両の走行状態および車両の周辺状況を含む車両環境を検出する車両環境検出手段(30)から入力された検出結果により、車両環境を判断するものである。そして、動作決定手段(24)は、車両環境判断手段(25)の判断結果に基づいて、複数の機能(40)の動作内容を決定するようになっていることを特徴としている。
これにより、ユーザの意図により適した機能の制御を実行することができる。
また、請求項9に示すように、車両用制御システムの構成を、請求項1〜8のいずれか1つに記載の車両用制御装置(20)と、ユーザ検出手段(10)と、車両環境検出手段(30)と、制御手段(26)とを備える構成とすることができる。
また、請求項10に示すように、ユーザ検出手段(10)として、少なくとも画像取得手段(11)と音声検出手段(12)のどちらか一方を用いることができる。また、請求項11に示すように、車両環境検出手段(30)として、画像取得手段(31)を用いることができる。
なお、上記各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。
(第1実施形態)
図1に、本発明の第1実施形態における車両用制御システムを示す。車両用制御システムは、ユーザ検出手段としての検出部10と、車両用制御装置20と、車両環境検出手段としてのセンサ群30と、複数の機能としての機能部40とを備えている。
検出部10は、ユーザを認識したり、ユーザの動作および状態を特定したりするための情報を、光、音波、電波などにより、検出するものである。検出部10としては、例えば、画像取得手段としてのカメラ11、音声検出手段としてのマイク12、ソナー13、チューナ14、脈拍、血圧測定用センサ15等を用いることができる。
カメラ11、マイク12、ソナー13、チューナ14は、車室内外を検出できるように、車両に設置されている。これらは、車室外に関しては、車両の周囲360度すべてを検出領域とするように、車両に搭載される。例えば、カメラ11については、車両の屋根の端や、ピラー近傍に配置される。
カメラ11は、ユーザを撮影するものである。カメラ11として赤外線カメラを用いた場合では、ユーザの体温を検出する。マイク12は、ユーザの音声を検出するものである。ソナー13は、ユーザに対して音波を照射し、ユーザからの反射波を検出するものである。
チューナ14は、ユーザが所持する電子キーなどからの電波を検出するものである。この電波は、例えば、スマートキーもしくはスマートカードキーと呼ばれる電子キーが発信するIDコード信号である。
脈拍、血圧測定用センサ15は、ユーザの脈拍、血圧をそれぞれ測定するものである。このセンサ15は、車室内であって、ユーザの体に接触する部位に配置される。このセンサ15として、例えば、リストバンド式のものを用いることができる。これにより、ユーザの体調や、興奮状態などの感情が計測される。
これらの検出部10は、検出結果を車両用制御装置20に出力するようになっている。
車両用制御装置20は、周知のマイクロコンピュータ、RAM、ROMなどにより構成されている。車両用制御装置20は、記憶手段としてのメモリ部21と、ユーザ状態判断手段としてのユーザ状態判断部22と、ユーザ意図判断手段としての意図判断部23と、動作決定手段としての機能選択部24と、車両環境判断手段としての環境判断部25と、制御手段としての機能制御部26とを有している。
本実施形態では、車両用制御装置20は1つのECUで構成されており、このECU中に、各部22〜26が含まれている。
メモリ部21は、第1の情報としての意図マップデータと、第2の情報としての機能マップデータとを記憶している。メモリ部21は、例えば、EPROM、EEPROMなどにより構成される。
意図マップデータ、機能マップデータは、後に説明するが、それぞれ、ユーザの動作および状態とユーザの意図との相関、ユーザの意図と機能部40の動作内容との相関を示すものである。
ユーザ状態判断部22は、ユーザの動作および状態を判断するものである。ユーザ状態判断部22は、検出部10から検出結果が入力されるようになっている。そして、ユーザ状態判断部22は、入力された検出結果を処理することで、ユーザの動作および状態を特定する。この特定されるユーザの動作および状態とは、後述する意図マップデータの縦軸の項目に挙がっているユーザの動作および状態のことである。
例えば、ユーザ状態判断部22は、カメラ11が取得した顔像から、ユーザを認識したり、ユーザの動作、仕草、表情、状態を特定したりする。ユーザの動作、仕草、表情としては、ユーザ自身の移動、手の動き、まばたきや視点移動やあくびなどの顔の動き、ユーザの顔色、体温などがある。
また、ユーザ状態判断部22は、マイク12が検出したユーザの音声から、ユーザの感情や指示を特定したり、ソナー13が検出したユーザからの反射波から、ユーザの位置、動作、仕草などを特定したりする。
また、ユーザ状態判断部22は、チューナ14が検出した電子コードから、ユーザを認識する。また。ユーザ状態判断部22は、脈拍、血圧測定用センサ15が検出したユーザの脈拍、血圧や、体温、顔色から、ユーザの体調や、興奮状態などの感情を特定したりする。また、ユーザ状態判断部22は、カメラ11や図示しない操作部が検出した操作時間において、ユーザの操作時間が遅くなっていることから疲労度を検出することもできる。
ユーザ状態判断部22は、ユーザの動作および状態の判断結果を意図判断部23に出力するようになっている。
意図判断部23は、ユーザの意図を判断するものである。意図判断部23は、メモリ部21から意図マップを読み出すようになっている。意図判断部23は、ユーザ状態判断部22の判断結果と、ユーザ意図マップデータとに基づいて、ユーザの意図を判断する。また、意図判断部23は、このユーザの意図の判断結果を機能選択部24に出力するようになっている。
環境判断部25は、センサ群30から検出結果が入力されるようになっており、入力された検出結果により、走行中、停止などの車両状態や、車両が置かれている周辺の交通、障害物、天候などの車両の周辺状況といった車両環境を判断するものである。環境判断部25は、この車両環境の判断結果を機能選択部24に出力するようになっている。
機能選択部24は、意図判断部23から入力された判断結果に基づいて、機能部40の動作内容を選択し、決定するものである。この選択のときでは、機能選択部24は、メモリ部21から読み出した機能マップデータと、環境判断部25から入力された車両環境の判断結果とに基づいて、機能部40の動作内容を選択する。そして、機能選択部24は、決定内容を機能制御部26に出力するようになっている。
機能制御部26は、機能選択部24から入力された決定内容に基づいて、機能部40のそれぞれを制御するものである。
センサ群30は、走行中、停止などの車両状態や、車両が置かれている周辺の交通、障害物、天候などの車両の周辺状況を判断するのに必要な情報を検出するものである。
センサ群30としては、例えば、画像取得手段としてのカメラ31、ソナー32、ライトセンサ33、レインセンサ34、車速センサ35、着座センサ36、ドアカーテシスイッチ37、シートベルト着用センサ38を用いることができる。カメラ31、ソナー32は、車室内外を検出できるように、車両に搭載されている。
カメラ31、ソナー32の検出結果により、車両用制御装置20の環境判断部25は、車両が置かれている周辺の交通、障害物を検出したり、車室内におけるユーザの位置などを検出したりすることができる。なお、カメラ31、ソナー32として、検出部10としてのカメラ11、ソナー13を用いることもできる。
ライトセンサ33は車室内外の明るさを検出するものである。レインセンサ34は雨が降っているか否かを検出するものである。車速センサ35は、車両が走行中か否か検出する。着座センサ36は、車室内におけるユーザの位置を検出するためのものである。ドアカーテシスイッチ37は、ドアの開閉を検出するためのものである。シートベルト着用センサ38は、シートベルトの着用の有無を検出するためのものである。
機能部40は、車両に搭載されている各種機能のことであり、本実施形態では、走る、止まる、曲がるなどの車両の駆動自体に関する機能を除く、いわゆるボディーエレクトロニクス機器のことである。機能部40としては、例えば、ドア41、ドア鍵42、ワイパ43、窓44、シート45、トランク46、ライト47、エアコン48、ミラー49、オーディオ50、ビデオ51、テレビ52を用いることができる。
各機能部40の動作内容は、例えば、以下の通りである。ドア41はドアの開閉であり、ドア鍵42はロック、アンロックであり、ワイパ43はオン、オフであり、窓44は開閉であり、シート45は位置の移動であり、トランク46は開閉である。また、ライト47はオン、オフであり、エアコン48はオン、オフ、温度調整、風量調整であり、ミラー49は角度調整であり、オーディオ50は音楽選択、音量調整であり、ビデオ51、テレビ52は、映像選択、音量調整である。
また、ライト47は、例えば、ヘッドライト、テールランプ、ハザードランプ、シートを照らすためのイルミネーションなどの種々のライトを含んでいる。
なお、本実施形態の車両用制御システムでは、検出部10、車両用制御装置20、センサ群30、機能部40は、それぞれ、図示しないバッテリから電力が供給される。また、これらの各構成部は、エンジン始動前から作動する場合もあり、エンジン始動前では、バッテリから電力が間欠的に供給される。
次に、車両用制御システムの作動の概略について説明する。図2に、車両用制御装置20が実行する機能部40の制御処理のフローチャートを示す。この制御処理は0.01〜0.1sの時間割り込みで起動される。
まず、ステップ61で、検出部10がユーザを認識したり、ユーザの動作および状態を特定したりするための情報を検出する。例えば、カメラ11がユーザを撮影したり、マイク12がユーザの音声を検出する。
そして、この検出結果が、ユーザ状態判断部22に検出部10から入力される。ユーザ状態判断部22は、この検出結果から、ユーザの動作および状態を判断する。ユーザ状態判断部22は、この判断した結果を意図判断部23に出力する。
続いて、ステップ62では、意図判断部23がユーザの意図を判断する。このとき、意図判断部23は、ユーザ状態判断部22から入力された結果と、メモリ部21から読み出した意図マップデータとに基づいて、判断する。
続いて、ステップ63では、環境判断部25が車両状態や車両の周辺状況などの車両環境を判断する。このとき、環境判断部25は、センサ群30の検出結果に基づいて、判断する。
これらの走行、停止などの車両状態や、車両が置かれている周辺の交通、障害物、天候などの車両環境に関する情報は、ユーザの意図を実現するために考慮すべき情報である。例えば、機能選択部24がワイパ43を動作させることを決定する場合では、雨が降っているか否かの情報が必要である。雨が降っていなければ、ワイパ43を動作させる必要がないからである。
そこで、環境判断部25は、例えば、レインセンサ34の検出結果から雨が降っているか否かを判断する。このとき、環境判断部25は、例えば、雨量の程度も判断する。ワイパ43の動作速度に必要な情報だからである。
このように、環境判断部25では、次のステップで、機能選択部24が車の状況から本当に制御して良いのかを判断できるように、車両環境を判断する。そして、その判断結果を機能選択部24に出力する。
続いて、ステップ64では、意図判断部23の判断結果に基づいて、ユーザの意図に最も適した機能部40の動作内容を選択し、決定する。このとき、機能選択部24は、メモリ部21から機能マップデータを読出し、この機能マップデータの中から機能部40の動作内容を選択する。
また、機能選択部24は、環境判断部25から入力された判断結果を考慮して、機能部40の動作内容を決定する。そして、機能選択部24は、機能制御部26に対して、決定した動作内容の制御を実行する旨の指示信号を出力する。
ステップ65では、機能選択部24の指示を受けて、機能制御部26が機能部40を制御する。このようにして、車両用制御装置20により、機能部40が制御される。
次に、上記した意図マップデータ、機能マップデータについて説明する。図3、4にそれぞれ意図マップデータ、機能マップデータを示す。
意図マップデータは、図3(a)〜(d)に示すように、ユーザの動作および状態が、「ユーザの操作」、「ユーザの動作」、「ユーザの仕草」、「ユーザの体調および感情」ごとに分けられた複数のマップにより構成されている。
さらに、各マップの縦軸には、ユーザの動作および状態に関する内容が項目ごとに並べられており、各マップの横軸には、ユーザの意図に関する内容が項目ごとに並べられている。各マップの横軸は共通であり、この横軸は、車に求めるユーザの意図が網羅的に設定している。なお、これらの項目は、車室内外の両方におけるユーザの動作および状態を示している。また、縦軸の項目、横軸の項目が、それぞれ、本発明の第1の項目、第2の項目に相当する。
具体的には、図3(a)に示す「操作」に関するマップの縦軸は、例えば、「乗車」、「車両移動」、「盗難防止」、「ドア開」、「開錠」であり、これらは、ユーザが直接行う操作内容を示している。
図3(b)に示す「動作」に関するマップの縦軸は、例えば、「前方接近」、「後方接近」、「荷物持参」、「降車」であり、ユーザの動作内容を示している。なお、このユーザの動作とは、操作ボタンを押したり、選択画面のアイコンを選択したりするなどの機能部40の直接の操作動作ではなく、ユーザの直接的な操作以外の動作を意味する。また、「前方接近」、「後方接近」は、ユーザが車両前方、後方から接近することを意味する。
図3(c)に示す「仕草」に関するマップの縦軸は、例えば、「ドア目視」、「荷室目視」、「ドア掴みそう」であり、ユーザの仕草を示している。
図3(d)に示す「体調および感情」に関するマップの縦軸は、例えば、「健康」、「気分が悪い」、「楽しい」、「悲しい」であり、ユーザの体調および感情を示している。
なお、図には示していないが、ユーザの音声のうち、機能部40の操作指示を「操作」もしくは「動作」の項目に加えたり、会話や独り言を「仕草」、「感情」に加えたりすることもできる。
また、図3(a)〜(d)に示す各マップの横軸は、例えば、「開錠」、「ドア開」、「乗車」、「運転」、「積み卸し」、「車内環境の調整」、「盗難防止」である。
また、図3(a)に示すように、「操作」に関するマップデータの縦軸は、目的に関する領域と機能に関する領域に分かれている。これは、今後、車両に多数の機能が搭載されてきた場合には、基本的には各機能を個々に選択して動作させるのではなく、目的によって括られた選択をすることで、複数の機能を動作させることが想定されるからである。
例えば、ユーザが降車し、ユーザが車両を盗難防止状態にしようとした場合、各機能を個々に選択する方法では、ユーザは窓を閉める、鍵をかけるなどの機能を1つ1つ選択しなければならない。一方、目的の括りで各機能を選択する方法では、ユーザは、盗難防止にするモードを選択すればよい。これにより、車両用制御装置20が、窓、鍵等を制御するようになる。
そこで、この操作に関するマップでは、その両方に対応するように、複数の機能を実行させることができる「目的に関する領域」と、単一の機能を実行させるための「機能に関する領域」とに分けているのである。
また、図3(d)に示すように、「体調」に関するマップデータは、ユーザの意図を示す項目の中でも、「車内環境の調整」の項目において、重み付けが高くなっている。
これは、ユーザの意図を示す項目のうち、「ドア開」、「乗車」等では、ユーザの体調や感情に依らずに、車両用制御装置20がユーザを支援することになる。しかし、空気質(温度、湿度)、照明、音楽、情報の設定、すなわち、エアコン48、ライド47、オーディオ50、テレビ52や図示しないラジオなどのマルチメディアの設定は、体調や感情に大きく依存すると考えているからである。
各マップでは、ユーザの動作等に関する項目と、ユーザの意図に関する項目との相関の程度が5段階の数値で評価されている。以下では、この数値を重み付けと呼ぶ。「5」〜「2」は、相関があることを意味しており、数字が大きいほど優先順位が高いことを示している。「1」は、相関がないことを意味している。本実施形態では、ユーザの意識している度合いが大きなものから優先順位を高くしている。
なお、重み付けは、あらかじめ、基本的な優先順位を想定して設定されている。しかし、ユーザによっては操作、動作、仕草等による意図の優先順位が変わる場合も想定される。そこで、これに対応するため、ユーザが車両購入時などに、ユーザの好みに応じて、重み付けの初期設定を変更できるようにしておく。
また、本実施形態では、この相関の程度を、例えば、図3(a)〜(d)に示す各意図マップ間において、ユーザの意図の「開錠」の欄を比較してわかるように、優先順位の数値に差を設けている。例えば、「ユーザの操作」、「ユーザの動作」、「ユーザの仕草」、「ユーザの体調および感情」の順に、優先順位を下げている。
図3(a)に示す「ユーザの操作」に関するマップに記載されている優先順位の数値が最も高いのは、「ユーザの操作」は、ユーザの直接的な意思表示と考えているからである。
ユーザの直接的な意思表示が「ユーザの操作」であり、ユーザが意識して行う動作が「ユーザの動作」であり、ユーザの意識と関連性が低い動作が「ユーザの仕草」であり、ユーザの意識とさらに関連性が低いのが「ユーザの体調および感情」であると考えられる。そこで、本実施形態では、優先順位の大きさを、操作>動作>仕草>体調としている。
機能マップデータは、ユーザの意図に対する車両内の機能が網羅的に把握されたものである。機能マップデータでは、1つのユーザの意図に対して、機能部40の動作内容を示す1つまたは複数の項目が割り付けられている。
そして、機能マップデータも、意図マップデータと同様に、ユーザの意図と機能部40の動作内容との相関について、重み付けがされている。この重み付けは、意図マップデータと同様に、5段階で評価されたものである。
具体的には、図4に示すように、機能マップデータは、縦軸に「ユーザの意図」を内容とする項目が並べられている。これらの縦軸の項目は、意図マップデータの横軸の項目と同じ内容のものである。例えば、縦軸の項目は、「開錠」、「ドア開」、「乗車」、「運転」、「積み卸し」、「車内環境の調整」、「盗難防止」となっている。
一方、機能マップデータの横軸には、機能部40の動作内容を示す項目が並べられている。横軸の項目は、例えば、図4に示すように、「ライト47」、「ワイパ43」、「窓44」、「ドア41」、「ドア鍵42」、「エアコン48」、「オーディオ50」、「シート45」となっている。これらの横軸の項目が、本発明の第3の項目に相当する。
なお、図4では、便宜上、横軸に単に各機能部40の名称を記載しているが、実際には、この横軸に、「ライト47」のオン、オフなどの各機能部40の動作内容が割り振られている。
次に、上記した車両用制御システムの作動のうち、ステップ62で、意図判断部23が実行するユーザの意図の判断方法を説明する。
意図判断部23は、ユーザ状態判断部22の判断結果を意図マップに当てはめる。そして、意図マップから、ユーザの意図を示す項目ごとに重み付けの数値を抽出する。
このとき、ユーザ状態判断部22の判断結果、すなわち、ユーザの動作および状態の項目が、複数であれば、意図判断部23は、ユーザの意図を示す1つの項目に対して、複数の重み付けの数値を抽出する。そして、この場合では、意図判断部23は、ユーザの意図を示す項目ごとに、抽出された重み付けの数値を積算する。
続いて、意図判断部23は、ユーザの意図を示す項目ごとの抽出値もしくは積算値を、例えば、しきい値と比較する。意図判断部23は、抽出値もしくは積算値が、しきい値を超えていれば、そのユーザの意図の項目を、ユーザの意図であると判断し、確定する。
この判断方法を、ユーザが車両前方から車両に近づき乗車するまでを例として具体的に説明する。
ユーザが車両前方から車両に近づき、運転席のドアを目視したとき、ユーザ状態判断部22は、カメラ11から入力された映像から、ユーザが「前方接近」、「ドア目視」したと判断する。
意図判断部23は、ユーザ状態判断部22から入力された「前方接近」、「ドア目視」という情報を意図マップデータに当てはめる。
ユーザの動作および状態が「前方接近」のときでは、図3(b)に示すように、ユーザの意図を示す項目である「開錠」、「ドア開」、「乗車」、「運転」、「積み卸し」の重み付けの数値は、それぞれ「4」、「4」、「4」、「4」、「2」である。
同様に、ユーザの動作および状態が「ドア目視」のときでは、図3(c)に示すように、「開錠」、「ドア開」、「乗車」、「運転」、「積み卸し」の重み付けの数値は、それぞれ「3」、「3」、「2」、「1」、「1」である。
そして、「開錠」、「ドア開」、「乗車」、「運転」、「積み卸し」のそれぞれに該当する重み付けの数値の積算値は、それぞれ、「12」、「12」、「8」、「4」、「2」となる。
このとき、積算値のしきい値が、例えば、「5」に設定されていれば、意図判断部23は、積算値がそれよりも大きな「開錠」、「ドア開」、「乗車」をユーザの意図であると判断する。
ここで、しきい値を「5」としているのは、図3(a)に示すように、ユーザによって、直接の操作がされた場合では、直ちに、その操作内容が実行されるようにするためである。 なお、本実施形態では、積算値のしきい値を「5」とする場合を例として説明したが、「5」に限らず、しきい値を他の数値に設定することもできる。
次に、ステップ64での機能選択部24が実行する機能部40の動作内容の選択方法について説明する。
ステップ64では、機能選択部24は、意図判断部23が判断したユーザの意図を、機能マップデータに当てはめ、そのユーザの意図に対して、割り当てられている機能を選択する。機能マップデータにおいて、1つのユーザの意図の項目に対して、複数の機能の項目が割り当てられている場合では、機能選択部24は複数の機能の項目をすべて同時に選択する。
ただし、1つのユーザの意図の項目に対して、複数の機能の項目が割り当てられている場合であっても、重み付けが異なっているときでは、機能選択部24は、重み付けの高い項目のみをさらに選択し、決定する。
例えば、意図判断部23でユーザの意図が「乗車」であると判断された場合、図4に示す機能マップデータからわかるように、選択される機能部40の候補として、「ライト47」、「ドア41」、「ドア鍵42」、「エアコン48」、「オーディオ50」、「シート45」が挙がる。
そして、これらの候補のうち、「エアコン48」の重み付けは「3」であり、他の候補の重み付けは「4」である。したがって、機能選択部24は、「エアコン48」を除く、「ライト47」、「ドア41」、「ドア鍵42」、「オーディオ50」、「シート45」を選択する。
ここで、「ライト47」を選択する理由は、車室内が暗い場合、一般に、ユーザは鴨居の位置や、シートの位置、シート上に存在する物などを確認したいという意思があると推測されるからである。したがって、この「ライト47」の選択とは、ライト47で鴨居やシートを照らすことを選択するという意味である。
また、「シート45」を選択する理由は、一台の車を家族などの複数のユーザが利用している場合、ユーザごとに適切なシートのドライビングポジションが異なるからである。したがって、この「シート45」の選択とは、シートのドライビングポジションを乗車するユーザに合わせることを選択するという意味である。
「エアコン48」、「オーディオ50」を選択するのは、ユーザの好みに合わせた車内環境にするためである。
本実施形態では、以上のようにして、車両用制御装置20が機能部40を制御するようになっている。
次に、本実施形態の主な特徴について説明する。本実施形態の車両用制御システムは、検出部10と、車両用制御装置20と、センサ群30と、機能部40とを備えている。また、車両用制御装置20は、メモリ部21と、ユーザ状態判断部22と、意図判断部23と、機能選択部24と、環境判断部25と、機能制御部26とを備えている。
(1)そして、この車両用制御装置20では、メモリ部21には、ユーザの動作および状態と、ユーザの意図との相関を示す意図マップデータが記憶されている。
また、ユーザ状態判断部22には、検出部10からユーザの動作および状態の検出結果が入力されるようになっており、ユーザ状態判断部22は、その検出結果に基づいて、ユーザの動作および状態を判断するようになっている。
また、意図判断部23は、ユーザ状態判断部22の判断結果を、意図マップデータに当てはめることで、ユーザの意図を判断するようになっている。機能選択部24は、意図判断部23の判断結果に基づいて、機能部40の動作内容を決定し、機能制御部26に対して、その動作内容の制御を実行する旨の指示信号を出力するようになっている。
これにより、本実施形態の車両用制御装置20によれば、ユーザが車両の機能に相当する操作を行わない場合であっても、ユーザの動作や状態からユーザの意図を推定することができ、推定したユーザの意図に基づいて、機能部40の制御を実行することができる。
すなわち、車両用制御装置20では、ユーザが各機能部40の操作を直接行わなくても、ユーザの意図に応じて、各機能部40を制御することができる。
この結果、本実施形態によれば、多数の機能が車両に搭載された場合であっても、ユーザの操作性が低下することを抑制することができる。言い換えると、本実施形態によれば、ユーザの操作削減と、高機能化とを両立することができる。
(2)また、意図マップデータは、図3(a)〜(d)に示すように、ユーザの動作および状態が、「ユーザの操作」、「ユーザの動作」、「ユーザの仕草」、「ユーザの体調および感情」ごとに分けられた複数のマップにより構成されている。
さらに、各マップの縦軸には、ユーザの動作および状態に関する内容が項目ごとに並べられており、各マップの横軸には、ユーザの意図に関する内容が各項目ごとに並べられている。各マップでは、ユーザの動作等に関する項目と、ユーザの意図に関する項目との相関の程度が5段階で評価されている。
そして、本実施形態では、この相関の程度を、例えば、図3(a)〜(d)に示す各意図マップにおいて、ユーザの意図の「開錠」の欄を比較してわかるように、「ユーザの操作」、「ユーザの操作以外の動作」、「ユーザの仕草」、「ユーザの体調および感情」の順に、優先順位を低くしている。
また、意図判断部23がユーザの意図を判断する場合では、意図判断部23は、ユーザ状態判断部22の判断結果を、各意図マップデータに当てはめる。そして、意図判断部23は、ユーザの意図の項目ごとに重み付けの数値を抽出し、それらの数値を積算するようになっている。
そして、意図判断部23は、その積算値が、しきい値を超えていれば、そのユーザの意図の項目を、ユーザの意図であると判断するようになっている。
これは、以下の理由による。図3(a)に示すように、ユーザによる直接的な操作から推測されるユーザの意図は、確かなものである。
これに対して、操作以外のユーザの動作、仕草、体調/感情の個々の項目から推測されるユーザの意図は、確かではない。また、ユーザの動作、仕草、体調/感情の個々の項目から推測される意図としては、複数の候補が挙げられる。言い換えると、1つのユーザの動作等からでは、ユーザの意図を絞りきれない。
そこで、本実施形態では、意図判断部23が、複数のユーザの動作および状態を、意図マップデータに当てはめ、ユーザの意図を示す1つの項目ごとに、抽出された重み付けの数値を積算するようになっている。これにより、1つのユーザの動作等からユーザの意図を推測する場合と比較して、意図判断部23が推測した「ユーザの意図」の確からしさを高めることができる。
(3)また、この車両用制御装置20では、メモリ部21に、ユーザの意図と機能部40の動作内容との相関を示す機能マップデータが記憶されている。
この機能マップデータは、1つのユーザの意図に対して、機能部40の動作内容を示す複数の項目が割り当てられており、ユーザの意図と機能部40の動作内容との相関が、5段階評価されたものである。
そして、機能選択部24は、意図判断部23の判断結果を、機能マップデータに当てはめることで、機能部40の動作内容を選択し、決定するようになっている。
ただし、1つのユーザの意図の項目に対して、複数の機能の項目が割り当てられている場合であっても、重み付けが異なっているときでは、機能選択部24は、重み付けの高い項目のみをさらに選択し、決定するようになっている。
これにより、機能選択部24が判断した機能の動作内容を、ユーザ本来の意図に近づけることができる。
(4)また、本実施形態では、機能選択部24は、環境判断部25から入力された判断結果を考慮して、機能部40の動作内容を決定するようになっている。
これにより、機能選択部24は、車の状況から本当に制御して良いのかを判断することができ、ユーザの意図により適した機能の制御を実行することができる。
(第2実施形態)
第1実施形態の車両用制御装置20に対して、学習機能を持たせることもできる。図5に本実施形態における車両用制御装置20の構成を示す。本実施形態では、車両用制御装置20は、変更手段としての学習機能部27を備えている。
学習機能部27は、機能制御部26による機能部40の制御内容と、ユーザによる機能部40の直接の操作もしくはユーザの操作以外の動作とが競合した場合に、メモリ部21に記憶されている機能マップデータ中の重み付けの大きさを変更するものである。
機能選択のマップには、第1実施形態で説明したように、意図判断部23が推測したユーザの意図に対して、その意図と機能部40に期待できる効果との関係から、機能部40の動作内容の割り当てが行われている。すなわち、機能マップデータでは、一般的なユーザを想定して、ユーザの意図に対して最適であると考えられる機能部40の動作内容が設定されている。
しかし、ユーザがこの車両用制御システムを使用しているうちに、この機能マップデータの設定内容がユーザの感性にそぐわないと、ユーザが感じる場合もあり得る。
そこで、本実施形態では、この学習機能部27の学習処理により、機能マップデータの設定内容を変更するようにしている。
ここで、学習機能部27の学習処理について説明する。図6に、学習機能部27が実行する学習処理のフローチャートを示す。この学習処理は、機能制御部26による機能部40の制御が実行されるごとに、開始される。
まず、ステップ71では、機能制御部26による機能部40の制御と競合する操作をユーザが行ったか否かが判定される。
この競合する操作とは、例えば、機能制御部26の機能選択後に、直ちに、ユーザがそれを中止する操作を行ったり、機能制御部26の機能選択後に、直ちに、図3(a)の意図マップデータに示される操作をユーザが直接行い、機能マップデータで優先順位を低く設定したあった動作内容を選択したりすることをいう。または、ユーザが「違う」と言うなどのある特定の仕草、動作を行った場合である。
例えば、機能制御部26がワイパ43をオンさせた後、ユーザが直ちにワイパ43をオフした場合や、ユーザが直ちにワイパ43の動作速度を遅くした場合が、競合する操作に該当する。
このステップ71で、NOと判定された場合、機能制御部26による機能部40の制御は、ユーザの意図に沿っていたということなので、学習機能部27は何もしないで、学習処理を終了する。一方、YESと判定された場合、ステップ72に進む。
ステップ72では、機能マップデータにおける機能選択部24が選択した機能部40の動作内容の優先順位(重み付け)において、図7に示すように、その優先順位内のレベルが1段階下げられる。
一方、ユーザが直接操作した場合では、機能マップデータにおけるユーザが直接操作した機能部40の動作内容の優先順位内のレベルが、1段階上げられる。
なお、これらのレベルは、各優先順位において、5段階設定されており、レベルの位置が同一の優先順位内に収まらなくなった場合に、隣の優先順位にレベルの位置が移動するように設定されている。
次に、ステップ73で、レベルの位置が、他の優先順位に移動したか否か判定される。NOと判定された場合、優先順位が変更されずに、学習処理が終了される。一方、YESと判定された場合、ステップ74に進む。
そして、ステップ74では、学習機能部27が、メモリ部21に記憶されている機能マップデータ内の優先順位を変更する。このようにして、学習機能部27は、機能マップデータを随時更新する。
これにより、ユーザの意図と制御手段による機能の動作内容との整合性を高めることができる。
例えば、機能選択部24が、レインセンサ34の検出結果に基づいて、ワイパ43の速度を決定し、機能制御部26にワイパ43を動作させたが、ユーザが直ちにワイパ43の速度を遅くした場合、車両用制御装置20の制御がユーザの意図に沿っていなかったことになる。
そこで、上記したように、学習機能部27が学習処理を実行することで、車両用制御装置20は、次回以降のワイパ43の制御において、上記したレインセンサ34の検出結果のときでは、ワイパ43の速度をユーザが修正した速度で動作させることができる。
また、本実施形態では、上記のとおり、競合する操作があっても、直ちに、優先順位を変更しないで、まず、優先順位内に設定したレベルを変更するようにしている。これは、ユーザの誤操作による使い勝手の劣化を防止するためである。なお、競合する操作があった場合、直ちに、優先順位を変更させるようにすることもできる。
また、機能選択部24が選択した機能部40の動作内容に関して、連続して、競合する操作が所定回数行われなかった場合、変更した優先順位内のレベルを元の位置に戻すようにすることもできる。
また、ユーザによっては、優先順位を変更する前の値に戻したい場合もある。そこで、車両用制御装置20に、学習部に対するリセット操作部を設けたり、所定の仕草、動作を行った場合にはリセットを意図するという相関を持たせたりすることもできる。これにより、ユーザが優先順位を変更する前の値に戻したい場合では、ユーザがリセット操作部を操作したり、所定の仕草、動作をしたりすることで、優先順位を元に戻すようにすることもできる。
また、機能マップデータに限らず、意図マップデータにおいても、学習機能部27に同様の学習処理をさせることもできる。この学習では、判定した意図と競合する動作、操作等をユーザが行った場合に、学習機能部27に意図に関する重み付けを変更させる。このとき、この意図に関する優先順位(重み付け)内にも、5段階のレベルを設定し、このレベルを上下させることにより、優先順位の上下を調整することができる。
本実施形態の車両用制御システムによれば、メモリ部21への意図マップデータ、機能マップデータの初期状態登録と、本実施形態で説明した学習処理により、ユーザの意図と機能部40の制御内容との整合をより高めていくことが可能となる。
(他の実施形態)
(1)第1、第2実施形態では、検出部10が車両に搭載されている場合を例として説明したが、車両に搭載されていないものを検出部10として用いることもできる。例えば、携帯電話等の携帯機を検出部10として用いることもできる。この場合、この携帯機により、ユーザの位置や状態に関する情報を取得することができる。
(2)また、上記した各実施形態では、意図マップデータ、機能マップデータ内の相関について、重み付けが5段階で評価されている場合を例として説明したが、5段階に限らず、重み付けを他の数の段階とすることもできる。
また、意図マップデータ、機能マップデータ内の相関について、重み付けをせずに、単に、相関の有無のみを評価することもできる。例えば、意図マップデータにおいて、ユーザの動作を示す項目と、ユーザの意図を示す項目との間で、相関があれば、「○」、相関がなければ、「×」とすることもできる。
(3)また、上記した各実施形態では、ユーザが車両に乗車するまでの場面を例として説明したが、走行中においても、機能部40を車両用制御装置20により制御することもできる。
この場合、動作に関する意図マップデータにおける動作の項目としては、ユーザがオーディオ、エアコンなどを操作したい場合に行う動作、例えば、ユーザがオーディオ、エアコンなどに手を近づける動作が考えられる。
すなわち、ユーザがオーディオ、エアコンなどに手を近づけた場合では、ユーザ状態判断部22がユーザの手の動きを特定し、意図判断部23が、ユーザの意図をオーディオ、エアコンなどを操作したいことであると判断する。そして、機能選択部24が、オーディオ、エアコンの制御を選択し、機能制御部26がオーディオ50、エアコン48を制御するようにすることもできる。
また、仕草に関する意図マップデータにおける仕草の他の項目としては、走行中にワイパを作動させたい場合に行う動作、例えば、ユーザがワイパを目視する仕草がある。
(4)また、上記した各実施形態では、ステップ62で、意図判断部23がユーザの意図の判断するとき、意図判断部23は、ユーザの意図を示す各項目ごとの抽出値もしくは積算値を、しきい値と比較して、ユーザの意図を判断する場合を例として説明した。
しかし、しきい値と比較する方法に限らず、他の方法により、ユーザの意図を判断することもできる。例えば、抽出値もしくは積算値が高い方から、何個までをユーザの意図として判定する方法を採用するともできる。
また、積算値が最も高いもののみを、ユーザの意図として判定することもできる。この場合、積算値が最も高いユーザの意図を示す項目が複数であれば、どのマップで優先順位がいくつであったかを基にして、優越を決める。
すなわち、マップ同士間において、重要性が異なっているため、重要度が高いマップでの優先順位の大きさで、優越を決めることもできる。例えば、図3(b)に示すように、縦軸が動作である意図マップは、図3(d)に示すように、縦軸が体調である意図マップよりも重要度が高い。そこで、縦軸が動作である意図マップでの優先順位の大きさを比較する。
もしくは、積算された個々の優先順位の大きさで、優越を決めることもできる。例えば、
積算値が同じ「16」でも、積算された個々の優先順位が「4」で、それを2つ積算した場合と、積算された個々の優先順位が「2」で、それを4つ積算した場合とがある。その場合、積算された個々の優先順位が「4」である方を、ユーザの意図として判定することもできる。
(5)また、上記した各実施形態では、ユーザの意図を内容とする項目ごとに、抽出した重み付けの数値を積算する場合を例として、説明したが、積算の代わりに、加算することもできる。
(6)また、上記した各実施形態では、ユーザがドライバである場合を例として説明したが、ユーザをドライバに限らず、同乗者とすることもできる。
すなわち、上記した各実施形態と同様の方法により、同乗者の動作や状態から、意図判断部23が同乗者の意図を推測して、機能選択部24が機能部40の動作内容を選択し、環境判断部25が機能部40を制御するようにすることもできる。
そして、同乗者が子供などの場合では、同乗者が窓を開けたい旨の仕草をすることで、意図判断部23がユーザの意図が窓を開けたいことであると判断した場合がある。しかし、このような場合であっても、環境判断部25が、車両が高速度道路を走行していると判断したときでは、機能選択部24が窓44の開ける旨の動作を選択しないようにすることもできる。
(7)なお、「意図」および「最適機能選択」については、ユーザの好みが分かれるため、意図マップデータ、機能マップデータにおいては個人差を吸収することが必要である。そこで、その車両を使用するユーザが複数人である場合では、それぞれのユーザごとに、マップデータを用意し、メモリ部21に記憶させることもできる。
そして、第1実施形態で説明したように、カメラ11による画像や、マイク12で取得した音声や、チューナ14が取得した電子コードなどの情報により、ユーザ状態判断部22がユーザを認識することで、意図判断部23や機能選択部24で使用するマップデータを切り替えさせることもできる。
例えば、車を家族5人で使用する場合、1人1人に応じたマップを用意しておく。そして、意図判断部23が最初にユーザ認識することで、意図判断部23や機能選択部24は、使用するマップデータを使い分けるようにすることもできる。
(8)また、上記した各実施形態では、機能部40として、いわゆるボディーエレクトロニクス機器を用いる場合を例として説明したが、走る、止まる、曲がるなど車両の駆動自体に関する機能を、機能部40に含めることもできる。
(9)また、上記した各実施形態では、車両用制御装置20が1つのECUで構成され、このECU中に、各部22〜26が含まれている場合を例として説明したが、各部22〜26は必ずしも1つのECU中に含まれていなくても良く、各部22〜26を別々のECUに含ませることもできる。
(10)また、上記した各実施形態では、車両用制御装置20が機能制御部26を備える場合を例として説明したが、車両用制御装置20が機能制御部26を備えていない構成とすることもできる。この場合、機能部40を制御する制御部が、車両用制御装置20と機能部40との間に接続される。そして、車両用制御装置20は、機能選択部24からその制御部に対して、機能部40の動作内容の選択結果を出力する。このようにして、制御部が機能部40を制御するようにすることもできる。
(11)また、上記した各実施形態では、車両環境検出手段として、車両に搭載されたセンサ群30を用いる場合を例として説明したが、車両に搭載されないものを車両環境検出手段として用いることもできる。
図1に示すように、例えば、管理センタ39を車両環境検出手段として用いることもできる。管理センタ39は、交通、天気、道路に関する情報を管理しており、無線通信網等のインフラを経由してこの情報を、環境判断部25に配信するものである。
環境判断部25は、車両に搭載された受信機により、管理センタ39から送信された情報を受信することで、車両が置かれている周辺の交通、障害物、天候などの車両の周辺状況といった車両環境を判断することができる。
なお、車両環境検出手段としては、上記した各実施形態の他、センサ群30と管理センタ39の両方を用いたり、管理センタ39のみを用いたりすることができる。
本発明の第1実施形態における車両用制御システムの構成を示す図である。 図1中の車両用制御装置20が実行する機能部40の制御処理のフローチャートである。 意図マップデータを示す図表である。 機能マップデータを示す図表である。 本発明の第2実施形態における車両用制御装置20の構成を示す図である。 図5中の学習機能部27が実行する学習処理のフローチャートである。 学習機能部27が実行する学習処理の内容を説明するための図表である。
符号の説明
10…検出部、20…車両用制御装置、
21…メモリ部、22…ユーザ状態判断部、23…意図判断部、
24…機能選択部、25…環境判断部、26…機能制御部、27…学習機能部、
30…センサ群、40…機能部。

Claims (11)

  1. ユーザの動作および状態と、前記ユーザの意図との相関を示す第1の情報が記憶されている記憶手段(21)と、
    前記ユーザの動作および状態を検出するユーザ検出手段(10)から入力された検出結果に基づいて、前記ユーザの動作および状態を判断するユーザ状態判断手段(22)と、
    前記ユーザ状態判断手段(22)の判断結果と、前記第1の情報とに基づいて、前記ユーザの意図を判断するユーザ意図判断手段(23)と、
    前記ユーザ意図判断手段(23)の判断結果に基づいて、前記車両に搭載されている複数の機能(40)の動作内容を決定し、前記複数の機能(40)を制御する制御手段(26)に対して、前記動作内容の制御を実行する旨の指示信号を出力する動作決定手段(24)とを備えることを特徴とする車両用制御装置。
  2. 前記第1の情報は、前記ユーザの動作および状態を示す複数の第1の項目と、前記ユーザの意図を示す複数の第2の項目とのそれぞれの間における相関を示すものであり、
    前記ユーザ状態判断手段(22)が、前記第1の項目に該当する複数の前記ユーザの動作および状態を判断した場合、前記ユーザ意図判断手段(23)は、該当する前記第1の項目と前記第2の項目との相関関係のすべてに基づいて、前記ユーザの意図を判断するようになっていることを特徴とする請求項1に記載の車両用制御装置。
  3. 前記第1の情報は、前記ユーザの意図との関連性の程度に応じて、前記複数の第1の項目が分類され、かつ、各分類間で優先順位が設けられており、
    前記ユーザ意図判断手段(23)は、前記優先順位に基づいて、前記ユーザの意図を判断するようになっていることを特徴とする請求項2に記載の車両用制御装置。
  4. 前記第1の情報は、前記第1の項目と前記第2の項目との間における相関の程度が複数の段階に分けられており、
    前記ユーザ意図判断手段(23)は、前記相関の程度に基づいて、前記ユーザの意図を判断するようになっていることを特徴とする請求項2または3に記載の車両用制御装置。
  5. 前記記憶手段(21)には、前記ユーザの意図と、前記複数の機能(40)の動作内容との相関を示す第2の情報が記憶されており、
    前記動作決定手段(24)は、前記ユーザ意図判断手段(23)の判断結果と、前記第2の情報とに基づいて、前記複数の機能(40)の動作内容を決定するようになっていることを特徴とする請求項1ないし4のいずれか1つに記載の車両用制御装置。
  6. 前記第2の情報は、前記複数の第2の項目と、前記機能(40)の動作内容を示す複数の第3の項目とのそれぞれの間における相関を示したものであり、前記第2の項目と前記第3の項目との相関の程度が複数の段階に分けられており、
    前記動作決定手段(24)は、前記第2の項目と前記第3の項目との相関の程度に基づいて、前記複数の機能(40)の動作内容を決定するようになっていることを特徴とする請求項5に記載の車両用制御装置
  7. 前記制御手段(26)による前記機能の動作内容と、前記ユーザによる前記機能(40)を制御するための操作もしくは前記ユーザの動作とが競合した場合、前記ユーザによる前記機能を制御するための操作もしくは前記ユーザの動作に基づいて、前記相関の程度の大きさを変更する変更手段(27)を備えることを特徴とする請求項4または6に記載の車両用制御装置。
  8. 車両の走行状態および車両の周辺状況を含む車両環境を検出する車両環境検出手段(30)から入力された検出結果により、前記車両環境を判断する車両環境判断手段(25)を備えており、
    前記動作決定手段(24)は、前記車両環境判断手段(25)の判断結果に基づいて、前記複数の機能(40)の動作内容を決定するようになっていることを特徴とする請求項1ないし7のいずれか1つに記載の車両用制御装置。
  9. 請求項1〜8のいずれか1つに記載の車両用制御装置(20)と、前記ユーザ検出手段(10)と、前記車両環境検出手段(30)と、前記制御手段(26)とを備えることを特徴とする車両用制御システム。
  10. 前記ユーザ検出手段(10)として、少なくとも画像取得手段(11)と音声検出手段(12)のどちらか一方が用いられていることを特徴とする請求項9に記載の車両用制御システム。
  11. 前記車両環境検出手段(30)として、画像取得手段(31)が用いられていることを特徴とする請求項9または10に記載の車両用制御システム。
JP2004172242A 2004-06-10 2004-06-10 車両用制御装置およびその装置を備える車両用制御システム Expired - Fee Related JP4305289B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004172242A JP4305289B2 (ja) 2004-06-10 2004-06-10 車両用制御装置およびその装置を備える車両用制御システム
US11/146,108 US7343234B2 (en) 2004-06-10 2005-06-07 Vehicle control unit and vehicle control system having the same
DE102005027010A DE102005027010A1 (de) 2004-06-10 2005-06-10 Fahrzeugsteuereinheit und Fahrzeugsteuersystem, welches die Fahrzeugsteuereinheit enthält

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004172242A JP4305289B2 (ja) 2004-06-10 2004-06-10 車両用制御装置およびその装置を備える車両用制御システム

Publications (2)

Publication Number Publication Date
JP2005352732A true JP2005352732A (ja) 2005-12-22
JP4305289B2 JP4305289B2 (ja) 2009-07-29

Family

ID=35455198

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004172242A Expired - Fee Related JP4305289B2 (ja) 2004-06-10 2004-06-10 車両用制御装置およびその装置を備える車両用制御システム

Country Status (3)

Country Link
US (1) US7343234B2 (ja)
JP (1) JP4305289B2 (ja)
DE (1) DE102005027010A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8656280B2 (en) 2006-06-21 2014-02-18 Panasonic Corporation Device for estimating user operation intention and electronic device using the same
WO2016194945A1 (ja) * 2015-06-01 2016-12-08 クラリオン株式会社 集音装置、及び集音装置の制御方法
JP2019219835A (ja) * 2018-06-19 2019-12-26 本田技研工業株式会社 制御装置および制御方法

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4305289B2 (ja) * 2004-06-10 2009-07-29 株式会社デンソー 車両用制御装置およびその装置を備える車両用制御システム
JP4735310B2 (ja) * 2005-04-15 2011-07-27 株式会社デンソー 走行支援装置
EP1754621B1 (en) * 2005-08-18 2009-10-14 Honda Research Institute Europe GmbH Driver assistance system
JP2007094935A (ja) * 2005-09-30 2007-04-12 Omron Corp 情報処理装置および情報処理方法、情報処理システム、プログラム、並びに、記録媒体
JP4509042B2 (ja) * 2006-02-13 2010-07-21 株式会社デンソー 自動車用もてなし情報提供システム
DE102006009291A1 (de) 2006-03-01 2007-09-06 Audi Ag Verfahren und Vorrichtung zum Betreiben von zumindest zwei Funktionskomponenten eines Systems, insbesondere eines Fahrzeugs
JP2007326491A (ja) * 2006-06-08 2007-12-20 Toyota Motor Corp 車両用入力装置
US20080129684A1 (en) * 2006-11-30 2008-06-05 Adams Jay J Display system having viewer distraction disable and method
US20080129446A1 (en) * 2006-12-04 2008-06-05 Vader Scott J Vehicle with hands-free door
US7937202B2 (en) * 2007-05-01 2011-05-03 Ronald Van Houten Seat belt/accelerator behavioral system
JP2009024454A (ja) * 2007-07-23 2009-02-05 Denso Corp 車両ドア制御装置
GB2457279A (en) * 2008-02-08 2009-08-12 Airmax Group Plc Configuration of an electronic control system for controlling the operation of at least one component of a vehicle
JP4609527B2 (ja) * 2008-06-03 2011-01-12 株式会社デンソー 自動車用情報提供システム
US9710816B2 (en) * 2008-08-05 2017-07-18 Ford Motor Company Method and system of measuring customer satisfaction with purchased vehicle
US20100052931A1 (en) * 2008-08-26 2010-03-04 Gm Global Technology Operations, Inc. Gesture control key fob
US8217755B2 (en) * 2008-09-23 2012-07-10 Unicell Limited Vehicle with controlled door operation
KR101173944B1 (ko) * 2008-12-01 2012-08-20 한국전자통신연구원 차량 운전자의 감성 조절 시스템 및 방법
JP4864997B2 (ja) * 2009-03-10 2012-02-01 本田技研工業株式会社 ナビゲーション装置
CN102404510B (zh) * 2009-06-16 2015-07-01 英特尔公司 手持装置中的摄像机应用
CN101879882B (zh) * 2010-03-20 2013-08-14 中国第一汽车集团公司 车身控制单元
JP5195986B2 (ja) * 2010-12-27 2013-05-15 カシオ計算機株式会社 画像出力装置およびプログラム
US20120215403A1 (en) * 2011-02-20 2012-08-23 General Motors Llc Method of monitoring a vehicle driver
US8548710B1 (en) 2011-06-08 2013-10-01 Bombardier Recreational Products Inc. Off-road wheeled vehicle speed limiting system
US8464824B1 (en) * 2011-06-08 2013-06-18 Bombardier Recreational Products Inc. Off-road wheeled vehicle speed limiting system
CN102837649A (zh) * 2011-06-23 2012-12-26 华晶科技股份有限公司 多模组辨识***及其控制方法
DE102011112370A1 (de) * 2011-09-02 2013-03-07 Audi Ag Kraftfahrzeug
DE102011121484A1 (de) * 2011-12-16 2013-06-20 Audi Ag Bedienungssystem für ein Fahrzeug und Verfahren zur Unterstützung eines Fahrers beim Bedienen eines Fahrzeugs
US20140310610A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Vehicle occupant impairment assisted vehicle
CN102729925B (zh) * 2012-06-21 2014-11-19 三一重工股份有限公司 一种工程机械及其车窗、车门锁和后视镜控制装置
DE102012111253A1 (de) * 2012-09-27 2014-05-15 Claas Selbstfahrende Erntemaschinen Gmbh Verfahren zum Betreiben einer landwirtschaftlichen Arbeitsmaschine
DE102012020901B4 (de) * 2012-10-24 2022-06-02 Mercedes-Benz Group AG Verfahren zum Betrieb zumindest einer Assistenzvorrichtung eines Fahrzeugs und Vorrichtung zur Durchführung des Verfahrens
CN102923069B (zh) * 2012-10-26 2016-05-04 宁波金洋化工物流有限公司 危化品车辆运输管理***
US9122933B2 (en) * 2013-03-13 2015-09-01 Mighty Carma, Inc. After market driving assistance system
EP2857276B1 (en) * 2013-08-20 2018-12-12 Harman International Industries, Incorporated Driver assistance system
US9778736B2 (en) * 2014-09-22 2017-10-03 Rovi Guides, Inc. Methods and systems for calibrating user devices
CN105172716B (zh) * 2015-09-18 2018-02-23 智车优行科技(北京)有限公司 车内环境参数自动调节装置及方法
CN105253077A (zh) * 2015-11-04 2016-01-20 上汽通用五菱汽车股份有限公司 一种集中式的车身控制装置
US10692126B2 (en) 2015-11-17 2020-06-23 Nio Usa, Inc. Network-based system for selling and servicing cars
EP3175786A1 (en) 2015-12-01 2017-06-07 Panasonic Intellectual Property Corporation of America Estimation of physical conditions
US20180012197A1 (en) 2016-07-07 2018-01-11 NextEv USA, Inc. Battery exchange licensing program based on state of charge of battery pack
US9928734B2 (en) 2016-08-02 2018-03-27 Nio Usa, Inc. Vehicle-to-pedestrian communication systems
DE102016221235A1 (de) * 2016-10-27 2018-05-03 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Anpassung der Fahrstrategie eines zumindest teilautomatisiert fahrenden Fahrzeugs an Insassen-Tätigkeiten
US9963106B1 (en) 2016-11-07 2018-05-08 Nio Usa, Inc. Method and system for authentication in autonomous vehicles
US10410064B2 (en) 2016-11-11 2019-09-10 Nio Usa, Inc. System for tracking and identifying vehicles and pedestrians
US10583709B2 (en) 2016-11-11 2020-03-10 International Business Machines Corporation Facilitating personalized vehicle occupant comfort
US10694357B2 (en) 2016-11-11 2020-06-23 Nio Usa, Inc. Using vehicle sensor data to monitor pedestrian health
US10708547B2 (en) 2016-11-11 2020-07-07 Nio Usa, Inc. Using vehicle sensor data to monitor environmental and geologic conditions
US10699305B2 (en) 2016-11-21 2020-06-30 Nio Usa, Inc. Smart refill assistant for electric vehicles
CN106671915A (zh) * 2016-12-06 2017-05-17 深圳市元征科技股份有限公司 车内环境自动调节方法及装置
US10249104B2 (en) 2016-12-06 2019-04-02 Nio Usa, Inc. Lease observation and event recording
US10074223B2 (en) 2017-01-13 2018-09-11 Nio Usa, Inc. Secured vehicle for user use only
US10031521B1 (en) 2017-01-16 2018-07-24 Nio Usa, Inc. Method and system for using weather information in operation of autonomous vehicles
US9984572B1 (en) 2017-01-16 2018-05-29 Nio Usa, Inc. Method and system for sharing parking space availability among autonomous vehicles
US10471829B2 (en) 2017-01-16 2019-11-12 Nio Usa, Inc. Self-destruct zone and autonomous vehicle navigation
US10286915B2 (en) 2017-01-17 2019-05-14 Nio Usa, Inc. Machine learning for personalized driving
US10464530B2 (en) 2017-01-17 2019-11-05 Nio Usa, Inc. Voice biometric pre-purchase enrollment for autonomous vehicles
US10897469B2 (en) 2017-02-02 2021-01-19 Nio Usa, Inc. System and method for firewalls between vehicle networks
US10234302B2 (en) 2017-06-27 2019-03-19 Nio Usa, Inc. Adaptive route and motion planning based on learned external and internal vehicle environment
US10710633B2 (en) 2017-07-14 2020-07-14 Nio Usa, Inc. Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles
US10369974B2 (en) 2017-07-14 2019-08-06 Nio Usa, Inc. Control and coordination of driverless fuel replenishment for autonomous vehicles
US10837790B2 (en) 2017-08-01 2020-11-17 Nio Usa, Inc. Productive and accident-free driving modes for a vehicle
US10635109B2 (en) 2017-10-17 2020-04-28 Nio Usa, Inc. Vehicle path-planner monitor and controller
US10935978B2 (en) 2017-10-30 2021-03-02 Nio Usa, Inc. Vehicle self-localization using particle filters and visual odometry
US10606274B2 (en) 2017-10-30 2020-03-31 Nio Usa, Inc. Visual place recognition based self-localization for autonomous vehicles
US10717412B2 (en) 2017-11-13 2020-07-21 Nio Usa, Inc. System and method for controlling a vehicle using secondary access methods
US11194043B2 (en) 2018-01-18 2021-12-07 Analog Devices International Unlimited Company Radar for weather detection and dynamic control and actuation of vehicle systems
US10369966B1 (en) 2018-05-23 2019-08-06 Nio Usa, Inc. Controlling access to a vehicle using wireless access devices
US10723362B2 (en) * 2018-06-05 2020-07-28 Denso International America, Inc. Driver assistance system operating based on autonomous statuses of host and local vehicles while in a multi-level autonomous environment
DE102018209672A1 (de) * 2018-06-15 2019-12-19 Robert Bosch Gmbh Verfahren zum Betreiben eines Fahrzeugs und Anordnung dazu
JP7087937B2 (ja) * 2018-11-14 2022-06-21 トヨタ自動車株式会社 車両制御システム
JP7052684B2 (ja) 2018-11-14 2022-04-12 トヨタ自動車株式会社 車両制御システム
JP7139901B2 (ja) 2018-11-14 2022-09-21 トヨタ自動車株式会社 車両制御システム
US11628851B2 (en) * 2019-07-11 2023-04-18 Lg Electronics Inc. Method and apparatus for controlling a vehicle in autonomous driving system
JP7269355B2 (ja) * 2019-09-02 2023-05-08 ヤマハ発動機株式会社 傾斜車両
US11676586B2 (en) * 2019-12-10 2023-06-13 Rovi Guides, Inc. Systems and methods for providing voice command recommendations
CN113589756B (zh) * 2021-10-08 2021-12-14 华兴源创(成都)科技有限公司 位移传感信号触发装置、设备、检测***及相关方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6442465B2 (en) * 1992-05-05 2002-08-27 Automotive Technologies International, Inc. Vehicular component control systems and methods
JPS60158809A (ja) * 1984-01-31 1985-08-20 池田物産株式会社 ヘツドレストの位置自動選定装置
JPH01158579A (ja) * 1987-09-09 1989-06-21 Aisin Seiki Co Ltd 像認識装置
US5081586A (en) * 1990-02-20 1992-01-14 Eaton Corporation Multiplexing of accessories in a vehicle
US6445988B1 (en) * 1997-02-06 2002-09-03 Automotive Technologies International Inc. System for determining the occupancy state of a seat in a vehicle and controlling a component based thereon
EP0841648B1 (en) * 1992-09-30 2004-06-02 Hitachi, Ltd. Vehicle driving support system and vehicle therewith
US5983147A (en) * 1997-02-06 1999-11-09 Sandia Corporation Video occupant detection and classification
US6631316B2 (en) * 2001-03-05 2003-10-07 Gentex Corporation Image processing system to control vehicle headlamps or other vehicle equipment
US6243635B1 (en) * 1997-08-27 2001-06-05 Nartron Corporation Integrated seat control with adaptive capabilities
US6434450B1 (en) * 1998-10-19 2002-08-13 Diversified Software Industries, Inc. In-vehicle integrated information system
US6034617A (en) * 1998-12-04 2000-03-07 Eaton Corporation Operator intent based passive keyless vehicle control system
US6356854B1 (en) * 1999-04-05 2002-03-12 Delphi Technologies, Inc. Holographic object position and type sensing system and method
US6138068A (en) * 1999-10-12 2000-10-24 Liu; Jonathan Vehicle for automatically adjusting window and sunroof positions after it being left unattended by its operator
US7920102B2 (en) * 1999-12-15 2011-04-05 Automotive Technologies International, Inc. Vehicular heads-up display system
JP2002114118A (ja) 2000-10-04 2002-04-16 Nissan Motor Co Ltd 運転支援装置
US6614344B1 (en) * 2000-10-17 2003-09-02 Douglas H. Frasher Optical sensor for an adjustable vehicle seating system
JP2002343193A (ja) * 2001-05-17 2002-11-29 Calsonic Kansei Corp 乗り物搭載機器用操作装置
JP2003212143A (ja) * 2002-01-24 2003-07-30 Aisin Seiki Co Ltd 車両の操作特性制御装置
US6668221B2 (en) * 2002-05-23 2003-12-23 Delphi Technologies, Inc. User discrimination control of vehicle infotainment system
US6993423B2 (en) * 2002-12-19 2006-01-31 General Motors Corporation Method for adjusting vehicle cockpit devices
US6819990B2 (en) * 2002-12-23 2004-11-16 Matsushita Electric Industrial Co., Ltd. Touch panel input for automotive devices
JP3925421B2 (ja) * 2003-02-10 2007-06-06 株式会社デンソー 車載機器の操作装置
DE10308415B3 (de) * 2003-02-27 2004-06-03 Bayerische Motoren Werke Ag Verfahren zur Steuerung einer Sitzeinstellung
US6842677B2 (en) * 2003-02-28 2005-01-11 Prakash S. Pathare Vehicle user interface system and method
JP4321349B2 (ja) * 2004-05-12 2009-08-26 株式会社デンソー スマートエントリシステム
JP4305289B2 (ja) * 2004-06-10 2009-07-29 株式会社デンソー 車両用制御装置およびその装置を備える車両用制御システム
JP2006233535A (ja) * 2005-02-24 2006-09-07 Matsushita Electric Ind Co Ltd 車両用遠隔操作装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8656280B2 (en) 2006-06-21 2014-02-18 Panasonic Corporation Device for estimating user operation intention and electronic device using the same
WO2016194945A1 (ja) * 2015-06-01 2016-12-08 クラリオン株式会社 集音装置、及び集音装置の制御方法
JP2016225884A (ja) * 2015-06-01 2016-12-28 クラリオン株式会社 集音装置、及び集音装置の制御方法
CN108141663A (zh) * 2015-06-01 2018-06-08 歌乐株式会社 集音装置以及集音装置的控制方法
US10237648B2 (en) 2015-06-01 2019-03-19 Clarion Co., Ltd. Sound collecting device, and method of controlling sound collecting device
JP2019219835A (ja) * 2018-06-19 2019-12-26 本田技研工業株式会社 制御装置および制御方法
JP7066541B2 (ja) 2018-06-19 2022-05-13 本田技研工業株式会社 制御装置および制御方法

Also Published As

Publication number Publication date
US7343234B2 (en) 2008-03-11
DE102005027010A1 (de) 2005-12-29
US20050278093A1 (en) 2005-12-15
JP4305289B2 (ja) 2009-07-29

Similar Documents

Publication Publication Date Title
JP4305289B2 (ja) 車両用制御装置およびその装置を備える車両用制御システム
US11243613B2 (en) Smart tutorial for gesture control system
US10710457B2 (en) Gesture and facial expressions control for a vehicle
US10180729B2 (en) Human machine interface apparatus for vehicle and methods of controlling the same
CN110654389B (zh) 车辆的控制方法、控制装置和车辆
US20070273492A1 (en) Control device for controlling in-vehicle unit
US20170120932A1 (en) Gesture-based vehicle-user interaction
JP2007332738A (ja) 車載機器遠隔制御システム
JP4561703B2 (ja) 顔認識装置及びそれを用いた自動車用ユーザーもてなしシステム
JP7468584B2 (ja) 車両用調停システム
JP2009214591A (ja) 体調連動制御システム
JP2006219009A (ja) 車両用機器自動調整システム
KR102288698B1 (ko) 차량 탑재 기기 조작 시스템
JP2017090613A (ja) 音声認識制御システム
US10569727B2 (en) Mobile unit control device and mobile unit
US11460309B2 (en) Control apparatus, control method, and storage medium storing program
CN113423597B (zh) 车载显示装置的控制方法、控制装置、电子设备、车辆
CN115179857A (zh) 车辆的休憩控制方法、装置、车辆及存储介质
CN111086480A (zh) 车辆唤醒方法、车机及车辆
JP4725215B2 (ja) 情報出力装置、情報出力方法及び情報出力システム
JP6428517B2 (ja) 乗員情報取得システム、車載器、携帯端末
CN115352385A (zh) 汽车的声场调节方法、装置、电子设备及存储介质
CN107920407B (zh) 智能下车照明***
CN115447517A (zh) 一种座舱的智能调控方法及装置
CN115171685A (zh) 车辆交互显示屏的控制方法、装置、车辆及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090407

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090420

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4305289

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140515

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees