JP2010009484A - 車載機器制御装置および車載機器制御方法 - Google Patents
車載機器制御装置および車載機器制御方法 Download PDFInfo
- Publication number
- JP2010009484A JP2010009484A JP2008170765A JP2008170765A JP2010009484A JP 2010009484 A JP2010009484 A JP 2010009484A JP 2008170765 A JP2008170765 A JP 2008170765A JP 2008170765 A JP2008170765 A JP 2008170765A JP 2010009484 A JP2010009484 A JP 2010009484A
- Authority
- JP
- Japan
- Prior art keywords
- message
- reaction
- driver
- vehicle device
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Navigation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】簡単なインターフェースで車載機器を制御できる車載機器制御装置を提供する。
【解決手段】ドライバを撮影するカメラと、車載機器の制御を行うか否かを問い合わせる第1のメッセージ、および、車載機器の制御を行うべきか否かの決定を支援する第2のメッセージを記憶したメッセージ記憶部と、第1のメッセージを出力するメッセージ出力部と、第1のメッセージを出力した後の一定の期間におけるカメラの映像を解析し、ドライバの顔が縦に動く肯定のリアクション、またはドライバの顔が横に動く否定のリアクションを検出するリアクション検出部と、リアクション検出部にて肯定のリアクションを検出したときに、その車載機器に対して問合せに係る制御の実行を指示する制御信号を送信する制御信号送信部とを備え、肯定のリアクションおよび否定のリアクションのいずれも検出されなかったときに、メッセージ出力部は、第2のメッセージを出力する。
【選択図】図1
【解決手段】ドライバを撮影するカメラと、車載機器の制御を行うか否かを問い合わせる第1のメッセージ、および、車載機器の制御を行うべきか否かの決定を支援する第2のメッセージを記憶したメッセージ記憶部と、第1のメッセージを出力するメッセージ出力部と、第1のメッセージを出力した後の一定の期間におけるカメラの映像を解析し、ドライバの顔が縦に動く肯定のリアクション、またはドライバの顔が横に動く否定のリアクションを検出するリアクション検出部と、リアクション検出部にて肯定のリアクションを検出したときに、その車載機器に対して問合せに係る制御の実行を指示する制御信号を送信する制御信号送信部とを備え、肯定のリアクションおよび否定のリアクションのいずれも検出されなかったときに、メッセージ出力部は、第2のメッセージを出力する。
【選択図】図1
Description
本発明は、エアコン、オーディオ等の車載機器を制御するための制御装置に関し、特に、簡単なインターフェースで制御可能な車載機器制御装置に関する。
車両内には、エアコン、オーディオ等の様々な車載装置があり、従来から、これらの車載装置を車両の運転中に安全に操作できるようにするための制御装置が提案されている。
特許文献1は、発話内容を音声認識して車載機器を制御する装置に関する発明である。特許文献1に記載された装置は、発話内容に対する認識率を高めるために、制御対象の機器に対応させて専用の語彙が登録されている複数の音声認識辞書を有している。そして、発話者が視聴している情報のソース(例えば、運転席であればナビゲーションユニット、助手席であればラジオ受信機、リア席であればDVDプレーヤ等)に対応した専用の音声認識辞書を選択し、選択した辞書を用いて音声認識を行なうことによって発話内容に対する認識率を高めている。
特開2007−286136号公報
上記した音声を用いたインターフェースは、ドライバがハンドルから手を離さずに安全に車載機器を操作できるというメリットがあるが、実際問題としては、発話内容を認識するのは容易ではない。特許文献1の発明のように、音声認識辞書を用意しても、ドライバが辞書にある語彙を用いて指示を行なうとは限らない。逆に、辞書にある語彙の範囲内で指示しなくてはならないとすれば、辞書に登録された語彙を覚えておく必要があり、運転中のドライバに過度な負担を強いることになる。
また、車両内には、他の乗員の話し声、オーディオの音楽、あるいは、外部から入ってくる騒音などのノイズがあるため、音声認識によって精度良く発話内容を分析することは困難であった。
本発明は、簡単なインターフェースで車載機器を制御できる車載機器制御装置を提供することを目的とする。
本発明の車載機器制御装置は、車載機器に制御信号を送信して車載機器の制御を行う車載機器制御装置であって、ドライバを撮影するカメラと、車載機器の制御を行うか否かを問い合わせる第1のメッセージ、および、車載機器の制御を行うべきか否かの決定を支援する第2のメッセージを記憶したメッセージ記憶部と、前記メッセージ記憶部から第1のメッセージを読み出し、読み出した第1のメッセージを出力するメッセージ出力部と、前記メッセージ出力部にて第1のメッセージを出力した後の一定の期間における前記カメラの映像を解析し、ドライバの顔が縦に動く肯定のリアクション、またはドライバの顔が横に動く否定のリアクションを検出するリアクション検出部と、前記リアクション検出部にて肯定のリアクションを検出したときに、その車載機器に対して問合せに係る制御の実行を指示する制御信号を送信する制御信号送信部とを備え、前記メッセージ出力部は、前記リアクション検出部にて、肯定のリアクションおよび否定のリアクションのいずれも検出されなかったときに、前記メッセージ記憶部から前記第2のメッセージを読み出し、読み出した第2のメッセージを出力する。
このようにドライバに対して車載機器の制御を行うか否かを問い合わせ、これに対するドライバの顔の動き(リアクション)によって車載機器への制御を行うか否かの決定を受け付けるので、ドライバは質問に対して頷くか、あるいは首を振ればよく、簡単かつ自然なインターフェースによって車載機器の制御を行うことができる。また、運転中には、車載機器の制御を行うか否かドライバが即断できない場合もあると考えられる。本発明の構成によれば、第1のメッセージを出力した後の一定の期間に肯定または否定のリアクションが検出されない場合には、車載機器の制御を行うべきか否かの決定を支援する第2のメッセージを出力するので、ドライバは、車載機器を制御するか否かを判断しやすくなる。
本発明の別の態様の車載機器制御装置は、車載機器に制御信号を送信して車載機器の制御を行う車載機器制御装置であって、ドライバを撮影するカメラと、肯定のリアクション、否定のリアクション、迷いのリアクションのパターンを記憶したリアクションパターン記憶部と、車載機器の制御を行うか否かを問い合わせる第1のメッセージ、および車載機器の制御を行うべきか否かの決定を支援する第2のメッセージを記憶したメッセージ記憶部と、前記メッセージ記憶部から第1のメッセージを読み出し、読み出した第1のメッセージを出力するメッセージ出力部と、前記メッセージ出力部にて第1のメッセージを出力した後の一定の期間における前記カメラの映像と、前記リアクションパターン記憶部に記憶されたリアクションパターンとを比較し、肯定のリアクション、否定のリアクション、または迷いのリアクションを検出するリアクション検出部と、前記リアクション検出部にて肯定のリアクションを検出したときに、その車載機器に対して問合せに係る制御の実行を指示する制御信号を送信する制御信号送信部とを備え、前記メッセージ出力部は、前記リアクション検出部にて、迷いのリアクションが検出されたときに、前記メッセージ記憶部から前記第2のメッセージを読み出し、読み出した第2のメッセージを出力し、前記リアクション検出部にて、肯定のリアクション、否定のリアクション、および迷いのリアクションのいずれも検出されなかったときに、前記第1のメッセージを再度出力する。
このようにドライバに対して車載機器の制御を行うか否かを問い合わせ、これに対するドライバのリアクションに基づいて車載機器への制御を行うか否かの決定を受け付けるので、ドライバは質問に対して頷くか、あるいは首を振ればよく、簡単かつ自然なインターフェースによって車載機器の制御を行うことができる。運転中には、車載機器の制御を行うか否かドライバが即断できない場合もあると考えられる。本発明では、迷いのリアクションを検出した場合には、車載機器の制御を行うべきか否かの決定を支援する第2のメッセージを出力するので、ドライバは、車載機器を制御するか否かを判断しやすくなる。また、本発明では、第1のメッセージを出力した後の一定の期間に肯定、否定または迷いのいずれのリアクションも検出されない場合には、第1のメッセージを再度出力する。このように、制御を行なうか否か迷っている場合とメッセージを聞いていなかった場合とで処理を分けることにより、きめ細かい制御が可能となる。
本発明の車載機器制御装置は、前記第2のメッセージとして、前記第1のメッセージの問合せに係る制御より影響の小さい制御を行うか否かを問い合わせるメッセージを用いてもよい。
ドライバが制御を行なうか否か迷う場合には、現状を維持するか、何らかの影響のある制御を行うかの間でどちらがよいか決めかねていると考えられる。この場合に、第1のメッセージに係る制御より影響の小さい制御、すなわち、現状維持と第1のメッセージに係る制御との中間の制御を行なうか否かの問合せを第2のメッセージとして出力する。これにより、「迷う」というリアクションに隠された真の要求に応じた問合せを行い、ドライバは制御を行なうか否かを決定しやすくなる。ここで、メッセージの一例を示すと、第1のメッセージとして「エアコンの温度を上げますか?」という問合せを行ったのに対し、迷いのリアクションを検出した場合には、「エアコンの温度を少し上げますか?」という第2のメッセージを出力する。
本発明の車載機器制御装置は、前記第2のメッセージとして、前記車載機器の現在のステータスを示す情報を含むメッセージを用いてもよい。
現在のステータスを第2のメッセージとして出力することにより、車載機器の現在のステータスを判断材料として車載機器の制御を行なうか否かを判断することができる。例えば、第1のメッセージとして「エアコンの温度を上げますか?」という問合せを行ったのに対し、迷いのリアクションを検出した場合には、「現在24℃ですが、エアコンの温度を上げますか?」という第2のメッセージを出力する。
本発明の車載機器制御装置は、前記第2のメッセージとして、レコメンデーションの情報を含むメッセージを用いてもよい。
ドライバが制御を行なうか否か迷う場合には、制御を行っても行わなくてもどちらでもよい場合があるが、本発明の構成によればレコメンデーション情報を出力するので、ドライバはレコメンデーション情報に従って判断することができる。例えば、第1のメッセージとして「エアコンを内気空調に切り替えますか?」という問合せを行ったのに対し、迷いのリアクションを検出した場合に、「まもなくトンネルがありますので内気空調がオススメです。切り替えますか?」という第2のメッセージを出力する。
本発明の車載機器制御装置は、前記カメラにて撮影した映像からドライバの視線を検出する視線検出部と、前記視線検出部にて検出した視線に基づいて、ドライバが見た車載機器を特定する車載機器特定部とを備え、前記メッセージ出力部は、前記車載機器特定部にて特定された車載機器の制御を行うか否かを問い合せる第1のメッセージを出力してもよい。
このようにドライバの視線に基づいて制御を行なうか否かの問合せを行う対象の車載機器を決定するので、ハンドルから手を離さずに、所望の車載機器の制御を行なうことができる。
本発明の車載機器制御装置において、前記メッセージ出力部は、前記カメラにて撮影した映像に基づいてドライバが車両前方を向いているか否かを判断し、ドライバが車両前方を向いているときに、前記第1のメッセージまたは前記第2のメッセージを出力してもよい。
ドライバが車両の前方を向いているときにメッセージを出力することにより、ドライバのリアクションを適切に検出することができる。
本発明の車載機器制御装置は、車両の走行状態に基づいてドライバのワークロードを算出するワークロード算出部を備え、前記メッセージ出力部は、前記ワークロード算出部にて算出されたワークロードがあらかじめ定められた閾値より小さい場合に、前記第1のメッセージまたは前記第2のメッセージを出力してもよい。
このようにドライバのワークロードが小さいときにメッセージを出力することにより、ドライバは適切にリアクションをとることができる。ワークロード算出部は、例えば、車速、ウィンカーのオン/オフを示すデータ、または、ナビゲーション装置により検知した車両の現在位置等に基づいてワークロードを計算することとしてもよい。
本発明の車載機器制御装置は、前記リアクションパターン記憶部には、ドライバを特定する識別子に関連付けて、そのドライバのリアクションパターンのデータが記憶されており、ドライバを識別するドライバ識別部を有し、前記リアクション検出部は、前記ドライバ識別部にて求めたドライバに対応するリアクションパターンのデータを読み出し、読み出したリアクションパターンのデータを用いてドライバのリアクションを検出してもよい。
この構成により、ドライバに対応した異なるリアクションパターンを用いてリアクションを検出するので、精度良くリアクションを検出することができる。なお、ドライバ識別部は、例えば、カメラにて撮影したドライバの顔の映像に対して認証処理を行うことによってドライバを特定してもよい。また、運転時のシートの調整位置によってドライバを識別することとしてもよい。
本発明の車載機器制御装置は、前記カメラにて撮影したドライバのリアクションの映像を用いて、前記リアクションパターン記憶部に記憶されたリアクションパターンの学習を行なうリアクション学習部を備えてもよい。
この構成により、ドライバに対応したリアクションパターンを適切に生成することができる。
本発明の車載機器制御方法は、車載機器に制御信号を送信して車載機器の制御を行う方法であって、車載機器の制御を行うか否かを問い合わせる第1のメッセージ、および、車載機器の制御を行うべきか否かの決定を支援する第2のメッセージを記憶したメッセージ記憶部を準備するステップと、ドライバをカメラで撮影するステップと、前記メッセージ記憶部から第1のメッセージを読み出し、読み出した第1のメッセージを出力する第1メッセージ出力ステップと、前記第1メッセージ出力ステップにて第1のメッセージを出力した後の一定の期間に撮影された映像を解析し、ドライバの顔が縦に動く肯定のリアクション、またはドライバの顔が横に動く否定のリアクションを検出するリアクション検出ステップと、前記リアクション検出ステップにて肯定のリアクションを検出したときに、その車載機器に対して問合せに係る制御の実行を指示する制御信号を送信する制御信号送信ステップと、前記リアクション検出ステップにて肯定のリアクションおよび否定のリアクションのいずれも検出されなかったときに、前記メッセージ記憶部から前記第2のメッセージを読み出し、読み出した第2のメッセージを出力する第2メッセージ出力ステップとを備える。
この構成により、上記した車載機器制御装置と同様に、簡単かつ自然なインターフェースによって車載機器の制御を行うことができる。また、ドライバのリアクションが検出されないときには、車載機器の制御を行うべきか否かの決定を支援する第2のメッセージを出力するので、ドライバは、車載機器を制御するか否かを判断しやすくなる。なお、上記した車載機器制御装置の発明の各種の構成を本発明の車載機器制御方法に適用することが可能である。
本発明のプログラムは、車載機器に制御信号を送信して車載機器の制御を行うためのプログラムであって、コンピュータに、メッセージを記憶した記憶部から車載機器の制御を行うか否かを問い合わせる第1のメッセージを読み出し、読み出した第1のメッセージを出力する第1メッセージ出力ステップと、前記第1メッセージ出力ステップにて第1のメッセージを出力した後の一定の期間にカメラにて撮影されたドライバの映像を解析し、ドライバの顔が縦に動く肯定のリアクション、またはドライバの顔が横に動く否定のリアクションを検出するリアクション検出ステップと、前記リアクション検出ステップにて肯定のリアクションを検出したときに、その車載機器に対して問合せに係る制御の実行を指示する制御信号を送信する制御信号送信ステップと、前記リアクション検出ステップにて肯定のリアクションおよび否定のリアクションのいずれも検出されなかったときに、前記記憶部から車載機器の制御を行うべきか否かの決定を支援する第2のメッセージを読み出し、読み出した第2のメッセージを出力する第2メッセージ出力ステップとを実行させる。
この構成により、上記した車載機器制御装置と同様に、簡単かつ自然なインターフェースによって車載機器の制御を行うことができる。また、ドライバのリアクションが検出されないときには、車載機器の制御を行うべきか否かの決定を支援する第2のメッセージを出力するので、ドライバは、車載機器を制御するか否かを判断しやすくなる。なお、上記した車載機器制御装置の発明の各種の構成を本発明のプログラムに適用することが可能である。
本発明によれば、頷き又は首振りというリアクションに基づいて車載機器への制御を行うか否かを決定するので、簡単かつ自然なインターフェースによって車載機器の制御を行うことができるとともに、ドライバのリアクションが検出されないときには、車載機器の制御を行うべきか否かの決定を支援するメッセージを出力することにより、ドライバの判断を助けることができる。
以下、本発明の実施の形態の車載機器制御装置の構成について説明する。
(第1の実施の形態)
図1は、第1の実施の形態の車載機器制御装置1の構成を示す図である。第1の実施の形態の車載機器制御装置1は、ナビゲーション装置42、オーディオ44、エアコン46、電話46等の車載機器40に接続されている。車載機器制御装置1は、車載機器40に制御信号を送信し、車載機器40の制御を行なう。
(第1の実施の形態)
図1は、第1の実施の形態の車載機器制御装置1の構成を示す図である。第1の実施の形態の車載機器制御装置1は、ナビゲーション装置42、オーディオ44、エアコン46、電話46等の車載機器40に接続されている。車載機器制御装置1は、車載機器40に制御信号を送信し、車載機器40の制御を行なう。
車載機器制御装置1は、ドライバを撮影するカメラ10と、カメラ10にて撮影した映像に基づいて車載機器40を制御するか否かの判断処理等を行なう制御部12と、音声メッセージのデータを記憶したメッセージ記憶部28と、音声メッセージを出力するスピーカ30と、車載機器40に対して制御信号を送信する制御信号送信部26とを有している。
制御部12は、視線検出部14と、車載機器特定部16と、ドライバ識別部18と、リアクション検出部20と、リアクション学習部22と、メッセージ出力部24と、制御信号送信部26とを有している。制御部12が有するこれらの機能は、図示しないROM等に記憶されたプログラムを実行することによって実現される。制御部12の機能を実現するプログラムも本発明の範囲に含まれる。
視線検出部14は、カメラ10にて撮影した映像からドライバの頭部の位置およびドライバの眼球の動きを検出してドライバの視線を検出する。
車載機器特定部16は、視線検出部14にて求めたドライバの視線上にある車載機器40を求め、求めた車載機器40をドライバが見た車載機器40として特定する。なお、車載機器特定部16は、ドライバの視線が車載機器40に向けられた時間が一定時間以上であるとき、あるいはドライバの視線が車載機器40に向けられた回数が所定の回数以上であるときに車載機器40を特定する構成としてもよい。これにより、たまたま車載機器40の方向に視線が向けられた場合に、その車載機器40をドライバが制御を望んでいる車載機器として特定しないようにし、ドライバの意図にそぐわない問合せの動作を回避できる。
ドライバ識別部18は、車両を運転しているドライバを識別する機能を有する。ドライバ識別部18は、カメラ10にて撮影されたドライバの顔画像を予め登録されたドライバの基準画像と比較してドライバを特定する。なお、ドライバを識別する手法は、カメラ10の映像を使う方法に限られない。例えば、シートの調整量を検知するセンサからシートの調整量を示すデータを取得し、取得したデータとあらかじめ記憶しておいた各ドライバ特有のシートの調整量とに基づいて、ドライバを特定してもよい。また、ドライバを特定するIDの入力を受け付け、入力されたIDにてドライバを特定してもよい。
リアクション検出部20は、ドライバの顔の動きとリアクションパターン記憶部32に記憶されたリアクションパターンとを比較してドライバのリアクションを求める。
図2は、リアクションパターン記憶部32に記憶されたリアクションパターンの例を示す図である。リアクションパターン記憶部32には、肯定のリアクションパターン、否定のリアクションパターン、迷いのリアクションパターンを記憶している。リアクションパターンは、縦方向(図3(a)参照)、横方向(図3(b)参照)、傾き方向(図3(c)参照)への顔および頭部の振り角の変位によって規定したパターンである。
図2を参照して具体例について説明する前に、本実施の形態における振り角の求め方について説明する。本実施の形態では、画像中に含まれる顔部品(目、鼻、口等)の位置の動きに基づいて顔および頭部の振り角を求める。また、本実施の形態では、リアクションの検出精度を高めるために、顔部品から求めた振り角を時間方向に加重平均することによってノイズを低減する処理を行う。具体的には、一定範囲内の過去における振り角の値D(t−n)から現時点の振り角の値D(t)までの値の加重平均値Dav(t)を求める。具体的には、例えば、下記の式(1)に示すように、新しいデータの重みを古いデータより重くして重み付けを行うことにより、加重平均値Dav(t)を求める。
Dav(t)=(k1×D(t−n)+k2×D(t−n+1)+・・・+kn×D(t))/n (ただし、k1<k2<・・・<kn) ・・・(1)
Dav(t)=(k1×D(t−n)+k2×D(t−n+1)+・・・+kn×D(t))/n (ただし、k1<k2<・・・<kn) ・・・(1)
図2に示すように、肯定のリアクションパターンは、顔・頭部は一定時間内(この例では1秒間)に下方向に向いてから上方向に戻り、かつ、横方向と傾き方向に大きい変化がない。否定のリアクションパターンは、顔・頭部は一定時間内(この例では1秒間)に左(又は右)方向に向いてから右(又は左)方向に戻り、かつ、縦方向と傾き方向に大きい変化がない。迷いのリアクションパターンは、縦方向および横方向の動きが小さく、ゆっくりであり、かつ、傾き方向に有意の動きを有している。
なお、リアクションパターンには、個人差がある。図2では、肯定、否定、迷いのリアクションパターンを一つずつしか示していないが、リアクションパターン記憶部32は、各ドライバに対応したリアクションパターンを記憶している。ドライバごとのリアクションパターンは、例えば、以下のようにして生成する。まず、リアクションパターン記憶部32に、初期パターンとして肯定、否定、迷いの一般的なリアクションパターンを登録しておく。リアクション学習部22が、各ドライバの肯定、否定、迷いのリアクションを教師信号として初期パターンから学習を行なうことによって、各ドライバに対応したリアクションパターンを生成する。
次に、リアクション検出部20が行なう処理について説明する。リアクション検出部20は、ドライバ識別部18にて求めたドライバの識別データに対応するリアクションパターンをリアクションパターン記憶部32から読み出す。次に、リアクション検出部20は、カメラ10にて撮影したドライバの顔および頭部の縦、横、傾き方向の振り角の変位が読み出したリアクションパターンに対応するか否かを判断する。ここで、ドライバの顔のおよび頭部の縦、横、傾き方向の振り角の変位がリアクションパターンに対応するとは、両者が完全に一致することを意味するのではなく、両者の類似度が所定の閾値より高いことを意味する。
類似度は、例えば、差分絶対値和の大きさによって定量化することができる。すなわち、顔および頭部方向の移動ベクトルパターンとリアクションパターン記憶部32との差分(傾きと角度)を求め、差分によって類似度を表わす。差分が小さいほど、類似度は高くなる。また、差分絶対値和を求める方法のほかにも、DP法を用いて類似度を求めることも可能である。DP法は、音声や文字(サイン)などの認証技術として知られている方法である。リアクション検出部20は、リアクションパターン記憶部32に記憶されたパターンとのマッチングにより、肯定のリアクション、否定のリアクション、迷いのリアクションの3種類のリアクションを検出することができる。
メッセージ出力部24は、車載機器40の制御を行なうか否かを問い合わせるためのメッセージをメッセージ記憶部28から読み出し、読み出したメッセージをスピーカ30から出力する。
図4は、メッセージ記憶部28に記憶されたメッセージの例を示す図である。メッセージ記憶部28には、車載機器、ステータス、出力順序、メッセージID、メッセージ内容のデータが記憶されている。車載機器、ステータスは、出力すべきメッセージを選択するための条件であり、出力順序は一の条件に該当する複数のメッセージの候補がある場合のメッセージ出力の順序である。メッセージIDは、メッセージ内容を特定する識別子であり、メッセージIDとメッセージ内容とは対応している。
図4に示す例では、例えば、制御対象の車載機器がエアコン、ステータスが「電源:オン、設定温度:23℃以下」である場合には、最初に出力するメッセージがメッセージA001、2番目に出力するメッセージがメッセージA002である。ここで、出力順序は、請求項に記載した第1のメッセージと第2のメッセージとを規定する情報である。この例では、メッセージA001が第1のメッセージ、メッセージA002が第2のメッセージである。
本実施の形態においては、第1のメッセージと第2のメッセージは、同種の制御内容に関するメッセージである。ただし、第2のメッセージの制御内容は、第1のメッセージの制御内容より、制御による影響が小さい。すなわち、第2のメッセージに係る制御内容によって実現される状態は、第1のメッセージの制御内容によって実現される内容より、現在のステータスに近い状態である。図4に示す例では、メッセージA001は、「温度を上げますか?」という問合せメッセージであり、メッセージA002は、「温度を少し上げますか?」という問合せメッセージである。メッセージA001より、メッセージA002の方が、制御を行ったときの影響が小さい。
メッセージ出力部24は、車載機器特定部16にて特定された車載機器40、車載機器40のステータス、およびドライバのリアクションに応じて、メッセージ記憶部28からメッセージを読み出し、読み出したメッセージをスピーカ30に渡す。スピーカ30は、渡されたメッセージのデータを音声として出力する。
制御信号送信部26は、リアクション検出部20にて肯定のリアクションが検出された場合に、メッセージ出力部24にて出力したメッセージに係る制御を行なうように車載機器40に指示する制御信号を生成する。制御信号生成部26は、生成した制御信号を通信インターフェース34を通じて該当の車載機器40に送信する。
図5は、第1の実施の形態の車載機器制御装置1の動作を示すフローチャートである。図5を参照して、車載機器制御装置1の動作について説明する。
車載機器制御装置1は、まず、ドライバ識別部18にてドライバを識別する(S10)。具体的には、ドライバ識別部18は、カメラ10にてドライバを撮影し、撮影したドライバの顔画像とあらかじめ記憶しているドライバの基準画像とのマッチングを行なことにより、ドライバを識別する。この処理は、リアクション検出部20にて用いるリアクションパターンを決定するための準備である。
車載機器制御装置1は、カメラ10にて撮影したドライバの映像からドライバの視線を検出し(S12)、ドライバの視線上にある車載機器40を特定する(S14)。次に、車載機器制御装置1は、車載機器40のステータスを取得する(S16)。車載機器制御装置1は、車載機器40とそのステータスに対応するメッセージ(第1のメッセージ)を、メッセージ記憶部28から読み出し、読み出したメッセージを音声出力する(S18)。例えば、車載機器特定部16にてエアコン46が特定され、その時点でエアコン46の電源がオンされていて設定温度が23℃の場合には、図4に示すメッセージ記憶部28からメッセージA001を読み出して出力する。
なお、車載機器制御装置1は、ドライバが車両前方を見ているタイミングに問合せメッセージを音声出力することが安全運転の観点から望ましい。従って、メッセージ制御部12は、カメラ10の映像を監視して、ドライバが車両前方を見ているタイミングでメッセージデータをスピーカ30に送信する。
続いて、車載機器制御装置1は、メッセージを音声出力した後のドライバのリアクションを検出する(S20)。具体的には、メッセージを出力した後の一定の期間(例えば、5秒間)にわたって撮影されたドライバの映像と、ドライバ識別部18にて求めたドライバに対応するリアクションパターンとを比較し、撮影されたドライバの映像が肯定、否定、迷いのいずれかのリアクションパターンに対応するか否かを判定する。
車載機器制御装置1は、リアクション検出部20にてリアクションが検出されたか否かを判定する(S22)。リアクションが検出されなかった場合(S22でNO)、車載機器制御装置1は、再度、同じメッセージを送信し(S24)、その後、ドライバのリアクションを検出する処理に戻る(S20)。
リアクションが検出された場合(S22でYES)、車載機器制御装置1は、リアクションの種類を判定する(S26)。検出されたリアクションが否定のリアクションであった場合、車載機器制御装置1は、車載機器40の制御を行なわないで処理を終了する。検出されたリアクションが肯定のリアクションであった場合、車載機器制御装置1は、出力したメッセージに対応する制御を行なうように指示する制御信号を車載機器40に送信する(S28)。
検出されたリアクションが迷いのリアクションであった場合、車載機器制御装置1は、第2のメッセージを出力済みであるか否かを判定する(S30)。第2のメッセージを出力済みである場合には(S30でYES)、ドライバのリアクションを検出する処理に戻る(S20)。第2のメッセージをまだ出力していない場合には(S30でNO)、第2のメッセージを音声出力し(S32)、その後に、ドライバのリアクションを検出する処理に戻る(S20)。以上、第1の実施の形態の車載機器制御装置1の構成および動作について説明した。
車載機器制御装置1は、車載機器40を制御するか否かを問い合わせるメッセージを音声出力し、この問合せに対する応答を、頷きまたは首振りの動作によって受け付けるので、ドライバはハンドルから手を離さずに、前方を向いたまま車載機器40を制御することができる。また、ドライバを撮影した映像からリアクションを検出するので、雑音があっても、ドライバの応答を適切に検出できる。
車載機器制御装置1は、迷いのリアクションを検出した場合には、第1のメッセージの問合せに係る制御より影響の小さい制御を行うか否かを問い合わせる第2のメッセージを音声出力する。車載機器40の制御を行なうか否か迷っている状態は、現状を維持するか、何らかの影響のある制御を行うかのどちらがよいか決めかねていると考えられる。従って、第1のメッセージに係る制御より影響の小さい制御、すなわち、現状維持と第1のメッセージに係る制御との中間の制御を行なうか否かを問い合わせるメッセージは、「迷い」というリアクションに隠された真の要求に対応すると考えられる。このような第2のメッセージを出力することにより、ドライバは制御を行なうか否かを決定しやすくなる。
車載機器制御装置1は、メッセージに対するドライバのリアクションがなかった場合には、同じメッセージを出力するので(S24)、ドライバがメッセージを聞いていなかった場合に、車載機器40を制御するか否かを、再度問い合せることができる。なお、リアクションがなかった場合に同じメッセージを出力する回数に上限を設けてもよい。これにより、運転に集中しているときに、何度も同じメッセージが繰り返し出力されることを防止できる。
(第2の実施の形態)
次に、本発明の第2の実施の形態の車載機器制御装置について説明する。第2の実施の形態の車載機器制御装置の基本的な構成および動作は、第1の実施の形態の車載機器制御装置1(図1、図5参照)と同じであるが、第2の実施の形態の車載機器制御装置では、メッセージ記憶部28に記憶されたメッセージが第1の実施の形態とは異なる。
次に、本発明の第2の実施の形態の車載機器制御装置について説明する。第2の実施の形態の車載機器制御装置の基本的な構成および動作は、第1の実施の形態の車載機器制御装置1(図1、図5参照)と同じであるが、第2の実施の形態の車載機器制御装置では、メッセージ記憶部28に記憶されたメッセージが第1の実施の形態とは異なる。
図6は、第2の実施の形態の車載機器制御装置のメッセージ記憶部28に記憶されたメッセージの例を示す図である。第2の実施の形態では、第2のメッセージとして、車載機器の現在のステータスを示す情報を含むメッセージが記憶されている。例えば、メッセージA002は「現在○○度ですが、温度を上げますか?」であり、第1のメッセージA001に対して現在の設定温度を示す情報が付加されている。
第2の実施の形態では、リアクション検出部20にて迷いのリアクションを検出したときに、第2のメッセージとして、現在のステータスを示す情報を含むメッセージを出力することにより、ドライバは現在のステータスを判断材料として車載機器を制御するか否かを判断することができる。
(第3の実施の形態)
次に、本発明の第3の実施の形態の車載機器制御装置について説明する。第3の実施の形態の車載機器制御装置の基本的な構成および動作は、第1の実施の形態の車載機器制御装置1(図1、図5参照)と同じであるが、第3の実施の形態の車載機器制御装置では、メッセージ記憶部28に記憶されたメッセージが第1の実施の形態とは異なる。
次に、本発明の第3の実施の形態の車載機器制御装置について説明する。第3の実施の形態の車載機器制御装置の基本的な構成および動作は、第1の実施の形態の車載機器制御装置1(図1、図5参照)と同じであるが、第3の実施の形態の車載機器制御装置では、メッセージ記憶部28に記憶されたメッセージが第1の実施の形態とは異なる。
図7は、第3の実施の形態の車載機器制御装置のメッセージ記憶部28に記憶されたメッセージの例を示す図である。第3の実施の形態では、一つの条件に関連付けて3つのメッセージが記憶されている。一例を示すと、例えば、制御対象の車載機器がエアコン、ステータスが「電源:オン、設定温度:23℃以下」である場合には、最初に出力するメッセージがメッセージA001、2番目に出力するメッセージがメッセージA002、3番目に出力するメッセージがメッセージA003である。メッセージA002は、車載機器の現在のステータスを示す情報を含むメッセージであり、メッセージA003は、第1のメッセージの問合せに係る制御より影響の小さい制御を行うか否かを問い合わせるメッセージである。
第3の実施の形態では、リアクション検出部20にて迷いのリアクションを検出したときに、第2のメッセージとして、現在のステータスを示す情報を含むメッセージを出力することにより、ドライバは現在のステータスを判断材料として車載機器を制御するか否かを判断することができる。第2のメッセージに対して、さらに迷いのリアクションパターンを検出した場合には、第1のメッセージの問合せに係る制御より影響の小さい制御を行うか否かを問い合わせる第3のメッセージを音声出力する。これにより、ドライバは制御を行なうか否かを決定しやすくなる。なお、本実施の形態では、一つの条件に関連付けて3つのメッセージを記憶し、迷いのリアクションパターンの検出に応じて順次出力する例について説明したが、メッセージ数は3つに限られず、4つ以上であってもよい。
(第4の実施の形態)
図8は、第4の実施の形態の車載機器制御装置4の構成を示す図である。第4の実施の形態の車載機器制御装置4は、第1〜第3の実施の形態の車載機器制御装置より簡単な構成により、車載機器の制御を行なう構成を有している。第4の実施の形態の車載機器制御装置4は、リアクションパターン記憶部を有していない。リアクション検出部20は、カメラ10の映像を解析し、ドライバの顔の重心あるいは顔部品(目、鼻、口等)が縦に動いている場合には肯定のリアクションを検出し、顔の重心あるいは顔部品が横に動いている場合には否定のリアクションを検出する。
図8は、第4の実施の形態の車載機器制御装置4の構成を示す図である。第4の実施の形態の車載機器制御装置4は、第1〜第3の実施の形態の車載機器制御装置より簡単な構成により、車載機器の制御を行なう構成を有している。第4の実施の形態の車載機器制御装置4は、リアクションパターン記憶部を有していない。リアクション検出部20は、カメラ10の映像を解析し、ドライバの顔の重心あるいは顔部品(目、鼻、口等)が縦に動いている場合には肯定のリアクションを検出し、顔の重心あるいは顔部品が横に動いている場合には否定のリアクションを検出する。
図9は、第4の実施の形態の車載機器制御装置4の動作を示す図である。第4の実施の形態の車載機器制御装置4の基本的な動作は、第1の実施の形態の車載機器制御装置1の動作(図5参照)と同じである。第4の実施の形態の車載機器制御装置4は、リアクション検出部20にてリアクションを検出しなかった場合に(S22でNO)、第2のメッセージを出力済みか否か判定し(S30)、出力済みでない場合には(S30でNO)、第2のメッセージを音声出力し(S32)、リアクションを検出する処理に戻る(S20)。第2のメッセージが出力済みの場合には(S30でYES)、リアクションを検出する処理に戻る(S20)。以上、第4の実施の形態の車載機器制御装置4の構成および動作について説明した。
第4の実施の形態の車載機器制御装置4は、第1のメッセージに対してドライバのリアクションを検出しなかった場合(S22でNO)、車載機器の制御を行うべきか否かの決定を支援する第2のメッセージを出力するので(S32)、ドライバは制御を行なうか否かを決定することができる。
なお、第4の実施の形態では、第1の実施の形態と異なり、ドライバが迷っている状態と、ドライバがメッセージを聞いていなかった状態との切り分けをしておらず、リアクションがない場合には第2のメッセージを出力する構成を採用している。ドライバが迷っているために肯定または否定のリアクションがない場合には、第2のメッセージを出力することにより、ドライバは制御を行なうか否かを決定しやすくなることは上述のとおりである。ドライバが第1のメッセージを聞いていなかったために肯定または否定のリアクションがない場合には、ドライバが第2のメッセージに初めて気がついたとしても、第2のメッセージの問い合わせ内容を理解でき、リアクションをとることができるので、不都合は生じない。
(第5の実施の形態)
図10は、第5の実施の形態の車載機器制御装置5の構成を示す図である。第5の実施の形態の車載機器制御装置5の基本的な構成は、第1の実施の形態の車載機器制御装置1と同じであるが、第5の実施の形態では、ドライバのワークロードを算出するワークロード算出部36を備えている点が異なる。また、第5の実施の形態では、メッセージ出力部24は、ワークロード算出部36にて算出したドライバのワークロードがあらかじめ定められた閾値より小さい場合にメッセージを出力する。ワークロードが閾値以上の場合には、メッセージ出力部24は、メッセージの出力を保留し、ワークロードが閾値より小さくなるまで待つ。なお、メッセージを保留する最大時間をあらかじめ設定しておき、この最大時間を経過した場合には、メッセージ出力をキャンセルすることとしてもよい。
図10は、第5の実施の形態の車載機器制御装置5の構成を示す図である。第5の実施の形態の車載機器制御装置5の基本的な構成は、第1の実施の形態の車載機器制御装置1と同じであるが、第5の実施の形態では、ドライバのワークロードを算出するワークロード算出部36を備えている点が異なる。また、第5の実施の形態では、メッセージ出力部24は、ワークロード算出部36にて算出したドライバのワークロードがあらかじめ定められた閾値より小さい場合にメッセージを出力する。ワークロードが閾値以上の場合には、メッセージ出力部24は、メッセージの出力を保留し、ワークロードが閾値より小さくなるまで待つ。なお、メッセージを保留する最大時間をあらかじめ設定しておき、この最大時間を経過した場合には、メッセージ出力をキャンセルすることとしてもよい。
ワークロード算出部36は、通信インターフェース34を通じて、車載機器制御装置5に接続された車載機器40からのデータを取得する。ワークロード算出部36は、車載機器40の動作状態から車両の走行状態を推定し、ドライバのワークロードを算出する。例えば、車速が0(すなわち停止中)で、右のウィンカーがオンされている場合には、ドライバは右折待ちで、対向車の流れが途切れるのを待っていると考えられるので、ワークロードが大きいと判断する。ここで、ワークロードを定量化する算式は、設計により適宜決定することができる。
第5の実施の形態の車載機器制御装置5の基本的な動作は、上記した第1の実施の形態の車載機器制御装置1と同じである。車載機器制御装置5は、ワークロード算出部36にて算出したワークロードの値が閾値より小さいタイミングでメッセージを出力する点が第1の実施の形態と異なる。つまり、メッセージ出力部24は、メッセージ記憶部28から読み出したメッセージを無条件で出力するのではなく、ワークロードが閾値以下になるまで待って出力する。以上、第5の実施の形態の車載機器制御装置5の構成および動作について、第1の実施の形態との相違点を中心に説明した。
第5の実施の形態の車載機器制御装置5は、ドライバのワークロードが小さいタイミングでメッセージを出力するので、ドライバから適切なリアクションを得られる。また、ワークロードが高いときにはメッセージを出力しないので、ドライバが運転に手いっぱいの状態のときにメッセージによって集中力を削いでしまうという危険な事態を引き起こすことがない。
以上、本発明の車載機器制御装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
上記した実施の形態においては、リアクション検出部20にて否定のリアクションを検出した場合には、車載機器40の制御を行なわないで動作を終了する例について説明したが、否定のリアクションを検出した場合に、同じ車載機器に対する別の制御についての問い合わせメッセージを出力することとしてもよい。例えば、「温度を上げますか?」というメッセージに対して否定のリアクションが検出された場合に、「風量を上げますか?」という風量に関するメッセージを出力してもよい。
上記した実施の形態において、リアクション検出部20は、音声メッセージを出力した後の一定の期間の映像からリアクションを検出する処理を行なっているが、この一定の期間はドライバごとに変えてもよい。判断の早いドライバとそうでないドライバがいるので、ドライバの過去のリアクションまでに要した時間に基づいて、リアクションを検出するための期間を調節してもよい。
上記した実施の形態では、視線検出部14にて検出した視線に基づいてドライバが見た車載機器40を特定し、その車載機器の制御を行なうか否かの問い合わせを行なう例について説明したが、車載機器40の制御の問い合わせを行なうトリガは、ドライバが車載機器40を見たことに限定されない。例えば、曇りの日などに一定の閾値より暗いことを検出した場合に、「ライトを点灯しますか?」という問合せメッセージを出力してもよい。また、例えば、ナビゲーションの情報に基づいてトンネルが近いことを検出した場合に、「エアコンを内気空調に切替えますか?」という問合せメッセージを出力してもよい。なお、ドライバが問合せメッセージに対して車載機器の制御を行なうか否か迷っているときには、「ライトを点灯するのがオススメですが、点灯しますか?」等というように、レコメンデーションの情報を付加した第2のメッセージを出力してもよいし、さらに、「トンネル内では内気空調がオススメですが、切替えますか?」等というようにレコメンデーションの情報とその理由を付加した第2のメッセージを出力してもよい。
上記した実施の形態では、一般的なリアクションパターンから学習を行なうことによってドライバに対応するリアクションパターンを生成する例について説明したが、ドライバごとのリアクションパターンを最初に登録する構成を採用してもよい。例えば、初期設定時に、ドライバに対して、肯定、否定、迷いのリアクションをとるように指示し、そのリアクションをカメラ10にて撮影し、得られた映像を分析してリアクションパターンを求める。また、ドライバに対して明示的にリアクションをとるように指示する方法のほかに、肯定または否定することが予想される質問メッセージをドライバに投げかけ、そのリアクションを分析してリアクションパターンを求めてもよい。例えば、晴れの日に「今日は良いお天気ですね?」という質問メッセージを出力し、そのリアクションを肯定のリアクションとして登録してもよい。
以上説明したように、本発明によれば、簡単かつ自然なインターフェースによって車載機器の制御を行うことができるという効果を有し、車載機器の制御を行なう車載機器制御装置等として有用である。
1,4,5 車載機器制御装置
10 カメラ
12 制御部
14 視線検出部
16 車載機器特定部
18 ドライバ識別部
20 リアクション検出部
22 リアクション学習部
24 メッセージ出力部
26 制御信号送信部
28 メッセージ記憶部
30 スピーカ
32 リアクションパターン記憶部
34 通信インターフェース
36 ワークロード算出部
40 車載機器
42 ナビゲーション装置
44 オーディオ
46 エアコン
48 電話
50 ウィンカー
52 車速センサ
10 カメラ
12 制御部
14 視線検出部
16 車載機器特定部
18 ドライバ識別部
20 リアクション検出部
22 リアクション学習部
24 メッセージ出力部
26 制御信号送信部
28 メッセージ記憶部
30 スピーカ
32 リアクションパターン記憶部
34 通信インターフェース
36 ワークロード算出部
40 車載機器
42 ナビゲーション装置
44 オーディオ
46 エアコン
48 電話
50 ウィンカー
52 車速センサ
Claims (12)
- 車載機器に制御信号を送信して車載機器の制御を行う車載機器制御装置であって、
ドライバを撮影するカメラと、
車載機器の制御を行うか否かを問い合わせる第1のメッセージ、および、車載機器の制御を行うべきか否かの決定を支援する第2のメッセージを記憶したメッセージ記憶部と、
前記メッセージ記憶部から第1のメッセージを読み出し、読み出した第1のメッセージを出力するメッセージ出力部と、
前記メッセージ出力部にて第1のメッセージを出力した後の一定の期間における前記カメラの映像を解析し、ドライバの顔が縦に動く肯定のリアクション、またはドライバの顔が横に動く否定のリアクションを検出するリアクション検出部と、
前記リアクション検出部にて肯定のリアクションを検出したときに、その車載機器に対して問合せに係る制御の実行を指示する制御信号を送信する制御信号送信部と、
を備え、
前記メッセージ出力部は、前記リアクション検出部にて、肯定のリアクションおよび否定のリアクションのいずれも検出されなかったときに、前記メッセージ記憶部から前記第2のメッセージを読み出し、読み出した第2のメッセージを出力する車載機器制御装置。 - 車載機器に制御信号を送信して車載機器の制御を行う車載機器制御装置であって、
ドライバを撮影するカメラと、
肯定のリアクション、否定のリアクション、迷いのリアクションのパターンを記憶したリアクションパターン記憶部と、
車載機器の制御を行うか否かを問い合わせる第1のメッセージ、および車載機器の制御を行うべきか否かの決定を支援する第2のメッセージを記憶したメッセージ記憶部と、
前記メッセージ記憶部から第1のメッセージを読み出し、読み出した第1のメッセージを出力するメッセージ出力部と、
前記メッセージ出力部にて第1のメッセージを出力した後の一定の期間における前記カメラの映像と、前記リアクションパターン記憶部に記憶されたリアクションパターンとを比較し、肯定のリアクション、否定のリアクション、または迷いのリアクションを検出するリアクション検出部と、
前記リアクション検出部にて肯定のリアクションを検出したときに、その車載機器に対して問合せに係る制御の実行を指示する制御信号を送信する制御信号送信部と、
を備え、
前記メッセージ出力部は、
前記リアクション検出部にて、迷いのリアクションが検出されたときに、前記メッセージ記憶部から前記第2のメッセージを読み出し、読み出した第2のメッセージを出力し、
前記リアクション検出部にて、肯定のリアクション、否定のリアクション、および迷いのリアクションのいずれも検出されなかったときに、前記第1のメッセージを再度出力する車載機器制御装置。 - 前記第2のメッセージは、前記第1のメッセージの問合せに係る制御より影響の小さい制御を行うか否かを問い合わせるメッセージである請求項1または2に記載の車載機器制御装置。
- 前記第2のメッセージは、前記車載機器の現在のステータスを示す情報を含むメッセージである請求項1または2に記載の車載機器制御装置。
- 前記第2のメッセージは、レコメンデーションの情報を含むメッセージである請求項1または2に記載の車載機器制御装置。
- 前記カメラにて撮影した映像からドライバの視線を検出する視線検出部と、
前記視線検出部にて検出した視線に基づいて、ドライバが見た車載機器を特定する車載機器特定部と、
を備え、
前記メッセージ出力部は、前記車載機器特定部にて特定された車載機器の制御を行うか否かを問い合せる第1のメッセージを出力する請求項1〜5のいずれかに記載の車載機器制御装置。 - 前記メッセージ出力部は、前記カメラにて撮影した映像に基づいてドライバが車両前方を向いているか否かを判断し、ドライバが車両前方を向いているときに、前記第1のメッセージまたは前記第2のメッセージを出力する請求項1〜6のいずれかに記載の車載機器制御装置。
- 車両の走行状態に基づいてドライバのワークロードを算出するワークロード算出部を備え、
前記メッセージ出力部は、前記ワークロード算出部にて算出されたワークロードがあらかじめ定められた閾値より小さい場合に、前記第1のメッセージまたは前記第2のメッセージを出力する請求項1〜7のいずれかに記載の車載機器制御装置。 - 前記リアクションパターン記憶部には、ドライバを特定する識別子に関連付けて、そのドライバのリアクションパターンのデータが記憶されており、
ドライバを識別するドライバ識別部を有し、
前記リアクション検出部は、前記ドライバ識別部にて求めたドライバに対応するリアクションパターンのデータを読み出し、読み出したリアクションパターンのデータを用いてドライバのリアクションを検出する請求項2に記載の車載機器制御装置。 - 前記カメラにて撮影したドライバのリアクションの映像を用いて、前記リアクションパターン記憶部に記憶されたリアクションパターンの学習を行うリアクション学習部を備える請求項2に記載の車載機器制御装置。
- 車載機器に制御信号を送信して車載機器の制御を行う方法であって、
車載機器の制御を行うか否かを問い合わせる第1のメッセージ、および、車載機器の制御を行うべきか否かの決定を支援する第2のメッセージを記憶したメッセージ記憶部を準備するステップと、
ドライバをカメラで撮影するステップと、
前記メッセージ記憶部から第1のメッセージを読み出し、読み出した第1のメッセージを出力する第1メッセージ出力ステップと、
前記第1メッセージ出力ステップにて第1のメッセージを出力した後の一定の期間に撮影された映像を解析し、ドライバの顔が縦に動く肯定のリアクション、またはドライバの顔が横に動く否定のリアクションを検出するリアクション検出ステップと、
前記リアクション検出ステップにて肯定のリアクションを検出したときに、その車載機器に対して問合せに係る制御の実行を指示する制御信号を送信する制御信号送信ステップと、
前記リアクション検出ステップにて肯定のリアクションおよび否定のリアクションのいずれも検出されなかったときに、前記メッセージ記憶部から前記第2のメッセージを読み出し、読み出した第2のメッセージを出力する第2メッセージ出力ステップと、
を備える車載機器制御方法。 - 車載機器に制御信号を送信して車載機器の制御を行うためのプログラムであって、コンピュータに、
メッセージを記憶した記憶部から車載機器の制御を行うか否かを問い合わせる第1のメッセージを読み出し、読み出した第1のメッセージを出力する第1メッセージ出力ステップと、
前記第1メッセージ出力ステップにて第1のメッセージを出力した後の一定の期間にカメラにて撮影されたドライバの映像を解析し、ドライバの顔が縦に動く肯定のリアクション、またはドライバの顔が横に動く否定のリアクションを検出するリアクション検出ステップと、
前記リアクション検出ステップにて肯定のリアクションを検出したときに、その車載機器に対して問合せに係る制御の実行を指示する制御信号を送信する制御信号送信ステップと、
前記リアクション検出ステップにて肯定のリアクションおよび否定のリアクションのいずれも検出されなかったときに、前記記憶部から車載機器の制御を行うべきか否かの決定を支援する第2のメッセージを読み出し、読み出した第2のメッセージを出力する第2メッセージ出力ステップと、
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008170765A JP2010009484A (ja) | 2008-06-30 | 2008-06-30 | 車載機器制御装置および車載機器制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008170765A JP2010009484A (ja) | 2008-06-30 | 2008-06-30 | 車載機器制御装置および車載機器制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010009484A true JP2010009484A (ja) | 2010-01-14 |
Family
ID=41589861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008170765A Pending JP2010009484A (ja) | 2008-06-30 | 2008-06-30 | 車載機器制御装置および車載機器制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010009484A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012117570A1 (ja) * | 2011-03-03 | 2012-09-07 | オムロン株式会社 | ジェスチャ入力装置およびジェスチャ入力装置の制御方法 |
JP2012185833A (ja) * | 2012-04-17 | 2012-09-27 | Omron Corp | ジェスチャ入力装置およびジェスチャ入力装置の制御方法 |
WO2014103217A1 (ja) * | 2012-12-26 | 2014-07-03 | 株式会社デンソー | 操作装置、及び操作検出方法 |
JP2016126791A (ja) * | 2014-12-30 | 2016-07-11 | ビステオン グローバル テクノロジーズ インコーポレイテッド | 感覚フィードバックを備えた追跡のシステム及び方法 |
WO2016151956A1 (ja) * | 2015-03-23 | 2016-09-29 | ソニー株式会社 | 情報処理システムおよび情報処理方法 |
US10156909B2 (en) | 2015-04-17 | 2018-12-18 | Mitsubishi Electric Corporation | Gesture recognition device, gesture recognition method, and information processing device |
JP2019219835A (ja) * | 2018-06-19 | 2019-12-26 | 本田技研工業株式会社 | 制御装置および制御方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62216020A (ja) * | 1986-03-18 | 1987-09-22 | Fujitsu Ltd | メツセ−ジ出力制御方式 |
JPH07239694A (ja) * | 1994-03-02 | 1995-09-12 | Oki Electric Ind Co Ltd | 音声対話装置 |
JP2003114691A (ja) * | 2001-10-03 | 2003-04-18 | Nissan Motor Co Ltd | 車両用テキスト音声合成装置 |
JP2005278011A (ja) * | 2004-03-26 | 2005-10-06 | Murata Mach Ltd | 画像処理装置 |
JP2007094619A (ja) * | 2005-09-28 | 2007-04-12 | Omron Corp | 認識装置および方法、記録媒体、並びに、プログラム。 |
JP2008015942A (ja) * | 2006-07-07 | 2008-01-24 | Sony Computer Entertainment Inc | ユーザインタフェースプログラム、装置および方法、情報処理システム |
JP2008058409A (ja) * | 2006-08-29 | 2008-03-13 | Aisin Aw Co Ltd | 音声認識方法及び音声認識装置 |
-
2008
- 2008-06-30 JP JP2008170765A patent/JP2010009484A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62216020A (ja) * | 1986-03-18 | 1987-09-22 | Fujitsu Ltd | メツセ−ジ出力制御方式 |
JPH07239694A (ja) * | 1994-03-02 | 1995-09-12 | Oki Electric Ind Co Ltd | 音声対話装置 |
JP2003114691A (ja) * | 2001-10-03 | 2003-04-18 | Nissan Motor Co Ltd | 車両用テキスト音声合成装置 |
JP2005278011A (ja) * | 2004-03-26 | 2005-10-06 | Murata Mach Ltd | 画像処理装置 |
JP2007094619A (ja) * | 2005-09-28 | 2007-04-12 | Omron Corp | 認識装置および方法、記録媒体、並びに、プログラム。 |
JP2008015942A (ja) * | 2006-07-07 | 2008-01-24 | Sony Computer Entertainment Inc | ユーザインタフェースプログラム、装置および方法、情報処理システム |
JP2008058409A (ja) * | 2006-08-29 | 2008-03-13 | Aisin Aw Co Ltd | 音声認識方法及び音声認識装置 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012117570A1 (ja) * | 2011-03-03 | 2012-09-07 | オムロン株式会社 | ジェスチャ入力装置およびジェスチャ入力装置の制御方法 |
US9058059B2 (en) | 2011-03-03 | 2015-06-16 | Omron Corporation | Gesture input device and method for controlling gesture input device |
JP2012185833A (ja) * | 2012-04-17 | 2012-09-27 | Omron Corp | ジェスチャ入力装置およびジェスチャ入力装置の制御方法 |
WO2014103217A1 (ja) * | 2012-12-26 | 2014-07-03 | 株式会社デンソー | 操作装置、及び操作検出方法 |
JP2014126997A (ja) * | 2012-12-26 | 2014-07-07 | Denso Corp | 操作装置、及び操作検出方法 |
JP2016126791A (ja) * | 2014-12-30 | 2016-07-11 | ビステオン グローバル テクノロジーズ インコーポレイテッド | 感覚フィードバックを備えた追跡のシステム及び方法 |
WO2016151956A1 (ja) * | 2015-03-23 | 2016-09-29 | ソニー株式会社 | 情報処理システムおよび情報処理方法 |
JPWO2016151956A1 (ja) * | 2015-03-23 | 2018-01-11 | ソニー株式会社 | 情報処理システムおよび情報処理方法 |
US10156909B2 (en) | 2015-04-17 | 2018-12-18 | Mitsubishi Electric Corporation | Gesture recognition device, gesture recognition method, and information processing device |
JP2019219835A (ja) * | 2018-06-19 | 2019-12-26 | 本田技研工業株式会社 | 制御装置および制御方法 |
CN110688885A (zh) * | 2018-06-19 | 2020-01-14 | 本田技研工业株式会社 | 控制装置和控制方法 |
JP7066541B2 (ja) | 2018-06-19 | 2022-05-13 | 本田技研工業株式会社 | 制御装置および制御方法 |
CN110688885B (zh) * | 2018-06-19 | 2022-12-06 | 本田技研工业株式会社 | 控制装置和控制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5061074B2 (ja) | 車載機器制御装置および車載機器制御方法 | |
CN107635844B (zh) | 车辆控制装置、车辆控制方法和存储介质 | |
JP2010009484A (ja) | 車載機器制御装置および車載機器制御方法 | |
US7853051B2 (en) | Recognizing apparatus and method, recording media, and program | |
JP6515764B2 (ja) | 対話装置及び対話方法 | |
CN111295699B (zh) | 辅助方法以及利用该辅助方法的辅助***、辅助装置 | |
JP2008058409A (ja) | 音声認識方法及び音声認識装置 | |
CN106537492B (zh) | 具有用于语音识别的校正策略的机动车操作装置 | |
EP3220372B1 (en) | Wearable device, display control method, and display control program | |
US10994612B2 (en) | Agent system, agent control method, and storage medium | |
JP4894300B2 (ja) | 車載装置調整装置 | |
JP2000193480A (ja) | 車載入出力装置 | |
EP3220373A1 (en) | Wearable device, display control method, and display control program | |
CN110027409B (zh) | 车辆控制装置、车辆控制方法以及计算机可读取记录介质 | |
US20200152203A1 (en) | Agent device, agent presentation method, and storage medium | |
US11450316B2 (en) | Agent device, agent presenting method, and storage medium | |
JP2010127779A (ja) | 情報提供装置、情報提供方法およびプログラム | |
KR20140119961A (ko) | 자동차의 운전자 인식 시스템 및 인식 방법 | |
JP4729522B2 (ja) | ナビゲーション装置、ナビゲーション方法、およびプログラム | |
JP2007045217A (ja) | 車両用電動ミラーの制御システム | |
KR101513540B1 (ko) | 손 제스처 인식에 의한 차량 제어 장치 및 방법 | |
GB2578766A (en) | Apparatus and method for controlling vehicle system operation | |
WO2018163474A1 (ja) | 運転モード切替制御装置、方法及びプログラム | |
CN107548483B (zh) | 控制方法、控制装置、***以及包括这样的控制装置的机动车辆 | |
JP2010195075A (ja) | 操縦支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111122 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120417 |