JP7107157B2 - 操作支援方法及び操作支援装置 - Google Patents
操作支援方法及び操作支援装置 Download PDFInfo
- Publication number
- JP7107157B2 JP7107157B2 JP2018196556A JP2018196556A JP7107157B2 JP 7107157 B2 JP7107157 B2 JP 7107157B2 JP 2018196556 A JP2018196556 A JP 2018196556A JP 2018196556 A JP2018196556 A JP 2018196556A JP 7107157 B2 JP7107157 B2 JP 7107157B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- support
- vehicle
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、操作支援方法及び操作支援装置に関する。
この種の装置に関し、情報端末が備える機能をユーザが利用する場合に、ユーザの操作完了の割合を操作達成率として算出し、操作達成率に基づいて操作支援を提供するシステムが知られている（特許文献１）。
従来の技術では、情報端末が備える機能のみを対象とした操作支援がなされる。しかし、様々な機器を備える車両のように、ユーザが実行しようとする機能の操作対象が特定できない場合には適切な支援情報を提供することが困難になる場合がある。
本発明が解決しようとする課題は、操作の対象が特定されていない場合であっても、適切な操作支援をする操作支援方法及び操作支援装置を提供することである。
本発明は、取得したユーザの動作情報に基づいて、ユーザが実行しようとする機能の操作を推測し、記憶装置に少なくとも一時的に記憶され、機能を実行させるためにユーザが操作指令に要した操作所要時間を含む操作履歴情報を参照し、ユーザごとの操作所要時間に基づいて、推測された操作を支援する支援情報の支援態様を決定し、その支援態様で支援情報を出力させることにより、上記課題を解決する。
本発明によれば、ユーザが実行しようとする機能を推測するので、操作の対象が特定されていない場合であっても、適切な操作支援をすることができる。
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る操作支援方法及び操作支援装置を、車両に搭載された車載装置２００とサーバ３００とともに協動する操作支援システムに適用した場合を例にして説明する。車載装置２００は、車両に搭載された機器(群)である。
図１は、操作支援システム１のブロック構成を示す図である。本実施形態の操作支援システム１は、操作支援装置１００と車載装置２００とサーバ３００とを備える。本発明の操作支援装置１００の実施の形態は限定されず、車両に搭載してもよいし、車載装置２００と情報の授受が可能な可搬の端末装置に適用してもよい。端末装置は、スマートフォン、ＰＤＡなどの機器を含む。操作支援システム１、操作支援装置１００、車載装置２００、及びこれらが備える各装置は、ＣＰＵなどの演算処理装置を備え、演算処理を実行するコンピュータである。
まず、車載装置２００について説明する。
本実施形態の車載装置２００は、各種の車載機器を備える。車載機器は、通信装置２１０と、入出力装置２２０と、検出装置２３０と、車両コントローラ２４０と、自動運転装置２５０と、車載のセンサ２６０と、ナビゲーション装置２７０と、アクセサリ２８０、エアバック装置２９１の少なくとも一つ以上を含む。車載装置２００が備える各車載機器は、相互に情報の授受を行うためにＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続されている。車載装置２００は、車載ＬＡＮを介して操作支援装置１００と情報の授受を行うことができる。
本実施形態の車載装置２００は、各種の車載機器を備える。車載機器は、通信装置２１０と、入出力装置２２０と、検出装置２３０と、車両コントローラ２４０と、自動運転装置２５０と、車載のセンサ２６０と、ナビゲーション装置２７０と、アクセサリ２８０、エアバック装置２９１の少なくとも一つ以上を含む。車載装置２００が備える各車載機器は、相互に情報の授受を行うためにＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続されている。車載装置２００は、車載ＬＡＮを介して操作支援装置１００と情報の授受を行うことができる。
通信装置２１０は、各車載機器間の情報の授受を行う。通信装置２１０は、車載装置２００と操作支援装置１００、サーバ３００との情報の授受を行う。通信装置２１０は、外部のカスタマーサービスセンタへの通信を行う。
入出力装置２２０は、ディスプレイ２２１と、マイク２２２と、スイッチ２２３と、スピーカ２２４、カメラ２２６の内の何れか一つ以上を含む。入出力装置２２０は、ユーザが所望する機能を実行するときの操作対象となる。ディスプレイ２２１は、テキストを含む画像を含む操作支援情報を含む各種情報を提示する。ディスプレイ２２１は、タッチパネル式のディスプレイであり、情報を提示するとともに、ユーザの入力指令を受け付ける。マイク２２２は、ユーザの発話音声を取得する。スイッチ２２３は、ユーザの入力操作を受け付ける。スイッチ２２３は、ＬＥＤなどの発光素子２２５を内蔵させて構成することができる。スイッチ２２３に発光機能を備えさせることにより、スイッチ２２３の所在を発光によりユーザに示すことができる。スピーカ２２４は、操作支援情報を含む各種情報をテキストの発話により出力する。カメラ２２６は、車両の内部及び外部に配置される。カメラ２２６は、例えばＣＣＤ等の撮像素子を備える撮像装置である。カメラ２２６は、赤外線カメラでもよい。カメラ２２６は、ユーザのジェスチャによる入力操作を受け付ける。カメラ２２６は、車両の周囲の対象物を撮像する。対象物は、歩行者、二輪車、四輪車（他車両）などの移動体、ガードレール、中央分離帯、縁石などの道路構造物を含む。これらの情報は自動運転又は運転支援に用いられる。
検出装置２３０は、車両の内外の検出情報を取得する。検出装置２３０は、画像処理装置２３１と、音声処理装置２３２と、ドアセンサ２３３と、着座センサ２３４と、温度計２３５と、位置センサ２３６と、シフトポジションセンサ２３７とのうちの何れか一つ以上を含む。
画像処理装置２３１は、カメラ２２６が撮像した撮像画像を分析する。画像処理装置２３１は、カメラ２２６の配置位置を基準とする撮像エリアの座標を設定する。画像処理装置２３１は、経時的に取得した撮像画像からパターンマッチング技術などを用いてユーザの手部、脚部、若しくは頭部を抽出し、その動きを抽出し、ユーザの手部、脚部、若しくは頭部の動きの位置を算出する。画像処理装置２３１は、経時的に取得した撮像画像からユーザの頭部・顔・目の動きから視線の向きを抽出し、ユーザの視線が向けられた位置及びその推移を算出する。これらの情報は、操作支援装置１００へ送出される。なお、ユーザは、ドライバ、乗員のいずれをも含む。
また、画像処理装置２３１は、車両外部に設けられたカメラ２２６画像データを解析し、その解析結果に基づいて対象物の種別を識別してもよい。画像処理装置２３１は、パターンマッチング技術などを用いて、画像データに含まれる対象物が、車両であるか、歩行者であるか、標識であるか否かを識別する。画像処理装置２３１は、取得した画像データを処理し、車両の周囲に存在する対象物の位置に基づいて、車両から対象物までの距離を取得する。画像処理装置２３１は、車両の周囲に存在する対象物の位置及び時間に基づいて、車両が対象物に到達する時間を取得する。
音声処理装置２３２は、スピーカ２２４が取得した音声データを分析する。音声処理装置２３２は、ユーザ又はユーザ間の発話を分析する。発話内容から単語・フレーズを切り出し、辞書を参照して目的とする単語・フレーズを抽出する音声認識処理は、出願時に知られて手法を用いる。音声処理装置２３２は、ユーザの発話内容をテキストデータとして取得する。音声処理装置２３２は、ユーザ間の会話内容をテキストデータとして取得する。
ドアセンサ２３３は、車両コントローラ２４０からドアが解錠状態であるか、施錠状態であるかの情報を取得する。
着座センサ２３４は、車両のどこにユーザが所在するか、ユーザの数を検出する。
温度計２３５は、車両の車室内の温度及び車両の外部の温度を検出する。
位置センサ２３６は、自車両の現在位置が含まれるエリアの属性を取得する。エリアの属性は、後述するナビゲーション装置２７０から取得する。
シフトポジションセンサ２３７は、車両のシフトポジションの情報を取得する。シフトポジションの情報は車両の運転モードの識別情報、駐車モードであることの識別情報を含む。
画像処理装置２３１は、カメラ２２６が撮像した撮像画像を分析する。画像処理装置２３１は、カメラ２２６の配置位置を基準とする撮像エリアの座標を設定する。画像処理装置２３１は、経時的に取得した撮像画像からパターンマッチング技術などを用いてユーザの手部、脚部、若しくは頭部を抽出し、その動きを抽出し、ユーザの手部、脚部、若しくは頭部の動きの位置を算出する。画像処理装置２３１は、経時的に取得した撮像画像からユーザの頭部・顔・目の動きから視線の向きを抽出し、ユーザの視線が向けられた位置及びその推移を算出する。これらの情報は、操作支援装置１００へ送出される。なお、ユーザは、ドライバ、乗員のいずれをも含む。
また、画像処理装置２３１は、車両外部に設けられたカメラ２２６画像データを解析し、その解析結果に基づいて対象物の種別を識別してもよい。画像処理装置２３１は、パターンマッチング技術などを用いて、画像データに含まれる対象物が、車両であるか、歩行者であるか、標識であるか否かを識別する。画像処理装置２３１は、取得した画像データを処理し、車両の周囲に存在する対象物の位置に基づいて、車両から対象物までの距離を取得する。画像処理装置２３１は、車両の周囲に存在する対象物の位置及び時間に基づいて、車両が対象物に到達する時間を取得する。
音声処理装置２３２は、スピーカ２２４が取得した音声データを分析する。音声処理装置２３２は、ユーザ又はユーザ間の発話を分析する。発話内容から単語・フレーズを切り出し、辞書を参照して目的とする単語・フレーズを抽出する音声認識処理は、出願時に知られて手法を用いる。音声処理装置２３２は、ユーザの発話内容をテキストデータとして取得する。音声処理装置２３２は、ユーザ間の会話内容をテキストデータとして取得する。
ドアセンサ２３３は、車両コントローラ２４０からドアが解錠状態であるか、施錠状態であるかの情報を取得する。
着座センサ２３４は、車両のどこにユーザが所在するか、ユーザの数を検出する。
温度計２３５は、車両の車室内の温度及び車両の外部の温度を検出する。
位置センサ２３６は、自車両の現在位置が含まれるエリアの属性を取得する。エリアの属性は、後述するナビゲーション装置２７０から取得する。
シフトポジションセンサ２３７は、車両のシフトポジションの情報を取得する。シフトポジションの情報は車両の運転モードの識別情報、駐車モードであることの識別情報を含む。
検出装置２３０は、通信装置２１０を介して外部の装置から検出情報を取得してもよい。通信装置２１０が他車両と車両とが車車間通信をすることが可能であれば、検出装置２３０は、他車両の車速センサが検出した他車両の車速、加速度を、他車両が存在する旨を対象物情報として取得してもよい。もちろん、検出装置２３０は、高度道路交通システム（Intelligent Transport Systems：ITS）の外部装置から通信装置２１０を介して、他車両の位置、速度、加速度を含む対象物情報を取得することもできる。検出装置２３０は、検出結果を操作支援装置１００、サーバ３００、車両コントローラ２４０のいずれか一つ以上に出力する。
車両コントローラ２４０は、エレクトロニックコントロールユニット （Electronic Control Unit, ECU） などの車載コンピュータであり、車両の運転／動作を電子的に制御する。車両コントローラ２４０は、車両の駆動に関する情報を集中的に管理する。車両コントローラ２４０は、自動運転装置２５０の制御情報を管理する。車両コントローラ２４０は、後述する駆動装置２５１、制動装置２５２、及び操舵装置２５３の動作を管理する。車両コントローラ２４０は、センサ２６０から車両状態情報を取得する。センサ２６０は、舵角センサ２６１、車速センサ２６２、レーダー装置２６３を有する。
自動運転装置２５０は、運転計画を立案し、立案された運転計画に従って車両を移動させる制御命令を車両コントローラ２４０に送出し、車両コントローラ２４０はこれを実行する。運転計画は、駆動装置２５１、制動装置２５２、操舵装置２５３への制御命令を含む。自動運転装置２５０は、レーンキープサポートシステムなどの運転支援機能を含む。自動運転装置２５０の機能は、完全自動運転機能、半自動運転機能、運転支援機能を含む。
センサ２６０は、舵角センサ２６１、車速センサ２６２、レーダー装置２６３を含む。舵角センサ２６１は、操舵量、操舵速度、操舵加速度などの情報を検出し、車両コントローラ２４０へ出力する。車速センサ２６２は、車両の速度及び／又は加速度を検出し、車両コントローラ２４０へ出力する。レーダー装置２６３は対象物までの距離を測定する。
本実施形態の車載装置２００は、ナビゲーション装置２７０を備える。ナビゲーション装置２７０は、車両の現在位置から目的地までの経路を出願時に知られた手法を用いて算出する。算出した経路は、車両の運転制御に用いるために、車両コントローラ２４０へ送出される。ナビゲーション装置２７０は、位置検出装置２７１を備える。位置検出装置２７１は、グローバル・ポジショニング・システム（Global Positioning System, GPS）の受信機を備え、走行中の車両の走行位置（緯度・経度）を検出する。
ナビゲーション装置２７０は、アクセス可能な位置検出装置２７１と、地図情報２７２と、施設情報２７３と、出力装置２７４を備える。地図情報２７２、施設情報２７３は、ナビゲーション装置２７０が読み込むことができればよく、ナビゲーション装置２７０とは物理的に別体として構成してもよいし、通信装置２１０を介して読み込みが可能なサーバ３００に格納してもよい。地図情報２７２は、いわゆる電子地図であり、緯度経度と地図情報が対応づけられた情報である。施設情報２７３は、位置をその位置を含むエリアに対応づけられた属性を含む。ナビゲーション装置２７０は、施設情報２７３を参照し、現在位置に基づいて現在位置が属するエリアの属性を判断できる。例えば、自車両が駐車場に位置するか否かを判断できる。判断結果は、操作支援装置１００に送出される。
本実施形態の車載装置２００は、周辺装置としてのアクセサリ２８０を有する。アクセサリ２８０は、オーディオ装置２８１、空調装置２８２、外部通信装置２８３のうちの何れか一つ以上を含む。各装置は、本願出願時に知られた機能を備える装置である。オーディオ装置２８１は、音楽を含む情報を提供する装置である。オーディオ装置２８１の操作は、オンオフ操作、チャネル操作、音量操作を含む。空調装置２８２の操作は、オンオフ操作、温度調整操作、風量調整操作を含む。
本実施形態の車載装置２００は、エアバック装置２９１と、自己診断装置２９２を有する。各装置は、本願出願時に知られた機能を備える装置である。これらの装置は、自律的に機能する、エアバックの展開が実行された情報は、操作支援装置１００へ送出される。自己診断において不具合が検出された情報は、操作支援装置１００へ送出される。
次に、操作支援装置１００について説明する。
操作支援装置１００は、制御装置１０と、記憶装置２０と、出力装置３０とを備える。出力装置３０は、通信装置３１を備える。出力装置３０は、通信装置３１を介して車載装置の入出力装置２２０へ制御命令を送出する。制御装置１０と、記憶装置２０と、出力装置３０とは、有線又は無線の通信回線を介して互いに情報の授受が可能である。制御装置１０は、通信装置３１を介してサーバ３００の記憶装置３２０と互いに情報を授受する。通信装置３１は、車載装置２００との情報授受、操作支援装置１００内部の情報授受、外部装置と操作支援システム１との情報授受を行う。
操作支援装置１００は、制御装置１０と、記憶装置２０と、出力装置３０とを備える。出力装置３０は、通信装置３１を備える。出力装置３０は、通信装置３１を介して車載装置の入出力装置２２０へ制御命令を送出する。制御装置１０と、記憶装置２０と、出力装置３０とは、有線又は無線の通信回線を介して互いに情報の授受が可能である。制御装置１０は、通信装置３１を介してサーバ３００の記憶装置３２０と互いに情報を授受する。通信装置３１は、車載装置２００との情報授受、操作支援装置１００内部の情報授受、外部装置と操作支援システム１との情報授受を行う。
制御装置１０について説明する。
制御装置１０は、プロセッサ１１を備える。プロセッサ１１は、車載機器が備える機能を利用するユーザに対して、車載機器の操作に関する支援情報を生成し、出力する演算装置である。
具体的に、プロセッサ１１は、支援装置の出力制御処理を実行させるプログラムが格納されたＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行することで、制御装置１０として機能する動作回路としてのＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）と、を備えるコンピュータである。
制御装置１０は、プロセッサ１１を備える。プロセッサ１１は、車載機器が備える機能を利用するユーザに対して、車載機器の操作に関する支援情報を生成し、出力する演算装置である。
具体的に、プロセッサ１１は、支援装置の出力制御処理を実行させるプログラムが格納されたＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行することで、制御装置１０として機能する動作回路としてのＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）と、を備えるコンピュータである。
本実施形態に係るプロセッサ１１は、以下の方法に係る処理を実行する。
（１）ユーザの動作情報を取得する、
（２）ユーザの動作情報に基づいて、ユーザが実行しようとする機能の操作を推測する、
（３）記憶装置に少なくとも一時的に記憶され、機能を実行させるためにユーザが操作指令に要した操作所要時間を含む操作履歴情報を参照する、
（４）ユーザごとの操作所要時間に基づいて、推測された操作を支援する支援情報の支援態様を決定する、
（５）決定した支援態様で支援情報を出力させる。
（１）ユーザの動作情報を取得する、
（２）ユーザの動作情報に基づいて、ユーザが実行しようとする機能の操作を推測する、
（３）記憶装置に少なくとも一時的に記憶され、機能を実行させるためにユーザが操作指令に要した操作所要時間を含む操作履歴情報を参照する、
（４）ユーザごとの操作所要時間に基づいて、推測された操作を支援する支援情報の支援態様を決定する、
（５）決定した支援態様で支援情報を出力させる。
図２に操作支援装置１００のプロセッサ１１の機能ブロックを示す。
図２に示すように、プロセッサ１１は、動作情報取得部１１１と、操作推測部１１２と、支援態様決定部１１３と、出力制御部１１４とを有する。
図２に示すように、プロセッサ１１は、動作情報取得部１１１と、操作推測部１１２と、支援態様決定部１１３と、出力制御部１１４とを有する。
動作情報取得部１１１は、ユーザの動作情報を取得する。操作推測部１１２は、ユーザの動作情報に基づいて、ユーザが実行しようとする機能の操作を推測する。支援態様決定部１１３は、記憶装置３２０に少なくとも一時的に記憶され、機能を実行させるためにユーザが操作指令に要した操作所要時間を含む操作履歴情報３２１を参照し、ユーザごとの操作所要時間に基づいて、推測された操作を支援する支援情報の支援態様を決定する。本例では、プロセッサ１１は、サーバ３００の記憶された操作履歴情報３２１を参照する。操作履歴情報３２１は、操作支援装置１００の記憶装置２０に格納してもよい。出力制御部１１４は、所定の支援態様で支援情報を出力させる。
図３は、支援情報の出力処理の概要を説明するためのフローチャートである。
ステップＳ１０１において、プロセッサ１１は、ユーザを識別する。ユーザは、車両のキーの識別情報から識別してもよい。ユーザは、車両の使用の申し込み情報に含まれるユーザＩＤから識別してもよい。車両に設置されたカメラ２２６によるユーザの撮像画像に基づいて、パターンマッチング技術を用いてユーザを識別してもよい。パターンマッチング処理に用いるテンプレートは、車両利用申し込み時のデータから取得してもよいし、初回の搭乗時の撮像画像から取得してもよい。
ステップＳ１０１において、プロセッサ１１は、ユーザを識別する。ユーザは、車両のキーの識別情報から識別してもよい。ユーザは、車両の使用の申し込み情報に含まれるユーザＩＤから識別してもよい。車両に設置されたカメラ２２６によるユーザの撮像画像に基づいて、パターンマッチング技術を用いてユーザを識別してもよい。パターンマッチング処理に用いるテンプレートは、車両利用申し込み時のデータから取得してもよいし、初回の搭乗時の撮像画像から取得してもよい。
同ステップＳ１０１において、プロセッサ１１は、車両状態情報を取得する。車両状態情報は、車両の運転モードの種別、車両の速度、車両が走行する経路の渋滞状況、車両の損傷の有無、車両の機器（車載装置）の故障又は異常の有無、車両の位置、車両の室内温度、車両の外気温度、車両のワイパーの動作のうちのいずれか一つ以上を含む。
車両の運転モードの種別は車両コントローラ２４０から取得する。車両の速度は、車速センサ２６２又は車両コントローラ２４０から取得する。車両が走行する経路の渋滞状況は、車速の変化から推測してもよいし、外部の情報提供装置から通信装置２１０を介して取得してもよい。車両の損傷の有無はエアバック装置２９１又は車両コントローラ２４０から取得する。車両の機器（車載装置）の故障又は異常の有無は、自己診断装置２９２又は車両コントローラ２４０から取得する。車両の位置は、位置検出装置２７１又は車両コントローラ２４０から取得する。車両の室内温度、車両の外気温度は、温度計２３５又は空調装置２８２から取得する。車両のワイパーの動作は車両コントローラ２４０から取得する。
ステップＳ１０２において、プロセッサ１１は、ユーザの動作情報を取得する。
プロセッサ１１は、カメラ２２６により経時的に撮像された撮像画像から抽出されたユーザの手部、脚部、又は頭部の動きに基づいて動作情報を取得する。プロセッサ１１は、カメラ２２６の位置を基準とした車室空間に座標を設定する。プロセッサ１１は、経時的な撮像画像からユーザの手部、脚部、又は頭部の車室空間における位置の経時的な変化を「動作情報」として検出する。プロセッサ１１は、経時的な撮像画像からユーザの頭部・顔と視線が向けられた車室空間における位置の経時的な変化を「動作情報」として検出する。人間の視線の向きの検出は出願時の技術を適用できる。例えば、顔から眼の位置を検出して眼の黒目の位置を追跡する手法、顔から眼の位置を検出する手法、黒目の位置を基準とするパターンマッチングの手法を用いることができる。プロセッサ１１は、ユーザの動きを判断する。プロセッサ１１は、画像情報などに基づいて、ユーザの手、指、腕がどこに位置し、視線がどこに向っているかという動作情報を取得する。さらに、プロセッサ１１は、ユーザの動きに基づく動作情報に基づいて、ユーザが操作に手間取っていることを判断する。操作に手間取るときのユーザの動作は、予めパターンとして得ておくことができる。手、指、腕の動きのパターン、動きが繰り返される頻度などに基づいて、ユーザが手間取っていることを判断できる。同様に、操作に手間取るときのユーザの視線の動きは、予めパターンとして得ておくことができる。視線が向けられる位置、目・頭・顔の動きのパターン、視線の動きが繰り返される頻度などに基づいて、ユーザが手間取っていることを判断できる。
プロセッサ１１は、カメラ２２６により経時的に撮像された撮像画像から抽出されたユーザの手部、脚部、又は頭部の動きに基づいて動作情報を取得する。プロセッサ１１は、カメラ２２６の位置を基準とした車室空間に座標を設定する。プロセッサ１１は、経時的な撮像画像からユーザの手部、脚部、又は頭部の車室空間における位置の経時的な変化を「動作情報」として検出する。プロセッサ１１は、経時的な撮像画像からユーザの頭部・顔と視線が向けられた車室空間における位置の経時的な変化を「動作情報」として検出する。人間の視線の向きの検出は出願時の技術を適用できる。例えば、顔から眼の位置を検出して眼の黒目の位置を追跡する手法、顔から眼の位置を検出する手法、黒目の位置を基準とするパターンマッチングの手法を用いることができる。プロセッサ１１は、ユーザの動きを判断する。プロセッサ１１は、画像情報などに基づいて、ユーザの手、指、腕がどこに位置し、視線がどこに向っているかという動作情報を取得する。さらに、プロセッサ１１は、ユーザの動きに基づく動作情報に基づいて、ユーザが操作に手間取っていることを判断する。操作に手間取るときのユーザの動作は、予めパターンとして得ておくことができる。手、指、腕の動きのパターン、動きが繰り返される頻度などに基づいて、ユーザが手間取っていることを判断できる。同様に、操作に手間取るときのユーザの視線の動きは、予めパターンとして得ておくことができる。視線が向けられる位置、目・頭・顔の動きのパターン、視線の動きが繰り返される頻度などに基づいて、ユーザが手間取っていることを判断できる。
本実施形態において、ユーザが実行しようとする機能の操作に手間取るシーンの例を示す。
（１）手動運転モードで走行中に自動運転モードに切り替えたいが、運転者又は運転監督者は車両の前方乃至周囲を監視する必要があるため、すぐに自動運転切替スイッチを操作できずに、操作に手間取るシーン。
（２）カーシェアなどで利用した車両において、シートベルトを解除するスイッチの位置が分からず、シートベルトを外す操作に手間取るシーン。
（３）カーシェアなどで利用した車両において、ドアの開閉スイッチの位置が分からずに、ドアを開扉させる操作に手間取るシーン。
（４）スイッチが複数並んでいる機器、例えばエアコン、オーディオ、カーナビゲーションなどの操作で、どのスイッチを操作すればよいかが分からずに、エアコン、オーディオ、カーナビゲーションの操作に手間取るシーン。
（５）タッチパネル式のスイッチで選択の階層数が多い機器、例えばカーナビゲーションなどの操作で、どの階層を選択すればよいかが分からずに、エアコン、オーディオ、カーナビゲーションの操作に手間取るシーン。
（１）手動運転モードで走行中に自動運転モードに切り替えたいが、運転者又は運転監督者は車両の前方乃至周囲を監視する必要があるため、すぐに自動運転切替スイッチを操作できずに、操作に手間取るシーン。
（２）カーシェアなどで利用した車両において、シートベルトを解除するスイッチの位置が分からず、シートベルトを外す操作に手間取るシーン。
（３）カーシェアなどで利用した車両において、ドアの開閉スイッチの位置が分からずに、ドアを開扉させる操作に手間取るシーン。
（４）スイッチが複数並んでいる機器、例えばエアコン、オーディオ、カーナビゲーションなどの操作で、どのスイッチを操作すればよいかが分からずに、エアコン、オーディオ、カーナビゲーションの操作に手間取るシーン。
（５）タッチパネル式のスイッチで選択の階層数が多い機器、例えばカーナビゲーションなどの操作で、どの階層を選択すればよいかが分からずに、エアコン、オーディオ、カーナビゲーションの操作に手間取るシーン。
動作情報は、ユーザの発話動作により得られた情報を含む。
プロセッサ１１は、マイク２２２により集音された音声情報から抽出されたユーザの発話情報に基づいて動作情報を取得する。プロセッサ１１は、集音された音声情報について音声認識処理を行い、発話された内容を取得する。動作情報に基づいて、ユーザが操作に手間取っていることを判断する。プロセッサ１１は、ユーザの発話に基づく動作情報に基づいて、ユーザが操作に手間取っていることを判断する。
プロセッサ１１は、マイク２２２により集音された音声情報から抽出されたユーザの発話情報に基づいて動作情報を取得する。プロセッサ１１は、集音された音声情報について音声認識処理を行い、発話された内容を取得する。動作情報に基づいて、ユーザが操作に手間取っていることを判断する。プロセッサ１１は、ユーザの発話に基づく動作情報に基づいて、ユーザが操作に手間取っていることを判断する。
同ステップＳ１０２において、プロセッサ１１は、車両の走行環境情報を取得する。プロセッサ１１は、車両状態情報、車両状態情報の変化に基づいて、車両の走行環境を判断する。車両の走行環境は、車両の走行する道路の種別、車両の走行する道路の渋滞状況、車両が存在する位置の属性（駐車場など）、車室内外の温度、車両の破損や故障などを含む。
ステップＳ１０１で取得した車両状態情報、ステップＳ１０２で取得した走行環境情報は、後のステップＳ１０５のユーザが実行しようとする機能の操作を推測する処理において用いられる。
ステップＳ１０１で取得した車両状態情報、ステップＳ１０２で取得した走行環境情報は、後のステップＳ１０５のユーザが実行しようとする機能の操作を推測する処理において用いられる。
ステップＳ１０３において、プロセッサ１１は、ユーザの「動作情報」に基づいてユーザが操作に手間取っている「操作探索状態」を検知する。プロセッサ１１は、ユーザの動作状態が「操作探索状態」であるか否かを判断する。「操作探索状態」を判断する「動作情報」の態様は予め定義することができる。
ステップＳ１０４において、プロセッサ１１は、「操作探索状態」が所定時間継続したことを判断する。ステップＳ１０３乃至Ｓ１０４の処理において、プロセッサ１１は、ユーザの動作状態に基づいて、ユーザの手部が所定領域に所定時間以上滞在するにもかかわらず（ステップＳ１０３においてＹＥＳ）、操作指令の入力がされない状態が所定時間継続した場合には（ステップＳ１０４においてＹＥＳ）、ユーザが操作に手間取っていると判断する。プロセッサ１１は、ユーザの手部の指の動きが所定のパターンと共通し、その動きが複数回繰り返される又は所定頻度で繰り返されるにもかかわらず、操作指令が入力されない状態が所定時間継続したときに、ユーザが機器の操作に手間取っていると判断する。プロセッサ１１は、ユーザの頭部が所定方向に傾く頻度又は回数が所定回数以上であるにもかかわらず、操作指令が入力されない状態が所定時間継続したときに、ユーザが機器の操作に手間取っていると判断する。プロセッサ１１は、ユーザの視線が所定領域に向く頻度又は回数が所定回数以上であるにもかかわらず操作指令が入力されない状態が所定時間継続したときに、ユーザが機器の操作に手間取っていると判断する。
ステップＳ１０３乃至Ｓ１０４において、プロセッサ１１は、ユーザの動作状態に基づいて、ユーザの発話内容に操作の手間取りを想起させるキーワードが含まれているにもかかわらず、操作指令が入力されない状態が所定時間以上にわたって継続したときに、ユーザが操作に手間取っていると判断する。手間取りを想起させるキーワードは予め定義する。例えば、「スイッチどこ？」、「どこだっけ？」、「わからない」又は「あれ？」などの「迷い」又は「困惑」に関するワードを、ユーザの手間取りを想起させるキーワードとして予め定義する。
ステップＳ１０３及びステップＳ１０４の判断がＹＥＳであり、ユーザが操作指令の入力に手間取っている「操作探索状態」であると判断された場合には、プロセッサ１１は、ステップＳ１０３においてユーザが操作指令の入力を試行し始めたタイミング（手間取りが検出されたタイミング）を「機能の操作が開始されたタイミング」として少なくとも一時的に記憶する。ユーザが操作指令の入力を試行し始めたタイミングの判断は適宜に定義できる。例えば、所定時間内において車室内の所定領域にユーザの手が検出された回数が所定回数以上である場合に、「機能の操作が開始されたタイミング」を算出してもよい。本処理において、ユーザの手が所定領域に検出された初回のタイミングを、「機能の操作が開始されたタイミング」としてもよいし、ユーザの手が所定領域に検出された最後のタイミングを、「機能の操作が開始されたタイミング」としてもよい。所定時間内において車室内の所定領域に所定回数以上ユーザの視線が向けられたことが検出された場合に、「機能の操作が開始されたタイミング」を算出してもよい。本処理において、ユーザの視線が所定領域に向けられたことが検出された初回のタイミングを、「機能の操作が開始されたタイミング」としてもよいし、ユーザの視線が所定領域に検出された最後のタイミングを、「機能の操作が開始されたタイミング」としてもよい。所定領域は、スイッチなどの入力部が配置された領域に設定してもよい。「機能の操作が開始されたタイミング」から操作指令が入力された「機能の操作が完了したタイミング」までが「操作所要時間」となる。
プロセッサ１１は、機能の操作が開始されたと判断されたタイミングから、操作指令が入力されないままに経過時間が所定時間以上である場合には、ユーザが操作に手間取っており、支援が必要であると判断する。
そして、ステップＳ１０５に進み、プロセッサ１１は、ユーザが実行しようとする機能の操作を推測する。プロセッサ１１は、推測した操作に関する支援情報をユーザに提供する。
ユーザが手間取っているか否かを判断するための閾値となる「所定時間」は、過去の操作履歴情報に基づいて、機能の操作が開始されてから操作指令が入力されるまでの操作所要時間に基づいて設定することが好ましい。「所定時間」はユーザごとに設定されることが好ましい。「所定時間」の設定手法は特に限定されないが、例えば、操作所要時間の適正時間のテーブルを機能ごとに記憶し、適正時間に基づいて設定されたデフォルト値からのずれをユーザごとに学習し、適正時間をカスタマイズし、この適正時間に基づいて「所定時間」を算出してもよい。各ユーザの機能ごとの「所定時間」は、カスタマイズされた適正時間（操作所要時間）としてもよい。「所定時間」が操作シーンを検知してから計時して、上記適正時間が経過したときに支援情報を出力する。
ユーザが実際に手間取った時間に基づいて、手間取りの有無を判断する閾値を設定することにより、そのユーザが手間取ったことを高い精度で判断できる。
ユーザが手間取っているか否かを判断するための閾値となる「所定時間」は、過去の操作履歴情報に基づいて、機能の操作が開始されてから操作指令が入力されるまでの操作所要時間に基づいて設定することが好ましい。「所定時間」はユーザごとに設定されることが好ましい。「所定時間」の設定手法は特に限定されないが、例えば、操作所要時間の適正時間のテーブルを機能ごとに記憶し、適正時間に基づいて設定されたデフォルト値からのずれをユーザごとに学習し、適正時間をカスタマイズし、この適正時間に基づいて「所定時間」を算出してもよい。各ユーザの機能ごとの「所定時間」は、カスタマイズされた適正時間（操作所要時間）としてもよい。「所定時間」が操作シーンを検知してから計時して、上記適正時間が経過したときに支援情報を出力する。
ユーザが実際に手間取った時間に基づいて、手間取りの有無を判断する閾値を設定することにより、そのユーザが手間取ったことを高い精度で判断できる。
プロセッサ１１は、操作対応情報を参照し、取得された動作情報に基づいてユーザが実行しようとする機能の操作を推測する。プロセッサ１１は、所定周期で操作対応情報を記憶装置２０にダウンロードしてもよいし、サーバ３００の記憶装置３２０を読み込んでもよい。本実施形態における操作対応情報の一例を図４に示す。
図４に示す「操作対応情報」は、ユーザの動作情報を含む。
プロセッサ１１は、動作情報の検出位置と車載機器の操作部の位置とが対応づけられた「操作対応情報」を参照し、動作情報から抽出されたユーザの動作の対象となる操作部の位置に基づいて、ユーザが実行しようとする機能の操作を推測する。
プロセッサ１１は、動作情報の検出位置と車載機器の操作部の位置とが対応づけられた「操作対応情報」を参照し、動作情報から抽出されたユーザの動作の対象となる操作部の位置に基づいて、ユーザが実行しようとする機能の操作を推測する。
操作対応情報は、車載装置２００が備える車載機器の操作部の位置情報を有する。所定の座標における各操作部の位置を記憶する。操作部はディスプレイ２２１、スイッチ２２３、スピーカ２２４、カメラ２２６を含む。各操作部が受け付ける機能の操作は、車両のごとに適宜に設定される。ディスプレイ２２１の入力操作部は、ナビゲーション装置２７０の操作、オーディオ装置２８１の入力を含む。スイッチ２２３は、運転モードの切り替え指令、空調装置２８２、外部通信装置２８３の入力操作部を含む。スピーカ２２４、カメラ２２６は、外部通信装置２８３の入力操作部を含む。
プロセッサ１１は、動作情報からユーザの動作の対象を抽出する。抽出する動作に対象は、ユーザが実行しようとする機能の操作部（スイッチ）である。
プロセッサ１１は、カメラ２２６を基準とする座標において、撮像画像からユーザの動作の対象の位置を特定する。ユーザの動作の対象の位置とは、例えば、ユーザの動きのパターン、ユーザの手が存在する位置又は範囲、ユーザの指が存在する位置又は範囲である。プロセッサ１１は、操作対応情報を参照し、ユーザの動作の対象の位置に存在する操作部を判断する。
ユーザの動作の対象の位置からユーザが実行しようとする機能の操作を推測することができるので、適切な支援情報を提供することができる。ユーザの手部、頭部の動きを分析することにより、ユーザが実行しようとする機能の操作部を高い精度で推測できる。
プロセッサ１１は、カメラ２２６を基準とする座標において、撮像画像からユーザの動作の対象の位置を特定する。ユーザの動作の対象の位置とは、例えば、ユーザの動きのパターン、ユーザの手が存在する位置又は範囲、ユーザの指が存在する位置又は範囲である。プロセッサ１１は、操作対応情報を参照し、ユーザの動作の対象の位置に存在する操作部を判断する。
ユーザの動作の対象の位置からユーザが実行しようとする機能の操作を推測することができるので、適切な支援情報を提供することができる。ユーザの手部、頭部の動きを分析することにより、ユーザが実行しようとする機能の操作部を高い精度で推測できる。
プロセッサ１１は、カメラ２２６を基準とする座標において、撮像画像からユーザの視線が向けられている対象の位置を特定する。ユーザの視線が向けられた対象の位置とは、例えばユーザの顔や頭が向けられた方向又は範囲、ユーザの眼の黒目が向けられた方向又は範囲である。プロセッサ１１は、操作対応情報を参照し、ユーザの視線が向けられた方向に存在する操作部を判断する。
ユーザの動作情報からユーザが実行しようとする機能の操作を推測することができるので、適切な支援情報を提供することができる。ユーザの視線の向きを分析することにより、ユーザが実行しようとする機能の操作部を高い精度で推測できる。
ユーザの動作情報からユーザが実行しようとする機能の操作を推測することができるので、適切な支援情報を提供することができる。ユーザの視線の向きを分析することにより、ユーザが実行しようとする機能の操作部を高い精度で推測できる。
プロセッサ１１は、マイク２２２が集音した音声情報から抽出されたワードに基づいて操作部を特定する。操作対応情報においては、機能に対応づけられたキーワードが定義されている。例えば、空調装置２８２の操作部には、「暑い」「寒い」といったキーワードが対応づけられる。ユーザの発話から「暑い」「寒い」に類するワードが抽出された場合には、操作対応情報に基づいて空調装置２８２の操作部が特定される。ユーザの発話から「到着」「止まる」に類するワードが抽出された場合には、操作対応情報に基づいてドア開閉の操作部であるスイッチ２２３が特定される。ユーザの発話から「混む」「渋滞」に類するワードが抽出された場合には、操作対応情報に基づいて自動運転の操作部であるスイッチ２２３が特定される。ユーザの発話に含まれるワードを音声認識することにより、ユーザが実行しようとする機能の操作部を高い精度で推測できる。
プロセッサ１１は、車両の検出情報に基づいて車両の状態を判断する。
プロセッサ１１は、車両の状態に関する車両状態情報と、車両状態情報から予測される走行環境に応じた機能の操作部とが予め対応づけられた「操作対応情報」を参照し、判断された車両の状態に基づいて、ユーザが実行しようとする機能の操作を推測する。
車両の状態からユーザが実行しようとする機能の操作を推測することができるので、適切な支援情報を提供することができる。
プロセッサ１１は、車両の状態に関する車両状態情報と、車両状態情報から予測される走行環境に応じた機能の操作部とが予め対応づけられた「操作対応情報」を参照し、判断された車両の状態に基づいて、ユーザが実行しようとする機能の操作を推測する。
車両の状態からユーザが実行しようとする機能の操作を推測することができるので、適切な支援情報を提供することができる。
車両状態情報は、車両の運転モードの種別、車両の速度、車両が走行する経路の渋滞状況、車両の損傷の有無、車両の機器の故障又は異常の有無、車両の位置、車両の室内温度、車両の外気温度、車両のワイパーの動作のうちのいずれか一つ以上を含む。
図４に示す「操作対応情報」は、車両状態情報を含む。
（１）プロセッサ１１は、車両が所定値未満（低速）の車速で、所定時間以上継続して走行していると判断された場合、又は車両の経時的な車速変化のパターンが予め定義した渋滞時の車速パターンとのマッチング率が所定値以上である場合には、自車両の走行環境は渋滞であると判断し、ユーザが実行しようとする機能は自動運転モード切替であると推測する。この場合において支援される操作部は自動運転モードの切替スイッチである。
（２）プロセッサ１１は、車両の運転モードの種別が手動運転モード（非自動運転モードであり、かつ所定値未満の低速の車速での走行が所定時間以上継続したと判断された場合には、自車両の走行環境は渋滞であると判断し、ユーザが実行しようとする機能は自動運転モード切替であると推測する。この場合において支援される操作部は自動運転モードの切替スイッチである。なお、手動運転モードであるか自動運転モードであるかは、車両コントローラ２４０から取得する。
（３）プロセッサ１１は、車両が外部装置（例えばＶＩＣＳ(登録商標)：Vehicle Information and Communication Systemなど）から渋滞情報を取得した渋滞時の車速パターンである場合には、自車両の走行環境は渋滞であると判断し、ユーザが実行しようとする機能は自動運転モード切替であると推測する。この場合において支援される操作部は自動運転モードの切替スイッチである。
（４）プロセッサ１１は、車室温度と外気温度との差が所定値以上である場合には、自車両の車室内の温度調節が必要であると判断し、ユーザが実行しようとする機能は温度調節であると推測する。この場合において支援される操作部は温度調節装置の操作スイッチである。
（５）プロセッサ１１は、シフトポジションがパーキングである場合には、自車両から降車する必要であると判断し、ユーザが実行しようとする機能はシートベルトの解除機能、又はドアの開閉機能であると推測する。この場合において支援される操作部はシートベルトの解除スイッチ、又はドアの操作スイッチである。
（６）プロセッサ１１は、現在位置が駐車場のエリアに属する場合には、自車両が駐車する状況であると判断し、ユーザが実行しようとする機能は駐車支援機能であると推測する。この場合において支援される操作部は駐車支援の操作スイッチである。プロセッサ１１は、現在位置が駐車場のエリアに属する場合には、自車両から降車する必要であると判断し、ユーザが実行しようとする機能はシートベルトの解除機能、又はドアの開閉機能であると推測する。この場合において支援される操作部はシートベルトの解除スイッチ、又はドアの操作スイッチである。
（７）プロセッサ１１は、自車両の現在位置が高速道路である場合には、自動運転走行が適切であると判断し、ユーザが実行しようとする機能は自動運転機能であると推測する。この場合において支援される操作部は自動運転モードの切替スイッチである。
（８）プロセッサ１１は、エアバックの展開動作の実行情報を得た場合には、外部への通報が必要であると判断し、ユーザが実行しようとする機能は緊急通報機能であると推測する。この場合において支援される操作部は緊急通報スイッチである。
（９）プロセッサ１１は、車載の機器についての故障検知情報を得た場合には、整備が必要であると判断し、ユーザが実行しようとする機能はオペレータの呼出し機能であると推測する。この場合において支援される操作部はオペレータの呼出しスイッチである。
（１０）なお、上述した判断手法を複数組み合わせてユーザが実行しようとする機能を予測してもよい。例えば、プロセッサ１１は、（Ａ）車両が手動運転モードである、（Ｂ）走行位置が高速道路である、（Ｃ）所定速度未満（低速領域）で断続的に走行する（減速操作を繰り返す）、（Ｄ）ハンドルの自動運転機能の切り替えスイッチ近傍にユーザの手が所定時間／所定頻度で検出される、（Ｅ）自動運転に関するキーワード（「疲れた」「自動」など）が検出された、といった判断要因（Ａ）～（Ｅ）のうち所定数以上の要因が検出された場合に、ユーザが実行しようとする機能の操作は「自動運転モードへの切り替え」であると予測する。
（１）プロセッサ１１は、車両が所定値未満（低速）の車速で、所定時間以上継続して走行していると判断された場合、又は車両の経時的な車速変化のパターンが予め定義した渋滞時の車速パターンとのマッチング率が所定値以上である場合には、自車両の走行環境は渋滞であると判断し、ユーザが実行しようとする機能は自動運転モード切替であると推測する。この場合において支援される操作部は自動運転モードの切替スイッチである。
（２）プロセッサ１１は、車両の運転モードの種別が手動運転モード（非自動運転モードであり、かつ所定値未満の低速の車速での走行が所定時間以上継続したと判断された場合には、自車両の走行環境は渋滞であると判断し、ユーザが実行しようとする機能は自動運転モード切替であると推測する。この場合において支援される操作部は自動運転モードの切替スイッチである。なお、手動運転モードであるか自動運転モードであるかは、車両コントローラ２４０から取得する。
（３）プロセッサ１１は、車両が外部装置（例えばＶＩＣＳ(登録商標)：Vehicle Information and Communication Systemなど）から渋滞情報を取得した渋滞時の車速パターンである場合には、自車両の走行環境は渋滞であると判断し、ユーザが実行しようとする機能は自動運転モード切替であると推測する。この場合において支援される操作部は自動運転モードの切替スイッチである。
（４）プロセッサ１１は、車室温度と外気温度との差が所定値以上である場合には、自車両の車室内の温度調節が必要であると判断し、ユーザが実行しようとする機能は温度調節であると推測する。この場合において支援される操作部は温度調節装置の操作スイッチである。
（５）プロセッサ１１は、シフトポジションがパーキングである場合には、自車両から降車する必要であると判断し、ユーザが実行しようとする機能はシートベルトの解除機能、又はドアの開閉機能であると推測する。この場合において支援される操作部はシートベルトの解除スイッチ、又はドアの操作スイッチである。
（６）プロセッサ１１は、現在位置が駐車場のエリアに属する場合には、自車両が駐車する状況であると判断し、ユーザが実行しようとする機能は駐車支援機能であると推測する。この場合において支援される操作部は駐車支援の操作スイッチである。プロセッサ１１は、現在位置が駐車場のエリアに属する場合には、自車両から降車する必要であると判断し、ユーザが実行しようとする機能はシートベルトの解除機能、又はドアの開閉機能であると推測する。この場合において支援される操作部はシートベルトの解除スイッチ、又はドアの操作スイッチである。
（７）プロセッサ１１は、自車両の現在位置が高速道路である場合には、自動運転走行が適切であると判断し、ユーザが実行しようとする機能は自動運転機能であると推測する。この場合において支援される操作部は自動運転モードの切替スイッチである。
（８）プロセッサ１１は、エアバックの展開動作の実行情報を得た場合には、外部への通報が必要であると判断し、ユーザが実行しようとする機能は緊急通報機能であると推測する。この場合において支援される操作部は緊急通報スイッチである。
（９）プロセッサ１１は、車載の機器についての故障検知情報を得た場合には、整備が必要であると判断し、ユーザが実行しようとする機能はオペレータの呼出し機能であると推測する。この場合において支援される操作部はオペレータの呼出しスイッチである。
（１０）なお、上述した判断手法を複数組み合わせてユーザが実行しようとする機能を予測してもよい。例えば、プロセッサ１１は、（Ａ）車両が手動運転モードである、（Ｂ）走行位置が高速道路である、（Ｃ）所定速度未満（低速領域）で断続的に走行する（減速操作を繰り返す）、（Ｄ）ハンドルの自動運転機能の切り替えスイッチ近傍にユーザの手が所定時間／所定頻度で検出される、（Ｅ）自動運転に関するキーワード（「疲れた」「自動」など）が検出された、といった判断要因（Ａ）～（Ｅ）のうち所定数以上の要因が検出された場合に、ユーザが実行しようとする機能の操作は「自動運転モードへの切り替え」であると予測する。
本実施形態において、ユーザが実行しようとする機能の操作を推定する手法の例を示す。
（１）カメラ２２６によりユーザの視線、動作、動作時の姿勢を判断し、ユーザが操作しようとしている対象領域を算出する。予め準備された車室内の操作部（スイッチ）の位置情報を含む地図情報を参照し、対象領域と共通する領域に位置する操作部（スイッチ）を絞り込む。ユーザの発話が検出された場合には、単語を抽出し、抽出された単語に予め定義された機能に関連づけられたキーワードが含まれる場合には、そのキーワードに対応づけられた機器が、ユーザが実行しようとする機能の操作部であると推測する。具体的に、ハンドル付近で手を動かすユーザの動作が検出され、マイク２２２が収拾した音声情報から自動運転に関するキーワードが抽出された場合には、ユーザが自動運転への切替ボタンを押す意図の下に動作をしていると判断する。さらに、自車両が走行している道路が高速道路である場合には、この判断の確度は向上するので、走行道路の道路種別を判断の条件に付加してもよい。
（２）自車両の位置検出装置２７１の位置情報や、カメラ２２６の撮像画像から抽出された関心領域（ＲＯＩ：Region of interest）に基づいて、自車両の現在位置が駐車場であることが判断された場合には、ユーザが降車する意図の下にシートベルトを外す動作をしていると判断する。
（３）自車両の車室温度が、予め定義された快適温度範囲外であり、ユーザの視線が空調装置２８２の操作部（スイッチパネル）に向けられていると判断された場合において、操作指令が入力されない場合には、ユーザは車室内の温度調節をする意図の下に空調装置２８２を操作する動作をしていると判断する。
（４）ユーザの降車が検出され、車室内に存在する他のユーザの視線がドア近傍に向けられていることが検出された場合には、ユーザが降車する意図の下に、ドアの開閉スイッチを操作する動作をしていると判断する。ユーザの降車情報は、着座センサにより車両コントローラ２４０を介して取得する。
（１）カメラ２２６によりユーザの視線、動作、動作時の姿勢を判断し、ユーザが操作しようとしている対象領域を算出する。予め準備された車室内の操作部（スイッチ）の位置情報を含む地図情報を参照し、対象領域と共通する領域に位置する操作部（スイッチ）を絞り込む。ユーザの発話が検出された場合には、単語を抽出し、抽出された単語に予め定義された機能に関連づけられたキーワードが含まれる場合には、そのキーワードに対応づけられた機器が、ユーザが実行しようとする機能の操作部であると推測する。具体的に、ハンドル付近で手を動かすユーザの動作が検出され、マイク２２２が収拾した音声情報から自動運転に関するキーワードが抽出された場合には、ユーザが自動運転への切替ボタンを押す意図の下に動作をしていると判断する。さらに、自車両が走行している道路が高速道路である場合には、この判断の確度は向上するので、走行道路の道路種別を判断の条件に付加してもよい。
（２）自車両の位置検出装置２７１の位置情報や、カメラ２２６の撮像画像から抽出された関心領域（ＲＯＩ：Region of interest）に基づいて、自車両の現在位置が駐車場であることが判断された場合には、ユーザが降車する意図の下にシートベルトを外す動作をしていると判断する。
（３）自車両の車室温度が、予め定義された快適温度範囲外であり、ユーザの視線が空調装置２８２の操作部（スイッチパネル）に向けられていると判断された場合において、操作指令が入力されない場合には、ユーザは車室内の温度調節をする意図の下に空調装置２８２を操作する動作をしていると判断する。
（４）ユーザの降車が検出され、車室内に存在する他のユーザの視線がドア近傍に向けられていることが検出された場合には、ユーザが降車する意図の下に、ドアの開閉スイッチを操作する動作をしていると判断する。ユーザの降車情報は、着座センサにより車両コントローラ２４０を介して取得する。
図３のステップＳ１０５に戻る。
支援するべき操作が決定されたら、ステップＳ１０６へ進む。ステップＳ１０６において、プロセッサ１１は、操作履歴情報を参照する。操作履歴情報３２１は、記憶装置３２０に少なくとも一時的に記憶され、機能を実行させるためにユーザが操作指令に要した操作所要時間を含む。操作履歴情報３２１は、操作支援装置１００の記憶装置２０に記憶してもよい。
支援するべき操作が決定されたら、ステップＳ１０６へ進む。ステップＳ１０６において、プロセッサ１１は、操作履歴情報を参照する。操作履歴情報３２１は、記憶装置３２０に少なくとも一時的に記憶され、機能を実行させるためにユーザが操作指令に要した操作所要時間を含む。操作履歴情報３２１は、操作支援装置１００の記憶装置２０に記憶してもよい。
操作履歴情報３２１は、操作所要時間を含む。操作所要時間は、機能を実行させる操作指令の入力が完了するまでに要した時間である。具体的に、操作所要時間は、「機能の操作が開始されたタイミング」から、操作部に対して「操作指令の入力が完了したタイミング」までの時間である。
プロセッサ１１は、操作指令をしたユーザの識別結果に基づいて、識別されたユーザの操作所要時間のうち、相対的に短い操作所要時間に対応づけられた支援態様を選択する。ユーザの操作履歴情報のうち、最も短い操作所要時間に対応づけられた支援態様を選択する。
プロセッサ１１は、操作指令をしたユーザの識別結果と、ユーザが実行しようとする車載機器の操作の推測結果と、に基づいて、識別されたユーザについて機能ごとに記憶された操作所要時間のうち、相対的に短い操作所要時間に対応づけられた支援態様を選択する。ユーザの機能ごとの操作履歴情報のうち、その機能を操作するときに計測された、最も短い操作所要時間に対応づけられた支援態様を選択する。
選択された支援態様は、支援情報を出力するときの支援態様として決定される。
プロセッサ１１は、操作指令をしたユーザの識別結果と、ユーザが実行しようとする車載機器の操作の推測結果と、に基づいて、識別されたユーザについて機能ごとに記憶された操作所要時間のうち、相対的に短い操作所要時間に対応づけられた支援態様を選択する。ユーザの機能ごとの操作履歴情報のうち、その機能を操作するときに計測された、最も短い操作所要時間に対応づけられた支援態様を選択する。
選択された支援態様は、支援情報を出力するときの支援態様として決定される。
図５は、操作履歴情報３２１の一例を示す。操作履歴情報３２１は、操作所要時間と支援情報の支援態様を含む。操作履歴情報３２１は、ユーザの識別情報と、操作対象となる操作部の識別情報と、記録された日時と、車両情報と、操作所要時間の長さに応じた手間取りレベル（評価）との内の何れか一つ以上を含む。車両情報は、車両の種類、車載された機能などを含む。車両がワンボックスカーである、車両がスライドドアである、車両が自動運転機能を備えている、車両が自動駐車機能を備えているといった情報である。支援態様は、支援情報が提示されたときの出力態様である。操作履歴情報３２１は、ユーザごとにソートされる。操作の手間取りは、ユーザの癖に起因する傾向が高い。このため、ユーザごとに整理し、同一のユーザの操作対象が共通する操作履歴情報３２１を参照することが好ましい。同一のユーザの操作履歴情報３２１が存在しない場合には、車両情報（車両のタイプ）が共通する操作履歴情報３２１を参照することが好ましい。
ステップＳ１０７において、プロセッサ１１は、操作履歴情報３２１の操作所要時間に基づいて、推測された操作を支援する支援態様を決定する。
プロセッサ１１は、操作履歴情報３２１における操作所要時間が短い支援態様を、今回の支援情報の支援態様として採用する。プロセッサ１１は、操作所要時間の長さに応じた手間取りレベルの評価が高い支援態様を、今回の支援情報の支援態様として採用する。
プロセッサ１１は、操作履歴情報３２１における操作所要時間が短い支援態様を、今回の支援情報の支援態様として採用する。プロセッサ１１は、操作所要時間の長さに応じた手間取りレベルの評価が高い支援態様を、今回の支援情報の支援態様として採用する。
特に限定されないが、共通のユーザの操作履歴情報３２１を参照することが好ましい。特に限定されないが、共通のユーザかつ推測された操作と共通する操作対象の操作履歴情報を参照することが好ましい。
図５に示す操作履歴情報３２１を参照した場合の支援態様の決定手法を説明する。
プロセッサ１１は、ユーザＡが実行しようとする機能が「自動運転機能」であると推測された場合には、「ユーザＡ」が「自動運転モード切替」を操作したときの操作履歴情報３２１を参照する。プロセッサ１１は、その中で操作所要時間が最も短く、評価が高い履歴を抽出し、その履歴における支援態様であるＬＥＤなどの発光素子２２５を用いた点滅発光を、今回の支援態様として決定する。
プロセッサ１１は、ユーザＡが実行しようとする機能が「自動運転機能」であると推測された場合には、「ユーザＡ」が「自動運転モード切替」を操作したときの操作履歴情報３２１を参照する。プロセッサ１１は、その中で操作所要時間が最も短く、評価が高い履歴を抽出し、その履歴における支援態様であるＬＥＤなどの発光素子２２５を用いた点滅発光を、今回の支援態様として決定する。
支援態様は、少なくとも出力装置の種別と、情報の伝達媒体の種別を含む。伝達媒体は、音声、画像、発光を少なくとも含む。
支援情報を出力する入出力装置２２０としては、スピーカ２２４を含む音声出力装置、ディスプレイ２２１を含む画像出力装置、ＬＥＤなどの発光素子２２５を含む発光装置を用いることができる。音声出力装置としてのスピーカ２２４を用いて出力される支援情報は音声情報であり、支援態様は音声出力態様である。画像出力装置としてのディスプレイ２２１を介して出力される支援情報は画像（図形、テキストを含む）であり、支援態様は表示出力態様である。発光装置としての発光素子２２５を介して出力される支援情報は視認可能な発光情報であり、支援態様は発光態様である。発光素子２２５を含む発光装置はスイッチの操作部に組み込んで、発光によりスイッチの所在を示すようにしてもよい。
支援情報を出力する入出力装置２２０としては、スピーカ２２４を含む音声出力装置、ディスプレイ２２１を含む画像出力装置、ＬＥＤなどの発光素子２２５を含む発光装置を用いることができる。音声出力装置としてのスピーカ２２４を用いて出力される支援情報は音声情報であり、支援態様は音声出力態様である。画像出力装置としてのディスプレイ２２１を介して出力される支援情報は画像（図形、テキストを含む）であり、支援態様は表示出力態様である。発光装置としての発光素子２２５を介して出力される支援情報は視認可能な発光情報であり、支援態様は発光態様である。発光素子２２５を含む発光装置はスイッチの操作部に組み込んで、発光によりスイッチの所在を示すようにしてもよい。
音声出力態様は、ユーザに対して話しかけるように音声で支援情報を提供する。ユーザが機器の案内画面を注視できないような場合に有効な支援態様である。運転中、特に周囲を注意する場面において有効である。双方向に情報を授受してユーザから詳細説明を要求する、又は説明の繰り返しを指示することもできる。
表示出力態様は、図形、テキスト、動画を用いた支援情報を出力する。操作が複雑な場合に詳細な説明に適している。ボタンやチェックボックス、スライドバーを含むＧＵＩ（Graphical User Interface）技術を用いた操作を利用して双方向に情報を授受してユーザから詳細説明を要求する、又は説明の繰り返しを指示することもできる。
発光態様は、操作部そのものを光らせるなどして、操作部（スイッチ）の位置を示す。細かな指示や操作手順の説明には適していないが、操作部を直接的に指し示すことが出来る。特に夜間に暗いことが原因で操作対象が見つからない場合に効果を発揮する。
これらの支援態様は、適宜に切り替えることができる。複数の支援態様を組み合わせて支援情報を提示してもよい。本実施形態では、メインとなる支援情報を予め定義しておき、そのメインとなる支援情報の支援態様を決定する。メインとなる支援情報を補完するサブの支援情報については、他の支援態様を用いることも可能である。
支援態様は、経時的に変更してもよい。本実施形態では、最初に出力されるべき支援情報を予め定義しておき、最初に出力する支援情報の支援態様を決定する。その後に出力される補完的な支援情報については、他の支援態様を用いることも可能である。
例えば、最初に出力されるべきメインの支援情報は、視覚的な通知・表示として、表示出力態様又は発光態様で出力し、ユーザの操作指令が入力されない（操作が完了しない）と判断された場合に、音声出力態様を用いて支援情報を出力してもよい。支援態様の有効性を考慮して、支援態様を切り替えてもよい。
表示出力態様は、図形、テキスト、動画を用いた支援情報を出力する。操作が複雑な場合に詳細な説明に適している。ボタンやチェックボックス、スライドバーを含むＧＵＩ（Graphical User Interface）技術を用いた操作を利用して双方向に情報を授受してユーザから詳細説明を要求する、又は説明の繰り返しを指示することもできる。
発光態様は、操作部そのものを光らせるなどして、操作部（スイッチ）の位置を示す。細かな指示や操作手順の説明には適していないが、操作部を直接的に指し示すことが出来る。特に夜間に暗いことが原因で操作対象が見つからない場合に効果を発揮する。
これらの支援態様は、適宜に切り替えることができる。複数の支援態様を組み合わせて支援情報を提示してもよい。本実施形態では、メインとなる支援情報を予め定義しておき、そのメインとなる支援情報の支援態様を決定する。メインとなる支援情報を補完するサブの支援情報については、他の支援態様を用いることも可能である。
支援態様は、経時的に変更してもよい。本実施形態では、最初に出力されるべき支援情報を予め定義しておき、最初に出力する支援情報の支援態様を決定する。その後に出力される補完的な支援情報については、他の支援態様を用いることも可能である。
例えば、最初に出力されるべきメインの支援情報は、視覚的な通知・表示として、表示出力態様又は発光態様で出力し、ユーザの操作指令が入力されない（操作が完了しない）と判断された場合に、音声出力態様を用いて支援情報を出力してもよい。支援態様の有効性を考慮して、支援態様を切り替えてもよい。
人間が聴取できる音声情報、人間が視認できる表示（画像）情報、人間が知覚できる発光情報の何れか一つ以上により支援情報を出力することができるので、ユーザに適した支援態様で支援情報を提供することができる。
プロセッサ１１は、ユーザＡが実行しようとする機能が「ドア操作」であると推測された場合には、「ユーザＡ」が「ドア操作」を操作したときの操作履歴情報３２１を参照する。プロセッサ１１は、その中で操作所要時間が最も短く、評価が高い履歴を抽出し、その履歴における支援態様であるディスプレイを用いた画像情報によるスイッチ位置の提示を、今回の支援態様として決定する。
プロセッサ１１は、ユーザＡが実行しようとする機能が「空調操作」であると推測された場合には、「ユーザＡ」が「空調操作」を操作したときの操作履歴情報３２１を参照する。プロセッサ１１は、その中で操作所要時間が最も短く、評価が高い履歴を抽出し、その履歴における支援態様であるスピーカを用いた音声による支援情報の提示を、今回の支援態様として決定する。
プロセッサ１１は、ユーザＡが実行しようとする機能が「空調操作」であると推測された場合には、「ユーザＡ」が「空調操作」を操作したときの操作履歴情報３２１を参照する。プロセッサ１１は、その中で操作所要時間が最も短く、評価が高い履歴を抽出し、その履歴における支援態様であるスピーカを用いた音声による支援情報の提示を、今回の支援態様として決定する。
ユーザが実行しようとする機能を推測するので、操作の対象が特定されていない場合であっても、ユーザにとって有効な操作支援をすることができる。操作履歴情報３２１を参照し、推測された機能に基づいて支援態様を決定するので、ユーザにとって適した支援態様で支援情報を提供することができる。
操作所要時間は、「機能の操作が開始されたタイミング」から、操作部に対して「操作指令の入力が完了したタイミング」までの時間であるので、操作所要時間が短ければ、そのときの支援態様で支援情報が提供されればユーザは操作に手間取らないと評価できる。ユーザごとに記憶された操作所要時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザにとって有効な支援態様で支援情報を提供することができる。
また、ユーザ及び機能ごとに記憶された操作所要時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザが実行を希望すると予測される機能について有効な支援態様で支援情報を提供することができる。
また、ユーザ及び機能ごとに記憶された操作所要時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザが実行を希望すると予測される機能について有効な支援態様で支援情報を提供することができる。
本実施形態では、操作履歴情報３２１を異なる観点から定義する。
操作履歴情報３２１は、操作評価時間を含む。操作評価時間は、過去に出力された支援情報の有効性（支援の効果の程度）を評価する値である。操作評価時間は、「支援情報の出力完了」から「機能を実行させる操作指令の入力の完了」までの時間である。
操作評価時間が短くなることは、その支援態様が、そのユーザに適しているということである。
プロセッサ１１は、操作指令をしたユーザの識別結果に基づいて、識別されたユーザの操作評価時間のうち、相対的に短い操作評価時間に対応づけられた支援態様を優先して選択されるように、重みづけを設定する。
また、プロセッサ１１は、ユーザの識別結果と、ユーザが実行しようとする車載機器の操作の推測結果と、に基づいて、識別されたユーザの機能ごとに記憶された操作評価時間のうち、相対的に短い操作評価時間に対応づけられた支援態様が優先して選択されるように重みづけを設定する。
例えば、蓄積された複数のデータにおいて、異なる機能の操作に対応づけられた操作所要時間の差が所定値以内である場合に、更に操作評価時間の評価を参照し、操作評価時間が短い（評価が高い）支援態様が優先して選択されるように、重みづけを設定する。具体的に、操作評価時間が短い又は評価が高い支援態様に対応づけられた操作所要時間が短くなるように１未満の正の係数を付して、操作所要時間を短く算出する。これにより、操作所要時間が短くなり、その操作態様が優先的に選択される。
また、蓄積された複数のデータにおいて、異なる機能の操作に対応づけられた操作所要時間の差が所定値以内である場合に、更に操作評価時間の評価を参照し、操作評価時間の短縮度が大きい（前回の操作所要時間に対する今回の操作所要時間の割合が小さい）支援態様が優先して選択されるように、重みづけを設定する。具体的に、操作評価時間の短縮度が大きい支援態様に対応づけられた操作所要時間が短くなるように１未満の正の係数を付して、操作所要時間を短く算出する。これにより、操作所要時間が短くなり、その操作態様が優先的に選択される。
選択された支援態様は、支援情報を出力する支援態様として決定される。
操作履歴情報３２１は、操作評価時間を含む。操作評価時間は、過去に出力された支援情報の有効性（支援の効果の程度）を評価する値である。操作評価時間は、「支援情報の出力完了」から「機能を実行させる操作指令の入力の完了」までの時間である。
操作評価時間が短くなることは、その支援態様が、そのユーザに適しているということである。
プロセッサ１１は、操作指令をしたユーザの識別結果に基づいて、識別されたユーザの操作評価時間のうち、相対的に短い操作評価時間に対応づけられた支援態様を優先して選択されるように、重みづけを設定する。
また、プロセッサ１１は、ユーザの識別結果と、ユーザが実行しようとする車載機器の操作の推測結果と、に基づいて、識別されたユーザの機能ごとに記憶された操作評価時間のうち、相対的に短い操作評価時間に対応づけられた支援態様が優先して選択されるように重みづけを設定する。
例えば、蓄積された複数のデータにおいて、異なる機能の操作に対応づけられた操作所要時間の差が所定値以内である場合に、更に操作評価時間の評価を参照し、操作評価時間が短い（評価が高い）支援態様が優先して選択されるように、重みづけを設定する。具体的に、操作評価時間が短い又は評価が高い支援態様に対応づけられた操作所要時間が短くなるように１未満の正の係数を付して、操作所要時間を短く算出する。これにより、操作所要時間が短くなり、その操作態様が優先的に選択される。
また、蓄積された複数のデータにおいて、異なる機能の操作に対応づけられた操作所要時間の差が所定値以内である場合に、更に操作評価時間の評価を参照し、操作評価時間の短縮度が大きい（前回の操作所要時間に対する今回の操作所要時間の割合が小さい）支援態様が優先して選択されるように、重みづけを設定する。具体的に、操作評価時間の短縮度が大きい支援態様に対応づけられた操作所要時間が短くなるように１未満の正の係数を付して、操作所要時間を短く算出する。これにより、操作所要時間が短くなり、その操作態様が優先的に選択される。
選択された支援態様は、支援情報を出力する支援態様として決定される。
図６は、操作履歴情報３２１の一例を示す。操作履歴情報３２１は、操作評価時間と支援情報の支援態様を含む。操作履歴情報３２１は、ユーザの識別情報と、操作対象となる操作部の識別情報と、支援情報が提示されたときの支援態様と、操作評価時間と、車両情報と、操作評価時間の長さに応じた手間取りレベル（評価）と、記録された日時のうちの何れか一つ以上を含む。なお、図６においては、操作評価時間を含む例を中心に説明するために、操作所要時間を表記していないが、操作履歴情報３２１には操作所要時間が含まれる。
評価は、「支援情報の出力完了」から「機能を実行させる操作指令の入力の完了」までの操作評価時間の長さに応じて判断された評価である。操作評価時間が長い場合（例えば、２０秒以上である）には、低い評価が与えられる（Ｚ評価）。支援情報を出力したにもかかわらず、操作指令の入力の完了までの時間が長く、ユーザのレスポンスが遅いと評価される。操作評価時間が短い場合（例えば、１０秒未満である）には、高い評価が与えられる（Ｘ評価）。支援情報の出力により、操作指令の入力の完了までの時間が短縮され、ユーザのレスポンスが迅速であると評価される。操作評価時間がＸ評価とＺ評価との間（例えば、１０秒以上、２０秒未満）である場合には、標準的であるという評価が与えられる（Ｙ評価）。
また、ある支援態様の評価に関し、記録された日時が古い評価よりも、記録された日時が新しい評価のほうが高い評価である場合には、その支援態様はユーザが学習しやすい支援態様であると判断することができる。支援態様ごとに、経時的な操作評価時間の変化を算出し、その算出結果を評価に反映させてもよい。例えば、操作評価時間が経時的に減少する場合には、評価が高くなるような重みづけを付した操作評価時間に基づいて評価を算出してもよい。プロセッサ１１は、これらの評価を考慮して、操作所要時間に基づいて支援態様を決定する。操作評価時間の評価結果が良い場合には、操作所要時間が短くなるように重みづけをしてもよい。その結果操作評価時間が短い又は経時的に短くなっているという手間取りの改善の事実に基づいて、操作所要時間を補正し、補正後の操作所要時間に基づいて支援態様を決定できる。
操作履歴情報３２１は、図６に示すように、ユーザごとに整理することができる。また、操作対象ごとにソートすることができる。操作履歴情報３２１は、操作の手間取りは、ユーザの癖に起因する傾向が高い。このため、ユーザごとに整理し、同一のユーザの操作対象が共通する操作履歴情報３２１を参照することが好ましい。同一のユーザの操作履歴情報３２１が存在しない場合には、車両情報（車両のタイプ）が共通する操作履歴情報３２１を参照することが好ましい。
プロセッサ１１は、操作履歴情報３２１における操作評価時間が短い支援態様が優先的に選択されるように重みづけを設定する。プロセッサ１１は、操作評価時間の長さに応じた手間取りレベルの評価が高い（手間取りの時間が短い）支援態様が、優先的に選択されるように重みづけを設定する。特に限定されないが、重みづけは、共通のユーザの操作履歴情報３２１を参照して設定することが好ましい。特に限定されないが、重みづけは、共通のユーザかつ推測された操作と共通する操作対象の操作履歴情報を参照して設定することが好ましい。
プロセッサ１１は、ユーザＡが実行しようとする機能が「自動運転機能」であると推測された場合には、「ユーザＡ」が「自動運転モード切替」を操作したときの操作履歴情報３２１を参照する。プロセッサ１１は、その中で操作評価時間が最も短く、評価が高い履歴を抽出し、その履歴における支援態様である点滅発光が、今回の支援態様として優先的に選択されるように、点滅発光に重みづけをする。
プロセッサ１１は、ユーザＡが実行しようとする機能が「ドア操作」であると推測された場合には、「ユーザＡ」が「ドア操作」を操作したときの操作履歴情報３２１を参照する。プロセッサ１１は、その中で操作評価時間が最も短く、評価が高い履歴を抽出し、その履歴における支援態様であるディスプレイを用いた画像情報による支援情報の提示が、今回の支援態様として優先的に選択されるように、表示出力態様に重みづけをする。
プロセッサ１１は、ユーザＡが実行しようとする機能が「空調操作」であると推測された場合には、「ユーザＡ」が「空調操作」を操作したときの操作履歴情報３２１を参照する。プロセッサ１１は、その中で操作評価時間が最も短く、評価が高い履歴を抽出し、その履歴における支援態様であるスピーカを用いた音声、又はＬＥＤを用いた発光による支援情報の提示が、今回の支援態様として優先的に選択されるように、音声出力態様又は発光態様に重みづけをする。
プロセッサ１１は、ユーザＡが実行しようとする機能が「ドア操作」であると推測された場合には、「ユーザＡ」が「ドア操作」を操作したときの操作履歴情報３２１を参照する。プロセッサ１１は、その中で操作評価時間が最も短く、評価が高い履歴を抽出し、その履歴における支援態様であるディスプレイを用いた画像情報による支援情報の提示が、今回の支援態様として優先的に選択されるように、表示出力態様に重みづけをする。
プロセッサ１１は、ユーザＡが実行しようとする機能が「空調操作」であると推測された場合には、「ユーザＡ」が「空調操作」を操作したときの操作履歴情報３２１を参照する。プロセッサ１１は、その中で操作評価時間が最も短く、評価が高い履歴を抽出し、その履歴における支援態様であるスピーカを用いた音声、又はＬＥＤを用いた発光による支援情報の提示が、今回の支援態様として優先的に選択されるように、音声出力態様又は発光態様に重みづけをする。
さらに、操作評価時間の変化に応じた重みづけをしてもよい。
図６に示す操作履歴情報３２１において、ユーザＡがタイプＶ１の車両を利用したときの空調操作に関し、スピーカを用いたときとＬＥＤを用いたときの最短の操作評価時間は同じ５秒である。このような場合においては、支援態様の効果についてさらに検討する。操作履歴情報３２１を参照すると、スピーカを用いた音声ガイダンスを行った場合には、先の日時Ｔ１２において記録された操作評価時間は５秒であり、後の日時Ｔ２２において記録された操作評価時間も５秒である。また、ＬＥＤを用いた点滅発光によるガイドを行った場合には、先の日時Ｔ１１において記録された操作評価時間は１０秒であり、後の日時Ｔ２１２において記録された操作評価時間は５秒と短縮されている。このように操作評価時間が短縮された場合には、その支援態様はそのユーザにとって有効である（効果的である）と推測できる。
図６に示す操作履歴情報３２１において、ユーザＡがタイプＶ１の車両を利用したときの空調操作に関し、スピーカを用いたときとＬＥＤを用いたときの最短の操作評価時間は同じ５秒である。このような場合においては、支援態様の効果についてさらに検討する。操作履歴情報３２１を参照すると、スピーカを用いた音声ガイダンスを行った場合には、先の日時Ｔ１２において記録された操作評価時間は５秒であり、後の日時Ｔ２２において記録された操作評価時間も５秒である。また、ＬＥＤを用いた点滅発光によるガイドを行った場合には、先の日時Ｔ１１において記録された操作評価時間は１０秒であり、後の日時Ｔ２１２において記録された操作評価時間は５秒と短縮されている。このように操作評価時間が短縮された場合には、その支援態様はそのユーザにとって有効である（効果的である）と推測できる。
本実施形態では、直近の操作評価時間が同じ５秒であっても、操作評価時間が５０％に短縮されているＬＥＤを用いた点滅発光による支援の操作評価時間には、さらに優先的に選択されるように重みづけを設定し、重みづけをした操作評価時間を算出する。その結果、点滅発光による支援の操作評価時間は５秒未満となり、最も短い操作評価時間は、Ｎｏ．９のデータとなる。このデータにおける支援態様はＬＥＤである。今回の処理において、ユーザＡが実行しようとする機能が「空調操作」であると推測された場合には、プロセッサ１１は、音声ではなく、点滅発光が支援態様として優先的に選択されるように、音声出力態様よりも大きな（選択されやすい）重みづけを設定する。
操作支援装置１００がユーザが実行しようとする機能を自動的に推測するので、操作の対象が特定されていない場合であっても、ユーザにとって有効な操作支援をすることができる。操作履歴情報３２１を参照し、推測された機能に基づいて支援態様を決定するので、ユーザにとって適した支援態様で支援情報を提供することができる。
操作評価時間は、「支援情報の出力完了」から「機能を実行させる操作指令の入力の完了」までの時間であるので、操作評価時間が短ければ、支援情報の出力によってユーザの手間取り時間が短くなったと評価できる。ユーザごとに記憶された操作評価時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザにとって有効な支援態様で支援情報を提供することができる。
また、前回の操作評価時間よりも今回の操作評価時間が短くなる傾向が見られる場合には、その操作態様はユーザに適していると考えられる。操作評価時間が経時的に短縮の傾向がある支援態様は、支援情報の出力によってユーザの手間取り時間が短くなることが期待できる。ユーザごとに記憶された操作評価時間の経時的な変化を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザにとって有効な支援態様で支援情報を提供することができる。
また、ユーザ及び機能ごとに記憶された操作評価時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザが実行を希望すると予測される機能について有効な支援態様で支援情報を提供することができる。
また、前回の操作評価時間よりも今回の操作評価時間が短くなる傾向が見られる場合には、その操作態様はユーザに適していると考えられる。操作評価時間が経時的に短縮の傾向がある支援態様は、支援情報の出力によってユーザの手間取り時間が短くなることが期待できる。ユーザごとに記憶された操作評価時間の経時的な変化を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザにとって有効な支援態様で支援情報を提供することができる。
また、ユーザ及び機能ごとに記憶された操作評価時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザが実行を希望すると予測される機能について有効な支援態様で支援情報を提供することができる。
プロセッサ１１は、支援態様の決定がされた後、ユーザの動作情報及び／又は車両状態情報に基づいて支援態様の変更処理を行う。
上述したように、本実施形態のプロセッサ１１は、操作所要時間又は操作評価時間に基づいて支援態様を決定する。
しかし、運転又は自動運転の監視にユーザを周囲の状況監視に集中させたい場面においては、表示出力態様や発光態様といった視認させる支援態様で支援情報を提供するよりも、ユーザに聴取させる音声出力態様のほうが有効である場合がある。
また、運転の管理者以外のユーザが睡眠中である場面や、乗員同士が会話をしている場面や、大音量で音楽を聴いている場面においては、音声出力態様で支援情報を提供するよりも、表示出力態様や発光態様といった視認させる支援態様で支援情報を提供したほうがユーザにとって好ましい場合がある。
このような場合には、いったん決定された表示態様を変更する。
本処理によれば、支援態様の決定がされた後であっても、ユーザの動作情報及び／又は車両状態情報に基づいて支援態様の変更処理を行うことにより、ユーザが理解しやすい支援態様で支援情報を提供することができる。
上述したように、本実施形態のプロセッサ１１は、操作所要時間又は操作評価時間に基づいて支援態様を決定する。
しかし、運転又は自動運転の監視にユーザを周囲の状況監視に集中させたい場面においては、表示出力態様や発光態様といった視認させる支援態様で支援情報を提供するよりも、ユーザに聴取させる音声出力態様のほうが有効である場合がある。
また、運転の管理者以外のユーザが睡眠中である場面や、乗員同士が会話をしている場面や、大音量で音楽を聴いている場面においては、音声出力態様で支援情報を提供するよりも、表示出力態様や発光態様といった視認させる支援態様で支援情報を提供したほうがユーザにとって好ましい場合がある。
このような場合には、いったん決定された表示態様を変更する。
本処理によれば、支援態様の決定がされた後であっても、ユーザの動作情報及び／又は車両状態情報に基づいて支援態様の変更処理を行うことにより、ユーザが理解しやすい支援態様で支援情報を提供することができる。
以下、支援態様を変更する具体的な処理の手法を説明する。
まず、表示出力態様や発光態様といった視認させる支援態様から、音声情報による音声出力態様に変更する場合の処理について説明する。
操作所要時間又は操作評価時間に基づいて決定された支援態様が、表示支援態様又は発光態様であり、支援情報の出力処理時において、自車両の車両状態情報が、予め定義された周囲監視度の高い状態であると判断された場合には、視認による表示支援態様又は発光態様から聴取による音声支援態様に変更する。周囲監視度とは、ユーザが自車両の周囲を監視する注意度に応じた度合いである。相対的に周囲を注意深く監視する場合には、周囲監視度は相対的に高く設定される。例えば、交差点走行時、障害物が存在する場合、車速が高い場合などである。
周囲監視度の高い状態においては、ユーザは運転や周囲の監視に集中しているため、表示支援態様又は発光態様で支援情報が提示されても、気づけない可能性が高い。また、発光によりスイッチの所在を示しても場所を理解できない場合がある。このような場合には、ユーザの視認させる支援情報よりも、ユーザに聴取させる支援情報のほうが、ユーザが理解しやすい。
周囲監視度の高い状態は、自車両の位置が交差点から所定距離以内に存在する状態、自車両が走行する道路の路幅が所定値未満である状態、自車両と障害物の距離、到達所要時間が所定値未満である状態、を含む。走行道路の路幅は、ナビゲーション装置２７０の地図情報２７２から取得する。
まず、表示出力態様や発光態様といった視認させる支援態様から、音声情報による音声出力態様に変更する場合の処理について説明する。
操作所要時間又は操作評価時間に基づいて決定された支援態様が、表示支援態様又は発光態様であり、支援情報の出力処理時において、自車両の車両状態情報が、予め定義された周囲監視度の高い状態であると判断された場合には、視認による表示支援態様又は発光態様から聴取による音声支援態様に変更する。周囲監視度とは、ユーザが自車両の周囲を監視する注意度に応じた度合いである。相対的に周囲を注意深く監視する場合には、周囲監視度は相対的に高く設定される。例えば、交差点走行時、障害物が存在する場合、車速が高い場合などである。
周囲監視度の高い状態においては、ユーザは運転や周囲の監視に集中しているため、表示支援態様又は発光態様で支援情報が提示されても、気づけない可能性が高い。また、発光によりスイッチの所在を示しても場所を理解できない場合がある。このような場合には、ユーザの視認させる支援情報よりも、ユーザに聴取させる支援情報のほうが、ユーザが理解しやすい。
周囲監視度の高い状態は、自車両の位置が交差点から所定距離以内に存在する状態、自車両が走行する道路の路幅が所定値未満である状態、自車両と障害物の距離、到達所要時間が所定値未満である状態、を含む。走行道路の路幅は、ナビゲーション装置２７０の地図情報２７２から取得する。
例えば、操作所要時間又は操作評価時間に基づいて決定された支援態様が、表示支援態様又は発光態様であり、支援情報の出力処理時において、自車両の車両状態情報が、予め定義された周囲監視度の高い状態であると判断された場合には、視認による表示支援態様又は発光態様から聴取による音声支援態様に変更する。
なお、この処理は、操作所要時間又は操作評価時間に基づいて決定された支援態様により支援情報を出力した後に、所定時間、操作指令が入力されない場合に実行してもよい。ユーザが支援情報を利用できない状況であると判断できるからである。
なお、この処理は、操作所要時間又は操作評価時間に基づいて決定された支援態様により支援情報を出力した後に、所定時間、操作指令が入力されない場合に実行してもよい。ユーザが支援情報を利用できない状況であると判断できるからである。
次に、音声情報といった聴取させる音声出力態様から、表示出力態様や発光態様といった視認させる支援態様に変更する場合の処理について説明する。
操作所要時間又は操作評価時間に基づいて決定された支援態様が、音声出力態様であり、
支援情報の出力処理時において、自車両に搭乗するユーザ（運転者又は運転管理者以外の乗員）が睡眠中であると判断された場合、自車両に搭乗する乗員同士が会話していると判断された場合には、音声支援態様から視認による表示支援態様又は発光態様に変更する。
乗員が睡眠中である状態においては、車室内は静寂である方が好ましい。また、乗員同士が会話をしている状態においては、会話を妨げないように車室内は静寂である方が好ましい。さらに、オーディオ装置２８１の音量が所定値以上である場合には、支援情報が聞き取れない可能性がある。
このような場合には、ユーザに聴取させる支援情報よりも、ユーザの視認させる支援情報のほうが、ユーザが理解しやすい。
ユーザが睡眠中であるか否かは、車室内のカメラ２２６の撮像画像に基づいて、顔を認証し、目の位置を特定し、黒目の存在が無いことにより、ユーザが寝ていることを検出できる。各ユーザの生体情報を経時的に取得し、睡眠中の生体情報パターンと比較して睡眠中であるか否かを判断してもよい。ユーザは、運転席に着座するユーザに限定されない。カメラ２２６は、車室の天井に設けられ、広角の撮像画像を得ることができる。顔認証技術については、出願時に知られた手法を用いることができる。
ユーザ同士が会話しているか否かは、車室内のマイク２２２で収集した音声情報に基づいて、音声の特徴を抽出し、異なるユーザ同士が会話をしていることを検出できる。
音楽の音量は、オーディオ装置２８１から取得する。
操作所要時間又は操作評価時間に基づいて決定された支援態様が、音声出力態様であり、
支援情報の出力処理時において、自車両に搭乗するユーザ（運転者又は運転管理者以外の乗員）が睡眠中であると判断された場合、自車両に搭乗する乗員同士が会話していると判断された場合には、音声支援態様から視認による表示支援態様又は発光態様に変更する。
乗員が睡眠中である状態においては、車室内は静寂である方が好ましい。また、乗員同士が会話をしている状態においては、会話を妨げないように車室内は静寂である方が好ましい。さらに、オーディオ装置２８１の音量が所定値以上である場合には、支援情報が聞き取れない可能性がある。
このような場合には、ユーザに聴取させる支援情報よりも、ユーザの視認させる支援情報のほうが、ユーザが理解しやすい。
ユーザが睡眠中であるか否かは、車室内のカメラ２２６の撮像画像に基づいて、顔を認証し、目の位置を特定し、黒目の存在が無いことにより、ユーザが寝ていることを検出できる。各ユーザの生体情報を経時的に取得し、睡眠中の生体情報パターンと比較して睡眠中であるか否かを判断してもよい。ユーザは、運転席に着座するユーザに限定されない。カメラ２２６は、車室の天井に設けられ、広角の撮像画像を得ることができる。顔認証技術については、出願時に知られた手法を用いることができる。
ユーザ同士が会話しているか否かは、車室内のマイク２２２で収集した音声情報に基づいて、音声の特徴を抽出し、異なるユーザ同士が会話をしていることを検出できる。
音楽の音量は、オーディオ装置２８１から取得する。
例えば、操作所要時間又は操作評価時間に基づいて決定された支援態様が、音声出力態様であり、支援情報の出力処理時において、乗員が睡眠中である、ユーザ同士が会話中である、又はオーディオの出力音量が所定値以上であると判断された場合には、聴取による音声支援態様から視認による表示支援態様又は発光態様に変更する。
なお、この処理は、操作所要時間又は操作評価時間に基づいて決定された支援態様により支援情報を出力した後に、所定時間、操作指令が入力されない場合に実行してもよい。ユーザが支援情報を利用できない状況であると判断できるからである。
なお、この処理は、操作所要時間又は操作評価時間に基づいて決定された支援態様により支援情報を出力した後に、所定時間、操作指令が入力されない場合に実行してもよい。ユーザが支援情報を利用できない状況であると判断できるからである。
図３のステップＳ１０７に戻る。上述したように、支援情報を出力する支援態様が決定されたら、ステップＳ１０８へ進む。ステップＳ１０８において、プロセッサ１１は、支援情報の出力命令を生成する。支援情報の出力命令には、ステップＳ１０７において決定された支援態様を指定する命令を含む。
支援情報の支援態様について説明する。
図７は、車両のステアリングＳＴの周囲の操作部を示す。スイッチＳＷ１は、自動運転機能のスイッチである。スイッチＳＷ１ａは自動運転機能のメインスイッチである。スイッチＳＷ２は、ナビゲーション機能のスイッチである。スイッチＳＷ３は、スライドドアの開閉機能のスイッチである。スイッチＳＷ４は、運転支援機能のスイッチである。スイッチＳＷ５は、空調機能のスイッチである。以下、各支援態様による支援情報の出力例を説明する。
図７は、車両のステアリングＳＴの周囲の操作部を示す。スイッチＳＷ１は、自動運転機能のスイッチである。スイッチＳＷ１ａは自動運転機能のメインスイッチである。スイッチＳＷ２は、ナビゲーション機能のスイッチである。スイッチＳＷ３は、スライドドアの開閉機能のスイッチである。スイッチＳＷ４は、運転支援機能のスイッチである。スイッチＳＷ５は、空調機能のスイッチである。以下、各支援態様による支援情報の出力例を説明する。
支援態様として表示出力態様が決定された場合には、プロセッサ１１は、ディスプレイ２２１を介して画像情報（テキスト情報を含む）の支援情報を出力する。ディスプレイ２２１は、画像情報の支援情報Ｇを提示する。支援情報は、操作対象となるスイッチＳＷの位置・操作を示す画像情報や、操作手順示す画像情報及び／又はテキスト情報である。これらを手順に沿って、順次表示する。具体的な支援情報を図８Ａ乃至図１０に示す。
図８Ａ及び図８Ｂは支援情報Ｇの第１の例を示す。図８Ａに示す支援情報Ｇ１ａは、自動運転機能の操作部であるスイッチＳＷ１の位置を示す画像情報である。支援情報Ｇ１ａは、吹き出しで表示された支援情報Ｇ１１を含む。支援情報Ｇ１１は、操作部であるスイッチＳＷ１を拡大して表示し、現在、ユーザが操作すると予測されるメインスイッチＳＷ１ａを強調して示す（図中、薄墨を付して示す）。図８Ｂに示す支援情報Ｇ１ｂは、自動運転機能の操作手順の案内を示す画像情報である。支援情報Ｇ１ｂは、ユーザが実行しようとする自動運転機能について、スタートボタンを押すという操作をユーザに促すため、車両を模したアイコン(画像情報)と「Startボタンを押してください」というテキスト情報を表示する。操作支援の画像やテキストの内容は適宜に定義する。
図９Ａ及び図９Ｂは支援情報Ｇの第２の例を示す。図９Ａに示す支援情報Ｇ２Ａ、図９Ｂに示す支援情報Ｇ２Ｂは、図７に示すディスプレイ２２１に提示される。図９Ａ、図９Ｂに示す支援情報Ｇ２Ａ，Ｇ２Ｂは、スライドドアの開閉機能の操作部であるスイッチＳＷ３の位置を示す画像情報である。吹き出しで示す図は、車両の左右のドアの開閉スイッチＳＷ３を拡大して示す図である。図９Ａは、車両の右側のドアの開閉スイッチＳＷ３Ｒを強調して表示し、図９Ｂは、車両の左側のドアの開閉スイッチＳＷ３Ｌを強調して表示する。図９Ａ又は図９Ｂの支援情報のいずれをディスプレイ２２１に表示するかは、道路と車両との位置関係に基づいて、路肩側のドアの開閉スイッチＳＷ３Ｒ／Ｌに係る支援情報を決定してもよい。
図１０は支援情報Ｇの第３の例を示す。図１０に示す支援情報Ｇ３は、図７に示すディスプレイ２２１に提示される。図１０は、後部座席に設けられたスライドドアの開閉機能の操作部であるスイッチＳＷ７の位置を示す画像情報である。吹き出しで示す図は、このスイッチが設けられた側のドアの開閉機能に係るスイッチＳＷ７を拡大して示す図である。
本実施形態におけるユーザは、運転者、乗員を含む。後部座席に所在するユーザについてもそのユーザの実行しようとする機能を推測し、その機能を実行させる操作指令の入力を支援することができる。
本実施形態におけるユーザは、運転者、乗員を含む。後部座席に所在するユーザについてもそのユーザの実行しようとする機能を推測し、その機能を実行させる操作指令の入力を支援することができる。
続いて、操作履歴情報３２１の蓄積処理について説明する。まず、操作所要時間を含む操作履歴情報３２１について説明する。
プロセッサ１１は、ユーザの識別情報と、ユーザが実行しようとする機能の操作の推測結果と、ユーザが機能を実行させる操作指令の入力が完了するまでに要した操作所要時間と、を対応づけた操作履歴情報３２１を、通信ネットワークを介して記憶装置３２０へ送信し、記憶装置３２０に記憶させる。操作履歴情報３２１は、操作支援装置１００の記憶装置２０に記憶してもよい。このようにユーザの識別情報と操作所要時間と、操作内容とを対応づけた操作履歴情報３２１を参照して、支援態様を決定できるので、支援を受けるユーザに適した態様で支援情報を出力できる。
プロセッサ１１は、ユーザの識別情報と、ユーザが実行しようとする機能の操作の推測結果と、ユーザが機能を実行させる操作指令の入力が完了するまでに要した操作所要時間と、を対応づけた操作履歴情報３２１を、通信ネットワークを介して記憶装置３２０へ送信し、記憶装置３２０に記憶させる。操作履歴情報３２１は、操作支援装置１００の記憶装置２０に記憶してもよい。このようにユーザの識別情報と操作所要時間と、操作内容とを対応づけた操作履歴情報３２１を参照して、支援態様を決定できるので、支援を受けるユーザに適した態様で支援情報を出力できる。
音声出力態様の支援情報の出力例を示す。一例として、自動運転モード切替の機能を実行する場面において、「自動運転機能をオンにする」場合の音声出力態様で支援情報を提供する場合の出力例を示す。支援情報は、自動運転モード切替において操作するべき操作部に対する操作手順を一つのアクションごとに音声によりガイドする。プロセッサ１１は、ユーザが自動運転機能をオンにすることを希望していると推測した場合には、「操作手順を説明します。」「操作１、ハンドルに設置されたプロパイロットのセットスイッチをオンにしてください。」、「操作２、プロパイロット機能がスタンバイ状態となりましたら、プロパイロットのセットスイッチをオンにしてください。」、「操作３、プロパイロット機能のスタートを確認してください。」といった音声アナウンスを出力する。各機能には、その操作を支援する支援情報の音声コンテンツが対応づけて記憶されている。推測された機能の操作に対する支援情報の支援態様が音声出力態様に決定された場合には、その推測された機能に対応づけられた音声の支援情報を読み出し、スピーカ２２４を介して音声出力をする。
図１１は、操作履歴情報３２１を蓄積する学習処理の制御手順を示すフローチャートである。
図１１のステップＳ１において、プロセッサ１１は、ユーザを識別する。具体的な処理内容は、図３のステップＳ１０１と共通する。
図１１のステップＳ１において、プロセッサ１１は、ユーザを識別する。具体的な処理内容は、図３のステップＳ１０１と共通する。
ステップＳ２において、プロセッサ１１は、ユーザの動作情報を取得し、ユーザの動きに基づく動作情報に基づいて、ユーザが操作に手間取っている操作探索状態であることを判断する。具体的な処理内容は、図３のステップＳ１０３と共通する。
ユーザが操作探索状態であると判断した場合には、ステップＳ３へ移行する。
ステップＳ３において、ユーザが操作探索状態であると判断したタイミングを始点とし、計時を開始する。ユーザが操作探索状態であると判断されたタイミングが、「機能の操作が開始されたタイミング」と擬制する。ステップＳ４において、ユーザの操作指令の入力が完了したか否かを判断する。予測された機能に関する入力情報を得た場合には、操作指令の入力が完了したと判断する。ステップＳ５において、入力情報を得たタイミングを終点とし、計時を終了する。ステップＳ６において、プロセッサ１１は、操作所要時間を算出する。ステップＳ３の計時開始の始点からステップＳ５の計時終了の終点までの間が操作所要時間である。プロセッサ１１は、これにより、「機能の操作が開始されたタイミング」から、操作部に対して「操作指令の入力が完了したタイミング」までの操作所要時間を取得する。ステップＳ７において、プロセッサ１１は、ユーザの識別情報と、操作対象と、支援態様と、操作所要時間とを対応づけた操作履歴情報を、サーバ３００へ送出する。併せて、車両情報としての車種や、判断された手間取りレベルを送信してもよい。支援態様は、出力装置の種別と、伝達媒体の種別を含んでもよい。
ステップＳ３において、ユーザが操作探索状態であると判断したタイミングを始点とし、計時を開始する。ユーザが操作探索状態であると判断されたタイミングが、「機能の操作が開始されたタイミング」と擬制する。ステップＳ４において、ユーザの操作指令の入力が完了したか否かを判断する。予測された機能に関する入力情報を得た場合には、操作指令の入力が完了したと判断する。ステップＳ５において、入力情報を得たタイミングを終点とし、計時を終了する。ステップＳ６において、プロセッサ１１は、操作所要時間を算出する。ステップＳ３の計時開始の始点からステップＳ５の計時終了の終点までの間が操作所要時間である。プロセッサ１１は、これにより、「機能の操作が開始されたタイミング」から、操作部に対して「操作指令の入力が完了したタイミング」までの操作所要時間を取得する。ステップＳ７において、プロセッサ１１は、ユーザの識別情報と、操作対象と、支援態様と、操作所要時間とを対応づけた操作履歴情報を、サーバ３００へ送出する。併せて、車両情報としての車種や、判断された手間取りレベルを送信してもよい。支援態様は、出力装置の種別と、伝達媒体の種別を含んでもよい。
ステップＳ８において、サーバ３００は、受信した情報を記憶装置３２０に操作履歴情報３２１に蓄積する。
図１２は、記憶装置３２０に蓄積された操作履歴情報の一例である。操作履歴情報３２１は、ユーザごとにソートしてもよいし、機能ごとにソートしてもよい。ステップＳ９において、サーバ３００は、操作履歴情報３２１を更新する。本実施形態では、ステップＳ８以降の処理は、サーバ３００の制御装置３１０が実行する。操作支援装置１００が操作所要時間を含む操作履歴情報に、記憶装置３２０への書き込み指令を含ませてサーバ３００へ送信してもよい。
図１２は、記憶装置３２０に蓄積された操作履歴情報の一例である。操作履歴情報３２１は、ユーザごとにソートしてもよいし、機能ごとにソートしてもよい。ステップＳ９において、サーバ３００は、操作履歴情報３２１を更新する。本実施形態では、ステップＳ８以降の処理は、サーバ３００の制御装置３１０が実行する。操作支援装置１００が操作所要時間を含む操作履歴情報に、記憶装置３２０への書き込み指令を含ませてサーバ３００へ送信してもよい。
続いて、操作評価時間を含む操作履歴情報３２１の蓄積処理について説明する。
プロセッサ１１は、ユーザの識別情報と、操作指令に応じて実行された機能と、支援情報を出力したときの支援態様と、支援情報の出力完了から機能を実行させる操作指令の入力が完了するまでの操作評価時間を含む操作履歴情報を、通信ネットワークを介して記憶装置３２０へ送信し、記憶装置３２０に記憶させる。操作履歴情報３２１は、操作支援装置１００の記憶装置２０に記憶してもよい。このように蓄積された操作評価時間と支援態様とを含む操作履歴情報３２１を参照して、支援態様を決定できるので、支援を受けるユーザに適した態様で支援情報を出力できる。
プロセッサ１１は、ユーザの識別情報と、操作指令に応じて実行された機能と、支援情報を出力したときの支援態様と、支援情報の出力完了から機能を実行させる操作指令の入力が完了するまでの操作評価時間を含む操作履歴情報を、通信ネットワークを介して記憶装置３２０へ送信し、記憶装置３２０に記憶させる。操作履歴情報３２１は、操作支援装置１００の記憶装置２０に記憶してもよい。このように蓄積された操作評価時間と支援態様とを含む操作履歴情報３２１を参照して、支援態様を決定できるので、支援を受けるユーザに適した態様で支援情報を出力できる。
図１３は、操作評価時間を含む操作履歴情報３２１を蓄積する学習処理の制御手順を示すフローチャートである。
図１３のステップＳ１１において、プロセッサ１１は、ユーザを識別する。具体的な処理内容は、図３のステップＳ１０１と共通する。
図１３のステップＳ１１において、プロセッサ１１は、ユーザを識別する。具体的な処理内容は、図３のステップＳ１０１と共通する。
ステップＳ１２において、プロセッサ１１は、ユーザの動作情報を取得し、ユーザの動きに基づく動作情報に基づいて、ユーザが操作に手間取っている操作探索状態であることを判断する。具体的な処理内容は、図３のステップＳ１０３と共通する。
ユーザが操作探索状態であると判断した場合には、ステップＳ１３へ移行する。
ステップＳ１２において、ユーザが操作探索状態であると判断され、ステップＳ１３において所定時間が経過した場合には、ステップＳ１４に進む。そうでない場合には、ステップＳ１１へ戻る。ステップＳ１４において、プロセッサ１１は、ユーザが操作指令を入力する機能の対象を取得する。ステップＳ１５において、プロセッサ１１は、支援態様を取得する。支援態様は、図３のステップＳ１０７において決定された態様である。ステップＳ１６において、プロセッサ１１は、支援情報を生成する。支援情報は、図３のステップＳ１０８において生成された出力命令に係る支援情報である。ステップＳ１７において、プロセッサ１１は、支援情報を出力する。
ステップＳ１２において、ユーザが操作探索状態であると判断され、ステップＳ１３において所定時間が経過した場合には、ステップＳ１４に進む。そうでない場合には、ステップＳ１１へ戻る。ステップＳ１４において、プロセッサ１１は、ユーザが操作指令を入力する機能の対象を取得する。ステップＳ１５において、プロセッサ１１は、支援態様を取得する。支援態様は、図３のステップＳ１０７において決定された態様である。ステップＳ１６において、プロセッサ１１は、支援情報を生成する。支援情報は、図３のステップＳ１０８において生成された出力命令に係る支援情報である。ステップＳ１７において、プロセッサ１１は、支援情報を出力する。
ステップＳ１８において、プロセッサ１１は、支援情報の出力開始のタイミングを始点として計時を開始する。ステップＳ１９において、プロセッサ１１は、操作指令の入力が完了したか否かを判断する。予測された機能に関する入力情報を得た場合には、操作指令の入力が完了したと判断する。ステップＳ２０において、入力情報を得たタイミングを終点とし、計時を終了する。同ｓステップＳ２０において、プロセッサ１１は、操作評価時間を算出する。ステップＳ１８の計時開始の始点からステップＳ１９の計時終了の終点までの間が操作評価時間である。プロセッサ１１は、これにより、「支援情報の出力完了」から、操作部に対して「操作指令の入力が完了したタイミング」までの操作所要時間を取得する。ステップＳ２１において、プロセッサ１１は、ユーザの識別情報と、操作対象と、支援態様と、操作評価時間とを対応づけた操作履歴情報３２１を、サーバ３００へ送出する。併せて、車両情報としての車種や、判断された手間取りレベルを送信してもよい。支援態様は、出力装置の種別と、伝達媒体の種別を含んでもよい。操作評価時間は、支援開始タイミング（支援情報の出力開始タイミング）と操作終了タイミング（操作指令の入力タイミング）とを含んでもよい。
ステップＳ２２において、サーバ３００は、受信した情報を記憶装置３２０に操作履歴情報３２１に蓄積する。
図１４は、記憶装置３２０に蓄積された操作履歴情報の一例である。操作履歴情報３２１は、ユーザごとにソートしてもよいし、機能ごとにソートしてもよい。ステップＳ２３において、サーバ３００は、操作履歴情報３２１を更新する。本実施形態では、ステップＳ８以降の処理は、サーバ３００の制御装置３１０が実行する。操作支援装置１００が操作所要時間を含む操作履歴情報に、記憶装置３２０への書き込み指令を含ませてサーバ３００へ送信してもよい。
図１４は、記憶装置３２０に蓄積された操作履歴情報の一例である。操作履歴情報３２１は、ユーザごとにソートしてもよいし、機能ごとにソートしてもよい。ステップＳ２３において、サーバ３００は、操作履歴情報３２１を更新する。本実施形態では、ステップＳ８以降の処理は、サーバ３００の制御装置３１０が実行する。操作支援装置１００が操作所要時間を含む操作履歴情報に、記憶装置３２０への書き込み指令を含ませてサーバ３００へ送信してもよい。
本発明の実施形態の操作支援装置１００は、以上のように構成され動作するので、以下の効果を奏する。
［１］本実施形態の操作支援方法は、取得したユーザの動作情報に基づいて実行しようとする機能の操作を推測し、記憶装置３２０又は記憶装置２０に少なくとも一時的に記憶され、機能を実行させるためにユーザが操作指令に要した操作所要時間を含む操作履歴情報を参照し、ユーザごとの操作所要時間に基づいて、推測された操作を支援する支援情報の支援態様を決定し、支援態様で支援情報を出力させる。
本実施形態の操作支援方法によれば、ユーザが実行しようとする機能を推測するので、操作の対象が特定されていない場合であっても、適切な操作支援をすることができる。また、操作履歴情報３２１を参照し、推測された機能に基づいて支援態様を決定するので、ユーザにとって適した支援態様で支援情報を提供することができる。この結果、ユーザにとって効果的な支援態様で支援情報を提供できる。
本実施形態の操作支援方法によれば、ユーザが実行しようとする機能を推測するので、操作の対象が特定されていない場合であっても、適切な操作支援をすることができる。また、操作履歴情報３２１を参照し、推測された機能に基づいて支援態様を決定するので、ユーザにとって適した支援態様で支援情報を提供することができる。この結果、ユーザにとって効果的な支援態様で支援情報を提供できる。
［２］本実施形態の操作支援方法は、支援態様は、（１）スピーカ２２４などの音声出力装置を用いて支援情報を音声出力する音声出力態様と、（２）ディスプレイ２２１などの画像出力装置を用いて支援情報を提示する表示出力態様と、（３）発光装置を用いた支援情報を出力する発光態様とのうちの何れか一つを支援態様として決定する。
音声出力装置としてのスピーカ２２４を用いて出力される支援情報は音声情報であり、支援態様は音声出力態様である。画像出力装置としてのディスプレイ２２１を介して出力される支援情報は画像（図形、テキストを含む）であり、支援態様は表示出力態様である。発光装置としての発光素子２２５を介して出力される支援情報は視認可能な発光情報であり、支援態様は発光態様である。
本実施形態の操作支援方法によれば、人間が聴取できる音声情報、人間が視認できる表示（画像）情報、人間が知覚できる発光情報の何れか一つ以上により支援情報を出力することができるので、ユーザに適した支援態様で支援情報を提供することができる。
音声出力装置としてのスピーカ２２４を用いて出力される支援情報は音声情報であり、支援態様は音声出力態様である。画像出力装置としてのディスプレイ２２１を介して出力される支援情報は画像（図形、テキストを含む）であり、支援態様は表示出力態様である。発光装置としての発光素子２２５を介して出力される支援情報は視認可能な発光情報であり、支援態様は発光態様である。
本実施形態の操作支援方法によれば、人間が聴取できる音声情報、人間が視認できる表示（画像）情報、人間が知覚できる発光情報の何れか一つ以上により支援情報を出力することができるので、ユーザに適した支援態様で支援情報を提供することができる。
［３］本実施形態の操作支援方法は、識別されたユーザに対応づけられた、機能を実行させる操作指令の入力が完了するまでに要した操作所要時間を含む操作履歴情報を参照し、操作指令をしたユーザの識別結果に基づいて、識別されたユーザの操作所要時間のうち、相対的に短い操作所要時間に対応づけられた支援態様を優先して選択し、その支援態様で支援情報を出力する。
操作所要時間は、「機能の操作が開始されたタイミング」から、操作部に対して「操作指令の入力が完了したタイミング」までの時間であるので、操作所要時間が短ければ、そのときの支援態様で支援情報が提供されればユーザは操作に手間取らないと評価できる。
本実施形態の操作支援方法によれば、ユーザごとに記憶された操作所要時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザにとって有効な支援態様で支援情報を提供することができる。
また、ユーザ及び機能ごとに記憶された操作所要時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザが実行を希望すると予測される機能について有効な支援態様で支援情報を提供することができる。
操作所要時間の短い支援態様で支援情報を提供するので、操作所要時間を短縮することができる。
操作所要時間は、「機能の操作が開始されたタイミング」から、操作部に対して「操作指令の入力が完了したタイミング」までの時間であるので、操作所要時間が短ければ、そのときの支援態様で支援情報が提供されればユーザは操作に手間取らないと評価できる。
本実施形態の操作支援方法によれば、ユーザごとに記憶された操作所要時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザにとって有効な支援態様で支援情報を提供することができる。
また、ユーザ及び機能ごとに記憶された操作所要時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザが実行を希望すると予測される機能について有効な支援態様で支援情報を提供することができる。
操作所要時間の短い支援態様で支援情報を提供するので、操作所要時間を短縮することができる。
［４］本実施形態の操作支援方法は、識別されたユーザが実行した機能に対応づけられた、機能を実行させる操作指令の入力が完了するまでに要した操作所要時間を含む操作履歴情報を参照し、操作指令をしたユーザの識別結果と、ユーザが実行しようとする車載の機器の操作の推測結果とに基づいて、識別されたユーザの機能ごとに記憶された操作所要時間のうち、相対的に短い操作所要時間に対応づけられた支援態様を優先して選択し、選択された支援態様で支援情報を出力する。
本実施形態の操作支援方法によれば、ユーザ及び機能ごとに記憶された操作所要時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザが実行を希望すると予測される機能について有効な支援態様で支援情報を提供することができる。
本実施形態の操作支援方法によれば、ユーザ及び機能ごとに記憶された操作所要時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザが実行を希望すると予測される機能について有効な支援態様で支援情報を提供することができる。
［５］本実施形態の操作支援方法は、識別されたユーザに対応づけられた、操作評価時間を含む操作履歴情報を参照し、操作指令をしたユーザの識別結果に基づいて、識別されたユーザの操作評価時間のうち、相対的に短い操作評価時間に対応づけられた支援態様を優先して選択し、その支援態様で支援情報を出力する。
操作評価時間は、「支援情報の出力完了」から「機能を実行させる操作指令の入力の完了」までの時間であるので、操作評価時間が短ければ、支援情報の出力によってユーザの手間取り時間が短くなったと評価できる。
本実施形態の操作支援方法によれば、ユーザごとに記憶された操作評価時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザにとって有効な支援態様で支援情報を提供することができる。
操作評価時間は、「支援情報の出力完了」から「機能を実行させる操作指令の入力の完了」までの時間であるので、操作評価時間が短ければ、支援情報の出力によってユーザの手間取り時間が短くなったと評価できる。
本実施形態の操作支援方法によれば、ユーザごとに記憶された操作評価時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザにとって有効な支援態様で支援情報を提供することができる。
［６］本実施形態の操作支援方法は、識別されたユーザが実行した機能に対応づけられた、操作評価時間を含む操作履歴情報を参照し、操作指令をしたユーザの識別結果と、ユーザが実行しようとする車載の機器の操作の推測結果とに基づいて、識別されたユーザの機能ごとに記憶された操作評価時間のうち、相対的に短い操作評価時間に対応づけられた支援態様を優先して選択し、その支援態様で支援情報を出力する。
本実施形態の操作支援方法によれば、ユーザ及び機能ごとに記憶された操作評価時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザが実行を希望すると予測される機能について有効な支援態様で支援情報を提供することができる。
本実施形態の操作支援方法によれば、ユーザ及び機能ごとに記憶された操作評価時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザが実行を希望すると予測される機能について有効な支援態様で支援情報を提供することができる。
［７］本実施形態の操作支援方法は、操作指令をしたユーザを識別し、機能の操作が開始されたと判断されたタイミングからの経過時間が、操作所要時間に基づいて設定された所定時間以上となった場合に、支援態様を選択して、その支援態様により支援情報を出力する。
ユーザが手間取っていることを判断するための閾値としての「所定時間」は、過去の操作履歴情報に基づいて、機能の操作か開始されてから操作指令が入力されるまでの操作所要時間に基づいて設定する。
本実施形態の操作支援方法によれば、ユーザが実際に手間取った時間に基づいて、手間取りの有無を判断する閾値を設定することにより、そのユーザが手間取ったことを高い精度で判断できる。
機能の操作が開始されたと判断されたタイミングからの経過時間が、操作所要時間に基づいて設定された所定時間以上となっても、操作指令が入力されないときに支援情報を提供できるので、ユーザが実際に手間取っているときに、支援情報を提供することができる。
ユーザが手間取っていることを判断するための閾値としての「所定時間」は、過去の操作履歴情報に基づいて、機能の操作か開始されてから操作指令が入力されるまでの操作所要時間に基づいて設定する。
本実施形態の操作支援方法によれば、ユーザが実際に手間取った時間に基づいて、手間取りの有無を判断する閾値を設定することにより、そのユーザが手間取ったことを高い精度で判断できる。
機能の操作が開始されたと判断されたタイミングからの経過時間が、操作所要時間に基づいて設定された所定時間以上となっても、操作指令が入力されないときに支援情報を提供できるので、ユーザが実際に手間取っているときに、支援情報を提供することができる。
［８］本実施形態の操作支援方法は、動作情報の検出位置と車載の機器の操作部の位置とが予め対応づけられた操作対応情報を参照し、動作情報から抽出されたユーザの動作の対象となる操作部の位置に基づいて、ユーザが実行しようとする機能の操作を推測する。
本実施形態の操作支援方法によれば、ユーザの動作の対象の位置からユーザが実行しようとする機能の操作部を推測することができるので、適切な支援情報を提供することができる。
動作情報に基づいてユーザが実行しようとする機能の操作を推測することができるので、ユーザが実際に入力を完了していなくても、ユーザが操作指令を入力できずに手間取っているタイミングを判断し、ユーザが実行しようとする機能を推測できる。
本実施形態の操作支援方法によれば、ユーザの動作の対象の位置からユーザが実行しようとする機能の操作部を推測することができるので、適切な支援情報を提供することができる。
動作情報に基づいてユーザが実行しようとする機能の操作を推測することができるので、ユーザが実際に入力を完了していなくても、ユーザが操作指令を入力できずに手間取っているタイミングを判断し、ユーザが実行しようとする機能を推測できる。
［９］本実施形態の操作支援方法は、ユーザの動作から予測される機能の操作部と動作情報とが予め対応づけられた操作対応情報を参照し、動作情報に基づいてユーザが実行しようとする機能の操作を推測する。
本実施形態の操作支援方法によれば、ユーザの動作情報からユーザが実行しようとする機能の操作部を推測することができるので、適切な支援情報を提供することができる。
本実施形態の操作支援方法によれば、ユーザの動作情報からユーザが実行しようとする機能の操作部を推測することができるので、適切な支援情報を提供することができる。
［１０］本実施形態の操作支援方法は、撮像画像から抽出された、ユーザの手部、若しくは頭部の動き又は視線の向きに関する情報を含むユーザの動作情報に基づいて、ユーザが実行しようとする機能を推測する。
本実施形態の操作支援方法によれば、ユーザの手部、頭部の動きを分析することにより、ユーザが実行しようとする機能の操作部を高い精度で推測できる。ユーザの視線の向きを分析することにより、ユーザが実行しようとする機能の操作部を高い精度で推測できる。
本実施形態の操作支援方法によれば、ユーザの手部、頭部の動きを分析することにより、ユーザが実行しようとする機能の操作部を高い精度で推測できる。ユーザの視線の向きを分析することにより、ユーザが実行しようとする機能の操作部を高い精度で推測できる。
［１１］本実施形態の操作支援方法は、集音された音声情報から抽出された、ユーザの発話情報をユーザの発話情報に含ませる。
本実施形態の操作支援方法によれば、ユーザの発話に含まれるワードを音声認識することにより、ユーザが実行しようとする機能の操作部を高い精度で推測できる。
本実施形態の操作支援方法によれば、ユーザの発話に含まれるワードを音声認識することにより、ユーザが実行しようとする機能の操作部を高い精度で推測できる。
［１２］本実施形態の操作支援方法は、車両の検出情報から車両の状態を判断し、車両の状態に関する車両状態情報と、車両状態情報から予測される走行環境に応じた機能の操作部とが予め対応づけられた操作対応情報を参照し、判断された車両の状態に基づいて、ユーザが実行しようとする機能の操作部を推測する。
本実施形態の操作支援方法によれば、車両の状態からユーザが実行しようとする機能の操作を推測することができるので、適切な支援情報を提供することができる。
本実施形態の操作支援方法によれば、車両の状態からユーザが実行しようとする機能の操作を推測することができるので、適切な支援情報を提供することができる。
［１３］本実施形態の操作支援方法において、車両状態情報は、車両の運転モードの種別、車両の速度、車両が走行する経路の渋滞状況、車両の損傷の有無、車両に搭載された機器の故障又は異常の有無、車両の位置、車両の室内温度、車両の外気温度、車両のワイパーの動作のうちのいずれか一つ以上を含む。
本実施形態の操作支援方法によれば、様々な車両状態情報から、ユーザが実行しようとする機能を推測することができる。
本実施形態の操作支援方法によれば、様々な車両状態情報から、ユーザが実行しようとする機能を推測することができる。
［１４］本実施形態の操作支援方法は、支援態様の決定がされた後、ユーザの動作情報及び／又は車両状態情報に基づいて支援態様の変更処理を行う。操作所要時間又は操作評価時間に基づいて支援態様の決定がされた後であっても、ユーザの動作情報及び／又は車両状態情報に基づいて支援態様の変更処理を行うことにより、ユーザが理解しやすい支援態様で支援情報を提供することができる。
［１５］本実施形態の操作支援方法は、ユーザの識別情報と、ユーザが実行しようとする機能の操作の推測結果と、ユーザが機能を実行させる操作指令の入力が完了するまでに要した操作所要時間と、を対応づけた操作履歴情報３２１を、通信ネットワークを介して送信し、サーバ３００の記憶装置３２０又は操作支援装置１００の記憶装置２０に記憶させる。
本実施形態の操作支援方法によれば、蓄積した操作履歴情報３２１を参照して、支援態様を決定できるので、支援を受けるユーザに適した態様で支援情報を出力できる。
本実施形態の操作支援方法によれば、蓄積した操作履歴情報３２１を参照して、支援態様を決定できるので、支援を受けるユーザに適した態様で支援情報を出力できる。
［１６］本実施形態の操作支援方法は、ユーザの識別情報と、操作指令に応じて実行された機能と、支援情報を出力したときの支援態様と、支援情報の出力完了から機能を実行させる操作指令の入力が完了するまでの操作評価時間を含む操作履歴情報を、通信ネットワークを介して送信し、サーバ３００の記憶装置３２０又は操作支援装置１００の記憶装置２０に記憶する。
本実施形態の操作支援方法によれば、蓄積された操作評価時間と支援態様とを含む操作履歴情報３２１を参照して、支援態様を決定できるので、支援を受けるユーザに適した態様で支援情報を出力できる。
本実施形態の操作支援方法によれば、蓄積された操作評価時間と支援態様とを含む操作履歴情報３２１を参照して、支援態様を決定できるので、支援を受けるユーザに適した態様で支援情報を出力できる。
［１７］本実施形態の操作支援装置１００は、上述した操作支援方法と同様の作用及び効果を奏する。
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
１…操作支援システム
１００…操作支援装置
１０…制御装置
１１…プロセッサ
２０…記憶装置
３２１…操作履歴情報
３０…出力装置
２００…車載装置、車載された機器
２１０…通信装置
２２０…入出力装置
２２１…ディスプレイ
２２２…マイク
２２３…スイッチ
２２４…スピーカ
２２５…発光素子
２２６…カメラ
２３０…検出装置
２３１…画像処理装置
２３２…音声処理装置
２３３…ドアセンサ
２３４…着座センサ
２３５…温度計
２３６…位置センサ
２３７…シフトポジションセンサ
２４０…車両コントローラ
２４１…タイマ
２５０…自動運転装置
２５１…駆動装置
２５２…制動装置
２５３…操舵装置
２６０…センサ
２６１…舵角センサ
２６２…車速センサ
２６３…レーダー装置
２７０…ナビゲーション装置
２７１…位置検出装置
２７２…地図情報
２７３…施設情報
２７４…出力装置
２８０…アクセサリ
２８１…オーディオ装置
２８２…空調装置
２８３…外部通信装置
２９１…エアバック装置
２９２…自己診断装置
１００…操作支援装置
１０…制御装置
１１…プロセッサ
２０…記憶装置
３２１…操作履歴情報
３０…出力装置
２００…車載装置、車載された機器
２１０…通信装置
２２０…入出力装置
２２１…ディスプレイ
２２２…マイク
２２３…スイッチ
２２４…スピーカ
２２５…発光素子
２２６…カメラ
２３０…検出装置
２３１…画像処理装置
２３２…音声処理装置
２３３…ドアセンサ
２３４…着座センサ
２３５…温度計
２３６…位置センサ
２３７…シフトポジションセンサ
２４０…車両コントローラ
２４１…タイマ
２５０…自動運転装置
２５１…駆動装置
２５２…制動装置
２５３…操舵装置
２６０…センサ
２６１…舵角センサ
２６２…車速センサ
２６３…レーダー装置
２７０…ナビゲーション装置
２７１…位置検出装置
２７２…地図情報
２７３…施設情報
２７４…出力装置
２８０…アクセサリ
２８１…オーディオ装置
２８２…空調装置
２８３…外部通信装置
２９１…エアバック装置
２９２…自己診断装置
Claims (17)
- 車両の機器が備える機能を利用するユーザの操作に関する支援情報を出力する操作支援装置のプロセッサに実行させる操作支援方法であって、
前記プロセッサは、
前記ユーザの動作情報を取得し、
前記ユーザの動作情報に基づいて、前記ユーザが実行しようとする前記機能の操作を推測し、
記憶装置に少なくとも一時的に記憶され、前記機能を実行させる操作指令の入力が完了するまでに要した操作所要時間を含む操作履歴情報を参照し、
前記ユーザごとの前記操作所要時間に基づいて、前記推測された前記ユーザが実行しようとする前記機能の操作を支援する支援情報の支援態様を決定し、
前記支援態様で前記支援情報を出力させる操作支援方法。 - 前記支援態様を決定する処理において、
前記プロセッサは、
音声出力装置を用いて前記支援情報を音声出力する音声出力態様と、
画像出力装置を用いて前記支援情報を提示する表示出力態様と、
発光装置を用いた前記支援情報を出力する発光態様とのうちの何れか一つを前記支援態様として決定する請求項１に記載の操作支援方法。 - 前記支援態様を決定する処理において、
前記プロセッサは、
識別された前記ユーザに対応づけられた、前記機能を実行させる前記操作指令の入力が完了するまでに要した前記操作所要時間を含む操作履歴情報を参照し、
前記操作指令をした前記ユーザの識別結果に基づいて、前記識別された前記ユーザの前記操作所要時間のうち、相対的に短い前記操作所要時間に対応づけられた前記支援態様を優先して選択し、
前記選択された前記支援態様を、前記支援情報を出力する前記支援態様として決定する請求項１又は２に記載の操作支援方法。 - 前記支援態様を決定する処理において、
前記プロセッサは、
識別された前記ユーザが実行した前記機能に対応づけられた、前記機能を実行させる前記操作指令の入力が完了するまでに要した前記操作所要時間を含む操作履歴情報を参照し、
前記操作指令をした前記ユーザの識別結果と、前記ユーザが実行しようとする前記機器の操作の推測結果と、に基づいて、前記識別された前記ユーザの前記機能ごとに記憶された前記操作所要時間のうち、相対的に短い前記操作所要時間に対応づけられた前記支援態様を優先して選択し、
前記選択された前記支援態様を、前記支援情報を出力する前記支援態様として決定する請求項１又は２に記載の操作支援方法。 - 前記支援態様を決定する処理において、
前記プロセッサは、
識別された前記ユーザに対応づけられた、前記支援情報の出力完了から前記機能を実行させる前記操作指令の入力が完了するまでの操作評価時間を含む操作履歴情報を参照し、
前記操作指令をした前記ユーザの識別結果に基づいて、前記識別された前記ユーザの前記操作評価時間のうち、相対的に短い前記操作評価時間に対応づけられた前記支援態様が優先して選択されるように重みづけをし、
前記選択された前記支援態様を、前記支援情報を出力する前記支援態様として決定する請求項１～４の何れか一項に記載の操作支援方法。 - 前記支援態様を決定する処理において、
前記プロセッサは、
識別された前記ユーザが実行した前記機能に対応づけられた、前記支援情報の出力完了から前記機能を実行させる前記操作指令の入力が完了するまでの操作評価時間を含む操作履歴情報を参照し、
前記操作指令をした前記ユーザの識別結果と、前記ユーザが実行しようとする前記機器の操作の推測結果と、に基づいて、前記識別された前記ユーザの前記機能ごとに記憶された前記操作評価時間のうち、相対的に短い前記操作評価時間に対応づけられた前記支援態様を優先して選択されるように重みづけをし、
選択された前記支援態様を、前記支援情報を出力する前記支援態様として決定する請求項１～４の何れか一項に記載の操作支援方法。 - 前記プロセッサは、
前記操作指令をした前記ユーザを識別し、
前記機能の操作が開始されたと判断されたタイミングからの経過時間が、前記操作所要時間に基づいて設定された所定時間以上となった場合に、
前記支援態様を選択し、前記選択された前記支援態様により前記支援情報を出力する、請求項１～６の何れか一項に記載の操作支援方法。 - 前記ユーザが実行しようとする前記機能の操作を推測する処理において、
前記プロセッサは、
前記動作情報の検出位置と前記機器の操作部の位置とが予め対応づけられた操作対応情報を参照し、前記動作情報から抽出された前記ユーザの動作の対象となる操作部の位置に基づいて、前記ユーザが実行しようとする前記機能の操作を推測する、請求項１～７の何れか一項に記載の操作支援方法。 - 前記ユーザが実行しようとする前記機能の操作を推測する処理において、
前記プロセッサは、
前記ユーザの動作から予測される前記機能の操作部と前記動作情報とが予め対応づけられた操作対応情報を参照し、前記動作情報に基づいて前記ユーザが実行しようとする前記機能の操作を推測する請求項１～７の何れか一項に記載の操作支援方法。 - 前記動作情報は、撮像画像から抽出された、前記ユーザの手部、若しくは頭部の動き又は視線の向きに関する情報を含む請求項１～９の何れか一項に記載の操作支援方法。
- 前記動作情報は、集音された音声情報から抽出された、前記ユーザの発話情報を含む請求項１～１０の何れか一項に記載の操作支援方法。
- 前記ユーザが実行しようとする前記機能の操作を推測する処理において、
前記プロセッサは、
車両の検出情報から前記車両の状態を判断し、
前記車両の状態に関する車両状態情報と、前記車両状態情報から予測される走行環境に応じた前記機能の操作部とが予め対応づけられた操作対応情報を参照し、前記判断された前記車両の状態に基づいて、前記ユーザが実行しようとする前記機能の操作部を推測する、請求項１～１１の何れか一項に記載の操作支援方法。 - 前記車両状態情報は、前記車両の運転モードの種別、前記車両の速度、前記車両が走行する経路の渋滞状況、前記車両の損傷の有無、前記車両の前記機器の故障又は異常の有無、前記車両の位置、前記車両の室内温度、前記車両の外気温度、前記車両のワイパーの動作のうちのいずれか一つ以上を含む請求項１２に記載の操作支援方法。
- 前記プロセッサは、
前記ユーザの前記動作情報及び／又は前記車両の状態に関する車両状態情報が所定の状態である場合には、前記決定された前記支援態様を変更する請求項１～１３の何れか一項に記載の操作支援方法。 - 前記機能の操作の開始が検出された場合に、
前記プロセッサは、
前記ユーザの識別情報と、
前記ユーザが実行しようとする前記機能の操作の推測結果と、
前記ユーザが前記機能を実行させる前記操作指令の入力が完了するまでに要した前記操作所要時間と、を対応づけた操作履歴情報を、通信ネットワークを介して前記記憶装置へ送信し、
前記記憶装置に前記操作履歴情報を記憶させる、請求項１～１４の何れか一項に記載の操作支援方法。 - 前記機能の操作の開始が検出された場合に、
前記プロセッサは、
前記ユーザの識別情報と、
前記操作指令に応じて実行された前記機能と、
前記ユーザが実行した前記機能に対応づけられた、前記支援情報の出力完了から前記機能を実行させる前記操作指令の入力が完了するまでの操作評価時間と、
前記支援情報を出力したときの前記支援態様と、を対応づけた操作履歴情報を、通信ネットワークを介して前記記憶装置へ送信し、
前記記憶装置に前記操作履歴情報を記憶する、請求項１～１４の何れか一項に記載の操作支援方法。 - 車両の機器が備える機能を利用するユーザに操作に関する支援情報を出力する操作支援装置であって、
前記操作支援装置が備えるプロセッサは、
前記ユーザの動作情報を取得し、
前記動作情報に基づいて、前記ユーザが実行しようとする前記機能の操作を推測し、
記憶装置に少なくとも一時的に記憶され、前記機能を実行させるために前記ユーザが操作指令に要した操作所要時間を含む操作履歴情報を参照し、
前記ユーザごとの前記操作所要時間に基づいて、前記推測された前記操作を支援する支援情報の支援態様を決定し、
前記支援態様で前記支援情報を出力させる操作支援装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018196556A JP7107157B2 (ja) | 2018-10-18 | 2018-10-18 | 操作支援方法及び操作支援装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018196556A JP7107157B2 (ja) | 2018-10-18 | 2018-10-18 | 操作支援方法及び操作支援装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020064492A JP2020064492A (ja) | 2020-04-23 |
| JP7107157B2 true JP7107157B2 (ja) | 2022-07-27 |
Family
ID=70387331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018196556A Active JP7107157B2 (ja) | 2018-10-18 | 2018-10-18 | 操作支援方法及び操作支援装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7107157B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7294301B2 (ja) * | 2020-10-28 | 2023-06-20 | トヨタ自動車株式会社 | 移動体、サーバおよび判定プログラム |
| WO2023238358A1 (ja) * | 2022-06-09 | 2023-12-14 | 日本電信電話株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
| WO2024043053A1 (ja) * | 2022-08-23 | 2024-02-29 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009059229A (ja) | 2007-08-31 | 2009-03-19 | Auto Network Gijutsu Kenkyusho:Kk | 操作支援方法及び操作支援システム |
| JP2013222299A (ja) | 2012-04-16 | 2013-10-28 | Toyota Central R&D Labs Inc | 操作支援装置、操作システム、操作支援方法、及びプログラム |
| JP2015011370A (ja) | 2013-06-26 | 2015-01-19 | 日本電気株式会社 | 情報処理装置、ｇｕｉ操作支援方法、及びプログラム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014059803A (ja) * | 2012-09-19 | 2014-04-03 | Alps Electric Co Ltd | 入力装置 |
-
2018
- 2018-10-18 JP JP2018196556A patent/JP7107157B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009059229A (ja) | 2007-08-31 | 2009-03-19 | Auto Network Gijutsu Kenkyusho:Kk | 操作支援方法及び操作支援システム |
| JP2013222299A (ja) | 2012-04-16 | 2013-10-28 | Toyota Central R&D Labs Inc | 操作支援装置、操作システム、操作支援方法、及びプログラム |
| JP2015011370A (ja) | 2013-06-26 | 2015-01-19 | 日本電気株式会社 | 情報処理装置、ｇｕｉ操作支援方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020064492A (ja) | 2020-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6508072B2 (ja) | 報知制御装置及び報知制御方法 | |
| EP3124348B1 (en) | Vehicle occupant information acquisition device and vehicle control system | |
| JP6578445B2 (ja) | 駐車支援装置 | |
| JP6323549B2 (ja) | 車両用情報呈示装置 | |
| EP3125211B1 (en) | Information presentation device and information presentation method | |
| EP3330148A1 (en) | Automatic driving system for vehicles | |
| JP7107157B2 (ja) | 操作支援方法及び操作支援装置 | |
| JP2020091790A (ja) | 自動運転システム | |
| US20160307056A1 (en) | Arrangement for creating an image of a scene | |
| CN112601689B (zh) | 车辆的行驶控制方法及行驶控制装置 | |
| US20190232931A1 (en) | Method and driver assistance system for assisting a driver in driving a vehicle | |
| JP6075577B2 (ja) | 運転支援装置 | |
| JP2018149941A (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
| JP2016181032A (ja) | 自動走行制御装置及び自動走行制御システム | |
| WO2018168049A1 (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
| JP2020050204A (ja) | 車両の走行制御方法及び走行制御装置 | |
| JP2004338496A (ja) | 車両用走行制御装置 | |
| JP7147858B2 (ja) | 車両の走行制御方法及び走行制御装置 | |
| JP7376996B2 (ja) | 車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム | |
| JP2002245597A (ja) | 車輌用情報出力装置 | |
| JP2014218124A (ja) | 操作支援装置及び操作支援方法 | |
| JP2020095466A (ja) | 電子装置 | |
| JP2018151902A (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
| WO2018168048A1 (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
| JP2021051604A (ja) | ドライブレコーダ、データ記録方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210802 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220525 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220614 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220627 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7107157 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |