JP6543185B2 - 車載装置 - Google Patents

Description

本発明は、車載装置に関する。

特許文献１には、車載機器の操作のメニューと、操作部に添えられたドライバーの手の映像とを、ヘッドアップディスプレイ（ＨＵＤ）に重畳して表示し、その映像を見ながら操作ができるようにすることで、車載機器の選択操作が簡単で早く、運転の妨げにならないように操作できる車載機器の操作装置について記載されている。

特開２０１０−２１５１９４

しかしながら、運転中における車載機器の操作において、特許文献１に記載の技術では、操作に関わるメニューがＨＵＤに常に表示されるため、運転操作の妨げになる恐れがある。また、操作を行うためには、操作のための専用のデバイスを車内の何れかの場所に設置する必要があり、コストが増すとともに設置における制約が発生してしまう。さらに、音声のみのインターフェースを用いた場合でも、音声認識に必要な処理の処理時間や、読み上げられる音声を聞くための時間が必要となり、操作性や利便性が損なわれてしまう。

本発明の第１の態様によると、車載装置は、所定の範囲内にあるユーザの手の位置を認識するジェスチャー検出部と、車両の運転状況を検出する運転状況認識部と、前記ジェスチャー検出部による前記手の位置の認識結果に基づくジェスチャー操作の状態を制御するジェスチャー制御部とを備え、前記ジェスチャー操作には、前記所定の範囲において手を停止させることなく前記所定の範囲を上から下または下から上に横切るように手を動かす直接ジェスチャーと、前記所定の範囲において手を一時的に停止させる手かざしジェスチャーとが含まれ、前記ジェスチャー制御部は、前記運転状況認識部が検出した前記車両の運転状況が所定の無効化対象状態であるときに、前記ジェスチャー操作を無効化し、前記車両を運転するためのステアリング操作を検出するステアリング操作検出部と、接続された表示部の表示内容を制御する出力情報制御部と、をさらに備え、前記運転状況認識部は、前記ステアリング操作に基づいて前記車両の運転状況を検出し、前記無効化対象状態とは、前記ステアリング操作検出部が検出したユーザのステアリング操作量が規定の操作量を上回る状態であり、前記ジェスチャー操作が無効化された場合、前記出力情報制御部は、前記手の位置が前記所定の範囲内にある場合でも、前記表示部の表示を変化させず、前記ジェスチャー制御部は、前記ステアリング操作量が第１の閾値以下の場合には前記直接ジェスチャーおよび前記手かざしジェスチャーのいずれも無効化せず、前記ステアリング操作量が前記第１の閾値よりも大きく第２の閾値以下の場合には前記手かざしジェスチャーのみ無効化し、前記ステアリング操作量が前記第２の閾値より大きい場合には前記直接ジェスチャーおよび前記手かざしジェスチャーのいずれも無効化する。

本発明によれば、運転中のドライバーによる車載機器の操作の安全性や操作性を向上することができる。

本発明の第一実施例における車載装置の構成図である。 センシング部の設置位置の例である。 ジェスチャー検知領域の例である。 ジェスチャー検知領域の例である。 第一実施例における動作フローの例である。 第一実施例における動作フローの例である。 表示部と外部表示部の表示例である。 表示部と外部表示部の表示例である。 表示部と外部表示部の表示例である。 表示部と外部表示部の表示例である。 外部表示部の表示例である。 外部表示部の表示例である。 外部表示部の表示例である。 外部表示部の表示例である。 表示部と外部表示部の表示例である。 外部表示部の表示例である。 外部表示部の表示例である。 センシング部の設置例である。 センシング部の位置に応じた動作の対応例である。 センシング部及びユーザの手の形の例である。 ユーザの手のかざし方の例である。 外部表示部の表示例である。 表示部の表示例である。 表示内容に対する表示場所の例である。 表示内容に対する表示場所の例である。 動作フローの例である。 外部表示部の表示例である。 外部表示部の表示例である。 外部表示部の表示例である。 外部表示部の表示例である。 外部表示部の表示例である。 外部表示部の表示例である。 第二実施例における車載装置の構成図である。 運転負荷レベルに応じた制御パターンの例である。 運転負荷レベルに応じた制御パターンの例である。 運転負荷レベルに応じた制御パターンの例である。 運転負荷レベルに応じた制御パターンの例である。 外部表示部の表示例である。 外部表示部の表示例である。 表示部の表示例である。 外部表示部の表示例である。 本発明の第三実施例における車載装置の構成図である。 コックピットの外観例である。 表示部と外部表示部の表示例である。 ジェスチャとステアリングコントローラによる操作方法の例である。 外部表示部の表示例である。 外部表示部の表示例である。 外部表示部の表示例である。 動作フローの例である。 ステアリングコントローラとタッチパネルによる操作方法の例である。 特定デバイスへの手の近づきに応じた操作デバイスの選択方法を示す表である。 手の位置・移動方向に応じた操作デバイスの選択方法を示す表である。 走行／停止状態に応じた操作デバイスと表示デバイスの選択方法を示す表である。 動作フローの例である。 ステアリングコントローラとコマンドコントローラによる操作方法の例である。 ジェスチャとステアリングコントローラによる操作方法の例である。 本発明の第五実施例における車載装置の構成図である。 コックピットの外観例である。 ジェスチャ検知領域及びユーザの手の動かし方の例である。 ジェスチャ検知領域及びユーザの手の動かし方の例である。 ステアリング舵角に応じたジェスチャ操作の判別方法と表示部の表示例である。 動作フローの例である。 ステアリング操作における舵角の例である。 ステアリング舵角に応じたジェスチャ操作の有効／無効判定の例である。 動作フローの例である。 ステアリング操作における舵角と角速度の例である。 ステアリング操舵量に応じたジェスチャ操作の有効／無効判定の例である。 ステアリングの回転方向に応じたジェスチャ操作方法の例である。 ステアリングの回転方向に応じたジェスチャ操作の制御方法を示す表である。 動作フローの例である。 ステアリングとジェスチャ検知領域の関係を示す例である。

以下、本発明の実施の形態を、図面を参照して詳細に説明する。
（第１の実施の形態）
≪構成の説明≫
図１は第１の実施の形態における車載装置１０１の構成図である。
車載装置制御部１０２は本車載装置１０１の動作全体を制御する部分であり、記憶部１２３に格納されているメッセンジャーアプリケーション１１３および出力情報制御部１１４に関するプログラムに従って演算を行うことでメッセンジャーアプリケーション１１３および出力情報制御部１１４としての機能を発現する。なお、車載装置１０１にはメッセンジャーアプリケーション１１３および出力情報制御部１１４以外のアプリケーションを搭載することができ、これらのプログラムは工場出荷時に記憶部１２３に記憶しておくことが可能であり、また、通信部１０７を介して、もしくはＵＳＢ端子などの図示しない外部接続ＩＦを介して、ユーザの選択により記憶部１２３に記憶させることも可能である。また、カーナビゲーションシステムとしての基本的な動作を制御するとともに、各種入力情報に基づいて、出力する内容を制御する。

センシング部１０３はユーザの手とセンサ間の距離及び、ユーザの手振りを検出する部分であり、例えば、赤外線距離センサ、レーザ距離センサ、超音波距離センサ、距離画像センサ、電解センサ、イメージセンサ、などのセンサと、データ処理を行うマイコン、及びマイコン上で動作するソフトウェアから構成される。センシング部１０３に用いるセンサは、特に限定されず、ユーザの手までの距離と手振りを検出するために得られる信号を、得られる機能を有すればよい。

ジェスチャー検出部１０４は、センシング部１０３から得られるセンサデータに基づいて、ユーザによる手かざしと、あらかじめ規定した所定のジェスチャー（例えば上下左右の方向への手振り動作）が行われたかどうかを検出する。例えば、手かざしは、所定のセンサ値が一定時間継続したかどうかを、ジェスチャー動作は複数のセンサ間における手の検知結果の反応時間差を解析して、それぞれ検知する。

スイッチ操作部１０５は、車載装置１０１の操作を行うためのハードウェアスイッチであり、ボタン押下型や、ジョグダイヤル型のものが搭載される。
タッチ操作部１０６は、タッチされた座標を車載装置制御部１０２に送信し、車載装置１０１の操作を行う。
マイクロホン１１５は、車両内部の音の取得を行う。
音声認識部１１６は、入力した音データから音声を文字コード列に変換する。
通信部１０７は、外部のネットワークと接続し、各種情報の入出力を行う。例えば、ナビゲーションに関わる情報の入力や、メッセージの送受信、などである。

外部スイッチ操作部１１７は、車載装置１０１からは別の場所に設置されたスイッチ操作部であり、ハンドル付近に設置されたステアリングスイッチや、車のセンターコンソールに設置されたコマンダースイッチなどが挙げられる。
表示部１０８は、ユーザに映像情報を提示する装置であり、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、などのディスプレイ装置と、映像コンテンツやＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などの表示処理に必要な演算処理装置やメモリを有する装置である。

外部表示部１０９は、車載装置１０１とは別の車内の場所に設置されたディスプレイであり、映像を表示する。例えば、運転席の前方向に設置されたヘッドアップディスプレイ（ＨＵＤ）などが挙げられる。ＨＵＤは、各種情報を、ドライバー（ユーザ）前方の景色を透過しつつ表示することができる。
音出力部１１０は、音もしくは音声を出力する部分である。
スピーカー１１１は、音出力部１１０からの音を出力する。

触覚ＩＦ出力部１１２は、ユーザに対して、何かしらの触感情報を伝える部分であり、例えば、複数の超音波素子で構成された超音波アレイで構成され、装置の任意の距離に空間上に圧力を伝える。もしくは、送風機を備え同様の効果を与えるものでもよい。また、ハンドル部などに設置され、ハンドル自体が振動をするような、振動子で構成されてもよく、構成の要素は特に限定しない。

メッセンジャーアプリケーション１１３は、通信部１０７と、メッセージデータの受け渡しを行い、入力したメッセージを格納し、出力する制御を行う。また、メッセージを送信する場合は、送信メッセージを通信部１０７に送信する。
出力情報制御部１１４は、表示部１０８もしくは外部表示部１０９に出力する内容を、制御する。

図２（ａ）はセンシング部１０３の設置例である。表示部１０８に対して、右ハンドル車両におけるドライバー側に配置されており、センサ素子の地点からの物体の距離情報及び、物体の動きを検出できる。これによって、同図中の下図に示すように車載装置１０１とユーザの間の空間を複数の領域に区切り、ユーザの手がどの領域に存在しているかを詳細に検知する。図のように、センサ位置に近い領域２０１とさらに近い領域２０２のように、区別を行う。なお、センサの素子数や設置位置、検出する領域はこれに限るものではない。

≪メイン動作フロー≫
図３（ａ）の動作フローを用いて、車載装置１０１の動作について詳細に説明する。なお、メッセンジャーアプリケーション１１３は表示部１０８、外部表示部１０９、スピーカー１１１等の出力部に映像や音声を出力する場合に、出力情報制御部１１４に映像または音声情報を送信し、出力情報制御部１１４が受信した情報を上記出力部に出力をするか否かを判断するものであるが、以後の説明では説明を簡単にするために、メッセンジャーアプリケーション１１３が映像を表示部１０８に出力する、メッセンジャーアプリケーション１１３は音声を出力する、等の表現を用いる。

まず車両のエンジンが始動するなどして、車載装置１０１の動作が開始する。動作開始時の表示部１０８（ここではセンターディスプレイとする）には、出力情報制御部１１４により図４（ａ）に示すように、ナビゲーションに関わる表示と、メッセンジャーアプリケーション１１３のアイコン４０１が表示されている。メッセンジャーアプリケーション１１３は、車載装置１０１の起動とともに車載装置制御部１０２によりバックグラウンドで実行され、アイコン４０１へのタッチ操作をタッチ操作部１０６が検出することや、ユーザの規定のジェスチャー動作（例えばセンサ前で左方向に手振り）をジェスチャー検出部１０４が検知した場合に出力情報制御部１１４によりアクティブ化される。

また、動作開始時の外部表示部１０９（ここではＨＵＤであるとする）には、出力情報制御部１１４によりナビゲーションに関わる表示と、メッセンジャーアプリケーション１１３に関わる表示が表示されている。通信部１０７を介して外部からメッセージを受信した場合に（Ｓ３０１）、メッセンジャーアプリケーション１１３はメッセージ着信時の効果音を出力し、外部表示部１０９に受信したメッセージの総数を図４（ｂ）のアイコン４０２のように表示させ、未読件数が増加した旨をユーザに伝える。

その後、ユーザがメッセンジャーアプリケーション１１３を起動する操作を行ったことをジェスチャー検出部１０４、音声認識部１１６、スイッチ操作部１０５、外部スイッチ操作部１１７、またはタッチ操作部１０６が検出した場合に（Ｓ３０３）、出力情報制御部１１４は図４（ｃ）のようにメッセンジャーアプリケーション１１３をアクティブ化することでアプリケーション使用時の表示に切り替える（Ｓ３０４）。その後、メッセンジャーアプリケーション１１３は、受信したメッセージを古い順から音声で読み上げた音声情報を出力する（Ｓ３０５）。図４（ｃ）は、表示部１０８の半画面を、メッセンジャーアプリケーション１１３としての表示を行った場合の表示例である。

図４（ｃ）におけるアイコン４０３の領域へのタッチをタッチ操作部１０６が検出すると、メッセンジャーアプリケーション１１３はアイコン４０３の領域の左からそれぞれ、スタンプ返信・定型文返信、自由発話返信、メッセージ戻し／送りの各操作を行うための表示を表示部１０８に表示させる。また、メッセンジャーアプリケーション１１３は、Ｓ３０５の音声情報の出力中は外部表示部１０９に図４（ｃ）の下図における４０４のように現在の未読メッセージ件数と、読み上げ中のメッセージの送信者の名前を表示させる。メッセージの読み上げ中に、ジェスチャー検出部１０４がユーザによる規定のジェスチャー動作（例えば、上もしくは下方向への手振り動作）を検知した場合に（Ｓ３０６：Ｙｅｓ）、メッセンジャーアプリケーション１１３は未読メッセージのうちで最新のメッセージを読み上げるようにスピーカー１１１に音声情報を出力する（Ｓ３０８）。

検知しない場合は、メッセンジャーアプリケーション１１３は引き続き未読メッセージの古い順から読み上げるように音声情報を出力し（Ｓ３０７）、最新メッセージの読み上げ制御が終了した場合、表示部１０８および外部表示部１０９に図４（ｄ）のように最後の送信者の表示をさせたまま、返信操作待ちの状態になる（Ｓ３０９）。返信操作待ちの状態では、メッセンジャーアプリケーション１１３は外部表示部１０９に図５（ａ）のように、ジェスチャーによる返信操作が可能であることを示すアイコン５０１を表示させる。

図２（ａ）の領域２０２に手がかざされた状態で一定時間（例えば、０．５秒）が経過した場合（Ｓ３１０：Ｙｅｓ）、操作の開始条件が満たされたと判断し、外部表示部１０９に、返信操作の操作ガイドであるメニューを画面の右側からスライドするように表示を切り替え、それとともにメニューが出現する効果音を出力する（Ｓ３１１）。なお、ユーザの手が、領域２０２の中で検知された場合は、メッセンジャーアプリケーション１１３はそのことを伝える効果音を出力して聴覚で認識できるように伝えるとともに、図５（ｂ）のようにアイコン５０１を右側へ移動したり、アイコンの色を変更することで、視覚でも認識できるよう通知を行うようにしても良い。また、領域２０２ではなく、領域２０１の中でユーザの手を検知し、一定時間（例えば、０．３秒）が経過した場合、メッセンジャーアプリケーション１１３は手をかざす位置が異なることを伝える効果音を出力する。これによって、ユーザは手をかざす際に、視線を手元に送らなくても、前を見ながら手かざしの操作を行うことができる。

ユーザの手の検知状態と効果音出力の関係について、より詳細にしたものを図２（ｂ）と（ｃ）に示す。図２（ｂ）（ｃ）は、それぞれ時間軸とセンシング部１０３のセンサ値を表したものであり、センサ値が領域２０１と２０２と判断する境界を示した図である。
図２（ｂ）はユーザが領域２０２に向かって手を伸ばし、一定時間手をかざした場合の例である。領域２０１に手が侵入したことをジェスチャー検出部１０４が検知した場合に効果音１を出力する。続いて、領域２０２に侵入したことを検知した場合に効果音２を出力する。領域２０２に時間Ｔ１以上（例えば０．５秒以上）ユーザの手があることを検知し続けた場合、効果音３を出力し、外部表示部１０９の表示をＳ３１１について説明したように切り替える。

図２（ｃ）の例は、領域２０１に手をかざし続けている場合の例である。領域２０１に手が侵入したことを検知したら効果音１を出力し、領域２０１に時間Ｔ２以上（例えば０．３秒以上）、手を検知し続けたら、効果音４を出力する。それ以後、手が領域２０２で検知されれば、図２（ｂ）の例と同様である（以降、領域２０２に時間Ｔ1以上手をかざす操作を単に「手かざし」と言う場合がある）。

図５（ｃ）は、スタンプ返信を行うことができる操作メニューを表示している場合の例である。アイコン５０２は、手をかざした状態で、上・左・下方向のジェスチャーを行うと、それに対応したスタンプが選択できることを意味した操作ガイドである。また、左上の１／２の表示は、表示したスタンプ候補のページ総数と現在のページを意味する。この状態で、上・左・下方向いずれかのジェスチャーを検知した場合（Ｓ３１２：Ｙｅｓ）、メッセンジャーアプリケーション１１３はその方向に対応したスタンプを選択して返信操作を行い（Ｓ３１３）、再び返信操作の待ち受け状態Ｓ３０９に遷移する。

いずれのジェスチャーも検知されずにユーザの手が領域２０２から離れた場合（Ｓ３１２：Ｎｏ、Ｓ３１４：Ｙｅｓ）、外部表示部１０９の表示内容を図５（ｄ）のように切り替える（Ｓ３１５）。アイコン５０３は、現在選択可能なスタンプの候補を意味している。アイコン５０４は、表示された方向に対応したジェスチャー操作（上方向の手振りもしくは下方向の手振り）を行うと、対応した操作を行うことを意味している。また、「定型文」という表示は、返信方法を定型文返信に切り替えること、「次ページ」という表示はスタンプの選択候補をアイコン５０３で表示されているものから、次の候補群に切り替えることができることを、それぞれ意味している。一度に多数の選択肢が表示されると、ユーザが運転中にもかかわらずその選択に時間をかけてしまい、運転への集中を欠く可能性があるため、第１の実施の形態では、上、左及び下に位置する３つの選択肢を提供するにとどめる一方で、送信しようとするスタンプの選択肢を増やすためのジェスチャーを設けることで、３を超える選択肢をユーザに提供することができる。対応したジェスチャー操作が検知された場合（Ｓ３１６：Ｙｅｓ）、これに対応した操作を実行する（Ｓ３１７）。ジェスチャーが検知されず（Ｓ３１６：Ｎｏ）、領域２０２でユーザの手かざしを検知した場合（Ｓ３１８：Ｙｅｓ）、メッセンジャーアプリケーション１１３はＳ３１１の状態に遷移し、再びスタンプの選択を行う状態になる。

ユーザの手が検知されずにその状態で一定の時間（例えば１０秒）が経過した場合は（Ｓ３１８：Ｎｏ、Ｓ３１９：Ｙｅｓ）、メッセンジャーアプリケーション１１３は外部表示部１０９の表示から操作ガイドを消し、Ｓ３０９の返信操作待ち受け状態に遷移する（Ｓ３２０）。返信操作が実行された場合は、図６のように、メッセンジャーアプリケーション１１３は表示部１０８に返信操作結果の内容（ここでは、選択したスタンプ）を表示し、外部表示部１０９に返信操作を行ったユーザの名前が表示し、返信内容を読み上げる。

なお、本動作フローは本発明の車載装置１０１の動作を代表的な例に限って、説明したものであり、動作や表示、効果音などは、この例に限定するものではない。例えば、本説明ではメッセンジャーアプリケーション１１３使用時の返信操作を想定して説明を行ったが、本発明はこれに限定するものではなく、車載装置制御部１０２による複数の選択肢を選択する操作全般に適用できる。図３（ｂ）に動作フローをシンプルにしたものを示す。基本的な動作は前述の説明の通りであり、各ステップにおける動作の説明は図３（ａ）の同じステップ番号が付されたものと同様であるが、本図のＳ３１６に関しては、上下方向の手振りに限らなく、例えばステアリングスイッチでの操作など、種々の操作を受け付けるようにしても良い。

また、外部からメッセージを受信した場合は、受信と同時に読み上げるような構成にしても良く、また外部表示部１０９にも受信したメッセージの内容を表示しても良い。これによって、ユーザは、よりメッセージの把握がしやすくなる。また、返信操作の待ち受けは、最新メッセージが読み終わるまでを待たずとも、いつでも受け付けるような構成としても良い。これによって、ユーザはいつでも返信操作を行うことができる。また、手をかざすべき領域２０２について、その領域内に触覚ＩＦ部１１２によって、空中に触感を提示するような構成としても良い。

例えば、領域の境界上に超音波素子アレイの圧力点が現れるようにしたり、送風機によって、領域の垂直線上に触感を与えるようにする。これによって、ユーザは前を見ながら、手かざしを行うことができ、運転中による操作でも安全に返信操作を行うことができる。また、本例では、手かざしを検知した後に、スタンプ返信操作の状態に遷移したが、その前に、返信方法の選択状態（スタンプ・定型文・自由発話など）に遷移するような構成としても良い。これによって、ユーザは返信操作開始時に自身が行いたい返信方法を選択することができる。

また、本例では、手かざしを検知して外部表示部１０９に操作ガイドを表示してから、ジェスチャーを受け付けるようにしたが、操作ガイドを表示する一定時間前（例えば、０．２秒前）からジェスチャーを受け付けるようにしても良い。これによって、ユーザが操作に慣れ、どのジェスチャーがどの操作に対応しているかを覚えていた場合に、外部表示部１０９に余計な表示をすることなく、操作を行うことができ、また操作時間を短縮することができる。

また、Ｓ３１９において、一定時間の経過を計測したが、この条件を満たす前に、所定の操作（例えば、左方向への手振り操作・スイッチ操作など）を検知した場合に、Ｓ３２０へ遷移するような構成としても良い。これによって、ユーザが好きなタイミングで外部表示部１０９の表示をナビゲーション向けに切り替えることができる。

また、外部表示部１０９へ表示する操作ガイド及び、ジェスチャー方向については、３方向に限らず、任意の方向と数を用いても良い。その際は、運転席に座りながらジェスチャー操作を行いやすい方向を設定するようにするとよい。例えば、ハンドル方向へ向かって行うジェスチャーは、動作途中に手がハンドルにぶつかってしまう恐れがあるため、対象としないようにする。乗車する車のハンドルが右ハンドルか左ハンドルであるのかを、設定画面であらかじめ設定できるようにし、左ハンドルであった場合に、図７（ａ）（ｂ）のように外部表示部１０９に表示する操作ガイドを、上・下・右の３方向を認識対象とする。なお、図７（ａ）（ｂ）は図５（ｃ）（ｄ）にそれぞれ対応するものである。

また、ハンドルの設置場所に応じて、ジェスチャーに用いる手も変わるため、アイコンの表示や向きも変更をする。さらには、ハンドルの位置によって、各種アイコンの見え方も変わるため、個別にユーザが設定できるようにしても良い。これによって、車種毎のハンドル設置位置に応じて使いやすいジェスチャー操作で操作を行うことができるようになり、ユーザが運転席に座りながら無理なく、ジェスチャーによって各種操作を行えるようになる。

また、本例のように手をかざす位置を一か所に限定せず、複数の場所で手かざしを行えるようにしても良い。例えば、図８（ａ）に示すように、三か所に三個のセンサを設置する。この際、どのセンサに手をかざしたかによって、返信方法を決められるようにしても良い。図８（ｂ）のように、センサ１０３Ａではスタンプ返信、センサ１０３Ｂでは定型文返信、センサ１０３Ｃでは自由発話返信、とする。これによって、ユーザは素早く返信方法を選択して、返信操作を行うことができる。どのセンサがどの方法に対応するかは、ユーザがあらかじめ指定できるようにしても良い。

また、図９に示すようにセンシング部１０３にカメラを用いて、手の近づき及びジェスチャーを検出するような構成としても良い。あらかじめ、既定の手の形の画像を学習しておき、入力映像の画像と、学習データとのパターン認識から、ユーザの手かざしを距離や位置に関係なく検知する。この際、手をかざす際の手の形を複数検知するようにし（９０１Ａ〜９０３Ｃ）、返信方法を選択できるようにしても良い。これによって、ユーザはセンシング部１０３の前方に手を伸ばしてジェスチャー動作を行わなくとも、返信操作の開始を行うことができるようになる。

さらに、手かざしを検知した際の、ユーザの手の位置や姿勢に応じて、受け付けるジェスチャーの方向や数を変更するような構成としても良い。例えば、図１０（ａ）に示すように、ユーザは肘掛けに肘を置いた状態で、手をあげて、手かざしを検知した場合に、図１０（ｂ）のように、左・下・右方向を認識対象とする。これは、この状況でのユーザの姿勢では、上方向のジェスチャーはやり辛いと考えられるため、この３方向を認識対象とする。さらには、ユーザがあらかじめどのジェスチャーを認識対象とするかを設定できるような構成としても良い。これらによって、ユーザは自由な姿勢でジェスチャー操作を行うことができるようになる。

また、本例では、返信操作の操作メニューなどを外部表示部１０９に表示していたが、各種デバイスの接続状態や設置位置などに応じて、表示を行う場所及び表示内容を変更するような構成としても良い。例えば、ＨＵＤが未接続の場合は図１１（ａ）のように、ジェスチャー操作のガイドをセンターディスプレイに表示する。この際、図１１（ｂ）のように、複数のディスプレイの設置位置・接続状態を管理し、優先度を決定する処理を行う。基本的に優先度が高いディスプレイに操作のガイドを表示するが、ＨＵＤが故障した場合など、使用ができない場合は、次の優先度のディスプレイに表示を行う。その際は、優先度に応じて、ガイドを表示する時間を短くしたり、表示の情報量を減らすなどしても良い。優先度は、工場出荷時点や販売時点で設定される、ユーザが図示しない設定画面で設定する、本車載端末に接続されているディスプレイの性質等から優先度を判別するように本車載端末にプログラムされる、等の方法により設定可能である。

さらに、図１１（ｃ）のように持ち込み外部機器（スマートフォンなど）が車載装置１０１に接続されている場合に、設置位置に応じて優先度を高くするような構成としても良い。これらによって、ＨＵＤなどの操作ガイドを表示する前提のデバイスが使用できない場合に代替のディスプレイに操作ガイドを表示し、操作を行うことが可能となる。

また、図３（ａ）または（ｂ）におけるＳ３１１以降の返信操作において、ジェスチャー操作だけに限らず車載装置１０１を操作可能なその他の操作手段（音声認識操作やスイッチ操作など）を用いることができるような構成としてもよい。図１２（ａ）はその際の動作フローである。Ｓ３１６のステップの後、ユーザがある操作手段を行おうとする準備動作を検知した場合に（Ｓ１２０１：Ｙｅｓ）、その動作に対応した操作ガイドを外部表示部１０９に表示する（Ｓ１２０２）。その後、選択操作が実行された場合（Ｓ１２０３：Ｙｅｓ）、選択された選択肢による返信を行う（Ｓ１２０４）。具体的には、Ｓ３１５の状態に遷移した際に、図１２（ｂ）のような操作ガイドを外部表示部１０９に表示する。アイコン１２０１は、上のアイコンはジェスチャーによる選択肢の選択を、真ん中のアイコンは音声認識による選択肢の選択を、下のアイコンはスイッチによる選択肢の選択が可能であることをそれぞれ示している。

ユーザが、ステコン操作を行うことを検知した場合（例えば、ステアリングスイッチの任意のボタンが一度押下される、もしくはスイッチ表面に接触センサを設置しその反応が得られた場合）、図１２（ｃ）のような画面に遷移する。１２０１のアイコンはステコン操作がアクティブであることをアイコン色の変化で知らせる。１２０２の表示は、ステコンの各ボタンに対応したスタンプの候補が表示されている。押下されたステコンのボタンに応じて、対応したスタンプによる返信操作を行う。なお、一定時間が経過するか、ステコンの接触センサが反応しなくなった場合は、図１２（ｂ）の画面に戻る。

一方、音声認識を行うことを検知した場合（音声認識開始スイッチを押下するなど）、図１２（ｄ）のような画面に遷移する。１２０１のアイコンは音声認識が待機状態であることを示し、１２０３の表示は各文字に対応した発話を行うことで、それに対応したスタンプが選択可能であることを示している。音声認識を行った結果が、選択肢の何れかと一致した場合は、対応したスタンプの返信操作を行う。図１２（ｄ）の例では「楽しい」等のアイコンに対応する文字のみが表示されているが、送信されるアイコンを文字と並べて表示することで、送信されるアイコンがひと目で分かるようにしてもよい。音声認識を利用すると、ユーザはハンドルから手を離さずに送信しようとするスタンプを選択することができるので、一層の安全運転に寄与することができる。

なお、三種類の操作手段は、何れの操作途中状態でも、各操作の開始トリガーが検知されれば、操作手段を切り替えられるものとする。また、スイッチ操作と音声認識による操作状態であれば、その状態で上下方向の手振りによるジェスチャー操作も受け付けるものとする。これらによって、ユーザが返信操作を行う際に、一つの操作手段に限定されることなく、運転の状況に応じて、またユーザの好みに応じて自由に返信の操作手段を選択することができる。また、それぞれの操作手段を切り替えた際に、現在どの操作手段で操作が可能なのかと、どのように操作を行えば良いかを提示することで、ユーザは操作に迷うことなく、素早く直感的に操作を行うことができる。

また、車載装置１０１が制御しているアプリケーションの動作状況に応じて、ユーザが手をかざした際に操作できる操作内容を変えるような構成としても良い。図１２（ｅ）は、バックグラウンドで動いているアプリケーションがナビゲーション以外無い場合に、自宅へのルート設定、現在地の地点登録、音声による目的地設定など、ナビゲーションに関わる操作を選択候補として、提示している例である。図１２（ｆ）は、音楽再生中などに、手をかざした場合に、音楽停止や、次の曲、前の曲へスキップする操作などが選択候補として、提示されている例である。図１２（ｇ）は、渋滞情報などを受信した際に、手をかざした場合に、渋滞情報の詳細を聞く操作や、リルート、目的地変更などが選択候補として提示されている例である。これらによって、ユーザの運転中の車載装置１０１が制御しているアプリケーションの状況に応じて、様々な操作を素早く選択することが可能となる。

以上で述べた、本発明の第１の実施の形態における車載装置１０１によって、ユーザは運転中でも前方を見ながら、直感的にかつ素早く、操作を行うことができる。具体的には、メッセンジャーアプリケーションの表示切替えや、メッセージのスキップ操作などを、前を見ながら、素早く行える。また、複数の選択肢を選択する操作の場合において、前方向を見つつ、選択候補の内容を確認しながら、所望の選択肢を選択することができる。さらに、操作に慣れた場合は、表示を見ずとも選択肢の操作が可能となるため、より安全に素早く操作を行うことができる。

（第２の実施の形態）
≪構成の説明≫
図１３は第２の実施の形態における車載装置１０１の構成図である。図１の構成図と比べて、車両情報入力部１１８、操作手段制御部１１９、運転負荷推定部１２０、地図ＤＢ（データベース）１２１が追加されている。車両情報入力部１１８、操作手段制御部１１９、運転負荷推定部１２０も、記憶部１２３に格納されているプログラムに従って車載装置制御部１０２が演算を行うことで車両情報入力部１１８、操作手段制御部１１９、運転負荷推定部１２０としての機能を発現する。

車両情報入力部１１８は走行中の車両に関わる情報を取得する部分であり、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して車両と接続し、車速やアクセル開度、ブレーキ深度、ウィンカー信号、ステアリング角度などを取得する。
操作手段制御部１１９は、ジェスチャー検出部１０４や音声認識部１１６、各種スイッチ操作部からの操作入力をどの操作に反映するかを制御する。

運転負荷推定部１２０は、運転操作におけるユーザの運転負荷がどれくらいのものかを推定する。例えば、上述した車両情報入力部１１８からの各種入力信号に加えて、通信部１０７から入力した情報（地図情報、走行中の道路の種類、前方車両との距離など）を統合して、運転負荷レベルを四段階（無し・低・中・高）に定義する。「無し」は信号待ちなどの停車中やＡＣＣ（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）などドライバーが特別な操作を行わなくても走行している自動運転中の状況など、「低」は周囲に障害物が無い直線道路での走行など、「中」は一定スピード以上で、ハンドル操作を常時要求される走行状況や、交差点での右左折時など、「高」は事故が迫っていて重要な運転操作が求められる状況、などである。
地図ＤＢ１２１は、地図情報を格納したデータベースである。

≪動作説明≫
第２の実施の形態の車載装置１０１の動作について詳細に説明する。基本的な動作は第１の実施の形態で述べた動作と同様であり、第２の実施の形態では、運転負荷推定部１２０の出力に応じて動作を制御することに特徴がある。車載装置制御部１０２は、運転負荷推定部１２０で出力された運転負荷レベルと、そのときに操作可能な操作手段と提示可能な表示内容についてあらかじめ定義している。図１４（ａ）〜（ｄ）はその定義を示したものである。

図１４（ａ）は、各運転負荷レベルにおける各操作手段の使用の可否を示したものである。運転負荷レベルが「無し」、もしくは「低」の場合は、第１の実施の形態で述べた全ての操作手段による返信操作が可能である。一方で、運転負荷レベルが「高」の場合は、全ての操作を禁止する。運転負荷が「中」の場合は、手かざしによる操作ガイドの表示と、その後のジェスチャー操作による選択肢の選択を禁止する。これは、手かざしによる操作は片手運転を強いる操作手段であることから、運転操作に集中すべき状況の場合は、この操作を禁止するものである。

第２の実施の形態の外部表示部１０９には、図１５（ａ）のアイコン１５０３のように現在の運転負荷レベルを表示する。本図では運転負荷レベルが「中」の状態を意味しており、手の近づきによる操作ができない旨をアイコン１５０１のように手かざしによる操作が禁止されているような表示をする。また、この状態でユーザが手をかざしたことを検知した場合は、アイコン１５０１の表示や色を変えるなどして強調するとともに、警告音や警告音声などを出力し、手かざしを直ちにやめるように促す。このような制御をすることで、ユーザが、現在の運転負荷状況が把握できるとともに、ハンドル操作が必要なときにもかかわらず操作ガイドを表示させようとしてハンドルから片手を長時間離してしまうことを極力防止することができる。一方で、手を用いない音声認識による自由発話返信や一瞬の操作で完了する直接ジェスチャは運転負荷レベルが「中」の状況においても使用可能とする。

さらに、運転負荷レベルが「無し」もしくは「低」の状況で、手かざしを行った後の返信操作が途中であった場合において、運転負荷レベルが「中」に切り替わった場合は、その操作途中の返信操作に限って、スイッチ操作と音声認識による選択肢の選択操作を許可する。この際は図１５（ｂ）のように、三種類の操作手段のアイコンの中で、手かざしとジェスチャーによる選択操作が禁止されていることを示す。

図１４（ｂ）は、運転負荷レベルとセンターディスプレイの出力内容に関する定義である。まず、運転負荷レベルが「無し」の場合は、メッセンジャーアプリケーション１１３はメッセージのテキストを全て表示する。また、画面上の操作アイコンをタッチするなどの基本的な操作からの返信操作時においては、スタンプ候補などの選択肢も全て表示する。運転負荷が「低」もしくは「中」の場合では、メッセージのテキストは非表示とし、メッセージ発信者の名前のみを表示する。また、タッチ操作を用いての操作系の表示も行わない。

さらに、運転負荷が「高」の場合は、メッセンジャーアプリケーション１１３の画面も消し、その状況に該当する警告メッセージ（例えば、「車間注意！」など）を表示する。なお、運転負荷が「低」もしくは「中」の場合において、手かざしを行っての返信操作を行っている途中で、運転負荷レベルが「無し」に遷移した場合においては、ＨＵＤに表示されていた操作ガイドの状態を考慮して、センターディスプレイ上でのタッチ操作でもその操作を行えるようにする。例えば図１６（ａ）に示すように、ＨＵＤ上でスタンプ返信を行っている状態であったとして、スタンプ候補の内容と配置の情報を保持したまま、図１６（ｂ）のように、センターディスプレイにも表示する。

具体的には、ＨＵＤ上でのスタンプ候補１６０１の内容と画面上での配置関係を保持した状態で１６０２のようにセンターディスプレイ上に表示する。さらに、１６０２の内容はドライバーが操作しやすいように、ドライバー側に寄せて配置し、タッチ操作によってスタンプの選択を行うことができるようにする。また、残りのスタンプ候補は、１６０３のように、画面上のドライバー側から遠い位置に配置する。逆に、停止中にセンターディスプレイ上での操作を行っている途中で、車の発進によって運転負荷が「低」、もしくは「中」に切り替わった場合は、センターディスプレイでの選択肢の表示及び選択操作を中止し、操作途中であった返信方法を保持した上で、図３（ａ）のＳ３１５のステップに遷移し、そのまま操作を引き継ぐ。

図１４（ｃ）は、運転負荷レベルとＨＵＤの出力内容に関する定義である。まず、運転負荷レベルが「無し」もしくは「低」の場合は、メッセージ読み上げ時の発信者名を表示し、また、返信操作時の操作ガイドを表示する。運転負荷レベルが「中」の場合は、手かざしによる操作が禁止されている旨を表示したり、運転負荷レベルが「低」から「中」に変更した場合のみ、操作ガイドの表示を引き継いで表示する。運転負荷レベルが「高」の場合はその状況に該当する警告メッセージ（例えば、「車間注意！」など）を表示する。

図１４（ｄ）は、運転負荷レベルとスピーカーからの音出力に関する定義である。運転負荷レベルが「無し」から「中」の場合においては、その時点での操作音もしくは読み上げ音声などを出力する。運転負荷レベルが「高」の場合においては、警告音のみを出力するものとする。なお、メッセージが読み上げられていた場合でもその出力を停止する。停止された読み上げメッセージは、運転負荷レベルが下がった後に再開し、そのメッセージの先頭から読み上げ直す。

なお、運転負荷レベルに応じて、ユーザの手かざし検知アルゴリズム及びフィードバック方法を変更するような構成としても良い。例えば、運転負荷レベルが低のときでは、０．５秒以上手をかざした場合に、手かざしを検知するとしたら、運転負荷レベルが「無し」の場合では２秒以上かざした場合に検知するように変更する。さらに、運転負荷レベルが「無し」の場合は、音出力による手かざしのフィードバックをやめる。これらによって、走行中では素早く、かつ視線を前方から逸らさずに操作できるように考えられた手かざし検知アルゴリズムが、停止時ではタッチ操作やわき見が許されることを勘案し、タッチ操作などの手かざし動作以外の動作による誤検出を防ぐことができる。

以上で述べた、本発明の第２の実施の形態による車載装置１０１によって、ユーザは運転中でも前方を見ながら、直感的にかつ素早く、操作を行うことができることに加えて、停止中などの余裕が多いときは、より多様な手段での操作や多くの情報量を受け取ることができるとともに、運転操作に集中すべき状況の場合においては、その他の操作により運転操作以外に注意を向けてしまうことを未然に防ぎ、安全運転を行うことができる。
なお、全ての実施例において車載装置を例に説明したが、本発明はこれに限るものではなく、パーソナルコンピュータやデジタルサイネージ、建設機、航空機、監視オペレータ装置などのディスプレイ部と操作手段を有するものにおいて適用することができる。

（第３の実施の形態）
≪構成の説明≫
図１７は第３の実施の形態における車載装置１０１の構成図である。図１の構成図と比べて、操作メニューアプリケーション１７０１、表示出力部１７０２、ステアリングコントローラ１７０３、ステアリング接触検出部１７０４、コマンダコントローラ１７０５、コマンダ接触検出部１７０６が追加されている。

操作メニューアプリケーション１７０１は、記憶部１２３に格納されているプログラムに従って表示部１０８および外部表示部１０９に操作用メニューの表示を行うソフトウェアである。
表示出力部１７０２は、表示部１０８に車載装置１０１に内蔵しないディスプレイ装置を用いた場合に、映像信号を表示部１０８に出力する機能を有する。

ステアリングコントローラ１７０３は、ステアリングに備え付けられたスイッチ部品であり、ユーザが操作を入力するために用いられる。また、ステアリング接触検出部１７０４は、前記ステアリングコントローラ１７０３のスイッチ部品にユーザの手が触れているかを検出する。
コマンダコントローラ１７０５は、車内のインストゥルメント・パネルやセンターコンソールに備え付けられたスイッチ部品であり、ユーザが操作を入力するために用いられる。また、コマンダ接触検出部１７０６は、前記コマンダコントローラ１７０５のスイッチ部品にユーザの手が触れているかを検出する。

図１８は第３の実施の形態におけるコックピットの外観を示している。表示部１０８はインストゥルメント・パネルの中央に設置され、タッチ操作部１０６によるタッチ操作が可能である。また、表示部１０８の右上にジェスチャーを検出するための、センシング部１０３を備える。外部表示部１０９はＨＵＤを用いており、ドライバー（ユーザ）前方の景色を透過しつつ各種情報を表示することができる。ステアリング内にステアリングコントローラ１７０３を備えられている。またセンターコンソール上にコマンダコントローラ１７０５を備えている。

≪動作説明≫
第３の実施の形態の車載装置１０１の動作を説明する。基本的な動作は第１の実施の形態で述べた動作と同様であり、第３の実施の形態では、センシング部１０３に対する上方向および下方向の手振りによって、表示部１０８および外部表示部１０９の表示内容が変更されることと、センシング部１０３で検知した手の動きに応じて、外部表示部１０９に表示される操作メニューおよび操作ガイドの形状が変更されることに特徴がある。

図１９は、センシング部１０３に対する上方向および下方向の手振りによって、表示部１０８および外部表示部１０９の表示内容が変更される様子を示している。図１９の（Ａ）（Ｂ）（Ｃ）の各表示は、前記操作メニューアプリケーション１７０１によって制御される画面モードでの表示を示しており、(Ａ)はオーディオ操作モード、（Ｂ）はナビ操作モード、（Ｃ）はエアコン操作モードである。ユーザが前記上方向の手振りを１回行う度に、表示部１０８および外部表示部１０９の表示は、図１９の（Ａ）から(Ｂ)へ、(Ｂ)から(Ｃ)へ、(Ｃ)から(Ａ)へと切り替わる。

図２０は、前記（Ｂ）ナビ操作モードにおいて、ジェスチャーおよびステアリングコントローラ１７０３による操作を行う様子を示している。図２０の(i)に示すように、ユーザがセンシング部１０３に手をかざすと、ジェスチャー操作メニュー２００１が外部表示部１０９に表示され、ユーザが手をかざした位置から上、下、左のいずれかの方向に手を動かすことにより、該方向に対応した項目が選択されることをガイドする。一方、図２０の(i)で、ユーザが手をかざした状態からステアリングの方向に手を戻すと、図２０の(ii)に示すように、ステアリングコントローラ操作メニュー２００２が表示される。図２０の(ii)の状態では、ステアリングコントローラ１７０３の上、中、下のいずれかのスイッチを押下することで、該スイッチに対応した項目が選択されることをガイドする。なお、図２０の(ii)の状態で、ユーザがいずれのスイッチも押下しないまま、再びセンシング部１０３に手をかざすと、図２０の(i)の状態となる。

図２１、図２２、図２３は、図１９および図２０で説明した一連の動作における、外部表示部１０９の画面遷移を示している。図２１は、前記（Ｂ）ナビ操作モード、図２２は前記（Ａ）オーディオ操作モード、図２３は（Ｃ）エアコン操作モードの画面遷移を示す。
図２４は、前記（Ｂ）ナビ操作モードにおける外部表示部１０９の画面内の動きの詳細を示している。先に述べたように、前記（Ｂ）ナビ操作モードでユーザがセンシング部１０３に手をかざすと、ジェスチャー操作メニュー２００１が外部表示部１０９に表示される。ここで、ユーザが手をかざした位置から上方向に手を動かすと、図２４の２４０１に示すように、上方向に対応する項目のみが所定の時間表示され、この表示によりユーザは所望の項目が選択されたことを確認することができる。また、２４０１の表示が所定の時間経過すると、外部表示部１０９の表示はユーザが手をかざす前の状態に戻る。なお、前記ステアリングコントローラ操作メニュー２００２についても同様の動きとなる。

図２６（ａ）は、第３の実施の形態の車載装置１０１における、ジェスチャーの検出状態と、操作デバイスの対応を示す表である。また、図２６（ｃ）は走行および停止状態に応じた操作デバイスと表示デバイスの対応を示す表である。第３の実施の形態の出力情報制御部１１４は、図２６（a）および図２６（ｃ）に従い、所定のメニューの操作に用いる操作デバイスと表示デバイスを決定する。

図２６（a）に示すように、出力情報制御部１１４は、手がセンシング部１０３付近にある場合は、ユーザがジェスチャーで操作しようとしていると判断する。また、手がセンシング部１０３から離れた場合は、ユーザがステアリングコントローラ１７０３で操作しようとしていると判断する。なお、ステアリングコントローラ１７０３が備えられていない車両の場合は、コマンダコントローラ１７０５等の車両に備えられた他の操作デバイスをユーザが操作しようとしていると判断しても良い。出力情報制御部１１４はこれらの判断により操作メニューアプリケーション１７０１に所定の画面の出力を指示する。これにより、ユーザが操作しようとする操作デバイスに適した操作メニューおよび操作ガイドを表示することが可能となり、ユーザが所望の操作デバイスを用いた操作を円滑に行えるという効果が得られる。

また、図２６（ｃ）に示すように、出力情報制御部１１４は、車が走行中の場合に、ジェスチャーおよびステアリングコントローラ１７０３およびコマンダコントローラ１７０５を用いてユーザが操作を行おうとしていると判断した際は、外部表示部１０９であるＨＵＤに操作メニューを表示する。これより、ユーザは車両前方を視認する状態から視線移動少なく操作メニューを視認できるため、操作メニューを操作することによる運転操作への影響を抑えられるという効果が得られる。

なお、車が停止中は、指先で細かい操作が可能で操作性が高いタッチパネル等での操作ができるようにしても良い。例えば、図２５に示すように、ステアリングコントローラ操作メニュー２００２が外部表示部１０９に表示されている状態で、車が停止している際に、ユーザがセンシング部１０３に手を近づけると、図２５の２５０１に示すような、より詳細なメニューが表示部１０８に表示され、タッチ操作できるようにしても良い。さらに、車が再び走行し始めた際は、表示部１０８の表示を消去し、外部表示部１０９にステアリングコントローラ操作メニュー２００２を再び表示するようにしても良い。これにより、車が停止中などの運転操作に支障が出ない状況では、ユーザはタッチパネルに操作を切替えて、タッチ操作による効率の良い操作ができる効果が得られる。

第３の実施の形態では、ユーザがステアリングに手を戻した際に、外部表示部１０９にステアリングコントローラ操作メニュー２００２が表示されるが、ユーザがステアリングに戻した手で運転操作をしようとしたときは、ステアリングコントローラ操作メニュー２００２の表示が煩わしく感じることも考えられる。そこで、図２７に示すように、ユーザがステアリングに手を戻した際は、図２７の２７０１に示すような、外部表示部１０９の中でメニューが表示される部分を小さくした簡易メニューを表示し、前記ステアリング接触検出部１７０４でユーザがステアリングコントローラ１７０３のスイッチに触れたことを検出した際に、ステアリングコントローラ操作メニュー２００２を表示しても良い。これにより、ユーザがステアリングコントローラ１７０３で操作する間際まで、ステアリングコントローラ操作メニュー２００２が表示されないため、メニュー表示の煩わしさを低減でき、尚且つ、外部表示部１０９の表示を運転に必要な他の情報の表示に有効利用できるという効果が得られる。

（第４の実施の形態）
≪構成の説明≫
図２８は第４の実施の形態における車載装置１０１の操作の外観を示している。図２０の外観図と比べて、ユーザがコマンダコントローラ１７０５に手を近づけた際に、外部表示部１０９にコマンダ操作メニュー２８０１が表示される様子が追加されている。また、第４の実施の形態では、図９に示すようにセンシング部１０３にカメラを用いている。第４の実施の形態のセンシング部１０３は，センシング部１０３の周囲でユーザの手がどの方向に動いているかを検出する。なお、ユーザの手が動いている方向を検知可能であれば、センシング部１０３はカメラ以外のセンシングデバイスでも良い。

≪動作説明≫
第４の実施の形態の車載装置１０１の動作を説明する。基本的な動作は第３の実施の形態で述べた動作と同様であり、第４の実施の形態では、センシング部１０３の周囲でユーザの手がどちらの方向に動いているかを検出することによって、外部表示部１０９に表示される操作メニューおよび操作ガイドの形状が変更されることに特徴がある。

図２８は、前記（Ｂ）ナビ操作モードにおいて、ジェスチャーおよびステアリングコントローラ１７０３及びコマンダコントローラ１７０５による操作を行う様子を示している。図２８の(i)に示すように、ユーザがセンシング部１０３に手をかざした状態からステアリングの方向に手を動かすと、図２８の(i)に示すように、ステアリングコントローラ操作メニュー２００２が表示される。一方、図２８の(ii)に示すように、ユーザがセンシング部１０３に手をかざした状態からコマンダコントローラ１７０５の方向に手を動かすと、図２８の(ii)に示すように、コマンダコントローラ１７０５に操作メニュー２８０１が表示される。図２８の(ii)の状態では、コマンダコントローラ１７０５に搭載されるロータリーコントローラに対応して、該ロータリーコントローラを回転させることで、１つの項目が選択されることをガイドする。

図２６（ｂ）は、第４の実施の形態の車載装置１０１における、手の位置や移動方向に応じた操作デバイスの選択を示す表である。第４の実施の形態の出力情報制御部１１４は、図２６（ｂ）に従い、所定のメニューの操作に用いる操作デバイスを決定する。
図２６（ｂ）に示すように、出力情報制御部１１４は、手がセンシング部１０３付近にある場合は、ユーザがジェスチャーで操作しようとしていると判断する。また、ユーザの手がセンシング部１０３からステアリングコントローラ１７０３の方向もしくは位置に移動した場合は、ユーザがステアリングコントローラ１７０３で操作しようとしていると判断する。さらに、ユーザの手がセンシング部１０３からコマンダコントローラ１７０５の方向もしくは位置に移動した場合は、ユーザがコマンダコントローラ１７０５で操作しようとしていると判断する。なお、ステアリングコントローラ１７０３およびコマンダコントローラ１７０５は車両に備えられた他の操作デバイスでも良い。出力情報制御部１１４はこれらの判断により操作メニューアプリケーション１７０１に所定の画面の出力を指示する。これにより、ユーザが操作しようとする操作デバイスに適した操作メニューおよび操作ガイドを表示することが可能となり、ユーザが所望の操作デバイスを用いた操作を円滑に行えるという効果が得られる。

なお、操作メニューを表示する際に、ユーザの手がセンシング部１０３から動いた方向や位置に基づくのではなく、センシング部１０３で検出したユーザの指さし方向に基づいても良い。例えば、図２９に示すように、図２９の(i)の状態で、センシング部１０３がエアコン操作盤２９０１をユーザが指さししたことを検出し、これに基づいて外部表示部１０９にエアコン操作用のステアリングコントローラ操作メニュー２３０２を表示しても良い。これにより、ユーザが一度センシング部１０３に手をかざすことなく、より円滑に所望の操作メニューを表示することができるという効果が得られる。

（第５の実施の形態）
≪構成≫
図３０は第５の実施の形態における車載装置１０１の構成図である。図１３および図１７の構成図と比べて、ステアリング操作検出部３００１、運転状況認識部３００２、およびジェスチャー制御部３００３が追加されている。
運転状況認識部３００２、およびジェスチャー制御部３００３は、記憶部１２３に格納されているプログラムが車載装置制御部１０２により実行されることにより実現される機能を機能ブロックとして表現したものである。

ステアリング操作検出部３００１は、車両情報入力部１１８が取得したステアリング角度の情報に基づき、ユーザによるステアリングの操作状況を検出し、運転状況認識部３００２に出力する。
運転状況認識部３００２は、ステアリング操作検出部３００１の出力に基づき、車両の運転状況を検出する。運転状況認識部３００２は車両の運転状況が後述する所定の状態にあると判断すると、ジェスチャー制御部３００３にジェスチャー操作の無効化指令を出力する。

ジェスチャー制御部３００３は、通常はジェスチャー検出部１０４からの入力を操作メニューアプリケーション１７０１に出力し、ジェスチャーに基づく操作が有効な状態とする。ジェスチャー制御部３００３は、運転状況認識部３００２が無効化指令を出力すると、ジェスチャー検出部１０４からの入力を破棄して無効化し、ジェスチャーに基づく操作が無効な状態とする。ただしジェスチャー制御部３００３は、運転状況認識部３００２が無効化指令を出力すると、ジェスチャー検出部１０４の動作を停止、すなわちジェスチャー検出部１０４によるジェスチャーの検出を停止させてもよい。

図３１は本実施例におけるコックピットの外観を示す図である。右ハンドル車両におけるステアリング内の左側に、ジェスチャーを検出するためのセンシング部３１０１が備えられる。このセンシング部３１０１は、第１〜第４の実施形態で説明したセンシング部１０３と同様に、ユーザの手とセンサ間の距離及び、ユーザの手振りを検出する部分である。外部表示部１０９はＨＵＤを用いており、ドライバー（ユーザ）前方の景色を透過しつつ各種情報を表示することができる。また、表示部１０８はインストゥルメント・パネルの中央に設置され、タッチ操作部１０６によるタッチ操作が可能である。

表示部１０８、または外部表示部１０９には、センシング部３１０１により検出されたジェスチャー操作に対応する表示が行われる。この際、図３０に示す出力情報制御部１１４が、操作メニューアプリケーション１７０１に所定の画面の出力を指示することにより、表示部１０８または外部表示部１０９においてジェスチャー操作に関する操作用メニューの表示が行われるようにする。操作メニューアプリケーション１７０１は、記憶部１２３に格納されているプログラムに従って表示部１０８および外部表示部１０９に操作用メニューの表示を行うソフトウェアである。

≪動作≫
本実施例の車載装置１０１の動作を説明する。基本的な動作は第１の実施の形態で述べた動作と同様である。第５の実施の形態では、センシング部３１０１の設置位置が図２等に示したセンシング部１０３から変更されており、第１の実施の形態では表示部１０８の近傍であったジェスチャ検出領域がステアリングの左近傍に変更される。
ステアリングの左近傍における上方向や下方向などの手振りによって、表示部１０８または外部表示部１０９の表示内容が変更されることと、ステアリング操作検出部３００１が検出したステアリング角度に応じて、表示部１０８または外部表示部１０９に表示される操作メニューおよび操作ガイドを変更するか否か、すなわちユーザのジェスチャー操作を有効として受け付けるか否かを制御することに特徴がある。

これにより、ユーザは、運転中においてもステアリングから大きく手を離すことなく、ステアリング近傍での小さい動きによりジェスチャ操作を行うことができると同時に、ステアリング角度に応じてジェスチャー操作の有効／無効が切換えられ、ステアリング近傍の運転操作とジェスチャ操作との混同を防止することができ、入力に対する使い勝手向上を図ることができる。
なお、ステアリング操作検出部３００１は、車両情報入力部１１８が取得したステアリング角度などの情報に基づきステアリングの操作状況を検出する例について説明したが、これに限らず、カメラやセンサを用いてステアリング角度などのユーザのステアリング操作を検出する構成としても構わない。

図３２、図３３は、ジェスチャ検出領域と、ジェスチャ検出領域に対するユーザの手の動かし方を示す図である。
図３２、および図３３におけるジェスチャ検出領域３２０１は、センシング部３１０１がユーザの手の動きの検出を行う領域を可視化した領域である。前述のとおり本実施の形態では、ステアリングの左近傍にジェスチャ検出領域３２０１が設定され、ユーザは左手でジェスチャ操作を行う。

図３２(i)は、ジェスチャ検出領域３２０１において手を停止させることなく、ジェスチャ検出領域３２０１を上から下に横切るように手を動かす手振りのジェスチャ操作である。図３２(ii)は、ジェスチャ検出領域３２０１において手を停止させることなく、ジェスチャ検出領域３２０１を下から上に横切るように手を動かすジェスチャ操作である。本実施の形態では、これら２つのジェスチャ操作を合わせて「直接ジェスチャ」と呼ぶ。

図３３は、ジェスチャ検出領域３２０１において手を一時的に停止させる手かざしの後に手を動かすジェスチャ操作の方法であり、本実施の形態ではこれを「手かざしジェスチャ」と呼ぶ。
ユーザがジェスチャ検出領域３２０１内に手をかざすと、例えば図２０(i)に示すようなジェスチャー操作メニュー２００１が外部表示部１０９に表示される。図３３(i)〜(iii)に示すように、ユーザが手をかざした位置から下、上、左のいずれかの方向に手を動かすことにより、該方向に対応した項目が選択される。たとえば、図２０(i)に示すジェスチャー操作メニュー２００１が外部表示部１０９に表示されている状態において、ユーザが下に手を動かすと「目的地設定」が選択される。

図３４は、図３２の直接ジェスチャを用いた操作の例を示す図であり、ステアリングの舵角に応じて、ジェスチャ操作に対する処理が変わることを示している。
図３４(i)は、ステアリング操作検出部３００１がステアリングが殆ど回されていないことを検出している状態、すなわち舵角３４１０がほぼゼロの状態である。この状態では、ジェスチャ検出領域３２０１に対する下方向の手振りが検出されると、出力情報制御部１１４の制御に応じた操作メニューアプリケーション１７０１の動作により、表示部１０８の表示内容が、オーディオ操作モードからエアコン操作モードへと切り替えられる。

図３４(ii)は、舵角３４１１がゼロでない状態、すなわちステアリングが回されている状態を示している。ステアリングの舵角が一定値以上となっているときに、ジェスチャー制御部３００３は、ジェスチャー検出部１０４が検出したユーザのジェスチャー操作を無効にする制御を行う。このとき出力情報制御部１１４は、ジェスチャー操作が無効化されているため、ジェスチャ検出領域３２０１に対する下方向の手振りが検出された場合でも、前述のようなジェスチャー操作に関する操作用メニューを表示部１０８または外部表示部１０９に表示するための制御を実行しない。図３４(ii)の右下に示す表示部１０８の表示内容は、オーディオ操作モードのままであり、ジェスチャー操作が無効化されたことを示している。

（フローチャート）
フローチャートを用いて車載装置１０１の動作を説明する。
図３５は、車載装置１０１の動作を表すフローチャートである。車載装置１０１は、図３５により動作が表されるプログラムを実行する。
ステップＳ３５０１では、ジェスチャー検出部１０４が、ユーザからの入力の待ち受けを開始し、ステップＳ３５０２に進む。
ステップＳ３５０２では、ジェスチャー検出部１０４がジェスチャー操作を検知したか否かを判断し、検知したと判断する場合はステップＳ３５０３に進み、検知していないと判断する場合はステップＳ３５０２に留まる。なお本ステップにおけるジェスチャー操作とは、前述の直接ジェスチャまたは手かざしジェスチャである。

ステップＳ３５０３では、運転状況認識部３００２がステアリング操作検出部３００１からの情報に基づき、ステアリング舵角が予め定めた閾値以下か否かを判断する。なおこの閾値は、記憶部１２３に格納される。ステアリング舵角が閾値以下であると判断するとステップＳ３５０４に進み、ステアリング舵角が閾値より大きいと判断するとステップＳ３５０５に進む。

ステップＳ３５０４では、出力情報制御部１１４や操作メニューアプリケーション１７０１がステップＳ３５０２において検知されたジェスチャー操作に対応する処理を実行し、図３５により動作が表されるプログラムを終了する。ジェスチャー操作に対応する処理とは、たとえば図３４(i)に示す表示部１０８または外部表示部１０９の遷移や、選択操作の実行である。
ステップＳ３５０５では、運転状況認識部３００２は、ジェスチャー操作を無効化するための無効化指令をジェスチャー制御部３００３に出力する。この無効化指令に応じて、ジェスチャー制御部３００３は、前述のようにジェスチャー検出部１０４からの入力を無効化するか、またはジェスチャー検出部１０４の動作を停止させることで、ジェスチャー操作を無効化する。その後、ステップＳ３５０１に戻る。

たとえばユーザが手かざしジェスチャを行う場合は、ステアリング舵角が閾値以下であるときにはジェスチャー操作が有効であるため、まずジェスチャ検出領域３２０１でのユーザの手かざしが検知されて１回目にステップＳ３５０４が実行される。このとき出力情報制御部１１４は、操作メニューアプリケーション１７０１を用いて、手かざし後のユーザの手の動作に対応するジェスチャー操作の候補を示すジェスチャー操作メニューを表示部１０８または外部表示部１０９に表示させる。これにより、例えば図２０(i)に示すようなジェスチャー操作メニュー２００１が外部表示部１０９に表示される。次にかざした手を動かすと再度ジェスチャーが検知され（Ｓ３５０２：ＹＥＳ）、再度ステップＳ３５０４が実行されることにより、表示部１０８または外部表示部１０９に表示されているジェスチャー操作メニューに従って、手振りに対応する操作が実行される。
一方、ステアリング舵角が閾値よりも大きいときには、ジェスチャ検出領域３２０１でのユーザの手かざしが検知されると、ステップＳ３５０５が実行されてジェスチャー操作が無効化される。このとき出力情報制御部１１４は、ステップＳ３５０４が実行されないため、上記のようなジェスチャー操作メニューを表示部１０８または外部表示部１０９に表示させない。すなわち、この場合はユーザの手がジェスチャ検出領域３２０１にあっても、出力情報制御部１１４は、表示部１０８または外部表示部１０９の表示内容を変化させない。さらにその後、ユーザがかざした手を動かす手振り動作を行ったとしても、その手振りに応じたジェスチャー操作は実行されない。

なお、図３５では、ステップＳ３５０２において手振り検知を行った後に、ステップＳ３５０５において検出済みのジェスチャーを無視し、ジェスチャ認識結果を機能操作に反映させないことにより、ジェスチャー操作を無効化した。しかし、ステアリング舵角が閾値を超えている場合には、ジェスチャー検出部１０４により手振り検知を行わせず、ジェスチャ認識機能そのものを無効化することでジェスチャー操作を無効化してもよい。

以上説明した第５の実施の形態によれば、以下の作用効果が得られる。
（１）車載装置１０１は、所定のジェスチャ検出領域３２０１内にあるユーザの手の位置を認識するジェスチャー検出部１０４と、車両の運転状況を検出する運転状況認識部３００２と、ジェスチャー検出部１０４による手の位置の認識結果に基づくジェスチャー操作の状態を制御するジェスチャー制御部３００３とを備える。ジェスチャー制御部３０３は、運転状況認識部３００２が検出した車両の運転状況が無効化対象状態であるときに、ジェスチャー操作を無効化する。
車載装置１０１をこのように構成したので、車両の運転状況に基づきジェスチャー操作が無効化され、運転中のドライバーによる車載機器の操作の安全性や操作性を向上することができる。

（２）車載装置１０１は、車両を運転するためのステアリング操作を検出するステアリング操作検出部３００１と、車載装置１０１に接続された表示部１０８または外部表示部１０９の表示内容を制御する出力情報制御部１１４と、を備える。運転状況認識部３００２は、ステアリング操作に基づいて車両の運転状況を検出する。無効化対象状態とは、ステアリング操作検出部３００１が検出したユーザのステアリング操作量、すなわちステアリング舵角が予め定めた閾値、すなわち規定の操作量を上回る状態である。ジェスチャー操作が無効化された場合、出力情報制御部１１４は、ユーザの手の位置がジェスチャ検出領域３２０１内にある場合でも、表示部１０８または外部表示部１０９の表示を変化させない。
そのため、ステアリング操作量が所定の操作量を上回ると、直接ジェスチャが行われても表示部１０８または外部表示部１０９の表示が遷移されないので、画面表示の遷移がドライバーに視認され、ドライバーの集中が乱されることがない。

（３）ジェスチャー操作が無効化されていない場合、出力情報制御部１１４は、ジェスチャ検出領域３２０１内でユーザが手かざししたことがジェスチャー検出部１０４により検知されると、ステップＳ３５０４において、ユーザの手の動作に対応するジェスチャー操作の候補を示す図２０(i)のようなジェスチャー操作メニュー２００１を表示部１０８または外部表示部１０９に表示させる。一方、ステップＳ３５０５においてジェスチャー操作が無効化された場合、出力情報制御部１１４は、ジェスチャー操作メニュー２００１を表示部１０８または外部表示部１０９に表示させない。
そのため、ステアリング操作量が所定の操作量を上回ると、手かざしジェスチャーが行われても表示部１０８または外部表示部１０９においてジェスチャー操作メニューの表示が行われず、ジェスチャー操作を受け付けない状態であることをユーザに認識させることができる。

（４）車載装置１０１は、車両を運転するためのステアリング操作を検出するステアリング操作検出部３００１を備える。無効化対象状態とは、ステアリング操作検出部３００１が検出したユーザのステアリング操作量が予め定めた閾値、すなわち規定の操作量を上回る状態である。ジェスチャー制御部３００３は、ジェスチャー検出部１０４の動作を停止させる、またはジェスチャー検出部１０４からの入力を無効化することで、ジェスチャー操作を無効化する。
ステアリング舵角が閾値を超えているような場合、ユーザは運転動作を行うためにステアリングを回していると考えられる。すなわち、ステアリング付近で運転動作のために手を動かしている可能性が高い。このような場合に、ステアリング付近でジェスチャ認識を行うと、運転のための手の動きをジェスチャ操作と誤認識してしまう可能性が高いため、これを排除することで、より実際の動作に即した適切なジェスチャ認識を行うことが可能となる。
（５）ステアリング操作量とは、ユーザが操作するステアリングの角度である。

（第５の実施の形態の変形例１）
上述した第５の実施の形態では、運転状況認識部３００２は、ステアリング操作検出部３００１の出力に基づきステアリングの角度、すなわちステアリング舵角を評価した。しかし、ステアリングの操作速度、すなわちステアリング角速度を評価してもよい。すなわち、図３５のステップＳ３５０３において、ステアリング角速度、すなわちステアリングの操作速度が予め定めた閾値以下か否かを判断してもよい。
この変形例によれば、第５の実施の形態における作用効果に加えて、以下の作用効果が得られる。

（１）ステアリング操作量とは、ユーザが操作するステアリングの操作速度である。
例えば、ステアリング角速度がほぼゼロの状態とはステアリング舵角が一定値でとどまっている状態であり、ユーザは運転動作を行うためにステアリングを一定量回しているものの、曲率の大きなカーブをゆっくり曲がっているなど、ステアリングに対する操作量が少ない状態と考えられる。このような場合、ステアリング舵角の大きさに関わらず、ユーザが運転操作以外の動作を行う余裕があるものと考えられるため、ジェスチャ操作を有効とすることで、より多くの場合にジェスチャ操作を行うことができ、使い勝手を向上できる。

（第５の実施の形態の変形例２）
上述した第５の実施の形態では、ステアリング操作量が予め定めた閾値以上の場合に全てのジェスチャー操作を一律に無効、すなわち受け付けないこととした。しかし、ステアリング操作量に応じて特定のジェスチャー操作のみを受け付けなくてもよい。

図３６（ａ）は、ステアリング操作における舵角を複数の領域として定義する例を示す図である。舵角ＳＡ００から舵角ＳＡ０１の間を、少しハンドルを回している状態として領域３６０１とし、舵角ＳＡ０１から舵角ＳＡ０２の間を領域３６０２、舵角ＳＡ０２以上の大きくハンドルを回している状態を領域３６０３としている。なお、領域分割はこれに限るものではなく、さらに細かく領域を分割するような構成としても構わない。

図３６（ｂ）は、ステアリング舵角の大きさと、ジェスチャ操作の有効／無効の対応を示す図である。本変形例におけるジェスチャー制御部３００３は、図３６（ｂ）に従い、ステアリング舵角に応じて、複数のジェスチャ操作のうち、どのジェスチャ操作の種類を有効にするかを判定する。
たとえばステアリング舵角が領域３６０１にある場合、ジェスチャー制御部３００３は、図３２で示した直接ジェスチャ、図３３で示した手かざしジェスチャの両方ともに有効とする。これは、ステアリング舵角が小さいので、運転のためのステアリング操作はさほど行われておらず、ステアリング付近のジェスチャ検出領域３２０１で行われる手の動きは、ユーザがジェスチャー操作のために行っていると考えられるからである。

ステアリング舵角が領域３６０３にある場合、ジェスチャー制御部３００３は、直接ジェスチャ、手かざしジェスチャともに無効とする。これは、ステアリング舵角が大きいことから、ユーザは運転のためのステアリング操作に集中しており、ジェスチャ操作を行う可能性が低く、ユーザが運転のために行うステアリング操作をジェスチャ操作として誤認識することを防止することを意図している。

ステアリング舵角が領域３６０２にある場合は、ジェスチャー制御部３００３は、直接ジェスチャのみを有効、手かざしジェスチャを無効とする。これは、直接ジェスチャと手かざしジェスチャにおける、手の動かし方の特徴を考慮したためである。直接ジェスチャが短時間の手振り動作で終わるのに対し、手かざしジェスチャは、操作を行うためにジェスチャ検出領域３２０１に一定時間手をかざす動作を行うため、運転のためのステアリング操作が少なく、機器操作を行う余裕が比較的あるときに行うのに適している。このため、運転のためのステアリング操作に必要な作業量を考慮し、作業量が多いときにはユーザが手かざしジェスチャを行う可能性は少ないと判断して、手かざしジェスチャを無効と制御する。これにより、ジェスチャ操作による機器操作などが意図せずに行われるのを防止することができ、使い勝手の向上につながる。
なお、制御はこれに限るものではなく、例えば領域３６０１と領域３６０３だけで判定を行う構成としてもよいし、４以上の領域に分割してもよい。

この変形例によれば、第５の実施の形態における作用効果に加えて、以下の作用効果が得られる。
（１）ジェスチャー制御部３００３は、ステアリング操作量に基づいて、ユーザが行う複数のジェスチャー操作から特定のジェスチャー操作のみを無効化する。
そのため、ステアリング操作量に応じて受け付けるジェスチャー操作を限定することができる。

（２）運転状況認識部３００２は、ステアリング操作量が増加すると無効化するジェスチャー操作を増加させる。
そのため、ユーザがジェスチャー操作を行う可能性が低く、運転のためのステアリング操作をジェスチャ操作として誤認する可能性が高いほど、受け付けるジェスチャー操作を減少させることができる。
また、運転状況認識部３００２が認識したステアリング操作量を複合的に用いて、ユーザのジェスチャー操作を有効として受け付けるか否かを制御することにより、誤認識の少ないきめ細かなジェスチャ認識処理を行うことが可能となる。

（第６の実施の形態）
≪構成≫
第６の実施の形態における車載装置１０１の構成は、第５の実施の形態と同様である。ただし、車両装置制御部１０２の動作が第５の実施の形態と異なる。
運転状況認識部３００２は、ステアリング操作検出部３００１が出力するステアリング操作状況だけでなく、車両情報入力部１１８が取得した車速やアクセル開度、方向指示器の操作に基づくウィンカー信号などの情報に基づき、運転状況を認識する。認識する運転状況とは例えば、ウィンカー信号がＯＮで車速がゼロ、すなわち停車している状態や、走行中にステアリングが右方向に回されている状態、などである。

≪動作説明≫
第６の実施の形態における車載装置１０１の動作を説明する。基本的な動作は第５の実施の形態で述べた動作と同様であり、ステアリング操作検出部３００１が検出したステアリング角度に加えて、運転状況認識部３００２が認識した、ユーザによるステアリングの操作速度（例えば角速度）や、ウィンカー信号（方向指示器）のオン／オフ、車速などに応じて、ユーザのジェスチャー操作を有効として受け付けるか否かを制御することに特徴がある。

図３７は、第６の実施の形態における車載装置１０１の動作を示すフローチャートである。ただし、第５の実施の形態における図３５と同様の処理には同一のステップ番号を付して説明を省略する。
ステップＳ３５０１では、ジェスチャー検出部１０４が、ユーザからの入力の待ち受けを開始し、ステップＳ３５０２に進む。
ステップＳ３５０２では、ジェスチャー検出部１０４がジェスチャー動作を検知したか否かを判断し、検知したと判断する場合はステップＳ３５０６に進み、検知していないと判断する場合はステップＳ３５０２に留まる。

ステップＳ３５０６では、運転状況認識部３００２が車速がゼロであるか否か、すなわち停止中か走行中を判断し、ゼロであると判断する場合はステップＳ３５０４に進み、ゼロではないと判断する場合はステップＳ３５０７に進む。
ステップＳ３５０７では、運転状況認識部３００２が方向指示器がオフ、すなわちウィンカー信号がオフであるか否かを判断する。方向指示器のオンオフにより、運転のためのステアリング操作を行っている可能性が高いか否かを判断している。方向指示器がオフであると判断する場合はステップＳ３５０８に進み、方向指示器がオンであると判断する場合はステップＳ３５０５に進む。

ステップＳ３５０８では、運転状況認識部３００２がステアリングの操作速度すなわち角速度が予め定めた閾値以下であるか否かを判断する。閾値以下であると判断する場合はステップＳ３５０４に進み、閾値より大きいと判断する場合はステップＳ３５０５に進む。
車速がゼロではなく、方向指示器がオン、またはステアリング角速度が閾値より大きい場合に実行されるステップＳ３５０５では、運転状況認識部３００２は、ステップＳ３５０２において検知されたジェスチャー動作の信号を無視し、ステップＳ３５０１に戻る。
ステップＳ３５０４では、操作メニューアプリケーション１７０１がステップＳ３５０２において検知されたジェスチャー動作に対応する操作を実行し、図３７により動作が表されるプログラムを終了する。

以上説明した第６の実施の形態によれば、以下の作用効果が得られる。
（１）ジェスチャー操作が無効化される無効化対象状態とは、少なくとも車速がゼロではない状態である。
そのため、車両が走行していることによりステアリング操作を行っている可能性があると推測し、ステアリング操作のために動かした手を誤認識することを避けられる。

（２）ジェスチャー操作が無効化される無効化対象状態とは、ステアリング角速度が閾値を上回る状態に加えて、車両の方向指示器がオンの状態をさらに含む。
そのため、方向指示器がオンであることによりステアリング操作を行っている可能性があると推測し、ステアリング操作のために動かした手を誤認識することを避けられる。

（第６の実施の形態の変形例１）
上述した第６の実施の形態では、車速、方向指示器、ステアリング角速度に基づき、全てのジェスチャ操作に対して一律に有効／無効に制御した。しかし、ステアリング舵角とステアリング角速度を組み合わせにより、ステアリングに対する運転動作の忙しさを評価し、複数のジェスチャ操作のうち、どのジェスチャ操作の種類を有効にするかを決定してもよい。

図３８（ａ）は、ステアリング操作における舵角を示す領域の定義、および角速度ＡＶの定義を示す図である。舵角の定義は図３６（ａ）と同様に、舵角ＳＡ００から舵角ＳＡ０１の間を、少しハンドルを回している状態として領域３６０１とし、舵角ＳＡ０１から舵角ＳＡ０２の間を領域３６０２、舵角ＳＡ０２以上の大きくハンドルを回している状態を領域３６０３とする。角速度ＡＶは、ハンドルの回転方向に関わらず正の値をとることとする。

図３８（ｂ）は、舵角と角速度の組み合わせであるステアリング操舵量と、ステアリング操舵量ごとに複数のジェスチャ操作のうち、どのジェスチャ操作の種類を有効にするかを示す図である。図中の角速度ＡＶがほぼゼロとは、たとえば角速度が１秒あたり５度以下の状態であり、図中の閾値とはたとえば１秒あたり１５度の角速度である。

ステアリング舵角が領域３６０１にあり、かつステアリング角速度ＡＶがほぼゼロの場合、ジェスチャー制御部３００３は、ジェスチャ検出領域３２０１において検出される手の動きを、ユーザによるジェスチャ操作のためのものであると判断する。そのため、直接ジェスチャおよび手かざしジェスチャの両方を有効とする。一方、領域３６０１においても、ステアリング角速度ＡＶが閾値よりも大きい場合は、ステアリング動作が忙しく行われているものと判断して運転操作を優先し、ジェスチャ操作を直接ジェスチャ、手かざしジェスチャともに無効とする。

ステアリング舵角が領域３６０２にあり、ステアリング角速度ＡＶがほぼゼロの場合には直接ジェスチャと手かざしジェスチャの両方を有効とし、ステアリング角速度ＡＶが閾値より大きい場合には直接ジェスチャと手かざしジェスチャの両方を無効とする。また、ステアリングの角速度ＡＶがゼロではないものの閾値より小さい場合は、直接ジェスチャのみを有効とし、手かざしジェスチャを無効とする。
ステアリング舵角が領域３６０３にある場合は、ステアリング舵角が大きいことから運転動作を優先的に判断し、ステアリングの角速度ＡＶの大きさに関わらず、直接ジェスチャ、手かざしジェスチャともに無効とする。

以上説明した第６の実施の形態の変形例１によれば、以下の作用効果が得られる。
（１）ステアリング操作量とは、ユーザが操作するステアリングの角度とステアリングの操作速度の組み合わせであり、出力情報制御部１１４は、ステアリングの角度とステアリングの操作速度の組み合わせに応じて表示部１０８または外部表示部１０９への表示を異ならせる。すなわち、ステアリング舵角とステアリング角速度ＡＶの組み合わせに応じて、ジェスチャー制御部３００３が複数のジェスチャー操作のうち、どのジェスチャー操作の種類を有効にするかを判定する。その結果、有効と判定されたジェスチャー操作であれば、出力情報制御部１１４は、そのジェスチャー操作に応じて表示部１０８または外部表示部１０９の表示を変化させる。一方、無効と判定されたジェスチャ操作であれば、出力情報制御部１１４は、表示部１０８または外部表示部１０９の表示を変化させない。
このように、ステアリング舵角とステアリング角速度を組み合わせて、ジェスチャ操作の有効／無効を判定することにより、例えばカーブなどを安定して走行しているような、ステアリング舵角は一定量あるものの、ステアリングに対する運転動作は殆ど行っていないようなケースにおいて、ユーザが対象機器に対するジェスチャ操作を行うことが可能となり、ジェスチャ操作の誤認識率を抑えながら、使い勝手を向上させられる効果が得られる。

（第６の実施の形態の変形例２）
上述した第６の実施の形態では、所定の条件に該当すると、全てのジェスチャ操作が一律に無効とされた。しかし、ステアリングの回転方向に応じて特定のジェスチャ操作のみを無効としてもよい。
図３９、図４０は、ステアリングの回転方向に応じて、ジェスチャ操作の制御を行う例を示す図である。
図３９(i)は、ステアリングを右回転させている場合、すなわち右カーブ走行や、右折、右側レーンへの車線変更などを行っている場合における、直接ジェスチャの操作例を示している。図３９(ii)はステアリングを左回転させている場合の例を示している。

図４０は、ステアリング右回転、ステアリング左回転の各々の操舵状況において、直接ジェスチャ操作の下方向の手振り、上方向の手振りのいずれを有効にするかを示す図である。
ステアリングを右回転させている図３９(i)の場合は、手をステアリングに添えて動かすことにより、手がジェスチャ検出領域３２０１を左から右方向に通過することが想定される。このため、運転操作と混同しやすい直接ジェスチャの上方向の手振りを無効とし、ジェスチャー動作として認識しない。

ステアリングを左回転させている図３９(ii)の場合は、図３９(i)と逆に、手をステアリングに添えて動かすことにより、手がジェスチャ検出領域３２０１を右から左方向に通過することが想定される。このため、運転操作と混同しやすい直接ジェスチャの下方向の手振りを無効とし、ジェスチャー動作として認識しない。
また、手かざしジェスチャにおいても同様に、ステアリング回転方向と混同しやすいジェスチャ操作方向を無効する。

（フローチャート）
図４１は、第６の実施の形態の変形例２における車載装置１０１の動作を示すフローチャートである。ただし、第６の実施の形態における図３７と同様の処理には同一のステップ番号を付して説明を省略する。図３７に示すフローチャートとの差異は、ステップＳ３５１０が追加された点である。
ステップＳ３５０８において否定判定がされると実行されるステップＳ３５１０において、運転状況認識部３００２はステップＳ３５０２において検知した手振り動作の動作方向と、ステップＳ３５０８において検出したステアリングの回転方向が一致するか否かを判断する。本ステップにおける一致とは、ステアリングが右回転時における上方向の手振り、およびステアリングが左回転時における下方向の手振りである。一致すると判断する場合はステップＳ３５０５に進み、一致しないと判断する場合はステップＳ３５０４に進む。

以上説明した第６の実施の形態の変形例２によれば、以下の作用効果が得られる。
（１）ジェスチャー操作の無効化とは、ステアリング操作検出部３００１が検出したユーザのステアリング操作方向に対して同方向に手を動かすジェスチャー操作を受け付けないようにすることである。
このように、ステアリングの回転方向に応じて、直接ジェスチャの内の下方向の手振りと上方向の手振りに対する有効／無効を変える制御を行うことで、ステアリングの回転方向と混同しやすいジェスチャ操作を排除し、ジェスチャ認識の精度を向上させる効果が得られる。
運転のためのステアリング操作とジェスチャ操作のための手の動きを適切に区別することができるという効果が得られる。

（第６の実施の形態の変形例３）
センシング部３１０１は、第５および第６の実施の形態において、ステアリング上に設けられたが、ステアリングの近傍にセンシング部３１０１が設けられてもよい。換言すると、第５および第６の実施の形態では、ジェスチャ検出領域３２０１がステアリングとともに移動したが、ジェスチャ検出領域３２０１がステアリングが回転しても移動しないように構成してもよい。
図４２は、ステアリングとジェスチャ検知領域の関係を示す図である。
図４２(i)は、センシング部４００１をステアリング上ではなく、ステアリングとともには回転しない土台などのセンサ設置場所４００２に設置した例である。

図４２(ii)は、センシング部３１０１をステアリング上に設けた例であり、ステアリングを右回転させた場合、ジェスチャ検出領域３２０１はステアリングとともに右上方に移動する。
図４２(iii)は、図４２(i)の状態からステアリングを右回転させた例である。この場合、ジェスチャ検出領域３２０１はステアリングが回転されても移動せず、常に同じ場所にジェスチャ検出領域３２０１が設けられる。
いずれの構成においても、ユーザは運転中にステアリングから大きく手を離すことなく、ステアリング近傍でジェスチャ操作を行うことができ、使い勝手の良い機器操作を実現する効果が得られる。

１０１ 車載装置
１０２ 車載装置制御部
１０３ センシング部
１０４ ジェスチャー検出部
１０５ スイッチ操作部
１０６ タッチ操作部
１０７ 通信部
１０８ 表示部
１０９ 外部表示部
１１０ 音出力部
１１１ スピーカー
１１２ 触覚ＩＦ出力部
１１３ メッセンジャーアプリケーション
１１４ 出力情報制御部
１１５ マイクロホン
１１６ 音声認識部
１１７ 外部スイッチ操作部
１１８ 車両情報入力部
１１９ 操作手段制御部
１２０ 運転負荷推定部
１２１ 地図ＤＢ
１７０１ 操作メニューアプリケーション
１７０２ 表示出力部
１７０３ ステアリングコントローラ
１７０４ ステアリング接触検出部
１７０５ コマンダコントローラ
１７０６ コマンダ接触検出部
２００１ ジェスチャー操作メニュー
２００２ ステアリング操作メニュー
２２０１ ジェスチャー操作メニュー
２２０２ ステアリング操作メニュー
２３０１ ジェスチャー操作メニュー
２３０２ ステアリング操作メニュー
２４０１ 項目選択状態
２４０２ 項目選択状態
２５０１ 詳細メニュー
２７０１ 簡易メニュー
２８０１ コマンダコントローラ操作メニュー
３００１ ステアリング操作検出部
３００２ 運転状況認識部
３００３ ジェスチャー制御部
３１０１ センシング部
３２０１ ジェスチャ検出領域
３４１０ ステアリング舵角
３４１１ ステアリング舵角
４００１ センシング部
４００２ センサ設置場所

Claims (8)

1. 所定の範囲内にあるユーザの手の位置を認識するジェスチャー検出部と、
   車両の運転状況を検出する運転状況認識部と、
   前記ジェスチャー検出部による前記手の位置の認識結果に基づくジェスチャー操作の状態を制御するジェスチャー制御部とを備え、
   前記ジェスチャー操作には、前記所定の範囲において手を停止させることなく前記所定の範囲を上から下または下から上に横切るように手を動かす直接ジェスチャーと、前記所定の範囲において手を一時的に停止させる手かざしジェスチャーとが含まれ、
   前記ジェスチャー制御部は、前記運転状況認識部が検出した前記車両の運転状況が所定の無効化対象状態であるときに、前記ジェスチャー操作を無効化し、
   前記車両を運転するためのステアリング操作を検出するステアリング操作検出部と、
   接続された表示部の表示内容を制御する出力情報制御部と、をさらに備え、
   前記運転状況認識部は、前記ステアリング操作に基づいて前記車両の運転状況を検出し、
   前記無効化対象状態とは、前記ステアリング操作検出部が検出したユーザのステアリング操作量が規定の操作量を上回る状態であり、
   前記ジェスチャー操作が無効化された場合、前記出力情報制御部は、前記手の位置が前記所定の範囲内にある場合でも、前記表示部の表示を変化させず、
   前記ジェスチャー制御部は、前記ステアリング操作量が第１の閾値以下の場合には前記直接ジェスチャーおよび前記手かざしジェスチャーのいずれも無効化せず、前記ステアリング操作量が前記第１の閾値よりも大きく第２の閾値以下の場合には前記手かざしジェスチャーのみ無効化し、前記ステアリング操作量が前記第２の閾値より大きい場合には前記直接ジェスチャーおよび前記手かざしジェスチャーのいずれも無効化する車載装置。
2. 請求項１に記載の車載装置において、
   前記ジェスチャー操作が無効化されていない場合、前記出力情報制御部は、前記所定の範囲内で前記ユーザが手かざししたことが前記ジェスチャー検出部により検知されると、前記手の動作に対応する前記ジェスチャー操作の候補を示すジェスチャー操作メニューを前記表示部に表示させ、
   前記ジェスチャー操作が無効化された場合、前記出力情報制御部は、前記ジェスチャー操作メニューを前記表示部に表示させない、車載装置。
3. 請求項１または請求項２に記載の車載装置において、
   前記ステアリング操作量とは、ユーザが操作するステアリングの角度である、車載装置。
4. 請求項１または請求項２に記載の車載装置において、
   前記ステアリング操作量とは、ユーザが操作するステアリングの操作速度である、車載装置。
5. 請求項１または請求項２に記載の車載装置において、
   前記ステアリング操作量とは、ユーザが操作するステアリングの角度と前記ステアリングの操作速度の組み合わせであり、
   前記出力情報制御部は、前記ステアリングの角度と前記ステアリングの操作速度の組み合わせに応じて前記表示部の表示内容を異ならせる、車載装置。
6. 請求項１または請求項２に記載の車載装置において、
   前記ジェスチャー制御部は、前記ステアリング操作検出部が検出したユーザのステアリング操作方向に対して同方向に手を動かすジェスチャー操作を無効化する、車載装置。
7. 請求項１または請求項２に記載の車載装置において、
   前記無効化対象状態とは、少なくとも前記車両の車速がゼロではない状態である、車載装置。
8. 請求項７に記載の車載装置において、
   前記無効化対象状態とは、前記車両の方向指示器がオンの状態をさらに含む、車載装置。

Images