JP5905691B2

JP5905691B2 - 車両用操作入力装置

Info

Publication number: JP5905691B2
Application number: JP2011208806A
Authority: JP
Inventors: 宗史沖田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2011-09-26
Filing date: 2011-09-26
Publication date: 2016-04-20
Anticipated expiration: 2031-09-26
Also published as: US20130076499A1; DE102012109039A1; US9221341B2; CN103019524A; CN103019524B; JP2013067332A

Description

本発明は、ディスプレイの画面内に操作メニューを選択的に表示する車両用操作入力装置に関する。

従来から、表示画面に配置したタッチパネルによりユーザの操作を受け付ける場合に、タッチパネルへの指の接近により操作メニューを表示する画像表示装置が知られている（例えば、特許文献１参照）。

特開２００２−３５８１６２号公報

しかしながら、上記の特許文献１に記載の装置では、タッチパネルに指を近づけないと操作メニューが表示されないため、操作メニュー内の操作ボタンをスムーズに操作できない虞がある。また、車両に適用された場合、運転者は、先ず、タッチパネルに指を近づけて操作メニューを表示させ、次いで、その操作メニューを見て、所望の操作ボタンを操作するという操作手順を踏むことになるが、かかる操作手順では、1つの操作ボタンを操作するのに実質的に２回操作（指を近づける操作と、所望の操作ボタンの操作）が必要となり、操作性が悪くなる虞がある。

そこで、本発明は、操作性が良好となる態様で、ディスプレイの画面内に操作メニューを選択的に表示することができる車両用操作入力装置の提供を目的とする。

上記目的を達成するため、本発明の一局面によれば、ディスプレイの画面内に操作メニューを選択的に表示する車両用操作入力装置において、
前記画面内に前記操作メニューが表示されていない状況下で、運転者の手がステアリングホイールから離れたことが検出された場合に、運転者の手と前記画面との距離とは無関係に、前記画面内に前記操作メニューを表示することを特徴とする、車両用操作入力装置が提供される。

本発明によれば、操作性が良好となる態様で、ディスプレイの画面内に操作メニューを選択的に表示することができる車両用操作入力装置が得られる。

本発明の一実施例（実施例１）による車両用操作入力装置１０の要部構成を示すシステム図である。ステアリングタッチセンサ７２の一例が搭載されるステアリングホイール９０を概略的に示す図である。タッチパネルディスプレイ１４における画面の状態の一例を示す図である。実施例１による制御ＥＣＵ１２により実行されるフル画面状態と操作メニュー一部表示画面状態との間の切り替え制御方法の一例を示すフローチャートである。本発明の他の一実施例（実施例２）による車両用操作入力装置１０１の要部構成を示すシステム図である。実施例２による制御ＥＣＵ１２により実行されるフル画面状態と操作メニュー一部表示画面状態との間の切り替え制御方法の一例を示すフローチャートである。目視方向の画像認識方法の説明図であり、顔の眉と目の部分がパーツとして抽出された画像を示す図である。本発明の他の一実施例（実施例３）による車両用操作入力装置１０２の要部構成を示すシステム図である。実施例３による制御ＥＣＵ１２により実行されるフル画面状態と操作メニュー一部表示画面状態との間の切り替え制御方法の一例を示すフローチャートである。本発明の他の一実施例（実施例４）による車両用操作入力装置１０３の要部構成を示すシステム図である。実施例４による制御ＥＣＵ１２により実行されるフル画面状態と操作メニュー一部表示画面状態との間の切り替え制御方法の一例を示すフローチャートである。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。

図１は、本発明の一実施例（実施例１）による車両用操作入力装置１０の要部構成を示すシステム図である。図２は、ステアリングタッチセンサ７２の一例が搭載されるステアリングホイール９０を概略的に示す図である。

車両用操作入力装置１０は、電子制御ユニット１２（以下、「制御ＥＣＵ１２」と称す）を中心に構成されている。制御ＥＣＵ１２は、図示しないバスを介して互いに接続されたＣＰＵ、ＲＯＭ、及びＲＡＭ等からなるマイクロコンピュータとして構成されている。ＲＯＭには、ＣＰＵが実行するプログラムやデータが格納されている。

制御ＥＣＵ１２には、タッチパネルディスプレイ１４が接続される。タッチパネルディスプレイ１４は、運転者が視認しやすい車室内の適切な場所に配置される。例えば、タッチパネルディスプレイ１４は、インストルメントパネルに配置されてもよい。タッチパネルディスプレイ１４は、運転者等のユーザによる手によるタッチ操作を検出すると共に、各種情報を表示する機能を備える。尚、タッチ操作の検出原理は、任意であり、感圧式であってもよいし、静電式であってもよい。

制御ＥＣＵ１２には、ステアリングホイール（ハンドル）９０（図２参照）に設けられるタッチセンサ（以下、ステアリングタッチセンサという）７２が接続される。ステアリングタッチセンサ７２は、例えば、図２に示すように、ステアリングホイール９０における運転者の左右の手によりそれぞれ握られる部分（ハンドル部分）に設けられてもよい。即ち、図２に示す例では、ステアリングタッチセンサ７２は、ステアリングホイール９０への運転者の左手の接触を検出するためのステアリングタッチセンサ７２Ｌと、ステアリングホイール９０への運転者の右手の接触を検出するためのステアリングタッチセンサ７２Ｒとを含む。

尚、制御ＥＣＵ１２と各要素（タッチパネルディスプレイ１４及びステアリングタッチセンサ７２）との間の接続態様は、適切なバスを介した有線によるものであってもよいし、無線であってもよいし、或いは、これらの組み合わせであってもよい。また、制御ＥＣＵ１２の一部又は全部の機能は、他の要素に組み込まれてもよい。例えば、制御ＥＣＵ１２の一部又は全部の機能は、タッチパネルディスプレイ１４内の制御装置により実現されてもよい。また、制御ＥＣＵ１２は、１つのＥＣＵにより実現されてもよいし、複数のＥＣＵ（制御装置）により協動して実現されてもよい。

図３は、タッチパネルディスプレイ１４における画面の状態の一例を示す図であり、図３（Ａ）は、タッチパネルディスプレイ１４の画面内に操作メニューが表示された状態を示し、図３（Ｂ）は、タッチパネルディスプレイ１４の画面内に操作メニューが表示されていない状態を示す。

制御ＥＣＵ１２は、タッチパネルディスプレイ１４の画面表示を制御する。特に、制御ＥＣＵ１２は、タッチパネルディスプレイ１４の画面内の操作メニュー５０の表示状態について、操作メニュー５０が表示された状態（図３（Ａ）参照）と、操作メニュー５０が表示されない状態（図３（Ｂ）参照）とを切り替える。

ここで、タッチパネルディスプレイ１４の画面には、任意の情報が表示されてもよい。例えばタッチパネルディスプレイ１４の画面には、ナビゲーション装置の地図表示、ＴＶ、車両周辺監視カメラの撮像映像等が表示されてもよい。尚、図３に示す例では、タッチパネルディスプレイ１４の画面には、後方カメラの画像が表示されている。

操作メニュー５０は、タッチパネルディスプレイ１４の画面に表示（重畳表示）される。操作メニュー５０は、１つ以上の操作ボタンを含み、典型的には、図３に示すように、２つ以上の操作ボタン（タッチスイッチ）５２，５４，５６，５８を含む。操作メニュー５０は、操作ボタン５２，５４，５６，５８からなってもよいし、他の情報表示部（例えば、ＴＶ、オーディオ、外気温、燃費などの走行情報、エンターテイメント情報等を表示する部位）を含んでもよい。

操作ボタン５２，５４，５６，５８の種類（機能）は、任意であってよい。例えば、操作ボタンは、ナビゲーション装置の各種設定を行うための画面（メニュー画面）や地図画面（例えば現在地表示画面）をタッチパネルディスプレイ１４上に表示させる（呼び出す）ための操作ボタンを含んでよい。また、操作ボタンは、空調装置の各種設定を行うための画面をタッチパネルディスプレイ１４上に表示させるための操作ボタンを含んでよい。また、操作ボタンは、オーディオやＴＶの各種設定（音量調整等）を行うための画面をタッチパネルディスプレイ１４上に表示させるための操作ボタンを含んでよい。また、操作ボタンは、任意のアプリケーションを起動するための操作ボタン（アイコン、ランチャ）であってもよい。

図示の例では、操作ボタン５２は、ナビゲーション装置の地図画面をタッチパネルディスプレイ１４上に呼び出すためのボタンである。また、操作ボタン５４は、空調装置のモードを設定するためのボタンである。また、操作ボタン５６，５８は、出力音量を調整するためのボタンである。

尚、操作メニュー５０の配置は任意であってよい。典型的には、操作メニュー５０は、タッチパネルディスプレイ１４の画面の端（図示の例では、左端）に配置される。例えば、操作メニュー５０は、タッチパネルディスプレイ１４の画面の左端、右端、及び下縁のいずれか若しくはこれらの組み合わせで配置されてもよい。

このように、本実施例では、画面内に操作メニュー５０が表示されない状態（フル画面状態）と、画面の一部に操作メニュー５０が表示された状態（操作メニュー一部表示画面状態）と、を切り替えることで、画面から提供できる情報量を最大化することを可能としつつ、タッチパネルディスプレイ１４上での操作を可能とする。

次に、フル画面状態と操作メニュー一部表示画面状態との間の切り替え制御方法について説明する。

図４は、実施例１による制御ＥＣＵ１２により実行されるフル画面状態と操作メニュー一部表示画面状態との間の切り替え制御方法の一例を示すフローチャートである。図４に示す処理ルーチンは、例えば車両のイグニッションスイッチ又はＡＣＣがオンである間、所定周期毎に繰り返し実行されてもよい。

ステップ４００では、ステアリングタッチセンサ７２からの信号が、ステアリングホイール９０への手の接触が無い状態を示すか否かが判定される。即ち、ステアリングタッチセンサ７２からの信号に基づいて、運転者の手がステアリングホイール９０から離れているか否かが判定される。この際、左右の手のうちの、タッチパネルディスプレイ１４側の手がステアリングホイール９０から離れた場合に、運転者の手がステアリングホイール９０から離れたと判定することとしてもよい。例えば、右ハンドル車でタッチパネルディスプレイ１４がインストルメントパネル中央に配置されている構成では、ステアリングタッチセンサ７２Ｌからの信号に基づいて、運転者の左手がステアリングホイール９０から離れたことが検出された場合に、運転者の手がステアリングホイール９０から離れたと判定することとしてもよい。他方、左ハンドル車でタッチパネルディスプレイ１４がインストルメントパネル中央に配置されている構成では、ステアリングタッチセンサ７２Ｒからの信号に基づいて、運転者の右手がステアリングホイール９０から離れたことが検出された場合に、運転者の手がステアリングホイール９０から離れたと判定することとしてもよい。尚、いずれの場合も、チャッタリングやノイズの影響等を防止する観点から、ステアリングタッチセンサ７２からの信号が所定時間継続してオフ状態（接触無し状態）を示す場合に、運転者の手がステアリングホイール９０から離れていると判定されてもよい。

本ステップ４００において、運転者の手がステアリングホイール９０から離れていると判定した場合は、ステップ４０４に進み、それ以外の場合（即ち運転者の手がステアリングホイール９０から離れていないと判定した場合）は、ステップ４０６に進む。

ステップ４０４では、操作メニュー５０が表示される操作メニュー一部表示画面状態（図３（Ａ）参照）が形成される。

ステップ４０６では、操作メニュー５０が表示されないフル画面状態が形成される。

このように図４に示す処理によれば、フル画面状態が形成されている状況下で、運転者の手がステアリングホイール９０から離れた場合には、操作メニュー５０が表示される操作メニュー一部表示画面状態が形成される。他方、運転者の手がステアリングホイール９０から離れない場合には、操作メニュー５０が表示されないフル画面状態が形成される。従って、運転者は、タッチパネルディスプレイ１４で何らかの操作を行いたい場合に、ステアリングホイール９０から手（タッチパネルディスプレイ１４側の手）を離せば、操作メニュー５０を表示させることができる。これにより、例えばタッチパネルディスプレイ１４に手を近づけないと操作メニューが表示されないような比較構成に比べて、早いタイミングで操作メニュー５０を表示させることができる。また、これにより一連の流れで、そのまま、ステアリングホイール９０から離した手を操作メニュー５０に近づけて、所望の操作ボタン５２，５４，５６又は５８を操作することができるので、操作性が向上する。即ち、操作メニュー５０を表示させるための特別な操作（前操作）が不要となり、スムーズに操作メニュー５０内の所望の操作ボタン５２，５４，５６又は５８を操作することができる。特に、ステアリングホイール９０から手を離した段階で、操作メニュー５０が表示されるので、運転者は、所望の操作ボタン５２，５４，５６又は５８へと直線的に手を動かすことができる。この点、例えばタッチパネルディスプレイ１４に手を近づけないと操作メニューが表示されないような比較構成では、タッチパネルディスプレイ１４に近づけた手を、再び、所望の操作ボタンの方へと動かさなければならない。

また、図４に示す処理によれば、運転者に操作の意図が無く、単にタッチパネルディスプレイ１４を見たいだけの場合は、ステアリングホイール９０から手を離す可能性は低く、この場合、タッチパネルディスプレイ１４がフル画面状態となるので、最大限の情報を運転者に提供することができる。即ち、ステアリングホイール９０から運転者の手が離れない限り、操作メニュー５０を介した操作ボタン５２−５８に対する運転者の操作意図がないと判断できるので、これに応じて、フル画面状態で最大限の情報を運転者に提供することができる。

尚、図４に示す処理において、操作メニュー５０の出現と消失との間でのチャタリング（即ち操作メニュー一部表示画面状態とフル画面状態との間の切り換えのチャタリング）を防止する観点から、操作メニュー一部表示画面状態からフル画面状態への移行条件として、例えば操作メニュー５０の操作ボタン５２−５８が操作されていない状態が所定時間継続することを、追加してもよい。

図５は、本発明の他の一実施例（実施例２）による車両用操作入力装置１０１の要部構成を示すシステム図である。

本実施例２では、上述した実施例１に対して、制御ＥＣＵ１２に顔向き監視カメラ７４が接続される点が主に異なる。

顔向き監視カメラ７４は、例えばカラー又は赤外線感応ＣＣＤ（charge‐coupled device）センサアレイを備えるカメラである。例えば運転者の前面（例えば顔部を前方から）を捕捉可能なように、車両の適切な箇所に設けられる。例えば、顔向き監視カメラ７４は、車両のバックミラーや、インストルメントパネルのダッシュボードやステアリングコラム等の適切な箇所に設置される。顔向き監視カメラ７４は、リアルタイムに運転者の画像を取得し、所定のフレーム周期のストリーム形式で制御ＥＣＵ１２に供給するものであってよい。尚、顔向き監視カメラ７４は、居眠り検知用などのような他の用途に利用されるカメラと兼用であってもよい。

尚、制御ＥＣＵ１２と顔向き監視カメラ７４との間の接続態様は、適切なバスを介した有線によるものであってもよいし、無線であってもよいし、或いは、これらの組み合わせであってもよい。また、制御ＥＣＵ１２の一部又は全部の機能は、顔向き監視カメラ７４を含む他の要素に組み込まれてもよい。

図６は、実施例２による制御ＥＣＵ１２により実行されるフル画面状態と操作メニュー一部表示画面状態との間の切り替え制御方法の一例を示すフローチャートである。

ステップ６００，６０４，６０６の処理は、それぞれ、図４に示したステップ４００，４０４，４０６の処理と実質的に同一であってよく、説明を省略する。ステップ６００で肯定判定された場合は、ステップ６０２に進む。

ステップ６０２では、顔向き監視カメラ７４の撮像画像に基づいて、運転者の顔向きが画像認識され、運転者の顔向きが、タッチパネルディスプレイ１４の方向に向いているか否かが判定される。即ち、顔向き監視カメラ７４により取得された画像に対する画像処理により、運転者の顔の向きが認識され、運転者の顔向きが、タッチパネルディスプレイ１４の方向に向いているか否かが判定される。例えば先ず、顔向き監視カメラ７４により取得された画像から、顔の代表的なポイント（特徴点）を抽出する。この特徴抽出方法は、適切な任意の方法であってよく、例えばActive Appearance Model（AAM）をベースにした技術が用いられてよい。次いで、適切なエッジ検出アルゴリズム（例えばSobelのエッジ検出アルゴリズム）を適用して、顔と顔の特徴の境界を抽出する。次いで、上述の如く抽出されるエッジ及び特徴点を用いて、図７に示すように、顔のパーツが分離され、顔のパーツの形状を抽出する。尚、図７は、顔の一部のみを代表して示しており、顔の眉と目の部分がパーツとして抽出された画像を示している。次いで、抽出した顔のパーツの位置又は向きと、予め記憶しておいた各姿勢における同パーツの位置又は向きとのマッチング度合いを比較することにより、現在の姿勢（顔の向き）を検出する。顔の向きは、例えば正規の姿勢であるときの顔の正面方向を基準とした水平面内の回転角度で表されてよい。また、運転者の顔向きが、タッチパネルディスプレイ１４の方向に向いているか否かは、運転者に応じて適合されてもよい。例えば、実際にタッチパネルディスプレイ１４の操作が行われた際の運転者の顔向きの範囲を学習しておき、検出された運転者の顔向きが、その範囲内である場合に、運転者の顔向きが、タッチパネルディスプレイ１４の方向に向いていると判定してもよい
尚、画像認識処理による顔向きの検出方法は、多種多様でありえ、本発明は、上述したものに限定されることは無い。例えば、顔のパーツとして眼球の輪郭線を抽出し、目の輪郭内における眼球の位置に基づいて、運転者の視線の向きを検出してもよい。運転者の視線の向き及び運転者の顔の向きは、それぞれ、運転者の意図を推定する上で有効なパラメータであるので、それぞれを単独で用いることも、それらを組み合わせて用いることも可能である。以下では、運転者の顔の向きを用いた切り替え方法について説明するが、顔の向きに代えて又は加えて、運転者の視線の向きを用いることも可能である。

本ステップ６０２において、画像認識された運転者の顔向きが、タッチパネルディスプレイ１４の方向に向いていると判定した場合は、ステップ６０４に進み、タッチパネルディスプレイ１４の方向に向いていないと判定した場合（例えば、正面を向いている場合）は、ステップ６０６に進む。

このように図６に示す処理によれば、フル画面状態が形成されている状況下で、運転者の手がステアリングホイール９０から離れ、且つ、運転者の顔の向きがタッチパネルディスプレイ１４の方向に向いている場合には、操作メニュー５０が表示される操作メニュー一部表示画面状態が形成される。他方、これらの２つの条件のいずれかが満たされない場合には、操作メニュー５０が表示されないフル画面状態が形成される。従って、運転者は、タッチパネルディスプレイ１４で何らかの操作を行いたい場合に、タッチパネルディスプレイ１４の方を見て、ステアリングホイール９０からタッチパネルディスプレイ１４側の手を離せば、操作メニュー５０を表示させることができる。これにより、早いタイミングで操作メニュー５０を表示させることができる。また、一連の流れで、そのまま、ステアリングホイール９０から離した手を操作メニュー５０に近づけて、所望の操作ボタン５２，５４，５６又は５８を操作することができるので、操作性が向上する。また、ステアリングホイール９０から所望の操作ボタン５２，５４，５６又は５８への直接的な手の動きで、スムーズに操作メニュー５０内の所望の操作ボタン５２，５４，５６又は５８を操作することができる。また、ステアリングホイール９０から運転者の手が離れない限り、操作メニュー５０を介した操作ボタン５２，５４，５６又は５８に対する運転者の操作意図がないと判断できるので、これに応じて、フル画面状態で最大限の情報を運転者に提供することができる。

尚、図６に示す例において、ナビゲーションＥＣＵ７８により目的地ルート案内が行われている場合であって、タッチパネルディスプレイ１４に地図表示が出力されている場合、ルート案内メッセージの出力時や、案内ルートに従った右左折ポイントの近傍に自車位置が存在する時は、運転者の手がステアリングホイール９０から離れ、且つ、運転者の顔の向きがタッチパネルディスプレイ１４の方向に向いていると判定された場合であっても、操作メニュー５０が表示されないフル画面状態が維持されることとしてもよい。これは、このような場面では、運転者が地図表示を見たいためにタッチパネルディスプレイ１４の方を向いている可能性が高く、運転者がタッチパネルディスプレイ１４で操作を行う可能性は低いためである。

図８は、本発明の他の一実施例（実施例３）による車両用操作入力装置１０２の要部構成を示すシステム図である。

本実施例３では、上述した実施例１に対して、制御ＥＣＵ１２に運転者負荷判定部７６が接続される点が主に異なる。

運転者負荷判定部７６は、運転者の運転負荷の状態を判定する。運転者負荷判定部７６は、各種の車載センサや各種のＥＣＵからの情報に基づいて、運転者の運転負荷の状態を推定（判定）してもよい。例えば、運転者負荷判定部７６は、舵角センサ及び／又は車速センサに基づいて、運転者の運転負荷の状態を判定する。この場合、舵角の変化が所定閾値以下である場合、及び／又は、車速が所定閾値以下である場合に、運転者の運転負荷が低いと判定してもよい。

尚、制御ＥＣＵ１２と運転者負荷判定部７６との間の接続態様は、適切なバスを介した有線によるものであってもよいし、無線であってもよいし、或いは、これらの組み合わせであってもよい。また、運転者負荷判定部７６の一部又は全部の機能は、制御ＥＣＵ１２に組み込まれてもよい。

図９は、実施例３による制御ＥＣＵ１２により実行されるフル画面状態と操作メニュー一部表示画面状態との間の切り替え制御方法の一例を示すフローチャートである。

ステップ９００，９０４，９０６の処理は、それぞれ、図４に示したステップ４００，４０４，４０６の処理と実質的に同一であってよく、説明を省略する。ステップ９００で肯定判定された場合は、ステップ９０２に進む。

ステップ９０２では、運転者負荷判定部７６の判定結果に基づいて、運転者の運転負荷が所定レベルよりも低いか否かが判定される。所定レベルは、運転者がタッチパネルディスプレイ１４を操作することができるような運転負荷に対応する。例えば、車速が所定閾値以下である場合（車速がゼロの場合を含む）や、舵角又は操舵速度が所定値閾値以下である場合（舵角がゼロ、即ち直進状態の場合を含む）に、運転者の運転負荷が所定レベルよりも低いと判定されてもよい。尚、所定レベル（例えば上記の車速等に対する所定閾値）は、運転者に応じて適合されてもよい。例えば、実際にタッチパネルディスプレイ１４の操作が行われた際の車速や舵角等の範囲を学習しておき、検出された車速や舵角等が、その範囲内である場合に、運転者の運転負荷が所定レベルよりも低いと判定してもよい。

本ステップ９０２において、運転者の運転負荷が所定レベルよりも低い場合には、ステップステップ９０４に進み、運転者の運転負荷が所定レベルよりも低くない場合は、ステップ９０６に進む。

このように図９に示す処理によれば、フル画面状態が形成されている状況下で、運転者の手がステアリングホイール９０から離れ、且つ、運転者の運転負荷が所定レベルよりも低い場合には、操作メニュー５０が表示される操作メニュー一部表示画面状態が形成される。他方、これらの２つの条件のいずれかが満たされない場合には、操作メニュー５０が表示されないフル画面状態が形成される。従って、運転者は、タッチパネルディスプレイ１４で何らかの操作を行いたい場合に、タッチパネルディスプレイ１４の方を見て、ステアリングホイール９０からタッチパネルディスプレイ１４側の手を離せば、操作メニュー５０を表示させることができる。これにより一連の流れで、そのまま、ステアリングホイール９０から離した手を操作メニュー５０に近づけて、所望の操作ボタン５２，５４，５６又は５８を操作することができるので、操作性が向上する。また、ステアリングホイール９０から所望の操作ボタン５２，５４，５６又は５８への直接的な手の動きで、スムーズに操作メニュー５０内の所望の操作ボタン５２，５４，５６又は５８を操作することができる。また、ステアリングホイール９０から運転者の手が離れない限り、操作メニュー５０を介した操作ボタン５２，５４，５６又は５８に対する運転者の操作意図がないと判断できるので、これに応じて、フル画面状態で最大限の情報を運転者に提供することができる。また、運転者の運転負荷を考慮するので、運転者が操作を意図せずに、たまたまステアリングホイール９０から手を離した場合（例えば右左折時等にステアリングホイール９０を大きく操作する場合のステアリングホイール９０の持ち手の切り替えの際）に、操作メニュー一部表示画面状態が形成されることを防止することができる。特に、運転者の運転負荷が高い場合には、運転者がタッチパネルディスプレイ１４で操作を行う可能性は低く、従って、運転者の意図に高い精度で合致する態様で、フル画面状態と操作メニュー一部表示画面状態との間の切り替えを実現することができる。

尚、運転者は、走行中にタッチパネルディスプレイ１４で何らかの操作を行いたい場合、例えば信号待ち状態や、低速運転状態のような、運転者の運転負荷が低い状態になるのを待ってから、タッチパネルディスプレイ１４の操作を開始する場合がある。この点、図６に示す処理によれば、かかる低運転負荷状態に移行し、運転者の手がステアリングホイール９０から離れた場合に、操作メニュー一部表示画面状態が形成されるので、運転者の意図に高い精度で合致する態様で、操作メニュー一部表示画面状態への切り替えを実現することができる。

尚、本実施例３は、上述した実施例２（即ち運転者の顔の向きを考慮する構成）と組み合わせることも可能である。具体的には、フル画面状態が形成されている状況下で、運転者の手がステアリングホイール９０から離れ、運転者の運転負荷が低く、且つ、運転者の顔の向きがタッチパネルディスプレイ１４の方向に向いている場合には、操作メニュー５０が表示される操作メニュー一部表示画面状態が形成されることとしてよい。他方、これらの３つの条件のいずれかが満たされない場合には、操作メニュー５０が表示されないフル画面状態が形成されることとしてよい。

図１０は、本発明の他の一実施例（実施例４）による車両用操作入力装置１０３の要部構成を示すシステム図である。

本実施例３では、上述した実施例１に対して、制御ＥＣＵ１２にナビゲーションＥＣＵ７８が接続される点が主に異なる。

制御ＥＣＵ１２は、ナビゲーションＥＣＵ７８からの地図情報とＧＰＳ受信機（図示せず）からの自車位置情報とに基づいて、自車の進行方向前方の道路又は現在走行中の道路に関する情報（直線道路、カーブや曲がり角、交差点等の有無等）について判断する。

尚、制御ＥＣＵ１２とナビゲーションＥＣＵ７８との間の接続態様は、適切なバスを介した有線によるものであってもよいし、無線であってもよいし、或いは、これらの組み合わせであってもよい。また、ナビゲーションＥＣＵ７８の一部又は全部の機能は、制御ＥＣＵ１２に組み込まれてもよいし、逆に制御ＥＣＵ１２の一部又は全部の機能は、ナビゲーションＥＣＵ７８に組み込まれてもよい。

図１１は、実施例４による制御ＥＣＵ１２により実行されるフル画面状態と操作メニュー一部表示画面状態との間の切り替え制御方法の一例を示すフローチャートである。

ステップ１１００，１１０４，１１０６の処理は、それぞれ、図４に示したステップ４００，４０４，４０６の処理と実質的に同一であってよく、説明を省略する。ステップ１１００で肯定判定された場合は、ステップ１１０２に進む。

ステップ１１０２では、ナビゲーションＥＣＵ７８からの地図情報とＧＰＳ受信機からの自車位置情報とに基づいて、自車が直線道路を走行中か否かを判定する。尚、直線道路は、厳密に“直線”である必要はなく、曲率半径が所定値以上大きい道路であってよい。所定値は、ステアリングホイール９０の持ち手の切り替えが不要な曲率半径の限界値に対応してもよい。自車が直線道路を走行中である場合には、ステップステップ１１０４に進み、自車が直線道路を走行中でない場合（例えばカーブや曲がり角、交差点等を走行中である場合）は、ステップ１１０６に進む。

このように図１１に示す処理によれば、フル画面状態が形成されている状況下で、運転者の手がステアリングホイール９０から離れ、且つ、自車が直線道路を走行中である場合には、操作メニュー５０が表示される操作メニュー一部表示画面状態が形成される。他方、これらの２つの条件のいずれかが満たされない場合には、操作メニュー５０が表示されないフル画面状態が形成される。従って、運転者は、タッチパネルディスプレイ１４で何らかの操作を行いたい場合に、直線道路走行中に、タッチパネルディスプレイ１４の方を見て、ステアリングホイール９０からタッチパネルディスプレイ１４側の手を離せば、操作メニュー５０を表示させることができる。これにより一連の流れで、そのまま、ステアリングホイール９０から離した手を操作メニュー５０に近づけて、所望の操作ボタン５２，５４，５６又は５８を操作することができるので、操作性が向上する。また、ステアリングホイール９０から所望の操作ボタン５２，５４，５６又は５８への直接的な手の動きで、スムーズに操作メニュー５０内の所望の操作ボタン５２，５４，５６又は５８を操作することができる。また、ステアリングホイール９０から運転者の手が離れない限り、操作メニュー５０を介した操作ボタン５２，５４，５６又は５８に対する運転者の操作意図がないと判断できるので、これに応じて、フル画面状態で最大限の情報を運転者に提供することができる。また、例えばカーブや曲がり角、交差点、右左折時等にステアリングホイール９０を大きく操作する場合のステアリングホイール９０の持ち手の切り替えの際に、たまたまステアリングホイール９０から手を離した場合に、操作メニュー一部表示画面状態が形成されることを防止することができる。また、ステアリングホイール９０の操作が必要な場面は、運転者の運転負荷が高い場面でもあるため、運転者がタッチパネルディスプレイ１４で操作を行う可能性は低く、従って、運転者の意図に高い精度で合致する態様で、フル画面状態と操作メニュー一部表示画面状態との間の切り替えを実現することができる。

尚、図１１のステップ１１０２において、自車が直線道路を走行中か否かを判定することに代えて、自車がカーブ路又は曲がり角を走行中か否かを判定してもよい。この場合、ステアリングホイール９０の持ち手の切り替えが必要なカーブ路又は曲がり角を走行中か否かを判定してもよい。ステアリングホイール９０の持ち手の切り替えが必要か否かは、カーブの曲率半径や長さ、曲がり角の角度等が考慮されてよい。自車がカーブ路又は曲がり角を走行中である場合は、ステップ１１０６に進み、それ以外の場合は、ステップ１１０４に進むこととしてよい。

尚、本実施例４は、上述した実施例３の一態様として考えることもできる。即ち、直線道路走行中である場合は、運転者の運転負荷が所定レベルよりも低い場合として捉えることができる。また、本実施例４は、上述した実施例３における他の因子と組み合わせて考慮することができる。例えば、直線道路走行中であっても、車速が高い場合には、運転者の手がステアリングホイール９０から離れた場合でも、フル画面状態が維持されることとしてもよい。また、逆に、カーブ路走行中であっても、車速が非常に低い場合（例えば渋滞中の場合）には、運転者の手がステアリングホイール９０から離れた際に、操作メニュー一部表示画面状態が形成されることとしてもよい。

尚、本実施例４は、上述した実施例２（即ち運転者の顔の向きを考慮する構成）と組み合わせることも可能である。具体的には、フル画面状態が形成されている状況下で、運転者の手がステアリングホイール９０から離れ、自車が直線道路を走行中であり、且つ、運転者の顔の向きがタッチパネルディスプレイ１４の方向に向いている場合には、操作メニュー５０が表示される操作メニュー一部表示画面状態が形成されることとしてよい。他方、これらの３つの条件のいずれかが満たされない場合には、操作メニュー５０が表示されないフル画面状態が形成されることとしてよい。

また、図１１に示す例では、ナビゲーションＥＣＵ７８からの地図情報とＧＰＳ受信機からの自車位置情報に基づいて、直線道路走行中か否かを判定しているが、これに代えて又は加えて、ヨーレートセンサの出力値や、加速度センサの出力値（横加速度）と車速センサの出力値、周辺監視カメラの撮像映像からの白線画像認識結果（及びそれに基づく道路曲率判定結果）等に基づいて、同様の判定を行ってもよい。また、図１１に示す例では、現在の自車の走行道路の状態を判定しているが、これに代えて又は加えて、自車の進行方向前方の道路の状態を判定して同様の切り替えを実現してもよい。これは、カーブや曲がり角、交差点などの右左折を行う地点に近づいたときに、運転者がタッチパネルディスプレイ１４で操作を行う可能性は低いためである。

また、図１１に示す例において、ナビゲーションＥＣＵ７８により目的地ルート案内が行われている場合、直進予定の交差点については、直線道路として扱われてもよい。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述した実施例では、ステアリングタッチセンサ７２を用いて、ステアリングホイール９０からの運転者の手の離れを検出しているが、ステアリングタッチセンサ７２に代えて又はそれに加えて、他のセンサを用いて、ステアリングホイール９０からの運転者の手の離れを検出することも可能である。例えば、車室内カメラ（例えば顔向き監視カメラ７４又はその他のカメラ）を用いて、画像処理により、ステアリングホイール９０からの運転者の手の離れを検出してもよい。

また、上述した実施例において、ステアリングタッチセンサ７２は、任意の原理で、ステアリングホイール９０と運転者の手の接触の有無を検出してもよく、例えば静電式や感圧式が使用されてもよい。尚、ステアリングタッチセンサ７２は、ステアリングホイール９０に設けられうるタッチスイッチ（操作スイッチ）とは別物である。また、図２に示す例では、ステアリングホイール９０への運転者の左右の手の接触の有無をそれぞれ検出するために左右の２つのステアリングタッチセンサ７２Ｌ、７２Ｒが設けられているが、一体型のタッチセンサ（接触座標位置で左右の手の接触の有無の判別を行う構成）であってもよい。また、タッチパネルディスプレイ１４側の手の接触の有無のみを検出する構成であってもよい。例えば、右ハンドル車でタッチパネルディスプレイ１４がインストルメントパネル中央に配置されている構成では、ステアリングタッチセンサ７２Ｌのみを設け、左ハンドル車でタッチパネルディスプレイ１４がインストルメントパネル中央に配置されている構成では、ステアリングタッチセンサ７２Ｒのみを設けることとしてもよい。

また、図２に示す例では、ステアリングホイール９０への運転者の左右の手の接触の有無をそれぞれ検出することができるので、例えば図４のステップ４００や図６のステップ６００等において、左右の手が離れた場合（例えば車両停止中の場合等）に、運転者の手がステアリングホイール９０から離れたと判定することとしてもよい。或いは、車両走行中に左右の手が離れた場合には、例外的に、図４のステップ４０６や図６のステップ６０６等に進んで、フル画面状態が形成されてもよい。

また、上述した実施例において、近接センサやタッチセンサ等を用いて、タッチパネルディスプレイ１４に対する手の近接や接触が検出された場合に、操作メニュー一部表示画面状態を形成することとしてもよい。即ち、助手席側からの操作や、ステアリングタッチセンサ７２の異常の可能性、顔向きの検出精度（実施例２の場合）等を考慮して、ステアリングホイール９０からの運転者の手の離れの検出に加えて、近接センサやタッチセンサを追加的に設けることとしてもよい。この場合、例えば、ステアリングホイール９０からの運転者の手の離れが検出されない場合であっても、タッチパネルディスプレイ１４に対する手の近接や接触が検出された場合には、操作メニュー一部表示画面状態を形成することとしてもよい。

また、上述した実施例では、表示機能と操作機能の双方を有するタッチパネルディスプレイ１４が使用されているが、表示機能と操作機能を別々に分離した遠隔操作型ディスプレイが使用されてもよい。具体的には、互いに同期する表示用ディスプレイと操作用タッチパネルとが車室内の異なる位置に配置され、操作用タッチパネルの方が表示用ディスプレイよりも運転者に近い側に配置される。表示用ディスプレイに表示される操作メニューは、操作用タッチパネルで操作される操作ボタンに関する情報を表す。この場合、運転者は、表示用ディスプレイを見ながら、手元の操作用タッチパネルを操作することができる。尚、この場合、表示用ディスプレイは、操作機能をも備えてもよく、同様に、操作用タッチパネルは、表示機能をも備えてもよい。この場合も、ステアリングホイール９０からの運転者の手の離れが検出された場合に、表示用ディスプレイの画面において操作メニュー一部表示画面状態を形成すればよい。

１０車両用操作入力装置
１２制御ＥＣＵ
１４タッチパネルディスプレイ
５０操作メニュー
５２−５８操作ボタン
７２（７２Ｌ，７２Ｒ）ステアリングタッチセンサ
７４顔向き監視カメラ
７６運転者負荷判定部
７８ナビゲーションＥＣＵ
９０ステアリングホイール

Claims

ディスプレイの画面内に操作メニューを選択的に表示する車両用操作入力装置において、
前記画面内に前記操作メニューが表示されていない状況下で、運転者の手がステアリングホイールから離れたことが検出された場合に、運転者の手と前記画面との距離とは無関係に、前記画面内に前記操作メニューを表示することを特徴とする、車両用操作入力装置。
前記画面内に前記操作メニューが表示されていない状況下で、運転者の左右の手のうちの前記ディスプレイ側の手がステアリングホイールから離れたことが検出された場合に、前記画面内に前記操作メニューを表示する、請求項１に記載の車両用操作入力装置。
前記ディスプレイは、タッチパネルディスプレイである、請求項１又は２に記載の車両用操作入力装置。
前記画面内に前記操作メニューが表示されていない状況下で、運転者の手がステアリングホイールから離れたことが検出され、且つ、運転者の顔向き又は視線の方向が前記画面に向かう方向にある場合に、前記画面内に前記操作メニューを表示する、請求項３に記載の車両用操作入力装置。
前記画面内に前記操作メニューが表示されていない状況下で、運転者の手がステアリングホイールから離れたことが検出され、且つ、自車が直線道路を走行している場合に、前記画面内に前記操作メニューを表示する、請求項１〜４のうちのいずれか１項に記載の車両用操作入力装置。
前記画面内に前記操作メニューが表示されていない状況下で、運転者の手がステアリングホイールから離れたことが検出された場合であっても、自車がカーブ路又は曲がり角を走行している場合には、前記操作メニューの表示を抑制する、請求項５に記載の車両用操作入力装置。
前記画面内に前記操作メニューが表示されていない状況下で、運転者の手がステアリングホイールから離れたことが検出され、且つ、運転者の運転負荷が所定レベルよりも低い場合に、前記画面内に前記操作メニューを表示する、請求項１〜４のうちのいずれか１項に記載の車両用操作入力装置。
前記画面内に前記操作メニューが表示されていない状況下で、運転者の手がステアリングホイールから離れたことが検出された場合であっても、運転者の運転負荷が所定レベルよりも高い場合には、前記操作メニューの表示を抑制する、請求項７に記載の車両用操作入力装置。
前記運転者の運転負荷は、車速情報及び舵角情報に基づいて判断される、請求項７又は８に記載の車両用操作入力装置。