JP5126666B2

JP5126666B2 - 車両用操作入力装置

Info

Publication number: JP5126666B2
Application number: JP2007322269A
Authority: JP
Inventors: 一伸中西
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2007-12-13
Filing date: 2007-12-13
Publication date: 2013-01-23
Anticipated expiration: 2027-12-13
Also published as: JP2009143373A

Description

本発明は、プロンプター方式の車両用操作入力装置に関する。

特開２００７−１５２９８４号公報

近年、タッチパネルを直接操作する方法とは異なる操作方法を採用する操作入力装置（特許文献１）として、プロンプター方式等の遠隔的に機器操作を行う操作入力装置が開発されている。プロンプター方式の操作入力装置は、操作画面（メイン画面）を表示する表示装置とは別に、操作者の手元に操作部を設け、さらに、その操作部を操作する手を撮影・抽出し、得られた手画像および手操作を表示装置の操作画面（メイン画面）に反映して、あたかもタッチパネルを直接操作しているかのように表示制御するものである。このようなプロンプター方式の操作入力装置のうち、車両に設けられるものについては、その操作性を増すために座席に着座したユーザーの手元となる、座席の座部周辺にタッチパネルが配置されることが多い。

しかしながら、ハンドルを両手把持する状態を基本姿勢とする運転者にとって、座部周辺にタッチパネルが配置されると、ハンドル把持状態の手を座部周辺に移動させなければならず、他の座席の搭乗者よりもかえって操作負担が大きくなってしまう。
一方で、プロンプター方式の操作入力装置の車両への適用は、カメラ等の構成要素の搭載によりコスト高となる問題もある。

本発明の課題は、車両全体としてのコストアップを抑制しつつ、運転者にとって操作性のよい形で実現された車両用操作入力装置を提供することにある。

課題を解決するための手段および発明の効果

上記課題を解決するために、本発明の車両用操作入力装置の第一は、
車両のステアリングホイールに設けられ、表面がタッチ操作面をなす透光性を有した操作パネルと、
表示画面がステアリングホイールとは異なる位置にて、運転者から視認可能に設けられるとともに、該表示画面に操作アイコンを表示可能とされてなる表示手段と、
操作パネルのタッチ操作面側に近接する、当該タッチ操作面の操作者の手画像を撮影する手画像撮影手段と、
撮影された手画像を表示画面上の対応する位置に合成表示する手画像合成表示制御手段と、
表示画面上に表示されている操作アイコンの表示位置に対応する、タッチ操作面上の操作入力位置への操作に基づいて、当該操作アイコンに対応して定められた内容の操作入力を受け付ける入力受付手段と、
を備える一方で、
手画像撮影手段は、操作パネルの裏面側から操作パネルを介して、運転席に着座する運転者の顔が撮影可能となるよう撮影範囲を固定的に定めて配置され、手画像とともに運転者の顔画像も撮影する顔画像撮影手段としても機能するように構成され、
撮影された顔画像に基づいて運転者が予め定められた生体状態にあることを特定する生体状態特定手段と、
各種生体状態に対応する車載電子機器の制御内容を対応付けた生体状態対応制御情報を記憶する制御内容記憶手段と、
生体状態が特定された場合に、生体状態対応制御情報に基づいて、特定された生体状態に対応する制御内容を実行する生体状態対応制御実行手段と、
を備えることを特徴とする。
また、本発明の車両用操作入力装置の第二は、
車両のステアリングホイールに設けられ、表面がタッチ操作面をなす透光性を有した操作パネルと、
表示画面がステアリングホイールとは異なる位置にて、運転者から視認可能に設けられるとともに、該表示画面に操作アイコンを表示可能とされてなる表示手段と、
操作パネルのタッチ操作面側に近接する、当該タッチ操作面の操作者の手画像を撮影する手画像撮影手段と、
撮影された手画像を表示画面上の対応する位置に合成表示する手画像合成表示制御手段と、
表示画面上に表示されている操作アイコンの表示位置に対応する、タッチ操作面上の操作入力位置への操作に基づいて、当該操作アイコンに対応して定められた内容の操作入力を受け付ける入力受付手段と、
車室内に固定配置され、撮影範囲内に入り込む撮影対象に対し予め定められた波長帯の光を照射する撮影用光源と、
を備えるとともに、手画像撮影手段は、撮影用光源から照射される光の反射光を捉える形で撮影対象を撮影するものであり、
手画像撮影手段により撮影された画像上において、反射光の強度が予め定められた閾強度を上回る光反射領域を特定する光反射領域特定手段を備え、
入力受付手段は、特定された光反射領域に基づいて、当該光反射領域へのタッチ入力を受け付けることを特徴とする。

上記本発明の構成によると、プロンプター方式の操作入力装置において、操作パネルがステアリングホイールに設けられているので、運転者による操作がし易くなっている。また、表示装置に操作する手画像が表示されるので、その操作は一層容易なものとなる。また、近年の車両の多機能化に伴い、車両には様々な機器が搭載されるようになってきており、各種機器及びそれらの操作部を配置するスペースが狭くなってきている中で、プロンプター方式の操作入力装置は、表示される操作アイコンを表示切替により別の制御内容の操作アイコンに変更することができるから、タッチ操作面が占める面積以上の多数の操作入力部を実現することができる点にも利点がある。

なお、表示手段の表示画面と操作パネルのタッチ操作面との間には対応関係を予め定めておき、一方の面内位置に対応する他方の面内位置が一義的に特定可能としておくことができる。これにより、操作性のより優れた操作入力装置とすることができる。

さらに、本発明の操作パネルの車両用操作入力装置は、
裏面側から操作パネルを介して、運転席に着座する運転者の顔の、少なくとも一部が含まれる顔画像を撮影する顔画像撮影手段と、
撮影された顔画像に基づいて、運転者が予め定められた生体状態にあることを特定する生体状態特定手段と、
各種生体状態に対応する車載電子機器の制御内容を対応付けた生体状態対応制御情報を記憶する制御内容記憶手段と、
生体状態が特定された場合に、生体状態対応制御情報に基づいて、特定された生体状態に対応する制御内容を実行する生体状態対応制御実行手段と、
を備えるとともに、顔画像撮影手段が手画像撮影手段に兼用されており、操作パネルの裏面側から操作パネルを介して運転者の顔画像が撮影可能となるよう撮影範囲を固定的に定めて配置された構成とすることができる。

上記構成によると、運転者の生体状態に応じた制御を実施できるとともに、生体情報を特定するための顔画像撮影手段を、上記の手画像撮影手段に兼用させ、撮影手段を１つで構成することができる。これにより、プロンプター方式の操作入力装置と、運転者の生体状態に応じた制御を実施する機能との双方を搭載した車両において、その全体コストを効果的に抑制できる。また、近年の車両の多機能化に伴い、車両には様々な機器が搭載されるようになってきており、各種機器及びそれらの操作部を配置するスペースが狭くなってきている中で、撮影手段１台分のスペースが空くことは大きな利点となる。なお、本発明における顔画像は、顔全体を含む画像に限られず、顔の少なくとも一部（例えば目画像や鼻画像）が含まれた画像であればよい。

なお、運転状態特定手段は、撮影手段により撮影された顔画像に基づいて、生体状態として、運転者の車両走行への注意力が低下した運転注意力低下状態を特定する運転注意力低下状態特定手段を有して構成することができる。この場合、生体状態対応制御情報には、運転注意力低下状態に対し、運転者に注意喚起を与えるための予め定められた注意喚起動作をする注意喚起手段に当該注意喚起動作を実行させる制御内容が対応付けられており、生体状態対応制御実行手段は、生体状態として運転注意力低下状態が特定された場合に、生体状態対応制御情報に基づいて、注意喚起動作を実行するものとして構成することができる。これにより、注意力が低下した運転者に対し注意喚起を与えることが可能となる。注意喚起動作を実際に実行する注意喚起動作実行手段は、運転者の注意力低下を音声報知する音声出力手段や、運転者の注意力低下をブザー音にて報知するブザー等とすることができる。また、注意喚起動作として、運転注意力低下状態からの覚醒を促す形で注意喚起を行う警告覚醒動作をこともできる。具体的には、次で述べる空調出力を警告覚醒動作として実行することができる。

また、生体状態特定手段は、撮影手段により撮影された顔画像に基づいて、生体状態として、運転者の発汗状態を特定する発汗状態特定手段を有して構成することができる。この場合、生体状態対応制御情報には、発汗状態に対し、車載空調出力手段に現在よりも強風又は低温、あるいは強風かつ低温の空調出力を実行させる制御内容が対応付けておき、生体状態対応制御実行手段は、生体状態として発汗状態が特定された場合に、生体状態対応制御情報に基づいて、空調出力を実行するものとして構成することができる。これにより、発汗状態の運転者に対し自動的に涼感を与えることが可能となる。

さらに、本発明の操作パネルの車両用操作入力装置は、
操作パネルのタッチ操作面に接近する接近対象物を検出する接近対象物検出手段と、
接近対象物が検出されている場合には、生体状態対応制御実行手段による生体状態に対応する制御内容の実行を禁止する生体状態対応制御禁止モードを設定し、接近対象物が検出ていない場合には、生体状態対応制御実行手段による生体状態に対応する制御内容を実行する生体状態対応制御実行モードと、を切り替えて設定するモード設定手段と、
を備えた構成とすることができる。

プロンプター方式の操作入力装置と、運転者の生体状態に応じた制御を実施する機能との双方を搭載し、双方に必要な撮影手段を兼用化した場合、顔よりも近い位置に手があると、手が顔を遮って顔が映らなくなり、運転者の生体状態の検出を正確に検出できなくなる。この場合、運転者の生体状態が誤って特定され、これに伴い誤った制御内容が実行される可能性がある。上記構成によれば、タッチ操作面に近接した手が検出された場合、即ち、運転者の顔の撮影を妨害する手が検出された場合には、運転者の生体状態に応じた制御の実行が禁止されるので、誤った制御内容が実行されることがない。

また、運転者の生体状態の検出が検出できなくなった状況において、検出処理を継続していることは意味の無いことであるから、生体状態特定手段は、生体状態対応制御禁止モードが設定された場合に、顔画像撮影手段により撮影された顔画像に基づいて運転者の生体状態を特定する生体状態特定処理の実行を禁止するように構成することで、無駄な処理を省略し、制御負荷を軽減できる。

また、接近対象物検出手段は、手画像特定手段に兼用する形で構成することができる。具体的には、手画像撮影手段は、操作パネルのタッチ操作面側に近接する、操作者の手を含む接近対象物を撮影可能に構成され、接近対象物検出手段は、手画像特定手段による撮影画像から接近対象物の画像を特定する形で、該接近対象物を検出するように構成することができる。これにより、撮影手段を利用した形で接近対象物検出手段を設けることができるので、接近対象物検出手段を別装置として設ける必要がなく、コストの抑制につながる。

ところで、本発明においては、車室内に固定配置され、撮影範囲内に入り込む撮影対象に対し予め定められた波長帯の光を照射する撮影用光源を設けることができ、手画像撮影手段は、撮影用光源から照射される光の反射光を捉える形で撮影対象を撮影するものとできる。光源の設置した撮影により、撮影画像からの顔画像や手画像の抽出を高い精度で行うことが可能となる。手の合成表示の精度や、運転者の生体状態の特定精度も高くなる。なお、撮影用光源は、操作パネルの裏面側に配置し、操作者の目から隠すことができる。また、光源は、例えば赤外光光源とすることで、暗所での撮影も良好となる。この場合、操作パネルは赤外光のみを透過可能なものとすることができる。

上記モード切替手段を執した構成において、生体状態対応制御実行モードにおいて撮影用光源の輝度を第一レベルに設定し、他方、生体状態対応制御禁止モードにおいては撮影用光源の輝度を第一レベルよりも低い第二レベルに設定することができる。手画像の合成表示に使用される撮影画像はそれほど精度の高いものでなくともよく、少なくとも手の輪郭が特定可能であればよいので、光源の明るさはそれほど必要ない。むしろ、光源の明るさを最低限のレベルに抑えることで、タッチ操作面に接近していない不要な背景画像が映りにくくなるので、手の輪郭特定が容易となるメリットが得られる。これに対し、運転者の顔画像は、生体状態を検出するものであるから比較的遠方にある顔が詳細に撮影できなければならないので、光源が明るいほどよい。上記構成によると、手画像が撮影される場合よりも顔画像が撮影される場合の方が光源の輝度が増すように設定されており、双方のモードにおける光源輝度の利点を効果的に利用することができる。

また、本発明においては、手画像撮影手段により撮影された画像上において、反射光の強度が予め定められた閾強度を上回る光反射領域を特定する光反射領域特定手段を設けることができ、入力受付手段は、特定された光反射領域に基づいて、当該光反射領域へのタッチ入力を受け付けるものとして構成できる。上記構成によると、タッチ操作の位置検出を、カメラ等の撮影手段により撮影された撮影画像に対する画像処理により行うことができるから、操作パネルとして、タッチパネル等の操作入力装置は必要なく、透光性を有した板材等でよく、コストを抑制できる。

また、この場合の入力受付手段は、光反射領域特定手段により特定された光反射領域が、予め定められた閾面積を上回った場合に、当該光反射領域へのタッチ操作入力を受け付けるものとすることができる。タッチ操作面の所定位置に操作入力する際には、操作者がパネル面上で指を目的の位置まで移動させる形でなされることがある。このとき、場合によってはパネル面に軽く触れてなぞってしまうこともある。ところが、この接触は、あくまで操作入力すべき位置を探す際に偶然行われたものであり、なぞって接触した全領域への操作入力を意図したものではない。上記構成によると、操作パネルへの接触面積が小さいようなとき、つまり、操作パネル面上に軽く触れているだけのときには、操作入力として受け付けられないので、上記のようななぞりながらの操作が可能となる。また、誤って操作パネル面に軽く触れてしまった場合も、その操作が操作入力として受け付けられることはない。

本発明の表示手段は、車載ナビゲーション装置において地図画像等が表示される表示装置に兼用される形で設けることができる。兼用化することで、コストを抑制できる。

表示手段は、ウィンドシールドガラスの運転者正面領域を表示画面とし、当該ウィンドシールドガラスに向けて表示光を放射する表示器を備える車両用ヘッドアップディスプレイ装置とすることができる。表示画面が運転者の正面（前方）に位置する、即ち、ステアリングホイールの正面奥側に位置することで、操作アイコンが表示される表示画面を運転しながらでも視認し易く、タッチ操作面へのブラインド操作性が増す。

本発明の操作パネルは、ステアリングホイールのボス部に設けることができる。ステアリングホイールにおいてタッチ操作面を広く取ることが可能となる。また、タッチ操作面は、表示画面と相似の形状をなして構成できる。これにより、操作アイコンの位置をタッチ操作面上で特定し易くなり、操作が容易となる。なお、操作パネルは、ステアリングホイールのリング部の回転に対し非回転となる形で車体側に固定して設けることにより、ステアリング回転操作に伴い操作パネルが回転しないので操作がし易い。

以下、本発明のタッチ式操作入力装置の一実施形態を、図面を参照して説明する。

図１は、本発明のタッチ式操作入力装置を用いた車両用ナビゲーション装置の構成を示すブロック図である。本実施形態においては、タッチ式操作入力装置１として、操作用のスイッチ画像（操作アイコン）を表示する表示部１５とそのスイッチ画像に対する操作入力を行う操作パネル１２とが別位置に設けられてなるプロンプター方式操作装置を採用している。なお、本実施形態のタッチ式操作入力装置の操作対象は、ナビゲーション機能のみに限られず、車内ＬＡＮ５０を介して（経由して）接続する他の車載電子機器の機器機能も含むことができる。図１においては、ナビゲーション装置１０が車内ＬＡＮ５０を介してエアコンＥＣＵ１０１と接続している。

エアコンＥＣＵ１０１は、車載空調装置１００の主制御部をなすものであり、図４に示すように、空調用センサ１２０、空調用駆動部１３０、及び空調用操作部（空調出力状態設定操作部）１４０が接続するとともに、ＬＡＮＩ／Ｆ１９０を介して車両内ＬＡＮ５０（図１参照）に接続する構成を有している。なお、図４は、エアコンＥＣＵ１０１と、該エアコンＥＣＵ１０１により制御されるエアコンユニットＵとからなる車載空調装置１００の全体構成を概略的に示す図である。エアコンユニットＵは、いわゆるＨＶＡＣ（Heating, Ventilating and Air-Conditioning）ユニットであり、車室内の空調状態を左座席側と右座席側（本実施形態においては運転席側と助手席側）とで独立して調整可能に構成されている。

エアコンユニットＵのダクト２８には、車内空気を循環させるための内気吸込口４２と、車外の空気を取込む外気吸込口４１とが形成されており、内外気切替ダンパー２４によりいずれかに切り替えて使用される。これら内気吸込口４２ないし外気吸込口４１からの空気は、ブロワ２１によってダクト２８内に吸い込まれる。ダクト２８内には、吸い込まれた空気を冷却して冷気を発生させるためのエバポレータ２２が設けられている。そして、エバポレータ２２よりも下流側（吹出口側）は、運転席側の吹出口４３〜４５へ至る経路と助手席側の吹出口４６，４７へ至る経路に分岐している。

なお、図２に示すように、エアコンユニットＵには吹出口として、フロントガラス曇り止め用のデフロスタ吹出口４３がフロントガラスの内面下縁に対応するインパネ上方奥に、運転席側フェイス吹出口４５がインパネの正面中央右寄りと右隅に、助手席側フェイス吹出口４６がインパネの正面中央左寄りと左隅に、運転席側フット吹出口４４がインパネ下面右奥の運転席側足元に、助手席側フット吹出口４７がインパネ下面左奥の助手席側足元に、それぞれ開口しており、図４の吹出口切替用ダンパー３２〜３６によってそれぞれ開閉状態が切り替えられる。

エアコンＥＣＵ１０１に接続する空調用駆動部１３０（図４）は、上記吹出口切替用ダンパー３２〜３６や該ダンパー３２〜３６の開閉状態を切り替えるダンパー駆動ギア機構３１、エアミックスダンパー２５，２６、内外気切替ダンパー２４、及びそれらを駆動するサーボモータ７１〜７４等である。これらサーボモータ（アクチュエータ）７１〜７４は、エアコンＥＣＵ１０１によって回転制御されるとともに、ロータの回転位置や回転速度等の情報を検出してエアコンＥＣＵ１０１にフィードバックする。具体的には、駆動回路１３１〜１３４がエアコンＥＣＵ１０１から駆動指令信号の入力を受けて、対応するサーボモータ７１〜７４を駆動する。

なお、これらサーボモータ７１〜７４の他、ブロワ２１やコンプレッサもエアコンＥＣＵ１０１に接続する空調用駆動部１３０ということができる。ただし、コンプレッサの直接の駆動源は車載エンジンであり、エアコンＥＣＵ１０１はその駆動制御を実行するものである。

エアコンＥＣＵ１０１に接続される空調用センサ１２０（図４）は、車内温度を検出する内気温センサ（車内温度検出手段）１２１、車外温度を検出する外気温センサ（車外温度検出手段）１２２、エバポレータを通過した直後の空気の温度を検出するエバポレータ後センサ１２３、及び日射量を検出する日射センサ１２４等の周知の空調用センサからなる。

エアコンＥＣＵ１０１に接続される空調用操作部１４０（図４）は、運転者及び助手席搭乗者により操作可能なインパネ正面中央に設けられたエアコンパネル２０に設けられており、ＡＵＴＯスイッチ１４１，ＯＦＦスイッチ１４２，吹出口切替スイッチ（ＭＯＤＥスイッチ）１４３，内外気切替スイッチ１４４，デフロスタスイッチ１４７，Ａ／Ｃスイッチ１４８，独立／一括制御切替スイッチ（ＤＵＡＬスイッチ）１４９といったスイッチとを備えている。これらのスイッチは、各々周知の押圧操作部やダイアル操作部として構成されている。他方、風量切替スイッチ１４５及び温度設定スイッチ１４６は、本実施形態においては、後述するように、タッチパネルに割り付けられたタッチスイッチとして出現するように構成されている。

エアコンＥＣＵ１０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備える周知の構成を有し、各種空調用操作部１４０の操作状態や各種空調用センサ１２０の検出結果に基づいて空調用駆動部１３０を駆動制御することにより、吹き出し温度制御、吹き出し風量制御、内気吸気・外気吸気切替制御、及び吹出口切替制御等の周知の空調制御を実行する。これらの空調制御は、エアコンＥＣＵ１０１のＣＰＵが自身のＲＯＭに格納される空調制御プログラムを実行する形で実行される。

図１に戻る。図１のナビゲーション装置１０は、車両の現在位置を検出する位置検出器１１と、運転者等の操作者からの各種指示を入力するための操作情報入力部１２と、地図データや各種の情報を記録した外部記録媒体から地図データ等を入力する地図データ入力器１４と、地図表示画面やＴＶ（Television）画面等の各種表示を行うための表示部１５と、各種のガイド音声等を出力したり運転者等の操作者の音声を入力したりするための音声入出力装置１６と、車両情報等の各種のデータを記憶するためのハードディスク記憶装置１７と、車両情報の授受を行うための車両Ｉ／Ｆ（Interface）部１９と、他の通信装置１３ａと近距離無線通信を行うための無線通信機１３と、これら１１〜１９と接続する制御部１８とを備えている。

位置検出器１１は、ＧＰＳ（Global Positioning System）用の人工衛星からの送信電波をＧＰＳアンテナを介して受信し、車両の位置，方位，速度等を検出するＧＰＳ受信機１１ａと、車両に加えられる回転運動の大きさを検出するジャイロスコープ１１ｂと、車両の前後方向の加速度等から走行した距離を検出する距離センサ１１ｃと、地磁気から進行方位を検出する地磁気センサ１１ｄとを備えている。そして、これら各センサ等１１ａ〜１１ｄは、各々が性質の異なる誤差を有しているため、互いに補完しながら使用するように構成されている。なお、精度によっては、上述したうちの一部のセンサで構成してもよく、また、ステアリングの回転センサや各転動輪の車輪センサ等（図示せず）を用いてもよい。

操作情報入力部１２は、図５に示すように、表面１２ａ１がタッチ操作面をなす透光性を有した操作パネル１２ａと、該操作パネル１２ａを撮影範囲に含む形で該操作パネル１２ａの裏面１２ａ２側から撮影するカメラ１２ｂと、該撮影範囲に入り込む撮影対象に向けて予め定められた波長帯の光を照射する光源（撮影用光源）１２ｃと、を備えて構成されている。

操作パネル１２ａは、少なくとも光源１２ｃから照射される光に対して透光性を有した板材からなる。光源１２ｃは、自身の照射する光が操作パネル１２ａの裏面１２ａ２から表面１２ａ１に向けて透過する形で配置されている。そして、カメラ１２ｂは、光源１２ｃから照射された光の反射光を捉える形で、操作パネル１２ａの裏面１２ａ２側から、予め定められた撮影範囲を撮影するよう車体側に固定されている。

なお、操作パネル１２ａは、図３に示すように、ステアリングホイール６のボス部６１の中央に配置されており、運転者によるタッチ操作が可能とされている。具体的に言えば、ステアリングホイール６は、運転者がハンドリング操作を行うための把持部となるリング部６２と、リング部６２の中央に位置するボス部６１と、リング部６２とボス部６１とを連結する３以上のスポーク部とを有して形成されており、筐体１２ｅの前端部１２ｆの開口に操作パネル１２ａを嵌め込んだ操作情報入力部１２が、ボス部６１の中央開口に嵌め込まれた形で配置されている。

また、カメラ１２ｂは、図６に示すように、運転席２Ｄに着座する運転者ＤＲの顔Ｆが撮影可能となるように撮影範囲を定めて固定されている。さらに、本実施形態のカメラ１２ｂは、図５に示すように、光源１２ｃから照射された光の反射光を反射装置１２ｒに反射させたい光を捉える形で撮影する構成となっている。反射装置１２ｒに反射させた光を捉えて撮影することで、撮影画像を左右反転する画像処理を省略できる。左右反転処理を行うのであれば、光源１２ｃから照射された光の反射光を直接捉える形で撮影を行ってもよい。

また、本実施形態の光源１２ｃは、赤外光光源である。また、本実施形態のカメラ１２ｂは、暗所での撮影にも適した赤外線カメラ（可視光をシャットアウトする図示しない赤外線フィルタを備え、これを介して撮影を行う）であり、赤外光光源１２ｃから照射された光（赤外線）が撮影範囲内に存在する撮影対象物にて反射した反射光を捉える形で撮影を行う。なお、操作パネル１２ａを、光源の光に対してのみ透光性を有した材料にて構成すれば、カメラ１２ｂ内の赤外線フィルタは不要となる。また、本発明ではデータ処理の容易さを考え赤外線カメラを使用したが、特に赤外線カメラに限定するものではない。この場合、光源１２ｃも赤外光光源である必要はない。

このように操作情報入力部１２が構成されることで、カメラ１２ｂは、通常時は運転者ＤＲの顔Ｆが位置する領域を撮影領域として撮影を行い、少なくとも運転中の運転者の顔画像を撮影する顔画像撮影手段として機能する一方で、操作パネル１２ａのタッチ操作面１２ａ１側に何がしかの接近対象物があると、その接近対象物を撮影する接近対象物撮影手段として機能する（接近対象物が手であれば手画像撮影手段として機能する）。つまり、タッチ操作面１２ａ１を被うように位置する接近対象物（例えば手等）Ｈが存在しない限り、光源１２ｃからの光（照射光）は該タッチ操作面１２ａ１から外に通過し、所定の撮影範囲内に存在する撮影対象物に反射し、その光（反射光）の一部が裏面１２ａ２側に戻ってカメラに捉えられる。一方で、タッチ操作面１２ａ１に対向する形で接近した接近対象物Ｈがある場合には、当該接近対象物Ｈに反射して、その光（反射光）の一部が裏面１２ａ２側に戻り、カメラ１２ｂに捉えられる。そして、接近対象物Ｈがタッチ操作面１２ａ１に接触していれば、その接触領域（接触面）において最も多くの光が反射して、裏面１２ａ２側に戻る。詳細は後述するが、本実施形態における当該操作パネル１２ａへのタッチ操作は、この接触領域（光反射領域）を検出する形なされる。

図７は、カメラ１２ｂにて撮影した映像１５０の一例である。図７のうち、符号１５０Ｈは接近対象物Ｈが映った領域、符号１５０ＨＡは接近対象物Ｈとタッチ操作面１２ａ１との接触領域が映った光反射領域、符号１５０ｅは筐体前端部１２ｆの裏面が映った領域である。なお、符号１５０ａは，操作パネル１２ａの接近対象物Ｈの背景（遠景）が映し出されている領域となっている。図７においては、背景領域１５０ａに、運転者ＤＲの顔画像１５０Ｆが映っているが、その一部が接近対象物Ｈ（手画像）により、隠されている。接近対象物が移されていないときには、図９のように、運転者ＤＲの顔画像１５０Ｆが撮影される。

図１に戻り、表示部１５は、運転席の前方に設置された表示装置であり、液晶ディスプレイ，プラズマディスプレイ，有機ＥＬディスプレイ等のいずれを用いてもよい。表示部１５の表示画面は、位置検出器１１にて検出した車両の現在位置と地図データ入力器１４より入力された地図データとから特定した現在地を示すマーク，目的地までの誘導経路，名称，目印，各種施設のマーク等の付加データとを重ねて表示することができる。また、施設のガイド等も表示できる。なお、この表示部１５が本発明の表示手段に相当する。

また、表示部１５は、上述のとおり、操作パネル１２ａのタッチ操作面１２ａ１上への入力位置を示すための操作系座標と一義的な対応関係を有する表示座標系を有している。当該表示座標系上の予め定められた位置にはスイッチ画像（操作アイコン）２０１が表示され、これに対応するタッチ操作面１２ａ１上の操作入力位置にタッチ入力がなされると、当該スイッチ画像２０１に対応する制御内容が実行される。つまり、本実施形態においては、表示部１５の表示画面は、操作パネル１２ａのタッチ操作面１２ａ１と相似の形状をなしており、当該表示画面上に定められる二次元座標系と、該操作パネル１２ａのタッチ操作面１２ａ１上に定められる二次元座標系との間には一義的な対応関係が予め定められており、一方の面内位置に対応する他方の面内位置が一義的に特定可能とされているから、その対応関係に基づいて、タッチ操作面１２ａ１へのタッチ入力により、表示画面上に表示されるスイッチ画像２０１をタッチ操作することが可能となっている。なお、表示部１５の表示画面及び操作パネル１２ａのタッチ操作面１２ａ１の形状は、上記のような表示形状に限られず、少なくとも上記のように、双方の面内位置の対応関係が定められてさえいればよい。

表示部１５としては、図２に示すようなセンターコンソールＣ内に配置されるものに限られず、例えばフロントガラスＦＧ下縁よりも上方に設置されるものであってもよい。具体的には、車両のフロントガラスＦＧに、上述の画像・データを表示するヘッドアップディスプレイ（ＨＵＤ）等を例示できる。

また、表示部１５としては、図２に示すようなセンターコンソールＣ内に配置されるものに限られるものではない。例えば、表示部１５の表示画面を運転者正面位置に設けることで、その視認性を増すことができる。例えば、表示部１５をメーター表示装置とし、表示画面をステアリングホイール６の奥に位置するメーター表示領域内に設けてもよい。また、表示部１５の表示画面が、フロントガラスＦＧ下縁よりも上方に設置されることで、一層視認性が増す。例えば、図１８及び図１９に示すように、ウィンドシールドガラスＦＧの運転者正面領域を表示画面１５ａとし、当該ウィンドシールドガラスに向けて表示光を放射する表示器１５ｂを備える車両用ヘッドアップディスプレイ（ＨＵＤ）装置を表示部１５とすることもできる。

図１に戻り、地図データ入力器１４は、ネットワークデータとしての道路データ，位置特定の精度向上のためのいわゆるマップマッチング用データ等の地図データ，施設を示すマークデータ，案内用の画像や音声データ等を含む各種のデータを入力するための装置である。これらのデータの記録媒体としては、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ハードディスク，メモリ，メモリカード等を用いることができる。

音声入出力装置１６は、地図データ入力器１４より入力した施設のガイドや各種案内の音声や、Ｉ／Ｆ１９を介して取得した情報の読み上げ音声を出力することができる。また、音声入出力装置１６は、図示しないマイクおよび周知の音声認識ユニットを含み、運転者等の操作者の音声をコマンド等として制御部１８に入力することができる。

無線通信機１３は、他の通信装置１３ａと狭帯域通信を行うためのものであり、例えばＤＳＲＣ（Dedicated Short Range Communications），Ｂｌｕｅｔｏｏｔｈ（登録商標），無線ＬＡＮ（Local Area Network），ＵＷＢ（Ultra Wideband）などが使用されている。

ＬＡＮＩ／Ｆ１９は、車内ＬＡＮ５０を介して他の車載電子機器やセンサとのデータの遣り取りを行うためのインターフェース回路である。また、ＬＡＮＩ／Ｆ１９を介して、例えば他のＥＣＵからのデータ取り込みを行ってもよい。

制御部１８は、図示しない周知のＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ（Input/Output）およびこれらの構成を接続するバスラインなどからなる周知のマイクロコンピュータを中心に構成されており、ＲＯＭ等の記憶部に記憶されたプログラムに基づいて、位置検出器１１からの各検出信号に基づき座標および進行方向の組として車両の現在位置を算出し、地図データ入力器１４を介して読み込んだ現在位置付近の地図や、操作情報入力部１２の操作によって指示された範囲の地図等をメイン画像（動画・静止画を含む）２００Ｂとして表示部１５に画面表示する地図表示処理や、地図データ入力器１４に格納された地点データに基づき、操作情報入力部１２の操作に従って目的地となる施設を選択し、現在位置から目的地までの最適な経路を自動的に求める経路計算を行って経路案内を行う経路案内処理等を行う。このように自動的に最適な経路を設定する手法は、ダイクストラ法等の手法が知られている。

また、制御部１８は、ＲＯＭ等の記憶部に記憶されたプログラムに基づいて、スイッチ画像（操作アイコン）２０１と、操作情報入力部１２から取得した接近対象物画像１５０Ｈに基づく加工画像２００Ｈとの双方をサブ画像とし、これらをメイン画像２００Ｂ（地図操作用画像等）に重畳するための画像合成部１８ａを有しており、図８に示すように、生成された合成映像２００を表示部１５の表示画面上に表示する。つまり、制御部１８は、本発明の手画像合成表示制御手段として機能する。

なお、接近対象物画像１５０Ｈに基づく加工画像２００Ｈとは、当該接近対象物画像１５０Ｈの外形形状が視認されるよう加工・生成された接近対象物外形反映画像２００Ｈである。この画像２００Ｈが合成されていることにより、運転者等の操作者は、操作パネル１２ａのタッチ操作面１２ａ１に対面させる形で、例えば手の指等を移動させると、これに併せて、表示部１５の表示画面上にはその手形状を反映した加工画像２００Ｈが移動して表示され、あたかも表示部１５の表示画面に操作パネル１２ａが存在しているかのような感覚で操作を行うことができる。

また、記憶装置１７の所定記憶領域には、スイッチ画像２０１を表示するためのスイッチ画像データが記憶されており、スイッチ画像２０１の合成表示には用いられている。一方で、同じく記憶装置１７の所定記憶領域には、各スイッチ画像２０１に対応付けた形で、各々への操作入力（対応するタッチ操作面１２ａ１上の領域へのタッチ入力）により実施される制御内容も記憶されている。制御部１８により、表示画面上において、メイン画像２００Ｂ上にスイッチ画像２０１を合成した合成映像２００が表示され、それに伴い操作パネル１２ａのタッチ操作面１２ａ１には、該表示画面上におけるスイッチ画像２０１の表示位置に対応する領域に、当該スイッチ画像２０１に対応する操作入力受付範囲（操作入力位置）が設定される（操作入力位置設定手段）。スイッチ画像２０１に対応する操作入力受付範囲に対しタッチ操作がなされてその入力が受け付けられた場合には（入力受付手段）、当該スイッチ画像２０１に対応する制御内容が実施されるようになっている。具体的には、対応する制御内容に基づく制御信号を出力する（制御手段）。タッチ入力の有無は、表示部１５の表示画面と対応関係を有する操作パネル１２ａのタッチ操作面１２ａ１上に対しなされたタッチ操作による接触領域を、カメラ１２ｂの撮影画像１５０から検出する形で判定される。

なお、この制御部１８は、本発明の手画像合成表示制御手段、入力受付手段、生体状態特定手段（運転注意力低下状態特定手段、発汗状態特定手段）、生体状態対応制御実行手段、モード設定手段、光反射領域特定手段として機能する。なお、画像合成部１８ａも手画像合成表示制御手段としての機能の一部を担っている。

ところで、本発明のタッチ式操作入力装置は、操作パネル１２ａが車両のステアリングホイール６に設けられる一方で、ステアリングホイール６とは異なる位置に表示部１５の表示画面が設けられており、操作性向上のために、操作パネル１２ａに対向する操作者の手を、表示画面上の対応する位置に合成表示することができる（手画像合成表示制御手段）。そして、表示画面上の操作アイコンに対応する、操作パネル１２ａ上の操作入力位置にタッチ操作がなされると、当該位置に対応する操作入力が受け付けられる（入力受付手段）。さらに、本実施形態においては、手画像を撮影するカメラ１２ｂにより運転席に着座する運転者の顔画像（顔全体や顔の輪郭、顔の一部（目や鼻等）だけの画像も含む：本実施形態においては顔全体）の撮影も可能とされており、撮影される顔画像に基づいて運転者が予め定められた生体状態にあることを特定することができる（生体状態特定手段）。そして、記憶装置１７の所定の記憶領域（制御内容記憶手段）には、各種生体状態に対応する車載電子機器の制御内容を対応付けた生体状態対応制御情報が記憶されており、所定の生体状態が特定された場合には、生体状態対応制御情報に基づいて、特定された生体状態に対応する制御内容を実行することができる（生体状態対応制御実行手段）。

そして、本実施形態においては、操作パネルのタッチ操作面への接近対象物の検出の有無に基づいて、生体状態対応制御禁止モードと、生体状態対応制御実行モードとを切り替えて設定する（モード設定手段）。このモード設定処理は、制御部１８において、ＲＯＭに記憶されたプログラムをＣＰＵが実行する形で開始されるものである。以下、図１０のフローチャートを用いて説明する。

イグニッションスイッチ（ＩＧ）のオン操作等のエンジン始動操作がなされるに伴いカメラ１２ｂによる撮影が開始される。この状態において、制御部１８は、Ｓ１０１にて接近対象物Ｈの検出を行う。なお、接近対象物Ｈの検出は、例えば赤外線センサ等の周知の近接センサを別途設けて行っても可能であるが、本実施形態においては、カメラ１２ｂの撮影画像１５０に基づく検出を行う。

即ち、カメラ１２ｂは、当該光源１２ｃの反射光を捉える形で撮影を行うものであるから、撮影画像１５０に現れる色の階調には反射光強度が反映されており、高強度の反射光を捉えたところほど階調レベルが高く現れる。特に、カメラ１２ｂに近接する物ほど、カメラ１２ｂはより強い強度の反射光を捉えるため、操作パネル１２ａに対し接近する近接物が映し出されると、その領域は、その他の領域よりも高い階調レベル領域として現れる。このため、本実施形態においては、撮影画像１５０に現れる色の階調に予め閾値を設けておき、その閾値を超える領域に接近対象物Ｈがあると検出する。つまり、本実施形態のカメラ１２ｂにより撮影される撮影映像１５０は、多階調の撮影画像（本実施形態ではモノクロの撮影画像）であり、これを予め定められた第一の階調閾値を用いて各画素の階調レベルを２値化し、当該第一の階調閾値を上回る領域を接近対象物画像１５０Ｈとして特定する。制御部１８は、この接近対象物画像１５０Ｈを特定する形で接近対象物を検出するものであり、カメラ１２ｂとともに接近対象物検出手段として機能する。

接近対象物が検出された場合には、Ｓ１０３に進む。Ｓ１０３では、制御部１８が生体状態に対応する制御内容の実行を禁止する生体状態対応制御禁止モードを設定するとともに、画像合成部１８ａによる上述した手画像の合成表示処理を開始する。ただし、Ｓ１０３にて生体状態対応制御禁止モードが設定された場合には、カメラ１２ｂにより撮影された顔画像に基づいて運転者の生体状態を特定する処理の実行も禁止されており、当該処理を行わない。他方、接近対象物が検出されなかった場合には、Ｓ１０２に進む。Ｓ１０２では、制御部１８が生体状態に対応する制御内容を実行する生体状態対応制御実行モードを設定するとともに、上述した手画像の合成表示処理に係る処理を停止した状態とする。つまり、制御部１８は、Ｓ１０２及びＳ１０３の実行によりモード設定手段として機能する。以上の処理は、所定周期で繰り返し実行される。

次に、生体状態対応制御実行モードが設定された際に、制御部１８により実行される生体状態対応制御実行処理について、図１１のフローチャートを用いて説明する。この生体状態対応制御実行処理は、制御部１８において、ＲＯＭに記憶されたプログラムをＣＰＵが実行する形で開始されるものである。なお、Ｓ１１１は本実施形態においては省略している。

まず、Ｓ１１２では、制御部１１２が、カメラ１２ｂによる撮影画像５０を取得し、Ｓ１１３にて、その撮影画像１５０の中から運転者ＤＲの顔画像１５０Ｆを特定する。なお、顔画像の特定は、撮影画像１５０を基に、２値化処理や濃淡情報によるパターンマッチング等の画像処理を行い、顔画像を特定する。本実施形態においては、記憶装置１７に予め記憶されている各種の基本顔形状データ（運転手の様々な顔の向きの顔形状を反映した複数のデータ）とのパターンマッチング等により特定する。パターンとのＳ１１４では、Ｓ１１３で顔画像１５０Ｆが特定されなければ、Ｓ１１９に進む。他方、Ｓ１１３で顔画像１５０Ｆが特定されていればＳ１１５に進む。

Ｓ１１５では、制御部１１２が、顔画像１５０Ｆを撮影された運転者ＤＲが予め定められた生体状態にあるか否かを特定する。本実施形態においては、運転者ＤＲが運転注意力低下状態にある場合と、発汗状態にある場合とを、予め定められた生体状態として特定するものとする。具体的に言えば、カメラ１２ｂにて撮像された運転者ＤＲの顔画像１５０Ｆを基に、２値化処理や濃淡情報によるパターンマッチング等の画像処理を行い、運転者ＤＲの目の位置、まばたき、開き具合、発汗等を認識して運転者ＤＲの脇見や居眠り、発汗といった生体状態を特定する。本実施形態においては、制御部１８が、本処理とは別に、特定の生体状態を検出する処理として図１３〜図１６に示すような処理を実行しており、記憶装置１７の所定記憶部（運転者生体状態記憶部）に、それら各処理における検出結果情報がそれぞれ記憶されているので、この記憶部から検出結果情報を読み出す形で、現在の運転者の生体状態を特定する。つまり、制御部１８は、ＲＯＭに記憶された各種プログラムをＣＰＵが実行する形で、図１３〜図１６に示すような処理を実行し、生体状態特定手段（運転注意力低下状態特定手段、発汗状態特定手段）として機能する。

図１３は、運転注意力低下状態を検出する処理の一例である。ここでは、図９（ｄ）のような脇見の検出数が定められた時間内において所定回数を上回った場合を、運転注意力低下状態であると特定する。当該処理による運転注意力低下状態の検出結果情報は、記憶装置１７に設けられた第一の運転者生体状態記憶部に記憶される。

Ｓ２０１では、制御部１８が初期化処理として、自身に設けられた後述するタイマー１８ｂやカウンタ１８ｃのリセット、記憶装置１７（第一の運転者生体状態記憶部）に記憶されている運転注意力低下状態の検出結果情報の初期化（運転者の生態状態が通常状態にあることを示す記憶状態とする）を行う。続くＳ２０２ではタイマー１８ｂを起動する。

Ｓ２０３〜Ｓ２０６では、カメラ１２ｂが撮影する顔画像１５０Ｆから、目の瞳孔が目の中心位置にあるか否かを判定することで、運転者ＤＲの脇見を特定する。Ｓ２０３では、カメラ１２ｂの撮影画像１５０から顔画像１５０Ｆを抽出・取得する。Ｓ２０４では、取得した顔画像１５０Ｆから目頭の位置を特定する。目頭の位置特定は、図９（ｄ）に示すように、顔画像１５０Ｆから目画像１５０Ｅの輪郭形状をパターンマッチング等の画像処理により抽出し、目の内側角部（１５０Ｃ）を目頭位置として特定する形で行う。Ｓ２０５では、取得した顔画像１５０Ｆから同じくパターンマッチング等の画像処理により瞳孔位置を特定する。瞳孔位置の特定は、同じく図９（ｄ）に示すように、顔画像１５０Ｆにおける目（目画像１５０Ｅ）の内部の黒色部分（１５０Ｐ）の重心位置を特定する形で行う。Ｓ２０６では、Ｓ２０３及びＳ２０４で取得した情報に基づいて、運転者ＤＲの脇見を判定する。本実施形態においては、目全体に対する瞳孔の相対位置を特定する形で行っており、具体的には、目頭位置から瞳孔の重心位置までの距離を算出し、瞳孔の重心位置の左右への偏りを特定する形で行う。なお、目の重心位置（目の輪郭の重心位置）と瞳孔の重心位置との距離で、瞳孔位置の左右への偏りを特定しても良い。図９（ｄ）に示すような所定以上の偏りが検出された場合には、Ｓ２０７にて、これを脇見と判定してＳ２０８に進む。他方、図９（ａ）のように、所定以上の偏りが検出されなかった場合には、Ｓ２１１に進む。

Ｓ２０８では、制御部１８の記憶部に設けられたカウンタ１８ｃのカウント値をアップする。このカウント値は、所定時間（Ｓ２０２にてタイマー１８ｂが起動してからＳ２１１で予め定められた閾時間が経過したと判定するまでの間）の中で、運転者ＤＲの脇見が何回検出されたかを反映した値である。つまり、この値が多い場合は脇見時間が多い状況であり、運転への注意力が低下した状況といえるので、Ｓ２０９では、そのカウント値が所定の値を超えたか否かを判定し、所定回数を超えていればＳ２１０に進んで、運転者の生態状態の検出結果情報として運転注意力低下状態を記憶装置１７（第一の運転者生体状態記憶部）に記憶する。Ｓ２０９にて所定回数を超えていなければＳ２１１に進む。

Ｓ２１１では、タイマー１８ｂから経過時間を読み出し、Ｓ２０２で起動してから所定の時間が経過したか否かを判定する。所定時間が経過していなければＳ２０３に戻り、再び脇見の検出を開始する。所定時間が経過していればＳ２１２に進み、Ｓ２０９と同様、カウント値が所定の値を超えたか否かを判定する。所定回数を超えていなければＳ２１３に進み、運転者の生態状態の検出結果情報として通常状態を記憶装置１７（第一の運転者生体状態記憶部）に記憶して、Ｓ２１４に進む。所定回数を超えていればＳ２１３をスキップしてＳ２１４に進む。Ｓ２１４では、当該検出処理の終了条件が成立したか否かを判定する。ここでは、ＩＧのオフを終了条件とし、終了条件が成立した場合は本処理を終了し、終了条件が成立していなければＳ２１５に進み、タイマー１８ｂをリセットした上でＳ２０２に戻り、再度タイマー１８ｂを起動して脇見の検出を再開する。

図１４も、運転注意力低下状態を検出する処理の一例である。ここでも、図９（ｅ）のような脇見の検出数が定められた時間内において所定回数を上回った場合を、運転注意力低下状態であると特定する。当該処理による運転注意力低下状態の検出結果情報は、記憶装置１７に設けられた第二の運転者生体状態記憶部に記憶される。

Ｓ２２１では、制御部１８が初期化処理として、自身に設けられた後述するタイマー１８ｂやカウンタ１８ｃのリセット、記憶装置１７（第二の運転者生体状態記憶部）に記憶されている運転注意力低下状態の検出結果情報の初期化（運転者の生態状態が通常状態にあることを示す記憶状態とする）を行う。続くＳ２２２ではタイマー１８ｂを起動する。

Ｓ２２３〜Ｓ２２６では、カメラ１２ｂが撮影する顔画像１５０Ｆから、顔の向きが正面を向いているか否かを判定することで、運転者の脇見を特定する。Ｓ２２３では、カメラ１２ｂの撮影画像１５０から顔画像１５０Ｆを抽出・取得する。Ｓ２２４では、取得した顔画像１５０Ｆから鼻の重心位置を特定する。鼻の重心位置の特定は、図９（ｅ）に示すように、顔画像１５０Ｆからパターンマッチング等の画像処理により鼻画像１５０Ｎの輪郭形状を抽出し、その輪郭形状に対する重心位置を特定する形で行う。Ｓ２２５では、取得した顔画像１５０Ｆから同じくパターンマッチング等の画像処理により両目の瞳孔位置を特定する。瞳孔位置の特定は、図９（ｅ）に示すように、顔画像１５０Ｆにおける目（目画像１５０Ｅ）の内部の黒色部分１５０Ｐの重心位置を特定する形で行う。Ｓ２２６では、Ｓ２２３及びＳ２２４で取得した情報に基づいて、運転者ＤＲの脇見を判定する。本実施形態においては、両目と鼻との距離を特定し、目全体に対する瞳孔の相対位置を特定する形で行っており、具体的には、左右それぞれの目（目画像１５０Ｅ）の重心位置から鼻（鼻画像１５０Ｎ）の重心位置までの距離を算出し、双方の距離の差を算出する形で行う。図９（ｅ）に示すように、所定以上の距離の差が検出された場合には、Ｓ２２７にて、これを脇見と判定してＳ２２８に進む。他方、図９（ａ）に示すように、所定以上の距離の差が検出されず、距離がほぼ一致した場合にはＳ２３１に進む。

なお、Ｓ２２８〜Ｓ２３５は、図１３のＳ２０８〜Ｓ２１５までと同様の処理であるから説明を省略する。ただし、当該処理による運転注意力低下状態の検出結果情報は、記憶装置１７に設けられた、第一の運転者生体状態記憶部とは異なる第二の運転者生体状態記憶部に記憶される。

図１５も、運転注意力低下状態を検出する処理の一例である。ここでは、図９（ａ）に示すような目を閉じた回数が定められた時間内において所定回数を上回った場合（まばたきの回数が多い場合や連続して目を閉じ続けている居眠りの場合等）を、運転者ＤＲの意識レベルが低下した運転注意力低下状態であると特定する。当該処理による運転注意力低下状態の検出結果情報は、記憶装置１７に設けられた第三の運転者生体状態記憶部（第一及び第二の運転者生体状態記憶部とは異なる記憶領域）に記憶される。

Ｓ２４１では、制御部１８が初期化処理として、自身に設けられた後述するタイマー１８ｂやカウンタ１８ｃのリセット、記憶装置１７（第三の運転者生体状態記憶部）に記憶されている運転注意力低下状態の検出結果情報の初期化（運転者の生態状態が通常状態にあることを示す記憶状態とする）を行う。続くＳ２４２ではタイマー１８ｂを起動する。

Ｓ２４３〜Ｓ２４６では、カメラ１２ｂが撮影する顔画像１５０Ｆから、目の開閉状態を判定することで、運転者のまばたきの回数や居眠りを特定する。Ｓ２４３では、カメラ１２ｂの撮影画像１５０から顔画像１５０Ｆを取得する。Ｓ２４４では、取得した顔画像１５０Ｆからパターンマッチング等の画像処理により両目の目画像１５０Ｅを抽出する。ここでの目画像１５０Ｅの抽出は、図９（ａ）に示すように、上まぶた画像１５０ＬＵと下まぶた画像１５０ＬＤを同じくパターンマッチング等の画像処理により特定し、その間の領域を目画像１５０Ｅとして特定する。Ｓ２４５では、取得した目画像１５０Ｅから目の開度を特定する。目の開度の特定は、目画像１５０Ｅの面積を算出する形で特定する。上まぶた画像１５０ＬＵと下まぶた画像１５０ＬＤとのそれぞれの最下端位置の上下方向における距離を目の開度として特定してもよい。Ｓ２４６では、Ｓ２４４で取得した情報に基づいて、運転者ＤＲの目が閉じているか否かを判定する。本実施形態においては、目画像１５０Ｅの面積を算出し、その面積が予め定められた閾面積を上回ったか否かに基づいて行う。閾面積を上回った場合には、Ｓ２４７にて、これを目を閉じた状態と判定してＳ２４８に進む。他方、閾面積を上回らなかった場合には、Ｓ２５０に進む。

Ｓ２４８では、制御部１８の記憶部に設けられたカウンタ１８ｃのカウント値をアップする。このカウント値は、所定時間（Ｓ２４２にてタイマー１８ｂが起動してからＳ２５０で予め定められた閾時間が経過したと判定するまでの間）の中で、運転者ＤＲの目が閉じた状態を何回検出されたかを反映した値である。つまり、この値が多い場合は目を閉じていた時間が多い状況であり、運転への注意力が低下した、意識レベルの低い状況といえるので、Ｓ２４９では、そのカウント値が所定の値を超えたか否かを判定し、所定回数を超えていればＳ２５０に進んで、運転ＤＲ者の生態状態の検出結果情報として運転注意力低下状態を記憶装置１７（第三の運転者生体状態記憶部）に記憶する。他方、Ｓ２４９にて所定回数を超えていなければＳ２５１に進む。

Ｓ２５１では、タイマー１８ｂから経過時間を読み出し、Ｓ２４２で起動してから所定の時間が経過したか否かを判定する。所定時間が経過していなければＳ２４３に戻り、再び目が閉じた状態の検出を開始する。所定時間が経過していればＳ２５２に進み、Ｓ２４８と同様、カウント値が所定の値を超えたか否かを判定する。所定回数を超えていなければＳ２５３に進み、運転者の生態状態の検出結果情報として通常状態を記憶装置１７（第三の運転者生体状態記憶部）に記憶して、Ｓ２５４に進む。他方、Ｓ２５２にて所定回数を超えていればＳ２５３をスキップしてＳ２５４に進む。Ｓ２５４では、当該検出処理の終了条件が成立したか否かを判定する。ここでは、ＩＧのオフを終了条件とし、終了条件が成立した場合は本処理を終了し、終了条件が成立していなければＳ２５５に進み、タイマー１８ｂをリセットした上でＳ２４２に戻り、再度タイマー１８ｂを起動して、運転者の目が閉じた状態の検出を再開する。

図１６も、運転注意力低下状態を検出する処理の一例である。ここでは、図９（ｂ）に示すような運転者ＤＲの発汗状態であると特定する。当該処理による運転注意力低下状態の検出結果情報は、記憶装置１７に設けられた第四の運転者生体状態記憶部（第一〜第三の運転者生体状態記憶部とは異なる記憶領域）に記憶される。

Ｓ２８１では、制御部１８が初期化処理として、自身に設けられた記憶装置１７（第四の運転者生体状態記憶部）に記憶されている運転注意力低下状態の検出結果情報の初期化（運転者の生態状態が通常状態にあることを示す記憶状態とする）を行う。Ｓ２８２〜Ｓ２８６では、カメラ１２ｂが撮影する顔画像１５０Ｆから、発汗状態を特定する。Ｓ２８２では、カメラ１２ｂの撮影画像１５０から顔画像１５０Ｆを取得する。Ｓ２８３では、取得した顔画像１５０Ｆからパターンマッチング等の画像処理により汗画像１５０Ｋを抽出する。ここでの汗画像１５０Ｋの抽出は、図９（ｂ）に示す顔画像１５０Ｆのうち目（目画像１５０Ｅ）よりも外側に位置する領域において、通常の肌よりも階調が高くなっている液体反射領域を特定し、これを汗画像１５０Ｋとして特定する。Ｓ２８４では、Ｓ２８３で取得した情報に基づいて、運転者ＤＲが発汗状態にあるか否かを、汗画像１５０Ｋの有無に基づいて判定する。汗画像１５０Ｋが抽出された場合には、これを運転者ＤＲの発汗状態と判定してＳ２８５に進んで、運転者ＤＲの生態状態の検出結果情報として発汗状態を（第四の運転者生体状態記憶部）に記憶し、Ｓ２８７に進む。他方、汗画像１５０Ｋが抽出されなかった場合には、運転者ＤＲは通常状態にあると判定してＳ２８６に進み、運転者ＤＲの生態状態の検出結果情報として通常状態を（第四の運転者生体状態記憶部）に記憶し、Ｓ２８７に進む。

Ｓ２８７では、当該検出処理の終了条件が成立したか否かを判定する。ここでは、ＩＧのオフを終了条件とし、終了条件が成立した場合は本処理を終了し、終了条件が成立していなければＳ２８２に戻り、汗検出処理を再開する。

図１１に戻る。Ｓ１１５では、図１３〜図１６の処理の検出結果情報を記憶装置１７の各運転者生体状態記憶部から読み出して、現在の運転者ＤＲが運転注意力低下状態にあるか、発汗状態にあるかを特定する。なお、各検出結果情報は個別の記憶領域（第一〜第四の運転者生体状態記憶部）に記憶されているので、運転者がどのような種類の生体状態にあるかは、各記憶領域を見れば明らかであり、それらに応じて個別の制御内容を実施してもよい。ただし、本実施形態においては、運転注意力低下状態と発汗状態との二つのみを区別する形で認識し、両者に応じた制御内容が以下の処理で実施される。

続くＳ１１６では、Ｓ１１５において運転注意力低下状態ないし発汗状態のいずれかが検出されている場合にはＳ１１７に進み、いずれも検出されていなければＳ１１９に進む。なお、Ｓ１１９では、生体状態に対応した制御が既に実施されている場合に、その制御を終了する処理を行う。そして、図１０の処理に戻る。

Ｓ１１７では、Ｓ１１５にて特定された生体状態に対応する制御内容を特定し、Ｓ１１８にて特定された制御内容を実行する（生体状態対応制御実行手段生体）。本実施形態においては、運転注意力低下状態のいずれかが検出された場合には、音による注意喚起動作が実行され、発汗状態が検出された場合には、予め定められた空調条件に従う空調出力が実行される。具体的に言えば、記憶装置１７の所定記憶領域（制御内容記憶手段）には、運転者ＤＲの予め定められた生体状態に対し、車載電子機器の制御内容を対応付けた生体状態対応制御情報を記憶しており、生体状態が特定された場合には、この生体状態対応制御情報に基づいて、特定された生体状態に対応する制御内容を実行する。

本実施形態の注意喚起動作は、運転者ＤＲに注意力が低下している旨を音声出力する形でなされる。記憶装置１７には、これら運転注意力低下状態に対応付けた形で注意喚起音声データが記憶されており、これに基づいて音声出力装置１６から音声出力がなされる。なお、注意喚起動作は、上記音声出力とは異なる他の動作であってもよく、ブザー音にて報知するものであったり、注意力低下状態からの覚醒を促す警告覚醒用の動作（例えば運転席側の窓を開ける等）であってもよい。

他方、本実施形態の、発汗状態に対応する空調出力は、現在の空調条件よりも強風又は低温、あるいは強風かつ低温の空調条件に変更する形で実行される。記憶装置１７には、発汗状態に対応付けた形で空調条件データが記憶されており、これに基づいて空調ＥＣＵ１０１に対し空調条件の変更を指示する。具体的に言えば、マニュアルないしオートで現在設定されている目標吹き出し温度の設定値を予め定められた値だけ減じて設定し、かつ同じくマニュアルないしオートで現在設定されている目標吹き出し風量の設定値を予め定められた値だけ増じて設定する。そして、それら設定後の目標吹き出し温度及び目標吹き出し風量の設定値に基づいて、吹き出し温度制御及び吹き出し風量制御を実行させることで、上記の発汗状態に対応する空調出力が実行される。なお、設定後の値が設定下限値を下回る、あるいは設定上限値を上回る場合は、それら設定下限値ないし設定上限値を設定するものとする。

Ｓ１１８の処理が終了すると図１０に戻る。図１０のモード設定処理は繰り返し実行されるので、Ｓ１０１にて接近対象物が検出されない限り、この生体状態対応制御実行処理は繰り返されるとともに、上記した生体状態が検出され続ける限り、対応する制御内容も継続して実行され続ける。

次に、制御部１８による表示制御処理（手画像合成表示処理）について、図１２のフローチャートを用いて説明する。なお、Ｓ１２１は本実施形態においては省略している。Ｓ１２２では、制御部１１２が、カメラ１２ｂによる撮影画像を取得し、その撮影画像の中から手画像を抽出・特定する。手画像であるか否かの判定は、撮影された接近対象物画像１５０Ｈの形状に基づいて行う。人の手画像を抽出する手法については、公知の任意の手法（例えば、特開２００３−３４６１６２号公報参照）を使用することができる。Ｓ１２３にて、手画像が抽出・特定された場合にはＳ１２４に進み、手とは異なる画像が特定された場合には、本処理を終了する。

Ｓ１２４では、抽出された手画像に基づいて、表示部１５の画面に図５に示すような合成映像２００を表示する。具体的に言えば、抽出された手画像１５０Ｈに対し半透状態とする加工を施した上で、画像合成部１８ａにより、これをメイン画像２００Ｂ（ここでは地図操作画像）上に合成し、図５のような合成映像２００を表示する。なお、手画像１５０Ｈのメイン画像２００Ｂへの加工・合成表示については、上述のような半透過合成表示に限らず、種々の変形例を考えることができる。

上述の表示制御処理が実行されることにより、撮影された手画像２００Ｈを表示画面上の対応する位置に合成表示する手画像合成表示手段として機能する。

次に、制御部１８によるタッチ入力受付処理について説明する。図１７は、その流れを示すフローチャートである。

まず、Ｓ１では、カメラ１２ｂにより撮影される撮影画像１５０から、操作パネル１２ａのタッチ操作面１２ａ１に手Ｈが接触した手接触領域を特定する（光反射領域特定手段）。手Ｈがタッチ操作面１２ａ１と物理的に接触した領域においては、光源１２ｃからの照射光がそれ以外の領域よりも多く反射するので、撮影映像１５０上においては、上述した第一の階調閾値を十分に上回る階調レベルの光反射領域１５０ＨＡとして現れる。さらに言えば、その光反射領域１５０ＨＡの階調レベルは、接近対象物Ｈに応じて異なるものの、撮影映像１５０内においてある程度一定のレベルで現れる。本実施形態においては、このような高い階調レベルのみを特定できるよう第一の階調閾値よりも高い階調レベルとして第二の階調閾値を定めており、これを用いて各画素の階調レベルを２値化することで、撮影映像１５０上において当該第二の階調閾値を上回る光反射領域１５０ＨＡを接触領域として特定する。

Ｓ２では、その光反射領域１５０ＨＡの面積を算出し、算出された面積が予め定められた方法によって求められる閾面積を上回るか否かを判定する。光反射領域１５０ＨＡの面積が閾面積を上回らなかった場合には、その光反射領域（接触領域）へのタッチ入力はなかったと判定してその領域への操作入力を受け付けず、本処理は終了する一方で、光反射領域１５０ＨＡの面積が閾面積を上回った場合には、その光反射領域（接触領域）にタッチ入力があったと判定し、Ｓ３にてその領域への操作入力を受け付け、Ｓ４に進む（入力受付手段）。なお、接触領域が特定された場合に、その面積とは無関係にその領域への操作入力を受け付ける構成としてもよいが、誤入力の可能性が高くなるので、本実施形態においては、上記のように、操作入力を受け付ける閾面積を予め規定している。

Ｓ４では、操作入力を受け付けた接触領域が、表示部１５の画面上に表示されるスイッチ画像（操作アイコン）２０１に対応する領域にあるか否かを判定する。接触領域がスイッチ画像２０１に対応する領域でなかった場合は、本処理を終了する。他方、接触領域がスイッチ画像２０１に対応する領域であった場合は、Ｓ５に進む。

Ｓ５では、タッチ操作された接触領域に応じて、実行すべき制御内容を特定し、Ｓ６にて、特定された制御内容を実行する。本実施形態においては、各スイッチ画像２０１に対し制御内容が対応付けて記憶されているので、この記憶情報に基づいて対応する制御内容を特定し、実施する（制御手段）。Ｓ６が終了すると、この入力受付処理は終了するが、当該処理は所定周期で繰り返し実施される。

以上、本発明の一実施形態を説明したが、これはあくまでも例示にすぎず、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。

例えば、上記実施形態においては、撮影用光源１２ｃの輝度は、運転者の顔画像を生体状態を特定できるレベルに固定的に設定されているが、生体状態対応制御実行モードにおいて撮影用光源の輝度を第一レベルに設定し、他方、生体状態対応制御禁止モードにおいては撮影用光源の輝度を第一レベルよりも低い第二レベルに設定することができる。この場合、図１１及び図１２にてＳ１１１及びＳ１２１の処理を実行するようにする。そして、図１０のＳ１０１における接近対象物の検出に関しては、そのときのモードが生体状態対応制御実行モードである場合には、第一レベルの輝度で発光する光源１２ｃのもとでカメラ１２ｂにより撮影された撮影画像から接近対象物を抽出できるか否かに基づいて検出がなされ、生体状態対応制御禁止モードである場合には、第二レベルの輝度で発光する光源１２ｃのもとでカメラ１２ｂにより撮影された撮影画像から接近対象物を抽出できるか否かに基づいて検出がなされる。ただし、Ｓ１０１において接近対象物の抽出に使用される階調の閾値は、そのとき設定されているモードに応じた閾値に切り替えられ、その上で接近対象物の抽出判定が行われる。

また、本実施形態においては、従来のタッチパネルを使用せず、操作パネル上の手接触領域を、カメラ１２ｂにより撮影された撮影画像を解析して特定し、特定された場合に当該位置への入力を受け付ける構成となっているが、従来のタッチパネルを採用してもよい。タッチパネルとしては、抵抗膜方式、静電容量方式、振動検出方式等といった様々な方式のタッチパネルを適用することができる。

また、上記実施形態において、タッチ操作によるタッチ操作面１２ａ１上との接触領域が、表示部１５の画面上にて特定できるよう、当該接触領域を、図２０に示すように、メイン画像２００Ｂ上に重畳表示してもよい（符号２００ＨＡ）。これにより、タッチ入力位置を視認することが可能となり、操作性が増す。具体的には、第二の階調閾値を用いてカメラ１２ｂの撮影映像を２値化し、当該第二の階調閾値を上回る接触領域を抽出する。そして、画像合成部１８ａにより、抽出された接触領域画像１５０ＨＡを加工し、これを接近対象物画像２００Ｈ上に合成し、さらにこれをメイン画像２００Ｂに合成（ここでは半透過合成）し、図２０に示すような合成画像を表示する。

また、上記本発明は、運転者の特定の生体状態を顔画像から検出することを特徴としている。生体状態としては、上記の運転注意力低下状態や発汗状態の他の生体状態を特定し、それに対応する予め定められた制御を実行しても良い。また、上記実施形態においては、運転注意力低下状態が特定された際には、これに対する注意喚起動作が実行されるが、注意喚起だけではなく通常状態に戻るために覚醒を促す動作も同時に実行してもよい。

本発明の操作入力装置の一例である車両用プロンプター方式操作装置を用いた車両用ナビゲーション装置の構成を示すブロック図。本発明が適用された車両用プロンプター方式操作装置の概要を説明するための車室内の要部斜視図。操作パネルの配置状態を説明するための運転席の正面を示す図。本発明の操作入力装置により操作される車載空調装置の構成を示すブロック図。操作情報入力部の構成を示す断面図。操作情報入力部に設けられたカメラの撮影範囲を示す運転席側面図。カメラの撮影映像を例示する図。メイン画像に対する手画像の半透過合成を例示する図。運転者の各種生体状態を示す顔画像を例示する図。モード設定処理を示すフローチャート。生体状態対応制御実行処理を示すフローチャート。手画像合成表示処理を示すフローチャート。生体状態検出処理の一例を示すフローチャート。生体状態検出処理の一例を示すフローチャート。生体状態検出処理の一例を示すフローチャート。生体状態検出処理の一例を示すフローチャート。タッチ入力処理を示すフローチャート。表示部としてヘッドアップディスプレイを設けた実施形態を示す運転席側面図。表示部としてヘッドアップディスプレイを設けた実施形態において運転席の正面を示す図。メイン画像に対する手画像の半透過合成を例示する、図８とは異なる図。

符号の説明

１０車両用ナビゲーション装置
１２操作情報入力部（操作部）
１２ａ操作パネル
１２ｂカメラ（接近対象物撮影手段、手画像撮影手段、顔画像撮影手段）
１２ｃ光源
１５表示部（表示手段）
１８制御部（光反射領域特定手段、入力受付手段、手画像合成表示制御手段、生体状態特定手段（運転注意力低下状態特定手段、発汗状態特定手段）、生体状態対応制御実行手段、接近対象物検出手段、モード設定手段）
１８ａ画像合成部（手画像合成表示制御手段）
５０車両内ＬＡＮ
１０１ＥＣＵ
１５０撮影画像
２００Ｂメイン画像
２０１スイッチ画像（操作アイコン）
２００Ｈ接近対象物画像
Ｈ接近対象物

Claims

車両のステアリングホイールに設けられ、表面がタッチ操作面をなす透光性を有した操作パネルと、
表示画面が前記ステアリングホイールとは異なる位置にて、運転者から視認可能に設けられるとともに、該表示画面に操作アイコンを表示可能とされてなる表示手段と、
前記操作パネルの前記タッチ操作面側に近接する、当該タッチ操作面の操作者の手画像を撮影する手画像撮影手段と、
撮影された前記手画像を前記表示画面上の対応する位置に合成表示する手画像合成表示制御手段と、
前記表示画面上に表示されている前記操作アイコンの表示位置に対応する、前記タッチ操作面上の前記操作入力位置への操作に基づいて、当該操作アイコンに対応して定められた内容の操作入力を受け付ける入力受付手段と、
を備える一方で、
前記手画像撮影手段は、前記操作パネルの裏面側から前記操作パネルを介して、運転席に着座する運転者の顔が撮影可能となるよう撮影範囲を固定的に定めて配置され、前記手画像とともに前記運転者の顔画像も撮影する顔画像撮影手段としても機能するように構成され、
撮影された前記顔画像に基づいて前記運転者が予め定められた生体状態にあることを特定する生体状態特定手段と、
各種前記生体状態に対応する車載電子機器の制御内容を対応付けた生体状態対応制御情報を記憶する制御内容記憶手段と、
前記生体状態が特定された場合に、前記生体状態対応制御情報に基づいて、特定された前記生体状態に対応する前記制御内容を実行する生体状態対応制御実行手段と、
を備えることを特徴とする車両用操作入力装置。
前記操作パネルの前記タッチ操作面に接近する接近対象物を検出する接近対象物検出手段と、
前記接近対象物が検出されている場合には、前記生体状態対応制御実行手段による前記生体状態に対応する前記制御内容の実行を禁止する生体状態対応制御禁止モードを設定し、前記接近対象物が検出ていない場合には、前記生体状態対応制御実行手段による前記生体状態に対応する前記制御内容を実行する生体状態対応制御実行モードと、を切り替えて設定するモード設定手段と、
を備える請求項１に記載の車両用操作入力装置。
前記生体状態特定手段は、生体状態対応制御禁止モードが設定された場合に、前記顔画像撮影手段により撮影された前記顔画像に基づいて前記運転者の生体状態を特定する生体状態特定処理の実行が禁止される請求項２に記載の車両用操作入力装置。
前記手画像撮影手段は、前記操作パネルの前記タッチ操作面側に近接する、前記操作者の手を含む接近対象物を撮影可能とされており、
前記接近対象物検出手段は、前記手画像特定手段による撮影画像から前記接近対象物の画像を特定する形で、該接近対象物を検出するものである請求項２又は請求項３に記載の車両用操作入力装置。
前記運転状態特定手段は、前記顔画像撮影手段により撮影された前記顔画像に基づいて、前記生体状態として、運転者の車両走行への注意力が低下した運転注意力低下状態を特定する運転注意力低下状態特定手段を有し、
前記生体状態対応制御情報には、前記運転注意力低下状態に対し、運転者に注意喚起を与えるための予め定められた注意喚起動作をする注意喚起手段に当該注意喚起動作を実行させる制御内容が対応付けられており、
前記生体状態対応制御実行手段は、前記生体状態として前記運転注意力低下状態が特定された場合に、前記生体状態対応制御情報に基づいて、前記注意喚起動作を実行するものである請求項１ないし請求項４のいずれか１項に記載の車両用操作入力装置。
前記生体状態特定手段は、前記顔画像撮影手段により撮影された前記顔画像に基づいて、前記生体状態として、運転者の発汗状態を特定する発汗状態特定手段を有し、
前記生体状態対応制御情報には、前記発汗状態に対し、車載空調出力手段に現在よりも強風又は低温、あるいは強風かつ低温の空調出力を実行させる制御内容が対応付けられており、
前記生体状態対応制御実行手段は、前記生体状態として前記発汗状態が特定された場合に、前記生体状態対応制御情報に基づいて、前記空調出力を実行するものである請求項１ないし請求項５のいずれか１項に記載の車両用操作入力装置。
車室内に固定配置され、前記撮影範囲内に入り込む撮影対象に対し予め定められた波長帯の光を照射する撮影用光源を備え、
前記手画像撮影手段は、前記撮影用光源から照射される光の反射光を捉える形で撮影対象を撮影するものである請求項１ないし請求項６のいずれか１項に記載の車両用操作入力装置。
請求項２に記載の要件を備え、
前記生体状態対応制御実行モードにおいて前記撮影用光源の輝度を第一レベルに設定し、他方、前記生体状態対応制御禁止モードにおいて前記撮影用光源の輝度を前記第一レベルよりも低い第二レベルに設定するものである請求項７に記載の車両用操作入力装置。
前記手画像撮影手段により撮影された画像上において、前記反射光の強度が予め定められた閾強度を上回る光反射領域を特定する光反射領域特定手段を備え、
前記入力受付手段は、特定された前記光反射領域に基づいて、当該光反射領域へのタッチ入力を受け付けるものである請求項７又は請求項８に記載の車両用操作入力装置。
車両のステアリングホイールに設けられ、表面がタッチ操作面をなす透光性を有した操作パネルと、
表示画面が前記ステアリングホイールとは異なる位置にて、運転者から視認可能に設けられるとともに、該表示画面に操作アイコンを表示可能とされてなる表示手段と、
前記操作パネルの前記タッチ操作面側に近接する、当該タッチ操作面の操作者の手画像を撮影する手画像撮影手段と、
撮影された前記手画像を前記表示画面上の対応する位置に合成表示する手画像合成表示制御手段と、
前記表示画面上に表示されている前記操作アイコンの表示位置に対応する、前記タッチ操作面上の前記操作入力位置への操作に基づいて、当該操作アイコンに対応して定められた内容の操作入力を受け付ける入力受付手段と、
車室内に固定配置され、前記手画像撮影手段の撮影範囲内に入り込む撮影対象に対し予め定められた波長帯の光を照射する撮影用光源と、
を備えるとともに、前記手画像撮影手段は、前記撮影用光源から照射される光の反射光を捉える形で撮影対象を撮影するものであり、
前記手画像撮影手段により撮影された画像上において、前記反射光の強度が予め定められた閾強度を上回る光反射領域を特定する光反射領域特定手段を備え、
前記入力受付手段は、特定された前記光反射領域に基づいて、当該光反射領域へのタッチ入力を受け付けることを特徴とする車両用操作入力装置。
前記入力受付手段は、前記光反射領域特定手段により特定された前記光反射領域が、予め定められた閾面積を上回った場合に、当該光反射領域へのタッチ操作入力を受け付けるものである請求項９又は請求項１０に記載の車両用操作入力装置。
前記操作パネルは、前記ステアリングホイールのボス部に設けられている請求項１ないし請求項１１のいずれか１項に記載の車両用操作入力装置。
前記操作パネルの前記タッチ操作面は、前記表示画面と相似の形状をなす請求項１ないし請求項１２のいずれか１項に記載の車両用操作入力装置。
前記表示手段は、車載ナビゲーション装置の表示装置に兼用される形で設けられたものである請求項１ないし請求項１３のいずれか１項に記載の車両用操作入力装置。
前記表示手段は、ウィンドシールドガラスの運転者正面領域を前記表示画面とし、当該ウィンドシールドガラスに向けて表示光を放射する表示器を備える車両用ヘッドアップディスプレイ装置である請求項１ないし請求項１４のいずれか１項に記載の車両用操作入力装置。