JP2016110269A - 操作入力装置 - Google Patents

Abstract

【課題】車両走行の安全性を確保しつつ操作性に優れた操作入力装置を提供する。【解決手段】指等による操作状態を検出して入力する入力部であるタッチパッド２０と、タッチパッド２０の操作範囲に対応する画面を備え操作状態を表示する画面表示部３０と、画面表示部３０を視認しながらタッチパッド２０により入力操作を行なう操作者（乗員）を撮像する撮像部であるカメラ４０と、タッチパッド２０、画面表示部３０、及びカメラ４０を制御する制御部５１と、を有し、制御部５１は、カメラ４０により撮像した操作者（乗員）の画面表示部３０に対する視認状態を判断する判断部５２を備え、判断部５２の判断結果に基づいてタッチパッド２０の操作又は画面表示部３０の表示を不可とする制御を行なう構成とする。【選択図】図２

Description

本発明は、操作入力装置に関する。

従来、指等の接近の有無に応じて操作案内画面を表示させることができる操作入力装置であって、例えば、カーナビゲーション装置等の入力画面から項目を選択して入力する操作入力装置が提案されている（例えば、特許文献１）。

この操作入力装置は、画像を表示する表示部と、操作案内画面に対して操作入力を行うための操作入力部と、操作入力部に対して物体の接近を検出する近接検出部と、近接判定部で物体が近接していると判定した時の軌跡を測定する軌跡測定部と、軌跡測定部で測定された軌跡を記録する軌跡記録部と、操作入力部による操作が行われたことを判定する操作検出部と、表示部を制御する表示制御部と、を備えて構成されている。この操作入力装置は、操作者（乗員）が操作案内画面を視認しながら操作入力部を指先等により操作入力を行うもので、例えば、カーナビゲーション装置として車両に装備されている場合には、走行中に操作案内画面を視認しながら入力操作を行なうことができる。

また、タッチパネルとしての機能を備えたディスプレイ及び撮像装置を有する操作入力装置が提案されている（例えば、特許文献２）。

この操作入力装置は、撮像装置により取得されたユーザの顔画像に基づき、ユーザの視線を検出する検出手段と、検出手段により検出された視線の方向がディスプレイに向けられているディスプレイ注視状態にあるか否かを判断する判断手段と、判断手段によりディスプレイ注視状態であると判断された場合に、タッチパネルに対する入力操作を受付可能に制御し、判断手段によりディスプレイ注視状態でないと判断された場合に、タッチパネルに対する入力操作を受付不可能に制御する制御手段と、を備えるものである。

特開２０１２−１１８７６１号公報 国際公開第２０１３/１４１１６１号

しかし、特許文献１の操作入力装置がカーナビゲーション装置として車両に装備され、特許文献２の撮像装置により取得されたユーザの顔画像に基づく入力操作制御が行われる操作入力装置を適用する場合、車両走行の安全性を確保しつつ、操作者（乗員）の利便性を向上させる必要がある。また、車両走行中における画像表示装置の取り扱いについての基本的考え方の規定を遵守する必要がある。

したがって、本発明の目的は、車両走行の安全性を確保しつつ操作性に優れた操作入力装置を提供することにある。

［１］上記目的を達成するため、操作状態を検出して入力する入力部と、前記入力部の操作範囲に対応する画面を備え前記操作状態を表示する画面表示部と、前記画面表示部を視認しながら前記入力部により入力操作を行なう操作者を撮像する撮像部と、前記入力部、前記画面表示部、及び前記撮像部を制御する制御部と、を有し、前記制御部は、前記撮像部により撮像した前記操作者の前記画面表示部に対する視認状態を判断する判断部を備え、前記判断部の判断結果に基づいて前記入力部の操作又は前記画面表示部の表示を不可とする制御を行なうことを特徴とする車両に搭載される操作入力装置を提供する。

［２］前記制御部は、前記画面表示部に対する視認時間の積算値が所定の時間以上であるか否かにより前記判断を行なうことを特徴とする上記［１］に記載の操作入力装置であってもよい。

［３］また、前記制御部は、前記車両の車速及び前記判断結果に基づいて前記入力部又は前記画面表示部の制御を行なうことを特徴とする上記［１］又は［２］に記載の操作入力装置であってもよい。

本発明の操作入力装置によれば、車両走行の安全性を確保しつつ操作性に優れた操作入力装置を提供することができる。

図１は、本発明の実施の形態に係る操作入力装置が装備された車両内を示す全体斜視図である。 図２は、本発明の実施の形態に係る操作入力装置の構成ブロック図である。 図３は、本発明の実施の形態に係る操作入力装置の動作フローを示すフローチャートである。 図４は、運転席に着座した乗員の顔及び視線の状態を示し、（ａ）は乗員が走行運転中の図、（ｂ）は乗員が画面表示部を視認しているときの図である。 図５は、乗員の視線の動きを説明する図である。

（本発明の実施の形態）
（操作入力装置１０の構成）
図１は、本発明の実施の形態に係る操作入力装置が装備された車両内を示す全体斜視図である。本発明の実施の形態に係る操作入力装置１０は、車両に搭載される操作入力装置であって、走行規制を守ったうえで車両走行の安全性が確保できる操作入力装置である。

本発明の実施の形態に係る車両１に搭載される操作入力装置１０は、指等による操作状態を検出して入力する入力部であるタッチパッド２０と、タッチパッド２０の操作範囲に対応する画面を備え操作状態を表示する画面表示部３０と、画面表示部３０を視認しながらタッチパッド２０により入力操作を行なう操作者（乗員）を撮像する撮像部であるカメラ４０と、タッチパッド２０、画面表示部３０、及びカメラ４０を制御する制御部５１と、を有し、制御部５１は、カメラ４０により撮像した操作者（乗員）の画面表示部３０に対する視認状態を判断する判断部５２を備え、判断部５２の判断結果に基づいてタッチパッド２０の操作又は画面表示部３０の表示を不可とする制御を行なう構成とされている。

図２は、本発明の実施の形態に係る操作入力装置の構成ブロック図である。図１で示すタッチパッド２０、画面表示部３０、カメラ４０は、それぞれ、操作入力装置全体を制御するための操作入力ＥＣＵ５０に接続されている。この操作入力ＥＣＵ５０は、車内ＬＡＮ１００を介して、車載機器、例えば、カーナビゲーション装置１１０、車速センサ１２０等に接続されている。また、操作入力ＥＣＵ５０は、タッチパッド２０、画面表示部３０、カメラ４０の動作を制御するための制御部５１を備えると共に、後述する視認状態を判断する判断部５２等を備える。

（タッチパッド２０）
入力部としてのタッチパッド２０は、車両１のセンターコンソール４に設けられた、例えば、操作指が触れた操作面上の位置（検出点）を検出するタッチパッドである。乗員２は、例えば、操作面にタッチ操作を行うことにより、タッチ点に対応したカーソル表示、移動等を画面表示部３０上に表示することができる。また、車内ＬＡＮ１００を介して接続されたカーナビゲーション装置１１０等の車載機器の操作を行うことが可能となる。

タッチパッド２０は、例えば、指の近接、接触、また、複数の検出指の位置又は移動等の検出が可能な静電容量方式のタッチパッドを用いることができる。

なお、入力部に対する入力操作は、操作面へのタッチ操作、なぞり操作等に限られない。例えば、入力部はタッチパッドではなくジョイスティック等により構成されていてもよく、また、ボタンあるいは複数のボタン配列等により入力操作する構成であってもよい。

（画面表示部３０）
画面表示部３０は、車両１のインストルメントパネル３に設けられた、例えば、液晶表示パネルである。画面表示部３０には、制御対象であるカーナビゲーション装置１１０等のメニュー画面、地図画面等が表示されると共に、タッチパッド２０の入力操作に対応したカーソルが表示される。ここで、入力操作は、タッチ操作、スワイプ操作、ピンチイン操作、ピンチアウト操作、タップ操作、ダブルタップ操作等である。

なお、上記示した入力部と画面表示部は、別々に配置されるものには限られない。入力部と画面表示部が重畳して配置され、画面表示部と入力部の入力面が同じ領域に形成されたタッチ入力装置であってもよい。

（カメラ４０）
撮像部としてのカメラ４０は、例えば、撮像素子にＣＣＤ（Charge Coupled Device：電荷結合デバイス）を用いると共にデジタルカメラに準じた構成を有し、後述する操作入力ＥＣＵ５０（Electronic Control Unit：電子制御ユニット）の管理の下で乗員の顔を撮像し、その画像データを操作入力ＥＣＵ５０へ送出する構成を有している。

このカメラ４０は、図１に示すように、例えば、ステアリングコラムポスト５に載置され、乗員２（操作者）の顔の撮像に適した位置に配置されている。

（操作入力ＥＣＵ５０）
操作入力ＥＣＵ５０は、例えば、ＣＰＵを主体に構成された１チップＬＳＩのマイクロプロセッサであり、メモリ５３に格納されたプログラムにより動作する構成になっている。操作入力ＥＣＵ５０には、タッチパッド２０、画面表示部３０、カメラ４０が接続されている。また、車内ＬＡＮ１００を介して、カーナビゲーション装置１１０、車速センサ１２０等の車載機器が接続されている。

操作入力ＥＣＵ５０内には、タッチパッド２０の操作又は画面表示部３０の表示の制御を行なう制御部５１、カメラ４０により撮像した乗員２の画面表示部３０に対する視認状態を判断する判断部５２、及び、メモリ５３を備える。また、制御部５１は、後述する判断部５２により乗員２が対象機器（画面表示部３０）を注視していると判断する視認時間の積算時間Ｔｓを求める。

メモリ５３は、上記プログラムを格納すると共に、カメラ４０からの画像データを一時的に保存する半導体メモリ等からなる記憶媒体である。メモリ５３は、所定速度（基準車速）、所定時間（基準積算時間）、運転席の乗員２の視点から見たインストルメントパネル３に設置されている画面表示部３０の配置を示すパターン図、及び画面表示部３０に対する乗員２の顔の向きと視線に関するデータ（テーブル）を参照用データとして格納している。

（操作入力装置１０の動作）
図３は、本発明の実施の形態に係る操作入力装置の動作フローを示すフローチャートである。図４は、運転席に着座した乗員の顔及び視線の状態を示し、（ａ）は乗員が走行運転中の図、（ｂ）は乗員が画面表示部を視認しているときの図である。また、図５は、乗員の視線の動きを説明する図である。なお、図３に示す処理は、図２に示す操作入力ＥＣＵ５０によって実行される。

操作入力装置１０の動作がスタートすると、まず、操作入力ＥＣＵ５０は、カメラ４０で乗員２の顔を撮像する（Ｓ０１）。カメラ４０による画像データは、操作入力ＥＣＵ５０に取り込まれ、メモリ５３に保存される。

乗員２の顔は、車両１の運転中、殆どの場合、図４（ａ）に示すように進行方向を向いている。しかし、機器（タッチパッド２０、画面表示部３０）の操作を行おうとする時には、図４（ｂ）に示すように、操作対象の機器の方に顔が向き、視線２２も当該機器の方を向くようになる。本実施の形態では、操作するタッチパッド２０により移動するカーソルが表示される画面表示部３０の方を向く。

そこで、操作入力ＥＣＵ５０は、メモリ５３から画像データを読み出し、乗員２の顔の向きや視線２２を計測する（Ｓ０２）。

次に、乗員２の視線２２の動きに対し、メモリ５３に記憶されている参照用データを基に最終的な注視点を推定する（Ｓ０３）。

この注視点の推定について、図５を参照して説明する。なお、ここでは、左目について示しているが、右目についても同様である。乗員２の目２１が道路等を見ているとき、その視線２２は視線方向ｅ１にある。この状態から、乗員２が顔をＡ方向（左方向）に回転すると、視線方向は、ｅ１から、ｅ２、ｅ３、ｅ４へと変化する。ここで、ｅ１からｅ２までに時間ｔ１、ｅ２からｅ３までに時間ｔ２、ｅ３からｅ４までに時間ｔ３を要したとし、このとき、ｅ１からｅ２までが角度θ１、ｅ２からｅ３までが角度θ２、ｅ３からｅ４までが角度θ３であったとする。

また、視線２２は、一旦動き始めれば、その方向に直線的に一定速度で移動し、途中で方向や速度が変更されることは少ないと考えられる。そこで、視線２２が角度θ１を動くのに時間ｔ１を要した場合、視線方向ｅ２から（ｔ１×２）秒後が視線方向ｅ２からｅ４までに要する時間になる。従って、時間ｔ１の時点で、（ｔ１×２＝ｔ２＋ｔ３）秒後が、画面表示部３０に注視点が到達する時間と推定される。

操作入力ＥＣＵ５０は、タッチオン許可中かどうかを判断する（Ｓ０４）。タッチオン許可中の場合はステップＳ０５へ進み（Ｓ０４：Ｙｅｓ）、タッチオン許可中でない場合はステップＳ１０へ進む（Ｓ０４：Ｎｏ）。

ステップＳ０５において、時間ｔ１の時点で、視線２２の移動方向についてメモリ５３に記憶されている参照用データのテーブルを参照し、ｔ１×２秒後の視線方向ｅ４上に対象機器（画面表示部３０）が存在するというデータがあれば、操作入力ＥＣＵ５０は、メモリ５３のテーブルを参照し、（θ１＋θ２＋θ３）の角度範囲の視線方向に画面表示部３０の存在を判定することができる（Ｓ０５）。

乗員２の顔や視線の移動速度等によっては、角度θ１で推定を完了できない場合が生じるが、この様な場合、角度θ１以後の任意の時点で推定を行う。視線方向ｅ１からｅ４に至る方向に画面表示部３０が存在しないと判定された場合（Ｓ０５：Ｎｏ）はステップＳ１３に進む。また、視線方向ｅ１からｅ４に至る方向に画面表示部３０が存在すると判定された場合（Ｓ０５：Ｙｅｓ）はステップＳ０５に進む。

なお、対象機器の特定において、対象の機器の面積が小さい場合、その周辺への視線２２に対してであっても、設定したエリア内に視線２２が向いていれば、エリア内に対象機器が存在すると見なして処理をすることができる。

次に、操作入力ＥＣＵ５０は、車速は所定速度以上であるか否か、を判断する。車内ＬＡＮ１００を介して車速センサ１２０から入力される車速データに基づいて判断する（Ｓ０６）。所定速度は、例えば、０ｋｍ／ｈ、５ｋｍ／ｈ、１０ｋｍ／ｈ、１５ｋｍ／ｈ等に任意に設定することができる。対象機器（画面表示部３０）を視認していても車両の安全走行が確保できるかどうかにより、上記の所定速度（基準車速）が設定される。

車速が所定速度以上でない場合（Ｓ０６：Ｎｏ）は、処理はステップＳ０１に戻され、以降の処理が繰り返し実行される。また、車速が所定速度以上である場合（Ｓ０６：Ｙｅｓ）は、ステップＳ０７に進む。

操作入力ＥＣＵ５０の制御部５１は、対象機器（画面表示部３０）の視認時間の積算処理を行なう。画面表示部３０を注視している時間を積算し、積算時間Ｔｓとする（Ｓ０７）。

操作入力ＥＣＵ５０は、積算時間Ｔｓが所定時間以上であるか否か、を判断する（Ｓ０８）。ここで、所定時間は、例えば、（社）日本自動車工業会の「画像表示装置の取り扱いについて」に規定された、「タスクが完了するまでの画面視認総時間が８秒を超えないこと」を遵守することにより、８秒と設定することができる。なお、この所定時間は、ＮＨＴＳＡガイドライン等の各国の規定に基づいて設定することが可能である。

積算時間Ｔｓが所定時間（８秒）以上でない場合（Ｓ０８：Ｎｏ）は、処理はステップＳ０１に戻され、以降の処理が繰り返し実行される。また、積算時間Ｔｓが所定時間（８秒）以上である場合（Ｓ０８：Ｙｅｓ）は、ステップＳ０９に進む。

操作入力ＥＣＵ５０は、タッチパッド２０によるタッチオンを不許可とし、また、画面表示部３０の画面表示をシャットダウン（グレイアウト）する制御を行なう（Ｓ０９）。すなわち、タッチパッド２０の操作又は画面表示部３０の表示を不可とする制御を行ない、操作不可を示す表示とする。あるいは、画面表示部３０の表示をオフする。この画面表示部３０の表示を不可とする制御は、例えば、（社）日本自動車工業会の「画像表示装置の取り扱いについて」の規定を満たすものである。

ステップＳ１０において、時間ｔ１の時点で、視線２２の移動方向についてメモリ５３に記憶されている参照用データのテーブルを参照し、ｔ１×２秒後の視線方向ｅ４上に対象機器（画面表示部３０）が存在するというデータがあれば、操作入力ＥＣＵ５０は、メモリ５３のテーブルを参照し、（θ１＋θ２＋θ３）の角度範囲の視線方向に画面表示部３０の存在を判定することができる（Ｓ１０）。

乗員２の顔や視線の移動速度等によっては、角度θ１で推定を完了できない場合が生じるが、この様な場合、角度θ１以後の任意の時点で推定を行う。視線方向ｅ１からｅ４に至る方向に画面表示部３０が存在しないと判定された場合（Ｓ１０：Ｎｏ）、処理はステップＳ０１に戻され、以降の処理が繰り返し実行される。また、視線方向ｅ１からｅ４に至る方向に画面表示部３０が存在すると判定された場合（Ｓ１０：Ｙｅｓ）はステップＳ１１に進む。

上記のステップＳ１０は、ステップＳ０５と同様の判断をするものであって、ステップＳ０５と同様に、対象機器の特定において、対象の機器の面積が小さい場合、その周辺への視線２２に対してであっても、設定したエリア内に視線２２が向いていれば、エリア内に対象機器が存在すると見なして処理をすることができる。

操作入力ＥＣＵ５０の制御部５１は、タッチパッド２０へのタッチありかどうかを判断する（Ｓ１１）。タッチありと判断した場合（Ｓ１１：Ｙｅｓ）はステップＳ１２へ進み、タッチありと判断しない場合（Ｓ１１：Ｎｏ）は処理はステップＳ０１に戻され、以降の処理が繰り返し実行される。

操作入力ＥＣＵ５０は、タッチパッド２０によるタッチオンを許可する（Ｓ１２）。本システムの処理はステップＳ０１に戻り、ステップＳ０１〜ステップＳ０４を通ってステップＳ０５以降の処理が実行されることになる。

ステップＳ１３において、操作入力ＥＣＵ５０の制御部５１は、対象機器（画面表示部３０）の非視認時間の積算処理を行なう。画面表示部３０を注視していない時間を積算し、積算時間Ｔｓ’とする（Ｓ１３）。

操作入力ＥＣＵ５０は、非視認時間の積算時間Ｔｓ’が所定時間以上であるか否か、を判断する（Ｓ１４）。積算時間Ｔｓ’が所定時間以上でない場合（Ｓ１４：Ｎｏ）は、処理はステップＳ０１に戻され、以降の処理が繰り返し実行される。また、積算時間Ｔｓ’が所定時間以上である場合（Ｓ１４：Ｙｅｓ）は、ステップＳ１５に進む。

操作入力ＥＣＵ５０は、タッチパッド２０によるタッチオンを不許可とする。ただし、画面表示部３０を注視していないので、画面表示部３０の画面表示は継続して表示する（Ｓ１５）。

（本発明の実施の形態の効果）
本発明の実施の形態に係る操作入力装置は、タッチオン許可状態中に画面表示部３０を視認した時間を積算し、この積算時間Ｔｓが一定時間を超過したらタッチオン不許可状態に移行し、画面表示をシャットダウン（グレイアウト、又は、操作不可を示す表示）する。これにより、車両走行の安全性を確保しつつ操作性に優れた操作入力装置を提供することができる。また、例えば、（社）日本自動車工業会の「画像表示装置の取り扱いについて」の規定や、ＮＨＴＳＡガイドライン等の各国の規定を満たすことができる。

一方、ステップＳ０８で示したように、視認時間の積算時間Ｔｓが所定時間以下の場合、あるいは、ステップＳ０５（Ｓ０５：Ｎｏ）で示したように、画面表示部３０を注視していないと判断した状態では、画面表示部３０の画面表示は継続される。これにより、画面表示はグレイアウトされないので利便性を向上させることができる。

以上、本発明の実施の形態を説明したが、これらの実施の形態は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。例えば、本発明の実施の形態において、視認の積算時間Ｔｓが所定時間以上かどうかで判断したが、１回の連続注視時間が所定時間以上かどうかで判断してもよい。また、タッチオン許可中との判定時に視認時間の積算を行なうこととしているが、タッチオン許可中かの判断結果によらず視認時間の積算を行なうようにしてもよい。

また、これら新規な実施の形態およびその変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態およびその変形例は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両
２…乗員
３…インストルメントパネル
４…センターコンソール
５…ステアリングコラムポスト
１０…操作入力装置、
２０…タッチパッド
２１…目
２２…視線
３０…画面表示部
４０…カメラ
５０…操作入力ＥＣＵ
５１…制御部
５２…判断部
５３…メモリ
１００…車内ＬＡＮ
１１０…カーナビゲーション装置
１２０…車速センサ

Claims (3)

1. 操作状態を検出して入力する入力部と、
   前記入力部の操作範囲に対応する画面を備え前記操作状態を表示する画面表示部と、
   前記画面表示部を視認しながら前記入力部により入力操作を行なう操作者を撮像する撮像部と、
   前記入力部、前記画面表示部、及び前記撮像部を制御する制御部と、を有し、
   前記制御部は、前記撮像部により撮像した前記操作者の前記画面表示部に対する視認状態を判断する判断部を備え、前記判断部の判断結果に基づいて前記入力部の操作又は前記画面表示部の表示を不可とする制御を行なうことを特徴とする車両に搭載される操作入力装置。
2. 前記制御部は、前記画面表示部に対する視認時間の積算値が所定の時間以上であるか否かにより前記判断を行なうことを特徴とする請求項１に記載の操作入力装置。
3. 前記制御部は、前記車両の車速及び前記判断結果に基づいて前記入力部又は前記画面表示部の制御を行なうことを特徴とする請求項１又は２に記載の操作入力装置。

Images