JP6588834B2 - 操作装置 - Google Patents

Description

本発明は、操作装置に関する。

従来の技術として、操作指でタッチパネル上に触れてスライドすることにより画面上のカーソルを移動するカーソル操作と、操作指でタッチパネル上に触れて弾くことにより画面上の操作対象をスクロールするフリック操作と、のいずれが行われたかを判定する操作判定部を備えた車両用操作装置が知られている（例えば、特許文献１参照。）。

この車両用操作装置は、操作指をスライドさせるとカーソルを移動させ、操作指を弾く操作を行うと地図画像などをスクロールさせる。

特開２０１５−１７０２８２号公報

しかし従来の車両用操作装置は、目的の位置にカーソルを移動させようと操作した際にスクロールと判定されると、目的の位置が遠くなるように操作と同じ方向に地図画像が移動するので操作指を弾く方向と地図画像の移動方向との対応が分かり難く、操作性が良くない。

従って、本発明の目的は、操作性を向上させることができる操作装置を提供することにある。

本発明の一態様は、操作面になされたフリック操作を検出する操作検出部と、操作者の目を含む領域を撮像する撮像部と、撮像部が撮像した画像に基づいて操作者が見ている表示画面上の視認点を検出する視認点検出部と、操作面になされたフリック操作の方向に関わらず、視認点に対応する表示画像上の点を表示画面の中心に移動させる制御部と、を備えた操作装置を提供する。

本発明によれば、操作性を向上させることができる。

図１（ａ）は、実施の形態に係る操作装置の配置の一例を示す車両内部の概略図であり、図１（ｂ）は、操作装置のブロック図の一例である。 図２（ａ）は、実施の形態に係る操作者の視認点の検出方法の一例を説明するための眼球周りの模式図であり、図２（ｂ）は、視認点を算出するためのシステムの一例を説明するための模式図である。 図３（ａ）〜図３（ｃ）は、実施の形態に係る操作装置になされたフリック操作の方向と表示画像の移動方向がほぼ同じ場合の一例を説明するための概略図である。 図４（ａ）〜図４（ｃ）は、実施の形態に係る操作装置になされたフリック操作の方向と表示画像の移動方向が異なる場合の一例を説明するための概略図である。 図５は、実施の形態に係る操作装置の動作の一例を示すフローチャートである。

（実施の形態の要約）
実施の形態に係る操作装置は、操作面になされたフリック操作を検出する操作検出部と、操作者の目を含む領域を撮像する撮像部と、撮像部が撮像した画像に基づいて操作者が見ている表示画面上の視認点を検出する視認点検出部と、操作面になされたフリック操作の方向に関わらず、視認点に対応する表示画像上の点を表示画面の中心に移動させる制御部と、を備えて概略構成されている。

この操作装置は、フリック操作の方向に関わらず、操作者が見ていた視認点に対応する表示画像上の点が表示画面の中心となるように表示画像を移動させるので、この構成を採用しないものと比べて、操作者がフリック操作の方向を迷うことがなく、操作性を向上させることができる。

[実施の形態]
（操作装置１の概要）
図１（ａ）は、実施の形態に係る操作装置の配置の一例を示す車両内部の概略図であり、図１（ｂ）は、操作装置のブロック図の一例である。図２（ａ）は、実施の形態に係る操作者の視認点の検出方法の一例を説明するための眼球周りの模式図であり、図２（ｂ）は、視認点を算出するためのシステムの一例を説明するための模式図である。なお、以下に記載する実施の形態に係る各図において、図形間の比率は、実際の比率とは異なる場合がある。また図１（ｂ）では、主な信号や情報の流れを矢印で示している。

操作装置１は、図１（ａ）に示すように、車両９の運転席と助手席の間のフロアコンソール９０に配置されている。この操作装置１は、センターコンソール９２に配置された表示装置９８に表示されたカーソルの移動や選択、表示されたアイコンの選択、決定、ドラッグ、ドロップなどの指示を行うことができるように構成されている。この表示装置９８は、車両９に搭載された電子機器の表示部として機能する。操作装置１は、当該電子機器に電気的に接続され、当該電子機器の操作部として機能する。

操作装置１は、図１（ａ）、図１（ｂ）、図２（ａ）及び図２（ｂ）に示すように、操作面２０になされたフリック操作を検出する操作検出部としてのタッチパッド２と、操作者の目を含む領域を撮像する撮像部としてのカメラ３と、カメラ３が撮像した画像３０に基づいて操作者が見ている表示画面９８０上の視認点４１を検出する視認点検出部４と、操作面２０になされたフリック操作の方向に関わらず、視認点４１に対応する表示画像９８２上の点９８４を表示画面９８０の中心９８３に移動させる制御部５と、を備えて概略構成されている。

なお操作装置１は、操作者が上述の機能をオン、オフ設定できるように構成されている。

（タッチパッド２の構成）
タッチパッド２は、例えば、操作者の体の一部（例えば、操作指）や専用のペンで操作面２０に触れることにより、触れた操作面２０上の位置を検出するセンサである。操作者は、例えば、操作面２０に操作を行うことにより、接続された電子機器の操作を行うことが可能となる。タッチパッド２としては、例えば、抵抗膜方式、静電容量方式などのセンサを用いることが可能である。本実施の形態のタッチパッド２は、一例として、静電容量方式のタッチセンサである。

操作面２０の下方には、交差する複数の検出電極が配置されている。タッチパッド２は、多層構造を有しており、この複数の検出電極がガラスや合成樹脂形成された板部材の裏面側に配置されている。

タッチパッド２は、操作面２０に二次元座標系が設定され、操作指が検出された二次元座標系の座標に関する情報である検出情報Ｓ_１を制御部５に出力する。この検出情報Ｓ_１は、複数の検出電極を走査する周期に応じて出力される。この検出情報Ｓ_１は、操作指を検出した場合、操作指が検出された座標の情報を含んでいる。

（カメラ３の構成）
カメラ３は、例えば、ＣＣＤイメージセンサ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子を用いた撮像装置である。

このカメラ３は、一例として、図１（ａ）に示すように、車両９のコラムカバー９３に設置される。具体的には、カメラ３は、コラムカバー９３の上部で、ステアリング９４のリングの間から操作者の顔が撮像可能な位置に配置される。また、このカメラ３は、例えば、近赤外線を操作者の顔に照射して撮像するように構成されている。そしてカメラ３は、撮像した画像３０の情報である画像情報Ｓ_２を生成して視認点検出部４に出力する。

（視認点検出部４の構成）
視認点検出部４は、カメラ３から取得した画像情報Ｓ_２に基づいて操作者の視認点４１を検出する。本実施の形態に係る視認点４１の検出方法は、一例として、プルキニエ像６２を用いた方法を用いている。

視認点検出部４は、例えば、近赤外線を眼球６に照射し、角膜表面での反射光（プルキニエ像６２）及び瞳孔６０の位置から視線６６と表示装置９８の表示画面９８０を含む平面９８１との交点である視認点４１を算出するように構成されている。なお、この平面９８１の面積は、例えば、視認点検出部４の処理速度が著しく低下しない程度に設定されることが好ましい。

具体的には、視認点検出部４は、取り込んだ画像３０を類似輝度の領域別にセグメント化し、セグメント化された各領域の中から瞳孔領域を領域形状からパターンマッチング法などを用いて決定する。

次に、視認点検出部４は、瞳孔６０の輪郭集合に対して誤差二乗和最小による楕円近似を行って楕円中心を求める。

次に、視認点検出部４は、求めた楕円中心から一定範囲内を対象としてプルキニエ像６２の検出を行う。このプルキニエ像６２の中心座標は、得られた領域の重心である。

次に、視認点検出部４は、得られた瞳孔６０及びプルキニエ像６２から視線６６の算出を行う。以下では、この算出について説明する。

図２（ｂ）に示す画像座標系（Ｘ_ｂＹ_ｂ座標系）における座標は、例えば、世界座標系（ＸＹＺ系座標）のＺ座標が既知であるとき、画像座標系の座標を世界座標系の座標に変換することが可能となる。また、カメラ座標系（ｘ_ａｙ_ａｚ_ａ座標系）における角膜曲率中心をプルキニエ像６２から求める。そして、視認点検出部４は、カメラ座標系における角膜曲率中心と瞳孔中心の座標を算出し、各座標を世界座標系の座標に座標変換して世界座標系における視線ベクトルを求める。

視認点検出部４は、この視線ベクトルを平面９８１に射影することで、平面９８１上の視認点４１の座標を求めている。なお、視線検出の方法は、上記の例に限定されず、目の位置や顔の回転角度などから視認点４１を算出する方法などが適用可能である。

視認点検出部４は、視認点４１の座標に関する視認点情報Ｓ_３を生成して制御部５に出力する。視認点検出部４は、一例として、周期的に視認点情報Ｓ_３を出力する。制御部５は、一例として、取得した視認点情報Ｓ_３を時系列的に保持するように構成されている。

（制御部５の構成）
図３（ａ）〜図３（ｃ）は、実施の形態に係る操作装置になされたフリック操作の方向と表示画像の移動方向がほぼ同じ場合の一例を説明するための概略図である。図４（ａ）〜図４（ｃ）は、実施の形態に係る操作装置になされたフリック操作の方向と表示画像の移動方向が異なる場合の一例を説明するための概略図である。図３（ａ）及び図４（ａ）は、フリック操作時の表示画面９８０を示している。図３（ｂ）及び図４（ｂ）は、表示画像９８２が移動した後の表示画面９８０を示している。図３（ｃ）及び図４（ｃ）は、フリック操作がなされた操作面２０を示している。なお以下では、一例として、操作装置１がナビゲーション装置９７と接続されているものとし、表示画像９８２として地図画像が表示されているものとする。

制御部５は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部５が動作するためのプログラムなどが格納されている。また、ＲＡＭは、例えば、一時的に演算結果などを格納する記憶領域として用いられ、また履歴情報５０を格納している。

制御部５は、例えば、タッチパッド２から取得した複数の検出情報Ｓ_１に基づいてフリック操作を判定するように構成されている。また制御部５は、例えば、視認点情報Ｓ_３を履歴情報５０として時系列的に保持するように構成されている。

制御部５は、履歴情報５０に基づいてフリック操作を開始した時の視認点４１、又はフリック操作を行う直前の視認点４１を利用する。本実施の形態の制御部５は、例えば、フリック操作を開始した時、つまりフリック操作を判定した時に履歴情報５０に格納されている視認点４１のうちで最新の視認点４１を利用する。

図３（ａ）〜図３（ｃ）に示すように、視認点４１が表示画面９８０の左側に検出され、操作者が操作指８によって左から右へフリック操作を行った場合、制御部５は、視認点４１に対応する表示画像９８２の点９８４が中心９８３に一致するように表示画像９８２を移動、つまりスクロールさせる操作情報Ｓ_４を生成して出力する。

図４（ａ）〜図４（ｃ）に示すように、視認点４１が表示画面９８０の左側に検出され、操作者が操作指８によって右から左へフリック操作を行った場合、制御部５は、視認点４１に対応する表示画像９８２の点９８４が中心９８３に一致するように表示画像９８２をスクロールさせる操作情報Ｓ_４を生成して出力する。

制御部５は、フリック操作が上から下方向、下から上方向、及び斜め方向に行われたとしても上述のように視認点４１に対応する点９８４が中心９８３に一致するように表示画像９８２をスクロールさせる。

操作者は、フリック操作を行う前、表示画像９８２の見たい箇所を視認する可能性が高い。言い換えるなら操作者は、見たい箇所を視認した後、見たい箇所が表示画面９８０の中心９８３に移動するようにフリック操作を行う可能性が高い。従って制御部５は、視認点４１に対応する点９８４が中心９８３に一致するように表示画像９８２をスクロールさせる操作情報Ｓ_４を生成する。

なお変形例として制御部５は、例えば、図３（ａ）及び図３（ｂ）に示すように、点９８４が、表示画面９８０を左右に分割する境界線９８５に到達するように表示画像９８２をスクロールさせるように構成されても良い。この場合、制御部５は、フリック操作が行われると、図３（ａ）に点線で示すように、点９８４が右方向に平行移動するように、言い換えるなら最短で境界線９８５に到達するように表示画像９８２がスクロールする操作情報Ｓ_４を出力する。

また他の変形例として制御部５は、フリック操作の軌跡の長さに応じて、スクロール量を調整する操作情報Ｓ_４を出力しても良い。この場合、表示画像９８２は、点９８４が中心９８３に向かうように移動する。しかし表示画像９８２の移動量が軌跡の長さに依存するので、軌跡が短い場合、点９８４が中心９８３に到達しない。

制御部５は、例えば、図１（ｂ）に示すように、車両ＬＡＮ（Local Area Network）９５に電気的に接続されている。この車両ＬＡＮ９５には、例えば、車両ＥＣＵ(Electronic Control Unit)９６、ナビゲーション装置９７及び表示装置９８が電気的に接続されている。

車両ＬＡＮ９５は、例えば、操作装置１、ナビゲーション装置９７などを相互に接続して情報などの交換を実行させるネットワークである。車両ＥＣＵ９６は、例えば、車両９に搭載された電子機器を制御するマイクロコンピュータである。ナビゲーション装置９７は、車両９に搭載された電子機器の一例である。表示装置９８は、ナビゲーション装置９７の表示部として機能する。

制御部５が出力した操作情報Ｓ_４は、車両ＬＡＮ９５を介してナビゲーション装置９７に入力する。ナビゲーション装置９７は、表示装置９８に表示されている表示画像９８２を、操作情報Ｓ_４に応じて移動させる。

以下に、操作装置１の動作の一例について図５のフローチャートに従って説明する。

（動作）
操作装置１の制御部５は、車両９の電源が投入されると、タッチパッド２から検出情報Ｓ_１を取得すると共に、視認点検出部４から視認点情報Ｓ_３を取得する（Ｓｔｅｐ１）。制御部５は、取得した視認点情報Ｓ_３に基づいて履歴情報５０を更新する（Ｓｔｅｐ２）。

制御部５は、検出情報Ｓ_１に基づいてフリック操作がなされたか判定する。制御部５は、フリック操作がなされたと判定すると（Ｓｔｅｐ３：Ｙｅｓ）、履歴情報５０に基づく視認点４１に対応する点９８４を表示画面９８０の中心９８３に移動させる操作情報Ｓ_４を生成して出力する（Ｓｔｅｐ４）。車両ＬＡＮ９５を介して操作情報Ｓ_４を取得したナビゲーション装置９７は、表示装置９８を制御して表示画像９８２を移動させる。

ここでステップ３において制御部５は、フリック操作が検出されていない場合（Ｓｔｅｐ３：Ｎｏ）、ステップ１に処理を進める。

（実施の形態の効果）
本実施の形態に係る操作装置１は、操作性を向上させることができる。具体的には、操作装置１は、フリック操作の方向に関わらず、操作者が見ていた視認点４１に対応する表示画像９８２上の点９８４が表示画面９８０の中心９８３に到達するように表示画像９８２をスクロールさせるので、この構成を採用しないものと比べて、操作者がフリック操作の方向を迷うことがなく、操作性を向上させることができる。

操作装置１は、操作者がフリック操作の方向を迷うことがないので、誤操作を抑制することができる。また操作装置１は、視認点４１に対応する点９８４が中心９８３に移動するように表示画像９８２がスクロールされるので、操作者の意図した方向と反対方向に表示画像９８２が移動する現象を抑制することができる。

操作装置１は、検出した視認点４１を時系列的に履歴情報５０として有しているので、この構成を採用しない場合と比べて、フリック操作時の視認点４１の確度が高くなり、正確性が高いスクロールを行うことができる。

上述の実施の形態及び変形例に係る操作装置１は、例えば、用途に応じて、その一部が、コンピュータが実行するプログラム、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field Programmable Gate Array）などによって実現されても良い。

以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…操作装置、２…タッチパッド、３…カメラ、４…視認点検出部、５…制御部、６…眼球、８…操作指、９…車両、２０…操作面、３０…画像、４１…視認点、５０…履歴情報、６０…瞳孔、６２…プルキニエ像、６６…視線、９０…フロアコンソール、９２…センターコンソール、９３…コラムカバー、９４…ステアリング、９５…車両ＬＡＮ、９６…車両ＥＣＵ、９７…ナビゲーション装置、９８…表示装置、９８０…表示画面、９８１…平面、９８２…表示画像、９８３…中心、９８４…点、９８５…境界線

Claims (3)

1. 操作面になされたフリック操作を検出する操作検出部と、
   操作者の目を含む領域を撮像する撮像部と、
   前記撮像部が撮像した画像に基づいて前記操作者が見ている表示画面上の視認点を検出する視認点検出部と、
   前記操作面になされた前記フリック操作の方向に関わらず、前記視認点に対応する表示画像上の点を前記表示画面の中心に移動させる制御部と、
   を備えた操作装置。
2. 前記制御部は、前記視認点を履歴情報として時系列的に保持する、
   請求項１に記載の操作装置。
3. 前記制御部は、前記履歴情報に基づいて前記フリック操作を開始した時の前記視認点、又は前記フリック操作を行う直前の前記視認点を利用する、
   請求項２に記載の操作装置。

Images