JP2015114682A - タッチパネル装置 - Google Patents

Abstract

【課題】入力者が不特定多数である場合においても、ずれ補正が可能となるタッチパネル装置を提供する。【解決手段】演算部は、撮像器１５による撮像画像に基づいて、操作面１７周辺の複数人の中から、操作面１７上の位置座標を選択する入力者を特定するとともに、特定された入力者の視線に基づいて、位置座標と演算処理との対応関係を修正する。【選択図】図４

Description

本発明は、タッチパネル装置に関する。

従来から、表示器（ディスプレイ）と入力器が一体化された、タッチパネルが知られている。例えば、操作用のアイコン画面等が表示される表示器に積層されるか、離間するようにして、透過型の入力器が配置される。入力器は、例えば、操作者の指が触れた位置座標を検知する透明電極を備えている。タッチパネルの記憶部では、表示器が表示するアイコン画像が示す処理と、所定の視線でアイコン画像を視認したときの、当該アイコン画像が透過する入力器上の位置座標とが予め対応付けられている。操作者がアイコン画像に対応する入力器上の所定位置を触れることで、そのアイコン画像に応じた処理が実行される。

画像を表示する表示器と、画像が透過される入力器の操作面（操作者が触れる面）とは、離間されて設けられている。表示器と入力器が間隔を空けて配置されている場合は、この間隔分離間される。表示器に入力器が積層されている場合は、入力器の厚み分、表示器と操作面とが離間される。この離間により、表示器を見る角度に応じて、操作者が表示器に表示された所定のアイコン画像に向ける視線と、入力器（操作面）上の交点、つまり、操作者に触れられる操作面上の位置座標が変化する。この結果、表示器（及びこれに表示されるアイコン画像）を見る角度に応じて、操作面上の画像と位置座標との対応関係が、予め記憶されていた対応関係に対してずれる。その結果、操作者が操作面に触れたときに、操作者が視認したアイコン画像が示す処理とは異なる処理が実行されるおそれがある。

そこで、特許文献１では、小売店のレジスター等に用いられるＰＯＳ端末への入力に関して、予め入力者の身長情報を取得するとともに、この身長情報から、操作面に垂直に投影させたときの画面と、入力者から見える操作面上の画面とのずれ量を求めて、入力者が触れた操作面上の位置座標に当該ずれ量を反映させている。また、特許文献２では、操作面への押圧ベクトルに基づいてずれ量を求めて、位置補正を行っている。

特開２００７−２０７００８号公報 特開２０１２−８４０４９号公報

ところで、タッチパネルへの入力者が予め特定できている場合には、当該入力者の情報を予め反映させてずれ量を求めることが可能であるが、例えば車載タッチパネルなど、運転者や同乗者など入力者が不特定多数である場合に、上記のようなずれ補正は困難となる。そこで、本発明は、入力者が不特定多数である場合においても、ずれ補正が可能となるタッチパネル装置を提供することを目的とする。

本発明は、タッチパネル装置に関する。当該タッチパネル装置は、画像を表示させる表示器と、前記表示器による画像を透過させるとともに、その面内から選択された位置座標を検知可能な操作面を備える入力器と、前記選択された位置座標に応じた演算処理が記憶された記憶部と、前記操作面周辺を撮像する撮像器と、前記撮像器による撮像画像に基づいて、前記操作面周辺の複数人の中から、前記位置座標を選択する入力者を特定するとともに、前記特定された入力者の視線に基づいて、前記位置座標と演算処理との対応関係を修正する演算部と、を備える。

また、上記発明において、前記演算部は、前記撮像画像に基づいて、前記操作面に最近接する入力手段の保持者を前記入力者として特定するとともに、前記入力手段の位置に基づいて、前記入力者による前記位置座標の選択前に、選択される前記位置座標を予測するとともに、前記入力者の視線に基づいて、予測された前記位置座標と演算処理との対応関係を修正することが好適である。

また、上記発明において、前記タッチパネル装置は、車両の前席正面に設けられ、前記記憶部には、運転席または助手席から前記操作面への視線角度が記憶され、前記演算部は、前記撮像器による撮像結果に基づいて、前記記憶された視線角度を用いて、前記位置座標と演算処理との対応関係を修正することが好適である。

本発明によれば、入力者が不特定多数である場合においても、タッチパネルへの入力時のずれ補正が可能となる

本実施形態に係るタッチパネル装置を例示する図である。 タッチパネル本体について説明する図である。 撮像器の撮像範囲について説明する図である。 操作面上の位置座標の修正について説明する図である。 操作面上の位置座標の修正について説明する図である。 演算部の制御フローを例示する図である。 ずれ角度βの求め方を説明する図である。

図１に、本実施形態に係るタッチパネル装置１０を例示する。なお、図１では、自動車の車室内における、前席正面部分が例示されている。タッチパネル装置１０は、タッチパネル本体１２、撮像器１５、及び制御ユニット１６を備える。

タッチパネル本体１２は、画像の表示及び操作面上の位置検出を行う。例えば、タッチパネル本体１２は、車両の前席正面に設けられていてよく、この前席正面のうち、運転席と助手席の間の、センターコンソール１８に設けられていてよい。

図２に、タッチパネル本体１２の平面図を例示する。タッチパネル本体１２は、表示器１４及び入力器１３を備える。

表示器１４は、所定の画像を表示させる表示手段である。表示器１４は、例えば、オーディオシステムの操作ボタンを示すアイコン画像２５や、地図情報を表示する。表示器１４は、例えば、ＬＥＤが平面上に配列されたＬＥＤディスプレイであってよい。表示器１４は、観察者２３から見て入力器１３よりも後方に配置されていてよい。このような配置関係を採ることで、表示器１４に表示された画像は、入力器１３の操作面１７を透過して観察者２３に視認される。

入力器１３は、操作面１７を備え、当該操作面１７上にて選択された位置座標を検知可能な検知手段である。入力器１３は、表示器１４に表示された画像を透過可能な部材から構成されており、例えば操作面１７となるガラスに積層された透明電極層を備えた、位置検知センサであってよい。位置検知センサは、抵抗膜式、表面弾性波式、静電容量式、光学式、及び電磁誘導式のいずれであってもよい。

入力器１３は、車室内の各部材と調和する意匠となるように形成されていてよい。例えば、センターコンソール１８の各部材が曲面形状である場合には、入力器１３は、曲面形状であってよい。

また、入力器１３は、入力者の指１９やスタイラス２１等の入力手段が操作面１７を触れた位置座標を検出可能であってよい。また、操作面１７に触れなくても、所定距離まで入力手段が操作面１７に近接したときに、この近接位置に対応する位置座標を検出可能であってよい。

表示器１４と入力器１３とは離間して配置される。例えば表示器１４が平板形状であって、入力器１３が曲面形状である場合に、表示器１４と入力器１３とは離間する箇所が生じる。この離間距離により、表示器１４上の所定のアイコン画像２５を見る角度によって、当該アイコン画像２５に向ける視線と、操作面１７との交点、つまり、操作者によって触れられる操作面１７上の位置座標がずれる。

図１に戻り、撮像器１５は、タッチパネル本体１２の周辺を撮像する。撮像器１５は、ＣＣＤカメラやＣＭＯＳカメラ等のデジタルカメラであってよい。撮像器１５は、タッチパネル本体１２及び入力者が撮像可能な位置に配置されている。例えば、撮像器１５は、車両の前席正面の、オーバーヘッドコンソール２０に設けられていてよい。すなわち、タッチパネル本体１２の鉛直方向上方に、撮像器１５を設けてよい。

図３には、上記のような配置を採った場合の、撮像器１５の撮像範囲が例示されている。図３上段には、車両の側面図が例示されている。撮像器１５の撮像範囲は、一点鎖線にて示されている。この撮像範囲に示されているように、オーバーヘッドコンソール２０に搭載されることで、撮像器１５は、タッチパネル本体１２を含んで、それよりも車室後方の運転席２４や助手席２２まで撮像することが可能となる。

撮像器１５の撮像範囲は、図３中段のハッチング領域のような、タッチパネル本体１２周辺の領域（以下、タッチパネル領域と呼ぶ）と、図３下段のハッチング領域のような、運転席２４や助手席２２を含む領域（以下、乗員領域と呼ぶ）とに分けることができる。後述するように、タッチパネル領域の撮像画像から、タッチパネル本体１２への入力者が特定可能となる。また、乗員領域の撮像画像から、入力者の視線が特定可能となる。

図１に戻り、制御ユニット１６は、入力者によるタッチパネル本体１２への入力に応じて、演算処理を行う。制御ユニット１６は、演算部２６及び記憶部２８を備える。

記憶部２８は、タッチパネル本体１２の操作面１７上にて選択された位置座標に応じた演算処理を記憶する。なお、表示器１４が複数種類の画像を切り替え表示可能である場合、その表示内容別に、操作面１７の位置座標と演算処理との対応関係が記憶部２８に記憶されていてよい。記憶部２８は、例えば、制御ユニット１６に設けられたＲＯＭやＲＡＭ、ＥＰＲＯＭ、ハードディスク装置、フラッシュメモリ等の記憶回路であってよい。

操作面１７上の位置座標と、演算処理との対応関係は、例えば以下のようにして定められる。すなわち、表示器１４から垂直に（表示器１４の表示面３１から垂直に）操作面１７に画像を透過させたときの、操作面１７上のアイコン画像の位置座標と、当該アイコン画像が示す演算処理とを対応付けて、これを記憶部２８に記憶させる。

演算部２６は、タッチパネル本体１２、撮像器１５、及び記憶部２８からの信号に基づく演算を行うとともに、演算結果をこれらの機器に送る。演算部２６は、例えば制御ユニット１６の基板上に実装された、集積回路であってよい。

演算部２６は、まず、撮像器１５による撮像画像に基づいて、操作面１７周辺の複数人の中から、位置座標を選択する入力者を特定する。さらに、特定された入力者の視線に基づいて、記憶部２８に記憶された、位置座標と演算処理との対応関係を修正する。

図４には、入力者の特定プロセスの模式図が示されている。演算部２６は、撮像器１５によって撮像された、タッチパネル領域の撮像画像を解析して、操作面１７に最近接する入力手段（指１９やスタイラス２１）を特定する。例えば操作面１７からの離間距離を入力手段ごとに求めて比較することで、操作面１７に最近接する入力手段を特定する。さらに演算部２６は、撮像器１５によって撮像された、乗員領域の撮像画像を解析して、特定された入力手段の保持者３０、すなわち入力者を特定する。

次に、図５に示すように、演算部２６は、特定された入力者の視線を求める。例えば入力者３０の顔の画像処理を行って、両目を結ぶ中点を求めるとともに、この中点と、表示面３１の中心を結ぶ線を、入力者３０の視線とする。

演算部２６は、特定された入力者の視線に基づいて、記憶部２８に記憶された、操作面１７の位置座標と演算処理との対応関係を修正する。修正は例えば以下のように行われる。演算部２６は、入力者の視線と、表示器１４の表示面３１に対する垂線との成す角度（ずれ角度）αを求める。さらに操作面１７の形状から、操作面１７と垂線の交点Ｐ１と、操作面１７と視線の交点Ｐ２との距離（ずれ量）Ｌを求める。例えば操作面１７が楕円形状である場合に、楕円の周長を求める公式を用いて距離Ｌを求める。さらに演算部２６は、入力者３０によって選択された位置座標に距離Ｌを加えた（座標系によっては減算した）座標に対応する演算処理を記憶部２８から参照して、当該演算処理を実行する。

なお、位置座標と演算処理の対応関係の修正を、入力手段が操作面１７に触れた際に実行するなど、位置座標の選択がなされたことをトリガーにして実行すると、修正の演算処理に掛かる時間分、操作面１７への接触と演算処理の実行との間にタイムラグが生じる。このことから、操作面１７の位置座標の選択が行われる前に、選択される座標を予測して、この予測に基づいて、修正処理を先行させてもよい。

上述したように、演算部２６は、タッチパネル領域や乗員領域の撮像画像に基づいて、操作面１７に最近接する入力手段と、その保持者（＝入力者）を特定する。さらに演算部２６は、入力手段の位置に基づいて、入力者が選択するであろう位置座標を予測、推定する。例えば、演算部２６は、入力手段に最近接する操作面１７の位置座標を推定する。具体的には、入力手段の長手方向軸と操作面１７の交点を求めて、この交点の位置座標を取得する。

さらに演算部２６は、入力者の視線と、ずれ角度（補正角度）αを求め、操作面１７上のずれ量Ｌを求める。さらに演算部２６は、ずれ量Ｌに基づいて、推定（予測）された位置座標と演算処理の対応関係を修正する。

図６には、上述した演算部２６の制御フローが例示されている。まず、演算部２６は、撮像器１５が撮像した、乗員領域の撮像画像から、乗員の有無を判定する（Ｓ１０）。さらに乗員を認識すると、タッチパネル領域の撮像画像を解析する（Ｓ１２）。この解析において操作面１７の周辺に入力手段があることを判定した場合（Ｓ１４）、乗員領域の撮像画像を用いて、入力手段の保持者（＝入力者）を特定する（Ｓ１６）。操作面１７の周辺に入力手段がない場合、タッチパネル領域の監視を継続する。

入力手段の保持者（＝入力者）を特定した後、演算部２６は、入力者の顔位置からずれ角度αを求める（Ｓ１８）。次に、演算部２６は、入力手段の位置や長手方向の向きなどから、選択される操作面１７上の位置座標を推定するとともに、ずれ量Ｌを求める（Ｓ２０）。操作面１７に入力手段が触れるなど、位置座標の選択が行われると（Ｓ２２）、ずれ量Ｌに基づいて、演算部２６は、位置座標と演算処理の対応関係を修正する（Ｓ２４）。さらに修正後の演算処理が実行される（Ｓ２６）。

なお、上記の実施形態では、撮像器１５による撮像画像が、解析可能である程度に鮮明であることを前提としているが、夜間など、撮像器１５による撮像画像が不鮮明である場合に、解析が困難になることも考えられる。そこで、予め入力者の視線を記憶部２８に記憶させるとともに、演算部２６は、撮像器１５による撮像結果に応じて、位置座標と演算処理との対応関係を、記憶された視線のデータを用いて修正するようにしてもよい。

図７に示すように、表示器１４の表示面３１の中心から助手席（または運転席）シートの背面までの距離ｄと、シート幅ｃの中点ｃ／２を用いて、下記数式（１）のように基準視線角度βを求める。求められたβを記憶部２８に記憶させる。

次に、演算部２６は、撮像器１５による撮像画像を解析する。このとき、撮像画像が不鮮明である場合、例えば、コントラスト（輝度値の最大値と最小値の比）が閾値未満である場合に、演算部２６は、基準視線角度βと、入力者によって選択された操作面１７上の位置座標とをもとにして、位置座標と演算処理との対応関係を修正する。

１０ タッチパネル装置、１２ タッチパネル本体、１３ 入力器、１４ 表示器、１５ 撮像器、１６ 制御ユニット、１７ 操作面、２６ 演算部、２８ 記憶部。

Claims (3)

1. 画像を表示させる表示器と、
   前記表示器による画像を透過させるとともに、その面内から選択された位置座標を検知可能な操作面を備える入力器と、
   前記選択された位置座標に応じた演算処理が記憶された記憶部と、
   前記操作面周辺を撮像する撮像器と、
   前記撮像器による撮像画像に基づいて、前記操作面周辺の複数人の中から、前記位置座標を選択する入力者を特定するとともに、前記特定された入力者の視線に基づいて、前記位置座標と演算処理との対応関係を修正する演算部と、
   を備えることを特徴とする、タッチパネル装置。
2. 請求項１に記載のタッチパネル装置であって、
   前記演算部は、前記撮像画像に基づいて、前記操作面に最近接する入力手段の保持者を前記入力者として特定するとともに、前記入力手段の位置に基づいて、前記入力者による前記位置座標の選択前に、選択される前記位置座標を予測するとともに、前記入力者の視線に基づいて、予測された前記位置座標と演算処理との対応関係を修正することを特徴とする、タッチパネル装置。
3. 請求項１または２に記載のタッチパネル装置であって、
   前記タッチパネル装置は、車両の前席正面に設けられ、
   前記記憶部には、運転席または助手席から前記操作面への視線角度が記憶され、
   前記演算部は、前記撮像器による撮像結果に基づいて、前記記憶された視線角度を用いて、前記位置座標と演算処理との対応関係を修正することを特徴とする、タッチパネル装置。

Images