JP2014049023A - 入力装置 - Google Patents

Abstract

【課題】ユーザの視点に応じて適切なタッチ入力を行うことができる入力装置を提供する。
【解決手段】入力装置１は、ユーザを撮影するカメラ２と、カメラ２により撮影された画像データからユーザの顔を検出する顔検出部３と、タッチ入力するためのタッチパネル４と、タッチパネル４を一体的に設けた液晶ディスプレイなどの表示部５と、タッチパネル４上でタッチされた座標位置を検出する座標位置検出部６と、タッチパネル４に対する顔検出部３で検出されたユーザの顔の位置を判定し、判定結果に基づいて、座標位置検出部６で検出された座標位置を補正する座標位置補正部７とを備える。
【選択図】図１

Description

本発明は、入力装置に関し、より詳細には、タッチパネルを介して情報を入力するための入力装置に関する。

現在の携帯端末装置は、高機能・多機能になってきており、特にスマートフォン・タブレット端末（以下、スマートフォンという）と呼ばれるものはタッチパネルを利用するものが主流を占めている。タッチパネル型の場合、端末起動時にアイコンが画面上に並べられており、そのアイコンをタッチすることで所望の処理を行えるようなＵＩ（ユーザインタフェース）が採用されていることが多い。

上記のタッチパネル上に指先やスタイラスペンなどを接触させた場合、掌の大きさや視野角度に個人差があるため、指先やスタイラスペンなどがタッチパネルに表示されたアイコンの適切な位置に接触していない場合がある。このような場合に、うまくアイコンを選択できない虞がある。

これに対して、例えば、特許文献１には、タッチパネルに対する物体（指先など）の接触位置を適切にし得る技術が記載されている。これによれば、入力位置を認識させるための画像を表示する表示装置と、表示装置の表示面に沿って設けられた接触検出面に接触する物体の位置を検出する接触位置検出部と、接触位置検出部によって検出された位置と入力位置を認識させるための画像の中心位置との差を表すデータを記録する記録部と、記録部に記録されるデータに基づいて、表示装置に表示する入力位置を認識させるための画像の修正量を求める演算部とを備える。

特開２００６−１２７４８８号公報

ここで、スマートフォンのような携帯端末装置では、文字入力の際にタッチパネルの画面上にキーエリアが表示され、比較的正確なタッチ操作が要求される。しかしながら、ユーザ（操作者）は通常スマートフォンを手に持ちながら操作を行うため、操作パネル（タッチパネル）に対して操作するときの視点は色々な状態に変化する。例えば、タッチパネルに対して真正面の視点から操作している場合は、ユーザは目標とするタッチ位置に向けて、正確なタッチ操作を容易に行えると考えられる。しかし、タッチパネルに対して左側などの視点から操作している場合では、目標とするタッチ位置に向けて指の先部分をタッチしようとしても、指の腹部分が触れてしまい、目標とするタッチ位置とは異なる位置への操作となる場合がよくある。ここで、操作するときの視点が一定となるのであれば、指の形状を考慮して所定量を補正する事も考えられるが、スマートフォンの場合には、操作するときの視点が色々と変化するため、たとえ同じタッチ位置であったとしても、その時の視点により目標としていたタッチ位置が異なると考えられる。つまり、スマートフォンのような携帯端末装置における正確なタッチ操作は、操作するときの視点によって困難な場合があるという問題がある。

これに対して、特許文献１に記載の技術は、タッチパネル上で検出されたタッチ位置と、キー画像の中心位置との差を表すデータに基づいて、キー画像の修正量を求めるもので、上記のようにユーザの視点が変化する事に着目したものではない。従って、特許文献１に記載の技術では、上記のような問題を解決することはできない。

本発明は、上述のような実情に鑑みてなされたもので、ユーザの視点に応じて適切なタッチ入力を行うことができる入力装置を提供することを目的とする。

上記課題を解決するために、本発明の第１の技術手段は、タッチパネルを一体的に設けた表示部を備え、前記タッチパネルを介して前記表示部に表示されている情報を入力する入力装置であって、ユーザを撮影する撮影部と、該撮影部により撮影された画像データからユーザの顔を検出する顔検出部と、前記タッチパネル上でタッチされた座標位置を検出する座標位置検出部と、前記タッチパネルに対する前記顔検出部で検出されたユーザの顔の位置を判定し、判定結果に基づいて、前記座標位置検出部で検出された座標位置を補正する座標位置補正部とを備えたことを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記撮影部は、所定の操作入力モードの起動に応じて起動され、自動的にユーザを撮影することを特徴としたものである。

第３の技術手段は、第１または第２の技術手段において、前記座標位置補正部は、前記顔検出部で検出されたユーザの顔が、前記タッチパネルに対して、上側、下側、右側、左側、正面のいずれの位置にあるかを判定することを特徴としたものである。

第４の技術手段は、第３の技術手段において、前記座標位置補正部は、前記顔検出部で検出された前記画像データ上のユーザの顔の位置を表す座標位置と、前記座標位置検出部で検出された前記タッチパネル上でタッチされた座標位置と、前記タッチパネルのサイズと、前記タッチパネルからユーザの顔までの距離とに基づいて、前記タッチパネル上でタッチされた座標位置を補正することを特徴としたものである。

第５の技術手段は、第４の技術手段において、前記タッチパネルからユーザの顔までの距離は、前記顔検出部で検出されたユーザの顔のサイズに応じて算出され、前記タッチパネルのサイズは、前記距離に応じて画素数に換算されたものであることを特徴としたものである。

本発明によれば、ユーザの顔の位置を視点の位置とみなし、タッチパネル上でのタッチ位置と、ユーザの顔の位置とに基づいて、タッチ位置を補正することができるため、ユーザの視点に応じて適切なタッチ入力を行うことができる。

本発明による入力装置の構成例を示すブロック図である。 本発明による入力装置を備えたスマートフォンの一例を示す図である。 本発明のスマートフォンによるタッチ座標位置補正処理の一例を説明するためのフロー図である。 顔検出部で検出された画像データ上のユーザの顔の位置を表す座標位置を求める方法の一例を説明するための図である。 タッチパネルとユーザの顔との距離を求める方法の一例について説明するための図である。 タッチパネル上でタッチされた座標位置を検出する方法の一例を説明するための図である。 座標位置補正部によるタッチ座標位置補正処理の概要を説明するための図である。 位置ずれモデルの一例を示す図である。 図８に示す位置ずれモデルによるタッチ座標位置補正処理の一例を説明するための図である。 カメラによる撮影画像の実サイズを求める方法の一例を説明するための図である。 タッチパネルのサイズを撮影画像と同じｘｙ座標軸上のパネルサイズに換算する方法の一例を説明するための図である。 タッチパネルと撮像画像とをｘｙ座標軸上に展開したときの関係の一例を説明するための図である。 本発明によるタッチ座標位置補正処理の一例を説明するための図である。

以下、添付図面を参照しながら、本発明の入力装置に係る好適な実施の形態について説明する。

図１は、本発明による入力装置の構成例を示すブロック図で、図中、１は入力装置を示す。入力装置１は、ユーザ（操作者）を撮影する撮影部に相当するカメラ２と、カメラ２により撮影された画像データからユーザの顔を検出する顔検出部３と、タッチ入力するためのタッチパネル４と、タッチパネル４を一体的に設けた液晶ディスプレイなどの表示部５と、タッチパネル４上でタッチされた座標位置を検出する座標位置検出部６と、タッチパネル４に対する顔検出部３で検出されたユーザの顔の位置を判定し、判定結果に基づいて、座標位置検出部６で検出された座標位置を補正する座標位置補正部７とを備える。

本発明の主たる目的は、ユーザの顔の位置を視点の位置とみなして、ユーザの視点に応じて適切なタッチ入力を行えるようにすることである。このための構成として、図１に示す各部を備える。以下では、座標位置補正部７による補正処理を、タッチ座標位置補正処理といい、このタッチ座標位置補正処理の具体例について後述の図４〜図１３で説明するものとする。

入力装置１は、タッチパネル４を介して表示部５に表示されている情報（文字列など）を入力する。タッチパネル４としては、特に方式を限定するものではないが、例えば、抵抗膜方式、静電容量方式などを採用することができ、指やスタイラスペンなどでタッチされると電気信号とタッチ位置の座標値（ｐ，ｑ）を出力するように構成される。この入力装置１は、スマートフォンなどの携帯端末装置に適用することができる。以下の説明では、入力装置１をスマートフォンに適用した場合を例示して説明するが、スマートフォンに限定されるものではなく、従来の携帯電話機などに適用してもよいことは言うまでもない。

図２は、本発明による入力装置１を備えたスマートフォンの一例を示す図で、図中、１０はスマートフォンを示す。スマートフォン１０は、図１の入力装置１を入力デバイスとして内蔵する。スマートフォン１０は、タッチパネル４を一体的に設けた表示部５を有し、表示部５を囲むように設けられた筐体の上部中央付近には、カメラ２が配置されている。スマートフォン１０は、このカメラ２で撮影した画像データからユーザの顔を検出し、ユーザの顔の位置を視点の位置とみなしてタッチ座標位置補正処理を行う。

図２において、スマートフォン１０は、スマートフォン１０への所定の操作により文字入力モードのオン（有効）を検知すると、表示部５に、文字列を入力するための文字入力画面を表示させる。この文字入力画面では、例えば、ユーザが指先ｕを「あ」にタッチすれば「あ」行の文字を入力することができる。他の文字「か」〜「わ」についても同様であり、それぞれの文字にタッチすることで各行に含まれる文字を入力することができる。

また、視点（１）はスマートフォン１０の正面にユーザの顔がある場合の視点の位置である。視点（２）はスマートフォン１０の左側にユーザの顔がある場合の視点の位置である。視点（３）はスマートフォン１０の右側にユーザの顔がある場合の視点の位置である。視点（４）はスマートフォン１０の上側にユーザの顔がある場合の視点の位置である。視点（５）はスマートフォン１０の下側にユーザの顔がある場合の視点の位置である。つまり、座標位置補正部７は、顔検出部３で検出されたユーザの顔が、タッチパネル４から見てどの位置にあるかを判定する。なお、文字入力等の操作入力において、タッチパネル４に対して逆方向あるいは横方向などからの操作入力はないと考えられるため、タッチパネル４に対して対向する向きでの顔の位置を判定することを前提としている。

ここで、ユーザが指先ｕを「な」にタッチした場合を想定する。このとき、ユーザの視点の位置が視点（１）、つまり、スマートフォン１０の正面（タッチパネル４から見て正面）からの操作であった場合、「な」がそのまま視点（１）の補正点となり、「な」行の入力が可能となる。また、ユーザの視点の位置が視点（２）、つまり、スマートフォン１０の左側（タッチパネル４から見て右側）からの操作であった場合、タッチ座標位置補正処理により、「は」が視点（２）の補正点となる。以下同様に、ユーザの視点の位置が視点（３）、つまり、スマートフォン１０の右側（タッチパネル４から見て左側）からの操作であった場合、タッチ座標位置補正処理により、「た」が視点（３）の補正点となる。ユーザの視点の位置が視点（４）、つまり、スマートフォン１０の上側（タッチパネル４から見て上側）からの操作であった場合、タッチ座標位置補正処理により、「や」が視点（４）の補正点となる。ユーザの視点の位置が視点（５）、つまり、スマートフォン１０の下側（タッチパネル４から見て下側）からの操作であった場合、タッチ座標位置補正処理により、「か」が視点（５）の補正点となる。

図３は、本発明のスマートフォン１０によるタッチ座標位置補正処理の一例を説明するためのフロー図である。まず、スマートフォン１０（図２参照）は、ユーザによる所定の操作に従って文字入力モードのオン（有効）を検知すると（ステップＳ１）、これに伴い自動的にカメラ２を起動させる（ステップＳ２）。なお、タッチ座標位置補正処理のトリガとなる入力操作は、文字入力に限らず、比較的正確な操作が求められる入力操作全般が対象となる。

次に、スマートフォン１０は、文字入力モードに移行し、表示部５に文字入力画面（図２）を表示させ、これに対して文字入力操作があったか否かを判定する（ステップＳ３）。文字入力操作があったと判定した場合（ＹＥＳの場合）、座標位置検出部６がタッチパネル４上でタッチされた座標位置を検出すると共に、カメラ２で自動的に撮影したユーザの顔を含む画像データを図示しないメモリに記憶する（ステップＳ４）。また、ステップＳ３において、文字入力操作がないと判定した場合（ＮＯの場合）、ステップＳ３での処理を繰り返す。

次に、スマートフォン１０は、顔検出部３が、ステップＳ４で記憶した画像データからユーザの顔を検出する（ステップＳ５）。この顔検出処理自体は、一般に広く利用されている、例えば“Ｖｉｏｌａ＆Ｊｏｈｎｓ法”をはじめ公知の技術であり、いずれの方法を用いてもよい。ここでは、一例として、顔の大きさに合わせたウィンドウを画像内で走査して検出する方法について簡単に説明する。この方法では、走査しているウィンドウ内に顔が含まれているか否かが識別器により判定される。ウィンドウサイズを変えて走査することで、異なる大きさの顔検出が可能となる。この識別器は、注目ウィンドウ内に顔が含まれているか否かを判定するための判定ルールを、事前に収集しておいた多数の人物の顔画像と顔以外の画像からなるサンプル画像から学習する（例えば、参考文献として、「三田雄志，「高速・高精度を両立する顔検出技術」，東芝レビューVol.61,No.7,2006」を参照）。

次に、スマートフォン１０は、顔検出部３により顔が１つ検出されたか否かを判定し（ステップＳ６）、顔が１つ検出されたと判定した場合（ＹＥＳの場合）、座標位置補正部７が顔検出結果に基づいて座標位置検出部６で検出された座標位置を補正して出力する（ステップＳ７）。また、ステップＳ６において、顔が１つ検出されないと判定した場合（ＮＯの場合）、座標位置補正部７が座標位置検出部６で検出された座標位置をそのまま出力する（ステップＳ８）。

次に、スマートフォン１０は、ユーザによる所定の操作に従って文字入力モードがオフされたか否かを判定し（ステップＳ９）、文字入力モードがオフされたと判定した場合（ＹＥＳの場合）、カメラ２を停止させて（ステップＳ１０）、一連の処理を終了する。また、ステップＳ９において、文字入力モードがオフされていないと判定した場合（ＮＯの場合）、ステップＳ３に戻り処理を繰り返す。

以下、本発明によるタッチ座標位置補正処理の具体例について説明する。座標位置補正部７は、顔検出部３で検出された画像データ上のユーザの顔の位置を表す座標位置と、座標位置検出部６で検出されたタッチパネル４上でタッチされた座標位置と、タッチパネル４のサイズと、タッチパネル４からユーザの顔までの距離とに基づいて、タッチパネル４上でタッチされた座標位置を補正する。なお、タッチパネル４からユーザの顔までの距離は、例えば、顔検出部３で検出されたユーザの顔のサイズに応じて算出され、タッチパネル４のサイズは、例えば、上記距離に応じて画素数に換算されたものである。

図４は、顔検出部３で検出された画像データ上のユーザの顔の位置を表す座標位置を求める方法の一例を説明するための図で、図中、２１はカメラ２で撮影した画像データ（撮影画像）、２２は顔検出ウィンドウである。本例では、画像データ２１上の座標位置を（ｘ，ｙ）で表し、カメラ２の画素数をＶＧＡ（６４０×４８０）として説明する。顔検出ウィンドウ２２のサイズを例えば１６０×１６０とし、この顔検出ウィンドウ２２を画像データ２１内で走査する。そして、顔検出ウィンドウ２２内にユーザの顔が含まれるか否かを判定することで顔検出を行なう。なお、顔検出の方法については公知の技術であるため、ここでの説明は省略する。なお、上記の「顔検出ウィンドウ」とは、前述した参考文献「三田雄志，「高速・高精度を両立する顔検出技術」，東芝レビューVol.61,No.7,2006」に記載されている「ウィンドウ」に相当するものである。

図４において、顔検出ウィンドウ２２の中心点ｃをユーザの顔の座標位置、すなわち、視点の位置とみなし、顔検出ウィンドウ２２のサイズをユーザの顔のサイズとみなす。ここでは、顔検出ウィンドウ２２によりユーザの顔ｆが検出されるが、顔検出ウィンドウ２２の中心点ｃの座標（１６０，１２０）がユーザの顔（視点）の座標位置となり、顔検出ウィンドウのサイズ（１６０×１６０）がユーザの顔のサイズとなる。なお、ユーザの顔はスマートフォン１０に最も近いと考えられるため、後述の図５で説明するように、顔検出ウィンドウ２２のサイズを大から小の順番で切り替えて顔検出を行なうことが望ましい。また、同じサイズの顔検出ウィンドウ２２で、複数個の顔が検出された場合には、視点が複数存在することになるため、タッチ座標位置補正処理を無効にする方法などが考えられる。

図５は、タッチパネル４とユーザの顔との距離を求める方法の一例について説明するための図である。例えば、図５（Ａ）に示すように、タッチパネル４（カメラ２）からユーザの顔までの距離を「１０〜２５ｃｍ（近い）」、「２５〜４０ｃｍ（通常）」、「４０〜５５ｃｍ（遠い）」の３つの領域に分ける。そして、３つの各領域毎に、ユーザの顔を検出することを想定して、顔検出ウィンドウ２２を３種類設ける。すなわち、「１０〜２５ｃｍ（近い）」の場合、図５（Ｂ）に示すように、３２０×３２０のサイズとなる顔検出ウィンドウ２２ａを設ける。同様に、「２５〜４０ｃｍ（通常）」の場合、図５（Ｃ）に示すように、２４０×２４０のサイズとなる顔検出ウィンドウ２２ｂを設ける。また、「４０〜５５ｃｍ（遠い）」の場合、図５（Ｄ）に示すように、１６０×１６０のサイズとなる顔検出ウィンドウ２２ｃを設ける。

顔検出を行なう順番は、最もサイズの大きい顔検出ウィンドウ２２ａから実施し、顔検出ウィンドウ２２ｂ、顔検出ウィンドウ２２ｃの順に行い、最初に検出された顔をユーザの顔ｆとみなす。つまり、ユーザの顔ｆを検出したときの顔検出ウィンドウのサイズ（顔ｆのサイズに相当）によって、タッチパネル４とユーザの顔ｆとの距離を推定することができる。例えば、顔検出ウィンドウ２２ａのサイズ（３２０×３２０）で、ユーザの顔ｆを検出できた場合、タッチパネル４からユーザまでの距離は「１０〜２５ｃｍ（近い）」となる。この際、「１０〜２５ｃｍ（近い）」の場合の代表値を例えば１７５ｍｍなどと予め決めておけばよい。

同様に、顔検出ウィンドウ２２ｂのサイズ（２４０×２４０）で、ユーザの顔ｆを検出できた場合、タッチパネル４からユーザまでの距離は「２５〜４０ｃｍ（通常）」となる。この際、「２５〜４０ｃｍ（通常）」の場合の代表値を例えば３２５ｍｍなどと予め決めておく。また、顔検出ウィンドウ２２ｃのサイズ（１６０×１６０）で、ユーザの顔ｆを検出できた場合、タッチパネル４からユーザまでの距離は「４０〜５５ｃｍ（遠い）」となる。この際、「４０〜５５ｃｍ（遠い）」の場合の代表値を例えば４７５ｍｍなどと予め決めておく。

なお、上記において、例えば、子供がスマートフォン１０を操作する場合、大人と比較して顔のサイズが小さくなるため、顔検出ウィンドウのサイズと、タッチパネル４からユーザまでの距離との対応関係を調整することが望ましい。具体的には、例えば、スマートフォン１０が、操作開始時（例えば、ロック解除操作時）などに、ユーザに対してタッチパネル４から２０ｃｍ程度離れた位置に顔をセットするように促すメッセージを表示させる。このメッセージを受けて、ユーザがタッチパネル４から２０ｃｍ程度離れた位置に顔をセットした状態で、ユーザが手動でカメラ２による撮影を行う。これにより、スマートフォン１０は、ユーザの顔の大きさ情報を取得し、この情報に基づいて、タッチパネル４からユーザまでの距離に対する顔検出ウィンドウのサイズを調整することが考えられる。

図６は、タッチパネル４上でタッチされた座標位置を検出する方法の一例を説明するための図である。本例では、タッチパネル４上の座標位置を（ｐ，ｑ）で表わし、タッチパネル４及び表示部５のサイズを４．７インチとし、表示部５の表示解像度を７２０×１２８０、タッチパネル４の読取解像度を７２０×１２８０とする。ユーザの指ｕがタッチパネル４にタッチされたときに、指ｕが触れている範囲ｒの中心点ｃ′をタッチ座標位置とみなす。ここでの中心点ｃ′の座標は、例えば（１００，３５０）と検出される。なお、複数の指の接触を検知した場合には、無効操作にするなどの方法を取ることが考えられる。

図７は、座標位置補正部７によるタッチ座標位置補正処理の概要を説明するための図である。ここで、タッチ座標位置の補正量（ａ，ｂ）は、以下の補正式１で表すことができる。なお、ここでは、カメラ２の画素数は６４０×４８０、タッチパネル４の解像度は７２０×１２８０とするが、これらに限定されるものではない。

（補正式１）
ａ＝（（ｘ−ｐ＊ｗ／７２０）＊ｄ２／（ｄ１−ｄ２））＊７２０／ｗ
ｂ＝（（ｙ−ｑ＊ｈ／１２８０−ｈ／２）＊ｄ２／（ｄ１−ｄ２））＊１２８０／ｈ
但し、ｘ，ｙは画像データ上のユーザの顔（視点）の位置を表す座標位置、ｐ，ｑはタッチパネル上でタッチされた座標位置、ｗ，ｈはタッチパネルのサイズ、ｄ１はタッチパネルからユーザの顔までの距離、ｄ２は所定値を示す。なお、所定値ｄ２は、後述の図８に示すように、タッチ点から延びる垂線とユーザの視線との交点からタッチ点までの距離に基づき予め定められた値であり、例えば、“５”（単位：ｍｍ）に設定される。

図７（Ａ）において、ユーザはスマートフォン１０を右側（すなわち、タッチパネル４から見て左側となる視点（３）の位置）から見ている状態で、タッチパネル４に対して文字入力を行う場合を想定する。ユーザの指ｕでタッチした点ｃ′の座標位置(ｐ，ｑ)は、(−８０，−８０)であり、「な」の領域に含まれる。そして、このときカメラ２により撮影された画像データ２１に対して顔検出処理が施され、図７（Ｂ）に示すように、画像データ２１の左側にユーザの顔ｆが検出される。顔ｆの情報としては、ユーザの視点ｃの座標位置(ｘ，ｙ)が（−１８０，０）であり、顔ｆのサイズが顔検出ウィンドウ２２のサイズから（２４０×２４０）と求まる。

そして、顔ｆのサイズ（２４０×２４０）により、タッチパネル４とユーザの顔ｆとの距離ｄ１は、３２５ｍｍ（代表値、図５参照）と求められる。また、このときのタッチパネル４のサイズを画像データ２１の座標軸上に換算したパネルサイズｗ×ｈは、距離ｄ１に応じて画素数に換算したもので、後述の図１１（Ｂ）の換算結果から、１１２×２０８と求められる。また、所定値ｄ２としては、前述の５ｍｍを用いる。

以上の各値（ｘ，ｙ，ｐ，ｑ，ｗ，ｈ，ｄ１，ｄ２）を補正式１に代入する。これにより、タッチパネル４から３２５ｍｍ離れた右側視点（視点（３）の位置）の状態で文字入力を行ったときの補正量（ａ，ｂ）は、（ａ，ｂ）≒（−１７、−９）と算出される。従って、タッチ座標位置（−８０，−８０）は、座標（−９７、−８９）に補正され、文字入力は、「な」ではなく、「た」として処理される。

次に、上述の補正式１が成り立つ根拠について図８〜図１３に基づき具体的に説明する。視点や指の形状により、様々なパターンで位置ずれは生じるものと考えられるが、位置ずれが生じるモデルを仮定することで、本発明のタッチ座標位置補正処理を容易に行うことができる。

図８は、位置ずれモデルの一例を示す図である。この一例において、ユーザはタッチパネル上の目標タッチ点（ｔ１やｔ２）に視点を合わせ、そこに向けて指を操作するものとする。ここでユーザは、指の先端付近を意識して、タッチパネルに触れるものと考えられる。しかし、指先は丸みを帯びているため、タッチしたい位置に触れる際に、指の腹部分（ｔ３）がタッチパネルに触れてしまい、目標タッチ点（ｔ１やｔ２）とは異なる位置（ｔ３）をタッチする事が想定される。詳細には、ユーザの指ｕがタッチパネル４のタッチ点ｔ３で接触している。点線のユーザの顔ｆは、スマートフォン１０の正面（基準ポジション）から操作している場合を示し、顔ｆの中心点ｃから延びる視線とタッチパネル４との交点が目標タッチ点ｔ１となる。また、実線のユーザの顔ｆは、スマートフォン１０の右側から操作している場合を示し、顔ｆの中心点ｃから延びる視線とタッチパネル４との交点が目標タッチ点ｔ２となる。また、図中、ｄ１は、タッチパネル４からユーザの顔ｆ（中心点ｃ）までの距離を示し、ｄ２は、タッチ点ｔ３から延びる垂線とユーザの視線との交点ｔ４からタッチ点ｔ３までの距離を示す。なお、タッチ点ｔ３から延びる垂線とは、すなわち、タッチ点ｔ３を通りタッチパネル４に直交する方向に延びる直線である。

上記の位置ずれモデルでは、補正計算を容易にするために、タッチ点ｔ３から延びる垂線とユーザの各視線とが交わる交点ｔ４が、常にタッチパネル４から５ｍｍ上に位置するものと仮定する。つまり、前述の補正式１における所定値ｄ２を５ｍｍとしている。なお、この５ｍｍとした理由は、人間の人差し指の平均的な厚みに基づくものであるが、必ずしも５ｍｍに限定されるものではない。

図９は、図８に示す位置ずれモデルによるタッチ座標位置補正処理の一例を説明するための図である。図中、ｄ３は、顔ｆの中心点ｃとタッチ点ｔ３から延びる垂線との距離を示し、ｄ４は、タッチ点ｔ３と目標タッチ点ｔ２との距離で、この距離ｄ４が求めるべき補正量（ずれ量）に相当する。そして、このずれ量ｄ４は、図９の位置ずれモデルから幾何学的に算出することができる。すなわち、図９の位置ずれモデルより、
ｄ１：ｄ２＝（ｄ３＋ｄ４）：ｄ４
が成り立つため、これを変形すると、
ｄ４＝ｄ３＊ｄ２／（ｄ１−ｄ２）
となる。

上記において、ｄ１は顔検出ウィンドウのサイズによって決まる値（図５より、１７５，３２５，４７５ｍｍのいずれかに決まる値）であり、ｄ２は所定値（５ｍｍ）である。従って、距離ｄ３が求まれば、ずれ量ｄ４を算出することが可能であることが分かる。

距離ｄ３を求めるために、タッチパネル４のサイズを画像データの座標軸（単位：画素数）に換算する必要がある。上述の補正式１は、カメラ２で撮影された画像データ（撮影画像）の画素数を単位としたｘｙ座標軸上で計算するため、タッチパネル４の実サイズを撮影画像と同じｘｙ座標軸上に換算する。ここで、カメラ２の撮影画像は、被写体（ユーザの顔）とタッチパネル４（レンズ）との距離ｄ１により、撮影される平面の実サイズが異なる。

図１０は、カメラ２による撮影画像の実サイズを求める方法の一例を説明するための図である。前述の図５で説明したように、計算を簡略化するために、ユーザの顔とタッチパネル４との距離ｄ１は、３つの各領域毎に、１７５，３２５，４７５ｍｍを代表値とし、距離ｄ１の代表値毎に、撮影画像の平面の実サイズを計算する。ここで、カメラの画角は、レンズ特性によって決まるが、本例では、カメラ２のレンズの画角を、水平方向５４°、垂直方向４０．５°として計算する。すなわち、撮影画像の画素数を６４０×４８０（４：３）としているため、レンズの画角もこれに合わせて４：３としている。

図１０（Ａ）において、Ｌはカメラ２で撮影される撮影画像の実サイズ、ｄ１はカメラ２からユーザの顔（被写体）までの距離、θはカメラ２の画角とすると、
ｔａｎ（θ／２）＝（Ｌ／２）／ｄ１
の関係が成り立つため、
Ｌ＝２×ｄ１×ｔａｎ（θ／２）
となる。これにより、撮影画像の水平方向及び垂直方向の実サイズを求めることができる。

上記式より、撮影画像の実サイズは、図１０（Ｂ）のように計算される。例えば、ｄ１＝１７５ｍｍ、すなわち、カメラ２の１７５ｍｍ先で撮影される平面画像のサイズは、約１７８×１２９ｍｍと求められる。同様に、カメラ２の３２５ｍｍ先で撮影される平面画像のサイズは、約３３１×２３９ｍｍと求められ、カメラ２の４７５ｍｍ先で撮影される平面画像のサイズは、約４８４×３５０ｍｍと求められる。

図１１は、タッチパネル４のサイズを撮影画像と同じｘｙ座標軸上のパネルサイズに換算する方法の一例を説明するための図である。前述したように、タッチパネル４のサイズは、４．７インチと想定しているため、横×縦（９：１６）の実サイズは、約５８×１０４ｍｍとなる。これより、ｄ１＝１７５ｍｍの場合、タッチパネル４の実サイズ（５８×１０４ｍｍ）と撮像画像２１の実サイズ（１７８×１２９ｍｍ）との関係は、図１１（Ａ）のようになる。そして、ｄ１＝１７５，３２５，４７５ｍｍのそれぞれの場合について、タッチパネル４のパネルサイズをｘｙ座標軸上で画素数に換算すると、図１１（Ｂ）のようになる。例えば、ｄ１＝１７５ｍｍの場合、水平方向の画素数は、６４０画素×５８ｍｍ／１７８ｍｍ≒２０８画素と換算され、垂直方向の画素数は、４８０画素×１０４ｍｍ／１２９ｍｍ≒３８６画素と換算される。

図１２は、タッチパネル４と撮像画像２１とをｘｙ座標軸上に展開したときの関係の一例を説明するための図である。まず、図１２（Ａ）に示すように、スマートフォン１０のタッチパネル上部中央付近に配置されたカメラ２からの法線は、カメラ２による撮影画像２１の中心と直交するものとする。そして、前述の図５で説明したように、タッチパネル４（カメラ２）からユーザの顔までの距離ｄ１は、（１）「１０〜２５ｃｍ（近い）」，ｄ１＝１７５ｍｍ、（２）「２５〜４０ｃｍ（通常）」，ｄ１＝３２５ｍｍ、（３）「４０〜５５ｃｍ（遠い）」，ｄ１＝４７５ｍｍ、の３つの領域に分けられている。

ここで、撮影画像２１の画素数を６４０×４８０とし、タッチパネル４のパネルサイズを画素数（ｗ×ｈ）で表す場合、図１１（Ｂ）の換算結果から、（１）ｄ１＝１７５ｍｍでは、２０８（ｗ）×３８６（ｈ）となる。（２）ｄ１＝３２５ｍｍでは、１１２（ｗ）×２０８（ｈ）となる。（３）ｄ１＝４７５ｍｍでは、７６（ｗ）×１４２（ｈ）となる。これら（１）〜（３）それぞれの場合における撮影画像２１とタッチパネル４との関係を図１２（Ｂ）〜（Ｄ）に示す。

図１３は、本発明によるタッチ座標位置補正処理の一例を説明するための図である。ここで、撮影画像上での座標をｘｙ座標とし、顔検出座標を(ｘ，ｙ)とする。タッチパネル上での座標をｐｑ座標として、操作入力座標を(ｐ，ｑ)とする。タッチパネルサイズの撮影画像の座標上での大きさをｗ×ｈとする。 タッチパネル上で補正される補正量を(ａ，ｂ)とすると、補正後の座標は(ｐ+ａ，ｑ+ｂ)で表せる。

図１３（Ａ）にタッチパネル４上の座標（ｐ，ｑ）を示す。この図１３（Ａ）の座標（ｐ，ｑ）を、カメラ撮影画像上の座標に展開した状態を図１３（Ｂ）に示す。ここで、前述の図１２（Ａ）に示したように、スマートフォン１０のカメラ２は、タッチパネル４の上部中心に配置されている。また、カメラ２の光軸は、スマートフォン１０から垂直に延び、撮影画像の中心に位置するようになっている。つまり、撮影画像の中心は、スマートフォン１０のレンズ位置と一致するため、撮影画像の中心（ｘｙ軸の原点）は、タッチパネル４の上部中心位置になるものとして扱う。

以下、前述の図９も参照しながら説明する。７２０×１２８０のタッチパネル４のｐｑ座標上における任意のタッチ点ｔ３（ｐ，ｑ）を、カメラ画像上のｘｙ座標上に換算する場合、図１３（Ｂ）に示すように、ｐｑ座標での原点は（０，−ｈ／２）となる。そして、ｐｑ座標上の任意のタッチ点ｔ３の座標（ｐ，ｑ）は、ｘｙ軸上におけるタッチ点ｔ３′の座標（ｐ＊ｗ／７２０，ｑ＊ｈ／１２８０−ｈ／２）に換算される。なお、撮影画像とタッチパネル４との位置関係を考慮して換算するため、タッチパネル４のサイズ（５８×１０４ｍｍ）を撮影画像のｘｙ座標上へ展開した場合、ｗ×ｈの画素数で表される。

撮影画像上での顔位置との関係を図１３（Ｃ）に示す。ユーザの顔の中心点ｃの座標を（ｘ，ｙ）とすると、ユーザの顔の中心点ｃとタッチ点ｔ３′との距離（画素数）は、ｘ軸方向が（ｘ−ｐ＊ｗ／７２０）、ｙ軸方向が（ｙ−（ｑ＊ｈ／１２８０−ｈ／２））と表すことができる。つまり、これが図９の距離ｄ３に相当する。そして、図９のずれ量（補正量）ｄ４は、前述したように、ｄ４＝ｄ３＊ｄ２／（ｄ１−ｄ２）、で示すことができるため、ｐ軸の補正量ａ及びｑ軸の補正量ｂは、前述の補正式１、すなわち、
ａ＝（（ｘ−ｐ＊ｗ／７２０）＊ｄ２／（ｄ１−ｄ２））＊７２０／ｗ
ｂ＝（（ｙ−ｑ＊ｈ／１２８０−ｈ／２）＊ｄ２／（ｄ１−ｄ２））＊１２８０／ｈ
で示すことができる。

そして、上記の補正量ａ，ｂに基づいて、タッチ点ｔ３の補正後の座標に相当する目標タッチ点ｔ２のｐｑ座標は、（ｐ＋ａ，ｑ＋ｂ）で示すことができる。

なお、上記のタッチ座標位置補正処理は、スマートフォン１０を縦向きにして操作する場合に限らず、横向きにして操作する場合など、いずれの向きで操作する場合であっても同様に適用することができる。

このように、本発明によれば、ユーザの顔の位置を視点の位置とみなし、タッチパネル上でのタッチ位置と、撮影画像上のユーザの顔の位置とに基づいて、タッチパネル上でのタッチ位置をユーザの視点に応じた目標とするタッチ位置へと補正することができるため、操作パネルに対して操作するときの視点が色々と変化してしまうスマートフォンのような携帯端末装置においても、操作するときの視点によらず、正確なタッチ操作が可能となる。

１…入力装置、２…カメラ、３…顔検出部、４…タッチパネル、５…表示部、６…座標位置検出部、７…座標位置補正部、１０…スマートフォン。

Claims (5)

1. タッチパネルを一体的に設けた表示部を備え、前記タッチパネルを介して前記表示部に表示されている情報を入力する入力装置であって、
   ユーザを撮影する撮影部と、該撮影部により撮影された画像データからユーザの顔を検出する顔検出部と、前記タッチパネル上でタッチされた座標位置を検出する座標位置検出部と、前記タッチパネルに対する前記顔検出部で検出されたユーザの顔の位置を判定し、判定結果に基づいて、前記座標位置検出部で検出された座標位置を補正する座標位置補正部とを備えたことを特徴とする入力装置。
2. 請求項１に記載の入力装置において、前記撮影部は、所定の操作入力モードの起動に応じて起動され、自動的にユーザを撮影することを特徴とする入力装置。
3. 請求項１または２に記載の入力装置において、前記座標位置補正部は、前記顔検出部で検出されたユーザの顔が、前記タッチパネルに対して、上側、下側、右側、左側、正面のいずれの位置にあるかを判定することを特徴とする入力装置。
4. 請求項３に記載の入力装置において、前記座標位置補正部は、前記顔検出部で検出された前記画像データ上のユーザの顔の位置を表す座標位置と、前記座標位置検出部で検出された前記タッチパネル上でタッチされた座標位置と、前記タッチパネルのサイズと、前記タッチパネルからユーザの顔までの距離とに基づいて、前記タッチパネル上でタッチされた座標位置を補正することを特徴とする入力装置。
5. 請求項４に記載の入力装置において、前記タッチパネルからユーザの顔までの距離は、前記顔検出部で検出されたユーザの顔のサイズに応じて算出され、前記タッチパネルのサイズは、前記距離に応じて画素数に換算されたものであることを特徴とする入力装置。

Images