JP6177482B1 - タッチパネル入力装置、タッチジェスチャ判定装置、タッチジェスチャ判定方法、及びタッチジェスチャ判定プログラム - Google Patents

Abstract

タッチパネル入力装置（１）は、タッチジェスチャ操作が視線有り状態における操作又は視線無し状態における操作のいずれであるかを判定し、視線判定情報（Ａ２）を出力する視線有無判定部（１２）と、視線判定情報（Ａ２）に基づく命令情報（Ａ３）を出力する操作モード切替部（１３）と、命令情報（Ａ３）に従う判定方法で操作情報（Ａ０）に基づく選択値を生成する操作判定部（１４）と、タッチパネル（２０）に命令情報（Ａ３）に従う画像を表示させる表示制御部（１６）とを有し、操作判定部（１４）は、視線有り状態のときに操作用画像として表示された表示部品に対して行われたタッチジェスチャ操作に基づく操作情報（Ａ０）から選択値を決定する表示部品ジェスチャ判定部（１４１）と、視線無し状態のときに画面全体に対して行われたタッチジェスチャ操作に基づく操作情報（Ａ０）から選択値を決定する画面全体ジェスチャ判定部（１４２）とを有する。

Description

本発明は、タッチジェスチャ操作を受け付け、タッチジェスチャ操作に基づく信号を出力するタッチパネル入力装置、並びに、タッチジェスチャ操作に対応する操作情報が入力され、入力された操作情報に基づく信号を出力するためのタッチジェスチャ判定装置、タッチジェスチャ判定方法及びタッチジェスチャ判定プログラムに関する。

一般に、タッチパネル入力装置を使用するユーザは、タッチパネルに表示されているＧＵＩ（Graphical User Interface）画面を見ながらタッチジェスチャ操作を行う。しかし、自動車の運転中又はカメラの位置調整中などのようなタスク実行中には、ユーザがタッチパネルの画面を見ながら、すなわち、ユーザが視線をタッチパネルの画面に向けている状態である「視線有り状態」で、タッチジェスチャ操作を行うことはできない。

この対策として、特許文献１は、タッチパネルに接触している複数の指の接触点を結んでできる形状と予め設定された形状との類似度に基づいて、タッチパネルに表示する操作パーツ（以下「表示部品」とも言う）を決定する装置を提案している。

また、特許文献２は、タッチパネルに接触している複数の指の位置で規定される１つの領域の面積が、予め設定された閾値以上である場合に、ユーザがタッチパネルの画面を見ずに、すなわち、ユーザが視線をタッチパネルの画面に向けない状態である「視線無し状態」で、タッチジェスチャ操作を行う者（例えば、視覚障がい者など）であると判断する装置を提案している。

国際公開２０１６／０３５２０７号 特開２０１６−０２０２６７号公報

しかしながら、上記特許文献１及び２に記載の装置では、ユーザは、複数の指先で特定の形状を作るためのタッチジェスチャ操作に意識を集中させる必要があるので、タッチジェスチャ操作と並行して行われる他のタスクに対する注意力が低下する場合がある。

また、特許文献１に記載の装置では、ユーザは、視線をタッチパネルの画面に向けずに、タッチパネルに表示された表示部品を用いるタッチジェスチャ操作を行う必要があるので、表示部品に対して正確なタッチジェスチャ操作を行うことが難しい場合がある。

また、特許文献２に記載の装置では、ユーザは、タッチパネルの操作有効領域内でタッチジェスチャ操作を行う必要があるので、タッチパネルの画面を見ていない状態では適切な操作情報が入力できない場合がある。

本発明の目的は、タッチパネルに表示された表示部品を用いてタッチジェスチャ操作を行う視線有り状態の操作モードの内容及びタッチパネルの画面全体をタッチジェスチャ操作の受け付け領域としてタッチジェスチャ操作を行う視線無し状態の操作モードの内容を適切に切り替えることで、容易且つ正確にタッチジェスチャ操作による入力操作を行うことができるタッチパネル入力装置、並びに、視線有り状態の操作モードの内容又は視線無し状態の操作モードの内容を適切に切り替えることで、容易且つ正確にタッチジェスチャ操作による入力操作を行うことができるようにするためのタッチジェスチャ判定装置、タッチジェスチャ判定方法及びタッチジェスチャ判定プログラムを提供することである。

本発明の一態様に係るタッチパネル入力装置は、画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルと、前記操作情報を受け取り、前記操作情報に基づく選択値を生成するタッチジェスチャ判定装置とを有する装置であって、
前記タッチジェスチャ判定装置は、前記タッチジェスチャ操作に対応する入力情報を受け取り、前記入力情報に基づいて、前記タッチジェスチャ操作が、前記ユーザの視線が前記画面に向けられている視線有り状態における操作又は前記ユーザの視線が前記画面に向けられていない視線無し状態における操作のいずれであるかを判定し、前記判定の結果を示す視線判定情報を出力する視線有無判定部と、前記視線判定情報に基づく命令情報を出力する操作モード切替部と、前記命令情報に従う判定方法で、前記操作情報に基づく前記選択値を生成する操作判定部と、前記タッチパネルに、前記操作用画像として前記命令情報に従う画像を表示させる表示制御部と、を有し、
前記操作判定部は、前記視線有り状態のときに、前記タッチパネルに前記操作用画像として表示された表示部品に対して行われたタッチジェスチャ操作に基づく操作情報から前記選択値を決定する表示部品ジェスチャ決定部と、前記視線無し状態のときに、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づく操作情報から前記選択値を決定する画面全体ジェスチャ決定部と、を有するものである。

本発明の他の態様に係るタッチジェスチャ判定方法は、画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく選択値を生成する方法であって、
前記タッチジェスチャ操作に対応する入力情報に基づいて、前記タッチジェスチャ操作が、前記ユーザの視線が前記画面に向けられている視線有り状態における操作又は前記ユーザの視線が前記画面に向けられていない視線無し状態における操作のいずれであるかを判定し、前記判定の結果を示す視線判定情報を出力する視線有無判定ステップと、前記視線判定情報に基づく命令情報に従う判定方法で、前記操作情報に基づく前記選択値を生成する操作判定ステップと、前記タッチパネルに、前記操作用画像として前記命令情報に従う画像を表示させる表示制御ステップと、を有し、
前記操作判定ステップにおいて、前記視線有り状態のときに、前記タッチパネルに前記操作用画像として表示された表示部品に対して行われたタッチジェスチャ操作に基づく操作情報から前記選択値を決定し、前記視線無し状態のときに、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づく操作情報から前記選択値を決定するものである。

本発明によれば、タッチパネルに表示された表示部品を用いてタッチジェスチャ操作を行う視線有り状態の操作モードの内容及びタッチパネルの画面全体をタッチジェスチャ操作の受け付け領域としてタッチジェスチャ操作を行う視線無し状態の操作モードの内容を適切に切り替えることで、容易且つ正確にタッチジェスチャ操作による入力操作を行うことができる。

本発明の実施の形態１に係るタッチパネル入力装置の概略構成を示す機能ブロック図である。 実施の形態１に係るタッチパネル入力装置のハードウェア構成の一例を示す図である。 （ａ）及び（ｂ）は、実施の形態１に係るタッチパネル入力装置おけるタッチパネルの画面の例を示す図である。 実施の形態１に係るタッチパネル入力装置におけるタッチジェスチャ判定装置の動作（タッチジェスチャ判定方法）を示すフローチャートである。 実施の形態１の変形例に係るタッチパネル入力装置におけるタッチパネルの画面の一例を示す図である。 本発明の実施の形態２に係るタッチパネル入力装置の概略構成を示す機能ブロック図である。 実施の形態２に係るタッチパネル入力装置におけるタッチジェスチャ判定装置の動作（タッチジェスチャ判定方法）を示すフローチャートである。 実施の形態２に係るタッチパネル入力装置におけるタッチジェスチャ操作の履歴情報の取得方法を示す図である。 タッチパネル入力装置においてタッチパネルの画面を見ない状態である視線無し状態でタッチジェスチャ操作を行うことで意図通りの入力ができない例を示す図である。 実施の形態２に係るタッチパネル入力装置においてタッチパネルの画面を見ない状態である視線無し状態で行われるタッチジェスチャ操作の例を示す図である。 実施の形態２に係るタッチパネル入力装置と通信するカメラ映像撮影装置におけるカメラの向き、角度、映像の拡縮量を、タッチパネル入力装置のタッチパネルの画面を見ずに調整する例を示す図である。 本発明の実施の形態３に係るタッチパネル入力装置の概略構成を示す機能ブロック図である。 実施の形態３に係るタッチパネル入力装置のハードウェア構成の一例を示す図である。 実施の形態３に係るタッチパネル入力装置におけるタッチジェスチャ判定装置の動作（タッチジェスチャ判定方法）を示すフローチャートである。 （ａ）及び（ｂ）は、実施の形態３に係るタッチパネル入力装置における視線有り状態及び視線無し状態の判定方法を示す図である。

以下に、本発明の実施の形態を、添付図面を参照しながら説明する。以下の説明において、タッチパネル入力装置は、タッチ式の操作用の画面（操作画面）を持つタッチパネルと、タッチパネルにおける操作情報を受け取るタッチジェスチャ判定装置とを具備する。タッチパネル入力装置は、対象機器に搭載されることにより、又は、対象機器と通信可能に接続されることにより、対象機器としての電気機器の操作画面、対象機器としてのカメラの操作画面、対象機器としての工場設備の操作画面、対象機器としての自動車、船舶、航空機などに搭載される操作画面、対象機器としてのスマートフォン及びタブレット端末などの携帯情報端末の操作画面などに適用可能である。タッチパネル入力装置は、タッチパネルの操作画面からタッチジェスチャ操作（「タッチ操作」とも言う）によって入力された操作情報に基づく信号（例えば、選択値）を、タッチパネル入力装置を搭載した対象機器、又は、タッチパネル入力装置と通信可能な対象機器に提供することができる。

タッチパネルは、ユーザが行うタッチジェスチャ操作を受け付けるタッチジェスチャ入力手段である。また、タッチジェスチャ操作は、ユーザの指（又は、ユーザの手の平、又は、指ユーザの指及び手の平）などの特定の動きによる情報入力操作である。タッチジェスチャ操作は、タッチパネルの操作画面を指で軽く叩く操作であるタップ、タッチパネルの操作画面を指ではじく操作であるフリック、タッチパネルの操作画面を指でなぞる操作（指を滑らす操作）であるスワイプを含むことができる。また、タッチジェスチャ操作は、タッチパネルにおける表示部品を指で引きずる操作であるドラッグ、タッチパネルの操作画面において複数本の指でつまみながら指の間隔を狭める操作であるピンチイン、タッチパネルの操作画面において複数本の指の間隔を広げる操作であるピンチアウトなどを含むことができる。なお、タッチジェスチャ操作は、ペン型の入力補助具であるタッチペンを用いる操作をも含むことができる。

《１》実施の形態１．
《１−１》構成
図１は、本発明の実施の形態１に係るタッチパネル入力装置１の概略構成を示す機能ブロック図である。図１に示されるように、実施の形態１に係るタッチパネル入力装置１は、タッチジェスチャ判定装置１０と、タッチパネル２０とを有している。タッチジェスチャ判定装置１０は、実施の形態１に係るタッチジェスチャ判定方法及び実施の形態１に係るタッチジェスチャ判定プログラムを実行することができる装置である。

図１に示されるように、タッチパネル２０は、ユーザによって行われるタッチジェスチャ操作を受け付け、タッチジェスチャ操作に対応する操作情報（「タッチ情報」とも言う）Ａ０を出力する操作パネル部２１と、操作パネル部２１と重ねて配置され、ＧＵＩ画面などのような操作用画像を表示することができる表示パネル部２２とを有している。表示パネル部２２は、例えば、液晶ディスプレイである。

図１に示されるように、タッチジェスチャ判定装置１０は、操作情報入力部１１と、操作モード判定部としての視線有無判定部１２と、操作モード切替部１３と、操作判定部１４と、通知部１５と、表示制御部１６とを有している。操作判定部１４は、表示部品ジェスチャ判定部１４１と、画面全体ジェスチャ判定部１４２とを有している。

操作情報入力部１１は、操作パネル部２１から出力された操作情報（操作信号）Ａ０を受け取る。操作情報入力部１１は、受け取った操作情報Ａ０に対応する入力情報Ａ１を視線有無判定部１２と操作判定部１４とに出力する。入力情報Ａ１は、操作情報Ａ０に対応する情報であり、操作情報Ａ０と同じ情報であってもよい。

視線有無判定部１２は、操作情報入力部１１から受け取った入力情報Ａ１に基づいて、タッチジェスチャ操作が、ユーザがタッチパネル２０の画面を見ながら行った操作、すなわち、ユーザの視線がタッチパネル２０の画面に向けられた状態である視線有り状態における操作であるか、タッチジェスチャ操作が、ユーザがタッチパネル２０の画面を見ずに行った操作、すなわち、ユーザの視線がタッチパネル２０の画面に向けられていない状態である視線無し状態における操作であるかを判定する。視線有り状態を前提とした操作モードは、例えば、タッチパネル２０に表示された表示部品に対してタッチジェスチャ操作を行う操作モードである。視線無し状態を前提とした操作モードは、例えば、タッチパネル２０の画面全体をタッチジェスチャ操作の受け付けのための１つの操作有効領域とする操作モードである。

視線有無判定部１２は、ユーザのタッチジェスチャ操作に基づく入力情報Ａ１から、タッチジェスチャ操作が、視線有り状態における操作であるか視線無し状態における操作であるかの判定結果を示す視線判定情報Ａ２を操作モード切替部１３に送る。この判定は、例えば、視線有無判定部１２が、予め決められたタッチジェスチャ操作のパターンを記憶する記憶部（例えば、後述の図２におけるメモリ）を備え、入力情報Ａ１が示すタッチジェスチャ操作と記憶部に記憶されているタッチジェスチャ操作のパターンとの類似度に基づいて行うことができる。

操作モード切替部１３は、視線有無判定部１２から受け取った視線判定情報Ａ２から、タッチパネル２０の画面の表示内容、タッチパネル２０からのタッチジェスチャ操作に基づく入力情報Ａ１の操作判定部１４による判定方法、及び通知部１５による通知方法を切り替える（設定する）ための命令情報Ａ３を出力する。

操作判定部１４は、操作モード切替部１３から命令情報Ａ３を受け取り、この命令情報Ａ３に従って入力情報Ａ１の判定方法を切り替える。

画面全体ジェスチャ判定部１４２は、タッチパネル２０の画面全体に対するタッチジェスチャ操作を判定して、入力情報Ａ１に基づく出力信号である選択値Ａ７の決定を行う。タッチパネル２０の画面全体に対するタッチジェスチャ操作の判定は、視線有り状態におけるタッチジェスチャ操作では、タッチパネル２０の限られた狭い領域内（タッチパネル２０の画面の一部分）で使用され、視線無し状態におけるタッチジェスチャ操作では、タッチパネル２０の広い領域内（タッチパネル２０の画面の全体）で使用される。

表示部品ジェスチャ判定部１４１は、表示パネル部２２によって表示された操作用画像としての表示部品と入力情報Ａ１とから、タッチジェスチャ操作を判定して、表示部品と入力情報Ａ１とに基づく出力信号である選択値Ａ７の決定を行う。タッチパネル２０の表示部品に対するタッチジェスチャ操作の判定は、視線有り状態におけるタッチジェスチャ操作では、タッチパネル２０の広い領域内（タッチパネル２０の画面全体）で使用され、視線無し状態におけるタッチジェスチャ操作において限られた狭い領域内（タッチパネル２０の画面の一部分）で使用される。

表示制御部１６は、タッチパネル２０の表示パネル部２２に表示される操作用画像の画像信号Ａ６を出力する。表示制御部１６は、操作判定部１４から受け取った操作判定情報Ａ４及び操作モード切替部１３から受け取った命令情報Ａ３に応じて表示パネル部２２の画面の表示内容を変更する。

通知部１５は、視線有り状態におけるタッチジェスチャ操作時と視線無し状態におけるタッチジェスチャ操作時とで、ユーザに対する情報の通知方法を切り替える。通知部１５は、命令情報Ａ３に従う通知内容の通知を発する又は通知信号を出力する。例えば、通知部１５は、操作判定部１４により受け取られた入力情報Ａ１に応じて、ユーザのタッチジェスチャ操作の状況を、例えば、音、画面表示、バイブレータによる振動、又はランプ点灯などで通知する。このように、通知部１５は、操作判定部１４から受け取られた操作判定情報Ａ４及び操作モード切替部１３から受け取られた命令情報Ａ３に応じて通知内容を変更する。通知部１５による通知が音による通知である場合には、通知部１５は音声出力部としてのスピーカに通知信号を出力する。スピーカは、後述の図２に示される。通知部１５による通知が画像表示である場合には、通知部１５は通知情報Ａ５を表示制御部１６に送り、表示制御部１６が通知情報に基づく画像信号を表示パネル部２２に送信する。

操作判定部１４から出力される選択値Ａ７は、操作判定部１４が入力情報Ａ１を基に決定した選択値であり、この選択値Ａ７を基に、タッチパネル入力装置１を搭載した装置のアプリケーションプログラム等が、機器制御などを行う。

図２は、実施の形態１に係るタッチパネル入力装置１のハードウェア（Ｈ／Ｗ）構成の一例を示す図である。図２に示されるように、実施の形態１に係るタッチパネル入力装置１は、タッチパネル２０と、プロセッサ３１と、メモリ３２と、スピーカ３３とを有している。図１に示されるタッチジェスチャ判定装置１０は、ソフトウェアとしてのタッチジェスチャ判定プログラムを格納する記憶装置としてのメモリ３２と、メモリ３２に格納されたタッチジェスチャ判定プログラムを実行する情報処理部としてのプロセッサ３１とを用いて（例えば、コンピュータにより）実現することができる。この場合には、図１における構成要素１１〜１６は、図２においてタッチジェスチャ判定プログラムを実行するプロセッサ３１に相当する。なお、図１に示されるタッチジェスチャ判定装置１０の一部を、図２に示されるメモリ３２と、タッチジェスチャ判定プログラムを実行するプロセッサ３１とによって実現することもできる。

スピーカ３３は、例えば、視線無し状態で行われているタッチジェスチャ操作状況をアナウンスなど音で通知する場合に使用される音出力部である。タッチパネル入力装置１は、スピーカ３３に代えて、又は、追加の構成として、バイブレータ、ランプ、通知信号を無線送信するための送信装置などの追加の装置を備えてもよい。

図３（ａ）及び（ｂ）は、実施の形態１に係るタッチパネル入力装置１におけるタッチパネル２０の画面及びタッチジェスチャ操作の例を示す図である。

図３（ａ）は、視線有り状態の操作モードにおけるタッチパネル２０の画面の一例を示している。図３（ａ）は、視線有無判定部１２が、タッチジェスチャ操作を示す入力情報Ａ１から、視線有り状態の操作モードであると判定した場合の画面の一例である。ユーザは、画面を指で左方向又は右方向にスワイプする操作を行うことによって画面の表示内容を切り替えることが可能である。リスト２３１は、視線有無判定部１２が視線有り状態と判定した場合に表示されるリストである。リスト２３１は、複数のボタン（数字が付されている四角領域）で構成されており、指を上方向又は下方向になぞる（滑らせる）ことでリスト２３１を同じ方向に移動させることが可能である。例えば、指でボタン２３２をタッチすることで、視線有無判定部１２は視線有り状態と判定し、ボタンをタップする（指でボタンを触り、指を動かさないまま予め決められた時間内に離す）ことで選択値を決定（確定）する。

図３（ｂ）は、視線無し状態の操作モードにおけるタッチパネル２０の画面の一例を示している。図３（ｂ）は、視線有無判定部１２が、タッチジェスチャ操作を示す入力情報Ａ１から、視線無し状態の操作モードであると判定した場合の画面の一例である。例えば、視線無し状態におけるキャンセル領域２４１は、「＞＞Ｃａｎｃｅｌ＞＞」を囲む矩形領域であり、この矩形領域内で、予め決められた方向に、すなわち、指を左から右になぞる（滑らせる）と、視線無し状態の操作モードはキャンセルされて、視線有り状態の操作モードに切り替わる。

《１−２》動作
図４は、実施の形態１に係るタッチパネル入力装置１におけるタッチジェスチャ判定装置１０の動作（タッチジェスチャ判定方法）を示すフローチャートである。

ステップＳＴ１０１において、操作モード切替部１３は、初期操作モードとして、視線有り状態の操作モードを設定する。このとき、タッチパネル２０の画面が、視線有り状態の操作モードの画面となり、タッチパネル２０の入力方法は、視線有り状態の操作モードを用いた表示部品による入力方法になるように、操作モード切替部１３は、命令情報Ａ３を出力する。なお、初期操作モードを視線無し状態の操作モードとすることも可能である。

次のステップＳＴ１０２において、操作情報入力部１１は、タッチパネル２０から、操作情報Ａ０（指の接触点の位置を示す座標、指の接触状態、複数の接触点についての指識別番号など）を取得し、記憶部（例えば、図２に示されるメモリ３２）に記憶させる。

次のステップＳＴ１０３において、視線有無判定部１２は、記憶部に記憶した操作情報Ａ０（指の接触点に関する情報など）の履歴情報から、タッチジェスチャ操作が視線有り状態での操作であるか、視線無し状態での操作であるかの判定、すなわち、視線有無判定（操作モードの判定）を行う。

次のステップＳＴ１０３において、視線有無判定部１２は、例えば、以下の判定条件（１）〜（３）のいずれかが満たされた場合に、視線無し状態と判定し、それ以外の場合を視線有り状態と判定する。
・判定条件（１）：指がタッチパネル２０の画面上の１点に接触し、予め決められた閾値以上の時間、接触位置が移動していない場合
・判定条件（２）：複数の指がタッチパネル２０の画面上の複数の接触点に接触し、予め決められた閾値以上の時間、接触し続けている場合
・判定条件（３）：手の平がタッチパネル２０の画面上に接触し続けている（すなわち、予め決められた閾値以上の広い面積が、予め決められた閾値以上の時間、接触し続けている）場合
ただし、判定基準として、他の判定基準を用いてもよい。

ステップＳＴ１０３における視線無し状態とする判定条件（３）を満たすときには、検出される複数の接触点の座標及び接触点の数が不安定である（すなわち、時間に伴って大きく変動する）可能性がある。このため、現時点から予め決められた期間遡った時点までの期間の操作情報Ａ０（入力情報Ａ１）の履歴情報を用いて、この期間内における接触点の座標のぶれ（座標の移動量）の程度を基に（例えば、最大の移動量が予め決められた閾値を超える場合に）、手の平の接触であると判定してもよい。

また、ステップＳＴ１０３における視線無し状態とする判定条件（３）における、画面上に手の平を接触させる操作時には、タッチパネル２０からの操作情報Ａ０は、接触状態が異常であることを示す情報である。このため、現時点から予め決められた期間遡った時点までの期間の操作情報Ａ０の履歴情報を用いて、この期間内に接触状態が異常であることを示す履歴がある場合に、手の平の接触であると判定してもよい。

また、ステップＳＴ１０３における視線無し状態とする判定条件（３）における、画面上に手の平を接触させる操作時には、タッチパネル２０の画面から指が離れたと誤判定され、その結果、タッチパネル２０の画面の表示部品であるボタンをタップしたタッチジェスチャ操作と誤って判定される可能性がある。このため、現時点から予め決められた期間遡った時点までの期間の操作情報Ａ０の履歴情報を用いて、この期間内に、タッチパネル２０の指が全て離れてから予め決められた時間、不安定なタッチ検出（すなわち、時間に伴って接触点の数及び位置が大きく変動する状況の検出）がされないかどうか、又は、異常な接触状態の通知がないかどうかを検出するための待機処理を介在させ、これらが検出されたときに、手の平の接触であると判定してもよい。

また、ステップＳＴ１０３において、視線有無判定部１２は、画面上の表示通りに指を接触させてなぞった場合に視線有り状態と判定する。例えば、図３（ｂ）に示される視線無し状態時の画面において、視線無し状態におけるキャンセル領域２４１の内側でタッチを開始して、左のマーク「＞＞」から文字「Ｃａｎｃｅｌ」を経由して右のマーク「＞＞」を通過するように指を滑らせてから、指を離す操作をした場合、又は、左のマーク「＞＞」から文字「Ｃａｎｃｅｌ」を経由して右のマーク「＞＞」を通過するように指を滑らせて、キャンセル領域２４１の右側の境界線を超えた場合に、視線有無判定部１２は、視線有り状態への切り替え操作であると判定する。なお、ステップＳＴ１０３の視線有り状態への切り替え操作の判定は、視線無し状態においてキャンセル領域２４１の外側からキャンセル領域２４１の内側に連続的になぞった場合、又は、視線無し状態においてキャンセル領域２４１をなぞっている途中でキャンセル領域２４１の上又は下にはみ出した場合、又は、視線無し状態においてキャンセル領域２４１を右方向になぞった後に、後左方向へ指を戻してなぞった場合は、視線有り状態と判定しないことと判定してもよい。

また、ステップＳＴ１０３において、視線有無判定部１２が視線有り状態への切り替えの操作であると判定する条件は、図３（ｂ）の左のマーク「＞＞」から文字「Ｃａｎｃｅｌ」を経由して右のマーク「＞＞」を通過するように指を滑らせた場合だけでなく、視線無し状態において、キャンセル領域２４１をタッチして右方向に予め決められた距離以上移動した場合としてもよい。

ステップＳＴ１０４において、視線有無判定に変更があった場合（ＹＥＳの場合）、処理はステップＳＴ１０５〜ＳＴ１０８へ進み、操作モード切替部１３は、タッチパネル２０の操作画面の切り替えによる入力方法の切り替え、通知部１５による通知方法を切り替えるための命令情報Ａ３を出力する。ステップＳＴ１０４において、視線有無判定への変更が発生しなかった場合（ＮＯの場合）、処理はステップＳＴ１０９へ進む。

ステップＳＴ１０５において、操作判定部１４は、操作モード切替部１３から命令情報Ａ３を受け取り、画面全体に対する有効な入力方法を切り替える命令を出し、画面全体ジェスチャ判定部１４２は、画面全体に対する有効な入力方法を切り替える。

次のステップＳＴ１０６において、操作判定部１４は、操作モード切替部１３から命令情報Ａ３を受け取り、表示部品に対する有効な入力方法を切り替える命令を出し、表示部品ジェスチャ判定部１４１は、表示部品に対する有効な入力方法を切り替える。ステップＳＴ１０５とＳＴ１０６の処理の順番は、逆であってもよい。

次のステップＳＴ１０７において、表示制御部１６は、操作モード切替部１３から画面を切り替える命令情報Ａ３を受け取り、画面を切り替える。例えば、表示制御部１６は、画面の切り替えを命令する命令情報Ａ３を受け取ったときに、視線有り状態の場合、例えば、図３（ａ）に示される視線有り状態時の画面を表示し、視線無し状態の場合、例えば、図３（ｂ）に示される視線無し状態時の画面を表示する。

次のステップＳＴ１０８において、通知部１５は、操作モード切替部１３の通知内容を切り替える命令情報Ａ３を受け取り、通知内容を切り替える。例えば、通知部１５は、視線有り状態の場合、「画面を長押しすると、画面を見ないで操作するモードに切り替わります。」といった音声アナウンスをスピーカから出力させ、また、視線無し状態に切り替わった場合、「長押し操作されたため、障がい者用の操作画面に切り替わります。」とアナウンスを流す。そして、視線無し状態になった場合、「画面の上側をタッチすると選択値が増え、下側をタッチすると選択値が減ります。２点タップで選択値を確定します。」といった音声アナウンスをスピーカに出力させる。また、このとき、通知部１５は、画面の上側、下側のタップが発生するたびに、現在の選択値を音声アナウンスで通知させてもよい。

ステップＳＴ１０８において、通知部１５の通知は、音声アナウンスだけでなく、操作中のタッチパネル２０とは、別の表示装置によって通知したり、スマートウォッチからの音声アナウンスで通知したり、又はタッチパネルを振動させて通知したりしてもよい。

ステップＳＴ１０９において、操作判定部１４は、入力情報に基づき選択値を決定（確定）する。例えば、操作判定部１４は、視線有り状態の操作モードにおいては、表示されているボタンをタップすると、ボタンに表示されている番号が選択値として決定する。一方、操作判定部１４は、視線無し状態の操作モードにおいては、画面の上側のタッチが発生すると、選択値を増やし、画面の下側のタッチが発生すると、選択値を減らす。操作判定部１４は、２点のタッチが発生し同時に指を離した場合に、選択値を確定する。操作判定部１４で、タッチジェスチャ操作が受け付けられた場合、表示制御部１６は、タッチジェスチャ操作に応じて表示内容を変更し、通知部１５は、タッチジェスチャ操作に応じて操作状況の通知を行う。

また、ステップＳＴ１０９において、視線無し状態におけるキャンセル領域２４１をタップした場合は、キャンセル領域２４１をなぞる操作ではないため、画面の下側操作とみなし、選択値を減らす。

ステップＳＴ１０３の視線有無判定部１２の判定と、ステップＳＴ１０９の操作判定部１４の判定動作は、視線有無判定部１２の記憶部に、例えば、表１のような操作判定テーブルを格納し、このテーブルの内容に従って処理することで実現することができる。

《１−３》効果
以上に説明したように、実施の形態１においては、ユーザのタッチジェスチャ操作に基づく操作情報Ａ０が、視線有り状態におけるタッチジェスチャ操作であるか、視線無し状態におけるタッチジェスチャ操作であるかに応じて、操作判定部１４における入力情報Ａ１の判定方法、表示制御部１６による表示制御方法、通知部１５による通知方法を変更することができる。このため、ユーザは、タッチパネル２０の画面を見ている状態では、画面に表示された表示部品としてのボタンを指でタップしたり、画面に表示されたリストを指でなぞったりすることで視線有り状態のタッチジェスチャ操作が可能である。また、ユーザは、画面を見ていない状態では、画面全体を使ったタッチジェスチャ操作の受け付けと、操作状態の通知で操作が可能である。このように、実施の形態１においては、タッチパネル２０において、視線有り状態のタッチジェスチャ操作と視線無し状態のタッチジェスチャ操作のいずれを行っても、視線有り状態におけるタッチジェスチャ操作又は視線無し状態におけるタッチジェスチャ操作と適切に判定されるので、正確にタッチジェスチャ操作による入力操作を行うことができる。

また、実施の形態１においては、視線有り状態において、視線有り状態のタッチジェスチャ操作としては発生しない操作が行われた場合に、視線無し状態のタッチジェスチャ操作であると判定し、視線無し状態において、視線無し状態のタッチジェスチャ操作としては発生しない操作が行われた場合に、視線有り状態のタッチジェスチャ操作であると判定することができる。この場合には、視線有無判定の誤判定は、少ないので操作モードの判定精度が向上する。

《１−４》変形例
図４のステップＳＴ１０３における視線有無判定の他の例として、視線有無判定部１２は、３点以上のタッチ点（指の接触点）が発生した場合に視線無し状態における操作モードと判定してもよい。このようにした場合には、タッチパネル２０における２点タッチの操作（例えば、ピンチ、回転などの操作）を、タッチジェスチャ操作として使用することができる。

また、図４のステップＳＴ１０３における視線有無判定の他の例として、タッチパネル２０の画面の指による接触の開始からタッチパネル２０の画面の内容が変更されない状態が予め決められた時間以上続いた場合に、視線無し状態であると判定してもよい。例えば、１本の指をタッチパネル２０の画面に接触させ、なぞる操作が発生しても、指の左右スワイプによる画面スクロール、又は、画面の上下なぞり操作によるリストのスクロールが発生しない場合に、視線有無判定部１２は、視線無し状態であると判定してもよい。

また、図４のステップＳＴ１０３における視線有無判定の他の例として、視線有無判定部１２は、指の接触点の縦方向の移動、横方向の移動、斜め方向の移動のいずれの検出時に視線有り状態と判定してもよい。

また、図４のステップＳＴ１０３における視線有無判定の他の例として、視線有無判定部１２は、指の接触点の移動で、丸、四角、又は文字など特定の軌跡を描く場合に、視線有り状態と判定してもよい。

また、図４のステップＳＴ１０３における視線有無判定部１２の判定が、視線無し状態から視線有り状態に変わる条件として、タッチパネル２０からの入力操作が無い状態で予め決められた時間経過した場合としてもよい。例えば、視線無し状態に切り替わってから、タッチジェスチャ操作が無い状態が予め決められた閾値時間以上続くと、視線有り状態へと自動的に戻るように構成してもよい。この場合、通知部１５の音声アナウンスを頼りに、再度長押し等の視線無し状態と判定されるタッチジェスチャ操作をして、画面を見ずにタッチジェスチャ操作することができる。

また、図４のステップＳＴ１０９における視線無し状態の他の操作方法として、画面を上下に分けてタップすることで選択値を増減させる方法だけでなく、図５のように画面上に数値入力のための複数のボタンが配列された画像を表示させ、指でなぞった位置に対応するボタンの項目が、通知部１５で読み上げられるようにしてもよい。

また、図４のステップＳＴ１０９における視線無し状態の他の操作方法として、画面上を２点タッチしてダイヤルを回すように回転させて、時計回りの場合、選択値を増やし、反時計周りの場合、選択値を減らすようにしてもよい。この場合、２点タップを決定操作とした場合、決定と回転操作を間違う可能性があるため、例えば、予め決められた時間内にタップが２回連続して発生（ダブルタップが発生）した場合を選択値の決定操作としてもよい。

《２》実施の形態２
《２−１》構成
上記実施の形態１においては、視線無し状態の操作モードにおけるタッチジェスチャ操作は、タッチパネル２０の画面全体を操作有効領域とした、簡単なタッチジェスチャ操作に限定されている。実施の形態２においては、視線無し状態の操作モードにおいて、画面を見ないことによる意図しない操作を防ぎ、より複雑なタッチジェスチャ操作を可能にする装置及び方法について説明する。

図６は、本発明の実施の形態２に係るタッチパネル入力装置２の概略構成を示す機能ブロック図である。図６において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。タッチパネル入力装置２は、タッチパネル２０と、タッチジェスチャ判定装置１０ａとを有している。タッチジェスチャ判定装置１０ａは、実施の形態２に係るタッチジェスチャ判定方法及び実施の形態２に係るタッチジェスチャ判定プログラムを実行することができる装置である。実施の形態２におけるタッチジェスチャ判定装置１０ａは、ジェスチャ操作記憶部１７及びジェスチャ補正部１８を有する点において、実施の形態１におけるタッチジェスチャ判定装置１０と相違する。この点を除き、実施の形態２は、実施の形態１と同じである。したがって、以下に相違点を中心に説明する。

ジェスチャ操作記憶部１７は、操作判定部１４が認識したタッチジェスチャ操作の履歴情報を記憶する。ジェスチャ補正部１８は、ジェスチャ操作記憶部１７に記憶されたタッチジェスチャ操作のデータから、操作判定部１４において判定されたタッチジェスチャ操作認識結果を補正し選択値Ａ８を決定する。

実施の形態２に係るタッチパネル入力装置２のＨ／Ｗ構成は、図２に示されるように、タッチパネル２０と、プロセッサ３１と、メモリ３２と、スピーカ３３とを有している。図６に示されるタッチジェスチャ判定装置１０ａは、ソフトウェアとしてのタッチジェスチャ判定プログラムを格納する記憶装置としてのメモリ３２と、メモリ３２に格納されたタッチジェスチャ判定プログラムを実行する情報処理部としてのプロセッサ３１とを用いて（例えば、コンピュータにより）実現することができる。この場合には、図６における構成要素１１〜１８は、図２においてタッチジェスチャ判定プログラムを実行するプロセッサ３１に相当する。なお、図６示されるタッチジェスチャ判定装置１０ａ一部を、図２に示されるメモリ３２と、タッチジェスチャ判定プログラムを実行するプロセッサ３１とによって実現することもできる。

《２−２》動作
図７は、実施の形態２に係るタッチパネル入力装置２におけるタッチジェスチャ判定装置１０ａの動作（タッチジェスチャ判定方法）を示すフローチャートである。図７において、図４に示される処理ステップと同一又は対応する処理ステップには、図４に示されるステップ番号と同じステップ番号が付される。実施の形態２におけるタッチジェスチャ判定装置１０ａの動作は、タッチジェスチャ操作の判定ステップＳＴ１０９の後に、タッチジェスチャ操作を記憶させる処理ステップ（ステップＳＴ２０１）とジェスチャ補正処理ステップ（ステップＳＴ２０２）とを有する点において、実施の形態１におけるタッチジェスチャ判定装置１０の動作と相違する。これらの点を除き、実施の形態２におけるタッチジェスチャ判定装置１０ａの動作は、実施の形態１のものと同じである。

図７のステップＳＴ２０１において、ジェスチャ操作記憶部１７は、操作判定部１４が認識したタッチジェスチャ操作を履歴情報として記憶する。タッチジェスチャ操作の履歴情報の例を表２に示す。

図８は、実施の形態２に係るタッチパネル入力装置２におけるタッチジェスチャ操作の履歴情報の取得方法を示す図である。ステップＳＴ２０１において、表２に示されるタッチジェスチャ操作の履歴情報は、例えば、図８に示される方法で計算される。図８の例において、回転方向の移動量、すなわち、角度変化量Ｈ［pixel］は、前回のタッチジェスチャ操作でタッチされた２つの点Ｐ１，Ｐ２を結ぶ直線Ｑ１に対して、現在のタッチジェスチャ操作でタッチされた点Ｐ３から垂線Ｑ２を下ろし、この垂線Ｑ２の長さとする。距離変化量Ｄ［pixel］は、現在の２点間距離（Ｐ１とＰ３間距離）Ｌ２と前回の２点間距離（Ｐ１とＰ２間距離）Ｌ１の間の変化量とする。移動量Ｍ［pixel］は、現在の２点間（Ｐ１とＰ３間距離）の中心位置Ｉ２と前回の２点間（Ｐ１とＰ２間距離）の中心位置Ｉ１との間の移動量とする。

ステップＳＴ２０２において、ジェスチャ補正部１８は、ジェスチャ操作記憶部１７が記憶した履歴情報から、画面を見ずにタッチジェスチャ操作を行った場合に、意図通りの操作情報がタッチジェスチャ判定装置１０ａに入力されない認識結果を補正する。

図９は、タッチパネル入力装置２においてタッチパネル２０の画面を見ずにタッチジェスチャ操作を行った場合に、意図通りの操作情報がタッチジェスチャ判定装置１０ａに入力されないタッチジェスチャ操作の一例を示す図である。図９に示されるように、タッチパネル２０の画面上で第１の回転方向としての時計回りに指で円を繰り返し描くことで選択値を増やし、第１の回転方向の反対方向の第２の回転方向としての反時計周りに指で円を繰り返し描くことで選択値を減らすタッチジェスチャ操作が挙げられる。

タッチパネル２０に目を向けずに指で円を描くと、円を描いているつもりであっても、円の位置が少しずつずれて、移動量Ｍ［pixel］に対する角度変化量Ｈ［pixel］が変化するため予め決められた操作量を得るための調整がしにくくなる。そこで、ジェスチャ補正部１８は、ジェスチャ操作記憶部１７に蓄積されている、現時点から所定時間遡った過去の時点までの期間におけるタッチ軌跡情報を用い、最小二乗法のようなフィッティング方式により円の形状を推測し、円の位置を更新する。円の位置を更新後、ジェスチャ補正部１８は、前回の指の接触点と円の中心位置と現在の指の接触点のなす角度を計算することで、角度の変化量を求める。以上により、図９に示されるように、タッチパネル２０の０画面に目を向けずに円を繰り返し描くタッチジェスチャ操作が実現できる。

ジェスチャ補正部１８は、円の位置を更新するだけでなく、円の形状が楕円である場合、楕円の縦横の縮尺を変更して円とする補正すに座標軌跡を再計算し、前回の指の接触点と円の中心位置と現在の指の接触点のなす角度を計算してもよい。

ジェスチャ補正部１８が円の位置を補正する前については、操作判定部１４が円を描くタッチジェスチャ操作を判定する。この際の、円の初期位置は、タッチパネル２０の画面の中心位置としてもよいし、又は、所定時間分の軌跡から最小二乗法等で求め出してもよい。

図１０は、実施の形態２に係るタッチパネル入力装置２においてタッチパネル２０の画面を見ずに行われるタッチジェスチャ操作の一例を示す図である。操作判定部１４が円を描くタッチジェスチャ操作を判定し始めるトリガとなる操作を、図１０の左側に示すような、複数の指先による複数の接触点のタッチとして、接触する指の数が予め決められた少なくなった場合としてもよい。例えば、図１０のように、３点でタッチ後、接触点が１点になったとき、操作判定部１４は、３点の重心位置（重心点）を中心とし、円を描くタッチジェスチャ操作を判定し始め、以降履歴が予め決められたデータ量以上蓄積されたときに、ジェスチャ補正部１８により、円の位置の更新による回転量の補正を行ってもよい。

画面を見ずに行うことで意図通りにならないタッチジェスチャ操作のもう１つの例として、多点のピンチ、回転、平行移動のタッチジェスチャ操作が挙げられる。図１１は、実施の形態２に係るタッチパネル入力装置２においてカメラの向き、角度、拡縮量について手元のタッチパネル入力装置２を見ずに調整する場面を示す図である。図１１は、カメラの向き及び角度、拡縮量について手元のタッチパネルを見ずに調整する場面を説明している。

図１１において、カメラ映像表示機器４０１は、カメラにより撮影された映像を表示する。これに加え、カメラ映像表示機器４０１には、通知部１５が現在のカメラ操作状況（向き、拡大率、回転角）を重畳して表示する。

手元操作画面４０２は、操作情報入力部１１にタッチ情報を渡し、視線有り状態と視線無し状態の画面の表示を切り替え、操作判定部１４により判定されたタッチジェスチャ操作に応じて画面の表示内容を変更する。

視線有り状態の操作モードにおいて、画面４０３は、視線有無判定部１２が視線有り状態と判定した場合の画面であり、マニュアルを表示し、ハイパーリンクをタップして画面を切り替えるタッチジェスチャ操作が可能である。

視線無し状態の操作モードにおいて、画面４０４は、視線有無判定部１２が視線無し状態と判定した場合の画面である。

視線有無判定部１２は、３点以上のタッチ操作を判定し、指が全て離れる操作があり、予め決められた時間が経過すると、視線有り状態と判定する。操作判定部１４は、３点以上タッチ操作後、拡縮、移動、回転のタッチジェスチャ操作があるか判定し、それぞれの操作量に応じて、拡縮時カメラ映像４０７、移動時カメラ映像４０８、回転時カメラ映像４０９のようなカメラの向きや拡縮量を変えた映像を表示する。

画面を見ずに行うことで意図通りにならないタッチジェスチャ操作のもう１つの例として、タッチパネルを強く押下する操作がある。例えば、視線有り無し判定部が長押しによって視線無し状態と判定する操作をする場合、画面を見ずに長押しすると指を強く押しこむ傾向が表れる。

指を強く押しこむとタッチしている位置が指先から指の腹の方向へ少し移動する傾向がある。そこで、ジェスチャ補正部１８は、表２のタッチジェスチャ操作の履歴情報から、指位置の移動量が一定以上変化しない、あるいは押下圧が弱くなることで移動量が一定以下になることを用いて長押しを判断する。

前記ジェスチャ補正部１８の補正処理は、長押しだけでなく、タップや２点操作の場合にも適用することが可能である。

画面を見ずに拡縮、移動、回転のタッチジェスチャ操作を行う場合、拡大しているつもりであっても、タッチジェスチャ操作が回転操作と誤認識される場合がある。そこで、ジェスチャ補正部１８は、ジェスチャ操作記憶部１７に蓄積されている現時点から所定時間遡った過去の時点までの期間における３点以上の接触点の移動量の合計値、２点の接触点間の距離の変化量の合計値、及び回転方向の変化量の合計値を求め、これら変化量の合計値の内の最も大きい合計値の操作を意図している操作として出力する。以上により、画面を見ずにタッチジェスチャ操作したときでも、意図通りの操作ができるようになる。

《２−３》効果
以上に説明したように、実施の形態２においては、操作判定部１４で認識したジェスチャの履歴を取り、補正することで、画面を見ずに操作することによる意図しない操作を防ぐことができ、かつ、より複雑なタッチジェスチャ操作であっても、画面を見ずにタッチジェスチャ操作することができるようになる。

《３》実施の形態３
《３−１》構成
実施の形態１及び２においては、視線有無判定部１２は、タッチジェスチャ操作に基づく操作情報Ａ０から、視線有無判定（操作モード判定）を行っている。しかし、実施の形態１及び２に係るタッチパネル入力装置１及び２においては、視線有無判定に使用する操作を、本来の情報入力のためのタッチジェスチャ操作として使用することができない。そこで、実施の形態３においては、タッチジェスチャ操作に基づく操作情報Ａ０から視線有無判定（操作モード判定）を行う代わりに、ユーザの顔を撮影する撮影装置としてのカメラを備え、ユーザの顔のカメラ画像から、視線有無判定を行う。

図１２は、実施の形態３に係るタッチパネル入力装置３の概略構成を示す機能ブロック図である。図１２において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。タッチパネル入力装置３は、タッチパネル２０と、タッチジェスチャ判定装置１０ｂとを具備する。タッチジェスチャ判定装置１０ｂは、実施の形態３に係るタッチジェスチャ判定方法及び実施の形態３に係るタッチジェスチャ判定プログラムを実行することができる装置である。実施の形態３におけるタッチジェスチャ判定装置１０ｂは、視線有無判定部１２ｂがカメラ画像入力部１９を通してカメラ３４から取得したユーザの顔のカメラ画像から、視線有無判定（操作モード判定）を行う点が、実施の形態１におけるタッチジェスチャ判定装置１０と相違する。この点を除き、実施の形態３は、実施の形態１と同じである。また、実施の形態３におけるカメラ画像入力部１９及び視線有無判定部１２ｂを、実施の形態２に係るタッチパネル入力装置２に適用することもできる。

カメラ画像入力部１９は、カメラ３４がユーザの顔を撮影することで取得したカメラ画像（画像データ）を受け取る。操作モード判定部としての視線有無判定部１２ｂは、カメラ画像入力部１９からユーザの顔のカメラ画像を受け取り、顔全体及び目の画像データを抽出する画像処理を行い、顔の向き及び目の視線の方向を検出する。目がタッチパネル２０の画面を向いていれば視線有り状態の操作モードであると判定し、目がタッチパネル２０の画面を向いていなければ視線無し状態の操作モードであると判定する。

図１３は、実施の形態３に係るタッチパネル入力装置３のＨ／Ｗ構成の一例を示す図である。図１３において、図２に示される構成要素と同一又は対応する構成要素には、図２に示される符号と同じ符号が付される。実施の形態３に係るタッチパネル入力装置３のＨ／Ｗ構成は、カメラ３４を備えている点及びメモリ３２ｂが格納しているタッチジェスチャ判定プログラムの点において、実施の形態１に係るタッチパネル入力装置１のＨ／Ｗ構成と相違する。これらの点を除いて、実施の形態３のＨ／Ｗ構成は、実施の形態１のものと同じである。

カメラ３４は、カメラ撮影で取得されたユーザの顔のカメラ画像（画像データ）を記憶部としてのメモリ３２ｂに記憶させ、プロセッサ３１は、カメラ画像入力部１９の処理において、メモリ３２ｂからカメラ画像を取得し、視線有無判定部１２ｂにて画像処理を行う。

《３−２》動作
図１４は、実施の形態３に係るタッチパネル入力装置３におけるタッチジェスチャ判定装置１０ｂの動作（タッチジェスチャ判定方法）を示すフローチャートである。図１４において、図４に示される処理ステップと同一又は対応する処理ステップには、図４に示されるステップ番号と同じステップ番号が付される。実施の形態３におけるタッチジェスチャ判定装置１０ｂの動作は、視線有無判定部１２ｂが、カメラ画像入力部１９を通して取得したユーザの顔のカメラ画像から視線有無判定を行う点（ステップＳＴ３０１、ＳＴ３０２）及びカメラ画像に基づく視線有無判定の後にタッチジェスチャ操作による操作情報Ａ０を取得する点（ステップＳＴ３０３）において、実施の形態１におけるタッチジェスチャ判定装置１０の動作と相違する。これらの点を除き、実施の形態３に係るタッチパネル入力装置３の動作は、実施の形態１のものと同じである。したがって、以下に、実施の形態１の動作と異なる動作を説明する。

図１４のステップＳＴ３０１において、カメラ画像入力部１９は、カメラ３４からユーザの顔の画像データを受け取り、メモリ３２ｂにこの画像データを記憶させる。

図１５（ａ）及び（ｂ）は、実施の形態３に係るタッチパネル入力装置３における視線有り状態及び視線無し状態の判定方法を示す図である。ステップＳＴ３０２において、視線有無判定部１２ｂは、図１５（ａ）に示されるようなカメラ画像入力部１９がメモリ３２ｂに記憶させたユーザの顔の画像データを受け取り、顔の向き及び視線を抽出する画像処理を行い、図１５（ｂ）の左側に示されるように、視線がタッチパネル２０の画面に向かう方向を向いていれば、視線有り状態と判定する。また、視線有無判定部１２ｂは、図１５（ｂ）の右側に示されるように、視線がタッチパネル２０の画面に向かう方向を向いていなければ、視線無し状態と判定する。

顔の向きは、例えば、Ｈａａｒ特徴量に基づくＣａｓｃａｄｅ識別器によって検出可能であり、視線は、例えば、顔のパーツである目の部分を抽出し、目の画像に対してエッジフィルタを適用し、虹彩の外径を抽出し、楕円をフィッティングして瞳孔の位置を推測することで検出可能である。顔の向き及び視線の検出方法は、これらの例に限定されず、他の方法を採用してもよい。

《３−３》効果
以上に説明したように、実施の形態３に係るタッチパネル入力装置３、タッチジェスチャ判定装置１０ｂ、タッチジェスチャ判定方法、及びタッチジェスチャ判定プログラムにおいては、カメラ３４のカメラ画像を用いてユーザの視線がタッチパネル２０の画面に向けられている視線有り状態であるか、視線有り状態以外の状態である視線無し状態であるのかを判定することで、ユーザが操作モードの切り替えのためのタッチジェスチャ操作を行わなくても、視線有無判定（操作モード判定）を容易且つ正確に行うことができる。

また、実施の形態３に係るタッチパネル入力装置３、タッチジェスチャ判定装置１０ｂ、タッチジェスチャ判定方法、及びタッチジェスチャ判定プログラムによれば、視線有無判定をカメラ画像に基づいて行うので、本来の情報入力のためのタッチジェスチャ操作において、使用が制限される操作を無くすることができる。

また、実施の形態３に係るタッチパネル入力装置３を搭載した携帯端末装置では、機器を点検する場合又は遠く離れた位置に設置された大画面の表示装置を見る場合において、タッチパネル２０を見ているとき（視線有り状態）は、通常の表示部品を用いたボタン操作によるタッチジェスチャ操作を行うことができ、タッチパネル２０を見ていないとき（視線無し状態）には、タッチパネル２０の画面全体をタッチジェスチャ操作を受け付ける操作有効領域とすることができる。このため、タッチパネル２０を見ていないときは、携帯端末装置を、機器の点検、又は、遠方に設置された大画面の表示装置の操作機器として使うことができる。

上記実施の形態１から３は、本発明の例示であり、本発明の範囲内において、種々の変更が可能である。

１，２，３ タッチパネル入力装置、 １０，１０ａ，１０ｂ タッチジェスチャ判定装置、 １１ 操作情報入力部、 １２，１２ｂ 視線有無判定部（操作モード判定部）、 １３ 操作モード切替部、 １４ 操作判定部、 １５ 通知部、 １６ 表示制御部、 １７ ジェスチャ操作記憶部、 １８ ジェスチャ補正部、 １９ カメラ画像入力部、 ２０ タッチパネル、 ２１ 表示パネル部、 ２２ 操作パネル部、 ３１ プロセッサ、 ３２，３２ｂ メモリ、 ３３ スピーカ、 ３４ カメラ、 １４１ 表示部品ジェスチャ判定部、 １４２ 画面全体ジェスチャ判定部、 Ａ０ 操作情報、 Ａ１ 入力情報、 Ａ２ 視線判定情報、 Ａ３ 命令情報、 Ａ４ 操作判定情報、 Ａ５ 通知情報、 Ａ６ 画像信号、 Ａ７，Ａ８ 選択値（出力信号）、 Ａ９ カメラ画像。

Claims (20)

1. 画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルと、
   前記操作情報を受け取り、前記操作情報に基づく選択値を生成するタッチジェスチャ判定装置と
   を有するタッチパネル入力装置であって、
   前記タッチジェスチャ判定装置は、
   前記タッチジェスチャ操作に対応する入力情報を受け取り、前記入力情報に基づいて、前記タッチジェスチャ操作が、前記ユーザの視線が前記画面に向けられている視線有り状態における操作又は前記ユーザの視線が前記画面に向けられていない視線無し状態における操作のいずれであるかを判定し、前記判定の結果を示す視線判定情報を出力する視線有無判定部と、
   前記視線判定情報に基づく命令情報を出力する操作モード切替部と、
   前記命令情報に従う判定方法で、前記操作情報に基づく前記選択値を生成する操作判定部と、
   前記タッチパネルに、前記操作用画像として前記命令情報に従う画像を表示させる表示制御部と、を有し、
   前記操作判定部は、
   前記視線有り状態のときに、前記タッチパネルに前記操作用画像として表示された表示部品に対して行われたタッチジェスチャ操作に基づく操作情報から前記選択値を決定する表示部品ジェスチャ決定部と、
   前記視線無し状態のときに、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づく操作情報から前記選択値を決定する画面全体ジェスチャ決定部と、を有する
   ことを特徴とするタッチパネル入力装置。
2. 前記タッチジェスチャ判定装置は、前記命令情報に従う通知内容の通知を発する又は通知信号を出力する通知部をさらに有することを特徴とする請求項１に記載のタッチパネル入力装置。
3. 前記視線有無判定部は、前記タッチジェスチャ操作として、前記タッチパネルを予め決められた第１の閾値以上の時間押し続ける長押し操作、前記タッチパネルに複数の指を接触させる複数点操作、及び前記タッチパネルに手の平を接触させる手の平操作の内のいずれかが発生した場合に、前記ユーザの視線が前記視線無し状態であると判定する請求項１又は２に記載のタッチパネル入力装置。
4. 前記視線有無判定部は、前記タッチジェスチャ操作として、前記タッチパネルの表示内容を変化させない操作を予め決められた第２の閾値以上の時間継続した場合に、前記ユーザの視線が前記視線無し状態であると判定する請求項１又は２に記載のタッチパネル入力装置。
5. 前記視線有無判定部は、前記タッチパネルの特定の領域が、予め決められた方向に、前記特定の領域からはみ出さずになぞられる操作が行われた場合に、前記ユーザの視線が前記視線無し状態であると判定する請求項１から４のいずれか１項に記載のタッチパネル入力装置。
6. 前記視線有無判定部は、前記タッチパネルの画面上で特定の軌跡が描かれた場合に、前記ユーザの視線が前記視線無し状態であると判定する請求項１から５のいずれか１項に記載のタッチパネル入力装置。
7. 前記視線有無判定部は、前記タッチパネルの画面上で予め決められた第３の閾値以上の時間操作が無い場合に、前記ユーザの視線が前記視線無し状態であると判定する請求項１から６のいずれか１項に記載のタッチパネル入力装置。
8. 前記視線有無判定部により前記視線無し状態と判定された場合に、
   前記操作判定部は、前記タッチパネルの画面の予め決められた第１端部側の領域をタッチすると前記選択値を増やし、前記タッチパネルの画面の前記第１端部側の反対側である第２端部側をタッチすると前記選択値を減らす
   ことを特徴とする請求項１から７のいずれか１項に記載のタッチパネル入力装置。
9. 前記視線有無判定部により前記視線無し状態と判定された場合に、
   前記操作判定部は、前記タッチパネルの画面上において、前記画面をなぞる操作を行った位置に応じた値を、前記選択値として選択する
   ことを特徴とする請求項１から７のいずれか１項に記載のタッチパネル入力装置。
10. 前記視線有無判定部により前記視線無し状態と判定された場合に、
    前記操作判定部は、前記タッチパネルの画面上を複数の接触点で第１の回転方向に回転する操作を行うことで前記選択値を増やし、前記第１の回転方向の反対方向である第２の回転方向に回転する操作を行うことで前記選択値を減らす
    ことを特徴とする請求項１から７のいずれか１項に記載のタッチパネル入力装置。
11. 前記タッチジェスチャ判定装置は、
    前記タッチジェスチャ操作の履歴情報を記憶するジェスチャ操作記憶部と、
    前記ジェスチャ操作記憶部が記憶する前記履歴情報を基に、前記操作判定部による前記タッチジェスチャ操作の認識を補正するジェスチャ補正部と、
    をさらに有することを特徴とする請求項１から７のいずれか１項に記載のタッチパネル入力装置。
12. 前記視線有無判定部により前記視線無し状態と判定された場合に、
    前記操作判定部は、前記タッチパネルの画面上を複数の接触点で第１の回転方向に回転する操作を行うことで前記選択値を増やし、前記第１の回転方向の反対方向である第２の回転方向に回転する操作を行うことで前記選択値を減らし、
    前記ジェスチャ補正部は、前記回転する操作で描かれた円の位置及び軌跡を補正する
    ことを特徴とする請求項１１に記載のタッチパネル入力装置。
13. 前記タッチパネルの画面上において１つの接触点を移動させて円を繰り返し描く操作の、前記接触点の初期位置は、複数の接触点の重心点又は中心点であることを特徴とする請求項１１に記載のタッチパネル入力装置。
14. 前記視線有無判定部により前記視線無し状態と判定された場合に、
    前記ジェスチャ補正部は、
    前記タッチパネルの画面上で入力された３点以上の接触点の移動量、２点の接触点間の距離の変化量で示される拡縮量、及び回転の角度を、現時点から予め決められた時間遡った時点までの期間について取得し、
    前記接触点の移動量の合計値、前記接触点間の距離の変化量の合計値、及び前記回転の回転方向の変化量の合計値を求め、これら変化量の合計値の内の最も大きい合計値の操作を意図している操作として出力する
    ことを特徴とする請求項１１に記載のタッチパネル入力装置。
15. 前記視線有無判定部により前記視線有り状態と判定された場合に、
    前記タッチパネルの画面に対する複数点のタッチ操作が発生すると、前記操作判定部は、前記選択値を確定する
    ことを特徴とする請求項８、９、及び１２のいずれか１項に記載のタッチパネル入力装置。
16. 前記視線有無判定部により前記視線無し状態と判定された場合に、
    前記タッチパネルの画面に対するダブルタップが発生すると、前記操作判定部は、前記選択値を確定する
    ことを特徴とする請求項１０、１３、及び１４のいずれか１項に記載のタッチパネル入力装置。
17. 前記視線有無判定部により前記視線無し状態と判定された場合に、
    前記タッチパネルの画面に対する操作が予め決められた時間無ければ、前記操作判定部は、前記選択値を確定する
    ことを特徴とする請求項８から１０、１２、及び１４のいずれか１項に記載のタッチパネル入力装置。
18. 画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく選択値を生成するタッチジェスチャ判定装置であって、
    前記タッチジェスチャ操作に対応する入力情報を受け取り、前記入力情報に基づいて、前記タッチジェスチャ操作が、前記ユーザの視線が前記画面に向けられている視線有り状態における操作又は前記ユーザの視線が前記画面に向けられていない視線無し状態における操作のいずれであるかを判定し、前記判定の結果を示す視線判定情報を出力する視線有無判定部と、
    前記視線判定情報に基づく命令情報を出力する操作モード切替部と、
    前記命令情報に従う判定方法で、前記操作情報に基づく前記選択値を生成する操作判定部と、
    前記タッチパネルに、前記操作用画像として前記命令情報に従う画像を表示させる表示制御部と、を有し、
    前記操作判定部は、
    前記視線有り状態のときに、前記タッチパネルに前記操作用画像として表示された表示部品に対して行われたタッチジェスチャ操作に基づく操作情報から前記選択値を決定する表示部品ジェスチャ決定部と、
    前記視線無し状態のときに、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づく操作情報から前記選択値を決定する画面全体ジェスチャ決定部と、を有する
    ことを特徴とするタッチジェスチャ判定装置。
19. 画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく選択値を生成するタッチジェスチャ判定方法であって、
    前記タッチジェスチャ操作に対応する入力情報に基づいて、前記タッチジェスチャ操作が、前記ユーザの視線が前記画面に向けられている視線有り状態における操作又は前記ユーザの視線が前記画面に向けられていない視線無し状態における操作のいずれであるかを判定し、前記判定の結果を示す視線判定情報を出力する視線有無判定ステップと、
    前記視線判定情報に基づく命令情報に従う判定方法で、前記操作情報に基づく前記選択値を生成する操作判定ステップと、
    前記タッチパネルに、前記操作用画像として前記命令情報に従う画像を表示させる表示制御ステップと、
    を有し、
    前記操作判定ステップにおいて、前記視線有り状態のときに、前記タッチパネルに前記操作用画像として表示された表示部品に対して行われたタッチジェスチャ操作に基づく操作情報から前記選択値を決定し、前記視線無し状態のときに、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づく操作情報から前記選択値を決定する
    ことを特徴とするタッチジェスチャ判定方法。
20. コンピュータに、
    画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく選択値を生成するために、
    前記タッチジェスチャ操作に対応する入力情報に基づいて、前記タッチジェスチャ操作が、前記ユーザの視線が前記画面に向けられている視線有り状態における操作又は前記ユーザの視線が前記画面に向けられていない視線無し状態における操作のいずれであるかを判定し、前記判定の結果を示す視線判定情報を出力する視線有無判定処理と、
    前記視線判定情報に基づく命令情報に従う判定方法で、前記操作情報に基づく前記選択値を生成する操作判定処理と、
    前記タッチパネルに、前記操作用画像として前記命令情報に従う画像を表示させる表示制御処理と、
    を実行させ、
    前記操作判定処理において、前記視線有り状態のときに、前記タッチパネルに前記操作用画像として表示された表示部品に対して行われたタッチジェスチャ操作に基づく操作情報から前記選択値を決定し、前記視線無し状態のときに、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づく操作情報から前記選択値を決定する
    ことを特徴とするタッチジェスチャ判定プログラム。

Images