JP6033061B2 - 入力装置およびプログラム - Google Patents

Description

本発明は、タッチパネルに接触した指の情報を検出し、指の接触位置とは異なる位置にある領域を操作対象とする入力装置およびプログラム技術に関する。

従来から、タッチパネルを備えた情報端末装置が知られている。タッチパネルでは、通常、ボタンなどのオブジェクトに対し、接触検知領域が設定されている。ユーザがこの接触検知領域に対して指を接触させることで、ボタン等が反応する。しかし、このような操作方法では、検知領域が指の下に来るため、タッチする際正確な位置が把握できない場合がある。また、遠くのオブジェクトを操作しにくい場合があるため、ジェスチャー操作による画面の拡大、縮小、スライドなど、画面自体を動かすという機能により、操作性改善が図られている。

特許文献１では、複数の指の動作とジェスチャーを対応付けし、操作中に、操作中の軌跡から想定されるガイドを表示することで操作性が向上するユーザインタフェース装置が開示されている。特許文献２では、複数の指の動作だけでなく、タッチパネル上での手のひらや指の開く具合、接触位置を結んで形成される多角形の面積などから操作を切り替える入力装置が開示されている。特許文献３では、手の位置や形状を検出し、手の影に相当する仮想画像を表示し、その仮想手により操作をする装置が開示されている。

一方、非特許文献１は、タッチする指を区別し、区別した指によって異なる意味を持たせるFinger-Specific Interactionを提案している（第7章）。そこでは、大画面向けペイントツール、操作する指によりモードを切り替えるソフトウェアキーボード・音楽プレイヤ、CSCW向けフォトビューア、操作する指も利用するPIN個人認証を提案している（7.6節）。指の識別は、手の上部に設置した可視光カメラとカラーマーカを用いた画像認識に基づいている。また、上記、特許文献以外にも、ジェスチャーによる入力方法は多々提案されている。

特開２０１１−０７０４８９号公報 特開２０１１−００３０７４号公報 特開２０１２−０２２４５８号公報

筑波大学 鈴木優氏 学位論文「併行可能な動作に基づくインタラクション手法の研究」２０１１年３月

しかしながら、特許文献１および２、並びに非特許文献１では、直接的に遠くにあるオブジェクトを操作することは考慮しておらず、あるジャスチャとコマンドを結びつけることにとどまっている。また、特許文献３では、手が画面から遠く離れている時は、手の影が遠い位置にできるため、手から遠い位置にあるオブジェクトの操作に有効であるが、手が画面に接近している場合は通常のタッチパネル操作と違いがない。

本発明は、このような事情に鑑みてなされたものであり、タッチパネルを操作する際、手から遠く離れたオブジェクトの操作性を向上させることができる入力装置およびプログラムを提供することを目的とする。

（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の入力装置は、タッチパネルに接触した指の情報を検出し、指の接触位置とは異なる位置にある領域を操作対象とする入力装置であって、前記検出した指の情報から特徴量を抽出する指情報特徴量抽出部と、前記抽出した特徴量から指示方向を推定する指示方向推定部と、指の接触位置とは異なる位置にある領域を操作対象とする操作制御部と、を備えることを特徴とする。

このように、タッチパネルに接触した指の情報を検出し、検出した指の情報から特徴量を抽出し、抽出した特徴量から指示方向を推定し、指の接触位置とは異なる位置にある領域を操作対象とするので、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。

（２）また、本発明の入力装置は、予め定められた複数の操作モードのうち、前記指の情報および前記推定された指示方向に対応する操作モードを判別する操作モード判別部を備え、前記操作制御部は、前記操作モードの判別結果に基づいて、指の接触位置とは異なる位置にある領域を操作対象とすることを特徴とする。

このように、予め定められた複数の操作モードのうち、前記指の情報および前記推定された指示方向に対応する操作モードを判別する操作モード判別部を備え、前記操作制御部は、前記操作モードの判別結果に基づいて、指の接触位置とは異なる位置にある領域を操作対象とするので、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。

（３）また、本発明の入力装置は、前記指の情報および前記推定された指の向きと操作モードとを関連付けて記憶する操作モード記憶部を更に備えることを特徴とする。

このように、指の情報および推定された指の向きと操作モードとを関連付けて記憶するので、処理速度の向上を図ることができ、その結果、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。

（４）また、本発明の入力装置において、前記操作モードは、前記特徴量並びに検出された指の接触位置の数および推定された各指示方向に基づいて定められることを特徴とする。

このように、操作モードは、特徴量並びに検出された指の接触位置の数および推定された各指示方向に基づいて定められるので、ユーザが複数の指を用いて操作した場合であっても、操作モードを容易に判別することが可能となる。

（５）また、本発明の入力装置において、前記操作制御部は、検出された指の接触面積および推定された指示方向に基づいて線分を定め、前記線分の端点に対応する領域を操作対象とすることを特徴とする。

このように、操作制御部は、検出された指の接触面積および推定された指示方向に基づいて線分を定め、線分の端点に対応する領域を操作対象とするので、操作対象とする領域を一意に特定することが可能となる。その結果、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。

（６）また、本発明の入力装置において、前記操作制御部は、前記操作モードおよび任意の操作に基づいて、前記指示方向に平行な線分を平行移動または回転移動させることを特徴とする。

このように、操作制御部は、操作モードおよび任意の操作に基づいて、前記指示方向に平行な線分を平行移動または回転移動させるので、操作対象とする領域を特定することが可能となる。その結果、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。

（７）また、本発明の入力装置において、前記操作制御部は、前記線分が通過する領域を操作対象とすることを特徴とする。

このように、操作制御部は、線分が通過する領域を操作対象とするので、操作対象とする領域を容易に特定することが可能となる。その結果、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。

（８）また、本発明の入力装置において、前記指示方向推定部は、任意の複数の点から定まる線分に基づいて指示方向を推定することを特徴とする。

このように、指示方向推定部は、任意の複数の点から定まる線分に基づいて指示方向を推定するので、操作対象とする領域を容易に特定することが可能となる。その結果、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。

（９）また、本発明の入力装置において、前記操作制御部は、圧力センサ、力覚センサまたは外部インタフェースから入力される情報および推定された指示方向に基づいて線分を定め、前記線分の端点に対応する領域を操作対象とすることを特徴とする。

このように、操作制御部は、圧力センサ、力覚センサまたは外部インタフェースから入力される情報および推定された指示方向に基づいて線分を定め、線分の端点に対応する領域を操作対象とするので、指の接触面積を検出しなくても、操作対象とする領域を容易に特定することが可能となる。その結果、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。

（１０）また、本発明の入力装置において、前記タッチパネルは、ディスプレイ機能を備えることを特徴とする。

このように、タッチパネルがディスプレイ機能を備えるため、画像を表示する機能を与えると共に、小型化を図ることが可能となり、本発明を携帯端末等に適用することが可能となる。

（１１）また、本発明のプログラムは、タッチパネルに接触した指の情報を検出し、指の接触位置とは異なる位置にある領域を操作対象とする入力装置のプログラムであって、前記検出した指の情報から特徴量を抽出する処理と、前記抽出した特徴量から指示方向を推定する処理と、予め定められた複数の操作モードのうち、前記指の情報および前記推定された指の向きに対応する操作モードを判別する処理と、前記操作モードの判別結果に基づいて、指の接触位置とは異なる位置にある領域を操作対象とする処理と、の一連の処理をコンピュータに実行させることを特徴とする。

このように、タッチパネルに接触した指の情報を検出し、検出した指の情報から特徴量を抽出し、抽出した特徴量から指示方向を推定し、予め定められた複数の操作モードのうち、指の情報および推定された指の向きに対応する操作モードを判別し、操作モードの判別結果に基づいて、指の接触位置とは異なる位置にある領域を操作対象とするので、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。

本発明によれば、タッチパネルに接触した指の情報を検出し、検出した指の情報から特徴量を抽出し、抽出した特徴量から指の向きを推定し、予め定められた複数の操作モードのうち、指の情報および推定された指示方向に対応する操作モードを判別し、操作モードの判別結果に基づいて、指の接触位置とは異なる位置にある領域を操作対象とするので、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。

本実施形態に係る入力装置の概略構成を示すブロック図である。 指の検出角度および意図する指の向きを示す図である。 第１の実施形態に係る入力装置の動作を示すフローチャートである。 操作モード判別の動作例を示すフローチャートである。 操作モード１および２を示す図である。 操作方法２における長さの調整の一例を示す図である。 操作モード３を示す図である。 操作モード４および５を示す図である。 領域選択を示す図である。 ３Ｄに適応する操作モードの一例を示す図である。 ２本の指の成す線分を延長した方向を示す方向とする例を示す図である。 スマートフォンにおける文字入力選択や候補文字選択へ応用した例を示す図である。 小型ディスプレイと大型ディスプレイを連携させた状態を示す図である。 本実施形態に係る入力装置を大型ディスプレイに適用した例を示す図である。 本発明をゲームに適用した場合の表示例を示す図である。 キーボードの画面表示例を示す図である。

本発明の実施形態に係る入力装置は、タッチパネルを操作する際に、手から遠く離れたオブジェクトの操作性向上のために、第一指の接触面を検出し、第一指の示す方向とその他の指のジェスチャー操作によりタッチパネルへの指の接触点から離れた位置でも操作可能な機能を有する。また、接触面の数や切り替え等で複数の操作が可能となる機能を有する。

図１は、本実施形態に係る入力装置の概略構成を示すブロック図である。図１において、表示部１は、種々操作画面を表示する。表示部１の水平方向をＸ方向、垂直方向をＹ方向と記す。タッチパネル入力部３は、ユーザがタッチパネルにより入力を行う。ユーザがタッチした一点また複数の点のタッチ座標情報を取得する。指形状情報取得部５は、操作中の指の形状情報を取得する。取得方法は、例えば、ＦＴＩＲ（Frustrated Total Internal Reflection）による接触部の取得を挙げるが、手段は限らない。

指情報特徴量抽出部７は、指形状情報取得部５から取得した指形状情報から、特徴量を抽出する。指方向推定部９は、抽出した特徴量から指の向きを推定する。この指方向推定部は、指示方向推定部を構成する。操作モード判別部１１は、指情報特徴量抽出部７の情報から、操作モードを判別する。操作制御部１３は、操作を制御する。特に、操作モードの判別結果に基づいて、指の接触位置とは異なる位置にある領域を操作対象とする。表示制御部１５は、操作制御部１３からの情報を表示部に反映させる。操作モード記憶部１７は、指情報特徴量抽出部７の情報と操作モードの関係を記憶する。

［第１の実施形態］
第１の実施形態では、指の形状情報が取得できる場合について説明する。第１の実施形態では、外部カメラとカラーマーカなしで指の識別を可能とするために、ＦＴＩＲに基づく指の接触面の形状情報の検出が可能なタッチパネルを利用する。これにより、図２に示す接触面が示す楕円の長軸よりユーザの指の方向（指示方向）が判別可能になる。また、楕円の長軸とユーザの示す向きは必ずしも一致しないため、補正をかけてもよい。

図３は、第１の実施形態に係る入力装置の動作を示すフローチャートである。まず、タッチ入力の位置を取得する（ステップＳ１）。また、ユーザのタッチ入力時に、タッチした指の本数、各指のタッチ座標、指の形状情報の時系列情報を取得する（ステップＳ２）。次に、指情報特徴量を抽出する（ステップＳ３）。ここでは、指の形状情報より特徴量を抽出する。特徴量としては、それぞれの指の接触面積Ｓ、円周ｌ、近似楕円の長軸・短軸長ｄｍａｘ，ｄｍｉｎ、接触面積ΔＳ・円周の変化Δｌなどである。

次に、操作モード判別・制御を行なう（ステップＳ４）。タッチした指の接触点の数、各指のタッチ座標、各指の長軸のなす角、座標とそれらの距離などから操作モードを判別し、モードに応じた入力制御を行う。判別は、後述するフローチャートで示されるようにある条件に基づいてモードを切り替える手法のみならず、SVMやHMMなどのパターン認識を利用し、そのモデルはユーザによって切り替えたり、学習したものを用いてもよい。また指の特徴量、ジェスチャーなどを用いてユーザ識別を行い、ユーザごとに条件・モデルを切り替えても良い。

次に、操作モードＮの操作制御を行ない（ステップＳ５）、表示部１への操作結果を反映させる（ステップＳ６）。次に、操作を終了したかどうかを判断し（ステップＳ７）、操作を終了していない場合は、ステップＳ１へ遷移する。一方、ステップＳ７において、操作を終了した場合は、終了する。

図４は、図３における操作モード判別の動作例を示すフローチャートである。まず、接触指の本数を検出する（ステップＴ１）。ここで、<接触点が１点である場合>、接触面積について、Ｓ_１とＳ_αの大小を判定する（ステップＴ２）。Ｓ_１＜Ｓ_αである場合は、通常のタッチ操作と判定する（ステップＴ３）。一方、Ｓ_１＜Ｓ_αでない場合は、すなわち、第一指の示す方向のみで操作する場合は、操作モードを１とし（ステップＴ４）、指が示す方向にβ_１×Ｓ_１ピクセルだけ線分を伸長し、端点の位置を操作対象とする（ステップＴ５）。

図５に示すように、指の示す方向に、指の指し示す方向に線分が伸び、その端点を操作対象となる機能を有する。他の線分長Ｌは、指の面積Ｓ_１による関数から定まるものとする。例えば、Ｌ＝β_１×Ｓ_１である。

次に、ステップＴ１において、<接触点が２点である場合>、各接触面が示す楕円の長軸の交点がなす角度について、θ_１＞θ_αを判定する。θ_１＞θ_αである場合は、操作モードを２とする（ステップＴ７）。操作モード２は、２本指間の距離による長さの変化である。第一指が示す方向にβ_２×ｄ（２点間の距離）だけ線分を伸長し、端点を操作対象とする（ステップＴ８）。図５に示すように、第一の指と第二の指の距離ｄを変数とする関数より長さＬが定まるものとする。変数は距離に加えて第一指および第二指の座標（ｘｉ，ｙｉ）を含んでもよい。例えば、Ｌ＝β２×ｄである。図６に示すように、画面内だけでなく画面外のインタフェースの操作による決定してもよい。

ステップＴ６において、θ_１＞θ_αでない場合は、操作モードを３とする（ステップＴ９）。操作モード３は、指をつまむようなジェスチャーをした場合である。各指が示す方向にβｉ×Ｓｉピクセルだけ線分を伸長し、端点を操作対象とする（ステップＴ１０）。指をつまむようなジェスチャーの場合、図７に示すように、第一指、第二指の各々の示す方向に線分が伸び、端点を操作対象となる機能を有する。線分の長さは、各々の指の面積Ｓｉによる関数から定まるものとする。例えば、Ｌｉ＝βｉ×Ｓｉである。

ステップＴ１において、＜接触点が３点である場合＞は、各接触面が示す楕円の長軸の交点が成す角度について、θ_２＞θ_αを判定する。θ_２＞θ_αである場合、すなわち、図８の左側に示すように、操作モード２の始点をもう一本の指で操作する場合は、操作モードを４とする。操作モード２において、始点を第三指のスライド量だけ移動させる（ステップＴ１３）。移動距離は、第三指の移動距離ｄ３による関数から定まるものとする。

ステップＴ１１において、θ_２＞θ_αでない場合、すなわち、図８の右側に示すように、操作モード３の始点をもう一本の指で操作する場合は、操作モードを５とする（ステップＴ１４）。操作モード３において、始点を第三指のスライド量だけ移動させる（ステップＴ１５）。移動距離は第三指の移動距離ｄ３による関数から定まるものとする。

ステップＴ１において、＜接触点が４点以上（Ｎ本）である場合＞や、<その他操作モード>では、例えば、図９に示すように、エリア選択として、操作モード1〜5において線分領域が通過した領域を選択する場合のモードである。

また、他の操作モードの例として、図１０に示すように、画面の3D表示の操作において、上記操作モードに加え、奥行き方向に対しても操作をするモードがあげられる。

機能の切り替えは他指操作または、装置本体に設けられた何らかのボタン操作で切り替えるものとする。

［第２の実施形態］
第２の実施形態では、指の形状情報が取得できない場合について説明する。第２の実施形態では、指の接触点の数とモードの対応付けを変更して定義する。例えば、操作モード１ (線分の伸縮)の定義変更である。指の向きを検出できない場合、図１１に示すように、２本の指の成す線分を延長した方向を示す方向とする。線分長の変更はタッチ操作時の圧力またはその他外部操作で行う。

また、操作モード２の定義変更である。２点をタッチして方向を確定，2点間距離で長さを変更する。

（その他特徴量を用いた判別）
上記第１の実施形態または第２の実施形態の操作では、指の面積を使ったが、その他の特徴量を用いてもよい。特徴量としては、例えば、接触面積Ｓ、円周ｌ、近似楕円の長軸・短軸長ｄｍａｘ、ｄｍｉｎ、接触面積ΔＳ・円周の変化Δｌ、タッチ座標、これらの時系列データ、またはその他センサから得られる情報を用いてもよい。その他のセンサとしては、例えば、圧力センサ，力覚センサなどがある。

本実施形態において、モードの分類は、上記条件に示した指の本数でなく、指の本数、指の角度、指間の距離から判別されるものでもよく、片手操作，両手操作による差異を含む分類でも構わない。

また、図１１に示すように、大型ディスプレイの場合、複数のユーザが操作するケースがあり、上記のような特徴量等からユーザ数を判別し、それぞれのユーザの操作を適用してもよい。

（モードの切り替え）
上記実施例では、モード切替をするために特徴量を用いたが、デバイスのボタンまたは画面上の選択画面でモードを選択してもよい。

（アプリケーション操作例）
図１２は、スマートフォンにおける文字入力選択や候補文字選択へ応用した例を示す図である。通常、文字入力がアクティブになる位置は、その位置にタッチすることで選択される。この場合、わざわざその位置をタッチしなければいけない点や、アクティブになる位置が指の下のため細かい調整が難しい点など不便を要する。そこで、本発明を適用することによって、指を大きく動かすことなく、アクティブにする位置を設定できる。

そして、アクティブにした位置で、描画ツール、画面の整理、まとめて選択して消去、整理、ドラック等の機能を発揮させることが可能となる。

図１３は、小型ディスプレイと大型ディスプレイを連携させた状態を示す図である。バーコードでディスプレイ端の位置関係をカメラ画像等から取得し、小型ディスプレイで操作モードに応じた操作が、大型ディスプレイの操作に反映されるという例である。この場合、通信部、位置推定部が必要となる。これを実施するためには既存技術を用いることが可能である。

また、図１４に示すように、大型ディスプレイ内のある領域を操作領域とし、この操作領域を用いて、操作の縮尺を変えて、大型ディスプレイの操作に反映する構成を採っても良い。

図１５は、本発明をゲームに適用した場合の表示例を示す図である。図１５では、敵の撃墜型のゲームを示している。このように、ゲームの操作を行なう場合においても、本発明を適用することが可能である。

図１６は、キーボードの画面表示例を示す図である。図１６に示すように、暗証番号などによるセキリュティへの応用が考えられる。暗証番号入力において、ユーザのタッチ位置と、指示位置、線分の通過位置、選択領域のいずれかを含むことが可能である。

以上説明したように、本実施形態によれば、タッチパネルに接触した指の情報を検出し、検出した指の情報から特徴量を抽出し、抽出した特徴量から指の向きを推定し、予め定められた複数の操作モードのうち、指の情報および推定された指の向きに対応する操作モードを判別し、操作モードの判別結果に基づいて、指の接触位置とは異なる位置にある領域を操作対象とするので、タッチパネル上で指から離れた位置にある領域の操作性を向上させることが可能となる。

１ 表示部
３ タッチパネル入力部
５ 指形状情報取得部
７ 指情報特徴量抽出部
９ 指方向推定部
１１ 操作モード判別部
１３ 操作制御部
１５ 表示制御部
１７ 操作モード記憶部

Claims (8)

1. タッチパネルに接触した指の情報を検出し、指の接触位置とは異なる位置にある領域を操作対象とする入力装置であって、
   前記検出した指の情報から特徴量を抽出する指情報特徴量抽出部と、
   前記抽出した特徴量から指示方向を推定する指示方向推定部と、
   予め定められた複数の操作モードのうち、前記指の情報および前記推定された指示方向に対応する操作モードを判別する操作モード判別部と、
   前記指の情報および前記推定された指示方向と操作モードとを関連付けて記憶する操作モード記憶部と、
   前記特徴量と前記操作モードに対応して定められた関数から定まる線分の長さと、前記指示方向から特定される、指の接触位置とは異なる位置にある領域を操作対象とする操作制御部と、を備えることを特徴とする入力装置。
2. 前記操作モードは、前記特徴量並びに検出された指の接触位置の数および推定された各指示方向に基づいて定められることを特徴とする請求項１記載の入力装置。
3. 前記操作制御部は、検出された指の接触面積および推定された指示方向に基づいて線分を定め、前記線分の端点に対応する領域を操作対象とすることを特徴とする請求項１記載の入力装置。
4. 前記操作制御部は、前記操作モードおよび任意の操作に基づいて、前記指示方向に平行な線分を平行移動または回転移動させることを特徴とする請求項１記載の入力装置。
5. 前記操作制御部は、前記線分が通過する領域を操作対象とすることを特徴とする請求項４記載の入力装置。
6. 前記指示方向推定部は、任意の複数の点から定まる線分に基づいて指示方向を推定することを特徴とする請求項１記載の入力装置。
7. 前記操作制御部は、圧力センサ、力覚センサまたは外部インタフェースから入力される情報および推定された指示方向に基づいて線分を定め、前記線分の端点に対応する領域を操作対象とすることを特徴とする請求項１記載の入力装置。
8. タッチパネルに接触した指の情報を検出し、指の接触位置とは異なる位置にある領域を操作対象とする入力装置のプログラムであって、
   前記検出した指の情報から特徴量を抽出する処理と、
   前記抽出した特徴量から指示方向を推定する処理と、
   予め定められた複数の操作モードのうち、前記指の情報および前記推定された指示方向に対応する操作モードを判別する処理と、
   前記特徴量と前記操作モードに対応して定められた関数から定まる線分の長さと、前記指示方向から特定される、指の接触位置とは異なる位置にある領域を操作対象とする処理と、の一連の処理をコンピュータに実行させることを特徴とするプログラム。

Images