JP5730866B2 - 情報入力装置、情報入力方法及びプログラム - Google Patents

情報入力装置、情報入力方法及びプログラム Download PDF

Info

Publication number
JP5730866B2
JP5730866B2 JP2012518221A JP2012518221A JP5730866B2 JP 5730866 B2 JP5730866 B2 JP 5730866B2 JP 2012518221 A JP2012518221 A JP 2012518221A JP 2012518221 A JP2012518221 A JP 2012518221A JP 5730866 B2 JP5730866 B2 JP 5730866B2
Authority
JP
Japan
Prior art keywords
touch
user
unit
information
touch sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012518221A
Other languages
English (en)
Other versions
JPWO2011151988A1 (ja
Inventor
良宏 小島
良宏 小島
知成 高橋
知成 高橋
池田 洋一
洋一 池田
久美 原田
久美 原田
山内 真樹
真樹 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2012518221A priority Critical patent/JP5730866B2/ja
Publication of JPWO2011151988A1 publication Critical patent/JPWO2011151988A1/ja
Application granted granted Critical
Publication of JP5730866B2 publication Critical patent/JP5730866B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、電子機器のGUI画面を操作する情報入力装置等に関し、特に、タッチセンサを用いてGUI画面を操作するクリッカブルタッチセンサを備えた情報入力装置等に関する。
PCや携帯電話等のディスプレイを備えた電子機器において、ディスプレイに表示されたGUI(Graphical User Interface)画面を操作する入力デバイスの一つとして、タッチパッド等のタッチセンサがよく知られている。タッチセンサを用いた情報入力装置では、ユーザがタッチセンサを指でなぞることにより、GUI画面上のカーソルを移動させることができ、ユーザの指の動きに応じた直感的なGUI操作を行うことができる。
ところで、一般的なGUI操作においては、画面上のカーソルを移動させる位置入力操作以外に、画面上のアイコンやボタン等のオブジェクトを確定する操作、例えば、マウスの左クリックに代表されるような操作が必要となる。
そこで、従来のタッチセンサを用いた情報入力装置では、このようなオブジェクトを確定する操作を、タッチセンサの近くに配置されたボタンを一回又は二回押下する操作や、タッチセンサの表面を軽く一回叩く、又は、二回叩く操作で実現してきた。
例えば、画面上の任意のアイコンを選択し、確定(実行)する操作は、まず、指でタッチセンサの表面をなぞって画面上のカーソルを目的のアイコンまで移動させた後、一度指をタッチセンサから離して、タッチセンサの近くに配置されたボタンを二回押す、又は、タッチセンサの表面を軽く二回叩くという操作で実現している。
しかし、この場合、ユーザは、タッチセンサから少なくとも一度は指を離す必要があり、ユーザは連続的かつ自然な指の操作を行うことができないという問題があった。
そこで、上記のような一般的なタッチセンサの操作性を向上させる方法の一つとして、タッチセンサを上下に可動するように構成し、タッチセンサの真下にメカニカルなスイッチを配置したクリッカブルタッチセンサが知られている(特許文献1参照)。
クリッカブルタッチセンサを用いると、GUI画面上のオブジェクトを選択・確定する操作は、タッチセンサを下方に押して、真下にあるスイッチを押し込む操作で実現できる。例えば、GUI画面上の任意のアイコンを選択し、確定(実行)する操作は、ユーザは、タッチセンサの表面をなぞって、画面上のカーソルを目的のアイコンまで移動させた後、タッチセンサをそのまま下方に押し込む操作で実現できる。
つまり、クリッカブルタッチセンサを用いた情報入力装置では、ユーザは指をタッチセンサから離さずに連続的かつ自然な操作を行うことが可能であり、従来のタッチセンサに比べ、ユーザの操作感を向上させることができる。
しかし、操作感が向上する一方で、クリッカブルタッチセンサでは、タッチセンサの下にあるスイッチを指で押し込むときに、その押圧力によってユーザの指が横にぶれ、カーソルの位置がずれてしまう場合(以下、押しぶれと呼ぶ)がある。
特に、画面上のオブジェクトのサイズが小さく、かつ、隣接するオブジェクトの間が狭い場合には、カーソルの位置が少しでもずれると、目的のオブジェクトの近傍にあるオブジェクトが選択・確定されてしまうので、誤操作が頻繁に生じることになる。
そこで、上記クリッカブルタッチセンサの押しぶれの問題を解決するため、特許文献2では、ユーザの指の操作の押圧力により変形可能な可撓性のあるタッチセンサを用いた情報入力装置を用いた押しぶれ防止方法が提案されている。
図18は、前記特許文献2に記載された従来の押しぶれ防止機能を備えたクリッカブルタッチセンサによる、情報入力システムである。
図18に示すように、情報入力システムは、クリッカブルタッチセンサ100と、タッチ情報検出部103と、画面表示装置500と、カーソル位置算出部106と、カーソル表示制御部108と、オブジェクト配置記憶部109と、オブジェクト表示制御部111と、オブジェクト選択検出部112と、オブジェクト確定部113と、カーソル移動無効化部114とを備える。
クリッカブルタッチセンサ100は、タッチセンサ101とメカニカルなスイッチ102から構成されている。
タッチセンサ101は、ユーザの指の押圧力により、押圧方向に変形可能な可撓性のあるデバイスから成り、ユーザの指の押圧力の大きさに従って、検出されるタッチ位置の数が増える特性をもつ。
スイッチ102は、タッチセンサ101の操作面から見て垂直方向の真下(すなわち、タッチセンサ101の裏側)に配置されており、ユーザがある一定値以上の押圧力でタッチセンサ101を下方に押すと、スイッチ102も押し込まれ、スイッチ102がONされる。
タッチ情報検出部103は、ユーザの指がタッチセンサ101に接触したときのタッチ位置やタッチセンサ101への押圧力に対応するタッチ位置の数を検出する。
画面表示装置500は、液晶ディスプレイ等の表示画面を備えている。画面表示装置500が備える表示画面には、クリッカブルタッチセンサ100によって操作される電子機器の操作用画面であるGUI画面が表示される。
カーソル位置算出部106は、画面表示装置500に表示されるGUI画面上でのカーソルの位置を求める。
カーソル表示制御部108は、カーソル位置算出部106で算出されたカーソル位置に基づいて、GUI画面にカーソルを表示する。
オブジェクト配置記憶部109は、GUI画面上に、アイコン、ボタン、メニュー等のオブジェクトをどのように配置するかを示す各オブジェクトの配置情報が記憶されている。
オブジェクト表示制御部111は、オブジェクト配置情報に基づき、GUI画面に各オブジェクトを表示する。
オブジェクト選択検出部112は、カーソルの位置に基づいて、GUI画面に表示された複数のオブジェクトの中で、ユーザが現在選択しているオブジェクトを検出する。 オブジェクト確定部113は、ユーザがクリッカブルタッチセンサ100のスイッチ102を押下したときに、オブジェクト選択検出部112によって検出されたオブジェクトを確定する。
カーソル移動無効化部114は、ユーザが現在選択しているオブジェクトに対し確定操作を行う際、ユーザがタッチセンサ101を押下することによりスイッチ102がONされて、押下情報が出力される前に、ユーザの押し込み操作を検出し、押し込み操作を検出してからスイッチ102がOFFされるまで、GUI画面のカーソル移動を無効化する。
また図19は、従来の情報入力装置におけるGUI画面の外観図である。
図19に示すように、画面表示装置500には、電子機器を操作するためのGUI画面105が表示される。
GUI画面105にはカーソル107と、オブジェクト110(a)〜オブジェクト110(c)が表示される。
カーソル107は、GUI画面105に表示され、情報入力装置によりポインタとして操作される。
以上のように構成された従来の押しぶれ防止機能を備えたクリッカブルタッチセンサによる情報入力システムについて、以下、その動作を説明する。
ここでは、図19を参照して、画面表示装置500が表示するGUI画面105に配置されたオブジェクト110(a)〜110(c)に対し、ユーザが目的のオブジェクト110(b)を選択し、確定(実行)する一連の動作について説明する。
ユーザが、GUI画面105に表示されたカーソル107を移動させるために、タッチセンサ101をなぞると、タッチ情報検出部103は、ユーザの指がタッチセンサ101にタッチしている位置を検出する。
カーソル位置算出部106は、タッチ情報検出部103から得られたタッチ位置に基づいて、GUI画面105に表示するカーソル107の位置を求める。
カーソル表示制御部108は、カーソル位置算出部106から得られたカーソル位置に基づいて、GUI画面105にカーソル107を表示する。
また、オブジェクト選択検出部112は、GUI画面105に表示されている各オブジェクト110(a)〜110(c)の配置情報をオブジェクト配置記憶部109から読み出して、カーソル位置算出部106から得られたカーソル位置と比較することによって、カーソル107が各オブジェクト110(a)〜110(c)の表示領域上にあるかどうかを判定する。
例えば、図19のGUI画面105に示すように、カーソル107がオブジェクト110(b)の表示領域上にある場合、オブジェクト選択検出部112は、カーソル107がオブジェクト110(b)の表示領域上にあると判定し、オブジェクト110(b)の識別番号をオブジェクト表示制御部111に出力する。
オブジェクト表示制御部111は、オブジェクト選択検出部112からオブジェクト110(b)の識別番号が入力されると、オブジェクト110(b)の表示、例えば、サイズや色等を変更し、ユーザに対し、オブジェクト110(b)が選択されたことを提示する。
さらに、ユーザが選択したオブジェクト110(b)を確定するために、タッチセンサ101を押し込んで、スイッチ102をONすると、スイッチ102は押下情報をオブジェクト選択検出部112に出力する。
オブジェクト選択検出部112は、スイッチ102から押下情報を入力された時は、検出したオブジェクト110(b)の識別番号をオブジェクト確定部113に出力する。
オブジェクト確定部113は、オブジェクト選択検出部112からオブジェクト110(b)の識別番号が入力されると、オブジェクト110(b)をユーザが確定したとみなし、その識別番号をオブジェクト表示制御部111に出力するとともに、そのオブジェクトに対応する確定処理を実行する。
オブジェクト表示制御部111は、オブジェクト確定部113からオブジェクト110(b)の識別番号が入力されると、オブジェクト110(b)の表示、例えば、サイズや色等を変更し、ユーザに対し、オブジェクト110(b)が確定されたことを提示する。
なお、上記で説明したように、タッチセンサ101は押圧方向に変形可能な可撓性のあるデバイスで構成されているので、タッチ情報検出部103は、ユーザの指がタッチセンサ101に軽くタッチした場合には、タッチ位置を1点しか検出しないが、ある一定以上の力で押し込んだ場合には、その押圧力に応じたタッチ位置を複数点検出することができる。
カーソル移動無効化部114は、タッチ情報検出部103から得られるタッチ位置の数が所定の値より大きいかどうかを判定し、もし、大きい場合には、カーソル移動無効化情報をカーソル位置算出部106に出力する。
カーソル位置算出部106は、カーソル移動無効化情報が入力されると、入力された時点からカーソル107の位置を変更せず、無効化情報が入力される前のカーソル107の位置を保持しつづける。
つまり、従来例では、ユーザがタッチセンサ101にある一定以上の押圧力を加えた時点で、ユーザがスイッチ102を押し込む操作をしようとしていると判定し、その時点以降のカーソル107の位置変更を無効化する。
従って、スイッチ102を押し込むときの押圧力によってユーザの指が横にぶれたとしても、カーソルの位置は押し込む前の位置を保持しているので、カーソル107の位置は横にずれること、つまり、押しぶれが生じることはない。
特開2000−311052号公報 特許第4020246号公報
しかしながら、前記従来の構成では、ユーザの指がスイッチ102を押し込もうとしている操作の検出を、タッチセンサ101への押圧力のみに基づいて行っているので、ユーザが、指でタッチセンサ101を素早くなぞっている時でも、指に少しでも余計な力が入ると、カーソル移動無効化部114が、スイッチ102への押し込み操作と判定し、カーソル移動操作を無効化してしまう場合があった。
特に、クリッカブルタッチセンサ100の操作に不慣れなユーザは、タッチセンサ101を軽くなぞるという操作が容易でないので、たびたび、カーソル107の移動操作が無効化、つまり、中断されるという課題があった。
また、従来の構成では、クリッカブルタッチセンサ100の押しぶれを防止するためには、タッチ情報検出部103が、タッチセンサ101をユーザの指が下方に押し込む押圧力に応じた情報、つまり、タッチ位置の数を検出できることが必要である。
よって、押圧力に応じてタッチ位置の数が変化しないタッチセンサを用いた場合には、押しぶれを防止することができないという課題もあった。
つまり、従来例では、タッチセンサ101が、ユーザの指の押圧力により変形可能な可撓性のあるデバイスで構成されているので、ユーザがある一定以上の押圧力を加えると、タッチセンサ101から複数のタッチ位置が検出できるが、例えば、指とデバイスの静電容量値の変化を用いて、タッチ位置を求める静電容量方式のタッチセンサでは、押圧力に応じた情報を得ることができず、押しぶれを防止することができないという課題がある。
本発明は、前記従来の課題を解決するもので、ユーザの指の押圧力に応じた情報を使用せずに、クリッカブルタッチセンサにおける押しぶれの問題を解決できる情報入力装置を提供することを目的とする。
上記従来の課題を解決するために、本発明のある局面に係る情報入力装置は、クリッカブルタッチセンサを備えた情報入力装置であって、前記クリッカブルタッチセンサは、上下動可能に構成されたタッチセンサと、前記タッチセンサの操作面から見て垂直下方向に配置され、ユーザが前記タッチセンサを押し込むことにより押下されるスイッチとを備えており、前記情報入力装置は、前記ユーザの指が前記タッチセンサに接触したときのタッチ情報を検出するタッチ情報検出部と、事前に定められた特定時間の間、前記タッチ情報を記憶するタッチ情報系列記憶部と、前記スイッチが押下された時に、前記タッチ情報系列記憶部に記憶された複数の前記タッチ情報に基づいて、前記ユーザが前記タッチセンサを押し始めたときの押下開始位置を推定する押下開始位置推定部とを備える。
この構成によると、ユーザがオブジェクトの確定操作を行うために、クリッカブルタッチセンサのスイッチを押下したとき、押下開始位置推定部が、タッチ情報系列記憶部に記憶されたタッチ情報に基づいて、本来ユーザが押下したかった位置を推定する。この推定位置を、スイッチが完全に押下された位置に代わる真の押下位置として使用することにより、操作性を向上させた押しぶれ防止機能付きの情報入力装置を提供できる。また、この押下開始位置の推定は、タッチ情報系列記憶部に記憶された複数のタッチ位置及びその時刻から算出できるため、ユーザの指の押圧力に応じた情報を出力できない一般的なタッチセンサを用いた押しぶれ防止機能付きの情報入力装置を提供できる。
また、好ましくは、前記情報入力装置は、さらに、前記タッチ情報系列記憶部に記憶された前記タッチ情報、及び、前記押下開始位置推定部によって推定された前記押下開始位置のいずれかに基づいてGUI(Graphical User Interface)画面上のカーソルの位置を算出するカーソル位置算出部を備えてもよい。
さらに、好ましくは、前記情報入力装置は、さらに、前記GUI画面上に少なくとも1以上のオブジェクトを配置する領域を示すオブジェクト配置情報が記憶されているオブジェクト配置記憶部と、前記オブジェクト配置記憶部から取得した前記オブジェクト配置情報に基づいて、前記GUI画面上に前記少なくとも1以上のオブジェクトを表示するオブジェクト表示制御部と、前記オブジェクト配置情報と前記カーソル位置算出部から得られる前記カーソル位置とに基づいて、前記少なくとも1以上のオブジェクトのうち前記ユーザに選択されているオブジェクトを検出するオブジェクト選択検出部とを備えてもよい。
また、前記情報入力装置は、さらに、前記オブジェクト選択検出部により検出された前記オブジェクトの配置情報と前記カーソル位置算出部から得られる前記カーソル位置とに基づき、前記押下開始位置推定部が前記押下開始位置を推定するかどうかを決定する押しぶれ補正制御部を備えてもよい。
この構成によると、押下開始位置の推定が必要であるか否かを判断し、必要な場合にのみ押下開始位置の推定処理を実行することができる。したがって、入力操作全体の応答速度を向上させることが可能である。特に、GUI画面上でのオブジェクトのサイズが、押しぶれによる最大ぶれ幅に比べ、十分大きい場合には、押しぶれによる誤操作が生じる可能性は低いので、実施の形態1に比べ、入力操作全体の応答速度を大きく向上させることが可能である。
また、前記情報入力装置は、さらに、前記オブジェクト選択検出部により検出された第1のオブジェクトと当該第1のオブジェクトの近傍にある少なくとも一つ以上の第2のオブジェクトとの配置情報に基づき、前記押下開始位置を推定するかどうかを決定する押しぶれ補正制御部を備えてもよい。
これにより、選択されているオブジェクトとその近傍にあるオブジェクトの配置関係に基づいて、押しぶれ補正処理を行うかどうかを判定する閾値を押しぶれ補正制御部が動的に変更することにより、押しぶれによる誤操作のより少ない、応答速度に優れた情報入力装置を提供することができる。
また、好ましくは、前記押下開始位置推定部は、前記スイッチが押下されたときに、前記タッチ情報系列記憶部に記憶された複数の前記タッチ情報に基づいて、前記ユーザの指が前記タッチセンサを押し始めたときの押下開始時刻を推定する押下開始時刻推定部と、前記タッチ情報系列記憶部に記憶されている前記タッチ情報を参照し、前記押下開始時刻に、前記ユーザの指が前記タッチセンサに接触していた位置を求めるタッチ位置決定部とを備えてもよい。
具体的には、前記押下開始時刻推定部は、前記タッチ情報系列記憶部に記憶された複数の前記タッチ情報に基づいて、前記タッチセンサ上での前記ユーザの指の移動量を少なくとも一種類以上求める移動量算出部と、前記少なくとも一種類以上の移動量を用いて、前記ユーザの指の動きが停止した時刻を推定する停止時刻検出部とを備えてもよい。
より具体的には、前記タッチ情報は、前記ユーザの指が前記タッチセンサに接触した位置であるタッチ位置を含んでおり、前記移動量算出部は、前記複数のタッチ情報に含まれる第1のタッチ位置と第2のタッチ位置との距離から、前記移動量として前記ユーザの指の移動速度を算出し、前記停止時刻検出部は、前記移動速度が事前に定められた特定の値以下となった時刻を、前記ユーザの指の動きが停止した時刻として求め、この時刻を前記押下開始時刻として推定してもよい。
これにより、ユーザがタッチセンサ上で操作する指の移動速度が初めて閾値以下となった座標をもって、本来ユーザが押下したかった押下開始位置であると推定し、この推定位置でクリッカブルタッチセンサがクリックされたものして処理を行うことができる。したがって、ユーザの指の押圧力に応じた情報を出力できない一般的なタッチセンサを用いて、従来よりも操作性を向上させた押しぶれ防止機能付きの情報入力装置を提供できる。
また、前記押下開始時刻推定部は、さらに、前記タッチ情報系列記憶部に記憶された前記タッチ情報に基づいて前記タッチセンサに前記ユーザの指がタッチしている面積であるタッチ面積を求めるタッチ面積算出部と、前記タッチ面積算出部から得られた前記タッチ面積が、事前に定められた特定の閾値に到達したときの時刻を求める押下面積到達時刻検出部と、前記停止時刻検出部により推定される時刻と、前記押下面積到達時刻検出部により求められる時刻とを用いて、前記ユーザの指が前記タッチセンサを押し始めたときの前記押下開始時刻を決定する押下開始時刻決定部とを備えてもよい。
これにより、ユーザの指の移動速度に加え、クリッカブルタッチセンサを押下する際に指とタッチセンサが接する面積の変化を用いて、本来ユーザが押下したかった押下開始位置であると推定し、この推定位置でクリッカブルタッチセンサがクリックされたものして処理を行うことができる。したがって、より高い精度で、押しぶれによる誤操作を低減することができる。
また、前記押下開始時刻推定部は、前記タッチ情報系列記憶部に記憶された前記複数のタッチ情報に基づいて、前記タッチセンサ上での前記ユーザの指の移動量を少なくとも一種類以上求める移動量算出部と、前記少なくとも一種類以上の移動量を用いて、前記タッチセンサに対する前記ユーザの指の押しぶれの有無を検出し、前記ユーザの指の前記押しぶれを検出した場合は、当該押しぶれが発生する直前の時刻を求める押しぶれ開始時刻検出部とを備えてもよい。
具体的には、前記押下開始時刻推定部は、さらに、前記タッチ情報系列記憶部に記憶された前記複数のタッチ情報に基づいて、前記タッチセンサ上での前記ユーザの指の移動方向を求める移動方向算出部を備え、前記押しぶれ開始時刻検出部は、前記移動量算出部から得られる前記少なくとも一種類以上の移動量と前記移動方向算出部から得られる前記移動方向とを用いて、前記タッチセンサに対する前記ユーザの指の前記押しぶれの有無を検出し、前記ユーザの指の前記押しぶれを検出した場合は、前記少なくとも一種類以上の移動量と前記移動方向とを用いて、前記押しぶれが発生する直前の時刻を求めてもよい。
これにより、例えば、ユーザの指の移動量が全体的に小さいために、タッチセンサを押し始めたときの指の停止状態を正確に検出することが困難な場合でも、指の移動速度に加え、指の移動方向の急激な変化を検出し、これらを用いて押しぶれの検出及び押下開始位置の推定制度を上げることができる。
また、前記押下開始時刻推定部は、さらに、前記タッチ情報系列記憶部に記憶された前記タッチ情報に基づいて、前記タッチセンサに前記ユーザの指がタッチしている面積であるタッチ面積を求めるタッチ面積算出部と、前記タッチ面積算出部から得られた前記タッチ面積が、事前に定められた特定の閾値に到達したときの時刻を求める押下面積到達時刻検出部とを備え、前記押しぶれ開始時刻検出部は、前記押下面積到達時刻検出部から得られた押下面積到達時刻と前記移動量算出部から得られる前記少なくとも一種類以上の移動量と前記移動方向算出部から得られる前記移動方向とを用いて、前記タッチセンサに対する前記ユーザの指の前記押しぶれの有無を検出し、前記ユーザの指の前記押しぶれを検出した場合は、前記少なくとも一種類以上の移動量と前記移動方向とを用いて、前記押しぶれが発生する直前の時刻を求めてもよい。
これにより、ユーザがスイッチをONするために、指の移動を停止した後、タッチセンサを押し込むために指先を倒した時刻をより正確に検出することが可能であり、さらに、押しぶれが発生した可能性のある時間を絞り込むことができ、より精度の高い押下開始時刻を求められる。さらに、押しぶれを検出する処理量を削減することもできる。従って、ユーザがタッチセンサを押し始めたときのタッチ位置をより正確に求めることができ、押しぶれによる誤操作を低減することと、押しぶれ防止処理の高速化を行うことが可能である。
本発明の他の局面に係る情報入力装置は、クリッカブルタッチセンサを備えた情報入力装置であって、前記クリッカブルタッチセンサは、上下動可能に構成されたタッチセンサと、前記タッチセンサの操作面から見て垂直下方向に配置され、ユーザが前記タッチセンサを押し込むことにより押下されるスイッチとを備えており、前記ユーザの指が前記タッチセンサに接触したときのタッチ情報を検出するタッチ情報検出部と、事前に定められた特定時間の間、前記タッチ情報を記憶するタッチ情報系列記憶部と、GUI画面上に少なくとも1以上のオブジェクトを配置する領域を示すオブジェクト配置情報が記憶されているオブジェクト配置記憶部と、前記オブジェクト配置記憶部から取得した前記オブジェクト配置情報に基づいて、前記GUI画面上に前記少なくとも1以上のオブジェクトを表示するオブジェクト表示制御部と、前記タッチ情報系列記憶部に記憶された前記タッチ情報に基づいて、前記GUI画面上のカーソル位置を算出するカーソル位置算出部と、前記オブジェクト配置情報と前記カーソル位置算出部から得られる前記カーソル位置に基づいて、前記少なくとも1以上のオブジェクトのうちで前記ユーザに選択されているオブジェクトを検出するオブジェクト選択検出部と、前記タッチ情報系列記憶部に記憶された前記タッチ情報に基づいて、前記オブジェクト選択検出部により検出された前記オブジェクト以外のオブジェクトが選択されないようにするかどうかを決定するオブジェクトロック制御部とを備える。
具体的には、前記オブジェクトロック制御部は、前記タッチ情報系列記憶部に記憶された前記タッチ情報に基づいて、前記オブジェクト選択検出部により検出されたオブジェクト以外のオブジェクトが選択されないようにするかどうかを判定するオブジェクトロック判定処理を行うオブジェクトロック判定部と、前記オブジェクト選択検出部により検出された前記オブジェクトの配置情報と前記カーソル位置算出部から得られる前記カーソル位置に基づいて、前記オブジェクトロック判定処理を行うかどうかを決定するオブジェクトロック判定処理制御部とを備えてもよい。
これにより、タッチセンサ上で指を移動させるときに、タッチセンサを多少強く押しても、連続的にタッチ位置を入力することが可能であり、操作性を向上させることができる。さらに、本実施の形態では、指の位置を検出できる一般的なタッチセンサで押しぶれ防止が可能である。
また、前記オブジェクトロック制御部は、前記タッチ情報系列記憶部に記憶された前記タッチ情報に基づいて、前記オブジェクト選択検出部により検出されたオブジェクト以外のオブジェクトが選択されないようにするかどうかを判定するオブジェクトロック判定処理を行うオブジェクトロック判定部と、前記オブジェクト選択検出部により検出された第3のオブジェクトと前記検出された第3のオブジェクトの近傍にある少なくとも一つ以上の第4のオブジェクトとの配置情報に基づいて、前記オブジェクトロック判定処理を行うかどうかを決定するオブジェクトロック判定処理制御部とを備えてもよい。
これにより、ユーザが本来押下したかったであろう対象であるオブジェクトからポインタがずれないようにロックすることができ、押しぶれによる誤操作のより少ない、応答速度に優れた情報入力装置を提供することができる。
好ましくは、前記オブジェクトロック判定部は、前記タッチ情報系列記憶部に記憶された前記タッチ情報に基づいて、前記タッチセンサ上での前記ユーザの指の移動量を少なくとも一種類以上求める移動量算出部と、前記少なくとも一種類以上の移動量に基づいて、前記オブジェクト選択検出部により検出された前記オブジェクト以外のオブジェクトが選択されないようにするかどうかを判定し、その判定結果に応じたオブジェクトロック情報を生成するオブジェクトロック情報生成部とを備えてもよい。
ユーザの指の押圧力に応じた情報を使用せずに、クリッカブルタッチセンサにおける押しぶれの問題を解決できる情報入力装置を提供できる。
図1は、本発明の実施の形態における情報入力装置を用いた情報入力システムの外観図である。 図2は、本発明の実施の形態1における情報入力装置の構成を示すブロック図である。 図3は、本発明の実施の形態1における情報入力装置の押下開始位置推定部の構成を示すブロック図である。 図4は、本発明の実施の形態1における情報入力装置の処理の流れを示すフローチャートである。 図5は、本発明の実施の形態1におけるGUI画面の図である。 図6は、実施の形態1の変形例1における押下開始位置推定部の構成を示すブロック図である。 図7は、実施の形態1の変形例2における押下開始位置推定部の構成を示すブロック図である。 図8は、実施の形態1の変形例3における押下開始位置推定部の構成を示すブロック図である。 図9は、本発明の実施の形態2における情報入力装置の構成を示すブロック図である。 図10は、本発明の実施の形態2における情報入力装置の処理の流れを示すフローチャートである。 図11は、本発明の実施の形態2の変形例におけるGUI画面の外観図である。 図12は、本発明の実施の形態3における情報入力装置のブロック図である。 図13は、本発明の実施の形態3におけるオブジェクトロック制御部の構成を示すブロック図である。 図14は、本発明の実施の形態3におけるGUI画面の外観図である。 図15は、本発明の実施の形態3における情報入力装置の処理の流れを示すフローチャートである。 図16は、本発明の実施の形態1〜3及びその変形例における、情報入力装置を実現するコンピュータシステムの一例を示す外観図である。 図17は、本発明の実施の形態1〜3及びその変形例における、情報入力装置を実現するコンピュータシステムのハードウェア構成を示すブロック図である。 図18は、関連技術に係る情報入力装置の構成を示すブロック図である。 図19は、関連技術に係る情報入力装置におけるGUI画面の外観図である。
以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
図1は、本発明の実施の形態における情報入力装置を用いた情報入力システムの外観図である。
図1に示すように、情報入力システムは、情報入力装置200と画面表示装置300とから構成される。
情報入力装置200は、画面表示装置300が表示するGUI画面7を操作するための操作用デバイスである。
画面表示装置300は、電子機器を操作するためのGUI画面7を表示する表示用デバイスである。
情報入力装置200は、ユーザの指の操作を入力するセンサとして、クリッカブルタッチセンサ1を備える。また、クリッカブルタッチセンサ1は、タッチセンサ2とスイッチ3とを備える。
ユーザは、通常のタッチセンサのように、クリッカブルタッチセンサ1が備えるタッチセンサ2の表面に接触させた指を移動させることにより、GUI画面7上のカーソルを移動させることができる。
タッチセンサ2は、裏面からバネ構造等により支持されることで上下動可能に構成されている。また、スイッチ3は、タッチセンサ2の操作面から見て垂直下方向に配置され、ユーザがタッチセンサ2を押し込むことにより押下される。すなわち、ユーザは、タッチセンサ2を指で押し込み、又は指を離すことで、タッチセンサ2の裏側に設置されたスイッチ3を操作(ON−OFF操作)することができる。これにより、GUI環境における、いわゆるクリック操作を、ユーザはタッチセンサ2から指を離さずに行うことができる。
画面表示装置300は、画面表示部6と画面制御部400とを備える。
画面表示部6は、液晶ディスプレイ等の表示装置である。画面表示部6には、情報入力装置200によって操作される電子機器、例えば、テレビ、DVR(Digital Video Recorder)等のAV機器や、PC(Personal Computer)、携帯電話等の情報機器を操作するためのGUI画面7が表示される。
また、GUI画面7には、ユーザがGUIによる操作を行うために必要な複数のオブジェクト、例えば、アイコンボタン、メニュー等と、それらを指し示すためのカーソル9が表示される。
画面制御部400は、GUI画面7を生成し、画面表示部6へ表示する制御部である。
図2は、本発明の実施の形態1における情報入力装置200のブロック図である。
図2に示すように、情報入力装置200は、クリッカブルタッチセンサ1と、タッチ情報検出部4と、タッチ情報系列記憶部5と、カーソル位置算出部8と、カーソル表示制御部10と、オブジェクト配置記憶部11と、オブジェクト表示制御部13と、オブジェクト選択検出部14と、オブジェクト確定部15と、押下開始位置推定部16とを備える。
クリッカブルタッチセンサ1は、前述のとおり、ユーザの指の操作を入力するセンサである。
タッチセンサ2は、ユーザの指がタッチセンサ2の表面に接触した位置を検出するデバイスであり、接触した位置に対応する電気信号を出力する。
タッチセンサ2がユーザの指を検出する方式としては、静電容量方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式等のいずれでもよいが、以下、本実施の形態では、静電容量方式のタッチセンサを用いて説明する。
スイッチ3は、例えばメカニカルスイッチ等であり、押下操作によりON状態及びOFF状態が交代で変化する。
スイッチ3は、タッチセンサ2の入力面に対して垂直方向に沿って真下(すなわち、タッチセンサ2の裏側)に配置されている。タッチセンサ2が、前述のバネ構造等により支持されているため、ユーザがある一定値以上の押圧力でタッチセンサ2を下方に押すと、スイッチ3も押し込まれスイッチ3をONすることができるように、クリッカブルタッチセンサ1は構成されている。
なお、スイッチ3には、デバイスの薄型化を図るために、メカニカルスイッチに代わり、バネの押し込み力に相当する程度の一定以上の押圧力でONになる圧電センサを用いてもよい。
タッチ情報検出部4は、静電容量式のタッチセンサ2から得られる電気信号を用いて、ユーザの指がタッチセンサ2に接触したときのタッチ情報を検出する。
タッチ情報とは、例えば、指がタッチセンサ2に接触した位置であるタッチ位置や、接触した時刻であるタッチ時刻及び指がタッチセンサ2に接触しているタッチ面積に応じて変化する静電容量値等である。
タッチ情報系列記憶部5は、所定時間の間、タッチ情報検出部4が検出したタッチ情報を記憶する。
カーソル位置算出部8は、GUI画面7に表示するカーソル9(後述する図5を参照)の位置を求める。
カーソル表示制御部10は、カーソル位置算出部8で算出されたカーソル位置に基づいて、GUI画面7にカーソル9を表示する。
オブジェクト配置記憶部11は、図5に示されるGUI画面7上に、アイコン、ボタン、メニュー等のオブジェクト12(a)〜12(c)をどのように配置するかを示す各オブジェクトのオブジェクト配置情報を記憶する。
オブジェクト配置情報とは、具体的にはGUI画面7上において各オブジェクトを表示すべき位置であり、例えば2次元や3次元の座標によって表される。
オブジェクト表示制御部13は、オブジェクト配置記憶部11から取得したオブジェクト配置情報に基づき、GUI画面7に各オブジェクト12(a)〜12(c)を表示する。具体的には、オブジェクト表示制御部13は、オブジェクト配置記憶部11に記憶されているオブジェクト12(a)〜12(c)の配置情報を読み出し、対応するオブジェクトの配置情報に基づいて、GUI画面7上に各オブジェクトを表示する。
また、オブジェクト表示制御部13は、ユーザが現在選択しているオブジェクトのサイズや色等を変更し、ユーザに対してそのオブジェクトが選択されていることを提示する。
オブジェクト選択検出部14は、カーソル9の位置に基づいて、GUI画面7に表示された複数のオブジェクト12(a)〜12(c)の中で、ユーザが現在選択しているオブジェクトを検出する。
オブジェクト確定部15は、ユーザがクリッカブルタッチセンサ1のスイッチ3を押下したときに、オブジェクト選択検出部14によって検出されたオブジェクトを確定する。具体的には、そのオブジェクトの識別番号をオブジェクト表示制御部13に出力する。また、必要であれば、そのオブジェクトに対応する確定処理を実行する。
押下開始位置推定部16は、ユーザが選択しているオブジェクトを確定するためにGUI画面7でスイッチ3を押下した時、タッチ情報系列記憶部5に記憶されたタッチ情報に基づいて、ユーザの指がタッチセンサ2を押し始めた時刻におけるタッチ位置である押下開始位置を推定する。
図5は、本発明の実施の形態1におけるGUI画面7の図である。
図5に示すように、GUI画面7には、カーソル9とオブジェクト12(a)〜オブジェクト12(c)が表示される。
GUI画面7は、情報入力装置200によって操作される電子機器を操作するためのGUIによる操作環境である。
カーソル9は、GUI画面7に表示され、情報入力装置によりポインタとして、GUI画面7上のオブジェクトを指し示す。
オブジェクト12(a)〜オブジェクト12(c)は、GUI環境において用いられる例えばアイコン、ボタン、メニュー等である。
次に、本発明の実施の形態1における押下開始位置推定部16の構成を示すブロック図を図3に示す。
図3に示すように、押下開始位置推定部16は、押下開始時刻推定部20とタッチ位置決定部23とを備える。
押下開始時刻推定部20は、タッチ情報系列記憶部5に記憶されたタッチ情報に基づいて、ユーザの指がタッチセンサ2を押し始めたときの押下開始時刻を推定する。
タッチ位置決定部23は、押下開始時刻推定部20から取得した押下開始時刻、及び、タッチ情報系列記憶部5に記憶されているタッチ情報(タッチ時刻及びタッチ位置)を参照して、押下開始時刻に、ユーザの指がタッチセンサ2に接触していた位置を求める。
その後、タッチ位置決定部23は、これをユーザの指がタッチセンサ2を押し始めたときの押下開始位置として推定し、カーソル位置算出部8に出力する。
押下開始時刻推定部20は、移動量算出部21と停止時刻検出部22とを備える。
移動量算出部21は、タッチ情報系列記憶部5に記憶されたタッチ情報に基づいて、タッチセンサ2上でのユーザの指の移動量を少なくとも1種類以上求める。具体的に求められる移動量としては、予め定められた時間内のタッチセンサ2上のユーザの指の移動距離、移動速度及び移動加速度等が考えられる。例えば、移動量算出部21は、複数のタッチ情報に含まれる第1のタッチ位置と第2のタッチ位置との距離から、移動量としてユーザの指の移動速度を算出する。
停止時刻検出部22は、移動量算出部21から取得した少なくとも一種類以上の移動量を用いて、ユーザの指がタッチセンサ2上で停止した時刻を求める。例えば、停止時刻検出部22は、移動速度が事前に定められた特定の値以下となった時刻を、ユーザの指の動きが停止した時刻として求め、この時刻を押下開始時刻として推定する。
図4は、本実施の形態における情報入力装置の処理の流れを示すフローチャートである。
本実施の形態において、以上のように構成された情報入力装置について、以下で、その動作を説明する。なお、ここでは、クリッカブルタッチセンサ1を用いて、画面表示部6に表示されるGUI画面7に配置されたオブジェクト12(a)〜12(c)に対し、ユーザが目的のオブジェクト12(b)を選択し、確定(実行)する一連の動作を具体例として説明する。
ユーザが、GUI画面7に表示されたカーソル9を移動させるためにタッチセンサ2の表面をなぞると、タッチ情報検出部4は、ユーザの指がタッチセンサ2にタッチしている位置(タッチ位置)、その時刻(タッチ時刻)及びタッチしたときの静電容量値をタッチセンサ2から検出し(S201)、タッチ情報系列記憶部5に順次記憶する(S203)。
また、カーソル位置算出部8は、タッチ情報系列記憶部5に記憶された少なくとも一つ以上のタッチ位置を用いて、GUI画面7に表示するカーソル9の位置を算出する(S205)。例えば、最新のタッチ位置を用いて、GUI画面7に表示するカーソル9の位置を算出する。
次に、カーソル表示制御部10は、カーソル位置算出部8から得られたカーソル位置に基づいて、画面表示部6のGUI画面7上にカーソル9を表示する。また、オブジェクト表示制御部13は、オブジェクト配置記憶部11に記憶されているオブジェクト12(a)〜12(c)の配置情報を読み出し、対応する配置情報に基づいて、画面表示部6のGUI画面7上に各オブジェクトを表示する。
次に、オブジェクト選択検出部14は、GUI画面7に表示されている各オブジェクト12(a)〜12(c)の配置情報をオブジェクト配置記憶部11から読み出す。その後、読み出した配置情報と、カーソル位置算出部8から得られたカーソル位置と比較することによって、カーソル9が各オブジェクトの表示領域上にあるかどうかを判定する(S207)。
もし、カーソル9がオブジェクト12(a)〜12(c)のいずれかの表示領域上にある場合には(S207でYes)、オブジェクト選択検出部14は、ユーザが対応するオブジェクトを選択したとみなし、そのオブジェクトの識別番号をオブジェクト表示制御部13に出力する。
オブジェクト表示制御部13は、オブジェクト選択検出部14からオブジェクトの識別番号が入力されると、その識別番号に対応するオブジェクトの表示、例えば、サイズや色等を変更し、ユーザに対して、そのオブジェクトが選択されていることを提示する(S209)。より具体的には、オブジェクト表示制御部13は、オブジェクト選択検出部14から入力された識別番号に対応するオブジェクトのサイズを、より大きくすること等が考えられる。
一方、オブジェクトの表示領域上にカーソル9がないとオブジェクト選択検出部14が判断した場合には(S207でNo)、カーソル表示制御部10は、再度、タッチ情報検出部4に処理を渡す(S201)。
図5を参照して、より具体的に説明する。
ユーザがタッチセンサ2上で指を動かして、カーソル9をGUI画面7のオブジェクト12(b)に移動させたとする。
この時、オブジェクト選択検出部14は、オブジェクト12(b)の表示領域上にカーソル9があると判定し(S207でYes)、オブジェクト12(b)の識別番号をオブジェクト表示制御部13に出力する。
次に、オブジェクト表示制御部13は、オブジェクト選択検出部14からオブジェクト12(b)の識別番号が入力されると、GUI画面7上のオブジェクト12(b)の表示、例えば、サイズや色等を変更し、ユーザに対し、オブジェクト12(b)が選択されたことを提示する(S209)。
次に、選択したオブジェクト(先の例では、オブジェクト12(b))を確定するために、ユーザがタッチセンサ2を押し込んで、スイッチ3をONすると(S211でY)、スイッチ3は押下情報を押下開始位置推定部16、カーソル位置算出部8及びオブジェクト選択検出部14に出力する。
押下開始位置推定部16は、スイッチ3から押下情報が入力されると、まず、押下開始時刻推定部20から、ユーザの指がタッチセンサ2を押し始めた時刻の推定値である押下開始時刻を取得する。
また、タッチ位置決定部23は、押下開始時刻推定部20から取得した押下開始時刻、及び、タッチ情報系列記憶部5に記憶されているタッチ情報を参照して、押下開始時刻に、ユーザの指がタッチセンサ2に接触していた位置を求め(S215)、ユーザの指がタッチセンサ2を押し始めたときの押下開始位置として、カーソル位置算出部8に出力する。例えば、押下開始時刻をTsとするなら、その時刻でのタッチ位置(x(Ts),y(Ts))が、押下開始位置として、タッチ位置決定部23からカーソル位置算出部8へ出力される。
次に、カーソル位置算出部8は、スイッチ3から押下情報が入力された時は、GUI画面7に表示するカーソル位置を、タッチ情報系列記憶部5に記憶されたタッチ位置を用いるのではなく、押下開始位置推定部16で求められた押下開始位置を用いて算出する(S217)。
次に、オブジェクト選択検出部14は、スイッチ3がONされていない時と同様に、カーソル位置算出部8から得られたカーソル9の位置がオブジェクト(例えば、オブジェクト12(a)〜12(c)各々)の表示領域上にあるかどうかを判定する(S219)。
その結果、オブジェクト12(a)〜12(c)のいずれかの表示領域にカーソル9が重なる場合には(S219でYes)、オブジェクト選択検出部14は対応するオブジェクトをユーザが選択したとみなし、該当するオブジェクト(例えば、オブジェクト12(b))の識別番号をオブジェクト確定部15に出力する(S221)。
オブジェクト確定部15は、オブジェクト選択検出部14からオブジェクト識別番号が入力されると、その識別番号に対応するオブジェクトをユーザが確定したとみなし、その識別番号をオブジェクト表示制御部13に出力する。また、必要であれば、そのオブジェクトに対応する確定処理を実行する。
オブジェクト表示制御部13は、オブジェクト確定部15からオブジェクト識別番号が入力されると、その識別番号に対応するオブジェクトの表示、例えば、サイズや色等を変更し、ユーザに対して、そのオブジェクトが確定されたことを提示する(S223)。
次に、オブジェクト確定部15の動作を、図5に示すように、カーソル9がオブジェクト12(b)の表示領域上にある場合の具体例で説明する。
ユーザが選択したオブジェクト12(b)を確定するために、タッチセンサ2を押し込んで、スイッチ3をONすると、オブジェクト確定部15は、オブジェクト選択検出部14から入力された識別番号に対応するオブジェクト12(b)をユーザが確定したとみなす。
その結果、オブジェクト確定部15は、オブジェクト12(b)の識別番号をオブジェクト表示制御部13に出力するとともに、オブジェクト12(b)に対応する確定処理(例えば、オブジェクト12(b)がアプリケーションのアイコンである場合には、そのアプリケーションを起動するなど)を実行する。
オブジェクト表示制御部13は、オブジェクト確定部15からオブジェクト12(b)の識別番号が入力されると、GUI画面7のオブジェクト12(b)の表示、例えば、サイズや色等を変更し、ユーザに対し、オブジェクト12(b)が確定されたことを提示する。
次に、押下開始時刻推定部20の本実施の形態における動作について、詳しく説明する。
まず、移動量算出部21は、押下情報に含まれる押下時刻より前の、予め定められた時間分のタッチ位置及びそのタッチ時刻をタッチ情報系列記憶部5から読み出して、ユーザの指の移動距離、移動速度、移動加速度等の移動量を少なくとも一つ以上求める。
例えば、ある時刻tのタッチ位置を(x(t),y(t))と表記する。
ここで、ユーザによるクリッカブルタッチセンサ1の押下時刻(実際にスイッチ3がONされた時刻)をTとすると、移動量算出部21は、移動量である予め定められた時間分n個の移動速度v(t) (t = T−1,T−2,・・・,T−n)を、
なる式1により算出する。
次に、停止時刻検出部22が、移動量算出部21で求めた移動距離、移動速度、移動加速度等の移動量を用いて、ユーザの指がタッチセンサ2上で停止した時刻を求める。
具体的には、指の移動量が閾値として事前に定められた所定値以下になった時刻を停止時刻とする。例えば、移動量として、移動速度を用い、指が停止したとみなす移動速度の閾値をVsとするなら、予め定められた時間分のn個の移動速度v(t)のうち、v(t)≦Vsを満たす最初の時刻tを停止時刻Tsとする。
なお、停止時刻としては、
・指の移動量が所定値以下になり、かつ、その所定値以下の時間が所定時間を越えた時刻、又は、
・2種類以上の指の移動量が所定値以下になった時刻、又は、
・2種類以上の指の移動量が所定値以下になり、かつ、その所定値以下の時間が所定時間を越えた時刻、
等を用いてもよい。
最後に、停止時刻検出部22は、押下開始時刻として、求めた停止時刻Tsをタッチ位置決定部23に出力する。
以上が、本実施の形態における押下開始時刻推定部20の動作の説明である。
このように構成された本実施の形態に係る情報入力装置において、ユーザが選択したオブジェクトを確定するためにクリッカブルタッチセンサ1のタッチセンサ2を押し込んでスイッチ3をONした時に、スイッチ3が押される直前のタッチ情報系列記憶部5に記憶されている予め定められた時間分のn個のタッチ位置を用いて、ユーザの指がタッチセンサ2を押し始めたときのタッチ位置を押下開始位置推定部16は推定することができる。
すなわち、スイッチ3の出力が実際にONになった時の指の位置に代わり、押下開始位置推定部16が、ユーザがスイッチ3を押し始めたと推定した時刻のタッチ位置である押下開始位置を用いることで、クリッカブルタッチセンサ1の押しぶれを防止することができる。
よって、ユーザの指がスイッチ3を押し込むときに、ユーザの指の押圧力によって、ユーザの指が多少ぶれても、ユーザが選択したオブジェクトを確定することが可能であり、押しぶれによる誤操作を低減することができる。
さらに、従来の情報入力装置のように、ユーザの指のタッチセンサ2への押圧力を用いて、ユーザの指がスイッチ3を押し込もうとしている操作を検出した後、ユーザの指の移動によるタッチ位置変更操作、つまり、GUI画面7上でのカーソル移動操作を無効化することで、押しぶれを防止する方法とは異なり、本実施の形態では、スイッチ3が完全に押下されない限り、タッチセンサ2上での指の移動によるタッチ位置変更操作は入力可能である。即ち、タッチセンサ2上で指を移動させるときに、タッチセンサ2を多少強く押しても、連続的にタッチ位置を入力すること、つまり、GUI画面7でカーソル9を連続的に移動させることが可能である。よって、本発明の実施の形態1では、従来の情報入力装置に比べ、操作性を向上させることができる。
さらに、従来の情報入力装置では、ユーザの指の押圧力を検知できる特殊なタッチセンサ101が必要であるが、本実施の形態では、押下開始位置推定部16が、タッチ情報系列記憶部5に記憶されたタッチ位置を用いて押下開始位置を推定しているだけであるので、指の位置を検出できる一般的なタッチセンサ2で押しぶれ防止が可能である。
すなわち、本実施の形態に係る情報入力装置200は、ユーザがスイッチを押し込むときに、ユーザの指の押圧力によって、ユーザの指が多少ぶれても、ユーザが入力しようとしていた位置を確実に入力することができ、押しぶれによる誤操作を低減することができる。さらに、従来の情報入力装置のように、ユーザの指のタッチセンサへの押圧力を用いて、ユーザの指がスイッチを押し込もうとしている操作を検出した後、ユーザの指の移動によるタッチ位置変更操作を無効化することで、押しぶれを防止する方法とは異なり、本実施の形態に係る情報入力装置200は、スイッチが完全に押下されない限り、タッチセンサ上での指の移動によるタッチ位置変更操作は入力可能であるため、タッチセンサ上で指を移動させるときに、タッチセンサを多少強く押しても、連続的にタッチ位置を入力することが可能である。よって、従来の発明に比べて、操作性を向上させた押しぶれ防止機能付きの情報入力装置を提供できる。
さらに、本実施の形態に係る情報入力装置200は、ユーザの指の押圧力に応じた情報を出力できない一般的なタッチセンサを用いた押しぶれ防止機能付きの情報入力装置を提供できる。
なお、本実施の形態において、押下開始位置推定部16の押下開始時刻推定部20は、図3に示すような構成ではなく、以下の図6から図8に示すような構成でもよい。
(変形例1)
図6は、実施の形態1の変形例1における押下開始時刻推定部20の構成を示すブロック図である。本変形例において、図3に示す実施の形態と同様の部分については、同一符号を付し、その詳細な説明は省略する。
図6に示すように、本実施の形態にかかる押下開始時刻推定部20は、移動量算出部21と、停止時刻検出部22と、タッチ面積算出部24と、押下面積到達時刻検出部25と、押下開始時刻決定部26とを備える。
ここで、本変形例にかかる押下開始時刻推定部20が、図3に示す実施の形態と相違する点は、タッチ面積算出部24、押下面積到達時刻検出部25及び押下開始時刻決定部26を備えていることであり、以下、これらの構成要素を説明する。
図6に示すタッチ面積算出部24は、タッチ情報系列記憶部5に記憶されたタッチ情報に基づいて、タッチセンサ2にユーザの指がタッチしている面積を求める。
押下面積到達時刻検出部25は、タッチ面積算出部24から得られたタッチ面積が、ユーザがタッチセンサ2を押し込み始めたとみなすべきタッチ面積の閾値である押下面積に到達したときの時刻を求める。
押下開始時刻決定部26は、停止時刻検出部22から得られた第1の時刻(停止時刻Ts)と、押下面積到達時刻検出部25から得られた第2の時刻(タッチ面積が、ユーザがタッチセンサ2を押し込み始めたとみなすべきタッチ面積の閾値である押下面積に到達したときの時刻)とを用いて、ユーザの指がタッチセンサ2を押し始めたときの押下開始時刻を決定する。
以上のように構成された押下開始時刻推定部20について、以下、その動作を説明する。
まず、既に説明したように、クリッカブルタッチセンサ1が押し込まれることにより、スイッチ3から押下情報が入力されると、移動量算出部21は、押下情報が入力された押下時刻より前の予め定められた時間分のタッチ位置及びそのタッチ時刻をタッチ情報系列記憶部5から取得する。
次に、移動量算出部21は、取得した複数のタッチ位置及びそのタッチ時刻を用いて、ユーザの指の移動距離、移動速度、移動加速度等の移動量を少なくとも一つ以上を求める。
また、停止時刻検出部22は、算出された移動量が閾値以下となる最初の時刻である停止時刻Tsを求める。
また、タッチ面積算出部24は、押下情報が入力された押下時刻より前の、予め定められた時間分の静電容量値をタッチ情報系列記憶部5から読み出して、ユーザの指によるタッチセンサ2へのタッチ面積を求める。例えば、押下時刻をT、ある時刻tの静電容量値をc(t)とすると、タッチ面積算出部24は、予め定められた時間分のn個のタッチ面積s(t)(t = T−1,T−2,・・・,T−n)を、
なる式2により算出する。
次に、押下面積到達時刻検出部25が、タッチ面積算出部24で求めたタッチ面積を用いて、ユーザの指がタッチセンサ2を(指を移動させているのではなく)押し込み始めたとみなすべきタッチ面積を示す押下面積に到達したときの時刻を求める。
具体的には、タッチ面積が所定値以上になった時刻を押下面積到達時刻とする。
例えば、ユーザの指がタッチセンサ2を押し込み始めたとみなすタッチ面積の閾値をSpとするなら、予め定められた時間分のn個のタッチ面積s(t)のうち、s(t)≧Spを満たす最初の時刻tであるTpを押下面積到達時刻とする。なお、タッチ面積が所定値以上になり、かつ、所定値以上のタッチ面積が所定の時間以上継続した時刻をもって、押下面積到達時刻としてもよい。
最後に、押下開始時刻決定部26は、停止時刻検出部22から得られた停止時刻Tsと押下面積到達時刻検出部25から得られた押下面積到達時刻Tpを用いて、ユーザの指がタッチセンサ2を押し始めたときの押下開始時刻を(推定し、)決定する。
具体的には、停止時刻Tsと押下面積到達時刻Tpのうち、スイッチ3が実際に押下された(押下情報を出力した)時刻である押下時刻Tにより近い時刻を選択し、押下開始時刻として決定すればよい。
なお、押下開始時刻決定部26は、停止時刻Tsと押下面積到達時刻Tpの平均値を求めて、押下開始時刻としてもよい。
このように構成された本変形例における押下開始時刻推定部20において、押下開始時刻決定部26は、停止時刻検出部22が推定するユーザの指の移動が停止した時刻、及び、押下面積到達時刻検出部25が検出するタッチセンサ2へのユーザの指のタッチ面積が予め定めた押下面積を超えた時刻を用いて、ユーザの指がタッチセンサ2を押し始めたときの押下開始時刻を求めることができる。
よって、ユーザがスイッチ3をONするために、指の移動を停止した後、タッチセンサ2を押し込むために指先を倒す操作を正確に検出することが可能であり、図3に示した実施の形態よりも、精度の高い押下開始時刻を求めることができる。
従って、ユーザの指がタッチセンサ2を押し始めたときのタッチ位置をより正確に求めることができ、本実施の形態は、図3に示す実施の形態よりも高い精度で、押しぶれによる誤操作を低減することが可能である。
以上が、実施の形態1の変形例1における押下開始時刻推定部20の説明である。
次に、実施の形態1の変形例2について述べる。
(変形例2)
図7は、本変形例における押下開始時刻推定部16の構成を具体的に示すブロック図である。なお本変形例において、図3、図6に示す実施の形態と同様の部分については、同一符号を付し、その詳細な説明は省略する。
図7に示すように、本変形例における押下開始時刻推定部20は、移動量算出部21と、停止時刻検出部22と、移動方向算出部30と、押しぶれ開始時刻検出部31とを備える。
ここで、本変形例が、図3に示す実施の形態と相違する点は、押下開始時刻推定部20が、さらに移動方向算出部30及び押しぶれ開始時刻検出部31を備えていることである。
よって、以下にこれらの構成要素を説明する。
移動方向算出部30は、タッチ情報系列記憶部5に記憶されたタッチ情報に基づいて、タッチセンサ2上でのユーザの指の移動方向を求める。
押しぶれ開始時刻検出部31は、移動量算出部21から得られる少なくとも一種類以上の移動量(例えば、移動速度や移動加速度など)、移動方向算出部30から得られた移動方向、及び停止時刻検出部22から得られるユーザの指がタッチセンサ2上で停止したとみなすべき停止時刻を用いて、タッチセンサ2に対するユーザの指の押しぶれの有無を検出する。
また、押しぶれ開始時刻検出部31が押しぶれを検出した場合、押しぶれが発生する直前の時刻を求め、これをユーザの指がタッチセンサ2を押し始めたときの押下開始時刻として出力する。
以上のように構成された押下開始時刻推定部20について、以下、その動作を説明する。
まず、既に説明したように、スイッチ3が押下されることにより押下情報が入力されると、移動量算出部21は、押下情報が入力された押下時刻より前の予め定められた時間分のタッチ位置及びそのタッチ時刻をタッチ情報系列記憶部5から取得する。
次に、移動量算出部21は、取得した複数のタッチ位置及びそのタッチ時刻を用いて、ユーザの指の移動距離、移動速度、移動加速度等の移動量を少なくとも一つ以上を求める。
次に、停止時刻検出部22は、移動量算出部21から一種類以上の移動量が入力されると、それらの移動量を用いて、ユーザの指がタッチセンサ2上で停止したとみなされる時刻を求め、停止時刻として出力する。
具体的には、指の移動量が閾値として事前に定められた所定値以下になった時刻を停止時刻とする。例えば、移動量として、移動速度を用い、指が停止したとみなす移動速度の閾値をVsとするなら、予め定められた時間分のn個の移動速度v(t)のうち、v(t)≦Vsを満たす最初の時刻tを停止時刻Tsとする。
また、移動方向算出部30は、押下情報が入力された押下時刻より前の、予め定められた時間分のタッチ位置及びそのタッチ時刻をタッチ情報系列記憶部5より取得する。
次に、移動方向算出部30は、取得した複数のタッチ位置及びそのタッチ時刻を用いて、タッチセンサ2上でのユーザの指の移動方向を求める。例えば、押下時刻をT、ある時刻tのタッチ位置をX,Y座標を用いて(x(t)、y(t))とすると、移動方向算出部30は、Tより前の、予め定められた時間分n個の移動方向θ(t)(t=T−1,T−2,・・・,T−n)を、
なる式3により算出する。
なお、P(t)・P(t−1)は、ベクトルP(t)とP(t−1)の内積、また、||P(t)||は、ベクトルP(t)の大きさ(ノルム)を示す。
次に、押しぶれ開始時刻検出部31は、移動量算出部21から得られた移動量と、移動方向算出部30から得られた移動方向及び、停止時刻検出部22で検出された停止時刻を用いて、タッチセンサ2をユーザの指が押し込むときに、押しぶれが生じたかどうかを検出する。
具体的には、ユーザの指が停止したとみなされる停止時刻Tsから、スイッチ3が押下された押下時刻Tまでの間で、ユーザの指の移動量と移動方向がそれぞれ所定値以上になったときに押しぶれが生じたとみなす。
例えば、ユーザの指の移動量を移動速度v(t)(式1を参照)とし、移動方向をθ(t)として、ユーザの指の押しぶれが生じたとみなす移動速度の閾値をVb、移動方向の閾値をΘbとするなら、時刻Tsから時刻T−1の間のv(t)、θ(t)が、
なる式4で示される押しぶれ条件を満たす場合、押しぶれ開始時刻検出部31はユーザの指の押しぶれが生じたとみなす。
なお、押しぶれを検出する条件は、上記の押しぶれ状態が所定時間以上続くことを条件としてもよい。
もし、押しぶれ開始時刻検出部31が押しぶれを検出した場合には、押しぶれ開始時刻検出部31は、押しぶれを検出する直前の時刻Tb(但し、Ts<Tb<T−1)を求め、これを押下開始時刻として出力する。例えば、式4を満たす時刻tのうちで、最もTsに近い時刻をTbとすることが考えられる。
以上説明した本変形例における押下開始時刻推定部20において、押しぶれ開始時刻検出部31は、ユーザの指の移動量や移動方向を用いて、タッチセンサ2に対してユーザの指がぶれたかどうか(押しぶれ)を検出し、押しぶれを検出した場合のみ、押しぶれを検出する直前の時刻を押下開始時刻として出力する。
すなわち、本変形例に係る押しぶれ開始時刻検出部31は、は、ユーザの指が一度、停止状態になった後のユーザの指の移動量や移動方向の急激な変化を押しぶれとして判定し、その押しぶれが発生する直前の時刻を押下開始時刻として検出する。
従って、例えば、ユーザの指の移動量が全体的に小さいために、タッチセンサ2を押し始めたときの指の停止状態を正確に検出することが困難な場合でも、精度の高い押下開始時刻を求めることができる。
例えば、GUI画面7上に非常に多くのオブジェクトが表示されている場合には、ユーザは目的のオブジェクトを正確に選択する必要があり、タッチセンサ2での指の移動量は全体的に非常に小さくなる。この場合、指の移動が停止した時刻を検出することは非常に困難になる。
しかし、停止時刻の推定に、移動量とあわせて移動方向の急激な変化を検知する上記構成により、本実施の形態では、押しぶれの検出に関する誤操作を低減することが可能である。
なお、本実施の形態では、押しぶれ開始時刻検出部31が押しぶれを検出するために、ユーザの指の移動量と移動方向の両方の特徴量を用いたが、どちらか一方の特徴量だけで、押しぶれを検出してもよい。
なお、本変形例において押下開始時刻推定部20は停止時刻検出部22を必ずしも有さずともよい。その場合、例えば押しぶれ開始時刻検出部31が移動量算出部21から算出された移動量を取得し、閾値以下であるか否かを判定することになる。
以上が、実施の形態1における変形例2の説明である。
次に、実施の形態1における変形例3について説明する。
(変形例3)
図8は、本変形例における押下開始時刻推定部20の構成を具体的に示すブロック図である。本変形例において、図3〜図7に示す実施の形態と同様の部分については、同一符号を付し、その詳細な説明は省略する。
図8に示すように、本変形例における押下開始時刻推定部20は、移動量算出部21と、停止時刻検出部22と、移動方向算出部30と、タッチ面積算出部24と、押下面積到達時刻検出部25と、押しぶれ開始時刻検出部31とを備える。
図8に示す本変形例が、図7に示す変形例2と相違する点は、押下開始時刻推定部20がタッチ面積算出部24及び押下面積到達時刻検出部25を備えていることである。但し、タッチ面積算出部24及び押下面積到達時刻検出部25は、図6に示す構成とほぼ同じであるので、その各構成の説明は省略し、以下、図8のように構成された押下開始時刻推定部20の動作についてのみ説明する。
図7に示した実施の形態の動作説明において、既に説明したように、スイッチ3から押下情報が入力されると、移動量算出部21は、タッチ情報系列記憶部5から押下情報が入力された押下時刻Tより前の、予め定められた時間分のタッチ位置及びそのタッチ時刻を取得する。
次に、移動量算出部21は、取得した複数のタッチ位置及びそのタッチ時刻を用いて、ユーザの指の移動距離、移動速度、移動加速度等の移動量を少なくとも一つ以上求める。
停止時刻検出部22は、移動量算出部21から一種類以上の移動量が入力されると、それらの移動量を用いて、ユーザの指がタッチセンサ2上で停止したとみなされる時刻を求め、停止時刻Tsとして出力する。
また、移動方向算出部30も、タッチ情報系列記憶部5に記憶されている、押下情報が入力された押下時刻Tより前の、予め定められた時間分のタッチ位置及びそのタッチ時刻を用いて、タッチセンサ2上でのユーザの指の移動方向を求める。
また、図6に示した実施の形態の動作説明において、既に説明したように、スイッチ3から押下情報が入力されると、タッチ面積算出部24は、タッチ情報系列記憶部5から押下情報が入力された押下時刻Tより前の、予め定められた時間分の静電容量値を取得する。
次に、タッチ面積算出部24は、取得した静電容量値を用いて、取得した各時刻においてタッチセンサ2にユーザの指がタッチしている面積を求める(式2を参照)。
次に、押下面積到達時刻検出部25は、タッチ面積算出部24が求めたタッチ面積を用いて、タッチ面積が、ユーザがタッチセンサ2を押し込み始めたとみなすべきタッチ面積の閾値である押下面積に到達したときの時刻を求め、押下面積到達時刻Tpとして出力する。
最後に、押しぶれ開始時刻検出部31は、まず、停止時刻検出部22から得られた停止時刻Tsと押下面積到達時刻検出部25から得られた押下面積到達時刻Tpとを比較し、スイッチ3の押下時刻Tにより近い時刻を押しぶれ監視開始時間Twとして検出する。
次に、移動量算出部21から得られた移動量と、移動方向算出部30から得られた移動方向を用いて、タッチセンサ2をユーザの指が押し込むときに、押しぶれが生じたかどうかを検出する。
具体的には、上記押しぶれ監視開始時間Twから、スイッチ3が押下された時刻Tまでの間で、ユーザの指の移動量と移動方向がそれぞれ所定値以上になったときに押しぶれが生じたとみなす。
例えば、ユーザの指の移動量を移動速度v(t)([式1]参照)とし、移動方向をθ(t)として、ユーザの指の押しぶれが生じたとみなす移動速度の閾値をVb、移動方向の閾値をΘbとするなら、時刻Twから時刻T−1の間のv(t)、θ(t)が、
なる式5で示される押しぶれ条件を満たす場合、押しぶれ開始時刻検出部31は、ユーザの指の押しぶれが生じたとみなす。
なお、押しぶれを検出する条件は、上記の押しぶれ状態が所定時間以上続くことを条件としてもよい。
もし、押しぶれが生じた場合には、押しぶれ開始時刻検出部31は、押しぶれを検出する直前の時刻Tb(但し、Tw<Tb<T−1)を求め、これを押下開始時刻として出力する。
例えば、式5を満たす時刻tのうちで、最もTwに近い時刻をTbとすることが考えられる。
以上説明したように、本実施の形態によれば、押しぶれ開始時刻検出部31は、ユーザの指の移動量や移動方向を用いて、タッチセンサ2に対してユーザの指がぶれたかどうかを検出し、押しぶれを検出した場合のみ、押しぶれを検出する直前の時刻を押下開始時刻として出力する。
また、本実施の形態では、ユーザの指の移動量や移動方向を用いた押しぶれの検出を、指の移動の停止時刻Tsとタッチセンサ2へのユーザの指のタッチ面積が予め定めた押下面積を超えた時刻Tpとの大きいほうの時刻であるTwから時刻Tまでの間で行う。
よって、本実施例では、ユーザがスイッチ3をONするために、指の移動を停止した後、タッチセンサ2を押し込むために指先を倒した時刻をより正確に検出することが可能であり、さらに、押しぶれが発生した可能性のある時間を絞り込むことができ、より精度の高い押下開始時刻を求められる。さらに、押しぶれを検出する処理量を削減することもできる。
従って、ユーザがタッチセンサ2を押し始めたときのタッチ位置をより正確に求めることができ、押しぶれによる誤操作を低減することと、押しぶれ防止処理の高速化を行うことが可能である。
以上が、実施の形態1における変形例3の説明である。
なお、以上述べた実施の形態1及びその変形例において、図2に示す情報入力装置200は、カーソル位置算出部8、カーソル表示制御部10、オブジェクト配置記憶部11、オブジェクト表示制御部13、オブジェクト選択検出部14及びオブジェクト確定部15を備えなくてもよい。
情報入力装置200がカーソル位置算出部8、カーソル表示制御部10、オブジェクト配置記憶部11、オブジェクト表示制御部13、オブジェクト選択検出部14及び、オブジェクト確定部15を備えない場合には、画面制御部400が、カーソル位置算出部8、カーソル表示制御部10、オブジェクト配置記憶部11、オブジェクト表示制御部13、オブジェクト選択検出部14及び、オブジェクト確定部15を備えてもよい。
この場合、情報入力装置は、有線又は無線を用いて、タッチ情報系列記憶部に記憶された少なくとも1つ以上のタッチ位置を、画面制御部400に含まれるカーソル位置算出部8に送信する。また、スイッチ3がONされたときの押下情報を、画面制御部400に含まれるカーソル位置算出部8.オブジェクト選択検出部14に送信する。さらに、スイッチ3がONされたときには、押下開始位置推定部16により推定された押下開始推定位置を、画面制御部400に含まれるカーソル位置算出部8に送信する。
上記構成により、カーソル位置算出部8やカーソル表示制御部10が情報入力装置に含まれていなくても、カーソル位置算出部8はGUI画面7に表示するカーソル位置を算出することができ、そのカーソル位置に基づいて、カーソル表示制御部10がGUI画面7にカーソルを表示することができる。
また、オブジェクト配置記憶部11、オブジェクト表示制御部13、オブジェクト選択検出部14が情報入力装置に含まれていなくても、オブジェクト選択検出部14は、カーソル位置算出部8から出力されたカーソル位置とオブジェクト配置記憶部11に記憶されているオブジェクト配置情報に基づいて、ユーザが選択しているオブジェクトを検出することができ、オブジェクト表示制御部13は、オブジェクト選択検出部14から選択オブジェクトの識別番号を取得することで、オブジェクトが選択されたことをGUI画面7に表示することができる。
また、オブジェクト確定部15が情報入力装置に含まれていなくても、スイッチ3がONされたときには、オブジェクト選択検出部14がスイッチ3からの押下情報を受信し、そのとき選択されているオブジェクトの識別番号をオブジェクト確定部15に出力するので、オブジェクト確定部15はオブジェクトを確定(実行)することができる。
以上、ユーザがスイッチ3をONした押下開始位置を推定する押下開始位置推定部を備えた情報入力装置200について、実施の形態1及びその変形例について説明した。
次に、押下開始位置の推定を行うべきか否かを判定する押しぶれ補正制御部をさらに備えた、実施の形態2について説明する。
(実施の形態2)
図9は、本発明の実施の形態2における情報入力装置のブロック図である。本実施の形態において、図2に示した実施の形態1と同様の部分については、同一符号を付し、その詳細な説明は省略する。
図9に示すように、本実施の形態における情報入力装置200は、クリッカブルタッチセンサ1と、タッチ情報検出部4と、タッチ情報系列記憶部5と、押下開始位置推定部16と、押しぶれ補正制御部17と、カーソル位置算出部8と、カーソル表示制御部10と、オブジェクト配置記憶部11と、オブジェクト表示制御部13と、オブジェクト選択検出部14と、オブジェクト確定部15とを備える。
図9に示す本実施の形態が、図2に示した実施の形態と相違する点は、押しぶれ補正制御部17を備えていることであり、以下、その押しぶれ補正制御部17について説明する。
押しぶれ補正制御部17は、GUI画面7上において、オブジェクト選択検出部14により検出されたオブジェクトの配置情報と、カーソル位置算出部8から得られるカーソル9の位置とに基づいて、押しぶれ補正を行うかどうかを決定し、押しぶれ補正を行うことを決定した場合には、押下開始位置推定部16に押下開始位置を推定させる。
次に、押しぶれ補正制御部17による、押しぶれ補正処理を行うかどうかの判定方法を詳しく説明する。
押しぶれ補正制御部17は、補正前のカーソル位置によりオブジェクト選択検出部14が検出するオブジェクトと、押下開始位置推定部16による補正後のカーソル位置によりオブジェクト選択検出部14が検出するオブジェクトとが同一になる可能性が高いかどうかで、押しぶれ補正処理を行うか否かを判定する。
つまり、同一になる可能性が高い場合は、押しぶれ補正処理を行わないと決定し、それ以外は、押しぶれ補正処理を行うと決定する。
具体的には、ユーザの指の押しぶれによるカーソル位置の最大ぶれ幅を定義し、最大ぶれ幅分、現在のカーソル位置を補正しても、補正の前後で選択されるオブジェクトが同一の場合は、押しぶれ補正処理を行わないと決定すればよい。
より具体的に、図11を参照して説明する。図11に示すように、GUI画面7における現在のカーソル位置を(X, Y)とし、また、選択されたオブジェクト12(b)の配置情報を(Rx, Ry, W、H)(但し、Rx, Ryは、GUI画面7におけるオブジェクト12(b)の左下の座標位置を示し、W,Hは、オブジェクト12(b)の幅と高さを示す)とする。また、ユーザの指の最大ぶれ幅をBとする。
この時、(補正前の)カーソル位置(X,Y)が以下の式6を満足する場合は、押しぶれ補正制御部17は押しぶれ補正を行わないと決定する。
なお、最大ぶれ幅Bは、上下左右の押しぶれに対し固定値でなく、上下左右、別々に異なる値を設定してもよい。
以上説明した本実施の形態について、図10を用いてその処理の流れを説明する。
なお、実施の形態1と同様に、クリッカブルタッチセンサ1を用いて、画面表示部6に表示されたGUI画面7に配置されたオブジェクト12(a)〜12(c)に対し、ユーザが目的のオブジェクト12(b)を選択し、確定(実行)する一連の動作を具体例として説明する(図11を参照)。
また、既に説明したように、本実施の形態の構成は、図2に示す実施の形態1に、押しぶれ補正制御部17を追加したものである。よって、押しぶれ補正制御部17以外の図9の各構成要素については、実施の形態1と同一の処理を行う。
すなわち、画面表示部6に表示されたGUI画面7に配置されたオブジェクト12(a)〜12(c)に対し、ユーザがクリッカブルタッチセンサ1を用いて目的のオブジェクト12(b)を選択し、確定(実行)する一連の動作において、ユーザが目的のオブジェクト12(b)を選択するまでの各構成部の動作は、実施の形態1と同じである。
よって、ここでは、GUI画面7において、ユーザが選択したオブジェクト12(b)を確定するために、クリッカブルタッチセンサのタッチセンサ2を押し込んで、スイッチ3をONした(S211でY)後の動作について説明する。
ユーザがクリッカブルタッチセンサ1を押下することによりスイッチ3をONすると(S211でY)、スイッチ3は押下情報を押しぶれ補正制御部17、カーソル位置算出部8及び、オブジェクト選択検出部14に出力する。
押しぶれ補正制御部17は、スイッチ3から押下情報が入力されると、GUI画面7において、現在、ユーザが選択している(すなわち、GUI画面7上においてカーソル9が重なっている)オブジェクト(例えば、オブジェクト12(b))の識別番号を、オブジェクト選択検出部14から取得する。
さらに、押しぶれ補正制御部17は、オブジェクト選択検出部14から取得した識別番号を用いて、オブジェクト12(b)の配置をオブジェクト配置記憶部11から読み出す。
また、押しぶれ補正制御部17は、カーソル位置算出部6からGUI画面7における現在(すなわち、押下情報を押しぶれ補正制御部17が取得した時刻)のカーソル9の位置を取得する。
そして、現在ユーザに選択されているオブジェクト12(b)の配置情報とカーソル位置を用いて、押しぶれ補正制御部17は押しぶれ補正処理を行うかどうかを決定する(S301)。
押しぶれ補正制御部17が押しぶれ補正処理を行うことを決定した場合には(S301でY)、押下開始位置推定部16に押しぶれ補正開始情報を出力し、押下開始位置推定部16に押しぶれ補正処理を行わせる。
押下開始位置推定部16は、押しぶれ補正開始情報が入力されると、既に実施の形態1で説明したように、タッチ情報系列記憶部5に記憶されたタッチ情報に基づいて、ユーザの指がタッチセンサ2を押し始めたときの押下開始位置を推定し、カーソル位置算出部8に出力する(S302)。
その後、押下開始位置を取得したカーソル位置算出部8は、カーソル位置を算出する(S303)。
以後、オブジェクト確定部15でオブジェクトが確定されるまでの動作は、実施の形態1で説明した動作と同一であるので、ここでは省略する。
一方、押しぶれ補正処理を行わないことを決定した場合には(S301でN)、押しぶれ補正制御部17は、オブジェクト選択検出部14に押しぶれ補正中止情報を出力する。
押しぶれ補正中止情報を取得したオブジェクト選択検出部14は、選択されたオブジェクトの識別番号をオブジェクト確定部15に出力する。
より詳しくは、オブジェクト選択検出部14は、スイッチ3から押下情報が入力され、また、押しぶれ補正制御部17から押しぶれ補正中止情報が入力されると、現在、選択されているオブジェクト12(b)の識別番号をオブジェクト確定部15に出力する。
以降のオブジェクト確定部15の動作(S221)及び、オブジェクト表示制御部13の動作(S223)は、実施の形態1で説明した動作と同一であるので、ここでは省略する。
以上説明した本実施の形態では、GUI画面7上の現在のカーソル位置と、現在、ユーザに選択されている(すなわち、カーソル9が重なっている)オブジェクトの配置情報を用いて、押しぶれ補正制御部17は、押しぶれ補正によりカーソル位置を変更したときに同一のオブジェクトが選択される可能性が高いかどうかを判定する。
その結果、同一である可能性が高い場合には情報入力装置200は押しぶれ補正を行わない。
つまり、本実施の形態では、図2に示す実施の形態1のように、ユーザがスイッチ3をONしたときは、常に押下開始位置推定部16による押しぶれ補正を行うようなことはせず、押しぶれによって、ユーザが目的のオブジェクトを確定できない可能性、つまり、誤操作が生じる可能性が高いときのみ、押しぶれ補正処理を行う。
従って、本実施の形態は、実施の形態1に比べて、入力操作全体の応答速度を向上させることが可能である。特に、GUI画面7上でのオブジェクトのサイズが、押しぶれによる最大ぶれ幅に比べ、十分大きい場合には、押しぶれによる誤操作が生じる可能性は低いので、実施の形態1に比べ、入力操作全体の応答速度を大きく向上させることが可能である。
なお、本実施の形態に係る押しぶれ補正制御部17は、押しぶれ補正を行うかどうかを、オブジェクト選択検出部14により検出されたオブジェクトの配置情報と、カーソル位置算出部8から得られるカーソル9の位置に加えて、さらに、オブジェクト選択検出部14により検出された第1のオブジェクトと、第1のオブジェクトの近傍にある少なくとも一つ以上の第2のオブジェクトとの配置情報に基づいて、押しぶれ補正の可否を判定してもよい。
以下、本実施の形態の変形例として、検出されたオブジェクトの近傍にあるオブジェクトの配置情報を用いて押しぶれ補正の可否を判定する押しぶれ補正制御部17について、図11を参照して説明する。
(実施の形態2の変形例)
図11は、本実施の形態におけるGUI画面7を示す。
図11に示されるように、オブジェクト選択検出部14で検出されたオブジェクトをオブジェクト12(b)とし、その近傍にあるオブジェクトをオブジェクト12(a)、12(c)とする。
このとき、押しぶれ補正制御部17はオブジェクト配置記憶部11から各オブジェクト12(a)〜12(c)の配置情報を読み出して、オブジェクト選択検出部14において検出された(すなわち、カーソル9が重なっている)オブジェクト12(b)と近傍オブジェクト12(a)、12(c)との配置上の隙間G(ab)及びG(bc)を求める。
そして、上記で説明したように、押しぶれ補正制御部17は(式6)を用いて押しぶれ補正を行うかどうかを判定するが、その際にユーザの指の押しぶれによるカーソル位置の最大ぶれ幅Bを、予め定めた固定値ではなく、配置上の隙間G(ab)、G(bc)に応じて変化させる。
具体的には、押しぶれ補正制御部17は、G(ab)及びG(bc)を予め定めた2種類の閾値Gs及びGb(但し、Gs<Gbとする)と比較して判定する。
つまり、G(ab)及びG(bc)のいずれもが閾値Gsより小さい場合には、押しぶれによる誤操作が発生する頻度が高いので、押しぶれ補正制御部17は最大ぶれ幅Bを通常より事前に定められた特定の値だけ小さく設定する。その結果、押しぶれ補正制御部17は、押しぶれ補正処理をより多く行うように判定する。
また、G(ab)及びG(bc)のいずれもが閾値Gbより大きい場合には、押しぶれによる誤操作が発生する頻度が低いので、押しぶれ補正制御部17は最大ぶれ幅Bを通常より事前に定められた特定の値だけ大きく設定する。その結果、押しぶれ補正制御部17は、押しぶれ補正処理をより少なく行うように判定する。
このように、GUI画面7における現在のカーソル位置とユーザに選択されているオブジェクトの配置情報に加えて、選択されているオブジェクトとその近傍にあるオブジェクトの配置関係に基づいて、押しぶれ補正処理を行うかどうかを判定する閾値を、押しぶれ補正制御部17が動的に変更することにより、押しぶれによる誤操作のより少ない、応答速度に優れた情報入力装置を提供することができる。
以上、押しぶれ補正制御部17を備えた情報入力装置200の実施の形態2及びその変形例について説明した。
上述の情報入力装置200では、ユーザによる押下開始位置(すなわち、ユーザがクリッカブルタッチセンサ1の押下を開始したであろうタッチセンサ2上での指の位置)を推定することで、押しぶれを防止した。
次に、本発明に係る情報入力装置200の実施の形態3として、オブジェクト選択検出部14により検出されたオブジェクト以外のオブジェクトが選択されないようにする、オブジェクトロック制御部18を備える情報入力装置200について説明する。
(実施の形態3)
図12は、本発明の実施の形態3における情報入力装置のブロック図である。本実施の形態において、図2に示す本実施の形態1と同様の部分については、同一符号を付し、その詳細な説明は省略する。
図12に示すように、本実施の形態における情報入力装置200は、クリッカブルタッチセンサ1と、タッチ情報検出部4と、タッチ情報系列記憶部5と、カーソル位置算出部8と、カーソル表示制御部10と、オブジェクト配置記憶部11と、オブジェクト表示制御部13と、オブジェクト選択検出部14と、オブジェクト確定部15と、オブジェクトロック制御部18とを備える。
本実施の形態が、図2に示す実施の形態1と相違する点は、押下開始位置推定部16の代わりに、オブジェクトロック制御部18を備えることであり、以下、オブジェクトロック制御部18について説明する。
オブジェクトロック制御部18は、タッチ情報系列記憶部5に記憶されたタッチ情報に基づいて、オブジェクト選択検出部14により検出されたオブジェクト以外のオブジェクトが選択されないようにするかどうかを判定するものである。
なお、以下、本実施の形態において、ユーザの指がタッチセンサ2上を動いても、オブジェクト選択検出部14により検出されたオブジェクト以外のオブジェクトが選択されないようにする処理を、オブジェクトをロックする処理(オブジェクトロック処理)と呼ぶ。
図13は、本発明の実施の形態3におけるオブジェクトロック制御部18の具体的なブロック図である。
図13に示すように、オブジェクトロック制御部18は、オブジェクトロック判定部40と、オブジェクトロック判定処理制御部41とを有する。
オブジェクトロック判定部40は、タッチ情報系列記憶部5に記憶されたタッチ情報に基づいて、オブジェクト選択検出部14により検出されたオブジェクト以外のオブジェクトが選択されないようにするかどうかを判定する。
オブジェクトロック判定処理制御部41は、オブジェクト選択検出部14により検出されたオブジェクトの配置情報とカーソル位置算出部8から得られるカーソル位置に基づいて、オブジェクトロック判定処理を行うかどうかを決定する。
また、オブジェクトロック判定部40は、移動量算出部21とオブジェクトロック情報生成部42とを有する。
移動量算出部21は、本発明の実施の形態1における押下開始時刻推定部20を構成する移動量算出部21と同一である。
オブジェクトロック情報生成部42は、移動量算出部21から得られた少なくとも一種類以上の移動量に基づいて、オブジェクト選択検出部14により検出されたオブジェクト以外のオブジェクトが選択されないようにするかどうかを判定し、その判定結果に応じたオブジェクトロック情報を生成する。
オブジェクトロック情報とは、具体的には、オブジェクトのロック開始をオブジェクト選択検出部14とオブジェクト表示制御部13に通知するオブジェクトロック開始情報及び、オブジェクトのロック解除をオブジェクト選択検出部14とオブジェクト表示制御部13に通知するオブジェクトロック停止情報である。
図14は、本発明の実施の形態3におけるGUI画面の外観図である。
オブジェクトロック制御部18の具体的な動作について図13及び図14を参照して説明する。
まず、オブジェクト選択検出部14から、現在ユーザが選択しているオブジェクト12(b)の識別番号が入力されると、オブジェクトロック判定処理制御部41は、オブジェクト配置記憶部11から、GUI画面7上でのオブジェクト12(b)の配置情報を取得する。
また、オブジェクトロック判定処理制御部41はGUI画面7上の現在のカーソル9の位置をカーソル位置算出部8から取得する。
そして、オブジェクトロック判定処理制御部41は、オブジェクト12(b)の配置情報とカーソル9の位置を用いて、オブジェクトロック判定部40にオブジェクトロック判定処理を行わせるかどうかを決定する。
ここで、オブジェクトロック判定処理制御部41が行う、オブジェクトロック判定処理を行うかどうかの判定方法について説明する。
オブジェクトロック判定処理制御部41は、ユーザの指がタッチセンサ2を押し込むときに押しぶれが生じてカーソル位置が移動したとしても、押しぶれによる移動前のカーソル位置によりオブジェクト選択検出部14で検出されるオブジェクトと、押しぶれによる移動後のカーソル位置によりオブジェクト選択検出部14で検出されるオブジェクトが同一になる可能性が高いかどうかを基準として判定する。
すなわち、オブジェクトロック判定処理制御部41は、押しぶれ前後でオブジェクトが同一になる可能性が高い場合はオブジェクトロック判定処理を行わないと決定し、それ以外の場合はオブジェクトロック判定処理を行うと決定する。
より具体的には、ユーザの指の押しぶれによるカーソル位置の最大ぶれ幅を定義し、最大ぶれ幅分、現在のカーソル位置が移動しても、選択されるオブジェクトが同一の場合は、オブジェクトロック判定処理を行わないと決定すればよい。
つまり、GUI画面7において、現在のカーソル位置を(X,Y)とし、また、選択されたオブジェクト12(b)の配置情報を(Rx,Ry,W、H)(但し、Rx,Ryは、GUI画面7におけるオブジェクト12(b)の左下の座標位置を示し、W,Hは、オブジェクト12(b)の幅と高さを示す)とし、ユーザの指の最大ぶれ幅をBとすると、カーソル位置(X,Y)が以下の式7を満足する場合は、オブジェクトロック判定処理を行わないと決定する。
なお、最大ぶれ幅Bは、上下左右の押しぶれに対し固定値でなく、上下左右、別々に異なる値を設定してもよい。
以上が、オブジェクトロック判定処理制御部41が行うオブジェクトロック判定処理を行うかどうかの判定方法の説明である。
オブジェクトロック判定処理制御部41が、オブジェクトロック判定処理を行うことを決定した場合は、オブジェクトロック判定部40がオブジェクト12(b)をロックするかどうかを判定する。
そこで次に、オブジェクトロック判定部40の動作について、詳しく説明する。
まず、移動量算出部21が、オブジェクト選択検出部14からオブジェクトの識別番号が入力された時刻より予め定められた時間分前のタッチ情報を、タッチ情報系列記憶部5から取得する。
次に、移動量算出部21は、取得したタッチ情報に含まれるタッチ位置及びタッチ時刻を用いて、ユーザの指の移動距離、移動速度、移動加速度等の移動量を算出する。
次に、オブジェクトロック情報生成部42は、移動量算出部21で求めた移動量(例えば、移動距離、移動速度及び移動加速度等のうち少なくとも1つ以上)を用いて、ユーザの指がタッチセンサ2上で停止状態にあるかどうか、即ち、GUI画面7上でカーソル9がオブジェクト12(b)上で停止しているかどうかを判定する。
もし、停止状態にあると判定し、かつ、オブジェクト選択検出部14で検出されたオブジェクト12(b)がロックされていなければ、オブジェクトロック情報生成部42は、ユーザがオブジェクト12(b)を確定するためにタッチセンサ2を指で押し込もうとしていると推測する。
その結果、オブジェクトロック情報生成部42は、オブジェクト選択検出部14にオブジェクトロック開始情報を出力する。
逆に、停止状態でないと判定し、かつ、現在、オブジェクト選択検出部14で検出されたオブジェクト12(b)がロックされているならば、ユーザが他のオブジェクトを選択するためにタッチセンサ2で指を移動させたと推測し、オブジェクト選択検出部14にオブジェクトロック停止情報を出力する。
なお、ユーザの指が停止状態でないと判断するのは、タッチセンサ2上でユーザの指が移動した場合以外に、ユーザの指がタッチセンサ2から離れた場合も含む。
また、ユーザがスイッチ3をONした場合(つまり、ユーザがオブジェクト12(b)を確定した場合)も、オブジェクトロック情報生成部43はオブジェクトロック停止情報をオブジェクト選択検出部14に出力する。
このように、一度、ロックされたオブジェクトは、ユーザが、タッチセンサ2上で指を動かしたとき、タッチセンサ2から指を離したとき、又は、スイッチ3をONしたときに解除される。
次に、移動量算出部21で算出される移動量を移動速度として、オブジェクトロック情報生成部42の動作について、さらに具体的に説明する。
移動量算出部21に、オブジェクト選択検出部14からオブジェクト12(b)の識別番号が入力された時刻をT、ある時刻tのタッチ位置をX,Y座標を用いて(x(t)、y(t))とすると、時刻Tより前の、予め定められた時間分n個のクリッカブルタッチセンサ1上での指の移動速度v(t) (t = T−1,T−2,・・・,T−n)は、
なる式8を用いて、移動量算出部21により算出される。
オブジェクトロック情報生成部42は、上記移動速度v(t)が予め定められた時間n’の間、継続的に所定値以下になった場合には、ユーザの指がタッチセンサ2上で停止状態にあると判定する。
具体的には、指が停止したとみなす移動速度v(t)の閾値をVsとするなら、式8で算出したn個の移動速度v(t)のうち、v(t) ≦ Vs を満たすtが予め定められた時間n’の間、連続したなら、オブジェクトロック情報生成部42はユーザの指が停止状態にあると判定する。
なお、オブジェクトロック情報生成部42が指の停止状態を判定する方法としては、上記以外に、複数の指の移動量を用いて、2種類以上の移動量が一定時間、所定値以下になったときに停止状態にあると判定してもよい。
図15は、本発明の実施の形態3における情報入力装置200の処理の流れを示すフローチャートである。
なお、図15においては、本発明の実施の形態1、2と同様に、クリッカブルタッチセンサ1を用いて、画面表示部6に表示されたGUI画面7(図14を参照)に配置されたオブジェクト12(a)〜12(c)に対し、ユーザが目的のオブジェクト12(b)を選択し、確定(実行)する一連の動作を具体例として説明する。
また、既に説明したように、本実施の形態の構成は、図2に示す実施の形態1の押下開始位置推定部16の代わりにオブジェクトロック制御部18を備えたところにあり、それ以外の図12の各構成部については、実施の形態1と同一の動作を行う。
具体的には、クリッカブルタッチセンサ1を用いて、画面表示部6に表示されたGUI画面7に配置されたオブジェクト12(a)〜12(c)に対し、ユーザが目的のオブジェクト12(b)を選択し(すなわち、カーソル9をGUI画面7上でオブジェクトに重ね)、確定(クリッカブルタッチセンサ1を押下)する一連の動作において、ユーザが目的のオブジェクト12(b)を選択するまでの各構成部の動作は、実施の形態1の動作と同じである。
よって、ここでは、オブジェクトロック判定処理制御部41によって、オブジェクトロックを行うと判定された後の、オブジェクトロック判定部40の処理の流れについて説明する。
オブジェクトロック判定部40は、オブジェクト選択検出部14からオブジェクト12(b)の識別番号が入力されると、タッチ情報系列記憶部5に記憶されたタッチ情報に基づいて、オブジェクト12(b)以外のオブジェクトが選択されないようにするかどうか、つまり、オブジェクト12(b)をロックするかどうかを判定する(図15のS401)。
オブジェクトロック判定部40がオブジェクトをロックすると判定した場合には、オブジェクトロック判定部40はオブジェクト選択検出部14とオブジェクト表示制御部13にオブジェクトロック開始情報を出力する(S401でY)。
オブジェクト選択検出部14は、オブジェクトロック判定部40からオブジェクトロック開始情報が入力されると、現在、ユーザが選択しているオブジェクトであるオブジェクト12(b)をロックする。
また、オブジェクト表示制御部13は、オブジェクトロック判定部40からオブジェクトロック開始情報が入力されると、オブジェクト選択検出部14から得られた識別番号に対応するオブジェクトであるオブジェクト12(b)の表示、例えば、サイズや色等を変更し、ユーザに対して、オブジェクト12(b)がロックされていることを提示する(S403)。
さらに、ユーザが選択したオブジェクト12(b)を確定するために、タッチセンサ2を押し込んで、スイッチ3をONすると(S405でY)、スイッチ3は押下情報をオブジェクト選択検出部14とオブジェクトロック判定部40に出力する。
図2で示した実施の形態1と同様に、スイッチ3から押下情報が入力された時、オブジェクト選択検出部14は検出した(すなわち、カーソル9が重なっている)オブジェクト12(b)の識別番号をオブジェクト確定部15に出力する。
オブジェクト確定部15は、オブジェクト選択検出部14からオブジェクト12(b)の識別番号が入力されると、オブジェクト12(b)をユーザが確定したとみなし、その識別番号をオブジェクト表示制御部13に出力するとともに、そのオブジェクトに対応する確定処理を実行する(S407)。
オブジェクト表示制御部13は、オブジェクト確定部15からオブジェクト12(b)の識別番号が入力されると、GUI画面7のオブジェクト12(b)の表示、例えば、サイズや色等を変更し、ユーザに対し、オブジェクト12(b)が確定されたことを提示する(S409)。
また、オブジェクトロック判定部40は、スイッチ3から押下情報が入力されると、オブジェクトロック停止情報をオブジェクト選択検出部14に出力する(S411)。
オブジェクト選択検出部14は、オブジェクトロック判定部40からオブジェクトロック停止情報が入力されると、現在ロックされているオブジェクト12(b)のロックを解除(停止)し、再び、ユーザがオブジェクト12(b)以外のオブジェクトを選択できるようにする。
なお、オブジェクトロック判定部40において、オブジェクトロック停止情報は、オブジェクトロック判定部40がオブジェクトロック開始情報を出力した後に、出力可能となる。
同様に、オブジェクトロック開始情報も、どのオブジェクトも選択されていない初期状態、又は、オブジェクトロック停止情報が出力された後に、出力可能となる。
即ち、オブジェクトロック開始情報とオブジェクトロック停止情報の出力処理は、トグル処理になっている。
以上説明したように、本実施の形態における情報入力装置200によれば、ユーザの指がタッチセンサ2を押下する操作を行おうとしていることを検出し、ユーザの指がスイッチ3を押し始める前に、選択したオブジェクト以外のオブジェクトが選択されないよう、オブジェクトをロックする。よって、ユーザがスイッチ3を押し込むときに、ユーザの指の押圧力によって、ユーザの指が多少ぶれても、選択したオブジェクトを確実に確定することができ、押しぶれによる誤操作を低減することができる。
さらに、従来の情報入力のように、ユーザの指のタッチセンサ3への押圧力を用いて、ユーザがスイッチ3を押し込もうとしている操作を検出した後、ユーザの指の移動によるタッチ位置変更操作を無効化することで、押しぶれを防止する方法とは異なり、本実施の形態では、スイッチ3が完全に押下されない限り、タッチセンサ2上での指の移動操作によるタッチ位置変更操作は入力可能である。
即ち、タッチセンサ2上で指を移動させるときに、タッチセンサを多少強く押しても、連続的にタッチ位置を入力すること、つまり、GUI画面7でカーソル9を連続的に移動させることが可能である。よって、従来の情報入力装置に比べ、操作性を向上させることができる。
さらに、従来の情報入力装置では、ユーザの指の押圧力を検知できる特殊なタッチセンサ101が必要であるが、本実施の形態では、指の位置を検出できる一般的なタッチセンサ2で押しぶれ防止が可能である。
なお、本実施の形態のオブジェクトロック制御部18は、オブジェクトロック判定処理制御部41を用いて、オブジェクトロック判定部40にオブジェクトロック判定処理を行わせるかどうかを決定していたが、オブジェクトロック判定処理制御部41をなくして、常に、オブジェクトロック判定部40にオブジェクトロック判定処理を行わせるようにしてもよい。
また、オブジェクトロック判定処理制御部41は、オブジェクト選択検出部14により検出されたオブジェクトの配置情報と、カーソル位置算出部6から得られるカーソル9の位置を用いて、オブジェクトロック判定処理を行うかどうかを判定していたが、さらに、検出されたオブジェクトの近傍にある少なくとも一つ以上のオブジェクトの配置情報を用いてこれを判定してもよい。
以下、上記判定方法について、本実施の形態の変形例として具体的に説明する。
(変形例)
例えば、図11のGUI画面7に示すように、オブジェクト選択検出部14で検出されたオブジェクト12(b)の近傍にあるオブジェクトをオブジェクト12(a)、12(c)とする。
このとき、オブジェクトロック判定処理制御部41は、オブジェクト配置記憶部11から各オブジェクト12(a)〜12(c)の配置情報を読み出して、検出されたオブジェクト12(b)と近傍オブジェクト12(a)、12(c)との配置上の隙間G(ab)、G(bc)を求める。
そして、上記で説明したように、オブジェクトロック判定処理制御部41は式7を用いて、オブジェクトロック判定処理を行うかどうかを決定する。
具体的には、オブジェクトロック判定処理制御部41は、ユーザの指の押しぶれによるカーソル位置の最大ぶれ幅Bを、予め定めた固定値ではなく配置上の隙間G(ab)、G(bc)に応じて変化させる。
より具体的には、オブジェクトロック判定処理制御部41は、G(ab)及びG(bc)を予め定めた閾値Gs及びGb(但し、Gs<Gbとする)と比較する。
そして、G(ab)及びG(bc)のいずれもが閾値Gsより小さい場合には、押しぶれによる誤操作が発生する頻度が高いので、最大ぶれ幅Bを通常より小さく設定し、オブジェクトロック判定処理をより多く行うようにさせる。
また、G(ab)及びG(bc)のいずれもが閾値Gbより大きい場合には、押しぶれによる誤操作が発生する頻度が低いので、最大ぶれ幅Bを通常より大きく設定し、オブジェクトロック判定処理をより少なくさせる。
このように、カーソル位置とユーザに選択されているオブジェクトの配置情報だけでなく、GUI画面7において現在選択されているオブジェクトとその近傍にあるオブジェクトの配置関係に基づいて、動的に閾値を変更ながらオブジェクトロック判定処理を行うかどうかを判定することにより、押しぶれによる誤操作のより少ない、応答速度に優れた情報入力装置を提供することができる。
なお、各実施の形態では、タッチセンサ2とスイッチ3から構成されるクリッカブルタッチセンサ1と、カーソル9とオブジェクト12(a)〜12(c)を含むGUI画面7が表示される画面表示部6以外の各処理部を専用のハードウェアにより構成したが、これに代えて、同様の機能をコンピュータを用いてソフトウェア的に実現してもよい。
具体的には、実施の形態1〜3及びその変形例で説明した情報入力装置は、コンピュータにより実現することが可能である。
図16を参照して、情報入力装置200は、コンピュータ34と、コンピュータ34に指示を与えるためのキーボード36及びマウス38と、コンピュータ34の演算結果等の情報を提示するためのディスプレイ32と、コンピュータ34で実行されるプログラムを読み取るためのCD−ROM(Compact Disc-Read Only Memory)装置40及び通信モデム(図示せず)とを含む。
情報入力装置200が行う処理であるプログラムは、コンピュータで読取可能な媒体であるCD−ROM42に記憶され、CD−ROM装置40で読み取られる。又は、コンピュータネットワーク26を通じて通信モデムで読み取られる。
図17は、情報入力装置200を実現するコンピュータシステムのハードウェア構成を示すブロック図である。コンピュータ34は、CPU(Central Processing Unit)44と、ROM(Read Only Memory)46と、RAM(Random Access Memory)48と、ハードディスク50と、通信モデム52と、バス54とを含む。
CPU44は、CD−ROM装置40又は通信モデム52を介して読み取られたプログラムを実行する。ROM46は、コンピュータ34の動作に必要なプログラムやデータを記憶する。RAM48は、プログラム実行時のパラメタなどのデータを記憶する。ハードディスク50は、プログラムやデータなどを記憶する。通信モデム52は、コンピュータネットワーク26を介して他のコンピュータとの通信を行う。バス54は、CPU44、ROM46、RAM48、ハードディスク50、通信モデム52、ディスプレイ32、キーボード36、マウス38及びCD−ROM装置40を相互に接続する。
さらに、上記の各装置を構成する構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
さらにまた、上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なICカード又は単体のモジュールから構成されているとしてもよい。ICカード又はモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカード又はモジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ICカード又はモジュールは、その機能を達成する。このICカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
さらに、本発明は、上記コンピュータプログラム又は上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu-ray Disc(登録商標))、USBメモリ、SDカードなどのメモリカード、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。
また、本発明は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしてもよい。
また、上記プログラム又は上記デジタル信号を上記記録媒体に記録して移送することにより、又は上記プログラム又は上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
本発明は、電子機器のGUI画面を操作する情報入力装置等に適用でき、特に、タッチセンサを用いてGUI画面を操作するクリッカブルタッチセンサを備えた情報入力装置等に適用できる。
1 クリッカブルタッチセンサ
2 タッチセンサ
3 スイッチ
4 タッチ情報検出部
5 タッチ情報系列記憶部
6 画面表示部
7 GUI画面
8 カーソル位置算出部
9 カーソル
10 カーソル表示制御部
11 オブジェクト配置記憶部
12(a)〜12(c) オブジェクト
13 オブジェクト表示制御部
14 オブジェクト選択検出部
15 オブジェクト確定部
16 押下開始位置推定部
17 押しぶれ補正制御部
18 オブジェクトロック制御部
20 押下開始時刻推定部
21 移動量算出部
22 停止時刻検出部
23 タッチ位置決定部
24 タッチ面積算出部
25 押下面積到達時刻検出部
26 押下開始時刻決定部
30 移動方向算出部
31 押しぶれ開始時刻検出部
40 オブジェクトロック判定部
41 オブジェクトロック判定処理制御部
42 オブジェクトロック情報生成部
100 クリッカブルタッチセンサ
101 タッチセンサ
102 スイッチ
103 タッチ情報検出部
105 GUI画面
106 カーソル位置算出部
107 カーソル
108 カーソル表示制御部
109 オブジェクト配置記憶部
110(a)〜110(c) オブジェクト
111 オブジェクト表示制御部
112 オブジェクト選択検出部
113 オブジェクト確定部
114 カーソル移動無効化部
200 情報入力装置
300 画面表示装置
400 画面制御部
500 画面表示装置

Claims (19)

  1. クリッカブルタッチセンサを備えた情報入力装置であって、
    前記クリッカブルタッチセンサは、上下動可能に構成されたタッチセンサと、
    前記タッチセンサの操作面から見て垂直下方向に配置され、ユーザが前記タッチセンサを押し込むことにより押下されるスイッチとを備えており、
    前記情報入力装置は、
    前記ユーザの指が前記タッチセンサに接触したときのタッチ情報を検出するタッチ情報検出部と、
    事前に定められた特定時間の間、前記タッチ情報を記憶するタッチ情報系列記憶部と、
    前記スイッチが押下された時に、前記タッチ情報系列記憶部に記憶された複数の前記タッチ情報に基づいて、前記ユーザが前記タッチセンサを押し始めたときの押下開始位置を推定する押下開始位置推定部とを備え、
    前記押下開始位置推定部は、前記スイッチが押下されたときに、前記タッチ情報系列記憶部に記憶された複数の前記タッチ情報に基づいて、前記ユーザの指が前記タッチセンサを押し始めたときの押下開始時刻を推定する押下開始時刻推定部と、
    前記タッチ情報系列記憶部に記憶されている前記タッチ情報を参照し、前記押下開始時刻に、前記ユーザの指が前記タッチセンサに接触していた位置を求めるタッチ位置決定部とを備える
    情報入力装置。
  2. 前記押下開始時刻推定部は、前記タッチ情報系列記憶部に記憶された複数の前記タッチ情報に基づいて、前記タッチセンサ上での前記ユーザの指の移動量を少なくとも一種類以上求める移動量算出部と、
    前記少なくとも一種類以上の移動量を用いて、前記ユーザの指の動きが停止した時刻を推定する停止時刻検出部とを備える
    請求項1記載の情報入力装置。
  3. 前記タッチ情報は、前記ユーザの指が前記タッチセンサに接触した位置であるタッチ位置を含んでおり、
    前記移動量算出部は、前記複数のタッチ情報に含まれる第1のタッチ位置と第2のタッチ位置との距離から、前記移動量として前記ユーザの指の移動速度を算出し、
    前記停止時刻検出部は、前記移動速度が事前に定められた特定の値以下となった時刻を、前記ユーザの指の動きが停止した時刻として求め、この時刻を前記押下開始時刻として推定する
    請求項3記載の情報入力装置。
  4. 前記押下開始時刻推定部は、さらに、前記タッチ情報系列記憶部に記憶された前記タッチ情報に基づいて前記タッチセンサに前記ユーザの指がタッチしている面積であるタッチ面積を求めるタッチ面積算出部と、
    前記タッチ面積算出部から得られた前記タッチ面積が、事前に定められた特定の閾値に到達したときの時刻を求める押下面積到達時刻検出部と、
    前記停止時刻検出部により推定される時刻と、前記押下面積到達時刻検出部により求められる時刻とを用いて、前記ユーザの指が前記タッチセンサを押し始めたときの前記押下開始時刻を決定する押下開始時刻決定部とを備える
    請求項4記載の情報入力装置。
  5. 前記押下開始時刻推定部は、前記タッチ情報系列記憶部に記憶された前記複数のタッチ情報に基づいて、前記タッチセンサ上での前記ユーザの指の移動量を少なくとも一種類以上求める移動量算出部と、
    前記少なくとも一種類以上の移動量を用いて、前記タッチセンサに対する前記ユーザの指の押しぶれの有無を検出し、前記ユーザの指の前記押しぶれを検出した場合は、当該押しぶれが発生する直前の時刻を求める押しぶれ開始時刻検出部とを備える
    請求項1記載の情報入力装置。
  6. 前記押下開始時刻推定部は、さらに、前記タッチ情報系列記憶部に記憶された前記複数のタッチ情報に基づいて、前記タッチセンサ上での前記ユーザの指の移動方向を求める移動方向算出部を備え、
    前記押しぶれ開始時刻検出部は、前記移動量算出部から得られる前記少なくとも一種類以上の移動量と前記移動方向算出部から得られる前記移動方向とを用いて、前記タッチセンサに対する前記ユーザの指の前記押しぶれの有無を検出し、前記ユーザの指の前記押しぶれを検出した場合は、前記少なくとも一種類以上の移動量と前記移動方向とを用いて、前記押しぶれが発生する直前の時刻を求める
    請求項6記載の情報入力装置。
  7. 前記押下開始時刻推定部は、さらに、前記タッチ情報系列記憶部に記憶された前記タッチ情報に基づいて、前記タッチセンサに前記ユーザの指がタッチしている面積であるタッチ面積を求めるタッチ面積算出部と、
    前記タッチ面積算出部から得られた前記タッチ面積が、事前に定められた特定の閾値に到達したときの時刻を求める押下面積到達時刻検出部とを備え、
    前記押しぶれ開始時刻検出部は、前記押下面積到達時刻検出部から得られた押下面積到達時刻と前記移動量算出部から得られる前記少なくとも一種類以上の移動量と前記移動方向算出部から得られる前記移動方向とを用いて、前記タッチセンサに対する前記ユーザの指の前記押しぶれの有無を検出し、前記ユーザの指の前記押しぶれを検出した場合は、前記少なくとも一種類以上の移動量と前記移動方向とを用いて、前記押しぶれが発生する直前の時刻を求める
    請求項7記載の情報入力装置。
  8. 前記情報入力装置は、さらに、前記タッチ情報系列記憶部に記憶された前記タッチ情報、及び、前記押下開始位置推定部によって推定された前記押下開始位置のいずれかに基づいてGUI(Graphical User Interface)画面上のカーソルの位置を算出するカーソル位置算出部を備える
    請求項1記載の情報入力装置。
  9. 前記情報入力装置は、さらに、
    前記GUI画面上に少なくとも1以上のオブジェクトを配置する領域を示すオブジェクト配置情報が記憶されているオブジェクト配置記憶部と、
    前記オブジェクト配置記憶部から取得した前記オブジェクト配置情報に基づいて、前記GUI画面上に前記少なくとも1以上のオブジェクトを表示するオブジェクト表示制御部と、
    前記オブジェクト配置情報と前記カーソル位置算出部から得られる前記カーソル位置とに基づいて、前記少なくとも1以上のオブジェクトのうち前記ユーザに選択されているオブジェクトを検出するオブジェクト選択検出部とを備える
    請求項9記載の情報入力装置。
  10. 前記情報入力装置は、さらに、前記オブジェクト選択検出部により検出された前記オブジェクトの配置情報と前記カーソル位置算出部から得られる前記カーソル位置とに基づき、前記押下開始位置推定部が前記押下開始位置を推定するかどうかを決定する押しぶれ補正制御部を備える
    請求項10記載の情報入力装置。
  11. 前記情報入力装置は、さらに、前記オブジェクト選択検出部により検出された第1のオブジェクトと当該第1のオブジェクトの近傍にある少なくとも一つ以上の第2のオブジェクトとの配置情報に基づき、前記押下開始位置を推定するかどうかを決定する押しぶれ補正制御部を備える
    請求項10記載の情報入力装置。
  12. クリッカブルタッチセンサを用いた情報入力方法であって、
    前記クリッカブルタッチセンサは、上下動可能に構成されたタッチセンサと、
    前記タッチセンサの操作面から見て垂直下方向に配置され、ユーザが前記タッチセンサを押し込むことにより押下されるスイッチとを備えており、
    前記情報入力方法は、
    前記ユーザの指が前記タッチセンサに接触したときのタッチ情報を検出するタッチ情報検出ステップと、
    事前に定められた特定時間の間、前記タッチ情報を記憶するタッチ情報系列記憶ステップと、
    前記スイッチが押下された時に、前記タッチ情報系列記憶ステップにおいて記憶された複数の前記タッチ情報に基づいて、前記ユーザが前記タッチセンサを押し始めたときの押下開始位置を推定する押下開始位置推定ステップとを含み、
    前記押下開始位置推定ステップは、前記スイッチが押下されたときに、前記タッチ情報系列記憶ステップにおいて記憶された複数の前記タッチ情報に基づいて、前記ユーザの指が前記タッチセンサを押し始めたときの押下開始時刻を推定する押下開始時刻推定ステップと、
    前記タッチ情報系列記憶ステップにおいて記憶された前記タッチ情報を参照し、前記押下開始時刻に、前記ユーザの指が前記タッチセンサに接触していた位置を求めるタッチ位置決定ステップとを含む
    情報入力方法。
  13. 請求項13に記載の情報入力方法をコンピュータに実行させる
    プログラム。
  14. 請求項14に記載のプログラムを記録した
    コンピュータ読み取り可能な記録媒体。
  15. クリッカブルタッチセンサを用いて情報を入力するための集積回路であって、
    前記クリッカブルタッチセンサは、上下動可能に構成されたタッチセンサと、
    前記タッチセンサの操作面から見て垂直下方向に配置され、ユーザが前記タッチセンサを押し込むことにより押下されるスイッチとを備えており、
    前記集積回路は、
    前記ユーザの指が前記タッチセンサに接触したときのタッチ情報を検出するタッチ情報検出部と、
    事前に定められた特定時間の間、前記タッチ情報を記憶するタッチ情報系列記憶部と、
    前記スイッチが押下された時に、前記タッチ情報系列記憶部に記憶された複数の前記タッチ情報に基づいて、前記ユーザが前記タッチセンサを押し始めたときの押下開始位置を推定する押下開始位置推定部とを備えており、
    前記押下開始位置推定部は、前記スイッチが押下されたときに、前記タッチ情報系列記憶部に記憶された複数の前記タッチ情報に基づいて、前記ユーザの指が前記タッチセンサを押し始めたときの押下開始時刻を推定する押下開始時刻推定部と、
    前記タッチ情報系列記憶部に記憶されている前記タッチ情報を参照し、前記押下開始時刻に、前記ユーザの指が前記タッチセンサに接触していた位置を求めるタッチ位置決定部とを備える
    集積回路。
  16. クリッカブルタッチセンサを備えた情報入力装置であって、
    前記クリッカブルタッチセンサは、上下動可能に構成されたタッチセンサと、
    前記タッチセンサの操作面から見て垂直下方向に配置され、ユーザが前記タッチセンサを押し込むことにより押下されるスイッチとを備えており、
    前記ユーザの指が前記タッチセンサに接触したときのタッチ情報を検出するタッチ情報検出部と、
    事前に定められた特定時間の間、前記タッチ情報を記憶するタッチ情報系列記憶部と、
    GUI画面上に少なくとも1以上のオブジェクトを配置する領域を示すオブジェクト配置情報が記憶されているオブジェクト配置記憶部と、
    前記オブジェクト配置記憶部から取得した前記オブジェクト配置情報に基づいて、前記GUI画面上に前記少なくとも1以上のオブジェクトを表示するオブジェクト表示制御部と、
    前記タッチ情報系列記憶部に記憶された前記タッチ情報に基づいて、前記GUI画面上のカーソル位置を算出するカーソル位置算出部と、
    前記オブジェクト配置情報と前記カーソル位置算出部から得られる前記カーソル位置に基づいて、前記少なくとも1以上のオブジェクトのうちで前記ユーザに選択されているオブジェクトを検出するオブジェクト選択検出部と、
    前記タッチ情報系列記憶部に記憶された前記タッチ情報に基づいて、前記オブジェクト選択検出部により検出された、前記ユーザに選択されているオブジェクト以外のオブジェクトが選択されないようにするかどうかを決定するオブジェクトロック制御部とを備え、
    前記ユーザに選択されているオブジェクト以外のオブジェクトは、前記GUI画面上において、前記ユーザに選択されているオブジェクトの周囲に配置されている
    情報入力装置。
  17. 前記オブジェクトロック制御部は、前記タッチ情報系列記憶部に記憶された前記タッチ情報に基づいて、前記オブジェクト選択検出部により検出されたオブジェクト以外のオブジェクトが選択されないようにするかどうかを判定するオブジェクトロック判定処理を行うオブジェクトロック判定部と、
    前記オブジェクト選択検出部により検出された前記オブジェクトの配置情報と前記カーソル位置算出部から得られる前記カーソル位置に基づいて、前記オブジェクトロック判定処理を行うかどうかを決定するオブジェクトロック判定処理制御部とを備える
    請求項17記載の情報入力装置。
  18. 前記オブジェクトロック制御部は、前記タッチ情報系列記憶部に記憶された前記タッチ情報に基づいて、前記オブジェクト選択検出部により検出されたオブジェクト以外のオブジェクトが選択されないようにするかどうかを判定するオブジェクトロック判定処理を行うオブジェクトロック判定部と、
    前記オブジェクト選択検出部により検出された第3のオブジェクトと前記検出された第3のオブジェクトの近傍にある少なくとも一つ以上の第4のオブジェクトとの配置情報に基づいて、前記オブジェクトロック判定処理を行うかどうかを決定するオブジェクトロック判定処理制御部とを備える
    請求項17記載の情報入力装置。
  19. 前記オブジェクトロック判定部は、前記タッチ情報系列記憶部に記憶された前記タッチ情報に基づいて、前記タッチセンサ上での前記ユーザの指の移動量を少なくとも一種類以上求める移動量算出部と、
    前記少なくとも一種類以上の移動量に基づいて、前記オブジェクト選択検出部により検出された前記オブジェクト以外のオブジェクトが選択されないようにするかどうかを判定し、その判定結果に応じたオブジェクトロック情報を生成するオブジェクトロック情報生成部とを備える
    請求項18又は19記載の情報入力装置。
JP2012518221A 2010-06-03 2011-05-23 情報入力装置、情報入力方法及びプログラム Active JP5730866B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012518221A JP5730866B2 (ja) 2010-06-03 2011-05-23 情報入力装置、情報入力方法及びプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010128255 2010-06-03
JP2010128255 2010-06-03
JP2012518221A JP5730866B2 (ja) 2010-06-03 2011-05-23 情報入力装置、情報入力方法及びプログラム
PCT/JP2011/002840 WO2011151988A1 (ja) 2010-06-03 2011-05-23 情報入力装置、情報入力方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2011151988A1 JPWO2011151988A1 (ja) 2013-07-25
JP5730866B2 true JP5730866B2 (ja) 2015-06-10

Family

ID=45066381

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012518221A Active JP5730866B2 (ja) 2010-06-03 2011-05-23 情報入力装置、情報入力方法及びプログラム

Country Status (4)

Country Link
US (1) US8970528B2 (ja)
JP (1) JP5730866B2 (ja)
CN (1) CN102906675B (ja)
WO (1) WO2011151988A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10510097B2 (en) 2011-10-19 2019-12-17 Firstface Co., Ltd. Activating display and performing additional function in mobile terminal with one-time user input

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10275153B2 (en) * 2011-05-19 2019-04-30 Will John Temple Multidirectional button, key, and keyboard
JP5487262B2 (ja) * 2012-08-03 2014-05-07 株式会社コナミデジタルエンタテインメント 操作端末、操作制御方法、操作制御プログラム
US9323343B2 (en) * 2013-01-31 2016-04-26 Panasonic Intellectual Property Corporation Of America Information processing method and information processing apparatus
US9141245B2 (en) * 2013-08-08 2015-09-22 Panasonic Intellectual Property Corporation Of America Electronic device and coordinate detecting method
JP5616557B1 (ja) * 2013-08-08 2014-10-29 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 電子機器および座標検出方法
JP6277786B2 (ja) * 2014-03-11 2018-02-14 トヨタ自動車株式会社 車両用操作装置
JP6331738B2 (ja) * 2014-06-13 2018-05-30 富士通株式会社 情報処理装置およびプログラム
FR3029656B1 (fr) * 2014-12-09 2017-01-13 ISKn Procede de detection continue d'un etat de contact ou de non contact entre une pointe d'un ustensile et un support d'ecriture d'epaisseur variable, et systeme associe
US9489096B2 (en) * 2014-12-23 2016-11-08 Sony Corporation Touch screen touch force measurement based on finger deformation speed
CN106168864A (zh) * 2015-05-18 2016-11-30 佳能株式会社 显示控制装置以及显示控制方法
CN108700992B (zh) * 2016-02-18 2022-03-01 索尼公司 信息处理设备、信息处理方法和计算机可读介质
US10324293B2 (en) * 2016-02-23 2019-06-18 Compedia Software and Hardware Development Ltd. Vision-assisted input within a virtual world
CN107526508B (zh) * 2016-06-21 2022-06-24 阿尔派株式会社 电子装置、滑动操作处理方法及滑动操作处理***
CN110163611B (zh) * 2019-03-18 2022-12-27 腾讯科技(深圳)有限公司 一种身份识别方法、装置以及相关设备
CN113253900A (zh) * 2020-02-10 2021-08-13 北京小米移动软件有限公司 快捷应用功能调用方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000311052A (ja) * 1999-04-27 2000-11-07 Narubishi Kikai:Kk ポインティングデバイス
JP2003276525A (ja) * 2002-03-22 2003-10-02 Toyota Motor Corp タッチパネル複合スイッチ
JP2006350931A (ja) * 2005-06-20 2006-12-28 Ntt Docomo Inc 入力端末
JP4020246B2 (ja) * 2002-03-26 2007-12-12 ポリマテック株式会社 タッチパッド装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1351121A3 (en) 2002-03-26 2009-10-21 Polymatech Co., Ltd. Input Device
US7499040B2 (en) * 2003-08-18 2009-03-03 Apple Inc. Movable touch pad with added functionality
JP5132028B2 (ja) 2004-06-11 2013-01-30 三菱電機株式会社 ユーザインタフェース装置
US8743060B2 (en) * 2006-07-06 2014-06-03 Apple Inc. Mutual capacitance touch sensing device
US20100171711A1 (en) * 2008-11-28 2010-07-08 Research In Motion Limited Portable electronic device with touch-sensitive display and method of controlling same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000311052A (ja) * 1999-04-27 2000-11-07 Narubishi Kikai:Kk ポインティングデバイス
JP2003276525A (ja) * 2002-03-22 2003-10-02 Toyota Motor Corp タッチパネル複合スイッチ
JP4020246B2 (ja) * 2002-03-26 2007-12-12 ポリマテック株式会社 タッチパッド装置
JP2006350931A (ja) * 2005-06-20 2006-12-28 Ntt Docomo Inc 入力端末

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10510097B2 (en) 2011-10-19 2019-12-17 Firstface Co., Ltd. Activating display and performing additional function in mobile terminal with one-time user input
US10896442B2 (en) 2011-10-19 2021-01-19 Firstface Co., Ltd. Activating display and performing additional function in mobile terminal with one-time user input
US11551263B2 (en) 2011-10-19 2023-01-10 Firstface Co., Ltd. Activating display and performing additional function in mobile terminal with one-time user input

Also Published As

Publication number Publication date
CN102906675B (zh) 2015-09-09
JPWO2011151988A1 (ja) 2013-07-25
US20130063386A1 (en) 2013-03-14
WO2011151988A1 (ja) 2011-12-08
US8970528B2 (en) 2015-03-03
CN102906675A (zh) 2013-01-30

Similar Documents

Publication Publication Date Title
JP5730866B2 (ja) 情報入力装置、情報入力方法及びプログラム
US11294503B2 (en) Sensor baseline offset adjustment for a subset of sensor output values
CN105556443B (zh) 使用动态阈值对压感板的点击检测的方法和设备
JP5532300B2 (ja) タッチパネル装置およびタッチパネル制御方法、プログラム、並びに記録媒体
US7932896B2 (en) Techniques for reducing jitter for taps
EP2917814B1 (en) Touch-sensitive bezel techniques
US9372576B2 (en) Image jaggedness filter for determining whether to perform baseline calculations
JP5745161B2 (ja) ユーザインターフェースの要素を選択する方法とこの方法を実行する装置
WO2011142317A1 (ja) ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
US20050046621A1 (en) Method and device for recognizing a dual point user input on a touch based user input device
EP2416233A1 (en) Information processing apparatus, information processing method, and computer program
WO2011002414A2 (en) A user interface
US20140082559A1 (en) Control area for facilitating user input
CN108733302B (zh) 手势触发方法
KR20170061560A (ko) 사용자 입력을 획득하기 위한 방법 및 전자장치
US10296130B2 (en) Display control apparatus, display control method, and storage medium storing related program
KR20160019449A (ko) 간접 입력의 명확화 기법
JPWO2012111227A1 (ja) タッチ式入力装置、電子機器および入力方法
JP5949010B2 (ja) 入力制御装置、入力制御プログラム、及び入力制御方法
JP2013047864A (ja) 情報入力装置、情報入力方法及びプログラム
JP5899568B2 (ja) 入力物体を区別するシステム及び方法
US20150029099A1 (en) Method for controlling touch and motion sensing pointing device
JP2017211723A (ja) 端末装置及びタッチパネルの制御プログラム
US9720513B2 (en) Apparatus and method for receiving a key input
JP2011170727A (ja) 入力装置及び入力方法並びに入力プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140410

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140410

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150408

R150 Certificate of patent or registration of utility model

Ref document number: 5730866

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150