JP2011134111A - タッチパネル装置およびタッチパネル制御方法、プログラム、並びに記録媒体 - Google Patents

タッチパネル装置およびタッチパネル制御方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP2011134111A
JP2011134111A JP2009293147A JP2009293147A JP2011134111A JP 2011134111 A JP2011134111 A JP 2011134111A JP 2009293147 A JP2009293147 A JP 2009293147A JP 2009293147 A JP2009293147 A JP 2009293147A JP 2011134111 A JP2011134111 A JP 2011134111A
Authority
JP
Japan
Prior art keywords
touch screen
gui
finger
touch panel
close
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009293147A
Other languages
English (en)
Other versions
JP5532300B2 (ja
Inventor
Koichi Kashio
浩一 樫尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009293147A priority Critical patent/JP5532300B2/ja
Priority to US12/941,298 priority patent/US20110157040A1/en
Priority to CN2010105934122A priority patent/CN102109925A/zh
Publication of JP2011134111A publication Critical patent/JP2011134111A/ja
Application granted granted Critical
Publication of JP5532300B2 publication Critical patent/JP5532300B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

【課題】小型の機器に搭載可能なタッチパネルにおいて、情報の表示機能を阻害することなく操作性を向上させることができるようにする。
【解決手段】撮像回路１２−１乃至撮像回路１２−４から出力された画像のデータは、画像認識部３１に供給され、近接した物体が指、スタイラスペン、またはそれ以外の物体であるかが判別される。形状検出部３３は、４方向からの画像を解析することにより、指などの３次元の形状を推定する演算を行う。位置・面積検出部３３は、指などのタッチスクリーン１１上での位置を算出し、また、タッチスクリーン１１の表面との距離を算出する。さらに、３次元の形状に基づいて、指などのタッチスクリーン１１上の接触面積を推定する演算を行う。接触・近接判定部３４は、検出データ処理部３５の処理結果と、位置・面積検出部３３の検出結果に基づいて、指などがタッチスクリーン１１に接触したのか、近接したのかを判定する。
【選択図】図２

Description

本発明は、タッチパネル装置およびタッチパネル制御方法、プログラム、並びに記録媒体に関し、特に、小型の機器に搭載可能なタッチパネルにおいて、情報の表示機能を阻害することなく操作性を向上させることができるようにするタッチパネル装置およびタッチパネル制御方法、プログラム、並びに記録媒体に関する。
近年、携帯電話機、ＰＤＡなどのモバイル機器のユーザインタフェースとしてタッチパネルの採用が増加している。タッチパネルは、入力装置と表示装置が一体化されているので、ユーザインタフェースとしてタッチパネルを採用することにより、機器サイズの小型化ができ、組み込むソフトウェアにより様々や見せ方や直感的に分かりやすい操作性を実現できるからである。
モバイル機器で使用されているタッチパネルの多くは、抵抗膜方式、静電容量方式のタッチパネルである。これらのタッチパネルにより、接触状態と非接触状態の２つの状態を検知することで、モバイル機器に対するユーザの入力トリガとしている。例えば、タッチパネルの表示画面内に構築されたグラフィカルユーザインタフェース(ＧＵＩ)の部品(ボタンなど)を指先でタッチすることで操作している。
近年のモバイル機器の高性能化に伴い、従来はパーソナルコンピュータなどを用いていた情報処理についてもモバイル機器が使われるようになっている。このため、モバイル機器の小さい画面上にソフトウェアキーボードを表示して文字入力を行ったり、複雑なＧＵＩでの入力が求められることもある。
このような場合、ＧＵＩ部品が指先よりも小さいこともあり、タッチパネルの入力精度が低い場合、または指先がぶれるなどした場合、意図しない選択や入力ミスをしてしまうことがある。
従来、例えば、小さなＧＵＩ部品の選択に対して接触状態から非接触状態になった時点で触れていたＧＵＩ部品に確定するという手法で入力ミスを減らすようにしていた。
また、表示面にタッチパネルを設け、その近傍に２つの近接検出用カメラを設けて撮像された画像に基づいて、ユーザの指と表示面との相対的な位置関係を検出し、ユーザの指が表示面に対して所定の距離以上近接したことを検出した際に、指が近接しているアイコンを拡大表示することも提案されている（例えば、特許文献１参照）。
このようにすることで、ユーザが選択しようとしているアイコンを予測して拡大表示し、ユーザに対してアイコンを選択させ易くすることができる。
特開２００６−２３６１４３号公報
しかしながら、例えば、小さなＧＵＩ部品の選択に対して接触状態から非接触状態になった時点で触れていたＧＵＩ部品に確定するという方式は、ユーザにとって違和感がある。すなわち、ユーザの心理としては、実際のボタン押下操作のようにＧＵＩ部品に接触した時点で確定となった方がより自然に感じるはずである。
また、表示面に表示されるＧＵＩ部品を拡大して表示すれば、アイコンの選択は容易になると思われるが、表示面に表示されているその他の情報がアイコンに隠れて見えなくなってしまうことがある。すなわち、操作性に問題がない限り、ＧＵＩ部品は小さく表示されることが望ましい。
さらに、近年、モバイル機器の機能向上に伴って、１つの機器に携帯電話機能、メール送受信機能、音楽再生機能、画像撮像表示機能、・・・など多くの機能が集約される傾向にあり、表示面に表示されるＧＵＩ部品の数も増えている。このため、表示面の表示を見易くし、かつアイコンの選択を容易にすることは、益々重要となってきている。
本発明はこのような状況に鑑みてなされたものであり、小型の機器に搭載可能なタッチパネルにおいて、情報の表示機能を阻害することなく操作性を向上させることができるようにするものである。
本発明の一側面は、タッチスクリーンに物体が近接したか否かを判定する近接判定手段と、前記タッチスクリーンに物体が近接したと判定された場合、前記物体の前記タッチスクリーン上での接触面積を推定する面積推定手段と、前記推定された接触面積に基づいて、前記タッチスクリーンに表示されるＧＵＩの部品の大きさを制御する表示制御手段とを備えるタッチパネル装置である。
前記タッチスクリーンに物体が近接したと判定された場合、前記物体が複数あるか否かを判定する物体数判定手段と、前記物体が複数あると判定された場合、前記タッチスクリーンに表示されるＧＵＩをデフォルトのＧＵＩとは異なる第１のＧＵＩに設定する第１の表示設定手段とをさらに備えるようにすることができる。
前記タッチスクリーンに物体が近接したと判定された場合、前記物体の種類に基づいて前記タッチスクリーンに表示されるＧＵＩをデフォルトのＧＵＩとは異なる第２のＧＵＩに設定する第２の表示設定手段とをさらに備えるようにすることができる。
前記近接判定手段は、前記タッチスクリーンの各辺から前記タッチスクリーンの中央を撮像した複数の画像に基づいて物体が近接したか否かを判定し、前記面積推定手段は、前記複数の画像を解析して得られる３次元形状に基づいて前記接触面積を推定するようにすることができる。
前記タッチスクリーンに物体が近接したと判定された場合、前記物体が前記タッチスクリーンに接触することにより選択される可能性が高いＧＵＩの部品を特定し、前記特定された部品を他の部品とは異なる態様で表示させる選択部品特定手段をさらに備えるようにすることができる。
前記選択部品特定手段は、前記推定された接触面積に対応する前記タッチスクリーン上の領域の中心点と、前記タッチスクリーンに表示されたＧＵＩの部品のそれぞれの重心点との距離に基づいて、前記選択される可能性が高いＧＵＩの部品を特定するようにすることができる。
前記選択部品特定手段は、前記選択される可能性が高いＧＵＩの部品を、予め設定された周期で繰り返し特定し、前記タッチスクリーン上において前記特定されたＧＵＩの部品と重複する領域に前記物体が接触した場合、前記ＧＵＩの部品の選択を確定する選択確定手段をさらに備えるようにすることができる。
前記タッチスクリーンに物体が近接したと判定された場合、前記タッチスクリーンに前記ＧＵＩが表示されるようにすることができる。
本発明の一側面は、近接判定手段が、タッチスクリーンに物体が近接したか否かを判定し、面積推定手段が、前記タッチスクリーンに物体が近接したと判定された場合、前記物体の前記タッチスクリーン上での接触面積を推定し、表示制御手段が、前記推定された接触面積に基づいて、前記タッチスクリーンに表示されるＧＵＩの部品の大きさを制御するステップを含むタッチパネル制御方法である。
本発明の一側面は、コンピュータを、タッチスクリーンに物体が近接したか否かを判定する近接判定手段と、前記タッチスクリーンに物体が近接したと判定された場合、前記物体の前記タッチスクリーン上での接触面積を推定する面積推定手段と、前記推定された接触面積に基づいて、前記タッチスクリーンに表示されるＧＵＩの部品の大きさを制御する表示制御手段とを備えるタッチパネル装置として機能させるプログラムである。
本発明の一側面においては、タッチスクリーンに物体が近接したか否かが判定され、前記タッチスクリーンに物体が近接したと判定された場合、前記物体の前記タッチスクリーン上での接触面積が推定され、前記推定された接触面積に基づいて、前記タッチスクリーンに表示されるＧＵＩの部品の大きさが制御される。
本発明によれば、小型の機器に搭載可能なタッチパネルにおいて、情報の表示機能を阻害することなく操作性を向上させることができる。
本発明を適用したタッチパネル装置の例を示す図である。 図１のタッチパネル装置の内部構成例を示すブロック図である。 図２の撮像回路により４方向から画像を撮像する例を説明する図である。 図２の接触・近接判定部による近接の判定の方式を説明する図である。 タッチパネル装置を用いたタッチパネル操作を説明する図である。 タッチパネル装置を用いたタッチパネル操作を説明する図である。 タッチパネル装置を用いたタッチパネル操作を説明する図である。 近接検知処理の例を説明するフローチャートである。 指をタッチスクリーンの表面に近接させた場合の例を示す図である。 ＧＵＩの部品の配置と指の接触領域の例を説明する図である。 ＧＵＩの部品の重心点と指の接触領域の中心点の例を示す図である。 タッチスクリーンの表面に近接させた指を移動させた場合の例を示す図である。 タッチスクリーンの表面に実際に接触した状態の例を示す図である。 図１３の状態におけるＧＵＩの部品の選択を説明する図である。 パーソナルコンピュータの構成例を示すブロック図である。
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本発明を適用したタッチパネル装置の例を示す図である。
同図に示されるタッチパネル装置１０は、指、スタイラスペンなどがタッチパネル表面に接触したことを検知することができるとともに、指、スタイラスペンなどがタッチパネル表面に近接したことを検知することができるようになされている。また、タッチパネル装置１０は、例えば、複数の指がタッチパネル表面に接触または近接したことを検知することができ、さらに、指やスタイラスペンのタッチパネルとの接触部分の面積を検出することができるようになされている。
図１に示されるタッチパネル装置１０には、タッチスクリーン１１が設けられており、タッチスクリーン１１は、例えば、ＧＵＩなどの画像を表示するＬＣＤと接触位置を特定するタッチパネルによって構成されている。
また、四角形のタッチスクリーン１１の４辺にそれぞれ撮像回路１２−１乃至撮像回路１２−４が設けられている。撮像回路１２−１乃至撮像回路１２−４のそれぞれは、画像センサを有し、タッチスクリーン１１に近接した指やスタイラスペンの画像を４つの方向から撮像するようになされている。
図２は、タッチパネル装置１０の内部構成例を示すブロック図である。同図に示されるように、タッチパネル装置１０には、撮像回路１２−１乃至撮像回路１２−４、タッチパネル２１、および画像・検出処理部２２が設けられている。
さらに、画像・検出処理部２２には、例えば、マイクロコンピュータ２３などが接続され、マイクロコンピュータ２３により、タッチパネル装置１０の操作に対応する処理が実行される。例えば、タッチスクリーンに表示された所定のＧＵＩの部品に指やスタイラスペンが接触したことを、画像・検出処理部２２が検知した場合、その部品に割り当てられた機能を実現するための処理がマイクロコンピュータ２３により実行される。
撮像回路１２−１乃至撮像回路１２−４は、上述したように、それぞれの方向から撮像した指やスタイラスペンの画像のデータを、画像・検出処理部２２に出力するようになされている。
タッチパネル２１は、指やスタイラスペンの接触およびその接触位置を検知する。タッチパネル２１は、例えば、対向する２枚の抵抗膜を用いて操作した位置に応じた電圧を検知する抵抗膜方式のものが用いられる。あるいはまた、指先などと導電膜との間での静電容量の変化を捉えて位置を検出する静電容量方式など、他の方式のものが用いられるようにしてもよい。
撮像回路１２−１乃至撮像回路１２−４から出力された画像のデータのそれぞれは、画像・検出処理部２２の画像認識部３１に供給される。
画像認識部３１は、供給された画像のデータに基づいて、タッチスクリーン１１に近接した物体を判別するようになされている。画像認識部３１は、例えば、供給された画像のデータから抽出された特徴量を、予め記憶している特徴量の情報などと比較することで、タッチスクリーン１１に近接した物体が指、スタイラスペン、またはそれ以外の物体であるかを判別する。
画像認識部３１による認識結果として、指、またはスタイラスペンが近接したことが検知された場合、撮像回路１２−１乃至撮像回路１２−４から出力された画像のデータのそれぞれは、認識結果の情報とともに形状検出部３２に出力される。
形状検出部３２は、撮像回路１２−１乃至撮像回路１２−４により撮像された４方向からの画像を解析することにより、指、またはスタイラスペンの３次元の形状を推定する演算を行う。なお、スタイラスペンの形状は、どれもほぼ同じなので、画像認識部３１による認識結果として、指が近接したことが検知された場合のみ、３次元の形状を推定する演算が行われるようにしてもよい。
形状検出部３２の演算結果として得られた３次元の形状は、撮像回路１２−１乃至撮像回路１２−４から出力された画像のデータとともに、位置・面積検出部３３に供給される。
位置・面積検出部３３は、撮像回路１２−１乃至撮像回路１２−４により撮像された４方向からの画像を解析することにより、指、またはスタイラスペンのタッチスクリーン１１上での位置を算出する。位置・面積検出部３３は、例えば、指、またはスタイラスペンを垂直下方向に移動させた場合、タッチスクリーン１１の表面のどの位置に接触するかを、Ｘ軸Ｙ軸座標として算出する。
また、位置・面積検出部３３は、撮像回路１２−１乃至撮像回路１２−４により撮像された４方向からの画像を解析することにより、指、またはスタイラスペンとタッチスクリーン１１の表面との距離を算出する。位置・面積検出部３３は、この距離を、例えば、Ｚ軸座標として出力する。
さらに、位置・面積検出部３３は、形状検出部３２の演算結果として得られた３次元の形状に基づいて、指、またはスタイラスペンのタッチスクリーン１１上の接触面積を推定する演算を行う。例えば、指、またはスタイラスペンの３次元形状がほぼ円柱形であった場合、位置・面積検出部３３は、当該円柱の底面の面積を上述の接触面積と推定し、その面積を算出する。
すなわち、図３に示されるように、例えば、所定の時間間隔で撮像回路１２−１乃至撮像回路１２−４により４方向から画像を撮像し、得られた４枚の画像を解析（画像処理など）する。そして、各時刻における上述のＸ軸Ｙ軸Ｚ軸座標の値が得られるとともに、上述の接触面積として面積Ａが得られるのである。
接触・近接判定部３４は、後述する検出データ処理部３５の処理結果と、位置・面積検出部３３の検出結果に基づいて、指、またはスタイラスペンがタッチスクリーン１１に接触したのか、近接したのかを判定する。
検出データ処理部３５は、タッチパネル２１から出力された情報に基づいて、指、またはスタイラスペンがタッチスクリーン１１の表面のどの位置に接触したかを表す情報を出力する。検出データ処理部３５は、例えば、接触位置をＸ軸Ｙ軸座標として出力する。
そして、接触・近接判定部３４の判定結果とともに、位置・面積検出部３３の演算結果を表す情報が、画像・検出処理部２２の検出結果として出力されるようになされている。すなわち、画像・検出処理部２２の検出結果として、近接した物体の種類を判別する情報であって、指、またはスタイラスペンのいずれが、近接しているのかを表す情報が含まれる。また、画像・検出処理部２２の検出結果には、指、またはスタイラスペンが、タッチスクリーン１１の表面のどの位置に、どれだけ近接若しくは接触しているかを表す情報が含まれる。さらに、その指、またはスタイラスペンのタッチスクリーン１１上の接触面積も含まれる。
図４は、接触・近接判定部３４による近接の判定の方式を説明する図である。同図は、タッチパネル装置１０を操作するユーザの指が図中下側のタッチスクリーン１１の表面に近づいている状態を表している。同図に示されるように、予め近接を判定するための閾値（指先とタッチスクリーン１１の表面との距離）を設定しておく。この閾値は、位置・面積検出部３３が出力するＺ軸座標の値（タッチスクリーン１１の表面との距離）と比較される。なお、指がタッチスクリーン１１に近接するほど、位置・面積検出部３３が出力するＺ軸座標値は、０に近づくものとする。
そして、出力値（Ｚ軸座標値）が閾値以下の場合、接触・近接判定部３４により指が近接したと判定され、出力値が閾値を超える場合、接触・近接判定部３４により指は近接していないと判定されることになる。
本発明のタッチパネル装置１０は、指、またはスタイラスペンの近接を検知した場合、タッチスクリーン１１にＧＵＩを表示するようになされている。
例えば、タッチスクリーン１１と指との距離が十分離れている場合、タッチスクリーン１１にはＧＵＩが表示されない。
図５乃至図７は、本発明のタッチパネル装置１０を用いたタッチパネル操作の例を説明する図である。
図５は、タッチスクリーン１１と指との距離が十分離れている場合の例を示している。同図において円で示される領域５１は、タッチスクリーン１１で指との接触が想定される領域を表している。
このとき、位置・面積検出部３３は、撮像回路１２−１乃至撮像回路１２−４により撮像された４方向からの画像を解析することにより、指とタッチスクリーン１１の表面との距離を算出し、Ｚ軸座標として出力する。いまの場合、Ｚ軸座標値が閾値を超えていることから、接触・近接判定部３４により指は近接していないと判定されることになる。
例えば、この判定結果を表す情報が、画像・検出処理部２２の検出結果としてマイクロコンピュータ２３に出力される。
図５においては、タッチスクリーン１１にＧＵＩが表示されていない。
図６は、タッチスクリーン１１に指が近接した場合の例を示している。
このとき、位置・面積検出部３３は、撮像回路１２−１乃至撮像回路１２−４により撮像された４方向からの画像を解析することにより、指とタッチスクリーン１１の表面との距離を算出し、Ｚ軸座標として出力する。いまの場合、Ｚ軸座標値が閾値以下であることから、接触・近接判定部３４により指が近接したと判定されることになる。
また、このとき、画像認識部３１は、例えば、撮像回路１２−１乃至撮像回路１２−４から供給された画像のデータから抽出された特徴量を、予め記憶している特徴量の情報などと比較することで、タッチスクリーン１１に近接した物体が指あると判別する。
さらに、形状検出部３２は、撮像回路１２−１乃至撮像回路１２−４により撮像された４方向からの画像を解析することにより、指の３次元の形状を推定する演算を行う。位置・面積検出部３３は、形状検出部３２の演算結果として得られた３次元の形状に基づいて、指のタッチスクリーン１１上の接触面積を推定する演算を行う。これにより、例えば、領域５１の面積が算出される。
また、位置・面積検出部３３は、例えば、指を垂直下方向に移動させた場合、タッチスクリーン１１の表面のどの位置に接触するかを、Ｘ軸Ｙ軸座標として算出する。これにより、例えば、領域５１の中心点の座標が算出される。
これらの判定、判別、演算結果などの情報が画像・検出処理部２２の検出結果としてマイクロコンピュータ２３に出力される。そしてマイクロコンピュータ２３は、タッチスクリーン１１のＬＣＤにＧＵＩを表示させる。図６においては、指の近接が検知されたことにより、ＧＵＩの部品６１乃至部品６３がタッチスクリーン１１に表示されている。
すなわち、本発明のタッチパネル装置１０は、指（またはスタイラスペン）の近接が検知されるまでは、タッチスクリーン１１にＧＵＩを表示させず、近接が検知されるとタッチスクリーン１１にＧＵＩを表示させるようになされている。
なお、部品６１乃至部品６３は、指の近接が検知された場合に表示されるＧＵＩの部品とされ、例えば、スタイラスペンの近接が検知された場合、別のＧＵＩの部品が表示されるようになされている。すなわち、本発明のタッチパネル装置１０は、近接が検知された物体の種類に応じて異なるＧＵＩを表示させることができるようになされている。
また、部品６１乃至部品６３は、指のタッチスクリーン１１上の接触面積に応じて拡大されて表示されるようになされている。例えば、接触面積が閾値以下であった場合、通常の表示サイズで部品６１乃至部品６３が表示され、接触面積が閾値を超える場合、部品６１乃至部品６３が拡大されて表示される。
このようにすることで、例えば、手の大きい人や指の太い人がタッチパネル装置１０を操作する場合などは、ＧＵＩの部品を拡大して表示することができる。一方で、手の小さい人や指の細い人がタッチパネル装置１０を操作する場合などは、ＧＵＩの部品は拡大して表示されることはない。
なお、ここでは、ＧＵＩの部品を拡大して表示する例について説明したが、勿論、ＧＵＩの部品を縮小して表示するようにすることも可能である。要は、必要に応じて、タッチスクリーン１１に表示されるＧＵＩの部品の大きさが制御されるようにすればよい。
また、図６の例では、指１本が近接する場合について説明しているが、例えば、指２本を同時に近接させた場合、異なるＧＵＩの部品が表示されるようにしてもよい。
上述したように、位置・面積検出部３３は、例えば、指を垂直下方向に移動させた場合、タッチスクリーン１１の表面で接触する位置を算出する。例えば、算出された位置の数が特定され、特定された数（すなわち、指の本数）に応じて異なるＧＵＩの部品が表示されるようにしてもよい。あるいはまた、形状検出部３２により推定された３次元の形状に基づいて、近接した指の本数も特定されるようにしてもよい。
例えば、１本の指が検知された場合にはデフォルトのＧＵＩが表示されることとし、２本の指が検知された場合は、別のＧＵＩの表示データが表示されるようにしてもよい。また、同様に、３本の指が検知された場合は、さらに別のＧＵＩが表示されるようにしてもよい。このようにすることで、ユーザは、指を近接させるという１回の操作で、複数のＧＵＩのうちの所望のＧＵＩを表示させることが可能となる。
なお、一度近接した指などが、タッチスクリーン１１の表面から離れた場合、ＧＵＩの表示も消去されるようになされている。
図７は、タッチスクリーン１１に指が接触した場合の例を示している。同図の例においては、指がＧＵＩの部品６３が表示されている位置において、タッチスクリーン１１に接触している。このため、領域５１と部品６３が重なって記載されている。
このとき、検出データ処理部３５は、タッチパネル２１から出力された情報に基づいて、指がタッチスクリーン１１の表面の領域５１の中心の位置に接触したことを表す情報を、例えば、接触位置をＸ軸Ｙ軸座標として出力する。そして、接触・近接判定部３４の判定結果が、画像・検出処理部２２の検出結果として出力され、例えば、部品６３に割り当てられた機能を実現するための処理がマイクロコンピュータ２３により実行されるようになされている。
すなわち、図７に示される状態において、部品６３の選択が確定されるのである。
次に、図８のフローチャートを参照して、本発明のタッチパネル装置１０による近接検知処理の例について説明する。
ステップＳ２１において、マイクロコンピュータ２３は、指またはスタイラスペンの近接を検知したか否かを判定し、指またはスタイラスペンの近接を検知したと判定されるまで待機する。この判定は、例えば、上述した接触・近接判定部３４の判定結果に基づいて行われる。
ステップＳ２１において、指またはスタイラスペンの近接を検知したと判定された場合、処理は、ステップＳ２２に進む。
ステップＳ２２において、マイクロコンピュータ２３は、複数の物体の近接を検知したか否かを判定する。この判定は、例えば、上述した位置・面積検出部３３による接触位置の算出において算出された位置の数に基づいて行われる。
ステップＳ２２において、複数の物体の近接を検知したと判定された場合、処理は、ステップＳ２３に進む。いまの場合、例えば、２本の指が検出されたこととする。なお、スタイラスペンが複数検出されることは想定していない。
ステップＳ２３において、マイクロコンピュータ２３は、検知された物体（指）の数に応じたＧＵＩを設定する。例えば、１本の指が検知された場合に表示されるＧＵＩがパターンＡのＧＵＩであるとすると、２本の指が検知された場合は、パターンＢのＧＵＩの表示データが、タッチスクリーン１１のＬＣＤに表示すべき画像のデータとして設定される。また、例えば、３本の指が検知された場合は、パターンＣのＧＵＩの表示データが、タッチスクリーン１１のＬＣＤに表示すべき画像のデータとして設定される。
なお、デフォルトの表示データとしては、例えば、パターンＡのＧＵＩの表示データが設定されているものとする。
ステップＳ２４において、マイクロコンピュータ２３は、検知された物体（指）の面積をチェックする。ここでは、例えば、位置・面積検出部３３が、形状検出部３２の演算結果として得られた３次元の形状に基づいて演算した、指のタッチスクリーン１１上の接触面積の値が取得される。
一方、ステップＳ２２において、複数の物体の近接を検知しなかったと判定された場合、処理は、ステップＳ２５に進む。
ステップＳ２５において、マイクロコンピュータ２３は、検知された物体の面積をチェックする。ここでは、例えば、位置・面積検出部３３が、形状検出部３２の演算結果として得られた３次元の形状に基づいて演算した、指またはスタイラスペンのタッチスクリーン１１上の接触面積の値が取得される。
なお、近接した物体がスタイラスペンである場合、接触面積の演算は行われないようにしてもよい。
ステップＳ２６において、マイクロコンピュータ２３は、検知された物体がスタイラスペンであるか否かを判定する。ここでは、例えば、画像認識部３１による特徴量の比較に基づく判別結果を用いた判定が行われる。
ステップＳ２６において、検知された物体がスタイラスペンであると判定された場合、処理は、ステップＳ２７に進む。
ステップＳ２７において、マイクロコンピュータ２３は、スタイラスペン用のＧＵＩを設定する。例えば、パターンＸのＧＵＩの表示データが、タッチスクリーン１１のＬＣＤに表示すべき画像のデータとして設定される。
一方、ステップＳ２４の処理の後、または、ステップＳ２６において、検知された物体がスタイラスペンではないと判定された場合、処理は、ステップＳ２８に進む。
ステップＳ２８において、マイクロコンピュータ２３は、ＧＵＩを表示する際に拡大が必要であるか否かを判定する。ここでは、例えば、ステップＳ２４またはステップＳ２５の処理で取得された指のタッチスクリーン１１上の接触面積の値が閾値を超えるか否かが判定され、接触面積の値が閾値を超える場合、拡大が必要であると判定される。
ステップＳ２８において、拡大が必要であると判定された場合、処理は、ステップＳ２９に進む。
ステップＳ２９において、マイクロコンピュータ２３は、デフォルトのＧＵＩの表示データ、またはステップＳ２３の処理で設定されたＧＵＩの表示データに基づいて、ＧＵＩの各部品を拡大してタッチスクリーン１１のＬＣＤに表示する。
一方、ステップＳ２７の処理の後、または、ステップＳ２８において、拡大が必要でないと判定された場合、処理は、ステップＳ３０に進む。
ステップＳ３０において、マイクロコンピュータ２３は、デフォルトのＧＵＩの表示データ、またはステップＳ２７の処理で設定されたＧＵＩの表示データに基づいて、ＧＵＩの各部品をタッチスクリーン１１のＬＣＤに表示する。
このようにして近接検知処理が実行される。
従来、タッチスクリーンに表示されるＧＵＩの部品が小さすぎて操作し辛いという問題があった。表示面に表示されるＧＵＩ部品を拡大して表示すれば、アイコンの選択は容易になると思われるが、表示面に表示されているその他の情報がアイコンに隠れて見えなくなってしまうことがある。
また、近年、モバイル機器の機能向上に伴って、１つの機器に携帯電話機能、メール送受信機能、音楽再生機能、画像撮像表示機能、・・・など多くの機能が集約される傾向にあり、表示面に表示されるＧＵＩ部品の数も増えている。このため、表示面の表示を見易くすし、かつアイコンの選択を容易にすることは、益々重要となってきている。
本発明のタッチパネル装置１０によれば、上述のように近接検知処理が実行される。このようにすることで、例えば、手の大きい人や指の太い人がタッチパネル装置１０を操作する場合、ＧＵＩの部品を拡大して表示することができる。一方で、手の小さい人や指の細い人がタッチパネル装置１０を操作する場合、またはスタイラスペンを用いてタッチパネル装置１０を操作する場合、ＧＵＩの部品は拡大して表示されることはない。
これにより、本発明によれば、情報の表示機能を阻害することなく操作性を向上させることができる。また、本発明のタッチパネル装置１０は、指などを近接させたときに、タッチスクリーン１１にＧＵＩを表示させるので、例えば、装置の消費電力を抑制することができる。
次に、タッチスクリーン１１に表示されたＧＵＩの部品の選択について説明する。
上述したように、検出データ処理部３５が、タッチパネル２１から出力された情報に基づいて、指やスタイラスペンがタッチスクリーン１１の表面の領域５１の中心の位置に接触したことを表す情報を、例えば、接触位置をＸ軸Ｙ軸座標として出力する。そして、接触・近接判定部３４の判定結果が、画像・検出処理部２２の検出結果として出力され、例えば、選択された部品に割り当てられた機能を実現するための処理がマイクロコンピュータ２３により実行される。
すなわち、タッチスクリーン１１に表示されたＧＵＩの部品のうち、接触位置のＸ軸Ｙ軸座標に対応する位置に表示されていたＧＵＩの部品が選択されることになる。
しかしながら、例えば、表示されるＧＵＩの部品が小さいものである場合、指でＧＵＩの部品の位置に正確に接触することは難しく、操作ミスなどが発生しやすい。
本発明のタッチパネル装置１０においては、このような操作ミスの発生を抑止するために、指やスタイラスペンなどの近接の検知に伴って、ＧＵＩの部品の表示の態様を変化させるなどする。これにより、指が接触して選択される可能性の高い部品をユーザに提示しておき、指やスタイラスペンなどが実際にタッチスクリーン１１の表面に接触した時点でその部品の選択を確定するようにする。
例えば、図９に示されるように、指をタッチスクリーン１１の表面に近接させた場合、画面に表示されたＧＵＩの部品のうち、部品８１が他の部品とは異なる色（例えば、赤色）で表示される。
指をタッチスクリーン１１の表面に近接させた場合、上述したように、位置・面積検出部３３は、例えば、指を垂直下方向に移動させた場合、タッチスクリーン１１の表面で接触する位置を算出する。また、位置・面積検出部３３は、形状検出部３２の演算結果として得られた３次元の形状に基づいて、指のタッチスクリーン１１上の接触面積を推定する演算を行う。
図１０は、タッチスクリーン１１の表面の一部を拡大した図であり、いま、例えば、図１０に示されるように、ＧＵＩの部品が配置されているとする。同図において、図中垂直方向および水平方向に規則的に並べられた矩形のそれぞれが、タッチスクリーン１１上におけるＧＵＩの部品を表している。いま、近接した指のタッチスクリーン１１上において接触すると推定される領域が図中円で示される領域５１であるものとする。
例えば、図１０の場合、指が接触して選択される可能性の高い部品は、領域５１と重複する位置の部品であると考えることができる。同図の例では、部品８１−１乃至部品８１−９に対応する矩形の少なくとも一部が領域５１に対応する円と重複する位置に配置されている。
指をタッチスクリーン１１の表面に近接させた場合、マイクロコンピュータ２３は、位置・面積検出部３３により算出されたタッチスクリーン１１の表面で接触する位置およびタッチスクリーン１１上の接触面積に基づいて、最も選択される可能性の高い部品を特定する。ここで、最も選択される可能性の高い部品は、例えば、図１０の領域５１で表される円の中心点と、部品８１−１乃至部品８１−９の重心点との距離に基づいて特定される。
図１１は、図１０と同様にタッチスクリーン１１の表面の一部を拡大した図であり、領域５１の中心点とＧＵＩの部品の重心点を示す図である。同図において、円の中心に示される黒色の点により領域５１の中心点が示されている。また、各矩形の中央に示される黒色の点により各部品の重心点が示されている。なお、この例では、各部品は全て同一の矩形とされているが、例えば、部品のそれぞれが異なる大きさ、異なる形状を有する場合であっても、同様にして重心点が求められる。
そして、マイクロコンピュータ２３は、領域５１の中心点と最も距離の近い重心点を有する部品を、最も選択される可能性の高い部品として特定する。すなわち、図１０の部品８１−１が最も選択される可能性の高い部品とされ、赤色で表示されることになる。
また、図９に示される状態から図１２に示されるように、図１２に示される矢印の方向に指を動かした場合、赤色で表示されていた部品８１はもとの色で表示され、新たに部品８２が赤色で表示される。すなわち、指をタッチスクリーン１１の表面に近接させた場合、マイクロコンピュータ２３は、領域５１の中心点と最も距離の近い重心点を有する部品を、最も選択される可能性の高い部品として特定し、部品の表示の態様を変化させる処理を繰り返し実行する。
例えば、マイクロコンピュータ２３は、画像・検出処理部２２の検出結果として出力される情報に基づいて、指などがタッチスクリーン１１の表面に近接しているか否かを判定する。そして、指などがタッチスクリーン１１の表面に近接していると判定された場合、マイクロコンピュータ２３は、例えば０．５秒毎に、最も選択される可能性の高い部品を特定し、部品の表示の態様を変化させる処理を繰り返し実行するようになされている。
図１２に示される状態から図１３に示されるように、タッチスクリーン１１の表面の部品８２の位置を指で触れた（接触した）とする。図１３では、ユーザが図１２に示される状態から、ほぼ垂直下方向に指を移動させて、タッチスクリーン１１の表面に接触したものとする。
このとき、タッチスクリーン１１において、図１４に示されるように、ＧＵＩの部品が配置されていたとする。そして、同図に示される領域５２において実際に指がタッチスクリーン１１の表面に接触したものとする。図１４は、タッチスクリーン１１の表面の一部を拡大した図であり、図中垂直方向および水平方向に規則的に並べられた矩形のそれぞれが、タッチスクリーン１１上におけるＧＵＩの部品を表している。
図１４の状態では、領域５２の中心点と最も距離の近い重心点を有する部品は、部品８２ではないが、マイクロコンピュータ２３は、部品８２が選択されたものとして、部品８２に割り当てられた機能を実現するための処理を実行する。すなわち、部品８２の選択が確定する。
図１２に示される状態から図１３に示されるように指を動かした際に、意図した位置とは異なる位置に指先が触れてしまうことは多々ある。このような場合、赤色で表示されていた部品とは異なる部品が選択されたと認識すると、ユーザにとって操作性が低いと感じられる。
このため、本発明のタッチパネル装置１０においては、指などがタッチスクリーン１１の表面に近接した後、実際に接触するまでの間の微動は無視して、近接状態において最も選択される可能性の高い部品として特定された部品の選択を確定させる。
なお、仮に、図１４における領域５２と部品８２の位置が重複していない場合、部品８２以外の部品が選択されたものと認識されるようになされている。
このように本発明によれば、操作ミスの発生を抑止することが可能である。また、例えば、従来の方式のように、接触状態から非接触状態になった時点で触れていたＧＵＩ部品に確定するものではなく、実際のボタン押下操作のようにＧＵＩの部品に接触した時点で選択が確定される。これにより、操作ミスの発生の抑止を考慮するとともに、例えば、従来の方式と比較して、より自然な操作環境を提供することが可能となる。
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフ
トウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータにネットワークや記録媒体からインストールされる。また、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１５に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
図１５において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU７０１、ROM７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７が接続されている。また、入出力インタフェース７０５には、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着されている。そして、それらのリムーバブルメディアから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
なお、この記録媒体は、図１５に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
１０ タッチパネル装置， １１ タッチスクリーン， １２−１乃至１２−４ 撮像回路， ２１ タッチパネル， ２２ 画像・検出処理部， ２３ マイクロコンピュータ， ３１ 画像認識部， ３２ 形状検出部， ３３ 位置・面積検出部， ３４ 接触・近接検出部， ３５ 検出データ処理部

Claims (11)

  1. タッチスクリーンに物体が近接したか否かを判定する近接判定手段と、
    前記タッチスクリーンに物体が近接したと判定された場合、前記物体の前記タッチスクリーン上での接触面積を推定する面積推定手段と、
    前記推定された接触面積に基づいて、前記タッチスクリーンに表示されるＧＵＩの部品の大きさを制御する表示制御手段と
    を備えるタッチパネル装置。
  2. 前記タッチスクリーンに物体が近接したと判定された場合、前記物体が複数あるか否かを判定する物体数判定手段と、
    前記物体が複数あると判定された場合、前記タッチスクリーンに表示されるＧＵＩをデフォルトのＧＵＩとは異なる第１のＧＵＩに設定する第１の表示設定手段とをさらに備える
    請求項１に記載のタッチパネル装置。
  3. 前記タッチスクリーンに物体が近接したと判定された場合、前記物体の種類に基づいて前記タッチスクリーンに表示されるＧＵＩをデフォルトのＧＵＩとは異なる第２のＧＵＩに設定する第２の表示設定手段とをさらに備える
    請求項２に記載のタッチパネル装置。
  4. 前記近接判定手段は、前記タッチスクリーンの各辺から前記タッチスクリーンの中央を撮像した複数の画像に基づいて物体が近接したか否かを判定し、
    前記面積推定手段は、前記複数の画像を解析して得られる３次元形状に基づいて前記接触面積を推定する
    請求項１に記載のタッチパネル装置。
  5. 前記タッチスクリーンに物体が近接したと判定された場合、前記物体が前記タッチスクリーンに接触することにより選択される可能性が高いＧＵＩの部品を特定し、前記特定された部品を他の部品とは異なる態様で表示させる選択部品特定手段をさらに備える
    請求項４に記載のタッチパネル装置。
  6. 前記選択部品特定手段は、
    前記推定された接触面積に対応する前記タッチスクリーン上の領域の中心点と、前記タッチスクリーンに表示されたＧＵＩの部品のそれぞれの重心点との距離に基づいて、前記選択される可能性が高いＧＵＩの部品を特定する
    請求項５に記載のタッチパネル装置。
  7. 前記選択部品特定手段は、
    前記選択される可能性が高いＧＵＩの部品を、予め設定された周期で繰り返し特定し、
    前記タッチスクリーン上において前記特定されたＧＵＩの部品と重複する領域に前記物体が接触した場合、前記ＧＵＩの部品の選択を確定する選択確定手段をさらに備える
    請求項６に記載のタッチパネル装置。
  8. 前記タッチスクリーンに物体が近接したと判定された場合、前記タッチスクリーンに前記ＧＵＩが表示される
    請求項１に記載のタッチパネル装置。
  9. 近接判定手段が、タッチスクリーンに物体が近接したか否かを判定し、
    面積推定手段が、前記タッチスクリーンに物体が近接したと判定された場合、前記物体の前記タッチスクリーン上での接触面積を推定し、
    表示制御手段が、前記推定された接触面積に基づいて、前記タッチスクリーンに表示されるＧＵＩの部品の大きさを制御するステップ
    を含むタッチパネル制御方法。
  10. コンピュータを、
    タッチスクリーンに物体が近接したか否かを判定する近接判定手段と、
    前記タッチスクリーンに物体が近接したと判定された場合、前記物体の前記タッチスクリーン上での接触面積を推定する面積推定手段と、
    前記推定された接触面積に基づいて、前記タッチスクリーンに表示されるＧＵＩの部品の大きさを制御する表示制御手段とを備えるタッチパネル装置として機能させる
    プログラム。
  11. 請求項１０に記載のプログラムが記録されている記録媒体。
JP2009293147A 2009-12-24 2009-12-24 タッチパネル装置およびタッチパネル制御方法、プログラム、並びに記録媒体 Expired - Fee Related JP5532300B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009293147A JP5532300B2 (ja) 2009-12-24 2009-12-24 タッチパネル装置およびタッチパネル制御方法、プログラム、並びに記録媒体
US12/941,298 US20110157040A1 (en) 2009-12-24 2010-11-08 Touchpanel device, and control method and program for the device
CN2010105934122A CN102109925A (zh) 2009-12-24 2010-12-17 触摸板设备、以及用于该设备的控制方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009293147A JP5532300B2 (ja) 2009-12-24 2009-12-24 タッチパネル装置およびタッチパネル制御方法、プログラム、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2011134111A true JP2011134111A (ja) 2011-07-07
JP5532300B2 JP5532300B2 (ja) 2014-06-25

Family

ID=44174104

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009293147A Expired - Fee Related JP5532300B2 (ja) 2009-12-24 2009-12-24 タッチパネル装置およびタッチパネル制御方法、プログラム、並びに記録媒体

Country Status (3)

Country Link
US (1) US20110157040A1 (ja)
JP (1) JP5532300B2 (ja)
CN (1) CN102109925A (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013041348A (ja) * 2011-08-12 2013-02-28 Kyocera Corp 携帯端末、補助情報表示プログラムおよび補助情報表示方法
KR20130024742A (ko) * 2011-08-31 2013-03-08 삼성전자주식회사 휴대 단말기의 사용자 인터페이스 제공 방법 및 장치
JP2013054738A (ja) * 2011-08-31 2013-03-21 Samsung Electronics Co Ltd 携帯端末機のユーザインターフェース提供方法及びその装置
JP2013190862A (ja) * 2012-03-12 2013-09-26 Panasonic Corp 入力装置、入力支援方法及びプログラム
WO2014041843A1 (ja) * 2012-09-12 2014-03-20 三菱重工パーキング株式会社 操作盤およびこれを備えた機械式駐車設備
JP2014078116A (ja) * 2012-10-10 2014-05-01 Ntt Docomo Inc ユーザインタフェース装置、ユーザインタフェース方法及びプログラム
JPWO2012124279A1 (ja) * 2011-03-15 2014-07-17 パナソニック株式会社 入力装置
JP2014153986A (ja) * 2013-02-12 2014-08-25 Fujitsu Ten Ltd 表示装置、および、表示方法
JP2014164763A (ja) * 2013-02-23 2014-09-08 Samsung Electronics Co Ltd フィードバック提供方法及び端末
JP2014191545A (ja) * 2013-03-27 2014-10-06 Nec Commun Syst Ltd 入力装置、入力方法及びプログラム
JP2015228211A (ja) * 2014-05-02 2015-12-17 株式会社半導体エネルギー研究所 入力装置、モジュール、操作装置、ゲーム装置および電子機器
JP2015230587A (ja) * 2014-06-05 2015-12-21 株式会社 日立産業制御ソリューションズ プレゼンテーション用端末及びプレゼンテーション方法
JP2015232740A (ja) * 2014-06-09 2015-12-24 アルパイン株式会社 入力表示装置、電子機器、アイコンの表示方法および表示プログラム
KR20150146377A (ko) * 2014-06-19 2015-12-31 삼성전자주식회사 디바이스를 제어하는 방법 및 디바이스
CN105573633A (zh) * 2015-12-16 2016-05-11 深圳市金锐显数码科技有限公司 基于触摸屏的输入方法和装置
JP2017083973A (ja) * 2015-10-23 2017-05-18 富士通株式会社 表示端末装置、表示制御方法および表示制御プログラム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5654118B2 (ja) * 2011-03-28 2015-01-14 富士フイルム株式会社 タッチパネル装置及びその表示方法並びに表示用プログラム
CN103176731A (zh) * 2011-12-26 2013-06-26 联想(北京)有限公司 一种确定手写输入结束的方法及装置
CN102760033A (zh) * 2012-03-19 2012-10-31 联想(北京)有限公司 电子设备及其显示处理方法
KR20140030379A (ko) * 2012-08-27 2014-03-12 삼성전자주식회사 단말의 표시 제어 방법 및 그 단말
KR20150014083A (ko) * 2013-07-29 2015-02-06 삼성전자주식회사 전자 장치 및 전자 장치의 입력 인식 방법
CN103472962B (zh) * 2013-08-01 2016-12-28 珠海中慧微电子有限公司 一种识别电容触摸类型的方法
CN105745606B (zh) * 2013-09-24 2019-07-26 惠普发展公司，有限责任合伙企业 基于图像识别触摸敏感表面的目标触摸区域
DE102013223518A1 (de) 2013-11-19 2015-05-21 Bayerische Motoren Werke Aktiengesellschaft Anzeigevorrichtung und Verfahren zur Steuerung einer Anzeigevorrichtung
CN103677568A (zh) * 2013-12-10 2014-03-26 华为技术有限公司 一种基于悬浮触控的点击对象放大方法及装置
JP6098498B2 (ja) * 2013-12-19 2017-03-22 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
FR3028968B1 (fr) * 2014-11-21 2016-11-25 Renault Sa Interface graphique et procede de gestion de l'interface graphique lors de la selection tactile d'un element affiche
FR3028967B1 (fr) * 2014-11-21 2017-12-15 Renault Sas Interface graphique et procede de gestion de l'interface graphique lors de la selection tactile d'un element affiche
EP3246808A1 (de) * 2016-05-19 2017-11-22 Siemens Aktiengesellschaft Bedien- und beobachtungsgerät und verfahren zum betrieb
US10083640B2 (en) 2016-12-29 2018-09-25 Pure Depth Limited Multi-layer display including proximity sensor and depth-changing interface elements, and/or associated methods
GB2571395B (en) * 2018-02-23 2020-06-03 Cirrus Logic Int Semiconductor Ltd A method and system for an electronic device
CN109612398B (zh) * 2018-12-07 2021-10-08 佳格科技(浙江)股份有限公司 触摸屏物体离屏检测方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0460715A (ja) * 1990-06-28 1992-02-26 Sanyo Electric Co Ltd ペン入力装置
JPH0468392A (ja) * 1990-07-09 1992-03-04 Toshiba Corp 画像表示装置
JPH0887380A (ja) * 1994-09-19 1996-04-02 Tabai Espec Corp 操作体対応型操作パネル装置
JPH09231006A (ja) * 1996-02-28 1997-09-05 Nec Home Electron Ltd 携帯情報処理装置
JPH11312264A (ja) * 1998-04-28 1999-11-09 Oki Software Kyushu:Kk 操作・表示装置および自動取引装置
JP2003280812A (ja) * 2002-03-20 2003-10-02 Hitachi Ltd タッチパネル付きディスプレイ装置及び表示方法
JP2006031499A (ja) * 2004-07-20 2006-02-02 Denso Corp 情報入力表示装置
JP2006085218A (ja) * 2004-09-14 2006-03-30 Clarion Co Ltd タッチパネル操作装置
JP2006236143A (ja) * 2005-02-25 2006-09-07 Sony Ericsson Mobilecommunications Japan Inc 入力処理プログラム、携帯端末装置、及び入力処理方法
JP2008047027A (ja) * 2006-08-21 2008-02-28 Alpine Electronics Inc 表示制御装置
WO2008047552A1 (en) * 2006-09-28 2008-04-24 Kyocera Corporation Portable terminal and method for controlling the same
JP2008524697A (ja) * 2004-12-20 2008-07-10 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． 画像の解釈
JP2008226048A (ja) * 2007-03-14 2008-09-25 Aisin Aw Co Ltd 入力支援装置、入力支援方法
JP2009216888A (ja) * 2008-03-10 2009-09-24 Sanyo Electric Co Ltd 画面表示装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6323846B1 (en) * 1998-01-26 2001-11-27 University Of Delaware Method and apparatus for integrating manual input
US6259436B1 (en) * 1998-12-22 2001-07-10 Ericsson Inc. Apparatus and method for determining selection of touchable items on a computer touchscreen by an imprecise touch
CN101379461A (zh) * 2005-12-30 2009-03-04 苹果公司 具有多重触摸输入的便携式电子设备
US8291346B2 (en) * 2006-11-07 2012-10-16 Apple Inc. 3D remote control system employing absolute and relative position detection
US9442607B2 (en) * 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
US20090015557A1 (en) * 2007-07-12 2009-01-15 Koski David A Responsiveness Control Method for Pointing Device Movement With Respect to a Graphical User Interface
US8219936B2 (en) * 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
CN101414231B (zh) * 2007-10-17 2011-09-21 鸿富锦精密工业（深圳）有限公司 触摸屏装置及其图像显示方法
JP2009140368A (ja) * 2007-12-07 2009-06-25 Sony Corp 入力装置、表示装置、入力方法、表示方法及びプログラム
US20090147011A1 (en) * 2007-12-07 2009-06-11 Roche Diagnostics Operations, Inc. Method and system for graphically indicating multiple data values
US20110012856A1 (en) * 2008-03-05 2011-01-20 Rpo Pty. Limited Methods for Operation of a Touch Input Device
KR101061512B1 (ko) * 2008-07-25 2011-09-02 삼성전자주식회사 터치 스크린을 구비한 휴대 단말기 및 그 휴대 단말기에서키패드 설정 방법
JP5191321B2 (ja) * 2008-09-02 2013-05-08 株式会社ジャパンディスプレイウェスト 情報入力装置、情報入力方法、情報入出力装置および情報入力プログラム
CN101539838A (zh) * 2009-05-04 2009-09-23 深圳华为通信技术有限公司 一种触摸屏用户输入的方法和装置
TWI463355B (zh) * 2009-02-04 2014-12-01 Mstar Semiconductor Inc 多點觸控介面之訊號處理裝置、訊號處理方法及使用者介面圖像選取方法
US20100309138A1 (en) * 2009-06-04 2010-12-09 Ching-Feng Lee Position detection apparatus and method thereof
US20110050575A1 (en) * 2009-08-31 2011-03-03 Motorola, Inc. Method and apparatus for an adaptive touch screen display

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0460715A (ja) * 1990-06-28 1992-02-26 Sanyo Electric Co Ltd ペン入力装置
JPH0468392A (ja) * 1990-07-09 1992-03-04 Toshiba Corp 画像表示装置
JPH0887380A (ja) * 1994-09-19 1996-04-02 Tabai Espec Corp 操作体対応型操作パネル装置
JPH09231006A (ja) * 1996-02-28 1997-09-05 Nec Home Electron Ltd 携帯情報処理装置
JPH11312264A (ja) * 1998-04-28 1999-11-09 Oki Software Kyushu:Kk 操作・表示装置および自動取引装置
JP2003280812A (ja) * 2002-03-20 2003-10-02 Hitachi Ltd タッチパネル付きディスプレイ装置及び表示方法
JP2006031499A (ja) * 2004-07-20 2006-02-02 Denso Corp 情報入力表示装置
JP2006085218A (ja) * 2004-09-14 2006-03-30 Clarion Co Ltd タッチパネル操作装置
JP2008524697A (ja) * 2004-12-20 2008-07-10 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． 画像の解釈
JP2006236143A (ja) * 2005-02-25 2006-09-07 Sony Ericsson Mobilecommunications Japan Inc 入力処理プログラム、携帯端末装置、及び入力処理方法
JP2008047027A (ja) * 2006-08-21 2008-02-28 Alpine Electronics Inc 表示制御装置
WO2008047552A1 (en) * 2006-09-28 2008-04-24 Kyocera Corporation Portable terminal and method for controlling the same
JP2008226048A (ja) * 2007-03-14 2008-09-25 Aisin Aw Co Ltd 入力支援装置、入力支援方法
JP2009216888A (ja) * 2008-03-10 2009-09-24 Sanyo Electric Co Ltd 画面表示装置

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2012124279A1 (ja) * 2011-03-15 2014-07-17 パナソニック株式会社 入力装置
JP2013041348A (ja) * 2011-08-12 2013-02-28 Kyocera Corp 携帯端末、補助情報表示プログラムおよび補助情報表示方法
KR101971067B1 (ko) * 2011-08-31 2019-08-14 삼성전자 주식회사 휴대 단말기의 사용자 인터페이스 제공 방법 및 장치
KR20130024742A (ko) * 2011-08-31 2013-03-08 삼성전자주식회사 휴대 단말기의 사용자 인터페이스 제공 방법 및 장치
JP2013054738A (ja) * 2011-08-31 2013-03-21 Samsung Electronics Co Ltd 携帯端末機のユーザインターフェース提供方法及びその装置
JP2013190862A (ja) * 2012-03-12 2013-09-26 Panasonic Corp 入力装置、入力支援方法及びプログラム
US9891753B2 (en) 2012-03-12 2018-02-13 Panasonic Intellectual Property Corporation Of America Input device, input assistance method and program
WO2014041843A1 (ja) * 2012-09-12 2014-03-20 三菱重工パーキング株式会社 操作盤およびこれを備えた機械式駐車設備
JP5480452B1 (ja) * 2012-09-12 2014-04-23 三菱重工パーキング株式会社 操作盤およびこれを備えた機械式駐車設備
CN103797200B (zh) * 2012-09-12 2016-01-20 三菱重工机电***株式会社 操作面板和具备它的机械式驻车设备
CN103797200A (zh) * 2012-09-12 2014-05-14 三菱重工停车机械株式会社 操作面板和具备它的机械式驻车设备
JP2014078116A (ja) * 2012-10-10 2014-05-01 Ntt Docomo Inc ユーザインタフェース装置、ユーザインタフェース方法及びプログラム
JP2014153986A (ja) * 2013-02-12 2014-08-25 Fujitsu Ten Ltd 表示装置、および、表示方法
JP2014164763A (ja) * 2013-02-23 2014-09-08 Samsung Electronics Co Ltd フィードバック提供方法及び端末
JP2014191545A (ja) * 2013-03-27 2014-10-06 Nec Commun Syst Ltd 入力装置、入力方法及びプログラム
JP2015228211A (ja) * 2014-05-02 2015-12-17 株式会社半導体エネルギー研究所 入力装置、モジュール、操作装置、ゲーム装置および電子機器
JP2015230587A (ja) * 2014-06-05 2015-12-21 株式会社 日立産業制御ソリューションズ プレゼンテーション用端末及びプレゼンテーション方法
JP2015232740A (ja) * 2014-06-09 2015-12-24 アルパイン株式会社 入力表示装置、電子機器、アイコンの表示方法および表示プログラム
KR20150146377A (ko) * 2014-06-19 2015-12-31 삼성전자주식회사 디바이스를 제어하는 방법 및 디바이스
KR102306535B1 (ko) 2014-06-19 2021-09-29 삼성전자주식회사 디바이스를 제어하는 방법 및 디바이스
JP2017083973A (ja) * 2015-10-23 2017-05-18 富士通株式会社 表示端末装置、表示制御方法および表示制御プログラム
CN105573633A (zh) * 2015-12-16 2016-05-11 深圳市金锐显数码科技有限公司 基于触摸屏的输入方法和装置
CN105573633B (zh) * 2015-12-16 2018-09-25 深圳市金锐显数码科技有限公司 基于触摸屏的输入方法和装置

Also Published As

Publication number Publication date
JP5532300B2 (ja) 2014-06-25
US20110157040A1 (en) 2011-06-30
CN102109925A (zh) 2011-06-29

Similar Documents

Publication Publication Date Title
JP5532300B2 (ja) タッチパネル装置およびタッチパネル制御方法、プログラム、並びに記録媒体
US9069386B2 (en) Gesture recognition device, method, program, and computer-readable medium upon which program is stored
EP2652580B1 (en) Using movement of a computing device to enhance interpretation of input events produced when interacting with the computing device
JP5684136B2 (ja) 多重接触エリア回転ジェスチャ認識方法
US8970503B2 (en) Gestures for devices having one or more touch sensitive surfaces
JP4743267B2 (ja) 情報処理装置、情報処理方法およびプログラム
US8976140B2 (en) Touch input processor, information processor, and touch input control method
EP2652579B1 (en) Detecting gestures involving movement of a computing device
US9448714B2 (en) Touch and non touch based interaction of a user with a device
JP5220865B2 (ja) 物体の外縁端だけを検出し、その外縁端が１つの大きな物体を規定すると想定するデータ収集アルゴリズムを用いて、タッチパッド上において多数の物体を検出し追跡する方法
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
KR20150090840A (ko) 디스플레이 화면의 영역을 보호하는 디바이스 및 방법
KR20120050971A (ko) 표시 제어 장치, 표시 제어 방법 및 컴퓨터 프로그램
JP2010176332A (ja) 情報処理装置、情報処理方法およびプログラム
JP2010244132A (ja) タッチパネル付きユーザインタフェース装置、ユーザインタフェース制御方法およびユーザインタフェース制御プログラム
JP2011028555A (ja) 情報処理装置および情報処理方法
US20140055385A1 (en) Scaling of gesture based input
JP2011134273A (ja) 情報処理装置、情報処理方法およびプログラム
CN109964202B (zh) 显示控制装置、显示控制方法和计算机可读存储介质
US20150277649A1 (en) Method, circuit, and system for hover and gesture detection with a touch screen
JP2013171529A (ja) 操作入力装置、操作判定方法およびプログラム
US9235338B1 (en) Pan and zoom gesture detection in a multiple touch display
JP2014056519A (ja) 携帯端末装置、誤操作判定方法、制御プログラムおよび記録媒体
KR101436588B1 (ko) 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
KR20110006251A (ko) 터치 패널 입력장치, 방법 및 이를 이용한 모바일 기기

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140409

LAPS Cancellation because of no payment of annual fees