JP5146389B2 - 情報処理装置、および推定方法 - Google Patents

情報処理装置、および推定方法 Download PDF

Info

Publication number
JP5146389B2
JP5146389B2 JP2009091305A JP2009091305A JP5146389B2 JP 5146389 B2 JP5146389 B2 JP 5146389B2 JP 2009091305 A JP2009091305 A JP 2009091305A JP 2009091305 A JP2009091305 A JP 2009091305A JP 5146389 B2 JP5146389 B2 JP 5146389B2
Authority
JP
Japan
Prior art keywords
unit
processing apparatus
pressure
information processing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009091305A
Other languages
English (en)
Other versions
JP2010244252A (ja
Inventor
文規 本間
辰志 梨子田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009091305A priority Critical patent/JP5146389B2/ja
Priority to EP10250373A priority patent/EP2237142A1/en
Priority to US12/726,728 priority patent/US8780057B2/en
Priority to CN2010101414631A priority patent/CN101859200B/zh
Publication of JP2010244252A publication Critical patent/JP2010244252A/ja
Application granted granted Critical
Publication of JP5146389B2 publication Critical patent/JP5146389B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、情報処理装置、および推定方法に関する。
近年、携帯電話やATM(Automated Teller Machine;現金自動預け払い機)など、タッチスクリーンを備える情報処理装置が普及している。
このような中、タッチスクリーンにおいて機能向上を図るための技術が開発されている。ユーザがタッチスクリーン上の2点を操作した場合に、ユーザ操作に対応する2点の座標を推定する技術としては、例えば、特許文献1が挙げられる。また、圧力センサを備え、ユーザ操作がなされた表示画面上の1点の座標および当該座標における圧力値とを検出する技術としては、例えば、特許文献2が挙げられる。
特開2008−165575号公報 特開2006−126997号公報
ユーザ操作に対応する2点の座標を推定する従来の技術(以下、「従来の技術1」とよぶ場合がある。)は、重心位置の座標しか検出できないことを鑑み、タッチスクリーンにおける検出結果に基づいてユーザ操作に対応する表示画面上の2点の座標を推定する。よって、従来の技術1が適用された情報処理装置は、1点の座標が検出された場合と2点の座標が推定された場合とを判別することができるので、判別結果に応じた処理を実現することが可能となる。したがって、従来の技術1が適用された情報処理装置は、ある程度の機能向上を図ることができる可能性がある。
また、ユーザ操作がなされた表示画面上の1点の座標および当該座標における圧力値とを検出する従来の技術(以下、「従来の技術2」とよぶ場合がある。)は、ユーザ操作に対応する表示画面上の1点の座標、および当該座標における圧力値を検出することができる。よって、従来の技術2が適用された情報処理装置は、検出された圧力値に応じた処理を実現することが可能となる。したがって、従来の技術2が適用された情報処理装置は、ある程度の機能向上を図ることができる可能性がある。
上記のように、従来の技術1を用いることによって、ユーザ操作に対応する表示画面上の2点の操作位置の情報(例えば座標)が取得され、また、従来の技術2を用いることによって、ユーザ操作に対応する表示画面上の1点の操作位置における圧力値が取得される。しかしながら、従来の技術1および/または従来の技術2(以下、総称して「従来の技術」という。)を用いたとしても、ユーザ操作に対応する表示画面上の複数の操作位置それぞれにおける圧力値を取得することはできない。したがって、従来の技術が適用された情報処理装置(以下、「従来の情報処理装置」とよぶ場合がある。)では、ユーザ操作に対応する表示画面上の複数の操作位置それぞれにおける圧力値に応じた処理の実現は、望むべくもない
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザ操作に対応する表示画面上の複数の操作位置それぞれにおける圧力値を推定することが可能な、新規かつ改良された情報処理装置、および推定方法を提供することにある。
上記目的を達成するために、本発明の第1の観点によれば、表示画面を表示し、上記表示画面に対するユーザ操作に基づく表示画面上の操作位置を検出する操作表示部と、複数の圧力センサを有し、上記操作表示部における上記ユーザ操作に応じた圧力値を上記圧力センサごとに検出する圧力検出部と、上記操作表示部における検出結果に基づいて、上記ユーザ操作の種別を判定する操作種別判定部と、上記操作種別判定部の判定結果に基づいて、上記複数の圧力センサの検出結果に基づく上記表示画面上の重心位置を選択的に導出する導出部と、上記導出部における導出結果と、上記表示画面上の複数の位置における圧力値の組み合わせの情報が、重心位置の情報と対応付けて記録された重心位置候補情報とに基づいて、上記操作位置における圧力値を推定する推定部とを備える情報処理装置が提供される。
かかる構成により、ユーザ操作に対応する表示画面上の複数の操作位置それぞれにおける圧力値を推定することができる。
また、上記推定部は、上記重心位置候補情報に記録された圧力値の組み合わせのうち、上記重心位置の情報が上記導出部が導出した重心位置と合致する圧力値の組み合わせを、上記操作位置における圧力値として推定してもよい。
また、上記導出部は、上記重心位置における圧力値をさらに導出し、上記推定部は、上記導出部における導出結果と、重心位置における圧力値の情報が上記重心位置の情報とさらに対応付けて記録された重心位置候補情報とに基づいて、上記操作位置における圧力値を推定してもよい。
また、上記操作種別判定部は、上記操作表示部において検出された操作位置の数に基づいて、複数の操作位置が検出された場合に対応する第1の操作種別であるか、1つの操作位置が検出された場合に対応する第2の操作種別であるかを判定し、上記導出部は、上記操作種別判定部から上記第1の操作種別を示す判定結果が伝達された場合に上記重心位置を導出してもよい。
また、上記導出部は、上記操作種別判定部から上記第2の操作種別を示す判定結果が伝達された場合には上記重心位置を導出しなくてもよい。
また、上記操作種別判定部における判定結果に基づいて、上記操作表示部の検出結果および/または上記圧力検出部の検出結果に応じた処理、または、上記操作表示部の検出結果および/または上記推定部の推定結果に応じた処理を行う処理部をさらに備えてもよい。
また、上記重心位置候補情報を記憶可能な記憶部と、上記重心位置候補情報を選択的に生成する重心位置候補情報生成部とをさらに備え、上記重心位置候補情報生成部は、上記操作表示部において複数の操作位置が検出された場合に対応する第1の操作種別を示す判定結果が上記操作種別判定部から伝達され、上記記憶部に上記重心位置候補情報が記憶されていない場合に、上記重心位置候補情報を生成してもよい。
上記目的を達成するために、本発明の第2の観点によれば、表示画面を表示し、上記表示画面に対するユーザ操作に基づく表示画面上の操作位置を検出する操作表示部における検出結果に基づいて、上記ユーザ操作の種別を判定するステップと、上記判定するステップにおける判定結果に基づいて、上記表示画面における上記ユーザ操作に応じた圧力値をそれぞれ検出する複数の圧力センサの検出結果に基づく上記表示画面上の重心位置を選択的に導出するステップと、上記導出するステップにおける導出結果と、上記表示画面上における複数の位置における圧力値の組み合わせの情報が重心位置の情報と対応付けて記録された重心位置候補情報とに基づいて、上記操作位置における圧力値を推定するステップとを有する推定方法が提供される。
かかる方法を用いることにより、ユーザ操作に対応する表示画面上の複数の操作位置それぞれにおける圧力値を推定することができる。
本発明によれば、ユーザ操作に対応する表示画面上の複数の操作位置それぞれにおける圧力値を推定することができる。
本発明の実施形態に係る推定アプローチの概要を説明するための説明図である。 本発明の実施形態に係る推定アプローチの概要を説明するための説明図である。 本発明の実施形態に係る推定アプローチの概要を説明するための説明図である。 本発明の実施形態に係る情報処理装置における推定処理を説明するための説明図である。 本発明の実施形態に係る重心位置候補情報の一例を示す説明図である。 本発明の実施形態に係る重心位置、重心圧力の導出方法を説明するための第1の説明図である。 本発明の実施形態に係る重心位置、重心圧力の導出方法を説明するための第2の説明図である。 本発明の実施形態に係る情報処理装置における重心位置と重心圧力の導出結果の一例を示す説明図である。 本発明の実施形態に係る情報処理装置における推定処理を説明するための説明図である。 本発明の実施形態に係る情報処理装置における推定アプローチに係る処理の一例を示す説明図である。 本発明の実施形態に係る情報処理装置における推定結果に応じた処理の一例を示す説明図である。 本発明の実施形態に係る情報処理装置における推定結果に応じた処理の一例を示す説明図である。 本発明の実施形態に係る情報処理装置の構成の一例を示す説明図である。 本発明の実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。 本発明の実施形態に係る情報処理装置における一部のハードウェア構成の一例を示す説明図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本発明の実施形態に係るアプローチ
2.本発明の実施形態に係る情報処理装置
3.本発明の実施形態に係るプログラム
(本発明の実施形態に係るアプローチ)
本発明の実施形態に係る情報処理装置(以下、「情報処理装置100」という。)について説明する前に、本発明の実施形態に係る推定アプローチについて説明する。
[本発明の実施形態に係る推定アプローチの概要]
図1〜図3は、本発明の実施形態に係る推定アプローチの概要を説明するための説明図である。ここで、図1は、情報処理装置100が備える圧力センサの配置の一例を示している。また、図2〜図3は、それぞれタッチスクリーンに表示された表示画面を示している。
なお、図1〜図3では、情報処理装置100が矩形の表示画面を表示するタッチスクリーンを備える構成を示しているが、上記に限られない。例えば、情報処理装置100は、表示画面が円形や多角形など任意の形状のタッチスクリーンを備えることもできる。以下では、情報処理装置100が、矩形の表示画面を表示するタッチスクリーンを備える場合を例に挙げて説明する。
情報処理装置100は、タッチスクリーンに表示された表示画面上におけるユーザ操作に対応する圧力値を検出するために、例えば図1に示すように、表示画面の四隅部分に対応する位置にそれぞれ圧力センサS1〜S4を備える。
なお、本発明の実施形態に係る情報処理装置100が備える圧力センサの数は、図1に示すような4つに限られない。例えば、本発明の実施形態に係る情報処理装置100は、ユーザ操作に応じて検出された圧力値に基づいて、表示画面を含む平面上における重心位置を特定することが可能な任意の数の圧力センサを備えることができる。また、情報処理装置100は、上記重心位置を含む表示画面上の任意の位置を、表示画面上の任意の位置(例えば、表示画面の左下隅の位置)を原点とした二次元座標で表すが、上記に限られない。以下では、情報処理装置100が、表示画面上の位置を二次元座標で表すものとして説明する。
図1に示すような圧力センサS1〜S4を備える場合、情報処理装置100は、ユーザが表示画面に触れるユーザ操作(以下、「タッチ操作」とよぶ場合がある。)に応じた圧力値を各圧力センサS1〜S4で検出する。そして、情報処理装置100は、圧力センサS1〜S4の検出結果に基づいて、タッチ操作に応じた重心位置を導出し、また、当該重心位置における圧力値(以下、「重心圧力」という。)を導出する。なお、本発明の実施形態に係る重心位置および重心圧力の導出方法については、後述する。
〔a〕ユーザが表示画面の1点に対してタッチ操作を行った場合(図2)
図2は、ユーザが表示画面の1点に対してタッチ操作を行った場合の一例を示している。図2に示すT1は、タッチ操作がなされた表示画面上の操作位置(以下、「タッチ位置」という。)と、タッチ位置における押下圧力の大きさを概念的に表している。ここで、図2に示すT1の中心位置は、タッチスクリーンにおいてタッチ操作が検出された表示画面上の位置を表し、また、図2に示すT1の面積が大きいほど押下圧力が大きいことを示している。また、図1に示すG1は、情報処理装置100が備える各圧力センサS1〜S4の圧力値より導出されたタッチ操作による表示画面上の重心位置の一例を示している。
以下では、各図における符号Tが、図2のT1と同様に、タッチ位置と、タッチ位置における押下圧力の大きさを概念的に表しているものとして説明する。また、以下では、各図における符号Gが、図2のG1と同様に、情報処理装置100が備える各圧力センサS1〜S4の圧力値より導出されたタッチ操作による表示画面上の重心位置を表しているものとして説明する。
ここで、図2に示すように、ユーザが表示画面の1点に対してタッチ操作を行った場合には、タッチ操作が検出されたT1の中心位置と、重心位置とが合致する。よって、上記の場合には、情報処理装置100は、重心位置における重心圧力を、タッチ操作に応じた押下圧力と捉えることができる。
〔b〕ユーザが表示画面の2点に対してタッチ操作を行った場合(図3)
図3は、ユーザが表示画面の2点に対してタッチ操作を行った場合の一例を示している。なお、図3は、ユーザが表示画面の2点に対してタッチ操作を行った場合の一例を示しているが、上記に限られない。例えば、本発明の実施形態に係る情報処理装置100は、ユーザが表示画面の3点以上に対してタッチ操作を行った場合においても、後述する本発明の実施形態に係る推定アプローチに係る処理を用いて各タッチ位置の押下圧力を推定することができる。
図3に示すように、表示画面の2点に対してタッチ操作が行われた場合、情報処理装置100は、圧力センサの検出結果に基づいて1点の重心位置および重心圧力を導出することはできる。しかしながら、情報処理装置100は、T2、T3それぞれのタッチ位置における押下圧力を圧力センサから直接的に取得することはできない。そこで、情報処理装置100は、ユーザが表示画面の2点に対してタッチ操作を行った場合には、例えば圧力センサの検出結果に基づき導出された重心位置(または、重心位置および重心圧力)に基づいて、T2、T3それぞれのタッチ位置における押下圧力の推定を行う。
より具体的には、情報処理装置100は、例えば、以下の(1)の処理、(2)の処理によって、各タッチ位置における押下圧力を推定する。
(1)タッチ操作の判定処理
情報処理装置100は、タッチスクリーンにおける検出結果に基づいて、ユーザが表示画面の複数点に対してタッチ操作を行ったか否かを判定する。ここで、情報処理装置100は、例えばマルチタッチスクリーンとして機能する静電式のタッチスクリーンを備え、当該タッチスクリーンにおいて静電容量の変化が検出された座標が複数存在するか否かに基づいて判定を行うことができる。
情報処理装置100は、静電容量の変化が検出された座標が1点であると判定された場合には、重心位置における重心圧力を、タッチ操作に応じた押下圧力とする(図2に対応)。
また、静電容量の変化が検出された座標が複数点であると判定された場合には、情報処理装置100は、(2)の処理(推定処理)を行う。
(2)推定処理
上記(1)の処理において静電容量の変化が検出された座標が複数点であると判定された場合、情報処理装置100は、例えば、圧力センサS1〜S4の圧力値より導出された重心位置(または、重心位置および重心圧力)に基づいて、各タッチ位置の押下圧力を推定する。
図4は、本発明の実施形態に係る情報処理装置100における推定処理を説明するための説明図である。ここで、図4(a)は、タッチ操作が表示画面上の点P1および点P2に対して行われた例を示している(すなわち、点P1および点P2は、タッチ位置を示す。)。また、図4(b)〜図4(d)、…は、図4(a)の例において起こりうるタッチ位置における押下圧力の組み合わせと、重心位置Gxとの一例を示している。なお、図4では、重心位置Gxにおける重心圧力は図示していないが、情報処理装置100は、後述する導出方法にて重心圧力を導出することができる。
図4(b)〜図4(d)、…に示すように、タッチ位置における押下圧力が異なると、重心位置Gxが変化する。本発明の実施形態では、タッチ位置における押下圧力に応じて重心位置Gxが変化することに着目し、各圧力センサS1〜S4の検出結果に基づく重心位置Gxと合致するタッチ位置それぞれにおける押下圧力の組み合わせを、推定結果とする。
より具体的には、情報処理装置100は、例えば、以下の(2−1)の処理、(2−2)の処理を行うことによって、各タッチ位置における押下圧力を推定する。
(2−1)重心位置候補情報の生成処理
情報処理装置100は、表示画面上の複数の位置における圧力値の組み合わせの情報が重心位置の情報と対応付けて記録された重心位置候補情報を選択的に生成する。ここで、情報処理装置100は、例えば情報処理装置100が備える記憶部(後述する)に重心位置候補情報が記憶されていない場合に、重心位置候補情報を生成する。
図5は、本発明の実施形態に係る重心位置候補情報の一例を示す説明図である。図5に示すように、重心位置候補情報には、例えば、各タッチ位置の座標(図5では点A、点Bの2点)における押下圧力の候補値(複数の位置における圧力値の組み合わせの情報の一例)と、重心座標(重心位置の情報の一例)と、重心圧力(重心位置における圧力値の情報の一例)とが対応付けて記録される。ここで、図5は、重心位置候補情報がタッチ座標の組み合わせごとに図5(a)〜図5(d)に分けられた例を示しているが、重心位置候補情報は、上記に限られない。また、情報処理装置100は、例えば、テーブル形式で情報が記録された重心位置候補情報を記憶するが、上記に限られない。
〔本発明の実施形態に係る重心位置、重心圧力の導出方法の一例〕
図5に示すように、情報処理装置100が選択的に生成する重心位置候補情報には、表示画面上の複数の位置における圧力値の組み合わせの情報と、重心位置および重心圧力(重心位置の情報の一例)とが対応付けて記録される。ここで、本発明の実施形態に係る情報処理装置100における重心位置、重心圧力の導出方法について説明する。以下では、2点に基づく重心位置、重心圧力の導出方法の一例と、3点以上に基づく重心位置、重心圧力の導出方法の一例とについて、それぞれ説明する。
〔i〕2点に基づく重心位置、重心圧力の導出方法の一例
図6は、本発明の実施形態に係る重心位置、重心圧力の導出方法を説明するための第1の説明図である。ここで、図6は、情報処理装置100が、点A、点Bという2点の座標および圧力に基づいて重心位置および重心圧力を導出する場合を示している。以下では、座標が(Xa,Ya)であり圧力値がPaである点Aと、座標が(Xb,Yb)であり圧力値がPbである点Bとを例に挙げて、2点に基づく重心位置、重心圧力の導出方法の一例を説明する。また、以下では、重心点Gにおける座標(重心位置)を(Xg,Yg)、点Gにおける圧力値(重心圧力)をPgとそれぞれ表す。
図6に示す線分ABの内分比をAG:GB=m:nとすると、m、nはそれぞれ以下の数式1、数式2で表される。
m=Pb/(Pa+Pb)
・・・(数式1)
n=Pa/(Pa+Pb)
・・・(数式2)
また、重心位置に係るXgおよびYgは、それぞれ数式3、数式4で表される。
Xg=(n・Xa+m・Xb)/(m+n)
・・・(数式3)
Yg=(n・Ya+m・Yb)/(m+n)
・・・(数式4)
また、重心圧力を示すPgは、数式5で表される。
Pg=(n・Pa+m・Pb)/(m+n)
・・・(数式5)
情報処理装置100は、点A、点Bの座標および圧力に基づいて数式1〜数式5の演算を行うことによって、重心位置と重心圧力とをそれぞれ導出することができる。
〔ii〕3点以上に基づく重心位置、重心圧力の導出方法の一例
図7は、本発明の実施形態に係る重心位置、重心圧力の導出方法を説明するための第2の説明図である。ここで、図7は、情報処理装置100が、点A、点B、点Cという3点の座標および圧力に基づいて重心位置および重心圧力を導出する場合を示している。以下では、座標が(Xa,Ya)であり圧力値がPaである点A、座標が(Xb,Yb)であり圧力値がPbである点B、および座標が(Xc,Yc)であり圧力値がPcである点Cを例に挙げて、3点に基づく重心位置、重心圧力の導出方法の一例を説明する。なお、本発明の実施形態に係る情報処理装置100は、4点以上に基づき重心位置、重心圧力を導出する場合も、3点に基づき重心位置、重心圧力を導出する場合と同様に処理を行うので、4点以上に基づく場合については説明を省略する。
情報処理装置100は、線分AB上の点Mの座標(Xm,Ym)と、線分AC上の点Mの座標(Xn,Yn)とを導出する。ここで、線分AB上の点Mの座標(Xm,Ym)は、点A、点Bのそれぞれの座標と圧力値、および数式1〜数式5より、導出される。また、線分AC上の点Mの座標(Xn,Yn)は、点A、点Cのそれぞれの座標と圧力値、および数式1〜数式5より、導出される。
情報処理装置100は、点Bと点N、および点Cと点Mをそれぞれ直線で結び、2つの直線の交点を重心点G(重心位置)と定義する。
ここで、点Bと点Nとを結ぶ直線の傾きを数式6、点Cと点Mとを結ぶ直線の傾きを数式7とすると、線分BNは数式8で表され、また、線分CMは数式9で表される。
A1=(Yn−Yb)/(Xn−Xb)
・・・(数式6)
A2=(Ym−Yc)/(Xm−Xc)
・・・(数式7)
y=A1・(x−Xb)+Yb (Xb≦x≦Xn)
・・・(数式8)
y=A2・(x−Xc)+Yc (Xm≦x≦Xc)
・・・(数式9)
よって、数式6〜数式9より、重心位置に係るXgおよびYgは、それぞれ数式10、数式11で表される。
Xg=(Yc−Yb+A1・Xb−A2・Xc)/(A1−A2)
・・・(数式10)
Yg=A1・(Xg−Xb)+Yb
・・・(数式11)
また、重心圧力を示すPgは、例えば、点Mや点Nにおける圧力、数式1、数式2、および数式5等を用いることによって、導出される。
情報処理装置100は、点A、点B、点Cの座標および圧力に基づいて数式1〜数式10の演算を適宜行うことによって、重心位置と重心圧力とをそれぞれ導出することができる。
情報処理装置100は、例えば、上記〔i〕、〔ii〕の導出方法を用いることによって、重心位置、重心圧力を導出することができる。よって、情報処理装置100は、重心位置候補情報を記憶していない場合には、例えば図5に示すような重心位置候補情報を選択的に生成することができる。
(2−2)推定処理
上記(2−1)の処理(重心位置候補情報の生成処理)において重心位置候補情報が選択的に生成されると、情報処理装置100は、重心位置候補情報と、圧力センサの検出結果に基づいて導出された重心位置とに基づいて各タッチ位置における押下圧力の推定を行う。
より具体的には、情報処理装置100は、例えば、重心位置候補情報に記録された圧力値の組み合わせのうち、重心位置の情報が圧力センサの検出結果に基づく重心位置と合致する圧力値の組み合わせを、各タッチ位置における圧力値として推定する。ここで、情報処理装置100は、同一の値、または、最も近い値を、合致する値として推定する。
図8は、本発明の実施形態に係る情報処理装置100における重心位置と重心圧力の導出結果の一例を示す説明図である。ここで、図8は、図1に示す圧力センサS1〜S4の検出結果の組み合わせと、重心座標(重心位置の一例)と、重心圧力とを対応付けて示している。なお、図8では、圧力センサS1〜S4の検出結果の組み合わせを複数示しているが、これは説明の便宜上の表現である。つまり、情報処理装置100は、ユーザのタッチ操作に応じた各圧力センサS1〜S4の検出結果に基づいて、1つの重心座標(重心位置の一例)と重心圧力とを適宜導出する。また、情報処理装置100は、上記〔ii〕の導出方法を適用することによって、重心座標(重心位置の一例)と重心圧力とを導出することができる。
図9は、本発明の実施形態に係る情報処理装置100における推定処理を説明するための説明図である。ここで、図9(a)は、重心位置候補情報に含まれるタッチ座標における圧力値の組み合わせを概念的に示しており、図9(b)は、導出された重心位置を概念的に示している。また、図9(c)は、情報処理装置100における推定結果を概念的に示している。
図9に示すように、例えば重心位置候補情報と導出された重心位置とをマッチングすることによって、情報処理装置100は、各タッチ位置における押下圧力を推定する。
また、図9(b)では示していないが、情報処理装置100は、さらに導出された重心圧力を用いることによって、各タッチ位置における押下圧力を推定することもできる。重心位置候補情報と導出された重心位置および重心圧力とをマッチングすることによって、情報処理装置100は、各タッチ位置における押下圧力の推定精度をより高めることができる。なお、情報処理装置100が、各タッチ位置における押下圧力の推定精度をより高めるために用いる情報は、重心圧力に限られない。例えば、情報処理装置100は、推定精度をより高めるために、情報処理装置100が備える複数の圧力センサのうちの、ある圧力センサにおける検出結果をさらに用いることもできる。
情報処理装置100は、例えば(2−1)の処理、および(2−2)の処理を行うことによって、各タッチ位置における押下圧力を推定する。ここで、情報処理装置100は、重心位置候補情報に記録された圧力値の組み合わせのうち、重心位置の情報が圧力センサの検出結果に基づく重心位置と合致する圧力値の組み合わせを、各タッチ位置における圧力値として推定する。つまり、情報処理装置100は、各タッチ位置において起こりうる押下圧力を示す推定候補の中から、圧力検出部104の検出結果から導出された重心位置(または重心位置および重心圧力)と合致する値を各タッチ位置における圧力値として推定する。よって、情報処理装置100は、圧力センサの検出結果に基づいて、より精度が高い各タッチ位置における押下圧力の推定を実現することができる。したがって、情報処理装置100は、ユーザ操作に対応する表示画面上の複数の操作位置それぞれにおける圧力値を推定することができる。
[本発明の実施形態に係る推定アプローチに係る処理の具体例]
次に、情報処理装置100における本発明の実施形態に係る推定アプローチに係る処理について、より具体的に説明する。図10は、本発明の実施形態に係る情報処理装置100における推定アプローチに係る処理の一例を示す説明図である。ここで、図10は、情報処理装置100が、各圧力センサの圧力値に基づいて重心位置と重心圧力とを導出する場合における処理の一例を示している。
情報処理装置100は、表示画面に対するタッチ(ユーザのタッチ操作)が検出されたか否かを判定する(S100)。情報処理装置100は、例えば、タッチスクリーンにおいて静電容量値が変化した場合に、タッチが検出されたと判定するが、上記に限られない。ステップS100においてタッチが検出されたと判定されない場合には、情報処理装置100は、処理を進めない。
また、ステップS100においてタッチが検出されたと判定された場合には、情報処理装置100は、2点以上のタッチが検出されたか否かを判定する(S102)。情報処理装置100は、例えば、タッチスクリーンにおいて静電容量値が変化した箇所が2箇所以上ある場合に、2点以上のタッチが検出されたと判定するが、上記に限られない。
ここで、図10に示すステップS100の処理とステップS102の処理とは、上記(1)の処理(タッチ操作の判定処理)に該当する。
ステップS102において2点以上のタッチが検出されたと判定されない場合には、情報処理装置100は、タッチ位置、および/または、押下圧力に応じた処理を行う(S104)。
また、ステップS102において2点以上のタッチが検出されたと判定された場合には、情報処理装置100は、3点以上のタッチが検出されたか否かを判定する(S106)。情報処理装置100は、例えば、タッチスクリーンにおいて静電容量値が変化した箇所が3箇所以上ある場合に、3点以上のタッチが検出されたと判定するが、上記に限られない。
ステップS106において3点以上のタッチが検出されたと判定された場合には、情報処理装置100は、静電容量値が高い順に2点を選択する(S108)。そして、情報処理装置100は、後述するステップS110の処理を行う。
なお、図10では、情報処理装置100が、2点を選択し、選択された2点のタッチ位置それぞれにおける押下圧力を推定する例を示しているが、上記に限られない。例えば、情報処理装置100は、上記〔ii〕に示す導出方法を用いることによって、3点以上のタッチ位置それぞれにおける押下圧力を推定することもできる。
ステップS106において3点以上のタッチが検出されたと判定されない場合、またはステップS108の処理が行われた場合には、情報処理装置100は、重心位置候補情報が生成されているか否かを判定する(S110)。情報処理装置100は、例えば、記憶部(後述する)に重心位置候補情報が記憶されていない場合に重心位置候補情報が生成されていないと判定するが、上記に限られない。例えば、情報処理装置100は、メモリスティックなどの外部記録媒体や、ネットワークを介して(あるいは、直接的に)接続された外部装置など、所定の記憶場所に重心位置候補情報が記憶されていない場合に重心位置候補情報が生成されていないと判定することもできる。
ステップS110において重心位置候補情報が生成されていると判定されない場合には、情報処理装置100は、タッチ位置に対応する2点の圧力値の全ての組み合わせに基づいて、例えば図5に示すような重心位置候補情報を生成する(S112)。そして、情報処理装置100は、生成した重心位置候補情報を、例えば記憶部(後述する)などの所定の記憶場所へ記録する。
ここで、図10に示すステップS110の処理とステップS112の処理とは、上記(2−1)の処理(重心位置候補情報の生成処理)に該当する。
また、ステップS110において重心位置候補情報が生成されていると判定された場合、またはステップS112において重心位置候補情報が生成された場合には、情報処理装置100は、各圧力センサの圧力値に基づいて重心位置と重心圧力とを導出する(S114)。
なお、図10では、ステップS106〜S112の処理が行われた後にステップS114の処理が行われる例を示しているが、上記に限られない。例えば、情報処理装置100は、ステップS106〜S112の処理と、ステップS114の処理とをそれぞれ独立に行うこともできる。
情報処理装置100は、ステップS114において導出された導出結果と、重心位置候補情報とに基づいて、各タッチ位置における押下圧力を推定する(S116)。ここで、図10に示すステップS116の処理は、上記(2−2)の処理(推定処理)に該当する。
ステップS116において各タッチ位置における押下圧力が推定されると、情報処理装置100は、推定結果に応じた処理を行う(S118)。
<本発明の実施形態に係る推定結果に応じた処理の一例>
図11、図12は、本発明の実施形態に係る情報処理装置100における推定結果に応じた処理の一例を示す説明図である。ここで、図11は、表示画面上に複数枚の画像が奥行き方向に連続して配置され、ユーザの2本の指(F1/F2)によるタッチ操作に応じて、画像群が例えば本のページを開閉するように、画面手前側方向または画面奥行き側方向にスクロールする例を示している。
情報処理装置100は、推定された指F1による押下圧力が推定された指F2による押下圧力よりも大きい場合には、画面手前側方向にスクロールさせる。また、情報処理装置100は、推定された指F2による押下圧力が推定された指F1による押下圧力よりも大きい場合には、画面奥行き側方向にスクロールさせる。
また、情報処理装置100は、推定された押下圧力のうちのより大きな圧力値と図12に示すような所定の閾値A1〜閾値A3とに基づいて、例えば、図12に示すように推定された押下圧力に応じて段階的に変化するようにスクロール速度を設定する。
図10のステップS118に示す推定結果に応じた処理としては、例えば図12に示すように推定された押下圧力に基づいて処理を変化させることが挙げられる。なお、本発明の実施形態に係る推定結果に応じた処理は、上記に限られない。例えば、情報処理装置100は、推定された指F1による押下圧力と推定された指F2による押下圧力とが等しい場合(または、差の絶対値が所定の値以下である場合)には、再生しているコンテンツデータ(映像/音声)の停止など所定の処理を行うことができる。また、ユーザは、例えば、タッチスクリーンを用いてユーザ操作を行うことによって、情報処理装置100における推定された押下圧力に基づく処理を、所望する処理に設定することもできる。
情報処理装置100は、例えば図10に示す処理を行うことによって、推定アプローチに係る上記(1)の処理(タッチ操作の判定処理)、および(2)の処理(推定処理)を実現することができる。したがって、情報処理装置100は、例えば図10に示す処理を行うことによって、ユーザ操作に対応する表示画面上の複数の操作位置それぞれにおける圧力値を推定することができる。
(本発明の実施形態に係る情報処理装置)
次に、上述した本発明の実施形態に係る推定アプローチを実現することが可能な、本発明の実施形態に係る情報装置100の構成例について説明する。
図13は、本発明の実施形態に係る情報処理装置100の構成の一例を示す説明図である。情報処理装置100は、操作表示部102と、圧力検出部104と、記憶部106と、制御部108とを備える。
また、情報処理装置100は、例えば、ROM(Read Only Memory;図示せず)や、RAM(Random Access Memory;図示せず)、通信部(図示せず)、ユーザが操作可能な操作部(図示せず)などを備えてもよい。情報処理装置100は、例えば、データの伝送路としてのバス(bus)により各構成要素間を接続する。
ここで、ROM(図示せず)は、制御部108が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部108により実行されるプログラムなどを一次記憶する。操作部(図示せず)としては、例えば後述する操作入力デバイスが挙げられる。通信部(図示せず)は、ネットワークを介して(あるいは、直接的に)外部装置と有線/無線で通信を行う役目を果たす。ここで、ネットワークとしては、例えば、LAN(Local Area Network)やWAN(Wide Area Network)などの有線ネットワーク、基地局を介した無線WAN(WWAN;Wireless Wide Area Network)や無線MAN(WMAN;Wireless Metropolitan Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられるが、上記に限られない。また、通信部(図示せず)としては、例えば後述する通信インタフェースが挙げられる。
[情報処理装置100のハードウェア構成例]
図14は、本発明の実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。図14を参照すると、情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、圧力センサ164と、静電式タッチパネル166と、通信インタフェース168とを備える。また、情報処理装置100は、例えば、データの伝送路としてのバス170で各構成要素間を接続する。
MPU150は、MPU(Micro Processing Unit)や制御機能を実現するための複数の回路が集積された集積回路などで構成され、情報処理装置100全体を制御する制御部108として機能する。また、MPU150は、情報処理装置100において、後述する操作種別判定部110、重心位置候補情報生成部112、導出部114、推定部116、および処理部118としての役目を果たすこともできる。
ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データを記憶し、また、RAM154は、例えば、MPU150により実行されるプログラムなどを一次記憶する。
記録媒体156は、記憶部106として機能し、例えば、重心位置候補情報(データ)や、コンテンツデータ、アプリケーションなど様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ(flash memory)、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)、PRAM(Phase change Random Access Memory)などの不揮発性メモリ(nonvolatile memory)が挙げられるが、上記に限られない。
入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)端子、各種処理回路などが挙げられるが、上記に限られない。なお、入出力インタフェース158は、情報処理装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)や、表示デバイス(例えば、外部ディスプレイなど)と接続することもできることは、言うまでもない。
操作入力デバイス160は、操作部(図示せず)として機能する。また、操作入力デバイス160は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられるが、上記に限られない。
表示デバイス162は、静電式タッチパネル166と共に操作表示部102として機能する。表示デバイス162は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display;LCD)や有機ELディスプレイ(organic ElectroLuminescence display。または、OLEDディスプレイ(Organic Light Emitting Diode display)ともよばれる。)などが挙げられるが、上記に限られない。
また、表示デバイス162上には、タッチ操作に応じた圧力を検出し圧力検出部104の役目を果たす圧力センサ164と、1または2以上のユーザのタッチ操作を検出可能な静電式タッチパネル166とが設けられる。表示デバイス162、圧力センサ164、および静電式タッチパネル166を備える構成によって、ユーザ操作の検出と圧力の検出との双方が可能な、本発明の実施形態に係るタッチスクリーンが実現される。
<操作表示部102および圧力検出部104の構成例>
図15は、本発明の実施形態に係る情報処理装置100における一部のハードウェア構成の一例を示す説明図である。ここで、図15は、図13に示す操作表示部102および圧力検出部104の構成例を主に示している。
情報処理装置100は、操作表示部102および圧力検出部104を、例えば、MPU150やROM152などを備える基盤172上に、表示デバイス162、圧力センサ164、および静電式タッチパネル166が積層されるハードウェア構成により実現する。なお、本発明の実施形態に係る情報処理装置100が備える操作表示部102および圧力検出部104の構成が、図15に示す例に限られないことは、言うまでもない。
再度図14を参照して情報処理装置100のハードウェア構成の一例について説明する。通信インタフェース168は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)外部装置と無線/有線で通信を行うための通信部(図示せず)として機能する。ここで、通信インタフェース168としては、例えば、通信アンテナおよびRF回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11bポートおよび送受信回路(無線通信)、あるいはLAN端子および送受信回路(有線通信)などが挙げられるが、上記に限られない。
情報処理装置100は、例えば図14に示す構成によって、上記(1)の処理(タッチ操作の判定処理)、および(2)の処理(推定処理)を行い、上述した本発明の実施形態に係る推定アプローチを実現する。
なお、本発明の実施形態に係る情報装置100のハードウェア構成は、図14に示す構成に限られない。例えば、本発明の実施形態に係る情報処理装置100は、静電式タッチパネル166の代わりにマルチタッチスクリーンを実現可能な任意の方式のタッチパネルを備えることができる。また、本発明の実施形態に係る情報処理装置100は、例えば、メモリスティックなどの、重心位置候補情報を記憶可能な外部記録媒体を着脱可能に収納するスロットなどをさらに備えてもよい。
再度図13を参照して、情報処理装置100の構成要素について説明する。操作表示部102は、表示画面を表示し、表示画面に対するユーザ操作に基づく表示画面上のタッチ位置を検出する。そして、操作表示部102は、例えば、表示画面上のタッチされた場所を示す座標の情報を検出結果として制御部108へ伝達する。なお、操作表示部102における検出結果は、表示画面上のタッチ位置を示す座標の情報に限られず、例えば、タッチ位置における静電容量値の情報をさらに含むことができる。
圧力検出部104は、操作表示部102の表示画面に対するユーザのタッチ操作に応じた圧力を検出する。ここで、圧力検出部104は、例えば図1に示すように表示画面の四隅それぞれに設置された圧力センサで構成され、圧力センサそれぞれにおいてタッチ操作に応じた圧力を検出する。なお、圧力検出部104を構成する圧力センサの数および設置位置が、図1に示す例に限られないことは、言うまでもない。
また、圧力検出部104は、例えばタッチ操作に応じた圧力センサそれぞれの検出結果を、制御部108へ伝達する。なお、圧力検出部104が制御部108へ伝達する情報は、圧力センサそれぞれの検出結果に限られない。例えば、圧力検出部104は、各圧力センサの検出結果に基づいて重心位置および重心圧力を導出し、導出結果を制御部108へ伝達する機能を有していてもよい。
ここで、情報処理装置100は、操作表示部102と圧力検出部104とを、例えば、表示デバイス162、圧力センサ164、および静電式タッチパネル166で構成するが、上記に限られない。
記憶部106は、情報処理装置100が備える記憶手段である。ここで、記憶部106としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられるが、上記に限られない。
また、記憶部106は、例えば、重心位置候補情報(データ)や、コンテンツデータ、アプリケーションなど様々なデータを記憶する。ここで、図13では、重心位置候補テーブル130(重心位置候補情報の一例)が記憶部106に記憶されている例を示しているが、上記に限られない。
制御部108は、例えば、MPUや、各種処理回路が集積された集積回路などで構成され、情報処理装置100全体を制御する役目を果たす。また、制御部108は、操作種別判定部110と、重心位置候補情報生成部112と、導出部114と、推定部116と、処理部118とを備え、上記(1)の処理(タッチ操作の判定処理)、および(2)の処理(推定処理)を主導的に行う役目を果たす。
操作種別判定部110は、上記(1)の処理(タッチ操作の判定処理)を行う役目を果たす。より具体的には、操作種別判定部110は、操作表示部102における検出結果に基づいて、ユーザ操作の種別を判定する。ここで、操作種別判定部110が判定するユーザ操作の種別としては、例えば、操作表示部102において複数のタッチ位置(操作位置)が検出された場合に対応する第1の操作種別と、1つのタッチ位置が検出された場合に対応する第2の操作種別とが挙げられる。
そして、操作種別判定部110は、重心位置候補情報生成部112、導出部114、処理部118の各部へ判定結果を伝達する。
なお、本発明の実施形態に係る操作種別判定部110は、上記のように、判定結果を、判定結果によらず各部へ伝達することに限られない。例えば、本発明の実施形態に係る操作種別判定部110は、判定結果に応じて判定結果の伝達先を変更することもできる。上記の場合、例えば、操作種別判定部110は、タッチ操作が第1の操作種別であると判定したときには、第1の操作種別を示す判定結果を重心位置候補情報生成部112と導出部114とへ選択的に伝達する。また、操作種別判定部110は、タッチ操作が第2の操作種別であると判定したときには、第2の操作種別を示す判定結果を処理部118へ伝達する。以下では、操作種別判定部110が、判定結果によらず判定結果を各部に伝達する場合を主に例に挙げて説明する。
重心位置候補情報生成部112は、上記(2)の処理のうち、(2−1)の処理(重心位置候補情報の生成処理)を行う役目を果たし、重心位置候補情報を選択的に生成する。より具体的には、重心位置候補情報生成部112は、例えば、操作種別判定部110から第1の操作種別を示す判定結果が伝達され、記憶部106に重心位置候補情報が記憶されていない場合に、重心位置候補情報を生成する。
導出部114は、操作判定部110から第1の操作種別を示す判定結果が伝達された場合に、圧力検出部104から伝達される検出結果に基づいて重心位置(またが重心位置および重心圧力)を導出する。そして、導出部114は、導出結果を推定部116へ伝達する。
また、導出部114は、操作判定部110から第2の操作種別を示す判定結果が伝達された場合には、重心位置(またが重心位置および重心圧力)を導出しない。ここで、第2の操作種別を示す判定結果が伝達された場合、当該判定結果は、ユーザが1点のみをタッチしたことを示しており、例えば図2に示すように、タッチ位置と重心位置とが合致する。また、上記の場合には、情報処理装置100は、重心位置における重心圧力を、タッチ操作に応じた押下圧力と捉えることができる。よって、上記の場合には押下圧力の推定を行う必要はないので、導出部114は、重心位置(またが重心位置および重心圧力)を導出しない。
上記のように、導出部114が操作判定部110から伝達される判定結果に基づいて選択的に重心位置(またが重心位置および重心圧力)の導出処理を行うことによって、情報処理装置100は、推定アプローチに係る処理に要する消費電力をより低減することができる。なお、本発明の実施形態に係る導出部114が、操作判定部110から伝達される判定結果によらず重心位置(またが重心位置および重心圧力)の導出を行うことが可能であることは、言うまでもない。
推定部116は、上記(2)の処理のうち、(2−2)の処理(推定処理)を行う役目を果たし、導出部114から伝達される導出結果と、例えば記憶部106に記憶された重心位置候補情報とに基づいて、タッチ位置それぞれにおける圧力値(押下圧力)を推定する。より具体的には、推定部116は、例えば、重心位置候補情報に記録された圧力値の組み合わせのうち、圧力センサの検出結果に基づく導出部114の導出結果と合致する圧力値の組み合わせを、各タッチ位置における圧力値(押下圧力)として推定する。
そして、推定部116は、例えば、各タッチ位置と推定された押下圧力とが対応付けられた情報を推定結果として処理部118へ伝達する。
処理部118は、操作種別判定部110における判定結果に基づいて、操作表示部102の検出結果および/または圧力検出部104の検出結果に応じた処理、または、操作表示部102の検出結果および/または推定部116の推定結果に応じた処理を行う。
より具体的には、処理部118は、操作種別判定部110から第1の操作種別を示す判定結果が伝達された場合には、操作表示部102が検出した複数のタッチ位置、および/または、推定部116から伝達される推定結果に応じた処理を行う。ここで、操作種別判定部110から第1の操作種別を示す判定結果が伝達された場合における処理部118の処理は、図10に示すステップS118の処理に該当する。また、推定結果に応じた処理としては、例えば、図11、図12を参照して説明したスクロールに係る処理が挙げられるが、上記に限られない。
また、処理部118は、操作種別判定部110から第2の操作種別を示す判定結果が伝達された場合には、操作表示部102が検出した1つのタッチ位置、および/または、圧力検出部104の検出結果に基づく押下圧力に応じた処理を行う。ここで、操作種別判定部110から第2の操作種別を示す判定結果が伝達された場合における処理部118の処理は、図10に示すステップS104の処理に該当する。
制御部108は、操作種別判定部110、重心位置候補情報生成部112、導出部114、推定部116、および処理部118を備えることによって、上記(1)の処理(タッチ操作の判定処理)、および(2)の処理(推定処理)を主導的に行う役目を果たすことができる。また、上記構成によって制御部108は、複数のタッチ位置が検出された場合には、推定結果に応じた処理を実現することができる。
情報処理装置100は、例えば、図13に示す構成によって、上記(1)の処理(タッチ操作の判定処理)、および(2)の処理(推定処理)を実現する。したがって、情報処理装置100は、ユーザ操作に対応する表示画面上の複数の操作位置それぞれにおける圧力値を推定することができる。
以上のように、本発明の実施形態に係る情報処理装置100は、上記(1)の処理(タッチ操作の判定処理)によって、ユーザが表示画面の複数の位置に対してタッチ操作を行ったか否かを判定する。そして、情報処理装置100は、ユーザが複数のタッチ操作を行ったと判定した場合には、上記(2)の処理(推定処理)によって、各タッチ位置における押下圧力を推定する。ここで、情報処理装置100は、重心位置候補情報に記録された圧力値の組み合わせのうち、圧力センサの検出結果に基づいて導出部114が導出した導出結果と合致する圧力値の組み合わせを、各タッチ位置における圧力値として推定する。つまり、情報処理装置100は、各タッチ位置において起こりうる押下圧力を示す推定候補の中から、圧力検出部104の検出結果から導出された重心位置(または重心位置および重心圧力)と合致する値を各タッチ位置における圧力値として推定する。よって、情報処理装置100は、圧力検出部104を構成する圧力センサの検出結果に基づいて、より精度が高い各タッチ位置における押下圧力の推定を実現することができる。したがって、情報処理装置100は、ユーザ操作に対応する表示画面上の複数の操作位置それぞれにおける圧力値を推定することができる。
また、情報処理装置100は、圧力検出部104を構成する圧力センサの検出結果に基づいて押下圧力の推定を行う。よって、情報処理装置100は、情報処理装置100が備える圧力センサの数を、表示画面を含む平面上における重心位置を特定することが可能な最小限の数(例えば、3つや4つなど)に抑えることができる。したがって、本発明の実施形態に係る情報処理装置100では、デバイスのコストをより低減することができる。
また、情報処理装置100は、複数のタッチ位置が検出された場合には、推定結果に応じて対応する所定の処理を行うことが可能である。したがって、情報処理装置100では、例えば、ユーザが、表示画面を押下する数、押下圧力を自由なタイミングで変更することにより所望する操作を情報処理装置100に行わせることが可能な、マルチプレスUI(User Interface)が実現される。
さらに、情報処理装置100を用いるユーザは、例えば、鞄やポケットなどに情報処理装置100を入れた状態で、表示画面を押下する数、押下圧力に応じて所望の操作を情報処理装置100に行わせることが可能である。したがって、情報処理装置100は、ユーザの利便性をより向上させることができる。
以上、本発明の実施形態として情報処理装置100を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、PC(Personal Computer)や、ノート型PCなどのコンピュータ、携帯電話やPHS(Personal Handyphone System)などの携帯型通信装置、WALK MAN(登録商標)などの映像/音楽再生装置、PlayStation Portable(登録商標)などの携帯型ゲーム機、デジタル放送/アナログ放送を受信可能なテレビ受像機など、様々な機器に適用することができる。
(本発明の実施形態の情報処理装置に係るプログラム)
コンピュータを、本発明の実施形態に係る情報処理装置として機能させるためのプログラムによって、ユーザ操作に対応する表示画面上の複数の操作位置それぞれにおける圧力値を推定することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、図13に示す情報処理装置100では、制御部108が操作種別判定部110、重心位置候補情報生成部112、導出部114、推定部116、および処理部118を備える構成を示したが、本発明の実施形態に係る情報処理装置の構成は、上記に限られない。例えば、本発明の実施形態に係る情報処理装置は、図13に示す操作種別判定部110、重心位置候補情報生成部112、導出部114、推定部116、および処理部118それぞれを個別に備える(例えば、それぞれを個別の処理回路で実現する)こともできる。
また、上記では、コンピュータを、本発明の実施形態に係る情報処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本発明の実施形態は、さらに、上記各プログラムを記憶させた記憶媒体も併せて提供することができる。
上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的範囲に属するものである。
100 情報処理装置
102 操作表示部
104 圧力検出部
106 記憶部
108 制御部
110 操作種別判定部
112 重心位置候補情報生成部
114 導出部
116 推定部
118 処理部

Claims (8)

  1. 表示画面を表示し、前記表示画面に対するユーザ操作に基づく表示画面上の操作位置を検出する操作表示部と;
    複数の圧力センサを有し、前記操作表示部における前記ユーザ操作に応じた圧力値を前記圧力センサごとに検出する圧力検出部と;
    前記操作表示部における検出結果に基づいて、前記ユーザ操作の種別を判定する操作種別判定部と;
    前記操作種別判定部の判定結果に基づいて、前記複数の圧力センサの検出結果に基づく前記表示画面上の重心位置を選択的に導出する導出部と;
    前記導出部における導出結果と、前記表示画面上の複数の位置における圧力値の組み合わせの情報が、重心位置の情報と対応付けて記録された重心位置候補情報とに基づいて、前記操作位置における圧力値を推定する推定部と;
    を備える、情報処理装置。
  2. 前記推定部は、前記重心位置候補情報に記録された圧力値の組み合わせのうち、前記重心位置の情報が前記導出部が導出した重心位置と合致する圧力値の組み合わせを、前記操作位置における圧力値として推定する、請求項1に記載の情報処理装置。
  3. 前記導出部は、前記重心位置における圧力値をさらに導出し、
    前記推定部は、前記導出部における導出結果と、重心位置における圧力値の情報が前記重心位置の情報とさらに対応付けて記録された重心位置候補情報とに基づいて、前記操作位置における圧力値を推定する、請求項2に記載の情報処理装置。
  4. 前記操作種別判定部は、前記操作表示部において検出された操作位置の数に基づいて、複数の操作位置が検出された場合に対応する第1の操作種別であるか、1つの操作位置が検出された場合に対応する第2の操作種別であるかを判定し、
    前記導出部は、前記操作種別判定部から前記第1の操作種別を示す判定結果が伝達された場合に前記重心位置を導出する、請求項1、または2に記載の情報処理装置。
  5. 前記導出部は、前記操作種別判定部から前記第2の操作種別を示す判定結果が伝達された場合には前記重心位置を導出しない、請求項4に記載の情報処理装置。
  6. 前記操作種別判定部における判定結果に基づいて、前記操作表示部の検出結果および/または前記圧力検出部の検出結果に応じた処理、または、前記操作表示部の検出結果および/または前記推定部の推定結果に応じた処理を行う処理部をさらに備える、請求項1に記載の情報処理装置。
  7. 前記重心位置候補情報を記憶可能な記憶部と;
    前記重心位置候補情報を選択的に生成する重心位置候補情報生成部と;
    をさらに備え、
    前記重心位置候補情報生成部は、前記操作表示部において複数の操作位置が検出された場合に対応する第1の操作種別を示す判定結果が前記操作種別判定部から伝達され、前記記憶部に前記重心位置候補情報が記憶されていない場合に、前記重心位置候補情報を生成する、請求項1に記載の情報処理装置。
  8. 表示画面を表示し、前記表示画面に対するユーザ操作に基づく表示画面上の操作位置を検出する操作表示部における検出結果に基づいて、前記ユーザ操作の種別を判定するステップと;
    前記判定するステップにおける判定結果に基づいて、前記表示画面における前記ユーザ操作に応じた圧力値をそれぞれ検出する複数の圧力センサの検出結果に基づく前記表示画面上の重心位置を選択的に導出するステップと;
    前記導出するステップにおける導出結果と、前記表示画面上における複数の位置における圧力値の組み合わせの情報が重心位置の情報と対応付けて記録された重心位置候補情報とに基づいて、前記操作位置における圧力値を推定するステップと;
    を有する、推定方法。
JP2009091305A 2009-04-03 2009-04-03 情報処理装置、および推定方法 Expired - Fee Related JP5146389B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009091305A JP5146389B2 (ja) 2009-04-03 2009-04-03 情報処理装置、および推定方法
EP10250373A EP2237142A1 (en) 2009-04-03 2010-03-03 Information processing apparatus and estimating method
US12/726,728 US8780057B2 (en) 2009-04-03 2010-03-18 Information processing apparatus and estimating method
CN2010101414631A CN101859200B (zh) 2009-04-03 2010-03-26 信息处理设备和估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009091305A JP5146389B2 (ja) 2009-04-03 2009-04-03 情報処理装置、および推定方法

Publications (2)

Publication Number Publication Date
JP2010244252A JP2010244252A (ja) 2010-10-28
JP5146389B2 true JP5146389B2 (ja) 2013-02-20

Family

ID=42224031

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009091305A Expired - Fee Related JP5146389B2 (ja) 2009-04-03 2009-04-03 情報処理装置、および推定方法

Country Status (4)

Country Link
US (1) US8780057B2 (ja)
EP (1) EP2237142A1 (ja)
JP (1) JP5146389B2 (ja)
CN (1) CN101859200B (ja)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE533704C2 (sv) 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
KR101739054B1 (ko) 2010-09-08 2017-05-24 삼성전자주식회사 디바이스상의 움직임 제어 방법 및 장치
FR2970354B1 (fr) * 2010-10-21 2013-04-26 Dav Procede de commande et dispositif de commande associe.
JP2012221310A (ja) * 2011-04-11 2012-11-12 Fujitsu Ten Ltd 操作装置
JP2012221425A (ja) * 2011-04-13 2012-11-12 Fujitsu Ten Ltd 操作装置
CN103518176B (zh) * 2011-05-12 2016-03-02 阿尔卑斯电气株式会社 输入装置及使用所述输入装置的多个点的载荷检测方法
JP5865724B2 (ja) * 2012-02-16 2016-02-17 アルプス電気株式会社 入力装置及び前記入力装置を用いた重心位置の補正方法
JPWO2013172219A1 (ja) * 2012-05-16 2016-01-12 アルプス電気株式会社 入力装置
US10168835B2 (en) 2012-05-23 2019-01-01 Flatfrog Laboratories Ab Spatial resolution in touch displays
CN103577007A (zh) * 2012-08-08 2014-02-12 胜力光电股份有限公司 电容式触控装置及感测方法
US10168814B2 (en) 2012-12-14 2019-01-01 Apple Inc. Force sensing based on capacitance changes
US10817096B2 (en) 2014-02-06 2020-10-27 Apple Inc. Force sensor incorporated into display
CN103870190B (zh) * 2012-12-17 2018-03-27 联想(北京)有限公司 一种控制电子设备的方法及电子设备
KR20150113169A (ko) * 2013-02-08 2015-10-07 애플 인크. 용량성 감지에 기초한 힘 결정
US9910527B2 (en) * 2013-02-15 2018-03-06 Flatfrog Laboratories Ab Interpretation of pressure based gesture
US9851828B2 (en) 2013-03-15 2017-12-26 Apple Inc. Touch force deflection sensor
WO2014168567A1 (en) 2013-04-11 2014-10-16 Flatfrog Laboratories Ab Tomographic processing for touch detection
JP5538596B1 (ja) * 2013-05-31 2014-07-02 富士ソフト株式会社 タッチ入力装置、タッチ入力装置入力検出方法、およびコンピュータプログラム
US9874978B2 (en) 2013-07-12 2018-01-23 Flatfrog Laboratories Ab Partial detect mode
JP6211327B2 (ja) * 2013-07-22 2017-10-11 アルプス電気株式会社 入力装置
US9671889B1 (en) 2013-07-25 2017-06-06 Apple Inc. Input member with capacitive sensor
JP6177669B2 (ja) * 2013-11-20 2017-08-09 株式会社Nttドコモ 画像表示装置およびプログラム
US10126882B2 (en) 2014-01-16 2018-11-13 Flatfrog Laboratories Ab TIR-based optical touch systems of projection-type
US10146376B2 (en) 2014-01-16 2018-12-04 Flatfrog Laboratories Ab Light coupling in TIR-based optical touch systems
EP3072040B1 (en) 2014-02-12 2021-12-29 Apple Inc. Force determination employing sheet sensor and capacitive array
US9904417B2 (en) * 2014-04-16 2018-02-27 Microchip Technology Incorporated Projected capacitive touch detection with touch force detection using self-capacitance and mutual capacitance detection
WO2015163843A1 (en) 2014-04-21 2015-10-29 Rinand Solutions Llc Mitigating noise in capacitive sensor
JP6291340B2 (ja) * 2014-05-07 2018-03-14 富士ソフト株式会社 タッチ入力装置および入力検出方法
WO2015199602A1 (en) 2014-06-27 2015-12-30 Flatfrog Laboratories Ab Detection of surface contamination
CN107209608A (zh) 2015-01-28 2017-09-26 平蛙实验室股份公司 动态触摸隔离帧
US10318074B2 (en) 2015-01-30 2019-06-11 Flatfrog Laboratories Ab Touch-sensing OLED display with tilted emitters
EP3256936A4 (en) 2015-02-09 2018-10-17 FlatFrog Laboratories AB Optical touch system comprising means for projecting and detecting light beams above and inside a transmissive panel
CN107250855A (zh) 2015-03-02 2017-10-13 平蛙实验室股份公司 用于光耦合的光学部件
US10006937B2 (en) 2015-03-06 2018-06-26 Apple Inc. Capacitive sensors for electronic devices and methods of forming the same
US9715301B2 (en) 2015-08-04 2017-07-25 Apple Inc. Proximity edge sensing
JP6614904B2 (ja) * 2015-10-05 2019-12-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN108369470B (zh) 2015-12-09 2022-02-08 平蛙实验室股份公司 改进的触控笔识别
CN105739774A (zh) * 2016-01-29 2016-07-06 广东欧珀移动通信有限公司 一种终端
JP6526584B2 (ja) * 2016-02-19 2019-06-05 株式会社ジャパンディスプレイ タッチ検出装置、タッチ検出機能付き表示装置及び制御方法
US10007343B2 (en) 2016-03-31 2018-06-26 Apple Inc. Force sensor in an input device
JP2017224220A (ja) * 2016-06-17 2017-12-21 カシオ計算機株式会社 出力制御装置、出力制御方法及びプログラム
JP6608535B2 (ja) 2016-08-05 2019-11-20 アルプスアルパイン株式会社 入力装置、荷重算出方法、及び荷重算出プログラム
EP3545392A4 (en) 2016-11-24 2020-07-29 FlatFrog Laboratories AB AUTOMATIC TACTILE SIGNAL OPTIMIZATION
JP2018092315A (ja) * 2016-12-01 2018-06-14 パイオニア株式会社 操作入力装置
KR102495467B1 (ko) 2016-12-07 2023-02-06 플라트프로그 라보라토리즈 에이비 개선된 터치 장치
US10963104B2 (en) 2017-02-06 2021-03-30 Flatfrog Laboratories Ab Optical coupling in touch-sensing systems
WO2018174786A1 (en) 2017-03-22 2018-09-27 Flatfrog Laboratories Pen differentiation for touch displays
EP4036697A1 (en) 2017-03-28 2022-08-03 FlatFrog Laboratories AB Optical touch sensing apparatus
KR102353919B1 (ko) * 2017-06-09 2022-01-21 삼성전자주식회사 터치의 압력에 응답하여 지정된 동작을 수행하는 전자 장치 및 방법
CN107315505B (zh) * 2017-06-30 2020-10-09 上海天马微电子有限公司 显示面板、触控显示装置及触控压力检测方法
CN117311543A (zh) 2017-09-01 2023-12-29 平蛙实验室股份公司 触摸感测设备
US11567610B2 (en) 2018-03-05 2023-01-31 Flatfrog Laboratories Ab Detection line broadening
DE112018007216B4 (de) 2018-05-11 2022-10-13 Mitsubishi Electric Corporation Eingabesteuerungsvorrichtung, Anzeigeeingabevorrichtung und Eingabesteuerungsverfahren
US10866683B2 (en) 2018-08-27 2020-12-15 Apple Inc. Force or touch sensing on a mobile device using capacitive or pressure sensing
US11943563B2 (en) 2019-01-25 2024-03-26 FlatFrog Laboratories, AB Videoconferencing terminal and method of operating the same
WO2021044539A1 (ja) 2019-09-04 2021-03-11 三菱電機株式会社 押下力算出部を有するタッチパネル装置
JP2023512682A (ja) 2020-02-10 2023-03-28 フラットフロッグ ラボラトリーズ アーベー 改良型タッチ検知装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7663607B2 (en) * 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
DE202005021427U1 (de) * 2004-07-30 2008-02-14 Apple Inc., Cupertino Elektronische Vorrichtung mit berührungsempfindlicher Eingabeeinrichtung
JP2006126997A (ja) * 2004-10-27 2006-05-18 Pfu Ltd 3次元タッチパネル
JP4294668B2 (ja) * 2006-09-14 2009-07-15 株式会社日立製作所 点図ディスプレイ装置
JP2008165575A (ja) 2006-12-28 2008-07-17 Mitsubishi Electric Corp タッチパネル装置
WO2008095137A2 (en) 2007-01-31 2008-08-07 Perceptive Pixel, Inc. Methods of interfacing with multi-point input devices and multi-point input systems employing interfacing techniques

Also Published As

Publication number Publication date
US8780057B2 (en) 2014-07-15
JP2010244252A (ja) 2010-10-28
CN101859200B (zh) 2012-11-14
EP2237142A1 (en) 2010-10-06
CN101859200A (zh) 2010-10-13
US20100229091A1 (en) 2010-09-09

Similar Documents

Publication Publication Date Title
JP5146389B2 (ja) 情報処理装置、および推定方法
US10216407B2 (en) Display control apparatus, display control method and display control program
EP3342143B1 (en) Portable device and screen display method of portable device
KR101905038B1 (ko) 다중 어플리케이션 환경 하에서 터치스크린을 가지는 장치 및 그 제어 방법
US8405682B2 (en) Mobile communication device and method for scaling data up/down on touch screen
JP5694204B2 (ja) グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
JP5716009B2 (ja) 携帯端末装置
EP2690542A1 (en) Display device and control method thereof
US10928948B2 (en) User terminal apparatus and control method thereof
JP2016197425A (ja) グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
JP5218293B2 (ja) 情報処理装置、表示制御方法、およびプログラム
KR20130016906A (ko) 전자 장치 및 스테레오 사운드 제공방법
US9733667B2 (en) Information processing device, information processing method and recording medium
AU2014307237A1 (en) Method and apparatus for recognizing grip state in electronic device
TW201415295A (zh) 多顯示裝置以及多顯示方法
US20150241970A1 (en) Method and apparatus for providing haptic effect
KR20170057823A (ko) 에지 스크린을 통한 터치 입력 방법 및 전자 장치
CN105144068A (zh) 应用程序显示方法和终端
CN102981743A (zh) 控制操作对象的方法及电子设备
JP5854928B2 (ja) タッチ検出機能を有する電子機器、プログラムおよびタッチ検出機能を有する電子機器の制御方法
US20110074829A1 (en) Mobile communication terminal including touch interface and method thereof
KR101879856B1 (ko) 대기화면 설정 장치 및 그 방법
JP2012174247A (ja) 携帯電子機器、接触操作制御方法および接触操作制御プログラム
KR102121533B1 (ko) 투명 디스플레이를 구비한 디스플레이 장치 및 그 디스플레이 장치의 제어 방법
JP2012113386A (ja) 電子機器、表示制御方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121112

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees