JP4609557B2 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JP4609557B2
JP4609557B2 JP2008221856A JP2008221856A JP4609557B2 JP 4609557 B2 JP4609557 B2 JP 4609557B2 JP 2008221856 A JP2008221856 A JP 2008221856A JP 2008221856 A JP2008221856 A JP 2008221856A JP 4609557 B2 JP4609557 B2 JP 4609557B2
Authority
JP
Japan
Prior art keywords
region
centroid
unit
proximity
approach value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008221856A
Other languages
English (en)
Other versions
JP2010055510A (ja
Inventor
智也 成田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008221856A priority Critical patent/JP4609557B2/ja
Priority to EP09251558A priority patent/EP2166435B1/en
Priority to CN2009101715570A priority patent/CN101661349B/zh
Priority to US12/550,103 priority patent/US8237678B2/en
Publication of JP2010055510A publication Critical patent/JP2010055510A/ja
Application granted granted Critical
Publication of JP4609557B2 publication Critical patent/JP4609557B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186Touch location disambiguation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、情報処理装置及び情報処理方法に関する。
表示装置には、液晶ディスプレイなどの表示部の表面に静電容量方式や抵抗膜方式のタッチセンサーを設けるタッチパネル(タッチスクリーン)がある。タッチパネルによれば、表示部の画面に触れることで情報処理装置への情報の入力が可能となり、ユーザが容易に情報処理装置を扱うことができるようになる。
また、表示部近傍の操作を検出する表示装置として、静電容量方式や抵抗膜方式以外のタッチパネルの技術が開示されている。例えば特許文献1には、表示装置が発光と受光とを同時に行う技術が開示されている。また、特許文献2には、操作者の手や人体などの動作に応じてコンピュータ装置を操作する技術が開示されている。更に、特許文献3には、パネル上の入力点に関して、複数の点の情報を出力できるパネルの技術が開示されている。
特開2006−276223号公報 特開平11−24839号公報(特許第3968477号公報) 特開2008−146165号公報
従来、タッチパネルにおける接触又は近接は、タッチパネル面上に占めるある面積を有する領域として検出される。そこで、タッチパネルにおける接触又は近接の代表点を算出するためには、ある面積を有する接触領域又は近接領域の重心を算出して、算出された重心位置を接触又は近接の代表点として判定している。
しかし、上記のように領域の重心をもとに、タッチパネルに接触又は近接していると判定された点は、ユーザが意図してタッチパネルに接触又は近接した点と差異が生じるという問題があった。例えば、タッチパネルの画面にユーザが選択可能な複数のボタンが近接して表示されているとき、タッチパネルの持ち方やユーザの爪の長さ等の要因によって、意図したボタンと異なるボタンが選択されるという問題があった。
このような問題点を回避するため、タッチパネルの持ち方やユーザの利用状況を考慮し、画面上の検出場所に応じて、ユーザの意図をある程度推測して、実際に検出された接触点又は近接点と異なる点をユーザの意図した指示点として算出することが考えられる。しかし、タッチパネルは、縦持ち、横持ち、又は上下逆さまに利用するといった様々な持ち方や利用状況がある。そのため、予め持ち方や利用状況を推測して、その推測によって接触点又は近接点を修正することは困難であった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、検出された接触位置又は近接位置ではなく、ユーザの意図した接触位置又は近接位置に近づくように接触位置又は近接位置を精度良く補正することが可能な、新規かつ改良された情報処理装置及び情報処理方法を提供することにある。
上記課題を解決するために、本発明のある観点によれば、画像データに基づいて画面上に画像を表示する表示部と、操作体と表示部の表面との接触又は近接に関する接近値を取得する接近値取得部と、接近値を3値化処理し、3値化処理された接近値に応じて、第1の領域と、第1の領域と異なる第2の領域を検出する領域検出部と、第1の領域及び第2の領域それぞれの重心の位置を算出する重心位置算出部と、第1の領域の重心である第1の重心と、第2の領域の重心である第2の重心とを結ぶ直線の方向を算出する直線方向算出部と、接近値に基づいて操作体と表示部の表面との接触位置又は近接位置を算出する位置算出部と、接触位置又は近接位置、及び第1の重心と第2の重心を結ぶ直線の方向に基づいて、接触位置又は近接位置と異なる指示位置を算出する指示位置算出部とを有する情報処理装置が提供される。
上記位置算出部は、第1の重心を接触位置又は近接位置として算出し、指示位置算出部は、接触位置又は近接位置からオフセット量分移動した、直線上の位置を指示位置として算出してもよい。
上記オフセット量を、第1の重心と第2の重心との間の距離に基づいて算出するオフセット量算出部を有してもよい。
上記接近値取得部は、外部から表示部の表示面に入射する光を受光し、受光した光を電気信号に変換する受光部と、電気信号から画素毎の輝度値を接近値として算出する輝度値算出部とを有してもよい。
上記接近値取得部は、操作体と表示部の表面との間の静電容量を検出する静電容量検出部と、静電容量の変化を接近値として算出する接近値算出部とを有してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、表示部が画像データに基づいて画面上に画像を表示するステップと、接近値取得部が操作体と表示部の表面との接触又は近接に関する接近値を取得するステップと、領域検出部が接近値を3値化処理し、3値化処理された接近値に応じて、第1の領域と、第1の領域と異なる第2の領域を検出するステップと、重心位置算出部が第1の領域及び第2の領域それぞれの重心の位置を算出するステップと、直線方向算出部が、第1の領域の重心である第1の重心と、第2の領域の重心である第2の重心とを結ぶ直線の方向を算出するステップと、位置算出部が接近値に基づいて操作体と表示部の表面との接触位置又は近接位置を算出するステップと、指示位置算出部が、接触位置又は近接位置、及び第1の重心と第2の重心を結ぶ直線の方向に基づいて、接触位置又は近接位置と異なる指示位置を算出するステップとを有する情報処理方法が提供される。
本発明によれば、検出された接触位置又は近接位置ではなく、ユーザの意図した接触位置又は近接位置に近づくように接触位置又は近接位置を精度良く補正することができる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。なお、説明は以下の順序で行う。
1.一実施形態の構成
2.一実施形態の動作
<1.一実施形態の構成>
まず、本発明の一実施形態に係る情報処理装置100について説明する。図1は、本実施形態に係る情報処理装置100を示すブロック図である。
本実施形態の情報処理装置100は、例えば、制御部102と、メモリ104と、ストレージ106と、入力I/F107と、画像信号処理部114と、ディスプレイパネル108と、表示制御部112と、音声出力I/F116と、受光処理部122などを有する。なお、本実施形態では、情報処理装置100にディスプレイパネル108が一体的に設けられる場合について説明するが、本発明は、情報処理装置100と、ディスプレイパネル108とが別体の装置として設けられる場合にも適用することができる。
情報処理装置100は、例えば、パーソナルコンピュータ、オーディオプレイヤー、メディアプレイヤー、PDA(personal digital assistant)、携帯電話、デジタルカメラなどである。
制御部102は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などが組み合わされて構成されるマイクロコンピュータなどを有する。制御部102は、プログラムによって演算処理装置及び制御装置として機能し、情報処理装置100における上記各構成要素などを制御する。
メモリ104は、例えば、RAM、ROM、キャッシュメモリなどの記憶部で構成されており、制御部102のCPUの処理に関するデータ、CPUの動作プログラムなどを一時的に記憶する機能を有する。
ストレージ106は、例えば、ハードディスク、光ディスク、フラッシュメモリなどであり、データを長期に亘って格納するための記憶部である。ストレージ106は、例えば、音楽データやビデオ、写真などの映像データを記憶する。ストレージ106は、音楽データや映像データを、制御部102におけるデータ受信制御処理、蓄積制御処理を経て記録する。
入力I/F107は、例えば、USB端子、IEEE 1394端子等であり、外部装置と接続可能なインターフェースである。各種データは、入力I/F107を介して、情報処理装置100に各種情報や指令が入力される。
画像信号処理部114は、受光処理部122で生成された画像信号に対して信号処理をする。画像信号処理部114は、画像信号について、表示部110の画素数に変換する解像度変換、輝度補正、色補正、ガンマ補正など各種所要の信号処理を実行する。
ディスプレイパネル108は、例えば表示部110と、受光センサー120などからなり、受光センサー120がユーザの指、手などの操作体を検知することで、ユーザの操作を受け付ける。本実施形態のディスプレイパネル108は、タッチパネルと異なり、画面上の接触は不要であり、画面への近接を検知することで、ユーザの操作を受け付ける。そして、ディスプレイパネル108は、ユーザの動作に応じて、画面に表示された項目を選択したり、画面のスクロール、拡大又は縮小表示など表示を変化させたりする。
表示部110は、例えば、液晶ディスプレイであり、表示制御部112によって制御される。表示部110は、各種メニュー画面や、画像データによる画像を表示する。受光センサー120は、受光部の一例であり、外部から表示部110の表示面に入射する光を受光し、受光した光を電気信号に変換する。受光センサー120は、生成した電気信号を受光処理部122に送る。
音声出力I/F116は、例えばフォーンプラグなどの端子であり、ヘッドフォン、スピーカ等の外部装置と接続される。音声出力I/F116は、再生された音声データを外部装置に出力する。
図2は、本実施形態に係るディスプレイパネル108の画素部分を示す説明図である。ディスプレイパネル108には、複数の画素セット130が例えばマトリクス状に配置される。そして、画素セット130には、発光素子である赤色表示画素110R、緑色表示画素110G、青色表示画素110Bと、受光センサー120が設けられる。1つの画素セット130内では、表示画素110R、110G、110Bと受光センサー120が隣接して配置される。なお、画素の配列は図2に示す例に限定されず、他の配列であってもよい。
本実施形態のディスプレイパネル108により、ユーザの指、手などの操作体が表示面に近接したとき、情報処理装置100は操作体を検出することができる。
表示制御部112は、入力された画像信号を利用して表示部110を駆動する。表示制御部112は、画像信号処理部114から受けた画像信号の表示処理をする。また、表示制御部112は、表示データの合成処理をして、表示部110でユーザが視聴可能となるデータを生成する。表示制御部112で生成されたデータは、表示部110に出力される。
受光処理部122は、受光センサー120から電気信号を受けて、アナログデジタル変換処理などを行い、画素毎の画像信号を生成する。これにより、画像信号処理部114で画像信号処理が可能となり、制御部102における画像信号に基づいた各演算を行うことができる。
次に、本実施形態に係る情報処理装置100の制御部102について説明する。制御部102は、近接検出部161、指座標算出部162と、角度算出部163と、オフセット量算出部164と、補正指座標算出部165などを有する。
近接検出部161は、接近値取得部の一例であり、受光処理部122が生成した画像信号に基づいて画素毎に輝度値を算出し、輝度値を接近値として算出する。近接検出部161が算出した接近値は、操作体とディスプレイパネル108の表面との間の接触又は近接に関する値である。
近接検出部161は、領域検出部の一例であり、輝度値を3値化処理し、3値化処理された輝度値に応じて、検出された対象について、第1の領域と、第1の領域と異なる第2の領域を検出する。また、近接検出部161は、重心位置算出部の一例であり、第1の領域及び第2の領域それぞれの重心の位置を算出する。
指座標算出部162は、位置算出部の一例であり、近接検出部161が算出した第1の重心を接触位置又は近接位置として算出する。第1の重心の座標は、操作体がディスプレイパネル108の表面と接触又は近接した位置の代表点とする。なお、ディスプレイパネル108の表面と接触又は近接した位置の代表点は、第1の重心に限定されず、例えば、第1の領域の一端から他端までの中間点としてもよい。
角度算出部163は、直線方向算出部の一例であり、近接検出部161で算出された第1の領域の重心である第1の重心と、第2の領域の重心である第2の重心とを結ぶ直線の方向を算出する。角度算出部163は、例えば、画面の上から下(又は下から上)への方向(垂直方向)に対する、第1の重心と第2の重心を結ぶ直線の角度を算出する。第1の重心と第2の重心を結ぶ直線は、指10の方向と対応する。
オフセット量算出部164は、例えば、近接検出部161で算出された第1の重心と、第2の重心との間の距離に基づいて、オフセット量を算出する。例えば第1の重心と第2の距離が長くなるほど、ユーザの指がディスプレイパネル108に対して水平に近いことを示す。一方、第1の重心と第2の距離が短くなるほど、ユーザの指がディスプレイパネル108に対して垂直に近いことを示す。この特性を用いて、オフセット量算出部164は、オフセット量を算出する。
なお、オフセット量算出部164は、第1の重心及び第2の重心を結ぶ直線が第1の領域の境界と交わる第1の領域の一端部と、第1の重心との間の距離をオフセット量として算出してもよい。
補正指座標算出部165は、指示位置算出部の一例であり、指座標算出部162で算出された接触位置又は近接位置、及び近接検出部161で算出された第1の重心と第2の重心を結ぶ直線の方向に基づいて、接触位置又は近接位置と異なる指示位置を算出する。例えば、補正指座標算出部165は、指座標算出部162で算出された接触位置又は近接位置からオフセット量分移動した、直線上の位置を指示位置として算出する。補正指座標算出部165が用いるオフセット量は、オフセット量算出部164が算出したオフセット量である。指示位置は、第1の重心などによって算出される接触又は近接位置に比べて、ユーザが意図した接触又は近接位置に近い位置である。
<2.一実施形態の動作>
次に、本実施形態に係る情報処理装置100の動作について説明する。
図3は、本実施形態に係る情報処理装置100の動作を示すフローチャートである。図4は、ディスプレイパネル108に表示された画像とユーザによる操作を示す説明図である。図5〜図7は、ディスプレイパネル108とユーザの指の関係を示す説明図である。
図8は、受光センサー120で検出され3値化処理された輝度値による領域を示す説明図である。図9は、輝度値(光強度)の分布を示すグラフである。図9(A)は、図8のA−A線上の輝度値の分布を示し、図9(B)は、図8のB−B線上の輝度値の分布を示す。
まず、情報処理装置100は、画像データに基づいてユーザインタフェースとしてのディスプレイパネル108に画像やメニュー画面などの各種表示をする(ステップS101)。図4に示す例では、ディスプレイパネル108にソフトウェアキーボード140が表示されている例を示す。
そして、ユーザによって、図4に示すように、指10や手、スタイラス等の操作体がディスプレイパネル108の画面に近接されると、受光センサー120が検出した光に基づいて、受光処理部122が受光処理をする(ステップS102)。画面上の操作対象(例えばソフトウェアキーボード140の各キーボタンなど)をユーザが指示する場合、図5に示すように、指10や手、スタイラスの一端側が画面に近接し、他端側が一端側に比べて画面から離隔する状態となる。以下では、指10の先端(指先)が最も画面に接近し、手のひら側の指10が指先より画面から離れている場合について、説明する。
次に、制御部102は、受光処理部122で生成された画像信号の各画素の輝度値を算出し、輝度値を3値化処理する。3値化処理は、所定の閾値を2つ設定しておき、図9に示すような様々な分布を有している輝度値を閾値に応じて3つの値に集約する。なお、閾値は種々の条件に応じて設定可能である。
そして、ユーザが画面を指10で指示している状況では、図8に示すような輝度値の分布を得ることができる。領域152は、輝度値が強い領域であり、領域154は、輝度値が中間の領域である。輝度値が弱い領域は、領域150、領域154以外の領域である。領域152は、指10の先端など最も操作体が画面に近接している領域であり、領域154は、指10の先端より画面から離れた指10に対応する領域である。
情報処理装置100は、強い閾値を超える輝度値が検出されれば(ステップS103)、ユーザによる操作があり、画面への近接があったと判断できる。そして、引き続き、情報処理装置100は、弱い閾値での近接を検出する(ステップS104)。弱い閾値での近接が検出されれば、ユーザが所定の方向から指10等で画面を指示していると判断できる。
そして、近接検出部161が、領域152、領域154それぞれの重心位置を算出する。図8に示す第1の重心Gは、領域152の重心位置であり、第2の重心Gは、領域154の重心位置である。
次に、指座標算出部162は、第1の重心Gに基づいて、近接検出部161が算出した第1の重心Gを接触位置又は近接位置として算出する(ステップS105)。第1の重心Gの座標は、操作体がディスプレイパネル108の表面と接触又は近接した位置の仮の代表点である。しかし、第1の重心Gの座標は、ユーザが意図する接触又は近接点と異なることが多い。そこで、本実施形態では、以下に示すように補正した指座標を算出してユーザが意図する接触又は近接点に近い指座標を算出する。
角度算出部163は、重心G、Gに基づいて、第1の重心Gと第2の重心Gを結ぶ直線の方向を算出する(ステップS106)。例えば、角度算出部163は、画面の垂直方向Dに対する、第1の重心と第2の重心を結ぶ直線Dの角度θ(図8参照)を算出する。図6に示す例では、画面の垂直方向Dと第1の重心と第2の重心を結ぶ直線Dのなす角度は、θである。図7に示す例では、画面の垂直方向Dと第1の重心と第2の重心を結ぶ直線Dのなす角度は、θである。第1の重心と第2の重心を結ぶ直線Dは、指10の方向と対応する。従って、ディスプレイパネル108に対して指10がいずれの方向から指示されているか、数値(角度θ)で表現できる。
更に、オフセット量算出部164は、図8に示すように、例えば、近接検出部161で算出された第1の重心Gと、第2の重心Gとの間の距離Lに基づいて、オフセット量Cを算出する(ステップS107)。
次に、補正指座標算出部165が、指座標算出部162で算出された接触位置又は近接位置(第1の重心G)と、第1の重心Gと第2の重心Gを結ぶ直線の方向の角度θに基づいて、接触位置又は近接位置と異なる指示位置を算出する(ステップS108)。接触位置又は近接位置と異なる指示位置とは、補正後の指座標である。例えば、補正指座標算出部165は、指座標算出部162で算出された接触位置又は近接位置からオフセット量C分移動した、直線上の位置を指示位置Pとして算出する。指示位置Pは、第1の重心Gなどによって算出される接触又は近接位置に比べて、ユーザが意図した接触又は近接位置に近い位置である。
なお、ステップS107において、オフセット量算出部164は、第1の重心G及び第2の重心Gを結ぶ直線Dが第1の領域152の境界と交わる第1の領域152の一端部と、第1の重心Gとの間の距離をオフセット量として算出してもよい。このとき、ステップS108において、補正指座標算出部165は、指座標算出部162で算出された接触位置又は近接位置からオフセット量分移動した、直線上の位置を指示位置Pとして算出する(図8参照)。指示位置Pは、第1の重心Gなどによって算出される接触又は近接位置に比べて、ユーザが意図した接触又は近接位置に近い位置である。
そして、最後に、補正後の指座標に基づいて、ディスプレイパネル108に表示された各種表示に対して表示処理を行う(ステップS109)。例えば、図4に示すようにソフトウェアキーボード140が3段で表示されているような場合について説明する。ユーザは、上段のキーボタンに対して接触又は近接する意図であったとしても、中段のキーボタンとの接触又は近接が検出される場合がある。また、距離が短い場合は、左右のキーボタンに対しても誤検出される可能性がある。本実施形態によれば、指10が画面の垂直方向Dとなす角度θが分かる。そのため、指10の方向と対応する直線上に補正後の指座標を算出することができ、ユーザが意図した接触又は近接位置に近い支持位置を算出できる。その結果、図4に示す例では、中段のキーボタンが選択されることなく、上段のキーボタンが選択される。また、左右のキーボタンが選択されることなく、意図したキーボタンが選択される。
従来、タッチパネルにおける接触又は近接は、タッチパネル面上に占めるある面積を有する領域として検出される。そこで、タッチパネルにおける接触又は近接の代表点を算出するためには、ある面積を有する接触領域又は近接領域の重心を算出して、算出された重心位置を接触又は近接の代表点として判定していた。
しかし、上記のように領域の重心をもとに、タッチパネルに接触又は近接していると判定された点は、ユーザが意図してタッチパネルに接触又は近接した点と差異が生じるという問題があった。例えば、タッチパネルの画面にユーザが選択可能な複数のボタンが近接して表示されているとき、タッチパネルの持ち方やユーザの爪の長さ等の要因によって、意図したボタンと異なるボタンが選択されるという問題があった。
一方、本実施形態によれば、ユーザの指10とディスプレイパネル108との間の検出された接触又は近接位置ではなく、ユーザの意図に近い接触又近接位置である指示位置を算出できる。その結果、ユーザの違和感を低減することができ、また、誤った表示ボタンをディスプレイパネル108上でタップしてしまうといった誤動作を減少させることができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、接近値取得部の一例として、近接検出部161が輝度値を接近値として算出する場合について説明したが、本発明はかかる例に限定されない。例えば、接近値取得部は、例えば、静電容量方式のタッチパネルであり、静電容量検出部と接近値算出部からなるとしてもよい。静電容量検出部は、ユーザの指(操作体)と表示部の表面との間の静電容量を検出する。接近値算出部は、検出した静電容量の変化を接近値として算出する。例えば、静電容量の変化に応じて、指と表示部の表面とが接触しているか否か、又はどの程度離隔しているかを算出できる。そして、算出した接近値をもとに、上述した実施形態と同様に、制御部102の近接検出部161が、接近値を3値化処理して、第1の領域と第2の領域を算出する。
また、接近値取得部は、感圧式のタッチパネルでもよく、検出した圧力に応じて、接近値を算出してもよい。圧力の程度に応じて、接近値を3値化処理して、第1の領域と第2の領域を算出する。例えば、ユーザの指の画面に対する接触圧力に応じて、指の接触方向を知ることができる。
また、上記実施形態では、算出した第1の領域と第2の領域それぞれの重心を算出するとしたが、本発明はかかる例に限定されない。例えば、2つの領域を結ぶ方向を算出できる領域を代表する値であれば、重心以外でもよく、領域の一端から他端を結ぶ線分の中心などでもよい。
また、上記実施形態では、ディスプレイパネル108に表示されて表示処理対象となるものとして、図4に示すようにソフトウェアキーボード140の場合について説明したが、本発明はかかる例に限定されない。例えば、各種ボタン類、スライダー、テキスト、ブラウザリンクなど、ユーザによって選択可能な表示であれば、その他の表示にも適用できる。
本発明の一実施形態に係る情報処理装置を示すブロック図である。 同実施形態に係るディスプレイパネルの画素部分を示す説明図である。 同実施形態に係る情報処理装置の動作を示すフローチャートである。 ディスプレイパネルに表示された画像とユーザによる操作を示す説明図である。 ディスプレイパネルとユーザの指の関係を示す説明図である。 ディスプレイパネルとユーザの指の関係を示す説明図である。 ディスプレイパネルとユーザの指の関係を示す説明図である。 受光センサーで検出され3値化処理された輝度値による領域を示す説明図である。 輝度値(光強度)の分布を示すグラフである。
符号の説明
100 情報処理装置
102 制御部
104 メモリ
106 ストレージ
107 入力I/F
108 ディスプレイパネル
110 表示部
110R、110G、110B 表示画素
112 表示制御部
114 画像信号処理部
116 音声出力I/F
122 受光処理部
120 受光センサー
130 画素セット
161 近接検出部
162 指座標算出部
163 角度算出部
164 オフセット量算出部
165 補正指座標算出部

Claims (6)

  1. 画像データに基づいて画面上に画像を表示する表示部と、
    操作体と前記表示部の表面との接触又は近接に関する接近値を取得する接近値取得部と、
    前記接近値を3値化処理し、前記3値化処理された接近値に応じて、前記接近値が強い領域である第1の領域と、前記接近値が中間の領域である第2の領域を検出する領域検出部と、
    前記第1の領域及び前記第2の領域それぞれの重心の位置を算出する重心位置算出部と、
    前記第1の領域の重心である第1の重心と、前記第2の領域の重心である第2の重心とを結ぶ直線の方向を算出する直線方向算出部と、
    前記接近値に基づいて前記操作体と前記表示部の表面との接触位置又は近接位置を算出する位置算出部と、
    前記接触位置又は前記近接位置、及び前記第1の重心と前記第2の重心を結ぶ前記直線の方向に基づいて、前記接触位置又は前記近接位置と異なる指示位置を算出する指示位置算出部と
    を有する、情報処理装置。
  2. 前記位置算出部は、前記第1の重心を前記接触位置又は前記近接位置として算出し、
    前記指示位置算出部は、前記接触位置又は前記近接位置からオフセット量分移動した、前記直線上の位置を前記指示位置として算出する、請求項1に記載の情報処理装置。
  3. 前記オフセット量を、前記第1の重心と前記第2の重心との間の距離に基づいて算出するオフセット量算出部を有する、請求項2に記載の情報処理装置。
  4. 前記接近値取得部は、
    外部から前記表示部の表示面に入射する光を受光し、受光した前記光を電気信号に変換する受光部と、
    前記電気信号から画素毎の輝度値を前記接近値として算出する輝度値算出部と
    を有する、請求項1に記載の情報処理装置。
  5. 前記接近値取得部は、
    前記操作体と前記表示部の表面との間の静電容量を検出する静電容量検出部と、
    前記静電容量の変化を前記接近値として算出する接近値算出部と
    を有する、請求項1に記載の情報処理装置。
  6. 表示部が画像データに基づいて画面上に画像を表示するステップと、
    接近値取得部が操作体と前記表示部の表面との接触又は近接に関する接近値を取得するステップと、
    領域検出部が前記接近値を3値化処理し、前記3値化処理された接近値に応じて、前記接近値が強い領域である第1の領域と、前記接近値が中間の領域である第2の領域を検出するステップと、
    重心位置算出部が前記第1の領域及び前記第2の領域それぞれの重心の位置を算出するステップと、
    直線方向算出部が、前記第1の領域の重心である第1の重心と、前記第2の領域の重心である第2の重心とを結ぶ直線の方向を算出するステップと、
    位置算出部が前記接近値に基づいて前記操作体と前記表示部の表面との接触位置又は近接位置を算出するステップと、
    指示位置算出部が、前記接触位置又は前記近接位置、及び前記第1の重心と前記第2の重心を結ぶ前記直線の方向に基づいて、前記接触位置又は前記近接位置と異なる指示位置を算出するステップと
    を有する、情報処理方法。
JP2008221856A 2008-08-29 2008-08-29 情報処理装置及び情報処理方法 Expired - Fee Related JP4609557B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008221856A JP4609557B2 (ja) 2008-08-29 2008-08-29 情報処理装置及び情報処理方法
EP09251558A EP2166435B1 (en) 2008-08-29 2009-06-15 Information processing apparatus and information processing method
CN2009101715570A CN101661349B (zh) 2008-08-29 2009-08-28 信息处理装置和信息处理方法
US12/550,103 US8237678B2 (en) 2008-08-29 2009-08-28 Apparatus and method for detecting contact on or proximity to a touch screen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008221856A JP4609557B2 (ja) 2008-08-29 2008-08-29 情報処理装置及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2010055510A JP2010055510A (ja) 2010-03-11
JP4609557B2 true JP4609557B2 (ja) 2011-01-12

Family

ID=41404544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008221856A Expired - Fee Related JP4609557B2 (ja) 2008-08-29 2008-08-29 情報処理装置及び情報処理方法

Country Status (4)

Country Link
US (1) US8237678B2 (ja)
EP (1) EP2166435B1 (ja)
JP (1) JP4609557B2 (ja)
CN (1) CN101661349B (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4609543B2 (ja) * 2008-07-25 2011-01-12 ソニー株式会社 情報処理装置及び情報処理方法
JP4743267B2 (ja) * 2008-12-12 2011-08-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5269648B2 (ja) * 2009-03-02 2013-08-21 パナソニック株式会社 携帯端末装置及び入力装置
WO2010113397A1 (ja) * 2009-03-31 2010-10-07 三菱電機株式会社 表示入力装置
JP5545009B2 (ja) * 2010-04-28 2014-07-09 ソニー株式会社 センサ装置および情報表示装置
CN102314258B (zh) * 2010-07-01 2013-10-23 原相科技股份有限公司 光学触控***、物件位置计算装置以及物件位置计算方法
US20130027343A1 (en) 2011-07-29 2013-01-31 Analog Devices, Inc. Position determination techniques in resistive touch screen applications
US9152287B2 (en) 2010-08-05 2015-10-06 Analog Devices, Inc. System and method for dual-touch gesture classification in resistive touch screens
JP5510185B2 (ja) * 2010-08-20 2014-06-04 ソニー株式会社 情報処理装置、プログラム及び表示制御方法
JP5630160B2 (ja) * 2010-09-07 2014-11-26 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
JP5569271B2 (ja) * 2010-09-07 2014-08-13 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5494423B2 (ja) 2010-11-02 2014-05-14 ソニー株式会社 表示装置、位置補正方法およびプログラム
JP5656652B2 (ja) * 2011-01-07 2015-01-21 キヤノン株式会社 タッチパネル装置およびタッチパネル検出位置補正方法
JP2012221425A (ja) * 2011-04-13 2012-11-12 Fujitsu Ten Ltd 操作装置
US20130119977A1 (en) * 2011-11-11 2013-05-16 Boris Leonid Sheikman Sensing element for sensor assembly
JP2013206350A (ja) * 2012-03-29 2013-10-07 Ntt Docomo Inc 情報処理装置及び当該情報処理装置における入力箇所の補正方法
JP5904440B2 (ja) * 2012-04-20 2016-04-13 シャープ株式会社 操作入力装置、操作入力方法およびプログラム
JP5798103B2 (ja) * 2012-11-05 2015-10-21 株式会社Nttドコモ 端末装置、画面表示方法、プログラム
WO2014080864A1 (ja) * 2012-11-22 2014-05-30 シャープ株式会社 タッチパネル付表示装置
CN103092421B (zh) * 2013-01-28 2018-09-14 苏州瀚瑞微电子有限公司 触控面板线性误差的修正方法
JP5852050B2 (ja) * 2013-05-27 2016-02-03 株式会社ジャパンディスプレイ タッチ検出装置、タッチ検出機能付き表示装置、及び電子機器
WO2015071947A1 (ja) * 2013-11-12 2015-05-21 富士通株式会社 表示処理装置、表示処理方法、及び表示処理プログラム
JP2015125705A (ja) * 2013-12-27 2015-07-06 船井電機株式会社 画像表示装置
JP5947999B2 (ja) * 2014-02-10 2016-07-06 レノボ・シンガポール・プライベート・リミテッド タッチスクリーンに対する操作精度を向上する方法、電子機器およびコンピュータ・プログラム
JP5796648B2 (ja) * 2014-02-28 2015-10-21 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
KR20150127989A (ko) * 2014-05-08 2015-11-18 삼성전자주식회사 사용자 인터페이스 제공 방법 및 장치
JP6324203B2 (ja) * 2014-05-14 2018-05-16 キヤノン株式会社 情報処理装置およびその制御方法、プログラム、記録媒体
JP5971817B2 (ja) * 2014-06-20 2016-08-17 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 情報処理装置、プログラム及び方法
WO2017019043A1 (en) * 2015-07-28 2017-02-02 Hewlett-Packard Development Company, L.P. Distinguishing non-input contact
EP3362884A4 (en) * 2016-03-03 2019-06-26 Hewlett-Packard Development Company, L.P. INPUT AXIS CURLS
TWI579826B (zh) * 2016-03-30 2017-04-21 佳世達科技股份有限公司 顯示裝置及其運作方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005234958A (ja) * 2004-02-20 2005-09-02 Nissan Motor Co Ltd タッチパネル装置
JP2007011228A (ja) * 2005-07-04 2007-01-18 Toshiba Matsushita Display Technology Co Ltd 平面表示装置
JP2008027292A (ja) * 2006-07-24 2008-02-07 Toshiba Matsushita Display Technology Co Ltd 表示装置
JP2008097172A (ja) * 2006-10-10 2008-04-24 Sony Corp 表示装置および表示方法
JP2008234594A (ja) * 2007-03-23 2008-10-02 Denso Corp 操作入力装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3968477B2 (ja) 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
US7663607B2 (en) * 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
JP2006276223A (ja) * 2005-03-28 2006-10-12 Sony Corp 表示装置及び表示方法
CN100429610C (zh) * 2006-01-19 2008-10-29 宏达国际电子股份有限公司 直觉式荧幕控制器
US20070097096A1 (en) * 2006-03-25 2007-05-03 Outland Research, Llc Bimodal user interface paradigm for touch screen devices
US7552402B2 (en) * 2006-06-22 2009-06-23 Microsoft Corporation Interface orientation using shadows
JP5191119B2 (ja) 2006-12-06 2013-04-24 株式会社ジャパンディスプレイウェスト 表示装置、表示装置の制御方法、及びプログラム
JP4453710B2 (ja) * 2007-03-19 2010-04-21 セイコーエプソン株式会社 液晶装置、電子機器および位置検出方法
JP4609543B2 (ja) * 2008-07-25 2011-01-12 ソニー株式会社 情報処理装置及び情報処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005234958A (ja) * 2004-02-20 2005-09-02 Nissan Motor Co Ltd タッチパネル装置
JP2007011228A (ja) * 2005-07-04 2007-01-18 Toshiba Matsushita Display Technology Co Ltd 平面表示装置
JP2008027292A (ja) * 2006-07-24 2008-02-07 Toshiba Matsushita Display Technology Co Ltd 表示装置
JP2008097172A (ja) * 2006-10-10 2008-04-24 Sony Corp 表示装置および表示方法
JP2008234594A (ja) * 2007-03-23 2008-10-02 Denso Corp 操作入力装置

Also Published As

Publication number Publication date
US20100053109A1 (en) 2010-03-04
JP2010055510A (ja) 2010-03-11
EP2166435A2 (en) 2010-03-24
CN101661349B (zh) 2012-05-30
EP2166435A3 (en) 2010-08-04
EP2166435B1 (en) 2012-12-12
US8237678B2 (en) 2012-08-07
CN101661349A (zh) 2010-03-03

Similar Documents

Publication Publication Date Title
JP4609557B2 (ja) 情報処理装置及び情報処理方法
JP4609543B2 (ja) 情報処理装置及び情報処理方法
US8553000B2 (en) Input apparatus that accurately determines input operation, control method for input apparatus, and storage medium
US8970518B2 (en) Click position control apparatus, click position control method, and touch sensor system
KR20170046624A (ko) 유저인터페이스 제공 장치, 제공방법, 및 이를 기록한 컴퓨터 판독 가능한 기록매체
JP6000797B2 (ja) タッチパネル式入力装置、その制御方法、および、プログラム
US9817517B2 (en) Touch device and method of controlling the same that changes the sensitivity of a touch input based on the touch input's capacitance
KR20120050971A (ko) 표시 제어 장치, 표시 제어 방법 및 컴퓨터 프로그램
WO2012171116A1 (en) Visual feedback by identifying anatomical features of a hand
US9710096B2 (en) Information processing apparatus and method, and program for removing displayed objects based on a covered region of a screen
US20150002433A1 (en) Method and apparatus for performing a zooming action
CN104951213B (zh) 防止误触发边缘滑动手势的方法
JP2005301668A (ja) 情報処理装置および情報処理プログラム
KR102118421B1 (ko) 카메라 커서 시스템
US9235338B1 (en) Pan and zoom gesture detection in a multiple touch display
US20150309601A1 (en) Touch input system and input control method
TWI462033B (zh) 觸控系統及觸控系統的繪圖方法
JP7069887B2 (ja) 携帯端末装置および携帯端末装置の表示制御方法
JP6621513B2 (ja) 波形表示装置
US20170139545A1 (en) Information processing apparatus, information processing method, and program
JP2016085139A (ja) 波形表示装置
KR20150060476A (ko) 터치스크린 상의 명령입력영역 제어 방법 및 장치
JP2005284644A (ja) データ処理装置およびプログラム
CA2855064A1 (en) Touch input system and input control method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100629

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100914

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100927

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4609557

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees