JP5750875B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP5750875B2
JP5750875B2 JP2010268479A JP2010268479A JP5750875B2 JP 5750875 B2 JP5750875 B2 JP 5750875B2 JP 2010268479 A JP2010268479 A JP 2010268479A JP 2010268479 A JP2010268479 A JP 2010268479A JP 5750875 B2 JP5750875 B2 JP 5750875B2
Authority
JP
Japan
Prior art keywords
cursor
pointer
pointers
gui object
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010268479A
Other languages
English (en)
Other versions
JP2012118796A (ja
Inventor
宏之 水沼
宏之 水沼
山本 一幸
一幸 山本
斉昭 佐藤
斉昭 佐藤
山野 郁男
郁男 山野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010268479A priority Critical patent/JP5750875B2/ja
Priority to US13/297,777 priority patent/US20120062603A1/en
Priority to CN201110378036.XA priority patent/CN102591564B/zh
Publication of JP2012118796A publication Critical patent/JP2012118796A/ja
Application granted granted Critical
Publication of JP5750875B2 publication Critical patent/JP5750875B2/ja
Priority to US15/260,204 priority patent/US11281324B2/en
Priority to US17/668,880 priority patent/US20220164059A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、マルチタッチ操作が可能な情報処理装置、情報処理方法及びプログラムに関する。
近年、マルチタッチ操作が可能な端末装置が種々知られている。例えば特許文献1に記載の携帯電子装置では、ユーザからのマルチタッチ操作により、表示画面に表示されたオブジェクトに対する拡大操作等が可能となる。(特許文献1の段落[0018]、図1等参照)。
特表2009−522669号公報
上記のようなマルチタッチ操作が可能な端末装置は今後も普及していくものと考えられ、マルチタッチ操作を行うユーザの操作性を向上させることが求められている。
以上のような事情に鑑み、本発明の目的は、操作性の高いマルチタッチ操作が可能となる情報処理措置、情報処理方法、及びプログラムを提供することにある。
上記目的を達成するため、本発明の一形態に係る情報処理装置は、第1の表示処理部と、第2の表示処理部と、入力部と、アクション実行部とを具備する。
前記第1の表示処理部は、画面に1以上のGUI(Graphical User Interface)オブジェクトを表示するためのものである。
前記第2の表示処理部は、前記画面に複数のカーソルポインタを表示するためのものである。
前記入力部は、前記表示された複数のカーソルポインタのそれぞれを制御する当該カーソルポインタ毎の操作を受け付ける。
前記アクション実行部は、前記入力部にて前記カーソルポインタ毎の操作が受け付けられたとき、前記カーソルポインタ毎の操作の組み合わせに対して予め割り当てられたアクションを前記GUIオブジェクトに対して実行する。
この情報処理装置では、入力部にてカーソルポインタ毎の操作が受け付けられる。そして当該カーソルポインタ毎の操作の組み合わせに対して予め割り当てられたアクションが、GUIオブジェクトに対して実行される。これにより各操作の組み合わせに対して割り当てられるアクションを適宜設定することで、操作性の高いマルチタッチ操作が可能となる。
前記アクション実行部は、少なくとも1つの前記カーソルポインタにより前記GUIオブジェクトが指定された状態での前記カーソルポインタ毎の操作が受け付けられたとき、前記指定されたGUIオブジェクトに対して、前記カーソルポインタ毎の操作の組み合わせに対して予め割り当てられたアクションを実行してもよい。
これにより当該GUIオブジェクトに対するアクションを操作性よく実行することが可能となる。
前記アクション実行部は、前記GUIオブジェクトが1つの前記カーソルポインタで指定された場合、前記GUIオブジェクトを指定する前記1つのカーソルポインタを第1のカーソルポインタ、他の前記カーソルポインタを第2のカーソルポインタとして、前記GUIオブジェクトの前記第2のカーソルポインタの位置への移動処理を前記アクションとして実行してもよい。
この情報処理装置では、第1のカーソルポインタによりGUIオブジェクトが指定され、第2のカーソルポインタにより移動先の位置が定められる。これによりGUIオブジェクトを操作性よく移動させることができる。
前記アクション実行部は前記GUIオブジェクトが1つの前記カーソルポインタで指定された場合、前記GUIオブジェクトを指定する前記1つのカーソルポインタを第1のカーソルポインタ、他の前記カーソルポインタを第2のカーソルポインタとして、前記第2のカーソルポインタの位置において前記GUIオブジェクトのコピーを作成するコピー処理を前記アクションとして実行してもよい。
この情報処理装置では、第1のカーソルポインタによりGUIオブジェクトが指定され、第2のカーソルポインタによりコピーされたGUIオブジェクトの表示位置が定められる。これによりGUIオブジェクトを操作性よくコピーすることができる。
前記アクション実行部は、前記GUIオブジェクトが2つの前記カーソルポインタで指定された場合、前記GUIオブジェクトを指定する前記2つのカーソルポインタを第1のカーソルポインタ及び第2のカーソルポインタとして、前記第1及び前記第2のカーソルポインタが互いに離れるように前記第2のカーソルポインタが移動するときに、前記GUIオブジェクトのコピー処理を前記アクションとして実行してもよい。
この情報処理装置では、GUIオブジェクトが第1及び第2のカーソルポインタにより指定される。その状態から第1及び第2のカーソルポインタが互いに離れるように第2のカーソルポインタが移動すると、GUIオブジェクトのコピー処理が実行される。これによりGUIオブジェクトを操作性よくコピーすることができる。
前記アクション実行部は、前記GUIオブジェクトを指定する前記第1及び前記第2のカーソルポインタが互いに離れるように前記第1及び前記第2のカーソルポインタがそれぞれ移動するときに、前記GUIオブジェクトの削除処理を前記アクションとして実行してもよい。
この情報処理装置では、GUIオブジェクトが第1及び第2のカーソルポインタにより指定される。その状態から第1及び第2のカーソルポインタが互いに離れるように第1及び第2のカーソルポインタがそれぞれ移動すると、GUIオブジェクトの削除処理が実行される。これによりGUIオブジェクトを操作性よく削除することができる。
前記アクション実行部は、前記GUIオブジェクトを指定する前記第1及び前記第2のカーソルポインタが互いに近づくように前記第1及び前記第2のカーソルポインタが相対的に移動するときに、前記GUIオブジェクトに関連するデータの圧縮処理を前記アクションとして実行してもよい。
この情報処理装置では、GUIオブジェクトが第1及び第2のカーソルポインタにより指定される。その状態から第1及び第2のカーソルポインタが互いに近づくように第1及び第2のカーソルポインタが相対的に移動すると、GUIオブジェクトに関連するデータの圧縮処理が実行される。これによりGUIオブジェクトに関連するデータを操作性よく圧縮することができる。
前記アクション実行部は、前記GUIオブジェクトを指定する前記第1のカーソルポインタを制御する所定の操作に対して第1のアクションを実行し、前記GUIオブジェクトを指定する前記第2のカーソルポインタを制御する前記所定の操作に対して前記第1のアクションと異なる第2のアクションを実行してもよい。
この情報処理装置では、GUIオブジェクトを指定する第1のカーソルポインタに対して所定の操作が入力されると第1のアクションが実行される。そしてGUIオブジェクトを指定する第2のカーソルポインタに対して同じ操作が入力されると、第1のアクションと異なる第2のアクションが実行される。すなわちカーソルポインタごとに所定の操作に対するアクションを適宜設定することが可能である。これにより操作性の高いマルチタッチ操作が可能となる。
前記アクション実行部は、前記GUIオブジェクトを指定する前記第1のカーソルポインタを制御する所定の操作に対して前記GUIオブジェクトに関連したウィンドウを前記画面に表示する表示処理を実行し、前記複数のカーソルポインタのうち2つの前記カーソルポインタの相対的な距離を変化させる操作に対してフォーカス状態となる前記ウィンドウを切り替える切替処理を前記アクションとして実行してもよい。
このように2つのカーソルポインタの相対的な距離を変化させる操作に対してウィンドウの切替処理が実行されてもよい。
前記アクション実行部は、前記複数のカーソルポインタのうち第1及び第2のカーソルポインタをそれぞれ移動させる操作が受け付けられたとき、前記第1及び前記第2のカーソルポインタの各始点及び各終点により囲まれた領域内に位置する前記GUIオブジェクトを指定する指定処理を前記アクションとして実行してもよい。
このように2つのカーソルポインタをそれぞれ移動させることで、2つのカーソルポインタの各始点と各終点とで囲まれた領域内に位置するGUIオブジェクトが指定されてもよい。これにより操作性よくGUIオブジェクトを指定することができる。
前記入力部は、前記カーソルポインタ毎の操作が入力される外部入力装置を介して、前記カーソルポインタ毎の操作を受け付けてもよい。このようにユーザの操作が外部入力装置に入力されてもよい。
本発明の一形態に係る情報処理方法は、情報処理装置により実行される以下の方法である。
すなわち、前記情報処理方法では、画面に1以上のGUIオブジェクトが表示される。
前記画面に複数のカーソルポインタが表示される。
前記表示された複数のカーソルポインタのそれぞれを制御する当該カーソルポインタ毎の操作が受け付けられる。
前記カーソルポインタ毎の操作が受け付けられたとき、前記カーソルポインタ毎の操作の組み合わせに対して予め割り当てられたアクションが前記GUIオブジェクトに対して実行される。
本発明の一形態に係るプログラムは、情報処理装置に、オブジェクト表示ステップと、ポインタ表示ステップと、受付ステップと、実行ステップとを実行させる。
前記オブジェクト表示ステップは、画面に1以上のGUIオブジェクトを表示する。
前記ポインタ表示ステップは、前記画面に複数のカーソルポインタを表示する。
前記受付ステップは、前記表示された複数のカーソルポインタのそれぞれを制御する当該カーソルポインタ毎の操作を受け付ける。
前記実行ステップは、前記カーソルポインタ毎の操作が受け付けられたとき、前記カーソルポインタ毎の操作の組み合わせに対して予め割り当てられたアクションを前記GUIオブジェクトに対して実行する。
前記プログラムは、記録媒体に記録されていてもよい。
以上のように、本発明によれば、操作性の高いマルチタッチ操作が可能となる。
本発明の一実施形態に係る情報処理装置の外観を模式的に示す図である。 図1に示す情報処理装置の構成例を示すブロック図である。 図1に示す情報処理装置と、これに接続された表示装置とを模式的に示す図である。 図1に示す情報処理装置の動作を示すフローチャートである。 図3に示す操作子とカーソルポインタとの対応関係を定める方法の一例を説明するための図である。 左ポインタ及び右ポインタを制御するためのタッチ操作、及び当該タッチ操作に割り当てられたアクションの例を説明するための図である。 左ポインタ及び右ポインタを制御するためのタッチ操作、及び当該タッチ操作に割り当てられたアクションの例を説明するための図である。 左ポインタ及び右ポインタを制御するためのタッチ操作、及び当該タッチ操作に割り当てられたアクションの例を説明するための図である。 左ポインタ及び右ポインタを制御するためのタッチ操作、及び当該タッチ操作に割り当てられたアクションの例を説明するための図である。 左ポインタ及び右ポインタを制御するためのタッチ操作、及び当該タッチ操作に割り当てられたアクションの例を説明するための図である。 左ポインタ及び右ポインタを制御するためのタッチ操作、及び当該タッチ操作に割り当てられたアクションの例を説明するための図である。 左ポインタ及び右ポインタを制御するためのタッチ操作、及び当該タッチ操作に割り当てられたアクションの例を説明するための図である。 左ポインタ及び右ポインタを制御するためのタッチ操作、及び当該タッチ操作に割り当てられたアクションの例を説明するための図である。 図1に示す情報処理装置の変形例を示す模式的な図である。 図1に示す情報処理装置の変形例を示す模式的な図である。 本発明の実施形態についての変形例を模式的に示す図である。 図1に示す情報処理装置の他の例を示す模式的な図である。
以下、図面を参照しながら、本発明の実施形態を説明する。
[情報処理装置]
図1は、本発明の一実施形態に係る情報処理装置の外観を模式的に示す図である。図2は、図1に示す情報処理装置の構成例を示すブロック図である。
情報処理装置100は、ユーザ30に保持される筐体1と、筐体1の前面に設けられたタッチ操作入力部としてのタッチパッド2とを有する。本実施形態に係るタッチパッド2は、1以上の操作子3による、複数の種類のマルチタッチ操作を受け付けることが可能である。
筐体1は、例えばアルミニウムやステンレス等の金属、プラスチック、その他各種の材料からなる。筐体1のサイズは、ユーザ30が携帯可能なサイズである。例えば図1で見てすなわちユーザ30から見て、縦のサイズが約15cm、横のサイズが約10cm、そして厚みが約1cm等である。しかしながら筐体1のサイズは適宜設定可能である。例えば図17に示すように、縦及び横のサイズがそれぞれ30cm以上の筐体1を有する情報処理装置100が、机上に載置された状態で使用されてもよい。
図1に示すように、本実施形態では、タッチパッド2に対してタッチ操作を行う複数の操作子3として、ユーザ30の各親指が用いられる。しかしながら他の指が用いられてもよい(図17参照)。また操作子3として、スタイラスペン等が用いられてもよい。
図2に示すように、本実施形態に係るタッチパッド2は位置検出部101と圧力センサ102とを有する。位置検出部101は、図示しないセンサ部及び演算回路部とを有する。操作子3がタッチパッド2に近接又は接触すると、センサ部から演算回路部に近接信号又は接触信号がそれぞれ出力される。演算回路部により、出力された近接信号又は接触信号に基づいて、例えば操作子3の近接位置又は接触位置の情報が生成される。又は操作子3の移動方向、移動量、移動速度、又は加速度の情報等が生成されてもよい。その他、操作子3の接触面積の情報や接触角度の情報等が生成されてもよい。
この説明においてタッチ操作とは、操作子3がタッチパッド2に接触又は近接することで行われる種々のタッチ操作をいう。また、接触位置及び近接位置をまとめて操作子3のタッチ位置という。
上記したように本実施形態に係るタッチパッド2は、いわゆるマルチタッチ方式のタッチパッドである。従って複数の操作子3によるタッチパッド2へのタッチ操作を検出することが可能である。例えばユーザ30は、2つの指を用いてピンチ操作を行うことが可能である。ピンチ操作とは、例えば2本の指等を同時にタッチパッド2上に接触させて、当該2本の指等を開いたり、閉じたりする動作である。この場合、接触させた2本の指等を開く操作をピンチアウト操作、2本の指等を閉じる操作をピンチイン操作と呼ぶ。
圧力センサ102は、操作子3のタッチパッド2への押圧の有無を検出するためのものである。例えば圧力センサ102により所定の大きさ以上の押圧力が検出されたときに、タッチパッド2への押圧が有ったと判定される。圧力センサ102を用いた圧力の有無の判定方法、圧力センサ102の構造、または押圧力の検出方法等は適宜設定可能である。
本実施形態では、静電容量方式のタッチパッド2が用いられる。しかしながら、抵抗膜方式、表面弾性波方式、又は赤外線方式等の、他の方式のタッチパッドが用いられてもよい。
また図2に示すように情報処理装置100は、CPU(Central Processing Unit)103と、RAM(Random Access Memory)104と、記憶部105と、表示インターフェース部106とを有する。
記憶部105は、不揮発性の記憶デバイスであり、例えばHDD(Hard Disk Drive)、フラッシュメモリ、その他の固体メモリである。RAM104及び記憶部105の一部又は全部が、本実施形態に係る記憶手段に相当する。あるいは情報処理装置100が図示しないROM(Read Only Memory)を有しており、当該ROMを含めて記憶手段が構成されてもよい。
表示インターフェース部106は、情報処理装置100を、表示画面41を有する表示装置40(図3参照)に接続するためのものである。表示インターフェース部106を介して、静止画または動画等の画像データや、表示装置40の動作を制御する制御信号等が出力される。画像データや制御信号等は、無線または有線により表示装置40へ出力される。
情報処理装置100に、図示しないドライブ部や通信部が設けられてもよい。ドライブ部は、例えば光学記録媒体、フロッピー(登録商標)ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体を駆動することが可能なデバイスである。
通信部は、LAN(Local Area Network)、WAN(Wide Area Network)等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部は、有線及び無線のどちらを利用して通信するものであってもよい。
情報処理装置100によるデータ処理は、記憶部105等に記憶されたソフトウェアと、情報処理装置100のハードウェア資源との協働により実現される。具体的には、CPU103が記憶部105等に記憶された、ソフトウェアを構成するプログラムをRAM104にロードして実行することにより、各種のデータ処理が実現される。本実施形態では、CPU103は、第1の表示処理部、第2の表示処理部、及びアクション実行部として機能する。なおRAM104は、図示しない画像表示用のビデオRAM(VRAM)を含んでもよい。
図3は、情報処理装置100と、これに接続された表示装置40とを模式的に示す図である。図3に示すように、複数のカーソルポインタ43が表示画面41に表示される。複数のカーソルポインタ43は、第2の表示処理部としてのCPU103により、カーソルポインタ43の表示信号が表示装置40に出力されることで表示される。
本実施形態では、表示画面41にカーソルポインタ43a及びカーソルポインタ43bが表示される。カーソルポインタ43aは、主に、例えば左手の指等である左操作子3aにより操作される。またカーソルポインタ43bは、主に、例えば右手の指等である右操作子3bにより操作される。すなわち、これら2つのカーソルポインタ43a及び43bのそれぞれを制御する各カーソルポインタ毎の操作が、左操作子3a及び右操作子3bによりタッチパッド2にそれぞれ入力される。以下、カーソルポインタ43aを左ポインタ43aと記載し、カーソルポインタ43bを右ポインタ43bと記載する。
図3に示すように、左ポインタ43a及び右ポインタ43bは、色を区別することにより各ポインタが識別可能なように表示されている。これによりポインタ43a及び43bを操作性よく操作することができる。ポインタ43a及び43bをそれぞれ識別可能とするために、ポインタ43a及び43bの形状や大きさ等が適宜設定されてもよい。一方ポインタ43a及び43bが識別できない形態で表示されてもよい。
本実施形態では、タッチパッド2の中央Oを基準とした座標系が設定されている。その座標系における各操作子3a及び3bの位置座標の情報を含む絶対座標情報が表示装置40に出力される。表示装置40では、表示画面41の中央O’を基準とした座標系が設定されている。その座標系において、情報処理装置100から受信した絶対座標情報に基づいて、操作子3のタッチ位置5a及び5bに対応する位置にポインタ43a及び43bが表示される。タッチパッド2及び表示画面41にそれぞれ設定される座標系は適宜設定されてよい。
[情報処理装置の動作]
本実施形態の情報処理装置100の動作について説明する。図4は、その動作を示すフローチャートである。
操作子3によるタッチパッド2への、初期入力動作としての接触又は近接の検出の有無が判定される(ステップ101)。タッチパッド2への接触等が検出された場合(ステップ101のYes)、操作子3と、表示画面41に表示されたカーソルポインタ43との対応関係が定められる。
図5は、操作子3とカーソルポインタ43との対応関係を定める方法の一例を説明するための図である。本実施形態では、タッチパッド2に対する操作子3のタッチ位置5をもとに上記対応関係が定められる。
例えば図5に示すように、タッチパッド2が左領域2a及び右領域2bに区分けされている。操作子3のタッチ位置5が左領域2a内である場合、当該操作子3と左ポインタ43aとが対応付けられる。従って当該操作子3は左操作子3aとして機能することになる。左ポインタ43aは、左操作子3aのタッチ位置5に対応する表示画面41上の位置に表示される。操作子3のタッチ位置5が右領域2b内であった場合、当該操作子3と右ポインタ43bとが対応付けられる。
左操作子3aと左ポインタ43aとが対応付けられた後に、タッチパッド2への他の操作子3による接触等が検出される。この場合、他の操作子3のタッチ位置5にかかわらず、当該操作子3と右ポインタ43bとが対応付けられる。当該操作子3は、右操作子3bとして機能することになる。右ポインタ43bは、右操作子3bのタッチ位置5に対応する表示画面41上の位置に表示される。
このように本実施形態では、タッチパッド2が左領域2a及び右領域2bに分けられる。左領域2aへの初期入力動作に対して左ポインタ43aが対応付けられ、右領域2bへの初期入力動作に対して右ポインタ43bが対応付けられる。これによりユーザ30にとって直感的な操作が可能となる。なお操作子3のタッチ位置5と、各ポインタ43a又は43bとの対応関係については、上記したものに限られず適宜設定可能である。またタッチパッド2を区分けする領域の設定方法も適宜設定可能である。
2つの操作子3により略同時に初期入力動作が入力された場合、例えば以下のようにして対応関係が定められる。例えば一方の操作子3により左領域2aに初期入力動作が入力され、他方の操作子3により右領域2bに初期入力動作が入力される。この場合、左領域2aの操作子3と左ポインタ43aとが対応付けられ、右領域2bの操作子3と右ポインタ43bとが対応付けられる。
左領域2a又は右領域2bのいずれかの領域内にて、2つの操作子3により略同時に初期入力動作が入力される。この場合、例えばタッチパッド2の左側に最も近い操作子3と左ポインタ43aとが対応付けられる。そして他の操作子3と右ポインタ43bとが対応付けられる。
操作子3とポインタ43との対応関係は、初期入力動作が入力された順番に基づいて定められてもよい。例えばタッチパッド2に最初に初期入力動作を入力した操作子3と左ポインタ43aとが対応付けられる等である。その他、操作子3とポインタ43との対応関係を定める方法は適宜設定可能である。
表示画面41に表示された左ポインタ43a及び右ポインタ43bをそれぞれ制御するためのタッチ操作が受け付けられたか否かが判定される(ステップ103)。各ポインタ43a又は43b毎のタッチ操作が受け付けられたと判定された場合(ステップ103のYes)、タッチ操作の組み合わせに対して割り当てられたアクションが実行される(ステップ104)。
図6〜図13は、左ポインタ43a及び右ポインタ43bをそれぞれ制御するタッチ操作、及び当該タッチ操作の組み合わせに割り当てられたアクションの例を説明するための図である。
図6(A)に示すように、表示画面41にGUIオブジェクトとしてのアイコン47が表示されている。アイコン47は、第1の表示処理部としてのCPU103により、アイコン47の表示信号が表示装置40に出力されることで表示される。また表示画面41には、アイコン47を格納するフォルダAのウィンドウ44aと、他のフォルダBのウィンドウ44bとがそれぞれ表示されている。
アイコン47は、第1のポインタとしての左ポインタ43aにより指定されている。このとき、左ポインタ43aによりアイコン47が指定されたことを表現するために、アイコン47に枠や色等が付されてもよい。図6(A)に示すように、第2のポインタとしての右ポインタ43bは、フォルダBのウィンドウ44b内に位置している。
この状態で、左操作子3a及び右操作子3bにより略同時にクリック操作が行われる。そうすると当該各クリック操作の組み合わせに割り当てられたアクションとして、アイコン47の右ポインタ43bの位置への移動処理が実行される。これにより瞬間的なドラッグ&ドロップ操作が実現される。なお、クリック操作に代えて、ダブルクリック操作等の他のタッチ操作が入力され、アイコン47の移動処理が実行されてもよい。
図6(B)に示すように、左操作子3a及び右操作子3bによるクリック操作に割り当てられたアクションとして、アイコン47のコピー処理が実現されてもよい。右ポインタ43bの位置において、すなわちフォルダB内において、アイコン47のコピー47’が作成される。または左操作子3a及び右操作子3bによるクリック操作に、図6(A)に示す移動処理が割り当てられる。そして左操作子3a及び右操作子3bによるダブルクリック操作に、図6(B)に示すコピー処理が割り当てられてもよい。
左操作子3a及び右操作子3bによりクリック操作が行われるたびに、表示画面41に、移動処理又はコピー処理をそれぞれ示すインジケーションが交互に表示されてもよい。そして操作子3a及び3bがタッチパッド2から離されることで、その時点で表示されていた処理がアクションとして実行されてもよい。
図6(A)及び(B)に示すように、左ポインタ43aによりアイコン47が指定される。そして右ポインタ43bにより移動先の位置が定められることで、アイコン47を操作性よく移動させることができる。また右ポインタ43bによりコピー47’の表示位置が定められることで、アイコン47を操作性よくコピーすることができる。
なお右ポインタ43bによりアイコン47が指定されてもよい。そして左ポインタ43aにより、アイコン47の移動先の位置又はコピー47’の表示位置が定められてもよい。また図6(A)及び(B)では、アイコン47はフォルダAに格納されており、右ポインタ43bはフォルダBのウィンドウ44b内に位置している。しかしながらアイコン47がデスクトップ上に格納されていてもよい。また右ポインタ43bがデスクトップ上に位置してもよい。これらの場合でも、上記で説明したのと同様に移動処理又はコピー処理が実行される。
図7(A)に示すように、表示画面41にアイコン47が表示されている。アイコン47は、第1のカーソルポインタとしての左ポインタ43aと、第2のカーソルポインタとしての右ポインタ43bとにより指定されている。
この状態で、左操作子3a及び右操作子3bを押し込んだまま、両操作子3a及び3bの相対的な距離が大きくなるように、右操作子3bを移動させる。従って表示画面41上では、左ポインタ43a及び右ポインタ43bが互いに離れるように、右ポインタ43bが移動する。このときに上記タッチ操作の組み合わせに割り当てられたアクションとして、アイコン47のコピー処理が実行される。
図7(A)に示すように、作成されたコピー47’は、右ポインタ43bに伴って移動する。そして両操作子3a及び3bの押し込みが解除されたときに、コピー47’の移動が終了する。
図7(B)に示すように、左ポインタ43a及び右ポインタ43bにより複数のアイコン47a〜47cがまとめて指定される。そして右ポインタ43bを移動させることで、複数のアイコン47a〜47cに対してまとめてコピー処理が実行されてもよい。なお図7(A)及び(B)では、右ポインタ43bが移動するときにコピー処理が実行される。しかしながら、左ポインタ43aが移動するときにコピー処理が実行されてもよい。
図8に示すように、左ポインタ43a及び右ポインタ43bによりアイコン47が指定されている。この状態で、両操作子3a及び3bを押し込んだまま、両操作子3a及び3bの相対的な距離が大きくなるように、両操作子3a及び3bをそれぞれ移動させる。従って表示画面41上では、左ポインタ43a及び右ポインタ43bが互いに離れるように、左ポインタ43a及び右ポインタ43bがそれぞれ移動する。このときにアイコン47の削除処理が、割り当てられたアクションとして実行される。
本実施形態では、表示画面41にアイコン47が2つに分割された画像48が表示される。これにより削除処理が実行されたことが視覚的に判別可能となっている。なお両操作子3a及び3bを押し込んだままの状態で、一度移動した両操作子3a及び3bが元の位置に戻される。すなわち両ポインタ43a及び43bが再び元の位置に戻された場合、削除処理の実行がキャンセルされてもよい。
図7(B)に示すように左ポインタ43a及び右ポインタ43bにより複数のアイコン47a〜47cがまとめて指定される。この状態で両ポインタ43a及び43bをそれぞれ移動させる。これにより複数のアイコン47a〜47cに対してまとめて削除処理が実行されてもよい。
表示画面41の左右方向において両ポインタ43a及び43bが互いに離れるように、両ポインタ43a及び43bがそれぞれ移動する。このときに図7に示すコピー処理が実行されてもよい。そして表示画面41の上下方向において両ポインタ43a及び43bが互いに離れるように、両ポインタ43a及び43bがそれぞれ移動する。このときに図8に示す削除処理が実行されてもよい。
図7及び図8に示すように、アイコン47が左ポインタ43a及び右ポインタ43bにより指定される。その状態から両ポインタ43a及び43bが互いに離れるように右ポインタ43bが移動すると、アイコン47のコピー処理が実行される。これによりアイコン47を操作性よくコピーすることができる。また両ポインタ43a及び43bが互いに離れるように両ポインタ43a及びポインタ43bがそれぞれ移動すると、アイコン47の削除処理が実行される。これによりアイコン47を操作性よく削除することができる。
図9に示すように、表示画面41に画像ファイルのアイコン47が表示されている。アイコン47は、第1のカーソルポインタとしての左ポインタ43aにより指定されている。またアイコン47は、第2のカーソルポインタとしての右ポインタ43bにより指定されている。
この状態で、左操作子3a及び右操作子3bを押し込んだまま、両操作子3a及び3bの相対的な距離が小さくなるように、両操作子3a及び3bを相対的に移動させる。一方の操作子3a又は3bを移動させてもよいし、両操作子3a及び3bをそれぞれ移動させてもよい。表示画面41上では、左ポインタ43a及び右ポインタ43bが互いに近づくように、両ポインタ43a及び43bが相対的に移動する。このときに、アイコン47に関連するデータである画像ファイルの圧縮処理がアクションとして実行される。
圧縮される画像ファイルの圧縮率は、両ポインタ43a及び43bの相対的な距離の変化量に依存して定められてもよい。例えば両ポインタ43a及び43bが相対的に近づくほど圧縮率が高くなるように設定されてもよい。あるいは両ポインタ43a及び43bが相対的に移動したときに、予め定められた圧縮率により画像ファイルが圧縮されてもよい。
圧縮されるデータは画像ファイルに限られず、動画ファイルや音声ファイル等でもよい。また圧縮方法等は適宜設定可能である。図14(A)に示すように、圧縮された画像ファイルのアイコン47"は、圧縮される前の画像ファイルのアイコン47よりも面積が小さく表示されている。これによりユーザ30は、圧縮処理が実行されたことを視覚的に判別することが可能となり、直感的な操作が可能となる。
図9に示すように、アイコン47が左ポインタ43a及び右ポインタ43bにより指定される。その状態から両ポインタ43a及び43bが互いに近づくように両ポインタ43a及びポインタ43bが相対的に移動すると、アイコン47に関連するデータの圧縮処理が実行される。これによりアイコン47に関連するデータを操作性よく圧縮することができる。
図10に示すように表示画面41に画像ファイルのアイコン47が表示されている。アイコン47は、第1のカーソルポインタとしての左ポインタ43aにより指定されている。この状態で、左操作子3aによりクリック操作が行われる。そうすると当該クリック操作に割り当てられた第1のアクションとして、画像ファイルの再生処理が実行される。図10に示すように、表示画面41に画像45が表示される。
図10に示すようにアイコン47は、第2のカーソルポインタとしての右ポインタ43bにより指定されている。この状態で、右操作子3bによりクリック操作が行われる。そうすると当該クリック操作に割り当てられた第2のアクションとして、アイコン47に関連するコンテキストメニュー46が表示される。コンテキストメニュー46は、画像ファイルに対して実行される種々の処理を表示するものである。例えばコンテキストメニュー46により、再生処理、印刷処理、コピー処理、切り取り処理又は削除処理等が表示される。
図10では、アイコン47が左ポインタ43a及び右ポインタ43bにより指定されている状態が図示されている。しかしながら左ポインタ43a又は右ポインタ43bにより、個別にアイコン47が指定されてもよい。そして各操作子3a又は3bによりクリック操作が行われてもよい。
図10に示すように、アイコン47を指定する左ポインタ43aに対する所定の操作としてクリック操作が入力されると、画像ファイルの再生処理が実行される。そしてアイコン47を指定する右ポインタ43bに対して同じクリック操作が入力されると、再生処理と異なるコンテキストメニュー46の表示処理が実行される。すなわち各ポインタ43a又は43bごとに、所定の操作に対するアクションを適宜設定することが可能である。これにより操作性の高いマルチタッチ操作が可能となる。また同じ操作に対して異なる処理を実行させることができるので、複雑な操作を要せずとも種々の処理をそれぞれ実行させることができる。
左ポインタ43a又は右ポインタ43bに対する所定の操作としては、例えばクリック操作、ダブルクリック操作、タップ操作、ドラッグ操作等種々のタッチ操作がある。操作に割り当てられるアクションとしては、例えば表示画面41に表示されたオブジェクトの指定、移動、拡大、縮小、回転又は削除、オブジェクトに関連したデータの再生等、表示画面41に表示される種々のGUIに対する種々の処理がある。
左操作子3a又は右操作子3bのいずれか一方のみを用いた操作は、他方の操作子による非操作との組み合わせとして分類されてよい。
図11に示すように、表示画面41にウィンドウAが表示されている。ウィンドウAは、例えばフォルダのウィンドウ、メール作成や文書作成等のためのアプリケーションのウィンドウ、あるいはウェブブラウザのウィンドウ等である。
本実施形態では、上記フォルダやアプリケーション等のアイコンが左ポインタ43a又は右ポインタ43bにより指定される。そして各操作子3a又は3bによりクリック操作等の所定の操作が行われる。そうすると図10に示すように、当該クリック操作に割り当てられたアクションとしてウィンドウAの表示処理が実行される。
この状態で、表示画面41の左右方向において、左ポインタ43aと右ポインタ43bとの相対的な距離を小さくするように、両操作子3a及び3bが操作される。そして表示画面41の左右方向において両ポインタ43a及び43bが略等しい位置になった後も、両ポインタ43a及び43bを同じ方向にそれぞれ移動させる。すなわち表示画面41の左右方向において、左ポインタ43aと右ポインタ43bとを交差させるように、操作子3a及び3bが操作される。
図11に示すように、両ポインタ43a及び43bが交差した後に、両ポインタ43a及び43bの相対的な距離が距離L以上になるまで、両操作子3a及び3bが操作される。そうするとフォーカス状態となるウィンドウを切り替えるウィンドウの切替処理が、割り当てられたアクションとして実行される。これにより図11に示すように、フォーカス状態となるウィンドウがウィンドウAからウィンドウBに切り替えられる。
このように左ポインタ43a及び右ポインタ43bの相対的な距離を変化させる操作に対してウィンドウの切替処理が実行されてもよい。左ポインタ43a及び右ポインタ43bを交差させる操作は、物理的な紙等をめくる動作を想定して設定されている。すなわちユーザは、直感的な操作によりウィンドウの切替処理を実行させることができる。なお表示画面41の上下方向における両ポインタ43a及び43bの相対的な距離を変化させる操作に対してウィンドウの切替処理が実行されてもよい。
図12に示すように、表示画面41に複数のアイコン47a〜47cが表示されている。この状態で、左ポインタ43a及び右ポインタ43bをそれぞれ移動させるための操作が入力される。そうすると複数のアイコン47a〜47cのうち、所定のアイコン47a及び47bをまとめて指定する指定処理が、上記タッチ操作の組み合わせに割り当てられたアクションとして実行される。
図12(A)では、左ポインタ43aの始点49a及び終点50aの各位置と、右ポインタ43bの始点49b及び終点50bの各位置とがそれぞれ算出される。そして4つの点を結ぶ直線51により囲まれる指定領域52が定められる。この指定領域52内に位置するアイコン47a及び47bが指定される。これにより例えば1つのポインタで指定領域を設定する場合と比べて、容易に操作性よく大きな範囲を指定領域52として設定することができる。
図12(B)では、各ポインタ43a及び43bの移動の軌跡を表す位置情報が算出される。そして始点49a及び49b同士を結ぶ直線51と、終点50a及び50b同士を結ぶ直線51と、各ポインタ43a及び43bの軌跡を表す曲線53とにより指定領域52’が設定される。この指定領域52’内に位置するアイコン47a及び47bが指定される。これにより表示画面41に表示された複数のアイコン47a〜47cの各位置に応じて、所定のアイコン47a及び47bを操作性よく指定することができる。
なお、指定領域52又は52’内のアイコン47a及び47bのうち、指定されるアイコンがさらに選択されてもよい。例えば指定領域52又は52’が定められる前又は後に、指定されるアイコンの属性情報が設定されてもよい。そして当該属性情報を有するアイコンのみが指定されるアイコンとして選択されてもよい。指定領域52又は52’が定められる前又は後に、左ポインタ43a又は右ポインタ43bにより所定のアイコンが選択される。そして選択されたアイコンと同じ属性情報を有するアイコンのみが指定されてもよい。
図12に示すように、左ポインタ43a及び右ポインタ43bをそれぞれ移動させることで、2つのポインタ43a及び43bの各始点と各終点とで囲まれた指定領域52(52’)内に位置するアイコン47a及び47bが指定されてもよい。これにより操作性よくアイコン47a及び47bを指定することができる。
図13に示すように、左ポインタ43a及び右ポインタ43bにより指定領域52が定められ、画像ファイルのアイコン47が指定される。そして両ポインタ43a及び43bの各終点50a及び50bの位置から、両ポインタ43a及び43bが相互に近付けられる。このときに画像ファイルの圧縮処理が、割り当てられたアクションとして実行されてもよい。これにより圧縮率が両ポインタ43a及び43bの相対的な距離の変化量に依存して定められる場合において、当該変化量を容易に調節することができる。
以上、本実施形態に係る情報処理装置100は、タッチパッド2にて左ポインタ43a又は右ポインタ43b毎の操作が受け付けられる。そして当該ポインタ43a又は43b毎の操作の組み合わせに対して予め割り当てられたアクションが、アイコン47に対して実行される。これにより各操作の組み合わせに対して割り当てられるアクションを適宜設定することで、操作性の高いマルチタッチ操作が可能となる。
また本実施形態に係る情報処理装置100では、図6〜図11に示すような処理が可能である。すなわち、少なくとも1つのポインタによりアイコン47が指定される。その状態でのポインタ43a又は43b毎の操作が受け付けられたとき、指定されたアイコン47に対して、当該操作の組み合わせに対して予め割り当てられたアクションが実行される。これによりアイコン47に対するアクションを操作性よく実行することが可能となる。
両ポインタ43a又は43b毎のタッチ操作として、図6〜図13に示したタッチ操作以外の操作が入力されてもよい。またポインタ毎のタッチ操作の組み合わせに割り当てられたアクションとして、上記で説明したもの以外のアクションが実行されてもよい。
<変形例>
本発明に係る実施形態は、以上説明した実施形態に限定されず種々変形される。
図14及び図15は、図1に示す情報処理装置100の変形例を示す模式的な図である。図14(A)に示すように、情報処理装置300は、タッチパッド302と、上下左右キー310と、操作ボタン320とを有する。このように情報処理装置300に、操作ボタン320等が設けられてもよい。
図14(B)に示すように、情報処理装置400は、タッチパッド402aとタッチパッド402bとを有する。タッチパッド402aは、左操作子によるタッチ操作のために用いられる。タッチパッド402bは、右操作子によるタッチ操作のために用いられる。このように各操作子用の複数のタッチパッドが設けられることで、操作子とポインタとの対応関係を容易に定めることができる。従って各ポインタを制御するための操作を直感的に操作性よく行うことができる。またいわゆる相対座標系が用いられる場合に、各ポインタの操作性が高く維持される。相対座標系においては、各操作子の移動方向及び移動量の情報である相対座標情報に基づいて各ポインタが操作される。
図15(A)及び(B)に示すように、本発明の実施形態に係る情報処理装置500及び600として、表示画面541及び641を備えるものが用いられてもよい。情報処理装置500及び600は、典型的には、ユーザが携帯可能なサイズで製造される。
上記の実施形態では、タッチ操作入力部としてのタッチパッドと、CPU等が一体として設けられていた。しかしながらCPUを有する本体と、タッチパッドを有する入力コントローラが別個に設けられてもよい。すなわち例えば図1に示す情報処理装置100の外観と略等しい外観を有するリモートコントローラと、当該コントローラと別個に設けられたCPUを有する本体とで、本発明の実施形態に係る情報処理装置が構成されてもよい。
また本実施形態に係る情報処理装置として、タッチパッドを有さないものが用いられてもよい。この場合、当該情報処理装置には、外部入力装置としてのタッチパッドが有線又は無線を介して接続される。そしてこの外部入力装置としてのタッチバッドから出力される接触信号等が受信される。すなわち本実施形態に係る情報処理装置として、外部入力装置を介してポインタ毎のタッチ操作を受け付ける構造を有するものが用いられてもよい。この場合、外部入力装置との接続のために設けられるインターフェース等がタッチ操作入力部として機能することになる。
上記ではタッチ操作入力部としてのタッチパッドが圧力センサを有していた。しかしながらタッチパッドが圧力センサを有しておらず、操作子の押圧動作を検出しない構成であってもよい。この場合、操作子の接触及び離間の操作に基づいて、種々の処理が実行されればよい。
上記では、複数の操作子として、左操作子及び右操作子の2つの操作子が例示されている。しかしながら2つ以上の操作子によりタッチパッドにタッチ操作が入力されてもよい。
上記では、絶対座標系において、各操作子により各カーソルポインタが制御される。しかしながら相対座標系が用いられてもよい。またタッチパッド2への接触又は近接が所定の時間検出されない場合、カーソルポインタが非表示になってもよい。
上記では、操作子のタッチ位置や、タッチ操作が入力される順番に基づいて、操作子とカーソルポインタとの対応関係が定められた。その他、操作子がタッチパッドに接触するときの接触角度に基づいて対応関係が定められてもよい。例えば操作子の接触領域を検出し、その領域の形状又は形状の変化等から接触角度が算出される。接触角度の算出方法は、適宜設定可能である。
図1に示すタッチパッド2において、左側から右上に向かう方向で移動するように、操作子がタッチパッド2に接触する。この場合、当該操作子と左ポインタとを対応付ける。タッチパッド2の右側から左上に向かう方向で移動するように、操作子がタッチパッド2に接触する。この場合、当該操作子と右ポインタとを対応付ける。これにより主に左手の操作に対して左ポインタが対応付けられ、右手の操作に対して右ポインタが対応付けられる。この結果、直感的な操作が可能となる。
図1は、本発明の実施形態についての変形例を模式的に示す図である。図16に示す情報処理装置700は、1以上の操作子によるタッチ操作を受け付けることが可能なタッチ操作入力部として、マルチタッチ方式のタッチパネル750を有する。従って表示画面741にポインタを表示させなくともよい。ユーザ730は複数の操作子703a及び703bにより表示画面741にタッチ操作を入力する。そうすると表示画面741に表示されたアイコン744に対して、当該タッチ操作に割り当てられたアクションが実行される。これにより操作性のよいマルチタッチ操作が可能となる。

A、B…ウィンドウ
2、302、402a、402b…タッチパッド
41、541、641、741…表示画面
43…カーソルポインタ
43a…左ポインタ
43b…右ポインタ
47、47a〜47c、747…アイコン
47’…コピー
49a、49b…始点
50a、50b…終点
52…指定領域
100、300、400、500、600、700…情報処理装置
103…CPU
750…タッチパネル

Claims (10)

  1. 画面に1以上のGUI(Graphical User Interface)オブジェクトを表示するための第1の表示処理部と、
    前記画面に複数のカーソルポインタを表示するための第2の表示処理部と、
    前記表示された複数のカーソルポインタのそれぞれを制御する当該カーソルポインタ毎のタッチ操作を受け付けるタッチ操作入力部と、
    前記タッチ操作入力部にて前記カーソルポインタ毎のタッチ操作が受け付けられたとき、前記カーソルポインタ毎のタッチ操作の組み合わせに対して予め割り当てられたアクションを前記GUIオブジェクトに対して実行するアクション実行部と
    を具備し、
    前記アクション実行部は、前記GUIオブジェクトが2つの前記カーソルポインタで指定された場合、前記GUIオブジェクトを指定する前記2つのカーソルポインタが互いに離れるように相対的に移動するときに、前記GUIオブジェクトの削除処理を前記アクションとして実行する
    情報処理装置。
  2. 画面に1以上のGUIオブジェクトを表示するための第1の表示処理部と、
    前記画面に複数のカーソルポインタを表示するための第2の表示処理部と、
    前記表示された複数のカーソルポインタのそれぞれを制御する当該カーソルポインタ毎のタッチ操作を受け付けるタッチ操作入力部と、
    前記タッチ操作入力部にて前記カーソルポインタ毎のタッチ操作が受け付けられたとき、前記カーソルポインタ毎のタッチ操作の組み合わせに対して予め割り当てられたアクションを前記GUIオブジェクトに対して実行するアクション実行部と
    を具備し、
    前記アクション実行部は、前記GUIオブジェクトが2つの前記カーソルポインタで指定された場合、前記GUIオブジェクトを指定する前記2つのカーソルポインタが互いに近づくように相対的に移動するときに、前記GUIオブジェクトに関連するデータの圧縮処理を前記アクションとして実行する
    情報処理装置。
  3. 画面に1以上のGUIオブジェクトを表示するための第1の表示処理部と、
    前記画面に複数のカーソルポインタを表示するための第2の表示処理部と、
    前記表示された複数のカーソルポインタのそれぞれを制御する当該カーソルポインタ毎のタッチ操作を受け付けるタッチ操作入力部と、
    前記タッチ操作入力部にて前記カーソルポインタ毎のタッチ操作が受け付けられたとき、前記カーソルポインタ毎のタッチ操作の組み合わせに対して予め割り当てられたアクションを前記GUIオブジェクトに対して実行するアクション実行部と
    を具備し、
    前記アクション実行部は、前記GUIオブジェクトを指定する前記カーソルポインタを制御する所定の操作に対して前記GUIオブジェクトに関連したウィンドウを前記画面に表示する表示処理を前記アクションとして実行し、また前記複数のカーソルポインタのうち2つの前記カーソルポインタの相対的な距離を変化させる操作に対してフォーカス状態となる前記ウィンドウを切り替える切替処理を前記アクションとして実行する
    情報処理装置。
  4. 請求項1からのうちいずれか1項に記載の情報処理装置であって、
    前記タッチ操作入力部は、前記カーソルポインタ毎のタッチ操作が入力される外部入力装置を介して、前記カーソルポインタ毎のタッチ操作を受け付ける
    情報処理装置。
  5. 情報処理装置により実行される情報処理方法であって、
    画面に1以上のGUIオブジェクトを表示し、
    前記画面に複数のカーソルポインタを表示し、
    前記表示された複数のカーソルポインタのそれぞれを制御する当該カーソルポインタ毎のタッチ操作を受け付け、
    前記カーソルポインタ毎のタッチ操作が受け付けられたとき、前記カーソルポインタ毎のタッチ操作の組み合わせに対して予め割り当てられたアクションを前記GUIオブジェクトに対して実行可能であり、前記GUIオブジェクトが2つの前記カーソルポインタで指定された場合、前記GUIオブジェクトを指定する前記2つのカーソルポインタが互いに離れるように相対的に移動するときに、前記GUIオブジェクトの削除処理を前記アクションとして実行する
    情報処理方法。
  6. 情報処理装置により実行される情報処理方法であって、
    画面に1以上のGUIオブジェクトを表示し、
    前記画面に複数のカーソルポインタを表示し、
    前記表示された複数のカーソルポインタのそれぞれを制御する当該カーソルポインタ毎のタッチ操作を受け付け、
    前記カーソルポインタ毎のタッチ操作が受け付けられたとき、前記カーソルポインタ毎のタッチ操作の組み合わせに対して予め割り当てられたアクションを前記GUIオブジェクトに対して実行可能であり、前記GUIオブジェクトが2つの前記カーソルポインタで指定された場合、前記GUIオブジェクトを指定する前記2つのカーソルポインタが互いに近づくように相対的に移動するときに、前記GUIオブジェクトに関連するデータの圧縮処理を前記アクションとして実行する
    情報処理方法。
  7. 情報処理装置により実行される情報処理方法であって、
    画面に1以上のGUIオブジェクトを表示し、
    前記画面に複数のカーソルポインタを表示し、
    前記表示された複数のカーソルポインタのそれぞれを制御する当該カーソルポインタ毎のタッチ操作を受け付け、
    前記カーソルポインタ毎のタッチ操作が受け付けられたとき、前記カーソルポインタ毎のタッチ操作の組み合わせに対して予め割り当てられたアクションを前記GUIオブジェクトに対して実行可能であり、前記GUIオブジェクトを指定する前記カーソルポインタを制御する所定の操作に対して前記GUIオブジェクトに関連したウィンドウを前記画面に表示する表示処理を前記アクションとして実行し、また前記複数のカーソルポインタのうち2つの前記カーソルポインタの相対的な距離を変化させる操作に対してフォーカス状態となる前記ウィンドウを切り替える切替処理を前記アクションとして実行する
    情報処理方法。
  8. 画面に1以上のGUIオブジェクトを表示するステップと、
    前記画面に複数のカーソルポインタを表示するステップと、
    前記表示された複数のカーソルポインタのそれぞれを制御する当該カーソルポインタ毎のタッチ操作を受け付けるステップと、
    前記カーソルポインタ毎のタッチ操作が受け付けられたとき、前記カーソルポインタ毎のタッチ操作の組み合わせに対して予め割り当てられたアクションを前記GUIオブジェクトに対して実行するステップであって、前記GUIオブジェクトが2つの前記カーソルポインタで指定された場合、前記GUIオブジェクトを指定する前記2つのカーソルポインタが互いに離れるように相対的に移動するときに、前記GUIオブジェクトの削除処理を前記アクションとして実行するステップと
    を情報処理装置に実行させるプログラム。
  9. 画面に1以上のGUIオブジェクトを表示するステップと、
    前記画面に複数のカーソルポインタを表示するステップと、
    前記表示された複数のカーソルポインタのそれぞれを制御する当該カーソルポインタ毎のタッチ操作を受け付けるステップと、
    前記カーソルポインタ毎のタッチ操作が受け付けられたとき、前記カーソルポインタ毎のタッチ操作の組み合わせに対して予め割り当てられたアクションを前記GUIオブジェクトに対して実行するステップであって、前記GUIオブジェクトが2つの前記カーソルポインタで指定された場合、前記GUIオブジェクトを指定する前記2つのカーソルポインタが互いに近づくように相対的に移動するときに、前記GUIオブジェクトに関連するデータの圧縮処理を前記アクションとして実行するステップと
    を情報処理装置に実行させるプログラム。
  10. 画面に1以上のGUIオブジェクトを表示するステップと、
    前記画面に複数のカーソルポインタを表示するステップと、
    前記表示された複数のカーソルポインタのそれぞれを制御する当該カーソルポインタ毎のタッチ操作を受け付けるステップと、
    前記カーソルポインタ毎のタッチ操作が受け付けられたとき、前記カーソルポインタ毎のタッチ操作の組み合わせに対して予め割り当てられたアクションを前記GUIオブジェクトに対して実行するステップであって、前記GUIオブジェクトを指定する前記カーソルポインタを制御する所定の操作に対して前記GUIオブジェクトに関連したウィンドウを前記画面に表示する表示処理を前記アクションとして実行し、また前記複数のカーソルポインタのうち2つの前記カーソルポインタの相対的な距離を変化させる操作に対してフォーカス状態となる前記ウィンドウを切り替える切替処理を前記アクションとして実行するステップと
    を情報処理装置に実行させるプログラム。
JP2010268479A 2010-01-12 2010-12-01 情報処理装置、情報処理方法及びプログラム Active JP5750875B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010268479A JP5750875B2 (ja) 2010-12-01 2010-12-01 情報処理装置、情報処理方法及びプログラム
US13/297,777 US20120062603A1 (en) 2010-01-12 2011-11-16 Information Processing Apparatus, Information Processing Method, and Program Therefor
CN201110378036.XA CN102591564B (zh) 2010-12-01 2011-11-24 信息处理设备和信息处理方法
US15/260,204 US11281324B2 (en) 2010-12-01 2016-09-08 Information processing apparatus, information processing method, and program inputs to a graphical user interface
US17/668,880 US20220164059A1 (en) 2010-12-01 2022-02-10 Information processing apparatus, information processing method, and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010268479A JP5750875B2 (ja) 2010-12-01 2010-12-01 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2012118796A JP2012118796A (ja) 2012-06-21
JP5750875B2 true JP5750875B2 (ja) 2015-07-22

Family

ID=45806267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010268479A Active JP5750875B2 (ja) 2010-01-12 2010-12-01 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (3) US20120062603A1 (ja)
JP (1) JP5750875B2 (ja)
CN (1) CN102591564B (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5750875B2 (ja) * 2010-12-01 2015-07-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9007190B2 (en) 2010-03-31 2015-04-14 Tk Holdings Inc. Steering wheel sensors
DE102011006344B4 (de) 2010-03-31 2020-03-12 Joyson Safety Systems Acquisition Llc Insassenmesssystem
JP5759230B2 (ja) 2010-04-02 2015-08-05 ティーケー ホールディングス,インコーポレーテッド 手センサを有するステアリング・ホイール
JP5235032B2 (ja) * 2011-04-04 2013-07-10 シャープ株式会社 表示装置、情報処理システム及びプログラム
KR20130054579A (ko) * 2011-11-17 2013-05-27 삼성전자주식회사 디스플레이장치 및 그 제어방법
WO2013154720A1 (en) 2012-04-13 2013-10-17 Tk Holdings Inc. Pressure sensor including a pressure sensitive material for use with control systems and methods of using the same
JP5966557B2 (ja) 2012-04-19 2016-08-10 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
WO2013192539A1 (en) 2012-06-21 2013-12-27 Nextinput, Inc. Wafer level mems force dies
WO2014008377A1 (en) 2012-07-05 2014-01-09 Ian Campbell Microelectromechanical load sensor and methods of manufacturing the same
WO2014043664A1 (en) 2012-09-17 2014-03-20 Tk Holdings Inc. Single layer force sensor
JP6251957B2 (ja) * 2013-01-23 2017-12-27 セイコーエプソン株式会社 表示装置、頭部装着型表示装置および表示装置の制御方法
JP2015028690A (ja) * 2013-07-30 2015-02-12 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR101422060B1 (ko) 2013-10-30 2014-07-28 전자부품연구원 터치패드를 이용한 차량용 정보 표시 장치 및 방법, 그 정보 입력 모듈
WO2015106246A1 (en) 2014-01-13 2015-07-16 Nextinput, Inc. Miniaturized and ruggedized wafer level mems force sensors
CN104063280B (zh) 2014-06-25 2017-09-12 华为技术有限公司 一种智能终端的控制方法
JP5711409B1 (ja) * 2014-06-26 2015-04-30 ガンホー・オンライン・エンターテイメント株式会社 端末装置
US20160117081A1 (en) * 2014-10-27 2016-04-28 Thales Avionics, Inc. Controlling entertainment system using combination of inputs from proximity sensor and touch sensor of remote controller
KR102248741B1 (ko) * 2015-01-29 2021-05-07 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10466119B2 (en) 2015-06-10 2019-11-05 Nextinput, Inc. Ruggedized wafer level MEMS force sensor with a tolerance trench
CN105094620A (zh) * 2015-08-27 2015-11-25 广东欧珀移动通信有限公司 一种信息浏览方法及移动终端
WO2018148503A1 (en) 2017-02-09 2018-08-16 Nextinput, Inc. Integrated digital force sensors and related methods of manufacture
WO2018148510A1 (en) 2017-02-09 2018-08-16 Nextinput, Inc. Integrated piezoresistive and piezoelectric fusion force sensor
US11221263B2 (en) 2017-07-19 2022-01-11 Nextinput, Inc. Microelectromechanical force sensor having a strain transfer layer arranged on the sensor die
US11423686B2 (en) 2017-07-25 2022-08-23 Qorvo Us, Inc. Integrated fingerprint and force sensor
US11243126B2 (en) 2017-07-27 2022-02-08 Nextinput, Inc. Wafer bonded piezoresistive and piezoelectric force sensor and related methods of manufacture
WO2019079420A1 (en) 2017-10-17 2019-04-25 Nextinput, Inc. SHIFT TEMPERATURE COEFFICIENT COMPENSATION FOR FORCE SENSOR AND STRAIN GAUGE
WO2019090057A1 (en) 2017-11-02 2019-05-09 Nextinput, Inc. Sealed force sensor with etch stop layer
WO2019099821A1 (en) 2017-11-16 2019-05-23 Nextinput, Inc. Force attenuator for force sensor
KR102507884B1 (ko) 2018-01-05 2023-03-09 삼성디스플레이 주식회사 윈도우 분리 장치 및 그 장치를 이용한 윈도우 분리 방법
US10962427B2 (en) 2019-01-10 2021-03-30 Nextinput, Inc. Slotted MEMS force sensor
US11194471B1 (en) 2021-01-28 2021-12-07 Honda Motor Co., Ltd. Apparatus and method for display control based on touch interface

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06282368A (ja) * 1993-02-01 1994-10-07 Wacom Co Ltd 情報処理装置の位置情報入力システム
EP0622722B1 (en) * 1993-04-30 2002-07-17 Xerox Corporation Interactive copying system
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US7469381B2 (en) * 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
WO2005008444A2 (en) * 2003-07-14 2005-01-27 Matt Pallakoff System and method for a portbale multimedia client
US20050162402A1 (en) * 2004-01-27 2005-07-28 Watanachote Susornpol J. Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback
JP2009522669A (ja) 2005-12-30 2009-06-11 アップル インコーポレイテッド マルチタッチ入力を備えた携帯電子装置
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US8054296B2 (en) * 2007-01-03 2011-11-08 Apple Inc. Storing baseline information in EEPROM
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
EP2017756A1 (de) * 2007-07-20 2009-01-21 BrainLAB AG Verfahren zur Anzeige und/oder Bearbeitung bzw. Verarbeitung von Bilddaten medizinischen oder medizintechnischen Ursprungs mit Gestenerkennung
US20090051671A1 (en) * 2007-08-22 2009-02-26 Jason Antony Konstas Recognizing the motion of two or more touches on a touch-sensing surface
US8446373B2 (en) * 2008-02-08 2013-05-21 Synaptics Incorporated Method and apparatus for extended adjustment based on relative positioning of multiple objects contemporaneously in a sensing region
JP5164675B2 (ja) * 2008-06-04 2013-03-21 キヤノン株式会社 ユーザインターフェースの制御方法及び情報処理装置及びプログラム
JP5191314B2 (ja) * 2008-08-28 2013-05-08 アルパイン株式会社 楽曲選択方式及び装置
KR101586627B1 (ko) * 2008-10-06 2016-01-19 삼성전자주식회사 멀티 터치를 이용한 리스트 관리 방법 및 장치
KR101503835B1 (ko) * 2008-10-13 2015-03-18 삼성전자주식회사 멀티터치를 이용한 오브젝트 관리 방법 및 장치
US8363020B2 (en) * 2009-08-27 2013-01-29 Symbol Technologies, Inc. Methods and apparatus for pressure-based manipulation of content on a touch screen
US8390583B2 (en) * 2009-08-31 2013-03-05 Qualcomm Incorporated Pressure sensitive user interface for mobile devices
US8436821B1 (en) * 2009-11-20 2013-05-07 Adobe Systems Incorporated System and method for developing and classifying touch gestures
US9465532B2 (en) * 2009-12-18 2016-10-11 Synaptics Incorporated Method and apparatus for operating in pointing and enhanced gesturing modes
JP5750875B2 (ja) * 2010-12-01 2015-07-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20110169750A1 (en) * 2010-01-14 2011-07-14 Continental Automotive Systems, Inc. Multi-touchpad multi-touch user interface
US8839150B2 (en) * 2010-02-10 2014-09-16 Apple Inc. Graphical objects that respond to touch or motion input
KR101498457B1 (ko) * 2010-10-22 2015-03-05 에스케이플래닛 주식회사 복수의 터치를 이용하여 파일압축을 수행하는 단말 및 파일압축방법

Also Published As

Publication number Publication date
CN102591564A (zh) 2012-07-18
US20160378248A1 (en) 2016-12-29
US11281324B2 (en) 2022-03-22
CN102591564B (zh) 2017-05-10
US20220164059A1 (en) 2022-05-26
JP2012118796A (ja) 2012-06-21
US20120062603A1 (en) 2012-03-15

Similar Documents

Publication Publication Date Title
JP5750875B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6215534B2 (ja) 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
KR101270847B1 (ko) 터치 감지 입력 장치용 제스처
JP5295328B2 (ja) スクリーンパッドによる入力が可能なユーザインタフェース装置、入力処理方法及びプログラム
US9389722B2 (en) User interface device that zooms image in response to operation that presses screen, image zoom method, and program
KR101544364B1 (ko) 듀얼 터치 스크린을 구비한 휴대 단말기 및 그 컨텐츠 제어방법
US8610678B2 (en) Information processing apparatus and method for moving a displayed object between multiple displays
US9448714B2 (en) Touch and non touch based interaction of a user with a device
JP5414764B2 (ja) 入力制御装置、入力制御方法、及び入力制御プログラム
KR20080104858A (ko) 터치 스크린 기반의 제스쳐 정보 제공 방법 및 장치, 그장치를 포함하는 정보 단말 기기
CN103294337A (zh) 电子装置及控制方法
US20190187887A1 (en) Information processing apparatus
JP2013089202A (ja) 入力制御装置、入力制御方法、及び入力制御プログラム
JP5470350B2 (ja) 入力制御装置、入力制御方法、及び入力制御プログラム
US10963137B2 (en) Information display apparatus and non-transitory recording medium storing program for controlling information display apparatus
JP6971573B2 (ja) 電子機器、その制御方法およびプログラム
JP2015102946A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6210664B2 (ja) 情報処理装置とその制御方法、及びプログラムと記憶媒体
JP7030527B2 (ja) 電子機器、情報処理方法、プログラム及び記憶媒体
JP2018116605A (ja) 表示制御装置及び表示制御方法
KR20140043920A (ko) 터치 스크린 기반의 사용자 인터페이스 인터렉션 방법 및 멀티 미디어 단말 기기
JP2023003565A (ja) 表示制御装置及びその制御方法
KR20140041667A (ko) 터치 스크린 기반의 사용자 인터페이스 인터렉션 방법 및 멀티 미디어 단말 기기

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131024

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150504

R151 Written notification of patent or utility model registration

Ref document number: 5750875

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250