JP2018195025A - 情報処理装置、情報処理システム、及び情報処理方法 - Google Patents
情報処理装置、情報処理システム、及び情報処理方法 Download PDFInfo
- Publication number
- JP2018195025A JP2018195025A JP2017097642A JP2017097642A JP2018195025A JP 2018195025 A JP2018195025 A JP 2018195025A JP 2017097642 A JP2017097642 A JP 2017097642A JP 2017097642 A JP2017097642 A JP 2017097642A JP 2018195025 A JP2018195025 A JP 2018195025A
- Authority
- JP
- Japan
- Prior art keywords
- operation target
- information processing
- display
- unit
- display screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】特定の操作対象と関係のある操作対象を選択し易くする。【解決手段】情報処理装置１４は、所定の操作により特定された第１の操作対象を検出する。そして、情報処理装置１４は、検出された第１の操作対象との間の関係に基づいて、表示画面に配置されている、第１の操作対象とは異なる操作対象から、第２の操作対象を選択する。そして、情報処理装置１４は、検出された第１の操作対象と、選択された第２の操作対象とを表示画面に一覧表示するように制御する。【選択図】図１
Description
開示の技術は、情報処理装置、情報処理システム、及び情報処理方法に関する。
画面上にオブジェクトを表示し、画面上のタッチ操作を受け付け、タッチ操作に応じた情報を出力するオブジェクト操作システムが知られている。このオブジェクト操作システムの制御部は、操作部から出力される情報に基づいて、画面上で３点以上の複数点が同時にタッチされるマルチタッチ操作を識別する。そして、オブジェクト操作システムの制御部は、マルチタッチ操作が行われた場合に、２点以上の所定数のタッチが、１つのオブジェクト上又は複数のオブジェクトがグループ化されたオブジェクト群の領域上に位置するか否かに応じて、操作対象を判定する。そして、オブジェクト操作システムの制御部は、所定数の内の少なくとも１つのタッチの位置が変化した場合に、操作対象に対して、タッチの位置の変化に応じた操作を実行する。
また、複数の操作者による共同作業であるか、各々の操作者による個人作業であるかに応じて、動作モードを共同モード又は個人モードに設定するオブジェクト表示装置が知られている。このオブジェクト表示装置は、個人モードの場合、画面に表示されているオブジェクトを各々の操作者に割り当てる。また、オブジェクト表示装置は、個人モードの場合、所定の操作者による操作が、他の操作者に割り当てられた他のオブジェクトの表示状態に影響を及ぼすかを判定し、影響を及ぼすと判定した場合に、所定の操作者による操作を制限する。
タッチパネル上の表示画面に複数の操作対象が配置されている場合、ユーザは特定の操作対象を選択できない場合がある。例えば、複数の操作対象同士が重なることにより、特定の操作対象が埋もれてしまう場合や、操作対象がユーザの操作が届かない位置に配置されている場合には、ユーザは特定の操作対象を選択できない。
一つの側面では、開示の技術は、特定の操作対象と関係のある操作対象を選択し易くすることが目的である。
一つの実施態様では、情報処理装置は、表示画面に配置されている複数の操作対象に対する所定の操作により特定された第１の操作対象を検出する。そして、情報処理装置は、検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択する。情報処理装置は、検出された前記第１の操作対象と、選択された前記第２の操作対象とを前記表示画面に一覧表示するように制御する。
一つの側面として、特定の操作対象と関係のある操作対象を選択し易くすることができる、という効果を有する。
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。
＜第１実施形態＞
図１に示す情報処理システム１０は、表示装置１２と情報処理装置１４とを備える。
図１に示す情報処理システム１０は、表示装置１２と情報処理装置１４とを備える。
表示装置１２は、表示部１６と、受付部１８と、表示制御部２０とを備える。
表示部１６は、後述する表示制御部２０の制御に応じて表示画面を表示する。表示部１６は、例えばディスプレイによって実現される。表示部１６の表示画面には、複数の操作対象が表示される。
受付部１８は、ユーザから入力される操作情報を受け付ける。例えば、受付部１８は、表示部１６に重畳されたタッチパネルから入力されたユーザによる操作情報を受け付ける。操作情報には、ユーザがどのようなタッチ操作を行ったかを表す情報が含まれる。
表示制御部２０は、操作対象が表示されるように、表示部１６を制御する。操作対象とは、例えば、所定のアプリケーションによって作成された文書又は図形である。また、表示制御部２０は、受付部１８によって受け付けた操作情報に応じて操作対象が表示されるように、表示部１６を制御する。例えば、表示制御部２０は、操作情報に応じて、操作対象の表示位置、表示サイズ、向き等を変更する。また、表示制御部２０は、受付部１８によって受け付けた操作情報を情報処理装置１４へ逐次出力する。
図２に示されるように、表示装置１２の表示部１６により表示される表示画面Ｖが、複数のユーザに対して表示される場合を例に説明する。図２の例では、ユーザＡ、ユーザＢ、ユーザＣ、及びユーザＤに対して表示画面Ｖが表示されている。図２示されているような状況下では、例えば、各ユーザが独立で作業している場面Ｓ１と各ユーザが共同で作業している場面Ｓ２とが考えられる。
図２に示されている場面Ｓ１では、ユーザＡが操作対象ＸＡを用いて作業を行い、ユーザＢが操作対象ＸＢを用いて作業を行い、ユーザＣが操作対象ＸＣを用いて作業を行い、ユーザＤが操作対象ＸＤを用いて作業を行う。場面Ｓ１では、各ユーザの周辺には自らの作業に用いる操作対象が表示される。また、場面Ｓ２では、各ユーザが共同で作業を進めるため、操作対象ＸＡ、操作対象ＸＢ、操作対象ＸＣ、及び操作対象ＸＤは混ざり合う状態となる。
上記図２に示されるような状況においては、複数の操作対象が表示画面Ｖに表示されているため、ユーザが特定の操作対象を選択しようとする場合に、特定の操作対象を選択しにくい場合がある。例えば、特定の操作対象が他の操作対象の存在によって埋もれてしまう場合が考えられる。また、特定の操作対象がユーザの操作が届かない位置に表示されている場合が考えられる。
これに対し、例えば、図３に示されるように、表示画面に配置されている全ての操作対象を整列して表示するように制御することが考えられる。これにより、他の操作対象の存在によって埋もれている特定の操作対象Ｘを表示させることができる。しかし、特定の操作対象とは異なる多数の操作対象が整列されてしまい特定の操作対象Ｘを探索しづらい。また、操作対象の整列を指示した特定のユーザ以外のユーザが操作している操作対象や、必要のない操作対象等が整列されてしまう。
また、図４に示されるような状況において、ユーザＡが複数の操作対象を直接選択する場合が考えられる。この場合には、図４の半円領域Ｃに含まれるようなユーザＡに近接している操作対象に対する選択は行えるが、ユーザＡの手が届かない範囲に表示されている操作対象については選択することはできない。
また、例えば図５に示されるように、ストロークに基づいて矩形領域を算出し、算出した矩形領域に含まれる複数の操作対象を選択する場合、ユーザＡが選択したい操作対象の端から端までのストロークを描く必要があり、選択する際に長いストロークが必要となる。これにより、複数の操作対象の選択に時間がかかる。
そこで、本実施形態では、まず、表示画面において表示されている操作対象に対して、通常の操作と区別可能な操作を第１の操作として検出する。そして、第１の操作に対応する操作対象を第１の操作対象とする。そして、第１の操作対象との間の関係に基づいて、表示画面に配置されている操作対象から、第２の操作対象を選択する。そして、第１の操作対象及び第２の操作対象を一覧表示させる。
以下、表示装置１２を制御する情報処理装置１４について具体的に説明する。
情報処理装置１４は、図１に示されるように、情報制御部２２と、取得部２４と、初期操作対象検出部２６と、選択部２８とを備える。初期操作対象検出部２６は、開示の技術の検出部の一例である。情報制御部２２は、開示の技術の制御部の一例である。
情報制御部２２は、表示装置１２から出力されたユーザの操作情報を逐次取得する。また、情報制御部２２は、後述する選択部２８による選択結果に応じて表示装置１２に対して制御信号を送信する。
取得部２４は、情報制御部２２により取得されたユーザの操作情報を取得する。
初期操作対象検出部２６は、取得部２４によって取得されたユーザの操作情報に基づいて、表示画面に配置されている複数の操作対象に対する所定の操作により特定された第１の操作対象を検出する。具体的には、まず、初期操作対象検出部２６は、所定の操作の一例である第１の操作を検出する。所定の操作の一例である第１の操作は、通常の操作とは区別可能な操作であり、予め設定される。そして、初期操作対象検出部２６は、第１の操作により特定された第１の操作対象を検出する。
例えば、初期操作対象検出部２６は、図６に示されるように、通常の操作と区別可能な操作として、ユーザＡのタッチ操作が操作対象の外から入り操作対象の外へ抜けるようなストローク操作を、第１の操作Ｔとして検出する。そして、初期操作対象検出部２６は、第１の操作Ｔに対応する第１の操作対象Ｘを検出する。
また、初期操作対象検出部２６は、図７に示されるように、操作対象の外部から入り、複数の操作対象を経由して、操作対象の外へ抜けるようなストローク操作を、第１の操作Ｔとして検出する。これにより、複数の操作対象が第１の操作対象として特定される。この場合には、初期操作対象検出部２６は、第１の操作Ｔに対応する、第１の操作対象Ｘ１、Ｘ２、及びＸ３を検出する。
選択部２８は、初期操作対象検出部２６によって検出された第１の操作対象との間の関係に基づいて、表示装置１２の表示部１６の表示画面に配置されている、第１の操作対象とは異なる操作対象から、第２の操作対象を選択する。
具体的には、選択部２８は、第１の操作対象との間の表示関係と、第１の操作対象に対して付与された属性とに基づいて、第２の操作対象を選択する。
まず、選択部２８は、第１の操作対象との間の表示関係として、第１の操作対象を表す領域との間の領域の重なり比率に基づいて、第２の操作対象の候補を選択する。
例えば、図８に示されるように、操作対象Ｘ１が第１の操作対象として選択された場合、選択部２８は、操作対象Ｘ１の領域との間で重なる領域を有する、操作対象Ｘ２と操作対象Ｘ３とを設定する。そして、選択部２８は、操作対象Ｘ１の領域と操作対象Ｘ２の領域との間の重なり比率を算出する。また、選択部２８は、操作対象Ｘ１の領域と操作対象Ｘ３の領域との間の重なり比率を算出する。なお、重なり比率は、各操作対象が、第１の操作対象との配置関係により、どの程度見え難く（操作し難く）なっているかを示す指標であり、例えば以下の式（１）に基づき算出される。
重なり比率＝第１の操作対象との間で重なる領域の面積／第１の操作対象の領域との間で重なる領域を有する操作対象の領域全体の面積
（１）
（１）
そして、選択部２８は、算出した重なり比率と閾値とに基づいて、重なり比率が閾値より大きい操作対象を第２の操作対象の候補として選択する。図８に示される例では、操作対象Ｘ１の領域と操作対象Ｘ２の領域との間の重なり比率が閾値以下であるため、操作対象Ｘ２は第２の操作対象の候補としては選択されない。一方、操作対象Ｘ１の領域と操作対象Ｘ３の領域との間の重なり比率は閾値より大きいため、操作対象Ｘ３は第２の操作対象の候補として選択される。なお、例えば、第１の操作対象が複数検出された場合には、複数の第１の操作対象の各々との間で重なる領域の面積の和に応じて、重なり比率が算出される。
次に、選択部２８は、第１の操作対象に対して付与された属性と対応する属性を有する第２の操作対象の候補を、第２の操作対象として選択する。
なお、選択部２８は、初期操作対象検出部２６によって複数の第１の操作対象が検出された場合、複数の第１の操作対象の属性の和集合を算出する。そして、選択部２８は、和集合に含まれる属性と対応する属性を有する第２の操作対象の候補を、第２の操作対象として選択する。
本実施形態では、各操作対象に対しては、例えば、図９に示されるような属性が付与される。図９の例では、各操作対象に対して、操作対象の作成者、操作対象の作成に用いられたアプリケーション、及び操作対象の向きが属性として付与される。なお、図中の「Ａさん」等の属性は、説明のために操作対象に関連付けて表示しているが、実際に表示部１６で表示をする必要はない。
例えば、操作対象Ｘ１については、操作対象の作成者として「Ａさん」が属性として付与され、操作対象の作成に用いられたアプリケーションとしては「付箋」が属性として付与され、操作対象の向きとしては「上向き」が属性として付与される。
操作対象の向きについては、例えば、表示画面上の座標系に応じて、「上向き」、「下向き」、「右向き」、及び「左向き」といった属性が付与される。
選択部２８は、例えば、図９に示される操作対象Ｘ１が第１の操作対象として検出された場合、「Ａさん」＆＆「付箋」＆＆「上向き」を検索属性として設定する。そして、選択部２８は、検索属性と一致する属性を有する第２の操作対象の候補を、第２の操作対象として選択する。
また、例えば、図９に示される操作対象Ｘ２、Ｘ３、及びＸ４が第１の操作対象として検出された場合、選択部２８は、（「Ａさん」||「Ｂさん」）＆＆（「付箋」||「模造紙」）＆＆（「上向き」||「下向き」||「右向き」）を検索属性として設定する。そして、選択部２８は、検索属性と一致する属性を有する第２の操作対象の候補を、第２の操作対象として選択する。なお、「＆＆」はＡＮＤ条件、「||」はＯＲ条件を表す。
例えば、図１０に示されるように、操作対象Ｘ１が第１の操作対象として検出された場合、選択部２８は、「Ａさん」＆＆「付箋」＆＆「上向き」を検索属性として設定する。そして、選択部２８は、図１１に示されるように、検索属性と一致する属性を有する、操作対象Ｘ２と操作対象Ｘ３とを第２の操作対象として選択する。なお、図１１の点線は埋もれている操作対象を表す。
情報制御部２２は、初期操作対象検出部２６によって検出された第１の操作対象を取得する。また、情報制御部２２は、選択部２８によって選択された第２の操作対象を取得する。そして、情報制御部２２は、第１の操作対象と第２の操作対象とが、表示装置１２の表示部１６の表示画面に一覧表示されるように制御する制御信号を生成し、表示装置１２へ出力する。
表示装置１２の表示制御部２０は、情報処理装置１４から出力された制御信号を取得し、制御信号に応じた表示画面が表示されるように、表示部１６を制御する。情報制御部２２によって生成された制御信号に応じて制御が行われることにより、例えば、図１２に示されるような選択表示画面Ｐが表示部１６に表示される。図１２は、表示画面上に選択表示画面Ｐを重畳表示した例である。例えば、選択表示画面Ｐに一覧表示されている操作対象Ｘ１は第１の操作対象であり、操作対象Ｘ２及び操作対象Ｘ３は第２の操作対象である。
表示制御部２０の制御により、第１の操作対象と第２の操作対象とが表示部１６の表示画面に一覧表示されると、ユーザは、一覧表示された操作対象のうち、閲覧したい所定の操作対象をタッチ操作により選択する。表示装置１２の受付部１８は、ユーザによって入力された操作情報を受け付ける。そして、表示制御部２０は、選択された操作対象が表示されるように、表示部１６を制御する。そして、表示制御部２０は一覧表示を終了し、第１の操作対象と第２の操作対象とを元の位置に表示する。
例えば、図１３に示されるように、操作対象Ｘ１、操作対象Ｘ２、操作対象Ｘ３が選択表示画面Ｐに含まれている場合、ユーザが操作対象Ｘ３をタッチ操作により選択したときには、操作対象Ｘ３が最前面に表示される。
表示装置１２は、例えば、図１４に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、情報処理装置１４、表示部１６、及び入力装置等の入出力装置（図示省略）が接続される入出力interface（Ｉ／Ｆ）５４、並びに記録媒体５９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。
記憶部５３は、Hard Disk Drive（ＨＤＤ）、solid state drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を表示装置１２として機能させるための表示プログラム６０が記憶されている。表示プログラム６０は、表示プロセス６２と、受付プロセス６３と、表示制御プロセス６４とを有する。
ＣＰＵ５１は、表示プログラム６０を記憶部５３から読み出してメモリ５２に展開し、表示プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、受付プロセス６３を実行することで、図１に示す受付部１８として動作する。また、ＣＰＵ５１は、表示制御プロセス６４を実行することで、図１に示す表示制御部２０として動作する。これにより、表示プログラム６０を実行したコンピュータ５０が、表示装置１２として機能することになる。そのため、ソフトウェアである表示プログラム６０を実行するプロセッサはハードウェアである。
なお、表示プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit（ＡＳＩＣ）等で実現することも可能である。
また、情報処理装置１４は、例えば、図１５に示すコンピュータ８０で実現することができる。コンピュータ８０はＣＰＵ８１、一時記憶領域としてのメモリ８２、及び不揮発性の記憶部８３を備える。また、コンピュータ８０は、表示装置１２及び入力装置等の入出力装置（図示省略）が接続される入出力Ｉ／Ｆ８４、並びに記録媒体８９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ部８５を備える。また、コンピュータ８０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ８６を備える。ＣＰＵ８１、メモリ８２、記憶部８３、入出力Ｉ／Ｆ８４、Ｒ／Ｗ部８５、及びネットワークＩ／Ｆ８６は、バス８７を介して互いに接続される。なお、表示装置１２と情報処理装置１４とは、ネットワークＩ／Ｆ５６、８６を介して接続されてもよい。
記憶部８３は、ＨＤＤ、ＳＳＤ、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部８３には、コンピュータ８０を情報処理装置１４として機能させるための情報処理プログラム９０が記憶されている。情報処理プログラム９０は、情報制御プロセス９２と、取得プロセス９３と、初期操作対象検出プロセス９４と、選択プロセス９５とを有する。
ＣＰＵ８１は、情報処理プログラム９０を記憶部８３から読み出してメモリ８２に展開し、情報処理プログラム９０が有するプロセスを順次実行する。ＣＰＵ８１は、情報制御プロセス９２を実行することで、図１に示す情報制御部２２として動作する。また、ＣＰＵ８１は、取得プロセス９３を実行することで、図１に示す取得部２４として動作する。また、ＣＰＵ８１は、初期操作対象検出プロセス９４を実行することで、図１に示す初期操作対象検出部２６として動作する。また、ＣＰＵ８１は、選択プロセス９５を実行することで、図１に示す選択部２８として動作する。これにより、情報処理プログラム９０を実行したコンピュータ８０が、情報処理装置１４として機能することになる。そのため、ソフトウェアである情報処理プログラム９０を実行するプロセッサはハードウェアである。
なお、情報処理プログラム９０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。
次に、本実施形態に係る情報処理システム１０の作用について説明する。表示装置１２の表示部１６は、表示制御部２０の制御に応じて表示画面を表示する。そして、表示装置１２の受付部１８は、ユーザから入力される操作情報を受け付ける。表示制御部２０は、受付部１８によって受け付けた操作情報を情報処理装置１４へ逐次出力する。そして、情報処理装置１４の情報制御部２２が、表示装置１２から出力された操作情報を逐次取得し、操作情報を取得部２４へ出力する。そして、情報処理装置１４は、図１６に示す情報処理を実行する。以下、各処理について詳述する。
ステップＳ１００において、取得部２４は、情報制御部２２により出力されたユーザの操作情報を取得する。
ステップＳ１０２において、初期操作対象検出部２６は、上記ステップＳ１００で取得されたユーザの操作情報に基づいて、第１の操作であるか否かを判定する。操作情報が第１の操作である場合には、ステップＳ１０４へ進む。一方、操作情報が第１の操作でない場合には、ステップＳ１００へ戻る。
ステップＳ１０４において、初期操作対象検出部２６は、第１の操作に対応する第１の操作対象を検出する。
ステップＳ１０６において、選択部２８は、上記ステップＳ１０４で検出された第１の操作対象の領域との間で重なる領域を有する、操作対象を特定する。
ステップＳ１０８において、選択部２８は、上記ステップＳ１０４で検出された第１の操作対象の領域と、上記ステップＳ１０６で特定された操作対象の領域との間の重なり比率を上記式（１）に従って算出する。
ステップＳ１１０において、選択部２８は、上記ステップＳ１０８で算出された重なり比率と閾値とに基づいて、上記ステップＳ１０６で特定された操作対象のうちの、重なり比率が閾値より大きい操作対象を第２の操作対象の候補として選択する。
ステップＳ１１２において、選択部２８は、上記ステップＳ１０４で検出された第１の操作対象の属性を検索属性として設定する。
ステップＳ１１４において、選択部２８は、上記ステップＳ１１２で設定された検索属性と一致する属性を有する第２の操作対象の候補を、第２の操作対象として選択する。
ステップＳ１１６において、情報制御部２２は、上記ステップＳ１０４で検出された第１の操作対象を取得する。また、情報制御部２２は、上記ステップＳ１１４で選択された第２の操作対象を取得する。そして、情報制御部２２は、第１の操作対象と第２の操作対象とが、表示装置１２の表示部１６の表示画面に一覧表示されるように制御する制御信号を生成する。
ステップＳ１１８において、情報制御部２２は、上記ステップＳ１１６で生成された制御信号を表示装置１２へ出力する。
表示装置１２の表示制御部２０は、情報処理装置１４から出力された制御信号を取得し、制御信号に応じた選択表示画面が表示されるように、表示部１６を制御する。表示制御部２０の制御により、第１の操作対象と第２の操作対象とが表示部１６の選択表示画面に表示されると、ユーザは、閲覧したい所定の操作対象をタッチ操作により選択する。
以上説明したように、本実施形態に係る情報処理装置は、表示画面に配置されている複数の操作対象に対する所定の操作により特定された第１の操作対象を検出する。そして、情報処理装置は、検出された第１の操作対象との間の関係に基づいて、表示画面に配置されている、第１の操作対象とは異なる操作対象から、第２の操作対象を選択する。そして、情報処理装置は、第１の操作対象と第２の操作対象とを前記表示画面に一覧表示するように制御する。これにより、特定の操作対象と関係のある操作対象を選択し易くすることができる。また、操作対象に対する操作性を向上させることができる。
また、本実施形態に係る情報処理装置によれば、複数の操作対象が表示画面に表示されている場合においても、第１の操作対象に付与された属性が対応する第２の操作対象を一覧表示させることにより、ユーザは特定の操作対象を探しやすくなる。
＜第２の実施形態＞
次に、第２の実施形態について説明する。なお、第２の実施形態に係る情報処理システムの構成は、第１の実施形態と同様の構成となるため、同一符号を付して説明を省略する。
次に、第２の実施形態について説明する。なお、第２の実施形態に係る情報処理システムの構成は、第１の実施形態と同様の構成となるため、同一符号を付して説明を省略する。
第２の実施形態では、第１の操作対象を表す領域及び第２の操作対象を表す領域との間の領域の重なり比率に基づいて、第３の操作対象を選択する点が第１の実施形態と異なる。
第２の実施形態の選択部２８は、第１の操作対象を表す領域及び第２の操作対象を表す領域を合わせた領域との間の重なり比率に基づいて、第１の操作対象及び第２の操作対象とは異なる第３の操作対象を選択する。
図１７に示されるように、場面Ｓ１における表示画面Ｖにおいて、第１の操作対象Ｘ１が特定された場合、第１の操作対象Ｘ１との間で、閾値より大きい重なり領域を有する第２の操作対象Ｘ２が特定される。この場合、操作対象Ｘ３については、第１の操作対象Ｘ１との間では重なり領域を有しないため、第２の操作対象としては選択されない。しかし、ユーザは操作対象Ｘ３も表示させたいという意図を有する場合がある。
また、図１７に示されるように、場面Ｓ２における表示画面Ｖにおいて、第１の操作対象Ｘ１が特定された場合、操作対象Ｘ２は、第１の操作対象Ｘ１との間で閾値より大きい重なり領域を有するため、第２の操作対象として特定される。一方、操作対象Ｘ３は、第１の操作対象Ｘ１との間で閾値以下の重なり領域を有するため、第２の操作対象として特定されない。しかし、操作対象Ｘ３は、第２の操作対象Ｘ２との重なりにより埋もれており、ユーザは操作対象Ｘ３も表示させたいという意図を有する場合がある。
そこで、第２の実施形態の選択部２８は、第１の操作対象を表す領域及び第２の操作対象を表す領域との間の領域の重なり比率に基づいて、第１の操作対象及び第２の操作対象とは異なる第３の操作対象を選択する。
具体的には、選択部２８は、第２の操作対象を選択した後に、第１の操作対象を表す領域及び第２の操作対象を表す領域との間の領域の重なり比率（例えば、以下の式（２））に基づいて、第３の操作対象の候補を選択する。以下の式（２）では、第１の操作対象の領域との間で重なる領域の面積と第２の操作対象の領域との間で重なる領域の面積との和から、第１の操作対象の領域と第２の操作対象の領域とが重なる領域の面積が減算される。操作対象の領域全体において、第１の操作対象の領域と第２の操作対象の領域とが重なる領域の面積について重複して計算されてしまうことを避けるためである。
重なり比率＝（ａ＋ｂ−ｃ）／重なる領域を有する操作対象の領域全体の面積 （２）
ａ：第１の操作対象の領域との間で重なる領域の面積
ｂ：第２の操作対象の領域との間で重なる領域の面積
ｃ：操作対象の領域全体における、第１の操作対象の領域と第２の操作対象の領域との間で重なる領域の面積
ａ：第１の操作対象の領域との間で重なる領域の面積
ｂ：第２の操作対象の領域との間で重なる領域の面積
ｃ：操作対象の領域全体における、第１の操作対象の領域と第２の操作対象の領域との間で重なる領域の面積
そして、選択部２８は、算出した重なり比率と閾値とに基づいて、重なり比率が閾値より大きい操作対象を第３の操作対象の候補として選択する。
次に、選択部２８は、第１の操作対象に対して付与された属性と対応する属性を有する第３の操作対象の候補を、第３の操作対象として選択する。
そして、選択部２８は、第１の操作対象と選択部２８によって選択された第２の操作対象及び第３の操作対象とを表示画面に一覧表示するように制御する。
次に、第２の実施形態に係る情報処理システム１０の作用について説明する。表示装置１２の表示部１６は、表示制御部２０の制御に応じて表示画面を表示する。そして、表示装置１２の受付部１８は、ユーザから入力される操作情報を受け付ける。表示制御部２０は、受付部１８によって受け付けた操作情報を情報処理装置１４へ逐次出力する。そして、情報処理装置１４の情報制御部２２が、表示装置１２から出力された操作情報を逐次取得し、操作情報を取得部２４へ出力する。そして、情報処理装置１４は、図１８に示す情報処理を実行する。以下、各処理について詳述する。
ステップＳ１００〜ステップＳ１１４は第１の実施形態と同様に実行される。
ステップＳ２００において、選択部２８は、上記ステップＳ１０４で検出された第１の操作対象の領域又は上記ステップＳ１１４で選択された第２の操作対象の領域との間で重なる領域を有する、操作対象を特定する。
ステップＳ２０１において、選択部２８は、上記ステップＳ２００での特定結果に基づいて、第３の操作対象として選択可能な操作対象が存在するか否かを判定する。選択可能な操作対象が存在する場合には、ステップＳ２０２へ進む。一方、第３の操作対象として選択可能な操作対象が存在しない場合には、ステップＳ２０８へ移行する。なお、第３の操作対象として選択可能な操作対象とは、上記ステップＳ１０４で検出された第１の操作対象の領域又は上記ステップＳ１１４で選択された第２の操作対象の領域との間で重なる領域を有する操作対象である。
ステップＳ２０２において、選択部２８は、第１の操作対象の領域又は第２の操作対象の領域と、上記ステップＳ２００で特定された操作対象の領域との間の重なり比率を、上記式（２）に従って算出する。
ステップＳ２０４において、選択部２８は、上記ステップＳ２０２で算出された重なり比率と閾値とに基づいて、上記ステップＳ２００で特定された操作対象のうちの、重なり比率が閾値より大きい操作対象を第３の操作対象の候補として選択する。
ステップＳ２０６において、選択部２８は、ステップＳ１１２で設定された検索属性と一致する属性を有する第３の操作対象の候補を、第３の操作対象として選択する。以後、上記ステップＳ２０２と、上記ステップＳ２０４と、上記ステップＳ２０６とを、第３の操作対象として選択可能な操作対象がなくなるまで繰り返す。
ステップＳ２０８において、情報制御部２２は、上記ステップＳ１０４で検出された第１の操作対象を取得する。また、情報制御部２２は、上記ステップＳ１１４で選択された第２の操作対象を取得する。また、情報制御部２２は、上記ステップＳ２０６で選択された第３の操作対象を取得する。そして、情報制御部２２は、第１の操作対象と第２の操作対象と第３の操作対象とが、表示装置１２の表示部１６の表示画面に一覧表示されるように制御する制御信号を生成する。
ステップＳ１１８において、情報制御部２２は、上記ステップＳ１１６で生成された制御信号を表示装置１２へ出力する。
以上説明したように、第２の実施形態に係る情報処理装置は、第２の操作対象を表す領域との間の領域の重なり比率に基づいて、第１の操作対象及び前記第２の操作対象とは異なる第３の操作対象を選択する。そして、情報処理装置は、第１の操作対象と第２の操作対象及び前記第３の操作対象とを表示画面に一覧表示するように制御する。これにより、第２の操作対象によって埋もれている操作対象であっても、一覧表示させることができる。
なお、上記では、表示プログラム及び情報処理プログラムの各々が記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記録媒体に記録された形態で提供することも可能である。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
次に、上記実施形態の変形例を説明する。
上記実施形態では、ユーザからの見え方に関する第１の操作対象との間の関係の一例として、第１の操作対象を表す領域との間の領域の重なり比率の例を説明し、操作対象の向きは属性として付与されている場合を例に説明したがこれに限定されるものではない。例えば、操作対象の向きについては、表示画面の座標系に応じて操作対象の向きが逐次検出され、検出された操作対象の向きに基づいて、第１の操作対象が表示されている向きと対応する向きで表示されている第２の操作対象を選択するようにしてもよい。
また、上記実施形態では、第１の操作対象を表す領域との間の領域の重なり比率及び第１の操作対象に対して付与された属性と対応する属性に応じて、第２の操作対象を選択する場合を例に説明したが、これに限定されるものではない。例えば、第１の操作対象を表す領域との間の領域の重なり比率及び第１の操作対象に対して付与された属性と対応する属性の何れか一方に応じて、第２の操作対象を選択するようにしてもよい。また、重なり比率に応じて選択された操作対象、及び属性に応じて選択された操作対象の両方をそれぞれ第２の操作対象として選択するようにしてもよい。なお、属性に応じて選択された操作対象のみを第２の操作対象とする場合には、例えば、第１の操作対象とは重なっていないが、遠くにあって届かない位置に配置されている操作対象についても、第２の操作対象として選択することが可能になる。
また、上記第２の実施形態では、第１の操作対象を表す領域及び第２の操作対象を表す領域との間の領域の重なり比率に基づいて、第３の操作対象を選択する場合を例に説明したが、これに限定されるものではない。例えば、第２の操作対象を表す領域との間の領域の重なり比率のみに基づいて、第３の操作対象を選択するようにしてもよい。
上記実施形態では、所定の操作の一例である第１の操作として、ユーザＡのタッチ操作が操作対象の外から入り操作対象の外へ抜けるようなストローク操作を検出する場合を例に説明したが、これに限定されるものではない。例えば、図１９に示されるように、ユーザＡは、操作対象Ｘを所定時間タッチし続ける操作を第１の操作として検出してもよい。
以上の各実施形態に関し、更に以下の付記を開示する。
（付記１）
表示画面に配置されている複数の操作対象に対する所定の操作により特定された第１の操作対象を検出する検出部と、
前記検出部によって検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択する選択部と、
前記検出部によって検出された前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象とを前記表示画面に一覧表示するように制御する制御部と、
を備える情報処理装置。
表示画面に配置されている複数の操作対象に対する所定の操作により特定された第１の操作対象を検出する検出部と、
前記検出部によって検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択する選択部と、
前記検出部によって検出された前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象とを前記表示画面に一覧表示するように制御する制御部と、
を備える情報処理装置。
（付記２）
前記選択部は、前記第１の操作対象との間の表示関係に基づいて、前記第２の操作対象を選択する、
付記１に記載の情報処理装置。
前記選択部は、前記第１の操作対象との間の表示関係に基づいて、前記第２の操作対象を選択する、
付記１に記載の情報処理装置。
（付記３）
前記選択部は、前記第１の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第２の操作対象を選択する、
付記２に記載の情報処理装置。
前記選択部は、前記第１の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第２の操作対象を選択する、
付記２に記載の情報処理装置。
（付記４）
前記選択部は、更に、前記第２の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第１の操作対象及び前記第２の操作対象とは異なる第３の操作対象を選択し、
前記制御部は、前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象及び前記第３の操作対象とを前記表示画面に一覧表示するように制御する、
付記３に記載の情報処理装置。
前記選択部は、更に、前記第２の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第１の操作対象及び前記第２の操作対象とは異なる第３の操作対象を選択し、
前記制御部は、前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象及び前記第３の操作対象とを前記表示画面に一覧表示するように制御する、
付記３に記載の情報処理装置。
（付記５）
前記選択部は、前記第１の操作対象が表示されている向きと対応する向きで表示されている前記第２の操作対象を選択する、
付記２〜付記４の何れか１項に記載の情報処理装置。
前記選択部は、前記第１の操作対象が表示されている向きと対応する向きで表示されている前記第２の操作対象を選択する、
付記２〜付記４の何れか１項に記載の情報処理装置。
（付記６）
前記選択部は、前記第１の操作対象に対して付与された属性と対応する属性を有する前記第２の操作対象を選択する、
付記１〜付記５の何れか１項に記載の情報処理装置。
前記選択部は、前記第１の操作対象に対して付与された属性と対応する属性を有する前記第２の操作対象を選択する、
付記１〜付記５の何れか１項に記載の情報処理装置。
（付記７）
前記選択部は、前記検出部によって複数の前記第１の操作対象が検出された場合、複数の前記第１の操作対象の前記属性の和集合を算出し、前記和集合に含まれる前記属性と対応する属性を有する前記第２の操作対象を選択する、
付記６に記載の情報処理装置。
前記選択部は、前記検出部によって複数の前記第１の操作対象が検出された場合、複数の前記第１の操作対象の前記属性の和集合を算出し、前記和集合に含まれる前記属性と対応する属性を有する前記第２の操作対象を選択する、
付記６に記載の情報処理装置。
（付記８）
表示画面を表示する表示部、及び
前記表示部の前記表示画面に配置されている複数の操作対象に対する操作を受け付ける受付部
を備える表示装置と、
前記表示装置の前記受付部によって受け付けられた前記操作のうちの所定の操作により特定された第１の操作対象を検出する検出部、
前記検出部によって検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択する選択部、及び
前記検出部によって検出された前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象とを前記表示画面に一覧表示するように前記表示装置を制御する制御部
を備える情報処理装置とを含む情報処理システム。
表示画面を表示する表示部、及び
前記表示部の前記表示画面に配置されている複数の操作対象に対する操作を受け付ける受付部
を備える表示装置と、
前記表示装置の前記受付部によって受け付けられた前記操作のうちの所定の操作により特定された第１の操作対象を検出する検出部、
前記検出部によって検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択する選択部、及び
前記検出部によって検出された前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象とを前記表示画面に一覧表示するように前記表示装置を制御する制御部
を備える情報処理装置とを含む情報処理システム。
（付記９）
前記選択部は、前記第１の操作対象との間の表示関係に基づいて、前記第２の操作対象を選択する、
付記８に記載の情報処理システム。
前記選択部は、前記第１の操作対象との間の表示関係に基づいて、前記第２の操作対象を選択する、
付記８に記載の情報処理システム。
（付記１０）
前記選択部は、前記第１の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第２の操作対象を選択する、
付記９に記載の情報処理システム。
前記選択部は、前記第１の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第２の操作対象を選択する、
付記９に記載の情報処理システム。
（付記１１）
前記選択部は、更に、前記第２の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第１の操作対象及び前記第２の操作対象とは異なる第３の操作対象を選択し、
前記制御部は、前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象及び前記第３の操作対象とを前記表示画面に一覧表示するように制御する、
付記１０に記載の情報処理システム。
前記選択部は、更に、前記第２の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第１の操作対象及び前記第２の操作対象とは異なる第３の操作対象を選択し、
前記制御部は、前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象及び前記第３の操作対象とを前記表示画面に一覧表示するように制御する、
付記１０に記載の情報処理システム。
（付記１２）
前記選択部は、前記第１の操作対象が表示されている向きと対応する向きで表示されている前記第２の操作対象を選択する、
付記９〜付記１１の何れか１項に記載の情報処理システム。
前記選択部は、前記第１の操作対象が表示されている向きと対応する向きで表示されている前記第２の操作対象を選択する、
付記９〜付記１１の何れか１項に記載の情報処理システム。
（付記１３）
前記選択部は、前記第１の操作対象に対して付与された属性と対応する属性を有する前記第２の操作対象を選択する、
付記８〜付記１２の何れか１項に記載の情報処理システム。
前記選択部は、前記第１の操作対象に対して付与された属性と対応する属性を有する前記第２の操作対象を選択する、
付記８〜付記１２の何れか１項に記載の情報処理システム。
（付記１４）
前記選択部は、前記検出部によって複数の前記第１の操作対象が検出された場合、複数の前記第１の操作対象の前記属性の和集合を算出し、前記和集合に含まれる前記属性と対応する属性を有する前記第２の操作対象を選択する、
付記１３に記載の情報処理システム。
前記選択部は、前記検出部によって複数の前記第１の操作対象が検出された場合、複数の前記第１の操作対象の前記属性の和集合を算出し、前記和集合に含まれる前記属性と対応する属性を有する前記第２の操作対象を選択する、
付記１３に記載の情報処理システム。
（付記１５）
表示画面に配置されている複数の操作対象に対する所定の操作により特定された第１の操作対象を検出し、
検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択し、
検出された前記第１の操作対象と、選択された前記第２の操作対象とを前記表示画面に一覧表示するように制御する、
処理をコンピュータが実行することを特徴とする情報処理方法。
表示画面に配置されている複数の操作対象に対する所定の操作により特定された第１の操作対象を検出し、
検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択し、
検出された前記第１の操作対象と、選択された前記第２の操作対象とを前記表示画面に一覧表示するように制御する、
処理をコンピュータが実行することを特徴とする情報処理方法。
（付記１６）
前記操作対象を選択する際に、前記第１の操作対象との間の表示関係に基づいて、前記第２の操作対象を選択する、
付記１５に記載の情報処理方法。
前記操作対象を選択する際に、前記第１の操作対象との間の表示関係に基づいて、前記第２の操作対象を選択する、
付記１５に記載の情報処理方法。
（付記１７）
前記操作対象を選択する際に、前記第１の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第２の操作対象を選択する、
付記１６に記載の情報処理方法。
前記操作対象を選択する際に、前記第１の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第２の操作対象を選択する、
付記１６に記載の情報処理方法。
（付記１８）
前記操作対象を選択する際に、更に、前記第２の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第１の操作対象及び前記第２の操作対象とは異なる第３の操作対象を選択し、
前記制御部は、前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象及び前記第３の操作対象とを前記表示画面に一覧表示するように制御する、
付記１７に記載の情報処理方法。
前記操作対象を選択する際に、更に、前記第２の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第１の操作対象及び前記第２の操作対象とは異なる第３の操作対象を選択し、
前記制御部は、前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象及び前記第３の操作対象とを前記表示画面に一覧表示するように制御する、
付記１７に記載の情報処理方法。
（付記１９）
表示画面に表示されている操作対象に対するユーザの操作情報を取得し、
取得された前記操作情報に基づいて、所定の操作を表す第１の操作を検出し、該第１の操作により特定された操作対象を表す第１の操作対象を検出し、
検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択し、
検出された前記第１の操作対象と、選択された前記第２の操作対象とを前記表示画面に一覧表示するように制御する、
処理をコンピュータに実行させるための情報処理プログラム。
表示画面に表示されている操作対象に対するユーザの操作情報を取得し、
取得された前記操作情報に基づいて、所定の操作を表す第１の操作を検出し、該第１の操作により特定された操作対象を表す第１の操作対象を検出し、
検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択し、
検出された前記第１の操作対象と、選択された前記第２の操作対象とを前記表示画面に一覧表示するように制御する、
処理をコンピュータに実行させるための情報処理プログラム。
（付記２０）
表示画面に表示されている操作対象に対するユーザの操作情報を取得し、
取得された前記操作情報に基づいて、所定の操作を表す第１の操作を検出し、該第１の操作により特定された操作対象を表す第１の操作対象を検出し、
検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択し、
検出された前記第１の操作対象と、選択された前記第２の操作対象とを前記表示画面に一覧表示するように制御する、
処理をコンピュータに実行させるための情報処理プログラムを記憶した記憶媒体。
表示画面に表示されている操作対象に対するユーザの操作情報を取得し、
取得された前記操作情報に基づいて、所定の操作を表す第１の操作を検出し、該第１の操作により特定された操作対象を表す第１の操作対象を検出し、
検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択し、
検出された前記第１の操作対象と、選択された前記第２の操作対象とを前記表示画面に一覧表示するように制御する、
処理をコンピュータに実行させるための情報処理プログラムを記憶した記憶媒体。
１０ 情報処理システム
１２ 表示装置
１４ 情報処理装置
１６ 表示部
１８ 受付部
２０ 表示制御部
２２ 情報制御部
２４ 取得部
２６ 初期操作対象検出部
２８ 選択部
５０，８０ コンピュータ
５１，８１ ＣＰＵ
５３，８３ 記憶部
５９，８９ 記録媒体
６０ 表示プログラム
９０ 情報処理プログラム
Ａ，Ｂ，Ｃ，Ｄ ユーザ
Ｔ 操作
Ｖ 表示画面
Ｘ，Ｘ１，Ｘ２，Ｘ３，ＸＡ，ＸＢ，ＸＣ，ＸＤ 操作対象
１２ 表示装置
１４ 情報処理装置
１６ 表示部
１８ 受付部
２０ 表示制御部
２２ 情報制御部
２４ 取得部
２６ 初期操作対象検出部
２８ 選択部
５０，８０ コンピュータ
５１，８１ ＣＰＵ
５３，８３ 記憶部
５９，８９ 記録媒体
６０ 表示プログラム
９０ 情報処理プログラム
Ａ，Ｂ，Ｃ，Ｄ ユーザ
Ｔ 操作
Ｖ 表示画面
Ｘ，Ｘ１，Ｘ２，Ｘ３，ＸＡ，ＸＢ，ＸＣ，ＸＤ 操作対象
Claims (9)
- 表示画面に配置されている複数の操作対象に対する所定の操作により特定された第１の操作対象を検出する検出部と、
前記検出部によって検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択する選択部と、
前記検出部によって検出された前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象とを前記表示画面に一覧表示するように制御する制御部と、
を備える情報処理装置。 - 前記選択部は、前記第１の操作対象との間の表示関係に基づいて、前記第２の操作対象を選択する、
請求項１に記載の情報処理装置。 - 前記選択部は、前記第１の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第２の操作対象を選択する、
請求項２に記載の情報処理装置。 - 前記選択部は、更に、前記第２の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第１の操作対象及び前記第２の操作対象とは異なる第３の操作対象を選択し、
前記制御部は、前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象及び前記第３の操作対象とを前記表示画面に一覧表示するように制御する、
請求項３に記載の情報処理装置。 - 前記選択部は、前記第１の操作対象が表示されている向きと対応する向きで表示されている前記第２の操作対象を選択する、
請求項２〜請求項４の何れか１項に記載の情報処理装置。 - 前記選択部は、前記第１の操作対象に対して付与された属性と対応する属性を有する前記第２の操作対象を選択する、
請求項１〜請求項５の何れか１項に記載の情報処理装置。 - 前記選択部は、前記検出部によって複数の前記第１の操作対象が検出された場合、複数の前記第１の操作対象の前記属性の和集合を算出し、前記和集合に含まれる前記属性と対応する属性を有する前記第２の操作対象を選択する、
請求項６に記載の情報処理装置。 - 表示画面を表示する表示部、及び
前記表示部の前記表示画面に配置されている複数の操作対象に対する操作を受け付ける受付部
を備える表示装置と、
前記表示装置の前記受付部によって受け付けられた前記操作のうちの所定の操作により特定された第１の操作対象を検出する検出部、
前記検出部によって検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択する選択部、及び
前記検出部によって検出された前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象とを前記表示画面に一覧表示するように前記表示装置を制御する制御部
を備える情報処理装置とを含む情報処理システム。 - 表示画面に配置されている複数の操作対象に対する所定の操作により特定された第１の操作対象を検出し、
検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択し、
検出された前記第１の操作対象と、選択された前記第２の操作対象とを前記表示画面に一覧表示するように制御する、
処理をコンピュータが実行することを特徴とする情報処理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017097642A JP2018195025A (ja) | 2017-05-16 | 2017-05-16 | 情報処理装置、情報処理システム、及び情報処理方法 |
| US15/976,103 US20180335931A1 (en) | 2017-05-16 | 2018-05-10 | Apparatus, system, and method for information processing |
| EP18172020.2A EP3404523A1 (en) | 2017-05-16 | 2018-05-14 | Apparatus, system, and method for information processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017097642A JP2018195025A (ja) | 2017-05-16 | 2017-05-16 | 情報処理装置、情報処理システム、及び情報処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018195025A true JP2018195025A (ja) | 2018-12-06 |
Family
ID=62165398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017097642A Pending JP2018195025A (ja) | 2017-05-16 | 2017-05-16 | 情報処理装置、情報処理システム、及び情報処理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20180335931A1 (ja) |
| EP (1) | EP3404523A1 (ja) |
| JP (1) | JP2018195025A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021043484A (ja) * | 2019-09-06 | 2021-03-18 | 富士通株式会社 | ウィンドウ表示システム及びウィンドウの表示制御方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05334372A (ja) * | 1992-03-30 | 1993-12-17 | Toshiba Corp | 事例検索システム |
| JP2007072528A (ja) * | 2005-09-02 | 2007-03-22 | Internatl Business Mach Corp <Ibm> | 文書構造解析方法、プログラム、装置 |
| JP2012014560A (ja) * | 2010-07-02 | 2012-01-19 | Fujitsu Ltd | 図形編集プログラム，図形編集方法及び図形編集装置 |
| JP2014186573A (ja) * | 2013-03-25 | 2014-10-02 | International Business Maschines Corporation | オブジェクト分類方法、装置及びプログラム。 |
| JP2015041316A (ja) * | 2013-08-23 | 2015-03-02 | シャープ株式会社 | 表示制御装置、表示制御方法及びプログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0727349B2 (ja) * | 1985-07-01 | 1995-03-29 | 株式会社日立製作所 | マルチウインドウの表示制御方式 |
| JP2939021B2 (ja) * | 1991-09-30 | 1999-08-25 | 富士通株式会社 | ウィンドウ管理情報入出力装置 |
| JP3378900B2 (ja) * | 1996-06-25 | 2003-02-17 | 富士通株式会社 | オブジェクト編集方法，オブジェクト編集システム及び記録媒体 |
| JP5185745B2 (ja) * | 2008-09-08 | 2013-04-17 | 株式会社エヌ・ティ・ティ・ドコモ | 情報処理装置及びプログラム |
| CN108241465B (zh) * | 2012-05-09 | 2021-03-09 | 苹果公司 | 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置 |
| US20140164989A1 (en) * | 2012-12-10 | 2014-06-12 | Stefan KUHNE | Displaying windows on a touchscreen device |
| JP5900388B2 (ja) | 2013-03-15 | 2016-04-06 | コニカミノルタ株式会社 | オブジェクト表示装置及び操作制御方法並びに操作制御プログラム |
| JP6350261B2 (ja) | 2014-12-17 | 2018-07-04 | コニカミノルタ株式会社 | オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法 |
-
2017
- 2017-05-16 JP JP2017097642A patent/JP2018195025A/ja active Pending
-
2018
- 2018-05-10 US US15/976,103 patent/US20180335931A1/en not_active Abandoned
- 2018-05-14 EP EP18172020.2A patent/EP3404523A1/en not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05334372A (ja) * | 1992-03-30 | 1993-12-17 | Toshiba Corp | 事例検索システム |
| JP2007072528A (ja) * | 2005-09-02 | 2007-03-22 | Internatl Business Mach Corp <Ibm> | 文書構造解析方法、プログラム、装置 |
| JP2012014560A (ja) * | 2010-07-02 | 2012-01-19 | Fujitsu Ltd | 図形編集プログラム，図形編集方法及び図形編集装置 |
| JP2014186573A (ja) * | 2013-03-25 | 2014-10-02 | International Business Maschines Corporation | オブジェクト分類方法、装置及びプログラム。 |
| JP2015041316A (ja) * | 2013-08-23 | 2015-03-02 | シャープ株式会社 | 表示制御装置、表示制御方法及びプログラム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021043484A (ja) * | 2019-09-06 | 2021-03-18 | 富士通株式会社 | ウィンドウ表示システム及びウィンドウの表示制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3404523A1 (en) | 2018-11-21 |
| US20180335931A1 (en) | 2018-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10627990B2 (en) | Map information display device, map information display method, and map information display program | |
| JP6132644B2 (ja) | 情報処理装置、表示制御方法、コンピュータプログラム、及び記憶媒体 | |
| JP6486435B2 (ja) | モバイルデバイス上でのデータ可視化の閲覧および対話のための拡大ツール | |
| US20140157182A1 (en) | Method and apparatus for executing function executing command through gesture input | |
| KR20170041219A (ko) | 렌더링된 콘텐츠와의 호버 기반 상호작용 | |
| JP5664147B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| US20140049499A1 (en) | Touch screen selection | |
| JP5861637B2 (ja) | 情報端末装置及びタッチパネルの表示方法 | |
| JP5925046B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
| JP2017504877A (ja) | フローティングタッチに基づくクリックオブジェクト拡大のための方法および装置 | |
| JP6168756B2 (ja) | 情報処理装置、その制御方法およびプログラム | |
| WO2016173306A1 (zh) | 文本选取方法和装置、文本处理方法和装置 | |
| CN105580024A (zh) | 一种截屏方法及装置 | |
| CN106527915A (zh) | 一种信息处理方法及电子设备 | |
| JP5502943B2 (ja) | 情報処理装置、認証装置、情報処理方法及び情報処理プログラム | |
| JP2011034216A (ja) | 選択オブジェクト決定方法、オブジェクトの前後関係の決定方法及びその装置 | |
| JP4879933B2 (ja) | 画面表示装置、画面表示方法およびプログラム | |
| KR20140117979A (ko) | 터치스크린을 이용한 항목 선택 방법 및 시스템 | |
| JP2018195025A (ja) | 情報処理装置、情報処理システム、及び情報処理方法 | |
| EP2876540B1 (en) | Information processing device | |
| JP2014238700A (ja) | 情報処理装置、表示制御方法、及びコンピュータプログラム | |
| US10019141B2 (en) | Information processing apparatus, information display program, and information display method for controlling a cursor position in a text region and a display region | |
| JP2014048894A (ja) | 表示制御装置およびプログラム | |
| JPWO2014024281A1 (ja) | 電子機器、表示制御方法及びプログラム | |
| JP2001195170A (ja) | 携帯型電子機器、入力制御装置、及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200213 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200930 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210330 |