JP2012048325A - 情報処理装置、その制御方法、プログラム及び記憶媒体 - Google Patents

情報処理装置、その制御方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
JP2012048325A
JP2012048325A JP2010187644A JP2010187644A JP2012048325A JP 2012048325 A JP2012048325 A JP 2012048325A JP 2010187644 A JP2010187644 A JP 2010187644A JP 2010187644 A JP2010187644 A JP 2010187644A JP 2012048325 A JP2012048325 A JP 2012048325A
Authority
JP
Japan
Prior art keywords
touch
objects
display
display control
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010187644A
Other languages
English (en)
Other versions
JP5580694B2 (ja
Inventor
Katsuyuki Kobayashi
克行 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010187644A priority Critical patent/JP5580694B2/ja
Priority to US13/189,239 priority patent/US9250789B2/en
Publication of JP2012048325A publication Critical patent/JP2012048325A/ja
Application granted granted Critical
Publication of JP5580694B2 publication Critical patent/JP5580694B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Digital Computer Display Output (AREA)

Abstract

【課題】 操作者が表示装置の表示画面のどの方向から操作しても、その操作者にとって、選択対象のオブジェクトが正立して表示でき、操作性に優れたユーザインタフェース技術を提供する。
【解決手段】 操作者が指を表示画面に人差し指でタッチすると、そのタッチ位置を中心とする円周上に、その円の中心位置が下となるメニューアイコンを等間隔に表示する(S303)。このとき、人差し指をタッチ状態のまま、親指をタッチすると、その2つのタッチ位置で規定される、親指のタッチ位置側の延長線上に操作者が存在するものとして認識し、各メニューアイコンを、操作者から見て正立して表示させるように再配置する(S309)。
【選択図】 図2

Description

本発明は、座標検出に伴うメニューの表示技術に関するものである。
従来、コンテンツ上にユーザが配置したオブジェクトを整列させる機能を有する描画ツール等が知られている。一般的に、複数のオブジェクトを整列させる場合、まずマウスのドラッグして複数のオブジェクトを選択し、次にマウス右クリックして整列用のメニューを表示させる。そしてメニューに示された項目の中からユーザが所望する種類の整列様式を選択するという一連の手順を踏むのが通例である。
また、直接画面をタッチする事で操作を行うインタラクティブディスプレイも知られている。このインタラクティブディスプレイは表示装置と位置検出装置である所のタッチパネル、あるいは座標入力装置とを一体化したものである。操作者は表示画面を直接タッチする事で表示制御を行え、例えば『紙と鉛筆』のような直感的操作環境が提供される。
この種のタッチパネル、あるいは座標入力装置で、複数の指示位置を検出可能な装置も知られている。
特許文献1には、指示された2点の距離変化、あるいは角度変化に基づき、オブジェクトを拡大、縮小、回転させる技術が開示されている。
特許文献2には、表示手段上の複数の位置が指定されたことを認識する認識手段を有し、第1の指示操作により、複数のオブジェクトを選択できる事が記載されている。更には、その状態で第2の指示操作が同時に行われ、第1の位置又は前記第2の位置の移動が検出されると、移動軌跡に応じて、前記表示手段上の複数のオブジェクトを整列させる整列手段が開示されている。
また特許文献3には第一の指示操作によるオブジェクト選択、第二の指示操作によるスクロール操作が、選択されたオブジェクト以外に作用することが開示されている。
特開2001-290585号公報 特開2010-040029号公報 特開2010-086519号公報
この種のインタラクティブディスプレイは、机の上に垂直に設けられる、あるいは壁に掛けて使うのが通例である。従って、表示するオブジェクトの上下方向を天地方向と一致させる事で、操作者にとって何ら違和感の無い操作環境を提供する事が可能となる。
しかしながら、表示画面が机上にあって複数の操作者がその表示画面の周囲に位置する場合(図7(A))、一方の操作者にとって快適な操作環境は、対向する操作者の好適な操作環境とはならない(図7(B))。つまり、対向する操作者にとっては、オブジェクトの表示が上下反転した状態となり、瞬時の理解の妨げとなる。
本発明は上述した問題を解決するためになされたものであり、操作者が表示装置の表示画面のどの方向から操作しても、その操作者にとって、選択対象のオブジェクトが正立して表示でき、操作性に優れたユーザインタフェース技術を提供しようとするものである。
この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
複数の選択対象のオブジェクトを表示装置の表示画面に表示し、操作者により選択されたオブジェクトに従った処理を行う情報処理装置であって、
前記表示画面に対する操作者のタッチがあるか否かを判定でき、並びに、タッチ位置を少なくとも2つ検出可能な検出手段と、
該検出手段によって、第1のタッチを検出した場合、前記複数の選択対象のオブジェクトのそれぞれを、前記第1のタッチの位置に対する予め設定された位置に、予め設定された向きに配置して表示する第1の表示制御手段と、
該第1の表示制御手段で前記複数の選択対象のオブジェクトを表示した後、前記検出手段が前記第1のタッチを継続して検出しつつ、第2のタッチを検出した場合、前記第1のタッチの位置と前記第2のタッチの位置とを結ぶ線の予め設定した一方向を、各オブジェクトの表示すべき向きとして決定し、前記複数のオブジェクトを前記決定した方向に再配置して表示させる第2の表示制御手段と、
を備え、前記第1の表示制御手段、又は、前記第2の表示制御手段にて表示された、前記複数の選択対象のオブジェクトの1つが選択された場合、選択したオブジェクトに従った処理を実行することを特徴とする。
本発明によれば、操作者が表示装置の表示画面のどの方向から操作しても、その操作者にとって、選択対象のオブジェクトが正立して表示でき、操作性に優れたユーザインタフェース技術を提供することが可能になる。
実施形態の描画モードとメニューモード遷移を示すフローチャート。 メニューモードのフローチャート。 第1、2の実施形態のオブジェクト配列モードのフローチャート。 メニューモードの初期状態を説明する説明図。 第1の実施形態を説明する説明図。 第2の実施形態を説明する説明図。 操作環境を説明する説明図。 実施形態の情報処理装置のブロック構成図。
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
図8は、実施形態における情報処理装置のブロック構成図を示している。本装置は、装置全体の制御を司るCPU100を有する。また、本装置は、BIOSやブートプログラムを記憶しているROM101、CPU100が実行するOS(オペレーティングシステム)やアプリケーション(詳細後述)をロードするため、並びに、ワークエリアとして使用するRAM102を備える。また、本装置は、OSやアプリケーション、各種データファイルを記憶するハードディスクドライブ(HDD)103、液晶等のディスプレイ104等への像の表示制御を行う表示制御部105、表示画面の前面に設けられた透明なタッチパネル106へのタッチ位置を検出する座標検出部106、更にはネットワークインタフェース108を有する。
なお、ディスプレイ104は、図7(A)と同様に、複数の操作者が取り囲めるように、水平なテーブルの上面に設けられているものとする。なお、複数の操作者が水平な面に表示された像を目視できれば良いので、例えば、投影テーブルの上方から映像をその投影テーブルに投影するタイプであっても良いので、上記の構成で本発明が限定されるものではない。また、実施形態では、表示画面上に対する操作者による、少なくとも2つの指示(タッチ)位置が検出可能であれば良く、その座標検出方式は如何なるものであっても良く、その種類は問わない。
上記構成において、本装置の電源がONになると、CPU100はROM101のブートプログラムに従って、HDD103からOSをRAM102にロードする。次いで、CPU100は、HDD103から以下に説明するアプリケーションプログラムをRAM102にロードして実行することで、本装置が以下に説明する、複数の操作者で操作を共有する情報処理装置として機能することとなる。説明を簡単なものとするため、本実施形態の装置は、複数の操作者それぞれが表示画面をタッチしたときに、描画に関するメニュー項目を表示して、その1つを選択させ、選択したメニュー項目に従った処理(描画や編集)を行う例を説明する。
[第1の実施形態]
図7で説明した通り、表示画面が机上にあって複数の操作者がその表示画面の周囲に位置する場合、一方の操作者にとって快適な操作環境は、対向する操作者の好適な操作環境とはならない。なぜなら、操作者に対向する位置の者にとっては、選択対象のオブジェクトの表示が上下反転した状態となり、その理解の妨げとなるからである。
本第1の実施形態では、上述した問題を解決するためになされたものであり、机上に表示されたディスプレイを複数人で取り囲んで、それぞれが操作する場合であっても、それぞれの操作者に好適な操作環境を提供する。
図4(A)は、操作者による第1のタッチ操作により、そのタッチ位置10をタッチし続ける事でメニューモードとなる例を示している。また、図4(A)は、第1のタッチ位置10を中心とする予め設定した半径を持つ円周上に、均等にメニューアイコン11乃至16を配置して表示された状態を示している。この時点で、操作者がディスプレイのどの方向に位置するのかは判別できないので、円周上に沿って等間隔にメニューアイコンを表示させる事は合理的と言える。ここで、図4(A)の矢印方向に操作者の視線の先が有るものとすれば、少なくとアイコン11、及びアイコン12、16は即座に表示内容を把握することは可能であろう。つまり、この例にあっては、視線方向がどの方向に有っても、6個のアイコンの内、3個程度のアイコンについては、操作者が認識できると考えてよい。換言すれば、図4(A)におけるアイコン13、14、15は、操作者から見て上下が反転した表示となり、瞬時に理解するのは難しいと言える。
このことを解決するために、文字を使ったアイコンから、図4(B)に示すように、グラフィカルイメージのアイコンとする事で、上下反転による瞬時の理解を寄り容易にする方法も考えられる。しかしながらグラフィカルイメージによるアイコン表示は、文字によるアイコン表示に比べ、大雑把な情報しか操作者に伝える事が出来ないので、詳細な作業を行うためのメニュー表示としては不向きである。
更には、円周上に均等にアイコンを整列させたために、操作者の腕により、例えばアイコン14、或いは、アイコン24を視認する事が出来なくなると言う不具合もある。
本第1の実施形態では、図5(A)に示すように、まず第1のタッチ操作として、所望の位置10を人差し指でタッチし、その位置を維持しながら所定時間(例えば1、2秒程度)、指示し続ける事によって、メニューモードに遷移する。メニューモードに遷移すると、第1のタッチ位置を略中心として、複数のメニューアイコンを円周上に等間隔に表示する。先に説明した通り、この場合に合っては、図5(A)の矢印方向が操作者の視線方向とすれば、アイコン12、14は上下が略逆さまであり、アイコン13にあっては手、或いは腕によって視認する事が出来ない。
そこで、本第1の実施形態では、上記第1のタッチ位置10が継続されている状態で、図5(B)に示すが如く、第2のタッチ位置20に対する親指によるタッチを検出すると、第1のタッチ位置10から第2のタッチ位置20に向かう方向に操作者が存在するのとして認定し、その認定した操作者の位置から見て正立したメニューアイコンを表示する。すなわち、第2のタッチ位置20から第1のタッチ位置10に向かう、図示の矢印17が表示する文字の上方向として、各メニュー項目を表示する。これにより、全メニューアイコンが、操作者にとって都合の良い方向にでき、判読性を高めることができる。更に、本実施形態では、第1のタッチ位置10を中心とする円周上であり、かつ、第2のタッチ位置20から離れる方向にその間隔を狭めたアイコン11’乃至16’を表示する。
なお、図5(B)の表示は、具体的に次のような処理に従うものとした。第1の表示制御処理(図5(A))で表示した際の各オブジェクトの間隔よりも狭く、且つ、互いに重ならない間隔で、複数の選択対象のメニューアイコンを円周上に配置する。ただし、それら複数の選択対象のメニューアイコンの並びの中央位置が、第1のタッチの位置と第2のタッチの位置とを結ぶ延長線上と円周とが交差する2つの交点のうち、第2のタッチの位置から遠い交点と一致するように配置する。
さて、一旦、図5(B)の表示がされたあと、操作者はそのメニューアイコンの1つがタッチすることで選択を行う。このメニューアイコンの選択を検出すると、そのメニュー表示をやめ、その該当する処理を行うものとする。また、タッチされないまま予め設定した時間経過した場合もメニュー表示は終了し、従前のモードに戻るものとする。
上記のように機能させるためには、第1のタッチ位置10へのタッチと第2のタッチ位置20へのタッチが同一人物による操作であることが必要となる。本実施形態では、第1のタッチ位置10へのタッチを検出して、メニューモードに移行したとき、第1のタッチ位置10から予め設定された距離以内(20cm程度で十分であろう)の位置のタッチを検出したとき、そのタッチは上記第2のタッチ操作であって、同一人物と見なし、上記処理を行うようにした。
以上の結果、操作者がどの方向から操作しても、手や腕に隠れる事無く全てのアイコンを認識可能であるし、かつ視線方向に適した配置に再配列されているので、操作者の理解を容易にする事が可能となる。しかも、人差し指でまずタッチしてメニューアイコンを表示させ、同時に親指によるタッチでこのような再配列を直感的に行う事が出来るので、ストレスの無い、誰でも扱う事が出来る優れた操作性を実現している。
図1乃至図3はこの一連の流れを説明するフローチャートであり、CPU100が実行するアプリケーションプログラムの一部の処理を示している。なお、以下で説明するフラグや変数は、RAM103に確保されるものとして説明する。
まずS101にて、座標検出部107からのタッチ検出/非検出を示す信号を監視し、座標検出がなければフラグModeを0に設定して、S101に戻る。座標検出を知らせる信号を受信すると、S102にて、その際に通知された座標位置をRAM102に記憶して、S103にてフラグModeが0であるかどうかを判定する。フラグMode=0の場合、最初の座標指示を検出したことになるので、S105にてタイマ変数Tを0クリアし、フラグModeを1に設定した上で、S101に戻す。
上記の通りなので、操作者が表示画面の或る位置をタッチしつづけると、S103の判定はNoとなり、処理はS106に進む。このS106ではS102で記憶された座標位置と、現在の座標位置とが比較され、両者が同一値とみなされる場合はS107に進み、同一でない場合には、タッチ位置が変化しているものとして、S109で通常動作モードとしてフラグMode=3とする。
図1(B)に示すように通常モード(S201)の場合、連続的にタッチ動作が行われると、タッチ動作が終了するまで、S202、S203のフローが繰り返され、検出された一連の座標値に基づき情報処理装置による編集処理が実行される。例えば現在使用しているアプリケーションソフトがお絵描きソフトであれば、一連の座標値に従って操作者のタッチ動作により、その軌跡が筆跡として描画される事になる。
一方、図1(A)におけるS106にて、前回検出された座標値と略同一の範囲の座標値が検出された場合には、S107にてカウンタ変数Tをインクリメントして、S108でカウンタ変数Tが予め設定した値T0を超えたか否か、すなわち、閾値T0に相当する所定時間以上、同じ位置をタッチし続けたか否かを判定する。所定時間以上、同一位置をタッチ室づけたと判定した場合、S110に進み、メニューモードに遷移して、フラグModeを4にセットする。
以下、このメニューモードに移行した際の処理を図2のフローチャートに従って説明する。
CPU100は、S302にて、先のS102で記憶した座標位置を第1のタッチ位置として記憶する。そしてS303にて第1のタッチ位置を略中心として、メニューとして必要な複数のアイコン(メニューアイテム)を円周上に均等に表示する(第1の表示制御処理)。つまりタッチ位置と表示画面上の表示は図4(A)、(B)、或いは図5(A)の状態となる。この状態でS304で、第1のタッチ入力が継続して行われているかを判定する。一旦、第1のタッチ入力が解除された(非タッチ状態にした)と判定すると、処理はS305に進む。この状態は、図4(A)の状態で、例えば操作者が、ちょうど正立して表示されたメニューアイコン11をタッチしようとして、指を表示画面から離した状態と言えば、わかりやすい。S305では、表示されたメニューアイコンのいずれかがタッチされたのかを判定する。そして、いずれかのメニューアイコンがタッチされたと判定した場合には、S306でそのアイコンに割り付けられた動作を実行し、S307でフラグMode=0として、表示されたメニューアイコンを表示画面から消去し、メニューモードを終了する。またS305でメニューアイコンを選択してないと判定した場合には、S310に進み、メニュー表示されてから所定時間経過したか否かを判定し、否の場合にはメニューアイコンの選択を待ち、その時間が経過したと判定した場合にはS307にてメニューモードを終了する。
さて、S303にて、その第1のタッチ位置を中心とし、複数のメニューアイコンを表示した後、S304にて、その第1のタッチ位置の入力が継続していると判定した場合には処理はS308に進む。ここでは、第2のタッチ入力が行われたかを判定する。この第2のタッチ入力は、先に説明したように、第1のタッチ位置として認定された座標位置から、予め設定された距離以内に対するタッチであり、その領域外へのタッチは第2のタッチ入力とは見なさない。座標検出が3つ以上検出できるのであれば、そのタッチ入力は別の操作者の第1のタッチ入力の判定を行えば良い。また、座標検出が2点までの場合、そのタッチ入力があったことで、処理が継続できないので、本メニューモードを終了すればよい。
さて、第1のタッチ入力に続けて、その第1のタッチ入力位置から予め設定された距離以内の第2のタッチ入力を検出した場合、同一人物によるタッチ入力と見なせる。そこで、CPU100は、第2の表示制御処理であるS309に進め、表示された複数のメニューアイコンの配列処理を行う(オブジェクト配列制御モードに移行する)ことで、図5(A)の状態から図5(B)の状態にする(詳細後述)。操作者は、図5(B)の表示画面を目視し、目的とするメニューアイコンを選択するため、一旦、指を表示画面から離すことになる。従って、この後の処理は、S308→S304→S305へと進め、メニューアイコンを選択することになる。
第1の実施形態における上記S309のオブジェクト配列制御モードの動作を図3(A)のフローチャートに従って説明する。
CPU100は、先ずS402にて、先のS302で記憶されている第1のタッチ位置と、今回検出された第2のタッチ位置に基づき、操作者が、第1のタッチ位置と第2のタッチ位置とを結ぶ延長線の一方向(第1のタッチ位置から第2のタッチ位置側に向かう延長線方向)に存在するものとし、表示するメニューアイコンの「上」をその逆(図5(B)における矢印17の方向)として決定する。そして。S403で、第1のタッチ位置に関して第2のタッチ位置と反対側に、メニューアイコンを再配列して表示する。具体的には、第1のタッチ位置10を中心とする円周上の、第1のタッチ位置と第2のタッチ位置とを結ぶ延長線との2つの交点のうち、第2のタッチ位置から遠い方の交点の位置を、表示すべき複数のメニューアイコンの中央のメニューアイコンの表示位置とし、その中心位置から両方に、予め設定した等間隔に各メニューアイコンを表示する。このときの間隔は、勿論、第2のラッチ位置検出される以前のメニューアイコンの表示間隔よりも小さく、各メニューアイコンが互いに重なり合わない程度までに近接させた距離である。また、このとき、CPU100は、各メニューアイコンを、矢印17が示す方向が操作者から見た場合の「上」になるように表示する。上記の結果、図5(B)の状態でメニューアイコンが表示されることになる。そして、S405にて、オブジェクト配列制御モードを終了して、フラグMode=4としてS308に戻る事になる。
以上の結果、図5(A)の状態から図5(B)の状態へ、メニューアイコンを再配列する事が可能であり、操作者はどの方向から操作しても、オブジェクトの内容を瞬時に理解することが可能となる。また操作者の直感的操作で実現しているので、特別な訓練を必要とする事無く、誰もが簡単に使える優れた操作環境を提供する事が可能となる。更には、机の天板を表示面として、表示面を複数人で囲んで操作する好適な情報処理装置を提供する事が出来るようになる。
[第2の実施形態]
以下、図6(A)乃至(C)に従い、本願発明に係る第2の実施形態を説明する。
図6(A)は第1の実施形態で説明した図5(B)の状態を示したものであり、第1のタッチ位置10、及び第2のタッチ位置20のタッチ動作が継続して行われているものとする。この状態で腕を動かして第1、第2のタッチ位置を平行移動したものとすれば、図6(A)に示されるアイコンの表示状態が、その移動動作に伴ってリアルタイムに再配列されて更新表示するようにしても良い。
また図6(B)に示されるように、矢印方向17に沿って親指を移動、つまり第1のタッチ位置と第2のタッチ位置間の距離が変化した場合、移動後の第1,第2のタッチの位置に従い、メニューアイコンの姿勢を保持したまま、メニューアイコンの大きさをリアルタイムに変化できるように更新表示しても良い(第1のタッチ位置と第2のタッチ位置との距離に比例して、アイコンのサイズを変更する)。更には、その動作に伴うメニューアイコンの重なりを避けるために、アイコンが配列されている円周の半径を変更できるようにしても良い。
更には、図6(C)に示されるように、第2のタッチ位置(親指)を動かす事によって、第1のタッチ位置と第2のタッチ位置によって定義される方向を矢印17から矢印18の方向に変化させたとする。そのように操作する事で、表示されているアイコンを円周方向に回転させる、或いはアイコンの姿勢を変える事により、姿勢の調整が行える様にしても良い。
このように構成する事で、操作者にとってより好適な操作環境を提供できる優れた効果が得られるようになる。
図3(B)は、本第2の実施形態におけるオブジェクト配列制御モード(図2のS309)の処理である。他の処理は、第1の実施形態と同じとして、その説明は省略する。
CPU100は、先ずS501にて、第2の実施形態におけるオブジェクト配列制御モードを開始する。そして、S502では、先に示したS302で記憶されている第1のタッチ位置と、今回検出された第1のタッチ位置との差分を計算する。S503では第2のタッチ位置に基づき、今検出された第1のタッチ位置と今検出された第2のタッチ位置とで定義される方向を算出して記憶する。S504では、両者間の距離を算出する。S505ではS502で算出された第1のタッチ位置の移動量に基づき、メニューアイコンを図6(A)の状態で平行移動させて再々表示する。更にはS505にて、S503で計算された方向に基づき、図6(C)に示されるようにメニューアイコンの姿勢を調整して再々表示する。更にはS505にて、S504で計算された距離情報に基づき、図6(B)に示されるようなメニューアイコンの大きさを調整して再々表示する。S506では第1の入力、第2の入力が継続しているかを判定し、継続している場合はS502に戻る。そして第1、及び、第2のタッチ位置がの変化に基づき、S502、S503、S504で演算が実行され、S505でメニューアイコンの再配置が行われる。またS506で第1,第2のタッチが解除されたと判定した場合、操作者が、その時点で表示&配列されたメニューアイコン中から目的とする1つを選択するために、タッチを解除したものと見なし、オブジェクト配列制御モードを終了してフラグMode=4とセットする。
以上の動作により、図6(A)乃至(C)で示されるようなメニューアイコンの再配置、再表示を行う事が可能となる。
なお、以上の実施形態においては、メニューアイコンの再配列、再表示が完了して、操作者にとって好適な表示が行われると、操作者が目的とするメニューアイコンを選択するために、一旦、指を表示画面から離すものとして説明した。しかしながらこれに限定されるものではなく、例えば、図2において、操作者がS304,S308、S309、S308の操作を経て好適なメニュー表示形態にすると、S304に戻るが、この時、第二の入力を中断し、継続して第一の入力のみを行っていれば、以後S304、S308をループする。そして第一の入力を中断すると、最後に出力された第一の入力の位置情報に基づき、S305でアイコンを選択したかの判定が行われる。アイコンを選択した場合には、割りつけられたコマンドを実行する事になるし、アイコンの選択が行われなかった場合には、S307へ移行し、メニューモードを終了するように動作しても良い。
[第3の実施形態]
以上の説明にあっては、第1のタッチを同一点で長押しすることで、そのタッチ位置を略中心としてメニューアイコンが円周上に表示される例(メニュー表示モードに遷移)で説明したがこれに限定されるものではない。つまり、円周状とは限らず第1のタッチ位置を内包する周囲にメニュ−アイコンが表示されても良い。
更には、第1のタッチに基づき、複数のオブジェクトが選択された状態になれば本願発明の適用は可能であり、本願発明の実施形態で説明したメニュー表示のユースケースに限定されるものでもない。
具体的には例えば、第1のタッチに基づき閉ループを描く事により、閉ループ内に配置されているオブジェクトを選択する。そして第1のタッチが行われている状態で、第2のタッチを行う事で、第1のタッチ位置を略中心として、円周上にオブジェクトが再配置される。しかもそのオブジェクトは第1のタッチ位置に関して第2のタッチ位置と反対側に、かつ、第1のタッチ位置と第2のタッチ位置で定義されるベクトルに基づき、オブジェクトの上下方向が決定されている。
このように構成する事で、操作者がどの方向から操作しても、オブジェクトの内容を瞬時に理解し、直感的で操作性に優れた環境を提供する事が可能となる。
更には、オブジェクト配列制御処理では、以上の説明にあっては第1のタッチ値を略中心とした円弧状に再配列すると説明してきたが、これに限定されるものではない。第1のタッチ位置に関して、第2のタッチ位置と反対側に、直線状に配置しても良い事は言うまでも無い。
さらには本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
以上の説明のように、本実施形態によれば、机やテーブルの天板に設けられたディスプレイを取り囲むようにして操作者が共同作業を行うような場合であっても、各々の操作者にとってオブジェクトを最適な形態で表示させる事が可能となる。しかも人差し指、親指による操作のみで直感的に実現できるので、ストレスフリーな操作環境を提供できる優れた効果が得られる。
なお、実施形態では、操作者が人差し指、次いで、親指をタッチするものとして説明したが、タッチする順番はこの順番でなくても構わない。要するに、第1のタッチに後続して第2のタッチによって操作者の存在する方向、換言すれば、メニューアイコン等のオブジェクトを上と下の向かう方向を特定して、操作者から正立して表示させれば良い。また、実施形態では、机等の複数の人間が取り囲むシステムを前提にして説明したが、例えば、形態端末等の表示装置に適用しても構わない。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (6)

  1. 複数の選択対象のオブジェクトを表示装置の表示画面に表示し、操作者により選択されたオブジェクトに従った処理を行う情報処理装置であって、
    前記表示画面に対する操作者のタッチがあるか否かを判定でき、並びに、タッチ位置を少なくとも2つ検出可能な検出手段と、
    該検出手段によって、第1のタッチを検出した場合、前記複数の選択対象のオブジェクトのそれぞれを、前記第1のタッチの位置に対する予め設定された位置に、予め設定された向きに配置して表示する第1の表示制御手段と、
    該第1の表示制御手段で前記複数の選択対象のオブジェクトを表示した後、前記検出手段が前記第1のタッチを継続して検出しつつ、第2のタッチを検出した場合、前記第1のタッチの位置と前記第2のタッチの位置とを結ぶ線の予め設定した一方向を、各オブジェクトの表示すべき向きとして決定し、前記複数のオブジェクトを前記決定した方向に再配置して表示させる第2の表示制御手段と、
    を備え、前記第1の表示制御手段、又は、前記第2の表示制御手段にて表示された、前記複数の選択対象のオブジェクトの1つが選択された場合、選択したオブジェクトに従った処理を実行することを特徴とする情報処理装置。
  2. 前記第1の表示制御手段は、前記第1のタッチの位置を予め設定された半径を持つ円の中心とし、前記円の円周上に等間隔で、且つ、前記中心から見た場合に正立する向きに、前記複数の選択対象のオブジェクトそれぞれを配置して表示し、
    前記第2の表示制御手段は、前記第1の表示制御手段で表示した際の各オブジェクトの間隔よりも狭く、且つ、互いに重ならない間隔で前記複数の選択対象のオブジェクトを前記円周上に配置し、且つ、前記複数の選択対象のオブジェクトの並びの中央位置が、前記第1のタッチの位置と前記第2のタッチの位置とを結ぶ線と前記円周とが交差する2つの交点のうち、前記第2のタッチの位置から遠い交点と一致するように、前記複数の選択対象のオブジェクトを配置して表示する
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記第2の表示制御手段が前記複数の選択対象のオブジェクトを表示した後、前記第1のタッチ、及び、前記第2のタッチが共にタッチ状態のままで、少なくともいずれかの位置が移動した場合、移動後の前記第1,第2のタッチの位置に従って前記複数の選択対象のオブジェクトの配置を更新する更新手段を備え、
    当該更新手段は、前記第1のタッチの位置と前記第2のタッチの位置との距離に応じて前記円の半径と前記複数の選択対象のオブジェクトのサイズを変更する手段を含むことを特徴とする請求項2に記載の情報処理装置。
  4. 複数の選択対象のオブジェクトを表示装置の表示画面に表示し、前記表示画面に対する操作者のタッチがあるか否かを判定でき、並びに、タッチ位置を少なくとも2つ検出可能な検出手段を有し、操作者により選択されたオブジェクトに従った処理を行う情報処理装置の制御方法であって、
    前記検出手段によって、第1のタッチを検出した場合、第1の表示制御手段が、前記複数の選択対象のオブジェクトのそれぞれを、前記第1のタッチの位置に対する予め設定された位置に、予め設定された向きに配置して表示する第1の表示制御工程と、
    該第1の表示制御工程で前記複数の選択対象のオブジェクトを表示した後、前記検出手段が前記第1のタッチを継続して検出しつつ、第2のタッチを検出した場合、第2の表示制御手段が、前記第1のタッチの位置と前記第2のタッチの位置とを結ぶ線の予め設定した一方向を、各オブジェクトの表示すべき向きとして決定し、前記複数のオブジェクトを前記決定した方向に再配置して表示させる第2の表示制御工程と、
    を備え、前記第1の表示制御工程、又は、前記第2の表示制御工程にて表示された、前記複数の選択対象のオブジェクトの1つが選択された場合、選択したオブジェクトに従った処理を実行することを特徴とする情報処理装置の制御方法。
  5. 表示手段と、当該表示手段の表示画面に対する操作者のタッチがあるか否か、並びに、タッチ位置を少なくとも2つ検出可能な検出手段とを有するコンピュータを、
    前記検出手段によって、第1のタッチを検出した場合、前記複数の選択対象のオブジェクトのそれぞれを、前記第1のタッチの位置に対する予め設定された位置に、予め設定された向きに配置して表示する第1の表示制御手段と、
    該第1の表示制御手段で前記複数の選択対象のオブジェクトを表示した後、前記検出手段が前記第1のタッチを継続して検出しつつ、第2のタッチを検出した場合、前記第1のタッチの位置と前記第2のタッチの位置とを結ぶ線の予め設定した一方向を、各オブジェクトの表示すべき向きとして決定し、前記複数のオブジェクトを前記決定した方向に再配置して表示させる第2の表示制御手段として機能させ、
    前記第1の表示制御手段、又は、前記第2の表示制御手段にて表示された、前記複数の選択対象のオブジェクトの1つが選択された場合、前記コンピュータに、選択したオブジェクトに従った処理を実行させることを特徴とするプログラム。
  6. 請求項5に記載のプログラムを記録したことを特徴とするコンピュータが読み込み可能な記憶媒体。
JP2010187644A 2010-08-24 2010-08-24 情報処理装置、その制御方法、プログラム及び記憶媒体 Active JP5580694B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010187644A JP5580694B2 (ja) 2010-08-24 2010-08-24 情報処理装置、その制御方法、プログラム及び記憶媒体
US13/189,239 US9250789B2 (en) 2010-08-24 2011-07-22 Information processing apparatus, information processing apparatus control method and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010187644A JP5580694B2 (ja) 2010-08-24 2010-08-24 情報処理装置、その制御方法、プログラム及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2012048325A true JP2012048325A (ja) 2012-03-08
JP5580694B2 JP5580694B2 (ja) 2014-08-27

Family

ID=45696502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010187644A Active JP5580694B2 (ja) 2010-08-24 2010-08-24 情報処理装置、その制御方法、プログラム及び記憶媒体

Country Status (2)

Country Link
US (1) US9250789B2 (ja)
JP (1) JP5580694B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014035573A (ja) * 2012-08-07 2014-02-24 Ricoh Co Ltd 情報処理装置及びプログラム
JP2014071765A (ja) * 2012-09-28 2014-04-21 Fujifilm Corp 画像表示制御装置、画像表示装置、プログラム及び画像表示方法
KR20140088446A (ko) * 2013-01-02 2014-07-10 삼성전자주식회사 마우스 기능 제공 방법 및 이를 구현하는 단말
JP2014197431A (ja) * 2012-07-06 2014-10-16 シャープ株式会社 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体
JP2015041316A (ja) * 2013-08-23 2015-03-02 シャープ株式会社 表示制御装置、表示制御方法及びプログラム
JP2015088179A (ja) * 2013-09-27 2015-05-07 パナソニックIpマネジメント株式会社 表示装置、表示制御方法、及び表示制御プログラム
JPWO2013157330A1 (ja) * 2012-04-20 2015-12-21 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2016045544A (ja) * 2014-08-20 2016-04-04 コニカミノルタ株式会社 入力/表示装置および画像形成装置
JP2016106307A (ja) * 2016-01-20 2016-06-16 コニカミノルタ株式会社 画像形成装置、画像形成装置の制御方法、及び画像形成装置の制御プログラム
JP2017139028A (ja) * 2012-09-13 2017-08-10 グーグル インコーポレイテッド タッチスクリーンによるラジアルメニューの提供
JP2017212005A (ja) * 2017-08-02 2017-11-30 シャープ株式会社 表示装置、表示方法及びプログラム
US10261612B2 (en) 2013-02-22 2019-04-16 Samsung Electronics Co., Ltd. Apparatus and method for recognizing proximity motion using sensors
US10394434B2 (en) 2013-02-22 2019-08-27 Samsung Electronics Co., Ltd. Apparatus and method for recognizing proximity motion using sensors
CN111327832A (zh) * 2020-03-31 2020-06-23 厦门美图之家科技有限公司 拍照参数调节方法、装置、电子设备和可读存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5855862B2 (ja) * 2011-07-07 2016-02-09 オリンパス株式会社 撮像装置、撮像方法およびプログラム
US10001898B1 (en) 2011-07-12 2018-06-19 Domo, Inc. Automated provisioning of relational information for a summary data visualization
US9202297B1 (en) 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
JP5594910B2 (ja) * 2012-04-09 2014-09-24 京セラドキュメントソリューションズ株式会社 表示入力装置及びこれを備えた画像形成装置
JP5663519B2 (ja) * 2012-04-10 2015-02-04 京セラドキュメントソリューションズ株式会社 表示入力装置および画像形成装置
JP5754410B2 (ja) * 2012-04-13 2015-07-29 トヨタ自動車株式会社 表示装置
CN106325726B (zh) * 2015-06-30 2019-12-13 中强光电股份有限公司 触控互动方法
CN105335065A (zh) * 2015-10-10 2016-02-17 腾讯科技(深圳)有限公司 一种信息处理方法、终端及计算机存储介质
US10216405B2 (en) * 2015-10-24 2019-02-26 Microsoft Technology Licensing, Llc Presenting control interface based on multi-input command
JP7118656B2 (ja) * 2018-02-08 2022-08-16 キヤノン株式会社 情報処理装置、その制御方法、及びプログラム
EP3575943B1 (en) * 2018-05-29 2021-04-07 Advanced Digital Broadcast S.A. System and method for a virtual keyboard
JP2022147337A (ja) * 2021-03-23 2022-10-06 株式会社リコー 表示装置、表示方法、プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006228215A (ja) * 2005-02-14 2006-08-31 Mitsubishi Electric Research Laboratories Inc タッチセンシティブグラフィカルユーザインタフェースの動作方法およびタッチセンシティブグラフィカルユーザインタフェース
JP2009525538A (ja) * 2006-01-30 2009-07-09 アップル インコーポレイテッド マルチポイント感知装置を用いたジェスチャリング
WO2009104062A2 (en) * 2008-02-18 2009-08-27 Sony Ericsson Mobile Communications Ab Selecting a layout
US20100083109A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for handling interactions with multiple users of an interactive input system, and interactive input system executing the method
US20100177931A1 (en) * 2009-01-15 2010-07-15 Microsoft Corporation Virtual object adjustment via physical object detection

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4803883B2 (ja) 2000-01-31 2011-10-26 キヤノン株式会社 位置情報処理装置及びその方法及びそのプログラム。
JP4899991B2 (ja) * 2007-03-30 2012-03-21 富士ゼロックス株式会社 表示装置及びプログラム
WO2009018314A2 (en) * 2007-07-30 2009-02-05 Perceptive Pixel, Inc. Graphical user interface for large-scale, multi-user, multi-touch systems
US8519965B2 (en) * 2008-04-23 2013-08-27 Motorola Mobility Llc Multi-touch detection panel with disambiguation of touch coordinates
JP5500855B2 (ja) 2008-07-11 2014-05-21 キヤノン株式会社 情報処理装置及びその制御方法
JP5279646B2 (ja) 2008-09-03 2013-09-04 キヤノン株式会社 情報処理装置、その動作方法及びプログラム
KR20100039024A (ko) * 2008-10-07 2010-04-15 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006228215A (ja) * 2005-02-14 2006-08-31 Mitsubishi Electric Research Laboratories Inc タッチセンシティブグラフィカルユーザインタフェースの動作方法およびタッチセンシティブグラフィカルユーザインタフェース
JP2009525538A (ja) * 2006-01-30 2009-07-09 アップル インコーポレイテッド マルチポイント感知装置を用いたジェスチャリング
WO2009104062A2 (en) * 2008-02-18 2009-08-27 Sony Ericsson Mobile Communications Ab Selecting a layout
US20100083109A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for handling interactions with multiple users of an interactive input system, and interactive input system executing the method
US20100177931A1 (en) * 2009-01-15 2010-07-15 Microsoft Corporation Virtual object adjustment via physical object detection

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013157330A1 (ja) * 2012-04-20 2015-12-21 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2014197431A (ja) * 2012-07-06 2014-10-16 シャープ株式会社 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体
JP2014035573A (ja) * 2012-08-07 2014-02-24 Ricoh Co Ltd 情報処理装置及びプログラム
JP2017139028A (ja) * 2012-09-13 2017-08-10 グーグル インコーポレイテッド タッチスクリーンによるラジアルメニューの提供
JP2014071765A (ja) * 2012-09-28 2014-04-21 Fujifilm Corp 画像表示制御装置、画像表示装置、プログラム及び画像表示方法
US9880642B2 (en) 2013-01-02 2018-01-30 Samsung Electronics Co., Ltd. Mouse function provision method and terminal implementing the same
JP2014132456A (ja) * 2013-01-02 2014-07-17 Samsung Electronics Co Ltd マウス機能提供方法およびこれを具現する端末
KR20140088446A (ko) * 2013-01-02 2014-07-10 삼성전자주식회사 마우스 기능 제공 방법 및 이를 구현하는 단말
KR102044826B1 (ko) * 2013-01-02 2019-11-14 삼성전자 주식회사 마우스 기능 제공 방법 및 이를 구현하는 단말
US10261612B2 (en) 2013-02-22 2019-04-16 Samsung Electronics Co., Ltd. Apparatus and method for recognizing proximity motion using sensors
US10394434B2 (en) 2013-02-22 2019-08-27 Samsung Electronics Co., Ltd. Apparatus and method for recognizing proximity motion using sensors
US10921926B2 (en) 2013-02-22 2021-02-16 Samsung Electronics Co., Ltd. Apparatus and method for recognizing proximity motion using sensors
JP2015041316A (ja) * 2013-08-23 2015-03-02 シャープ株式会社 表示制御装置、表示制御方法及びプログラム
JP2015088179A (ja) * 2013-09-27 2015-05-07 パナソニックIpマネジメント株式会社 表示装置、表示制御方法、及び表示制御プログラム
JP2016045544A (ja) * 2014-08-20 2016-04-04 コニカミノルタ株式会社 入力/表示装置および画像形成装置
JP2016106307A (ja) * 2016-01-20 2016-06-16 コニカミノルタ株式会社 画像形成装置、画像形成装置の制御方法、及び画像形成装置の制御プログラム
JP2017212005A (ja) * 2017-08-02 2017-11-30 シャープ株式会社 表示装置、表示方法及びプログラム
CN111327832A (zh) * 2020-03-31 2020-06-23 厦门美图之家科技有限公司 拍照参数调节方法、装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
US20120050192A1 (en) 2012-03-01
JP5580694B2 (ja) 2014-08-27
US9250789B2 (en) 2016-02-02

Similar Documents

Publication Publication Date Title
JP5580694B2 (ja) 情報処理装置、その制御方法、プログラム及び記憶媒体
US8286096B2 (en) Display apparatus and computer readable medium
JP5790203B2 (ja) 情報処理装置、情報処理方法、プログラム、および遠隔操作システム
JP4904375B2 (ja) ユーザインタフェース装置及び携帯端末装置
US10282081B2 (en) Input and output method in touch screen terminal and apparatus therefor
US9524097B2 (en) Touchscreen gestures for selecting a graphical object
KR101701492B1 (ko) 데이터 표시 방법 및 그를 수행하는 단말기
US20120176336A1 (en) Information processing device, information processing method and program
US20140015785A1 (en) Electronic device
JP2004078693A (ja) 視野移動操作方法
KR20150031986A (ko) 디스플레이장치 및 그 제어방법
JP2009276819A (ja) ポインティング装置の制御方法およびポインティング装置、並びにコンピュータプログラム
KR20150094967A (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
CN104035716A (zh) 触摸屏操作方法和装置以及终端
US20140195935A1 (en) Information processing device, information processing method, and information processing program
JPH10283115A (ja) 表示入力装置
KR20160019762A (ko) 터치 스크린 한손 제어 방법
US20180173398A1 (en) Touch panel type information terminal device, information input processing method and program thereof
JPH08320755A (ja) 情報処理装置
JP6087602B2 (ja) 電子黒板
JP2009301523A (ja) タッチパネル式操作電子機器
JP5841109B2 (ja) ユーザインタフェース装置及び携帯端末装置
JP2015200977A (ja) 情報処理装置、コンピュータプログラムおよび記録媒体
KR20100131081A (ko) 아이콘 박스의 변경에 따라 아이콘을 재배치하는 이동통신 단말기 및 그 제어방법
JP6027735B2 (ja) 表示装置および表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140711

R151 Written notification of patent or utility model registration

Ref document number: 5580694

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151