JP5371626B2 - 表示制御装置、表示制御装置の制御方法、プログラム及び記憶媒体 - Google Patents

表示制御装置、表示制御装置の制御方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
JP5371626B2
JP5371626B2 JP2009189329A JP2009189329A JP5371626B2 JP 5371626 B2 JP5371626 B2 JP 5371626B2 JP 2009189329 A JP2009189329 A JP 2009189329A JP 2009189329 A JP2009189329 A JP 2009189329A JP 5371626 B2 JP5371626 B2 JP 5371626B2
Authority
JP
Japan
Prior art keywords
display
guide information
touch input
gesture
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009189329A
Other languages
English (en)
Other versions
JP2011039989A (ja
JP2011039989A5 (ja
Inventor
徹也 羽田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009189329A priority Critical patent/JP5371626B2/ja
Priority to US12/854,810 priority patent/US9134898B2/en
Publication of JP2011039989A publication Critical patent/JP2011039989A/ja
Publication of JP2011039989A5 publication Critical patent/JP2011039989A5/ja
Application granted granted Critical
Publication of JP5371626B2 publication Critical patent/JP5371626B2/ja
Priority to US14/798,246 priority patent/US10671203B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、タッチパネルへのジェスチャー操作入力のための表示制御装置及び表示制御装置の制御方法に関する。
近年、表示部にタッチパネルを備え、直感的な操作が可能となったデジタル機器が登場している。それらの機器ではタッチパネルで構成される表示画面上に置かれているボタンアイコンで機能を実行させるだけでなく、ジェスチャー認識させて機能を呼び出すことも可能である。ジェスチャー認識による機能発動では、タッチパネルに対する入力軌跡が所定の軌跡パターンに該当した場合に、軌跡パターンに予め割り当てられた機能を発動する。軌跡のパターンに対しては様々な機能を割り当てることが可能であり、ユーザ任意の機能を割り当てることもできる。
このようなジェスチャー認識による機能発動を利用する際、ユーザがジェスチャーのためのドラッグ(以下、ジェスチャー操作とも称する)を行っている途中で誤ったジェスチャー操作をしていることに気づく場合がある。そのため、ジェスチャー操作の途中でジェスチャー認識による機能発動をキャンセルする技術が求められている。
例えば特許文献1では、ドラッグによるストロークの途中で静止したままジェスチャー取り消しタイムアウト期間を超えた場合や、ストロークが大きすぎた場合にジェスチャー認識による機能発動をキャンセルする方法が開示されている。また、ジェスチャーの途中で他の入力装置からの入力があった場合にジェスチャー認識による機能発動をキャンセルをする方法が開示されている。
特開平08−016314号公報
しかし、特許文献1に記載の方法では、ジェスチャー操作を行い、タッチパネルを離した後にジェスチャー認識が実行される。そのため、ユーザは現在までのジェスチャー操作が装置にどのように認識されているかをジェスチャー操作の途中で確認することができず、タッチパネルを離してみるまではどのような機能が発動されるのか分からなかった。そのため、意図しない機能を発動してしまうパターンを誤って入力していた場合にも、ユーザはそれに気づくことができないためにキャンセルできず、意図しない機能が実行されてしまうという問題があった。
本発明は上記の課題に鑑み、ジェスチャー操作を用いた機能発動において、意図しない機能の発動をより確実に防ぐことができる表示制御装置を提供することを目的とする。
上記課題を解決するために、本発明の表示制御装置は、
表示手段の表示画面上へのタッチ入力を検出する検出手段と、
前記検出手段で検出しているタッチ入力の移動に応じて、タッチ入力の移動によるジェスチャー操作によって実行可能な機能として割り当てられた機能のうち、該タッチ入力での現在までのタッチ位置の移動に続く操作で実行可能な機能を表す第1のガイド情報を前記表示手段に表示し、前記検出しているタッチ入力でのタッチ位置の移動が第1の条件を満たすと、前記第1のガイド情報で表示した機能のうち、その時点で前記タッチ入力が解除された場合に実行される機能を識別可能とした第2のガイド情報を表示し、前記第1の条件が満たされた後に、該タッチ入力でのタッチ位置の移動が第2の条件を満たすと、該タッチ入力が解除される前であっても前記第2のガイド情報を非表示とするように制御する表示制御手段と、
前記第2のガイド情報が表示された状態で前記タッチ入力が解除されると、前記第2のガイド情報が表す機能を実行するように制御し、前記第2の条件が満たされたことによって前記第2のガイド情報が非表示とされた後に前記タッチ入力が解除されると、前記ジェスチャー操作に割り当てられたいずれの機能も実行しないように制御する制御手段と
を有することを特徴とする。
本発明によれば、ジェスチャー操作の途中でどのような機能が発動されるのかを識別した上でジェスチャー操作を行えるので、より確実に意図しない機能の発動を防ぐことができる。
デジタルカメラのブロック図。 ジェスチャー動作とアプリケーションの割り当てを示す図。 ジェスチャー認識処理のフローチャート。 ガイダンス表示のフローチャート。 ジェスチャー確定のフローチャート。 ジェスチャー機能発動のフローチャート。 (a)は、画像のみが表示されているディスプレイの図、(b)は、ジェスチャー認識時のガイダンス表示図。 (a)は、ジェスチャー確定時のガイダンス表示図、(b)は、ジェスチャー発動後の図。 ジェスチャー機能発動のフローチャート。 ジェスチャー機能発動のフローチャート。
以下、図面を参照して本発明の好適な実施形態を説明する。
図1は本発明が実施されうる表示制御装置の一例としてのデジタルカメラ100の構成例を示している。CPU101はコンテンツ管理装置の動作を制御する演算処理装置であり、入力部105等を介してユーザからの指示受け付けをし、後述する各種プログラムを実行し、ディスプレイ104の表示制御を行う。撮像部102では画像の撮影を行う。メモリ103はCPU101のワークエリアとして使用される。ディスプレイ104は本実施形態によるグラフィックユーザインターフェースを表示するための表示部であり、この表示部上に後述する画像や表示アイテムが表示される。入力部105は、ユーザからの指示を受け付けるための入力部であり、本実施形態では、ディスプレイ104の表示画面上に設けられたタッチパネル113を含む入力デバイスである。すなわち、入力部105は、ディスプレイ104の表示画面上へのタッチ入力を検出し、その情報をCPU101に提供する。ユーザは入力部105を使用することで、コンテンツ管理プログラムを実行できるような構成となっている。
記録媒体ドライブ106は、CD−ROMやDVD−ROM、フラッシュメモリ等からなる外部記録媒体108に格納されているデータの読み出しや、外部記録媒体108にデータの書き込みを行う装置である。外部記録媒体108には、撮像部102で撮像された画像や、CPU101が実行するプログラムが記憶されているものとする。I/F107は通信回線109を介してネットワーク110と接続される。センサ112は、加速度センサ等からなる振動検知手段であり、デジタルカメラ100の姿勢や振動の検出を行う。CPU101はセンサ112で検出した振動に基づいてディスプレイ104に表示されている画像の切り替えや回転などの各種機能を実行することができる。CPU101がI/F107を介してネットワーク110上にあるプログラムを実行することも可能であり、ネットワーク110上のプログラムにも本発明を適用できる。
上述のように、入力部105はタッチパネル113を有し、タッチパネル113への接触位置を検出し、検出した位置を内部バス111を通じてCPU101に通知する。CPU101は、通知された接触位置に基づいて、タッチパネル113を指やペンで触れる(以下タッチダウンと称する)、離す(以下タッチアップ、又はタッチ入力の解除と称する)、触れたまま移動する(以下ドラッグと称する)といった操作を検出する。なお、CPU101は、タッチパネル113上をタッチダウンから一定距離以上のドラッグを経てタッチアップをしたときにストロークが描かれたと判断する。そして、このストロークの形状が、予め登録されているジェスチャーのいずれかに該当する場合、CPU101は、該当したジェスチャーに対応付けられている機能を実行する。
本実施形態における前提条件を述べる。デジタルカメラ100が認識できる、ユーザの操作指示を示すジェスチャーパターンを図2に示す。本例では、1ストローク中に第1の方向(本例ではY方向)のタッチ入力の移動軌跡とこれに続く第2の方向(本例ではX方向)のタッチ入力の移動軌跡を持つ4つのストロークパターンとする。より厳密には、表示画面上でのタッチ位置の第1の方向の移動成分が所定距離以上となった後に、該タッチ位置の前記表示画面上で該第1の方向と垂直な第2の方向の移動成分が所定距離以上となるストロークパターンである(第1の条件)。移動軌跡とは、タッチ入力のドラッグにより描かれる軌跡である。そして、これらパターンをジェスチャー1、ジェスチャー2、ジェスチャー3、ジェスチャー4と名づける。なお、タッチ入力のX成分、Y成分とは、図7の(a)に示した座標系700におけるX方向、Y方向のタッチ入力成分である。またこれらジェスチャーにあらかじめ割り当てられた機能をそれぞれ機能F1、機能F2、機能F3、機能F4とし、ここでは機能F1に割り当てられた機能を画像の消去、F2では画像の保護、F3では画像の回転、F4では画像のスライドショーとする。例えばジェスチャー1を認識確定した場合、画像の消去というアプリケーションを呼び出すことができるものとする。
実施例1では、ジェスチャー操作による機能発動の前に、現在までのタッチ入力位置の移動に応じてどのような機能を発動できるのかをユーザに認識させ、その上で現在までの移動と反対方向への移動があると機能発動をキャンセルする例を説明する。
図3は無入力の状態からガイダンス表示処理までの流れを説明したフローチャートである。無入力の状態とは、図7の(a)のように、ディスプレイ104には外部記録媒体108に格納されている画像が表示されている状態で入力部105から何の入力もされていない状態である。なお後述する図3、図4、図5、図6のフローチャートにより示される処理は、外部記録媒体108に記憶されたプログラムをCPU101が実行することで実現する。
S301において、CPU101は、入力部105からの入力イベントを監視する。ここでいう入力イベントとは、タッチパネル113へのタッチ入力(タッチアップ、タッチダウン、ドラッグ)、およびタッチパネル113以外の入力機器からの操作イベントなどがあげられる。入力イベントが発生すると処理はS302へ進む。S302において、CPU101は、S301で検出した入力イベントがタッチダウンイベントか否かを判定する。タッチダウンイベントと判定された場合は、S303において、CPU101は、タッチの開始点として、その座標をP(Xo,Yo)としメモリ103に保持し、再びイベント監視を行い次のイベント受信まで待機する(S301)。一方、S302でタッチダウンイベントでないと判定された場合は、処理はS304へ進む。
S304では、CPU101はイベントがタッチアップイベントか否かを判定する。タッチアップイベントと判定した場合はS305に進み、CPU101は、タッチ開始点Pをメモリ103からクリアし、イベント監視を行い次のイベント受信まで待機する(S301)。一方、S304でタッチアップイベントでないと判定された場合は、処理はS306へ進む。
S306では、CPU101は、入力イベントがドラッグイベントか否かを判定する。ドラッグイベントと判定された場合はS307に進み、CPU101は、そのときタッチしている点を現在点とし、その座標をC(X,Y)としてメモリ103に保持する。そしてS308へ進む。一方、S306でドラッグイベントでないと判定された場合は、処理はS315へ進む。
S308では、CPU101は、開始点の座標Pから現在点の座標Cまでの移動量、すなわち距離を算出し、X成分における距離をSx、Y成分における距離をSyとしてメモリ103に保持する。そして、S309〜S311では、入力部105によって検出されているタッチ入力の軌跡がジェスチャー操作の一部(図2により示したジェスチャーパターンの一部)であるかどうかを判定する。まず、S309において、CPU101は、X成分の距離Sxが閾値B1を超えたか否かを判定する。X成分の距離Sxが閾値B1を超えた場合、すなわち、X方向へのタッチ入力の移動量が閾値B1を超えた場合にはジェスチャー認識候補からはずれS316へ進み、超えない場合にはS310へ進む。ここでX成分の距離が閾値B1を超えたというのは、タッチ入力がX方向に移動しすぎたためにY方向のストロークではないと認識され、デジタルカメラ100が認識できるジェスチャーパターンに当てはまらないことを意味する。よってジェスチャー認識候補からはずれる。
S310において、CPU101は、Y成分の距離Syが閾値A1(<0)を下回ったか否かを判定する。下回った場合はS312へ進み、下回っていない場合はS311へ進む。ここでいうY成分の距離Syが閾値A1を下回ったとは、Y成分のストロークの負の方向(タッチパネル上における上方向とする)への移動量が距離|A1|を上回ったことを意味する。一方、S311において、CPU101は、Y成分の距離Syが閾値A2(>0)を超えたか否かを判定する。超えた場合はS313へ進み、超えていない場合はS301へ進む。ここでいうY成分の距離Syが閾値A2を超えたとは、Y成分のストロークの正の方向(タッチパネル上における下方向とする)への移動量が距離|A2|を上回ったことを意味する。なおS310およびS311でA1<0、A2>0としたが、正負の値を逆にしてもよい。また|A1|=|A2|として上下の閾値の距離を一定としてもよいし、|A1|≠|A2|として正負に応じて一定でないとしてもよい。
以上のようにして、S310、S311の判定により、タッチ入力の移動量がY軸・負方向へ|A1|を上回った場合、またはY軸・正方向へ|A2|を上回った場合、当該タッチ入力はジェスチャー認識候補と判定される。すなわち、タッチ入力の開始からの移動量が第1の方向へ所定量を超えた場合に、当該タッチ入力の移動軌跡はジェスチャー操作の一部であると判定されたことになる。そして、S312では、CPU101はY成分の距離Syが閾値A1を下回ったという情報をメモリ103へ保持する。そしてS314へ進む。S313では、CPU101はY成分の距離Syが閾値A2を超えたという情報をメモリ103へ保持する。そしてS314へ進む。S314において、CPU101は後述するガイダンス以外の文字情報を非表示にする。そして、図4に示すガイダンス表示処理へ進む。なおガイダンス以外の文字情報とは、図7の(a)に示すように画像701に重畳して表示される画像701の撮影日時702や画像701を撮影した際の撮影設定値703などの情報を指す。
一方S315では、CPU101は、検出されたイベントがタッチパネル以外の物理ボタンなどの入力インベントか否かの判定を行う。タッチパネル以外の入力イベントと判定した場合はS316へ進み、タッチパネルの入力イベントと判定した場合はS301へと進む。S316では、CPU101は、S307やS308で算出したジェスチャー認識情報を消去し、本処理を終了する。すなわち、タッチパネルへの操作中であっても、物理ボタンへの操作など、タッチパネル以外の操作があった場合にはそちらを優先してジェスチャーの認識処理を終了する。S308の後にタッチアップを検知してもジェスチャーによる機能は発動しない。
図4はガイダンス表示処理のフローチャートであり、図3のS314に続く処理である。ガイダンス表示処理では、ジェスチャー操作の一部(すなわち、ジェスチャー認識候補)であると判定されたタッチ入力について、当該タッチ入力を継続することで確定され得るジェスチャー操作を候補として選択し、ガイダンス表示を行う。まず、S401において、CPU101はY成分の距離が閾値A1を下回ったかどうかを判定する。この判定に関しては、S312もしくはS313によって保持した情報を用いる。下回ったと判定した場合は処理はS402へ進む。この時点でジェスチャー操作の候補は図2のジェスチャー1とジェスチャー2である。他方、下回らなかったと判定した場合は、Y成分の距離が閾値A2を上回った場合であり、処理はS408へ進む。この時点で、ジェスチャー操作の候補は図2のジェスチャー3とジェスチャー4である。
S402〜S407の処理を開始する時点では、当該タッチ入力を継続することで特定され得るジェスチャーの候補として図2のジェスチャー1,2が選択されることになる。したがって、これら選択されたジェスチャーの候補に関するガイダンス表示をディスプレイ104上に行ってもよい。しかしながら、本実施形態では、更に操作性を向上するために、その時点で実行可能でない機能が割り当てられているジェスチャーのガイダンス表示を禁止し、実行可能な機能が割り当てられているジェスチャーのみをガイダンス表示する。まず、S402において、CPU101は、機能F1が有効かつ機能F2が有効であるか否かの判定をする。つまり現在ディスプレイ104上に表示されている画像に対して、画像を消去ができるか、そして、画像保護できるか状態かを判定することを意味する。機能F1も機能F2も有効である場合はS403へ進んで実行可能な機能を複数表示し、否の場合にはS404へ進む。
S403ではジェスチャー1とジェスチャー2のガイダンスを表示する。ここでいうガイダンスとは図7の(b)に示すように機能名や図形を表示させることを意味する。機能名711はジェスチャー1の機能名を表しており、画像701に重畳して表示される。図形712はジェスチャー1の機能を発動するためにストロークすべき方向を表しており、画像701に重畳して表示される。機能名711と図形712により、ユーザは指をこのままタッチパネルから離さずに左方向(図形712の表す方向)に移動すればジェスチャー1の操作が認識され、画像701を消去できることがわかる。同様に、機能名713と図形714はジェスチャー2に関するものであり、指を右に動かせばジェスチャー2の操作が認識され、画像701を保護できることを表している。機能名711と図形712、機能名713と図形714は、それぞれのジェスチャーの機能を発動させるためにタッチ位置を移動させるべき位置に表示される。例えば、ジェスチャー1はY方向にA1(<0)、すなわち画面上で上方向に所定距離動いた後に、X方向にD1(<0)、すなわち画面上で左方向に所定量動くストロークで確定される。したがってジェスチャー1に割り当てられた機能を実行するためには、タッチ位置が左上に移動することになる。この移動を促すために、ジェスチャー1のガイダンスである機能名711と図形712は、ディスプレイ104の表示画面の左上領域(x座標が画面中央より左側で、Y座標が画面中央より上側の領域)に表示される。同様の理由により、ジェスチャー2のガイダンスである機能名713と図形714は、ディスプレイ104の表示画面の右上領域(x座標が画面中央より右側で、Y座標が画面中央より上側の領域)に表示される。
またS401の判定によりY方向のストロークが負の方向(上方向)へ進んだことを意味するので、その後に認識できるジェスチャーパターンはジェスチャー1もしくはジェスチャー2に限られたことになる。この場合、図7の(b)のようにジェスチャー1とジェスチャー2に関するガイダンスのみを表示することで、その後X成分のストロークを描いても認識できないジェスチャーパターンに関しては表示する必要がなくなる。そのため、残りのパターンのガイドを表示させるための表示エリアを有効に使用することが可能となる。
S404において、CPU101は、機能F1が有効かつ機能F2が無効であるか否かの判定をする。つまり現在ディスプレイ104上に表示されている画像に対して、画像を消去ができるが、画像保護ができない状態かを判定することを意味する。F1のみが有効である場合はS405へ進み、否の場合にはS406へ進む。S405では、CPU101は、ジェスチャー1に関するガイダンスのみをディスプレイ104に表示し、ジェスチャー2に関するガイダンスは表示しない。S406では、CPU101は、機能F1が無効かつ機能F2が有効であるか否かの判定をする。F2のみが有効である場合はS407へ進み、否の場合にはジェスチャー認識処理へ進む。S407では、CPU101は、ジェスチャー2に関するガイダンスのみをディスプレイ104に表示し、ジェスチャー1に関するガイダンスは表示しない。
一方S408へ進む場合は、Y方向のストロークが正の方向(下方向)へ進んだことを意味する。つまりその後のジェスチャーパターンはジェスチャー3もしくはジェスチャー4に限られたことになる。よってこの後のS408、S410、S412の各処理は、機能F1が機能F3であり、機能F2が機能F4であることを除いて前述のS402、S404、S406と同様である。なお、上述したジェスチャー1,2と同様の理由により、ジェスチャー3のガイダンスである機能名と図形は、ディスプレイ104の表示画面の左下領域(x座標が画面中央より左側で、Y座標が画面中央より下側の領域)に表示される。また、ジェスチャー4のガイダンスである機能名と図形は、ディスプレイ104の表示画面の右下領域(x座標が画面中央より右側で、Y座標が画面中央より下側の領域)に表示される。
以上説明したように、ジェスチャー認識途中で、その後にタッチ入力を継続すると特定され得るジェスチャーで実行可能な機能名を表すガイダンスを表示する。これによって、ユーザは現在行っているジェスチャー操作を継続することでどのような機能を発動することができるのかを識別することができる。すなわち、現在までのところユーザが意図するジェスチャー操作が行えているか否かを確認することができる。また、タッチ入力を継続することで確定され得るジェスチャーで実行可能な機能名を表すガイダンスとともに、その機能を発動するためにストロークすべき方向を表すガイダンスを表示する。これによってユーザはその後どのような操作をすればジェスチャー認識させることができるかということが視覚的にわかりやすくなり、その結果ジェスチャー操作が容易になる。
なおS405の説明で機能F2が無効の場合はガイダンスを表示しないと述べたが、表示形態を変えるなどして有効である場合の表示と区別して表示してもよい。この場合、例えば機能F1、F2がともに有効でない場合に、その旨をユーザに知らせることができるようになる。すなわち、ユーザは、ジェスチャー操作の候補は存在するものの、実行できる機能に対応したジェスチャー操作は存在しないことを知ることができる。またガイダンスは機能名や図形と述べたが、例えばX成分の移動を示す矢印をガイダンスとして含めても良い。またガイダンス表示は静止している例を示したが、ストロークを描く操作のガイドをアニメーション表現を用いることによって操作を誘導するようにしても良い。
またS314でジェスチャー操作の候補以外の操作に関わる情報を非表示にすることにより、ジェスチャー認識とは関係のない情報を非表示にし、伝えたい情報だけを表示することができる。そのため、ユーザが操作がしやすくなるとともに、限られた表示エリアをジェスチャー認識のガイドで利用できるので有効に使うことができるといった効果がある。
また本実施形態ではジェスチャー操作のみ述べたが、タッチパネル上で可能な操作というのはジェスチャー操作だけではない。たとえば、タッチダウン後、X成分の正方向にドラッグさせた場合は次の画像表示させたり、負の方向にドラッグさせた場合は前の画像を表示させたりする操作も可能である。つまり一つの画面で複数の操作ができるのが望ましい。ただし、この場合、ユーザが次の画像表示の操作をしたつもりが誤ってすこしでもY成分にドラッグしたことにより図4のガイダンス表示処理においてジェスチャーのガイダンスが表示されてしまう可能性がある。このようなガイダンス表示は、画像送りをしたいユーザにとっては邪魔なガイダンスとなってしまう。そのために本実施形態ではS310、S311で述べたように、Y成分の距離が閾値に達する前にガイダンスを表示させないようにして、ジェスチャー認識と画像送り処理を区別している。よって画像閲覧時には関係のないガイド表示を気にすることなく快適な画像閲覧ができるといった効果がある。
次にジェスチャー認識途中からジェスチャー確定した際に表示してあるガイダンスを変化させる場合について説明する。図5は図4に続くジェスチャー認識処理で、Y成分の距離Syが閾値A1を下回っていた(上方向のストロークだった)場合のフローチャートである。この場合、ジェスチャーの候補はジェスチャー1かジェスチャー2である。
S501およびS502は前述のS301およびS302と同様である。S502でタッチダウンイベントと判定した場合はS501へ進み、タッチダウンイベントでないと判定した場合はS503へ進む。S503は前述のS304と同様である。タッチアップイベントであると判定した場合S516へ進み、タッチアップイベントでないと判定した場合はS504へと進む。S504は前述のS306と同様である。ドラッグイベントであると判定した場合はS505へと進み、ドラッグイベントでないと判定した場合はS515へと進む。
S505およびS506は前述のS307およびS308と同様である。S506を終えると、処理S507へと進む。S507において、CPU101は、S506で算出したSx、Syの値がそれぞれ同一ストローク内での最大値Sx_max、Sy_maxよりも大きい場合は、Sx_max、Sy_maxにSx、Syを代入し、最大値の更新を行う。同様にSx、Syの値が同一ストローク内での最小値Sx_min,Sy_minよりも小さい場合は、Sx_min、Sy_minにSx、Syを代入し、最小値の更新を行う。そして処理はS508へ進む。
S508において、CPU101は、Y方向に対して逆向きに動いたか否かの判定を行う。動いたと判定した場合はS517へと進んでジェスチャー認識情報をクリアし、動いていないと判定した場合はS509へと進む。S508の判定を細かく述べる。例えばY成分に対して負の方向へストロークしていた場合は、Sy_minの値は負の値であり、Syも負の値である。ここでSy_minの値とSyの値の差異を演算する。差異がある場合は現在点CがY成分のストロークに対して逆向きに動いたことを意味する。逆にY成分に対して正の方向へストロークしていた場合はSy_maxの値とSyの値の差異を演算する。このようにすることで、ストロークがジェスチャーパターン通りの動きをしているかの判定をすることが可能となる。
また前述したSy_minの値とSyの値に差異にマージンをもたせてもよい。つまりSy_minの値とSyの値に差異が所定量を超えたとき、逆向きに動いたとする判定する方法である。例えば所定量をB2とし、Sy−Sy_min>B2となった場合に逆向きに動いたと判定する。これにより、指などのように一点をタッチしているつもりでも、タッチパネルデバイスに入力された座標が微小な動きを検出するような場合の誤検出を防ぐことが可能となる。
S509では、CPU101はX方向に対して逆向きに動いたか否かの判定を行う。動いたと判定した場合はS517へと進んでジェスチャー認識情報をクリアし、動いていないと判定した場合はS510へと進む。ここでS509の詳細を、ジェスチャー2を確定する場合を例にとって説明する。ジェスチャー2の認識途中の操作ではX成分の正方向へストロークを描いている途中なので、Sx_maxの値は正の値であり、Sxも正の値である。ここでSx_maxの値とSxの値の差異を演算する。差異がある場合は現在点CがX成分の正方向のストロークに対して逆向きに動いたことを意味する。逆向きに動いたと判定した場合はS516へ進みジェスチャー情報をクリアする。また前述したS508での説明と同様に例えば所定量をB3とし、Sx_max−Sx>B3とすることで誤った操作をしたときにS516へ進んでしまうのを防ぐようにしてもよい。ジェスチャー1を確定する場合に関しても同様である。この場合、Sx_min、Sxは負の値であるので、Sx_minの値とSxの値の差異を演算することで、現在点CがX成分の負方向のストロークに対して逆向きに動いたことを判定する。
このように、ジェスチャー操作の途中で、タッチ入力を継続することで実行可能な機能名を表示した上で、S503、S508、S509、S515のいずれかでYesと判定される操作をすると、ジェスチャー操作による機能発動をしないようにすることができる。従ってユーザは、ジェスチャー操作の途中で表示される機能名を見て、現在までのジェスチャー操作では意図する機能が発動できないことが分かった場合に、ジェスチャー操作をキャンセルして、表示された機能名の機能を発動しないようにするこができる。このように、ジェスチャー操作による意図しない機能の発動を防止することができる。
S510では、X成分の負方向の距離Sxが閾値を下回ったか否かの判定を行う。下回ったと判定した場合はS511へと進み、下回っていないと判定した場合はS513へと進む。ここでの判定はX成分の距離がジェスチャー1を認識させるための必要な距離を満たしたかどうか否かの判定である。S511では機能F1が発動できるか否かの判定を行う。発動できると判定した場合はS512へ進み、発動できないと判定した場合S517へと進む。
一方、S513では、X成分の正方向の距離Sxが閾値を超えたか否かの判定を行う。超えたと判定した場合はS514へと進み、超えていないと判定した場合はS501へと進む。ここでの判定はX成分の距離がジェスチャー2を認識させるための必要な距離を満たしたかどうかの判定である。S514では機能F2が発動できるか否かの判定を行う。発動できると判定した場合はS512へ進み、発動できないと判定した場合S517へと進む。
S512において、CPU101は、図8の(a)のようにジェスチャーガイダンスの表示を確定モードの表示へと変更し、ジェスチャーを確定する。ジェスチャーが確定すると、現在のタッチ入力でのジェスチャー操作で実行可能な機能が確定される。確定したジェスチャーの情報はメモリ103に保持する。本例では、ジェスチャー2の操作が確定した状態が示されている。図8の(a)では、図7(b)に比べてジェスチャー1の機能名711と図形712,714が消去され、ジェスチャー2の確定を示す表示801が表示された状態となっている。このように表示することで、ユーザは現在までのストロークでジェスチャー2が装置に認識されたことがわかり、ここで指を離せばジェスチャー2に割り当てられた機能が発動することが識別できる。なお、確定した状態を示す表示はこれに限られるものではないことは明らかである。例えば、機能名713の表示を保持したままタッチ入力の移動方向を示す図形(例えば図形714)のみをを消去することで、確定状態を示すようにしても良い。また、機能名713や図形714を消去せずに、機能名713や図形714の色や形などの表示形態を変更して確定状態を示すようにしても良いし、機能名713や図形714に枠やマークを付すなどして確定状態を示すようにしても良い。
また、S515は前述のS315と同様である。タッチパネル以外の入力イベントと判定した場合はS516へ進み、タッチパネルの入力イベントと判定した場合はS501へと進む。S516では、CPU101は、S305で記憶したタッチ開始点情報の消去を行い、処理をS517へ進める。S517は前述のS316と同様である。S518において、CPU101は図4のフローチャートの処理(ガイダンス表示処理)にて表示したガイダンスを非表示にし、図7の(a)に示した表示状態へ戻し、処理を終了する。S518の後にタッチアップを検知してもジェスチャーによる機能は発動しない。
なお、図5では機能F1もしくはF2を確定する場合のジェスチャー確定の例を述べたが、機能F3もしくはF4を確定する場合のジェスチャー確定についてもY方向の正負を逆にして同様の処理を行うため、説明は省略する。
図6はジェスチャー確定後のジェスチャーに割り当てられた機能を発動する場合のフローチャートであり、図5のS512に続く処理である。S601およびS602は前述のS301およびS302と同様である。S602にてタッチダウンイベントだと判定した場合S601へ進み、タッチダウンイベントでないと判定した場合はS603へと進む。S603は前述のS304と同様である。タッチアップイベントであると判定した場合S613へとすすみ、タッチアップイベントでないと判定した場合はS604へと進む。S604は前述のS306と同様である。ドラッグイベントであると判定した場合はS605へと進み、ドラッグイベントでないと判定した場合はS612へと進む。
S605からS607は前述のS505からS507と同様である。S608で、CPU101は、タッチ入力のY成分が逆向きになったか、すなわち確定したジェスチャーのストロークのY方向(第1の方向)に対して180度反対向き(第3の方向)に動いたかどうかを判定する。Y成分が逆向きに動いたと判定した場合はS609へ処理を進め、動いていないと判定した場合はS610へ処理を進める。また、S609において、CPU101は、タッチ入力のX成分が逆向きになったか、すなわち確定したジェスチャーのストロークのX方向(第2の方向)に対して180度反対向き(第4の方向)に動いたかどうかを判定する。X成分が逆向きに動いたと判定した場合はS610へ処理を進め、動いていないと判定した場合は処理をS601へ戻す。なお、S608,S609における判定の方法はS508,S509で説明したとおりである。
S610では、ここまでに取得したジェスチャー認識情報を消去する。すなわち、S512で確定されたジェスチャーの情報をメモリ103から消去することで、ジェスチャーの確定をキャンセルする。S611は前述のS518と同様である。S611の後にタッチアップを検知してもジェスチャーによる機能は発動しない。また、S612は前述のS315と同様である。タッチパネル以外の入力イベントと判定した場合はS610へ進み、タッチパネルの入力イベントと判定した場合はS601へと進む。S613は前述のS518と同様である。S613の後に、CPU101は割り当てられた機能を発動(実行)し(S614)、機能を実行した旨(802)を図8の(b)のように表示する(S615)。
このように、S512でジェスチャーが確定された後からでも、ユーザがタッチアップするまでは、S608,S609、S612でYesと判定される操作をすることにより、確定したジェスチャーに割り当てられた機能を実行しないようにすることができる。S608,S609、S612でYesと判定されることが第2の条件に相当する。すなわちユーザは、S512での確定モードの表示を見て確定されたジェスチャーに割り当てられた機能を確認することで、意図する機能が発動されるか否かを確認することができる。意図しない機能が発動されることが分かった場合には、それからでもジェスチャー操作をキャンセルして確定モードで表示された機能を実行しないようにすることができる。
以上説明したように、ジェスチャー操作による機能発動の前に、現在までのタッチ位置の移動でどのような機能を発動することが可能なのかをユーザに識別可能に表示し、その上でジェスチャー認識をキャンセルして機能発動を行わないようにすることができる。すなわち、ユーザは現在行っている途中のジェスチャー操作が誤っているか否かを認識することができ、誤っていた場合には現在行っているジェスチャー操作をキャンセルすることができる。従って、ジェスチャー操作によってユーザが意図しない機能が発動されてしまうことをより確実に防止することができる。
実施例2では、ジェスチャー確定後にジェスチャーをキャンセルする他の方法の例を説明する。図9は、実施例1で説明した図5のS512に続く処理であり、ジェスチャー確定後に機能名表示方向以外へドラッグした場合のジェスチャーキャンセルのフローチャートである。図9のフローチャートにより示される処理は、外部記録媒体108に記憶されたプログラムをCPU101が実行することで実現する。
S901〜S905は前述のS601からS605と同様であるので説明を省略する。
S906ではガイダンスの表示位置と現在の点との距離を算出する。ここで、Stとは現在(時間t)のガイダンスの表示位置と現在タッチしてる点との距離であり、St−1とは一つ前の時間(時間t−1)のガイダンスの表示位置とタッチしていた点との距離である。本実施例では、ガイダンスの表示位置を、図8(a)で前述したジェスチャーの確定を表す表示801の表示領域の重心座標とする。ただしこれに限られるものではなく、ジェスチャーの確定を表す表示801の表示領域のうち、ディスプレイ104の中心座標から最も遠い座標としてもよい。ガイダンスの表示位置と現在の点との距離を算出するとS907へ進む。
S907ではS906で求めたStがSt−1よりも大きいか否かの判定を行う。大きいと判定した場合はS908へと進み、大きくないと判定した場合はS901へと進む。
S908〜S909、S910、S911〜S913は、それぞれ前述のS610〜S611、S612、S613〜S615と同様であるので説明を省略する。
以上説明したように、実施例2においては、ガイダンスを表示してガイダンスの表示位置へのドラッグを促し、ガイダンスの表示位置から離れる方向のドラッグを行うとジェスチャー認識がキャンセルされる。すなわち、ドラッグがガイダンス表示位置へと向かっている限りはジェスチャー認識をキャンセルしないよう制御することにより、確実に割り当て機能を発動させることが可能となる。
実施例3では、ジェスチャー確定後に確定したジェスチャーをキャンセルし、かつ、タッチアップすることなくもう一方のジェスチャー機能を発動する例を述べる。
図10は、実施例1で説明した図5のS512に続く処理であり、ジェスチャー確定後にジェスチャーをキャンセルし、かつ、タッチアップすることなくもう一方のジェスチャー機能を発動する場合のフローチャートである。図10のフローチャートにより示される処理は、外部記録媒体108に記憶されたプログラムをCPU101が実行することで実現する。
S1001〜S1015は前述のS601〜S615と同様の処理であるので説明を省略する。
S1009でX方向に対して逆向きに動いたと判定した場合はS1016へ進み、否と判定した場合はS1001へ進む。
S1016では、XがS303で記憶したタッチ開始点のX座標X0よりも小さいか否かを判定する。これは、X方向に対してタッチ開始位置をまたぐほど反対に動いたか否かの判定である(第3の条件)。小さいと判定した場合はS1017へ進み、小さくないと判定した場合はS1001へ進む。
S1017では、X方向に他方のジェスチャーに割り当てられた機能を発動できるか否かを判定する。発動できると判定した場合はS1018へ進み、発動できないと判定した場合はS1010へ進む。X方向に他方のジェスチャーとは、Y方向のストローク方向が同じで、X方向が反対方向のジェスチャーである。すなわち、ジェスチャー1に対してX方向に他方のジェスチャーはジェスチャー2、ジェスチャー2に対してX方向に他方のジェスチャーはジェスチャー1である。同様に、ジェスチャー3に対してX方向に他方のジェスチャーはジェスチャー4、ジェスチャー4に対してX方向に他方のジェスチャーはジェスチャー3である。
S1018では、S512で表示した確定モードでのガイダンス表示を消去し、S1019へ進む。
S1019ではS512で確定したジェスチャー(第1の機能)に代わり、S512で確定したジェスチャーに対してX方向に他方のジェスチャー(第2の機能)を確定し、確定モードでガイダンス表示する。
以上説明したように、ジェスチャー確定後でも、もう一方の方向へドラッグした際に確定済みのジェスチャーをキャンセルし、もう一方のジェスチャーを確定することにより、ジェスチャー確定後でも再選択が可能となる。
なお、上述の各実施例において、センサ112で検知した振動をトリガとして発動される機能がある場合に、ジェスチャー操作の途中でセンサ112によって振動を検知しても、振動をトリガとする機能は発動せず、ジェスチャー操作はキャンセルされない。これは、装置の振動はジェスチャー操作によるタッチが原因で起きてしまう可能性があるため、操作部材の操作に比べてユーザが意図した操作である可能性が低いためである。これにより、意図しないタイミングでのジェスチャーのキャンセルを防ぐことができる。
なお、上記実施形態では、本発明の表示制御装置をデジタルカメラに適用した場合を説明したが、これに限られるものではない。携帯情報端末(PDA)等、タッチ入力が可能なあらゆる情報処理装置に適用が可能であることは明らかである。
また、上記実施形態では、ジェスチャーパターンとして、上下・左右の組み合わせによる単純なストロークを示したが、これに限られるものではない。例えば、上下方向と斜め方向の移動軌跡の組合せとしても良いし、曲線の移動軌跡を用いるようにしてもよい。更に、上記実施形態では上下方向と左右方向の2種類の移動軌跡で形成されたジェスチャーパターンを示したが、上方向→右方向→斜め右上方向といったように3種類以上の移動軌跡で形成されジェスチャーパターンを用いることもできる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
なお、上述した制御は1つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
なお、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (14)

  1. 表示手段の表示画面上へのタッチ入力を検出する検出手段と、
    前記検出手段で検出しているタッチ入力の移動に応じて、タッチ入力の移動によるジェスチャー操作によって実行可能な機能として割り当てられた機能のうち、該タッチ入力での現在までのタッチ位置の移動に続く操作で実行可能な機能を表す第1のガイド情報を前記表示手段に表示し、前記検出しているタッチ入力でのタッチ位置の移動が第1の条件を満たすと、前記第1のガイド情報で表示した機能のうち、その時点で前記タッチ入力が解除された場合に実行される機能を識別可能とした第2のガイド情報を表示し、前記第1の条件が満たされた後に、該タッチ入力でのタッチ位置の移動が第2の条件を満たすと、該タッチ入力が解除される前であっても前記第2のガイド情報を非表示とするように制御する表示制御手段と、
    前記第2のガイド情報が表示された状態で前記タッチ入力が解除されると、前記第2のガイド情報が表す機能を実行するように制御し、前記第2の条件が満たされたことによって前記第2のガイド情報が非表示とされた後に前記タッチ入力が解除されると、前記ジェスチャー操作に割り当てられたいずれの機能も実行しないように制御する制御手段と
    を有することを特徴とする表示制御装置。
  2. 前記1の条件は、前記検出しているタッチ入力でのタッチ位置の前記表示画面上の第1の方向の移動成分が所定距離以上となった後に、該タッチ位置の前記表示画面上で該第1の方向と垂直な第2の方向の移動成分が所定距離以上となることであり、
    前記第2の条件は、前記第1の条件が満たされた後に、前記検出しているタッチ入力でのタッチ位置の前記第1の方向と180度反対の第3の方向の移動成分が所定距離以上となるか、該タッチ位置の前記第2の方向と180度反対の第4の方向の移動成分が所定距離以上となるかの少なくとも一方であることを特徴とする請求項1に記載の表示制御装置。
  3. 前記第2の条件は、前記第1の条件が満たされた後に、前記検出しているタッチ入力でのタッチ位置が前記表示制御手段によって表示されている前記第2のガイド情報の表示位置から離れる方向に移動することであることを特徴とする請求項1に記載の表示制御装置。
  4. 前記表示制御手段は更に、前記第1の条件が満たされた後に、前記表示画面上へのタッチ入力ではない操作部材への操作を検知することによっても前記第2のガイド情報を非表示にすることを特徴とする請求項1乃至3のいずれか1項に記載の表示制御装置。
  5. 前記表示制御装置の振動を検知する振動検知手段を更に有し、
    前記表示制御手段は、前記第2のガイド情報を表示している状態で前記振動検知手段によって振動を検知しても前記第2のガイド情報を非表示にしないことを特徴とする請求項4に記載の表示制御装置。
  6. 前記表示制御手段は、前記第1のガイド情報として、前記検出手段で検出しているタッチ入力を継続するジェスチャー操作で実行可能な機能を複数表示するように制御することを特徴とする請求項1乃至5のいずれか1項に記載の表示制御装置。
  7. 前記表示制御手段は、前記第1のガイド情報を表示する前に表示していた他の情報を非表示にして前記第1のガイド情報を前記表示手段に表示するように制御し、前記第2の条件が満たされたことによって前記第2のガイド情報を非表示とするとともに前記他の情報を表示するように制御することを特徴とする請求項1乃至6のいずれか1項に記載の表示制御装置。
  8. 前記第1のガイド及び前記第2のガイド情報が表す機能は、前記表示手段に表示されている画像に対して実行可能な機能であり、
    前記表示制御手段は、前記第1のガイド情報及び前記第2のガイド情報を前記画像に重畳して表示するように制御することを特徴とする請求項1乃至のいずれか1項に記載の表示制御装置。
  9. 前記表示制御手段は、前記画像とともに該画像を撮影した際の情報である撮影情報を表示するように制御し、前記第1ガイド情報を表示する際に、前記撮影情報を非表示にして前記第1のガイド情報を前記表示手段に表示するように制御し、前記第2の条件が満たされたことによって前記第2のガイド情報を非表示とするとともに前記撮影情報を表示するように制御することを特徴とする請求項8に記載の表示制御装置。
  10. 前記表示制御手段は、前記第1のガイド情報を、該第1のガイド情報が表す機能を実行するために前記検出しているタッチ入力でのタッチ位置を移動すべき位置に表示するように制御することを特徴とする請求項1乃至のいずれか1項に記載の表示制御装置。
  11. 前記表示制御手段は、前記第1の条件を満たして第1の機能を表す前記第2のガイド情報を表示した後、前記検出しているタッチ入力でのタッチ位置の移動が第3の条件を満たすと、前記第1の機能に代えて第2の機能を表すガイド情報を前記第2のガイド情報として表示するように制御することを特徴とする請求項1乃至10のいずれか1項に記載の表示制御装置。
  12. 表示手段の表示画面上へのタッチ入力を検出する検出ステップと、
    前記検出ステップで検出しているタッチ入力の移動に応じて、タッチ入力の移動によるジェスチャー操作によって実行可能な機能として割り当てられた機能のうち、該タッチ入力での現在までのタッチ位置の移動に続く操作で実行可能な機能を表す第1のガイド情報を前記表示手段に表示し
    前記検出しているタッチ入力でのタッチ位置の移動が第1の条件を満たすと、前記第1のガイド情報で表示した機能のうち、その時点で前記タッチ入力が解除された場合に実行される機能を識別可能とした第2のガイド情報を表示し、
    前記第1の条件が満たされた後に、該タッチ入力でのタッチ位置の移動が第2の条件を満たすと、該タッチ入力が解除される前であっても前記第2のガイド情報を非表示とするように制御する表示制御ステップと、
    前記第2のガイド情報が表示された状態で前記タッチ入力が解除されると、前記第2のガイド情報が表す機能を実行するように制御し、前記第2の条件が満たされたことによって前記第2のガイド情報が非表示とされた後に前記タッチ入力が解除されると、前記ジェスチャー操作に割り当てられたいずれの機能も実行しないように制御する制御ステップと
    を有することを特徴とする表示制御装置の制御方法。
  13. コンピュータを、請求項1乃至11のいずれか1項に記載された表示制御装置の各手段として機能させるプログラム。
  14. コンピュータを、請求項1乃至11のいずれか1項に記載された表示制御装置の各手段として機能させるプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2009189329A 2009-08-18 2009-08-18 表示制御装置、表示制御装置の制御方法、プログラム及び記憶媒体 Active JP5371626B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009189329A JP5371626B2 (ja) 2009-08-18 2009-08-18 表示制御装置、表示制御装置の制御方法、プログラム及び記憶媒体
US12/854,810 US9134898B2 (en) 2009-08-18 2010-08-11 Display control apparatus and control method thereof
US14/798,246 US10671203B2 (en) 2009-08-18 2015-07-13 Display control apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009189329A JP5371626B2 (ja) 2009-08-18 2009-08-18 表示制御装置、表示制御装置の制御方法、プログラム及び記憶媒体

Publications (3)

Publication Number Publication Date
JP2011039989A JP2011039989A (ja) 2011-02-24
JP2011039989A5 JP2011039989A5 (ja) 2012-09-27
JP5371626B2 true JP5371626B2 (ja) 2013-12-18

Family

ID=43604959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009189329A Active JP5371626B2 (ja) 2009-08-18 2009-08-18 表示制御装置、表示制御装置の制御方法、プログラム及び記憶媒体

Country Status (2)

Country Link
US (2) US9134898B2 (ja)
JP (1) JP5371626B2 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
US8261213B2 (en) 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
US9411504B2 (en) 2010-01-28 2016-08-09 Microsoft Technology Licensing, Llc Copy and staple gestures
US9519356B2 (en) 2010-02-04 2016-12-13 Microsoft Technology Licensing, Llc Link gestures
US9965165B2 (en) 2010-02-19 2018-05-08 Microsoft Technology Licensing, Llc Multi-finger gestures
US9367205B2 (en) 2010-02-19 2016-06-14 Microsoft Technolgoy Licensing, Llc Radial menus with bezel gestures
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
JP5829390B2 (ja) * 2010-09-07 2015-12-09 ソニー株式会社 情報処理装置、および情報処理方法
JP2012068713A (ja) * 2010-09-21 2012-04-05 Sony Corp 情報処理装置、および情報処理方法
JP5751934B2 (ja) * 2010-10-15 2015-07-22 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
AU2013262488A1 (en) * 2012-05-18 2014-12-18 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US8875060B2 (en) * 2012-06-04 2014-10-28 Sap Ag Contextual gestures manager
TWI463371B (zh) * 2012-06-20 2014-12-01 Pixart Imaging Inc 手勢偵測裝置以及根據速度判斷連續手勢的方法
US9507513B2 (en) 2012-08-17 2016-11-29 Google Inc. Displaced double tap gesture
US9582122B2 (en) 2012-11-12 2017-02-28 Microsoft Technology Licensing, Llc Touch-sensitive bezel techniques
JP6071543B2 (ja) 2012-12-27 2017-02-01 キヤノン株式会社 電子機器及び電子機器の制御方法
JP2016517649A (ja) * 2013-03-08 2016-06-16 トムソン ライセンシングThomson Licensing 撮影効果のためにジェスチャを使用するための方法および装置
US20140281964A1 (en) * 2013-03-14 2014-09-18 Maung Han Method and system for presenting guidance of gesture input on a touch pad
JP6231774B2 (ja) 2013-05-23 2017-11-15 キヤノン株式会社 電子機器およびその制御方法
JP6218451B2 (ja) * 2013-06-18 2017-10-25 シャープ株式会社 プログラム実行装置
US20150160849A1 (en) * 2013-12-06 2015-06-11 Microsoft Corporation Bezel Gesture Techniques
KR20150096956A (ko) * 2014-02-17 2015-08-26 삼성전자주식회사 전자 장치에서 정보를 표시하는 방법 및 장치
US9477337B2 (en) 2014-03-14 2016-10-25 Microsoft Technology Licensing, Llc Conductive trace routing for display and bezel sensors
CN105335038B (zh) * 2014-07-30 2019-05-07 联想企业解决方案(新加坡)有限公司 一种提示触摸输入操作的方法和***
JP6300112B2 (ja) * 2015-06-05 2018-03-28 株式会社ダイフク 機械設備の手動操作用タッチパネル
CN105446614B (zh) * 2015-11-13 2018-12-21 网易(杭州)网络有限公司 一种游戏界面控制方法及装置
CN105630374B (zh) * 2015-12-17 2019-05-31 网易(杭州)网络有限公司 虚拟角色控制模式切换方法及装置
CN109918004B (zh) * 2015-12-17 2021-04-23 网易(杭州)网络有限公司 虚拟角色控制方法及装置
CN105739855B (zh) * 2016-01-22 2018-12-28 网易(杭州)网络有限公司 虚拟对象运动控制方法及装置
CN105760076B (zh) * 2016-02-03 2018-09-04 网易(杭州)网络有限公司 游戏控制方法及装置
JP6269738B2 (ja) * 2016-07-06 2018-01-31 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
FR3072804B1 (fr) * 2017-10-20 2021-12-31 Inria Inst Nat Rech Informatique & Automatique Dispositif informatique a interface tactile amelioree et procede correspondant
KR102469722B1 (ko) * 2018-09-21 2022-11-22 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN109840043B (zh) * 2019-01-30 2021-08-10 腾讯科技(深圳)有限公司 在虚拟环境中建造建筑物的方法、装置、设备及存储介质
US11409410B2 (en) 2020-09-14 2022-08-09 Apple Inc. User input interfaces

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05127819A (ja) * 1991-10-31 1993-05-25 Nec Corp ストロークコマンド支援方式
US5880411A (en) * 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
JP3292752B2 (ja) * 1992-10-21 2002-06-17 シャープ株式会社 ジェスチャー処理装置およびジェスチャー処理方法
JP3546337B2 (ja) * 1993-12-21 2004-07-28 ゼロックス コーポレイション 計算システム用ユーザ・インタフェース装置及びグラフィック・キーボード使用方法
US5570113A (en) * 1994-06-29 1996-10-29 International Business Machines Corporation Computer based pen system and method for automatically cancelling unwanted gestures and preventing anomalous signals as inputs to such system
JP2003337659A (ja) * 2002-05-20 2003-11-28 Sharp Corp 入力装置およびタッチ領域登録方法
JP2004070715A (ja) * 2002-08-07 2004-03-04 Seiko Epson Corp 画像処理装置
US7453439B1 (en) * 2003-01-16 2008-11-18 Forward Input Inc. System and method for continuous stroke word-based text input
US20060267966A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Hover widgets: using the tracking state to extend capabilities of pen-operated devices
JP4684745B2 (ja) * 2005-05-27 2011-05-18 三菱電機株式会社 ユーザインタフェース装置及びユーザインタフェース方法
JP2007201693A (ja) * 2006-01-25 2007-08-09 Olympus Imaging Corp カメラおよび該カメラの制御方法
KR20080067885A (ko) * 2007-01-17 2008-07-22 삼성전자주식회사 터치 신호 인식 장치 및 방법
JP4739276B2 (ja) * 2007-04-27 2011-08-03 シャープ株式会社 表示装置
KR20090066368A (ko) * 2007-12-20 2009-06-24 삼성전자주식회사 터치 스크린을 갖는 휴대 단말기 및 그의 기능 제어 방법
US20090178010A1 (en) * 2008-01-06 2009-07-09 Apple Inc. Specifying Language and Other Preferences for Mobile Device Applications
EP2108328B2 (de) * 2008-04-09 2020-08-26 Brainlab AG Bildbasiertes Ansteuerungsverfahren für medizintechnische Geräte
KR100914438B1 (ko) * 2008-05-20 2009-08-28 엘지전자 주식회사 터치 디바이스를 구비한 전자 기기와 그 기능 실행 방법
JP5219929B2 (ja) * 2008-07-31 2013-06-26 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4640470B2 (ja) * 2008-08-18 2011-03-02 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および撮像装置
US10019081B2 (en) * 2009-01-15 2018-07-10 International Business Machines Corporation Functionality switching in pointer input devices

Also Published As

Publication number Publication date
US20110043472A1 (en) 2011-02-24
US9134898B2 (en) 2015-09-15
US10671203B2 (en) 2020-06-02
US20150317030A1 (en) 2015-11-05
JP2011039989A (ja) 2011-02-24

Similar Documents

Publication Publication Date Title
JP5371626B2 (ja) 表示制御装置、表示制御装置の制御方法、プログラム及び記憶媒体
JP5306105B2 (ja) 表示制御装置及び表示制御装置の制御方法、プログラム、記憶媒体
US9470922B2 (en) Display device, display control method and display control program, and input device, input assistance method and program
EP2256614B1 (en) Display control apparatus, display control method, and computer program
JP5495813B2 (ja) 表示制御装置、表示制御方法、及びプログラム、並びに記憶媒体
EP3304263B1 (en) Devices and methods for processing touch inputs over multiple regions of a touch-sensitive surface
US20130063384A1 (en) Electronic apparatus, display method, and program
JP5486721B2 (ja) 表示制御装置及び表示制御装置の制御方法、プログラム、記憶媒体
JP5664147B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6229473B2 (ja) 表示装置およびプログラム
JP2007172303A (ja) 情報入力システム
JP6025473B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5814147B2 (ja) 入力装置、入力制御方法、および入力制御プログラム
JP2016110518A (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP2015135572A (ja) 情報処理装置とその制御方法
JP5737380B1 (ja) 情報処理装置、及びプログラム
US20150100912A1 (en) Portable electronic device and method for controlling the same
JP7210229B2 (ja) 表示制御装置、表示制御装置の制御方法及びプログラム
JP2017049661A (ja) 情報処理装置とその制御方法、プログラム、記憶媒体
JP6074403B2 (ja) タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法
JP2014155856A (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
JP6305147B2 (ja) 入力装置、操作判定方法、コンピュータプログラム、及び記録媒体
JP2017045472A (ja) タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法
JP2014120052A (ja) タッチパネル制御装置、タッチパネル制御装置の制御方法
JP6029638B2 (ja) 文字入力装置、及び、文字入力プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130917

R151 Written notification of patent or utility model registration

Ref document number: 5371626

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151