JP6157215B2 - 表示制御装置及びその制御方法 - Google Patents

表示制御装置及びその制御方法 Download PDF

Info

Publication number
JP6157215B2
JP6157215B2 JP2013109389A JP2013109389A JP6157215B2 JP 6157215 B2 JP6157215 B2 JP 6157215B2 JP 2013109389 A JP2013109389 A JP 2013109389A JP 2013109389 A JP2013109389 A JP 2013109389A JP 6157215 B2 JP6157215 B2 JP 6157215B2
Authority
JP
Japan
Prior art keywords
touch
scroll
tactile sensation
display
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013109389A
Other languages
English (en)
Other versions
JP2014229150A5 (ja
JP2014229150A (ja
Inventor
中川 浩一
浩一 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013109389A priority Critical patent/JP6157215B2/ja
Priority to US14/281,590 priority patent/US9864499B2/en
Priority to CN201410218473.9A priority patent/CN104182130A/zh
Publication of JP2014229150A publication Critical patent/JP2014229150A/ja
Publication of JP2014229150A5 publication Critical patent/JP2014229150A5/ja
Application granted granted Critical
Publication of JP6157215B2 publication Critical patent/JP6157215B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、表示制御装置およびその制御方法に関し、特にはタッチパネルを用いた表示装置およびその制御方法に関する。
近年、装置を大型化せずに大きな表示領域を確保したり、直感的な操作を実現するために、表示部にタッチパネルを備えた機器が増加している。表示部にタッチパネルを備えた機器では、タッチパネルに対する入力座標と表示部の画像座標との対応から、表示部に表示されたグラフィカルユーザインタフェース(GUI)を、ユーザが指などによって直接操作する感覚を与えることができる。
例えば、複数のメニュー項目を含んでいる画面が表示されている際にタッチパネルで検知された入力座標に対応するメニュー項目が選択されたものとして動作することで、ユーザに、画面上のメニュー項目を直接操作した感覚を与えることができる。
タッチパネルによってGUI項目を操作する場合、ユーザは指を用いることが多い。指先はマウスカーソルの先端に比べて遙かに大きいため、密集したGUI項目の中から所望の1つを選択するのは容易でない。そのため、タッチパネルを用いた装置では、選択可能なGUI項目を大きくしたり、隣接するGUI項目との間隔を開けるなどして誤操作を防止しているものもある。この場合、1画面に表示可能なGUI項目(メニュー項目やサムネイル画像など)の数は、マウスのようなポインティングデバイスを用いてGUI項目を操作する機器よりも少なくなる。
このように、1画面内に入りきらない項目がある場合、ドラッグやフリックといった操作に対応して画面をスクロール表示することも知られているが、所望の画面が表示されるようにドラッグやフリックを行うことは必ずしも容易でない。
メニュー画面を循環的にスクロール表示する場合に、先頭のメニューと末尾のメニューとの区切り部分で画面のスクロールを一時停止することで、先頭と末尾の区切り位置を把握可能とする構成が提案されている(特許文献1)。
特開2006−252366号公報
しかしながら、特許文献1に記載の方法では、表示が一巡すると画面のスクロールが一定停止してしまうため、区切りを早く通過させたい場合には、むしろユーザにストレスを与えてしまうという問題がある。また、区切りを複数設けたい場合にこの問題はさらに大きくなる。
また、スクロールを一時停止させない方法として、画面のデザインによって視覚的に区切りを見やすくすることも考えられる。例えば、区切りに目立つ色の線を表示したり、隣接する区画では表示項目の配色を変更するといった方法が考えられる。しかし、画面デザインが制約されるという問題がある。
本発明はこのような従来技術の課題に鑑みなされたものである。本発明は、表示による工夫とは別の方法によって、スクロールされる項目からユーザが所望の項目を見つけやすくする表示制御装置およびその制御方法を提供する。
上述の課題を解決するため、本発明の表示制御装置は、入力された指示に応じて、表示オブジェクトをスクロールさせることが可能な表示制御装置であって、表示制御装置を操作するユーザが触感として感知可能な刺激を発生させる触感生成手段と、指示に応じたスクロールにより、スクロール対象の区切りの位置が、予め定めた位置を通過する場合に、触感生成手段によって前記刺激を発生させるように制御する制御手段とを有することを特徴とする。
このような構成により、本発明によれば、スクロールされる項目からユーザが所望の項目を見つけやすくすることができる。
本発明の第1の実施形態に係る表示制御装置の機能構成例を示すブロック図 本発明の第1の実施形態に係る表示制御装置におけるサムネイル表示画面の例を示す図 本発明の第1の実施形態に係る表示制御装置におけるスクロール表示動作を説明するためのフローチャート 本発明の実施形態に係るサムネイル表示画面の別の例を示す図 本発明の第2の実施形態に係る表示制御装置における、触感発生位置の例を示す図 本発明の第2の実施形態に係る表示制御装置におけるスクロール表示動作を説明するためのフローチャート 本発明の第3の実施形態における、複数の項目を含んだ設定画面の例を示す図 本発明の第3の実施形態に係る表示制御装置におけるスクロール表示動作を説明するためのフローチャート
<第1の実施形態>
以下、図面を参照して、本発明をその例示的な実施形態を用いて詳細に説明する。
図1は、本発明の第1の実施形態に係る表示制御装置100の機能構成例を示すブロック図である。本発明は、タッチパネルのような接触感知式の入力装置と、表示装置とを有する任意の電子機器に適用可能であり、従って表示制御装置100は、この条件を満たす任意の装置であってよい。このような機器の非限定的な例としては、デスクトップコンピュータ、ノート型コンピュータ、タブレット端末、PDA、メディアプレーヤ、ゲーム機、携帯電話機、デジタルカメラ、プリンター、自動車、家電製品などがある。
CPU101、メモリ102、不揮発性メモリ103、画像処理部104、ディスプレイ105、操作部106、記録媒体I/F107、外部I/F109、振動生成部110、電気的触感生成部111がそれぞれ内部バス150に接続されている。内部バス150に接続される各部は、内部バス150を介して互いにデータを送受信可能である。
メモリ102は、例えばRAM(半導体素子を利用した揮発性のメモリなど)からなる。CPU101は、例えば不揮発性メモリ103に格納されるプログラムに従い、メモリ102をワークメモリとして用いて、表示制御装置100の各部を制御することにより、後述する表示制御装置100の動作を実現する。不揮発性メモリ103には、画像データや音声データ、その他のデータ、CPU101が実行する各種プログラムなどが格納される。不揮発性メモリ103は例えばハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)、ROM(EEPROM等の書き換え可能なものを含む)などで構成することができる。
画像処理部104は、CPU101の制御に基づいて、不揮発性メモリ103や記録媒体108に格納された画像データや、外部I/F109を介して取得した映像信号などに対して各種画像処理を施す。画像処理部104が行う画像処理には、A/D変換処理、D/A変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大/縮小処理(リサイズ)、ノイズ低減処理、色変換処理などが含まれる。画像処理部104は特定の画像処理を施すための専用の回路ブロックで構成しても良い。また、画像処理の少なくとも一部は画像処理部104を用いずにCPU101が画像処理プログラムを実行することで実現してもよい。
ディスプレイ105は、CPU101の制御に基づいて、例えば記録媒体108に記録された画像や文章などのほか、アプリケーションプログラムやOSが用いるGUI(Graphical User Interface)画像などを表示する。CPU101はディスプレイ105に表示するための映像信号をプログラムに従って生成し、映像信号をディスプレイ105に出力するように表示制御装置100の各部を制御する。ディスプレイ105は出力された映像信号に基づいて映像を表示する。なお、ディスプレイ105は外部装置として、表示制御装置100はディスプレイ105に表示させるための映像信号を出力する構成としてもよい。
操作部106は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネル106aといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザ操作を受け付けるための入力デバイスである。なお、本実施形態ではタッチパネル106aは透明もしくは半透明であり、ディスプレイ105に表示画面が視認できるように配置されるが、不透明でディスプレイ105とは別の位置に配置されてもよい。また、タッチパネル106aは、接触入力の座標情報を出力し、タッチパネル106aの出力する座標情報と、ディスプレイ105の表示座標との関係は既知であるものとする。タッチパネル106aは複数の異なる位置に対して同時に入力がなされた場合、個々の入力に対する座標情報を出力可能なタイプであっても、1つの入力に対する座標情報のみを出力するタイプであってもよい。
タッチパネル106aには、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、公知の様々な方式のタッチパネルのうち、任意のものを用いることができる。
記録媒体I/F107は、CPU101の制御に基づき、メモリーカードやCD、DVDといった着脱可能な記録媒体108に対するデータの読み出しおよび書き込みを行う。外部I/F109は、有線または無線によって接続された外部機器と映像信号や音声信号の入出力を行うためのインターフェースである。
振動生成部110はモーターとそれに接続された重りからなり、モーターに電流を流すことによって重りが回転し、表示制御装置100の全体を振動させる。モーターに流す電流をCPU101で制御することにより、種々の振動を発生させ、装置を持つユーザの手に様々な触感(刺激)を与えることが可能である。なお、振動生成部110として、圧電素子(ピエゾ素子)に電圧印加するなどして、表示制御装置100の全体ではなく、タッチパネル106aを湾曲振動させるものを用いても良い。印加電圧を変えることで様々な振動パターンで振動させることができ、フィードバックとして様々な触感(刺激)を発生させることができる。
電気的触感生成部111は導電層パネルと絶縁体パネルからなり、導電層に正電荷をチャージすることができる。この二枚のパネルは、タッチパネル106aと同様にディスプレイ105に重ね合わせて配置され、ユーザが絶縁体パネルを触ると、導電層パネルにチャージされた正電荷によって電気的な刺激を与えることができる。また、クーロン力により皮膚が引っ張られるような感覚を与えることが可能である。
正電荷をチャージするか否かは導電層パネルの位置ごとに選択可能であり、CPU101が選択を制御することで、タッチパネル106aに触れているユーザの指等に対してザラザラ感やゴツゴツ感(ザラザラ感より更に粗い触感)等を与えることができる。また、導電層パネルの位置ごとに正電荷をチャージすることにより、触れている箇所全体ではなく、局所的に触感を与えることや、一接触面内で触感を与える位置を変更することもでき、様々な触感をユーザに与えることが可能である。
振動生成部110および電気的触感生成部111は、タッチパネル106aを触っていたり表示制御装置100を保持したりしているユーザが、触感として感知可能な機械的または電気的な刺激(フィードバック)を与えるデバイスである。したがって、振動生成部110および電気的触感生成部111はいずれも、触感生成手段として機能する。図1では振動生成部110と電気的触感生成部111の双方を備える例を示したが、後述する各処理は、いずれか一方によって発生させる触感だけでも実現可能である。すなわち、振動生成部110と電気的触感生成部111のいずれか一方を備える装置でも本発明は実現可能である。
本実施形態において、CPU101はタッチパネル106aへの以下の操作/状態を検出できる。
・タッチパネル106aに物体が接触したこと(以下、タッチダウンと称する)。
・タッチパネル106aに物体が接触した状態にあること(以下、タッチオンと称する)。
・タッチパネル106aに物体が接触した状態が維持されながら、接触位置が移動していること(タッチオンかつ接触位置が移動している状態。以下、ムーブと称する)。
・タッチパネル106aに物体が接触していた状態から接触しない状態になったこと(以下、タッチアップと称する)。
・タッチパネル106aに何も触れていない状態(以下、タッチオフと称する)。
・2箇所で同時にタッチオンであり、タッチされている2点間の距離が狭まること(以下、ピンチインと称する)。
・2箇所で同時にタッチオンであり、タッチされている2点間の距離が広がること(以下、ピンチアウトと称する)。
また、タッチダウン、タッチアップを複数点で行うことを以下ではそれぞれマルチタッチダウン、マルチタッチアップと称する。また、複数点での操作をマルチタッチ、複数点でタッチオンであることをマルチタッチオンと称する。タッチパネル106aの状態や操作に関する情報や、タッチパネル106aに物体(一般にはユーザの指やスタイラスペン)が触れている位置座標は内部バス150を通じてCPU101に通知される。CPU101は通知された情報に基づいて、タッチパネル106aにどのような操作が行なわれたかを判定する。
ムーブについてCPU101は、タッチパネル106aに接触しながら移動する指やペンの移動方向(接触点の移動方向)についても、位置座標の変化に基づいて、タッチパネル106aの垂直成分・水平成分ごとに判定できる。
本実施形態では、タッチパネル106aで検出可能な状態の一連かつ特定のパターンを、タッチ操作と見なす。例えば、タッチパネル106aの状態が、タッチダウン、タッチオン、ムーブ、タッチアップと継続して変化した場合、ストローク描画というタッチ操作が行われたものと見なす。素早いストローク描画操作をフリックとも呼ぶ。フリックは、タッチパネルに触れ、そのままある程度の距離だけ素早く動かして、そのまま離す操作であり、タッチパネルを指ではじくように素早くなぞる操作とも言える。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリック操作が行なわれたと判定できる。また、ムーブが所定速度未満の場合は、通常のムーブ(ドラッグ)操作と判定する。また、他のタッチ操作についても、上述したタッチパネル106aの状態のパターンとの対応が予め不揮発性メモリ103に登録されているものとする。例えば、タッチダウンの後、所定時間未満にタッチオフが検出された場合にタップ操作と見なし、所定時間以降にタッチオフが検出された場合はタップ操作とは見なさないといった具合である。
本実施形態では、ディスプレイ105にサムネイル画像を撮影日ごとに表示する場合のように、日付を単位として項目を表示する。そして、ユーザのムーブ(ドラッグ)操作によって表示オブジェクトをスクロール表示するとともに、表示されている画像の日付が切り替わる際に、装置を振動させる。これにより、ユーザはムーブ(ドラッグ)操作をしている指(または保持したスタイラス等)を通じた触感によって切り替わりの発生を知ることができる。なお、本明細書において表示オブジェクトとは、スクロールの対象となる画像を意味する。また、本明細書における「画面」は、表示される内容であり、表示オブジェクトに含まれる。
図2(a)は本実施形態の表示制御装置100におけるサムネイル表示画面の例である。複数のサムネイル画像が、撮影日ごとのページ(領域)に並べて表示される。ここで、「ページ」の大きさは対応するサムネイル画像の数や大きさによって変化し、表示領域に収まる場合も収まらない場合もありうる。
日付表示領域201には表示中の画像の撮影日が表示され、図2(a)の例では表示中の画像A〜Fが2012年6月20日に撮影された画像であることを示す。領域202はサムネイル表示画面において、タッチパネル106aがドラッグ操作を受け付け可能な領域である。ユーザは領域202内で左右にドラッグ操作することで、画面全体もしくはサムネイル表示領域を左右にスクロールさせることができる。この場合、画面全体もしくはサムネイル表示領域はそれぞれ表示オブジェクトである。
図2(b)は、図2(a)の状態から右方向にドラッグ操作がなされた場合の表示例である。ドラッグ操作により表示画像がスクロールされ、画像Cおよび画像Fの一部が表示領域から外れて見えなくなり、画像Iおよび画像Lの全体が見えるようになっている。2012年6月20日に撮影された画像のサムネイル画像の範囲を205で、2012年6月19日に撮影された画像のサムネイル画像の範囲を206で示している。203はページの区切り(この場合、画像の撮影日の区切り)を示しており、範囲205と範囲206の境界に位置する。なお、区切り203は実際には表示されなくてもよい(表示してもよい)。
マーク204はタッチパネル上の予め定めた区切り通過判定位置を表す(表示領域外に示しているように、マーク204も表示されない)。マーク204に対応する区切り通過判定位置をP1とする。なお、区切り通過判定位置P1は表示領域に規定された水平方向の座標で特定される。また、水平方向の座標は表示領域左端から表示領域右端に向かうに従い、値が大きくなるとする。CPU101は、203で表されるページ区切りが区切り通過判定位置P1を左から右に通過すると、ページの切り替わり(表示されている画像の日付の切り替わり)が発生したと判断し、振動生成部110を制御して振動を発生させる。
具体的には、右方向のスクロール中にページ区切り203の表示位置の水平座標が、区切り通過判定位置P1を規定する水平座標と等しくなった際に、CPU101は振動生成部110を制御して振動を発生させることができる。あるいは、ページ区切り203の表示位置の水平座標が、区切り通過判定位置P1を規定する水平座標以下の状態から、区切り通過判定位置P1を規定する水平座標を超える状態になった際に振動を発生させてもよい。
なお、本実施形態では、区切り通過判定位置P1を通過した区切りが「日」のみの切り替わりである場合には小さな振動(以下、触感「小」とする)、「日」だけでなく「月」も切り替わる場合には大きな振動(以下、触感「大」とする)を発生させる。これにより、ユーザはドラッグ操作によるスクロール中、装置の振動により「日」や「月」が切り替わったことを認識することができ、所望の画像を探し出し易くなる。「年」、「月」、「日」、「時間」での分類において、「月」は、「日」に対して上位階層の分類基準であり、「日」は「月」に対して下位階層の分類基準である。このように、下位階層の分類の区切りを跨ぐ場合よりも、上位階層の分類の区切りを跨ぐ場合の方が大きな刺激の触感を与えることで、ユーザにどの階層の区切りを跨いだのかを直感的に認識させることができる。
図2(c)は、図2(a)の状態から左側にドラッグ操作がなされた場合の表示例である。すなわち、図2(a)から図2(b)の状態とは逆向きのドラッグ操作がなされた場合の表示例である。ドラッグ操作により表示画像がスクロールされ、画像A〜画像Fは表示領域左側に移動し、画像I,画像Lは表示領域から外れ、画像M,画像Pが新たに表示領域右側から現れている。2012年6月20日に撮影された画像のサムネイル画像の範囲を205で、2012年7月7日に撮影された画像のサムネイル画像の範囲を207で示している。208はページの区切り(この場合、画像の撮影日および撮影月の区切り)を示しており、範囲205と範囲207の境界に位置する。なお、区切り208は実際には表示されなくてもよい(表示しても良い)。
マーク209は予め定めた区切り通過判定位置を表す。マーク204と違い、表示領域の右側に位置しているが、これは左側へのドラッグ操作中と右側へのドラッグ操作中で区切り通過判定位置を変えることにより、ユーザに対して早めに「月」あるいは「日」の切り替わりが発生したことを知らせるためである。マーク209に対応する区切り通過判定位置をP2とする。P2は、逆方向のスクロール(右スクロール)の際に設定されるP1よりも、現在行われているスクロール(左スクロール)に対して上流側に設定する。区切り通過判定位置P2もまた、表示領域に規定された水平方向の座標で特定される。CPU101は、208で表されるページ区切りが区切り通過判定位置P2を右から左に通過すると、ページの切り替わり(ここでは表示されている画像の月の切り替わり)が発生したと判断し、振動生成部110を制御して振動を発生させる。
具体的には、左方向のスクロール中にページ区切り208の表示位置の水平座標が、区切り通過判定位置P2を規定する水平座標と等しくなった際に、CPU101は振動生成部110を制御して振動を発生させることができる。あるいは、ページ区切り208の表示位置の水平座標が、区切り通過判定位置P2を規定する水平座標より大きい状態から、区切り通過判定位置P2を規定する水平座標以下の状態となった際に振動を発生させてもよい。
図3に示すフローチャートを用いて、上述したスクロール表示動作に係るCPU101の動作を説明する。
S301でCPU101は、操作部106のタッチパネル106aをチェックし、タッチダウンがあったか否かを判定する。タッチダウンが検出された場合にはS302へ進める。タッチダウンが検出されない場合、CPU101は、S31での終了イベント検出とS301でのタッチダウン検出とを繰り返す。
S302でCPU101は、S301にてタッチダウンが検出された位置がドラッグ操作可能な領域202内かどうかを判定し、ドラッグ操作可能な領域202内の場合には処理をS303へ進める。ドラッグ操作不可能な領域でタッチダウンが検出された場合、CPU101はS31に処理を進め、S31で終了イベントが検出されなければS301で再びタッチダウン検出を行う。
S303でCPU101は、タッチパネル106aをチェックし、ドラッグ操作が行われたかどうかを判定する。ドラッグ操作が行われた場合、CPU101は直近の所定期間(例えば、ドラッグ判定用のタッチ位置のサンプリング周期における直近とその前の2回分)におけるドラッグ操作の開始点、終了点の座標をメモリ102に格納し、処理をS304へ進める。ドラッグ操作が行われなかった場合、CPU101は処理をS315へ進める。
S304でCPU101は、S303で検出されたドラッグ操作がどの方向に対して行われたかを判定する。具体的には、CPU101がメモリ102から、直近の所定期間におけるドラッグの開始点、終了点の座標を読み出し、開始点の水平座標が終了点の水平座標よりも小さければドラッグ方向は右、そうでなければドラッグ方向は左と判定する。CPU101はドラッグ方向が右と判定された場合にはS305へ、左と判定された場合にはS306へ処理を進める。
S305でCPU101は、区切り通過判定位置をP1にセットし、処理をS307へ進める。
S306でCPU101は、区切り通過判定位置をP1よりも表示領域右側(ドラッグによるスクロール方向の上流側)の位置のP2にセットし、処理をS307へ進める。
S307でCPU101は、画像処理部104を制御し、ドラッグ距離とドラッグ方向に応じて、サムネイル画像表示画面をスクロールさせる。具体的には、CPU101がメモリ102から、直近の所定期間におけるドラッグの開始点、終了点の座標を読み出し、終了点から開始点を減じたものをスクロール量とする。CPU101は、スクロール量が正の場合には右側に、負の場合には左側に、スクロール量分だけ表示画像をスクロールさせ、処理をS308へと進める。
S308でCPU101は、ページ区切りがS305またはS306で設定した区切り通過判定位置を通過したかどうかを判定する。
例えばCPU101は、スクロール対象である表示オブジェクトにおける、各ページの区切りに対応する位置(以下、区切り位置)の水平座標を監視する。そして、CPU101は、ドラッグ方向が右の場合には、区切り位置の水平座標が、区切り通過判定位置P1の水平座標以下の状態から超える状態になった際に、ページ区切りが区切り通過判定位置を通過したと判定する。また、ドラッグ方向が左の場合には、区切り位置の水平座標が、区切り通過判定位置P2の水平座標より大きい状態から以下の状態になった際に、ページ区切りが区切り通過判定位置を通過したと判定する。ページ区切りが区切り通過判定位置を通過したと判定された場合、CPU101は処理をS309へ進め、通過したと判定されなかった場合には処理をS312へ進める。
S309でCPU101は、S308で通過が判定されたページ区切りの種類を判定し、区切りが「月」の区切りである場合にはS310、区切りが「日」の区切りである場合にはS311へそれぞれ処理を進める。
S310でCPU101は、振動生成部110を制御し、触感「大」を生成させる。すなわち、CPU101は、S311で発生させる振動より大きな振動を発生させる。その後、CPU101は処理をS312へ進める。
S311でCPU101は、振動生成部110を制御し、触感「小」を生成させる。すなわち、CPU101は、S310で発生させる振動より小さな振動を発生させる。その後、CPU101は処理をS312へ進める。
S312でCPU101は、タッチパネル106aをチェックし、タッチアップを検出したかどうかを判定し、タッチアップが検出された場合には、S31に処理を進め、タッチアップが検出されなかった場合には処理をS314に進める。
S313でCPU101は、例えばサムネイル表示画面の表示から他の画面表示に切り替える指示などの終了イベントが検出されたかどうかチェックする。終了イベントが検出されればCPU101は処理を終了し、検出されなければ処理をS301に戻す。
S314でCPU101は、タッチパネル106aをチェックし、ドラッグ操作が検出されたかどうかを判定し、ドラッグ操作が検出された場合には処理をS307へ進め、ドラッグ操作が検出されなかった場合には処理をS312へ進める。ここで、S314でドラッグが検出された場合にはS307に進むようにしているので、S312でタッチアップが検出されない限りは区切り通過判定位置は変更されない。このようにすることで、タッチしたままドラッグ方向を右から左、左から右と変更した場合にも、すなわちタッチしたままスクロール方向を変更した場合でも、同じ区切りに対しては触感を感じる位置が同じとなるようにしている。このようにすることで、1回のタッチ操作中に同一の区切りに対して触感を感じる位置が変わってしまうという不自然さを防いでいる。
S315でCPU101は、タッチアップがあったか否かを判定する。タッチアップがあった場合にはS313に進み、タッチアップがなかった場合にはS303に進む。
以上説明したように、本実施形態では、表示画面をスクロールする際に、表示画面に予め設定された区切り位置が所定の位置を通過した際に、装置を振動させて触感を与える。そのため、スクロールされている画面が複数のページから構成される際に、スクロールによってページの区切りを跨いだことを容易に把握することができる。この際、スクロールが一時停止することはないため、区切りが複数設定されていても、ユーザを待たせることはない。また、ページの区切りは装置の内部で監視されるため、表示画面のデザインに影響を与えることはない。更に、区切りの位置を表示以外の方法、例えば音声ガイダンスなどを用いることも考えられるが、音声ガイダンスは周囲の迷惑になり得るほか、騒音の多い場所では聞きとりづらいなどの懸念がある。これに対し本実施形他では触感によって区切りの位置を跨いだことをユーザに通知するため、このような懸念がない。
また、区切りの種類によって発生させる振動の大きさやパターンを異ならせることで、ユーザによりきめ細かな情報を伝えることができる。例えば、上述のように、日付ごとにページが割り当てられている場合、ページの区切りが日の区切りであるが月の区切りでない場合(下位階層の区切り)と、月の区切りに該当する場合(上位階層の区切り)とで異なる振動を発生させれば、振動だけである程度の日付を推定することができる。なお、年の区切りに該当する場合にはさらに別の振動を発生させてもよい。また、区切りの種類は日付に限らず、任意の種類を用いることができる。例えば、画像に付加された撮影場所を示す位置情報に基づいて画像がソート及び分類されている場合、国(上位階層)の区切りを跨いだ場合に大きな触感を発生させ、州(下位階層)の区切りを跨いだ場合に小さな触感を発生させてもよい。なお、図3の処理は、触感として振動生成部110で発生させる振動を用いる例を説明したが、電気的触感生成部111で発生させる電気的な刺激を用いて置き換えても良いことは言うまでもない。
また、本実施形態の方法は、ドラッグ操作によるスクロールだけでなく、フリック操作による慣性スクロールにも適用可能である。慣性スクロールは、フリック操作時のムーブの速度や距離に応じて、タッチアップ後もスクロールを継続し、徐々にスクロール速度を低下させる表示手法である。この場合、フリック操作中だけでなく、タッチアップ後のスクロール中にページ区切りが所定位置を通過した場合に振動を発生させればよい。装置全体を振動させるため、タッチ操作を行う指がタッチパネルに接していなくても、装置を保持する手で振動を感じることができる。
また、ドラッグ操作やフリック操作のように、ムーブを伴う操作ではなく、例えば図4に示すように、画面中に表示されるスクロールボタン401,402(タッチアイテム)のタップ操作で表示画面をスクロールさせる場合にも、本実施形態の方法を適用できる。スクロールボタン401は左方向、スクロールボタン402は右方向のスクロールを指示するためのボタンであり、領域202におけるドラッグ操作だけでなく、これらのスクロールボタンの操作によっても画面スクロールが可能である。スクロールボタンのタップ操作に応じてスクロールを行う場合、どの方向に対応するスクロールボタンが、どれくらいの時間タッチされたかに応じて、CPU101はスクロール方向とスクロール量を決定することができる。その後は、決定したスクロール方向とスクロール量とに応じたスクロール表示を行いながら、上述のページ区切りの通過判定を行えばよい。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。第1の実施形態ではユーザに対して触感を与えるために振動生成部110によって装置全体を振動させていたが、本実施形態では代わりに電気的触感生成部111を利用して触感を与える例を説明する。電気的触感生成部111による電気的触感は、装置を保持している(タッチパネル106aに触れていない)手では感知できない。つまり、ユーザの指がタッチパネル106aに接していないと、電気的触感生成部111を用いて触感を与えることはできない。なお、この課題は、振動生成部110が、タッチパネル106aのタッチ面にタッチする指だけに振動を感じさせることのできるタイプである場合にも同じことが言える。
ドラッグ操作によるスクロール表示時は、ユーザの指が継続的にタッチパネル106aに触れているため、第1の実施形態において単に振動生成部110に代えて電気的触感生成部111を用いる構成とすればよい。この場合も、区切りの種類に応じて異なる電気的触感を与えることができる。
図5(a)は、図4に示したサムネイル表示画面において、タッチパネル106aの領域202において左方向にドラッグ操作され、表示画面を左にスクロールする際に触感を発生させる位置の例を示す図である。距離503はページ区切り501と、マーク502が示す区切り通過判定位置P2との間の距離を表す。
ドラッグ操作が位置504から開始された場合、触感発生位置505で触感を発生させる。触感発生位置505は、画面垂直方向(ドラッグ可能方向と垂直な方向)に、帯状に規定される。触感発生位置505は、ドラッグ開始位置504に応じて水平方向の位置が変動する(ドラッグ開始後、ドラッグ中には移動しない)。距離506はドラッグ開始位置504と触感発生位置505との距離を表す。この距離506が、ページ区切り501と、マーク502が示す区切り通過判定位置P2との間の距離503と等しくなるように、CPU101によって触感発生位置505が決定される。これにより、ユーザのドラッグ操作により、表示されているサムネイル画像の撮影日が切り替わると、ユーザの指が画面垂直方向に帯状に位置する触感発生位置505を水平方向に横切ることになる。その結果、ページ区切りが区切り通過判定位置を通過する際に、あたかもユーザの指が物理的に存在する枠を乗り越えるような触感を与えることができる。
図4に示したような、スクロールボタン401,402のタップ操作によるスクロール表示においても、タッチオン状態が検出されている場合だけスクロールを行う構成であれば、やはり振動生成部110に代えて電気的触感生成部111を用いる構成とすればよい。
ただし、ユーザは指をタッチパネル106aに触ったり離したりしながらスクロールボタンのタップ操作(タッチしている時間が短い)を行うことが考えられる。そのため、場合によっては、電気的触感が指に十分伝わらない可能性がある。また、スクロールボタンのタッチ操作とそれに対応したスクロール表示との間に時間差がある場合には、ページ区切りが区切り通過判定位置を通過した際に指がタッチパネル106aから離れている可能性がある。
例えば、
・スクロールボタンのタッチ時間が長くなるほどスクロールを加速させ、タッチアップ後も慣性スクロールさせる場合、
・タッチアップが検出されてから、タッチダウン検出からタッチアップ検出までの時間に応じた量のスクロールを行う場合、
・1回のタップ操作ごとに所定量のスクロールを行う場合(タッチダウン状態が検出されるとスクロールを開始し、その後タッチアップが検出されるまでの時間に関係なく一定量のスクロールを行う場合)
などでは、ページ区切りが区切り通過判定位置を通過した際に指がタッチパネル106aから離れている可能性がある。
本実施形態では、スクロールボタン領域でタッチダウンが検出された際には、直ちに予定スクロール量を算出する。そして、予定スクロール量のスクロール中にページ区切りが区切り通過判定位置を通過すると判断される場合には、実際に通過したことが判定されるより前に触感を発生させる。これにより、実際にページ区切りが区切り通過判定位置を通過する時点ではユーザの指がタッチパネルから離れている可能性がある場合でも、ユーザに触感を与えられる可能性を高くすることができる。
図5(b)は、図4に示したサムネイル表示画面において、左方向スクロールに対応したスクロールボタン401がタップ操作され、表示画面を左にスクロールする際の触感発生位置の例を示す図である。マーク510は、区切り通過判定位置P3を表す。位置509は、スクロールボタン401のタップ操作時のユーザの指でのタッチ位置を表す。
スクロールボタンへのタッチ操作では、ユーザの指の位置509は(ドラッグ操作と見なされるまでは)移動しない。そのため、本実施形態では、触感発生開始位置511から触感発生終了位置512まで触感発生位置を矢印513で示すように、スクロール方向に移動させることにより、ドラッグ操作時と同様にあたかも物理的に存在する枠を乗り越えるような触感を指に与える。このように、CPU101は、画面のスクロール方向と同一方向に触感発生位置を移動するように電気的触感生成部111を制御する。触感発生開始位置511と触感発生終了位置512は、スクロールボタンを挟んだ任意の位置に設定可能である。ただし、タッチアップする前にタッチする指に触感を与えるために、なるべくスクロールボタンに近い位置に触感発生開始位置511を設定することが望ましい。少なくとも、1回のタップでスクロールする距離よりはスクロールボタンに短い距離に設定するとよい。
上述した本実施形態の触感制御動作を実現するためのCPU101の動作を、図6に示したフローチャートを用いて説明する。
なお、本実施形態においても第1の実施形態と同様に画面の水平方向に座標がふられており、区切り通過判定位置P1、P2も同様に定義されているとする。なお、区切りが区切り通過判定位置を通過する際の判定処理やドラッグ方向の判定の具体的な方法については、第1の実施形態と同様であるため、ここでは説明を省略する。
また、ドラッグ操作に対する動作は第1の実施形態と基本的に同じであるため、図3と同じ参照数字を付して説明を省略する。
S302でCPU101は、S301にてタッチダウンが検出された位置がドラッグ操作可能な領域であるかどうかを判定する。ドラッグ操作可能な領域の場合にはS303へ、ドラッグ操作不可能な領域の場合にはS613へ、それぞれ処理を進める。
S303以降の処理は、以下の点を除き、第1の実施形態と同様である。
S605において、区切り通過判定位置P1の設定に加え、触感発生位置505を設定する。上述の通り、触感発生位置505は、ドラッグ開始時の指の位置(ドラッグ開始位置)504から、区切り501と区切り通過判定位置P1の間の距離503と等しい距離506だけドラッグ(左)方向に離れた位置に設定する。
S606において、区切り通過判定位置P2の設定に加え、触感発生位置505を設定する。上述の通り、触感発生位置505は、ドラッグ開始時の指の位置(ドラッグ開始位置)504から、区切り501と区切り通過判定位置P2の間の距離と等しい距離だけドラッグ(右)方向に離れた位置に設定する。
図3におけるS309〜S311がS609に変更される。
S609でCPU101は、電気的触感生成部111を制御し、S605あるいはS606で設定した触感発生位置505に触感を発生させる(触感発生位置にタッチしているユーザの指に触感を与える)。なお、第1の実施形態と同様、発生させる触感を、区切りの種類に応じて変えてもよい。例えば、「日」の区切りではややざらざらした触感を与え、「月」の区切りでは「日」よりも、粗くざらざら(ごつごつ)した触感を与えるようにすれば、触感からどのような区切りを超えたのかがわかり、ユーザは所望の画像をより探しやすくなる。
S312以降の処理は第1の実施形態と同様であるため説明を省略する。
S302で、検出されたタッチダウンがドラッグ可能領域外であると判定された場合、S613でCPU101は、S301にてタッチダウンが検出された位置が、スクロールボタン領域内かどうかを判定する。CPU101は、タッチダウンがスクロールボタン領域内で検出されていてればS614へ、そうでない場合にはS31へ、処理を進める。
S614でCPU101は、区切り通過判定位置P3(図5(b)のマーク510に対応した位置)をセットし、処理をS615へ進める。
S615でCPU101は予定スクロール量を算出する。そして、S616でCPU101は、ページ区切りの現在位置から予定スクロール量分の範囲に区切り通過判定位置が存在するかどうか(予定スクロール量のスクロール中にページ区切りが区切り通過判定位置を通過するかどうか)を判定する。予定スクロール量のスクロール中にページ区切りが区切り通過判定位置を通過すると判定される場合にはS617へ、そうでない場合はS623へ処理を進める。
S615の予定スクロール量算出と、S616の判定は、ボタン操作に対してどのようなスクロール動作を行うかに応じた内容およびタイミングで実行すればよい。ここでは、1回のタップ操作あたり予め定めた固定量のスクロールを行うものとし、この場合、予定スクロール量=予め定めた固定量である。なお、タッチアップが検出されてから、タッチダウン検出からタッチアップ検出までの時間に応じた量のスクロールを行う場合、CPU101は、タッチダウン検出から継続してタッチダウンが検出されている時間を測定する。一方、予め定めたスクロール速度と測定されている時間とから、予定スクロール量を順次更新し、更新した予定スクロール量に対して判定を行えばよい。スクロールの開始前に予定スクロール量が求められない場合であっても、スクロールさせながらその後のスクロール量を定期的に算出し、ページ区切りが区切り通過判定位置を通過するかどうかを判定すればよい。
S617でCPU101は、電気的触感生成部111を制御し、触感発生開始位置で触感を発生させ、その後、処理をS618へ進める。図5(b)で説明したように、触感発生開始位置は、画面の垂直方向に帯状に設定され、水平位置は現在の指の位置からスクロール方向と逆方向に位置するように設定されている。
S618でCPU101は、タッチパネル106aでタッチアップが検出されたか判定し、タッチアップが検出された場合にはS623へ、タッチアップが検出されなかった場合にはS619へ、それぞれ処理を進める。
S619でCPU101は、電気的触感生成部111を制御し、触感を発生させる位置を移動させる。移動させる方向は画面のスクロール方向と同じである。また、移動速度もスクロール速度と同じでよい。つまり、CPU101は、スクロールボタン401がタップ操作された場合には触感発生位置を左側に移動させる(触感発生位置の座標を一定値減じる)。また、CPU101は、スクロールボタン402がタップ操作された場合には触感発生位置を右側に移動させる(触感発生位置の座標を一定値増加させる)。そして、CPU101は処理をS620へ進める。
S620でCPU101は、触感発生位置が触感発生終了位置に達したかどうかを判定し、達した場合にはS623へ、達していない場合はS621へ、それぞれ処理を進める。
S621でCPU101は、予定スクロール量分のスクロールが行われたかどうかを判定し、行われた場合にはS618へ、そうでなければS622へ処理を進める。
S622でCPU101は、サムネイル表示画面を一定量、指定された方向にスクロールさせ、処理をS618に戻す。
S618でタッチアップが検出された場合、S623でCPU101は、予定スクロール量分のスクロールが完了したか判定し、完了した場合にはS31へ、完了していなければS624へ、処理を進める。
S624でCPU101は、サムネイル表示画面を一定量、指定された方向にスクロールさせ、処理をS623に戻す。
予定スクロール量分のスクロールを行う間に、区切り通過判定位置P3をページ区切りが通過するが、スクロールを開始する前(S617)から触感の発生を開始しているため、ユーザがタッチアップする前に、触感を与えることができる可能性が高い。なお、ここでは触感発生位置をスクロールに従って移動させた。しかし、感触発生位置を移動させずに、S17で、タッチ操作されている位置(タッチ位置)に対して触感を発生させるだけ(この場合、S619,S620の処理は省かれる)でも、ユーザにページ区切りの存在を触感で知らせるという効果は実現できる。このS17でタッチ位置に触感を発生させる方法は、触感発生位置を移動する方法に比べて、触感によってスクロール方向を識別させることは難しいが、タッチアップ前に確実に触感を与えることができる点については優位である。
このように、本実施形態によれば、ドラッグ操作であってもボタン操作であっても、ページ区切りの存在、上述の例では表示されているサムネイル画像の撮影日の切り替りを、タッチ面にタッチする指の触感でユーザに知らせることが可能になる。また、画面をスクロールさせる操作の種類に応じて触感の発生位置や発生方法を変えることで、ユーザに対してあたかも物理的に存在する枠を乗り越えるような触感を与えることができる。
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。第3の実施形態では、カテゴリの異なる複数のメニュー項目を含んだ設定画面をスクロールする場合に、カテゴリの区切りや種類を触感で通知するように構成したものである。
図7は本実施形態における設定画面の表示例を示す図ある。701はドラッグ操作を受け付け可能な領域を示しており、この領域内で上下方向のドラッグ操作が検出されると、メニュー項目群を上下にスクロール表示する。設定画面が有する複数のメニュー項目のうち、702は画面表示に関係する(表示カテゴリに属する)メニュー項目群であり、703は音声に関係する(オーディオカテゴリに属する)メニュー項目群である。なお、設定画面をスクロールしないと表示されない、操作カテゴリに属するメニュー項目群があるものとする。704は表示カテゴリとオーディオカテゴリの間のページ区切りを表す。また、オーディオカテゴリと操作カテゴリとの間のページ区切りも存在する。704で示す実線は区切りの位置を理解するために図示したものであり、実際には表示されなくてもよい(表示してもよい)。マーク705は区切り通過判定位置を示す。本実施形態でCPU101は、区切り通過判定位置に対応するメニュー項目が属するカテゴリに応じた触感を、振動生成部110または電気的触感生成部111を制御して生成する。
カテゴリと触感がどのように対応するかは、例えば以下のように対応付けたテーブル(以降、触感対応表とする)の形式で不揮発性メモリ103に予め保存しておくことができる。CPU101はこの表を参照することで、振動生成部110または電気的触感生成部111を制御して発生させる触感を決定する。
<触感対応表>
カテゴリ 触感種別
オーディオカテゴリ 触感A
表示カテゴリ 触感B
操作カテゴリ 触感C
図8に示すフローチャートを用いて、本実施形態における振動発生制御に係るCPU101の動作を説明する。なお、区切りが区切り通過判定位置を通過したかどうかの判定処理の具体的な方法など、第1の実施形態と同様の処理については図3と同様の参照数字を付し、説明を省略する。本実施形態は、ドラッグ可能領域内におけるドラッグ操作が検出された際の動作を特徴とする。
S301におけるタッチダウン状態の検出から、S308でページ区切りが区切り通過判定位置を通過したかどうかを判定するまでの処理は、第1の実施形態と同様である。S308で、ページ区切りが区切り通過判定位置を通過したと判定された場合、CPU101はS801で、区切り通過判定位置に対応するメニュー項目が属するカテゴリを判定する。
CPU101は、区切り通過判定位置に位置しているのがオーディオカテゴリのメニュー項目の場合にはS802へ、表示カテゴリのメニュー項目の場合にはS803へ、操作カテゴリのメニュー項目の場合にはS804へ、それぞれ処理を進める。
S802でCPU101は、不揮発性メモリ103内の触感対応表を参照し、振動生成部110または電気的触感生成部111を制御して、オーディオカテゴリに対応する触感Aを発生させ、その後、処理をS312へ進める。
S803でCPU101は、S802と同様に、振動生成部110または電気的触感生成部111を制御して触感Bを発生させ、その後、処理をS312へ進める。
S804でCPU101は、S802と同様に、振動生成部110または電気的触感生成部111を制御して触感Cを発生させ、その後、処理をS312へ進める。
S312以後の処理は第1の実施形態と同様であるため、説明を省略する。
このように、本実施形態によれば、表示されているメニュー項目がどのカテゴリのメニュー項目かを示す触感を発生させる。そのため、ユーザはメニュー画面が(例えば項目を読み取れないほど)高速にスクロールさせているときでも、カテゴリの切り替わりを触感によって知ることができ、所望の項目を探すことが容易になる。また、カテゴリ毎に表示色を変えるといった、統一感のない画面デザインを採用する必要もなくなる。
なお、S803〜S804で発生させる触感は、ページ区切り(カテゴリ区切り)が区切り通過判定位置を通過した際に発生させた後、区切り通過判定位置に対応するメニュー項目が属するカテゴリが変化しなければ一定時間後に停止させてもよい。あるいは、他の画面に切り替わるまで、触感の発生を継続させてもよい。
(他の実施形態)
上述の実施形態では、サムネイル表示画面やメニュー画面の表示を例として本発明の実施形態を説明した。しかし、表示内容は本発明において任意である。例えば、文書ファイルをスクロール表示する際に、ページ、セクション、章、ユーザ指定の任意のブックマークなどの区切りをユーザに通知するために上述の構成を用いてもよい。この場合も、区切りの種類に応じて異なる触感を通知することで、区切りの種類も通知することができる。WebブラウザでWebページを閲覧する際にも適用可能である。
また、区切りが直線により規定される場合のみを説明したが、区切りは任意の形状で規定されてよい。例えば、地図をスクロール表示する際に、県境などの行政区分の境界を区切りとして設定することができる。この場合、県境、市境、町境など区切りの種類に応じた触感を与えるとなお良い。
なお、上述の実施形態においてCPU101が行うものとして説明した制御は、1つのCPUが行ってもよいし、複数のCPUが処理を分担することで実現されてもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
また、上述した実施形態においては、本発明を表示制御装置に適用した場合を例にして説明したが、本発明はタッチパネルを用いたユーザインタフェースを有する任意の装置に適用可能である。本発明を適用可能な電子機器の非限定的な例を述べれば以下の通りである。タッチパッドを有するパーソナルコンピュータ、PDA、携帯電話機、携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、家電製品など。
また、スクロールの操作を行うためのタッチパネルとは異なる操作部材を有する装置にも適用可能である。例えば、マウスを操作する手に触感を与えられるような触感発生部を備えたマウスを有するパーソナルコンピュータに適用可能である。マウス操作に応じてスクロールの指示が行え、上述の各実施例の処理で説明したように、スクロールによってスクロール対象(表示オブジェクト)の区切りを跨いだ場合に、触感をマウスを通じてユーザに与えれば良い。同様に,操作する手に触感を与えることのできるコントローラーを備えたゲーム機などにも適用可能である。
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (16)

  1. 入力された指示に応じて、表示オブジェクトをスクロールさせることが可能な表示制御装置であって、
    前記表示制御装置を操作するユーザが触感として感知可能な刺激を発生させる触感生成手段と、
    指示に応じたスクロールにより、スクロール対象の区切りの位置が、予め定めた位置を通過する場合に、前記触感生成手段によって前記刺激を発生させるように制御する制御手段と
    を有し、
    前記指示がタッチパネルに対するタッチ操作によるものであり、
    前記制御手段は、前記タッチパネルに表示された特定のタッチアイテムに対する、タッチ位置の移動を伴わないタッチ操作に応じて前記スクロールを行うとともに、該特定のタッチアイテムに対する前記タッチ操作に応じた該スクロールによって前記区切りの位置が前記予め定めた位置を通過する場合、該スクロールによって前記区切りの位置が前記予め定められた位置を通過するより前に、前記触感生成手段によって前記刺激を発生させることを特徴とする表示制御装置。
  2. 入力された指示に応じて、表示オブジェクトをスクロールさせることが可能な表示制御装置であって、
    前記表示制御装置を操作するユーザが触感として感知可能な刺激を発生させる触感生成手段と、
    指示に応じたスクロールにより、スクロール対象の区切りの位置が、予め定めた位置を通過する場合に、前記触感生成手段によって前記刺激を発生させるように制御する制御手段と
    を有し、
    前記指示がタッチパネルに対するタッチ操作によるものであり、
    前記制御手段は、前記タッチパネルに表示された特定のタッチアイテムに対する、タッチ位置の移動を伴わないタッチ操作に応じて前記スクロールを行うとともに、該特定のタッチアイテムに対する前記タッチ操作に応じた該スクロールによって前記区切りの位置が前記予め定めた位置を通過する場合、前記タッチパネル上で刺激を発生させる位置を、前記スクロールに伴って前記タッチ操作のタッチ位置を跨ぐように移動させることを特徴とする表示制御装置。
  3. 前記予め定められた位置が、前記スクロールの方向に応じて異なることを特徴とする請求項1または2に記載の表示制御装置。
  4. 前記予め定められた位置は、他のスクロール方向である場合よりも、スクロール方向の上流側であることを特徴とする請求項に記載の表示制御装置。
  5. 前記刺激は、前記タッチパネルに触れている場合に触感として感知可能であることを特徴とする請求項1乃至のいずれか1項に記載の表示制御装置。
  6. 前記制御手段は、前記タッチ操作が、タッチしたままタッチ位置を移動させるドラッグ操作であった場合に、該ドラッグ操作によるタッチ位置の移動に応じて前記スクロールを行うとともに、該ドラッグ操作中に該スクロールに応じて前記区切りの位置が前記タッチパネル上の前記予め定めた位置となると前記触感生成手段によって前記刺激を発生させるように制御することを特徴とする請求項1乃至のいずれか1項に記載の表示制御装置。
  7. 前記制御手段は、前記区切りの位置が前記予め定めた位置を通過する場合に、前記触感生成手段に該区切りの種類に応じた異なる刺激を発生させることを特徴とする請求項1乃至のいずれか1項に記載の表示制御装置。
  8. 前記制御手段は、区切りの種類が上位階層の区切りである場合の方が下位階層の区切りである場合よりも大きい刺激を発生させることを特徴とする請求項に記載の表示制御装置。
  9. 前記制御手段は、前記区切りの位置を示す表示はしないことを特徴とする請求項1乃至のいずれか1項に記載の表示制御装置。
  10. 前記制御手段は、スクロール対象の表示オブジェクトとして複数の表示アイテムを分類して表示するように制御し、前記区切りは、該分類における区切りであることを特とする請求項1乃至のいずれか1項に記載の表示制御装置。
  11. 前記制御手段は、前記複数の表示アイテムを時間に関する単位に基づいて分類して表示することを特徴とする請求項10に記載の表示制御装置。
  12. 前記制御手段は、スクロール対象の表示オブジェクトの端点以外に設けられた複数の区切り位置のそれぞれが前記予め定めた位置を通過する場合に、前記触感生成手段によって前記刺激を発生させるように制御することを特徴とする請求項1乃至11のいずれか1項に記載の表示制御装置。
  13. 表示制御装置を操作するユーザが触感として感知可能な刺激を発生させる触感生成手段を有し、入力された指示に応じて、表示オブジェクトをスクロールさせることが可能である表示制御装置の制御方法であって、
    指示に応じたスクロールにより、スクロール対象に予め設定された区切りの位置が、予め定めた位置を通過する場合に、前記触感生成手段によって前記刺激を発生させるように制御する制御ステップを有し、
    前記指示がタッチパネルに対するタッチ操作によるものであり、
    前記制御ステップでは、前記タッチパネルに表示された特定のタッチアイテムに対する、タッチ位置の移動を伴わないタッチ操作に応じて前記スクロールを行うとともに、該特定のタッチアイテムに対する前記タッチ操作に応じた該スクロールによって前記区切りの位置が前記予め定めた位置を通過する場合、該スクロールによって前記区切りの位置が前記予め定められた位置を通過するより前に、前記触感生成手段によって前記刺激を発生させることを特徴とする表示制御装置の制御方法。
  14. 表示制御装置を操作するユーザが触感として感知可能な刺激を発生させる触感生成手段を有し、入力された指示に応じて、表示オブジェクトをスクロールさせることが可能である表示制御装置の制御方法であって、
    指示に応じたスクロールにより、スクロール対象に予め設定された区切りの位置が、予め定めた位置を通過する場合に、前記触感生成手段によって前記刺激を発生させるように制御する制御ステップを有し、
    前記指示がタッチパネルに対するタッチ操作によるものであり、
    前記制御ステップでは、前記タッチパネルに表示された特定のタッチアイテムに対する、タッチ位置の移動を伴わないタッチ操作に応じて前記スクロールを行うとともに、該特定のタッチアイテムに対する前記タッチ操作に応じた該スクロールによって前記区切りの位置が前記予め定めた位置を通過する場合、前記タッチパネル上で刺激を発生させる位置を、前記スクロールに伴って前記タッチ操作のタッチ位置を跨ぐように移動させることを特徴とする表示制御装置の制御方法。
  15. コンピュータを、請求項1から12のいずれか1項に記載の表示制御装置の各手段として機能させるためのプログラム。
  16. コンピュータを、請求項1から12のいずれか1項に記載の表示制御装置の各手段として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
JP2013109389A 2013-05-23 2013-05-23 表示制御装置及びその制御方法 Active JP6157215B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013109389A JP6157215B2 (ja) 2013-05-23 2013-05-23 表示制御装置及びその制御方法
US14/281,590 US9864499B2 (en) 2013-05-23 2014-05-19 Display control apparatus and control method for the same
CN201410218473.9A CN104182130A (zh) 2013-05-23 2014-05-21 显示控制装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013109389A JP6157215B2 (ja) 2013-05-23 2013-05-23 表示制御装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2014229150A JP2014229150A (ja) 2014-12-08
JP2014229150A5 JP2014229150A5 (ja) 2016-07-07
JP6157215B2 true JP6157215B2 (ja) 2017-07-05

Family

ID=51936256

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013109389A Active JP6157215B2 (ja) 2013-05-23 2013-05-23 表示制御装置及びその制御方法

Country Status (3)

Country Link
US (1) US9864499B2 (ja)
JP (1) JP6157215B2 (ja)
CN (1) CN104182130A (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5982349B2 (ja) * 2013-11-26 2016-08-31 京セラドキュメントソリューションズ株式会社 表示入力装置およびそれを備えた画像形成装置
JP2015138416A (ja) * 2014-01-22 2015-07-30 キヤノン株式会社 電子機器、その制御方法及びプログラム
JP6399834B2 (ja) * 2014-07-10 2018-10-03 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
KR102096146B1 (ko) 2014-09-02 2020-04-28 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
KR102337216B1 (ko) 2015-01-05 2021-12-08 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
JP6575081B2 (ja) * 2015-03-13 2019-09-18 富士ゼロックス株式会社 表示装置、画像処理装置及びプログラム
US10359928B2 (en) * 2015-06-29 2019-07-23 International Business Machies Corporation Reconfiguring a user interface according to interface device deterioration
JP2017027294A (ja) * 2015-07-21 2017-02-02 株式会社デンソー 表示操作装置
JP6676913B2 (ja) * 2015-09-30 2020-04-08 ブラザー工業株式会社 情報処理装置、および制御プログラム
US20170269687A1 (en) * 2016-03-17 2017-09-21 Google Inc. Methods and apparatus to provide haptic feedback for computing devices
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
CN109085921A (zh) * 2016-09-06 2018-12-25 苹果公司 用于提供触觉反馈的设备、方法和图形用户界面
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
JP6789839B2 (ja) * 2017-02-14 2020-11-25 キヤノン株式会社 表示制御装置およびその制御方法、プログラム、記憶媒体
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10194078B2 (en) 2017-06-09 2019-01-29 Immersion Corporation Haptic enabled device with multi-image capturing abilities
US10365719B2 (en) * 2017-07-26 2019-07-30 Google Llc Haptic feedback of user interface scrolling with synchronized visual animation components
EP3447623B1 (en) * 2017-08-22 2020-01-29 Samsung Electronics Co., Ltd. Electronic device and control method thereof
US10878056B2 (en) * 2017-12-18 2020-12-29 Microsoft Technology Licensing, Llc Real time search enhancement using mobile viewport
US10769701B1 (en) * 2018-02-27 2020-09-08 Amazon Technologies, Inc. Sensory-based delivery of content
JP6833766B2 (ja) * 2018-07-24 2021-02-24 ヤフー株式会社 情報表示プログラム、情報表示方法、情報表示装置、及び配信装置
JP7501159B2 (ja) * 2020-07-01 2024-06-18 コニカミノルタ株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
US12002135B2 (en) * 2020-12-30 2024-06-04 Snap Inc. Adding time-based captions to captured video within a messaging system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690365B2 (en) * 2001-08-29 2004-02-10 Microsoft Corporation Automatic scrolling
JP2003084901A (ja) * 2001-09-10 2003-03-20 Nissan Motor Co Ltd 回転式入力装置
JP4672347B2 (ja) * 2004-12-01 2011-04-20 アルパイン株式会社 振動機能付き操作入力装置
JP2006252366A (ja) 2005-03-14 2006-09-21 Sony Corp 表示装置、表示方法、表示方法のプログラム及び表示方法のプログラムを記録した記録媒体
KR101456001B1 (ko) * 2008-05-23 2014-11-03 엘지전자 주식회사 단말기 및 그 제어 방법
KR101498622B1 (ko) 2008-06-25 2015-03-04 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
KR101553842B1 (ko) * 2009-04-21 2015-09-17 엘지전자 주식회사 멀티 햅틱 효과를 제공하는 휴대 단말기 및 그 제어방법
WO2010138115A1 (en) 2009-05-27 2010-12-02 Hewlett-Packard Development Company, L.P. Method and system to control the display of information
JP2011048686A (ja) * 2009-08-27 2011-03-10 Kyocera Corp 入力装置
KR101419150B1 (ko) * 2009-10-30 2014-07-11 고쿠리츠다이가쿠호우징 카가와다이가쿠 정보를 생체로 전달하는 장치
US9417787B2 (en) * 2010-02-12 2016-08-16 Microsoft Technology Licensing, Llc Distortion effects to indicate location in a movable data collection
WO2011133860A2 (en) * 2010-04-23 2011-10-27 Immersion Corporation Systems and methods for providing haptic effects
US9069760B2 (en) * 2010-08-24 2015-06-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
JP5832077B2 (ja) * 2010-09-24 2015-12-16 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP2013058154A (ja) * 2011-09-09 2013-03-28 Alps Electric Co Ltd 触覚刺激発生装置
JP5950275B2 (ja) * 2011-12-21 2016-07-13 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 表示装置上に表示可能な1又は複数の電子データ中に振動部分を設定する方法、並びに、その装置及びコンピュータ・プログラム

Also Published As

Publication number Publication date
US20140351698A1 (en) 2014-11-27
JP2014229150A (ja) 2014-12-08
CN104182130A (zh) 2014-12-03
US9864499B2 (en) 2018-01-09

Similar Documents

Publication Publication Date Title
JP6157215B2 (ja) 表示制御装置及びその制御方法
US11294539B2 (en) Music now playing user interface
CN107491258B (zh) 用于在分屏模式下操纵窗口的设备、方法和图形用户界面
JP6293108B2 (ja) 動的な触覚効果を有するマルチタッチデバイス
US10831337B2 (en) Device, method, and graphical user interface for a radial menu system
US8468460B2 (en) System and method for displaying, navigating and selecting electronically stored content on a multifunction handheld device
US9405370B2 (en) Electronic device and control method thereof
US20170357398A1 (en) Accelerated scrolling
US9280265B2 (en) Input control device, input control method, and input control program for controlling display target upon receiving input on display screen of display device
TW201447741A (zh) 對於手勢的回饋
US20130100051A1 (en) Input control device, input control method, and input control program for controlling display target upon receiving input on display screen of display device
KR20170118864A (ko) 곡면형 디스플레이와의 사용자 상호작용을 위한 시스템들 및 방법들
JP6758921B2 (ja) 電子機器及びその制御方法
US20130100050A1 (en) Input control device, input control method, and input control program for controlling display target upon receiving input on display screen of display device
KR20090125377A (ko) 트리 구조의 메뉴 브라우징 방법 및 장치
JP5414134B1 (ja) タッチ式入力システムおよび入力制御方法
JP6061528B2 (ja) 操作装置、その制御方法及びプログラム並びに記録媒体
KR20090017828A (ko) 인터페이스 제어 방법 및 인터페이스 제어 장치
JP2018045491A (ja) 制御装置および制御方法
JP2018106480A (ja) 電子機器、その制御方法およびプログラム
JP2018132831A (ja) 電子機器、電子機器の制御方法及びプログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160519

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170606

R151 Written notification of patent or utility model registration

Ref document number: 6157215

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151