JP5825277B2 - データ処理装置、コンテンツ表示方法およびコンテンツ表示プログラム - Google Patents

データ処理装置、コンテンツ表示方法およびコンテンツ表示プログラム Download PDF

Info

Publication number
JP5825277B2
JP5825277B2 JP2013031448A JP2013031448A JP5825277B2 JP 5825277 B2 JP5825277 B2 JP 5825277B2 JP 2013031448 A JP2013031448 A JP 2013031448A JP 2013031448 A JP2013031448 A JP 2013031448A JP 5825277 B2 JP5825277 B2 JP 5825277B2
Authority
JP
Japan
Prior art keywords
display
gesture
gesture event
event
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013031448A
Other languages
English (en)
Other versions
JP2014160427A (ja
Inventor
伊藤 歩
歩 伊藤
将之 河本
将之 河本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2013031448A priority Critical patent/JP5825277B2/ja
Priority to US14/176,203 priority patent/US9049323B2/en
Priority to EP14154622.6A priority patent/EP2770420A1/en
Priority to CN201410055906.3A priority patent/CN103997585B/zh
Publication of JP2014160427A publication Critical patent/JP2014160427A/ja
Application granted granted Critical
Publication of JP5825277B2 publication Critical patent/JP5825277B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00411Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00456Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails for layout preview, e.g. page layout
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

この発明はデータ処理装置、コンテンツ表示方法およびコンテンツ表示プログラムに関し、特に、タッチパネルを備えたデータ処理装置、そのデータ処理装置で実行されるコンテンツ表示方法およびコンテンツ表示プログラムに関する。
近年、複合機(MFP)で代表されるデータ処理装置において、ユーザーインターフェースとして、タッチパネルを備えた装置がある。タッチパネルによって、ユーザーが2本の指で指示した2つの位置を検出することができる。さらに、2つの位置の移動方向によって、ユーザーが2本の指で指示する操作を、複数の種類の操作として検出するものがある。
たとえば、特開2012−203440号公報には、入力位置を検出する位置検出部と、複数の前記入力位置の周りに、前記入力位置を通る線を境界線とする複数の領域を設定する設定部と、少なくともいずれかの前記入力位置の移動方向を、前記入力位置の移動方向にある前記領域に基づいて検出し、検出した前記入力位置の移動方向に応じて操作の種類を検出する操作検出部とを備えた情報処理装置が記載されている。また、この従来の技術は、入力位置の移動方向が、領域が設定された入力位置を基準として、2つの入力位置を通る第1の軸の方向で反対にある領域の方向である場合、ピンチ操作が行われたことを検出し、第1の軸と直交する第2の軸の方向で反対にある領域の方向である場合、回転操作が行われたことを検出する。
しかしながら、2つの操作が、同時に検出される場合がある。たとえば、ピンチ操作によって画像のサイズを変倍する処理を実行し、回転操作によって画像を表示する方向を変更する処理を実行する場合、ユーザーが回転操作のみを指示した場合であっても、2本の指の間隔が変化してしまう場合があり、この場合にはピンチ操作も併せて検出される。このため、画像の表示方向が変更されるとともに、画像のサイズが変倍されてしまうといった問題がある。ユーザーは、回転操作を指示したつもりなのに、画像のサイズが変倍されてしまい、使い勝手がよくないと感じる問題がある。
特開2012−203440号公報
この発明は上述した問題点を解決するためになされたもので、この発明の目的の1つは、ユーザーによる誤操作を低減し、操作性の向上を図ることが可能なデータ処理装置を提供することである。
この発明の他の目的は、ユーザーによる誤操作を低減し、操作性の向上を図ることが可能なコンテンツ表示方法を提供することである。
この発明のさらに他の目的は、ユーザーによる誤操作を低減し、操作性の向上を図ることが可能なコンテンツ表示プログラムを提供することである。
上述した目的を達成するためにこの発明のある局面によれば、データ処理装置は、画像を表示可能な表示手段と、表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、制御手段と、を備え、制御手段は、コンテンツの少なくとも一部の表示部分を表示手段に表示するコンテンツ表示手段と、位置検出手段により1以上の位置が検出されることに応じて、1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定手段と、を含み、コンテンツ表示手段は、ジェスチャーイベント決定手段により決定された少なくとも1つのジェスチャーイベントに基づいて表示部分を表示するための表示用画像を生成する表示用画像生成手段と、生成された表示用画像を表示手段に表示する表示制御手段と、を含み、表示用画像生成手段は、位置検出手段により1以上の位置が連続して検出されるジェスチャー期間が開始するジェスチャー開始時点における表示部分を特定するための状態情報を一時記憶する状態記憶手段と、ジェスチャーイベント決定手段によってジェスチャー期間中に表示部分を変化させない第2ジェスチャーイベントが決定される場合、表示部分を変化させる処理に対応する第1ジェスチャーイベントの何れが当該ジェスチャー期間中に決定されても、ジェスチャー期間終了時点において、第1ジェスチャーイベントに基づく表示用画像は生成することなく、第2ジェスチャーイベントに基づいて記憶された状態情報で特定される表示部分を表示するための表示用画像を生成する優先表示手段と、を含む。
この局面に従えば、コンテンツの少なくとも一部の表示部分が表示され、ジェスチャー開始時点における表示部分を特定するための状態情報が一時記憶され、ジェスチャー期間中に表示部分を変化させない第2ジェスチャーイベントが決定される場合、表示部分を変化させる処理に対応する第1ジェスチャーイベントの何れが当該ジェスチャー期間中に決定されても、第2ジェスチャーイベントに基づいて、記憶された状態情報で特定される表示部分を表示するための表示用画像が生成される。このため、ジェスチャー期間中に第2ジェスチャーイベントに基づく表示用画像を生成する処理が、第1ジェスチャーイベントに基づく表示用画像を生成する処理よりも優先される。したがって、ユーザーによる1つの操作を1つの処理に対応させることができる。その結果、ユーザーによる誤操作を低減し、操作性の向上を図ることが可能なデータ処理装置を提供することができる。
好ましくは、表示用画像生成手段は、ジェスチャーイベント決定手段により第1ジェスチャーイベントが決定される場合、コンテンツ中の表示部分を変更する表示対象変更手段と、ジェスチャーイベント決定手段により第2ジェスチャーイベントが決定される場合、表示部分の方向を変更した表示用画像を生成する表示方向変更手段と、をさらに含む。
この局面に従えば、コンテンツ中の表示部分を変更する処理よりも、表示部分の方向を変更した表示用画像を生成する処理が優先されるので、ユーザーは、表示部分を変更することなく表示部分の方向を変更する操作を容易に入力することができる。
好ましくは、表示対象変更手段は、第1ジェスチャーイベントが決定されるごとに、表示部分を変更し、表示方向変更手段は、第2ジェスチャーイベントが決定されるごとに、表示部分の方向を変更した表示用画像を生成し、優先表示手段は、ジェスチャー期間が終了するジェスチャー終了時点において、ジェスチャー期間に決定された第1ジェスチャーイベントに基づく表示用画像は生成することなく、ジェスチャー期間に決定された第2ジェスチャーイベントに基づいて記憶された表示部分を表示するための表示用画像を生成する。
この局面に従えば、ジェスチャー期間中は、コンテンツ中の表示部分を変更する処理と、表示部分の方向を変更した表示用画像を生成する処理とが実行されるが、ジェスチャー期間が終了すると、表示部分の方向を変更した表示用画像が表示される。このため、ユーザーは、表示用画像を確認しながら操作を継続することができる。
好ましくは、表示対象変更手段は、ジェスチャー期間が開始されてから第2ジェスチャーイベントが決定された後は、表示部分を変更しない。
この局面に従えば、第2ジェスチャーイベントが決定された後は、表示部分を変更しないので、第2ジェスチャーイベントが第1ジェスチャーイベントよりも優先されることをユーザーに通知することができる。
好ましくは、表示対象変更手段は、表示部分のサイズを変更する変倍手段と、コンテンツ中の位置を変更するスクロール手段と、を含む、この局面に従えば、表示用画像をコンテンツ中の部分を拡大または縮小した画像、または、コンテンツ中の任意の部分の画像に変更することができる。
好ましくは、ジェスチャーイベント決定手段は、位置検出手段により同時に2つの位置が検出され、所定時間間隔で検出される2つの位置の間の距離が変化する場合、または、2つの位置それぞれの移動方向の差が所定の範囲内の場合、第1ジェスチャーイベントを決定し、位置検出手段により同時に2つの位置が検出され、所定時間間隔で検出される2つの位置を通る直線の傾きが所定の角度変化する場合、第2ジェスチャーイベントを決定する。
好ましくは、ジェスチャー期間は、1以上の位置が連続して移動することが検出される期間である。
好ましくは、優先表示手段は、第1ジェスチャーイベントに基づく表示用画像生成は行わない。
好ましくは、優先表示手段は、ジェスチャーイベント決定手段によってジェスチャー期間中に第2ジェスチャーイベントが決定される場合、第2ジェスチャーイベントのみに基づいて記憶された状態情報で特定される表示部分を表示するための表示用画像を生成する。
この発明の他の局面によれば、データ処理装置は、画像を表示可能な表示手段と、表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、制御手段と、を備え、制御手段は、コンテンツの少なくとも一部の表示部分を表示手段に表示するコンテンツ表示手段と、位置検出手段により1以上の位置が検出されることに応じて、1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定手段と、を含み、コンテンツ表示手段は、ジェスチャーイベント決定手段により決定された少なくとも1つのジェスチャーイベントに基づいて表示部分を表示するための表示用画像を生成する表示用画像生成手段と、生成された表示用画像を表示手段に表示する表示制御手段と、を含み、表示用画像生成手段は、位置検出手段により1以上の位置が連続して検出されるジェスチャー期間が開始するジェスチャー開始時点における表示部分を特定するための状態情報を一時記憶する状態記憶手段と、ジェスチャーイベント決定手段によってジェスチャー期間中に表示部分を回転させるためのジェスチャーイベントが決定される場合、表示部分を回転させるためのジェスチャーイベント以外のジェスチャーイベントの何れが当該ジェスチャー期間中に決定されても、ジェスチャー期間終了時点において、表示部分を回転させるためのジェスチャーイベント以外のジェスチャーイベントに基づく表示用画像は生成することなく、表示部分を回転させるためのジェスチャーイベントに基づいて記憶された状態情報で特定される表示部分を表示するための表示用画像を生成する優先表示手段と、を含む。
この発明の他の局面によれば、データ処理装置は、画像を表示可能な表示手段と、表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、制御手段と、を備え、制御手段は、コンテンツの画像を表示手段に表示するコンテンツ表示手段と、位置検出手段により1以上の位置が検出されることに応じて、1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定手段と、を含み、コンテンツ表示手段は、ジェスチャーイベント決定手段により決定された少なくとも1つのジェスチャーイベントに基づいてコンテンツを表示するための表示用画像を生成する表示用画像生成手段と、生成された表示用画像を表示手段に表示する表示制御手段と、を含み、表示用画像生成手段は、位置検出手段により1以上の位置が連続して検出されるジェスチャー期間が開始するジェスチャー開始時点における表示用画像の倍率を一時記憶する一時記憶手段と、ジェスチャーイベント決定手段によって2以上のジェスチャーイベントが決定され、かつ、当該2以上のジェスチャーイベントが表示用画像の倍率を変更する処理に対応するジェスチャーイベントを含む場合、ジェスチャー期間が終了した時点で、表示用画像の倍率を一時記憶された倍率に変更する優先表示手段と、を含む。
この局面に従えば、ジェスチャー開始時点における表示用画像の倍率が一時記憶され、
2以上のジェスチャーイベントが決定され、かつ、当該2以上のジェスチャーイベントが表示用画像の倍率を変更する処理に対応するジェスチャーイベントを含む場合、ジェスチャー期間が終了した時点で、表示用画像の倍率が一時記憶された倍率に変更される。このため、表示用画像の倍率を変更する処理に対応するジェスチャーイベントよりも別のジェスチャーイベントが優先される。したがって、ユーザーによる1つの操作を1つの処理に対応させることができる。その結果、ユーザーによる誤操作を低減し、操作性の向上を図ることが可能なデータ処理装置を提供することができる。
この発明のさらに他の局面によれば、コンテンツ表示方法は、データ処理装置で実行されるコンテンツ表示方法であって、データ処理装置は、画像を表示可能な表示手段と、表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、を備え、コンテンツの少なくとも一部の表示部分を表示手段に表示するコンテンツ表示ステップと、位置検出手段により1以上の位置が検出されることに応じて、1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定ステップと、をデータ処理装置に実行させ、コンテンツ表示ステップは、ジェスチャーイベント決定ステップにおいて決定された少なくとも1つのジェスチャーイベントに基づいて表示部分を表示するための表示用画像を生成する表示用画像生成ステップと、生成された表示用画像を表示手段に表示する表示制御ステップと、を含み、表示用画像生成ステップは、位置検出手段により1以上の位置が連続して検出されるジェスチャー期間が開始するジェスチャー開始時点における表示部分を特定するための状態情報を一時記憶する状態記憶ステップと、ジェスチャーイベント決定ステップにおいてジェスチャー期間中に表示部分を変化させない第2ジェスチャーイベントが決定される場合、表示部分を変化させる処理に対応する第1ジェスチャーイベントの何れが当該ジェスチャー期間中に決定されても、ジェスチャー期間終了時点において、第1ジェスチャーイベントに基づく表示用画像は生成することなく、第2ジェスチャーイベントに基づいて記憶された状態情報で特定される表示部分を表示するための表示用画像を生成する優先表示ステップと、を含む。
この局面に従えば、ユーザーによる誤操作を低減し、操作性の向上を図ることが可能なコンテンツ表示方法を提供することができる。
この発明のさらに他の局面によれば、コンテンツ表示方法は、データ処理装置で実行されるコンテンツ表示方法であって、データ処理装置は、画像を表示可能な表示手段と、表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、を備え、コンテンツの少なくとも一部の表示部分を表示手段に表示するコンテンツ表示ステップと、位置検出手段により1以上の位置が検出されることに応じて、1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定ステップと、をデータ処理装置に実行させ、コンテンツ表示ステップは、ジェスチャーイベント決定ステップにおいて決定された少なくとも1つのジェスチャーイベントに基づいて表示部分を表示するための表示用画像を生成する表示用画像生成ステップと、生成された表示用画像を表示手段に表示する表示制御ステップと、を含み、表示用画像生成ステップは、位置検出手段により1以上の位置が連続して検出されるジェスチャー期間が開始するジェスチャー開始時点における表示部分を特定するための状態情報を一時記憶する状態記憶ステップと、ジェスチャーイベント決定ステップにおいてジェスチャー期間中に表示部分を回転させるためのジェスチャーイベントが決定される場合、表示部分を回転させるためのジェスチャーイベント以外のジェスチャーイベントの何れが当該ジェスチャー期間中に決定されても、ジェスチャー期間終了時点において、表示部分を回転させるためのジェスチャーイベント以外のジェスチャーイベントに基づく表示用画像は生成することなく、表示部分を回転させるためのジェスチャーイベントに基づいて記憶された状態情報で特定される表示部分を表示するための表示用画像を生成する優先表示ステップと、を含む。
この発明のさらに他の局面によれば、コンテンツ表示方法は、データ処理装置で実行されるコンテンツ表示方法であって、データ処理装置は、画像を表示可能な表示手段と、表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、を備え、コンテンツの画像を表示手段に表示するコンテンツ表示ステップと、位置検出手段により1以上の位置が検出されることに応じて、1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定ステップと、をデータ処理装置に実行させ、コンテンツ表示ステップは、ジェスチャーイベント決定ステップにおいて決定された少なくとも1つのジェスチャーイベントに基づいてコンテンツを表示するための表示用画像を生成する表示用画像生成ステップと、生成された表示用画像を表示手段に表示する表示制御ステップと、を含み、表示用画像生成ステップは、位置検出手段により1以上の位置が連続して検出されるジェスチャー期間が開始するジェスチャー開始時点における表示用画像の倍率を一時記憶する一時記憶ステップと、ジェスチャーイベント決定ステップにおいて2以上のジェスチャーイベントが決定され、かつ、当該2以上のジェスチャーイベントが表示用画像の倍率を変更する処理に対応するジェスチャーイベントを含む場合、ジェスチャー期間が終了した時点で、表示用画像の倍率を一時記憶された倍率に変更する優先表示ステップと、を含む。
この局面に従えば、ユーザーによる誤操作を低減し、操作性の向上を図ることが可能なコンテンツ表示方法を提供することができる。
この発明のさらに他の局面によれば、コンテンツ表示プログラムは、データ処理装置を制御するコンピューターで実行されるコンテンツ表示プログラムであって、データ処理装置は、画像を表示可能な表示手段と、表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、を備え、コンテンツの少なくとも一部の表示部分を表示手段に表示するコンテンツ表示ステップと、位置検出手段により1以上の位置が検出されることに応じて、1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定ステップと、をコンピューターに実行させ、コンテンツ表示ステップは、ジェスチャーイベント決定ステップにおいて決定された少なくとも1つのジェスチャーイベントに基づいて表示部分を表示するための表示用画像を生成する表示用画像生成ステップと、生成された表示用画像を表示手段に表示する表示制御ステップと、を含み、表示用画像生成ステップは、位置検出手段により1以上の位置が連続して検出されるジェスチャー期間が開始するジェスチャー開始時点における表示部分を特定するための状態情報を一時記憶する状態記憶ステップと、ジェスチャーイベント決定ステップにおいてジェスチャー期間中に表示部分を変化させない第2ジェスチャーイベントが決定される場合、表示部分を変化させる処理に対応する第1ジェスチャーイベントの何れが当該ジェスチャー期間中に決定されても、ジェスチャー期間終了時点において、第1ジェスチャーイベントに基づく表示用画像は生成することなく、第2ジェスチャーイベントに基づいて記憶された状態情報で特定される表示部分を表示するための表示用画像を生成する優先表示ステップと、を含む。
この局面に従えば、ユーザーによる誤操作を低減し、操作性の向上を図ることが可能なコンテンツ表示プログラムを提供することができる。
この発明のさらに他の局面によれば、コンテンツ表示プログラムは、データ処理装置を制御するコンピューターで実行されるコンテンツ表示プログラムであって、データ処理装置は、画像を表示可能な表示手段と、表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、を備え、コンテンツの少なくとも一部の表示部分を表示手段に表示するコンテンツ表示ステップと、位置検出手段により1以上の位置が検出されることに応じて、1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定ステップと、をコンピューターに実行させ、コンテンツ表示ステップは、ジェスチャーイベント決定ステップにおいて決定された少なくとも1つのジェスチャーイベントに基づいて表示部分を表示するための表示用画像を生成する表示用画像生成ステップと、生成された表示用画像を表示手段に表示する表示制御ステップと、を含み、表示用画像生成ステップは、位置検出手段により1以上の位置が連続して検出されるジェスチャー期間が開始するジェスチャー開始時点における表示部分を特定するための状態情報を一時記憶する状態記憶ステップと、ジェスチャーイベント決定ステップにおいてジェスチャー期間中に表示部分を回転させるためのジェスチャーイベントが決定される場合、表示部分を回転させるためのジェスチャーイベント以外のジェスチャーイベントの何れが当該ジェスチャー期間中に決定されても、ジェスチャー期間終了時点において、表示部分を回転させるためのジェスチャーイベント以外のジェスチャーイベントに基づく表示用画像は生成することなく、表示部分を回転させるためのジェスチャーイベントに基づいて記憶された状態情報で特定される表示部分を表示するための表示用画像を生成する優先表示ステップと、を含む。
この発明のさらに他の局面によれば、コンテンツ表示プログラムは、データ処理装置を制御するコンピューターで実行されるコンテンツ表示プログラムであって、データ処理装置は、画像を表示可能な表示手段と、表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、を備え、コンテンツの画像を表示手段に表示するコンテンツ表示ステップと、位置検出手段により1以上の位置が検出されることに応じて、1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定ステップと、をコンピューターに実行させ、コンテンツ表示ステップは、ジェスチャーイベント決定ステップにおいて決定された少なくとも1つのジェスチャーイベントに基づいてコンテンツを表示するための表示用画像を生成する表示用画像生成ステップと、生成された表示用画像を表示手段に表示する表示制御ステップと、を含み、表示用画像生成ステップは、位置検出手段により1以上の位置が連続して検出されるジェスチャー期間が開始するジェスチャー開始時点における表示用画像の倍率を一時記憶する一時記憶ステップと、ジェスチャーイベント決定ステップにおいて2以上のジェスチャーイベントが決定され、かつ、当該2以上のジェスチャーイベントが表示用画像の倍率を変更する処理に対応するジェスチャーイベントを含む場合、ジェスチャー期間が終了した時点で、表示用画像の倍率を一時記憶された倍率に変更する優先表示ステップと、を含む。
この局面に従えば、ユーザーによる誤操作を低減し、操作性の向上を図ることが可能なコンテンツ表示プログラムを提供することができる。
本実施の形態の一つにおけるMFPの外観を示す斜視図である。 操作パネルの一例を示す平面図である。 MFPのハードウェア構成の概要の一例を示すブロック図である。 MFPが備えるCPUのソフトウェアアーキテクチャの一例を示す図である。 MFPが備えるCPUが有する機能の一例を、HDDに記憶される情報とともに示すブロック図である。 マスターテーブルの一例を示す図である。 ジェスチャーイベント決定処理の流れの一例を示すフローチャートである。 複数位置検出処理の流れの一例を示すフローチャートである。 コンテンツ表示処理の流れの一例を示すフローチャートである。 表示用画像更新処理の流れの一例を示すフローチャートである。 優先表示処理の流れの一例を示すフローチャートである。 特定状態ページ切換処理の流れの一例を示すフローチャートである。 画面の一例を示す第1の図である。 画面の一例を示す第2の図である。 画面の一例を示す第3の図である。 画面の一例を示す第4の図である。 画面の一例を示す第5の図である。
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
図1は、本実施の形態の一つにおけるMFPの外観を示す斜視図である。図2は、操作パネルの一例を示す平面図である。図1および図2を参照して、MFP100は、データ処理装置の一例であり、原稿を読み取るための原稿読取部130と、原稿を原稿読取部130に搬送するための自動原稿搬送装置120と、原稿読取部130が原稿を読み取って出力する画像データに基づいて用紙等に画像を形成するための画像形成部140と、画像形成部140に用紙を供給するための給紙部150と、ユーザーインターフェースとしての操作パネル160とを含む。
操作パネル160は、MFP100の上面に設けられる。操作パネル160は、表示部161と、タッチパネル165と、ハードキー部167とを含む。表示部161は、例えば、液晶表示装置(LCD)であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。ユーザーがMFP100を操作する場合は直立した姿勢となるので、表示部161の表示面およびタッチパネル165の操作面は、上方を向いて配置される。ユーザーが表示部161の表示面を容易に視認することができ、ユーザーが指でタッチパネルを指示する動作を容易にするためである。
ハードキー部167は、「BOX」、「FAX」、「COPY」、「ECO」の文字がそれぞれ表された4つのハードキー167A〜167Dを含む。タッチパネル165は、表示部161の上面または下面に表示部161に重畳して設けられたマルチタッチ対応のタッチパネルであり、表示部161の表示面中でユーザーにより指示された位置を検出する。ユーザーがタッチパネル165を指示する操作は、タッチパネル165を、同時に複数個所を指で指示するマルチタッチ操作と、一度に1つの個所を指で指示するシングルタッチ操作と、を含む。
自動原稿搬送装置120は、原稿給紙トレイ上にセットされた複数枚の原稿を1枚ずつ自動的に原稿読取部130のプラテンガラス上に設定された所定の原稿読み取り位置まで搬送し、原稿読取部130により原稿画像が読み取られた原稿を原稿排紙トレイ上に排出する。原稿読取部130は、原稿読取位置に搬送されてきた原稿に光を照射する光源と、原稿で反射した光を受光する光電変換素子とを含み、原稿のサイズに応じた原稿画像を走査する。光電変換素子は、受光した光を電気信号である画像データに変換して、画像形成部140に出力する。給紙部150は、給紙トレイに収納された用紙を画像形成部140に搬送する。
画像形成部140は、周知の電子写真方式により画像を形成するものであって、原稿読取部130から入力される画像データにシェーディング補正などの各種のデータ処理を施した、データ処理後の画像データまたは、外部から受信された画像データに基づいて、給紙部150により搬送される用紙に画像を形成する。
図3は、MFPのハードウェア構成の概要の一例を示すブロック図である。図3を参照して、MFP100は、メイン回路110を含む。メイン回路110は、CPU111と、通信インターフェース(I/F)部112と、ROM(Read Only Memory)113と、RAM(Random Access Memory)114と、大容量記憶装置としてのハードディスクドライブ(HDD)115と、ファクシミリ部116と、外部記憶装置117と、を含む。CPU111は、自動原稿搬送装置120、原稿読取部130、画像形成部140、給紙部150および操作パネル160と接続され、MFP100の全体を制御する。
ROM113は、CPU111が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。RAM114は、CPU111がプログラムを実行する際の作業領域として用いられる。また、RAM114は、原稿読取部130から連続的に送られてくる読取画像を一時的に記憶する。
ファクシミリ部116は、公衆交換電話網(PSTN)に接続され、PSTNにファクシミリデータを送信する、またはPSTNからファクシミリデータを受信する。ファクシミリ部116は、受信したファクシミリデータを、HDD115に記憶するか、または、画像形成部140でプリント可能なプリントデータに変換して、画像形成部140に出力する。これにより、画像形成部140は、ファクシミリ部116により受信されたファクシミリデータを用紙に画像を形成する。また、ファクシミリ部116は、原稿読取部130によって読み取られたデータ、またはHDD115に記憶されたデータをファクシミリデータに変換して、PSTNに接続されたファクシミリ装置に送信する。
通信I/F部112は、ネットワークにMFP100を接続するためのインターフェースである。通信I/F部112は、TCP(Transmission Control Protocol)またはFTP(File Transfer Protocol)等の通信プロトコルで、ネットワークに接続された他のコンピューターと通信する。なお、通信のためのプロトコルは、特に限定されることはなく、任意のプロトコルを用いることができる。また、通信I/F部112が接続されるネットワークは、例えば、ローカルエリアネットワーク(LAN)であり、接続形態は有線または無線を問わない。またネットワークは、LANに限らず、ワイドエリアネットワーク(WAN)、公衆交換電話網(Public Switched Telephone Networks)を用いたネットワーク等であってもよい。さらに、ネットワークは、インターネットに接続されている。このため、MFP100は、インターネットに接続されたサーバー等のコンピューターと通信が可能である。
外部記憶装置117は、CPU111により制御され、CD−ROM(Compact Disk Read Only Memory)118、または半導体メモリーが装着される。CPU111は、外部記憶装置117を介してCD−ROM118または半導体メモリーにアクセス可能である。CPU111は、外部記憶装置117に装表されたCD−ROM118または半導体メモリーに記録されたプログラムをRAM114にロードして実行する。なお、CPU111が実行するプログラムは、CD−ROM118に記録されたプログラムに限られず、HDD115に記憶されたプログラムをRAM114にロードして実行するようにしてもよい。この場合、通信I/F部112に接続されるネットワークを介して、ネットワークに接続された他のコンピューターが、MFP100のHDD115に記憶されたプログラムを書換える、または、新たなプログラムを追加して書き込むようにしてもよい。さらに、MFP100が、ネットワークに接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをHDD115に記憶するようにしてもよい。ここでいうプログラムは、CPU111が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
なお、CPU111が実行するプログラムを記憶する媒体としては、CD−ROM118に限られず、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、ICカード、光カード、マスクROM、EPROM(Erasable Programable ROM)、EEPROM(Electrically EPROM)などの半導体メモリーであってもよい。
操作パネル160は、表示部161と操作部163とを含む。表示部161は、液晶表示装置(LCD)、有機ELD(Electro−Luminescence Display)等のディスプレイであり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部163は、タッチパネル165と、複数のキーからなるハードキー部167と、を含む。ハードキー部167が含む複数のキーそれぞれは、接点スイッチを含み、CPU111に接続される。ハードキーは、操作ユーザーにより押下されると接点を閉じて、CPU111に接続される回路を閉じる。ハードキーは、MFP100を操作する操作ユーザーにより押下されている間は回路を閉じ、操作ユーザーにより押下されていない間は回路を開く。
操作部163は、ハードキー部167が有する複数のキーが押下されると、押下されたキーに対応する指示、文字、数字などのデータの入力を受け付ける。タッチパネル165は、表示部161の上面または下面に設けられ、操作ユーザーにより指示された位置の座標をCPU111に出力する。タッチパネル165は、操作ユーザーが指またはスタイラスペンで指示した位置を検出し、検出した位置の座標をCPU111に出力する。タッチパネル165は、マルチタッチ対応のタッチパネルであり、ユーザーがマルチタッチ操作を入力する場合、ユーザーにより同時に指示された複数の位置にそれぞれ対応する複数の座標をCPU111に出力する。また、タッチパネル165は、ユーザーがシングルタッチ操作を入力する場合に、ユーザーにより指示された単一の位置に対応する座標をCPU111に出力する。
タッチパネル165は、表示部161の表示面と同じまたはそれ以上のサイズであるのが好ましい。タッチパネル165は、表示部161に重畳して設けられるので、タッチパネル165は、操作ユーザーが表示部161の表示面を指示すれば、表示部161の表示面中で操作ユーザーが指示した位置の座標をCPU111に出力する。タッチパネル165は、例えば、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式を用いることができ、その方式は限定されない。操作部163が受け付け可能な操作は、ハードキー部167が有する複数のキーを押下する操作、タッチパネル165を指示するシングルタッチ操作およびマルチタッチ操作を含む。
図4は、MFPが備えるCPUのソフトウェアアーキテクチャの一例を示す図である。図4を参照して、CPU111には、オペレーティングシステム(OS)層が形成され、その上の階層に、MFPプロセス層が形成される。MFPプロセス層の上層に、アプリケーションプラットフォーム(PF)層、アプリケーション層の順に形成される。
OS層は、CPU111がOSプログラムを実行するタスクが属する。OS層に属するタスクは、MFP100のハードウェア資源を制御する処理を実行する。ハードウェア資源は、ここでは、通信I/F部112、ROM113、RAM114、HDD115、ファクシミリ部116、外部記憶装置117、自動原稿搬送装置120、原稿読取部130、画像形成部140、給紙部150、操作パネル160を含む。OS層に属するタスクは、MFPプロセス層から入力されるオペレーティングコマンドに従って、ハードウェア資源を制御する。また、OS層は、MFPプロセス層との間で、ハードウェア資源の1つである操作部163が受け付け可能な複数種類の操作それぞれを識別するための操作識別情報を共有しており、OS層に属するタスクは、操作部163によって操作ユーザーによる操作が検出されることに応じて、検出された操作を示す操作識別情報をMFPプロセス層に出力する。
アプリケーション層は、CPU111がアプリケーションプログラムを実行するタスクが属する。複数種類のアプリケーションプログラムがMFP100にインストールされる場合、アプリケーション層に、複数種類のアプリケーションプログラムをそれぞれ実行する複数のタスクが属する場合がある。
アプリケーションプログラムを実行するタスクは、アプリケーションプログラムによって定められた複数種類の処理を実行する。複数種類の処理は、MFPプロセス層において実行される処理をMFPプロセス層に属するタスクに実行させる処理を含む。アプリケーションプログラムを実行するタスクは、MFPプロセス層に属するタスクに処理を実行させる場合、アプリコマンドを出力する。アプリコマンドは、API(Application Program Interface)として、公開されたコマンドである。このため、MFP100に処理を実行させるアプリケーションプログラムを容易に作成することができる。公開とは、MFP100を製造するメーカー以外の第三者が使用可能な状態をいう。このため、第三者は、アプリコマンドを用いてMFP100にインストール可能なアプリケーションプログラムを開発することができる。
さらに、アプリケーションプログラムを実行するタスクは、MFP100を操作する操作ユーザーが入力する操作に基づいて、アプリケーションプログラムによって定められた複数種類の処理のうちから実行する処理を特定し、処理を実行する。MFP100を操作する操作ユーザーが入力する操作は、操作ユーザーが操作部163を操作して入力することにより、OS層において受け付けられる。
アプリケーションPF層は、アプリケーション層とMFPプロセス層との間に配置され、アプリケーション層に属する複数のタスクを調停するとともに、アプリケーション層に属する複数のタスクが出力するアプリコマンドを制御するタスクが属する。具体的には、アプリケーションPF層は、アプリケーション層に属する複数のタスクそれぞれが出力するアプリコマンドを受け付け、受け付けられたアプリコマンドを、予め定められた規則に従って内部コマンドに変換することにより標準化し、内部コマンドをMFPプロセス層に出力する。このため、複数のアプリケーションプログラム間で、バージョンが異なる場合等に対応することができる。また、アプリケーションPF層は、アプリケーション層に属する複数のタスクのいずれか1つをカレント状態に決定する。そして、OS層において受け付けられ、MFPプロセス層に属するタスクから入力される操作を、アプリケーション層に属する複数のタスクのうちカレント状態に決定したカレントタスクに出力する。
OS層において受け付けられるユーザーが入力する操作は、1本の指でタッチパネル165を指示するシングルタッチ操作と、2本以上の指で同時にタッチパネル165を指示するマルチタッチ操作とを含む。シングルタッチ操作およびマルチタッチ操作は、それぞれマウスイベントとしてオペレーティングシステムによって検出され、アプリケーションPF層からアプリケーション層に属する複数のタスクのうちカレントタスクに入力される。また、1以上のマウスイベントは、MFPプロセス層においてジェスチャーイベントに変換され、アプリケーションPF層からアプリケーション層に属する複数のタスクのうちカレントタスクに入力される。このため、アプリケーション層は、MFPプロセス層との間で、アプリケーションプログラムにより受け付け可能な1以上のジェスチャーイベントを共有しており、アプリケーションプログラムを実行するタスクは、アプリケーションPF層に属するタスクからアプリケーションプログラムにより受け付け可能な1以上のジェスチャーイベントが入力される。アプリケーションプログラムを実行するタスクは、複数種類の処理のうちジェスチャーイベントに対応する処理を実行する。
アプリコマンドと内部コマンドとは予め対応付けられている。例えば、アプリコマンドと内部コマンドとを対応付けたコマンド対応テーブルを記憶しておくようにすればよい。アプリコマンドと内部コマンドとは、1対1に対応してもよいし、1つのアプリコマンドに2以上の内部コマンドの組が対応していてもよい。さらに、バージョンの異なる複数のアプリコマンドに対して、1つの内部コマンド、または複数の内部コマンドからなる1組が対応していてもよい。このため、複数のアプリケーションプログラム間で、バージョンが異なる場合等に対応することができる。内部コマンドは、MFP100のハードウェア資源に依存するコマンドである。内部コマンドは、通常は、公開されていないが、公開されていてもよい。
MFPプロセス層は、アプリケーションPF層とOS層との間に配置され、CPU111がMFPプロセスプログラムを実行するタスクが属する。MFPプロセス層は、アプリケーションPF層に属するタスクが出力する内部コマンドを、OS層に属するタスクが解釈可能なオペレーティングコマンドに変換し、ハードウェア資源を制御するためにオペレーティングコマンドをOS層に属するタスクに出力する。なお、実際には、内部コマンドを、OS層に属するタスクが実行可能な1以上のオペレーティングコマンドに変換する場合があるが、ここでは説明のために、内部コマンドとOS層に属するタスクが実行可能な1以上のオペレーティングコマンドとの関係は1対1として、説明する。
上述したように、アプリケーションプログラムは、MFP100に、Webページ、画像データ等のコンテンツを表示するコンテンツ表示処理、コピー処理、スキャン処理、プリント処理、ファクシミリ送受信処理、データ送信処理等を実行させるためのアプリケーションプログラムであるが、以下の説明では、アプリケーションプログラムがCPU111に実行させる処理のうちで、操作パネル160を制御する処理に関連する部分を主に説明する。
図5は、MFPが備えるCPUが有する機能の一例を、HDDに記憶される情報とともに示すブロック図である。図5に示す機能は、MFP100が備えるCPU111が、ROM113、HDD115またはCD−ROM118に記憶されたプログラムを実行することにより、CPU111により実現される機能である。具体的には、CPU111が、OSプログラム、MFPプロセスプログラム、操作受付プログラム、およびアプリケーションプログラムを実行することにより、CPU111により実現される。ここでは、MFP100に、アプリケーションプログラムとして、コンテンツ表示プログラムがインストールされている場合におけるCPU111の機能を示している。
図5を参照して、CPU111は、コンテンツ表示部51と、調停部53と、操作変換部55と、オペレーティング部57と、を含む。コンテンツ表示部51は、図4に示したソフトウェアアーキテクチャにおいて、アプリケーション層に属する。コンテンツ表示部51は、CPU111がコンテンツ表示プログラムを実行することによってCPU111に形成される機能である。
調停部53および操作変換部55は、CPU111が操作受付プログラムを実行するタスクによってCPU111に形成される機能である。調停部53は、図4に示したソフトウェアアーキテクチャにおいて、アプリケーションPF層に属する。操作変換部55は、図4に示したソフトウェアアーキテクチャにおいて、アプリケーションPF層に属する。なお、操作変換部55が有する機能のすべてをアプリケーションPF層の機能としたが、操作変換部55が有する機能の少なくとも一部をアプリケーションPF層の機能とし、他の部分をMFPプロセス層の機能としてもよい。
調停部53は、コンテンツ表示部51の他にCPU111が別のアプリケーションプログラムを実行することによって、アプリケーション層に複数のタスクが形成される場合、複数のタスクのうちいずれか1つをカレント状態に決定する。以下、調停部53が、カレント状態に決定しているタスクをカレントタスクという。本実施の形態においては、アプリケーション層にコンテンツ表示プログラムを実行するコンテンツ表示部51のみが含まれるので、コンテンツ表示部51をカレント状態に決定する。
調停部53は、コンテンツ表示部51が出力するアプリコマンドが入力され、アプリコマンドを出力したタスクを識別するためのアプリ識別情報とアプリコマンドとを操作変換部55に出力する。
調停部53は、コンテンツ表示部51から複数のアプリコマンドが出力される場合、それらの順番を決定し、順に操作変換部55に出力する。例えば、複数のアプリコマンドを同時に実行できない場合に、一方のアプリコマンドの操作変換部55による実行が終了するのを待って他方のアプリコマンドを操作変換部55に出力する。また、一方のアプリコマンドを実行した後でなければ、他方のアプリコマンドを実行できない場合には、他方のアプリコマンドが一方のアプリコマンドより先に入力される場合であっても、一方のアプリコマンドを先に出力する。
操作変換部55は、調停部53からアプリコマンドが入力され、アプリコマンドをコマンド対応テーブルに従って内部コマンドに変換することにより標準化する。コマンド対応テーブルは、1つのアプリコマンドに1以上の内部コマンドを対応付ける。コマンド対応テーブルに含まれるアプリコマンドは、バージョンの異なる同種類のアプリコマンドを含む場合があり、この場合、異なるバージョンのアプリコマンドそれぞれを1以上の内部コマンドに対応付ける。このため、異なるバージョンのアプリコマンドを記述したアプリケーションプログラムをインストールすることを可能としている。コマンド対応テーブルは、新しいアプリコマンドが登場する場合に、新たに登場したアプリコマンドに1以上の内部コマンドを対応付けたコマンド対応テーブルで更新される。このため、新しいアプリコマンドを記述したアプリケーションプログラムをインストールすることができる。
さらに、操作変換部55は、標準化された内部コマンドを、オペレーティングコマンドに変換し、オペレーティングコマンドをオペレーティング部57に出力する。オペレーティングコマンドは、操作変換部55とオペレーティング部57との間で予め定められた、オペレーティング部57が解釈可能なコマンドである。
オペレーティング部57は、CPU111がOSプログラムを実行することによってCPU111に形成される機能である。オペレーティング部57は、図4に示したソフトウェアアーキテクチャにおいて、OS層に属する。
オペレーティング部57は、操作変換部55が出力するオペレーティングコマンドが入力され、オペレーティングコマンドに従って、ハードウェア資源を制御する。ハードウェア資源として、ここでは、表示部161、操作部163のタッチパネル165およびHDD115を例に説明する。オペレーティング部57は、表示部161を制御して、表示部161に画像を表示させる。また、オペレーティング部57は、HDD115を制御して、HDD115にデータを記憶させ、また、HDD115に記憶されたデータを読み出す。さらに、オペレーティング部57は、所定時間間隔でタッチパネル165にユーザーにより指示された位置を検出させ、タッチパネル165から所定時間間隔で位置情報を取得する。
タッチパネル165は、操作ユーザーが表示部161の表示面を指示すれば、操作ユーザーにより指示された位置を検出し、表示部161の表示面の位置を示す位置情報をCPU111に出力する。オペレーティング部57は、タッチパネル165から位置情報が入力される場合、位置情報を操作変換部55に出力する。オペレーティング部57は、タッチパネル165から同時に2以上の位置情報が入力される場合がある。例えば、操作ユーザーが、表示部161の表示面の異なる2つの部分を、2つの指で同時に指示する場合、指示された表示面の2つの位置をそれぞれ示す2つの位置情報を受け付ける。オペレーティング部57は、タッチパネル165から同時に2以上の位置情報を受け付ける場合、2以上の位置情報を、操作変換部55に出力する。
操作変換部55は、関連付部91と、ジェスチャーイベント決定部93と、マウスイベント生成部95と、表示部制御部97と、を含む。関連付部91は、コンテンツ表示プログラムがインストールされる段階で、コンテンツ表示プログラムが定める複数種類の処理それぞれを、複数のジェスチャーイベントのいずれかと関連付ける。具体的には、関連付部91は、コンテンツ表示プログラムが定める複数の処理識別情報それぞれに、コンテンツ表示プログラムが受け付け可能なジェスチャーイベントを関連付けたマスターテーブルを生成し、HDD115に記憶する。
図6は、マスターテーブルの一例を示す図である。図6を参照して、マスターテーブル99は、複数の処理識別情報ごとにマスターレコードを含む。マスターレコードは、処理の項目と、ジェスチャーの項目と、を含む。処理の項目には、処理識別情報が設定され、ジェスチャーの項目には、ジェスチャーイベントを識別するためのジェスチャー識別情報が設定される。
例えば、処理の項目に処理識別情報「ページ送り」が設定されたマスターレコードは、ジェスチャーの項目にジェスチャー識別情報「スワイプ」が設定される。処理識別情報「ページ送り」で特定される処理は、画面を別のページの画面に変更して表示させる処理である。ジェスチャー識別情報「スワイプ」で特定されるジェスチャーイベントは、タッチパネル165を指示しながら、上下左右のいずれかに指を所定の速さより速い速さで移動させるユーザーの操作に対応する。指を所定の速さより速い速さで移動させる操作は、指を移動させる方向が定まるため、ジェスチャー識別情報「スワイプ」で特定されるジェスチャーイベントは、指を移動させる方向をパラメータとして含む。
処理の項目に処理識別情報「拡大」が設定されたマスターレコードは、ジェスチャーの項目にジェスチャー識別情報「ピンチアウト」が設定される。処理識別情報「拡大」で特定される処理は、画面を拡大して表示させる処理である。ジェスチャー識別情報「ピンチアウト」で特定されるジェスチャーイベントは、タッチパネル165の2箇所を指示しながら、指示した2個所の少なくとも一方を、2箇所の間隔が長くなるように移動させる操作に対応する。2箇所の間隔が長くなるように移動させる操作は、2箇所の間隔が変化するため、ジェスチャー識別情報「ピンチアウト」で特定されるジェスチャーイベントは、2箇所の間隔が変化の割合を倍率とし、その倍率をパラメータとして含む。
処理の項目に処理識別情報「縮小」が設定されたマスターレコードは、ジェスチャーの項目にジェスチャー識別情報「ピンチイン」が設定される。処理識別情報「縮小」で特定される処理は、画面を縮小して表示させる処理である。ジェスチャー識別情報「ピンチイン」で特定されるジェスチャーイベントは、タッチパネル165の2箇所を指示しながら、指示した2個所の少なくとも一方を、2箇所の間隔が短くなるように移動させる操作に対応する。2箇所の間隔が短くなるように移動させる操作は、2箇所の間隔が変化するため、ジェスチャー識別情報「ピンチイン」で特定されるジェスチャーイベントは、2箇所の間隔が変化の割合を倍率とし、その倍率をパラメータとして含む。
処理の項目に処理識別情報「回転」が設定されたマスターレコードは、ジェスチャーの項目にジェスチャー識別情報「ローテーション」が設定される。処理識別情報「回転」で特定される処理は、画面を回転して画面の方向を変更する処理である。ジェスチャー識別情報「ローテーション」で特定されるジェスチャーイベントは、タッチパネル165の2箇所を指示しながら、指示した2個所の少なくとも一方を、2箇所を結ぶ直線の向きが変更されるように移動させる操作が入力される場合に検出される。例えば、2箇所の一方を中心に他方で円弧を描く操作である。円弧を描く方向が時計回りと反時計回りとがあるため、ジェスチャー識別情報「ローテーション」で特定されるジェスチャーイベントは、回転方向と、回転角度とをパラメータとして含む。
処理の項目に処理識別情報「スクロール」が設定されたマスターレコードは、ジェスチャーの項目にジェスチャー識別情報「フリック」および「ダブルフリック」が設定される。処理識別情報「スクロール」で特定される処理は、画面を上下左右にスクロールさせる処理である。ジェスチャー識別情報「フリック」で特定されるジェスチャーイベントは、タッチパネル165を指示しながら、上下左右のいずれかに指をスワイプのジェスチャーイベントの操作におけるしきい値より遅い速さで移動させる操作に対応する。指をしきい値より遅い速さで移動させる操作は、指を移動させる方向が定まるため、ジェスチャー識別情報「フリック」で特定されるジェスチャーイベントは、指を移動させる方向と移動距離とをパラメータとして含む。ジェスチャー識別情報「ダブルフリック」で特定されるジェスチャーイベントは、タッチパネル165を2本の指で指示しながら、上下左右のいずれかに2本の指をスワイプのジェスチャーイベントの操作におけるしきい値より遅い速さで同時に同じ方向に移動させる操作に対応する。2本の指をしきい値より遅い速さで同時に同じ方向に移動させる操作は、指を移動させる方向が定まるため、ジェスチャー識別情報「ダブルフリック」で特定されるジェスチャーイベントは、2本の指を同じ方向に移動させる方向と、移動距離とをパラメータに含む。
図5に戻って、表示部制御部97は、コンテンツ表示部51から入力されるアプリコマンドを、表示部161に画像を表示させるためのオペレーティングコマンドに変換し、オペレーティング部57に出力する。これにより、コンテンツ表示部51によって生成された表示画像が、表示部161のVRAMに記憶され、表示部161に表示画像の少なくとも一部が表示される。
マウスイベント生成部95は、オペレーティング部57から位置情報が入力されることに応じてマウスイベントを生成する。さらに、マウスイベント生成部95は、マウスイベントを生成するごとに、生成されたマウスイベントをジェスチャーイベント決定部93に出力する。マウスイベント生成部95は、オペレーティング部57から複数の位置情報が同時に入力される場合、複数の位置情報それぞれに対応する複数のマウスイベントを生成する。マウスイベント生成部95は、1以上のマウスイベントを生成する場合、生成された1以上のマウスイベントをジェスチャーイベント決定部93に出力する。位置情報は、操作ユーザーが指示した表示部161の表示面中の位置を示す。
操作ユーザーが表示部161の表示面を指示する操作は、ユーザーが表示部161の表示面の任意の位置を指示する指示開始操作、ユーザーが表示部161の表示面を指示しながら、換言すれば、表示部161の表示面に触れながら指示する位置を移動させる移動操作、ユーザーが表示部161の表示面の指示を終了する終了操作、を含む。マウスイベント生成部95は、オペレーティング部57から位置情報が入力されると、操作ユーザーによる操作が、指示開始操作、移動操作、終了操作のいずれであるかを判断する。上述したように、オペレーティング部57は、タッチパネル165から位置情報が出力されるごとに、その位置情報を出力するので、時間の経過とともに連続して入力される位置情報の連続性に基づいて、操作ユーザーによる操作が、指示開始操作、移動操作、終了操作のいずれであるかを判断する。
マウスイベント生成部95は、オペレーティング部57から位置情報が入力されていない状態が所定時間経過した後に入力される位置情報に対して、操作ユーザーによる操作が指示開始操作と判断し、位置情報と、指示開始操作を識別するための状態識別情報「Press」とを含むマウスイベントを生成する。
マウスイベント生成部95は、状態識別情報「Press」のマウスイベントを検出した後、オペレーティング部57から連続して1以上位置情報が入力される場合、1以上の位置情報それぞれに対して、操作ユーザーによる操作が移動操作と判断する。マウスイベント生成部95は、オペレーティング部57から連続して入力される1以上の位置情報それぞれに対して、その位置情報と移動操作を識別するための状態識別情報「Move」とを含むマウスイベントを生成する。
マウスイベント生成部95は、状態識別情報「Move」のマウスイベントを検出した後、オペレーティング部57から位置情報が入力されなくなる場合、最後に入力された位置情報に対して、操作ユーザーによる操作が終了操作と判断し、最後に入力された位置情報と、終了操作を識別するための状態識別情報「Release」とを含むマウスイベントを生成する。
より具体的には、マウスイベント生成部95は、オペレーティング部57から第1の時に入力される位置情報と、第1の時よりも所定時間後の第2の時に入力される位置情報とに基づいて、マウスイベントの状態を決定する。マウスイベント生成部95は、第1の時に入力される位置情報に対して、第1の時よりも所定時間前に、第1の時に入力される位置情報で特定される位置から所定の距離の範囲内の位置を示す位置情報が入力されていない場合には、第1の時に入力される位置情報に対するマウスイベントの状態を「Press」に決定する。マウスイベント生成部95は、第1の時に入力される位置情報で特定される位置が、第2の時に入力される位置情報で特定される位置から所定の距離の範囲内に存在しない場合には、第2の時に入力される位置情報に対するマウスイベントの状態を「Press」に決定する。
また、マウスイベント生成部95は、第1の時に入力される位置情報で特定される位置が、第2の時に入力される位置情報で特定される位置から所定の距離の範囲内に存在する場合には、第2の時に入力される位置情報に対するマウスイベントの状態を「Move」に決定する。さらに、マウスイベント生成部95は、第1の時に入力される位置情報で特定される位置から所定の距離の範囲内の位置情報が、第2の時に入力されない場合には、第2の時において第1の時に入力されていた位置情報に対するマウスイベントの状態を「Release」に決定する。
ジェスチャーイベント決定部93は、マウスイベント生成部95から連続して入力される複数のマウスイベントに基づいてジェスチャーイベントを決定する。ジェスチャーイベント決定部93は、マウスイベント生成部95から同時に1つのマウスイベントが連続して入力される場合、最初の第1のマウスイベントが入力されてから所定時間経過後に入力される第2のマウスイベントを特定し、第1のマウスイベントで特定される位置と、第2のマウスイベントで特定される位置との間の距離が所定の距離以上の場合に、ジェスチャーイベントを決定するが、2つの位置の間の距離が所定の距離より小さい場合にはジェスチャーイベントを決定しない。所定の時間は、任意に定めることができる。所定の時間は、たとえば、タッチパネル165が位置を検出する間隔の数倍とすることができる。また、所定の距離は、任意に定めることができるが、たとえば、40ピクセルとするのが好ましい。
ジェスチャーイベント決定部93は、マウスイベント生成部95から同時に2以上のマウスイベントが入力される場合、2以上のマウスイベントに基づいてジェスチャーイベントを決定する。したがって、ユーザーが、マルチタッチ操作を入力する場合、ジェスチャーイベント決定部93は、ジェスチャーイベントを決定する。具体的には、ジェスチャーイベント決定部93は、マウスイベント生成部95から第1のマウスイベントと第2のマウスイベントの2つが同時に入力される場合、第1のマウスイベントに対して連続して入力される複数のマウスイベントの第1の組と、第2のマウスイベントに対して連続して入力される複数のマウスイベントの第2の組と、に基づいてジェスチャーイベントを決定する。第1の組に含まれる複数のマウスイベントは、位置情報が同じか、または位置情報が連続している。連続とは、2つの位置情報が所定の距離の範囲内の位置を示すことをいう。第2の組に含まれる複数のマウスイベントは、位置情報が同じか、または位置情報が連続している。このため、ジェスチャーイベント決定部93は、同時に入力される複数のマウスイベントが、第1の組と第2の組のいずれに属するかを、それらに含まれる位置情報で判断する。
ジェスチャーイベント決定部93は、マウスイベント生成部95から連続してマウスイベントが入力される場合、最初に入力されるマウスイベントの状態識別情報は「Press」である。そして、ジェスチャーイベント決定部93は、状態識別情報が「Move」のマウスイベントが入力されると、状態識別情報が「Press」のマウスイベントの位置情報と、状態識別情報が「Move」のマウスイベントの位置情報とから2点間の距離を算出し、状態識別情報が「Press」のマウスイベントが検出されてから状態識別情報が「Move」のマウスイベントが検出されるまでの時間と、算出された距離とから指示速度を算出する。そして指示速度が所定のしきい値TV以上ならばユーザーによるスワイプ操作を検出し、移動速度が所定のしきい値TVより小さければユーザーによるフリック操作を検出する。また、複数のマウスイベントが入力される場合は、最初の複数のマウスイベントによってユーザーによるフリック操作が検出され、後の複数のマウスイベントによってユーザーによるスワイプ操作が検出される場合がある。ジェスチャーイベント決定部93は、フリック操作およびスワイプ操作を検出する場合、最初の位置情報で特定される位置から後の位置情報で特定される位置に向かう方向を算出し、表示部161の表示面を基準に上下左右の4方向のうち算出された方向に最も近い方向を指示方向として決定し、指示方向をパラメータとして含むジェスチャーイベントを決定する。ジェスチャーイベント決定部93は、スワイプ操作を検出する場合には、ジェスチャー識別情報「スワイプ」と、指示方向のパラメータとを含むジェスチャーイベントを決定する。ジェスチャーイベント決定部93は、フリック操作を検出する場合には、ジェスチャー識別情報「フリック」と、指示方向のパラメータと移動距離を示すパラメータとを含むジェスチャーイベントを出力する。移動距離は、状態識別情報が「Press」のマウスイベントの位置情報と、状態識別情報が「Move」のマウスイベントの位置情報とから算出される2点間の距離である。
ジェスチャーイベント決定部93は、マウスイベント生成部95から同時に2つのマウスイベントが入力される場合、最初に入力される2つのマウスイベントそれぞれの状態は「Press」である。この場合に、2つのマウスイベントそれぞれに含まれる位置情報に基づいて、2点間の距離L1および2点間を結ぶ直線の角度R1を算出する。2点間を結ぶ直線の角度は、表示部161の横方向を基準線として、2点間を結ぶ直線が基準線となす角度とすればよい。2点間を結ぶ直線と基準線とのなす角度は、基準線から時計回りになす角度である。そして、ジェスチャーイベント決定部93は、その後に同時に入力される2つのマウスイベントの位置情報に基づいて、2点間の距離L2および2点間を結ぶ直線の角度R2を算出する。
ジェスチャーイベント決定部93は、距離L2と距離L1とが異なれば、ユーザーによるピンチアウト操作またはピンチイン操作を検出する。距離L2が距離L1より大きければピンチアウト操作を検出し、距離L2が距離L1より小さければピンチイン操作を検出する。ジェスチャーイベント決定部93は、ピンチアウト操作またはピンチイン操作を検出する場合、距離L2を距離L1で除算することによって倍率を算出し、算出された倍率をパラメータとして決定し、倍率のパラメータを含むジェスチャーイベントを決定する。ジェスチャーイベント決定部93は、ピンチアウト操作を検出する場合には、ジェスチャー識別情報「ピンチアウト」と、倍率のパラメータと含むジェスチャーイベントを決定する。ジェスチャーイベント決定部93は、ピンチイン操作を検出する場合には、ジェスチャー識別情報「ピンチイン」と、倍率のパラメータとを含むジェスチャーイベントを決定する。
ジェスチャーイベント決定部93は、角度R1と角度R2との差が所定のしきい値TR以上の場合、ユーザーによるローテーション操作を検出する。しきい値Rは、予め定められた値であり、たとえば、90度以下とするのがよい。ジェスチャーイベント決定部93は、ローテーション操作を検出する場合、角度R2から角度R1を減算することによって回転角度および回転方向を決定し、決定された回転角度および回転方向をパラメータとして決定する。角度R2から角度R1を減算した値がプラスならば回転方向は時計回りであり、角度R2から角度R1を減算した値がマイナスならば回転方向は反時計回りである。ジェスチャーイベント決定部93は、ローテーション操作を検出する場合、ジェスチャー識別情報「ローテーション」と、回転角度のパラメータと、回転方向のパラメータとを含むジェスチャーイベントを決定する。
また、ジェスチャーイベント決定部93は、状態識別情報が「Move」の第1および第2の2つのマウスイベントが同時に入力されると、第1のマウスイベントの位置情報と第1のマウスイベントに対応する状態識別情報が「Press」のマウスイベントの位置情報とから第1の移動方向を算出し、第2のマウスイベントの位置情報と第2のマウスイベントに対応する状態識別情報が「Press」のマウスイベントの位置情報とから第2の移動方向を算出する。状態識別情報が「Press」のマウスイベントの位置情報で特定される位置から状態識別情報が「Move」のマウスイベントの位置情報で特定される位置に向かう方向を移動方向として算出する。そして、第1のマウスイベントおよび第2のマウスイベントそれぞれに対応する移動方向が同じならばユーザーによるダブルフリック操作を検出する。第1のマウスイベントおよび第2のマウスイベントそれぞれに対応する方向が同じか否かは、第1のマウスイベントおよび第2のマウスイベントそれぞれに対応する移動方向の差が所定の範囲内であればよい。ジェスチャーイベント決定部93は、ダブルフリック操作を検出する場合、ジェスチャー識別情報「ダブルフリック」と、移動方向を示す指示方向のパラメータと移動距離のパラメータとを含むジェスチャーイベントを出力する。移動距離は、第1のマウスイベントの位置情報で特定される位置と第1のマウスイベントに対応する状態識別情報が「Press」のマウスイベントの位置情報で特定される位置との間の距離とすればよい。
したがって、ジェスチャーイベント決定部93は、同時に2つのマウスイベントの組が入力される場合に、複数種類のジェスチャーイベントを決定する場合がある。ジェスチャー識別情報「ピンチアウト」のジェスチャーイベントと、ジェスチャー識別情報「ローテーション」のジェスチャーイベントの組、ジェスチャー識別情報「ピンチイン」のジェスチャーイベントと、ジェスチャー識別情報「ローテーション」のジェスチャーイベントの組、ジェスチャー識別情報「ピンチアウト」のジェスチャーイベントと、ジェスチャー識別情報「ダブルフリック」のジェスチャーイベントの組、ジェスチャー識別情報「ピンチイン」のジェスチャーイベントと、ジェスチャー識別情報「ダブルフリック」のジェスチャーイベントの組、である。
ジェスチャーイベント決定部93は、ジェスチャーイベントを決定する場合、HDD115から、調停部53によって設定されているカレントタスクのアプリ識別情報に対応するマスターテーブル99を読み出す。具体的には、マスターテーブル99を読み出すためのオペレーティングコマンドをオペレーティング部57に出力し、オペレーティング部57がHDD115を制御して読み出すマスターテーブル99を取得する。以下、コンテンツ表示部51がカレントタスクの場合について説明する。
ジェスチャーイベント決定部93は、ジェスチャーイベントを決定することに応じて、ジェスチャーイベントに基づいて、マスターテーブル99において定められている複数種類の処理のうちから調停部53によってカレント状態に設定されているカレントタスクに対応して関連付けられた処理を特定する。ここでは、調停部53によってコンテンツ表示部51がカレントタスクに設定されているので、ジェスチャーイベント決定部93は、ジェスチャーイベントと、マスターテーブル99によって関連付けられた処理を特定する。より具体的には、ジェスチャーイベント決定部93は、決定されたジェスチャーイベントのジェスチャー識別情報がジェスチャーの項目に設定されたマスターレコードを、マスターテーブル99から抽出し、抽出されたマスターレコードの処理の項目に設定されている処理識別情報を取得する。ジェスチャーイベント決定部93は、処理識別情報が取得される場合、決定されたジェスチャーイベントを調停部53に出力するが、処理識別情報が取得されない場合、決定されたジェスチャーイベントを調停部53に出力しない。また、ジェスチャーイベント決定部93は、複数のジェスチャーイベントを決定する場合、複数のジェスチャーイベントのうち、処理が特定されるすべてのジェスチャーイベントを調停部53に出力する。ジェスチャーイベント決定部93が出力するジェスチャーイベントは、ジェスチャーイベントを識別するためのジェスチャー識別情報を含む。また、ジェスチャーイベント決定部93は、マウスイベント生成部95からマウスイベントが連続して入力される場合であって、ジェスチャーイベントを決定しない場合、ジェスチャーイベントを決定しないことを示す未決定信号を調停部53に出力する。
ジェスチャーイベント決定部93は、調停部53によってカレント状態に設定されているカレントタスクであるコンテンツ表示部51が実行可能な処理に対応するジェスチャーイベントのみを調停部53に出力し、調停部53は、ジェスチャーイベントをカレントタスクであるコンテンツ表示部51に出力する。このため、タッチパネル165に入力される操作であって、複数のマウスイベントの組で特定されるジェスチャーイベントを、コンテンツ表示プログラムを実行するコンテンツ表示部51に実行させることができる。換言すれば、コンテンツ表示プログラムを開発する段階で、MFP100においてタッチパネル165で受け付け可能なジェスチャーイベントを意識することなく開発することができる。例えば、ローテーション操作を受け付けないブラウジングプログラムを開発することができる。
調停部53は、ジェスチャーイベント決定部93からジェスチャーイベントが入力され、ジェスチャーイベントをカレント状態に設定されたコンテンツ表示部51に出力する。調停部53は、ジェスチャーイベント決定部93からジェスチャーイベントが入力されることに応じて、ジェスチャーイベントをコンテンツ表示部51に出力する。なお、コンテンツ表示部51の他にCPU111が別のアプリケーションプログラムを実行することによって、アプリケーション層に複数のタスクが形成される場合、調停部53は、複数のタスクのうちカレント状態のタスクにジェスチャーイベント決定部93からジェスチャーイベントを出力する。
コンテンツ表示部51は、コンテンツ取得部61と、ジェスチャー期間検出部63と、表示用画像生成部65と、表示制御部67と、を含む。
コンテンツ取得部61は、コンテンツを取得し、取得されたコンテンツを表示用画像生成部65に出力する。コンテンツは、外部のサーバーに記憶されたデータ、HDD115に記憶されたデータを含み、データの種類は制限されない。たとえば、コンテンツを、外部のWebサーバーに記憶され、HTML(HyperText Markup Language)等のマークアップ言語で記述されたWebページとする場合、コンテンツ取得部61は、通信I/F部112を制御してWebサーバーからWebページを受信することによってWebページを取得する。コンテンツ取得部61は、Webページに別のコンテンツがリンクされている場合、その別のコンテンツを取得する。コンテンツ取得部61が取得するコンテンツは、MFP100を操作する操作ユーザーが指定したURL(Uniform Resource Locator)で識別されるWebページであってもよいし、コンテンツ表示プログラムにおいて予め定められたURLで識別されるWebページであってもよい。また、コンテンツをHDD116に記憶されたアプリケーションデータまたは画像データとする場合、コンテンツ取得部61は、HDD116からアプリケーションデータまたは画像データを読み出すことによってコンテンツを取得する。
ジェスチャー期間検出部63は、ジェスチャーイベント決定部93からジェスチャーイベントが入力される。ジェスチャー期間検出部63は、ジェスチャーイベント決定部93から入力されるジェスチャーイベントに基づいてジェスチャー期間を検出し、ジェスチャー期間を検出している間、ジェスチャー期間であることを示すジェスチャー期間信号を表示用画像生成部65に出力する。ジェスチャー期間は、ジェスチャーイベント決定部93によってジェスチャーイベントが連続して決定される期間である。ジェスチャーイベント決定部93から入力されるジェスチャーイベントは、ジェスチャー識別情報が、「スワイプ」、「フリック」、「ピンチアウト」、「ピンチイン」、「ローテーション」、「ダブルフリック」および「ダブルタップ」の1以上である。
具体的には、ジェスチャーイベント決定部93は、1以上のマウスイベントに基づいてジェスチャーイベントを決定するが、ジェスチャーイベント決定部93によってジェスチャーイベントが決定された後に、マウスイベント生成部95によって連続してマウスイベントが生成される場合がある。たとえば、ユーザーが、ピンチイン操作を入力する場合、ユーザーが2つの指を移動させている途中で、ジェスチャーイベント決定部93によってジェスチャーイベントが決定される。この場合には、ユーザーが指をタッチパネル165から離すまで、マウスイベント生成部95によって状態識別情報「Move」のマウスイベントが生成され、ユーザーが指をタッチパネル165から離すと、マウスイベント生成部95によって状態識別情報「Release」のマウスイベントが生成される。ジェスチャーイベント決定部93は、ジェスチャー識別情報「ピンチイン」のジェスチャーイベントを決定した後は、マウスイベント生成部95から状態識別情報「Release」のマウスイベントが入力されるまで、状態識別情報「Move」のマウスイベントが入力されるごとに、ジェスチャー識別情報「ピンチイン」のジェスチャーイベントを出力する。ジェスチャー期間検出部63は、ジェスチャーイベント決定部93から同じジェスチャーイベントが連続して入力されている間、ジェスチャー期間を検出する。
また、ユーザーが、ローテーション操作を入力する場合、2つのユーザーが2つの指を移動させている途中で、ジェスチャーイベント決定部93によってジェスチャー識別情報「ローテーション」のジェスチャーイベントが決定されるが、ローテーション操作の途中で指の間隔が変動する場合がある。たとえば、指の間隔が狭くなる場合、ジェスチャーイベント決定部93によってジェスチャー識別情報「ピンチイン」のジェスチャーイベントが決定される。ジェスチャーイベント決定部93は、ジェスチャー期間が開始してから2つのジェスチャーイベントを決定する場合、2つのジェスチャーイベントを出力する。この場合においても、ジェスチャー期間検出部63は、ジェスチャーイベント決定部93から最初のジェスチャーイベントが入力されるとジェスチャー期間の開始を検出し、ジェスチャーイベント決定部93から1以上のジェスチャーイベントが入力されなくなる場合、ジェスチャー期間の終了を検出する。
表示用画像生成部65は、コンテンツ取得部61からコンテンツが入力され、ジェスチャー期間検出部63からジェスチャー期間信号が入力され、ジェスチャーイベント決定部93から1以上のジェスチャーイベントが入力される。表示用画像生成部65は、ジェスチャーイベント決定部93から入力される1以上のジェスチャーイベントに基づいてコンテンツを表示するための表示用画像を生成する。表示用画像生成部65は、コンテンツが複数ページで構成される場合、複数ページのうち表示対象となるページの少なくとも一部の画像を表示用画像として生成する。換言すれば、表示用画像生成部65が生成する表示用画像は、単一のページの一部または全部の画像を含み、複数ページの画像を含まない。表示用画像生成部65は、表示対象変更部71と、表示方向変更部73と、状態記憶部75と、優先表示部77と、を含む。
表示用画像生成部65は、コンテンツ取得部61からコンテンツが入力されると、コンテンツの少なくとも一部を表示部分に決定し、表示部分を表示するための表示用画像を生成する。表示用画像生成部65が、コンテンツ取得部61からコンテンツが入力される時点において決定する表示部分は、予め定めておけばよい。たとえば、コンテンツの全部をデフォルトの表示部分に設定すればよい。また、コンテンツが複数ページで構成される場合、最初のページの全部をデフォルトの表示部分に設定すればよい。
状態記憶部75は、ジェスチャー期間が開始するジェスチャー開始時点における表示部分を特定するための状態情報を、RAM114に一時記憶する。状態情報は、コンテンツ中の表示部分の位置およびサイズ(倍率)を含む。また、コンテンツが複数ページで構成される場合、状態情報は、ページを特定するページ番号を含む。
表示対象変更部71は、ジェスチャーイベント決定部93から第1の種類のジェスチャーイベントが入力される場合、表示部分を変更し、変更後の表示部分を表示するための表示用画像を生成する。第1の種類のジェスチャーイベントは、ジェスチャー識別情報「ピンチイン」、「ピンチアウト」、「スワイプ」、「フリック」および「ダブルフリック」のジェスチャーイベントである。表示対象変更部71は、変倍部81と、ページ切換部83と、スクロール部85と、特定状態ページ切換部86と、を含む。
変倍部81は、ジェスチャーイベント決定部93からジェスチャー識別情報「ピンチイン」または「ピンチアウト」のジェスチャーイベントが入力される場合、表示部分のサイズを変更する。ジェスチャー識別情報「ピンチイン」または「ピンチアウト」のジェスチャーイベントは、パラメータとして倍率を含む。変倍部81は、ジェスチャー識別情報「ピンチイン」または「ピンチアウト」のジェスチャーイベントにパラメータとして含まれる倍率で、表示部分のサイズを変更する。
ページ切換部83は、コンテンツが複数のページを含む場合であって、ジェスチャーイベント決定部93からジェスチャー識別情報「スワイプ」のジェスチャーイベントが入力される場合、表示部分が属するページの前後のページを新たな表示部分が属するページに決定する。表示部分が属するページの前のページは、表示部分が属するページが最初の第1ページの場合は、最終ページである。表示部分が属するページの後のページは、表示部分が属するページが最終ページの場合は、最初の第1ページである。ページ切換部83は、表示部分が属するページを状態情報で特定する。ジェスチャー識別情報「スワイプ」のジェスチャーイベントは、パラメータとして指示方向を含む。ページ切換部83は、ジェスチャー識別情報「スワイプ」のジェスチャーイベントにパラメータとして含まれる指示方向で定まるページを決定する。ここで一例として、コンテンツが第1ページ〜第Nページ(Nは2以上の整数)を含み、表示部分が第Mページ(Mは、1以上N以下の整数)に含まれる場合を例に説明する。ページ切換部83は、ジェスチャー識別情報「スワイプ」のジェスチャーイベントに含まれる指示方向が「上」または「左」を示す場合、第(M−1)ページを新たな表示部分が属するページに決定する。ページ切換部83は、ジェスチャー識別情報「スワイプ」のジェスチャーイベントに含まれる指示方向が「下」または「右」を示す場合、第(M+1)ページを新たな表示部分が属するページに決定する。
スクロール部85は、ジェスチャーイベント決定部93からジェスチャー識別情報「フリック」または「ダブルフリック」のジェスチャーイベントが入力される場合、コンテンツ中で表示部分を移動させる。ジェスチャー識別情報「フリック」または「ダブルフリック」のジェスチャーイベントは、方向を示すパラメータと移動距離を示すパラメータとを含む。スクロール部85は、ジェスチャー識別情報「フリック」または「ダブルフリック」のジェスチャーイベントにパラメータとして含まれる方向に、移動距離だけ表示部分を平行移動させる。なお、表示部分がコンテンツの端部に位置する場合等には、表示部分を移動可能な距離がパラメータで定められる移動距離より短い場合がある。この場合、スクロール部85は、表示部分をパラメータとして含まれる方向に移動可能な距離だけ移動させるとともに、移動距離だけ移動できなかったことを示す特定状態信号を特定状態ページ切換部86に出力する。特定状態信号は、ジェスチャー識別情報「フリック」または「ダブルフリック」のジェスチャーイベントにパラメータとして含まれる指示方向を含む。
特定状態ページ切換部86は、コンテンツが複数のページを含む場合であって、ジェスチャー期間の間にスクロール部85から特定状態信号が入力される場合、ジェスチャー期間が終了するジェスチャー期間終了時に、表示部分が属するページの前後のページを新たな表示部分が属するページに決定する。ジェスチャー期間検出部63からジェスチャー期間信号が入力されていた状態からジェスチャー期間信号が入力されない状態に変化すると、ジェスチャー期間終了時を検出する。特定状態ページ切換部86は、表示部分が属するページを状態情報で特定する。特定状態ページ切換部86は、特定状態信号に含まれる指示方向で定まるページを決定する。具体的には、特定状態信号に含まれる方向が「上」または「左」を示す場合、表示部分が属するページの前のページを新たな表示部分が属するページに決定する。特定状態信号に含まれる方向が「下」または「右」を示す場合、表示部分が属するページの後のページを新たな表示部分が属するページに決定する。
表示方向変更部73は、ジェスチャーイベント決定部93からジェスチャー識別情報「ローテーション」のジェスチャーイベントが入力される場合、表示部分の方向を変更する。ジェスチャー識別情報「ローテーション」のジェスチャーイベントは、回転角度のパラメータと、回転方向のパラメータとを含む。表示方向変更部73は、ジェスチャー識別情報「ローテーション」のジェスチャーイベントにパラメータとして含まれる回転方向に、回転角度だけ表示部分を回転させることによって、表示部分の方向を変更する。
優先表示部77は、ジェスチャー期間にジェスチャーイベント決定部93から第1の種類のジェスチャーイベントと第2の種類のジェスチャーイベントとが入力される場合、第2の種類のジェスチャーイベントに基づいて状態情報により特定される表示部分を変更する。第1の種類のジェスチャーイベントは、ジェスチャー識別情報「ピンチイン」、「ピンチアウト」、「スワイプ」、「フリック」および「ダブルフリック」のジェスチャーイベントである。第2の種類のジェスチャーイベントは、ジェスチャー識別情報「ローテーション」のジェスチャーイベントである。優先表示部77は、状態情報で定まる表示部分の方向を変更する。ジェスチャー期間にジェスチャーイベント決定部93から最後に入力されたジェスチャー識別情報「ローテーション」のジェスチャーイベントにパラメータとして含まれる回転方向に、回転角度だけ表示部分を回転させることによって、表示部分の方向を変更する
<ジェスチャー期間>
表示用画像生成部65は、ジェスチャー期間の間、ページ切換部83によってページが切り換えられる場合には変更後のページを処理対象とし、ページ切換部83によってページが切り換えられない場合には状態情報によって特定されるページを処理対象とする。また、表示用画像生成部65は、変倍部81およびスクロール部85によって表示部分が変更される場合には処理対象のページにおける変更後の表示部分を表示するための表示用画像を生成する。また、表示用画像生成部65は、表示方向変更部73によって表示部分の方向が変更される場合には、処理対象のページにおける表示部分を、方向を変更して表示するための表示用画像を生成する。さらに、表示用画像生成部65は、変倍部81およびスクロール部85によって表示部分が変更される場合、および表示方向変更部73によって表示部分の方向が変更される場合には、処理対象のページにおける変更後の表示部分を、方向を変更して表示するための表示用画像を生成する。
<ジェスチャー期間終了時>
表示用画像生成部65は、ジェスチャー期間が終了するジェスチャー期間終了時において、特定状態ページ切換部86によってページが切り換えられる場合には変更後のページを処理対象とし、表示部分を表示するための表示用画像を生成する。表示部分は、ページの予め定められた部分とすればよい。また、ジェスチャー期間終了時に決定されている表示部分のページ中の位置およびサイズを用いるようにしてもよい。
表示用画像生成部65は、ジェスチャー期間が終了するジェスチャー期間終了時において、優先表示部77によって表示部分の方向が変更される場合は、処理対象のページにおける表示部分を、その方向を変更して表示するための表示用画像を生成する。
表示制御部67は、表示用画像生成部65から表示用画像が入力されることに応じて、表示用画像を表示部161に表示する。具体的には、表示制御部67は、表示用画像を表示部161に表示するために、アプリコマンドを調停部53に出力する。これにより、オペレーティング部57によって、表示部161が備えるVRAM(Video RAM)に表示用画像が記憶され、表示用画像が表示部161に表示される。
図7は、ジェスチャーイベント決定処理の流れの一例を示すフローチャートである。ジェスチャーイベント決定処理は、MFP100が備えるCPU111が、ROM113、HDD115またはCD−ROM118に記憶された操作受付プログラムを実行することにより、CPU111により実行される処理である。図7を参照して、CPU111は、マウスイベントが検出されたか否かを判断する(ステップS01)。ユーザーがタッチパネル165を指示すれば、タッチパネル165により検出された位置に基づいてマウスイベントが検出される。マウスイベントが検出されるまで待機状態となり(ステップS01でNO)、マウスイベントが検出されたたならば(ステップS01でYES)、処理をステップS02に進める。換言すれば、ジェスチャーイベント決定処理は、ユーザーがタッチパネル165を指示し、タッチイベントが検出されることを条件に実行される処理である。
ステップS02においては、検出されたマウスイベントが単数か否かを判断する。単数のマウスイベントが検出されたならば処理をステップS03に進めるが、複数のマウスイベントが検出されたならば処理をステップS21に進める。ステップS21においては、複数位置検出処理を実行し、処理を終了する。複数位置検出処理の詳細は後述する。
ステップS03においてはマウスイベントの状態によって処理を分岐させる。マウスイベントの状態が「Press」ならば処理をステップS04に進め、マウスイベントの状態が「Release」ならば処理をステップS05に進め、「Move」ならば処理をステップS12に進める。ステップS04においては、ステップS01において検出されたマウスイベントに含まれる位置情報を開始位置としてRAM114に記憶し、処理を終了する。
処理がステップS05に進む場合、ステップS01において検出されたマウスイベントの状態が「Release」である。マウスイベントの状態が「Release」の場合、そのマウスイベントの直前に別のマウスイベントが入力されている。別のマウスイベントの状態は、「Press」の場合と、「Move」の場合とがある。ステップS05においては、直前に入力された別のマウスイベントの状態によって処理を分岐させる。直前に入力された別のマウスイベントの状態が「Press」ならば処理をステップS06に進めるが、そうでなければ処理をステップS11に進める。ステップS11においては、未決定信号を出力し、処理を終了する。
ステップS06においては、ステップS01において検出されたマウスイベントに含まれる位置情報と同じ位置情報がRAM114に記憶されているか否かを判断する。RAM114に記憶されているならば処理をステップS07に進めるが、そうでなければ処理をステップS11に進める。なお、ここでいう同じ位置情報とは、2つの位置情報でそれぞれ特定される2つの位置の間の距離が所定の長さ以内である場合を含む。ユーザーが同じ位置を指示する操作を検出するために、誤差を含む。
ステップS07においては、ジェスチャーイベントをダブルタップに決定し、処理をステップS08に進める。処理がステップS07に進む場合は、直前に入力されたマウスイベントの状態が「Press」で、ステップS01において入力されるマウスイベントの状態が「Release」の場合であり、かつ、RAM114に同じ位置情報が記憶されている場合である。換言すれば、ユーザーが最初のタップ操作を入力した後に、最初のタップ操作と同じ位置をタップ操作する場合である。
ステップS08においては、決定されたジェスチャーイベントに対応する処理が定義されているか否かを判断する。HDD115に記憶されているマスターテーブル99において定められている複数種類の処理のうちに、カレント状態に設定されているアプリケーションプログラムに対応してジェスチャーイベントが関連付けられた処理が存在するか否かで判断する。マスターテーブル99において、決定されたジェスチャーイベントに処理が関連付けられていれば、カレント状態に設定されているアプリケーションプログラムに対応して、決定されたジェスチャーイベントに対応する処理が定義されていると判断する。決定されたジェスチャーイベントに対応する処理が定義されていれば処理をステップS09に進めるが、そうでなければ処理をステップS11に進める。ステップS09においては、ステップS07において決定されたジェスチャー識別情報「ダブルタップ」のジェスチャーイベントを出力し、処理を終了する。ステップS11においては、未決定信号を出力し、処理を終了する。
処理がステップS10に進む場合は、直前に入力されたマウスイベントの状態が「Press」で、次に入力されるマウスイベントの状態が「Release」の場合であり、かつ、RAM114に同じ位置情報が記憶されていない場合である。換言すれば、ユーザーが最初のタップ操作を入力する場合である。ステップS10においては、ステップS01において検出されたマウスイベントに含まれる位置情報を開始位置としてRAM114に記憶し、処理をステップS11に進める。ステップS11においては、未決定信号を出力し、処理を終了する。
処理がステップS12に進む場合、マウスイベントの状態が「Move」の場合であり、そのマウスイベントの直前に別のマウスイベントが入力されている。別のマウスイベントの状態は、「Press」の場合と、「Move」の場合とがある。ステップS12においては、移動距離Lがしきい値TH以上か否かを判断する。移動距離Lがしきい値TL以上ならば処理をステップS13に進めるが、そうでなければ処理を終了する。ステップS04において記憶された開始位置で特定される位置とステップS01において検出されたマウスイベントに含まれる位置情報で特定される位置との間の距離を移動距離Lとして算出する。
次のステップS13においては、指示方向を決定する。ステップS04において記憶された開始位置で特定される位置からステップS01において検出されたマウスイベントに含まれる位置情報で特定される位置に向かう方向を指示方向に決定する。指示方向は、表示部161の表示面を基準にした上下左右の4方向のうち最も近い方向である。
そして、指示速度を算出する。ステップS12において算出された移動距離に基づいて指示速度を算出する。たとえば、ステップS12において算出された移動距離を、状態が「Press」のマウスイベントが検出されてからステップS01においてマウスイベントが検出されるまでの時間で除算した値を指示速度とする。また、直前に検出されたマウスイベントとステップS01において検出されたマウスイベントとから指示速度を算出するようにしてもよい。
ステップS15においては、指示速度がしきい値TV以上か否かを判断する。指示速度がしきい値TV以上ならば処理をステップS16に進め、そうでなければ処理をステップS17に進める。ステップS16においては、ジェスチャーイベントをスワイプに決定し、処理をステップS18に進める。ステップS17においては、ジェスチャーイベントをフリックに決定し、処理をステップS18に進める。
ステップS18においては、決定されたジェスチャーイベントに対応する処理が、HDD115に記憶されているマスターテーブル99によって定義されているか否かを判断する。ジェスチャーイベントに対応する処理が定義されていれば処理をステップS19に進めるが、そうでなければ処理をステップS20に進める。ステップS19においては、ステップS16において決定されたジェスチャー識別情報「スワイプ」のジェスチャーイベント、またはステップS17において決定されたジェスチャー識別情報「フリック」のジェスチャーイベントを出力し、処理を終了する。ステップS20においては、未決定信号を出力し、処理を終了する。
図8は、複数位置検出処理の流れの一例を示すフローチャートである。複数位置検出処理は、図7に示したジェスチャーイベント決定処理のステップS21において実行される処理である。複数位置検出処理は、2つのマウスイベントが検出される場合に実行される処理である。図8を参照して、CPU111は、2つのマウスイベントの状態によって処理を分岐させる。2つのマウスイベントの少なくとも一方の状態が「Release」ならば処理をステップS54に進め、「Press」ならば処理をステップS32に進め、「Move」ならば処理をステップS33に進める。ステップS32においては、2つのマウスイベントそれぞれに含まれる位置情報を開始位置としてRAM114に記憶し、処理を終了する。
ステップS33においては、2つのマウスイベントの少なくとも一方の状態が「Move」か否かを判断する。2つのマウスイベントの少なくとも一方の状態が「Move」ならば処理をステップS34に進めるが、そうでなければ処理をステップS54に進める。ステップS54においては、未決定信号を出力し、処理をジェスチャーイベント検出処理に戻す。
ステップS34においては、回転角度を算出する。表示部161の表示面の所定の基準辺を基準に、ステップS32において記憶された開始位置で特定される2つの位置を結ぶ直線が基準辺となす角度R1を算出する。また、検出された2つのマウスイベントそれぞれに含まれる位置情報で特定される2つの位置を結ぶ直線が基準辺となす角度R2を算出する。そして、角度R2から角度R1を減算することにより回転角度Rを算出する。回転角度Rの絶対値がしきい値TR以上か否かを判断する。回転角度Rの絶対値がしきい値TR以上ならば、処理をステップS36に進めるが、そうでなければ処理をステップS40に進める。ステップS36においては、回転方向と回転角度とを決定する。回転方向は回転角度Rの正負によって決定する。回転角度は回転角度Rに決定する。ステップS37においては、ジェスチャーイベントをローテーションに決定し、処理をステップS38に進める。
ステップS38においては、決定されたジェスチャーイベントに対応する処理が、HDD115に記憶されているマスターテーブル99によって定義されているか否かを判断する。ジェスチャーイベントに対応する処理が定義されていれば処理をステップS39に進めるが、そうでなければステップS39をスキップして処理をステップS40に進める。ステップS39においては、ステップS37において決定されたジェスチャー識別情報「ローテーション」のジェスチャーイベントを出力する。
ステップS40においては、指示位置間距離の変化量を算出する。ステップS32において記憶された開始位置で特定される2つの位置の間の距離L1を算出する。また、検出された2つのマウスイベントそれぞれに含まれる位置情報で特定される2つの位置の間の距離L2を算出する。距離L2と距離L1との差を、指示位置間距離の変化量として算出する。
次のステップS41においては距離が変化したか否かを判断する。指示位置間距離の変化量が所定の長さ以上であれば、距離が変化したと判断する。距離が変化したならば処理をステップS43に進め、そうでなければ処理をステップS48に進める。
ステップS43においては、倍率を決定する。距離L2を距離L1で除算した値を倍率に決定する。次のステップS44においては、倍率が1よい大きいか否かを判断する。倍率が1より大きければ処理をステップS44に進めるが、そうでなければ処理をステップS45に進める。
ステップS44においては、ジェスチャーイベントをピンチアウトに決定し、処理をステップS46に進める。ステップS45においては、ジェスチャーイベントをピンチインに決定し、処理をステップS46に進める。
ステップS46においては、決定されたジェスチャーイベントに対応する処理が、HDD115に記憶されているマスターテーブル99によって定義されているか否かを判断する。ジェスチャーイベントに対応する処理が定義されていれば処理をステップS47に進めるが、そうでなければステップS47をスキップして処理をステップS48に進める。ステップS47においては、ステップS44において決定されたジェスチャー識別情報「ピンチアウト」のジェスチャーイベント、または、ステップS45において決定されたジェスチャー識別情報「ピンチイン」のジェスチャーイベントを出力する。
ステップS48においては、2点の移動方向が同じか否かを判断する。2つのジェスチャーイベントそれぞれに含まれる位置情報で特定される位置が移動する方向を比較する。具体的には、ステップS32において記憶された開始位置で特定される2つの位置の一方から、検出された2つのマウスイベントのうち対応する一方に含まれる位置情報で特定される位置に向かう方向を、一方の移動方向として算出する。また、ステップS32において記憶された開始位置で特定される2つの位置の他方から、検出された2つのマウスイベントのうち対応する他方に含まれる位置情報で特定される位置に向かう方向を他方の移動方向として算出する。算出された両方向が同じならば処理をステップS49に進めるが、そうでなければ処理をステップS53に進める。
ステップS49においては、指示方向を決定する。ステップS48において算出された移動方向を指示方向に決定する。ステップS50は、ジェスチャーイベントをダブルフリックに決定し、処理をステップS51に進める。ステップS51においては、決定されたジェスチャーイベントに対応する処理が、HDD115に記憶されているマスターテーブル99によって定義されているか否かを判断する。ジェスチャーイベントに対応する処理が定義されていれば処理をステップS52に進めるが、そうでなければステップS52をスキップして処理をステップS53に進める。ステップS52においては、ステップS50において決定されたジェスチャー識別情報「ダブルフリック」のジェスチャーイベントを出力する。
ステップS53においては、ジェスチャーイベントを出力したか否かを判断する。ステップS39、ステップS47、ステップS52の少なくとも1つが実行されたならばジェスチャーイベントを出力したと判断する。少なくとも1つのジェスチャーイベントを出力したならば処理をジェスチャーイベント検出処理に戻し、そうでなければ処理をステップS54に進める。ステップS54においては、未決定信号を出力し、処理をジェスチャーイベント検出処理に戻す。
図9は、コンテンツ表示処理の流れの一例を示すフローチャートである。コンテンツ表示処理は、MFP100が備えるCPU111が、ROM113、HDD115またはCD−ROM118に記憶されたコンテンツ表示プログラムを実行することにより、CPU111により実行される処理である。図9を参照して、CPU111は、コンテンツを取得する(ステップS61)。たとえば、コンテンツが、外部のWebサーバーに記憶されたWebページの場合、通信I/F部112を制御してWebサーバーからWebページを受信する。また、また、コンテンツがHDD116に記憶されたアプリケーションデータまたは画像データの場合、HDD116からアプリケーションデータまたは画像データを読み出す。
ステップS62においては、表示対象ページを決定する。ステップS51において取得されたコンテンツが複数ページならば最初の第1ページを表示対象ページに決定し、コンテンツが単一のページならばコンテンツの全体を表示対象ページに決定する。ステップS63においては、表示部分を決定する。表示対象ページの少なくとも一部を表示部分に決定する。ここでは、表示対象ページの全部を表示部分に決定する場合を例に説明する。
次のステップS64においては、ステップS62において決定された表示対象ページの表示部分に対応する表示用画像を生成する。そして、生成された表示用画像を表示部161に表示し(ステップS65)、処理をステップS66に進める。表示部161のVRAMに表示用画像を格納することによって、表示用画像を表示部161に表示する。
ステップS66においては、状態情報を記憶する。状態情報は、表示対象ページのページ番号、表示部分のページ中の位置およびサイズを含む。次のステップS67においては、スクロール不可フラグをOFFに設定する。そして、ジェスチャーベントが決定されたか否かを判断する(ステップS68)。上述したジェスチャーイベント決定処理において、ジェスチャーイベントが出力される場合にジェスチャーイベントが決定されたと判断する。ジェスチャーイベントが決定されるまで待機状態となり(ステップS68でNO)、ジェスチャーイベントが決定されたならば(ステップS68でYES)、処理をステップS69に進める。
ステップS69においては、ジェスチャー期間開始時を設定する。その時の時刻をジェスチャー期間開始時に設定する。そして、表示用画像更新処理を実行し(ステップS70)、処理をステップS71に進める。表示用画像更新処理の詳細は後述するが、ステップS68または、ステップS71において検出されたジェスチャーイベントに基づいて表示用画像を更新する処理である。
ステップS71においては、ジェスチャーベントが決定されたか否かを判断する。ジェスチャーイベントが決定されたならば処理をステップS70に戻すが、そうでなければ処理をステップS72に進める。ステップS72においては、未決定信号を検出したか否かを判断する。上述したジェスチャーイベント決定処理において出力される未決定信号を検出する。未決定信号を検出したならば処理をステップS73に進めるが、そうでなければ処理をステップS71に戻す。
ステップS73においては、ジェスチャー期間終了時を設定する。その時の時刻をジェスチャー期間終了時に設定する。そして、優先表示処理(ステップS74)および特定状態ページ切換処理(ステップS75)を実行し、処理をステップS76に進める。優先表示処理および特定状態ページ切換処理の詳細は後述する。ステップS76においては、コンテンツの表示を終了する指示を受け付けたか否かを判断する。例えば、ハードキー部167に含まれる複数のキーのうち、コンテンツ表示プログラムを終了する指示が割り当てられたキーが指示されたならばコンテンツの表示を終了する指示を受け付ける。コンテンツンの表示を終了する指示を受け付けたならば処理を終了するが、そうでなければ処理をステップS66に戻す。
図10は、表示用画像更新処理の流れの一例を示すフローチャートである。表示用画像更新処理は、図9に示したコンテンツ表示処理のステップS70において実行される処理である。図9において、ステップS70が実行される前の段階で、表示対象ページ、表示部分が決定されており、ジェスチャーイベントが検出されている。図10を参照して、CPU111は、検出されたジェスチャーイベントが、ピンチアウトまたはピンチインのジェスチャーイベントか否かを判断する(ステップS81)。ジェスチャー識別情報「ピンチアウト」のジェスチャーイベントまたはジェスチャー識別情報「ピンチイン」のジェスチャーイベントが検出された場合は、処理をステップS82に進めるが、そうでなければ処理をステップS83に進める。ステップS82においては、表示部分を変更するための倍率を設定する。ジェスチャーイベントにパラメータとして含まれる倍率を、表示部分を変更するための倍率に設定する。
ステップS83においては、検出されたジェスチャーイベントが、ローテーションか否かを判断する。ジェスチャー識別情報「ローテーション」のジェスチャーイベントが検出された場合は、処理をステップS84に進めるが、そうでなければ処理をステップS86に進める。ステップS84においては、回転方向および回転角度を取得する。ジェスチャーイベントにパラメータとして含まれる回転方向および回転角度を取得する。次のステップS85においては、取得された回転方向および回転角度を、表示用画像を生成するための回転方向および回転角度に設定し、処理をステップS86に進める。
ステップS86においては、検出されたジェスチャーイベントが、フリックまたはダブルフリックのジェスチャーイベントか否かを判断する。ジェスチャー識別情報「フリック」のジェスチャーイベントまたはジェスチャー識別情報「ダブルフリック」のジェスチャーイベントが検出された場合は、処理をステップS87に進めるが、そうでなければ処理をステップS92に進める。ステップS87においては、スクロール方向および距離を取得する。ジェスチャーイベントにパラメータとして含まれる方向および移動距離を取得する。次のステップS88においては、表示部分を変更可能か否かを判断する。具体的には、表示部分を、ステップS87において取得された方向に取得された移動距離だけ平行移動可能か否かを判断する。表示対象ページにおいて、平行移動させる前の表示部分が配置されている領域に対して、ステップS87で取得された方向に取得された移動距離の幅の領域が存在すれば、表示部分を変更可能と判断する。表示部分を変更可能と判断すれば処理をステップS89に進めるが、そうでなければ処理をステップS90に進める。
ステップS89においては、ステップS87において取得された方向および移動距離を、表示部分を変更するためのスクロール方向および移動距離に設定し、処理をステップS92に進める。一方、ステップS90においては、スクロール不可フラグをONに設定し、処理をステップS91に進める。ステップS91においては、ステップS87において取得された方向を、スクロール方向としてRAM114に記憶し、処理をステップS92に進める。
ステップS92においては、検出されたジェスチャーイベントが、スワイプか否かを判断する。ジェスチャー識別情報「スワイプ」のジェスチャーイベントが検出された場合は、処理をステップS93に進めるが、そうでなければ処理をステップS94に進める。ステップS93においては、ページ送り方向を設定し、処理をステップS94に進める。する。ジェスチャーイベントにパラメータとして含まれる方向に基づいて、ページ送り方向を決定する。方向が「上」または「左」を示すならば前のページを示すページ送り方向に決定し、方向が「下」または「右」を示すならば後のページを示すページ送り方向に決定する。
ステップS94においては、表示部分を変更する。ジェスチャー期間開始時の表示部分を、状態情報から特定し、特定した表示部分を、ステップS82において設定された倍率、ステップS89において設定されたスクロール方向および移動距離、ステップS93において設定されたページ送り方向に基づいて、変更する。状態情報は、表示対象ページを特定するページ番号と、表示部分の位置と、表示部分のサイズと、を含む。
ステップS93が実行され、ページ送り方向が設定されている場合には、表示対象ページのページ番号をページ送り方向で定まるページのページ番号に変更する。ページ送り方向が前のページを示すならば前のページのページ番号に変更する。なお、状態情報で定まるページ番号のページが先頭ページの場合は、最終のページのページ番号に変更する。ページ送り方向が後のページを示すならば後のページのページ番号に変更する。なお、状態情報で定まるページ番号のページが最終ページの場合は、先頭の第1ページのページ番号に変更する。
ステップS82が実行され、倍率が設定されている場合には、表示部分のサイズを倍率で定まるサイズに変更する。ステップS89が実行されてスクロール方向および移動距離が設定されている場合には、表示部分の位置をスクロール方向で定める方向に、移動距離だけ平行移動した位置に変更する。
ステップS95においては、表示用画像を生成する。コンテンツ中で、ステップS95において変更された後の表示部分に相当する部分の画像を表示用画像として生成する。ステップS85が実行され、回転方向および回転角度が設定されている場合には、表示部分の方向を回転方向に回転角度だけ回転さたた画像を表示用画像とする。回転角度を所定の範囲ごとに分類し、表示部分を回転させる角度を分類された範囲ごとに予め定めておき、回転角度が属する範囲に対して定められた角度だけ回転させるようにしてもよい。たとえば、回転角度が0度より大きく30度以下の範囲に表示部分を回転させる角度として90度を定め、回転角度が30度より大きく60度以下の範囲に表示部分を回転させる角度として180度を定めるようにする。そして、回転角度が0度より大きく30度以下の範囲に属する場合に、表示部分を90度だけ回転させた画像を表示用画像とし、回転角度が30度より大きく60度以下の範囲に属する場合に、表示部分を180度だけ回転させた画像を表示用画像とする。
ステップS96においては、生成された表示用画像を、表示部161に表示し、処理をコンテンツ表示処理に戻す。
図11は、優先表示処理の流れの一例を示すフローチャートである。優先表示処理は、図9に示したコンテンツ表示処理のステップS74において実行される処理である。図11を参照して、CPU111は、ジェスチャー期間にローテーション操作が存在したか否かを判断する(ステップS101)。ジェスチャー期間にジェスチャー識別情報「ローテーション」のジェスチャーイベントが検出されていたならばローテーション操作が存在したと判断する。ローテーション操作が存在したならば処理をステップS102に進めるが、そうでなければ処理をコンテンツ表示処理に戻す。
ステップS102においては、ジェスチャー期間にピンチアウト操作またはピンチイン操作が存在したか否かを判断する。ジェスチャー期間にジェスチャー識別情報「ピンチアウト」のジェスチャーイベントが検出されていたならばピンチアウト操作が存在したと判断する。ジェスチャー期間にジェスチャー識別情報「ピンチイン」のジェスチャーイベントが検出されていたならばピンチイン操作が存在したと判断する。ジェスチャー期間にピンチアウト操作またはピンチイン操作の少なくとも一方が存在したならば処理をステップS103に進めるが、ピンチアウト操作またはピンチイン操作のいずれも存在しなければ処理をコンテンツ表示処理に戻す。
ステップS103においては、状態情報から表示部分を特定する。ジェスチャー期間開始時の表示部分および倍率に基づいて表示用画像を生成するためである。次のステップS104においては、回転方向および回転角度を設定する。ジェスチャー期間に最後に検出されたジェスチャー識別情報「ローテーション」のジェスチャーイベントにパラメータとして含まれる回転方向および回転角度を、表示用画像を生成するための回転方向および回転角度に設定する。
ステップS105においては、ステップS103において特定された表示部分、およびステップS104において設定された回転方向に回転角度に基づいて、表示用画像を生成する。具体的には、ステップS103において特定された表示部分の画像を、ステップS104において設定された回転方向に回転角度だけ回転させた画像を表示用画像に設定する。なお、回転角度を所定の範囲ごとに分類し、表示部分を回転させる角度を分類された範囲ごとに予め定めておき、回転角度が属する範囲に対して定められた角度だけ回転させるようにしてもよい。たとえば、回転角度が0度より大きく30度以下の範囲に表示部分を回転させる角度として90度を定め、回転角度が30度より大きく60度以下の範囲に表示部分を回転させる角度として180度を定めるようにする。そして、回転角度が0度より大きく30度以下の範囲に属する場合に、表示部分を90度だけ回転させ、回転角度が30度より大きく60度以下の範囲に属する場合に、表示部分を180度だけ回転させる。
次のステップS105においては、生成された表示用画像を、表示部161に表示し、処理をコンテンツ表示処理に戻す。
図12は、特定状態ページ切換処理の流れの一例を示すフローチャートである。特定状態ページ切換処理は、図9に示したコンテンツ表示処理のステップS75において実行される処理である。図12を参照して、CPU111は、スクロール不可フラグがONに設定されているか否かを判断する(ステップS111)。スクロール不可フラグは、図9に示したコンテンツ表示処理のステップS67において、ジェスチャー期間開始時の初期値としてOFFに設定され、図10に示した表示用画像更新処理のステップS90において、スクロールすることができない場合にONに設定される。スクロール不可フラグがONに設定されているならば処理をステップS112に進めるが、そうでなければ処理をコンテンツ表示処理に戻す。
ステップS112においては、RAM114に記憶されたスクロール方向からページ送り方向を決定する。スクロール方向は、図10に示した表示用画像更新処理のステップS91において、スクロールすることができない場合にRAM114に記憶されている。スクロール方向が「上」または「左」を示すならば前のページを示すページ送り方向に決定し、スクロール方向が「下」または「右」を示すならば後のページを示すページ送り方向に決定する。
次のステップS113においては、表示対象ページを変更する。表示対象ページのページ番号をページ送り方向で定めるページのページ番号に変更する。ページ送り方向が前のページを示すならば前のページのページ番号に変更する。なお、状態情報で定まるページ番号のページが先頭ページの場合は、最終のページのページ番号に変更する。ページ送り方向が後のページを示すならば後のページのページ番号に変更する。なお、状態情報で定まるページ番号のページが最終ページの場合は、先頭の第1ページのページ番号に変更する。
次のステップS114においては、表示部分を決定する。表示部分は、ページに対して予め定められた部分としてもよいし、表示対象ページを変更する前に定まっている表示部分の位置およびサイズで定めるようにしてもよい。
次のステップS115においては、表示用画像を生成する。コンテンツ中で、ステップS113において変更された後の表示対象ページの表示部分に相当する部分の画像を表示用画像として生成する。そして、生成された表示用画像を、表示部161に表示し(ステップS116)、処理をコンテンツ表示処理に戻す。
次に、優先表示処理が実行される場合について、表示部161に表示される画面を用いて説明する。図13は、画面の一例を示す第1の図である。図13を参照して、画面301は、表示用画像303を含む。表示用画像303は、アプリケーションデータの1ページの全体の画像としている。図13に示す画面301が表示部161に表示されている状態で、表示用画像303の方向を右方向に90度回転させるためには、ユーザーは、ローテーション操作を入力すればよい。具体的には、ユーザーが親指と人差し指とをタッチパネルに同時に触れ、親指が触れている位置を中心に人差し指が触れている位置を時計回りに回転させるように円弧を描く操作をすればよい。しかしながら、ローテーション操作を入力している途中で、親指が触れている位置と人差し指が触れている位置との間の距離が短くなる場合がある。この場合におけるユーザーの操作は、MFP100によって、ローテーション操作およびピンチイン操作として受け付けられる。
図14は、画面の一例を示す第2の図である。図14に示す画面301Aは、図13に示した画面301が表示されている状態で、ユーザーによる操作としてローテーション操作とピンチイン操作とを受け付けて、それらの両方に対応する処理を実行した場合に表示される画面を示す。図14を参照して、画面301Aは、表示用画像303Aを含む。表示用画像303Aは、図13に示した画面301に含まれる表示用画面303を、時計方向に90度回転し、サイズを50%に縮小した画像である。
本実施の形態におけるMFP100は、1つのジェスチャー期間においてローテーション操作とピンチイン操作とを受け付ける場合、ジェスチャー期間が終了した時点で、ローテーション操作を受け付け、ピンチイン操作を受け付けなかったものとして表示用画像を表示する。そのため、途中の画像である図14は、必ずしも表示させる必要はなく、図13に示す画面から直接、後述する図15に示す画面を表示するようにしてもよい。その方が、画面のちらつきが少なくなる場合がある。
図15は、画面の一例を示す第3の図である。図15に示す画面301Bは、図13に示した画面301が表示されている状態で、ユーザーによる操作としてローテーション操作とピンチイン操作とを受け付けた後、ユーザーが操作を終了した後に、表示される画面を示す。図15を参照して、画面301Bは、表示用画像303Bを含む。表示用画像303Bは、図13に示した画面301に含まれる表示用画像303を、時計方向に90度回転した画像である。表示用画像303Bは、表示用画像303とサイズは同じである。
なお、本実施の形態においては、ジェスチャー期間中に、ローテーション操作と、ピンチイン操作またはピンチアウト操作とを受け付ける場合、ジェスチャー期間中は表示部分を変更するとともに変更後の表示部の方向を変更した表示用画像を表示するようにしたが、ジェスチャー期間が開始されてからローテーション操作に対応するジェスチャー識別情報「ローテーション」のジェスチャーイベントが決定された後は、ピンチイン操作またはピンチアウト操作に対応するジェスチャー識別情報「ピンチイン」または「ピンチアウトのジェスチャーイベントに基づいて表示部分を変更しないようにしてもよい。これにより、ローテーション操作がピンチイン操作またはピンチアウト操作よりも優先されることをユーザーに通知することができる。
次に、特定状態ページ切換処理が実行される場合について、表示部161に表示される画面を用いて説明する。図16は、画面の一例を示す第4の図である。図16を参照して、画面311は、表示用画像313を含む。表示用画像313は、アプリケーションデータの第1ページの下方の一部の画像としている。図16に示す画面311が表示部161に表示されている状態において、ユーザーが指315でタッチパネルに触れた位置を図面矢印方向に移動させる下方向のスクロール操作を入力する場合、MFP100はスクロール操作を受け付ける。しかしながら、表示用画像313はアプリケーションデータの第1ページの下方の一部なので、下方向にスクロールすることはできない。このため、MFP100は、スクロール操作を受け付けたけれどもスクロールすることができない場合には、スクロール方向に対応する方向にページを切り換え、図17に示す画面を表示する。
図17は、画面の一例を示す第5の図である。図17を参照して、画面311Aは、表示用画像313Aを含む。表示用画像313Aは、アプリケーションデータの第2ページの上方の一部の画像としている。
以上説明したように、本実施の形態におけるMFP100は、データ処理装置として機能し、コンテンツの少なくとも一部の表示部分を表示する。そして、ユーザーがタッチパネル165に指を触れて指示すれば、ジェスチャー開始時点における表示部分を特定するための状態情報を一時記憶し、ジェスチャー期間中に表示部分を変化させる処理に対応する第1ジェスチャーイベントと、表示部分を変化させない第2ジェスチャーイベントとが決定される場合、第2ジェスチャーイベントに基づいて、記憶された状態情報で特定される表示部分を表示するための表示用画像を生成し、表示する。ここでの、第1ジェスチャーイベントは、ユーザーによりフリック操作、ダブルフリック操作、ピンチアウト操作、ピンチイン操作およびスワイプ操作によって決定される。また、第2ジェスチャーイベントは、ユーザーによるローテーション操作によって決定される。このため、ジェスチャー期間中に第2ジェスチャーイベントに基づく表示用画像を生成する処理が、第1ジェスチャーイベントに基づく表示用画像を生成する処理よりも優先するので、ユーザーによる1つの操作を1つの処理に対応させることができる。
また、MFP100は、第1ジェスチャーイベントを決定する場合はコンテンツ中の表示部分を変更した表示用画像を生成して表示し、第2ジェスチャーイベントを決定する場合は表示部分の方向を変更した表示用画像を生成して表示する。コンテンツ中の表示部分を変更するよりも、表示部分の方向を変更することが優先されるので、ユーザーは、表示部分を変更することなく表示部分の方向を変更する操作を容易に入力することができる。
また、ジェスチャー期間中は、コンテンツ中の表示部分を変更するとともに、表示部分の方向を変更した表示用画像を表示するが、ジェスチャー期間が終了すると、表示部分の方向を変更した表示用画像を表示する。このため、ユーザーは、表示用画像を確認しながら操作を継続することができる。
また、ジェスチャー期間が開始されてから第2ジェスチャーイベントが決定された後は、表示部分を変更しない。このため、第2ジェスチャーイベントが第1ジェスチャーイベントよりも優先されることをユーザーに通知することができる。
さらに、ピンチイン操作またはピンチアウト操作が受け付けられると第1ジェスチャーイベントを検出し、表示部分のサイズを変更し、スワイプ操作が受け付けられると第1ジェスチャーイベントを検出し、表示部分のコンテンツ中の位置を変更する。このため表示用画像をコンテンツ中の部分を拡大または縮小した画像、または、コンテンツ中の任意の部分の画像に変更することができる。
さらに、同時に2つの位置が検出される場合、所定時間間隔で検出される2つの位置の間の距離が変化するピンチイン操作またはピンチアウト操作、または、2つの位置それぞれの移動方向の差が所定の範囲内のダブルフリック操作が受け付けられると第1ジェスチャーイベントを決定し、同時に2つの位置が検出され、所定時間間隔で検出される2つの位置を通る直線の傾きが所定の角度変化するローテーション操作が受け付けられると第2ジェスチャーイベントを決定する。このため、ユーザーは、2本の指で複数種類の操作を入力することができる。
また、スワイプ操作に対応するジェスチャーイベントが決定される場合、ページを切り換え、フリック操作またはダブルフリック操作に対応するジェスチャーイベントが決定される場合、ページ内で表示部分を変更し、フリック操作またはダブルフリック操作に対応するジェスチャーイベントが決定される場合において、ページ内で表示部分を変更できない場合、ページを切り換える。このため、ページ内で表示部分を変更できない場合に、ユーザーが、フリック操作またはダブルフリック操作を入力する場合にページを切り換えるので、ユーザーは、改めてスワイプ操作を入力し直す必要がない。その結果、ユーザーによる操作を簡略にすることができる。
また、ジェスチャー開始時点において表示対象となるページ内で表示部分の変更が可能であっても、ジェスチャー終了時点までに表示部分の変更ができない期間が存在する場合、ジェスチャー終了時点で、ページを切り換える。このため、ジェスチャー期間終了時に、別のページの表示部分の表示用画像を表示することができる。
また、ジェスチャー期間において、フリック操作またはダブルフリック操作に対応するジェスチャーイベントが決定されるごとに、表示対象となるページ内で表示部分を変更できなくなるまで表示部分を変更する。このため、ジェスチャー期間においては、表示対象となるページ内で表示部分を変更して表示用画像を表示することができ、ユーザーが入力する1回の操作で、表示対象となるページ内で表示部分を変更した表示用画像と、ページを切り換えた後の表示部分の表示用画像とを表示することができる。
なお、上述した実施の形態においては、データ処理装置の一例としてMFP100について説明したが、図8〜図12に示した処理を、MFP100を制御するCPU111に実行させるコンテンツ表示方法、また、そのコンテンツ表示方法をCPU111に実行させるためのコンテンツ表示プログラムとして、発明を捉えることができるのは言うまでもない。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
<付記>
この発明のある局面によれば、データ処理装置は、画像を表示可能な表示手段と、表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、制御手段と、を備え、制御手段は、コンテンツに含まれる複数ページのうち表示対象となる1つのページの少なくとも一部の表示部分の画像を表示手段に表示するコンテンツ表示手段と、位置検出手段により1以上の位置が検出されることに応じて、1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定手段と、を含み、コンテンツ表示手段は、ジェスチャーイベント決定手段により決定された少なくとも1つのジェスチャーイベントに基づいて表示部分を表示するための表示用画像を生成する表示用画像生成手段と、生成された表示用画像を表示手段に表示する表示制御手段と、を含み、表示用画像生成手段は、ジェスチャーイベント決定手段により第1ジェスチャーイベントが決定される場合、表示対象となるページを別のページに変更するページ切換手段と、ジェスチャーイベント決定手段により第2ジェスチャーイベントが決定される場合、表示対象となるページ内で表示部分を変更するスクロール手段と、ジェスチャーイベント決定手段により第2ジェスチャーイベントが決定される場合において、スクロール手段による表示部分の変更ができない場合、表示対象となるページを別のページに変更する特定状態ページ切換手段と、を含む。
この局面に従えば、コンテンツの少なくとも一部の表示部分が表示され、第1ジェスチャーイベントが決定される場合、表示対象となるページを別のページに変更され、第2ジェスチャーイベントが決定される場合、表示対象となるページ内で表示部分が変更され、第2ジェスチャーイベントが決定される場合において、表示対象となるページ内で表示部分が変更できない場合、表示対象となるページが別のページに変更される。このため、第2ジェスチャーイベントが決定される場合に表示用画像を変更できない場合に、第1ジェスチャーイベントが決定される場合と同じ表示用画像を表示することができる。このため、ユーザーは、第1ジェスチャーイベントに対応する操作を改めて入力し直す必要がない。その結果、ユーザーによる誤操作を低減することが可能なデータ処理装置を提供することができる。
好ましくは、特定状態ページ切換手段は、位置検出手段により1以上の位置が連続して検出されるジェスチャー期間が開始するジェスチャー開始時点においてスクロール手段による表示部分の変更が可能であっても、ジェスチャー期間が終了するジェスチャー終了時点までにスクロール手段による表示部分の変更ができない期間が存在する場合、ジェスチャー終了時点で、表示対象となるページを別のページに変更する。
この局面に従えば、ジェスチャー開始時点において表示対象となるページ内で表示部分の変更が可能であっても、ジェスチャー終了時点までに表示対象となるページ内で表示部分の変更ができない期間が存在する場合、ジェスチャー終了時点で、表示対象となるページを別のページに変更する。このため、ジェスチャー開始時点において表示対象となるページ内で表示部分の変更が可能であっても、ジェスチャー期間終了時に、別のページの表示部分の表示用画像を表示することができる。その結果、表示部分を変更することができない場合に、ユーザーが、操作表示部分を変更する操作を入力した場合であっても、ページを切り換えた表示用画像を表示をすることができる。
好ましくは、スクロール手段は、ジェスチャー期間においては、ジェスチャーイベント決定手段により第2ジェスチャーイベントが決定されるごとに、表示対象となるページ内で表示部分を変更できなくなるまで表示部分を変更する。
この局面に従えば、ジェスチャー期間においては、第2ジェスチャーイベントが決定されるごとに、表示対象となるページ内で表示部分を変更できなくなるまで表示部分が変更される。このため、ジェスチャー期間においては、表示対象となるページ内で表示部分を変更して表示用画像を表示することができ、ユーザーが入力する1回の操作で、表示対象となるページ内で表示部分を変更した表示用画像と、ページを切り換えた後の表示部分の表示用画像とを表示することができる。
好ましくは、ジェスチャーイベント決定手段は、位置検出手段により検出される1つの位置が移動する速度がしきい値より小さい場合に第1ジェスチャーイベントを決定するフリック決定手段と、位置検出手段により検出される1つの位置が移動する速度がしきい値以上の場合に第2ジェスチャーイベントを決定するスワイプ決定手段と、を含む。
この局面に従えば、位置検出手段により検出される1つの位置が移動する速度がしきい値より小さい場合に第1ジェスチャーイベントが決定され、しきい値以上の場合に第2ジェスチャーイベントが決定される。このため、ユーザーは、指示する位置を移動する速度を異ならせるだけで、異なる操作を入力することができる。
この発明の他の局面によれば、コンテンツ表示方法は、データ処理装置で実行されるコンテンツ表示方法であって、データ処理装置は、画像を表示可能な表示手段と、表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、を備え、コンテンツに含まれる複数ページのうち表示対象となる1つのページの少なくとも一部の表示部分の画像を表示手段に表示するコンテンツ表示ステップと、位置検出手段により1以上の位置が検出されることに応じて、1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定ステップと、をデータ処理装置に実行させ、コンテンツ表示ステップは、ジェスチャーイベント決定ステップにおいて決定された少なくとも1つのジェスチャーイベントに基づいて表示部分を表示するための表示用画像を生成する表示用画像生成ステップと、生成された表示用画像を表示手段に表示する表示制御ステップと、を含み、表示用画像生成ステップは、ジェスチャーイベント決定ステップにおいて第1ジェスチャーイベントが決定される場合、表示対象となるページを別のページに変更するページ切換ステップと、ジェスチャーイベント決定ステップにおいて第2ジェスチャーイベントが決定される場合、表示対象となるページ内で表示部分を変更するスクロールステップと、ジェスチャーイベント決定ステップにおいて第2ジェスチャーイベントが決定される場合において、スクロールステップにおいて表示部分の変更ができない場合、表示対象となるページを別のページに変更する特定状態ページ切換ステップと、を含む。
この局面に従えば、ユーザーによる誤操作を低減することが可能なコンテンツ表示方法を提供することができる。
好ましくは、特定状態ページ切換ステップは、位置検出手段により1以上の位置が連続して検出されるジェスチャー期間が開始するジェスチャー開始時点においてスクロールステップにおいて表示部分の変更が可能であっても、ジェスチャー期間が終了するジェスチャー終了時点までにスクロールステップにおいて表示部分の変更ができない期間が存在する場合、ジェスチャー終了時点で、表示対象となるページを別のページに変更するステップを、含む。
好ましくは、スクロールステップは、ジェスチャー期間においては、ジェスチャーイベント決定ステップにおいて第2ジェスチャーイベントが決定されるごとに、表示対象となるページ内で表示部分を変更できなくなるまで表示部分を変更するステップを含む。
好ましくは、ジェスチャーイベント決定ステップは、位置検出手段により検出される1つの位置が移動する速度がしきい値より小さい場合に第1ジェスチャーイベントを決定するフリック決定ステップと、位置検出手段により検出される1つの位置が移動する速度がしきい値以上の場合に第2ジェスチャーイベントを決定するスワイプ決定ステップと、を含む。
この発明の他の局面によれば、コンテンツ表示プログラムは、データ処理装置を制御するコンピューターで実行されるコンテンツ表示プログラムであって、データ処理装置は、画像を表示可能な表示手段と、表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、を備え、コンテンツに含まれる複数ページのうち表示対象となる1つのページの少なくとも一部の表示部分の画像を表示手段に表示するコンテンツ表示ステップと、位置検出手段により1以上の位置が検出されることに応じて、1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定ステップと、をコンピューターに実行させ、コンテンツ表示ステップは、ジェスチャーイベント決定ステップにおいて決定された少なくとも1つのジェスチャーイベントに基づいて表示部分を表示するための表示用画像を生成する表示用画像生成ステップと、生成された表示用画像を表示手段に表示する表示制御ステップと、を含み、表示用画像生成ステップは、ジェスチャーイベント決定ステップにおいて第1ジェスチャーイベントが決定される場合、表示対象となるページを別のページに変更するページ切換ステップと、ジェスチャーイベント決定ステップにおいて第2ジェスチャーイベントが決定される場合、表示対象となるページ内で表示部分を変更するスクロールステップと、ジェスチャーイベント決定ステップにおいて第2ジェスチャーイベントが決定される場合において、スクロールステップにおいて表示部分の変更ができない場合、表示対象となるページを別のページに変更する特定状態ページ切換ステップと、を含む。
この局面に従えば、ユーザーによる誤操作を低減することが可能なコンテンツ表示プログラムを提供することができる。
100 MFP、51 コンテンツ表示部、53 調停部、55 操作変換部、57 オペレーティング部、61 コンテンツ取得部、63 ジェスチャー期間検出部、65 表示用画像生成部、67 表示制御部、71 表示対象変更部、73 表示方向変更部、75 状態記憶部、77 優先表示部、81 変倍部、83 ページ切換部、85 スクロール部、86 特定状態ページ切換部、91 関連付部、93 ジェスチャーイベント決定部、95 マウスイベント生成部、97 表示部制御部、99 マスターテーブル、110 メイン回路、111 CPU、112 通信I/F部、113 ROM、114 RAM、115 HDD、116 ファクシミリ部、117 外部記憶装置、120 自動原稿搬送装置、130 原稿読取部、140 画像形成部、150 給紙部、160 操作パネル、161 表示部、163 操作部、165 タッチパネル、167 ハードキー部。

Claims (17)

  1. 画像を表示可能な表示手段と、
    前記表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、
    制御手段と、を備え、
    前記制御手段は、コンテンツの少なくとも一部の表示部分を前記表示手段に表示するコンテンツ表示手段と、
    前記位置検出手段により1以上の位置が検出されることに応じて、前記1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定手段と、を含み、
    前記コンテンツ表示手段は、前記ジェスチャーイベント決定手段により決定された少なくとも1つのジェスチャーイベントに基づいて前記表示部分を表示するための表示用画像を生成する表示用画像生成手段と、
    前記生成された表示用画像を前記表示手段に表示する表示制御手段と、を含み、
    前記表示用画像生成手段は、前記位置検出手段により1以上の位置が連続して検出されるジェスチャー期間が開始するジェスチャー開始時点における前記表示部分を特定するための状態情報を一時記憶する状態記憶手段と、
    前記ジェスチャーイベント決定手段によって前記ジェスチャー期間中に前記表示部分を変化させない第2ジェスチャーイベントが決定される場合、前記表示部分を変化させる処理に対応する第1ジェスチャーイベントの何れが当該ジェスチャー期間中に決定されても、前記ジェスチャー期間終了時点において、前記第1ジェスチャーイベントに基づく表示用画像は生成することなく、前記第2ジェスチャーイベントに基づいて前記記憶された前記状態情報で特定される表示部分を表示するための表示用画像を生成する優先表示手段と、を含む、データ処理装置。
  2. 前記表示用画像生成手段は、前記ジェスチャーイベント決定手段により前記第1ジェスチャーイベントが決定される場合、前記コンテンツ中の表示部分を変更する表示対象変更手段と、
    前記ジェスチャーイベント決定手段により第2ジェスチャーイベントが決定される場合、前記表示部分の方向を変更した表示用画像を生成する表示方向変更手段と、をさらに含む、請求項1に記載のデータ処理装置。
  3. 前記表示対象変更手段は、前記第1ジェスチャーイベントが決定されるごとに、前記表示部分を変更し、
    前記表示方向変更手段は、前記第2ジェスチャーイベントが決定されるごとに、前記表示部分の方向を変更した表示用画像を生成し、
    前記優先表示手段は、前記ジェスチャー期間が終了するジェスチャー終了時点において、前記ジェスチャー期間に決定された前記第1ジェスチャーイベントに基づく表示用画像は生成することなく、前記ジェスチャー期間に決定された前記第2ジェスチャーイベントに基づいて前記記憶された前記表示部分を表示するための表示用画像を生成する、請求項2に記載のデータ処理装置。
  4. 前記表示対象変更手段は、前記ジェスチャー期間が開始されてから前記第2ジェスチャーイベントが決定された後は、前記表示部分を変更しない、請求項3に記載のデータ処理装置。
  5. 前記表示対象変更手段は、前記表示部分のサイズを変更する変倍手段と、
    前記コンテンツ中の位置を変更するスクロール手段と、を含む、請求項2〜4のいずれかに記載のデータ処理装置。
  6. 前記ジェスチャーイベント決定手段は、前記位置検出手段により同時に2つの位置が検出され、所定時間間隔で検出される2つの位置の間の距離が変化する場合、または、2つの位置それぞれの移動方向の差が所定の範囲内の場合、前記第1ジェスチャーイベントを決定し、
    前記位置検出手段により同時に2つの位置が検出され、所定時間間隔で検出される2つの位置を通る直線の傾きが所定の角度変化する場合、前記第2ジェスチャーイベントを決定する、請求項1〜5のいずれかに記載のデータ処理装置。
  7. 前記ジェスチャー期間は、前記1以上の位置が連続して移動することが検出される期間である、請求項1〜6のいずれかに記載のデータ処理装置。
  8. 前記優先表示手段は、前記第1ジェスチャーイベントに基づく表示用画像生成は行わない、請求項1〜7のいずれかに記載のデータ処理装置。
  9. 前記優先表示手段は、前記ジェスチャーイベント決定手段によって前記ジェスチャー期間中に前記第2ジェスチャーイベントが決定される場合、前記第2ジェスチャーイベントのみに基づいて前記記憶された前記状態情報で特定される表示部分を表示するための表示用画像を生成する、請求項1〜8のいずれかに記載のデータ処理装置。
  10. 画像を表示可能な表示手段と、
    前記表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、
    制御手段と、を備え、
    前記制御手段は、コンテンツの少なくとも一部の表示部分を前記表示手段に表示するコンテンツ表示手段と、
    前記位置検出手段により1以上の位置が検出されることに応じて、前記1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定手段と、を含み、
    前記コンテンツ表示手段は、前記ジェスチャーイベント決定手段により決定された少なくとも1つのジェスチャーイベントに基づいて前記表示部分を表示するための表示用画像を生成する表示用画像生成手段と、
    前記生成された表示用画像を前記表示手段に表示する表示制御手段と、を含み、
    前記表示用画像生成手段は、前記位置検出手段により1以上の位置が連続して検出されるジェスチャー期間が開始するジェスチャー開始時点における前記表示部分を特定するための状態情報を一時記憶する状態記憶手段と、
    前記ジェスチャーイベント決定手段によって前記ジェスチャー期間中に前記表示部分を回転させるためのジェスチャーイベントが決定される場合、前記表示部分を回転させるためのジェスチャーイベント以外のジェスチャーイベントの何れが当該ジェスチャー期間中に決定されても、前記ジェスチャー期間終了時点において、前記表示部分を回転させるためのジェスチャーイベント以外のジェスチャーイベントに基づく表示用画像は生成することなく、前記表示部分を回転させるためのジェスチャーイベントに基づいて前記記憶された前記状態情報で特定される表示部分を表示するための表示用画像を生成する優先表示手段と、を含む、データ処理装置。
  11. 画像を表示可能な表示手段と、
    前記表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、
    制御手段と、を備え、
    前記制御手段は、コンテンツの画像を前記表示手段に表示するコンテンツ表示手段と、
    前記位置検出手段により1以上の位置が検出されることに応じて、前記1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定手段と、を含み、
    前記コンテンツ表示手段は、前記ジェスチャーイベント決定手段により決定された少なくとも1つのジェスチャーイベントに基づいて前記コンテンツを表示するための表示用画像を生成する表示用画像生成手段と、
    前記生成された表示用画像を前記表示手段に表示する表示制御手段と、を含み、
    前記表示用画像生成手段は、前記位置検出手段により1以上の位置が連続して検出されるジェスチャー期間が開始するジェスチャー開始時点における前記表示用画像の倍率を一時記憶する一時記憶手段と、
    前記ジェスチャーイベント決定手段によって2以上のジェスチャーイベントが決定され、かつ、当該2以上のジェスチャーイベントが前記表示用画像の倍率を変更する処理に対応するジェスチャーイベントを含む場合、前記ジェスチャー期間が終了した時点で、前記表示用画像の倍率を前記一時記憶された倍率に変更する優先表示手段と、を含む、データ処理装置。
  12. データ処理装置で実行されるコンテンツ表示方法であって、
    前記データ処理装置は、画像を表示可能な表示手段と、
    前記表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、を備え、
    コンテンツの少なくとも一部の表示部分を前記表示手段に表示するコンテンツ表示ステップと、
    前記位置検出手段により1以上の位置が検出されることに応じて、前記1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定ステップと、を前記データ処理装置に実行させ、
    前記コンテンツ表示ステップは、前記ジェスチャーイベント決定ステップにおいて決定された少なくとも1つのジェスチャーイベントに基づいて前記表示部分を表示するための表示用画像を生成する表示用画像生成ステップと、
    前記生成された表示用画像を前記表示手段に表示する表示制御ステップと、を含み、
    前記表示用画像生成ステップは、前記位置検出手段により1以上の位置が連続して検出されるジェスチャー期間が開始するジェスチャー開始時点における前記表示部分を特定するための状態情報を一時記憶する状態記憶ステップと、
    前記ジェスチャーイベント決定ステップにおいて前記ジェスチャー期間中に前記表示部分を変化させない第2ジェスチャーイベントが決定される場合、前記表示部分を変化させる処理に対応する第1ジェスチャーイベントの何れが当該ジェスチャー期間中に決定されても、前記ジェスチャー期間終了時点において、前記第1ジェスチャーイベントに基づく表示用画像は生成することなく、前記第2ジェスチャーイベントに基づいて前記記憶された前記状態情報で特定される表示部分を表示するための表示用画像を生成する優先表示ステップと、を含む、コンテンツ表示方法。
  13. データ処理装置で実行されるコンテンツ表示方法であって、
    前記データ処理装置は、画像を表示可能な表示手段と、
    前記表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、を備え、
    コンテンツの少なくとも一部の表示部分を前記表示手段に表示するコンテンツ表示ステップと、
    前記位置検出手段により1以上の位置が検出されることに応じて、前記1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定ステップと、を前記データ処理装置に実行させ、
    前記コンテンツ表示ステップは、前記ジェスチャーイベント決定ステップにおいて決定された少なくとも1つのジェスチャーイベントに基づいて前記表示部分を表示するための表示用画像を生成する表示用画像生成ステップと、
    前記生成された表示用画像を前記表示手段に表示する表示制御ステップと、を含み、
    前記表示用画像生成ステップは、前記位置検出手段により1以上の位置が連続して検出されるジェスチャー期間が開始するジェスチャー開始時点における前記表示部分を特定するための状態情報を一時記憶する状態記憶ステップと、
    前記ジェスチャーイベント決定ステップにおいて前記ジェスチャー期間中に前記表示部分を回転させるためのジェスチャーイベントが決定される場合、前記表示部分を回転させるためのジェスチャーイベント以外のジェスチャーイベントの何れが当該ジェスチャー期間中に決定されても、前記ジェスチャー期間終了時点において、前記表示部分を回転させるためのジェスチャーイベント以外のジェスチャーイベントに基づく表示用画像は生成することなく、前記表示部分を回転させるためのジェスチャーイベントに基づいて前記記憶された前記状態情報で特定される表示部分を表示するための表示用画像を生成する優先表示ステップと、を含む、コンテンツ表示方法。
  14. データ処理装置で実行されるコンテンツ表示方法であって、
    前記データ処理装置は、画像を表示可能な表示手段と、
    前記表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、を備え、
    コンテンツの画像を前記表示手段に表示するコンテンツ表示ステップと、
    前記位置検出手段により1以上の位置が検出されることに応じて、前記1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定ステップと、を前記データ処理装置に実行させ、
    前記コンテンツ表示ステップは、前記ジェスチャーイベント決定ステップにおいて決定された少なくとも1つのジェスチャーイベントに基づいて前記コンテンツを表示するための表示用画像を生成する表示用画像生成ステップと、
    前記生成された表示用画像を前記表示手段に表示する表示制御ステップと、を含み、
    前記表示用画像生成ステップは、前記位置検出手段により1以上の位置が連続して検出されるジェスチャー期間が開始するジェスチャー開始時点における前記表示用画像の倍率を一時記憶する一時記憶ステップと、
    前記ジェスチャーイベント決定ステップにおいて2以上のジェスチャーイベントが決定され、かつ、当該2以上のジェスチャーイベントが前記表示用画像の倍率を変更する処理に対応するジェスチャーイベントを含む場合、前記ジェスチャー期間が終了した時点で、前記表示用画像の倍率を前記一時記憶された倍率に変更する優先表示ステップと、を含む、コンテンツ表示方法。
  15. データ処理装置を制御するコンピューターで実行されるコンテンツ表示プログラムであって、
    前記データ処理装置は、画像を表示可能な表示手段と、
    前記表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、を備え、
    コンテンツの少なくとも一部の表示部分を前記表示手段に表示するコンテンツ表示ステップと、
    前記位置検出手段により1以上の位置が検出されることに応じて、前記1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定ステップと、を前記コンピューターに実行させ、
    前記コンテンツ表示ステップは、前記ジェスチャーイベント決定ステップにおいて決定された少なくとも1つのジェスチャーイベントに基づいて前記表示部分を表示するための表示用画像を生成する表示用画像生成ステップと、
    前記生成された表示用画像を前記表示手段に表示する表示制御ステップと、を含み、
    前記表示用画像生成ステップは、前記位置検出手段により1以上の位置が連続して検出されるジェスチャー期間が開始するジェスチャー開始時点における前記表示部分を特定するための状態情報を一時記憶する状態記憶ステップと、
    前記ジェスチャーイベント決定ステップにおいて前記ジェスチャー期間中に前記表示部分を変化させない第2ジェスチャーイベントが決定される場合、前記表示部分を変化させる処理に対応する第1ジェスチャーイベントの何れが当該ジェスチャー期間中に決定されても、前記ジェスチャー期間終了時点において、前記第1ジェスチャーイベントに基づく表示用画像は生成することなく、前記第2ジェスチャーイベントに基づいて前記記憶された前記状態情報で特定される表示部分を表示するための表示用画像を生成する優先表示ステップと、を含む、コンテンツ表示プログラム。
  16. データ処理装置を制御するコンピューターで実行されるコンテンツ表示プログラムであって、
    前記データ処理装置は、画像を表示可能な表示手段と、
    前記表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、を備え、
    コンテンツの少なくとも一部の表示部分を前記表示手段に表示するコンテンツ表示ステップと、
    前記位置検出手段により1以上の位置が検出されることに応じて、前記1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定ステップと、を前記コンピューターに実行させ、
    前記コンテンツ表示ステップは、前記ジェスチャーイベント決定ステップにおいて決定された少なくとも1つのジェスチャーイベントに基づいて前記表示部分を表示するための表示用画像を生成する表示用画像生成ステップと、
    前記生成された表示用画像を前記表示手段に表示する表示制御ステップと、を含み、
    前記表示用画像生成ステップは、前記位置検出手段により1以上の位置が連続して検出されるジェスチャー期間が開始するジェスチャー開始時点における前記表示部分を特定するための状態情報を一時記憶する状態記憶ステップと、
    前記ジェスチャーイベント決定ステップにおいて前記ジェスチャー期間中に前記表示部分を回転させるためのジェスチャーイベントが決定される場合、前記表示部分を回転させるためのジェスチャーイベント以外のジェスチャーイベントの何れが当該ジェスチャー期間中に決定されても、前記ジェスチャー期間終了時点において、前記表示部分を回転させるためのジェスチャーイベント以外のジェスチャーイベントに基づく表示用画像は生成することなく、前記表示部分を回転させるためのジェスチャーイベントに基づいて前記記憶された前記状態情報で特定される表示部分を表示するための表示用画像を生成する優先表示ステップと、を含む、コンテンツ表示プログラム。
  17. データ処理装置を制御するコンピューターで実行されるコンテンツ表示プログラムであって、
    前記データ処理装置は、画像を表示可能な表示手段と、
    前記表示手段の表示面中で、ユーザーにより指示される1以上の位置を検出可能な位置検出手段と、を備え、
    コンテンツの画像を前記表示手段に表示するコンテンツ表示ステップと、
    前記位置検出手段により1以上の位置が検出されることに応じて、前記1以上の位置に基づいて、複数のジェスチャーイベントの少なくとも1つを決定するジェスチャーイベント決定ステップと、を前記コンピューターに実行させ、
    前記コンテンツ表示ステップは、前記ジェスチャーイベント決定ステップにおいて決定された少なくとも1つのジェスチャーイベントに基づいて前記コンテンツを表示するための表示用画像を生成する表示用画像生成ステップと、
    前記生成された表示用画像を前記表示手段に表示する表示制御ステップと、を含み、
    前記表示用画像生成ステップは、前記位置検出手段により1以上の位置が連続して検出されるジェスチャー期間が開始するジェスチャー開始時点における前記表示用画像の倍率を一時記憶する一時記憶ステップと、
    前記ジェスチャーイベント決定ステップにおいて2以上のジェスチャーイベントが決定され、かつ、当該2以上のジェスチャーイベントが前記表示用画像の倍率を変更する処理に対応するジェスチャーイベントを含む場合、前記ジェスチャー期間が終了した時点で、前記表示用画像の倍率を前記一時記憶された倍率に変更する優先表示ステップと、を含む、コンテンツ表示プログラム。
JP2013031448A 2013-02-20 2013-02-20 データ処理装置、コンテンツ表示方法およびコンテンツ表示プログラム Active JP5825277B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013031448A JP5825277B2 (ja) 2013-02-20 2013-02-20 データ処理装置、コンテンツ表示方法およびコンテンツ表示プログラム
US14/176,203 US9049323B2 (en) 2013-02-20 2014-02-10 Data processing apparatus, content displaying method, and non-transitory computer-readable recording medium encoded with content displaying program
EP14154622.6A EP2770420A1 (en) 2013-02-20 2014-02-11 Data processing apparatus, content displaying method, and computer-readable recording medium encoded with content displaying program
CN201410055906.3A CN103997585B (zh) 2013-02-20 2014-02-19 数据处理装置以及内容显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013031448A JP5825277B2 (ja) 2013-02-20 2013-02-20 データ処理装置、コンテンツ表示方法およびコンテンツ表示プログラム

Publications (2)

Publication Number Publication Date
JP2014160427A JP2014160427A (ja) 2014-09-04
JP5825277B2 true JP5825277B2 (ja) 2015-12-02

Family

ID=50150554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013031448A Active JP5825277B2 (ja) 2013-02-20 2013-02-20 データ処理装置、コンテンツ表示方法およびコンテンツ表示プログラム

Country Status (4)

Country Link
US (1) US9049323B2 (ja)
EP (1) EP2770420A1 (ja)
JP (1) JP5825277B2 (ja)
CN (1) CN103997585B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9268424B2 (en) 2012-07-18 2016-02-23 Sony Corporation Mobile client device, operation method, recording medium, and operation system
USD752135S1 (en) * 2013-05-29 2016-03-22 Konica Minolta, Inc. Electronic copying machine
USD752134S1 (en) * 2013-05-29 2016-03-22 Konica Minolta, Inc. Electronic copying machine
JP6676913B2 (ja) * 2015-09-30 2020-04-08 ブラザー工業株式会社 情報処理装置、および制御プログラム
CN105450471A (zh) * 2015-12-03 2016-03-30 四川长虹电器股份有限公司 一种监测Tomcat状态的方法和主服务器

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7743348B2 (en) 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
JP4632257B2 (ja) * 2006-06-07 2011-02-16 株式会社日立ソリューションズ 電子ボードシステム
JP2008070968A (ja) * 2006-09-12 2008-03-27 Funai Electric Co Ltd 表示処理装置
JP5596914B2 (ja) * 2008-09-16 2014-09-24 富士通株式会社 端末装置、表示制御方法、及び表示機能を備えたプログラム
KR20100083432A (ko) 2009-01-13 2010-07-22 엘지전자 주식회사 멀티 터치 입력 장치 및 방법
US9354795B2 (en) * 2009-04-29 2016-05-31 Lenovo (Singapore) Pte. Ltd Refining manual input interpretation on touch surfaces
JP2012203440A (ja) 2011-03-23 2012-10-22 Sony Corp 情報処理装置、情報処理方法、およびプログラム
CN202120246U (zh) * 2011-03-31 2012-01-18 比亚迪股份有限公司 多点旋转运动的识别装置
TWI467463B (zh) * 2011-05-27 2015-01-01 Asustek Comp Inc 具觸控式螢幕的電腦系統及其手勢的處理方法
JP5573793B2 (ja) * 2011-07-26 2014-08-20 コニカミノルタ株式会社 画像処理装置、制御方法、および制御プログラム

Also Published As

Publication number Publication date
US20140233059A1 (en) 2014-08-21
CN103997585B (zh) 2017-07-21
US9049323B2 (en) 2015-06-02
JP2014160427A (ja) 2014-09-04
EP2770420A1 (en) 2014-08-27
CN103997585A (zh) 2014-08-20

Similar Documents

Publication Publication Date Title
JP5772773B2 (ja) 画像処理装置、操作標準化方法および操作標準化プログラム
JP7342208B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
RU2610290C2 (ru) Устройство обработки информации, способ обработки информации и связанная с ними программа
JP5825277B2 (ja) データ処理装置、コンテンツ表示方法およびコンテンツ表示プログラム
JP5796562B2 (ja) データ処理装置、設定方法および設定プログラム
JP2010250510A (ja) 表示制御装置、表示制御方法およびコンピュータプログラム
JP6191567B2 (ja) 操作画面表示装置、画像形成装置および表示プログラム
US9785333B2 (en) Display device, image processing apparatus, non-transitory computer readable medium, and display control method
JP6131072B2 (ja) 表示制御装置
US9100519B2 (en) Data processing apparatus, content displaying method, and non-transitory computer-readable recording medium encoded with browsing program
JP5862549B2 (ja) データ処理装置、操作受付方法およびブラウジングプログラム
JP5958059B2 (ja) フリック操作を受け付ける装置、フリック操作受付方法およびフリック操作受付プログラム
JP6102325B2 (ja) データ処理装置、コンテンツ表示方法およびコンテンツ表示プログラム
JP2014106807A (ja) データ処理装置、操作受付方法およびブラウジングプログラム
JP6225625B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP6552156B2 (ja) データ処理装置、操作受付方法およびコンテンツ表示プログラム
JP2019204549A (ja) 表示装置及びプログラム
JP6112160B2 (ja) データ処理装置、設定方法および設定プログラム
JP6102593B2 (ja) 画像形成装置、アプリケーションプログラム生成方法およびアプリケーションプログラム生成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150928

R150 Certificate of patent or registration of utility model

Ref document number: 5825277

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150