JP5738494B2 - 情報表示装置および表示情報操作方法 - Google Patents

情報表示装置および表示情報操作方法 Download PDF

Info

Publication number
JP5738494B2
JP5738494B2 JP2014541846A JP2014541846A JP5738494B2 JP 5738494 B2 JP5738494 B2 JP 5738494B2 JP 2014541846 A JP2014541846 A JP 2014541846A JP 2014541846 A JP2014541846 A JP 2014541846A JP 5738494 B2 JP5738494 B2 JP 5738494B2
Authority
JP
Japan
Prior art keywords
display
gesture
icon
continuation icon
continuation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014541846A
Other languages
English (en)
Other versions
JPWO2014061097A1 (ja
Inventor
英一 有田
英一 有田
下谷 光生
光生 下谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP5738494B2 publication Critical patent/JP5738494B2/ja
Publication of JPWO2014061097A1 publication Critical patent/JPWO2014061097A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3664Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • G09B29/006Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G09B29/007Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes using computer methods
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ecology (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報表示装置および表示情報操作方法に関する。
下記特許文献1,2には、タッチパネルを利用した機器が開示されている。
特許文献1の携帯情報機器では、地図画像が表示されている画面上で指を動かすと、指の移動方向にその移動距離だけ地図画像が移動して表示される。これによれば、指の動作履歴によって、スクロール操作の実行指示およびスクロール量が同時に入力される。また、2本の指を遠ざけると、その動作履歴によって、地図画像の拡大指示および拡大量が入力される。また、2本の指を近づけると、その動作履歴によって、地図画像の縮小指示および縮小量が入力される。また、1本の指を軸に他の1本の指を回転させると、その動作履歴によって、地図画像の回転指示および回転量が入力される。
特許文献2のナビゲーション装置では、地図画像の連続的なスムーススクロール処理を行うためのスムーススクロール操作用アイコンが表示される。具体的には、このアイコンは、運転席の位置に合わせて、地図画像上の右下部分又は左下部分に表示される。このアイコンの所定方向を示す矢印部分が指でタッチされると、タッチされ続けている時間だけ、その矢印方向へナビゲーション地図画像が高速に移動する。
また、特許文献2のナビゲーション装置では、上記スムーススクロール操作用アイコン以外の領域がタッチされると、当該地点を画面中心に移動させるタッチスクロール処理が実行される。また、上記スムーススクロール操作用アイコン以外の領域をタッチし、タッチしている指を画面上で移動させると、指の軌跡に合わせて地図を順次移動させるドラッグスクロール処理が実行される。
このように、特許文献2のナビゲーション装置では、スムーススクロール処理を実行させるための領域(すなわち、スムーススクロール操作用アイコン)と、タッチスクロール処理およびドラッグスクロール処理を実行させるための領域(すなわち、スムーススクロール操作用アイコン以外の領域)とが、区分けされる。これにより、スムーススクロール操作とタッチスクロール操作が非常に似通っている場合(例えば、両操作の違いが、画面に触れ続けている時間の差だけである場合)に比べて、ユーザが意図する種類のスクロール処理を正確に指示できる、としている。
特開2000−163031号公報 特開2010−32546号公報
特許文献1の携帯情報機器では、例えば長い距離をスクロールさせる場合、同じ指移動を何回も繰り返さなければならない。スクロール以外の操作についても同様である。
特許文献2のナビゲーション装置は、スムーススクロール操作とタッチスクロール操作が非常に似通っている場合(例えば、両操作の違いが、画面に触れ続けている時間の差だけである場合)における操作性の悪さを解消することを目的として、提案されている。スクロール操作を行うタイミングはユーザの意思に拠るので、スムーススクロール操作用アイコンはいつでも利用できるように常に表示されている必要がある。
また、スムーススクロール操作用アイコンにおいて、地図移動方向を示す各矢印部分は、指でタッチできる程度の大きさが必要である。特許文献2に記載されているように8方向分の矢印部分をアイコン中に設けると、スムーススクロール操作用アイコンが大きくなってしまう。
大きなアイコンが常に表示されていることは、地図の視認に支障を来す状況が想像される。そのような場合、スムーススクロール操作用アイコンの採用が却って、利便性を低下させる可能性がある。
本発明は、高い利便性等を有した情報表示装置および表示情報操作方法を提供することを目的とする。
本発明の一形態に係る情報表示装置は、表示面を有する表示部と、ユーザ操作を受け付ける入力部と、制御部とを含む。制御部は、ユーザ操作が、表示面上の表示情報を、ジェスチャ方向に応じて設定される制御方向に制御する画面移動変形型機能に関連付けられたジェスチャ操作であり、且つ、ジェスチャ操作が同じジェスチャ方向に、予め定められた回数、連続して繰り返された場合、画面移動変形型機能を実行させるための継続アイコンを表示面に表示させる。制御部は、継続アイコンの表示後のユーザ操作が、継続アイコンの表示中に行われ且つ表示中の継続アイコンに対して行われる実行指示操作である場合、継続アイコンの出現に関与したジェスチャ操作のときと同じ制御方向で以て画面移動変形型機能を実行する。
上記一形態によれば、ジェスチャ操作によって継続アイコンが表示面上に呼び出され、その継続アイコンを使って、上記ジェスチャ操作に関連付けられている画面移動変形型機能を実行可能である。このため、継続アイコンを使えば、ジェスチャ操作の繰り返し回数を減らして、操作負担を軽減できる。これにより、高い利便性を提供できる。
また、実行させたい機能に関連付けられているジェスチャ操作を行うだけで、継続アイコンが表示される。すなわち、ユーザが意図している機能に応じた継続アイコンが、自動的に表示される。このため、高い利便性を提供できる。また、ジェスチャ操作が同じジェスチャ方向に、予め定められた回数、連続して繰り返されることを、継続アイコンを表示させる条件としている。ユーザがジェスチャ操作を繰り返すということは、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。このため、ユーザの意図をより正確に識別した上で、継続アイコンを表示することができる。
また、例えばユーザが操作を行わずに表示情報を見続けている状況下では、継続アイコンは呼び出されないので、表示情報が継続アイコンで隠されることがない。
本発明の目的、特徴および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
情報表示装置を例示するブロック図である。 入力兼表示部を例示する斜視図である。 1点タッチ操作の概念図である。 2点タッチ操作の概念図である。 ドラッグ操作の概念図である。 フリック操作の概念図である。 ピンチアウト操作(2点移動型)の概念図である。 ピンチアウト操作(1点移動型)の概念図である。 ピンチイン操作(2点移動型)の概念図である。 ピンチイン操作(1点移動型)の概念図である。 スライド操作の概念図である。 表示サイズ変更操作(拡大操作および縮小操作)の概念図である。 回転操作の概念図である。 スライド継続アイコンの概念図である。 拡大継続アイコンを例示する図である。 縮小継続アイコンを例示する図である。 右回転継続アイコンを例示する図である。 左回転継続アイコンを例示する図である。 制御部を例示するブロック図である。 継続アイコンが表示されるまでの処理を例示するフローチャートである。 終点条件の概念図である。 継続アイコン呼び出し操作の概念図である。 継続アイコンの表示位置の第1例を説明する図である。 継続アイコンの表示位置の第2例を説明する図である。 継続アイコンの表示位置の第3例を説明する図である。 継続アイコンの表示位置の第4例を説明する図である。 ジェスチャ軌跡の延長線の求め方の第1例を説明する図である。 ジェスチャ軌跡の延長線の求め方の第2例を説明する図である。 ジェスチャ軌跡の延長線の求め方の第3例を説明する図である。 継続アイコンの表示位置の第5例を説明する図である。 帯状の継続アイコンを例示する図である。 継続アイコンが表示された後の処理を例示するフローチャートである。 スライド方向の設定手法の第1例を説明する図である。 スライド方向の設定手法の第2例を説明する図である。 ジェスチャ量またはジェスチャ速度と、表示情報の制御量または制御速度との関係を示す概念図である。 表示情報の制御量を例示する図である。 表示情報の制御速度を例示する図である。 継続アイコンの消去に関する処理を例示するフローチャートである。 スライドと表示サイズ変更とを同時に実行させる操作の第1例を説明する図である。 スライドと表示サイズ変更とを同時に実行させる操作の第2例を説明する図である。 取り消し操作を説明する図である。 要素連結表示形式の概念図である。
<全体構成の概略>
図1に実施の形態に係る情報表示装置10のブロック図を例示する。図1の例によれば、情報表示装置10は、表示部12と、入力部14と、制御部16と、記憶部18とを含んでいる。
表示部12は、各種情報を表示する。表示部12は、例えば、複数の画素がマトリクス状に配置されることによって構成された表示面と、制御部16から取得した画像データに基づいて各画素を駆動する(換言すれば、各画素の表示状態を制御する)駆動装置と、を含んでいる。なお、表示部12で表示する画像は、静止画像の場合もあるし、動画像の場合もあるし、さらには静止画像と動画像の組み合わせの場合もある。
表示部12は、例えば液晶表示装置によって構成可能である。この例によれば、表示パネル(ここでは液晶パネル)の表示領域が上記表示面に対応し、表示パネルに外付けされた駆動回路が上記駆動装置に対応する。なお、駆動回路の一部が表示パネルに内蔵される場合もある。液晶表示装置の他に、エレクトロルミネセンス(EL)表示装置、プラズマディスプレイ装置、等によって、表示部12を構成することも可能である。
入力部14は、ユーザから各種情報を受け付ける。入力部14は、例えば、ユーザが入力のために用いる指示物を検出する検出部と、検出部によって検出された結果を検出信号として制御部16へ出力する検出信号出力部と、を含んでいる。
ここでは、入力部14がいわゆる接触型のタッチパネルで構成される場合を例示し、以下では入力部14を「タッチパネル14」と称する場合もある。なお、タッチパネルは「タッチパッド」等と称される場合もある。また、入力に用いる上記指示物が、ユーザの指(より具体的には、指先)である場合を例示する。
タッチパネル14の上記検出部は、ユーザが指先を載せる入力面を提供し、当該入力面に対して設けられたセンサ群によって、入力面上の指の存在を検出する。換言すれば、センサ群によって指を検出可能な領域が、ユーザ入力を受け付け可能な入力領域に対応し、接触型タッチパネルの場合、入力領域は2次元領域の入力面に対応する。
センサ群は電気式、光学式、機械式、等のいずれでもよいし、あるいは、それらの組み合わせでもよい。また、各種の位置検出方式が開発されており、それらのうちのいずれをタッチパネル14に採用しても構わない。また、指の位置の検出だけでなく、入力面に対する指の押圧力を検出可能な構成を採用してもよい。
各センサの出力信号の組み合わせから、入力面上における指先の位置を特定可能である。特定された位置は例えば、入力面に設定された座標上の座標データによって表現される。この場合、入力面上で指を移動させると指位置を示す座標データが変化するので、連続的に取得される一連の座標データによって指の移動を検出可能である。
なお、座標以外の手法によって指位置を表現してもよい。すなわち、座標データは、指の位置を表現するための指位置データの一例である。
ここでは、タッチパネル14の上記検出信号出力部が、各センサの出力信号から、指位置を示す座標データを生成し、その座標データを検出信号として制御部16へ送信する例を挙げる。但し、例えば、座標データへの変換を、制御部16に行わせてもよい。そのような例では、検出信号出力部は、各センサの出力信号を、制御部16が取得可能な形式の信号に変換し、得られた信号を検出信号として制御部16へ送信する。
また、図2の斜視図に示すように、タッチパネル14(図1参照)の入力面34と表示部12(図1参照)の表示面32とが重ねられた構造、換言すれば入力面34と表示面32とが一体化した構造を例示する。そのような一体構造によって、入力兼表示部20(図1参照)、より具体的にはタッチスクリーン20が提供される。
入力面34と表示面32との一体構造によれば、入力面34と表示面32とはユーザにとって同一視され、あたかも表示面32に対して入力操作を行っている感覚をユーザに与える。このため、直感的な操作環境が提供される。なお、かかる点に鑑み、例えば「ユーザが表示面32を操作する」といった表現を用いる場合もある。
制御部16は、情報表示装置10における各種の処理および制御を行う。例えば、制御部16は、タッチパネル14から入力された情報を解析し、その解析結果に応じた画像データを生成し、その画像データを表示部12へ出力する。
ここでは、制御部16が中央演算処理部(例えば1つまたは複数のマイクロプロセッサで構成される)と主記憶部(例えばROM、RAM、フラッシュメモリ等の1つまたは複数の記憶装置で構成される)とによって構成される場合を例示する。この例によれば、主記憶部に格納された各種プログラムを中央演算処理部が実行することによって(換言すれば、ソフトウェアによって)、各種機能が実現される。各種機能は並列的に実現させることも可能である。
各種プログラムは、予め制御部16の主記憶部に格納されていてもよいし、あるいは、実行時に記憶部18から読み出されて主記憶部に格納されてもよい。主記憶部は、プログラムだけでなく各種データの格納にも利用される。また、主記憶部は、中央演算処理部がプログラムを実行する際の作業領域を提供する。また、主記憶部は、表示部12に表示する画像を書き込むため画像保持部を提供する。画像保持部は「ビデオメモリ」、「グラフィックメモリ」等と称される場合もある。
なお、制御部16が行う処理および制御の全部又は一部を、ハードウェア(例えば、特定の演算を行うように構成された演算回路等)として構成されていてもよい。
記憶部18は、各種情報を格納する。ここでは、記憶部18は、制御部16が利用する補助記憶部として設けられている。記憶部18は、例えば、ハードディスク装置、光ディスク、書き換え可能かつ不揮発性の半導体メモリ、等の記憶装置の1つ以上を利用して構成可能である。
<ユーザ操作とその機能>
情報表示装置10のより具体的な構成および処理を説明する前に、タッチパネル14に対するユーザ操作について説明する。
ユーザ操作は、指の動きから、タッチ操作とジェスチャ操作とに大別される。なお、以下では、タッチ操作とジェスチャ操作を「タッチ」および「ジェスチャ」とそれぞれ称する場合もある。タッチ操作は、少なくとも1本の指先をタッチパネルの入力面に接触させ、接触させた指を、入力面上で移動させることなく、入力面から離す操作である。これに対し、ジェスチャ操作は、少なくとも1本の指先を入力面に接触させ、接触させた指を入力面上で移動させた(換言すれば、スライドさせた)後に、入力面から離す操作である。
タッチ操作によって検出される座標データ(換言すれば、指位置データ)は、基本的には変化が無く、静的である。これに対し、ジェスチャ操作によって検出される座標データは、時間経過と共に変化し、動的である。そのような変化する一連の座標データによれば、入力面上で指が移動を開始した地点および終了した地点、移動始点から移動終点に至る軌跡、移動方向、移動量、移動速度、移動加速度、等の情報を取得可能である。
図3に、タッチ操作の第1例として、1点タッチ操作(単に「1点タッチ」とも称する)を説明する概念図を示す。なお、図3および後述の図4〜図10では、上段に入力面34の平面図を示し、下段に入力面34の側面図または断面図を示している。
図3に示すように、1点タッチでは、ユーザは1本の指を入力面34に点接触させる。図3ではタッチ地点(換言すれば、指の検出地点)を黒塗り丸印で模式的に示している。かかる図示手法は後述の図面でも用いることにする。なお、黒塗り丸印を実際に表示面に表示させてもよい。
1点タッチは例えば、シングルタップ、マルチタップおよび長押しの各操作に分類可能である。シングルタップとは、指先で入力面34を1回、軽く叩く操作である。シングルタップは単に「タップ」と称される場合もある。マルチタップとは、タップを複数回繰り返す操作である。マルチタップとして、ダブルタップが代表的である。長押しとは、指先の点接触を維持する操作である。これらの操作は、例えば指の接触(換言すれば、指の検出)の継続時間および回数によって、識別可能である。
図4は、タッチ操作の第2例として、2点タッチ操作(単に「2点タッチ」とも称する)を説明する概念図である。2点タッチは、指を2本使う点を除いて、基本的に1点タッチと同じである。このため、2点タッチによっても、例えば、タップ、マルチタップおよび長押しの各操作を行うことが可能である。2点タッチでは、片手のうちの2本の指を使ってもよいし、あるいは、右手の1本の指と左手の1本の指とを使ってもよい。なお、2本の指の位置関係は図4の例に限定されるものではない。
なお、3本以上の指でタッチ操作を行うことも可能である。
図5は、ジェスチャ操作の第1例として、ドラッグ操作(単に「ドラッグ」とも称する)を説明する概念図である。ドラッグとは、指先を入力面34上に置いたままでずらす操作である。なお、指の移動方向および移動距離は、図5の例に限定されるものではない。
図5において、指の移動始点を黒塗り丸印で模式的に示し、指の移動終点を黒塗り三角形で模式的に示し、その三角形の向きで指の移動方向を表現し、黒塗り丸印と黒塗り三角形を結ぶ線によって軌跡を表現している。かかる図示手法は後述の図面でも用いることにする。なお、黒塗り丸印と黒塗り三角形と軌跡とを実際に表示面に表示させてもよい。
図6は、ジェスチャ操作の第2例として、フリック操作(単に「フリック」とも称する)を説明する概念図である。フリックとは、指先を入力面34上で素早く払う操作である。なお、指の移動方向および移動距離は図6の例に限定されるものではない。
フリックでは、ドラッグと異なり、指が移動途中で入力面34から離れる。ここではタッチパネル14が接触型であるので、入力面34から離れた後の指移動は原理的には検出されない。しかし、例えば、指が入力面34上を移動する間に得られた一連の座標データの変化から、検出された最終地点における指の移動速度を算出することが可能である。その移動速度が、予め定められた閾値(「ドラッグ/フリック識別閾値」と称することにする)以上であることを以て、フリックを識別可能である。
また、例えば、検出された最終地点における指の移動方向、移動速度および移動加速度から、指が入力面34から離れた後に最終的に到達する地点(より具体的には、その地点を入力面34に投影した地点)を推定可能である。なお、かかる推定処理は、フリックを仮想的なドラッグに変換する処理として解釈することが可能である。
そこで、情報表示装置10では、そのように推定された地点を指移動の終点として扱うことにする。この例において上記推定処理は、タッチパネル14によって実行してもよいし、あるいは制御部16によって実行してもよい。
但し、そのような推定は行わず、入力面34から離れた地点を指移動の終点として扱うように、情報表示装置10を変形しても構わない。
図7は、ジェスチャ操作の第3例として、ピンチアウト操作(単に「ピンチアウト」とも称する)を説明する概念図である。ピンチアウトとは、入力面34上で2本の指先を遠ざける操作である。ピンチアウトは「ピンチオープン」とも称される。
図7では、2本の指の両方をドラッグする場合を例示した。これに対し、図8にジェスチャ操作の第4例として示すように、一方の指先を入力面34上に固定し(換言すれば、一方の指先はタッチ状態を維持し)、他方の指先のみをドラッグすることによって、ピンチアウトを行うことも可能である。なお、図7および図8のやり方を区別する場合、図7のやり方を「2点移動型」と称し、図8のやり方を「1点移動型」と称することにする。
図9は、ジェスチャ操作の第5例として、ピンチイン操作(単に「ピンチイン」とも称する)を説明する概念図である。ピンチインとは、入力面34上で2本の指先を近づける操作である。ピンチインは「ピンチクローズ」とも称される。図9には2点移動型のピンチインを例示しているが、図10にジェスチャ操作の第6例として、1点移動型のピンチインを例示する。
ここで、ピンチアウトとピンチインを「ピンチ操作」または「ピンチ」と総称し、指の移動方向を「ピンチ方向」と称することにする。この場合、ピンチ方向が、指の間隔が拡大する方向である場合、そのピンチ操作は特にピンチアウトと称される。逆に、ピンチ方向が、指の間隔が縮小する方向である場合、そのピンチ操作は特にピンチインと称される。
なお、ピンチアウトおよびピンチインでは、片手のうちの2本の指を使ってもよいし、あるいは、右手の1本の指と左手の1本の指とを使ってもよい。また、2本の指の位置関係、移動方向および移動距離は、図7〜図10の例に限定されるものではない。また、1点移動型のピンチアウトおよびピンチインにおいて、ドラッグさせる方の指は、図8および図10の例に限定されるものではない。また、ドラッグの代わりにフリックを使って、ピンチアウトおよびピンチインを行うことも可能である。
各ユーザ操作は、特定の機能に関連付けられている。具体的には、ユーザ操作が検出されると、そのユーザ操作に関連付けられた処理が制御部16によって実行され、それにより、対応する機能が実現される。かかる点に鑑みると、ユーザ操作は、実現される機能から、分類することも可能である。
例えば、表示面32上のアイコンに対して行うダブルタップは、アイコンに関連付けられているプログラムまたはコマンドを実行させる機能に関連付けられる。この場合、ダブルタップは、実行指示操作として機能する。
また、図11に例示するように、表示情報(図11には地図画像が例示されている)に対して行うドラッグは、その表示情報をスライドさせるスライド機能に関連付けられる。この場合、ドラッグ操作は、スライド操作として機能する。なお、ドラッグの代わりにフリックによって、スライドを行わせることも可能である。
また、図12に例示するように、表示情報(図12には地図画像が例示されている)に対して行うピンチアウトおよびピンチインは、その情報表示のサイズ(換言すれば、スケール)を変更する機能に関連付けられる。この場合、ピンチアウトおよびピンチインは、表示サイズ変更操作(「表示スケール変更操作」と称してもよい)として機能する。より具体的には、図12の例では、ピンチアウトが拡大操作に対応し、ピンチインが縮小操作に対応する。
また、図13に例示するように、表示情報(図13には地図画像が例示されている)に対して、2本の指を、距離を保ったまま円を描くように、ドラッグさせる場合、そのドラッグは、その情報表示を回転させる機能に関連付けられる。この場合の2点移動型の回転ドラッグは、回転操作として機能する。なお、3本以上の指で行う回転ドラッグを採用してもよい。また、回転ドラッグを行う指の本数に応じて、関連付ける機能を違えてもよい。
ここで、1つのユーザ操作に複数種類の機能を割り当てることも可能である。例えば、ダブルタップを、上記の実行指示操作の他に、アイコンに関連付けられたフォルダを開くフォルダ開操作に割り当ててもよい。また、ドラッグを、スライド機能と、描画機能とに割り当ててもよい。1つのユーザ操作に複数種類の機能を割り当てられている場合、操作対象、使用状況(換言すれば、使用モード)等に応じて、各機能が切り換えられる。
また、1つの機能に複数種類のユーザ操作を割り当てることも可能である。例えば、アイコンに対する実行指示機能を、ダブルタップと長押しとフリックに関連付けてもよい。この場合、ダブルタップと長押しとフリックのいずれによっても、アイコンに関連付けられたプログラム等を実行可能である。また、例えば、スライド機能を、ドラッグとフリックとの両方に関連付けてもよい。また、例えば、回転機能を、2点移動型の回転ドラッグと1点移動型の回転ドラッグの両方に関連付けてもよい。
ここで、ユーザ操作に関連付けられている機能を、画面の移動および変形の観点から、画面移動変形型と非移動変形型とに大別する。なお、以下では、例えば、画面移動変形型機能に関連付けられているジェスチャ操作を、「画面移動変形型機能のジェスチャ操作」と表現する場合もある。
ジェスチャ操作に関連付けられている画面移動変形型機能は、表示面上の表示情報を、ジェスチャ方向に応じて設定される制御方向に、制御する(換言すれば、操る)機能である。画面移動変形型機能には例えば、スライド機能と、表示サイズ変更機能と、回転機能と、鳥瞰図表示機能(より具体的には、仰角および俯角の変更機能)とが含まれる。なお、スライド機能は画面移動機能に分類可能である。また、回転機能を角度の移動という観点から捉えれば、回転機能を画面移動機能に分類可能である。また、表示サイズ変更機能および鳥瞰図表示機能は、画面変形機能に分類可能である。
より具体的には、スライド機能では、ジェスチャ方向(例えば、ドラッグ方向またはフリック方向)に応じてスライド方向(すなわち、制御方向)を設定し、そのスライド方向に表示情報をスライドする。
また、表示サイズ変更機能では、ジェスチャ方向(例えば、ピンチ方向)が拡大方向である場合には制御方向を拡大方向に設定し、ジェスチャ方向が縮小方向である場合には制御方向を縮小方向に設定し、その設定した制御方向に、表示情報のサイズを変更する。
また、回転機能では、ジェスチャ方向(例えば、回転ドラッグにおける回転方向)が右回転方向である場合には制御方向を右回転方向に設定し、ジェスチャ方向が左回転方向である場合には制御方向を左回転方向に設定し、その設定した制御方向に、表示情報を回転する。
なお、画面移動変形型機能は、ジェスチャ方向だけでなく、更にジェスチャ量(例えば、ジェスチャ軌跡の長さ)も利用して、表示情報を制御してもよい。具体的には、ジェスチャ量が大きいほど、表示情報の制御量(例えば、スライド量、表示サイズ変更量および回転量)を大きく設定してもよい。
また、画面移動変形型機能は、ジェスチャ量に加えてまたは代えて、ジェスチャ速度を利用して表示情報を制御してもよい。具体的には、ジェスチャ速度が大きいほど、表示情報の制御速度(例えば、スライド速度、表示サイズ変更速度および回転速度)を大きく設定してもよい。
他方、非移動変形型機能は、ジェスチャ操作に関連付けられていても、機能の実現にジェスチャ方向を利用しない。例えば、アイコンに対するフリックが、特定のプログラムの実行指示機能に関連付けられていても、当該機能は非移動変形型に属する。また、例えばドラッグを描画機能および手書き文字入力機能で利用する場合も、そのドラッグに応じた軌跡が表示されるだけであり、表示情報がドラッグ方向に応じて制御されるわけでない。
なお、ユーザ操作およびそれによって実現される機能は、上記の各種例示に限定されるものではない。
<継続アイコン>
情報表示装置10では、継続アイコンという特徴的な操作手法を採用している。継続アイコンは、画面移動変形型機能のジェスチャ操作が行われた場合に、表示面に表示される。そして、継続アイコンに対して実行指示操作を行うと、当該継続アイコンの出現に関与した(換言すれば、当該継続アイコンを表示させるきっかけになった)ジェスチャ操作に関連付けられている画面移動変形型機能が実行される。換言すれば、継続アイコンは、当該継続アイコンの出現に関与したジェスチャ操作に関連付けられている画面移動変形型機能に、関連付けられている。継続アイコンを介して画面移動変形型機能を実行させる場合における表示情報の制御方向は、当該継続アイコンの出現に関与したジェスチャ操作の際の制御方向と同じに設定される。
継続アイコンに対する実行指示操作として、1点タッチ操作が例示される。例えば、継続アイコンにタッチした状態が持続している間、継続アイコンに関連付けられた画面移動変形型機能が実行され続けるようにしてもよい。この場合、タップ操作よりも長押し操作によって、画面移動変形型機能における制御量(例えば、スライド量)が大きくなる。但し、この例に限定されるものではない。例えば、タップが連続的に行われている間、画面移動変形型機能が実行され続けるようにしてもよい。
図14に、継続アイコンの一例として、スライド機能に関連付けられたスライド継続アイコンの概念図を示す。ここでは、ジェスチャ操作の一例であるドラッグ70が、画面移動変形型機能の一例であるスライド機能に関連付けられている。ドラッグ70が行われることによってスライド継続アイコン72が表示される。当該スライド継続アイコン72はスライド機能の実行指示を受け付ける。スライド継続アイコン72によるスライド方向は、当該継続アイコン72に出現に関与したドラッグ70によるスライド方向と、同じに設定される。
ここで、図14の例では、右方向へドラッグを行うことによって、地図画像が右方向にスライドし、表示面の左側から、続きの地図画像が出現する。この場合、スライド方向は、ドラッグ方向と同じ右方向である。かかる点に鑑み、図14の例では、スライド継続アイコン72が、右向き矢印の頭部を模したデザインで描かれている。但し、スライド継続アイコン72のデザインは図示の例に限定されるものではない。なお、図14の例において、地図画像のスクロール方向は一般的には左方向と表現される。つまり、スクロール機能とスライド機能では、制御方向であるスクロール方向およびスライド方向が180°異なる。但し、スクロール機能とスライド機能のいずれについても、制御方向がジェスチャ方向(図14の例ではドラッグ方向)に応じて設定される点は共通する。
なお、画面移動変形型機能の他の例である表示サイズ変更機能および回転機能を受け付ける継続アイコンを、「表示サイズ変更継続アイコン」および「回転継続アイコン」とそれぞれ称することにする。より具体的には、表示サイズ変更継続アイコンには、図15および図16に例示するように、表示サイズ変更方向に応じて、拡大継続アイコン80と縮小継続アイコン82の2種類がある。また、回転継続アイコンには、図17および図18に例示するように、回転方向に応じて、右回転継続アイコン84と左回転継続アイコン86の2種類がある。但し、これらの継続アイコン80,82,84,86のデザインは図示の例に限定されるものではない。
情報表示装置10によれば、ジェスチャ操作によって継続アイコンを表示面上に呼び出し、その継続アイコンを使って、上記ジェスチャ操作に関連付けられている画面移動変形型機能を実行可能である。このため、継続アイコンを使えば、ジェスチャ操作の繰り返し回数を減らし、操作負担を軽減できる。
また、実行させたい機能に関連付けられているジェスチャ操作を行うだけで、継続アイコンが表示される。すなわち、ユーザが意図している機能に応じた継続アイコンが、自動的に表示される。
また、例えばユーザが操作を行わずに表示情報を見続けている状況下では、継続アイコンは呼び出されないので、表示情報が継続アイコンで隠されることがない。
<制御部16の構成例>
図19に制御部16のブロック図を例示する。なお、図19には説明のため、表示部12と入力部14と記憶部18も記載している。図19の例によれば、制御部16は、入力解析部40と、全体制御部42と、第1画像形成部44と、第1画像保持部46と、第2画像形成部48と、第2画像保持部50と、画像合成部52と、合成画像保持部54と、継続アイコン管理部56とを含んでいる。
入力解析部40は、入力部14によって検出されたユーザ操作を解析し、ユーザ操作を識別する。具体的には、入力解析部40は、ユーザ操作に伴って検出された座標データを入力部14から取得し、当該座標データからユーザ操作情報を取得する。ユーザ操作情報は、例えば、ユーザ操作の種類、指移動の始点および終点、始点から終点に至る軌跡、移動方向、移動量、移動速度、移動加速度、等の情報である。
ユーザ操作の種類の識別について、例えば始点と終点の差を、予め定められた閾値(「タッチ/ジェスチャ識別閾値」と称することにする)と比較することによって、タッチ操作とジェスチャ操作とを識別可能である。また、上記のように軌跡の最後における指移動速度から、ドラッグとフリックを識別可能である。
また、例えば2つのドラッグが同時に識別された場合、移動方向からピンチアウトとピンチインを識別可能である。また、2つのドラッグが距離を保ったまま円を描いている場合、回転ドラッグが行われたことを識別可能である。また、ドラッグと1点タッチが同時に識別された場合、ピンチアウト、ピンチインおよび回転ドラッグが1点移動型であることを識別可能である。
全体制御部42は、制御部16における各種処理を行う。例えば、全体制御部42は、入力部14の入力面上の位置と、表示部12の表示面上の位置との対応付けを行う。これによれば、タッチ操作におけるタッチ位置、ジェスチャ操作におけるジェスチャ軌跡、等が表示面上に対応付けられる。そのような対応付けにより、ユーザ操作が表示面のどの位置を意図して行われたのかを識別可能である。かかる対応付けは、いわゆるグラフィカル・ユーザ・インターフェース(GUI)技術によって実現可能である。
また、全体制御部42は、例えば、ユーザ操作情報と機能識別情報とに基づいて、ユーザが所望している機能、すなわちユーザ指示を識別する。機能識別情報は、例えば、ユーザ操作と、実行する機能との関連付けが、操作状況情報を介して規定された情報である。操作状況情報は、例えば、情報表示装置10の使用状況(換言すれば、使用モード)、ユーザ操作が行われた操作対象、使用状況および操作対象に応じて受け付け可能なユーザ操作の種類、等の情報である。
より具体的に、例えば、地図閲覧ソフトウェアが使用されている状況下でその地図画像を操作対象としてドラッグが行われた場合、そのドラッグはスライド機能の実行を指示していると識別される。また、例えば、地図画像上の拡大アイコンを操作対象としてタップが行われた場合、そのタップは表示サイズ拡大機能の実行を指示していると識別される。また、例えば、拡大アイコンに対するフリックに何ら機能が関連付けられていない場合、そのフリックは無効な操作であると判断される。
また、全体制御部42は、第1画像形成部44と第2画像形成部48と画像合成部52とを制御することによって、表示面上の表示情報を制御する。なお、表示情報の変更は、ユーザ指示の識別結果に基づく場合もあるし、あるいは、ユーザ指示の識別結果とは関係なく、プログラム実行上の指示に基づく場合もある。
また、全体制御部42は、他の機能部40,44,46,48,50,52,54,56に対する全般的な制御、例えば実行タイミングの調整を行う。
第1画像形成部44は、全体制御部42の指示に応じた第1情報60を記憶部18から読み出し、第1情報60から第1画像を形成し、第1画像を第1画像保持部46に格納する。同様に、第2画像形成部48は、全体制御部42の指示に応じた第2情報62を記憶部18から読み出し、第2情報62から第2画像を形成し、第2画像を第2画像保持部50に格納する。
画像合成部52は、全体制御部42の指示の下、第1画像保持部46から第1画像を読み出し、第2画像保持部50から第2画像を読み出し、第1画像と第2画像とを合成し、合成した画像を合成画像保持部54に格納する。
画像の合成は、第1画像と第2画像とが重なって表示されるように、行われる。ここでは、第1画像が下の画像(換言すれば、下のレイヤ)であり、第2画像が上の画像(換言すれば、上のレイヤ)である場合を例示する。なお、ここでいう「上下」は、表示面の法線方向における上下のことであり、表示面を見ているユーザに近い側を「上」と表現している。実際には、そのような概念に基づいて、画像データが重ねられる。
合成画像、すなわち表示画面では、上の画像のうちの透明部分には下の画像が表示される。換言すれば、上の画像のうちの描画部分は下の画像を隠すことになる。但し、上の画像の描画部分に透明度を設定することによって、下の画像が透けた状態の合成画像も形成可能である。
第1画像と第2画像のいずれを上の画像にするかの設定は、変更不可であってもよいし、あるいは、変更可能であってもよい。
ここでは、第1画像および第2画像による2つのレイヤを合成する例を挙げるが、更に多くのレイヤを合成可能な構成を採用してもよい。また、他の合成手法を採用してもよい。
合成画像保持部54に格納された合成画像は、表示部12へ転送され、表示部12において表示される。合成画像が更新されることによって、すなわち第1画像と第2画像の少なくとも一方が更新されることによって、表示画面が変化する。
継続アイコン管理部56は、全体制御部42の制御下、継続アイコンの表示を管理する。具体的には、継続アイコン管理部56は、表示位置、大きさ、向き、表示属性等の情報を管理し、当該管理情報に基づいて第2画像形成部48および画像合成部52を制御することによって継続アイコンの表示を管理する。
例えば、継続アイコン管理部56は、第2画像形成部48に対して、記憶部18から継続アイコンの画像データを読み出すこと、表示面の大きさ等に応じた大きさで継続アイコンの画像を形成すること、形成した継続アイコン画像を表示位置および向きに応じて透明プレーン上に描画して第2画像保持部50に格納すること、を指示する。また、継続アイコンの消去に関して、継続アイコン管理部56は、例えば、第2画像形成部48に対して、継続アイコン画像を有さない画像を第2画像保持部50に格納させる。また、継続アイコン管理部56は、画像合成部52に対して、画像保持部46,50内の画像の合成を指示する。
<情報表示装置10の処理例>
以下に、継続アイコンに関連した、情報表示装置10による処理(換言すれば、表示情報操作方法)を例示する。
<継続アイコンの表示>
図20に、継続アイコンが表示されるまでの処理フローS10を例示する。図20の例によれば、ステップS11において入力部14がユーザ操作を受け付け、ステップS12において制御部16が、入力されたユーザ操作を識別する。そして、ステップS13において、制御部16がステップS12の識別結果に基づいて、ユーザ操作に関連付けられている機能を実行する。
その後、ステップS14において、制御部16は、ステップS11で受け付けたユーザ操作について、継続アイコンを表示するために予め定められた条件(「継続アイコン表示開始条件」または「表示開始条件」と称することにする)を満たすか否かを判断する。表示開始条件が満たされていないと判断した場合、情報表示装置10の処理は上記ステップS11に戻る。他方、表示開始条件が満たされていると判断した場合、制御部16はステップS15において、継続アイコンを表示させる処理を行う。継続アイコンの表示後、図20の処理フローS10は終了する。
<継続アイコン表示開始条件>
上記ステップS14に関し、継続アイコン表示開始条件として、画面移動変形型機能のジェスチャ操作(換言すれば、継続アイコンを表示させるきっかけになるジェスチャ操作)が1回、行われた場合に、継続アイコンを表示させる、という条件(「1回操作条件」と称することにする)を採用可能である。1回操作条件によれば、継続アイコンを即座に利用することができる。したがって、何回も同じジェスチャ操作を繰り返すという操作負担を軽減できる。
ここで、画面移動変形型機能のジェスチャ操作の1回の操作時間の長さが、予め定められた閾値(「操作時間閾値」と称することにする)に達した場合に、継続アイコンを表示させる、という条件(「操作時間条件」と称することにする)を、1回操作条件に付加してもよい。1回のジェスチャ操作がある程度の時間が及ぶということは、例えば、ユーザが表示情報を注視しつつそのジェスチャ操作を行っている状況が想定される。このため、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。したがって、操作時間条件によれば、ユーザの意図をより正確に識別した上で、継続アイコンを表示することができる。
また、画面移動変形型機能のジェスチャ操作の1回の操作速度が、予め定められた閾値(「操作速度閾値」と称することにする)以上である場合に、継続アイコンを表示させる、という条件(「操作速度条件」と称することにする)を、1回操作条件に付加してもよい。ジェスチャ操作が素早く行われるということは、例えば、ユーザは、操作後の表示情報を早く見たいと欲している状況が想定される。このため、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。したがって、操作速度条件によれば、ユーザの意図をより正確に識別した上で、継続アイコンを表示することができる。
なお、操作速度条件において、表示タイミングを規定してもよい。すなわち、操作速度条件を、画面移動変形型機能のジェスチャ操作の1回の操作速度が、操作速度閾値以上である場合、予め定められたアイコン表示タイミングよりも早いタイミングで、継続アイコンを表示させる、という条件に変形してもよい。これによれば、継続アイコンを素早く提供できる。
また、画面移動変形型機能のジェスチャ操作の1回のジェスチャ量(例えば、ドラッグ距離)が、予め定められた閾値(「ジェスチャ量閾値」と称することにする)以上である場合に、継続アイコンを表示させる、という条件(「ジェスチャ量条件」と称することにする)を、1回操作条件に付加してもよい。ジェスチャ操作が大きく行われるということは、例えば、ユーザは、表示情報に対して大きな制御量を望んでいる状況が想定される。このため、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。したがって、ジェスチャ量条件によれば、ユーザの意図をより正確に識別した上で、継続アイコンを表示することができる。
また、画面移動変形型機能のジェスチャ操作の終点が、表示面上の予め定められた領域内の地点に対応する場合に、継続アイコンを表示させる、という条件(「終点条件」と称することにする)を、1回操作条件に付加してもよい。上記の表示面上の予め定められた領域とは、例えば、図21に示すように、表示面32の周縁領域32bである。図21の例によれば、表示面32の周縁領域32bは、入力面34の周縁領域34bに対応し、当該周縁領域32b,34b内にドラッグ70の終点70bが存在する。そのような状況が形成されることよって、継続アイコン(例えば、スライド継続アイコン)が表示されることになる。例えば、ユーザは、もっと長いドラッグを行いたかったが、周縁領域32b,34bに到達してしまった、という状況が想定される。また、例えば、ユーザは、継続アイコンを表示させるために、この終点条件を意図的に利用することが可能である。このため、終点条件によれば、ユーザの意図をより正確に識別した上で、継続アイコンを表示することができる。なお、上記の予め定められた領域は周縁領域32b,34bに限定されるものではない。また、図21で例示のドラッグは、例えば2点移動型ピンチアウト中の一方のドラッグであってもよい。
また、画面移動変形型機能のジェスチャ操作に引き続いて継続アイコン呼び出し操作が行われた場合に、継続アイコンを表示させる、という条件(「呼び出し操作条件」と称することにする)を、1回操作条件に付加してもよい。なお、「引き続いて」という条件は、ジェスチャ操作と継続アイコン呼び出し操作とが、予め定められた操作時間間隔以下で行われるという条件と、その途中に他の操作が行われないという条件と、を含む。
継続アイコン呼び出し操作は、例えば、タッチ操作である。
より具体的には、図22に例示するように、上記ジェスチャ操作としてドラッグを行った指を終点から離さずに、他の指で入力面の任意の別地点をタッチする操作を、継続アイコン呼び出し操作として利用可能である。かかるタッチ操作としてタップを採用してもよいし、あるいは、ダブルタップまたは長押しを採用してもよい。なお、かかるタッチ操作は、上記ジェスチャ操作が複数の指を使うピンチアウト等である場合にも、行うことが可能である。
あるいは、図22に例示するように、上記ジェスチャ操作として行ったドラッグの終点またはその近傍をタッチする操作を、継続アイコン呼び出し操作として利用可能である。かかるタッチ操作としてタップを採用してもよいし、あるいは、ダブルタップを採用してもよい。なお、かかるタッチ操作は、上記ジェスチャ操作がフリックである場合、および、上記ジェスチャ操作が複数の指を使うピンチアウト等である場合にも、行うことが可能である。また、ドラッグ後のタッチ操作として、長押しを採用してもよい。この場合、ドラッグに使った指を入力面から離さず、そのまま長押しに移行する。かかる長押しによる継続アイコン呼び出し操作は、上記ジェスチャ操作が複数の指を使うピンチアウト等である場合にも、行うことが可能である。
また、継続アイコン呼び出し操作として、タッチ操作に代えて、フリック操作を採用してもよい。具体的には、図22に例示するように、ドラッグの軌跡をなぞるようにフリックを行う。
継続アイコン呼び出し操作によれば、継続アイコンが偶発的に表示されるのを抑制できる。
また、画面移動変形型機能のジェスチャ操作の後に、無操作状態が、予め定められた時間(時間長さ)以上、続いた場合に、継続アイコンを表示させる、という条件(「無操作経過条件」と称することにする)を、1回操作条件に付加してもよい。無操作経過条件によれば、継続アイコンをすぐに表示しない。このため、操作ミス防止に資する。
なお、操作時間条件等の上記条件を種々に組み合わせてもよい。
一方、継続アイコン表示開始条件として、画面移動変形型機能のジェスチャ操作が、同じジェスチャ方向に、予め定められた回数、連続して繰り返された場合に、継続アイコンを表示させる、という条件(「繰り返し操作条件」と称することにする)を採用可能である。ここで、「同じジェスチャ方向」とは、各回のジェスチャ方向が全く同じ場合だけでなく、各回のジェスチャ方向が実質的に同じである場合(例えば、各回のジェスチャ方向のばらつきが、予め定められた許容範囲内に収まる場合)を含む。また、「連続して」という条件は、予め定められた操作時間間隔以下でジェスチャ操作が繰り返されるという条件と、繰り返し途中に他の操作が行われないという条件と、を含む。
なお、繰り返し操作条件に、類似のジェスチャ操作(例えばドラッグとフリック)を同じジェスチャ操作として扱うという条件を付加してもよい。
繰り返し操作条件は、例えば、ステップS14(図20参照)においてジェスチャ操作の種類、ジェスチャ方向、ステップS11〜S14のループ処理の繰り返し回数、等を監視することによって、同じジェスチャ操作の繰り返しを検出可能である。
ユーザがジェスチャ操作を繰り返すということは、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。このため、繰り返し条件によれば、ユーザの意図をより正確に識別した上で、継続アイコンを表示することができる。
ここで、ジェスチャ操作の繰り返し時間の長さが、予め定められた閾値(「繰り返し総時間閾値」と称することにする)に達した場合に、継続アイコンを表示させる、という条件(「繰り返し総時間条件」と称することにする)を、繰り返し操作条件に付加してもよい。ジェスチャ操作の繰り返しがある程度の時間に及ぶということは、例えば、ユーザが、続きの表示情報を早く見たいと欲している状況が想定される。このため、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。したがって、繰り返し総時間条件によれば、ユーザの意図をより正確に識別した上で、継続アイコンを表示することができる。
また、画面移動変形型機能のジェスチャ操作の繰り返し速度が、予め定められた閾値(「繰り返し速度閾値」と称することにする)以上である場合に、継続アイコンを表示させる、という条件(「繰り返し速度条件」と称することにする)を、繰り返し操作条件に付加してもよい。繰り返し速度は、例えば、単位時間当たりのジェスチャ操作の回数として定義される。ジェスチャ操作が素早く繰り返されるということは、例えば、ユーザが、続きの表示情報を早く見たいと欲している状況が想定される。このため、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。したがって、繰り返し速度条件によれば、ユーザの意図をより正確に識別した上で、継続アイコンを表示することができる。
なお、繰り返し速度条件において、表示タイミングを規定してもよい。すなわち、繰り返し速度条件を、画面移動変形型機能のジェスチャ操作の繰り返し速度が、繰り返し速度閾値以上である場合、予め定められたアイコン表示タイミングよりも早いタイミングで、継続アイコンを表示させる、という条件に変形してもよい。これによれば、継続アイコンを素早く提供できる。
また、画面移動変形型機能のジェスチャ操作の繰り返しに従ってジェスチャ量(例えば、ドラッグ距離)を積算し、その積算値が、予め定められた閾値(「ジェスチャ総量閾値」と称することにする)に達した場合に、継続アイコンを表示させる、という条件(「ジェスチャ総量条件」と称することにする)を、繰り返し操作条件に付加してもよい。ジェスチャ量の積算値が大きくなるということは、例えば、ユーザは、表示情報に対して大きな制御量を望んでいる状況が想定される。このため、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。したがって、ジェスチャ総量条件によれば、ユーザの意図をより正確に識別した上で、継続アイコンを表示することができる。
なお、繰り返し総時間条件等の上記条件を種々に組み合わせてもよい。
また、1回操作条件に関連して例示した操作時間条件等の上記条件のうちの1つ以上を、繰り返し操作条件に付加してもよい。具体的には、各回のジェスチャ操作を対象にして、操作時間条件等の上記条件のうちの1つ以上を適用するのである。あるいは、予め定められた回のジェスチャ操作(例えば、最後のジェスチャ操作)を対象にして、操作時間条件等の上記条件のうちの1つ以上を適用してもよい。このような条件付加によれば、ユーザ意図の識別精度を向上させることができる。
<継続アイコンの表示位置>
上記ステップS15(図20参照)に関し、継続アイコンの表示位置は、基本的には任意である。これに対し、図23に例示するように、ドラッグ70の終点70bの近傍に、スライド継続アイコン72が存在すれば、ドラッグ70に用いた指を、少ない移動量で、スライド継続アイコン72上に移動させることができる。
ここで、図23の例では、ドラッグ終点70bの右側に継続アイコン72が配置されている。これに対し、終点70bの別の側、または、終点70bの直上に、継続アイコン72を配置してもよい。これらに鑑みると、図23に示すように、終点70bを含んで定められた領域(「終点領域」と称することにする)70c内に継続アイコン72が存在すれば、上記効果が得られる。
終点領域70cの大きさおよび形状は、操作状況(検出される指の大きさ、指の移動速度、等)に応じた可変値であってもよいし、あるいは、操作状況に拠らない固定値であってもよい。また、終点領域70cの中心は必ずしも終点70bに一致していなくてもよい。
なお、終点領域70cは、ドラッグ70の終点70bを表示面上に対応付けた後に、表示面の座標系において求めることが可能である。あるいは、ドラッグ70の終点70bを表示面上に対応付ける前に、入力面の座標系において終点領域70cを求め、得られた終点領域70cを表示面の座標系に対応付けてもよい。
また、上記繰り返し操作条件が適用される場合、例えば、繰り返し操作条件の判定対象になった全てのジェスチャ操作、または、そのうちの一部のジェスチャ操作について、平均的な終点の位置を求め、当該得られた終点位置から終点領域70cを設定してもよい。あるいは、予め定められた回のジェスチャ操作(例えば、最後のジェスチャ操作)についての終点領域70cを設定してもよい。
あるいは、図24に例示すように、ドラッグ70の軌跡の延長線70d上に、継続アイコン72を配置してもよい。これによれば、ドラッグ70に用いた指をそのまま同じ方向に移動させれば継続アイコン72に到達できるので、指の移動がスムーズである。
あるいは、図25に例示すように、上記終点領域70c内で延長線70dが通る位置に、継続アイコン72を表示してもよい。
あるいは、図26に例示すように、表示面32の周縁領域32b内で上記延長線70dが通る位置に、継続アイコン72を表示してもよい。これによれば、ユーザの注目度が高いと考えられる表示面中央の表示情報が、継続アイコン72で隠されるのを避けることができる。なお、ここでは周縁領域32bの設定範囲が上記図21(継続アイコン表示開始条件のうちの終点条件に関する)と同じ場合を例示したが、この例に限定されるものではない。
ここで、上記延長線70dの求め方の例を、図27〜図29を参照して、説明する。図27〜図29では湾曲したドラッグ軌跡を例示しているが、以下の説明は直線状のドラッグ軌跡にも当てはまる。
図27の例によれば、ドラッグ軌跡中の2点を結ぶ直線として、延長線70dが決定される。図27では軌跡中の2点がドラッグ70の始点70aおよび終点70bである場合を例示しているが、この例に限定されるものではない。例えば、図28に示すように、ドラッグ70の終点70bと、当該終点70b以外の地点とを利用してもよい。
他方、図29の例によれば、ドラッグ軌跡中の1点に接する直線として、延長線70dが決定される。図29では軌跡中の1点がドラッグ70の終点70bである場合を例示しているが、この例に限定されるものではない。
これらの手法によれば、延長線70dを簡便に求めることができる。
ここで、延長線70dは、図28および図29の例のように、ドラッグ軌跡の終点側部分70fを使って、換言すればドラッグ軌跡の始点側部分70eを除いて、設定するのが好ましい。図28および図29の例では、ドラッグ軌跡が、軌跡始点70aを含む始点側部分70eと、軌跡終点70を含む終点側部分70fとに2分割されている。
ユーザの意図は、始点側部分70eに比べて終点側部分70fにおいて、より明確になると考えられる。例えば、図28および図29の軌跡はドラッグ途中で方向転換したことが想像される。このため、終点側部分70fを利用することによって、ユーザの意図を反映した位置に継続アイコン72を表示することができる。
終点側部分70fのうちで終点70b以外の部分を利用することも可能である。但し、ユーザの意図の明確さに鑑みれば、終点70bと終点側部分中の他の1点とを通る直線(図28参照)、または、終点70bにおける接線(図29参照)を、延長線70dに設定することは、より好ましい。
また、終点側部分70fの方が始点側部分70eに比べて小さいほど、ユーザの意図をより強く反映すると考えられる。
なお、延長線70dは、ドラッグ70の軌跡を表示面上に対応付けた後に、表示面の座標系において求めることが可能である。あるいは、ドラッグ70の軌跡を表示面上に対応付ける前に、入力面の座標系において延長線70dを求め、得られた延長線70dを表示面の座標系に対応付けてもよい。
また、上記繰り返し操作条件が適用される場合、例えば、繰り返し操作条件の判定対象になった全てのジェスチャ操作、または、そのうちの一部のジェスチャ操作について、平均的な延長線を求め、当該得られた延長線を上記延長線70dとして利用すればよい。あるいは、予め定められた回のジェスチャ操作(例えば、最後のジェスチャ操作)についての延長線70dを、利用してもよい。
継続アイコンの表示位置に関する上記各種事項は、フリックについても適用可能である。また、ピンチアウト等もドラッグを含むので、上記各種事項を適用可能である。
なお、図30に例示するように、2点移動型のジェスチャ操作(図30にはピンチアウトが例示される)では、それぞれのドラッグに対して、継続アイコン(図30では拡大継続アイコン80が例示される)を設けてもよい。この例の場合、ユーザは、2つの継続アイコン80のいずれかを選択的に操作すればよいものとする。
<継続アイコンの形状>
継続アイコンは大きいほど操作し易く、操作ミス防止に資する。これに対し、継続アイコンによって表示情報が隠されるので、継続アイコンの面積は小さい方が好ましい。これらの要請は、図31に例示するように継続アイコン72を帯状に表示することによって、両立可能である。なお、図31にはスライド継続アイコン72が例示されるが、他の継続アイコンについても同様である。
帯状の継続アイコンは、例えば、帯状を含む複数の形状の継続アイコンを予め準備しておくことによって、利用可能である。あるいは、1種類の形状だけを予め準備しておき、第2画像形成部48(図19参照)が、第2画像保持部50に書き込む際に、帯状に加工してもよい。
帯状の継続アイコンの表示位置は、基本的には任意である。これに対し、図31に例示するように帯状の継続アイコン72を、表示面32の周縁の一部に沿うように表示することによって、ユーザの注目度が高いと考えられる表示面中央の表示情報が、継続アイコン72で隠されるのを避けることができる。
<継続アイコンの表示属性>
継続アイコンは、他のアイコンとは異なる表示属性(換言すれば、表示手法)によって表示してもよい。例えば、継続アイコンを、点滅、立体的表示、アニメーション表示、半透過、等の表示属性によって、または、複数の表示属性の組み合わせによって、表示する。これによれば、継続アイコンの視認性が上がり、操作ミス防止に資する。
<継続アイコンの利用>
図32に、継続アイコンを表示中の処理フローS30を例示する。図32の例において、ステップS31,S32は、図20のステップS11,S12と同様である。すなわち、ステップS31において入力部14がユーザ操作を受け付け、ステップS32において制御部16が、入力されたユーザ操作を識別する。
そして、ステップS33において、制御部16は、ステップS31で受け付けたユーザ操作が、継続アイコンに対する実行指示であるか否かを判断する。具体的には、ユーザ操作の入力位置が継続アイコンの表示位置に対応するか否かを判断すると共に、ユーザ操作が、継続アイコンに対する実行指示操作として予め定められた操作(ここでは上記のように1点タッチが例示される)であるか否かを判断する。
ステップS33において、ユーザ操作が継続アイコンに対する実行指示であると判断した場合、制御部16は、ステップS34において、継続アイコンに関連付けられている画面移動変形型機能、すなわち、当該継続アイコンの出現に関与したジェスチャ操作に関連付けられている画面移動変形型機能を実行する。その後、情報表示装置10の処理は上記ステップS31に戻る。
他方、ステップS33において、ユーザ操作が継続アイコンに対する実行指示ではないと判断した場合、制御部16は、ステップS35において、ステップS31で受け付けたユーザ操作に関連付けられている機能を実行する。その後、情報表示装置10の処理は上記ステップS31に戻る。
なお、例えばスライド継続アイコンの表示中であっても、スライド機能に関連付けられているドラッグは上記ステップS31において受け付けられ、上記ステップS3においてスライドが実行されるものとする。これによれば、スライド継続アイコンが表示されている状態においても、ドラッグで表示情報を微調整すること、他の方向にスライドすること、等を行うことが可能である。スライド継続アイコン以外の継続アイコンについても同様である。
<スライド方向>
上記ステップS34に関し、継続アイコンを介して画面移動変形型機能を実行させる場合における表示情報の制御方向は、当該継続アイコンの出現に関与したジェスチャ操作の際の制御方向と同じに設定される。
ここで、表示サイズ拡大機能では、表示情報の制御方向は拡大方向である。同様に、表示サイズ縮小機能、右回転機能および左回転機能では、表示情報の制御方向はジェスチャ方向に応じて一意的に決まる。これに対し、スライド機能では、制御方向であるスライド方向の設定に自由度がある。そこで、スライド方向の設定手法を、図33および図34を参照して、例示する。
図33の例では、ドラッグ70の軌跡の延長線70dの方向にスライド方向90を設定している。この手法によれば、ユーザの意図に沿った方向にスライド方向90を設定できる。
図34の例では、ドラッグ軌跡の終点70bを起点にして設定される複数方向のうちから、延長線70dに最も近似する方向がスライド方向90として抽出される。上記複数方向は例えば等角度で放射状に設定され、図34では45°刻みの8方向が例示されている。この手法によれば、ユーザの手ぶれの影響を吸収できる。また、スライド処理の処理負担を軽減できる。
図33および図34の例では、継続アイコンの表示位置に関する説明で用いた図29と同様に、ドラッグ軌跡の終点70bにおける接線を、延長線70dに採用している。但し、この例に限定されるものではなく、継続アイコンの表示位置の説明で述べた、延長線70dに関する各種事項は、スライド方向90の設定についても適用されるものとする。
<制御量および制御速度>
上記ステップS34(図32参照)に関し、例えば、継続アイコンをタップすると、予め定められた制御量および予め定められた制御速度で、継続アイコンに関連付けられた画面移動変形型機能が、実行される。また、例えば、継続アイコンを長押している間、継続アイコンに関連付けられた画面移動変形型機能が、連続的に実行される。この場合、表示情報の制御量は長押しの時間に応じて決まる。また、表示情報の制御速度は、予め定められた一定値であってもよいし、あるいは、次第に増加させてもよい。
これに対し、継続アイコンの出現に関与したジェスチャ操作のジェスチャ量またはジェスチャ速度を、継続アイコンに対して実行指示操作が行われた場合における表示情報の制御量に、反映させてもよい。同様に、ジェスチャ量またはジェスチャ速度を、継続アイコンに対して実行指示操作が行われた場合における表示情報の制御速度に、反映させてもよい。
図35の例では、ジェスチャ量またはジェスチャ速度が大きくなるほど、表示情報の制御量または制御速度が大きく設定される。より具体的には、ドラッグ距離が長いほど、スライド量を大きく設定する。あるいは、ドラッグ距離が長いほど、スライド速度を大きく設定する。あるいは、ドラッグ速度が大きいほど、スライド量を大きく設定する。あるいは、ドラッグ速度が大きいほど、スライド速度を大きく設定する。なお、ドラッグ速度として、例えば平均速度または最高速度を利用可能である。但し、図35に示す線形の関係に限定されるものではない。
あるいは、継続アイコンの出現に関与したジェスチャ操作のジェスチャ量を表示情報の制御量の1単位に設定し、継続アイコンに対して実行指示操作が行われた場合に、当該1単位ごとに断続的に表示情報を制御してもよい。例えば、図36に示すように、スライド継続アイコンが1回、タップされた場合、上記1単位分だけ表示情報をスライドし、スライド継続アイコンが長押しされた場合、上記1単位分のスライドを断続的に行う。これによれば、表示情報の変化を確認しやすくなる。
あるいは、ジェスチャ操作のジェスチャ速度の変化(換言すれば、ジェスチャ操作の加速度)を、継続アイコンに対して実行指示操作が行われた場合における表示情報の制御速度に、反映させてもよい。例えば、図37に示すように、スライド継続アイコンが1回、タップされた場合、ジェスチャ操作の速度履歴を1回、再現し、スライド継続アイコンが長押しされた場合、ジェスチャ操作の速度履歴を、長押しの間、繰り返す。一般的にジェスチャ操作の始まりおよび終わりはジェスチャ速度が小さくなるので、上記の断続的なスライドと同様の状況が提供される。このため、表示情報の変化を確認しやすくなる。
なお、制御量および制御速度に関し、上記のいずれの例も、ドラッグ以外のジェスチャ操作およびスライド機能以外の画面移動変形型機能に適用可能である。
また、タッチパネル14が、入力面に対する指の押圧力を検出可能な構成である場合、継続アイコンに対する押圧力が大きいほど、表示情報の制御量と制御速度の少なくとも一方を大きく設定してもよい。
<継続アイコンの消去>
図38に、継続アイコンの消去(すなわち表示の終了)に関する処理フローS50を例示する。図38の例によれば、ステップS51において、制御部16は、継続アイコンを消去するために予め定められた条件(「継続アイコン消去条件」または「消去条件」と称することにする)を満たすか否かを判断する。
消去条件が満たされていると判断した場合、制御部16はステップS52において、継続アイコンを表示面から消去する処理を行う。その後、情報表示装置10の処理は、継続アイコンが表示されるまでの上記処理フローS10(図20参照)に戻る。他方、消去条件が満たされていないと判断した場合、情報表示装置10の処理は上記ステップS51に戻る。
当該処理フローS50は、継続アイコンを表示中の処理フローS30と並列的に実行される。具体的には、継続アイコン消去条件が成立するまでステップS51が繰り返され、継続アイコン消去条件が成立することによってステップS52が割り込み処理として実行される。
<継続アイコン消去条件>
継続アイコン消去条件として、継続アイコンに対する実行指示操作が入力されない状態が続いた場合、継続アイコンを表示面から消去する、という条件(「操作待ち条件」と称することにする)を採用可能である。継続アイコンがある程度の時間、利用されないということは、ユーザはしばらく継続アイコンを利用しない可能性が高いと考えられる。したがって、操作待ち条件によれば、ユーザの意図をより正確に識別した上で継続アイコンを消去する点において、高い利便性を提供できる。
継続アイコンの消去までの待ち時間の長さとして、例えば、予め定められた一定値を採用可能である。あるいは、継続アイコンの出現に関与したジェスチャ操作のジェスチャ速度等に基づいて、待ち時間の長さを設定してもよい。例えば、ジェスチャ操作が素早く行われるということは、上記のようにそのジェスチャ操作が更に繰り返される可能性が高いと考えられる。すなわち、継続アイコンが利用される可能性が高いと考えられる。このため、ジェスチャ速度が大きい場合は、消去待ち時間を長く設定するのが好ましい。
あるいは、継続アイコン消去条件として、ユーザ操作が、予め定められた継続アイコン消去操作である場合、継続アイコンを表示面から消去する、という条件(「消去指示条件」と称することにする)を採用してもよい。継続アイコン消去操作には、継続アイコンに対する実行指示操作とは異なる操作(例えば、継続アイコンに対するフリック)が割り当てられる。消去指示条件によれば、ユーザは好きな時に継続アイコンを消去できる。
あるいは、操作待ち条件と消去指示条件との両方を採用してもよく、それによれば利便性が更に向上する。
<継続アイコンの個数>
複数の継続アイコンを同時に表示させることも可能である。例えば、スライド方向が異なる複数のスライド継続アイコンを表示させてもよいし、あるいは、スライド継続アイコンと拡大継続アイコンと右回転継続アイコンとを表示させてもよい。この場合、それぞれの継続アイコンについて、上記処理フローS10,S30,S50が並列に管理される。また、同時に表示する継続アイコンの個数に制限を設けてもよい。
<スライドと表示サイズ変更との組み合わせ>
図39に、スライドと表示サイズ変更とを同時に実行させる操作を例示する。図39の例では、スライド継続アイコン72に対する実行指示操作が、表示サイズの拡大を指示するピンチアウト操作と組み合わされている。
より具体的には、制御部16は、スライド継続アイコン72がタッチされると共に、スライド継続アイコン72以外の地点がタッチされた場合に、組み合わせ操作が入力されたと判断する。そして、制御部16は、スライド継続アイコン72をタッチした状態を保ちつつ、スライド継続アイコン72以外の地点をタッチした指でドラッグまたはフリックを行う操作(すなわち、1点移動型のピンチ操作)を識別する。この際、ピンチ操作の方向によって、ピンチアウトとピンチインとが識別される。
かかる識別の結果、制御部16は、スライド指示と組み合わされているのが表示サイズ拡大の指示であると判断し、スライドと表示サイズ拡大とを同時に実行する。
なお、ピンチアウトに代えてピンチインを行うことにより、スライドと表示サイズ縮小とを同時に実行可能である。
あるいは、図40に例示するように、表示サイズ拡大操作は、スライド継続アイコン72以外の地点に表示されている拡大アイコン100(表示サイズ変更アイコンの一例である)をタッチする操作であってもよい。この場合、スライド継続アイコン72と拡大アイコン100とに対して2点タッチ操作をすることになる。
ここで、拡大アイコン100として、拡大継続アイコン80(図15参照)を利用可能である。すなわち、スライド継続アイコン72と拡大継続アイコン80が同時に表示されている場合、これらのアイコン72,80に2点タッチ操作を行えばよい。
あるいは、拡大継続アイコン80ではない通常の拡大アイコンを、拡大アイコン100として、スライド継続アイコン72と一緒に表示させてもよい。すなわち、2つのアイコン72,100をワンセットにして表示するのである。
図40の例では、表示サイズ変更アイコンの他の一例である縮小アイコン102も設けられている。縮小アイコン102は、縮小継続アイコン82(図16参照)であってもよいし、通常の縮小アイコンであってもよい。
なお、図40の例とは異なり、拡大アイコン100と縮小アイコン102のいずれか一方のみが表示される場合もある。また、これらのアイコン100,102のデザインは図40の例に限定されるものではない。
<取り消し操作>
図41に、取り消し操作を説明する図を示す。図41の例によれば、取り消しアイコン104が、ステップS15(図20参照)において、スライド継続アイコン72と共に表示される。取り消しアイコン104は、スライド継続アイコン72に対して行った実行指示操作を取り消すためのアイコンである。
これにより、図32のステップS31において、取り消しアイコン104に対する実行操作(取り消し実行操作と称することにする)として、例えばタップまたは長押しが行われた場合、制御部16は、ステップS32,S33,S35によって、表示面の表示情報を、スライド継続アイコン72を使ってスライドが実行される前の状態に戻す。例えば、スライド継続アイコン72用に設定されているスライド方向(すなわち、制御方向)を、反対方向に設定してスライド機能を実行することによって、表示情報を前の状態に戻すことが可能である。
また、取り消しアイコン104の使用時のスライド量およびスライド速度の設定については、スライド継続アイコン72について説明した上記各種事項を適用可能である。このため、例えば、取り消しアイコン104の使用時にも、断続的なスライドを実行できる。また、例えば、スライド継続アイコン72によって断続的なスライドが実行される一方、取り消しアイコン104によって連続的なスライドが実行されるように、異なる設定を採用してもよい。
このように取り消しアイコン104をスライド継続アイコン72とワンセットで提供することにより、スライド継続アイコン72の利便性が向上する。
なお、取り消しアイコン104は、他の継続アイコンと組み合わせることも可能である。また、取り消しアイコン104のデザインは図41の例に限定されるものではない。
<効果>
情報表示装置10によれば、上記の各種効果が得られ、更にその結果、高い利便性を提供できる。なお、上記では、ジェスチャ操作がドラッグであり、ドラッグに関連付けられている画面移動変形型機能がスライド機能である場合を主に例示したが、他のジェスチャ操作および他の画面移動変形型機能についても、同様の効果が得られる。
<変形例>
上記では、表示部12に表示される表示情報が地図画像である場合を主に例示した。しかし、継続アイコンの利用は、地図画像に限定されるものではない。例えば、書籍、楽曲等のタイトルのリスト、および、ウェブ検索結果のリストに対するスライド等にも、継続アイコンを利用可能である。また、例えば、電子書籍等のページめくり、および、電子アルバム等のコンテンツ選択にも継続アイコンを利用可能である。
また、ジェスチャ操作および継続アイコンの制御対象となる表示情報は、表示面全体に表示されていてもよいし、表示面の一部に表示されていてもよい。表示面の一部に表示されている表示情報とは、例えば、当該一部に設けられたウィンドウ内の表示情報である。また、表示面の一部は、図42に例示するように、1次元的であってもよい。すなわち、図42の例では、表示情報を形成する要素A,B,C,D,E,F,G,H,Iがジグザグの経路上を、列をなして(換言すれば、連結されて)移動し、その移動がドラッグまたはフリックによって制御される。
また、上記では入力部14として接触型のタッチパネルを例示した。これに対し、非接触型(3次元(3D)型とも称される)タッチパネルを入力部14に採用することも可能である。
非接触型によれば、センサ群の検出可能領域(換言すれば、ユーザ入力を受け付け可能な入力領域)が入力面上に3次元空間として提供され、その3次元空間内の指を入力面上に投影した位置が検出される。また、非接触型の中には入力面から指までの距離を検出可能な方式もある。その方式によれば、指位置を3次元位置として検出可能であるし、更には指の接近および後退も検出可能である。非接触型タッチパネルとして種々の方式が開発されているが、例えば、静電容量方式の一つである投影容量方式が知られている。
なお、上記ではユーザが入力に用いる指示物として指を例示したが、例えば指以外の部位を指示物として利用することも可能である。また、例えばタッチペン(スタイラスペンとも称される)等の道具を指示物として利用してもよい。
また、入力部14に、いわゆるモーションセンシング技術を利用してもよい。モーションセンシング技術として種々の方式が開発されている。例えば、加速度センサ等を搭載したコントローラをユーザが把持または装着することによって、ユーザの動きを検出する方式が知られている。また、例えば、カメラの撮像画像から指等の特徴点を抽出し、その抽出結果からユーザの動きを検出する方式が知られている。モーションセンシング技術を利用した入力部14によっても、直感的な操作環境が提供される。
また、上記では入力兼表示部20を例示したが、表示部12と入力部14とが別々に配置されても構わない。この場合でも、入力部14がタッチパネル等で構成されることによって、直感的な操作環境が提供される。
また、情報表示装置10は、上記要素12,14,16,18以外の要素を、更に含んでもよい。例えば、聴覚的情報を出力する音声出力部と、各種機器との間で有線通信または無線通信を行う通信部と、情報表示装置10の現在位置を例えばGPS(Global Positioning System)方式に準拠して検出する現在位置検出部と、のうちの1つ以上が追加されてもよい。
音声出力部によれば、例えば、操作音、効果音、ガイダンス音声、等を出力可能である。例えば、継続アイコンの出現、利用および消去の各タイミングで、通知音を出力可能である。また、通信部は、例えば、記憶部18に格納する情報の新規取得および更新に利用可能である。また、現在位置検出部は、例えばナビゲーション機能に利用可能である。
情報表示装置10の用途は特に限定されるものではない。例えば、情報表示装置10は携帯型またはデスクトップ型の情報機器であってもよい。あるいは、自動車等の移動体に搭載される、ナビゲーション装置またはオーディオ・ビジュアル装置に、情報表示装置10が応用されてもよい。
また、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。
10 情報表示装置、12 表示部、14 入力部、16 制御部、18 記憶部、20 入力兼表示部、32 表示面、32b 周縁領域、34 入力面(入力領域)、34b 周縁領域、70 ドラッグ、70a 始点、70b 終点、70c 終点領域、70d 延長線、70e 始点側部分、70f 終点側部分、72 スライド継続アイコン、80 拡大継続アイコン(表示サイズ変更継続アイコン)、82 縮小継続アイコン(表示サイズ変更継続アイコン)、84 右回転継続アイコン、86 左回転継続アイコン、90 スライド方向、100 拡大アイコン(表示サイズ変更アイコン)、102 縮小アイコン(表示サイズ変更アイコン)、104 取り消しアイコン、S10,S30,S50 処理フロー。

Claims (20)

  1. 表示面を有する表示部と、
    ユーザ操作を受け付ける入力部と、
    前記ユーザ操作が、前記表示面上の表示情報を、ジェスチャ方向に応じて設定される制御方向に制御する画面移動変形型機能に関連付けられたジェスチャ操作であり、且つ、前記ジェスチャ操作が同じジェスチャ方向に、予め定められた回数、連続して繰り返された場合、前記画面移動変形型機能を実行させるための継続アイコンを前記表示面に表示させ、前記継続アイコンの表示後の前記ユーザ操作が、前記継続アイコンの表示中に行われ且つ表示中の前記継続アイコンに対して行われる実行指示操作である場合、前記継続アイコンの出現に関与した前記ジェスチャ操作のときと同じ前記制御方向で以て前記画面移動変形型機能を実行する、制御部と
    を備える情報表示装置。
  2. 表示面を有する表示部と、
    ユーザ操作を受け付ける入力部と、
    前記ユーザ操作が、前記表示面上の表示情報を、ジェスチャ方向に応じて設定される制御方向に制御する画面移動変形型機能に関連付けられたジェスチャ操作である場合、前記画面移動変形型機能を実行させるための継続アイコンの前記表示面における表示位置を、前記ジェスチャ操作の軌跡に基づいて定められた規則に従って決定し、決定した表示位置に前記継続アイコンを表示させ、前記継続アイコンの表示後の前記ユーザ操作が、前記継続アイコンの表示中に行われ且つ表示中の前記継続アイコンに対して行われる実行指示操作である場合、前記継続アイコンの出現に関与した前記ジェスチャ操作のときと同じ前記制御方向で以て前記画面移動変形型機能を実行する、制御部と
    を備える情報表示装置。
  3. 表示面を有する表示部と、
    ユーザ操作を受け付ける入力部と、
    前記ユーザ操作が、前記表示面上の表示情報を、ジェスチャ方向に応じて設定される制御方向に制御する画面移動変形型機能に関連付けられたジェスチャ操作であり、且つ、前記ジェスチャ操作の1回の操作速度が、予め定められた閾値以上である場合、前記画面移動変形型機能を実行させるための継続アイコンを前記表示面に表示させ、前記継続アイコンの表示後の前記ユーザ操作が、前記継続アイコンの表示中に行われ且つ表示中の前記継続アイコンに対して行われる実行指示操作である場合、前記継続アイコンの出現に関与した前記ジェスチャ操作のときと同じ前記制御方向で以て前記画面移動変形型機能を実行する、制御部と
    を備える情報表示装置。
  4. 前記制御部は、前記ジェスチャ操作の1回の操作時間の長さが、予め定められた閾値に達した場合に、前記継続アイコンを表示させる、請求項1または請求項2に記載の情報表示装置。
  5. 前記制御部は、前記ジェスチャ操作の繰り返し速度が、予め定められた閾値以上である場合に、前記継続アイコンを表示させる、請求項に記載の情報表示装置。
  6. 前記制御部は、前記ジェスチャ操作の1回のジェスチャ量が、予め定められた閾値に達した場合に、前記継続アイコンを表示させる、請求項1または請求項2に記載の情報表示装置。
  7. 前記制御部は、前記ジェスチャ操作の終点が、前記表示面上の予め定められた領域内の地点に対応する場合に、前記継続アイコンを表示させる、請求項1から請求項3までのうちのいずれか一項に記載の情報表示装置。
  8. 前記制御部は、前記ジェスチャ操作に引き続いて継続アイコン呼び出し操作が行われた場合、または、前記ジェスチャ操作の後に無操作状態が、予め定められた時間、続いた場合に、前記継続アイコンを表示させる、請求項1から請求項3までのうちのいずれか一項に記載の情報表示装置。
  9. 前記制御部は、前記ジェスチャ操作のジェスチャ量またはジェスチャ速度を、前記継続アイコンに対して前記実行指示操作が行われた場合における前記表示情報の制御量または制御速度に、反映させる、請求項1から請求項3までのうちのいずれか一項に記載の情報表示装置。
  10. 前記制御部は、前記継続アイコンを前記表示面に表示させると共に、前記継続アイコンに対して行った前記実行指示操作を取り消すための取り消しアイコンを、前記表示面に表示させ、前記ユーザ操作が前記取り消しアイコンに対する取り消し実行操作である場合、前記表示面の前記表示情報を、前記継続アイコンによって前記画面移動変形型機能が実行される前の状態に戻す、請求項1から請求項3までのうちのいずれか一項に記載の情報表示装置。
  11. 前記制御部は、前記ジェスチャ操作の終点または前記終点を含んで定められた終点領域を前記表示面上に対応付け、前記表示面上で前記終点領域内に前記継続アイコンを表示させる、請求項に記載の情報表示装置。
  12. 前記制御部は、前記ジェスチャ操作のジェスチャ軌跡または前記ジェスチャ軌跡の延長線を前記表示面上に対応付け、前記表示面上で前記延長線上に前記継続アイコンを表示させる、請求項に記載の情報表示装置。
  13. 前記継続アイコンは帯状のアイコンである、請求項1から請求項3までのうちのいずれか一項に記載の情報表示装置。
  14. 前記画面移動変形型機能は、前記表示情報を前記制御方向にスライドさせるスライド機能であり、
    前記制御方向は、前記表示情報のスライド方向であり、
    前記継続アイコンは、前記スライド機能を継続させるためのスライド継続アイコンであり、
    前記制御部は、前記ジェスチャ操作のジェスチャ軌跡または前記ジェスチャ軌跡の延長線を前記表示面上に対応付け、前記表示面上で前記延長線の方向を前記スライド方向に設定する、
    請求項1から請求項3までのうちのいずれか一項に記載の情報表示装置。
  15. 前記画面移動変形型機能は、前記表示情報を前記制御方向にスライドさせるスライド機能であり、
    前記制御方向は、前記表示情報のスライド方向であり、
    前記継続アイコンは、前記スライド機能を継続させるためのスライド継続アイコンであり、
    前記制御部は、前記ジェスチャ操作のジェスチャ軌跡または前記ジェスチャ軌跡の延長線を前記表示面上に対応付け、前記表示面上で前記ジェスチャ軌跡の終点を起点にして設定される複数方向のうちから、前記延長線に最も近似する方向を前記スライド方向として抽出する、
    請求項1から請求項3までのうちのいずれか一項に記載の情報表示装置。
  16. 前記画面移動変形型機能は、前記表示情報を前記制御方向にスライドさせるスライド機能であり、
    前記継続アイコンは、前記スライド機能を継続させるためのスライド継続アイコンであり、
    前記制御部は、前記ユーザ操作が、前記スライド継続アイコンに対する前記実行指示操作と、前記表示情報の表示サイズを変更するための表示サイズ変更操作と、の組み合わせ操作である場合、前記表示情報に対してスライドと表示サイズ変更とを同時に行う、
    請求項1から請求項3までのうちのいずれか一項に記載の情報表示装置。
  17. 前記制御部は、前記スライド継続アイコンがタッチされると共に前記スライド継続アイコン以外の地点がタッチされた場合に、前記ユーザ操作が前記組み合わせ操作であると判断する、請求項16に記載の情報表示装置。
  18. (a)ユーザ操作を受け付けるステップと、
    (b)前記ユーザ操作を識別するステップと、
    (c)前記ユーザ操作が、表示面上の表示情報を、ジェスチャ方向に応じて設定される制御方向に制御する画面移動変形型機能に関連付けられたジェスチャ操作であり、且つ、前記ジェスチャ操作が同じジェスチャ方向に、予め定められた回数、連続して繰り返された場合、前記画面移動変形型機能を実行させるための継続アイコンを前記表示面に表示させるステップと、
    (d)前記ステップ(c)の後の前記ユーザ操作が、前記継続アイコンの表示中に行われ且つ表示中の前記継続アイコンに対して行われる実行指示操作である場合、前記継続アイコンの出現に関与した前記ジェスチャ操作のときと同じ前記制御方向で以て前記画面移動変形型機能を実行するステップと
    を備える表示情報操作方法。
  19. (a)ユーザ操作を受け付けるステップと、
    (b)前記ユーザ操作を識別するステップと、
    (c)前記ユーザ操作が、表示面上の表示情報を、ジェスチャ方向に応じて設定される制御方向に制御する画面移動変形型機能に関連付けられたジェスチャ操作である場合、前記画面移動変形型機能を実行させるための継続アイコンの前記表示面における表示位置を、前記ジェスチャ操作の軌跡に基づいて定められた規則に従って決定し、決定した表示位置に前記継続アイコンを表示させるステップと、
    (d)前記ステップ(c)の後の前記ユーザ操作が、前記継続アイコンの表示中に行われ且つ表示中の前記継続アイコンに対して行われる実行指示操作である場合、前記継続アイコンの出現に関与した前記ジェスチャ操作のときと同じ前記制御方向で以て前記画面移動変形型機能を実行するステップと
    を備える表示情報操作方法。
  20. (a)ユーザ操作を受け付けるステップと、
    (b)前記ユーザ操作を識別するステップと、
    (c)前記ユーザ操作が、表示面上の表示情報を、ジェスチャ方向に応じて設定される制御方向に制御する画面移動変形型機能に関連付けられたジェスチャ操作であり、且つ、前記ジェスチャ操作の1回の操作速度が、予め定められた閾値以上である場合、前記画面移動変形型機能を実行させるための継続アイコンを前記表示面に表示させるステップと、
    (d)前記ステップ(c)の後の前記ユーザ操作が、前記継続アイコンの表示中に行われ且つ表示中の前記継続アイコンに対して行われる実行指示操作である場合、前記継続アイコンの出現に関与した前記ジェスチャ操作のときと同じ前記制御方向で以て前記画面移動変形型機能を実行するステップと
    を備える表示情報操作方法。
JP2014541846A 2012-10-16 2012-10-16 情報表示装置および表示情報操作方法 Active JP5738494B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/076679 WO2014061097A1 (ja) 2012-10-16 2012-10-16 情報表示装置および表示情報操作方法

Publications (2)

Publication Number Publication Date
JP5738494B2 true JP5738494B2 (ja) 2015-06-24
JPWO2014061097A1 JPWO2014061097A1 (ja) 2016-09-05

Family

ID=50487686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014541846A Active JP5738494B2 (ja) 2012-10-16 2012-10-16 情報表示装置および表示情報操作方法

Country Status (5)

Country Link
US (1) US20150212683A1 (ja)
JP (1) JP5738494B2 (ja)
CN (1) CN104736969B (ja)
DE (1) DE112012007203T5 (ja)
WO (1) WO2014061097A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2860622B1 (en) * 2012-06-08 2020-04-08 NEC Corporation Electronic device and controlling method and program therefor
JP5923395B2 (ja) * 2012-06-26 2016-05-24 京セラ株式会社 電子機器
US9612740B2 (en) * 2013-05-06 2017-04-04 Barnes & Noble College Booksellers, Inc. Swipe-based delete confirmation for touch sensitive devices
CN105378635B (zh) * 2013-07-22 2019-08-02 惠普发展公司,有限责任合伙企业 多区域触摸板
JP6071866B2 (ja) * 2013-12-18 2017-02-01 キヤノン株式会社 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム
US10628027B2 (en) 2014-02-21 2020-04-21 Groupon, Inc. Method and system for a predefined suite of consumer interactions for initiating execution of commands
US10534502B1 (en) * 2015-02-18 2020-01-14 David Graham Boyers Methods and graphical user interfaces for positioning the cursor and selecting text on computing devices with touch-sensitive displays
JP6433347B2 (ja) * 2015-03-16 2018-12-05 三菱電機株式会社 地図表示制御装置および地図の自動スクロール方法
JP6601201B2 (ja) * 2015-03-19 2019-11-06 株式会社デンソーウェーブ ロボット操作装置、及びロボット操作プログラム
KR102508833B1 (ko) 2015-08-05 2023-03-10 삼성전자주식회사 전자 장치, 전자 장치의 문자 입력 방법
CN107102772B (zh) * 2017-04-25 2020-06-19 北京小米移动软件有限公司 触控方法及装置
JP2018190268A (ja) * 2017-05-10 2018-11-29 富士フイルム株式会社 タッチ式操作装置とその作動方法および作動プログラム
USD889492S1 (en) 2017-09-05 2020-07-07 Byton Limited Display screen or portion thereof with a graphical user interface
USD890195S1 (en) 2017-09-05 2020-07-14 Byton Limited Display screen or portion thereof with a graphical user interface
USD907653S1 (en) 2017-09-05 2021-01-12 Byton Limited Display screen or portion thereof with a graphical user interface
US10746560B2 (en) * 2017-09-05 2020-08-18 Byton Limited Interactive mapping
WO2019117002A1 (ja) * 2017-12-12 2019-06-20 コネクテックジャパン株式会社 情報処理システム
JP7078845B2 (ja) * 2018-04-03 2022-06-01 株式会社ミクシィ 情報処理装置、機能表示方法及び機能表示プログラム
US11320983B1 (en) * 2018-04-25 2022-05-03 David Graham Boyers Methods and graphical user interfaces for positioning a selection, selecting, and editing, on a computing device running applications under a touch-based operating system
CN109269522A (zh) * 2018-08-28 2019-01-25 广东卡仕达电子科技有限公司 一种车载导航仪的操作方法
JP2020042417A (ja) * 2018-09-07 2020-03-19 アイシン精機株式会社 表示制御装置
CN110322775B (zh) * 2019-05-30 2021-06-29 广东省机场管理集团有限公司工程建设指挥部 机场信息的展示方法、装置、计算机设备和存储介质
JP7259581B2 (ja) * 2019-06-18 2023-04-18 京セラドキュメントソリューションズ株式会社 情報処理装置
JP2022122637A (ja) * 2021-02-10 2022-08-23 シャープ株式会社 表示装置、表示方法、及び表示プログラム
CN113778310A (zh) * 2021-08-05 2021-12-10 阿里巴巴新加坡控股有限公司 跨设备控制方法及计算机程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010079802A (ja) * 2008-09-29 2010-04-08 Fujitsu Ltd 携帯端末装置、表示制御方法および表示制御プログラム
JP2011028635A (ja) * 2009-07-28 2011-02-10 Sony Corp 表示制御装置、表示制御方法およびコンピュータプログラム
JP2012033061A (ja) * 2010-07-30 2012-02-16 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070132789A1 (en) * 2005-12-08 2007-06-14 Bas Ording List scrolling in response to moving contact over list of index symbols
JP4678534B2 (ja) * 2007-06-07 2011-04-27 ソニー株式会社 ナビゲーション装置及び地図スクロール処理方法
CN101582006B (zh) * 2008-05-13 2012-07-11 明基电通有限公司 交互式电子装置及其交互方法
US8566741B2 (en) * 2008-08-29 2013-10-22 Microsoft Corporation Internal scroll activation and cursor adornment
JP2010086230A (ja) * 2008-09-30 2010-04-15 Sony Corp 情報処理装置、情報処理方法およびプログラム
CN102023788A (zh) * 2009-09-15 2011-04-20 宏碁股份有限公司 触控屏幕显示画面控制方法
US8274592B2 (en) * 2009-12-22 2012-09-25 Eastman Kodak Company Variable rate browsing of an image collection
JP5230684B2 (ja) * 2010-05-13 2013-07-10 パナソニック株式会社 電子機器、表示方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010079802A (ja) * 2008-09-29 2010-04-08 Fujitsu Ltd 携帯端末装置、表示制御方法および表示制御プログラム
JP2011028635A (ja) * 2009-07-28 2011-02-10 Sony Corp 表示制御装置、表示制御方法およびコンピュータプログラム
JP2012033061A (ja) * 2010-07-30 2012-02-16 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
WO2014061097A1 (ja) 2014-04-24
US20150212683A1 (en) 2015-07-30
DE112012007203T5 (de) 2015-08-20
CN104736969A (zh) 2015-06-24
JPWO2014061097A1 (ja) 2016-09-05
CN104736969B (zh) 2016-11-02

Similar Documents

Publication Publication Date Title
JP5738494B2 (ja) 情報表示装置および表示情報操作方法
JP5738495B2 (ja) 情報表示装置および表示情報操作方法
US11003304B2 (en) Information display terminal, information display method and program
US10318146B2 (en) Control area for a touch screen
JP4557058B2 (ja) 情報表示端末、情報表示方法、およびプログラム
US9626034B2 (en) Organizational tools on a multi-touch display device
KR101586559B1 (ko) 정보 처리 장치 및 정보 처리 방법
KR20130099186A (ko) 표시 장치, 유저 인터페이스 방법, 및 프로그램
TWI490771B (zh) 可編程顯示器及其畫面操作處理程式
US9927973B2 (en) Electronic device for executing at least one application and method of controlling said electronic device
US9557907B2 (en) Display device capturing digital content and method of controlling therefor
WO2012160829A1 (ja) タッチスクリーン装置、タッチ操作入力方法及びプログラム
KR102161061B1 (ko) 복수의 페이지 표시 방법 및 이를 위한 단말
JP5921703B2 (ja) 情報表示装置および情報表示装置における操作制御方法
JP2013089201A (ja) 入力制御装置、入力制御方法、及び入力制御プログラム
JP2013012063A (ja) 表示制御装置
US11221754B2 (en) Method for controlling a display device at the edge of an information element to be displayed
US20200341607A1 (en) Scrolling interface control for computer display
US10915240B2 (en) Method of selection and manipulation of graphical objects
KR101136327B1 (ko) 휴대 단말기의 터치 및 커서 제어방법 및 이를 적용한 휴대 단말기
JP6548443B2 (ja) 表示制御装置、表示制御方法、及びプログラム
KR102118046B1 (ko) 포터블 디바이스 및 그 제어 방법

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150421

R150 Certificate of patent or registration of utility model

Ref document number: 5738494

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250