JP6227213B1 - Touch gesture determination device, touch gesture determination method, touch gesture determination program, and touch panel input device - Google Patents

Touch gesture determination device, touch gesture determination method, touch gesture determination program, and touch panel input device Download PDF

Info

Publication number
JP6227213B1
JP6227213B1 JP2017540659A JP2017540659A JP6227213B1 JP 6227213 B1 JP6227213 B1 JP 6227213B1 JP 2017540659 A JP2017540659 A JP 2017540659A JP 2017540659 A JP2017540659 A JP 2017540659A JP 6227213 B1 JP6227213 B1 JP 6227213B1
Authority
JP
Japan
Prior art keywords
mode
gesture
touch
determination
touch gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017540659A
Other languages
Japanese (ja)
Other versions
JPWO2018167865A1 (en
Inventor
琴由 笹山
琴由 笹山
佐々木　雄一
雄一 佐々木
前川　拓也
拓也 前川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6227213B1 publication Critical patent/JP6227213B1/en
Publication of JPWO2018167865A1 publication Critical patent/JPWO2018167865A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

タッチジェスチャ判定装置１１０は、操作情報入力部１１と、操作判定部１２と、通知部１３と、表示制御部１４とを有し、操作判定部１２は、表示部品入力判定部１２ａと、画面全体入力判定部１２ｂと、操作モード切り替え判定部１２ｃとを有し、画面全体入力判定部１２ｂは、ジェスチャモード判定部１１３を有する。ジェスチャモード判定部１１３は、タッチジェスチャ操作がスライダージェスチャであると判定された場合、スライダーモードのパラメータによりモード逸脱判定を行い、タッチジェスチャ操作がダイヤルジェスチャであると判定された場合、ダイヤルモードのパラメータによりモード逸脱判定を行う。The touch gesture determination apparatus 110 includes an operation information input unit 11, an operation determination unit 12, a notification unit 13, and a display control unit 14. The operation determination unit 12 includes a display component input determination unit 12a and an entire screen. The input determination unit 12b and the operation mode switching determination unit 12c are included, and the entire screen input determination unit 12b includes a gesture mode determination unit 113. When it is determined that the touch gesture operation is a slider gesture, the gesture mode determination unit 113 performs mode deviation determination based on the slider mode parameter. When the touch gesture operation is determined to be a dial gesture, the gesture mode determination unit 113 determines the parameter of the dial mode. The mode deviation is determined by

Description

本発明は、タッチジェスチャ操作に対応する操作情報が入力され、入力された操作情報に基づく信号を出力するためのタッチジェスチャ判定装置、タッチジェスチャ判定方法、及びタッチジェスチャ判定プログラム、並びに、タッチジェスチャ操作を受け付け、タッチジェスチャ操作に基づく信号を出力するタッチパネル入力装置に関する。   The present invention relates to a touch gesture determination device, a touch gesture determination method, a touch gesture determination program, and a touch gesture operation for inputting operation information corresponding to a touch gesture operation and outputting a signal based on the input operation information. And a touch panel input device that outputs a signal based on a touch gesture operation.

タッチ操作などでタッチパネルに情報を入力するときに、２つの異なるジェスチャの操作が似ている場合（たとえば２点タッチでのスライダー操作と、２点タッチでのダイヤル操作など）には、１つのジェスチャ操作中に、他のジェスチャと誤判定されてしまい、正しく入力が行えない場合がある。   When inputting information to the touch panel by touch operation or the like, if two different gesture operations are similar (for example, slider operation by two-point touch and dial operation by two-point touch), one gesture During operation, it may be erroneously determined as another gesture and input may not be performed correctly.

特許文献１には、３次元空間で行うジェスチャで、過去のジェスチャ操作履歴を利用し、そのジェスチャ操作が切り替わったタイミングからの相対的な動きを元に、次のジェスチャ操作に切り替わったかを判定する方法が開示されている。   In Patent Document 1, a gesture performed in a three-dimensional space is used to determine whether the gesture operation has been switched to the next gesture operation based on the relative movement from the timing at which the gesture operation has been switched, using the past gesture operation history. A method is disclosed.

特表２０１２−５２８４０５号公報Special table 2012-528405 gazette

しかしながら、特許文献１には、あるモードに切り替わったときの状態を初期とし、そこからの回転角度及び移動量を判定しているが、その初期状態からの閾値を変更することについては記載されていない。そのため、あるモードでのジェスチャ操作中に、他のモードのジェスチャと誤認識されてしまう問題があった。   However, in Patent Document 1, the state when the mode is switched to a certain mode is set as an initial state, and the rotation angle and movement amount from the state are determined. However, changing the threshold value from the initial state is described. Absent. For this reason, there is a problem that a gesture in another mode is erroneously recognized as a gesture in another mode during a gesture operation in a certain mode.

本発明は、上記の問題点を解決するためになされたものであり、あるモードでのジェスチャ操作中に、他のモードのジェスチャと誤認識されることを防ぎ、ジェスチャでの入力操作を容易とすることを目的とする。   The present invention has been made to solve the above-described problems, and prevents erroneous recognition as a gesture in another mode during a gesture operation in a certain mode, thereby facilitating an input operation in the gesture. The purpose is to do.

本発明の一態様に係るタッチジェスチャ判定装置は、画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく出力情報を生成するタッチジェスチャ判定装置であって、前記タッチジェスチャ判定装置は、前記操作情報に基づいて、前記タッチパネルの表示のための出力情報を生成する操作判定部と、前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御部と、を有し、前記操作判定部は、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定部を有し、前記画面全体入力判定部は、前記タッチジェスチャ操作のジェスチャモードが前記ユーザの指を前記タッチパネルに接触させたまま滑らせるように動かすスライダージェスチャのジェスチャモードであるスライダーモードであるか、前記指の２点以上のタッチによりダイヤルを回転させるように操作するダイヤルジェスチャのジェスチャモードであるダイヤルモードであるかを判定するジェスチャモード判定部と、前記スライダーモードに関する第１のパラメータと、前記ダイヤルモードに関し、前記第１のパラメータと異なる第２のパラメータとを有し、前記ジェスチャモード判定部は、前記タッチジェスチャ操作のジェスチャモードが前記スライダーモードであると判定した場合には前記第１のパラメータを用いて前記スライダーモードからの逸脱を判定するモード逸脱判定を行い、前記タッチジェスチャ操作のジェスチャモードが前記ダイヤルモードであると判定した場合には前記第２のパラメータを用いて前記ダイヤルモードからの逸脱を判定するモード逸脱判定を行うことを特徴とする。 A touch gesture determination apparatus according to an aspect of the present invention receives an operation image from a touch panel that displays an operation image on a screen, receives a user's touch gesture operation, and outputs operation information corresponding to the touch gesture operation. A touch gesture determination device that generates output information based on the operation information, the touch gesture determination device including an operation determination unit that generates output information for display on the touch panel based on the operation information; A display control unit that receives the output information and causes the touch panel to display an image corresponding to the output information as the operation image. The operation determination unit is performed on the entire screen of the touch panel. Touch performed in full screen input mode to identify input content based on touch gesture operation Has a whole screen input determination unit which determines the output information from the operation information corresponding to Esucha operation, the entire screen input determination unit, the gesture mode touch gesture operation is brought into contact with a finger of the user on the touch panel Determines whether the slider mode is a gesture mode for a slider gesture that moves while sliding, or the dial mode is a gesture mode for a dial gesture that operates to rotate the dial by touching two or more points of the finger. A gesture mode determining unit, a first parameter relating to the slider mode, and a second parameter different from the first parameter relating to the dial mode , wherein the gesture mode determining unit is configured to perform the touch gesture operation. gesture mode is the slide If it is determined that the Damodo performs determining mode deviation determination deviations from the slider mode using the first parameter, when the gesture mode touch gesture operation is determined to be the dial mode Is characterized in that mode deviation determination is performed to determine deviation from the dial mode using the second parameter.

本発明の他の態様に係るタッチジェスチャ判定方法は、画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく出力情報を生成するタッチジェスチャ判定方法であって、前記タッチジェスチャ判定方法は、前記操作情報に基づいて、前記タッチパネルの表示のための出力情報を生成する操作判定ステップと、前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御ステップと、を有し、前記操作判定ステップは、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定ステップを有し、前記画面全体入力判定ステップは、前記タッチジェスチャ操作のジェスチャモードが前記ユーザの指を前記タッチパネルに接触させたまま滑らせるように動かすスライダージェスチャのジェスチャモードであるスライダーモードであるか、前記指の２点以上のタッチによりダイヤルを回転させるように操作するダイヤルジェスチャのジェスチャモードであるダイヤルモードであるかを判定するジェスチャモード判定ステップを有し、前記ジェスチャモード判定ステップは、前記スライダーモードに関する第１のパラメータと、前記ダイヤルモードに関し、前記第１のパラメータと異なる第２のパラメータとから、前記タッチジェスチャ操作のジェスチャモードが前記スライダーモードであると判定した場合には前記第１のパラメータを用いて前記スライダーモードからの逸脱を判定するモード逸脱判定を行い、前記タッチジェスチャ操作のジェスチャモードが前記ダイヤルモードであると判定した場合には前記第２のパラメータを用いて前記ダイヤルモードからの逸脱を判定するモード逸脱判定を行うことを特徴とする。 The touch gesture determination method according to another aspect of the present invention displays an operation image on a screen, accepts a user's touch gesture operation, and outputs the operation information from a touch panel that outputs operation information corresponding to the touch gesture operation. A touch gesture determination method for receiving and generating output information based on the operation information, the touch gesture determination method including an operation determination step for generating output information for display on the touch panel based on the operation information; A display control step of receiving the output information and causing the touch panel to display an image corresponding to the output information as the operation image. The operation determination step is performed on the entire screen of the touch panel. Enter the entire screen input mode to identify the input content based on touch gesture operation Has a whole screen input determination step of determining the output information from the operation information corresponding to the touch gesture operation performed you are, the whole screen input determination step, the gesture mode touch gesture operation is the finger of the user A dial mode that is a gesture mode of a slider gesture that moves to slide while touching the touch panel, or a gesture mode of a dial gesture that operates to rotate the dial by touching two or more points of the finger. A gesture mode determination step for determining whether or not the gesture mode determination step includes: a first parameter related to the slider mode ; and a second parameter different from the first parameter regarding the dial mode . The above If the gesture mode Ji gesture operation is determined to be the slider mode performs determining mode deviation determination deviations from the slider mode using the first parameter, the gesture mode touch gesture operation is the When it is determined that the dial mode is selected, mode deviation determination is performed using the second parameter to determine deviation from the dial mode .

本発明の他の態様に係るタッチパネル入力装置は、画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルと、前記操作情報を受け取り、前記操作情報に基づいて前記タッチパネルの表示を制御するタッチジェスチャ判定装置とを有するタッチパネル入力装置であって、前記タッチジェスチャ判定装置は、前記操作情報に基づいて、前記タッチパネルの表示のための出力情報を生成する操作判定部と、前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御部と、を有し、前記操作判定部は、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定部を有し、前記画面全体入力判定部は、前記タッチジェスチャ操作のジェスチャモードが前記ユーザの指を前記タッチパネルに接触させたまま滑らせるように動かすスライダージェスチャのジェスチャモードであるスライダーモードであるか、前記指の２点以上のタッチによりダイヤルを回転させるように操作するダイヤルジェスチャのジェスチャモードであるダイヤルモードであるかを判定するジェスチャモード判定部と、前記スライダーモードに関する第１のパラメータと、前記ダイヤルモードに関し、前記第１のパラメータと異なる第２のパラメータとを有し、前記ジェスチャモード判定部は、前記タッチジェスチャ操作のジェスチャモードが前記スライダーモードであると判定した場合には前記第１のパラメータを用いて前記スライダーモードからの逸脱を判定するモード逸脱判定を行い、前記タッチジェスチャ操作のジェスチャモードが前記ダイヤルモードであると判定した場合には前記第２のパラメータを用いて前記ダイヤルモードからの逸脱を判定するモード逸脱判定を行うことを特徴とする。A touch panel input device according to another aspect of the present invention displays an operation image on a screen, receives a touch gesture operation of a user, outputs operation information corresponding to the touch gesture operation, and receives the operation information. A touch gesture determination device that controls a display of the touch panel based on the operation information, wherein the touch gesture determination device outputs an output for displaying the touch panel based on the operation information. An operation determination unit that generates information; and a display control unit that receives the output information and causes the touch panel to display an image corresponding to the output information as the operation image. The operation determination unit includes the touch panel Identifies input based on touch gesture operations performed on the entire screen An entire screen input determining unit that determines the output information from operation information corresponding to a touch gesture operation performed in the entire screen input mode, wherein the entire screen input determining unit is configured such that the gesture mode of the touch gesture operation is the user Is a slider mode that is a gesture mode of a slider gesture that moves the finger so as to slide while touching the touch panel, or a gesture mode of a dial gesture that operates to rotate the dial by touching two or more points of the finger A gesture mode determination unit that determines whether the dial mode is, a first parameter related to the slider mode, and a second parameter related to the dial mode that is different from the first parameter, the gesture mode The determination unit is configured to touch the touch When it is determined that the gesture mode of the gesture operation is the slider mode, a mode deviation determination for determining a deviation from the slider mode is performed using the first parameter, and the gesture mode of the touch gesture operation is the dial. When it is determined that the mode is selected, mode deviation determination is performed using the second parameter to determine deviation from the dial mode.

本発明によれば、あるモードでのジェスチャ操作中に、他のモードのジェスチャと誤認識されることを防ぎ、ジェスチャでの入力操作を容易とすることができる。   ADVANTAGE OF THE INVENTION According to this invention, it can prevent misrecognizing with the gesture of another mode during gesture operation in a certain mode, and can make input operation with a gesture easy.

本発明の実施の形態に係るタッチパネル入力装置の概略構成を示す機能ブロック図である。It is a functional block diagram which shows schematic structure of the touchscreen input device which concerns on embodiment of this invention. 実施の形態における画面全体入力判定部の概略構成を示す機能ブロック図である。It is a functional block diagram which shows schematic structure of the whole screen input determination part in embodiment. 実施の形態に係るタッチパネル入力装置のハードウェア（Ｈ／Ｗ）構成の一例を示す図である。It is a figure which shows an example of the hardware (H / W) structure of the touchscreen input device which concerns on embodiment. （ａ）及び（ｂ）は、実施の形態に係るタッチパネル入力装置におけるタッチパネルの画面及びタッチジェスチャ操作の例を示す図である。(A) And (b) is a figure which shows the example of the screen of a touchscreen, and touch gesture operation in the touchscreen input device which concerns on embodiment. 実施の形態に係るタッチパネル入力装置におけるタッチジェスチャ判定装置の動作（タッチジェスチャ判定方法）を示すフローチャートである。It is a flowchart which shows the operation | movement (touch gesture determination method) of the touch gesture determination apparatus in the touch panel input device which concerns on embodiment. 実施の形態におけるジェスチャモード判定部によるジェスチャモード逸脱判定の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of the gesture mode deviation determination by the gesture mode determination part in embodiment.

以下に、本発明の実施の形態を、添付図面を参照しながら説明する。以下の説明において、タッチパネル入力装置は、タッチ式の操作用の画面（操作画面）を持つタッチパネルと、タッチパネルにおける操作情報を受け取るタッチジェスチャ判定装置とを具備する。   Embodiments of the present invention will be described below with reference to the accompanying drawings. In the following description, the touch panel input device includes a touch panel having a touch operation screen (operation screen) and a touch gesture determination device that receives operation information on the touch panel.

タッチパネル入力装置は、対象機器に搭載されることにより、又は、対象機器と通信可能に接続されることにより、対象機器としての電気機器の操作画面、対象機器としてのカメラの操作画面、対象機器としての工場設備の操作画面、対象機器としての自動車、船舶、航空機などに搭載される操作画面、対象機器としてのスマートフォン及びタブレット端末などの携帯情報端末の操作画面などに適用可能である。   When the touch panel input device is mounted on the target device or connected to be communicable with the target device, the operation screen of the electric device as the target device, the operation screen of the camera as the target device, and the target device The present invention can be applied to an operation screen of factory equipment, an operation screen mounted on a car, a ship, an aircraft, or the like as a target device, an operation screen of a portable information terminal such as a smartphone or a tablet terminal as a target device.

タッチパネル入力装置は、タッチパネルの操作画面からタッチジェスチャ操作（「タッチ操作」とも言う）によって入力された操作情報に基づく信号（例えば、選択値）を、タッチパネル入力装置を搭載した対象機器、又は、タッチパネル入力装置と通信可能な対象機器に提供することができる。   The touch panel input device uses a signal (for example, a selection value) based on operation information input by a touch gesture operation (also referred to as “touch operation”) from the operation screen of the touch panel as a target device equipped with the touch panel input device, or a touch panel. This can be provided to a target device that can communicate with the input device.

タッチパネルは、ユーザが行うタッチジェスチャ操作を受け付けるタッチジェスチャ入力手段である。また、タッチジェスチャ操作は、ユーザの指（又は、ユーザの手の平、又は、ユーザの指及び手の平）などの特定の動きによる情報入力操作である。タッチジェスチャ操作は、タッチパネルの操作画面を指で軽く叩く操作であるタップ、タッチパネルの操作画面を指ではじく操作であるフリック、タッチパネルの操作画面を指でなぞる操作（指を滑らす操作）であるスワイプを含むことができる。   The touch panel is a touch gesture input unit that receives a touch gesture operation performed by a user. The touch gesture operation is an information input operation by a specific movement such as the user's finger (or the user's palm, or the user's finger and palm). Touch gesture operation is tapping, which is an operation of tapping the operation screen of the touch panel with a finger, flicking, which is an operation of flicking the operation screen of the touch panel with a finger, and a swipe which is an operation of sliding the operation screen of the touch panel with a finger (sliding the finger). Can be included.

また、タッチジェスチャ操作は、タッチパネルにおける表示部品を指で引きずる操作であるドラッグ、タッチパネルの操作画面において複数本の指でつまみながら指の間隔を狭める操作であるピンチイン、タッチパネルの操作画面において複数本の指の間隔を広げる操作であるピンチアウトなどを含むことができる。   Touch gesture operations include dragging, which is an operation of dragging a display component on the touch panel with a finger, pinch-in, which is an operation of narrowing the interval between fingers while pinching with multiple fingers on the operation screen of the touch panel, and multiple touch gestures on the operation screen of the touch panel. It can include pinch out, which is an operation to increase the interval between fingers.

また、タッチジェスチャ操作は、２点以上のタッチでダイヤルを回転させるように操作するダイヤルジェスチャ、指をタッチパネルに接触させたまま、指を滑らせるように動かすスライダージェスチャなどを含むことができる。なお、タッチジェスチャ操作は、ペン型の入力補助具であるタッチペンを用いる操作をも含むことができる。   Further, the touch gesture operation may include a dial gesture that operates to rotate the dial with two or more touches, a slider gesture that moves the finger to slide while keeping the finger in contact with the touch panel. Note that the touch gesture operation can include an operation using a touch pen which is a pen-type input auxiliary tool.

実施の形態．
《１》構成
図１は、本発明の実施の形態に係るタッチパネル入力装置１００の概略構成を示す機能ブロック図である。図２は、実施の形態における画面全体入力判定部１２ｂの概略構成を示す機能ブロック図である。図１に示されるように、実施の形態に係るタッチパネル入力装置１００は、タッチジェスチャ判定装置１１０と、タッチパネル１２０とを有している。タッチジェスチャ判定装置１１０は、実施の形態に係るタッチジェスチャ判定方法及び実施の形態に係るタッチジェスチャ判定プログラムを実行することができる装置である。Embodiment.
<< 1 >> Configuration FIG. 1 is a functional block diagram showing a schematic configuration of a touch panel input device 100 according to an embodiment of the present invention. FIG. 2 is a functional block diagram illustrating a schematic configuration of the entire screen input determination unit 12b according to the embodiment. As illustrated in FIG. 1, the touch panel input device 100 according to the embodiment includes a touch gesture determination device 110 and a touch panel 120. The touch gesture determination device 110 is a device that can execute the touch gesture determination method according to the embodiment and the touch gesture determination program according to the embodiment.

図１に示されるように、タッチパネル１２０は、ユーザによって行われるタッチジェスチャ操作を受け付け、タッチジェスチャ操作に対応する操作情報（「タッチ情報」とも言う）Ａ０を出力する操作パネル部１２２と、操作パネル部１２２と重ねて配置され、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面などのような操作用画像を表示することができる表示パネル部１２１とを有している。表示パネル部１２１は、例えば、液晶ディスプレイである。   As shown in FIG. 1, the touch panel 120 receives a touch gesture operation performed by a user and outputs operation information (also referred to as “touch information”) A0 corresponding to the touch gesture operation, and an operation panel. The display panel unit 121 is arranged to overlap the unit 122 and can display an operation image such as a GUI (Graphical User Interface) screen. The display panel unit 121 is, for example, a liquid crystal display.

図１に示されるように、タッチジェスチャ判定装置１１０は、操作情報入力部１１と、操作判定部１２と、表示制御部１４とを有している。タッチジェスチャ判定装置１１０は、通知部１３を有していてもよい。   As illustrated in FIG. 1, the touch gesture determination device 110 includes an operation information input unit 11, an operation determination unit 12, and a display control unit 14. The touch gesture determination device 110 may include a notification unit 13.

操作情報入力部１１は、操作パネル部１２２から出力された操作情報（操作信号）Ａ０を受け取る。操作情報入力部１１は、受け取った操作情報Ａ０に対応する入力情報Ａ１を操作判定部１２に出力する。入力情報Ａ１は、操作情報Ａ０に対応する情報であり、操作情報Ａ０と同じ情報であってもよい。   The operation information input unit 11 receives operation information (operation signal) A0 output from the operation panel unit 122. The operation information input unit 11 outputs input information A1 corresponding to the received operation information A0 to the operation determination unit 12. The input information A1 is information corresponding to the operation information A0, and may be the same information as the operation information A0.

操作判定部１２は、操作情報入力部１１から入力情報Ａ１を受け取り、出力情報としての選択値Ａ２を通知部１３及び表示制御部１４に対して出力する。操作判定部１２から出力される選択値Ａ２は、操作判定部１２が入力情報Ａ１を基に決定した選択値であり、この選択値Ａ２を基に、タッチパネル入力装置１００を搭載した装置のアプリケーションプログラム等が、機器制御などを行う。   The operation determination unit 12 receives the input information A1 from the operation information input unit 11, and outputs a selection value A2 as output information to the notification unit 13 and the display control unit 14. The selection value A2 output from the operation determination unit 12 is a selection value determined by the operation determination unit 12 based on the input information A1, and an application program for a device in which the touch panel input device 100 is mounted based on the selection value A2. Etc. perform device control and the like.

操作判定部１２は、受け取った入力情報Ａ１から、ユーザによるタッチジェスチャ操作の種類及び内容を判定する。図１に示されるように、操作判定部１２は、表示部品入力判定部１２ａと、画面全体入力判定部１２ｂと、操作モード切り替え判定部１２ｃとを有している。   The operation determination unit 12 determines the type and content of the touch gesture operation by the user from the received input information A1. As shown in FIG. 1, the operation determination unit 12 includes a display component input determination unit 12a, a whole screen input determination unit 12b, and an operation mode switching determination unit 12c.

操作モード切り替え判定部１２ｃは、操作情報入力部１１から受け取った入力情報Ａ１から、入力情報Ａ１に画面の操作モードの切り替えに関する情報が含まれるかを判定する。画面の操作モードには、操作対象とする表示部品を画面内に表示した表示部品操作モードと、画面全体を入力範囲として設定する画面全体操作モードが存在し、これらの操作モードを切り替えることができる。   The operation mode switching determination unit 12c determines from the input information A1 received from the operation information input unit 11 whether the input information A1 includes information related to switching of the screen operation mode. The screen operation modes include a display component operation mode in which display components to be operated are displayed in the screen, and an entire screen operation mode in which the entire screen is set as an input range. These operation modes can be switched. .

操作モード切り替え判定部１２ｃは、操作モードの切り替えに関する判定結果から、操作モードを切り替える。操作モード切り替え判定部１２ｃが操作モードを切り替えることにより、操作画面の表示内容、入力方法、及び通知方法が切り替わる。   The operation mode switching determination unit 12c switches the operation mode based on the determination result regarding the switching of the operation mode. When the operation mode switching determination unit 12c switches the operation mode, the display content of the operation screen, the input method, and the notification method are switched.

画面全体入力判定部１２ｂは、画面全体に対するタッチ情報から入力内容を識別し、操作の受付及び選択値Ａ２の決定を担う。図２に示されるように、画面全体入力判定部１２ｂは、モード中パラメータ１１１と、モード中以外のパラメータ１１２と、ジェスチャモード判定部１１３と、ジェスチャ入力情報判定部１１４とを有する。   The entire screen input determination unit 12b identifies input contents from touch information for the entire screen, and is responsible for accepting operations and determining a selection value A2. As illustrated in FIG. 2, the entire screen input determination unit 12 b includes a parameter 111 during mode, a parameter 112 other than during mode, a gesture mode determination unit 113, and a gesture input information determination unit 114.

画面全体に対するタッチ情報の入力内容は、モード中パラメータ１１１と、モード中以外のパラメータ１１２と、ジェスチャモード判定部１１３とにより識別される。モード中パラメータ１１１には、あるモード中に使用する移動量、タッチ時間などのパラメータが格納されている。   The input content of the touch information for the entire screen is identified by the in-mode parameter 111, the non-mode parameter 112, and the gesture mode determination unit 113. The mode parameter 111 stores parameters such as a movement amount and a touch time used during a certain mode.

モード中パラメータ１１１には、ジェスチャモードの種類ごとに当該ジェスチャモードに関するパラメータが格納されている。図２に示されるように、モード中パラメータ１１１には、例えば、スライダーモードのパラメータ１１１ａと、ダイヤルモードのパラメータ１１１ｂが格納されている。スライダーモードのパラメータ１１１ａと、ダイヤルモードのパラメータ１１１ｂは、タッチジェスチャ操作の予め定められた時間における移動量、タッチジェスチャ操作の速度、曲率、又はタッチ時間のいずれか１つ又は２つ以上の組み合わせに基づいて定められるパラメータである。   In the mode parameter 111, a parameter related to the gesture mode is stored for each type of gesture mode. As shown in FIG. 2, the parameter 111 during mode stores, for example, a parameter 111 a for the slider mode and a parameter 111 b for the dial mode. The slider mode parameter 111a and the dial mode parameter 111b may be any one or a combination of two or more of a movement amount, a touch gesture operation speed, a curvature, and a touch time in a predetermined time of the touch gesture operation. It is a parameter determined based on this.

なお、モード中パラメータ１１１に格納されるパラメータは、図２に示される例に限定されない。また、モード中以外のパラメータ１１２には、初回操作時など、どのモードでもないときに使用する移動量、タッチ時間などのパラメータが格納されている。   Note that the parameters stored in the mode parameter 111 are not limited to the example shown in FIG. Further, the parameters 112 other than in the mode store parameters such as a movement amount and a touch time used when not in any mode such as the first operation.

ジェスチャモード判定部１１３は、モード中パラメータ１１１と、モード中以外のパラメータ１１２を参照して、入力されたタッチ情報のジェスチャモードを特定する。ジェスチャ入力情報判定部１１４は、ジェスチャモード判定部１１３で特定されたジェスチャモードでの値設定方式に従って選択値Ａ２を決定する。   The gesture mode determination unit 113 identifies the gesture mode of the input touch information with reference to the parameter 111 during mode and the parameter 112 other than during mode. The gesture input information determination unit 114 determines the selection value A2 according to the value setting method in the gesture mode specified by the gesture mode determination unit 113.

表示部品入力判定部１２ａは、画面に表示される表示部品に対するタッチ情報から入力内容を識別し、操作の受付及び選択値Ａ２の決定を担う。   The display component input determination unit 12a identifies the input content from the touch information for the display component displayed on the screen, and is responsible for accepting the operation and determining the selection value A2.

通知部１３は、操作モード切り替え判定部１２ｃの判定結果に従い、操作画面の通知方法を切り替え、また、操作判定部１２により決定した選択値Ａ２の情報を受け、操作の状況を通知する。通知部１３は、選択値Ａ２に従う通知内容の通知を発し、又は通知信号を出力する。   The notification unit 13 switches the operation screen notification method according to the determination result of the operation mode switching determination unit 12c, receives the information of the selection value A2 determined by the operation determination unit 12, and notifies the operation status. The notification unit 13 issues a notification of notification contents according to the selection value A2 or outputs a notification signal.

例えば、通知部１３は、操作判定部１２により受け取った入力情報Ａ２に応じて、ユーザのタッチジェスチャ操作の状況を、例えば、音、画面表示、バイブレータによる振動、又はランプ点灯などで通知する。   For example, according to the input information A2 received by the operation determination unit 12, the notification unit 13 notifies the status of the user's touch gesture operation by, for example, sound, screen display, vibration by a vibrator, or lamp lighting.

通知部１３による通知が音による通知である場合には、通知部１３は音声出力部としてのスピーカに通知信号を出力する。スピーカは、後述の図３に示される。通知部１３による通知が画像表示である場合には、通知部１３は通知情報Ａ３を表示制御部１４に送り、表示制御部１４が通知情報Ａ３に基づく画像信号Ａ４をタッチパネル１２０の表示パネル部１２１に送信する。   When the notification by the notification unit 13 is a notification by sound, the notification unit 13 outputs a notification signal to a speaker as an audio output unit. The speaker is shown in FIG. When the notification by the notification unit 13 is an image display, the notification unit 13 sends notification information A3 to the display control unit 14, and the display control unit 14 transmits an image signal A4 based on the notification information A3 to the display panel unit 121 of the touch panel 120. Send to.

表示制御部１４は、操作モード切り替え判定部１２ｃの判定結果に従い、操作画面の表示内容を切り替え、また、操作判定部１２により決定した選択値Ａ２の情報を受け、操作結果を画面に反映する。図１に示されるように、表示制御部１４は、タッチパネル１２０の表示パネル部１２１に表示される操作用画像の画像信号Ａ４を表示パネル部１２１に対して出力する。   The display control unit 14 switches the display content of the operation screen according to the determination result of the operation mode switching determination unit 12c, receives information on the selection value A2 determined by the operation determination unit 12, and reflects the operation result on the screen. As shown in FIG. 1, the display control unit 14 outputs an image signal A4 of an operation image displayed on the display panel unit 121 of the touch panel 120 to the display panel unit 121.

図３は、実施の形態に係るタッチパネル入力装置１００のハードウェア（Ｈ／Ｗ）構成の一例を示す図である。図３に示されるように、実施の形態に係るタッチパネル入力装置１００は、タッチパネル１２０と、プロセッサ３０１と、メモリ３０２と、スピーカ３０３とを有している。   FIG. 3 is a diagram illustrating an example of a hardware (H / W) configuration of the touch panel input device 100 according to the embodiment. As illustrated in FIG. 3, the touch panel input device 100 according to the embodiment includes a touch panel 120, a processor 301, a memory 302, and a speaker 303.

図１に示されるタッチジェスチャ判定装置１１０は、ソフトウェアとしてのタッチジェスチャ判定プログラムを格納する記憶装置としてのメモリ３０２と、メモリ３０２に格納されたタッチジェスチャ判定プログラムを実行する情報処理部としてのプロセッサ３０１とを用いて（例えば、コンピュータにより）実現することができる。   A touch gesture determination device 110 shown in FIG. 1 includes a memory 302 as a storage device that stores a touch gesture determination program as software, and a processor 301 as an information processing unit that executes the touch gesture determination program stored in the memory 302. (For example, by a computer).

この場合には、図１における構成要素１１〜１４は、図３においてタッチジェスチャ判定プログラムを実行するプロセッサ３０１に相当する。なお、図１に示されるタッチジェスチャ判定装置１１０の一部を、図２に示されるメモリ３０２と、タッチジェスチャ判定プログラムを実行するプロセッサ３０１とによって実現することもできる。   In this case, the components 11 to 14 in FIG. 1 correspond to the processor 301 that executes the touch gesture determination program in FIG. A part of the touch gesture determination device 110 shown in FIG. 1 can also be realized by the memory 302 shown in FIG. 2 and the processor 301 that executes the touch gesture determination program.

タッチパネル１２０は、複数の指の接触を検知し、タッチ情報（各指の識別番号、座標、接触状態）をプロセッサ３０１に送信する。プロセッサ３０１は、タッチパネル１２０から取得したタッチ情報をメモリ３０２に記憶し、メモリ３０２に蓄積したタッチの履歴情報を基に、操作画面、入力方法、通知方法を切り替える。   The touch panel 120 detects contact of a plurality of fingers and transmits touch information (identification number, coordinate, contact state of each finger) to the processor 301. The processor 301 stores the touch information acquired from the touch panel 120 in the memory 302, and switches the operation screen, the input method, and the notification method based on the touch history information accumulated in the memory 302.

また、プロセッサ３０１は、メモリ３０２に記憶したタッチ情報から、画面全体に対する操作であるか、表示部品に対する操作であるかを判定し、それぞれの操作モードにおいて選択値を決定する。   Further, the processor 301 determines from the touch information stored in the memory 302 whether the operation is for the entire screen or an operation for the display component, and determines a selection value in each operation mode.

スピーカ３０３は、例えば、タッチジェスチャ操作状況をアナウンスなど音で通知する場合に使用される音出力部である。タッチパネル入力装置１００は、スピーカ３０３に代えて、又は、追加の構成として、バイブレータ、ランプ、通知信号を無線送信するための送信装置などの追加の装置を備えてもよい。   The speaker 303 is a sound output unit that is used when, for example, a touch gesture operation state is notified by a sound such as an announcement. The touch panel input device 100 may include an additional device such as a vibrator, a lamp, and a transmission device for wirelessly transmitting a notification signal instead of the speaker 303 or as an additional configuration.

図４（ａ）及び（ｂ）は、実施の形態に係るタッチパネル入力装置１００におけるタッチパネル１２０の画面及びタッチジェスチャ操作の例を示す図である。図４（ａ）は、表示部品操作モードで表示する画面例４０１を示している。図４（ａ）に示されるように、画面例４０１には、選択値を直接選択するボタン４０２など、操作対象とする様々な部品が表示される。表示部品が表示される領域に対しタッチ入力することにより、対象の部品の操作が可能となる。   4A and 4B are diagrams illustrating examples of the screen of the touch panel 120 and touch gesture operation in the touch panel input device 100 according to the embodiment. FIG. 4A shows a screen example 401 displayed in the display component operation mode. As shown in FIG. 4A, the screen example 401 displays various parts to be operated, such as a button 402 for directly selecting a selection value. By touch-inputting the area where the display component is displayed, the target component can be operated.

図４（ｂ）は、画面全体操作モードで表示する画面例４０３を示している。図４（ｂ）に示されるように、画面例４０３には、現在選択している選択値の表示４０４、画面切り替えのための操作指示を促す表示（例えば、後述するキャンセル領域４０５）などが示される。この画面での入力方法としては、たとえばタップ操作の回数、２点以上のタッチでダイヤルを回転させるようなジェスチャなどで情報を入力する。   FIG. 4B shows an example screen 403 displayed in the entire screen operation mode. As shown in FIG. 4B, the screen example 403 shows a display 404 of the currently selected value, a display prompting an operation instruction for switching the screen (for example, a cancel area 405 described later), and the like. It is. As an input method on this screen, for example, information is input by the number of tap operations, a gesture that rotates the dial with two or more touches, and the like.

図４（ｂ）の画面例４０３の下部には、「＞＞Ｃａｎｃｅｌ＞＞」を囲む矩形領域であるキャンセル領域４０５が示されている。キャンセル領域４０５を選択してスワイプする（予め決められた方向に指を左から右に滑らせる）ことにより、画面全体操作モードをキャンセルして、画面全体操作モードから表示部品操作モードの画面への切り替えを実行することができる。   A cancel area 405, which is a rectangular area surrounding “>> Cancel >>”, is shown at the bottom of the screen example 403 in FIG. 4B. Select the cancel area 405 and swipe (slide your finger from left to right in a predetermined direction) to cancel the entire screen operation mode and switch from the entire screen operation mode to the display component operation mode screen. Switching can be performed.

図５は、実施の形態に係るタッチパネル入力装置１００におけるタッチジェスチャ判定装置１１０の動作（タッチジェスチャ判定方法）を示すフローチャートである。図５に示されるように、ステップＳＴ４０１において、ユーザは、表示部品操作モードでシステムを起動し、各処理部の初期化を実施する。   FIG. 5 is a flowchart illustrating an operation (touch gesture determination method) of the touch gesture determination device 110 in the touch panel input device 100 according to the embodiment. As shown in FIG. 5, in step ST401, the user activates the system in the display component operation mode and initializes each processing unit.

次のステップＳＴ４０２において、操作モード切り替え判定部１２ｃが、操作情報入力部１１から入力されたタッチ情報を基に、画面全体操作モードへの切り替え入力を判定する。画面全体操作モードへの切り替え入力を受け付けた場合（ＳＴ４０２においてＹＥＳ）、次のステップＳＴ４０３において、操作モードを遷移させ、画面全体操作モードにおける表示内容、入力方法、通知方法を切り替える。   In the next step ST402, the operation mode switching determination unit 12c determines switching input to the entire screen operation mode based on the touch information input from the operation information input unit 11. When switching input to the entire screen operation mode is accepted (YES in ST402), in the next step ST403, the operation mode is changed, and the display contents, input method, and notification method in the entire screen operation mode are switched.

次のステップＳＴ４０４において、ジェスチャ入力情報判定部１１４が、ユーザにより入力されたタッチ情報からジェスチャ入力に関する情報を識別し、それにより選択値Ａ２を決定する。ユーザは、例えば、２点以上のタッチでダイヤルを回転させるようなジェスチャ（ダイヤルジェスチャ）などで情報を入力する。   In next step ST404, the gesture input information determination unit 114 identifies information related to the gesture input from the touch information input by the user, and thereby determines the selection value A2. For example, the user inputs information using a gesture (dial gesture) that rotates the dial with two or more touches.

ここで、ユーザによるダイヤルジェスチャ操作においてダイヤル回転角度の曲率半径が大きい場合には、ダイヤル入力では無くスライダー入力をしたと、タッチパネル１２０が誤認識する可能性がある。タッチパネル１２０が誤認識した場合、認識されていたダイヤルジェスチャが完了していない内（ジェスチャモードの途中）に、スライダージェスチャに切り替わって認識されてしまう。実施の形態に係るタッチジェスチャ判定方法は、上記のように、あるジェスチャ操作をしている際に、他のジェスチャ操作と誤認識されることを防ぐことを目的とする。   Here, when the curvature radius of the dial rotation angle is large in the dial gesture operation by the user, the touch panel 120 may erroneously recognize that the slider input is performed instead of the dial input. When the touch panel 120 is erroneously recognized, it is recognized by switching to the slider gesture while the recognized dial gesture is not completed (in the middle of the gesture mode). An object of the touch gesture determination method according to the embodiment is to prevent erroneous recognition as another gesture operation when a certain gesture operation is performed as described above.

次のステップＳＴ４０５において、ステップＳＴ４０４で決定した選択値Ａ２を操作画面表示部１０９に渡すことにより、表示内容を切り替え、操作内容を反映した画面を表示する。   In the next step ST405, the selection value A2 determined in step ST404 is passed to the operation screen display unit 109, thereby switching the display content and displaying a screen reflecting the operation content.

次のステップＳＴ４０６において、ステップＳＴ４０４で決定した選択値Ａ２を通知部１３に渡すことにより、通知内容を切り替え、操作結果後の状況の通知、操作を促すアナウンスを実施する。   In the next step ST406, the selection value A2 determined in step ST404 is passed to the notification unit 13, so that the notification content is switched, the notification of the situation after the operation result, and the announcement for prompting the operation are performed.

次のステップＳＴ４０７において、操作モード切り替え判定部１２ｃが、操作情報入力部１１から入力されたタッチ情報とタッチの履歴情報から、表示部品操作モードへの切り替え入力を判定する。   In the next step ST407, the operation mode switching determination unit 12c determines a switching input to the display component operation mode from the touch information input from the operation information input unit 11 and the touch history information.

切り替え入力を検知した場合（ＳＴ４０７においてＹＥＳ）は、次のステップＳＴ４０８において、表示部品操作モードに遷移し、初期起動時に表示した表示部品の操作画面に移行する。表示部品操作モードへの切り替え入力が無い場合は、切り替え入力を受け付けるまで、操作パネル部１２２に対するタッチ入力を受け付け、そして、それに応じて表示内容及び通知内容を切り替える。   If a switching input is detected (YES in ST407), in the next step ST408, the display component operation mode is entered, and the operation screen for the display component displayed at the initial startup is entered. If there is no switching input to the display component operation mode, touch input to the operation panel unit 122 is accepted until the switching input is accepted, and the display content and notification content are switched accordingly.

ステップＳＴ４０２の画面切り替えに関する入力判定において、入力内容が画面全体操作モードへの切り替えで無かった場合（ＳＴ４０２においてＮＯ）、次のステップＳＴ７０９において、表示部品に対する入力判定を実施する。   In the input determination regarding the screen switching in step ST402, when the input content is not switching to the entire screen operation mode (NO in ST402), input determination for the display component is performed in the next step ST709.

表示部品操作モードにおける表示部品に対する入力の判定は、表示部品の操作範囲にタッチ入力座標が含まれるかにより判定する。表示部品の操作入力を検知した場合、次のステップＳＴ４１０で選択値Ａ２の決定を、操作対象が表示部品でない場合はステップＳＴ４０２で再度タッチ入力の受付を実施する。   The determination of the input to the display component in the display component operation mode is performed based on whether the touch input coordinates are included in the operation range of the display component. When the operation input of the display component is detected, the selection value A2 is determined in the next step ST410. When the operation target is not the display component, the touch input is accepted again in step ST402.

次のステップＳＴ４１０において、表示部品入力判定部１２ａが操作情報入力部１１から入力されたタッチ情報を基に、選択値Ａ２を決定する。選択の例として、図３の各表示部品の表示画面の図に示すように、ボタンなど、固有の選択値を割り当てた表示部品を配置しておき、表示部品へのタッチ入力によりその選択値を決定する。   In next step ST410, the display component input determination unit 12a determines the selection value A2 based on the touch information input from the operation information input unit 11. As an example of selection, as shown in the display screen of each display component in FIG. 3, a display component assigned with a specific selection value such as a button is arranged, and the selection value is input by touch input to the display component. decide.

次のステップＳＴ４１１において、ステップＳＴ４１０で決定した選択値Ａ２を表示制御部１４に渡すことにより、表示パネル部１２１の表示内容を切り替え、操作内容に対応する画面を表示する。   In the next step ST411, the selection value A2 determined in step ST410 is passed to the display control unit 14, thereby switching the display content of the display panel unit 121 and displaying a screen corresponding to the operation content.

次のステップＳＴ４１２において、ステップＳＴ４１０で決定した選択値Ａ２を通知部１３に渡すことにより、通知内容を切り替え、操作結果後の状況の通知、操作を促すアナウンスを実施する。   In the next step ST412, the selection value A2 determined in step ST410 is transferred to the notification unit 13 to switch the notification content, to notify the situation after the operation result, and to announce the operation.

図６は、実施の形態におけるジェスチャモード判定部１１３によるジェスチャモード逸脱判定の動作を示すフローチャートである。ステップＳＴ５０１で、ジェスチャモード判定部１１３が、ジェスチャモード中であるか否かを判定する。   FIG. 6 is a flowchart illustrating the gesture mode deviation determination operation by the gesture mode determination unit 113 according to the embodiment. In step ST501, the gesture mode determination unit 113 determines whether or not it is in the gesture mode.

ジェスチャモード判定部１１３は、例えば、ジェスチャ入力情報判定部１１４で選択値Ａ２を決定した直後は、ジェスチャモード中ではないと判定する。また、ジェスチャモード判定部１１３は、例えば、タッチパネル上でユーザがスクロール中の場合、ダイヤルモード中などの場合は、ジェスチャモード中であると判定する。   For example, the gesture mode determination unit 113 determines that the gesture mode is not in the gesture mode immediately after the gesture input information determination unit 114 determines the selection value A2. The gesture mode determination unit 113 determines that the user is in the gesture mode, for example, when the user is scrolling on the touch panel or in the dial mode.

ステップＳＴ５０１でジェスチャモード中であると判定された場合（ＳＴ５０１においてＹＥＳ）、次のステップＳＴ５０２において、ジェスチャモード判定部１１３が、第１のジェスチャモードとしてのスライダーモード、第２のジェスチャモードとしてのダイヤルジェスチャモード、又はタッチジェスチャモードの内のどのジェスチャモード中であるかを判定する。   If it is determined in step ST501 that it is in the gesture mode (YES in ST501), in next step ST502, the gesture mode determination unit 113 performs the slider mode as the first gesture mode and the dial as the second gesture mode. It is determined which of the gesture mode or the touch gesture mode is being performed.

ステップＳＴ５０２において、スライダージェスチャであると判定された場合、ステップＳＴ５０３に進み、第１のパラメータとしてのスライダーモードのパラメータを取得する。ステップＳＴ５０２において、ダイヤルジェスチャであると判定された場合、ステップＳＴ５０４に進み、第２のパラメータとしてのダイヤルモードのパラメータを取得する。ステップＳＴ５０２において、タッチジェスチャであると判定された場合、ステップＳＴ５０５に進み、タッチジェスチャに応じたタッチモードのパラメータを取得する。   If it is determined in step ST502 that it is a slider gesture, the process proceeds to step ST503 to acquire a slider mode parameter as a first parameter. If it is determined in step ST502 that it is a dial gesture, the process proceeds to step ST504 to acquire a dial mode parameter as a second parameter. If it is determined in step ST502 that the gesture is a touch gesture, the process proceeds to step ST505, and a touch mode parameter corresponding to the touch gesture is acquired.

スライダーモードのパラメータ、ダイヤルモードのパラメータ、及びタッチモードのパラメータは、タッチジェスチャ操作の予め定められた時間における移動量、タッチジェスチャ操作の速度、曲率、又はタッチ時間のいずれか１つ又は２つ以上の組み合わせに基づいて定められる。   The slider mode parameter, the dial mode parameter, and the touch mode parameter are any one or more of a movement amount at a predetermined time of the touch gesture operation, a speed of the touch gesture operation, a curvature, or a touch time. It is determined based on the combination.

ステップＳＴ５０３からＳＴ５０５でそれぞれのジェスチャモードに応じたパラメータを取得した後、次のステップＳＴ５０６に進み、ステップＳＴ５０２においてジェスチャモードの種類が判定されてから所定時間が経過したかを判定する。所定時間が経過した場合（ステップＳＴ５０６においてＹＥＳ）、次のステップＳＴ５０７に進み、取得したジェスチャモードにおけるパラメータを用いて、ジェスチャが逸脱したか否かを判定するモード逸脱判定を行う。   After acquiring parameters according to each gesture mode in steps ST503 to ST505, the process proceeds to the next step ST506, where it is determined whether a predetermined time has elapsed since the type of gesture mode was determined in step ST502. If the predetermined time has elapsed (YES in step ST506), the process proceeds to the next step ST507, and using the acquired parameters in the gesture mode, mode deviation determination is performed to determine whether or not the gesture has deviated.

ステップＳＴ５０１でジェスチャモード中でないと判定されると（ＳＴ５０１においてＮＯ）、処理はステップＳＴ５０８に進み、第３のパラメータとしてのモード中以外のパラメータ１１２を取得し、次のステップＳＴ５０９でモード逸脱判定を行う。   If it is determined in step ST501 that the gesture mode is not being performed (NO in ST501), the process proceeds to step ST508, and a parameter 112 other than the mode is acquired as a third parameter, and mode deviation determination is performed in the next step ST509. Do.

《２》効果
以上のように、実施の形態に係るタッチパネル入力装置１００によれば、ジェスチャモード判定部１１３により実行中のジェスチャモードの種類を判定し、判定されたジェスチャモードの種類に応じたパラメータを取得し、取得したパラメータを用いてモード逸脱判定を行う。これにより、あるモードでの操作中に、他のモードと誤認識されることを防ぐことができ、ジェスチャでの入力操作が容易になり、ユーザの操作性が向上する。<< 2 >> Effect As described above, according to the touch panel input device 100 according to the embodiment, the gesture mode determination unit 113 determines the type of the gesture mode being executed, and the parameter according to the determined gesture mode type. And mode deviation determination is performed using the acquired parameters. Accordingly, it is possible to prevent erroneous recognition as another mode during an operation in a certain mode, an input operation with a gesture is facilitated, and a user operability is improved.

実施の形態に係るタッチパネル入力装置１００によれば、あるモードに入った後は、所定時間以上はそのモードを維持し、その後モード逸脱判定を行う。これにより、あるモードでの操作中に意図せず当該モードから逸脱することを防ぐことができる。   According to the touch panel input device 100 according to the embodiment, after entering a certain mode, the mode is maintained for a predetermined time or longer, and then the mode deviation is determined. Thereby, it can prevent deviating from the mode unintentionally during operation in a certain mode.

１１ 操作情報入力部、 １２ 操作判定部、 １２ａ 表示部品入力判定部、 １２ｂ 画面全体入力判定部、 １３ 通知部、 １４ 表示制御部、 １００ タッチパネル入力装置、 １１０ タッチジェスチャ判定装置、 １１１ モード中のパラメータ、 １１１ａ スライダーモードのパラメータ、 １１１ｂ ダイヤルモードのパラメータ、 １１２ モード中以外のパラメータ、 １１３ ジェスチャモード判定部、 １１４ ジェスチャ入力情報判定部、 １２０ タッチパネル、 １２１ 表示パネル部、 １２２ 操作パネル部、 ３０１ プロセッサ、 ３０２ メモリ、 ３０３ スピーカ、 Ａ０ 操作情報、 ４０１，４０３ 画面例、 ４０５ キャンセル領域、 Ａ１ 入力情報、 Ａ２ 選択値、 Ａ３ 通知情報、 Ａ４ 操作判定情報。   DESCRIPTION OF SYMBOLS 11 Operation information input part, 12 Operation determination part, 12a Display component input determination part, 12b Whole screen input determination part, 13 Notification part, 14 Display control part, 100 Touch panel input device, 110 Touch gesture determination apparatus, Parameter in 111 mode , 111a slider mode parameter, 111b dial mode parameter, parameter other than 112 mode, 113 gesture mode determination unit, 114 gesture input information determination unit, 120 touch panel, 121 display panel unit, 122 operation panel unit, 301 processor, 302 Memory, 303 speaker, A0 operation information, 401, 403 screen example, 405 cancel area, A1 input information, A2 selection value, A3 notification information, A4 operation determination information.

Claims (11)

画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく出力情報を生成するタッチジェスチャ判定装置であって、
前記タッチジェスチャ判定装置は、
前記操作情報に基づいて、前記タッチパネルの表示のための出力情報を生成する操作判定部と、
前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御部と、を有し、
前記操作判定部は、
前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定部を有し、
前記画面全体入力判定部は、
前記タッチジェスチャ操作のジェスチャモードが前記ユーザの指を前記タッチパネルに接触させたまま滑らせるように動かすスライダージェスチャのジェスチャモードであるスライダーモードであるか、前記指の２点以上のタッチによりダイヤルを回転させるように操作するダイヤルジェスチャのジェスチャモードであるダイヤルモードであるかを判定するジェスチャモード判定部と、
前記スライダーモードに関する第１のパラメータと、前記ダイヤルモードに関し、前記第１のパラメータと異なる第２のパラメータとを有し、
前記ジェスチャモード判定部は、
前記タッチジェスチャ操作のジェスチャモードが前記スライダーモードであると判定した場合には前記第１のパラメータを用いて前記スライダーモードからの逸脱を判定するモード逸脱判定を行い、前記タッチジェスチャ操作のジェスチャモードが前記ダイヤルモードであると判定した場合には前記第２のパラメータを用いて前記ダイヤルモードからの逸脱を判定するモード逸脱判定を行う
ことを特徴とするタッチジェスチャ判定装置。 A touch gesture that displays an operation image on a screen, receives a touch gesture operation of a user, receives the operation information from a touch panel that outputs operation information corresponding to the touch gesture operation, and generates output information based on the operation information. A determination device,
The touch gesture determination device includes:
An operation determination unit that generates output information for display on the touch panel based on the operation information;
A display control unit that receives the output information and causes the touch panel to display an image corresponding to the output information as the operation image;
The operation determination unit is
Whole screen input determination unit for determining the output information from operation information corresponding to the touch gesture operation performed in the entire screen input mode for identifying input contents based on the touch gesture operation performed on the entire screen of the touch panel Have
The entire screen input determination unit
The gesture mode of the touch gesture operation is a slider mode that is a gesture mode of a slider gesture that moves the user's finger to slide while touching the touch panel, or the dial is rotated by touching two or more points of the finger. A gesture mode determination unit for determining whether the dial mode is a dial mode which is a gesture mode of the dial gesture operated to
A first parameter relating to the slider mode ; and a second parameter different from the first parameter relating to the dial mode ;
The gesture mode determination unit
When it is determined that the gesture mode of the touch gesture operation is the slider mode , mode deviation determination is performed using the first parameter to determine deviation from the slider mode , and the gesture mode of the touch gesture operation is When it is determined that the dial mode is selected, a mode deviation determination for determining a deviation from the dial mode is performed using the second parameter. 前記モード逸脱判定は、前記タッチジェスチャ操作のジェスチャモードの前記判定から予め定められた時間が経過した後に行われる
ことを特徴とする請求項１に記載のタッチジェスチャ判定装置。 The touch gesture determination device according to claim 1, wherein the mode deviation determination is performed after a predetermined time has elapsed since the determination of the gesture mode of the touch gesture operation. 前記画面全体入力判定部は、ジェスチャモード以外の操作に関するパラメータである第３のパラメータをさらに有し、
前記ジェスチャモード判定部は、
前記ユーザがジェスチャモード中であるか否かの判定を行い、前記ユーザがジェスチャモード中ではないと判定した場合には、前記第３のパラメータを用いてモード逸脱判定を行う
ことを特徴とする請求項１又は２に記載のタッチジェスチャ判定装置。 The entire screen input determination unit further includes a third parameter that is a parameter related to an operation other than the gesture mode,
The gesture mode determination unit
It is determined whether or not the user is in a gesture mode, and when it is determined that the user is not in a gesture mode, a mode deviation determination is performed using the third parameter. Item 3. The touch gesture determination device according to Item 1 or 2. 前記第１から第３のパラメータは、
前記タッチジェスチャ操作の予め定められた時間における移動量、前記タッチジェスチャ操作の速度、曲率、又はタッチ時間
のいずれか１つ又は２つ以上の組み合わせに基づいて定められる
ことを特徴とする請求項３に記載のタッチジェスチャ判定装置。 The first to third parameters are:
4. The moving amount of the touch gesture operation in a predetermined time, the speed of the touch gesture operation, the curvature, or the touch time is determined based on one or a combination of two or more. The touch gesture determination device according to claim 1. 前記操作判定部は、
前記タッチパネルに前記操作用画像として表示された表示部品に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する表示部品入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する表示部品入力判定部と、
前記表示部品入力モードと前記画面全体入力モードとを切り替える操作モード切り替え部と、をさらに有する
ことを特徴とする請求項１から４のいずれか１項に記載のタッチジェスチャ判定装置。 The operation determination unit is
The output information from the operation information corresponding to the touch gesture operation performed in the display component input mode for identifying the input content based on the touch gesture operation performed on the display component displayed as the operation image on the touch panel. A display component input determination unit for determining
The touch gesture determination device according to claim 1, further comprising: an operation mode switching unit that switches between the display component input mode and the entire screen input mode. 前記タッチパネルから出力された前記操作情報を受け取り、受け取った前記操作情報に対応する入力情報を前記操作判定部に出力する操作情報入力部を更に有する
ことを特徴とする請求項１から５のいずれか１項に記載のタッチジェスチャ判定装置。 The operation information input unit that receives the operation information output from the touch panel and outputs input information corresponding to the received operation information to the operation determination unit. The touch gesture determination device according to claim 1. 前記出力情報に従う通知内容の通知を発し、又は前記出力情報に従う通知内容の通知信号を出力する通知部を更に有する
ことを特徴とする請求項１から６のいずれか１項に記載のタッチジェスチャ判定装置。 The touch gesture determination according to any one of claims 1 to 6, further comprising: a notification unit that issues a notification content according to the output information or outputs a notification signal according to the output information. apparatus. 画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく出力情報を生成するタッチジェスチャ判定方法であって、
前記タッチジェスチャ判定方法は、
前記操作情報に基づいて、前記タッチパネルの表示のための出力情報を生成する操作判定ステップと、
前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御ステップと、を有し、
前記操作判定ステップは、
前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定ステップを有し、
前記画面全体入力判定ステップは、
前記タッチジェスチャ操作のジェスチャモードが前記ユーザの指を前記タッチパネルに接触させたまま滑らせるように動かすスライダージェスチャのジェスチャモードであるスライダーモードであるか、前記指の２点以上のタッチによりダイヤルを回転させるように操作するダイヤルジェスチャのジェスチャモードであるダイヤルモードであるかを判定するジェスチャモード判定ステップを有し、
前記ジェスチャモード判定ステップは、
前記スライダーモードに関する第１のパラメータと、前記ダイヤルモードに関し、前記第１のパラメータと異なる第２のパラメータとから、
前記タッチジェスチャ操作のジェスチャモードが前記スライダーモードであると判定した場合には前記第１のパラメータを用いて前記スライダーモードからの逸脱を判定するモード逸脱判定を行い、前記タッチジェスチャ操作のジェスチャモードが前記ダイヤルモードであると判定した場合には前記第２のパラメータを用いて前記ダイヤルモードからの逸脱を判定するモード逸脱判定を行う
ことを特徴とするタッチジェスチャ判定方法。 A touch gesture that displays an operation image on a screen, receives a touch gesture operation of a user, receives the operation information from a touch panel that outputs operation information corresponding to the touch gesture operation, and generates output information based on the operation information. A determination method comprising:
The touch gesture determination method includes:
An operation determination step for generating output information for display on the touch panel based on the operation information;
A display control step of receiving the output information and causing the touch panel to display an image according to the output information as the operation image;
The operation determination step includes
Whole screen input determination step for determining the output information from operation information corresponding to the touch gesture operation performed in the entire screen input mode for identifying the input content based on the touch gesture operation performed on the entire screen of the touch panel. Have
The entire screen input determining step includes:
The gesture mode of the touch gesture operation is a slider mode that is a gesture mode of a slider gesture that moves the user's finger to slide while touching the touch panel, or the dial is rotated by touching two or more points of the finger. A gesture mode determination step for determining whether the dial mode is a dial mode which is a gesture mode of the dial gesture operated to
The gesture mode determination step includes:
From the first parameter relating to the slider mode and the second parameter different from the first parameter relating to the dial mode ,
When it is determined that the gesture mode of the touch gesture operation is the slider mode , mode deviation determination is performed using the first parameter to determine deviation from the slider mode , and the gesture mode of the touch gesture operation is A touch gesture determination method, characterized in that, when it is determined that the dial mode is selected, mode deviation determination is performed using the second parameter to determine deviation from the dial mode . コンピュータに、
画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく出力情報を生成するために、
前記操作情報に基づいて、前記タッチパネルの表示のための出力情報を生成する操作判定処理と、
前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御処理と、を実行させ、
前記操作判定処理は、
前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定処理を有し、
前記画面全体入力判定処理は、
前記タッチジェスチャ操作のジェスチャモードが前記ユーザの指を前記タッチパネルに接触させたまま滑らせるように動かすスライダージェスチャのジェスチャモードであるスライダーモードであるか、前記指の２点以上のタッチによりダイヤルを回転させるように操作するダイヤルジェスチャのジェスチャモードであるダイヤルモードであるかを判定するジェスチャモード判定処理を有し、
前記ジェスチャモード判定処理は、
前記スライダーモードに関する第１のパラメータと、前記ダイヤルモードに関し、前記第１のパラメータと異なる第２のパラメータとから、
前記タッチジェスチャ操作のジェスチャモードが前記スライダーモードであると判定した場合には前記第１のパラメータを用いて前記スライダーモードからの逸脱を判定するモード逸脱判定処理と、前記タッチジェスチャ操作のジェスチャモードが前記ダイヤルモードであると判定した場合には前記第２のパラメータを用いて前記ダイヤルモードからの逸脱を判定するモード逸脱判定処理とを行う
ことを特徴とするタッチジェスチャ判定プログラム。 On the computer,
To display an operation image on the screen, accept a user's touch gesture operation, receive operation information from a touch panel that outputs operation information corresponding to the touch gesture operation, and generate output information based on the operation information ,
An operation determination process for generating output information for display on the touch panel based on the operation information;
Receiving the output information, and causing the touch panel to display an image according to the output information as the operation image,
The operation determination process includes
Whole screen input determination processing for determining the output information from operation information corresponding to the touch gesture operation performed in the whole screen input mode for identifying the input content based on the touch gesture operation performed on the entire screen of the touch panel Have
The entire screen input determination process includes:
The gesture mode of the touch gesture operation is a slider mode that is a gesture mode of a slider gesture that moves the user's finger to slide while touching the touch panel, or the dial is rotated by touching two or more points of the finger. A gesture mode determination process for determining whether the dial mode is a dial mode which is a gesture mode of the dial gesture operated to
The gesture mode determination process includes:
From the first parameter relating to the slider mode and the second parameter different from the first parameter relating to the dial mode ,
When it is determined that the gesture mode of the touch gesture operation is the slider mode , a mode deviation determination process for determining deviation from the slider mode using the first parameter, and a gesture mode of the touch gesture operation are provided. A touch gesture determination program characterized by performing a mode departure determination process for determining a departure from the dial mode using the second parameter when it is determined that the dial mode is set. 画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルと、
前記操作情報を受け取り、前記操作情報に基づいて前記タッチパネルの表示を制御するタッチジェスチャ判定装置と
を有するタッチパネル入力装置であって、
前記タッチジェスチャ判定装置は、
前記操作情報に基づいて、前記タッチパネルの表示のための出力情報を生成する操作判定部と、
前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御部と、を有し、
前記操作判定部は、
前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定部を有し、
前記画面全体入力判定部は、
前記タッチジェスチャ操作のジェスチャモードが前記ユーザの指を前記タッチパネルに接触させたまま滑らせるように動かすスライダージェスチャのジェスチャモードであるスライダーモードであるか、前記指の２点以上のタッチによりダイヤルを回転させるように操作するダイヤルジェスチャのジェスチャモードであるダイヤルモードであるかを判定するジェスチャモード判定部と、
前記スライダーモードに関する第１のパラメータと、前記ダイヤルモードに関し、前記第１のパラメータと異なる第２のパラメータとを有し、
前記ジェスチャモード判定部は、
前記タッチジェスチャ操作のジェスチャモードが前記スライダーモードであると判定した場合には前記第１のパラメータを用いて前記スライダーモードからの逸脱を判定するモード逸脱判定を行い、前記タッチジェスチャ操作のジェスチャモードが前記ダイヤルモードであると判定した場合には前記第２のパラメータを用いて前記ダイヤルモードからの逸脱を判定するモード逸脱判定を行う
ことを特徴とするタッチパネル入力装置。 A touch panel that displays an operation image on a screen, accepts a user's touch gesture operation, and outputs operation information corresponding to the touch gesture operation;
A touch gesture determination apparatus that receives the operation information and controls a display of the touch panel based on the operation information;
The touch gesture determination device includes:
An operation determination unit that generates output information for display on the touch panel based on the operation information;
A display control unit that receives the output information and causes the touch panel to display an image corresponding to the output information as the operation image;
The operation determination unit is
Whole screen input determination unit for determining the output information from operation information corresponding to the touch gesture operation performed in the entire screen input mode for identifying input contents based on the touch gesture operation performed on the entire screen of the touch panel Have
The entire screen input determination unit
The gesture mode of the touch gesture operation is a slider mode that is a gesture mode of a slider gesture that moves the user's finger to slide while touching the touch panel, or the dial is rotated by touching two or more points of the finger. A gesture mode determination unit for determining whether the dial mode is a dial mode which is a gesture mode of the dial gesture operated to
A first parameter relating to the slider mode ; and a second parameter different from the first parameter relating to the dial mode ;
The gesture mode determination unit
When it is determined that the gesture mode of the touch gesture operation is the slider mode , mode deviation determination is performed using the first parameter to determine deviation from the slider mode , and the gesture mode of the touch gesture operation is When it is determined that the dial mode is selected, mode deviation determination is performed using the second parameter to determine deviation from the dial mode . 前記タッチパネルは、
前記タッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する前記操作情報を出力する操作パネル部と、前記操作パネル部と重ねて配置され、前記画面に前記操作用画像を表示する表示パネル部とを有する
ことを特徴とする請求項１０に記載のタッチパネル入力装置。 The touch panel
An operation panel unit that receives the touch gesture operation and outputs the operation information corresponding to the touch gesture operation, and a display panel unit that is arranged to overlap the operation panel unit and displays the operation image on the screen. The touch panel input device according to claim 10.
JP2017540659A 2017-03-15 2017-03-15 Touch gesture determination device, touch gesture determination method, touch gesture determination program, and touch panel input device Active JP6227213B1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/010345 WO2018167865A1 (en) 2017-03-15 2017-03-15 Touch gesture determination device, touch gesture determination method, touch gesture determination program, and touch panel input device

Publications (2)

Publication Number Publication Date
JP6227213B1 true JP6227213B1 (en) 2017-11-08
JPWO2018167865A1 JPWO2018167865A1 (en) 2019-03-22

Family

ID=60265772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017540659A Active JP6227213B1 (en) 2017-03-15 2017-03-15 Touch gesture determination device, touch gesture determination method, touch gesture determination program, and touch panel input device

Country Status (5)

Country Link
JP (1) JP6227213B1 (en)
KR (1) KR102136526B1 (en)
CN (1) CN110402427B (en)
DE (1) DE112017006949T5 (en)
WO (1) WO2018167865A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100283739A1 (en) * 2009-05-05 2010-11-11 Microsoft Corporation Contact grouping and gesture recognition for surface computing
JP2013257775A (en) * 2012-06-13 2013-12-26 Tokai Rika Co Ltd Touch sensor
JP2016515741A (en) * 2013-04-15 2016-05-30 マイクロソフト テクノロジー ライセンシング，エルエルシー Pan and scaling detection during multi-finger touch interaction

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8106856B2 (en) * 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
JP2008070968A (en) * 2006-09-12 2008-03-27 Funai Electric Co Ltd Display processor
CN102239464A (en) * 2008-12-08 2011-11-09 夏普株式会社 Manual control action input device and computer program
WO2010138743A2 (en) 2009-05-27 2010-12-02 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
CN102713822A (en) * 2010-06-16 2012-10-03 松下电器产业株式会社 Information input device, information input method and programme
CN102694942B (en) * 2011-03-23 2015-07-15 株式会社东芝 Image processing apparatus, method for displaying operation manner, and method for displaying screen
JP6032420B2 (en) * 2012-04-02 2016-11-30 カシオ計算機株式会社 Print information output apparatus, print information output method, program, and portable electronic device
JP5772773B2 (en) * 2012-09-19 2015-09-02 コニカミノルタ株式会社 Image processing apparatus, operation standardization method, and operation standardization program
CN102890616B (en) * 2012-09-26 2016-03-30 杨生虎 The shortcut input method of touch-screen and system
JP5700020B2 (en) * 2012-10-10 2015-04-15 コニカミノルタ株式会社 Image processing apparatus, program, and operation event determination method
JP5862587B2 (en) * 2013-03-25 2016-02-16 コニカミノルタ株式会社 Gesture discrimination device, gesture discrimination method, and computer program
JP6269537B2 (en) * 2015-03-06 2018-01-31 京セラドキュメントソリューションズ株式会社 Display input device, image forming apparatus including the same, display input device control method, and program
CN106095307B (en) * 2016-06-01 2019-05-31 努比亚技术有限公司 Rotate gesture identifying device and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100283739A1 (en) * 2009-05-05 2010-11-11 Microsoft Corporation Contact grouping and gesture recognition for surface computing
JP2013257775A (en) * 2012-06-13 2013-12-26 Tokai Rika Co Ltd Touch sensor
JP2016515741A (en) * 2013-04-15 2016-05-30 マイクロソフト テクノロジー ライセンシング，エルエルシー Pan and scaling detection during multi-finger touch interaction

Also Published As

Publication number Publication date
CN110402427A (en) 2019-11-01
DE112017006949T5 (en) 2019-10-31
JPWO2018167865A1 (en) 2019-03-22
WO2018167865A1 (en) 2018-09-20
KR20190109551A (en) 2019-09-25
KR102136526B1 (en) 2020-07-22
CN110402427B (en) 2022-05-31

Similar Documents

Publication Publication Date Title
US9612736B2 (en) User interface method and apparatus using successive touches
US20140223299A1 (en) Gesture-based user interface method and apparatus
US20140306897A1 (en) Virtual keyboard swipe gestures for cursor movement
US9146667B2 (en) Electronic device, display system, and method of displaying a display screen of the electronic device
US10430071B2 (en) Operation of a computing device functionality based on a determination of input means
JP5522755B2 (en) INPUT DISPLAY CONTROL DEVICE, THIN CLIENT SYSTEM, INPUT DISPLAY CONTROL METHOD, AND PROGRAM
JPWO2013099042A1 (en) Information terminal, information terminal control method, and program
KR102311268B1 (en) Method and apparatus for moving an input field
JP6227213B1 (en) Touch gesture determination device, touch gesture determination method, touch gesture determination program, and touch panel input device
US20180173398A1 (en) Touch panel type information terminal device, information input processing method and program thereof
JP6253861B1 (en) Touch gesture determination device, touch gesture determination method, touch gesture determination program, and touch panel input device
JP6737239B2 (en) Display device and display control program
JP5701081B2 (en) Display control apparatus and control method thereof
US10019141B2 (en) Information processing apparatus, information display program, and information display method for controlling a cursor position in a text region and a display region
JP6327834B2 (en) Operation display device, operation display method and program
JP6971573B2 (en) Electronic devices, their control methods and programs
JP2020077181A (en) Display control device, and control method and program for display control device
KR100966848B1 (en) Method and apparatus for displaying rolling cube menu bar
US20150241982A1 (en) Apparatus and method for processing user input
JP7030527B2 (en) Electronic devices, information processing methods, programs and storage media
JP2016038619A (en) Mobile terminal device and operation method thereof
JP2016042394A (en) Information processing device and method, program, and recording medium
JP2015200979A (en) Information processing unit and computer program
JP5862994B2 (en) Information processing apparatus and method, program, and recording medium
KR101577138B1 (en) Method and apparatus for text input based on 3D spatial gesture

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170731

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170731

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170731

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171010

R150 Certificate of patent or registration of utility model

Ref document number: 6227213

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250