KR20190087510A - A touch panel input device, a touch gesture judging device, a touch gesture judging method, and a touch gesture judging program - Google Patents
A touch panel input device, a touch gesture judging device, a touch gesture judging method, and a touch gesture judging program Download PDFInfo
- Publication number
- KR20190087510A KR20190087510A KR1020197017714A KR20197017714A KR20190087510A KR 20190087510 A KR20190087510 A KR 20190087510A KR 1020197017714 A KR1020197017714 A KR 1020197017714A KR 20197017714 A KR20197017714 A KR 20197017714A KR 20190087510 A KR20190087510 A KR 20190087510A
- Authority
- KR
- South Korea
- Prior art keywords
- touch panel
- touch
- screen
- touch gesture
- information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
- G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
터치 패널 입력 장치(1)는, 터치 제스처 조작이 시선 있음 상태에 있어서의 조작 또는 시선 없음 상태에 있어서의 조작 중 어느 것인지를 판정하고, 시선 판정 정보(A2)를 출력하는 시선 유무 판정부(12)와, 시선 판정 정보(A2)에 근거하는 명령 정보(A3)를 출력하는 조작 모드 전환부(13)와, 명령 정보(A3)에 따르는 판정 방법으로 조작 정보(A0)에 근거하는 선택치를 생성하는 조작 판정부(14)와, 터치 패널(20)에 명령 정보(A3)에 따르는 화상을 표시시키는 표시 제어부(16)를 갖고, 조작 판정부(14)는, 시선 있음 상태일 때에 조작용 화상으로서 표시된 표시 부품에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보(A0)로부터 선택치를 결정하는 표시 부품 제스처 판정부(141)와, 시선 없음 상태일 때에 화면 전체에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보(A0)로부터 선택치를 결정하는 화면 전체 제스처 판정부(142)를 갖는다.The touch panel input device 1 is provided with a visual presence / absence judging section 12 (see FIG. 1) for judging whether the touch gesture operation is an operation in a visual gaze state or an operation in a visual gaze absence state and outputting gaze determination information A2 ), An operation mode switching section (13) for outputting command information (A3) based on the line of sight information (A2), and a selection method based on the operation information (A0) by a determination method based on the command information And a display control section (16) for displaying an image in accordance with the command information (A3) on the touch panel (20). The operation determination section (14) , A display component gesture judging section (141) for determining a selection value from operation information (A0) based on a touch gesture operation performed on a display component displayed as a display component displayed on the screen, doing And a screen overall gesture judging section 142 for determining a selection value from the operation information A0.
Description
본 발명은, 터치 제스처 조작을 접수하고, 터치 제스처 조작에 근거하는 신호를 출력하는 터치 패널 입력 장치, 및, 터치 제스처 조작에 대응하는 조작 정보가 입력되고, 입력된 조작 정보에 근거하는 신호를 출력하기 위한 터치 제스처 판정 장치, 터치 제스처 판정 방법 및 터치 제스처 판정 프로그램에 관한 것이다.The present invention relates to a touch panel input device that receives a touch gesture operation and outputs a signal based on the touch gesture operation and a touch panel device that receives operation information corresponding to the touch gesture operation and outputs a signal based on the input operation information A touch gesture judging method, and a touch gesture judging program.
일반적으로, 터치 패널 입력 장치를 사용하는 유저는, 터치 패널에 표시되어 있는 GUI(Graphical User Interface) 화면을 보면서 터치 제스처 조작을 행한다. 그러나, 자동차의 운전 중 또는 카메라의 위치 조정 중 등과 같은 태스크 실행 중에는, 유저가 터치 패널의 화면을 보면서, 즉, 유저가 시선을 터치 패널의 화면으로 향하고 있는 상태인 "시선 있음 상태"에서, 터치 제스처 조작을 행할 수는 없다.Generally, a user who uses the touch panel input device performs a touch gesture operation while viewing a GUI (Graphical User Interface) screen displayed on the touch panel. However, during the execution of the task such as the operation of the vehicle or the adjustment of the position of the camera, when the user views the screen of the touch panel, that is, in the state where the user is pointing the screen to the screen of the touch panel, Gesture manipulation can not be performed.
이 대책으로서, 특허문헌 1은, 터치 패널에 접촉하고 있는 복수의 손가락의 접촉점을 이어서 생기는 형상과 미리 설정된 형상의 유사도에 근거하여, 터치 패널에 표시하는 조작 파츠(이하 "표시 부품"이라고도 한다)를 결정하는 장치를 제안하고 있다.As a countermeasure thereto,
또한, 특허문헌 2는, 터치 패널에 접촉하고 있는 복수의 손가락의 위치로 규정되는 1개의 영역의 면적이, 미리 설정된 임계치 이상인 경우에, 유저가 터치 패널의 화면을 보지 않는, 즉, 유저가 시선을 터치 패널의 화면으로 향하지 않는 상태인 "시선 없음 상태"에서, 터치 제스처 조작을 행하는 사람(예컨대, 시각장애자 등)이라고 판단하는 장치를 제안하고 있다.
그렇지만, 상기 특허문헌 1 및 2에 기재된 장치에서는, 유저는, 복수의 손가락 끝으로 특정한 형상을 만들기 위한 터치 제스처 조작에 의식을 집중시킬 필요가 있으므로, 터치 제스처 조작과 병행하여 행하여지는 다른 태스크에 대한 주의력이 저하되는 경우가 있다.However, in the apparatuses described in
또한, 특허문헌 1에 기재된 장치에서는, 유저는, 시선을 터치 패널의 화면으로 향하지 않고서, 터치 패널에 표시된 표시 부품을 이용하는 터치 제스처 조작을 행할 필요가 있으므로, 표시 부품에 대하여 정확한 터치 제스처 조작을 행하는 것이 어려운 경우가 있다.Further, in the apparatus described in
또한, 특허문헌 2에 기재된 장치에서는, 유저는, 터치 패널의 조작 유효 영역 내에서 터치 제스처 조작을 행할 필요가 있으므로, 터치 패널의 화면을 보고 있지 않은 상태에서는 적절한 조작 정보를 입력할 수 없는 경우가 있다.Further, in the apparatus described in
본 발명의 목적은, 터치 패널에 표시된 표시 부품을 이용하여 터치 제스처 조작을 행하는 시선 있음 상태의 조작 모드의 내용 및 터치 패널의 화면 전체를 터치 제스처 조작의 접수 영역으로 하여 터치 제스처 조작을 행하는 시선 없음 상태의 조작 모드의 내용을 적절히 전환함으로써, 용이하고 정확하게 터치 제스처 조작에 의한 입력 조작을 행할 수 있는 터치 패널 입력 장치, 및, 시선 있음 상태의 조작 모드의 내용 또는 시선 없음 상태의 조작 모드의 내용을 적절히 전환함으로써, 용이하고 정확하게 터치 제스처 조작에 의한 입력 조작을 행할 수 있도록 하기 위한 터치 제스처 판정 장치, 터치 제스처 판정 방법 및 터치 제스처 판정 프로그램을 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a touch gesture control apparatus and a touch gesture control method thereof, in which the content of an operation mode in a gaze state in which a touch gesture operation is performed using a display component displayed on a touch panel, The touch panel input device capable of easily and accurately performing an input operation by the touch gesture operation by appropriately switching the contents of the operation mode of the state and the content of the operation mode in the state of no- A touch gesture judging method, and a touch gesture judging program for easily and precisely performing an input operation by a touch gesture operation by appropriately switching the touch gesture judging device.
본 발명의 일 태양과 관련되는 터치 패널 입력 장치는, 화면에 조작용 화상을 표시하고, 유저의 터치 제스처 조작을 접수하고, 상기 터치 제스처 조작에 대응하는 조작 정보를 출력하는 터치 패널과, 상기 조작 정보를 받고, 상기 조작 정보에 근거하는 선택치를 생성하는 터치 제스처 판정 장치를 갖는 장치로서,A touch panel input device according to an aspect of the present invention includes a touch panel that displays an operation image on a screen, receives a touch gesture operation of a user, and outputs operation information corresponding to the touch gesture operation, An apparatus having a touch gesture determining device for receiving information and generating a selection value based on the operation information,
상기 터치 제스처 판정 장치는, 상기 터치 제스처 조작이, 상기 유저의 시선이 상기 화면으로 향하여져 있는 시선 있음 상태에 있어서의 조작 또는 상기 유저의 시선이 상기 화면으로 향하여져 있지 않은 시선 없음 상태에 있어서의 조작 중 어느 것인지를 판정하고, 상기 판정의 결과를 나타내는 시선 판정 정보를 출력하는 시선 유무 판정부와, 상기 시선 판정 정보에 근거하는 명령 정보를 출력하는 조작 모드 전환부와, 상기 명령 정보에 따르는 판정 방법으로, 상기 조작 정보에 근거하는 상기 선택치를 생성하는 조작 판정부와, 상기 터치 패널에, 상기 조작용 화상으로서 상기 명령 정보에 따르는 화상을 표시시키는 표시 제어부를 갖고,Wherein the touch gesture determining device determines whether or not the touch gesture operation is an operation in a state in which a line of sight of the user is directed toward the screen or an operation in a line of sight state in which the user's line of sight is not facing the screen An operation mode switching unit for outputting command information based on the visual line determination information, and a determination unit for determining whether or not the determination based on the command information A display control unit for displaying an image corresponding to the instruction information as the operation image on the touch panel,
상기 조작 판정부는, 상기 시선 있음 상태일 때에, 상기 터치 패널에 상기 조작용 화상으로서 표시된 표시 부품에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하는 표시 부품 제스처 결정부와, 상기 시선 없음 상태일 때에, 상기 터치 패널의 화면 전체에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하는 화면 전체 제스처 결정부를 갖는 것이다.A display component gesture determining unit that determines the selection value from operation information based on a touch gesture operation performed on the display component displayed as the operation image on the touch panel when the gaze exists state; And a screen-full-gesture determining unit that determines the selected value from operation information based on a touch gesture operation performed on the entire screen of the touch panel when the user does not see a line.
본 발명의 다른 태양과 관련되는 터치 제스처 판정 방법은, 화면에 조작용 화상을 표시하고, 유저의 터치 제스처 조작을 접수하고, 상기 터치 제스처 조작에 대응하는 조작 정보를 출력하는 터치 패널로부터, 상기 조작 정보를 받고, 상기 조작 정보에 근거하는 선택치를 생성하는 방법으로서,A touch gesture judging method according to another aspect of the present invention is a method for judging a touch gesture from a touch panel that displays an operation image on a screen, receives a user's touch gesture operation, and outputs operation information corresponding to the touch gesture operation, A method for receiving information and generating a selection value based on the operation information,
상기 터치 제스처 조작이, 상기 유저의 시선이 상기 화면으로 향하여져 있는 시선 있음 상태에 있어서의 조작 또는 상기 유저의 시선이 상기 화면으로 향하여져 있지 않은 시선 없음 상태에 있어서의 조작 중 어느 것인지를 판정하고, 상기 판정의 결과를 나타내는 시선 판정 정보를 출력하는 시선 유무 판정 스텝과, 상기 시선 판정 정보에 근거하는 명령 정보에 따르는 판정 방법으로, 상기 조작 정보에 근거하는 상기 선택치를 생성하는 조작 판정 스텝과, 상기 터치 패널에, 상기 조작용 화상으로서 상기 명령 정보에 따르는 화상을 표시시키는 표시 제어 스텝을 갖고,It is determined whether the touch gesture operation is an operation in a state in which the user's gaze is directed toward the screen or an operation in a gaze-free state in which the user's gaze is not directed toward the screen A visual line presence / absence determination step of outputting visual line determination information indicating a result of the determination; an operation determination step of generating the selection value based on the operation information with a determination method based on command information based on the visual line determination information; And a display control step of causing the touch panel to display an image corresponding to the instruction information as the operation image,
상기 조작 판정 스텝에 있어서, 상기 시선 있음 상태일 때에, 상기 터치 패널에 상기 조작용 화상으로서 표시된 표시 부품에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하고, 상기 시선 없음 상태일 때에, 상기 터치 패널의 화면 전체에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하는 것이다.The operation determination step determines the selection value from the operation information based on the touch gesture operation performed on the display component displayed as the operation image on the touch panel when the visual line exists, The selection value is determined based on operation information based on a touch gesture operation performed on the entire screen of the touch panel.
본 발명에 따르면, 터치 패널에 표시된 표시 부품을 이용하여 터치 제스처 조작을 행하는 시선 있음 상태의 조작 모드의 내용 및 터치 패널의 화면 전체를 터치 제스처 조작의 접수 영역으로 하여 터치 제스처 조작을 행하는 시선 없음 상태의 조작 모드의 내용을 적절히 전환함으로써, 용이하고 정확하게 터치 제스처 조작에 의한 입력 조작을 행할 수 있다.According to the present invention, the content of the operation mode in the presence of a line of sight in which a touch gesture operation is performed using the display component displayed on the touch panel and the entire screen of the touch panel as a reception area for the touch gesture operation, It is possible to easily and accurately perform the input operation by the touch gesture operation.
도 1은 본 발명의 실시의 형태 1과 관련되는 터치 패널 입력 장치의 개략 구성을 나타내는 기능 블록도이다.
도 2는 실시의 형태 1과 관련되는 터치 패널 입력 장치의 하드웨어 구성의 일례를 나타내는 도면이다.
도 3(a) 및 도 3(b)는 실시의 형태 1과 관련되는 터치 패널 입력 장치에 있어서의 터치 패널의 화면의 예를 나타내는 도면이다.
도 4는 실시의 형태 1과 관련되는 터치 패널 입력 장치에 있어서의 터치 제스처 판정 장치의 동작(터치 제스처 판정 방법)을 나타내는 플로차트이다.
도 5는 실시의 형태 1의 변형예와 관련되는 터치 패널 입력 장치에 있어서의 터치 패널의 화면의 일례를 나타내는 도면이다.
도 6은 본 발명의 실시의 형태 2와 관련되는 터치 패널 입력 장치의 개략 구성을 나타내는 기능 블록도이다.
도 7은 실시의 형태 2와 관련되는 터치 패널 입력 장치에 있어서의 터치 제스처 판정 장치의 동작(터치 제스처 판정 방법)을 나타내는 플로차트이다.
도 8은 실시의 형태 2와 관련되는 터치 패널 입력 장치에 있어서의 터치 제스처 조작의 이력 정보의 취득 방법을 나타내는 도면이다.
도 9는 터치 패널 입력 장치에 있어서 터치 패널의 화면을 보지 않는 상태인 시선 없음 상태에서 터치 제스처 조작을 행함으로써 의도대로의 입력을 할 수 없는 예를 나타내는 도면이다.
도 10은 실시의 형태 2와 관련되는 터치 패널 입력 장치에 있어서 터치 패널의 화면을 보지 않는 상태인 시선 없음 상태에서 행하여지는 터치 제스처 조작의 예를 나타내는 도면이다.
도 11은 실시의 형태 2와 관련되는 터치 패널 입력 장치와 통신하는 카메라 영상 촬영 장치에 있어서의 카메라의 방향, 각도, 영상의 확축량(擴縮量)을, 터치 패널 입력 장치의 터치 패널의 화면을 보지 않고서 조정하는 예를 나타내는 도면이다.
도 12는 본 발명의 실시의 형태 3과 관련되는 터치 패널 입력 장치의 개략 구성을 나타내는 기능 블록도이다.
도 13은 실시의 형태 3과 관련되는 터치 패널 입력 장치의 하드웨어 구성의 일례를 나타내는 도면이다.
도 14는 실시의 형태 3과 관련되는 터치 패널 입력 장치에 있어서의 터치 제스처 판정 장치의 동작(터치 제스처 판정 방법)을 나타내는 플로차트이다.
도 15(a) 및 도 15(b)는 실시의 형태 3과 관련되는 터치 패널 입력 장치에 있어서의 시선 있음 상태 및 시선 없음 상태의 판정 방법을 나타내는 도면이다.1 is a functional block diagram showing a schematic configuration of a touch panel input device according to a first embodiment of the present invention.
2 is a diagram showing an example of the hardware configuration of the touch panel input device according to the first embodiment.
3 (a) and 3 (b) are diagrams showing examples of screens of the touch panel in the touch panel input device according to the first embodiment.
4 is a flowchart showing an operation (a touch gesture judging method) of the touch gesture judging device in the touch panel input device according to the first embodiment.
5 is a diagram showing an example of a screen of a touch panel in a touch panel input device according to a modification of the first embodiment.
6 is a functional block diagram showing a schematic configuration of a touch panel input device according to a second embodiment of the present invention.
7 is a flowchart showing an operation (a touch gesture judging method) of the touch gesture judging device in the touch panel input device according to the second embodiment.
8 is a diagram showing a method of acquiring the history information of the touch gesture operation in the touch panel input device according to the second embodiment.
Fig. 9 is a diagram showing an example in which a touch panel input device can not perform an intentional input by performing a touch gesture operation in a state where the touch panel is not in a line-of-sight state in which the screen is not seen.
10 is a diagram showing an example of a touch gesture operation performed in a gaze-free state in a state where the screen of the touch panel is not seen in the touch panel input device according to the second embodiment.
Fig. 11 is a diagram showing a camera image capturing apparatus communicating with a touch panel input device according to a second embodiment of the present invention, Without adjusting the angle of view.
12 is a functional block diagram showing a schematic configuration of a touch panel input device according to a third embodiment of the present invention.
13 is a diagram showing an example of the hardware configuration of the touch panel input device according to the third embodiment.
Fig. 14 is a flowchart showing an operation (touch gesture judging method) of the touch gesture judging device in the touch panel input device according to the third embodiment.
Figs. 15A and 15B are diagrams showing a method of determining a line-of-sight state and a line-of-sight state in the touch panel input device according to the third embodiment.
이하에, 본 발명의 실시의 형태를, 첨부 도면을 참조하면서 설명한다. 이하의 설명에 있어서, 터치 패널 입력 장치는, 터치식의 조작용의 화면(조작 화면)을 갖는 터치 패널과, 터치 패널에 있어서의 조작 정보를 받는 터치 제스처 판정 장치를 구비한다. 터치 패널 입력 장치는, 대상 기기에 탑재되는 것에 의해, 또는, 대상 기기와 통신 가능하게 접속되는 것에 의해, 대상 기기로서의 전기 기기의 조작 화면, 대상 기기로서의 카메라의 조작 화면, 대상 기기로서의 공장 설비의 조작 화면, 대상 기기로서의 자동차, 선박, 항공기 등에 탑재되는 조작 화면, 대상 기기로서의 스마트폰 및 태블릿 단말 등의 휴대 정보 단말의 조작 화면 등에 적용 가능하다. 터치 패널 입력 장치는, 터치 패널의 조작 화면으로부터 터치 제스처 조작("터치 조작"이라고도 한다)에 의해 입력된 조작 정보에 근거하는 신호(예컨대, 선택치)를, 터치 패널 입력 장치를 탑재한 대상 기기, 또는, 터치 패널 입력 장치와 통신 가능한 대상 기기에 제공할 수 있다.DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. In the following description, the touch panel input device includes a touch panel having a touch-type operation screen (operation screen) and a touch gesture judging device for receiving operation information on the touch panel. The touch panel input device is mounted on the target device or connected to be able to communicate with the target device so that the operation screen of the electric device as the target device, the operation screen of the camera as the target device, An operation screen, an operation screen mounted on an automobile as a target device, a ship, an airplane, etc., an operation screen of a portable information terminal such as a smart phone and a tablet terminal as a target device, and the like. The touch panel input device displays a signal (e.g., a selected value) based on operation information input from a touch panel operation screen by a touch gesture operation (also referred to as "touch operation") to a target device , Or to a target device capable of communicating with the touch panel input device.
터치 패널은, 유저가 행하는 터치 제스처 조작을 접수하는 터치 제스처 입력 수단이다. 또한, 터치 제스처 조작은, 유저의 손가락(또는, 유저의 손바닥, 또는, 손가락 유저의 손가락 및 손바닥) 등의 특정한 움직임에 의한 정보 입력 조작이다. 터치 제스처 조작은, 터치 패널의 조작 화면을 손가락으로 가볍게 두드리는 조작인 탭, 터치 패널의 조작 화면을 손가락으로 튀기는 조작인 플릭, 터치 패널의 조작 화면을 손가락으로 덧쓰는 조작(손가락을 미끄러지게 하는 조작)인 스와이프를 포함할 수 있다. 또한, 터치 제스처 조작은, 터치 패널에 있어서의 표시 부품을 손가락으로 끄는 조작인 드래그, 터치 패널의 조작 화면에 있어서 복수 개의 손가락으로 집으면서 손가락의 간격을 좁히는 조작인 핀치 인, 터치 패널의 조작 화면에 있어서 복수 개의 손가락의 간격을 넓히는 조작인 핀치 아웃 등을 포함할 수 있다. 또, 터치 제스처 조작은, 펜 형태의 입력 보조구인 터치 펜을 이용하는 조작도 포함할 수 있다.The touch panel is touch gesture input means for accepting a touch gesture operation performed by the user. The touch gesture operation is an information input operation by a specific movement of the user's finger (or the palm of the user or the finger and palm of the finger user). The touch gesture operation includes a tap that is an operation to lightly tap the operation screen of the touch panel with a finger, a flick that is an operation to flip the operation screen of the touch panel with a finger, an operation of fingering the operation screen of the touch panel with a finger ) ≪ / RTI > swipes. In addition, the touch gesture operation includes dragging, which is an operation of dragging a display component of the touch panel with a finger, and operation of a touch panel, which is a pinch operation of narrowing the interval of fingers while being picked up by a plurality of fingers on the operation screen of the touch panel And a pinch-out, which is an operation of widening the interval between the plurality of fingers, in the case of the present invention. The touch gesture operation may also include an operation using a touch pen, which is a pen-type input assist tool.
《1》 실시의 형태 1.&Quot; 1 "
《1-1》 구성"1-1" configuration
도 1은 본 발명의 실시의 형태 1과 관련되는 터치 패널 입력 장치(1)의 개략 구성을 나타내는 기능 블록도이다. 도 1에 나타내어지는 바와 같이, 실시의 형태 1과 관련되는 터치 패널 입력 장치(1)는, 터치 제스처 판정 장치(10)와, 터치 패널(20)을 갖고 있다. 터치 제스처 판정 장치(10)는, 실시의 형태 1과 관련되는 터치 제스처 판정 방법 및 실시의 형태 1과 관련되는 터치 제스처 판정 프로그램을 실행할 수 있는 장치이다.1 is a functional block diagram showing a schematic configuration of a touch
도 1에 나타내어지는 바와 같이, 터치 패널(20)은, 유저에 의해 행하여지는 터치 제스처 조작을 접수하고, 터치 제스처 조작에 대응하는 조작 정보("터치 정보"라고도 한다) A0을 출력하는 조작 패널부(21)와, 조작 패널부(21)와 겹쳐 배치되고, GUI 화면 등과 같은 조작용 화상을 표시할 수 있는 표시 패널부(22)를 갖고 있다. 표시 패널부(22)는, 예컨대, 액정 디스플레이이다.As shown in Fig. 1, the
도 1에 나타내어지는 바와 같이, 터치 제스처 판정 장치(10)는, 조작 정보 입력부(11)와, 조작 모드 판정부로서의 시선 유무 판정부(12)와, 조작 모드 전환부(13)와, 조작 판정부(14)와, 통지부(15)와, 표시 제어부(16)를 갖고 있다. 조작 판정부(14)는, 표시 부품 제스처 판정부(141)와, 화면 전체 제스처 판정부(142)를 갖고 있다.1, the touch
조작 정보 입력부(11)는, 조작 패널부(21)로부터 출력된 조작 정보(조작 신호) A0을 받는다. 조작 정보 입력부(11)는, 받은 조작 정보 A0에 대응하는 입력 정보 A1을 시선 유무 판정부(12)와 조작 판정부(14)에 출력한다. 입력 정보 A1은, 조작 정보 A0에 대응하는 정보이고, 조작 정보 A0과 동일한 정보이더라도 좋다.The operation
시선 유무 판정부(12)는, 조작 정보 입력부(11)로부터 받은 입력 정보 A1에 근거하여, 터치 제스처 조작이, 유저가 터치 패널(20)의 화면을 보면서 행한 조작, 즉, 유저의 시선이 터치 패널(20)의 화면으로 향하여진 상태인 시선 있음 상태에 있어서의 조작인지, 터치 제스처 조작이, 유저가 터치 패널(20)의 화면을 보지 않고서 행한 조작, 즉, 유저의 시선이 터치 패널(20)의 화면으로 향하여져 있지 않은 상태인 시선 없음 상태에 있어서의 조작인지를 판정한다. 시선 있음 상태를 전제로 한 조작 모드는, 예컨대, 터치 패널(20)에 표시된 표시 부품에 대하여 터치 제스처 조작을 행하는 조작 모드이다. 시선 없음 상태를 전제로 한 조작 모드는, 예컨대, 터치 패널(20)의 화면 전체를 터치 제스처 조작의 접수를 위한 1개의 조작 유효 영역으로 하는 조작 모드이다.The gaze presence /
시선 유무 판정부(12)는, 유저의 터치 제스처 조작에 근거하는 입력 정보 A1로부터, 터치 제스처 조작이, 시선 있음 상태에 있어서의 조작인지 시선 없음 상태에 있어서의 조작인지의 판정 결과를 나타내는 시선 판정 정보 A2를 조작 모드 전환부(13)에 보낸다. 이 판정은, 예컨대, 시선 유무 판정부(12)가, 미리 결정된 터치 제스처 조작의 패턴을 기억하는 기억부(예컨대, 후술하는 도 2에 있어서의 메모리)를 구비하고, 입력 정보 A1이 나타내는 터치 제스처 조작과 기억부에 기억되어 있는 터치 제스처 조작의 패턴의 유사도에 근거하여 행할 수 있다.The gaze presence /
조작 모드 전환부(13)는, 시선 유무 판정부(12)로부터 받은 시선 판정 정보 A2로부터, 터치 패널(20)의 화면의 표시 내용, 터치 패널(20)로부터의 터치 제스처 조작에 근거하는 입력 정보 A1의 조작 판정부(14)에 의한 판정 방법, 및 통지부(15)에 의한 통지 방법을 전환(설정)하기 위한 명령 정보 A3을 출력한다.The operation
조작 판정부(14)는, 조작 모드 전환부(13)로부터 명령 정보 A3을 받고, 이 명령 정보 A3에 따라 입력 정보 A1의 판정 방법을 전환한다.The
화면 전체 제스처 판정부(142)는, 터치 패널(20)의 화면 전체에 대한 터치 제스처 조작을 판정하여, 입력 정보 A1에 근거하는 출력 신호인 선택치 A7의 결정을 행한다. 터치 패널(20)의 화면 전체에 대한 터치 제스처 조작의 판정은, 시선 있음 상태에 있어서의 터치 제스처 조작에서는, 터치 패널(20)의 한정된 좁은 영역 내(터치 패널(20)의 화면의 일부분)에서 사용되고, 시선 없음 상태에 있어서의 터치 제스처 조작에서는, 터치 패널(20)의 넓은 영역 내(터치 패널(20)의 화면의 전체)에서 사용된다.The entire screen
표시 부품 제스처 판정부(141)는, 표시 패널부(22)에 의해 표시된 조작용 화상으로서의 표시 부품과 입력 정보 A1로부터, 터치 제스처 조작을 판정하여, 표시 부품과 입력 정보 A1에 근거하는 출력 신호인 선택치 A7의 결정을 행한다. 터치 패널(20)의 표시 부품에 대한 터치 제스처 조작의 판정은, 시선 있음 상태에 있어서의 터치 제스처 조작에서는, 터치 패널(20)의 넓은 영역 내(터치 패널(20)의 화면 전체)에서 사용되고, 시선 없음 상태에 있어서의 터치 제스처 조작에 있어서 한정된 좁은 영역 내(터치 패널(20)의 화면의 일부분)에서 사용된다.The display component
표시 제어부(16)는, 터치 패널(20)의 표시 패널부(22)에 표시되는 조작용 화상의 화상 신호 A6을 출력한다. 표시 제어부(16)는, 조작 판정부(14)로부터 받은 조작 판정 정보 A4 및 조작 모드 전환부(13)로부터 받은 명령 정보 A3에 따라 표시 패널부(22)의 화면의 표시 내용을 변경한다.The
통지부(15)는, 시선 있음 상태에 있어서의 터치 제스처 조작 때와 시선 없음 상태에 있어서의 터치 제스처 조작 때에서, 유저에 대한 정보의 통지 방법을 전환한다. 통지부(15)는, 명령 정보 A3에 따르는 통지 내용의 통지를 발하거나 또는 통지 신호를 출력한다. 예컨대, 통지부(15)는, 조작 판정부(14)에 의해 수취된 입력 정보 A1에 따라, 유저의 터치 제스처 조작의 상황을, 예컨대, 소리, 화면 표시, 바이브레이터에 의한 진동, 또는 램프 점등 등으로 통지한다. 이와 같이, 통지부(15)는, 조작 판정부(14)로부터 수취된 조작 판정 정보 A4 및 조작 모드 전환부(13)로부터 수취된 명령 정보 A3에 따라 통지 내용을 변경한다. 통지부(15)에 의한 통지가 소리에 의한 통지인 경우에는, 통지부(15)는 음성 출력부로서의 스피커에 통지 신호를 출력한다. 스피커는, 후술하는 도 2에 나타내어진다. 통지부(15)에 의한 통지가 화상 표시인 경우에는, 통지부(15)는 통지 정보 A5를 표시 제어부(16)에 보내고, 표시 제어부(16)가 통지 정보에 근거하는 화상 신호를 표시 패널부(22)에 송신한다.The notification unit (15) switches the notification method of the information about the user at the time of the touch gesture operation in the sight gesture operation and the sight gesture operation in the sight line state. The notifying
조작 판정부(14)로부터 출력되는 선택치 A7은, 조작 판정부(14)가 입력 정보 A1을 기초로 결정한 선택치이고, 이 선택치 A7을 기초로, 터치 패널 입력 장치(1)를 탑재한 장치의 애플리케이션 프로그램 등이, 기기 제어 등을 행한다.The selection value A7 output from the
도 2는 실시의 형태 1과 관련되는 터치 패널 입력 장치(1)의 하드웨어(H/W) 구성의 일례를 나타내는 도면이다. 도 2에 나타내어지는 바와 같이, 실시의 형태 1과 관련되는 터치 패널 입력 장치(1)는, 터치 패널(20)과, 프로세서(31)와, 메모리(32)와, 스피커(33)를 갖고 있다. 도 1에 나타내어지는 터치 제스처 판정 장치(10)는, 소프트웨어로서의 터치 제스처 판정 프로그램을 저장하는 기억 장치로서의 메모리(32)와, 메모리(32)에 저장된 터치 제스처 판정 프로그램을 실행하는 정보 처리부로서의 프로세서(31)를 이용하여(예컨대, 컴퓨터에 의해) 실현할 수 있다. 이 경우에는, 도 1에 있어서의 구성 요소(11~16)는, 도 2에 있어서 터치 제스처 판정 프로그램을 실행하는 프로세서(31)에 상당한다. 또, 도 1에 나타내어지는 터치 제스처 판정 장치(10)의 일부를, 도 2에 나타내어지는 메모리(32)와, 터치 제스처 판정 프로그램을 실행하는 프로세서(31)에 의해 실현할 수도 있다.2 is a diagram showing an example of a hardware (H / W) configuration of the touch
스피커(33)는, 예컨대, 시선 없음 상태에서 행하여지고 있는 터치 제스처 조작 상황을 어나운스 등 소리로 통지하는 경우에 사용되는 소리 출력부이다. 터치 패널 입력 장치(1)는, 스피커(33) 대신에, 또는, 추가의 구성으로서, 바이브레이터, 램프, 통지 신호를 무선 송신하기 위한 송신 장치 등의 추가의 장치를 구비하더라도 좋다.The
도 3(a) 및 도 3(b)는 실시의 형태 1과 관련되는 터치 패널 입력 장치(1)에 있어서의 터치 패널(20)의 화면 및 터치 제스처 조작의 예를 나타내는 도면이다.3 (a) and 3 (b) are diagrams showing an example of a
도 3(a)는 시선 있음 상태의 조작 모드에 있어서의 터치 패널(20)의 화면의 일례를 나타내고 있다. 도 3(a)는 시선 유무 판정부(12)가, 터치 제스처 조작을 나타내는 입력 정보 A1로부터, 시선 있음 상태의 조작 모드라고 판정한 경우의 화면의 일례이다. 유저는, 화면을 손가락으로 좌측 방향 또는 우측 방향으로 스와이프하는 조작을 행하는 것에 의해 화면의 표시 내용을 전환하는 것이 가능하다. 리스트(231)는, 시선 유무 판정부(12)가 시선 있음 상태로 판정한 경우에 표시되는 리스트이다. 리스트(231)는, 복수의 버튼(숫자가 부여되어 있는 사각 영역)으로 구성되어 있고, 손가락을 위 방향 또는 아래 방향으로 덧쓰는(미끄러지게 하는) 것에 의해 리스트(231)를 동일한 방향으로 이동시키는 것이 가능하다. 예컨대, 손가락으로 버튼(232)을 터치함으로써, 시선 유무 판정부(12)는 시선 있음 상태로 판정하고, 버튼을 탭하는(손가락을 버튼에 대고, 손가락을 움직이지 않은 채 미리 결정된 시간 내에 떼는) 것에 의해 선택치를 결정(확정)한다.3 (a) shows an example of a screen of the
도 3(b)는 시선 없음 상태의 조작 모드에 있어서의 터치 패널(20)의 화면의 일례를 나타내고 있다. 도 3(b)는 시선 유무 판정부(12)가, 터치 제스처 조작을 나타내는 입력 정보 A1로부터, 시선 없음 상태의 조작 모드라고 판정한 경우의 화면의 일례이다. 예컨대, 시선 없음 상태에 있어서의 캔슬 영역(241)은, ">>Cancel>>"를 둘러싸는 직사각형 영역이고, 이 직사각형 영역 내에서, 미리 결정된 방향으로, 즉, 손가락을 왼쪽으로부터 오른쪽으로 덧쓰면(미끄러지게 하면), 시선 없음 상태의 조작 모드는 캔슬되어, 시선 있음 상태의 조작 모드로 전환된다.Fig. 3 (b) shows an example of a screen of the
《1-2》 동작"1-2" operation
도 4는 실시의 형태 1과 관련되는 터치 패널 입력 장치(1)에 있어서의 터치 제스처 판정 장치(10)의 동작(터치 제스처 판정 방법)을 나타내는 플로차트이다.4 is a flowchart showing an operation (a touch gesture judging method) of the touch
스텝 ST101에 있어서, 조작 모드 전환부(13)는, 초기 조작 모드로서, 시선 있음 상태의 조작 모드를 설정한다. 이때, 터치 패널(20)의 화면이, 시선 있음 상태의 조작 모드의 화면이 되고, 터치 패널(20)의 입력 방법은, 시선 있음 상태의 조작 모드를 이용한 표시 부품에 의한 입력 방법이 되도록, 조작 모드 전환부(13)는, 명령 정보 A3을 출력한다. 또, 초기 조작 모드를 시선 없음 상태의 조작 모드로 하는 것도 가능하다.In step ST101, the operation
다음의 스텝 ST102에 있어서, 조작 정보 입력부(11)는, 터치 패널(20)로부터, 조작 정보 A0(손가락의 접촉점의 위치를 나타내는 좌표, 손가락의 접촉 상태, 복수의 접촉점에 대한 손가락 식별 번호 등)을 취득하고, 기억부(예컨대, 도 2에 나타내어지는 메모리(32))에 기억시킨다.In the next step ST102, the operation
다음의 스텝 ST103에 있어서, 시선 유무 판정부(12)는, 기억부에 기억한 조작 정보 A0(손가락의 접촉점에 관한 정보 등)의 이력 정보로부터, 터치 제스처 조작이 시선 있음 상태에서의 조작인지, 시선 없음 상태에서의 조작인지의 판정, 즉, 시선 유무 판정(조작 모드의 판정)을 행한다.In the next step ST103, the visual line presence /
다음의 스텝 ST103에 있어서, 시선 유무 판정부(12)는, 예컨대, 이하의 판정 조건 (1)~(3) 중 어느 하나가 만족된 경우에, 시선 없음 상태로 판정하고, 그 이외의 경우를 시선 있음 상태로 판정한다.In the next step ST103, the visual line presence /
ㆍ 판정 조건 (1) : 손가락이 터치 패널(20)의 화면 상의 1점에 접촉하고, 미리 결정된 임계치 이상의 시간, 접촉 위치가 이동하고 있지 않은 경우Judgment condition (1): When the finger touches one point on the screen of the
ㆍ 판정 조건 (2) : 복수의 손가락이 터치 패널(20)의 화면 상의 복수의 접촉점에 접촉하고, 미리 결정된 임계치 이상의 시간, 계속 접촉하고 있는 경우(2): When a plurality of fingers are in contact with a plurality of contact points on the screen of the
ㆍ 판정 조건 (3) : 손바닥이 터치 패널(20)의 화면 상에 계속 접촉하고 있는(즉, 미리 결정된 임계치 이상의 넓은 면적이, 미리 결정된 임계치 이상의 시간, 계속 접촉하고 있는) 경우(3): When the palm continues touching the screen of the touch panel 20 (that is, the area larger than the predetermined threshold value is in contact with the
단, 판정 기준으로서, 다른 판정 기준을 이용하더라도 좋다.However, another determination criterion may be used as the determination criterion.
스텝 ST103에 있어서의 시선 없음 상태로 하는 판정 조건 (3)을 만족시킬 때에는, 검출되는 복수의 접촉점의 좌표 및 접촉점의 수가 불안정할(즉, 시간에 따라 크게 변동할) 가능성이 있다. 이 때문에, 현시점으로부터 미리 결정된 기간 거슬러 올라간 시점까지의 기간의 조작 정보 A0(입력 정보 A1)의 이력 정보를 이용하여, 이 기간 내에 있어서의 접촉점의 좌표의 흔들림(좌표의 이동량)의 정도를 기초로(예컨대, 최대의 이동량이 미리 결정된 임계치를 넘는 경우에), 손바닥의 접촉이라고 판정하더라도 좋다.There is a possibility that the number of coordinates and the number of contact points of the detected plurality of contact points are unstable (that is, they fluctuate greatly with time) when the determination condition (3) for setting the state to be no visual line in step ST103 is satisfied. Therefore, by using the history information of the operation information A0 (input information A1) of the period from the present time to the point in time that extends back to the predetermined period, based on the degree of fluctuation (movement amount of coordinates) of the coordinates of the contact point within this period (For example, when the maximum movement amount exceeds a predetermined threshold value), it may be determined that the palm is touching.
또한, 스텝 ST103에 있어서의 시선 없음 상태로 하는 판정 조건 (3)에 있어서의, 화면 상에 손바닥을 접촉시키는 조작 때에는, 터치 패널(20)로부터의 조작 정보 A0은, 접촉 상태가 이상(異常)인 것을 나타내는 정보이다. 이 때문에, 현시점으로부터 미리 결정된 기간 거슬러 올라간 시점까지의 기간의 조작 정보 A0의 이력 정보를 이용하여, 이 기간 내에 접촉 상태가 이상인 것을 나타내는 이력이 있는 경우에, 손바닥의 접촉이라고 판정하더라도 좋다.In the operation of touching the palm on the screen in the determination condition (3) to make the visual line-free state in step ST103, the operation information A0 from the
또한, 스텝 ST103에 있어서의 시선 없음 상태로 하는 판정 조건 (3)에 있어서의, 화면 상에 손바닥을 접촉시키는 조작 때에는, 터치 패널(20)의 화면으로부터 손가락이 떨어졌다고 오판되고, 그 결과, 터치 패널(20)의 화면의 표시 부품인 버튼을 탭한 터치 제스처 조작으로 잘못 판정될 가능성이 있다. 이 때문에, 현시점으로부터 미리 결정된 기간 거슬러 올라간 시점까지의 기간의 조작 정보 A0의 이력 정보를 이용하여, 이 기간 내에, 터치 패널(20)의 손가락이 모두 떨어지고 나서 미리 결정된 시간, 불안정한 터치 검출(즉, 시간에 따라 접촉점의 수 및 위치가 크게 변동하는 상황의 검출)이 되지 않는지 여부, 또는, 이상 접촉 상태의 통지가 없는지 여부를 검출하기 위한 대기 처리를 개재시키고, 이들이 검출되었을 때에, 손바닥의 접촉이라고 판정하더라도 좋다.Further, at the time of an operation of touching the palm on the screen in the judgment condition (3) for setting the state of no-gaze state in step ST103, it is mistaken that the finger is dropped from the screen of the
또한, 스텝 ST103에 있어서, 시선 유무 판정부(12)는, 화면 상의 표시대로 손가락을 접촉시켜 덧쓴 경우에 시선 있음 상태로 판정한다. 예컨대, 도 3(b)에 나타내어지는 시선 없음 상태 때의 화면에 있어서, 시선 없음 상태에 있어서의 캔슬 영역(241)의 안쪽에서 터치를 개시하여, 왼쪽의 마크 ">>"로부터 문자 "Cancel"을 경유하여 오른쪽의 마크 ">>"를 통과하도록 손가락을 미끄러지게 하고 나서, 손가락을 떼는 조작을 한 경우, 또는, 왼쪽의 마크 ">>"로부터 문자 "Cancel"을 경유하여 오른쪽의 마크 ">>"를 통과하도록 손가락을 미끄러지게 하여, 캔슬 영역(241)의 우측의 경계선을 넘은 경우에, 시선 유무 판정부(12)는, 시선 있음 상태로의 전환 조작이라고 판정한다. 또, 스텝 ST103의 시선 있음 상태로의 전환 조작의 판정은, 시선 없음 상태에 있어서 캔슬 영역(241)의 바깥쪽으로부터 캔슬 영역(241)의 안쪽으로 연속적으로 덧쓴 경우, 또는, 시선 없음 상태에 있어서 캔슬 영역(241)을 덧쓰고 있는 도중에 캔슬 영역(241) 위 또는 아래로 빠져나온 경우, 또는, 시선 없음 상태에 있어서 캔슬 영역(241)을 우측 방향으로 덧쓴 후에, 뒤쪽 좌측 방향으로 손가락을 되돌려 덧쓴 경우는, 시선 있음 상태로 판정하지 않는 것으로 판정하더라도 좋다.In step ST103, the line-of-sight presence /
또한, 스텝 ST103에 있어서, 시선 유무 판정부(12)가 시선 있음 상태로의 전환의 조작이라고 판정하는 조건은, 도 3(b)의 왼쪽의 마크 ">>"로부터 문자 "Cancel"을 경유하여 오른쪽의 마크 ">>"를 통과하도록 손가락을 미끄러지게 한 경우뿐 아니라, 시선 없음 상태에 있어서, 캔슬 영역(241)을 터치하여 우측 방향으로 미리 결정된 거리 이상 이동한 경우로 하더라도 좋다.In step ST103, the condition for determining whether the visual line presence /
스텝 ST104에 있어서, 시선 유무 판정으로 변경이 있었을 경우(YES의 경우), 처리는 스텝 ST105~ST108로 진행되고, 조작 모드 전환부(13)는, 터치 패널(20)의 조작 화면의 전환에 의한 입력 방법의 전환, 통지부(15)에 의한 통지 방법을 전환하기 위한 명령 정보 A3을 출력한다. 스텝 ST104에 있어서, 시선 유무 판정으로의 변경이 발생하지 않은 경우(NO의 경우), 처리는 스텝 ST109로 진행된다.If there is a change in the gaze presence / absence determination (YES) in step ST104, the process proceeds to steps ST105 to ST108, and the operation
스텝 ST105에 있어서, 조작 판정부(14)는, 조작 모드 전환부(13)로부터 명령 정보 A3을 받고, 화면 전체에 대한 유효한 입력 방법을 전환하는 명령을 내리고, 화면 전체 제스처 판정부(142)는, 화면 전체에 대한 유효한 입력 방법을 전환한다.In step ST105, the
다음의 스텝 ST106에 있어서, 조작 판정부(14)는, 조작 모드 전환부(13)로부터 명령 정보 A3을 받고, 표시 부품에 대한 유효한 입력 방법을 전환하는 명령을 내리고, 표시 부품 제스처 판정부(141)는, 표시 부품에 대한 유효한 입력 방법을 전환한다. 스텝 ST105와 ST106의 처리의 순번은, 반대이더라도 좋다.In the next step ST106, the
다음의 스텝 ST107에 있어서, 표시 제어부(16)는, 조작 모드 전환부(13)로부터 화면을 전환하는 명령 정보 A3을 받고, 화면을 전환한다. 예컨대, 표시 제어부(16)는, 화면의 전환을 명령하는 명령 정보 A3을 받았을 때에, 시선 있음 상태의 경우, 예컨대, 도 3(a)에 나타내어지는 시선 있음 상태 때의 화면을 표시하고, 시선 없음 상태의 경우, 예컨대, 도 3(b)에 나타내어지는 시선 없음 상태 때의 화면을 표시한다.In the next step ST107, the
다음의 스텝 ST108에 있어서, 통지부(15)는, 조작 모드 전환부(13)의 통지 내용을 전환하는 명령 정보 A3을 받고, 통지 내용을 전환한다. 예컨대, 통지부(15)는, 시선 있음 상태의 경우, "화면을 길게 누르면, 화면을 보지 않고 조작하는 모드로 전환됩니다."라고 하는 음성 어나운스를 스피커로부터 출력시키고, 또한, 시선 없음 상태로 전환된 경우, "길게 누르는 조작이 되었기 때문에, 장애자용의 조작 화면으로 전환됩니다."라고 어나운스가 흘러나오게 한다. 그리고, 시선 없음 상태가 된 경우, "화면의 위쪽을 터치하면 선택치가 늘어나고, 아래쪽을 터치하면 선택치가 줄어듭니다. 2점 탭으로 선택치를 확정합니다."라고 하는 음성 어나운스를 스피커에 출력시킨다. 또한, 이때, 통지부(15)는, 화면의 위쪽, 아래쪽의 탭이 발생할 때마다, 현재의 선택치를 음성 어나운스로 통지시키더라도 좋다.In the next step ST108, the
스텝 ST108에 있어서, 통지부(15)의 통지는, 음성 어나운스뿐 아니라, 조작 중의 터치 패널(20)과는 다른 표시 장치에 의해 통지하거나, 스마트워치로부터의 음성 어나운스로 통지하거나, 또는 터치 패널을 진동시켜 통지하거나 하더라도 좋다.In step ST108, the notification of the
스텝 ST109에 있어서, 조작 판정부(14)는, 입력 정보에 근거하여 선택치를 결정(확정)한다. 예컨대, 조작 판정부(14)는, 시선 있음 상태의 조작 모드에 있어서는, 표시되어 있는 버튼을 탭하면, 버튼에 표시되어 있는 번호가 선택치로서 결정된다. 한편, 조작 판정부(14)는, 시선 없음 상태의 조작 모드에 있어서는, 화면의 위쪽의 터치가 발생하면, 선택치를 늘리고, 화면의 아래쪽의 터치가 발생하면, 선택치를 줄인다. 조작 판정부(14)는, 2점의 터치가 발생하고 동시에 손가락을 뗀 경우에, 선택치를 확정한다. 조작 판정부(14)에서, 터치 제스처 조작이 접수된 경우, 표시 제어부(16)는, 터치 제스처 조작에 따라 표시 내용을 변경하고, 통지부(15)는, 터치 제스처 조작에 따라 조작 상황의 통지를 행한다.In step ST109, the
또한, 스텝 ST109에 있어서, 시선 없음 상태에 있어서의 캔슬 영역(241)을 탭한 경우는, 캔슬 영역(241)을 덧쓰는 조작이 아니기 때문에, 화면의 아래쪽 조작으로 간주하고, 선택치를 줄인다.When the cancel
스텝 ST103의 시선 유무 판정부(12)의 판정과, 스텝 ST109의 조작 판정부(14)의 판정 동작은, 시선 유무 판정부(12)의 기억부에, 예컨대, 표 1과 같은 조작 판정 테이블을 저장하고, 이 테이블의 내용에 따라 처리함으로써 실현할 수 있다.The determination by the visual presence /
《1-3》 효과"1-3" effect
이상에 설명한 바와 같이, 실시의 형태 1에 있어서는, 유저의 터치 제스처 조작에 근거하는 조작 정보 A0이, 시선 있음 상태에 있어서의 터치 제스처 조작인지, 시선 없음 상태에 있어서의 터치 제스처 조작인지에 따라, 조작 판정부(14)에 있어서의 입력 정보 A1의 판정 방법, 표시 제어부(16)에 의한 표시 제어 방법, 통지부(15)에 의한 통지 방법을 변경할 수 있다. 이 때문에, 유저는, 터치 패널(20)의 화면을 보고 있는 상태에서는, 화면에 표시된 표시 부품으로서의 버튼을 손가락으로 탭하거나, 화면에 표시된 리스트를 손가락으로 덧쓰거나 함으로써 시선 있음 상태의 터치 제스처 조작이 가능하다. 또한, 유저는, 화면을 보고 있지 않은 상태에서는, 화면 전체를 사용한 터치 제스처 조작의 접수와, 조작 상태의 통지로 조작이 가능하다. 이와 같이, 실시의 형태 1에 있어서는, 터치 패널(20)에 있어서, 시선 있음 상태의 터치 제스처 조작과 시선 없음 상태의 터치 제스처 조작 중 어느 것을 행하더라도, 시선 있음 상태에 있어서의 터치 제스처 조작 또는 시선 없음 상태에 있어서의 터치 제스처 조작으로 적절히 판정되므로, 정확하게 터치 제스처 조작에 의한 입력 조작을 행할 수 있다.As described above, in the first embodiment, depending on whether the operation information A0 based on the user's touch gesture operation is a touch gesture operation in the line-of-sight state or a touch gesture operation in the no-line state, The method of determining input information A1 in the
또한, 실시의 형태 1에 있어서는, 시선 있음 상태에 있어서, 시선 있음 상태의 터치 제스처 조작으로서는 발생하지 않는 조작이 행하여진 경우에, 시선 없음 상태의 터치 제스처 조작이라고 판정하고, 시선 없음 상태에 있어서, 시선 없음 상태의 터치 제스처 조작으로서는 발생하지 않는 조작이 행하여진 경우에, 시선 있음 상태의 터치 제스처 조작이라고 판정할 수 있다. 이 경우에는, 시선 유무 판정의 오판은 적으므로 조작 모드의 판정 정확도가 향상된다.In the first embodiment, it is determined that the operation is a touch gesture without a visual line when an operation that does not occur with the touch gesture operation in the visual gaze state is performed in the visual gaze state, It is possible to judge that the touch gesture operation in the state where there is a line of sight is performed when an operation that does not occur in the touch gesture operation in the no-visual line state is performed. In this case, since the misjudgment of the gaze presence / absence determination is small, the judgment accuracy of the operation mode is improved.
《1-4》 변형예"1-4" Variations
도 4의 스텝 ST103에 있어서의 시선 유무 판정의 다른 예로서, 시선 유무 판정부(12)는, 3점 이상의 터치점(손가락의 접촉점)이 발생한 경우에 시선 없음 상태에 있어서의 조작 모드로 판정하더라도 좋다. 이와 같이 한 경우에는, 터치 패널(20)에 있어서의 2점 터치의 조작(예컨대, 핀치, 회전 등의 조작)을, 터치 제스처 조작으로서 사용할 수 있다.As another example of the line presence / absence judgment in step ST103 in FIG. 4, when the touch point presence /
또한, 도 4의 스텝 ST103에 있어서의 시선 유무 판정의 다른 예로서, 터치 패널(20)의 화면의 손가락에 의한 접촉의 개시로부터 터치 패널(20)의 화면의 내용이 변경되지 않는 상태를 미리 결정된 시간 이상 계속한 경우에, 시선 없음 상태라고 판정하더라도 좋다. 예컨대, 1개의 손가락을 터치 패널(20)의 화면에 접촉시키고, 덧쓰는 조작이 발생하더라도, 손가락의 좌우 스와이프에 의한 화면 스크롤, 또는, 화면의 상하 덧쓰기 조작에 의한 리스트의 스크롤이 발생하지 않는 경우에, 시선 유무 판정부(12)는, 시선 없음 상태라고 판정하더라도 좋다.Another example of the visual line presence / absence determination in step ST103 in FIG. 4 is a state in which the content of the screen of the
또한, 도 4의 스텝 ST103에 있어서의 시선 유무 판정의 다른 예로서, 시선 유무 판정부(12)는, 손가락의 접촉점의 종 방향의 이동, 횡 방향의 이동, 사선 방향의 이동 중 어느 하나의 검출 때에 시선 있음 상태로 판정하더라도 좋다.As another example of the line presence / absence determination in step ST103 in Fig. 4, the line presence /
또한, 도 4의 스텝 ST103에 있어서의 시선 유무 판정의 다른 예로서, 시선 유무 판정부(12)는, 손가락의 접촉점의 이동으로, 원, 사각, 또는 문자 등 특정한 궤적을 그리는 경우에, 시선 있음 상태로 판정하더라도 좋다.As another example of the line presence / absence determination in step ST103 of FIG. 4, the line presence /
또한, 도 4의 스텝 ST103에 있어서의 시선 유무 판정부(12)의 판정이, 시선 없음 상태로부터 시선 있음 상태로 바뀌는 조건으로서, 터치 패널(20)로부터의 입력 조작이 없는 상태에서 미리 결정된 시간 경과한 경우로 하더라도 좋다. 예컨대, 시선 없음 상태로 전환되고 나서, 터치 제스처 조작이 없는 상태가 미리 결정된 임계치 시간 이상 계속되면, 시선 있음 상태로 자동적으로 돌아가도록 구성하더라도 좋다. 이 경우, 통지부(15)의 음성 어나운스에 의지하여, 재차 길게 누르기 등의 시선 없음 상태로 판정되는 터치 제스처 조작을 하여, 화면을 보지 않고서 터치 제스처 조작할 수 있다.The determination by the visual presence /
또한, 도 4의 스텝 ST109에 있어서의 시선 없음 상태의 다른 조작 방법으로서, 화면을 상하로 나누어 탭함으로써 선택치를 증감시키는 방법뿐 아니라, 도 5와 같이 화면 상에 수치 입력을 위한 복수의 버튼이 배열된 화상을 표시시키고, 손가락으로 덧쓴 위치에 대응하는 버튼의 항목이, 통지부(15)에서 낭독되도록 하더라도 좋다.As another operation method of the no-gaze state in step ST109 in Fig. 4, there is a method in which not only the method of increasing or decreasing the selection value by dividing the screen by vertically dividing the screen, but also a method in which a plurality of buttons And the item of the button corresponding to the position where the finger is overwritten may be read by the
또한, 도 4의 스텝 ST109에 있어서의 시선 없음 상태의 다른 조작 방법으로서, 화면 상을 2점 터치하여 다이얼을 돌리듯이 회전시키고, 시계방향의 경우, 선택치를 늘리고, 반시계방향의 경우, 선택치를 줄이도록 하더라도 좋다. 이 경우, 2점 탭을 결정 조작으로 한 경우, 결정과 회전 조작을 착각할 가능성이 있기 때문에, 예컨대, 미리 결정된 시간 내에 탭이 2회 연속하여 발생(더블탭이 발생)한 경우를 선택치의 결정 조작으로 하더라도 좋다.Another operation method of the no-gaze state in step ST109 in Fig. 4 is to rotate the dial as if turning the dial by two touches on the screen, to increase the selection value in the clockwise direction and to increase the selection value in the counterclockwise direction You can even cut it down. In this case, when the two-point tap is determined as the determination operation, there is a possibility that the determination and the rotation operation may be mistaken. Therefore, for example, when the tab is generated two consecutive times It may be an operation.
《2》 실시의 형태 2&Quot; 2 "
《2-1》 구성"2-1" configuration
상기 실시의 형태 1에 있어서는, 시선 없음 상태의 조작 모드에 있어서의 터치 제스처 조작은, 터치 패널(20)의 화면 전체를 조작 유효 영역으로 한, 간단한 터치 제스처 조작으로 한정되어 있다. 실시의 형태 2에 있어서는, 시선 없음 상태의 조작 모드에 있어서, 화면을 보지 않는 것에 의한 의도하지 않은 조작을 막고, 보다 복잡한 터치 제스처 조작을 가능하게 하는 장치 및 방법에 대하여 설명한다.In the first embodiment, the touch gesture operation in the gaze-free operation mode is limited to a simple touch gesture operation with the entire screen of the
도 6은 본 발명의 실시의 형태 2와 관련되는 터치 패널 입력 장치(2)의 개략 구성을 나타내는 기능 블록도이다. 도 6에 있어서, 도 1에 나타내어지는 구성 요소와 동일한 또는 대응하는 구성 요소에는, 도 1에 나타내어지는 부호와 동일한 부호가 부여된다. 터치 패널 입력 장치(2)는, 터치 패널(20)과, 터치 제스처 판정 장치(10a)를 갖고 있다. 터치 제스처 판정 장치(10a)는, 실시의 형태 2와 관련되는 터치 제스처 판정 방법 및 실시의 형태 2와 관련되는 터치 제스처 판정 프로그램을 실행할 수 있는 장치이다. 실시의 형태 2에 있어서의 터치 제스처 판정 장치(10a)는, 제스처 조작 기억부(17) 및 제스처 보정부(18)를 갖는 점에 있어서, 실시의 형태 1에 있어서의 터치 제스처 판정 장치(10)와 상위하다. 이 점을 제외하고, 실시의 형태 2는, 실시의 형태 1과 동일하다. 따라서, 이하에 상위점을 중심으로 설명한다.6 is a functional block diagram showing a schematic configuration of a touch
제스처 조작 기억부(17)는, 조작 판정부(14)가 인식한 터치 제스처 조작의 이력 정보를 기억한다. 제스처 보정부(18)는, 제스처 조작 기억부(17)에 기억된 터치 제스처 조작의 데이터로부터, 조작 판정부(14)에 있어서 판정된 터치 제스처 조작 인식 결과를 보정하고 선택치 A8을 결정한다.The gesture
실시의 형태 2와 관련되는 터치 패널 입력 장치(2)의 H/W 구성은, 도 2에 나타내어지는 바와 같이, 터치 패널(20)과, 프로세서(31)와, 메모리(32)와, 스피커(33)를 갖고 있다. 도 6에 나타내어지는 터치 제스처 판정 장치(10a)는, 소프트웨어로서의 터치 제스처 판정 프로그램을 저장하는 기억 장치로서의 메모리(32)와, 메모리(32)에 저장된 터치 제스처 판정 프로그램을 실행하는 정보 처리부로서의 프로세서(31)를 이용하여(예컨대, 컴퓨터에 의해) 실현할 수 있다. 이 경우에는, 도 6에 있어서의 구성 요소(11~18)는, 도 2에 있어서 터치 제스처 판정 프로그램을 실행하는 프로세서(31)에 상당한다. 또, 도 6 나타내어지는 터치 제스처 판정 장치(10a) 일부를, 도 2에 나타내어지는 메모리(32)와, 터치 제스처 판정 프로그램을 실행하는 프로세서(31)에 의해 실현할 수도 있다.2, the H / W configuration of the touch
《2-2》 동작"2-2" Operation
도 7은 실시의 형태 2와 관련되는 터치 패널 입력 장치(2)에 있어서의 터치 제스처 판정 장치(10a)의 동작(터치 제스처 판정 방법)을 나타내는 플로차트이다. 도 7에 있어서, 도 4에 나타내어지는 처리 스텝과 동일한 또는 대응하는 처리 스텝에는, 도 4에 나타내어지는 스텝 번호와 동일한 스텝 번호가 부여된다. 실시의 형태 2에 있어서의 터치 제스처 판정 장치(10a)의 동작은, 터치 제스처 조작의 판정 스텝 ST109 후에, 터치 제스처 조작을 기억시키는 처리 스텝(스텝 ST201)과 제스처 보정 처리 스텝(스텝 ST202)을 갖는 점에 있어서, 실시의 형태 1에 있어서의 터치 제스처 판정 장치(10)의 동작과 상위하다. 이들 점을 제외하고, 실시의 형태 2에 있어서의 터치 제스처 판정 장치(10a)의 동작은, 실시의 형태 1의 것과 동일하다.7 is a flowchart showing the operation (touch gesture determination method) of the touch
도 7의 스텝 ST201에 있어서, 제스처 조작 기억부(17)는, 조작 판정부(14)가 인식한 터치 제스처 조작을 이력 정보로서 기억한다. 터치 제스처 조작의 이력 정보의 예를 표 2에 나타낸다.In step ST201 of FIG. 7, the gesture
도 8은 실시의 형태 2와 관련되는 터치 패널 입력 장치(2)에 있어서의 터치 제스처 조작의 이력 정보의 취득 방법을 나타내는 도면이다. 스텝 ST201에 있어서, 표 2에 나타내어지는 터치 제스처 조작의 이력 정보는, 예컨대, 도 8에 나타내어지는 방법으로 계산된다. 도 8의 예에 있어서, 회전 방향의 이동량, 즉, 각도 변화량 H[pixel]는, 전회의 터치 제스처 조작에서 터치된 2개의 점 P1, P2를 잇는 직선 Q1에 대하여, 현재의 터치 제스처 조작에서 터치된 점 P3으로부터 수선 Q2를 내리고, 이 수선 Q2의 길이로 한다. 거리 변화량 D[pixel]는, 현재의 2점 사이의 거리(P1과 P3 사이의 거리) L2와 전회의 2점 사이의 거리(P1과 P2 사이의 거리) L1의 사이의 변화량으로 한다. 이동량 M[pixel]은, 현재의 2점 사이(P1과 P3 사이의 거리)의 중심 위치 I2와 전회의 2점 사이(P1과 P2 사이의 거리)의 중심 위치 I1의 사이의 이동량으로 한다.8 is a diagram showing a method of acquiring the history information of the touch gesture operation in the touch
스텝 ST202에 있어서, 제스처 보정부(18)는, 제스처 조작 기억부(17)가 기억한 이력 정보로부터, 화면을 보지 않고서 터치 제스처 조작을 행한 경우에, 의도대로의 조작 정보가 터치 제스처 판정 장치(10a)에 입력되지 않는 인식 결과를 보정한다.In step ST202, when the
도 9는 터치 패널 입력 장치(2)에 있어서 터치 패널(20)의 화면을 보지 않고서 터치 제스처 조작을 행한 경우에, 의도대로의 조작 정보가 터치 제스처 판정 장치(10a)에 입력되지 않는 터치 제스처 조작의 일례를 나타내는 도면이다. 도 9에 나타내어지는 바와 같이, 터치 패널(20)의 화면 상에서 제 1 회전 방향으로서의 시계방향으로 손가락으로 원을 반복하여 그림으로써 선택치를 늘리고, 제 1 회전 방향의 반대 방향인 제 2 회전 방향으로서의 반시계방향으로 손가락으로 원을 반복하여 그림으로써 선택치를 줄이는 터치 제스처 조작을 들 수 있다.9 is a flowchart illustrating a touch gesture operation in which operation information as intended is not input to the touch
터치 패널(20)에 눈을 향하게 하지 않고서 손가락으로 원을 그리면, 원을 그릴 의도이더라도, 원의 위치가 조금씩 어긋나, 이동량 M[pixel]에 대한 각도 변화량 H[pixel]가 변화하기 때문에 미리 결정된 조작량을 얻기 위한 조정을 하기 어려워진다. 그래서, 제스처 보정부(18)는, 제스처 조작 기억부(17)에 축적되어 있는, 현시점으로부터 소정 시간 거슬러 올라간 과거의 시점까지의 기간에 있어서의 터치 궤적 정보를 이용하여, 최소제곱법과 같은 피팅 방식에 의해 원의 형상을 추측하고, 원의 위치를 갱신한다. 원의 위치를 갱신 후, 제스처 보정부(18)는, 전회의 손가락의 접촉점과 원의 중심 위치와 현재의 손가락의 접촉점이 이루는 각도를 계산함으로써, 각도의 변화량을 구한다. 이상에 의해, 도 9에 나타내어지는 바와 같이, 터치 패널(20)의 0 화면에 눈을 향하게 하지 않고서 원을 반복하여 그리는 터치 제스처 조작을 실현할 수 있다.When the circle is drawn with the finger without pointing the eyes at the
제스처 보정부(18)는, 원의 위치를 갱신할 뿐 아니라, 원의 형상이 타원인 경우, 타원의 종횡의 축척을 변경하여 원으로 하는 보정에 좌표 궤적을 재계산하고, 전회의 손가락의 접촉점과 원의 중심 위치와 현재의 손가락의 접촉점이 이루는 각도를 계산하더라도 좋다.The
제스처 보정부(18)가 원의 위치를 보정하기 전에 대해서는, 조작 판정부(14)가 원을 그리는 터치 제스처 조작을 판정한다. 이때의, 원의 초기 위치는, 터치 패널(20)의 화면의 중심 위치로 하더라도 좋고, 또는, 소정 시간분의 궤적으로부터 최소제곱법 등으로 구하더라도 좋다.Before the
도 10은 실시의 형태 2와 관련되는 터치 패널 입력 장치(2)에 있어서 터치 패널(20)의 화면을 보지 않고서 행하여지는 터치 제스처 조작의 일례를 나타내는 도면이다. 조작 판정부(14)가 원을 그리는 터치 제스처 조작을 판정하기 시작하는 트리거가 되는 조작을, 도 10의 좌측에 나타내는 바와 같은, 복수의 손가락 끝에 의한 복수의 접촉점의 터치로서, 접촉하는 손가락의 수가 미리 결정된 적어진 경우로 하더라도 좋다. 예컨대, 도 10과 같이, 3점으로 터치 후, 접촉점이 1점이 되었을 때, 조작 판정부(14)는, 3점의 중심 위치(중심점)를 중심으로 하여, 원을 그리는 터치 제스처 조작을 판정하기 시작하고, 이후 이력이 미리 결정된 데이터의 양 이상 축적되었을 때에, 제스처 보정부(18)에 의해, 원의 위치의 갱신에 의한 회전량의 보정을 행하더라도 좋다.10 is a diagram showing an example of a touch gesture operation performed without looking at the screen of the
화면을 보지 않고서 행함으로써 의도대로 되지 않는 터치 제스처 조작의 또 하나의 예로서, 다점(多點)의 핀치, 회전, 평행 이동의 터치 제스처 조작을 들 수 있다. 도 11은 실시의 형태 2와 관련되는 터치 패널 입력 장치(2)에 있어서 카메라의 방향, 각도, 확축량에 대하여 수중의 터치 패널 입력 장치(2)를 보지 않고서 조정하는 장면을 나타내는 도면이다. 도 11은 카메라의 방향 및 각도, 확축량에 대하여 수중의 터치 패널을 보지 않고서 조정하는 장면을 설명하고 있다.Another example of the operation of the touch gesture which is not intended to be performed without viewing the screen is a touch gesture operation of a multi-point pinch, rotation, and parallel movement. 11 is a view showing a scene in which the direction, the angle and the amount of shrinkage of the camera are adjusted without looking at the touch
도 11에 있어서, 카메라 영상 표시 기기(401)는, 카메라에 의해 촬영된 영상을 표시한다. 이것에 더하여, 카메라 영상 표시 기기(401)에는, 통지부(15)가 현재의 카메라 조작 상황(방향, 확대율, 회전각)을 중첩하여 표시한다.In Fig. 11, the camera
수중 조작 화면(402)은, 조작 정보 입력부(11)에 터치 정보를 주고, 시선 있음 상태와 시선 없음 상태의 화면의 표시를 전환하고, 조작 판정부(14)에 의해 판정된 터치 제스처 조작에 따라 화면의 표시 내용을 변경한다.The
시선 있음 상태의 조작 모드에 있어서, 화면(403)은, 시선 유무 판정부(12)가 시선 있음 상태로 판정한 경우의 화면이고, 매뉴얼을 표시하고, 하이퍼링크를 탭하여 화면을 전환하는 터치 제스처 조작이 가능하다.The
시선 없음 상태의 조작 모드에 있어서, 화면(404)은, 시선 유무 판정부(12)가 시선 없음 상태로 판정한 경우의 화면이다.In the operation mode in the no-gaze state, the
시선 유무 판정부(12)는, 3점 이상의 터치 조작을 판정하고, 손가락이 모두 떨어지는 조작이 있고, 미리 결정된 시간이 경과하면, 시선 있음 상태로 판정한다. 조작 판정부(14)는, 3점 이상 터치 조작 후, 확축, 이동, 회전의 터치 제스처 조작이 있는지 판정하고, 각각의 조작량에 따라, 확축 때 카메라 영상(407), 이동 때 카메라 영상(408), 회전 때 카메라 영상(409)과 같은 카메라의 방향이나 확축량을 바꾼 영상을 표시한다.The visual line presence /
화면을 보지 않고서 행함으로써 의도대로 되지 않는 터치 제스처 조작의 또 하나의 예로서, 터치 패널을 강하게 누르는 조작이 있다. 예컨대, 시선 유무 판정부가 길게 누르기에 의해 시선 없음 상태로 판정하는 조작을 하는 경우, 화면을 보지 않고서 길게 누르면 손가락을 강하게 누르는 경향이 나타난다.As another example of the operation of the touch gesture which is not intended to be performed without viewing the screen, there is an operation of pressing the touch panel strongly. For example, when an operation of determining whether the line of sight presence / absence determining section is determined to be a line-of-sight state by pressing and holding for a long time, a tendency of pressing the finger strongly by pressing and holding the line without viewing the screen appears.
손가락을 강하게 누르면 터치하고 있는 위치가 손가락 끝으로부터 손가락의 안쪽의 방향으로 조금 이동하는 경향이 있다. 그래서, 제스처 보정부(18)는, 표 2의 터치 제스처 조작의 이력 정보로부터, 손가락 위치의 이동량이 일정 이상 변화하지 않거나, 누르는 압력이 약해짐으로써 이동량이 일정 이하가 되는 것을 이용하여 길게 누르기를 판단한다.The position touched by the finger strongly tends to move slightly from the fingertip toward the inside of the finger. Thus, the
상기 제스처 보정부(18)의 보정 처리는, 길게 누르기 뿐만 아니라, 탭이나 2점 조작의 경우에도 적용하는 것이 가능하다.The correction process of the
화면을 보지 않고서 확축, 이동, 회전의 터치 제스처 조작을 행하는 경우, 확대할 의도이더라도, 터치 제스처 조작이 회전 조작으로 잘못 인식되는 경우가 있다. 그래서, 제스처 보정부(18)는, 제스처 조작 기억부(17)에 축적되어 있는 현시점으로부터 소정 시간 거슬러 올라간 과거의 시점까지의 기간에 있어서의 3점 이상의 접촉점의 이동량의 합계치, 2점의 접촉점 사이의 거리의 변화량의 합계치, 및 회전 방향의 변화량의 합계치를 구하고, 이들 변화량의 합계치 중 가장 큰 합계치의 조작을 의도하고 있는 조작으로서 출력한다. 이상에 의해, 화면을 보지 않고서 터치 제스처 조작했을 때에도, 의도대로의 조작을 할 수 있게 된다.When the touch gesture manipulation for constriction, movement, and rotation is performed without looking at the screen, the touch gesture manipulation may be erroneously recognized as a rotation manipulation even if it is intended to enlarge. Thus, the
《2-3》 효과"2-3" effect
이상에 설명한 바와 같이, 실시의 형태 2에 있어서는, 조작 판정부(14)에서 인식한 제스처의 이력을 취하고, 보정함으로써, 화면을 보지 않고서 조작하는 것에 의한 의도하지 않은 조작을 막을 수 있고, 또한, 보다 복잡한 터치 제스처 조작이더라도, 화면을 보지 않고서 터치 제스처 조작할 수 있게 된다.As described above, in the second embodiment, it is possible to prevent the unintended operation by operating the gesture recognized by the
《3》 실시의 형태 3&Quot; 3 "
《3-1》 구성"3-1" configuration
실시의 형태 1 및 2에 있어서는, 시선 유무 판정부(12)는, 터치 제스처 조작에 근거하는 조작 정보 A0으로부터, 시선 유무 판정(조작 모드 판정)을 행하고 있다. 그러나, 실시의 형태 1 및 2와 관련되는 터치 패널 입력 장치(1, 2)에 있어서는, 시선 유무 판정에 사용하는 조작을, 본래의 정보 입력을 위한 터치 제스처 조작으로서 사용할 수 없다. 그래서, 실시의 형태 3에 있어서는, 터치 제스처 조작에 근거하는 조작 정보 A0으로부터 시선 유무 판정(조작 모드 판정)을 행하는 대신에, 유저의 얼굴을 촬영하는 촬영 장치로서의 카메라를 구비하고, 유저의 얼굴의 카메라 화상으로부터, 시선 유무 판정을 행한다.In
도 12는 실시의 형태 3과 관련되는 터치 패널 입력 장치(3)의 개략 구성을 나타내는 기능 블록도이다. 도 12에 있어서, 도 1에 나타내어지는 구성 요소와 동일한 또는 대응하는 구성 요소에는, 도 1에 나타내어지는 부호와 동일한 부호가 부여된다. 터치 패널 입력 장치(3)는, 터치 패널(20)과, 터치 제스처 판정 장치(10b)를 구비한다. 터치 제스처 판정 장치(10b)는, 실시의 형태 3과 관련되는 터치 제스처 판정 방법 및 실시의 형태 3과 관련되는 터치 제스처 판정 프로그램을 실행할 수 있는 장치이다. 실시의 형태 3에 있어서의 터치 제스처 판정 장치(10b)는, 시선 유무 판정부(12b)가 카메라 화상 입력부(19)를 통해 카메라(34)로부터 취득한 유저의 얼굴의 카메라 화상으로부터, 시선 유무 판정(조작 모드 판정)을 행하는 점이, 실시의 형태 1에 있어서의 터치 제스처 판정 장치(10)와 상위하다. 이 점을 제외하고, 실시의 형태 3은, 실시의 형태 1과 동일하다. 또한, 실시의 형태 3에 있어서의 카메라 화상 입력부(19) 및 시선 유무 판정부(12b)를, 실시의 형태 2와 관련되는 터치 패널 입력 장치(2)에 적용할 수도 있다.12 is a functional block diagram showing a schematic configuration of the touch
카메라 화상 입력부(19)는, 카메라(34)가 유저의 얼굴을 촬영함으로써 취득한 카메라 화상(화상 데이터)을 받는다. 조작 모드 판정부로서의 시선 유무 판정부(12b)는, 카메라 화상 입력부(19)로부터 유저의 얼굴의 카메라 화상을 받고, 얼굴 전체 및 눈의 화상 데이터를 추출하는 화상 처리를 행하고, 얼굴의 방향 및 눈의 시선의 방향을 검출한다. 눈이 터치 패널(20)의 화면을 향하고 있으면 시선 있음 상태의 조작 모드라고 판정하고, 눈이 터치 패널(20)의 화면을 향하고 있지 않으면 시선 없음 상태의 조작 모드라고 판정한다.The camera
도 13은 실시의 형태 3과 관련되는 터치 패널 입력 장치(3)의 H/W 구성의 일례를 나타내는 도면이다. 도 13에 있어서, 도 2에 나타내어지는 구성 요소와 동일한 또는 대응하는 구성 요소에는, 도 2에 나타내어지는 부호와 동일한 부호가 부여된다. 실시의 형태 3과 관련되는 터치 패널 입력 장치(3)의 H/W 구성은, 카메라(34)를 구비하고 있는 점 및 메모리(32b)가 저장하고 있는 터치 제스처 판정 프로그램의 점에 있어서, 실시의 형태 1과 관련되는 터치 패널 입력 장치(1)의 H/W 구성과 상위하다. 이들 점을 제외하고, 실시의 형태 3의 H/W 구성은, 실시의 형태 1의 것과 동일하다.13 is a diagram showing an example of the H / W configuration of the touch
카메라(34)는, 카메라 촬영으로 취득된 유저의 얼굴의 카메라 화상(화상 데이터)을 기억부로서의 메모리(32b)에 기억시키고, 프로세서(31)는, 카메라 화상 입력부(19)의 처리에 있어서, 메모리(32b)로부터 카메라 화상을 취득하고, 시선 유무 판정부(12b)에서 화상 처리를 행한다.The
《3-2》 동작"3-2" Operation
도 14는 실시의 형태 3과 관련되는 터치 패널 입력 장치(3)에 있어서의 터치 제스처 판정 장치(10b)의 동작(터치 제스처 판정 방법)을 나타내는 플로차트이다. 도 14에 있어서, 도 4에 나타내어지는 처리 스텝과 동일한 또는 대응하는 처리 스텝에는, 도 4에 나타내어지는 스텝 번호와 동일한 스텝 번호가 부여된다. 실시의 형태 3에 있어서의 터치 제스처 판정 장치(10b)의 동작은, 시선 유무 판정부(12b)가, 카메라 화상 입력부(19)를 통해 취득한 유저의 얼굴의 카메라 화상으로부터 시선 유무 판정을 행하는 점(스텝 ST301, ST302) 및 카메라 화상에 근거하는 시선 유무 판정 후에 터치 제스처 조작에 의한 조작 정보 A0을 취득하는 점(스텝 ST303)에 있어서, 실시의 형태 1에 있어서의 터치 제스처 판정 장치(10)의 동작과 상위하다. 이들 점을 제외하고, 실시의 형태 3과 관련되는 터치 패널 입력 장치(3)의 동작은, 실시의 형태 1의 것과 동일하다. 따라서, 이하에, 실시의 형태 1의 동작과 상이한 동작을 설명한다.Fig. 14 is a flowchart showing an operation (a touch gesture judging method) of the touch
도 14의 스텝 ST301에 있어서, 카메라 화상 입력부(19)는, 카메라(34)로부터 유저의 얼굴의 화상 데이터를 받고, 메모리(32b)에 이 화상 데이터를 기억시킨다.In step ST301 of Fig. 14, the camera
도 15(a) 및 도 15(b)는 실시의 형태 3과 관련되는 터치 패널 입력 장치(3)에 있어서의 시선 있음 상태 및 시선 없음 상태의 판정 방법을 나타내는 도면이다. 스텝 ST302에 있어서, 시선 유무 판정부(12b)는, 도 15(a)에 나타내어지는 바와 같은 카메라 화상 입력부(19)가 메모리(32b)에 기억시킨 유저의 얼굴의 화상 데이터를 받고, 얼굴의 방향 및 시선을 추출하는 화상 처리를 행하고, 도 15(b)의 좌측에 나타내어지는 바와 같이, 시선이 터치 패널(20)의 화면으로 향하는 방향을 향하고 있으면, 시선 있음 상태로 판정한다. 또한, 시선 유무 판정부(12b)는, 도 15(b)의 우측에 나타내어지는 바와 같이, 시선이 터치 패널(20)의 화면으로 향하는 방향을 향하고 있지 않으면, 시선 없음 상태로 판정한다.Figs. 15A and 15B are diagrams showing a method of judging whether the touch
얼굴의 방향은, 예컨대, Haar 특징량에 근거하는 Cascade 식별기에 의해 검출 가능하고, 시선은, 예컨대, 얼굴의 파츠인 눈의 부분을 추출하고, 눈의 화상에 대하여 에지 필터를 적용하고, 홍채의 외경을 추출하고, 타원을 피팅하여 동공의 위치를 추측함으로써 검출 가능하다. 얼굴의 방향 및 시선의 검출 방법은, 이들 예로 한정되지 않고, 다른 방법을 채용하더라도 좋다.The direction of the face can be detected by, for example, a Cascade identifier based on the Haar feature amount. The line of sight can be obtained by extracting a part of the eye, for example, a part of the face, applying an edge filter to the image of the eye, It is possible to detect it by extracting the outer diameter and fitting the ellipse to estimate the position of the pupil. The method of detecting the face direction and the line of sight is not limited to these examples, and other methods may be employed.
《3-3》 효과Effect "3-3"
이상에 설명한 바와 같이, 실시의 형태 3과 관련되는 터치 패널 입력 장치(3), 터치 제스처 판정 장치(10b), 터치 제스처 판정 방법, 및 터치 제스처 판정 프로그램에 있어서는, 카메라(34)의 카메라 화상을 이용하여 유저의 시선이 터치 패널(20)의 화면으로 향하여져 있는 시선 있음 상태인지, 시선 있음 상태 이외의 상태인 시선 없음 상태인지를 판정함으로써, 유저가 조작 모드의 전환을 위한 터치 제스처 조작을 행하지 않더라도, 시선 유무 판정(조작 모드 판정)을 용이하고 정확하게 행할 수 있다.As described above, in the touch
또한, 실시의 형태 3과 관련되는 터치 패널 입력 장치(3), 터치 제스처 판정 장치(10b), 터치 제스처 판정 방법, 및 터치 제스처 판정 프로그램에 의하면, 시선 유무 판정을 카메라 화상에 근거하여 행하므로, 본래의 정보 입력을 위한 터치 제스처 조작에 있어서, 사용이 제한되는 조작을 없게 할 수 있다.According to the touch
또한, 실시의 형태 3과 관련되는 터치 패널 입력 장치(3)를 탑재한 휴대 단말 장치에서는, 기기를 점검하는 경우 또는 멀리 떨어진 위치에 설치된 대화면의 표시 장치를 보는 경우에 있어서, 터치 패널(20)을 보고 있을 때(시선 있음 상태)는, 통상의 표시 부품을 이용한 버튼 조작에 의한 터치 제스처 조작을 행할 수 있고, 터치 패널(20)을 보고 있지 않을 때(시선 없음 상태)에는, 터치 패널(20)의 화면 전체를 터치 제스처 조작을 접수하는 조작 유효 영역으로 할 수 있다. 이 때문에, 터치 패널(20)을 보고 있지 않을 때는, 휴대 단말 장치를, 기기의 점검에, 또는, 먼 곳에 설치된 대화면의 표시 장치의 조작 기기로서 사용할 수 있다.In the portable terminal apparatus equipped with the touch
상기 실시의 형태 1 내지 3은, 본 발명의 예시이고, 본 발명의 범위 내에 있어서, 다양한 변경이 가능하다.The first to third embodiments are examples of the present invention, and various modifications are possible within the scope of the present invention.
1, 2, 3 : 터치 패널 입력 장치
10, 10a, 10b : 터치 제스처 판정 장치
11 : 조작 정보 입력부
12, 12b : 시선 유무 판정부(조작 모드 판정부)
13 : 조작 모드 전환부
14 : 조작 판정부
15 : 통지부
16 : 표시 제어부
17 : 제스처 조작 기억부
18 : 제스처 보정부
19 : 카메라 화상 입력부
20 : 터치 패널
21 : 표시 패널부
22 : 조작 패널부
31 : 프로세서
32, 32b : 메모리
33 : 스피커
34 : 카메라
141 : 표시 부품 제스처 판정부
142 : 화면 전체 제스처 판정부
A0 : 조작 정보
A1 : 입력 정보
A2 : 시선 판정 정보
A3 : 명령 정보
A4 : 조작 판정 정보
A5 : 통지 정보
A6 : 화상 신호
A7, A8 : 선택치(출력 신호)
A9 : 카메라 화상1, 2, 3: Touch panel input device
10, 10a, 10b: Touch gesture judging device
11: Operation information input section
12, and 12b: eye presence / absence determining section (operation mode determining section)
13: Operation mode switching section
14:
15: Notification section
16:
17: Gesture operation storage unit
18: Gesture Correction
19: camera image input section
20: Touch panel
21:
22: Operation panel section
31: Processor
32, 32b: memory
33: Speaker
34: Camera
141: Display component gesture judgment section
142: Screen full gesture judgment section
A0: Operation information
A1: Input information
A2: Eye line judgment information
A3: Command information
A4: Operation judgment information
A5: Notification information
A6: image signal
A7, A8: Selection value (output signal)
A9: Camera picture
Claims (21)
상기 조작 정보를 받고, 상기 조작 정보에 근거하는 선택치를 생성하는 터치 제스처 판정 장치
를 갖는 터치 패널 입력 장치로서,
상기 터치 제스처 판정 장치는,
상기 터치 제스처 조작이, 상기 유저의 시선이 상기 화면으로 향하여져 있는 시선 있음 상태에 있어서의 조작 또는 상기 유저의 시선이 상기 화면으로 향하여져 있지 않은 시선 없음 상태에 있어서의 조작 중 어느 것인지를 판정하고, 상기 판정의 결과를 나타내는 시선 판정 정보를 출력하는 시선 유무 판정부와,
상기 시선 판정 정보에 근거하는 명령 정보를 출력하는 조작 모드 전환부와,
상기 명령 정보에 따르는 판정 방법으로, 상기 조작 정보에 근거하는 상기 선택치를 생성하는 조작 판정부와,
상기 터치 패널에, 상기 조작용 화상으로서 상기 명령 정보에 따르는 화상을 표시시키는 표시 제어부
를 갖고,
상기 조작 판정부는,
상기 시선 있음 상태일 때에, 상기 터치 패널에 상기 조작용 화상으로서 표시된 표시 부품에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하는 표시 부품 제스처 결정부와,
상기 시선 없음 상태일 때에, 상기 터치 패널의 화면 전체에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하는 화면 전체 제스처 결정부
를 갖는
것을 특징으로 하는 터치 패널 입력 장치.
A touch panel that displays an operation image on a screen, receives a user's touch gesture operation and outputs operation information corresponding to the touch gesture operation,
A touch gesture judging device for receiving the operation information and generating a selection value based on the operation information,
The touch panel input device comprising:
The touch gesture judging device comprises:
It is determined whether the touch gesture operation is an operation in a state in which the user's gaze is directed toward the screen or an operation in a gaze-free state in which the user's gaze is not directed toward the screen A visual line presence / absence determination section for outputting visual line determination information indicating a result of the determination;
An operation mode switching section for outputting command information based on the gaze determination information,
An operation determination unit that generates the selection value based on the operation information,
A display control section for displaying on the touch panel an image corresponding to the instruction information as the operation image,
Lt; / RTI &
Wherein the operation judging section
A display component gesture determination unit that determines the selection value from operation information based on a touch gesture operation performed on the display component displayed as the operation image on the touch panel when the visual line exists,
A screen-full-gesture determining unit that determines the selected value from operation information based on a touch gesture operation performed on the entire screen of the touch panel when the visual-
Having
Wherein the touch panel input device is a touch panel.
상기 터치 제스처 판정 장치는, 상기 명령 정보에 따르는 통지 내용의 통지를 발하거나 또는 통지 신호를 출력하는 통지부를 더 갖는 것을 특징으로 하는 터치 패널 입력 장치.
The method according to claim 1,
Wherein the touch gesture judging device further comprises a notifying part for issuing a notification of the contents of the notification in accordance with the command information or outputting a notification signal.
상기 시선 유무 판정부는, 상기 터치 제스처 조작으로서, 상기 터치 패널을 미리 결정된 제 1 임계치 이상의 시간 계속 누르는 길게 누르기 조작, 상기 터치 패널에 복수의 손가락을 접촉시키는 복수점 조작, 및 상기 터치 패널에 손바닥을 접촉시키는 손바닥 조작 중 어느 하나가 발생한 경우에, 상기 유저의 시선이 상기 시선 없음 상태라고 판정하는 터치 패널 입력 장치.
3. The method according to claim 1 or 2,
Wherein the visual line presence determining unit determines that the touch gesture operation is an operation of pressing the touch panel for a time longer than a predetermined first threshold for a long period of time and a plurality of point operations for touching the plurality of fingers on the touch panel, Wherein the touch panel input device determines that the user's line of sight is in the line-of-sight state when any one of the palm manipulations causing the contact occurs.
상기 시선 유무 판정부는, 상기 터치 제스처 조작으로서, 상기 터치 패널의 표시 내용을 변화시키지 않는 조작을 미리 결정된 제 2 임계치 이상의 시간 계속한 경우에, 상기 유저의 시선이 상기 시선 없음 상태라고 판정하는 터치 패널 입력 장치.
3. The method according to claim 1 or 2,
Wherein the visual presence determining unit determines whether or not the user's gaze is the gaze-free state when the operation of not changing the display content of the touch panel is continued for a time equal to or longer than a second predetermined threshold value as the touch gesture operation Input device.
상기 시선 유무 판정부는, 상기 터치 패널의 특정한 영역이, 미리 결정된 방향으로, 상기 특정한 영역으로부터 빠져나오지 않고서 덧써지는 조작이 행하여진 경우에, 상기 유저의 시선이 상기 시선 없음 상태라고 판정하는 터치 패널 입력 장치.
5. The method according to any one of claims 1 to 4,
Wherein the visual line presence determining unit determines whether or not the visual line of the user is in the visual line state when an operation of overwriting a specific area of the touch panel in a predetermined direction without exiting the specific area is performed, Input device.
상기 시선 유무 판정부는, 상기 터치 패널의 화면 상에서 특정한 궤적이 그려진 경우에, 상기 유저의 시선이 상기 시선 없음 상태라고 판정하는 터치 패널 입력 장치.
6. The method according to any one of claims 1 to 5,
Wherein the visual line presence determining unit determines that the user's line of sight is in the visual line absence state when a specific locus is drawn on the screen of the touch panel.
상기 시선 유무 판정부는, 상기 터치 패널의 화면 상에서 미리 결정된 제 3 임계치 이상의 시간 조작이 없는 경우에, 상기 유저의 시선이 상기 시선 없음 상태라고 판정하는 터치 패널 입력 장치.
7. The method according to any one of claims 1 to 6,
Wherein the visual line presence determining unit determines that the user's line of sight is in the no-visual line state when there is no time operation exceeding a predetermined third threshold value on the screen of the touch panel.
상기 유저의 얼굴을 촬영함으로써 카메라 화상을 출력하는 카메라를 더 갖고,
상기 시선 유무 판정부는, 상기 카메라 화상에 따라 상기 판정을 행하는
것을 특징으로 하는 터치 패널 입력 장치.
3. The method according to claim 1 or 2,
Further comprising a camera for outputting a camera image by photographing the face of the user,
The line presence / absence determination unit may determine whether or not the determination is made based on the camera image
Wherein the touch panel input device is a touch panel.
상기 시선 유무 판정부에 의해 상기 시선 없음 상태로 판정된 경우에, 상기 조작 판정부는, 상기 터치 패널의 화면의 미리 결정된 제 1 단부 쪽의 영역을 터치하면 상기 선택치를 늘리고, 상기 터치 패널의 화면의 상기 제 1 단부 쪽의 반대쪽인 제 2 단부 쪽을 터치하면 상기 선택치를 줄이는 것을 특징으로 하는 터치 패널 입력 장치.
9. The method according to any one of claims 1 to 8,
When the touch panel presence / absence determining section determines that the visual line is not present, the operation determining section increases the selection value by touching a predetermined first end region of the screen of the touch panel, And touching the second end portion opposite to the first end portion to reduce the selected value.
상기 시선 유무 판정부에 의해 상기 시선 없음 상태로 판정된 경우에, 상기 조작 판정부는, 상기 터치 패널의 화면 상에 있어서, 상기 화면을 덧쓰는 조작을 행한 위치에 따른 값을, 상기 선택치로서 선택하는 것을 특징으로 하는 터치 패널 입력 장치.
9. The method according to any one of claims 1 to 8,
And when it is determined by the gaze presence / absence determination unit that the gaze-free state is determined, the operation determination unit selects, as the selection value, a value corresponding to a position at which the operation of overwriting the screen is performed on the screen of the touch panel Wherein the touch panel input device is a touch panel.
상기 시선 유무 판정부에 의해 상기 시선 없음 상태로 판정된 경우에, 상기 조작 판정부는, 상기 터치 패널의 화면 상을 복수의 접촉점으로 제 1 회전 방향으로 회전하는 조작을 행함으로써 상기 선택치를 늘리고, 상기 제 1 회전 방향의 반대 방향인 제 2 회전 방향으로 회전하는 조작을 행함으로써 상기 선택치를 줄이는 것을 특징으로 하는 터치 패널 입력 장치.
9. The method according to any one of claims 1 to 8,
Wherein the operation determination section increases the selection value by performing an operation of rotating the screen of the touch panel in a first rotation direction with a plurality of contact points when it is determined by the visual presence / absence determination section that the visual axis is absent, And rotating the second touch panel in a second rotation direction opposite to the first rotation direction to reduce the selection value.
상기 터치 제스처 판정 장치는,
상기 터치 제스처 조작의 이력 정보를 기억하는 제스처 조작 기억부와,
상기 제스처 조작 기억부가 기억하는 상기 이력 정보를 기초로, 상기 조작 판정부에 의한 상기 터치 제스처 조작의 인식을 보정하는 제스처 보정부
를 더 갖는
것을 특징으로 하는 터치 패널 입력 장치.
9. The method according to any one of claims 1 to 8,
The touch gesture judging device comprises:
A gesture operation storage unit for storing history information of the touch gesture operation;
And a gesture correction section that corrects recognition of the touch gesture operation by the operation determination section based on the history information stored in the gesture operation storage section,
≪ / RTI &
Wherein the touch panel input device is a touch panel.
상기 시선 유무 판정부에 의해 상기 시선 없음 상태로 판정된 경우에,
상기 조작 판정부는, 상기 터치 패널의 화면 상을 복수의 접촉점으로 제 1 회전 방향으로 회전하는 조작을 행함으로써 상기 선택치를 늘리고, 상기 제 1 회전 방향의 반대 방향인 제 2 회전 방향으로 회전하는 조작을 행함으로써 상기 선택치를 줄이고,
상기 제스처 보정부는, 상기 회전하는 조작으로 그려진 원의 위치 및 궤적을 보정하는
것을 특징으로 하는 터치 패널 입력 장치.
13. The method of claim 12,
And when it is determined by the gaze presence / absence determination unit that the gaze-free state is determined,
Wherein the operation judging section increases the selection value by performing an operation of rotating the touch panel on the screen in a first rotation direction with a plurality of contact points and performs an operation of rotating in a second rotation direction opposite to the first rotation direction Thereby reducing the selected value,
Wherein the gesture correction unit corrects the position and the locus of the circle drawn by the rotating operation
Wherein the touch panel input device is a touch panel.
상기 터치 패널의 화면 상에 있어서 1개의 접촉점을 이동시켜 원을 반복하여 그리는 조작의, 상기 접촉점의 초기 위치는, 복수의 접촉점의 중심점(重心點) 또는 중심점(中心點)인 것을 특징으로 하는 터치 패널 입력 장치.
13. The method of claim 12,
Wherein an initial position of the contact point in the operation of repeatedly drawing a circle by moving one contact point on the screen of the touch panel is a center point or a center point of a plurality of contact points, Panel input device.
상기 시선 유무 판정부에 의해 상기 시선 없음 상태로 판정된 경우에, 상기 제스처 보정부는, 상기 터치 패널의 화면 상에서 입력된 3점 이상의 접촉점의 이동량, 2점의 접촉점 사이의 거리의 변화량으로 나타내어지는 확축량(擴縮量), 및 회전의 각도를, 현시점으로부터 미리 결정된 시간 거슬러 올라간 시점까지의 기간에 대하여 취득하고, 상기 접촉점의 이동량의 합계치, 상기 접촉점 사이의 거리의 변화량의 합계치, 및 상기 회전의 회전 방향의 변화량의 합계치를 구하고, 이들 변화량의 합계치 중 가장 큰 합계치의 조작을 의도하고 있는 조작으로서 출력하는 것을 특징으로 하는 터치 패널 입력 장치.
13. The method of claim 12,
The gesture correcting unit corrects the gesture correcting unit based on the amount of movement of the three or more touch points input on the screen of the touch panel and the amount of change in the distance between the two contact points, A total amount of changes in the distance between the contact points, and a sum of the amounts of change in the distance between the contact points, And outputs the total sum of the amounts of change in the rotational direction as an operation intended to manipulate the largest sum value among the total values of the amounts of change.
상기 시선 유무 판정부에 의해 상기 시선 있음 상태로 판정된 경우에, 상기 터치 패널의 화면에 대한 복수 점의 터치 조작이 발생하면, 상기 조작 판정부는, 상기 선택치를 확정하는 것을 특징으로 하는 터치 패널 입력 장치.
The method according to any one of claims 9, 10, and 13,
Characterized in that the operation determination unit determines the selection value when a touch operation of a plurality of points with respect to the screen of the touch panel occurs in the case where it is determined by the visual presence / Device.
상기 시선 유무 판정부에 의해 상기 시선 없음 상태로 판정된 경우에, 상기 터치 패널의 화면에 대한 더블탭이 발생하면, 상기 조작 판정부는, 상기 선택치를 확정하는 것을 특징으로 하는 터치 패널 입력 장치.
The method according to any one of claims 11, 14, and 15,
Wherein the operation judging unit confirms the selection value when a double tap is generated with respect to the screen of the touch panel when the visual presence / absence determination unit determines that the visual axis is absent.
상기 시선 유무 판정부에 의해 상기 시선 없음 상태로 판정된 경우에, 상기 터치 패널의 화면에 대한 조작이 미리 결정된 시간 없으면, 상기 조작 판정부는, 상기 선택치를 확정하는 것을 특징으로 하는 터치 패널 입력 장치.
The method according to any one of claims 9, 10, 11, 13, and 15,
Wherein the operation determination unit determines the selection value when the operation of the touch panel of the touch panel is not the predetermined time when the visual presence / absence determination unit determines that the visual line is not present.
상기 터치 제스처 조작이, 상기 유저의 시선이 상기 화면으로 향하여져 있는 시선 있음 상태에 있어서의 조작 또는 상기 유저의 시선이 상기 화면으로 향하여져 있지 않은 시선 없음 상태에 있어서의 조작 중 어느 것인지를 판정하고, 상기 판정의 결과를 나타내는 시선 판정 정보를 출력하는 시선 유무 판정부와,
상기 시선 판정 정보에 근거하는 명령 정보를 출력하는 조작 모드 전환부와,
상기 명령 정보에 따르는 판정 방법으로, 상기 조작 정보에 근거하는 상기 선택치를 생성하는 조작 판정부와,
상기 터치 패널에, 상기 조작용 화상으로서 상기 명령 정보에 따르는 화상을 표시시키는 표시 제어부
를 갖고,
상기 조작 판정부는,
상기 시선 있음 상태일 때에, 상기 터치 패널에 상기 조작용 화상으로서 표시된 표시 부품에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하는 표시 부품 제스처 결정부와,
상기 시선 없음 상태일 때에, 상기 터치 패널의 화면 전체에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하는 화면 전체 제스처 결정부
를 갖는
것을 특징으로 하는 터치 제스처 판정 장치.
Receiving operation information from a touch panel that displays an operation image on a screen, receives a user's touch gesture operation, and outputs operation information corresponding to the touch gesture operation, and generates a selection value based on the operation information A touch gesture judging device comprising:
It is determined whether the touch gesture operation is an operation in a state in which the user's gaze is directed toward the screen or an operation in a gaze-free state in which the user's gaze is not directed toward the screen A visual line presence / absence determination section for outputting visual line determination information indicating a result of the determination;
An operation mode switching section for outputting command information based on the gaze determination information,
An operation determination unit that generates the selection value based on the operation information,
A display control section for displaying on the touch panel an image corresponding to the instruction information as the operation image,
Lt; / RTI &
Wherein the operation judging section
A display component gesture determination unit that determines the selection value from operation information based on a touch gesture operation performed on the display component displayed as the operation image on the touch panel when the visual line exists,
A screen-full-gesture determining unit that determines the selected value from operation information based on a touch gesture operation performed on the entire screen of the touch panel when the visual-
Having
The touch gesture determination device comprising:
상기 터치 제스처 조작이, 상기 유저의 시선이 상기 화면으로 향하여져 있는 시선 있음 상태에 있어서의 조작 또는 상기 유저의 시선이 상기 화면으로 향하여져 있지 않은 시선 없음 상태에 있어서의 조작 중 어느 것인지를 판정하고, 상기 판정의 결과를 나타내는 시선 판정 정보를 출력하는 시선 유무 판정 스텝과,
상기 시선 판정 정보에 근거하는 명령 정보에 따르는 판정 방법으로, 상기 조작 정보에 근거하는 상기 선택치를 생성하는 조작 판정 스텝과,
상기 터치 패널에, 상기 조작용 화상으로서 상기 명령 정보에 따르는 화상을 표시시키는 표시 제어 스텝
을 갖고,
상기 조작 판정 스텝에 있어서, 상기 시선 있음 상태일 때에, 상기 터치 패널에 상기 조작용 화상으로서 표시된 표시 부품에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하고, 상기 시선 없음 상태일 때에, 상기 터치 패널의 화면 전체에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하는
것을 특징으로 하는 터치 제스처 판정 방법.
Receiving operation information from a touch panel that displays an operation image on a screen, receives a user's touch gesture operation, and outputs operation information corresponding to the touch gesture operation, and generates a selection value based on the operation information A method of determining a touch gesture,
It is determined whether the touch gesture operation is an operation in a state in which the user's gaze is directed toward the screen or an operation in a gaze-free state in which the user's gaze is not directed toward the screen Visual line presence / absence determination step of outputting visual line determination information indicating the result of the determination;
An operation determination step of generating the selection value based on the operation information in accordance with command information based on the visual determination information,
A display control step of causing the touch panel to display an image corresponding to the instruction information as the operation image
Lt; / RTI &
The operation determination step determines the selection value from the operation information based on the touch gesture operation performed on the display component displayed as the operation image on the touch panel when the visual line exists, , The selection value is determined from operation information based on a touch gesture operation performed on the entire screen of the touch panel
Wherein the touch gesture determination method comprises:
화면에 조작용 화상을 표시하고, 유저의 터치 제스처 조작을 접수하고, 상기 터치 제스처 조작에 대응하는 조작 정보를 출력하는 터치 패널로부터, 상기 조작 정보를 받고, 상기 조작 정보에 근거하는 선택치를 생성하기 위해,
상기 터치 제스처 조작이, 상기 유저의 시선이 상기 화면으로 향하여져 있는 시선 있음 상태에 있어서의 조작 또는 상기 유저의 시선이 상기 화면으로 향하여져 있지 않은 시선 없음 상태에 있어서의 조작 중 어느 것인지를 판정하고, 상기 판정의 결과를 나타내는 시선 판정 정보를 출력하는 시선 유무 판정 처리와,
상기 시선 판정 정보에 근거하는 명령 정보에 따르는 판정 방법으로, 상기 조작 정보에 근거하는 상기 선택치를 생성하는 조작 판정 처리와,
상기 터치 패널에, 상기 조작용 화상으로서 상기 명령 정보에 따르는 화상을 표시시키는 표시 제어 처리
를 실행시키고,
상기 조작 판정 처리에 있어서, 상기 시선 있음 상태일 때에, 상기 터치 패널에 상기 조작용 화상으로서 표시된 표시 부품에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하고, 상기 시선 없음 상태일 때에, 상기 터치 패널의 화면 전체에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하는
것을 특징으로 하는 터치 제스처 판정 프로그램.On the computer,
Receiving operation information from a touch panel that displays an operation image on a screen, receives a user's touch gesture operation, and outputs operation information corresponding to the touch gesture operation, and generates a selection value based on the operation information for,
It is determined whether the touch gesture operation is an operation in a state in which the user's gaze is directed toward the screen or an operation in a gaze-free state in which the user's gaze is not directed toward the screen Visual line presence / absence judgment processing for outputting visual judgment information indicating a result of the judgment;
An operation determination process for generating the selection value based on the operation information in accordance with command information based on the visual determination information,
A display control process for causing the touch panel to display an image corresponding to the instruction information as the operation image
Lt; / RTI >
In the operation determination processing, the selection value is determined from operation information based on a touch gesture operation performed on the display component displayed as the operation image on the touch panel when the visual axis is in the visual axis state, , The selection value is determined from operation information based on a touch gesture operation performed on the entire screen of the touch panel
Wherein the touch gesture judging program is a touch gesture judging program.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2016/088610 WO2018122891A1 (en) | 2016-12-26 | 2016-12-26 | Touch panel input device, touch gesture determination device, touch gesture determination method, and touch gesture determination program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190087510A true KR20190087510A (en) | 2019-07-24 |
| KR102254794B1 KR102254794B1 (en) | 2021-05-21 |
Family
ID=59559217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197017714A KR102254794B1 (en) | 2016-12-26 | 2016-12-26 | Touch panel input device, touch gesture determination device, touch gesture determination method, and touch gesture determination program |
Country Status (5)
| Country | Link |
|---|---|
| JP (1) | JP6177482B1 (en) |
| KR (1) | KR102254794B1 (en) |
| CN (1) | CN110114749B (en) |
| DE (1) | DE112016007545T5 (en) |
| WO (1) | WO2018122891A1 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6952942B2 (en) * | 2019-09-04 | 2021-10-27 | 三菱電機株式会社 | Touch panel device, operation identification method, and operation identification program |
| CN111352529B (en) * | 2020-02-20 | 2022-11-08 | Oppo（重庆）智能科技有限公司 | Method, device, terminal and storage medium for reporting touch event |
| CN113495620A (en) * | 2020-04-03 | 2021-10-12 | 百度在线网络技术（北京）有限公司 | Interactive mode switching method and device, electronic equipment and storage medium |
| US20230154226A1 (en) * | 2020-05-27 | 2023-05-18 | Mitsubishi Electric Corporation | Gesture detection apparatus and gesture detection method |
| WO2021240668A1 (en) * | 2020-05-27 | 2021-12-02 | 三菱電機株式会社 | Gesture detection device and gesture detection method |
| JP7014874B1 (en) | 2020-09-24 | 2022-02-01 | レノボ・シンガポール・プライベート・リミテッド | Information processing equipment and information processing method |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003240560A (en) * | 2002-02-13 | 2003-08-27 | Alpine Electronics Inc | Display controller using eyes |
| JP2008024070A (en) * | 2006-07-19 | 2008-02-07 | Xanavi Informatics Corp | On-vehicle information terminal |
| KR20120132096A (en) * | 2011-05-27 | 2012-12-05 | 엘지전자 주식회사 | Mobile terminal and operation control method thereof |
| KR20160001466A (en) * | 2014-06-27 | 2016-01-06 | 엘지전자 주식회사 | An apparatus and method for proceeding information of products being displayed in the show window |
| JP2016020267A (en) | 2014-07-15 | 2016-02-04 | 三菱電機株式会社 | Touch panel type destination floor registration operation panel of elevator and user determination method in the same |
| KR20160035207A (en) | 2014-09-23 | 2016-03-31 | 대원정밀공업(주) | Pumping device for vehicle seat |
| KR20160074315A (en) * | 2014-12-18 | 2016-06-28 | 한국과학기술원 | User terminal and method for providing haptic service of the same |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000231446A (en) * | 1999-02-10 | 2000-08-22 | Sharp Corp | Display integrated type tablet device and storage medium stored with automatic tablet correction program |
| JP2006017478A (en) * | 2004-06-30 | 2006-01-19 | Xanavi Informatics Corp | Navigation system |
| CN101055193A (en) * | 2006-04-12 | 2007-10-17 | 株式会社日立制作所 | Noncontact input operation device for in-vehicle apparatus |
| JP2007302223A (en) * | 2006-04-12 | 2007-11-22 | Hitachi Ltd | Non-contact input device for in-vehicle apparatus |
| JP2008195142A (en) * | 2007-02-09 | 2008-08-28 | Aisin Aw Co Ltd | Operation supporting device and method for on-vehicle equipment |
| US20140002376A1 (en) * | 2012-06-29 | 2014-01-02 | Immersion Corporation | Method and apparatus for providing shortcut touch gestures with haptic feedback |
| JP6214779B2 (en) | 2014-09-05 | 2017-10-18 | 三菱電機株式会社 | In-vehicle device control system |
-
2016
- 2016-12-26 KR KR1020197017714A patent/KR102254794B1/en active IP Right Grant
- 2016-12-26 JP JP2017522564A patent/JP6177482B1/en active Active
- 2016-12-26 WO PCT/JP2016/088610 patent/WO2018122891A1/en active Application Filing
- 2016-12-26 CN CN201680091771.3A patent/CN110114749B/en active Active
- 2016-12-26 DE DE112016007545.6T patent/DE112016007545T5/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003240560A (en) * | 2002-02-13 | 2003-08-27 | Alpine Electronics Inc | Display controller using eyes |
| JP2008024070A (en) * | 2006-07-19 | 2008-02-07 | Xanavi Informatics Corp | On-vehicle information terminal |
| KR20120132096A (en) * | 2011-05-27 | 2012-12-05 | 엘지전자 주식회사 | Mobile terminal and operation control method thereof |
| KR20160001466A (en) * | 2014-06-27 | 2016-01-06 | 엘지전자 주식회사 | An apparatus and method for proceeding information of products being displayed in the show window |
| JP2016020267A (en) | 2014-07-15 | 2016-02-04 | 三菱電機株式会社 | Touch panel type destination floor registration operation panel of elevator and user determination method in the same |
| KR20160035207A (en) | 2014-09-23 | 2016-03-31 | 대원정밀공업(주) | Pumping device for vehicle seat |
| KR20160074315A (en) * | 2014-12-18 | 2016-06-28 | 한국과학기술원 | User terminal and method for providing haptic service of the same |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110114749A (en) | 2019-08-09 |
| KR102254794B1 (en) | 2021-05-21 |
| CN110114749B (en) | 2022-02-25 |
| DE112016007545T5 (en) | 2019-09-19 |
| JPWO2018122891A1 (en) | 2018-12-27 |
| WO2018122891A1 (en) | 2018-07-05 |
| JP6177482B1 (en) | 2017-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190087510A (en) | A touch panel input device, a touch gesture judging device, a touch gesture judging method, and a touch gesture judging program | |
| US9111076B2 (en) | Mobile terminal and control method thereof | |
| JP6140773B2 (en) | Electronic device and method of operating electronic device | |
| JP4275151B2 (en) | Red-eye correction method and apparatus using user-adjustable threshold | |
| CN108920234B (en) | Method and terminal for dynamically displaying UI (user interface) elements | |
| US11607606B2 (en) | Information processing apparatus, recording medium and information processing method | |
| JP6153487B2 (en) | Terminal and control method | |
| JP2020017215A (en) | Electronic device, control program, and display control method | |
| US20200384350A1 (en) | Recording medium having recorded program | |
| US20170075453A1 (en) | Terminal and terminal control method | |
| CN111066316B (en) | Electronic device, storage medium, control device, and control method | |
| JP2011243157A (en) | Electronic apparatus, button size control method, and program | |
| US11009991B2 (en) | Display control apparatus and control method for the display control apparatus | |
| JP6329373B2 (en) | Electronic device and program for controlling electronic device | |
| JP7034856B2 (en) | Electronic devices, control programs and display control methods | |
| JP6616379B2 (en) | Electronics | |
| US20200371681A1 (en) | Method for zooming an image displayed on a touch-sensitive screen of a mobile terminal | |
| WO2018058986A1 (en) | Method and device for changing screen display scale, and mobile terminal | |
| JP7179334B2 (en) | GESTURE RECOGNITION DEVICE AND PROGRAM FOR GESTURE RECOGNITION DEVICE | |
| JP6770675B2 (en) | Programs and information processing equipment | |
| JP6457170B2 (en) | Portable electronic devices | |
| KR20190074036A (en) | Method for controlling smartphone with backside fingerprint sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |