KR20190038422A - 터치 입력 제스처를 검출하는 방법 및 장치 - Google Patents

터치 입력 제스처를 검출하는 방법 및 장치 Download PDF

Info

Publication number
KR20190038422A
KR20190038422A KR1020180115932A KR20180115932A KR20190038422A KR 20190038422 A KR20190038422 A KR 20190038422A KR 1020180115932 A KR1020180115932 A KR 1020180115932A KR 20180115932 A KR20180115932 A KR 20180115932A KR 20190038422 A KR20190038422 A KR 20190038422A
Authority
KR
South Korea
Prior art keywords
action
gesture
touch
finger
hover
Prior art date
Application number
KR1020180115932A
Other languages
English (en)
Inventor
신 로렌스
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20190038422A publication Critical patent/KR20190038422A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

터치 입력 제스처를 검출하는 방법 및 장치가 개시된다. 예시적인 장치는 터치 감지 디스플레이와, 터치 감지 디스플레이와 연관된 터치 및 호버를 검출하는 터치 센서와, 제스처 핸들러를 포함하고, 상기 제스처 핸들러는, 터치 및 호버와 연관된 손가락을 식별하기 위한 식별기와, 터치 및 호버와 연관된 제스처를 판정하고 제스처 및 식별된 손가락과 연관된 액션을 결정하는 제스처 검출기를 포함한다.

Description

터치 입력 제스처를 검출하는 방법 및 장치{METHODS AND APPARATUS TO DETECT TOUCH INPUT GESTURES}
본 개시는 일반적으로 터치 입력에 관한 것으로, 보다 구체적으로는 터치 입력 제스처를 검출하는 방법 및 장치에 관한 것이다.
최근, 터치 감지 디스플레이와 같은 터치 입력 장치의 품질 및 인기가 올라가고 있다. 예를 들어, 랩탑 컴퓨터, 데스크탑 컴퓨터, 태블릿 컴퓨터, 스마트 폰 등과 같은 많은 대중적인 컴퓨팅 장치는 (예컨대, 디스플레이를 터치하는 손가락을 통한) 터치를 통한 사용자 입력을 수용하는 터치 입력 장치로 구현되었다. 일부 이러한 터치 입력 장치는 복수의 터치 입력(예컨대, 두 손가락 입력 제스처)을 감지할 수 있다. 이에 더하여 또는 이에 갈음하여, 일부 터치 입력 장치는 터치 입력 장치에 접촉하는 터치 입력 이전에/없이 터치 입력을 검출할 수 있다. 이러한 유형의 검출은 일반적으로 호버 검출(hover detection)(예컨대, 터치 입력 장치에 호버링 및/또는 접근하는 손가락을 검출하는 것)이라고 한다.
도 1은 예시적인 터치 입력 장치의 블록도이다.
도 2는 제스처 핸들러의 예시적인 구현예의 블록도이다.
도 3 및 도 4는 예시적인 제스처 검출기를 구현하도록 실행될 수 있는 머신 판독 가능 명령어를 나타내는 흐름도이다.
도 5는 제스처 검출기를 구현하기 위해 도 3 내지 4의 명령어를 실행할 수 있는 예시적인 프로세서 플랫폼의 블록도이다.
도면들은 축척으로 도시되어 있지 않다. 가능하다면, 동일하거나 유사한 부분을 나타내기 위해 도면과 상세한 설명 전체에 걸쳐 동일한 참조 번호가 사용될 것이다.
본 명세서에 개시된 방법 및 장치는 호버 검출 및/또는 터치 입력 검출을 이용하여 터치 입력 장치상에서 터치 입력 제스처를 수행하는 손가락 또는 손가락들을 식별한다. 예를 들어, 개시된 방법 및 장치는 한 손의 5개의 손가락 중에서 어느 것이 터치 입력 장치와 접촉하였는지를 판정한다. 본 명세서에 개시된 바와 같이, 터치 입력 장치와 접촉하고 그 위에서 호버링하는 손가락을 검출함으로써 손가락(들)이 식별된다. 예를 들어, 한 손의 특정 손가락(들)을 검출하고/하거나 어느 손이 사용되는지(왼손 및/또는 오른손) 검출하기 위해, 손가락 위치의 패턴을 분석함으로써 손가락이 검출될 수 있다(예컨대, 5개의 손가락의 상대적인 위치와 함께 터치 입력 장치와 접촉하는 하나의 손가락과 4개의 호버링하는 손가락을 검출함). 개시된 방법 및 장치는 식별된 손가락(들)에 기초하여 손가락 특정 액션을 트리거한다. 예를 들어, 집게 손가락으로 버튼을 터치하면 엄지손가락으로 터치하는 것과 다른 액션을 트리거할 수 있다.
명료성을 위해, 손가락은 엄지손가락부터 시작하여 손가락 1 내지 5로 지칭될 것이다.
일부 개시된 예에서, 상이한 손가락을 사용하여 수행되는 제스처에는 상이한 결과 액션이 할당된다.
일부 예에서, 손가락 1과 손가락 2를 사용하여 핀치인(pinch-in)을 수행하면 줌인되고, 손가락 1과 손가락 2를 사용하여 핀치아웃(pinch-out)을 수행하면 줌아웃되며, 손가락 1과 손가락 3을 사용하여 핀치인을 수행하면 애플리케이션이 최소화되게 하고, 손가락 1과 손가락 3을 사용하여 핀치아웃을 수행하면 애플리케이션이 최대화된다.
일부 예에서, 손가락 2로 스크린을 탭핑(tapping)하면 좌클릭 액션(예컨대, 마우스의 왼쪽 버튼을 클릭하는 것과 동일한 동작)이 트리거되고, 손가락 3으로 스크린을 탭핑하는 것은 우클릭 액션이다.
일부 예에서, 드로잉(drawing), 언더라이닝(underlining), 하이라이팅(highlighting), 필기(handwriting) 등을 지원하는 애플리케이션에서, 상이한 손가락은 상이한 컬러(예컨대, 손가락 2로 드래그하면 레드 라인이 생성되고, 손가락 3으로 드래그하면 블루 라인이 생성된다), 상이한 라인 포맷(예컨대, 선굵기(line weight), 점선과 실선(dashed lines vs. solid lines) 등), 상이한 드로잉 도구의 사용과 연관될 수 있다.
일부 예에서, 복수의 스크린이 링크될 수 있고, 아이콘 또는 위젯상에서의 한 손가락의 플릭은 프로그램을 플릭 방향의 다른 스크린 상에서 열게 할 수 있다. 다른 손가락을 사용하여 프로그램이나 데이터를 휴지통으로 보낼 수도 있다.
일부 예에서, 상이한 손가락(예컨대, 손가락 1 내지 5로 증가하거나 또는 손가락 5에서 1로 감소하거나 또는 증가 또는 감소의 임의의 서브세트)으로 스크린을 터치하면, 값을 증가시키거나 값을 감소시키기 시작할 수 있다(예컨대, 볼륨 또는 밝기와 같은 시스템 설정을 높이거나 낮추기, 숫자를 증가/감소시키기 등). 예를 들어, 오른손 손가락 2로 한번 탭핑하면 볼륨이 5단위 증가할 수 있다. 왼손 손가락 2의 탭핑은 밝기를 5 단위 증가시킬 수 있다. 양 손의 손가락 3을 탭핑하면 제각기의 속성이 10 단위씩 증가하는 식으로 될 수 있다.
본 명세서 전반에 걸쳐 특정 예시적인 손가락의 표시는 예를 제공하기 위한 것이며, 청구범위에서 특정 손가락을 밝히지 않는 한 특정 손가락으로 한정해서는 안 된다. 개시된 제스처는 임의의 특정 손가락 및/또는 손가락들의 조합과 연관될 수 있다.
도 1은 예시적인 터치 입력 장치(102)의 블록도이다. 도시된 예에 따르면, 터치 입력 장치(102)는 태블릿 컴퓨팅 장치이다. 또는, 터치 입력 장치(102)는 터치 입력을 지원하는 임의의 유형의 장치(예컨대, 랩탑 컴퓨터, 데스크탑 컴퓨터 모니터, 스마트폰, 키오스크 디스플레이, 스마트 화이트보드 등)일 수 있다. 예시적인 터치 입력 장치(102)는 예시적인 터치 감지 디스플레이(104), 예시적인 터치 센서(106), 예시적인 제스처 핸들러(108) 및 예시적인 운영 체제(110)를 포함한다.
예시적인 터치 감지 디스플레이(104)는, 용량성 터치 센싱 회로와 연결되어 터치(예컨대, 터치 감지 디스플레이(104)와 접촉하는 입력) 및 호버(예컨대, 터치 감지 디스플레이(104)와 근접하지만 터치 감지 디스플레이(104)와 접촉하지는 않는 손가락과 같은 입력)를 검출하는 디스플레이이다. 또는, 터치 및 호버를 검출할 수 있는 임의의 다른 유형의 디스플레이 및/또는 터치 감지가 이용될 수 있다.
예시적인 터치 감지 디스플레이(104)의 터치 회로는 터치 센서(106)에 통신 가능하게 연결된다. 예시적인 터치 센서(106)는 터치 회로로부터의 신호를 처리하여 터치 및 호버의 특성을 결정한다. 예를 들어, 터치 센서(106)는 터치 및/또는 호버의 크기(예컨대, 터치 감지 디스플레이(104)상의 터치/호버의 풋프린트), 터치 감지 디스플레이(104)의 경계 내에서의 터치/호버의 위치, 터치/호버의 강도(예컨대, 터치 감지 디스플레이(104)를 터치가 어느 정도로 누르고 있는지, 호버가 터치 감지 디스플레이(104)에 얼마나 가까운지 등)를 포함할 수 있다. 터치 센서(106)는 터치/호버에 관한 특성을 예시적인 제스처 핸들러(108)로 전송한다.
도시된 예의 제스처 핸들러(108)는 시간의 경과에 따라 예시적인 터치 센서(106)로부터 수신된 터치/호버의 특성을 분석하여 제스처를 검출하고 제스처와 연관된 액션을 트리거링한다. 구체적으로, 예시적인 제스처 핸들러(108)는 터치/호버의 특성을 분석하여 터치/제스처를 수행하는 손가락(들)을 식별하고 제스처 및 손가락(들)의 조합과 연관된 액션을 트리거링한다. 트리거링 액션(들)에 대한 더 자세한 사항은 도 2와 관련하여 기술된다. 예시적인 제스처 핸들러(108)는 수행될 액션의 표시를 예시적인 운영 체제(110)로 전송한다.
예시적인 운영 체제(110)는 터치 입력 장치(102)의 하드웨어에 의해 터치 입력 장치(102)에서 실행되는 소프트웨어 및/또는 터치 입력 장치(102)상에서 실행되는 다른 소프트웨어를 인터페이스하는 실행 소프트웨어 및/또는 회로이다. 예시적인 제스처 핸들러(108)에 의해 트리거되는 액션은 특정 애플리케이션으로 전달되고(예컨대, 제스처가 특정 애플리케이션과 연관되어 있는 경우) 그리고/또는 운영 체제(110)에 의해 처리된다(예컨대, 제스처가 운영 체제(110)와 연관되어 있거나 또는 애플리케이션과 연관되어 있지 않은 경우).
설명을 위해, 도 1은 디스플레이된 버튼(120)을 포함한다. 예시적인 버튼(120)은 터치 감지 디스플레이(104) 상에 표시될 수 있는 요소들을 나타낸다. 또는, 운영 체제가 터치 입력 장치(102)에서 실행 중인 동안, 디스플레이된 버튼(120)은 임의의 수의 디스플레이된 요소로 대체될 수 있다. 또한, 설명을 위해, 도 1은, 사용자가 오른손을 이용하여 터치 감지 디스플레이(104)를 터치하고 있을 때, 터치 센서(106)에 의해 검출될 수 있는 터치 입력의 윤곽을 포함한다. 이 예에 도시된 바와 같이, 터치 영역(130)은 오른손의 손가락 1이고, 터치 영역(132)은 오른손의 손가락 2이며, 터치 영역(134)은 오른손의 손가락 3이고, 터치 영역(134)은 오른손의 손가락 4이며, 터치 영역(136)은 오른손의 손가락 5이다. 도시된 예에 따르면, 손가락 2는 터치 감지 디스플레이(104)를 터치하여 제2 터치 영역(132)을 생성하고, 손가락(1, 3, 4 및 5)은 터치 감지 디스플레이(104) 위에서 호버링하여 제1 터치 영역(130), 제3 터치 영역(134), 제4 터치 영역(136) 및 제5 터치 영역(138)을 생성한다.
도 2는 도 1의 제스처 핸들러(108)의 예시적인 구현의 블록도이다. 예시적인 제스처 핸들러(108)는 예시적인 센서 인터페이스(202), 예시적인 트레이너(204), 예시적인 트레이닝 데이터스토어(206), 예시적인 식별기(208), 예시적인 제스처 검출기(210), 예시적인 제스처 데이터베이스(212) 및 예시적인 시스템 인터페이스(214)를 포함한다.
예시적인 센서 인터페이스(202)는 예시적인 터치 센서(106)와 인터페이스하여 터치 감지 디스플레이(104)상의 터치 및/또는 호버에 대한 정보를 수신한다. 예시적인 센서 인터페이스(202)는 터치/또는 호버에 대한 정보를 예시적인 트레이너(204) 및/또는 예시적인 식별기(208)로 전달한다.
예시적인 트레이너(204)는 터치/호버에 관한 정보를 수집하여 모델 또는 다른 식별 툴을 트레이닝하여, 터치 감지 디스플레이(104)상의 터치/호버에 대한 손가락을 식별하는 제스처 핸들러(108)의 능력을 향상시킨다. 예시적인 트레이너(204)는 트레이닝 데이터(예컨대, 트레이닝된 모델)를 예시적인 트레이닝 데이터스토어(206)에 저장한다. 예를 들어, 트레이너(204)는 사용자에게 프롬프트(prompt)할 수 있고(예컨대, 사용자에게 터치 감지 디스플레이(104)에 그리고/또는 그 위에 손가락을 두도록 요청하는 표시를 제시할 수 있고) 식별기(208)로부터의 터치 정보 및/또는 손가락 아이덴티피케이션을 기록할 수 있다. 기록된 정보는 (예컨대, 기계 학습 모델과 같은) 모델, 식별기 등을 트레이닝 시키는데 사용될 수 있으며, 손가락(들)을 식별하는데 사용하기 위한 식별기(208)로 전달된다.
예시적인 트레이닝 데이터스토어(206)는 트레이닝/식별 데이터를 저장하기 위한 데이터베이스이다. 또는, 트레이닝 데이터스토어(206)는 임의의 다른 유형의 데이터 저장부(예컨대, 파일, 파일들의 집합, 하드 드라이브, 메모리 등)일 수 있다.
예시적인 식별기(208)는 터치/호버와 연관된 손가락(들)을 식별한다. 도시된 예에 따르면, 식별기(208)는 터치/호버와 연관된 손가락(들)을 식별하기 위해 모든 검출된 터치/호버의 상대적 위치를 분석함으로써 손가락을 식별한다. 예를 들어, 터치 중에 한 손이 디스플레이 위에 있을 때, 5개의 나타나는 터치/호버의 상대적 위치에 기초하여 5개의 손가락이 식별될 수 있다. 엄지손가락은 네 손가락에 대한 엄지손가락의 터치/호버의 상대적인 회전에 의해 식별될 수 있다. 이에 더하여 또는 이에 갈음하여, 국부적으로 트레이닝되거나 사전 설치된 트레이닝에 기초하여 데이터를 식별하는 모델이 이용될 수 있다. 식별기(208)는 또한 각각의 손가락이 터치 또는 호버링하고 있는지를 추가적으로 판단한다. 예를 들어, 식별기(208)는 손가락 2의 터치 강도가 가장 강하기 때문에(예컨대, 터치 감지 디스플레이(104)의 용량성 필드의 가장 큰 붕괴(strongest disruption of a capacitive field)를 생성하기 때문에) 손가락 2가 디스플레를 터치하고 있는 것으로 판단할 수 있다. 예시적인 식별기(208)는 손가락의 식별 및 손가락 상태(예컨대, 터치, 호버링 등)를 예시적인 제스처 검출기(210)로 전달한다.
예시적인 제스처 검출기(210)는 식별기(208)로부터 수신된 터치/호버 데이터를 분석하여 제스처를 검출한다. 여기서 사용되는 제스처는 터치/호버에 의해 수행되는 모든 액션이다. 예를 들어, 제스처는 단일 터치/탭, 더블 터치/탭, 스와이프, 핀치, 드래그 등일 수 있다. 따라서, 제스처 검출기(210)는 복수의 접촉/호버 및/또는 터치/호버를 일정 기간 분석할 수 있다. 일단 제스처 검출기(210)가 제스처를 식별하면, 제스처 검출기(210)는 제스처에 사용된 손가락(들)에 기초하여 제스처와 연관된 액션을 판단한다.
예시적인 제스처 검출기는 예시적인 제스처 데이터스토어(212)에 제스처(예컨대, 사용된 손가락(들), 제스처 유형, 및/또는 제스처의 타겟(예컨대, 제스처의 대상 애플리케이션))에 대한 정보를 질의한다. 도시된 예에 따르면, 제스처와 연관된 액션은 제스처에 사용된 손가락에 의존한다. 예를 들어, 제1 액션은 손가락 1을 사용하여 수행된 제스처에 대해 수행될 수 있고, 제2 액션은 손가락 2를 사용하여 수행되는 동일한 제스처에 대해 수행될 수 있다. 예를 들어, 동일한 제스처(예컨대, 버튼 탭핑)가 사용된 손가락에 따라 상이한 액션을 트리거할 수 있다(예컨대, 손가락 1로 버튼을 탭핑하면 폼에서 앞으로 진행하기(moving forward)를 트리거할 수 있고, 손가락 2로 탭핑하면 폼에서 뒤로 돌아가기를 트리거할 수 있다). 제스처에 대한 액션은 제스처의 타겟(예컨대, 애플리케이션, 사용자 인터페이스 요소 등)에 부가적으로 의존할 수 있다.
일부 실시예에서, 손가락 1 및 손가락 2를 사용하여 핀치인을 수행하면 줌인되고, 손가락 1 및 손가락 2를 사용하여 핀치아웃을 수행하면 줌아웃되며, 손가락 1 및 손가락 3을 사용하여 핀치인을 수행하면 애플리케이션이 최소화되고, 손가락 1과 손가락 3을 사용하여 핀치아웃을 수행하면 애플리케이션이 최대화된다.
일부 실시예에서, 손가락 2로 스크린을 탭핑하면 좌클릭 액션(예컨대, 마우스의 좌측 버튼을 클릭하는 것과 동일한 액션)이 트리거되고, 손가락 3으로 스크린을 탭핑하면 우클릭 액션이 트리거된다.
일부 예에서, 드로잉, 언더라이닝, 하이라이팅, 필기 등을 지원하는 애플리케이션에서, 상이한 손가락은 상이한 컬러(예컨대, 손가락 2로 드래그하면 레드 라인이 생성되고 손가락 3으로 드래그하면 블루 라인이 생성됨), 상이한 라인 포맷(예컨대, 라인 굵기, 점선과 실선 등), 상이한 그림 도구의 사용 등과 연관될 수 있다.
일부 예에서, 복수의 스크린이 링크될 수 있고, 아이콘 또는 위젯 상에서의 한 손가락의 플릭은 플릭의 방향에 있는 다른 스크린 상에서 그 프로그램을 열게 할 수 있다. 프로그램이나 데이터를 휴지통에 보내기 위해서는 다른 손가락을 사용할 수 있다.
일부 예에서, 상이한 손가락(예컨대, 손가락 1 내지 5로 증가하거나 또는 손가락 5에서 1로 감소하거나 또는 증가 또는 감소의 임의의 서브세트)으로 스크린을 터치하면, 값을 증가시키거나 값을 감소시키기 시작할 수 있다(예컨대, 볼륨 또는 밝기와 같은 시스템 설정을 높이거나 낮추기, 숫자를 증가/감소시키기 등). 예를 들어, 오른손 손가락 2로 한번 탭핑하면 볼륨이 5단위 증가할 수 있다. 왼손 손가락 2의 탭핑은 밝기를 5 단위 증가시킬 수 있다. 양 손의 손가락 3을 탭핑하면 제각기의 속성이 10 단위씩 증가하는 식으로 될 수 있다.
도시된 예의 제스처 데이터스토어(212)는 제스처를 액션과 연관시키는 규칙의 데이터베이스이다. 또는, 제스처 데이터스토어(212)는 임의의 다른 유형의 데이터 저장부(예컨대, 파일, 파일들의 집합, 하드 드라이브, 메모리 등)일 수 있다. 이에 더하여 또는 이에 갈음하여 제스처 데이터스토어(212)는 임의의 다른 유형의 제스처와 액션을 저장할 수 있다. 예를 들어, 규칙 대신에, 제스처와 액션의 연관이 테이블에 저장되거나, 설정 등으로 저장될 수 있다.
시스템 인터페이스(214)는 예시적인 운영 체제(110)와 인터페이스하여 예시적인 제스처 검출기(210)에 의해 결정된 액션(들)을 애플리케이션 및/또는 예시적인 운영 체제(110)로 전달한다.
도 1의 제스처 핸들러(108)를 구현하는 예시적인 방식이, 도 2에 도시되어 있지만, 도 1에 도시된 요소, 프로세스 및/또는 장치 중 하나 이상은 다른 방식으로 결합, 분할, 재구성, 생략, 제거 및/또는 구현될 수 있다. 또한, 예시적인 센서 인터페이스(202), 예시적인 트레이너(204), 예시적인 식별기(208), 예시적인 제스처 검출기(210), 예시적인 시스템 인터페이스(214) 및/또는 보다 일반적으로는 도 1의 예시적인 제스처 검출기(108)는 하드웨어, 소프트웨어, 펌웨어 및/또는 하드웨어, 소프트웨어 및/또는 펌웨어의 임의의 조합에 의해 구현될 수 있다. 따라서, 예를 들어, 예시적인 센서 인터페이스(202), 예시적인 트레이너(204), 예시적인 식별기(208), 예시적인 제스처 검출기(210), 예시적인 시스템 인터페이스(214) 및/또는 보다 일반적으로는 도 1의 예시적인 제스처 검출기(108)는 아날로그 또는 디지털 회로, 논리 회로, 프로그램 가능 프로세서, ASIC(s)(application specific integrated circuit(s)), PLD(s)(programmable logic device(s)) 및/또는 FPLD(s)(field programmable logic device(s))에 의해 구현될 수 있다. 순전히 소프트웨어 및/또는 펌웨어 구현을 커버하기 위한 이 특허의 장치 또는 시스템 청구항 중 임의의 것을 해석할 때, 예시적인 센서 인터페이스(202), 예시적인 트레이너(204), 예시적인 식별기(208), 예시적인 제스처 검출기(210), 예시적인 시스템 인터페이스(214) 및/또는 보다 일반적으로는 도 1의 예시적인 제스처 검출기(108)는, 소프트웨어 및/또는 펌웨어를 포함하는 메모리, DVD(digital versatile disk), CD(compact disk), 블루레이 디스크 등과 같은 비일시적 컴퓨터 판독 가능 저장 장치 또는 저장 디스크를 포함하도록 명시적으로 정의된다. 더욱이, 예시적인 제스처 검출기(108)는 도 2에 도시된 것 외에도 또는 그 대신에 하나 이상의 요소, 프로세스 및/또는 장치를 포함할 수 있으며, 그리고/또는 도시된 요소, 프로세스 및 장치 중 하나 이상 또는 모두를 포함할 수 있다.
제스처 검출기(108)를 구현하기 위한 예시적인 머신 판독 가능 명령어를 나타내는 흐름도가 도 3 및 도 4에 도시되어 있다. 실시예에서, 머신 판독 가능 명령어는 도 5와 관련하여 이하에서 논의되는 예시적인 프로세서 플랫폼(500)에 도시된 프로세서(512)와 같은 프로세서에 의해 실행되는 프로그램을 포함한다. 이 프로그램은, CD-ROM, 플로피 디스크, 하드 드라이브, DVD(digital versatile disk), 블루레이 디스크, 또는 프로세서(512)와 연관된 메모리와 같은 비일시적 컴퓨터 판독가능 저장 매체에 저장된 소프트웨어로 구현될 수 있지만, 전체 프로그램 및/또는 그 일부는 프로세서(512) 외의 다른 장치에 의해 실행될 수도 있고/또는 펌웨어 또는 전용 하드웨어로 실시될 수도 있다. 또한, 예시적인 프로그램은 도 3 및 도 4에 도시된 흐름도를 참조하여 기술되었지만, 예시적인 제스처 검출기(108)를 구현하는 많은 다른 방법들이 대안적으로 사용될 수 있다. 예를 들어, 블록들의 실행 순서는 변할 수 있고 그리고/또는 설명된 블록들 중 일부는 변경, 제거 또는 결합될 수 있다. 이에 더하여 또는 이에 갈음하여, 임의의 또는 모든 블록은, 소프트웨어나 펌웨어를 실행시키지 않고 대응하는 동작을 수행하도록 구성된 하나 이상의 하드웨어 회로(예컨대, 이산 및/또는 집적 아날로그 및/또는 디지털 회로, FPGA(Field Programmable Gate Array), ASIC(Application Specific Integrated Circuit), 비교기(comparator), 연산 증폭기(op-amp), 논리 회로 등)에 의해 구현될 수 있다.
전술한 바와 같이, 도 3 및 4의 예시적인 프로세스는, 하드 디스크 드라이브, 플래시 메모리, 판독 전용 메모리, 컴팩트 디스크, 디지털 다용도 디스크, 캐시, 랜덤 액세스 메모리 및/또는 임의의 기간 동안(예컨대, 장시간 동안, 영구적으로, 짧은 순간 동안, 일시적 버퍼링 동안 및/또는 정보의 캐싱 동안) 정보가 저장되는 임의의 다른 저장 장치 또는 저장 디스크와 같은 비일시적 컴퓨터 및/또는 머신 판독 가능 매체에 저장된 코딩된 명령어(예컨대, 컴퓨터 및/또는 머신 판독 가능 명령어)를 사용하여 구현될 수 있다. 본 명세서에서 사용되는 비일시적 컴퓨터 판독 가능 매체라는 용어는, 임의의 유형의 컴퓨터 판독 가능 저장 장치 및/또는 저장 디스크를 포함하고 전파 신호 및 전송 매체를 배제하도록 명시적으로 정의된다. "포함"(및 모든 형태 및 시제)이란 용어는 본 명세서에서 개방형 용어(open ended terms)로 사용된다. 따라서, 청구항이 임의의 형태의 "포함"(예컨대, 포함한다 또는 포함하는 등) 앞에 어떠한 것을 나열하는 경우, 이는 해당 청구항의 범위를 벗어나지 않으면서 추가적인 요소나 용어 등이 존재할 수 있는 것으로 이해해야 한다. 본 명세서에서 사용되는 바와 같이, "적어도"라는 문구는 청구항의 전문에서 전환어로 사용될 경우, 이것은 "포함"이란 용어가 개방형인 것과 동일한 방식으로 개방형이다.
도 3의 프로그램(300)은 예시적인 센서 인터페이스(202)가 예시적인 터치 센서(106)로부터 터치/호버 데이터를 수신할 때 시작한다(블록 302). 예시적인 식별기(208)가 복수의 터치/호버 영역을 검출한다(블록 304). 예를 들어, 식별기(208)는 수신된 터치/호버 데이터에 포함된 복수의 분리된 터치/호버 영역이 있는지 판정할 수 있다. 예시적인 식별기(208)는 복수의 터치/호버 영역과 연관된 손가락(들)를 식별한다(블록 306). 예시적인 식별기(208)는 또한 식별된 터치/호버 영역의 강도를 판정한다(블록 308). 예를 들어, 식별기(208)는, 다른 터치/호버보다 더 큰 강도의 터치/호버가 하나 이상 존재하며, 따라서 이들이 제스처를 수행하는 주 터치임을 판정할 수 있다. 예를 들어, 식별기(208)는 터치의 힘, 터치 감지 디스플레이(104)로부터의 호버의 거리, 또는 그러한 특성을 나타내는 임의의 다른 특성 또는 데이터를 판단할 수 있다.
예시적인 제스처 검출기(210)가 수행된 제스처(예컨대, 스와이프, 탭, 핀치 등)를 판정한다(블록 310). 제스처 검출기(210)는 제스처와 연관된 손가락(들)의 아이덴티티를 판정한다(블록 312). 제스처 검출기(210)는 터치/마우스의 다른 특성을 추가적으로 고려할 수 있다. 예를 들어, 제스처 검출기(210)는 제스처에 사용된 손가락의 아이덴티티, 제스처에 사용되지 않은 손가락의 아이덴티티, 터치의 강도, 호버의 거리 등을 분석할 수 있다. 예를 들어, 제스처는 터치 감지 디스플레이(104)와 접촉하는 손가락(들) 및 임계값보다 더 큰(또는 더 작은) 호버 거리를 갖는 손가락(들)에 의해 수행되는 액션으로 구성될 수 있다. 예를 들어, 제1 손가락으로 스와이핑하면서 제2 손가락(예컨대, 인접한 손가락)은 터치 감지 디스플레이(104)로부터 임계 거리보다 더 멀리 유지하는 것이 제1 제스처/액션일 수 있고, 제1 손가락으로 스와이핑하면서 제2 손가락(예컨대, 인접한 손가락)을 터치 감지 디스플레이(104)로부터 임계 거리보다 짧게 유지하는 것이 제2 제스처/액션일 수 있다.
제스처 검출기(210)는 제스처 데이터스토어(212)에서 그 제스처와 연관된 임의의 애플리케이션 특정 규칙이 존재하는지 그리고 제스처의 타겟 애플리케이션이 존재하는지를 판정한다(블록 314). 애플리케이션 특정 규칙이 존재하지 않는 경우, 제스처 검출기는 시스템 인터페이스(214)를 통해 제스처와 연관된 시스템 액션 및 제스처를 수행하는 손가락(들)의 아이덴티티를 운영 체제(110)로 전송한다(블록 316). 애플리케이션 특정 규칙이 존재할 경우, 제스처 검출기는 제스처와 연관된 애플리케이션 특정 액션 및 제스처를 수행하는 손가락(들)의 아이덴티티를 시스템 인터페이스(214)를 통해 운영 체제(110)로 전송한다(블록 318).
도 4의 프로그램(400)은 제스처와 연관된 손가락(들)을 식별하도록 제스처 핸들러(108)를 트레이닝하기 위해 수행될 수 있다. 프로그램(400)은 트레이닝이 개시될 때 시작된다. 예를 들어, 트레이닝은 사용자의 요구에 의해 개시될 수도 있고, 자동으로 개시될 수도 있으며, 부정확한 식별이 검출될 때 개시될 수도 있다. 예시적인 트레이너(204)는 사용자가 특정 방법으로 터치 감지 디스플레이 위에서 터치/호버하도록 프롬프트한다(104)(블록 402). 예를 들어, 트레이너(204)는 사용자가 오른손 손가락 2로 터치 감지 디스플레이(104)를 터치하고 손가락 1과 손가락 3 내지 5는 호버링하도록 사용자에게 프롬프트할 수 있다. 사용자가 이 지시를 따를 경우, 센서 인터페이스(202)는 터치/호버 데이터를 수신한다(블록 404). 트레이너(204)는 트레이닝 데이터스토어(206) 내의 트레이닝 데이터를 업데이트한다(블록 406). 예를 들어, 트레이너(204)는 입력에 기초하여 모델을 업데이트할 수 있고, 입력에 기초하여 기계 학습 시스템을 업데이트할 수 있다.
도 5는 도 1 및/또는 도 2의 제스처 검출기(58)를 구현하기 위해 도 3-4의 명령어를 실행할 수 있는 예시적인 프로세서 플랫폼(500)의 블록도이다. 프로세서 플랫폼(500)은, 예를 들어, 서버, 개인용 컴퓨터, 모바일 장치(예컨대, 셀 폰, 스마트폰, iPadTM와 같은 태블릿), 개인 휴대 정보 단말기(PDA), 인터넷 기기, DVD 플레이어, CD 플레이어, 디지털 비디오 레코더, 블루레이 플레이어, 게임 콘솔, 개인용 비디오 레코더, 셋톱 박스, 또는 임의의 다른 유형의 컴퓨팅 장치일 수 있다.
예시된 실시예의 프로세서 플랫폼(500)은 프로세서(512)를 포함한다. 도시된 예의 프로세서(512)는 하드웨어이다. 예를 들어, 프로세서(512)는 임의의 원하는 패밀리 또는 제조업체로부터의 하나 이상의 집적 회로, 논리 회로, 마이크로프로세서 또는 제어기에 의해 구현될 수 있다. 하드웨어 프로세서는 반도체 기반(예컨대, 실리콘 기반) 장치일 수 있다. 이 예에서, 프로세서(512)는 센서 인터페이스(202), 트레이너(204), 식별기(208), 제스처 검출기(210) 및 시스템 인터페이스(214)를 구현한다.
도시된 예의 프로세서(512)는 로컬 메모리(513)(예컨대, 캐시)를 포함한다. 도시된 예의 프로세서(512)는 버스(518)를 통해 휘발성 메모리(514) 및 비휘발성 메모리(516)를 포함하는 주 메모리와 통신한다. 휘발성 메모리(514)는 SDRAM(Synchronous Dynamic Random Access Memory), DRAM(Dynamic Random Access Memory), RDRAM(RAMBUS Dynamic Random Access Memory) 및/또는 임의의 다른 유형의 랜덤 액세스 메모리 장치일 수 있다. 비휘발성 메모리(516)는 플래시 메모리 및/또는 임의의 다른 바람직한 유형의 메모리 장치에 의해 구현될 수 있다. 주 메모리(514, 516)에 대한 액세스는 메모리 제어기에 의해 제어된다.
도시된 예의 프로세서 플랫폼(500)은 또한 인터페이스 회로(520)를 포함한다. 인터페이스 회로(520)는 이더넷 인터페이스, 범용 직렬 버스(USB) 및/또는 PCI 익스프레스 인터페이스와 같은 임의의 유형의 인터페이스 표준에 의해 구현될 수 있다.
도시된 예에서, 하나 이상의 입력 장치(522)는 인터페이스 회로(520)에 연결된다. 입력 장치(들)(522)는 사용자가 데이터 및/또는 명령을 프로세서(512)에 입력하도록 허용한다. 입력 장치(들)는, 예를 들어, 오디오 센서, 마이크로폰, 카메라(정지 또는 비디오), 키보드, 버튼, 마우스, 터치스크린, 트랙패드, 트랙볼, 아이소포인트 및/또는 음성 인식 시스템에 의해 구현될 수 있다.
또한, 하나 이상의 출력 장치(524)가 또한 도시된 예의 인터페이스 회로(520)에 접속된다. 출력 장치(524)는, 예를 들어, 디스플레이 장치(예컨대, LED(light emitting diode), OLED(organic light emitting diode), 액정 디스플레이, CRT, 터치스크린, 촉각 출력 장치, 프린터 및/또는 스피커)에 의해 구현될 수 있다. 따라서, 도시된 예의 인터페이스 회로(520)는 통상적으로 그래픽 드라이버 카드, 그래픽 드라이버 칩 및/또는 그래픽 드라이버 프로세서를 포함한다.
도시된 예의 인터페이스 회로(520)는, 또한, 네트워크(526)(예컨대, 이더넷 접속, DSL(digital subscriber line), 전화 회선, 동축 케이블, 셀룰러 전화 시스템 등)를 통해 외부 기계(예컨대, 임의의 유형의 컴퓨팅 장치)와의 데이터의 교환을 용이하게 하는 송신기, 수신기, 송수신기, 모뎀 및/또는 네트워크 인터페이스 카드와 같은 통신 장치를 포함한다.
도시된 예의 프로세서 플랫폼(500)은 또한 소프트웨어 및/또는 데이터를 저장하기 위한 하나 이상의 대용량 저장 장치(528)를 포함한다. 이러한 대용량 저장 장치(528)의 예는 플로피 디스크 드라이브, 하드 디스크 드라이브, 콤팩트 디스크 드라이브, 블루레이 디스크 드라이브, RAID 시스템 및 DVD(digital versatile disk) 드라이브를 포함한다. 예시적인 대용량 저장 장치(528)는 트레이닝 데이터스토어(206) 및 제스처 데이터스토어(212)를 저장한다.
도 3 및 도 4의 코딩된 명령어(532)는 대용량 저장 장치(528), 휘발성 메모리(514), 비휘발성 메모리(516), 및/또는 CD 또는 DVD와 같은 착탈식 유형의 컴퓨터 판독 가능 저장 매체에 저장될 수 있다.
전자 데이터의 이상을 검출하는 예시적인 방법, 장치, 시스템 및 제품이 본 명세서에 개시되어 있다. 추가의 예들 및 이들의 조합은 다음을 포함한다.
예 1은 제스처에 기초하여 액션을 트리거링하는 장치로서, 터치 감지 디스플레이와, 상기 터치 감지 디스플레이와 연관된 터치 및 호버를 검출하는 터치 센서와, 제스처 핸들러를 포함하되, 상기 제스처 핸들러는, 상기 터치 및 호버와 연관된 손가락을 식별하기 위한 식별기와, 상기 터치 및 호버와 연관된 제스처를 판정하고 상기 제스처 및 상기 식별된 손가락과 연관된 액션을 결정하는 제스처 검출기를 포함하는 장치이다.
예 2는 예1에 정의된 장치를 포함하며, 상기 제스처 핸들러는 상기 액션을 상기 장치의 운영 체제로 전송하기 위한 시스템 인터페이스를 포함한다.
예 3은 예 1 또는 예 2에 정의된 장치를 포함하며, 상기 제스처 검출기는, 상기 제스처에 대해 제1 손가락이 식별되는 경우에는 상기 제스처와 연관된 제1 액션을 결정하고, 상기 제스처에 대해 제2 손가락이 식별되는 경우에는 상기 제스처와 연관된 제2 액션을 결정한다.
예 4는 예 3에 정의된 장치를 포함하며, 상기 제1 액션은 마우스 좌클릭이고, 상기 제2 액션은 마우스 우클릭이다
예 5는 예 3에 정의된 장치를 포함하며, 상기 제1 액션은 제1 컬러로 드로잉하는 것이고, 상기 제2 액션은 제2 컬러로 드로잉하는 것이다.
예 6은 예 3에 정의된 장치를 포함하며, 상기 제1 액션은 제1 스크린 상에서 애플리케이션을 여는 것이고, 상기 제2 액션은 제2 스크린 상에서 상기 애플리케이션을 여는 것이다.
예 7은 예 3에 정의된 장치를 포함하며, 상기 제1 액션은 시스템의 제1 설정을 변경하는 것이고, 상기 제2 액션은 상기 시스템의 제2 설정을 변경하는 것이다.
예 8은, 실행될 경우, 머신으로 하여금 적어도, 터치 감지 디스플레이와 연관된 터치 및 호버를 검출하게 하고, 상기 터치 및 호버와 연관된 손가락을 식별하게 하며, 상기 터치 및 호버와 연관된 제스처를 판정하게 하고, 상기 제스처 및 상기 식별된 손가락과 연관된 액션을 결정하게 하는 명령어를 포함하는 비일시적 컴퓨터 판독 가능 매체이다.
예 9는 예 8에 정의된 비일시적 컴퓨터 판독 가능 매체를 포함하며, 상기 명령어는, 실행될 경우, 상기 머신으로 하여금 상기 액션을 상기 장치의 운영 체제로 전송하게 한다.
예 10은 예 8에 또는 예 9에 정의된 비일시적 컴퓨터 판독 가능 매체를 포함하며, 상기 명령어는, 실행될 경우, 상기 머신으로 하여금 상기 제스처에 대해 제1 손가락이 식별되는 경우에는 상기 제스처와 연관된 제1 액션을 결정하게 하고, 상기 제스처에 대해 제2 손가락이 식별되는 경우에는 상기 제스처와 연관된 제2 액션을 결정하게 한다.
예 11은 예 10에 정의된 비일시적 컴퓨터 판독 가능 매체를 포함하며, 상기 제1 액션은 마우스 좌클릭이고, 상기 제2 액션은 마우스 우클릭이다.
예 12는 예 10에 정의된 비일시적 컴퓨터 판독 가능 매체를 포함하며, 상기 제1 액션은 제1 컬러로 드로잉하는 것이고, 상기 제2 액션은 제2 컬러로 드로잉하는 것이다.
예 13은 예 10에 정의된 비일시적 컴퓨터 판독 가능 매체를 포함하며, 상기 제1 액션은 제1 스크린 상에서 애플리케이션을 여는 것이고, 상기 제2 액션은 제2 스크린 상에서 상기 애플리케이션을 여는 것이다.
예 14는 예 10에 정의된 비일시적 컴퓨터 판독 가능 매체를 포함하며, 상기 제1 액션은 시스템의 제1 설정을 변경하는 것이고, 상기 제2 액션은 상기 시스템의 제2 설정을 변경하는 것이다.
예 15는 제스처에 기초하여 액션을 트리거링하는 방법으로서, 터치 감지 디스플레이와 연관된 터치 및 호버를 검출하는 단계와, 상기 터치 및 호버와 연관된 손가락을 식별하는 단계와, 상기 터치 및 호버와 연관된 제스처를 판정하는 단계와, 상기 제스처 및 상기 식별된 손가락과 연관된 액션을 결정하는 단계를 포함하는 방법이다.
예 16은 예 15에 정의된 방법을 포함하며, 상기 액션을 상기 장치의 운영 체제로 전송하는 단계를 더 포함한다.
예 17은 예 15에 또는 제16에 정의된 방법을 포함하며, 상기 제스처에 대해 제1 손가락이 식별되는 경우에는 상기 제스처와 연관된 제1 액션을 결정하고, 상기 제스처에 대해 제2 손가락이 식별되는 경우에는 상기 제스처와 연관된 제2 액션을 결정하는 단계를 더 포함한다.
예 18은 예 17에 정의된 방법을 포함하며, 상기 제1 액션은 마우스 좌클릭이고, 상기 제2 액션은 마우스 우클릭이다.
예 19는 예 17에 정의된 방법을 포함하며, 상기 제1 액션은 제1 컬러로 드로잉하는 것이고, 상기 제2 액션은 제2 컬러로 드로잉하는 것이다.
예 20은 예 17에 정의된 방법을 포함하며, 상기 제1 액션은 제1 스크린 상에서 애플리케이션을 여는 것이고, 상기 제2 액션은 제2 스크린 상에서 상기 애플리케이션을 여는 것이다.
예 21은 예 17에 정의된 방법을 포함하며, 상기 제1 액션은 시스템의 제1 설정을 변경하는 것이고, 상기 제2 액션은 상기 시스템의 제2 설정을 변경하는 것이다.
예 22는 제스처에 기초하여 액션을 트리거링하는 장치로서, 터치 감지 디스플레이와 연관된 터치 및 호버와 연관된 손가락을 식별하기 위한 식별기와, 상기 터치 및 호버와 연관된 제스처를 판정하고 상기 제스처 및 상기 식별된 손가락과 연관된 액션을 결정하는 제스처 검출기를 포함하는 장치이다.
예 23은 예 22에 정의된 장치를 포함하며, 상기 액션을 상기 장치의 운영 체제로 전송하기 위한 시스템 인터페이스를 더 포함한다.
예 24는 예 22 또는 예 23에 정의된 장치를 포함하며, 상기 제스처 검출기는, 상기 제스처에 대해 제1 손가락이 식별되는 경우에는 상기 제스처와 연관된 제1 액션을 결정하고, 상기 제스처에 대해 제2 손가락이 식별되는 경우에는 상기 제스처와 연관된 제2 액션을 결정한다.
예 25는 예24에 정의된 장치를 포함하며, 상기 제1 액션은 마우스 좌클릭이고, 상기 제2 액션은 마우스 우클릭이다.
예 26은 예24에 정의된 장치를 포함하며, 상기 제1 액션은 제1 컬러로 드로잉하는 것이고, 상기 제2 액션은 제2 컬러로 드로잉하는 것이다.
예 27은 예24에 정의된 장치를 포함하며, 상기 제1 액션은 제1 스크린 상에서 애플리케이션을 여는 것이고, 상기 제2 액션은 제2 스크린 상에서 상기 애플리케이션을 여는 것이다.
예 28은 예24에 정의된 장치를 포함하며, 상기 제1 액션은 시스템의 제1 설정을 변경하는 것이고, 상기 제2 액션은 상기 시스템의 제2 설정을 변경하는 것이다.
예 29는 제스처에 기초하여 액션을 트리거링하는 장치로서, 터치 감지 디스플레이와 연관된 터치 및 호버를 검출하는 수단과, 상기 터치 및 호버와 연관된 손가락을 식별하는 수단과, 상기 터치 및 호버와 연관된 제스처를 판정하는 수단과, 상기 제스처 및 식별된 손가락과 연관된 액션을 결정하는 수단을 포함하는 장치이다.
예 30은 예29에 정의된 장치를 포함하며, 상기 액션을 상기 장치의 운영 체제로 전송하는 수단을 더 포함한다.
예 31은 제스처에 기초하여 액션을 트리거링하는 시스템으로서, 터치 감지 디스플레이와, 실행 애플리케이션과 연관된 운영 체제와, 상기 터치 감지 디스플레이와 연관된 터치 및 호버를 검출하는 터치 센서와, 제스처 핸들러를 포함하되, 상기 제스처 핸들러는, 상기 터치 및 호버와 연관된 손가락을 식별하기 위한 식별기와, 상기 터치 및 호버와 연관된 제스처를 판정하고 상기 제스처 및 상기 식별된 손가락과 연관된 액션을 결정하는 제스처 검출기를 포함하는 시스템이다.
예 32는 예 31에 정의된 장치를 포함하며, 상기 제스처 핸들러는 상기 액션을 상기 장치의 운영 체제로 전송하여 상기 액션이 상기 실행 애플리케이션에 의해 수행되게 하는 시스템 인터페이스를 포함한다.
전술한 내용으로부터, 터치 감지 디스플레이를 갖는 컴퓨팅 장치와 상호 작용하는 방식을 용이하게 하는 예시적인 방법, 장치 및 제품이 개시되었음을 이해할 수 있을 것이다. 일부 예에서, 다른 사용자 입력 장치를 추가하지 않고 사용자 입력 정보의 구분이 용이해질 수 있다. 터치 입력은, 입력을 제공하기 위해 사용된 손가락(들)의 아이덴티티, 터치의 강도, 호버링 거리 등을 검출함으로써, 물리적 또는 가상 스위치의 필요없이 컴퓨팅 장치에 개별 정보를 전달할 수 있다.
비록 소정의 예시적인 방법, 장치 및 제품이 본원에 개시되었지만, 본 특허의 적용 범위는 이에 제한되지 않는다. 반대로, 본 특허는 본 특허의 청구범위 내에 있는 모든 방법, 장치 및 제품을 포함한다.

Claims (32)

  1. 제스처에 기초하여 액션을 트리거링하는 장치로서,
    터치 감지 디스플레이와,
    상기 터치 감지 디스플레이와 연관된 터치 및 호버를 검출하는 터치 센서와,
    제스처 핸들러를 포함하되,
    상기 제스처 핸들러는,
    상기 터치 및 호버와 연관된 손가락을 식별하는 식별기와,
    상기 터치 및 호버와 연관된 제스처를 판정하고 상기 제스처 및 상기 식별된 손가락과 연관된 액션을 결정하는 제스처 검출기를 포함하는
    장치.
  2. 제1항에 있어서,
    상기 제스처 핸들러는 상기 액션을 상기 장치의 운영 체제로 전송하는 시스템 인터페이스를 포함하는
    장치.
  3. 제1항 또는 제2항에 있어서,
    상기 제스처 검출기는, 상기 제스처에 대해 제1 손가락이 식별되는 경우에는 상기 제스처와 연관된 제1 액션을 결정하고, 상기 제스처에 대해 제2 손가락이 식별되는 경우에는 상기 제스처와 연관된 제2 액션을 결정하는
    장치.
  4. 제3항에 있어서,
    상기 제1 액션은 마우스 좌클릭이고, 상기 제2 액션은 마우스 우클릭인
    장치.
  5. 제3항에 있어서,
    상기 제1 액션은 제1 컬러로 드로잉하는 것이고, 상기 제2 액션은 제2 컬러로 드로잉하는 것인
    장치.
  6. 제3항에 있어서,
    상기 제1 액션은 제1 스크린 상에서 애플리케이션을 여는 것이고, 상기 제2 액션은 제2 스크린 상에서 상기 애플리케이션을 여는 것인
    장치.
  7. 제3항에 있어서,
    상기 제1 액션은 시스템의 제1 설정을 변경하는 것이고, 상기 제2 액션은 상기 시스템의 제2 설정을 변경하는 것인
    장치.
  8. 실행될 경우, 머신으로 하여금 적어도,
    터치 감지 디스플레이와 연관된 터치 및 호버를 검출하게 하고,
    상기 터치 및 호버와 연관된 손가락을 식별하게 하며,
    상기 터치 및 호버와 연관된 제스처를 판정하게 하고,
    상기 제스처 및 상기 식별된 손가락과 연관된 액션을 결정하게 하는
    명령어를 포함하는 비일시적 컴퓨터 판독 가능 매체.
  9. 제8항에 있어서,
    상기 명령어는, 실행될 경우, 상기 머신으로 하여금 상기 액션을 상기 장치의 운영 체제로 전송하게 하는
    비일시적 컴퓨터 판독 가능 매체.
  10. 제8항 또는 제9항에 있어서,
    상기 명령어는, 실행될 경우, 상기 머신으로 하여금 상기 제스처에 대해 제1 손가락이 식별되는 경우에는 상기 제스처와 연관된 제1 액션을 결정하게 하고, 상기 제스처에 대해 제2 손가락이 식별되는 경우에는 상기 제스처와 연관된 제2 액션을 결정하게 하는
    비일시적 컴퓨터 판독 가능 매체.
  11. 제10항에 있어서,
    상기 제1 액션은 마우스 좌클릭이고, 상기 제2 액션은 마우스 우클릭인
    비일시적 컴퓨터 판독 가능 매체.
  12. 제10항에 있어서,
    상기 제1 액션은 제1 컬러로 드로잉하는 것이고, 상기 제2 액션은 제2 컬러로 드로잉하는 것인
    비일시적 컴퓨터 판독 가능 매체.
  13. 제10항에 있어서,
    상기 제1 액션은 제1 스크린 상에서 애플리케이션을 여는 것이고, 상기 제2 액션은 제2 스크린 상에서 상기 애플리케이션을 여는 것인
    비일시적 컴퓨터 판독 가능 매체.
  14. 제10항에 있어서,
    상기 제1 액션은 시스템의 제1 설정을 변경하는 것이고, 상기 제2 액션은 상기 시스템의 제2 설정을 변경하는 것인
    비일시적 컴퓨터 판독 가능 매체.
  15. 제스처에 기초하여 액션을 트리거링하는 방법으로서,
    터치 감지 디스플레이와 연관된 터치 및 호버를 검출하는 단계와,
    상기 터치 및 호버와 연관된 손가락을 식별하는 단계와,
    상기 터치 및 호버와 연관된 제스처를 판정하는 단계와,
    상기 제스처 및 상기 식별된 손가락과 연관된 액션을 결정하는 단계를 포함하는
    방법.
  16. 제15항에 있어서,
    상기 액션을 상기 장치의 운영 체제로 전송하는 단계를 더 포함하는
    방법.
  17. 제15항 또는 제16항에 있어서,
    상기 제스처에 대해 제1 손가락이 식별되는 경우에는 상기 제스처와 연관된 제1 액션을 결정하고, 상기 제스처에 대해 제2 손가락이 식별되는 경우에는 상기 제스처와 연관된 제2 액션을 결정하는 단계를 더 포함하는
    방법.
  18. 제17항에 있어서,
    상기 제1 액션은 마우스 좌클릭이고, 상기 제2 액션은 마우스 우클릭인
    방법.
  19. 제17항에 있어서,
    상기 제1 액션은 제1 컬러로 드로잉하는 것이고, 상기 제2 액션은 제2 컬러로 드로잉하는 것인
    방법.
  20. 제17항에 있어서,
    상기 제1 액션은 제1 스크린 상에서 애플리케이션을 여는 것이고, 상기 제2 액션은 제2 스크린 상에서 상기 애플리케이션을 여는 것인
    방법.
  21. 제17항에 있어서,
    상기 제1 액션은 시스템의 제1 설정을 변경하는 것이고, 상기 제2 액션은 상기 시스템의 제2 설정을 변경하는 것인
    방법.
  22. 제스처에 기초하여 액션을 트리거링하는 장치로서,
    터치 감지 디스플레이와 연관된 터치 및 호버와 연관된 손가락을 식별하는 식별기와,
    상기 터치 및 호버와 연관된 제스처를 판정하고 상기 제스처 및 상기 식별된 손가락과 연관된 액션을 결정하는 제스처 검출기를 포함하는
    장치.
  23. 제22항에 있어서,
    상기 액션을 상기 장치의 운영 체제로 전송하는 시스템 인터페이스를 더 포함하는
    장치.
  24. 제22항 또는 제23항에 있어서,
    상기 제스처 검출기는, 상기 제스처에 대해 제1 손가락이 식별되는 경우에는 상기 제스처와 연관된 제1 액션을 결정하고, 상기 제스처에 대해 제2 손가락이 식별되는 경우에는 상기 제스처와 연관된 제2 액션을 결정하는
    장치.
  25. 제24항에 있어서,
    상기 제1 액션은 마우스 좌클릭이고, 상기 제2 액션은 마우스 우클릭인
    장치.
  26. 제24항에 있어서,
    상기 제1 액션은 제1 컬러로 드로잉하는 것이고, 상기 제2 액션은 제2 컬러로 드로잉하는 것인
    장치.
  27. 제24항에 있어서,
    상기 제1 액션은 제1 스크린 상에서 애플리케이션을 여는 것이고, 상기 제2 액션은 제2 스크린 상에서 상기 애플리케이션을 여는 것인
    장치.
  28. 제24항에 있어서,
    상기 제1 액션은 시스템의 제1 설정을 변경하는 것이고, 상기 제2 액션은 상기 시스템의 제2 설정을 변경하는 것인
    장치.
  29. 제스처에 기초하여 액션을 트리거링하는 장치로서,
    터치 감지 디스플레이와 연관된 터치 및 호버를 검출하는 수단과,
    상기 터치 및 호버와 연관된 손가락을 식별하는 수단과,
    상기 터치 및 호버와 연관된 제스처를 판정하는 수단과,
    상기 제스처 및 상기 식별된 손가락과 연관된 액션을 결정하는 수단을 포함하는
    장치.
  30. 제29항에 있어서,
    상기 액션을 상기 장치의 운영 체제로 전송하는 수단을 더 포함하는 장치.
  31. 제스처에 기초하여 액션을 트리거링하는 시스템으로서,
    터치 감지 디스플레이와,
    실행 애플리케이션과 연관된 운영 체제와,
    상기 터치 감지 디스플레이와 연관된 터치 및 호버를 검출하는 터치 센서와,
    제스처 핸들러를 포함하되,
    상기 제스처 핸들러는,
    상기 터치 및 호버와 연관된 손가락을 식별하기 위한 식별기와,
    상기 터치 및 호버와 연관된 제스처를 판정하고 상기 제스처 및 상기 식별된 손가락과 연관된 액션을 결정하는 제스처 검출기를 포함하는
    시스템.
  32. 제31항에 있어서,
    상기 제스처 핸들러는 상기 액션을 상기 장치의 운영 체제로 전송하여 상기 액션이 상기 실행 애플리케이션에 의해 수행되게 하는 시스템 인터페이스를 포함하는
    시스템.
KR1020180115932A 2017-09-29 2018-09-28 터치 입력 제스처를 검출하는 방법 및 장치 KR20190038422A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN201741034697 2017-09-29
IN201741034697 2017-09-29

Publications (1)

Publication Number Publication Date
KR20190038422A true KR20190038422A (ko) 2019-04-08

Family

ID=65728077

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180115932A KR20190038422A (ko) 2017-09-29 2018-09-28 터치 입력 제스처를 검출하는 방법 및 장치

Country Status (4)

Country Link
US (1) US20190101996A1 (ko)
KR (1) KR20190038422A (ko)
CN (1) CN109582171A (ko)
DE (1) DE102018123925A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021241840A1 (ko) * 2020-05-29 2021-12-02 삼성전자 주식회사 제스쳐 기반 제어 전자 장치 및 그 동작 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021040296A1 (en) * 2019-08-23 2021-03-04 Samsung Electronics Co., Ltd. Method for determining proximity of at least one object using electronic device
US11301099B1 (en) 2019-09-27 2022-04-12 Apple Inc. Methods and apparatus for finger detection and separation on a touch sensor panel using machine learning models

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021241840A1 (ko) * 2020-05-29 2021-12-02 삼성전자 주식회사 제스쳐 기반 제어 전자 장치 및 그 동작 방법
US11537210B2 (en) 2020-05-29 2022-12-27 Samsung Electronics Co., Ltd. Gesture-controlled electronic apparatus and operating method thereof

Also Published As

Publication number Publication date
CN109582171A (zh) 2019-04-05
DE102018123925A1 (de) 2019-04-04
US20190101996A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
JP6429981B2 (ja) ユーザ入力の意図の分類
CN102789332B (zh) 于触控面板上识别手掌区域方法及其更新方法
US9665276B2 (en) Character deletion during keyboard gesture
US20160004373A1 (en) Method for providing auxiliary information and touch control display apparatus using the same
JP5702296B2 (ja) ソフトウェアキーボード制御方法
US10223057B2 (en) Information handling system management of virtual input device interactions
JP2017535831A (ja) タッチ入力の非意図的または意図的なものとしての分類
US20080134078A1 (en) Scrolling method and apparatus
US20120212438A1 (en) Methods and apparatuses for facilitating interaction with touch screen apparatuses
US20120105367A1 (en) Methods of using tactile force sensing for intuitive user interface
TWI590147B (zh) 觸控模式
US20130120282A1 (en) System and Method for Evaluating Gesture Usability
US20110307535A1 (en) Freeform mathematical computations
CN102768595B (zh) 一种识别触摸屏上触控操作指令的方法及装置
JP2011248888A (ja) デュアルスクリーン上のユーザジェスチャのための方法及びデュアルスクリーンデバイス
US11314411B2 (en) Virtual keyboard animation
KR20190038422A (ko) 터치 입력 제스처를 검출하는 방법 및 장치
Zhang et al. Gestkeyboard: enabling gesture-based interaction on ordinary physical keyboard
US10019148B2 (en) Method and apparatus for controlling virtual screen
US20140298275A1 (en) Method for recognizing input gestures
US10860120B2 (en) Method and system to automatically map physical objects into input devices in real time
US10521108B2 (en) Electronic apparatus for detecting touch, method of controlling the same, and display apparatus including touch controller
US10228892B2 (en) Information handling system management of virtual input device interactions
WO2015167531A2 (en) Cursor grip
US9665769B2 (en) Handwriting recognition with natural user input on multitouch surfaces

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal