KR20090029816A - 무접촉식 동작 기반의 입력 - Google Patents

무접촉식 동작 기반의 입력 Download PDF

Info

Publication number
KR20090029816A
KR20090029816A KR1020097001481A KR20097001481A KR20090029816A KR 20090029816 A KR20090029816 A KR 20090029816A KR 1020097001481 A KR1020097001481 A KR 1020097001481A KR 20097001481 A KR20097001481 A KR 20097001481A KR 20090029816 A KR20090029816 A KR 20090029816A
Authority
KR
South Korea
Prior art keywords
user
manipulated
movement
data
dimensional space
Prior art date
Application number
KR1020097001481A
Other languages
English (en)
Other versions
KR101098015B1 (ko
Inventor
조란 라디보예빅
콩 치아오 왕
레이요 케이. 레티니에미
유카 아이. 란탈라
루페 티. 타칼라
라민 반탄파라스트
얀밍 조우
부코 티. 란츠
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20090029816A publication Critical patent/KR20090029816A/ko
Application granted granted Critical
Publication of KR101098015B1 publication Critical patent/KR101098015B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

방법은, 기기의 근처에서 사용자에 의해 조작되는 물리적 객체에 의한 동작을 실행함; 동작을 실행하는 때에 사용자에 의해 조작되는 객체의 존재를 나타내는 데이터를 발생시킴; 및 데이터를, 기기에 의하여 디스플레이되는 객체와 같은, 적어도 하나의 객체에 관련된 것으로 해석함;을 포함한다.

Description

무접촉식 동작 기반의 입력{Touchless gesture based input}
본 발명의 예시적인 실시예들에 따른 교시들(teachings)은 일반적으로 전자 기기에 대한 사용자 인터페이스에 관련되고, 보다 구체적으로는 수동적으로(manually) 작동되는 사용자 입력 기기, 방법, 시스템, 및 컴퓨터 프로그램 제품에 관련된다.
융합하는 멀티미디어 전자 산업에서 채택되는 입력 기기들은 점점 더 중요해 지고 있다. 인간-전산 단말기 인터페이스는 시스템 설계자들에게 오랜 동안 도전의 대상이 되어왔으나, 수십전 전의 마우스의 출현 이후에 현저한 개선이 있지는 못하였다. 특히 이것은 이동용의 무선 기기들 분야에 있어서 도전적인 과제인데, 이 분야에서는 기기 소형화와 사용편의성의 목적들이 서로 직접적으로 충돌하기 때문이다. 기본적인 입력 정보를 CT 에 제공하기 위하여 손가락 움직임 및/또는 사용자 동작과 같은 가장 단순한 양식(modality)이 이용된다면, 인간과 전산 단말기(computing terminal; CT)(비제한적인 예들로서는 멀티미디어 단말기, 통신 단말기, 디스플레이 중심의 시스템(display dominated system; DDS) 및 기기, 게임 기기, 그리고 랩탑 컴퓨터(laptop computer)가 포함된다) 간의 자연스럽고 지능적인 상호작용이 얻어질 수 있다.
종래에 입력 기기와 관련된 기술은 (전형적인 키보드와 같은) 전자-기계식 스위치들의 세트에 의존하여 왔다. 그러한 접근방안은, 일 세트의 스위치들(단 하나의 작업에만 전용되는 키보드의 키이(key)들)을 위하여 상대적으로 넓은 영역을 필요로 한다. 보다 진보된 해결방안은 터치 스크린 디스플레이에 의하여 제공되는데, 여기에서는 터치 감응성 스위치들이 통합식 광학 터치 스크린(Integrated Optical Touch Screen; AMLCD) 기술에서와 같이 디스플레이 자체 내에 내장된다. 이 접근방안에서는, "단일 버튼"의 트렌드(trend)가 "배분된 센서 시스템"의 트렌드로 진화하는데, 배분된 센서 시스템은 기기 내에 내장될 수 있고 그리고/또는 디스플레이 장체 내로 직접 내장될 수도 있다(AMLCD). 그러한 센서 기반의 입력 기기의 물리적 작동은, 상이한 재료의 기계적 움직임, 전기 전도성/용량성의 변화, (표면으로부터의 손가락 반사/그림자에 의해 만들어지는) 광학 특성 및 정전기장에 의한 영향에 기반을 둘 수 있다. AMLCD 기술에 관한 참고문헌으로서는: SID 03 요약본(Digest)(발티모어(Baltimore), 2003)의 1494-1497 쪽에 있는 더블유. 덴 보어(W. den Boer) 등의 "통합된 광학 터치 스크린을 구비한 능동 매트릭스 LCD(Active Matrix LCD with Integrated Optical Touch Screen)"(56.3)과, SID 04 요약본 v.35 1판(Issue 1)의 1544-1547 쪽에 있는 에이. 아빌리흐(A. Abileah) 등의 "14.1인치 AMLCD 에서의 통합된 광학 터치 패널(Integrated Optical Touch Panel in a 14.1" AMLCD)"(59.3)이 있으며, 이들은 그들 전체가 참조로서 여기에 포함된다.
에이. 아빌리흐(A. Abileah) 등의 "통합된 광학 광 민감성 능동 매트릭스 액 정 디스플레이(Integrated Optical Light Sensitive Active Matrix Liquid Crystal display)"라는 명칭을 가진 미국특허 7,009,663 B2 (2006년 3월 7일), 및 에이. 아빌리흐(A. Abileah) 등의 "광 감응성 디스플레이(Light Sensitive Display)"라는 명칭을 가진 미국특허 7,053,967 B2 (2006년 5월 30일)도 참조될 수 있는데, 이들은 그들 전체가 참조로서 여기에 포함된다.
멀티미디어 기기 장비의 개발에 있어서 현재의 트렌드는, 큰 입력 용량(large input capacity)을 제공하기 위한 요구와 함께 하드웨어 소형화와 관련된다. 입력 기기가 소형화될 수 있다면, 특히 디스플레이 중심 개념의 기기(display dominated concept (DDC) device)들에 있어서 더 많은 공간이 시각화 구성요소(들)을 위하여 배정될 수 있다. 게임 기기들에 있어서의 상황은 더 흥미로운데, 왜냐하면 입력 기기들에 있어서의 개선은 새로운 디자인 자유도와 추가적인 게임 관련 기능들을 제공할 수 있기 때문이다.
현재의 사용자 입력 기기의 예들에는, 어떤 음악 저장 및 재생 기기, 개인용 휴대정보 단말기(personal digital assistant; PDA), 및 수기의 글자들 및 명령들을 인식할 수 있는 유사한 기기에서와 같이 터치-움직임에 기반한 것들이 포함된다.
또한 관심을 끄는 것은 특정 구조의 광 기반 시스템들인데, 예를 들어 스제(Sze)의 "적어도 2차원을 감지하는 센서 어레이를 이용한 시스템에서의 성능을 개선하기 위한 방법(Method for Enhancing Performance in a System Utilizing an Array of Sensors that Sense at Least Two Dimensions)"이라는 명칭의 미국특허 6,690,354 B2 (2004년 2월 10일), 토마시(Tomasi) 등의 "가상 전달 기기와 사용자-물리적 객체의 상호작용을 검출 및 국부화하기 위한 의사-3차원 방법 및 장치(Quasi-Three-Dimensional Method and Apparatus to Detect and Localize Interaction of User-Object and Virtual Transfer Device)"라는 명칭의 미국특허 6,710,770 (2004년 3월 23일), 및 토마시 등의 "가상 인터페이스 기기에의 적용에 있어서 모니터되는 영역 상에의 물리적 객체의 위치의 깊이를 근사화하기 위한 방법 및 장치(Method and Apparatus for Approximating Depth of an Object's Placement Onto a Monitored Region with Applications to Virtual Interface Devices)"라는 명칭을 가진 미국특허 7,050,177 B2 (2006년 5월 23일)(모두 캐네스터(Canesta, Inc.) 사에 양도됨)에 기술된 것들이 있으며, 이들은 그 전체가 참조로서 여기에 포함된다.
본 발명의 비제한적이고 예시적인 실시예들에 의하여, 상기 문제점들 및 다른 문제점들이 해소되고, 다른 장점들이 실현된다.
본 발명의 일 형태에 따르면, 본 발명의 예시적인 실시예들은, 사용자에 의해 조작되는 물리적 객체(user-manipulated physical object)에 의한 동작을 기기의 근처에서 실행함; 그 동작을 실행하는 때에 사용자에 의해 조작되는 객체의 존재를 나타내는 데이터를 발생시킴; 및 그 데이터를 기기에 의하여 디스플레이(display)되는 적어도 하나의 객체에 관련된 것으로 해석함;을 포함하는 방법을 제공한다.
본 발명의 다른 일 형태에 따르면, 본 발명의 예시적인 실시예들은, 컴퓨터에 의해 독출가능한 매체에 구현된 컴퓨터 프로그램 제품으로서, 적어도 하나의 데이터 프로세서에 의한 컴퓨터 프로그램 제품의 실행은: 사용자에 의해 조작되는 물리적 객체에 의한 동작을 장치의 근처에서 실행하는 사용자에 응답하여, 그 동작을 실행하는 때에 사용자에 의해 조작되는 객체의 존재를 나타내는 데이터를 발생시킴; 및 그 데이터를 사용자에게 디스플레이되는 정보에 관련된 것으로 해석함;을 포함하는 작동들로 귀결되는, 컴퓨터에 의해 독출가능한 매체에 구현된 컴퓨터 프로그램 제품을 제공한다.
본 발명의 다른 형태에 따르면, 본 발명의 예시적인 실시예들은, 정보를 디스플레이하는 유닛; 동작을 실행하는 때에 사용자에 의해 조작되는 객체의 존재를 나타내는 데이터를 발생시키는 이미지 시스템(imaging system); 데이터를 디스플레이되는 정보에 관련된 것으로 해석하는 데이터 프로세서;를 포함하는 기기(device)를 제공한다.
본 발명의 다른 형태에 따르면, 본 발명의 예시적인 실시예들은, 장치의 근처에서 동작을 형성하는 적어도 하나의 손가락을 채택하는 사용자에 응답하여, 동작을 형성함에 있어 적어도 하나의 손가락의 존재를 나타내는 데이터를 발생시킴; 및 그 데이터를 디스플레이 스크린 상에 드러나는 적어도 하나의 객체에 관련된 것으로 해석함;을 포함하는 방법을 제공한다.
본 발명의 또 다른 형태에 따르면, 본 발명의 예시적인 실시예들은, 정보를 사용자에게 시각화시키는 디스플레이(display); 그 장치의 표면 근처에서 사용자에 의해 조작되는 물리적 객체(user-manipulated physical object)에 의한 동작을 실행하는 사용자에 응답하는 센서 배치물(sensor arrangement)로서, 동작을 실행하는 때에 사용자에 의해 조작되는 객체(user-manipulated object)의 존재를 나타내는 데이터를 제공하는 출력부를 구비하는, 센서 배치물; 및 센서 배치물의 출력부에 연결된 입력부를 구비하고, 그 실행되는 동작을 식별하기 위하여 데이터를 해석하고 또한 그 식별된 동작을 시각화된 정보에 어떤 방식으로 관련된 것으로서 해석하도록, 작동하는 유닛(unit);을 포함하는 장치를 제공한다.
본 발명의 교시들의 앞선 형태들 및 다른 형태들은, 하기의 첨부도면들을 참조로 하는 아래의 상세한 설명에서 보다 명백하게 될 것이다.
도 1a 에는 사용자 입력 기기로서 복수의 초음파 트랜스듀서(ultrasonic transducer; UST)들을 포함하는 기기가 도시되어 있고;
도 1b 에는 도 1a 의 기기의 단순화된 블록도가 도시되어 있고;
도 2a 에는 본 발명의 다른 예시적인 실시예가 도시되어 있는데, 여기에서 UST 들은 소형 프로젝터(mini-projector)를 구현하는 기기 내로 통합되며;
도 2b 에는 도 2a 의 소형 프로젝터 기기의 단순화된 블록도가 도시되어 있고;
집합적으로 도 3 이라 칭하는 도 3a 및 3b, 집합적으로 도 4 로 칭하는 도 4a 내지 도 4d, 집합적으로 도 5 로 칭하는 도 5a 및 도 5b, 및 도 6 에는, 본 발명의 예시적인 실시예들에 따른 다양한 실행 명령을 선택하는 데에 이용될 수 있는 예시적인 손가락 기반의 동작들이 도시되어 있고;
도 7 에는 손가락 거리의 초음파 관측(ultrasonic observation)의 원리가 도시되어 있고;
집합적으로 도 8 이라 칭하는 도 8a 내지 도 8d 에는 본 발명의 다른 예시적인 실시예들에 따른 다양한 실행 명령을 선택하는 데에 이용될 수 있는 예시적인 손가락 기반의 동작들이 도시되어 있고;
도 9 에는 도 10b 에 도시된 기기에 의하여 실행되는 예시적인 손가락 검출 과정을 도시하는 논리 흐름도가 도시되어 있는데, 그것은 도 8 및 도 10a 에 도시된 손가락 기반의 동작들을 포착하기에 적합하며;
도 10a 에는 도 10b 의 기기에 의하여 검출되는 동시적인 접촉(touch)의 복수 지점들의 감지의 예가 도시되어 있고;
도 10b 에는 하나 이상의 손가락 끝의 이미지를 발생시킬 수 있는 디스플레이를 갖는 기기의 단순화된 블록도가 도시되어 있고;
도 11 에는 본 발명의 예시적인 실시예들에 따른 방법을 도시하는 논리 흐름도가 도시되어 있다.
집합적으로 도 1 이라 칭하는 도 1a 및 도 1b 를 참조하면, 사용자 입력 기기(user input device)로서 복수의 초음파 트랜스듀서(UST)들(14A, 14B, 14C)(집합적으로 UST(14)들이라 칭한다)을 포함하고 정보를 시각화할 수 있는 적어도 하나의 가시성 디스플레이(visual display; 12)를 구비한 디스플레이 중심의 기기(display dominated device)와 같은 기기(10)가 도시되어 있으며, 도 1b 는 도 1a 에 도시된 기기의 단순화된 블록도이다. 도 1b 에서 기기(10)는 본 발명의 예시적인 실시예를 구현함에 있어서 이용되기에 적합한 프로그램(18A)을 저장하는 메모리(memory; MEM; 18)에 연결된 데이터 프로세서(data processor; DP)를 포함하는 것으로 상정한다. 기기(10)는 비제한적인 예로서 PDA, 무선 통신 기기, 게임 기기, 인터넷 기기, (텔레비젼 수상기 또는 공공 상호작용성 게시판(public interactive billboard)에서의 이용에 적합한) 원격 제어 기기, 음악 저장 및 재생 기기, 프로젝터, 비디오 저장 및 재생 기기, 멀티미디어 기기, 데스크탑 또는 랩탑 컴퓨터오 같은 컴퓨터, 또는 일반적으로는 사용자로부터 입력 정보 및/또는 명령을 받고 사용자에게 정보를 제공하기 위한 (디스플레이 스크린 또는 디스플레이 표면과 같은) 사용자 인터페이스를 포함하는 임의의 형태의 전자 기기가거나 이를 포함할 수 있다.
도 1 의 예시적인 실시예에서, 세 개의 UST(14)들은 기기(10)의 표면(10A) 상에 배치되고, 사용자의 손가락들(2OA, 2OB)(손가락 a, 손가락 b 로도 칭한다)의 3차원 공간에서의 위치를 검출하기 위하여 삼각측량법을 이용을 가능하게 한다. 기기(10)는 UST(14)들에 의하여 기기(10)의 표면 근처에 수립된 초음파 장(ultrasonic field)을 활용하여, 기기(10)가 손가락의 위치와 (가능하게는) 움직임를 실시간으로 인식하고 그에 대해 반응하는 것을 가능하게 하는 인식 기술을 제공한다.
일반적으로, 주어진 UST(14)는 검사를 수행하고 측량을 하기 위하여 고주파 음향 에너지를 이용한다. 일반적인 원리를 예시하기 위하여, 통상적인 펄스/에코(pulse/echo) 설정의 구성형태가 도 7 에 도시되어 있다. 통상적인 UST 시스템은 펄서/리시버(pulser/receiver; 15A) 및 초음파 트랜스듀서(15B)와 같은 수개의 기능성 유닛들을 포함한다. 펄서/리시버(15A)는 각각 기계적 움직임 및/또는 전기적 펄스를 생산할 수 있는 전자 기기이다. 트랜스듀서(15B)는 펄서 부분에 의하여 구동되어서 고주파수의 초음파 에너지를 발생시킨다. 그 음향 에너지는 도입되어서 파동의 형태로 공기를 통해 전파된다. 파동 경로(wave path)에 (손가락 움직임과 같은) 불연속물(discontinuity)이 있는 때에는, 그 에너지의 일부분이 불연속물(discontinuity)로부터 반향되어 되돌아 온다. 그 반향된 파동 신호는 트랜스듀서(15B)에 의하여 전기 신호로 변환되고, (알려진 바와 같이, 비행 왕복시간 측정법에 기초하여) 트랜스듀서(15B)로부터 그 불연속물까지의 거리를 제공하도록 처리된다. 반향된 신호 강도는 신호 발생으로부터 에코가 수신된 때까지의 시간에 대해 표시될 수 있다. 손가락-트랜스듀서 거리를 측정하기 위하여, 그 반향된 신호의 위상 및 강도 변화 둘 다도 활용될 수 있다.
사용자의 손가락(들) 또는 보다 일반적으로는 손(들)이 기기(10) 앞의 스캐닝(scanning)되는 장(field)에 들어가는 때에, UST(14) 시스템이 개별 손가락들까지의 거리를 측정한다. 세 개의 UST(14) 센서들(어떤 예시적인 실시예들에서는 CT 에서의 고정된 상대적 위치를 가질 수 있음)은 개별의 손가락-센서 거리 측정치들(al, a2, a3, bl, b2, b3)을 제공할 수 있다. 기기(10)는 세 개 미만의 UST(14) 센서들로 구현될 수도 있지만, 세 번째 UST 센서를 제공함으로써 3차원 공간에서의 손가락 움직임의 방향 변화를 관찰함으로써 (선택하기; 복사하기; 붙여넣기; 이동시키기; 삭제하기(이에 국한되는 것은 아님)와 같은) 기본 작동 명령들과 실행을 위한 손가락 움직임을 이용하는 것이 가능하다는 점에 유의한다. 높은 공간 검출 해상도가 필요한 경우/때에는, 예를 들어 UST 센서 어레이(UST sensor array)와 같은 형태의 세 개보다 많은 UST(14) 센서들을 이용하여 기기(10)가 구현될 수도 있다.
일반적으로는, 사용자 신체의 다른 부분들과 같은 배경 물리적 객체의 존재 및/또는 움직임 때문에 의도되지 않은 입력이 발생하지 않도록 하기 위하여, (센서들이 UST 센서들이든 또는 다른 형태의 센서들이든) 기기(10)의 감지 표면(sensing surface) 근처에 ('작업 인벨롭(working envelope)'으로 정의되는 것으로 생각될 수 있는) 상당히 제한된 체적의 공간을 포괄하도록 검출 메카니즘(detection mechanism)의 범위를 제한하는 것이 바람직하다. 통상적으로는 감지 범위가 대략 1 미터 미만일 것이고, 더 통상적으로는 그 값이 예를 들어 10-20 cm (또는 그 미만)일 것이다. 통상적으로 최대 감지 범위는 센서 기술에 따른다. 예를 들어, 본 발명의 UST 실시예들은 아래에서 설명되는 AMLCD 실시예들보다 큰 검출/감지 범위를 가질 수 있다. 이해될 수 있는 바와 같이, 사용자가 손가락 또는 손가락들, 또는 손 또는 손들을 기기(10)의 근처 내에 배치시키는 때에는, "그 기기의 근처 내" 또는 감지 표면은, (감지 표면으로부터 감지될 수 있는 영역 내의) 측방향 정도 및 (감지 표면으로부터 멀리의) 깊이 둘 다에서 감지 기기(들)의 최대 유용 감지 범위 내에 포함되는 공간의 체적, 또는 평면이나 보다 일반적으로는 표면이 될 것이다.
도 1A 에서 검출된 손가락 위치는, 해석되어서 디스플레이(12) 상에 두 개의 포인터(pointer)들(예를 들어, 두 개의 십자모양들)(12A, 12B)를 표시함으로써 사용자에게 제공될 수 있다는 점에 유의한다.
설명된 UST(14) 시스템은 3D 공간 내에서 실시간으로 사용자의 손가락 위치를 추적하는 기능을 할 수 있다. (사용자에게 인식적인 피드백(feedback)을 제공하기 위하여 이용될 수 있는 궤적의 시각화는, 디스플레이(12) 상에 하나 이상의 포인터들(12A, 12B)을 보여줌으로써 수행될 수 있다. 이 기술은 사용자에게 시각적인 좌표를 제공하고, 또한 디스플레이(12) 상에 제공되는 (아이콘(icon)들 및 명령 바아(command bar)들과 같은) 객체들의 조작을 용이하게 한다. 나아가, 표준 세트의 문자들이 디스플레이(12) 상에 보여지는 경우에는, 사용자에게 타자(typewriting)(키보드입력(keyboarding))의 가능성이 제공될 수 있는데, 이 경우에는 종래의 키보드가 가상 키보드에 의하여 대체되는 것이다. (기계적인 키보드에서 나타나는) 촉각적 피드백은, 예를 들어 특정의 키이(key)가 받아들여 졌는지를 나타내기 위한 디스플레이(12) 상에서의 손가락 "그림자"의 짧은 깜박거림, 및 실행되는 대응 명령 또는 입력된 문자에 의하여 대체될 수 있다. 나아가, 어떤 명령이 받아들여 졌는지를 확인하기 위하여 음향 효과가 부가될 수 있다.
일부 응용예들에서는, 특정 손가락들을 검출하는 대신에, 전체 손의 일부 또는 모두가 검출될 수 있는바, 즉 표시된 포인터(예를 들어, 12A)는 손의 무게중심과 관련되고 그 포인터를 운용/조종하기 위하여 이용될 수 있다. 그러한 구성형태는 (하드웨어 및 소프트웨어의) 전체적인 요구조건을 현저히 단순화시킬 수 있고, 특히 단일의 포인터 조종/제어가 필요한 때의 경우들에서 적합하다.
도 2 에는 본 발명의 다른 예시적인 실시예가 도시되어 있는데, 여기에서 UST(14) 시스템은 소형 프로젝터(30)를 구성하는 기기 내로 통합되며, 도 2b 는 도 2a 의 소형 프로젝터 기기(30)의 단순화된 블록도이다. 도 1 에서도 찾아볼 수 있는 구성요소들은 그에 따라 참조번호가 부여되어 있다. 소형 프로젝터 기기(30)는 데이터 프로세서(16)에 연결된 프로젝터 또는 프로젝션 엔진(32)을 포함하고, 사용자에 의하여 보여질 수 있도록 이미지(34)를 투사한다. 본 발명의 목적을 위하여 이미지(34)는 "디스플레이 스크린" 또는 "디스플레이 표면" 상에 있는 것으로 고려될 수 있다. 사용자의 손가락들(20A, 20B)의 위치에 대응하는 포인터들(34A, 34B)도 표시될 수 있다. 소형 프로젝터 기기(30)는 블루투스 송수신기와 같은 무선 인터페이스 또는 유선 인터페이스(36)를 통하여 전화기 또는 다른 멀티미디어 기기(38)에 연결될 수 있고, 기기(38)로부터 공급받는 데이터를 표시할 수 있다. 도 1 에서 채택된 것과 동일 또는 유사한 UST(14) 스캐닝 개념이 채택될 수 있다. 나아가, 그로부터 귀결되는 손가락/손의 배치 및/또는 움직임 기반의 사용자 입력 시스템은, 프로젝터 엔진(32)과 함께 조합되어서, 예를 들어 대형의 투사된 이미지와 사용자 동작 기반의 입력을 포함하는 진보된 개념의 게임에서의 이용에 활용될 수 있다. 보다 큰 형식의 표시된 이미지(34)와 함께 동작 기반의 언어(gesture-based language)를 이용하는 것은, 게임 개념의 진보 뿐만 아니라, 3D 의 동적인 사용자 움직임들에 기반한 게임의 설계를 가능하게 한다.
실시간의 손가락 궤적을 이용하는 것과 디스플레이/프로젝터 이미지(12/34) 상에 부여된 포인터들을 제공하는 것은, 기본적인 객체-지향식(object-oriented) 또는 동작-지향식(gesture-oriented) 명령들을 판별하는데에 이용될 수 있다. 선택하기, 복사하기, 붙여넣기(Paste), 이동시키기, 삭제하기, 및 전환시키기(Switch)과 같은 명령들이 다양하게 표시된 (아이콘, 박스, 스크롤-바, 및 파일과 같은) 객체들에 적용될 수 있다. 이들은 수 개의 비제한적인 예들레 따라 아래와 같은 객체-지향식 및 동작/브라우징(browsing) 지향식 작동으로서 분류될 수 있다.
객체-지향식:
선택: - 손가락 1 이 디스플레이의 코너 또는 어떤 예약된 영역에 있음
- 손가락 2 가 선택될 표시된 객체 아래로 천천히 이동한다
복사하기: - 선택된 때에 객체(object) 상에서 한 손가락으로 클릭한다.
붙여넣기: - 한 손가락으로 신속 이중 클릭(fast double click)을 한다.
이동시키기: - 움직이는 객체 상에 위치된 두 개의 손가락들을 천천히 움직인다.
삭제하기: - 사전에 선택된 객체 상에서 두 개의 손가락들로 (신속한) 이중 클릭을 한다.
전환시키기: - (온/오프(on/off)의) 전환은 손가락들 움직임의 방향에서의 변화, 또는 대안적으로는 손가락의 가속도 변화에 기반을 둔다.
동작/브라우징-지향식:
포인터 위치에 있는 객체의 선택: 손을 엶/닫음 (도 3a, 3b 참조)
전방/후방 브라우징: 한 손가락으로 반시계/시계 방향으로의 순환식 회전 (도 4a 내지 4d 참조)
줌 인/아웃(Zoom In/Out): 두 개의 손가락들을 펼침/닫음 (도 5a, 5b, 및 8d 참조)
미리 선택된 아이콘/명령의 구동/실행: 두 개의 손가락들로 원을 그림 (도 6 참조)
위에서 설명된 예시적인 동작 프로토콜(gesture protocol)들은 손가락의 움직임 또는 동작에 의하여 디스플레이(14)(또는 투사된 디스플레이(34)) 상의 객체들을 조작하는 것을 가능하게 한다. 이 예시적인 프로토콜들은 동작 기반의 명령들 및 언어에 큰 용량(large capacity)과 디자인 자유(design freedom)를 제공하고, 멀티미디어 기기(10)의 가능성들을 완전히 활용하는데에 이용될 수 있으면서도 게임 및 다른 유사한 애플리케이션(application)들에 개선점을 제공할 수 있다. 본 발명의 예시적인 실시예들의 이용은, HTML 페이지들을 통하여 스크롤링(scrolling)할 때와 표시된 페이지 내에서 링크를 선택할 때와 같은 경우에 있어서 인터넷 브라우저(Internet browser) 및 유사한 애플리케이션에서의 사용에도 잘 맞는다.
위에서는 하나 이상의 손가락들의 이용에 관하여 설명되었으나, UST(14)들의 에너지 장(energy field) 내에서 사용자에 의하여 보유 및 조작되는 스타일러스(stylus) 또는 다른 어떤 물리적 객체를 적어도 부분적으로 활용하는 것도 예시적인 실시예들의 범위 내에 있는 것이다. 인간의 손가락 또는 손가락들, 손 또는 손들, 스틱(stick) 또는 스타일러스를 포함하는 그러한 모든 물리적 객체들은, 편의상 사용자에 의해 조작되는 물리적 객체(user-manipulated physical object)로 칭하기로 한다.
본 발명의 예시적인 실시예들은, 다수의 비제한적인 예들과 같이, 동작 기반의 게임 기기, 무선 통신 기기, 컴퓨터, 컴퓨터를 포함하는 가전제품, 로보틱스 통신 시스템(robotics communication system), 장애인용 통신 시스템, 및 네이게이션 테이블(navigation table)에서 이용될 수 있다는 점이 이해되어야 할 것이다. 본 발명의 예시적인 초음파 기반의 실시예들에 의해 제공되고 사용자 입력 기기(들)의 물리적 크기를 현저히 감소시키는 능력은, 사용자 디스플레이의 표면적에 있어서의 대응하는 증가를 가능하게 하며, 이것은 두 개의 비제한적인 예들과 같이 PDA 및 휴대폰들과 같은 손에 잡는 휴대용 소형 기기들에 유리하다는 점에 유의한다.
또한, 본 발명의 앞선 예시적인 실시예들의 이용에 있어서는 사용자가 어떤 부가적인 하드웨어를 손이나 손가락에 착용해야 할 필요가 없다는 점에도 유의한다. 나아가, "손가락/손"의 크기가 임의적으로 감소될 수 있기 때문에 확장성(scalability)이 개선되고 어떤 임의의 손가락/스타일러스 크기에 의해 제한받지 않는다.
이하에서는 본 발명의 다른 예시적인 실시예들에 관하여 설명하는데, 이것은 사용자에 의해 조작되는 객체의 동작(예를 들어 손가락 기반의 동작)을 이용한다는 점은 같지만, 그 동작들은 디스플레이 기기 내에 통합된 것과 같은 이미지-형태의 기기 또는 시스템(imaging-type device or system)을 이용을 통하여 검출되며, 그 러한 기기 또는 시스템으로서는 위에서 참조된 통합된 광학 터치 스크린(Integrated Optical Touch Screen; AMLCD) 디스플레이 기기 기술을 구비한 능동 매트릭스 LCD(Active Matrix LCD)에 따라 제작된 것이 있다. 이 예시적인 실시예들도, 명령/데이터 정의와, 미리 정해진 명령 및 프로토콜에 따른 손가락 동작들을 활용함으로써 전산 플랫폼(computation platform)과의 소통을 제공하며, 또한 현재 및 미래의 기기들에서의 가시성 디스플레이의 최대 크기 및 키매트/키보드(keymat/keyboard)의 최소 갯수를 채택하는 DDC 기기(DDC device)에서의 이용에 적합하다. 이 다양한 실시예들에 있어서, 하기의 예시적이고 비제한적인 동작들 및 부여된 명령들이 채택될 수 있다.
도 10b 에는 도 8 및/또는 도 10a 에 도시된 이미지와 같은, 사용자의 손가락 끝(들)의 이미지를 기록할 수 있는 디스플레이(52)를 구비한 예시적인 기기(50)의 블록도가 도시되어 있다. 이 경우에 있어서의 디스플레이(52)는, 위에서 참조된 통합된 광학 터치 스크린 디스플레이 기기 기술을 구비한 능동 매트릭스 LCD 에 따라 제작된 것일 수 있다. 개선된 스캐닝(예를 들면, 문자 및 바코드(bar code))이 이루어질 수 있다는 점에 유의한다. 다른 실시예들에 있어서는, 디스플레이(52)의 투명한 표면을 통하는 등에 의해 사용자의 손가락(들)/손(들)의 이미지를 표현하기 위하여, 별도의 카메라 또는 카메라들이 제공될 수 있다.
도 10a 에 도시된 에에서, 디스플레이(52)는 디스플레이(52)의 표면 상의 5 개의 개별적 위치들에 사용자의 손가락 끝의 이미지들을 동시에 포착한다. 이 특정의 패턴은 하나의 특정 동작으로서 해석될 수 있지만, (예를 들어, 엄지손가락을 제외한) 4 개의 손가락 끝들의 존재가 다른 특정의 동작으로서 해석될 수 있다는 점에 유의한다. 5개 이하의 손가락 끝들 간의 간격은, 손가락 끝들 서로 간의 각도 방위에 있어서의 다를 수 있기 때문에, 복수의 상이한 동작들을 인코딩(encoding)하기 위하여 달라질 수 있다.
프로그램(18A)은 도 9 에 도시된 논리 블록도에 따른 프로그램을 실행시키도록 적합화될 수 있다(위에서 참조한 에이. 아빌리흐(A. Abileah) 등의 "14.1인치 AMLCD 에서의 통합된 광학 터치 패널 "(59.3)의 도 6 도 참조).
일반적으로, 손가락 끝들은 포착된 이미지(captured image)로부터 추출되고, 추출 결과는 기록된다. 이 기록에 근거하여, 시스템은 인식 과정을 시작할 것인가의 여부를 결정한다. 인식 과정(recognition process)이 시작되는가의 여부에 관계없이, 그 시스템은 저장된 기록(이것은 타이머 기반의 것일 수 있음)을 삭제할 지의 여부 및 언제 삭제할 것인가를 결정할 필요도 있다. 새로운 이미지가 포착되는 때마다, 그 단계들의 모두 또는 적어도 일부가 반복된다.
포착된 이미지에서의 손가락 끝(도 8 에서의 40 번에 해당하는 것)은, 비제한 적인 예로서 무게 중심, 경계 가장자리(bounding edge), 및 배경과 상이한 밝음을 표현하는 데이터에 의하여 설명되는 객체로서 고려될 수 있다. 손가락 끝의 이미지 추출을 위해 이용될 수 있는 이미지 구분 방법(image segmentation method)들이 많이 있다. 하나의 예시적이고 비제한적인 구분 방법은, 워터쉐드 방법(Watershed method)이다.
간단히 말하면, 워터쉐드는 이미지(전형적으로는 흑백 이미지(gray scale image))에 형태학상의 워터쉐드 연산자(morphological watershed operator)를 적용하는 함수이다. 워터쉐드 연산자는 이미지를 워터쉐드 영역(watershed region)들과 그들의 경계들로 구분한다. 흑백 이미지를 표면으로 보면, 각 국지적 최소값은 주위 영역에서 떨어지는 물이 배출되는 지점으로 생각될 수 있다. 워터쉐드의 경계는 등줄기(ridge)의 최상부 상에 놓여 있다. 연산자는 각 워터쉐드 영역에 고유한 색인(index)을 부여하고, 경계를 0 으로 설정한다. 통상적으로, 추출되는 가장자리를 포함하는 이미지들 또는 형태학적 구배(gradient)들이 워터쉐드 연산자에의 입력으로서 이용된다. 원본 이미지에서 작고 중요하지 않은 동요(fluctuation) 및 노이즈(noise)는 구배에 있어서 합당하지 않은 최소값을 생성시킬 수 있고, 이것은 과잉 구분을 초래할 수 있다. 완화적인 연산자(smoothing operator)를 이용하는 것 또는 근원점(seed point)을 수동적으로 표시하는 것은, 과잉 구분을 막기 위한 두 개의 예시적인 방안이다. 워터쉐드 함수에 관한 추가적인 사항들에 관하여는, 예를 들어, 도우어티(Dougherty)의 "형태학적 이미지 처리 개론(An Introduction to Morphological Image Processing)"(1992년 SPIE 광학 엔지니어링 출판사(SPIE Optical Engineering Press)를 참조할 수 있을 것이다.
한 개의 손가락 끝의 상태를 나타내기 위하여 세 개의 요소들로 이루어진 일 세트가 이용될 수 있는바: 두 개는 손가락 끝의 좌표이고, 하나는 그것이 표면을 접촉하는가의 여부(접촉 상태)를 나타내기 위한 것이다. 손가락 끝이 표면을 접촉하는 때의 좌표를 기록하기 위한 것으로서, 스택(stack) 또는 큐(queue)가 적합한 데이터 구조이다. 손가락 끝이 그 표면을 떠나는 때를 기록하기 위하여 타이 머(timer) 또는 카운터(counter)가 이용될 수 있다.
본 발명의 예시적인 실시예들에 따른 동작 인식의 태스크(task)는, 입력 동작에 따른 일 세트의 좌표들로부터 정확한 명령/작동을 선택하는 것이다. 동작 인식 단계를 시작하기 위한 조건은, 그 세트의 내용에 달려 있다. 예를 들어, X 표시 및 체크 표시(도 8b 및 도 8c 참조)만이 그 세트에 포함되어 있다면, 그 조건은 손가락 끝들을 포함하지 않는 연속적인 이미지들의 수를 위한 자극역(threshold)으로서 설정될 수 있다. 줌 인/아웃(zoom in/out) 동작들이 그 세트에 추가된다면, 하나의 이미지 내에 두 개의 손가락 끝들이 검출되는 때(도 8d 참조)의 새로운 조건이 동작 인식 과정을 개시하기 위하여 이용될 수 있다.
동작 인식을 위하여 채택될 수 있는 많은 상이한 패턴 인식 방법들이 있다. 예를 들어, 통계적 방법들에 기반한 방법이 이용될 수 있는데, 이것은 본질적으로 확고한 것이다. 표준화(normalization) 및/또는 평탄화(smoothing) 기술이 동작 인식 과정의 일부분으로서 포함될 수 있다.
손가락 끝의 이미지들의 상태를 기록하는 능력은 동작 인식을 용이하게 한다. 그러나, 이 기록들은 유용하지 않은 때에 삭제되어야 한다. 예를 들어, 손가락 끝의 궤적을 나타내는 기록들은 그 궤적이 체크 마크(도 8c 참조)로서 인식되자마자 삭제될 수 있다. 그러나, 줌 인/아웃 동작(도 8d 참조)에 있어서는, 손가락 끝들이 디스플레이(52)의 표면을 떠난 후에만 그 궤적이 삭제되는 것이 바람직할 것이다.
일반적으로, 본 발명의 일 특성은 복수의 기록들 중 개별의 것들의 순차적인 생성인 것으로 이해될 수 있는데, 여기에서 복수의 기록들 중 개별의 것들은, 동작이 실행되는 중의 시점에 있어서 대응하는 지점에서 사용자에 의해 조작되는 물리적 객체의 위치를 나타내는 데이터를 포함한다.
위에서 설명된 다양한 예시적인 실시예들에 있어서, 데이터 프로세서(16)는 집적 회로 내에 구현된 것과 같은 임의의 적합한 형태의 데이터 프로세서일 수 있고, 메모리(18)는 반도체, 자기 디스크, 또는 테이프 기반의 데이터 저장 기기를 포함하여 임의의 적합한 형태의 데이터 저장 기기일 수 있다는 것에 유의한다.
도 8 에는 대응하는 동작이 이루어지는 때에 디스플레이(52)의 상측 표면과 접촉하는 사용자 손가락(들)의 이미지화-가능 디스플레이(image-capable display; 52)에 의하여 기록된 "이미지"가 도시되어 있다. 도 8 에서 40 으로 표시된 것은, 사용자 손가락 끝(들)의 현재 위치(현재 이미지)를 나타내고, 42 로서 표시된 것은, 사용자의 손가락 끝(들)의 움직임 중에 만들어진 앞선 이미지들, 즉 위에서 언급된 손가락 끝의 궤적을 나타낸다. 화살표들은 전체적으로 손가락 끝(40)의 움직임의 방향을 나타낸다.
디스플레이(52)의 이용은 하나의 손가락 또는 복수의 손가락에 기반을 둔 동작들이 본 발명의 예시적인 실시예들에 따라서 기록 및 처리될 수 있도록 한다. 수 개의 비제한적인 예들이 아래에 제공된다.
하나의 손가락에 기반을 둔 명령/프로토콜들:
1. 동작: 시계방향(CW) - 반시계방향(CCW) 원형 회전(도 8a 참조)
부여된 명령: 브라우징(Browsing)/스크롤링(Scrolling)/애플리케이션의 열거(Listing applications)
2. 동작: 한 개의 손가락에 의한 후속적 두드림(두드림 1 - 두드림 1 ...)
부여된 명령: 기기/전화기를 활성화시킴, 미리 선택된 선택사항을 구동/실행시킴
3. 동작: 손가락이 어떤 객체/아이콘 위에서 (어떤 시간 자극역(time threshold)을 초과하여) 움직임없이 머무름
부여된 명령: 객체/아이콘을 선택함
4. 동작: 손가락이 저속의 움직임에 뒤이어 어떤 항목/객체/아이콘 위에서 머무름
부여된 명령: 움직임의 끝까지 그 항목/객체/아이콘을 선택함
5. 동작: 작각으로 교차된 선들 (X 표시, 도 8b 참조)
부여된 명령: 삭제
6. 동작: 직각으로 움직이는 돌파(breach) (체크 표시, 도 8c 참조)
부여된 명령: 받아들임 및 확인
7. 동작: 선택되는 항목(item)/아이콘들 둘레의 포위된 곡선
부여된 명령: 항목/아이콘들의 그룹을 선택함
두 개의 손가락들에 기반을 둔 명령/프로토콜들:
8. 동작: 선형적 접근/멀어짐 (손가락들이 접근하였다가 멀리 움직임, 그리 고 그 반대의 경우, 도 8d 참조)
부여된 명령: 줌 인/아웃, 크기 조정
9. 동작: 두 개의 손가락들에 의한 아이콘/객체의 동시적 접촉
부여된 명령: 크기 조정을 준비하여 아이콘/객체를 선택함
10. 동작: 두 개의 손가락들에 의한 동시적인 두드림(두드림 1 및 2, 두드림 1 및 2, 반복...)
부여된 명령: 높은 수준의 중요한 받아들임 및 확인
11. 동작: 한 개의 손가락이 아이콘/객체 위에서 머무른 후 객체-특정의 메뉴(object-specific menu)가 나타남; 다른 손가락이 원형의 회전을 수행하고 메뉴 선택사항을 통해 토글(toggle)됨, 두 개의 손가락 모두를 동시적으로 들어올려서 메뉴 선택사항을 선택 및 실행시킴
부여된 명령/애플리케이션: 메뉴 선택사항을 선택 및 실행시킴
12. 복합
위에서 설명된 기본적인 동작들의 적절한 조합을 이용함에 의하여 복사하기, 오려두기, 붙여넣기 등과 같은 어떤 복합적인 동작들이 수행될 수 있다. 예를 들어:
- 복사하기 = 선택하기 + 내부에 체크 표시(선택된 항목의 근처에서 수행됨)
- 오려두기 = 선택하기 + 내부에 X 표시
- 붙여넣기는 복사하기에 기반을 두는데, 복사하기 후에 클립보드(clipboard) 내용물의 지시체(indicator)가 스크린 상에 볼 수 있게 된 것을 전 제로 하면, 클립보드 상에서 일 회 두드림(TAP)으로써 붙여넣기 명령이 생성되고 그 내용물이 미리 선택된 항목/아이콘 또는 포인터에 붙여넣어진다.
위에서 설명된 프로토콜들은, 하나 이상의 손가락과 같은 사용자에 의해 조작되는 물리적 객체의 움직임에 의하여 디스플레이(52) 상에서 객체들을 조작 및/또는 선택하는 것을 가능하게 한다. 이 프로토콜들의 이용은, 동작 기반의 명령 및 언어를 위한 디자인 자유 뿐만 아니라 큰 입력 용량(large input capacity)을 제공하는데, 이것은 기기(50)의 모든 능력(full power)을 활용하기 위하여 이용될 수도 있다. 그러한 이용은 게임 기기에도 유리할 수 있다.
위에서 설명된 본 발명의 다양한 실시예들에 따라서 도 11 을 참조하면, 사용자에 의해 조작되는 물리적 객체에 의한 동작을 기기의 근처에서 실행하고(단계 11A), 동작을 실행하는 때에 사용자에 의해 조작되는 객체에 의해 만들어지는 움직임을 나타내는(기술하는(descriptive)) 데이터를 발생시키며(단계 11B), 그 데이터를 디스플레이 스크린 상에 디스플레이되는 적어도 하나의 객체에 관련된 것(예를 들어, 명령)으로 해석하는 것(단계 11C)을 포함하는 방법이 제공된다는 것이 이해될 수 있다.
터치 스크린 디스플레이(2D 검출 시스템)로부터, 위에서 설명된 UST 실시예와 같은 3D 검출 시스템, 또는 카메라 기반의 시스템, 또는 카메라-마이크로폰 기반의 가상 키보드까지, 동작 기반의 프로토콜(protocol)을 구현하기 위하여 다른 입력/출력 기술이 이용될 수 있다는 점에 유의한다. 레이저 기반의 광 투사/검출 시스템과 같은 구조화된 광 시스템도 이용될 수 있는바, 이것은 추가적인 비제한적 인 예로서 터치 패드 입력 기기에 대하여도 마찬가지이다.
본 발명의 이와 같은 예시적인 실시예들의 이용에 의하여, 필요한 키이(key)들을 최소로 갖는 디스플레이 중심 개념의 기기가 제공되고, 동작 기반의 입력 기기가 구현되며, 임의의 현저한 하드웨어가 제공될 필요도 없다. 또한, 명령들과 이들의 해석은, 소프트웨어 프로토콜들에 의하여 결정될 수 있다. 나아가, 본 발명의 이 예시적인 실시예들의 이용에 의하여, 사용자에 의한 명령 주문식 설정(command customization)의 가능성이 제공된다. 예를 들어, 사용자는 삭제하기 동작을 도 8b 에 도시된 것과는 상이한 것으로 정의할 수 있는바, 예를 들어 원 및 그 원을 관통하는 대각선을 삭제하기 동작으로 정의할 수 있다.
일반적으로 그리고 여기에서 고찰되는 바와 같이, 사용자에 의해 조작되는 물리적 객체에 의해 만들어지는 움직임은 실질적으로 원형인 움직임, 실질적으로 선형인 움직임, 적어도 하나의 실질적으로 선형인 움직임과 조합된 적어도 하나의 실질적으로 원형인 움직임, 일정 시간 동안 실질적으로 움직임이 없는 것과 조합된 것으로서, 실질적으로 선형인 움직임 및 실질적으로 원형인 움직임 중의 적어도 하나, 실질적으로 곡선인 움직임, 및 두드림 움직임(tapping motion) 중의 하나 이상을 포함할 수 있다. 사용자에 의해 조작되는 물리적 객체가 사용자의 적어도 두 개의 손가락들을 포함하는 경우, 그 움직임은 하나의 손가락을 적어도 하나의 다른 손가락에 대해 움직이는 것을 포함할 수 있다. 기록되는 데이터는, 사용자에 의해 조작되는 물리적 객체의 속도 및 가속도 중의 적어도 하나를 나타낼 수 있다. 사용자에 의해 조작되는 물리적 객체가 사용자의 적어도 하나의 손가락을 포함하는 경우에, 기록되는 데이터는 그 적어도 하나의 손가락에 의해 형성되는 적어도 형상을 나타낼 수 있다.
첨부 도면들과 첨부된 청구항들과 함께 상기의 설명을 읽으면, 관계된 기술분야에서 통상의 지식을 가진 자는 다양한 변형예들과 적용예들을 명확히 이해할 수 있을 것이다. 일부 예들을 제외하고는, 저항성 및/또는 용량성 기반의(resistive and/or capacitive-based) 터치 패드 또는 스크린 기기들과 같은, 유사한 또는 동등한 사용자 입력 기기들 및 기술들의 이용이 채택될 수 있는바, 본 기술분야에서 통상의 지식을 가진 자에 의하여 다른 동작들 및 명령들이 시도될 수 있을 것이다. 그러나, 본 발명의 교시의 그러한 변형 및 유사한 변형 모두는 여전히 본 발명의 범위 내에 포함될 것이다.
또한 예를 들면, 본 발명의 예시적인 실시예들은 초기 사용자에게 연습 세션(training session)을 제공할 수 있는데, 여기에서 사용자는 특정의 손가락 동작 및/또는 속도, 그리고 가능하게는 사용자의 특징인 손가락 끝 크기에 대해 동작 인식 과정을 연습하기 위하여, 프로그램(18A)에 의하여 촉구되는 때에 동일한 동작을 수회 입력한다. 이것은 예를 들어 동작 인식 과정에 의해 이용되는 특정 자극역 또는 자극역들을 수립함에 있어서 유용할 수 있다.
나아가, 예를 들어 도 8 내지 도 10 의 2 차원적인 실시예들에 있어서, 충분한 주위의 조명이 있어서 손가락 끝이 디스플레이 기기의 표면과 실제로 접촉하지 않는 때조차 손가락 끝의 이미지가 획득될 수 있다면, 디스플레이(52)의 표면에 대한 실제의 접촉이 필요하지 않을 수 있다. 이 경우, 손가락 또는 손가락 끝의 이 미지는 기기(50)의 근처에 있는 3차원의 공간 내에서 광학적으로 획득될 수 있다.
더 나아가, 어떤 실시예들에 있어서는 도 1 내지 도 7 의 UST 시스템이, 동일한 기기 내에서 도 8 내지 도 10 의 손, 손가락, 또는 손가락 끝의 이미지에 관한 실시예들과 조합되어 이용될 수 있고, 임의의 주어진 시점에서 하나 또는 다른 하나, 또는 그 둘 다로부터 도출된 정보가 동작 인식을 위하여 이용될 수 있다. 일반적으로, 동일한 기기 내에서 둘 이상의 유사한 또는 상이한 물리적 객체 감지 기술들이 함께 이용될 수 있다.
위에서 설명된 본 발명의 다양한 예시적인 실시예들에서 데이터 프로세서(16)가 메모리(18) 내에 저장된 프로그램(18A) 내에 담겨진 프로그램 지시에 기반하여 필요한 처리들의 실질적인 모두를 수행할 수 있다는 것을 알 수 있다. 그러나, 도 1 내지 도 7 의 초음파 기반의 이미지 시스템 또는 도 8 내지 도 10 의 광학 기반 이미지 시스템에서와 같이, 이미지 획득 시스템 또는 그 하위 시스템에서 그 처리의 적어도 일부를 수행하는 것도 그 예시적인 실시예들의 범위 내에 있는 것이다. 예를 들어, 국지적으로 내장된 데이터 프로세서에 의하여 이미지 시스템 내에서 사실상의 이미지 발생 과정이 수행될 수 있고, 동작 인식 및 해석 작업을 수행하기 위하여 그 결과가 데이터 프로세서(16)으로 전달되어 처리될 수 있다.
또한, 어떤 손/손가락 동작들이 상이한 기기들, 애플리케이션들, 및 언어들 간에 표준화되고 범용적인 의미를 갖도록 정의될 수 있다는 것이 이해될 수 있다. 하나의 비제한적인(non-limiting) 예로서는, 검지손가락과 엄지손가락으로 원을 형성하고 남은 3개의 손가락들을 뻗는 것(OK 동작)이 있는데, 이것은 예를 들어 "파 일을 저장하고 닫으라"는 것으로 범용적으로 해석될 수 있다. 본 발명의 예시적인 실시예들의 이용에 의하여 이와 같은 형태의 작업이 용이하게 된다.
일반적으로, 본 발명의 예시적인 실시예들의 일 특징은, 동작을 실행하는 때에 사용자에 의해 조작되는 물리적 객체의 존재를 나타내는 데이터를 발생시키고 그 데이터를 적어도 하나의 객체에 관련된 것으로 해석하기 위하여, 사용자에 의해 조작되는 물리적 객체에 의한 동작을 기기의 근처에서 실행하는 사용자에 응답하는 방법, 컴퓨터 프로그램 제품, 및 장치인 것으로 이해될 수 있다.
여기에서 "사용자에 의해 조작되는 물리적 객체의 존재"라 함은, 사용자에 의해 조작되는 물리적 객체를 2 또는 3 차원 공간 내에서 공간적으로 방위잡는 것(spatial orientation), 2 또는 3 차원 공간 내에서 사용자에 의해 조작되는 물리적 객체를 휴지(repose)하는 것, 2 또는 3 차원 공간 내에서 사용자에 의해 조작되는 물리적 객체에 의해 형성되는 형상, 2 또는 3 차원 공간 내에서 사용자에 의해 조작되는 물리적 객체에 의해 만들어지는 움직임, 2 또는 3 차원 공간 내에서 사용자에 의해 조작되는 물리적 객체에 의한 속도, 2 또는 3 차원 공간 내에서 사용자에 의해 조작되는 물리적 객체에 의한 가속도, 및 이들의 조합을 포함하지만 이에 국한되지 않는다.
예를 들어, 시계방향 및 반시계방향의 손가락 끝의 움직임을 위한 도 8a 에 도시된 동작들을 실행하는 때에 사용자의 손가락 끝에 의하여 궤적이 형성되는 패턴은 동일(즉, 원형 또는 타원형으로서 동일)할 수 있지만, 그 두 개의 동작들은, 실시간 또는 실질적으로 실시간으로 손가락 끝의 움직임의 방향을 감지함에 의하여 서로 구별될 수 있다.
고정된 형태의 센서들과, 주변환경을 통하여 초음파 비임(ultrasonic beam)을 스캐닝하는 UST 시스템/구성요소와 같은, 스캐닝 형태의 센서들 둘 다가 이용될 수 있다는 것에도 유의한다.
또한, 본 발명의 예들의 특징들 중의 일부는 대응하는 다른 특징의 이용없이 유리하게 이용될 수 있다. 그렇기 때문에, 상기의 설명은 단순히 본 발명의 원리, 교시, 예들, 및 예시적인 실시예들일 뿐이고, 이에 국한되는 것이 아닌 것으로 고려되어야 한다.

Claims (45)

  1. 사용자에 의해 조작되는 물리적 객체(user-manipulated physical object)에 의한 동작을 기기의 근처에서 실행함;
    그 동작을 실행하는 때에 사용자에 의해 조작되는 객체의 존재를 나타내는 데이터를 발생시킴; 및
    그 데이터를 기기에 의하여 디스플레이(display)되는 적어도 하나의 객체에 관련된 것으로 해석함;을 포함하는, 방법.
  2. 제 1 항에 있어서,
    사용자에 의해 조작되는 물리적 객체는 사용자의 적어도 하나의 손가락을 포함하는, 방법.
  3. 제 1 항에 있어서,
    데이터를 발생시킴은, 3차원 공간 내에서 사용자에 의해 조작되는 객체에 의해 만들어지는 움직임을 나타내는 데이터를 발생시키는, 방법.
  4. 제 1 항에 있어서,
    데이터를 발생시킴은, 2차원 공간 내에서 사용자에 의해 조작되는 객체에 의해 만들어지는 움직임을 나타내는 데이터를 발생시키는, 방법.
  5. 제 1 항에 있어서,
    데이터를 발생시킴은, 디스플레이 스크린(display screen)의 표면 상에서 사용자에 의해 조작되는 객체에 의해 만들어지는 움직임을 나타내는 데이터를 발생시키는, 방법.
  6. 제 1 항에 있어서,
    데이터를 발생시킴은, 사용자에 의해 조작되는 객체에 의하여 만들어지는 일정 시간에 걸친 움직임을 나타내는 데이터를 발생시키는, 방법.
  7. 제 1 항에 있어서,
    데이터를 발생시킴은, 복수의 기록들 중의 개별의 것들을 순차적으로 생성시킴을 포함하고, 그 복수의 기록들 중의 개별의 것들은 동작이 실행되는 때에 대응하는 지점에서 사용자에 의해 조작되는 물리적 객체의 위치를 나타내는 데이터를 포함하는, 방법.
  8. 제 1 항에 있어서,
    데이터를 발생시킴은 복수의 초음파 트랜스듀서들을 이용하는, 방법.
  9. 제 1 항에 있어서,
    데이터를 발생시킴은 복수의 이미지 기기(imaging device)들을 이용하는, 방법.
  10. 제 9 항에 있어서,
    복수의 이미지 기기들은 디스플레이 스크린의 일부분을 포함하는, 방법.
  11. 제 1 항에 있어서,
    그 존재는 실질적으로 원형인 움직임, 실질적으로 선형인 움직임, 적어도 하나의 실질적으로 선형인 움직임과 조합된 적어도 하나의 실질적으로 원형인 움직임, 일정 시간 동안 실질적으로 움직임이 없는 것과 조합된 것으로서, 실질적으로 선형인 움직임 및 실질적으로 원형인 움직임, 실질적으로 곡선인 움직임, 및 두드림 움직임(tapping motion) 중의 적어도 하나를 포함하는, 방법.
  12. 제 1 항에 있어서,
    사용자에 의해 조작되는 물리적 객체는 사용자의 적어도 두 개의 손가락들을 포함하고, 그 움직임은 하나의 손가락을 다른 적어도 하나의 손가락에 대해 상대적으로 움직이는 것을 포함하는, 방법.
  13. 제 1 항에 있어서,
    데이터는 사용자에 의해 조작되는 물리적 객체의 속도 및 가속도 중의 적어 도 하나를 나타내는, 방법.
  14. 제 1 항에 있어서,
    사용자에 의해 조작되는 물리적 객체는 사용자의 손의 적어도 일부분을 포함하고, 그 데이터는 2 또는 3 차원 공간 내에서 사용자의 손의 적어도 일부분의 공간 방위(spatial orientation), 2 또는 3 차원 공간 내에서 사용자의 손의 적어도 일부분의 휴지(repose), 및 2 또는 3 차원 공간 내에서 사용자의 손의 적어도 일부분에 의해 형성되는 형상 중의 적어도 하나를 나타내는, 방법.
  15. 장치로서,
    정보를 사용자에게 시각화시키는 디스플레이(display);
    그 장치의 표면 근처에서 사용자에 의해 조작되는 물리적 객체(user-manipulated physical object)에 의한 동작을 실행하는 사용자에 응답하는 센서 배치물(sensor arrangement)로서, 동작을 실행하는 때에 사용자에 의해 조작되는 객체(user-manipulated object)의 존재를 나타내는 데이터를 제공하는 출력부를 구비하는, 센서 배치물; 및
    센서 배치물의 출력부에 연결된 입력부를 구비하고, 그 실행되는 동작을 식별하기 위하여 데이터를 해석하고 또한 그 식별된 동작을 시각화된 정보에 어떤 방식으로 관련된 것으로서 해석하도록, 작동하는 유닛(unit);을 포함하는, 장치.
  16. 제 15 항에 있어서,
    사용자에 의해 조작되는 물리적 객체는 사용자의 손 또는 손의 일부분을 포함하고, 상기 센서 배치물은 2 또는 3 차원 공간 내에서 손 또는 손의 일부분에 의하여 만들어지는 움직임을 나타내는 데이터를 출력하며, 센서 배치물은 복수의 음향 센서들 및 복수의 광 센서들 중의 적어도 하나를 포함하는, 장치.
  17. 제 15 항에 있어서,
    무선 통신을 수행하기 위한 수단을 포함하는 장치로서 구현되는, 장치.
  18. 제 15 항에 있어서,
    사용자에 의해 조작되는 물리적 객체는 사용자의 손의 적어도 일부분을 포함하고, 그 데이터는 2 또는 3 차원 공간 내에서 사용자의 손의 적어도 일부분의 공간 방위(spatial orientation), 2 또는 3 차원 공간 내에서 사용자의 손의 적어도 일부분의 휴지(repose), 및 2 또는 3 차원 공간 내에서 사용자의 손의 적어도 일부분에 의해 형성되는 형상 중의 적어도 하나를 나타내는, 장치.
  19. 컴퓨터에 의해 독출가능한 매체에 구현된 컴퓨터 프로그램 제품으로서,
    적어도 하나의 데이터 프로세서에 의한 컴퓨터 프로그램 제품의 실행은:
    사용자에 의해 조작되는 물리적 객체에 의한 동작을 장치의 근처에서 실행하는 사용자에 응답하여, 그 동작을 실행하는 때에 사용자에 의해 조작되는 객체의 존재를 나타내는 데이터를 발생시킴; 및
    그 데이터를 사용자에게 디스플레이되는 정보에 관련된 것으로 해석함;을 포함하는 작동들로 귀결되는, 컴퓨터에 의해 독출가능한 매체에 구현된 컴퓨터 프로그램 제품.
  20. 제 19 항에 있어서,
    사용자에 의해 조작되는 물리적 객체는 사용자의 적어도 하나의 손가락을 포함하는, 컴퓨터에 의해 독출가능한 매체에 구현된 컴퓨터 프로그램 제품.
  21. 제 19 항에 있어서,
    데이터를 발생시킴은, 3 차원 공간 내에서 사용자에 의해 조작되는 객체에 의해 만들어지는 움직임을 나타내는 데이터를 발생시키는, 컴퓨터에 의해 독출가능한 매체에 구현된 컴퓨터 프로그램 제품.
  22. 제 19 항에 있어서,
    데이터를 발생시킴은, 2차원 공간 내에서 사용자에 의해 조작되는 객체에 의해 만들어지는 움직임을 나타내는 데이터를 발생시키는, 컴퓨터에 의해 독출가능한 매체에 구현된 컴퓨터 프로그램 제품.
  23. 제 19 항에 있어서,
    데이터를 발생시킴은, 디스플레이 스크린의 표면 상에서 사용자에 의해 조작되는 객체에 의해 만들어지는 움직임을 나타내는 데이터를 발생시키는, 컴퓨터에 의해 독출가능한 매체에 구현된 컴퓨터 프로그램 제품.
  24. 제 19 항에 있어서,
    데이터를 발생시킴은, 사용자에 의해 조작되는 객체에 의해 만들어지는 일정 시간 동안의 움직임을 나타내는 데이터를 발생시키는, 컴퓨터에 의해 독출가능한 매체에 구현된 컴퓨터 프로그램 제품.
  25. 제 19 항에 있어서,
    데이터를 발생시킴은, 복수의 기록들 중의 개별의 것들을 순차적으로 생성시킴을 포함하고, 그 복수의 기록들 중의 개별의 것들은 동작이 실행되는 때에 대응하는 지점에서 사용자에 의해 조작되는 물리적 객체의 위치를 나타내는 데이터를 포함하는, 컴퓨터에 의해 독출가능한 매체에 구현된 컴퓨터 프로그램 제품.
  26. 제 19 항에 있어서,
    데이터를 발생시킴은 복수의 초음파 트랜스듀서들을 이용하는, 컴퓨터에 의해 독출가능한 매체에 구현된 컴퓨터 프로그램 제품.
  27. 제 19 항에 있어서,
    데이터를 발생시킴은 복수의 이미지 기기들을 이용하는, 컴퓨터에 의해 독출가능한 매체에 구현된 컴퓨터 프로그램 제품.
  28. 제 27 항에 있어서,
    복수의 이미지 기기들은 디스플레이 스크린의 일부분을 포함하는, 컴퓨터에 의해 독출가능한 매체에 구현된 컴퓨터 프로그램 제품.
  29. 제 19 항에 있어서,
    데이터를 발생시킴은, 2차원 공간 및 3차원 공간 중의 적어도 하나에서 사용자에 의해 조작되는 객체에 의하여 만들어지는 움직임을 나타내는 데이터를 발생시키고, 그 움직임은:
    실질적으로 원형인 움직임;
    실질적으로 선형인 움직임;
    적어도 하나의 실질적으로 선형인 움직임과 조합된 적어도 하나의 실질적으로 원형인 움직임;
    일정 시간 동안 실질적으로 움직임이 없는 것과 조합된 것으로서, 실질적으로 선형인 움직임 및 실질적으로 원형인 움직임;
    실질적으로 곡선인 움직임; 및
    두드림 움직임(tapping motion); 중의 적어도 하나를 포함하는, 컴퓨터에 의해 독출가능한 매체에 구현된 컴퓨터 프로그램 제품.
  30. 제 29 항에 있어서,
    사용자에 의해 조작되는 물리적 객체는 사용자의 적어도 두 개의 손가락들을 포함하고, 그 움직임은 하나의 손가락을 적어도 하나의 다른 손가락에 대해 상대적으로 움직이는 것을 포함하는, 컴퓨터에 의해 독출가능한 매체에 구현된 컴퓨터 프로그램 제품.
  31. 제 19 항에 있어서,
    데이터는 사용자에 의해 조작되는 물리적 객체의 속도 및 가속도 중의 적어도 하나를 나타내는, 컴퓨터에 의해 독출가능한 매체에 구현된 컴퓨터 프로그램 제품.
  32. 제 19 항에 있어서,
    사용자에 의해 조작되는 물리적 객체는 사용자의 손의 적어도 일부분을 포함하고, 그 데이터는 2 또는 3 차원 공간 내에서 사용자의 손의 적어도 일부분의 공간 방위(spatial orientation), 2 또는 3 차원 공간 내에서 사용자의 손의 적어도 일부분의 휴지(repose), 및 2 또는 3 차원 공간 내에서 사용자의 손의 적어도 일부분에 의해 형성되는 형상 중의 적어도 하나를 나타내는, 컴퓨터에 의해 독출가능한 매체에 구현된 컴퓨터 프로그램 제품.
  33. 정보를 디스플레이하는 유닛;
    동작을 실행하는 때에 사용자에 의해 조작되는 객체의 존재를 나타내는 데이터를 발생시키는 이미지 시스템(imaging system);
    데이터를 디스플레이되는 정보에 관련된 것으로 해석하는 데이터 프로세서;를 포함하는, 기기(device).
  34. 제 33 항에 있어서,
    사용자에 의해 조작되는 물리적 객체는 사용자의 적어도 하나의 손가락을 포함하는, 기기.
  35. 제 33 항에 있어서,
    상기 이미지 시스템은, 3차원 공간 내에서 사용자에 의해 조작되는 객체에 의해 만들어지는 움직임을 나타내는 데이터를 발생시키는, 기기.
  36. 제 33 항에 있어서,
    상기 이미지 시스템은, 2차원 공간 내에서 사용자에 의해 조작되는 객체에 의해 만들어지는 움직임을 나타내는 데이터를 발생시키는, 기기.
  37. 제 33 항에 있어서,
    상기 이미지 시스템은, 디스플레이 스크린(display screen)의 표면 상에서 또는 그 가까이에서 사용자에 의해 조작되는 객체에 의해 만들어지는 움직임을 나타내는 데이터를 발생시키는, 기기.
  38. 제 33 항에 있어서,
    상기 이미지 시스템은, 복수의 기록들 중의 개별의 것들을 순차적으로 생성시킴에 의하여 데이터를 발생시키고, 그 복수의 기록들 중의 개별의 것들은 동작이 실행되는 때에 대응하는 지점에서 사용자에 의해 조작되는 물리적 객체의 위치를 나타내는 데이터를 포함하는, 기기.
  39. 제 33 항에 있어서,
    상기 이미지 시스템은 음향 에너지 및 광학 에너지 중의 적어도 하나를 채택하는, 기기.
  40. 제 33 항에 있어서,
    상기 이미지 시스템은, 복수의 광 감응성 요소들 및 기기의 표면에 실질적으로 인접한 공간의 체적 내로 음향 에너지를 전송하도록 배치된 복수의 초음파 트랜스듀서들 중의 적어도 하나를 포함하는, 기기.
  41. 제 33 항에 있어서,
    상기 이미지 시스템은, 3차원 공간에서 사용자에 의해 조작되는 객체에 의하 여 만들어지는 움직임에 응답하고, 그 움직임은:
    실질적으로 원형인 움직임;
    실질적으로 선형인 움직임;
    적어도 하나의 실질적으로 선형인 움직임과 조합된 적어도 하나의 실질적으로 원형인 움직임;
    일정 시간 동안 실질적으로 움직임이 없는 것과 조합된 것으로서, 실질적으로 선형인 움직임 및 실질적으로 원형인 움직임;
    실질적으로 곡선인 움직임;
    두드림 움직임(tapping motion); 및
    사용자에 의해 조작되는 객체의 한 부분의, 적어도 하나의 다른 부분에 대한 상대적인 움직임; 중의 적어도 하나를 포함하는, 기기.
  42. 제 33 항에 있어서,
    데이터는 사용자에 의해 조작되는 물리적 객체의 속도 및 가속도 중의 적어도 하나를 나타내는, 기기.
  43. 제 33 항에 있어서,
    사용자에 의해 조작되는 물리적 객체는 사용자의 손의 적어도 일부분을 포함하고, 그 데이터는 2 또는 3 차원 공간 내에서 사용자의 손의 적어도 일부분의 공간 방위(spatial orientation), 2 또는 3 차원 공간 내에서 사용자의 손의 적어도 일부분의 휴지(repose), 및 2 또는 3 차원 공간 내에서 사용자의 손의 적어도 일부분에 의해 형성되는 형상 중의 적어도 하나를 나타내는, 기기.
  44. 장치의 근처에서 동작을 형성하는 적어도 하나의 손가락을 채택하는 사용자에 응답하여, 동작을 형성함에 있어 적어도 하나의 손가락의 존재를 나타내는 데이터를 발생시킴; 및
    그 데이터를 디스플레이 스크린 상에 드러나는 적어도 하나의 객체에 관련된 것으로 해석함;을 포함하는, 방법.
  45. 제 44 항에 있어서,
    데이터는, 동작을 형성하는 때의 적어도 하나의 손가락의 움직임의 특성, 2 또는 3 차원 공간 내에서의 적어도 하나의 손가락의 공간 방위(spatial orientation), 2 또는 3 차원 공간 내에서의 적어도 하나의 손가락의 휴지(repose), 및 2 또는 3 차원 공간 내에서의 적어도 하나의 손가락에 의해 형성되는 형상 중의 적어도 하나를 나타내고,
    그 데이터는, 적어도 하나의 객체를 선택하기, 적어도 하나의 객체를 복사하기, 적어도 하나의 객체를 붙여넣기, 적어도 하나의 객체를 이동시키기, 적어도 하나의 객체를 삭제하기, 적어도 하나의 객체 상에서 줌 인(zoom in)하기, 적어도 하나의 객체 상에서 줌 아웃(zoom out)하기, 적어도 하나의 객체를 실행하기, 및 브라우징(browsing)의 방향을 제어하기 중의 적어도 하나로서 해석되는, 방법.
KR1020097001481A 2006-06-28 2007-06-27 무접촉식 동작 기반의 입력 KR101098015B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/477,508 2006-06-28
US11/477,508 US8086971B2 (en) 2006-06-28 2006-06-28 Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications

Publications (2)

Publication Number Publication Date
KR20090029816A true KR20090029816A (ko) 2009-03-23
KR101098015B1 KR101098015B1 (ko) 2011-12-22

Family

ID=38846028

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097001481A KR101098015B1 (ko) 2006-06-28 2007-06-27 무접촉식 동작 기반의 입력

Country Status (5)

Country Link
US (2) US8086971B2 (ko)
EP (2) EP2717120B1 (ko)
KR (1) KR101098015B1 (ko)
CN (2) CN101730874B (ko)
WO (1) WO2008001202A2 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110052270A (ko) * 2009-11-12 2011-05-18 삼성전자주식회사 근접 터치 동작 감지 장치 및 방법
WO2011119154A1 (en) * 2010-03-24 2011-09-29 Hewlett-Packard Development Company, L.P. Gesture mapping for display device
KR20120028248A (ko) * 2010-09-13 2012-03-22 삼성전자주식회사 이동장치의 제스처 제어장치 및 방법
KR20120058996A (ko) * 2010-11-30 2012-06-08 삼성전자주식회사 객체 제어 장치 및 방법
WO2017179786A1 (ko) * 2016-04-11 2017-10-19 (주)스마트몹 동작 인식 센서를 이용한 3차원 입력 장치, 방법 및 시스템
US9956878B2 (en) 2014-03-07 2018-05-01 Volkswagen Ag User interface and method for signaling a 3D-position of an input means in the detection of gestures

Families Citing this family (398)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9722766D0 (en) 1997-10-28 1997-12-24 British Telecomm Portable computers
US7469381B2 (en) 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US7296243B2 (en) 2002-03-19 2007-11-13 Aol Llc Animating display motion
US9182937B2 (en) 2010-10-01 2015-11-10 Z124 Desktop reveal by moving a logical display stack with gestures
US7725288B2 (en) * 2005-11-28 2010-05-25 Navisense Method and system for object control
US7788607B2 (en) 2005-12-01 2010-08-31 Navisense Method and system for mapping virtual coordinates
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
DE102006037156A1 (de) * 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
US8059102B2 (en) * 2006-06-13 2011-11-15 N-Trig Ltd. Fingertip touch recognition for a digitizer
JP5324440B2 (ja) * 2006-07-12 2013-10-23 エヌ−トリグ リミテッド デジタイザのためのホバリングおよびタッチ検出
US8589824B2 (en) 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US8686964B2 (en) * 2006-07-13 2014-04-01 N-Trig Ltd. User specific recognition of intended user interaction with a digitizer
US8180114B2 (en) 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US8972902B2 (en) 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
US8234578B2 (en) 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
US8432448B2 (en) 2006-08-10 2013-04-30 Northrop Grumman Systems Corporation Stereo camera intrusion detection system
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US7940250B2 (en) * 2006-09-06 2011-05-10 Apple Inc. Web-clip widgets on a portable multifunction device
US8354997B2 (en) * 2006-10-31 2013-01-15 Navisense Touchless user interface for a mobile device
US8904312B2 (en) * 2006-11-09 2014-12-02 Navisense Method and device for touchless signing and recognition
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US8656311B1 (en) 2007-01-07 2014-02-18 Apple Inc. Method and apparatus for compositing various types of content
US8788954B2 (en) * 2007-01-07 2014-07-22 Apple Inc. Web-clip widgets on a portable multifunction device
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US7903115B2 (en) * 2007-01-07 2011-03-08 Apple Inc. Animations
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US7844915B2 (en) * 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US8813100B1 (en) 2007-01-07 2014-08-19 Apple Inc. Memory management
US7872652B2 (en) * 2007-01-07 2011-01-18 Apple Inc. Application programming interfaces for synchronization
US8060841B2 (en) * 2007-03-19 2011-11-15 Navisense Method and device for touchless media searching
CN101689244B (zh) * 2007-05-04 2015-07-22 高通股份有限公司 用于紧凑设备的基于相机的用户输入
US9933937B2 (en) 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
US9772751B2 (en) 2007-06-29 2017-09-26 Apple Inc. Using gestures to slide between user interfaces
CA2591808A1 (en) * 2007-07-11 2009-01-11 Hsien-Hsiang Chiu Intelligent object tracking and gestures sensing input device
US11126321B2 (en) * 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
US9619143B2 (en) 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US20090102603A1 (en) * 2007-10-19 2009-04-23 Fein Gene S Method and apparatus for providing authentication with a user interface system
US20090109174A1 (en) * 2007-10-30 2009-04-30 Fein Gene S Method and Apparatus for User Interface in Electronic Devices With Visual Display Units
US8477098B2 (en) 2007-10-31 2013-07-02 Gene S. Fein Method and apparatus for user interface of input devices
US8212768B2 (en) * 2007-10-31 2012-07-03 Fimed Properties Ag Limited Liability Company Digital, data, and multimedia user interface with a keyboard
US20090109215A1 (en) 2007-10-31 2009-04-30 Fein Gene S Method and apparatus for user interface communication with an image manipulator
US8139110B2 (en) 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
US9377874B2 (en) 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
US9171454B2 (en) * 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
US20090125848A1 (en) * 2007-11-14 2009-05-14 Susann Marie Keohane Touch surface-sensitive edit system
AR064377A1 (es) * 2007-12-17 2009-04-01 Rovere Victor Manuel Suarez Dispositivo para sensar multiples areas de contacto contra objetos en forma simultanea
FR2925708B1 (fr) * 2007-12-20 2009-12-18 Dav Procede de detection d'une variation angulaire d'une trajectoire de commande sur une surface tactile et module de commande correspondant
US20090189858A1 (en) * 2008-01-30 2009-07-30 Jeff Lev Gesture Identification Using A Structured Light Pattern
US8446373B2 (en) 2008-02-08 2013-05-21 Synaptics Incorporated Method and apparatus for extended adjustment based on relative positioning of multiple objects contemporaneously in a sensing region
US8174502B2 (en) 2008-03-04 2012-05-08 Apple Inc. Touch event processing for web pages
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8416196B2 (en) 2008-03-04 2013-04-09 Apple Inc. Touch event model programming interface
US8717305B2 (en) * 2008-03-04 2014-05-06 Apple Inc. Touch event model for web pages
KR101012379B1 (ko) * 2008-03-25 2011-02-09 엘지전자 주식회사 단말기 및 이것의 정보 디스플레이 방법
KR101513023B1 (ko) 2008-03-25 2015-04-22 엘지전자 주식회사 단말기 및 이것의 정보 디스플레이 방법
US20090254855A1 (en) * 2008-04-08 2009-10-08 Sony Ericsson Mobile Communications, Ab Communication terminals with superimposed user interface
US9582049B2 (en) * 2008-04-17 2017-02-28 Lg Electronics Inc. Method and device for controlling user interface based on user's gesture
JP5164675B2 (ja) * 2008-06-04 2013-03-21 キヤノン株式会社 ユーザインターフェースの制御方法及び情報処理装置及びプログラム
US8345920B2 (en) 2008-06-20 2013-01-01 Northrop Grumman Systems Corporation Gesture recognition interface system with a light-diffusive screen
DE102008032451C5 (de) * 2008-07-10 2017-10-19 Rational Ag Anzeigeverfahren und Gargerät hierfür
DE102008032448B4 (de) * 2008-07-10 2023-11-02 Rational Ag Anzeigeverfahren und Gargerät hierfür
US8847739B2 (en) * 2008-08-04 2014-09-30 Microsoft Corporation Fusing RFID and vision for surface object tracking
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US8527908B2 (en) * 2008-09-26 2013-09-03 Apple Inc. Computer user interface system and methods
KR101537596B1 (ko) * 2008-10-15 2015-07-20 엘지전자 주식회사 이동 단말기 및 이것의 터치 인식 방법
US8174504B2 (en) 2008-10-21 2012-05-08 Synaptics Incorporated Input device and method for adjusting a parameter of an electronic system
KR20100048090A (ko) * 2008-10-30 2010-05-11 삼성전자주식회사 터치와 모션을 통해 제어 명령을 생성하는 인터페이스 장치, 인터페이스 시스템 및 이를 이용한 인터페이스 방법
US8584031B2 (en) * 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
US20100141592A1 (en) 2008-12-09 2010-06-10 Andrei Andrievsky Digital camera with character based mode initiation
US8453057B2 (en) * 2008-12-22 2013-05-28 Verizon Patent And Licensing Inc. Stage interaction for mobile device
US8030914B2 (en) * 2008-12-29 2011-10-04 Motorola Mobility, Inc. Portable electronic device having self-calibrating proximity sensors
US8275412B2 (en) 2008-12-31 2012-09-25 Motorola Mobility Llc Portable electronic device having directional proximity sensors based on device orientation
JP5168161B2 (ja) * 2009-01-16 2013-03-21 ブラザー工業株式会社 ヘッドマウントディスプレイ
DE102009008041A1 (de) * 2009-02-09 2010-08-12 Volkswagen Ag Verfahren zum Betrieb eines Kraftfahrzeuges mit einem Touchscreen
US8996995B2 (en) * 2009-02-25 2015-03-31 Nokia Corporation Method and apparatus for phrase replacement
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
US8566044B2 (en) * 2009-03-16 2013-10-22 Apple Inc. Event recognition
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US9311112B2 (en) * 2009-03-16 2016-04-12 Apple Inc. Event recognition
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8686951B2 (en) 2009-03-18 2014-04-01 HJ Laboratories, LLC Providing an elevated and texturized display in an electronic device
US20100271312A1 (en) * 2009-04-22 2010-10-28 Rachid Alameh Menu Configuration System and Method for Display on an Electronic Device
US20100271331A1 (en) * 2009-04-22 2010-10-28 Rachid Alameh Touch-Screen and Method for an Electronic Device
US20100289740A1 (en) * 2009-05-18 2010-11-18 Bong Soo Kim Touchless control of an electronic device
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US8304733B2 (en) * 2009-05-22 2012-11-06 Motorola Mobility Llc Sensing assembly for mobile device
US8788676B2 (en) 2009-05-22 2014-07-22 Motorola Mobility Llc Method and system for controlling data transmission to or from a mobile device
US8344325B2 (en) * 2009-05-22 2013-01-01 Motorola Mobility Llc Electronic device with sensing assembly and method for detecting basic gestures
US8269175B2 (en) * 2009-05-22 2012-09-18 Motorola Mobility Llc Electronic device with sensing assembly and method for detecting gestures of geometric shapes
US8391719B2 (en) * 2009-05-22 2013-03-05 Motorola Mobility Llc Method and system for conducting communication between mobile devices
US8619029B2 (en) * 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
US8542186B2 (en) 2009-05-22 2013-09-24 Motorola Mobility Llc Mobile device with user interaction capability and method of operating same
US8294105B2 (en) * 2009-05-22 2012-10-23 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting offset gestures
US8836648B2 (en) * 2009-05-27 2014-09-16 Microsoft Corporation Touch pull-in gesture
US8386963B2 (en) * 2009-05-28 2013-02-26 Microsoft Corporation Virtual inking using gesture recognition
TW201101198A (en) * 2009-06-17 2011-01-01 Sonix Technology Co Ltd Command input method
TWI398818B (zh) * 2009-06-30 2013-06-11 Univ Nat Taiwan Science Tech 手勢辨識方法與系統
EP3470963B1 (en) 2009-07-07 2021-03-10 Elliptic Laboratories AS Control using movements
US8319170B2 (en) * 2009-07-10 2012-11-27 Motorola Mobility Llc Method for adapting a pulse power mode of a proximity sensor
US20110022307A1 (en) * 2009-07-27 2011-01-27 Htc Corporation Method for operating navigation frame, navigation apparatus and recording medium
US9092115B2 (en) * 2009-09-23 2015-07-28 Microsoft Technology Licensing, Llc Computing system with visual clipboard
US8963829B2 (en) * 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US9367178B2 (en) 2009-10-23 2016-06-14 Elliptic Laboratories As Touchless interfaces
US20110119216A1 (en) * 2009-11-16 2011-05-19 Microsoft Corporation Natural input trainer for gestural instruction
US8665227B2 (en) * 2009-11-19 2014-03-04 Motorola Mobility Llc Method and apparatus for replicating physical key function with soft keys in an electronic device
EP2333651B1 (en) * 2009-12-11 2016-07-20 Dassault Systèmes Method and system for duplicating an object using a touch-sensitive display
US20110141013A1 (en) * 2009-12-14 2011-06-16 Alcatel-Lucent Usa, Incorporated User-interface apparatus and method for user control
US8736561B2 (en) 2010-01-06 2014-05-27 Apple Inc. Device, method, and graphical user interface with content display modes and display rotation heuristics
JP5750875B2 (ja) * 2010-12-01 2015-07-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR20110084128A (ko) * 2010-01-15 2011-07-21 한국전자통신연구원 장면 처리 장치 및 방법
US9335825B2 (en) 2010-01-26 2016-05-10 Nokia Technologies Oy Gesture control
US8760631B2 (en) * 2010-01-27 2014-06-24 Intersil Americas Inc. Distance sensing by IQ domain differentiation of time of flight (TOF) measurements
US8239785B2 (en) * 2010-01-27 2012-08-07 Microsoft Corporation Edge gestures
US8261213B2 (en) * 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
US9411504B2 (en) * 2010-01-28 2016-08-09 Microsoft Technology Licensing, Llc Copy and staple gestures
US20110185320A1 (en) * 2010-01-28 2011-07-28 Microsoft Corporation Cross-reference Gestures
US20110185299A1 (en) * 2010-01-28 2011-07-28 Microsoft Corporation Stamp Gestures
KR101114750B1 (ko) * 2010-01-29 2012-03-05 주식회사 팬택 다차원 영상을 이용한 사용자 인터페이스 장치
KR101678549B1 (ko) * 2010-02-02 2016-11-23 삼성전자주식회사 표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스
US20110191719A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Cut, Punch-Out, and Rip Gestures
US9519356B2 (en) * 2010-02-04 2016-12-13 Microsoft Technology Licensing, Llc Link gestures
US20110191704A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Contextual multiplexing gestures
US20110199342A1 (en) * 2010-02-16 2011-08-18 Harry Vartanian Apparatus and method for providing elevated, indented or texturized sensations to an object near a display device or input detection using ultrasound
US8797278B1 (en) * 2010-02-18 2014-08-05 The Boeing Company Aircraft charting system with multi-touch interaction gestures for managing a map of an airport
US9310994B2 (en) 2010-02-19 2016-04-12 Microsoft Technology Licensing, Llc Use of bezel as an input mechanism
US9367205B2 (en) 2010-02-19 2016-06-14 Microsoft Technolgoy Licensing, Llc Radial menus with bezel gestures
US9274682B2 (en) * 2010-02-19 2016-03-01 Microsoft Technology Licensing, Llc Off-screen gestures to create on-screen input
US9965165B2 (en) * 2010-02-19 2018-05-08 Microsoft Technology Licensing, Llc Multi-finger gestures
US8799827B2 (en) * 2010-02-19 2014-08-05 Microsoft Corporation Page manipulations using on and off-screen gestures
US9075522B2 (en) * 2010-02-25 2015-07-07 Microsoft Technology Licensing, Llc Multi-screen bookmark hold gesture
US8473870B2 (en) * 2010-02-25 2013-06-25 Microsoft Corporation Multi-screen hold and drag gesture
US8751970B2 (en) * 2010-02-25 2014-06-10 Microsoft Corporation Multi-screen synchronous slide gesture
US20110209101A1 (en) * 2010-02-25 2011-08-25 Hinckley Kenneth P Multi-screen pinch-to-pocket gesture
US8539384B2 (en) 2010-02-25 2013-09-17 Microsoft Corporation Multi-screen pinch and expand gestures
US20110209089A1 (en) * 2010-02-25 2011-08-25 Hinckley Kenneth P Multi-screen object-hold and page-change gesture
US9454304B2 (en) * 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
US8707174B2 (en) * 2010-02-25 2014-04-22 Microsoft Corporation Multi-screen hold and page-flip gesture
US20110209058A1 (en) * 2010-02-25 2011-08-25 Microsoft Corporation Multi-screen hold and tap gesture
US8756522B2 (en) 2010-03-19 2014-06-17 Blackberry Limited Portable electronic device and method of controlling same
WO2011123833A1 (en) * 2010-04-01 2011-10-06 Yanntek, Inc. Immersive multimedia terminal
US8423911B2 (en) 2010-04-07 2013-04-16 Apple Inc. Device, method, and graphical user interface for managing folders
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US8810509B2 (en) * 2010-04-27 2014-08-19 Microsoft Corporation Interfacing with a computing application using a multi-digit sensor
US8963845B2 (en) 2010-05-05 2015-02-24 Google Technology Holdings LLC Mobile device with temperature sensing capability and method of operating same
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8751056B2 (en) 2010-05-25 2014-06-10 Motorola Mobility Llc User computer device with temperature sensing capabilities and method of operating same
US9103732B2 (en) 2010-05-25 2015-08-11 Google Technology Holdings LLC User computer device with temperature sensing capabilities and method of operating same
US8552999B2 (en) 2010-06-14 2013-10-08 Apple Inc. Control selection approximation
US20110310005A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Methods and apparatus for contactless gesture recognition
WO2012007034A1 (en) 2010-07-13 2012-01-19 Nokia Corporation Sending and receiving information
US20120030624A1 (en) * 2010-07-30 2012-02-02 Migos Charles J Device, Method, and Graphical User Interface for Displaying Menus
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8467599B2 (en) 2010-09-02 2013-06-18 Edge 3 Technologies, Inc. Method and apparatus for confusion learning
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
CN102446032B (zh) * 2010-09-30 2014-09-17 ***通信有限公司 基于摄像头的信息输入方法及终端
CN108681424B (zh) 2010-10-01 2021-08-31 Z124 用户界面上的拖移手势
US9405444B2 (en) 2010-10-01 2016-08-02 Z124 User interface with independent drawer control
CN102446042B (zh) * 2010-10-12 2014-10-01 谊达光电科技股份有限公司 电容式近接感应暨触控侦测装置与方法
GB2498299B (en) * 2010-10-22 2019-08-14 Hewlett Packard Development Co Evaluating an input relative to a display
KR101169583B1 (ko) * 2010-11-04 2012-07-31 주식회사 매크론 가상마우스 구동방법
JP2012104994A (ja) * 2010-11-09 2012-05-31 Sony Corp 入力装置、入力方法、プログラム及び記録媒体
KR101731346B1 (ko) * 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
JP5865914B2 (ja) * 2010-11-16 2016-02-17 クアルコム，インコーポレイテッド 超音波反射信号に基づく物***置推定のためのシステム及び方法
US20120120002A1 (en) * 2010-11-17 2012-05-17 Sony Corporation System and method for display proximity based control of a touch screen user interface
EP2649505B1 (en) * 2010-12-08 2019-06-05 Nokia Technologies Oy User interface
US9244606B2 (en) 2010-12-20 2016-01-26 Apple Inc. Device, method, and graphical user interface for navigation of concurrently open software applications
US20120159395A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Application-launching interface for multiple modes
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US8730190B2 (en) * 2011-01-13 2014-05-20 Qualcomm Incorporated Detect motion generated from gestures used to execute functionality associated with a computer system
EP2482164B1 (en) 2011-01-27 2013-05-22 Research In Motion Limited Portable electronic device and method therefor
US8421752B2 (en) 2011-01-27 2013-04-16 Research In Motion Limited Portable electronic device and method therefor
EP2482168A1 (en) 2011-01-27 2012-08-01 Research In Motion Limited Portable electronic device and method therefor
US9417696B2 (en) * 2011-01-27 2016-08-16 Blackberry Limited Portable electronic device and method therefor
US10025388B2 (en) * 2011-02-10 2018-07-17 Continental Automotive Systems, Inc. Touchless human machine interface
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US20140082559A1 (en) * 2011-02-22 2014-03-20 Bradley Neal Suggs Control area for facilitating user input
JP2012190215A (ja) * 2011-03-10 2012-10-04 Sony Corp 入力処理装置、入力処理方法、プログラム
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8743244B2 (en) 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
CN102693063B (zh) * 2011-03-23 2015-04-29 联想(北京)有限公司 操作控制方法、装置及电子设备
JP5766479B2 (ja) * 2011-03-25 2015-08-19 京セラ株式会社 電子機器、制御方法および制御プログラム
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US20120280900A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
US10102612B2 (en) * 2011-05-09 2018-10-16 Koninklijke Philips N.V. Rotating an object on a screen
US20120293404A1 (en) * 2011-05-19 2012-11-22 Panasonic Corporation Low Cost Embedded Touchless Gesture Sensor
TWI466021B (zh) * 2011-05-24 2014-12-21 Asustek Comp Inc 電腦系統及其控制方法
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
US9104440B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US8893033B2 (en) 2011-05-27 2014-11-18 Microsoft Corporation Application notifications
WO2012172322A2 (en) * 2011-06-13 2012-12-20 Elliptic Laboratories As Touchless interaction
US8631317B2 (en) * 2011-06-28 2014-01-14 International Business Machines Corporation Manipulating display of document pages on a touchscreen computing device
EP3754997B1 (en) 2011-08-05 2023-08-30 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
KR101262700B1 (ko) * 2011-08-05 2013-05-08 삼성전자주식회사 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
CN102314217B (zh) * 2011-09-29 2014-01-29 上海华勤通讯技术有限公司 移动终端及移动终端挥控方法
CA2792181C (en) 2011-10-18 2017-07-25 Research In Motion Limited Method of distributed layout negotiation in a user interface framework
US20130097534A1 (en) 2011-10-18 2013-04-18 Research In Motion Limited Method of rendering a user interface
US20130093764A1 (en) 2011-10-18 2013-04-18 Research In Motion Limited Method of animating a rearrangement of ui elements on a display screen of an electronic device
CN104160364A (zh) 2011-10-18 2014-11-19 卡内基梅隆大学 用于分类触敏表面上的触摸事件的方法和设备
CA2792662C (en) 2011-10-18 2017-11-14 Research In Motion Limited Method of rendering a user interface
US8984448B2 (en) 2011-10-18 2015-03-17 Blackberry Limited Method of rendering a user interface
EP2584450A3 (en) * 2011-10-18 2014-05-21 BlackBerry Limited Method of modifying rendered attributes of list elements in a user interface
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US8941619B2 (en) 2011-11-18 2015-01-27 Au Optronics Corporation Apparatus and method for controlling information display
CN102520791A (zh) * 2011-11-28 2012-06-27 北京盈胜泰科技术有限公司 一种无线手势识别装置
US8963885B2 (en) 2011-11-30 2015-02-24 Google Technology Holdings LLC Mobile device for interacting with an active stylus
US9063591B2 (en) 2011-11-30 2015-06-23 Google Technology Holdings LLC Active styluses for interacting with a mobile device
EP2602692A1 (en) * 2011-12-05 2013-06-12 Alcatel Lucent Method for recognizing gestures and gesture detector
CN102402290A (zh) * 2011-12-07 2012-04-04 北京盈胜泰科技术有限公司 一种肢体姿势识别方法及***
CA2798979C (en) * 2011-12-16 2017-02-28 Research In Motion Limited Method of rendering a user interface
US9678574B2 (en) 2011-12-23 2017-06-13 Intel Corporation Computing system utilizing three-dimensional manipulation command gestures
US10345911B2 (en) 2011-12-23 2019-07-09 Intel Corporation Mechanism to provide visual feedback regarding computing system command gestures
EP2795430A4 (en) 2011-12-23 2015-08-19 Intel Ip Corp TRANSITION MECHANISM FOR A COMPUTER SYSTEM WITH USER DETECTION
WO2013095679A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing coordinated two-hand command gestures
US9052804B1 (en) * 2012-01-06 2015-06-09 Google Inc. Object occlusion to initiate a visual search
US9230171B2 (en) 2012-01-06 2016-01-05 Google Inc. Object outlining to initiate a visual search
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US20130201161A1 (en) * 2012-02-03 2013-08-08 John E. Dolan Methods, Systems and Apparatus for Digital-Marking-Surface Content-Unit Manipulation
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US20130204457A1 (en) * 2012-02-06 2013-08-08 Ford Global Technologies, Llc Interacting with vehicle controls through gesture recognition
CN102591587A (zh) * 2012-02-06 2012-07-18 广西佳微电子科技有限公司 一种非接触式投影机翻动***及方法
US20150220149A1 (en) * 2012-02-14 2015-08-06 Google Inc. Systems and methods for a virtual grasping user interface
US20150015521A1 (en) * 2012-03-15 2015-01-15 Panasonic Corporation Gesture input operation processing device
JP2013218549A (ja) * 2012-04-10 2013-10-24 Alpine Electronics Inc 電子機器
TWI497347B (zh) * 2012-05-09 2015-08-21 Hung Ta Liu 以手勢為輸入之控制系統
GB2502087A (en) * 2012-05-16 2013-11-20 St Microelectronics Res & Dev Gesture recognition
WO2012126426A2 (zh) 2012-05-21 2012-09-27 华为技术有限公司 一种非接触式手势控制方法及装置
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN102759987A (zh) * 2012-06-13 2012-10-31 胡锦云 信息录入方法
US8907264B2 (en) 2012-06-14 2014-12-09 Intersil Americas LLC Motion and simple gesture detection using multiple photodetector segments
TWI490755B (zh) 2012-06-20 2015-07-01 Pixart Imaging Inc 輸入系統
CN103513852A (zh) * 2012-06-21 2014-01-15 深圳富泰宏精密工业有限公司 电子装置的文本编辑***及方法
US9098739B2 (en) 2012-06-25 2015-08-04 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
CN109508091A (zh) * 2012-07-06 2019-03-22 原相科技股份有限公司 输入***
WO2014009561A2 (en) * 2012-07-13 2014-01-16 Softkinetic Software Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand
KR101984154B1 (ko) * 2012-07-16 2019-05-30 삼성전자 주식회사 터치 및 제스처 입력을 이용한 단말의 제어 방법 및 그 단말
CN103577081B (zh) * 2012-07-30 2018-07-03 联想(北京)有限公司 一种调整显示输出的方法及电子设备
KR20140019678A (ko) * 2012-08-07 2014-02-17 삼성전자주식회사 그래픽 사용자 인터페이스 객체 생성 방법 및 장치
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
KR101938648B1 (ko) * 2012-10-23 2019-01-15 삼성전자주식회사 이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US9582122B2 (en) 2012-11-12 2017-02-28 Microsoft Technology Licensing, Llc Touch-sensitive bezel techniques
US9235342B2 (en) * 2012-11-28 2016-01-12 International Business Machines Corporation Selective sharing of displayed content in a view presented on a touchscreen of a processing system
US9075514B1 (en) * 2012-12-13 2015-07-07 Amazon Technologies, Inc. Interface selection element display
US9001064B2 (en) * 2012-12-14 2015-04-07 Barnesandnoble.Com Llc Touch sensitive device with pinch-based archive and restore functionality
CN103067782B (zh) * 2012-12-21 2017-12-22 康佳集团股份有限公司 一种基于智能电视的双手手势交互操作处理方法及***
TWI454968B (zh) * 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
US9471155B2 (en) 2012-12-28 2016-10-18 Intel Corporation 3-dimensional human interface device
CN103529930B (zh) * 2013-01-04 2016-12-28 努比亚技术有限公司 基于体感识别的索引菜单的方法、装置及其终端
CN103914143A (zh) * 2013-01-07 2014-07-09 义明科技股份有限公司 电子装置的控制方法
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US10241639B2 (en) 2013-01-15 2019-03-26 Leap Motion, Inc. Dynamic user interactions for display control and manipulation of display objects
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9323343B2 (en) 2013-01-31 2016-04-26 Panasonic Intellectual Property Corporation Of America Information processing method and information processing apparatus
JP5572851B1 (ja) 2013-02-26 2014-08-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 電子機器
CN104714728B (zh) * 2013-02-28 2018-10-12 联想(北京)有限公司 一种显示方法和设备
US9507425B2 (en) 2013-03-06 2016-11-29 Sony Corporation Apparatus and method for operating a user interface of a device
US9524028B2 (en) 2013-03-08 2016-12-20 Fastvdo Llc Visual language for human computer interfaces
US9110541B1 (en) * 2013-03-14 2015-08-18 Amazon Technologies, Inc. Interface selection approaches for multi-dimensional input
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
US9013452B2 (en) 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
JP5862587B2 (ja) * 2013-03-25 2016-02-16 コニカミノルタ株式会社 ジェスチャ判別装置、ジェスチャ判別方法、およびコンピュータプログラム
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9323338B2 (en) 2013-04-12 2016-04-26 Usens, Inc. Interactive input system and method
US10082935B2 (en) * 2013-04-15 2018-09-25 Carnegie Mellon University Virtual tools for use with touch-sensitive surfaces
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US9489051B2 (en) 2013-07-01 2016-11-08 Blackberry Limited Display navigation using touch-less gestures
US9323336B2 (en) 2013-07-01 2016-04-26 Blackberry Limited Gesture detection using ambient light sensors
US9367137B2 (en) 2013-07-01 2016-06-14 Blackberry Limited Alarm operation by touch-less gesture
US9423913B2 (en) 2013-07-01 2016-08-23 Blackberry Limited Performance control of ambient light sensors
US9398221B2 (en) 2013-07-01 2016-07-19 Blackberry Limited Camera control using ambient light sensors
US9256290B2 (en) 2013-07-01 2016-02-09 Blackberry Limited Gesture detection using ambient light sensors
US9342671B2 (en) 2013-07-01 2016-05-17 Blackberry Limited Password by touch-less gesture
US9405461B2 (en) 2013-07-09 2016-08-02 Blackberry Limited Operating a device using touchless and touchscreen gestures
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
CN104298342B (zh) * 2013-07-19 2019-02-05 中兴通讯股份有限公司 一种三维空间坐标的检测方法、三维输入方法及相应装置
US9465448B2 (en) 2013-07-24 2016-10-11 Blackberry Limited Backlight for touchless gesture detection
US9304596B2 (en) 2013-07-24 2016-04-05 Blackberry Limited Backlight for touchless gesture detection
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
JP2015032101A (ja) * 2013-08-01 2015-02-16 株式会社東芝 情報端末装置
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
TWI505135B (zh) * 2013-08-20 2015-10-21 Utechzone Co Ltd 顯示畫面的控制系統、輸入裝置及控制方法
CN104423578B (zh) * 2013-08-25 2019-08-06 杭州凌感科技有限公司 交互式输入***和方法
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9194741B2 (en) 2013-09-06 2015-11-24 Blackberry Limited Device having light intensity measurement in presence of shadows
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9304597B2 (en) * 2013-10-29 2016-04-05 Intel Corporation Gesture based human computer interaction
CN105849675B (zh) 2013-10-30 2019-09-24 苹果公司 显示相关的用户界面对象
US20160246383A1 (en) * 2013-10-31 2016-08-25 Huawei Technologies Co., Ltd. Floating or mid-air operation processing method and apparatus
US9996797B1 (en) * 2013-10-31 2018-06-12 Leap Motion, Inc. Interactions with virtual objects for machine control
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
KR20150051278A (ko) * 2013-11-01 2015-05-12 삼성전자주식회사 오브젝트 이동 방법 및 이를 구현하는 전자 장치
CN103558920B (zh) * 2013-11-15 2018-06-19 努比亚技术有限公司 非接触式姿势的处理方法及装置
ITCO20130068A1 (it) * 2013-12-18 2015-06-19 Nu Tech S A S Di De Michele Marco & Co Metodo per fornire comandi d'utente ad un elaboratore elettronico e relativi programma per elaborare e circuito elettronico.
CN103713779A (zh) * 2013-12-31 2014-04-09 成都有尔科技有限公司 一种非接触式触控装置及其实现方法
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
EP2891950B1 (en) 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
KR102214437B1 (ko) * 2014-01-10 2021-02-10 삼성전자주식회사 컴퓨팅 디바이스에서 컨텐츠 복사 실행 방법, 컨텐츠 붙여넣기 실행 방법 및 컴퓨팅 디바이스
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
CN103823555A (zh) * 2014-01-23 2014-05-28 珠海恒宇新科技有限公司 一种3d手势转换为键码的***及方法
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
CN104914980A (zh) * 2014-03-10 2015-09-16 联想(北京)有限公司 一种信息处理方法及装置
US9477337B2 (en) 2014-03-14 2016-10-25 Microsoft Technology Licensing, Llc Conductive trace routing for display and bezel sensors
CN103914305B (zh) * 2014-04-10 2019-02-12 Oppo广东移动通信有限公司 一种移动终端上自由控制应用的方法及***
US9569006B2 (en) * 2014-04-10 2017-02-14 Mediatek Inc. Ultrasound-based methods for touchless gesture recognition, and apparatuses using the same
CN103955277A (zh) * 2014-05-13 2014-07-30 广州三星通信技术研究有限公司 在电子设备上控制光标的方法及其装置
JP6494926B2 (ja) * 2014-05-28 2019-04-03 京セラ株式会社 携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法
US9639167B2 (en) * 2014-05-30 2017-05-02 Eminent Electronic Technology Corp. Ltd. Control method of electronic apparatus having non-contact gesture sensitive region
KR102303115B1 (ko) 2014-06-05 2021-09-16 삼성전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법
US9696813B2 (en) * 2015-05-27 2017-07-04 Hsien-Hsiang Chiu Gesture interface robot
CN105204610A (zh) * 2014-06-18 2015-12-30 王昱人 以动作感应来操控功能的装置
CN105320252A (zh) * 2014-06-26 2016-02-10 中兴通讯股份有限公司 一种播放器的交互方法和装置
CN108073334B (zh) * 2014-07-24 2020-12-25 Oppo广东移动通信有限公司 一种基于矢量运算的悬浮触控方法及装置
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US10310675B2 (en) * 2014-08-25 2019-06-04 Canon Kabushiki Kaisha User interface apparatus and control method
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US10282024B2 (en) 2014-09-25 2019-05-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
CN107407959B (zh) 2014-09-30 2021-04-30 惠普发展公司，有限责任合伙企业 基于姿势的三维图像的操纵
DE102014017179B4 (de) * 2014-11-20 2022-10-06 Audi Ag Verfahren zum Betreiben eines Navigationssystems eines Kraftfahrzeugs mittels einer Bediengeste
US11079468B2 (en) * 2014-12-15 2021-08-03 Courtius Oy Detection of acoustic events
CN104503573A (zh) * 2014-12-16 2015-04-08 苏州佳世达电通有限公司 手势操作方法及手势操作装置
US10248728B1 (en) * 2014-12-24 2019-04-02 Open Invention Network Llc Search and notification procedures based on user history information
US20160202865A1 (en) 2015-01-08 2016-07-14 Apple Inc. Coordination of static backgrounds and rubberbanding
CN104536576B (zh) * 2015-01-12 2017-05-31 苏州触达信息技术有限公司 基于超声波的同一平面内多媒体设备间手势交互方法
US20160224118A1 (en) * 2015-02-02 2016-08-04 Kdh-Design Service Inc. Helmet-used touchless sensing and gesture recognition structure and helmet thereof
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
KR20160101605A (ko) * 2015-02-17 2016-08-25 삼성전자주식회사 제스처 입력 처리 방법 및 이를 지원하는 전자 장치
CN104881192B (zh) * 2015-05-28 2018-11-16 努比亚技术有限公司 操作识别方法和装置以及终端
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
CN106484087A (zh) * 2015-09-02 2017-03-08 黄小明 一种便携遥测体感输入方法及装置
CN105243316B (zh) * 2015-10-15 2018-01-26 广东欧珀移动通信有限公司 一种移动终端解锁的方法及装置
CN105242786A (zh) * 2015-10-15 2016-01-13 广东欧珀移动通信有限公司 一种基于超声波的应用控制方法及装置
CN105242861B (zh) * 2015-10-15 2019-08-02 Oppo广东移动通信有限公司 一种基于超声波的参数调节方法及装置
CN105204649B (zh) * 2015-10-15 2018-01-19 广东欧珀移动通信有限公司 一种移动终端解锁的方法及装置
CN105302303A (zh) * 2015-10-15 2016-02-03 广东欧珀移动通信有限公司 一种游戏控制方法及装置和移动终端
CN105306820A (zh) * 2015-10-15 2016-02-03 广东欧珀移动通信有限公司 控制移动终端中摄像头旋转的方法、装置及移动终端
CN105844216B (zh) * 2016-03-11 2020-10-27 南京航空航天大学 一种利用WiFi信号识别手写字母的检测与匹配机制
CN105607745A (zh) 2016-03-16 2016-05-25 京东方科技集团股份有限公司 显示控制电路、显示控制方法和显示装置
CN105844705B (zh) * 2016-03-29 2018-11-09 联想(北京)有限公司 一种三维虚拟对象模型生成方法及电子设备
CN105881548B (zh) * 2016-04-29 2018-07-20 北京快乐智慧科技有限责任公司 唤醒智能交互机器人的方法及智能交互机器人
CN106055098B (zh) * 2016-05-24 2019-03-15 北京小米移动软件有限公司 隔空手势操作方法及装置
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
TWI634487B (zh) * 2017-03-02 2018-09-01 合盈光電科技股份有限公司 Action gesture recognition system
CN109597405A (zh) * 2017-09-30 2019-04-09 阿里巴巴集团控股有限公司 控制机器人移动的方法及机器人
CN108052202B (zh) * 2017-12-11 2021-06-11 深圳市星野信息技术有限公司 一种3d交互方法、装置、计算机设备及存储介质
DE102018201999A1 (de) * 2018-02-08 2019-08-08 BSH Hausgeräte GmbH Haushaltskältegerätevorrichtung
US10585525B2 (en) 2018-02-12 2020-03-10 International Business Machines Corporation Adaptive notification modifications for touchscreen interfaces
US10579099B2 (en) 2018-04-30 2020-03-03 Apple Inc. Expandable ring device
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US11360558B2 (en) 2018-07-17 2022-06-14 Apple Inc. Computer systems with finger devices
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
CN109634415B (zh) * 2018-12-11 2019-10-18 哈尔滨拓博科技有限公司 一种用于控制模拟量的手势识别控制方法
CN109480904A (zh) * 2018-12-25 2019-03-19 无锡祥生医疗科技股份有限公司 一种超声成像方法、装置及***
CN109480903A (zh) * 2018-12-25 2019-03-19 无锡祥生医疗科技股份有限公司 超声诊断设备的成像方法、装置及***
CN109753219B (zh) * 2018-12-29 2021-07-20 广州欧科信息技术股份有限公司 基于虚拟现实的手工艺品制作***、方法及装置
US10818015B2 (en) * 2019-01-28 2020-10-27 Florida Analytical Imaging Solutions, LLC. Automatic region of interest selection in centrosome analysis
CN109947183B (zh) * 2019-03-27 2021-12-24 联想(北京)有限公司 一种控制方法及电子设备
US11016643B2 (en) 2019-04-15 2021-05-25 Apple Inc. Movement of user interface object with user-specified content
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference
US11360587B1 (en) 2020-04-07 2022-06-14 Apple Inc. Deployment systems for computer system finger devices
US20220358256A1 (en) * 2020-10-29 2022-11-10 Intrface Solutions Llc Systems and methods for remote manipulation of multi-dimensional models

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US7084859B1 (en) * 1992-09-18 2006-08-01 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
DE69509637T2 (de) 1994-02-15 2000-01-13 Breyer Branco Rechnerhinweisanordnung
US5821922A (en) 1997-05-27 1998-10-13 Compaq Computer Corporation Computer having video controlled cursor system
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US6313825B1 (en) 1998-12-28 2001-11-06 Gateway, Inc. Virtual input device
JP4332649B2 (ja) * 1999-06-08 2009-09-16 独立行政法人情報通信研究機構 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
US7050177B2 (en) 2002-05-22 2006-05-23 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US6710770B2 (en) 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
US6847354B2 (en) 2000-03-23 2005-01-25 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Three dimensional interactive display
US6624833B1 (en) * 2000-04-17 2003-09-23 Lucent Technologies Inc. Gesture-based input interface system with shadow detection
US7042442B1 (en) * 2000-06-27 2006-05-09 International Business Machines Corporation Virtual invisible keyboard
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6903730B2 (en) * 2000-11-10 2005-06-07 Microsoft Corporation In-air gestures for electromagnetic coordinate digitizers
WO2002048642A2 (en) 2000-11-19 2002-06-20 Canesta, Inc. Method for enhancing performance in a system utilizing an array of sensors that sense at least two-dimensions
DE10100615A1 (de) * 2001-01-09 2002-07-18 Siemens Ag Handerkennung mit Positionsbestimmung
US6775014B2 (en) * 2001-01-17 2004-08-10 Fujixerox Co., Ltd. System and method for determining the location of a target in a room or small area
US7053967B2 (en) 2002-05-23 2006-05-30 Planar Systems, Inc. Light sensitive display
US7009663B2 (en) 2003-12-17 2006-03-07 Planar Systems, Inc. Integrated optical light sensitive active matrix liquid crystal display
SE0201434L (sv) * 2002-05-10 2003-10-14 Henrik Dryselius Anordning för inmatning av styrsignaler till en elektronisk apparat
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
US7554530B2 (en) 2002-12-23 2009-06-30 Nokia Corporation Touch screen user interface featuring stroke-based object selection and functional object activation
US7231609B2 (en) * 2003-02-03 2007-06-12 Microsoft Corporation System and method for accessing remote screen content
KR100588042B1 (ko) * 2004-01-14 2006-06-09 한국과학기술연구원 인터액티브 프레젠테이션 시스템
US20050162402A1 (en) * 2004-01-27 2005-07-28 Watanachote Susornpol J. Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
GB2419433A (en) * 2004-10-20 2006-04-26 Glasgow School Of Art Automated Gesture Recognition
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
US20060267966A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Hover widgets: using the tracking state to extend capabilities of pen-operated devices
US20070064004A1 (en) * 2005-09-21 2007-03-22 Hewlett-Packard Development Company, L.P. Moving a graphic element
US20070130547A1 (en) 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110052270A (ko) * 2009-11-12 2011-05-18 삼성전자주식회사 근접 터치 동작 감지 장치 및 방법
WO2011119154A1 (en) * 2010-03-24 2011-09-29 Hewlett-Packard Development Company, L.P. Gesture mapping for display device
KR20120028248A (ko) * 2010-09-13 2012-03-22 삼성전자주식회사 이동장치의 제스처 제어장치 및 방법
KR20120058996A (ko) * 2010-11-30 2012-06-08 삼성전자주식회사 객체 제어 장치 및 방법
US9747018B2 (en) 2010-11-30 2017-08-29 Samsung Electronics Co., Ltd. Apparatus and method for controlling object
US9956878B2 (en) 2014-03-07 2018-05-01 Volkswagen Ag User interface and method for signaling a 3D-position of an input means in the detection of gestures
WO2017179786A1 (ko) * 2016-04-11 2017-10-19 (주)스마트몹 동작 인식 센서를 이용한 3차원 입력 장치, 방법 및 시스템

Also Published As

Publication number Publication date
CN103529942B (zh) 2016-09-28
CN101730874B (zh) 2013-11-13
EP2717120B1 (en) 2021-05-19
CN101730874A (zh) 2010-06-09
EP2717120A1 (en) 2014-04-09
US20080005703A1 (en) 2008-01-03
CN103529942A (zh) 2014-01-22
EP2038732A2 (en) 2009-03-25
WO2008001202A3 (en) 2008-05-22
KR101098015B1 (ko) 2011-12-22
WO2008001202A2 (en) 2008-01-03
EP2038732A4 (en) 2012-01-18
US20120056804A1 (en) 2012-03-08
US8086971B2 (en) 2011-12-27

Similar Documents

Publication Publication Date Title
KR101098015B1 (ko) 무접촉식 동작 기반의 입력
US11048333B2 (en) System and method for close-range movement tracking
JP6074170B2 (ja) 近距離動作のトラッキングのシステムおよび方法
JP5295328B2 (ja) スクリーンパッドによる入力が可能なユーザインタフェース装置、入力処理方法及びプログラム
KR101872533B1 (ko) 3 상태 터치 입력 시스템
US7623119B2 (en) Graphical functions by gestures
KR101180218B1 (ko) 터치스크린과 디지털 촉각 픽셀들을 구비한 휴대용 장치
US20160364138A1 (en) Front touchscreen and back touchpad operated user interface employing semi-persistent button groups
US9448714B2 (en) Touch and non touch based interaction of a user with a device
US20110227947A1 (en) Multi-Touch User Interface Interaction
JP2013037675A5 (ko)
EP1942399A1 (en) Multi-event input system
US20130082928A1 (en) Keyboard-based multi-touch input system using a displayed representation of a users hand
EP2452254A1 (en) System and method for multi-touch interactions with a touch sensitive screen
EP2575007A1 (en) Scaling of gesture based input
US9454257B2 (en) Electronic system
TW201015394A (en) Method of tracking touch inputs and related touch input tracking device and computer system
JP5184384B2 (ja) 制御システムおよび制御方法
US10345932B2 (en) Disambiguation of indirect input
Athira Touchless technology
KR20110006251A (ko) 터치 패널 입력장치, 방법 및 이를 이용한 모바일 기기

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141126

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171117

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181115

Year of fee payment: 8