KR20140117469A - 시선 상호작용을 위한 시스템 - Google Patents

시선 상호작용을 위한 시스템 Download PDF

Info

Publication number
KR20140117469A
KR20140117469A KR1020147021352A KR20147021352A KR20140117469A KR 20140117469 A KR20140117469 A KR 20140117469A KR 1020147021352 A KR1020147021352 A KR 1020147021352A KR 20147021352 A KR20147021352 A KR 20147021352A KR 20140117469 A KR20140117469 A KR 20140117469A
Authority
KR
South Korea
Prior art keywords
user
gesture
gaze
information providing
generated
Prior art date
Application number
KR1020147021352A
Other languages
English (en)
Inventor
마르쿠스 센덜룬드
로버트 가벨린
앤더스 벤스트롬
앤더스 카플란
앤더스 올슨
마르텐 스코괴
Original Assignee
토비 테크놀로지 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 토비 테크놀로지 에이비 filed Critical 토비 테크놀로지 에이비
Publication of KR20140117469A publication Critical patent/KR20140117469A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0189—Sight systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1468—Touch gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 시선 기반 입력을 제스처 기반 사용자 명령들과 조합하는 것에 의하여 그래픽 사용자 인터페이스와 상호작용하는 경우에 사용자를 보조하는 개선된 방법들 및 시스템들을 제공한다. 본 발명은 컴퓨터 시스템의 사용자가 종래의 터치-스크린이 없이도 시선 기반 입력 및 제스처 기반 사용자 명령들의 조합을 사용하여 터치-스크린 유사 방식으로 그래픽 사용자 인터페이스들과 상호작용하는 것을 가능하게 하는 시스템들, 디바이스들 및 방법을 제공한다. 또한, 본 발명은 예를 들어, 일반 터치-스크린이 불편하거나 인체공학적으로 힘든 상황들의 경우에, 터치-스크린을 구비한 컴퓨터 디바이스와의 터치-스크린 상호작용들에 대한 보완 또는 대체로서 시선 입력 및 제스처 기반 입력을 사용하여 터치-스크린 유사 상호작용을 위한 솔루션을 제공한다. 또한, 본 발명은 종래의 터치스크린이 없는 컴퓨터 시스템들에서 또는 인체공학적으로 사용자에게 불리하게 배열된 터치스크린 또는 상호작용을 위해 제스처 및 시선을 사용하는 것이 터치스크린보다 사용자에게 더 편안하도록 배열된 터치스크린을 구비한 컴퓨터 시스템들에서, 그래픽 사용자 인터페이스들과의 조합된 시선 및 제스처 기반 상호작용을 위한 시스템들, 디바이스들 및 방법들을 제공함으로써 터치스크린 유사 환경을 달성한다.

Description

시선 상호작용을 위한 시스템{SYSTEM FOR GAZE INTERACTION}
본 발명은 일반적으로 인터랙티브 그래픽 사용자 인터페이스들과 관련하여 눈동자 움직임들의 검출을 이용하는 컴퓨터 구현 시스템들 및 방법들에 관한 것이다. 특히, 본 발명은 눈동자 기반 입력을 제스처 기반 입력 및 제스처 기반 사용자 명령들과 조합하는 것에 의해 그래픽 사용자 인터페이스와 상호작용할 경우 사용자를 보조하기 위한 시스템들 및 방법들에 관한 것이다.
휴먼 컴퓨터 인터랙션(Human computer interaction)은 그래픽 사용자 인터페이스(graphical user interface; GUI)의 도입에 의해 혁신이 일어났다. 이것에 의해, 임의의 이전 채널들을 상당히 초과하는 대역폭으로 사용자에게 정보를 제시하는 효율적인 수단이 제공되었다. 수년 동안, 정보가 제공될 수 있는 속도는 컬러 스크린들, 확장 디스플레이들, 지능형 그래픽 객체들(예를 들어, 팝-업 창들), 창 탭들, 메뉴, 툴바들 등을 통해 더 증가하였다. 그러나, 이 기간 동안, 입력 디바이스들은 본질적으로 변하지 않은 상태로 남아 있었다(즉, 키보드 및 포인팅 디바이스(예를 들어, 마우스, 트랙 볼(track ball) 또는 터치패드). 최근, 핸드라이팅(handwriting) 디바이스들(예를 들어, 스타일러스(stylus) 또는 그래픽 펜의 형태)이 도입되었다. 그럼에도 불구하고, 출력 대역폭이 몇 배로 증가한 반면, 입력 대역폭은 실질적으로 변하지 않게 되었다. 결과적으로, 휴먼 컴퓨터 인터랙션에 있어서 통신 대역폭의 심한 비대칭이 발생되었다.
이 대역폭 비대칭을 감소시키고, 또한 사용자 상호작용을 개선 및 용이하게 하기 위하여, 이러한 목적들의 눈동자-추적을 사용하는 다양한 시도들이 있어 왔다. 예를 들어, 랩톱(laptop)에서 눈동자 추적 디바이스를 구현하는 것에 의해, 사용자와 컴퓨터상에 실행되는 상이한 소프트웨어 애플리케이션들 간의 상호작용 가능성들이 상당히 증대될 수 있다.
따라서, 사용자 상호작용을 개선 및 용이하게 하고 대역폭 비대칭성을 제거하기 위한 하나의 흥미로운 아이디어는, 마우스 입력 대신에 또는 그에 대한 보완으로 눈동자 시선 추적을 사용하는 것이다. 일반적으로, 커서(cursor)는 계산된 사용자의 시선점(point of gaze)에 따라 디스플레이 상에 위치된다. 다수의 상이한 기술들이 이들 시스템들에서 타깃 객체를 선택하고 활성화하기 위해 개발되었다. 일 예에서, 시스템은 사용자가 소정 시간 동안 소정 객체에 사용자의 시선을 고정하는 것을 검출시에 객체를 활성화한다. 또 다른 접근방식은 사용자의 눈이 깜박일 때 객체의 활성화를 검출하는 것이다.
그러나, 눈동자 추적을 사용하는 이러한 솔루션들과 연관된 문제점들이 존재한다. 예를 들어, 인간은 제어가 아닌 지각 활동들에 그들의 눈을 사용한다. 따라서, 예를 들어, 컴퓨터의 디스플레이 상에 제시된 객체를 활성화시키고 선택하기 위해, 컴퓨터와 상호작용하도록 눈동자 움직임들을 주의 깊게 사용하는 것은 스트레스가 될 수 있다. 또한, 디스플레이 상에 제시된 객체들과 상호작용하기 위해, 눈 깜박임(blinking)이나 주시(staring)를 제어하는 것이 어려울 수도 있다.
따라서, 사용자가 보다 직관적이고 자연스러운 방식으로 자신의 눈을 사용하여 컴퓨터의 디스플레이 상에 제시된 객체들 및 객체들의 일부들을 제어, 선택 및 활성화할 수 있게 하는 눈동자 추적 디바이스가 구비된 컴퓨터와의 사용자 상호작용을 가능하게 하는, 개선된 기술들이 본 기술 분야에서 필요하다. 또한, 컴퓨터와의 사용자 상호작용을 개선 및 용이하게 하는 눈동자 추적 사용 가능성을 보다 효율적으로 활용하는 기술들이 본 기술 분야에서 필요하다.
하나의 이러한 시도가 Beymer 등에 의한 미국 특허 출원(공개번호 제2005/0243054호)에 제시되어 있으며, 여기에서는 눈동자 시선 및 키 누름을 사용하여 타깃 객체를 선택 및 활성화하는 기술이 개시되어 있다. 보다 구체적으로, 사용자는 타깃 객체, 예를 들어 그래픽 사용자 인터페이스 상의 일 버튼을 응시한 후에 키보드의 선택키를 누른다. 일단 선택키가 눌려지면, 가장 가능성이 높은 타깃이 확률 추론(probability reasoning)을 사용하여 결정된다. 이어서, 결정된 타깃 객체가 하이라이팅(highlighting)되며, 사용자가 다시 선택키를 누름으로써 그것을 선택할 수 있다. 하이라이팅된 객체가 타깃 객체가 아닌 경우, 사용자는 추가 키들을 사용하여 다른 타깃 객체를 선택함으로써 의도된 타깃 객체로 네비게이팅할 수 있다.
그러나, 이 기술은 눈동자 시선 및 하나의 전용 선택키에 대한 두 번 연속 누름의 조합에 기초하는 객체 선택 및 활성화로 제한된다.
Amir 등에 의한 미국특허 제6,204,828호에서는, 눈동자 시선 및 수동 조작 입력의 통합에 의해 사용자가 커서를 위치시키는 것을 보조하는 컴퓨터-구동 시스템이 개시되어 있다. 시선 추적 장치는 사용자가 스크린을 보는 동안에 사용자의 눈동자 방향을 모니터링한다. 동시에, 컴퓨터는 조작자에 의한 기계적 활성용 입력 디바이스, 예를 들어 마우스를 모니터링한다. 컴퓨터는 입력 디바이스의 기계적 활성을 검출하는 경우, 현재의 시선 영역 내에서 초기 커서 디스플레이 위치를 결정한다. 이어서, 커서는 초기 디스플레이 위치에서 스크린 상에 디스플레이되며, 그 후 커서는 시선에 관계없이 입력 디바이스의 사용자 조작에 따라 수동으로 위치 결정된다.
따라서, 컴퓨터와의 사용자 상호작용, 특히 그래픽 사용자 인터페이스들과의 사용자 상호작용을 개선 및 용이하게 하는 눈동자 추적 사용 가능성을 보다 효율적으로 활용하는 개선된 기술이 본 기술 분야에서 여전히 필요하다.
본 발명의 목적은 시선 기반 입력을 제스처 기반 사용자 명령들과 조합함으로써 사용자가 그래픽 사용자 인터페이스와 상호작용하는 경우를 보조하는 개선된 방법들, 디바이스들 및 시스템들을 제공하는 것이다.
본 발명의 다른 목적은 그래픽 사용자 인터페이스들과의 사용자 친화적 및 직관적 상호작용을 위한 방법들, 디바이스들 및 시스템들을 제공하는 것이다.
본 발명의 특별한 목적은 컴퓨터 시스템의 사용자가 종래의 터치-스크린 없이도, 시선 기반 입력 및 제스처 기반 사용자 명령들의 조합을 사용하여 터치-스크린 유사 방식으로 그래픽 사용자 인터페이스들과 상호작용하는 것을 가능하게 하는 시스템들, 디바이스들 및 방법들을 제공하는 것이다. 또한, 본 발명은 예를 들어, 일반 터치-스크린이 불편하거나 인체공학적으로 힘든 상황들의 경우에, 터치-스크린을 구비한 컴퓨터 디바이스와의 터치-스크린 상호작용들에 대한 보완 또는 대체로서 시선 입력 및 제스처 기반 입력을 사용하여 터치-스크린 유사 상호작용을 위한 솔루션을 제공한다.
본 발명의 다른 특별한 목적은, 종래의 터치스크린이 없는 컴퓨터 시스템들에서 또는 인체공학적으로 사용자에게 불리하게 배열된 터치스크린 또는 상호작용을 위해 제스처 및 시선을 사용하는 것이 터치스크린보다 사용자에게 더 편안하도록 배열된 터치스크린을 구비한 컴퓨터 시스템들에서, 그래픽 사용자 인터페이스들과의 조합된 시선 및 제스처 기반 상호작용을 위한 시스템들, 디바이스들 및 방법들을 제공함으로써 터치스크린 유사 환경을 달성하는 것이다.
본 발명의 컨텍스트에서, 용어 "GUI"(Graphical User Interface)는 예를 들어 이동식 창들과 아이콘들을 포함하는 디스플레이 상의 사진이나 이미지 및 단어와의 그래픽-기반 사용자 인터페이스를 지칭한다.
또한, 본 발명의 컨텍스트에서, 용어들 "객체" 또는 "객체 부분"은 창, 아이콘, 버튼, 스크롤 바, 하이퍼링크와 같은 대화형 그래픽 객체 또는 GUI 객체 또는 사용자가 선택하거나 활성화하고자 하는 이미지, 텍스트 또는 텍스트 내의 단어와 같은 비-대화형 객체들을 지칭한다.
본 발명의 컨텍스트에서, 용어 "터치패드"(또는 용어 "트랙패드")는 예를 들어 스타일러스(stylus)와 같은, 하나 이상의 손가락들 및/또는 제스처들을 포인팅하거나, 드로잉하거나 만드는 것으로 예정된 하나 이상의 다른 객체들의 위치 및 움직임을 검출하는 표면 센서를 지칭한다.
본 발명의 이들 및 다른 목적들은 독립청구항들에서 정의된 특징들을 갖는 시스템에 의해 달성된다. 본 발명의 실시예들은 종속청구항들에 의해 특징지어져 있다.
본 발명의 일 양태에 따르면, 제스처 기반 제어 명령들을 처리 및 생성하여 이들 명령들에 기초하여 사용자 동작을 실행하는 예를 들어, 컴퓨터 디바이스 또는 핸드헬드 디바이스 또는 무선 송/수신 유닛(WTRU)의 구현을 위한 제어 모듈이 제공된다. 제어 모듈은 사용자 생성 제스처들을 검출하도록 적응된 입력 수단으로부터의 사용자 입력 및 시선 추적 모듈로부터의 시선 데이터 신호들을 획득하고, 그 사용자 입력에 기초하여 적어도 하나의 사용자 생성 제스처 기반 제어 명령을 결정하도록 구성된다. 또한, 제어 모듈은 적어도 시선 데이터 신호들에 기초하여 사용자의 시선점을 포함하는 정보 제공 영역 상에서 시선점 영역을 결정하고, 또한 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 제어 명령에 기초하여 그래픽 정보 제공 영역 상에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하도록 구성되며, 여기서 사용자 동작은 상기 결정된 시선점 영역을 시작점으로 하여 실행된다. 시작점의 역할을 하는 시선점 영역은 사용자가 처음에 응시한 영역이거나 미세 조정된 영역, 즉, 사용자가 예를 들어 입력 수단을 통하여 명령들을 조정 또는 교정함으로써 처음의 시선점 영역을 선택된 영역으로 교정 또는 조정하여 선택된 영역일 수 있다.
본 발명의 다른 양태에 따르면, 예를 들어 컴퓨터 디바이스나 핸드헬드 디바이스와 연동되거나 그에 포함된 정보 제공 영역, 또는 무선 송/수신 유닛(WTRU)과 연동되거나 그에 포함된 정보 제공 영역과의 사용자 상호작용 동안에 제스처 기반 명령들을 생성하는 방법이 제공된다. 이 방법은 사용자 생성 제스처들 및 시선 데이터 신호들에 대응하는 사용자 입력을 획득하고, 사용자 입력에 기초하여 적어도 하나의 사용자 생성 제스처 기반 제어 명령을 결정하는 것을 포함한다. 또한, 사용자의 시선점을 포함하는 정보 제공 영역 상의 시선점 영역이 적어도 시선 데이터 신호들에 기초하여 결정되고, 정보 제공 영역 상에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작이 상기 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 제어 명령에 기초하여 실행되며, 여기서 사용자 동작은 상기 결정된 시선점 영역을 시작점으로 하여 실행된다.
본 발명의 다른 양태에 따르면, 정보 제공 영역이 제공되거나 그것과 연동되며, 또한 사용자 생성 제스처들을 검출하도록 적응된 입력 수단 및 정보 제공 영역의 관측자의 시선 데이터를 검출하도록 적응된 시선 추적 모듈을 포함하는 핸드헬드 휴대용 디바이스가 제공된다. 핸드헬드 디바이스는 입력 수단으로부터의 사용자 입력 및 시선 추적 모듈로부터의 시선 데이터 신호들을 획득하고, 사용자 입력에 기초하여 적어도 하나의 사용자 생성 제스처 기반 제어 명령을 결정하도록 구성된 제어 모듈을 더 포함한다. 제어 모듈은 적어도 시선 데이터 신호들에 기초하여 사용자의 시선점을 포함하는 정보 제공 영역 상의 시선점 영역을 결정하고, 상기 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 제어 명령에 기초하여 정보 제공 영역 상에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하도록 더 구성되며, 여기서 사용자 동작은 상기 결정된 시선점 영역을 시작점으로 하여 실행된다. 본 발명의 실시예들에서, 핸드헬드 디바이스는 셀룰러폰, 스마트폰, 아이패드나 이와 유사한 디바이스, 태블릿, 포블릿/패블릿, 랩톱이나 이와 유사한 디바이스일 수 있다.
본 발명의 다른 양태에 따르면, 정보 제공 영역과 연동되고, 사용자 생성 제스처들을 검출하도록 적응된 입력 수단 및 정보 제공 영역에 대한 관측자의 시선 데이터를 검출하도록 적응된 시선 추적 모듈을 포함하는 무선 송/수신 유닛(WTRU)이 제공된다. WTRU는 입력 수단으로부터의 사용자 입력 및 시선 추적 모듈로부터의 시선 데이터 신호들을 획득하고, 그 사용자 입력에 기초하여 적어도 하나의 사용자 생성 제스처 기반 제어 명령을 결정하도록 구성된 제어 모듈을 더 포함한다. 제어 모듈은 적어도 시선 데이터 신호들에 기초하여 사용자의 시선점을 포함하는 정보 제공 영역 상의 시선점 영역을 결정하고, 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 제어 명령에 기초하여 정보 제공 영역 상에 제공되어 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하도록 더 구성되며, 여기서 사용자 동작은 상기 결정된 시선점 영역을 시작점으로 하여 실행된다.
용어 "무선 송/수신 유닛(WTRU)"은 사용자 장비(UE), 이동국, 고정형 또는 이동형 가입자 유닛, 셀룰러폰, 스마트폰, PDA(personal digital assistant), 컴퓨터, 또는 WLAN(wireless local area network)이나 무선 이동통신 시스템(예컨대, 이동통신용 3G(third generation) 글로벌 시스템 및 LTE(long term evolution) 셀들을 포함하는 이동통신용 시스템들)과 같은 무선 환경에서 동작 가능한 임의의 다른 타입의 디바이스를 포함하며, 이에 한정되지 않는다.
본 발명의 다른 양태에 따르면, 정보 제공 영역과의 사용자 상호작용을 위한 시스템이 제공된다. 이 시스템은 사용자 생성 제스처들을 검출하도록 적응된 입력 수단 및 정보 제공 영역에 대한 관측자의 시선 데이터를 검출하도록 적응된 시선 추적 모듈을 포함한다. 또한, 이 시스템은 입력 수단으로부터의 사용자 입력 및 시선 추적 모듈로부터의 시선 데이터 신호들을 획득하고, 사용자 입력에 기초하여 적어도 하나의 사용자 생성 제스처 기반 제어 명령을 결정하도록 구성된 제어 모듈을 포함한다. 제어 모듈은 적어도 시선 데이터 신호들에 기초하여 사용자의 시선점이 위치해 있는 정보 제공 영역 상의 시선점 영역을 결정하고, 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 제어 명령에 기초하여 그래픽 정보 제공 영역 상에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하도록 더 구성되며, 여기서 사용자 동작은 상기 결정된 시선점 영역을 시작점으로 하여 실행된다.
본 발명의 또 다른 양태에 따르면, 정보 제공 영역과 연동되는 컴퓨터 디바이스가 제공된다. 이 컴퓨터 디바이스는 사용자 생성 제스처들을 검출하도록 적응된 입력 수단 및 정보 제공 영역에 대한 관측자의 시선 데이터를 검출하도록 적응된 시선 추적 모듈을 포함한다. 이 컴퓨터 디바이스는 사용자 생성 제스처들을 검출하도록 적응된 입력 수단으로부터의 사용자 입력 및 시선 추적 모듈로부터의 시선 데이터 신호들을 획득하고, 사용자 입력에 기초하여 적어도 하나의 사용자 생성 제스처 기반 제어 명령을 결정하도록 구성된 제어 모듈을 더 포함한다. 또한, 제어 모듈은 적어도 시선 데이터 신호들에 기초하여 사용자의 시선점을 포함하는 정보 제공 영역 상의 시선점 영역을 결정하고, 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 제어 명령에 기초하여 정보 제공 영역 상에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하도록 구성되며, 여기서 사용자 동작은 상기 결정된 시선점 영역을 시작점으로 하여 실행된다.
본 발명의 실시예들에 따르면, 컴퓨터 디바이스는 예를 들면, 개인용 컴퓨터, 컴퓨터 워크스테이션, 메인프레임 컴퓨터, 차량 내의 프로세서나 디바이스, 또는 핸드헬드 디바이스(예를 들어, 휴대폰, 스마트폰 또는 이와 유사한 디바이스), 휴대용 음악 플레이어(예를 들어, 아이팟), 랩톱 컴퓨터들, 컴퓨터 게임들, 전자책들, 아이패드 또는 이와 유사한 디바이스, 태블릿, 포블릿/패블릿 중의 임의의 것일 수 있다.
본 발명의 실시예들에 따르면, 입력 수단은 예를 들어 광학 측정(optical measurement) 기술 또는 용량성 측정(capacitive measurement) 기술을 사용하여, 예를 들어 키보드나 정보 제공 영역에 대한 손이나 손가락(또는 손가락들)에 의한 사용자 제스처들을 검출하도록 구성된다.
본 발명의 일 양태에 따르면, 웨어러블 헤드 마운트(wearable head mounted) 정보 제공 영역과의 사용자 상호작용을 위한 시스템이 제공된다. 이 시스템은 사용자 생성 제스처들을 검출하도록 적응되며 또한 정보 제공 영역에 통신적으로 연결된 제어 모듈과 무선 통신하도록 적응된 자이로 링(gyro ring)으로서 구성된 입력 수단 및 정보 제공 영역에 대한 관측자의 시선 데이터를 검출하도록 적응된 시선 추적 모듈을 포함한다. 제어 모듈은 입력 수단으로부터의 사용자 입력 및 시선 추적 모듈로부터의 시선 데이터 신호들을 획득하고; 사용자 입력에 기초하여 적어도 하나의 사용자 생성 제스처 기반 제어 명령을 결정하고; 적어도 시선 데이터 신호들에 기초하여 사용자의 시선점을 포함하는 정보 제공 영역 상의 시선점 영역을 결정하고; 또한 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 제어 명령에 기초하여 그래픽 정보 제공 영역 상에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하도록 구성되며, 사용자 동작은 상기 결정된 시선점 영역을 시작점으로 하여 실행된다.
본 발명의 다른 양태에 따르면, 정보 제공 영역과의 사용자 상호작용을 위한 시스템이 제공된다. 이 시스템은 사용자 생성 제스처들을 검출하도록 적응된 입력 수단을 포함하며, 상기 입력 수단은 차량의 스티어링 디바이스에 배열되어 있거나 차량의 스티어링 디바이스에 통합되도록 적응된 적어도 하나의 터치패드를 포함한다. 또한, 이 시스템은 정보 제공 영역에 대한 관측자의 시선 데이터를 검출하도록 적응된 시선 추적 모듈 및 제어 모듈을 포함하고, 상기 제어 모듈은 입력 수단으로부터의 사용자 입력 및 시선 추적 모듈로부터의 시선 데이터 신호들을 획득하고; 사용자 입력에 기초하여 적어도 하나의 사용자 생성 제스처 기반 제어 명령을 결정하고; 적어도 시선 데이터 신호들에 기초하여 사용자의 시선점을 포함하는 정보 제공 영역 상의 시선점 영역을 결정하고; 또한 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 제어 명령에 기초하여 그래픽 정보 제공 영역 상에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하도록 구성되며, 사용자 동작은 상기 결정된 시선점 영역을 시작점으로 하여 실행된다.
본 발명의 실시예들에 따르면, 입력 수단은 사용자가 제스처 기반 제어 명령들을 생성하는 것을 가능하게 하도록 구성된 터치패드를 포함한다. 예를 들어, 제스처 기반 명령들은 터치패드의 표면 위에서 적어도 하나의 손가락을 움직이는 것에 의해 또는 예를 들어 손가락으로 터치패드의 표면을 터치하는 것에 의해 생성될 수 있다.
본 발명의 실시예들에 따르면, 터치패드 표면의 전용 부분 또는 영역이 제스처 기반 제어 명령들을 수신하도록 구성된다.
본 발명의 실시예들에 따르면, 터치패드 표면의 적어도 제 1 전용 부분 또는 영역은 제 1 제스처 기반 제어 명령들의 세트를 수신하도록 구성되고, 터치패드 표면의 적어도 제 2 부분 또는 영역은 제 2 제스처 기반 제어 명령들의 세트를 수신하도록 구성된다. 예를 들어, 터치패드는 전용 영역 또는 부분에서의 스크롤링(scrolling)이나 주밍(zooming)과 같은 제스처들을 수신하도록 구성될 수 있다.
본 발명의 실시예들에서, 제어 모듈은 입력 수단을 통한 복수의 동시적 사용자 입력에 기초하여 적어도 하나의 제스처 기반 제어 명령을 결정하도록 구성된다. 또한, 사용자의 시선점이 위치되는 정보 제공 영역 상의 시선점 영역은 시선 데이터 신호들에 기초하여 결정되고, 그래픽 정보 제공 영역 상에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작은 결정된 시선점 영역 및 적어도 하나의 제스처 기반 제어 명령에 기초하여 실행되며, 사용자 동작은 상기 결정된 시선점 영역을 시작점으로 하여 실행된다.
본 발명의 실시예들에 따르면, 입력 모듈은 적어도 하나의 사용자 생성 제스처를 나타내는 신호들을 해석하여 사용자의 제스처를 반영한 적어도 하나의 제스처 기반 제어 명령을 제공하도록 구성된다. 본 발명의 실시예들에 따르면, 입력 모듈이 제어 모듈 내에 배열된다.
본 발명의 실시예들에서, 입력 모듈은 시선 입력 신호들 및/또는 사전 결정된 세트의 가능한 제스처 기반 제어 명령들을 사용하여 적어도 하나의 사용자 생성 제스처를 나타내는 신호들을 해석하도록 구성되고, 각각의 가능한 제어 명령은 입력 수단에 대한 특정 사용자 제스처에 대응한다.
본 발명의 실시예들에 따르면, 적어도 하나의 객체가 그래픽 정보 제공 영역 상에 나타나 있으며, 상기 객체는 적어도 하나의 그래픽 사용자 인터페이스 컴포넌트를 나타내고 사용자 생성 제스처 기반 제어 명령에 기초하여 조작되도록 구성되며, 여기서 제어 모듈은 시선 데이터 신호들에 기초하여 사용자의 시선점이 객체 상에 또는 해당 객체 주위 영역 내에 있는지의 여부를 결정하도록 구성된다. 또한, 제어 모듈은 시선 데이터 신호들에 기초하여 사전 결정된 시점에서 사용자의 시선점이 객체 상에 또는 해당 객체 주위 영역 내에 있었는지 여부를 결정하도록 구성될 수도 있다. 예를 들어, 제어 모듈은 0.1초 전에 사용자의 시선점이 객체 상에 또는 해당 객체 주위 영역에 있었는지 여부를 결정하도록 구성될 수 있다.
사용자의 시선점이 해당 객체 상에 또는 해당 객체 주위 영역 내에 있는 경우, 상기 입력 수단을 통한 사용자 입력으로부터 발생된 사용자 생성 활성화 명령과 동기화되는 상기 객체의 사용자 활성화(user activation)가 인에이블되며, 여기서 상기 활성화된 객체는 입력 수단을 통한 사용자 입력으로부터 발생된 사용자 생성 명령들에 의해 조작될 수 있다. 또한, 객체의 사용자 활성화는 사용자의 시선점이 사전 결정된 시간에 해당 객체 상에 또는 해당 객체 주위 영역 내에 있는 경우, 상기 입력 수단을 통한 사용자 입력으로부터 발생된 사용자 생성 활성화 명령과 동기화되는 상기 객체의 사용자 활성화가 인에이블될 수 있으며, 여기서 상기 활성화된 객체는 입력 수단을 통한 사용자 입력으로부터 발생된 사용자 생성 명령들에 의해 조작될 수 있다.
본 발명의 실시예들에 따르면, 사용자가 터치패드를 터치하는 경우, 처음의 시선점의 위치는 십자선이나 이와 유사한 표시와 같은, 시각적 피드백으로 표시된다. 사용자는 터치패드 상에서 손가락을 움직임으로써 이 처음 위치를 조정할 수도 있다. 이어서, 사용자는, 터치스크린 유사 방식으로, 다양한 제스처들을 사용하여 정보 제공 영역과 상호작용할 수 있다. 시각적 피드백의 강도, 예를 들어 십자선의 광(light)의 강도는 사용자의 시선이 정보 제공 영역 상에 위치한 장소에 따라 달라질 수 있다. 예를 들어, 창을 패닝(panning)하는 드래그 동작이 시선점에서 개시되는 경우, 시각적 피드백은 처음에 비연속적일 수 있다. 드래그 동작이 일정 시간 동안 유지된 경우, 시각적 피드백은 드래그 동작이 수행되는 그 시점의 장소를 사용자에게 나타내도록 강화될 수 있다.
터치패드를 포함하는 실시예들에서, 제스처들은 터치패드에 대한 손가락 움직임들이며, 각 제스처는 사용자 동작을 야기하는 특정 제스처 기반 제어 명령과 관련되거나 그에 대응한다. 이하, 제스처들과 시선의 조합을 사용하여 실행될 수 있는 비배타적 개수의 사용자 동작들의 예들에 대해 설명한다.
·예를 들어, 정보 제공 영역 상에 나타나 있는 객체를 응시하고, 이것과 함께, 사전 결정된 시간 동안 터치패드 상에서 손가락을 누르고 유지하는 것에 의해 해당 객체에 대한 시각적 피드백이 제공된다. 예를 들어, 제 1 시간 동안 터치패드 상에 손가락을 누르고 유지하는 것에 의해, 객체가 하이라이팅될 수 있으며, 또한 제 2 시간 동안 터치패드 상에 손가락을 계속 유지하는 것에 의해, 그 객체에 대한 정보를 제공하는 정보 박스가 디스플레이될 수 있다.
·예를 들어, 정보 제공 영역 상에 나타나 있는 객체를 응시하고, 이것과 함께 손가락을 사용하여 터치패드를 탭핑하는 것에 의해, 최초 동작이 개시될 수 있다. 예를 들어, 애플리케이션을 나타내는 아이콘을 응시하면서 손가락을 사용하여 터치패드를 탭핑하는 것에 의해 애플리케이션을 오픈하여 시작시킬 수 있다.
·예를 들어, 정보 제공 영역 상에 나타나 있는 객체를 응시하고, 이것과 함께, 손가락(또는 손가락들)으로 터치패드와 접촉하는 것에 의해, 최초 동작이 개시될 수 있다. 예를 들어, 애플리케이션을 나타내는 아이콘을 응시하면서 손가락으로 터치패드와 접촉하는 것에 의해, 애플리케이션을 오픈하여 시작시킬 수 있다.
·사용자는 정보 제공 영역을 응시하고, 이것과 함께, 터치패드 위에서 자신의 손가락을 슬라이딩시키는 것에 의해 정보 제공 영역에 나타나 있는 뷰를 슬라이딩하거나 드래그할 수 있다. 그리고, 이 드래그는 사용자의 시선점에서 개시된다. 객체를 응시하고, 이것과 함께, 터치패드 위에서 손가락을 슬라이딩하는 것에 의하여, 정보 제공 영역 위에서 객체를 슬라이딩하는 것과 유사한 동작이 달성될 수 있다. 이들 객체들 모두는 스와이핑을 행하기 위해 두 개의 손가락이 필요하거나, 하나의 손가락이 스와이핑에 사용되고 다른 손가락은 버튼을 유지하는 방식으로 구현될 수도 있다.
·사용자는 객체를 응시하고, 이것과 함께, 터치패드 상에서 자신의 손가락들을 하향 스와이핑하는 것에 의해 다른 동작들을 위한 객체를 선택할 수도 있다.
·정보 제공 영역 상에 나타나 있는 객체 또는 객체 일부를 응시하고, 이것과 함께, 자신의 두 개의 손가락으로 핀칭하는 것에 의하여, 해당 객체 또는 객체 일부를 주밍(zooming)하는 것이 가능하다. 또한, 예를 들어 버튼이나 키보드 키를 엄지 손가락으로 푸시하고 버튼이나 키보드 키의 안쪽이나 바깥쪽으로 터치패드 상에서 손가락을 움직이는 것에 단일 터치만을 감지할 수 있는 터치패드 상에서, 동일한 기능이 또한 구현될 수도 있다.
·정보 제공 영역 상에 나타나 있는 객체 또는 객체 일부를 응시하고, 이것과 함께, 자신의 두 개의 손가락을 회전시키는 것에 의해, 해당 객체 또는 객체 일부를 회전시키는 것이 가능하다. 마찬가지로, 단일의 터치만을 감지할 수 있는 터치패드를 사용하는 경우, 버튼을 엄지 손가락으로 누르면서 버튼으로부터 일정한 거리에서 곡선으로 터치패드 상에서 손가락을 움직임으로써 객체를 회전시킬 수 있다.
·정보 제공 영역의 에지를 응시하고 시선 위치에서 제스처가 행해진 경우에 정보 제공 영역의 중심 방향이 되는 방향으로 터치패드 위에서 손가락을 슬라이딩시키는 것에 의해, 도움 메뉴와 같은, 평상시에는 숨겨져 있는 메뉴나 그 밖의 창이 제공되거나 디스플레이될 수 있다. 즉, 숨겨진 메뉴 또는 그 밖의 창은, 사용자가, 예를 들어, 정보 제공 영역의 좌측 에지를 응시하고 우측 방향으로 터치패드 위에서 자신의 손가락을 스와이핑하는 경우에 디스플레이되거나 제공될 수 있다.
·슬라이더 제어, 예를 들어 볼륨 제어를 응시하는 것에 의해, 터치패드 상에서, 터치스크린의 사전 정의된 영역 상에서 또는 키보드 위에서 손가락을 위/아래(또는 수평 제어를 위해 좌/우)로 움직여서 슬라이더 제어의 볼륨을 조절할 수 있다.
·터치패드 상에서 "체크-제스처"(예를 들어, "V")를 응시하는 것에 의해, 체크박스가 체크되거나 체크 해제될 수 있다.
·정보 제공 영역 상에 나타나 있는 주밍 가능한 객체 또는 객체 일부를 응시하면서 한 손가락(예컨대, 엄지 손가락들 중 하나)으로 압력 감지 터치패드를 강하게 누르는 것에 의해, 시선점을 중심적으로 사용하여 상기 객체를 줌 인 또는 줌 아웃하는 것이 가능하며, 여기서 각각의 강한 누름은 상이한 줌 레벨들 간에서 토글링시킨다.
·몇몇의 옵션들, 예를 들어 "복사" 또는 "명칭 변경"을 사용가능한 객체 또는 객체 일부를 응시하는 것에 의해, 사전 설정된 포커싱 드웰 시간이 경과하거나, 또는 적절한 사용자 입력이 제공된 이후에, 상이한 옵션들이 객체의 상이한 쪽들에 디스플레이될 수 있다. 그 후에, 터치패드 또는 터치스크린의 사전 정의된 영역을 사용하여 동작을 선택한다. 예를 들어, 좌측 슬라이드는 복사를 위한 것이고, 우측 슬라이드는 명칭 변경을 위한 것이 된다.
본 발명의 다른 실시예에 따르면, 시선 추적 모듈 및 사용자 입력 수단들은 아이패드나 이와 유사한 디바이스와 같은 터치스크린 제공 디바이스로 구현된다. 터치스크린은 정보 제공 영역과 사용자 제스처 입력을 위한 입력 디바이스의 양쪽 모두로서 기능한다. 제어 모듈은 터치스크린 제공 디바이스에 포함되고, 정보 제공 영역, 즉 터치스크린 상의 시선점 영역을 결정하고(여기서, 사용자의 시선점은 시선 데이터 신호들에 기초하여 위치됨), 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 제어 명령에 기초하여 터치스크린 상에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하도록 구성되며, 여기서 사용자 동작은 상기 결정된 시선점 영역을 시작점으로 하여 실행된다. 사용자 제스처들은 터치스크린을 통해 입력된다. 이 실시예에 따르면, 사용자 제스처들, 또는 터치스크린 상의 손가락 움직임들은, 시선점과 관련된 것이며, 이것은 보다 사용자 친화적이면서 인체공학적 사용의 터치스크린 제공 디바이스들을 수반하게 된다. 예를 들어, 사용자는 양손으로 디바이스를 쥐고서 시선과 손가락들의 움직임을 사용하여 터치스크린 상의 그래픽 사용자 인터페이스들과 상호작용할 수 있으며, 여기서 모든 사용자 동작들 및 활성화들은 사용자의 시선점을 시작점으로 갖는다.
전술한 바와 같이, 위에서 논의된 제스처 및 응시 개시 동작들은 예시적인 것일 뿐이며, 고려 가능한 액션들을 야기하는 시선점과 조합된 다수의 다른 제스처들이 존재한다. 아래에서는, 몇몇 다른 예들에 대해 설명한다.
·객체 또는 객체 일부의 선택은 해당 객체 또는 객체 일부를 응시하면서 손가락(예를 들어, 엄지 손가락)을 누르고, 손가락을 움직이는 것에 의해 미세 조정하면서 해당 객체 또는 객체 일부를 선택하도록 손가락에 의해 가해지는 누름력을 해제하는 것에 의해 이루어질 수 있다.
·객체 또는 객체 일부의 선택은 해당 객체 또는 객체 일부를 응시하고, 손가락(예를 들어, 엄지손가락)을 누고, 손가락을 움직이는 것에 의해 미세 조정하면서, 다른 손가락(예를 들어, 다른 엄지 손가락)을 사용하여 해당 객체 또는 객체 일부를 선택하도록 탭핑하는 것에 의해 이루어질 수 있다. 또한 더블 탭(double tap)은 "더블 클릭 동작"을 위해 사용될 수 있으며, 퀵 하향 움직임(quick downward movement)은 "우 클릭(right click)"을 위해 사용될 수 있다.
·정보 제공 영역 상에 나타나 있는 주밍 가능한 객체 또는 객체 일부를 응시하면서, 원형 모션(circular motion)으로 손가락(예를 들어, 엄지손가락들 중 하나)을 움직이는 것에 의해, 응시점을 줌 중심 포인트(zoom center point)로서 사용하여 상기 객체를 줌 인 또는 줌 아웃하는 것이 가능하며, 여기서, 시계방향의 모션은 "줌 인" 명령을 수행하고, 반 시계방향의 모션은 "줌 아웃" 명령을 수행하며, 그 반대의 경우도 가능하다.
·정보 제공 영역 상에 나타나 있는 주밍 가능한 객체 또는 객체 일부를 응시하고, 이것과 함께 하나의 손가락(예를 들어, 엄지 손가락들 중 하나)을 홀딩(holding)하면서 또한 다른 손가락(예를 들어, 다른 엄지손가락)을 상향 및 하향으로 움직이는 것에 의해, 시선점을 줌 중앙 포인트로서 사용하여 상기 객체를 확대 또는 축소하는 것이 가능하며, 여기서 상향 모션은 "줌 인" 명령을 수행하고, 하향 모션은 "줌 아웃" 명령을 수행하며, 그 반대의 경우도 가능하다.
·정보 제공 영역 상에 나타나 있는 주밍 가능한 객체 또는 객체 일부를 응시하면서 하나의 손가락(예를 들어, 엄지손가락들 중 하나)으로 터치스크린 상을 더블-탭핑하는 것에 의해, 시선점을 줌 중앙 포인트로서 사용하여 상기 객체를 줌 인 또는 줌 아웃하는 것이 가능하며, 여기서 각각의 더블 탭은 다양한 줌 레벨들 간을 토글링(toggle)시킨다.
·정보 제공 영역 상에 나타나 있는 주밍 가능한 객체 또는 객체 일부를 응시하면서 서로 반대되는 수평 방향들로 동시에 두 개의 손가락들(예를 들어 두 개의 엄지손가락)을 슬라이딩시키는 것에 의해, 해당 객체 또는 객체 일부를 주밍하는 것이 가능하다.
·주밍 가능한 객체를 응시하고, 이와 함께 계속해서 터치스크린 상에 손가락(예를 들어, 엄지손가락)을 홀딩하면서, 원형 모션으로 다른 손가락(예를 들어, 다른 엄지손가락)을 움직이는 것에 의해, 해당 객체 또는 객체 일부를 주밍하는 것이 가능하다.
·정보 제공 영역 상에 나타나 있는 객체 또는 객체 일부를 응시하고, 이와 함께 계속해서 터치스크린 상에 손가락(예를 들어, 엄지손가락들 중 하나)을 홀딩하면서, 다른 손가락(예를 들어, 다른 엄지손가락)을 슬라이딩시키는 것에 의해, 정보 제공 영역에 의해 나타나 있는 뷰를 슬라이딩하거나 드래그하는 것이 가능하다.
·정보 제공 영역 상에 나타나 있는 객체 또는 객체 일부를 응시하고, 이와 함께 계속해서 터치스크린 상에 손가락(예를 들어, 엄지손가락들 중 하나)을 홀딩하면서, 다른 손가락(예를 들어, 다른 엄지손가락)을 슬라이딩시키는 것에 의해, 정보 제공 영역에 의해 나타나 있는 뷰를 슬라이딩하거나 드래그하는 것이 가능하다.
·정보 제공 영역 상에 나타나 있는 객체 또는 객체 일부를 응시하면서, 손가락(예를 들어, 엄지손가락들 중 하나)으로 탭핑 또는 더블-탭핑하는 것에 의하여, 자동 패닝 기능(automatic panning function)이 활성화됨으로써, 제 2 사용자 입력이 수신될 때까지, 상기 시선점이 정보 제공 영역의 에지 근처에 있는 동안에는 정보 제공 영역이 스크린의 에지들 중 하나로부터 중심을 향해 계속 슬라이딩되도록 할 수 있다.
·정보 제공 영역 상에 나타나 있는 객체 또는 객체 일부를 응시하면서, 손가락(예를 들어, 엄지손가락들 중 하나)으로 탭핑 또는 더블-탭핑하는 것에 의하여, 정보 제공 영역들은 시선점(예를 들어, 이 시선점은 정보 제공 영역이 슬라이딩되어야 하는 중심을 나타내는데 사용됨)을 따라 즉시 슬라이딩된다.
·정보 제공 영역 상에 나타나 있는 회전 가능한 객체 또는 객체 일부를 응시하면서, 서로 반대되는 수직 방향들로 동시에 두 개의 손가락(예를 들어, 두 개의 엄지손가락)을 슬라이딩시킴으로써, 해당 객체 또는 객체 일부를 회전시키는 것이 가능하다.
두 개의 손가락 제스처가 수행되기 이전에, 손가락들 중 하나가 동작점(point of action)을 미세 조정하도록 사용될 수 있다. 예를 들어, 사용자가 터치스크린을 터치하는 경우, "가상 손가락(virtual finger)"과 같은 사용자 피드백 심볼이 시선점 상에 나타날 수 있다. 제 1 손가락은 원점(original point)에 대해 동작점을 조정하기 위해 주위를 슬라이딩하도록 사용될 수 있다. 사용자가 제 2 손가락으로 스크린을 터치하는 경우, 동작점은 고정되며, 제 2 손가락이 동작점을 "클릭(clicking)"하거나 또는 전술한 회전, 드래그 및 줌 예들과 같은 두 개의 손가락 제스처들을 수행하는데 사용된다.
본 발명의 다른 실시예에 따르면, 시선 추적 모듈 및 사용자 입력 수단은 아이패드, 울트라북 태블릿 또는 이와 유사한 디바이스와 같은 휴대형 디바이스로 구현된다. 그러나, 정보 제공 영역 상에서 엄지 손가락들로 제스처들을 수행하는 대신에, 하나 또는 두 개의 개별 터치패드들이 디바이스의 후면에 배치됨으로써 엄지 손가락 이외의 손가락들을 이용한 두 개 손가락 제스처들을 가능하게 할 수 있다.
본 발명의 다른 실시예에 따르면, 시선 추적 모듈 및 사용자 입력 수단은 차량에서 구현된다. 정보 제공 영역은 헤드-업 디스플레이 또는 인포테인먼트 스크린이 될 수 있다. 입력 수단은 스티어링 휠의 후면(인덱스 손가락/들 용) 또는 전면(엄지 손가락/들 용) 상의 하나 또는 두 개의 개별 터치패드들일 수 있다.
본 발명의 다른 실시예에 따르면, 시선 추적 모듈 및 정보 제공 영역은 안경처럼 볼 수 있도록 설계된 웨어러블 헤드 마운트 디스플레이로 구현된다(예를 들어, US8,235,529에 기술된 솔루션). 사용자 입력 수단은 자이로를 포함할 수 있으며, 손목, 손 또는 적어도 하나의 손가락에 착용되도록 적응될 수 있다. 예를 들어, 입력 수단은 링이 착용된 손가락의 움직임들을 검출하는 안경(또는 안경에 통신적으로 연결된 스마트폰과 같은 프로세싱 유닛) 및 자이로에 무선 연결된 상기 링일 수 있다. 그 후에, 제스처 데이터를 나타내는 검출된 움직임들은 시선이 검출되는 안경에 무선으로 전달될 수 있으며, 입력 수단으로부터의 제스처 데이터에 기초하는 제스처 기반 제어 명령들이 사용자 동작을 식별하고 실행하는데 사용된다.
일반적으로, 대다수의 응용들에서, 터치패드는 정보 제공 영역보다 상당히 작으며, 이것은 소정 상황들에서 터치패드가, 가능한 사용자 동작들에 대해 제한들을 가할 수도 있음을 수반하게 된다. 예를 들어, 전체 정보 제공 영역 위에서 객체를 드래그 또는 이동시키는 것이 바람직하지만, 사용자의 손가락 또는 손가락들은 소형 터치패드 영역에 의해 한정될 수 있다. 그러므로, 본 발명의 실시예들에서는, 예를 들어, 특정 또는 전용 버튼이나 키보드 키가 눌러지거나 유지되는 경우, 사용자가 터치패드로부터 손가락 또는 손가락들을 분리시킴에도 불구하고 터치스크린 유사 세션이 유지될 수 있다. 이것에 의해, 사용자가 터치패드 상에서의 복수의 터치들을 필요로 하는 동작들을 수행하는 것이 가능하다. 예를 들어, 터치패드 상에서의 복수의 드래그 움직임들에 의해, 객체는 전체 정보 제공 영역에 걸쳐 이동 또는 드래그될 수 있다.
본 발명의 다른 실시예들에서, 정보 제공 영역 상에서의 드래그 움직임 또는 그 밖의 사용자 동작은, 손가락 또는 손가락들이 터치패드의 에지에 도달한 이후에 처음의 손가락 또는 손가락들의 방향과 동일한 방향으로 계속된다. 이 계속된 움직임 또는 그 밖의 동작들은, 예를 들어, 키보드 키나 버튼을 누르는 것, 터치패드를 탭핑하는 것 또는 손가락 또는 손가락들이 터치패드로부터 분리되는 경우일 수 있는 중단 명령이 전달될 때까지 계속될 수 있다.
본 발명의 다른 실시예들에서, 드래그 움직임 또는 그 밖의 동작의 속도는 사용자의 손가락 또는 손가락들이 터치패드의 에지에 접근하는 경우 증가 또는 가속된다. 이 속도는 손가락들 또는 손가락이 반대되는 방향으로 이동되는 경우 감소될 수 있다.
본 발명의 실시예들에서, 객체의 동작, 예를 들어 드래그 움직임은 시선 위치에 기초하여 가속될 수 있다. 예를 들어, 객체를 응시하여, 소망하는 방향으로 해당 객체의 드래그 동작을 개시하고, 이어서 해당 객체의 소망하는 엔드 위치를 응시하는 것에 의하여, 객체의 처음 위치와 소망하는 엔드 위치 사이의 거리가 커질수록, 객체 움직임의 속도는 더 높아지게 된다.
본 발명의 다른 실시예들에서, 음성 명령들을 사용하여 현재 응시되고 있는 객체에 대해 어떤 액션을 수행할지를 선택할 수 있으며, 이어서 그 동작을 이행하기 위한 제스처가 필요하게 된다. 예를 들어, 단어 "이동"과 같음 음성 명령은 사용자가 터치패드 또는 터치스크린 위에서 손가락을 움직이는 것에 의해 현재 응시되고 있는 객체를 이동시키는 것을 가능하게 할 수 있다. 수행할 다른 동작은 객체를 삭제하는 것일 수 있다. 이 경우에, 단어 "삭제"는 추가 제스처 없이도, 예를 들어 객체를 실제 삭제하기 위한 하향 스와이핑 요구 없이도, 현재 응시되고 있는 객체의 삭제를 가능하게 할 수 있다. 따라서, 동작시킬 객체는 그것을 응시하는 것에 의해 선택되고, 수행할 특정 동작은 음성 명령에 의해 선택되며, 수행할 움직임이나 그것에 대한 확인은 제스처에 의해 행해진다.
본 발명의 다른 객체들 및 이점들은 아래의 예시적 실시예들에 의해 설명될 것이다.
본 발명의 이들 및 다른 특징들, 양태들 및 이점들은, 다음의 상세한 설명, 첨부된 청구항들 및 도면들과 함께 고려할 때 더욱 완전하게 이해될 것이다.
본 도면들은 반드시 일정한 축적으로 도시된 것은 아니며, 일반적으로 본 발명의 각종 실시예들을 한정이 아닌 예시의 방법으로 도시하고 있다. 따라서, 본 발명의 예시적인 실시예들이 첨부 도면들에서 한정이 아닌 예시의 방식으로 설명되며, 도면들에서 동일한 참조 부호들은 동일한 요소들을 나타낸다. 본 명세서에서 "일" 또는 "하나의" 실시예에 대한 언급이 반드시 동일한 실시예에 대한 것은 아니며, 이러한 언급은 적어도 하나를 의미하는 것임에 유의해야 한다.
도 1은 본 발명이 구현되는 컴퓨터 장치를 사용자가 제어하는 개요도를 나타낸다.
도 2는 본 발명에 따른 구성의 일 실시예를 도시하는 블록도이다.
도 3은 본 발명에 따른 구성의 다른 실시예를 도시하는 블록도이다.
도 4는 본 발명에 따른 사용자 생성 제스처 기반 제어 명령을 야기하는 일 예시적인 제스처를 도시한다.
도 5는 본 발명에 따른 사용자 생성 제스처 기반 제어 명령을 야기하는 다른 예시적인 제스처를 도시한다.
도 6은 본 발명에 따른 사용자 생성 제스처 기반 제어 명령을 야기하는 또 다른 예시적인 제스처를 도시한다.
도 7은 본 발명에 따른 사용자 생성 제스처 기반 제어 명령을 야기하는 또 다른 예시적인 제스처를 도시한다.
도 8은 본 발명에 따른 사용자 생성 제스처 기반 제어 명령을 야기하는 또 다른 예시적인 제스처를 도시한다.
도 9는 본 발명에 따른 사용자 생성 제스처 기반 제어 명령을 야기하는 다른 예시적인 제스처를 도시한다.
도 10은 본 발명에 따른 사용자 생성 제스처 기반 제어 명령을 야기하는 또 다른 예시적인 제스처를 도시한다.
도 11a는 본 발명의 또 다른 실시예가 구현되는 터치스크린 제공 디바이스의 개요도를 나타낸다.
도 11b는 본 발명의 또 다른 실시예가 구현되는, 이면에 터치패드들이 구비된 디바이스의 개요도를 나타낸다.
도 12는 도 11a에 나타낸 본 발명에 따른 실시예를 도시하는 블록도이다.
도 13a는 본 발명의 일 실시예에 따른 제어 모듈의 개략도이다.
도 13b는 본 발명의 다른 실시예에 따른 제어 모듈의 개략도이다.
도 13c는 본 발명의 다른 실시예에 따른 제어 모듈의 개략도이다.
도 14는 본 발명의 일 실시예에 따른 무선 송신/수신 유닛, WTRU의 개략도이다.
도 15a는 본 발명의 일 실시예에 따른 컴퓨터 디바이스 또는 핸드헬드 디바이스의 일 실시예의 개략도이다.
도 15b는 본 발명에 따른 컴퓨터 디바이스 또는 핸드헬드 디바이스의 다른 실시예의 개략도이다.
도 16은 본 발명의 일 실시예에 따른 방법의 일 실시예의 단계들을 도시하는 개략적인 플로우 차트이다.
도 17은 본 발명에 따른 방법의 다른 실시예의 단계들을 도시하는 개략적인 플로우 차트이다.
도 18은 본 발명의 일 실시예에 따른 방법의 또 다른 실시예의 단계들을 도시하는 개략적인 플로우 차트이다.
도 19는 본 발명의 일 실시예에 따른 방법의 다른 실시예의 단계들을 도시하는 개략적인 플로우 차트이다.
도 20은 본 발명에 따른 구성의 추가 실시예를 도시하는 블록도이다.
도 21은 본 발명의 또 다른 구현의 개략도이다.
도 22는 본 발명의 또 다른 구현의 개략도이다.
도 23은 본 발명의 구현의 개략도이다.
본 명세서에 사용되는, 용어 "모듈"은 ASIC(application specific integrated circuit), 전자 회로, 하나 이상의 소프트웨어 프로그램들을 실행하는 프로세서(공유, 전용, 또는 그룹) 및 메모리, 조합 논리 회로, 또는 설명된 기능을 제공하는 다른 적절한 컴포넌트들을 지칭한다. 또한, 용어 "모듈"은 본 명세서에 설명된 방법들 및 구체적으로는 각각의 특정 "모듈"과 관련하여 설명된 기능들을 실행하기 위해 필요한 소프트웨어의 특정 형태를 지칭한다. 소프트웨어의 특정 형태는 본 발명에 따른 시스템에 의해 사용되는 특정 시스템 아키텍처에 의해 및 그 시스템에 의해 사용되는 특정 방법에 의해 주로 결정될 것으로 여겨진다.
다음은 본 발명에 따른 예시적 실시예들에 대한 설명이다. 이 설명은 제한적 의미로 취해지는 것이 아니며, 단지 본 발명의 일반적 원리들을 설명할 목적만으로 이루어진다. 다른 실시예들이 이용될 수도 있고 구조적 및 논리적 변경들이 본 발명의 범위를 벗어나지 않고 이루어질 수도 있음을 이해해야 한다.
먼저 도 1,2,3, 및 20을 참조하여, 본 발명에 따른 컴퓨터 시스템의 실시예들을 설명하도록 한다. 도 1은 본 발명에 따라 시선 및 수동 제어가 통합된 컴퓨터 시스템의 일 실시예를 나타낸다. 사용자(110)는 정보 제공 영역 또는 디스플레이(20) 상의 x, y에 관한 사용자의 포인트를 나타내는 눈동자-추적 신호 DEYE에 적어도 부분적으로 기초하여, 그리고 사용자 생성 제스처들에 기초하여 컴퓨터 시스템(10)을 제어할 수 있으며, 즉 터치패드(51)와 같은 사용자 입력 수단들(50)을 통해 제스처 기반의 제어 명령들을 생성하는 사용자의 적어도 하나의 신체 부위의 움직임이 검출될 수 있다.
본 발명의 컨텍스트(context)에서, 전술한 바와 같이, 용어 "터치패드"(또는 용어 "트랙패드")는 스크린(정보 제공 영역) 상의 상대 위치로 사용자의 손가락의 모션(motion) 및 위치를 전환할 수 있는 촉각 센서, 특수 표면을 포함하는 포인팅 디바이스를 지칭한다. 터치패드들은 랩톱 컴퓨터들의 일반적인 특징이며, 또한 책상 공간이 부족할 경우에 마우스 대신 사용된다. 그들은 크기가 다양하기 때문에, PDA(personal digital assistasnt)들 및 일부 휴대용 미디어 플레이어들에서 발견될 수도 있다. 또한, 무선 터치패드들이 분리형 액세서리들로서 사용될 수도 있다. 터치패드들은 용량성 감지 및 컨덕턴스(conductance) 감지를 포함하는 몇 가지 방식들 중 하나로 작동한다. 오늘날 사용되는 가장 일반적인 기술은 손가락의 용량성 가상 접지 효과, 또는 센서들 간의 용량을 감지하는 것을 포함한다. 터치패드들은 터치스크린들처럼, 절대 위치를 감지할 수는 있지만, 분해능(resolution)이 그들의 크기로 제한된다. 포인터 디바이스로서의 일반적 사용에 있어서, 손가락의 드래그 모션은 들어 올려져서 표면에 다시 놓이게 되는 마우스의 핸들링(handling)과 유사하게, 스크린 상에서 커서의 미세한 상대적 모션으로 전환된다. 표준 마우스의 왼쪽 및 오른쪽 버튼들에 해당하는 하드웨어 버튼들은 터치패드 아래, 위, 또는 옆에 위치한다. 넷북(Netbook)들은 때때로 공간을 절약하는 방법으로 가장 후자의 것을 사용한다. 일부 터치패드들 및 관련 디바이스 드라이버 소프트웨어는 패드를 탭핑(tapping)하는 것을 클릭(click)하는 것으로 해석할 수 있으며, 연속되는 포인팅 모션("클릭-앤드-하프(click-and-a-half)")이 뒤따르는 탭(tap)은 드래그를 나타낼 수 있다. 촉각 터치패드들은 터치패드 자체의 표면에 버튼 기능을 통합함으로써 클릭 및 드래그를 가능하게 한다. 선택을 위해서는, 물리적 버튼 대신에 터치패드 상에서 아래로 누른다. 드래그를 위해서는, "클릭-앤드-하프"를 수행하는 대신에, 아래로 누르고서 객체 상에서, 누름을 해제하지 않은 상태로 드래깅하며, 드래그가 완료된 경우 누름을 해제한다. 또한, 터치패드 드라이버들은 복수의 손가락들의 사용이 다른 마우스 버튼들(일반적으로 중앙 버튼에 대한 두-손가락 탭핑)을 용이하게 하는 것을 허용할 수 있다. 일부 터치패드들은 마우스 이상의 기능을 위해 사용되는 터치패드 상의 위치들인 "핫 스팟(hotspots)"을 구비한다. 예를 들어, 소정 터치패트들 상에서, 터치패드의 에지(edge)를 따라 손가락을 움직이는 것은, 스크롤바를 제어하고 또한 포커스를 가진 창을 수직방향이나 수평방향으로 스크롤링하는, 스크롤 휠(scroll wheel) 역할을 하게 된다. 애플(Apple)은 그들의 트랙패드들 상에서의 스크롤링을 위해 두-손가락 드래그를 사용한다. 또한, 일부 터치패드 드라이버들은 탭이 예를 들어, 미디어 플레이어를 일시 중지하거나 애플리케이션을 시작시키는 기능을 실행하게 되는 영역들인 탭 존들을 지원한다. 이들 기능 모두는 터치패드 디바이스 드라이버 소프트웨어로 구현되며, 비활성화될 수 있다. 터치패드들은 자립식 휴대용 랩톱 컴퓨터들에서 주로 사용되며 그 머신 근처에 평평한 표면을 필요로 하지 않는다. 터치패드는 키보드에 근접해 있으며, 디스플레이 스크린을 가로질러 커서를 이동시키는데, 매우 짧은 손가락 움직임만이 요구된다. 유익하긴 하지만, 이것은 또한 타이핑 동안에 사용자의 엄지가 실수로 마우스 커서를 이동시킬 수 있다. 터치패드 기능은 내장형 터치패드들을 가진 키보드들로 데스크톱 컴퓨터들에서 사용될 수 있다.
터치패드들의 예들은, 제 2세대 및 그 후의 아이팟 클래식(iPod Classic) 휴대용 음악 플레이어 상의 메뉴 탐색을 위한 기본 제어 인터페이스로 사용된 일차원 터치패드들을 포함하며, 그것들은 휠(wheel)과 같이 주위가 감싸진 하나의 축만을 따라 모션을 감지하기 때문에 "클릭 휠"로 지칭된다. 터치패드들의 다른 구현에서, 제 2세대 마이크로소프트 준(Microsoft Zune) 제품 계열(준 80/120 및 준 4/8)은 준 패드(Zune Pad)에 대한 터치를 사용한다. 애플의 파워북 500 시리즈는, 애플이 "트랙패드"로 지칭하는, 이러한 디바이스를 수행할 최초의 랩톱이었다. 애플의 보다 최근의 랩톱들은 동시에 다섯 손가락까지 감지할 수 있고, 입력을 위한 더 많은 옵션들, 예를 들어 두 개의 손가락을 탭핑하여 컨텍스트 메뉴를 띄우는 기능을 제공하는 트랙패드들을 갖추고 있다. 2008년 후반에, 애플의 맥북(MacBook) 및 맥북 프로(MacBook Pro) 버전은 추적 표면(tracking surface)에 통합된 버튼 기능과 "촉각 터치패드" 디자인을 통합하였다.
본 발명은 기존의 터치스크린이 없는 컴퓨터 시스템의 사용자가, 시선 기반 입력 및 제스처 기반 사용자 명령들의 조합을 이용하여 터치스크린 유사 방식으로 그래픽 사용자 인터페이스들과 상호작용하는 것을 가능하게 하는 솔루션을 제공한다. 또한, 본 발명은 터치스크린을 구비한 컴퓨터 디바이스와의 터치스크린 상호작용들에 대한 보완으로 또는 대안으로 시선 입력 및 제스처 기반 입력을 이용하는 터치스크린 유사 상호작용을 위한 솔루션을 제공한다.
따라서, 디스플레이(20)는 임의의 타입의 알려진 컴퓨터 스크린이나 모니터일 수 있으며, 2개 이상의 개별 디스플레이들의 조합들일 수도 있다. 예를 들어, 디스플레이(20)는 일반 컴퓨터 스크린, 입체 스크린, 차량의 HUD(heads-up display), 또는 적어도 하나의 HMD(head-mounted display)를 구성할 수 있다.
컴퓨터(30)는, 예를 들어 개인용 컴퓨터, 컴퓨터 워크스테이션, 메인프레임 컴퓨터, 차량의 프로세서, 또는 핸드헬드 디바이스, 예를 들어 휴대폰, (예를 들어 아이팟(iPod)과 같은) 휴대용 뮤직 플레이어, 랩톱 컴퓨터들, 컴퓨터 게임들, 전자책 및 기타 유사한 디바이스들의 그룹 중의 임의의 것일 수 있다. 또한, 본 발명은 예를 들어, 복수의 디스플레이들 상에 제시된 객체들이 선택되고 활성화될 수 있는 "지능형 환경(intelligent environment)"으로 구현될 수도 있다.
시선 추적 신호 DEYE를 생성하기 위해, 시선 추적기 유닛(40)은 디스플레이(20)에 포함되거나, 디스플레이(20)와 연동된다. 적절한 시선 추적기는 동일한 출원인에 의한, 발명의 명칭이 "Method and Installation for detecting and following an eye and the gaze direction thereof"인 미국 특허 번호 제7,572,008호에 기술되어 있으며, 이것은 그 전체의 내용이 본원에 포함된다.
시선 추적 모듈(40)과 관련된 소프트웨어 프로그램 또는 소프트웨어 구현 명령들은 시선 추적 모듈(40) 내에 포함될 수 있다. 도 2, 3, 및 20에 나타낸 특정 예는 특정 애플리케이션에 따라 시선 추적 모듈에서 구현되는 관련 소프트웨어를 나타내며, 이것은 컴퓨터(30), 시선 추적 모듈(40)에 단독으로 포함되거나 또는 이 둘의 조합에 포함될 수 있다.
컴퓨터 시스템(10)은 도 2, 3, 및 20에 나타낸 바와 같은 컴퓨터 디바이스(30), 시선 추적 모듈(40), 디스플레이(20), 제어 모듈(36, 36') 및 사용자 입력 수단(50, 50')을 포함한다. 컴퓨터 디바이스(30)는 도 2 및 20에 도시된 것들 이외에 몇 가지의 다른 컴포넌트들을 포함하며, 이러한 컴포넌트들은 설명의 목적으로 도 2, 3, 및 20에서 생략되어 있다.
사용자 입력 수단(50, 50')은 누름, 물리적 접촉, 제스처들, 또는 사용자에 의한 그 밖의 수동 제어, 예를 들어 터치패드(51)에 반응하는 요소들을 포함한다. 또한, 입력 디바이스 수단(50, 50')은 컴퓨터 키보드, 마우스, "트랙 볼", 또는 임의의 다른 디바이스를 포함할 수도 있으며, 예를 들어, IR-센서, 음성 활성화 입력 수단, 또는 신체 제스처 또는 근접 기반 입력의 검출 디바이스가 사용될 수 있다. 그러나, 도 2, 3 및 20에 나타낸 특정 실시예들에서, 터치패드(51)는 사용자 입력 디바이스(50, 50')에 포함되어 있다.
제어 모듈(36') 또는 사용자 입력 수단들(50)에 단독으로 포함되거나, 또는 제어 모듈 및 입력 수단들(50')과는 별개의 모듈인, 소프트웨어 모듈일 수 있는 입력 모듈(32)은 터치패드(51)로부터의 신호들을 수신하여 사용자의 제스처들을 반영하도록 구성된다. 또한, 입력 모듈(32)은 수신된 신호들을 해석하고, 그 해석된 신호들에 기초하여 제스처 기반 제어 명령들, 예를 들어, 객체를 활성화하는 탭 명령, 스와이프(swipe) 명령 또는 슬라이드 명령을 제공하도록 적응된다.
입력 모듈(32)이 입력 수단(50)에 포함되는 경우, 제스처 기반 제어 명령들은 제어 모듈(36)로 제공된다(도 2 참조). 본 발명의 실시예들에서, 제어 모듈(36')은 사용자 입력 수단(50')로부터의 제스처 데이터에 기초하는 입력 모듈(32)을 포함한다(도 3참조).
제어 모듈(36, 36')은 시선 추적 모듈(40)로부터 시선 데이터 신호들을 획득하도록 더 구성된다. 또한, 제어 모듈(36, 36')은 시선 데이터 신호들에 기초하여 시선점이 위치한 정보 제공 영역(20) 상에 시선점 영역(120)을 결정하도록 구성된다. 바람직하게는, 시선점 영역(120)은 도 1에 도시된 바와 같이, 사용자의 시선점 주위의 로컬영역이다.
또한, 제어 모듈(36, 36')은 결정된 시선점 영역에 기초하고 또한 적어도 하나의 사용자 생성 제스처 기반 제어 명령에 기초하여, 그래픽 정보의 표현 영역(20)에 나타난 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하도록 구성되며, 여기서 사용자 동작은 상기 결정된 시선점이 시작 포인트인 것으로 실행된다. 제어 모듈(36, 36')은 컴퓨터 디바이스(30)에 통합될 수 있으며, 또는 컴퓨터 디바이스(30)와 연동되거나 커플링될 수도 있다.
따라서, 본 발명은 시선 및 제스처들을 이용하여, 예를 들어 터치패드(51) 상에서 적어도 하나의 손가락을 움직임으로써, 사용자가 터치스크린과 유사한 방식으로 컴퓨터 디바이스(30)와 상호작용하는 것을 가능하게 하며, 예를 들어 정보 제공 영역(20)에 제시된 객체들을 조작하는 것을 가능하게 한다.
바람직하게는, 사용자가 터치패드(51)를 터치하는 경우, 초기 시선점의 위치는 시각적 피드백, 예를 들어 십자형(crosshair)이나 이와 유사한 표시로 나타난다. 이 초기 위치는 터치패드(51) 상에 손가락을 움직임으로써 조절될 수 있다. 그 후에, 사용자는, 터치스크린 유사 방식으로, 다양한 제스처들 및 시선을 이용하여 정보 제공 영역(20)과 상호작용할 수 있다. 터치패드를 포함하는 실시예에서, 제스처들은 터치패드(51)에 대한 손가락 움직임들이며, 각각의 제스처는 사용자 동작을 야기하는 특정 제스처 기반 사용자 명령과 관련되거나 이에 대응한다.
이하, 제스처들 및 시선의 조합을 이용하여 실행될 수 있는 비-배타적 개수의 사용자 동작들이 도 4-10에 대하여 설명될 것이다.
·예를 들어, 정보 제공 영역(20) 상에 나타나 있는 객체를 응시하고, 이것과 함께, 터치패드를 터치하거나 y ms 시간 동안 터치패드(51) 상에서 손가락(60)을 누르고 유지하는 것에 의해(도 4 참조), 해당 객체는 하이라이팅된다. 손가락(60)이 z ms의 제 2 시간 동안 유지되고 있는 경우, 정보 박스가 디스플레이되어 그 객체에 대한 정보를 나타낼 수 있다. 도 4에서, 이 제스처는 터치패드(51)와 관련하여 도시되어 있다.
·예를 들어, 정보 제공 영역(20) 상에 나타나 있는 객체를 응시하고, 이것과 함께, 손가락(71)을 사용하여 터치패드(51)를 탭핑(tapping)하는 것에 의해, 최초 동작이 개시될 수 있다. 예를 들어, 애플리케이션을 나타내는 아이콘을 응시하면서 손가락을 사용하여 터치패드(51)를 탭핑하는 것에 의하여, 애플리케이션이 열리고서 시작될 수 있다. 도 5에서, 이 제스처는 터치패드(51)와 관련하여 도시되어 있다.
·사용자는 정보 제공 영역(20) 상의 어느 곳을 응시하고, 이것과 함께, 터치패드(51) 위에서 자신의 손가락(81)을 슬라이딩하는 것에 의해 정보 제공 영역(20)에 나타나 있는 뷰를 슬라이딩하거나 드래그할 수 있다. 객체를 응시하고, 이것과 함께, 터치패드(51) 위에서 손가락(81)을 슬라이딩하는 것에 의하여, 정보 제공 영역(20) 위의 객체를 슬라이딩하는 것과 유사한 동작이 달성될 수 있다. 이러한 제스처가 터치패드(51)와 관련하여 도 6에 도시되어 있다. 물론, 이 제스처는 하나 보다 많은 손가락에 의해, 예를 들어 두 개의 손가락을 사용하는 것에 의해 실행되는 것이 가능하다.
·사용자는 객체를 응시하고, 이것과 함께, 특정 방향으로 터치패드(51) 상에서 자신의 손가락(91)을 스와이핑(swiping)하는 것에 의하여, 다른 동작들을 위한 객체를 선택할 수도 있다. 이러한 제스처가 터치패드(51)와 관련하여 도 7에 도시되어 있다. 물론, 이 제스처는 하나 보다 많은 손가락에 의해, 예를 들어 두 개의 손가락을 사용하는 것에 의해 실행되는 것이 가능하다.
·정보 제공 영역(20) 상에 나타나 있는 객체 또는 객체 일부를 응시하고, 이것과 함께, 자신의 두 개의 손가락(101 및 102)으로 핀칭(pinch)하는 것에 의하여, 해당 객체 또는 객체 일부를 주밍(zooming)하는 것이 가능하다. 이러한 제스처가 터치패드(51)와 관련하여 도 8에 도시되어 있다. 마찬가지로, 정보 제공 영역(20) 상에 나타나 있는 객체 또는 객체 일부를 응시하고, 이것과 함께, 별도로 손가락들(101 및 102)을 이동시키는 것에 의해, 해당 객체 또는 객체 일부를 확대 또는 주밍하는 것이 가능하다.
·정보 제공 영역(20) 상에 나타나 있는 객체 또는 객체 일부를 응시하고, 이것과 함께, 자신의 두 개의 손가락(111 및 112)을 회전시키는 것에 의해, 해당 객체 또는 객체 일부를 회전시키는 것이 가능하다. 이러한 제스처가 터치패드(51)와 관련하여 도 9에 도시되어 있다.
·정보 제공 영역(20)의 에지(edge)나 프레임 부분, 또는 에지나 프레임에 근접한 영역을 응시하고, 이것과 함께, 시선점에서 수행되는 경우에 정보 제공 영역의 에지로부터 중심 방향이 되는, 방향으로 터치패드(51) 상에서 자신의 손가락들(124)을 슬라이딩시키는 것에 의해, 메뉴가 에지로부터 나올 수도 있다.
·슬라이더 제어, 예를 들어 볼륨 제어를 응시하는 것에 의해, 손가락을 위/아래(또는 수평 제어를 위해 좌/우)로 움직여서 슬라이더 제어의 볼륨을 조절할 수 있다. 적절한 입력 수단으로, 이러한 제스처는 터치패드, 터치스크린 상에서 검출될 수 있으며, 또는 입력 수단을 물리적으로 터치하지 않고서 무선으로 검출될 수도 있다.
·터치패드 상에서 "체크-제스처"(예를 들어, "V")를 하면서 체크박스 제어를 응시하는 것에 의해, 체크박스는 체크되거나 체크되지 않을 수도 있다. 적절한 입력 수단으로, 이러한 제스처는 터치패드, 터치스크린 상에서 검출될 수 있으며, 또는 입력 수단을 물리적으로 터치하지 않고서 무선으로 검출될 수도 있다.
·몇몇의 옵션들, 예를 들어 "복사(copy)" 또는 "명칭 변경(rename)"을 사용가능한 객체 또는 객체 일부를 응시하는 것에 의해, 사전 설정된 포커싱 드웰 시간(focusing dwell time)이 경과하거나, 또는 적절한 사용자 입력이 제공된 이후에, 상이한 옵션들이 객체의 다른 쪽(side)들에 디스플레이될 수 있다. 그 후에, 동작을 선택하는 제스처가 행해진다. 예를 들어, 복사하기 위해 왼쪽 스와이핑이 행해지고, 이름 변경을 위해 오른쪽 스와이핑이 행해진다. 적절한 입력 수단으로, 이러한 제스처는 터치패스, 터치스크린 상에서 검출될 수 있으며, 또는 입력 수단을 물리적으로 터치하지 않고서 무선으로 검출될 수도 있다.
·터치패드 상에서 더 강하게 손가락을 누름으로써, 즉, 터치패드를 터치하는 손가락의 누름력을 증가시키는 것에 의해, 슬라이딩 모드가 개시될 수 있다. 예를 들어, 객체를 응시하고, 터치패드를 터치하고, 터치패드 상의 누름력을 증가시키면서 손가락을 움직이거나 또는 터치스크린 위의 손가락을 움직이는 것에 의해, 객체가 정보 제공 영역 위에서 이동되거나 드래그될 수 있다. 사용자가 터치패드(51)로부터 손가락을 분리하는 경우, 터치스크린 유사 세션이 완료된다. 그 후에, 사용자는 정보 제공 영역(20)을 응시하면서 터치패드(51) 상에 손가락을 배치하는 것에 의해, 새로운 터치스크린 유사 세션을 시작할 수 있다.
전술한 바와 같이, 위에서 설명된 제스처 및 시선 개시 동작들은 단지 예시적인 것이며, 고려될 수 있는 동작을 야기하는 시선점과 조합되는 다수의 추가 제스처들이 존재한다. 적절한 입력 수단으로, 다수의 이러한 제스처들이 터치패드 상에서, 터치스크린의 사전 정의된 영역 상에서, 입력 수단을 물리적으로 터치함 없이 무선으로 검출될 수 있으며, 또는 사용자의 손가락이나 손에 착용된 입력 수단에 의해 검출될 수도 있다. 다음은, 몇몇의 추가 예들에 대해 설명한다.
·객체 또는 객체 일부의 선택은 해당 객체 또는 객체 일부를 응시하면서 손가락(예를 들어, 엄지 손가락)을 누르고, 손가락을 움직이는 것에 의해 미세 조정하면서 해당 객체 또는 객체 일부를 선택하도록 손가락에 의해 가해지는 누름력을 해제하는 것에 의해 이루어질 수 있다.
·객체 또는 객체 일부의 선택은 해당 객체 또는 객체 일부를 응시하고, 손가락(예를 들어, 엄지손가락)을 누고, 손가락을 움직이는 것에 의해 미세 조정하면서, 다른 손가락(예를 들어, 다른 엄지 손가락)을 사용하여 해당 객체 또는 객체 일부를 선택하도록 탭핑하는 것에 의해 이루어질 수 있다. 또한 더블 탭(double tap)은 "더블 클릭 동작"을 위해 사용될 수 있으며, 퀵 하향 움직임(quick downward movement)은 "우 클릭(right click)"을 위해 사용될 수 있다.
·정보 제공 영역 상에 나타나 있는 주밍 가능한 객체 또는 객체 일부를 응시하면서, 원형 모션(circular motion)으로 손가락(예를 들어, 엄지손가락들 중 하나)을 움직이는 것에 의해, 응시점을 줌 중심 포인트(zoom center point)로서 사용하여 상기 객체를 줌 인 또는 줌 아웃하는 것이 가능하며, 여기서, 시계방향의 모션은 "줌 인" 명령을 수행하고, 반 시계방향의 모션은 "줌 아웃" 명령을 수행하며, 그 반대의 경우도 가능하다.
·정보 제공 영역 상에 나타나 있는 주밍 가능한 객체 또는 객체 일부를 응시하고, 이것과 함께 하나의 손가락(예를 들어, 엄지 손가락들 중 하나)을 홀딩(holding)하면서 또한 다른 손가락(예를 들어, 다른 엄지손가락)을 상향 및 하향으로 움직이는 것에 의해, 시선점을 줌 중앙 포인트로서 사용하여 상기 객체를 확대 또는 축소하는 것이 가능하며, 여기서 상향 모션은 줌 인 명령을 수행하고, 하향 모션은 줌 아웃 명령을 수행하며, 그 반대의 경우도 가능하다.
·정보 제공 영역 상에 나타나 있는 주밍 가능한 객체 또는 객체 일부를 응시하면서 하나의 손가락(예를 들어, 엄지손가락들 중 하나)으로 압력-감지 터치패드 상에서 강하게 누르는 것에 의해, 시선점을 줌 중앙 포인트로서 사용하여 상기 객체를 줌 인 또는 줌 아웃하는 것이 가능하며, 여기서 각각의 강한 누름(hard press)은 다양한 줌 레벨들 간을 토글링(toggle)시킨다.
·정보 제공 영역 상에 나타나 있는 주밍 가능한 객체 또는 객체 일부를 응시하면서 하나의 손가락(예를 들어, 엄지 손가락들 중 하나)으로 터치패드 상에서 더블-탭핑하는 것에 의하여, 시선점을 줌 중앙 포인트로서 사용하여 상기 객체를 줌 인 또는 줌 아웃하는 것이 가능하며, 여기서 각각의 더블-탭은 다양한 줌 레벨들 간을 토글링시킨다.
·정보 제공 영역 상에 나타나 있는 주밍 가능한 객체 또는 객체 일부를 응시하면서 서로 반대되는 수평 방향들로 동시에 두 개의 손가락들(예를 들어, 두 개의 엄지손가락)을 슬라이딩시키는 것에 의해, 해당 객체 또는 객체 일부를 주밍하는 것이 가능하다.
·주밍 가능한 객체를 응시하고, 이와 함께 계속해서 터치스크린 상에 손가락(예를 들어, 엄지손가락)을 홀딩하면서, 원형 모션으로 다른 손가락(예를 들어, 다른 엄지손가락)을 움직이는 것에 의해, 해당 객체 또는 객체 일부를 주밍하는 것이 가능하다.
·정보 제공 영역 상에 나타나 있는 객체 또는 객체 일부를 응시하고, 이와 함께 계속해서 터치스크린 상에 손가락(예를 들어, 엄지손가락들 중 하나)을 홀딩하면서, 다른 손가락(예를 들어, 다른 엄지손가락)을 슬라이딩시키는 것에 의해, 정보 제공 영역에 의해 나타나 있는 뷰를 슬라이딩하거나 드래그하는 것이 가능하다.
·정보 제공 영역 상에 나타나 있는 객체 또는 객체 일부를 응시하면서, 손가락(예를 들어, 엄지손가락들 중 하나)으로 탭핑 또는 더블-탭핑하는 것에 의하여, 자동 패닝 기능(automatic panning function)이 활성화됨으로써, 제 2 사용자 입력이 수신될 때까지, 상기 시선점이 정보 제공 영역의 에지 근처에 있는 동안에는 정보 제공 영역이 스크린의 에지들 중 하나로부터 중심을 향해 계속 슬라이딩되도록 할 수 있다.
·정보 제공 영역 상에 나타나 있는 객체 또는 객체 일부를 응시하면서, 손가락(예를 들어, 엄지손가락들 중 하나)으로 탭핑 또는 더블-탭핑하는 것에 의하여, 정보 제공 영역들은 시선점(예를 들어, 이 시선점은 정보 제공 영역이 슬라이딩되어야 하는 중심을 나타내는데 사용됨)을 따라 즉시 슬라이딩된다.
·정보 제공 영역 상에 나타나 있는 회전 가능한 객체 또는 객체 일부를 응시하면서, 서로 반대되는 수직 방향들로 동시에 두 개의 손가락(예를 들어, 두 개의 엄지손가락)을 슬라이딩시킴으로써, 해당 객체 또는 객체 일부를 회전시키는 것이 가능하다.
두 개의 손가락 제스처가 수행되기 이전에, 손가락들 중 하나가 동작점(point of action)을 미세 조정하도록 사용될 수 있다. 예를 들어, 사용자가 터치스크린을 터치하는 경우, "가상 손가락(virtual finger)"과 같은 사용자 피드백 심볼이 시선점 상에 나타날 수 있다. 제 1 손가락은 원점(original point)에 대해 동작점을 조정하기 위해 주위를 슬라이딩하도록 사용될 수 있다. 사용자가 제 2 손가락으로 스크린을 터치하는 경우, 동작점은 고정되며, 제 2 손가락이 동작점을 "클릭(clicking)"하거나 또는 전술한 회전, 드래그 및 줌 예들과 같은 두 개의 손가락 제스처들을 수행하는데 사용된다.
본 발명의 실시예들에서, 예를 들어, 특정 버튼이나 전용 버튼 또는 키보드 키가 홀딩 다운(holding down)되거나 눌려져 있는 경우, 터치스크린 유사 세션은 사용자가 터치패드로부터 손가락 또는 손가락들을 분리했음에도 유지될 수 있다. 이것에 의하여, 사용자가 터치패드 상에서 복수의 터치들을 필요로 하는 동작들을 수행하는 것이 가능하다. 예를 들어, 객체는 터치패드 상의 복수의 드래그 움직임들에 의해 전체 정보 제공 영역에 걸쳐 이동되거나 드래그될 수 있다.
이제, 도 11a, 11b 및 12를 참조하여, 본 발명의 다른 실시예들에 대해 설명하도록 한다. 도 11a는 본 발명에 따른 통합된 시선 및 수동 제어를 가진 시스템의 다른 실시예를 나타낸다. 이 시스템의 실시예는 아이패드(아이패드) 또는 이와 유사한 디바이스와 같은 터치스크린(151)을 구비한 디바이스(100)에서 구현된다. 사용자는 터치스크린(151) 상에서의 사용자의 관심점(point of regard) x, y를 나타내는 시선 추적 신호들에 적어도 부분적으로 기초하여, 또한 사용자 생성 제스처들에 기초하여(즉, 터치스크린(151)을 포함하는 입력 수단(150)을 통해 제스처 기반 제어 명령들을 생성하는, 사용자의 적어도 하나의 신체 부위의 움직임이 검출될 수 있음), 디바이스(100)를 제어할 수 있다.
본 발명은 터치스크린(151)을 구비한 디바이스(100)의 사용자가 직접 입력으로서의 시선, 및 상대적인 입력으로서의 제스처 기반 사용자 명령들을 이용하여 그래픽 사용자 인터페이스들과 상호작용하는 것을 가능하게 하는 솔루션을 제공한다. 이것에 의해, 예를 들어, 도 11a에 나타낸 바와 같이 양손으로 디바이스(100)를 홀딩하고, 시선 및 엄지손가락들(161 및 162)로 터치스크린 상에 나타나 있는 그래픽 사용자 인터페이스(180)와 상호작용하는 것이 가능하다.
다른 실시예에서, 하나 이상의 터치패드들(168)이 디바이스(100')의 후면, 즉 사용자가 사용하는 동안 일반적으로 보지 않는 디바이스의 면에 배치될 수 있다. 이 실시예가 도 11b에 도시되어 있다. 이것에 의해, 사용자는 정보 제공 영역 상의 사용자의 관심점 x, y를 나타내는 시선 추적 신호들에 적어도 부분적으로 기초하고, 또한 사용자 생성 제스처들, 즉 제어 모듈에 의해 해석되는 제스처 기반 제어 명령들을 생성하는 디바이스(100)의 후면 상에서의 하나 이상의 터치패드들(168)에 대한 적어도 하나의 손가락 움직임에 기초하여, 디바이스를 제어하는 것이 가능하게 된다. 시선 추적 신호를 생성하기 위해, 시선 추적 모듈(140)이 디바이스(100, 100')에 포함되어 있다. 적절한 시선 추적기는 동일 출원인에 의해, 발명의 명칭 "Method and Installation for detecting and following an eye and the gaze direction thereof"으로, 미국 특허번호 제7,572,008호에 기재되어 있으며, 이것은 그 전체 내용이 본원에 포함된다.
시선 추적 모듈(140)과 관련된 소프트웨어 프로그램 또는 소프트웨어 구현 명령들이 시선 추적 모듈(140) 내에 포함될 수도 있다.
도 12에 도시된 바와 같이, 디바이스(100)는 시선 추적 모듈(140), 터치스크린(151)과 입력 모듈(132)을 포함하는 사용자 입력 수단(150), 및 제어 모듈(136)을 포함한다. 디바이스(100)는 도 12에 도시된 것들 이외의 몇몇 다른 컴포넌트들을 포함하지만, 이러한 컴포넌트들은 설명 목적으로 도 12에서 생략되어 있다.
제어 모듈에 또는 사용자 입력 수단(150)에 단독으로 포함되는 소프트 모듈일 수 있는 입력 모듈(132)은, 사용자의 제스처들을 반영하는 터치스크린(151)으로부터의 신호들을 수신하도록 구성된다. 또한, 입력 모듈(132)은 해석된 신호들, 제스처 기반 제어 명령들, 예를 들어 객체를 활성화시키는 탭 명령, 스와이프 명령 또는 슬라이드 명령에 기초하여 그 수신된 신호들을 해석하고, 제공하도록 또한 적응된다.
제어 모듈(136)은 시선 추적 모듈(140)로부터의 시선 데이터 신호들, 및 입력 모듈(132)로부터의 제스처 기반 제어 명령들을 획득하도록 구성된다. 또한, 제어 모듈(136)은 정보 제공 영역(즉, 터치스크린(151)) 상의 시선점 영역(180)을 결정하도록 구성되며, 여기서 사용자의 시선점은 시선 데이터 신호들에 기초하여 위치된다. 바람직하게는, 시선점(180)은 도 1에 도시된 바와 같이, 사용자의 시선점 주위의 로컬 영역이다.
또한, 제어 모듈(136)은 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 제어 명령에 기초하여 터치스크린(151) 상에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하도록 구성되며, 여기서 사용자 동작은 결정된 시선점 영역을 시작 포인트로 하여 실행된다. 본 출원의 컨텍스트에서 기술된 모든 사용자 동작들은 본 발명의 이러한 실시예로 실행될 수도 있다.
가능한 다른 실시예에서, 사용자가 터치스크린(151)을 터치하는 경우, 초기 시선점의 위치는 시각적 피드백, 예를 들어 십자형이나 이와 유사한 표시로 나타난다. 이 초기 위치는, 예를 들어 엄지손가락(161 또는 162)을 사용하여 터치스크린(151) 상에서 손가락을 움직이는 것에 의해 조정될 수 있다. 그 후에, 사용자는 다양한 제스처들 및 시선을 이용하여 터치스크린(151)과 상호작용할 수 있으며, 여기서 시선은 사용자 관심에 대한 다이렉트 인디케이터(indicator)이며, 제스처들은 터치스크린(151)에 대한 것이다. 터치스크린을 포함하는 실시예에서, 제스처들은 터치스크린(151)에 대한 손가락 움직임들이며, 각 제스처는 사용자 동작을 야기하는 특정 제스처 기반 사용자 명령과 관련되거나 그것에 대응된다.
이제 도 13a, 13b 및 13c를 참조하여, 예를 들어 WTRU(도 14를 참조하여 이하에서 설명), 또는 컴퓨터 디바이스나 핸드헬드 휴대용 디바이스(도 15a 또는 15b를 참조하여 이하에서 설명)와 관련된 정보 제공 영역(201)과의 사용자 상호작용 동안, 또는 차량에서(도 21을 참조하여 이하에서 설명), 또는 웨어러블 헤드 마운트 디스플레이에서(도 22를 참조하여 이하에서 설명), 제스처 기반 명령들을 생성하는 제어 모듈들에 대해 설명하도록 한다. 위에서 설명한 부분들 또는 모듈들에 대해서는, 본 실시예와 관련하여 다시 상세히 설명되진 않는다.
도 13a에 나타낸 본 발명의 일 실시예에 따른, 제어 모듈(200)은 예를 들어, 일 디바이스에 포함된 입력 수단(205)으로부터 사용자 입력을 획득하도록 구성되며, 여기서 제어 모듈은 사용자 생성 제스처들을 검출하도록 배열, 적응될 수 있다. 이러한 목적을 위해, 제어 모듈(200)은 입력 수단(205)으로부터의 제스처 데이터를 입력 신호로 전환하도록 구성된 데이터 획득 모듈(210)을 포함하는 입력 모듈(232)을 포함할 수 있다. 입력 수단(205)은 압력, 물리적 접촉, 제스처들, 또는 그 밖의 사용자에 의한 수동 제어를 감지하는 요소들, 예를 들어 터치패드를 포함할 수 있다. 또한, 입력 수단(205)은 컴퓨터 키보드, 마우스, "트랙 볼", 또는 임의의 다른 디바이스를 포함할 수 있으며, 예를 들어 IR-센서, 음성 활성화 입력 수단, 또는 신체 제스처들이나 근접 기반 입력의 검출 디바이스가 사용될 수 있다.
또한, 입력 모듈(232)은 입력 신호에 기초하여 적어도 하나의 사용자 생성 제스처 기반 제어 명령을 결정하도록 구성된다. 이러한 목적으로, 입력 모듈(232)은 데이터 획득 모듈(210)과 통신하는 제스처 결정 모듈(220)을 더 포함한다. 또한, 제스처 결정 모듈(220)은 시선 데이터 분석 모듈(240)과 통신할 수도 있다. 제스처 결정 모들(220)은 입력 신호가 사전 정의된 또는 사전 결정된 상대 제스처에 대응하는지의 여부를 체크하도록 구성될 수 있으며, 선택적으로는 시선 입력 신호들을 사용하여 그 입력 신호를 해석하도록 구성될 수 있다. 예를 들어, 제어 모듈(200)은 사전 정의된 제스처들의 라이브러리 또는 목록을 저장하는 제스처 저장 유닛(미도시)을 포함할 수 있으며, 각각의 사전 정의된 제스처는 특정 입력 신호에 대응한다. 이에 따라, 제스처 결정 모듈(220)은 수신된 신호들을 해석하고, 그 해석된 신호들에 기초하여, 제스처 기반 제어 명령들, 예를 들어 객체를 활성화하는 탭 명령, 스와이프 명령 또는 슬라이드 명령을 제공하도록 적응된다.
시선 데이터 분석 모듈(240)은 적어도 시선 추적 모듈(235)로부터의 시선 데이터 신호들에 기초하여 사용자의 시선점을 포함하는 정보 제공 영역(201) 상에서 시선점 영역을 결정하도록 구성된다. 정보 제공 영역(201)은 임의의 유형의 알려져 있는 컴퓨터 스크린이나 모니터의 디스플레이일 수 있고, 또한 2개 이상의 개별 디스플레이들의 조합들일 수도 있으며, 이것은 제어 모듈이 구현되는 특정 디바이스 또는 시스템에 따라 달라지게 된다. 예를 들어, 디스플레이(201)는 일반 컴퓨터 스크린, 입체 스크린, 차량의 HUD(heads-up display), 또는 적어도 하나의 HMD(head-mounted display)를 구성할 수 있다. 그리고, 프로세싱 모듈(250)은 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 제어 명령에 기초하여 정보 제공 영역(201) 상에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하도록 구성될 수 있으며, 여기서 사용자 동작은 상기 결정된 시선점 영역을 시작 포인트로 하여 실행된다. 따라서, 사용자는 정보 제공 영역 또는 디스플레이(201) 상의 사용자 관심점 x, y를 나타내는 눈동자-추적 신호에 적어도 부분적으로 기초하고 또한 사용자 생성 제스처들에 기초하여 디바이스 또는 시스템을 제어하는 것이 가능하며, 즉 터치패드와 같은 사용자 입력 수단(205)을 통해 제스처 기반 제어 명령들을 생성하는, 사용자의 적어도 하나의 신체 부위의 움직임이 검출될 수 있다.
도 13b에 나타낸 본 발명에 따른 제어 모듈의 다른 실시예에 따르면, 제어 모듈(260)은 입력 모듈(232')로부터 제스처 기반 제어 명령들을 획득하도록 구성된다. 입력 모듈(232')은 도 13a를 참조하여 위에서 설명한 바와 같이 제스처 결정 모듈 및 데이터 획득 모듈을 포함할 수 있다. 시선 데이터 분석 모듈(240)은 적어도 시선 추적 모듈(235)로부터 수신된 시선 데이터 신호들에 기초하여 사용자의 시선점을 포함하는 정보 제공 영역(201) 상에서 시선점 영역을 결정하도록 구성된다. 정보 제공 영역(201)은 임의의 유형의 알려져 있는 컴퓨터 스크린이나 모니터의 디스플레이일 수 있고, 또한 2개 이상의 개별 디스플레이들의 조합들일 수 있으며, 이것은 제어 모듈이 구현되는 특정 디바이스 또는 시스템에 따라 달라지게 된다. 예를 들어, 디스플레이(201)는 일반적인 컴퓨터 스크린, 입체 스크린, 차량의 HUD(heads-up display), 또는 적어도 하나의 HMD(head-mounted display)를 구성할 수 있다. 프로세싱 모듈(250)은 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 명령에 기초하여 정보 제공 영역(201) 상에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하도록 구성될 수 있으며, 여기서 사용자 동작은 결정된 시선점을 시작 포인트로 하여 실행된다. 따라서, 사용자는 정보 제공 영역 또는 디스플레이(201) 상의 사용자의 관심점 x, y를 나타내는 눈동자-추적 신호에 적어도 부분적으로 기초하고 또한 사용자 생성 제스처들에 기초하여 디바이스 또는 시스템을 제어할 수 있으며, 즉 터치패드와 같은 사용자 입력 수단(205)을 통해 제스처 기반 제어 명령들을 생성하는, 사용자의 적어도 하나의 신체 부위의 움직임이 검출될 수 있다.
도 13c를 참조하여, 본 발명에 따른 제어 모듈의 다른 실시예에 대하여 설명하도록 한다. 입력 모듈(232")은 데이터 획득 모듈(210)이 제어 모듈(280) 외부에 제공되고 또한 제스처 결정 모듈(220)이 제어 모듈(280)의 내부에 제공되도록 분포되어 있다. 시선 데이터 분석 모듈(240)은 적어도 시선 추적 모듈(235)로부터 수신된 시선 데이터 신호들에 기초하여 사용자의 시선점을 포함하는 정보 제공 영역(201) 상에서 시선점 영역을 결정하도록 구성된다. 정보 제공 영역(201)은 임의의 유형의 알려져 있는 컴퓨터 스크린이나 모니터의 디스플레일 수 있고, 또한 2개 이상의 개별 디스플레이들의 조합들일 수 있으며, 이것은 제어 모듈이 구현되는 특정 디바이스 또는 시스템에 따라 달라진다. 예를 들어, 디스플레이(201)는 일반적인 컴퓨터 스크린, 입체 스크린, 차량의 HUD(heads-up display), 또는 적어도 하나의 HMD(head-mounted display)를 구성할 수 있다. 프로세싱 모듈(250)은 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 명령에 기초하여 정보 제공 영역(201) 상에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하도록 구성될 수 있으며, 여기서 사용자 동작은 결정된 시선점을 시작 포인트로 하여 실행된다. 따라서, 사용자는 정보 제공 영역 또는 디스플레이(201) 상의 사용자의 관심점 x, y를 나타내는 눈동자-추적 신호에 적어도 부분적으로 기초하고 또한 사용자 생성 제스처들에 기초하여 디바이스 또는 시스템을 제어할 수 있으며, 즉 터치패드와 같은 사용자 입력 수단(205)을 통해 제스처 기반 제어 명령들을 생성하는, 사용자의 적어도 하나의 신체 부위의 움직임이 검출될 수 있다.
도 14를 참조하여, 본 발명에 따른, 셀룰러폰 또는 스마트폰과 같은 무선 송/수신 유닛(wireless transmit/receive unit; WTRU)에 대해 설명하도록 한다. 위에서 설명된 부분들 또는 모듈들은 다시 상세하게 설명하지 않도록 한다. 또한, 본 발명과 관련된 부분들 또는 모듈들만을 이하 설명하도록 한다. 따라서, WTRU는 안테나들 및 송/수신 유닛들과 같은 여기에서 기술되지 않은 다수의 추가 부분들, 유닛들 및 모듈들을 포함한다. 무선 송/수신 유닛(wireless transmit/receive unit; WTRU)(300)은 정보 제공 영역(301)과 연동되며, 사용자 생성 제스처들을 검출하도록 적응된, 예를 들어 전술한 바와 같은 입력 모듈을 포함하는 입력 수단(305) 및 정보 제공 영역(301)의 관측자(viewer)의 시선 데이터를 검출하도록 적응된 시선 추적 모듈(325)을 더 포함한다. WTRU는 도 13a, 13b 및 13c를 참조하여 전술한 바와 같은, 제어 모듈(200, 260 또는 280)을 더 포함한다. 사용자는 정보 제공 영역 또는 디스플레이(301) 상의 사용자의 관심점 x, y를 나타내는 눈동자-추적 신호에 적어도 부분적으로 기초하고 또한 사용자 생성 제스처들에 기초하여 WTRU를 제어할 수 있으며, 즉 터치패드와 같은 사용자 입력 수단(305)를 통해 제스처 기반 제어 명령들을 생성하는, 사용자의 적어도 하나의 신체 부위의 움직임이 검출될 수 있다. 또한, 본 출원의 컨텍스트에서 기술된 모든 사용자 동작들은 본 발명의 이러한 실시예로 실행될 수도 있다.
도 15a 및 15b를 참조하여, 본 발명에 따른 컴퓨터 디바이스 또는 핸드헬드 휴대용 디바이스에 대하여 설명하도록 한다. 위에서 설명된 부분들 또는 모듈들에 대해서는 다시 상세하게 설명하지 않도록 한다. 또한, 본 발명과 관련된 부분들 또는 모듈들만에 대하여 이하 설명하도록 한다. 따라서, 본 디바이스는 메모리 유닛들(예를 들어, RAM/ROM), 또는 프로세싱 유닛들과 같은 여기에 기술되지 않은 다수의 추가 부분들, 유닛들 및 모듈들을 포함한다. 컴퓨터 디바이스 또는 핸드헬드 휴대용 디바이스(400)는, 예를 들어 개인용 컴퓨터, 컴퓨터 워크스테이션, 메인프레임 컴퓨터, 차량의 프로세서 또는 디바이스, 또는 핸드헬드 디바이스(예를 들어, 셀룰러폰, 스마트폰 또는 이와 유사한 디바이스, 휴대용 음악 플레이어(예를 들어, 아이팟(iPod)), 랩톱 컴퓨터들, 컴퓨터 게임들, 전자책들, 아이패드 또는 이와 유사한 디바이스, 태블릿, 포블릿(Phoblet)/패블릿(Phablet)의 그룹 중의 어느 하나가 될 수 있다.
도 15a에 나타낸 바와 같이, 컴퓨터 디바이스 또는 핸드헬드 디바이스(400a)가 정보 제공 영역(401a)(예를 들어, 외부 디스플레이 또는 HUD(heads-up display), 또는 적어도 하나의 HMD(head-mounted display))에 연결 가능할 수 있으며, 또는 도 15b에 나타낸 바와 같이, 컴퓨터 디바이스 또는 핸드헬드 디바이스(400b)가 정보 제공 영역(401b), 예를 들어 일반 컴퓨터 스크린, 입체 스크린, HUD(heads-up display), 또는 적어도 하나의 HMD(head-mounted display)를 포함한다. 또한, 컴퓨터 디바이스 또는 핸드헬드 디바이스(400a, 400b)는 사용자 생성 제스처들을 검출하도록 적응된 입력 수단(405) 및 정보 제공 영역(401)의 관측자의 시선 데이터를 검출하도록 적응된 시선 추적 모듈(435)을 포함한다. 또한, 컴퓨터 디바이스 또는 핸드헬드 디바이스(400a, 400b)는 도 13a, 13b 또는 13c를 참조하여 전술한 바와 같이, 제어 모듈(200, 260, 또는 280)을 포함한다. 사용자는 정보 제공 영역 또는 디스플레이(401) 상의 사용자의 관심점 x, y를 나타내는 눈동자-추적 신호에 적어도 부분적으로 기초하고 또한 사용자 생성 제스처에 기초하여 컴퓨터 디바이스 또는 핸드헬드 디바이스(400a, 400b)를 제어할 수 있으며, 즉 터치패드와 같은 사용자 입력 수단(405)을 통해 제스처 기반 제어 명령들을 생성하는, 사용자의 적어도 하나의 신체 부위의 움직임이 검출될 수 있다. 또한, 본 출원의 컨텍스트에서 기술된 모든 사용자 동작들은 본 발명의 이러한 실시예로 실행될 수도 있다.
이제, 도 16-19를 참조하여, 본 발명에 따른 방법들의 예시적 실시예들에 대하여 설명하도록 한다. 도 16-19와 함께 설명된 방법 실시예들은 소정 단계들이 일 디바이스, 예를 들어 도 14를 참조하여 전술한 WTRU, 또는 도 15a 또는 15b를 참조하여 전술한 컴퓨터 디바이스 또는 핸드헬드 디바이스에서 수행되는 환경에서 실행되며, 소정 단계들은 일 제어 모듈, 예를 들어 도 13a, 13b 및 13c를 참조하여 전술한 제어 모듈에서 수행된다. 또한, 당업자가 인식하는 바와 같이, 본 명세서에 설명된 방법들은, 예를 들어 도 2, 3 및 20을 참조하여 전술한 시스템 또는 도 21-23에 도시된 구현들과 같은, 다른 환경들에서 구현될 수 있다. 상이한 실시예들에 수행된 유사하거나 동일한 단계들은 이하에서 동일한 참조 부호로 표시될 것이다.
우선 도 16을 참조하면, 단계(S500)에서 디바이스는 사용자 입력을 대기한다. 단계(S510)에서, 사용자는 각각의 손에 있는 하나 이상의 손가락들로 디바이스 상의 터치 감지 영역(예를 들어, 전술한 입력 수단)을 터치한다. 이 단계는 본 발명의 실시예들에 따른 방법의 일부는 아니다. 사용자가 디바이스의 동작들을 제어하는데 사용할 수 있는 다수의 고려 가능한 제스처들이 존재하며, 이러한 비배타적 개수의 제스처들이 위에서 설명되었다. 단계(S520)에서, 제스처 데이터, 즉 사용자 입력이 입력 신호로 전환된다. 단계(S530)에서, 입력 신호가 사전 정의되거나 사전 결정된 상대적 제스처에 대응하는지 여부가 체크된다. 그렇지 않은 경우, 절차는 단계(S500)로 다시 복귀된다. 한편, 그러한 경우(즉, 입력 신호가 사전 정의된 제스처에 대응하는 경우), 단계(S570)에서 제스처 기반 제어 명령이 생성된다. 단계(S540)에서, 사용자는 스크린 또는 정보 제공 영역을 응시하고, 단계(S550)에서 사용자의 시선이 정보 제공 영역에 검출된다. 단계(S540)는 본 발명의 실시예들에 따른 방법의 일부는 아니다. 단계(S560)에서, 스크린 또는 정보 제공 영역 상에서 사용자의 시선점을 포함하는 시선점 영역이 결정된다. 단계(S580)에서, 사용자의 시선점에서 상대적 제스처에 대응하는 동작이, 제스처 기반 제어 명령 및 정보 제공 영역에서 결정된 시선점에 기초하여 수행된다.
도 17을 참조하면, 단계(S500)에서 디바이스는 사용자 입력을 대기한다. 단계(S590)에서, 사용자는 (전술한 바와 같이, 입력 수단에 의해 제스처가 해석되는) 정보 제공 영역의 앞에서 하나 이상의 손가락들 및/또는 적어도 하나의 손으로 제스처를 생성한다. 단계(S590)는 본 발명의 실시예들에 따른 방법의 일부는 아니다. 사용자가 디바이스의 동작들을 제어하는데 사용할 수 있는 다수의 고려 가능한 제스처들이 존재하며, 이러한 비배타적 개수의 제스처들은 위에서 설명하였다. 단계(S520)에서, 제스처 데이터, 즉 사용자 입력이 입력 신호로 전환된다. 단계(S530)에서, 입력 신호가 사전 정의되거나 사전 결정된 상대적 제스처에 대응하는지 여부가 체크된다. 그렇지 않은 경우, 절차는 단계(S500)로 다시 복귀된다. 한편, 그러한 경우(즉, 입력 신호가 사전 정의된 제스처에 대응하는 경우), 단계(S570)에서 제스처 기반 제어 명령이 생성된다. 단계(S540)에서, 사용자는 스크린 또는 정보 제공 영역을 응시하고, 단계(S550)에서, 사용자의 시선이 정보 제공 영역에서 검출된다. 전술한 바와 같이, 단계(S540)는 본 발명의 실시예들에 따른 방법의 일부는 아니다. 단계(S560)에서, 스크린 또는 정보 제공 영역 상에서 사용자의 시선점을 포함하는 시선점 영역이 결정된다. 단계(S580)에서, 사용자의 시선점에서 상대적 제스처에 대응하는 동작이 제스처 기반 제어 명령 및 정보 제공 영역에서 결정된 시선점에 기초하여 수행된다.
도 18을 참조하면, 단계(S500)에서 디바이스는 사용자 입력을 대기한다. 단계(592)에서 사용자는 터치패드 또는 터치-스크린의 사전 정의된 영역을 터치함으로써 입력을 생성한다. 단계(S592)는 본 발명의 실시예들에 따른 방법의 일부는 아니다. 사용자가 디바이스의 동작들을 제어하는데 사용할 수 있는 다수의 고려 가능한 제스처들이 존재하며, 이러한 비배타적 개수의 제스처들이 위에서 설명되었다. 단계(S520)에서, 제스처 데이터, 즉 사용자 입력이 입력 신호로 전환된다. 단계(S530)에서, 입력 신호가 사전 정의되거나 사전 결정된 상대적 제스처에 대응하는지 여부가 체크된다. 그렇지 않은 경우, 절차는 단계(S500)로 다시 복귀된다. 한편, 그러한 경우(즉, 입력 신호가 사전 정의된 제스처에 대응하는 경우), 단계(S570)에서 제스처 기반 제어 명령이 생성된다. 단계(S540)에서, 사용자는 스크린 또는 정보 제공 영역을 응시하고, 단계(S550)에서, 사용자의 시선이 정보 제공 영역에서 검출된다. 단계(S540)는 본 발명의 실시예들에 따른 방법의 일부는 아니다. 단계(S560)에서, 스크린 또는 정보 제공 영역 상에서 사용자의 시선점을 포함하는 시선점 영역이 결정된다. 단계(S580)에서, 사용자의 시선점에서 상대적 제스처에 대응하는 동작이, 제스처 기반 제어 명령 및 정보 제공 영역에서 결정된 시선점에 기초하여 수행된다.
도 19를 참조하면, 디바이스는 단계(S500)에서 사용자 입력을 대기한다. 단계(594)에서 사용자는 하나 이상의 자신의 손가락들 및 적어도 하나의 손으로 제스처를 만듦으로써 입력을 생성한다. 단계(S594)는 본 발명의 실시예들에 따른 방법의 일부는 아니다. 사용자가 디바이스의 동작들을 제어하는데 사용할 수 있는 다수의 고려 가능한 제스처들이 존재하며, 이러한 비배타적 개수의 제스처들이 위에서 설명되었다. 단계(S520)에서, 제스처 데이터, 즉 사용자 입력이 입력 신호로 전환된다. 단계(S530)에서, 입력 신호가 사전 정의되거나 사전 결정된 상대적 제스처에 대응하는지 여부가 체크된다. 그렇지 않은 경우, 절차는 단계(S500)로 다시 복귀된다. 한편, 그러한 경우(즉, 입력 신호가 사전 정의된 제스처에 대응하는 경우), 단계(S570)에서 제스처 기반 제어 명령이 생성된다. 단계(S540)에서, 사용자는 스크린 또는 정보 제공 영역을 응시하고, 단계(S550)에서, 사용자의 시선이 정보 제공 영역에서 검출된다. 단계(S540)는 본 발명의 실시예들에 따른 방법의 일부는 아니다. 단계(S560)에서, 스크린 또는 정보 제공 영역 상에서 사용자의 시선점을 포함하는 시선점 영역이 결정된다. 단계(S580)에서, 사용자의 시선점에서 상대적 제스처에 대응하는 동작이, 제스처 기반 제어 명령 및 정보 제공 영역에서 결정된 시선점에 기초하여 수행된다.
도 21을 참조하여, 본 발명의 다른 실시예에 대하여 설명하도록 한다. 시선 추적 모듈(미도시) 및 사용자 입력 수단(900)이 차량(미도시)에서 구현된다. 정보 제공 영역(미도시)은 헤드-업 디스플레이 또는 인포테인먼트 스크린(infotainment screen)이 될 수 있다. 입력 수단(900)은 차량의 스티어링 휠(910)의 뒷면(인덱스 손가락/들로 사용하기 위함) 또는 전면(엄지손가락/들로 사용하기 위함)에 있는 하나 또는 두 개의 개별 터치패드들일 수 있다. 제어 모듈(950)은 차량에 삽입되도록 구성된 프로세싱 유닛, 또는 차량의 중앙 프로세싱 유닛으로 배열된다. 바람직하게는, 제어 모듈은 도 13a-13c를 참조하여 설명된 제어 모듈이다.
도 22를 참조하여, 본 발명의 다른 구현에 대하여 설명하도록 한다. 시선 추적 모듈(미도시) 및 정보 제공 영역(미도시)은 안경처럼 볼 수 있도록 설계될 수 있는, 웨어러블 헤드 마운트 디스플레이(1000)로 구현된다. 하나의 이러한 솔루션이 미국 특허 제8,235,529호에 기술되어 있다. 사용자 입력 수단(1010)은 자이로(gyro)를 포함할 수 있으며, 사용자(1020)의 손목, 손 또는 적어도 하나의 손가락에 착용되도록 적응될 수 있다. 예를 들어, 입력 수단(1010)은 링(ring)이 착용된 손가락의 작은 움직임들을 검출하는 안경 및 자이로에 무선 연결된 상기 링이 될 수 있다. 그리고, 제스처 데이터를 나타내는 검출된 움직임들은 시선이 검출되는 안경에 무선으로 전달될 수 있으며, 입력 수단으로부터의 제스처 데이터에 기초하는 제스처 기반 제어 명령들이 사용자 동작을 식별하고 실행하는데 사용된다. 바람직하게는, 도 13a-13c를 참조하여 설명된 제어 모듈이 이러한 구현에 사용된다.
도 23을 참조하여, 본 발명의 일 구현에 대해 설명하도록 한다. 이 구현에서, 사용자(1120)는 정보 제공 영역(1140) 상의 관심점 x, y를 나타내는 눈동자-추적 신호에 적어도 부분적으로 기초하고 또한 사용자 생성 제스처들에 기초하여 컴퓨터 디바이스(1100)를 제어할 수 있으며, 즉 사용자 입력 수단(1150)을 통해 제스처 기반 제어 명령들을 생성하는, 사용자의 적어도 하나의 신체 부위의 움직임이 검출될 수 있다. 이러한 실시예에서, 사용자(1120)는 컴퓨터 디바이스(1100)의 키보드 위에서 제스처들을 수행하거나 또는 키보드에 관한 제스처들을 수행하는 것에 의해 제스처 기반 제어 명령들을 생성할 수 있다. 입력 수단(1140)은, 예를 들어 광학 측정(optical measurement) 기술 또는 용량성 측정(capacitive measurement) 기술을 사용하여 제스처들을 검출한다. 바람직하게는, 도 13a-13c를 참조하여 설명된 제어 모듈이 이러한 구현에 사용되며, 컴퓨터 디바이스(1100)에 배열될 수 있다. 컴퓨터 디바이스(1100)는, 예를 들어 개인용 컴퓨터, 컴퓨터 워크스테이션, 메인프레임 컴퓨터, 또는 핸드헬드 디바이스(예를 들어, 셀룰러폰), 휴대용 음악 플레이어(예를 들어, 아이팟(iPod)), 랩톱 컴퓨터들, 컴퓨터 게임들, 전자책들 및 유사한 다른 디바이스들의 그룹 중의 어느 하나가 될 수 있다. 또한, 본 발명은, 예를 들어 복수의 디스플레이들 상에 나타나 있는 객체들이 선택되고 활성화될 수 있는 "지능형 환경"으로 구현될 수도 있다. 시선 추적 신호들을 생성하기 위하여, 시선 추적기 유닛(미도시)이 컴퓨터 디바이스(1100)에 포함되거나, 정보 제공 영역(1140)과 연동된다. 적합한 시선 추적기가 동일 출원인에 의한 미국 특허 제7,572,008호, 발명의 명칭 "Method and Installation for detecting and following an eye and the gaze direction thereof"에 기재되어 있으며, 이것은 그 전체 내용이 본원에 포함된다. 본 명세서가 다수의 특정 실시예들을 포함하고 있지만, 이들은 본 발명의 범위 또는 청구될 수 있는 범위를 한정하는 것으로 해석되어서는 아니 되며, 오히려 본 발명의 예시적인 구현들에 대한 특정한 특징들의 설명으로 해석되어야 한다. 별도의 구현들의 맥락에서 본 명세서에서 설명되는 소정 특징들은 단일 구현에서의 조합들로 구현될 수도 있다. 반대로, 단일 구현의 맥락에서 설명된 각종 특징들은 복수의 구현들에서 개별적으로 또는 임의의 적절한 하위-조합으로 구현될 수도 있다. 또한, 특징은 소정 조합들에서 동작하는 것으로 위에서 기술되거나 처음에 그와 같이 청구될 수 있지만, 어떤 경우들에서는, 청구된 조합 중의 하나 이상의 특징이 그 조합에서 배제될 수 있으며, 그 청구된 조합은 하위-조합 또는 하위-조합의 변형에 관한 것일 수도 있다.
마찬가지로, 동작들이 특정 순서로 도면에 도시되어 있지만, 그런 동작들이 도시된 특정 순서 또는 순차적으로 수행되어야 하는 것으로 이해되어서는 아니 되며, 모든 도시된 동작은 바람직한 결과를 달성하도록 수행되어야 한다. 어떤 환경들에서는, 멀티 태스킹 및 병렬 처리가 유리할 수도 있다. 또한, 전술한 구현에서 각종 시스템 컴포넌트들의 분리는, 모든 구현에서 이러한 분리를 요구하는 것으로 이해되어서는 아니 되며, 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로 단일 소프트웨어 제품에서 함께 통합될 수 있으며 또는 복수의 소프트웨어 제품들로 패키징될 수 있음을 이해해야 한다.

Claims (17)

  1. 정보 제공 영역과의 사용자 상호작용 동안 제스처 기반 명령들을 생성하는 제어 모듈로서,
    사용자 생성 제스처들을 검출하도록 적응된 입력 수단으로부터의 사용자 입력 및 시선 추적 모듈로부터의 시선 데이터 신호들을 획득하고; 또한
    상기 사용자 입력에 기초하여 적어도 하나의 사용자 생성 제스처 기반 제어 명령을 결정하고;
    적어도 상기 시선 데이터 신호들에 기초하여 사용자의 시선점(gaze point)을 포함하는 상기 정보 제공 영역 상에서 시선점 영역을 결정하고; 또한
    상기 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 제어 명령에 기초하여 상기 그래픽 정보 제공 영역에 나타나 있는 뷰(view)를 조작하는 적어도 하나의 사용자 동작을 실행하도록 구성되고,
    상기 사용자 동작은 상기 결정된 시선점 영역을 시작점(starting point)으로 하여 실행되는,
    정보 제공 영역과의 사용자 상호작용 동안 제스처 기반 명령들을 생성하는 제어 모듈.
  2. 제 1 항에 있어서,
    상기 제어 모듈은:
    상기 입력 수단을 통한 복수의 동시적인 사용자 입력에 기초하여 적어도 하나의 제스처 기반 제어 명령을 결정하고;
    상기 시선 데이터 신호들에 기초하여 상기 사용자의 시선점을 포함하는 상기 정보 제공 영역 상에서 시선점 영역을 결정하고; 또한
    상기 결정된 시선점 영역 및 상기 적어도 하나의 제스처 기반 제어 명령에 기초하여 상기 그래픽 정보 제공 영역 상에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하도록 더 구성되고,
    상기 사용자 동작은 상기 결정된 시선점 영역을 시작점으로 하여 실행되는, 정보 제공 영역과의 사용자 상호작용 동안 제스처 기반 명령들을 생성하는 제어 모듈.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 제어 모듈은 적어도 하나의 사용자 생성 제스처를 나타내는 신호들을 해석하여 사용자의 제스처를 반영한 적어도 하나의 제스처 기반 제어 명령을 제공하도록 구성된 입력 모듈을 포함하고,
    상기 입력 모듈은 시선 입력 신호들 및/또는 사전 결정된 세트의 가능한 제스처 기반 제어 명령들을 사용하여 상기 적어도 하나의 사용자 생성 제스처를 나타내는 신호들을 해석하도록 구성되고, 각각의 가능한 제어 명령은 상기 입력 수단에 대한 특정 사용자 제스처에 대응하는, 정보 제공 영역과의 사용자 상호작용 동안 제스처 기반 명령들을 생성하는 제어 모듈.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 정보 제공 영역 상에, 적어도 하나의 그래픽 사용자 인터페이스 컴포넌트를 나타내면서 상기 사용자 생성 제스처 기반 제어 명령들에 기초하여 조작되도록 구성된 적어도 하나의 객체가 나타나 있고,
    상기 제어 모듈은:
    상기 시선 데이터 신호들에 기초하여 상기 사용자의 시선점이 객체 상에 또는 해당 객체를 둘러싼 영역 내에 있는지의 여부를 결정하고;
    상기 사용자의 시선점이 해당 객체 상에 또는 해당 객체를 둘러싼 영역 내에 있는 경우, 상기 입력 수단을 통한 사용자 입력으로부터 발생된 사용자 생성 제스처 기반 제어 명령과 동기화되는 상기 객체의 사용자 활성화(user activation)를 인에이블하도록 구성되고,
    상기 활성화된 객체는 상기 입력 수단을 통한 사용자 입력으로부터 발생된 사용자 생성 명령들에 의해 조작될 수 있는, 정보 제공 영역과의 사용자 상호작용 동안 제스처 기반 명령들을 생성하는 제어 모듈.
  5. 컴퓨터 디바이스와 연동되는 정보 제공 영역과의 사용자 상호작용 동안 제스처 기반 제어 명령들을 생성하는 방법으로서,
    사용자 생성 제스처들 및 시선 데이터 신호들에 대응하는 사용자 입력을 획득하는 단계; 및
    상기 사용자 입력에 기초하여 적어도 하나의 사용자 생성 제스처 기반 제어 명령을 결정하는 단계;
    적어도 상기 시선 데이터 신호들에 기초하여 사용자의 시선점을 포함하는 상기 정보 제공 영역 상에 시선점 영역을 결정하는 단계; 및
    상기 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 제어 명령에 기초하여 상기 정보 제공 영역 상에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하는 단계를 포함하고,
    상기 사용자 동작은 상기 결정된 시선점 영역을 시작점으로 하여 실행되는,
    컴퓨터 디바이스와 연동되는 정보 제공 영역과의 사용자 상호작용 동안 제스처 기반 제어 명령들을 생성하는 방법.
  6. 제 5 항에 있어서,
    상기 방법은 사용자 생성 제스처 기반 제어 명령들을 획득하는 단계를 더 포함하고,
    상기 제스처 기반 제어 명령들은 터치패드 또는 터치-스크린을 포함하는 입력 수단의 표면을 터치하는 것에 의해 또는 상기 터치패드의 표면을 터치하는 것에 의해 생성되는, 컴퓨터 디바이스와 연동되는 정보 제공 영역과의 사용자 상호작용 동안 제스처 기반 제어 명령들을 생성하는 방법.
  7. 제 5 항 또는 제 6 항에 있어서,
    상기 방법은:
    입력 수단을 통한 복수의 동시적인 사용자 입력에 기초하여 적어도 하나의 제스처 기반 제어 명령을 결정하는 단계;
    상기 시선 데이터 신호들에 기초하여 사용자의 시선점을 포함하는 상기 정보 제공 영역 상에 시선점 영역을 결정하는 단계; 및
    상기 결정된 시선점 영역 및 상기 적어도 하나의 제스처 기반 제어 명령에 기초하여 상기 그래픽 정보 제공 영역에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하는 단계를 더 포함하고,
    상기 사용자 동작은 상기 결정된 시선점 영역을 시작점으로 하여 실행되는, 컴퓨터 디바이스와 연동되는 정보 제공 영역과의 사용자 상호작용 동안 제스처 기반 제어 명령들을 생성하는 방법.
  8. 제 7 항에 있어서,
    상기 방법은, 상기 적어도 하나의 사용자 생성 제스처를 나타내는 신호들을 해석하여 사용자의 제스처를 반영한 적어도 하나의 제스처 기반 제어 명령을 제공하는 단계를 더 포함하고,
    상기 신호는 시선 입력 신호들 및/또는 사전 결정된 세트의 가능한 제스처 기반 제어 명령들을 사용하여 해석되고, 각각의 가능한 제어 명령은 상기 입력 수단에 대한 특정 사용자 제스처에 대응하는, 컴퓨터 디바이스와 연동되는 정보 제공 영역과의 사용자 상호작용 동안 제스처 기반 제어 명령들을 생성하는 방법.
  9. 제 5 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 방법은:
    상기 정보 제공 영역 상에, 적어도 하나의 그래픽 사용자 인터페이스 컴포넌트를 나타내면서 상기 사용자 생성 제스처 기반 제어 명령들에 기초하여 조작되도록 구성된 적어도 하나의 객체를 나타내는 단계;
    상기 시선 데이터 신호들에 기초하여 상기 사용자의 시선점이 객체 상에 또는 해당 객체를 둘러싼 영역 내에 있는지의 여부를 결정하는 단계;
    상기 사용자의 시선점이 해당 객체 상에 또는 해당 객체를 둘러싼 영역 내에 있는 경우, 상기 입력 수단을 통한 사용자 입력으로부터 발생된 사용자 생성 활성화 명령과 동기화되는 상기 객체의 사용자 활성화를 인에이블하는 단계를 더 포함하고,
    상기 활성화된 객체는 상기 입력 수단을 통한 사용자 입력으로부터 발생된 사용자 생성 명령들에 의해 조작될 수 있는, 컴퓨터 디바이스와 연동되는 정보 제공 영역과의 사용자 상호작용 동안 제스처 기반 제어 명령들을 생성하는 방법.
  10. 제 5 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 방법은 제스처 기반 제어 명령들을 획득하는 단계를 더 포함하고,
    사용자는 터치패드를 포함하는 입력 수단의 표면 상에서의 압박 상태의 핀칭 움직임(pinching movement)에 의해 상기 정보 제공 영역 상에 나타나 있는 객체의 줌 아웃(zooming out)을 야기하는 제어 명령을 생성할 수 있는, 컴퓨터 디바이스와 연동되는 정보 제공 영역과의 사용자 상호작용 동안 제스처 기반 제어 명령들을 생성하는 방법.
  11. 제 5 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 방법은 제스처 기반 제어 명령들을 획득하는 단계를 더 포함하고,
    사용자는 터치패드를 포함하는 입력 수단의 표면 상에서의 회전 움직임(rotational movement)에 의해 상기 정보 제공 영역 상에 나타나 있는 객체의 회전을 야기하는 제어 명령을 생성할 수 있는, 컴퓨터 디바이스와 연동되는 정보 제공 영역과의 사용자 상호작용 동안 제스처 기반 제어 명령들을 생성하는 방법.
  12. 정보 제공 영역과 연동되고, 사용자 생성 제스처들을 검출하도록 적응된 입력 수단 및 상기 정보 제공 영역의 관측자의 시선 데이터를 검출하도록 적응된 시선 추적 모듈을 포함하는 무선 송/수신 유닛(WTRU)으로서,
    상기 WTRU는 제어 모듈을 더 포함하고,
    상기 제어 모듈은,
    상기 입력 수단으로부터의 사용자 입력 및 상기 시선 추적 모듈로부터의 시선 데이터 신호들을 획득하고;
    상기 사용자 입력에 기초하여 적어도 하나의 사용자 생성 제스처 기반 제어 명령을 결정하고;
    적어도 상기 시선 데이터 신호들에 기초하여 사용자의 시선점을 포함하는 상기 정보 제공 영역 상에서 시선점 영역을 결정하고; 또한
    상기 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 제어 명령에 기초하여 상기 정보 제공 영역에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하도록 구성되고,
    상기 사용자 동작은 상기 결정된 시선점 영역을 시작점으로 하여 실행되는,
    무선 송/수신 유닛.
  13. 정보 제공 영역과의 사용자 상호작용을 위한 시스템으로서,
    사용자 생성 제스처들을 검출하도록 적응된 입력 수단;
    상기 정보 제공 영역의 관측자의 시선 데이터를 검출하도록 적응된 시선 추적 모듈; 및
    제어 모듈을 포함하고,
    상기 제어 모듈은,
    상기 입력 수단으로부터의 사용자 입력 및 상기 시선 추적 모듈로부터의 시선 데이터 신호들을 획득하고;
    상기 사용자 입력에 기초하여 적어도 하나의 사용자 생성 제스처 기반 제어 명령을 결정하고;
    적어도 상기 시선 데이터 신호들에 기초하여 사용자의 시선점을 포함하는 상기 정보 제공 영역 상에서 시선점 영역을 결정하고; 또한
    상기 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 제어 명령에 기초하여 상기 그래픽 정보 제공 영역에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하도록 구성되고, 상기 사용자 동작은 상기 결정된 시선점 영역을 시작점으로 하여 실행되는,
    정보 제공 영역과의 사용자 상호작용을 위한 시스템.
  14. 정보 제공 영역과 연동되는 컴퓨터 디바이스로서,
    사용자 생성 제스처들을 검출하도록 적응된 입력 수단;
    상기 정보 제공 영역의 관측자의 시선 데이터를 검출하도록 적응된 시선 추적 모듈; 및
    제어 모듈을 포함하고,
    상기 제어 모듈은,
    사용자 생성 제스처들을 검출하도록 적응된 상기 입력 수단으로부터의 사용자 입력 및 상기 시선 추적 모듈로부터의 시선 데이터 신호들을 획득하고;
    상기 사용자 입력에 기초하여 적어도 하나의 사용자 생성 제스처 기반 제어 명령을 결정하고;
    적어도 상기 시선 데이터 신호들에 기초하여 사용자의 시선점을 포함하는 상기 정보 제공 영역 상에서 시선점 영역을 결정하고; 또한
    상기 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 제어 명령에 기초하여 상기 정보 제공 영역에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하도록 구성되고, 상기 사용자 동작은 상기 결정된 시선점 영역을 시작점으로 하여 실행되는,
    정보 제공 영역과 연동되는 컴퓨터 디바이스.
  15. 정보 제공 영역을 포함하고, 사용자 생성 제스처들을 검출하도록 적응된 입력 수단 및 상기 정보 제공 영역의 관측자의 시선 데이터를 검출하도록 적응된 시선 추적 모듈을 포함하는 핸드헬드 휴대용 디바이스로서,
    상기 핸드헬드 휴대용 디바이스는 제어 모듈을 더 포함하고,
    상기 제어 모듈은,
    상기 입력 수단으로부터의 사용자 입력 및 상기 시선 추적 모듈로부터의 시선 데이터 신호들을 획득하고;
    상기 사용자 입력에 기초하여 적어도 하나의 사용자 생성 제스처 기반 제어 명령을 결정하고;
    적어도 상기 시선 데이터 신호들에 기초하여 사용자의 시선점을 포함하는 상기 정보 제공 영역 상에서 시선점 영역을 결정하고; 또한
    상기 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 제어 명령에 기초하여 상기 정보 제공 영역에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하도록 구성되고,
    상기 사용자 동작은 상기 결정된 시선점 영역을 시작점으로 하여 실행되는,
    핸드헬드 휴대용 디바이스.
  16. 웨어러블 헤드 마운트(wearable head mounted) 정보 제공 영역과 사용자 상호작용하기 위한 시스템으로서,
    손목, 손, 또는 적어도 하나의 손가락에 착용되도록 적응된 입력 수단 - 상기 입력 수단은 사용자 생성 제스처들을 검출하도록 구성되고 제어 모듈과 무선 통신하도록 적응됨 -; 및
    상기 정보 제공 영역의 관측자의 시선 데이터를 검출하도록 적응된 시선 추적 모듈을 포함하고,
    상기 제어 모듈은,
    상기 입력 수단으로부터의 사용자 입력 및 상기 시선 추적 모듈로부터의 시선 데이터 신호들을 획득하고;
    상기 사용자 입력에 기초하여 적어도 하나의 사용자 생성 제스처 기반 제어 명령을 결정하고;
    적어도 상기 시선 데이터 신호들에 기초하여 사용자의 시선점을 포함하는 상기 정보 제공 영역 상에서 시선점 영역을 결정하고; 또한
    상기 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 제어 명령에 기초하여 상기 그래픽 정보 제공 영역에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하도록 구성되고, 상기 사용자 동작은 상기 결정된 시선점 영역을 시작점으로 하여 실행되는,
    웨어러블 헤드 마운트 정보 제공 영역과 사용자 상호작용하기 위한 시스템.
  17. 정보 제공 영역과의 사용자 상호작용을 위한 시스템으로서,
    사용자 생성 제스처들을 검출하도록 적응된 입력 수단 - 상기 입력 수단은 차량의 스티어링 디바이스에 배열되거나 차량의 스티어링 디바이스에 통합되도록 적응된 적어도 하나의 터치패드를 포함 -;
    상기 정보 제공 영역의 관측자의 시선 데이터를 검출하도록 적응된 시선 추적 모듈; 및
    제어 모듈을 포함하고,
    상기 제어 모듈은,
    상기 입력 수단으로부터의 사용자 입력 및 상기 시선 추적 모듈로부터의 시선 데이터 신호들을 획득하고;
    상기 사용자 입력에 기초하여 적어도 하나의 사용자 생성 제스처 기반 제어 명령을 결정하고;
    적어도 상기 시선 데이터 신호들에 기초하여 사용자의 시선점을 포함하는 상기 정보 제공 영역 상에서 시선점 영역을 결정하고; 또한
    상기 결정된 시선점 영역 및 적어도 하나의 사용자 생성 제스처 기반 제어 명령에 기초하여 상기 그래픽 정보 제공 영역에 나타나 있는 뷰를 조작하는 적어도 하나의 사용자 동작을 실행하도록 구성되고, 상기 사용자 동작은 상기 결정된 시선점 영역을 시작점으로 하여 실행되는,
    정보 제공 영역과의 사용자 상호작용을 위한 시스템.
KR1020147021352A 2012-01-04 2012-12-17 시선 상호작용을 위한 시스템 KR20140117469A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261583013P 2012-01-04 2012-01-04
US61/583,013 2012-01-04
US13/646,299 US10013053B2 (en) 2012-01-04 2012-10-05 System for gaze interaction
US13/646,299 2012-10-05
PCT/EP2012/075767 WO2013102551A1 (en) 2012-01-04 2012-12-17 System for gaze interaction

Publications (1)

Publication Number Publication Date
KR20140117469A true KR20140117469A (ko) 2014-10-07

Family

ID=48694442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147021352A KR20140117469A (ko) 2012-01-04 2012-12-17 시선 상호작용을 위한 시스템

Country Status (7)

Country Link
US (4) US10013053B2 (ko)
EP (1) EP2801009B1 (ko)
KR (1) KR20140117469A (ko)
CN (2) CN104145232B (ko)
CA (1) CA2860381A1 (ko)
ES (1) ES2761198T3 (ko)
WO (1) WO2013102551A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160067622A (ko) * 2014-12-04 2016-06-14 삼성전자주식회사 전자 디바이스 및 전자 디바이스를 통하여 글자 입력을 수신하기 위한 방법
WO2017183943A1 (ko) * 2016-04-21 2017-10-26 주식회사 비주얼캠프 표시 장치와 이를 이용한 입력 처리 방법 및 시스템
US10162998B2 (en) 2014-12-11 2018-12-25 Hyundai Motor Company Wearable glasses, control method thereof, and vehicle control system
US10423225B2 (en) 2016-04-21 2019-09-24 Visualcamp Co., Ltd. Display apparatus, and input processing method and system using same
WO2020218859A1 (ko) * 2019-04-25 2020-10-29 주식회사 비주얼캠프 사용자 입력 방법 및 이를 수행하기 위한 사용자 인터페이스 장치

Families Citing this family (268)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
BR112014010230A8 (pt) 2011-10-28 2017-06-20 Magic Leap Inc sistema e método para realidade virtual e aumentada
US10394320B2 (en) 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
US10540008B2 (en) 2012-01-04 2020-01-21 Tobii Ab System for gaze interaction
US10025381B2 (en) 2012-01-04 2018-07-17 Tobii Ab System for gaze interaction
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US10488919B2 (en) 2012-01-04 2019-11-26 Tobii Ab System for gaze interaction
KR20130120599A (ko) * 2012-04-26 2013-11-05 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP5342040B1 (ja) * 2012-06-07 2013-11-13 株式会社エヌ・ティ・ティ・ドコモ 表示装置、表示方法及びプログラム
US9582035B2 (en) 2014-02-25 2017-02-28 Medibotics Llc Wearable computing devices and methods for the wrist and/or forearm
US10314492B2 (en) 2013-05-23 2019-06-11 Medibotics Llc Wearable spectroscopic sensor to measure food consumption based on interaction between light and the human body
US20130342672A1 (en) * 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
US9575960B1 (en) * 2012-09-17 2017-02-21 Amazon Technologies, Inc. Auditory enhancement using word analysis
US9201500B2 (en) * 2012-09-28 2015-12-01 Intel Corporation Multi-modal touch screen emulator
US10585530B2 (en) 2014-09-23 2020-03-10 Neonode Inc. Optical proximity sensor
US9921661B2 (en) 2012-10-14 2018-03-20 Neonode Inc. Optical proximity sensor and associated user interface
US9164625B2 (en) 2012-10-14 2015-10-20 Neonode Inc. Proximity sensor for determining two-dimensional coordinates of a proximal object
US20140111452A1 (en) * 2012-10-23 2014-04-24 Electronics And Telecommunications Research Institute Terminal and method of controlling touch operations in the terminal
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
TW201421340A (zh) * 2012-11-29 2014-06-01 Egalax Empia Technology Inc 一種放大影像的電子裝置與方法
US9829971B2 (en) * 2013-01-21 2017-11-28 Facebook, Inc. Systems and methods of eye tracking control
US8814683B2 (en) 2013-01-22 2014-08-26 Wms Gaming Inc. Gaming system and methods adapted to utilize recorded player gestures
US10365874B2 (en) * 2013-01-28 2019-07-30 Sony Corporation Information processing for band control of a communication stream
JP2014153663A (ja) * 2013-02-13 2014-08-25 Sony Corp 音声認識装置、および音声認識方法、並びにプログラム
US9791921B2 (en) 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
US9619020B2 (en) * 2013-03-01 2017-04-11 Tobii Ab Delay warp gaze interaction
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
KR102117086B1 (ko) * 2013-03-08 2020-06-01 삼성디스플레이 주식회사 단말기 및 그의 조작 방법
JP5962547B2 (ja) * 2013-03-08 2016-08-03 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US11747895B2 (en) * 2013-03-15 2023-09-05 Intuitive Surgical Operations, Inc. Robotic system providing user selectable actions associated with gaze tracking
US9170724B2 (en) * 2013-04-01 2015-10-27 Jet Optoelectronics Co., Ltd. Control and display system
KR102111457B1 (ko) * 2013-05-15 2020-05-15 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US20140368432A1 (en) * 2013-06-17 2014-12-18 Tencent Technology (Shenzhen) Company Limited Wearable smart glasses as well as device and method for controlling the same
WO2014205422A2 (en) 2013-06-20 2014-12-24 Parshionikar Uday Systems, methods, apparatuses, computer readable medium for controlling electronic devices
WO2015001547A1 (en) * 2013-07-01 2015-01-08 Inuitive Ltd. Aligning gaze and pointing directions
US9113036B2 (en) * 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
CN104349002B (zh) * 2013-07-30 2017-11-21 柯尼卡美能达株式会社 操作装置以及图像处理装置
DE102013013362A1 (de) * 2013-08-09 2015-02-12 Daimler Ag Verfahren und Vorrichtung zum komprimierten Übertragen von Bewegungskoordinaten aufweisenden Signalen eines Bedienelements in einem Fahrzeug
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
EP2843507A1 (en) 2013-08-26 2015-03-04 Thomson Licensing Display method through a head mounted device
US9400553B2 (en) 2013-10-11 2016-07-26 Microsoft Technology Licensing, Llc User interface programmatic scaling
KR101503159B1 (ko) * 2013-10-15 2015-03-16 (주)이스트소프트 시선의 위치를 감지하여 터치스크린을 제어하는 방법
JP6165979B2 (ja) * 2013-11-01 2017-07-19 インテル コーポレイション 注視補助型タッチスクリーン入力
DE102013019200A1 (de) * 2013-11-15 2015-05-21 Audi Ag Verfahren zum Betreiben eines Bediensystems, Bediensystem und Vorrichtung mit einem Bediensystem
US10558262B2 (en) * 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
CN104679226B (zh) * 2013-11-29 2019-06-25 上海西门子医疗器械有限公司 非接触式医疗控制***、方法及医疗设备
DE102013226244A1 (de) * 2013-12-17 2015-06-18 Siemens Aktiengesellschaft Medizintechnische Steuerung
JP6260255B2 (ja) * 2013-12-18 2018-01-17 株式会社デンソー 表示制御装置およびプログラム
DE102013022035B4 (de) * 2013-12-20 2015-11-12 Audi Ag Kraftfahrzeug-Bedienvorrichtung mit graphischer Benutzerschnittstelle, sowie Kraftfahrzeug und Verfahren
DE102013021931A1 (de) * 2013-12-20 2015-06-25 Audi Ag Tastenlos bedienbare Bedienvorrichtung
US9244539B2 (en) * 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
JP2015133088A (ja) * 2014-01-16 2015-07-23 カシオ計算機株式会社 Ｇｕｉシステム、表示処理装置、入力処理装置及びプログラム
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US20160018645A1 (en) 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9311718B2 (en) * 2014-01-23 2016-04-12 Microsoft Technology Licensing, Llc Automated content scrolling
US9201578B2 (en) * 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
JP2015153195A (ja) * 2014-02-14 2015-08-24 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US10429888B2 (en) 2014-02-25 2019-10-01 Medibotics Llc Wearable computer display devices for the forearm, wrist, and/or hand
KR20150107528A (ko) * 2014-03-14 2015-09-23 삼성전자주식회사 사용자 인터페이스를 제공하는 방법과 전자 장치
KR20150108216A (ko) * 2014-03-17 2015-09-25 삼성전자주식회사 입력 처리 방법 및 그 전자 장치
US9804753B2 (en) 2014-03-20 2017-10-31 Microsoft Technology Licensing, Llc Selection using eye gaze evaluation over time
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US20160137312A1 (en) 2014-05-06 2016-05-19 Osterhout Group, Inc. Unmanned aerial vehicle launch system
US10416759B2 (en) * 2014-05-13 2019-09-17 Lenovo (Singapore) Pte. Ltd. Eye tracking laser pointer
US9594427B2 (en) 2014-05-23 2017-03-14 Microsoft Technology Licensing, Llc Finger tracking
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9874744B2 (en) 2014-06-25 2018-01-23 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
EP2960775A1 (en) * 2014-06-29 2015-12-30 TradAir Ltd. Methods and systems for secure touch screen input
US9678567B2 (en) 2014-07-16 2017-06-13 Avaya Inc. Indication of eye tracking information during real-time communications
EP3172653A4 (en) * 2014-07-25 2018-01-17 Samsung Electronics Co., Ltd. Displaying method, animation image generating method, and electronic device configured to execute the same
WO2016013893A1 (en) 2014-07-25 2016-01-28 Samsung Electronics Co., Ltd. Displaying method, animation image generating method, and electronic device configured to execute the same
US9922439B2 (en) 2014-07-25 2018-03-20 Samsung Electronics Co., Ltd. Displaying method, animation image generating method, and electronic device configured to execute the same
WO2016017945A1 (en) * 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device
WO2016017956A1 (en) * 2014-07-30 2016-02-04 Samsung Electronics Co., Ltd. Wearable device and method of operating the same
WO2016029422A1 (en) 2014-08-29 2016-03-03 Hewlett-Packard Development Company, L.P. Touchscreen gestures
US9582076B2 (en) * 2014-09-17 2017-02-28 Microsoft Technology Licensing, Llc Smart ring
JP6367673B2 (ja) * 2014-09-29 2018-08-01 京セラ株式会社 電子機器
KR102337682B1 (ko) * 2014-10-01 2021-12-09 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
EP3007051A1 (en) * 2014-10-10 2016-04-13 Thomson Licensing Method for applying at least one operation on one or several objects displayed on a display interface of a device equipped with at least one microphone
CN104360787A (zh) * 2014-10-17 2015-02-18 联想(北京)有限公司 一种显示方法及电子设备
CN107111355B (zh) * 2014-11-03 2021-03-12 宝马股份公司 用于校准眼睛跟踪***的方法和***
CN107206896B (zh) * 2014-12-22 2021-03-05 大众汽车有限公司 手指板条和手指板条的应用
US20160187976A1 (en) * 2014-12-29 2016-06-30 Immersion Corporation Systems and methods for generating haptic effects based on eye tracking
CN108351519A (zh) 2015-02-17 2018-07-31 赛尔米克实验室公司 用于在可穿戴式平视显示器中进行适眼区扩大的***、设备和方法
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
EP3258876B1 (en) * 2015-02-20 2023-10-18 Covidien LP Operating room and surgical site awareness
US9851790B2 (en) * 2015-02-27 2017-12-26 Lenovo (Singapore) Pte. Ltd. Gaze based notification reponse
WO2016145580A1 (zh) * 2015-03-13 2016-09-22 华为技术有限公司 一种电子设备、拍照方法及拍照装置
CN104699249B (zh) * 2015-03-27 2018-04-27 联想(北京)有限公司 一种信息处理方法及电子设备
US10133075B2 (en) 2015-05-04 2018-11-20 Thalmic Labs Inc. Systems, devices, and methods for angle- and wavelength-multiplexed holographic optical elements
NZ737402A (en) 2015-05-19 2023-06-30 Magic Leap Inc Dual composite light field device
US11252399B2 (en) * 2015-05-28 2022-02-15 Microsoft Technology Licensing, Llc Determining inter-pupillary distance
US10488661B2 (en) 2015-05-28 2019-11-26 North Inc. Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
US10229429B2 (en) * 2015-06-26 2019-03-12 International Business Machines Corporation Cross-device and cross-channel advertising and remarketing
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
CN105630324A (zh) * 2015-08-31 2016-06-01 宇龙计算机通信科技(深圳)有限公司 一种显示器之间的切换方法、装置及***
JP6407824B2 (ja) * 2015-09-01 2018-10-17 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
CA2996721A1 (en) 2015-09-04 2017-03-09 Thalmic Labs Inc. Systems, articles, and methods for integrating holographic optical elements with eyeglass lenses
US10382746B1 (en) * 2015-09-22 2019-08-13 Rockwell Collins, Inc. Stereoscopic augmented reality head-worn display with indicator conforming to a real-world object
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
WO2017053971A1 (en) * 2015-09-24 2017-03-30 Tobii Ab Eye-tracking enabled wearable devices
WO2017059285A1 (en) * 2015-10-01 2017-04-06 Thalmic Labs Inc. Systems, devices, and methods for interacting with content displayed on head-mounted displays
EP3156879A1 (en) * 2015-10-14 2017-04-19 Ecole Nationale de l'Aviation Civile Historical representation in gaze tracking interface
US9904051B2 (en) 2015-10-23 2018-02-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
CN105357381A (zh) * 2015-10-28 2016-02-24 努比亚技术有限公司 一种终端操作方法和智能终端
CN105468144B (zh) 2015-11-17 2019-02-12 小米科技有限责任公司 智能设备控制方法及装置
US10802190B2 (en) 2015-12-17 2020-10-13 Covestro Llc Systems, devices, and methods for curved holographic optical elements
CN105677026B (zh) * 2015-12-31 2020-01-31 联想(北京)有限公司 信息处理方法及电子设备
US10303246B2 (en) 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
JP6712865B2 (ja) * 2016-01-27 2020-06-24 株式会社コーエーテクモゲームス 情報処理装置、設定画面表示方法及び設定画面表示プログラム
US10151926B2 (en) 2016-01-29 2018-12-11 North Inc. Systems, devices, and methods for preventing eyebox degradation in a wearable heads-up display
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9826299B1 (en) 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US10594974B2 (en) 2016-04-07 2020-03-17 Tobii Ab Image sensor for vision based on human computer interaction
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
KR20180132854A (ko) 2016-04-13 2018-12-12 탈믹 랩스 인크 레이저 프로젝터를 집속하기 위한 시스템, 장치 및 방법
WO2017186320A1 (en) 2016-04-29 2017-11-02 Tobii Ab Eye-tracking enabled wearable devices
US10223067B2 (en) 2016-07-15 2019-03-05 Microsoft Technology Licensing, Llc Leveraging environmental context for enhanced communication throughput
US10277874B2 (en) 2016-07-27 2019-04-30 North Inc. Systems, devices, and methods for laser projectors
US10459221B2 (en) 2016-08-12 2019-10-29 North Inc. Systems, devices, and methods for variable luminance in wearable heads-up displays
KR20180028796A (ko) * 2016-09-09 2018-03-19 삼성전자주식회사 이미지 표시 방법, 저장 매체 및 전자 장치
CN106200679B (zh) * 2016-09-21 2019-01-29 中国人民解放军国防科学技术大学 基于多模态自然交互的单操作员多无人机混合主动控制方法
CN106569598A (zh) * 2016-10-31 2017-04-19 努比亚技术有限公司 菜单栏的管理装置及方法
US10088902B2 (en) 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
US10345596B2 (en) 2016-11-10 2019-07-09 North Inc. Systems, devices, and methods for astigmatism compensation in a wearable heads-up display
WO2018097632A1 (en) * 2016-11-25 2018-05-31 Samsung Electronics Co., Ltd. Method and device for providing an image
CA3045192A1 (en) 2016-11-30 2018-06-07 North Inc. Systems, devices, and methods for laser eye tracking in wearable heads-up displays
US10379612B1 (en) * 2016-12-16 2019-08-13 Apple Inc. Electronic device with gaze tracking system
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US10663732B2 (en) 2016-12-23 2020-05-26 North Inc. Systems, devices, and methods for beam combining in wearable heads-up displays
US10620910B2 (en) * 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10437073B2 (en) 2017-01-25 2019-10-08 North Inc. Systems, devices, and methods for beam combining in laser projectors
US10977858B2 (en) 2017-03-30 2021-04-13 Magic Leap, Inc. Centralized rendering
JP2020512771A (ja) 2017-03-30 2020-04-23 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 非遮断型デュアルドライバイヤホン
AU2018252665A1 (en) 2017-04-14 2019-10-17 Magic Leap, Inc. Multimodal eye tracking
IL252056A (en) 2017-05-01 2018-04-30 Elbit Systems Ltd Head-up display device, system and method
US11079522B1 (en) 2017-05-31 2021-08-03 Magic Leap, Inc. Fiducial design
CN107239222B (zh) * 2017-06-02 2021-06-22 汪念鸿 一种触摸屏的操控方法及终端设备
CN110799932A (zh) * 2017-06-29 2020-02-14 麦克赛尔株式会社 便携终端
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
DE102017213005A1 (de) 2017-07-27 2019-01-31 Audi Ag Verfahren zum Darstellen eines Anzeigeinhalts
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US10152141B1 (en) 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
KR20200101906A (ko) 2017-08-23 2020-08-28 뉴레이블 인크. 고속 눈 추적 피처들을 갖는 뇌-컴퓨터 인터페이스
US10928895B2 (en) 2017-09-21 2021-02-23 Tobii Ab Systems and methods for interacting with a computing device using gaze information
US10761603B2 (en) * 2017-10-16 2020-09-01 Tobii Ab Computing device accessibility via eye tracking
CA3078420A1 (en) 2017-10-17 2019-04-25 Magic Leap, Inc. Mixed reality spatial audio
WO2019079894A1 (en) 2017-10-23 2019-05-02 North Inc. MULTIPLE LASER DIODE MODULES WITH FREE SPACES
US10678116B1 (en) 2017-11-09 2020-06-09 Facebook Technologies, Llc Active multi-color PBP elements
JP7496776B2 (ja) 2017-11-13 2024-06-07 ニューラブル インコーポレイテッド 高速、正確及び直観的なユーザ対話のための適合を有する脳－コンピュータインターフェース
US10732826B2 (en) * 2017-11-22 2020-08-04 Microsoft Technology Licensing, Llc Dynamic device interaction adaptation based on user engagement
US10572007B2 (en) 2017-12-15 2020-02-25 International Business Machines Corporation Preventing unintended input
US10739861B2 (en) * 2018-01-10 2020-08-11 Facebook Technologies, Llc Long distance interaction with artificial reality objects using a near eye display interface
CN111712192B (zh) 2018-01-18 2024-07-02 神经股份有限公司 具有对于高速、准确和直观的用户交互的适配的大脑-计算机接口
US20190253700A1 (en) 2018-02-15 2019-08-15 Tobii Ab Systems and methods for calibrating image sensors in wearable apparatuses
JP7252965B2 (ja) 2018-02-15 2023-04-05 マジック リープ， インコーポレイテッド 複合現実のための二重聴取者位置
WO2019161312A1 (en) 2018-02-15 2019-08-22 Magic Leap, Inc. Mixed reality musical instrument
CN116781827A (zh) 2018-02-15 2023-09-19 奇跃公司 混合现实虚拟混响
US10534982B2 (en) 2018-03-30 2020-01-14 Tobii Ab Neural network training for three dimensional (3D) gaze prediction with calibration parameters
WO2019190561A1 (en) 2018-03-30 2019-10-03 Tobii Ab Deep learning for three dimensional (3d) gaze prediction
US10558895B2 (en) 2018-03-30 2020-02-11 Tobii Ab Deep learning for three dimensional (3D) gaze prediction
US10671890B2 (en) 2018-03-30 2020-06-02 Tobii Ab Training of a neural network for three dimensional (3D) gaze prediction
CN108519834A (zh) * 2018-04-04 2018-09-11 Oppo广东移动通信有限公司 图像显示方法、装置、存储介质和电子设备
US11204501B2 (en) 2018-04-24 2021-12-21 Mentor Acquisition One, Llc See-through computer display systems with vision correction and increased content density
US10871874B2 (en) 2018-05-09 2020-12-22 Mirametrix Inc. System and methods for device interaction using a pointing device and attention sensing device
US10528131B2 (en) * 2018-05-16 2020-01-07 Tobii Ab Method to reliably detect correlations between gaze and stimuli
WO2019221724A1 (en) 2018-05-16 2019-11-21 Tobii Ab Method to reliably detect correlations between gaze and stimuli
WO2019221654A1 (en) 2018-05-17 2019-11-21 Tobii Ab Autoencoding generative adversarial network for augmenting training data usable to train predictive models
US10667072B2 (en) 2018-06-12 2020-05-26 Magic Leap, Inc. Efficient rendering of virtual soundfields
EP4390918A3 (en) 2018-06-14 2024-08-14 Magic Leap, Inc. Reverberation gain normalization
WO2019241760A1 (en) 2018-06-14 2019-12-19 Magic Leap, Inc. Methods and systems for audio signal filtering
CN112567768B (zh) 2018-06-18 2022-11-15 奇跃公司 用于交互式音频环境的空间音频
CN110682912B (zh) * 2018-06-19 2023-03-31 斑马智行网络(香港)有限公司 一种数据处理方法、装置和机器可读介质
EP3811360A4 (en) 2018-06-21 2021-11-24 Magic Leap, Inc. PORTABLE SYSTEM VOICE PROCESSING
US11080417B2 (en) * 2018-06-26 2021-08-03 Google Llc Private eye-to-eye communications with wearable heads up display
EP3824371B1 (en) 2018-07-20 2023-01-04 Tobii AB Distributed foveated rendering based on user gaze
US11201953B2 (en) 2018-07-24 2021-12-14 Magic Leap, Inc. Application sharing
US11858526B2 (en) 2018-07-26 2024-01-02 Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for use with vehicle
JP6971932B2 (ja) * 2018-07-27 2021-11-24 日本電信電話株式会社 映像操作装置、映像操作方法、及び映像操作プログラム
US10996748B2 (en) 2018-09-10 2021-05-04 Apple Inc. Gaze-dependent display encryption
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
US11094127B2 (en) 2018-09-25 2021-08-17 Magic Leap, Inc. Systems and methods for presenting perspective views of augmented reality virtual object
EP3861767A4 (en) 2018-10-05 2021-12-15 Magic Leap, Inc. CLOSE-FIELD AUDIO RENDERING
JP2022504203A (ja) 2018-10-05 2022-01-13 マジック リープ， インコーポレイテッド オーディオ空間化のための強調
EP3864575A4 (en) 2018-10-09 2021-12-01 Magic Leap, Inc. VIRTUAL AND AUGMENTED REALITY SYSTEMS AND PROCESSES
US11183140B2 (en) 2018-10-10 2021-11-23 International Business Machines Corporation Human relationship-aware augmented display
CN112840379A (zh) * 2018-10-15 2021-05-25 索尼公司 信息处理装置、信息处理方法及程序
US11487316B2 (en) 2018-10-24 2022-11-01 Magic Leap, Inc. Asynchronous ASIC
US11353952B2 (en) 2018-11-26 2022-06-07 Tobii Ab Controlling illuminators for optimal glints
SE1851597A1 (en) * 2018-12-17 2020-06-02 Tobii Ab Gaze tracking via tracing of light paths
JP2022516074A (ja) 2018-12-27 2022-02-24 マジック リープ， インコーポレイテッド 仮想および拡張現実のためのシステムおよび方法
KR20200091988A (ko) * 2019-01-23 2020-08-03 삼성전자주식회사 장치를 제어하기 위한 방법 및 그 전자 장치
CN113678096A (zh) * 2019-02-13 2021-11-19 曹新林 用于在计算机图形软件环境中处理命令的***和方法
US10825196B2 (en) 2019-02-15 2020-11-03 Universal City Studios Llc Object orientation detection system
WO2020180719A1 (en) 2019-03-01 2020-09-10 Magic Leap, Inc. Determining input for speech processing engine
US11720178B2 (en) * 2019-03-15 2023-08-08 Sony Group Corporation Information processing device, information processing method, and computer-readable recording medium
JP7369212B2 (ja) 2019-06-06 2023-10-25 マジック リープ， インコーポレイテッド 空間コンピューティングのための写実的キャラクタ構成
US11704874B2 (en) 2019-08-07 2023-07-18 Magic Leap, Inc. Spatial instructions and guides in mixed reality
US11328740B2 (en) 2019-08-07 2022-05-10 Magic Leap, Inc. Voice onset detection
WO2021044117A1 (en) 2019-09-06 2021-03-11 Bae Systems Plc User-vehicle interface
EP3809251A1 (en) * 2019-10-17 2021-04-21 BAE SYSTEMS plc User-vehicle interface
EP4046138A4 (en) 2019-10-18 2022-12-07 Magic Leap, Inc. GRAVITY ESTIMATION AND BUNDLE ADJUSTMENT FOR VISUAL INERTIAL ODOMETRY
CN114586382A (zh) 2019-10-25 2022-06-03 奇跃公司 混响指纹估计
EP4049117A4 (en) 2019-10-25 2022-12-14 Magic Leap, Inc. NON-UNIFORM STEREOSCOPIC RENDERING
US11959997B2 (en) 2019-11-22 2024-04-16 Magic Leap, Inc. System and method for tracking a wearable device
US11381791B2 (en) 2019-12-04 2022-07-05 Magic Leap, Inc. Variable-pitch color emitting display
WO2021113781A1 (en) 2019-12-06 2021-06-10 Magic Leap, Inc. Environment acoustics persistence
US11269181B2 (en) 2019-12-09 2022-03-08 Magic Leap, Inc. Systems and methods for operating a head-mounted display system based on user identity
US11337023B2 (en) 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis
CN115039060A (zh) 2019-12-31 2022-09-09 内奥诺德公司 非接触式触摸输入***
CN113220111A (zh) * 2020-01-21 2021-08-06 厦门歌乐电子企业有限公司 一种车载设备控制装置及方法
CN118276683A (zh) 2020-02-14 2024-07-02 奇跃公司 工具桥
EP4103999A4 (en) 2020-02-14 2023-08-02 Magic Leap, Inc. SESSION MANAGER
JP2023513746A (ja) 2020-02-14 2023-04-03 マジック リープ， インコーポレイテッド マルチアプリケーションオーディオレンダリング
US11778410B2 (en) 2020-02-14 2023-10-03 Magic Leap, Inc. Delayed audio following
EP4104002A4 (en) 2020-02-14 2023-08-09 Magic Leap, Inc. 3D OBJECT ANNOTATION
US11627428B2 (en) 2020-03-02 2023-04-11 Magic Leap, Inc. Immersive audio platform
US11917384B2 (en) 2020-03-27 2024-02-27 Magic Leap, Inc. Method of waking a device using spoken voice commands
EP4158908A4 (en) 2020-05-29 2023-11-29 Magic Leap, Inc. SURFACE COLLISIONS
JP2023527357A (ja) 2020-05-29 2023-06-28 マジック リープ， インコーポレイテッド 角加速の決定
US11630639B2 (en) * 2020-12-08 2023-04-18 Samsung Electronics Co., Ltd. Control method of electronic device using a plurality of sensors and electronic device thereof
CN115176275A (zh) * 2020-12-24 2022-10-11 京东方科技集团股份有限公司 图像畸变处理方法和装置
US11474598B2 (en) * 2021-01-26 2022-10-18 Huawei Technologies Co., Ltd. Systems and methods for gaze prediction on touch-enabled devices using touch interactions
CN112947761B (zh) * 2021-03-26 2023-07-28 芜湖汽车前瞻技术研究院有限公司 Ar-hud***的虚像位置调整方法、装置及存储介质
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
US20240256058A1 (en) 2021-05-27 2024-08-01 Telefonaktiebolaget Lm Ericsson (Publ) Backside user interface for handheld device
CN116225209A (zh) * 2022-11-03 2023-06-06 溥畅(杭州)智能科技有限公司 一种基于眼动追踪的人机交互方法及***
CN117348737A (zh) * 2023-12-06 2024-01-05 之江实验室 一种基于多通道交互的数据处理***及方法

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
US5859642A (en) * 1996-09-26 1999-01-12 Sandia Corporation Virtual button interface
US6204828B1 (en) 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US8482488B2 (en) 2004-12-22 2013-07-09 Oakley, Inc. Data input management system for wearable electronically enabled interface
JP2003337963A (ja) * 2002-05-17 2003-11-28 Seiko Epson Corp 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体
US20040138849A1 (en) * 2002-09-30 2004-07-15 Albrecht Schmidt Load sensing surface as pointing device
SE524003C2 (sv) 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US9274598B2 (en) 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
ES2568506T3 (es) * 2004-06-18 2016-04-29 Tobii Ab Control ocular de aparato computador
US7295904B2 (en) * 2004-08-31 2007-11-13 International Business Machines Corporation Touch gesture based interface for motor vehicle
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US20080147488A1 (en) * 2006-10-20 2008-06-19 Tunick James A System and method for monitoring viewer attention with respect to a display and determining associated charges
US20100277428A1 (en) 2007-08-31 2010-11-04 Itsuo Kumazawa Touch panel input assisting device, computer operating method using the device, and tactile sense interlocking program
ES2366490T3 (es) * 2007-12-05 2011-10-20 Almeva Ag Disposición de interacción para la interacción entre una pantalla y un objeto de puntero.
WO2009076702A1 (en) 2007-12-14 2009-06-25 Doubleiq Pty Ltd A method and apparatus for the display and/or processing of information, such as data
US20090251407A1 (en) * 2008-04-03 2009-10-08 Microsoft Corporation Device interaction with combination of rings
US20110012848A1 (en) 2008-04-03 2011-01-20 Dong Li Methods and apparatus for operating a multi-object touch handheld device with touch sensitive display
US20090273562A1 (en) * 2008-05-02 2009-11-05 International Business Machines Corporation Enhancing computer screen security using customized control of displayed content area
US8754855B2 (en) * 2008-06-27 2014-06-17 Microsoft Corporation Virtual touchpad
CN101344816B (zh) * 2008-08-15 2010-08-11 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
KR101596890B1 (ko) * 2009-07-29 2016-03-07 삼성전자주식회사 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US20110202842A1 (en) 2010-02-12 2011-08-18 Dynavox Systems, Llc System and method of creating custom media player interface for speech generation device
US8922480B1 (en) 2010-03-05 2014-12-30 Amazon Technologies, Inc. Viewer-based device control
KR101334107B1 (ko) * 2010-04-22 2013-12-16 주식회사 굿소프트웨어랩 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
US8810509B2 (en) 2010-04-27 2014-08-19 Microsoft Corporation Interfacing with a computing application using a multi-digit sensor
CN102270035A (zh) * 2010-06-04 2011-12-07 三星电子株式会社 以非触摸方式来选择和操作对象的设备和方法
US9557812B2 (en) 2010-07-23 2017-01-31 Gregory A. Maltz Eye gaze user interface and calibration method
US8593375B2 (en) 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
US8463075B2 (en) * 2010-08-11 2013-06-11 International Business Machines Corporation Dynamically resizing text area on a display device
KR101685991B1 (ko) 2010-09-30 2016-12-13 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
EP2503479B1 (en) 2011-03-21 2015-08-05 BlackBerry Limited Login method based on direction of gaze
CN102176191A (zh) * 2011-03-23 2011-09-07 山东大学 一种基于视线跟踪的电视机操控方法
US9363361B2 (en) 2011-04-12 2016-06-07 Microsoft Technology Licensing Llc Conduct and context relationships in mobile devices
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US20170235360A1 (en) 2012-01-04 2017-08-17 Tobii Ab System for gaze interaction
US10540008B2 (en) 2012-01-04 2020-01-21 Tobii Ab System for gaze interaction
US10025381B2 (en) 2012-01-04 2018-07-17 Tobii Ab System for gaze interaction
US10488919B2 (en) 2012-01-04 2019-11-26 Tobii Ab System for gaze interaction
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US10394320B2 (en) 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
US11169611B2 (en) 2012-03-26 2021-11-09 Apple Inc. Enhanced virtual touchpad
US10210480B2 (en) 2012-05-31 2019-02-19 Apple Inc. Avoiding a redundant display of a notification on multiple user devices
ES2898981T3 (es) 2012-08-09 2022-03-09 Tobii Ab Activación rápida en un sistema de seguimiento de la mirada
US9147248B2 (en) 2012-12-21 2015-09-29 Tobii Technology Ab Hardware calibration of eye tracker
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
KR102080183B1 (ko) 2013-04-18 2020-04-14 삼성전자주식회사 전자 장치 및 전자 장치에서 잠금 해제 방법
CN104750232B (zh) 2013-12-28 2017-12-29 华为技术有限公司 一种眼动跟踪方法及装置
US9766959B2 (en) 2014-03-18 2017-09-19 Google Inc. Determining user response to notifications based on a physiological parameter
US20150309566A1 (en) 2014-04-29 2015-10-29 Harman International Industries, Inc. Gaze tracking system
US10338677B2 (en) 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
EP3187977A1 (en) 2015-12-31 2017-07-05 Tobii AB System for gaze interaction

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160067622A (ko) * 2014-12-04 2016-06-14 삼성전자주식회사 전자 디바이스 및 전자 디바이스를 통하여 글자 입력을 수신하기 위한 방법
US10162998B2 (en) 2014-12-11 2018-12-25 Hyundai Motor Company Wearable glasses, control method thereof, and vehicle control system
WO2017183943A1 (ko) * 2016-04-21 2017-10-26 주식회사 비주얼캠프 표시 장치와 이를 이용한 입력 처리 방법 및 시스템
US10423225B2 (en) 2016-04-21 2019-09-24 Visualcamp Co., Ltd. Display apparatus, and input processing method and system using same
WO2020218859A1 (ko) * 2019-04-25 2020-10-29 주식회사 비주얼캠프 사용자 입력 방법 및 이를 수행하기 위한 사용자 인터페이스 장치
KR20200125062A (ko) * 2019-04-25 2020-11-04 주식회사 비주얼캠프 사용자 입력 방법 및 이를 수행하기 위한 사용자 인터페이스 장치

Also Published As

Publication number Publication date
US10013053B2 (en) 2018-07-03
EP2801009B1 (en) 2019-10-02
CN107368191B (zh) 2020-09-25
US20200174561A1 (en) 2020-06-04
CN104145232B (zh) 2017-09-22
ES2761198T3 (es) 2020-05-19
US10324528B2 (en) 2019-06-18
US11573631B2 (en) 2023-02-07
EP2801009A1 (en) 2014-11-12
US20210255700A1 (en) 2021-08-19
CN107368191A (zh) 2017-11-21
CN104145232A (zh) 2014-11-12
WO2013102551A1 (en) 2013-07-11
CA2860381A1 (en) 2013-07-11
US20180335838A1 (en) 2018-11-22
US20130169560A1 (en) 2013-07-04

Similar Documents

Publication Publication Date Title
US11573631B2 (en) System for gaze interaction
US20180364802A1 (en) System for gaze interaction
US10540008B2 (en) System for gaze interaction
US10353462B2 (en) Eye tracker based contextual action
US10394320B2 (en) System for gaze interaction
US20200285379A1 (en) System for gaze interaction
US20160109947A1 (en) System for gaze interaction
US10684751B2 (en) Display apparatus, display method, and program
US8976140B2 (en) Touch input processor, information processor, and touch input control method
KR20160005013A (ko) 지연 워프 시선 상호작용
EP3088997A1 (en) Delay warp gaze interaction
EP3187977A1 (en) System for gaze interaction
WO2018156912A1 (en) System for gaze interaction
Kajastila et al. Eyes-free interaction with free-hand gestures and auditory menus
KR20150049661A (ko) 터치패드 입력 정보 처리 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application