KR20020079847A - 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치 - Google Patents

가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치 Download PDF

Info

Publication number
KR20020079847A
KR20020079847A KR1020027010394A KR20027010394A KR20020079847A KR 20020079847 A KR20020079847 A KR 20020079847A KR 1020027010394 A KR1020027010394 A KR 1020027010394A KR 20027010394 A KR20027010394 A KR 20027010394A KR 20020079847 A KR20020079847 A KR 20020079847A
Authority
KR
South Korea
Prior art keywords
user
data
finger
keyboard
key
Prior art date
Application number
KR1020027010394A
Other languages
English (en)
Other versions
KR100811015B1 (ko
Inventor
아바스 라피
사이러스 밤지
나짐 카레미
쉬라즈 쉬브지
Original Assignee
카네스타, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 카네스타, 인코포레이티드 filed Critical 카네스타, 인코포레이티드
Publication of KR20020079847A publication Critical patent/KR20020079847A/ko
Application granted granted Critical
Publication of KR100811015B1 publication Critical patent/KR100811015B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1632—External expansion units, e.g. docking stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G06F1/1673—Arrangements for projecting a virtual keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/0221—Arrangements for reducing keyboard size for transport or storage, e.g. foldable keyboards, keyboards with collapsible keys
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/228—Character recognition characterised by the type of writing of three-dimensional handwriting, e.g. writing in the air

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Input From Keyboards Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

사용자는 키보드의 이미지와 같은 가상 입력 장치를 사용하는 PDA, 셀 텔레폰, 기구, 장치와 같은 컴패니언 시스템에 디지털 데이터를 입력한다. 센서는 실제 키보드상의 키에 관하여 사용자의 손가락의 위치로서 3차원 위치 정보를 캡쳐한다. 이 정보는 가상 키가 두드려질 때 손가락의 위치 및 속도 및 형태에 대해 결정하기 위해 처리된다. 처리된 디지털 정보는 컴패니언 시스템으로 출력된다. 이 컴패니언 시스템은 키보드의 이미지를 디스플레이할 수 있고, 사용자 손가락을 나타내는 키보드의 이미지를 포함할 수 있으며, 및/또는 상기 데이터로서 영숫자는 가상 입력 장치로 사용자에 의해 입력된다.

Description

가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치{METHOD AND APPARATUS FOR ENTERING DATA USING A VIRTUAL INPUT DEVICE}
입력 데이터를 수신하고 처리하는 컴퓨터 시스템은 기술분야에서 공지되어 있다. 통상적으로 이러한 시스템은 중앙 처리 장치(CPU), 지속성 롬(ROM), 램(RAM), CPU와 연결된 적어도 하나의 버스, 메모리, 장치가 입력 데이터 및 명령과 연결되는 적어도 하나의 입력 포트, 및 모티터가 결과를 디스플레이하기 위해 연결된 통상의 출력 포트를 포함한다. 데이터를 입력하는 통상의 기술은 키보드, 마우스, 조이스틱, 원격 제어 장치, 전자 펜, 터치 패널 또는 패드 또는 디스플레이 스크린, 스위치 및 놉을 사용하며, 최근에는 수기 인식 및 음성 인식을 사용한다.
최근에, 컴퓨터 시스템 및 컴퓨터 타입의 시스템은 대화식 TV, 셋톱 박스, 전자 캐시 레지스터, 합성 음악 발생기, 소위 개인용 디지털 보조장치(PDA)를 포함하는 휴대용 장치 및 무선 전화를 포함하는 새로운 세대의 전자 장치를 이용한다. 종래의 입력 방법 및 장치는 상기 시스템과 함께 사용될 경우 언제나 적절하거나 바람직한 것은 아니다.
예를 들어, 소정의 휴대용 컴퓨터 시스템은 전체 시스템이 사용자의 손이나 주머니에 적합할 수 있는 정도까지 소형화되었다. 작은 디스플레이를 보는 어려움을 극복하기 위해, 시스템 사용자가 착용하는 안경 프레임 상에 고정된 상업상 이용가능한 가상의 디스플레이 부품을 사용하는 것이 가능하다. 사용자는 부품을 통해 보며, 이는 1″VGA 디스플레이일 수 있으며, 대략 대각선으로 15″크기의 큰 디스플레이에 나타난 것을 본다.
연구를 통해, 키보드 및/또는 마우스 같은 입력 장치의 사용은 관련된 컴퓨터 또는 컴퓨터 같은 시스템에서 데이터를 입력하거나 편집하는 가장 효율적인 기술임을 알 수 있다. 유감스럽게도, 입력 장치가 작을수록 실질적으로 데이터가 입력되는 속도가 늦을 수 있기 때문에, 더 작은 크기의 입력 장치와 관련한 문제를 극복하는 것이 더욱 어렵다. 예를 들어, 소정의 PDA 시스템은 3″×7″크기의 키보드를 가진다. 비록 키보드를 통해서 데이터가 PDA로 입력될 수 있지만, 대략 6″×12″ 크기인 표준 크기의 키보드를 사용할 때보다 키보드 입력 속도가 감소되며 많은 불편함이 있다. 다른 PDA 시스템은 키보드를 제거하고 사용자가 철필을 사용하여 영숫자 문자를 기록하는 터치 스크린을 제공한다. 이어 PDA 내의 수기인식 소프트웨어는 사용자가 터치 감지식 스크린 상에 철필로 기록한 영숫자 문자를 번역 및 인식한다. 소정의 PDA는 터치 감지식 스크린 상에 키보드의 이미지를 디스플레이할 수 있으며 사용자가 철필로 다양한 키의 이미지를 터칭함으로써 데이터를 입력할 수 있도록 한다. 다른 시스템에서, 사용자와 컴퓨터 시스템 사이의 거리가 유선 결합된 입력 장치의 사용의 편리함을 방해하는데, 예를 들어 거실에서 사용자와 셋톱 박스 사이의 거리는 네비게이션을 위한 유선 마우스의 사용을 방해한다.
전자 장치로의 데이터 및 명령 입력의 또다른 방법은 일련의 컴퓨터 시스템에 대해 명령으로 번역 및 변환되는 사용자의 동작 및 움직임의 가상 이미지를 인식하는 것이다. 이러한 접근 중 하나는 "Method and Device for Optical Input of Command or Data"라는 제목으로 Korth에 특허 허여된 미국 특허 번호 5,767,842호에 개시된다. Korth는 컴퓨터 사용자가 예를 들어 키보드 키의 템플레이트(template) 또는 인쇄된 외형을 구비한 키보드 크기의 종이와 같은 상상의 또는 가상의 키보드 상에 타이핑하는 것을 제안하였다. 템플레이트는 사용자가 가상의 키보드 키 상에서 타이핑할 수 있도록 한다. 가상 키보드에 포커싱된 통상의 TV(2-차원) 비디오 카메라는 사용자가 가상 키보드 상에서 타이핑할 때 가상 키(예로서 키의 프린트된 외형)가 어떤 시각에서 사용자의 손가락에 의해 터칭되었는지를 어떻게든 인식한다고 기술된다.
그러나, Korth의 방법은 상대적으로 발광 데이터(luminescence data) 및 특히 주위의 광의 적절한 소스에 대한 의존성에서 발생하는 고유의 불명확성에 좌우된다. 종래의 2차원 비디오 카메라에 의한 비디오 신호 출력이 인간의 눈에 의한 이미지 인식을 위해 적절한 형태인 반면, 신호 출력은 보여진 이미지를 컴퓨터가 인식하기에는 적절하지 않다. 예를 들어, Korth의 방법과 같은 응용에서, 사용자의 손가락의 위치를 추적하기 위해서는, 컴퓨터 실행가능 소프트웨어가 비디오 카메라 출력 신호에서 픽셀의 발광 변화를 사용하여 각 손가락의 윤곽을 검사해야 한다. 이러한 추적 및 윤곽 결정은 배경색 또는 광이 정확하게 제어되지 않을 경우 달성하기 어려운 일이며, 특히 사용자의 손가락을 닮을 수 있다. 게다가, 통상적으로 적어도 100 픽셀 × 100 픽셀인 Korth에 의해 요구되는 각각의 비디오 프레임은 그레이 스케일 또는 (통상적으로 RGB로 언급되는) 컬러 스케일 코드를 갖는다. 이러한 RGB 값 데이터에 한정되기 때문에, Korth 시스템에서의 마이크로프로세서 또는 신호 프로세서는 주위의 광 조건이 최적인 경우에 기껏해야 배경 이미지에 대해 손가락의 윤곽을 검색할 수 있다.
사용자의 손가락을 추적하는 데에 있어서 잠재적인 불명확함과 같은 부수적인 문제가 중요하다. 불명확성은 Korth의 기술에서는 극복할 수 없는데, 이는 통상의 비디오 카메라는 2차원 이미지 데이터를 출력하고 비디오 장면에서 물체의 실제 형상 및 거리에 대한 명확한 정보를 제공하지 않기 때문이다. Korth의 비디오 카메라의 유리한 위치로부터 카메라 렌즈의 축을 따라 타이핑 모션을 검출하는 것이 매우 어려울 것이다. 따라서, 유리한 위치가 상이한 다중 카메라는 복잡한 키 입력 모션을 적절하게 캡쳐할 필요가 있다. 또한, Korth의 도1에서 도시된 바와 같이, 사용자의 각각의 손가락에 대한 방해없는 시야의 이미지를 얻는 것이 어려운데, 예를 들어 오른손 집게손가락의 이미지를 얻는 것은 오른손 가운데 손가락 등에 이미지 블록 현상에 의해 방해받는다. 요약하면, 심지어 카메라가 양호한 주위의 광 및 유리한 위치에 놓이더라도, Korth의 방법은 키보드 상의 어떤 열을 사용자의 손가락이 터칭했는 지와 관련한 모호함을 포함한 많은 단점을 가진다.
심층 정보를 얻기 위한 노력으로, Korth의 접근 방식은 다중 2차원 비디오 카메라를 사용하여 뒤로 접혀질 수 있으며, 각각은 상이한 시야 각으로부터 관심 대상을 향해 조준된다. 제안은 간단하지만 현실적이지 않다. 다양한 카메라의 설정은 거추장스러우며 이중 카메라가 배치된 것과 같이 잠재적으로 고가이다. 각각의 카메라는 관측된 목적물 및 서로에 대해 정확하게 보정되어야 한다. 적절한 정밀도를 얻기 위해, 스테레오 카메라가 키보드에 대해 좌상부 및 우상부에 배치되어야 할 것이다. 심지어 이러한 구조에서, 카메라는 적어도 하나의 카메라의 관측범위 내에서 손가락을 방해하는 손가락에 의해 방해받는다. 게다가, 다양한 카메라에 의한 2차원 비디오 이미지 정보 출력으로부터 2차원 정보를 생성하기 위해 요구되는 계산은 이미지 데이터를 처리하는데 사용되는 컴퓨터 시스템의 처리에 부담을 준다. 당연히, 다중 카메라를 사용하는 것은 실질적으로 Korth의 신호 처리 요구를 복잡하게 한다. 결국, 타이핑 모션 동안 사용자의 손가락과 같은 정교한 물체의 움직임을 검출하고 인식하는 데 요구되는 카메라와 물체간 거리 해상도는 얻는 것을 오히려 더 어려울 수 있다.
요약하면, 타이핑에 사용된 사용자의 손의 2차원 발광 기초 비디오 이미지를 검사하고 소정의 시간에 소정의 키(가상 등)를 소정의 손이 터치한 이미지로부터정확하게 결정하기 위해 Korth 접근을 사용하는 것은 현실적이지 않다. 이러한 단점은 얻어진 2차원 비디오 정보 처리가 Korth에 의해 제안된 바와 같이 계산된 이미지 패턴과 논란 거리를 제공한다. 현실적으로 Korth의 기술은 그 자체로 유용성을 제공하지 않는다. 예를 들어, 이미지 획득 시스템 및 특히 주위의 광 소스는 필수적으로 모든 시간에 온 상태일 것이며, 충분한 동작 전압을 소비하여 실질적인 배터리 동작을 방해할 것이다. 심지어, 만일 Korth가 소정의 파워를 절약하기 위해 데이터 획득의 프레임 속도를 감소시키거나 낮추면, Korth 시스템은 적절한 주위의 광 소스를 필요로 한다.
파워 문제를 차치하더라도, Korth의 2차원 이미지 시스템은 셀 폰과 같은 소형의 컴패니언(companion) 장치에 편리함을 주지 못하는데, 이는 Korth의 비디오 카메라(또는 카메라)가 키 보드 위에 유리한 위치에 놓여야 하기 때문이다. 이러한 요구는 시스템이 동작하고 트랜지트(transit)에 저장될 때, Korth 시스템의 실제 크기에 제한을 준다.
필요한 것은 사용자가 컴퓨터 시스템에 전기적으로 연결되지 않은 가상의 키보드 또는 가상의 입력 장치를 사용하여 일련의 컴퓨터 시스템에 데이터를 입력할 수 있는 방법 및 장치이다.
이러한 방법 및 시스템에 의해 구현되는 데이터 입력 인터페이스 에뮬레이터는, 여러 이미지-획득 장치를 사용할 필요없이, 사용자의 어떤 손가락이 가상 입력 장치 상에서 어떤 시간 시퀀스에서 어떤 키(또는 심볼)를 터치하는지에 따라서 의미있는 3-차원으로 얻어진 정보를 제공한다. 바람직하게 이러한 시스템은 시스템출력이 스캔-코드로 될 수 있거나 또는 컴패니언 컴퓨팅 시스템에 의한 입력에 따라서 바로 사용가능한 다른 형식이 될 수 있도록 신호 처리를 포함한다. 마지막으로, 이러한 시스템은 휴대가 용이하고, 셋업 및 동작이 용이해야 한다.
본 발명은 이러한 방법 및 시스템을 제공한다.
본 발명은 명령 및/또는 데이터(총체적으로 "데이터"로 칭함)를 컴퓨터 시스템을 포함하는 전자 시스템으로 입력시키는 것에 관한 것이다. 보다 상세하게, 본 발명은 컴퓨터 장치의 폼 팩터(form factor)가 키 보드 같은 통상적인 크기의 입력 장치를 사용하는 것을 불가능하게 하거나, 컴퓨터 장치와 입력 장치 사이의 거리로 인해 컴퓨터 장치에 케이블로 연결된 통상적인 입력 장치의 사용이 적당하지 않은 경우에 데이터를 입력하는 방법 및 장치에 관한 것이다.
도 1A는 본 발명에 따른 수동 기판 키보드 템플레이트를 사용하는 3차원 센서 시스템을 도시한다.
도 1B는 본 발명에 따른 기판 키보드 템플레이트를 사용하지 않는 3차원 센서 시스템을 도시한다.
도 1C는 본 발명에 따른 가상 키와 접촉하는 사용자의 손가락을 도시하는 가상 키보드의 컴패니언 장치 디스플레이를 도시한다.
도 1D는 본 발명에 따른 가상 키 상에 사용자에 의해 입력된 텍스트를 추가로 가진 도 1C의 디스플레이를 도시한다.
도 2A는 본 발명에 따라 부분적으로 접힌 상태의 수동 기판을 도시한다.
도 2B는 본 발명에 따라 부분적으로 말린(rolled-up) 상태이며 다른 문자 세트를 가진 수동 기판을 도시한다.
도 3은 본 발명에서 실행되는 3차원 신호 처리 및 센서 시스템의 예시적인실시의 블록도이다.
도 4는 본 발명에서 실행되는 관련된 광자 펄스 검출기 및 고속 가운터를 가진 단일 픽셀 검출기의 블럭도이다.
도 5는 본 발명에 따라 사용자의 손가락의 윤곽 인식을 도시한다.
도 6은 본 발명에 따라, 눌려진 가상 키를 식별할 때 지그재그된 키 위치의 사용을 도시한다.
도 7A 내지 도 7O는 본 발명에 따라 사용자 손가락 위치를 식별할 때 사용하기 위한 광학적으로 요구된 3차원 데이터로부터 발생된 클러스터 매트릭스를 도시한다.
본 발명은 사용자가 매뉴얼 입력 장치의 수동 가상 에뮬레이션(passive virtual emulation)으로부터 커맨드 및 데이터(집합적으로 데이터로 부름)를 컴패니언 컴퓨터 시스템에 입력할 수 있게 하며, 컴패니언 컴퓨터 시스템은 PDA, 무선 전화, 또는 임의의 전자장치 또는 디지털 입력 신호 수신에 적합한 장치가 될 수 있다. 본 발명은 키보드, 키패드, 또는 디지타이저 표면에 사용되는 템플레이트를 베어링 또는 디스플레이하는 기판상에 사용자의 손가락이 배치에 따라 실시간으로 3-차원 데이터를 주변 광이 없이도 포착하는 기능을 하는 3-차원 센서 이미징 시스템을 포함한다. 바람직하게 기판은 수동형이며 키보드 키의 프린트된 이미지를 포함하는 접거나 또는 말려질 수 있는 종이 또는 플라스틱일 수 있으며, 또는 키보드 키용 키가 어디에 위치하는지를 디마킹하는 간단한 표시 라인(indicia line)이 될 수 있다. 기판은 Z-축이 템플레이트 키의 로우(row)를 형성하고, X-축이 템플레이트 키의 컬럼(column)을 형성하며, Y-축이 기판상의 수직 높이를 지시하는 수평 X-Z 플랜상에 놓여 있는 것으로 형성될 수 있다. 만약 필요하다면, 기판 키보드 대신에, 본 발명은 컴패니언 장치 앞의 작업대 상에 있는 키보드의 그리드 또는 이미지를 투영하는 광을 사용하는 프로젝터를 포함할 수 있다. 투영된 패턴은 사용자가 이러한 표면상에서 "타이핑"할 때 가이드로서 기능을 한다. 투영 장치는 바람직하게 컴패니언 장치내에 포함되거나 또는 부착될 수 있다.
선택적으로, 서브스테이트(substate)는 타이핑 가이드로서 제거될 수 있다. 대신에 컴패니언 컴퓨터 장치의 스크린이 사용자에 의해 컴패니언 장치 앞의 테이블 탑 또는 다른 작업대(테이블 탑)상에서 "타이핑되는" 것에 따라 영숫자(alphanumeric) 문자를 표시하는데 사용될 수 있다. 터치 타이피스트(touch typiest)가 아닌 사용자를 위하여, 본 발명은 대안으로 (또는 추가로) 사용자에 의해 "눌려지는" 또는 "타이핑되는" 키보드 "키"를 도시하는 디스플레이 이미지를 제공한다. 사용자의 손가락 바로 아래에서 감지되는 "키"는 한 색상으로 디스플레이내에서 하이라이트될 수 있는 반면, 실제로 동작되는 것으로 감지되는 "키"는 다른 색상 또는 콘트라스트로 하이라이트될 수 있다. 이러한 구성은 사용자가 컴패니언 장치 또는 가상 키보드 앞의 작업대상에서 타이핑을 가능하게 한다. 바람직하게 사용자가 작업대 또는 가상 키보드상에서 타이핑함에 따라서, 해당 문자가 컴패니언 장치상에서 디스플레이된 텍스트 필드상에 나타난다.
따라서, 사용자가 자신의 가상 타이핑을 가이드하는데 피드백의 여러 형태가 사용될 수 있다. 사용자 손에서 어떤 손가락이 어떤 가상 키 또는 가상 키 포지션을 어떤 시간 순서로 "타이핑"되었는지가 3-차원 센서 시스템에 의해 결정된다. 바람직하게, 3-차원 센서 시스템은 중앙 처리 장치(CPU)와 관련 리드 온리 메모리(ROM) 및 랜덤 액세스 메모리(ROM)를 구비하는 싱글 프로세싱 유니트를 포함한다. 싱글 프로세싱 유니트 CPU에 의해 실행되는 소프트웨어 루틴은 3-차원 위치정보가 인식되고 사실상 실시간으로 장치 입력으로서 컴패니언 컴퓨터 시스템과 바로 비교가능한 키-스캔 데이터 또는 다른 형식의 데이터로 변환되도록 ROM에 저장된다. 바람직하게 3-차원 센서는 특정 파장의 광을 방사하고, 스캐닝되는 물체 즉 사용자 손의 여러 표면 영역으로부터 복귀 에너지 비행 시간을 검출한다.
타이핑 세션(session)의 개시에서, 사용자는 작업대 또는 (만약 존재한다면) 가상 키보드상에 또는 인접하여 자신의 손가락을 놓을 것이다. 사용자 또는 일부 다른 물체가 3-차원 센서의 이미징 범위내에 도달할 때까지, 본 발명은 대기, 저전력 소모 모드로 남아있게 된다. 대기 모드에서, 발산된 광학 펄스의 반복률은 만약 본 발명이 배터리 전원이라면 중요한 사항으로서 동작 전력을 유지하기위해 초당 대략 1 내지 10 펄스로 느려진다. 이와 같이, 본 발명은 비교적 적은 펄스를 방사하지만 개략적이거나 낮은 Z-축 해상도를 갖는 이미지 데이터를 얻을 수 있다. 3-차원 캡쳐용 선택적인 방법에서, 전력을 유지하기 위한 포착 프레임 비율과 해상도를 감소시키는 방법이 사용될 수 잇다. 그럼에도 이렇게 낮은 해상도 정보는 이미징 시야(imaging field of view) 내에서 물체의 존재를 적어도 알리기에 충분하다. 물체가 이미징 시야에 진입할 때, 본 발명의 동작을 제어하는 CPU는 높은 펄스율이 사용되고 시스템 기능이 최대 전력으로 동작하는 일반 동작 모드로 진입할 것을 명령한다. 동작 전력을 유지하기 위하여, 사용자의 손가락 또는 다른 잠재적인 관련 물체가 이미징 시야로부터 제거될 때, 본 발명은 전력이 차단되고, 대기 전력 모드로 되돌아간다. 또한 이러한 전력 차단은 바람직하게 관련 물체가 시간 임계값을 초과하는 연장된 시간 구간동안 정지하여 유지될 때 발생한다.
사용자가 자신의 손가락을 가상 키보드 (가상 키보드가 없다면, 본 발명이 실행되는 컴패니언 장치의 앞에 있는 작업대)의 홈 로우 키(A,S,D,F,J,K,L) 모두에 올려 놓는다고 가정을 하자. 이미 최대 전력 모드에 있는 본 발명은 컴퓨터가 사용자의 입력에 기초하여 키보드 키에 위치를 할당하는 소프트 키 보정을 바람직하게 개시할 것이다. 사용자의 손가락은 임의의 (원하는) 키상에 놓여지고, 손가락의 정확한 위치에 기초하며, 소프트웨어는 사용자 손가락의 위치에 기초하여 키보드상의 키에 위치를 할당한다.
3-차원 손가락 시스템은 사용자가 기판 템플레이트상에 도시된 키를 "타이핑"함에 따라 또는 사용자가 컴패니언 장치의 앞에 작업대 상에서 타이핑함에 따라 실제 키보드가 있다면 일반적으로 "키"가 놓여 있을 곳에 사용자의 손가락을 도시한다. 센서 시스템은 키보드, 마우스 등과 같은 종래 입력 장치에 의한 데이터 출력과 기능적으로 구별되지 않는 형태로 데이터를 컴패니언 컴퓨터 시스템으로 출력한다. 바람직하게 신호 처리 유니트 CPU 에 의해 (또는 컴패니언 컴퓨터 시스템내의 CPU 에 의해) 실행가능한 소프트웨어는 입력되는 3-차원 정보를 처리하고 사용자의 손과 손가락 위치를 기판상의 키보드 또는 (가상 키보드가 없다면) 작업대의 이미지와 관련한 3-차원 공간으로 인식한다.
바람직하게 소프트웨어 루틴은 Z-축의 불연속성을 검사함으로써 각각의 프레임에 있는 사용자 손가락의 윤곽을 식별한다. 손가락이 키를 "타이핑" 할 때, 또는 키보드가 (실제 또는 가상으로) 존재한다면 키보드가 있어야할 곳의 근처에서 "타이핑"될 때, 사용자 손가락과 가상 키보스 또는 작업대 사이의 물리적 인터페이스가 검출된다. 소프트웨어 루틴은 바람직하게 손가락의 Y-축 속도를 계산하는 연속적인 프레임으로 이러한 인터페이스 경계를 위치시키기 위하여 얻어진 데이터를 최적으로 검사한다. (다른 실시예에서, 초음파와 같은 낮은 주파수 에너지가 대체하여 사용될 수 있다.) 이러한 수직 손가락 움직임이 멈출 때, 또는 루틴에 따라, 손가락이 기판과 접촉할 때, 눌려지는 가상 키가 질문되는 손가락의 좌표(Z,X)로부터 확인된다. 이때 적절한 KEYDOWN 이벤트 명령이 부여될 수 있다. 본 발명은 다른 키가 접촉되는 (즉 "눌려지는") 순서를 정밀하게 검출하기 위해 (엄지 손가락을 포함하는) 모든 손가락에 대하여 유사한 분석을 수행한다. 이러한 방식으로, 소프트웨어는 적절한 KEYUP, KEYDOWN을 부여하고, 스캔 코드 데이터는 컴패니언 컴퓨터 시스템에 명령한다.
바람직하게 소프트웨어 루틴은 타이핑 동안 사용자 손의 이동, 즉 가상 키보드상의 배치내에서 에러를 인식하고 교정한다. 소프트웨어 루틴은 실제로 키를 "누르고" 있지 않으면서 가상 키상에서 쉬고 있는 사용자 손가락으로 인해 유발되는 에러를 감소시키기 위하여 일부 히스테리시스(hysteresis)를 추가로 제공한다. 측정 에러는, 타이핑 적용시에, Z-값을 추적하기 위한 프레임 비율 조건이 X-값 및 Y-값에 대한 프레임 비율 조건보다 낮다는 것을 관찰함으로써 더욱 감소될 수 있다. 즉, Z-방향의 손가락 움직임이 통상적으로 다른 축의 손가락 움직임보다 느리다. 또한 본 발명은 키보드 또는 다른 작업대 상에서 다른 경합하는 손가락중 충격 시간의 차이를 구분짓는다. 바람직하게 이러한 차이는 충분히 높은 프레임 비율에서 X-축, Y-축 데이터를 관찰함으로써 이루어지며, 이것은 차이가 나는 Y-방향시간이다. Z-축 관찰은 다른 손가락 사이의 차이를 구분할 필요가 없으며, 이로 인해 프레임 비율은 하나의 손가락이 Z-방향의 다른 키 사이로 이동할 수 있는 속도에 의해 제어될 수 있다. 바람직하게 본 발명에 의해 제공되는 소프트웨어 루틴은 노이즈 또는 지터(jitter)를 감소시키기 위해 여러 프레임에서 얻어진 Z-축 데이터를 평균한다. Z-값에 대한 유효한 프레임 비율이 X-값 및 Y-값에 대한 유효한 프레인 비율과 관련하여 감소되지만, Z-값의 정확도는 개선되고 데이터 획득의 중요한 프레임 비율은 계속 얻어진다.
소프트웨어 루틴은 사용자가 임의의 키 조합으로 "타이핑"함으로써, 즉 그래픽 모드에서 Control과 Shift를 동시에 누름으로써, 간단하게 영숫자 데이터 입력 모드로부터 그래픽 모드로 컴패니언 컴퓨터 시스템을 토글링(toggle)할 수 있게 하며, 템플레이트는 디지타이저(digitizer) 테이블을 에뮬레이팅하고, 사용자가 템플레이트를 가로질러 자신의 손가락을 드래그함에 따라서, 접촉되는 포인트의 궤적(X,Y)은 선, 기호 또는 컴패니언 컴퓨터 시스템내에 있는 다른 그래픽을 그리는데 사용된다.
바람직하게 컴패니언 컴퓨터 시스템과 관련된 디스플레이는 사실상 실시간으로 사용자에 의헤 영숫자 또는 다른 데이터 입력을 디스플레이할 수 있다. 게다가, 키보드 키와 손가락의 이미지를 묘사하기 위하여, 컴패니언 컴퓨터 시스템 디스플레이에는 바로 입력될 영숫자 문자를 도시하는 블록 커서가 제공될 수 있다. "키"가 사용자의 손가락에 의해 만져질 때 입력 피드백의 추가적인 형태는 촉각 피드백이 제공되는 일부 또는 모든 키 아래의 탄성있는 영역을 형성함으로 이루어질수 있다. 만약 적합한 컴패니언 장치가 사용된다면, 컴패니언 장치는 "타이핑된" 키의 명칭을 문자-대-문자로 크게 소리나게 하기 위하여 즉, 사용자가 "cat"을 타이핑할 때 문자 "c"-"a"-"t"를 소리나게 하는데 사용될 수 있다. 사용자의 손가락이 가상 키를 눌렀음을 감지함과 동시에 전자 키-클릭 사운드를 방출하는 컴패니언 장치를 포함함으로써 간단한 형태의 음향 피드백(acoustic feedback)이 제공된다.
본 발명의 다른 특징 및 장점이 첨부된 도면을 참조한 바람직한 실시예를 통한 이하의 설명에서 개시된다.
도 1A는 손가락이 여기서는 책상 또는 작업대(60) 최상부에 위치하는 것을 도시된 기판(50)을 "타이핑" 할 때, 사용자 손(40)의 손가락(30) 쪽으로 에지가 집중하는 에지-온(focused essentially edge-on) 3차원 센서(20)를 포함하는 3차원 센서 시스템을 도시한다. 기판(50)은 바람직하게는 예를 들면, 키보드인 데이터 입력 장치를 나타내는 선 또는 표시를 포함하는 프린트된 또는 투사된 템플레이트(70)를 지닌다. 이와 같이, 템플레이트(70)는 키보드 키의 프린트된 이미지를 가지지만, 도시된 바와 같이 이러한 키들은 전기적으로 수동적이며, 실제 키의 단순한 대표(representation)일 뿐이다. 기판(50)은 X-축을 따른 여러 포인트가 키의 좌측에서 우측으로 컬럼 위치와 관련되고, Z-축을 따른 여러 포인트가 키의 전방으로부터 후방으로 로우 위치와 관련되며, Y-축 위치는 X-Z 평면 상부의수직 거리와 관련되는 Z-X 평면내에 놓이는 것으로 도시된다. (X, Y, Z) 위치는 벡터 위치 포인트의 연속이고 여러 축 위치는 도 1A에 지시된 소수의 포인트 이상으로 형성될 수 있다는 것을 알 수 있다.
바람직하게, 템플레이트(70)는 단순히 키가 위치하는 곳을 구획하는 로우 라인 및 컬럼 라인을 포함한다. 템플레이트(70)가 프린트되거나 그렇지 않을 경우 상부에 나타나는 기판(50)은 도시된 실시예에서 키보드로서 에뮬레이팅되는 가상 입력 장치이다. 상기 기판(50) 및/또는 템플레이트(70)는 본 명세서에서 디지털 데이터 및/또는 명령어들을 입력하기 위한 가상 키보드 또는 가상 장치로서 언급될 수 있다. 상기 입력 장치의 이점은 종이 또는 유연한 플라스틱 상에 프린트될 수 있고 도 2A에 도시된 것처럼 접히거나 또는 도 2B에 도시된 것처럼 말 수(또는 접어서 말 수) 있다. 여러 도면에는 용이하게 도시하기 위해 키의 배열을 직각 행렬로 하였으나 키들의 배열이 반드시 직각 행렬일 필요는 없고, 실제 QWERTY 키보드와 같이 지그재그 위치 또는 오프셋(offset) 위치로 나열될 수 있음을 알 수 있다. 도 2B는 또한 템플레이트(70)로서, 여기서는 키릴 알파벳(Cyrillic alphabet) 문자로, 프린트된 엇갈린 키 세트를 구비한 장치를 도시한다. 필요하다면, 영문자와 러시아 문자를 예로 들어, 하나의 키세트는 템플레이트의 한 측면상에 프린트될 수 있고, 두 번째 키세트는 템플레이트의 나머지 측면상에 프린트될 수 있다.
도 1B-1D와 관련하여 설명하면, 택일적으로 가상 키보드의 이미지는 컴패니언 장치와 관련된 스크린 상에 디스플레이될 수 있다. 이러한 실시예에서, 바람직하게, 기판 및 작업대 조차 필요하지 않고, 사용자가 희박한 공기로 "타이핑"할 수있게 한다. 이러한 실시예는 디지타이저 시트, 기타 등등을 에뮬레이팅하기 위하여, 사용되고 있는 "키보드"의 이동 중인(on-the-fly) 변화를 허용하는데 예를 들어, 영어 키보드, 또는 독어 키보드, 러시아어 키보드를 표현하는데 특히 유연하다. 다양한 키보드 및 키 세트가 컴패니언 장치 또는 시스템(80)과 관련하여 스크린(90) 상에 간단히 디스플레이될 수 있다. 뛰어난 유연성이 엇갈리는 키 세트를 본 발명과 함께 사용되는 컴패니언 장치의 디스플레이 상에 다양한 문자 세트를 제공하는 가상 키의 디스플레이된 이미지로 표현함으로써 달성된다. 따라서, 도 1B에서, 가상 키보드는 가이드로서 제거되었고, 부가하여 휴대성과 유연성을 증진시킨다.
다양한 실시예에서, 가상 키보드(50)(도 1A에 도시)로부터, 또는 심지어 가상 키보드조차 없는 작업대(60)(도 1B에 도시)로부터 사용자에 의하여 입력된 데이터(및/또는 명령어)는 컴패니언 컴퓨터 또는 다른 시스템(80)에 결합될 수 있을 것이다. 제한없이, 컴패니언 컴퓨터 또는 컴퓨터 유사 시스템은 PDA, 무선 전화, 노트북 PC, 펜 베이스 컴퓨터(pen-based computer), 또는 실제로 데이터를 입력하기에 적당한 임의의 다른 전자 시스템일 수 있다. 만약 가상 키보드가 사용된다면, 바람직하게, 가상 키보드가 사용되지 않을 때에는 가상 키보드를 접거나 말 수 있다. 접거나 또는 만 상태의 크기는 PDA 또는 다른 컴패니언 컴퓨터 시스템(80)에 저장되기에 충분히 작아질 수 있고, 가상 키보드는 데이터 및 명령어를 상기 PDA 또는 다른 컴패니언 컴퓨터 시스템에 입력하기 위해 사용될 것이다. 예를 들어, 접힌 상태의 키보드는 대략 2.5"x3" 정도의 크기일 수 있고, 바람직하게는 적어도8"x8"보다는 작다. PDA를 위한 가상 키보드는 PDA의 후미에 있는 포켓 내에 들어맞는 크기로 되어 있는 접혀진 폼 팩터를 갖는다. 그러나, 가상 키보드가 사용될 때는, 가상 키보드라 할지라도 필수적으로 전체 크기로 되도록 펼친 상태 또는 푼 상태이다.
사용자가 컴패니언 시스템(80) 내로 데이터를 입력할 때, 전형적으로 시스템(80)상에 존재하는 디스플레이(90)는 실시간으로 가상 키보드로부터 입력(100)되는 데이터, 예를 들어, PDA에 입력되는 텍스트, 무선 전화에 입력되는 이메일, 기타 등등을 표시할 수 있다. 하나의 실시예에서, 블록 커서(102)는 본 발명이 인지하여 타이핑되기로 되어 있는 개개의 영숫자 문자, 예를 들어, 도 1A의 문자 "d"의 디스플레이를 둘러싼다. 이러한 시각적인 피드백 특성은 사용자가 데이터 엔트리의 정확성을 확인하도록 도와줄 수 있고, 목적하는 문자가 타이핑될 것을 보장하기 위해 사용자의 손가락을 재위치시키는데의 가이드를 제공한다. "키 클릭"과 같은 청각적인 피드백은 각각의 가상 키를 누를 때 사용자에게 부가적인 피드백을 제공하기 위하여 시스템(80)에 의해 소리를 낼 수 있다. 필요하다면, 수동 범프(passive bumps : 107)가 사용자에게 촉각적인 피드백을 제공하기 위하여 가상 키보드에 형성될 수 있다. 예시의 방법에 의하여, 상기 범프는 예를 들어, 탄성 플라스틱으로부터 제조된 가상 키보드의 각각의 "키" 아래에 형성된 반구 형태일 수 있다.
주목해야 할 것으로서, 시각적인 피드백은 또한, 또는 대신에 컴패니언 장치의 스크린 상에 가상 키보드(기판 또는 컴패니언 장치 앞의 빈 작업대)의 이미지를디스플레이함으로써 제공될 수 있다. 사용자가 타이핑할 때, 사용자는 그의 손가락이 가상 키보드에 따라 움직임으로써 그의 손가락을 나타내는 키보드의 이미지에 의하여 가이드된다. 이러한 이미지는 사용자의 손가락 바로 아래에 있는 키를 하이라이트하는 것을 포함할 수 있고, 만약 키가 실제로 눌러지면, 상기 키는 다른 색 또는 콘트라스트로 하이라이트될 수 있다. 필요하다면, 컴패니언 장치의 스크린은 "분할"될 수 있고 그 결과 실제 영숫자 문자는 타이핑될 때 스크린의 상부에 나타나고, 사용자의 손가락으로 중첩된 가상 키의 이미지는 스크린의 하부상에 나타난다(또는 그 반대로 나타남).
도 1A과 도 1B에서, 컴패니언 시스템(80)은 받침대(cradle)(110)에 장착된 상태로 도시되어 있고, 3차원 센서(20)는 상기 받침대에 영구적으로 부착될 수 있다. 택일적으로, 센서(20)는 컴패니언 장치(80)의 바람직하게 더 아래 부분내에 영구적으로 장착될 수 있다. 센서(20)로부터의 출력은 경로(120)을 경유하여 컴패니언 장치(80) 상의 데이터 입력 포트(130)에 결합된다. 받침대 또는 이와 유사한 것이 사용된다면, 받침대(110)으로의 장치(80) 삽입은 자동적으로 센서(20)의 출력과 장치(80)에의 입력 사이의 연결을 형성하기 위하여 사용될 수 있다.
본 명세서에서 설명되는 것처럼, 도 1B의 구성은 유리하게 사용자가 데이터(예를 들어, 텍스트, 그래픽, 명령어)를 컴패니언 장치(80)에 입력할 수 있게 허용하고, 도 1A에 도시된 것처럼 심지어 프린트된 가상 키보드 없이도 입력할 수 있다. 이해를 돕기 위하여, X축과 Y축 방향의 그리드 라인들은 컴패니언 장치(80)의 전방에서 작업대(60)상에 도시된다. 본 명세서에서 설명되는, 다양한 소프트웨어매핑 기술들은 본 발명이 사용자의 손가락이 어떤 가상 키(키가 존재한다면)를 칠 것을 의도했는지 구별할 수 있도록 한다. 도 1A의 실시예가 가상 키보드로부터의 촉각적인 피드백을 허용하는 반면, 도 1B의 실시예는 그렇지 않다. 따라서, 장치(80)의 스크린(90)이 타이핑하는데 사용자를 보조하기 위해 이미지를 디스플레이하는 것이 선호된다. 물론, 도 1A의 실시예에서 처럼, 장치(80)는 사용자의 손가락이 "타이핑" 동안 표면(60)을 누를 때 청각적인 키 클릭 사운드를 낼 수 있다.
도 1C는 적절한 장치(80)으로부터 이용가능한 시각적 보조의 한 종류를 도시하고, 상기 보조는 물론 도 1A의 실시예와 함께 사용될 수 있다. 도 1C에서, 스크린(90)은 키보드 이미지(115) 및 사용자 손의 아웃라인 또는 다른 표현(40')의 적어도 일부를 디스플레이하고, 키가 실제 키보드 또는 가상 키보드상에 존재하는 위치에 대해 상대적인 손 위치 및 손가락 위치를 보여준다. 도시를 용이하게 하기 위하여, 도 1C는 단지 사용자의 왼손의 위치만을 도시한다. 키(예컨대, 만약 키보드가 존재한다면 상기 키가 존재할 표면(60)상의 위치)가 "터칭"되거나 또는 사용자의 손가락이 키를 "터칭"할 정도로 충분히 가까워짐에 따라 장치(80)는 그 키의 이미지를 밝게 하이라이트될 수 있고(예컨대, 관련 "소프트 키"를 디스플레이), 키가 "눌러지거나" 또는 "타이핑"됨에 따라 장치(80)는 상이한 컬러 또는 콘트라스트)를 이용하여 상기 키를 하이라이트될 수 있다. 예를 들면, 도 1C에서 "Y" 키가 하이라이트되거나 또는 콘트라스트되어 있는데, 이는 상기 키가 실제로 터칭되었거나 또는 거의 터칭되었다는 것을 지시하거나 또는 키가 사용자의 왼쪽 집게손가락에 의해 눌려졌다는 것을 지시한다. 도 1D에 도시된 바와 같이, 분할스크린(split screen) 디스플레이가 장치(80)에 구비될 수 있는데, 여기서 스크린의 일부분은 가상 키보드상에 사용자의 손가락 위치를 안내하기 위한 이미지들을 나타내는 한편, 스크린의 또다른 부분은 사용자에 의해 장치(80)로 입력된 데이터 또는 명령을 표시한다. 비록 도 1D는 타이핑되는 문자에 대응하는 텍스트)를 도시하지만, 예컨대 스크린(90)상에 단어 "key"의 철자가 완성될 때 단어 "key"중 "Y"가 하이라이트되지만, 데이터(100)는 그래픽으로 대신될 수 있다. 예를 들면, 사용자는 장치(80)가 그래픽 모드로 변환하도록 명령할 수 있으며, 그래서 표면(60)(또는 가상 키보드(70))을 가로지르는 손가락의 움직임은 그래픽, 예컨대, 표면(60)상에 집게손가락이나 철필로 기록된 사용자의 시그너쳐(signature)를 생성할 수 있다. 정리하면, 사용자의 손가락 또는 철필은 "사용자 디지트(user digit)"로 불릴 수 있다.
선택적으로, 본 발명과 관련된 소프트웨어(예컨대, 도 3의 소프트웨어 285)는 "타이핑" 에러를 줄이기 위하여 워드 컨택스트(word context)를 사용할 수 있다. 입력된 언어(예, 영어)에서 텍스트의 어휘를 미리 알 수 있다고 가정하자. 컴패니언 장치의 메모리는 그 언어에서 가장 자주 사용되는 워드를 포함하는 사전을 저장할 수 있으며, 사용자가 가상 키보드상에 또는 실제로서 얇은 공기층에 워드를 타이핑하면 컴패니언 장치 소프트웨어는 지금까지 타이핑된 문자들을 사전의 후보 워드들과 매칭시킬 것이다. 예를 들면, 만약 사용자가 "S"를 입력하면 "S"로 시작되는 모든 워드들이 후보가 되며, 만약 사용자가 "SU"를 입력하면 "SU"로 시작되는 모든 워드들이 후보가 된다. 만약 사용자가 "SZ"을 입력하면, 적어도 영어에서는 매칭되는 후보 워드가 존재하지 않는다. 사용자가 더 많은 문자들을 타이핑함에 따라, 타이핑된 워드에 매칭될 수 있는 후보 워드의 집합은 처리하기 쉬운 크기로 감소된다. 어떤 임계점에서, 예컨대 후보 워드들의 크기가 5∼10 워드로 감소될 때, 소프트웨어는 사용자에 의해 타이핑될 다음 문자에 확률을 할당할 수 있다. 예를 들면, 만약 사용자가 "SUBJ"을 입력하면, 다음 문자는 "W" 보다는 "E"가 될 확률이 더 높다. 그러나, "E"와 "W"는 실제 또는 가상 키보드상에 인접하여 위치하기 때문에, 사용자가 "W" 키 근처를 누를 가능성이 있다. 상기 예에서, 컴패니언 장치 소프트웨어는 키 입력을 수정하고 사용자가 입력하려는 문자는 "E"라고 가정하는데 사용될 수 있다.
이제 3차원 센서(20)의 동작을 살펴보면, 센서는 공지된 주파수의 방사선(radiation)을 방사하고 시야내의 물체 표면에 의해 되돌아온 에너지를 검출한다. 도 1A 및 도 1B에서 방사된 방사선은 광선(140)으로 도시되어 있다. 센서(20)는 Z축을 따라서 사용자의 손가락 끝(30)이 템플레이트(70)의 어떤 부분(예, 가상키)을 언제 터칭하는가를 검출한다. 도 1B에 도시된 바와 같이, 비록 템플레이터(70)가 존재하지 않고 사용자가 단순히 장치(80) 앞의 작업대에서 타이핑하더라도, 센서(20)는 여전히 의미있는 데이터을 출력할 수 있는 기능을 가진다. 상기 실시예에서, 컴패니언 장치(80)의 스크린(90)은 키보드(105)의 이미지(100')를 디스플레이 할 수 있으며, 키보드(105)에서 예컨대 "T" 키(107)와 같이 "눌려지거나" 손가락 아래에 위치하는 키는 하이라이트 된다.
도 1A 및 도 1B에 도시된 바와 같이, 만약 필요하다면, 가시광선 빔(147)을방사하는 광 또는 다른 프로젝터(145)가 사용자의 타이핑을 안내하기 위하여 가상 키보드 이미지를 투영하는데 사용될 수 있다. 예를 들면, 사용자의 타이핑을 안내하는 이미지를 투영하기 위하여 가시광선(예컨대 가시파장을 가지는 레이저 광)의 광원이 회절형 렌즈와 함께 사용될 수 있다. 이러한 실시예에서는, 일반적인 그래픽 파일 포맷(예, GIF)으로 주어질 수도 있는 키보드의 이미지가 렌즈상에 회절 패턴을 "에칭"하는데 사용될 수 있다. 비록 투영된 이미지의 일부는 가끔 사용자의 손가락 표면에 나타나지만, 그럼에도 불구하고 타이핑할 기판이 없는 상태에서는 이러한 투영된 가이드가 유용하다. 예컨대 미국 알라바마 35806 Huntsvill에 소재한 MEMS Optical, LLC에서 제조되는 광학기기 등을 포함하여, 회절형 광학기기를 사용함으로써 상기 투영 실시예를 구현하는데 용용될 수 있다.
도 3은 3차원 이미지 센서 시스템(200)의 예를 도시한 블록도이며, 상기 센서 시스템(200)은 바람직하게도 하나의 CMOS IC(210)로서 제조될 수 있다. 시스템(200)은 3차원 센서(20)와 동일한 하우징에 배치될 수 있으며, 본 발명을 구현하는데 사용될 수 있다. 본 명세서에 참조로서 통합되는 계류중 미국 특허 출원번호 제09/401,059호에 더 상세히 설명된 바와 같이, 상기 시스템은 유리하게도 이동 부품을 필요로하지 않으며 비교적 적은 수의 오프-칩(off-chip) 구성 요소, 즉 1차적으로는 발광 다이오드나 레이저 소스 그리고 관련 광 포커싱 시스템(optical focusing system)을 필요로 하며, 만약 적절한 쉴딩(shielding)이 구비된다면 레이저 소스(220)를 IC(210)가 구비될 수 있는 공통 기판상에 본딩할 수 있다. 비록 본 발명이 전술한 미국 특허 출원에 개시된 3차원 센서(20)와 관련하여 설명되었지만, 본 발명은 다른 3차원 센서를 사용하여 구현될 수도 있다.
시스템(200)은 픽셀 검출기(240)의 어레이(230)을 포함하고, 각 픽셀 검출기(240)는 해당 검출기에서 출력되는 전하의 검출을 수행하는 전용 회로(250)를 구비한다. 가상 키보드 인식 애플리케이션에서, 어레이(230)는 15 ×100 픽셀 및 이에 상응하는 15 ×100 처리 회로(250)를 포함할 수 있다. 어레이의 크기는 Korth에 의해 개시된 종래의 2차원 비디오 시스템에서 요구되는 것보다 실질적으로 작다는 점에 주목할 필요가 있다. Korth는 4:3의 가로 세로비 또는 경우에 따라서 2:1의 가로 세로비를 요구하는 반면에, 본 발명은 실질적으로 3:1 보다 작은, 바람직하게는 약 2:15 또는 심지어 1:15의 가로 세로비를 이용하는 데이터를 얻을 수 있고 처리할 수 있다. 도 1A 및 도 1B를 참조하면, X축에 대하여는 비교적 큰 영역이 포함되어야 하는 반면, 기판(50)상의 센서(20) 위치를 고려할 때 Y축에 대하여는 비교적 작은 거리가 포함될 것이 요구된다.
사용자가 타이핑하는 동안, 가상키의 로우를 따라서 사용자의 여러가지 손가락을 구별하기 위하여 높은 프레임 전송률이 요구된다. 그러나, 주어진 타이핑 손가락의 전 후진 움직임은 실제로 빠르지 않을 것이다. 따라서, Z축 데이터 수집(acquisition) 속도는 X축 및 Y축 데이터의 수집 속도보다 느려도 된다. 예를 들면, Z축 데이터에 대하여는 10 프레임/초의 속도이지만, X축 및 Y축 데이터에 대하여는 30 프레임/초의 속도이다.
Z축의 프레임 전송률 감소는 키보드상의 손가락 위치 정보를 획득함에 있어 본 발명에서 필요한 전류를 감소시키는 실질적인 장점을 가진다. 실제로, 획득된정보를 신호 처리함에 있어 본 발명은, 예컨대 Z축 위치 정보에 대한 프레임 중 1/3을 검사함으로써, 프레임에 대하여 Z축 정보를 평균화할 수 있다. 획득된 Z축 값은 노이즈 또는 지터(jitter)를 가지는데, 이는 평균화에 의해 감소될 수 있다. 예를 들면, Z값은 3개의 연속적인 이미지 프레임이 동일의 처리된 Z값을 공유하도록 30 프레임/초 전송률을 가지는 3개의 연속적인 프레임을 평균할 수 있을 것이다. Z값에 대한 유효 프레임 속도는 X축 및 Y축 데이터 취득의 취득 속도의 1/3로 감소되는 반면, Z 데이터의 정확성은 노이즈 또는 지터를 평균함으로써 증가된다. 결과적으로 감소된 Z축 프레임 속도는 의미있는 정보를 얻기에 여전히 충분히 빠르다. X축 및 Y축에 대하여 Z축에 상이한 프레임 속도를 사용하는 것은 본 발명에 유용하다. 예를 들면, X축 및 Y축 데이터와 관련하여 Z축의 감소된 취득 속도는 전류의 배출을 최소화하고 신호 처리기(CPU 260)에 잉여의 신호 처리 부담을 가하는 것을 방지한다.
따라서, 본 발명은 주변 광이 필요없이 3차원 이미지 데이터를 얻을 수 있는 반면, Korth와 같은 종래 시스템은 주변 광이 존재하는 조건하에서 2차원 광도 데이터(luminosity data)를 얻을 수 있다. 핵심을 말하자면, 본 발명은 터칭에 의해 인간이 물체를 감지할 수 있는 것과 유사하게 손가락이나 기판과 같은 3차원 물체를 감지할 수 있다. 유리하게도, 이것은 비교적 작은 동작 전력, 예컨대 10mW의 3.3V 직류전압을 사용하여 얻어질 수 있으며, 이는 본 발명이 배터리에 의해 동작 가능하게 하고 비교적 소형의 이동 폼 팩터로 제조될 수 있게 한다.
사용자의 손과 손가락 그리고 기판의 3차원 이미지 데이터에 대하여 초당 다수의 프레임을 처리하는 것은 어레이(230)에 의해 가능하게 된다. 상기 데이터를 이용하여, 본 발명은 기판과 관련하여 또는 만약 기판이 존재하지 않는다면 컴패니언 장치(80) 앞의 작업대상에 키보드가 위치한다고 가정할 경우 가상키와 관련하여 손과 손가락의 3차원 이미지를 구성한다. 이에 대한 예시는 처음에 참조한 Bamji의 계류중 미국 특허출원에 개시되어 있다. 비행시간법에 의한 데이터(time-of-flight data)로부터 이러한 3차원 이미지를 구성하는 것은 Korth에 의해 제안된 2차원 조명(luminosity)에 기초한 데이터을 이용하여 공간적 관계를 추측하는 종래 기술의 방법보다 우수하다. 비행시간법은, Bamji의 특허 출원에 개시된 바와 같이, 리턴 펄스 시간 측정, 위상 또는 주파수 검출, 또는 고속 셔터법(shutter method)을 포함한다. 비행시간법을 이용하지 않는 다른 방법들도 입체 이미지를 포함하는 3차원 데이터를 캡쳐할 수 있으며, 반사 강도(reflective intensity)로부터 깊이를 감지하는 광도를 이용한 기술이 사용될 수 있다.
실제로, 어레이(230)는 30 프레임/초의 속도로 데이터를 취득 및 생성할 수 있으며, 이러한 프레임 속도는 5 문자/초 속도, 즉 약 60 워드/초 속도의 가상 타이핑을 충분히 처리할 수 있다. 만약 어레이(230)가 예컨대 n개의 X축 픽셀과 m개의 Y축 픽셀을 포함하는 사각형이라면, n=100 및 m=15 라고 가정할 경우 1500개의 픽셀을 포함하는 그리드가 형성된다. 각 데이터 프레임에 대하여, 어레이(230)의 각 픽셀은 센서(20)로부터 픽셀에 의해 캡쳐된 물체(예, 사용자 손가락의 일부, 기판의 일부 등)의 표면까지의 벡터 거리를 표현하는 값, 예컨대 벡터 또는 Z축 값을 가진다. 상기 데이터는, 기껏해야 사용자의 손가락 윤곽과 가상 키보드상의 위치를 결정하는 2차원의 RGB 그레이 또는 컬러 스케일을 가지는 비디오 프레임을 구비하는, Korth의 조명을 이용한 이미지 데이터보다 더 유용하다.
취득된 3차원 데이터를 이용하여 소프트웨어(285)는 사용자 손가락의 실제 형상(일반적으로 실린더와 유사한 형상으로 가정된다)을 결정하고, 따라서 다른 손가락과 관련한, 기판상의 위치와 관련한, 그리고 3차원 센서(20)와 관련한 손가락의 상대 위치를 결정한다. 예를 들면, 도 1A에서 손가락이 Y=0의 위치로 이동하는 것이 감지될 때, 손가락이 아마 가상키를 타이핑하려고 한다는 것이 판단될 수 있다. 만약 상기 손가락이 또는 Z=Z1 영역으로 이동하는 것이 감지되면, 상기 손가락이 아마 가상 키보드상의 키 중 첫번째 로우에 위치한 어떤 가상키를 타이핑하려고 한다는 것이 판단될 수 있다. 가상키가 막 눌려지려는 것에 대한 판단은 또한 속도 데이터를 고려할 수 있다. 예를 들면, 사용자의 손가락이 Y=0를 향해서 아래로 빨리 움직이면 아마 가상키를 누를려고 한다는 것이 판단될 수 있다.
도 3에서, IC(210)는 (CPU를 의미하는) 마이크로프로세서 또는 마이크로컨트롤러 유니트(260), 랜덤 액세스 메모리(RAM; 270) 및 리드-온리 메모리(ROM; 280)를 포함하고, ROM의 일부에는 바람직하게도 본 발명을 구현하기 위해 CPU에 의해 실행되는 소프트웨어 루틴(285)이 저장되어 있다. 컨트롤러 유니트(260)는 바람직하게도 약 50MHz로 동작하는 16비트 RISC 마이크로프로세서이다. 다른 기능들 중에, CPU(260)는 물체에 대한 벡터 거리 및 물체의 속도 계산을 수행하는데, 여기서 물체는 기판이나 사용자의 손을 말한다. IC(210)는 분리가능한 고속의 클럭(clock; 290), 다양한 컴퓨팅 광 드라이브 입출력(I/O) 회로(300), 및 인터페이스 데이터/커멘드 입출력(I/O) 회로(310)를 더 포함한다. 디지털 키보드 스캔 형태의 데이터 또는 디지타이저(digitizer) 테블릿(tablet)/마우스 형태의 데이터가 시스템(200)과 관련된 I/O(310), 예컨대 COM 및/또는 USB 형태의 포트로부터 출력된다.
픽셀 감지 검출기의 2차원 어레이(230)는 통상의 표준 실리콘 기술을 이용하여 제조되는 것이 바람직한데, 이는 동일한 IC 칩에 회로들(250, 260, 270, 280, 290, 300)을 제조할 수 있는 이점을 가진다. 동일한 IC에 픽셀 검출기의 어레이와 함께 상기 회로들을 제조할 수 있어 신호 경로가 짧아지기 때문에 처리 및 지연 시간을 감소시킬 수 있다.
각 픽셀 검출기는 전류원, 이상적 다이오드, 및 션트(shunt) 임피던스와 노이즈 전류원의 병렬 결합으로 표현될 수 있다. 각 픽셀 검출기는 픽셀 검출기에서 감지된 광 에너지에 비례하는 전류를 출력한다. 바람직하게도 CMOS 제조기술은 CMOS 픽셀 다이오드 또는 포토게이트 검출 장치의 어레이를 구현하는데 이용된다. 예를 들면, 포토다이오드는 디퓨전(diffusion)과 웰(well) 또는 웰과 기판 접합을 이용하여 제조될 수 있다. 웰 대 기판 포토다이오드는 적외선(IR) 광에 보다 민감하며, 적은 캐패시턴스를 나타내어 바람직하다.
도 3 및 도 4에 도시된 것처럼, 회로(250)는 각각의 픽셀 검출기(240)와 결합된다. 바람직하게 각각의 회로(250)는 펄스 피크 검출기(310), 고속 카운터(320)를 포함하고, 고속 클럭(290)으로 액서스된다. 바람직하게 IC(210) 상에 형성된, 고속 클럭(200)은 바람직하게 약 500 MHz의 고정 주파수에서, 바람직하게 펄스가 출력됨에 따라 낮은 듀티 사이클로 높은 주파수 클럭 펄스의 연속적인 열(train)을 출력한다. 물론, 다른 고속 클럭 파라미터가 대신 사용될 수 있다. 이러한 펄스열은 각각의 고속 보간(interpolating) 카운터(320)의 입력 포트와 연결된다. 바람직하게 카운터(320)는 Bamji의 계류중인 특허 출원에 개시된 것처럼 서브-카운터일 수 있고, 70ps정도로 시간을 분석할 수 있다. 바람직하게 각각의 카운터(320)는 START 신호(예를 들어, 지금 카운터에서의 개시)를 수신하기 위한 포트, STOP 신호(예를 들어, 지금 카운터 작업 정지)를 수신하기 위한 포트, 및 CONTROL 신호(예를 들어, 지금 축적된 카운터 리셋)를 수신하기 위한 포트를 포함한다. CONTROL 및 START 신호는 제어기(260)로부터 이용가능하며, CLOCK 신호는 클럭 유니트(290)로부터 이용가능하며, STOP 신호는 펄스 피크 검출기(310)로부터 이용가능하다.
가상 키보드(50)가 센서 렌즈와 거의 동일한 평면에 3차원 센서(20)로부터 약 20cm의 간격을 두고 위치된다. 전형적인 센서 렌즈 각도는 약 60°이기 때문에, 20cm의 간격은 가상 키보드의 광학 커버리지를 위한 것이다. 도 3에서는, 설명을 용이하게 하기 위해, 센서(20) 광 방출과 수집된 광 사이의 간격을 확대하였다.
개략적으로, 시스템(200)은 하기와 같이 동작한다. 시간(t0)에서, 마이크로프로세서(260)는 광소스(220)에 원하는 물체, 예를 들어 기판(50) 및 사용자의 손가락(30)을 향해 포커스 렌즈(288')를 통과하며 300,000km/sec의 광속(C)으로 전도되는, 공지된 파장의 광 펄스를 방출하도록 명령한다. 광소스(220)가 충분히 강한경우, 렌즈(288')는 없어도 된다. 이미지화되는 물체의 표면에서 검출기 어레이에 의해 감지되는 시스템(200)을 향해 광의 적어도 일부가 다시 반사될 수 있다. 도 3에서, 원하는 물체는 사용자 손의 손가락(30)이며 기판이 존재하는 경우는 기판(30)이며, 주목할 것은 "타이핑"을 하는 동안 손가락 위치로 사용자를 유도하기 위해 키보드 키(70) 또는 투사된 그리드 라인과 같이 볼 수 있는 표시를 포함할 수 있다.
도 1A에 도시된 것처럼, 기판(50) 상의 가상 키(70)의 위치(또는 다른 사용자가 이용가능한 표시)는 기판 상의 다른 키의 위치와 관련하여 X-Z 평면 상의 2차원으로 공지된다. 사용자의 손가락이 기판(50) 상의 앞뒤로 이동함으로써, "타이핑"을 하는 동안 가상 키(70)가 터치되는, 어떤 가상 키가 어떤 시각에 사용자의 손가락에 의해 터치되는 것을 식별하기 위해 리턴 광학 에너지를 검사하는 것은 CPU(260) 및 소프트웨어 루틴(285)의 기능이다. 일단 이러한 정보가 얻어지면, 제공될 데이터 또는 명령이 실제 키보드 또는 다른 입력 장치에 의해 발생되는 것과 마찬가지로, 적절한 KEYUP, KEYDOWN, 키 스캔 코드 또는 다른 출력 신호가 컴패니언(companion) 장치(80)의 입력 포트(130)에 제공될 수 있다.
시간(t0)에서 또는 그 이전에, 어레이(230)에 있는 각각의 픽셀 카운터(310)는 카운터에 앞서 유지된 임의의 카운터를 리셋하는, 제어기(260)로부터의 CONTROL 신호를 수신한다. 시간(t0)에서, 제어기(260)는 각각의 카운터에 START 명령을 지시하며. 이에 따라 각각의 카운터는 클럭(290)으로부터 CLOCK 펄스를 카운터하고 축적하기 시작한다. 광펄스 주행의 왕복 시간(TOF) 동안, 각각의 카운터는 긴TOF를 나타내는 다수의 축적된 클럭 펄스를 갖는 CLOCK 펄스를 축적하며, 이는 이미지화된 물체상의 광 반사 포인트 및 시스템(200) 사이의 보다 큰 거리를 의미한다.
시스템(200)에 관련된 포커스 렌즈(288)의 본질적인 특성은 이미지화된 물체(20)의 표면 상의 포인트로부터 반사돤 광이 이러한 포인트 상에 포커스된 어레이에 있는 픽셀 상에만 떨어진다는 것이다. 따라서, 시간(t1)에서, 물체(20)의 표면 상에 가장 가까운 포인트로부터 반사되는 광자 광 에너지는 렌즈/필터(288)를 통과하고 그 포인트 상에 포커스되는 어레이(230)에 있는 픽셀 검출기(240)상으로 떨어진다. 렌즈(288)와 관련된 필터는 오직 광원(220)이 검출기 어레이상으로 떨어짐으로써 방출된 파장을 갖는 입사광이 희박해지지 않게 보장한다.
어레이(230)내의 특정 픽셀 검출기(240)가 가장 가까운 사용자의 손가락 끝(70)상의 가장 근거리 표면 포인트상에 집중되어 있다고 가정한다. 관련된 검출기(300)는 이러한 대상물 포인트로부터 인입되는 광자에너지에 응답하여 픽셀 검출기에 의해 출력되는 전압을 검출할 것이다. 바람직하게는, 펄스 검출기(300)는 픽셀 출력 전류 또는 전압 내의 작지만 빠른 변화를 감지하는 증폭 피크 검출기로서 실행된다. 빠르게 변화하는 출력 전압이 검출되기에 충분히 큰 경우, 검출기(300)내의 로직(예컨대, SR 플립플롭)은 출력 펄스를 고정시키며, 그것은 관련된 카운터(320)에 STOP 신호로서 제공된다. 따라서, 관련된 카운터(320) 내에 축적된 카운트 수는 논의중인 손가락 끝의 인접부까지의 왕복 TOF, 측정이 가능한 정도로 떨어진 거리 (Z1)를 나타낼 것이다.
거리 (Z1)는 C가 광속인 이하의 관계로부터 결정될 수 있다.
Z1 = C·(t1-t0)/2
조금 경과된 시간 T2에서, 광자 에너지는 사용자의 손가락 끝(30)의 조금 더 원거리 부분으로부터 렌즈(288)에 도달하고, 어레이(230) 상에 들어와서 다른 픽셀 검출기에 의해 검출될 것이다. 지금까지 이러한 다른 검출기와 관련된 카운터는, 실제로 t1에서 카운팅을 정지한 카운터를 모든 카운터에서 제외시키기 때문에, 시간 t0로부터 시작하는 CLOCK 펄스를 계속하여 카운트한다. 시간 t2에서, 인입되는 광자 에너지를 지금 막 수신하여 검출하는 픽셀과 관련된 펄스 검출기는 상기 관련된 카운터에 STOP 명령을 내릴 것이다. 이러한 카운터 내의 축적된 카운트는 손가락 끝 상의 중간 포인트 까지의 왕복 TOF, 원거리 Z2를 나타낼 것이다. IC(210) 내에서, 메모리(280) 내에 저장된 소프트웨어 루틴(285)을 실행하는 제어기(260)는 대상물 표면 상의 각각의 광 반사 지점에 대하여 TOF 데이터와 관련된 거리를 계산할 수 있다. 광속은 획득된 데이터의 연속적인 프레임을 검사함으로써 계산될 수 있다.
유사한 방식으로, 시간 t3에서 어레이 내의 또다른 픽셀 검출기는 관련된 카운터에 STOP 명령을 내리도록 그 관련된 펄스 검출기(300)에 대하여 충분한, 이제 막 도달하는 광 에너지를 검출할 것이다. 이러한 카운트 내에 축적된 카운트는 이미지화된 대상물까지 좀 더 원거리인 Z3에 대하여 TOF 데이터를 나타낸다. 도시를 용이하게 하기 위하여 도 3에서는 하나의 손가락 끝 근처로 들어오는, 단지 3개의 방사 광선 및 광 반사를 나타내지만, 사실상 거의 모든 기판 및 사용자의 손가락과엄지손가락은 광원(220)으로부터의 조명에 놓이게 될 것이며, 3차원 센서(20)와 관련된 렌즈(288)로 적어도 약간의 에너지를 반사시킬 것이다.
물론 어레이 내의 몇 개의 픽셀은 그들이 집중되는 대상물 지점으로부터 충분히 반사된 광을 수신하지 못할 수도 있다. 따라서, (제어기(260)에 프로그래밍될 수 있는) 소정량의 시간의 경과 후에, 상기 센스 어레이내의 각 픽셀과 관련된 카운터는 펄스 검출로 인하여 중단될 것이다(또는 거리 Z = 무한에서 타겟에 대응하는 카운트를 유지하는 것으로 가정될 것이다).
상기한 바와 같이, 본 출원에서는 시스템(200)이 대략 20cm 내지 30cm, 예컨대 대략 20cm에 더하여 기판 상의 가상 키의 상, 하부 로우를 분리하는 거리의 범위 내에서 대상물을 정확하게 이미지할 수 있으면 충분하다. 검출된 반사광 펄스 각각에 의해, 어레이 내의 각 픽셀에 대항 카운터 측정된 TOF 거리값이 결정되어, 바람직하게는 유니트(270)와 관련된 램 내의 프레임 버퍼에 저장된다. 바람직하게는, 마이크로프로세서(260)가 시야내의 대상물과 대상물 위치를 식별하기 위하여 램에 저장된 연속적인 프레임을 검사한다. 그리고 나서, 마이크로프로세서(260)는 대상물, 즉 손가락 움직임 속도를 계산할 수 있다. 거리 및 속도의 계산뿐만 아니라, 마이크로프로세서 및 관련된 온-칩 회로소자는 바람직하게는 사용자의 손가락의 윤곽 및 아웃라인을 인식하여, 기판 표면으로부터 손가락 표면을 구별하기 위하여 프로그래밍되어 있다. 일단 손가락 윤곽이 식별되면, 시스템(200)은 COM 또는 USB나 또는 컴패니언 컴퓨터 시스템으로의 명령 및 디지털 데이터와 관련되어 있는 다른 포트를 통하여 출력된다.
상기 예는 그 축적된 카운트가 시야 내의 손가락 표면과 기판까지 거리 Z1, Z2, Z3를 계산하는데 사용될 수 있는 관련 카운터를, 세개의 분리된 시간 t1, t2, t3에서 광자 에너지를 수신하는 세개의 픽셀 검출기가 턴-오프하는 방법을 설명하였다.
실제로, 본 발명은 어레이의 크기에 따라 각각의 광 펄스당 3번이 아니라 수천번 또는 수만번 상기 계산을 처리할 것이다. 이런 처리는 ROM(280)에 저장된(또는 저장 가능한) 루틴(285)을 실행하기 위하여 마이크로프로세서(260)를 사용하여 IC 칩(210)상에서 이루어진다. 어레이에서 각각의 픽셀 검출기는 검출 어레이상에서 유일한 위치를 가지며, 각각의 픽셀 검출기와 연관된 고속 카운터로부터의 카운트 출력은 유일하게 식별될수있다. 따라서, 2차원 검출 어레이(230)에 의해 모아진 TOF 데이터는 사용자 손가락 및 기판 같은 3차원 물체 표면에 정확한 거리를 제공하기 위하여 처리된 신호일 수 있다. CMOS 호환가능 검출기(240)로부터의 출력이 목표된 바와같이 랜덤 방식으로 액세스될수있고, 이것은 임의의 순서로 TOF DATA를 출력하게 한다는 것이 이해될것이다.
광원(220)은 비록 다른 파장이 대신 사용될 수 있을지라도 약 800 nm의 파장을 가진 에너지를 방사하는 LED 또는 레이저이다. 800nm 파장 이하에서 방사된 광은 보여질 수 있고 레이저 효율은 감소된다. 900nm 이상에서 CMOS 센서 효율은 빠르게 감소하고, 임의의 경우 1100nm는 IC(210) 같은 실리콘 기판상에서 제조되는 장치를 위한 상위 파장이다. 주목할 것은, 특정 파장을 가진 광 펄스 방사, 및 다른 파장의 입사 광 필터링에 의해, 시스템(200)은 주변 광과 함께 동작하거나 주변광없이 동작할수있다. 만약 기판(50)이 가상 키의 아웃라인을 형성하는 상승된 리지(ridge)를 포함하면, 사용자는 어둠속에서 정확하게 타이프할수있고 시스템(200)은 적당하게 작동할것이다. 주변 광에 의존하지 않고 기능하는 이런 능력은 Korth에 의해 기술된 바와같이 종래 기술 방법과 현저히 차이가 있다. 주목할 것은, 숙련된 터치 타이피스트가 아닌 사용자를 위해서도, 본 발명은 컴패니언 장치(80)의 디스플레이상에 가상 키보드 이미지를 제공함으로써 어둠속에서 사용될수있다.
주목할 것은, 렌즈(288)는 어레이의 각각의 픽셀이 시야내의 하나의 특정 포인트(예를들어, 물체 표면 포인트)로부터 광을 수신하도록 센서 어레이(230) 위에 필터된 입사광 에너지를 포커스한다. 광파 진행 특성은 보통 렌즈(288)가 광을 센서 어레이 상으로 포커스되도록 한다. 만약 렌즈가 방사된 광을 포커스하기 위하여 요구되고 미러형 배열이 사용되면, 하나의 렌즈는 288, 288'에 사용될수있다.
특정 응용에서, 센서 어레이(230)는 약 1cm 정도의 타켓 거리를 식별하기에 충분한 해상도를 가지며, 약 70ps(예를들어, 1cm/C) 정도의 시간 차를 분석할 수 있어야 하는 각각의 픽셀을 포함한다. CMOS 실행 시스템 사양 측면에서, 고속 카운터(320)는 약 70ps 내로 시간을 분석할 수 있어야 하고, 피크 펄스 검출기(310)는 몇백 마이크로볼트(㎶) 정도의 검출 민감도를 사용하여 약 70ps(약 100 샘플 정도 평균한후)를 분석할 수 있는 낮은 노이즈 고속 유니트이어야 한다. 정확한 거리 측정은 펄스 검출기 응답 시간이 총 경과 시간에서 제외되는 것을 요구할 것이다. 마지막으로, 회로(280)에 의해 출력된 CLOCK 신호는 약 2ns 정도의 주기를 가져야 한다.
상기된 바와같이, 각각의 보간 카운터(320)는 1cm 정도의 거리를 분석할 수 있으며, 약 70ps 정도로 시간을 분석하는 것을 의미한다. 효과적인 70ps 사이클 시간을 가지는 10 비트 카운터를 사용하는 것은 약 10m(예를들어, 1,024cm)의 최대 시스템 검출 거리를 양산한다. 보통 10 비트 카운터를 실행하는 것은 가장 안좋은 경우 대략 40 게이트의 경로를 요구하고, 각각의 게이트는 약 8ns 정도의 총 진행 시간 동안 통상적으로 200ps를 요구한다. 이것은 차례로 가장 빠른 시스템 클럭 사이클 시간을 약 10ns로 제한시킨다. 룩어헤드(look-ahead) 하드웨어를 사용하는 것은 카운터 전달 시간을 일정한 비용으로 감소시키지만, 그럼에도 불구하고 2ns 시스템 사이클 시간은 실행하기에 매우 어렵다.
요구된 사이클 시간을 달성하기 위하여, 소위 의사(pseudo) 랜덤 시퀀스 카운터(PRSC), 때때로 선형 시프트 레지스터(LSR)는 사용될수있다. PRSC 유니트를 포함하는 고속 카운터를 실행하는 것에 대한 자세한 것은 상기된 출원자의 공동 출원인 실용신안 출원에서 발견될 수 있다.
광학 시야내의 사용자 손가락 윤곽을 인식하는데 고려사항은 사용자 손가락중 두개의 단면을 도시한 도 5를 참조하여 기술될것이다. + 심볼은 손가락들을 이미지화하는 어레이(210)의 각각의 픽셀 센서에 대한 벡터 거리 값의 서브 프레임(인트라-프레임) 샘플을 나타낸다. 픽셀 센서와 관련된 고유 노이즈는 각각 획득된샘플로 이미지화된 손가락 물체의 동일 포인트에 대해 가변되는 벡터 거리를 생성한다. 노이즈를 감소시키고 신호/노이즈를 개선하기 위하여, 센서는 도 5의 0 심볼에 의해 도시된 프레임에 대한 평균 값을 형성하기 위하여 각각의 픽셀에 대한측정을 평균한다. 도 5의 □심볼은 템플레이트, 또는 예시적인 저장된 손가락 단면 모양 세트가 평균 값을 해석하기 위하여 루틴(285)에 의해 사용될 때 교정된 평균값을 나타낸다. 이 방법은 거리 측정 정밀도를 향상시키고, 사용자 손가락 인식 불확실성을 감소시킨다.
데이터 캡쳐 노이즈는 사용자 손가락을 인식하고 손가락 모션 및 속도를 결정하기에 필요한 최소 프레임 속도에 영향을 미칠수있다. 본 발명에 사용된 바와같은 TOF 바탕 이미지에서, 비록 이미지화된 물체가 고정된 것으로 유지될 지라도, 픽셀 레벨 노이즈는 그 자체가 하나의 프레임에서 다른 프레임으로 주어진 픽셀에 대한 거리값의 변화량으로서 나타난다.
용이한 도시를 위하여, 도 1A 및 2A, 2B에 도시된 키보드 이미지는 매트릭스, 예를들어 균일한 로우 및 컬럼으로서 도시된다. 그러나, 실제로 도 6에 부분적으로 도시된 바와같이, 표준 QWERTY 타입 키보드(및 다른 키 구조를 가진 키보드)는 오프셋 또는 지그재그 구조로 놓인다. 본 발명은 실제 키보드 레이아웃의 지그재그 배치를 고려함으로써 Z 축 해상도에 대한 요구를 바람직하게 감소시킨다. 따라서, 키보드의 상부에서 제 2 로우는 약간 우측으로 이동되고, 제 3 로우(상부로부터의)는 우측으로 좀 더 이동되며, 이런식으로 계속된다. 이런 지그재그 배치는 인접 로우의 키에 관련하여 오프셋 위치에서 각각의 로우의 키를 배치시킨다. 예를들어, 도 6의 키보드 문자 "G"를 주목한다. 점선의 사각형(400)은 문자 "G"를 칠때 사용자에게 제공된 허용 가능한 범위를 가리킨다. 예를들어, 사각형 영역내의 가상 접촉은 사용자 손가락이 문자 "G"와 접촉하는 것으로서 해석될 것이다. Z로 표시되는 이 직사각형의 높이는 Z 축 좌표를 탐지할 때 허용되는 최대 에러 마진(margin)이다. 이 마진이 QWERTY 키보드 내의 하나의 로우 R의 높이보다 더 크다. 키를 위한 인식 영역이 직사각형일 필요가 없고 어떠한 합리적인 형태, 예를 들어 상기 키에 중심을 둔 타원형일 수 있다는 것이 또한 주목되어야 한다.
3차원 데이터의 획득된 프레임이 CPU(270)와 루틴(285)에 유효하게 될 때, 획득된 데이터로부터 사용자의 손가락의 인식이 진행된다. 이 태스크는 데이터가 실제로 사용자의 손가락의 3차원 표시를 포함하고, 손가락이 예를 들어, 가장자리에서 관찰될 때 다소 원통형인, 매우 잘 알려진 형태를 가질 것이라는 점에서 단순화된다. 언급한 바와 같이, 메모리에 손가락 형태와 손가락 및 손의 휴리스틱스(heuristics)의 전형적인 템플레이트를 저장하는 것은 손가락 위치를 인식하고 추적하기 위한 CPU 시간을 감소시킴으로써 손가락 인식을 빠르게 한다. 이러한 신호 처리는 빠르게 데이터 캡쳐 노이즈를 감소시키고 상기 획득된 3차원 데이터 중으로부터 사용자들의 손가락들을 보다 쉽게 분별할 수 있다. 신호 대 노이즈의 비율은 또한 이미지화된 씬(scene)의 지식이 알려진 경우, 예를 들어 씬이 가상 키보드와 사용자의 손들을 포함하는 경우의 프레임 내부의 상태에서 개선될 수 있다. 바람직하게는 몇 백의 데이터 캡쳐는 평균화되거나 그렇지 않다면 획득된 데이터의 프레임을 구성하기 위해 사용된다.
일단 사용자의 손가락이 인식된다면, 소프트웨어 루틴(285)(또는 등가 루틴)은, CPU(260) 외에 의해 수행된, 손가락의 위치와 동작(예를 들면, 단위 시간당 위치의 상대적인 변화)을 다음에 결정할 수 있다. 손가락을 나타내는 데이터가 3차원이기 때문에, 루틴(285)은 단지 상기 사용자 손 위의 배경 이미지들과 초점을 쉽게 제거할 수 있다. Korth 2차원 이미징 설계 시에, 배경 물체(예를 들면, 사용자의 소매, 팔, 몸, 의자 윤곽 등)의 형태와 움직임이 물체 추적과 인식 소프트웨어 루틴을 혼동시킬 수 있기 때문에 이 태스크는 매우 어렵다.
손가락 끝의 윤곽을 사용하여, 루틴(285)은 가상 키보드의 로우, 예를 들면, 도 1A의 거리 Z1 또는 Z2에 관해 상기 손가락의 위치를 결정하기 위해 Z-축 거리 측정을 사용한다. 언급된 바와 같이, 상기 축 측정의 입도(粒度)는 도 1A에 묘사된 것보다 실질적으로 더 크다. X-축 거리 측정은 상기 가상 키보드의 컬럼에 관해 손가락 끝의 위치에 관한 데이터를 제공한다. 로우 및 컬럼 좌표 숫자들을 사용하여, 소프트웨어(285)는 예를 들면, 도 1A의 왼쪽 집게손가락에 의한 키 "T"에 의해 터치되는 실제의 가상 키를 결정할 수 있다.
사용자가 키보드, 숫자 패드, 전화기 패드 등과 같은 특정한 가상 입력 장치 상에 손가락을 위치시키는 것을 돕기 위해, 컴패니언 장치(80) 내의 소프트웨어가 상기 장치(예를 들면, PDA 또는 셀 방식 전화 스크린)와 연관된 스크린(90) 상에 또는 컴패니언 장치(80)에 결합된 디스플레이 터미널 상에 소프트 키보드를 디스플레이하기 위해 사용될 수 있다. 소프트 키보드 이미지는 예를 들어 사용자의 손가락 아래서 직접 키를 하이라이트함으로써 가상 키보드(50) 상의(또는 가까운) 모든 키에 대한 사용자 손가락 위치를 보여줄 것이다. 키가 실제로 눌려졌을 때(상기 사용자의 손가락 움직임에 의해 인식될 때), 눌려진 키는 서로 다른 색 또는 음영을 사용하여 하이라이트될 수 있다. 만약 상기 가상 키들이 정확한 정지 위치에있지 않다면, 상기 사용자는 적절한 시작 위치에 가상 키보드나 다른 입력 장치를 위치시키기 위해 컴패니언 장치에 명령할 수 있다. 예를 들면, 사용자가 대개 오른손 손가락을 홈 로우 J, K, L, ":" 키 상에 위치시키고 왼손 손가락을 F, D, S 및 A 키 상에 위치시킴으로써 키 입력을 시작하면, 소프트웨어는 상기 위치로 가상 키보드의 키를 이동시킬 것이다.
사용자 손가락의 수직 Y-축 모션은 장치(50) 상의 가상 키가 타이프되거나 눌려지는지를 결정하기 위해 감지된다. 기계적인 키보드 상에 타이핑하는 동안, 몇몇의 손가락들은 동시에 움직일 수 있지만, 일반적으로 오직 하나의 손가락만 하나의 키를 누르며, 예를 들어 CONTROL 키와 "P" 키, 또는 오자 에러와 같이 존재하지 않는 이중 키를 입력한다. 본 발명에서, 소프트웨어 루틴(285)은 획득된 정보의 연속된 프레임으로부터 손가락 모션 정보를 결정한다. 유리하게는, 사람의 손은 손가락 모션에 어떤 제한을 가하고, 이 제한은 사용자의 손과 손가락의 이미지를 모델링할 때 채택된다. 예를 들어, 손가락의 연결 특성은 손가락의 움직임 사이에 어떤 결합을 내포한다. 손가락 관절에서의 자유도는 각 손가락이 예를 들어 다른 손가락들으로부터 더 가깝거나 더 멀게 움직이는데 일정 정도 자유스럽게 한다. 루틴(285)은 유리하게는 가상 키가 실제로 눌려지는지를 결정하기 위해 몇몇의 휴리스틱스를 사용할 수 있다. 예를 들어, 키 스트로크는 빠른 손가락 다운 모션 후 탐지된 손가락 업 모션을 시작하면서 감지될 수 있다. 가장 작은 Y-축 위치 또는 가장 큰 아래 방향 속도를 갖는 사용자의 손가락이 예를 들어, 가상 데이터 입력 장치 상의 가상 키 중 하나를 누를, 키 입력 손가락으로서 선택된다.
사용자에 의한 의도되지 않은 키 입력이 사용자의 손가락의 움직임을 지능적으로 모니터함으로써 식별된다. 예를 들어, 사용자가 의도되지 않은 키 입력을 시작함이 없이 기판(50)의 표면 상에 손가락을 올려 놓을 수 있다. 이것은 기계적인 키보드를 사용하는 타이피스트가 타이프하기에 충분히 단단한 어떠한 키도 누르지 않고 키 상에 그의 또는 그녀의 손가락을 올려 놓는 조건과 유사하다. 본 발명의 사용자는 또한 의도되지 않은 어떠한 키도 시작하지 않고 가상 키보드 위로 그의 또는 그녀의 손가락을 부드럽게 움직이도록 허용된다. 소프트웨어(285)는 단지 의도적인 동작만이 컴패니언 컴퓨터 장치(80)에 데이터나 명령을 입력하기 위해 유효한 키 입력으로서 인정되도록 그 동작을 보정할 수 있다.
CPU(270)와 같은 CPU에 의해 수행되는 경우의 소프트웨어(285)는 본 발명의 사용자에 의해 가상 키가 타이프되는 것을 인식하기 위한 알고리즘이나 루틴을 이행하기 위해 사용될 수 있다. 알고리즘을 위한 입력 데이터는 센서(20)로부터 획득된 3차원 선택적인 정보이다. 전형적인 알고리즘은 다음의 3가지 단계를 갖는 것으로 고려될 수 있다: 템플레이트을 구축하고 개인화하는 단계, 보정 단계, 그리고 실제로 가상 키보드 또는 작업대 상에 사용자가 타이핑하는 것을 추적하는 단계. 이어지는 설명에서 모든 손가락이 사용되는 일반적인 타이핑이 시작된 것으로 가정될 것이다. 예를 들어 하나 또는 둘의 손가락만이 사용되는 경우, 상기 알고리즘의 특별한 경우가 적용될 것이다.
템플레이트는 상이한 사용자를 위한 상이한 타이핑 자세를 미리 정한 모델이 된다. 템플레이트의 이러한 분류는 시스템 사용자 인구의 분석을 기초로 하며, 사용자의 다양한 타이핑 형태가 분류될 것이다. 템플레이트는 입력 데이터(예를 들면, 타이핑 위치내의 손가락을 관측함으로써 수집된 데이터의 예) 또는 추적된 목표의 기하학적 특성의 미리 프로그램된 수학적 서술로부터 유도될 수 있다는 것을 유의해야 한다. 그 결과로 생기는 템플레이트는 시간 ROM(280)에서 발생되며, 특히 루틴(285)이 생성된다. 키보드 키의 위치와 형태는 사용자의 스타일의 특정한 공통성을 부과하므로, 미리 정해진 템플레이트의 수가 지나치게 많을 필요는 없다.
바람직하게, 본 발명의 개인 사용자는 템플레이트를 제작하기 위해 필요한 단계를 통하여 사용자를 가이드하는 훈련 장치를 사용하여 그들 자신의 전용 템플레이트를 만들 수도 있다. 이를 테면, 소프트웨어(285)의 훈련 프로그램 부분은 사용자에게 그 또는 그녀의 손가락을 가상 키보드 상의 타이핑 위치에, 또는 만약 존재한다면 컴패니언 시스템(80) 앞의 작업대에 놓도록 하는 명령을 디스플레이(90)에 표현할 수 있다. 훈련 프로그램은 사용자에게 각 손가락 아래의 가상 키를 반복적으로 누르도록 명령할 것이다. 엄지 손가락 움직임은 다른 손가락 움직임과 상이하며, 통상적으로 가상 키보드 또는 작업대의 스페이스 바 영역을 누르는 것으로 제한되므로, 광학적으로 엄지 손가락 움직임의 캡쳐는 특별한 경우로서 취급될 수 있다.
템플레이트 구성시, 사용자의 손의 상이한 손가락과 같이 템플레이트 이미지내의 물체의 분류를 구성하는 것이 바람직하다. 이하에서 더 자세히 상술되는 바와 같이, 이러한 방법 단계는 사용자의 손의 물리적 특성에 관한 분류자 또는 알고리즘 루틴을 위한 정보를 수집한다. 나중에, 실제 타이핑 동안에, 분류자는 획득한 프레임내의 이미지를 각 사용자의 손가락에 빠르게 맵핑하도록 이러한 템플레이트를 사용한다. 템플레이트 구조의 부분으로서, 바람직하게는 사용자의 손가락의 위치를 휴지 위치(rest position)에서 특정 키보드 키에 대한 맵핑이 형성된다. 이를 테면, 루틴(285)과 CPU(270)는 사용자의 왼손의 손가락들은 "A", "S", "D" 및 "F"와 사용자의 오른손의 손가락들은 "J", "K", "L" 및 ":" 키를 누르도록 컴패니언 장치(80)에 명령할 수 있다. 이러한 방법 단계는 가상 키보드를 특정 사용자의 스타일에 개인화시킨다. 이러한 개인화 프로세스는 한 번 수행되며, 사용자의 타이핑 자세가 본질적으로 변하여 타이핑을 계속 할 수록 잘못된 키가 너무 많이 확인되지 않는 한, 반복될 필요가 없다. 본 발명에 따른 보정 처리가 다음과 같이 수행될 수 있다. 타이핑 세션(session)의 개시에, 사용자는 텍스트 입력 모드내의 장치(80)로 구동되는 응용을 구동함으로써 컴패니언 장치(80)에 신호를 보낼 것이다. 예를 들면, 장치(80)가 PDA이면, 사용자는 스크린(80)상에 디스플레이된 텍스트 필드를 철필이나 손가락으로 접촉할 수 있으며, 그 결과 컴패니언(80) 응용의 입력 포커스를 텍스트 필드로 설정하게 된다. 다른 컴패니언 장치는 그러한 장치와 관련된 절차를 사용하여 적절한 텍스트 입력 모드로 설정될 수 있다.
다음으로 사용자의 손가락은 가상 키보드나 간단한 작업대 상의 3차원 센서(20) 앞의 작업대 내에 타이핑 위치에 놓여진다. 이러한 단계는 타이핑 세션 개시전에, 사용자 손가락을 템플레이트의 구성요소에 맵핑시키고, 사용자의 손가락을 가상 키보드의 키(또는 작업대)에 보정하기 위해 사용된다.
이러한 중대한 시기에, 3-차원 센서(20)는 사용자의 손가락의 등고선 맵을반복적으로 캡쳐할 것이다. 그렇게 캡쳐된 데이터는 예를 들면, 소프트웨어(285)에 의해 도 7A-7O에 도시된 바와 같은 테이블 또는 메트릭스내에 배치될 것이다.
도 7A는 센서에 의해 이미지화된 바와 같이, 실제 키보드상에서 타이핑하는 사용자의 왼손을 도시한다. 센서(20)의 시야(FOV)는 본 실시예에서 실제 키보드인 상부 작업대로 의도적으로 향한다. 왼손의 다섯 손가락이 도시되며, 이는 손가락 1(엄지 손가락), 2, 3, 4 및 5(새끼 손가락)으로 불려질 수 있다. 손가락 뒤 및 손가락 사이의 음영이 들어간 영역은 너무 어두워서 본 발명에 의해 사용자의 손가락의 부분으로 고려될 수 없는 영역을 나타낸다. 실제적인 세팅에서는 이해를 쉽게하기 위해 여기서 도시된 균일한 어두운 영역보다는 어둠의 정도가 변화한다. 오버레이 그리드형 매트릭스 또는 테이블은 도 7A에 도시되며, 다양한 영역은 사용자의 손가락에 관련된 표면 부분과 센서(20) 사이의 표준화된 벡터 거리를 나타내는 디지트(digit)를 양자화한다. 이러한 양자화된 거리값은 본 발명에 의해, 예를 들면 소프트웨어(285)에 의해 동적으로 계산된다. 도 7A에서 도시된 맵핑에서, 1, 2와 같은 낮은 디지트 값은 가까운 거리를 나타내며, 7, 8과 같은 더 높은 값은 큰 거리를 나타낸다. "d" 값은 감지된 불연속을 나타낸다. 센서(20)와 관련된 기술에 따라, "d" 값은 넓게 진동하며, 전면 물체의 부존재를 나타낼 수 있다. 도 7A에서, 사용자의 왼손 엄지손가락을 나타내는 양자화된 거리값은 사용자의 왼손 집게 손가락보다 센서(20)(7, 8의 비교적 높은 거리값으로 나타난 바와 같이)로부터 멀리 떨어져 있으며, 왼손 집게 손가락의 거리값은 비교적 낮다(예를 들면, 1). 사용자의 왼손 새끼손가락은 일반적으로 사용자의 집게 손가락보다 센서(20)로부터더 멀다.
도 7A의 중앙부는 표준화된 거리값과 "d" 엔트리가 가능한 테이블 또는 매트릭스이다. 유사한 테이블도 도 7B-7O에 도시된다. 테이블 엔트리는 사용자 손가락의 윤곽을 표현할 수 있으며, 명암은 사용자의 손가락의 아웃라인에 거리 데이터의 가능한 맵핑을 도시할 때 도움을 주기 위하여 이러한 테이블에 부가된다. 컬럼을 지적하는 도 7A의 FOV 부분으로부터의 화살표는 데이터의 다양한 컬럼이 사용자 손가락 위치의 윤곽을 어떻게 표현할 수 있는지를 나타낸다. 도 7A-7O에 도시된 테이블에서, 원형으로 된 숫자 "1", "2"..."5"는 사용자의 왼손 엄지손가락(손가락 "1"), 집게 손가락, 가운데 손가락, 약손가락 및 새끼 손가락(손가락 "5")의 인지된 위치에 상응하는 윤곽을 나타낸다.
상술한 바와 같이, 본 발명에서 템플레이트는 센서(20)로부터 획득된 데이터로부터 사용자 손가락 위치를 식별하는 것을 돕는데 사용된다. 템플레이트는 불연속이 명백하지 않을 때, 손가락 사이의 경계를 구별시에 분류 알고리즘(또는 분류자)(285)을 도울 수 있다. 예를 들면, 도 7A에서, 사용자의 제 3 및 제 4 손가락(손가락 3 및 4)은 비교적으로 가깝다.
도 7A의 아래 부분에 어떤 시각에 눌려져야 할 어떤 키(실제 또는 가상)의 전체적 태스크와 관련된 휴리스틱스 뿐만 아니라 본 발명의 동적 속도 값, 센서 감지 거리 값에 의한 분석에 근거한 사용자가 타이핑하는 것을 동적으로 디스플레이되는 것을 나타낸다. 이에, 도 7A에 캡쳐된 순간에서 "The quick brown fox jumped over the lazy dog"라는 문장에서 막 "f" 문자를 타이프한 사용자의 왼쪽집게 손가락(손가락 2)이 나타나고, 부분적으로 타이프된 구(100)가 컴패니언 장치(80)의 디스플레이(90)상에 나타난다.
바람직하게 소프트웨어 루틴(285)의 보정 단계는 사용자에게 익숙하다. 따라서, 본질적으로 루틴(285)은 사용자의 손가락 아래로 가상 키보드를 이동시키거나 재배치한다. 이러한 절차는 센서(20)에서 템플레이트의 손가락까지에서 획득된 이미지를 매핑함으로써, 그리고 사용자에 대한 템플레이트 구성 단계동안 결정된 통상의 위치에 맞춰 터치된 키를 매핑함으로써 수행될 수 있다.
보정 단계는 초기 상태 또는 휴지 위치를 형성하며, 키보드상의 특정 키에 대한 휴지 위치에서 사용자의 손가락 맵을 만든다. 도 1B에 도시된 바와 같이, 스크린(90)이 이용가능한 것으로 가정하고, 터치되거나 매우 근접한(눌려진 것이 아닌) 상기 "키(107)" 는 바람직하게 컴패니언 장치(80)의 스크린(90)상에 디스플레이된 소프트 키보드(105) 상에서 하이라이트된다. 이 휴지 위치는 또한 손가락이 타이핑 버스트(burst)의 끝이라고 가정한 위치에 존재할 것이다.
실제 타이핑동안, 루틴(285)은 사용자의 손가락을 감지하고 가상 키보드상의 키를 교정하기 위한 사용자 움직임에 대한 맵을 만든다. 이 알고리즘 단계를 시작하기 전에, 적절한 컴패니언 장치(80) 응용은 텍스트 입력모드로 번역되고 키보드 이벤트(예. 키 업 및 키 다운)를 받아드릴 준비가 되어 있을 것이다.
루틴(285 : 또는 동등물)은 다양한 방식으로 구현될 수 있다. 바람직한 실시예에서, 루틴(285)은 세개의 모듈로 사용될 것이다. "분류자(classifier)" 모듈은 사용자 손가락에 대한 각 프레임에서 맵 클러스터에 사용된다."추적자(tracker)" 모듈은 키를 치는 손가락 모션의 탐색 및 사용자 손가락과 가상 키보드 또는 다른 기구 표면상의 위치간의 충격 점의 좌표를 결정함으로써 활동중인 손가락의 움직임을 추적하는 데 사용된다. 세번째 "맵퍼(mapper)" 모듈은 가상 키보드상의 특정 키에 대하여 사용자 손가락의 충격 점의 맵을 만들고 컴패니언 장치(80)로 키 이벤트를 보낸다. 이러한 전형적인 모듈은 하기에서 보다 자세히 설명될 것이다.
분류자 모듈의 역할은 광학적으로 획득된 데이터의 각 프레임에서 센서(20)에 의해 생성된 씬의 윤곽 맵을 분별한다. 클러스터 모듈은 동일한 표면 부분이 존재하는 것과 같이 어떤 통상의 특성를 가지는 클러스터를 식별할 것이다. 중요하게도, 분류자 모듈은 동일한 클러스터가 획득된 데이터의 연속에서 다른 클러스터로부터 식별될 수 있도록 각 클러스터에 라벨을 붙일 것이다. 또한 분류자 모듈은 각 클러스터의 경계를 결정하고, 특히 각 클러스터의 팁(tip)을 결정하는 데 상기 팁은 사용자 손가락의 끝에 대해 맵을 만든다. 상기의 목표는 사용자 손가락 자체를 인식하는 것이 아니고 사실상 가상 키 또는 키의 가상 위치를 누르는데 사용되는 스틱 또는 철필을 사용자가 보유하는 데 있을지도 모른다. 따라서, 상기 기술된 템플레이트는 우선 상기 클러스터에 의미를 부여하며 클러스터 형성에 있어 조력하는데 사용된다.
클러스터를 클러스팅 또는 위치 선정하는 방법 중 하나는 가장 근접한 이웃 파티션을 형성하기 위해 가장 근접한 이웃 조건을 사용하는 것으로, 각 파티션은 각 사용자의 손가락에 대하여 맵을 만든다. 이러한 맵핑은 사용자의 왼 쪽 손에대한 5개의 파티션 및 사용자의 오른 쪽 손에 대한 5개의 파티션을 만들며, 왼 쪽 손과 오른 쪽 손 파티션은 개별적으로 사용될 수 있다.
파티션 형성의 한 방법은 Llyod의 알고리즘을 근거로 한다. 이 알고리즘의 상세는 이미지 처리 분야에서 널리 알려져 있으며, Allen Gersho와 Robert Gray의 Vector Quantization and Signal Comprssion 의 페이지 362에서 찾을 수 있다. 예로서, 한 손에 대한 파티션을 Ct= {cj; i = 1,..5} 로 설정한다. 각 파티션의 포인트 세트를 Pi,t= {r:d(r,ci) < d(r,cj); 모든 j < > i에 대해}으로 정의하고, 여기서 함수 d()는 세트에서 2개의 포인트간의 거리 크기이다. 만약 d(r, ci) = d(r, cj)라면, "동점(tie)"은 하부의 인덱스를 가지는 세트내에 포인트를 둠으로써 깨질 수 있다. 두 포인트 a 및 b에 대해, d(a, b)는 (xa-xb)2+(ya+yb)2+(za-zb)2로 정의될 수 있으며, 여기서 x, y 및 z는 센서(20)로부터 획득한 축 크기이다. 함수 센터(Pi,t)는 Pi,t내에서 중심(重心) 또는 포인트들의 중심(重心)으로서 정의될 수 있다. 이어 Ct+1= {center(Pi,t); i=1,..5}로 정의한다. 새로운 중심을 사용하여, 상기한 바와 같이 Pi,t+1을 찾을 수 있다. 반복은 두 개의 연속적인 Pi세트의 멤버쉽이 변화되지 않고 남아있을 때까지 계속된다(예컨대 루틴(285) 또는 동등물에 의해). 전형적으로, 상기 반복은 3 내지 4 반복에 집중되고, 최종 세트 Pi내의 포인트는 각 사용자 손가락에 대한 포인트의 클러스터이다. 이 방법에서, 분류자 모듈의 궁극적 목표는 사용자 손가락 그 자체를 인식하는 것이 아니라 오히려 사용자 손가락에 의해 두드려진 키를 결정하는 것이다. 이러한 관찰은 분류자 모듈이 시스템 수행에 충돌하지 않는 타이핑 영역의 주위내에서 클러스터링의 부정확성에 견딜 수 있도록 한다.
추적자 모듈은 이제 도 7A 내지 7O에 나타낸 매트릭스에 관하여 보다 풍부하게 기술될 것이며, 여기서 클러스터는 데이터를 시각적으로 이해하기 위한 조력자로서 차츰 변화되고 있다. 바람직하게, 감지된 클러스터는 각 클러스터의 움직임을 계속 추적할 추적자 모듈에 입력된다. 추적자 모듈은 특히 비교적 빠르게 위 아래의 움직임을 경고하고, 클러스터의 속도 및 방향을 계산할 것이다.
도 7D 내지 7K에는 사용자의 두번 째 손가락이 위로 올라간 다음 손가락 끝 아래 (가상)키를 치기 위해 아래 쪽으로 움직임으로써 획득된 이미지 순서를 나타내는 매트릭스 테이블을 도시하고 있다. 각 클러스터의 팁은 분류자 모듈에 의해 식별될 추적자 모듈에 의해 면밀히 모니터된다. 실제 이미지에서, 다른 사용자 손가락은 약간 움직일 수 있지만, 예에서 분류자 모듈은 다른 손가락의 움직임보다 현저하게 높은 왼 쪽 집게손가락(손가락 2)의 가속도를 결정한다. 도 7D 내지 7E에서, 화살표는 방향과 감지된 클러스터(예컨대 사용자 손가락)의 팁을 나타내기 위해 추가되었다. 도 7D 내지 7F에서 클러스터 또는 손가락의 움직임은 윗 방향으로 향하고, 도 7F에서는 사용자의 손가락이 최대 윗 방향 예를 들면, 데이터에서 획득된 센서(20)에 의해 결정됨으로써 최대 Y 축 위치를 나타낸다. 도 7G 내지 7H에서, 클러스터 또는 손가락은 이제 아래 방향으로 예를 들어 가상 키보드(50) 또는 작업대(60) 쪽으로 움직인다. 도 7L에서, 작업대 상의 가상 키 또는 키 위치를 가지는 사용자의 손가락의 접촉은 감지된다.
손가락 끝의 수직 속도는 몇몇의 방법에서 루틴(285 : 또는 다른 루틴)에 의해 계산될 수 있다. 바람직한 실시예에서, 추적자 모듈은 시퀀스 동안 획득된 프레임의 수로부터 손가락 끝의 최고점 및 최저점간의 차이를 분할함으로써 사용자의 손가락 끝(분류자 모듈에 의해 식별된)의 수직 속도를 계산한다. 키 스트로크를 등록하기 위해, 계산된 Y 축 속도는 문턱 속도보다 높거나 동일해야 한다. 이 문턱 속도는 소프트웨어(285)에서 사용된 파라미터이며, 개인화 단계동안 사용자가 조절가능한 것이 바람직하다.
도 7J 내지 7O는 보다 복잡한 순서가 다운 및 백 방향으로 사용자의 왼 손 손가락(손가락 2)의 움직임을 나타내는 매트릭스 테이블을 도시한다. 도 7O에서, 이 손가락 모션이 가상 키보드(또는 다른 방법으로 발견되어질 가상 키와 같은 장치(80)의 앞에서 작업대 상의 위치)의 첫번 째 로우에서 키 상의 키 스트로크가 최고점에 달하는 것을 나타낸다.
이제 맵퍼 모듈에 대해 설명한다. 맵퍼 모듈이 검출해온 키 스트로크를 결정할 때 추적자 모듈은 맵퍼 모듈에 신호를 보낼 것이며, 추적자 모듈은 클러스터 팁의 좌표(X,Y,Z)를 통과시킨다. 맵퍼 모듈은 가상 키보드상의 로우 위치를 결정하기 위해 Z 축 값을 사용하고, 로우 내에서 키를 결정하기 위해 X 축 및 Y 축 값을 사용한다. 도 1A의 예에서, 좌표(X,Y,Z) 위치(7,0,3)는 가상 키보드상의 문자 "T"를 의미한다. 비록 다른 루틴이 CPU(285)가 대신 사용될 수 있다는 것을 제외하고 수행된 루틴을 포함한다하더라도 다양한 모듈은 소프트웨어 루틴(285) 부분을 포함하는 것이 바람직하다.
변경과 변화는 다음의 청구항에 의해 규정된 본 발명의 주제와 사상에서 벗어나지 않는 한 공개된 구현들로부터 만들어질 수 있다. 예를 들어, 하나 이상의 센서는 3차원 위치 정보를 획득하기 위해 채용될 수 있다.

Claims (21)

  1. 사용자가 가상 입력 장치를 사용하여 컴패니언 시스템에 데이터를 매뉴얼로 입력하는 방법에 있어서,
    (a) 사용자가 사용자 디지트로 데이터를 입력하는 작업대에 관하여 상기 적어도 하나의 사용자 디지트의 상대적 위치의 3차원 위치 정보를 캡쳐할 수 있는 센서를 제공하는 단계;
    (b) 상기 작업대 부분에 상기 사용자 디지트가 접촉되었는 지 여부를 결정하기 위한, 만약 접촉되었다면 상기 접촉 위치를 결정하기 위한 상기 센서에 의해 캡쳐된 정보를 처리하는 단계; 그리고
    (c) 상기 접촉 위치와 같은 크기의 디지털 정보를 상기 컴패니언 시스템에 출력하는 단계를 포함하는 컴패니언 시스템에 데이터를 매뉴얼로 입력하는 방법.
  2. 제 1 항에 있어서,
    상기 센서는 상기 센서로부터 상기 사용자 디지트의 표면 부분까지 비행 시간을 사용하여 상기 정보를 캡쳐하는 컴패니언 시스템에 데이터를 매뉴얼로 입력하는 방법.
  3. 제 1 항에 있어서,
    대략 2:1보다 낮은 가로 세로비를 가지는 고체 상태 센서를 제공하는 단계를포함하는 컴패니언 시스템에 데이터를 매뉴얼로 입력하는 방법.
  4. 제 1 항에 있어서,
    상기 사용자 디지트는 (ｉ) 사용자 손의 손가락, 및 (ⅱ) 사용자 손으로 컨트롤되는 철필 도구로 구성되는 그룹으로부터 선택되는 컴패니언 시스템에 데이터를 매뉴얼로 입력하는 방법.
  5. 제 1 항에 있어서,
    상기 작업대는 (ⅰ) 3차원 공간, (ⅱ) 물리적 평판 표면, (ⅲ) 기판, (ⅳ) 실제 키보드의 사용자 가시 이미지를 지니는 기판, (ⅴ) 실제 키보드의 사용자 가시 이미지가 투영된 기판, (ⅵ) 사용자 가시 타이핑 가이드가 투영된 기판, (ⅶ) 실제 키보드의 사용자 가시 이미지를 지니며 상기 사용자 디지트에 의해 눌려질 때 촉각적 피드백을 제공하는 수동적 키같은 영역을 포함하는 수동적 기판, 그리고 (ⅷ) 적어도 6" ×12" 크기로 사용하기 위해 배치될 때 대략 6" ×8" 미만의 크기는 사용되지 않는 기판으로 구성되는 그룹으로부터 선택되는 컴패니언 시스템에 데이터를 매뉴얼로 입력하는 방법.
  6. 제 1 항에 있어서,
    상기 사용자 디지트의 피드 백 가이드 배치를 가지는 상기 방법의 사용자를 제공하는 단계를 더 포함하며, 상기 피드 백은 (ⅰ) 실제 키보드 상에 사용자 타이핑을 에뮬레이팅하는 촉각적 피드 백, (ⅱ) 상기 컴패니언 장치에 의해 생성된 청각적 피드 백, (ⅲ) 적어도 하나의 키보드 키의 이미지를 묘사하는 상기 컴패니언 장치상에 디스플레이된 시각적 피드 백, (ⅳ) 상기 사용자 디지트에 의해 터치된 키로부터 시각적으로 구별된 상기 디지트에 인접한 키보드 키를 묘사하는 상기 컴패니언 장치 상에 디스플레이된 시각적 피드 백, (ⅴ) 상기 사용자 디지트에 의해 입력된 데이터를 묘사하는 상기 컴패니언 장치상에 디스플레이된 시각적 피드 백으로 구성되는 그룹으로부터 선택된 적어도 하나의 피드 백 타입을 포함하는 컴패니언 시스템에 데이터를 매뉴얼로 입력하는 방법.
  7. 제 1 항에 있어서,
    상기 데이터는 (ⅰ) 영숫자 문자를 표현하는 디지털 코드, (ⅱ) 명령을 표현하는 디지털 코드, (ⅲ) 상기 사용자 디지트에 의해 추적된 포인트의 위치를 표현하는 디지털 코드로 이루어진 그룹으로부터 선택된 적어도 하나의 데이터 타입을 포함하는 컴패니언 시스템에 데이터를 매뉴얼로 입력하는 방법.
  8. 제 1 항에 있어서,
    (c) 단계로서, (ⅰ) 말단부의 3차원 위치, (ⅱ) 적어도 한 방향으로 상기 말단부에 대한 속도 정보, (ⅲ) 상기 사용자 디지트의 템플레이트 모델로 획득된 정보를 매칭, (ⅳ) 정보 처리 히스테리시스, (ⅴ) 입력되는 데이터의 언어 지식중 적어도 하나를 사용하는 상기 작업대 상에 위치에 따라 상기 사용자 디지트의 말단부의 공간적 위치를 결정하는 단계를 포함하는 컴패니언 시스템에 데이터를 매뉴얼로 입력하는 방법.
  9. 제 1 항에 있어서,
    실제 키보드상의 키로 상기 사용자 디지트의 말단 끝부의 3차원 위치를 매핑하며, 타이핑되고, 상기 작업대에 존재하는 상기 키를 식별하는 단계를 더 포함하는 컴패니언 시스템에 데이터를 매뉴얼로 입력하는 방법.
  10. 제 1 항에 있어서,
    상기 사용자 디지트는 상기 방법의 사용자 손의 손가락을 포함하며, 데이터는 프레임내 상기 센서에 의해 캡쳐되며, 단계 (b)는 적어도 2개의 손가락의 수직 속도 구성 요소를 포함하는 상기 사용자 손의 적어도 2개의 손가락에 관하여 3차원 위치 정보를 결정하기 위한 연속적인 프레임으로 획득한 데이터를 처리하는 단계를 포함하는 컴패니언 시스템에 데이터를 매뉴얼로 입력하는 방법.
  11. 제 1 항에 있어서,
    상기 컴패니언 시스템은 (ⅰ) PDA, (ⅱ) 무선 전화기, (ⅲ) 셋톱 박스, (ⅳ) 컴퓨터, 그리고 (ⅴ) 입력 장치를 받아들이기 위한 기구로 이루어진 그룹으로부터 선택된 적어도 하나 이상을 포함하는 컴패니언 시스템에 데이터를 매뉴얼로 입력하는 방법.
  12. 사용자에 의해 매뉴얼로 제공된 디지털 입력을 받기위한 컴패니언 장치를 사용하는 시스템으로서,
    사용자가 사용자 디지트를 사용하는 컴패니언 장치로 데이터를 입력하는 작업대에 관하여 상기 적어도 하나의 사용자 디지트의 상대적 위치의 3차원 위치 정보를 캡쳐할 수 있는 센서;
    상기 작업대 부분에 상기 사용자 디지트가 접촉되었는 지 여부를 결정하기 위한, 만약 접촉되었다면 상기 접촉 위치를 결정하기 위한 상기 센서에 의해 캡쳐된 정보를 처리하는 프로세서; 그리고
    상기 접촉 위치와 같은 크기의 디지털 정보를 상기 컴패니언 시스템에 출력하는 프로세서를 포함하는 컴패니언 장치를 사용하는 시스템.
  13. 제 12 항에 있어서,
    상기 센서는 대략 2:1보다 작은 가로 세로비를 가지는 에너지 방사 장치를 사용하며, 상기 정보는 센서로부터 상기 사용자 디지트의 표면 부분까지 비행 시간을 사용하여 캡쳐되는 컴패니언 장치를 사용하는 시스템.
  14. 제 12 항에 있어서,
    상기 사용자 디지트는 (ｉ) 사용자 손의 손가락, 및 (ⅱ) 사용자 손으로 컨트롤되는 철필 도구로 이루어지는 그룹으로부터 선택되는 컴패니언 장치를 사용하는 시스템.
  15. 제 12 항에 있어서,
    상기 작업대는 (ⅰ) 3차원 공간, (ⅱ) 물리적 평판 표면, (ⅲ) 기판, (ⅳ) 실제 키보드의 사용자 가시 이미지를 지니는 기판, (ⅴ) 실제 키보드의 사용자 가시 이미지가 투영된 기판, (ⅵ) 사용자 가시 타이핑 가이드가 투영된 기판, (ⅶ) 실제 키보드의 사용자 가시 이미지를 지니며 상기 사용자 디지트에 의해 눌려질 때 촉각적 피드백을 제공하는 수동적 키같은 영역을 포함하는 수동적 기판, 그리고 (ⅷ) 적어도 6" ×12" 크기로 사용하기 위해 배치될 때 대략 6" ×8" 미만의 크기는 사용되지 않는 기판으로 이루어지는 그룹으로부터 선택되는 컴패니언 장치를 사용하는 시스템.
  16. 제 12 항에 있어서,
    상기 시스템은 상기 사용자 디지트의 피드 백 가이드 배치를 가지는 상기 시스템의 사용자를 제공하며, 상기 피드 백은 (ⅰ) 실제 키보드 상에 사용자 타이핑을 에뮬레이팅하는 촉각적 피드 백, (ⅱ) 상기 컴패니언 장치에 의해 생성된 청각적 피드 백, (ⅲ) 적어도 하나의 키보드 키의 이미지를 묘사하는 상기 컴패니언 장치상에 디스플레이된 시각적 피드 백, (ⅳ) 상기 사용자 디지트에 의해 터치된 키로부터 시각적으로 구별된 상기 디지트에 인접한 키보드 키를 묘사하는 상기 컴패니언 장치 상에 디스플레이된 시각적 피드 백, (ⅴ) 상기 사용자 디지트에 의해 입력된 데이터를 묘사하는 상기 컴패니언 장치상에 디스플레이된 시각적 피드 백으로 이루어지는 그룹으로부터 선택된 적어도 하나의 피드 백 타입을 포함하는 컴패니언 장치를 사용하는 시스템.
  17. 제 12 항에 있어서,
    상기 데이터는 (ⅰ) 영숫자 문자를 표현하는 디지털 코드, (ⅱ) 명령을 표현하는 디지털 코드, (ⅲ) 상기 사용자 디지트에 의해 추적된 포인트의 위치를 표현하는 디지털 코드로 이루어진 그룹으로부터 선택된 적어도 하나의 데이터 타입을 포함하는 컴패니언 장치를 사용하는 시스템.
  18. 제 12 항에 있어서,
    상기 프로세서는 (ⅰ) 말단부의 3차원 위치, (ⅱ) 적어도 한 방향으로 상기 말단부에 대한 속도 정보, (ⅲ) 상기 사용자 디지트의 템플레이트 모델로 획득된 정보를 매칭, (ⅳ) 정보 처리 히스테리시스, (ⅴ) 입력되는 데이터의 언어 지식중 적어도 하나를 사용하는 상기 작업대 상에 위치에 따라 상기 사용자 디지트의 말단부의 공간적 위치를 결정하는 컴패니언 장치를 사용하는 시스템.
  19. 제 12 항에 있어서,
    상기 프로세서는 실제 키보드상의 키로 상기 사용자 디지트의 말단 팁의 3차원 위치를 맵으로 만들며, 타이핑되고, 상기 작업대에 존재하는 상기 키를 식별하는 컴패니언 장치를 사용하는 시스템.
  20. 사용자가 가상 입력 장치를 사용하여 데이터를 매뉴얼로 입력할 수 있는 시스템으로서,
    사용자가 사용자 디지트를 사용하는 컴패니언 장치로 데이터를 입력하는 작업대에 관하여 상기 적어도 하나의 사용자 디지트의 상대적 위치의 3차원 위치 정보를 캡쳐할 수 있는 센서;
    상기 작업대 부분에 상기 사용자 디지트가 접촉되었는 지 여부를 결정하기 위한, 만약 접촉되었다면 상기 접촉 위치를 결정하기 위한 상기 센서에 의해 캡쳐된 정보를 처리하는 프로세서; 그리고
    상기 프로세서로부터 출력된 상기 접촉 위치와 같은 크기의 디지털 정보를 받기 위해 결합된 컴패니언 장치를 포함하는 사용자가 가상 입력 장치를 사용하여 데이터를 매뉴얼로 입력할 수 있는 시스템.
  21. 제 20 항에 있어서,
    상기 사용자 디지트는 (ⅰ) 사용자 손의 손가락, 및 (ⅱ) 사용자 손으로 컨트롤되는 철필 도구로 이루어지는 그룹으로부터 선택되며, 상기 작업대는 (ⅰ) 3차원 공간, (ⅱ) 물리적 평판 표면, (ⅲ) 기판, (ⅳ) 실제 키보드의 사용자 가시 이미지를 지니는 기판, (ⅴ) 실제 키보드의 사용자 가시 이미지가 투영된 기판, (ⅵ) 사용자 가시 타이핑 가이드가 투영된 기판, (ⅶ) 실제 키보드의 사용자 가시 이미지를 지니며 상기 사용자 디지트에 의해 눌려질 때 촉각적 피드백을 제공하는 수동적 키같은 영역을 포함하는 수동적 기판, 그리고 (ⅷ) 적어도 6" ×12" 크기로 사용하기 위해 배치될 때 대략 6" ×8" 미만의 크기는 사용되지 않는 기판으로 이루어지는 그룹으로부터 선택되는 사용자가 가상 입력 장치를 사용하여 데이터를 매뉴얼로 입력할 수 있는 시스템.
KR1020027010394A 2000-02-11 2001-02-12 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치 KR100811015B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/502,499 2000-02-11
US09/502,499 US6614422B1 (en) 1999-11-04 2000-02-11 Method and apparatus for entering data using a virtual input device

Publications (2)

Publication Number Publication Date
KR20020079847A true KR20020079847A (ko) 2002-10-19
KR100811015B1 KR100811015B1 (ko) 2008-03-11

Family

ID=23998118

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027010394A KR100811015B1 (ko) 2000-02-11 2001-02-12 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치

Country Status (10)

Country Link
US (2) US6614422B1 (ko)
EP (1) EP1332488B1 (ko)
JP (1) JP2004500657A (ko)
KR (1) KR100811015B1 (ko)
CN (1) CN1232943C (ko)
AT (1) ATE481674T1 (ko)
AU (1) AU2001261818A1 (ko)
DE (1) DE60143094D1 (ko)
HK (1) HK1058425A1 (ko)
WO (1) WO2001059975A2 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100725603B1 (ko) * 2004-03-11 2007-06-08 캐논 가부시끼가이샤 좌표입력장치 및 그 제어방법
US7432914B2 (en) 2004-03-11 2008-10-07 Canon Kabushiki Kaisha Coordinate input apparatus, its control method, and program
KR100967356B1 (ko) * 2008-10-14 2010-07-05 고려대학교 산학협력단 3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치
KR101063985B1 (ko) * 2004-05-14 2011-09-14 노키아 코포레이션 소프트키 환경설정
KR101286412B1 (ko) * 2005-12-29 2013-07-18 삼성전자주식회사 다중기능 가상 사용자 입력 장치 및 방법
WO2013183938A1 (ko) * 2012-06-08 2013-12-12 주식회사 케이엠티글로벌 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치
KR101385263B1 (ko) * 2012-08-23 2014-04-16 주식회사 셀루온 가상 키보드를 위한 시스템 및 방법
KR101483605B1 (ko) * 2014-01-03 2015-01-16 주식회사 큐브전자 빔프로젝터를 갖는 태블릿컴퓨터
US9916044B2 (en) 2013-06-05 2018-03-13 Korea University Research And Business Foundation, Sejong Campus Device and method for information processing using virtual keyboard
US9933854B2 (en) 2015-01-16 2018-04-03 Samsung Electronics Co., Ltd. Virtual input device and method for receiving user input using the same
US10346529B2 (en) 2008-09-30 2019-07-09 Microsoft Technology Licensing, Llc Using physical objects in conjunction with an interactive surface
WO2019164048A1 (ko) * 2018-02-24 2019-08-29 링크플로우 주식회사 사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치
KR20190140570A (ko) * 2018-06-12 2019-12-20 박행운 가상 데이터 입력 화면을 이용한 오디오 데이터 입출력 장치 및 이의 실행 방법

Families Citing this family (595)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831358B2 (en) * 1992-05-05 2010-11-09 Automotive Technologies International, Inc. Arrangement and method for obtaining information using phase difference of modulated illumination
US7808479B1 (en) 2003-09-02 2010-10-05 Apple Inc. Ambidextrous mouse
US20100008551A9 (en) * 1998-08-18 2010-01-14 Ilya Schiller Using handwritten information
US7268774B2 (en) * 1998-08-18 2007-09-11 Candledragon, Inc. Tracking motion of a writing instrument
US7233321B1 (en) 1998-12-15 2007-06-19 Intel Corporation Pointing device with integrated audio input
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US7106888B1 (en) * 1999-05-25 2006-09-12 Silverbrook Research Pty Ltd Signature capture via interface surface
US20030132950A1 (en) * 2001-11-27 2003-07-17 Fahri Surucu Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains
US20080122799A1 (en) * 2001-02-22 2008-05-29 Pryor Timothy R Human interfaces for vehicles, homes, and other applications
US6611252B1 (en) * 2000-05-17 2003-08-26 Dufaux Douglas P. Virtual data input device
KR100865598B1 (ko) * 2000-05-29 2008-10-27 브이케이비 인코포레이티드 수문자 조합 및 다른 데이터의 입력을 위한 가상 데이터입력 장치 및 방법
NO20003006L (no) * 2000-06-09 2001-12-10 Idex Asa Mus
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US6906793B2 (en) * 2000-12-11 2005-06-14 Canesta, Inc. Methods and devices for charge management for three-dimensional sensing
US20020061217A1 (en) * 2000-11-17 2002-05-23 Robert Hillman Electronic input device
AU2002243265A1 (en) * 2000-11-19 2002-06-24 Canesta, Inc. Method for enhancing performance in a system utilizing an array of sensors that sense at least two-dimensions
FI113094B (fi) * 2000-12-15 2004-02-27 Nokia Corp Parannettu menetelmä ja järjestely toiminnon aikaansaamiseksi elektronisessa laitteessa ja elektroninen laite
EP1352303A4 (en) * 2001-01-08 2007-12-12 Vkb Inc DATA INPUT DEVICE
US6943774B2 (en) * 2001-04-02 2005-09-13 Matsushita Electric Industrial Co., Ltd. Portable communication terminal, information display device, control input device and control input method
US6968073B1 (en) 2001-04-24 2005-11-22 Automotive Systems Laboratory, Inc. Occupant detection system
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US6904570B2 (en) * 2001-06-07 2005-06-07 Synaptics, Inc. Method and apparatus for controlling a display of data on a display screen
US6727891B2 (en) * 2001-07-03 2004-04-27 Netmor, Ltd. Input device for personal digital assistants
US8339379B2 (en) * 2004-04-29 2012-12-25 Neonode Inc. Light-based touch screen
JP2003152851A (ja) * 2001-11-14 2003-05-23 Nec Corp 携帯端末装置
US7257255B2 (en) * 2001-11-21 2007-08-14 Candledragon, Inc. Capturing hand motion
JP2003233805A (ja) * 2001-12-04 2003-08-22 Canon Inc 画像入力装置
US20030165048A1 (en) * 2001-12-07 2003-09-04 Cyrus Bamji Enhanced light-generated interface for use with electronic devices
KR20030050741A (ko) * 2001-12-19 2003-06-25 삼성전자주식회사 화면 크기와 입력키의 수가 제한되는 휴대용 기기에서의빠르고 간편한 캐릭터 입력 방법 및 이를 이용하는 휴대용기기
US7071924B2 (en) * 2002-01-10 2006-07-04 International Business Machines Corporation User input method and apparatus for handheld computers
US6977643B2 (en) * 2002-01-10 2005-12-20 International Business Machines Corporation System and method implementing non-physical pointers for computer devices
AU2003217587A1 (en) * 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US10242255B2 (en) 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
GB2386346B (en) 2002-03-12 2005-06-15 Eleksen Ltd Flexible foldable keyboard
US20030197685A1 (en) * 2002-04-23 2003-10-23 Leland Yi Wireless keyboard with a built-in web camera
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US20050122308A1 (en) * 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US7170492B2 (en) * 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
JP2004005272A (ja) * 2002-05-31 2004-01-08 Cad Center:Kk 仮想空間移動制御装置及び制御方法並びに制御プログラム
US20030226968A1 (en) * 2002-06-10 2003-12-11 Steve Montellese Apparatus and method for inputting data
EP1540641A2 (en) * 2002-06-26 2005-06-15 VKB Inc. Multifunctional integrated image sensor and application to virtual interface technology
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US7656393B2 (en) 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
JP3630153B2 (ja) * 2002-07-19 2005-03-16 ソニー株式会社 情報表示入力装置及び情報表示入力方法、並びに情報処理装置
US7102615B2 (en) * 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US6922187B2 (en) * 2002-07-23 2005-07-26 International Business Machines Corporation Method and apparatus for implementing a compact portable computer system
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US20040041716A1 (en) * 2002-08-29 2004-03-04 Compx International Inc. Virtual keyboard and keyboard support arm assembly
US20040041828A1 (en) * 2002-08-30 2004-03-04 Zellhoefer Jon William Adaptive non-contact computer user-interface system and method
US7526120B2 (en) * 2002-09-11 2009-04-28 Canesta, Inc. System and method for providing intelligent airbag deployment
US20040066500A1 (en) * 2002-10-02 2004-04-08 Gokturk Salih Burak Occupancy detection and measurement system and method
US20040075735A1 (en) * 2002-10-17 2004-04-22 Koninklijke Philips Electronics N.V. Method and system for producing a pseudo three-dimensional display utilizing a two-dimensional display device
US6999008B2 (en) * 2002-10-21 2006-02-14 Actisys, Corporation Universal mobile keyboard
US7133563B2 (en) * 2002-10-31 2006-11-07 Microsoft Corporation Passive embedded interaction code
US7133031B2 (en) * 2002-10-31 2006-11-07 Microsoft Corporation Optical system design for a universal computing device
US7009594B2 (en) * 2002-10-31 2006-03-07 Microsoft Corporation Universal computing device
US8896575B2 (en) * 2002-11-04 2014-11-25 Neonode Inc. Pressure-sensitive touch screen
US7774075B2 (en) * 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
AU2003291304A1 (en) * 2002-11-06 2004-06-03 Julius Lin Virtual workstation
US6954197B2 (en) * 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US20040113956A1 (en) * 2002-12-12 2004-06-17 International Business Machines Corporation Apparatus and method for providing feedback regarding finger placement relative to an input device
US7576727B2 (en) * 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
WO2004055776A1 (en) 2002-12-13 2004-07-01 Reactrix Systems Interactive directed light/sound system
US20040119690A1 (en) * 2002-12-24 2004-06-24 Watters Scott W. System and method to interact remotely with an application displayed on a display device
US7102617B2 (en) * 2002-12-30 2006-09-05 Motorola, Inc. Compact optical pointing apparatus and method
TW594549B (en) * 2002-12-31 2004-06-21 Ind Tech Res Inst Device and method for generating virtual keyboard/display
US7194699B2 (en) * 2003-01-14 2007-03-20 Microsoft Corporation Animating images to reflect user selection
DE50308437D1 (de) * 2003-02-03 2007-11-29 Siemens Ag Projektion von synthetischer information
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US7532206B2 (en) 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7886236B2 (en) * 2003-03-28 2011-02-08 Microsoft Corporation Dynamic feedback for gestures
US6919549B2 (en) * 2003-04-11 2005-07-19 Canesta, Inc. Method and system to differentially enhance sensor dynamic range
US7176438B2 (en) * 2003-04-11 2007-02-13 Canesta, Inc. Method and system to differentially enhance sensor dynamic range using enhanced common mode reset
US7382360B2 (en) * 2003-04-15 2008-06-03 Synaptics Incorporated Methods and systems for changing the appearance of a position sensor with a light effect
KR100682885B1 (ko) * 2003-04-23 2007-02-15 삼성전자주식회사 공간형 정보 입력 장치 및 방법, 이를 위한 소프트 키매핑 방법 및 그에 따른 가상 키보드
JP4741488B2 (ja) * 2003-07-03 2011-08-03 ホロタッチ， インコーポレイテッド ホログラフィックヒューマンマシンインタフェース
US7173605B2 (en) * 2003-07-18 2007-02-06 International Business Machines Corporation Method and apparatus for providing projected user interface for computing device
US7581182B1 (en) * 2003-07-18 2009-08-25 Nvidia Corporation Apparatus, method, and 3D graphical user interface for media centers
US8217896B2 (en) * 2003-07-31 2012-07-10 Kye Systems Corporation Computer input device for automatically scrolling
US8487915B1 (en) 2003-09-11 2013-07-16 Luidia Inc. Mobile device incorporating projector and pen-location transcription system
US7382356B2 (en) * 2003-09-15 2008-06-03 Sharper Image Corp. Input unit for games and musical keyboards
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
ES2385914T3 (es) * 2003-09-18 2012-08-03 Vodafone Group Plc Terminal de comunicación de información
US7439074B2 (en) * 2003-09-30 2008-10-21 Hoa Duc Nguyen Method of analysis of alcohol by mass spectrometry
JP2008518195A (ja) * 2003-10-03 2008-05-29 オートモーティブ システムズ ラボラトリー インコーポレーテッド 乗員検出システム
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
WO2005041578A2 (en) * 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for managing an interactive video display system
EP1683345A2 (en) * 2003-10-31 2006-07-26 VKB Inc. Optical apparatus for virtual interface projection and sensing
US20050148432A1 (en) * 2003-11-03 2005-07-07 Carmein David E.E. Combined omni-directional treadmill and electronic perception technology
US20050096985A1 (en) * 2003-11-04 2005-05-05 Werden Todd C. Business system and method for a virtual point of sale system in a retail store
JP4611667B2 (ja) 2003-11-25 2011-01-12 健爾 西 情報入力器、収納装置、情報入力装置、及び情報処理装置
TWI227462B (en) * 2003-12-16 2005-02-01 Ind Tech Res Inst Projector device with virtual input element image
EP1709519B1 (en) * 2003-12-31 2014-03-05 ABB Research Ltd. A virtual control panel
US20050141752A1 (en) * 2003-12-31 2005-06-30 France Telecom, S.A. Dynamically modifiable keyboard-style interface
US7355593B2 (en) 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
WO2005065034A2 (en) * 2004-01-05 2005-07-21 Dikla Hasson System and method for improving typing skills
US7583842B2 (en) * 2004-01-06 2009-09-01 Microsoft Corporation Enhanced approach of m-array decoding and error correction
US20070159453A1 (en) * 2004-01-15 2007-07-12 Mikio Inoue Mobile communication terminal
US7263224B2 (en) * 2004-01-16 2007-08-28 Microsoft Corporation Strokes localization by m-array decoding and fast image matching
US7755608B2 (en) * 2004-01-23 2010-07-13 Hewlett-Packard Development Company, L.P. Systems and methods of interfacing with a machine
JP2007526453A (ja) * 2004-01-28 2007-09-13 カネスタ インコーポレイテッド 単一チップの赤、緑、青、距離（ｒｇｂ−ｚ）センサー
US7212109B2 (en) * 2004-02-13 2007-05-01 Ge Medical Systems Global Technology Company, Llc Hygienic input device for medical information systems
WO2005091651A2 (en) * 2004-03-18 2005-09-29 Reactrix Systems, Inc. Interactive video display system
JP2005267424A (ja) * 2004-03-19 2005-09-29 Fujitsu Ltd データ入力装置、情報処理装置、データ入力方法、データ入力プログラム
JP4475634B2 (ja) * 2004-03-26 2010-06-09 キヤノン株式会社 情報処理装置および方法
US7379562B2 (en) * 2004-03-31 2008-05-27 Microsoft Corporation Determining connectedness and offset of 3D objects relative to an interactive surface
US20050227217A1 (en) * 2004-03-31 2005-10-13 Wilson Andrew D Template matching on interactive surface
JP2005293473A (ja) * 2004-04-05 2005-10-20 Yokogawa Electric Corp 電子機器
US20050225473A1 (en) * 2004-04-08 2005-10-13 Alex Hill Infrared emission sensor
US7706638B1 (en) 2004-04-26 2010-04-27 National Semiconductor Corporation System, apparatus and method for color machine vision with black and white photoelectric sensor
US7460110B2 (en) 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US8120596B2 (en) 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
US20050273201A1 (en) * 2004-06-06 2005-12-08 Zukowski Deborra J Method and system for deployment of sensors
US7787706B2 (en) 2004-06-14 2010-08-31 Microsoft Corporation Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
US7515135B2 (en) * 2004-06-15 2009-04-07 Research In Motion Limited Virtual keypad for touchscreen display
US7593593B2 (en) 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
KR100636483B1 (ko) 2004-06-25 2006-10-18 삼성에스디아이 주식회사 트랜지스터와 그의 제조방법 및 발광 표시장치
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US20070046643A1 (en) * 2004-08-06 2007-03-01 Hillis W Daniel State-Based Approach to Gesture Identification
US7728821B2 (en) 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
US7719523B2 (en) 2004-08-06 2010-05-18 Touchtable, Inc. Bounding box gesture recognition on a touch detecting interactive display
US7724242B2 (en) * 2004-08-06 2010-05-25 Touchtable, Inc. Touch driven method and apparatus to integrate and display multiple image layers forming alternate depictions of same subject matter
US20060036947A1 (en) * 2004-08-10 2006-02-16 Jelley Kevin W User interface controller method and apparatus for a handheld electronic device
US20060050062A1 (en) * 2004-08-19 2006-03-09 Masanori Ozawa Input device
US7576725B2 (en) * 2004-10-19 2009-08-18 Microsoft Corporation Using clear-coded, see-through objects to manipulate virtual objects
KR100663515B1 (ko) * 2004-11-08 2007-01-02 삼성전자주식회사 휴대 단말 장치 및 이를 위한 데이터 입력 방법
US7895218B2 (en) * 2004-11-09 2011-02-22 Veveo, Inc. Method and system for performing searches for television content using reduced text input
US20060101504A1 (en) * 2004-11-09 2006-05-11 Veveo.Tv, Inc. Method and system for performing searches for television content and channels using a non-intrusive television interface and with reduced text input
WO2006053011A2 (en) * 2004-11-09 2006-05-18 Veveo, Inc. Method and system for secure sharing, gifting, and purchasing of content on television and mobile devices
US20070266406A1 (en) * 2004-11-09 2007-11-15 Murali Aravamudan Method and system for performing actions using a non-intrusive television with reduced text input
DE102005061211B4 (de) * 2004-12-22 2023-04-06 Abb Schweiz Ag Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
US7467075B2 (en) * 2004-12-23 2008-12-16 Covidien Ag Three-dimensional finite-element code for electrosurgery and thermal ablation simulations
US20130128118A1 (en) * 2004-12-23 2013-05-23 Kuo-Ching Chiang Smart TV with Multiple Sub-Display Windows and the Method of the Same
US20060152482A1 (en) 2005-01-07 2006-07-13 Chauncy Godwin Virtual interface and control device
US7852317B2 (en) 2005-01-12 2010-12-14 Thinkoptics, Inc. Handheld device for handheld vision based absolute pointing system
CN100410857C (zh) * 2005-01-27 2008-08-13 时代光电科技股份有限公司 资料输入装置
US7539513B2 (en) 2005-02-02 2009-05-26 National Telephone Products, Inc. Portable phone with ergonomic image projection system
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
GB2440683B (en) * 2005-02-23 2010-12-08 Zienon L L C Method and apparatus for data entry input
US9760214B2 (en) 2005-02-23 2017-09-12 Zienon, Llc Method and apparatus for data entry input
WO2006090386A2 (en) * 2005-02-24 2006-08-31 Vkb Inc. A virtual keyboard device
US20060192763A1 (en) * 2005-02-25 2006-08-31 Ziemkowski Theodore B Sound-based virtual keyboard, device and method
US7826074B1 (en) 2005-02-25 2010-11-02 Microsoft Corporation Fast embedded interaction code printing with custom postscript commands
US20060215913A1 (en) * 2005-03-24 2006-09-28 Microsoft Corporation Maze pattern analysis with image matching
JP4612853B2 (ja) * 2005-03-29 2011-01-12 キヤノン株式会社 指示位置認識装置及びそれを有する情報入力装置
CN100367159C (zh) * 2005-04-04 2008-02-06 技嘉科技股份有限公司 虚拟键盘
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
US20060242562A1 (en) * 2005-04-22 2006-10-26 Microsoft Corporation Embedded method for embedded interaction code array
US7499027B2 (en) * 2005-04-29 2009-03-03 Microsoft Corporation Using a light pointer for input on an interactive display surface
US20060244720A1 (en) * 2005-04-29 2006-11-02 Tracy James L Collapsible projection assembly
EP1880263A1 (en) * 2005-05-04 2008-01-23 Koninklijke Philips Electronics N.V. System and method for projecting control graphics
US7729539B2 (en) * 2005-05-31 2010-06-01 Microsoft Corporation Fast error-correcting of embedded interaction codes
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
US7580576B2 (en) * 2005-06-02 2009-08-25 Microsoft Corporation Stroke localization and binding to electronic document
US20060279532A1 (en) * 2005-06-14 2006-12-14 Olszewski Piotr S Data input device controlled by motions of hands and fingers
US7525538B2 (en) * 2005-06-28 2009-04-28 Microsoft Corporation Using same optics to image, illuminate, and project
US8122034B2 (en) 2005-06-30 2012-02-21 Veveo, Inc. Method and system for incremental search with reduced text entry where the relevance of results is a dynamically computed function of user input search string character count
US20070008293A1 (en) * 2005-07-06 2007-01-11 International Business Machines Corporation Touch sensitive device and display
US20070019103A1 (en) * 2005-07-25 2007-01-25 Vkb Inc. Optical apparatus for virtual interface projection and sensing
US20070019099A1 (en) * 2005-07-25 2007-01-25 Vkb Inc. Optical apparatus for virtual interface projection and sensing
TW200708064A (en) * 2005-08-03 2007-02-16 Elan Microelectronics Corp Sensor array device of handheld image moving tracking sensor
US7817816B2 (en) * 2005-08-17 2010-10-19 Microsoft Corporation Embedded interaction code enabled surface type identification
WO2007025119A2 (en) * 2005-08-26 2007-03-01 Veveo, Inc. User interface for visual cooperation between text input and display device
US7788266B2 (en) 2005-08-26 2010-08-31 Veveo, Inc. Method and system for processing ambiguous, multi-term search queries
US7779011B2 (en) * 2005-08-26 2010-08-17 Veveo, Inc. Method and system for dynamically processing ambiguous, reduced text search queries and highlighting results thereof
US7911444B2 (en) 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
US20070063982A1 (en) * 2005-09-19 2007-03-22 Tran Bao Q Integrated rendering of sound and image on a display
US20070063979A1 (en) * 2005-09-19 2007-03-22 Available For Licensing Systems and methods to provide input/output for a portable data processing device
KR100631779B1 (ko) * 2005-10-07 2006-10-11 삼성전자주식회사 데이터 입력 장치 및 상기 장치를 이용한 데이터 입력 감지방법
US20070114277A1 (en) * 2005-11-21 2007-05-24 International Business Machines Corporation Apparatus and method for commercial transactions
US7644054B2 (en) * 2005-11-23 2010-01-05 Veveo, Inc. System and method for finding desired results by incremental search using an ambiguous keypad with the input containing orthographic and typographic errors
US20070130547A1 (en) * 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
US8279168B2 (en) * 2005-12-09 2012-10-02 Edge 3 Technologies Llc Three-dimensional virtual-touch human-machine interface system and method therefor
US8060840B2 (en) 2005-12-29 2011-11-15 Microsoft Corporation Orientation free user interface
WO2007089663A2 (en) * 2006-01-27 2007-08-09 Veveo, Inc. System and method for incremental user query on handheld device
CN101589425A (zh) * 2006-02-16 2009-11-25 Ftk技术有限公司 将数据输入计算***的***和方法
US7515143B2 (en) * 2006-02-28 2009-04-07 Microsoft Corporation Uniform illumination of interactive display panel
US7529741B2 (en) * 2006-03-06 2009-05-05 Veveo, Inc. Methods and systems for segmenting relative user preferences into fine-grain and coarse-grain collections
FR2898315B1 (fr) * 2006-03-08 2009-02-20 Peugeot Citroen Automobiles Sa Interface de commande d'un equipement fixe ou nomade de vehicule, avec utilisation d'un clavier virtuel
US8334841B2 (en) * 2006-03-13 2012-12-18 Navisense Virtual user interface method and system thereof
US8614669B2 (en) * 2006-03-13 2013-12-24 Navisense Touchless tablet method and system thereof
US8578282B2 (en) * 2006-03-15 2013-11-05 Navisense Visual toolkit for a virtual user interface
US7777728B2 (en) * 2006-03-17 2010-08-17 Nokia Corporation Mobile communication terminal
US8073860B2 (en) * 2006-03-30 2011-12-06 Veveo, Inc. Method and system for incrementally selecting and providing relevant search engines in response to a user query
US10048860B2 (en) 2006-04-06 2018-08-14 Google Technology Holdings LLC Method and apparatus for user interface adaptation
US7539676B2 (en) * 2006-04-20 2009-05-26 Veveo, Inc. User interface methods and systems for selecting and presenting content based on relationships between the user and other members of an organization
US9152241B2 (en) * 2006-04-28 2015-10-06 Zienon, Llc Method and apparatus for efficient data input
KR100756521B1 (ko) 2006-05-03 2007-09-10 포텍마이크로시스템(주) 유아 교육용 프로젝션 키보드 시스템 및 이를 이용한 키입력 방법
US7755026B2 (en) * 2006-05-04 2010-07-13 CandleDragon Inc. Generating signals representative of sensed light that is associated with writing being done by a user
US20080018598A1 (en) * 2006-05-16 2008-01-24 Marsden Randal J Hands-free computer access for medical and dentistry applications
US7492445B1 (en) * 2006-06-05 2009-02-17 Cypress Semiconductor Corporation Method and apparatus for robust velocity prediction
US7830368B2 (en) 2006-06-06 2010-11-09 3M Innovative Properties Company Keypad with virtual image
EP2033064A1 (en) * 2006-06-15 2009-03-11 Nokia Corporation Mobile device with virtual keypad
US20150121287A1 (en) * 2006-07-03 2015-04-30 Yoram Ben-Meir System for generating and controlling a variably displayable mobile device keypad/virtual keyboard
JP4627052B2 (ja) * 2006-07-06 2011-02-09 株式会社ソニー・コンピュータエンタテインメント 画像に連携した音声出力方法および装置
US7728816B2 (en) * 2006-07-10 2010-06-01 Cypress Semiconductor Corporation Optical navigation sensor with variable tracking resolution
US8913003B2 (en) * 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
US8316324B2 (en) * 2006-09-05 2012-11-20 Navisense Method and apparatus for touchless control of a device
US8037414B2 (en) 2006-09-14 2011-10-11 Avaya Inc. Audible computer user interface method and apparatus
EP2062171A4 (en) 2006-09-14 2010-10-06 Veveo Inc METHOD AND SYSTEMS FOR THE DYNAMIC REORGANIZATION OF SEARCH RESULTS IN HIERARCHICALLY ORGANIZED CLAUSE CLUSTERS
US20080176201A1 (en) * 2006-09-20 2008-07-24 Technologies Humanware Canada Inc. User interface for an audio book player
TWI333624B (en) * 2006-09-27 2010-11-21 Chia Hoang Lee A virtual input device and the input method thereof
WO2008045690A2 (en) * 2006-10-06 2008-04-17 Veveo, Inc. Linear character selection display interface for ambiguous text input
US8078884B2 (en) 2006-11-13 2011-12-13 Veveo, Inc. Method of and system for selecting and presenting content based on user identification
US20080114615A1 (en) * 2006-11-15 2008-05-15 General Electric Company Methods and systems for gesture-based healthcare application interaction in thin-air display
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
EP1937032B1 (en) * 2006-12-20 2020-11-04 Electrolux Home Products Corporation N.V. Household appliance
KR100796779B1 (ko) 2007-01-02 2008-01-22 주식회사 셀런 무선입력장치의 다차원 공간맵핑을 통한 스캔 데이터송수신 방법 및 이를 위한 무선입력장치
US20080166175A1 (en) * 2007-01-05 2008-07-10 Candledragon, Inc. Holding and Using an Electronic Pen and Paper
CN100456219C (zh) * 2007-01-19 2009-01-28 崔永浩 借助物理传感方式令按键多重复用的键盘及其实现方法
US8212857B2 (en) 2007-01-26 2012-07-03 Microsoft Corporation Alternating light sources to reduce specular reflection
US20080252596A1 (en) * 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
US8115753B2 (en) 2007-04-11 2012-02-14 Next Holdings Limited Touch screen system with hover and click input methods
US7895518B2 (en) * 2007-04-27 2011-02-22 Shapewriter Inc. System and method for preview and selection of words
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
KR100913962B1 (ko) * 2007-05-14 2009-08-26 삼성전자주식회사 이동통신 단말기의 문자 입력 방법 및 장치
KR100888864B1 (ko) * 2007-05-21 2009-03-17 한국과학기술원 바이오 레이더와 기울기 센서를 이용한 문자 입력 장치
US20080313574A1 (en) * 2007-05-25 2008-12-18 Veveo, Inc. System and method for search with reduced physical interaction requirements
US8549424B2 (en) 2007-05-25 2013-10-01 Veveo, Inc. System and method for text disambiguation and context designation in incremental search
US8296294B2 (en) 2007-05-25 2012-10-23 Veveo, Inc. Method and system for unified searching across and within multiple documents
CN101311881A (zh) * 2007-05-25 2008-11-26 佛山市顺德区顺达电脑厂有限公司 电子装置的辅助输入方法
TWI334023B (en) * 2007-06-21 2010-12-01 Coretronic Corp Optical sensing module and display device using the same
US8246456B2 (en) * 2007-06-22 2012-08-21 Wms Gaming Inc. Wagering game machine with virtual input device
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
US20090048945A1 (en) * 2007-08-15 2009-02-19 Deline Jonathan E Fuel dispenser
US8432377B2 (en) 2007-08-30 2013-04-30 Next Holdings Limited Optical touchscreen with improved illumination
AU2008280952A1 (en) 2007-08-30 2009-03-19 Next Holdings Ltd Low profile touch panel systems
JP5430572B2 (ja) * 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US9001016B2 (en) * 2007-09-19 2015-04-07 Nvidia Corporation Hardware driven display restore mechanism
US9110624B2 (en) 2007-09-21 2015-08-18 Nvdia Corporation Output restoration with input selection
US20090083035A1 (en) * 2007-09-25 2009-03-26 Ritchie Winson Huang Text pre-processing for text-to-speech generation
US8010895B2 (en) * 2007-10-24 2011-08-30 E-Lead Electronic Co., Ltd. Method for correcting typing errors according to character layout positions on a keyboard
WO2009059479A1 (en) * 2007-11-07 2009-05-14 Pohsien Chiu Input devices with virtual input interfaces
US8159682B2 (en) * 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
CN101452354B (zh) * 2007-12-04 2012-08-22 纬创资通股份有限公司 电子装置的输入方法、内容显示方法及其应用
KR101352994B1 (ko) * 2007-12-10 2014-01-21 삼성전자 주식회사 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법
KR101079598B1 (ko) * 2007-12-18 2011-11-03 삼성전자주식회사 디스플레이장치 및 그 제어방법
TWI357518B (en) * 2007-12-21 2012-02-01 Coretronic Corp Display screen and sensor module thereof
US8373549B2 (en) 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
WO2009099280A2 (en) * 2008-02-05 2009-08-13 Lg Electronics Inc. Input unit and control method thereof
WO2009099296A2 (en) * 2008-02-05 2009-08-13 Lg Electronics Inc. Virtual optical input device for providing various types of interfaces and method of controlling the same
JP4626658B2 (ja) * 2008-02-14 2011-02-09 ソニー株式会社 表示装置、撮像装置および位置検出装置
WO2009107935A2 (en) * 2008-02-28 2009-09-03 Lg Electronics Inc. Virtual optical input device with feedback and method of controlling the same
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
KR101007045B1 (ko) * 2008-03-12 2011-01-12 주식회사 애트랩 접촉센서 장치 및 이 장치의 포인팅 좌표 결정 방법
US8358277B2 (en) 2008-03-18 2013-01-22 Microsoft Corporation Virtual keyboard based activation and dismissal
EP2103751A1 (de) * 2008-03-19 2009-09-23 BrainLAB AG Einbaueinheit für Anzeigevorrichtungen
CN101266520B (zh) * 2008-04-18 2013-03-27 上海触乐信息科技有限公司 一种可实现灵活键盘布局的***
KR100969681B1 (ko) * 2008-05-02 2010-07-14 주식회사 그린벨임베디드시스템 키보드 인식방법
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
US20090289188A1 (en) * 2008-05-20 2009-11-26 Everspring Industry Co., Ltd. Method for controlling an electronic device through infrared detection
WO2009148210A1 (en) * 2008-06-02 2009-12-10 Lg Electronics Inc. Virtual optical input unit and control method thereof
US8595218B2 (en) * 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
US8540381B2 (en) 2008-06-17 2013-09-24 The Invention Science Fund I, Llc Systems and methods for receiving information associated with projecting
US8384005B2 (en) 2008-06-17 2013-02-26 The Invention Science Fund I, Llc Systems and methods for selectively projecting information in response to at least one specified motion associated with pressure applied to at least one projection surface
US8403501B2 (en) 2008-06-17 2013-03-26 The Invention Science Fund, I, LLC Motion responsive devices and systems
US20090309826A1 (en) 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems and devices
US8308304B2 (en) 2008-06-17 2012-11-13 The Invention Science Fund I, Llc Systems associated with receiving and transmitting information related to projection
US8267526B2 (en) 2008-06-17 2012-09-18 The Invention Science Fund I, Llc Methods associated with receiving and transmitting information related to projection
US8641203B2 (en) 2008-06-17 2014-02-04 The Invention Science Fund I, Llc Methods and systems for receiving and transmitting signals between server and projector apparatuses
US8602564B2 (en) 2008-06-17 2013-12-10 The Invention Science Fund I, Llc Methods and systems for projecting in response to position
US8723787B2 (en) 2008-06-17 2014-05-13 The Invention Science Fund I, Llc Methods and systems related to an image capture projection surface
US8944608B2 (en) 2008-06-17 2015-02-03 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US8955984B2 (en) 2008-06-17 2015-02-17 The Invention Science Fund I, Llc Projection associated methods and systems
US8608321B2 (en) 2008-06-17 2013-12-17 The Invention Science Fund I, Llc Systems and methods for projecting in response to conformation
US8936367B2 (en) 2008-06-17 2015-01-20 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US8733952B2 (en) 2008-06-17 2014-05-27 The Invention Science Fund I, Llc Methods and systems for coordinated use of two or more user responsive projectors
JP5015072B2 (ja) * 2008-06-18 2012-08-29 株式会社リコー 入力装置及び画像形成装置
US9152258B2 (en) * 2008-06-19 2015-10-06 Neonode Inc. User interface for a touch screen
US7777899B1 (en) * 2008-06-19 2010-08-17 Gesturetek, Inc. Interaction interface for controlling an application
US8068641B1 (en) 2008-06-19 2011-11-29 Qualcomm Incorporated Interaction interface for controlling an application
US8106749B2 (en) * 2008-07-14 2012-01-31 Sony Ericsson Mobile Communications Ab Touchless control of a control device
US8165881B2 (en) * 2008-08-29 2012-04-24 Honda Motor Co., Ltd. System and method for variable text-to-speech with minimized distraction to operator of an automotive vehicle
US20100057465A1 (en) * 2008-09-03 2010-03-04 David Michael Kirsch Variable text-to-speech for automotive application
US8228345B2 (en) * 2008-09-24 2012-07-24 International Business Machines Corporation Hand image feedback method and system
CN101685342B (zh) * 2008-09-26 2012-01-25 联想(北京)有限公司 一种动态虚拟键盘的实现方法及装置
US8750938B2 (en) 2008-09-29 2014-06-10 Microsoft Corporation Glow touch feedback for virtual input devices
US8133119B2 (en) 2008-10-01 2012-03-13 Microsoft Corporation Adaptation for alternate gaming input devices
WO2010042880A2 (en) * 2008-10-10 2010-04-15 Neoflect, Inc. Mobile computing device with a virtual keyboard
US8339378B2 (en) 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
US8503932B2 (en) * 2008-11-14 2013-08-06 Sony Mobile Comminications AB Portable communication device and remote motion input device
US20110212774A1 (en) * 2008-11-14 2011-09-01 Karl Wudtke Terminal including a button and button having projected images and method
EP2189884A1 (fr) * 2008-11-18 2010-05-26 Gemalto SA Clavier virtuel projeté et sécurisé
US8423916B2 (en) * 2008-11-20 2013-04-16 Canon Kabushiki Kaisha Information processing apparatus, processing method thereof, and computer-readable storage medium
US20100134409A1 (en) * 2008-11-30 2010-06-03 Lenovo (Singapore) Pte. Ltd. Three-dimensional user interface
GB2466023A (en) * 2008-12-08 2010-06-09 Light Blue Optics Ltd Holographic Image Projection Systems
TWI470478B (zh) * 2008-12-26 2015-01-21 Inventec Appliances Corp 電子裝置之虛擬鍵盤結構及其資料輸入方法
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US9652030B2 (en) 2009-01-30 2017-05-16 Microsoft Technology Licensing, Llc Navigation of a virtual plane using a zone of restriction for canceling noise
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8866821B2 (en) 2009-01-30 2014-10-21 Microsoft Corporation Depth map movement tracking via optical flow and velocity prediction
US8140970B2 (en) * 2009-02-23 2012-03-20 International Business Machines Corporation System and method for semi-transparent display of hands over a keyboard in real-time
JP5201015B2 (ja) * 2009-03-09 2013-06-05 ブラザー工業株式会社 ヘッドマウントディスプレイ
US20100235786A1 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US8773355B2 (en) 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US9256282B2 (en) 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US20100251176A1 (en) * 2009-03-24 2010-09-30 Microsoft Corporation Virtual keyboard with slider buttons
US8375311B2 (en) * 2009-03-24 2013-02-12 Disney Enterprises, Inc. System and method for determining placement of a virtual object according to a real-time performance
US20100251161A1 (en) * 2009-03-24 2010-09-30 Microsoft Corporation Virtual keyboard with staggered keys
US20110256927A1 (en) 2009-03-25 2011-10-20 MEP Games Inc. Projection of interactive game environment
US20110165923A1 (en) 2010-01-04 2011-07-07 Davis Mark L Electronic circle game system
US9971458B2 (en) 2009-03-25 2018-05-15 Mep Tech, Inc. Projection of interactive environment
CN201444297U (zh) 2009-03-27 2010-04-28 宸鸿光电科技股份有限公司 触控装置、其激光光源组及其激光光源结构
TWI507945B (zh) 2009-03-27 2015-11-11 Tpk Touch Solutions Inc 觸控裝置及其光源結構
US8181123B2 (en) 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US9498718B2 (en) 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US9015638B2 (en) 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8942428B2 (en) 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US8638985B2 (en) 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US8340432B2 (en) 2009-05-01 2012-12-25 Microsoft Corporation Systems and methods for detecting a tilt angle from a depth image
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8649554B2 (en) 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US8416193B2 (en) * 2009-05-21 2013-04-09 Microsoft Corporation Method of visualizing an input location
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
CN104808821A (zh) 2009-05-26 2015-07-29 美国智能科技有限公司 数据输入方法及装置
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US8145594B2 (en) 2009-05-29 2012-03-27 Microsoft Corporation Localized gesture aggregation
US8418085B2 (en) 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US8803889B2 (en) 2009-05-29 2014-08-12 Microsoft Corporation Systems and methods for applying animations or motions to a character
US9182814B2 (en) 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US8542252B2 (en) 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8509479B2 (en) 2009-05-29 2013-08-13 Microsoft Corporation Virtual object
US8856691B2 (en) 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US8320619B2 (en) 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US8176442B2 (en) 2009-05-29 2012-05-08 Microsoft Corporation Living cursor control mechanics
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US9400559B2 (en) 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US8625837B2 (en) 2009-05-29 2014-01-07 Microsoft Corporation Protocol and format for communicating an image from a camera to a computing environment
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US7914344B2 (en) 2009-06-03 2011-03-29 Microsoft Corporation Dual-barrel, connector jack and plug assemblies
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US9159151B2 (en) 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
WO2011011024A1 (en) * 2009-07-23 2011-01-27 Hewlett-Packard Development Company, L.P. Display with an optical sensor
US9274547B2 (en) 2009-07-23 2016-03-01 Hewlett-Packard Development Compamy, L.P. Display with an optical sensor
JP5127792B2 (ja) 2009-08-18 2013-01-23 キヤノン株式会社 情報処理装置、その制御方法、プログラム及び記録媒体
US9141193B2 (en) 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
DE202009005253U1 (de) 2009-09-09 2010-01-07 Tpk Touch Solutions Inc. Berührungsvorrichtung, Laserquellenmodul und Laserquellenstruktur
US9166714B2 (en) 2009-09-11 2015-10-20 Veveo, Inc. Method of and system for presenting enriched video viewing analytics
US20110074692A1 (en) * 2009-09-30 2011-03-31 At&T Mobility Ii Llc Devices and Methods for Conforming a Virtual Keyboard
US9122393B2 (en) * 2009-09-30 2015-09-01 At&T Mobility Ii Llc Predictive sensitized keypad
US8812972B2 (en) * 2009-09-30 2014-08-19 At&T Intellectual Property I, L.P. Dynamic generation of soft keyboards for mobile devices
US8810516B2 (en) 2009-09-30 2014-08-19 At&T Mobility Ii Llc Angular sensitized keypad
US8816965B2 (en) * 2009-09-30 2014-08-26 At&T Mobility Ii Llc Predictive force sensitive keypad
US9128610B2 (en) * 2009-09-30 2015-09-08 At&T Mobility Ii Llc Virtual predictive keypad
JP5471266B2 (ja) * 2009-10-07 2014-04-16 セイコーエプソン株式会社 位置検出機能付き投射型表示装置
KR101081476B1 (ko) 2009-10-14 2011-11-08 건국대학교 산학협력단 햅틱 ｕ테이블
JP5471275B2 (ja) * 2009-10-14 2014-04-16 セイコーエプソン株式会社 位置検出機能付き投射型表示装置
US20110126094A1 (en) * 2009-11-24 2011-05-26 Horodezky Samuel J Method of modifying commands on a touch screen user interface
JP5005758B2 (ja) * 2009-12-25 2012-08-22 株式会社ホンダアクセス 自動車における車載機器の操作装置
JP5506375B2 (ja) * 2009-12-25 2014-05-28 キヤノン株式会社 情報処理装置及びその制御方法
US20110164032A1 (en) * 2010-01-07 2011-07-07 Prime Sense Ltd. Three-Dimensional User Interface
US20110191516A1 (en) * 2010-02-04 2011-08-04 True Xiong Universal touch-screen remote controller
US20110191330A1 (en) * 2010-02-04 2011-08-04 Veveo, Inc. Method of and System for Enhanced Content Discovery Based on Network and Device Access Behavior
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
JP5499762B2 (ja) * 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム
US9665278B2 (en) * 2010-02-26 2017-05-30 Microsoft Technology Licensing, Llc Assisting input from a keyboard
EP2363055A1 (en) 2010-03-01 2011-09-07 Electrolux Home Products Corporation N.V. Projector and household appliance comprising such a projector
GB2479858A (en) * 2010-03-23 2011-11-02 Secretpc Ltd Projector with virtual keyboard
US8818027B2 (en) 2010-04-01 2014-08-26 Qualcomm Incorporated Computing device interface
TWI423096B (zh) * 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
US9430147B2 (en) 2010-04-23 2016-08-30 Handscape Inc. Method for user input from alternative touchpads of a computerized system
US9542032B2 (en) 2010-04-23 2017-01-10 Handscape Inc. Method using a predicted finger location above a touchpad for controlling a computerized system
US9311724B2 (en) 2010-04-23 2016-04-12 Handscape Inc. Method for user input from alternative touchpads of a handheld computerized device
US9310905B2 (en) 2010-04-23 2016-04-12 Handscape Inc. Detachable back mounted touchpad for a handheld computerized device
US9891820B2 (en) 2010-04-23 2018-02-13 Handscape Inc. Method for controlling a virtual keyboard from a touchpad of a computerized device
US9891821B2 (en) 2010-04-23 2018-02-13 Handscape Inc. Method for controlling a control region of a computerized device from a touchpad
US9678662B2 (en) 2010-04-23 2017-06-13 Handscape Inc. Method for detecting user gestures from alternative touchpads of a handheld computerized device
US9639195B2 (en) 2010-04-23 2017-05-02 Handscape Inc. Method using finger force upon a touchpad for controlling a computerized system
US8384683B2 (en) * 2010-04-23 2013-02-26 Tong Luo Method for user input from the back panel of a handheld computerized device
US9529523B2 (en) 2010-04-23 2016-12-27 Handscape Inc. Method using a finger above a touchpad for controlling a computerized system
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
KR20130088752A (ko) * 2010-05-24 2013-08-08 윌 존 템플 다방향 버튼, 키 및 키보드
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US8918734B2 (en) 2010-07-28 2014-12-23 Nuance Communications, Inc. Reduced keyboard with prediction solutions when input is a partial sliding trajectory
US8449118B2 (en) 2010-08-13 2013-05-28 T-Mobile Usa, Inc. Device-adjacent ambiently displayed image
US8451192B2 (en) 2010-08-13 2013-05-28 T-Mobile Usa, Inc. Utilization of interactive device-adjacent ambiently displayed images
JP5601083B2 (ja) * 2010-08-16 2014-10-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US8467599B2 (en) 2010-09-02 2013-06-18 Edge 3 Technologies, Inc. Method and apparatus for confusion learning
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US20120059647A1 (en) * 2010-09-08 2012-03-08 International Business Machines Corporation Touchless Texting Exercise
US20120062518A1 (en) * 2010-09-09 2012-03-15 Light Blue Optics Ltd Touch Sensing Systems
WO2012034069A1 (en) 2010-09-10 2012-03-15 Veveo, Inc. Method of and system for conducting personalized federated search and presentation of results therefrom
US8959013B2 (en) * 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
CN103221912A (zh) * 2010-10-05 2013-07-24 惠普发展公司，有限责任合伙企业 输入命令
KR101044320B1 (ko) * 2010-10-14 2011-06-29 주식회사 네오패드 가상 키입력수단의 배경화면 컨텐츠 제공 방법 및 시스템
WO2012048380A1 (en) * 2010-10-14 2012-04-19 University Of Technology, Sydney Virtual keyboard
EP2630559B1 (en) * 2010-10-22 2014-07-23 Sony Ericsson Mobile Communications AB Mobile communication device with three-dimensional sensing and a method therefore
JP4846871B1 (ja) * 2010-10-28 2011-12-28 善博 和田 キー入力装置、それを備える携帯端末および携帯端末を入力装置として機能させるためのプログラム
CN102467298A (zh) * 2010-11-18 2012-05-23 西安龙飞软件有限公司 一种虚拟手机键盘的实现方式
KR101189869B1 (ko) * 2010-11-25 2012-10-10 최진원 단축키 지원 키보드
US9019239B2 (en) * 2010-11-29 2015-04-28 Northrop Grumman Systems Corporation Creative design systems and methods
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US8839134B2 (en) * 2010-12-24 2014-09-16 Intel Corporation Projection interface techniques
WO2012089577A1 (en) * 2010-12-30 2012-07-05 Danmarks Tekniske Universitet Input device with three-dimensional image display
KR101816721B1 (ko) * 2011-01-18 2018-01-10 삼성전자주식회사 센싱 모듈, ｇｕｉ 제어 장치 및 방법
EP3527121B1 (en) 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US9035940B2 (en) * 2011-03-08 2015-05-19 Nokia Corporation Apparatus and associated methods
JP2012208926A (ja) * 2011-03-15 2012-10-25 Nikon Corp 検出装置、入力装置、プロジェクタ、及び電子機器
US8963883B2 (en) 2011-03-17 2015-02-24 Symbol Technologies, Inc. Touchless interactive display system
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
CN102693066B (zh) * 2011-03-25 2015-05-27 国基电子（上海）有限公司 触控式电子装置及其虚拟键盘操作方法
US8928589B2 (en) * 2011-04-20 2015-01-06 Qualcomm Incorporated Virtual keyboards and methods of providing the same
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
AU2011242487B2 (en) * 2011-05-16 2015-12-03 Handscape Inc., A Delaware Corporation Method for user input from the back panel of a handheld computerized device
TW201248452A (en) * 2011-05-30 2012-12-01 Era Optoelectronics Inc Floating virtual image touch sensing apparatus
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
JP5914992B2 (ja) * 2011-06-02 2016-05-11 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP5880916B2 (ja) 2011-06-03 2016-03-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
GB201110159D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch sensitive display devices
GB201110156D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch-sensitive display devices
GB201110157D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch sensitive display devices
EP2725458B1 (en) * 2011-06-23 2016-06-15 Fujitsu Limited Information processing device, input control method, and input control program
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9448724B2 (en) * 2011-07-11 2016-09-20 International Business Machines Corporation Dynamically customizable touch screen keyboard for adapting to user physiology
US20140189569A1 (en) * 2011-07-18 2014-07-03 Syntellia, Inc. User interface for text input on three dimensional interface
US8971572B1 (en) 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US20130063366A1 (en) 2011-09-13 2013-03-14 Google Inc. User inputs of a touch-sensitive device
US20130249821A1 (en) * 2011-09-27 2013-09-26 The Board of Trustees of the Leland Stanford, Junior, University Method and System for Virtual Keyboard
GB201117542D0 (en) 2011-10-11 2011-11-23 Light Blue Optics Ltd Touch-sensitive display devices
EP2777780B1 (en) * 2011-11-08 2021-08-25 Sony Group Corporation Sensor device, analyzer, and storage medium
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
CN103176592B (zh) * 2011-12-22 2015-09-30 光宝科技股份有限公司 虚拟投影输入***及其输入检测方法
JP5799817B2 (ja) * 2012-01-12 2015-10-28 富士通株式会社 指位置検出装置、指位置検出方法及び指位置検出用コンピュータプログラム
WO2013108032A1 (en) 2012-01-20 2013-07-25 Light Blue Optics Limited Touch sensitive image display devices
GB2513498A (en) 2012-01-20 2014-10-29 Light Blue Optics Ltd Touch sensitive image display devices
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
WO2013126905A2 (en) 2012-02-24 2013-08-29 Moscarillo Thomas J Gesture recognition devices and methods
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
JP6051551B2 (ja) * 2012-03-19 2016-12-27 富士通株式会社 測距装置及び入力装置
GB201205303D0 (en) 2012-03-26 2012-05-09 Light Blue Optics Ltd Touch sensing systems
CN104246682B (zh) * 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
US8928590B1 (en) 2012-04-03 2015-01-06 Edge 3 Technologies, Inc. Gesture keyboard method and apparatus
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
GB201206121D0 (en) 2012-04-05 2012-05-16 Bryant Jacklyn Apparatus and method for aiding the learning of a skill
JP5966535B2 (ja) * 2012-04-05 2016-08-10 ソニー株式会社 情報処理装置、プログラム及び情報処理方法
US8850349B2 (en) 2012-04-06 2014-09-30 Google Inc. Smart user-customized graphical keyboard
KR20130115750A (ko) * 2012-04-13 2013-10-22 포항공과대학교 산학협력단 가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US9069168B2 (en) * 2012-05-04 2015-06-30 Yong Yan Means for setting separation walls with predetermined heights and shapes on keypads to prevent unintended key hits
US9122395B2 (en) * 2012-05-29 2015-09-01 Garett Engle Method of capturing system input by relative finger positioning
CN102778951B (zh) * 2012-06-15 2016-02-10 惠州华阳通用电子有限公司 使用虚拟按键的输入设备及输入方法
JP5962249B2 (ja) * 2012-06-21 2016-08-03 富士通株式会社 文字入力プログラム、情報処理装置および文字入力方法
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US8934675B2 (en) * 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
DE102012013503B4 (de) * 2012-07-06 2014-10-09 Audi Ag Verfahren und Steuerungssystem zum Betreiben eines Kraftwagens
US9317109B2 (en) 2012-07-12 2016-04-19 Mep Tech, Inc. Interactive image projection accessory
US9305229B2 (en) 2012-07-30 2016-04-05 Bruno Delean Method and system for vision based interfacing with a computer
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
TWI472954B (zh) * 2012-10-09 2015-02-11 Cho Yi Lin 可承載通訊電子裝置之可攜式電子輸入裝置及其系統
CN103729132B (zh) * 2012-10-15 2017-09-29 联想(北京)有限公司 一种字符输入方法、装置、虚拟键盘及电子设备
KR20140055173A (ko) * 2012-10-30 2014-05-09 삼성전자주식회사 입력 장치 및 그의 입력 제어 방법
US10824297B2 (en) 2012-11-26 2020-11-03 Google Llc System for and method of accessing and selecting emoticons, content, and mood messages during chat sessions
JP2014109876A (ja) * 2012-11-30 2014-06-12 Toshiba Corp 情報処理装置、情報処理方法及びプログラム
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
DE102013000072A1 (de) * 2013-01-08 2014-07-10 Audi Ag Bedienschnittstelle für eine handschriftliche Zeicheneingabe in ein Gerät
IN2013CH00469A (ko) 2013-01-21 2015-07-31 Keypoint Technologies India Pvt Ltd
CN105027040B (zh) 2013-01-21 2018-09-21 要点科技印度私人有限公司 文本输入***及方法
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
JP6127564B2 (ja) * 2013-02-15 2017-05-17 コニカミノルタ株式会社 タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
JP2014170149A (ja) * 2013-03-05 2014-09-18 Funai Electric Co Ltd プロジェクタ
JP6037900B2 (ja) * 2013-03-11 2016-12-07 日立マクセル株式会社 操作検出装置及び操作検出方法
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
JP6171502B2 (ja) * 2013-04-04 2017-08-02 船井電機株式会社 プロジェクタおよびプロジェクタ機能を有する電子機器
JP2014203323A (ja) * 2013-04-08 2014-10-27 船井電機株式会社 空間入力装置
US20140354602A1 (en) * 2013-04-12 2014-12-04 Impression.Pi, Inc. Interactive input system and method
US9323338B2 (en) 2013-04-12 2016-04-26 Usens, Inc. Interactive input system and method
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US9778546B2 (en) 2013-08-15 2017-10-03 Mep Tech, Inc. Projector for projecting visible and non-visible images
CN104423578B (zh) * 2013-08-25 2019-08-06 杭州凌感科技有限公司 交互式输入***和方法
EP3039515B1 (en) * 2013-08-30 2020-02-19 Hewlett-Packard Development Company, L.P. Touch input association
CN103558948A (zh) * 2013-10-31 2014-02-05 中山大学 一种应用在虚拟光学键盘人机交互方法
KR102206053B1 (ko) * 2013-11-18 2021-01-21 삼성전자주식회사 입력 도구에 따라 입력 모드를 변경하는 전자 장치 및 방법
US9529465B2 (en) * 2013-12-02 2016-12-27 At&T Intellectual Property I, L.P. Secure interaction with input devices
US9857971B2 (en) * 2013-12-02 2018-01-02 Industrial Technology Research Institute System and method for receiving user input and program storage medium thereof
CN103631382A (zh) * 2013-12-20 2014-03-12 大连大学 一种激光投影虚拟键盘
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
JP2015153353A (ja) * 2014-02-19 2015-08-24 パイオニア株式会社 情報処理装置及び方法、並びにコンピュータプログラム
CN104866070A (zh) * 2014-02-20 2015-08-26 联想(北京)有限公司 信息处理的方法及电子设备
CN103809756B (zh) * 2014-02-24 2018-08-31 联想(北京)有限公司 一种信息处理方法及电子设备
CN103793061B (zh) * 2014-03-03 2017-01-11 联想(北京)有限公司 一种控制方法及电子设备
FR3020480A1 (fr) * 2014-04-24 2015-10-30 Vincent Donnet Dispositif et procede interface de controle d'un terminal de communication
CA2949088C (en) * 2014-05-15 2023-01-24 Federal Express Corporation Wearable devices for courier processing and methods of use thereof
CN104049772B (zh) * 2014-05-30 2017-11-07 北京搜狗科技发展有限公司 一种输入方法、装置和***
US9766806B2 (en) 2014-07-15 2017-09-19 Microsoft Technology Licensing, Llc Holographic keyboard display
CN105451052B (zh) * 2014-08-28 2018-08-03 鸿富锦精密工业（深圳）有限公司 虚拟键盘建立方法及***
CN105468209A (zh) * 2014-09-25 2016-04-06 硕擎科技股份有限公司 输入设备的虚拟二维定位模块及虚拟输入设备
EP3201737B1 (en) * 2014-09-29 2021-10-27 Hewlett-Packard Development Company, L.P. Virtual keyboard
US9733048B2 (en) 2015-01-06 2017-08-15 Egismos Technology Corporation Shooting training and game system with virtual target
JP2016162162A (ja) * 2015-03-02 2016-09-05 株式会社リコー 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム及び接触検出方法
KR101873842B1 (ko) * 2015-03-11 2018-07-04 한양대학교 산학협력단 깊이 센서를 이용하는 가상 입력 장치 및 이를 이용하는 방법
US11106314B2 (en) 2015-04-21 2021-08-31 Dell Products L.P. Continuous calibration of an information handling system projected user interface
US9791979B2 (en) * 2015-04-21 2017-10-17 Dell Products L.P. Managing inputs at an information handling system by adaptive infrared illumination and detection
US11243640B2 (en) 2015-04-21 2022-02-08 Dell Products L.P. Information handling system modular capacitive mat with extension coupling devices
US10139854B2 (en) 2015-04-21 2018-11-27 Dell Products L.P. Dynamic display resolution management for an immersed information handling system environment
US9753591B2 (en) 2015-04-21 2017-09-05 Dell Products L.P. Capacitive mat information handling system display and totem interactions
US9690400B2 (en) 2015-04-21 2017-06-27 Dell Products L.P. Information handling system interactive totems
US9804718B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Context based peripheral management for interacting with an information handling system
US9921644B2 (en) 2015-04-21 2018-03-20 Dell Products L.P. Information handling system non-linear user interface
US9720446B2 (en) 2015-04-21 2017-08-01 Dell Products L.P. Information handling system projected work space calibration
US9720550B2 (en) 2015-04-21 2017-08-01 Dell Products L.P. Adaptable input active zones at an information handling system projected user interface
US9983717B2 (en) * 2015-04-21 2018-05-29 Dell Products L.P. Disambiguation of false touch inputs at an information handling system projected user interface
US9804733B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
CN104881135B (zh) * 2015-05-28 2018-07-03 联想(北京)有限公司 一种信息处理方法及电子设备
CN104951073B (zh) * 2015-06-19 2017-03-29 济南大学 一种基于虚拟界面的手势交互方法
US9971457B2 (en) 2015-06-26 2018-05-15 Intel Corporation Audio augmentation of touch detection for surfaces
CN106325488B (zh) * 2015-07-09 2019-07-09 北京搜狗科技发展有限公司 一种输入方法、输入装置、服务器和输入***
IL244777A0 (en) * 2015-07-26 2016-07-31 Hagar Shema A device and method for studying people
JP2017037583A (ja) * 2015-08-14 2017-02-16 レノボ・シンガポール・プライベート・リミテッド コンピュータの入力システム
US11241216B2 (en) * 2015-09-09 2022-02-08 Canon Medical Systems Corporation Method of controlling portable information terminal and medical diagnostic imaging apparatus
JP6753049B2 (ja) * 2015-10-09 2020-09-09 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法。
US9898809B2 (en) * 2015-11-10 2018-02-20 Nanjing University Systems, methods and techniques for inputting text into mobile devices using a camera-based keyboard
US20170161903A1 (en) * 2015-12-03 2017-06-08 Calay Venture S.á r.l. Method and apparatus for gesture recognition
US20170160818A1 (en) * 2015-12-04 2017-06-08 Synerdyne Corporation Reprogramable multi-host, multi-character set keyboard
US10166995B2 (en) * 2016-01-08 2019-01-01 Ford Global Technologies, Llc System and method for feature activation via gesture recognition and voice command
CN109196577A (zh) * 2016-02-29 2019-01-11 智能灯公司D/B/A兰皮克斯 用于为计算机化***提供用户界面并与虚拟环境交互的方法和设备
CN205540572U (zh) * 2016-03-08 2016-08-31 硕擎科技股份有限公司 供搭配手机使用的虚拟输入设备
TWI695307B (zh) * 2016-04-29 2020-06-01 姚秉洋 螢幕鍵盤之顯示方法及其電腦程式產品與非暫態電腦可讀取媒體
USD811485S1 (en) * 2016-05-24 2018-02-27 Tangible Play, Inc. Programming tile
USD795349S1 (en) * 2016-05-24 2017-08-22 Tangible Play, Inc. Programming tile
USD812143S1 (en) * 2016-05-24 2018-03-06 Tangible Play, Inc. Programming tile
USD811486S1 (en) * 2016-05-24 2018-02-27 Tangible Play, Inc. Programming tile
USD795348S1 (en) * 2016-05-24 2017-08-22 Tangible Play, Inc. Programming tile
US10146337B2 (en) * 2016-09-15 2018-12-04 Samsung Electronics Co., Ltd. Digital handwriting device and method of using the same
US10496216B2 (en) 2016-11-09 2019-12-03 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10139951B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system variable capacitance totem input management
US10139930B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system capacitive touch totem management
US10139973B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system totem tracking management
US10146366B2 (en) 2016-11-09 2018-12-04 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10499039B2 (en) 2016-12-15 2019-12-03 Egismos Technology Corporation Path detection system and path detection method generating laser pattern by diffractive optical element
JP6390736B2 (ja) * 2017-03-15 2018-09-19 船井電機株式会社 空間入力装置
US20180267615A1 (en) * 2017-03-20 2018-09-20 Daqri, Llc Gesture-based graphical keyboard for computing devices
WO2018213801A1 (en) * 2017-05-19 2018-11-22 Magic Leap, Inc. Keyboards for virtual, augmented, and mixed reality display systems
FR3075425A1 (fr) * 2017-12-14 2019-06-21 Societe Bic Appareil pour application de realite augmentee
US11460911B2 (en) * 2018-01-11 2022-10-04 Steelseries Aps Method and apparatus for virtualizing a computer accessory
CN108196730A (zh) * 2018-01-18 2018-06-22 安徽三弟电子科技有限责任公司 一种多功能的激光虚拟键盘***
US10459528B2 (en) 2018-02-28 2019-10-29 Dell Products L.P. Information handling system enhanced gesture management, control and detection
TWI650677B (zh) * 2018-03-08 2019-02-11 三竹資訊股份有限公司 顯示動態虛擬鍵盤之方法及其電腦程式產品
CN112567319A (zh) * 2018-03-09 2021-03-26 彼乐智慧科技（北京）有限公司 一种信号输入的方法及装置
CN108646910A (zh) * 2018-03-20 2018-10-12 重庆邮电大学 一种基于深度图像的三维动态手指文本输入***及方法
US10719173B2 (en) * 2018-04-04 2020-07-21 Facebook Technologies, Llc Transcribing augmented reality keyboard input based on hand poses for improved typing accuracy
US11188154B2 (en) * 2018-05-30 2021-11-30 International Business Machines Corporation Context dependent projection of holographic objects
US10664101B2 (en) 2018-06-28 2020-05-26 Dell Products L.P. Information handling system touch device false touch detection and mitigation
US10852853B2 (en) 2018-06-28 2020-12-01 Dell Products L.P. Information handling system touch device with visually interactive region
US10635199B2 (en) 2018-06-28 2020-04-28 Dell Products L.P. Information handling system dynamic friction touch device for touchscreen interactions
US10761618B2 (en) 2018-06-28 2020-09-01 Dell Products L.P. Information handling system touch device with automatically orienting visual display
US10795502B2 (en) 2018-06-28 2020-10-06 Dell Products L.P. Information handling system touch device with adaptive haptic response
US10817077B2 (en) 2018-06-28 2020-10-27 Dell Products, L.P. Information handling system touch device context aware input tracking
US10976820B2 (en) * 2018-07-12 2021-04-13 Microsoft Technology Licensing, Llc Natural interactions with virtual objects and data through touch
CN109144332B (zh) * 2018-10-12 2024-02-06 中国计量大学 移动电子设备及其便携式键盘和智能感知输入法
US10902250B2 (en) * 2018-12-21 2021-01-26 Microsoft Technology Licensing, Llc Mode-changeable augmented reality interface
CN109480904A (zh) * 2018-12-25 2019-03-19 无锡祥生医疗科技股份有限公司 一种超声成像方法、装置及***
KR102269466B1 (ko) * 2019-05-21 2021-06-28 이진우 동작 인식 기반의 문자 입력 방법 및 그 장치
US10924639B2 (en) 2019-05-29 2021-02-16 Disney Enterprises, Inc. System and method for polarization and wavelength gated transparent displays
US11392290B2 (en) * 2020-06-26 2022-07-19 Intel Corporation Touch control surfaces for electronic user devices and related methods
CN111860239A (zh) * 2020-07-07 2020-10-30 佛山长光智能制造研究院有限公司 按键识别方法、装置、终端设备及计算机可读存储介质
CN112684916A (zh) * 2021-01-12 2021-04-20 维沃移动通信有限公司 信息输入方法、装置及电子设备
CN115033170A (zh) * 2022-05-20 2022-09-09 阿里巴巴（中国）有限公司 一种基于虚拟键盘的输入控制***、方法及相关装置
WO2024122999A1 (ko) * 2022-12-07 2024-06-13 삼성전자주식회사 가상 공간에서 사용자 입력을 식별하기 위한 전자 장치 및 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US5174759A (en) * 1988-08-04 1992-12-29 Preston Frank S TV animation interactively controlled by the viewer through input above a book page
US5198877A (en) 1990-10-15 1993-03-30 Pixsys, Inc. Method and apparatus for three-dimensional non-contact shape sensing
US5168531A (en) * 1991-06-27 1992-12-01 Digital Equipment Corporation Real-time recognition of pointing information from video
EP0554492B1 (en) * 1992-02-07 1995-08-09 International Business Machines Corporation Method and device for optical input of commands or data
JP3419050B2 (ja) * 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5969698A (en) * 1993-11-29 1999-10-19 Motorola, Inc. Manually controllable cursor and control panel in a virtual image
US5528263A (en) 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US6281878B1 (en) * 1994-11-01 2001-08-28 Stephen V. R. Montellese Apparatus and method for inputing data
US6229913B1 (en) * 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
DE19539955A1 (de) 1995-10-26 1997-04-30 Sick Ag Optische Erfassungseinrichtung
US5825352A (en) * 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
AU2123297A (en) * 1996-02-12 1997-08-28 Golf Age Technologies Golf driving range distancing apparatus and methods
KR100627378B1 (ko) * 1996-08-28 2006-09-22 임베디드 테크놀로지스, 엘엘씨 터치 스크린 장치 및 방법
US6252598B1 (en) * 1997-07-03 2001-06-26 Lucent Technologies Inc. Video hand image computer interface
US6115128A (en) * 1997-09-17 2000-09-05 The Regents Of The Univerity Of California Multi-dimensional position sensor using range detectors
US6037882A (en) * 1997-09-30 2000-03-14 Levy; David H. Method and apparatus for inputting data to an electronic system
US6043805A (en) * 1998-03-24 2000-03-28 Hsieh; Kuan-Hong Controlling method for inputting messages to a computer
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US6266048B1 (en) * 1998-08-27 2001-07-24 Hewlett-Packard Company Method and apparatus for a virtual display/keyboard for a PDA
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
WO2002095679A2 (en) * 2001-05-23 2002-11-28 Canesta, Inc. Enhanced dynamic range conversion in 3-d imaging

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7432914B2 (en) 2004-03-11 2008-10-07 Canon Kabushiki Kaisha Coordinate input apparatus, its control method, and program
US7443387B2 (en) 2004-03-11 2008-10-28 Canon Kabushiki Kaisha Coordinate input apparatus, its control method, and program
KR100725603B1 (ko) * 2004-03-11 2007-06-08 캐논 가부시끼가이샤 좌표입력장치 및 그 제어방법
KR101063985B1 (ko) * 2004-05-14 2011-09-14 노키아 코포레이션 소프트키 환경설정
KR101286412B1 (ko) * 2005-12-29 2013-07-18 삼성전자주식회사 다중기능 가상 사용자 입력 장치 및 방법
US10346529B2 (en) 2008-09-30 2019-07-09 Microsoft Technology Licensing, Llc Using physical objects in conjunction with an interactive surface
KR100967356B1 (ko) * 2008-10-14 2010-07-05 고려대학교 산학협력단 3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치
WO2013183938A1 (ko) * 2012-06-08 2013-12-12 주식회사 케이엠티글로벌 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치
KR101385263B1 (ko) * 2012-08-23 2014-04-16 주식회사 셀루온 가상 키보드를 위한 시스템 및 방법
US9916044B2 (en) 2013-06-05 2018-03-13 Korea University Research And Business Foundation, Sejong Campus Device and method for information processing using virtual keyboard
KR101483605B1 (ko) * 2014-01-03 2015-01-16 주식회사 큐브전자 빔프로젝터를 갖는 태블릿컴퓨터
US9933854B2 (en) 2015-01-16 2018-04-03 Samsung Electronics Co., Ltd. Virtual input device and method for receiving user input using the same
WO2019164048A1 (ko) * 2018-02-24 2019-08-29 링크플로우 주식회사 사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치
KR20190140570A (ko) * 2018-06-12 2019-12-20 박행운 가상 데이터 입력 화면을 이용한 오디오 데이터 입출력 장치 및 이의 실행 방법

Also Published As

Publication number Publication date
HK1058425A1 (en) 2004-05-14
CN1439151A (zh) 2003-08-27
KR100811015B1 (ko) 2008-03-11
ATE481674T1 (de) 2010-10-15
EP1332488B1 (en) 2010-09-15
JP2004500657A (ja) 2004-01-08
EP1332488A4 (en) 2006-06-14
WO2001059975A2 (en) 2001-08-16
US6614422B1 (en) 2003-09-02
WO2001059975A3 (en) 2002-01-31
DE60143094D1 (de) 2010-10-28
EP1332488A2 (en) 2003-08-06
CN1232943C (zh) 2005-12-21
US20040046744A1 (en) 2004-03-11
AU2001261818A1 (en) 2001-08-20

Similar Documents

Publication Publication Date Title
KR100811015B1 (ko) 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치
US6512838B1 (en) Methods for enhancing performance and data acquired from three-dimensional image systems
US8022928B2 (en) Free-space pointing and handwriting
US5900863A (en) Method and apparatus for controlling computer without touching input device
US10209881B2 (en) Extending the free fingers typing technology and introducing the finger taps language technology
US20060028457A1 (en) Stylus-Based Computer Input System
US9063577B2 (en) User input using proximity sensing
US8971565B2 (en) Human interface electronic device
JP3529510B2 (ja) 情報入力装置および情報入力装置の制御方法
US7050177B2 (en) Method and apparatus for approximating depth of an object&#39;s placement onto a monitored region with applications to virtual interface devices
US7006236B2 (en) Method and apparatus for approximating depth of an object&#39;s placement onto a monitored region with applications to virtual interface devices
US5473344A (en) 3-D cursor positioning device
US20040041798A1 (en) Pointing device and scanner, robot, mobile communication device and electronic dictionary using the same
US20020061217A1 (en) Electronic input device
JP2004500657A5 (ko)
WO1995014286A1 (en) Wireless pen computer input system
CN101866246A (zh) 多点触控式光学输入装置
US20110090178A1 (en) Detecting method for pen-like optical input device with multiple optical components and optical input device thereof
KR20070042858A (ko) 펜 형태의 디지털 입력 장치
US20240004483A1 (en) Input device with optical sensors
KR101053679B1 (ko) 입력 장치의 키 입력 및 포인트 입력 방법 및 이를 수행하는 입력 장치
WO2003100593A1 (en) Method and apparatus for approximating depth of an object&#39;s placement onto a monitored region

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20130121

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140123

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150121

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160127

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170201

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190129

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20200129

Year of fee payment: 13