KR101516513B1 - 증강 현실을 위한 제스쳐 기반 사용자 인터페이스 - Google Patents

증강 현실을 위한 제스쳐 기반 사용자 인터페이스 Download PDF

Info

Publication number
KR101516513B1
KR101516513B1 KR1020137022939A KR20137022939A KR101516513B1 KR 101516513 B1 KR101516513 B1 KR 101516513B1 KR 1020137022939 A KR1020137022939 A KR 1020137022939A KR 20137022939 A KR20137022939 A KR 20137022939A KR 101516513 B1 KR101516513 B1 KR 101516513B1
Authority
KR
South Korea
Prior art keywords
gesture
command
keyboard
key
level
Prior art date
Application number
KR1020137022939A
Other languages
English (en)
Other versions
KR20130129271A (ko
Inventor
니콜라스 에스 브로머
Original Assignee
엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 filed Critical 엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Publication of KR20130129271A publication Critical patent/KR20130129271A/ko
Application granted granted Critical
Publication of KR101516513B1 publication Critical patent/KR101516513B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

기술들은 일반적으로 가상 디스플레이와 함께 이용될 수 있는 제스쳐 키보드를 제공하기 위하여 유용한 시스템들 및 방법들에 대하여 설명된다. 일 예에서는, 방법은 상호작용 구별의 적어도 세 개의 레벨들로부터 검출된 상호작용 구별의 적어도 하나의 레벨을 수신하는 단계를 포함하는, 입력 디바이스와 근접하거나 또는 접촉하는 오브젝트와 연관된 감지 정보를 수신하는 단계, 커맨드를 감지 정보로부터 상호작용 구별의 적어도 하나의 레벨의 함수로서 해석하는 단계, 및 액션 표시를 상기 커맨드에 기초하여 출력하는 단계를 포함한다.

Description

증강 현실을 위한 제스쳐 기반 사용자 인터페이스{GESTURE BASED USER INTERFACE FOR AUGMENTED REALITY}
본 개시물은 일반적으로 제스쳐 키보드에, 예를 들어, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스에 관련한다.
컴퓨팅 시스템들의 사용들 및 복잡성이 진화해 옴에 따라, 동작하기가 용이하고 사용자에게 즐거운 컴퓨팅 시스템을 제공하려는 욕구도 역시 진화해 왔다. 많은 컴퓨팅 시스템들은 키보드 및 디스플레이를 채택한다. 입력이 키보드 내로 입력되면, 대응하는 출력이 디스플레이 상에 제공될 수 있다. 입력 중 몇몇은 출력될 대응하는 액션에 대한 커맨드로서 입력된다. 그러나, 커맨드들을 입력하는 것은 전통적으로 키보드 및/또는 마우스를 통해서 이루어져 왔으며 그리고 구현하기에 귀찮을 수 있다. 예를 들어, 몇몇 커맨드들을 입력하기 위하여, 몇 가지 실례들에서는, 키보드 상의 다중 키들이 어떤 순서로 눌러지고, 또는 그렇지 않으면 원하는 입력이 달성되지 않는다.
몇몇 컴퓨팅 시스템들은 커맨드들의 입력을 위하여 터치-스크린을 이용한다. 그러나, 터치-스크린은 2-차원의 입력 공간을 사용하는데, 이것은 터치 표면 상부의 3-차원의 공간을 사용할 수 없다. 그러므로, 터치-스크린을 향하거나 그로부터의 사용자에 의한 모션들은 아무 효과도 가지지 않는다. 더 나아가, 몇몇 컴퓨팅 시스템들에서는, 키보드는 디스플레이로부터 분리됨으로써, 타이핑과 관련된 커맨드들, 예를 들어, 시프트 록, 커서 이동들, 및 기타 등등을 디스플레이 내에 배치하는 것이 실용적이지 않다. 이것은 디스플레이가 키패드로부터 너무 멀리 있고, 그리고 따라서, 사용자의 손(들)이 이러한 커맨드들을 입력하기 위하여 너무 멀리 이동한다.
제스쳐-기반 컴퓨팅 시스템들로의 종래의 접근법들의 위에서 설명된 흠결들은 단지 종래의 접근법들 및 기법들의 문제들 중 몇몇의 개요를 제공하기 위해 의도되며, 그리고 완전한 것으로 의도되지 않는다. 종래의 시스템들 및 기법들에 있는 다른 문제들, 및 본 명세서에서 설명되는 다양한 비한정적인 실시형태들의 대응하는 이점들은 후속하는 설명을 리뷰하면 더욱 명백해질 수도 있다.
다양한, 비한정적인 실시형태들에서, 커맨드들을 인식하고, 제스쳐들의 형태로 및/또는 타이핑으로서 입력하며, 그리고 하나 이상의 액션들을 커맨드들에 기초하여 구현하도록 구성되는 제스쳐 키보드가 개시된다. 일 예에서는, 하나 이상의 액션들이 증강 현실에서 구현될 수 있다. 제스쳐 키보드는 눌리는 경우 타이핑하는 키들을 포함하고 그리고 또한 키보드 근처에 있거나 또는 키보드와 접촉하는 손가락들을 감지할 수 있다. 손가락들은 그들의 커패시턴스에 의하여 감지될 수 있다. 키보드와의 접촉은 손가락과 키 간의 전기적 접촉에 의하여 감지될 수 있다. 전기적-접촉 손가락 검출이 가상-현실 안경 내에 디스플레이된 가상 키보드를 하이라이팅하기 위하여 사용될 수 있는데, 이것은 또한 타이핑되는 텍스트를 표시할 수 있다. 용량성 감지가 키보드 근처의 손가락들에 의한 제스쳐들을 검출하기 위하여 사용될 수 있고 그리고 제스쳐들이 커맨드들을 타이핑하기 위하여 사용될 수 있다.
일 실시형태에서는, 방법은 상호작용 구별 (interaction differentiation) 의 적어도 두 개의 레벨들로부터 검출된 상호작용 구별의 적어도 하나의 레벨을 수신하는 단계를 포함하는, 입력 디바이스와 근접하거나 또는 접촉하는 오브젝트와 연관된 감지 정보를 수신하는 단계, 상호작용 구별의 적어도 하나의 레벨의 함수로서 감지 정보로부터 커맨드를 해석하는 단계, 및 상기 커맨드에 기초하여 액션 표시를 출력하는 단계를 포함한다.
다른 실시형태에서는, 시스템은 키보드에 상대적으로 공간 내의 적어도 하나의 제스쳐를 수신하도록 구성되는 환경 캡쳐 컴포넌트, 커맨드를 상기 적어도 하나의 제스쳐에 기초하여 식별하도록 구성되는 해석 컴포넌트, 및 상기 적어도 하나의 제스쳐의 정보 및 상기 커맨드의 결과를 렌더링하도록 구성되는 출력 컴포넌트로서, 상기 정보는 가상 디스플레이 상에서 렌더링되도록 구성되는, 상기 출력 컴포넌트를 포함한다.
추가적 실시형태에서는, 컴퓨터-실행가능 명령들이 저장된 컴퓨터-판독가능 저장 매체로서, 상기 컴퓨터-실행가능 명령들은 실행에 응답하여, 컴퓨팅 디바이스로 하여금, 수행될 적어도 하나의 커맨드를 표시하는 제스쳐를 검출하는 것, 상기 제스쳐를 복수 개의 커맨드들로부터 선택된 적어도 하나의 커맨드로서 해석하는 것, 및 상기 적어도 하나의 커맨드의 결과를 가상 공간 내의 인지가능 이벤트로서 개시하는 것을 포함하는 동작들을 수행하게 하는, 컴퓨터-실행가능 명령들이 저장된 컴퓨터-판독가능 저장 매체가 설명된다.
또 다른 실시형태에서는, 시스템은 입력을 제스쳐의 형태로 수신하는 수단, 상기 제스쳐를 근접성 레벨, 전기적 연속성 레벨, 및 작동 레벨 중 하나 이상의 함수로서, 대안적 커맨드들로부터 선택된 커맨드로 전환하는 수단, 및 인지가능 포맷에서 상기 커맨드의 결과를 원격 디스플레이 디바이스로 출력하는 수단을 포함한다.
또 다른 실시형태는, 키들의 어레이로서, 상기 키들의 어레이의 키들의 적어도 하나의 서브세트는 키들의 적어도 상기 서브세트의 개별 키로 인가된 압력을 검출하도록 구성되는 개별 변위 작동 스위치를 포함하는, 상기 키들의 어레이, 및 키보드 근처의 손가락을 검출하도록 구성된 적어도 하나의 용량성 센서를 포함하는, 키보드를 포함하는 컴퓨팅 디바이스이다.
전술의 요약은 예시적인 것일 뿐이고 어느 방식으로든 제한하려고 의도되지 않는다. 위에서 설명된 예시적인 양태들, 실시형태들, 및 피쳐들에 추가하여, 다른 양태들, 실시형태들, 및 피쳐들이 도면들 및 후속하는 발명을 실시하기 위한 구체적인 내용을 참조함으로써 명백해질 것이다.
다양한 비한정적인 실시형태들이 첨부 도면들을 참조하여 더욱 설명되는데, 여기서:
도 1 은 커맨드들을 인식 및 구현하는 방법의 일 예시적이며 비한정적인 실시형태를 도시하는 흐름도를 도시한다;
도 2 는 일 양태에 따라서, 제스쳐 키보드를 사용하는 사람의 특정한 비한정적인 예를 도시한다;
도 3 은 제스쳐 키보드를 제공하기 위하여 이용될 수 있는 비한정적인, 예시적인 전기적 회로부를 도시한다;
도 4 는 커맨드들을 인식 및 구현하도록 구성된 시스템의 일 예시적이며 비한정적인 실시형태의 블록도를 도시한다;
도 5 는 손 제스쳐들 또는 타이핑의 형태로 수신된 커맨드들을 해석하고 구현하는 비한정적인 예시적인 시스템을 도시한다;
도 6 은 커맨드들을 인식 및 구현하는 방법의 일 예시적이며 비한정적인 실시형태를 도시하는 흐름도를 도시한다;
도 7 은 커맨드들을 인식 및 구현하는 방법의 일 예시적이며 비한정적인 실시형태를 도시하는 흐름도를 도시한다;
도 8 은 커맨드들을 인식 및 구현하는 방법의 일 예시적이며 비한정적인 실시형태를 도시하는 흐름도를 도시한다;
도 9 는 커맨드들을 인식 및 구현하는 방법의 일 예시적이며 비한정적인 실시형태를 도시하는 흐름도를 도시한다;
도 10 은 본 개시물의 적어도 몇몇 양태들에 따르는 제스쳐 기반 키보드에 대한 컴퓨터 판독가능 명령들의 세트의 한 예시적이며 비한정적인 실시형태의 흐름도를 도시한다;
도 11 은 본 개시물의 적어도 몇몇 양태들에 따르는 제스쳐 키보드 컴퓨팅 디바이스의 한 예시적이며 비한정적인 실시형태의 블록도이다;
도 12 는 본 개시물의 적어도 몇몇 양태들에 따르는 제스쳐 기반 키보드에 대하여 구현된 예시적인 컴퓨팅 디바이스를 도시하는 블록도이다;
개관
다음의 발명을 실시하기 위한 구체적인 내용에서, 본원의 일부를 형성하는 첨부 도면들이 참조된다. 발명을 실시하기 위한 구체적인 내용, 도면들, 및 청구항들에서 설명되는 예시적인 실시형태들은 제한하는 의미는 아니다. 본원에서 제시된 기술 요지의 정신 또는 범위로부터 벗어나는 일 없이, 다른 실시형태들이 이용될 수도 있고, 다른 변경들이 이루어질 수도 있다. 본 개시물에서 일반적으로 설명되고 도면들에서 예시되는 본 개시물의 양태들은, 매우 다양한 상이한 구성들로 배열, 치환, 결합, 분리 및 설계될 수 있다는 것이 용이하게 이해될 것인데, 이들 모두는 본 개시물에서 명시적으로 심사숙고된다.
결합형 디스플레이 및 터치 스크린들을 사용하여 컴퓨터 시스템들로 전달되는 커맨드들이 점점 많이 사용된다. 원래, 이러한 커맨드들은 아이콘이 디스플레이되었던 스크린 상의 위치에서 그 스크린을 (예를 들어 손가락 끝으로) 누름으로써 그 아이콘을 선택하는 것으로 제한되었었다. 최근에는, 폰들, 컴퓨터들, 태블릿들, 및 다른 디바이스들이 진보된 피쳐들, 예컨대 디스플레이를 측면으로 또는 수직으로 이동시키기 위한 터치 표면을 가로지르는 스위핑 모션, 디스플레이된 이미지를 회전시키기 위한 스크린에 대한 두 개의 손가락들의 회전, 및 디스플레이된 이미지를 압축 또는 확장시키기 위한 방사상 모션들을 통합했다. 이러한 커맨드들이 자연적이고 직관적인 액션들을 채택하기 때문에 이 커맨드들은 유명하며, 그리고 결과들은 예를 들어, 가상 매쓰 (virtual mass) 및 가상 마찰력을 디스플레이에 추가함으로써 실제 오브젝트들을 흉내낼 수 있다. 그러나, 이러한 새 커맨드들은 어떤 제한사항들을 가진다. 예를 들어, 커맨드들이 오직 그 디스플레이에만 관련될 수 있기 때문에, 커맨드들은 그 디스플레이 자체에만 영향을 줄 수 있으며, 그러므로, 그들의 애플리케이션은 제한된다.
위에서 언급된 바와 같이, 오늘날 컴퓨팅 디바이스들 상에서 소모되는 시간의 큰 양은 사용자의 관점에서는 타이핑하면서 소모된다. 보통, 키보드는 디스플레이로부터는 분리됨으로써, 타이핑과 관련된 커맨드들 (예를 들어, 시프트 록, 커서 이동들, 및 기타 등등) 은 디스플레이 내에 배치하기가 실용적이지 않다. 이것은 디스플레이가 사용자의 물리적 입력으로부터 너무 멀리, 예를 들어, 현재 사용자에 의하여 사용되는 중인 키들보다 더 멀리 이격되기 때문이다. 몇 가지 경우들에서는, 손들이 멀리 이동할 필요가 없기 때문에, 통상적으로 랩탑에서는 사용자의 엄지들 근처에 위치되는 마우스 패드가 유사한 커맨드들을 위하여 사용될 수 있다. 그러나, 2-차원의 스크린 공간에서의 터치-스크린들의 콘텍스트에서 진화해 온 새 커맨드들 (예를 들어, 스위핑 모션, 회전, 방사상 모션) 은 마우스 패드 또는 태블릿 상의 타이핑 모션들에 적합하지 않다.
더 나아가, 이러한 새 터치-스크린 커맨드들은 터치 표면 상의 공간을 사용할 수 없고, 결과적으로 터치 스크린으로의 또는 그로부터의 모션들은 아무런 효과도 가지지 않는다. 추가적으로, 이러한 새 터치-스크린 커맨드들은 이제 곧 구식이 될 수도 있는 하드웨어, 즉, 디스플레이에 기초한다. 예를 들면, 디스플레이들이 가상-현실 헤드기어 (아래에서 논의됨) 에 의하여 대체되거나 이에 의하여 보충될 것이라는 것이 기대된다. 따라서, 그들의 현재 형태에서 이러한 커맨드들도 역시 구식이 될 수도 있다.
다양한 비한정적인 실시형태들은, 다양한 제스쳐들이 실질적으로 타이핑과 동시에 적용될 수 있고, 그리고 이를 통하여 타이핑하는 사람의 동작 조건들을 개선할 수 있는 환경에서 다양한 제스쳐들을 사용하는 것에 직결된다. 타이핑은 사람의 시간의 많은 시간들을 소비하는 활동인데, 하지만 현재의 타이핑 패러다임은 비효율적이고 스트레스가 많다. 컴퓨터가 타이핑하는 사람에게 요구하는 불편하고, 짜증나게 하며, 에러에 취약한 마이크로-모션들의 시간 밀도를 취하고 이것을 타이핑하면서 소모되는 시간의 양으로 곱한다면, 그 결과는 시간 및 에너지의 상대적으로 큰 낭비, 화나는 것의 원인, 및 가능하게는 사용자에게 부과되는 다양한 스트레스들로 인한 많은 스트레스-관련된 질병들의 원인이다. QWERTY 키보드가 개량에 대한 수십 년 간의 요청에도 불구하고 현재 남아있는 것으로 보이는데, 그러나, 커서 제어들 및 다른 커맨드들에는 거의 주의가 기울여지지 않아 왔으며, 이들은 거의 틀림없이 QWERTY 키보드보다 더 열악하다.
예를 들어, QWERTY 키보드는 26 개의 글자 키들 및 10 개의 숫자 키들, 더하기 48 개의 다른 키들을 포함할 수도 있다: 필수 숫자/글자 키들에 대한 다른 키들의 비율은 4:3 이다. 이러한 48 개의 키들 중에서, 몇몇은 조판 문자 키들 (예를 들어, 콜론 및 세미콜론을 위한 키) 이다; 이러한 조판 키들이 "다른" 키들의 개수를 37 개로 감소시키는데, 여전히 숫자/글자/심볼 키들보다는 개수가 많다.
미숙한 사람은 대부분의 키들을 해독할 수가 없을 수도 있다. 많은 것들은 애매하고 (예를 들어, "F6") 그리고 경험 또는 룩업 테이블이 없이는 사용될 수 없다. 다른 키들은 그들의 기능을 명백하게 개시한다 (예를 들어, "caps lock" 또는 "▶"). 명백한 키들에 대한 애매한 키들의 비율은 대략적으로 2:1 이다. 대략적으로 27 개의 애매하고 알 수 없는 키들의 배치 및 관련성들에는 논리가 거의 없다.
많은 키들이 비-필수적인 기능들을 가지며 그리고 많은 사람들은 몇몇 키들이 무엇을 하는지를 알지 못하고, 이것은 틀림없이 키보드가 더 복잡해지게 해서는 안 된다. 비록 타이핑 하는 사람이 이러한 키들의 기능들에 대해 어렴풋한 개념을 가질 수도 있지만, 다른 키들은 전혀 사용되지 않는다. 따라서, 몇몇 키들은 제거되고 그리고 메뉴 선택들에 의하여 대체되어야 한다.
커맨드들을 키들을 통해서 입력하는 것은 사용자로부터의 정밀한 액션을 요구하며, 그리고 정밀도의 부족은 손가락이 의도된 키를 놓치고 인접한 키를 누를 때에 빈번하게 원치 않는 액션을 호출한다. 근접 설정된 "tab", "caps lock", "shift", 및 "ctrl"이 특히 불만족스러운 혼동들에 취약하다. 원치 않는 매크로들, 윈도우들, 또는 모드들도 키를 놓치는 것으로부터 튀어나올 수 있다. 그러면, 이러한 에러들은 이러한 사고 이전에 사용자가 있었던 곳으로 되돌아가기 위하여 추가적인 정밀한 액션들을 요구한다. 디바이스들이 작아짐에 따라서, 키들을 축소시켜야 하는 대응하는 압력이 존재하며, 그리고 견딜 수 없이 작은 키보드들은 사용자의 불만을 악화시킬 수 있다.
(현재 공통적으로 "마우스 패드" 상에서 수행되는) 마우스/클릭 커맨드들도 역시 컴퓨터 시스템의 본질적인 부분일 수 있다. 그러나, 이것은 흔히 키들 자체보다 더 열악하다. 정밀한 이동들이 마우스 패드의 작은 치수들에 의하여 요구되는데, 이것이 사용자들이 그들의 에너지를 낭비하도록 야기한다; 또한, 마우스 패드는 임의의 액션을 스스로 수행할 수 없고, 보조적인 좌 클릭 또는 우 클릭을 요구한다.
디스플레이를 마우스 패드 대신에 터치 스크린으로서 사용하는 것은 정밀도 문제를 보조한다. 그러나, 위에서 언급된 바와 같이, 이것은 손들을 키패드로부터 멀리 터치 스크린을 향하여 이동시키는 것을 요구하고, 사용자의 손(들)을 앞뒤로 이동시키는 결과로서 새로운 어색함을 도입시킨다.
종래의 입력 디바이스들 및 그들의 제한사항들과 함께 위에서 설명된 이슈들을 고려하면, 본 명세서에서 설명되는 하나 이상의 실시형태들은 물리적 디스플레이를 요구하지 않고 그리고 콤팩트한 시스템을 제공한다. 일 예시적인 실시형태에서는, 가상-현실 디바이스가 사용자의 관점으로부터 텍스트 및 키보드 이미지를 실제 세계 상에 중첩시킬 수 있다.
일 실시형태에서는, 상호작용 구별 (interaction differentiation) 의 적어도 두 개의 레벨들로부터 검출된 상호작용 구별의 적어도 하나의 레벨을 수신하는 것을 포함하는, 입력 디바이스와 근접하거나 또는 접촉하는 오브젝트와 연관된 감지 정보를 수신하는 것, 상호작용 구별의 적어도 하나의 레벨의 함수로서 감지 정보로부터 커맨드를 해석하는 것, 및 상기 커맨드에 기초하여 액션 표시를 출력하는 것을 포함하는 방법이 본 명세서에서 설명된다.
일 예에 따르면, 상호작용 구별의 적어도 두 개의 레벨들은 근접성 레벨 및 전기적 연속성 레벨을 포함한다. 이러한 예에서는, 감지 정보를 수신하는 것은 추가로: 근접성 레벨을 커패시턴스의 함수로서 해석하는 것 또는 전기적 연속성 레벨을 입력 디바이스의 적어도 하나의 컴포넌트의 표면의 오브젝트에 의한 접지화에 기초하여 감지하는 것 중 적어도 하나를 포함한다. 이러한 예에 대해 더 나아가, 이 방법은 근접성 레벨을 해석하는 것 및 전기적 연속성 레벨을 감지하는 것에 기초하여 커맨드 제스쳐들의 개수를 증가시키는 단계를 더 포함한다.
위의 예에 대해 더 나아가, 근접성 레벨을 해석하는 것은 오브젝트의 입력 디바이스 상의 높이를 적어도 하나의 공진 회로의 출력에 기초하여 확인하는 것 및 오브젝트의 입력 디바이스에 대한 측방향 포지션을 위치결정하는 것을 포함한다. 더 나아가, 높이를 확인하는 것은, 입력 디바이스의 제 1 컴포넌트의 제 1 공진 주파수를 입력 디바이스의 제 2 컴포넌트의 제 2 공진 주파수와 비교하여 제 1 공진 주파수 및 제 2 공진 주파수 중 최저 공진 주파수를 결정하는 것 및 최저 공진 주파수에 기초하여 오브젝트가 제 1 컴포넌트 또는 제 2 컴포넌트에 더 근접하다고 결정하는 것을 포함하는, 오브젝트 및 입력 디바이스 간의 거리를 최저 공진 주파수에 기초하여 측정하는 것을 포함한다. 다른 예에서는, 높이를 확인하는 것은 입력 디바이스의 컴포넌트들의 응답들을 비교하는 것 및 삼각 함수를 응답들에 적용하여 오브젝트의 높이를 간접적으로 확인하는 것을 포함한다.
다른 예에서는, 측방향 포지션을 위치결정하는 것은, 입력 디바이스의 제 1 컴포넌트의 제 1 공진 주파수 및 입력 디바이스의 제 2 컴포넌트의 제 2 공진 주파수를 계산하는 것 및 측방향 포지션을 제 1 공진 주파수와 제 2 공진 주파수 사이의 로컬 최소값 (local minima) 의 함수로서 결정하는 것을 포함한다. 다른 예에서는, 측방향 포지션을 위치결정하는 것은, 제 1 컴포넌트의 제 1 공진 주파수 및 제 1 컴포넌트에 인접한 제 2 컴포넌트의 제 2 공진 주파수 간의 차분을 검출하는 것 및 차분의 함수로서 오브젝트가 제 1 컴포넌트 또는 제 2 컴포넌트에 더 근접하다고 결정하는 것을 포함한다.
다른 예에 따르면, 액션 표시를 출력하는 것은, 제 1 부분 및 제 2 부분을 포함하는 가상 디스플레이 상에 아이템을 하이라이팅하는 것으로서, 제 1 부분은 액션 표시와 연관된 커맨드를 포함하고 그리고 제 2 부분은 입력 디바이스의 가상 표현을 포함하는, 상기 아이템을 하이라이팅하는 것을 포함한다. 이러한 예에 대해 더 나아가, 아이템을 하이라이팅하는 것은 오브젝트가 입력 디바이스와 물리적 접촉되는 것에 응답하여 수행된다.
다른 예에 따르면, 감지 정보를 수신하는 것은, 입력 디바이스와 근접하거나 또는 접촉하는 두 개 이상의 오브젝트들을 동시에 검출하는 것 및 제스쳐 커맨드의 목적들을 위하여 두 개 이상의 오브젝트들을 단일 오브젝트로서 식별하는 것으로서, 감지 정보를 수신하는 것은 단일 오브젝트와 연관된 감지 정보를 수신하는 것을 포함하는, 상기 단일 오브젝트로서 식별하는 것을 포함한다. 다른 예에서는, 액션 표시를 출력하는 것은, 디스플레이 디바이스로, 액션 표시 및 커맨드의 해석을 포함하는 신호를 디스플레이 디바이스에 의한 출력을 위하여 송신하는 것을 포함한다. 몇 가지 예들에서는, 커맨드를 해석하는 것은 오브젝트의 모션을 보간하는 것을 포함한다. 더 나아가, 몇 가지 예들에서는, 보간하는 것은, 데이터를 입력 디바이스의 복수 개의 컴포넌트들로부터 수신하는 것 및 상기 데이터에 기초하여, 부드러운 라인을 구성하여 오브젝트를 위치결정하는 것을 포함한다.
다른 실시형태에서는, 본원에서 설명되는 시스템은 키보드에 대한 공간 내의 적어도 하나의 제스쳐를 수신하도록 구성되는 환경 캡쳐 컴포넌트, 커맨드를 적어도 하나의 제스쳐에 기초하여 식별하도록 구성되는 해석 컴포넌트, 및 적어도 하나의 제스쳐의 정보 및 커맨드의 결과를 렌더링하도록 구성되는 출력 컴포넌트로서, 상기 정보는 가상 디스플레이 상에서 렌더링되도록 구성되는, 상기 출력 컴포넌트를 포함한다. 일 예에 따르면, 해석 컴포넌트는 추가로, 적어도 하나의 제스쳐와 연관된 근접성 또는 전기적 연속성을 확인하도록 구성된다. 이러한 예에 대해 더 나아가, 해석 컴포넌트는 추가로, 커서 제어를 검출함으로써 근접성을 확인하도록 구성되고 그리고 기계적 작동이 매뉴얼 커맨드들을 표시한다고 확인하도록 구성되며, 그리고 여기에서 전기적 연속성은 가상 디스플레이 내의 키의 하이라이팅을 용이화한다. 몇 가지 예들에서는, 환경 캡쳐 컴포넌트는 공간 내의 키보드에 상대적이고 이에 인접한 이동을 검출하고 그리고 키보드로 인가된 압력을 검출하도록 구성된다. 이러한 예에 대해 더 나아가, 출력 컴포넌트는 추가로, 키보드로 인가된 압력의 검출에 응답하여, 가상 디스플레이의 적어도 일부를 하이라이팅하도록 구성된다.
다른 예에서는, 이 시스템은 추가로, 커패시턴스를 키보드 상부의 손가락 끝의 높이 및 측방향 위치의 결정에 대한 입력으로서 측정하도록 구성되는 센서를 포함한다. 이러한 예에서는, 손가락 끝 및 키보드의 키는 공진 회로의 커패시터를 형성하고, 그리고 여기에서 손가락 끝 및 키 간의 커패시턴스는 물리학에 의하여 1/d에 비례하며, 여기에서 d는 손가락 끝 및 키의 사이즈의 절반의 단위들에서의 분리 (separation) 이고, 그리고 여기에서 공진 회로의 주파수는 거리의 척도이다. 이러한 예에 대해 더 나아가, 시스템은, 손가락 끝이 키 쌍 내의 제 2 키보다 제 1 키로 더 근접한 정도를 나타내는 비트 주파수 (beat frequency) 를 측정하도록 구성되는 평가 컴포넌트를 포함한다. 제 1 키 및 제 2 키의 비트 주파수는 손가락 끝이 제 1 키 및 제 2 키 사이에 있는 것에 응답하여 사라진다.
다른 예들에 따르면, 가상 디스플레이는 증강 현실 안경을 포함한다. 다른 예에서는, 키보드는 개별적인 엄지-작동 스페이스 바들을 가지는 두 개의 부분들을 포함하고, 그리고 두 개의 부분들은 서로 접혀져서 두 개의 부분들과 연관된 키들을 덮도록 구성된다.
추가적 실시형태에서는, 컴퓨터-실행가능 명령들이 저장된 컴퓨터-판독가능 저장 매체로서, 상기 컴퓨터-실행가능 명령들은 실행에 응답하여, 컴퓨팅 디바이스로 하여금, 수행될 적어도 하나의 커맨드를 표시하는 제스쳐를 검출하는 것, 상기 제스쳐를 복수 개의 커맨드들로부터 선택된 적어도 하나의 커맨드로서 해석하는 것, 및 상기 적어도 하나의 커맨드의 결과를 가상 공간 내의 인지가능 이벤트로서 개시하는 것을 포함하는 동작들을 수행하게 하는, 상기 컴퓨터-실행가능 명령들이 저장된 컴퓨터-판독가능 저장 매체가 설명된다. 하나 이상의 예들에 따르면, 제스쳐를 검출하는 것은, 적어도 하나의 커맨드를 표시하는 제스쳐를 공통 근접성-레벨 제스쳐들의 세트로부터 구별하는 것으로서, 공통 근접성-레벨 제스쳐들의 세트는 무시되는, 상기 제스쳐를 구별하는 것을 포함할 수 있다. 다른 예에서는, 제스쳐를 검출하는 것은, 외부 액터 (actor) 및 키보드 상의 도전성 작동 키 간의 전기적 접촉을 표시하는 작동을 수신하는 것을 포함할 수 있다. 또 다른 예에서는, 제스쳐를 검출하는 것은, 입력 디바이스의 제 1 도전성 작동 키의 제 1 공진 주파수를 입력 디바이스의 제 2 도전성 작동 키의 제 2 공진 주파수와 비교하여 제 1 공진 주파수 및 제 2 공진 주파수의 최저 공진 주파수를 결정하는 것 및 최저 공진 주파수에 기초하여 외부 액터가 제 1 도전성 작동 키 또는 제 2 도전성 작동 키에 더 근접하다고 결정하는 것을 포함하는, 외부 액터 및 입력 디바이스 간의 거리를 최저 공진 주파수에 기초하여 측정하는 것을 포함할 수 있다. 추가적인 예에서는, 제스쳐를 검출하는 것은, 입력 디바이스의 제 1 도전성 작동 키의 제 1 공진 주파수 및 입력 디바이스의 제 2 도전성 작동 키의 제 2 공진 주파수를 계산하는 것 및 외부 액터의 측방향 포지션을 제 1 공진 주파수 및 제 2 공진 주파수 간의 로컬 최소값들의 함수로서 결정하는 것을 포함할 수 있다.
몇몇 예들에 따르면, 제스쳐를 해석하는 것은, 제스쳐가 스윕 제스쳐, 푸시-풀 제스쳐, 원 제스쳐, 꺽임 (deflection) 제스쳐, 확대-축소 제스쳐, 또는 회전 제스쳐 중 적어도 하나라고 확인하는 것을 포함한다. 다른 예에 따르면, 결과를 개시하는 것은, 제 1 부분 및 제 2 부분을 포함하는 가상 디스플레이 상에서 아이템을 하이라이팅하는 것, 제스쳐와 연관된 커맨드를 제 1 부분 근처에서 예시하는 것, 및 입력 디바이스의 표현을 제 2 부분 근처에서 제공하는 것을 포함한다. 다른 예에서는, 아이템을 하이라이팅하는 것은 외부 액터 및 입력 디바이스 간의 물리적 접촉에 응답한다.
또 다른 실시형태에서는, 본 명세서에서 설명되는 시스템은, 입력을 제스쳐의 형태로 수신하는 수단, 및 제스쳐를 근접성 레벨, 전기적 연속성 레벨, 및 작동 레벨 중 하나 이상의 함수로서, 대안적 커맨드들로부터 선택된 커맨드로 전환하는 수단을 포함한다. 시스템은 또한 인지가능 포맷에서 커맨드의 결과를 원격 디스플레이 디바이스로 출력하는 수단을 포함한다.
일 예에서는, 시스템은 또한 근접성 레벨을 커패시턴스의 함수로서 해석하는 수단, 전기적 연속성 레벨을 입력 디바이스의 컴포넌트의 표면의 오브젝트에 의한 접지화에 기초하여 감지하는 수단, 및 외부 힘에 의한 컴포넌트의 이동으로부터 작동 레벨을 검출하는 수단을 포함한다.
본 명세서에서 설명되는 또 다른 실시형태는 키들의 어레이 및 키보드 근처의 손가락을 검출하도록 구성된 적어도 하나의 용량성 센서를 포함하는 키보드를 포함하는 컴퓨팅 디바이스인데, 여기에서 키들의 어레이의 키들의 적어도 하나의 서브세트는 키들의 적어도 상기 서브세트의 개별 키로 인가된 압력을 검출하도록 구성되는 개별 변위 작동 스위치를 포함한다. 컴퓨팅 디바이스는 또한 키보드 근처의 제스쳐를 커맨드로 전환하도록 구성된 전환 모듈 및 디스플레이를 커맨드의 함수로서 변화시키도록 구성된 프로세서를 포함한다. 일 예에서는, 키보드는 손가락 및 키들의 적어도 서브세트 간의 전기적 접촉을 검출하여 용량성 상호작용, 도전성 상호작용, 또는 기계적 상호작용으로부터 상호작용 정보를 수신하도록 구성된다. 몇 가지 예들에서는, 디스플레이는 원격 가상 디스플레이이고 그리고 프로세서는 추가로 신호들을 생성하고 그리고 신호들을 원격 가상 디스플레이로 송신하도록 구성된다. 다른 예들에서는, 전환 모듈은 추가로, 상이한 커맨드들에 대응하는 커맨드 제스쳐들의 세트를 포함하는 데이터 스토어에 액세스하도록 구성된다. 다른 예에서는, 데이터 스토어는 추가로, 커맨드 제스쳐들의 세트로부터 구별가능한 공통 근접성-레벨 제스쳐들의 세트를 포함한다.
본 명세서에서는, 제스쳐 키보드를 제공하기 위한 실시형태들 중 몇몇의 개관이 위에서 제공된 바 있다. 다음에 후속하는 것에 대한 로드맵으로서, 증강 현실을 위한 제스쳐-기반 사용자 인터페이스에 대한 다양한 예시적이며 비한정적인 실시형태들 및 피쳐들이 좀 더 상세하게 설명된다. 그러면, 비한정적인 구현형태가, 이러한 실시형태들 및/또는 피쳐들이 구현될 수 있는 컴퓨팅 환경에 대하여 주어진다.
증강 현실을 위한 제스쳐 기반 사용자 인터페이스
위에서 언급된 바와 같이, 다양한 실시형태들에서는, 커맨드들을 인식하고, 제스쳐들의 형태로 입력하며, 그리고 하나 이상의 액션들을 커맨드들에 기초하여 구현하도록 구성되는 제스쳐 키보드가 개시된다. 몇 가지 양태들에서는, 커맨드들 중 하나 이상이 타이핑의 형태로 입력될 수 있다. 몇몇 양태들에 따르면, 커맨드들은 제스쳐들 및 타이핑의 조합으로서 입력될 수 있다. 본 명세서에서 이용될 때, "타이핑"은 전통적인 타이핑 액션들 (예를 들어, 키보드 상의 키와의 접촉) 을 지칭하고 그리고 "제스쳐"는 키보드 상에서의 또는 근처에서의 모션들 (예를 들어, 타이핑 이외의 액션들) 을 지칭한다. 일 예에서는, 하나 이상의 커맨드들이 증강 현실에서 구현될 수 있다. 도 1 은 커맨드들을 인식 및 구현하는 방법의 일 예시적이며 비한정적인 실시형태를 도시하는 흐름도를 도시한다. 도 1 내의 흐름도는, 예를 들어 시스템들 중 임의의 것, 예컨대 본 명세서에서 설명되는 (도 4 의) 시스템 (400) 을 사용하여 구현될 수도 있다. 이러한 설명 전체에서 사용되는 일 예는 키보드 및/또는 안경에 대한 것이다. 키보드는 용량성 키보드들을 포함할 수 있다. 안경은 헤드-탑재 기어를 포함할 수 있다. 그러나, 본 명세서에서 설명되는 실시형태들이 키보드 및/또는 안경의 특정한 예로 제한되지 않는다는 것 그리고 본 명세서에서 설명되는 실시형태들이 다른 입력 디바이스들 및/또는 출력 디바이스들과도 기능을 수행할 수 있고 이해된다는 것이 인정되어야 한다.
단계 100 에서는, 감지 정보가 수신된다. 감지 정보는 입력 디바이스와 근접하거나 또는 접촉하는 오브젝트와 연관된다. 특정한 예에서는, 입력 디바이스는 키보드일 수 있고 그리고 오브젝트는 키보드와 상호작용하기 위하여 외부 액터 (예를 들어, 사람) 에 의하여 사용되는 손가락 끝 또는 다른 아이템일 수 있다. 예를 들어, 사람은 키보드와 상호작용하여 커맨드들을 손 제스쳐들의 형태로 또는 타이핑에 의하여 입력할 수 있다. 이러한 커맨드들은 감지 정보로서 수신될 수 있다.
단계 100 에서의 수신은 상호작용 구별의 적어도 두 개의 레벨들로부터 검출된 상호작용 구별의 적어도 하나의 레벨을 수신하는 것을 포함할 수 있다. 몇 가지 양태들에서는, 상호작용 구별는 타이핑에 의하여 입력된 커맨드들 및 제스쳐들로서 입력된 커맨드들을 구별할 수 있다. 일 예에서는, 상호작용 구별의 적어도 두 개의 레벨들은 근접성 레벨 및 전기적 연속성 레벨을 포함한다. 키보드의 경우에서의 특정한 비한정적인 예에서는, 근접성 레벨은 커패시턴스에 의하여 감지될 수 있고 그리고 전기적 연속성 레벨은 키의 표면의 사용자의 손가락에 의한 접지화에 의하여 감지될 수 있다. 몇 가지 예들에서는, 상호작용 구별의 다른 레벨은 작동 레벨을 포함한다. 작동 레벨은 힘 또는 누름에 의한 키의 작동에 의하여 감지될 수 있다.
단계 102 에서는, 커맨드가 검출되었던 상호작용 구별의 적어도 하나의 레벨 (예를 들어, 몇 가지 양태들에서는 근접성 레벨, 전기적 연속성 레벨, 또는 작동 레벨 중 하나) 의 함수로서 감지 정보로부터 해석된다. 예를 들어, 해석된 커맨드는 복수 개의 커맨드들 중에서 선택될 수 있다. 제스쳐의 형태로 수신된 해석된 커맨드는, 예를 들어 또한 커맨드로서 기능하도록 의도되지 않는 공통 근접성-레벨 제스쳐들의 세트로부터 구별될 수 있다. 만일 제스쳐가 공통 근접성-레벨 제스쳐라고 결정되면, 그 제스쳐는 무시된다 (예를 들어, 커맨드로서 구현되지 않는다). 제스쳐들의 다양한 타입들과 관련된 다른 정보가 아래에서 제공된다.
단계 104 에서는, 액션 표시가 커맨드에 기초하여 출력된다. 예를 들어, 출력된 표시는 가상 키보드를 나타내는 가상 디스플레이 내의 키를 하이라이팅하는 것을 포함할 수 있다. 다른 예들은 커서 이동들, 페이지 이동들, 잘라내기, 복사하기, 및 붙여넣기를 위한 하이라이팅하는 것, 및 가상 디스플레이 내에서 표현될 수 있는 문서 내에서 구현될 다른 액션들을 포함한다. 다른 예에서는, 출력된 표시는 가상 공간 내의 인지가능 이벤트로서 제공될 수 있다. 추가적인 예에서는, 작동 레벨과 같은 출력된 표시는 심볼을 텍스트 파일에 추가하는 것을 포함할 수 있다. 다른 양태에 따르면, 가상 디스플레이는 증강 현실 안경의 사용과 함께 구현될 수 있다.
당업자는 본 명세서에서 개시되는 이러한 그리고 다른 개시된 프로세스들 및 방법들에 대하여, 이러한 처리들 및 방법들에서 수행되는 기능들이 상이한 순서로 구현될 수도 있다는 것을 이해할 것이다. 더욱이, 개략화된 단계들 및 동작들은 오직 예들로서만 제공되고, 그리고 단계들 및 동작들 중 몇몇은 개시된 실시형태들의 본질로부터 벗어나지 않으면서 선택적이거나, 더 적은 단계들 및 동작들로 결합되거나, 또는 추가적 단계들 및 동작들로 확장될 수도 있다.
도 2 로 돌아가면, 일 양태에 따르는 제스쳐 키보드를 사용하는 사람의 특정한 비한정적인 예가 도시된다. 키보드 (206) 상에 포지셔닝된 좌측 손 (202) 및 우측 손 (204) 이 묘사된다. 우측 손 (204) 의 손가락은 키보드 (206) 의 우측 면 상의 거리 h1에 위치된다. 뻗어진 좌측 손 (202) 은 키보드 (206) 의 좌측 면 상의 거리 h2에 있다. 일 예에서는, 키보드 상의 손가락 끝의 높이 및 측방향 위치 모두가 검출될 수 있다. 높이 및 측방향 위치의 검출에 관련된 추가적 정보는 좀 더 상세하게 아래에서 제공될 것이다.
몇 가지 양태들에서는, 사용자는 몇몇 상황들에서 접지될 수도 있고, 그리고 키보드는 손목들이 놓일 수 있는 상승된 림 (rim) 또는 약간 기울어진 접지화 막대를 포함함으로써, 사용자 및 사용자의 손들이 접지 전위에 있도록 보장할 수도 있다. 접지화 손목 스트랩이 옵션으로서 제공될 수도 있다.
타이핑할 때, 손들 (202, 204) 은 하나 이상의 제스쳐들을 입력하기 위하여 사용되는 포지션과 유사한 포지션에서 키보드 (206) 상에 자리잡게 된다. 일 양태에서는, 하나 이상의 제스쳐들은 용량성 제스쳐들일 수 있다. 예를 들어, 공지된 용량성 키보드들에서는, 키들은 손가락의 근접성에 기인한 "손 커패시턴스"에 의하여 작동된다. 개시된 양태들에 따르면, 키보드 키들은 손가락 끝의 근접성을 검출하기 위하여 사용되는 회로들로 접속된다. 키보드로의 손가락 끝 근접성의 검출은 공간에서의 키보드에 상대적인 손가락 모션들을 검출하기 위하여 이용되고, 따라서, 손 제스쳐들이 검출될 수 있다. 손 제스쳐들은 커맨드들로서 기능하고, 그리고 또한 몇몇 양태들에 따라서 타이핑 커맨드들로서 기능할 수 있다.
개시된 양태들은 용량성 손 제스쳐들을 이용하여 키-작동된 그리고 마우스-패드 커맨드들, 예컨대 스크린을 이동시키기 위하여 사용되는 커맨드들, 커서 이동들, 리턴 기능, 제어 기능, 클릭, 및 기타 등등을 대체할 수 있다. 종래의 시스템들에서는, 이러한 커맨드들은 정밀도 모션들과 함께 구현되고 그리고 흔히 에러들을 야기했다. 그러나, 본 명세서에서 개시된 바와 같이, 커맨드들은 더 적은 정밀한 모션으로써 입력될 수 있고, 결과적으로 더 적은 에러들을 초래한다.
일 예에서는, 센서는 커패시턴스를 키보드 (206) 상에서의 손가락 끝의 높이 및 측방향 위치의 결정하는 것의 입력으로서 측정하도록 구성된다. 예를 들어, 손 커패시턴스가 센서에 의하여 이용되어 높이 및 측방향 위치를 결정할 수 있다. 어구 "손 커패시턴스"는 원래 사람의 손이 무선 안테나 근처로 이동되었을 때 무선 안테나의 커패시턴스에서의 변화를 지칭했다. 가변 커패시터가 무선 동조를 위하여 사용되고, 그리고 안테나는 특히 영향을 주는 사람이 접지될 때 안테나 근처의 손 또는 다른 몸체 부분의 존재에 의하여 역동조될 수 있다.
손 커패시턴스는 직접적 접촉이 없이 연주된 첫 번째 악기인 테레민 (theramin) 의 기초로서 의도적으로 사용되었다. 테레민은 임의의 피치의 사운드들을 생성하는데, 이것은 연주자의 손이 이동할 때 주파수에서 급속도로 스윕할 수 있다. 테레민은 안테나를 채택하는데, 이것은 공진 LC (인덕터-커패시터) 회로를 포함하는 오디오-주파수 공진기로 커플링된다. 안테나의 커패시턴스가 그 안테나로 가까이 또는 그로부터 멀리 이동하는 연주자의 손에 의하여 변동될 때, LC 공진들의 주파수가 변동한다. 공진들은 전자적으로 증폭되고, 그리고 이제 라우드스피커로 전송되어 사람의 손의 포지션에 의존하는 피치의 사운드를 생성한다.
임의의 도전성 또는 부분적으로-도전성인 오브젝트는 커패시턴스를 가지고, 그리고 이것의 커패시턴스는 근접하게 이동되는 다른 오브젝트에 의하여 (다른 오브젝트의 커패시턴스가 역시 영향받는 바와 같이) 영향받는다. 사람의 손가락 끝은, 예를 들어 특정 커패시턴스를 가진다; 키보드 상의 키일 수도 있는 다른 작은 도전성 오브젝트도 역시 커패시턴스를 가지며, 그리고 이러한 두 개는 상호 커패시턴스를 가진다. 그들의 상호 커패시턴스는 기하학적 구조에 의하여 결정된다.
평행-판 커패시터에서는, 커패시턴스는 판들이 근접하기 때문에 크다. 만일 제 1 판이 접지된다면, 그리고 어떤 전압이 배터리에 의하여 제 2 판 상에 인가된다면, 전하가 제 2 판 상에 나타난다 (하지만 제 1 판이 접지되기 때문에 제 1 판에는 나타나지 않는다). 오브젝트의 커패시턴스는 이것이 1 볼트의 전위까지 상승될 때 그 오브젝트 상에 축적될 전기적 전하의 양으로서 정의된다.
만일 판들이 떨어지도록 이동된다면, 전하는 제 2 판 밖으로, 다시 배터리를 향해 흐를 것이다; 만일 이것이 배터리로부터 단선된다면, 전하는 일정하게 유지되지만 전압은 판들이 분리될 때 상승할 것이다. 결국에는, 충전된 판은 접지된 판으로부터 충분히 멀어져서 접지된 판의 효과가 배경 (모든 주위 접지된 오브젝트들) 의 효과로 통합될 것이고, 그리고 더 이상의 분리는 차이를 만들지 않는다. 고립된 오브젝트의 커패시턴스는 임의의 특정한 다른 오브젝트가 아니라 (접지 전위를 가지는) 우주에 대하여 결정된다.
손가락 끝은 이의 커패시턴스를 탐구하는 목적을 위하여 근사적으로 구로서 모델링될 수 있다. 고립된 구의 커패시턴스에 대한 공식은 C = 4πε0 a인데, 여기에서 a는 구의 반경이다. 반경 0.6 cm의 구로서 근사화된다면, 공기 중에 놓여진 손가락 끝은 4π×(8.85 ×10-12 F/m)×0.006 m = 6.67 ×10-13 F 또는 1 피코패럿의 2/3 의 커패시턴스를 가진다.
그러나, 구 (또는 손가락) 가 어떤 물체에 근접하게 이동되면, 이것의 커패시턴스는 증가한다. 반경 a이고 중심-중심 거리 d에 의하여 분리된 두 개의 구들 간의 커패시턴스는 다음 수학식 1 이다:
Figure 112013079080541-pct00001
d → 2a일 때 (즉, 두 개의 구들이 접촉하는 것에 근접할 때), 양 (d 2 - 2a 2) 은 제로로 접근하고 그리고 양 [a 2 / (d 2 - 2a 2)]은 매우 커지며, 그러므로 커패시턴스도 커진다. (양 (a 2 /d) 은 0.5 로 접근하고, 그래서 이것은 [a 2 / (d 2 - 2a 2)]보다 덜 중요하다.) 고차 항들을 무시하고 구에 대한 단위 반경을 가정하면 (d ≥ 2), 상대 커패시턴스는 다음 수학식 2:
Figure 112013079080541-pct00002
이거나 대략적으로는, 1/d과 같다. 손가락 끝 및 키보드 상의 키 모두가 동일한 사이즈의 구들로서 근사화될 수 있기 때문에, 손가락 끝 및 키 간의 커패시턴스는 대략적으로 1/d에 비례하는 것으로 여겨질 수 있는데, 여기에서 d는 그들의 사이즈의 절반의 단위에서의 분리이다 (손가락 끝 및 키보드 키가 동일한 사이즈이다).
만일 키 및 손가락 끝이 LC 공진 회로의 커패시터를 형성하도록 사용된다면, 공진 주파수는 대략적으로 d의 제곱근으로서 변동할 것인데, 이것은 주파수가 L 및 C의 곱의 제곱근의 역에 비례하기 때문이다. d가 손가락 또는 키 중 어느 하나의 사이즈에 비견되는 단위들이기 때문에, 키-손가락 끝 회로의 주파수는 특히 손가락 끝이 키에 가까울 때에 거리의 민감한 척도가 될 것이다.
만일 각각의 키가 커패시터의 일부로서의 키 및 고정된 인덕턴스를 가지고 형성된 자기 자신의 공진 회로를 가진다면, 그러면, 최저 공진 주파수를 가지는 키가 손가락 끝에 최근접한 키일 것이고, 그리고 그 주파수가 손가락 끝으로부터 가장 가까운 키까지의 거리 (예를 들어, 높이) 의 척도이다.
그 키와 연관된 회로의 공진 주파수에 의하여 결정되는 바와 같은 그들의 상호 커패시턴스를 측정함으로써 손가락-키 거리를 측정하는 것과 별개로, 손가락의 높이도 역시 삼각법에 의하여 키들의 응답들을 비교함으로써 간접적으로 검출될 수 있다. 떠 있는 손가락 끝으로부터 그 바로 밑에 있는 키까지의 거리의 그 손가락 끝의 인접한 키까지의 거리에 대한 비율은 손가락 끝이 그 손가락 끝 밑의 키를 향하여 이동할 때 증가한다. 바로 그 밑에 있는 키까지의 거리가 d라면, 그 다음의 키까지의 거리는 1.41 d인데, 이것은 두 개의 키들이 45-45-90 직각 삼각형을 형성하기 때문이다. 더 큰 높이에서는, 30-60-90 직각 삼각형이 형성되고 그리고 거리 비율은 1.41 대신에 1.15 이다. 손가락이 키보드 표면으로 더 근접할수록, 인접하는 키들 간의 그 손가락에 상대적인 거리에서의 비례적인 차분이 더 커지고, 그리고 인접한 LC 회로들의 주파수에서의 차분도 더 커진다. 가장 가까운 손가락까지의 거리도 역시 비율들에 의하여 유사한 방식으로 계산될 수 있다.
몇 가지 양태들에서는, 센서는, 자신의 LC 회로 내에서 최저 주파수를 가지는 키를 로컬 영역에서 찾음으로써 그 위치를 검출하도록 구성될 수 있다. 만일 손가락 끝이 두 개의 키들이 동일한 공진 주파수를 가지도록 야기한다면, 그러면 그 손가락은 두 개의 키들 가운데에 있다.
공진 주파수가 거리의 제곱근으로서 변동하기 때문에, 주파수에서의 변화의 거리에서의 변화에 대한 비율이 최단 거리들에서 최대라는 것, 그리고 더 큰 거리들에서 더 적다는 것에 주의해야 한다; 즉, 디바이스는 더 근접한 거리들에서 더욱 민감하다. 이러한 물리적 사실은 본 명세서에서 개시된 제스쳐-기반 시스템의 효용을 증가시키는데, 이것은 제스쳐, 예컨대 더 큰 높이에서 수행될 수 있는 손을 키보드에 대하여 평평하고 평행하게 유지시키는 (아래에서 논의되는) 것이 제스쳐-검출 회로부에서 혼동을 야기할 가능성이 더 적기 때문이다.
몇몇 양태들에 따르면, 손가락 끝이 키 쌍의 제 2 키보다 제 1 키에 더 근접한 정도를 나타내는 비트 주파수가 제공된다. 예를 들어, 각각의 키의 공진 주파수는 상부의 손가락을 표시하는 주파수의 로컬 최소값들을 찾으면서 직접적으로 이용될 수 있다. 몇 가지 양태들에서는, 각각의 키의 공진 주파수는 두 개의 인접한 키들의 주파수들의 차분인 비트 주파수를 찾음으로써 (변조) 간접적으로 이용될 수 있다.
비트 주파수는 손가락 끝이 다른 키보다 하나의 키에 더 근접한 정도를 나타낸다. 두 개의 키들 사이에 비트 주파수가 사라지는 경우, 그러면 손가락은 그러한 키들의 중간에 있다. 이와 유사하게, 사용자의 손이 멀리 떨어지면, 비트 주파수는 키들의 임의의 쌍 사이에서 본질적으로 제로일 것인데, 이것은 각각의 키가 (위에서 논의된 d의 제곱근으로서의 변동 때문에) 거의 동일한 주파수를 가질 것이기 때문이다. 일반적으로, 키보드 근처의 단일 손가락 끝은 근사적으로 제로 비트 주파수의 링들 또는 루프들에 의하여 감싸질 것인데, 하지만 각각의 링 또는 루프 내의 키들은 그 키 아래의 포인트로부터 더 멀거나 이에 근접한 키들에 대하여 비-제로 비트 주파수를 가질 것이다.
몇 가지 양태들에서는, 제 1 차 비트 주파수들 사이의 비트 주파수들인 제 2 차 비트 주파수들이 발견될 수 있다. 제 2 차 비트 주파수들은 몇몇 상황들에서 계산적 장점을 제공할 수 있다. 제 3 차 및 더 고차들도 역시 발견될 수 있다. 그러나, 키들의 바깥 층들이 제거됨에 따라 각각의 반복과 함께 결과들의 개수가 감소하기 때문에 이러한 프로세스에는 제한이 있을 수도 있다.
위에서 언급된 바와 같이, 상호작용의 3 개의 레벨들이 존재하는데, 이들은 기능적으로 서로 구별되어 상호작용들의 가능한 최대 구별을 제공한다. 제 1 레벨은 근접성인데, 이것은 커패시턴스에 의하여 감지된다; 두 번째는 전기적 연속성인데, 이것은 키의 표면의 사용자의 손가락에 의한 접지화에 의하여 감지된다; 그리고 세 번째는 표준 키보드에서와 같이 힘 또는 누름에 의한 키의 작동이다. 몇몇 양태들에 따르면, 더 큰 기계적 견고성 및/또는 하부 프로파일을 위하여, 힘은 이동 부분들이 없거나 최소로-이동하는 부분들을 가지는 키들, 예컨대 압전 디바이스들, 커패시터 마이크로폰과 유사한 용량성 디바이스들, 또는 다른 디바이스들에 의하여 감지될 수 있다.
용량성 감지는 커서 제어를 위하여 사용될 수도 있다. 전기적 연속성은 가상 디스플레이에서 키를 하이라이팅하기 위하여 사용될 수도 있다 (예를 들어, "H" 키가 가볍게 터치되는 경우, 이것은 가상 키보드 디스플레이에서 하이라이팅될 수 있다). 기계적 키 작동은 심볼을 타이핑하기 위하여 또는 커맨드들, 예컨대 사용자들에게 몸에 배어서 그러한 이유 때문에 아마도 변경되어서는 안되는 "enter" 및 "shift"을 위하여 사용될 수도 있다.
용량성 제스쳐들의 연속성 제스쳐들로부터의 구별은, 키, 예컨대 "ctrl"이 키들의 선택된 세트에 대한 기능들의 개수를 효과적으로 두 배로 하는 것과 유사한 방식으로, 커맨드 제스쳐들의 개수를 두 배로 할 수 있다. 예를 들어, 손을 키보드 상에서 우측으로 이동시키는 것 ("스윕") 은 커서를 우측으로 이동시키라는 커맨드일 수도 있는데, 반면에 키들을 가볍게 문지르는 것은 다소 상이한 커맨드일 수도 있다. 그러나, 중첩 없이는 수행되기 어려운 두 개의 제스쳐들, 예컨대 방금 언급된 두 개는 매우 상이한 의미들을 가져서는 안되며, 그리고 불만을 야기해서는 안되는데, 이것은 오늘날 의도된 키들 대신 인접한 것들을 누름으로써 야기된다. 아래에서 더욱 상세히 논의될 것과 같이, 용량성 스윕들 및 도전성 스윕들 간의 혼동을 완화하기 위한 한 가지 방법은 어떤 최소 거리를 넘어서 연장하거나 또는 어떤 최소 시간 동안 지속하는 도전성 스윕들만을 등록하는 것이다. 제스쳐들과 관련된 다른 정보 및 연관된 커맨드들이 아래에서 제공될 것이다.
손 커패시턴스의 감지는 가상 키보드 (210) 및 두 개의 문서들 (212) (예를 들어, 텍스트 문서들 또는 문서들의 다른 타입들) 을 포함하는 것으로 도시되는 가상 디스플레이 (208) 와 커플링될 수 있다. 가상 디스플레이 (208) 는 증강 현실 안경 (214) 에 의하여 제공될 수 있다. 안경 (214) 의 사용은 유닛을 포켓-사이즈로 축소시킬 수 있고 그리고 또한 추가적 디스플레이 및 제어 양태들을 가지는 3-D 디스플레이를 제공할 수 있다.
일 양태에서는, 안경 (214) 은 사용자가 텍스트, 이미지들, 또는 작업중인 다른 정보와 또한 가상 키보드 (210) 를 모두 볼 수 있도록 허용하도록 구성될 수 있는데, 이것의 키들은 사용자에 의한 키보드 (206) 로의 가벼운 터치에 응답하여 하이라이팅될 수 있다 (216) . 아래에서 논의되는 것과 같은 안경은 현재의 평판 디스플레이들을 대체할 수 있는데, 이것은 안경이 더 작고, 더 가벼우며, (이것이 개인에 의하여 착용될 가능성이 더 높기 때문에) 도난당할 가능성이 적고, 더 작은 환경적 영향을 받으며, 그리고 덜 비쌀 수 있기 때문이다. 또한, 안경은 많은 애플리케이션들과 함께 사용될 수 있는 증강 현실 디바이스이다. 더 나아가, 안경을 착용하는 것은 귀-탑재 전화기들 및 음악 디바이스들을 착용하는 것이 통상적인 것처럼 통상적으로 될 수 있다.
안경 (214) 은 텍스트 및 키보드 이미지를 실제 세계 상에 중첩시키는 가상-현실 디바이스를 제공한다. 이것은 미팅 중에 발화하는 사람 및 적혀지는 중인 텍스트 노트들 사이에서 주의를 분할할 필요가 없이 노트들을 타이핑하도록 허가할 수 있다. 더 나아가, 노트들은 비밀로 유지될 수 있는데 이것은 노트들이 오직 안경 상에만 존재하고 스크린 상에 존재하지 않을 것이기 때문이다.
후속하는 것은 개시된 양태들과 함께 이용될 수 있는 안경에 관련된 정보를 제공할 것이다. 그러나, 개시된 양태들은 안경들로 제한되지 않으며 랩탑 컴퓨터들 및 태블릿들과도 호환가능하다. 가상 키보드가 디스플레이의 하부 절반 상에 있고 텍스트가 상부 절반 상에 있는 분할 디스플레이가 이용될 수 있다. 다양한 양태들과 함께 이용될 수 있는 안경의 하나의 타입은 칼 짜이즈 사 (Carl Zeiss) 의 씨네마이저 (Cinemizer) 안경인데, 이것은 개인 영화 시청을 허용한다. 씨네마이저는 물리적으로 감겨진 썬글라스 (wrap-around sunglasses) 를 닮았다. 두 개의 고 해상도 액정 디스플레이 (LCD) 스크린들 및 두 개의 초점가능 (focusable) 렌즈 시스템들을 사용함으로써, 이미지는 6 피트만큼 떨어져서 배치된 1/20-인치 픽셀들 및 45 인치 대각을 가지는 (종횡비 3:4) 실제 스크린의 그것과 유사하다. 비한정적인 테스트에서, 전력은 4 시간 동안 지속되었고, 그리고 무게는 100 g이었다.
다른 예에서는, 개시된 양태들과 함께 이용되는 안경은 다리 부분들로부터 사용자의 눈으로 투영되는 빛 광선들을 반사하는 부분적으로 은도금된, 제로-디옵터 렌즈들을 사용할 수 있다. 안경은 (레이저 포인터들에서 사용되는 타입과 유사한) 저-전력 레이저 다이오드들을 채용할 수 있는데, 이것은 단순히 전력을 켜고 끔으로써 메가헤르쯔 속력들에서 변조될 수 있다. 변조된 레이저 빔들은 미러 또는 래스터 패턴의 미러들에 의하여 조향되어 이미지들을 생성할 수 있다. 레이저 빔들을 표면 상에 스캔하는 것이 아니라, 변조된 빔들은 부분적으로-은도금된 안경 렌즈의 내부면을 수렴 미러로서 사용하여, 눈 안으로 직접적으로 스캐닝될 수 있다 ("가상 망막 디스플레이").
다른 예에 따르면, 컴팩트성, 외관, 및 광학적 이유들 때문에, 이용될 수 있는 안경은 안경 다리들 내에 탑재된 레이저들 및 빔-스티어링 미러들을 가지는 안경이다. 스티어링 미러들은, 위에서 언급된 바와 같이 빔들을 렌즈의 부분적으로-금속화된 내부로부터 눈 안으로 반사한다. 예를 들어, 안경 렌즈는 외부 부분 상에 완전히-은도금된 표면을 포함할 수 있는데, 반면에 사용자가 관통하여 보는 부분은 포물면, 회전 타원면, 또는 다른 적합한 형상으로서 형상화됨으로써 수렴시키는 (초점을 맞추는) 엘리먼트로서 작용할 수도 있다. 스캐닝 미러가 렌즈 축 상에 위치되어 빔을 렌즈를 통하여 그리고 거기서부터 사용자의 눈 안으로 비추는 것과 함께, 효과는 사용자의 눈의 전방에 직접적으로 배치된 수렴 렌즈의 그것과 같은 효과와 유사할 수 있다; 렌즈는 가상 이미지를 형성할 수 있다. 피상 사이즈는 렌즈의 초점 길이에 의존할 것이다.
레이저 빔이 이러한 방식으로 눈 안으로 전송되는 경우, 실제 이미지는 존재하지 않으며, 따라서 포커싱에 대한 염려가 없고 그리고 시차 (이것들 간의 불일치는 피로를 야기할 수 있다) 에 의한 피상 초점 거리 및 피상 거리 간의 불일치가 존재하지 않을 수 있다. 수렴 미러의 초점 길이는 사용자의 시야각을 결정하고, 그러므로 광폭 이미지가 가능하다. 레이저 빔이 얇기 때문에, 이미지의 해상도는 높고, 가상 오브젝트들은 정밀-입자성을 가지며, 그리고 투영된 이미지들 및 텍스트는 클 필요가 없다.
풀-컬러, 스테레오 비젼은 6 개의 레이저들 및 미러들의 대응하는 개수들을 이용할 수 있다. 이러한 컴포넌트들은 작으며, 따라서 전체 광학적 시스템이 두꺼운-프레임 안경의 측면 레일들 (다리들) 내에 여전히 맞춤될 수 있다. (타이핑을 포함하는) 거의 모든 목적들을 위하여, 흑백, 2-D 또는 3-D 이미지들도 또한 적합하다. 두 개의 레이저 다이오드들 및 두 개의 빔-스티어링 미러들은, 푸시/풀 제스쳐를 사용하여 상이한 텍스트 파일들 (또는 상이한 이미지들) 이 배경 안으로 밀려나고 전면으로 당겨지도록 허용하는 3-D 이미지를 제공할 수 있다. 레이저 포인터로부터 나오는 것과 같은 일상적 적색 레이저 광도 또한 본 명세서에서 논의되는 다양한 양태들에 적합할 수 있다.
(교정 렌즈들일 수도 있는) 안경 렌즈들 외에는, 그 안경의 나머지 컴포넌트들은 작다. 그러므로, 안경 프레임의 디자인은 제약되지 않고, 그리고 안경은 현재의 스타일들에 따르도록 제조될 수 있다. 본 명세서에서 이용될 때, 용어 "안경"은 미래에 개발될 임의의 디바이스, 예컨대 이미지들을 형성하는 콘택트 렌즈들, 임플란트들, 및 기타 등등을 커버하도록 의도된다. 또한 용어 "안경"은 단안경 또는 다른 단일-눈 디바이스를 포함하는 것으로 의도된다.
위에서 언급된 바와 같이, 전기적 연속성이 가상 디스플레이 (208) 내의 한 키를 하이라이팅하기 위하여 사용될 수 있다. 가상 디스플레이 (208) 는 두 개의 부분들을 가질 수도 있는데, 상부 부분은 텍스트 (및/또는 그림들 등) 을 표시하고 그리고 하부 부분은 (랩탑과 유사한) 키보드를 표시한다. 예를 들어, 텍스트를 표시하는 상부 부분 및 키보드를 표시하는 하부 부분은 두 개의 문서들 (212) 과 유사할 수 있다. 접지된 키가 가상 디스플레이에서 하이라이팅될 수 있고, 그리고 이것이 타이핑을 훨씬 더 용이하게 만들 수 있다. 번호 키, 또는 심지어 "z" 키를 찾기 위하여 디스플레이로부터 멀어지게 주시하고 있는 덜 전문적인 터치 타이핑하는 사람은 터치된 키가 (키보드 (210) 상에 표시되는 것과 같이) 하이라이팅될 수 있기 때문에 그녀의 눈들을 돌릴 필요가 없을 것이다. 예를 들어, 터치된 키는 밝게, 깜빡거리면서, 상이한 컬러로, 또는 다른 방식으로 하이라이팅되어 나타날 수 있고, 그러므로 원하는 키가 활주하는 손가락으로써 용이하게 발견될 수 있다. 위치결정되기만 하면, 키는 에러에 대한 가능성이 없이 (또는 최소화된 가능성으로) 눌려져서 그 심볼을 타이핑할 수 있다.
도 3 은 제스쳐 키보드를 제공하기 위하여 이용될 수 있는 비한정적인, 예시적인 전기적 회로부 (300) 를 도시한다. 3-방향 상호작용을 달성하기 위하여, 표준 키보드가 키 표면들 상의 금속 호일들 (302) 또는 다른 도전성 부분들로 끼워 맞춰질 수 있다. 호일들 (302) 은 커패시터 판들 및 접지화 전극들 모두로서 기능할 수 있으며, 그리고 이러한 전극들은 아래의 회로들로 커플링될 수 있다. 손가락 끝 (304) 이 접근할 때, 회로의 주파수가 변화한다. 키보드 (308) 상의 키 (306) 가 터치되고 그러므로 접지될 때, 공진이 중단된다. 예를 들어, 호일 (302) 로부터의 리드 (310) 는 입력을 전기적 접촉 감지 모듈 (312) 로 제공할 수 있는데, 이것은 프로세서 (314) 와 상호작용할 수 있다. 일 양태에서는, 전기적 접촉 감지 모듈 (312) 은 전기적 연속성을 검출하도록 구성된다.
키 (306) 상의 호일 (302) 이 접지된 손가락 (304) 에 대향하는 커패시터 판으로서 역할을 수행하고, 그리고 리드 (310) 를 통하여 인덕터 (318) 와 접속하며 그리고 이를 통하여 공진 탱크 회로를 형성한다 (공진 회로들의 다른 타입들도 역시 사용될 수 있다). 회로는, 예를 들어 손가락 (304) 이 키 (306) 근처에 있는지, 키 (306) 로부터 멀리 있는지, 또는 심지어는 키 (306) 와 접촉하고 있는지 여부를 코일 (318) 내의 공진으로부터의 신호들을 픽업함으로써 결정하기 위하여 주파수 검출 모듈 (320) 로 커플링된 자기적으로-커플링된 픽업 코일 (316) 을 포함한다. 손가락 (304) 의 호일 (302) 과의 물리적 접촉은 또한 전용 접촉-감지 회로 (312) 에 의하여 감지될 수 있다. 픽업 코일 (316), 다른 유사한 코일 (미도시), 또는 탱크 회로로의 접속의 다른 타입이 인덕터 (318) 및 커패시터 (302/304) 에 의하여 형성된 탱크 회로의 공진들을, 예를 들어, 양의 피드백으로써 구동할 수 있다. 몇 가지 양태들에서는, 주파수 검출 모듈 (320) 이 근접성을 검출하는 센서로서 이용된다.
다른 예에서는, 키 (306) 아래에 위치된 압력 스위치 (322) 가 디바운스 (debounce) 모듈 (324) 에 의하여 검출될 수 있는데, 이것은 프로세서 (314) 와 통신할 수 있다. 일 양태에서는, 압력 스위치 (322) 및/또는 디바운스 모듈 (324) 이 기계적 작동의 감지를 용이화한다.
프로세서 (314) 는 키들을 모니터링하도록 구성되고 그리고 손가락의 포지션을 주파수에 의하여 확인할 수 있으며, 또는, 대안적인 양태에서는, 프로세서 (314) 는 키들을 연속성만을 검출하는 병렬 회로에 의하여 모니터링할 수 있다. 프로세서 (314) 는 출력 (예를 들어, 커맨드의 결과, 정보, 액션 표시, 및 기타 등등) 이 디스플레이 (326) 상에 렌더링되도록 야기할 수 있고, 이것은 인지가능 포맷으로 사용자에게 제공될 수 있다.
검출될 수 있는 예시적인 제스쳐들이 이제 논의될 것이다. 겹쳐진 손가락들 또는 여러 번 오무려진 손가락들은 회로부에 의하여 고립된, 또는 단일 손가락과 유사한 방식으로 해석되고 처리될 수 있다. 그러나, 단일 손가락 또는 그룹은, 손가락들이 예를 들어, 도 2 에서 좌측 손 (202) 에 의하여 예시되는 바와 같이 약 2 인치들만큼 분리된 펼쳐진-손의 제스쳐들로부터 구별될 수 있다. 도 2 에서 도시되는 펼쳐진-손 제스쳐는, 특히 키보드로부터 더 멀 경우 (예를 들어, 도 2 에서 h1 이 h2 보다 더 적을 경우) 자신의 감소된 커패시턴스 그레디언트에 기초하여 구별될 수 있다. 정밀도를 요구하는 제스쳐들은 최소화되어야 하는데, 이것은 특정 키를 두드리기 위하여 요구되는 정밀 모션들과 유사하게, 이러한 제스쳐들을 정확하게 수행하기가 어려울 것이기 때문이다.
추가적으로, 현재의 미스테리-키/포인트-클릭 커맨드들의 최악의 경우를 대체하도록 특히 의도된 제스쳐들이 선택될 수 있다. 이것들은 커서 이동들, 페이지 이동들, 및 잘라내기, 복사하기, 및 붙여넣기를 위한 하이라이팅을 포함하는데, 이것은 통상적으로 하나가 아니라 두 개의 손가락들이 개별적인 타겟 키들에서 1/4 인치 내에 동시에 위치되도록 이용한다 (예를 들어, 붙여넣기를 위한 "ctrl V").
활용될 수 있는 제스쳐의 일 타입은, 예를 들어 손 또는 하나 이상의 손가락들을 키보드 표면에 평행하게 이동 (이것은 커패시턴스 감지에 의하여 검출될 수 있다) 시킴에 의한 손 또는 손가락들의 키보드를 가로지르는 측방향 모션인 스윕이다. 스윕은 손을 수평 축 주위에서 키보드 상에서 원 모양으로 돌림으로써 반복적으로 그리고 신속하게 수행될 수 있고, 그리고 큰 이격들을 위한 짧고 굵은 모션들로부터 커서의 또는 디스플레이의 정밀 이격들을 위한 작거나 더 느린 모션들까지 용이하게 변경될 수 있는데, 이것은 직관적 모션이다. 만일 회로부가 단순히 키보드로부터의 선결정된 작동 거리 내의 손가락들을 검출하는 것보다 손가락 높이를 추적하는 경우, 키보드 표면에 대해 평행한 모션이, 예를 들어 속력을 최저 공진 주파수로써 승산함에 의하여 높이의 역에 의하여 승산된다면 스윕 제어는 더 정밀해지고 더 직관적이 될 수 있다. 이것은 손가락이 키보드로 더 근접할 때 더 큰 응답을 야기할 수 있는데, 이것은 직관적 변동이다. 또한 스윕은, 예를 들어 손가락들을 키보드 상에서 가볍게 문질러서 전기적 접촉을 이루지만 타이핑을 위하여 그 키들을 작동시키지는 않음으로써, 도전적으로도 수행될 수 있다. 이것은 아래에서 더 상세히 논의된다.
관련된 제스쳐의 다른 예는 터치-스크린 접촉 스윕인데, 이것은 몇몇 디바이스들에서 디스플레이된 이미지의 측방향 모션에 대한 커맨드를 입력하기 위하여 사용된다. 터치-스크린 접촉 스윕은 용량적으로 또는 도전적으로 수행될 수 있다. 가상 모멘텀 및 마찰도 역시 사용될 수 있다. 혼동을 완화하기 위하여, 접촉 스윕은 이것이, 예를 들어 특정 거리 및/또는 지속기간이 아니라면 무시될 수 있다.
다른 예에서는, 만일 스윕이 수평적이기만 하다면, 그러면 이것의 수직적 상대방은 롤 (roll) 이라고 불릴 수 있다. 소프트웨어에 의존하여, 터치-스크린 접촉 스윕 및 롤은 별개의 제스쳐들이거나 또는 임의의 각도에서 단일 측방향 이동 내에 포함될 수도 있는데, 이를 통하여 디스플레이 엘리먼트들이 대각선으로 이동될 수도 있다. 스윕에 대한 변경은 키보드에 평행한 연속적인 교번하는 반대 모션들을 포함하는 전후 모션인 디더 (dither) 이다.
제스쳐의 다른 예는 밀기 또는 당기기이다. 이러한 제스쳐에서, 손은 평평하게 펼쳐지고, 손가락들은 연장되어 키보드와 평행한 커패시터 접지판을 형성하고, 그리고 키보드를 향하여 또는 그로부터 멀리 이동된다. 이러한 제스쳐는 독립적으로 키보드의 두 측면들 상에서 수행될 수 있어서, 각각 두 개의 감지들을 가지는 두 개의 커맨드들을 허용한다. 펼친 손의 정지된 머무름 (hover) 역시 "ctrl" 또는 "alt" 와 유사한 커맨드, 예를 들어 다른 손에 의하여 이루어지는 중인 제스쳐를 수정할 모드 체인저를 구성할 수 있다.
푸시-풀 제스쳐는 가상 텍스트 (또는 다른 디스플레이) 를 사용자를 향하여 또는 그로부터 멀어지도록 이동시키기 위하여 사용될 수 있다. 이것은 문서들을 전환하기에 유용할 수도 있다: 한 문서가 전방으로 이동될 수 있고, 그 결과 다른 문서가 눈의 수렴 범위 밖으로 물러날 수도 있으며 (이것은 안경의 3-D 피쳐를 이용하여 달성됨), 그리고 또한 주의를 분산시키지 않기 위하여 희미하게 될 수 있다. 열린 문서는 또한 수평 스위핑 및 수직 롤링에 의하여 측면으로 이동될 수 있다.
제스쳐의 다른 예시적인 타입은 원 만들기 (circling) 인데, 이것은 용량적으로 또는 도전적으로 수행될 수 있다. 키보드에는 두 측면들이 존재하고 그리고 회전에는 두 개의 감지들이 존재하기 때문에, 원 만들기는 4 개의 (만일 원의 직경이 검출되고, 제스쳐에서 인자 (factor) 가 된다면 더 많은) 상이한 커맨드들을 전달할 수 있다.
제스쳐의 다른 예는 손가락들을 키보드의 하나의 영역에서 홀딩하는 것인데, 여기에서 중심으로부터의 거리 및 방향이 조이스틱의 편향과 유사한 효과를 가진다. (극 좌표들에서는, 중심으로부터의 거리 및 방향은 r 및 θ일 것이다.) 이것은 커서를 너빈 (nubbin) 을 가지는 어떤 랩탑들의 방식으로 제어하기 위하여 사용될 수 있는데, 이것은 커서를 너빈이 편향되는 방향으로 이동시킨다. 제어의 이러한 타입은 가상 물리학의 도움을 받을 수 있다. 만일 편향이 가상적인 덩어리인 커서 상의 가속화되는 가상 힘 (가상 마찰력이 있을 수도 있음) 으로서 취해졌다면, 그러면, 인터페이스는 더 자연스러울 수 있다. 또한, 손가락들의 반전은 중심으로부터의 손가락들의 전진과는 상이하게 해석될 수도 있는데, 전자는 포지션의 함수로서의 상이한 가속도로 유도한다. 손가락의 높이가 이미 검출되었기 때문에, 이러한 제스쳐는 높이를 제어 인자로서 포함하도록 일반화될 수도 있다. 원통 좌표들에서, r, θ, 및 z가 모두 입력 변수들일 수 있다.
제스쳐의 다른 예는 확대/축소인데, 이것은 두 개의 손가락들 또는 손들을 서로에 대해 더 근접하게 및 더 멀리 이동시킴으로써 성취될 수 있다. 이러한 제스쳐는 터치-스크린 디바이스들에서 디스플레이된 이미지의 확대 또는 축소를 명령하기 위하여 사용될 수 있다. 키보드에서, 이러한 제스쳐는 다른 의미를 가질 수 있다. 다른 예시적 제스쳐는 두 개의 손가락들을 이용한 회전인데, 이것은 이미지를 돌리기 위하여 사용될 수 있다.
본 명세서에서 논의되는 비한정적인 예시적인 제스쳐들은 타이핑 커맨드들로서 파악될 수 있는 제스쳐들을 포함하며, 그러므로 더 적은 키들 및 더 적은 정밀도를 이용하는 새 인터페이스를 허용할 수 있다. 또한 이것은 프로그래머들에게 사용자에게 실망을 주는 것이 아니라 사용자를 따르는 새로운 코드를 작성하는 기회를 제공한다. 디스플레이를 변화시키는 제스쳐들 및 커맨드들 사이의 최선의 대응성은 심리학자들 및/또는 사용자 평가에 의하여 결정될 수 있는 대상이다. 예를 들어, 일반적으로 발생하는 제스쳐들, 예컨대 타이핑을 시작할 때 양 손들을 동시에 키보드 상의 포지션으로 이동시키는 것은 커맨드들로서 해석되어서는 안되고, 그리고 제외 (또는 무시) 될 수도 있다.
타이핑의 즉각적인 적용과 별개로, 제스쳐들은 또한 아마도 제어 구역 또는 키를 통한 모드들의 스위칭 이후에 메뉴 네비게이션을 위하여 사용될 수도 있다. 대안적으로는, 개시된 양태들은 타이핑과 관련 없는 더 큰 제스쳐-제어 가상 세계 내에 통합될 수 있다.
제스쳐 키보드를 구현하기 위한 하나 이상의 비한정적인 방법들에 대해서, 도 4 는 커맨드들을 인식하고 구현하도록 구성된 시스템의 하나의 예시적이며 비한정적인 실시형태의 블록도를 도시한다. 도 4 에 도시된 바와 같이, 공간 내의 키보드 (406) 에 상대적인 적어도 하나의 제스쳐 (404) 를 수신하도록 구성된 환경 캡쳐 컴포넌트 (402) 를 포함하는 제스쳐-기반 시스템 (400) 이 묘사된다. 몇 가지 양태들에서는, 제스쳐 (404) 는 커맨드 (408), 예컨대, 예를 들어, 커서 제어, 문서의 스크롤, 및 기타 등등인 것으로 의도된다. 몇 가지 양태들에서는, 커맨드 (408) 는 타이핑 (410) 의 형태로 수신된다.
키보드 (406) 에 상대적인 공간은 키보드 (406) 상의 (예를 들어, 이것과 물리적 접촉이 있는) 위치 또는 키보드 (406) 상부의 (예를 들어, 이것과 물리적 접촉이 없는) 위치일 수 있다. 환경 캡쳐 컴포넌트 (402) 는, 심지어 손가락들이 키보드 (406) 과 물리적 접촉하지 않을 수 있다고 하더라도 한 손 또는 양손들의 손가락들의 존재를 검출하도록 구성된다.
일 예에서는, 키보드 (406) 는 키 표면들 상에 금속 호일들 또는 다른 도전성 부분들이 장착된 표준 키보드일 수 있는데, 이것은 더 상세히 아래에서 논의될 것이다. 다른 예에서는, 키보드 (406) 는 2-부분 접이식 키보드일 수 있는데, 여기에서 두 개의 절반들은 "인체 공학적" 키보드들의 방식으로 나뉘는데, 하지만 엄지-작동 스페이스 바를 각각의 절반에 가진다. 만일 상부 에지의 가운데에 위치된 뻣뻣하지만 유연한 범용 조인트에 의하여 접속되면, 키보드 절반들은 통상의 배향으로 책상 위에 인체 공학적 구성으로 약간 펼쳐지거나 무릎 위에 걸쳐지면서 정렬될 수 있다. 사용되지 않는 경우에는, 두 개의 절반들은 서로 접혀져서 키들을 덮을 수 있고, 결과적으로 종이 소설의 두께인 약 4.5 바이 6 인치들의 치수를 가지는 패키지가 된다. 원-피스형 키보드들도 일 양태에 따르면 사용될 수 있다. 프로세서는 (현재의 랩탑들에서와 같이) 키보드 내에 또는 별개의 유닛 내에 위치될 수 있다. 몇 가지 양태들에서는, 키보드의 두 측면들은 독립적으로 사용될 수 있고, 그리고, 따라서 기계적 디자인이 몇몇 분리 매커니즘을 역시 제공할 수 있다.
또한 제스쳐-기반 시스템 (400) 내에는 커맨드 (408) 를 적어도 하나의 제스쳐 (404) 또는 타이핑 (410) 에 기초하여 식별하도록 구성된 해석 컴포넌트 (412) 가 존재한다. 제스쳐-기반 시스템 (400) 은 또한 커맨드 (408) 와 관련된 정보 (416) 및 그 커맨드의 결과 (418) 를 렌더링하도록 구성된 출력 컴포넌트 (414) 를 포함한다. 정보 (416) 및/또는 결과 (418) 는 가상 디스플레이 (420) 상에 렌더링되도록 구성된다. 몇 가지 양태들에서는, 정보 (416) 및/또는 결과 (418) 는 가상 공간에서 렌더링되도록 구성된다.
도 5 는 손 제스쳐들 또는 타이핑의 형태로 수신된 커맨드들을 해석하고 구현하는 비한정적인 예시적인 시스템을 도시한다. 도시된 바와 같이, 도 5 는 공간 내의 키보드 (506) 에 상대적인 적어도 하나의 커맨드 (504) 를 수신하도록 구성된 환경 캡쳐 컴포넌트 (502) 를 포함하는 제스쳐-기반 시스템 (500) 을 묘사한다. 일 예에서는, 키보드 (506) 는 도 4 내의 키보드 (406) 와 유사하다. 일 예에서는, 환경 캡쳐 컴포넌트 (502) 는 공간 내에서 키보드 (506) 에 상대적이고 이에 인접한 이동 (예를 들어, 제스쳐들) 을 검출하고 그리고 키보드 (506) 로 인가된 압력 (예를 들어, 타이핑) 을 검출하도록 구성된다. 예를 들어, 하나 이상의 센서들이 근접성 (508), 전기적 연속성 (510), 또는 기계적 작동 (512) 을 검출하도록 구성될 수 있다. 몇 가지 양태들에서는, 센서는 커패시턴스에 의하여 키보드 상부의 손가락 끝의 높이 및 측방향 위치를 검출하도록 구성될 수 있다.
또한 제스쳐-기반 시스템 (500) 내에는 커맨드 (516) 를 적어도 하나의 제스쳐 및/또는 타이핑에 기초하여 식별하도록 구성된 해석 컴포넌트 (514) 가 포함된다. 일 예에서는, 해석 컴포넌트 (514) 는 적어도 하나의 커맨드를, 예를 들어 커패시턴스에 의한 근접성 (508) 의 함수로서 식별하도록 구성된다. 다른 예에서는, 해석 컴포넌트 (514) 는 적어도 하나의 커맨드를 기계적 작동 (512) 에 기초하여 식별하도록 구성되는데, 이것은 매뉴얼 커맨드들을 표시할 수 있다. 더 나아가, 해석 컴포넌트 (514) 는 커맨드를 식별할 수 있고 그리고 전기적 연속성 (510) 이 가상 디스플레이 내에서 어떤 키의 하이라이팅을 생성해야 한다고 해석할 수 있다.
제스쳐-기반 시스템 (500) 은 또한 손가락 끝이 키 쌍 내의 제 2 키보다 제 1 키로 더 근접한 정도를 나타내는 비트 주파수를 측정하도록 구성되는 평가 컴포넌트 (516) 를 포함한다. 예를 들어, 평가 컴포넌트 (516) 는 상부의 손가락을 표시하는 주파수의 로컬 최소값들을 찾아내면서, 각각의 키의 공진 주파수를 직접적으로 사용하도록 구성된다. 다른 예에서는, 평가 컴포넌트 (516) 는 두 개의 인접한 키들의 주파수들의 차분인 비트 주파수를 찾아냄으로써 (변조), 각각의 키의 공진 주파수를 간접적으로 사용하도록 구성된다. 몇 가지 양태들에서는, 평가 컴포넌트 (516) 는 제 2 차 비트 주파수들 또는 더 고차인 비트 주파수들을 찾도록 구성된다.
몇몇 양태들에 따르면, 키보드 (506) 는 언제 공진기의 주파수가 키보드 (506) 상부의 특정 거리와 상관하는 고정된 또는 선결정된 주파수 아래로 내려가는지를 검출하는 회로를 포함한다. 이것은 가상 베리어를 생성할 수 있는데, 이것의 손가락 끝에 의한 침투는 해당 키가 등록되도록 야기하는 이벤트일 수 있다. 두 개 이상의 이러한 베리어들이 존재할 수 있는데, 이것들은 상이한 높이들에서 수행된 제스쳐들을 구별하기 위하여 이용될 수 있다. 많은 가능한 검출 방법론들이 존재한다. 개시된 양태들은 키보드 (506) 근처의 손가락들 또는 다른 오브젝트들을 검출하는 임의의 프로그램 또는 회로부를 포함하며, 그리고 손가락들 또는 오브젝트들을 키보드 (506) 근처의 제스쳐들이 구별되고 결정될 수 있는 방식으로 추적한다.
또한 제스쳐-기반 시스템 (500) 내에는 커맨드 (504) 의 정보 (520) 및 그 커맨드의 결과 (522) 를 렌더링하도록 구성된 출력 컴포넌트 (518) 가 포함된다. 정보 (520) 및/또는 결과 (522) 는 가상 디스플레이 (524) 상에 렌더링되도록 구성된다. 몇 가지 양태들에서는, 정보 (520) 및/또는 결과 (522) 는 가상 공간에서 렌더링되도록 구성된다. 일 구현형태에서는, 출력 컴포넌트 (518) 는 키보드 (506) 로 인가된 압력의 검출에 응답하여, 가상 디스플레이 (524) 의 적어도 일부를 하이라이팅하도록 구성된다.
현존 용량성 키보드들과는 대조적으로, 키보드 (506) 는 키를 작동시키기 위하여 커패시턴스를 사용하지 않는다; 대신에, 키보드 (506) 는 기계적 키 작동을 사용하는데, 이것은 유용한 촉각적 및 청각적 피드백을 사용자에게 제공한다. 따라서 키보드 (506) 는 작동을 야기하지 않으면서 손가락들이 키들을 터치하도록 허용하고, 그러므로 사용자가 키보드 (506) 를 가볍게 두드리는 것에 대해서 걱정함이 없이 키보드 (506) 상의 공간에서 손 제스쳐들을 하도록 허락한다. 이러한 에러로부터의 자유가 제스쳐들의 성능을 더 용이하게 그리고 스트레스를 덜 유발하도록 만들 수 있다.
도 6 은 커맨드들을 인식 및 구현하는 방법 (600) 의 일 예시적이며 비한정적인 실시형태를 도시하는 흐름도를 도시한다. 도 6 내의 방법 (600) 은, 예를 들어 본 명세서에서 설명되는 시스템들 중 임의의 것, 예컨대 시스템 (400) 을 사용하여 구현될 수 있고 그리고 커맨드들을 인식하고 구현하기 위하여 사용될 수 있다. 단계 602 에서는, 방법 (600) 은 상호작용 구별의 적어도 두 개의 레벨들로부터 검출된 상호작용 구별의 적어도 하나의 레벨을 수신하는 것을 포함하는, 입력 디바이스와 근접하거나 또는 접촉하는 오브젝트와 연관된 감지 정보를 수신하는 것을 포함할 수 있다. 예를 들어, 상호작용 구별의 적어도 두 개의 레벨들은 근접성 레벨 및 전기적 연속성 레벨을 포함할 수 있다. 몇 가지 양태들에서는, 상호작용 구별의 제 3 레벨은 작동 레벨을 포함한다.
단계 604 에서는, 근접성 레벨이 커패시턴스의 함수로서 해석된다. 단계 606 에서는, 전기적 연속성 레벨은 입력 디바이스의 적어도 하나의 컴포넌트의 표면의 오브젝트에 의한 접지화에 기초하여 감지된다. 작동 레벨을 이용하는 몇 가지 양태들에서는, 작동 레벨은 단계 608 에서 적어도 하나의 컴포넌트의 외부 힘에 의한 이동으로부터 검출된다. 단계 604 에서의 해석하기, 단계 606 에서의 감지하기, 또는 단계 608 에서의 검출하기 중 적어도 하나가 구현될 수 있다는 것에 주의해야 한다. 예를 들어, 일 양태에 따르면, 전기적 연속성 레벨이 감지될 수도 있으며, 하지만 근접성 레벨은 해석되지 않을 수도 있고 그리고 작동 레벨은 검출되지 않을 수도 있다.
단계 610 에서는, 커맨드가 감지 정보로부터 상호작용 구별의 적어도 하나의 레벨의 함수로서 해석된다. 단계 612 에서는, 액션 표시가 커맨드에 기초하여 출력된다. 액션 표시는 가상 키보드 상의 어느 키를 하이라이팅하고 그리고/또는 가상 디스플레이 내에서 어떤 액션을 수행할 수 있다. 가상 키보드 및/또는 가상 디스플레이는 안경의 사용을 통하여 또는 가상 현실을 제공할 수 있는 다른 디바이스들의 사용을 통하여 실현될 수 있다.
도 7 은 커맨드들을 인식 및 구현하는 방법 (700) 의 일 예시적이며 비한정적인 실시형태를 도시하는 흐름도를 도시한다. 도 7 내의 방법 (700) 은, 예를 들어 본 명세서에서 설명되는 시스템들 중 임의의 것, 예컨대 시스템 (500) 을 사용하여 구현될 수 있고 그리고 커맨드들을 인식하고 구현하기 위하여 사용될 수 있다. 단계 702 에서는, 방법 (700) 은 상호작용 구별의 적어도 두 개의 레벨들로부터 검출된 상호작용 구별의 적어도 하나의 레벨을 수신하는 것을 포함하는, 입력 디바이스와 근접하거나 또는 접촉하는 오브젝트와 연관된 감지 정보를 수신하는 것을 포함할 수 있다. 예를 들어, 상호작용 구별의 적어도 두 개의 레벨들은 근접성 레벨 및 전기적 연속성 레벨을 포함할 수 있다.
단계 704 에서는, 커맨드가 감지 정보로부터 상호작용 구별의 적어도 하나의 레벨의 함수로서 해석된다. 근접성 레벨을 해석하는 것은 단계 706 에서 오브젝트의 입력 디바이스 상의 높이를 적어도 하나의 공진 회로의 출력에 기초하여 확인하는 것 및 단계 708 에서 오브젝트의 입력 디바이스에 대한 측방향 포지션을 위치결정하는 것을 포함할 수 있다.
일 구현형태에서는, 단계 706 에서 오브젝트의 높이를 확인하는 것은, 입력 디바이스의 제 1 컴포넌트의 제 1 공진 주파수 및 입력 디바이스의 제 2 컴포넌트의 제 2 공진 주파수와 비교하여 제 1 공진 주파수 및 제 2 공진 주파수 중 최저 공진 주파수를 결정하는 것을 포함한다. 이러한 구현형태에 대해 더 나아가, 단계 706 에서 오브젝트의 높이를 확인하는 것은, 단계 710 에서 최저 공진 주파수에 기초하여 오브젝트가 제 1 컴포넌트 또는 제 2 컴포넌트에 더 근접하다고 결정하는 것을 포함하는, 오브젝트 및 입력 디바이스 간의 거리를 최저 공진 주파수에 기초하여 측정하는 것을 포함한다.
다른 구현형태에서는, 단계 706 에서 높이를 확인하는 것은, 단계 712 에서 입력 디바이스의 컴포넌트들의 응답들을 비교하는 것 및 삼각 함수를 응답들로 적용하여 오브젝트의 높이를 간접적으로 확인하는 것을 포함한다.
다른 구현형태에서는, 단계 708 에서 측방향 포지션을 위치결정하는 것은, 단계 714 에서 입력 디바이스의 제 1 컴포넌트의 제 1 공진 주파수 및 입력 디바이스의 제 2 컴포넌트의 제 2 공진 주파수를 계산하는 것 및 측방향 포지션을 제 1 공진 주파수 및 제 2 공진 주파수 사이의 로컬 최소값들의 함수로서 결정하는 것을 포함한다.
다른 구현형태에서는, 단계 708 에서 측방향 포지션을 위치결정하는 것은, 단계 716 에서 제 1 컴포넌트의 제 1 공진 주파수 및 제 1 컴포넌트에 인접한 제 2 컴포넌트의 제 2 공진 주파수 간의 차분을 검출하는 것 및 차분의 함수로서 오브젝트가 제 1 컴포넌트 또는 제 2 컴포넌트에 더 근접하다고 결정하는 것을 포함한다.
단계 718 에서는 액션 표시가 커맨드에 기초하여 출력된다. 액션 표시는 출력은 다른 사람들에 의하여 시청될 수 없는 가상 디스플레이 및/또는 가상 공간으로 출력될 수 있으며, 그러므로, 사용자에게만 비밀로 유지된다.
도 8 은 커맨드들을 인식 및 구현하는 방법 (800) 의 일 예시적이며 비한정적인 실시형태를 도시하는 흐름도를 도시한다. 도 8 내의 방법 (800) 은, 예를 들어 시스템들 중 임의의 것, 예컨대 본 명세서에서 설명되는 시스템 (400) 을 사용하여 구현될 수 있다. 단계 802 에서는, 감지 정보가 수신된다. 감지 정보는 입력 디바이스와 근접하거나 또는 접촉하는 오브젝트와 연관된다. 수신하는 것은 상호작용 구별의 적어도 두 개의 레벨들로부터 검출된 상호작용 구별의 적어도 하나의 레벨을 수신하는 것을 포함할 수 있다. 일 예에서는, 상호작용 구별의 적어도 두 개의 레벨들은 근접성 레벨 및 전기적 연속성 레벨을 포함한다. 몇 가지 양태들에서는, 상호작용 구별의 제 3 레벨은 작동 레벨을 포함한다.
단계 804 에서는, 커맨드가 감지 정보로부터 상호작용 구별의 적어도 하나의 레벨의 함수로서 해석된다. 커맨드의 해석은 두 개 이상의 손가락들을 검출하는 것 및 감지 정보를 해석하기 위한 목적들을 위하여 두 개 이상의 손가락들을 단일한 고립된 손가락으로서 해석하는 것을 포함할 수 있다.
단계 806 에서는, 액션 표시가 커맨드에 기초하여 출력된다. 일 구현형태에서는, 단계 808 에서 액션 표시를 출력하는 것은, 제 1 부분 및 제 2 부분을 포함하는 가상 디스플레이 상에 아이템을 하이라이팅하는 것을 포함한다. 제 1 부분은 액션 표시와 연관된 커맨드를 포함하고 그리고 제 2 부분은 입력 디바이스의 가상 표현을 포함한다. 일 예에서는, 아이템을 하이라이팅하는 것은 오브젝트가 입력 디바이스와 물리적 접촉되는 것에 응답하여 수행된다. 대체적인 구현형태에서는, 액션 표시를 출력하는 것은, 단계 810 에서 액션 표시 및 그 커맨드의 해석을 포함하는 신호를 송신하는 것을 포함한다. 신호는 액션 표시 및 커맨드의 해석을 출력하도록 구성되는 디스플레이 디바이스로 송신될 수 있다. 디스플레이 디바이스는 안경 또는 가상 디스플레이를 사용자에게 제공하도록 구성될 수 있는 다른 디바이스의 사용을 통하여 구현될 수 있다.
도 9 는 커맨드들을 인식 및 구현하는 방법 (900) 의 일 예시적이며 비한정적인 실시형태를 도시하는 흐름도를 도시한다. 도 9 내의 방법 (900) 은, 예를 들어 본 명세서에서 설명되는 시스템들 중 임의의 것, 예컨대 시스템 (500) 을 사용하여 구현될 수 있고 그리고 커맨드들을 인식하고 구현하기 위하여 사용될 수 있다. 단계 902 에서는, 감지 정보가 수신된다. 감지 정보는 입력 디바이스와 근접하거나 또는 접촉하는 오브젝트와 연관된다. 일 구현형태에서는, 단계 902 에서 수신하는 것은 또한, 단계 904 에서 입력 디바이스와 근접하거나 또는 접촉하는 두 개 이상의 오브젝트들을 동시에 또는 실질적으로 동시에 검출하는 것 및 커맨드의 목적들을 위하여 두 개 이상의 오브젝트들을 단일 오브젝트로서 식별하는 것을 포함한다. 감지 정보를 수신하는 것은 단일 오브젝트와 연관된 감지 정보를 수신하는 것을 포함한다.
단계 906 에서는, 커맨드가 감지 정보로부터 상호작용 구별의 적어도 하나의 레벨의 함수로서 해석된다. 일 구현형태에서는, 단계 906 에서의 해석은 단계 908 에서의 오브젝트의 모션을 보간하는 것을 포함한다. 일 예에서는, 오브젝트의 모션을 보간하는 것은, 단계 910 에서 데이터를 입력 디바이스의 복수 개의 컴포넌트들로부터 수신하는 것 및 그 데이터에 기초하여, 부드러운 라인을 구성하여 오브젝트를 위치결정하는 것을 포함한다.
예를 들어, 정밀한 모션들, 특히 신속한 모션들이 키 데이터로부터 보간될 수 있다. 예를 들어, 다수 개의 키들로부터의 데이터가 고려될 수 있으며 그리고 공진 주파수들의 비교에 의하여 측정되는 바와 같이 그래프들 및/또는 상대적인 거리들에 대한 평활화 방법들을 사용하여, 키들의 간격 (spacing) 보다 더 정밀하게 위치결정되는 부드러운 라인이 그 데이터로부터 구성될 수 있다. 인접한 키들의 공진 주파수들은 두 개의 키들로부터의 손가락 끝의 상대 거리의 표시를 제공할 수 있으며, 그리고 따라서 손가락 끝을 키 어레이 간격의 그것보다 더 큰 정밀도까지 위치결정할 수 있다.
몇 가지 양태들에서는, 방법 (900) 은 단계 912 에서 근접성 레벨을 해석하는 것 및 전기적 연속성 레벨을 감지하는 것에 기초하여 커맨드 제스쳐들의 개수를 증가시키는 것을 더 포함할 수 있다. 단계 914 에서는 액션 표시가 커맨드에 기초하여 출력된다.
도 10 은 본 개시물의 적어도 몇몇 양태들에 따르는 제스쳐 키보드에 대한 컴퓨터 판독가능 명령들의 세트의 한 예시적이며 비한정적인 실시형태의 흐름도를 도시한다. 컴퓨터-판독가능 스토리지 매체 (1000) 는 컴퓨터 실행가능 명령들을 포함할 수 있다. 단계 1002 에서는, 이러한 명령들은 수행될 적어도 하나의 커맨드를 표시하는 제스쳐 또는 타이핑을 검출하도록 동작할 수 있다. 일 예에서는, 제스쳐를 검출하기 위하여, 명령들은 적어도 하나의 커맨드를 표시하는 제스쳐를 공통 근접성-레벨 제스쳐들의 세트로부터 구별하도록 동작할 수 있으며, 그리고 공통 근접성-레벨 제스쳐들의 세트는 무시된다.
다른 예에서는, 제스쳐를 검출하기 위하여, 명령들은 외부 액터 및 키보드 상의 도전성 작동 키 간의 전기적 접촉을 표시하는 작동을 수신하도록 동작할 수 있다.
다른 예에서는, 제스쳐를 검출하기 위하여, 명령들은 입력 디바이스의 제 1 도전성 작동 키의 제 1 공진 주파수 및 입력 디바이스의 제 2 도전성 작동 키의 제 2 공진 주파수와 비교하여 제 1 공진 주파수 및 제 2 공진 주파수 중 최저 공진 주파수를 결정하도록 동작할 수 있다. 이러한 예에 대해 더 나아가, 명령들은 최저 공진 주파수에 기초하여 외부 액터가 제 1 도전성 작동 키 또는 제 2 도전성 작동 키에 더 근접하다고 결정하는 것을 포함하여, 외부 액터 및 입력 디바이스 간의 거리를 최저 공진 주파수에 기초하여 측정하도록 동작할 수 있다.
다른 예에 따르면, 제스쳐를 검출하기 위하여, 명령들은 입력 디바이스의 제 1 도전성 작동 키의 제 1 공진 주파수 및 입력 디바이스의 제 2 도전성 작동 키의 제 2 공진 주파수를 계산하도록 동작할 수 있다. 이러한 예에 대해 더 나아가, 명령들은 외부 액터의 측방향 포지션을 제 1 공진 주파수 및 제 2 공진 주파수 간의 로컬 최소값들의 함수로서 결정하도록 동작할 수 있다.
단계 1004 에서는, 명령들은 제스쳐를 복수 개의 커맨드들로부터 선택된 적어도 하나의 커맨드로서 해석하도록 동작할 수 있다. 일 예에서는, 제스쳐를 해석하기 위하여, 명령들은 제스쳐가 스윕 제스쳐, 푸시-풀 제스쳐, 원 제스쳐, 꺽임 제스쳐, 확대-축소 제스쳐, 또는 회전 제스쳐 중 적어도 하나라고 확인하도록 동작할 수 있다.
단계 1006 에서는, 명령들은 적어도 하나의 커맨드의 결과를 가상 공간 내의 인지가능 이벤트로서 개시하도록 동작할 수 있다. 일 예에서는, 결과를 개시하기 위하여, 명령들은 제 1 부분 및 제 2 부분을 포함하는 가상 디스플레이 상에서 아이템을 하이라이팅하고, 그 제스쳐와 연관된 커맨드를 제 1 부분 근처에서 예시하며, 그리고 입력 디바이스의 표현을 제 2 부분 근처에서 제공하도록 동작할 수 있다. 아이템을 하이라이팅하는 것은 외부 액터 및 입력 디바이스 간의 물리적 접촉에 응답할 수 있다.
도 11 은 본 개시물의 적어도 몇몇 양태들에 따르는 제스쳐 키보드 컴퓨팅 디바이스의 한 예시적이며 비한정적인 실시형태의 블록도이다. 도시된 바와 같이, 컴퓨팅 디바이스 (1100) 는 키보드 (1102) 를 포함할 수 있다. 일 예에서는, 키보드 (1102) 는 손가락 및 키들의 적어도 서브세트 간의 전기적 접촉을 검출하여 용량성 상호작용, 도전성 상호작용, 또는 기계적 상호작용으로부터 상호작용 정보를 수신하도록 구성된다.
키보드 (1102) 는 키들의 어레이를 포함할 수 있는데, 여기에서 키들의 어레이의 키들의 적어도 하나의 서브세트는 키들의 적어도 상기 서브세트의 개별 키로 인가된 압력을 검출하도록 구성되는 개별 변위 작동 스위치를 포함한다. 키보드 (1102) 는 또한 적어도 하나의 용량성 센서 (1106) 를 포함할 수 있다. 적어도 하나의 용량성 센서 (1106) 는 키보드 (1102) 근처의 손가락을 검출하도록 구성된다.
컴퓨팅 디바이스 (1100) 는 또한 키보드 (1102) 근처의 제스쳐를 커맨드로 전환하도록 구성된 전환 모듈 (1108) 을 포함한다. 일 예에서는, 전환 모듈 (1108) 은 추가로, 상이한 커맨드들에 대응하는 커맨드 제스쳐들의 세트를 포함하는 데이터 스토어 (1110) 에 액세스하도록 구성된다. 일 예에서는, 데이터 스토어 (1110) 는 커맨드 제스쳐들의 세트로부터 구별되는 공통 근접성-레벨 제스쳐들의 세트를 포함한다.
컴퓨팅 디바이스 (1100) 는 또한 디스플레이 (1114) 를 커맨드의 함수로서 변화시키도록 구성된 프로세서 (1112) 를 포함한다. 일 예에서는, 디스플레이 (1114) 는 원격 가상 디스플레이이고 그리고 프로세서 (1112) 는 추가로 신호들을 생성하고 그리고 신호들을 원격 가상 디스플레이로 송신하도록 구성된다.
본 명세서에서 논의된 바와 같이, 제스쳐 키보드와 관련된 다양한 양태들이 물리적 디스플레이 없이 구현될 수 있으며 그리고 소지하기에 용이한 접이식 또는 롤-업 (roll-up) 키보드와 함께 이용될 수 있다. 콤팩트 시스템은 불편한 위치들, 예컨대 비행기들에서 용이하게 이용될 수 있다. 그러나, 다양한 양태들은 또한 실제 (예를 들어, 물리적) 디스플레이들을 가지는 잠정적인 랩탑 컴퓨터들과 호환된다. 안경의 사용을 수반하는 다양한 양태들은 텍스트 및 키보드 이미지를 실제 세계 상에 중첩시키는 가상-현실 디바이스를 제공할 수 있다. 이것은 미팅 중에 발화하는 사람 및 적혀지는 중인 텍스트 노트들 사이에서 주의를 분할할 필요가 없이 노트들을 타이핑하도록 허가할 수 있다. 노트들은 이들이 스크린 상에 렌더링되지 않기 때문에 비밀로 유지될 수 있다.
다양한 양태들에서는, 많은 키들이 이용되지 않고/않거나 키보드 내에 포함되지 않기 때문에 키보드는 종래의 키보드들보다 더 작을 수도 있다. 더 나아가, 큰 제스쳐들이 개시된 양태들과 함께 이용될 수 있는데, 이것이 실수들, 추가 작업, 및 분노를 완화시킬 수 있다. 예를 들어, 제스쳐들이 키보드 바로 위에 존재하기 때문에, 사용자는 커맨드들을 수행하기 위하여 그의 손들을 타이핑하는 것으로부터 제거할 필요가 없다. 더 나아가, 개시된 양태들은 하이라이팅된 키들이 가벼운 접촉에 의하여 트리거링 되면서, 터치-타이핑을 위한 고속 손 정렬을 제공한다. 손 포지션이 디스플레이 상에 분명하게 나타나기 때문에, 사용자는 그녀의 손들을 지향시키기 위하여 키보드를 쳐다볼 필요가 없다. 다른 예에서는, 개시된 양태들은 많은 수의 제스쳐들을 제공하는데, 이것들은 척도변경될 수 있으며, 이것은 제스쳐의 사이즈가 그 커맨드의 일부로 전환될 수 있다는 것을 의미한다. 커맨드들은 각도의 모든 보통의 커맨드들 (예를 들어, 커서 제어, 디스플레이 모션들) 을 위하여 그리고 또한 크기를 포함하지 않는 별개의 커맨드들 (예를 들어, shift lock 등) 을 위하여 사용될 수 있다.
예시적인 컴퓨팅 환경
도 12 는 본 개시물의 적어도 몇몇 양태들에 따르는 제스쳐 기반 키보드에 대하여 구현된 예시적인 컴퓨팅 디바이스 (1200) 를 도시하는 블록도이다; 아주 기본적인 구성 (1202) 에서, 컴퓨팅 디바이스 (1200) 는 통상적으로 하나 이상의 프로세서들 (1204) 및 시스템 메모리 (1206) 를 포함한다. 메모리 버스 (1208) 는 프로세서 (1204) 및 시스템 메모리 (1206) 간의 통신을 위하여 사용될 수도 있다.
원하는 구성에 의존하여, 프로세서 (1204) 는 마이크로프로세서 (μP), 마이크로콘트롤러 (μC), 디지털 신호 프로세서 (DSP), 또는 이들의 임의의 조합을 포함하지만 이들로 제한되지는 않는 임의의 타입일 수도 있다. 프로세서 (1204) 는 캐싱의 하나 이상의 레벨들, 예컨대 레벨 1 캐시 (1210) 및 레벨 2 캐시 (1212), 프로세서 코어 (1214), 및 레지스터들 (1216) 을 포함할 수도 있다. 일 예시적인 프로세서 코어 (1214) 는 산술적 로직 유닛 (arithmetic logic unit; ALU), 부동 소수점 유닛 (floating point unit; FPU), 디지털 신호 처리 코어 (DSP Core), 또는 이들의 임의의 조합을 포함할 수도 있다. 일 예시적인 메모리 제어기 (1218) 는 또한 프로세서 (1204) 와 함께 사용될 수도 있으며, 또는 몇 가지 구현형태들에서는 메모리 제어기 (1218) 는 프로세서 (1204) 의 내장 부분일 수도 있다.
원하는 구성에 의존하여, 시스템 메모리 (1206) 는 휘발성 메모리 (예컨대 RAM), 비-휘발성 메모리 (예컨대 ROM, 플래시 메모리 등) 또는 이들의 임의의 조합을 포함하지만 이들로 제한되지는 않는 임의의 타입일 수도 있다. 시스템 메모리 (1206) 는 운영 체제 (1220), 하나 이상의 애플리케이션들 (1222), 및 프로그램 데이터 (1224) 를 포함할 수도 있다. 애플리케이션 (1222) 은 도 4 의 제스쳐-기반 시스템 (400) 에 대하여 설명된 것들을 포함하여 본 명세서에서 설명된 바와 같은 기능들을 수행하도록 구현되는 제스쳐 검출 및 해석 알고리즘 (1226) 을 포함할 수도 있다. 프로그램 데이터 (1224) 는 본 명세서에서 설명되는 바와 같은 제스쳐 검출 및 해석 알고리즘 (1226) 과의 동작을 위하여 유용할 수도 있는 제스쳐 커맨드들 및 공통 근접성-레벨 제스쳐 정보 (1228) 를 포함할 수도 있다. 몇 가지 실시형태들에서는, 애플리케이션 (1222) 은 제스쳐 기반 키보드 및 증강된 가상 현실 경험이 제공될 수도 있도록 운영 체제 (1220) 상의 프로그램 데이터 (1224) 와 함께 동작하도록 구현될 수도 있다. 이러한 설명된 기본적인 구성 (1202) 은 도 12 에서 내부 점선 내부의 그러한 컴포넌트들에 의하여 도시된다.
컴퓨팅 디바이스 (1200) 는 기본적인 구성 (1202) 및 임의의 요구된 디바이스들 및 인터페이스들 간의 통신들을 용이화하는 추가적 피쳐들 또는 기능성들, 및 추가적 인터페이스들을 가질 수도 있다. 예를 들어, 버스/인터페이스 제어기 (1230) 가 기본적인 구성 (1202) 및 하나 이상의 데이터 스토리지 디바이스들 (1232) 간의 스토리지 인터페이스 버스 (1234) 를 경유한 통신들을 용이화하기 위하여 사용될 수도 있다. 데이터 스토리지 디바이스들 (1232) 은 착탈식 스토리지 디바이스들 (1236), 비-착탈식 스토리지 디바이스들 (1238), 또는 이들의 조합일 수도 있다. 착탈식 스토리지 및 비-착탈식 스토리지 디바이스들은 몇 가지만 나열하자면, 가요성 디스크 드라이브들 및 하드-디스크 드라이브들 (HDD) 과 같은 자기 디스크 디바이스들, 콤팩트 디스크 (CD) 드라이브들 또는 디지털 다기능 디스크 (DVD) 드라이브들과 같은 광학 디스크 드라이브들, 고상 드라이브들 (SSD), 및 테이프 드라이브들을 포함한다. 예시적인 컴퓨터 스토리지 미디어는 정보의 저장을 위한 임의의 방법 또는 기술, 예컨대 컴퓨터 판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터로 구현된 휘발성 및 비휘발성, 착탈식 및 비-착탈식 미디어를 포함할 수도 있다.
시스템 메모리 (1206), 착탈식 스토리지 디바이스들 (1236), 및 비-착탈식 스토리지 디바이스들 (1238) 은 컴퓨터 스토리지 미디어의 예들이다. 컴퓨터 스토리지 미디어는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크들 (DVD) 또는 다른 광학적 스토리지, 자기적 카세트들, 자기적 테이프, 자기적 디스크 스토리지 또는 다른 자기적 스토리지 디바이스들, 또는 원하는 정보를 저장하기 위하여 사용될 수도 있고 그리고 컴퓨팅 디바이스 (1200) 에 의하여 액세스될 수도 있는 임의의 다른 매체를 포함하지만 이들로 제한되는 것은 아니다. 임의의 이러한 컴퓨터 스토리지 미디어는 컴퓨팅 디바이스 (1200) 의 일부일 수도 있다.
컴퓨팅 디바이스 (1200) 는 또한 다양한 인터페이스 디바이스들 (예를 들어, 출력 디바이스들 (1242), 주변 인터페이스들 (1244), 및 통신 디바이스들 (1246)) 로부터 버스/인터페이스 제어기 (1230) 를 경유한 기본적인 구성 (1202) 으로의 통신을 용이화하기 위한 인터페이스 버스 (1240) 를 포함할 수도 있다. 예시적인 출력 디바이스들 (1242) 은 그래픽 처리 유닛 (1248) 및 오디오 처리 유닛 (1250) 을 포함하는데, 이것들은 다양한 외부 디바이스들, 예컨대 디스플레이 또는 스피커들로 하나 이상의 A/V 포트들 (1252) 을 경유하여 통신하도록 구성될 수도 있다. 예시적인 주변 인터페이스들 (1244) 은 시리얼 인터페이스 제어기 (1254) 또는 병렬 인터페이스 제어기 (1256) 를 포함하는데, 이것들은 외부 디바이스들, 예컨대 입력 디바이스들 (예를 들어, 마우스, 펜, 보이스 입력 디바이스 등) 또는 다른 주변 디바이스들 (예를 들어, 프린터, 스캐너 등) 로 하나 이상의 I/O 포트들 (1258) 을 경유하여 통신하도록 구성될 수도 있다. 일 예시적인 통신 디바이스 (1246) 는 네트워크 제어기 (1260) 를 포함하는데, 이것은 하나 이상의 통신 포트들 (1264) 을 경유한 네트워크 통신 링크 상의 하나 이상의 다른 컴퓨팅 디바이스들 (1262) 과의 통신들을 용이화하도록 구현될 수도 있다.
네트워크 통신 링크는 통신 미디어의 하나의 예일 수도 있다. 통신 미디어는 통상적으로 컴퓨터 판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 또는 변조된 데이터 신호, 예컨대 반송파 또는 다른 전송 매커니즘 내의 다른 데이터에 의하여 구현될 수도 있으며, 그리고 임의의 정보 전달 미디어를 포함할 수도 있다. "변조된 데이터 신호"는 자신의 특징 세트 중 하나 이상을 가지거나 또는 신호 내의 정보를 인코딩하기 위하여 이러한 방식으로 변경되는 신호일 수도 있다. 제한이 아닌 예시의 목적을 위하여, 통신 미디어는 유선 미디어, 예컨대 유선 네트워크 또는 직접적-유선 접속, 및 무선 미디어, 예컨대 음향, 무선 주파수 (RF), 마이크로파, 적외선 (IR) 및 다른 무선 미디어를 포함할 수도 있다. 컴퓨터 판독가능 미디어라는 용어는 본 명세서에서 사용될 때 스토리지 미디어 및 통신 미디어 모두를 포함할 수도 있다.
본 개시물은 본 출원에서 설명된 특정 실시형태들의 관점에서 제한되어서는 안되며, 이것들은 다양한 양태들의 예시들로서 의도된다. 많은 변경들 및 변형들이 당업자들에게 명백해질 바와 같은 이것의 사상 및 범위로부터 벗어나지 않으면서 이루어질 수 있다. 본 명세서에서 열거된 것들에 부가하여 본 개시물의 범위 내에 속하는 기능적으로 균등한 방법들 및 장치들이 앞선 설명들로부터 당업자들에게 명백해질 것이다. 이러한 변경들 및 변형들은 첨부의 청구항들의 범위 내에 속하는 것으로 의도된다. 본 개시물은 이러한 청구항들이 부여된 균등물들의 전체 범위와 함께 첨부된 청구항들의 용어들에 의해서만 제한되어야 한다. 본 개시물이 특정 방법들, 시약들, 화합물들, 조성물들 또는 생물학적 시스템들로 제한되지 않는다는 것이 이해되어야 하는데, 이것들은 물론 변경될 수 있다. 또한, 명세서에서 사용된 용어가 특정 실시형태들을 설명하기 위한 목적을 위한 것일 뿐이며, 그리고 제한하는 것으로 의도되지 않는다는 것이 이해되어야 한다.
예시적인 실시형태에서는, 본 명세서에서 설명되는 동작들, 처리들 등 중 임의의 것은 컴퓨터-판독가능 매체 상에 저장된 컴퓨터-판독가능 명령들로서 구현될 수 있다. 컴퓨터-판독가능 명령들은 모바일 유닛의 프로세서, 네트워크 엘리먼트, 및/또는 임의의 다른 컴퓨팅 디바이스에 의하여 실행될 수 있다.
시스템들의 양태들의 하드웨어 및 소프트웨어 구현형태들 간에 남아있는 구분은 거의 없다; 하드웨어 또는 소프트웨어의 사용은 총괄적으로 비용 대 효율 트레이드오프를 나타내는 디자인 선택이다 (하드웨어 및 소프트웨어 간의 선택이 중요해질 수 있는 특정한 콘텍스트들에서는 언제나 그러한 것은 아니다). 본 명세서에서 설명되는 처리들 및/또는 시스템들 및/또는 다른 기술들이 영향받을 수 있는 다양한 운송체들 (예를 들어, 하드웨어, 소프트웨어, 및/또는 펌웨어) 이 존재하며, 그리고 이러한 바람직한 운송체 (vehicle) 는 처리들 및/또는 시스템들 및/또는 다른 기술들이 배치되는 콘텍스트와 함께 변동할 것이다. 예를 들어, 만일 구현자가 속력 및 정확도가 최고로 중요하다고 결정한다면, 구현자는 주로 하드웨어 및/또는 펌웨어 운송체를 선택할 수도 있다; 만일 유연성이 가장 중요하다면, 구현자는 주로 소프트웨어 구현형태를 선택할 수도 있다; 또는, 또 다시 대안적으로는, 구현자는 하드웨어, 소프트웨어, 및/또는 펌웨어의 몇몇 조합을 선택할 수도 있다.
앞선 발명을 실시하기 위한 구체적인 내용은 디바이스들 및/또는 처리들의 다양한 실시형태들을 블록도들, 흐름도들, 및/또는 예들의 사용을 통하여 진술했다. 이러한 블록도들, 흐름도들, 및/또는 예들이 하나 이상의 기능들 및/또는 동작들을 포함하는 한, 이러한 블록도들, 흐름도들, 또는 예들 내의 각각의 기능 및/또는 동작이 광범위한 하드웨어, 소프트웨어, 펌웨어, 또는 가상적으로 이들의 임의의 조합에 의하여 개별적으로 및/또는 총괄적으로 구현될 수 있다는 것이 당업자들에 의하여 이해될 것이다. 일 실시형태에서는, 본 명세서에서 설명되는 기술 요지의 수 개의 부분들은 주문형 집적 회로들 (Application Specific Integrated Circuits; ASICs), 필드 프로그램가능 게이트 어레이들 (FPGAs), 디지털 신호 프로세서들 (DSPs), 또는 다른 집적 포맷들을 통하여 구현될 수도 있다. 그러나, 당업자들은 본 명세서에서 개시된 실시형태들의 몇몇 양태들이 전체적으로 또는 부분적으로, 집적 회로들 내에서, 하나 이상의 컴퓨터들 상에서 실행중인 하나 이상의 컴퓨터 프로그램들로서 (예를 들어, 하나 이상의 컴퓨터 시스템들 상에서 실행중인 하나 이상의 프로그램들로서), 하나 이상의 프로세서들 상에서 실행중인 하나 이상의 프로그램들로서 (예를 들어, 하나 이상의 마이크로프로세서들 상에서 실행 중인 하나 이상의 프로그램들로서), 펌웨어로서, 또는 가상적으로 이들의 임의의 조합으로서 등가적으로 구현될 수 있다는 것, 그리고 이러한 회로부를 설계하는 것 및/또는 이러한 소프트웨어 및/또는 펌웨어를 작성하는 것이 본 개시물의 관점에서 당업자의 기술 수준 내에 온전히 포함될 것이라는 것을 인정할 것이다. 또한, 당업자들은 본 명세서에서 설명되는 기술 요지 의 매커니즘들은 다양한 형태들에서 프로그램 제품으로서 배포될 수 있다는 것, 그리고 본 명세서에서 설명되는 기술 요지의 예시적인 실시형태가 실제로 배포를 수행하기 위하여 사용되는 신호 함유 매체 (signal bearing medium) 의 특정 타입과 무관하게 적용된다는 것을 인정할 것이다. 신호 함유 매체는 다음: 기록가능한 타입 매체, 예컨대 플로피 디스크, 하드 디스크 드라이브, CD, DVD, 디지털 테이프, 컴퓨터 메모리 등; 및 송신 타입 매체, 예컨대 디지털 및/또는 아날로그 통신 매체 (예를 들어, 광섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등) 을 포함하지만 이것들로 제한되지는 않는다.
당업자들은 디바이스들 및/또는 처리들을 본 명세서에서 진술된 방식으로 설명하고, 그리고 그 이후에 엔지니어링 실무들을 사용하여 이러한 설명된 디바이스들 및/또는 처리들을 데이터 처리 시스템들 내에 통합시키는 것이 당업계에 널리 속하는 것이라는 것을 인식할 것이다. 즉, 본 명세서에서 설명되는 디바이스들 및/또는 처리들의 적어도 일부는 실험의 적당한 양을 통하여 데이터 처리 시스템 내로 통합될 수 있다. 당업자들은 통상적 데이터 처리 시스템이 일반적으로 시스템 유닛 하우징, 비디오 디스플레이 디바이스, 메모리, 예컨대 휘발성 및 비-휘발성 메모리, 프로세서들, 예컨대 마이크로프로세서들 및 디지털 신호 프로세서들, 계산적 엔티티들, 예컨대 운영 체제들, 드라이버들, 그래픽 사용자 인터페이스들, 및 애플리케이션들 프로그램들, 하나 이상의 상호작용 디바이스들, 예컨대 터치 패드 또는 스크린, 및/또는 피드백 루프들 및 제어 모터들 (예를 들어, 포지션 및/또는 속도를 감지하기 위한 피드백; 컴포넌트들 및/또는 양들을 이동시키고/시키거나 조절하기 위한 제어 모터들) 을 포함하는 제어 시스템들 중 하나 이상을 포함한다는 것을 인식할 것이다. 통상적 데이터 처리 시스템은 임의의 적합한 상업적으로 입수가능한 컴포넌트들, 예컨대 데이터 컴퓨팅/통신 및/또는 네트워크 컴퓨팅/통신 시스템들에서 통상적으로 발견되는 것들을 이용하여 구현될 수도 있다.
본 명세서에서 설명된 기술 요지는 가끔 상이한 다른 컴포넌트들 내에 포함되거나 또는 이와 접속된 상이한 컴포넌트들을 예시한다. 이러한 묘사된 아키텍처들이 단순히 예들이라는 것, 및 사실상 동일한 기능성들을 달성하는 많은 다른 아키텍처들이 구현될 수 있다는 것이 이해되어야 한다. 개념적인 의미에서, 동일한 기능성들을 달성하기 위한 컴포넌트들의 임의의 배치구성물은 효과적으로 "연관"됨으로써" 원하는 기능성들이 달성되도록 한다. 그러므로, 아키텍처들 또는 중간 컴포넌트들과 무관하게, 본 명세서에서 특정 기능성들을 달성하기 위한 결합된 임의의 두 개의 컴포넌트들은 서로 "연관"됨으로써 원하는 기능성들이 달성된다고 간주될 수 있다. 이와 유사하게, 이와 같이 연관된 임의의 두 개의 컴포넌트들은 또한 서로 "동작가능하게 접속"되거나, 또는 "동작가능하게 커플링"되어 원하는 기능성들을 달성하는 것으로 간주될 수 있으며, 그리고 이와 같이 연관될 수 있는 임의의 두 개의 컴포넌트들은 또한 "동작가능하게 커플링가능"하여 원하는 기능성들을 달성하는 것으로 간주될 수 있다. 동작가능하게 커플링가능한 특정한 예들은 물리적으로 맞춤가능하고/하거나 물리적으로 상호작용하는 컴포넌트들 및/또는 무선으로 상호작용가능하고/하거나 무선으로 상호작용하는 컴포넌트들 및/또는 논리적으로 상호작용가능하고/하거나 논리적으로 상호작용가능한 컴포넌트들을 포함하지만 그것들로 제한되지는 않는다.
본 명세서에서의 실질적으로 임의의 복수형 및/또는 단수형 용어들의 사용에 대하여, 당업자들은 콘텍스트 및/또는 애플리케이션에 적합한 바와 같이 복수형으로부터 단수형으로 그리고/또는 복수형으로 전환할 수 있다. 다양한 단수형/복수형 치환들은 명확화를 위하여 본 명세서에서 명백하게 진술될 수도 있다.
일반적으로, 본 명세서에서, 그리고 특히 첨부된 청구항들 (예를 들어, 첨부된 청구항들의 보디들) 에서 사용되는 용어들은 일반적으로 "열린" 용어들로서 의도된다는 것이 당업자들에 의하여 이해될 것이다 (예를 들어, 용어 "포함하는"은 "-을 포함하지만 이것으로 제한되지는 않는"으로 해석되어야 하고, 용어 "가지는"은 "적어도 -을 가지는"으로 해석되어야 하며, 그리고 용어 "포함한다"는 "-을 포함하지만 이것으로 제한되지는 않는"으로 해석되어야 하는 등이다). 만일 도입된 청구항 인용이 의도된다면, 이러한 의도가 청구항에서 명백하게 인용될 것이며, 그리고 이러한 인용의 부재 시에는 이러한 의도가 존재하지 않는다는 것이 당업자들에 의하여 더욱 이해될 것이다. 예를 들어, 이해에 대한 보조 수단으로서, 후속하는 첨부된 청구항들은 청구항 인용들을 도입하기 위하여 도입 어구들인 "적어도 하나의" 및 "하나 이상의" 의 용법을 포함할 수도 있다. 그러나, 이러한 어구들의 사용은 부정 관사들인 "하나" 또는 "하나의"에 의한 청구항 인용의 도입이 이러한 도입된 청구항 인용을 포함하는 임의의 특정한 청구항을 하나의 이러한 인용만을 포함하는 실시형태들로 제한하는 것을 암시하는 것으로 해석되어서는 안되는데, 이것은 심지어 동일한 청구항이 도입 어구들인 "하나 이상의" 또는 "적어도 하나의" 및 부정 관사들, 예컨대 "하나" 또는 "하나의"을 사용한다고 하더라도 그러하다 (예를 들어, "하나" 및/또는 "하나의"은 "적어도 하나" 또는 "하나 이상"을 의미하는 것으로 해석되어야 한다); 같은 내용이 청구항 인용들을 도입하기 위하여 사용되는 정관사들의 사용에 대해서도 유효하다. 또한, 도입된 청구항 인용의 특정한 개수가 명백하게 인용된다고 하더라도, 당업자들은 이러한 인용이 적어도 인용된 개수를 의미하는 것으로 해석되어야 한다는 것을 인식할 것이다 (예를 들어, 다른 형용사들이 없는 "두 개의 인용들"이라는 단순 인용은, 두 개의 인용들, 또는 두 개 이상의 인용들을 의미한다). 더욱이, "적어도 A, B, 및 C 등 중의 하나"와 유사한 관례가 사용되는 그러한 실례들에서는, 일반적으로 이러한 구성은 당업자가 그 관례를 이해할 의미에서 의도된다 (예를 들어, "적어도 A, B, 및 C 중의 하나를 가지는 시스템" 은 A 만을, B 만을, C 만을, A 및 B를 함께, A 및 C를 함께, B 및 C를 함께, 및/또는 A, B, 및 C를 함께 가지는 등의 시스템을 포함할 것이지만 이들로 제한되는 것은 아니다). "적어도 A, B, 또는 C 등 중의 하나"와 유사한 관례가 사용되는 그러한 실례들에서는, 일반적으로 이러한 구성은 당업자가 그 관례를 이해할 의미에서 의도된다 (예를 들어, "적어도 A, B, 또는 C 중의 하나를 가지는 시스템" 은 A 만을, B 만을, C 만을, A 및 B를 함께, A 및 C를 함께, B 및 C를 함께, 및/또는 A, B, 및 C를 함께 가지는 등의 시스템을 포함할 것이지만 이들로 제한되는 것은 아니다). 더 나아가 두 개 이상의 대안적 용어들을 제시하는 거의 모든 이접적 (disjunctive) 단어 및/또는 어구가 상세한 설명, 청구항들, 또는 도면들 중 어디에 있던지 용어들 중 하나, 용어들 중 어느 하나, 또는 모든 용어들을 포함하는 가능성들을 고려하는 것으로 이해되어야 한다는 것이 당업자들에게 이해될 것이다. 예를 들어, 어구 "A 또는 B"는 "A" 또는 "B" 또는 "A 및 B"의 가능성들을 포함하는 것으로 이해될 것이다.
또한, 본 개시물의 피쳐들 또는 양태들이 마쿠쉬 그룹들의 관점에서 설명되는 경우, 당업자들은 그 개시물 이를 통하여 그 마쿠쉬 그룹의 임의의 개별 원소 또는 원소들의 하위그룹의 관점에서도 역시 설명된다는 것을 인식할 것이다.
당업자에 의하여 이해될 바와 같이, 작성된 설명을 제공하는 경우의 관점에서와 같은 임의의 그리고 모든 목적들을 위하여, 본 명세서에서 개시된 모든 범위들은 또한 그것의 임의의 그리고 모든 가능한 하위범위들 및 하위범위들의 조합들을 망라한다. 임의의 나열된 범위는 적어도 동일한 절반들, 1/3, 1/4, 1/5, 1/10 등으로 나누어지는 동일한 범위를 충분히 기술하고 이네이블하는 것으로 용이하게 인식될 수 있다. 비한정적인 예로서, 본 명세서에서 논의되는 각각의 범위는 용이하게 아래 1/3, 가운데 1/3, 및 위의 1/3로 나누어질 수 있다. 또한 당업자에 의하여 이해될 바와 같이, "-까지", "적어도" 등과 같은 모든 언어는 인용된 개수를 포함하고 그리고 위에서 논의된 바와 같이 하부범위들로 후속하여 나누어질 수 있는 범위들을 지칭한다. 마지막으로, 당업자에 의하여 이해될 바와 같이, 어떤 범위는 각각의 개별 원소를 포함한다. 따라서, 예를 들어, 1 개 내지 3 개의 셀들을 가지는 그룹은 1 개, 2 개, 또는 3 개의 셀들을 가지는 그룹들을 지칭한다. 이와 유사하게, 1 개 내지 5 개의 셀들을 가지는 그룹은 1 개, 2 개, 3 개, 4 개, 또는 5 개 의 셀들을 가지는 그룹들을 지칭하는 식이다.
다양한 양태들이 다양한 도면들 및 대응하는 설명들에 의하여 상술되어 온 반면에, 하나의 도면과 관련하여 설명된 피쳐들은 다른 도면들에서 도시되고 설명된 바와 같은 양태들 내에 포함된다. 단지 한 예로서, 도 5 와 연계되어 설명된 "가상 베리어"는 도 2, 도 3, 및 기타 등등에서 도시된 바와 같은 양태에서의 피쳐이기도 하다.
앞선 것으로부터, 본 개시물의 다양한 실시형태들이 본 명세서에서 예시의 목적을 위하여 설명되어 왔다는 것, 및 다양한 변경들이 본 개시물의 범위 및 사상으로부터 벗어나지 않으면서 이루어질 수도 있다는 것이 인정될 것이다. 이에 상응하여, 본 명세서에서 개시된 다양한 실시형태들은 제한하는 의도가 아니며 진정한 범위 및 사상은 후속하는 청구항들에 의해 나타내어진다.

Claims (42)

  1. 상호작용 구별 (interaction differentiation) 의 근접성 레벨, 전기적 연속성 레벨, 및 작동 레벨을 포함하는 상호작용 구별의 적어도 3 개의 레벨들로부터 검출된 상호작용 구별의 적어도 하나의 레벨을 수신하는 것을 포함하는 입력 디바이스와, 근접하거나 또는 접촉하는 오브젝트와 연관된 감지 정보를 수신하는 것;
    상호작용 구별의 상기 적어도 하나의 레벨을 분석하는 것으로서, 상기 적어도 하나의 레벨을 분석하는 것은:
    상기 오브젝트와 상기 입력 디바이스 간의 커패시턴스의 함수로서 상호작용 구별의 상기 근접성 레벨을 결정하는 것;
    상기 입력 디바이스의 적어도 하나의 표면과 상기 오브젝트 간의 전기적 접촉의 검출에 기초하여 상호작용 구별의 상기 전기적 연속성 레벨을 감지하는 것; 또는
    상기 오브젝트에 의하여 상기 입력 디바이스의 적어도 일부분의 이동에 기초하여 상호작용 구별의 상기 작동 레벨을 결정하는 것을 포함하는, 상기 적어도 하나의 레벨을 분석하는 것;
    상호작용 구별의 적어도 3 개의 레벨들로부터 검출된 상호작용 구별의 적어도 하나의 레벨의 함수로서 상기 감지 정보로부터 커맨드를 결정하는 것으로서, 상기 감지 정보로부터 커맨드를 결정하는 것은 상호작용 구별이 상기 근접성 레벨인지, 상기 전기적 연속성 레벨인지, 또는 상기 작동 레벨인지에 기초하여 다른 세트들의 커맨드들로부터 선택된 상기 커맨드를 해석하는 것을 포함하는, 상기 감지 정보로부터 커맨드를 결정하는 것; 및
    상기 커맨드에 기초하여 액션 표시를 출력하는 것을 포함하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    추가로,
    상기 근접성 레벨을 결정하는 것, 상기 전기적 연속성 레벨을 감지하는 것, 및 상기 작동 레벨을 결정하는 것에 기초하여 커맨드 제스쳐들의 개수를 증가시키는 것을 포함하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 방법.
  4. 제 1 항에 있어서,
    상기 근접성 레벨을 결정하는 것은,
    적어도 하나의 공진 회로로부터의 출력에 기초하여 상기 입력 디바이스 상부의 상기 오브젝트의 높이를 확인하는 것; 및
    상기 오브젝트의 상기 입력 디바이스에 대한 측방향 포지션을 위치결정하는 것을 포함하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 방법.
  5. 제 4 항에 있어서,
    상기 높이를 확인하는 것은,
    입력 디바이스의 제 1 컴포넌트의 제 1 공진 주파수를 입력 디바이스의 제 2 컴포넌트의 제 2 공진 주파수와 비교하여 제 1 공진 주파수 및 제 2 공진 주파수 중 최저 공진 주파수를 결정하는 것; 및
    상기 최저 공진 주파수에 기초하여 상기 오브젝트가 상기 제 1 컴포넌트 또는 상기 제 2 컴포넌트에 더 근접하다고 결정하는 것을 포함하는, 상기 오브젝트 및 입력 디바이스 간의 거리를 상기 최저 공진 주파수에 기초하여 측정하는 것을 포함하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 방법..
  6. 제 4 항에 있어서,
    상기 높이를 확인하는 것은,
    상기 입력 디바이스의 컴포넌트들의 응답들을 비교하는 것; 및
    삼각 함수를 상기 응답들로 적용하여 상기 오브젝트의 높이를 간접적으로 확인하는 것을 포함하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 방법.
  7. 제 4 항에 있어서,
    상기 측방향 포지션을 위치결정하는 것은,
    상기 입력 디바이스의 제 1 컴포넌트의 제 1 공진 주파수 및 상기 입력 디바이스의 제 2 컴포넌트의 제 2 공진 주파수를 결정하는 것; 및
    상기 측방향 포지션을 상기 제 1 공진 주파수와 상기 제 2 공진 주파수 간의 로컬 최소값 (local minima) 의 함수로서 결정하는 것을 포함하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 방법.
  8. 제 4 항에 있어서,
    상기 측방향 포지션을 위치결정하는 것은,
    제 1 컴포넌트의 제 1 공진 주파수와 상기 제 1 컴포넌트에 인접한 제 2 컴포넌트의 제 2 공진 주파수 간의 차분을 검출하는 것; 및
    상기 차분의 함수로서 상기 오브젝트가 상기 제 1 컴포넌트 또는 상기 제 2 컴포넌트에 더 근접하다고 결정하는 것을 포함하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 방법.
  9. 제 1 항에 있어서,
    상기 액션 표시를 출력하는 것은,
    제 1 부분 및 제 2 부분을 포함하는 가상 디스플레이 상에 아이템을 하이라이팅하는 것으로서, 상기 제 1 부분은 상기 액션 표시와 연관된 커맨드를 포함하고 상기 제 2 부분은 상기 입력 디바이스의 가상 표현을 포함하는, 상기 아이템을 하이라이팅하는 것을 포함하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 방법.
  10. 제 9 항에 있어서,
    상기 아이템을 하이라이팅하는 것은 상기 오브젝트가 상기 입력 디바이스와 물리적 접촉되는 것에 응답하여 수행되는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 방법.
  11. 제 1 항에 있어서,
    상기 감지 정보를 수신하는 것은,
    상기 입력 디바이스와 근접하거나 또는 접촉하는 두 개 이상의 오브젝트들을 동시에 검출하는 것; 및
    제스쳐 커맨드의 목적들을 위하여 상기 두 개 이상의 오브젝트들을 단일 오브젝트로서 식별하는 것으로서, 상기 감지 정보를 수신하는 것은 상기 단일 오브젝트와 연관된 상기 감지 정보를 수신하는 것을 포함하는, 상기 단일 오브젝트로서 식별하는 것을 포함하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 방법.
  12. 제 1 항에 있어서,
    상기 액션 표시를 출력하는 것은,
    디스플레이 디바이스로, 상기 액션 표시 및 상기 커맨드의 해석을 포함하는 신호를 상기 디스플레이 디바이스에 의한 출력을 위하여 송신하는 것을 포함하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 방법.
  13. 제 1 항에 있어서,
    상기 커맨드를 결정하는 것은,
    상기 오브젝트의 모션을 보간하는 것을 포함하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 방법.
  14. 제 13 항에 있어서,
    상기 보간하는 것은,
    데이터를 상기 입력 디바이스의 복수 개의 컴포넌트들로부터 수신하는 것; 및
    상기 데이터에 기초하여, 부드러운 라인을 구성하여 상기 오브젝트를 위치결정하는 것을 포함하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 방법.
  15. 복수 개의 키들을 포함하는 키보드에 대한 공간 내의 적어도 하나의 제스쳐를 수신하도록 구성되는 환경 캡쳐 컴포넌트;
    커맨드를 상기 적어도 하나의 제스쳐에 기초하여 식별하도록 구성되는 해석 컴포넌트로서, 상기 커맨드는, 오브젝트에 의한 상기 복수 개의 키들 중 하나의 키의 표면의 접지와 연관된 접지 정보에 기초하여 검지된 전기적 연속성 레벨, 상기 오브젝트의 이동으로부터 검출된 근접성, 또는 상기 오브젝트에 의한 상기 복수 개의 키들 중 상기 하나의 키의 이동으로부터 검출된 작동중의, 적어도 하나 이상의 함수로서 결정된 대안적인 커맨드들의 세트로부터 선택되는, 상기 해석 컴포넌트; 및
    상기 적어도 하나의 제스쳐의 정보 및 상기 커맨드의 결과를 렌더링하도록 구성되는 출력 컴포넌트로서, 상기 정보는 가상 디스플레이 상에서 렌더링되도록 구성되는, 상기 출력 컴포넌트를 포함하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 시스템.
  16. 삭제
  17. 제 15 항에 있어서,
    상기 해석 컴포넌트는 추가로,
    커서 제어를 검출함으로써 상기 근접성을 확인하도록 구성되고 기계적 작동이 매뉴얼 커맨드들을 표시한다고 확인하도록 구성되며,
    상기 전기적 연속성은 상기 가상 디스플레이 내의 키의 하이라이팅을 용이화하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 시스템.
  18. 제 15 항에 있어서,
    상기 환경 캡쳐 컴포넌트는 상기 공간 내의 상기 키보드에 상대적이고 이에 인접한 상기 이동을 검출하고 상기 키보드로 인가된 압력을 검출하도록 구성되는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 시스템.
  19. 제 18 항에 있어서,
    상기 출력 컴포넌트는 추가로,
    상기 키보드로 인가된 상기 압력의 검출에 응답하여, 상기 가상 디스플레이의 적어도 일부를 하이라이팅하도록 구성되는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 시스템.
  20. 제 15 항에 있어서,
    추가로,
    커패시턴스를 측정하도록 구성되는 센서를 포함하되, 상기 해석 컴포넌트는 상기 커패시턴스를 이용하고 상기 키보드 상부의 상기 오브젝트의 높이 및 측방향 위치를 결정하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 시스템.
  21. 제 20 항에 있어서,
    상기 오브젝트 및 상기 키보드의 키는 공진 회로의 커패시터를 형성하고,
    상기 오브젝트와 키 간의 커패시턴스는 1/d에 비례하며, 여기에서 d는 상기 오브젝트 및 키의 사이즈의 절반의 단위들에서의 분리이고, 여기에서 상기 공진 회로의 주파수는 거리의 척도인, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 시스템.
  22. 제 20 항에 있어서,
    추가로,
    상기 오브젝트가 키 쌍 내의 제 2 키보다 제 1 키에 더 근접한 정도를 나타내는 비트 주파수 (beat frequency) 를 측정하도록 구성되는 평가 컴포넌트를 포함하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 시스템.
  23. 제 22 항에 있어서,
    상기 제 1 키 및 제 2 키의 비트 주파수는 상기 오브젝트가 상기 제 1 키 및 제 2 키 사이에 있는 것에 응답하여 사라지는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 시스템.
  24. 제 15 항에 있어서,
    상기 가상 디스플레이는 증강 현실 안경을 포함하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 시스템.
  25. 제 15 항에 있어서,
    상기 키보드는 개별적인 엄지-작동 스페이스 바들을 가지는 두 개의 부분들을 포함하고,
    상기 두 개의 부분들은 서로 접혀져서 상기 두 개의 부분들과 연관된 키들을 덮도록 구성되는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 시스템.
  26. 실행가능 명령들이 저장된 컴퓨터-판독가능 저장 디바이스로서,
    상기 실행가능 명령들은 실행에 응답하여, 프로세서를 포함하는 시스템으로 하여금,
    수행될 적어도 하나의 커맨드를 표시하는 제스쳐를 검출하는 것으로서, 상기 제스쳐를 검출하는 것은, 키보드 상의 도전성 키의 표면과 외부 엘리먼트 간의 전기적 접촉의 검출에 기초하여 전기적 연속성 레벨을 표시하는 데이터를 수신하는 것을 포함하되, 상기 데이터는 상기 도전성 키가 타이핑을 위해 작동되지 않도록 결정된 것에 응답하여 수신되는, 상기 제스쳐를 검출하는 것;
    상기 제스쳐가 상기 전기적 연속성 레벨과 연관된 복수 개의 커맨드들로부터 선택된 상기 적어도 하나의 커맨드인 것으로 결정하는 것으로서, 상기 복수 개의 커맨드들은 상기 도전성 키의 작동과 연관된 커맨드들의 세트와는 다른, 상기 제스쳐가 복수 개의 커맨드들로부터 선택된 상기 적어도 하나의 커맨드인 것으로 결정하는 것; 및
    상기 적어도 하나의 커맨드의 결과를 가상 공간 내의 인지가능 이벤트로서 개시하는 것 (initiating) 을 포함하는 동작들을 수행하게 하는, 컴퓨터-실행가능 명령들이 저장된 컴퓨터-판독가능 저장 디바이스.
  27. 제 26 항에 있어서,
    상기 제스쳐를 검출하는 것은 추가로,
    상기 적어도 하나의 커맨드를 표시하는 제스쳐를 공통 근접성-레벨 제스쳐들의 세트로부터 구별하는 것으로서, 상기 공통 근접성-레벨 제스쳐들의 세트는 무시되는, 상기 제스쳐를 구별하는 것을 포함하는, 컴퓨터-실행가능 명령들이 저장된 컴퓨터-판독가능 저장 디바이스.
  28. 제 26 항에 있어서,
    상기 제스쳐를 검출하는 것은 추가로,
    상기 외부 엘리먼트와 상기 키보드의 상기 도전성 키 간의 상기 전기적 접촉을 표시하는 작동을 수신하는 것을 포함하는, 컴퓨터-실행가능 명령들이 저장된 컴퓨터-판독가능 디바이스.
  29. 제 26 항에 있어서,
    상기 제스쳐를 검출하는 것은 추가로,
    입력 디바이스의 제 1 도전성 작동 키의 제 1 공진 주파수를 상기 입력 디바이스의 제 2 도전성 작동 키의 제 2 공진 주파수와 비교하여 상기 제 1 공진 주파수 및 상기 제 2 공진 주파수 중 최저 공진 주파수를 결정하는 것; 및
    상기 최저 공진 주파수에 기초하여 상기 외부 엘리먼트가 상기 제 1 도전성 작동 키 또는 제 2 도전성 작동 키에 더 근접하다고 결정하는 것을 포함하는, 상기 외부 엘리먼트와 상기 입력 디바이스 간의 거리를 상기 최저 공진 주파수에 기초하여 측정하는 것을 포함하는, 컴퓨터-실행가능 명령들이 저장된 컴퓨터-판독가능 디바이스.
  30. 제 26 항에 있어서,
    상기 제스쳐를 검출하는 것은 추가로,
    입력 디바이스의 제 1 도전성 작동 키의 제 1 공진 주파수 및 상기 입력 디바이스의 제 2 도전성 작동 키의 제 2 공진 주파수를 결정하는 것; 및
    외부 엘리먼트의 측방향 포지션을 상기 제 1 공진 주파수와 상기 제 2 공진 주파수 간의 로컬 최소값의 함수로서 결정하는 것을 포함하는, 컴퓨터-실행가능 명령들이 저장된 컴퓨터-판독가능 디바이스.
  31. 제 26 항에 있어서,
    상기 제스쳐를 해석하는 것은,
    상기 제스쳐가 스윕 제스쳐, 푸시-풀 제스쳐, 원 제스쳐, 꺽임 (deflection) 제스쳐, 확대-축소 제스쳐, 또는 회전 제스쳐 중 적어도 하나라고 확인하는 것을 포함하는, 컴퓨터-실행가능 명령들이 저장된 컴퓨터-판독가능 디바이스.
  32. 제 26 항에 있어서,
    상기 결과를 개시하는 것은,
    제 1 부분 및 제 2 부분을 포함하는 가상 디스플레이 상에서 아이템을 하이라이팅하는 것,
    상기 제 1 부분에 의해 상기 제스쳐와 연관된 커맨드를 묘사하는 것, 및
    상기 제 2 부분에 의해 상기 입력 디바이스의 표현을 제공하는 것을 포함하는, 컴퓨터-실행가능 명령들이 저장된 컴퓨터-판독가능 디바이스.
  33. 제 32 항에 있어서,
    상기 아이템을 하이라이팅하는 것은 상기 외부 엘리먼트와 상기 입력 디바이스 간의 물리적 접촉에 응답하는, 컴퓨터-실행가능 명령들이 저장된 컴퓨터-판독가능 디바이스.
  34. 삭제
  35. 삭제
  36. 키보드로서,
    키들의 어레이로서, 상기 키들의 어레이의 키들의 적어도 하나의 서브세트는 키들의 적어도 상기 서브세트의 개별 키로 인가된 압력을 검출하도록 구성되는 개별 변위 작동 스위치를 포함하고, 적어도 상기 서브세트의 키들은 개별 도전성 터치 표면들을 포함하는, 상기 키들의 어레이; 및
    상기 키보드 근처의 오브젝트를 검출하도록 구성된 적어도 하나의 용량성 센서를 포함하는, 상기 키보드;
    상기 키보드에 대한 적어도 하나의 임계 압력의 어플리케이션 (application) 없이 도전성 터치 표면을 터치하는 상기 오브젝트에 관하여 전기적 연속성을 검출하도록 구성된 전기적 접촉 감지 모듈;
    상기 키보드 근처의 제스쳐를 커맨드로 전환, 또는 적용하도록 구성된 전환 모듈로서, 상기 커맨드는 상기 압력과 연관된 제 1 세트의 커맨드들, 상기 오브젝트와 연관된 제 2 세트의 커맨드들, 및 상기 도전성 표면을 터치하는 상기 오브젝트와 연관된 제 3 세트의 커맨드들로부터 선택되는, 상기 전환 모듈; 및
    디스플레이를 상기 커맨드의 함수로서 변화시키도록 구성된 프로세서를 포함하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 디바이스.
  37. 제 36 항에 있어서,
    상기 키보드는 상기 오브젝트와 키들의 적어도 상기 서브세트 간의 전기적 접촉을 검출하여 용량성 상호작용, 도전성 상호작용, 또는 기계적 상호작용으로부터 상호작용 정보를 수신하도록 구성되는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 디바이스.
  38. 제 36 항에 있어서,
    상기 디스플레이는 원격 가상 디스플레이이고,
    상기 프로세서는 추가로,
    신호들을 생성하고 상기 신호들을 상기 원격 가상 디스플레이로 송신하도록 구성되는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 디바이스.
  39. 제 36 항에 있어서,
    상기 전환 모듈은 추가로,
    상이한 커맨드들에 대응하는 커맨드 제스쳐들의 세트를 나타내는 정보를 포함하는 데이터 스토어에 액세스하도록 구성되는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 디바이스.
  40. 제 39 항에 있어서,
    상기 데이터 스토어는 추가로,
    상기 커맨드 제스쳐들의 세트로부터 구별가능한 공통 근접성-레벨 제스쳐들의 세트를 나타내는 다른 정보를 포함하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 디바이스.
  41. 제 1 항에 있어서,
    상기 커맨드를 결정하는 것은 복수 개의 커맨드 제스쳐들로부터 상기 커맨드를 선택하는 것을 포함하되, 상기 복수 개의 커맨드 제스쳐들로부터 각각의 상기 커맨드 제스쳐는 다른 커맨드와 상응하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 방법.
  42. 제 41 항에 있어서,
    상기 복수 개의 커맨드 제스쳐들은 근접성 레벨 제스쳐 커맨드들의 세트 및 커맨드 제스쳐들의 세트를 포함하는, 증강 현실을 위한 제스쳐 기반 사용자 인터페이스를 위한 방법.
KR1020137022939A 2011-06-21 2011-06-21 증강 현실을 위한 제스쳐 기반 사용자 인터페이스 KR101516513B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/041173 WO2012177237A1 (en) 2011-06-21 2011-06-21 Gesture based user interface for augmented reality

Publications (2)

Publication Number Publication Date
KR20130129271A KR20130129271A (ko) 2013-11-27
KR101516513B1 true KR101516513B1 (ko) 2015-05-04

Family

ID=47361356

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137022939A KR101516513B1 (ko) 2011-06-21 2011-06-21 증강 현실을 위한 제스쳐 기반 사용자 인터페이스

Country Status (5)

Country Link
US (2) US9547438B2 (ko)
JP (1) JP2014515147A (ko)
KR (1) KR101516513B1 (ko)
CN (1) CN103635869B (ko)
WO (1) WO2012177237A1 (ko)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920129B2 (en) 2007-01-03 2011-04-05 Apple Inc. Double-sided touch-sensitive panel with shield and drive combined layer
US9430145B2 (en) * 2011-04-06 2016-08-30 Samsung Electronics Co., Ltd. Dynamic text input using on and above surface sensing of hands and fingers
WO2013156815A1 (en) * 2012-04-18 2013-10-24 Nokia Corporation A display apparatus with haptic feedback
US10281986B2 (en) * 2012-05-03 2019-05-07 Georgia Tech Research Corporation Methods, controllers and computer program products for accessibility to computing devices
US9696547B2 (en) * 2012-06-25 2017-07-04 Microsoft Technology Licensing, Llc Mixed reality system learned input and functions
US9300645B1 (en) * 2013-03-14 2016-03-29 Ip Holdings, Inc. Mobile IO input and output for smartphones, tablet, and wireless devices including touch screen, voice, pen, and gestures
US10940311B2 (en) * 2013-03-29 2021-03-09 Neurometrix, Inc. Apparatus and method for button-free control of a wearable transcutaneous electrical nerve stimulator using interactive gestures and other means
FR3003964B1 (fr) 2013-04-02 2016-08-26 Fogale Nanotech Dispositif pour interagir, sans contact, avec un appareil electronique et/ou informatique, et appareil equipe d'un tel dispositif
CN105359065B (zh) 2013-05-02 2019-04-02 辛纳普蒂克斯公司 提供附加功能和各功能预览的多功能按键
WO2015016894A1 (en) * 2013-07-31 2015-02-05 Hewlett-Packard Development Company, L.P. Gesture detection
US9804712B2 (en) 2013-08-23 2017-10-31 Blackberry Limited Contact-free interaction with an electronic device
US20150185858A1 (en) * 2013-12-26 2015-07-02 Wes A. Nagara System and method of plane field activation for a gesture-based control system
US10001645B2 (en) * 2014-01-17 2018-06-19 Sony Interactive Entertainment America Llc Using a second screen as a private tracking heads-up display
FR3017723B1 (fr) 2014-02-19 2017-07-21 Fogale Nanotech Procede d'interaction homme-machine par combinaison de commandes tactiles et sans contact
JP6307627B2 (ja) * 2014-03-14 2018-04-04 株式会社ソニー・インタラクティブエンタテインメント 空間感知を備えるゲーム機
US9746984B2 (en) 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content
US9696549B2 (en) 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
CN104656893B (zh) * 2015-02-06 2017-10-13 西北工业大学 一种信息物理空间的远程交互式操控***及方法
JP6596883B2 (ja) 2015-03-31 2019-10-30 ソニー株式会社 ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム
CN106484085B (zh) * 2015-08-31 2019-07-23 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
US9939908B2 (en) * 2015-09-28 2018-04-10 Paypal, Inc. Multi-device authentication
WO2017096096A1 (en) * 2015-12-01 2017-06-08 Quantum Interface, Llc. Motion based systems, apparatuses and methods for establishing 3 axis coordinate systems for mobile devices and writing with virtual keyboards
EP3384370A4 (en) * 2015-12-01 2020-02-19 Quantum Interface, LLC MOTION-BASED SYSTEMS, APPARATUSES AND METHODS FOR IMPLEMENTING 3D CONTROLS USING 2D CONSTRUCTIONS, USE OF REAL OR VIRTUAL CONTROLS, USE OF OVERVIEW SCREENING, AND BLOB DATA CONTROLS
US10452227B1 (en) 2016-03-31 2019-10-22 United Services Automobile Association (Usaa) System and method for data visualization and modification in an immersive three dimensional (3-D) environment
CN105975067A (zh) * 2016-04-28 2016-09-28 上海创米科技有限公司 应用于虚拟现实产品的按键输入设备及方法
CN107771310B (zh) * 2016-06-22 2020-12-04 华为技术有限公司 头戴式显示设备及其处理方法
CN106249882B (zh) 2016-07-26 2022-07-12 华为技术有限公司 一种应用于vr设备的手势操控方法与装置
WO2018047791A1 (ja) * 2016-09-09 2018-03-15 パナソニックＩｐマネジメント株式会社 入力装置及びそれを備えた電子機器
TWI609316B (zh) * 2016-09-13 2017-12-21 精元電腦股份有限公司 可疊加虛擬鍵盤的顯示裝置
WO2018053357A1 (en) * 2016-09-16 2018-03-22 Tactual Labs Co. Touch sensitive keyboard
US10817126B2 (en) 2016-09-20 2020-10-27 Apple Inc. 3D document editing system
CN106527916A (zh) * 2016-09-22 2017-03-22 乐视控股（北京）有限公司 基于虚拟现实设备的操作方法、装置及操作设备
US10845891B2 (en) * 2016-09-30 2020-11-24 Disney Enterprises, Inc. Displaying proximate keys in a virtual reality environment
CN106502417A (zh) * 2016-11-08 2017-03-15 北京暴风魔镜科技有限公司 移动虚拟现实设备适配电脑外设的方法、装置和***
EP3635521A4 (en) * 2017-06-08 2021-05-19 Honeywell International Inc. APPARATUS AND METHOD FOR VISUAL ASSISTANCE LEARNING, COLLABORATION AND MONITORING IN AUGMENTED REALITY / VIRTUAL INDUSTRIAL AUTOMATION SYSTEMS AND OTHER SYSTEMS
US10394342B2 (en) * 2017-09-27 2019-08-27 Facebook Technologies, Llc Apparatuses, systems, and methods for representing user interactions with real-world input devices in a virtual space
US10732774B1 (en) * 2018-03-21 2020-08-04 Rockwell Collins, Inc. Increasing cursor control device sensitivity
US10719173B2 (en) * 2018-04-04 2020-07-21 Facebook Technologies, Llc Transcribing augmented reality keyboard input based on hand poses for improved typing accuracy
CN108519855A (zh) * 2018-04-17 2018-09-11 北京小米移动软件有限公司 字符输入方法及装置
JP7245631B2 (ja) 2018-10-26 2023-03-24 Ｄｙｎａｂｏｏｋ株式会社 電子機器
KR102174039B1 (ko) * 2018-12-12 2020-11-04 한국광기술원 증강현실을 이용하여 어디에서도 파일을 편집할 수 있는 장치 및 방법
CN110275610B (zh) * 2019-05-27 2022-09-30 山东科技大学 一种基于LeapMotion体感控制器的协同手势控制采煤仿真控制方法
JP6675136B1 (ja) * 2019-06-20 2020-04-01 パルス株式会社 仮想空間提供システム、仮想空間提供方法及びプログラム
KR102137092B1 (ko) * 2019-08-06 2020-07-23 삼성전기주식회사 듀얼 센싱 구조를 이용하여 터치센싱 및 포스센싱을 구현한 스위칭 조작 센싱 장치 및 전자 기기
US11009969B1 (en) 2019-12-03 2021-05-18 International Business Machines Corporation Interactive data input
KR102333090B1 (ko) * 2019-12-17 2021-12-01 삼성전기주식회사 센싱 코일 부품 및 이를 포함하는 스위치 조작 센싱 장치
CN113076008A (zh) * 2020-01-06 2021-07-06 美商矽成积体电路股份有限公司 临近检测方法及临近检测键盘
KR20230144042A (ko) 2021-02-08 2023-10-13 사이트풀 컴퓨터스 리미티드 생산성을 위한 확장 현실
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
TW202307637A (zh) 2021-03-03 2023-02-16 美商加爾汀玻璃有限責任公司 用以建立與被動檢測電場變化之系統及/或方法
US11757951B2 (en) 2021-05-28 2023-09-12 Vizio, Inc. System and method for configuring video watch parties with gesture-specific telemojis
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230324997A1 (en) * 2022-04-11 2023-10-12 Meta Platforms Technologies, Llc Virtual Keyboard Selections Using Multiple Input Modalities

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080042989A1 (en) * 1998-01-26 2008-02-21 Apple Inc. Typing with a touch sensor
US20090265670A1 (en) * 2007-08-30 2009-10-22 Kim Joo Min User interface for a mobile device using a user's gesture in the proximity of an electronic device

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4524348A (en) 1983-09-26 1985-06-18 Lefkowitz Leonard R Control interface
US7911456B2 (en) * 1992-06-08 2011-03-22 Synaptics Incorporated Object position detector with edge motion feature and gesture recognition
US6417892B1 (en) * 1995-05-23 2002-07-09 Colorlink, Inc. Color filters, sequencers and displays using color selective light modulators
US5790107A (en) * 1995-06-07 1998-08-04 Logitech, Inc. Touch sensing method and apparatus
JP3484355B2 (ja) 1998-09-28 2004-01-06 オムロンヘルスケア株式会社 生体検知装置
JPH11194882A (ja) 1998-01-06 1999-07-21 Poseidon Technical Systems:Kk キーボードおよび入力装置
US20050002158A1 (en) * 2002-02-25 2005-01-06 Robert Olodort Mobile computer with foldable keyboard
US7821425B2 (en) 2002-07-12 2010-10-26 Atmel Corporation Capacitive keyboard with non-locking reduced keying ambiguity
WO2004093005A1 (ja) * 2003-04-15 2004-10-28 Fujitsu Limited 情報処理装置
CN100462899C (zh) 2005-04-30 2009-02-18 埃派克森微电子有限公司 电容触摸板数据输入装置和键盘
JP4631676B2 (ja) * 2005-11-30 2011-02-16 トヨタ自動車株式会社 ２次元座標検出装置
US7903092B2 (en) 2006-05-25 2011-03-08 Atmel Corporation Capacitive keyboard with position dependent reduced keying ambiguity
US8786554B2 (en) 2006-07-10 2014-07-22 Atmel Corporation Priority and combination suppression techniques (PST/CST) for a capacitive keyboard
JP4766340B2 (ja) 2006-10-13 2011-09-07 ソニー株式会社 近接検知型情報表示装置およびこれを使用した情報表示方法
US8766910B2 (en) 2007-07-04 2014-07-01 Cypress Semiconductor Corporation Capacitive sensing control knob
US8179375B2 (en) * 2008-01-04 2012-05-15 Tactus Technology User interface system and method
US8156809B2 (en) * 2008-03-27 2012-04-17 Immersion Corporation Systems and methods for resonance detection
US20090251422A1 (en) 2008-04-08 2009-10-08 Honeywell International Inc. Method and system for enhancing interaction of a virtual keyboard provided through a small touch screen
TW200949632A (en) 2008-05-22 2009-12-01 Prospect Technology Corp A trigger-threshold adaptable and auto-adjustable capacitive induction-type keying device
TWI392876B (zh) 2008-08-08 2013-04-11 Sony Corp 電容感測器裝置之電容變化測量電路，電容感測器模組，電容感測器裝置之測量電容變化之方法及電子裝置
KR20100031204A (ko) * 2008-09-12 2010-03-22 삼성전자주식회사 근접 센서 기반의 입력 장치 및 그의 운용 방법
JP4775669B2 (ja) * 2008-10-10 2011-09-21 ソニー株式会社 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム
US8497786B2 (en) 2009-03-26 2013-07-30 Freescale Semiconductor, Inc. Capacitive keyboard with enhanced electrode areas
US20100253629A1 (en) 2009-04-03 2010-10-07 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Combined Mutual Capacitance and Switch-Actuated Keyboard for Enhanced Texting in an Electronic Device
US8115499B2 (en) 2009-05-22 2012-02-14 Freescale Semiconductor, Inc. Device with proximity detection capability
FR2949007B1 (fr) * 2009-08-07 2012-06-08 Nanotec Solution Dispositif et procede d'interface de commande sensible a un mouvement d'un corps ou d'un objet et equipement de commande integrant ce dispositif.
US9372579B2 (en) * 2009-10-27 2016-06-21 Atmel Corporation Touchscreen electrode arrangement
US8816964B2 (en) * 2010-11-26 2014-08-26 Mckesson Financial Holdings Sensor-augmented, gesture-enabled keyboard and associated apparatus and computer-readable storage medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080042989A1 (en) * 1998-01-26 2008-02-21 Apple Inc. Typing with a touch sensor
US20090265670A1 (en) * 2007-08-30 2009-10-22 Kim Joo Min User interface for a mobile device using a user's gesture in the proximity of an electronic device

Also Published As

Publication number Publication date
CN103635869A (zh) 2014-03-12
US20170075429A1 (en) 2017-03-16
JP2014515147A (ja) 2014-06-26
WO2012177237A1 (en) 2012-12-27
US9823752B2 (en) 2017-11-21
US20120326961A1 (en) 2012-12-27
KR20130129271A (ko) 2013-11-27
US9547438B2 (en) 2017-01-17
CN103635869B (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
KR101516513B1 (ko) 증강 현실을 위한 제스쳐 기반 사용자 인터페이스
US8441463B2 (en) Hand-held device with touchscreen and digital tactile pixels
KR101136153B1 (ko) 지문 인식 또는 멀티 터치가 가능한 센서 그리드 방식의 투명 패널 사용자 입력 장치, 사용자 지문 인식 방법, 및 사용자 터치 인식 방법
US9891732B2 (en) Selective rejection of touch contacts in an edge region of a touch surface
US8446384B2 (en) Information processing apparatus, information processing method and program
US9632608B2 (en) Selective input signal rejection and modification
US9569106B2 (en) Information processing apparatus, information processing method and computer program
CN105359065B (zh) 提供附加功能和各功能预览的多功能按键
US20170147085A1 (en) Keyboard with touch sensitive element
CN107077288A (zh) 键盘输入的消歧
KR20140117469A (ko) 시선 상호작용을 위한 시스템
CN112274918A (zh) 信息处理方法及装置、存储介质、电子设备
Rateau et al. Ether-Mark: An Off-Screen Marking Menu For Mobile Devices
AU2015271962B2 (en) Interpreting touch contacts on a touch surface

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee