KR101430887B1 - 제스처 인식을 위한 환경-의존 동적 범위 컨트롤 - Google Patents

제스처 인식을 위한 환경-의존 동적 범위 컨트롤 Download PDF

Info

Publication number
KR101430887B1
KR101430887B1 KR1020137006111A KR20137006111A KR101430887B1 KR 101430887 B1 KR101430887 B1 KR 101430887B1 KR 1020137006111 A KR1020137006111 A KR 1020137006111A KR 20137006111 A KR20137006111 A KR 20137006111A KR 101430887 B1 KR101430887 B1 KR 101430887B1
Authority
KR
South Korea
Prior art keywords
gesture
environment
dynamic range
gesture recognition
user
Prior art date
Application number
KR1020137006111A
Other languages
English (en)
Other versions
KR20130042010A (ko
Inventor
승일 김
Original Assignee
엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 filed Critical 엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Publication of KR20130042010A publication Critical patent/KR20130042010A/ko
Application granted granted Critical
Publication of KR101430887B1 publication Critical patent/KR101430887B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

일반적으로, 제스처 인식을 위한 환경-의존 동적 범위 컨트롤의 기술들이 설명된다. 일부 예들에서, 비제한적으로 로케이션, 디바이스 사이즈, 가상 또는 물리적 디스플레이 사이즈를 포함하는 사용자 환경이 검출되고, 검출된 환경에 따라 제스처 컨트롤 범위가 조정된다. 다른 예들에서, 제어기 사용자 인터페이스 또는 동적 범위 스테이터스 인디케이터는 변경된 제스처 인식 범위 컨트롤에 기초하여 조정될 수도 있다.

Description

제스처 인식을 위한 환경-의존 동적 범위 컨트롤{ENVIRONMENT-DEPENDENT DYNAMIC RANGE CONTROL FOR GESTURE RECOGNITION}
본원에 다르게 명시되지 않는다면, 이 섹션에 설명된 자료들은 본 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함됨으로써 종래 기술로 인정되지 않는다.
전통적인 미디어 장비 및 컴퓨터 제어형 디바이스들, 예컨대 컴퓨터들, 텔레비전들, 메시지 보드들, 전자 광고판들, 및 모니터링 디바이스들은 입력 하드웨어를 사용하는 사용자 인터페이스를 통해 직접적으로 제어된다. 통상적으로, 이들은 입력 디바이스들, 예컨대 디바이스를 제어하기 위한 마우스, 원격 컨트롤, 키보드, 스타일러스, 터치 스크린, 등을 사용하여 직접적으로 제어된다. 입력 디바이스들은 디바이스들과 통합되기 때문에, 사용자들이 디바이스와 상호작용하기 위해서는, 사용자들이 키보드 상의 키스트로크들, 마우스의 움직임, 및 터치스크린 상의 선택들을 통해 디바이스들 동작 및 제어하고, 액션들을 개시하기 위해 직접적 액세스를 갖거나 그러한 입력 디바이스들 및 스크린들에 아주 근접하여 있을 필요가 있다. 입력 디바이스들이 사용자들에게 직접적으로 액세스가능 하지 않으면, 사용자와 디바이스들 간의 상호작용은 제한될 수도 있고 사용자는 디바이스들을 동작 및 제어할 수 없을 수도 있으므로, 디바이스들의 유용성을 제한한다.
최근의 기술 개발들은, 예를 들어 미리정의된 영역에서 모션의 검출 또는 손의 흔들림 (waving) 에 의해 디바이스들을 활성화시키도록 모션 검출 메커니즘들이 전자 디바이스에 구비되고 있다. 디바이스 사이즈들, 디바이스에 대한 사용자 거리, 및 유사한 환경들이 변할 수도 있기 때문에, 제스처들에 의해 제어된 통상의 전자 디바이스들은 제스처들의 더 큰 범위를 검출하도록 흔히 구성될 수도 있다. 그러나, 환경들에 따라 사용자는 더 작은 제스처들, 예를 들어 핸드 제스처들 대신에 핑거 제스처들을 사용하기를 원할 수도 있다 (또는 필요로 할 수도 있다).
본 개시물은 제스처 인식의 동적 범위를 조정하는 방법을 제시한다. 일부 예들에 따르면, 방법은 제스처 인식 가능 전자 디바이스의 사용자의 환경을 검출하는 단계 및 사용자의 검출된 환경에 기초하여 제스처 인식 가능 전자 디바이스에 대한 제스처 입력 동적 범위를 조정하는 단계를 포함할 수도 있다.
본 개시물은 또한, 제스처 인식의 동적 범위를 조정할 수 있는 장치를 설명한다. 일부 예들에 따르면, 장치는 제스처들을 검출하도록 구성된 이미지 캡처 디바이스, 명령들을 저장하도록 구성된 메모리, 및 메모리에 커플링된 프로세서를 포함할 수도 있다. 프로세서는 명령들을 실행하도록 구성될 수도 있는데, 이 명령들은 실행되는 경우 프로세서를, 사용자의 환경을 검출하고 사용자의 검출된 환경에 기초하여 제스처 입력 동적 범위를 조정하도록 구성한다.
본 개시물은 또한, 제스처 인식의 동적 범위를 조정하기 위한 명령들이 저장되는 컴퓨터 판독가능 저장 매체를 설명한다. 명령들은 제스처-인식 가능 전자 디바이스의 사용자의 환경을 검출하는 명령 및 사용자의 환경에 기초하여 제스처-인식 가능 전자 디바이스에 대한 제스처 입력 동적 범위를 조정하는 명령을 포함할 수도 있다.
상기 요약은 단지 예시적이며, 임의의 방식의 제한으로 의도되지 않는다. 전술된 예시적인 양태들, 실시형태들, 및 특성들에 추가적으로, 추가의 양태들, 실시형태들, 및 피처들이 도면 및 다음의 상세한 설명을 참조하여 명백해질 것이다.
본 개시물의 이하에 설명된 그리고 및 다른 특성들은 첨부된 도면들과 관련하여 취해진 다음의 상세한 설명 및 첨부된 청구범위로부터 보다 충분히 명백해질 것이다. 이들 도면들은 단지 본 개시물에 따른 여러 실시형태들 만을 도시하고, 따라서 그 범위를 제한하는 것으로 간주되지 않으며 본 개시물은 첨부된 도면들의 사용을 통해 추가의 특이성 및 상세함으로 설명될 것이다.
도 1 은 제스처 인식을 위한 환경-의존 동적 범위 컨트롤의 일 예의 구현을 예시하는 개념도이다.
도 2 는 제스처 인식을 위한 환경-의존 동적 범위 컨트롤의 다른 예의 구현을 예시하는 개념도이다.
도 3 은 동일한 디바이스 상의 환경의 검출에 기초한 제스처 입력 컨트롤의 조정을 예시한다.
도 4 는 상이한 디바이스들 상의 환경의 검출에 기초한 제스처 입력 컨트롤의 조정을 예시한다.
도 5 는 휴대용 컴퓨팅 디바이스 상의 일 예의 제스처 인식 동적 범위 스테이터스 인디케이터를 예시한다.
도 6 은 사용자의 로케이션에 기초하여 디바이스 구성이 변하는 사용 시나리오에서 제스처 UI 범위의 조정을 예시한다.
도 7 은 사용자의 환경에 따라 제스처-기반 컨트롤 UI 조정의 예를 예시한다.
도 8 은 제스처 인식을 위한 환경-의존 동적 범위 컨트롤을 구현하는데 사용될 수도 있는 범용 컴퓨팅 디바이스를 예시한다.
도 9 는 제스처 인식을 위한 환경-의존 동적 범위 컨트롤을 구현하는데 사용될 수도 있는 특수 목적의 프로세서를 예시한다.
도 10 은 도 8 의 디바이스 (800) 와 같은 컴퓨팅 디바이스 또는 도 9 의 프로세서 (900) 와 같은 특수 목적의 프로세서에 의해 수행될 수도 있는 제스처 인식을 위한 환경-의존 동적 범위 컨트롤을 구현하는 예시의 방법을 예시하는 흐름도이다.
도 11 은 본원에 설명된 적어도 일부 실시형태들에 따라 모두 배열된 예시의 컴퓨터 프로그램 제품의 블록도를 예시한다.
다음의 상세한 설명에서, 본원의 일부를 형성하는 첨부 도면들을 참조한다. 도면들에서, 문맥이 달리 지정하지 않으면, 통상적으로 유사한 부호들은 유사한 컴포넌트들을 나타낸다. 상세한 설명, 도면, 및 청구범위에 설명된 예시의 실시형태들은 제한을 의미하지는 않는다. 본원에 제시된 주제의 범위 또는 사상을 벗어나지 않고, 다른 실시형태들이 사용될 수도 있고, 다른 변경들이 이루어질 수도 있다. 일반적으로 본원에서 설명되고 도면에서 예시되는 바와 같이, 본 개시물의 양태들은 광범위한 상이한 구성들로 배열, 치환, 결합, 분리, 및 설계될 수 있고, 이들 모두는 본원에서 명백하게 고려된다.
본 개시물은 일반적으로, 그 중에서도, 제스처 인식을 위한 환경-의존 동적 범위 컨트롤에 관련된 방법들, 장치들, 시스템들, 디바이스들, 및/또는 컴퓨터 프로그램 제품들에 대해 그려진다.
간단히 말하면, 사용자 환경에 기초한 제스처 인식을 위해 동적 범위 컨트롤이 제공될 수도 있다. 일부 실시형태들에 따르면, 비제한적으로 로케이션, 디바이스 사이즈, 가상 또는 물리적 디스플레이 사이즈를 포함하는 사용자 환경이 검출될 수도 있고, 검출된 환경에 따라 제스처 컨트롤 범위가 조정될 수도 있다. 다른 실시형태들에 따르면, 제어기 사용자 인터페이스 또는 동적 범위 스테이터스 인디케이터는 변경된 제스처 인식 범위 제어에 기초하여 조정될 수도 있다.
도 1 은 본원에 설명된 적어도 일부 실시형태들에 따라 제스처 인식을 위한 환경-의존 동적 범위 컨트롤의 일 예의 구현을 예시하는 개념도이다. 다이어그램 (100) 에 도시된 바와 같이, 컴퓨팅 디바이스 (112) 와 같은 전자 디바이스들은 기계적 컨트롤들 (예를 들어, 키보드, 마우스 등), 오디오 컨트롤들 (예를 들어, 스피치 인식), 및 유사한 것들 대신에 또는 이에 추가적으로 제스처 인식에 의해 제어될 수도 있다.
컴퓨팅 디바이스 (112) 는 디스플레이 디바이스 (104) 에 도전성으로, 광학적으로, 또는 무선으로 커플링 (110) 될 수도 있다. 디스플레이 디바이스 (104) 는 집적된 이미지 캡처 디바이스 (106)(예를 들어, 카메라) 를 포함할 수도 있다. 대안으로, 이미지 캡처 디바이스 (106) 는 디스플레이 디바이스 (104) 에 도전성으로, 광학적으로, 또는 무선으로 커플링된 별개의 디바이스일 수도 있다. 일 예의 구현에서, 사용자 (102) 는 제스처들을 통해 컴퓨팅 디바이스 (112) 의 선택 기능을 제어할 수도 있다. 제스처들은 이미지 캡처 디바이스 (106) 에 의해 캡처되고 컴퓨팅 디바이스 (112) 에서 인식될 수도 있으며, 이 컴퓨팅 디바이스는 따라서 제스처들을 특정 입력 커맨드들에 맵핑하여 프로세싱할 수도 있다.
컴퓨팅 디바이스 (112) 는 컨트롤 엘리먼트들 (108) 을 디스플레이하여 사용자 (102) 에게 피드백을 제공할 수도 있고, 사용자 (102) 가 특정 제스처들을 수행하는 것을 더 쉽게 만들 수도 있다. 예를 들어, 디스플레이된 버튼들은 특정 커맨드들과 연관될 수도 있고, 버튼은 그 버튼을 향한 사용자의 (예를 들어, 손을 이용한) 모션의 검출 시에 활성화될 수도 있다. 피드백으로서, 제스처가 성공적으로 인식되었다는 것을 사용자 (102) 에게 나타내는 활성화 시에 버튼의 컬러/쉐이딩 (shading)/사이즈가 변경될 수도 있다.
도 2 는 본원에 설명된 적어도 일부 실시형태들에 따른 제스처 인식을 위한 환경-의존 동적 범위 컨트롤의 다른 예의 구현을 예시하는 개념도이다. 다이어그램 (200) 에 도시된 바와 같이, 제스처-기반 컨트롤은 종래의 컴퓨팅 디바이스들, 예컨대 랩톱 컴퓨터들, 데스크톱 컴퓨터들, 핸드헬드 컴퓨터들, 비히클-마운트 컴퓨터들, 스마트 폰들, 또는 유사한 디바이스들에 한정되지 않는다. 컴퓨팅 디바이스들과 가전 제품들과 같은 다른 전자 디바이스들 간의 차이는 특수 목적의 프로세서들의 통합 및 광범위한 전자 디바이스들에 대한 통신 성능들에 의해 점진적으로 희미해지고 있지만, 이들은 별개의 카테고리로 여전히 고려된다.
제스처-기반 컨트롤은 또한, 매우 다양한 전자 디바이스들, 예컨대 텔레비전들, 엔터테인먼트 시스템들, 현금 자동 입출금기 (ATM) 들, 또는 비슷한 디바이스들에서 구현될 수도 있다. 다이어그램 (200) 은 스틸 또는 비디오 이미지들을 디스플레이하도록 홈 또는 공공 환경에서 사용될 수도 있는 투사형 디스플레이 (204) 를 예시한다. 투사형 디스플레이 (204) 의 기능, 예컨대 파워-온/파워-오프, 디스플레이 특징, 오디오 특징 등은 사용자 (202) 의 제스처들을 인식함으로써 제어될 수도 있다. 도 1 에서와 같이, 하나 이상의 컨트롤 엘리먼트들 (208) 을 갖는 컨트롤 사용자 인터페이스는 제스처 인식 메커니즘과의 사용자의 상호작용을 용이하게 하고 피드백을 사용자 (202) 에게 제공하도록 나타날 수도 있다. 제스처들은 비디오 카메라 (206) 를 통해 캡처될 수도 있고, 이 비디오 카메라는 대안으로 스틸 이미지 카메라, 웹캠, 또는 유사한 이미지 캡처 디바이스일 수도 있다.
도 1 및 도 2 의 예시의 구현들이 예시하는 바와 같이, 제스처 인식을 이용하는 디바이스들 및 그들이 사용되는 환경은 광범위 스펙트럼에 걸쳐 변할 수도 있다. 스펙트럼의 일단에는 비교적 작은 디스플레이들을 갖는 핸드헬드 디바이스들 (예를 들어, 스마트 폰) 이 있고; 타단에는 비교적 큰 투사형 디스플레이들 또는 텔레비전 세트들이 있다. 유사하게, 홈 또는 오피스 환경에서, 사용자는 손 또는 팔들을 이용한 큰 제스처들을 사용해도 좋을 수도 있지만, 공공 환경들에서 이용 가능한 공간 또는 다른 고려사항들 (예를 들어, 제스처들에 대한 다른 사람의 반응) 이 핑거 제스처들과 같은 보다 작은 제스처들의 사용을 필요하게 만들 수도 있다.
일부 실시형태들에 따른 시스템에서, 디스플레이 사이즈 (가상 또는 물리적) 및/또는 로케이션 (공공 또는 사적) 과 같은 사용자의 환경이 자동으로 제스처들에 의해 제어되는 디바이스에 의해 검출될 수도 있고 제스처 인식에 대한 동적 범위가 조정될 수도 있다. 예를 들어, 범위는 공공 장소에서 또는 이용 가능한 디스플레이가 작은 경우 더 작은 제스처들에 대해, 그리고 사적인 장소 또는 이용 가능한 디스플레이 사이즈가 큰 경우 더 큰 제스처들에 대해 변경될 수도 있다. 검출은 로케이션 결정 (예를 들어, 글로벌 포지셔닝 서비스 (GPS) 의 사용, 셀룰러 로케이션 서비스, 무선 네트워크 로케이션 서비스 등), 환경으로부터의 비디오 및/또는 오디오 신호들의 해석 (예를 들어, 백그라운드 또는 잡음 레벨들에서 다수의 사람의 검출), 또는 사용자 입력에 기초할 수도 있다. 제스처 인식과 연관된 컨트롤 사용자 인터페이스는 검출된 환경에 또한 기초하여 사이즈 또는 배열 면에서 조정될 수도 있다. 컨트롤 사용자 인터페이스가 제공되지 않으면, 동적 범위 인디케이터가 사용자에게 제시되어 사용자가 동적 범위에서의 변화를 알게 할 수도 있다.
도 3 은 본원에 설명된 적어도 일부 실시형태들에 따라 동일한 디바이스 상의 환경의 검출에 기초하는 제스처 입력 컨트롤들의 조정을 예시한다. 다이어그램 (300) 은 제스처 인식의 동적 범위 컨트롤을 조정하는 일 예를 예시한다.
디스플레이 (310) 는 이미지 (312)(예를 들어, 빌딩들) 및 제스처 인식 컨트롤 사용자 인터페이스 (314) 를 나타낸다. 컨트롤 사용자 인터페이스 (314) 는 다수의 컨트롤 엘리먼트들, 예컨대 버튼들, 슬라이딩 컨드롤들, 텍스트 박스들, 등을 포함할 수도 있다. 상호작용을 사용자 친화적으로 (interaction user-friendly) 만들고 피드백을 사용자에게 제공하기 위해 상이한 컬러, 쉐이딩, 텍스트 스킴 또는 그래픽 스킴이 사용될 수도 있다. 예를 들어, 디스플레이 (310) 상에 도시된 것과 같은 비교적 작은 컨트롤 사용자 인터페이스로, 사용자는 핑거 제스처들 (316) 을 이용하여 컨트롤 사용자 인터페이스 (314) 의 엘리먼트들을 선택/활성화할 수도 있다.
디스플레이 (320) 는 이미지 (322) 및 더 큰 컨트롤 사용자 인터페이스 (324) 를 나타낸다. 사용자의 환경을 검출하는 것에 응답하여, 일부 실시형태들에 따른 시스템은 디스플레이된 컨트롤 사용자 인터페이스 (324) 의 사이즈 및 제스처 인식의 동적 범위를 조정할 수도 있다. 따라서, 이제 사용자는 핑거 제스처들 대신에 핸드 제스처들 (326) 을 이용할 수도 있다. 사이즈에 추가하여, 디스플레이된 컨트롤 사용자 인터페이스 (324) 내의 엘리먼트들의 배열 및/또는 수는 또한, 제스처 인식을 위해 조정된 동적 범위 및 검출된 환경에 기초하여 변경될 수도 있다.
도 4 는 본원에 설명된 적어도 일부 실시형태들에 따라 상이한 디바이스들 상에서 환경의 검출에 기초한 제스처 입력 컨트롤들의 조정을 예시한다. 다이어그램 (400) 은 디바이스 유형에 기초한 제스처 인식 동적 범위 및 컨트롤 사용자 인터페이스 조정의 예를 예시한다. 보통 사용자들은 컴퓨팅 디바이스들 간에 스위칭하고 동일한 소프트웨어 애플리케이션의 사용을 계속한다. 예를 들어, 사용자는 그들의 핸드헬드 컴퓨팅 디바이스 상에 웹 페이지를 브라우징할 수도 있고, 그들이 가정 또는 사무실에 도착했을 때 그들의 데스크톱 컴퓨터의 대형 디스플레이로 스위칭하여 동일한 웹 페이지를 브라우징하는 것을 계속할 수도 있다. 유사하게, 사람은 상이한 사이즈의 디스플레이들을 갖는 상이한 텔레비전 세트들 상에서 동일한 쇼를 보는 것을 계속할 수도 있다.
핸드헬드 컴퓨팅 디바이스 (430) 는 이미지 (432) 를 사용자에게 디스플레이하는 보다 작은 형태의 디바이스의 일 예이다. 컨트롤 사용자 인터페이스 (434) 는 제스처 인식 기능을 위해 핸드헬드 컴퓨팅 디바이스 (430) 상에 제시된다. 디바이스의 사이즈로 인해, 컨트롤 사용자 인터페이스 (434) 는 또한, 비교적 작을 수도 있다 (예를 들어, 서로 가까이 위치된 작은 버튼들).
사용자가 대형 디스플레이 디바이스 (440)(예를 들어, 데스크톱 컴퓨터의 모니터) 로 스위칭하는 경우, 유사한 이미지 (442) 가 계속해서 디스플레이될 수도 있지만, 디스플레이 환경에서의 변화를 검출 시에, 디스플레이 디바이스 (440) 는 제스처 인식의 동적 범위를 조정하고 동시에 컨트롤 사용자 인터페이스 (444) 의 사이즈 및/또는 배열 (예를 들어, 서로로부터 더 멀리 분리된 대형 버튼들) 을 조정할 수도 있다.
도 5 는 본원에 설명된 적어도 일부 실시형태들에 따른 휴대용 컴퓨팅 디바이스 상의 예시의 제스처 인식 동적 범위 스테이터스를 예시한다. 다이어그램 500 에 도시된 바와 같이, 컨트롤 사용자 인터페이스가 항상 표시되지 않을 수도 있다. 이러한 시나리오에서, 일부 실시형태들에 따른 디바이스는 제스처 인식 동적 범위에 대한 인디케이터 (548) 를 디스플레이할 수도 있다. 조정된 동적 범위에 관해 사용자에게 알리지 않으면, 제스처 인식의 정확도가 감소될 수도 있다. 그것을 방지하기 위해, 버튼 인디케이터 (548) 와 같은 그래픽 또는 텍스트 인디케이터는 디스플레이의 적합한 장소 (예를 들어, 메인 디스플레이된 이미지 (546) 아래) 에 디스플레이될 수도 있다.
일부 실시형태들에 따르면, 디스플레이된 버튼의 사이즈, 컬러, 및/또는 쉐이딩은 제스처 인식의 현재 동적 범위를 나타낼 수도 있다. 다른 실시형태들에 따르면, 슬라이딩 스케일 또는 2 개의 그래픽 엘리먼트들 (예를 들어, 아이콘들 간의 거리) 과 같은 다른 그래픽 스킴들이 사용되어 현재 동적 범위를 나타낼 수도 있다.
도 6 은 사용 시나리오에서의 제스처 UI 범위의 조정을 예시하고, 여기서 디바이스 구성은 본원에 설명된 적어도 일부 실시형태들에 따라 사용자의 로케이션에 기초하여 변한다. 전술된 바와 같이, 실시형태들에 따른 시스템은 환경을 검출하도록 구성된다. 환경의 검출은 로케이션 결정, 사용자의 공간의 검출, 이미지 캡처 디바이스와 사용자 간의 거리의 결정, 또는 이들의 임의의 조합 중 하나 이상에 기초할 수도 있다.
로케이션 결정은 GPS, 셀룰러, 또는 무선/유선 네트워크 서비스, 뿐만 아니라 오디오 및/또는 비디오 신호들의 해석 (예를 들어, 공공 환경, 군중들, 등의 검출) 과 같은 로케이션 서비스를 사용하여 수행될 수도 있다. 사용자의 공간의 검출은 사용자 근처에 다른 사람이 있는지 없는지 여부, 사용자 주변에 충분한 룸 (room) 이 있는지 여부 등의 검출을 포함할 수도 있다. 제스처들을 캡처하는 이미지 캡처 디바이스와 사용자 간의 거리는 얼마나 정확하게 제스처들이 인식되는지를 결정할 수도 있다. 따라서, 거리는 제스처 인식의 동적 범위를 조정하도록 사용자의 환경의 제 3 양태로서 검출될 수도 있다.
제스처 인식 동적 범위의 조정을 위해, 2 개 유형의 시나리오들이 고려될 수도 있다: 하나의 시나리오에서, 환경은 변할 수 있지만 디바이스 구성 (예를 들어, 디스플레이의 사이즈, 검출 성능 등) 은 변하지 않을 수도 있다; 다른 시나리오에서, 디바이스 구성이 환경 변화와 함께 변할 수도 있다.
다이어그램 600 에서 도시된 바와 같이, 이미지 캡처링 디바이스 (651) 로부터의 사용자의 거리는 사용자 움직임들에 대한 범위에 영향을 줄 수도 있다. 예를 들어, 사용자가 이미지 캡처링 디바이스 (651) 에 더 가까우면, 사용자 움직임 (즉, 제스처들)(652) 에 대한 최대 거리는 컨트롤 사용자 인터페이스 (654) 를 관리하는데 필요한 범위와 대략 동일할 수도 있다. 일부 실시형태들에 따라, 동적 범위는 2 개의 인디케이터들 (656 및 658) 을 사용하여 제어형 디바이스 (650) 상에 디스플레이될 수도 있다.
후속 시나리오에서, 사용자는 사적 로케이션에 도착하고, 도킹 스테이션 상에 동일한 디바이스를 배치하여 더 큰 거리 (지금 디바이스 (660)) 로부터 사용 가능하게 된다. 사용자의 환경과 함께 변하는 디바이스 구성의 이 예의 시나리오에서, 컨트롤 사용자 인터페이스 (664) 를 관리하는데 필요한 범위가 이전과 동일하더라도, 사용자 움직임들에 대한 새로운 최대 범위 (662) 는 사용자 움직임들에 대한 이전의 최대 범위 (652) 보다 크다. 따라서, 사용자는 보다 큰 제스처들 (예를 들어, 핑거 움직임들 대신에 핸드 제스처들) 을 사용할 수 있다. 이는, 2 개의 더 가까이 위치된 동적 범위 인디케이터들 (666 및 668) 로 디바이스 (660) 상에 표시될 수도 있다.
따라서, 단지 환경이 변하고 디바이스 구성이 변하지 않는 경우에서, 동적 범위의 단순한 감축이 충분할 수도 있다. 다른 시나리오들에 따라, 동적 범위는 증가 또는 확장될 수도 있다. 디바이스 구성 및 환경이 변하는 경우에서, 전술된 팩터들 (예를 들어, 디스플레이 사이즈, 사용자의 공간, 카메라와 사용자 간의 거리 등) 은 개별적으로 또는 결합적으로 고려되어 제스처 인식을 위한 최적의 동적 범위를 결정할 수도 있다. 이에 따라, 컨트롤 사용자 인터페이스 및/또는 디스플레이된 동적 범위 인디케이션이 또한 조정될 수도 있다.
도 7 은 본원에 설명된 적어도 일부 실시형태들에 따라 사용자의 환경에 따른 제스처-기반 컨트롤 UI 조정의 예를 예시한다. 도 7 에 도시된 바와 같이, 제스처 인식을 위한 컨트롤 사용자 인터페이스는 많은 형태들을 취할 수도 있다. 예를 들어, 헤드-마운트 디스플레이들 (또는 다른 디스플레이들) 을 이용한 증강 현실 (Augmented Reality; AR) 기반 구현들이 점점 더 인기 있어진다. 이들 반-투과형 디스플레이들은 실제 장면 상에 겹쳐진 하나 이상의 소프트웨어 애플리케이션들에 대한 가상의 사용자 인터페이스들을 보는 동안, 사용자들로 하여금 그들의 환경을 보게 할 수 있다.
디스플레이 (770) 는 예시의 AR 구현을 도시하고, 여기서 사용자는 백그라운드에 사람 (771) 이 있는 공공 로케이션에 있고 데스크톱 애플리케이션 사용자 인터페이스 (772) 가 실제 장면 위에 겹쳐져 있다. 데스크톱 애플리케이션 사용자 인터페이스 (772) 는 투-두 리스트 (to-do list) 애플리케이션 (774), 카렌더 애플리케이션 (775), 필기 (note taking) 애플리케이션 (776) 에 대한 엘리먼트들, 및/또는 다른 컨트롤 엘리먼트들 (773) 을 포함할 수도 있다. 사용자가 공공 로케이션에 있기 때문에, 데스크톱 애플리케이션 사용자 인터페이스 (772) 의 사이즈 및 배열은 디스플레이 (770) 상에 도시된 바와 같은 주변들의 편안한 조망 (comfortable viewing) 을 허용하도록 최소화되거나 구성될 수도 있다. (사용자 인터페이스의 엘리먼트들과의 상호작용하기 위해) 제스처 인식을 위한 사용자 인터페이스 사이즈 및/또는 동적 범위의 조정은 전술된 환경 검출에 기초할 수도 있다.
디스플레이 (780) 는 데스크톱 애플리케이션 사용자 인터페이스 (772) 의 변경된 버전인 데스크톱 애플리케이션 사용자 인터페이스 (782) 를 도시한다. 사람 (771) 대신에 책장 (781) 을 검출하는 것과 같이 사용자의 환경에서의 변화를 검출하고, 사용자가 사적 로케이션에 있는 것으로 해석할 시에, 시스템은 데스크톱 애플리케이션 사용자 인터페이스 (782) 의 사이즈를 증가시킬 수도 있다. 투-두 리스트 애플리케이션 (784), 카렌더 애플리케이션 (785), 필기 애플리케이션 (786), 및/또는 다른 컨트롤 엘리먼트들 (783) 을 나타내는 아이콘들 중 적어도 일부는 또한 보다 큰 가상의 작업 영역을 사용자에게 제공하도록 사이즈 면에서 증가되거나 상이하게 배치될 수도 있다.
데스크톱 애플리케이션 사용자 인터페이스 (782) 의 사이즈의 증가와 함께, 그/그녀가 지금 사적 로케이션에 있기 때문에 제스처 인식을 위한 동적 범위가 또한 조정되어 사용자로 하여금 보다 큰 제스처들을 활용하게 할 수도 있다.
도 8 은 범용 컴퓨팅 디바이스를 예시하고, 이 컴퓨팅 디바이스는 본원에 설명된 적어도 일부 실시형태들에 따라 제스처 인식을 위한 환경-의존 동적 범위 컨트롤을 구현하는데 사용될 수도 있다. 매우 기본적인 구성 (802) 에서, 컴퓨팅 디바이스 (800) 는 통상적으로 하나 이상의 프로세서들 (804) 및 시스템 메모리 (806) 를 포함한다. 프로세서 (804) 와 시스템 메모리 (806) 간의 통신을 위해 메모리 버스 (808) 가 사용될 수도 있다.
원하는 구성에 따라, 프로세서 (804) 는 마이크로프로세서 (μP), 마이크로제어기 (μC), 디지털 신호 프로세서 (DSP), 또는 이들의 임의의 조합을 포함하지만 이들에 한정되지 않는 임의의 유형일 수도 있다. 프로세서 (804) 는 레벨 캐시 메모리 (812) 와 같은 하나 이상의 레벨들의 캐싱, 프로세서 코어 (814), 및 레지스터들 (816) 을 포함할 수도 있다. 예시의 프로세서 코어 (814) 는 산술 논리 유닛 (ALU), 부동소수점 처리 유닛 (FPU), 디지털 신호 프로세싱 코어 (DSP 코어), 또는 이들의 임의의 조합을 포함할 수도 있다. 예시의 메모리 제어기 (818) 는 또한, 프로세서 (804) 와 함께 사용될 수 있으며, 또는 일부 구현들에서, 메모리 제어기 (818) 는 프로세서 (804) 의 내부 부품일 수도 있다.
원하는 구성에 따르면, 시스템 메모리 (806) 는 휘발성 메모리 (예컨대, RAM), 비휘발성 메모리 (예컨대, ROM, 플래시 메모리 등) 또는 이들의 임의의 조합을 포함하지만 이들에 한정되지 않는 임의의 유형일 수도 있다. 시스템 메모리 (806) 는 운영 시스템 (820), 애플리케이션 (822), 및 프로그램 데이터 (824) 를 포함할 수도 있다. 애플리케이션 (822) 은 임의의 컴퓨터 애플리케이션일 수도 있으며, 사용자 제스처들을 검출하고 그들을 애플리케이션 (822) 및 전술된 임의의 다른 프로세스들, 방법들 및 기능들에 대한 컨트롤 입력으로서 활용하도록 구성되는 제스처 인식 모듈 (826) 을 포함할 수도 있다. 프로그램 데이터 (824) 는 적어도 도 1 내지 도 7 과 관련되어 전술된 환경 데이터 (828) 및 유사한 데이터 중 하나 이상을 포함할 수도 있다. 이 데이터는 본원에 설명된 바와 같은 제스처 인식을 위한 동적 범위 컨트롤을 조정하는데 유용할 수도 있다. 일부 실시형태들에서, 애플리케이션 (822) 은, 전술된 바와 같이 운영 시스템 (820) 상의 프로그램 데이터 (824) 와 동작하도록 배열될 수도 있다. 이 설명된 기본 구성 (802) 은 도 8 에서 쇄선 내의 컴포넌트들로 도시된다.
컴퓨팅 디바이스 (800) 는 추가의 피처들 또는 기능, 및 기본 구성 (802) 과 임의의 필요한 디바이스들 및 인터페이스들 간의 통신들을 용이하게 하는 추가의 인터페이스들을 가질 수도 있다. 예를 들어, 버스/인터페이스 제어기 (830) 는 저장 인터페이스 버스 (834) 를 통해 기본 구성 (802) 과 하나 이상의 데이터 저장 디바이스들 (832) 간의 통신을 용이하게 하는데 사용될 수 있다. 데이터 저장 디바이스들 (832) 은 착탈형 저장 디바이스들 (836), 비-착탈형 저장 디바이스들 (838), 또는 이들의 조합일 수도 있다. 착탈형 저장 및 비-착탈형 저장 디바이스들의 예들은, 몇 가지만 예를 들면, 플렉서블 디스크 드라이브들 및 하드디스크 드라이브들 (HDD) 과 같은 자기 디스크 디바이스들, 콤팩트디스크 (CD) 드라이브들 또는 디지털 다기능 디스크 (DVD) 드라이브들과 같은 광학 디스크 드라이브들, 솔리드 스테이트 드라이브들 (SSD) 및 테이프 드라이브들을 포함한다. 예시의 컴퓨터 저장 매체는 컴퓨터 판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 착탈형 및 비-착탈형 매체를 포함할 수도 있다.
시스템 메모리 (806), 착탈형 저장 디바이스들 (836) 및 비-착탈형 저장 디바이스들 (838) 은 컴퓨터 저장 매체의 예들이다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크들 (DVD) 또는 다른 광학적 스토리지, 자기 카세트들, 자기 테이프, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 원하는 정보를 저장하는데 사용될 수 있고 컴퓨팅 디바이스 (800) 에 의해 액세스될 수도 있는 임의의 다른 매체를 포함하지만 이들에 한정되지 않는다. 임의의 이러한 컴퓨터 저장 매체는 컴퓨팅 디바이스 (800) 의 일부일 수도 있다.
컴퓨팅 디바이스 (800) 는 또한, 버스/인터페이스 제어기 (830) 를 통해 다양한 인터페이스 디바이스들 (예를 들어, 출력 디바이스들 (842), 주변장치 인터페이스들 (844), 및 통신 디바이스들 (866)) 로부터 기본 구성 (802) 으로의 통신을 용이하게 하기 위한 인터페이스 버스 (840) 를 포함할 수도 있다. 예시의 출력 디바이스들 (842) 은 그래픽 프로세싱 유닛 (848) 및 오디오 프로세싱 유닛 (850) 을 포함하는데, 이들은 하나 이상의 A/V 포트들 (852) 을 통해 디스플레이 또는 스피커들과 같은 다양한 외부 디바이스들과 통신하도록 구성될 수도 있다. 예시의 주변장치 인터페이스들 (844) 은 직렬 인터페이스 제어기 (854) 또는 병렬 인터페이스 제어기 (856) 를 포함하는데, 이들은 하나 이상의 I/O 포트들 (858) 을 통해 입력 디바이스들 (예를 들어, 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스 등) 또는 다른 주변장치 디바이스들 (예를 들어, 카메라 등) 과 같은 외부 디바이스들과 통신하도록 구성될 수도 있다. 예시의 통신 디바이스 (866) 는 네트워크 제어기 (860) 를 포함하는데, 이는 하나 이상의 통신 포트들 (864) 을 통해 네트워크 통신 링크를 거쳐 하나 이상의 다른 컴퓨팅 디바이스들 (862) 과의 통신을 용이하게 하도록 배열될 수도 있다.
네트워크 통신 링크는 통신 매체의 일례이다. 통신 매체는 통상적으로 컴퓨터 판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 또는 반송파나 다른 전송 메커니즘과 같은 변조된 데이터 신호에서의 다른 데이터에 의해 구현될 수도 있으며, 임의의 정보 전달 매체를 포함할 수도 있다. "변조된 데이터 신호" 는 신호에서의 정보를 인코딩하도록 하는 방식으로 설정되거나 변경된 특성들 중 하나 이상의 특성을 갖는 신호일 수도 있다. 제한이 아니라 예시로서, 통신 매체는 유선 네트워크 또는 직접 유선 접속 (direct-wired connection) 과 같은 유선 매체, 및 어쿠스틱, 무선 주파수 (RF), 마이크로파, 적외선 (IR) 및 다른 무선 매체와 같은 무선 매체를 포함할 수도 있다. 본원에서 사용되는 바와 같은 컴퓨터 판독가능 매체라는 용어는 저장 매체 및 통신 매체 양자 모두를 포함할 수도 있다.
컴퓨팅 디바이스 (800) 는 상기 기능들 중 임의의 것을 포함하는 물리적 서버, 가상 서버, 컴퓨팅 클라우드, 또는 하이브리드 디바이스의 일부분으로서 구현될 수도 있다. 컴퓨팅 디바이스 (800) 는 또한, 랩톱 컴퓨터 및 비-랩톱 컴퓨터 구성들 양자 모두를 포함하는 개인용 컴퓨터로서 구현될 수도 있다. 더욱이, 컴퓨팅 디바이스 (800) 는 범용 또는 특수 서버의 일부로서 또는 네트워크형 시스템으로서 구현될 수도 있다.
컴퓨팅 디바이스 (800) 를 포함하는 네트워크형 시스템을 위한 네트워크들은 서버, 클라이언트, 스위치, 라우터, 모뎀, 인터넷 서비스 제공자, 및 임의의 적합한 통신 매체 (예를 들어, 유선 또는 무선 통신들) 의 임의의 토폴로지를 포함할 수도 있다. 실시형태들에 따른 시스템은 정적 또는 동적 네트워크 토폴로지를 가질 수도 있다. 네트워크들은 엔터프라이즈 네트워크 (예를 들어, LAN, WAN, 또는 WLAN) 와 같은 보안 네트워크, 무선 개방 네트워크 (예를 들어, IEEE 802.11 무선 네트워크) 와 같은 비보안 네트워크, 또는 (예를 들어, 인터넷) 과 같은 월드-와이드 네트워크를 포함할 수도 있다. 네트워크들은 또한, 함께 동작하도록 적응되는 복수의 별개의 네트워크들을 포함할 수도 있다. 이러한 네트워크들은 본원에 설명된 노드들 간의 통신을 제공하도록 구성된다. 비 제한적인 예로써, 이들 네트워크들은 음향, RF, 적외선과 같은 무선 매체 및 다른 무선 매체를 포함할 수도 있다. 또한, 네트워크들은 동일한 네트워크 또는 별개의 네트워크들의 일부분일 수도 있다.
도 9 는 특수 목적의 프로세서를 예시하고, 이 프로세서는 본원에 설명된 적어도 일부 실시형태들에 따라 제스처 인식을 위해 환경-의존 동적 범위 컨트롤을 구현하는데 사용될 수도 있다. 다이어그램 900 에 도시된 바와 같이, 프로세서 (990) 는 제스처 입력에 의해 제어될 수 있는 컴퓨팅 디바이스 또는 임의의 전자 디바이스 (예를 들어, 텔레비전, ATM 콘솔, 또는 비슷한 것들) 의 일부일 수도 있다.
프로세서 (990) 는 다수의 모듈들, 예컨대 여러 가지 중에서 사용자 제스처들, 사용자 환경을 캡처하도록 카메라 (980) 와 같은 캡처 디바이스들과 네트워크(들)(910-2) 를 통해 통신하도록 구성된 환경 검출 모듈 (996) 및 제스처 인식 모듈 (998) 을 포함할 수도 있다. 환경 검출 모듈 (996) 에 의한 환경 검출 시에, 프로세서 (990) 는 검출된 환경에 따라 제스처 입력 범위 및/또는 컨트롤 사용자 인터페이스 사이즈를 동적으로 조정할 수도 있다.
메모리 (991) 는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로서 구현될 수도 있는, 프로세서 (990) 의 컨트롤 모듈들에 대한 명령들을 저장하도록 구성될 수도 있다. 데이터의 일부는 비 제한적으로 환경 데이터 (992), 제스처 데이터 (994), 또는 유사한 정보를 포함할 수도 있다. 프로세서 (990) 는 다른 디바이스들, 예를 들어 디스플레이 (970) 및/또는 저장 설비 (960) 와 같은 데이터 저장소들과 전기적 커플링들을 통해 또는 네트워크형 통신 (예를 들어, 네트워크(들)(910-1)) 을 통해 통신하도록 구성될 수도 있다.
예시의 실시형태들은 또한, 방법들을 포함할 수도 있다. 이들 방법들은 본원에 설명된 구조들을 포함하는, 많은 방식들로 구현될 수 있다. 하나의 이러한 방식은 본 개시물에 설명된 유형의 디바이스들의 머신 동작들에 의한 것이다. 다른 최적의 방식은, 다른 동작들이 머신들에 의해 수행되는 동안 동작들 중 일부를 수행하는 하나 이상의 인간 오퍼레이터들과 함께 수행되는 방법들의 개별의 동작들 중 하나 이상에 대한 것이다. 이들 인간 오퍼레이터들은 서로 협력 (collocate) 할 필요가 없고, 각각은 단지 프로그램의 일부를 수행하는 머신과 협력할 수도 있다. 다른 예들에서, 인간 상호작용은 예컨대 머신이 자동화되는 미리 선택된 기준에 의해 자동화될 수 있다.
도 10 은 본원에 설명된 적어도 일부 실시형태들에 따라 도 9 의 프로세서 (990) 와 같은 특수 목적의 프로세서 또는 도 8 의 디바이스 (800) 와 같은 컴퓨팅 디바이스에 의해 수행될 수도 있는 제스처 인식에 대한 환경-의존 동적 범위 컨트롤을 구현하는 예시의 방법을 예시하는 흐름도이다. 블록들 (1022 내지 1028) 에 설명된 동작들은 컴퓨터 판독가능 매체 (1020) 에서의 컴퓨터 실행 가능 명령들로서 저장되고, 제어기 디바이스 (1010) 에 의해 실행될 수도 있으며, 제어기 디바이스는 도 8 의 컴퓨팅 디바이스 (800), 도 9 의 특수 목적의 프로세서 (990), 또는 유사한 디바이스일 수도 있다.
제스처 인식을 위한 환경-의존 동적 범위 컨트롤을 이용하는 프로세서는 동작 1022, "환경 검출" 에서 시작할 수도 있다. 동작 1022 에서, 로케이션과 같은 사용자의 환경, 디바이스 및/또는 디스플레이의 사이즈 등은 포지션 정보, 카메라로부터의 정보, 마이크로폰으로부터의 정보, 또는 비슷한 소스들에 기초하여 결정될 수도 있다.
동작 1022 다음에 동작 1024, "제스처 입력 동적 범위 조정" 이 이어질 수도 있다. 동작 1024 에서, 제스처 인식 설정은 검출된 환경에 기초하여 조정될 수도 있다. 예를 들어, 제스처 컨트롤들은 핸드-기반 컨트롤들에서 핑거-기반 컨트롤들로 또는 그 반대로 변화될 수도 있다. 물론, 보다 작은 조정들 (예를 들어, 보다 큰 핸드 제스처들 대 보다 작은 핸드 제스처들) 이 또한 수행될 수도 있다.
동작 1024 다음에 선택적 동작 1026, "제어기 사용자 인터페이스가 있다면, 제어기 사용자 인터페이스 사이즈를 조정" 이 이어질 수도 있다. 선택적 동작 1026 에서, 제어기 사용자 인터페이스는 검출된 환경 및/또는 조정된 제스처 인식 범위에 기초하여 조정될 수도 있다. 예를 들어, 버튼들 또는 유사한 컨트롤 엘리먼트들의 수 및/또는 사이즈, 컨트롤 엘리먼트들의 배열은 전술된 환경들에 기초하여 변경될 수도 있다.
선택적 동작 1026 다음에 선택적 동작 1028, "제어기 사용자 인터페이스가 없다면, 동적 범위 스테이터스 인디케이터를 제공/조정" 이 이어질 수도 있다. 선택적 동작 1028 에서, 하나 이상의 아이콘들 또는 유사한 디스플레이 엘리먼트들은 디바이스가 제어기 사용자 인터페이스를 포함하지 않는 경우 조정된 제스처 인식 범위에 관하여 사용자에게 피드백을 제공하도록 사용될 수도 있다.
전술된 프로세스에 포함된 동작들은 예시의 목적들이다. 제스처 인식을 위한 환경-의존 동적 범위 컨트롤은 보다 적은 또는 추가의 동작들을 갖는 유사한 프로세스들에 의해 구현될 수도 있다. 일부 예들에서, 동작들은 상이한 순서로 수행될 수도 있다. 일부 다른 예들에서, 각종 동작들이 제거될 수도 있다. 또 다른 예들에서, 각종 동작들은 추가의 동작들로 분할되거나, 보다 적은 동작들로 함께 결합될 수도 있다.
도 11 은 본원에 설명된 적어도 일부 실시형태들에 따라 구성된 예시의 컴퓨터 프로그램 제품의 블록도를 예시한다. 일부 예들에서, 도 11 에 도시된 바와 같이, 컴퓨터 프로그램 제품 (1100) 은 머신 판독가능 명령들 (1104) 을 또한 포함할 수도 있는 신호 베어링 매체 (1102) 를 포함할 수도 있고, 명령들은 예를 들어 프로세서에 의해 실행되는 경우 도 8 또는 도 9 에 대하여 전술된 기능을 제공할 수도 있다. 따라서, 예를 들어 컴퓨팅 디바이스 (800) 를 참조하면, 환경 검출 모듈 (826) 은 본원에 설명된 바와 같은 제스처 인식을 위한 환경-의존 동적 범위 컨트롤과 연관된 액션들을 수행하기 위해 신호 베어링 매체 (1102) 에 의해 프로세서 (804) 로 전달된 명령들 (1104) 에 응답하여 도 11 에 도시된 태스크들 중 하나 이상을 착수할 수도 있다. 이들 명령들 중 일부는 환경을 검출하는 것, 제스처 입력 동적 범위를 조정하는 것, 및 제어기 사용자 인터페이스 및/또는 동적 범위 스테이터스 인디케이터를 조정하는 것과 연관될 수도 있다.
일부 구현들에서, 도 11 에 도시된 신호 베어링 매체 (1102) 는 비 제한적으로 하드 디스크 드라이브, 컴팩트 디스크 (CD), 디지털 다기능 디스크 (DVD), 디지털 테이프, 메모리 등과 같은 컴퓨터 판독가능 매체 (1106) 를 망라할 수도 있다. 일부 구현들에서, 신호 베어링 매체 (1102) 는 비 제한적으로 메모리, R/W (read/write) CD 들, R/W DVD 들 등과 같은 기록가능 매체 (1108) 를 망라할 수도 있다. 일부 구현들에서, 신호 베어링 매체 (1102) 는 비 제한적으로 디지털 및/또는 아날로그 통신 매체 (예를 들어, 광 섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등) 와 같은 통신 매체 (1110) 를 망라할 수도 있다. 따라서, 예를 들어 프로그램 제품 (1100) 은 RF 신호 베어링 매체에 의해 프로세서 (990) 의 하나 이상의 모듈들로 전달될 수도 있고, 여기서 신호 베어링 매체 (1102) 는 무선 통신 매체 (1110) (예를 들어, IEEE 802.11 표준에 따르는 무선 통신 매체) 에 의해 전달된다.
본 개시물은 제스처 인식의 동적 범위를 조정하는 방법을 제시한다. 일부 예들에 따르면, 방법은 제스처 인식 가능 전자 디바이스의 사용자의 환경을 검출하는 단계 및 사용자의 검출된 환경에 기초하여 제스처 인식 가능 전자 디바이스에 대한 제스처 입력 동적 범위를 조정하는 단계를 포함한다. 환경은 공공 로케이션 또는 사적 로케이션을 포함할 수도 있다.
다른 예들에 따르면, 방법은 또한, 전다 디바이스가 제스처 인식 컨트롤 UI 를 디스플레이하는 경우 조정된 제스처 입력 동적 범위에 기초하여 제스처 인식 컨트롤 사용자 인터페이스 (UI) 의 사이즈를 조정하는 단계를 포함할 수도 있다. 제스처 인식 컨트롤 UI 는 컨트롤 엘리먼트 및/또는 애플리케이션 사용자 인터페이스를 포함할 수도 있다. 방법은, 제스처 인식 컨트롤 UI 의 적어도 하나의 엘리먼트의 사이즈 및/또는 포지션 중 하나 이상을 변경함으로써 제스처 인식 컨트롤 UI 를 조정하는 단계를 더 포함할 수도 있다.
추가의 예들에 따르면, 방법은 전자 디바이스가 제스처 인식 컨트롤 UI 를 디스플레이하지 않는 경우 현재의 제스처 입력 동적 범위를 반영 (reflect) 하는 제스처 입력 동적 범위 인디케이터를 디스플레이하는 단계를 포함할 수도 있다. 방법은 오디오 신호, 비디오 신호, 및/또는 로케이션 정보 중 하나 이상에 기초하여 환경을 검출하는 단계를 더 포함할 수도 있다. 로케이션 정보는 글로벌 포지셔닝 서비스 (GPS) 신호, 무선 네트워크 신호, 및/또는 셀룰러 통신 신호 중 하나 이상으로부터 획득될 수도 있다. 방법은 또한, 이미지 인식, 전자 디바이스의 구성, 또는 전자 디바이스와 사용자 간의 거리에 기초하여 환경을 검출하는 단계를 포함할 수도 있다.
본 개시물은 또한, 제스처 인식의 동적 범위를 조정할 수 있는 장치를 설명한다. 일부 예들에 따르면, 장치는 제스처들을 검출하기 위한 이미지 캡처 디바이스, 명령들을 저장하도록 구성된 메모리, 및 메모리에 커플링된 프로세서를 포함할 수도 있다. 프로세서는 명령들을 실행하도록 구성될 수도 있으며, 이 명령들은 실행되는 경우, 사용자의 환경을 검출하고 사용자의 검출된 환경에 기초하여 제스처 입력 동적 범위를 조정하도록 프로세서를 구성한다. 환경은 공공 로케이션 또는 사적 로케이션일 수도 있다. 프로세서는 또한, 장치가 제스처 인식 컨트롤 UI 를 디스플레이하는 경우 조정된 제스처 입력 동적 범위에 기초하여 제스처 인식 컨트롤 사용자 인터페이스 (UI) 의 사이즈를 조정하도록 구성될 수도 있다.
다른 예들에 따르면, 제스처 인식 컨트롤 UI 는 컨트롤 엘리먼트 및/또는 애플리케이션 사용자 인터페이스를 포함할 수도 있고, 프로세서는 제스처 인식 컨트롤 UI 의 적어도 하나의 엘리먼트의 사이즈 및/또는 포지션 중 하나 이상의 변경함으로써 제스처 인식 컨트롤 UI 를 조정할 수도 있다. 프로세서는 또한, 전자 디바이스가 제스처 인식 컨트롤 UI 를 디스플레이하지 않는 경우 현재의 제스처 입력 동적 범위를 반영하는 제스처 입력 동적 범위 인디케이터를 디스플레이할 수도 있다.
추가의 예들에 따르면, 프로세서는 오디오 신호, 비디오 신호, 및/또는 로케이션 정보 중 하나 이상에 기초하여 환경을 검출할 수도 있으며, 여기서 장치는 글로벌 포지셔닝 서비스 (GPS) 신호, 무선 네트워크 신호, 또는 셀룰러 통신 신호로부터 로케이션 정보를 획득할 수 있는 적어도 하나의 통신 모듈을 더 포함할 수도 있다. 장치는 또한, 환경의 유형을 결정하기 위해서 환경으로부터 비디오 신호들을 캡처하기 위한 카메라 및 오디오 신호들을 캡처하기 위한 마이크로폰 중 하나 이상을 포함할 수도 있다.
프로세서는 이미지 인식, 장치의 구성, 장치의 유형, 및/또는 사용자와 장치 간의 거리 중 하나 이상에 기초하여 환경을 검출할 수도 있다. 더욱이, 장치는 데스크톱 컴퓨터, 랩톱 컴퓨터, 핸드헬드 컴퓨터, 비히클-마운트 컴퓨터, 스마트 폰, 텔레비전 모니터, 투사형 디바이스, 또는 컴퓨팅 디바이스에 커플링된 디스플레이일 수도 있다.
본 개시물은 또한, 제스처 인식의 동적 범위를 조정하기 위해 명령들 저장되는 컴퓨터 판독가능 저장 매체를 설명한다. 명령들은 제스처-인식 가능 전자 디바이스의 사용자의 환경을 검출하는 것 및 공공 로케이션 또는 사적 로케이션일 수도 있는, 사용자의 환경에 기초하여 제스처 인식 가능 전자 디바이스에 대한 제스처 입력 동적 범위를 조정하는 것을 포함할 수도 있다.
명령들은 또한, 전자 디바이스가 제스처 인식 컨트롤 UI 를 디스플레이하는 경우 조정된 제스처 입력 동적 범위에 기초하여 제스처 인식 컨트롤 사용자 인터페이스 (UI) 의 사이즈를 조정하는 것을 포함할 수도 있고, 여기서 제스처 인식 컨트롤 UI 는 컨트롤 엘리먼트 및/또는 애플리케이션 사용자 인터페이스를 포함한다. 다른 예들에 따르면, 명령들은 제스처 인식 컨트롤 UI 의 적어도 하나의 엘리먼트의 사이즈 및/또는 포지션 중 하나 이상을 변경함으로써 제스처 인식 컨트롤 UI 를 조정하는 것, 및 전자 디바이스가 제스처 인식 컨트롤 UI 를 디스플레이하지 않는 경우 현재의 제스처 입력 동적 범위를 반영하는 제스처 입력 동적 범위 인디케이터를 디스플레이하는 것을 더 포함할 수도 있다. 환경은 오디오 신호, 비디오 신호, 및/또는 로케이션 정보 중 하나 이상에 기초하여 검출될 수도 있다. 환경은 또한, 이미지 인식, 전자 디바이스의 구성, 전자 디바이스의 유형, 및/또는 사용자와 전자 디바이스 간의 거리 중 하나 이상에 기초하여 검출될 수도 있다.
시스템의 양태들의 하드웨어 구현과 소프트웨어 구현 간에 약간의 차이가 있다; 하드웨어 또는 소프트웨어의 사용은 일반적으로 비용 대 효율 트레이드오프를 나타내는 디자인 선택이다 (항상 그러한 것은 아니지만, 소정 상황에서 하드웨어와 소프트웨어 간의 선택은 중요해질 수도 있다). 본원에 설명된 프로세스들 및/또는 시스템들 및/또는 다른 기술들이 영향을 받을 수 있는 각종 비히클들 (예를 들어, 하드웨어, 소프트웨어, 및/또는 펌웨어) 이 존재하고, 바람직한 비히클은 프로세스들 및/또는 시스템들 및/또는 다른 기술들이 전개되는 맥락에서 변할 것이다. 예를 들어, 시행자가, 속도 및 정확도가 가장 중요하다고 결정하면, 시행자는 주로 하드웨어 및/또는 펌웨어 비히클을 선택할 수도 있다; 플렉서빌리티가 가장 중요하면, 시행자는 주로 소프트웨어 구현을 선택할 수도 있다; 또는 다시 한번 대안으로, 시행자는 하드웨어, 소프트웨어, 및/또는 펌웨어의 일부 조합을 선택할 수도 있다.
상기 상세한 설명은 블록도, 플로우차트, 및/또는 예들의 사용을 통해 디바이스들 및/또는 프로세스들의 각종 실시형태들을 설명하였다. 이러한 블록도, 플로우차트, 및/또는 예들이 하나 이상의 기능들 및/또는 동작들을 포함하는 한, 이러한 블록도, 플로우차트, 또는 예들 내에서 각각의 기능 및/또는 동작이 하드웨어, 소프트웨어, 펌웨어, 또는 사실상 이들의 임의의 조합에 의해 개별적으로 그리고/또는 집합적으로 구현될 수도 있음을 당업자들은 이해할 것이다. 일 실시형태에서, 본원에 설명된 주제의 여러 부분들은 주문형 집적 회로 (ASIC), 필드 프로그래머블 게이트 어레이 (FPGA), 디지털 신호 프로세서 (DSP), 또는 다른 집적된 포맷들을 통해 구현될 수도 있다. 그러나, 당업자는, 본원에 개시된 실시형태들의 일부 양태들이, 전체로 또는 부분적으로, 하나 이상의 컴퓨터들 상에서 실행되는 하나 이상의 컴퓨터 프로그램으로서 (예를 들어, 하나 이상의 컴퓨터 시스템 상에서 실행되는 하나 이상의 프로그램들로서), 하나 이상의 프로세서들 상에서 실행되는 하나 이상의 프로그램들로서 (예를 들어, 하나 이상의 마이크로프로세서들 상에서 실행되는 하나 이상의 프로그램들로서), 펌웨어로서, 또는 사실상 이들의 임의의 조합으로서, 집적 회로에서 동등하게 구현될 수도 있고, 소프트웨어 및/또는 펌웨어에 대한 코드를 기입하고/하거나 회로를 설계하는 것이 본 개시물을 고려하여 당업자에게 잘 알려져 있다는 것을 인지할 것이다.
본 개시물은 본 출원에 설명된 특정 실시형태들의 관점에 한정되는 것이 아니며, 각종 양태들의 예시로서 의도된다. 본 개시물의 사상 및 범위를 벗어남 없이 많은 변경들 및 변형들이 이루어질 수 있으며, 당업자에게 명백할 것이다. 본원에 열거된 것들에 추가하여, 본 개시물의 범위 내의 기능적으로 등가의 방법들 및 장치들은 상기 설명들로부터 당업자에게 명백해질 것이다. 이러한 변경들 및 변형들은 첨부된 청구항의 범위 내에 있도록 의도된다. 본 개시물은 첨부된 청구항들의 관점에 의해서만 한정되고, 첨부된 청구항들에 대한 등가물들의 전체 범위와 함께 그러한 청구항들에 권리가 있다. 본 개시물은 특정 방법들, 자료들 및 구성들에 한정되지 않으며, 이들은 물론 변할 수 있는 것으로 이해되어야 한다. 또한, 본원에 사용된 전문 용어들은 특정 실시형태들 만을 설명하기 위한 목적이며, 한정하는 것으로 의도되지 않는다.
또한, 당업자는, 본원에 설명된 주제의 메커니즘들이 다양한 형태들로 프로그램 제품으로서 배포될 수 있고 본원에 설명된 주제의 예시적인 실시형태가 실제로 배포를 수행하기 위해 사용된 신호 베어링 매체의 특정 유형에 관계없이 적용할 수 있음을 인식할 것이다. 신호 베어링 매체의 예들로는, 비 제한적으로 다음을 포함한다: 플로피 디스크, 하드 디스크 드라이브, 콤팩트 디스크 (CD), 디지털 다기능 디스크 (DVD), 디지털 테이프, 컴퓨터 메모리 등과 같은 기록가능 유형 매체; 및 디지털 및/또는 아날로그 통신 매체 (예를 들어, 광섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등) 와 같은 송신 유형 매체.
당업자는, 본원에 설명된 방식으로 디바이스들 및/또는 프로세스들을 설명하고 그 후 그러한 설명된 디바이스들 및/또는 프로세스들을 데이터 프로세싱 시스템들로 통합하기 위해 엔지니어링 실행들을 사용하는 것이 당업계에서 일반적임을 인지한다. 즉, 본원에 설명된 디바이스들 및/또는 프로세스들의 적어도 일부는 타당한 양의 실험을 통해 데이터 프로세싱 시스템들 안으로 통합될 수도 있다. 당업자는, 통상의 데이터 프로세싱 시스템이 일반적으로 시스템 유닛 하우징, 비디오 디스플레이 디바이스, 휘발성 및 비휘발성 메모리와 같은 메모리, 마이크로프로세서 및 디지털 신호 프로세서들과 같은 프로세서들, 운영 시스템, 드라이버들, 그래픽 사용자 인터페이스들과 같은 계산 엔티티들, 및 애플리케이션 프로그램들, 터치 패드 또는 스크린과 같은 하나 이상의 상호작용 디바이스들, 및/또는 피드백 루프 및 컨트롤 모듈 (예를 들어, 제스처 입력 동적 범위를 조정함) 을 포함하는 컨트롤 시스템들 중 하나 이상을 포함한다는 것을 인지한다.
통상의 데이터 프로세싱 시스템은 임의의 적합한 상용 가능한 컴포넌트들, 예컨대 데이터 컴퓨팅/통신 및/또는 네트워크 컴퓨팅/통신 시스템들에서 통상적으로 발견되는 것들을 이용하여 구현될 수도 있다. 본원에 설명된 주제는 가끔, 상이한 다른 컴포넌트들 내에 포함되거나 이들과 커플링된 상이한 컴포넌트들을 예시한다. 이러한 도시된 아키텍처들은 단지 예시적이며, 사실 동일한 기능을 달성하는 많은 다른 아키텍처들이 구현될 수도 있는 것으로 이해된다. 개념적 의미에서, 동일한 기능을 달성하기 위한 컴포넌트들의 임의의 어레인지먼트는 원하는 기능이 달성되도록 효과적으로 "연관된다". 따라서, 특정 기능을 달성하기 위해 조합된 본원의 임의의 2 개의 컴포넌트들은, 아키텍처들 또는 매개 컴포넌트들에 관계없이 원하는 기능이 달성되도록 서로 "연관되는" 것으로서 보여질 수도 있다. 비슷하게, 이렇게 연관된 임의의 2 개의 컴포넌트들은 또한, 원하는 기능을 달성하도록 서로에게 "동작 가능하게 접속" 되거나 "동작 가능하게 커플링" 된 것으로 보여질 수도 있고, 그렇게 연관될 수 있는 임의의 2 개의 컴포넌트들은 또한 원하는 기능을 달성하도록 서로에게 "동작 가능하게 커플링가능한" 것으로서 보여질 수도 있다. 동작 가능하게 커플링가능한 특정 예들은, 물리적으로 접속 가능한 및/또는 물리적으로 상호작용하는 컴포넌트들 및/또는 무선으로 상호작용 가능한 및/또는 무선으로 상호작용하는 컴포넌트들 및/또는 논리적으로 상호작용하는 및/또는 논리적으로 상호작용 가능한 컴포넌트들을 포함하지만, 이에 한정되지는 않는다.
본원에서 실질적으로 임의의 복수 용어 및/또는 단수 용어의 사용에 대해서, 당업자는 문맥 및/또는 애플리케이션에 적합하도록 복수에서 단수로 및/또는 단수에서 복수로 해석할 수도 있다. 다양한 단수/복수의 치환은 간결함을 위해 본원에서 명백히 설명될 수도 있다.
일반적으로, 본원에 그리고 특히 첨부된 청구항 (예를 들어, 첨부된 청구항의 본문) 에서 사용되는 용어는 일반적으로 "개방적인" 용어들 (예를 들어, "포함하는" 이라는 용어는 "포함하지만 한정되지 않는" 으로 해석되어야 하고, "갖는" 이라는 용어는 "적어도 갖는" 으로 해석되어야 하고, "포함한다" 라는 용어는 "포함하지만 한정되지 않는다" 로 해석되어야 한다) 로서 의도된다는 것이 당업자에 의해 이해될 것이다. 또한, 도입된 청구항 기재의 특정한 수가 의도되는 경우, 이러한 의도는 청구항에 명시적으로 기재될 것이며, 이러한 기재의 부재 시에 그러한 의도가 없다는 것이 당업자에 의해 이해될 것이다. 예를 들어, 이해를 돕기 위하여, 다음의 첨부된 청구항은 청구항 기재를 도입하기 위한 "적어도 하나" 및 "하나 이상" 의 서두 어구의 사용을 포함할 수도 있다. 그러나, 이러한 어구의 사용은, 동일 청구항이 서두 어구 "하나 이상" 또는 "적어도 하나" 및 "a" 또는 "an" 과 같은 부정관사 (예를 들어, "a" 및/또는 "an" 은 "적어도 하나" 또는 "하나 이상" 을 의미하도록 해석되어야 한다) 를 포함할 때에도, 부정관사 "a" 또는 "an" 에 의한 청구항 기재의 도입이 이렇게 도입된 청구항 기재를 포함하는 임의의 특정 청구항을 하나의 이러한 기재만을 포함하는 실시형태들로 한정한다는 것을 내포하는 것으로 해석되어서는 안 되며, 청구항 기재를 도입하는데 사용되는 정관사의 사용에 대해서도 동일하게 유효하다. 또한, 도입되는 청구항 기재의 특정 수가 명시적으로 기재되는 경우에도, 당업자는 이러한 기재가 적어도 기재된 수를 의미하는 것 (예를 들어, 다른 수식어 없이, "2 개의 기재" 에 대한 그대로의 기재는, 적어도 2 개의 기재들 또는 2 개 이상의 기재들을 의미한다) 으로 해석되어야 한다는 것을 인식할 것이다.
또한, "A, B 또는 C 중 적어도 하나 등" 과 유사한 관례가 사용되는 경우에서, 일반적으로 이러한 구성은 당업자가 그 관례를 이해할 것이라는 의미로 의도된다 (예를 들어, "A, B 및 C 중 적어도 하나를 갖는 시스템" 은 A 만을, B 만을, C 만을, A 및 B 를 함께, A 및 C 를 함께, B 및 C 를 함께, 및/또는 A, B 및 C 를 함께 등을 갖는 시스템을 포함하지만 이에 한정되지 않을 것이다). "A, B 또는 C 중 적어도 하나 등" 과 유사한 관례가 사용되는 경우에서, 일반적으로 이러한 구성은 당업자가 그 관례를 이해할 것이라는 의미로 의도된다 (예를 들어, "A, B 또는 C 중 적어도 하나를 갖는 시스템" 은 A 만을, B 만을, C 만을, A 및 B 를 함께, A 및 C 를 함께, B 및 C 를 함께, 및/또는 A, B 및 C 를 함께 등을 갖는 시스템을 포함하지만 이에 한정되지 않을 것이다). 또한, 상세한 설명, 청구범위 또는 도면에서, 2 개 이상의 택일적 용어를 나타내는 사실상 임의의 이접 단어 및/또는 어구가 용어들 중 하나, 용어들 중 어느 한쪽 또는 양 용어 모두를 포함할 가능성들을 고려하도록 이해되어야 한다는 것이 당업자에 의해 이해될 것이다. 예를 들어, 어구 "A 또는 B" 는 "A" 또는 "B" 또는 "A 및 B" 의 가능성을 포함하도록 이해될 것이다.
또한, 본 명세서의 특징들 또는 양태들이 마커쉬 (Markush) 군들에 의해 기술되는 경우에, 당업자는 본 개시물이 또한 이에 따라 마커쉬 군의 임의의 개별 요소 또는 요소들의 하위군에 의해 기술됨을 인식할 것이다.
본원에 다양한 양태들 및 실시형태들이 개시되었으나, 당업자들에게는 다른 양태들 및 실시형태들이 명백할 것이다. 본 명세서에 개시된 다양한 양태들 및 실시형태들은 설명을 위한 것이고 한정적으로 의도되지 않으며, 진정한 범위 및 사상이 다음의 청구범위에 의해 나타난다.

Claims (30)

  1. 제스처 인식의 동적 범위를 조정하는 방법으로서,
    제스처 인식 가능 전자 디바이스의 사용자의 환경을 검출하는 단계로서, 상기 환경은 공공 로케이션 및 사적 로케이션 중 하나를 포함하는, 상기 사용자의 환경을 검출하는 단계;
    상기 검출된 환경이 큰 제스처 또는 작은 제스처에 적절한지 여부를 결정하는 단계; 및
    상기 사용자의 상기 검출된 환경 및 적절한 제스처 사이즈의 결정에 기초하여 상기 제스처 인식 가능 전자 디바이스에 대한 제스처 입력 동적 범위를 조정하는 단계를 포함하는, 제스처 인식의 동적 범위 조정 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 전자 디바이스가 제스처 인식 컨트롤 사용자 인터페이스 (user interface; UI) 를 디스플레이하는 경우, 상기 조정된 제스처 입력 동적 범위에 기초하여 상기 제스처 인식 컨트롤 UI 의 사이즈를 조정하는 단계를 더 포함하는, 제스처 인식의 동적 범위 조정 방법.
  4. 제 3 항에 있어서,
    상기 제스처 인식 컨트롤 UI 는 컨트롤 엘리먼트 및 애플리케이션 사용자 인터페이스의 세트로부터 적어도 하나를 포함하는, 제스처 인식의 동적 범위 조정 방법.
  5. 제 3 항에 있어서,
    상기 제스처 인식 컨트롤 UI 의 적어도 하나의 엘리먼트의 사이즈 및 포지션 중 하나 이상을 변경함으로써 상기 제스처 인식 컨트롤 UI 를 조정하는 단계를 더 포함하는, 제스처 인식의 동적 범위 조정 방법.
  6. 제 1 항에 있어서,
    상기 전자 디바이스가 제스처 인식 컨트롤 UI 를 디스플레이하지 않는 경우, 현재의 제스처 입력 동적 범위를 반영하는 제스처 입력 동적 범위 인디케이터 (indicator) 를 디스플레이하는 단계를 더 포함하는, 제스처 인식의 동적 범위 조정 방법.
  7. 제 1 항에 있어서,
    오디오 신호, 비디오 신호, 및 로케이션 정보 중 하나 이상에 기초하여 상기 환경을 검출하는 단계를 더 포함하는, 제스처 인식의 동적 범위 조정 방법.
  8. 제 7 항에 있어서,
    상기 로케이션 정보는 글로벌 포지셔닝 서비스 (GPS) 신호, 무선 네트워크 신호, 및 셀룰러 통신 신호 중 하나 이상으로부터 획득되는, 제스처 인식의 동적 범위 조정 방법.
  9. 제 1 항에 있어서,
    이미지 인식, 상기 전자 디바이스의 구성 (configuration), 및 상기 전자 디바이스와 상기 사용자 간의 거리 중 하나 이상에 기초하여 상기 환경을 검출하는 단계를 더 포함하는, 제스처 인식의 동적 범위 조정 방법.
  10. 삭제
  11. 삭제
  12. 제스처 인식의 동적 범위를 조정할 수 있는 장치로서,
    제스처들을 검출하도록 구성된 이미지 캡처 디바이스;
    명령들을 저장하도록 구성된 메모리; 및
    상기 메모리에 커플링되고, 상기 명령들을 실행하도록 구성되는 프로세서를 포함하고,
    상기 명령들은 실행되는 경우, 상기 프로세서를,
    사용자의 환경을 검출하되, 상기 환경은 공공 로케이션 및 사적 로케이션 중 하나를 포함하고;
    상기 검출된 환경이 큰 제스처 또는 작은 제스처에 적절한지 여부를 결정하며;
    상기 사용자의 상기 검출된 환경 및 적절한 제스처 사이즈의 결정에 기초하여 제스처 입력 동적 범위를 조정하도록 구성하는, 제스처 인식의 동적 범위 조정 장치.
  13. 삭제
  14. 제 12 항에 있어서,
    상기 프로세서는 또한,
    상기 장치가 제스처 인식 컨트롤 사용자 인터페이스 (user interface; UI) 를 디스플레이하는 경우, 상기 조정된 제스처 입력 동적 범위에 기초하여 상기 제스처 인식 컨트롤 UI 의 사이즈를 조정하도록 구성되는, 제스처 인식의 동적 범위 조정 장치.
  15. 삭제
  16. 제 14 항에 있어서,
    상기 프로세서는 또한,
    상기 제스처 인식 컨트롤 UI 의 적어도 하나의 엘리먼트의 사이즈 및 포지션 중 하나 이상을 변경함으로써 상기 제스처 인식 컨트롤 UI 를 조정하도록 구성되는, 제스처 인식의 동적 범위 조정 장치.
  17. 제 12 항에 있어서,
    상기 프로세서는 또한,
    상기 장치가 제스처 인식 컨트롤 UI 를 디스플레이하지 않는 경우, 현재의 제스처 입력 동적 범위를 반영하는 제스처 입력 동적 범위 인디케이터 (indicator) 를 디스플레이하도록 구성되는, 제스처 인식의 동적 범위 조정 장치.
  18. 제 12 항에 있어서,
    상기 프로세서는 또한,
    오디오 신호, 비디오 신호, 및 로케이션 정보 중 하나 이상에 기초하여 상기 환경을 검출하도록 구성되는, 제스처 인식의 동적 범위 조정 장치.
  19. 제 18 항에 있어서,
    글로벌 포지셔닝 서비스 (GPS) 신호, 무선 네트워크 신호, 및 셀룰러 통신 신호 중 하나로부터 상기 로케이션 정보를 획득될 수 있는 적어도 하나의 통신 모듈을 더 포함하는, 제스처 인식의 동적 범위 조정 장치.
  20. 제 12 항에 있어서,
    상기 환경의 유형을 결정하기 위해서 상기 환경으로부터 오디오 신호들을 캡처하기 위한 마이크로폰 및 비디오 신호들을 캡처하기 위한 카메라 중 하나 이상을 더 포함하는, 제스처 인식의 동적 범위 조정 장치.
  21. 제 12 항에 있어서,
    상기 프로세서는 또한,
    이미지 인식, 상기 장치의 구성, 상기 장치의 유형, 및 상기 사용자와 상기 장치 간의 거리 중 하나 이상에 기초하여 상기 환경을 검출하도록 구성되는, 제스처 인식의 동적 범위 조정 장치.
  22. 제 12 항에 있어서,
    데스크톱 컴퓨터, 랩톱 컴퓨터, 핸드헬드 컴퓨터, 비히클-마운트 컴퓨터, 스마트 폰, 텔레비전 모니터, 투사형 디바이스, 및 컴퓨팅 디바이스에 커플링된 디스플레이 중 하나를 포함하는, 제스처 인식의 동적 범위 조정 장치.
  23. 제스처 인식의 동적 범위를 조정하기 위한 명령들이 저장되는 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은,
    제스처 인식 가능 전자 디바이스의 사용자의 환경을 검출하는 명령으로서, 상기 환경은 공공 로케이션 및 사적 로케이션 중 하나를 포함하는, 상기 사용자의 환경을 검출하는 명령;
    상기 검출된 환경이 큰 제스처 또는 작은 제스처에 적절한지 여부를 결정하는 명령; 및
    상기 사용자의 상기 검출된 환경 및 적절한 제스처 사이즈의 결정에 기초하여 상기 제스처 인식 가능 전자 디바이스에 대한 제스처 입력 동적 범위를 조정하는 명령을 포함하는, 컴퓨터 판독가능 저장 매체.
  24. 삭제
  25. 제 23 항에 있어서,
    상기 명령들은,
    상기 전자 디바이스가 제스처 인식 컨트롤 사용자 인터페이스 (user interface; UI) 를 디스플레이하는 경우 상기 조정된 제스처 입력 동적 범위에 기초하여 상기 제스처 인식 컨트롤 UI 의 사이즈를 조정하는 명령을 더 포함하는, 컴퓨터 판독가능 저장 매체.
  26. 삭제
  27. 제 25 항에 있어서,
    상기 명령들은,
    상기 제스처 인식 컨트롤 UI 의 적어도 하나의 엘리먼트의 사이즈 및 포지션 중 하나 이상을 변경함으로써 상기 제스처 인식 컨트롤 UI 를 조정하는 명령을 더 포함하는, 컴퓨터 판독가능 저장 매체.
  28. 삭제
  29. 삭제
  30. 제 23 항에 있어서,
    상기 명령들은,
    이미지 인식, 상기 전자 디바이스의 구성, 상기 전자 디바이스의 유형, 및 상기 사용자와 상기 전자 디바이스 간의 거리 중 하나 이상에 기초하여 상기 환경을 검출하는 명령들 더 포함하는, 컴퓨터 판독가능 저장 매체.
KR1020137006111A 2010-12-29 2010-12-29 제스처 인식을 위한 환경-의존 동적 범위 컨트롤 KR101430887B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2010/062354 WO2012091704A1 (en) 2010-12-29 2010-12-29 Environment-dependent dynamic range control for gesture recognition

Publications (2)

Publication Number Publication Date
KR20130042010A KR20130042010A (ko) 2013-04-25
KR101430887B1 true KR101430887B1 (ko) 2014-08-18

Family

ID=46383430

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137006111A KR101430887B1 (ko) 2010-12-29 2010-12-29 제스처 인식을 위한 환경-의존 동적 범위 컨트롤

Country Status (5)

Country Link
US (2) US8766912B2 (ko)
JP (1) JP5777731B2 (ko)
KR (1) KR101430887B1 (ko)
CN (1) CN103154856B (ko)
WO (1) WO2012091704A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8532342B2 (en) * 2008-02-12 2013-09-10 Certusview Technologies, Llc Electronic manifest of underground facility locate marks
JP5777731B2 (ja) * 2010-12-29 2015-09-09 エンパイア テクノロジー ディベロップメント エルエルシー ジェスチャー認識のための環境依存型ダイナミックレンジ制御
US8497838B2 (en) * 2011-02-16 2013-07-30 Microsoft Corporation Push actuation of interface controls
US8782716B2 (en) * 2011-07-29 2014-07-15 Google Inc. Systems and methods for rendering user interface objects in accordance with a variable scaling factor
US9024894B1 (en) * 2012-08-29 2015-05-05 Time Warner Cable Enterprises Llc Remote control including touch-sensing surface
US9288387B1 (en) * 2012-09-11 2016-03-15 Amazon Technologies, Inc. Content display controls based on environmental factors
US9159116B2 (en) * 2013-02-13 2015-10-13 Google Inc. Adaptive screen interfaces based on viewing distance
CN105579319B (zh) 2013-03-12 2018-02-16 罗伯特·博世有限公司 用于识别车载信息***中的手写手势的***和方法
US10249018B2 (en) * 2013-04-25 2019-04-02 Nvidia Corporation Graphics processor and method of scaling user interface elements for smaller displays
US9671868B2 (en) 2013-06-11 2017-06-06 Honeywell International Inc. System and method for volumetric computing
US9934611B2 (en) * 2013-09-11 2018-04-03 Qualcomm Incorporated Structural modeling using depth sensors
US9536106B2 (en) * 2013-10-08 2017-01-03 D.R. Systems, Inc. System and method for the display of restricted information on private displays
US9451434B2 (en) 2013-11-27 2016-09-20 At&T Intellectual Property I, L.P. Direct interaction between a user and a communication network
US20150201236A1 (en) * 2014-01-15 2015-07-16 Khalifa Al Remeithi Display Proximity Control Device
US9785243B2 (en) 2014-01-30 2017-10-10 Honeywell International Inc. System and method for providing an ergonomic three-dimensional, gesture based, multimodal interface for use in flight deck applications
US20160057816A1 (en) * 2014-08-25 2016-02-25 Nibu Alias Method and system of a smart-microwave oven
US10452195B2 (en) * 2014-12-30 2019-10-22 Samsung Electronics Co., Ltd. Electronic system with gesture calibration mechanism and method of operation thereof
US10757216B1 (en) 2015-02-20 2020-08-25 Amazon Technologies, Inc. Group profiles for group item recommendations
US11363460B1 (en) 2015-03-03 2022-06-14 Amazon Technologies, Inc. Device-based identification for automated user detection
CN105824401A (zh) * 2015-06-24 2016-08-03 维沃移动通信有限公司 一种移动终端的控制方法及其移动终端
US10353473B2 (en) 2015-11-19 2019-07-16 International Business Machines Corporation Client device motion control via a video feed
US10222979B2 (en) * 2015-12-04 2019-03-05 Datalogic Usa, Inc. Size adjustable soft activation trigger for touch displays on electronic device
US9805514B1 (en) * 2016-04-21 2017-10-31 Microsoft Technology Licensing, Llc Dynamic haptic retargeting
US11137884B2 (en) * 2016-06-14 2021-10-05 International Business Machines Corporation Modifying an appearance of a GUI to improve GUI usability
US10079002B2 (en) * 2016-06-29 2018-09-18 Microsoft Technology Licensing, Llc Modifying graphical elements based on environment
KR20180097031A (ko) * 2017-02-22 2018-08-30 이현민 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템
CN112181129B (zh) * 2019-07-04 2024-04-16 阿里巴巴集团控股有限公司 一种设备控制方法、装置、设备和机器可读介质
CN112702281B (zh) * 2020-12-23 2023-08-01 深圳Tcl新技术有限公司 基于手势控制的带宽分配方法、装置、***与存储介质
JP2022163813A (ja) * 2021-04-15 2022-10-27 キヤノン株式会社 装着型の情報端末、その制御方法及びプログラム
CN113342174A (zh) * 2021-07-06 2021-09-03 物芯智能科技有限公司 一种ar眼镜及vos操作***
CN114115639A (zh) * 2021-11-26 2022-03-01 维沃移动通信有限公司 界面控制方法、装置、电子设备及存储介质
CN114385004A (zh) * 2021-12-15 2022-04-22 北京五八信息技术有限公司 基于增强现实的交互方法、装置、电子设备及可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08315154A (ja) * 1995-02-21 1996-11-29 Mitsubishi Electric Res Lab Inc ジェスチャ認識システム
KR100886056B1 (ko) * 2004-01-16 2009-02-26 소니 컴퓨터 엔터테인먼트 인코포레이티드 빛입력디바이스의 방법 및 장치

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0204652D0 (en) * 2002-02-28 2002-04-10 Koninkl Philips Electronics Nv A method of providing a display gor a gui
US7577925B2 (en) 2005-04-08 2009-08-18 Microsoft Corporation Processing for distinguishing pen gestures and dynamic self-calibration of pen-based computing systems
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
JP4964729B2 (ja) 2007-10-01 2012-07-04 任天堂株式会社 画像処理プログラムおよび画像処理装置
CN103369391B (zh) * 2007-11-21 2016-12-28 高通股份有限公司 基于媒体偏好控制电子设备的方法和***
US8344998B2 (en) * 2008-02-01 2013-01-01 Wimm Labs, Inc. Gesture-based power management of a wearable portable electronic device with display
JP2009265709A (ja) 2008-04-22 2009-11-12 Hitachi Ltd 入力装置
US10729973B2 (en) * 2008-06-30 2020-08-04 Microsoft Technology Licensing, Llc Dynamic selection of sensor sensitivity in a game input system
US8411963B2 (en) * 2008-08-08 2013-04-02 The Nielsen Company (U.S.), Llc Methods and apparatus to count persons in a monitored environment
TW201009650A (en) * 2008-08-28 2010-03-01 Acer Inc Gesture guide system and method for controlling computer system by gesture
US8527908B2 (en) * 2008-09-26 2013-09-03 Apple Inc. Computer user interface system and methods
WO2010035477A1 (ja) 2008-09-29 2010-04-01 パナソニック株式会社 ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体
JP2010127784A (ja) 2008-11-27 2010-06-10 Pioneer Electronic Corp 表示装置、表示方法、表示プログラムおよび記録媒体
US8418085B2 (en) 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US8379101B2 (en) * 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US8631355B2 (en) * 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
US8490002B2 (en) * 2010-02-11 2013-07-16 Apple Inc. Projected display shared workspaces
US20120017172A1 (en) * 2010-07-15 2012-01-19 Microsoft Corporation Display-agnostic user interface for mobile devices
US8640021B2 (en) * 2010-11-12 2014-01-28 Microsoft Corporation Audience-based presentation and customization of content
JP5777731B2 (ja) * 2010-12-29 2015-09-09 エンパイア テクノロジー ディベロップメント エルエルシー ジェスチャー認識のための環境依存型ダイナミックレンジ制御

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08315154A (ja) * 1995-02-21 1996-11-29 Mitsubishi Electric Res Lab Inc ジェスチャ認識システム
KR100886056B1 (ko) * 2004-01-16 2009-02-26 소니 컴퓨터 엔터테인먼트 인코포레이티드 빛입력디바이스의 방법 및 장치

Also Published As

Publication number Publication date
US20140285458A1 (en) 2014-09-25
CN103154856A (zh) 2013-06-12
JP5777731B2 (ja) 2015-09-09
KR20130042010A (ko) 2013-04-25
CN103154856B (zh) 2016-01-06
US9851804B2 (en) 2017-12-26
JP2014506361A (ja) 2014-03-13
WO2012091704A1 (en) 2012-07-05
US20120280901A1 (en) 2012-11-08
US8766912B2 (en) 2014-07-01

Similar Documents

Publication Publication Date Title
KR101430887B1 (ko) 제스처 인식을 위한 환경-의존 동적 범위 컨트롤
US11137890B2 (en) Display apparatus and method for displaying
AU2018203008B2 (en) Foldable electronic apparatus and interfacing method thereof
KR102207861B1 (ko) 디스플레이 방법 및 그 방법을 처리하는 전자 장치
AU2013355486B2 (en) Display device and method of controlling the same
US10564813B2 (en) User terminal apparatus and management method of home network thereof
US11604535B2 (en) Device and method for processing user input
JP2012510659A (ja) 分割視覚コンテンツの共有制御機能を備えた携帯電子機器並びに方法
KR20210151751A (ko) 영상 표시 장치 및 영상 표시 방법
US10545633B2 (en) Image output method and apparatus for providing graphical user interface for providing service
EP4348411A2 (en) Systems and methods for interacting with multiple display devices
US20150138192A1 (en) Method for processing 3d object and electronic device thereof
US20130111327A1 (en) Electronic apparatus and display control method
US9548894B2 (en) Proximity based cross-screen experience App framework for use between an industrial automation console server and smart mobile devices
KR102310106B1 (ko) 서비스 화면을 표시하기 위한 전자 장치 및 방법
KR20170011874A (ko) 영상 표시 장치 및 그 동작방법
CN112243148B (zh) 显示设备及视频画面缩放方法
KR102197886B1 (ko) 웨어러블 디바이스의 제어 방법 및 그 장치
US9791297B2 (en) Determination of a charge surface position
EP2660695B1 (en) Device and method for processing user input
KR101883356B1 (ko) 메시지의 알림에 대한 차단을 제공하는 방법 및 장치
WO2022256681A2 (en) Systems and methods for interacting with multiple display devices
KR20230044906A (ko) 하나 이상의 외부 전자 장치들로 송신될 하나 이상의 콘텐트들을 생성하는 전자 장치 및 그 방법
KR20160016429A (ko) 반지 타입의 단말기 및 전자 기기
KR20140048684A (ko) 사용자 단말의 디스플레이 제어 방법, 이를 수행하는 사용자 단말 및 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180718

Year of fee payment: 5