KR20090034824A - 애플리케이션 제어 방법, 위치 정보 제공 시스템 및 컴퓨터판독가능 매체 - Google Patents

애플리케이션 제어 방법, 위치 정보 제공 시스템 및 컴퓨터판독가능 매체 Download PDF

Info

Publication number
KR20090034824A
KR20090034824A KR1020087031525A KR20087031525A KR20090034824A KR 20090034824 A KR20090034824 A KR 20090034824A KR 1020087031525 A KR1020087031525 A KR 1020087031525A KR 20087031525 A KR20087031525 A KR 20087031525A KR 20090034824 A KR20090034824 A KR 20090034824A
Authority
KR
South Korea
Prior art keywords
information
video camera
reference field
user
image information
Prior art date
Application number
KR1020087031525A
Other languages
English (en)
Inventor
펭-시웅 수
루이 가오
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38876099&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20090034824(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20090034824A publication Critical patent/KR20090034824A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

비디오 카메라로부터 이미지 정보를 수신하는 위치 판정 모듈이 설명된다. 위치 판정 모듈은 식별된 참조 정보를 제공하기 위해 이미지 정보 내에서 최소한 하나의 참조 필드를 식별한다. 그 다음, 위치 판정 모듈은 식별된 참조 정보에 기초하여 위치 정보를 생성한다. 위치 정보는 비디오 카메라에 관한 참조 필드의 위치와 관련된다. 한 구현에서, 비디오 카메라는 고정되고, 참조 필드는 사용자 조작 장치에 결합된다. 다른 구현에서, 참조 필드는 고정된 표시 장치에 결합되고, 비디오 카메라는 이동식 사용자 조작 장치에 결합된다.
이미지 정보, 참조 필드, 위치 정보, 사용자 조작 장치, 위치 판정 모듈, 표시 장치, 애플리케이션 모듈

Description

애플리케이션 제어 방법, 위치 정보 제공 시스템 및 컴퓨터 판독가능 매체{GENERATING POSITION INFORMATION USING A VIDEO CAMERA}
본 발명은 비디오 카메라를 사용하여 위치 정보를 생성하는 시스템 및 애플리케이션을 제어하는 방법에 관한 것이다.
사용자가 애플리케이션을 제어할 수 있게 하는 다수의 상이한 종류의 장치가 존재한다. 사용자는 화면에 나오는 포인터를 제어하기 위해, 게임 인물의 행동을 제어하기 위해, 기타 등등을 위해, 이들 유형의 장치를 조작할 수 있다. 그러한 장치의 가장 널리 보급된 것으로는 키보드, 마우스 장치, 조이 스틱, 트랙볼, 음성 인식 도구 등을 포함한다. 덜 일반적인 유형의 제어 장치로는 데이터 글러브, 관성 센서, 무선 위치측정 메커니즘 등을 포함한다.
공지된 제어 장치는 여러 가지 단점을 가질 수 있다. 예를 들어, 일부 제어 장치는 소정의 애플리케이션을 제어하기에 충분한 자유도(DOF)로 사용자 입력을 캡처할 수 없다. 그외 다른 제어 장치는 충분히 정밀하지 않거나 신뢰할 수 없는 위치 정보를 제공할 수 있다. 그외 다른 제어 장치는 사용하기 번거로울 수 있다. 그외 다른 제어 장치는 엄청나게 비쌀 수 있다. 공지된 제어 장치는 또 다른 단점이 문제될 수 있다.
위에서 확인된 예시적이고 비제한적인 이유들 중의 최소한 하나 이상의 이유로, 애플리케이션을 제어하기 위한 더욱 만족스러운 전략이 본 분야에 필요하다.
비디오 카메라로부터 이미지 정보를 수신하는 위치 판정 모듈이 설명된다. 위치 판정 모듈은 식별된 참조 정보를 제공하기 위해 이미지 정보 내에서 최소한 하나의 참조 필드를 식별한다. 그 다음, 위치 판정 모듈은 식별된 참조 정보에 기초하여 위치 정보를 생성한다. 위치 정보는 비디오 카메라에 관한 참조 필드의 위치와 관련된다. 한 구현에서, 비디오 카메라는 고정되고, 참조 필드는 사용자 조작 장치에 결합된다. 다른 구현에서, 참조 필드는 고정된 표시 장치에 결합되고, 비디오 카메라는 이동식 사용자 조작 장치에 결합된다.
위치 정보는 애플리케이션을 제어하기 위해 사용될 수 있다. 예를 들어, 애플리케이션은 표시 장치상의 마커(예를 들어, 화면에 나오는 포인터)의 위치를 제어하기 위해 위치 정보를 사용할 수 있다. 또는, 게임 애플리케이션은 게임 내의 물체에 관해 어떤 액션을 실행하기 위해 위치 정보를 사용할 수 있다. 위치 정보의 또 다른 사용도 가능하다.
한 경우에, 참조 필드는 다수의 참조 소자의 정의된 패턴을 포함할 수 있다. 참조 소자는, 예를 들어 적외선 또는 가시광선-스펙트럼 발광 소자를 포함할 수 있다.
이 요약 부분은 여기에서 설명된 주제의 예시적인 표현을 나타낸 것이므로, 청구범위 부분에서 설명된 본 발명의 범위를 제한하지 않는다.
도 1은 이미지 정보에 기초하여 애플리케이션을 제어하는 시스템의 제1 구현을 도시한 도면.
도 2 및 3은 도 1의 시스템 내의 사용자 조작 장치에 결합될 수 있는 참조 필드의 상이한 예시적인 구성을 도시한 도면.
도 4는 이미지 정보에 기초하여 애플리케이션을 제어하는 시스템의 제2 구현을 도시한 도면.
도 5는 도 4의 시스템 내의 표시 장치에 결합될 수 있는 다수의 참조 필드의 예시적인 구성을 도시한 도면.
도 6은 도 1 및 도 4의 시스템에서 사용될 수 있는 전자 장치의 예시적인 구성을 도시한 도면.
도 7은 도 1 및 도 4의 시스템의 동작을 설명하는 예시적인 절차를 도시한 도면.
동일한 컴포넌트 및 특징부에 참조번호를 붙이기 위해 명세서와 도면 전반에 걸쳐 동일한 번호가 사용된다. 100번대 번호는 도 1에서 처음으로 나온 특징부에 적용되고, 200번대 번호는 도 2에서 처음으로 나온 특징부에 적용되며, 300번대 번호는 도 3에서 처음으로 나온 특징부에 적용되는 등등으로 된다.
이 명세서는 비디오 카메라로부터 얻은 이미지 정보에 기초하여 애플리케이션을 제어하는 전략을 설명한다. 명세서는 다음 섹션을 포함하는데: 섹션 A는 전 략을 구현하는 예시적인 시스템을 설명하는 반면에, 섹션 B는 전략을 구현하는 예시적인 절차를 설명한다.
일반적으로, 전략을 구현하는 최소한 2가지 기술이 있다. 제1 기술은 최소한 하나의 참조 필드를 사용자 조작 장치(이를테면 원격 제어 장치)에 결합한다. 고정된 비디오 카메라는 참조 필드를 포함하는 이미지 정보를 캡처한다. 위치 판정 모듈은 이미지 정보 내에서 참조 필드를 식별한 다음에, 참조 필드에 기초하여 위치 정보를 계산한다. 위치 정보는 이번에, 애플리케이션을 제어하기 위해 사용될 수 있다. 제2 기술은 최소한 하나의 참조 필드를 표시 장치 자체에 결합하고, 비디오 카메라가 사용자 조작 장치와 함께 이동하도록 비디오 카메라를 사용자 조작 장치에 결합한다. 이동식 비디오 카메라는 참조 필드를 포함하는 이미지 정보를 캡처한다. 위치 판정 모듈은 위에서 지정된 방식으로 이미지 정보를 처리한다.
A. 예시적인 시스템(도 1-6)
일반적으로, 도면과 관련하여 설명된 임의의 기능은 소프트웨어, 하드웨어(예를 들어, 고정된 로직 회로), 수동 처리, 또는 이들 구현의 조합을 사용하여 구현될 수 있다. 여기에서 사용된 "로직", "모듈" 또는 "기능"이라는 용어는 일반적으로 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 조합을 나타낸다. 예를 들어, 소프트웨어 구현의 경우에, "로직", "모듈", 또는 "기능"이라는 용어는 처리 장치 또는 장치들(예를 들어, CPU 또는 CPU들) 상에서 실행될 때 지정된 작업을 실행하도록 구성된 프로그램 코드(또는 선언적 내용)를 나타낸다. 프로그램 코드는 하나 이상의 컴퓨터 판독가능 매체에 저장될 수 있다.
더욱 일반적으로, 로직, 모듈 및 기능을 별개의 유닛으로 분리하여 도시한 부분은 그러한 소프트웨어 및/또는 하드웨어의 실제 물리적인 그룹화 및 할당을 반영할 수 있고, 또는 단일 소프트웨어 프로그램 및/또는 하드웨어 유닛에 의해 실행된 상이한 작업들의 개념적인 할당에 대응할 수 있다. 도시된 로직, 모듈 및 기능은 (예를 들어, 처리 장치에 의해 구현되는) 한 장소에 위치할 수 있고, 또는 다수의 위치에 분산될 수 있다.
"기계 판독가능 매체" 등의 용어는 여러 종류의 저장 장치(자기, 광, 고체 상태 등등)를 포함하여, 임의 형태로 정보를 보유하는 임의 종류의 매체를 나타낸다. 기계 판독가능 매체라는 용어는 또한 한 지점에서 다른 지점으로 정보를 전송하는 다양한 유선 및/또는 무선 링크를 포함하는, 정보를 나타내는 일시적인 형태를 포함한다.
A.1. 구현 A: 고정된 비디오 카메라(도 1-3)
도 1은 전략의 제1 구현을 제공하는 시스템(100)을 설명한다. 이 시스템(100)에서, 사용자는 애플리케이션과 상호작용하기 위해 사용자 조작 장치(102)를 조작한다. 사용자 조작 장치(102)는 원격 제어 장치, 임의 종류의 게임 제어 장치 등을 포함하는 임의 종류의 제어 메커니즘을 포함할 수 있다. 사용자 조작 장치(102)는 원하는 제어 동작을 달성하기 위해 사용자가 (사용자의 손으로) 움직일 수 있는 핸드헬드 장치를 나타낼 수 있다. 또는, 사용자 조작 장치(102)는 원하는 제어 동작을 달성하기 위해 사용자가 따로따로 움직일 수 있는 하나 이상의 구성요소를 갖는 장치를 나타낼 수 있다. 또는, 사용자 조작 장치(102)는 데이터 글러브형(glove-type) 장치, 팔찌형(wristband-type) 장치, 머리띠형(headband-type) 장치 또는 모자형(hat-type) 장치, 신발 장착형(shoe-borne) 장치 등등(또는 이들의 임의의 조합)과 같이 사용자에 의해 착용되는 장치를 포함할 수 있다. 도시되지는 않았지만, 사용자 조작 장치(102)는 또한 입력 명령 및 그외 다른 선택을 제공하기 위해 임의 종류의 제어 작동장치(버튼, 조이스틱, 손잡이, 조종 메커니즘 등)를 포함할 수 있다.
하나 이상의 참조 필드(104)는 사용자 조작 장치(102)에 부착될 수 있다(그렇지 않으면 사용자 조작 장치(102)와의 정의된 위치 관계로 배치된다). 설명을 용이하게 하기 위해, 이 서브섹션은 사용자 조작 장치(102)가 단일 참조 필드(104)를 포함한다고 가정할 것이다. 참조 필드(104)는 하나 이상의 참조 소자로 구성될 수 있다. 한 예시적인 경우에, 참조 소자는 발광 다이오드(LED)와 같은 발광 소자를 포함할 수 있다. 예를 들어, 참조 필드(104)는 하나 이상의 적외선 LED, 하나 이상의 가시광선-스펙트럼 LED 등등으로 구성될 수 있다. 가시광선 스펙트럼 LED의 경우에, 하나 이상의 원색 LED는 장면 내의 다른 물체와 LED의 구별을 돕기 위해 사용될 수 있다. 이들 LED는 또한 장면 내의 다른 물체와 LED를 더욱 잘 구별하기 위해 어두운 배경 위에 놓일 수 있다. 또 다른 구현에서는, 전자기 에너지를 독립적으로 생성하지 않는 하나 이상의 수동 참조 소자가 사용될 수 있다. 예를 들어, 참조 필드(104)는 적외선 방사선 또는 가시-스펙트럼 광선의 자동표시기(telltale) 반사율에 의해 구별될 수 있는 하나 이상의 반사 도트(reflective dot)로 구성될 수 있다.
또한, 다른 물체와 참조 필드(104)의 구별을 돕기 위해, 참조 필드(104)는 그 참조 소자를 미리 결정된 패턴으로 배열할 수 있다. 아래에 설명될 도 2 및 3은 참조 소자의 그러한 2가지 예시적인 패턴을 도시한 것이다.
비디오 카메라(106)는 이미지 정보를 캡처한다. 이미지 정보는 참조 필드(104)(또는 최소한 그 일부)를 포함하는 장면의 묘사를 제공한다. 이러한 방식으로 작동하기 위해, 비디오 카메라(106)는 사용자가 사용자 조작 장치(102)를 동작시키기로 되어 있는 영역을 카메라의 시야가 포함하도록 위치하게 될 수 있다. 예를 들어, 한 예에서, 비디오 카메라(106)는 사용자 정지위치(station) 위의 천장에 위치하게 될 수 있다. 다른 경우에, 비디오 카메라(106)는 사용자에게 겨누어져 벽 위에 위치하게 될 수 있다. 또 다른 예에서, 시스템(100)은 다수의 각각의 각도로부터 장면을 캡처하는 2개 이상의 비디오 카메라(도시 생략)를 포함할 수 있다.
특징적인 구현에서, 비디오 카메라(106)는 움직이지 않는다. 다른 경우에, 비디오 카메라(106)는 움직일 수 있다. 예를 들어, 시스템(100)은 앞뒤로 둘러보거나, 또는 소정의 다른 방식으로 움직이는 비디오 카메라(106)를 포함할 수 있다.
비디오 카메라(106)는 이미지 정보를 캡처하는 임의 종류의 시판되는 카메라 또는 애플리케이션 특정 카메라를 포함할 수 있다. 종래의 비디오는 상이한 연속되는 일시적인 상태들로 장면을 디지털로 묘사하는 일련의 프레임을 포함한다. 비디오 카메라(106)는 이미지 정보를 수신하기 위해 종래의 CCD 어레이를 포함할 수 있다. 비디오 카메라(106)는 규정된 주파수를 갖는 전자기 방사선을 선택적으로 통과시키도록 구성된 하나 이상의 필터(108)를 선택적으로 포함할 수 있다. 예를 들어, 참조 필드(104)가 하나 이상의 적외선 LED로 구성된 경우에, 비디오 카메라(106)는 적외선 LED에 의해 생성된 적외선 방사선의 선택적인 검출을 돕기 위해 적외선 필터를 포함할 수 있다.
대안적으로, 참조 필드(104)가 수동 참조 소자를 포함하는 경우에, 시스템(100)은 적외선 소스와 같은 하나 이상의 방사선 방출 소스(도시 생략)를 포함할 수 있다. 이들 소스는 수동 참조 소자로부터 반사되는 광선 또는 적외선 방사선을 발생시킬 수 있다. 비디오 카메라(106)는 반사된 광선 또는 적외선 방사선을 수신한다.
임의 종류의 전자 장치(110)는 비디오 카메라(106)에 의해 캡처된 이미지 정보를 수신하여 처리할 수 있다. 예를 들어, 전자 장치는 퍼스널 컴퓨터, 게임 콘솔, 셋톱박스 등을 포함할 수 있다. 도 1은 일반적으로 이미지 정보의 처리에 관련되는 전자 장치(110)의 특징을 나타낸다. 설명을 용이하게 하기 위해, 도 1은 단일 통합 유닛에 의해 구현되는 전자 장치(110)를 도시한다. 그러나, 전자 장치(110)는 또한 통신으로 함께 결합되는 다수의 유닛을 나타낼 수 있다.
우선 첫째로, 전자 장치(110)는 카메라 인터페이스 모듈(112)을 포함할 수 있다. 카메라 인터페이스 모듈(112)은 비디오 카메라(106)로부터 이미지 정보를 수신하고, 선택적으로, 전자 장치(110)에 의해 더욱 처리될 수 있게 하는 형태로 이 정보를 변환한다. 예를 들어, 카메라 인터페이스 모듈(112)은 선택적으로, 수신된 이미지 정보의 임의의 포맷 양상을 임의의 다른 포맷으로 변환할 수 있다. 전자 장치(110)는 전자 장치(110)의 마더보드(도시 생략)에 결합하는 비디오 카드 또는 유사한 장치로서 카메라 인터페이스 모듈(112)을 구현할 수 있다.
전자 장치(110)는 또한 위치 판정 모듈(114)을 포함한다. 위치 판정 모듈(114)의 용도는 이미지 정보를 분석하고 그로부터 위치 정보를 생성하기 위한 것이다. 위치 정보는 비디오 카메라(106)에 관한 사용자 조작 장치(102)(및 관련된 참조 필드(104))의 위치를 반영한다. 이 기능을 실행하기 위해, 위치 판정 모듈(114)은 먼저 이미지 정보 내에서 참조 필드(104)를 식별하고, 이것에 의해 참조 정보를 생성할 수 있다.
위치 판정 모듈(114)은 다양한 방식으로 참조 필드(104)를 검출할 수 있다. 한가지 기술에서, 참조 필드(104)는 이미지 정보 내의 다른 물체와 구별할 수 있는 시각적 특성을 갖는 하나 이상의 참조 소자를 포함한다. 예를 들어, 참조 소자가 적외선 방사선을 방출한다고 가정하자. 이 구현에서, (적외선 필터가 갖추어진) 비디오 카메라(106)는 어두운 배경에 대해 밝은 스폿을 갖는 이미지 정보를 생성할 수 있는데, 밝은 스폿은 사용자 조작 장치(102)에 부착된 참조 소자를 나타낸다. 다른 경우에, 참조 소자가 원색 광을 방출한다고 가정하자. 이 구현에서, 비디오 카메라(106)는 (통상적으로 동일한 종류의 단조로운 원색 특성을 갖지않는) 장면 내의 다른 물체와 구별될 수 있는 밝은 원색 스폿을 갖는 이미지 정보를 생성할 수 있다. 이들 참조 소자는 어두운 배경에 대해 이들을 배치함으로써(이를테면 사용자 조작 장치(102)의 검은 판 위에 참조 소자를 배치함으로써) 훨씬 더 용이하게 검출될 수 있다.
위치 판정 모듈(114)은 또한 참조 필드(104) 내의 참조 소자의 배열에 의해 형성된 자동표시기 패턴에 기초하여 참조 필드(104)를 구별할 수 있다. 예를 들어, 이 기능은 후보 참조 소자의 패턴을 미리 결정되고 미리 저장된 패턴과 비교함으로써 실행될 수 있다. 이미지 정보 내의 소자의 패턴이 미리 결정된 패턴 중의 하나와 일치하면, 위치 판정 모듈(114)은 진정한 참조 필드(104)가 이미지 정보에서 검출되었다고 결론을 내릴 수 있다. 도 2 및 3은 유효한 참조 필드(104)의 존재와 관련될 수 있는 참조 소자의 예시적인 패턴을 도시한 것이다.
잠재적으로 더욱 신뢰성 있는 위치 정보는 더욱 독특한 참조 소자를 사용함으로써 추출될 수 있다. 예를 들어, 참조 필드(104)는 상이한 모양, 색 등을 갖는 참조 소자로 구성될 수 있다. 하나 이상의 참조 소자는 또한 다른 참조 소자에 관해 평면 위로 끌어 올려질 수 있어서, 이들 끌어 올려진 참조 소자와 그외 다른(끌어 올려지지 않은) 참조 소자의 구별을 용이하게 할 수 있다.
상기 설명된 이미지 분석 기능은 이미지 정보 내의 픽셀 정보를 분석함으로써 실행될 수 있다. 위치 판정 모듈(114)의 이 단계의 출력은 하나 이상의 참조 필드(104)의 존재를 반영하는 참조 정보이다. 대안적으로, 특정 순간에, 비디오 카메라(106)는 임의의 참조 필드(104)를 포함하는 장면을 캡처할 수 없다. 이 경우에, 이 처리 단계에서의 출력은 어떤 참조 필드(104)도 검출되지 않았다는 것을 나타낼 것이다.
위치 판정 모듈(114)은 그 다음에, 판정된 참조 정보를 위치 정보로 변환한다. 도 1의 구현에서의 "위치 정보"라는 용어는 비디오 카메라(106), 표시 장치, 표시 장치상에 표시되는 물체 등과 같은 원점에 관해 참조 필드(104)의 위치를 나타낸 것이다. "위치 정보"라는 용어는 또한 원점에 관한 참조 필드(104)의 방향을 설명할 수 있다. 예를 들어, 한 경우에, 사용자는 (아래에 더욱 상세하게 설명될) 표시 화면상에 표시되는 타깃 물체를 가리키기 위해 사용자 조작 장치(102)를 사용할 수 있다. 이 경우에, 위치 정보는 표시 화면 또는 다른 원점에 관한 사용자 조작 장치(102)(및 관련된 참조 필드(104))의 위치와 방향을 설명할 수 있다.
참조 정보를 위치 정보로 변환하는 작업은 다수의 환경 특정 요인에 따라 변한다. 한 경우에, 이 변환은 하나 이상의 기하 매핑 방정식에 의해 표현될 수 있다. 매핑 방정식은 하나 이상의 고정된 참조 점에 대한 참조 소자의 위치; 서로에 대한 참조 소자의 위치; 참조 소자의 움직임 등 중의 임의의 하나 이상을 고려에 넣을 수 있다. 방정식은 기타 잠재적인 고려사항뿐만 아니라, 비디오 카메라(106)에 의해 생성된 왜곡을 설명하기 위해 다양한 보정 계수를 포함할 수 있다. 교정 절차는 위치 판정 모듈(114)을 교정하고, 이것에 의해 이러한 다양한 보정 계수의 결정을 용이하게 하기 위해 사용할 수 있다.
일반적으로, 참조 필드(104) 내의 하나의 참조 소자로, 위치 판정 모듈(114)은 참조 소자의 2차원 위치를 추적할 수 있다. 2개의 참조 소자로, 위치 판정 모듈(114)은 3차원 공간에서의 참조 소자의 움직임을 추적할 수 있다(카메라(106)가 참조 소자를 똑바로 보고 있다고 가정함). 2개의 참조 소자로, 위치 판정 모듈(114)은 또한 사용자 조작 장치(102)의 z축 회전을 측정할 수 있다(z축은 비디오 카메라(106)와 장치(102) 사이에 형성된 축을 정의함). 추가 참조 소자의 사용은 참조 정보로부터 추출될 수 있는 위치측정 상세의 양을 더욱 증가시킨다. 예를 들어, 4개의 참조 소자로, 위치 판정 모듈(114)은 사용자 조작 장치(102)의 3차원 위치와 3차원 방향을 추적할 수 있다.
이미지 정보로부터 수집된 위치 정보는 예를 들어, 기타 입력 장치(들)(116)로부터 얻은 다른 입력에 의해 보충될 수 있다. 사용될 수 있는 한 가지 그러한 r기타 입력 장치는 임의 종류의 관성 센서 또는 관성 센서들의 조합이다. 잘 알려진 바와 같이, 관성 센서는 사실상 상대적인 위치측정 정보를 제공한다. 예를 들어, 관성 센서는 사용자가 사용자 조작 장치(102)를 특정 속도로 위로 5인치 움직였다는 것을 나타내는 위치 정보를 제공할 수 있다. 위치 판정 모듈(114)은 이미지 정보를 통해 얻은 위치 정보의 정확도의 유효화를 돕기 위해 이러한 종류의 보충 위치 정보를 사용할 수 있다. 다른 경우에, 비디오 카메라(106)가 참조 필드(104)를 "볼" 수 없는 시간이 있다. 이 경우에, 관성 센서(들)(또는 다른 보충 입력 장치)로부터 얻은 위치 정보는 카메라(106)의 이미지 정보 내의 "잘 보이지 않는 스폿"을 극복하기 위해 사용될 수 있다.
위치 판정 모듈(114)은 생성한 위치 정보를 애플리케이션 모듈(118)에 공급한다. 애플리케이션 모듈(118)은 임의의 규정된 세트의 기능을 실행할 수 있는 임의 종류의 애플리케이션을 나타낸다. 예를 들어, 애플리케이션 모듈(118)은 시뮬레이션 애플리케이션(이를테면 비행 시뮬레이터 애플리케이션), 임의 종류의 게임 애플리케이션, 인터넷 탐색 애플리케이션 등을 나타낼 수 있다. 하여튼, 애플리케이션 모듈(118)은 그 동작을 제어하기 위해 위치 정보를 사용한다. 이 제어의 특 정 특성은 애플리케이션 모듈(118) 자체의 특성에 의존한다.
애플리케이션 모듈(118)은 그 제어 동작의 결과를 반영하는 임의 종류의 출력을 제공할 수 있다. 예를 들어, 애플리케이션 모듈(118)은 표시장치 인터페이스 모듈(120)을 통해 시각적 출력을 생성할 수 있다. 표시장치 인터페이스 모듈(120)은 표시 장치(124)의 표시 화면(122) 상에 시각적 출력을 표시한다. 표시 장치(124)는 임의 종류의 텔레비전 세트, 임의 종류의 컴퓨터 모니터 등을 나타낼 수 있다.
시스템(100)에 의해 영향받은 제어 특성의 이해를 용이하게 하기 위해 여러 가지 특정된 예시적인 시나리오를 고려해보자. 한 애플리케이션에서, 애플리케이션 모듈(118)은 포인터 또는 커서와 같은 일종의 마커(126)를 표시 화면(122) 상에 표시한다. 사용자는 사용자 조작 장치(102)로 표시 화면(122) 상의 상이한 위치를 가리킴으로써 표시 화면(122) 상의 상이한 위치로 마커(126)를 이동시킬 수 있다. 이 작업을 실행하기 위해, 우선, 비디오 카메라(106)가 상기 설명된 이동 중에 사용자 조작 장치(102)에 부착된 참조 필드(104)를 "볼" 수 있다는 것이 가정된다. 위치 판정 모듈(114)은 비디오 카메라(106)에 의해 생성된 이미지 정보로부터 참조 정보를 추출한 다음에, 참조 정보를 위치 정보로 변환한다. 애플리케이션 모듈(118)은 표시 화면(122) 상의 마커(126)의 위치를 조정하기 위해 위치 정보를 사용한다. 이것은 하나 이상의 매핑 방정식을 사용하여 위치 정보를 화면에 나타난 위치에 매핑함으로써 실행될 수 있다. 화면에 나타난 위치는 사용자가 사용자 조작 장치(102)를 사용하여 가리키는 물체를 반영한다.
다른 애플리케이션에서, 애플리케이션 모듈(118)은 슈터형(shooter-type) 게임에서 겨누기 위한 물체(128)를 표시한다. 사용자는 사용자 조작 장치(102)로 물체(128)를 가리킴으로써 물체(128)를 겨눌 수 있다. (이와 관련하여, 사용자 조작 장치(102)는 선택적으로 무기와 같은 모양으로 될 수 있다.) 위치 판정 모듈(114) 및 애플리케이션 모듈(118)은 사용자 조작 장치(102)의 물리적 이동을 사용자 무기 초점의 화면상 필드의 대응하는 이동으로 변환하기 위해 상기 설명된 방식으로 작동한다. 제1 또는 제2 애플리케이션에서, 사용자는 이를테면 가리키고 있는 특정 물체를 선택하고, 특정 물체를 슈팅하는 등등에 의해, 사용자 조작 장치(102)로 보충 액션을 실행할 수 있다. 다른 경우에, 사용자는 스테레오 장비, 전기제품 등과 같이 표시 장치에 의해 반드시 표시되지는 않는 소정의 다른 물체를 겨누고 제어하기 위해 상기 설명된 기술을 사용할 수 있다.
상기 2가지 예는 사용자가 사용자 조작 장치(102)를 사용하여 물체를 가리키는 경우를 특징으로 한다. 그러나, 다른 애플리케이션에서, 사용자는 다른 종류의 제어를 달성하기 위해 사용자 조작 장치(102)를 사용할 수 있다. 예를 들어, 사용자는 (이를테면 미리 결정된 방식으로 사용자 조작 장치(102)를 휘두름으로써) 사용자 조작 장치(102)를 사용하여 특징적인 제스처를 할 수 있다. 애플리케이션 모듈(118)과 함께 위치 판정 모듈(114)은 미리 결정된 패턴과 비디오 카메라(106)에 의해 캡처된 비디오를 비교함으로써 제스처를 인식할 수 있다. 애플리케이션 모듈(118)은 위치 정보에 의해 식별된, 사용자에 의해 이루어진 제스처의 유형에 기초하여 제어 동작을 실행할 수 있다.
다른 예시적인 경우에, 게임 애플리케이션은 상기 설명된 방식으로 참조 필드(104)의 위치를 추적한 다음에 사용자의 움직임에 기초하여 적절한 제어를 제공함으로써 사용자의 움직임을 "지켜볼" 수 있다. 예를 들어, 슈팅 게임은 사용자의 움직임에 기초하여 가상으로 사용자를 저격하려고 시도할 수 있다. 여기에서, 사용자는 화면에 나타난 물체에 저격하려고 시도하는 것이 아니라, 저격당하지 않으려고 시도하고 있다.
다른 예시적인 경우에, 애플리케이션은 상기 설명된 방식으로 사용자의 움직임을 모니터할 수 있다. 애플리케이션은 화면에 나타난 캐릭터, 또는 사용자의 움직임을 흉내내는 다른 물체를 제공할 수 있다.
시스템(100)의 또 다른 애플리케이션이 가능하다.
도 2 및 3은 도 1의 시스템(100)에서 이용될 수 있는 많은 종류의 참조 필드 중의 2개를 도시한 것이다. 도 2에서, 참조 필드(200)는 참조 소자의 선형 어레이를 포함한다. 이 경우에, 참조 필드(200)는 3개의 참조 소자를 포함하지만, 다른 구현에서는 추가 참조 소자 또는 더 적은 참조 소자를 포함할 수도 있다. 참조 소자는 적외선 LED, 가시광선-스펙트럼 LED, 또는 다른 종류의 발광 메커니즘을 포함할 수 있다. 대안적으로, 참조 소자는 반사 도트와 같은 수동 소자를 포함할 수 있다. 어느 경우든, 참조 소자는 비디오 카메라(106)에 의해 캡처된 이미지 정보 내에서 이들 소자의 검출을 용이하게 하기 위해 어두운(예를 들어, 완전히 검은) 배경에 고정될 수 있다.
도 3에서, 다른 참조 필드(300)는 참조 소자의 삼각형 배열을 포함한다. (도 2와 관련하여) 상기 설명된 참조 필드(200)의 임의의 특징은 도 3의 참조 필드(300)에 적용될 수 있다. 또한, 도 3의 참조 필드(300)는 삼각형의 꼭지점에 위치한 3개의 참조 소자가 단일 평면에 부착되는 반면, 다른 참조 소자(302)가 그 평면에서 떨어져서 위치해 있는 것을 보여준다. 이 오프세팅(offsetting)은 참조 소자(302)가 다른 참조 소자보다 더 멀리 뻗어나가도록 참조 소자(302)를 평면에 물리적으로 단단히 고정함으로써 달성될 수 있다. 또는, 오프세팅은 (예를 들어, 렌즈 또는 다른 메커니즘을 사용하여) 참조 소자(302)를 평면에서 사실상 끌어올림으로써 달성될 수 있다. (하나 이상의 오프셋 참조 소자를 포함하는) 도 3의 배열은 잠재적으로 더욱 상세한 위치 정보가 이미지 정보에서 추출될 수 있게 한다.
A.2. 구현 B: 사용자 조작 비디오 카메라(도 4 및 5)
도 4는 비디오 카메라에서 얻은 이미지 정보에 기초하여 애플리케이션을 제어하는 전략의 제2 구현을 도시한 것이다. 즉, 도 4는 사용자 조작 장치(402)가 여기에 결합된 비디오 카메라(404)를 포함하는 시스템(400)을 설명한다. 예를 들어, 사용자 조작 장치(402)는 그 말단부 위에 비디오 카메라(404)를 갖는 원격 제어 장치를 포함할 수 있다. 이 구성에서, 원격 제어 장치가 가리키게 되는 것은 무엇이나 비디오 카메라(404)가 가리키게 될 수 있다. 다른 예에서, 사용자 조작 장치(402)는 임의 종류의 게임 제어기를 포함할 수 있다. 예를 들어, 게임 제어기는 그 말단부에 비디오 카메라(404)를 갖는 무기를 포함할 수 있다. 다시 또, 이구성에서, 원격 제어 장치가 가리키게 되는 것은 무엇이나 비디오 카메라(404)가 가리키게 될 수 있다. 다른 경우에, 사용자 조작 장치(402)는 이동 전화와 같이 비디오 카메라를 이미 포함하는 소정의 다른 장치를 부분적으로 나타낼 수 있다. 또는, (다른 기능이 전혀 없는) 비디오 카메라 자체가 사용자 조작 장치(402)로서 사용될 수 있다. 또한, 비디오 카메라(404)는 적외선 필터와 같은 임의 종류의 필터(406)와 함께 사용될 수 있다.
이 시스템(400)에서, 하나 이상의 참조 필드(408)는 사용자 조작 장치(402)보다 오히려, 표시 장치 자체(410)에 관련하여 위치하게 된다. 예를 들어, 표시 장치(410)는 표시 화면(412)의 경계를 이루는 주변부를 정하는 케이싱(casing)을 포함할 수 있다. 하나 이상의 참조 필드(408)는 이 케이싱 위에 위치하게 될 수 있다.
참조 필드(408)가 별개의 물리적 소자를 나타내는 경우에, 이들 참조 필드는 임의 종류의 능동 참조 소자(적외선 LED, 가시광선-스펙트럼 원색 LED 등), 임의 종류의 수동 참조 소자(반사 도트 등) 등등으로 구현될 수 있다. 참조 소자는 다른 물체들 사이에서 이들 소자의 구별을 용이하게 하기 위해 어두운 색의 기판에 고정될 수 있다. 더욱이, 설명되는 바와 같이, 상이한 참조 필드(408)는 이들 참조 필드(408)의 검출 및 분석을 용이하게 하기 위해 참조 소자의 상이한 각각의 자동표시기 패턴을 포함할 수 있다.
다른 구현에서, 참조 필드(408)는 전자 장치(414)에 의해 표시 화면(412) 상에 표시되는 참조 정보를 포함할 수 있다. 예를 들어, 전자 장치(414)는 표시 화면(412)의 경계 부분을 따라 또는 표시 화면(412)의 다른 위치에서 자동표시기 특성을 갖는 정보를 표시할 수 있다. 이들 참조 필드(408)는 이들 필드(408)를 표시 하기 위해 사용된 색, 이들 필드(408)의 모양, 각 필드(408)를 구성하는 소자의 패턴, 및/또는 이들 필드(408)의 임의의 다른 특성(들)에 의해 인식될 수 있다.
전자 장치(414) 및 그 관련 주변 컴포넌트는 카메라 인터페이스 모듈(416), 위치 판정 모듈(418), 기타 입력 장치(들)(420)(예를 들어, 하나 이상의 관성 센서를 포함), 애플리케이션 모듈(422) 및 표시장치 인터페이스 모듈(424)을 포함한다. 이들 모듈은 도 1과 관련하여 위에서 설명된 것과 관련된 방식으로 동작한다. 도 4의 경우에, 위치 판정 모듈(418)은 표시 장치(410)와 위치적으로 관련되는 하나 이상의 참조 필드(408)와 같은 원점에 대한 비디오 카메라의 위치 정보를 판정할 수 있다. 위치 정보의 생성은 다양한 보정 계수에 의해 보충되는 적합한 기하 방정식을 사용하여 실행될 수 있다. 이미지 정보가 사용자의 제어 동작의 타깃 및 참조 필드(들)(408)을 둘 다 직접 나타내기 때문에, 시스템(400)은 단순화된 교정 절차에 의존할 수 있고, 또는 이들 절차를 전부 생략할 수 있다.
시스템(400)은 다양한 시나리오에 적용될 수 있다. 제1 시나리오에서, 사용자는 표시 화면(412) 상의 마커(426)의 위치를 이동시키기 위해 사용자 조작 장치(402)를 사용할 수 있다. 제2 시나리오에서, 사용자는 이를테면 슈터형 게임과 관련하여, 표시 화면(412) 상의 소정의 게임형 물체(428)를 겨누기 위해 사용자 조작 장치(402)를 사용할 수 있다. 다른 경우에, 사용자는 스테레오 장비, 전기제품 등과 같이 표시 장치에 의해 반드시 표시되지는 않는 소정의 다른 물체를 겨누고 제어하기 위해 상기 설명된 기술을 사용할 수 있다. 더욱이, 앞에서와 같이, 시스템(400)은 또한 사용자가 화면에 나타난 물체를 가리키는 것 이외에 소정의 액션을 실행하기 위해 사용자 조작 장치(402)를 사용하는 다른 시나리오에서 사용될 수 있다. 예를 들어, 위치 판정 모듈(418)은 사용자 조작 장치(402)를 사용하는 사용자에 의해 이루어진 제스처를 검출할 수 있다.
도 5는 다수의 참조 필드를 포함하는 한가지 예시적인 표시 장치(502)를 도시한 것이다. 참조 필드는 표시 화면(504)의 주변을 둘러싸고 배치된다. 이 경우에, 참조 필드는 표시 장치(502)의 케이싱에 결합되는 별개의 메커니즘을 나타내지만, 참조 필드는 또한 표시 화면(504) 상에 표시되고 있는 그래픽 정보의 일부로서 전자적으로 통합될 수 있다. 사용자 조작 장치(506)는 최소한 참조 필드의 서브세트를 포함하는 표시 장치(502)의 최소한 일부를 포함하는 장면을 캡처하는 비디오 카메라(도시 생략)를 포함한다.
참조 필드들 중의 하나는 예시적인 참조 필드(508)이다. 참조 필드(518)는 예시적인 참조 소자(510)를 포함하는 2개의 참조 소자를 포함한다. 주의할 점은 표시 장치(502)의 각 코너에 배치된 참조 필드가 상이한 각각의 패턴을 갖는다는 것이다. 이것은 위치 판정 모듈(418)이 이미지 정보에서 참조 필드를 검출하고 분석할 때 자기의 "입장"을 알 수 있게 도와준다. 도 5에 도시된 참조 필드 배열은 여러 유형의 가능한 배열을 예시적으로 나타낸 것일 뿐이다. 그외 다른 배열은 도 1에 도시된 것보다 많거나 적은 참조 필드를 제공할 수 있다. 또한, 그외 다른 배열은 각각의 개별 참조 필드를 구현하기 위해 상이한 패턴을 사용할 수 있다.
위치 판정 모듈(418)은 모든 참조 필드를 "볼" 때 가장 신뢰성 있는 위치 정보를 제공할 수 있다. 하지만, 위치 판정 모듈(418)은 6개의 참조 필드 중의 3개 와 같은 참조 필드의 서브세트만을 볼 때 위치 정보를 제공할 수도 있다.
A.3. 처리 기능(도 6)
(도 1 및 4의) 전자 장치(110, 414)의 다양한 컴포넌트는 처리 장치에 의해 구현될 수 있다. 도 6은 전자 장치(110, 414)의 임의의 컴포넌트를 구현하기 위해 사용될 수 있는 처리 기능부(602)의 일반적인 묘사를 도시한 것이다.
처리 기능부(602)는 하나 이상의 처리 장치(608)뿐만 아니라, RAM(604) 및 ROM(606)과 같은 여러 가지 휘발성 및 비휘발성 메모리를 포함할 수 있다. 메모리(604, 606)는 처리 장치(608)에 의해 실행될 때 상기 설명된 여러 기능을 실행하는 명령어를 저장할 수 있다. 예를 들어, 그러한 명령어의 서브세트는 도 1 및 4의 위치 판정 모듈(114, 418)을 구현할 수 있다. 처리 기능부(602)는 또한 하드 디스크 모듈, 광 디스크 모듈 등과 같은 여러 가지 매체 장치(610)를 선택적으로 포함한다. 처리 기능부(602)는 또한 사용자로부터 여러 입력을 수신하고, 사용자에게 여러 출력을 제공하는 입/출력 모듈(612)을 포함한다. 처리 기능부(602)는 또한 다른 장치와 데이터를 교환하는 하나 이상의 네트워크 인터페이스(614)를 포함할 수 있다. 하나 이상의 통신 버스(616)는 상기 설명된 컴포넌트를 통신으로 함께 결합한다.
다양한 애플리케이션에서, 도 6에 도시된 처리 기능부(602)는 추가 모듈을 포함할 수 있고, 또는 도 6에 도시된 모듈의 하나 이상을 생략할 수 있다.
B. 예시적인 처리(도 7)
도 7은 도 1 및 4의 시스템(100, 400)에 의해 또는 소정의 다른 시스템에 의 해 구현될 수 있는 한 예시적인 절차(700)의 개요를 도시한 것이다. 설명을 용이하게 하기 위해, 소정의 동작은 소정의 순서로 실행된 별개의 단계를 구성하는 것으로 설명된다. 그러한 구성은 예시적이고 비제한적이다. 소정의 동작은 함께 묶여서 단일 동작으로 실행될 수 있고, 소정의 동작은 이 명세서에서 설명된 예에서 이용된 순서와 다른 순서로 실행될 수 있다. 절차(700)에서 실행된 동작의 특성이 이미 섹션 A에서 설명되었기 때문에, 이 섹션은 주로 그들 동작의 요약으로서의 역할을 한다.
블록(702)에서, 전자 장치(110, 414)는 비디오 카메라(106, 404)로부터 이미지 정보를 수신한다. 이미지 정보는 하나 이상의 참조 필드(104, 406)를 포함할 수 있다. 블록(704)에 따르면, 제1 구현에서, 이미지 정보는 소정의 화면에 나타난 물체, 또는 화면상에 반드시 표시되지는 않는 소정의 다른 물체를 사용자 조작 장치(102)로 가리키는(또는 사용자 조작 장치(102)를 사용하여 소정의 다른 액션을 실행하는) 사용자에 응답하여 얻어지는데, 사용자 조작 장치(102)는 여기에 결합된 하나 이상의 참조 필드(104)를 포함한다. 블록(706)에 따르면, 제2 구현에서, 이미지 정보는 표시 화면(412), 또는 화면상에 반드시 표시되지는 않는 소정의 다른 물체를 사용자 조작 장치(102)로 가리키는(또는 사용자 조작 장치(102)를 사용하여 소정의 다른 액션을 실행하는) 사용자에 응답하여 얻어지는데, 사용자 조작 장치(102)는 여기에 결합된 비디오 카메라(404)를 포함하고, 표시 장치(410)는 여기에 결합된 하나 이상의 참조 필드를 포함한다.
블록(708)에서, 위치 판정 모듈(114, 418)은 수신된 이미지 정보 내에서 하 나 이상의 참조 필드의 존재를 판정하고, 이것에 의해 참조 정보를 제공한다.
블록(710)에서, 위치 판정 모듈(114, 418)은 식별된 참조 정보에 기초하여 위치 정보를 생성한다.
블록(712)에서, 애플리케이션 모듈(118, 422)은 위치 판정 모듈(114, 418)에 의해 제공된 위치 정보에 기초하여 일종의 제어에 영향을 미친다. 그러한 제어는 한 예에서, 사용자가 사용자 조작 장치(102, 402)를 사용하여 어떤 물체를 가리키고 있는지 판정하는 단계를 수반한다.
본 발명은 구조적 특징 및/또는 방법적 액트에 특정된 언어로 설명되었지만, 첨부된 청구범위에 정의된 본 발명은 반드시 설명된 특정 특징이나 액트에 제한되는 것은 아니라는 것을 이해할 것이다. 오히려, 특정 특징 및 액트는 청구된 발명을 구현하는 예시적인 형태로 개시된다.

Claims (20)

  1. 애플리케이션을 제어하는 방법에 있어서,
    표시 장치의 최소한 일부를 포함하는 장면을 캡처하는 이미지 정보를 비디오 카메라로부터 수신하는 단계(702) - 상기 비디오 카메라는 사용자 조작 장치와 관련됨-;
    식별된 참조 정보를 제공하기 위해 상기 이미지 정보 내에서 최소한 하나의 참조 필드를 식별하는 단계(708) - 상기 참조 필드는 상기 표시 장치와 관련됨-;
    상기 최소한 하나의 참조 필드에 관한 비디오 카메라의 위치를 표현하는 위치 정보를 상기 식별된 참조 정보에 기초하여 생성하는 단계(710); 및
    상기 생성된 위치 정보에 기초하여 애플리케이션을 제어하는 단계(712)
    를 포함하는 애플리케이션 제어 방법.
  2. 제1항에 있어서, 상기 이미지 정보 수신 단계는 상기 표시 장치에 의해 표시되고 있는 특정 물체에 관하여 상기 비디오 카메라로 가리키는 사용자에 응답하여 이미지 정보를 수신하는 단계를 포함하는 애플리케이션 제어 방법.
  3. 제1항에 있어서, 상기 최소한 하나의 참조 필드는 상기 표시 장치에 관련하여 각각의 위치들에 배열된 다수의 참조 필드들을 포함하는 애플리케이션 제어 방법.
  4. 제1항에 있어서, 상기 최소한 하나의 참조 필드는 다수의 참조 소자들의 정의된 패턴을 포함하는 애플리케이션 제어 방법.
  5. 제1항에 있어서, 상기 최소한 하나의 참조 필드는 최소한 하나의 발광 소자를 포함하는 애플리케이션 제어 방법.
  6. 제1항에 있어서, 상기 애플리케이션 제어 단계는 사용자가 사용자 조작 장치로 가리키고 있는 물체를 판정하는 단계를 포함하는 애플리케이션 제어 방법.
  7. 제1항에 있어서, 관성 센서로부터 관성 센서 정보를 수신하는 단계, 및 상기 위치 정보 생성시에 상기 참조 정보를 보충하기 위해 상기 관성 센서 정보를 사용하는 단계를 더 포함하는 애플리케이션 제어 방법.
  8. 제1항의 수신 단계, 식별 단계, 생성 단계 및 제어 단계를 구현하는 기계 실행가능 명령어들을 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  9. 제1항의 수신 단계, 식별 단계, 생성 단계 및 제어 단계를 구현하도록 구성된 로직을 포함하는 장치.
  10. 위치 정보를 제공하는 시스템에 있어서,
    관련된 비디오 카메라(404)를 포함하는 사용자 조작 장치(402);
    애플리케이션에 의해 생성된 물체들을 표시하는 표시 장치(410);
    상기 표시 장치(410)에 관하여 정의된 위치에 배치된 최소한 하나의 참조 필드(408); 및
    위치 판정 모듈(418)
    을 포함하고,
    상기 위치 판정 모듈(418)은
    상기 표시 장치(410)의 최소한 일부를 포함하는 장면을 캡처하는 이미지 정보를 상기 비디오 카메라(404)로부터 수신하고;
    식별된 참조 정보를 제공하기 위해 상기 이미지 정보 내에서 상기 최소한 하나의 참조 필드(408)를 식별하며;
    상기 최소한 하나의 참조 필드(408)에 관한 상기 비디오 카메라(404)의 위치를 표현하는 위치 정보를 상기 식별된 참조 정보에 기초하여 생성하도록
    구성되는 위치 정보 제공 시스템.
  11. 제10항에 있어서, 상기 최소한 하나의 참조 필드는 상기 표시 장치에 관련하여 각각의 위치들에 배열된 다수의 참조 필드들을 포함하는 위치 정보 제공 시스템.
  12. 제10항에 있어서, 상기 최소한 하나의 참조 필드는 다수의 참조 소자들의 정의된 패턴을 포함하는 위치 정보 제공 시스템.
  13. 제10항에 있어서, 상기 최소한 하나의 참조 필드는 최소한 하나의 발광 소자를 포함하는 위치 정보 제공 시스템.
  14. 제10항에 있어서, 관성 정보를 제공하는 관성 센서를 더 포함하고, 상기 위치 판정 모듈은 상기 위치 정보 생성시에 상기 참조 정보를 보충하기 위해 상기 관성 센서 정보를 사용하도록 구성되는 위치 정보 제공 시스템.
  15. 애플리케이션을 제어하는 방법에 있어서,
    사용자가 물체를 가리키고 있는 사용자 조작 장치의 최소한 일부를 포함하는 장면을 캡처하는 이미지 정보를 비디오 카메라로부터 수신하는 단계(702);
    식별된 참조 정보를 제공하기 위해 상기 이미지 정보 내에서 최소한 하나의 참조 필드를 식별하는 단계(708) - 상기 참조 필드는 상기 사용자 조작 장치와 관련됨-;
    상기 식별된 참조 정보에 기초하여 위치 정보를 생성하는 단계(710);
    상기 위치 정보에 기초하여 사용자가 가리키고 있는 물체를 판정하는 단계(712); 및
    상기 판정에 기초하여 애플리케이션을 제어하는 단계(712)
    를 포함하는 애플리케이션 제어 방법.
  16. 제15항에 있어서, 상기 사용자가 가리키고 있는 물체는 표시 장치에 의해 표시되는 애플리케이션 제어 방법.
  17. 제15항에 있어서, 상기 최소한 하나의 참조 필드는 상기 사용자 조작 장치와 관련된 다수의 참조 소자들의 정의된 패턴을 포함하는 애플리케이션 제어 방법.
  18. 제15항에 있어서, 관성 센서로부터 관성 센서 정보를 수신하는 단계, 및 상기 위치 정보 생성시에 상기 참조 정보를 보충하기 위해 상기 관성 센서 정보를 사용하는 단계를 더 포함하는 애플리케이션 제어 방법.
  19. 제15항의 수신 단계, 식별 단계, 생성 단계, 판정 단계 및 제어 단계를 구현하는 기계 실행가능 명령어들을 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  20. 제15항의 수신 단계, 식별 단계, 생성 단계, 판정 단계 및 제어 단계를 구현하도록 구성된 로직을 포함하는 장치.
KR1020087031525A 2006-06-30 2007-06-28 애플리케이션 제어 방법, 위치 정보 제공 시스템 및 컴퓨터판독가능 매체 KR20090034824A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/428,279 2006-06-30
US11/428,279 US8013838B2 (en) 2006-06-30 2006-06-30 Generating position information using a video camera

Publications (1)

Publication Number Publication Date
KR20090034824A true KR20090034824A (ko) 2009-04-08

Family

ID=38876099

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087031525A KR20090034824A (ko) 2006-06-30 2007-06-28 애플리케이션 제어 방법, 위치 정보 제공 시스템 및 컴퓨터판독가능 매체

Country Status (6)

Country Link
US (3) US8013838B2 (ko)
EP (2) EP3550406A1 (ko)
JP (1) JP2009543206A (ko)
KR (1) KR20090034824A (ko)
CN (1) CN101479690A (ko)
WO (1) WO2008010906A2 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8760522B2 (en) 2005-10-21 2014-06-24 I-Interactive Llc Multi-directional remote control system and method
US8842186B2 (en) 2004-10-25 2014-09-23 I-Interactive Llc Control system and method employing identification of a displayed image
US8456534B2 (en) * 2004-10-25 2013-06-04 I-Interactive Llc Multi-directional remote control system and method
US10460346B2 (en) * 2005-08-04 2019-10-29 Signify Holding B.V. Apparatus for monitoring a person having an interest to an object, and method thereof
US7443729B2 (en) * 2006-07-20 2008-10-28 Sandisk Corporation System that compensates for coupling based on sensing a neighbor using coupling
US7885119B2 (en) 2006-07-20 2011-02-08 Sandisk Corporation Compensating for coupling during programming
US8669938B2 (en) * 2007-11-20 2014-03-11 Naturalpoint, Inc. Approach for offset motion-based control of a computer
US9024972B1 (en) 2009-04-01 2015-05-05 Microsoft Technology Licensing, Llc Augmented reality computing with inertial sensors
US9189082B2 (en) * 2009-04-08 2015-11-17 Qualcomm Incorporated Enhanced handheld screen-sensing pointer
US9440591B2 (en) * 2009-05-13 2016-09-13 Deere & Company Enhanced visibility system
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US8672763B2 (en) * 2009-11-20 2014-03-18 Sony Computer Entertainment Inc. Controller for interfacing with a computing program using position, orientation, or motion
WO2012059910A1 (en) * 2010-11-07 2012-05-10 Dsp Group Ltd. Apparatus and method for estimating a user's location and pointer attitude
US8884949B1 (en) 2011-06-06 2014-11-11 Thibault Lambert Method and system for real time rendering of objects from a low resolution depth camera
FR2978847B1 (fr) * 2011-08-02 2014-03-07 Archos Procede et dispositif de controle a distance d'un appareil esclave relie a une camera par un appareil maitre.
US9509922B2 (en) * 2011-08-17 2016-11-29 Microsoft Technology Licensing, Llc Content normalization on digital displays
US9052866B2 (en) * 2012-05-10 2015-06-09 Htc Corporation Method, apparatus and computer-readable medium for image registration and display
US20140006472A1 (en) * 2012-06-28 2014-01-02 David Van Brink Locating a Device
CN103520923A (zh) * 2013-10-17 2014-01-22 智尊应用程序开发有限公司 游戏控制方法及设备
RU2618389C2 (ru) * 2015-06-22 2017-05-03 Федеральное государственное бюджетное учреждение науки Санкт-Петербургский институт информатики и автоматизации Российской академии наук Способ бесконтактного управления курсором мыши
US10466774B2 (en) 2016-11-22 2019-11-05 Honeywell International Inc. NTE display systems and methods with optical trackers
US11023850B2 (en) 2017-08-07 2021-06-01 Standard Cognition, Corp. Realtime inventory location management using deep learning
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US10853965B2 (en) 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
US11250376B2 (en) * 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US11232687B2 (en) 2017-08-07 2022-01-25 Standard Cognition, Corp Deep learning-based shopper statuses in a cashier-less store
US10474991B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Deep learning-based store realograms
US10474988B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US10372155B2 (en) * 2017-08-20 2019-08-06 Pixart Imaging Inc. Joystick and related control method
US10969878B2 (en) 2017-08-20 2021-04-06 Pixart Imaging Inc. Joystick with light emitter and optical sensor within internal chamber
CN107396058B (zh) * 2017-08-23 2020-05-15 芜湖超源力工业设计有限公司 一种航天专用飞行模拟训练监控装置
US11232575B2 (en) 2019-04-18 2022-01-25 Standard Cognition, Corp Systems and methods for deep learning-based subject persistence
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
US11361468B2 (en) 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5181181A (en) 1990-09-27 1993-01-19 Triton Technologies, Inc. Computer apparatus input device for three-dimensional information
US5227985A (en) 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
JP2767340B2 (ja) 1991-12-26 1998-06-18 ファナック株式会社 物体の３次元位置・姿勢計測方式
FR2706345B1 (fr) 1993-06-11 1995-09-22 Bertin & Cie Procédé et dispositif de repérage dans l'espace d'un objet mobile tel qu'un capteur ou un outil porté par un robot.
JPH075983A (ja) * 1993-06-16 1995-01-10 Fanuc Ltd 位置入力装置
US5701140A (en) 1993-07-16 1997-12-23 Immersion Human Interface Corp. Method and apparatus for providing a cursor control interface with force feedback
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
JP3293308B2 (ja) 1994-03-10 2002-06-17 三菱電機株式会社 人物状態検出装置
US5926168A (en) 1994-09-30 1999-07-20 Fan; Nong-Qiang Remote pointers for interactive televisions
US5686942A (en) 1994-12-01 1997-11-11 National Semiconductor Corporation Remote computer input system which detects point source on operator
JPH0934633A (ja) 1995-07-17 1997-02-07 Sanyo Electric Co Ltd 空間マウス及び空間マウスシステム
WO1997011386A1 (en) 1995-09-21 1997-03-27 Omniplanar, Inc. Method and apparatus for determining position and orientation
US5818424A (en) 1995-10-19 1998-10-06 International Business Machines Corporation Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6522312B2 (en) 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
JP3660492B2 (ja) 1998-01-27 2005-06-15 株式会社東芝 物体検知装置
EP0949818A3 (en) * 1998-04-07 2000-10-25 Matsushita Electric Industrial Co., Ltd. On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus
JP2000181601A (ja) 1998-12-18 2000-06-30 Fujitsu General Ltd 情報表示システム
JP2000338556A (ja) * 1999-05-26 2000-12-08 Olympus Optical Co Ltd カメラのファインダ装置
US6417836B1 (en) 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
US6844871B1 (en) 1999-11-05 2005-01-18 Microsoft Corporation Method and apparatus for computer input using six degrees of freedom
JP2001236181A (ja) 2000-02-22 2001-08-31 Fuji Electric Co Ltd ポインティングデバイス
US20020039111A1 (en) 2000-06-27 2002-04-04 James Gips Automated visual tracking for computer access
US6795068B1 (en) 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
US6882432B2 (en) * 2000-08-08 2005-04-19 Zygo Corporation Frequency transform phase shifting interferometry
JP3561463B2 (ja) 2000-08-11 2004-09-02 コナミ株式会社 ３ｄビデオゲームにおける擬似カメラ視点移動制御方法及び３ｄビデオゲーム装置
JP3773433B2 (ja) * 2000-10-11 2006-05-10 シャープ株式会社 移動体の周囲監視装置
US6538645B1 (en) 2000-10-26 2003-03-25 Sunplus Technology Co., Ltd. Computer input system utilizing a camera to sense point source
JP4027031B2 (ja) 2000-11-16 2007-12-26 株式会社コナミデジタルエンタテインメント 対戦式３ｄビデオゲーム装置
US20020126090A1 (en) 2001-01-18 2002-09-12 International Business Machines Corporation Navigating and selecting a portion of a screen by utilizing a state of an object as viewed by a camera
US7830362B2 (en) 2001-07-05 2010-11-09 Michael Cain Finley Laser and digital camera computer pointer device system
US7084888B2 (en) * 2001-08-09 2006-08-01 Konami Corporation Orientation detection marker, orientation detection device and video game device
US20030038756A1 (en) * 2001-08-27 2003-02-27 Blume Leo R. Stacked camera system for environment capture
JP2003133903A (ja) * 2001-10-26 2003-05-09 Oki Electric Ind Co Ltd 弾性表面波分波器
EP1466311B1 (de) 2001-12-19 2005-09-07 Logobject AG Verfahren und vorrichtung zur verfolgung von objekten, insbesondere zur verkehrsüberwachung
US7850526B2 (en) * 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US7391409B2 (en) * 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US7920718B2 (en) 2002-09-05 2011-04-05 Cognex Corporation Multi-zone passageway monitoring system and method
JP4243248B2 (ja) * 2002-11-20 2009-03-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ポインティングデバイスに基づくユーザインターフェイスシステム
US7489299B2 (en) * 2003-10-23 2009-02-10 Hillcrest Laboratories, Inc. User interface devices and methods employing accelerometers
KR20040027561A (ko) * 2004-02-12 2004-04-01 학교법인 한국정보통신학원 카메라 기반의 지시 장치를 갖는 텔레비전 시스템, 및 그동작 방법
JP2006079249A (ja) * 2004-09-08 2006-03-23 Matsushita Electric Ind Co Ltd 通信端末
US8456534B2 (en) * 2004-10-25 2013-06-04 I-Interactive Llc Multi-directional remote control system and method
US20060209190A1 (en) * 2005-03-04 2006-09-21 Walters Kenneth S Vehicle directional monitoring system
US7946921B2 (en) 2005-05-23 2011-05-24 Microsoft Corproation Camera based orientation for mobile devices
JP2007005983A (ja) 2005-06-22 2007-01-11 Fujifilm Holdings Corp 撮影装置、撮影装置の画像保存制御方法およびプログラム
JP4457353B2 (ja) 2005-11-25 2010-04-28 株式会社日立プラントテクノロジー 調整ボルトの操作方法および電磁石の位置・姿勢調整方法
WO2007095282A2 (en) 2006-02-13 2007-08-23 Max-Viz, Inc. System for and method of synchronous acquisition of pulsed source light in performance of monitoring aircraft flight operation
US7711146B2 (en) 2006-03-09 2010-05-04 General Electric Company Method and system for performing image re-identification
JP5041728B2 (ja) 2006-05-08 2012-10-03 任天堂株式会社 ゲームプログラムおよびゲームシステム
JP4884867B2 (ja) 2006-07-25 2012-02-29 任天堂株式会社 情報処理装置および情報処理プログラム
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
JP5132131B2 (ja) 2006-11-17 2013-01-30 任天堂株式会社 ポインティング装置の調整プログラムおよびポインティング装置

Also Published As

Publication number Publication date
CN101479690A (zh) 2009-07-08
US20140141887A1 (en) 2014-05-22
EP3550406A1 (en) 2019-10-09
WO2008010906A2 (en) 2008-01-24
EP2038733A4 (en) 2016-03-09
US20110300940A1 (en) 2011-12-08
JP2009543206A (ja) 2009-12-03
US8587520B2 (en) 2013-11-19
US8013838B2 (en) 2011-09-06
US20080001918A1 (en) 2008-01-03
EP2038733A2 (en) 2009-03-25
WO2008010906A3 (en) 2008-04-10

Similar Documents

Publication Publication Date Title
KR20090034824A (ko) 애플리케이션 제어 방법, 위치 정보 제공 시스템 및 컴퓨터판독가능 매체
US8237656B2 (en) Multi-axis motion-based remote control
US20100201808A1 (en) Camera based motion sensing system
US9423879B2 (en) Systems and methods for controlling device operation according to hand gestures
EP1704465B1 (en) Method and apparatus for light input device
EP3262439B1 (en) Using intensity variations in a light pattern for depth mapping of objects in a volume
EP3283938B1 (en) Gesture interface
JP3795647B2 (ja) ハンドポインティング装置
US20120075343A1 (en) Augmented reality (ar) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
JP5740822B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6896204B2 (ja) コンピュータプログラムを生成するデバイス及びコンピュータプログラムを生成する方法
US20080180395A1 (en) Computer pointing input device
KR100532525B1 (ko) 카메라를 이용한 삼차원 포인팅장치
US10078374B2 (en) Method and system enabling control of different digital devices using gesture or motion control
KR20110087407A (ko) 카메라 시뮬레이션 시스템 및 이를 이용한 위치 감지 방법
JP6465197B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN101165719A (zh) 一种基于标志点的增强实现工业维修方法及***
CN106233307A (zh) 对象识别
Diaz et al. Multimodal sensing interface for haptic interaction
US20180040266A1 (en) Calibrated computer display system with indicator
US20040200955A1 (en) Position detection of a light source
JP6260673B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6032319B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2011186537A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid