KR102011169B1 - 광 폴오프에 기초한 깊이 이미지의 생성 기법 - Google Patents

광 폴오프에 기초한 깊이 이미지의 생성 기법 Download PDF

Info

Publication number
KR102011169B1
KR102011169B1 KR1020147025012A KR20147025012A KR102011169B1 KR 102011169 B1 KR102011169 B1 KR 102011169B1 KR 1020147025012 A KR1020147025012 A KR 1020147025012A KR 20147025012 A KR20147025012 A KR 20147025012A KR 102011169 B1 KR102011169 B1 KR 102011169B1
Authority
KR
South Korea
Prior art keywords
depth
image
infrared
pixel
depth image
Prior art date
Application number
KR1020147025012A
Other languages
English (en)
Other versions
KR20140136442A (ko
Inventor
춘슈이 자오
징 얀
지아웨이 구
펭-시웅 수
샤오펭 송
밍지에 왕
지에 리
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20140136442A publication Critical patent/KR20140136442A/ko
Application granted granted Critical
Publication of KR102011169B1 publication Critical patent/KR102011169B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F7/00—Optical analogue/digital converters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Nonlinear Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of Optical Distance (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

광 폴오프의 원리에 기초하여 움직이는 오브젝트를 포함하는 장면의 깊이 이미지를 계산하는 것에 관한 기술이 본원에서 설명된다. 움직이는 오브젝트를 포함하는 장면의 적외선 이미지가 캡쳐되는데, 그 적외선 이미지는 각각의 복수의 강도 값을 갖는 복수의 픽셀을 구비한다. 장면에 대한 깊이 이미지는 적외선 이미지에서의 각각의 강도 값의 제곱근에 적어도 부분적으로 기초하여 계산된다.

Description

광 폴오프에 기초한 깊이 이미지의 생성 기법{GENERATION OF DEPTH IMAGES BASED UPON LIGHT FALLOFF}
컴퓨팅 디바이스의 제조업자뿐만 아니라 이러한 컴퓨팅 디바이스 상에서 실행되는 오퍼레이팅 시스템의 개발자는, 이러한 컴퓨팅 디바이스, 오퍼레이팅 시스템, 및 그 상에서 실행되는 어플리케이션과의 직관적이고 편리한 유저 상호작용을 용이하게 하기 위해 그들 각각의 제품을 계속해서 향상시키고 있다. 통상적으로, 유저로부터의 입력을 수신하기 위해 키보드 및 마우스와 같은 입력 디바이스가 채용되고 있는데, 그 입력은 몇몇 컴퓨팅 동작을 수행하기 위해 활용된다. 따라서, 컴퓨팅 디바이스, 오퍼레이팅 시스템, 및/또는 어플리케이션이 소정의 태스크를 수행하기를 유저가 원하는 경우, 유저는 일련의 마우스 클릭, 마우스 움직임, 및/또는 키스트로에 의해 컴퓨팅 디바이스에 명령을 전송한다.
최근, 소비자 레벨의 컴퓨팅 디바이스는, 상기 언급된 종래의 유저 입력 디바이스와 비교했을 때, 컴퓨팅 디바이스와의 더 직관적이고 편리한 상호작용을 용이하게 하는 기술을 갖추고 있다. 예를 들면, 많은 모바일 전화기는 터치 감응 디스플레이 화면을 갖추고 있으며, 그 결과 유저는 디스플레이 화면을 하나 이상의 손가락으로 접촉하고 그래픽 오브젝트에 대해 디스플레이 화면에서 제스쳐를 수행하는 것을 통해 디스플레이 화면 상의 그래픽 오브젝트와 상호작용할 수 있게 된다. 그러나, 종래의 터치 감응 디스플레이 화면이 손가락/손의 차이의 명확화(disambiguation)를 지원하지 않고, 깊이 인식을 지원하지 않기 때문에, 터치 감응 디스플레이에 의해 인식될 수 있는 제스쳐가 다소 제한될 수 있다는 것이 쉽게 확인될 수 있다. 또한, 유저가 디스플레이 화면과 직접적으로 상호작용해야 하기 때문에, 제스쳐는 디스플레이 화면의 사이즈에 의해 제한된다.
3차원 공간에서 유저에 의해 이루어진 제스쳐를 인식하는 것은, 이러한 제스쳐를 통해 컴퓨팅 디바이스에 유저에 의해 제시될 수 있는 명령 세트를 확장할 수 있다. 기준 포인트 또는 면(디스플레이 화면 또는 컴퓨팅 디바이스 상의 특정 포인트)에 대한 오브젝트(사람 손)의 깊이를 인식하는 종래의 기술은, 너무 비싸서 대량 생산으로 전개될 수 없거나 또는 상대적으로 세밀한(granular) 제스쳐의 인식을 지원하기 위한 충분한 해상도가 부족하다. 예를 들면, 3차원 깊이 인식을 수행하기 위해 현재 활용되고 있는 기술의 타입은 양안시 시스템(binocular vision systems), 구조화된 광 시스템, 및 비행 시간 시스템(time of flight systems)을 포함한다. 양안시 시스템은 입체적으로 정렬된 RGB 카메라로부터의 이미지를 매칭시키는 것에 의해 오브젝트 상의 한 포인트의 깊이를 계산한다. 양안시 시스템과 공통적으로 관련되는 결점은, 기준 포인트로부터의 그 깊이가 확인되는 것이 바람직한 오브젝트가 특정 타입의 텍스쳐를 가져야만 한다는 필요조건이다. 또한, 결과적인 깊이 이미지의 해상도는, 손가락의 약간의 움직임과 같은 세밀한 제스쳐의 충분히 정확한 인식을 허용하기에 불충분할 수도 있다.
구조화된 광 시스템은, 적외선의 패턴으로 장면을 조사하는 적외선 광원을 사용하고, 그 적외선 광원에 대한 그 장면에서의 오브젝트의 깊이는 캡쳐된 적외선 이미지에서의 이러한 패턴에서 검출된 변형에 기초하여 계산된다. 깊이 이미지를 생성할 때, 캡쳐된 적외선 이미지에서의 다양한 픽셀이 패턴을 인식하도록 분석되어야만 하고- 따라서, 다시, 결과적으로 생성되는 깊이 이미지의 해상도는 어떤 제스쳐를 정확하게 인식하기에 불충분할 수도 있다. 비행 시간 시스템은, 적외선 광이 적외선 에미터로부터 송신된 때로부터 (장면 내의 오브젝트로부터 반사된 이후) 이러한 광이 검출기에 의해 수신될 때까지의 시간의 양을 측정하는 센서들을 포함한다. 이러한 시스템은 현재 소비자 레벨의 디바이스에 포함되기에는 엄청나게 고가이며; 비싸지 않은 센서들이 활용되는 경우, 결과적으로 생성되는 깊이 이미지는, 다시, 세밀한 제스쳐의 정확한 검출을 허용하는 충분한 해상도를 제공하지 못할 수 있다.
개요
하기는, 본원에서 더 상세히 설명되는 주제의 간략한 개요이다. 이 개요는 청구항의 범위에 관해 제한하도록 의도된 것은 아니다.
시간에 걸친 기준 포인트 또는 평면에 대한 오브젝트의 부분의 깊이를 나타내는 깊이 이미지를 생성하는 것에 관한 다양한 기술이 본원에서 설명된다. 보다 구체적으로는, 일 예시적인 실시형태에서 광 폴오프의 원리에 기초하여 장면에 대한 깊이 이미지를 생성하는 다양한 기술이 본원에서 개시되며, 사람 손, 팔, 또는 인체의 다른 부분에 의해 이루어진 제스쳐는, 광 폴오프의 원리를 활용하는 깊이 감지 기술의 활용을 통해 인식되어, 센서 유닛에 대한 사람 손, 팔, 또는 인체의 다른 부분의 거리를 나타내는 깊이 이미지를 생성할 수 있다. 이러한 제스쳐 인식 기술은 종래의 데스크탑 컴퓨팅 디바이스, 랩탑 컴퓨팅 디바이스, 이동 전화기, 태블릿 컴퓨팅 디바이스 등과 연계하여 활용될 수도 있다.
일 예시적인 실시형태에서, 장면에 대한 깊이 이미지를 생성하는 것과 연계하여 활용되는 센서 유닛은 장면을 적외선 광으로 조사하는 적외선 광원을 포함한다. 센서 유닛은 장면의 적외선 이미지를 캡쳐하는 적외선 카메라를 더 포함하며, 그 장면은 이동하는 오브젝트, 예컨대 사람 손 또는 사람 손들을 포함한다. 예를 들면, 적외선 카메라는 초당 30프레임 또는 그 이상의 프레임 레이트에서 이미지를 캡쳐하는 적외선 비디오 카메라일 수 있다. 따라서, 적외선 카메라는 장면 내의 오브젝트의 모션을 시간에 걸쳐 캡쳐할 수 있다. 적외선 카메라에 의해 캡쳐된 각각의 이미지는 각각의 복수의 강도 값을 구비하는 복수의 픽셀을 포함한다. 각 픽셀에 대한 강도 값은 픽셀에 의해 표현된 장면의 부분에 대한 깊이 값을 계산하는 데 활용될 수 있다. 따라서, 원하는 경우, 장면의 깊이 이미지는 적외선 카메라에 의해 캡쳐된 이미지의 해상도와 등가인 해상도를 가질 수 있다.
위에서 언급된 바와 같이, 깊이 이미지는 광 폴오프의 원리의 활용을 통해 계산될 수 있다(여기서, 적외선 이미지에서 캡쳐된 적외선 광의 강도는 적외선 광원으로부터의 거리의 제곱에 반비례하는 것에 기초한다). 따라서, 일 예시적인 실시형태에서, 이미지에서의 특정 픽셀에 대응하는 깊이 값은 상수와 픽셀의 강도 값에 기초하여 계산될 수 있는데, 여기서 상수는 적외선 광원에 의해 방출된 적외선 광의 강도, 픽셀에 의해 표현된 오브젝트의 부분의 반사율, 및 적외선 광원에 대한, 픽셀에 의해 표현된 오브젝트의 부분의 방위에 기초하여 계산된다. 일 예시적인 실시형태에서, 상수는 적외선 광원의 알려진 강도, 일반적인 사람 손의 알려진 반사율, 및 적외선 광원에 대한 사람 손의 평균 방위(캡쳐된 적외선 이미지에서의 사람 손의 위치에 잠재적으로 의존함)에 기초하여 설정될 수 있다. 또한, 상수는 경험적 테스트를 통해 개선될 수 있다.
다른 예시적인 실시형태에서, 제 1의 해상도에서 장면의 제 1의 깊이 이미지를 생성하기 위해 종래의 깊이 감지 시스템이 활용될 수 있다. 후속하여, 장면의 제 2의 깊이 이미지가 제 2의 해상도에서 생성되는데, 여기서 제 2의 해상도는 제 1의 해상도보다 더 높다. 장면의 제 2의 깊이 이미지는 제 1의 깊이 이미지 및 광 폴오프의 원리에 기초하여 생성될 수 있다. 시간에 걸쳐 장면의 복수의 고해상도의 깊이 이미지를 생성하기 위해 절차는 반복될 수 있다.
컴퓨팅 디바이스의 디스플레이 화면 상에 디스플레이되는 하나 이상의 그래픽 오브젝트에 대한 모션 캡쳐 및 제스쳐 인식을 수행하기 위해, 고해상도 깊이 이미지가 시간에 걸쳐 모니터링될 수 있다. 깊이 이미지의 시퀀스에 기초하여 인식될 수 있는 사람 손에 의해 이루어진 예시적인 제스쳐는, 다른 제스쳐 중에서도, 손목에 대한 손의 상향 피벗팅(상향 웨이브), 손의 손가락을 펴고 그리고 사람의 손바닥을 디스플레이 화면의 표면과 평행하게 한 상태에서의 손목에 대한 손의 왼쪽 또는 오른쪽으로의 피벗팅(왼쪽 또는 오른쪽 웨이브), 디스플레이 화면 상에 디스플레이되는 그래픽 오브젝트를 향한 검지(pointer finger)의 뻗음 및 검지의 이동, 검지와 엄지의 핀칭 및 이러한 핀칭의 해제, 손의 손가락을 디스플레이 화면의 표면에 대해 수직하게 펴고 손의 손바닥을 디스플레이 화면의 바닥과 평행하게 한 상태에서 손목에 대한 손의 왼쪽 또는 오른쪽으로의 피벗팅을 포함하지만 이들에 제한되지 않는다. 일 예시적인 실시형태에서, 인식될 수 있는 손(또는 다른 인체) 제스쳐는 컴퓨팅 디바이스의 디스플레이 화면(또는 적외선 카메라)으로부터 적어도 1 센티미터 떨어져서 그리고 컴퓨팅 디바이스의 디스플레이 화면(또는 적외선 카메라)으로부터 20 센티미터만큼 멀리 떨어져 수행될 수 있다. 다른 실시형태에서, 적외선 광원의 강도는, 유저가 센서 유닛으로부터 수 피트 떨어져 위치되는 경우 유저에 의해 행해진 제스쳐를 검출하기 위해 증가될 수 있다.
첨부된 도면 및 상세한 설명을 읽고 이해하면, 다른 양태를 알 수 있을 것이다.
도 1은 장면의 깊이 이미지 생성을 용이하게 하는 예시적인 시스템의 기능적 블록도이다.
도 2 및 도 3은 3차원 공간에서 사람 손에 의해 수행되는 제스쳐 인식을 용이하게 하는 예시적인 시스템의 기능적 블록도이다.
도 4는 예시적인 센서 유닛의 기능적 블록도이다.
도 5는 광 폴오프 원리의 활용을 통해 장면의 깊이 이미지를 생성하는 예시적인 방법론을 예시하는 흐름도이다.
도 6은 인식된 제스쳐에 적어도 부분적으로 기초하여 컴퓨팅 디바이스의 디스플레이 화면 상에 그래픽 데이터를 렌더링하는 예시적인 방법론을 예시하는 흐름도이다.
도 7은 컴퓨팅 디바이스의 디스플레이 화면 상의 하나 이상의 그래픽 오브젝트에 대해 취해진 예시적인 제스쳐를 예시한다.
도 8은 도 7에 도시된 예시적인 제스쳐와 연계하여 유저에게 제시되는 그래픽 유저 인터페이스의 시퀀스를 예시한다.
도 9는 컴퓨팅 디바이스의 디스플레이 화면 상에 디스플레이되는 하나 이상의 그래픽 오브젝트에 대해 취해진 다른 예시적인 제스쳐를 예시한다.
도 10은 도 9에 도시된 예시적인 제스쳐와 연계하여 유저에게 제시되는 그래픽 유저 인터페이스의 시퀀스를 예시한다.
도 11은 컴퓨팅 디바이스의 디스플레이 화면 상에 디스플레이되는 하나 이상의 그래픽 오브젝트에 대해 취해진 다른 예시적인 제스쳐를 예시한다.
도 12은 도 11에 도시된 예시적인 제스쳐와 연계하여 유저에게 제시되는 그래픽 유저 인터페이스의 시퀀스를 예시한다.
도 13은 컴퓨팅 디바이스의 디스플레이 화면 상에 디스플레이되는 하나 이상의 그래픽 오브젝트에 대해 취해진 또 다른 예시적인 제스쳐를 예시한다.
도 14는 컴퓨팅 디바이스의 디스플레이 화면 상에 디스플레이되는 하나 이상의 그래픽 오브젝트에 대해 취해진 다른 예시적인 제스쳐를 예시한다.
도 15는 도 14에 도시된 예시적인 제스쳐와 연계하여 유저에게 제시되는 그래픽 유저 인터페이스의 시퀀스를 예시한다.
도 16은 컴퓨팅 디바이스의 디스플레이 화면 상에 디스플레이되는 하나 이상의 그래픽 오브젝트에 대해 취해진 또 다른 예시적인 제스쳐를 예시한다.
도 17은 도 16에 도시된 예시적인 제스쳐와 연계하여 유저에게 제시되는 그래픽 유저 인터페이스의 시퀀스를 예시한다.
도 18은 컴퓨팅 디바이스의 디스플레이 화면 상에 디스플레이되는 하나 이상의 그래픽 오브젝트에 대해 취해진 또 다른 예시적인 제스쳐를 예시한다.
도 19는 도 18에 도시된 예시적인 제스쳐와 연계하여 유저에게 제시되는 그래픽 유저 인터페이스의 시퀀스를 예시한다.
도 20은 컴퓨팅 디바이스의 디스플레이 화면 상에 디스플레이되는 하나 이상의 그래픽 오브젝트에 대해 취해진 다른 예시적인 제스쳐를 예시한다.
도 21은 도 20에 도시된 예시적인 제스쳐와 연계하여 유저에게 제시되는 그래픽 유저 인터페이스의 시퀀스를 예시한다.
도 22는 예시적인 컴퓨팅 시스템이다.
상세한 설명
이제, 장면의 깊이 이미지를 생성하고, 그 장면의 3차원 공간에서 이루어진 제스쳐를 인식하고, 인식된 제스쳐에 기초하여 컴퓨팅 디바이스의 디스플레이 화면 상에 그래픽 데이터를 렌더링하는 것에 관한 다양한 기술이 도면을 참조하여 설명될 것인데, 도면에서 유사한 도면 부호는 도면 전체에 걸쳐 유사한 엘리먼트를 나타낸다. 또한, 설명을 위한 목적으로 예시적인 시스템의 여러 기능적 블록도가 본원에서 예시되고 설명되지만, 어떤 시스템 컴포넌트에 의해 수행되고 있는 것으로 설명되는 기능성은 다수의 컴포넌트에 의해 수행될 수도 있음이 이해되어야만 한다. 마찬가지로, 예를 들면, 다수의 컴포넌트에 의해 수행되고 있는 것으로 설명되는 기능성을 수행하도록 하나의 컴포넌트가 구성될 수도 있다. 추가적으로, 본원에서 사용된 바와 같이, 용어 "예시적인"은 어떤 것의 예시 또는 예로서 기능하는 것을 의미하도록 의도된 것이며, 선호사항을 가리키도록 의도된 것은 아니다.
본원에서 사용된 바와 같이, 용어 "컴포넌트" 및 "시스템"은, 프로세서에 의한 실행시 어떤 기능성이 수행되게 하는 컴퓨터 실행가능 명령으로 구성되는 컴퓨터 판독가능 데이터 스토리지를 포괄하도록 의도된다. 따라서, "컴포넌트"는 하드웨어와 소프트웨어의 조합을 포괄하도록 의도된다. 컴퓨터 실행가능 명령은 루틴, 함수 등을 포함할 수도 있다. 컴포넌트 또는 시스템이 단일의 디바이스 상에 로컬라이징될 수도 있거나 또는 여러 디바이스들에 걸쳐 분산될 수도 있음이 또한 이해되어야만 한다. 또한, 용어 "메모리" 및 "프로세서"는 단수 및 복수의 형태 양자를 포괄하도록 의도되며; 따라서, 프로세서는 명령을 실행하는 단일의 프로세서뿐만 아니라 명령을 시리얼하게 또는 병렬로 실행하는 복수의 프로세서들을 포괄하도록 의도된다.
도 1을 참조하면, 적어도 하나의 오브젝트를 포함하는 장면의 깊이 이미지 생성을 용이하게 하는 예시적인 시스템(100)이 예시된다. 일 예시적인 실시형태에서, 모바일 컴퓨팅 디바이스는 시스템(100)의 적어도 일부를 포함할 수 있는데, 여기서 모바일 컴퓨팅 디바이스는 이동 전화기, 태블릿 컴퓨팅 디바이스, 랩탑 컴퓨팅 디바이스 등일 수도 있다. 다른 예시적인 실시형태에서, 데스크탑 컴퓨팅 디바이스가 시스템(100)의 적어도 일부를 포함할 수 있다. 따라서, 하우징은 시스템(100)의 적어도 일부를 포함할 수도 있다.
시스템(100)은 적외선 에미터(104) 및 적외선 카메라(106)를 포함하는 센서 유닛(102)을 포함한다. 적외선 에미터(104)는 알려진 강도/주파수의 적외선 광으로 장면을 조사하도로 구성된다. 적외선 카메라(106)는 적외선 에미터(104)에 의해 출력된 적외선 광에 의해 조사된 장면의 이미지를 캡쳐한다. 일 예에 따르면, 적외선 카메라(106)는 비디오 레이트(예를 들면, 초당 30프레임 또는 그 이상)에서 이미지를 캡쳐할 수 있다. 다른 예에서, 적외선 카메라(106)는 초당 10 프레임 및 초당 30 프레임 사이의 레이트에서 이미지를 캡쳐할 수 있다. 도시된 바와 같이, 적외선 카메라(106)에 의해 이미지화된 장면은 오브젝트(108)를 포함하는데, 오브젝트(108)는 이동하는 오브젝트이다. 일 예시적인 실시형태에서, 오브젝트(108)는, 사람 손 또는 손들의 세트, 사람 팔, 사람 다리, 또는 다른 적절한 인체 부분 중 하나이다. 적외선 카메라(106)에 의해 생성되어 출력된 장면의 각 이미지는, 복수의 각각의 강도 값을 갖는 복수의 픽셀을 구비한다.
시스템(100)은 시간에 걸쳐 적외선 카메라(106)로부터 장면의 적외선 이미지의 시퀀스를 수신하는 수신기 컴포넌트(110)를 더 포함한다. 깊이 계산기 컴포넌트(112)는 수신기 컴포넌트(110)와 통신하고, 적외선 카메라(104)에 의해 캡쳐된 각각의 이미지에 대한 장면의 깊이 이미지를 계산한다. 깊이 계산기 컴포넌트(112)에 의해 계산된 깊이 이미지는 복수의 픽셀 및 각각의 깊이 값을 포함하며, 여기서 깊이 값의 서브셋은 적외선 에미터(104)에 대한 오브젝트(108)의 부분의 깊이를 나타낸다. 일 예시적인 실시형태에서, 깊이 계산기 컴포넌트(112)는 장면의 깊이 이미지를 계산하기 위해 광 폴오프의 원리를 활용할 수 있는데, 여기서 깊이 이미지의 해상도는 깊이 이미지를 계산하기 위해 깊이 계산기 컴포넌트에 의해 활용되는 적외선 이미지의 해상도와 등가이다.
시스템(100)은 컴퓨팅 디바이스의 디스플레이 화면(114)을 더 포함한다. 렌더러 컴포넌트(116)는 깊이 계산기 컴포넌트(112)에 의해 계산된 깊이 이미지를 수신하고, 깊이 계산기 컴포넌트(112)에 의해 계산된 깊이 이미지에 적어도 부분적으로 기초하여 디스플레이 화면(114) 상에 그래픽 데이터(118)를 렌더링한다. 위에서 언급된 바와 같이, 일 예시적인 실시형태에서, 오브젝트(108)는 디스플레이 화면(114) 상에 디스플레이되는 그래픽 오브젝트에 대해 제스쳐를 행하고 있는 사람 손일 수도 있다. 깊이 계산기 컴포넌트(112)는 사람 손을 포함하는 깊이 이미지의 시퀀스를 생성할 수 있고, 사람 손에 의해 이루어진 제스쳐는 깊이 이미지의 시퀀스를 분석하는 것에 의해 인식될 수 있다. 그 다음, 렌더러 컴포넌트(116)는 인식된 제스쳐에 적어도 부분적으로 기초하여 그래픽 데이터(118)를 생성한다. 제스쳐는 3차원 공간에서 이루어질 수 있고, 센서 유닛(102) 또는 디스플레이 화면으로부터 떨어져 취해질 수 있다. 예를 들면, 사람 손은 센서 유닛(102) 또는 디스플레이 화면(114)으로부터 1 센티미터와 20 센티미터 사이에 있을 수도 있다. 다른 예에서, 사람 손은 센서 유닛(102) 또는 디스플레이 화면(114)으로부터 5 센티미터 내지 20 센티미터에 있을 수도 있다. 또 다른 예에서, 사람 손은 센서 유닛(102) 또는 디스플레이 화면(114)으로부터 1미터 내지 5미터에 있을 수도 있다. 따라서, 디스플레이 화면(118)은 터치 감응형 디스플레이 화면일 필요는 없다.
위에서 언급된 바와 같이, 깊이 계산기 컴포넌트(112)는 깊이 이미지를 생성하기 위해 광 폴오프의 원리를 활용할 수 있다. 광 폴오프의 원리는, 검출기(적외선 카메라(106))에 의해 관측되는 광의 강도가 광원(적외선 에미터(104))으로부터의 거리의 제곱에 반비례한다는 것에 주목한다. 알고리즘적으로, 그리고 적외선 카메라(106)에 의해 캡쳐된 적외선 이미지를 참조로, 이 원리는 다음과 같이 표현될 수 있다:
Figure 112014084935312-pct00001
여기서 I(p)는 픽셀(p)의 강도 값이고, rp는 적외선 에미터(104)와 픽셀(p)에 의해 표현되는 오브젝트(108) 상의 한 포인트 사이의 거리이고, kp는 적외선 에미터(104)에 의해 방출된 적외선 광의 강도, 픽셀(p)에 의해 표현된 포인트에서의 오브젝트(108)의 반사율, 픽셀(p)에 의해 표현된 포인트에서의 오브젝트(108)의 방위에 관련된 상수이다. 구체적으로는, kp=L(θ)ρ(θ,φ)이며, 여기서 L(θ)는 입사 방향(θ)을 따른 적외선의 휘도이고, ρ(θ,φ)는 픽셀(p)에 의해 표현된 오브젝트 상의 포인트의 양방향 반사율 분포 함수이고, φ는 적외선 에미터(104)에 대한 픽셀(p)에 의패 표현된 오브젝트 상의 포인트의 방위이다.
rp에 대해 풀면, 다음과 같이 다시 쓰일 수 있다:
Figure 112014084935312-pct00002
따라서, 깊이 계산기 컴포넌트(112)는 적외선 카메라(106)에 의해 캡쳐된 적외선 이미지에서의 픽셀의 강도 값의 제곱근에 적어도 부분적으로 기초하여 장면 이미지의 깊이를 계산할 수 있다. 일 예에 따르면, kp에 대한 값은 경험적으로 결정될 수 있다. 예를 들면, 적외선 에미터(104)에 의해 방출된 적외선 광의 강도는 알려질 수 있고, 오브젝트(108)의 반사율의 값은 추정될 수 있다. 일 예에서, 사람 손에 대응하는 깊이 값을 검출하는 것이 바람직하면, kp에 대한 값을 선택할 때 일반적인 사람 손의 반사율이 확인되어 활용될 수 있다.
이제 도 2를 참조하면, 사람 손에 의해 이루어진 제스쳐 인식을 용이하게 하는 예시적인 시스템(200)이 예시된다. 시스템(200)은 센서 유닛(202)을 포함하며, 센서 유닛(202)은 적외선 에미터(204), 적외선 카메라(206), 제 1의 RGB 카메라(208), 및 제 2의 RGB 카메라(210)를 포함한다. 제 1의 RGB 카메라(208) 및 제 2의 RGB 카메라(210)는, 예컨대 장면의 이미지를 스테레오로 캡쳐하기 위해, 서로에 대해 변위된다. 적외선 카메라(206), 제 1의 RGB 카메라(208), 및 제 2의 RGB 카메라(210)는 시간적으로 서로 동기화된다.
캘리브레이션 페이즈에서, 제 1의 RGB 카메라(208) 및 제 2의 RGB 카메라(210)는, 알려진 패턴을 갖는 오브젝트를 포함하는 장면의 동기화된 이미지를 각각 캡쳐한다. 수신기 컴포넌트(110)는 이미지를 수신하고, 깊이 계산기 컴포넌트(112)는 종래의 입체적 깊이 감지 동작들에 의해 RGB 이미지의 제 1의 깊이 이미지를 계산한다. 적외선 카메라(206)는 (RGB 이미지와 동기화된) 장면의 이미지를 캡쳐하고, 깊이 계산기 컴포넌트(112)는, 위에서 설명된 바와 같이, 광 폴오프의 원리를 활용하여 제 2의 깊이 이미지를 생성한다.
시스템(200)은 RGB 이미지의 입체적 분석을 통해 생성된 깊이 이미지와 광 폴오프의 원리에 기초하여 생성된 깊이 이미지 사이의 캘리브레이션 파라미터를 학습하는 캘리브레이터 컴포넌트(212)를 더 포함한다. 캘리브레이션 파라미터는 2개의 상이한 기술에 의해 생성된 각각의 깊이 이미지에서의 픽셀 간의 매핑을 나타낸다.
캘리브레이터 컴포넌트(212)가 캘리브레이션 파라미터를 학습하는 것에 후속하여, 센서 유닛(202)은 사람 손(214)을 포함하는 장면의 이미지를 캡쳐하는 데 활용될 수 있다. 수신기 컴포넌트(110)는 제 1의 RGB 카메라(208), 제 2의 RGB 카메라(210), 및 적외선 카메라(206)로부터의 동기화된 이미지를 수신한다. 깊이 계산기 컴포넌트(112)는 수신기 컴포넌트(110)와 통신하고 제 1의 RGB 카메라(208) 및 제 2의 RGB 카메라(210)에 의해 각각 캡쳐된 RGB 이미지에 기초하여 (제 1의 해상도에서) 장면의 제 1의 깊이 이미지를 계산한다. 깊이 계산기 컴포넌트(112)는 종래의 양안시 기술을 통해 이 제 1의 깊이 이미지를 계산할 수 있다. 그 다음, 이 제 1의 깊이 이미지는 깊이 값에 기초하여 복수의 세그먼트로 분할되고, 그 결과 제 1의 세그먼트는 제 1의 범위의 깊이 값을 갖는 픽셀을 포함하고, 제 2의 세그먼트는 중첩하지 않는 제 2의 범위의 깊이 값을 갖는 픽셀을 포함하고, 등등으로 된다. 제 1의 깊이 이미지를 분할하기 위해 활용된 범위는 경험적으로 결정될 수 있다.
캘리브레이션 페이즈 동안 캘리브레이터 컴포넌트(212)에 의해 학습된 캘리브레이션 파라미터들을 사용하면, 제 1의 깊이 이미지로부터의 (자신들에게 대응하는 알려진 깊이를 갖는) 복수의 세그먼트는 적외선 카메라(206)에 의해 생성된 적외선 이미지에서의 대응하는 픽셀에 매핑될 수 있다. 적외선 이미지에 매핑된 각각의 세그먼트에 대해, 매핑된 세그먼트에서의 적외선 이미지의 픽셀이 선택된다. 픽셀은, 세그먼트의 중심을 계산하고 그 중심에서 픽셀을 선택하는 것을 통한, 랜덤 선택을 포함하는 임의의 적절한 기술을 통해 선택될 수 있다. 선택된 픽셀의 강도 값(I(p)) 및 이러한 픽셀에 매핑된 세그먼트에 대한 거리(rp)를 활용하면, 상수(kp)가 계산될 수 있다. 그 다음, kp의 값은 세그먼트에서의 각각의 픽셀(p)에 대한 rp를 계산하는 데 활용된다. 이것은 모든 세그먼트에 대해 취해질 수 있다. 따라서, 양안시 기술과 광 폴오프의 원리의 결합에 기초한, 결과적으로 생성되는 깊이 이미지는, 적외선 이미지의 해상도와 등가인 (그리고 양안시 기술에 기초하여 생성된 깊이 이미지보다 더 높은) 해상도를 갖는다.
깊이 계산기 컴포넌트(112)는 적외선 카메라(206)에 의해 캡쳐된 각각의 적외선 이미지에 대한 고해상도 깊이 이미지를 계산하고, 그 결과 사람 손(214)의 모션을 캡쳐하고 및/또는 사람 손(214)에 의해 이루어진 제스쳐를 인식하도록 깊이 이미지의 시퀀스가 분석될 수 있게 된다. 그러기 위해서, 시스템(200)은, 깊이 계산기 컴포넌트(112)로부터 깊이 이미지의 시퀀스를 수신하고 디스플레이 화면(114) 상에 디스플레이되고 있는 적어도 하나의 그래픽 오브젝트에 대해 사람 손(214)에 의해 이루어진 제스쳐를 인식하는 제스쳐 인식기 컴포넌트(216)를 더 포함한다. 제스쳐 인식기 컴포넌트(216)는, 적어도 하나의 그래픽 오브젝트에 대해 제스쳐가 이루어졌다는 것을 식별하는 신호를 렌더러 컴포넌트(116)로 출력하고, 렌더러 컴포넌트(116)는 제스쳐 인식기 컴포넌트(216)에 의해 인식된 사람 손(214)의 제스쳐에 적어도 부분적으로 기초하여 디스플레이 화면(14) 상에 그래픽 데이터(118)를 렌더링한다.
제스쳐 인식기 컴포넌트(216)는 유저에 의해 이루어질 수 있는 비교적 많은 수의 제스쳐를 인식할 수 있다. 이것은 적어도 부분적으로, 유저에 의해 이루어진 제스쳐가 디스플레이 화면(114)의 표면 영역에 제한되지 않기 때문이다. 또한, 깊이 계산기 컴포넌트(112)가 비교적 고해상도 깊이 이미지를 생성하기 때문에, 제스쳐 인식기 컴포넌트(216)는 유저의 손가락과 손 간의 차이를 명확히 할 수 있고, 그 결과 인식될 수 있는 제스쳐의 잠재적인 세트를 확장하게 된다. 따라서, 예를 들면, 유저의 왼손에 의해 이루어진 제스쳐는 제 1의 소망의 성과를 가질 수도 있고, 동시에 유저의 오른손에 의해 이루어진 유사한 제스쳐는 제 2의 (상이한) 소망의 성과를 가질 수도 있다. 제스쳐 인식기 컴포넌트(216)는 손들, 손가락들, 및 유저 사이의 차이를 명확히 할 수 있고, 그 결과 특정 유저에 대한 커스텀화된 제스쳐뿐만 아니라 비교적 큰 제스쳐 표현 형식(vocabulary)의 생성을 허용하게 된다.
이제, 도 3을 참조하면, 디스플레이 화면(114) 상에 디스플레이된 그래픽 오브젝트에 대해 사람에 의해 이루어진 제스쳐의 인식을 용이하게 하는 예시적인 시스템(300)이 예시된다. 시스템(300)은 센서 유닛(302)을 포함하며, 센서 유닛(302)은 제 1의 적외선 에미터(304), 대응하는 제 1의 적외선 카메라(306), 제 2의 적외선 에미터(308), 및 대응하는 제 2의 적외선 카메라(310)를 포함한다. 제 1의 적외선 에미터(304)는 제 1의 주파수에서 적외선 광을 방출하도록 구성되고, 제 1의 적외선 카메라(306)는 제 1의 주파수에서 적외선 광을 검출하도록 구성된다. 제 2의 적외선 에미터(308)는 제 2의 주파수에서 적외선 광을 방출하도록 구성되고, 제 2의 적외선 카메라(310)는 제 2의 주파수에서 적외선 광을 검출하도록 구성된다. 제 1의 적외선 카메라(306)와 제 2의 적외선 카메라(310)는 시간적으로 서로 동기화된다. 또한, 제 1의 적외선 에미터(304)는 적외선 광의 어떤 패턴을 출력한다.
캘리브레이션 페이즈에서, 수신기 컴포넌트(110)는 제 1의 적외선 카메라(306)에 의해 캡쳐된 이미지를 수신하고, 깊이 계산기 컴포넌트(112)는 종래의 구조화된 광 기술을 통해 제 1의 깊이 이미지를 계산한다. 수신기 컴포넌트(110)는 또한, 제 2의 적외선 카메라(310)에 의해 캡쳐된 이미지를 수신하고, 깊이 계산기 컴포넌트(112)는, 위에서 설명된 바와 같이, 광 폴오프의 원리에 기초하여 제 2의 깊이 이미지를 계산한다. 캘리브레이터 컴포넌트(212)는 제 1의 깊이 이미지의 픽셀을 제 2의 깊이 이미지의 픽셀로 매핑하는 캘리브레이션 파라미터를 학습한다. 이러한 캘리브레이션 파라미터는, 그 후, (제 2의 적외선 카메라(310)에 의해 생성된 이미지의 해상도가 앞서 언급된 제 2의 깊이 이미지의 해상도와 등가이기 때문에) 구조화된 광 기술에 기초하여 생성된 깊이 이미지를 제 2의 적외선 카메라(310)에 의해 캡쳐된 적외선 이미지로 매핑하는 데 활용될 수 있다.
캘리브레이션 파라미터가 학습된 것에 후속하여, 시스템(300)은 사람 제스쳐(예를 들면, 디스플레이 화면(114) 상의 그래픽 오브젝트에 대해 사람 손(214)에 의해 이루어진 제스쳐)를 인식하도록 배치될 수 있다. 동작에서, 제 1의 적외선 카메라(306) 및 제 2의 적외선 카메라(310)는 사람 손을 포함하는 장면의 적외선 이미지를 각각 캡쳐한다. 수신기 컴포넌트(110)는 이들 이미지를 수신하고, 깊이 계산기 컴포넌트는 종래의 구조화된 광 기술을 사용하여 제 1의 적외선 카메라(306)에 의해 캡쳐된 이미지에 기초하여 깊이 이미지를 생성한다. 당업자에 의해 이해될 바와 같이, 깊이 이미지는 제 1의 적외선 카메라(306)에 의해 캡쳐된 이미지의 해상도보다 낮은 해상도를 가질 것이다. 그 다음, 깊이 계산기 컴포넌트(112)는 (도 2에 대해 설명된 분할과 마찬가지로) 깊이 이미지를 복수의 세그먼트로 분할할 수 있다. 깊이 계산기 컴포넌트(112)는, 세그먼트를, 캘리브레이션 컴포넌트(212)에 의해 학습된 캘리브레이션 파라미터를 사용하여 제 2의 적외선 카메라(310)에 의해 출력된 적외선 이미지로 매핑할 수 있다. 그 다음, 깊이 계산기 컴포넌트(112)는, 각각의 세그먼트에 대해 kp를 계산하는 것에 의해 고해상도 깊이 이미지를 생성하기 위해, 도 2에 대해 위에서 설명된 것과 같이 행동할 수도 있다.
제스쳐 인식기 컴포넌트(216)는 깊이 계산기 컴포넌트(112)로부터 장면의 고해상도 깊이 이미지의 시퀀스를 수신하고, 디스플레이 화면(114) 상에 디스플레이되는 그래픽 오브젝트에 대해 사람 손(214)에 의해 수행되고 있는 제스쳐를 인식한다. 그 다음, 렌더러 컴포넌트(114)는 제스쳐 인식기 컴포넌트(216)에 의해 인식된 제스쳐에 기초하여 디스플레이 화면(114) 상에 그래픽 데이터(118)를 렌더링한다.
따라서, 모션 캡쳐 및/제스쳐 인식과 연계하여 활용하기 위한 장면의 고해상도 깊이 이미지를 생성하기 위해, 광 폴오프의 원리에 기초한 깊이 감지가 종래의 깊이 감지 기술과 결합하여 사용될 수 있다는 것이 확인될 수 있다. 광 폴오프 기술과 결합할 수 있는 것으로 양안시 기술 및 구조화된 광 기술이 설명되었지만, 다른 깊이 감지 기술이 광 폴오프의 원리에 기초한 깊이 감지와 결합될 수 있음이 이해되어야만 한다. 예를 들면, 비행 시간 깊이 감지 시스템이, 위에서 설명된 광 폴오프 기술과 결합하여 활용될 수 있다.
도 4를 참조하면, 센서 유닛(102)의 예시적인 묘사가 도시된다. 센서 유닛(102)은 적외선 에미터(104) 및 적외선 카메라(106)를 포함한다. 적외선 에미터(104)는 적외선 광을 출력하는 포인트 소스 에미터이다. 센서 유닛(102)은 적외선 에미터(104)에 의해 방출된 적외선 광을 2개의 빔(오브젝트(108)를 포함하는 장면을 적외선 광으로 조사하는 제 1의 빔; 및 증폭의 목적으로 활용되는 제 2의 빔)으로 분리하는 빔 스플리터(402)를 더 포함한다. 장면으로부터(예를 들면, 오브젝트(108)로부터) 반사된 적외선 광은 빔 스플리터(402)에 영향을 끼치고 제 2의 빔과 결합하고, 그 결과 증폭된 신호를 생성하게 된다. 센서 유닛(102)은 미러를 또한 포함하며, 미러는 증폭된 신호를 적외선 카메라(106)로 향하게 한다. 도 4에 도시된 바와 같은 센서 유닛(102)은 예시적인 구성이며; 다른 구성이 고안되며 본원에 첨부된 청구항의 범위 내에 있는 것으로 의도된다.
이제 도 5 내지 도 6을 참조하면, 다양한 예시적인 방법론이 예시되고 설명된다. 시퀀스에서 수행되는 일련의 액트들인 것으로 방법론이 설명되지만, 방법론은 시퀀스의 순서에 제한되지 않음이 이해되어야만 한다. 예를 들면, 몇몇 액트는 본원에서 설명된 것과는 상이한 순서로 발생할 수도 있다. 또한, 한 액트는 다른 액트와 동시에 발생할 수도 있다. 또한, 몇몇 경우에서, 본원에서 설명된 방법론을 구현하는 데 모든 액트들이 필요한 것은 아닐 수도 있다.
또한, 본원에서 설명된 액트는, 하나 이상의 프로세서에 의해 구현될 수 있는 및/또는 컴퓨터 판독가능 매체 또는 매체들 상에 저장될 수 있는 컴퓨터 실행가능 명령일 수도 있다. 컴퓨터 실행가능 명령은 루틴, 서브루틴, 프로그램, 실행 스레드 등을 포함할 수도 있다. 또한, 방법론의 액트의 결과는 컴퓨터 판독가능 매체에 저장될 수도 있고, 디스플레이 디바이스 상에 디스플레이될 수도 있는 등등이다. 컴퓨터 판독가능 매체는 메모리, 하드 드라이브, CD, DVD, 플래시 드라이브 등과 같은 임의의 적절한 컴퓨터 판독가능 저장 디바이스일 수도 있다. 본원에서 사용된 바와 같이, 용어 "컴퓨터 판독가능 매체"는 전파 신호를 포괄하도록 의도되지 않는다.
도 5만을 참조하면, 광 폴오프의 원리에 기초하여 깊이 이미지의 계산을 용이하게 하는 예시적인 방법론(500)이 예시된다. 방법론(500)은 502에서 시작하고, 504에서 적외선 광원으로부터의 적외선으로 조사되는 장면의 적외선 이미지가 적외선 카메라로부터 수신된다. 장면은 움직이는 오브젝트, 예컨대 사람 손가락, 손 등을 포함한다.
506에서, 오브젝트의 각각의 포인트를 나타내는 픽셀의 각각의 강도의 제곱근에 기초하여 오브젝트의 포인트의, 적외선 광원에 대한 깊이가 계산된다. 508에서, 다음 이미지가 적외선 카메라로부터 수신되었는지의 여부에 관한 결정이 이루어진다. 다음 이미지가 수신되었다면, 그러면 방법론은 504로 리턴한다. 따라서, 3차원에서의 오브젝트의 움직이 시간에 걸쳐 모니터링될 수 있도록, 깊이 이미지의 시퀀스가 생성될 수 있다. 따라서, 오브젝트가 사람 손이면, 손에 의해 이루어진 제스쳐가 인식될 수 있다. 적외선 카메라로부터 수신되는 더 이상의 이미지가 없다면, 방법론은 510에서 종료한다.
이제 도 6을 참조하면, 디스플레이 화면 상의 그래픽 오브젝트에 대한 인식된 제스쳐에 적어도 부분적으로 기초하여 컴퓨팅 디바이스의 디스플레이 화면 상에서의 그래픽 데이터의 렌더링을 용이하게 하는 예시적인 방법론(600)이 예시된다. 방법론(600)은 602에서 시작하고, 604에서 적외선 광원에 의해 조사되는 사람 손의 적외선 이미지의 시퀀스가 적외선 카메라로부터 수신된다. 606에서, 적외선 광원에 대한 사람 손의 포인트의 깊이가 이미지의 시퀀스에 걸쳐 계산된다. 다시 말하면, 깊이 이미지의 시퀀스가 계산된다. 위에서 논의된 바와 같이, 깊이 이미지의 시퀀스에서의 깊이 이미지는 광 폴오프의 원리에 적어도 부분적으로 기초하여 계산된다.
608에서, 사람 손에 의해 이루어진 제스쳐가 깊이 이미지의 시퀀스의 분석에 기초하여 인식되는지의 여부에 관한 결정이 이루어진다. 제스쳐가 인식되지 않으면, 방법론은 604로 리턴한다. 608에서 사람 손이 특정 제스쳐를 수행했음이 결정되면, 610에서 인식된 제스쳐에 적어도 부분적으로 기초하여 컴퓨팅 디바이스의 디스플레이 화면 상에 그래픽 데이터가 렌더링된다. 방법론(600)은 612에서 완료한다.
도 7 내지 도 21을 총체적으로 참조하면, 깊이 계산기 컴포넌트(112)에 의해 계산된 깊이 이미지에 기초하여 제스쳐 인식기 컴포넌트(216)에 의해 인식될 수 있는 다양한 예시적인 제스쳐가 예시되고 설명된다. 또한, 이러한 제스쳐에 대응하는 그래픽 유저 인터페이스의 다양한 시퀀스가 도시된다. 이들은 설명의 목적으로 설명되며, 제스쳐 인식기 컴포넌트(216)에 의해 인식될 수 있는 비교적 적은 수의 제스쳐에 불과하다는 것이 이해되어야만 한다.
이제 도 7만을 참조하면, 컴퓨팅 디바이스의 디스플레이 화면 상에 도시된 그래픽 오브젝트에 대해 유저에 의해 취해질 수 있는 예시적인 제스쳐(700)가 예시된다. 유저의 손(702)은 최초, 디스플레이 화면(704)의 표면에 대해 손가락이 수직이 되도록 펴고, 손바닥을 디스플레이 화면(704)의 바닥 에지와 일반적으로 평행하게 하여 위치시킨다. 그 다음, 손(702)을 유저의 손목에 대해 위쪽으로 피벗하고, 그 결과 손의 펴진 손가락은 디스플레이 화면(704)의 표면과 평행해지도록 이동한다. 이러한 상향 웨이빙 모션은 디스플레이 화면(704) 상에 디스플레이되는 그래픽 오브젝트에 대해 이루어질 수 있다. 위에서 설명된 바와 같이, 이 제스쳐는 깊이 계산기 컴포넌트(112)에 의한 깊이 이미지 계산에 기초하여 제스쳐 인식기 컴포넌트(216)에 의해 인식될 수 있다.
도 8을 참조하면, 제스쳐(700)에 대응하는 그래픽 유저 인터페이스(802~806)의 시퀀스(800)가 묘사된다. 그래픽 유저 인터페이스(802~806)는 디스플레이 화면(704) 상에 제시된다. 그래픽 유저 인터페이스(802)는 유저가 제스쳐(700)를 수행하기 이전에 유저에게 제시될 수 있는 잠금 화면을 묘사하는데, 여기서 잠금 화면은 잠금 화면 정보(808)를 포함한다. 잠금 화면 정보(808)는, 예를 들면, 다른 정보 중에서도, 컴퓨팅 디바이스를 언락하기 위해 유저에 의해 수행될 수 있는 하나 이상의 제스쳐에 관한 명령, 현재 시간, 리뷰될 임의의 형태의 수신 통신(이메일, 인스턴트 메시지, 텍스트 메시지 등)을 유저가 구비하는지의 여부를 나타내는 그래픽 데이터를 포함할 수도 있다.
그래픽 유저 인터페이스(804)는 제스쳐 인식기 컴포넌트(216)에 의해 인식되고 있는 제스쳐(700)에 응답하여 유저에게 제시될 수 있는 그래픽 트랜지션(transition)을 예시한다. 여기서, 잠금 화면은, 커텐이 올려지는 것과 유사하게, 디스플레이 화면(704)의 위쪽으로 트랜지션하여 없어지는 것처럼 보인다. 트랜지션의 방향은 화살표(810)에 의해 도시된다. 잠금 화면 트랜지션이 위쪽으로 이루어지면, 복수의 선택가능한 타일(812)을 포함하는 홈 화면이 나타나는데, 여기서 선택가능한 타일은 특정 데이터 오브젝트, 컴퓨터 실행가능 어플리케이션, 또는 (당업자에 의해 이해될) 기타 등등에 대응할 수 있다. 잠금 화면의 트랜지션의 레이트는, 예시적인 실시형태에서, 손(702)이 손목에 대해 피벗되는 속도에 기초할 수 있다. 그래픽 유저 인터페이스(806)는 잠금 화면이 위쪽으로 계속 트랜지션되어 디스플레이 화면(704)에서 사라지는 것을 도시하는데, 그 결과 더 많은 홈 화면이 디스플레이 화면(704) 상에 제시된다. 이러한 가상 트랜지션은 전체 홈 화면이 디스플레 화면(704) 상에서 유저에게 디스플레이될 때까지 계속할 수 있다.
이제 도 9를 참조하면, 컴퓨팅 디바이스의 디스플레이 화면 상에 도시된 그래픽 오브젝트에 대해 유저에 의해 취해질 수 있는 예시적인 제스쳐(900)가 예시된다. 손(702)은 최초에, 손(702)의 손가락이 위쪽으로 펴지고, 손의 손바닥은 디스플레이 화면(704)의 표면과 평행하도록 방향이 정해진다. 그 다음, 손(702)은 손목에 대해 왼쪽 또는 오른쪽 중 어느 하나로 피벗되고, 그 결과 유저는 디스플레이 화면(704)에서 웨이빙하게 된다.
도 10을 참조하면, 제스쳐(900)에 대응하는 그래픽 유저 인터페이스(1002~1006)의 시퀀스(1000)가 묘사된다. 제스쳐(900)가 유저에 의해 수행되기 이전에, 그래픽 유저 인터페이스(1002)는 디스플레이 화면(704) 상에 제시되는데, 여기서 그래픽 유저 인터페이스(1002)는 홈 화면을 나타내고, 복수의 선택가능한 타일(812)을 포함한다. 제스쳐(900)가 수행되면(예를 들면, 손(702)이 손목에 대해 왼쪽으로 피벗되면), 홈 화면은 디스플레이 화면(704)에서 왼쪽으로 트랜지션되어 사라지고, 제 2의 화면이 디스플레이 화면(704)의 우측으로부터 왼쪽으로 트랜지션된다. 이러한 트랜지션의 시작은 그래픽 유저 인터페이스(1004)에서 도시되는데, 그 트랜지션의 방향은 화살표(1008)로 도시된다. 그래픽 유저 인터페이스(1006)에서 도시된 바와 같이, 제 2의 홈 화면은 (신문을 시야속으로 슬라이딩하는 것과 유사하게) 우측으로부터 홈 화면(704) 상으로 계속 트랜지션되고, 동시에 홈 화면은 디스플레이 화면(704)의 왼쪽으로 계속 트랜지션되어 사라진다. 그래픽 유저 인터페이스 사이의 트랜지션의 방향이 손이 손목에 대해 피벗되는 방향에 의존할 수 있다는 것이 확인될 수 있다. 또한, 화면 사이의 트랜지션의 속도는, 손목에 대한 유저의 손(702)의 피벗팅의 회전 속도에 기초할 수 있다.
이제 도 11을 참조하면, 컴퓨팅 디바이스의 디스플레이 화면 상에 도시된 그래픽 오브젝트에 대해 유저에 의해 취해질 수 있는 또 다른 예시적인 제스쳐(1100)가 예시된다. 예시적인 제스처(1100)에서, 손(702)의 손바닥은 디스플레이 화면(704)의 표면에 대략 평행하고, 검지만이 손에서 펴져 있다(디스플레이 화면(704)의 표면에 대략 평행하다). 그 다음, 손(702)의 검지는, 화살표(1102)에 의해 도시된 바와 같이, 디스플레이 화면(704)을 향해 트랜지션된다. 따라서, 제스쳐(1110)는 손(702)의 검지에 의해 이루어진 태핑 모션이다.
이제 도 12를 참조하면, 제스쳐(1100)에 대응하는 그래픽 유저 인터페이스(1202~1204)의 시퀀스(1200)가 묘사된다. 그래픽 유저 인터페이스(1202)는 복수의 선택가능한 타일(812)을 갖는 홈 화면을 묘사한다. 그래픽 유저 인터페이스(1202)는 또한, 복수의 선택가능한 타일(812)에서의 하나 이상의 선택가능한 타일에 대한 손(702)의 검지의 위치에 관해 유저에게 통지하는 그래픽 표시(indicia; 1206)를 포함한다. 그래픽 유저 인터페이스(1202)에서 도시된 예에서, 손(702)의 검지는, 검지(702)가 디스플레이 화면(704)을 향해 트랜지션하면, 복수의 타일(812) 중 제 2의 선택가능한 타일이 선택되도록, 디스플레이 화면(704)에 대해 위치된다.
그래픽 유저 인터페이스(1204)는, 제스쳐(1100)를 수행하는 유저에 응답하여 시각적 피드백이 유저에게 제시되는 것을 예시한다. 묘사된 바와 같이, 유저는 제스쳐 수행을 통해 복수의 선택가능한 타일(812) 중에서 제 2의 타일을 선택했다.
이제 도 13을 참조하면, 컴퓨팅 디바이스의 디스플레이 화면 상에 도시된 그래픽 오브젝트에 대해 유저에 의해 취해질 수 있는 또 다른 예시적인 제스쳐(1300)가 예시된다. 예시적인 제스쳐(1300)에서, 손(702)의 손바닥은 디스플레이 화면(704)의 바닥 에지에 대략 평행하고 디스플레이 화면(704)의 표면에 수직이다. 손(702)의 엄지와 검지는 서로에 대해, 함께 그리고 별도로, 이동되어 핀칭 제스쳐를 행하게 된다. 게이밍 환경에서, 예를 들면, 핀칭 제스쳐는 제스쳐 인식기 컴포넌트(116)에 의해 인식될 수 있고, 디스플레이 화면(704) 상의 특정 그래픽 오브젝트를 "움켜잡을(grab)" 수 있다. 예를 들면, 슬링샷 모션을 요구하는 게임에서, 유저는 손(702)으로 핀칭 제스쳐를 행할 수 있다. 손(702)을 (엄지와 검지를 핀칭 포지션으로 한 상태에서) 디스플레이 화면(704)으로부터 떨어지게 트랜지션함으로써, 슬링샷의 밴드가 당겨진다. 엄지와 검지를 분리하는 것은, 슬링샷이 디스플레이 화면(704) 상에 묘사된 타겟을 향해 발사체를 릴리스하게 할 수 있다.
이제 도 14를 참조하면, 컴퓨팅 디바이스의 디스플레이 화면 상에 도시된 그래픽 오브젝트에 대해 유저에 의해 취해질 수 있는 다른 예시적인 제스쳐(1400)가 예시된다. 제스쳐(1400)에서, 유저의 손(702)은 최초, 손(702)의 손바닥이 디스플레이 화면(704)에 평행하고 디스플레이 화면(704)과 마주보는 개방 위치에 있다. 추가적으로, 손의 손가락은 손바닥으로부터 펴지고 디스플레이 화면(704)의 사이드와 평행하다. 제스쳐(1400)에서, 그 다음 (마치 유저가 오브젝트를 움켜잡는 것처럼) 손(702)을 오므려 주먹을 만든다.
이제 도 15를 참조하면, 제스쳐(1400)에 대응하는 그래픽 유저 인터페이스(1502~1504)의 시퀀스(1500)가 묘사된다. 제스쳐(1500)가 수행되어 인식되기 이전에, 그래픽 유저 인터페이스(1502)가 디스플레이 화면(704) 상에 제시되는데, 그래픽 유저 인터페이스(1502)는 어플리케이션용이다. 유저는, 어플리케이션을 최소화하거나 닫는 것과 같은 어플리케이션에 대한 몇몇 태스크를 수행하기 위해 제스쳐(1400)를 수행한다. 그래픽 유저 인터페이스(1504)는 제스쳐(1400)를 인식하는 제스쳐 인식기 컴포넌트(216)에 대응하고, 그 결과 어플리케이션용 툴바(1506)가 그래픽 유저 인터페이스(1504)에 도시된다.
이제 도 16을 참조하면, 컴퓨팅 디바이스의 디스플레이 화면 상에 도시된 그래픽 오브젝트에 대해 유저에 의해 취해질 수 있는 다른 예시적인 제스쳐(1600)가 예시된다. 예시적인 제스쳐(1600)에서, 손의 손바닥이 디스플레이 화면(704)의 표면에 평행한 상태에서, 손은 주먹 쥔 상태에 있다. 후속하여, 손(702)은, 주먹의 형태를 유지하면서, 디스플레이 화면(704)의 표면에 대략 평행하게 유지하는 방향으로 트랜지션된다.
도 17을 참조하면, 제스쳐(1600)에 대응하는 그래픽 유저 인터페이스(1702~1706)의 시퀀스(1700)가 묘사된다. 그래픽 유저 인터페이스(1702)는, 유저가 도 14에 도시된 제스쳐(1400)를 수행했을 때 제시되는 툴바를 도시한다. 손(702)이 주먹의 형태를 유지한 상태에서, 손(702)을 디스플레이 화면(704)에 대해 특정량(그리고 옵션적으로 특정 속도로) 트랜지션함으로써, 유저는, 유저가 디스플레이 화면(704) 상에 도시된 어플리케이션을 빠져나오거나/최소화하기를 원한다는 것을 나타낼 수 있다. 그래픽 유저 인터페이스(1704)는, (주먹의 이동 방향에 대응하는 방향으로) 어플리케이션이 디스플레이 화면(704) 밖으로 트랜지션되어, 그 결과 복수의 선택가능한 타일(812)을 포함하는 홈 화면을 제시하게 되는 것을 도시한다. 그래픽 유저 인터페이스(1706)는 디스플레이 화면(704)으로부터 어플리케이션 그래픽 유저 인터페이스의 연속된 트랜지션을 도시한다.
이제 도 18을 참조하면, 컴퓨팅 디바이스의 디스플레이 화면 상에 도시된 그래픽 오브젝트에 대해 유저에 의해 취해질 수 있는 다른 예시적인 제스쳐(1800)가 예시된다. 예시적인 제스쳐(1800)에서, 유저의 손(702)은 최초, 손의 손가락이 디스플레이 화면(704)의 표면에 수직으로 펴져 있고, 손바닥이 아래쪽을 마주보며 디스플레이 화면(704)의 바닥 에지에 평행하도록 구성된다. 그 다음, 손(702)은 유저의 손목에 대해 왼쪽으로 또는 오른쪽으로 피벗된다. 제스쳐(1800)는, 예를 들면, 복수의 선택가능한 데이터 콜렉션들 중에서 한 데이터 콜렉션을 선택하는 데 활용될 수 있다.
이제 도 19를 참조하면, 제스쳐(1800)에 대응하는 그래픽 유저 인터페이스(1902~1904)의 시퀀스(1900)가 묘사된다. 그래픽 유저 인터페이스(1902)는 데이터 콜렉션을 각각 나타내는 복수의 그래픽 오브젝트를 포함한다. 예를 들면, 이러한 데이터 콜렉션은 워드프로세싱 파일 또는 다른 문서를 포함하는 파일 폴더일 수도 있다. 다른 예에서, 데이터 콜렉션은 사진, 비디오 등의 콜렉션일 수 있다.
그래픽 유저 인터페이스(1902)에서, 디스플레이 화면(704)에 대한 유저의 손(702)의 위치가 제 3의 데이터 콜렉션이 먼저 선택되도록 했음이 확인될 수 있다. 이것은 제 3의 데이터 콜렉션이 볼드체로 도시되는 것에 의해 그래픽 유저 인터페이스(1902)에서 표현된다. 그래픽 유저 인터페이스(1904)는 유저의 손(702)에 의해 이루어진 제스쳐(1800)의 인식에 기초하여 데이터 콜렉션의 선택에서의 변경을 예시한다. 예를 들면, 유저는 손목에 대해 손(702)을 왼쪽으로 피벗하여 제 3의 데이터 콜렉션으로부터 제 1의 데이터 콜렉션으로 선택을 변경할 수도 있다. 제 1의 데이터 콜렉션의 선택은 그래픽 유저 인터페이스(1904)에서 제 1의 데이터 콜렉션이 볼드체로 표현되는 것에 의해 도시된다.
이제 도 20을 참조하면, 컴퓨팅 디바이스의 디스플레이 화면 상에 도시된 그래픽 오브젝트에 대해 유저에 의해 취해질 수 있는 또 다른 예시적인 제스쳐(2000)가 예시된다. 제스쳐(2000)는 도 7에 도시된 제스쳐(700)와 유사하지만; 그러나, 제스쳐(2000)는 (상이한 상황에서의) 상이한 그래픽 오브젝트에 대해 취해진다. 손(702)은 최초에, 손(702)의 손바닥이 아래를 마주보며 디스플레이 화면(704)의 바닥 에지와 평행하고, 손(702)의 손가락이 손바닥으로부터 디스플레이 화면(704)의 표면에 수직하게 펴지도록 위치된다. 그 다음, 손(702)은 손목에 대해 위쪽으로 피벗된다.
이제 도 21을 참조하면, 제스쳐(2000)에 대응하는 그래픽 유저 인터페이스(2102~2104)의 시퀀스(2100)가 묘사된다. 그래픽 유저 인터페이스(2102)에서 도시된 바와 같이, 제 1의 데이터 콜렉션은 도 18에 도시된 제스쳐(1800)를 통해 유저에 의해 선택되었다. (제 1의 데이터 콜렉션이 선택된 후) 제스쳐(2000)가 인식되는 것에 응답하여, 그래픽 유저 인터페이스(2104)가 유저에게 제시되는데, 여기서 그래픽 유저 인터페이스(2104)는, 제 1의 데이터 콜렉션이 개개의 데이터 오브젝트를 유저에게 묘사하기 위해 확대되었음을 도시한다. 예를 들면, 제 1의 데이터 콜렉션이 특정 이벤트에 대응하는 복수의 이미지를 포함하면, 유저는 디스플레이 화면(704)에 대해 제스쳐(2000)를 행할 수 있고, 데이터 콜렉션에서의 개개의 이미지가 유저에게 제시될 수 있다. 그 후, 예를 들면, 유저는 이미지 중 특정한 하나를 선택하기 위해 도 11에 도시된 제스쳐(1100)를 활용할 수 있다.
언급된 바와 같이, 도 7 내지 도 21은 본원에서, 위에선 언급되었던 3차원 깊이 감지에 기초하여 인식될 수 있는 제스쳐의 비교적 작은 서브셋을 예시하기 위해 제시되었다. 다양한 다른 제스쳐가 고안된다. 예를 들면, 다중 핸드 제스쳐가 고안되는데, 여기서는, 유저는 유저의 왼손 및 오른손의 검지를 펴서, 그래픽 오브젝트를 선택하고, 그리고 검지의 서로에 대한 위치에 기초하여 그래픽 오브젝트가 사이즈에서 커지거나 감소되게 할 수 있다. 예를 들면, 손의 검지를 떨어지게 이동하는 것은, 그래픽 오브젝트가 확대되게 할 수 있고, 반면 손의 검지를 서로 가까워지게 이동하는 것은 그래픽 오브젝트의 사이즈가 감소되게 할 수 있다.
이제 도 22를 참조하면, 본원에서 개시된 시스템 및 방법론에 따라 사용될 수 있는 예시적인 컴퓨팅 디바이스(2200)의 하이 레벨 예시가 예시된다. 예를 들면, 컴퓨팅 디바이스(220)는 광 폴오프의 원리에 기초하여 장면의 깊이 이미지 계산을 지원하는 시스템에서 사용될 수도 있다. 다른 예에서, 컴퓨팅 디바이스(2200)의 적어도 일부는 3차원 공간에서 이루어진 제스쳐 인식을 지원하는 시스템에서 사용될 수도 있다. 컴퓨팅 디바이스(2200)는 메모리(2204)에 저장된 명령을 실행하는 적어도 하나의 프로세서(2202)를 포함한다. 메모리(2204)는 RAM, ROM, EEPROM, 플래시 메모리, 또는 다른 적절한 메모리일 수도 있거나 또는 이들을 포함할 수도 있다. 명령은, 예를 들면, 위에서 논의된 하나 이상의 컴포넌트에 의해 실행되는 것으로 설명된 기능성을 구현하는 명령 또는 위에서 설명된 하나 이상의 방법을 구현하는 명령일 수도 있다. 프로세서(2202)는 시스템 버스(2206)를 통해 메모리(2204)에 액세스할 수도 있다. 실행가능 명령을 저장하는 것에 추가하여, 메모리(2204)는 깊이 이미지, 적외선 이미지, RGB 이미지, 캘리브레이션 파라미터 등을 또한 포함할 수도 있다.
컴퓨팅 디바이스(2200)는 추가적으로, 시스템 버스(2206)를 통해 프로세서(2202)에 의해 액세스될 수 있는 데이터 저장소(2208)를 포함한다. 데이터 저장소는, 하드 디스크, 메모리 등을 포함하는, 임의의 적절한 컴퓨터 판독가능 스토리지일 수도 있거나, 또는 그 임의의 적절한 컴퓨터 판독가능 스토리지를 포함할 수도 있다. 데이터 저장소(2208)는 실행가능 명령, 적외선 이미지, RBG 이미지, 깊이 이미지, 캘리브레이션 파라미터 등을 포함할 수도 있다. 컴퓨팅 디바이스(2200)는, 외부 디바이스가 컴퓨팅 디바이스(2200)와 통신하는 것을 허용하는 입력 인터페이스(2210)를 또한 포함한다. 예를 들면, 입력 인터페이스(2210)는 외부 컴퓨터 디바이스로부터, 유저로부터, 기타 등등으로부터 명령을 수신하기 위해 사용될 수도 있다. 컴퓨팅 디바이스(2200)는, 컴퓨팅 디바이스(2200)를 하나 이상의 외부 디바이스와 인터페이싱하는 출력 인터페이스(2212)를 또한 포함한다. 예를 들면, 컴퓨팅 디바이스(2200)는 출력 인터페이스(2212)를 통해 텍스트, 이미지 등을 디스플레이할 수도 있다.
추가적으로, 단일 시스템으로서 예시되었지만, 컴퓨팅 디바이스(2200)는 분산 시스템일 수도 있음이 이해되어야만 한다. 따라서, 예를 들면, 여러 디바이스가 네트워크 접속을 통해 통신할 수도 있으며 컴퓨팅 디바이스(2200)에 의해 수행되는 것으로 설명된 태스크를 공동으로 수행할 수도 있다.
여러 예들이 설명의 목적을 위해 제공되었음이 주목된다. 이들 예는 본원에 첨부된 청구항을 제한하는 것으로 간주되어선 안된다. 추가적으로, 본원에서 제공된 예는 청구항의 범위 내에 있는 동안 전치될(permutated) 수도 있다는 것을 알 수도 있을 것이다.

Claims (20)

  1. 시스템으로서,
    적어도 하나의 프로세서와,
    상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 동작을 수행하게 하는 명령이 저장된, 메모리
    를 포함하고,
    상기 동작은,
    적외선 에미터에 의해 조사되는 장면의 적외선 이미지를 수신하는 동작 - 상기 적외선 이미지는 적외선 카메라에 의해 캡쳐되고, 상기 적외선 이미지는 픽셀을 포함하며 제 1 해상도를 가지고, 상기 픽셀 각각에는 강도 값이 할당되어 있음 - 과,
    상기 장면의 상기 적외선 이미지에 기초해서 상기 장면의 제 1 깊이 이미지를 생성하는 동작 -
    상기 제 1 깊이 이미지는 깊이 픽셀을 포함하고, 각각의 깊이 픽셀에는 상기 적외선 에미터와 상기 장면의 각각의 오브젝트 사이의 거리를 나타내는 깊이 값이 할당되어 있으며,
    상기 장면의 제 1 깊이 이미지를 생성하는 동작은, 상기 적외선 이미지의 상기 픽셀의 강도 값에 대해서 광 폴오프(light falloff)의 원리를 적용해서 상기 제 1 깊이 이미지의 상기 깊이 값을 계산하는 동작을 포함하고,
    상기 광 폴오프의 원리를 상기 적외선 이미지의 픽셀의 강도 값에 적용할 때, 상기 제 1 깊이 이미지 내의 대응하는 깊이 픽셀의 깊이 값이, 상기 적외선 이미지의 상기 픽셀의 상기 강도 값의 제곱근에 기초해서, 상기 적어도 하나의 프로세서에 의해서, 계산됨 - 과,
    상기 적외선 에미터와 상기 적외선 카메라를 포함하는 센서 유닛에 포함되어 있는 깊이 센서로부터 제 2 이미지를 수신하는 동작과,
    상기 제 2 이미지에 기초하여 상기 제 1 깊이 이미지를 생성하는 동작에 사용된 것과는 상이한 깊이 감지 기술을 사용하여 상기 제 1 해상도와는 상이한 제 2 해상도를 가지는 제 2 깊이 이미지를 생성하는 동작과,
    상기 제 2 깊이 이미지의 픽셀과 상기 제 1 깊이 이미지의 픽셀 간의 매핑을 나타내는 캘리브레이션 파라미터를 학습하는 동작과,
    상기 제 2 깊이 이미지를 복수의 세그먼트로 분할하는 동작 - 각각의 세그먼트는 각각의 범위에 들어가는 깊이 값을 가진, 상기 제 2 깊이 이미지 내의 픽셀을 포함함 - 과,
    상기 캘리브레이션 파라미터에 기초해서, 상기 복수의 세그먼트를 상기 적외선 이미지의 각각의 부분에 매핑하는 동작과,
    상기 적외선 이미지의 상기 각각의 부분에 대한 상기 복수의 세그먼트의 매핑에 기초해서, 제 3 깊이 이미지를 생성하는 동작과,
    상기 제 3 깊이 이미지에 기초해서 디스플레이 상에 그래픽 데이터를 렌더링하는 동작을 포함하는
    시스템.
  2. 제 1 항에 있어서,
    상기 시스템은 모바일 컴퓨팅 디바이스에 포함되는
    시스템.
  3. 제 1 항에 있어서,
    하우징을 더 포함하고,
    상기 하우징은, 상기 적어도 하나의 프로세서, 상기 메모리, 상기 적외선 카메라 및 상기 적외선 에미터를 포함하는
    시스템.
  4. 제 1 항에 있어서,
    상기 광 폴오프의 원리를 상기 적외선 이미지의 상기 픽셀에 적용할 때, 상기 적어도 하나의 프로세서가, 상기 제 1 깊이 이미지 내의 대응하는 깊이 픽셀의 상기 깊이 값을 상수(constant)에 기초해서 계산하는
    시스템.
  5. 제 1 항에 있어서,
    상기 제 2 깊이 이미지를 생성하는 동작은, 상기 제 2 깊이 이미지를, 제 1 RGB 카메라에 의해 캡쳐되는 이미지 및 제 2 RGB 카메라에 의해 캡쳐되는 이미지에 기초해서 생성하는 동작을 포함하고,
    상기 제 1 RGB 카메라 및 상기 제 2 RGB 카메라는 입체적으로 정렬되는(stereoscopically arranged)
    시스템.
  6. 제 5 항에 있어서,
    상기 캘리브레이션 파라미터를 학습하는 동작은,
    양안시(binocular vision) 기술에 기초해서 생성된 깊이 이미지를 캘리브레이트하는 동작과,
    상기 적외선 카메라에 의해 캡쳐되는 이미지에 기초해서 생성된 깊이 이미지를 캘리브레이트해서 상기 캘리브레이션 파라미터를 학습하는 동작
    을 더 포함하고,
    상기 캘리브레이션 파라미터는, 양안시 기술에 기초해서 생성된 깊이 이미지의 픽셀과, 상기 적외선 카메라에 의해 캡쳐되는 이미지에 기초해서 생성된 깊이 이미지의 픽셀 사이의 매핑을 나타내는
    시스템.
  7. 삭제
  8. 삭제
  9. 제 1 항에 있어서,
    상기 제 3 깊이 이미지는 제 3 해상도를 갖고,
    상기 제 3 해상도는 상기 제 1 해상도보다 높은
    시스템.
  10. 제 1 항에 있어서,
    상기 장면은, 상기 적외선 이미지 내에서 캡쳐될 때, 사람 손을 포함하고,
    상기 동작은,
    상기 디스플레이 상에 디스플레이되는 그래픽 오브젝트에 대해, 상기 사람 손에 의해 행해지는 제스쳐를 상기 제 3 깊이 이미지에 기초해서 인식하는 동작과,
    상기 제스쳐에 기초해서 상기 디스플레이의 화면 상에 상기 그래픽 데이터를 렌더링하는 동작
    을 더 포함하는
    시스템.
  11. 제 10 항에 있어서,
    상기 그래픽 오브젝트는 잠금 화면이고,
    상기 제스쳐는 손목에 대한 상기 사람 손의 상향 피벗팅이며,
    상기 그래픽 데이터는 홈 화면으로의 시각적인 트랜지션이고,
    상기 홈 화면은 복수의 실행 가능 애플리케이션 각각에 대한 복수의 선택가능한 타일을 포함하는
    시스템.
  12. 제 10 항에 있어서,
    상기 그래픽 오브젝트는, 상기 프로세서에 의해 실행 가능한 제 1 복수의 애플리케이션에 대한 제 1 복수의 선택가능한 타일을 포함하는 그래픽 유저 인터페이스이고,
    상기 제스쳐는 손목에 대한 상기 사람 손의 좌향 혹은 우향 피벗팅이며,
    상기 그래픽 데이터는, 상기 프로세서에 의해 실행 가능한 제 2 복수의 애플리케이션 각각에 대한 제 2 복수의 선택가능한 타일을 포함하는 다른 그래픽 유저 인터페이스로의 시각적인 트랜지션이고,
    상기 시각적인 트랜지션의 방향은 좌향과 우향 중 하나이며, 상기 사람 손의 상기 피벗팅 방향에 대응하는
    시스템.
  13. 제 10 항에 있어서,
    상기 그래픽 오브젝트는, 상기 프로세서에 의해 실행 가능한 복수의 애플리케이션 각각에 대한 복수의 선택가능한 타일을 포함하는 그래픽 유저 인터페이스이고,
    상기 제스쳐는 상기 사람 손의 검지(pointer finger)의 뻗음 및 상기 검지의 상기 디스플레이로의 트랜지션을 포함하며,
    상기 그래픽 데이터는 상기 복수의 선택가능한 타일 중에서 특정 타일이 선택되었다는 시각적인 표시자인
    시스템.
  14. 적어도 하나의 컴퓨터 프로세서에 의해 실행되는 방법으로서,
    적외선 카메라로부터, 이동 오브젝트를 포함하는 장면의 적외선 이미지들의 시퀀스를 수신하는 단계 - 상기 장면에는 적외선 에미터에 의해 적외선 광이 조사되고 있고, 상기 적외선 이미지들의 시퀀스의 각각의 적외선 이미지는 복수의 픽셀을 포함하며 제 1 해상도를 가지며, 상기 적외선 이미지들의 시퀀스의 각각의 적외선 이미지의 각각의 픽셀에는 강도 값이 할당되어 있음 - 와,
    상기 장면의 상기 적외선 이미지들의 시퀀스에 기초해서, 상기 장면의 제 1 깊이 이미지들의 시퀀스를 생성하는 단계 - 상기 제 1 깊이 이미지들의 시퀀스의 각각의 깊이 이미지는 복수의 깊이 픽셀을 포함하고, 상기 제 1 깊이 이미지들의 시퀀스 내의 각각의 깊이 이미지의 각각의 깊이 픽셀에는 깊이 값이 할당되어 있으며, 상기 깊이 값의 서브셋은 상기 이동 오브젝트와 상기 적외선 에미터 사이의 거리를 나타내며,
    상기 적외선 이미지들의 시퀀스에 기초해서 상기 제 1 깊이 이미지들의 시퀀스를 생성하는 단계는, 상기 적외선 이미지들의 시퀀스 내의 적외선 이미지에 대해서, 상기 적외선 이미지의 픽셀의 강도 값에 광 폴오프의 원리를 적용하는 것에 기초해서, 상기 제 1 깊이 이미지들의 시퀀스의 대응하는 제 1 깊이 이미지 내의 대응하는 깊이 픽셀의 깊이 값을 판정하는 단계를 포함하고,
    상기 적어도 하나의 컴퓨터 프로세서가 상기 광 폴오프의 원리를 상기 적외선 이미지의 픽셀의 강도 값에 적용할 때, 상기 적어도 하나의 컴퓨터 프로세서는, 상기 적외선 이미지의 픽셀의 상기 강도 값의 제곱 근에 기초해서, 상기 대응하는 제 1 깊이 이미지의 대응하는 깊이 픽셀의 깊이 값을 계산함 - 와,
    상기 적외선 에미터와 상기 적외선 카메라를 포함하는 센서 유닛에 포함되어 있는 깊이 센서로부터 제 2 이미지들의 시퀀스를 수신하는 단계와,
    상기 제 2 이미지들의 시퀀스에 기초하여 상기 제 1 깊이 이미지들의 시퀀스를 생성하는 단계에 사용된 것과는 상이한 깊이 감지 기술을 사용하여 상기 제 1 해상도와는 상이한 제 2 해상도를 가지는 제 2 깊이 이미지들의 시퀀스를 생성하는 단계와,
    상기 제 2 깊이 이미지들의 시퀀스의 대응하는 제 2 깊이 이미지의 픽셀과 상기 제 1 깊이 이미지들의 시퀀스의 대응하는 제 1 깊이 이미지의 픽셀 간의 매핑을 나타내는 캘리브레이션 파라미터를 학습하는 단계와,
    상기 제 2 깊이 이미지들의 시퀀스의 제 2 깊이 이미지를 복수의 세그먼트로 분할하는 단계 - 각각의 세그먼트는 각각의 범위에 들어가는 깊이 값을 가진, 상기 제 2 깊이 이미지 내의 픽셀을 포함함 - 와,
    상기 캘리브레이션 파라미터에 기초해서, 상기 복수의 세그먼트를 상기 적외선 이미지들의 시퀀스의 각각의 부분에 매핑하는 단계와,
    상기 적외선 이미지들의 시퀀스의 상기 각각의 부분에 대한 상기 복수의 세그먼트의 매핑에 기초해서, 제 3 깊이 이미지들의 시퀀스를 생성하는 단계와,
    상기 이동 오브젝트와 상기 적외선 에미터 사이의 거리를 나타내는 상기 제 3 깊이 이미지들의 시퀀스 내의 각각의 깊이 이미지의 각각의 깊이 픽셀에 할당되어 있는 깊이 값의 서브셋에 기초해서 디스플레이 상에 그래픽 데이터를 렌더링하는 단계
    를 포함하는
    방법.
  15. 제 14 항에 있어서,
    상기 이동 오브젝트는 사람 손이고,
    상기 깊이 값의 서브셋에 기초해서, 상기 디스플레이 상의 그래픽 오브젝트에 대해 상기 사람 손에 의해 행해지는 제스쳐를 인식하는 단계와,
    상기 사람 손에 의해 행해지는 상기 제스쳐에 기초해서 상기 디스플레이 상에 상기 그래픽 데이터를 렌더링하는 단계
    를 더 포함하는 방법.
  16. 제 15 항에 있어서,
    상기 제스쳐는, 손목에 대한 상기 사람 손의 상향 피벗팅, 상기 손목에 대한 상기 사람 손의 좌향 피벗팅, 상기 손목에 대한 상기 사람 손의 우향 피벗팅, 및 상기 사람 손에서 검지를 뻗음 중 하나인
    방법.
  17. 제 16 항에 있어서,
    상기 사람 손 중 상기 디스플레이에 가장 가까운 부분은, 상기 디스플레이로부터 1 센티미터와 8 센티미터 사이에 있는
    방법.
  18. 제 14 항에 있어서,
    상기 적어도 하나의 프로세서가 상기 광 폴오프의 원리를 상기 적외선 이미지의 상기 픽셀의 상기 강도 값에 적용할 때, 상기 적어도 하나의 프로세서는 상기 대응하는 제 1 깊이 이미지 내의 대응하는 깊이 픽셀의 상기 깊이 값을, 상기 에미터가 상기 장면을 조사할 때 상기 에미터로부터 방출되는 상기 적외선 광의 강도에 더 기초해서, 계산하는,
    방법.
  19. 제 14 항에 있어서,
    상기 방법은 모바일 전화기 내의 프로세서에 의해 실행되는
    방법.
  20. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 동작을 수행하게 하는 명령을 포함하는 컴퓨터 판독 가능 매체로서,
    상기 동작은,
    적외선 에미터에 의해 적외선 광이 조사되는 장면의 적외선 이미지를, 적외선 카메라로부터 수신하는 동작 - 상기 장면은 사람 손을 포함하고, 상기 적외선 이미지는 복수의 픽셀을 포함하며 제 1 해상도를 가지며, 상기 복수의 픽셀 내의 각각의 픽셀은 강도 값을 가짐 - 과,
    상기 적외선 이미지의 상기 픽셀의 상기 강도 값에 기초해서 제 1 깊이 이미지를 생성하는 동작 - 상기 제 1 깊이 이미지는 깊이 값을 가진 깊이 픽셀을 포함하고,
    상기 제 1 깊이 이미지를 생성하는 동작은, 상기 적외선 이미지의 상기 픽셀의 상기 강도 값에 광 폴오프의 원리를 적용하는 동작을 포함하며,
    상기 광 폴오프의 원리를 상기 적외선 이미지의 픽셀의 강도 값에 적용할 때, 상기 적외선 이미지의 상기 픽셀에 대응하는 상기 제 1 깊이 이미지 내의 깊이 픽셀의 깊이 값이, 상기 제 1 깊이 이미지의 상기 픽셀의 상기 강도 값의 제곱근에 기초해서 판정되고,
    상기 깊이 값은 상기 사람 손과 상기 적외선 에미터 사이의 거리를 나타냄 - 과,
    상기 적외선 에미터와 상기 적외선 카메라를 포함하는 센서 유닛에 포함되어 있는 깊이 센서로부터 제 2 이미지를 수신하는 동작과,
    상기 제 2 이미지에 기초하여 상기 제 1 깊이 이미지를 생성하는 동작에 사용된 것과는 상이한 깊이 감지 기술을 사용하여 상기 제 1 해상도와는 상이한 제 2 해상도를 가지는 제 2 깊이 이미지를 생성하는 동작과,
    상기 제 2 깊이 이미지의 픽셀과 상기 제 1 깊이 이미지의 픽셀 간의 매핑을 나타내는 캘리브레이션 파라미터를 학습하는 동작과,
    상기 제 2 깊이 이미지를 복수의 세그먼트로 분할하는 동작 - 각각의 세그먼트는 각각의 범위에 들어가는 깊이 값을 가진, 상기 제 2 깊이 이미지 내의 픽셀을 포함함 - 과,
    상기 캘리브레이션 파라미터에 기초해서, 상기 복수의 세그먼트를 상기 적외선 이미지의 각각의 부분에 매핑하는 동작과,
    상기 적외선 이미지의 상기 각각의 부분에 대한 상기 복수의 세그먼트의 매핑에 기초해서, 제 3 깊이 이미지를 생성하는 동작과,
    디스플레이 상에 디스플레이되는 그래픽 오브젝트에 대해 상기 사람 손에 의해 수행되는 제스쳐를, 상기 제 3 깊이 이미지에 기초해서 인식하는 동작과,
    상기 사람 손에 의해 수행되는 것으로 인식된 상기 제스쳐에 기초해서, 상기 디스플레이 상에 그래픽 데이터를 렌더링하는 동작
    을 포함하는
    컴퓨터 판독 가능 매체.
KR1020147025012A 2012-03-05 2012-03-05 광 폴오프에 기초한 깊이 이미지의 생성 기법 KR102011169B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/071935 WO2013131232A1 (en) 2012-03-05 2012-03-05 Generation of depth images based upon light falloff

Publications (2)

Publication Number Publication Date
KR20140136442A KR20140136442A (ko) 2014-11-28
KR102011169B1 true KR102011169B1 (ko) 2019-08-14

Family

ID=49042620

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147025012A KR102011169B1 (ko) 2012-03-05 2012-03-05 광 폴오프에 기초한 깊이 이미지의 생성 기법

Country Status (6)

Country Link
US (1) US9513768B2 (ko)
EP (1) EP2823462B1 (ko)
JP (1) JP2015517134A (ko)
KR (1) KR102011169B1 (ko)
CN (1) CN104169966A (ko)
WO (1) WO2013131232A1 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9335922B2 (en) * 2013-01-16 2016-05-10 Research In Motion Limited Electronic device including three-dimensional gesture detecting display
US9323380B2 (en) 2013-01-16 2016-04-26 Blackberry Limited Electronic device with touch-sensitive display and three-dimensional gesture-detection
WO2014160819A1 (en) * 2013-03-27 2014-10-02 Bae Systems Information And Electronic Systems Integration Inc. Multi field-of-view multi sensor electro-optical fusion-zoom camera
US9829984B2 (en) * 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces
US10019843B2 (en) * 2013-08-08 2018-07-10 Facebook, Inc. Controlling a near eye display
KR102241706B1 (ko) * 2013-11-13 2021-04-19 엘지전자 주식회사 3차원 카메라 및 그 제어 방법
CN105829829B (zh) * 2013-12-27 2019-08-23 索尼公司 图像处理装置和图像处理方法
US9740923B2 (en) * 2014-01-15 2017-08-22 Lenovo (Singapore) Pte. Ltd. Image gestures for edge input
US9392262B2 (en) * 2014-03-07 2016-07-12 Aquifi, Inc. System and method for 3D reconstruction using multiple multi-channel cameras
KR102265143B1 (ko) * 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
KR102237828B1 (ko) * 2014-08-22 2021-04-08 삼성전자주식회사 동작 인식 장치 및 이를 이용한 동작 인식 방법
CN104407786A (zh) * 2014-09-30 2015-03-11 深圳市亿思达科技集团有限公司 实现全息图像显示的交互式显示方法、控制方法及***
CN105635718A (zh) * 2014-10-27 2016-06-01 聚晶半导体股份有限公司 影像撷取装置
WO2016138143A1 (en) * 2015-02-25 2016-09-01 Oculus Vr, Llc Using intensity variations in a light pattern for depth mapping of objects in a volume
TWI610198B (zh) * 2015-04-17 2018-01-01 鈺立微電子股份有限公司 遙控裝置與根據至少一靜態手勢產生控制指令的方法
US20160314616A1 (en) * 2015-04-23 2016-10-27 Sungwook Su 3d identification system with facial forecast
CN105354805B (zh) * 2015-10-26 2020-03-06 京东方科技集团股份有限公司 深度图像的去噪方法和去噪设备
US20190302963A1 (en) * 2016-06-01 2019-10-03 Carnegie Mellon University Hybrid depth and infrared image sensing and method for enhanced touch tracking on ordinary surfaces
KR102529119B1 (ko) * 2016-06-27 2023-05-04 삼성전자주식회사 객체의 깊이 정보를 획득하는 방법, 디바이스 및 기록매체
CN106200249A (zh) * 2016-08-30 2016-12-07 辽宁中蓝电子科技有限公司 结构光和rgb传感器模组整体式集成***3d相机
CN107633497A (zh) * 2017-08-31 2018-01-26 成都通甲优博科技有限责任公司 一种图像景深渲染方法、***及终端
JP7220343B2 (ja) * 2018-02-26 2023-02-10 パナソニックＩｐマネジメント株式会社 画像処理装置
JP7297891B2 (ja) 2018-07-19 2023-06-26 アクティブ サージカル， インコーポレイテッド 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法
US10936051B2 (en) * 2018-09-20 2021-03-02 Dell Products, L.P. Power management for gesture recognition in virtual, augmented, and mixed reality (xR) applications
US10936055B2 (en) * 2019-01-24 2021-03-02 Dell Products, L.P. Encoding content for virtual, augmented, and mixed reality (xR) applications in connectivity-constrained environments
WO2020210168A1 (en) 2019-04-08 2020-10-15 Activ Surgical, Inc. Systems and methods for medical imaging
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
CN110942060B (zh) * 2019-10-22 2023-05-23 清华大学 基于激光散斑和模态融合的材质识别方法及装置
US11681395B2 (en) * 2019-10-23 2023-06-20 Boe Technology Group Co., Ltd. Display substrate, display device and detection method by using display device
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
CN113961122B (zh) * 2021-11-04 2023-11-17 北京嘉和海森健康科技有限公司 人体模型显示方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003185412A (ja) * 2001-12-18 2003-07-03 Toshiba Corp 画像取得装置および画像取得方法
US20100328475A1 (en) * 2009-06-30 2010-12-30 Cisco Technology, Inc. Infrared-Aided Depth Estimation
US20110059798A1 (en) * 1997-08-22 2011-03-10 Pryor Timothy R Interactive video based games using objects sensed by tv cameras
US20120039525A1 (en) * 2010-08-12 2012-02-16 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3321053B2 (ja) * 1996-10-18 2002-09-03 株式会社東芝 情報入力装置及び情報入力方法及び補正データ生成装置
EP0837418A3 (en) * 1996-10-18 2006-03-29 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
US6148113A (en) * 1998-02-03 2000-11-14 Micrografx, Inc. System for stimulating the depth of field of an image in two dimensional space and method of operation
US6162183A (en) * 1999-02-02 2000-12-19 J&J Engineering Respiration feedback monitor system
EP1126412B1 (en) * 2000-02-16 2013-01-30 FUJIFILM Corporation Image capturing apparatus and distance measuring method
JP2004530875A (ja) * 2001-04-13 2004-10-07 カーギル、インコーポレイテッド 農業および／または食品の原料の評価方法、その適用および製品
JP4612635B2 (ja) * 2003-10-09 2011-01-12 本田技研工業株式会社 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出
US20050275635A1 (en) * 2004-06-15 2005-12-15 Microsoft Corporation Manipulating association of data with a physical object
US7355182B2 (en) * 2004-10-06 2008-04-08 Harold Szu Infrared multi-spectral camera and process of using infrared multi-spectral camera
KR100746995B1 (ko) * 2005-09-22 2007-08-08 한국과학기술원 직관적인 실제 공간적 조준에 따른 시스템 및 그식별방법과 통신방법
US8659698B2 (en) * 2007-05-17 2014-02-25 Ilya Blayvas Compact 3D scanner with fixed pattern projector and dual band image sensor
EP2107446A1 (en) * 2008-04-04 2009-10-07 ETH Zurich System and a method for tracking input devices on LC-displays
EP2154650A1 (en) * 2008-08-12 2010-02-17 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. 3D time-of-flight camera system and position/orientation calibration method therefor
CN101674418B (zh) * 2008-09-10 2013-09-18 新奥特（北京）视频技术有限公司 一种虚拟演播室***中主持人深度的检测方法
US7996793B2 (en) * 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US8773355B2 (en) * 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
US8355698B2 (en) * 2009-03-30 2013-01-15 Microsoft Corporation Unlock screen
US9498718B2 (en) * 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
KR101612549B1 (ko) * 2009-07-02 2016-04-14 엘지전자 주식회사 복수의 가상 스크린을 갖는 이동 단말기 및 그 제어 방법
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US9551914B2 (en) * 2011-03-07 2017-01-24 Microsoft Technology Licensing, Llc Illuminator with refractive optical element
US9819879B2 (en) * 2011-07-12 2017-11-14 Samsung Electronics Co., Ltd. Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity
US20130229396A1 (en) * 2012-03-05 2013-09-05 Kenneth J. Huebner Surface aware, object aware, and image aware handheld projector
US9734393B2 (en) * 2012-03-20 2017-08-15 Facebook, Inc. Gesture-based control system
US9477303B2 (en) * 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110059798A1 (en) * 1997-08-22 2011-03-10 Pryor Timothy R Interactive video based games using objects sensed by tv cameras
JP2003185412A (ja) * 2001-12-18 2003-07-03 Toshiba Corp 画像取得装置および画像取得方法
US20100328475A1 (en) * 2009-06-30 2010-12-30 Cisco Technology, Inc. Infrared-Aided Depth Estimation
US20120039525A1 (en) * 2010-08-12 2012-02-16 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content

Also Published As

Publication number Publication date
EP2823462B1 (en) 2019-10-16
CN104169966A (zh) 2014-11-26
WO2013131232A1 (en) 2013-09-12
JP2015517134A (ja) 2015-06-18
US20130229499A1 (en) 2013-09-05
EP2823462A1 (en) 2015-01-14
EP2823462A4 (en) 2015-05-06
US9513768B2 (en) 2016-12-06
KR20140136442A (ko) 2014-11-28

Similar Documents

Publication Publication Date Title
KR102011169B1 (ko) 광 폴오프에 기초한 깊이 이미지의 생성 기법
US11275480B2 (en) Dynamic interactive objects
US12045394B2 (en) Cursor mode switching
US10082879B2 (en) Head mounted display device and control method
US10019074B2 (en) Touchless input
EP2891950B1 (en) Human-to-computer natural three-dimensional hand gesture based navigation method
US8933882B2 (en) User centric interface for interaction with visual display that recognizes user intentions
US10268277B2 (en) Gesture based manipulation of three-dimensional images
US11182580B2 (en) Fingertip identification for gesture control
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures
Mustafa et al. Multi Finger Gesture Recognition and Classification in Dynamic Environment under Varying Illumination upon Arbitrary Background

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant