KR102502310B1 - 적외선 이미징을 사용한 색상 식별 - Google Patents

적외선 이미징을 사용한 색상 식별 Download PDF

Info

Publication number
KR102502310B1
KR102502310B1 KR1020227006694A KR20227006694A KR102502310B1 KR 102502310 B1 KR102502310 B1 KR 102502310B1 KR 1020227006694 A KR1020227006694 A KR 1020227006694A KR 20227006694 A KR20227006694 A KR 20227006694A KR 102502310 B1 KR102502310 B1 KR 102502310B1
Authority
KR
South Korea
Prior art keywords
image
skin
pixels
intensity
pixel
Prior art date
Application number
KR1020227006694A
Other languages
English (en)
Other versions
KR20220031142A (ko
Inventor
린 리앙
크리스티안 에프. 휴이트마
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20220031142A publication Critical patent/KR20220031142A/ko
Application granted granted Critical
Publication of KR102502310B1 publication Critical patent/KR102502310B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

색상 식별과 관련된 실시예들이 개시된다. 하나의 예시에서, 이미지 프로세싱 방법은, IR 픽셀의 하나 이상의 IR 파라미터들을 각각 규정하는 복수의 IR 픽셀들을 포함하는 적외선(IR) 이미지를 수신하는 단계, IR 이미지에서, 사람 피부를 이미지화한 IR 피부 픽셀들을 식별하는 단계, IR 피부 픽셀들에 적어도 부분적으로 기초하여 식별된 사람 피부의 피부 색조(skin tone) - 상기 피부 색조는 하나 이상의 예상 가시광(visible light; VL) 파라미터들을 가짐 - 를 식별하는 단계, VL 픽셀의 하나 이상의 VL 파라미터들을 각각 규정하는 복수의 VL 픽셀들을 포함하는 VL 이미지를 수신하는 단계, VL 이미지에서, 식별된 사람 피부를 이미지화한 VL 피부 픽셀들을 식별하는 단계, 및 상기 VL 피부 픽셀들의 하나 이상의 VL 파라미터들과 상기 식별된 피부 색조의 하나 이상의 예상 VL 파라미터들 간의 대응성(correspondence)을 증가시키도록 상기 VL 이미지를 조정하는 단계를 포함한다.

Description

적외선 이미징을 사용한 색상 식별{COLOR IDENTIFICATION USING INFRARED IMAGING}
본 발명은 적외선 이미징을 사용한 색상 식별에 관한 것이다.
다양한 전자 이미징(electronic imaging) 시스템은 컬러(color) 이미지 센서를 사용하여 장면의 컬러 이미지들을 캡처한다. 그러나, 색상(color) 인식은 주변 조명 조건과 함수관계에 있다. 하나의 조명 조건 세트하에서 이미지화된(imaged) 객체는 다른 조명 조건 세트하에서와는 다른 색상을 갖는 것으로 간주될 수 있다. 따라서, 이러한 컬러 이미징 시스템에 의한 색상들의 식별은 변동가능할 수 있다.
이미지에서의 색상 식별과 관련된 실시예들이 개시된다. 하나의 예시에서, 이미지 프로세싱 방법은, 적외선(infrared; IR) 카메라로부터, IR 픽셀의 하나 이상의 IR 파라미터들을 각각 규정하는 복수의 IR 픽셀들을 포함하는 적외선(IR) 이미지를 인코딩하는 신호를 수신하는 단계, IR 이미지에서, 사람 피부를 이미지화한 IR 피부 픽셀들을 식별하는 단계, IR 피부 픽셀들에 적어도 부분적으로 기초하여 식별된 사람 피부의 피부 색조(skin tone) - 상기 피부 색조는 하나 이상의 예상 가시광(visible light; VL) 파라미터들을 가짐 - 를 식별하는 단계, VL 카메라로부터, VL 픽셀의 하나 이상의 VL 파라미터들을 각각 규정하는 복수의 VL 픽셀들을 포함하는 VL 이미지를 인코딩하는 신호를 수신하는 단계, VL 이미지에서, 식별된 사람 피부를 이미지화한 VL 피부 픽셀들을 식별하는 단계, 및 VL 피부 픽셀들의 하나 이상의 VL 파라미터들과 식별된 피부 색조의 하나 이상의 예상 VL 파라미터들 간의 대응성(correspondence)을 증가시키도록 VL 이미지를 조정하는 단계를 포함한다.
본 요약은 아래의 상세한 설명에서 보다 상세하게 설명되는 개념들의 선택을 단순한 형태로 소개하기 위해 제공된 것이다. 본 요약은 청구된 발명내용의 중요한 특징들 또는 필수적인 특징들을 식별시키려는 의도는 없으며, 또한 청구된 발명내용의 범위를 제한시키려는 의도도 없다. 뿐만 아니라, 청구된 발명내용은 본 발명개시의 임의의 부분에서 언급된 단점들 모두 또는 그 일부를 해결하는 구현예들로 국한되지 않는다.
도 1a 및 도 1b는 머신 비젼(machine-vision) 시스템의 비제한적인 예시를 도시한다.
도 2는 머신 비젼 시스템의 단순화된 골격 추적 파이프라인(skeletal tracking pipeline)을 그래픽으로 도시한다.
도 3은 IR 이미지와 VL 이미지 간의 픽셀 레지스트레이션(pixel registration)의 예시를 도시한다.
도 4는 IR 이미지에서의 피부 픽셀들의 식별을 나타낸다.
도 5는 수집된 가시광 및 IR 광에 기초하여 이미지에서 색상을 식별하는 방법을 나타내는 흐름도를 도시한다.
도 6은 컴퓨팅 시스템의 비제한적인 실시예를 개략적으로 도시한다.
도 7은 예시적인 머신 비젼 시스템의 양태들을 도시한다.
도 8은 예시적인 IR 카메라를 도시한다.
디지털 컬러 이미지들은 이미지를 캡처할 때 존재하는 조명에 크게 영향을 받을 수 있다. 경우에 따라, 조명 악조건으로 인해 이미지의 결과적인 색상은 바람직하지 않게 바뀔 수 있다. 아래에 설명된 바와 같이, 적외선 카메라를 사용하여 사람의 피부는 물론, 피부의 예상 피부 색조를 포함하는 디지털 이미지의 부분들을 찾을 수 있다. 이러한 지식을 바탕으로, 피부색이 예상 피부 색조와 대응하도록 이미지의 색상을 바꿀 수 있다.
도 1a는 머신 비젼 시스템(10)의 비제한적인 예시를 도시한다. 특히, 도 1a는 다양한 상이한 게임들을 플레이하고, 하나 이상의 상이한 미디어 유형들을 재생하고/재생하거나, 비 게임(non-game) 애플리케이션들을 제어 또는 조작하는데 사용될 수 있는 컴퓨터 게임 시스템(12)을 도시한다. 도 1a는 또한 게임 시각정보를, 게임 플레이어(18)와 같은 게임 플레이어들에 제시하는데 사용될 수 있는 디스플레이(14)를 도시한다. 또한, 도 1a는 게임 플레이어(18)와 같은 하나 이상의 게임 플레이어들을 시각적으로 모니터링하는데 사용될 수 있는 추적 디바이스(20)를 도시한다. 도 1a에서 도시된 예시적인 머신 비젼 시스템(10)은 비제한적인 것이다. 다양한 상이한 컴퓨팅 시스템들이 본 발명개시의 범위를 벗어나지 않으면서 다양한 상이한 목적들을 위해 머신 비젼을 이용할 수 있다.
머신 비젼 시스템은 게임 플레이어(18)(사람 피사체(18)라고도 함)와 같은 하나 이상의 사람 피사체를 인식하고, 분석하고/분석하거나, 추적하는데 사용될 수 있다. 도 1a는 게임 플레이어(18)의 동작이 게임 시스템(12)에 의해 해석될 수 있도록 추적 디바이스(20)가 게임 플레이어(18)를 추적하는 시나리오를 도시한다. 특히, 게임 플레이어(18)의 동작은 게임 시스템(12)에 의해 실행 중에 있는 게임에 영향을 주기 위해 사용될 수 있는 제어로서 해석된다. 달리 말하면, 게임 플레이어(18)는 자신의 동작을 이용하여 게임을 제어할 수 있다. 게임 플레이어(18)의 동작은 사실상 임의의 유형의 게임 제어로서 해석될 수 있다.
도 1a에서 나타난 예시적인 시나리오는 게임 시스템(12)에 의해 실행 중에 있는 복싱 게임을 플레이하고 있는 게임 플레이어(18)를 도시한다. 게임 시스템은 디스플레이(14)를 사용하여, 복싱 상대방(22)을 게임 플레이어(18)에게 시각적으로 제시한다. 또한, 게임 시스템은 디스플레이(14)를 사용하여, 게임 플레이어(18)가 자신의 동작으로 제어하는 플레이어 아바타(24)를 시각적으로 제시한다.
도 1b에서 도시된 바와 같이, 게임 플레이어(18)는 플레이어 아바타(24)가 게임의 가상 공간에서 펀치를 날리라는 명령으로서 물리적 공간에서 펀치를 날릴 수 있다. 게임 시스템(12) 및/또는 추적 디바이스(20)는, 플레이어 아바타(24)로 하여금 가상 공간에서 펀치를 날리게 하는 게임 제어로서 이러한 펀치가 해석될 수 있도록 물리적 공간에서의 게임 플레이어(18)의 펀치를 인식하고 분석하기 위해 사용될 수 있다. 예를 들어, 도 1b는 물리적 공간에서 펀치를 날리는 게임 플레이어(18)에 반응하여 복싱 상대방(22)을 가격하는 펀치를 날리는 플레이어 아바타(24)를 시각적으로 나타내는 디스플레이(14)를 도시한다. 그러나, 게임 플레이어(18)에 의한 다른 동작들은 다른 제어들로서 해석될 수 있고, 일부 동작들은 아바타(24)를 제어하는 것 이외의 다른 목적들을 서빙하는 제어들로서 해석 될 수 있음을 이해할 것이다.
플레이어 아바타(24)가 게임 플레이어(18)의 양태들을 닮게끔 렌더링될 수 있도록, 게임 플레이어(18)의 속성들이 머신 비젼 시스템(10)에 의해 분석될 수 있다. 예를 들어, 플레이어 아바타(24)가 게임 플레이어의 이들 속성들 중 하나 이상을 공유하도록, 머신 비젼 시스템(10)은 게임 플레이어(18)의 모발, 의복, 및/또는 피부와 관련된 색상(들)을 결정하는데 사용될 수 있다. 색상 결정을 수행하기 위해, 추적 디바이스(20)는 게임 플레이어(18)를 이미지화하는데 적외선(IR) 카메라를 이용할 수 있다. 사람 피사체(18)의 피부에 의해 반사되고 IR 카메라에 의해 캡처된 IR 광은, 가시광(VL) 카메라가 사람 피사체를 이미지화하는 경우 사람 피사체의 예상될 피부 색조를 결정하는데 사용될 수 있다. 이 예상 피부 색조는, VL 카메라에 의해 캡처된 사람 피사체(18)의 실제 피부 색조와 비교될 수 있고, VL 이미지들을 조정하여 상기 예상 피부 색조와 실제 피부 색조 간의 대응성을 증가시키는데 사용될 수 있다. 주변 조명 조건은 일반적으로 적외선 파장보다는 가시광 파장에 영향을 미치기 때문에 VL 카메라만을 사용할 때보다 IR 카메라를 사용할 때가 색상을 더 정확하게 결정할 수 있다.
사람 이외의 다른 객체들이 모델링되고/모델링되거나 추적될 수 있다. 이러한 객체들은 사람 피사체와는 독립적으로 모델링되고 추적될 수 있다. 플레이어 및 객체의 동작들이 협력적으로 분석되어 게임의 파라미터들을 조정하고/조정하거나 제어하도록 게임 플레이어가 소지한 객체가 또한 모델링되고 추적될 수 있다. 예를 들어, 스포츠 게임에서의 온 스크린 라켓을 제어하기 위해, 라켓을 소지한 플레이어의 동작 및/또는 라켓 자체의 동작이 추적되고 이용될 수 있다. 대응하는 가상 객체들이 이미지화된 실세계 객체들의 양태들을 닮도록 렌더링될 수 있게끔, 이러한 객체들의 속성들은 머신 비젼 시스템(10)에 의해 분석될 수 있다. 하나의 예시로서, 온 스크린 라켓은 게임 플레이어(18)가 소지한 실제 라켓과 동일한 색상 및/또는 크기로 렌더링될 수 있다.
머신 비젼 시스템은 사람의 동작들을 게임 영역 밖에 있는 운영 체제 및/또는 애플리케이션 제어들로서 해석하는데 사용될 수 있다. 실제로 운영 체제, 애플리케이션, 또는 기타 컴퓨팅 제품의 임의의 제어가능한 양태는 사람의 동작들에 의해 제어될 수 있다. 예시된 복싱 시나리오는 예시로서 제공된 것일뿐, 어떠한 방식으로든 이것으로 제한시키려고 한 것은 아니다. 이와는 반대로, 예시된 시나리오는 본 발명개시의 범위를 벗어나지 않고서 다양한 상이한 애플리케이션들에 적용될 수 있는 일반적인 개념을 설명하기 위한 것이다.
도 2는 머신 비젼 시스템의 단순화된 골격 추적 파이프라인(26)을 그래픽으로 도시한다. 설명의 간략화를 위해, 도 1a 및 도 1b의 머신 비젼 시스템(10)을 참조하여 골격 추적 파이프라인(26)을 설명한다. 하지만, 골격 추적 파이프라인(26)은 본 발명개시의 범위로부터 벗어나지 않고서 임의의 적절한 머신 비젼 시스템 상에서 구현될 수 있다. 예를 들어, 골격 추적 파이프라인(26)은 도 7의 머신 비젼 시스템(700) 상에서 구현될 수 있다. 뿐만 아니라, 골격 추적 파이프라인(26)과는 다른 골격 추적 파이프라인들이 본 발명개시의 범위로부터 벗어나지 않고서 이용될 수 있다. 또한, IR 기반 색상 보정이 임의의 골격 모델링과는 독립적으로 이용될 수 있다.
도 2는 참조번호 28에서, 추적 디바이스(20)의 관점에서 게임 플레이어(18)를 도시한다. 추적 디바이스(20)와 같은 추적 디바이스는, 게임 플레이어(18)와 같은 사람 피사체를 관측하도록 구성된 하나 이상의 센서들을 포함할 수 있다.
도 2는 참조번호 30에서, 추적 디바이스(20)와 같은 추적 디바이스에 의해 수집된 관측 데이터의 개략 표현물(32)을 도시한다. 수집된 관측 데이터의 유형들은 추적 디바이스에 포함된 센서들의 유형과 개수에 따라 달라질 것이다. 예시된 예시에서, 추적 디바이스는 가시광(VL) 카메라(예를 들어, 컬러 카메라), 및 적외선(IR) 광원을 포함하는 적외선(IR) 카메라를 포함한다.
IR 카메라는 선택적으로, 3차원 깊이 이미지들을 생성하도록 동작가능한 TOF(time-of-flight), 스테레오, 또는 구조광(structured light) 깊이 카메라와 같은, 3차원 깊이 카메라일 수 있는 반면에, 다른 구현예들에서, 적외선 카메라는 2차원 IR 이미지들을 생성하도록 동작가능한 2차원 IR 카메라일 수 있다. 일부 구현예들에서, 3차원 깊이를 추정하기 위해 IR 반사 현상의 지식으로부터 깊이를 추론하는데 2차원 IR 카메라가 사용될 수 있다. IR 카메라가 3차원 깊이 카메라 또는 2차원 IR 카메라이든간에, IR 카메라는 IR 이미지를 인코딩하는 신호를 적절한 IR 카메라 인터페이스에 출력하도록 구성될 수 있고, 이 IR 카메라 인터페이스는 IR 카메라로부터 IR 이미지를 인코딩하는 신호를 수신하도록 구성될 수 있다. 예시적인 IR 카메라가 도 7 및 도 8을 참조하여 아래에서 설명된다. 다른 예시들에서, 추적 디바이스는 관측된 사람 피사체 및/또는 다른 소스들로부터 나오는 지향성 및/또는 비지향성 사운드의 수신 및 분석을 가능하게 하는 마이크로폰과 같은, 다른 컴포넌트들을 더 포함할 수 있다.
IR 카메라는, IR 카메라의 각각의 픽셀에 대해, 관측된 장면 내의 표면에 의해 반사된 IR 광의 세기를 결정할 수 있다. 그런 후, IR 카메라의 각각의 픽셀에 대한 깊이 값이 결정될 수 있도록, 해당 픽셀에 대한 깊이를 결정하는데 각각의 픽셀의 IR 세기가 사용될 수 있다. 도 2는 IR 카메라의 픽셀에 대한 예시적인 IR 세기(35)를 개략적으로 도시한다. 일부 예시들에서, 관련된 IR 값을 각각 갖는 복수의 IR 픽셀들을 포함하는 IR 맵이 형성될 수 있다. 이러한 방식으로, IR 광과의 충돌에 대한 피사체의 소위 "IR 응답"이 평가될 수 있다. 대안적으로 또는 추가적으로, 연관된 IR 값 및 깊이 값을 각각 갖는 복수의 픽셀들을 깊이 맵이 포함할 수 있도록, IR 값들이 깊이 값들과 연관될 수 있다.
"깊이"는 IR 카메라의 광축에 평행한 좌표로서 정의되며, 이는 IR 카메라와의 거리가 증가할수록 증가한다. 도 2는 추적 디바이스(20)의 IR 카메라의 DPixel[v,h]에 대해 관측된 3차원 x/y/z 좌표들(34)을 개략적으로 도시한다. 이와 유사한 3차원 x/y/z 좌표들이 IR 카메라의 모든 픽셀에 대해 기록될 수 있다. 모든 픽셀들에 대한 3차원 x/y/z 좌표들은 종합하여 깊이 맵을 구성한다. 본 명세서에서 사용되는 용어 "깊이 맵"은 이미지화된 장면의 대응하는 영역들에 레지스트레이션된(registered) 픽셀들의 어레이를 말하며, 각각의 픽셀의 깊이 값은 대응하는 영역의 깊이를 나타낸다. 3차원 x/y/z 좌표들은 본 발명개시의 범위로부터 벗어나지 않고서 임의의 적절한 방식으로 결정될 수 있다.
VL 카메라는, VL 카메라의 각각의 픽셀마다, 하나 이상의 광 채널들(예컨대, 적색, 녹색, 청색, 그레이스케일 등)에 대한 관측된 장면 내에서의 표면의 상대적인 광 세기를 결정할 수 있다. 도 2는 추적 디바이스(20)의 VL 카메라의 V-LPixel[v,h]에 대해 관측된 적색/녹색/청색 값들(36)을 개략적으로 도시한다. 이와 유사한 적색/녹색/청색 값들이 VL 카메라의 모든 픽셀에 대해 기록될 수 있다. 모든 픽셀들에 대한 적색/녹색/청색 값들은 종합하여 디지털 칼라 이미지를 구성한다. 적색/녹색/청색 값들은 본 발명개시의 범위로부터 벗어나지 않고서 임의의 적절한 방식으로 결정될 수 있다. VL 카메라는 VL 이미지를 인코딩하는 신호를 적절한 VL 카메라 인터페이스에 출력하도록 구성될 수 있고, 이 VL 카메라 인터페이스는 VL 카메라로부터 VL 이미지를 인코딩하는 신호를 수신하도록 구성될 수 있다. 예시적인 컬러 이미징 기술들이 도 7을 참조하여 보다 상세히 논의된다.
IR 카메라와 VL 카메라는 동일한 해상도를 가질 수 있지만, 이것은 필수적인 것은 아니다. 카메라들이 동일한 해상도를 갖든 또는 상이한 해상도를 갖든, VL 카메라의 픽셀들은 IR 카메라의 픽셀들에 레지스트레이션될 수 있다. 이러한 방식으로, 가시광 카메라와 IR 카메라로부터의 레지스트레이션된 픽셀들(예컨대, V-LPixel[v,h] 및 DPixel[v,h])을 고려함으로써 관측된 장면의 각각의 부분에 대해 색상 및 깊이 정보 둘 다가 결정될 수 있다. 이하에서 더 상세히 설명되는 바와 같이, VL 카메라에 의해 관측된 색상 값들 및 IR 카메라에 의해 관측된 적외선 값들 둘 다에 기초하여 상기 관측된 장면 내의 색상들이 식별될 수 있다.
이제 도 3을 참조하면, IR 이미지(302)와 VL 이미지(304) 간의 픽셀 레지스트레이션(pixel registration)의 예시가 도시된다. IR 이미지(302)는 복수의 IR 픽셀들[예를 들어, IR 픽셀(306)]을 포함한다. 각각의 IR 픽셀은 해당 IR 픽셀의 하나 이상의 IR 파라미터들을 규정한다. 도 3에서 도시된 예시에서, IR 픽셀(306)은 해당 픽셀의 IR 세기(308)를 규정하는데, 이는 해당 픽셀에 의해 이미지화된 표면의 IR 광과의 충돌에 대한 IR 응답을 나타낼 수 있다. IR 픽셀(306)은 IR 이미지(302)에서 IR 픽셀의 공간적 위치를 식별하기 위해 협력하는 x 좌표(310) 및 y 좌표(312), 및/또는 IR 픽셀의 시간적 위치를 식별하는 시간 식별자(314)를 비제한적인 예시로서 포함하여, 추가적인 IR 파라미터들을 규정할 수 있다.
마찬가지로, VL 이미지(304)는 복수의 VL 픽셀들[예를 들어, VL 픽셀(316)]을 포함한다. 각각의 VL 픽셀은 해당 VL 픽셀의 하나 이상의 VL 파라미터들을 규정한다. 도 3에서 도시된 바와 같이, VL 픽셀(316)은 R, G 및 B 채널들에 대한 각각의 밝기들을 규정한다. VL 픽셀(316)은 또한, IR 픽셀(306)에 의해 규정된 각자의 대응물들과 유사한, x 좌표(318), y 좌표(320), 및 시간 식별자(322)를 규정한다.
VL 픽셀(316)에 의해 규정된 VL 파라미터들과 IR 픽셀(306)에 의해 규정된 IR 파라미터들의 비교는 VL 픽셀(316)에 대한 IR 픽셀(306)의 시간적 및/또는 공간적 레지스트레이션을 가능하게 할 수 있다. 예를 들어, VL 픽셀(316)에 대한 IR 픽셀(306)의 시간적 레지스트레이션은 시간 식별자(314)를 시간 식별자(322)에 합치(match)시키는 것을 포함할 수 있으며, 이들은 일부 예시들에서 타임스탬프들일 수 있다. 다른 예시에서, 시간 식별자들(314, 322)은 각각 IR 및 VL 이미지들의 각각의 시퀀스들에서 IR 이미지(302)[및 이에 따라 IR 픽셀(306)]와 VL 이미지(304)[및 이에 따라 VL 픽셀(316)]의 상대적인 순서 또는 위치를 규정할 수 있다. IR 및 VL 이미지들의 시퀀스들이 캡처되는 구현예들에 있어서, IR과 VL 이미지들의 각각의 대응 쌍, 및 그 구성 픽셀들은 서로 시간 레지스트레이션될 수 있다.
VL 픽셀(316)에 대한 IR 픽셀(306)의 공간적 레지스트레이션이 마찬가지로 VL 픽셀의 x 좌표(318) 및 y 좌표(320)에 IR 픽셀의 x 좌표(310) 및 y 좌표(312)를 각각 합치시키는 것을 포함할 수 있다. 일부 예시들에서, IR 이미지(302) 및 VL 이미지(304)를 각각 캡처하는데 사용되는 IR 카메라 및 VL 카메라는 서로 물리적으로 이격되어 있을 수 있고/있거나 서로 상이한 시점(vantage point)을 가질 수 있어서, 서로가 시간 레지스트레이션된 경우에도, IR 이미지와 VL 이미지 간에 시차 또는 공간적 오정렬을 초래할 수 있다. 이 경우, VL 픽셀(316)에 대한 IR 픽셀(306)의 초기 공간적 레지스트레이션은 IR 및 VL 카메라의 시점들 및 이 카메라들에 의해 이미지화된 표면의 추정 거리에 기초하여 추론될 수 있다. 대안적으로 또는 추가적으로, VL 픽셀(316)에 대한 IR 픽셀(306)의 공간적 레지스트레이션은 IR 이미지가 VL 이미지(304)와 보다 밀접하게 정렬되도록 IR 이미지(302)에 공간 변환을 적용하는 것을 포함할 수 있다. 이미지들의 시퀀스를 처리할 때, 알려진 시점들 및 추정된 이미징 거리에 기초하여 각각의 IR 이미지 및/또는 VL 이미지에 일관된 공간 변환이 적용될 수 있다. 대안적으로, 공간 변환은 하나 이상의 거리 추정 입력들(예를 들어, 하나 이상의 이전 이미지들에 기초한 거리의 평가)에 기초하여 동적으로 조정될 수 있다. 어느 경우든지, IR 이미지들의 시퀀스 내의 각각의 IR 이미지는 VL 이미지들의 시퀀스 내의 대응하는 VL 이미지에 공간적으로 레지스트레이션될 수 있다.
이러한 방식으로 VL 이미지(304)의 픽셀들에 대해 IR 이미지(302)의 픽셀들을 레지스트레이션함으로써, 이미지들에서 캡처된 적어도 하나의 공통 표면에 대한 적외선 및 가시광 정보가 획득될 수 있다. 아래에서 더 상세히 설명되는 바와 같이, 적외선 및 가시광 정보의 협력적 사용은 가시광 정보만에 의해 제공될 때보다 더 정확한 색상의 측정을 가능하게 할 수 있다.
도 2로 돌아가서, 일부 구현예들에서, 각각의 표면 법선이 깊이 맵 및/또는 컬러 이미지 내의 모든 픽셀과 연관되도록 깊이 맵 및/또는 컬러 이미지 내의 각각의 픽셀에 대한 표면 법선 벡터들이 결정될 수 있다. 또한, "조명 방향", 즉 피사체가 추적 디바이스로부터의 광(예를 들어, IR 광)에 의해 조명받는 방향이 깊이 맵 및/또는 컬러 이미지 내의 각각의 픽셀에 대해 결정될 수 있다.
수집된 데이터는 비제한적인 예시로서, IR 카메라와 VL 카메라에 의해 이미지화된 모든 픽셀에 대한 3차원 x/y/z 좌표, VL 카메라에 의해 이미지화된 모든 픽셀에 대한 적색/녹색/청색 값들, 및/또는 IR 카메라에 의해 이미지화된 모든 픽셀에 대한 적외선 값들을 포함하는 하나 이상의 매트릭스를 비롯한, 사실상 임의의 적절한 데이터 구조(들)의 형태를 취할 수 있다. 도 2는 단일 프레임을 도시하지만, 인간 피사체는 적절한 레이트로(예컨대, 초당 30프레임) 연속적으로 관측되고 모델링될 수 있다는 것을 이해해야 한다. 따라서, 이러한 각각의 관측된 프레임마다 데이터가 수집될 수 있다. 반복적인 이미징은 시간 분해된 일련의 이미지들, 즉 IR 비디오, 컬러 비디오, 및/또는 깊이 비디오를 어셈블링하는데 사용될 수 있다. 수집된 데이터는 하나 이상의 애플리케이션 프로그래밍 인터페이스(Application Programming Interface; API)를 통해 이용가능해질 수 있고 및/또는 후술하는 바와 같이 추가적으로 분석될 수 있다.
추적 디바이스 및/또는 협력 컴퓨팅 시스템은 택일적 사항으로서, 깊이 맵을 분석하여, 관측된 깊이 맵에서의 타겟화되지 않은 엘리먼트들로부터 추적될 다른 타겟들 및/또는 인간 피사체들을 구별할 수 있다. 깊이 맵의 각각의 픽셀은 특정 타겟 또는 타겟화되지 않은 엘리먼트를 이미지화한 해당 픽셀을 식별하는 플레이어 인덱스(38)를 할당받을 수 있다. 예로서, 제1 플레이어에 대응하는 픽셀들은 1과 같은 플레이어 인덱스를 할당받을 수 있고, 제2 플레이어에 대응하는 픽셀들은 2와 같은 플레이어 인덱스를 할당받을 수 있으며, 타겟 플레이어에 대응하지 않는 픽셀들은 0과 같은 플레이어 인덱스를 할당받을 수 있다. 이러한 플레이어 인덱스들은 본 발명개시의 범위로부터 벗어나지 않고서 임의의 적절한 방식으로 결정되고, 할당되고, 저장될 수 있다. 특정 실시예에서, 사람 피사체에 속하는 픽셀들은, 적절한 시간 스케일에 걸쳐 임계값 위 동작을 나타내는 깊이 데이터의 일부를 섹션화하고 해당 섹션을 사람의 일반화된 기하학적 모델에 피팅(fit)하려는 시도에 의해 식별될 수 있다. 적절한 피팅이 달성될 수 있으면, 해당 섹션 내의 픽셀들은 사람 피사체의 픽셀들로서 인식된다.
추적 디바이스 및/또는 협력 컴퓨팅 시스템은 택일적 사항으로서, 해당 피사체의 신체의 어느 일부분을 이러한 각각의 픽셀이 이미지화할 것 같은지를 결정하기 위해, 사람 피사체의 깊이 맵의 픽셀들을 추가적으로 분석할 수 있다. 다양한 여러가지 신체 부위 할당 기술들을 사용하여 사람 피사체의 신체의 어느 부위를 특정 픽셀이 이미지화할 것 같은지를 평가할 수 있다. 적절한 플레이어 인덱스를 갖는 깊이 맵의 각각의 픽셀은 신체 부위 인덱스(40)를 할당받을 수 있다. 신체 부위 인덱스는 개별적인 식별자, 신뢰값, 및/또는 해당 픽셀이 이미지화할 것 같은 신체 부위, 또는 부위들을 표시하는 신체 부위 확률 분포를 포함할 수 있다. 신체 부위 인덱스들은 본 발명개시의 범위로부터 벗어나지 않고서 임의의 적절한 방식으로 결정되고, 할당되고, 저장될 수 있다.
하나의 비제한적인 예시로서, 각각의 픽셀에 신체 부위 인덱스 및/또는 신체 부위 확률 분포를 할당하기 위해 머신 학습(machine-learning)이 이용될 수 있다. 머신 학습 접근법은 사전에 트레이닝된 공지된 포즈들의 콜렉션으로부터 학습된 정보를 이용하여 사람 피사체를 분석한다. 달리 말하면, 지도하의 (supervised) 트레이닝 단계 동안, 다양한 여러 포즈들을 취하고 있는 다양한 여러 인간들이 관측되고, 사람 트레이너들은 관측된 데이터에서 상이한 머신 학습 분류자들로 라벨링 표시된 지상 검증 주석(ground truth annotation)을 제공한다. 관측된 데이터와 주석은 입력들(예컨대, 추적 디바이스로부터의 관측 데이터)을 희망하는 출력들(예컨대, 관련 픽셀들에 대한 신체 부위 인덱스들)에 매핑하는 하나 이상의 머신 학습 알고리즘들을 생성하는데 이용된다.
또한, 머신 학습은 사람 피사체의 피부에 대응하는 픽셀을 식별하는데 사용될 수 있다. 이러한 픽셀들은 "피부 픽셀"로서 분류될 수 있고, 예를 들어, 백그라운드 장면의 의복 또는 일부분들에 대응할 수 있는 비 피부(non-skin) 픽셀들과 구별될 수 있다. 마찬가지로, 머신 학습은 모발과 같이, 사람 피사체의 다른 영역들에 대응하는 픽셀을 식별하는데 사용될 수 있다.
도 4는 IR 이미지에서의 피부 픽셀들의 식별을 개략적으로 나타낸다. 도시된 바와 같이, IR 이미지(402)는 사람 피사체의 손을 이미지화하고, 이에 따라 적어도 하나의 IR 피부 픽셀, 즉 사람 피부를 이미지화하는 IR 픽셀을 포함한다. IR 피부 픽셀(404)은 사람 피부를 이미지화하는 IR 픽셀의 하나의 예시이며, IR 피부 픽셀에 의해 규정된 하나 이상의 IR 파라미터들에 기초하여, 사람 피부를 이미지화하는 IR 픽셀로서 식별될 수 있다(그리고, 비 피부 IR 픽셀들과 구별될 수 있다). 특히, IR 피부 픽셀(404)은 사람 피부에 대응하는 것으로 알려진 미리 결정된 범위의 IR 세기들 내에 속하는 IR 세기(406)를 규정한다. 사람의 피부에 대응하는 미리 결정된 범위의 IR 세기들은 트레이닝된 머신 학습 알고리즘을 통해 결정될 수 있다. 머신 학습 알고리즘의 트레이닝은 사람 피사체의 IR 이미지를 캡처하고, 알려진 거리에서 사람 피사체의 피부를 이미지화하는 IR 피부 픽셀의 IR 세기를 기록하는 것을 포함할 수 있다. IR 피부 픽셀은, 예를 들어, 본 명세서에서 설명된 신체 부위 인식 프로세스를 이용하여 자동화 프로세스 및/또는 수동적 주석화를 통해 비 피부 IR 픽셀로부터 식별되고 이들과 구별될 수 있다. 그런 후, 다른 IR 세기들을 평가하여 IR 피부 픽셀을 식별하기 위해, 사람 피부에 대응하는 범위의 IR 세기들이 결집되고 사용될 수 있다. 대안적으로 또는 추가적으로, 미리 결정된 범위의 IR 세기들이 IR 이미지들의 캡처 동안에 결정될 수 있으며, 여기서 사람 피사체의 얼굴에 대응하는 픽셀을 식별하기 위해 얼굴 인식이 사용된다. 그런 후, 얼굴에 대응하는 것으로서 식별된 픽셀들의 IR 세기들은 사람 피부에 대응하는 IR 세기들의 범위를 결집시키는데 사용될 수 있다.
사람 피부에 대응하는 미리 결정된 범위의 IR 세기들은 비 피부 IR 픽셀들, 즉, 사람 피부를 이미지화하지 않은 IR 픽셀들을 식별하는데 사용될 수 있다. 도 4에서 도시된 예시에서, 비 피부 IR 픽셀(408)은 비 피부 IR 픽셀의 IR 세기(410)를 미리 결정된 범위의 IR 세기들과 비교함으로써 식별된다. 이 예시에서, IR 세기(410)는 미리 결정된 범위의 IR 세기들 밖에 있어서, 픽셀(408)이 비 피부 IR 픽셀로서 식별되게 한다. 비 피부 IR 픽셀(408)은, 예를 들어, IR 이미지(402)에 의해 이미지화된 사람 피사체의 의복에 대응할 수 있다.
IR 이미지에 기록된 IR 세기들은 IR 피부 픽셀들을 식별하는 것에 더하여, 또는 대안적으로 다른 목적으로 사용될 수 있다. 예를 들어, 임계 IR 세기가 IR 이미지에 기록된 하나 이상의 IR 세기들에 기초하여 결정될 수 있으며, 임계 IR 세기는 백그라운드 IR 픽셀들을 포그라운드(foreground) IR 픽셀들과 구별하는데 사용된다. 포그라운드 IR 픽셀들의 분석은 백그라운드 IR 픽셀들의 분석보다 우선화될 수 있는데, 이는 포그라운드 픽셀들이 관심대상의 표면들, 예를 들어, 사람 피사체의 표면들을 이미지화할 가능성이 더 높다고 간주되기 때문이다.
IR 이미지에서 IR 피부 픽셀들을 식별하기 위해 전술한 기술들에 더하여, 또는 대안적으로 다른 기술들이 사용될 수 있다. 예를 들어, IR 이미지는 사람 신체 형상들에 대응하는 기하학적 특징들에 대해 분석될 수 있다. 도 4를 계속 참조하면, IR 이미지(402)는 그 안에서 이미지화된 사람 피사체의 손에 대응하는 기하학적 특징들에 대해 분석될 수 있다. 기하학적 분석에는 상당히 다른 IR 세기의 영역들을 구분하는 경계들이 식별되는 에지 검출이 포함될 수 있다. IR 이미지(402)에서, 에지 검출은 사람 피부(예를 들어, 손)에 대응하는 IR 세기들의 영역을, 사람 피부에 대응하지 않는 IR 세기들의 영역(예를 들어, 백그라운드 픽셀, 의복에 대응하는 픽셀)과 분리시키는 경계(412)를 식별한다. 따라서, 에지 검출은 적어도 사람 신체 형상의 총 검출을 가능하게 할 수 있다. 기하학적 분석은 대안적으로 또는 추가적으로, 유사한 IR 세기의 인접한 영역 또는 거의 인접한 영역이 식별되는 형상 인식을 포함할 수 있다. IR 세기의 다양한 적절한 범위들은 유사한 것으로 간주될 수 있으며; 일부 예시들에서, 깊이가 변화함에 따라 달라지되 여전히 동일한 형상에 속하는 IR 세기들은 유사한 것으로 간주되도록 범위가 선택될 수 있다. 기하학적 분석은, IR 이미지에 더하여, 또는 대안적으로, VL 이미지[예를 들어, 도 3의 VL 이미지(304)]에 대해서 수행될 수 있다는 것을 이해할 것이다. VL 이미지의 기하학적 분석은 예를 들어, 유사한 색상의 영역들 및/또는 상당히 상이한 색상의 영역들을 식별하는 것을 포함할 수 있다. VL 이미지 내의 VL 피부 픽셀들, 즉 사람 피부를 이미지화하는 VL 픽셀들이 IR 피부 픽셀들을 식별하는 것에 더하여 또는 대안적으로 식별될 수 있다는 것을 알 것이다. 레지스트레이션된 IR 및 VL 이미지들이 캡처되는 실시예들에서, VL 피부 픽셀들은 VL 이미지 내의 복수의 VL 픽셀들 중에서, 식별된 IR 피부 픽셀들에 레지스트레이션된 VL 피부 픽셀들을 선택함으로써 식별될 수 있다.
사람 피부의 IR 응답이 또한 사람 피사체의 피부 색조를 결정하는데 사용될 수 있다. 사람의 피부의 IR 응답은 피부 색조의 함수로서 달라지는데, 예를 들어, 상이한 피부 색조들은 공통적인 IR 광 소스를 받을 때 상당히 상이한 IR 세기들을 나타낼 수 있다. 사람 피사체의 피부 색조를 분류하도록 구성된 피부 색조 분류기의 트레이닝은 다양한 사람 피사체들의 피부의 IR 응답을 측정함으로써 이러한 현상을 레버리징할 수 있다. 다양한 사람 피사체들이 사람 피부 색조들의 전 범위를 적절하게 표현하도록 선택될 수 있다. 그런 후, 측정된 IR 응답들은 상이한 피부 색조에 각각 대응하는 복수의 하위범위(subrange)들로 소팅(sort)될 수 있다. 복수의 하위범위들은, 예를 들어, 사람 피부에 대응하는 IR 세기들의 미리 결정된 범위의 하위범위들일 수 있다.
도 4는 IR 응답에 기초한 피부 색조의 식별을 도시한다. 특히, IR 이미지(402)에서 식별된 사람 피부의 피부 색조는 잠재적으로 다른 식별된 IR 피부 픽셀들에 더하여, IR 이미지에서 식별된 IR 피부 픽셀들, 예컨대, IR 피부 픽셀(404)에 적어도 부분적으로 기초하여 식별될 수 있다. 상술한 바와 같이, IR 피부 픽셀(404)은 IR 세기(406)를 포함하는 하나 이상의 IR 파라미터들을 규정하며, 이 예시에서, 이 IR 세기(406)는 사람 피부에 대응하는 미리 결정된 범위의 IR 세기 내의 복수의 하위범위들 중 대응하는 하위범위 내에 있다. 이러한 방식으로, 피부 색조는 복수의 하위범위들 중 대응하는 하위범위 내에 있는 하나 이상의 IR 피부 픽셀들의 IR 세기들에 기초하여 식별될 수 있다.
식별된 피부 색조는 하나 이상의 예상 VL 파라미터들을 가질 수 있는데, 즉, 식별된 피부 색조를 갖는 피부의 VL 이미지가 캡처된 경우, 해당 피부를 이미지화한 VL 이미지의 VL 피부 픽셀들은 하나 이상의 예상 VL 파라미터들에 대응하는 하나 이상의 VL 파라미터들을 규정할 것으로 예상될 것이다. 이 대응성은 규정된 조명 조건들 하에서 예상될 수 있다. 하나의 예시로서, 하나 이상의 예상 VL 파라미터들은 중립적인 조명 조건들(예를 들어, 6500K의 색온도를 갖는 실외 태양광) 하에서 식별된 피부 색조를 갖는 피부를 이미지화한 하나 이상의 VL 픽셀들에 의해 나타낼 것으로 예상되는 색상을 포함할 수 있다. 식별된 피부 색조에 대한 하나 이상의 예상 VL 파라미터들, 및 식별된 피부 색조를 갖는 피부를 이미지화한 VL 픽셀(들)에 의해 규정된 하나 이상의 VL 파라미터들 간의 차이들을 식별하는 것은, VL 이미지의 캡처에 영향을 미치는 조명 조건들의 평가 및 VL 이미지의 선택적인 조정을 통해 하나 이상의 예상 VL 파라미터들과 하나 이상의 규정된 VL 파라미터들 간의 대응성을 증가시킬 수 있다. 이러한 방식으로, 사람 피부의 IR 응답의 측정은 VL 이미지 생성 및 그 이미지 안에서의 색상 식별의 정확성을 증가시킬 수 있다.
도 2로 돌아가서, 도 2는 참조번호 42에서, 게임 플레이어(18)의 머신 판독가능한 표현물로서 역할을 하는 가상 골격(44)의 개략 표현물을 도시한다. 가상 골격(44)은 20개의 가상 관절들{머리, 어깨 중심, 척추, 엉덩이 중심, 우측 어깨, 우측 팔꿈치, 우측 손목, 우측 손, 좌측 어깨, 좌측 팔꿈치, 좌측 손목, 좌측 손, 우측 엉덩이, 우측 무릎, 우측 발목, 우측 발, 좌측 엉덩이, 좌측 무릎, 좌측 발목, 좌측 발}을 포함한다. 이 20개의 관절 가상 골격은 비제한적인 예시로서 제공된 것이다. 본 발명개시에 따른 가상 골격들은 사실상 임의의 개수의 관절들을 가질 수 있다.
다양한 골격 관절은 사람 피사체의 실제 관절, 사람 피사체의 신체 부위들의 무게 중심, 사람 피사체의 사지(extremities)의 말단부들, 및/또는 사람 피사체에 대한 직접적 해부학적 연결이 없는 점들에 대응할 수 있다. 각각의 관절은 적어도 세 개의 자유도(예컨대, x, y, z 세계 공간)를 갖는다. 이에 따라, 가상 골격의 각각의 관절은 3차원 위치로 정의될 수 있다. 예를 들어, 좌측 어깨 가상 관절(46)은 x좌표 위치(47), y좌표 위치(48), 및 z좌표 위치(49)로 정의된다. 관절들의 위치는 임의의 적절한 원점을 기준으로 하여 정의될 수 있다. 하나의 예시로서, 추적 디바이스가 원점으로서 역할을 할 수 있으며, 모든 관절 위치들은 추적 디바이스를 기준으로 하여 정의된다. 관절들은 본 발명개시의 사상으로부터 벗어나지 않고서 임의의 적절한 방식으로 3차원 위치로 정의될 수 있다.
각각의 관절의 3차원 위치를 결정하기 위해 다양한 기술들이 이용될 수 있다. 골격 피팅(fitting) 기술들은 깊이 정보, 적외선 정보, 색상 정보, 신체 부위 정보, 및/또는 사전 트레이닝된 해부학적 및 운동 정보를 이용하여 사람 피사체를 밀접하게 모델링하는 하나 이상의 골격(들)을 유도해낼 수 있다. 하나의 비제한적인 예시로서, 각각의 골격 관절의 3차원 위치를 찾기 위해 상술한 신체 부위 인덱스들이 이용될 수 있다.
하나 이상의 가상 관절들을 더욱 심화적으로 정의하기 위해 관절 배향이 이용될 수 있다. 관절 위치들은 관절들 사이에 이어져 있는 가상 뼈들과 관절들의 위치를 기술할 수 있는 반면에, 관절 배향들은 이러한 가상 뼈들과 관절들의 배향을 이들 각각의 위치들에서 기술할 수 있다. 예로서, 주어진 위치에 위치한 손이 위를 향하고 있는지 아니면 아래를 향하고 있는지를 기술하기 위해 손목 관절의 배향이 이용될 수 있다.
관절 배향들은, 예컨대, 하나 이상의 정규화된 3차원 배향 벡터(들)로 인코딩될 수 있다. 배향 벡터(들)은 추적 디바이스 또는 다른 기준(예컨대, 다른 관절)에 대한 관절의 배향을 제공할 수 있다. 또한, 배향 벡터(들)은 세계 공간 좌표계 또는 다른 적절한 좌표계(예컨대, 다른 관절 좌표계)로 정의될 수 있다. 관절 배향들은 다른 수단을 통해 인코딩될 수도 있는데, 비제한적인 예시들로서, 관절 배향들을 인코딩하기 위해 사원수(quaternion) 및/또는 오일러 각(Euler angle)이 이용될 수 있다.
도 2는 좌측 어깨 관절(46)이 직교정규 배향 벡터들(50, 51, 52)로 정의되는 비제한적인 예시를 도시한다. 다른 실시예들에서, 관절 배향을 정의하기 위해 단일 배향 백터가 이용될 수 있다. 배향 벡터(들)은 본 발명개시의 범위로부터 벗어나지 않고서 임의의 적절한 방식으로 계산될 수 있다. 비제한적인 예시로서, 2개의 배향 벡터들(예를 들어, i 및 j)은 깊이 정보를 통해 분류된 신체 부위들 및/또는 관절들에 기초하여 결정될 수 있으며, 제3 배향 벡터(예를 들어, k)는 2개의 제1 배향 벡터들의 외적을 통해 결정될 수 있다. 제3 방위 벡터는 예를 들어, 표면 법선 벡터로서 사용될 수 있다.
관절 위치들, 배향들, 및/또는 기타의 정보가 임의의 적절한 데이터 구조(들)로 인코딩될 수 있다. 또한, 임의의 특정 관절과 연관된 위치, 배향, 및/또는 다른 파라미터들이 하나 이상의 API들을 통해 이용가능해질 수 있다.
임의의 적절한 최소화 접근법을 통해, 가상 골격 내의 골격 세그먼트들의 길이 및 관절들의 위치 및 회전 각도가 깊이 맵의 다양한 윤곽들과 합치하도록 조정될 수 있다. 이 프로세스는 이미지화된 사람 피사체의 위치 및 자세를 정의할 수 있다. 일부 골격 피팅 알고리즘들은 컬러 이미지 데이터, 적외선 데이터 및/또는 픽셀들의 하나의 장소가 다른 픽셀의 장소에 대해 어떻게 움직이는지를 나타내는 운동 데이터와 같은, 다른 정보와 함께 깊이 데이터를 사용할 수 있다.
도 2에서 살펴볼 수 있는 바와 같이, 가상 골격(44)은 택일적 사항으로서 복수의 가상 뼈들(예컨대, 좌측 팔뚝 뼈(54))을 포함할 수 있다. 다양한 골격 뼈들이 하나의 골격 관절로부터 다른 골격 관절로 확장할 수 있고, 이 골격 뼈들은 사람 피사체의 실제 뼈들, 팔다리, 또는 뼈들 및/또는 팔다리의 일부분들에 대응할 수 있다. 여기서 논의된 관절 배향들은 이러한 뼈들에 적용될 수 있다. 예를 들어, 팔꿈치 배향은 팔뚝 배향을 정의하기 위해 이용될 수 있다.
참조번호 56에서, 도 2는 아바타(24)를 시각적으로 제시하는 디스플레이(14)를 도시한다. 가상 골격(44)은 아바타(24)를 렌더링하는데 사용될 수 있다. 사람 피사체(18)가 자세를 변경함에 따라 가상 골격(44)이 자세를 변경하기 때문에, 아바타(24)는 사람 피사체(18)의 동작을 정확하게 흉내낸다. 따라서, 일부 실시예들에서, 가상 골격은 깊이 비디오의 프레임들의 시퀀스(예를 들어, 연속적인 깊이 맵) 각각에 피팅될 수 있다. 다양한 골격들 및/또는 세그먼트들의 위치 변화를 분석함으로써, 이미지화된 사람 피사체의 대응하는 동작들, 예컨대, 제스처, 몸짓, 또는 행동 패턴들이 결정될 수 있으며, 이는 예컨대, 내추럴 사용자 입력(natural user input; NUI)의 해석을 용이하게 할 수 있다. 하지만, 가상 골격은 본 발명개시의 범위로부터 벗어나지 않고서 추가적인 및/또는 대안적인 목적들로 이용될 수 있다는 것을 이해할 것이다.
일부 예시들에서, 아바타(예를 들어, 아바타(24))의 생성은 색상과 관련된 이미지화된 사람 피사체의 양태들을 재생하려는 시도를 포함할 수 있다. 예를 들어, 아바타의 생성은 사람 피사체의 피부 색조(들), 모발 색상(들), 및/또는 의복 색상(들)을 식별하는 것을 포함할 수 있다. 하지만, 예를 들어, 사람 피사체의 생체 식별의 일부로서, 장면에서의 색상의 식별은 다른 목적을 위해 바람직할 수 있다. 이미지화된 장면 내의 색상들이 상술한 방식으로 VL 카메라에 의해 획득된 색상 값들에 기초하여 적어도 부분적으로 정의될 수 있지만, 색상의 일반적인 인식은 주변 조명 조건들에 의해 영향을 받을 수 있다. 예를 들어, 상대적으로 중립인 조명 조건(예를 들어, 색온도가 6500K인 실외 태양광)에서 백색으로 나타나는 색은 실내 조명 조건에서 색 이동으로(예를 들어, 청색쪽으로) 나타날 수 있다. 다른 인자들은 색상의 인식을 바꿀 수 있다. 예를 들어, 사람 피사체의 피부 색조 및 모발 색상의 식별은 사람 피사체의 백라이트 광원이 변화함에 따라 달라질 수 있다. 이와 같이, VL 카메라만을 통한 장면 내에서의 색상의 식별은 변동가능할 수 있어서, 저하된 출력을 야기시킬 수 있다(예를 들어, 부정확한 아바타 생성, 생체 식별).
장면에서의 색상 식별의 변동성을 줄이기 위해, VL 데이터 외에도, 사람 피사체의 피부에 대응하는 픽셀들의 IR 응답을 사용하여 장면 내에서의 색상을 식별할 수 있다. 사람 피부의 IR 응답은 변화하는 VL 조건에 대한 사람 피부의 VL 응답보다 변화하는 VL 조건에 대해 덜 변한다. 이와 같이, 사람 피사체의 피부의 IR 응답의 측정은 주변 조명 조건의 표시를 제공할 수 있다. 전술한 바와 같이, 이 IR 응답은 사람 피사체의 피부 색조를 결정하기 위해 각각의 알려진 피부 색조와 관련된 IR 응답과 비교될 수 있다. 사람 피사체의 피부 색조가 결정되면, 사람 피사체의 피부에 대응하는 색상 값들은 결정된 피부 색조와 비교되어 주변 조명 조건이 색상 식별에 어떻게 영향을 주는지의 표시를 제공할 수 있다. VL 이미지에서 인지된 사람 피사체의 피부 색조와 이 피사체의 결정된 피부 색조 간의 차이는 사람 피사체의 피부에 대응하는 색상 값들 및/또는 사람의 피부에 대응하지 않는 색상 값들을 포함하여, VL 이미지의 양태들을 조정하는데 사용될 수 있다. 그런 후, 조정된 색상 값들에 기초하여 색상 식별이 수행될 수 있다.
이제 도 5를 참조하면, 수집된 가시광(VL) 및 적외선(IR) 광에 기초하여 이미지에서 색상을 식별하는 방법(500)을 나타내는 흐름도가 도시된다. 방법(500)은 예를 들어, 추적 디바이스(20)에 의해 수집된 색상 데이터 및 IR 데이터를 이용하는 이미지 프로세싱 컴퓨터에 의해 수행될 수 있다. 색상 데이터 및/또는 IR 데이터는 이미지 프로세싱 컴퓨터의 하드웨어 인터페이스를 통해 이미지 프로세싱 컴퓨터에 전달되는 신호로 인코딩될 수 있다. 공통 하드웨어 인터페이스는 색상 데이터 및 IR 데이터 둘 다에 대해 제공될 수 있는 반면, 다른 예시들에서는, 개별 하드웨어 인터페이스가 색상 데이터 및 IR 데이터에 대해 각각 제공될 수 있다. 일부 구현예들에서, 색상 데이터(예를 들어, VL 이미지들) 및 적외선 데이터(예를 들어, IR 이미지들)는 각각 VL 카메라 및 IR 카메라로부터 획득될 수 있다. IR 카메라는 예를 들어, 도 7의 카메라(704)와 같은 3차원 깊이 카메라일 수 있거나, 또는 도 8의 카메라(800)와 같은 2차원 IR 카메라일 수 있다.
방법(500)의 단계 502에서, 복수의 IR 픽셀들을 포함하는 IR 이미지가 수신되며, 각각의 IR 픽셀은 그 IR 픽셀의 하나 이상의 IR 파라미터들을 규정한다. 하나 이상의 IR 파라미터들은, 예를 들어, IR 세기를 포함할 수 있다. IR 이미지는 IR 카메라로부터 IR 이미지를 수신하도록 구성된 IR 카메라 인터페이스를 통해 IR 카메라로부터 수신될 수 있다. IR 카메라는 예를 들어, IR 이미지를 인코딩하는 신호를 출력할 수 있다.
방법(500)의 단계 504에서, IR 피부 픽셀들이 IR 이미지에서 식별된다. IR 피부 픽셀들을 식별하는 것은, 단계 506에서, 사람 피부에 대응하는 것으로 알려진 미리 결정된 범위의 IR 세기들 내에 있는 IR 픽셀에 의해 규정된 세기에 기초하여 각각의 IR 피부 픽셀을 식별하는 것을 포함할 수 있다. 이와 같이, 이러한 방식으로 IR 피부 픽셀들을 식별하는 것은 미리 결정된 범위의 IR 세기들을 IR 피부 픽셀들에 맵핑하고, 상기 범위 밖의 IR 세기들을 비 피부 IR 픽셀들에 맵핑하는 트레이닝된 IR 픽셀 분류기에 IR 이미지의 하나 이상의 IR 픽셀들을 공급하는 것을 포함할 수 있다. 대안적으로 또는 추가적으로, IR 피부 픽셀들을 식별하는 것은, 단계 508에서, 사람 신체 형상들에 대응하는 기하학적 특징들에 대한 IR 이미지를 분석하는 것을 포함할 수 있다. 기하학적 분석은 예를 들어, 에지 검출 및/또는 형상 인식을 포함할 수 있다.
방법(500)의 단계 510에서, 식별된 사람 피부의 피부 색조(예를 들어, IR 피부 픽셀들의 식별을 통해 식별됨)는 식별된 IR 피부 픽셀들에 적어도 부분적으로 기초하여 식별된다. 피부 색조의 식별은 단계 512에서, 미리 결정된 범위의 IR 세기들 내의 복수의 하위범위들 중 대응하는 하위범위 내에 있는 하나 이상의 IR 피부 픽셀들의 IR 세기들에 기초하여 피부 색조를 식별하는 것을 포함할 수 있다. 따라서, 피부 색조 식별은 각각의 IR 세기 하위범위를 대응하는 피부 색조에 맵핑하는 트레이닝된 피부 색조 분류기에 하나 이상의 IR 피부 픽셀들의 IR 세기들을 공급하는 것을 포함할 수 있다.
방법(500)의 단계 514에서, 복수의 VL 픽셀들을 포함하는 VL 이미지가 수신되며, 각각의 VL 픽셀은 그 VL 픽셀의 하나 이상의 VL 파라미터들을 규정한다. 하나 이상의 VL 파라미터들은, 예를 들어, 하나 이상의 채널들(예를 들어, R, G, B, 그레이스케일)의 세기(예를 들어, 밝기)를 포함할 수 있다. VL 이미지는 VL 카메라로부터 VL 이미지를 수신하도록 구성된 VL 카메라 인터페이스를 통해 VL 카메라로부터 수신될 수 있다. VL 카메라는 예를 들어, VL 이미지를 인코딩하는 신호를 출력할 수 있다.
방법(500)의 단계 516에서, VL 피부 픽셀들이 VL 이미지에서 식별된다. VL 피부 픽셀들을 식별하는 것은, 단계 518에서, VL 이미지의 복수의 VL 피부 픽셀들 중에서, 식별된 IR 피부 픽셀들에 레지스트레이션된 VL 피부 픽셀들을 선택하는 것을 포함할 수 있다. 이 예시에서, IR 이미지의 하나 이상의 IR 픽셀들은 VL 피부 픽셀들을 식별하기 전에 VL 이미지의 대응하는 VL 픽셀들에 (예를 들어, 공간적으로 및/또는 시간적으로) 레지스트레이션될 수 있다.
방법(500)의 단계 520에서, VL 이미지는 식별된 VL 피부 픽셀들에 의해 규정된 하나 이상의 VL 파라미터들과 식별된 피부 색조의 하나 이상의 예상 VL 파라미터들 간의 대응성을 증가시키도록 조정된다. 상술한 바와 같이, 식별된 피부 색조는 규정된 조명 조건들(예컨대, 6500K의 색온도를 갖는 실외 태양광) 하에서, 식별된 피부 색조를 갖는 피부를 이미지화한 VL 피부 픽셀들에 의해 규정될 것으로 예상되는 (예를 들어, 가시적인) 색상과 같은, 하나 이상의 예상 VL 파라미터들을 규정할 수 있다. VL 이미지를 조정하는 것은, 단계 522에서, VL 이미지의 각각의 VL 피부 픽셀의 색상 값이 예상 피부색과 실질적으로 합치하도록 VL 이미지를 조정하는 것을 포함할 수 있다. VL 이미지의 이러한 조정은 각각의 VL 피부 픽셀의 밝기(예를 들어, 채널 별 밝기)를 조정하는 것을 포함할 수 있음을 이해할 것이다. 일부 예시들에서, 식별된 피부 색조는 적색 채널, 청색 채널, 및 녹색 채널 각각에 대한 각각의 예상되는 VL 밝기를 가질 수 있다. 이 경우, VL 이미지는 VL 피부 픽셀들의 R, G 및 B 채널 밝기와 식별된 피부 색조의 예상된 R, G 및 B 채널 밝기 간의 각각의 대응성을 증가시키도록, 예컨대, VL 피부 픽셀 적색 채널 밝기와 예상된 적색 채널 밝기 간의 대응성, VL 피부 픽셀 녹색 채널 밝기와 예상된 녹색 채널 밝기 간의 대응성, 및 VL 피부 픽셀 청색 채널 밝기와 예상된 청색 채널 밝기 간의 대응성을 증가시키도록 조정될 수 있다. 이러한 방식으로 VL 이미지를 조정하면 과소 노출 및/또는 과다 노출과 같은, 가시광 캡처에 대한 악영향의 보상을 가능하게 할 수 있다. 채널들은 그룹으로서 집합적으로 조정되거나 또는 개별적으로 조정될 수 있다. 예를 들어, 채널들은 백색 밸런스 또는 다른 색 보정을 위해 조정될 수 있다. 대안적으로 또는 추가적으로, VL 이미지를 조정하는 것은, 단계 524에서, S 곡선을 통해 VL 이미지의 복수의 VL 픽셀들의 밝기를 조정하는 것을 포함할 수 있다.
방법(500)의 단계 526에서, 조정된 VL 이미지 내의 하나 이상의 비 VL 피부 픽셀들의 색상이 선택적 사항으로서 식별된다. 일부 예시들에서, 조정된 VL 이미지 내의 하나 이상의 비 VL 피부 픽셀들의 밝기는 적어도 하나의 채널(예를 들어, R, G 및 B 채널 중 적어도 하나)에 대해 식별될 수 있다. 하나 이상의 비 VL 피부 픽셀들은 예컨대, 사람의 모발, 또는 사람 피사체의 다른 영역들(예를 들어, 의복)을 이미지화할 수 있다. 이러한 방식으로, 색상 식별은 주변 조명 조건에 대한 변동성이 적고 정확성과 견고성이 증가된 상태로 수행될 수 있다.
방법(500)의 구현예를 나타내는 예시는 다음과 같다. 그러나, 이 예시는 방법(500)의 범위를 제한하려는 것이 아니며, 본 발명개시의 범위를 벗어나지 않고서 다른 접근법들이 가능하다는 것을 이해할 것이다. 예시적인 구현예에서, 사람 피사체 피부 색조는 램버시안(Lambertian) 모델을 사용하여 IR 피부 응답에 기초하여 분류될 수 있다. 특히, IR 이미지 내의 각각의 IR 피부 픽셀의 IR 응답은 다음의 관계식에 따라 램버시안 모델에 기초하여 정규화될 수 있다:
Figure 112022021814756-pat00001
이고, 여기서
Figure 112022021814756-pat00002
는 측정된 IR 응답이고, di는 피부 점에서 시점까지의 거리(예컨대, 해당 픽셀에서의 사람 피사체의 깊이)이고, Ni는 피부 점에서의 표면 법선 벡터이고, Li는 피부 점에서의 조명 방향 벡터이며, (Ni · Li)는 이 두 벡터들의 내적이다. Ni와 Li는 깊이 맵 및 관심대상의 픽셀에 대한 카메라(들) 및 IR 소스(들)의 위치에 기초하여 결정될 수 있다.
다음으로, 신뢰도 값이 다음의 관계식에 따라 VL 이미지 내의 각각의 VL 피부 픽셀에 대해 계산될 수 있다: 피부 신뢰도 = (거리 > 30.0) ? 0:(30.0 - 거리)/(2.0f*30.0). 거리는 다음의 관계식에 따라 계산될 수 있다: 거리 = max(95.0f-R, max(40.0f-G, max(20.0f-B, max(15.0f - (max(R, max(G, B)) - min(R, min(G, B))), max(15.0f-(R - G), B-R))))), 여기서, R, G 및 B는 VL 피부 픽셀의 각각의 R, G 및 B 색상 값들이다.
다음으로, 피부 신뢰도 값들에 의해 가중화된 IR 값들의 평균 및 모드가 결정될 수 있다. IR 모드는 예를 들어, 커널 밀도 피팅(kernel density fitting)에 의해 발견될 수 있다.
다음으로, 가장 가까운 피부 색조 하위범위를 찾기 위한 특징으로서 평균 및 IR 모드의 최대 값을 사용할 수 있다. 각각의 피부 색조 하위범위의 IR 중심 값은 예를 들어, 상술한 트레이닝 데이터로부터 적절한 브루트 포스(brute force) 검색 알고리즘에 의해 학습될 수 있다.
다음으로, 분류된 피부 색조에 기초하여 VL 이미지의 밝기 레벨이 조정될 수 있다. 이러한 조정은 2개의 파라미터들, 즉 새도우 양
Figure 112022021814756-pat00003
및 하이라이트 양
Figure 112022021814756-pat00004
에 의해 파라미터화된 S 곡선에 의해 수행될 수 있다. 구체적으로, 다음과 같은 형태의 함수가 사용될 수 있다:
Figure 112022021814756-pat00005
, 여기서, x 및 f(x)는 입력 및 출력 픽셀 세기들이며,
Figure 112022021814756-pat00006
는 증분 함수이며 경험적으로
Figure 112022021814756-pat00007
로서 정의된다. 비제한적인 예시들로서, k1, k2 및 k3은 각각 5, 14 및 1.6의 값을 취할 수 있다.
사람 피사체의 얼굴은 종종 백라이트로 인해 과소 노출 조건에서 캡처된다. 이들 조건들을 해결하기 위해, 하이라이트 양
Figure 112022021814756-pat00008
은 제로로 설정되고, 새도우 양
Figure 112022021814756-pat00009
은 분류된 피부 색조에 기초하여 계산된다. RGB 색상 값들을 규정하는 VL 이미지의 경우, VL 이미지는 YIQ 공간으로 변환될 수 있다. 그런 후, 얼굴 피부 영역의 평균 세기 Y가 계산될 수 있다. 분류된 피부 색조의 세기 레벨을
Figure 112022021814756-pat00010
라고 하고, 피부 픽셀들의 수를 N이라고 하면, 새도우 양
Figure 112022021814756-pat00011
은 다음과 같다:
Figure 112022021814756-pat00012
. 오리지널 이미지의 세기 Y 채널은 추정된 새도우 양을 사용하여 S 곡선에 의해 조정될 수 있다. I 채널 및 Q 채널은 Y 채널의 조정에 의해 스케일링될 수 있다.
사람 피사체의 모발 색상은 조정된 VL 이미지로부터 계산될 수 있다. VL 이미지의 밝기가 식별된 피부 색조에 기초하여 조정된 후, 혼합 가우시안 모델이 모발 픽셀의 색상에 피팅되어 모발 색상 모드들을 계산할 수 있다. 최종적인 모발 색상은 모드들의 가중치에 따라 최대 색상 모드 또는 처음 두 개의 색상 모드들의 평균 중 어느 하나로서 설정될 수 있다.
위에서 소개된 바와 같이, 그러한 피부 색조 및 모발 분석은 아바타를 보다 정확하게 렌더링하기 위해 사용될 수 있다. 그러나, 전술한 색상 분석은 이러한 응용으로 제한되지 않는다. 방법(500)은 임의의 목적으로 사실상 임의의 장소(예를 들어, 모발, 의복, 객체, 환경 등)의 중립적인 색상 인식을 보다 정확하게 평가하는데 사용될 수 있다.
방법(500)을 이미지의 픽셀들을 참조하여 설명하였지만, 본 발명개시의 범위를 벗어나지 않으면서 본 방법은 보셀(voxel)과 같은 다른 이미지 엘리먼트들에 대해 수행될 수 있음을 알 것이다. 또한, 둘 이상의 피부 색조들 및/또는 모발 색상들이 식별되고/식별되거나 조정될 수 있다.
몇몇의 실시예들에서, 여기서 설명된 방법들 및 프로세스들은 하나 이상의 컴퓨팅 디바이스들의 컴퓨팅 시스템에 결부될 수 있다. 구체적으로, 이러한 방법들 및 프로세스들은 컴퓨터 응용 프로그램 또는 서비스, 응용 프로그램 인터페이스(application-programming interface; API), 라이브러리, 및/또는 다른 컴퓨터 프로그램 제품으로서 구현될 수 있다.
도 6은 상술된 방법들 및 프로세스들 중 하나 이상을 실행할 수 있는 컴퓨팅 시스템(600)의 비제한적인 실시예를 개략적으로 도시한다. 컴퓨팅 시스템(600)은 단순화된 형태로 도시된다. 컴퓨팅 시스템(600)은 하나 이상의 개인 컴퓨터, 서버 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 디바이스, 게임 디바이스, 모바일 컴퓨팅 디바이스, 모바일 통신 디바이스(예컨대, 스마트 폰), 및/또는 다른 컴퓨팅 디바이스의 형태를 취할 수 있다. 도 1의 머신 비젼 시스템(10)은 컴퓨팅 시스템(600)의 구현의 비제한적인 예시이다.
컴퓨팅 시스템(600)은 로직 머신(602) 및 저장 머신(604)을 포함한다. 컴퓨팅 시스템(600)은 택일적 사항으로서, 디스플레이 서브시스템(608), 입력 서브시스템(606), 통신 서브시스템(610), 및/또는 도 6에서는 미도시된 다른 컴포넌트들을 포함할 수 있다.
로직 머신(602)은 명령어들을 실행하도록 구성된 하나 이상의 물리적 디바이스들을 포함한다. 예를 들어, 로직 머신은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 객체, 컴포넌트, 데이터 구조, 또는 다른 로직 구축물의 일부인 명령어들을 실행하도록 구성될 수 있다. 이러한 명령어들은 태스크를 수행하거나, 데이터 유형을 구현하거나, 하나 이상의 컴포넌트들의 상태를 변환시키거나, 기술적 효과를 아키빙하거나, 또는 이와 다르게 희망하는 결과에 도달하도록 구현될 수 있다.
로직 머신은 소프트웨어 명령어들을 실행하도록 구성된 하나 이상의 프로세서들을 포함할 수 있다. 추가적으로 또는 대안적으로, 로직 머신은 하드웨어 또는 펌웨어 명령어들을 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 로직 머신들을 포함할 수 있다. 로직 머신의 프로세서들은 단일 코어 또는 멀티 코어일 수 있고, 이들 상에서 실행되는 명령어들은 순차적 프로세싱, 병렬 프로세싱, 및/또는 분배형 프로세싱을 위해 구성될 수 있다. 로직 머신의 개별적인 컴포넌트들은 택일적 사항으로서, 통합 프로세싱을 위해 원격적으로 위치하고 및/또는 구성될 수 있는, 두 개 이상의 별개의 디바이스들간에 분배될 수 있다. 로직 머신의 양태들은 클라우드 컴퓨팅 구성으로 구성된, 원격적으로 액세스가능한 네트워크화된 컴퓨팅 디바이스들에 의해 가상화되고 실행될 수 있다.
저장 머신(604)은 여기서 설명된 방법들 및 프로세스들을 구현하기 위해 로직 머신에 의해 실행가능한 명령어들을 홀딩하도록 구성된 하나 이상의 물리적 디바이스들을 포함한다. 이러한 방법들 및 프로세스들이 구현될 때, 저장 머신(604)의 상태는 (예컨대, 상이한 데이터를 홀딩하도록) 변환될 수 있다.
저장 머신(604)은 착탈가능한 디바이스 및/또는 내장형 디바이스를 포함할 수 있다. 저장 머신(604)은 여러가지 중에서도, 광학 메모리(예컨대, CD, DVD, HD-DVD, 블루레이 디스크 등), 반도체 메모리(예컨대, RAM, EPROM, EEPROM 등), 및/또는 자기 메모리(예컨대, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테잎 드라이브, MRAM 등)을 포함할 수 있다. 저장 머신(604)은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독 전용, 랜덤 액세스, 순차적 액세스, 위치 어드레스가능, 파일 어드레스가능, 및/또는 콘텐츠 어드레스가능 디바이스들을 포함할 수 있다.
저장 머신(604)은 하나 이상의 물리적 디바이스들을 포함한다는 것을 이해할 것이다. 하지만, 여기서 설명된 명령어들의 양태들은 대안적으로, 한정된 지속기간 동안 물리적 디바이스에 의해 홀딩되지 않는 통신 매체(예컨대, 전자기 신호, 광학 신호 등)에 의해 전파될 수 있다.
로직 머신(602)과 저장 머신(604)의 양태들은 하나 이상의 하드웨어 로직 컴포넌트들 내로 함께 통합될 수 있다. 이러한 하드웨어 로직 컴포넌트들은 예컨대, FPGA(field-programmable gate array), PASIC/ASIC(program application specific integrated circuit and application specific integrated circuit), PSSP/ASSP(program specific standard product and application specific standard product), SOC(system-on-a-chip), 및 CPLD(complex programmable logic device)를 포함할 수 있다.
디스플레이 서브시스템(608)이 포함되는 경우, 디스플레이 서브시스템(608)은 저장 머신(604)에 의해 홀딩된 데이터의 시각적 표현을 제공하기 위해 이용될 수 있다. 이러한 시각적 표현은 그래픽 사용자 인터페이스(graphical user interface; GUI)의 형태를 취할 수 있다. 여기서 설명된 방법들 및 프로세스들은 저장 머신에 의해 홀딩된 데이터를 변경시키고, 이에 따라 저장 머신의 상태를 변환시키므로, 디스플레이 서브시스템(608)의 상태도 이와 마찬가지로 기저 데이터에서의 변경들을 시각적으로 나타내도록 변환될 수 있다. 디스플레이 서브시스템(608)은 임의의 유형의 기술을 사실상 활용하는 하나 이상의 디스플레이 디바이스들을 포함할 수 있다. 이러한 디스플레이 디바이스들은 로직 머신(602) 및/또는 저장 머신(604)과 공유형 인클로저로 결합될 수 있거나, 또는 이러한 디스플레이 디바이스들은 주변 디스플레이 디바이스들일 수 있다.
입력 서브시스템(606)이 포함되는 경우, 입력 서브시스템(606)은 키보드, 마우스, 터치 스크린, 게임 제어기와 같은 하나 이상의 사용자 입력 디바이스들을 포함하거나 또는 이들과 인터페이싱할 수 있다. 몇몇의 실시예들에서, 입력 서브시스템은 선택형 내추럴 사용자 입력(natural user input; NUI) 컴포넌트들을 포함하거나 또는 이들과 인터페이싱할 수 있다. 이러한 컴포넌트들은 통합되거나 또는 주변장치일 수 있고, 입력 동작들의 변형 및/또는 프로세싱은 온 보드 또는 오프 보드로 처리될 수 있다. 예시적인 NUI 컴포넌트들은 구두 및/또는 음성 인식을 위한 마이크로폰; 머신 비젼 및/또는 제스처 인식을 위한 적외선, 색상, 입체, 및/또는 깊이 카메라; 모션 탐지 및/또는 의도 인식을 위한 머리 추적기, 안구 추적기, 가속도계, 및/또는 자이로스코프뿐만이 아니라, 두뇌 활동에 액세스하기 위한 전기장 감지 컴포넌트를 포함할 수 있다.
일부 예시들에서, 입력 서브시스템(606)은 하나 이상의 추적 디바이스들로부터 이미지들을 인코딩하는 신호들을 수신하기 위한 하나 이상의 하드웨어 인터페이스들을 포함할 수 있다. 예를 들어, 입력 서브시스템(606)은 IR 카메라로부터 복수의 IR 픽셀들을 포함하는 IR 이미지를 수신하도록 구성된 IR 카메라 인터페이스(612)를 포함할 수 있다. IR 카메라 인터페이스(612)는 IR 이미지를 인코딩하는 신호를 IR 카메라로부터 수신하도록 구성될 수 있다. 입력 서브시스템(606)은 대안적으로 또는 추가적으로, VL 카메라로부터 복수의 VL 픽셀들을 포함하는 VL 이미지를 수신하도록 구성된 VL 카메라 인터페이스(614)를 포함할 수 있다. VL 카메라 인터페이스(614)는 VL 이미지를 인코딩하는 신호를 VL 카메라로부터 수신하도록 구성될 수 있다. IR 및 VL 카메라 인터페이스들은 범용 직렬 버스(USB), IEEE 1394, 블루투스, Wi-Fi 등과 같은 유선 및 무선 인터페이스 기술들을 비제한적인 예시로서 포함하여, 다양한 적절한 인터페이스 기술들을 포함할 수 있다.
도 7은 피사체(702)를 이미지화하도록 구성된 예시적인 머신 비젼 시스템(700)의 양태들을 도시한다. 예시된 실시예에서, 머신 비젼 시스템은 예를 들어, 도 1의 추적 디바이스(20)에서 사용될 수 있는 TOF(time-of-flight) 깊이 카메라(704)를 포함한다. 일부 구성들에서, 깊이 카메라는 피사체로부터 0.1미터 내지 5미터 떨어진 곳에 위치할 수 있지만, 다른 깊이 범위들이 또한 구상가능하다. 본 명세서에서 개시된 머신 비젼 시스템은 단순하고 정적인 토폴로지들에서부터 사람과 같이 복잡하고 움직이는 피사체에 이르기까지 광범위한 피사체들을 이미지화할 수 있다. 일부 시나리오들에서, 이미지화된 피사체는 포그라운드 및 백그라운드 부분들 둘 다를 모두 포함할 수 있으며, 전체 장면을 구성할 수 있다.
도 7에서 도시된 바와 같이, 깊이 카메라(704)는 변조 광원(706), 이미징 픽셀 어레이(708), 및 대물 렌즈 시스템(710)을 포함한다. 깊이 카메라는 이미징 픽셀 어레이 또는 대물 렌즈 시스템의 전방에 설정될 수 있는 파장 필터(도면들에서는 도시되지 않음)와 같은 다양한 다른 컴포넌트들을 또한 포함할 수 있다.
변조 광원(706)은 적외선(IR) 또는 근적외선(NIR) 파장 대역의 변조된 프로브 광을 피사체(702) 상에 투사하도록 구성된다. 따라서, 대물 렌즈 시스템은 변조 광원이 방출하는 IR 또는 NIR 대역에서 투명할 수 있다. 프로브 광은 펄스형 또는 사인파형 파형을 비제한적인 예시로서 포함하여, 임의의 적절한 변조 파형에 따라 시간적으로 변조될 수 있다. 변조 광원의 특성은 본 발명개시의 다양한 실시예들에서 다를 수 있다. 일부 실시예들에서, 변조 광원은 IR 또는 NIR 레이저와 같은, 변조된 레이저를 포함할 수 있다. 보다 특별한 예시들은 에지 방출 레이저 또는 수직 공동 표면 방출 레이저(vertical-cavity surface-emitting laser; VCSEL)를 포함한다. 다른 실시예들에서, 변조 광원은 하나 이상의 고전력 발광 다이오드(LED)를 포함할 수 있다.
대물 렌즈 시스템(710)은 피사체(702)로부터 반사된 광을 수신하고 그 광을 이미징 픽셀 어레이(708) 상에 굴절시키도록 구성된다. 일부 실시예들에서, 대물 렌즈 시스템은 비교적 높은 FOV를 제공할 수 있다. 예시된 실시예에서, 렌즈 시스템 및 이미징 픽셀 어레이는 이미징 픽셀 어레이에 수직하고 렌즈 시스템의 중심을 통과하는 공통 광축(A)을 공유한다. 대물 렌즈 시스템은 일부 실시예들에서 복합 렌즈 시스템일 수 있다. 보다 특별한 구성들에서, 대물 렌즈 시스템은 5개 또는 6개의 굴절 엘리먼트들을 포함할 수 있다.
이미징 픽셀 어레이(708)는 피사체(702)의 대응하는 장소(712)로부터 되반사된 변조된 프로브 광의 적어도 일부를 수신하도록 각각 구성된 깊이 감지 픽셀들의 어레이를 포함한다. 어레이의 각각의 픽셀은 깊이 카메라(704)로부터 해당 픽셀 상으로 이미지화된 피사체 장소까지의 거리를 결정하는데 사용가능한 정보를 출력한다. 각각의 픽셀은 추가적으로 또는 대안적으로 해당 픽셀에 의해 이미지화된 장소의 IR 반사율을 평가하는데 사용될 수 있다. 대안적으로, 깊이 카메라의 컴포넌트로서도 사용되지 않는 개별적인 IR 카메라(예를 들어,도 8의 IR 카메라(800))는 이미지화된 장소의 IR 반사율을 평가하는데 사용될 수 있다.
머신 비젼 시스템(700)의 제어기(714)는 변조 광원(706)에 그리고 이미징 픽셀 어레이(708)에 동작가능하게 결합되며, 장소(712)까지의 거리를 계산하도록 구성된다. 제어기는 동기화된 변조된 구동 신호들을 광원(706)에 그리고 이미징 픽셀 어레이(708)에 제공하여 이들 컴포넌트들의 동작을 동기화시키는 로직(715)을 포함한다. 특히, 제어기 로직은 이미징 픽셀 어레이의 전극들을 동기적으로 바이어싱하면서 광원으로부터의 방사를 변조한다. 제어기는 또한 피사체(702)의 깊이 맵의 계산을 가능하게 하기 위해 이미징 픽셀 어레이의 각각의 픽셀로부터의 출력을 판독하도록 구성된다. 로직(715)은 본 명세서에서 설명된 방법 및 프로세스를 구현하기 위해 로직에 의해 실행가능한 명령어들을 보유하도록 구성된 메모리(717)와 통신가능하게 결합될 수 있다. 도 7에서 도시된 바와 같이, 제어기(714)는 본 명세서에서 설명된 접근법들을 가능하게 하기 위해 컴퓨팅 시스템(718)과 통신가능하게 결합될 수 있다. 예를 들어, 컴퓨팅 시스템(718)은 도 6의 컴퓨팅 시스템(600)일 수 있고, 이미지들을 인코딩하는 신호들을 수신하도록 구성된 하나 이상의 하드웨어 인터페이스들, 예를 들어, IR 카메라로부터 IR 이미지를 인코딩하는 신호를 수신하도록 구성된 IR 카메라 인터페이스(612)와 같은 IR 카메라 인터페이스, 및/또는 VL 카메라로부터 VL 이미지를 인코딩하는 신호를 수신하도록 구성된 VL 카메라 인터페이스(614)와 같은 VL 카메라 인터페이스를 포함할 수 있다.
예시된 실시예에서, 머신 비젼 시스템(700)은 또한 평면 이미지 카메라(716)를 포함한다. 깊이 카메라(704)와 마찬가지로, 평면 이미지 카메라는 또한 이미지 픽셀 어레이 및 고 FOV 대물 렌즈 시스템을 포함한다. 일부 실시예들에서, 평면 이미지 카메라의 렌즈 시스템은 고정된 초점 길이를 가질 수 있다. 평면 이미지 카메라는 이미지화된 컬러 채널들을 이미징 픽셀 어레이에 매핑시키는 복수의 채널들, 예를 들어, 적색, 녹색, 청색 등으로 피사체(702)로부터의 가시광을 이미지화할 수 있다. 대안적으로, 평면 이미지 카메라는 그레이스케일로 피사체를 이미지화하는 단색 카메라일 수 있다. 평면 이미지 카메라에서 노출된 모든 픽셀들의 색상 또는 밝기 값들은 총체적으로 2D 디지털 이미지를 구성한다. 일부 실시예들에서, 머신 비젼 시스템(700)의 깊이 및 평면 이미지 카메라들은 동일한 해상도를 가질 수 있다. 해상도가 다른 경우에도, 평면 이미지 카메라의 픽셀들은 깊이 카메라의 픽셀들에 레지스트레이션될 수 있다. 이러한 방식으로, 동시적 밝기 및 깊이 정보가 피사체(702)의 각각의 장소(712)에 대해 평가될 수 있다.
예시된 실시예에서, 평면 이미지 카메라(716)는 깊이 카메라(704)의 광축(A)에 평행한 광축(B)을 따라 정렬된다. 다른 실시예에서, 빔 분할 광학장치(도면들에서는 도시되지 않음)는 깊이 카메라 및 평면 이미지 카메라의 광학적으로 상류에 배열될 수 있고, 깊이 카메라 및 평면 이미지 카메라가 동일한 광축을 따라 피사체(702)로부터 광을 수신하도록 구성될 수 있다. 이들 및 다른 실시예들에서, 카메라들 중 하나의 카메라의 FOV 내의 임의의 위치(X', Y')는 머신 비젼 시스템의 기하학적 구성에 기초하여, 적절한 좌표 변환을 통해 다른 카메라의 FOV 내의 위치(X", Y")와 관련지어질 수 있다. 따라서, 깊이 카메라(704)로부터 그리고 평면 이미지 카메라(716)로부터의 대응하는 이미지들은 서로에 대해 공동 레지스트레이션될 수 있다.
일부 실시예들에서, 깊이 카메라(704)의 각각의 이미징 픽셀 어레이(708)는 제1 픽셀 엘리먼트, 이에 인접한 제2 픽셀 엘리먼트를 포함하고, 추가적인 픽셀 엘리먼트를 또한 포함할 수 있다. 각각의 픽셀 엘리먼트는 반도체 기판 상에 에피택셜방식으로 형성되는 하나 이상의 핑거 게이트들, 전송 게이트들 및/또는 수집 노드들을 포함할 수 있다. 각각의 픽셀의 픽셀 엘리먼트들은 변조 광원으로부터의 방출에 동기화된 둘 이상의 적분 기간들을 제공하도록 어드레싱될 수 있다. 적분 기간들은 위상 및/또는 총 적분 시간이 다를 수 있다. 상이한 적분 기간들 동안 픽셀 엘리먼트들 상에 축적된 차분 (및 일부 실시예들에서는 공통 모드) 전하의 상대적 양에 기초하여, 피사체의 대응 장소까지의 거리가 평가될 수 있다. 일부 실시예들에서, 변조 광원(706) 및 제1 픽셀 엘리먼트는 동시에 에너지가 공급되는 반면, 제2 픽셀 엘리먼트는 제1 픽셀 엘리먼트에 대해 180°의 위상차로 에너지가 공급된다. 제1 및 제2 픽셀 엘리먼트들 상에 축적된 상대적인 전하량에 기초하여, 이미징 픽셀 어레이에서 수신된 반사광 펄스의 위상 각이 프로브 변조에 대하여 계산된다. 그 위상 각으로부터, 대응하는 장소까지의 거리가 평가될 수 있다.
상기 설명은 한가지 유형의 TOF 깊이 이미징을 강조하지만, 깊이 카메라들의 성질은 본 발명개시의 다양한 실시예들에서 다를 수 있다. 일부 실시예들에서, 깊이 카메라에서의 2개의 입체 배향 이미징 픽셀 어레이들로부터의 밝기 또는 색상 데이터는 공동 레지스트레이션되고 깊이 맵을 구성하는데 사용될 수 있다. 일부 실시예들에서, 깊이 카메라는 피사체 상에 다수의 개별적인 특징들, 예컨대, 라인들 또는 도트들을 포함하는 구조화된 적외선 조명 패턴을 투사하도록 구성될 수 있다. 깊이 카메라 내의 이미징 픽셀 어레이는 피사체로부터 되반사된 구조화된 조명을 이미지화하도록 구성될 수 있다. 이미지화된 피사체의 다양한 영역들 내의 인접한 특징들 사이의 간격에 기초하여, 피사체의 깊이 맵이 구성될 수 있다. 따라서, 일부 실시예들에서, 변조 광원은 시간적으로 변조된 광원이라기보다는 공간적으로 변조된 광원일 수 있다. 여기서, 이미징 픽셀 어레이는 피사체의 인접한 조명된 영역들 간의 간격을 나타냄으로써 각각의 장소에 대한 거리를 표시한다.
도 6으로 돌아가면, 통신 서브 시스템(610)은 컴퓨팅 시스템(600)을 하나 이상의 다른 컴퓨팅 디바이스들과 통신가능하게 결합하도록 구성될 수 있다. 통신 서브시스템(610)은 하나 이상의 상이한 통신 프로토콜들과 호환가능한 유선 및/또는 무선 통신 디바이스들을 포함할 수 있다. 비제한적인 예시들로서, 통신 서브시스템은 무선 전화기 네트워크, 또는 유선 또는 무선 근거리 네트워크 또는 광대역 네트워크를 통한 통신을 위해 구성될 수 있다. 몇몇의 실시예들에서, 통신 서브시스템은 컴퓨팅 시스템(600)으로 하여금 인터넷과 같은 네트워크를 통해 다른 디바이스들과 메시지들을 주고받을 수 있게 할 수 있다.
도 8은 장면의 IR 이미지들을 캡처하도록 동작가능한 예시적인 적외선(IR) 카메라(800)를 도시한다. 카메라(800)는 예를 들어, 사람 피사체의 IR 이미지들을 획득하는데 사용될 수 있고, IR 피부 응답에 기초하여 VL 이미지에서 색상을 식별하고/식별하거나 VL 이미지를 조정하기 위해 본 명세서에서 설명된 접근법들의 적어도 일부를 가능하게 할 수 있다.
도 8에서 도시된 예시에서, 카메라(800)는 충돌하는 IR 광의 적어도 일부를 필터의 광학적 하류에 위치된 이미지 센서(804)에 전송하도록 구성된 IR 대역 통과 필터(802)를 포함한다. 이미지 센서(804)는 적어도 IR 파장의 범위에 대해 광전자적으로 감응하여, 수신된 IR 광의 변환을 가능하게 한다. 이미지 센서(804)는 예를 들어, CCD(charge-coupled device) 및/또는 CMOS(complementary metal-oxide-semiconductor) 센서를 포함하는 다양한 적절한 이미지 감지 기술들을 포함할 수 있다. 카메라(800)는 장면 내로 IR 광을 투사(예를 들어, 확산)하여 장면으로부터 반사된 IR 광의 수신을 가능하게 하도록 구성된 IR 광원을 더 포함한다. 이 예시에서, IR 광원은 필터(802) 주위에 동심원적으로 환상 배열로 위치된 8개의 IR LED(예를 들어, IR LED(806))를 포함한다. 그러나, 이러한 배열은 비제한적이며, IR 광원이 카메라(800)의 하우징과는 별도의 하우징에서 제공되는 배열들을 비롯하여, IR 광을 장면 내에 투사하기 위한 다양한 적절한 구성들이 사용될 수 있음을 이해할 것이다. 일부 예시들에서, IR 광원은 이미지 감지에 대한 주변광의 악영향을 감소시키기 위해 펄스화될 수 있다.
일부 예시들에서, 카메라(800)는 IR 카메라로서 구성될 수 있다. 다른 예시들에서, 카메라(800)는 VL 카메라로서 제조되어 IR 카메라로 변환될 수 있다. 이 예시에서, 변환 프로세스는 IR 차단 필터(포함되는 경우)를 제거하고, IR 대역 통과 필터(802)를 추가하며, IR 광원을 추가하는 것을 포함할 수 있다. 일부 시나리오들에서, 이미지 센서의 감도가 IR 광을 감지하기에 적절하지 않은 경우 변환 프로세스는 이미지 센서를 교체하는 것을 포함할 수 있다.
일부 구현예들에서, 카메라(800)는 IR 세기와 같은 하나 이상의 IR 파라미터들을 각각 규정하는 복수의 IR 픽셀들을 갖는 IR 이미지들을 생성하도록 구성된 2차원 단안 IR 카메라이다. 카메라(800)는 예를 들어, 도 3의 IR 이미지(302)를 생성하는데 사용될 수 있다. 이 경우, 카메라(800)에 의해 생성된 IR 이미지들은 IR 반사 현상의 지식을 이용하여, 해당 픽셀에 의해 규정된 IR 세기에 기초하여 각각의 IR 픽셀의 깊이를 결정하도록 구성된 적절한 컴퓨팅 디바이스(도 8에서는 도시되지 않음)에 공급될 수 있다. 컴퓨팅 디바이스는, 예를 들어, IR 이미지를 인코딩하는 신호를 수신하기 위한 적절한 IR 카메라 인터페이스(예를 들어, 도 6의 인터페이스(612))를 가질 수 있다. 구체적으로, 컴퓨팅 디바이스는 IR 세기에 기초하여 깊이를 계산하기 위해 광의 역제곱 감쇠(inverse-square falloff)를 이용할 수 있으며; IR 세기의 역제곱을 깊이에 매핑하는 함수가 사용될 수 있다. 따라서, 상대적으로 더 낮은 IR 세기는 상대적으로 더 큰 깊이에 매핑될 수 있는 반면, 상대적으로 더 큰 IR 세기는 상대적으로 더 작은 깊이에 매핑될 수 있다. 이러한 방식으로 2차원 IR 카메라를 사용하면, 특히, 3차원 깊이 카메라의 사용에 비해, 낮은 비용 및 전력 소비로 깊이 결정을 용이하게 할 수 있다.
여기서 설명된 구성들 및/또는 접근법들은 성질상 예시적인 것이며, 이러한 특정한 실시예들 또는 예시들은 수많은 변형들이 가능하기 때문에 한정적인 의미로 간주되어서는 안된다는 점을 이해할 것이다. 여기서 설명된 특정한 루틴들 또는 방법들은 임의의 개수의 프로세싱 전략들 중의 하나 이상을 나타낼 수 있다. 따라서, 예시되고 및/또는 설명된 다양한 동작들은 예시되고 및/또는 설명된 시퀀스로, 또는 다른 시퀀스로, 병렬로 수행될 수 있거나 또는 생략될 수 있다. 마찬가지로, 상술한 프로세스들의 순서는 변경될 수 있다.
본 발명개시의 발명내용은 여기서 개시된 다양한 프로세스들, 시스템들 및 구성들과, 다른 특징들, 기능들, 동작들, 및/또는 특성들의 모든 신규하고 비자명한 조합들 및 서브조합들뿐만이 아니라, 이들의 임의의 그리고 모든 등가물들을 포함한다.
예시는 이미지 프로세싱 방법을 제공하며, 이 이미지 프로세싱 방법은, 적외선(infrared; IR) 카메라로부터, IR 픽셀의 하나 이상의 IR 파라미터들을 각각 규정하는 복수의 IR 픽셀들을 포함하는 적외선(IR) 이미지를 인코딩하는 신호를 수신하는 단계, IR 이미지에서, 사람 피부를 이미지화한 IR 피부 픽셀들을 식별하는 단계, IR 피부 픽셀들에 적어도 부분적으로 기초하여 식별된 사람 피부의 피부 색조(skin tone) - 상기 피부 색조는 하나 이상의 예상 가시광(visible light; VL) 파라미터들을 가짐 - 를 식별하는 단계, VL 카메라로부터, VL 픽셀의 하나 이상의 VL 파라미터들을 각각 규정하는 복수의 VL 픽셀들을 포함하는 VL 이미지를 인코딩하는 신호를 수신하는 단계, VL 이미지에서, 식별된 사람 피부를 이미지화한 VL 피부 픽셀들을 식별하는 단계, 및 VL 피부 픽셀들의 하나 이상의 VL 파라미터들과 식별된 피부 색조의 하나 이상의 예상 VL 파라미터들 간의 대응성(correspondence)을 증가시키도록 VL 이미지를 조정하는 단계를 포함한다. 이러한 예시에서, 하나 이상의 IR 파라미터들은 대안적으로 또는 추가적으로 IR 세기를 포함할 수 있다. 이러한 예시에서, IR 피부 픽셀은 미리 결정된 범위의 IR 세기들 내에 있는 피부 픽셀의 IR 세기에 기초하여 사람 피부를 이미지화한 것로서 대안적으로 또는 추가적으로 식별된다. 이러한 예시에서, 피부 색조는 대안적으로 또는 추가적으로 미리 결정된 범위의 IR 세기들 내의 복수의 하위범위들 중 대응하는 하위범위 내에 있는 하나 이상의 IR 피부 픽셀들의 IR 세기들에 기초하여 식별될 수 있다. 이러한 예시에서, IR 피부 픽셀들을 식별하는 것은 대안적으로 또는 추가적으로 사람 신체 형상들에 대응하는 기하학적 특징들에 대한 IR 이미지를 분석하는 것을 포함할 수 있다. 이러한 예시에서, VL 피부 픽셀들을 식별하는 것은 대안적으로 또는 추가적으로 복수의 VL 픽셀들 중에서, 식별된 IR 피부 픽셀들에 레지스트레이션된 VL 피부 픽셀들을 선택하는 것을 포함할 수 있다. 이러한 예시에서, 하나 이상의 예상 VL 파라미터들은 대안적으로 또는 추가적으로 중립적인 조명 조건 하에서 예상되는 피부색을 규정할 수 있다. 이러한 예시에서, VL 이미지는 대안적으로 또는 추가적으로 각각의 VL 피부 픽셀의 색상 값이 예상 피부 색상과 실질적으로 합치하도록 조정된다. 이러한 예시에서, 본 방법은 대안적으로 또는 추가적으로, 조정된 VL 이미지에서 하나 이상의 비 VL 피부 픽셀들의 색상을 식별하는 것을 포함할 수 있다. 그러한 예시에서, 비 VL 피부 픽셀들은 대안적으로 또는 추가적으로 사람의 모발을 이미지화할 수 있다. 이러한 예시에서, VL 이미지를 조정하는 것은 대안적으로 또는 추가적으로 S 곡선을 통해 복수의 VL 픽셀들의 밝기를 조정하는 것을 포함할 수 있다.
다른 예시는 이미지 프로세싱 방법을 제공하며, 이 이미지 프로세싱 방법은, IR 픽셀의 하나 이상의 IR 파라미터들을 각각 규정하는 복수의 IR 픽셀들을 포함하는 적외선(IR) 이미지를 수신하는 단계, IR 이미지에서, 사람 피부를 이미지화한 IR 피부 픽셀들을 식별하는 단계, IR 피부 픽셀들에 적어도 부분적으로 기초하여 식별된 사람 피부의 피부 색조 - 상기 피부 색조는 하나 이상의 광 채널들에 대한 예상 가시광(VL) 밝기들을 가짐 - 를 식별하는 단계, 하나 이상의 광 채널들에 대한 해당 VL 픽셀의 밝기를 각각 규정하는 복수의 VL 픽셀들을 포함하는 VL 이미지를 수신하는 단계, VL 이미지에서, 식별된 사람 피부를 이미지화한 VL 피부 픽셀들을 식별하는 단계, 및 VL 피부 픽셀들의 밝기와 하나 이상의 광 채널들에 대한 식별된 피부 색조의 예상 VL 밝기 간의 대응성을 증가시키도록 VL 이미지를 조정하는 단계를 포함한다. 이러한 예시에서, 하나 이상의 IR 파라미터들은 대안적으로 또는 추가적으로 IR 세기를 포함한다. 이러한 예시에서, IR 피부 픽셀은 미리 결정된 범위의 IR 세기들 내에 있는 피부 픽셀의 IR 세기에 기초하여 사람 피부를 이미지화한 것로서 대안적으로 또는 추가적으로 식별될 수 있다. 이러한 예시에서, 피부 색조는 대안적으로 또는 추가적으로 미리 결정된 범위의 IR 세기들 내의 복수의 하위범위들 중 대응하는 하위범위 내에 있는 하나 이상의 IR 피부 픽셀들의 IR 세기들에 기초하여 식별될 수 있다. 이러한 예시에서, VL 피부 픽셀들을 식별하는 것은 대안적으로 또는 추가적으로 복수의 VL 픽셀들 중에서, 식별된 IR 피부 픽셀들에 레지스트레이션된 VL 피부 픽셀들을 선택하는 것을 포함할 수 있다. 이러한 예시에서, 피부 색조는 대안적으로 또는 추가적으로 적색 채널, 청색 채널, 및 녹색 채널에 대한 각각의 예상되는 VL 밝기를 가질 수 있다. 이러한 예시에서, 각각의 VL 픽셀은 대안적으로 또는 추가적으로 적색 채널, 청색 채널, 및 녹색 채널에 대한 해당 VL 픽셀의 각각의 밝기를 규정할 수 있다. 이러한 예시에서, VL 이미지는 대안적으로 또는 추가적으로, VL 피부 픽셀들의 적색 채널 밝기, 청색 채널 밝기, 및 녹색 채널 밝기와, 식별된 피부 색조의 예상된 적색 채널 밝기, 예상된 청색 채널 밝기, 및 녹색 채널 밝기 간의 각각의 대응성들을 증가시키도록 조정될 수 있다. 이러한 예시에서, 본 방법은 대안적으로 또는 추가적으로, 하나 이상의 광 채널들에 대한 조정된 VL 이미지에서 하나 이상의 비 VL 피부 픽셀들의 밝기를 식별하는 단계를 포함할 수 있다.
다른 예시는 컴퓨팅 디바이스를 제공하며, 이 컴퓨팅 디바이스는, 적외선(IR) 픽셀의 하나 이상의 IR 파라미터들을 각각 규정하는 복수의 IR 픽셀들을 포함하는 IR 이미지를 IR 카메라로부터 수신하도록 구성된 IR 카메라 인터페이스, 가시광(VL) 픽셀의 하나 이상의 VL 파라미터들을 각각 규정하는 복수의 VL 픽셀들을 포함하는 VL 이미지를 VL 카메라로부터 수신하도록 구성된 VL 카메라 인터페이스, 로직 머신, 및 명령어들을 보유한 저장 머신을 포함하고, 상기 명령어들은 로직 머신에 의해, IR 이미지에서, 사람 피부를 이미지화한 IR 피부 픽셀들을 식별하고, IR 피부 픽셀들에 적어도 부분적으로 기초하여 식별된 사람 피부의 피부 색조(skin tone) - 상기 피부 색조는 하나 이상의 예상 가시광(visible light; VL) 파라미터들을 가짐 - 를 식별하고, VL 이미지에서, 식별된 사람 피부를 이미지화한 VL 피부 픽셀들을 식별하며, VL 피부 픽셀들의 하나 이상의 VL 파라미터들과 식별된 피부 색조의 하나 이상의 예상 VL 파라미터들 간의 대응성(correspondence)을 증가시키도록 VL 이미지를 조정하도록 실행가능하다. 이러한 예시에서, 하나 이상의 IR 파라미터들은 대안적으로 또는 추가적으로 IR 세기를 포함할 수 있다. 이러한 예시에서, IR 피부 픽셀은 미리 결정된 범위의 IR 세기들 내에 있는 피부 픽셀의 IR 세기에 기초하여 사람 피부를 이미지화한 것로서 대안적으로 또는 추가적으로 식별될 수 있다. 이러한 예시에서, 피부 색조는 대안적으로 또는 추가적으로 미리 결정된 범위의 IR 세기들 내의 복수의 하위범위들 중 대응하는 하위범위 내에 있는 하나 이상의 IR 피부 픽셀들의 IR 세기들에 기초하여 식별될 수 있다. 이러한 예시에서, VL 피부 픽셀들을 식별하는 것은 대안적으로 또는 추가적으로 복수의 VL 픽셀들 중에서, 식별된 IR 피부 픽셀들에 레지스트레이션된 VL 피부 픽셀들을 선택하는 것을 포함할 수 있다.

Claims (19)

  1. 이미지 프로세싱 방법에 있어서,
    적외선(infrared; IR) 카메라로부터 복수의 IR 픽셀들 - 각각의 IR 픽셀은, 해당 IR 픽셀의 하나 이상의 IR 파라미터를 규정함 - 을 포함하는 IR 이미지를 인코딩하는 신호를 수신하는 단계;
    상기 IR 이미지에서, 사람 피부를 이미지화 한 IR 피부 픽셀들을 식별하는 단계;
    상기 IR 피부 픽셀들에 적어도 부분적으로 기초하여, 식별된 사람 피부의 복수의 상이한 피부 색조(skin tone)들 중 하나의 피부 색조를 식별하는 단계 - 상기 식별된 피부 색조는 적색 채널에 대한 예상 가시광(visible light, VL) 세기, 청색 채널에 대한 예상 가시광 세기, 및 녹색 채널에 대한 예상 가시광 세기를 가짐 -;
    복수의 VL 픽셀들을 포함하는 이전에 캡처된 VL 이미지를 수신하는 단계; 및
    복수의 VL 픽셀들을 포함하는 렌더링 된 이미지를 렌더링 하는 단계를 포함하고,
    상기 렌더링 된 이미지의 각각의 VL 픽셀은 상기 적색 채널에 대한 예상 VL 세기 및 상기 이전에 캡처된 VL 이미지에 기초하여 상기 적색 채널에 대한 VL 세기를 규정하고, 상기 청색 채널에 대한 예상 VL 세기 및 상기 이전에 캡처된 VL 이미지에 기초하여 상기 청색 채널에 대한 VL 세기를 규정하고, 상기 녹색 채널에 대한 예상 VL 세기 및 상기 이전에 캡처된 VL 이미지에 기초하여 상기 녹색 채널에 대한 VL 세기를 규정하는 것인, 이미지 프로세싱 방법.
  2. 제1항에 있어서,
    상기 렌더링 된 이미지는 상기 이전에 캡처된 VL 이미지의 하나 이상의 VL 파라미터에 추가로 기초하여 렌더링 되는 것인, 이미지 프로세싱 방법.
  3. 제2항에 있어서,
    상기 렌더링 된 이미지의 하나 이상의 VL 파라미터는 상기 식별된 사람 피부의 하나 이상의 예상 VL 파라미터와 상기 이전에 캡처된 VL 이미지의 하나 이상의 VL 파라미터 간의 대응성(correspondence)을 증가시킴으로써 결정되는 것인, 이미지 프로세싱 방법.
  4. 제1항에 있어서,
    상기 IR 피부 픽셀들은 사람 피사체를 이미지화 하고,
    상기 렌더링 된 이미지는 상기 사람 피사체를 나타내는 아바타를 포함하는 것인, 이미지 프로세싱 방법.
  5. 제4항에 있어서,
    상기 아바타는 상기 식별된 피부 색조에 대응하는 피부 색조로 렌더링 되는 것인, 이미지 프로세싱 방법.
  6. 제4항에 있어서,
    상기 식별된 피부 색조의 하나 이상의 예상 VL 파라미터에 기초하여 상기 사람 피사체에 대응하는 모발 색상을 식별하는 단계를 더 포함하고,
    상기 아바타는 상기 모발 색상으로 렌더링 되는 것인, 이미지 프로세싱 방법.
  7. 제1항에 있어서,
    상기 하나 이상의 IR 파라미터는 IR 세기를 포함하고,
    상기 식별된 피부 색조를 식별하는 단계는 각각의 IR 피부 픽셀의 IR 세기를 복수의 IR 세기 하위범위들 중 대응하는 IR 세기 하위범위와 연관시키는 단계를 포함하고, 상기 복수의 IR 세기 하위범위들 각각은 상기 복수의 상이한 피부 색조들 중 각각의 피부 색조에 대응하도록 미리 결정된 것인, 이미지 프로세싱 방법.
  8. 제1항에 있어서,
    상기 식별된 피부 색조의 하나 이상의 예상 VL 파라미터에 기초하여, 사람 피부를 이미지화 하지 않는 IR 픽셀들에 의해 이미지화 된 객체 장소(locus)의 VL 색상을 식별하는 단계를 더 포함하는, 이미지 프로세싱 방법.
  9. 제1항에 있어서,
    상기 IR 피부 픽셀들은 상기 IR 이미지에서 에지 검출을 수행하는 것에 기초하여 식별되는 것인, 이미지 프로세싱 방법.
  10. 제1항에 있어서,
    상기 IR 피부 픽셀들은 상기 IR 이미지에서 형상 인식을 수행하는 것에 기초하여 식별되는 것인, 이미지 프로세싱 방법.
  11. 제1항에 있어서,
    상기 IR 피부 픽셀들은 상기 이전에 캡처된 VL 이미지에서 상이한 색상의 영역들을 식별하는 것에 기초하여 식별되는 것인, 이미지 프로세싱 방법.
  12. 컴퓨팅 디바이스에 있어서,
    적외선(infrared; IR) 카메라로부터 복수의 IR 픽셀들 - 각각의 IR 픽셀은 해당 IR 픽셀의 하나 이상의 IR 파라미터를 규정함 - 을 포함하는 IR 이미지를 인코딩하는 신호를 수신하도록 구성된 IR 카메라 인터페이스;
    로직 머신; 및
    명령어들을 홀딩하는 저장 머신을 포함하고,
    상기 명령어들은:
    상기 IR 이미지에서, 사람 피부를 이미지화 하는 IR 피부 픽셀들을 식별하고;
    상기 IR 피부 픽셀들에 적어도 부분적으로 기초하여, 식별된 사람 피부의 복수의 상이한 피부 색조들 중 하나의 피부 색조를 식별하고 - 상기 식별된 피부 색조는 적색 채널에 대한 예상 가시 광(VL) 세기, 청색 채널에 대한 예상 VL 세기, 및 녹색 채널에 대한 예상 VL 세기를 가짐 -;
    복수의 VL 픽셀들을 포함하는 이전에 캡처된 VL 이미지를 수신하고;
    복수의 VL 픽셀들을 포함하는 렌더링 된 이미지를 렌더링 하도록
    상기 로직 머신에 의해 실행가능한 것이고,
    상기 렌더링 된 이미지의 각각의 VL 픽셀은 상기 적색 채널에 대한 예상 VL 세기 및 상기 이전에 캡처된 VL 이미지에 기초하여 상기 적색 채널에 대한 VL 세기를 규정하고, 상기 청색 채널에 대한 예상 VL 세기 및 상기 이전에 캡처된 VL 이미지에 기초하여 상기 청색 채널에 대한 VL 세기를 규정하고, 상기 녹색 채널에 대한 예상 VL 세기 및 상기 이전에 캡처된 VL 이미지에 기초하여 상기 녹색 채널에 대한 VL 세기를 규정하는 것인, 컴퓨팅 디바이스.
  13. 제12항에 있어서,
    상기 명령어들은 상기 이전에 캡처된 VL 이미지의 하나 이상의 VL 파라미터에 추가로 기초하여 상기 렌더링 된 이미지를 렌더링 하도록 실행 가능한 것인, 컴퓨팅 디바이스.
  14. 제13항에 있어서,
    상기 렌더링 된 이미지의 하나 이상의 VL 파라미터는 상기 식별된 사람 피부의 하나 이상의 예상 VL 파라미터와 상기 이전에 캡처된 VL 이미지의 하나 이상의 VL 파라미터 간의 대응성을 증가시킴으로써 결정되는 것인, 컴퓨팅 디바이스.
  15. 제12항에 있어서,
    상기 IR 피부 픽셀들은 사람 피사체를 이미지화 하고,
    상기 렌더링 된 이미지는 상기 사람 피사체를 나타내는 아바타를 포함하는 것인, 컴퓨팅 디바이스
  16. 제12항에 있어서,
    상기 하나 이상의 IR 파라미터는 IR 세기를 포함하고,
    상기 식별된 피부 색조를 식별하도록 실행가능한 명령어들은, 각각의 IR 피부 픽셀의 IR 세기를 복수의 IR 세기 하위범위들 중 대응하는 IR 세기 하위범위와 연관시키도록 실행가능하고, 상기 복수의 IR 세기 하위범위들 각각은 상기 복수의 상이한 피부 색조들 중 각각의 피부 색조에 대응하도록 미리 결정된 것인, 컴퓨팅 디바이스.
  17. 제12항에 있어서,
    상기 식별된 피부 색조의 하나 이상의 예상 VL 파라미터에 기초하여, 사람 피부를 이미지화 하지 않는 IR 픽셀들에 의해 이미지화 된 객체 장소의 VL 색상을 식별하도록 실행가능한 명령어들을 더 포함하는, 컴퓨팅 디바이스.
  18. 이미지 프로세싱 방법에 있어서,
    적외선(infrared; IR) 카메라로부터, 복수의 IR 픽셀들- 각각의 IR 픽셀은 해당 IR 픽셀의 IR 세기를 포함하는 해당 IR 픽셀의 하나 이상의 IR 파라미터를 규정함 - 을 포함하는 IR 이미지를 인코딩하는 신호를 수신하는 단계 ;
    상기 IR 이미지에서, 사람 피부를 이미지화 한 IR 피부 픽셀들을 식별하는 단계;
    상기 IR 피부 픽셀들에 적어도 부분적으로 기초하여, 복수의 상이한 피부 색조들 중 어느 피부 색조가 식별된 사람 피부와 대응하는 지 결정하는 단계 - 상기 결정된 피부 색조는 적색 채널에 대한 예상 가시광(visible light, VL) 세기, 청색 채널에 대한 예상 VL 세기, 및 녹색 채널에 대한 예상 VL 세기를 가짐 -;
    복수의 VL 픽셀들을 포함하는 이전에 캡처된 VL 이미지를 수신하는 단계; 및
    복수의 VL 픽셀들을 포함하는 렌더링 된 이미지를 렌더링 하는 단계를 포함하고,
    상기 렌더링 된 이미지의 각각의 VL 픽셀은 상기 적색 채널에 대한 예상 VL 세기 및 상기 이전에 캡처된 VL 이미지에 기초하여 상기 적색 채널에 대한 VL 세기를 규정하고, 상기 청색 채널에 대한 예상 VL 세기 및 상기 이전에 캡처된 VL 이미지에 기초하여 상기 청색 채널에 대한 VL 세기를 규정하고, 상기 녹색 채널에 대한 예상 VL 세기 및 상기 이전에 캡처된 VL 이미지에 기초하여 상기 녹색 채널에 대한 VL 세기를 규정하는 것인, 이미지 프로세싱 방법.
  19. 제18항에 있어서,
    상기 결정된 피부 색조의 하나 이상의 예상 VL 파라미터에 기초하여, 사람 피부를 이미지화 하지 않는 IR 픽셀들에 의해 이미지화 된 객체 장소의 VL 색상을 식별하는 단계를 더 포함하는, 이미지 프로세싱 방법.
KR1020227006694A 2014-06-30 2015-06-29 적외선 이미징을 사용한 색상 식별 KR102502310B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201462019351P 2014-06-30 2014-06-30
US62/019,351 2014-06-30
US14/616,514 2015-02-06
US14/616,514 US10192134B2 (en) 2014-06-30 2015-02-06 Color identification using infrared imaging
KR1020177002153A KR102369989B1 (ko) 2014-06-30 2015-06-29 적외선 이미징을 사용한 색상 식별
PCT/US2015/038224 WO2016003851A1 (en) 2014-06-30 2015-06-29 Color identification using infrared imaging

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177002153A Division KR102369989B1 (ko) 2014-06-30 2015-06-29 적외선 이미징을 사용한 색상 식별

Publications (2)

Publication Number Publication Date
KR20220031142A KR20220031142A (ko) 2022-03-11
KR102502310B1 true KR102502310B1 (ko) 2023-02-21

Family

ID=54930898

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177002153A KR102369989B1 (ko) 2014-06-30 2015-06-29 적외선 이미징을 사용한 색상 식별
KR1020227006694A KR102502310B1 (ko) 2014-06-30 2015-06-29 적외선 이미징을 사용한 색상 식별

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177002153A KR102369989B1 (ko) 2014-06-30 2015-06-29 적외선 이미징을 사용한 색상 식별

Country Status (5)

Country Link
US (2) US10192134B2 (ko)
EP (1) EP3161725B1 (ko)
KR (2) KR102369989B1 (ko)
CN (1) CN106471523B (ko)
WO (1) WO2016003851A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201702937A (zh) * 2015-07-02 2017-01-16 Alibaba Group Services Ltd 圖像預處理方法及裝置
US9947099B2 (en) 2016-07-27 2018-04-17 Microsoft Technology Licensing, Llc Reflectivity map estimate from dot based structured light systems
CN108012075B (zh) * 2017-11-06 2020-06-05 信利光电股份有限公司 一种监控设备及照明设备的集成控制方法及***
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
US11423326B2 (en) * 2018-09-14 2022-08-23 Microsoft Technology Licensing, Llc Using machine-learning methods to facilitate experimental evaluation of modifications to a computational environment within a distributed system
US11908234B2 (en) 2018-11-30 2024-02-20 Interdigital Vc Holdings, Inc. Method and apparatus to estimate scene illuminant based on skin reflectance database
BR112021011496A2 (pt) * 2018-12-20 2021-08-31 Coloplast A/S Método para classificar uma condição de ostomia
US11222474B2 (en) 2019-03-27 2022-01-11 Verizon Patent And Licensing Inc. Methods and systems for applying machine learning to volumetric capture of a body in a real-world scene

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120224019A1 (en) 2011-03-01 2012-09-06 Ramin Samadani System and method for modifying images
JP2014103644A (ja) 2012-11-22 2014-06-05 Canon Inc 撮像装置、画像処理装置及び色補正方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6792136B1 (en) * 2000-11-07 2004-09-14 Trw Inc. True color infrared photography and video
US6845181B2 (en) 2001-07-12 2005-01-18 Eastman Kodak Company Method for processing a digital image to adjust brightness
US9129381B2 (en) 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7668365B2 (en) * 2004-03-08 2010-02-23 Seiko Epson Corporation Determination of main object on image and improvement of image quality according to main object
JP4683200B2 (ja) * 2004-04-30 2011-05-11 花王株式会社 髪領域の自動抽出方法
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
BRPI0606519A2 (pt) * 2005-01-05 2009-06-30 Aevora Beauty Concepts Llc sistema para determinação cosmética de cor com leitura infravermelha
US8031961B2 (en) 2007-05-29 2011-10-04 Hewlett-Packard Development Company, L.P. Face and skin sensitive image enhancement
US20090118600A1 (en) 2007-11-02 2009-05-07 Ortiz Joseph L Method and apparatus for skin documentation and analysis
US8406482B1 (en) 2008-08-28 2013-03-26 Adobe Systems Incorporated System and method for automatic skin tone detection in images
US8385638B2 (en) 2009-01-05 2013-02-26 Apple Inc. Detecting skin tone in images
US8749635B2 (en) * 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
US8311355B2 (en) 2009-06-05 2012-11-13 Apple Inc. Skin tone aware color boost for cameras
CN101937604A (zh) * 2010-09-08 2011-01-05 无锡中星微电子有限公司 基于人体检测的睡眠监控***及方法
CN101996317B (zh) * 2010-11-01 2012-11-21 中国科学院深圳先进技术研究院 人体上标记物的识别方法及装置
US8520074B2 (en) * 2010-12-14 2013-08-27 Xerox Corporation Determining a total number of people in an IR image obtained via an IR imaging system
US8587657B2 (en) * 2011-04-13 2013-11-19 Xerox Corporation Determining a number of objects in an IR image
US8509495B2 (en) * 2011-04-15 2013-08-13 Xerox Corporation Subcutaneous vein pattern detection via multi-spectral IR imaging in an identity verification system
US9013489B2 (en) * 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
CN102306065A (zh) * 2011-07-20 2012-01-04 无锡蜂巢创意科技有限公司 交互式光感触摸微型投影***的实现方法
US9148637B2 (en) 2011-11-04 2015-09-29 Microsoft Technology Licensing, Llc Face detection and tracking
US8705853B2 (en) 2012-04-20 2014-04-22 Apple Inc. Detecting skin tone
US8837780B2 (en) * 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
US9196056B2 (en) * 2013-08-19 2015-11-24 Manufacturing Techniques, Inc. Electro-optical system and method for analyzing images of a scene to identify the presence of a target color

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120224019A1 (en) 2011-03-01 2012-09-06 Ramin Samadani System and method for modifying images
JP2014103644A (ja) 2012-11-22 2014-06-05 Canon Inc 撮像装置、画像処理装置及び色補正方法

Also Published As

Publication number Publication date
KR20170028371A (ko) 2017-03-13
KR20220031142A (ko) 2022-03-11
US20190213436A1 (en) 2019-07-11
CN106471523B (zh) 2020-03-03
WO2016003851A1 (en) 2016-01-07
EP3161725A1 (en) 2017-05-03
US10192134B2 (en) 2019-01-29
US20150379369A1 (en) 2015-12-31
EP3161725B1 (en) 2023-12-06
KR102369989B1 (ko) 2022-03-04
US10936900B2 (en) 2021-03-02
CN106471523A (zh) 2017-03-01

Similar Documents

Publication Publication Date Title
KR102502310B1 (ko) 적외선 이미징을 사용한 색상 식별
CN107466411B (zh) 二维红外深度感测
US10552666B2 (en) Identification using depth-based head-detection data
CA2760210C (en) Systems and methods for applying animations or motions to a character
CN107077604B (zh) 用于心律检测的面部皮肤掩膜生成
US8929668B2 (en) Foreground subject detection
US8401225B2 (en) Moving object segmentation using depth images
US9348141B2 (en) Low-latency fusing of virtual and real content
KR102162373B1 (ko) 주체와 객체의 연관
US20150245010A1 (en) Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use
CN108369653A (zh) 使用眼睛特征的眼睛姿态识别
CN105190703A (zh) 使用光度立体来进行3d环境建模
CN110895678A (zh) 脸部识别模块及方法
KR20140008510A (ko) 게임플레이에서의 3차원 환경 모델 사용
US20140045593A1 (en) Virtual joint orientation in virtual skeleton
KR20170031185A (ko) 광시야각 깊이 이미징
CN107656611A (zh) 体感游戏实现方法及装置、终端设备
JP2021018729A (ja) 個人識別装置、ヘッドマウントディスプレイ、コンテンツ配信サーバ、および個人識別方法
CN102591456B (zh) 对身体和道具的检测
Cheng et al. [Retracted] Design of Children’s Motor Skills Training Management System Based on Human Movement Recognition Algorithm of Depth Information
Jogeshwar Look at the Bigger Picture: Analyzing Eye Tracking Data With Multi-Dimensional Visualization

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant