KR101182623B1

KR101182623B1 - 셔터 동기화를 사용하여 모션 캡쳐를 수행하는 장치 및방법

Info

Publication number: KR101182623B1
Application number: KR1020077008614A
Authority: KR
Inventors: 그레그 라살; 더 란 로거 반; 스티븐 지 펄만; 존 스펙; 티모시 에스 코터; 케네스 에이 피어스
Original assignee: 온라이브, 인크.
Priority date: 2005-03-10
Filing date: 2005-09-26
Publication date: 2012-09-14
Also published as: CA2519737A1; PL1715454T3; WO2006098770A3; CA3176795A1; DE602005009141D1; KR20070119603A; HK1096752A1; CN101427564A; AU2005329027B2; CA2519737C; EP1715454A3; WO2006098770A2; NZ553106A; EP1715454B1; JP2008533810A; SI1715454T1; CN101427564B; CA2973956C; PT1715454E; US7605861B2

Abstract

행위자의 안면 및/또는 몸의 특정 영역에 형광 페인트를 도포하는 단계; 온 시에 형광 페인트를 충전하는 광원을 온 및 오프로 스트로빙하는 단계; 및 형광 페인트의 이미지를 캡쳐하기 위해 광원의 스트로빙과 동기적으로 제 1 복수의 카메라의 셔터를 스트로빙하는 단계를 포함하는 방법이 제공되며, 셔터는 광원이 오프시에 개방되고, 광원이 온시에 폐쇄된다.

형광 페인트, 모션 캡쳐

Description

셔터 동기화를 사용하여 모션 캡쳐를 수행하는 장치 및 방법{APPARATUS AND METHOD FOR PERFORMING MOTION CAPTURE USING SHUTTER SYNCHRONIZATION}

발명의 배경

발명의 분야

이 발명은 일반적으로 모션 캡쳐의 분야에 관한 것이다. 더욱 상세하게는, 본 발명은 셔터 동기화 및/또는 형광 페인트를 사용하여 모션 캡쳐를 수행하는 개선된 장치 및 방법에 관한 것이다.

관련 기술의 설명

"모션 캡쳐" 는 일반적으로 사람 및 동물 모션을 추적하고 기록하는 것을 말한다. 모션 캡쳐 시스템은 예를 들어, 비디오 게임 및 컴퓨터-생성된 (computer-generated) 영화를 포함하는 다양한 애플리케이션에 사용된다. 통상적인 모션 캡쳐 세션에서, "행위자 (performer)" 의 모션이 캡쳐되어 컴퓨터-생성된 캐릭터로 전환된다.

도 1 에 도시된 바와 같이, 모션 캡쳐 시스템에서, 복수의 모션 추적 " 마커 (markers)" (예를 들어, 마커 (101, 102)) 가 행위자 (100) 의 몸의 여러 포인트에 부착된다. 포인트는 사람 골격의 알려진 한계에 기초하여 선택된다. 모션 캡쳐 마커의 상이한 유형은 상이한 모션 캡쳐 시스템에 사용된다. 예를 들어, "자기적" 모션 캡쳐 시스템에서, 행위자에게 부착된 모션 마커는 자기장에서 측정 가능한 분열 (disruption) x, y, z 및 요 (yaw), 피치 (pitch), 롤 (roll) 을 생성하는 액티브 코일이다.

대조적으로, 도 1 에 도시된 바와 같은, 광 모션 캡쳐 시스템에서, 마커 (101, 102) 는 재귀성 반사 (retro-reflective) 재료, 즉 이상적으로는 광범위한 입사각에 걸쳐, 들어오는 방향으로 되돌려 광을 반사하는 재료로 구성된 수동 구체 (spheres) 이다. 각각 렌즈 주위에 LED 링 (130, 131, 132) 을 갖는 복수의 카메라 (120, 121, 122) 는 행위자상의 재귀성 반사 마커 (101, 102) 및 다른 마커로부터 되돌려 반사된 LED 광을 캡쳐하도록 배치된다. 이상적으로, 재귀성 반사된 LED 광은 방안의 임의의 다른 광원보다 훨씬 더 밝다. 통상적으로, 임계 기능이 카메라 (120, 121, 122) 에 의해 제공되어 특정 밝기 레벨 아래의 모든 광을 거부하여, 이상적으로 방안의 임의의 다른 광으로부터의 반사 마커로부터 반사된 광을 격리시키며, 카메라 (120, 121, 122) 는 마커 (101, 102) 및 행위자상의 다른 마커로부터의 광만을 캡쳐한다.

카메라에 연결된 모션 추적 유닛 (150) 은 마커 (101, 102) 각각의 상대 위치 및/또는 행위자 몸의 알려진 한계로 프로그래밍된다. 이러한 정보 및 카메라 (120 내지 122) 로부터 제공된 비주얼 데이터를 사용하여, 모션 추적 유닛 (150) 은 모션 캡쳐 세션 동안 행위자의 움직임을 나타내는 인위적인 모션 데이터를 생성한다.

그래픽 프로세싱 유닛 (152) 은 모션 데이터를 사용하여 컴퓨터 디스플레이 (160; 또는 유사한 디스플레이 디바이스) 에 행위자의 애니메이트된 표정을 제공한 다. 예를 들어, 그래픽 프로세싱 유닛 (152) 은 행위자의 캡쳐된 모션을 상이한 애니메이트된 캐릭터 및/또는 상이한 컴퓨터-생성된 영상의 애니메이트된 캐릭터에 적용할 수도 있다. 일 실시형태에서, 모션 추적 유닛 (150) 및 그래픽 프로세싱 유닛 (152) 은 (예를 들어, 다수의 개인용 컴퓨터에서 발견된 PCI 및 AGP 와 같은) 컴퓨터의 버스에 결합된 프로그래밍 가능 카드이다. 모션 캡쳐 시스템을 생산하는 잘 알려진 회사는 모션 어낼리시스 회사 (Motion Analysis Corporation; 예를 들어, www.motionanalysis.com 참조) 이다.

요약

행위자의 안면 및/또는 몸의 특정 영역에 형광 페인트를 도포하는 단계; 온 하는 경우 형광 페인트를 충전하는 광원을 온 및 오프로 스트로빙 (strobing) 하는 단계; 및 형광 페인트의 이미지를 캡쳐하기 위해, 광원의 스트로빙과 동기적으로 제 1 복수의 카메라의 셔터를 스트로빙하는 단계를 포함하고, 셔터는 광원이 오프시에 개방되고, 광원이 온시에 폐쇄되는 방법이 설명된다.

도면의 간단한 설명

도면과 함께 다음의 상세한 설명으로부터 본 발명을 보다 이해할 수 있다.

도 1 은 재귀성 반사 마커 및 카메라를 사용하여 행위자의 모션을 추적하는 종래 기술의 모션 추적 시스템을 도시한다.

도 2 는 안면 표정을 추적하기 위해 곡선 패턴을 사용하는 본 발명의 일 실시형태를 도시한다.

도 3 은 광 패널과 카메라 셔터를 동기화시키는 본 발명의 일 실시형태를 도 시한다.

도 4 는 본 발명의 일 실시형태에 따라 광 패널과 셔터간의 동기화를 도시하는 타이밍도이다.

도 5 는 동기 신호에 대한 예시적인 LED 및 커넥터의 개략적인 표현이다.

도 6a 은 리트 (lit) 프레임 동안 행위자의 안면에 페인팅된 예시적인 조명 곡선의 세트를 도시한다.

도 6b 는 "글로 (glow)" 프레임 동안 행위자의 안면에 페인팅된 예시적인 조명 곡선의 세트를 도시한다.

도 7 은 리트 프레임 및 글로 프레임 모두를 캡쳐하는 일 실시형태에서의 광 패널과 카메라간의 동기화를 조명하는 타이밍도이다.

도 8 은 리트 프레임 및 글로 프레임 모두를 캡쳐하는 또 다른 실시형태에서의 광 패널과 카메라간의 동기화를 조명하는 타이밍도이다.

도 9 는 리트 프레임 및 글로 프레임 모두를 캡쳐하는 시스템의 일 실시형태를 도시한다.

도 10 은 도 9 에 도시된 시스템과 관련된 타이밍도를 도시한다.

바람직한 실시형태의 상세한 설명

이하의 설명은 셔터 동기화 및/또는 형광 페인트를 사용하여 모션 캡쳐를 형성하는 개선된 장치 및 방법이다. 다음의 설명에서, 설명의 목적을 위해, 다수의 특정 세부사항이 본 발명의 완전한 이해를 제공하기 위해 주어진다. 그러나, 본 발명은 이들 특정 세부사항 없이 실시될 수도 있음이 당업자에게 명백할 것 이다. 다른 예에서, 잘 알려진 구조 및 디바이스가 본 발명의 기본 원리를 모호하게 하는 것을 방지하기 위해 블록도 형태로 도시된다.

본 출원의 양수인은 이미 컬러 코딩된 모션 캡쳐를 수행하는 시스템 및 행위자의 안면에 페인팅된 일련의 반사 곡선을 사용하여 모션 캡쳐를 수행하는 시스템을 개발하였다. 이들 시스템은 2004 년 9 월 15 일에 출원되고, 발명의 명칭이 "행위자의 모션 및/또는 표정을 캡쳐하는 장치 및 방법{APPARATUS AND METHOD FOR CAPTURING MOTION AND/OR EXPRESSION OF A PERPORMER}" 인 동시 계류중인 특허 출원 제 10/942.609 및 제 10/942,413 호에 개시되어 있다. 이들 출원은 본 출원의 양수인에게 양도되고 본 명세서에 참조로서 포함된다.

이들 동시 계류중인 출원에 개시된 바와 같이, 행위자의 안면상의 이산 데이터 포인트보다 곡선을 분석함으로써, 모션 캡쳐 시스템은 종래의 마커 기반 추적 시스템보다 훨씬 더욱 정확한 표면 데이터를 생성할 수 있다. 도 2 는 소정의 안면 곡선 패턴 (201) 이 조정되어 각각의 사용자의 안면 (202) 의 토폴로지 (topology) 에 맞도록 조정되는, 동시 계류중인 특허 출원에 개시된 예시적인 모션 캡쳐 시스템을 도시한다. 일 실시형태에서, 3 차원 (3-D) 곡선 패턴은 3-D 스캐닝 시스템을 사용하여 캡쳐된 행위자의 안면의 토폴로지의 3-D 맵에 기초하여 조정된다.

곡선 패턴 (201) 에 의해 규정된 곡선은 재귀성 반사, 비독성 페인트 또는 연극용 메이크업을 사용하여 행위자의 안면에 페인팅된다. 후술하는 바와 같이, 본 발명의 일 실시형태에서, 비독성 형광 페인트는 곡선을 생성하기 위해 사용 된다.

동시 계류중인 특허 출원에 개시된 바와 같이, 행위자의 안면에 페인팅된 각각의 곡선은 고유의 식별 이름 및/또는 넘버 (체계적인 데이터 프로세싱을 지원하기 위함) 를 가지고, 광 캡쳐 시스템에 의해 용이하게 식별될 수 있는 컬러를 잠재적으로 가진다. 일 실시형태에서, 곡선 패턴이 적용되는 경우, 곡선 패턴은 행위의 과정 동안 하나 이상의 카메라 제어기 (205) 및 중앙 모션 캡쳐 제어기 (206) 로 구성된 모션 캡쳐 프로세싱 시스템 (210) 에 의해 추적된다. 일 실시형태에서, 카메라 제어기 (205) 및 중앙 모션 캡쳐 제어기 (206) 각각은 개별 컴퓨터 시스템을 사용하여 구현된다. 대안적으로, 카메라 제어기 및 모션 캡쳐 제어기는 단일의 컴퓨터 시스템상에서 실행되는 소프트웨어로서 또는 하드웨어와 소프트웨어의 임의의 조합으로서 구현될 수도 있다.

일 실시형태에서, 카메라 제어기 (205) 및/또는 모션 캡쳐 제어기 (206) 각각은 곡선 패턴 (201) 을 나타내는 데이터 (203) 로 프로그래밍된다. 행위 동안, 모션 캡쳐 시스템 (210) 은 이 정보를 사용하여 곡선 패턴 내의 각각의 곡선의 움직임을 추적한다. 예를 들어, 각각의 카메라 (204) 에 의해 제공된 행위자의 안면 표정 (예를 들어, 비트맵 이미지로서) 이 분석되고, 규정된 곡선 패턴을 사용하여 곡선이 식별된다.

일 실시형태에서, 곡선 데이터 (203) 는 접속 맵은 패턴의 모든 곡선의 리스트 및 패턴의 모든 표면 패치의 리스트를 포함하는, 곡선 패턴 (201) 의 텍스트 파일 표현이고, 각각의 패치는 그 경계 곡선에 의해 규정되는 "접속 맵 (connectivity map)" 의 형태로 모션 캡쳐 시스템에 제공된다. 그것은 카메라 제어기 (205) 및/또는 중앙 모션 캡쳐 제어기 (206) 에 의해 사용되어 광학적으로 캡쳐된 데이터의 교점 및 곡선을 식별한다. 이것은 차례로, 곡선으로부터의 포인트 데이터가 표면 패치로 되게 하여, 결과적으로 최종 3-D 지오메트리 (geometry; 207) 의 삼각 메시 (triangulated mesh) 가 되게끔 한다.

본 발명의 일 실시형태에서, 모션 캡쳐 시스템의 효과는 형광 페인트를 사용함으로써 및/또는 카메라의 셔터와 페인팅된 곡선의 조명간의 동기화를 정교하게 제어함으로써 개선된다. 더욱 상세하게는, 도 3 을 참조하여, 본 발명의 일 실시형태에서, 소정의 안면 곡선 패턴 (301) 은 형광 페인트를 사용하여 행위자의 안면 (302) 에 페인팅된다. 또한, 광 패널 (308 및 309; 예를 들어, LED 어레이) 은 모션 캡쳐 카메라 (304) 의 셔터의 개방 및 폐쇄와 정확히 동기화된다. 일 실시형태에서, 광 패널 (308 및 309) 과 카메라간의 동기화는 동기 신호 (322 및 321) 을 통해 정확히 제어된다. 도 3 에 도시된 바와 같이, 일 실시형태에서, 동기 신호는 개인용 컴퓨터 (320) 의 PCI 버스에 결합된 주변 콤포넌트 인터페이스 ("PCI") 카드 (323) 로부터 제공된다. 예시적인 PCI 카드는 텍사스 오스틴의 내셔널 인스트루먼트사에 의해 제조된 PCI-6601 이다. 그러나, 본 발명의 기본 원리는 동기 신호를 생성하는 특정 메카니즘에 한정되지 않는다.

본 발명의 일 실시형태에서 사용된 광원과 카메라간의 동기화는 도 4 에 도시된다. 이 실시형태에서, 2 개의 동기화 신호 (321, 322) 는 동일하다. 일 실시형태에서, 동기 신호는 0V 내지 5V 사이를 순환한다. 동기 신호 (321, 322) 에 응답하여, 카메라의 셔터는 주기적으로 개방되고 폐쇄되며, 광 패널은 주기적으로 턴 오프 및 턴 온 된다. 예를 들어, 동기 신호의 상승 에지 (412) 시, 카메라 셔터는 폐쇄되고 광 패널은 조명된다. 시간 주기 (413) 동안 셔터는 폐쇄된 채로 유지되고 광 패널은 조명된 채로 유지된다. 그 후, 동기 신호의 하강 에지 (414) 시, 셔터는 개방되고 광 패널은 턴 오프된다. 또 다른 시간 주기 (415) 동안 셔터 및 광 패널은 이 상태로 남아있다. 그 후, 동기 신호의 상승 에지 (417) 시 프로세스는 반복된다.

그 결과, 제 1 시간 주기 (413) 동안, 카메라에 의해 어떠한 이미지도 캡쳐되지 않고, 형광 페인트는 광 패널 (308 및 309) 로부터의 광으로 조명된다. 제 2 시간 주기 (415) 동안, 광은 턴 오프되고 카메라는 행위자상의 반짝이는 형광 페인트의 이미지를 캡쳐한다. 제 2 시간 주기 (415) 동안, 광 패널이 오프되기 때문에, 형광 페인트와 방의 나머지 것과의 차이가 극도로 높게 되어 (즉, 방의 나머지 것은 피치 블랙임), 이에 의해 행위자의 안면에 페인팅된 여러 곡선을 구별하는 시스템의 능력을 개선한다. 또한, 광 패널은 시간의 절반 동안 온 되기 때문에, 행위자는 행위 동안 방 주위를 볼 수 있을 것이다. 동기 신호의 주파수 (416) 는, 행위자가 광 패널이 턴 온 및 오프되는 것을 인식하지도 못할 정도의 높은 레이트로 설정될 수도 있다. 예를 들어, 75 Hz 이상의 플레시 레이트에서, 대부분의 사람은 광이 플레시하는 것을 지각할 수 없어, 광은 지속적으로 조명하는 것처럼 보인다. 정신 분석 용어로서, 지속적으로 조명되는 사람에 의해 높은 주파수 플레시 광이 지각되는 경우, 이것을 "퓨전 (fusion)" 이 획득되었다고 한 다. 일 실시형태에서, 광 패널은 120 Hz 로 순환되고, 또 다른 실시형태에서, 광 패널은 140 Hz 로 순환되며, 양 주파수는 임의의 사람의 퓨전 임계값 훨씬 위이다. 그러나, 본 발명의 기본 원리는 임의의 특정 주파수에 한정되지 않는다.

도 6a 는 제 1 시간 주기 (413) 동안 (즉, 광 패널이 조명되는 경우) 행위자의 예시적인 영상이고, 도 6b 는 제 2 시간 주기 동안 (415) (즉, 광 패널이 턴 오프되는 경우) 카메라 (304) 에 의해 캡쳐된 조명된 반사 곡선을 도시한다. 제 1 시간 주기 동안, 형광 페인트는 광 패널로부터의 광에 의해 충전되고, 도 6b 에 도시된 바와 같이, 광 패널이 턴 오프되는 경우, 카메라에 의해 캡쳐된 유일한 광은 충전된 형광 페인트로부터 발산하는 광이다. 그 결과, 형광 페인트는 광 패널의 스트로빙에 의해 끊임없이 재충전되고, 따라서, 모션 캡쳐 세션 전체에 걸쳐 그 글로를 유지한다. 또한, 형광 페인트는 시간 주기 동안 그 글로를 유지하기 때문에, 만일 행위자가 움직여서 몇몇 프레임 동안 형광 라인의 일부가 그늘지게 되고 광 패널에 의해 조명되지 않는다면, 형광 페인트가 이들 프레임 동안 완전히 충전되지 않을지라도, 형광 페인트는 여전히 이전 프레임 시간 (즉, 페인트가 그늘지지 않았던 경우임) 으로부터 그 글로를 유지할 것이다.

전술한 바와 같이, 일 실시형태에서, 광 패널 (308, 309) 은 LED 어레이이다. 예시적인 LED 어레이 (501) 및 관련 접속 회로의 개략도는 도 5 에서 도시된다. 동기 신호는 도 5 의 좌측에 도시된 커넥터 (J2-1) 를 통해 LED 어레이 (501) 에 인가된다. 일 실시형태에서, 커넥터는 RJ-45 커넥터이다. 동기 신호는 초기에 인버터 IC2B 에 의해 인버팅되고 인버팅된 신호는 트랜지스터 Q2 의 베이스에 인가되어, 인버팅된 신호에 응답하여 트랜지스터 Q2 를 턴 온 및 오프시킨다. 이것은 저항 R3 을 통해 전류를 흐르게 하여, 트랜지스터 Q1 을 턴 온 및 오프시킨다. 차례로, 이것은 LED 어레이 (501) 내의 LED 들을 턴 온 및 오프시킨다. 일 실시형태에서, 도 5 에 도시된 바와 같이, IC2B 로부터 전환된 신호는 3 개의 추가 LED 어레이에 인가된다. 복수의 추가 커넥터 J1-1, J1-2, J1-3 및 J1-4 가 버퍼링을 위해 인버터 IC2C, IC2D, IC2E 및 IC2F 를 사용하는 추가 광 패널에 제공된다 (즉, 광 패널은 이들 커넥터를 통해 함께 데이지 체인 (daisy-chained) 될 수도 있음). 버퍼링 없는 데이지 체인이 바람직하고 (예를 들어, IC2 전파 지연에 의해 방해되는 임계 타이밍 요구사항으로 인함), 그 후, 커넥터 J2-2 가 사용될 수 있다. LED 어레이용으로 사용된 전압 조정기 IC1 (도 5 의 상부에 도시됨) 는 12V 입력을 가지고 IC2 에 의해 사용되는 5V 로 조정된 출력을 발생시킨다. 일 실시형태에서, 트랜지스터 Q1 은 MOSFET 트랜지스터이다. 그러나, 기본 원리는 임의의 특정 유형의 회로에 한정되지 않는다.

본 발명의 일 실시형태에서, 카메라는 형광 곡선 (예를 들어, 도 6b) 을 캡쳐하는 것에 더하여, 행위자의 안면의 영상 (예를 들어, 도 6a) 을 캡쳐하도록 구성된다. 그 후, 행위자의 안면의 영상은, 예를 들어, 애니메이터에 의해 곡선들간을 보간 (interpolate) 하는 텍스처 맵으로서 사용되어 행위자의 더욱 정확한 표정을 만든다.

도 7 에 도시된 신호 타이밍은 비대칭 듀티 사이클이 카메라에 대한 동기 신호에 사용된 일 실시형태를 나타낸다 (도 4 에 도시된 50% 듀티 사이클에 대조적 임). 이 실시형태에서, 동기 신호 (2) 는 도 4 에서와 동일하게 유지된다. 동기 신호 (2) 의 상승 에지 (722) 는 광 패널을 조명하고, 광 패널은 제 1 시간 주기 (723) 동안 온으로 유지되고, 동기 신호 (2) 의 하강 에지 (724) 에 응답하여 턴 오프되며, 제 2 시간 주기 (725) 동안 오프로 유지된다.

대조적으로, 셔터를 제어하는데 사용되는 동기 신호 (1) 는 비대칭 듀티 사이클을 가진다. 동기 신호 (1) 의 상승 에지 (712) 에 응답하여, 셔터는 폐쇄된다. 셔터는 제 1 시간 주기 (713) 동안 폐쇄된 채로 유지되고, 그 후, 동기 신호 (1) 의 하강 에지 (714) 에 응답하여 개방된다. 셔터는 제 2 시간 주기 (715) 동안 개방된 채로 유지되고 동기 신호 (1) 의 상승 에지에 응답하여 다시 폐쇄된다. 신호는 동기화되어, 동기 신호 (1) 의 상승 에지는 동기 신호 (2) 의 상승 에지 및 하강 에지에 항상 일치한다. 그 결과, 카메라는 시간 주기 (715) 동안 하나의 리트 프레임을 캡쳐하고 (즉, 셔터는 개방되고 광 패널은 조명되는 경우) 시간 주기 (716) 동안 하나의 "글로 프레임" 을 캡쳐한다 (즉, 셔터는 개방되고 광 패널은 오프되는 경우).

일 실시형태에서, 도 3 에 도시된 데이터 프로세싱 시스템 (310) 은 글로 프레임으로부터 리트 프레임을 분리하여 2 개의 개별 이미지 데이터 스트림을 생성하고, 하나의 이미지 데이터 스트림은 행위자의 안면의 이미지를 포함하고 다른 하나는 형광 곡선 데이터를 포함한다. 그 후, 글로 프레임은 행위자의 안면의 메시 (307) 를 생성하기 위해 사용되고, 리트 프레임은 예를 들어, 애니메이터에 참조로서 (예를 들어, 곡선들간을 보간하기 위함) 및/또는 행위자의 안면의 텍스처 맵으 로서 사용될 수도 있다. 2 개의 개별 비디오 시퀀스는 동기화되고, 컴퓨터 또는 다른 유형의 이미지 편집 디바이스상에서 서로 인접하여 보일 수도 있다.

리트 프레임과 글로 프레임간의 전체 조명의 현저한 차이를 고려시에, 일부 카메라는, 그들의 광 감도가 글로 프레임을 수용하기 위해 상당히 높게 턴 업되는 경우, 리트 프레임 동안 과구동 (overdriven) 될 수도 있다. 따라서, 본 발명의 일 실시형태에서, 카메라의 감도는 리트 프레임과 글로 프레임간에 순환된다. 즉, 감도는 글로 프레임의 경우 상대적으로 높은 레벨로 설정되고, 그 후 리트 프레임의 경우 상대적으로 낮음 레벨로 변경된다.

다르게는, 카메라 (304) 의 감도가 매 프레임에 기초하여 (frame-by-frame basis) 변경될 수 없는 경우, 본 발명의 일 실시형태는 셔터가 리트 프레임과 글로 프레임간에 개방되는 총 시간을 변경한다. 도 8 은 동기 신호 (1) 가 조정되어 카메라가 리트 프레임에 의해 과 구동되지 않을 것을 보장하는 일 실시형태의 타이밍을 나타낸다. 특히, 이 실시형태에서, 동기 신호 (2) 가 광 패널이 조명되게 하는 시간 주기 동안, 동기 신호 (1) 는 동기 신호 (2) 가 광 패널을 조명하지 않는 경우보다 상대적으로 더 오랜 시간 주기 동안 셔터가 폐쇄되도록 한다. 예를 들어, 도 8 에서, 동기 신호 (1) 는 시간 주기 (853) 동안 '하이' 가 되어 셔터를 폐쇄하고, 시간 주기 (855) 동안 '로우' 가 되어 셔터를 개방한다. 대조적으로, 글로 프레임 동안, 동기 신호 (1) 는 상대적으로 짧은 시간 주기 (813) 동안 '하이' 이고, 상대적으로 오랜 시간 주기 (815) 동안 '로우' 이다.

도 9 에 도시된 일 실시형태에서, 컬러 및 그레이 스케일 카메라 양자가 사 용되고 상이한 동기 신호를 사용하여 동기화된다. 특히, 이 실시형태에서, 컬러 카메라 (914 및 915) 는 리트 프레임을 캡쳐하기 위해 사용되고, 그레이 스케일 카메라 (904 및 905) 는 행위자의 안면에 페인팅된 형광 곡선을 캡쳐하기 위해 사용된다. 이 구성의 이점 중 하나는, 그레이 스케일 카메라는 통상적으로 비교할만한 센서 해상도 컬러 카메라보다 비교적 더 높은 해상도 및 더 높은 광 감도를 가지며, 따라서, 형광 곡선을 더욱 정확히 캡쳐할 수 있다는 것이다. 대조적으로, 컬러 카메라는 행위자의 텍스쳐 및 컬러를 캡쳐하는데 더욱 적합하다. 또한, 그레이 스케일 카메라는 컬러 카메라보다 상대적으로 더 높은 감도로 조정될 수도 있다.

도 10 에 도시된 바와 같이, 일 실시형태에서, 상이한 동기 신호 1A 및 1B 가 그레이 스케일 및 컬러 카메라 각각을 제어하기 위해 사용된다. 도 10 에서, 동기 신호 1A 및 1B 는 위상이 180 도 차이가 난다. 그 결과, 동기 신호 1B 의 하강 에지 (1014) 는 동기 신호 1A 의 상승 에지 (1024) 와 동시에 발생하고, 이에 의해 컬러 카메라 (914, 915) 에 대한 셔터를 개방하고, 그레이 스케일 카메라 (904, 905) 에 대한 셔터를 폐쇄한다. 마찬가지로, 동기 신호 1B 의 상승 에지 (1012) 는 동기 신호 1A 의 하강 에지 (1022) 와 동시에 발생하고, 이에 의해 컬러 카메라 (914, 915) 에 대한 셔터를 폐쇄하고, 그레이 스케일 카메라 (904, 905) 에 대한 셔터를 개방한다. 광 패널에 대한 동기 신호 (2) 는 도 10 에서 도시되지 않았지만, 일 실시형태에서, 컬러 카메라 셔터가 개방시에 광 패널을 턴 온하고, 그레이 스케일 카메라 셔터가 개방시에 광 패널을 턴 오프하는 것 은, 도 4 에서와 동일하다.

여기에 설명된 본 발명의 실시형태가 현실에서 구현되는 경우, 동기 신호 (예를 들어, 도 3 의 321 및 322) 는 카메라 및 LED 어레이에서의 지연을 수용하기 위해 각 에지간에 약간의 지연을 요구할 수도 있다. 예를 들어, 일부 비디오 카메라상에, 카메라 셔터가 폐쇄되기 이전에, 도 4 의 상승 에지 (412) 이후에 약간의 지연이 존재한다. 이것은 신호 (321) 에 대해 신호 (322) 를 지연시킴으로써 용이하게 수용될 수 있다. 이러한 지연은 통상적으로 밀리초 단위 보다 작은 정도이다. 이와 같이, 시스템이 시작하는 경우, 비디오 카메라 (304) 가 블랙 프레임을 완전히 캡쳐하고 있는지를 관측하고 실제 행위 이전에 타이밍 신호 (321 및 322) 를 조정함으로써 타이밍 신호는 초기에 정확히 눈금이 매겨질 필요가 있다.

전술한 실시형태는 행위자의 안면에 페인팅된 일련의 곡선의 사용을 설명하지만, 본 발명의 기본 원리는 이 구현에 한정되지 않는다. 예를 들어, 곡선 대신에, 본 발명의 일 실시형태는 전술한 광 패널 동기와 기술 및 셔터를 사용하여 행위자의 골격의 움직임을 캡쳐하기 위해 형광 페인트에 담근 마커를 사용한다 (행위자의 안면상의 곡선에 더하여 또는 대신에, 및 재귀성 반사 마커에 더하여 또는 대신임). 또한, 여전히 본 발명의 기본 원리에 따르며, 곡선은 또한 행위자의 몸 및/또는 옷에 페인팅될 수도 있다.

일 실시형태에서, 행위자의 안면에 적용된 형광 페인트는 100 Red Schoolhouse Rd. Chestnut Ridge, NY 10977 에 위치한 Mehron Inc 에 의해 제조된 Fantasy F/XT Tube Makeup; Product #: FFX; Color Designation: GL 이다. 또한, 일 실시형태에서, 행위자의 이미지를 캡쳐하기 위해 Basler A311f 카메라 (304) 가 사용된다. 그러나, 본 발명의 기본 원리는 임의의 특정 유형의 형광 페인트 또는 카메라에 한정되지 않는다.

본 발명의 실시형태는 앞서 주어진 여러 단계를 포함한다. 단계들은 일반 목적 또는 특정 목적 프로세서가 특정 단계를 수행하게끔 하는 기계 실행가능 (machine-executable) 명령들로 구현될 수도 있다. 컴퓨터 메모리, 하드 드라이브, 입력 디바이스와 같은 본 발명의 기본 원리에 관련되지 않은 소자들은 본 발명의 적합한 양태를 모호하게 하는 것을 방지하기 위해 도면에서 제외되었다.

또한, 일 실시형태에서, 여기서 설명된 다양한 기능의 모듈 및 관련 단계는 주문형 반도체 (application-specific integrated circuit; ASIC) 와 같이, 단계를 수행하는 하드 와이어링 (hardwired) 로직을 포함하는 특정 하드웨어 콤포넌트 또는 프로그래밍된 컴퓨터 콤포넌트 및 종래 하드웨어 콤포넌트의 임의의 조합에 의해 수행될 수도 있다.

또한, 본 발명의 구성요소는 기계 실행가능 명령을 저장하는 기계 판독가능 매체로서 제공될 수도 있다. 기계 판독가능 매체는 플레시 메모리, 광 디스크, CD-ROM, DVD ROM, RAM, EPROM, EEPROM, 자기 또는 광 카드, 전파 매체 또는 전자 명령을 저장하는데 적당한 다른 유형의 기계 판독가능 매체를 포함하지만, 이에 한정되지 않는다. 예를 들어, 본 발명은 반송파에 실린 데이터 신호 또는 통신 링크 (예를 들어, 모뎀 또는 네트워크) 를 통한 다른 전파 매체의 방법으로 원격 컴퓨터 (예를 들어, 서버) 로부터 요구하는 컴퓨터 (예를 들어, 클라이언트) 로 전송될 수도 있는 컴퓨터 프로그램으로서 다운로드될 수도 있다.

설명의 목적을 위한, 앞선 설명을 통해, 다수의 특정 세부사항이 본 시스템 및 방법의 완전한 이해를 제공하기 위해 주어졌다. 그러나, 시스템 및 방법은 이들 특정 세부사항의 일부없이 실시될 수도 있음이 당업자에게 명백할 것이다. 따라서, 본 발명의 사상 및 범위는 다음의 청구범위의 관점에서 판단되어야 한다.

Claims

행위자의 안면 및/또는 몸의 특정 영역에 형광 페인트를 도포하는 단계;

온 시에 상기 형광 페인트를 충전하는 광원을 온 및 오프로 스트로빙하는 단계; 및

상기 형광 페인트의 이미지를 캡쳐하기 위해, 상기 광원의 스트로빙과 동기적으로 제 1 복수의 카메라의 셔터를 스트로빙하는 단계를 포함하고,

상기 셔터는 상기 광원이 오프시에 개방되고, 상기 광원이 온시에 폐쇄되는, 방법.
제 1 항에 있어서,

시간의 경과에 따라 상기 형광 페인트의 모션을 추적하는 단계; 및

상기 형광 페인트의 추적된 움직임을 이용하여 상기 행위자의 안면 및/또는 몸의 움직임을 나타내는 모션 데이터를 생성하는 단계를 더 포함하는, 방법.
제 1 항에 있어서,

상기 형광 페인트는 상기 행위자의 안면에 일련의 곡선으로서 도포되는, 방법.
제 1 항에 있어서,

상기 형광 페인트는 상기 행위자의 몸의 특정 영역에서 일련의 마커로서 도포되는, 방법.
제 1 항에 있어서,

상기 행위자의 이미지를 캡쳐하기 위해, 상기 광원의 스트로빙과 동기적으로 제 2 복수의 카메라의 셔터를 스트로빙하는 단계를 더 포함하고,

상기 제 2 복수의 카메라의 셔터는, 상기 광원이 온 시에 개방되고, 상기 광원이 오프시에 폐쇄되는, 방법.
제 5 항에 있어서,

상기 제 1 복수의 카메라는 그레이 스케일 카메라이고, 상기 제 2 복수의 카메라는 컬러 카메라인, 방법.
하나 이상의 동기 신호를 생성하는 동기 신호 생성기;

상기 하나 이상의 동기 신호 중 제 1 동기 신호에 응답하여 온 및 오프로 스트로빙하도록 구성된 광원으로서, 상기 광원은 모션 캡쳐 세션 동안 행위자의 안면 및/또는 몸의 특정 영역에 도포된 형광 페인트를 충전하는, 상기 광원; 및

상기 형광 페인트의 이미지를 캡쳐하기 위해, 상기 광원의 스트로빙과 동기적으로 스트로빙되는 셔터를 갖는 복수의 카메라를 구비하고,

상기 셔터는 상기 광원이 오프시에 개방되고, 상기 광원이 온시에 폐쇄되는, 시스템.
제 7 항에 있어서,

상기 형광 페인트의 추적된 움직임을 이용하여 상기 행위자의 안면 및/또는 몸의 움직임을 나타내는 모션 데이터를 생성하는 이미지 프로세싱 디바이스를 더 구비하는, 시스템.
제 7 항에 있어서,

상기 형광 페인트는 상기 행위자의 안면에 일련의 곡선으로서 도포되는, 시스템.
제 7 항에 있어서,

상기 형광 페인트는 상기 행위자의 몸의 특정 영역에서 일련의 마커로서 도포되는, 시스템.
제 7 항에 있어서,

상기 행위자의 이미지를 캡쳐하기 위해, 상기 광원의 스트로빙과 동기적으로 스트로빙되는 셔터를 갖는 제 2 복수의 카메라를 더 구비하고,

상기 제 2 복수의 카메라의 셔터는, 상기 광원이 온시에 개방되고, 상기 광원이 오프시에 폐쇄되는, 시스템.
제 11 항에 있어서,

제 1 복수의 카메라는 그레이 스케일 카메라이고, 상기 제 2 복수의 카메라는 컬러 카메라인, 시스템.