KR20230116904A

KR20230116904A - 3d 마이크로지오메트리 및 반사율 모델링

Info

Publication number: KR20230116904A
Application number: KR1020237022611A
Authority: KR
Inventors: 첸 푸; 알칸사리 모하마드 가라비
Original assignee: 소니그룹주식회사; 소니 코포레이션 오브 아메리카
Priority date: 2021-06-08
Filing date: 2022-06-03
Publication date: 2023-08-04
Also published as: CN116457836A; JP2024521119A; US20220392141A1; WO2022259110A1; US11694385B2; EP4327291A1

Abstract

3차원(3D) 마이크로지오메트리 및 반사율 모델링을 위한 시스템 및 방법이 제공된다. 시스템은 얼굴의 제1 이미지 세트 및 얼굴의 제2 이미지 세트를 포함하는 이미지들을 수신한다. 제1 이미지 세트 및 제2 이미지 세트의 얼굴들은 각각 전방향성 조명 및 방향성 조명에 노출된다. 시스템은 수신된 이미지들에 기초하여 3D 얼굴 메시를 생성하고, 생성된 3D 얼굴 메시 및 제2 이미지 세트를 사용함으로써, 얼굴에 대한 텍스처 맵 세트를 추정하기 위해 피부-반사율 모델링 동작 세트를 실행한다. 추정된 텍스처 맵 세트에 기초하여, 시스템은 생성된 3D 얼굴 메시를 텍스처화한다. 텍스처화는 추정된 텍스처 맵 세트의, 마이크로지오메트리 피부 세부사항들 및 피부 반사율 세부사항들을 포함하는, 텍스처 정보가 생성된 3D 얼굴 메시에 매핑되는 동작을 포함한다.

Description

3D 마이크로지오메트리 및 반사율 모델링

<관련 출원들에 대한 상호 참조/참조에 의한 통합>

본 출원은 2021년 6월 8일에 미국 특허 상표청에 출원된 미국 특허 출원 번호 제17/342,058호의 우선권 이익을 주장한다. 위에서 참조된 출원들 각각은 이로써 그 전체 내용이 본 명세서에 참조로 포함된다.

<기술분야>

본 개시내용의 다양한 실시예들은 3차원(3D) 모델링에 관한 것이다. 보다 구체적으로, 본 개시내용의 다양한 실시예들은 3D 마이크로지오메트리 및 반사율 모델링(3D microgeometry and reflectance modeling)의 시스템 및 방법에 관한 것이다.

컴퓨터 그래픽 분야의 발전들은 포토리얼리스틱한(photorealistic) 3D 얼굴 모델링을 위한 인간 얼굴들의 3D 형상 및 텍스처 추정의 다양한 기술들의 개발로 이어졌다. 높은 충실도(high fidelity)의 3D 모델들은 엔터테인먼트 산업, 게임 산업, 디자인 산업, 및 헬스케어 산업과 같은 다수의 산업들에서 요구될 수 있다. 예를 들어, 엔터테인먼트 및 게임 산업에서는, 3D 얼굴 모델링을 활용하여 포토리얼리스틱한 얼굴 애니메이션을 생성하거나 또는 게임 캐릭터의 3D 얼굴을 개발할 수 있다. 3D 모델링에 사용되는 종래의 이미징 셋업은 일관되지 않은 조명 조건들을 가질 수 있다. 결과적으로, 종래의 이미징 셋업에 의해 취득되는 이미지들에 기초하여 구성된 3D 모델은 3D 모델의 3D 형상과 연관된 부정확성들을 가질 수 있다. 또한, 3D 모델은 표면 지오메트리 및 표면 반사 측면에서 불량한 표면-레벨 세부사항들을 포함할 수 있다.

종래의 및 통상적인 접근방식들의 한계들 및 단점들은, 본 출원의 나머지 부분 및 도면들을 참조하여 제시되는 바와 같이, 설명된 시스템들과 본 개시내용의 일부 양태들의 비교를 통해, 본 기술분야의 통상의 기술자에게 명백해질 것이다.

3차원(3D) 마이크로지오메트리 및 반사율 모델링의 시스템 및 방법은, 청구범위에 보다 완전하게 제시되는 바와 같이, 도면들 중 적어도 하나에 도시되고/되거나 이와 관련하여 설명되는 바와 같이 실질적으로 제공된다.

본 개시내용의 이들 및 다른 피처들 및 이점들은, 유사한 참조 부호들이 전반에 걸쳐 유사한 부분들을 지칭하는 첨부 도면들과 함께, 본 개시내용의 다음의 상세한 설명의 검토로부터 이해될 수 있다.

도 1은 본 개시내용의 실시예에 따른, 3차원(3D) 마이크로지오메트리 및 반사율 모델링을 위한 예시적인 네트워크 환경을 예시하는 블록도이다.
도 2는 본 개시내용의 실시예에 따른, 3D 마이크로지오메트리 및 반사율 모델링을 위한 예시적인 시스템을 예시하는 블록도이다.
도 3은 본 개시내용의 실시예에 따른, 3D 마이크로지오메트리 및 반사율 모델링을 위한 예시적인 포토그래메트리 셋업(photogrammetry setup)을 예시한다.
도 4a는 본 개시내용의 실시예에 따른, 전방향성 조명 조건(omni-directional lighting condition)들 하에서 캡처된 예시적인 이미지들을 예시한다.
도 4b는 본 개시내용의 실시예에 따른, 방향성 조명 조건(directional lighting condition)들 하에서 캡처된 예시적인 이미지들을 예시한다.
도 5a, 도 5b, 도 5c, 및 도 5d는 본 개시내용의 실시예에 따른, 3D 마이크로지오메트리 및 반사율 모델링을 위한 예시적인 동작들을 집합적으로 예시한다.
도 6은 본 개시내용의 실시예에 따른, 3D 마이크로지오메트리 및 반사율 모델링을 위한 예시적인 방법을 예시하는 흐름도이다.

다음의 설명된 구현들은 3차원(3D) 마이크로지오메트리 및 반사율 모델링을 위한 개시된 시스템 및 방법에서 발견될 수 있다. 본 개시내용의 예시적인 양태들은 복수의 이미지들을 수신하도록 구성될 수 있는 시스템 및 방법을 제공한다. 복수의 이미지들은 얼굴 제1 이미지 세트 및 얼굴의 제2 이미지 세트를 포함할 수 있다. 실시예에 따르면, 시스템은 복수의 시점들로부터 인간 피험자의 얼굴의 복수의 이미지들을 캡처하기 위해 복수의 이미징 디바이스들을 제어할 수 있다. 일부 실시예들에서, 시스템은 복수의 이미징 디바이스들이 제1 이미지 세트를 캡처하는 동안 동시에 플래시 유닛 세트를 활성화할 수 있다. 제1 이미지 세트의 얼굴은 전방향성 조명(omni-directional lighting)에 노출될 수 있다. 시스템은 복수의 이미징 디바이스들이 제2 이미지 세트를 캡처하는 동안 순차적인 패턴으로 플래시 유닛 세트를 추가로 활성화할 수 있다. 제2 이미지 세트의 얼굴은 방향성 조명(directional lighting)에 노출될 수 있다.

수신된 복수의 이미지들에 기초하여, 시스템은 3D 얼굴 메시를 생성하도록 구성될 수 있다. 시스템은, 생성된 3D 얼굴 메시 및 제2 이미지 세트를 사용함으로써, 얼굴에 대한 텍스처 맵 세트를 추정하기 위해 피부-반사율 모델링 동작(skin-reflectance modeling operation) 세트를 실행할 수 있다. 실시예에 따르면, 피부-반사율 모델링 동작 세트는 확산 반사 모델링 동작(diffused reflection modeling operation), 스펙큘러 분리 동작(specular separation operation), 및 스펙큘러 반사 모델링 동작(specular reflection modeling operation)을 포함할 수 있다. 일부 실시예들에서, 시스템은 인간 피험자의 얼굴의 확산 노멀 맵(diffuse normal map) 및 얼굴의 확산 알베도 맵(diffuse albedo map)을 생성하기 위해 (예를 들어, 램버시안 광 모델(Lambertian light model)에 기초하여) 확산 반사 모델링 동작을 실행할 수 있다. 확산 알베도 맵은 추정된 텍스처 맵 세트의 제1 텍스처 맵일 수 있다. 하나 이상의 실시예에서, 시스템은, 생성된 확산 노멀 맵 및 생성된 확산 알베도 맵에 기초하여, 제2 이미지 세트로부터 스펙큘러 반사 정보를 분리하기 위해 스펙큘러 분리 동작을 실행할 수 있다. 일부 실시예들에서, 시스템은 얼굴의 스펙큘러 알베도 맵, 얼굴의 스펙큘러 노멀 맵, 및 얼굴의 러프니스 맵(roughness map)을 생성하기 위해 (예를 들어, 블린-퐁 광 모델(Blinn-Phong light model)에 기초하여) 스펙큘러 반사 모델링 동작을 실행할 수 있다. 스펙큘러 알베도 맵, 스펙큘러 노멀 맵, 및 러프니스 맵은 추정된 텍스처 맵 세트의 제2 텍스처 맵들로서 지칭될 수 있다. 시스템은 추정된 텍스처 맵 세트(이를테면, 제1 텍스처 맵 및 제2 텍스처 맵들)에 기초하여 생성된 3D 얼굴 메시를 텍스처화할 수 있다. 텍스처화는 추정된 텍스처 맵 세트의 마이크로지오메트리 피부 세부사항들 및 피부 반사율 세부사항들을 포함하는 텍스처 정보를, 생성된 3D 얼굴 메시에 매핑하는 것을 포함할 수 있다.

일부 종래의 방법들에서는, 얼굴의 이미지들이 전방향성 조명에서만 취득될 수 있다. 따라서, 이러한 이미지들은 높은 충실도의 3D 모델들의 생성을 위한 정확한 텍스처 맵들을 생성하는 데 요구되는 적절한 정보가 부족할 수 있다. 그러나, 본 개시내용의 시스템은 복수의 이미징 디바이스들을 제어할 수 있고, 전방향성 조명 및 방향성 조명 모두 하에서 이미지들을 캡처하기 위해 플래시 유닛 세트를 활성화할 수 있다. 전방향성 조명 하의 이미지들은 얼굴의 정확한 3D 형상을 추정하는 데 사용될 수 있고, 방향성 조명 하의 이미지들은 마이크로지오메트리 피부 세부사항들(이를테면, 모공-레벨 세부사항들, 릿지(ridge)들, 및 주름(furrow)들) 및 피부 반사율 세부사항들(이를테면, 스펙큘러 알베도 및 러프니스) 모두를 포함하는 텍스처 맵들을 추정하는데 사용될 수 있다. 시스템은 정확한 3D 형상 및 텍스처 맵들을 모두 사용하여 얼굴의 높은 충실도의 그리고 포토리얼리스틱한 3D 모델을 생성할 수 있다.

도 1은 본 개시내용의 실시예에 따른, 3차원(3D) 마이크로지오메트리 및 반사율 모델링을 위한 예시적인 네트워크 환경을 예시하는 블록도이다. 도 1을 참조하면, 네트워크 환경(100)이 도시되어 있다. 네트워크 환경(100)은 시스템(102), 복수의 이미징 디바이스들(104), 플래시 유닛 세트(106), 및 통신 네트워크(108)를 포함할 수 있다. 시스템(102), 복수의 이미징 디바이스들(104), 및 플래시 유닛 세트(106)는 통신 네트워크(108)를 통해 서로 통신하도록 구성될 수 있다. 네트워크 환경(100)에는, 예를 들어, 사람의 얼굴(110)이 도시되어 있다. 복수의 이미징 디바이스들(104)은 얼굴(110)의 제1 이미지 세트(114) 및 제2 이미지 세트(116)를 포함하는 복수의 이미지들(112)을 취득할 수 있다.

시스템(102)은 사람의 얼굴(110)과 연관된 복수의 이미지들(112)(이를테면, 제1 이미지 세트(114) 및 제2 이미지 세트(116))을 수신하도록 구성될 수 있는 적절한 로직, 회로부(circuitry), 및 인터페이스들을 포함할 수 있다. 시스템(102)은 수신된 복수의 이미지들(112)에 기초하여 3D 얼굴 메시(118)를 생성하고, 생성된 3D 얼굴 메시(118)의 텍스처화에 대한 텍스처 맵들을 생성하기 위해 피부-반사율 모델링 동작 세트를 실행하도록 추가로 구성될 수 있다. 텍스처화는 3D 얼굴 메시(118) 상의 마이크로지오메트리 피부 세부사항들 및 피부 반사율 세부사항들을 생성할 수 있다. 시스템(102)의 예들은 메인프레임 머신, 서버, 컴퓨터 워크-스테이션, 게임 디바이스(이를테면, 게임 콘솔), 헤드-마운트형 디스플레이(이를테면, XR(eXtended Reality) 헤드셋), 웨어러블 디스플레이 디바이스, 소비자 가전(consumer electronic)(CE) 디바이스, 또는 모바일 컴퓨터를 포함할 수 있지만, 이에 제한되지 않는다.

복수의 이미징 디바이스들(104)은 대응하는 복수의 시점(viewpoint)들로부터 사람의 얼굴(110)의 복수의 이미지들(112)을 캡처하도록 구성될 수 있는 적절한 로직, 회로부, 및 인터페이스들을 포함할 수 있다. 복수의 이미징 디바이스들(104)은 캡처된 복수의 이미지들(112)을 시스템(102)에 송신하도록 추가로 구성될 수 있다. 이미징 디바이스의 예들은, 이미지 센서, 광각 카메라, 액션 카메라, 캠코더, 디지털 카메라(이를테면, DSLR(digital single reflex camera) 또는 DSLM(digital single lens mirrorless)), 카메라 폰, 및/또는 다수의 포맷들 및 상이한 프레임 레이트들로 이미지들을 캡처할 수 있는 능력을 갖는 임의의 이미지 캡처 디바이스를 포함할 수 있지만, 이에 제한되지 않는다.

플래시 유닛 세트(106)는 시스템(102)에 의해 생성된 트리거 신호들에 기초하여 광 플래시(flash of light)를 생성하도록 구성될 수 있다. 광 플래시는 사람의 얼굴(110)을 조명하기 위해 생성될 수 있다. 플래시 유닛 세트(106)의 예들은 빌트-인 및 팝업 카메라 플래시 유닛, 전용 카메라 플래시 유닛, 매크로 링 라이트 카메라 플래시 유닛(macro ring light camera flash unit), 및 해머헤드 카메라 플래시 유닛을 포함할 수 있지만, 이에 제한되지 않는다.

본 개시내용은 시스템(102)과 별개의 디바이스들로서의 복수의 이미징 디바이스들(104) 및 플래시 유닛 세트의 구현에 제한되지 않는다는 점에 유의해야 한다. 따라서, 일부 실시예들에서, 복수의 이미징 디바이스들(104) 및 플래시 유닛 세트는, 본 개시내용의 범위를 벗어나지 않고, 시스템(102)에 포함될 수 있다.

통신 네트워크(108)는 시스템(102), 복수의 이미징 디바이스들(104), 및 플래시 유닛 세트(106)가 서로 통신할 수 있는 통신 매체를 포함할 수 있다. 통신 네트워크(108)는 유선 연결 또는 무선 연결 중 하나일 수 있다. 통신 네트워크(108)의 예들은 인터넷, 클라우드 네트워크, 셀룰러 또는 무선 모바일 네트워크(이를테면, 롱-텀 에볼루션(Long-Term Evolution) 및 5G 뉴 라디오(5G New Radio)), Wi-Fi(Wireless Fidelity) 네트워크, PAN(Personal Area Network), LAN(Local Area Network), 또는 MAN(Metropolitan Area Network)을 포함할 수 있지만, 이에 제한되지 않는다. 네트워크 환경(100)의 다양한 디바이스들은 다양한 유선 및 무선 통신 프로토콜들에 따라 통신 네트워크(108)에 연결하도록 구성될 수 있다. 이러한 유선 및 무선 통신 프로토콜들의 예들은 TCP/IP(Transmission Control Protocol and Internet Protocol), UDP(User Datagram Protocol), HTTP(Hypertext Transfer Protocol), FTP(File Transfer Protocol), 지그비(Zig Bee), EDGE, IEEE 802.11, Li-Fi(light fidelity), 802.16, IEEE 802.11s, IEEE 802.11g, 멀티-홉 통신, 무선 AP(access point), 디바이스 대 디바이스 통신, 셀룰러 통신 프로토콜들, 및 BT(Bluetooth) 통신 프로토콜들 중 적어도 하나를 포함할 수 있지만, 이에 제한되지 않는다.

동작에서, 시스템(102)은 대응하는 복수의 시점들로부터 복수의 이미지들(112)을 캡처하기 위해 복수의 이미징 디바이스들(104)을 제어하도록 구성될 수 있다. 복수의 이미징 디바이스들(104)은 3D 구조물 상의 대응하는 제1 복수의 위치들에 배열될 수 있다. 예를 들어, 3D 구조물은 적어도 한 사람을 수용할 수 있는 충분한 공간을 제공할 수 있는 돔 형상의 케이지 구조물일 수 있다. 플래시 유닛 세트(106)는 3D 구조물 상의 대응하는 복수의 위치 세트에 배열될 수 있다. 각각의 이미징 디바이스 및 각각의 플래시 유닛은 복수의 시점들로부터 3D 구조물 내의 공간 내부의 사람을 둘러싸도록 3D 구조물 상에 배열될 수 있다. 이러한 배열의 예가 도 3에서 제공된다.

플래시 유닛 세트(106)는 복수의 이미징 디바이스들(104)이 얼굴(110)의 복수의 이미지들(112)을 캡처하는 지속기간 내에서 활성화될 수 있다. 제한이 아닌 예로서, 플래시 유닛 세트(106)는 정의된 지속기간(~1.5초) 내에 2개의 카메라 샷에 대해 활성화될 수 있다. 제1 샷에서, 복수의 이미징 디바이스들(104)이 제1 이미지 세트(114)를 캡처할 수 있는 동안, 플래시 유닛 세트(106)는 얼굴(110)을 전방향성 조명에 노출시키기 위해 동시에 활성화될 수 있다. 제2 샷에서, 복수의 이미징 디바이스들(104)이 제2 이미지 세트(116)를 캡처할 수 있는 동안, 플래시 유닛 세트(106)는 얼굴(110)을 방향성 조명에 노출시키기 위해 순차적인 패턴으로 활성화될 수 있다. 복수의 이미지들(112)의 캡처에 대한 세부사항들은, 예를 들어, 도 3에서 추가로 제공될 수 있다.

임의의 시간-인스턴트(time-instant)에서, 시스템(102)은 복수의 이미징 디바이스들(104)로부터 복수의 이미지들(112)(제1 이미지 세트(114) 및 제2 이미지 세트(116)를 포함할 수 있음)을 수신하도록 구성될 수 있다. 실시예에서, 시스템(102)은 다양한 소스들로부터의 이미지 레포지토리(repository of images)를 유지하는 서버로부터 복수의 이미지들(112)을 수신할 수 있다. 제1 이미지 세트(114)의 얼굴(110)은 전방향성 조명에 노출될 수 있고, 제2 이미지 세트(116)의 얼굴(110)은 방향성 조명에 노출될 수 있다.

실시예에 따르면, 시스템(102)은 수신된 제1 이미지 세트(114)에 기초하여 제1 3D 얼굴 메시를 생성하도록 추가로 구성될 수 있다. 제1 3D 얼굴 메시는 얼굴(110)의 로우(raw) 3D 스캔일 수 있고, 아티팩트들, 이를테면, 스파이크들 또는 뾰족한 에지들, 크고 작은 구멍들, 및 다른 형상 불규칙성들을 포함할 수 있다. 시스템(102)은 정제된(refined) 제1 3D 얼굴 메시를 획득하기 위해 생성된 제1 3D 얼굴 메시에 모델 클린업 동작(model clean-up operation) 세트를 적용하도록 구성될 수 있다. 제한이 아닌 예로서, 이러한 모델 클린업 동작들은 제1 3D 얼굴 메시로부터 아티팩트들을 제거하기 위해 적용될 수 있다. 시스템(102)은 수신된 제2 이미지 세트(116)에 기초하여 제2 3D 얼굴 메시를 추가로 생성할 수 있다. 2D 이미지들로부터 3D 얼굴 메시의 3D 재구성을 위해, 본 기술분야의 통상의 기술자에게 공지될 수 있는 많은 기술들이 있다. 예를 들어, 제1 3D 얼굴 메시 및 제2 3D 얼굴 메시는 모두 (SfM(structure from motion)과 같은) 포토그래메트리-기반 방법, 스테레오스코픽 이미지들을 요구하는 방법, 또는 (SfS(shape from shading), 포토메트릭 스테레오(photometric stereo), 또는 SfT(shape from texture)와 같은) 단안 단서(monocular cue)들을 요구하는 방법을 사용하여 생성될 수 있다. 이러한 기술들의 세부사항들은 간결함을 위해 본 개시내용으로부터 생략되었다.

시스템(102)은 정제된 제1 3D 얼굴 메시와 생성된 제2 3D 얼굴 메시 사이의 아핀 변환(affine transformation)을 추정할 수 있다. 그 후, 시스템(102)은 3D 얼굴 메시(118)를 생성하기 위해 정제된 제1 3D 얼굴 메시에 추정된 아핀 변환을 적용할 수 있다. 생성된 3D 얼굴 메시는 생성된 제2 3D 얼굴 메시와 리지드 정렬될 수 있고(rigid aligned), 텍스처화되지 않을 수 있다(un-textured). 3D 얼굴 메시(118)의 생성에 대한 세부사항들은, 예를 들어, 도 5a 및 도 5b에서 추가로 제공된다.

생성된 3D 얼굴 메시(118) 및 제2 이미지 세트(116)를 사용함으로써, 시스템(102)은 얼굴(110)에 대한 텍스처 맵 세트를 추정하기 위해 피부-반사율 모델링 동작 세트를 실행할 수 있다. 실시예에 따르면, 피부-반사율 모델링 동작 세트는 확산 반사 모델링 동작, 스펙큘러 분리 동작, 및 스펙큘러 반사 모델링 동작을 포함할 수 있다. 피부-반사율 모델링 동작 세트의 실행에 대한 세부사항들은, 예를 들어, 도 5c 및 도 5d에서 제공된다.

시스템(102)은 추정된 텍스처 맵 세트에 기초하여 생성된 3D 얼굴 메시(118)를 텍스처화할 수 있다. 텍스처화는 추정된 텍스처 맵 세트의, 마이크로지오메트리 피부 세부사항들 및 피부 반사율 세부사항들을 포함하는, 텍스처 정보가 생성된 3D 얼굴 메시(118)에 매핑되는 동작을 포함할 수 있다. 생성된 3D 얼굴 메시(118)의 텍스처화에 대한 세부사항들은, 예를 들어, 도 5d에서 추가로 제공된다.

도 2는 본 개시내용의 실시예에 따른, 3D 마이크로지오메트리 및 반사율 모델링을 위한 예시적인 시스템을 예시하는 블록도이다. 도 2는 도 1로부터의 요소들과 관련하여 설명된다. 도 2를 참조하면, 시스템(102)의 블록도(200)가 도시되어 있다. 시스템(102)은 회로부(202), 메모리(204), 입/출력(I/O) 디바이스(206), 및 네트워크 인터페이스(208)를 포함할 수 있다. 회로부(202)는 메모리(204), I/O 디바이스들(206), 및 네트워크 인터페이스(208)에 통신가능하게 커플링될 수 있다.

회로부(202)는 시스템(102)에 의해 실행될 상이한 동작들과 연관된 프로그램 명령어들을 실행하도록 구성될 수 있는 적절한 로직, 회로부, 및 인터페이스들을 포함할 수 있다. 회로부(202)는 하나 이상의 특수 프로세싱 유닛을 포함할 수 있으며, 이들 각각은 별도의 프로세서로서 구현될 수 있다. 실시예에서, 하나 이상의 특수 프로세싱 유닛은 하나 이상의 특수 프로세싱 유닛의 기능들을 집합적으로 수행하는 통합 프로세서 또는 프로세서들의 클러스터로서 구현될 수 있다. 회로부(202)는 본 기술분야에서 공지된 다수의 프로세서 기술들에 기초하여 구현될 수 있다. 회로부(202)의 예시적인 구현들은 x86-기반 프로세서, x64-기반 프로세서, GPU(Graphics Processing Unit), RISC(Reduced Instruction Set Computing) 프로세서, ASIC(Application-Specific Integrated Circuit) 프로세서, 코-프로세서(이를테면, VPU(Vision Processing Unit)), CISC(Complex Instruction Set Computing) 프로세서, 마이크로컨트롤러, 중앙 프로세싱 유닛(central processing unit)(CPU), 및/또는 이들의 조합을 포함할 수 있지만, 이에 제한되지 않는다.

메모리(204)는 회로부(202)에 의해 실행될 프로그램 명령어들을 저장하도록 구성될 수 있는 적절한 로직, 회로부, 및 인터페이스들을 포함할 수 있다. 메모리(204)는 복수의 이미지들(112)(제1 이미지 세트(114) 및 제2 이미지 세트(116) 포함)을 저장하도록 구성될 수 있다. 메모리(204)는 또한 생성된 3D 얼굴 메시(118) 및 추정된 텍스처 맵 세트를 저장하도록 구성될 수 있다. 메모리(204)의 예시적인 구현들은 RAM(Random Access Memory), ROM(Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), HDD(Hard Disk Drive), SSD(Solid-State Drive), CPU 캐시, 및/또는 SD(Secure Digital) 카드를 포함할 수 있지만, 이에 제한되지 않는다.

I/O 디바이스(206)는 사용자로부터 입력을 수신하고 수신된 입력에 기초하여 출력을 제공하도록 구성될 수 있는 적절한 로직, 회로부, 및 인터페이스들을 포함할 수 있다. 다양한 입력 및 출력 디바이스들을 포함할 수 있는 I/O 디바이스(206)는 회로부(202)와 통신하도록 구성될 수 있다. 예를 들어, 시스템(102)은, I/O 디바이스(206)를 통해, 사용자 입력을 수신하여, 복수의 이미지들(112)을 캡처하기 위해 복수의 이미징 디바이스들(104)을 제어할 수 있다. 디스플레이와 같은 I/O 디바이스(206)는 입력들 및/또는 출력들, 이를테면, 생성된 3D 얼굴 메시(118), 추정된 텍스처 맵 세트, 또는 텍스처화된 3D 얼굴 메시를 렌더링할 수 있다. I/O 디바이스(206)의 예들은 터치 스크린, 디스플레이 디바이스, 키보드, 마우스, 조이스틱, 마이크로폰, 및 스피커를 포함할 수 있지만, 이에 제한되지 않는다.

네트워크 인터페이스(208)는, 통신 네트워크(108)를 통해, 회로부(202), 복수의 이미징 디바이스들(104), 및 플래시 유닛 세트(106) 사이의 통신을 용이하게 하도록 구성될 수 있는 적절한 로직, 회로부, 및 인터페이스들을 포함할 수 있다. 네트워크 인터페이스(208)는 통신 네트워크(108)와 시스템(102)의 유선 또는 무선 통신을 지원하기 위해 다양한 공지된 기술들을 사용하여 구현될 수 있다. 네트워크 인터페이스(208)는 안테나, 라디오 주파수(radio frequency)(RF) 트랜시버, 하나 이상의 증폭기, 튜너, 하나 이상의 오실레이터, 디지털 신호 프로세서, CODEC(coder-decoder) 칩셋, SIM(subscriber identity module) 카드, 또는 로컬 버퍼 회로부를 포함할 수 있지만, 이에 제한되지 않는다.

네트워크 인터페이스(208)는 네트워크들, 이를테면, 인터넷, 인트라넷 또는 무선 네트워크, 이를테면, 셀룰러 전화 네트워크, 무선 LAN(local area network), 및 MAN(metropolitan area network)과의 유선 또는 무선 통신을 가능하게 하도록 구성될 수 있다. 무선 통신은 복수의 통신 표준들, 프로토콜들 및 기술들, 이를테면, GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), W-CDMA(wideband code division multiple access), LTE(Long Term Evolution), 5G NR, CDMA(code division multiple access), TDMA(time division multiple access), Bluetooth, Wi-Fi(Wireless Fidelity)(이를테면, IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 또는 IEEE 802.11n), VoIP(voice over Internet Protocol), Li-Fi(light fidelity), Wi-MAX(Worldwide Interoperability for Microwave Access), 이메일을 위한 프로토콜, 인스턴트 메시징, 및 SMS(Short Message Service) 중 하나 이상을 사용하도록 구성될 수 있다.

도 1에 설명된 바와 같은 시스템(102)에 의해 실행되는 기능들 또는 동작들은 회로부(202)에 의해 수행될 수 있다. 회로부(202)에 의해 실행되는 동작들은, 예를 들어, 도 3, 도 4a, 도 4b, 도 5a, 도 5b, 도 5c, 및 도 5d에서 상세하게 설명된다.

도 3은 본 개시내용의 실시예에 따른, 3D 마이크로지오메트리 및 반사율 모델링을 위한 예시적인 포토그래메트리 셋업을 예시하는 다이어그램이다. 도 3은 도 1 및 도 2로부터의 요소들과 관련하여 설명된다. 도 3을 참조하면, 3D 구조물(302), 복수의 이미징 디바이스들(104), 플래시 유닛 세트(306), 및 확산기(diffuser) 세트(308)를 포함하는 다이어그램(300)이 도시되어 있다. 다이어그램(300)은 3D 구조물(302) 내부에 착석된 포지션에 있는 사람(310)을 도시한다.

복수의 이미징 디바이스들(104)은 3D 구조물(302)의 대응하는 제1 복수의 위치들에 배열(또는 마운팅)될 수 있다. 도시된 바와 같이, 예를 들어, 3D 구조물(302)은 사람(310) 또는 적어도 사람(310)의 얼굴을 포함하도록 충분한 공간을 갖는 돔형 조명 릭(dome-shaped lighting rig)일 수 있다. 복수의 플래시 유닛들(306) 및 확산기 세트(308)는 3D 구조물(302) 상에 대응하는 제2 복수의 위치들 및 대응하는 제3 복수의 위치들에 각각 배열되거나 또는 마운팅될 수 있다. 3D 구조물(302) 상의 복수의 이미징 디바이스들(104), 플래시 유닛 세트(106), 및 확산기 세트(308)의 배열은 각각의 이미징 디바이스, 플래시 유닛 및 확산기가 특정 시점으로부터 사람(310)의 얼굴(312)을 향할 수 있도록 될 수 있다. 이미징 디바이스는 제1 시점으로부터 얼굴(312)의 이미지를 취득할 수 있지만, 플래시 유닛은 제2 시점(제1 시점과 동일하거나 또는 상이할 수 있음)으로부터 얼굴(312)을 조명할 수 있다.

다이어그램(300)에서, 사람(310)의 얼굴(312)(이를테면, 이마)에 배치되는 코딩된 타겟 세트(314)가 도시되어 있다. 일부 인스턴스들에서, 이러한 코딩된 타겟들(314)은 고유 코드들 또는 식별자들을 포함할 수 있으며, 이들 각각은 캡처된 복수의 이미지들(112) 각각에서 얼굴(312)의 일부의 위치를 고유하게 식별하는 데 도움이 될 수 있다. 예를 들어, 코딩된 타겟 세트(314)는 얼굴(312)에 배치될 때, 다수의 이미징 디바이스들에 대해 상이한 각도들로 나타날 수 있다. 특정 코딩된 타겟의 코드 값이 상이한 시점들로부터 다수의 이미지들에서 식별되는 경우, 각각의 이미지에서 코딩된 타겟의 위치는 얼굴(312)의 공통 부분이 참조될 수 있다.

회로부(202)는 대응하는 복수의 시점들로부터 복수의 이미지들(112)을 캡처하기 위해 복수의 이미징 디바이스들(104)을 제어하도록 구성될 수 있다. 제한이 아닌 예로서, 회로부(202)는 제1 이미지 세트(114)를 캡처하기 위해 제1 시간-인스턴트에서 복수의 이미징 디바이스들(104)을 제어할 수 있고, 회로부(202)는 제2 이미지 세트(116)를 캡처하기 위해 제2 시간-인스턴트에서 복수의 이미징 디바이스들(104)을 추가로 제어할 수 있다. 제1 시간-인스턴트와 제2 시간-인스턴트 사이에는, 약 1.5초의 시차가 있을 수 있다.

실시예에서, 회로부(202)는, 복수의 이미징 디바이스(104)들이 제1 시간 인스턴스에서 제1 이미지 세트(114)를 캡처하는 동안, 동시에 플래시 유닛 세트(106)를 활성화하도록 구성될 수 있다. 플래시 유닛 세트(106)의 플래시 유닛들의 수는 복수의 이미징 디바이스들(104)보다 작거나 같을 수 있다. 플래시 유닛 세트(106)의 동시 활성화는 3D 구조물(302)의 조명이 전방향성이 되도록 할 수 있다. 전방향성 조명은 사람(310)의 얼굴(312)이 고르게 조명되도록 할 수 있다. 제1 이미지 세트(114)는 전방향성 조명에 노출된 사람(310)의 얼굴(312)의 이미지들을 포함할 수 있다. 제1 이미지 세트(114)는 사람(310)의 얼굴(312)의 정확한 3D 얼굴 메시(이를테면, 3D 얼굴 메시(118))를 생성하는 데 활용될 수 있다.

실시예에서, 회로부(202)는 복수의 이미징 디바이스들(104)이 제2 시간-인스턴트에서 제2 이미지 세트(404)를 캡처하는 동안 순차적인 패턴으로 플래시 유닛 세트(106)를 추가로 활성화할 수 있다. 플래시 유닛 세트(106)의 순차적인 활성화는 3D 구조물(302)의 조명이 방향성이 되도록 할 수 있다. 방향성 조명은 각각의 이미지에서 사람(310)의 얼굴(312)을 부분적으로 조명할 수 있다. 실시예에 따르면, 방향성 조명의 광 강도(light intensity)는 전방향성 조명의 광 강도보다 더 클 수 있다. 전방향성 조명의 광 강도는 사람(310)의 얼굴(312)에 대한 조명의 양을 감소시키기 위해 감소될 수 있다. 복수의 이미징 디바이스들(104)이 얼굴(312)의 이미지들을 캡처하는 동안, 확산기 세트(308)는 얼굴(312)에 대한 조명의 효과를 부드럽게 하는 데 활용될 수 있다.

일부 시나리오들에서, 각각의 이미징 디바이스는 이미징 디바이스의 (셔터의 활성화와 같은) 제어 시간과 이미징 디바이스에 의한 (복수의 이미지들(112)의) 이미지의 캡처 시간 사이의 차이로 인해 그와 연관된 지연을 가질 수 있다. 이러한 시간 지연은 복수의 이미징 디바이스들(104)의 하드웨어 제한으로 인한 것일 수 있다. 회로부(202)는 각각의 이미징 디바이스에 의해 발생되는 지연을 매치시키기 위해 설정된 인터벌로 순차적인 패턴으로 각각의 플래시 유닛을 활성화할 수 있다. 실시예에서, 회로부(202)는, (복수의 이미징 디바이스들(104) 중) 제1 이미징 디바이스 그룹이 제2 이미지 세트(116)의 하나 이상의 제1 이미지를 캡처하는 동안, 플래시 유닛 세트(106)의 제1 플래시 유닛 서브세트를 활성화할 수 있다. 회로부(202)는, (복수의 이미징 디바이스들(104) 중) 제2 이미징 디바이스 그룹이 제2 이미지 세트(116)의 하나 이상의 제2 이미지를 캡처하는 동안, 플래시 유닛 세트(106)의 제2 플래시 유닛 서브세트를 활성화할 수 있다. 제2 이미지 세트(116)는 사람(310)의 얼굴(312)의 마이크로지오메트리 피부 세부사항들 및 피부 반사율 세부사항들을 캡처하는 데 활용될 수 있다.

도 4a는 본 개시내용의 실시예에 따른, 전방향성 조명 조건들 하에서 캡처된 예시적인 이미지들을 예시한다. 도 4a는 도 1, 도 2, 및 도 3으로부터의 요소들과 관련하여 설명된다. 도 4a를 참조하면, 제1 이미지 세트(402)를 포함하는 다이어그램(400A)이 도시되어 있다. 제1 이미지 세트(402)는 제1 시간-인스턴트에서 복수의 이미징 디바이스들(304)에 의해 생성될 수 있다. 제1 이미지 세트(402)는 대응하는 복수의 시점들로부터의 사람(310)의 얼굴(312)을 포함할 수 있다. 제1 이미지 세트(402)의 얼굴(312)은 전방향성 조명에 노출될 수 있다. 예를 들어, 제1 이미지는 얼굴(312)의 좌측면 뷰를 포함할 수 있고, 제2 이미지는 얼굴(312)의 우측면 뷰를 포함할 수 있고, 제3 이미지는 얼굴(312)의 정면도를 포함할 수 있다. 제1 이미지 세트(402)의 이미지들의 수는 제1 이미지 세트(402)를 캡처하기 위해 제1 시간-인스턴트에서 제어될 수 있는 이미징 디바이스들의 수에 의존할 수 있다. 제한이 아닌 예로서, 이미징 디바이스들의 수는 24개일 수 있고, 제1 이미지 세트(402)의 이미지들의 수는 24개일 수 있다.

도 4b는 본 개시내용의 실시예에 따른, 방향성 조명 조건들 하에서 캡처된 예시적인 이미지들을 예시한다. 도 4b는 도 1, 도 2, 도 3, 및 도 4a로부터의 요소들과 관련하여 설명된다. 도 4b를 참조하면, 제2 이미지 세트(404)를 포함하는 다이어그램(400B)이 도시되어 있다. 제2 이미지 세트(404)는 제2 시간-인스턴트에서 복수의 이미징 디바이스들(304)에 의해 출력될 수 있다. 제2 이미지 세트(404)는 대응하는 복수의 시점들로부터의 사람(310)의 얼굴(312)을 포함할 수 있다. 제2 이미지 세트(404)의 얼굴(312)은 방향성 조명에 노출될 수 있다. 예를 들어, 제1 이미지는 얼굴(312)의 좌측면 뷰를 포함할 수있고, 제2 이미지는 얼굴(312)의 우측면 뷰를 포함할 수 있고, 제3 이미지는 얼굴(312)의 정면도 뷰를 포함할 수 있다. 제2 이미지 세트(404)의 이미지들의 수는 이미징 디바이스들의 수에 의존할 수 있다. 예를 들어, 이미징 디바이스들의 수는 24개일 수 있고, 제2 이미지 세트(404)의 이미지들의 수는 24개일 수 있다.

도 5a, 도 5b, 도 5c, 및 도 5d는 본 개시내용의 실시예에 따른, 3D 마이크로지오메트리 및 반사율 모델링을 위한 예시적인 동작들을 집합적으로 예시한다. 도 5a, 도 5b, 도 5c, 및 도 5d를 참조하면, 본 명세서에 설명된 바와 같이, 502 내지 526으로부터의 예시적인 동작들을 예시하는 블록도(500)가 도시되어 있다. 블록도(500)에 예시된 예시적인 동작들은 502에서 시작할 수 있고, 임의의 컴퓨팅 시스템, 장치, 또는 디바이스, 이를테면, 도 1의 시스템(102) 또는 도 2의 회로부(202)에 의해 수행될 수 있다. 개별 블록들로 예시되어 있지만, 블록도(500)의 하나 이상의 블록과 연관된 예시적인 동작들은 예시적인 동작들의 구현에 따라 추가 블록들로 분할되거나, 더 적은 수의 블록들로 결합되거나, 또는 제거될 수 있다.

502에서, 복수의 이미지들(112)이 수신될 수 있다. 실시예에 따르면, 회로부(202)는 복수의 이미징 디바이스들(304)로부터 복수의 이미지들(112)을 수신하도록 구성될 수 있다. 복수의 이미지들(112)은 제1 이미지 세트(402) 및 제2 이미지 세트(404)를 포함할 수 있다. 도시된 바와 같이, 예를 들어, 제1 이미지 세트(402)는 제1 이미지(402A), 제2 이미지(402B), 제3 이미지(402C), 및 제N 이미지(402N)를 포함할 수 있다. 제2 이미지 세트(404)는 제1 이미지(404A), 제2 이미지(404B), 제3 이미지(404C), 및 제N 이미지(404N)를 포함할 수 있다. 제1 이미지 세트(402) 및 제2 이미지 세트(404)는 사람(310)의 얼굴(312)을 포함할 수 있다. 제1 이미지 세트(402)의 얼굴(312)은 전방향성 조명에 노출될 수 있는 반면, 제2 이미지 세트(404)의 얼굴(312)은 방향성 조명에 노출될 수 있다.

504에서, 수신된 제1 이미지 세트(402)에 기초하여, 제1 3D 얼굴 메시(504A)가 생성될 수 있다. 실시예에 따르면, 회로부(202)는, 수신된 제1 이미지 세트(402)에 기초하여, 제1 3D 얼굴 메시(504A)를 생성하도록 구성될 수 있다. 2D 이미지들로부터의 3D 얼굴 메시의 3D 재구성을 위해, 본 기술분야의 통상의 기술자에게 공지될 수 있는 많은 기술들이 있다. 예를 들어, 제1 3D 얼굴 메시(504A)는 (SfM(structure from motion)과 같은) 포토그래메트리-기반 방법, 스테레오스코픽 이미지들을 요구하는 방법, 또는 (SfS(shape from shading), 포토메트릭 스테레오(photometric stereo), 또는 SfT(shape from texture)와 같은) 단안 단서들을 요구하는 방법을 사용하여 생성될 수 있다. 이러한 기술들의 세부사항들은 간결함을 위해 본 개시내용으로부터 생략되었다.

실시예에서, 제1 3D 얼굴 메시(504A)는 사람(310)의 얼굴(312)의 로우 3D 스캔일 수 있고, 아티팩트들, 이를테면, 뾰족한 에지들(즉, 큰 이면각(dihedral angle)들을 갖는 에지들), 스파이크들, 또는 구멍들(크고 작은 사이즈)을 포함할 수 있다. 제1 3D 얼굴 메시(504A)를 정제하기 위해, 본 명세서에 설명된 바와 같이, 모델 클린업 동작 세트가 수행될 수 있다.

506에서, 정제된 제1 3D 얼굴 메시(506A)를 획득하기 위해 생성된 제1 3D 얼굴 메시(504A)에 모델 클린업 동작 세트가 적용될 수 있다. 실시예에 따르면, 회로부(202)는 정제된 제1 3D 얼굴 메시(506A)를 획득하기 위해 생성된 제1 3D 얼굴 메시(504A)에 모델 클린업 동작 세트를 적용하도록 구성될 수 있다. 실시예에서, 모델 클린업 동작 세트는 제1 3D 얼굴 메시(504A)로부터 원하지 않는 영역들 제거, 제1 3D 얼굴 메시(504A)의 작은 구멍들(이를테면, 빈 공간들) 채우기, 및 제1 3D 얼굴 메시(504A)로부터 스파이크들 제거를 포함할 수 있다.

원하지 않는 영역들, 이를테면, 제1 3D 얼굴 메시(504A) 상의 부정확하게 추정된 다각형들(사람(310)의 얼굴(312)의 일부가 아닐 수 있음)은 제거될 수 있다. 제1 3D 얼굴 메시(504A)에서, 제1 3D 얼굴 메시(504A)에는 약간의 빈 공간들 또는 구멍들(즉, 다각형들이 없는 충분히 큰 공간)이 있을 수 있다. 이러한 구멍들은 제1 3D 얼굴 메시(504A)의 충실도에 영향을 미칠 수 있다. 따라서, 이러한 원하지 않는 구멍들은, 예를 들어, 제1 3D 얼굴 메시(504A)의 구멍들에 근접한 노드들의 배열 또는 지오메트리에 의존할 수 있는 적절한 예측 방법을 사용하여 제거될 수 있다. 일부 인스턴스들에서, 일부 위치들에서의 깊이의 부정확한 추정은 제1 3D 얼굴 메시(504A)에서 원하지 않는 스파이크들의 생성으로 이어질 수 있다. 회로부(202)는 정제된 제1 3D 얼굴 메시(506A)를 획득하기 위해 제1 3D 얼굴 메시(504A) 상의 이러한 원하지 않는 스파이크들을 제거하거나 또는 평활화할 수 있다.

508에서, 수신된 제2 이미지 세트(404)에 기초하여 제2 3D 얼굴 메시(508A)가 생성될 수 있다. 실시예에 따르면, 회로부(202)는 수신된 제2 이미지 세트(404)에 기초하여 제2 3D 얼굴 메시(508A)를 생성하도록 구성될 수 있다. 제1 3D 얼굴 메시(504A)와 유사하게, 제2 3D 얼굴 메시(508A)는 (SfM(structure from motion)과 같은) 포토그래메트리-기반 방법, 스테레오스코픽 이미지들을 요구하는 방법, 또는 (SfS(shape from shading), 포토메트릭 스테레오(photometric stereo), 또는 SfT(shape from texture)와 같은) 단안 단서들을 요구하는 방법을 사용하여 생성될 수 있다. 이러한 기술들의 세부사항들은 간결함을 위해 본 개시내용으로부터 생략되었다.

제2 3D 얼굴 메시(508A)는 사람(310)의 얼굴(312)의 로우 3D 스캔일 수 있고, 아티팩트들 중 하나 이상을 포함할 수 있다. 실시예에 따르면, 제2 3D 얼굴 메시(508A)는 추가로 정제될 수 있다. 회로부(202)는 제2 3D 얼굴 메시(508A)에 대한 (506에서 설명된 바와 같은) 모델 클린업 동작 세트의 적용에 기초하여 생성된 제2 3D 얼굴 메시(508A)를 정제할 수 있다.

510에서, 정제된 제1 3D 얼굴 메시(506A)와 생성된 제2 3D 얼굴 메시(508A) 사이의 아핀 변환이 추정될 수 있다. 회로부(202)는 정제된 제1 3D 얼굴 메시(506A)와 생성된 제2 3D 얼굴 메시(508A) 사이의 아핀 변환을 추정하도록 구성될 수 있다. 실시예에 따르면, 아핀 변환은 코딩된 타겟 세트(314)에 기초하여 추정될 수 있다. 제한이 아닌 예로서, 회로부(202)는 수신된 제1 이미지 세트(402)에서 코딩된 타겟 세트(314)의 제1 위치들을 결정하도록 구성될 수 있다. 회로부(202)는 수신된 제2 이미지 세트(404)에서 얼굴(312) 상의 코딩된 타겟 세트(314)의 제2 위치들을 추가로 결정할 수 있다. 결정된 제1 위치들과 결정된 제2 위치들의 비교에 기초하여 아핀 변환이 추정될 수 있다.

정제된 제1 3D 얼굴 메시(506A) 및 제2 3D 얼굴 메시 모두 초기에는 리지드 정렬되지 않을 수 있으므로, 정제된 제1 3D 얼굴 메시(506A) 및 제2 3D 얼굴 메시(508A)의 대응하는 노드들 사이의 차이는 논-제로일 수 있다. 차이는, 예를 들어, L1 또는 L2 놈(norm)을 사용하여 계산될 수 있다. 도시된 바와 같이, 예를 들어, 히트맵(heatmap)(510A)은 정제된 제1 3D 얼굴 메시(506A)와 생성된 제2 3D 얼굴 메시(508A) 사이의 노드별(node-wise) 차이를 나타낸다. 히트맵(510A)의 왼쪽 절반에 있는 포인트들은 히트맵(510A)의 오른쪽 절반에 있는 포인트들과 비교할 때 두 메시의 대응하는 노드들 사이에서 더 높은 차이를 나타낸다.

512에서, 추정된 아핀 변환이 정제된 제1 3D 얼굴 메시(506A)에 적용될 수 있다. 실시예에 따르면, 회로부(202)는 3D 얼굴 메시(512A)를 생성하기 위해 정제된 제1 3D 얼굴 메시(506A)에 추정된 아핀 변환을 적용하도록 구성될 수 있다. 생성된 3D 얼굴 메시(512A)는 생성된 제2 3D 얼굴 메시(508A)와 리지드 정렬될 수 있다.

아핀 변환은 회전 및 병진 값들의 매트릭스(또는 매트릭스들)를 포함할 수 있다. 정제된 제1 3D 얼굴 메시(506A)의 상대 포지션 및 오리엔테이션은 제2 3D 얼굴 메시(508A)의 것과 매치되도록 매트릭스에 기초하여 업데이트될 수 있다. 도시된 바와 같이, 예를 들어, 히트맵(510B)은 3D 얼굴 메시(512A)와 생성된 제2 3D 얼굴 메시(508A) 사이의 노드별 차이를 나타낸다. 히트맵(510B)의 얼굴 영역 상의 모든 포인트들은 3D 얼굴 메시(512A) 및 생성된 제2 3D 얼굴 메시(508A)의 대응하는 노드들 사이의 차이가 거의-제로인 것을 나타낸다. 따라서, 히트맵(510B)은 3D 얼굴 메시(512A) 및 생성된 제2 3D 얼굴 메시(508A) 모두 리지드 정렬될 수 있음을 나타낸다.

514에서, 화이트-밸런싱된 이미지 세트를 생성하기 위해 제2 이미지 세트(404)에 화이트 밸런싱 동작이 적용될 수 있다. 조명 변동들로 인해, 얼굴(312)의 색상이 제2 이미지 세트(404)의 상이한 이미지들에서 약간 다를 수 있다. 화이트 밸런싱 동작은 제2 이미지 세트(404)의 모든 또는 일부 이미지들에서 얼굴(312)의 피부 색상을 보정하기 위해 적용될 수 있다. 실시예에 따르면, 회로부(202)는 화이트-밸런싱된 이미지 세트를 생성하기 위해 제2 이미지 세트(404)에 화이트 밸런싱 동작을 적용하도록 구성될 수 있다. 그 후, 회로부(202)는 화이트 밸런싱된 이미지 세트로부터 스펙큘러 정보를 제거함으로써 스펙큘러리스 이미지(specular-less image) 세트(이를테면, 제1 스펙큘러리스 이미지 세트(514A) 및 제2 스펙큘러리스 이미지(514B))를 획득할 수 있다. 스펙큘러 정보의 제거는 화이트-밸런싱된 이미지 세트의 사람(310)의 얼굴(312)로부터의 하이라이트들의 제거로 이어질 수 있다. 스펙큘러 정보는, 화이트-밸런싱된 이미지 세트의 각각의 이미지 내에서, 적-녹-청(red-green-blue)(RGB) 공간으로부터 SUV 색 공간으로의 색상 정보의 변환에 기초하여 제거될 수 있다. RGB 공간으로부터의 색상 정보는 RGB 공간의 RGB 좌표 벡터들의 회전에 의해 SUV 색상 공간으로 변환될 수 있다.

516에서, 생성된 3D 얼굴 메시(512A)에 기초하여 얼굴(312)의 UV 좌표 맵이 결정될 수 있다. 실시예에 따르면, 회로부(202)는 생성된 3D 얼굴 메시(512A)에 기초하여 얼굴(312)의 UV 좌표 맵을 결정하도록 구성될 수 있다. 얼굴(312)의 UV 좌표 맵은 2D UV 좌표 공간 상의 3D 얼굴 메시(512A)의 표현일 수 있다. 그 후, 회로부(202)는 스펙큘러리스 이미지 세트(이를테면, 제1 스펙큘러리스 이미지(514A) 및 제2 스펙큘러리스 이미지(514B))를 결정된 UV 좌표에 텍스처-매핑함으로써 얼굴(312)의 초기 텍스처 맵을 생성할 수 있다. 얼굴(312)의 초기 텍스처 맵은 스펙큘러리스 이미지 세트의 얼굴(312)의 피부 및/또는 다른 가시 부분들로부터의 텍스처 정보 및 색상 정보를 포함할 수 있다. 초기 텍스처 맵은 UV 좌표 공간에서 표현될 수 있으며, 여기서, "U" 및 "V"는 텍스처 값들의 2D 좌표들일 수 있다.

518에서, 피부-반사율 모델링 동작 세트가 실행될 수 있다. 생성된 3D 얼굴 메시(512A) 및 제2 이미지 세트(404)를 사용함으로써, 회로부(202)는, 본 명세서에 설명된 바와 같이, 피부-반사율 모델링 동작 세트를 실행할 수 있다. 이러한 동작들은 사람(310)의 얼굴(312)에 대한 텍스처 맵 세트를 추정하기 위해 실행될 수 있다. 실시예에 따르면, 피부-반사율 모델링 동작 세트는 확산 반사 모델링 동작, 스펙큘러 분리 동작, 및 스펙큘러 반사 모델링 동작을 포함할 수 있다. 확산 반사 모델링 동작은 확산 노멀 맵 및 확산 알베도 맵을 생성하기 위해 실행될 수 있다. 스펙큘러 분리 동작은 스펙큘러 반사 정보 분리 맵을 생성하기 위해 실행될 수 있다. 스펙큘러 반사 모델링 동작은 사람(310)의 얼굴(312)의 스펙큘러 알베도 맵, 스펙큘러 노멀 맵, 및 러프니스 맵을 생성하기 위해 실행될 수 있다.

520에서, 확산 반사 모델링 동작이 실행될 수 있다. 실시예에서, 회로부(202)는 제2 이미지 세트(404)에 대해 확산 반사 모델링 동작을 실행하도록 구성될 수 있다. 확산 반사 모델링 동작은, 얼굴(312)의 (516에서 획득된) 초기 텍스처 맵에 기초하여, 얼굴(312)의 확산 노멀 맵(520A)을 생성하기 위해 실행될 수 있다. 확산 반사 모델링 동작은 초기 텍스처 맵 및 생성된 확산 노멀 맵(520A)에 기초하여 얼굴(312)의 확산 알베도 맵(520B)을 생성하기 위해 추가로 실행될 수 있다. 확산 알베도 맵(520B)은 (예를 들어, 518에서) 추정된 텍스처 맵 세트의 제1 텍스처 맵으로서 지칭될 수 있다.

실시예에서, 확산 노멀 맵(520A) 및 확산 알베도 맵의 생성은 램버시안 광 모델에 기초할 수 있다. 램버시안 광 모델은 다음과 같이 수학식 (1)에 의해 표현될 수 있다:

여기서, n은 확산 노멀이고, ρ는 확산 알베도이고, L_I는 광의 방향이다. 광의 방향은 복수의 이미징 디바이스들(304) 각각의 사전 정의된 포지션 및 오리엔테이션으로부터 결정될 수 있다.

522에서, 스펙큘러 분리 동작이 실행될 수 있다. 실시예에 따르면, 회로부(202)는 제2 이미지 세트(404)로부터 스펙큘러 반사 정보를 분리하기 위해 스펙큘러 분리 동작을 실행하도록 구성될 수 있다. 스펙큘러 반사 정보는 생성된 확산 노멀 맵(520A) 및 생성된 확산 알베도 맵(520B)에 기초하여 분리될 수 있다. 분리된 스펙큘러 반사 정보를 포함하는 맵(522A)이 예로서 도시되어 있다.

524에서, 스펙큘러 반사 모델링 동작이 실행될 수 있다. 실시예에 따르면, 회로부(202)는 제2 이미지 세트(404)에 대해 스펙큘러 반사 모델링 동작을 실행하도록 구성될 수 있다. 스펙큘러 반사 모델링 동작은 얼굴(312)의 스펙큘러 노멀 맵(524A), 얼굴(312)의 스펙큘러 알베도 맵(524B), 및 얼굴(312)의 러프니스 맵(524C)을 생성하기 위해 실행될 수 있다. 스펙큘러 노멀 맵(524A), 스펙큘러 알베도 맵(524B), 및 러프니스 맵(524C)은 분리된 스펙큘러 반사 정보(및 제2 이미지 세트(404))에 기초하여 생성될 수 있다. 스펙큘러 노멀 맵(524A)은 제2 이미지 세트(404)에서 얼굴(312)의 광택(shine) 및 하이라이트 정보를 포함할 수 있다. 스펙큘러 알베도 맵(524B)은 얼굴(312)의 색상 정보를 포함할 수 있고, 사람(310)의 얼굴(312)의 하이라이트 정보 및 그림자 정보를 제외할 수 있다. 러프니스 맵(524C)은 사람(310)의 얼굴(312) 피부의 러프니스를 나타낼 수 있다. 러프니스 맵(524C)은 흑백 색상 텍스처 이미지로서 나타내어질 수 있다. 스펙큘러 노멀 맵(524A), 스펙큘러 알베도 맵(524B), 및 러프니스 맵(524C)은 (516에서 추정된) 텍스처 맵 세트의 제2 텍스처 맵들로서 지칭될 수 있다. 제1 텍스처 맵 및 제2 텍스처 맵들은 사람(310)의 얼굴(312)의 마이크로지오메트리 피부 세부사항들 및 피부 반사율 세부사항들을 포함할 수 있다.

실시예에서, 스펙큘러 노멀 맵(524A), 스펙큘러 알베도 맵(524B), 및 러프니스 맵(524C)의 생성은 블린-퐁 광 모델에 기초할 수 있다. 블린-퐁 광 모델은 다음과 같이 수학식 2에 의해 표현될 수 있다.

여기서, n은 스펙큘러 노멀이고, ρ는 스펙큘러 알베도이고, α는 표면 러프니스와 관련된다.

526에서, 생성된 3D 얼굴 메시(512A)가 텍스처화될 수 있다. 실시예에 따르면, 회로부(202)는 추정된 텍스처 맵 세트에 기초하여 생성된 3D 얼굴 메시(512A)를 텍스처화하도록 구성될 수 있다. 텍스처화는 추정된 텍스처 맵 세트의, 마이크로지오메트리 피부 세부사항들 및 피부 반사율 세부사항들을 포함하는, 텍스처 정보가 생성된 3D 얼굴 메시(512A)에 매핑되는 동작을 포함할 수 있다. 실시예에 따르면, 추정된 텍스처 맵 세트는 얼굴(312)의 확산 알베도 맵(520B), 얼굴(312)의 스펙큘러 노멀 맵(524A), 얼굴(312)의 스펙큘러 알베도 맵(524B), 및 얼굴(312)의 러프니스 맵(524C)을 포함할 수 있다. 마이크로지오메트리 피부 세부사항들은 모공들, 릿지들, 주근깨들, 및 주름들과 같은 다양한 피부 컴포넌트들에 대한 텍스처 정보를 포함할 수 있다. 유사하게, 피부 반사율 세부사항들은 확산 반사 컴포넌트, 스펙큘러 반사 컴포넌트, 알베도 컴포넌트, 및 러프니스 컴포넌트에 대한 정보를 포함할 수 있다. 텍스처화된 3D 얼굴 모델(526A)은 마이크로지오메트리 피부 세부사항들 및 피부 반사율 세부사항들을 모두 포함할 수 있다. 따라서, 텍스처화된 3D 얼굴 모델(526A)은 사람(310)의 얼굴(312)의 높은 충실도의 3D 모델로서 다뤄질 수 있다.

블록도(500)는 502, 504, 506, 508, 510, 512, 514, 516, 518, 520, 522, 524, 및 526과 같은 개별 동작들로서 예시되어 있지만, 본 개시내용은 이에 제한되지 않는다. 따라서, 특정 실시예들에서, 이러한 개별 동작들은 개시된 실시예들의 본질을 손상시키지 않고 특정 구현에 따라 추가 동작들로 추가로 분할되거나, 더 적은 동작들로 결합되거나, 또는 제거될 수 있다.

도 6은 본 개시내용의 실시예에 따른, 3D 마이크로지오메트리 및 반사율 모델링을 위한 예시적인 방법을 예시하는 흐름도이다. 도 6은 도 1, 도 2, 도 3, 도 4a, 도 4b, 도 5a, 도 5b, 도 5c, 및 도 5d로부터의 요소들과 관련하여 설명된다. 도 6을 참조하면, 흐름도(600)가 도시되어 있다. 흐름도(600)에 예시된 방법은 임의의 컴퓨텅 시스템에 의해, 이를테면, 시스템(102) 또는 회로부(202)에 의해 실행될 수 있다. 방법은 602에서 시작하여 604로 진행할 수 있다.

604에서, 얼굴(312)의 제1 이미지 세트(402) 및 얼굴(312)의 제2 이미지 세트(404)를 포함할 수 있는 복수의 이미지들(112)이 수신될 수 있다. 실시예에 따르면, 회로부(202)는 사람(310)의 얼굴(312)의 제1 이미지 세트(402) 및 얼굴(312)의 제2 이미지 세트(404)를 포함할 수 있는 복수의 이미지들(112)을 수신하도록 구성될 수 있다. 제1 이미지 세트(402)의 얼굴(312)은 전방향성 조명에 노출될 수 있고, 제2 이미지 세트(404)의 얼굴(312)은 방향성 조명에 노출될 수 있다. 복수의 이미지들(112)의 수신에 대한 세부사항들은, 예를 들어, 도 3에서 추가로 제공된다.

606에서, 수신된 복수의 이미지들(112)에 기초하여 3D 얼굴 메시(512A)가 생성될 수 있다. 실시예에 따르면, 회로부(202)는 수신된 복수의 이미지들(112)에 기초하여 3D 얼굴 메시(512A)를 생성하도록 구성될 수 있다. 3D 얼굴 메시(512A)의 생성에 대한 세부사항들은, 예를 들어, 도 5a에서 추가로 제공된다.

608에서, 생성된 3D 얼굴 메시(512A) 및 제2 이미지 세트(404)를 사용함으로써, 얼굴(312)에 대한 텍스처 맵 세트를 추정하기 위해 피부-반사율 모델링 동작 세트가 실행될 수 있다. 실시예에 따르면, 회로부(202)는, 생성된 3D 얼굴 메시(512A) 및 제2 이미지 세트(404)를 사용함으로써, 얼굴(312)에 대한 텍스처 맵 세트를 추정하기 위해 피부-반사율 모델링 동작 세트를 실행하도록 구성될 수 있다. 피부-반사율 모델링 동작 세트의 실행에 대한 세부사항들은, 예를 들어, 도 5c 및 도 5d에서 제공된다.

610에서, 생성된 3D 얼굴 메시(512A)가 추정된 텍스처 맵 세트에 기초하여 텍스처화될 수 있다. 실시예에 따르면, 회로부(202)는 추정된 텍스처 맵 세트에 기초하여 생성된 3D 얼굴 메시(512A)를 텍스처화하도록 구성될 수 있다. 텍스처화는 추정된 텍스처 맵 세트의, 마이크로지오메트리 피부 세부사항들 및 피부 반사율 세부사항들을 포함하는, 텍스처 정보가 생성된 3D 얼굴 메시(512A)에 매핑되는 동작을 포함할 수 있다. 3D 얼굴 메시(512A)의 텍스처화에 대한 세부사항들은, 예를 들어, 도 5d에서 추가로 제공된다. 제어는 종료될 수 있다.

흐름도(600)가 602, 604, 606, 608 및 610과 같은 개별 동작들로서 예시되어 있지만, 본 개시내용은 이에 제한되지 않는다. 따라서, 특정 실시예들에서, 이러한 개별 동작들은 개시된 실시예들의 본질을 손상시키지 않고 특정 구현에 따라 추가 동작들로 추가로 분할되거나, 더 적은 동작들로 결합되거나, 또는 제거될 수 있다.

본 개시내용의 다양한 실시예들은 시스템(이를테면, 시스템(102))을 동작시키기 위해 머신 및/또는 컴퓨터에 의해 실행가능한 명령어들이 저장된 비일시적 컴퓨터 판독가능 매체 및/또는 저장 매체를 제공할 수 있다. 명령어들은, 머신 및/또는 컴퓨터로 하여금, 얼굴(이를테면, 얼굴(110))의 제1 이미지 세트(이를테면, 제1 이미지 세트(114)) 및 얼굴(110)의 제2 이미지 세트(이를테면, 제2 이미지 세트(116))를 포함할 수 있는 복수의 이미지들(이를테면, 복수의 이미지들(112)을 수신하는 것을 포함할 수 있는 동작들을 수행하게 할 수 있다. 제1 이미지 세트(114)의 얼굴(110)은 전방향성 조명에 노출될 수 있고, 제2 이미지 세트(116)의 얼굴(110)은 방향성 조명에 노출될 수 있다. 동작들은 수신된 복수의 이미지들(112)에 기초하여 3차원(3D) 얼굴 메시(이를테면, 3D 얼굴 메시(118))를 생성하는 것을 더 포함할 수 있다. 동작들은, 생성된 3D 얼굴 메시(118) 및 제2 이미지 세트(116)를 사용함으로써, 얼굴(110)에 대한 텍스처 맵 세트를 추정하기 위해 피부-반사율 모델링 동작 세트를 실행하는 것을 더 포함할 수 있다. 동작들은 추정된 텍스처 맵 세트에 기초하여 생성된 3D 얼굴 메시(118)를 텍스처화하는 것을 더 포함할 수 있다. 텍스처화는 추정된 텍스처 맵 세트의, 마이크로지오메트리 피부 세부사항들 및 피부 반사율 세부사항들을 포함하는, 텍스처 정보가 생성된 3D 얼굴 메시(118)에 매핑되는 동작을 포함할 수 있다.

본 개시내용의 예시적인 양태들은 회로부(이를테면, 회로부(202))를 포함하는 시스템(이를테면, 도 1의 시스템(102))을 제공할 수 있다. 회로부(202)는 얼굴(이를테면, 얼굴(110))의 제1 이미지 세트(이를테면, 제1 이미지 세트(114)) 및 얼굴(110)의 제2 이미지 세트(이를테면, 제2 이미지 세트(116))를 포함할 수 있는 복수의 이미지들(이를테면, 복수의 이미지들(112))을 수신하도록 구성될 수 있다. 제1 이미지 세트(114)의 얼굴(110)은 전방향성 조명에 노출될 수 있고, 제2 이미지 세트(116)의 얼굴(110)은 방향성 조명에 노출될 수 있다. 회로부(202)는 수신된 복수의 이미지들(112)에 기초하여 3차원(3D) 얼굴 메시(이를테면, 3D 얼굴 메시(118))를 생성하도록 추가로 구성될 수 있다. 회로부(202)는, 생성된 3D 얼굴 메시(118) 및 제2 이미지 세트(116)를 사용함으로써, 얼굴(110)에 대한 텍스처 맵 세트를 추정하기 위해 피부-반사율 모델링 동작 세트를 실행하도록 추가로 구성될 수 있다. 회로부(202)는 추정된 텍스처 맵 세트에 기초하여 생성된 3D 얼굴 메시(118)를 텍스처화하도록 추가로 구성될 수 있다. 텍스처화는 추정된 텍스처 맵 세트의, 마이크로지오메트리 피부 세부사항들 및 피부 반사율 세부사항들을 포함하는, 텍스처 정보가 생성된 3D 얼굴 메시(118)에 매핑되는 동작을 포함할 수 있다.

실시예에 따르면, 시스템(102)은 3D 구조물(이를테면, 3D 구조물(302)) 상의 대응하는 제1 복수의 위치들에 배열된 복수의 이미징 디바이스들(이를테면, 복수의 이미징 디바이스들(304))을 더 포함할 수 있다. 회로부(202)는 대응하는 복수의 시점들로부터 복수의 이미지들(112)을 캡처하기 위해 복수의 이미징 디바이스들(304)을 제어하도록 추가로 구성될 수 있다.

실시예에 따르면, 시스템(102)은 3D 구조물(302) 상의 대응하는 제2 복수의 위치들에 배열된 플래시 유닛 세트(이를테면, 플래시 유닛 세트(306))를 더 포함할 수 있다. 회로부(202)는 복수의 이미징 디바이스들(304)이 제1 이미지 세트(402)를 캡처하는 동안 동시에 플래시 유닛 세트(306)를 활성화하도록 추가로 구성될 수 있다. 회로부(202)는 복수의 이미징 디바이스들(304)이 제2 이미지 세트(404)를 캡처하는 동안 순차적인 패턴으로 플래시 유닛 세트(306)를 활성화할 수 있다.

실시예에 따르면, 방향성 조명의 광 강도는 전방향성 조명의 광 강도보다 더 클 수 있다.

실시예에 따르면, 회로부(202)는, 수신된 제1 이미지 세트(402)에 기초하여, 제1 3D 얼굴 메시(이를테면, 제1 3D 얼굴 메시(504A))를 생성하도록 추가로 구성될 수 있다. 회로부(202)는 정제된 제1 3D 얼굴 메시(이를테면, 정제된 제1 3D 얼굴 메시(506A))를 획득하기 위해 생성된 제1 3D 얼굴 메시(504A)에 모델 클린업 동작 세트를 적용할 수 있다. 회로부(202)는 수신된 제2 이미지 세트(404)에 기초하여 제2 3D 얼굴 메시(이를테면, 제2 3D 얼굴 메시(508A))를 추가로 생성할 수 있다. 회로부(202)는 정제된 제1 3D 얼굴 메시(506A)와 생성된 제2 3D 얼굴 메시(508A) 사이의 아핀 변환을 추정할 수 있다. 회로부(202)는 3D 얼굴 메시(512A)를 생성하기 위해 정제된 제1 3D 얼굴 메시(506A)에 추정된 아핀 변환을 추가로 적용할 수 있다. 생성된 3D 얼굴 메시(512A)는 생성된 제2 3D 얼굴 메시(508A)와 리지드 정렬될 수 있다.

실시예에 따르면, 회로부(202)는 수신된 제1 이미지 세트(402)에서 얼굴(312) 상의 코딩된 타겟 세트(이를테면, 코딩된 타겟 세트(314))의 제1 위치들을 결정하도록 추가로 구성될 수 있다. 회로부(202)는 수신된 제2 이미지 세트(404)에서 얼굴(312) 상의 코딩된 타겟 세트(314)의 제2 위치들을 결정할 수 있다. 회로부(202)는 결정된 제1 위치들과 결정된 제2 위치들의 비교에 기초하여 아핀 변환을 추가로 추정할 수 있다.

실시예에 따르면, 회로부(202)는 화이트-밸런싱된 이미지 세트를 생성하기 위해 제2 이미지 세트(404)에 화이트 밸런싱 동작을 적용하도록 추가로 구성될 수 있다. 회로부(202)는 화이트-밸런싱된 이미지 세트로부터 스펙큘러 정보를 제거함으로써 스펙큘러리스 이미지 세트(이를테면, 제1 스펙큘러리스 이미지(514A) 및 제2 스펙큘러리스 이미지(514B))를 획득할 수 있다. 스펙큘러 정보는, 수신된 제2 이미지 세트(404)의 각각의 이미지 내에서, 적-녹-청(RGB) 공간으로부터 SUV 색상 공간으로의 색상 정보의 변환에 기초하여 제거될 수 있다.

실시예에 따르면, 회로부(202)는 생성된 3D 얼굴 메시(512A)에 기초하여 얼굴(312)의 UV 좌표 맵을 결정하도록 추가로 구성될 수 있다. 회로부(202)는 스펙큘러리스 이미지 세트를 결정된 UV 좌표 맵에 텍스처-매핑함으로써 얼굴(312)의 초기 텍스처 맵을 추가로 생성할 수 있다.

실시예에 따르면, 피부-반사율 모델링 동작 세트는 확산 반사 모델링 동작, 스펙큘러 분리 동작, 및 스펙큘러 반사 모델링 동작을 포함할 수 있다.

실시예에 따르면, 회로부(202)는 초기 텍스처 맵에 기초하여 얼굴(312)의 확산 노멀 맵(이를테면, 확산 노멀 맵(520A)을 생성하기 위해 확산 반사 모델링 동작을 실행하도록 추가로 구성될 수 있다. 회로부(202)는 초기 텍스처 맵 및 생성된 확산 노멀 맵(520A)에 기초하여 얼굴(312)의 확산 알베도 맵(이를테면, 확산 알베도 맵(520B)))을 추가로 생성할 수 있다. 확산 알베도 맵(520B)은 추정된 텍스처 맵 세트의 제1 텍스처 맵일 수 있다.

실시예에 따르면, 회로부(202)는, 생성된 확산 노멀 맵(520A) 및 생성된 확산 알베도 맵(520B)에 기초하여, 제2 이미지 세트(404)로부터 스펙큘러 반사 정보를 분리하기 위해 스펙큘러 분리 동작을 실행하도록 추가로 구성될 수 있다.

실시예에 따르면, 회로부(202)는, 분리된 스펙큘러 반사 정보에 기초하여, 얼굴(312)의 스펙큘러 알베도 맵(이를테면, 스펙큘러 알베도 맵(524B)), 얼굴(312)의 스펙큘러 노멀 맵(이를테면, 스펙큘러 노멀 맵(524A)), 및 얼굴(312)의 러프니스 맵(이를테면, 러프니스 맵(524C))을 생성하기 위해 스펙큘러 반사 모델링 동작을 실행하도록 추가로 구성될 수 있다. 스펙큘러 알베도 맵(524B), 스펙큘러 노멀 맵(524A), 및 러프니스 맵(524C)은 추정된 텍스처 맵 세트의 제2 텍스처 맵들일 수 있다.

실시예에 따르면, 추정된 텍스처 맵 세트는 얼굴(312)의 확산 알베도 맵(520B), 얼굴(312)의 스펙큘러 알베도 맵(524B), 얼굴(312)의 스펙큘러 노멀 맵(524A), 및 얼굴(312)의 러프니스 맵(524C)을 포함할 수 있다.

본 개시내용은 하드웨어 또는 하드웨어와 소프트웨어의 조합으로 실현될 수 있다. 본 개시내용은 중앙 집중식 방식으로, 적어도 하나의 컴퓨터 시스템에서, 또는 분산 방식으로 실현될 수 있으며, 여기서, 상이한 요소들은 여러 상호연결된 컴퓨터 시스템들에 걸쳐 분산될 수 있다. 본 명세서에 설명된 방법들을 수행하도록 적응되는 컴퓨터 시스템 또는 다른 장치가 적합할 수 있다. 하드웨어와 소프트웨어의 조합은, 로드되고 실행될 때, 본 명세서에서 설명된 방법들을 수행하도록 컴퓨터 시스템을 제어할 수 있는 컴퓨터 프로그램이 있는 범용 컴퓨터 시스템일 수 있다. 본 개시내용은 다른 기능들도 수행하는 집적 회로의 일부를 포함하는 하드웨어로 실현될 수 있다.

본 개시내용은 또한, 본 명세서에 설명된 방법들의 구현을 가능하게 하는 모든 피처들을 포함하고, 컴퓨터 시스템에서 로드될 때 이들 방법들을 수행할 수 있는 컴퓨터 프로그램 제품으로 구현될 수 있다. 본 컨텍스트에서, 컴퓨터 프로그램은, 정보 처리 능력을 갖는 시스템으로 하여금, 특정 기능을 직접적으로, 또는 다음 중 어느 하나 또는 둘 다 후에 수행하게 하도록 의도되는 명령어 세트의, 임의의 언어, 코드 또는 표기법의, 임의의 표현을 의미한다: a) 다른 언어, 코드 또는 표기법으로의 변환; b) 상이한 머터리얼 폼으로의 재생산.

본 개시내용은 특정 실시예들을 참조하여 설명되지만, 본 개시내용의 범위를 벗어나지 않고 다양한 변경들이 이루어질 수 있고 등가물들이 대체될 수 있음이 본 기술분야의 통상의 기술자에 의해 이해될 것이다. 또한, 그 범위를 벗어나지 않고 본 개시내용의 교시들에 특정 상황 또는 머터리얼을 적응시키기 위해 많은 수정들이 이루어질 수 있다. 따라서, 본 개시내용은 개시된 특정 실시예에 제한되지 않으며, 본 개시내용은 첨부된 청구 범위의 범위 내에 있는 모든 실시예들을 포함할 것으로 의도된다.

Claims

시스템으로서,
회로부(circuitry)
를 포함하고, 상기 회로부는:
얼굴의 제1 이미지 세트 및 상기 얼굴의 제2 이미지 세트를 포함하는 복수의 이미지들을 수신하고 - 상기 제1 이미지 세트의 얼굴은 전방향성 조명(omni-directional lighting)에 노출되고, 상기 제2 이미지 세트의 얼굴은 방향성 조명(directional lighting)에 노출됨 -;
상기 수신된 복수의 이미지들에 기초하여 3차원(3D) 얼굴 메시를 생성하고;
상기 생성된 3D 얼굴 메시 및 상기 제2 이미지 세트를 사용함으로써, 상기 얼굴에 대한 텍스처 맵 세트를 추정하기 위해 피부-반사율 모델링 동작(skin-reflectance modeling operation) 세트를 실행하고;
상기 추정된 텍스처 맵 세트에 기초하여 상기 생성된 3D 얼굴 메시를 텍스처화하도록 - 상기 텍스처화는 상기 추정된 텍스처 맵 세트의, 마이크로지오메트리 피부 세부사항(microgeometry skin detail)들 및 피부 반사율 세부사항(skin reflectance detail)들을 포함하는, 텍스처 정보가 상기 생성된 3D 얼굴 메시에 매핑되는 동작을 포함함 -
구성되는, 시스템.
제1항에 있어서, 3D 구조물 상의 대응하는 제1 복수의 위치들에 배열된 복수의 이미징 디바이스들을 더 포함하고, 상기 회로부는 대응하는 복수의 시점(viewpoint)들로부터 상기 복수의 이미지들을 캡처하기 위해 상기 복수의 이미징 디바이스들을 제어하도록 추가로 구성되는, 시스템.
제2항에 있어서, 상기 3D 구조물 상의 대응하는 제2 복수의 위치들에 배열된 플래시 유닛 세트를 더 포함하고, 상기 회로부는:
상기 복수의 이미징 디바이스들이 상기 제1 이미지 세트를 캡처하는 동안 동시에 상기 플래시 유닛 세트를 활성화하고;
상기 복수의 이미징 디바이스들이 상기 제2 이미지 세트를 캡처하는 동안 순차적인 패턴으로 상기 플래시 유닛 세트를 활성화하도록
추가로 구성되는, 시스템.
제1항에 있어서, 상기 방향성 조명의 광 강도(light intensity)는 상기 전방향성 조명의 광 강도보다 더 큰, 시스템.
제1항에 있어서, 상기 회로부는:
상기 수신된 제1 이미지 세트에 기초하여, 제1 3D 얼굴 메시를 생성하고;
정제된(refined) 제1 3D 얼굴 메시를 획득하기 위해 상기 생성된 제1 3D 얼굴 메시에 모델 클린업 동작(model clean-up operation) 세트를 적용하고;
상기 수신된 제2 이미지 세트에 기초하여 제2 3D 얼굴 메시를 생성하고;
상기 정제된 제1 3D 얼굴 메시와 상기 생성된 제2 3D 얼굴 메시 사이의 아핀 변환(affine transformation)을 추정하고;
상기 3D 얼굴 메시를 생성하기 위해 상기 정제된 제1 3D 얼굴 메시에 상기 추정된 아핀 변환을 적용하도록
추가로 구성되고, 상기 생성된 3D 얼굴 메시는 상기 생성된 제2 3D 얼굴 메시와 리지드 정렬되는(rigid aligned), 시스템.
제5항에 있어서, 상기 회로부는:
상기 수신된 제1 이미지 세트에서 상기 얼굴 상의 코딩된 타겟 세트의 제1 위치들을 결정하고;
상기 수신된 제2 이미지 세트에서 상기 얼굴 상의 코딩된 타겟 세트의 제2 위치들을 결정하고;
상기 결정된 제1 위치들과 상기 결정된 제2 위치들의 비교에 기초하여 아핀 변환을 추정하도록
추가로 구성되는, 시스템.
제1항에 있어서, 상기 회로부는:
화이트-밸런싱된 이미지 세트를 생성하기 위해 상기 제2 이미지 세트에 화이트 밸런싱 동작을 적용하고;
상기 화이트-밸런싱된 이미지 세트로부터 스펙큘러 정보(specular information)를 제거함으로써 스펙큘러리스 이미지(specular-less image) 세트를 획득하도록
추가로 구성되고,
상기 스펙큘러 정보는, 상기 수신된 제2 이미지 세트의 각각의 이미지 내에서, 적-녹-청(red-green-blue)(RGB) 공간으로부터 SUV 색상 공간으로의 색상 정보의 변환에 기초하여 제거되는, 시스템.
제7항에 있어서, 상기 회로부는:
상기 생성된 3D 얼굴 메시에 기초하여 상기 얼굴의 UV 좌표 맵을 결정하고;
상기 스펙큘러리스 이미지 세트를 상기 결정된 UV 좌표 맵에 텍스처-매핑함으로써 상기 얼굴의 초기 텍스처 맵을 생성하도록
추가로 구성되는, 시스템.
제8항에 있어서, 상기 피부-반사율 모델링 동작 세트는 확산 반사 모델링 동작(diffused reflection modeling operation), 스펙큘러 분리 동작(specular separation operation), 및 스펙큘러 반사 모델링 동작(specular reflection modeling operation)을 포함하는, 시스템.
제9항에 있어서, 상기 회로부는:
상기 초기 텍스처 맵에 기초하여 상기 얼굴의 확산 노멀 맵(diffuse normal map)을 생성하고;
상기 초기 텍스처 맵 및 상기 생성된 확산 노멀 맵에 기초하여 상기 얼굴의 확산 알베도 맵(diffuse albedo map)을 생성하기 위해
상기 확산 반사 모델링 동작을 실행하도록 구성되고,
상기 확산 알베도 맵은 상기 추정된 텍스처 맵 세트의 제1 텍스처 맵인, 시스템.
제10항에 있어서, 상기 회로부는, 상기 생성된 확산 노멀 맵 및 상기 생성된 확산 알베도 맵에 기초하여, 상기 제2 이미지 세트로부터 스펙큘러 반사 정보를 분리하기 위해 상기 스펙큘러 분리 동작을 실행하도록 구성되는, 시스템.
제11항에 있어서, 상기 회로부는, 상기 분리된 스펙큘러 반사 정보에 기초하여, 상기 얼굴의 스펙큘러 알베도 맵, 상기 얼굴의 스펙큘러 노멀 맵, 및 상기 얼굴의 러프니스 맵(roughness map)을 생성하기 위해 상기 스펙큘러 반사 모델링 동작을 실행하도록 구성되고,
상기 스펙큘러 알베도 맵, 상기 스펙큘러 노멀 맵, 및 상기 러프니스 맵은 상기 추정된 텍스처 맵 세트의 제2 텍스처 맵들인, 시스템.
제1항에 있어서, 상기 추정된 텍스처 맵 세트는 상기 얼굴의 확산 알베도 맵, 상기 얼굴의 스펙큘러 알베도 맵, 상기 얼굴의 스펙큘러 노멀 맵, 및 상기 얼굴의 러프니스 맵을 포함하는, 시스템.
방법으로서,
얼굴의 제1 이미지 세트 및 상기 얼굴의 제2 이미지 세트를 포함하는 복수의 이미지들을 수신하는 단계 - 상기 제1 이미지 세트의 얼굴은 전방향성 조명에 노출되고, 상기 제2 이미지 세트의 얼굴은 방향성 조명에 노출됨 -;
상기 수신된 복수의 이미지들에 기초하여 3차원(3D) 얼굴 메시를 생성하는 단계;
상기 생성된 3D 얼굴 메시 및 상기 제2 이미지 세트를 사용함으로써, 상기 얼굴에 대한 텍스처 맵 세트를 추정하기 위해 피부-반사율 모델링 동작 세트를 실행하는 단계;
상기 추정된 텍스처 맵 세트에 기초하여 상기 생성된 3D 얼굴 메시를 텍스처화하는 단계 - 상기 텍스처화는 상기 추정된 텍스처 맵 세트의, 마이크로지오메트리 피부 세부사항들 및 피부 반사율 세부사항들을 포함하는, 텍스처 정보가 상기 생성된 3D 얼굴 메시에 매핑되는 동작을 포함함 -
를 포함하는, 방법.
제14항에 있어서, 대응하는 복수의 시점들로부터 상기 복수의 이미지들을 캡처하기 위해, 3D 구조물 상의 대응하는 제1 복수의 위치들에 배열된 복수의 이미징 디바이스들을 제어하는 단계를 더 포함하는, 방법.
제15항에 있어서,
상기 복수의 이미징 디바이스들이 상기 제1 이미지 세트를 캡처하는 동안 동시에, 상기 3D 구조물 상의 대응하는 제2 복수의 위치들에 배열된 플래시 유닛 세트를 활성화하는 단계; 및
상기 복수의 이미징 디바이스들이 상기 제2 이미지 세트를 캡처하는 동안 순차적인 패턴으로 상기 플래시 유닛 세트를 활성화하는 단계
를 더 포함하는, 방법.
제14항에 있어서,
상기 수신된 제1 이미지 세트에 기초하여, 제1 3D 얼굴 메시를 생성하는 단계;
정제된 제1 3D 얼굴 메시를 획득하기 위해 상기 생성된 제1 3D 얼굴 메시에 모델 클린업 동작 세트를 적용하는 단계;
상기 수신된 제2 이미지 세트에 기초하여 제2 3D 얼굴 메시를 생성하는 단계;
상기 정제된 제1 3D 얼굴 메시와 상기 생성된 제2 3D 얼굴 메시 사이의 아핀 변환을 추정하는 단계; 및
상기 3D 얼굴 메시를 생성하기 위해 상기 정제된 제1 3D 얼굴 메시에 상기 추정된 아핀 변환을 적용하는 단계
를 더 포함하고,
상기 생성된 3D 얼굴 메시는 상기 생성된 제2 3D 얼굴 메시와 리지드 정렬되는, 방법.
제17항에 있어서,
상기 수신된 제1 이미지 세트에서 상기 얼굴 상의 코딩된 타겟 세트의 제1 위치들을 결정하는 단계;
상기 수신된 제2 이미지 세트에서 상기 얼굴 상의 코딩된 타겟 세트의 제2 위치들을 결정하는 단계; 및
상기 결정된 제1 위치들과 상기 결정된 제2 위치들의 비교에 기초하여 아핀 변환을 추정하는 단계
를 더 포함하는, 방법.
제14항에 있어서, 상기 추정된 텍스처 맵 세트는 상기 얼굴의 확산 알베도 맵, 상기 얼굴의 스펙큘러 알베도 맵, 상기 얼굴의 스펙큘러 노멀 맵, 및 상기 얼굴의 러프니스 맵을 포함하는, 방법.
컴퓨터 실행가능 명령어들을 저장한 비일시적 컴퓨터 판독가능 매체로서,
상기 컴퓨터 실행가능 명령어들은 시스템에 의해 실행될 때, 상기 시스템으로 하여금 동작들을 실행하게 하고, 상기 동작들은:
얼굴의 제1 이미지 세트 및 상기 얼굴의 제2 이미지 세트를 포함하는 복수의 이미지들을 수신하는 동작 - 상기 제1 이미지 세트의 얼굴은 전방향성 조명에 노출되고, 상기 제2 이미지 세트의 얼굴은 방향성 조명에 노출됨 -;
상기 수신된 복수의 이미지들에 기초하여 3차원(3D) 얼굴 메시를 생성하는 동작;
상기 생성된 3D 얼굴 메시 및 상기 제2 이미지 세트를 사용함으로써, 상기 얼굴에 대한 텍스처 맵 세트를 추정하기 위해 피부-반사율 모델링 동작 세트를 실행하는 동작; 및
상기 추정된 텍스처 맵 세트에 기초하여 상기 생성된 3D 얼굴 메시를 텍스처화하는 동작 - 상기 텍스처화는 상기 추정된 텍스처 맵 세트의, 마이크로지오메트리 피부 세부사항들 및 피부 반사율 세부사항들을 포함하는, 텍스처 정보가 상기 생성된 3D 얼굴 메시에 매핑되는 동작을 포함함 -
을 포함하는, 비일시적 컴퓨터 판독가능 매체.