KR20220024725A

KR20220024725A - 백 플레이트들의 렌더링

Info

Publication number: KR20220024725A
Application number: KR1020227001871A
Authority: KR
Inventors: 펠릭스 사우어만; 조니 패터슨
Original assignee: 소니그룹주식회사; 소니 픽쳐스 엔터테인먼트, 인크.
Priority date: 2019-12-13
Filing date: 2020-12-10
Publication date: 2022-03-03
Also published as: JP2022554415A; EP4055566A1; EP4055566A4; CN114072848A; CA3145699A1; US20210183138A1; WO2021119272A1

Abstract

비디오 렌더링은, 다중 프레임들을 갖는 샷을 형성하는 비디오 시퀀스 동안 적어도 하나의 카메라의 공간 좌표들을 추적하는 것 - 적어도 하나의 카메라 각각이 렌즈를 가짐 -; 샷 동안 적어도 하나의 카메라의 렌즈에 대응하는 렌즈 데이터를 저장하는 렌즈 프로파일을 생성하는 것; 렌즈 데이터를 인코딩하는 것; 렌즈 데이터를 렌더 엔진으로 전송하는 것; 샷 동안 적어도 하나의 카메라의 이동을 리트레이싱하는 것; 샷 동안 렌즈 및 렌즈의 하나 이상의 특성을 재현하는 것; 및 리트레이싱된 카메라 이동 및 재현된 렌즈 특성들을 사용하여 가상 환경에서 샷을 복제하는 것을 포함한다.

Description

백 플레이트들의 렌더링

본 개시는 비디오를 렌더링하는 것에 관한 것으로, 더 구체적으로는 백 플레이트들을 렌더링하는 것에 관한 것이다.

비디오 제작을 위한 종래 시스템에서, 배경 "플레이트들"(때로는 "백 플레이트들"로 지칭됨)을 렌더링하는 것은 피사체 없이 배경 장면들을 촬영하는 것을 포함한다. 그러나, 백 플레이트들의 사용은, 프로세스들이 많은 수작업을 수반하며 따라서 비용이 높고 번거롭다는 단점이 있다.

본 개시는 비디오 데이터의 프로세싱 및 렌더링을 제공한다.

일 구현예에서, 비디오 렌더링을 위한 방법이 개시된다. 본 방법은 다중 프레임들을 갖는 샷을 형성하는 비디오 시퀀스 동안 적어도 하나의 카메라의 공간 좌표들을 추적하는 단계 - 적어도 하나의 카메라 각각이 렌즈를 가짐 -; 샷 동안 적어도 하나의 카메라의 렌즈에 대응하는 렌즈 데이터를 저장하는 렌즈 프로파일을 생성하는 단계; 렌즈 데이터를 인코딩하는 단계; 렌즈 데이터를 렌더 엔진으로 전송하는 단계; 샷 동안 적어도 하나의 카메라의 이동을 리트레이싱하는 단계; 샷 동안 렌즈 및 렌즈의 하나 이상의 특성을 재현하는 단계; 및 리트레이싱된 카메라 이동 및 재현된 렌즈 특성들을 사용하여 가상 환경에서 샷을 복제하는 단계를 포함한다.

일 구현예에서, 적어도 하나의 카메라 각각의 공간 좌표들은 각각의 카메라의 포지션을 포함한다. 일 구현예에서, 적어도 하나의 카메라 각각의 공간 좌표들은 각각의 카메라의 배향을 포함한다. 일 구현예에서, 각각의 카메라의 배향은 각각의 카메라의 로컬 회전을 추적하는데 사용된 피치, 요, 롤 축들을 포함한다. 일 구현예에서, 렌즈 프로파일은 이후 이미지 평면 상으로 투영되는, 렌즈 내에서 모든 광 빔들이 교차 및 크로스하는 지점인 절점(nodal point)을 포함한다. 일 구현예에서, 렌즈 프로파일은 이미지 평면에서 절점까지의 거리(image plane distance to the nodal point); 각각의 카메라의 초점 길이; 렌즈 왜곡 프로파일; 이미지 중심 시프트; 렌즈 어퍼처; 및 초점 거리 중 적어도 하나를 포함한다. 일 구현예에서, 방법은 렌즈 데이터를 샷의 각자의 프레임들에 동기화하는 단계를 추가로 포함한다. 일 구현예에서, 샷을 복제하는 단계는 렌즈 및 렌즈 특성들을 프레임별로 모방하여, 샷을 가상으로 복제하는 단계를 포함한다.

다른 구현예에서, 비디오 렌더링을 위한 시스템이 개시된다. 본 시스템은 배경 장면의 이미지들을 캡처하는 적어도 하나의 카메라 - 적어도 하나의 카메라는 캡처된 이미지들을 카메라 데이터로서 출력하고, 적어도 하나의 카메라 각각이 렌즈를 가짐 -; 다중 프레임들을 갖는 샷을 형성하는 비디오 시퀀스 동안 적어도 하나의 카메라의 공간 좌표들을 추적하는 적어도 하나의 센서 - 적어도 하나의 추적기가 추적된 공간 좌표들을 센서 데이터로서 출력함 -; 및 적어도 하나의 카메라 및 적어도 하나의 센서에 커플링된 프로세서 - 프로세서는 샷 동안 적어도 하나의 카메라의 렌즈에 대응하는 렌즈 데이터를 저장하는 렌즈 프로파일을 생성함 - 를 포함하고, 프로세서는 샷을 복제하기 위해 카메라 데이터, 센서 데이터, 및 렌즈 데이터를 프로세싱한다.

일 구현예에서, 렌즈 데이터는 샷의 각자의 프레임들에 동기화된다. 일 구현예에서, 렌즈 데이터는 타임 코드에 동기화된다. 일 구현예에서, 시스템은 복제된 샷을 렌더링하는 렌더러를 추가로 포함한다. 일 구현예에서, 프로세서는 렌즈 데이터를 인코딩하고, 샷 동안 적어도 하나의 카메라의 이동을 리트레이싱하고, 렌즈 및 렌즈의 하나 이상의 특성을 재현하며, 가상 환경에서 샷을 복제한다. 일 구현예에서, 시스템은 적어도 하나의 카메라의 이동들을 리트레이싱하고 렌즈 및 그의 특성들을 프레임별로 모방하여, 샷을 가상으로 복제하는, 렌더 엔진을 추가로 포함한다.

다른 구현예에서, 비디오를 렌더링하기 위한 컴퓨터 프로그램을 저장하는 비일시적 컴퓨터 판독가능 저장 매체가 개시된다. 컴퓨터 프로그램은 컴퓨터로 하여금, 다중 프레임들을 갖는 샷을 형성하는 비디오 시퀀스 동안 적어도 하나의 카메라의 공간 좌표들을 추적하게 하고 - 적어도 하나의 카메라 각각이 렌즈를 가짐 -; 샷 동안 적어도 하나의 카메라의 렌즈에 대응하는 렌즈 데이터를 저장하는 렌즈 프로파일을 생성하게 하고; 렌즈 데이터를 인코딩하게 하고; 렌즈 데이터를 렌더 엔진으로 전송하게 하고; 샷 동안 적어도 하나의 카메라의 이동을 리트레이싱하게 하고; 샷 동안 렌즈 및 렌즈의 하나 이상의 특성을 재현하게 하며; 리트레이싱된 카메라 이동 및 재현된 렌즈 특성들을 사용하여 가상 환경에서 샷을 복제하게 하는, 실행가능 명령어들을 포함한다.

일 구현예에서, 적어도 하나의 카메라 각각의 공간 좌표들은 각각의 카메라의 포지션을 포함한다. 일 구현예에서, 렌즈 프로파일은, 이후 이미지 평면 상으로 투영되는, 렌즈 내에서 모든 광 빔들이 교차 및 크로스하는 지점인 절점(광축 상에 위치됨)을 포함한다. 일 구현예에서, 렌즈 프로파일은, 이미지 평면에서 절점까지의 거리; 각각의 카메라의 초점 길이; 렌즈 왜곡 프로파일; 이미지 중심 시프트; 렌즈 어퍼처; 및 초점 거리 중 적어도 하나를 포함한다. 일 구현예에서, 컴퓨터 프로그램은, 컴퓨터로 하여금 렌즈 데이터를 샷의 각자의 프레임들에 동기화하게 하는 실행가능 명령어들을 추가로 포함한다. 일 구현예에서, 컴퓨터로 하여금 샷을 복제하게 하는 실행가능 명령어들은, 컴퓨터로 하여금 렌즈 및 렌즈 특성들을 프레임별로 모방하여 샷을 가상으로 복제하게 하는 실행가능 명령어들을 포함한다.

다른 특징들 및 이점들은 본 개시의 양태들을 예시로서 설명하는 본 설명으로부터 명백해야 한다.

구조 및 동작 둘 모두에 관한 본 개시의 상세들은 첨부된 도면들의 연구에 의해 부분적으로 수집될 수도 있으며, 여기서 유사한 참조 번호들은 유사한 부분들을 지칭한다.
도 1은 본 개시의 일 구현예에 따른 비디오 렌더링을 위한 방법의 흐름도이다.
도 2a는 본 개시의 일 구현예에 따른 비디오 렌더링 시스템의 블록도이다.
도 2b는 본 개시의 다른 구현예에 따른 비디오 렌더링 시스템의 블록도이다.
도 3a는 본 개시의 구현예에 따른 컴퓨터 시스템 및 사용자의 표현이다.
도 3b는 본 개시의 구현예에 따른 비디오 렌더링 애플리케이션을 호스팅하는 컴퓨터 시스템을 도시하는 기능 블록도이다.

전술된 바와 같이, 비디오 제작들에서 배경을 렌더링하는데 있어서 백 플레이트들의 사용은 프로세스가 많은 수작업을 수반한다는 단점이 있다. 따라서, 프로세스는 비용이 높고 번거로울 수 있다.

본 개시의 소정의 구현예들은 비디오 데이터를 프로세싱하고 렌더링하기 위한 기법을 구현하기 위한 방법들 및 시스템들을 제공한다. 일 구현예에서, 비디오 시스템은 영화, TV 및 광고에서 사용될 시각적 효과들(VFX)을 위한 정확한, 고-충실도 백 플레이트들을 렌더링한다. 이 방법은 8K 해상도 이상의 애셋(asset)들, 또는 임의의 다른 애셋으로부터 도출할 수 있어서, 전달을 위한 해상도를 사용자가 자유롭게 정의할 수 있도록 한다.

하기의 설명들을 읽은 후, 다양한 구현예들 및 애플리케이션들에서 개시를 구현하는 방법이 명백해질 것이다. 본 명세서에서는 본 개시의 다양한 구현예들이 설명될 것이지만, 이러한 구현예들은 단지 예시로서만 제시되며 제한되지 않는다는 것이 이해된다. 이와 같이, 다양한 구현예들의 상세한 설명은 본 개시의 범주 또는 폭넓음을 제한하는 것으로 해석되지 않아야 한다.

하기 구현예들에서 제공된 특징들은 다음의 항목들 중 하나 이상을 포함할 수 있지만 이에 제한되지 않는다. 예를 들어, 일 구현예에서, 카메라 텔레메트리는 렌즈 왜곡, 이미저 치수들, 렌즈의 절점, 초점 길이, 초점 거리 및 어퍼처와 함께, 비디오 제작 동안 기록된다. 또한 각각의 테이크에 대한(또는 기록의 지속기간 동안)타임코드 및/또는 프레임 수가 기록된다. 다른 구현예에서, 기록된 데이터는 툴 또는 스크립트의 사용에 의해 애셋(즉, 플레이트들에 대한 배경 애셋)을 포함하는 렌더 엔진으로 피드된다. 그 후 개별 프레임들은 원하는 이미지 품질로 렌더링된다. 개별 프레임들을 비디오 파일로 결합하는 것이 또한 가능하다.

도 1은 본 개시의 일 구현예에 따른 비디오 렌더링을 위한 방법(100)의 흐름도이다. 도 1의 도시된 구현예에서, 카메라의 공간 좌표들은, 단계(110)에서, 다중 프레임들을 갖는 샷을 형성하는 비디오 시퀀스 동안 추적된다. 일 구현예에서, 카메라의 공간 좌표들은 카메라의 포지션을 포함한다. 다른 구현예에서, 카메라의 공간 좌표들은 카메라의 배향을 포함한다.

동작의 일례에서, 메인 캡처 카메라 포지션은 환경 내에서 실시간으로 추적된다. 일 구현예에서, 6-자유도 추적 시스템이 사용된다. 예를 들어, X, Y, Z 좌표들은 가상 카메라의 원점으로부터 병진을 추적하기 위해 사용되며 피치, 요, 롤 축들은 카메라의 로컬 회전을 추적하는데 사용된다. 일 구현예에서, 가상 카메라의 원점(또는 0,0,0)은 물리적 렌즈의 절점이다.

일 구현예에서, 카메라는 렌즈를 포함한다. 단계(120)에서, 샷 동안 카메라의 렌즈에 대응하는 렌즈 데이터를 저장하는 렌즈 프로파일이 생성된다. 일 구현예에서, 렌즈 프로파일은 다음의 파라미터들을 포함한다: (1)활성 센서 치수들/필름 평면/이미저의 측정; (2)절점까지의 이미지 평면 거리; (3)줌 및 렌즈 브리딩(breathing)을 고려한 카메라의 초점 길이; (4)렌즈 왜곡 프로파일; (5)이미지 중심 시프트; (6)렌즈 어퍼처; (7)초점 거리; 및 (8)렌즈의 비네팅(vignetting) 또는 음영.

일 구현예에서, 렌즈 데이터는 샷의 각자의 프레임들에 동기화된다. 렌즈 데이터는 단계(130)에서 인코딩되고, 단계(140)에서 렌더 엔진으로 전송된다. 일 구현예에서, 렌즈 데이터는 (언리얼 엔진(Unreal Engine) 4 또는 유니티(Unity)와 같은)툴, 스크립트 또는 플러그인을 사용하여 렌더 엔진으로 피드백된다. 그 후 단계(150)에서, 샷 동안 카메라의 이동이 리트레이싱된다. 단계(160)에서, 렌즈 및 렌즈의 하나 이상의 특성이 샷 동안 재현되며, 단계(170)에서, 리트레이싱된 카메라 이동 및 리트레이싱된 렌즈 특성들을 사용하여 가상 환경에서 샷이 복제된다.

일 구현예에서, 렌더 엔진은 메인 캡처 카메라의 이동을 리트레이싱하고, 렌즈 및 그의 특성들을 프레임별로 모방하여, 샷을 가상으로 복제한다. 이는 조작자가 모든 이미지 렌더 품질 설정들을 최대한 활용하면서 플레이트에 대한 해상도를 자유롭게 정의할 수 있도록 한다. 이는 또한, 애셋의 품질에 의존하여, 디지털 이미지에 노이즈가 없거나 노이즈가 거의 없음을 의미한다. 이는 애셋의 해상도 품질 및 캡처 방법에 의존한다. 고품질 애셋들로, 8K 해상도 이상의 백 플레이트들을 추출하는 것이 가능하다.

도 2a는 본 개시의 일 구현예에 따른 비디오 렌더링 시스템(200)의 블록도이다. 도 2a의 도시된 구현예에서, 비디오 렌더링 시스템(200)은 비디오 제작 또는 스튜디오 환경에서 사용된다. 시스템(200)은 배경 장면(210)의 이미지 캡처를 위한 하나 이상의 카메라(220, 222), 카메라들의 공간 좌표들(예컨대, 포지션 및 배향)을 추적하는 하나 이상의 센서/추적기(230), 카메라 및 센서 데이터를 프로세싱하고 비디오의 프레임들을 렌더링하기 위한 렌더 엔진(242)을 제공하는 하나 이상의 프로세서(240), 및 렌더러(244)를 포함한다. 일 구현예에서, 시스템(200)은 8K 해상도 이상의 광 검출 및 레인징(light detection and ranging; LIDAR) 스캐닝된 애셋으로부터 소싱된 프레임들을 렌더링한다. 그러나, 애셋 품질이 최종 달성가능한 해상도를 제한할 수도 있더라도, 대체적으로 임의의 품질의 애셋들을 사용하는 것이 가능하다.

도 2a의 도시된 구현예에서, 추적기(230)는 다중 프레임들을 갖는 샷을 형성하는 비디오 시퀀스 동안 하나 이상의 카메라(220, 222)의 공간 좌표들을 추적한다. 일부 구현예들에서, 추적기(230)는 단일 카메라(220)의 공간 좌표들을 추적할 수도 있으며, 이 경우 카메라(222)의 추적은 선택적이다(점선). 일 구현예에서, 카메라의 공간 좌표들은 카메라의 포지션을 포함한다. 다른 구현예에서, 카메라의 공간 좌표들은 카메라의 배향을 포함한다.

동작의 일례에서, 카메라들(220, 222)의 포지션들은 환경 내에서 실시간으로 추적된다. 일 구현예에서, 6-자유도 추적 시스템이 사용된다. 예를 들어 X, Y, Z 좌표들은 가상 카메라의 원점으로부터 병진을 추적하기 위해 사용되며 피치, 요, 롤 축들은 카메라의 로컬 회전을 추적하는데 사용된다. 일 구현예에서, 가상 카메라의 원점(또는 0,0,0)은 물리적 렌즈의 절점이다.

도 2a의 도시된 구현예에서, 프로세서(240)는 카메라들(220, 222)에 커플링된다. 일 구현예에서, 프로세서(240)는 샷 동안 각각의 카메라(220 또는 222)의 렌즈에 대응하는 렌즈 데이터를 저장하는 렌즈 프로파일을 생성한다. 일 구현예에서, 렌즈 데이터는 샷의 각자의 프레임들에 동기화된다. 다른 구현예에서, 렌즈 데이터는 타임 코드에 동기화된다. 일 구현예에서, 프로세서(240)는 렌즈 데이터를 인코딩하고 인코딩된 렌즈 데이터를 렌더 엔진(242)으로 전송한다. 그 후 프로세서(240)는 샷 동안 카메라의 이동을 리트레이싱한다. 프로세서(240)는 또한 렌즈 및 렌즈의 하나 이상의 특성을 재현하고 리트레이싱된 카메라 이동 및 재현된 렌즈 특성들을 사용하여 가상 환경에서 샷을 복제한다. 그 후 프로세서(240)는 복제된 샷을 렌더러(244)로 전송하여 샷을 렌더링한다.

일 구현예에서, 프로세서(240)는 렌즈 프로파일을 생성하고 제작 동안 실시간으로 렌즈 데이터를 인코딩한다. 일 구현예에서, 렌즈 프로파일은 다음의 파라미터들을 포함한다: (1)활성 센서 치수들/필름 평면/이미저의 측정; (2)절점까지의 이미지 평면 거리; (3)줌 및 렌즈 브리딩을 고려한 카메라의 초점 길이; (4)렌즈 왜곡 프로파일; (5)이미지 중심 시프트; (6)렌즈 어퍼처; 및 (7)초점 거리. 다른 구현예에서, 렌즈 프로파일은 광 감소 정보(즉, 비네트)를 포함한다.

일 구현예에서, 프로세서(240)의 렌더 엔진(242)은 카메라들(220, 222)의 이동들을 리트레이싱하고, 렌즈 및 그의 특성들을 프레임별로 모방하여, 샷을 가상으로 복제한다. 이는 조작자가 모든 이미지 렌더 품질 설정들을 최대한 활용하면서 플레이트에 대한 해상도를 자유롭게 정의할 수 있도록 한다. 이는 또한, 애셋의 품질에 의존하여, 디지털 이미지에 노이즈가 없거나 노이즈가 거의 없음을 의미한다. 이는 애셋의 해상도 품질 및 캡처 방법에 의존한다. 고품질 애셋들로, 8K 해상도 이상의 백 플레이트들을 추출하는 것이 가능하다.

도 2b는 본 개시의 다른 구현예에 따른 비디오 렌더링 시스템(250)의 블록도이다. 도 2b의 도시된 구현예에서, 비디오 렌더링 시스템(250)은 비디오 제작 또는 스튜디오 환경에서 사용된다. 시스템(250)은 배경 장면(210)의 이미지 캡처를 위한 하나 이상의 카메라(220, 222), 카메라들(220, 222)의 공간 좌표들(예컨대, 포지션 및 배향)을 추적하는 추적기(230), 렌즈 프로파일러(260), 렌즈 인코더(262), 프로세서(270), 및 렌더러(280)를 포함한다. 렌즈 프로파일러(260), 렌즈 인코더(262), 및 프로세서(270)는 결합하여 카메라 및 센서 데이터를 프로세싱하고 렌더러(280)에 의해 비디오 프레임을 렌더링하기 위한 렌더 엔진(272)을 제공한다. 일 구현예에서, 시스템(200)은 8K 해상도 이상의 광 검출 및 레인징(LIDAR) 스캐닝된 애셋으로부터 소싱된 프레임들을 렌더링한다. 그러나, 애셋 품질이 최종 달성가능한 해상도를 제한할 수도 있더라도, 대체적으로 임의의 품질의 애셋들을 사용하는 것이 가능하다.

도 2b의 도시된 구현예에서, 렌즈 프로파일러(260)는 카메라들(220, 222)에 커플링된다. 일 구현예에서, 렌즈 프로파일러(260)는 샷 동안 각각의 카메라(220 또는 222)의 렌즈에 대응하는 렌즈 데이터를 저장하는 렌즈 프로파일을 생성한다. 일 구현예에서, 렌즈 데이터는 샷의 각자의 프레임들에 동기화된다. 다른 구현예에서, 렌즈 데이터는 타임 코드에 동기화된다. 그 후 렌즈 프로파일러(260)는 렌즈 데이터를 렌즈 인코더(262)로 전송한다. 일 구현예에서, 렌즈 인코더(262)는 렌즈 데이터를 인코딩하고 인코딩된 렌즈 데이터를 프로세서(270)의 렌더 엔진(272)으로 전송하며, 이는 그 후 샷 동안 카메라의 이동을 리트레이싱한다. 프로세서(270)는 또한 렌즈 및 렌즈의 하나 이상의 특성을 재현하고 추적기(230)로부터 리트레이싱된 카메라 이동 및 렌즈 인코더(262)로부터 재현된 렌즈 특성들을 사용하여 가상 환경에서 샷을 복제한다. 그 후 프로세서(270)는 복제된 샷을 렌더러(280)로 전송하여 샷을 렌더링한다.

일 구현예에서, 렌즈 프로파일러(260) 및 렌즈 인코더(262)는 렌즈 프로파일을 생성하고 제작 동안 실시간으로 렌즈 데이터를 인코딩한다. 일 구현예에서, 렌즈 프로파일은 다음의 파라미터들을 포함한다: (1)활성 센서 치수들/필름 평면/이미저의 측정; (2)절점까지의 이미지 평면 거리; (3)줌 및 렌즈 브리딩을 고려한 카메라의 초점 길이; (4)렌즈 왜곡 프로파일; (5)이미지 중심 시프트; (6)렌즈 어퍼처; 및 (7)초점 거리; 그리고 (8)비네팅 또는 렌즈 음영.

일 구현예에서, 프로세서(270)의 렌더 엔진(272)은 카메라들(220, 222)의 이동들을 리트레이싱하고, 렌즈 및 그의 특성들을 프레임별로 모방하여, 샷을 가상으로 복제한다. 이는 조작자가 모든 이미지 렌더 품질 설정들을 최대한 활용하면서 플레이트에 대한 해상도를 자유롭게 정의할 수 있도록 한다. 이는 또한, 애셋의 품질에 의존하여, 디지털 이미지에 노이즈가 없거나 노이즈가 거의 없음을 의미한다. 이는 애셋의 해상도 품질 및 캡처 방법에 의존한다. 고품질 애셋들로, 8K 해상도 이상의 백 플레이트들을 추출하는 것이 가능하다.

시스템에 대한 변형들이 또한 가능하다. 예를 들어, 임의의 종류 및 해상도의 애셋들은 이러한 워크플로우와 호환가능하다. 렌더링된 플레이트들의 품질은 애셋의 품질, 예를 들어 8K 해상도 이상의 3차원인 애셋들에 의존한다. 이 방법을 더 낮은 해상도의 애셋들, 및 심지어 2차원 애셋들에도 적용하는 것이 가능하다.

도 3a는 본 개시의 구현예에 따른 컴퓨터 시스템(300) 및 사용자(302)의 표현이다. 사용자(302)는 컴퓨터 시스템(300)을 사용하여 도 1에서의 방법(100) 및 도 2a 및 도 2b에서의 시스템들(200, 250)과 관련하여 도시되고 설명된 비디오 렌더링을 위한 애플리케이션(390)을 구현한다.

컴퓨터 시스템(300)은 도 3b의 비디오 렌더링 애플리케이션(390)을 저장하고 실행한다. 또한, 컴퓨터 시스템(300)은 소프트웨어 프로그램(304)과 통신할 수도 있다. 소프트웨어 프로그램(304)은 비디오 렌더링 애플리케이션(390)을 위한 소프트웨어 코드를 포함할 수도 있다. 소프트웨어 프로그램(304)은 하기에서 더 설명될 바와 같이, CD, DVD 또는 저장 드라이브와 같은 외부 매체 상에 로딩될 수도 있다.

또한, 컴퓨터 시스템(300)은 네트워크(380)에 연결될 수도 있다. 네트워크(380)는 여러 상이한 아키텍처들, 예를 들어 클라이언트-서버 아키텍처, 피어-투-피어 네트워크 아키텍처, 또는 다른 유형의 아키텍처들에서 연결될 수 있다. 예를 들어, 네트워크(380)는 비디오 렌더링 애플리케이션(390)내에서 사용된 데이터 및 엔진들을 조정하는 서버(385)와 통신할 수 있다. 또한, 네트워크는 상이한 유형의 네트워크일 수 있다. 예를 들어, 네트워크(380)는 인터넷, 로컬 영역 네트워크 또는 로컬 영역 네트워크의 임의의 변형들, 광역 네트워크, 대도시 통신망, 인트라넷 또는 엑스트라넷, 또는 무선 네트워크일 수 있다.

도 3b는 본 개시의 구현예에 따른 비디오 렌더링 애플리케이션(390)을 호스팅하는 컴퓨터 시스템(300)을 도시하는 기능 블록도이다. 제어기(310)는 프로그램가능 프로세서이고 컴퓨터 시스템(300) 및 그 컴포넌트들의 동작을 제어한다. 제어기(310)는 메모리(320)또는 임베딩된 제어기 메모리(미도시)로부터 명령들을(예컨대, 컴퓨터 프로그램의 형태로)로딩하고 카메라 이동 데이터를 캡처하기 위한 데이터 프로세싱을 제공하는 것과 같은, 시스템을 제어하기 위해 이러한 명령들을 실행한다. 그 실행에서, 제어기(310)는 백 플레이트들을 렌더링하는 것과 같은, 소프트웨어 시스템을 비디오 렌더링 애플리케이션(390)에 제공한다. 대안으로, 이 서비스는 제어기(310)또는 컴퓨터 시스템(300)에서 별도의 하드웨어 컴포넌트들로서 구현될 수도 있다.

메모리(320)는 컴퓨터 시스템(300)의 다른 컴포넌트들에 의한 사용을 위해 데이터를 일시적으로 저장한다. 일 구현예에서, 메모리(320)는 RAM으로서 구현된다. 다른 구현예에서, 메모리(320)는 또한 플래시 메모리 및/또는 ROM과 같은 장기 또는 영구 메모리를 포함한다.

스토리지(330)는 컴퓨터 시스템(300)의 다른 컴포넌트들에 의한 사용을 위해 긴 시간 기간 동안 또는 일시적으로 데이터를 저장한다. 예를 들어, 스토리지(330)는 비디오 렌더링 애플리케이션(390)에 의해 사용된 데이터를 저장한다. 일 구현예에서, 스토리지(330)는 하드 디스크 드라이브이다.

매체 디바이스(340)는 이동식 매체들을 수신하고 데이터를 판독하며 및/또는 삽입된 매체들에 데이터를 기록한다. 일 구현예에서, 예를 들어 매체 디바이스(340)는 광 디스크 드라이브이다.

사용자 인터페이스(350)는 컴퓨터 시스템(300)의 사용자로부터 사용자 입력을 수용하고 사용자(302)에게 정보를 제시하기 위한 컴포넌트들을 포함한다. 일 구현예에서, 사용자 인터페이스(350)는 키보드, 마우스, 오디오 스피커, 및 디스플레이를 포함한다. 제어기(310)는 컴퓨터 시스템(300)의 동작을 조정하기 위해 사용자(302)로부터의 입력을 사용한다.

I/O 인터페이스(360)는 외부 저장 또는 보충 디바이스들(예컨대, 프린터 또는 PDA)과 같은, 대응하는 I/O 디바이스들에 연결하기 위한 하나 이상의 I/O 포트를 포함한다. 일 구현예에서, I/O 인터페이스(360)의 포트들은, USB 포트들, PCMCIA 포트들, 직렬 포트들 및/또는 병렬 포트들과 같은 포트들을 포함한다. 다른 구현예에서, I/O 인터페이스(360)는 외부 디바이스들과 무선으로 통신하기 위한 무선 인터페이스를 포함한다.

네트워크 인터페이스(370)는 이더넷 연결을 지원하는 RJ-45 또는 "Wi-Fi"인터페이스(802.11을 포함하지만 이에 제한되지 않음)와 같은, 유선 및/또는 무선 네트워크 연결을 포함한다.

컴퓨터 시스템(300)은 통상의 컴퓨터 시스템들의 부가적인 하드웨어 및 소프트웨어(예컨대, 전력, 냉각, 오퍼레이팅 시스템)를 포함하지만, 이들 컴포넌트들은 간단함을 위해 도 3b에서 구체적으로 나타내지 않는다. 다른 구현예들에서, 컴퓨터 시스템의 상이한 구성들이 사용될 수 있다(예컨대, 상이한 버스 또는 저장 구성들 또는 멀티-프로세서 구성).

본 명세서에 개시된 구현예들의 설명은 관련 기술 분야에서 임의의 통상의 기술자가 본 개시를 만들거나 사용하는 것을 가능하게 하기 위해 제공된다. 이러한 구현예들에 대한 많은 수정들이 통상의 기술자에게는 쉽게 명백할 것이며, 본 명세서에 정의된 원리들은 본 개시의 사상 또는 범주를 벗어나지 않으면서 다른 구현예들에 적용될 수 있다.

부가적인 변형들 및 구현예들이 또한 가능하다. 예를 들어, 영화나 텔레비전을 위한 비디오 제작에 부가하여, 시스템 및 방법들의 구현예들은 광고, 웹 기반 또는 인터넷 콘텐츠, 가상 제작(예컨대, 가상 현실 환경들), 및 시각적 효과들과 같은, 다른 애플리케이션들에 적용 및 적응될 수 있다. 따라서, 본 개시는 본 명세서에 나타낸 구현예들에 제한되도록 의도되는 것이 아니라 본 명세서에 개시된 신규한 특징들 및 원리들과 일치하는 최광의 범주에 부합되는 것으로 의도된다.

위에 논의된 예들의 각각의 모든 특징들이 본 개시의 특정 구현예에 반드시 필요한 것은 아니다. 또한, 본 명세서에 제시된 설명 및 도면들은 본 개시에 의해 광범위하게 고려되는 주제를 나타내는 것임이 이해되어야 한다. 본 개시의 범주는 관련 기술 분야에서 통상의 기술자에게 명백해질 수도 있는 다른 구현예들을 완전히 포괄하고, 따라서 본 개시의 범주는 첨부된 청구항들 이외의 어떠한 것에 의해서도 제한되지 않음이 또한 이해된다.

Claims

비디오 렌더링을 위한 방법으로서,
다중 프레임들을 갖는 샷을 형성하는 비디오 시퀀스 동안 적어도 하나의 카메라의 공간 좌표들을 추적하는 단계 - 상기 적어도 하나의 카메라 각각이 렌즈를 가짐 -;
상기 샷 동안 상기 적어도 하나의 카메라의 상기 렌즈에 대응하는 렌즈 데이터를 저장하는 렌즈 프로파일을 생성하는 단계;
상기 렌즈 데이터를 인코딩하는 단계;
상기 렌즈 데이터를 렌더 엔진으로 전송하는 단계;
상기 샷 동안 상기 적어도 하나의 카메라의 이동을 리트레이싱하는 단계;
상기 샷 동안 상기 렌즈 및 상기 렌즈의 하나 이상의 특성을 재현하는 단계; 및
리트레이싱된 카메라 이동 및 재현된 렌즈 특성들을 사용하여 가상 환경에서 상기 샷을 복제하는 단계를 포함하는, 비디오 렌더링을 위한 방법.
제1항에 있어서,
상기 적어도 하나의 카메라 각각의 상기 공간 좌표들은 각각의 카메라의 포지션을 포함하는, 비디오 렌더링을 위한 방법.
제1항에 있어서,
상기 적어도 하나의 카메라 각각의 상기 공간 좌표들은 각각의 카메라의 배향을 포함하는, 비디오 렌더링을 위한 방법.
제3항에 있어서,
각각의 카메라의 상기 배향은 각각의 카메라의 로컬 회전을 추적하는데 사용된 피치, 요, 롤 축들을 포함하는, 비디오 렌더링을 위한 방법.
제1항에 있어서,
상기 렌즈 프로파일은, 이후 이미지 평면 상으로 투영되는, 상기 렌즈 내에서 모든 광 빔들이 교차 및 크로스하는 지점인 절점(nodal point)을 포함하는, 비디오 렌더링을 위한 방법.
제5항에 있어서,
상기 렌즈 프로파일은, 상기 이미지 평면에서 상기 절점까지의 거리; 각각의 카메라의 초점 길이; 렌즈 왜곡 프로파일; 이미지 중심 시프트; 렌즈 어퍼처; 초점 거리; 및 비네팅(vignetting) 또는 렌즈 음영 중 적어도 하나를 포함하는, 비디오 렌더링을 위한 방법.
제1항에 있어서,
상기 샷의 각자의 프레임들에 상기 렌즈 데이터를 동기화하는 단계를 추가로 포함하는, 비디오 렌더링을 위한 방법.
제1항에 있어서,
상기 샷을 복제하는 단계는 상기 렌즈 및 렌즈 특성들을 프레임별로 모방하여, 상기 샷을 가상으로 복제하는 단계를 포함하는, 비디오 렌더링을 위한 방법.
비디오 렌더링을 위한 시스템으로서,
배경 장면의 이미지들을 캡처하는 적어도 하나의 카메라 - 상기 적어도 하나의 카메라는 캡처된 상기 이미지들을 카메라 데이터로서 출력하고, 상기 적어도 하나의 카메라 각각이 렌즈를 가짐 -;
다중 프레임들을 갖는 샷을 형성하는 비디오 시퀀스 동안 상기 적어도 하나의 카메라의 공간 좌표들을 추적하는 적어도 하나의 센서 - 적어도 하나의 추적기가 추적된 상기 공간 좌표들을 센서 데이터로서 출력함 -; 및
상기 적어도 하나의 카메라 및 상기 적어도 하나의 센서에 커플링된 프로세서 - 상기 프로세서는 상기 샷 동안 상기 적어도 하나의 카메라의 상기 렌즈에 대응하는 렌즈 데이터를 저장하는 렌즈 프로파일을 생성함 - 를 포함하고,
상기 프로세서는 상기 샷을 복제하기 위해 상기 카메라 데이터, 상기 센서 데이터, 및 상기 렌즈 데이터를 프로세싱하는, 비디오 렌더링을 위한 시스템.
제9항에 있어서,
상기 렌즈 데이터는 상기 샷의 각자의 프레임들에 동기화되는, 비디오 렌더링을 위한 시스템.
제9항에 있어서,
상기 렌즈 데이터는 타임 코드에 동기화되는, 비디오 렌더링을 위한 시스템.
제9항에 있어서,
복제된 상기 샷을 렌더링하는 렌더러를 추가로 포함하는, 비디오 렌더링을 위한 시스템.
제9항에 있어서,
상기 프로세서는 상기 렌즈 데이터를 인코딩하고, 상기 샷 동안 상기 적어도 하나의 카메라의 이동을 리트레이싱하고, 상기 렌즈 및 상기 렌즈의 하나 이상의 특성을 재현하며, 가상 환경에서 상기 샷을 복제하는, 비디오 렌더링을 위한 시스템.
제9항에 있어서,
상기 적어도 하나의 카메라의 이동들을 리트레이싱하고 상기 렌즈 및 그의 특성들을 프레임별로 모방하여, 상기 샷을 가상으로 복제하는, 렌더 엔진을 추가로 포함하는, 비디오 렌더링을 위한 시스템.
비디오를 렌더링하기 위한 컴퓨터 프로그램을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
상기 컴퓨터 프로그램은 컴퓨터로 하여금,
다중 프레임들을 갖는 샷을 형성하는 비디오 시퀀스 동안 적어도 하나의 카메라의 공간 좌표들을 추적하게 하고 - 상기 적어도 하나의 카메라 각각이 렌즈를 가짐 -;
상기 샷 동안 상기 적어도 하나의 카메라의 상기 렌즈에 대응하는 렌즈 데이터를 저장하는 렌즈 프로파일을 생성하게 하고;
상기 렌즈 데이터를 인코딩하게 하고;
상기 렌즈 데이터를 렌더 엔진으로 전송하게 하고;
상기 샷 동안 상기 적어도 하나의 카메라의 이동을 리트레이싱하게 하고;
상기 샷 동안 상기 렌즈 및 상기 렌즈의 하나 이상의 특성을 재현하게 하며;
리트레이싱된 카메라 이동 및 재현된 렌즈 특성들을 사용하여 가상 환경에서 상기 샷을 복제하게 하는 실행가능 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
제15항에 있어서,
상기 적어도 하나의 카메라 각각의 상기 공간 좌표들은 각각의 카메라의 포지션을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
제15항에 있어서,
상기 렌즈 프로파일은, 이후 이미지 평면 상으로 투영되는, 상기 렌즈 내에서 모든 광 빔들이 교차 및 크로스하는 지점인 절점을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
제17항에 있어서,
상기 렌즈 프로파일은, 상기 이미지 평면에서 상기 절점까지의 거리; 각각의 카메라의 초점 길이; 렌즈 왜곡 프로파일; 이미지 중심 시프트; 렌즈 어퍼처; 초점 거리; 및 비네팅 또는 렌즈 음영 중 적어도 하나를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
제15항에 있어서,
상기 컴퓨터로 하여금, 상기 렌즈 데이터를 상기 샷의 각자의 프레임들에 동기화하게 하는 실행가능 명령어들을 추가로 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
제15항에 있어서,
상기 컴퓨터로 하여금, 상기 샷을 복제하게 하는 상기 실행가능 명령어들은,
상기 컴퓨터로 하여금, 상기 렌즈 및 렌즈 특성들을 프레임별로 모방하여, 상기 샷을 가상으로 복제하게 하는 실행가능 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.