KR20050015737A

KR20050015737A - 조명제어에 의한 사실적 영상합성 방법

Info

Publication number: KR20050015737A
Application number: KR1020030054682A
Authority: KR
Inventors: 이형석
Original assignee: 이형석
Priority date: 2003-08-07
Filing date: 2003-08-07
Publication date: 2005-02-21

Abstract

본 발명은 그래픽용 컴퓨터(10)에서 3D 프로그램을 이용하여 가상 배경세트를 제작하여 모델링하고, 또한 상기에서 모델링된 가상 배경세트를 다수의 격자상으로 세분하여 각 격자상에 세분화된 배경조명 이미지 정보(HDRI)를 생성한 다음 상기 슈퍼 컴퓨터(20)에 전송하여 상기 슈퍼 컴퓨터(20)에 모델링된 가상 배경세트와 세분화된 배경조명 이미지 정보를 저장하는 단계와;

실제 스튜디오 내에서 피사체를 촬영할 때, 상기 실제 스튜디오 내에 위치하는 배우 등의 피사체에 부착된 위치검출센서(도시하지 않음)에서 출력되는 피사체의 3차원 위치정보(예를 들면 피사체의 x축, y축, z축의 좌표)를 슈퍼 컴퓨터(20)가 받아 인식하는 단계와;

상기 슈퍼 컴퓨터(20)에서 피사체의 3차원 위치정보와 세분화된 배경조명 이미지 정보를 일치시켜서 피사체가 움직이는 이동궤적에 따라 피사체가 받을 수 있는 조명정보를 맵핑하여 피사체가 받아야 할 조명의 밝기 값과 컬러 값을 연산하여 제어기(30)에 조명 밝기 및 컬러 제어신호를 보내는 단계와;

상기 제어기(30)에서 피사체가 받아야 할 조명의 밝기 및 컬러 제어신호에 의거해서 조명 램프(102)를 제어하여 피사체에 조명하는 단계와;

순차주사 가능한 비디오 카메라(40)로 피사체와 배경을 컬러로 컬러영상(d ; 촬영 소스라고도 한다)을 촬영하고, 이와 동시에 상기 비디오 카메라(40)의 촬영위치와 같은 위치에서 적외선 필터가 부착된 흑백 비디오 카메라(50)에 의해 피사체와 배경을 흑백영상(e ; 매트(matt) 소스라고도 한다)으로 촬영하는 단계와;

상기 비디오 카메라(40)에 의해 피사체와 배경을 컬러로 촬영한 컬러영상(d)과 흑백 비디오 카메라(50)에 의해 피사체 및 배경을 흑백으로 촬영한 흑백영상(e)을 크로마 키어(60)에 입력하여 상기 크로마 키어(60)에 입력된 영상에서 피사체만을 남기고 배경화면을 투명처리한 다음, 상기 영상합성유닛(70)으로 전송하는 단계와;

상기 크로마 키어(60)로부터 배경화면이 투명처리 되고 피사체만이 존재하는 영상신호와 상기 슈퍼 컴퓨터(20)에서 출력되는 가상 배경세트 영상신호(f ; 배경 소스라고도 한다)를 받아서 영상합성유닛(70)에서 영상을 합성하는 단계로 이루어지는 조명제어에 의한 사실적 영상합성 방법에 관한 것이다.

따라서 본 발명은 가상 배경세트를 모델링한 배경화면의 조명과 다른 장소에서 실제로 촬영한 배우 등의 피사체에게 조사되는 조명을 같은 수준의 조명으로 일치시켜 영상을 합성하므로써 실제의 현장에서 피사체와 배경을 동시에 촬영한 것과 같이 시청자들에게 사실감을 느끼게 할 수 있다.

Description

조명제어에 의한 사실적 영상합성 방법{REAL IMAGE SYNTHETIC PROCESS BY ILLUMINATION CONTROL}

본 발명은 조명제어에 의한 사실적 영상합성 방법에 관한 것으로서, 특히 가상 배경세트를 모델링한 배경화면의 조명과 다른 장소에서 실제로 촬영한 배우 등 피사체에 조사되는 조명을 같은 수준의 조명으로 일치시켜서 영상을 합성할 수 있는 조명제어에 의한 사실적 영상합성 방법에 관한 것이다.

종래에는 3D 프로그램으로 컴퓨터에서 제작된 영화의 가상 배경세트 화면이나 텔레비전의 가상 배경세트 화면을 슈퍼컴퓨터에 저장하고, 실제 스튜디오 내에서 촬영한 실제의 배우 등 피사체의 장면을 블루스크린 기법을 이용하여 촬영하고 크로마 키어에서 파란 색상의 배경을 투명하게 처리하고 피사체만을 남겨 피사체와 슈퍼 컴퓨터에 저장된 가상 배경세트 화면을 영상 합성 유닛으로 보내 합성하므로써 시청자들이 합성한 화면을 볼 경우에 피사체의 조명과 3D 프로그램으로 제작된 배경세트 화면의 조명 밝기와 컬러가 일치되지 않아 어색하였다.

따라서, 시청자들에게 실제로 배우 등 피사체와 배경을 함께 촬영한 것과 같은 사실감을 느끼게 할 수 없어 시청자들은 합성된 화면을 볼 때 부자연스럽게 느끼게 되는 문제점이 있었다.

따라서, 본 발명은 상기 문제점을 해결하기 위하여 이루어진 것으로서, 본 발명의 목적은 가상 배경세트를 3D프로그램으로 모델링한 가상 배경세트 화면의 조명과 실제 스튜디오 등 다른 장소에서 실제로 촬영한 배우 등 피사체에게 조사되는 조명을 같은 수준의 조명으로 일치시켜 사실감 있는 영상을 합성할 수 있는 조명제어에 의한 사실적 영상합성 방법을 제공하는데 있다.

이하, 본 발명의 일실시예에 의한 조명제어에 의한 사실적 영상합성 시스템에 관하여 첨부 도면에 의거하여 상세히 설명한다.

도 1은 본 발명의 일실시예에 의한 조명제어에 의한 사실적 영상합성 방법의 블록도이다.

도 1에 도시한 바와 같이 본 발명의 일 실시예에 의한 조명제어에 의한 사실적 영상합성 방법은,

그래픽용 컴퓨터(10)에서 3D 프로그램을 이용하여 가상 배경세트(a)를 제작하여 모델링하고, 또한 상기에서 모델링된 가상 배경세트(a)를 다수의 격자상으로 세분하여 세분화된 배경조명 이미지 정보(b; HDRI)를 생성한 다음 상기 슈퍼 컴퓨터(20)에 전송하여 상기 슈퍼 컴퓨터(20)에 모델링된 가상 배경세트(a)와 세분화된 배경조명 이미지 정보(b)를 저장하는 단계와;

실제 스튜디오 내에서 피사체를 촬영할 때, 상기 실제 스튜디오 내에 위치하는 배우 등의 피사체(103)에 부착된 위치검출센서(도시하지 않음)에서 출력되는 피사체(103)의 3차원 위치정보(c; 예를 들면 피사체의 x축, y축, z축의 좌표)를 슈퍼 컴퓨터(20)에서 받아 인식하는 단계와;

상기 슈퍼 컴퓨터(20)에서 피사체의 3차원 위치정보(c)와 세분화된 배경조명 소이미지 정보(b)를 일치시켜서 피사체가 움직이는 이동 궤적에 따라 피사체(103)가 받을 수 있는 조명정보를 맵핑하여 피사체(103)가 받아야 할 조명의 밝기 값과 컬러 값을 연산하여 제어기(30)에 적절한 조명 밝기 및 컬러 제어신호를 보내는 단계와;

상기 제어기(30)에서 피사체(103)가 받아야 할 조명의 밝기와 컬러 제어신호에 의거해서 조명 램프(102)를 제어하여 피사체에 조명하는 단계와;

상기 비디오 카메라(40)에 의해 피사체와 배경을 컬러로 촬영한 컬러영상(d)과 흑백 비디오 카메라(50)에 의해 피사체 및 배경을 흑백으로 촬영한 흑백영상(e)을 크로마 키어(60)에 입력하여 상기 크로마 키어(60)에 입력된 영상에서 피사체만을 남기고 배경화면을 투명하게 처리하여 상기 영상합성유닛(70)으로 전송하는 단계와;

상기 크로마 키어(60)로부터 배경화면이 투명하게 처리되고 피사체만이 존재하는 영상신호와 상기 슈퍼 컴퓨터(20)에서 출력되는 가상 배경세트 영상신호(f ; 배경 소스라고도 한다)를 받아서 영상합성유닛(70)에서 영상을 합성하는 단계로 이루어지는 조명제어에 의한 사실적 영상합성 방법에 관한 것이다.

이와 같이 구성된 본 발명의 일 실시예에 따른 조명제어에 의한 사실적 영상합성 방법의 구성 및 작용에 대하여 더 상세히 설명하면 다음과 같다.

먼저, 상기 그래픽용 컴퓨터(10)에서 3D 프로그램을 이용하여 가상 배경세트를 제작하여 모델링하고, 상기에서 모델링된 가상 배경세트를 다수의 격자상으로 세분하여 세분화된 배경조명 이미지 정보(HDRI)를 생성하고, 슈퍼 컴퓨터(20)에 모델링된 가상 배경세트와 세분화된 배경조명 이미지 정보(HDRI)를 전송하여 저장한다.

세분화된 배경조명 이미지 정보를 미리 생성하는 이유는 다음과 같다.

배경조명 이미지 정보는 피사체의 정지 상태에서는 쉽게 추출할 수 있지만, 피사체가 움직이는 실시간으로는 배경조명 이미지 정보의 생성이 거의 불가능하기 때문에 본 발명에서는 세분화된 배경조명 이미지 정보를 미리 추출하여 사용하는 것이다. 즉, 가상 배경세트를 격자상으로 세분하고 그 격자 안에 세분화된 배경조명 이미지 정보(HDRI)를 미리 생성해 내면 피사체가 어디 방향을 움직이더라도 슈퍼컴퓨터에서 피사체의 위치 정보를 받아 그에게 적용시킬 조명 정보를 실시간으로 읽고, 적용시킬 수 있게 되는 것이다.

다음, 실제 스튜디오 내의 주위에는 조명설비(101)를 설치하게 되는데 상기 조명설비(101)는 반구형으로 형성하는 것이 바람직하며 다수의 조명 램프(102)가 설치되어 있다.

다음, 실제 스튜디오(100) 내에서 배우 등의 피사체를 촬영하게 되는데, 실제 스튜디오 내에 위치하는 배우 등의 피사체에 부착된 위치검출센서(도시하지 않음)에서 출력되는 피사체의 3차원 위치정보(예를 들면 피사체의 x축, y축, z축의 좌표)는 슈퍼 컴퓨터(20)에 전송되어 슈퍼 컴퓨터(20)는 피사체의 3차원 위치정보를 인식하게 된다.

상기 슈퍼 컴퓨터(20)는 피사체의 3차원 위치정보와 세분화된 배경조명 이미지 정보(HDRI)를 일치시켜서 피사체가 움직이는 이동 궤적에 따라 피사체가 받을 수 있는 조명정보를 맵핑하여 피사체가 받아야 할 조명의 밝기 값과 컬러 값을 연산하여 제어기(30)에 적절한 밝기 및 컬러 제어신호를 보내게 된다.

제어기(30)에서는 피사체가 받아야 할 적절한 조명의 밝기와 컬러 제어신호에 의거해서 조명 램프(102)를 제어하여 피사체에 조명한다.

다음, 순차주사 가능한 컬러 비디오 카메라(40)에 의해 피사체와 배경을 컬러로 컬러영상(d ; 촬영 소스라고도 한다)을 촬영하고, 이와 동시에 상기 컬러 비디오 카메라(40)의 촬영위치와 같은 위치에서 적외선 필터(52)가 부착된 흑백 비디오 카메라(50)에 의해 피사체와 배경을 흑백영상(e ; 매트(matt) 소스라고도 한다)으로 촬영한다.

본 발명에서는 조명 중에 파란색 또는 녹색이 포함될 가능성이 있으므로 종래의 블루 스크린 기법을 사용하지 않고 적외선으로 매트(matt) 소스를 생성하는 기법을 사용한다.

이때 빔 스플리터{BEAM SPLITTER(55)}를 사용해서 촬영을 하면 컬러 비디오 카메라(40)와 흑백 비디오 카메라(50)의 촬영 위치를 일치시키기가 용이하다.

여기에서 상기 흑백 비디오 카메라(50)에 의해 피사체 및 배경을 흑백영상(e)으로 촬영하는 경우에 상기 흑백 비디오 카메라(50)의 대물렌즈 앞쪽에는 적외선패스필터(52)가 부착되어 있어서, 배경에 조사된 적외선은 배경에서 적외선이 반사되어 흑백 비디오 카메라(50)에 촬영되고, 피사체 뒤에서 반사되는 적외선은 피사체에 가로 막혀 반사되지 않으므로, 상기 흑백 비디오 카메라(50)에 의해 촬영된 배경은 검게 촬영되고, 상기 흑백 비디오 카메라(50)에 의해 촬영된 피사체는 희게 촬영된다.

상기 컬러 비디오 카메라(40)에 의해 피사체와 배경을 컬러로 촬영한 컬러영상(d)과 흑백 비디오 카메라(50)에 의해 피사체 및 배경을 흑백으로 촬영한 흑백영상(e)은 크로마 키어(60)에 입력되며 상기 크로마 키어(60)에 입력된 이들 영상은 피사체만을 남기고 배경화면은 투명하게 처리되어 상기 영상합성유닛(70)으로 보내게 된다.

상기 영상합성유닛(70)에서는 상기 크로마 키어(60)로부터 배경화면이 투명처리되고 피사체만이 존재하는 영상신호를 받아서 상기 슈퍼 컴퓨터(20)에서 출력되는 가상 배경세트 영상신호(f ; 배경 소스라고도 한다)를 받아서 영상을 합성해서 방송용 영상신호, 영화용 영상신호 또는 광고용 영상신호로 저장하거나 방송신호로 송출한다.

따라서 본 발명은 가상 배경세트를 모델링한 배경의 조명과, 다른 장소에서 실제로 촬영한 배우 등의 피사체에게 조사되는 조명을 같은 조명 수준으로 일치시키면서 영상을 합성할 수 있으므로서 실제의 현장에서 피사체와 배경을 동시에 촬영한 화면과 같이 시청자들에게 사실감을 느끼게 할 수 있다.

상기 설명에 있어서, 특정 실시예를 들어서 도시하고 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 예를 들면 본 발명의 개념을 이탈하지 않는 범위내에서 이 기술 분야의 통상의 지식을 가진 자에 의해 여러가지로 설계변경할 수 있음은 물론이다.

앞에서 설명한 바와 같이 본 발명의 조명제어에 의한 사실적 영상합성 방법에 의하면, 본 발명은 가상 배경세트를 3D프로그램으로 모델링한 가상 배경세트 화면의 조명과 실제 스튜디오 등 다른 장소에서 실제로 촬영한 배우 등 피사체에게 조사되는 조명을 같은 수준의 조명으로 일치시켜 사실감 있는 영상을 합성할 수 있다.

따라서, 시청자들은 실제의 현장에서 피사체와 배경을 함께 촬영한 화면과 같이 시청자들에게 실제로 사실감을 느끼게 할 수 있다는 매우 뛰어난 효과가 있다.

<도면의 주요 부분에 대한 부호의 설명>

10:그래픽용 컴퓨터 20:슈퍼 컴퓨터

30:제어기 40:비디오 카메라

50:흑백 비디오 카메라 52:적외선패스필터

55:빔 스플리터 60:크로마 키어

70:영상신호 합성유닛 100:실제의 스튜디오

101:조명 설비 102:조명 램프

103:피사체

Claims

그래픽용 컴퓨터(10)에서 3D 프로그램을 이용하여 가상 배경세트를 제작하여 모델링하고 또한 상기에서 모델링된 가상 배경세트를 다수의 격자상으로 세분하여 세분화된 배경조명 이미지 정보(HDRI)를 생성한 다음, 상기 슈퍼 컴퓨터(20)에 전송하여 상기 슈퍼 컴퓨터(20)에 모델링된 가상 배경세트와 세분화된 배경조명 이미지 정보를 저장하는 단계와;

실제 스튜디오 내에서 피사체를 촬영할 때, 상기 실제 스튜디오 내에 위치하는 배우 등의 피사체에 부착된 위치검출센서에서 출력되는 피사체의 3차원 위치정보(c)를 슈퍼 컴퓨터(20)가 받아들여 인식하는 단계와;

상기 슈퍼 컴퓨터(20)에서 피사체의 3차원 위치정보(c)와 세분화된 배경조명 이미지 정보(b)를 일치시켜서 피사체가 움직이는 이동 궤적에 따라 피사체가 받을 수 있는 조명정보를 맵핑하여 피사체가 받아야 할 조명의 밝기 값과 컬러 값을 연산하여 제어기(30)에 밝기 및 컬러 제어신호를 보내는 단계와;

상기 제어기(30)에서 피사체가 받아야 할 조명의 밝기와 컬러 제어신호에 의거해서 조명 램프(102)를 제어하여 피사체에 조명하는 단계와;

순차주사 가능한 비디오 카메라(40)로 피사체와 배경을 컬러로 컬러영상을 촬영하고, 이와 동시에 상기 비디오 카메라(40)의 촬영위치와 같은 위치에서 적외선패스 필터(52)가 부착된 흑백 비디오 카메라(50)에 의해 피사체와 배경을 흑백영상으로 촬영하는 단계와;

상기 비디오 카메라(40)에 의해 피사체와 배경을 컬러로 촬영한 컬러영상(d)과 흑백 비디오 카메라(50)에 의해 피사체 및 배경을 흑백으로 촬영한 흑백영상(e)을 크로마 키어(60)에 입력하여 상기 크로마 키어(60)에 입력된 영상에서 피사체만을 남기고 배경화면을 투명하게 처리한 다음, 상기 영상합성유닛(70)으로 전송하는 단계와;

상기 크로마 키어(60)로부터 배경화면이 투명처리 되고 피사체만이 존재하는 영상신호와 상기 슈퍼 컴퓨터(20)에서 출력되는 가상 배경세트 영상신호를 받아서 영상합성유닛(70)에서 영상을 합성하는 단계로 이루어지는 조명제어에 의한 사실적 영상합성 방법.
제1 항에 있어서, 상기 조명설비(101)는 다수의 조명 램프(102)가 구비된 반 구형 형상으로 되는 조명제어에 의한 사실적 영상합성 방법.
제1 항에 있어서, 상기 흑백 비디오 카메라(50)에 의해 피사체와 배경에 대한 흑백영상 촬영은 적외선을 이용하여 매트(matt)소스를 생성하는 기법을 사용하여 되는 것을 특징으로 하는 조명제어에 의한 사실적 영상합성 방법.