KR102654323B1 - 버추얼 프로덕션에서 2차원 이미지의 입체화 처리를 위한 방법, 장치 및 시스템 - Google Patents

Abstract

본 발명은 버추얼 프로덕션에서 2차원 이미지의 입체화 처리를 위한 방법, 장치 및 시스템에 관한 것이다. 본 발명의 일 실시예에 따른 장치는, 버추얼 프로덕션(virtual production) 기반 촬영 시에 실사 영상인 제1 영상을 촬영하는 카메라의 움직임 및 렌즈 상태에 따라 연동되는 가상 카메라에 의해 캡쳐된 가상 공간의 컨텐츠를 담은 제2 영상이 발광 소자(light-emitting diode; LED) 벽체에 표시되도록 상기 제2 영상을 재생하는 장치로서, 2차원의 평면 이미지에 대한 정보를 저장한 메모리; 및 상기 평면 이미지에 대한 입체화의 영상 처리를 수행하여, 상기 입체화의 영상 처리에 따른 영상이 상기 제2 영상에 포함되도록 제어하는 제어부;를 포함한다.

Description

버추얼 프로덕션에서 2차원 이미지의 입체화 처리를 위한 방법, 장치 및 시스템{APPARATUS, METHOD ADN SYSTEM FOR THREE-DIMENSIONALLY PROCESSING TWO DIMENSION IMAGE IN VIRTUAL PRODUCTION}

본 발명은 버추얼 프로덕션에서 2차원 이미지의 입체화 처리 기술에 관한 것으로서, 더욱 상세하게는 버추얼 프로덕션(virtual production) 기반 영상 촬영 시에 LED(light-emitting diode) 벽체에 표시되는 2차원 이미지가 카메라에서 보다 입체적인 모습으로 촬영될 수 있도록 해당 2차원 이미지를 처리하는 기술에 관한 것이다.

최근 코로나로 인해 국가 간 이동과 사람들의 모임이 제한되면서 가상 현실(virtual reality) 기반의 비대면 기술에 대한 관심이 커지고 있다. 이러한 추세에 따라, 방송, 영화, 공연 등의 영상 제작 분야에서도 버추얼 프로덕션(virtual production) 기술을 도입하는 시도들이 늘고 있다.

이때, 버추얼 프로덕션은 게임 엔진 등에 의해 생성되는 가상 공간의 컨텐츠인 실시간 렌더링 CG(computer graphics) 기술과, 카메라의 움직임 및 렌즈 상태를 반영하는 카메라 트래킹(camera tracking) 기술을 기반으로 하며, 즉각적인 시각화와 영상 합성을 통해 영상 제작 공정의 효율성과 그래픽 품질을 제고하는 기술을 의미한다. 최근에는 실제 카메라의 움직임이 반영된 그래픽을 실시간으로 LED(light-emitting diode) 벽체(wall)를 통해 표시하고 해당 LED 벽체의 전면에 위치한 배우와 함께 LED 벽체의 적어도 일부를 촬영하는 개념으로 주로 사용되고 있다. 이러한 버추얼 프로덕션은 촬영 공간, 시간, 날씨 등과 같은 제약을 줄일 수 있을 뿐 아니라, 영상 제작의 후반 작업(post production)의 시간을 줄일 수 있으므로, 영상 제작의 생산성 향상에 이바지할 수 있다.

한편, 2차원 이미지의 소스를 LED 벽체에 표시하여 해당 LED 벽체의 적어도 일부를 카메라로 촬영하는 방식의 버추얼 프로덕션이 수행되는 경우가 있다. 하지만, 이 경우에 2차원 이미지의 소스의 한계로 인해, 카메라에서 촬영된 영상은 LED 벽체의 표시 부분이 입체적인 영상이 아닌 평면적인 영상으로 보이게 되면서, 전체적으로 부자연스럽게 보이게 되는 문제점이 발생한다.

다만, 상술한 내용은 단순히 본 발명에 대한 배경 정보를 제공할 뿐 기 공개된 기술에 해당하는 것은 아니다.

상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 2차원 이미지의 소스를 LED 벽체에 표시하여 카메라로 해당 LED 벽체의 적어도 일부를 촬영하는 버추얼 프로덕션 수행 시에 카메라에서 촬영되는 영상이 보다 입체적으로 보일 수 있도록 해당 2차원 이미지의 소스를 처리하는 기술을 제공하는데 그 목적이 있다.

다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 장치는, 버추얼 프로덕션(virtual production) 기반 촬영 시에 실사 영상인 제1 영상을 촬영하는 카메라의 움직임 및 렌즈 상태에 따라 연동되는 가상 카메라에 의해 캡쳐된 가상 공간의 컨텐츠를 담은 제2 영상이 발광 소자(light-emitting diode; LED) 벽체에 표시되도록 상기 제2 영상을 재생하는 장치로서, 2차원의 평면 이미지에 대한 정보를 저장한 메모리; 및 상기 평면 이미지에 대한 입체화의 영상 처리를 수행하여, 상기 입체화의 영상 처리에 따른 영상이 상기 제2 영상에 포함되도록 제어하는 제어부;를 포함한다.

상기 제어부는 상기 평면 이미지에 대한 평면 플레이트(Plate)를 가상 공간 내에 배치하되, 상기 평면 Plate의 중심 지점이 가상 공간 내의 기준 위치로부터 이격된 위치에 상기 평면 Plate를 배치한 후, 곡면 이격 거리에 따라 상기 평면 Plate로부터 이격된 위치에 상기 평면 Plate에 대한 오목한 반구형의 곡면 플레이트(Plate)를 상기 평면 Plate를 이용하여 생성하며, 상기 카메라의 움직임 및 렌즈 상태에 따라 상기 가상 카메라가 연동되면서 상기 곡면 Plate를 캡쳐하도록 제어할 수 있다.

상기 곡면 Plate는 상기 곡면 이격 거리가 커질수록 커지는 면적을 가질 수 있다.

상기 제어부는 상기 가상 카메라가 상기 기준 위치에서 상기 평면 Plate 및 상기 곡면 Plate를 바라볼 때에 각각이 동일하게 매칭되는 위치에 상기 곡면 Plate가 생성되도록 제어할 수 있다.

상기 제어부는 상기 평면 Plate를 이루는 각 정점(Vertex)과 상기 곡면 Plate를 이루는 각 정점이 상기 기준 위치를 원점으로 하여 대응하는 위치에 상기 곡면 Plate가 생성되도록 제어할 수 있다.

상기 제어부는 상기 기준 위치에서 상기 평면 Plate의 각 정점에 대한 연장선을 그을 때, 해당 연장선이 상기 평면 Plate과 만나는 상기 평면 Plate의 정점에 표시되는 이미지와, 해당 연장선이 상기 곡면 Plate와 만나는 상기 곡면 Plate의 정점에 표시되는 이미지가 동일하도록 하는 위치에 상기 곡면 Plate가 생성되도록 제어할 수 있다.

상기 제어부는 상기 평면 이미지가 촬영될 당시의 카메라 세팅 상태에 대한 정보를 이용하여 상기 평면 Plate가 배치되도록 제어할 수 있다.

상기 제어부는 상기 평면 이미지에서 각 구분 이미지의 레이어에 대한 별도의 상기 곡면 Plate들을 각각 서로 다른 곡면 이격 거리에 따라 생성하며, 상기 카메라의 움직임 및 렌즈 상태에 따라 상기 가상 카메라가 연동되면서 상기 곡면 Plate들을 캡쳐하도록 제어할 수 있다.

상기 제어부는 제1 구분 이미지의 제1 레이어와, 제1 구분 이미지보다 원경인 제2 구분 이미지의 제2 레이어에 대해, 상기 제1 레이어의 곡면 이격 거리가 상기 제2 레이어의 곡면 이격 거리보다 짧게 설정되도록 제어할 수 있다.

상기 제어부는 근경인 제1 구분 이미지의 제1 레이어와, 중경인 제2 구분 이미지의 제2 레이어와, 원경인 제3 구분 이미지의 제3 레이어에 대해, 상기 제1 레이어의 곡면 이격 거리가 상기 제2 레이어의 곡면 이격 거리보다 짧고, 상기 제2 레이어의 곡면 이격 거리가 상기 제3 레이어의 곡면 이격 거리보다 짧게 설정되도록 제어할 수 있다.

상기 제어부는 상기 곡면 Plate들 중에 적어도 하나에 대해 깊이 맵을 이용하여 해당 곡면 Plate의 적어도 하나의 정점이 해당 곡면 Plate로부터 기준 위치 측의 방향으로 돌출되도록 하여 해당 곡면 Plate에 대해 두께감이 부여되도록 제어할 수 있다.

본 발명의 일 실시예에 따른 방법은, 버추얼 프로덕션(virtual production) 기반 촬영 시에 실사 영상인 제1 영상을 촬영하는 카메라의 움직임 및 렌즈 상태에 따라 연동되는 가상 카메라에 의해 캡쳐된 가상 공간의 컨텐츠를 담은 제2 영상이 발광 소자(light-emitting diode; LED) 벽체에 표시되도록 상기 제2 영상을 재생하는 장치에서 수행되는 방법으로서, 2차원의 평면 이미지에 대한 입체화의 영상 처리를 수행하는 단계; 및 상기 입체화의 영상 처리에 따른 영상이 상기 제2 영상에 포함되어 상기 LED 벽체에 표시되도록 처리하는 단계;를 포함한다.

상기 수행하는 단계는, 상기 평면 이미지에 대한 평면 플레이트(Plate)를 가상 공간 내에 배치하되, 상기 평면 Plate의 중심 지점이 가상 공간 내의 기준 위치로부터 이격된 위치에 상기 평면 Plate를 배치하는 단계; 및 곡면 이격 거리에 따라 상기 평면 Plate로부터 이격된 위치에 상기 평면 Plate에 대한 오목한 반구형의 곡면 플레이트(Plate)를 상기 평면 Plate를 이용하여 생성하는 단계;를 포함하며, 상기 처리하는 단계는 상기 카메라의 움직임 및 렌즈 상태에 따라 상기 가상 카메라가 연동되면서 상기 곡면 Plate를 캡쳐하는 단계를 포함할 수 있다.

상기 수행하는 단계는 상기 가상 카메라가 상기 기준 위치에서 상기 평면 Plate 및 상기 곡면 Plate를 바라볼 때에 각각이 동일하게 매칭되는 위치에 상기 곡면 Plate를 생성하는 단계를 포함할 수 있다.

상기 수행하는 단계는 상기 평면 Plate를 이루는 각 정점(Vertex)과 상기 곡면 Plate를 이루는 각 정점이 상기 기준 위치를 원점으로 하여 대응하는 위치에 상기 곡면 Plate를 생성하는 단계를 포함할 수 있다.

상기 수행하는 단계는 상기 기준 위치에서 상기 평면 Plate의 각 정점에 대한 연장선을 그을 때, 해당 연장선이 상기 평면 Plate과 만나는 상기 평면 Plate의 정점에 표시되는 이미지와, 해당 연장선이 상기 곡면 Plate와 만나는 상기 곡면 Plate의 정점에 표시되는 이미지가 동일하도록 하는 위치에 상기 곡면 Plate를 생성하는 단계를 포함할 수 있다.

상기 수행하는 단계는 상기 평면 이미지가 촬영될 당시의 카메라 세팅 상태에 대한 정보를 이용하여 상기 평면 Plate를 배치하는 단계를 포함할 수 있다.

상기 수행하는 단계는 상기 평면 이미지에서 각 구분 이미지의 레이어에 대한 별도의 상기 곡면 Plate들을 각각 서로 다른 곡면 이격 거리에 따라 생성하는 단계를 포함하며, 상기 처리하는 단계는 상기 카메라의 움직임 및 렌즈 상태에 따라 상기 가상 카메라가 연동되면서 상기 곡면 Plate들을 캡쳐하는 단계를 포함할 수 있다.

상기 수행하는 단계는 제1 구분 이미지의 제1 레이어와, 제1 구분 이미지보다 원경인 제2 구분 이미지의 제2 레이어에 대해, 상기 제1 레이어의 곡면 이격 거리가 상기 제2 레이어의 곡면 이격 거리보다 짧게 설정하는 단계를 포함할 수 있다.

상기 수행하는 단계는 근경인 제1 구분 이미지의 제1 레이어와, 중경인 제2 구분 이미지의 제2 레이어와, 원경인 제3 구분 이미지의 제3 레이어에 대해, 상기 제1 레이어의 곡면 이격 거리가 상기 제2 레이어의 곡면 이격 거리보다 짧고, 상기 제2 레이어의 곡면 이격 거리가 상기 제3 레이어의 곡면 이격 거리보다 짧게 설정하는 단계를 포함할 수 있다.

상기 수행하는 단계는 상기 곡면 Plate들 중에 적어도 하나에 대해 깊이 맵을 이용하여 해당 곡면 Plate의 적어도 하나의 정점이 해당 곡면 Plate로부터 기준 위치 측의 방향으로 돌출되도록 하여 해당 곡면 Plate에 대해 두께감을 부여하는 단계를 포함할 수 있다.

본 발명의 일 실시에에 따른 시스템은 버추얼 프로덕션(virtual production) 기반 촬영을 위해 사용되는 시스템으로서, 실사 영상인 제1 영상을 촬영하는 카메라; 및 상기 카메라의 움직임 및 렌즈 상태에 따라 연동되는 가상 카메라에 의해 캡쳐된 가상 공간의 컨텐츠를 담은 제2 영상이 발광 소자(light-emitting diode; LED) 벽체에 표시되도록 상기 제2 영상을 재생하는 재생 장치;를 포함하며, 상기 재생 장치는, 2차원의 평면 이미지에 대한 정보를 저장한 메모리; 및 상기 평면 이미지에 대한 입체화의 영상 처리를 수행하여, 상기 입체화의 영상 처리에 따른 영상이 상기 제2 영상에 포함되도록 제어하는 제어부;를 포함한다.

본 발명의 일 실시예에 따른 프로그램은 적어도 하나의 프로세서에 의해서 실행되고, 상기 적어도 하나의 프로세서가 상술한 방법을 실행시키도록 매체 저장된 프로그램이다.

상기와 같이 구성되는 본 발명은 2차원 이미지의 소스를 LED 벽체에 표시하여 카메라로 해당 LED 벽체의 적어도 일부를 촬영하는 버추얼 프로덕션 수행 시에 해당 2차원 이미지의 소스를 처리하여 카메라에서 촬영되는 영상이 보다 입체적으로 보일 수 있게 하는 이점이 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 시스템(10)의 대략적인 블록 구성도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 시스템(10)을 이용한 버추얼 프로덕션 촬영의 개념도를 나타낸다.
도 3 및 도 4는 도 2에 따른 촬영 중에 카메라(200)의 이동에 따라 연동되는 가상 카메라(VC)의 이동에 대한 다양한 예를 나타낸다.
도 5은 재생 장치(300)의 블록 구성도를 나타낸다.
도 6은 소실점에 대한 일 예를 나타낸다.
도 7은 포그 현상에 대한 일 예를 나타낸다.
도 8은 카메라가 LED 벽체의 측면 방향에서 촬영할 경우에 대한 일 예를 나타낸다.
도 9는 LED 벽체가 절곡된 표면 형태를 가질 때에 카메라로 촬영할 경우에 대한 일 예를 나타낸다.
도 10은 LED 벽체에 단순히 2차원 이미지의 소스를 표시한 상태에서 카메라로 촬영할 때에 나타나는 시차 효과(Parallax Effect) 부재에 대한 일 예를 나타낸다.
도 11 및 도 12는 애너모픽(Anamorphic) 왜곡에 대한 개념도의 예들을 나타낸다.
도 13은 평면 Plate(기준 평면)를 이용하여 곡면 Plate를 생성하는 개념도를 나타낸다.
도 14는 가상 카메라로 평면 Plate를 촬영할 경우에 대한 일 예를 나타낸다.
도 15는 가상 카메라로 곡면 Plate를 촬영할 경우에 대한 일 예를 나타낸다.
도 16은 가상 공간에서 도 7의 평면 소스에 대해 거리 별로 구분된 다수의 구분 이미지에 대한 각 레이어(Lyaer)를 생성하는 모습에 대한 일 예를 나타낸다.
도 17은 가상 공간에서 도 16에 따라 각 구분 이미지의 레이어에 대해 각 곡면 Plate를 생성하는 모습을 나타낸다.
도 18은 가상 공간에서 가상 카메라(VC)가 도 17에 따라 생성된 각 곡면 Plate를 대향하면서 좌측에서 우측으로 이동하면서 촬영한 제2 영상의 예들을 나타낸다.
도 19는 도 16에 따라 생성된 각 레이어(Layer 1, Layer 2, Layer 3)에 대해 깊이 맵(Depth Map)을 적용하는 과정에 대한 모습의 일 예를 나타낸다.
도 20은 도 16에 따라 생성된 레이어들(Layer 1, Layer 2, Layer 3) 중에 제3 레이어(Layer 3)에 대해 깊이 맵(Depth Map)을 적용한 모습의 일 예를 나타낸다.
도 21 및 도 22는 도 16에 따라 생성된 레이어들(Layer 1, Layer 2, Layer 3) 중에 제1 레이어(Layer 1)에 대해 깊이 맵(Depth Map)을 적용한 후 가상 카메라로 촬영한 결과인 제2 영상에 대한 예들을 나타낸다.
도 23은 본 발명의 일 실시예에 따른 처리 방법의 동작 순서도를 나타낸다.
도 24는 평면 Plate를 사용하는 제1 방식과, Layered Plate를 사용하는 제2 방식에 따른 촬영 모습에 대한 일 예를 나타낸다.
도 25는 제1 방식에 따른 촬영 결과에 대한 일 예를 나타낸다.
도 26은 제2 방식에 따른 촬영 결과에 대한 일 예를 나타낸다.
도 27은 제1 및 제2 방식에 따른 촬영에 대한 예들을 나타낸다.

본 발명의 상기 목적과 수단 및 그에 따른 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 경우에 따라 복수형도 포함한다. 본 명세서에서, "포함하다", "구비하다", "마련하다" 또는 "가지다" 등의 용어는 언급된 구성요소 외의 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

본 명세서에서, "또는", "적어도 하나" 등의 용어는 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, "A 또는 B", "A 및 B 중 적어도 하나"는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.

본 명세서에서, "예를 들어" 등에 따르는 설명은 인용된 특성, 변수, 또는 값과 같이 제시한 정보들이 정확하게 일치하지 않을 수 있고, 허용 오차, 측정 오차, 측정 정확도의 한계와 통상적으로 알려진 기타 요인을 비롯한 변형과 같은 효과로 본 발명의 다양한 실시 예에 따른 발명의 실시 형태를 한정하지 않아야 할 것이다.

본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 기재된 경우, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성 요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.

본 명세서에서, 어떤 구성요소가 다른 구성요소의 '상에' 있다거나 '접하여' 있다고 기재된 경우, 다른 구성요소에 상에 직접 맞닿아 있거나 또는 연결되어 있을 수 있지만, 중간에 또 다른 구성요소가 존재할 수 있다고 이해되어야 할 것이다. 반면, 어떤 구성요소가 다른 구성요소의 '바로 위에' 있다거나 '직접 접하여' 있다고 기재된 경우에는, 중간에 또 다른 구성요소가 존재하지 않은 것으로 이해될 수 있다. 구성요소 간의 관계를 설명하는 다른 표현들, 예를 들면, '～사이에'와 '직접 ～사이에' 등도 마찬가지로 해석될 수 있다.

본 명세서에서, '제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 해당 구성요소는 위 용어에 의해 한정되어서는 안 된다. 또한, 위 용어는 각 구성요소의 순서를 한정하기 위한 것으로 해석되어서는 안되며, 하나의 구성요소와 다른 구성요소를 구별하는 목적으로 사용될 수 있다. 예를 들어, '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하도록 한다.

먼저, 본 발명을 이해하기 위해 3가지 다른 관점으로 버추얼 프로덕션 기술에 대해 살펴본다.

1. 영상 제작 단계 관점

일반적으로 게임 엔진이라 불리는 실시간 그래픽 렌더링 기술은 최근 실사 수준의 품질을 보일 만큼 진화를 거듭하고 있다. 이러한 즉각적이고 고품질의 시각화 기술은 사전 기획(Pre) - 제작(Production) - 후반 작업(Post)으로 구분되는 영상 제작 파이프라인의 여러 지점에 각기 다른 용도로 활용될 수 있다.

먼저, 사전 기획 단계에서는 스토리에 대한 시각화(Pre Vis)나 공간/장비에 대한 시뮬레이션(Tech Vis)에 게임 엔진을 적극적으로 사용할 수 있다. 즉, 계획 단계에서 컨텐츠의 전개뿐만 아니라 공간, 카메라의 움직임, 컷 편집 등을 미리 구현해보고 각종 이슈들을(세트 크기, 동선, 렌즈 화각 등) 사전에 점검하는 것이다. 특히, 최근에는 영화를 중심으로 VR Scouting 기법을 통해 가상 환경 안에서 구성 요소를 편집하거나 가상 카메라를 들고 촬영 시뮬레이션을 하는 등 가상 현실 기술의 활용 범위가 늘어나고 있다.

다음으로, 제작 단계에서는 후반(Post)에서 이루어지던 CG(computer graphics) 합성을 촬영과 동시에 진행하여 라이브로 송출하거나 후반 합성 부담을 줄이는 형태로 버추얼 프로덕션 기술이 사용된다. 이를 위해, 카메라의 움직임을 파악하는 트래킹 장치와 함께 실사 영상과 CG를 실시간으로 합성해 주는 XR 솔루션이 사용된다.

마지막으로, 후반 작업 단계에서는 촬영 중 생성된 트래킹 정보 등의 상태 데이터를 활용할 수 있다. 이를 이용하여 촬영이 끝난 이후라도 추가적인 이팩트나 CG 요소를 생성할 수 있고 문제가 있거나 수정이 필요한 장면을 더 빠르게 보정할 수 있다.

2. CG 합성 방식 관점

버추얼 프로덕션 기술 중 핵심은 실제 공간과 가상 공간을 동기화하여 이질감 없이 실시간으로 CG와 실사 영상을 합성하거나 LED에 표출하는 시각화 기능이다. 따라서, CG가 합성되는 유형에 따라 VR(virtual reality), AR(augmented reality), XR(extended reality)이라는 용어가 사용되기도 한다.

먼저, VR은 크로마키(chroma key) 스튜디오를 기반으로 하는 실시간 공간 합성을 의미한다. 가령, 어떤 인물과 가상 공간을 동시에 3인칭으로 보여주기 위해, VR 방식의 버추얼 프로덕션 기술이 사용될 수 있다. 즉, 실시간 트래킹이 되는 카메라를 통해 마치 가상 현실 안에서 직접 촬영하는 것과 같은 효과를 얻을 수 있다. 이와 같은 연출이 가능한 이유는 가상 공간이 합성된 영상이 실시간으로 생성되어 카메라 감독과 연출자에게 제공되어 즉각적인 판단과 대응이 가능하기 때문이다.

AR의 경우, VR과 반대로 실사 영상 위에 특정 그래픽을 더하는 방식을 의미하며, 최근에는 방송, 공연, 제품 론칭쇼 등의 이벤트에 많이 활용되고 있다. 특히, Realtime Ray Tracing이나 DLSS와 같은 렌더링 기술의 발전으로 인해 게임 엔진의 CG 품질이 점차 실사에 근접해짐에 따라 물리적으로 구현하기 어려운 장면이나 비용이 많이 들어가는 연출 등을 AR 그래픽으로 표현하려는 시도들이 늘어나고 있다. 가령, 실제 무대 공간에 자동차 1대만 있는 영상에 AR 요소들을 추가하여 새로운 자동차가 바닥에서 나오거나 새로운 건물이 생성되는 등의 특수한 연출이 가능하다.

XR의 경우, 2020년부터 비대면 이벤트를 중심으로 본격적으로 사용되고 있다. AR이나 VR과 달리, XR은 원경과 근경을 모두 CG로 합성하여 완전히 가상 공간 안에 있는 것과 같은 표현이 가능하다. 이를 위해, LED 벽체를 배경에 배치하여 원경 장면을 출력하고, 피촬영자의 앞에 AR 그래픽을 더하여 공간감을 표현하며, LED 벽체의 물리적 경계 밖을 CG로 확장하여 마치 무한대의 공간에 있는 것과 같은 표현도 가능하다.

3. 활용 목적 관점

AR, VR 및 XR 기술은 방송, 공연, 영화 등 다양한 영역에서 사용될 수 있다. 유사한 XR 기술이지만 방송, 공연 등 이벤트 중심의 촬영과 영화, 드라마 등의 극 영상 촬영에서의 사용 시 그 접근법에 차이가 존재한다.

먼저, 이벤트 촬영에서 버추얼 프로덕션 기술은 주로 신선한 비주얼 이펙트를 빠르게 생성하거나 별도의 후반 작업 없이 현장에서 바로 합성된 영상을 얻기 위해 사용된다. 이러한 영상은 바로 라이브로 송출되거나 짧은 편집 기간을 거쳐 빠르게 소비된다. 따라서, 컨텐츠의 품질이나 기술적 한계에 대한 관용도는 비교적 넓은 편이나 카메라 움직임 속도, 영상 지연율(Latency)에 대한 요구 수준이 높다. 반면, 영화와 같은 극 영상 제작에서는 전문적인 촬영 기법에 대한 충실한 지원과 함께 최종 영상의 품질에 좀 더 포커스를 맞추고 있다. 가령, 공연과 같은 이벤트 촬영에서는 LED 벽체의 LED 소자가 보이거나 모아레 현상(카메라 CCD의 격자와 LED 소자 격자 간 간섭)이 조금씩 보이는 수준은 용인되지만 영화에서는 절대로 안 된다. 또한 LED 벽체의 외부 영역을 실시간으로 확장하여 채우는 표현도 자세히 보면 약간의 유격과 색상차가 있으므로 이벤트 촬영에만 주로 사용되고 있다. 카메라의 경우 전자는 B4마운트의 방송용 카메라와 줌렌즈가 사용되지만 후자는 대형 CCD의 시네마 카메라와 단렌즈가 주로 사용된다.

한편, 버추얼 프로덕션 기술 중에 하나인 In Camera VFX 기술은 대형 LED 벽체 공간에 카메라 움직임을 반영한 CG를 매핑하고 촬영 지점을 이동하거나 공간 상태를 바꿔가며 다양한 장면을 촬영하는 방식을 의미한다. 공연에서의 XR 촬영과 유사한 부분도 있으나 보다 크고 고사양의 LED 벽체를 기반으로 자연스러운 공간 조명과 반사 표현에 좀 더 집중하는 형태로 장치들이 구성된다.

도 1은 본 발명의 일 실시예에 따른 시스템(10)의 대략적인 블록 구성도를 나타낸다.

본 발명의 일 실시예에 따른 시스템(10)(이하, "본 시스템"이라 지칭함)은 상술한 버추얼 프로덕션의 촬영을 위해 사용되는 시스템으로서, 도 1에 도시된 바와 같이, 발광 소자 벽체(light-emitting diode wall; LED wall)(100), 카메라(camera)(200) 및 재생 장치(player)(300)를 포함할 수 있다.

본 시스템(10)에서, 재생 장치(300)를 통해 재생되는 다양한 미디어(즉, 영상)가 LED 벽체(100)의 전면에 위치한 표시부를 통해 표시되며, 이러한 상태에서 LED 벽체(100)의 표시부 중 적어도 일부와, LED 벽체(100)의 전방에 위치한 인물(A) 또는 사물(O)을 함께 카메라(200)로 촬영한다. 물론, 카메라(200의 촬영 중에 필요할 경우, 조명 효과, 번개 효과, 음향 효과, 바람 효과, 안개(fog) 효과, 눈(snow) 효과, 또는 비(rain) 효과 등에 해당하는 외부 환경 요소가 특수 효과 장치(미도시)를 통해 첨가될 수 있다. 이때, 제어 장치(미도시)를 통해 재생 장치(300)와 특수 효과 장치를 제어함으로써 버추얼 프로덕션의 영상 촬영이 보다 원활하게 수행될 수 있다.

구체적으로, LED 벽체(100)는 재생 장치(300)에 의해 재생되는 미디어를 LED 방식으로 전면의 표시부에 표시하는 거대한 디스플레이 장치로서, 벽체 형상을 가질 수 있다. 물론, LED 벽체(100)는 서로 다른 각도로 미디어를 표시하는 서로 다른 각도의 벽체들을 포함하거나, 바닥면에서 상부를 향해 미디어를 표시하는 벽체도 포함할 수 있으나, 이에 한정되는 것은 아니다.

LED 벽체(100)는 n개(단, n은 2이상의 자연수) 구역으로 나눠진 소단위 디스플레이(110)를 포함할 수 있다. 즉, LED 벽체(100)는 소단위 디스플레이(110)들을 통해 하나의 대형 디스플레이를 구현할 수 있다. 이때, LED 벽체(100)는 재생 장치(300)의 종류에 따라 다양한 미디어를 표시할 수 있다. 즉, 다수의 재생 장치(300) 중 제어 장치(미도시)의 제어에 따라 선택된 미디어가 재생 장치(300)에 의해 재생되며, 이와 같이 재생되는 미디어가 LED 벽체(100)를 통해 표시될 수 있다.

예를 들어, 이미지(image), 비디오(video) 및 카메라 트래킹(camera tracking) 연동 영상 중 적어도 하나의 미디어가 LED 벽체(100)를 통해 표시될 수 있다. 다만, 본 발명에서는 2차원 이미지의 소스를 후술에 따라 영상 처리한 입체적인 이미지가 LED 벽체(100)를 통해 표시하는 내용을 다루므로, 이하에서는 이미지에 관련된 미디어가 재생 장치(300)의 영상 처리 및 재생에 따라 LED 벽체(100)에 표시되는 것으로 설명하도록 한다. 즉, 본 발명에서, LED 벽체(100)를 통해 표시되는 영상 처리된 이미지의 화면을 카메라(200)에서 촬영할 경우, 카메라(200)에서 촬영된 영상은 해당 영상 처리에 따라 원래의 2차원 이미지의 소스보다 입체적으로 보일 수 있게 된다. 이러한 2차원 이미지의 소스에 대한 입체적 표시 효과를 위한 영상 처리에 대해서는 후술하도록 한다.

카메라(200)는 실제 공간(물리 공간)에 존재하는 대상물에 대한 광학 작용에 의해 실사 영상인 제1 영상을 촬영한다. 즉, 카메라(200)는 LED 벽체(100)의 표시부 중 적어도 일부와, LED 벽체(100)의 전방에 위치한 인물(A) 또는 사물(O)을 함께 촬영할 수 있다. 이에 따라, 촬영된 제1 영상 내에는 인물(A) 또는 사물(O)과, LED 벽체(100)의 표시부에서 표시되어 인물(A) 또는 사물(O)의 배경 요소가 되는 미디어가 함께 포함될 수 있다. 물론, 필요에 따라 카메라(200)는 복수 개가 마련될 수 있다. 일례로, 제1 영상은 시간에 따라 다양한 이미지가 변화되는 비디오일 수 있다. 이와 같이 카메라(200)에서 촬영된 실사 영상인 제1 영상은 녹화 장치(미디어)로 전달되어 녹화될 수 있다.

또한, 카메라(200)의 움직임 및 렌즈 상태를 트래킹 장치(미도시)에 의해 파악될 수 있다. 이러한 트래킹 정보는 카메라 트래킹 연동 영상을 재생하는 재생 장치(300)로 전달될 수 있다. 일례로, 트래킹 장치는 카메라(200)에 설치(연결)된 장치로서, 카메라(200)의 움직임 및 렌즈 상태를 트래킹(tracking)하여 해당 트래킹에 대한 데이터인 트래킹 정보를 생성한다. 이때, 트래킹 정보에 포함된 카메라(200)의 움직임에 대한 데이터는 카메라(200)의 위치 및 각도 등에 관련된 데이터를 포함할 수 있다. 또한, 트래킹 정보에 포함된 렌즈 상태에 대한 데이터는 카메라(200)의 렌즈의 줌(zoom) 및 포커스(focus) 등에 관련된 데이터를 포함할 수 있다.

일례로, 트래킹 장치는 실시간 비전 센싱을 기반으로 하는 광학식 방식이거나, 기계의 회전 값을 조합해 계산하는 인코더 방식 등으로 구현될 수 있다. 이러한 트래킹 장치는 제조사 고유의 전송 프로토콜을 가지는 동시에 FreeD라는 UDP 방식의 공용 프로토콜로 카메라(200)의 위치, 각도 및 렌즈 상태(줌 및 포커스)에 대한 데이터를 포함하는 트래킹 정보를 전달할 수 있다.

재생 장치(300)는 컴퓨팅(computing)이 가능한 전자 장치로서, 실시간 렌더링 CG(computer graphics)를 위한 정보(즉, LED 벽체(100)에 표시될 미디어에 대한 정보)를 저장하고 있고 해당 미디어를 재생할 수 있다. 특히, 재생 장치(300)는 트래킹 장치로부터 전달된 카메라(200)의 트래킹 정보에 기반한 연동 영상(이하, 이를 "카메라 트래킹 연동 연상"이라고 지칭할 수도 있음)가 LED 벽체(100)에 표시되도록 재생할 수 있다. 이때, 카메라 트래킹 연동 영상을 재생하는 재생 장치(300)를 "N 플레이어"라고도 지칭할 수 있다.

이때, 카메라 트래킹 연동 영상은 카메라(200)의 움직임 및 렌즈 상태를 반영하여 재생되는 미디어의 컨텐츠가 변경되는 영상이다. 즉, 카메라(200)가 움직이거나 렌즈 상태가 변동되는 경우, 가상 공간의 컨텐츠를 촬영(캡처)하는 가상 카메라(VC)가 해당 변경에 따라 함께 가상 공간 내에서 연동되면서, 해당 가상 공간 내의 컨텐츠에 대한 위치 또는 각도 등이 변경된 영상(즉, 카메라 트래킹 연동 영상)이 가상 카메라(VC)에서 촬영되며, 이와 같이 촬영된 카메라 트래킹 연동 연상이 재생 장치(200)에 의해 재생되면서 LED 벽체(100)에 표시될 수 있다. 이를 위해, 카메라(200)의 움직임 및 렌즈 상태를 파악하는 트래킹 장치가 해당 트래킹 정보를 재생 장치(300)로 전달하며, 재생 장치(300)는 전달받은 트래킹 정보에 기반한 카메라 트래킹 연동 영상을 재생한다.

예를 들어, 전자 장치는 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 태블릿 PC(tablet personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 스마트패드(smart pad) 또는 미디어 재생 장치 등일 수 있으나, 이에 한정되는 것은 아니다.

일례로, 재생 장치(300)는 LED 벽체(100)의 n개 소단위 디스플레이를 각각 담당하여 재생하도록 구비될 수 있다. 특히, N 플레이어의 경우, 카메라 트래킹 연동 영상에 따른 데이터가 많으므로, 각 소단위 디스플레이를 담당하여 분할된 카메라 트래킹 연동 영상을 재생하는 n개의 N 플레이어가 구비될 수도 있다.

즉, N 플레이어는 LED에 표시되는 가상 공간 영상을 n개의 구역으로 나누어 재생하는 플레이어이다. 따라서, n개의 N 플레이어는 n개의 렌더링 가능한 각 전자 장치에서 실행되며 각 N 플레이어는 제어 프로그램과 실시간 통신하며 제어 신호를 주고받게 된다. 다만, N 플레이어의 경우, 단순히 큰 영상을 큰 화면에 분할하여 표시하는 방식이 아닐 수 있다. 가령, In Camera VFX 촬영을 위해, N 플레이어는 실제 카메라(200)의 움직임 및 렌즈 상태를 가상 카메라에 그대로 투영하여 실제 카메라(200)의 렌즈에 담기는 영역(프러스텀)을 다른 영역 보다 높은 해상도로 시각화하고, LED 벽체(100)의 형태를 반영 및 왜곡할 수 있다. 이에 따라, 카메라(200)의 뷰 파인더의 시선에서 봤을 때에는(즉, 카메라(200)에서 촬영된 제1 영상에서는), LED 벽체(100)에서 표시되는 미디어에 따른 가상 공간이 마치 실제 입체 공간처럼 표시될 수 있다.

도 2는 본 발명의 일 실시예에 따른 시스템(10)을 이용한 버추얼 프로덕션 촬영의 개념도를 나타낸다.

즉, 도 2를 참조하면, 카메라(200)를 통해 실사 영상인 제1 영상(V1)이 촬영되는데, 이때 트래킹 장치가 카메라(200)의 움직임 및 렌즈 상태에 대한 트래킹 정보를 생성하며, 생성된 트래킹 정보는 재생 장치(300)로 전달된다. 물론, 트래킹 장치와 재생 장치(300)의 사이에 트래킹 정보를 트래킹 장치로부터 수신하여 재생 장치(300)로 전달하는 서버(미도시)가 포함될 수 있다. 이후, 재생 장치(300)에서는 전달받은 트래킹 정보에 기반하여 연동되는 가상 공간의 컨텐츠(B)를 담은 제2 영상(V2)(즉, 카메라 트래킹 연동 영상)의 미디어가 LED 벽체(100)에 표시되도록 재생한다.

이때, 가상 공간의 컨텐츠(B)는 게임 엔진 등에 의해 생성되는 실시간 렌더링 CG(computer graphics)로서, 카메라(200)의 움직임 및 렌즈 상태를 트래킹하는 트래킹 정보에 연동되어 변화될 수 있는 컨텐츠에 해당한다. 일례로, 가상 공간의 컨텐츠는 언리얼 엔진(unreal engine) 또는 Unity3d 엔진 등에 의해 제작된 미디어일 수 있으나, 이에 한정되는 것은 아니다.

가상 공간의 컨텐츠(B)는 상술한 사전 기획 단계에서 미리 마련된 CG 컨텐츠로서, 카메라 트래킹 연동 영상의 컨텐츠에 해당하며, 3차원 가상 컨텐츠가 있는 가상 공간에서 가상 카메라(VC)가 3차원 가상 컨텐츠 중에서 촬영(획득)한 부분에 해당한다. 이때, 재생 장치(300)는 가상 공간 내 기준 위치에서 가상 카메라(VC)가 트래킹 정보에 연동하여 움직임 및 렌즈 상태가 변경되면서 해당 가상 공간의 컨텐츠(B)를 촬영하도록 함으로써, 제2 영상(V2)을 생성하여 재생할 수 있다.

도 3 및 도 4는 도 2에 따른 촬영 중에 카메라(200)의 이동에 따라 연동되는 가상 카메라(VC)의 이동에 대한 다양한 예를 나타낸다. 다만, 도 4는 도 3에서 기준 위치(R)가 변경된 경우를 나타낸다.

한편, 재생 장치(300)에서 재생되어 LED 벽체(100)에 표시되는 제2 영상(V2)은 카메라(200)의 움직임 및 렌즈 상태를 반영한 가상 공간의 컨텐츠를 담고 있다. 즉, 본 발명에서, 제2 영상(V2)은 2차원 이미지의 소스를 후술할 영상 처리한 가상 공간의 미디어를 대상으로, 트래킹 정보에 기반하여 움직임 및 렌즈 상태가 연동되는 가상 카메라(VC)가 해당 가상 공간의 미디어를 해당 트래킹 정보에 따라 연동되면서 촬영(캡쳐)함으로써 생성된 것일 수 있다.

이에 따라, 재생 장치(300)는 트래킹 정보에 기반하여 연동되는 가상 공간의 컨텐츠(B)를 담은 제2 영상(V2)을 생성하여 LED 벽체(100)에서 표시되도록 재생하며, 이러한 재생 상태에서 카메라(100)에 의해 촬영된 제1 영상(V1) 내에는 인물(A) 또는 사물(O)과, LED 벽체(100에 표시되는 제2 영상(V2)의 컨텐츠(B)(즉, 2차원 이미지의 소스를 후술에 따라 영상 처리한 입체적인 이미지의 컨텐츠)가 함께 포함될 수 있다.

일례로, 도 3 및 도 4에 도시된 바와 같이, 카메라(200)가 제1 위치에서 제2 위치로 이동하는 경우, 기준 지점(R)을 기준으로 해당 위치 변경을 반영하여 가상 카메라(VC)도 위치가 변경되면서 가상 공간의 컨텐츠(B)가 촬영되어 제2 영상에 포함될 수 있다.

즉, 도 3의 경우, 가상 공간의 자동차의 컨텐츠(B)의 측면에 대해 기준 지점(R)을 잡아 촬영 중인 가상 카메라(VC)가 카메라(200)의 일 방향의 움직임에 연동될 수 있다. 이에 따라, 가상 공간의 자동차의 컨텐츠(B)의 측면에 대해 해당 일 방향을 따라 위치가 변경되면서 촬영한 해당 컨텐츠(B)의 측면 부분이 제2 영상에 포함될 수 있다. 또한, 도 4의 경우, 가상 공간의 자동차의 컨텐츠(B)의 정면에 대해 기준 지점(R)을 잡아 촬영 중인 가상 카메라(VC)가 카메라(200)의 일 방향의 움직임에 연동될 수 있다. 이에 따라, 가상 공간의 자동차의 컨텐츠(B)의 정면에 대해 해당 일 방향을 따라 위치가 변경되면서 촬영한 해당 컨텐츠(B)의 정면 부분이 제2 영상에 포함될 수 있다.

도 5은 재생 장치(300)의 블록 구성도를 나타낸다.

이러한 재생 장치(300), 도 5에 도시된 바와 같이, 입력부(310), 통신부(320), 디스플레이(330), 메모리(340) 및 제어부(350)를 포함할 수 있다.

입력부(310)는 다양한 사용자의 입력에 대응하여, 입력데이터를 발생시키며, 다양한 입력수단을 포함할 수 있다. 예를 들어, 입력부(310)는 키보드(key board), 키패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 터치 키(touch key), 터치 패드(touch pad), 마우스(mouse), 메뉴 버튼(menu button) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

통신부(320)는 다른 장치와의 통신을 수행하는 구성이다. 가령, 통신부(320)는 FreeD의 프로토콜을 통해 트래킹 정보를 트래킹 장치 또는 서버 등으로부터 수신할 수 있다. 예를 들어, 통신부(320)는 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), 블루투스, BLE(bluetooth low energy), NFC(near field communication), 와이파이(WiFi) 통신 등의 무선 통신을 수행하거나, 케이블 통신 등의 유선 통신을 수행할 수 있으나, 이에 한정되는 것은 아니다.

디스플레이(330)는 다양한 영상 데이터를 화면으로 표시하는 것으로서, 비발광형 패널이나 발광형 패널로 구성될 수 있다. 가령, 디스플레이(330)는 제1 영상 또는 제2 영상을 표시할 수 있다. 예를 들어, 디스플레이(330)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이(330)는 입력부(310)와 결합되어 터치 스크린(touch screen) 등으로 구현될 수도 있다.

메모리(340)는 재생 장치(300)의 동작에 필요한 각종 정보를 저장한다. 가령, 메모리(340)의 저장 정보로는 제1 영상, 트래킹 정보, 실시간 렌더링 CG에 대한 정보, 제2 영상, 합성 영상, 제어 프로그램, 후술할 처리 방법에 관련된 정보 등이 포함될 수 있으나, 이에 한정되는 것은 아니다.

예를 들어, 메모리(340)는 그 유형에 따라 하드디스크 타입(hard disk type), 마그네틱 매체 타입(magnetic media type), CD-ROM(compact disc read only memory), 광 기록 매체 타입(optical Media type), 자기-광 매체 타입(magneto-optical media type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 플래시 저장부 타입(flash memory type), 롬 타입(read only memory type), 또는 램 타입(random access memory type) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 메모리(340)는 그 용도/위치에 따라 캐시(cache), 버퍼, 주기억장치, 또는 보조기억장치이거나 별도로 마련된 저장 시스템일 수 있으나, 이에 한정되는 것은 아니다.

제어부(350)는 재생 장치(300)의 다양한 제어 동작을 수행할 수 있다. 즉, 제어부(350)는 메모리(340)에 저장된 제어 프로그램 및 후술할 처리 방법에 대한 수행을 제어할 수 있다. 또한, 제어부(350)는 재생 장치(300)의 나머지 구성, 즉 입력부(310), 통신부(320), 디스플레이(330), 메모리(340) 등의 동작을 제어할 수 있다. 예를 들어, 제어부(350)는 하드웨어인 적어도 하나의 프로세서(processor)를 포함하며, 해당 프로세서에서 수행되는 소프트웨어인 프로세스(process) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 일례로, 프로세서는 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

이하, 2차원 이미지(또는 "평면 이미지"라고도 지칭함)의 소스(또는 "평면 소스"라고도 지칭함)를 LED 벽체(100)에 표시할 경우에 카메라(100)에서 촬영되는 제1 영상이 보다 입체적으로 보일 수 있도록 해당 2차원 이미지의 소스를 영상 처리(즉, 평면 소스의 입체화)하는 방법에 대해 설명하도록 한다.

먼저, 평면 소스 입체화를 위한 기술의 필요성에 대해 설명하도록 한다.

<평면 소스의 입체화를 위한 기술의 필요성>

버추얼 프로덕션의 촬영을 위해, LED 벽체(100)에 표시되는 퀄리티 있는 실사급 렌더링 소스를 빠르게 확보하기 어려운 한계가 있다. 이는 기존의 '후반 합성 방식'과 버추얼 프로덕션의 '실시간 렌더링' 사이에는 가상 공간을 구성하는 기본 단위인 3D Asset 제작 방식에 차이가 있기 때문이다. 즉, 기존 '프리 렌더링' 방식에서의 3D Asset은 Mesh의 정점(Vertex) 수를 늘려가며 물체의 형태를 만든 후 그대로 렌더링에 사용한다. 반면, 게임 엔진을 기반으로 하는 버추얼 프로덕션의 '실시간 렌더링'을 위해서는 물체의 형태를 결정하는 복잡한 Vertex 정보를 최대한 Texture 형식으로 변환하여 Mesh의 Vertex 수를 줄이는 단순화, 즉 최적화 과정을 거쳐야 한다. 이에 따라, 버추얼 프로덕션에서는 이러한 과정에서의 추가적인 제작 기술, 인력 및 시간 등이 필요하다. 따라서, 최근 들어, VFX 업체들은 리얼 타임용 Asset들을 판매하는 상용 마켓(가령, Quixel 등)을 이용하거나 자체적인 Asset 라이브러리를 구축하고 있다. 그럼에도 현실 속 장소나 특징적인 배경을 담고 있는 실사 촬영 소스을 자유롭게 이용하거나 극사실 수준의 퀄리티를 가진 Asset을 빠르게 확보하는 데에는 상당한 어려움을 겪고 있다.

(1) 실시간 렌더링 용 3D Asset 최적화의 어려움

버추얼 프로덕션의 실시간 렌더링을 위한 3D Asset 제작의 핵심은 가벼워야 한다는 점이다. 즉, 고사양 서버에서 프레임(frame)당 수분(minute)에서 몇 시간(hour)의 렌더링 시간이 허용되는 프리 렌더링(사전 렌더링) 방식과 달리, 게임 엔진은 초당 30frame 내지 60frame에 이르는 장면을 매 순간 렌더링하는 방식이다. 따라서, 배경을 구성하는 3D Asset의 형태를 구성하는 정점(Vertex)의 수는 최소화되어야 하며 시각적 디테일을 결정하는 여러 정보들은 상대적으로 부하가 적은 normal map, ambient occlusion map 등의 PBR Texture 를 통해 표현되어야 한다. 이처럼 실시간 렌더링 용 3D Asset 제작은 성능 최적화를 위한 별도의 과정과 함께, 그 전문성을 가진 인력을 필요로 한다. 한가지 덧붙이면, 이러한 최적화 작업에 익숙한 게임 회사들의 제작 파이프라인과 달리, 영화나 드라마의 CG를 주로 다루는 VFX 기업들의 경우, Asset 최적화 작업이 가능한 인력이나 전문성이 부족한 상황이다.

(2) 실사 수준의 CG 퀄리티를 내기 어려움(게임 엔진 특유의 CG스러움 개선 필요)

버추얼 프로덕션은 기본적으로 Unreal 또는 Unity3d와 같은 게임 엔진을 통해 공간의 위치, 배경의 구성, 빛의 각도 등의 시각적 요소들을 촬영 현장에서 즉각적으로 변경할 수 있다는 큰 장점을 가지고 있다. 그래픽의 품질 또한 Realtime Raytracing이나 DLSS과 같은 하드웨어 가속 기술 등으로 인해 빠른 속도로 개선이 되고 있다.

하지만, 실시간 렌더링의 CG 품질은 필연적으로 기존의 프리 렌더링 방식이나 실사 촬영과 비교하여 다소 떨어질 수밖에 없다. 특히, 빛의 반사나 표면의 디테일 혹은 그림자의 자연스러움 등은 여전한 숙제로 남아있다. 따라서, 현재의 게임 엔진 기반 버추얼 프로덕션 기술은 약간의 CG스러움이 허용되는 SF영화나 판타지 장르에서 주로 많이 사용되고 있다.

물론, 사진 기반 공간 스캔(Photogrammetry)이나 레이저 스캔을 통해 현실 공간 자체를 통째로 스캔하고 그것을 최적화하여 사용할 경우, 게임 엔진을 통해서도 상당한 수준의 실사급 표현이 가능해진다. 이 역시 별도의 공간 스캔 작업과 Asset 최적화 과정을 반드시 필요로 하며 상당한 시간과 테크닉을 필요로 한다. 따라서, 버추얼 프로덕션 시장을 더욱 확대하고, 효율성 극대화라는 장점을 발휘하기 위해서는, 실사 수준의 배경 Asset을 빠르고 효과적으로 제작할 수 있도록 하는 다양한 기술들이 필요하다.

따라서, 본 발명에서는 일반적인 2차원 이미지의 소스를 활용하여 빠르고 손쉽게 공간 구성용 Asset을 제작하는 기술을 제안하고자 한다. 즉, 기존의 3D Asset을 통한 공간 구성이 아닌, 평면 소스(사진, 영상)에 거리 별 계층을 만들고 두께감을 부여하는 방법을 제공함으로써, CG 디자이너들로 하여금 조건과 상황에 따라 선택할 수 있는 옵션의 범위를 확장하고자 한다.

다음으로, 평면 소스가 가지는 입체감 제약 문제에 대해 설명하도록 한다.

<평면 소스의 입체감 제약 문제>

CG의 가상 공간은 입체적 정보로 구성된 Mesh 데이터로 채워진다. Mesh는 정점(Vertex)이라는 3차원 상의 점으로 구성되며 표면은 texture라는 이미지로 덮히게 된다. 이때. Mesh의 표면이 빛에 반응하는 방식, 즉 재질감(Material)은 Shader 코드로 결정되며, 이를 통해 Mesh로 구성된 가상 공간 안에서 자유로운 이동 및 탐색이 가능하다.

반면, 일반적인 사진이나 영상으로 대표되는 '평면 소스'는 특정 공간이 카메라 렌즈의 화각을 기반으로 하는 네모틀 (Frustum)로 압축된 상태이며 자유로운 변형은 불가하다. 즉, 원경의 물체와 근경의 물체가 거리에 관계없이 Frustum이라 는 평면상에 모두 압축되어 기록되는 것이다. 이렇게 촬영된 평면 소스의 경우, 사진의 가운데에서 서서 본다고 가정하면 가까운 물체는 크게 보이고 먼 물체는 작게 보이는 원근감으로 인해 어느정도 공간으로 인식되게 된다. 다만 커다란 사진 액자를 앞에 놓고 볼 때, 사진의 중심을 벗어나 좌우로 이동하게 될 경우, 그 즉시 우리 눈은 그것이 입체가 아니고 평면 이라는 것을 인지하게 된다. 이러한 입체감 붕괴 이슈를 이해하기 위해서는 먼저 사람이 공간을 입체로 인지하는 방식에 대한 이해가 필요하다.

사람이 공간을 평면이 아닌 입체적으로 느끼게 하는 것은 '공간 감각'이다. 2개의 눈으로 들어오는 평면의 정보들을 조합 하여 거리감을 파악하거나 Parallax Effect(시차 효과) 혹은 소실점 등의 부분적인 정보들을 통해 공간을 추론하는 과정을 거친다. 물론 달팽이 관을 통한 평형 인식을 통한 물리적 움직임까지도 더해져 자신과 공간의 관계를 실시간으로 파악할 수 있게 되는 것이다.

여기서 중요한 점은 사람이 공간감을 형성할 때, 단일 방식에만 절대적으로 의존하는 것이 아니라 실시간으로 여러 정보 들을 조합하여 추론을 통해 판단한다는 것이다. 시감각과 평형감각의 정보가 상이할 경우, 발생하는 멀미가 좋은 예시이다.

따라서, 본 발명에서는 2차원 이미지의 소스에 대해 최대한 입체처럼 보이게 하는 방법을 제안하고자 한다. 이를 위해, 아래에 나열된 '사람이 공간감을 형성하는 방법'들 중 최대한 많은 요소들을 사용하여 기존의 평면 소스를 변형하여 빠르고 손쉽게 공간 구성용 Asset을 제작할 수 있는 기술을 제시하고자 한다.

다음으로, 사람이 공간감을 형성하는 방법에 대해 설명하도록 한다.

<사람이 공간감을 형성하는 방법>

1) 양안 시차에 의한 입체 공간 인지

첫번째로, 사람은 두 눈 사이의 거리로 인해 생기는 상의 차이(즉, 양안 시차)를 통해 입체적인 공간을 인지함으로써 공간감을 인식할 수 있다. 이같은 원리를 이용하여 2개의 카메라로 촬영한 2개의 영상을 각각 좌우 눈으로 인지하도록 하는 3D 영화가 유행한 적이 있다. 다만, 본 발명에서는 3D 입체 영상은 다루지 않는다. (3D 입체 영상은 멀미감, 제작 효율성 등으로 인해 최근에는 잘 사용되지 않고 있음)

2) 좌우 이동 시 Parallax Effect(시차 효과)로 인한 공간감 인식

두번째로, 사람은 Parallax Effect(시차 효과)를 기반으로 공간감을 인식할 수 있다. 이때, 시차 효과는, 특정 공간을 보면서 좌우로 이동할 경우, 근경의 물체는 빠르게 지나가고 원경의 물체는 느리게 지나가는 현상을 의미한다. 영화에서도 카메라가 천천히 옆으로 이동하면서 공간의 깊이감을 표현 하는 기법이 자주 사용된다. 현실 세계에서 이같은 시차 효과는 너무나도 당연한 것이지만, 만약 큰 사진을 앞에 놓고 좌 우로 이동할 경우, 근경과 원경 관계없이 모든 사물이 동일한 속도로 지나갈 것이다. 그럴 경우, 사람은 그것을 공간이 아닌 벽 혹은 평면이라 인식하게 된다. 이 같은 이유로 일반 사진이나 영상을 대형 LED 벽체에 틀어 놓고 촬영하는 기법은 매우 조심스럽게 활용되어야 한다. 특히, 카메라를 고정하고 촬영하는 경우는 관계없으나, 카메라를 움직이는 순간 상당한 부자 연스러움이 느껴지게 되며, 마치 그림 세트를 배경으로 찍은 5~60대 영화처럼 보이게 된다.

도 6은 소실점에 대한 일 예를 나타낸다.

3) 소실점(Vanishing Point)과 Perspective에 의한 깊이감 인지

세번째로, 도 6에 도시된 바와 같이, 사람은 소실점(Vanishing Point)을 기반으로 깊이감을 인지함으로써 공간감을 인식할 수 있다. 이때, 소실점은 평행하는 두 직선이 멀어질수록 가까워져 결국 만나게 되는 현상을 의미한다. 이러한 소실점은 기찻길의 선로가 멀어질수록 한곳으로 모이는 현상으로 설명할 수 있다. 실제로 사람은 공간 속 에 배치된 물체들의 형태나 바닥의 패턴 등을 통해 자연스럽게 소실점과 Perspective를 인식하고 그것을 바탕으로 멀고 가까움을 판단할 수 있다. 이같은 가상의 시차 구조(Perspective)는 보는 사람의 위치에 따라 실시간으로 변하게 된다. 하지만, 평면 사진의 경우, 촬영 지점을 기준으로 소실점이 이미 고정되어 있으므로, 사람의 보는 위치가 바뀌어도 소실점이 변하지 않게 되고 사람의 뇌는 즉각적으로 입체가 아니라고 인식하게 된다.

4) 빛의 방향과 물체의 명암을 통한 입체 형태 파악

네번째로, 사람은 빛의 방향과 물체의 명암을 통해 입체 여부를 파악함으로써 공간감을 인식할 수 있다. 즉, 광원과 마주한 면은 밝고 반대면은 어두워진다는 원리로 사람은 특정 물체의 입체감을 추정할 수 있다. 평면 사진의 경우, 명암이 표현되어 있긴 하지만, 촬영 당시 대상에 드리워진 조명이므로, 결과적으로 빛의 방향을 바꿀 수 없다는 한계를 가지고 있다.

5) 안구의 초점 변화를 통한 거리감 인식

다섯번째로, 사람은 안구의 초점 변화를 통해 거리감을 인식함으로써 공간감을 인지할 수 있다. 영화 촬영 시에도 카메라의 초점을 근경의 인물에서 원 경으로 조정하는 방식으로 공간감을 표현하기도 한다. 실제 공간이든 가상 공간 속에서든 초점을 변경하며 대상을 파악하기 위해서는, 대상이 입체(즉, 부피감)을 가지고 있어야 한다. 하지만, 사진의 경우, 입체 정보인 Mesh와 달리 Frustum이라는 평면틀 안에 모든 깊이 정보가 압축되어 있으므로 부피감을 가질 수 없고, 초점 또한 바꿀 수 없다.

도 7은 포그 현상에 대한 일 예를 나타낸다.

6) 대기 먼지의 밀도로 인한 포그 현상으로 깊이감 추정

마지막으로, 사람은 대기 먼지의 밀도로 인해 나타나는 포그 현상을 기반으로 깊이감을 추정함으로써 공간감을 인식할 수 있다. 즉, 풍경 사진에서 근경의 물체는 채도와 콘트라스트가 높고 명확하게 보이는 반면 원경의 산은 채도와 콘트라스트가 낮고 흐리게 보이게 된다.

다음으로, 평면 소스가 가지는 한계에 대해 설명하도록 한다.

<평면 소스의 한계>

살펴본 것처럼 사람이 공간을 인지하는 방식은 복합적인데 반해, 평면 소스(사진이나 영상)에는 제한적인 수준의 입체감 요소들(원근감, 소실점, 대기 포그 정도)만이 포함되어 있다. 따라서, 입체 공간인 CG의 환경을 구성하는데 있어서도, 일반적으로 평면적인 사진이나 영상을 그대로 사용하기보다는, 완전한 3차원 정보인 3D Mesh 오브젝트가 주로 사용된다. 평면 소스(2D 사진, 영상)의 경우, 먼산이나 하늘과 같이 원경을 표현하기 위한 '파노라마 이미지' 정도가 제한적으로 사용된다. 하지만, 최근 대형 LED 스튜디오(즉, LED 벽체를 이용한 촬영 공간을 제공하는 스튜디오)에서는 평면 소스를 그대로 이용한 촬영 방식도 많이 사용되고 있다. 하지만, 앞서 살펴본 입체성의 제약으로 인해 상당한 어려움을 겪고 있으며, 아래는 LED 스튜디오에서 평면 소스를 활용한 촬영 시 발생되는 제약 사례들이다.

도 8은 카메라가 LED 벽체의 측면 방향에서 촬영할 경우에 대한 일 예를 나타낸다.

(1) LED 벽체의 양측면에서 사진 속 투시 구조(Perspective)가 무너짐

대형 LED 벽체(LED Wall)에 사진을 크게 배치하고 촬영할 경우, 스튜디오의 중앙에서는 비교적 자연스러운 촬영 결과물을 얻을 수 있다. 그 이유는 렌즈와 센서를 통해 촬영된 모든 평면 이미지는 그것의 정중앙에서만 실제와 동일한 원근감을 느낄 수 있기 때문이다. 하지만, 도 8에 도시된 바와 같이, 카메라가 LED 벽체의 좌우 측면에 인접하도록 이동된 상태에서 촬영이 수행될 경우, 카메라에 촬영된 제1 영상(V1) 내에서 해당 평면 이미지의 사진 속 투시 구조가 실제와 달라지게 되면서 상당한 이질감이 나타나게 된다.

도 9는 LED 벽체가 절곡된 표면 형태를 가질 때에 카메라로 촬영할 경우에 대한 일 예를 나타낸다.

(2) LED 벽체의 표면 형태에 따라 평면 소스가 왜곡됨

촬영을 위해 LED 벽체에 일반 평면 소스를 배치하는 경우, LED 벽체 표면의 형태에 따라 해당 이미지가 그대로 매핑 된다. 하지만, 도 9에 도시된 바와 같이, 평면 이미지가 LED 벽체의 절곡된 부분에 배치되는 경우, 카메라에서 촬영된 제1 영상(V1)에서도 해당 이미지가 절곡된 것처럼 보이게 된다. 이는 물리적으로 당연한 이야기이지만, 이러한 제약은 값비싼 LED 스튜디오를 온전히 활용하는데 매우 큰 제약 사항이 된다.

도 10은 LED 벽체에 단순히 2차원 이미지의 소스를 표시한 상태에서 카메라로 촬영할 때에 나타나는 시차 효과(Parallax Effect) 부재에 대한 일 예를 나타낸다.

(3) 시차 효과(Parallax Effect)의 부재로 공간이 아닌 단순 벽처럼 인식됨

시차 효과(Parallax Effect)란 특정 공간에서 좌우로 이동 시 근경의 물체는 빠르게, 원경의 물체는 느리게 지나가는 것처럼 보이는 현상이다. 사람은 이러한 시차 효과를 통해 대상 공간의 깊이감을 대략적으로 인식할 수 있다. 하지만, 도 10에 도시된 바와 같이, 평면 이미지를 단순히 LED 벽체에 배경으로 배치하고 다양한 위치에 촬영할 경우, 당연히 해당 배경의 시차 효과가 나타나지 않는다. 이에 따라, 이를 시청하는 사람들은 즉시로 LED 벽체에서 표시되는 배경을 공간감 있는 배경이 벽이라 인지하게 된다. 일례로, 드라마 '지리산'의 산행 장면의 CG 합성이 어색하다는 비난이 이슈화된 바 있는데, 이때도 합성용 배경으로 실사 영상이 사용되고, 카메라가 움직이는 순간 부자연스러운 시차 효과로 인해 공감감이 깨지는 문제가 발생한 것이다.

(4) 소스의 촬영 당시 조건과 LED 벽체의 구성을 동일하게 해야함

따라서, 평면 소스를 효과적으로 사용하기 위한 방법 중 하나로, 평면 소스 촬영 시의 카메라 구성(배치, 화각, 거리 등)과 실물 LED 벽체의 구성을 완전히 동일하게 하는 것은 방법이 있다. 이 경우, 자동차 실내 촬영과 같이 특수한 장면에서는 상당히 자연스러운 촬영 결과를 얻을 수 있다. 하지만, 이 방법 또한 차량의 전면 혹인 실내와 같이 매우 제한된 좁은 영역 안에서만 촬영이 가능하다. 또한, LED 스튜디오를 자동차 씬 등 매우 제한된 용도로만 사용해야하는 문제가 있다.

다음으로, 평면 소스이 활용 가능성에 대해 설명하도록 한다.

<평면 소스의 활용 가능성>

앞서 살펴본 것처럼, LED 스튜디오에서 평면 소스를 사용하는 방법에는 상당한 제약이 따른다. 즉, 카메라를 고정하거나 움직임이 있더라도 최소화해야만 자연스러운 결과가 보장된다. 이를 어기고 카메라를 자유롭게 움직이며 촬영할 경우, 1950년대 영화와 같은 촌스러운 합성이 느껴지게 될 것이다.

하지만, 빠르고 쉽게 고품질(사실적 표현, 고해상도)의 데이터를 확보할 수 있는 평면 소스들을 LED 벽체의 배경, 또는 버추얼 프로덕션 컨텐츠의 공간 요소로 사용하고자 하는 요구들은 지속적으로 커지고 있는 실정이다 .따라서, 본 발명에서는 평면 소스의 장점과 단점 분석을 기반으로, 평면 소스가 입체처럼 보이게 하는 여러 요소들을 부여하여 장점을 극대화하고자 한다.

다음으로, 버추얼 프로덕션의 실시간 공간 렌더링 특성을 이용하는 동시에, 최대한 많은 입체감 형성 요소들을 평면 소스에 적용하여, 촬영의 자유도를 높일 수 있도록 하는 본 발명의 일 실시예에 따른 처리 방법(이하, "본 방법"이라 지칭함)에 대해서 설명하도록 한다.

본 방법은 재생 장치(300)의 제어부(350)의 제어에 따라 수행되는 영상 처리 방법으로서, 평면 이미지의 소스(즉, 평면 소스)에 대해 입체화가 이루어지도록 해당 평면 이미지를 영상 처리하는 방법이다. 즉, 본 방법은 평면 이미지와 관련하여 카메라(100)에서 촬영되는 제1 영상이 보다 입체적으로 보일 수 있도록 해당 평면 이미지에 대한 입체화의 영상 처리를 수행한다. 이에 따라, 평면 이미지의 소스를 본 방법에 따라 영상 처리한 이미지가 재생 장치(300)에 의해 재생되어 LED 벽체(100)에 표시되면서, LED 벽체(100)의 표시부를 촬영하는 카메라(100)의 제1 영상은 보다 입체적으로 보일 수 있게 된다.

이를 위해, 본 방법에서 활용되는 평면 소스의 입체화 과정에 대해서 설명하도록 한다. 이러한 입체화 과정은 재생 장치(300)의 제어부(350)의 제어에 따라 수행될 수 있다.

<평면 소스의 입체화 과정>

도 11 및 도 12는 애너모픽(Anamorphic) 왜곡에 대한 개념도의 예들을 나타낸다.

(1) 제1 과정: 평면 소스를 버추얼 프로덕션의 가상 공간 안에 배치

먼저, 평면 소스를 LED 벽체(100)에 그대로 표출하는 것이 아닌, Virtual Production 컨텐츠의 가공 공간 안에 배치한다. 이때, Virtual Production의 방식 중 ICVFX(In camera VFX)는 LED 벽체(100)의 형태와 관계없이, 카메라(200)의 시점에서는 CG가 정상적으로 보일 수 있도록, 카메라(200)에 대향하는 LED 벽체(100)의 위치 또는 형태에 따라 해당 CG를 영상 처리하여 LED 벽체(100)에 출력될 그래픽을 역으로 왜곡하는 기법이다. 이러한 방식을 "Anamorphic 왜곡(또는 Anamorphic 매핑)"이라고 지칭하기도 한다.

일례로, 도 11을 참조하면, LED 벽체(100)의 하부 쪽으로 절곡된 디스플레이에 표시되는 CG 부분은 해당 하부 방향을 따라 길게 늘어나게 표시되도록 영상 처리될 수 있으며, LED 벽체(100)에서 좌측 방향으로 절곡된 디스플레이에 표시되는 CG 부분은 해당 좌측 방향을 따라 늘어나게 표시되도록 영상 처리될 수 있다. 반면, 카메라(200)에 대해 거의 정면으로 대향하는 LED 벽체(100)의 디스플레이에 표시되는 CG 부분은 원본 CG 부분과 거의 유사하게 표시되도록 영상 처리될 수 있다.

이같은 방식을 적용할 경우, 카메라(200)에서 촬영된 제1 영상에서, LED 벽체(100)의 형태는 사라지고, 가상 세계의 CG가 변경 없이 그대로 보이게 되면서, 해당 CG가 LED 벽체(100)의 물리적 크기만큼 뚫린 것처럼 보이게 된다. 즉, LED 벽체(100)라는 뚫어진 창문을 넘어, 다른 세계를 보는 것과 동일한 개념이다. 따라서, 본 발명에서 제안하는 평면 이미지에 대한 평면 Plate와, 해당 평면 Plate에 대해 입체화를 위해 영상 처리한 객체(즉, 곡면 Plate 또는 Layered Plate 등)는 기본적으로 가상 공간(즉, CG 공간) 안에 배치되며, ICVFX 기법을 통해 LED 벽체(100)와 관계없이 정상적으로 시각화 됨을 전제로 한다.

특히, 앞서 살펴본 평면 소스의 한계 사례들 중, LED 벽체(100)의 물리적 형태에 따라 평면 소스가 왜곡되어 보이는 문제의 경우, 도 12에 도시된 바와 같이, 가상 공간 안에 평면 소스의 플레이트(Plate)(이하, "평면 Plate"라고도 지칭함)를 배치하고 해당 평면 Plate를 촬영한 가상 카메라(VC)의 제2 영상에 대해 실제 촬영 카메라(100)의 시점을 중심으로 Anamorphic 매핑의 영상 처리를 하여 LED 벽체(100)에 표시함으로써, 자연스럽게 해결할 수 있다. 다만, 이 방법을 사용하더라도 LED 벽체(100)의 형태로 인한 왜곡은 해결할 수 있지만, 소스 자체는 여전히 평면이기에 입체감 차체를 얻는 것은 아니다. 현재 단계에서 보면, 카메라(100)에서 촬영된 제1 영상의 경우, LED 벽체(100)의 크기만큼 뚫어진 커다란 공간 너머로 큰 사진 액자가 하나 배치되어 있는 것처럼 보일 것이다.

도 13은 평면 Plate(기준 평면)를 이용하여 곡면 Plate를 생성하는 개념도를 나타낸다.

(2) 제2 과정: 실제 공간의 입체성을 고려한 곡면 Plate 생성

앞서 가상 공간(CG) 안에 배치한 평면 Plate에 다양한 입체감 요소를 부여하는 단계이다. 이를 통해 실제 카메라(200)의 시점에서 볼 때, 최대한 실제와 동일한 시각적 장면을 얻을 수 있음과 동시에, 카메라(200)의 움직임 제약을 상당 부 분 극복할 수 있게 된다.

그 첫번째 단계로 가상 공간에서 평면 Plate를 이용하여 기준 위치에 대해 오목한 형태(즉, 평면 Plate를 향하는 면이 오목한 형태)인 반구형의 곡면 Plate의 Mesh를 생성하는 것이다. 이때, 중요한 점은 평면 Plate에 매핑된 평면 이미지나 곡면 Plate에 매핑된 곡면형 이미지가 모두 가상 카메라(VC)의 촬영 원점(즉, 기준 위치)에서 바라봤을 때 완전히 동일하게 보여야 한다는 점이다. 즉, 기준 위치는 가상 카메라(VC)가 평면 Plate의 중심 지점에서 일정 간격으로 이격된 위치이다. 이때, 기준 위치에 배치된 가상 카메라(VC)가 일정 간격 이격된 평면 Plate를 촬영할 경우, 가상 카메라(VC)에 촬영된 제2 영상에 평면 Plate에 해당하는 평면 이미지가 정확히 매칭된다(즉, 제2 영상에 평면 이미지가 꽉 채워지게 됨. 이하, 이와 같은 배치를 "기준 배치"라고도 지칭함).

또한, 기준 배치가 수행된 평면 Plate를 기준 위치에서 가상 카메라(VC)가 볼 경우, 해당 평면 Plate를 "기준 평면"이라 지칭할 수도 있다. 이러한 기준 평면에 대한 기준 배치는 해당 평면 Plate의 소스인 평면 이미지가 촬영될 당시의 카메라 세팅 상태에 대한 정보(즉, 촬영 정보)를 이용하면 쉽게 수행될 수 있다. 이때, 촬영 정보는 해당 촬영 당시 카메라의 센서 크기, 화각(Focal Length) 등을 포함할 수 있다.

곡면 Plate를 생성하기 위해, 기준 평면을 이루는 각 정점(Vertex)과, 곡면 Plate를 이루는 각 정점은 기준 위치를 원점으로 하여 대응하는 것이 바람직하다. 즉, 기준 위치에서 기준 평면을 향해 각 정점에 대한 연장선을 그을 때, 해당 연장선이 기준 평면과 만나는 기준 평면의 정점에 표시되는 이미지와, 해당 연장선이 곡면 Plate와 만나는 곡면 Plate의 정점에 표시되는 이미지는 완전히 동일해야 한다. 이때, 각 연장선에서, 기준 위치와 곡면 Plate의 각 정점 간의 거리는 동일한 거리(k)를 가짐으로써, 곡면 Plate가 반구 형태로 형성될 수 있다.

즉, 도 13을 참조하면, 제1 연장선은 기준 평면의 제1 지점(A)과 곡면 Plate의 제2 지점(A'')과 만나며, 제2 연장선은 기준 평면의 제3 지점(B)과 곡면 Plate의 제4 지점(B'')과 만난다. 이때, 제1 지점(A)의 이미지는 제2 지점(A'')의 이미지와 동일하고, 제3 지점(B)의 이미지는 제4 지점(B'')의 이미지와 동일하다. 또한, 기준 위치와 제2 지점(A'') 간의 길이에 해당하는 제1 연장선의 길이(k)는 기준 위치와 제4 지점(B'') 간의 길이에 해당하는 제2 연장선의 길이(k)와 동일하다 이러한 조건은 나머지의 기준 평면 및 곡면 Plate의 각 정점에 대해 동일하게 적용된다. 이하, 기준 위치와 곡면 Plate 간의 거리(k)를 "곡면 이격 거리"라 지칭할 수도 있다. 이러한 곡면 이격 거리는 입력부(310)를 통해 사용자로부터 선택 입력될 수 있다.

일례로, 다음의 단계(가상 공간에서 수행됨)를 따라 곡면 Plate의 Mesh를 생성할 수 있다.

1) 평면 소스로부터 기준 평면을 위한 Mesh를 가상 공간에 하나 생성한다. 이때 Mesh의 정점(Vertex) 개수는 설정된 그리드 개수를 기준으로 한다.

2) 평면 소스의 촬영 당시의 정보(카메라 센서 사이즈, 렌즈 화각 등)를 기반으로 기준 위치로부터 일정 간격 이격된 거리에 기준 평면을 위치시켜 기준 배치를 수행한다.

3) 기준 평면의 Mesh를 복사하여 동일한 정점(Vertex)과 uv(이미지 매핑 정보)를 가지는 레이어 Mesh를 특정 위치에 생성한다. 그 위치는 사전에 입력된 레이어 distance 값이다. 이 값이 '기준 위치'와 '레이어 Mesh'의 중심점 사이의 거리(곡면 이격 거리)인 k가 된다.

4) 레이어 Mesh의 각 정점들의 위치는 기준 위치에서 출발하여, 기준 평면 Mesh의 동일 정점(Vertex)를 지나면서 길이가 k가 되는 지점으로 재조정 된다.

5) 이를 통해, 자연스럽게 가운데 부분의 각 정점들은 멀어지고 가장자리 정점들은 가까워지는 곡면 Plate의 Mesh로 재구성된다. 즉, 화각이 커질수록 거리(k)가 멀어질수록, 생성되는 곡면 Plate의 Mesh 형태는 더욱 반구에 가까워지게 된다. 또한, 거리(k)가 멀어질수록, 생성되는 곡면 Plate는 보다 넓은 면적을 가지게 된다.

6) 최종적으로 가상 카메라(VC)가 기준 위치에서 평면 Plate 및 곡면형 Plate를 바라볼 경우, 평면 Plate의 이미지와 곡면 Plate의 이미지는 완벽하게 동일하게 보이게 된다.

이처럼 기준 위치에서 바라볼 경우, 기준 평면의 평면 Plate와 동일하게 보이는 별도의 곡면 Plate를 만드는 이유는 보다 실제에 가까운 원근감을 제공하기 위함이다. 즉, 깊이감이 있는 입체적 공간을 하나의 평면으로 압축한 결과물인 사진의 경우, 정확하게 이미지의 정중앙을 바라볼 때만 실제와 동일한 뷰가 된다. 하지만, 사진 속의 실제 공간에 서있다고 생각해보면, 촬영자를 중심으로 모든 환경이 둥글게 감싸고 있는 형상이다.

도 14는 가상 카메라로 평면 Plate를 촬영할 경우에 대한 일 예를 나타내며, 도 15는 가상 카메라로 곡면 Plate를 촬영할 경우에 대한 일 예를 나타낸다.

도 14 및 도 15를 참조하면, 가상 카메라(VC)가 각 Plate에 대해 정중앙이 아닌 좌측으로 편향되어 바라보고 있다. 따라서, 공간을 감싸는 구조로 되어 있는 곡면 Plate의 경우, 도 15에 도시된 바와 같이, 빈 부분 없이 제2 영상이 촬영이 되나, 평면 Plate의 경우, 도 14에 도시된 바와 같이, 빈 곳을 포함하는 제2 영상이 촬영되는 것을 볼 수 있다. 또한, 실제 세상과 같이 가상 카메라(VC)를 중심으로 해당 가상 카메라(VC)를 감싸는 형태로 되어 있는 곡면 Plate에 대한 제2 영상이 편면 Plate에 대한 제2 영상 보다 자연스럽게 표현되는 것을 볼 수 있다.

이같은 자연스러움의 차이는 정지된 이미지가 아닌 가상 카메라(VC)가 움직일 경우에 더욱 도드라지게 된다. 즉, 가상 카메라(VC)가 움직이면, 평면 Plate의 원경은 멀리 있는 느낌보다는 바로 앞 벽에 걸린 액자처럼 보이게 된다. 결론적으로, 곡면 Plate를 사용할 경우, 평면 Plate에 비해 가상 카메라(VC)가 움직일 수 있는 범위가 훨씬 늘어나게 된다. 특히, 가상 카메라(VC)에 대해 위치뿐 아니라 방향(Pan, Tilt)을 변경하여도 왜곡이 없는 결과물(즉, 제2 영상)을 얻을 수 있게 된다.

물론, 기존에도 CG 업계에서는 'HDRI 파노라마 사진'을 구체(Sphere)의 안쪽에 매핑 시켜서 하늘이나 아주 먼 산 등의 원경을 시각화 하는 방법을 사용하고 있다. 하지만, 파노라마 사진은 별도의 촬영 장비나 복잡한 이미지 처리가 필요하고 완전한 원경을 표현하는 용도로만 주로 사용된다. 반면, 본 발명에서는 파노라마 사진이 아닌 화각(Fov)을 가지는 일반적인 사진을 자연스럽게 공간에 배치하고자 하는 것이 목적이다. 하지만 일반 사진의 경우, 단순히 구체에 씌우기만 하면 되는 360도 파노라마 사진과 달리, 매핑되는 곡면 Plate의 정확한 형태나 크기를 가늠하기 매우 힘들다. 따라서, 본 발명에서는 평면 소스의 입체적 시각화를 위해, 대상이 되는 평면 이미지 및 해당 평면 이미지가 촬영될 당시의 카메라 세팅 상태에 대한 정보인 촬영 정보(센서 크기, 화각, 거리)를 기반으로 기준 평면에 대한 기준 배치를 수행한 후, 상술한 바에 따라 해당 기준 평면에 대한 정확한 곡면 Plate를 생성할 수 있다.

이러한 가상 공간에서 생성된 곡면 Plate을 가상 카메라(VC)로 촬영한 제2 영상을 LED 벽체(100)에서 재생(물론, 이 경우에도 상술한 Anamorphic 왜곡이 수행)하는 경우, 이를 촬영한 카메라(200)의 제1 영상에서 LED 벽체(100)에서 재생되는 해당 이미지 부분이 어느 정도의 깊이감을 가지는 입체적 공간으로 인식될 수 있다

(3) 제3 과정: Parallax Effect(시차 효과) 형성을 통한 레이어 구분

앞서 평면 이미지를 곡면 Plate에 매핑하는 방법을 통해 공간감을 형성하고 가상 카메라(VC)의 위치 제약을 극복하도록 하였다. 이러한 곡면 Plate의 반구형 매핑 방식의 장점은 원경 이미지일 경우 더욱 극대화된다. 하지만, 평면 이미지의 소스 안에 근경, 중경 및 원경의 컨텐츠가 동시에 존재할 경우, 깊이감(depth) 부재로 인해 가상 카메라(VC)가 움직일 경우 어색한 장면의 제2 영상이 연출될 것이다. 즉, 가상 카메라(VC)가 좌우로 이동할 경우, 시차 효과(Parallax Effect)로 인해 근경은 빠르게 원경은 느리게 흘러가는 것처럼 보여야 하지만, 한 장의 평면 이미지로는 이러한 효과가 불가능하다.

따라서, 본 발명에서는 평면 소스에서 거리 별로 구분된 다수의 이미지(이하, 러한 각 이미지를 "구분 이미지"라 지칭함)에 대해 별도의 곡면 Plate의 Mesh를 생성하는 방안을 제안한다.

도 16은 가상 공간에서 도 7의 평면 소스에 대해 거리 별로 구분된 다수의 구분 이미지에 대한 각 레이어(Lyaer)를 생성하는 모습에 대한 일 예를 나타내고, 도 17은 가상 공간에서 도 16에 따라 각 구분 이미지의 레이어에 대해 각 곡면 Plate를 생성하는 모습을 나타낸다.

이때, 도 16을 참조하면, 제1 구분 이미지(Layer 1)는 평면 소스에서 제2 구분 이미지(Layer 2) 보다 근경에 해당하는 부분을 포함하는 이미지일 수 있고, 제2 구분 이미지는 평면 소스에서 제3 구분 이미지(Layer 3) 보다 근경에 해당하는 부분을 포함하는 이미지일 수 있다. 이에 따라, 제1 구분 이미지는 평면 소스에서 근경에 해당하는 부분을 포함하는 이미지일 수 있고, 제2 구분 이미지는 평면 소스에서 중경에 해당하는 부분을 포함하는 이미지일 수 있으며, 제3 구분 이미지는 평면 소스에서 원격에 해당하는 부분을 포함하는 이미지일 수 있다. 이때, 제1 내지 제3 구분 이미지에 대해 각각 별도의 레이어(Layer)로 저장되어 활용될 수 있으며, 해당 각 레이어(Layer 1, Layer 2, Layer 3는 원래의 평면 소스와 동일한 평면 크기(즉, 2차원 크기)를 가진다.

또한, 도 17에 도시된 바와 같이, 제1 구분 이미지에 대한 곡면 Plate(이하, "제1 곡면 Plate"라 지치함)와, 제2 구분 이미지에 대한 곡면 Plate(이하, "제2 곡면 Plate"라 지칭함)와, 제3 구분 이미지에 대한 곡면 Plate(이하, "제3 곡면 Plate"라 지칭함)가 각각 별도로 생성된다.

즉, 제1 곡면 Plate는 제1 구분 이미지의 기준 평면을 기준 배치한 상태에서 제1 거리(k1)의 곡면 이격 거리에서 생성된 해당 제1 구분 이미지에 대한 곡면 Plate이다. 또한, 제2 곡면 Plate는 제2 구분 이미지의 기준 평면을 기준 배치한 상태에서 제2 거리(k2)의 곡면 이격 거리에서 생성된 해당 제2 구분 이미지에 대한 곡면 Plate이다. 마찬가지로, 제3 곡면 Plate는 제3 구분 이미지의 기준 평면을 기준 배치한 상태에서 제3 거리(k3)의 곡면 이격 거리에서 생성된 해당 제3 구분 이미지에 대한 곡면 Plate이다. 이하, 이러한 각 거리 별 곡면 Plate들(가령, 제1 내지 제3 곡면 Plate)을 통칭하여 "Layered Plate"라 지칭할 수도 있다.

한편, 평면 이미지에서 거리 별로 구분된 각 구분 이미지를 생성하는 방식은 여러가지가 있을 수 있다. 일례로, 포토샵 등과 같은 이미지 편집 툴을 이용하여 사용자가 평면 이미지로부터 각 구분 이미지를 직접 분리하거나, segmentation 등의 영상 처리 기법을 이용하여 평면 이미지로부터 각 구분 이미지를 분리하거나, 머신 러닝을 통해 자동으로 평면 이미지로부터 Depth를 추정하여 각 구분 이미지를 구분하는 방식이 사용될 수 있으나, 본 발명이 이에 한정되는 것은 아니다.

일례로, Layered Plate를 만드는 절차는 다음과 같다. 다만, 각 구분 이미지에 대한 각 곡면 Plate의 Mesh를 생성하는 과정은 앞서 설명한 제2 과정에 따른 내용과 동일하다.

1) 대상이 되는 평면 이미지로부터 거리에 따라 몇개의 레이어로 구분할 지(즉, 거리 별로 구분되는 이미지의 개수)를 결정한다. 이하, 3개(즉, 제1 내지 제3 구분 이미지)로 구분된 경우에 대해 설명하도록 한다.

2) 대상이 되는 평면 이미지에서 근경, 중경 및 원경 영역을 각각 구분하고 구분된 영역을 각각 포함하는 제1 내지 제3 구분 이미지를 메모리(340)에 저장한다.

3) 촬영될 당시의 카메라 세팅 상태에 대한 정보(가령, 센서 사이즈, 화각 등)을 설정한다. 일반적으로, 동일한 평면 이미지에서 추출된 각 구분 이미지를 사용하게 되므로, 각 구분 이미지에 대한 화각 값은 모두 동일한 값으로 설정한다. 다만, 특정의 구분 이미지에 다른 평면 이미지에서 추출한 이미지를 넣는 경우, 해당 레이어의 화각 값을 변경하여 배치되는 Mesh의 크기를 조정할 수 있다.

4) 각 구분 이미지에 따른 각 곡면 Plate가 위치하게 될 거리(즉, 곡면 이격 거리)를 설정한다. 즉, 제1 레이어(Layer 1)에 대해 가장 작은 값의(즉, 짧은) 곡면 이격 거리를 설정하고, 제2 레이어(Layer 2)에 대해 중간치의 곡면 이격 거리를 설정하며, 제3 레이어(Layer 3)에 대해 가장 큰 값의(즉, 먼)의 곡면 이격 거리를 설정한다. 이때, 각 레이어 별로 대략적인 추정치를 설정하되, 가능하면 실제와 가까운 값이 들어가도록 하는 것이 바람직할 수 있다. 이러한 각 곡면 이격 거리의 값이 정확할수록 해당 대상의 실제 물리적 크기에 가깝게 각 곡면 Plate의 Mesh가 생성될 수 있다. 가령, 실제로 1km 떨어진 산이 들어 있는 구분 이미지의 레이어에 대해 100,000cm의 곡면 이격 거리를 설정하면, 가상 공간 내에서 기준 위치로부터 1km 떨어진 거리에 실물 사이즈 대로 곡면 Plate의 Mesh가 생성된다.

도 18은 가상 공간에서 가상 카메라(VC)가 도 17에 따라 생성된 각 곡면 Plate를 대향하면서 좌측에서 우측으로 이동하면서 촬영한 제2 영상의 예들을 나타낸다. 즉, 도 18(a)는 가상 카메라(VC)가 좌측에 위치한 경우에 대한 제2 영상을, 도 18(b)는 도 18(a)의 경우보다 가상 카메라(VC)가 우측으로 이동한 경우에 대한 제2 영상을, 도 18(c)는 도 18(b)의 경우보다 가상 카메라(VC)가 우측으로 이동한 경우에 대한 제2 영상을 각각 나타낸다.

5) 이후, 가상 카메라(VC)를 좌우로 움직여보면, 도 18에 도시된 바와 같이, 각 곡면 Plate의 곡면 이격 거리에 따른 시차로 인해 각 곡면 Plate의 레이어가 다른 속도로 움직이는 것처럼 보이게 되면서, 제1 및 제2 영상에서 Parallax Effect(시차 효과)가 발생될 수 있다.

여기서 중요한 점은, 대략적인 눈대중으로 레이어 이미지들을 배치하더라도 제한적으로는 비슷한 효과를 얻을 수 있으나, 실제 물리적 현상과의 오차는 막을 수 없는 점이다. 특히, 가상 카메라(VC)가 움직이게 되는 경우, 투시 구조(Perspective)가 깨어지거나 원근감이 부자연스럽게 느껴지게 된다. 따라서, 앞서 곡면 Plate의 Mesh 생성 과정에서 설명한 것처럼, 각 레이어(Layer 1, Layer 2, Layer 3)의 곡면 Plate Mesh의 모든 정점(Vertex)들은 반드시 '기준 위치'에서 출발하여 기준 평면 Mesh의 동일한 정점을 지나는 선 위에 위치하게 되는 기준 배치기 수행되어야 한다. 이에 따라, 레이어들(Layer 1, Layer 2, …이 몇 개로 구분되어 있든, 기준 위치로부터 각 레이어(Layer 1, Layer 2, …가 어떤 수치의 곡면 이격 거리로 떨어져 있든, 가상 카메라(VC)가 '기준 위치'에서 각 곡면 Plate를 보았을 때 각 곡면 Plate의 크기가 동일하게 보이게 된다는 것이다. 이를 통해, 실제 3D 물체는 아니지만, 가상 공간에서 각 레이어(Layer 1, Layer 2, …에 따라 구분되어 생성된 곡면 Plate들을 가상 카메라(VC)로 촬영한 제2 영상을 LED 벽체(100)에서 재생(물론, 이 경우에도 상술한 Anamorphic 왜곡이 수행)하면, 이를 촬영한 카메라(200)의 제1 영상에서 LED 벽체(100)에서 재생되는 해당 이미지 부분이 인물 등의 촬영 배경으로 사용되더라도, 어색하지 않으면서도 공간감이 극대화될 수 있다.

(4) 제4 과정: 대상 물체의 입체성을 고려한 레이어 두께감 표현

앞서 제3 과정을 통해, 하나의 평면 이미지에서 각 구분 이미지를 거리 별 레이어(Layer 1, Layer 2, …로 나누고 실제와 유사한 위치, 크기로 배치할 수 있는 방법을 설명하였다. 이제 다음의 제4 과정은 각 레이어(Layer 1, Layer 2, …의 곡면 Plate Mesh에 두께감을 부여하는 것이다. 즉, 이전의 제3 과정을 통해 각 레이어(Layer 1, Layer 2, …는 각각의 화각과 거리가 반영된 곡면 Plate Mesh에 그려지게 된다. 이러한 방법은 전체적인 공간감을 높이는데 좋은 방법이며, 특히 원경에 효과적이다. 하지만, 가상 카메라(VC)가 움직일 때, 각 레이어(Layer 1, Layer 2, … 내 이미지의 물체가 앞쪽 방향으로(즉, 기준 위치 측의 방향으로) 튀어나와 있는 구조(가령, 바위 또는 산 등이 앞쪽 방향으로 돌출된 구조)라면, 이를 가상 카메라(VC)로 촬영된 제2 영상에서는 실제보다 안쪽으로 들어가 있는 것처럼 느껴지게 된다(이하, "돌출 구조 문제"라 지칭함). 그 이유는 해당 물체가 실제로는 앞으로 튀어나와 있는 구조이지만, 곡면 Plate Mesh에 매핑되면서, 실제보다 안쪽으로 눌린 것처럼 시각화 되기 때문이다.

도 19는 도 16에 따라 생성된 각 레이어(Layer 1, Layer 2, Layer 3)에 대해 깊이 맵(Depth Map)을 적용하는 과정에 대한 모습의 일 예를 나타낸다. 또한, 도 20은 도 16에 따라 생성된 레이어들(Layer 1, Layer 2, Layer 3) 중에 제3 레이어(Layer 3)에 대해 깊이 맵(Depth Map)을 적용한 모습의 일 예를 나타낸다.

따라서, 각 레이어(Layer 1, Layer 2, …에 대해, 도 20에 도시된 바와 같이, 별도의 깊이 맵(Depth Map)을 적용할 수 있도록 함으로써 해당 돌출 구조 문제를 해결할 수 있다. 레이어들(Layer 1, Layer 2, …에 대한 깊이 맵은 각각 레이어 별로 생성되며(가령, 레이어가 3개이면 깊이 맵도 3개), 이러한 각 깊이 맵의 적용은 선택적일 수 있다. 이하, 제1 레이어(Layer 1)에 대한 깊이 맵을 "제1 깊이 맵"이라 지칭하고, 제2 레이어(Layer 2)에 대한 깊이 맵을 "제2 깊이 맵"이라 지칭하며, 제3 레이어(Layer 3)에 대한 깊이 맵을 "제3 깊이 맵"이라 지칭한다.

즉, 레이어들(Layer 1, Layer 2, …중에 깊이 맵을 적용하는 레이어가 있을 수 있고, 레이어들(Layer 1, Layer 2, …중에 깊이 맵을 적용하지 않는 레이어가 있을 수 있다. 이때, 깊이 맵의 생성은 포토샵 등과 같은 이미지 편집 프로그램에서 Brush로 칠하거나, 머신 러닝 방식 중 Depth Estimation을 통해 Depth 정보를 추출할 수 있으나, 본 발명이 이에 한정되는 것은 아니다.

깊이 맵은 해당 레이어의 크기와 동일한 평면 크기를 가지며, 깊이 맵의 각 정점(화소)는 해당 레이어의 각 정점과 대응하게 된다. 이때, 깊이 맵의 각 정점은 이에 대응하는 레이어의 각 정점에 대한 돌출 정도에 대한 깊이 정보를 포함한다. 즉, 깊이 맵에서 이미지의 밝기 정도에 따라 해당 레이어의 Mesh의 각 정점들이 앞으로 돌출될 수 있다.

가령, 제1 깊이 맵에서, 밝은 색(흰색) 또는 어두운 색(검은색)에 가까운 정점일수록, 이에 대응하는 제1 레이어(Layer 1)의 제1 곡면 Plate의 정점이 기준 배치된 해당 제1 곡면 Plate에서 보다 앞쪽 방향으로(즉, 기준 위치 측의 방향)으로 돌출되게 하는 정보를 가질 수 있다. 즉, 해당 정점은 제1 곡면 Plate가 가지는 원래의 곡면 이격 거리보다 짧은 곡면 이격 거리로 이동하게 된다. 이러한 내용을 나머지 제2 및 제3 깊이 맵에도 각각 동일하게 적용될 수 있다. 이때, 중요한 점은 각 곡면 Plate Mesh의 각 정점(Vertex)들은 어떠한 경우에도, '기준 위치'에서 출발하여 기준 평면 Mesh의 동일한 정점을 지나는 선 위에 위치하는 기준 배치에 따라 돌출되도록 이동해야 한다는 점이다.

또한, 최대로 돌출되는 정도는 각 레이어(Layer 1, Layer 2, … 별로 다르게 설정될 수 있다. 즉, 또한 각 레이어(Layer 1, Layer 2, … 별로 깊이 강도(Depth Strength) 값을 조정하여 두께 효과의 강약을 조정할 수 있다.

도 21 및 도 22는 도 16에 따라 생성된 레이어들(Layer 1, Layer 2, Layer 3) 중에 제1 레이어(Layer 1)에 대해 깊이 맵(Depth Map)을 적용한 후 가상 카메라로 촬영한 결과인 제2 영상에 대한 예들을 나타낸다. 즉, 도 21(a)는 제1 레이어(Layer 1)에 대해 깊이 맵(Depth Map)을 적용한 후 가상 카메라(VC)를 각 곡면 Plate에 대해 정면에서 촬영하는 모습을 나타내고, 도 21(b)는 도 21(a)에 대한 제2 영상을 나타낸다. 또한, 도 22(a)는 제1 레이어(Layer 1)에 대해 깊이 맵(Depth Map)을 적용한 후 가상 카메라(VC)를 각 곡면 Plate에 대해 기준 위치의 우측에서 촬영하는 모습을 나타내고, 도 22(b)는 도 22(a)에 대한 제2 영상을 나타낸다. 다만, 도 21(b) 및 도 22(b)에서 인물은 각 촬영 방향을 쉽게 표시하기 위해 임의 추가한 것이다.

도 21 및 도 22를 참조하면, 레이어들(Layer 1, Layer 2, Layer 3) 중에 적어도 하나에 Depth Map을 적용할 경우, 해당 레이어를 이루는 곡면 Plate Mesh에는 즉시로 두께감이 더해진다.

이처럼 평면 이미지를 거리 별 레이어로 계층화하고 각 레이어에 두께감을 부여할 경우, 실제로 기존 평면 소스가 표현할 수 없는 높은 수준의 입체감과 촬영 자유도를 얻을 수 있게 된다. 특히, 근경인 제1 레이어(Layer 1)의 물체에 두께감을 주어 사용할 경우, 높은 시각적 디테일과 함께, 렌더링 퍼포먼스 문제 개선에도 도움이 된다. 실제로 수만에서 수백만에 이르는 정점(Vertex)으로 구성되는 일반적인 3D Asset과 비교할 때, 각 레이어(Layer 1, Layer 2, …의 곡면형 Plate Mesh는 100개에서 1600개 정도의 정점만을 사용하며, 재질을 결정하는 Shader 코드 또한 복잡도가 낮아서 성능 확보에 유리하다.

(5) 자연스러운 촬영을 위한 실시간 보정 기능

이전 단계들을 통해 평면 소스를 각 레이어로 계층화하고 두께감을 준 뒤 공간에 배치하는 방법으로 공간감을 얻을 수 있음을 설명하였다. 이에 따라, 본 발명은 이와 같이 만들어진 'Layered Plate'가 실제 사용되는 단계, 즉 LED 벽체(100)가 구비된 LED 스튜디오에서 버추얼 프로덕션 방식으로 영상을 촬영하는 단계에서, 현장 상황이나 감독의 의견에 따라 해당 Asset을 쉽게 실시간 보정할 수 있게 한다.

가령, Virtual Production 촬영용 '통합 제어 프로그램'을 이용하여, 해당 실시간 보정을 수행할 수 있다. 이러한 프로그램은 재생 장치(300) 또는 재생 장치(300)에 연결된 별도의 전자 장치인 제어 장치(미도시)에 설치될 수 있다. 해당 프로그램은 카메라(200)의 물리적 움직임과, LED 벽체(100)의 형태를 기반으로 LED 벽체(100)에 가상 공간을 표출하는 플레이어와, 이들을 제어하는 '통합제어프로그램'을 포함할 수 있다. 이러한 프로그램을 통해, 그래픽 디자이너들이 만든 CG 컨텐츠를 LED 벽체(100)에 재생할 때에 발생할 수 있는 실제 공간과의 색감 차이, 물리공간과 가상공간의 위치 오차 조정, 콘텐 츠의 타임라인 조정 등을 현장에서 할 수 있게 된다.

이를 위한 'Layered Plate 플러그인'은 LED 벽체(100)에 재생되는 제2 영상을 시각화하는 'N플레이어'에 추가될 수 있으며, 그것을 기반으로 디자이너들이 여러 개의 'Layered Plate 객체'를 생성하고 공간에 배치하며 컨텐츠를 만들 수 있다. 또한, 통합제어프로그램 쪽에는 별도의 'Layered Plate 객체' 관리 인터페이스가 추가되면서, 각 객체의 위치, 색감, 센서 크기, 화각, Mesh 그리드, 레이어 별 Depth 등을 실시간으로 변경하고 확인할 수 있게 한다. 이를 통해, 일반 사진이나 영상을 바탕으로 만들어진 'Layered Plate 객체'들이 다른 CG 공간 요소들 뿐 아니라, 촬영 장 내 물리적 요소(세트, 배우, 조명 등)와도 어울 릴 수 있도록 조정 가능하게 하다. 이 같은 별도의 보정 인터페이스가 없을 경우, 현장에서 급한 수정이 필요한 경우, 컨텐츠 파일을 직접 열어 수정하고, 다시 각 렌더링 서버에 배포한 후, LED 벽체(100)에 재생하여 확인하는 과정을 반복해야 하며 이는 상당한 시간과 절차를 필요로 한다. 하지만, 긴급하게 돌아가는 촬영 스케쥴을 고려할 때, 실시간으로 제어하고 보정할 수 있는 방식과 그 인터페이스는 반드시 필요하게 되는 것이다.

지금까지 평면 소스 활용 시 발생되는 물리적 왜곡이나 입체감 상실 등의 문제를 개선하기 위한 방법을 여러 단계로 구 분하여 설명하였다. 핵심은 사진이나 영상이라는 이미 평면화된 평면 소스의 데이터에 다시 여러 종류의 입체감 생성 요소들을 부여 함으로써, 그것이 완전한 3D Asset이 아님에도, 기존 평면 소스만으로도 빠르고 손쉽게 입체적인 공간을 만들 수 있다는 것이다.

도 23은 본 발명의 일 실시예에 따른 처리 방법의 동작 순서도를 나타낸다.

본 방법은 상술한 평면 소스의 입체화 과정에 대한 내용을 포함한다. 이를 위해, 본 발명은 평면 이미지에 대한 입체화의 영상 처리를 수행하는 제1 단계와, 입체화의 영상 처리에 따른 영상이 제2 영상에 포함되어 LED 벽체(100)에 표시되도록 처리하는 제2 단계를 포함할 수 있다. 이때, 제1 단계는, 도 23에 도시된 바와 같이, S110 내지 S140을 포함할 수 있다. 다만, S110 및 S120이 수행된 후 S130이 선택적으로 수행되거나, S120이 생략되고 S110 및 S130이 수행될 수도 있다. 이후, S130이 수행된 경우, 이후에 S140이 선택적으로 수행될 수도 있다.

S110은 대상이 되는 평면 소스를 버추얼 프로덕션의 가상 공간 내에 배치하는 단계이다. 다만, 이러한 S110은 제1 과정에 따라 상술한 바와 같으므로, 이에 대한 상세한 설명은 생략하도록 한다.

S120은 S110에 따라 배치된 평면 소스에 대해 기준 평면을 이용하여 곡면 Plate을 가상 공간 내에 생성하는 단계이다. 다만, 이러한 S120은 제2 과정에 따라 상술한 바와 같으므로, 이에 대한 상세한 설명은 생략하도록 한다.

S130은 S110에 따라 배치된 평면 소스에서 거리 별로 구분된 각 구분 이미지의 레이어에 대해 별도의 곡면 Plate를 각 곡면 이격 거리에 따라 가상 공간 내에 생성하는 단계이다. 다만, 이러한 S130은 제3 과정에 따라 상술한 바와 같으므로, 이에 대한 상세한 설명은 생략하도록 한다.

S140은 곡면 Plate들 중에 적어도 하나에 대해 해당 전용의 깊이 맵을 이용하여 두께감을 부여하는 단계이다. 다만, 이러한 S140은 제4 과정에 따라 상술한 바와 같으므로, 이에 대한 상세한 설명은 생략하도록 한다.

한편, 제2 단계는 카메라(200)의 움직임 및 렌즈 상태에 따라 가상 카메라(VC)가 연동되면서 곡면 Plate를 촬영(캡쳐)하여 제2 영상을 재생하는 단계를 포함할 수 있다. 물론, 다수의 구분 이미지의 레이어(Layer 1, Layer 2, …에 따라 다수의 곡면 Plate가 배치되는 경우, 제2 단계는 카메라(200)의 움직임 및 렌즈 상태에 따라 가상 카메라(VC)가 연동되면서 해당 곡면 Plate들을 촬영(캡쳐)하여 제2 영상을 재생하는 단계를 포함할 수 있다.

이하, 본 방법을 이용하여 버추얼 프로덕션 촬영에 따른 컨텐츠를 제작하는 구체적인 과정에 대해서 설명하도록 한다.

<Layered Plate 객체 설정 및 사용 절차>

본 발명에서, 기존의 Full 3D Asset을 제작하거나 일반 평면 Plate에 이미지를 표시하는 방식과는 다른 준비 과정을 거치게 된다. 이때, 중요한 점은 특정 이미지(사진, 영상)의 제한된 입체성을 되살리기 위해서는 소스 촬영 당시의 정보(센서 사이즈, 렌즈 화각)가 정확할수록 정교한 결과물이 나온다는 점이다. 그러한 기준 정보를 중심으로 각 레이어의 위치, 크기, 두께감 생성 등을 계산하게 되는 것이다. 구체적인 절차는 다음과 같다.

(1) 소스 준비

1. 평면 이미지 소스 준비

Layered Plate에 사용하기 위한 평면 소스를 준비한다. 이 단계에서는 우선 제작 비용, 기간 또는 그래픽의 퀄리티 등을 고려하여 일반적인 방식인 3D Mesh Asset을 제작할지, 아니면 일반 사진이나 영상과 같은 평면 소스에 입체감을 부여할지를 결정해야 한다. 두 방식 모두 장단점이 있으므로 상황에 따라 디자이너가 선택을 할 수 있으며 본 발명에서는 후자만을 다룬다.

평면 소스의 경우, 기존 판매용 이미지 라이브러리를 사용해도 되고, 필요에 따라서 직접 현장을 촬영해서 쓸 수도 있다. 거리 별로 구분하여 공간에 배치될 소스이므로 가능하면 이미지 내 공간들이 근경, 중경, 원경 등 거리 별로 뚜렷하게 구분되는 소스를 사용하는 것이 좋다. 또한, 내려다보거나 올려다보는 이미지보다는 수평이 맞는 이미지를 사용할 경우, 좀 더 높은 자유도를 얻을 수 있다.

2. 레이어 별 이미지 파일 생성

Layered Plate 플러그인은 레이어 별 이미지에 따라 적합한 위치, 크기, 형태로 각 레이어의 Mesh를 자동 생성해 준다. 이를 위해, 우선은 특정 사진에서 거리를 기준으로 제2 과정 내지 제4 과정 중 적어도 한 과정에 따라 처리된 레이어 이미지 파일을 준비한다. 일반적으로 동일 사진에서 이미지를 추출하는 것이 바람직하나 필요한 경우, 다른 사진에서 추출한 이미지를 특정 레이어에 사용할 수도 있다. 그러한 경우 해당 레이어의 화각, 거리나 두께감 등을 조정하면서 자연스럽게 보이는 값을 수동으로 찾아야 한다.

(2) 컨텐츠 제작

평면 이미지 소스 준비 후 실제 'Layered Plate 객체' 생성 기능을 사용하는 단계이다. 본 기능을 사용하기 위해서는, Epic 사의 Unreal Engine 프로그램에 본 발명에 따라 개발된 'Layered Plate 플러그인'이 설치되어 있어야 한다. 이후, Unreal Engine 편집툴 상에서 새로운 'Layered Plate 객체'를 추가하면 각종 설정이 가능한 객체가 공간에 생성된다.

1. Layered Plate 객체 생성

Layered Plate의 객체가 생성되면, 몇 가지 기본 정보를 사용자가 입력해야 한다.

가) 우선 레이어가 몇 개로 이루어지는지를 설정한다.

나) 이어서 각 레이어의 형태를 결정하는 Mesh가 몇 개의 정점(Vertex)으로 이루어지는지를 설정한다. 설정 방법은 10x10이나 20x20처럼 가로 세로 몇 칸으로 구성되는지를 선택하는 방식이다. 이 수치에 따라서 추후 레이어 별 두께감(Depth)을 부여할 때 면의 정밀도가 결정된다.

다) 다음으로는 소스 이미지를 촬영한 당시의 카메라 센서 크기와 화각 정보를 입력한다. 이 정보가 정확해야만 추후 레이어 Mesh를 만들 때 실제 물리적 크기 및 형태가 정확하게 계산된다. 다만, 정확한 정보를 모를 경우에도, 추정치를 입력한 이후 주변 다른 환경의 크기와 비교하면서 적절한 값을 수동으로 정의할 수 있다.

라) 다음으로는 준비된 이미지들을 레이어 별로 부여한다.

마) 레이어 별로 Depth Map 이미지가 있을 경우, 적용한다.

바) 다음으로, 각 레이어 별로, Mesh가 위치하게 될 거리 값을 설정한다. 이 값은 가급적 물리적 사실에 기반한 정 확한 값을 입력하는 것이 좋다. 가령, 원경의 특정 산이 촬영 지점으로부터 3km 지점에 위치했다면, 실제로 그 값을 넣어 주어야 동일한 크기로 레이어 Mesh가 생성된다.

사) 마지막으로, 레이어 별로 Depth Map이 적용되는 강도를 입력해준다. Depth Map은 0~1사이의 색상 값을 가지는 Gray Scale(회색조)의 이미지이며, 해당 색상 값이 실제 거리에서 어떤 정도의 강도를 가질지를 설정하는 것이다. 거리가 멀수록 상대적으로 큰 값을 가지게 된다.

2. 레이어 생성

지금까지 입력한 값들은 각 레이어를 생성하고, 시각화 하기 위한 기반 정보로 사용된다. Layered Plate 생성 기능에서 특히 중요한 것은 모든 Mesh와 그 정점(Vertex)들은 반드시 소스 촬영 당시의 센서 사이즈와 화각(Fov)을 바탕으로 정확히 계산된 위치에 배치되어야 한다는 것이다. 애초에 평면 이미지의 경우, 실제 공간의 여러 정보들이 압축되어 있거나 일부는 누락되거나 소실된 형태의 정보이다. 가령, 원근감이나 Perspective는 보는 위치에 따라 달라지게 되는 정보이지만, 평면 이미지에서는 하나로 압축된 상태로만 존재한다. 또한, 실제 거리감이나 두께감은 아예 사라져 버리는 것이다. 따라서, 사진의 일부 영역들을 잘라 대략적으로(눈대중으로) 배치하거나 그 크기를 조정하게 되는 경우, 실제 물리 법칙에서 벗어 나는 원근감이나 투시구조(Perspective)를 형성하게 되면서 매우 불완전한 영상이 만들어질 수 있다.

이에 따라, 본 발명에서는 한계를 가지는 평면 소스를 거리 별 계층으로 구분하고 각각 두께감을 주면서도 원본 사진의 화각과 투시구조(Perspective) 자체는 깨지지 않도록 한다. 이를 위해, 앞서 설명한데로, 각 레이어 Mesh의 모든 정점은 반드시 '기준 위치'과 '기준 평면 Mesh'의 대응되는 정점(Vertex)을 지나는 선위에 위치하는 기준 배치가 수행되어야 한다.

이같은 레이어 Mesh 생성 방식을 기준으로 레이어를 나누고 입체감을 더하는 절차는 다음과 같다. 아래 내용은 앞서 입력된 기본 정보들을 바탕으로 프로그램 안에서 이루어지는 절차일 수 있다.

1) 먼저, 원본 사진이 담긴 '기준 평면'이 가령 1m 위치에 생성된다. 앞서 설정한 vertex 수(그리드 구성)가 반영되며, 센서 크기, 렌즈 화각을 고려하여 자동 생성된다.

2) 이어서 아래 절차들이 레이어 수에 따라 n회 반복된다.

3) 먼저, '기준 평면'의 Mesh 정보(vertex, uv, triangle)를 그대로 복사한 레이어 Mesh를 생성한다.

4) 이어서, 복사된 평면 Mesh를 설정된 레이어 distance값 위치로 이동시키고, 레이어 Mesh의 각 정점(Vertex)들은 센서 사이즈와 렌즈 화각을 기반으로 평면 형태로 정확한 위치에 배치시킨다. 이때, 기준 위치에서 보았을 때, 기준 평면이나 해당 레이어 Mesh가 완전히 동일하게 겹쳐 보여야 한다.

5) 다음으로, 레이어 Mesh의 형상을 곡면형으로 만들어 준다. 레이어 Mesh의 모든 정점(Vertex)들이 레이어 distance(즉, 곡면 이격 거리) 값을 기준으로 재배치되어, 레이어의 기본 형상이 곡면형으로 변형되는 것이다. 각 정점(Vertex)들은 기준 위치에서 동일 거리만큼 떨어지게 배치되므로 화각(fov)이 커질 경우, 반구형상에 가까워지게 된다.

6) 레이어 별로 할당된 Depth Map이 있을 경우, 해당 이미지를 기반으로 각 레이어에 두께감을 부여한다. Depth Map의 해당 지점의 pixel 밝기를 기준으로 해당 정점(Vertex)을 '기준 위치' 방향으로 이동시키는 방식이다. 이때, 핵심은 반드시 레이어 Mesh의 특정 정점(A"은 기준평면(A)을 거쳐 '기준 위치'를 지나는 선 위에서만 움직이는 기준 배치가 수행되어야 한다는 점이다.

3. 가상 공간에 Layered Plate 배치

위 절차에 의해 생성된 'Layered Plate 객체'들을 가상 공간 내에 배치하는 단계이다. 'Layered Plate 객체'의 경우, 일반 평면 이미지와 달리 어느 정도 입체 요소가 부여된 상태이지만, 완전한 3D 객체는 아니다. 즉, 물체의 한쪽 면만이 온전히 보이는 방식이며 영화 세트장과 비슷한 개념이다. 따라서, 각 객체의 뒷면이나 완전한 측면은 보이지 않는 적절한 위치에 배치한다. 이때, 필요에 따라 각 레이어의 화각이나 거리 등의 값을 조정하여 주변 환경과 어울리는 수정을 할 수도 있다.

(3) LED 스튜디오 촬영 단계

앞선 컨텐츠 제작 단계는 최초의 가상 공간을 만들 때 다루게 되는 내용을 설명하였다. 그 단계에서는 언제든 컨텐츠의 내용을 자유롭게 변경하거나 수정할 수 있다. 하지만 해당 컨텐츠를 LED 스튜디오에서 Virtual Production 방식으로 세팅한 이후에는 수정이나 변경에 제약이 생긴다. 물론. '실시간 렌더링'이라는 특성상, 촬영 현장에서도 오브젝트 위치의 이동이나 텍스쳐의 변경 등 중요한 사항들에 대해서는 변경 가능하다. 하지만. 촉박한 촬영 스케쥴 및 오류에 대한 우려 등으로 인해 가급적으로 컨텐츠 자체를 직접 수정하는 것은 자제해야 한다. 따라서, ‘통합제어프로그램' 상에 'Layered Plate 객체'을 실시간으로 보정할 수 있는 인터페이스가 추가될 수 있다. 이를 통해, 컨텐츠 자체에 대한 직접 편집 없이 통합제어프로그램 상에서 레이어 별 화각, 거리뿐만 아니라 감마, 밝기, 채도 등의 색감을 원하는 시점에 바로 변경할 수 있다.

상술한 각 본 방법은 메모리(340)에 로드되어 제어부(350)의 제어에 따라 프로그램을 실행함으로써 실행될 수 있다. 이러한 프로그램은, 여러 가지 유형의 비일시적인 컴퓨터 판독 가능한 매체(non-transitory computer readable medium)의 메모리(340)에 저장될 수 있다. 비일시적인 컴퓨터 판독 가능한 매체는 여러 가지 유형의 실체가 있는 기록 매체(tangible storage medium)를 포함한다.

예를 들어, 비일시적인 컴퓨터 판독 가능한 매체는, 자기 기록 매체(예를 들면, 플렉시블 디스크, 자기 테이프, 하드디스크 드라이브), 광자기 기록 매체(예를 들면, 광자기 디스크), CD-ROM(read only memory), CD-R, CD-R/W, 반도체 메모리(예를 들면, 마스크 ROM, PROM(programmable ROM), EPROM(erasable PROM), 플래시 ROM, RAM(random access memory))을 포함하나, 이에 한정되는 것은 아니다.

또한, 프로그램은 여러 가지 유형의 일시적인 컴퓨터 판독 가능한 매체(transitory computer readable medium)에 의해 공급될 수도 있다. 예를 들어, 일시적인 컴퓨터 판독 가능한 매체는, 전기 신호, 광신호, 전자파를 포함할 수 있으나, 이에 한정되는 것은 아니다. 즉, 일시적인 컴퓨터 판독 가능한 매체는 전선, 광섬유 등의 유선 통신로 또는 무선 통신로를 통해 프로그램을 제어부(350)에 공급할 수 있다.

이하, 상술한 바와 같이 구성되는 본 발명에 따라 나타나는 입체감 효과에 대해 설명하도록 한다.

<Layered Plate 적용 전후 입체감 비교>

실제 평면 이미지(즉, 평면 Plate)를 LED 벽체(100)에 배치하고 촬영할 때(이하, "제1 방식"이라 지칭함)와, 본 발명에 따라 Layered Plate를 가상 공간에 배치하고 Virtual Production 방식으로 시각화할 때(이하, "제2 방식"이라 지칭함)의 차이를 비교해 본다. 즉, 제1 방식은 종래 기술에 해당하며, 제2 방식은 본 발명에서 제안하는 방법에 따른 방식이다.

특히, 아래에 나열된 입체감 형성 요소의 관점에서 두 방식 사이에 어떤 차이가 발생하는지를 살펴본다

- 양안 시차에 의한 입체 공간 인지

- 좌우 이동 시 Parallax Effect(시차 효과)로 인한 공간감 인식

- 소실점(Vanishing Point)과 Perspective에 의한 깊이감 인지

- 빛의 방향과 물체의 명암을 통한 입체의 형태 파악

- 안구의 초점 변화를 통한 거리감 인식

- 대기 먼지의 밀도로 인한 포그 현상으로 깊이감 추정

도 24는 평면 Plate를 사용하는 제1 방식과, Layered Plate를 사용하는 제2 방식에 따른 촬영 모습에 대한 일 예를 나타낸다.

두 촬영 방식의 차이를 설명하기 위해, 도 24에 도시된 바와 같이, 동일한 LED 벽체(100)를 구비한 LED 촬영 스튜디오에서 동일 카메라와 배우를 세우고 촬영한다고 가정한다. 제1 방식의 경우, 배우 뒷쪽에 사진 한 장을 크게 배치하고, 스튜디오 카메라를 무대의 좌우로 이동하며 촬영한다. 제2 방식의 경우, Layered Plate 방식으로 제작된 Asset을 Virtual Production 방식으로 재생하며, 이때 실제 카메라의 물리적 위치와 렌즈 상태(화각, 초점)에 반응하여 LED 벽체의 내부 공간이 실시간으로 시각화 된다.

(1) 양안 시차에 의한 입체 공간 인지 관련

일반적으로, 양안 시차를 활용한 공간감을 사용하는 방식은 2대의 카메라를 이용하여 Stereoscopic 영상을 제작하는 것이다. 이를 통해, Avatar(2009)와 같은 입체 영화가 제작되기도 한다. 다만, 이 방식의 경우 현재는 많이 사용되지 않으며, 만약 LED 벽체 기반의 Virtual Production에서 Stereoscopic 촬영을 하게 될 경우, 제1 방식에 비해 제2 방식이 지닌 깊이감으로 인해 상당히 입체적인 장면을 연출할 수 있게 된다. 물론, 이 방식을 영화가 아닌 실시간 VR 컨텐츠에 적용하게 되더라도, Layered Plate 방식이 제공하는 양안 시차로 인해 체험자가 공간감을 인식하는데 훨씬 유리하다.

도 25는 제1 방식에 따른 촬영 결과에 대한 일 예를 나타내고, 도 26은 제2 방식에 따른 촬영 결과에 대한 일 예를 나타낸다.

2) 좌우 이동 시 Parallax Effect(시차 효과)로 인한 공간감 인식 관련

도 25 및 도 26을 참조하면, 기존 평면 이미지를 사용하는 제1 방식과 달리 레이어가 구분된 제2 방식에서는 카메라 이동시에 Parallax Effect(시차 효과)가 발생된다. Layered Plate 객체를 만들 때, 카메라 센서 크기, 렌즈 화각, 레이어 별 거리값 등의 정보들을 실제와 유사한 값을 넣어줄 경우, 실제 위치와 크기에 가까운 레이어 Mesh가 생성되므로, 물리적으로 더욱 정확한 시각적 효과를 얻을 수 있게 된다.

3) 소실점(Vanishing Point)과 Perspective에 의한 깊이감 인지 관련

촬영 위치가 변해도 소실점이나 Perspective에 변화가 없는 평면 Plate 방식에 비해, Layered Plate 객체는 각 레이어가 거 리별로 다른 위치에 배치되는 동시에 각 레이어의 두께감 형성 시에도 '기준 위치'와 '기준 평면'의 한 점을 잇는 선을 중심으로 각 정점들의 위치가 계산된다. 이에 따라, 제2 방식은 촬영 위치에 따라 자연스러운 소실점과 Perspective가 형성될 수 있다.

도 27은 제1 및 제2 방식에 따른 촬영에 대한 예들을 나타낸다.

4) 빛의 방향과 물체의 명암을 통한 입체의 형태 파악 관련

제2 방식의 각 레이어에는 Depth Map을 통해 두께감을 줄 수 있다. 이 같은 양감은 CG 내부의 라이트와 그림 자의 영향을 받아 더욱더 입체적인 느낌을 전달할 수 있다. 심지어 CG 내부의 다른 오브젝트의 그림자가 맺힐 때도, 제1 방식과 달리, 제2 방식은 표면에 자연스럽게 드리워져 시각화 될 수 있다.

5) 안구의 초점 변화를 통한 거리감 인식 관련

사람의 안구는 수정체의 두께를 조절하여 물체의 특정 부위에 초점을 맞출 수 있으며 이를 통해 거리감을 추정한다. 카메라의 구조도 이와 비슷하여 영상 제작 시에도 렌즈의 초점을 이동시키면서 공간 내 물체들의 입체감을 관객에게 전달할 수 있다. 초점이 맞은 부분은 선명하게, 그 외의 영역은 흐리게 나오는 '아웃 포커싱'은 공간감 형성뿐 아니라 감성적 연출을 위해서 상당히 중요한 요소이다. 제1 방식에 따라 평면 Plate가 배경으로 사용될 경우, 당연히 초점을 변경하는 것이 불가능하다. 반면, 제2 방식에 따른 Layered Plate 객체의 각 레이어들은 가상 공간 상에 배치되어 있으므로, 당연히 가상 카메라로 원하는 지점에 초점을 맞출 수 있으며, 아웃 포커싱 효과를 얻는 것도 가능하다.

6) 대기 먼지의 밀도로 인한 포그 현상으로 깊이감 추정 관련

대기의 밀도로 인해 원경의 물체는 채도와 콘트라스트가 낮아지고 가까운 물체는 반대로 또렷하고 컬러풀(colorful)하게 보이는 현상을 볼 수 있다. 가령, 풍경사진을 볼 때, 사람은 이 같은 포그 효과를 통해 사진 내의 대략적인 깊이감을 파악할 수 있게 된다. CG에서도 Exponential Fog 기능을 통해 원경의 물체에 대기 효과를 부여할 수 있다. 제2 방식의 경우, 각 레이어 별로 실제 물리적 거리에 준하는 위치에 배치되므로, CG의 Fog 기능이 켜져 있을 경우, 동일하게 대기 효과가 적용된다. 만약, 소스로 사용하는 사진 속 원경의 산에 이미 충분한 Fog 효과가 나타나 있다면, CG의 Fog 값을 줄이거나, Layered Plate 플러그인의 색상 보정 기능(채도, 콘트라스트, 감마 등)을 이용하여 해당 레이어의 색상 표현을 적절한 수준으로 조정할 수 있다.

본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 청구범위 및 이 청구범위와 균등한 것들에 의해 정해져야 한다.

10: 시스템 100: LED 벽체
200: 카메라 300: 재생 장치
310: 입력부 320: 통신부
330: 디스플레이 340: 메모리
350: 제어부 400: 제어 장치
VC: 가상 카메라

Claims (23)

1. 버추얼 프로덕션(virtual production) 기반 촬영 시에 실사 영상인 제1 영상을 촬영하는 카메라의 움직임 및 렌즈 상태에 따라 연동되는 가상 카메라에 의해 캡쳐된 가상 공간의 컨텐츠를 담은 제2 영상이 발광 소자(light-emitting diode; LED) 벽체에 표시되도록 상기 제2 영상을 재생하는 장치로서,
   2차원의 평면 이미지에 대한 정보를 저장한 메모리; 및
   상기 평면 이미지에 대한 입체화의 영상 처리를 수행하여, 상기 입체화의 영상 처리에 따른 영상이 상기 제2 영상에 포함되도록 제어하는 제어부;를 포함하며,
   상기 제어부는,
   상기 평면 이미지에 대한 평면 플레이트(Plate)를 가상 공간 내에 배치하되, 상기 평면 Plate의 중심 지점이 가상 공간 내의 기준 위치로부터 이격된 위치에 상기 평면 Plate를 배치한 후, 곡면 이격 거리에 따라 상기 평면 Plate로부터 이격된 위치에 상기 평면 Plate에 대한 오목한 반구형의 곡면 플레이트(Plate)를 상기 평면 Plate를 이용하여 생성하고,
   상기 평면 이미지에서 각 구분 이미지의 레이어에 대한 별도의 상기 곡면 Plate들을 각각 서로 다른 곡면 이격 거리에 따라 생성하며,
   상기 카메라의 움직임 및 렌즈 상태에 따라 상기 가상 카메라가 연동되면서 상기 곡면 Plate들을 캡쳐하도록 제어하는 장치.
   
2. 버추얼 프로덕션(virtual production) 기반 촬영 시에 실사 영상인 제1 영상을 촬영하는 카메라의 움직임 및 렌즈 상태에 따라 연동되는 가상 카메라에 의해 캡쳐된 가상 공간의 컨텐츠를 담은 제2 영상이 발광 소자(light-emitting diode; LED) 벽체에 표시되도록 상기 제2 영상을 재생하는 장치로서,
   2차원의 평면 이미지에 대한 정보를 저장한 메모리; 및
   상기 평면 이미지에 대한 입체화의 영상 처리를 수행하여, 상기 입체화의 영상 처리에 따른 영상이 상기 제2 영상에 포함되도록 제어하는 제어부;를 포함하며,
   상기 제어부는,
   상기 평면 이미지에 대한 평면 플레이트(Plate)를 가상 공간 내에 배치하되, 상기 평면 Plate의 중심 지점이 가상 공간 내의 기준 위치로부터 이격된 위치에 상기 평면 Plate를 배치한 후, 곡면 이격 거리에 따라 상기 평면 Plate로부터 이격된 위치에 상기 평면 Plate에 대한 오목한 반구형의 곡면 플레이트(Plate)를 상기 평면 Plate를 이용하여 생성하고,
   상기 카메라의 움직임 및 렌즈 상태에 따라 상기 가상 카메라가 연동되면서 상기 곡면 Plate를 캡쳐하도록 제어하며,
   상기 평면 이미지가 촬영될 당시의 카메라 세팅 상태에 대한 정보를 이용하여 상기 평면 Plate가 배치되도록 제어하고,
   제1 구분 이미지의 제1 레이어와, 제1 구분 이미지보다 원경인 제2 구분 이미지의 제2 레이어에 대해, 상기 제1 레이어의 곡면 이격 거리가 상기 제2 레이어의 곡면 이격 거리보다 짧게 설정되도록 제어하는 장치.
   
3. 버추얼 프로덕션(virtual production) 기반 촬영 시에 실사 영상인 제1 영상을 촬영하는 카메라의 움직임 및 렌즈 상태에 따라 연동되는 가상 카메라에 의해 캡쳐된 가상 공간의 컨텐츠를 담은 제2 영상이 발광 소자(light-emitting diode; LED) 벽체에 표시되도록 상기 제2 영상을 재생하는 장치로서,
   2차원의 평면 이미지에 대한 정보를 저장한 메모리; 및
   상기 평면 이미지에 대한 입체화의 영상 처리를 수행하여, 상기 입체화의 영상 처리에 따른 영상이 상기 제2 영상에 포함되도록 제어하는 제어부;를 포함하며,
   상기 제어부는,
   상기 평면 이미지에 대한 평면 플레이트(Plate)를 가상 공간 내에 배치하되, 상기 평면 Plate의 중심 지점이 가상 공간 내의 기준 위치로부터 이격된 위치에 상기 평면 Plate를 배치한 후, 곡면 이격 거리에 따라 상기 평면 Plate로부터 이격된 위치에 상기 평면 Plate에 대한 오목한 반구형의 곡면 플레이트(Plate)를 상기 평면 Plate를 이용하여 생성하고,
   상기 카메라의 움직임 및 렌즈 상태에 따라 상기 가상 카메라가 연동되면서 상기 곡면 Plate를 캡쳐하도록 제어하고,
   상기 평면 이미지가 촬영될 당시의 카메라 세팅 상태에 대한 정보를 이용하여 상기 평면 Plate가 배치되도록 제어하며,
   근경인 제1 구분 이미지의 제1 레이어와, 중경인 제2 구분 이미지의 제2 레이어와, 원경인 제3 구분 이미지의 제3 레이어에 대해, 상기 제1 레이어의 곡면 이격 거리가 상기 제2 레이어의 곡면 이격 거리보다 짧고, 상기 제2 레이어의 곡면 이격 거리가 상기 제3 레이어의 곡면 이격 거리보다 짧게 설정되도록 제어하는 장치.
   
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 제어부는 상기 가상 카메라가 상기 기준 위치에서 상기 평면 Plate 및 상기 곡면 Plate를 바라볼 때에 각각이 동일하게 매칭되는 위치에 상기 곡면 Plate가 생성되도록 제어하는 장치.
   
5. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 제어부는 상기 평면 Plate를 이루는 각 정점(Vertex)과 상기 곡면 Plate를 이루는 각 정점이 상기 기준 위치를 원점으로 하여 대응하는 위치에 상기 곡면 Plate가 생성되도록 제어하는 장치.
   
6. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 제어부는 상기 기준 위치에서 상기 평면 Plate의 각 정점에 대한 연장선을 그을 때, 해당 연장선이 상기 평면 Plate과 만나는 상기 평면 Plate의 정점에 표시되는 이미지와, 해당 연장선이 상기 곡면 Plate와 만나는 상기 곡면 Plate의 정점에 표시되는 이미지가 동일하도록 하는 위치에 상기 곡면 Plate가 생성되도록 제어하는 장치.
   
7. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 제어부는 상기 평면 이미지가 촬영될 당시의 카메라 세팅 상태에 대한 정보를 이용하여 상기 평면 Plate가 배치되도록 제어하는 장치.
   
8. 삭제
9. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 곡면 Plate는 상기 곡면 이격 거리가 커질수록 커지는 면적을 가지는 장치.
   
10. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제어부는 상기 곡면 Plate들 중에 적어도 하나에 대해 깊이 맵을 이용하여 해당 곡면 Plate의 적어도 하나의 정점이 해당 곡면 Plate로부터 기준 위치 측의 방향으로 돌출되도록 하여 해당 곡면 Plate에 대해 두께감이 부여되도록 제어하는 장치.
    
11. 버추얼 프로덕션(virtual production) 기반 촬영 시에 실사 영상인 제1 영상을 촬영하는 카메라의 움직임 및 렌즈 상태에 따라 연동되는 가상 카메라에 의해 캡쳐된 가상 공간의 컨텐츠를 담은 제2 영상이 발광 소자(light-emitting diode; LED) 벽체에 표시되도록 상기 제2 영상을 재생하는 장치에서 수행되는 방법으로서,
    2차원의 평면 이미지에 대한 입체화의 영상 처리를 수행하는 단계; 및
    상기 입체화의 영상 처리에 따른 영상이 상기 제2 영상에 포함되어 상기 LED 벽체에 표시되도록 처리하는 단계;를 포함하며,
    상기 수행하는 단계는,
    상기 평면 이미지에 대한 평면 플레이트(Plate)를 가상 공간 내에 배치하되, 상기 평면 Plate의 중심 지점이 가상 공간 내의 기준 위치로부터 이격된 위치에 상기 평면 Plate를 배치하는 단계; 및
    곡면 이격 거리에 따라 상기 평면 Plate로부터 이격된 위치에 상기 평면 Plate에 대한 오목한 반구형의 곡면 플레이트(Plate)를 상기 평면 Plate를 이용하여 생성하는 단계;를 포함하고,
    상기 수행하는 단계는 상기 평면 이미지에서 각 구분 이미지의 레이어에 대한 별도의 상기 곡면 Plate들을 각각 서로 다른 곡면 이격 거리에 따라 생성하는 단계를 포함하며,
    상기 처리하는 단계는 상기 카메라의 움직임 및 렌즈 상태에 따라 상기 가상 카메라가 연동되면서 상기 곡면 Plate들을 캡쳐하는 단계를 포함하는 방법.
    
12. 버추얼 프로덕션(virtual production) 기반 촬영 시에 실사 영상인 제1 영상을 촬영하는 카메라의 움직임 및 렌즈 상태에 따라 연동되는 가상 카메라에 의해 캡쳐된 가상 공간의 컨텐츠를 담은 제2 영상이 발광 소자(light-emitting diode; LED) 벽체에 표시되도록 상기 제2 영상을 재생하는 장치에서 수행되는 방법으로서,
    2차원의 평면 이미지에 대한 입체화의 영상 처리를 수행하는 단계; 및
    상기 입체화의 영상 처리에 따른 영상이 상기 제2 영상에 포함되어 상기 LED 벽체에 표시되도록 처리하는 단계;를 포함하며,
    상기 수행하는 단계는,
    상기 평면 이미지에 대한 평면 플레이트(Plate)를 가상 공간 내에 배치하되, 상기 평면 Plate의 중심 지점이 가상 공간 내의 기준 위치로부터 이격된 위치에 상기 평면 Plate를 배치하는 단계; 및
    곡면 이격 거리에 따라 상기 평면 Plate로부터 이격된 위치에 상기 평면 Plate에 대한 오목한 반구형의 곡면 플레이트(Plate)를 상기 평면 Plate를 이용하여 생성하는 단계;를 포함하고,
    상기 처리하는 단계는 상기 카메라의 움직임 및 렌즈 상태에 따라 상기 가상 카메라가 연동되면서 상기 곡면 Plate들을 캡쳐하는 단계를 포함하며,
    상기 수행하는 단계는 상기 평면 이미지가 촬영될 당시의 카메라 세팅 상태에 대한 정보를 이용하여 상기 평면 Plate를 배치하는 단계를 포함하고,
    상기 수행하는 단계는 제1 구분 이미지의 제1 레이어와, 제1 구분 이미지보다 원경인 제2 구분 이미지의 제2 레이어에 대해, 상기 제1 레이어의 곡면 이격 거리가 상기 제2 레이어의 곡면 이격 거리보다 짧게 설정하는 단계를 포함하는 방법.
    
13. 버추얼 프로덕션(virtual production) 기반 촬영 시에 실사 영상인 제1 영상을 촬영하는 카메라의 움직임 및 렌즈 상태에 따라 연동되는 가상 카메라에 의해 캡쳐된 가상 공간의 컨텐츠를 담은 제2 영상이 발광 소자(light-emitting diode; LED) 벽체에 표시되도록 상기 제2 영상을 재생하는 장치에서 수행되는 방법으로서,
    2차원의 평면 이미지에 대한 입체화의 영상 처리를 수행하는 단계; 및
    상기 입체화의 영상 처리에 따른 영상이 상기 제2 영상에 포함되어 상기 LED 벽체에 표시되도록 처리하는 단계;를 포함하며,
    상기 수행하는 단계는,
    상기 평면 이미지에 대한 평면 플레이트(Plate)를 가상 공간 내에 배치하되, 상기 평면 Plate의 중심 지점이 가상 공간 내의 기준 위치로부터 이격된 위치에 상기 평면 Plate를 배치하는 단계; 및
    곡면 이격 거리에 따라 상기 평면 Plate로부터 이격된 위치에 상기 평면 Plate에 대한 오목한 반구형의 곡면 플레이트(Plate)를 상기 평면 Plate를 이용하여 생성하는 단계;를 포함하고,
    상기 처리하는 단계는 상기 카메라의 움직임 및 렌즈 상태에 따라 상기 가상 카메라가 연동되면서 상기 곡면 Plate들을 캡쳐하는 단계를 포함하며,
    상기 수행하는 단계는 상기 평면 이미지가 촬영될 당시의 카메라 세팅 상태에 대한 정보를 이용하여 상기 평면 Plate를 배치하는 단계를 포함하고,
    상기 수행하는 단계는 근경인 제1 구분 이미지의 제1 레이어와, 중경인 제2 구분 이미지의 제2 레이어와, 원경인 제3 구분 이미지의 제3 레이어에 대해, 상기 제1 레이어의 곡면 이격 거리가 상기 제2 레이어의 곡면 이격 거리보다 짧고, 상기 제2 레이어의 곡면 이격 거리가 상기 제3 레이어의 곡면 이격 거리보다 짧게 설정하는 단계를 포함하는 방법.
    
14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 수행하는 단계는 상기 가상 카메라가 상기 기준 위치에서 상기 평면 Plate 및 상기 곡면 Plate를 바라볼 때에 각각이 동일하게 매칭되는 위치에 상기 곡면 Plate를 생성하는 단계를 포함하는 방법.
    
15. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 수행하는 단계는 상기 평면 Plate를 이루는 각 정점(Vertex)과 상기 곡면 Plate를 이루는 각 정점이 상기 기준 위치를 원점으로 하여 대응하는 위치에 상기 곡면 Plate를 생성하는 단계를 포함하는 방법.
    
16. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 수행하는 단계는 상기 기준 위치에서 상기 평면 Plate의 각 정점에 대한 연장선을 그을 때, 해당 연장선이 상기 평면 Plate과 만나는 상기 평면 Plate의 정점에 표시되는 이미지와, 해당 연장선이 상기 곡면 Plate와 만나는 상기 곡면 Plate의 정점에 표시되는 이미지가 동일하도록 하는 위치에 상기 곡면 Plate를 생성하는 단계를 포함하는 방법.
    
17. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 수행하는 단계는 상기 평면 이미지가 촬영될 당시의 카메라 세팅 상태에 대한 정보를 이용하여 상기 평면 Plate를 배치하는 단계를 포함하는 방법.
    
18. 제11항에 있어서,
    상기 수행하는 단계는 상기 곡면 Plate들 중에 적어도 하나에 대해 깊이 맵을 이용하여 해당 곡면 Plate의 적어도 하나의 정점이 해당 곡면 Plate로부터 기준 위치 측의 방향으로 돌출되도록 하여 해당 곡면 Plate에 대해 두께감을 부여하는 단계를 포함하는 방법.
    
19. 삭제
20. 버추얼 프로덕션(virtual production) 기반 촬영을 위해 사용되는 시스템으로서,
    실사 영상인 제1 영상을 촬영하는 카메라; 및
    상기 카메라의 움직임 및 렌즈 상태에 따라 연동되는 가상 카메라에 의해 캡쳐된 가상 공간의 컨텐츠를 담은 제2 영상이 발광 소자(light-emitting diode; LED) 벽체에 표시되도록 상기 제2 영상을 재생하는 재생 장치;를 포함하며,
    상기 재생 장치는,
    2차원의 평면 이미지에 대한 정보를 저장한 메모리; 및
    상기 평면 이미지에 대한 입체화의 영상 처리를 수행하여, 상기 입체화의 영상 처리에 따른 영상이 상기 제2 영상에 포함되도록 제어하는 제어부;를 포함하며,
    상기 제어부는,
    상기 평면 이미지에 대한 평면 플레이트(Plate)를 가상 공간 내에 배치하되, 상기 평면 Plate의 중심 지점이 가상 공간 내의 기준 위치로부터 이격된 위치에 상기 평면 Plate를 배치한 후, 곡면 이격 거리에 따라 상기 평면 Plate로부터 이격된 위치에 상기 평면 Plate에 대한 오목한 반구형의 곡면 플레이트(Plate)를 상기 평면 Plate를 이용하여 생성하고,
    상기 평면 이미지에서 각 구분 이미지의 레이어에 대한 별도의 상기 곡면 Plate들을 각각 서로 다른 곡면 이격 거리에 따라 생성하며,
    상기 카메라의 움직임 및 렌즈 상태에 따라 상기 가상 카메라가 연동되면서 상기 곡면 Plate들을 캡쳐하도록 제어하는 시스템.
    
21. 버추얼 프로덕션(virtual production) 기반 촬영을 위해 사용되는 시스템으로서,
    실사 영상인 제1 영상을 촬영하는 카메라; 및
    상기 카메라의 움직임 및 렌즈 상태에 따라 연동되는 가상 카메라에 의해 캡쳐된 가상 공간의 컨텐츠를 담은 제2 영상이 발광 소자(light-emitting diode; LED) 벽체에 표시되도록 상기 제2 영상을 재생하는 재생 장치;를 포함하며,
    상기 재생 장치는,
    2차원의 평면 이미지에 대한 정보를 저장한 메모리; 및
    상기 평면 이미지에 대한 입체화의 영상 처리를 수행하여, 상기 입체화의 영상 처리에 따른 영상이 상기 제2 영상에 포함되도록 제어하는 제어부;를 포함하며,
    상기 제어부는,
    상기 평면 이미지에 대한 평면 플레이트(Plate)를 가상 공간 내에 배치하되, 상기 평면 Plate의 중심 지점이 가상 공간 내의 기준 위치로부터 이격된 위치에 상기 평면 Plate를 배치한 후, 곡면 이격 거리에 따라 상기 평면 Plate로부터 이격된 위치에 상기 평면 Plate에 대한 오목한 반구형의 곡면 플레이트(Plate)를 상기 평면 Plate를 이용하여 생성하고,
    상기 카메라의 움직임 및 렌즈 상태에 따라 상기 가상 카메라가 연동되면서 상기 곡면 Plate를 캡쳐하도록 제어하며,
    상기 평면 이미지가 촬영될 당시의 카메라 세팅 상태에 대한 정보를 이용하여 상기 평면 Plate가 배치되도록 제어하고,
    제1 구분 이미지의 제1 레이어와, 제1 구분 이미지보다 원경인 제2 구분 이미지의 제2 레이어에 대해, 상기 제1 레이어의 곡면 이격 거리가 상기 제2 레이어의 곡면 이격 거리보다 짧게 설정되도록 제어하는 시스템.
    
22. 버추얼 프로덕션(virtual production) 기반 촬영을 위해 사용되는 시스템으로서,
    실사 영상인 제1 영상을 촬영하는 카메라; 및
    상기 카메라의 움직임 및 렌즈 상태에 따라 연동되는 가상 카메라에 의해 캡쳐된 가상 공간의 컨텐츠를 담은 제2 영상이 발광 소자(light-emitting diode; LED) 벽체에 표시되도록 상기 제2 영상을 재생하는 재생 장치;를 포함하며,
    상기 재생 장치는,
    2차원의 평면 이미지에 대한 정보를 저장한 메모리; 및
    상기 평면 이미지에 대한 입체화의 영상 처리를 수행하여, 상기 입체화의 영상 처리에 따른 영상이 상기 제2 영상에 포함되도록 제어하는 제어부;를 포함하며,
    상기 제어부는,
    상기 평면 이미지에 대한 평면 플레이트(Plate)를 가상 공간 내에 배치하되, 상기 평면 Plate의 중심 지점이 가상 공간 내의 기준 위치로부터 이격된 위치에 상기 평면 Plate를 배치한 후, 곡면 이격 거리에 따라 상기 평면 Plate로부터 이격된 위치에 상기 평면 Plate에 대한 오목한 반구형의 곡면 플레이트(Plate)를 상기 평면 Plate를 이용하여 생성하고,
    상기 카메라의 움직임 및 렌즈 상태에 따라 상기 가상 카메라가 연동되면서 상기 곡면 Plate를 캡쳐하도록 제어하고,
    상기 평면 이미지가 촬영될 당시의 카메라 세팅 상태에 대한 정보를 이용하여 상기 평면 Plate가 배치되도록 제어하며,
    근경인 제1 구분 이미지의 제1 레이어와, 중경인 제2 구분 이미지의 제2 레이어와, 원경인 제3 구분 이미지의 제3 레이어에 대해, 상기 제1 레이어의 곡면 이격 거리가 상기 제2 레이어의 곡면 이격 거리보다 짧고, 상기 제2 레이어의 곡면 이격 거리가 상기 제3 레이어의 곡면 이격 거리보다 짧게 설정되도록 제어하는 시스템.
    
23. 삭제