KR102250254B1

KR102250254B1 - 영상 처리 방법 및 장치

Info

Publication number: KR102250254B1
Application number: KR1020140101172A
Authority: KR
Inventors: 박승인; 안민수; 하인우; 이기창; 이형욱
Original assignee: 삼성전자주식회사
Priority date: 2014-08-06
Filing date: 2014-08-06
Publication date: 2021-05-10
Also published as: US10776996B2; US20160042558A1; KR20160017517A

Abstract

영상 처리 장치 및 방법이 개시된다. 일 실시예에 따르면, 영상 처리 장치는 이전 영상 프레임의 가상 광원 정보에 기초하여 현재 영상 프레임의 특정 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 마스크를 생성할 수 있다. 영상 처리 장치는 마스크를 현재 영상 프레임에 적용하여 영상 처리 장치는 시간적으로 연속성을 가지는 영상 프레임들 사이에서 가상 광원이 중복적으로 샘플링되는 것을 방지할 수 있다. 영상 처리 장치는 이전 영상 프레임에서 샘플링된 가상 광원을 현재 영상 프레임에 반영하고, 추가적으로 샘플링된 가상 광원들에 기초하여 현재 영상 프레임을 렌더링할 수 있다.

Description

영상 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING IMAGE}

아래의 설명은 3D 그래픽을 렌더링하는 영상 처리 기술에 관한 것이다.

3D 게임, 가상현실(virtual reality) 애니메이션, 영화 등 다양한 분야에서, 3D 모델에 대한 실시간 렌더링(real-time rendering)에 대한 관심이 높아지고 있다. 전역 조명(global illumination) 기술을 이용하여 3D 장면을 렌더링하는 경우, 이미지 공간 내에 상대적으로 영향이 큰 가상 광원(virtual point light, VPL)들을 샘플링하는 중요도 샘플링(importance sampling)이 이용된다. 중요도 샘플링은 이미지 공간의 특징에 기초하여 VPL이 샘플링되는 위치 및 샘플링될 VPL의 개수를 결정하는 기법으로서, Monte Carlo 시뮬레이션에 기반한 레이 트레이싱(ray tracing) 기반 렌더링 및 래디오서티(radiosity) 기반 렌더링 등에서 이용된다.

일 실시예에 따른 영상 처리 방법은, 이전 영상 프레임의 가상 광원 정보에 기초하여 현재 영상 프레임의 특정 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 마스크를 생성하는 단계; 상기 현재 영상 프레임에 상기 마스크를 적용하는 단계; 상기 마스크가 적용된 현재 영상 프레임에서 가상 광원을 샘플링하는 단계; 및 상기 현재 영상 프레임에서 샘플링된 가상 광원에 기초하여 상기 현재 영상 프레임을 렌더링하는 단계를 포함할 수 있다.

일 실시예에 따른 영상 처리 방법에서, 상기 마스크를 생성하는 단계는, 이전 영상 프레임에서 가상 광원이 샘플링된 영역을 식별하는 단계; 및 상기 식별된 영역에 대응하는 상기 현재 영상 프레임의 기준 영역 및 상기 기준 영역의 주변 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 마스크를 생성하는 단계를 포함할 수 있다.

일 실시예에 따른 영상 처리 방법에서, 상기 마스크를 적용하는 단계는, 상기 현재 영상 프레임의 크기에 기초하여 상기 마스크의 크기를 스케일링하는 단계를 포함할 수 있다.

일 실시예에 따른 영상 처리 방법은, 상기 현재 영상 프레임을 렌더링하는 단계는, 이전 영상 프레임에서 샘플링된 가상 광원을 상기 현재 영상 프레임에 반영하는 단계; 및 상기 현재 영상 프레임에서 샘플링된 가상 광원 및 상기 현재 영상 프레임에 반영된 이전 영상 프레임의 가상 광원에 기초하여 상기 현재 영상 프레임을 렌더링하는 단계를 포함할 수 있다.

다른 실시예에 따른 영상 처리 방법은, 이전 영상 프레임의 가상 광원 정보에 기초하여 현재 영상 프레임의 특정 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 마스크를 생성하는 단계; 상기 현재 영상 프레임에 상기 마스크를 적용하는 단계; 상기 마스크가 적용된 현재 영상 프레임을 복수의 그리드 영역들로 분할하는 단계; 상기 그리드 영역들 중 가상 광원을 샘플링하고자 하는 관심 영역에서 가상 광원을 샘플링하는 단계; 및 상기 현재 영상 프레임에서 샘플링된 가상 광원에 기초하여 상기 현재 영상 프레임을 렌더링하는 단계를 포함할 수 있다.

다른 실시예에 따른 영상 처리 방법에서, 상기 가상 광원을 샘플링하는 단계는, 상기 관심 영역에서 샘플링될 가상 광원의 개수를 결정하는 단계; 및 상기 결정된 샘플링될 가상 광원의 개수만큼 상기 관심 영역에서 가상 광원을 샘플링하는 단계를 포함할 수 있다.

다른 실시예에 따른 영상 처리 방법에서, 상기 샘플링될 가상 광원의 개수를 결정하는 단계는, 상기 현재 영상 프레임의 밝기 분포, 컬러 분포, 및 플럭스 분포 중 적어도 하나에 기초하여 상기 관심 영역에서 샘플링될 가상 광원의 개수를 결정하는 단계를 포함할 수 있다.

다른 실시예에 따른 영상 처리 방법에서, 상기 마스크는, 저해상도의 텍스쳐로 표현되고, 상기 마스크를 적용하는 단계는, 상기 현재 영상 프레임의 크기에 기초하여 상기 마스크의 크기를 스케일링하는 단계; 및 상기 스케일링된 마스크의 텍스쳐와 상기 현재 영상 프레임의 텍스쳐를 결합시키는 단계를 포함할 수 있다.

일 실시예에 따른 영상 처리 장치는, 이전 영상 프레임의 가상 광원 정보에 기초하여 현재 영상 프레임의 특정 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 마스크를 생성하는 마스크 생성부; 상기 마스크가 적용된 현재 영상 프레임에서 가상 광원을 샘플링하는 가상 광원 샘플링부; 및 상기 현재 영상 프레임에서 샘플링된 가상 광원에 기초하여 상기 현재 영상 프레임을 렌더링하는 렌더링부를 포함할 수 있다.

일 실시예에 따른 영상 처리 장치에서, 상기 마스크 생성부는, 이전 영상 프레임에서 가상 광원이 샘플링된 영역을 식별하고, 상기 식별된 영역에 대응하는 상기 현재 영상 프레임의 기준 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 마스크를 생성할 수 있다.

일 실시예에 따른 영상 처리 장치에서, 상기 마스크는, 저해상도의 텍스쳐로 표현되고, 상기 마스크가 상기 현재 영상 프레임에 적용될 때, 상기 마스크의 크기는 그래픽 처리 유닛의 하드웨어 가속 기능을 이용하여 스케일링될 수 있다.

일 실시예에 따른 영상 처리 장치는, 상기 마스크가 적용된 현재 영상 프레임을 복수의 그리드 영역들로 분할하는 영역 분할부를 더 포함할 수 있다.

일 실시예에 따른 영상 처리 장치에서, 상기 가상 광원 샘플링부는, 상기 그리드 영역들 중 가상 광원을 샘플링하고자 하는 관심 영역에서 가상 광원을 샘플링할 수 있다.

일 실시예에 따른 영상 처리 장치에서, 상기 가상 광원 샘플링부는, 그리드 영역별로 샘플링될 가상 광원의 개수를 결정하고, 상기 그리드 영역별로 결정된 샘플링될 가상 광원의 개수에 기초하여 가상 광원을 샘플링하고자 하는 관심 영역에서 가상 광원을 샘플링할 수 있다.

도 1은 일 실시예에 따른 영상 처리 장치의 구성을 나타내는 도면이다.
도 2는 다른 실시예에 따른 영상 처리 장치의 구성을 나타내는 도면이다.
도 3은 일 실시예에 따른 현재 영상 프레임에서 가상 광원을 샘플링하는 동작의 일례를 설명하기 위한 도면이다.
도 4는 다른 실시예에 따른 현재 영상 프레임에서 가상 광원을 샘플링하는 동작의 일례를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 영상 처리 방법의 동작을 설명하기 위한 흐름도이다.
도 6은 다른 실시예에 따른 영상 처리 방법의 동작을 설명하기 위한 흐름도이다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로, 실시예의 범위가 본문에 설명된 내용에 한정되는 것으로 해석되어서는 안된다. 관련 기술 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타내며, 공지된 기능 및 구조는 생략하도록 한다.

도 1은 일 실시예에 따른 영상 처리 장치(100)의 구성을 나타내는 도면이다. 영상 처리 장치(100)는 PC(Personal computer), 스마트폰, 태블릿 PC 등에 내장되어 3D 영상을 렌더링할 수 있다. 예를 들어, 영상 처리 장치(100)는 게임, 영화, 사용자 인터페이스, 가상 현실(virtual reality), 증강 현실(augmented reality) 등의 분야에서 3D 그래픽을 렌더링을 수행할 수 있다. 영상 처리 장치(100)는 입력 영상으로서 현재 영상 프레임을 렌더링하고, 현재 영상 프레임의 렌더링 영상을 출력할 수 있다. 영상 처리 장치(100)는 현재 영상 프레임을 렌더링하여 가상 공간을 생성하고, 가상 공간 내에 가상 오브젝트(virtual object)를 배치할 수 있다. 가상 공간은 임의의 환경을 3D 그래픽스로 표현한 것일 수 있다.

영상 처리 장치(100)는 가상 공간에서 전역 조명(global illumination)의 효과를 구현하기 위해 VPL(virtual point light) 또는 간접 광원과 같은 가상 광원(virtual light source)들을 가상 공간 또는 가상 오브젝트에 배치할 수 있다. 영상 처리 장치(100)는 가상 광원을 가상 공간 또는 가상 오브젝트에 배치하여 렌더링 영상에서 빛의 반사, 회절, 및 확산 등의 자연 현상을 표현할 수 있다. 영상 처리 장치(100)는 가상 광원이 배치되는 영역 또는 배치되는 가상 광원의 개수를 조절하여 렌더링 영상에 표현되는 조명 효과를 제어할 수 있다.

영상 처리 장치(100)는 가상 공간에 배치할 가상 광원을 결정하기 위해 가상 광원의 샘플링(sampling) 과정을 수행할 수 있다. 가상 광원의 샘플링 과정을 통해 가상 공간의 어느 영역에 얼마나 많은 수의 가상 광원이 배치될 것인지가 결정될 수 있다. 영상 처리 장치(100)는 이미지 공간 영역의 밝기(light intensity), 컬러, 또는 플럭스(flux) 등의 특징에 기초하여 현재 영상 프레임에서 가상 광원을 샘플링할 수 있다. 예를 들어, 영상 처리 장치(100)는 현재 영상 프레임의 광원 시점의 렌더링(light view rendering)의 결과 영상에서 가상 광원을 샘플링하거나 또는 라이트(light)에 대한 광선 추적(ray tracing) 기법을 통해 가상 광원을 샘플링할 수 있다.

영상 처리 장치(100)는 입력 영상에 포함된 복수의 영상 프레임들 간의 시간적 일관성(temporal coherency)을 고려하여 가상 광원을 샘플링할 수 있다. 예를 들어, 3D 그래픽 애니메이션이 렌더링되는 경우, 시간적으로 연속되는 영상 프레임들 간에는 데이터의 연속성이 존재하여 이전 영상 프레임과 현재 영상 프레임이 서로 유사한 장면을 나타낼 수 있다. 이전 영상 프레임은 현재 영상 프레임보다 시간적으로 앞서는 프레임으로, 현재 영상 프레임보다 먼저 가상 광원이 샘플링된 영상 프레임을 나타낸다. 데이터의 연속성이 존재하는 영상 프레임들의 경우, 이전 영상 프레임에서 샘플링된 가상 광원들 중 전부 또는 일부는 현재 영상 프레임에서 다시 이용될 수 있다.

영상 처리 장치(100)는 현재 영상 프레임에서 가상 광원을 샘플링할 때, 이전 영상 프레임에서 샘플링된 가상 광원의 정보를 이용할 수 있다. 영상 처리 장치(100)는 이전 영상 프레임의 가상 광원 정보를 이용하여 현재 영상 프레임에서 전체 영역이 아닌 특정 관심 영역에서 가상 광원을 선택적으로 샘플링할 수 있다. 예를 들어, 영상 처리 장치(100)는 현재 영상 프레임에서 이전에 이미 가상 광원이 샘플링된 영역을 제외한 나머지 영역에서 가상 광원을 샘플링할 수 있다. 특정 관심 영역에서만 가상 광원을 샘플링함으로써 계산 효율이 개선되고 가상 광원이 보다 빠르게 샘플링될 수 있다.

예를 들어, 영상 처리 장치(100)가 중요도 샘플링(importance sampling) 기법을 이용하여 현재 영상 프레임에서 가상 광원을 샘플링하는 경우, 가상 광원의 샘플링 과정에서 제외하고자 하는 정보를 중요도 맵(importance map)에 반영하고, 제외하고자 하는 부분의 가중치를 낮게 설정할 수 있다. 중요도 샘플링 기법을 이용하여 가상 광원을 샘플링하는 경우, 영상 프레임의 밝기 분포, BRDF(Bidirectional Reflectance Distribution Function), BSSRDF(Bidirectional Surface Scattering Reflectance Distribution Function) 등에 기초하여 가상 광원이 샘플링될 영역이 결정될 수 있다. 예를 들어, 중요도 맵은 영상 프레임에 포함된 각 픽셀의 밝기(light intensity) 값에 기초하여 결정된 확률 분포 정보를 포함할 수 있고, 중요도 샘플링에서는 중요도 맵에 포함된 확률 분포 정보에 기초하여 가상 광원이 샘플링될 영역이 결정될 수 있다. 중요도 맵에서 밝은 영역은 어두운 영역보다 가상 광원이 샘플링될 확률이 상대적으로 높게 설정될 수 있다.

영상 처리 장치(100)는 이전 영상 프레임에서 샘플링된 가상 광원을 현재 영상 프레임에 반영하고, 현재 영상 프레임에서 추가적으로 샘플링된 가상 광원들에 기초하여 현재 영상 프레임을 렌더링할 수 있다. 영상 처리 장치(100)는 이전 영상 프레임에서 샘플링된 가상 광원을 현재 영상 프레임에 반영함으로써 플리커링(flickering) 현상이 발생하는 것을 감소시키고, 보다 빠르게 렌더링을 수행할 수 있다. 또한, 이전 영상 프레임에서 샘플링된 가상 광원이 현재 영상 프레임에 반영됨으로써 가상 광원별 쉐도우 맵(shadow map)과 같은 자원이 재활용될 수 있다. 영상 처리 장치(100)는 이전 영상 프레임의 가상 광원을 이용하는 것뿐만 아니라, 현재 영상 프레임의 조명 환경을 고려하여 가상 광원을 재배치함으로써 렌더링 화질이 저하되는 것을 방지할 수 있다.

도 1을 참조하면, 일 실시예에 따른 영상 처리 장치(100)는 마스크 생성부(110), 가상 광원 샘플링부(120) 및 렌더링부(130)를 포함할 수 있다.

마스크 생성부(110)는 가상 광원의 샘플링 과정에서 제외하려는 대상을 선택하고, 선택된 대상에 대한 마스크를 생성할 수 있다. 예를 들어, 마스크 생성부(110)는 이전 영상 프레임에서 가상 광원이 샘플링된 영역, 빛의 특정 반사 방향과 같은 가상 광원의 특성, 또는 오브젝트 모델의 기하학 정보(geometric information) 등을 가상 광원의 샘플링 과정에서 제외하려는 대상으로 선택할 수 있다. 오브젝트 모델의 기하학 정보는 오브젝트 모델의 가시성(visibility), 주변 폐색(ambient occlusion) 등의 정보를 포함할 수 있다.

예를 들어, 이전 영상 프레임에서 가상 광원이 샘플링된 영역이 제외 대상으로 선택된 경우, 마스크 생성부(110)는 현재 영상 프레임에서 이전에 이미 가상 광원이 샘플링된 영역에 다시 가상 광원이 샘플링되는 것을 방지하기 위한 마스크를 생성할 수 있다. 마스크에 의해, 현재 영상 프레임 내 영역 중 이전 영상 프레임에서 가상 광원이 샘플링된 영역을 제외한 나머지 영역에서 가상 광원이 샘플링될 수 있다. 다른 예로, 빛의 특정 반사 방향이 제외 대상으로 선택된 경우, 레이 트레이싱 기반의 렌더링에서 해당 특정 반사 방향을 제외한 나머지 반사 방향에 기초하여 가상 광원이 샘플링될 수 있다.

마스크 생성부(110)는 이전 영상 프레임의 가상 광원 정보에 기초하여 현재 영상 프레임의 특정 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 마스크를 생성할 수 있다. 예를 들어, 이전 영상 프레임의 가상 광원 정보는, 이전 영상 프레임에서 가상 광원이 샘플링된 영역, 가상 광원이 샘플링된 개수 등의 정보를 포함할 수 있다. 마스크는 현재 영상 프레임의 가상 광원이 샘플링될 때 이전 영상 프레임에서 렌더링된 가상 광원을 필터링하는 필터로 기능할 수 있다.

예를 들어, 마스크 생성부(110)는 이전 영상 프레임에서 가상 광원이 샘플링된 영역을 식별하고, 식별된 영역에 대응하는 현재 영상 프레임 내 기준 영역 및 기준 영역의 주변 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 마스크를 생성할 수 있다. 픽셀의 인텐시티(intensity) 값에 기초하여 중요도 샘플링이 수행되는 경우, 현재 영상 프레임 내 기준 영역에 포함된 픽셀의 인텐시티 값이 마스크에 의해 낮게 설정될 수 있다. 예를 들어, 픽셀의 인텐시티 값이 0(black)에서 255(white) 사이의 범위를 가질 때, 마스크가 적용된 현재 영상 프레임에 대한 중요도 맵에서 기준 영역에 포함된 픽셀의 인텐시티 값은 마스크에 의해 0으로 설정될 수 있다.

마스크 생성부(110)에 의해 생성된 마스크는 텍스쳐(texture)로 표현될 수 있다. 텍스쳐로 표현된 마스크는 가상 광원의 위치 등과 같이 가상 광원의 샘플링에서 제외하려는 정보를 포함할 수 있다. 예를 들어, 마스크는 현재 영상 프레임의 해상도와 동일한 해상도 또는 저해상도의 텍스쳐로 표현될 수 있다. 마스크는 텍스쳐의 형태로 그래픽 처리 유닛(Graphic Processing Unit; GPU) 안의 저장 공간(예를 들어, 텍스쳐 GPU 메모리)에 저장될 수 있다.

가상 광원 샘플링부(120)는 현재 영상 프레임에 마스크를 적용하고, 마스크가 적용된 현재 영상 프레임에서 가상 광원을 샘플링할 수 있다. 마스크가 현재 영상 프레임에 적용될 때, 마스크는 그래픽 처리 유닛의 하드웨어 가속(hardware acceleration) 기능을 통해 현재 영상 프레임의 크기로 스케일링되고, 자동적으로 텍스쳐에 대한 보간(interpolation) 작업이 수행될 수 있다. 스케일링된 마스크는 가상 광원의 샘플링에 있어, 현재 영상 프레임의 기준 영역뿐만 아니라 기준 영역의 주변 영역까지 마스킹(masking)할 수 있다. 스케일링 과정을 통해 마스크는 기준 영역 및 기준 영역의 주변 영역에서 가상 광원이 샘플링되는 것을 방지할 수 있다. 가상 광원 샘플링부(120)는 그래픽 처리 유닛을 이용하여 고속으로 마스크와 현재 영상 프레임을 결합시킬 수 있다. 가상 광원 샘플링부(120)는 그래픽 처리 유닛에서 제공하는 하드웨어 가속 기능을 이용하여 마스크의 텍스쳐와 현재 영상 프레임의 텍스쳐를 결합시킬 수 있다.

다른 실시예에 따르면, 가상 광원 샘플링부(120)는 텍스쳐를 사용하지 않고, 메모리 공간에 마스크 및 현재 영상 프레임을 저장한 후 마스크와 현재 영상 프레임을 블렌딩(blending)하는 것에 의해 현재 영상 프레임에 마스크를 적용할 수도 있다.

가상 광원 샘플링부(120)는 마스크가 적용된 현재 영상 프레임으로부터 중요도 맵을 생성할 수 있다. 현재 영상 프레임에 대한 중요도 맵에서, 기준 영역 및 기준 영역의 주변 영역은 마스크에 의해 가중치가 낮게 설정될 수 있다. 중요도 맵에서 특정 영역의 가중치가 낮다는 것은 해당 영역에서 가상 광원이 샘플링될 확률이 낮다는 것을 나타낸다. 가상 광원 샘플링부(120)는 생성된 중요도 맵을 이용하여 중요도 샘플링을 수행할 수 있다. 중요도 샘플링에서는 이미지 공간의 인텐시티(또는 밝기), 컬러, 또는 플럭스 등의 특징에 기초하여 가상 광원이 샘플링될 확률이 결정되고, 결정된 확률 정보는 중요도 맵으로 표현될 수 있다. 중요도 샘플링에서는 중요도 맵에 포함된 확률 정보에 기초하여 가상 광원이 샘플링될 수 있다. 예를 들어, 중요도 샘플링에서는, 현재 영상 프레임에 포함된 픽셀들의 인텐시티 값이 현재 영상 프레임의 전체 인텐시티 값으로 정규화(normalization)되고, 정규화된 인텐시티 값이 큰 픽셀 영역에 가상 광원이 샘플링될 수 있다.

렌더링부(130)는 현재 영상 프레임에서 샘플링된 가상 광원에 기초하여 현재 영상 프레임을 렌더링할 수 있다. 렌더링부(130)는 이전 영상 프레임에서 샘플링된 가상 광원을 현재 영상 프레임에 반영하고, 현재 영상 프레임에서 샘플링된 가상 광원 및 현재 영상 프레임에 반영된 이전 영상 프레임의 가상 광원에 기초하여 현재 영상 프레임을 렌더링할 수 있다. 예를 들어, 렌더링부(130)는 시점 매트릭스(view matrix), 투영 매트릭스(projection matrix) 및 오브젝트 모델별 모델 매트릭스(model matrix)를 이용하여 이전 영상 프레임에서 샘플링된 가상 광원들을 현재 영상 프레임의 이미지 공간에 투영할 수 있다. 현재 영상 프레임에서 샘플링된 가상 광원 및 현재 영상 프레임에 반영된 이전 영상 프레임의 가상 광원에 의해 현재 영상 프레임이 나타내는 이미지 공간에 전역 조명 효과가 구현될 수 있다.

도 2는 다른 실시예에 따른 영상 처리 장치(200)의 구성을 나타내는 도면이다. 다른 실시예에 따른, 영상 처리 장치(200)는 마스크가 적용된 현재 영상 프레임에서 가상 광원을 샘플링하기 전에, 마스크가 적용된 현재 영상 프레임을 복수의 영역들로 분할할 수 있다. 영상 처리 장치(200)는 복수의 영역들 중 가상 광원을 선택적으로 샘플링하고자 하는 관심 영역에서 가상 광원을 선택적으로 샘플링할 수 있다. 도 2를 참조하면, 다른 실시예에 따른 영상 처리 장치(200)는 마스크 생성부(210), 가상 광원 샘플링부(220) 및 렌더링부(230)를 포함할 수 있고, 가상 광원 샘플링부(220)는 영역 분할부(240)를 포함할 수 있다.

마스크 생성부(210)는 가상 광원의 샘플링 과정에서 제외하려는 대상을 선택하고, 선택된 대상에 대한 마스크를 생성할 수 있다. 예를 들어, 마스크 생성부(210)는 이전 영상 프레임에서 가상 광원이 샘플링된 영역, 빛의 특정 반사 방향과 같은 가상 광원의 특성, 또는 오브젝트 모델의 기하학 정보 등을 가상 광원의 샘플링 과정에서 제외하려는 대상으로 선택할 수 있다. 마스크 생성부(210)는 이전 영상 프레임의 가상 광원 정보에 기초하여 현재 영상 프레임의 특정 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 마스크를 생성할 수 있다. 마스크는 텍스쳐의 형태로 그래픽 처리 유닛 안의 저장 공간에 저장될 수 있다. 예를 들어, 마스크는 현재 영상 프레임의 해상도와 동일한 해상도 또는 저해상도의 텍스쳐로 표현될 수 있고, 가상 광원의 위치 등과 같이 가상 광원의 샘플링에서 제외하려는 정보를 포함할 수 있다. 도 2의 마스크 생성부(210)의 동작에 관한 설명은 도 1의 마스크 생성부(110)에 관한 설명을 참조할 수 있다.

가상 광원 샘플링부(220)는 마스크를 현재 영상 프레임에 적용할 수 있다. 마스크가 현재 영상 프레임에 적용될 때, 마스크는 그래픽 처리 유닛의 하드웨어 가속 기능을 통해 현재 영상 프레임의 크기로 스케일링되고, 자동적으로 텍스쳐에 대한 보간 과정이 수행될 수 있다. 스케일링된 이후에, 마스크는 현재 영상 프레임의 기준 영역뿐만 아니라, 기준 영역의 주변 영역까지 마스킹할 수 있다. 가상 광원 샘플링부(220)는 그래픽 처리 유닛에서 제공하는 하드웨어 가속 기능을 이용하여 마스크를 텍스쳐로서 현재 영상 프레임과 결합시킬 수 있다.

다른 실시예에 따르면, 가상 광원 샘플링부(220)는 텍스쳐를 사용하지 않고, 메모리 공간에 마스크 및 현재 영상 프레임을 저장한 후 마스크와 현재 영상 프레임을 결합시키는 것에 의해 현재 영상 프레임에 마스크를 적용할 수도 있다.

영역 분할부(240)는 마스크가 적용된 현재 영상 프레임을 복수의 영역들로 분할할 수 있다. 예를 들어, 영역 분할부(240)는 마스크가 적용된 현재 영상 프레임을 복수의 그리드(grid) 영역들로 분할할 수 있다. 가상 광원 샘플링부(220)는 그리드 영역들 중 가상 광원을 샘플링하고자 하는 관심 영역에서만 가상 광원을 선택적으로 샘플링할 수 있다. 관심 영역은 사용자에 의해 결정되거나, 현재 영상 프레임 내 밝기 분포, 또는 오브젝트의 움직임 등에 기초하여 결정될 수 있다. 예를 들어, 현재 영상 프레임에 포함된 그리드 영역들 중 밝은 영역을 관심 영역으로 결정하거나, 움직이는 오브젝트가 존재하는 그리드 영역을 관심 영역으로 결정할 수 있다.

가상 광원 샘플링부(220)는 각 그리드 영역마다 중요도 맵을 생성할 수 있다. 각 그리드 영역에 대한 중요도 맵들은 병렬 계산을 통해 고속으로 생성될 수 있다. 다른 실시예에 따르면, 가상 광원 샘플링부(220)는 가상 광원의 샘플링이 수행될 필요가 없다고 결정한 그리드 영역에서는 중요도 맵을 생성하지 않을 수 있다.

가상 광원 샘플링부(220)는 관심 영역마다 개별적으로 중요도 맵을 생성하고, 생성된 중요도 맵을 이용하여 관심 영역에서 중요도 샘플링을 수행할 수 있다. 가상 광원 샘플링부(220)는 복수의 관심 영역들에 대한 중요도 맵을 병렬적으로 생성할 수 있다. 현재 영상 프레임에서 가상 광원을 샘플링할 때, 전체 영역에서 가상 광원을 샘플링하지 않아도 될 경우가 있다. 현재 영상 프레임 내 전체 영역 중 가상 광원을 샘플링하고자 하는 일부 관심 영역에서만 가상 광원을 샘플링함으로써 가상 광원을 보다 빠르게 샘플링할 수 있다.

가상 광원 샘플링부(220)는 그리드 영역별로 샘플링될 가상 광원의 개수를 결정하고, 그리드 영역별로 결정된 샘플링될 가상 광원의 개수만큼 관심 영역에서 가상 광원을 샘플링할 수 있다. 가상 광원 샘플링부(220)는 현재 영상 프레임의 밝기 분포, 컬러 분포, 및 플럭스 분포 중 적어도 하나에 기초하여 관심 영역에서 샘플링될 가상 광원의 개수를 결정할 수 있다. 그러나, 실시예의 범위가 밝기 분포, 컬러 분포, 및 플럭스 분포에 한정되는 것으로 해석되어서는 안되며, 가상 광원 샘플링부(220)는 그 밖의 다양한 정보에 기초하여 관심 영역에서 샘플링될 가상 광원의 개수를 결정할 수 있다. 관심 영역에서만 가상 광원을 샘플링하는 경우, 가상 광원이 샘플링되는 분포가 원래 현재 영상 프레임의 관심 정보에 따른 분포에 부합되도록 하기 위해서는 그리드 영역마다 가상 광원이 샘플링될 적절한 개수를 할당하는 것이 중요하다.

예를 들어, 인텐시티 값에 기초하여 중요도 샘플링이 수행되는 경우, 가상 광원 샘플링부(220)는 현재 영상 프레임의 전체 인텐시티 값과 각 그리드 영역의 인텐시티 값 간의 비율에 기초하여 그리드 영역별로 샘플링될 가상 광원의 개수를 결정할 수 있다. 가상 광원 샘플링부(220)는 현재 영상 프레임에서 샘플링할 전체 가상 광원의 개수를 결정하고, 결정된 개수에 현재 영상 프레임의 전체 인텐시티와 관심 영역의 인텐시티 간의 비율을 적용하여 해당 관심 영역에서 샘플링할 가상 광원의 개수를 결정할 수 있다.

다른 예로, 플럭스 값에 기초하여 중요도 샘플링이 수행되는 경우, 가상 광원 샘플링부(220)는 현재 영상 프레임의 전체 영역의 플럭스 합과 각 그리드 영역의 플럭스의 합 간의 비율에 기초하여 각 그리드 영역에 대한 샘플링 가중치를 결정할 수 있다. 가상 광원 샘플링부(220)는 결정된 샘플링 가중치를 미리 결정된 가상 광원의 전체 샘플링 개수에 곱하여 각 그리드 영역들에서 샘플링할 가상 광원의 개수를 결정할 수 있다. 가상 광원 샘플링부(220)는 전체 영역에 대한 플럭스 합 및 각 그리드 영역의 플럭스 합을 계산하는 과정에서 저해상도 텍스쳐(low resolution texture) 또는 텍스쳐 밉맵핑(texture mipmapping)을 통해 그래픽 처리 유닛의 하드웨어 가속 기능을 이용할 수 있다.

렌더링부(230)는 현재 영상 프레임에서 샘플링된 가상 광원에 기초하여 현재 영상 프레임을 렌더링할 수 있다. 렌더링부(230)는 이전 영상 프레임에서 샘플링된 가상 광원을 현재 영상 프레임에 반영하고, 현재 영상 프레임의 관심 영역에서 샘플링된 가상 광원 및 현재 영상 프레임에 반영된 이전 영상 프레임의 가상 광원에 기초하여 현재 영상 프레임을 렌더링할 수 있다. 도 2의 렌더링부(230)의 동작에 관한 설명은 도 1의 렌더링부(130)에 관한 설명을 참조할 수 있다.

도 3은 일 실시예에 따른 현재 영상 프레임에서 가상 광원을 샘플링하는 동작의 일례를 설명하기 위한 도면이다. 구체적으로, 도 3은 3D 장면의 전역 조명 효과를 구현하기 위해 가상 광원을 생성하고 표현하는 일례로서, 인스턴트 래디오서티(instant radiosity) 기법에 기반한 가상 광원 표현 방법을 나타낸다. 다만, 실시예의 범위가 이에 한정되는 것은 아니며, 이외의 다양한 가상 광원 표현 방법이 이용될 수 있다.

3D 그래픽 애니메이션이 렌더링되는 경우, 시간적으로 연속된 영상 프레임들 간에는 데이터 또는 장면의 연속성이 존재할 수 있으므로 이전 영상 프레임에서 샘플링된 가상 광원들은 현재 영상 프레임에서도 일부 재사용이 가능하다. 이전 영상 프레임에서 수행된 가상 광원의 샘플링 결과를 재사용하는 경우, 재사용된 가상 광원이 렌더링되었던 영역(이전 영상 프레임에서 이미 가상 광원이 샘플링된 영역)을 제외한 나머지 영역에서 가상 광원을 샘플링하여 중복성을 제거할 필요가 있다. 가상 광원 샘플링 과정에서의 중복성을 제거하기 위해, 영상 처리 장치는 가상 광원의 샘플링 과정에서 제외하고자 하는 영역을 중요도 맵에 반영하고, 해당 중요도 맵을 이용하여 중요도 샘플링을 수행할 수 있다.

도 3을 참조하면, 영상(330)은 간접 광원인 가상 광원을 샘플링하기 위해 직접 광원의 시점에서 바라본 현재 영상 프레임의 렌더링 영상을 나타낸다. 현재 영상 프레임에서 가상 광원을 샘플링하기 전에, 영상 처리 장치는 이전 영상 프레임에서 가상 광원이 샘플링된(또는 렌더링된) 영역에 대한 정보에 기초하여 텍스쳐로 표현된 마스크(310)를 생성할 수 있다. 예를 들어, 마스크(310)는 현재 영상 프레임의 해상도와 동일한 해상도 또는 저해상도의 텍스쳐로 표현될 수 있다. 마스크(310)에서 영역들(311, 312, 313, 314, 315, 316)은 이전 영상 프레임에서 가상 광원이 샘플링된 영역에 대응하는 기준 영역들로서, 현재 영상 프레임에서 가상 광원이 샘플링될 확률이 낮게 설정되는 영역들이다.

영상 처리 장치는 그래픽 처리 유닛의 하드웨어 가속 기능을 이용하여 마스크(310)를 현재 영상 프레임의 크기에 맞게 스케일링할 수 있다. 스케일링된 마스크(320)에 포함된 영역들(321, 322, 323, 324, 325, 326)은 마스크(310)의 스케일링 과정에서 각 영역들(311, 312, 313, 314, 315, 316)이 보간 과정을 통해 스케일링된 영역이다. 마스크(310)의 크기가 확장됨에 따라 각 영역들(311, 312, 313, 314, 315, 316)의 크기도 그래픽 처리 유닛의 텍스쳐 보간 과정을 통해 확장될 수 있다. 스케일링 과정에서 확장된 영역들(321, 322, 323, 324, 325, 326)은 현재 영상 프레임의 기준 영역뿐만 아니라 기준 영역의 주변 영역도 마스킹하게 된다. 예를 들어, 마스크(310)의 크기가 256X256이고, 현재 영상 프레임에 대한 영상(330)의 크기가 512X512라고 가정하면, 영상 처리 장치는 마스크(310)의 크기를 512X512로 확장할 수 있고, 이 과정에서 마스크(310)에 포함된 영역들(311, 312, 313, 314, 315, 316)이 보간 과정을 통해 확장될 수 있다.

영상(340)은 현재 영상 프레임에 대한 렌더링 영상(330)의 텍스쳐와 스케일링된 마스크(320)의 텍스쳐를 블렌딩(blending)하여 결합한 영상이다. 현재 영상 프레임에 대한 렌더링 영상(340)에서, 영역들(341, 342, 343, 344, 345, 346)은 이전 영상 프레임에서 가상 광원이 샘플링된 영역에 대응하는 영역들로서, 해당 영역들(341, 342, 343, 344, 345, 346)에서는 가상 광원이 샘플링될 확률이 낮게 설정된다. 예를 들어, 영상 처리 장치가 픽셀의 인텐시티 값에 기초하여 중요도 샘플링을 수행하는 경우, 영역들(341, 342, 343, 344, 345, 346)에서는 인텐시티 값이 낮아지게 되어 가상 광원이 샘플링될 확률이 낮아지게 된다. 중요도 샘플링 결과, 현재 영상 프레임에서 영역들(341, 342, 343, 344, 345, 346)을 제외한 나머지 영역에서 가상 광원이 샘플링될 수 있다.

도 4는 다른 실시예에 따른 현재 영상 프레임에서 가상 광원을 샘플링하는 동작의 일례를 설명하기 위한 도면이다. 다른 실시예에 따른 영상 처리 장치는 가상 광원을 샘플링하기 위해 중요도 샘플링을 수행할 때, 이미지 공간의 특정 영역에서만 가상 광원을 선택적으로 샘플링할 수 있다. 영상 처리 장치는 현재 영상 프레임을 복수의 그리드 영역들로 분할하고, 복수의 그리드 영역들 중 가상 광원을 샘플링하고자 하는 관심 영역에서만 가상 광원을 샘플링할 수 있다. 영상 처리 장치는 이미지 공간의 전체 영역이 아닌 특정의 관심 영역에서만 가상 광원을 샘플링함으로써, 가상 광원을 효율적이고 고속으로 샘플링할 수 있다.

도 4를 참조하면, 영상(430)은 간접 광원인 가상 광원을 샘플링하기 위해 직접 광원의 시점에서 바라본 현재 영상 프레임의 렌더링 영상을 나타낸다. 영상 처리 장치는 이전 영상 프레임에서 가상 광원이 샘플링된(또는 렌더링된) 영역에 대한 정보에 기초하여 텍스쳐로 표현된 마스크(410)를 생성할 수 있다. 예를 들어, 마스크(410)는 현재 영상 프레임의 해상도와 동일한 해상도 또는 저해상도의 텍스쳐로 표현될 수 있다. 마스크(410)에서 영역들(411, 412, 413, 414, 415, 416)은 이전 영상 프레임에서 가상 광원이 샘플링된 영역에 대응하는 기준 영역들이다.

영상 처리 장치는 그래픽 처리 유닛의 하드웨어 가속 기능을 이용하여 마스크(410)를 현재 영상 프레임의 크기에 맞게 스케일링할 수 있다. 스케일링된 마스크(420)에 포함된 영역들(421, 422, 423, 424, 425, 426)은 마스크(410)의 스케일링 과정에서 각 영역들(411, 412, 413, 414, 415, 416)이 보간 과정에 의해 스케일링된 영역이다. 마스크(410)의 크기가 확장됨에 따라 각 영역들(411, 412, 413, 414, 415, 416)의 크기도 그래픽 처리 유닛의 텍스쳐 보간 과정을 통해 확장될 수 있다. 스케일링 과정에서 확장된 영역들(421, 422, 423, 424, 425, 426)은 현재 영상 프레임의 기준 영역뿐만 아니라 기준 영역의 주변 영역도 마스킹하게 된다.

영상(440)는 현재 영상 프레임에 대한 렌더링 영상(430)의 텍스쳐와 스케일링된 마스크(420)의 텍스쳐를 블렌딩하여 결합한 영상이다. 현재 영상 프레임에 대한 렌더링 영상(440)에서, 영역들(441, 442, 443, 444, 445, 446)은 이전 영상 프레임에서 가상 광원이 샘플링된 영역에 대응하는 영역으로서, 해당 영역들(441, 442, 443, 444, 445, 446)에서는 가상 광원이 샘플링될 확률이 낮게 설정된다.

그 후, 영상 처리 장치는 스케일링된 마스크(420)가 적용된 현재 영상 프레임을 복수의 그리드 영역들로 분할할 수 있다. 영상(450)는 현재 영상 프레임을 복수의 그리드 영역들로 분할한 예를 나타낸다. 영상 처리 장치는 영상(450)에 포함된 그리드 영역들 중 가상 광원을 샘플링하고자 하는 관심 영역을 선택하고, 선택된 관심 영역에 대한 중요도 맵을 생성할 수 있다. 영상 처리 장치는 관심 영역의 중요도 맵을 이용하여 중요도 샘플링을 수행하고, 관심 영역에서 가상 광원을 샘플링할 수 있다. 예를 들어, 영상 처리 장치가 그리드 영역(455)을 관심 영역으로 결정한 경우, 영상 처리 장치는 그리드 영역(455)에 포함된 픽셀들의 인텐시티 값에 기초하여 그리드 영역(455)에 대한 중요도 맵을 생성하고, 중요도 맵을 이용하여 그리드 영역(455) 내에서 가상 광원을 샘플링할 수 있다.

영상 처리 장치가 관심 영역에서 가상 광원을 샘플링할 때, 영상 처리 장치는 각 관심 영역에 적절한 샘플링 개수를 할당할 수 있다. 예를 들어, 영상 처리 장치는 현재 영상 프레임의 인텐시티 분포와 그리드 영역(455)의 인텐시티 정보에 기초하여 그리드 영역(455)에 3개의 가상 광원들을 샘플링할 것으로 결정할 수 있다. 영상 처리 장치는 그리드 영역(455)에 대한 중요도 맵을 생성하고, 중요도 맵에 나타난 확률 정보에 기초하여 그리드 영역(455) 내에 3 개의 가상 광원들을 샘플링할 수 있다.

도 5는 일 실시예에 따른 영상 처리 방법의 동작을 설명하기 위한 흐름도이다.

단계(510)에서, 영상 처리 장치는 가상 광원의 샘플링 과정에서 제외하려는 대상을 선택할 수 있다. 예를 들어, 영상 처리 장치는 이전 영상 프레임에서 가상 광원이 샘플링된 영역, 빛의 특정 반사 방향과 같은 가상 광원의 특성, 또는 오브젝트 모델의 기하학 정보 등을 가상 광원의 샘플링 과정에서 제외하려는 대상으로 선택할 수 있다.

단계(520)에서, 영상 처리 장치는 이전 영상 프레임의 가상 광원 정보에 기초하여 현재 영상 프레임의 특정 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 마스크를 생성할 수 있다. 영상 처리 장치는 단계(510)에서 선택된 대상에 대한 마스크를 생성할 수 있다. 영상 처리 장치는 이전 영상 프레임에서 가상 광원이 샘플링된 영역 정보, 가상 광원의 특성 정보, 및 오브젝트 모델의 기하학적 정보 중 적어도 하나에 기초하여 마스크를 생성할 수 있다. 영상 처리 장치는 이전 영상 프레임에서 가상 광원이 샘플링된 영역을 식별하고, 식별된 영역에 대응하는 현재 영상 프레임 내 기준 영역과 기준 영역의 주변 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 마스크를 생성할 수 있다.

마스크는 텍스쳐로 표현될 수 있다. 예를 들어, 마스크는 현재 영상 프레임의 해상도와 동일한 해상도 또는 저해상도의 텍스쳐로 표현될 수 있다. 텍스쳐로 표현된 마스크는 가상 광원의 위치 등과 같이 가상 광원의 샘플링에서 제외하려는 정보를 포함할 수 있다.

단계(530)에서, 영상 처리 장치는 현재 영상 프레임에 단계(520)에서 생성된 마스크를 적용할 수 있다. 영상 처리 장치는 현재 영상 프레임의 크기에 기초하여 마스크의 크기를 스케일링할 수 있다. 예를 들어, 영상 처리 장치는 그래픽 처리 유닛의 하드웨어 가속 기능을 이용하여 마스크의 크기를 현재 영상 프레임의 크기로 스케일링할 수 있다. 마스크가 현재 영상 프레임에 적용될 때, 마스크는 그래픽 처리 유닛의 하드웨어 가속 기능을 통해 현재 영상 프레임의 크기로 스케일링되고 자동적으로 텍스쳐 보간 과정이 수행될 수 있다. 스케일링된 이후에, 마스크는 현재 영상 프레임의 기준 영역뿐만 아니라, 기준 영역의 주변 영역까지 마스킹할 수 있다. 그 후, 영상 처리 장치는 영상 처리 장치는 그래픽 처리 유닛에서 제공하는 하드웨어 가속 기능을 이용하여 마스크의 텍스쳐와 현재 영상 프레임의 텍스쳐를 결합시킬 수 있다.

또는, 영상 처리 장치는 텍스쳐를 사용하지 않고, 메모리 공간에 마스크 및 현재 영상 프레임을 저장한 후 마스크와 현재 영상 프레임을 블렌딩하는 것에 의해 현재 영상 프레임에 마스크를 적용할 수도 있다.

단계(540)에서, 영상 처리 장치는 마스크가 적용된 현재 영상 프레임에서 가상 광원을 샘플링할 수 있다. 영상 처리 장치는 마스크가 적용된 현재 영상 프레임에서 픽셀들의 인텐시티 값에 기초하여 가상 광원을 샘플링할 수 있다. 예를 들어, 영상 처리 장치는 마스크가 적용된 현재 영상 프레임에서 인텐시티 값에 기초하여 중요도 맵을 생성하고, 중요도 맵을 이용한 중요도 샘플링을 수행하여 현재 영상 프레임에서 가상 광원을 샘플링할 수 있다. 중요도 샘플링에서, 픽셀들의 인텐시티 값이 클수록 해당 픽셀의 위치에 가상 광원이 샘플링될 확률이 커질 수 있다. 마스크가 적용된 현재 영상 프레임의 특정 영역은 마스크에 의해 픽셀의 인텐시티 값이 줄어들어 해당 영역에서 가상 광원이 샘플링될 확률이 낮아질 수 있다.

단계(550)에서, 영상 처리 장치는 현재 영상 프레임을 렌더링할 수 있다. 영상 처리 장치는 이전 영상 프레임에서 샘플링된 가상 광원을 현재 영상 프레임에 반영하고, 현재 영상 프레임에서 샘플링된 가상 광원 및 현재 영상 프레임에 반영된 이전 영상 프레임의 가상 광원에 기초하여 현재 영상 프레임을 렌더링할 수 있다.

도 6은 다른 실시예에 따른 영상 처리 방법의 동작을 설명하기 위한 흐름도이다.

단계(610)에서, 영상 처리 장치는 가상 광원의 샘플링 과정에서 제외하려는 대상을 선택할 수 있다. 예를 들어, 영상 처리 장치는 이전 영상 프레임에서 가상 광원이 샘플링된 영역, 빛의 특정 반사 방향과 같은 가상 광원의 특성, 또는 오브젝트 모델의 기하학 정보 등을 가상 광원의 샘플링 과정에서 제외하려는 대상으로 선택할 수 있다.

단계(620)에서, 영상 처리 장치는 이전 영상 프레임의 가상 광원 정보에 기초하여 현재 영상 프레임의 특정 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 마스크를 생성할 수 있다. 영상 처리 장치는 단계(610)에서 선택된 대상에 대한 마스크를 생성할 수 있다. 영상 처리 장치는 이전 영상 프레임에서 가상 광원이 샘플링된 영역 정보, 가상 광원의 특성 정보, 및 오브젝트 모델의 기하학적 정보 중 적어도 하나에 기초하여 마스크를 생성할 수 있다. 예를 들어, 영상 처리 장치는 이전 영상 프레임에서 가상 광원이 샘플링된 영역을 식별하고, 식별된 영역에 대응하는 현재 영상 프레임 내 기준 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 마스크를 생성할 수 있다. 마스크는 텍스쳐로 표현될 수 있다. 예를 들어, 마스크는 현재 영상 프레임의 해상도와 동일한 해상도 또는 저해상도의 텍스쳐로 표현될 수 있다.

단계(630)에서, 영상 처리 장치는 현재 영상 프레임에 단계(620)에서 생성된 마스크를 적용할 수 있다. 영상 처리 장치는 현재 영상 프레임의 크기에 기초하여 마스크의 크기를 스케일링할 수 있다. 예를 들어, 영상 처리 장치는 그래픽 처리 유닛의 하드웨어 가속 기능을 이용하여 마스크의 크기를 현재 영상 프레임의 크기로 스케일링할 수 있다. 마스크가 현재 영상 프레임에 적용될 때, 마스크는 그래픽 처리 유닛의 하드웨어 가속 기능을 통해 현재 영상 프레임의 크기로 스케일링되고 자동적으로 텍스쳐 보간 과정이 수행될 수 있다. 스케일링된 이후에, 마스크는 현재 영상 프레임의 기준 영역뿐만 아니라, 기준 영역의 주변 영역까지 마스킹할 수 있다. 그 후, 영상 처리 장치는 영상 처리 장치는 그래픽 처리 유닛에서 제공하는 하드웨어 가속 기능을 이용하여 마스크의 텍스쳐와 현재 영상 프레임의 텍스쳐를 결합시킬 수 있다.

단계(640)에서, 영상 처리 장치는 마스크가 적용된 현재 영상 프레임을 복수의 그리드 영역들로 분할할 수 있다. 영상 처리 장치는 복수의 그리드 영역들 중 가상 광원을 샘플링하고자 하는 관심 영역을 선택할 수 있다.

단계(650)에서, 영상 처리 장치는 그리드 영역들 중 가상 광원을 샘플링하고자 하는 관심 영역에서 가상 광원을 샘플링할 수 있다. 영상 처리 장치는 관심 영역 내 픽셀들의 인텐시티 값에 기초하여 가상 광원을 샘플링할 수 있다. 영상 처리 장치는 관심 영역마다 개별적으로 중요도 맵을 생성하고, 중요도 맵을 이용하여 관심 영역에서 중요도 샘플링을 수행할 수 있다. 영상 처리 장치는 복수의 관심 영역들에 대한 중요도 맵을 병렬적으로 생성할 수 있다.

영상 처리 장치는 관심 영역에서 샘플링될 가상 광원의 개수를 결정하고, 결정된 개수만큼 관심 영역에서 가상 광원을 샘플링할 수 있다. 예를 들어, 영상 처리 장치는 현재 영상 프레임의 밝기 분포, 컬러 분포, 또는 플럭스 분포 이외의 다양한 정보에 기초하여 관심 영역에서 샘플링될 가상 광원의 개수를 결정할 수 있다. 예를 들어, 영상 처리 장치는 현재 영상 프레임의 인텐시티 값과 관심 영역의 인텐시티 값 간의 비율에 기초하여 관심 영역에서 샘플링될 가상 광원의 개수를 결정할 있다.

단계(660)에서, 영상 처리 장치는 현재 영상 프레임을 렌더링할 수 있다. 영상 처리 장치는 현재 영상 프레임에서 샘플링된 가상 광원에 기초하여 현재 영상 프레임을 렌더링할 수 있다. 영상 처리 장치는 이전 영상 프레임에서 샘플링된 가상 광원을 현재 영상 프레임에 반영하고, 현재 영상 프레임의 관심 영역에서 샘플링된 가상 광원 및 현재 영상 프레임에 반영된 이전 영상 프레임의 가상 광원에 기초하여 현재 영상 프레임을 렌더링할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

이전 영상 프레임의 가상 광원 정보에 기초하여 상기 이전 영상 프레임에서 가상 광원이 샘플링된 영역에 대응하는 현재 영상 프레임의 특정 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 마스크를 생성하는 단계;
상기 현재 영상 프레임에 상기 마스크를 적용하는 단계;
상기 마스크가 적용된 현재 영상 프레임에서 가상 광원을 샘플링하는 단계; 및
상기 현재 영상 프레임에서 샘플링된 가상 광원 및 상기 이전 영상 프레임에서 샘플링된 가상 광원에 기초하여 상기 현재 영상 프레임을 렌더링하는 단계를 포함하고,
상기 마스크를 생성하는 단계는,
상기 이전 영상 프레임에서 가상 광원이 샘플링된 영역을 식별하는 단계; 및
상기 식별된 영역에 대응하는 상기 현재 영상 프레임의 기준 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 마스크를 생성하는 단계를 포함하는,
영상 처리 방법.
제1항에 있어서,
상기 마스크는,
상기 현재 영상 프레임의 상기 기준 영역 및 상기 기준 영역의 주변 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 것인,
영상 처리 방법.
제1항에 있어서,
상기 마스크는,
저해상도의 텍스쳐(texture)로 표현되는, 영상 처리 방법.
제2항에 있어서,
상기 마스크를 생성하는 단계는,
상기 현재 영상 프레임의 크기에 기초하여 상기 마스크의 크기를 스케일링(scaling)하는 단계를 포함하고,
상기 마스크는,
상기 스케일링을 통해 상기 기준 영역 및 상기 기준 영역의 주변 영역에서 가상 광원이 샘플링되는 것을 방지하는, 영상 처리 방법.
제4항에 있어서,
상기 마스크의 크기를 스케일링하는 단계는,
그래픽 처리 유닛(Graphic Processing Unit; GPU)의 하드웨어 가속 기능을 이용하여 상기 마스크의 크기를 스케일링하는, 영상 처리 방법.
제4항에 있어서,
상기 스케일링된 마스크와 상기 현재 영상 프레임을 결합시키는 단계는,
그래픽 처리 유닛을 이용하여 상기 현재 영상 프레임의 텍스쳐와 상기 마스크의 텍스쳐를 결합시키는, 영상 처리 방법.
제1항에 있어서,
상기 가상 광원을 샘플링하는 단계는,
중요도 샘플링을 이용하여 상기 마스크가 적용된 현재 영상 프레임에서 가상 광원을 샘플링하는 단계
를 포함하는 영상 처리 방법.
제1항에 있어서,
상기 현재 영상 프레임을 렌더링하는 단계는,
이전 영상 프레임에서 샘플링된 가상 광원을 상기 현재 영상 프레임에 반영하는 단계; 및
상기 현재 영상 프레임에서 샘플링된 가상 광원 및 상기 현재 영상 프레임에 반영된 이전 영상 프레임의 가상 광원에 기초하여 상기 현재 영상 프레임을 렌더링하는 단계
를 포함하는 영상 처리 방법.
제1항에 있어서,
상기 마스크를 생성하는 단계는,
이전 영상 프레임에서 가상 광원이 샘플링된 영역 정보, 가상 광원의 특성 정보, 및 오브젝트 모델의 기하학 정보 중 적어도 하나에 기초하여 상기 마스크를 생성하는 단계
를 포함하는 영상 처리 방법.
이전 영상 프레임의 가상 광원 정보에 기초하여 상기 이전 영상 프레임에서 가상 광원이 샘플링된 영역에 대응하는 현재 영상 프레임의 특정 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 마스크를 생성하는 단계;
상기 현재 영상 프레임에 상기 마스크를 적용하는 단계;
상기 마스크가 적용된 현재 영상 프레임을 복수의 그리드(grid) 영역들로 분할하는 단계;
상기 그리드 영역들 중 가상 광원을 샘플링하고자 하는 관심 영역에서 가상 광원을 샘플링하는 단계; 및
상기 현재 영상 프레임에서 샘플링된 가상 광원 및 상기 이전 영상 프레임에서 샘플링된 가상 광원에 기초하여 상기 현재 영상 프레임을 렌더링하는 단계를 포함하고,
상기 마스크를 생성하는 단계는,
상기 이전 영상 프레임에서 가상 광원이 샘플링된 영역을 식별하는 단계; 및
상기 식별된 영역에 대응하는 상기 현재 영상 프레임의 기준 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 마스크를 생성하는 단계를 포함하는,
영상 처리 방법.
제10항에 있어서,
상기 가상 광원을 샘플링하는 단계는,
상기 관심 영역에서 샘플링될 가상 광원의 개수를 결정하는 단계; 및
상기 결정된 샘플링될 가상 광원의 개수만큼 상기 관심 영역에서 가상 광원을 샘플링하는 단계
를 포함하는 영상 처리 방법.
제11항에 있어서,
상기 샘플링될 가상 광원의 개수를 결정하는 단계는,
상기 현재 영상 프레임의 밝기 분포, 컬러 분포, 및 플럭스 분포 중 적어도 하나에 기초하여 상기 관심 영역에서 샘플링될 가상 광원의 개수를 결정하는 단계
를 포함하는 영상 처리 방법.
제10항에 있어서,
상기 가상 광원을 샘플링하는 단계는,
중요도 샘플링을 이용하여 상기 관심 영역에서 가상 광원을 샘플링하는 단계
를 포함하는 영상 처리 방법.
제10항에 있어서,
상기 마스크는,
상기 식별된 영역에 대응하는 상기 현재 영상 프레임의 상기 기준 영역 및 상기 기준 영역의 주변 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 것인,
영상 처리 방법.
제10항에 있어서,
상기 마스크는, 저해상도의 텍스쳐로 표현되고,
상기 마스크를 적용하는 단계는,
상기 현재 영상 프레임의 크기에 기초하여 상기 마스크의 크기를 스케일링하는 단계; 및
상기 스케일링된 마스크의 텍스쳐와 상기 현재 영상 프레임의 텍스쳐를 결합시키는 단계
를 포함하는 영상 처리 방법.
제1항 내지 제15항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
이전 영상 프레임의 가상 광원 정보에 기초하여 상기 이전 영상 프레임에서 가상 광원이 샘플링된 영역에 대응하는 현재 영상 프레임의 특정 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 마스크를 생성하는 마스크 생성부;
상기 마스크가 적용된 현재 영상 프레임에서 가상 광원을 샘플링하는 가상 광원 샘플링부; 및
상기 현재 영상 프레임에서 샘플링된 가상 광원 및 상기 이전 영상 프레임에서 샘플링된 가상 광원에 기초하여 상기 현재 영상 프레임을 렌더링하는 렌더링부를 포함하고,
상기 마스크 생성부는,
이전 영상 프레임에서 가상 광원이 샘플링된 영역을 식별하고, 상기 식별된 영역에 대응하는 상기 현재 영상 프레임의 기준 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 마스크를 생성하는,
영상 처리 장치.
제17항에 있어서,
상기 마스크는,
상기 식별된 영역에 대응하는 상기 현재 영상 프레임의 기준 영역 및 상기 기준 영역의 주변 영역에서 가상 광원이 샘플링되는 것을 방지하기 위한 것인,
영상 처리 장치.
제17항에 있어서,
상기 마스크는, 저해상도의 텍스쳐로 표현되고,
상기 마스크가 상기 현재 영상 프레임에 적용될 때, 상기 마스크의 크기는 그래픽 처리 유닛의 하드웨어 가속 기능을 이용하여 스케일링되는, 영상 처리 장치.
제17항에 있어서,
상기 가상 광원 샘플링부는,
상기 마스크가 적용된 현재 영상 프레임을 복수의 그리드 영역들로 분할하는 영역 분할부
를 더 포함하는 영상 처리 장치.
제20항에 있어서,
상기 가상 광원 샘플링부는,
상기 그리드 영역들 중 가상 광원을 샘플링하고자 하는 관심 영역에서 가상 광원을 샘플링하는, 영상 처리 장치.
제20항에 있어서,
상기 가상 광원 샘플링부는,
그리드 영역별로 샘플링될 가상 광원의 개수를 결정하고, 상기 그리드 영역별로 결정된 샘플링될 가상 광원의 개수에 기초하여 가상 광원을 샘플링하고자 하는 관심 영역에서 가상 광원을 샘플링하는, 영상 처리 장치.