KR101845225B1

KR101845225B1 - 영상 처리 장치 및 방법

Info

Publication number: KR101845225B1
Application number: KR1020110064703A
Authority: KR
Inventors: 하인우; 이태현; 이영범; 김도균
Original assignee: 삼성전자주식회사
Priority date: 2011-06-30
Filing date: 2011-06-30
Publication date: 2018-04-04
Also published as: US9514565B2; US20130002694A1; KR20130003376A

Abstract

영상 처리 장치가 제공된다. 상기 영상 처리 장치는 입력된 조명 환경 영상으로부터 저주파 대역의 면 조명을 강조하는 필터링을 수행한다. 또한, 상기 입력 조명 환경 영상으로부터 적어도 하나의 VPL 샘플링을 수행한다. 그리고 상기 영상 처리 장치는 상기 필터된 조명 환경 영상을 이용한 PRT 기반의 렌더링과 상기 샘플링된 VPL을 이용한 VPL 기반의 렌더링을 함께 수행한다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}

본 발명의 실시예들은 영상 처리 장치 및 방법에 연관되며, 보다 특정하게는 조명 환경(Lighting Environments)을 모델링하고 영상을 렌더링하는 장치 및 방법에 연관된다.

본 출원은 교육과학기술부/한국연구재단의 원천 기술 개발 사업/ 글로벌 프론티어 연구개발 사업을 수행한 연구로부터 도출된 것이다. [과제고유번호: 총괄 과제 번호 2010-0029717 (기술원 과제 번호 2010-0029804), 과제명: 실감 교류 인체감응 솔루션 (기술원 과제명: 인간 아바타의 실시간 삼 차원 실감 표현 및 체감형 인터랙션 기술), 기여율: 1/1, 주관기관: (재) 실감교류 인체감응솔루션연구단, 연구기간: 2010.10.22~2019.8.30(당해년도 연구기간: 2010.10.22~2011.8.21)]

최근 3D 모델의 오브젝트를 현실감 있게 렌더링하는 연구가 많이 이루어지고 있다. 3D 모델을 렌더링 하기 위해서는 오브젝트 정보 외에 조명 환경에 대한 모델링이 적절히 이루어져야 한다.

조명 환경을 모델링 하는 연구들 중, Peter-Pike Sloan, Jan Kautz, 및 John Snyder의 논문 "Precomputed Radiance Transfer for Real-Time Rendering in Dynamic, Low-Frequency Lighting Environments" (ACM Transactions on Graphics, Proceedings of the 29th Annual Conference on Computer Graphics and Interactive Techniques (SIGGRAPH), pp. 527-536. New York, NY: ACM Press, 2002)에는 저주파의 조명들을 몇몇의 SH 기저 함수(Spherical Harmonics Basis Functions)로 프로젝션 한 SH 계수(Spherical Harmonics Coefficients)를 구하는 방법이 소개되어 있다.

그러나, 이러한 방법은 작은 크기의 광원들이 복잡하게 배치된 환경에서의 Specular 또는 Glossy한 표현에 한계가 있다.

한편, VPL(Virtual Point Light)들을 이용한 조명 환경의 모델링은 Specular 또는 Glossy한 표현에는 도움이 되나, 넓은 면적의 면 조명(Large Area Light)을 표현하기 위해 VPL의 수가 너무 많이 필요한 비효율이 있다.

넓은 면적의 면 조명도 효율적으로 표현할 수 있으면서 작은 크기의 복잡한 광원도 효율적으로 표현할 수 있는 영상 처리 장치 및 방법이 제공된다.

연산 처리량에 대비한 조명 환경 모델링의 현실감이 뛰어난 영상 처리 장치 및 방법이 제공된다.

본 발명의 일측에 따르면, 적어도 하나의 광원에 대응하여 위치 및 에너지 중 적어도 하나의 정보를 포함하는 입력 조명 환경 영상을 필터링하여, 상기 입력 조명 환경 영상 중 저주파 성분을 강조한 필터된(filtered) 조명 환경 영상을 생성하는 필터부, 상기 필터된 조명 환경 영상과 상기 입력 조명 환경 영상 사이의 차이를 보여 주는 차분 영상을 계산하는 차분 영상 계산부, 및 상기 차분 영상에 대해 중요도 기반의 VPL(Virtual Point Light) 샘플링을 수행하는 VPL 샘플링부를 포함하는, 영상 처리 장치가 제공된다.

여기서 상기 중요도 기반의 VPL 샘플링은 차분 영상에서 미리 설정된 임계치(threshold) 이상의 값을 갖는 부분에 VPL을 배치하는 것일 수 있다.

일부 실시예에서 상기 필터부는 상기 입력 조명 환경 영상에 가우시안 블러링을 수행하여 상기 필터된 조명 환경 영상을 생성한다.

한편, 상기 영상 처리 장치는 상기 필터된 조명 환경 영상을 PRT(Precomputed Radiance Transfer) 기반으로 표현하는 PRT 계산부를 더 포함할 수 있다.

이 경우, 상기 PRT 계산부는, 적어도 하나의 SH(Spherical Harmonics) 기저 함수의 각각에 상기 필터된 조명 환경 영상을 프로젝션 하여 상기 기저 함수의 각각에 대응하는 SH 계수(Spherical Harmonics Coefficients)를 계산할 수 있다.

또한, 상기 영상 처리 장치는 상기 SH 계수 및 상기 VPL을 이용하여 적어도 하나의 오브젝트에 대한 영상을 렌더링하는 렌더링부를 더 포함할 수도 있다.

본 발명의 일실시예에 따르면, 상기 VPL 샘플링부는 상기 렌더링을 수행한 결과를 이용하여 적어도 하나의 간접 조명 VPL을 더 샘플링 한다.

본 발명의 다른 일측에 따르면, 적어도 하나의 광원에 대응하여 위치 및 에너지 중 적어도 하나의 정보를 포함하는 입력 조명 환경 영상을 저대역 통과 필터링하여, 저주파 성분의 면 광원이 강조된 필터된 조명 환경 영상을 생성하는 필터부, 상기 필터된 조명 환경 영상을 적어도 하나의 SH(Spherical Harmonics) 기저 함수의 각각으로 프로젝션 하여 상기 기저 함수의 각각에 대응하는 SH 계수(Spherical Harmonics Coefficients)를 계산하는 PRT 계산부, 상기 입력 조명 환경 영상에 대해 중요도 기반의 VPL 샘플링을 수행하여 적어도 하나의 직접 조명 VPL을 샘플링하는 VPL 샘플링부, 및 상기 SH 계수 및 상기 직접 조명 VPL을 이용하여 적어도 하나의 오브젝트에 대한 영상을 렌더링하는 렌더링부를 포함하는, 영상 처리 장치가 제공된다.

이 경우, 상기 저대역 통과 필터링은 가우시안 블러링일 수 있다.

본 발명의 일실시예에 따르면, 상기 VPL 샘플링부는 상기 렌더링을 수행한 결과를 이용하여 적어도 하나의 간접 조명 VPL을 더 샘플링 하고, 상기 렌더링부는 상기 간접 조명 VPL을 더 이용하여 상기 적어도 하나의 오브젝트에 대한 영상을 렌더링한다.

본 발명의 또 다른 일측에 따르면, 영상 처리 장치가 영상을 처리하는 방법에 있어서, 상기 장치의 필터부가 적어도 하나의 광원에 대응하여 위치 및 에너지 중 적어도 하나의 정보를 포함하는 입력 조명 환경 영상을 필터링하여, 상기 입력 조명 환경 영상 중 저주파 성분을 강조한 필터된 조명 환경 영상을 생성하는 단계, 상기 장치의 차분 영상 계산부가, 상기 필터된 조명 환경 영상과 상기 입력 조명 환경 영상 사이의 차이를 보여 주는 차분 영상을 계산하는 단계, 및 상기 장치의 VPL 샘플링부가, 상기 차분 영상에 대해 중요도 기반의 VPL(Virtual Point Light) 샘플링을 수행하는 단계를 포함하는, 영상 처리 방법이 제공된다.

상기 영상 처리 방법은, 상기 장치의 PRT 계산부가 상기 필터된 조명 환경 영상을 적어도 하나의 SH(Spherical Harmonics) 기저 함수의 각각으로 프로젝션 하여 상기 기저 함수의 각각에 대응하는 SH 계수(Spherical Harmonics Coefficients)를 계산하는 단계를 더 포함할 수 있다.

또한, 상기 영상 처리 방법은 상기 장치의 렌더링부가 상기 SH 계수 및 상기 직접 조명 VPL을 이용하여 적어도 하나의 오브젝트에 대한 영상을 렌더링하는 단계를 더 포함할 수도 있다.

나아가, 상기 영상 처리 방법은 상기 VPL 샘플링부가 상기 렌더링을 수행한 결과를 이용하여 적어도 하나의 간접 조명 VPL을 샘플링하는 단계를 더 포함할 수도 있다.

본 발명의 또 다른 일측에 따르면, 영상 처리 장치가 영상을 처리하는 방법에 있어서, 상기 장치의 필터부가 적어도 하나의 광원에 대응하여 위치 및 에너지 중 적어도 하나의 정보를 포함하는 입력 조명 환경 영상을 저대역 통과 필터링하여, 저주파 성분의 면 광원이 강조된 필터된 조명 환경 영상을 생성하는 단계, 상기 장치의 PRT 계산부가 상기 필터된 조명 환경 영상을 적어도 하나의 SH(Spherical Harmonics) 기저 함수의 각각으로 프로젝션 하여 상기 기저 함수의 각각에 대응하는 SH 계수(Spherical Harmonics Coefficients)를 계산하는 단계, 상기 장치의 VPL 샘플링부가 상기 입력 조명 환경 영상에 대해 중요도 기반의 VPL 샘플링을 수행하여 적어도 하나의 직접 조명 VPL을 샘플링하는 단계, 및 상기 장치의 렌더링부가 상기 SH 계수 및 상기 직접 조명 VPL을 이용하여 적어도 하나의 오브젝트에 대한 영상을 렌더링하는 단계를 포함하는, 영상 처리 방법이 제공된다.

상기 영상 처리 방법은, 상기 VPL 샘플링부가 상기 렌더링을 수행한 결과를 이용하여 적어도 하나의 간접 조명 VPL을 샘플링 하는 단계, 상기 렌더링부가 상기 간접 조명 VPL을 이용하여 상기 적어도 하나의 오브젝트에 대한 추가 영상을 렌더링하는 단계, 및 상기 렌더링부가 상기 추가 영상과 상기 영상을 통합하여 결과 영상으로 제공하는 단계를 더 포함할 수 있다.

도 1은 본 발명의 일실시예에 따른 영상 처리 장치를 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따른 영상 처리 장치를 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 예시적 입력 조명 환경 영상을 도시한다.
도 4는 본 발명의 일실시예에 따라 상기 도 3의 입력 조명 환경 영상을 저대역 통과 필터링 한 결과를 도시한다.
도 5는 본 발명의 일실시예에 따른 예시적 SH 기저 함수들을 도시한다.
도 6은 본 발명의 일실시예에 따라 계산되는 차분 영상을 도시한다.
도 7은 본 발명의 일실시예에 따라 도 6의 차분 영상으로부터 VPL을 샘플링하는 과정을 설명하기 위한 개념도이다.
도 8은 본 발명의 일실시예에 따라 도 7의 VPL 샘플링 과정을 통해 샘플링된 VPL을 도시하는 개념도이다
도 9는 본 발명의 일실시예에 따른 영상 처리 방법을 도시한다.
도 10은 본 발명의 일실시예에 따른 영상 처리 방법을 도시한다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 영상 처리 장치(100)를 도시한 블록도이다.

영상 처리 장치(100)에 조명 환경 영상이 입력된다. 상기 조명 환경 영상은 3D 모델에 영향을 주는 조명 환경(Lighting Environments)의 정보, 이를테면 광원의 위치나 에너지, 칼라 등의 정보를 포함하는 임의의 형태(type)의 데이터를 의미하며, 통상적 의미의 영상(image)로 제한되어 해석되어서는 안 된다. 예시적인 조명 환경 영상은 도 3에서 제시된다.

필터부(110)는 입력된 조명 환경 영상을 필터링한다. 필터부(110)는 고주파 성분을 필터 아웃(filter-out)하고 저주파 성분을 통과(pass)시켜서, 상기 입력 조명 환경 영상 중 저주파 성분이 강조된 필터된 조명 환경 영상을 생성한다. 이를테면, 가우시안 블러링(Gaussian Blurring) 과정이 상기 필터링으로 이해될 수도 있다. 필터된 조명 환경 영상의 예시적 모습은 도 4를 참조하여 후술한다.

PRT 계산부(120)는 상기 필터된 조명 환경 영상에 대해 PRT(Precomputed Radiance Transfer) 계산을 수행한다.

이러한 PRT 계산은, 저주파 성분이 강조된 필터된 조명 환경 영상을 Wavelets 또는 SH(Spherical Harmonics) 기반으로 표현하는 과정이다.

이를 테면, PRT 계산부(120)는 적어도 하나의 SH 기저 함수들(Basis Functions for Spherical Harmonics)로 상기 조명 환경 영상을 프로젝션(project)하여 각각의 기저들에 대한 SH 계수들(Spherical Harmonics Coefficients)을 계산한다. 기저들의 예시들은 도 5를 참조하여 후술한다.

이러한 SH 계수들은 오브젝트의 BRDF(Bidirectional Reflectance Distribution Function) 등과 함께 오브젝트에 대한 영상 렌더링에 이용될 수 있다.

상기 과정을 통해 실제 조명 환경 중 큰 면적의 면 조명(Large Area Light)들이 비교적 간단한 연산만으로도 현실감 있게 렌더링에 반영된다.

그러나, 작은 크기의 조명, 특히 점 조명(Point light)이 오브젝트에 Specular 또는 Glossy한 효과를 주는 모습은 잘 표현되지 않는다. 따라서, 본 발명의 일실시예에 따르면, VPL 샘플링부(140)는 적어도 하나의 VPL을 샘플링하여 Specular 또는 Glossy한 효과를 표현할 수 있도록 한다.

이러한 VPL 샘플링 과정에도 다양한 실시예가 제공된다.

본 발명의 일실시예에 따르면, 차분 영상 계산부(130)는 상기 필터된 조명 환경 영상과 원래 입력된 조명 환경 영상 사이의 차분 영상을 계산하고, VPL 샘플링부(140)는 상기 차분 영상으로부터 중요도 기반 샘플링(importance-base sampling)을 수행함으로써 적어도 하나의 VPL을 샘플링 한다.

상기 차분 영상의 예는 도 6을 참조하여 후술하며, 차분 영상으로부터 VPL을 샘플링하는 과정은 도 7 내지 도 8을 참조하여 후술한다.

상기 차분 영상 내의 각 부분은 양수(Positive value)이거나, 음수(Negative value)이거나 또는 영(zero)일 수 있다.

왜냐하면 필터링 과정에서 특정 부분의 에너지 인텐시티(energy intensity), 이를테면 밝기는 증가할 수도 있고 감소할 수도 있으며, 동일할 수도 있기 때문이다.

차분 영상에서 특정한 어느 부분의 값의 절대치(absolute value)가 크다는 것은 상기 필터링 과정에서 값이 많이 변화되었다는 것이고, 이러한 부분은 고주파 성분에 해당하는 부분일 수 있다.

따라서, 이러한 부분에 VPL이 샘플링될 수 있으며, 구체적으로는 상기 절대치가 일정 임계치 이상인 경우에 VPL을 샘플링하는 방법이 가능하다.

그러나, 본 발명의 다른 일실시예에 따르면 VPL 샘플링부(140)는 직접 입력 조명 환경 영상에서 임의의 방법을 이용하여 VPL 샘플링을 수행할 수도 있다. 이러한 경우에는 차분 영상을 생성하지 않을 수 있다.

그러면, 렌더링부(150)는 상기 SH 계수 및 VPL을 이용하여 오브젝트에 대한 영상 렌더링을 수행한다. 이러한 렌더링 기법에는 래이디오시티(radiosity), 레이 트래이싱(ray-tracing) 등 다양한 실시예가 가능하며, 본 발명이 일부 렌더링 기법에 국한되어 해석되지 않는다.

이러한 과정에 의해 저주파의 큰 면 조명(Large Area Light with Low Frequency)에 의한 부드러운 조명 효과뿐만 아니라, 고주파의 작고 반짝이는 조명(Small Light with High Frequency)에 의한 Specular 및 Glossy 효과도 모두 잘 표현된다.

따라서, 이렇게 조명을 저주파와 고주파에 대해 별도의 방법으로 모델링하므로, 본 발명의 실시예들을 조명 환경의 하이브리드 모델링(Hybrid modeling of Light Environment)라고 할 수 있다.

한편, 본 발명의 일실시예에 따르면, 상기 과정에서 샘플링된 VPL들은 모두 직접 조명(direct light)을 대표하는 것이며, 객체 표면에서 빛의 반사나 회절 등에 의해 생성되는 간접 조명(indirect light)은 고려되지 않았다.

따라서, 본 발명의 일부 실시예들에서는 일단 렌더링부(150)가 1차 렌더링 한 결과를 이용하여 VPL 샘플링부(140)가 간접 조명 효과를 대표하는 추가적 VPL들(이하에서는 '간접 조명 VPL들'이라 할 수도 있음)을 샘플링한다.

그리고, 렌더링부(150)는 이러한 간접 조명 VPL들을 이용하여 오브젝트들을 2차 렌더링 한 다음, 상기 1차 렌더링 결과와 통합(merging)하여 최종적 결과물을 생성할 수 있다.

도 2는 본 발명의 일실시예에 따른 영상 처리 장치(200)를 도시한 블록도이다.

본 실시예에서는 영상 처리 장치(200)는 필터부(210), 차분 영상 계산부(220) 및 VPL 샘플링부(230)을 포함한다.

필터부(210)는 입력된 조명 환경 영상을 필터링 하여, 저주파 성분이 강조된 필터된 조명 환경 영상을 생성한다. 상기한 가우시안 블러링 과정 등이 상기 필터링으로 이해될 수 있다.

그러면 차분 영상 계산부(220)는 상기 필터된 조명 환경 영상과 원래 입력된 조명 환경 영상 사이의 차분 영상을 계산한다.

상기 차분 영상 내의 각 부분은 양수이거나, 음수이거나 또는 영(zero)일 수 있다. 왜냐하면 필터링 과정에서 특정 부분의 에너지 인텐시티, 이를테면 밝기는 증가할 수도 있고 감소할 수도 있으며, 동일할 수도 있기 때문이다.

차분 영상에서 특정한 어느 부분의 값의 절대치가 크다는 것은 상기 필터링 과정에서 값이 많이 변화되었다는 것이고, 이러한 부분은 고주파 성분에 해당하는 부분일 수 있다.

따라서 VPL 샘플링부(230)는 상기 차분 영상에서 크기가 일정한 임계치 이상인 부분에 적어도 하나의 VPL을 샘플링 할 수 있다.

이렇게 VPL을 샘플링 함으로써, 입력 조명 환경 영상으로부터 중요도 기반의 VPL 샘플링을 효율적으로 수행할 수 있고, 따라서 Specular 또는 Glossy한 효과가 잘 표현될 수 있다.

도 3은 본 발명의 일실시예에 따른 예시적 입력 조명 환경 영상(300)을 도시한다.

조명 환경 영상(300)은 Spherical 공간에서 조명이 어느 위치에 어떤 세기와 특성으로 배치되어 있는 지의 정보를 제공한다.

이를 테면 흰색의 형광등(310), 오렌지색의 조명(320) 등이 어느 위치에서 어떤 모양으로 존재하는 지를 알 수 있다.

그러나, 이러한 실제의 조명 환경 영상(300)을 그대로 이용하여 오브젝트에 대한 칼라 값들을 렌더링하는 경우, 연산 양이 너무 커지므로, 적절한 정도로 연산 양을 줄일 수 있도록 조명을 모델링 하여야 한다.

도 4는 본 발명의 일실시예에 따라 상기 도 3의 입력 조명 환경 영상(300)을 저대역 통과 필터링 한 결과인 필터된 조명 환경 영상(400)을 도시한다.

이러한 필터링 과정은 상기한 바와 같이 가우시안 블러링 처리일 수 있다. 도 4에서 도시된 바에 따르면, 작은 크기의 조명들은 무시되고, 전체 조명 환경이 몇 개의 영역으로 구별될 수 있는 부드럽게 표현된 큰 면 조명(smooth large area light)로 표현되었다.

즉, 조명 환경 영상(300)의 저주파 성분만 남고 고주파 성분은 필터 아웃(filter-out)된 것으로 볼 수 있다.

이러한 필터된 조명 환경 영상(400)을 이용하여 오브젝트를 렌더링 하는 과정은 SH 기저 함수들에 대한 각각의 계수들을 구하고, 이를 이용하여 오브젝트의 BRDF와의 연산을 수행하여 칼라 값을 계산함으로써 수행된다.

도 5는 본 발명의 일실시예에 따른 예시적 SH 기저 함수들(510 내지 580)을 도시한다.

3차원의 Spherical 공간에 대해 Spherical Harmonics를 계산하기 위해서는 서로 직교하는(orthogonal) 복수 개의 기저 함수들을 설정할 필요가 있으며, 이러한 기저 함수들은 다양한 실시예가 있을 수 있다.

하나의 실시예로서 제공되는 도 5의 기저 함수들은 저주파 SH 기저 함수들(low-frequency spherical harmonic basis functions)의 예이며, 파란색 부분이 음수(negative values)를 나타내고 붉은색 부분이 양수(positive values)를 나타낸다.

이러한 기저들은 퓨리에 함수(Fourier functions)를 3차원적으로 생각한 것으로 이해될 수 있다. 이러한 기저 함수들(510 내지 580)의 각각에 도 4의 필터된 영상을 프로젝션 하면 각각의 기저 함수들에 대한 SH 계수가 구해진다.

도 6은 본 발명의 일실시예에 따라 계산되는 차분 영상(600)을 도시한다.

도 1 및 도 2를 참조하여 상술한 바와 같이, 차분 영상(600)은 필터된 조명 환경 영상(400)과 원래 입력된 조명 환경 영상(300) 사이의 차이를 나타낸다.

도 7은 본 발명의 일실시예에 따라 도 6의 차분 영상(600)으로부터 VPL을 샘플링하는 과정을 설명하기 위한 개념도(700)이다.

VPL 샘플링부(230 또는 140)는 상기 차분 영상에서 크기가 일정한 임계치 이상인 부분에 적어도 하나의 VPL을 샘플링 할 수 있다.

샘플링된 VPL(710)은 도 3에 도시된 원래의 입력 조명 환경 영상(300)의 조명(310)에 대응하고, VPL(720)은 조명(320)에 대응한다.

도 8은 본 발명의 일실시예에 따라 도 7의 VPL 샘플링 과정을 통해 샘플링된 VPL을 도시하는 개념도(800)이다.

Spherical Area(801)에 VPL들이 샘플링 되었으며, 도 7에서 설명한 VPL(710)이 VPL(810)에 대응하고, VPL(720)이 VPL(820)에 대응한다.

도 1의 렌더링부(150)은 이러한 VPL들을 이용하여 오브젝트를 렌더링할 수 있다.

이상의 과정을 참고하여 본 발명의 영상 처리 방법이 도 9 및 도 10을 참조하여 후술된다.

도 9는 본 발명의 일실시예에 따른 영상 처리 방법을 도시한다.

단계(910)에서 조명 환경 정보, 이를테면 도 3의 조명 환경 영상(300)이 영상 처리 장치(100)에 입력된다. 상기 조명 환경 정보 또는 조명 환경 영상에 대해서는 도 1 및 도 3을 참조하여 상술하였다.

그러면, 단계(920)에서 도 1의 필터부(110)는 입력된 조명 환경 영상을 필터링한다. 필터부(110)는 고주파 성분을 필터 아웃(filter-out)하고 저주파 성분을 통과(pass)시켜서, 상기 입력 조명 환경 영상 중 저주파 성분이 강조된 필터된 조명 환경 영상을 생성한다. 도 1 및 도 4에서는 이러한 필터링의 예로, 가우시안 블러링(Gaussian Blurring) 과정 등을 상술하였다.

그러면, 단계(930)에서 차분 영상 계산부(130)는 상기 필터된 조명 환경 영상과 원래 입력된 조명 환경 영상 사이의 차분 영상을 계산한다. 상기 차분 영상에 대해서는 도 1 및 도 6을 참조하여 상술하였다.

단계(940)에서는 VPL 샘플링부(140)가 상기 차분 영상으로부터 중요도 기반 샘플링(importance-base sampling)을 수행함으로써 적어도 하나의 VPL을 샘플링 한다.

차분 영상으로부터 VPL을 샘플링 하는 과정은 도 7을 참조하여 상술하였고, 샘플링된 VPL들은 도 8을 참조하여 상술하였다.

그러면, 단계(950)에서 렌더링부(150)는 영상을 렌더링 한다.

본 단계에서 도 1의 PRT 계산부(120)는 상기 필터된 조명 환경 영상에 대해 PRT(Precomputed Radiance Transfer) 계산을 수행하며, 이를테면 적어도 하나의 SH 기저 함수들로 상기 조명 환경 영상을 프로젝션하여 각각의 기저들에 대한 SH 계수들을 계산한다.

그리고, 렌더링부(150)는 이러한 SH 계수들 및 VPL을 함께 또는 별도로 고려하여 오브젝트의 BRDF에 따라 칼라 값을 렌더링 할 수 있다.

이상의 과정은 도 1을 참조하여 상술한 바와 같다.

도 10은 본 발명의 일실시예에 따른 영상 처리 방법을 도시한다.

단계(1010)에서, 영상 처리 장치(100)에 조명 환경 영상이 입력된다.

그리고 단계(1020)에서 필터부(110)는 입력된 조명 환경 영상을 필터링한다. 필터부(110)는 고주파 성분을 필터 아웃(filter-out)하고 저주파 성분을 통과(pass)시켜서, 상기 입력 조명 환경 영상 중 저주파 성분이 강조된 필터된 조명 환경 영상을 생성한다. 도 1 및 도 4에서는 이러한 필터링의 예로, 가우시안 블러링(Gaussian Blurring) 과정 등을 상술하였다.

그리고 단계(1030)에서 도 1의 PRT 계산부(120)는 상기 필터된 조명 환경 영상에 대해 PRT(Precomputed Radiance Transfer) 계산을 수행하며, 이를테면 적어도 하나의 SH 기저 함수들에 대한 SH 계수들을 계산한다. 기저들의 예시들은 도 5를 참조하여 상술하였다.

한편, 단계(1040)에서는 VPL 샘플링부(140)가 VPL들을 샘플링하는데, 이러한 샘플링은 입력 조명 환경 영상에 대해 직접적으로 수행하는 중요도 기반의 샘플링 또는 도 6의 차분 영상(600)에 대한 중요도 기반의 샘플링 등 다양한 실시예가 가능하다. 샘플링 과정은 도 1, 도 7 및 도 8을 참조하여 상술하였다.

단계(1050)에서는, 렌더링부(150)가 이러한 SH 계수들 및 VPL들을 각각 또는 함께 이용하여 오브젝트에 대한 1차 렌더링을 수행한다.

이러한 렌더링 과정에는 오브젝트의 BRDF가 반영되며, 구체적인 렌더링 기법에는 다양한 것들이 있음을 도 1을 참조하여 상술하였다.

이러한 과정을 통해 큰 면적의 면 조명(Large Area Light)들이 비교적 간단한 연산만으로도 현실감 있게 렌더링에 반영되면서, 동시에 작은 크기의 조명, 특히 점 조명(Point light)이 오브젝트에 Specular 또는 Glossy한 효과를 주는 모습도 잘 표현된다.

다만, 이상의 과정에서는 직접 조명(direct light)에 의한 효과만 반영되었고, 객체에서 빛의 반사나 회절 등의 현상에 연관된 간접 조명(indirect light) 효과는 고려되지 않았다.

따라서, 단계(1060)에서는 단계(1050)에서 렌더링부(150)가 1차 렌더링 한 결과를 이용하여 VPL 샘플링부(140)가 간접 조명 효과를 대표하는 간접 조명 VPL들을 샘플링한다.

그리고, 단계(1070)에서 렌더링부(150)는 이러한 간접 조명 VPL들을 이용하여 오브젝트들을 2차 렌더링 하고, 단계(1080)에서 상기 1차 렌더링 결과와 상기 2차 렌더링 결과를 통합(merging)하여 최종적 렌더링 결과물을 생성할 수 있다.

본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: 영상 처리 장치
110: 필터부
120: PRT 계산부
130: 차분 영상 계산부
140: VPL 샘플링부
150: 렌더링부

Claims

적어도 하나의 광원에 대응하여 위치 및 에너지를 포함하는 입력 조명 환경 영상을 필터링하여, 저주파 성분의 면 광원이 강조되면서 고주파 성분의 점 광원이 걸러진 필터된 조명 환경 영상을 생성하는 필터부;
상기 필터된 조명 환경 영상과 상기 입력 조명 환경 영상 사이의 차이를 계산하고, 상기 입력 조명 환경 영상에서 상기 적어도 하나의 광원의 고주파 성분이 강조된 차분 영상을 생성하는 차분 영상 계산부; 및
상기 차분 영상에 대해 중요도 기반의 VPL(Virtual Point Light) 샘플링을 수행하는 VPL 샘플링부를 포함하고,
상기 샘플링된 VPL은 상기 고주파 성분을 나타내는,
영상 처리 장치.
제1항에 있어서,
상기 필터부는 상기 입력 조명 환경 영상에 가우시안 블러링을 수행하여 상기 필터된 조명 환경 영상을 생성하는, 영상 처리 장치.
제1항에 있어서,
상기 필터된 조명 환경 영상을 PRT(Precomputed Radiance Transfer) 기반으로 표현하는 PRT 계산부
를 더 포함하는, 영상 처리 장치.
제3항에 있어서,
상기 PRT 계산부는, 적어도 하나의 SH(Spherical Harmonics) 기저 함수의 각각에 상기 필터된 조명 환경 영상을 프로젝션 하여 상기 기저 함수의 각각에 대응하는 SH 계수(Spherical Harmonics Coefficients)를 계산하는, 영상 처리 장치.
제4항에 있어서,
상기 SH 계수 및 상기 VPL을 이용하여 적어도 하나의 오브젝트에 대한 영상을 렌더링하는 렌더링부
를 더 포함하는, 영상 처리 장치.
제5항에 있어서,
상기 VPL 샘플링부는 상기 렌더링을 수행한 결과를 이용하여 적어도 하나의 간접 조명 VPL을 더 샘플링 하는, 영상 처리 장치.
제1항에 있어서,
상기 중요도 기반의 VPL 샘플링은 차분 영상에서 미리 설정된 임계치 이상의 값을 갖는 부분에 VPL을 배치하는 것인, 영상 처리 장치.
적어도 하나의 광원에 대응하여 위치 및 에너지를 포함하는 입력 조명 환경 영상을 저대역 통과 필터링하여, 저주파 성분의 면 광원이 강조되면서 고주파 성분의 점 광원이 걸러진 필터된 조명 환경 영상을 생성하는 필터부;
상기 필터된 조명 환경 영상을 적어도 하나의 SH(Spherical Harmonics) 기저 함수의 각각으로 프로젝션 하여 상기 기저 함수의 각각에 대응하는 SH 계수(Spherical Harmonics Coefficients)를 계산하는 PRT 계산부;
상기 입력 조명 환경 영상에 대해 중요도 기반의 VPL 샘플링을 수행하여 적어도 하나의 직접 조명 VPL을 샘플링하는 VPL 샘플링부; 및
상기 SH 계수 및 상기 직접 조명 VPL을 이용하여 적어도 하나의 오브젝트에 대한 영상을 렌더링하는 렌더링부
를 포함하는, 영상 처리 장치.
제8항에 있어서,
상기 저대역 통과 필터링은 가우시안 블러링인, 영상 처리 장치.
제8항에 있어서,
상기 VPL 샘플링부는 상기 렌더링을 수행한 결과를 이용하여 적어도 하나의 간접 조명 VPL을 더 샘플링 하고,
상기 렌더링부는 상기 간접 조명 VPL을 더 이용하여 상기 적어도 하나의 오브젝트에 대한 영상을 렌더링하는, 영상 처리 장치.
영상 처리 장치가 영상을 처리하는 방법에 있어서,
상기 장치의 필터부가, 적어도 하나의 광원에 대응하여 위치 및 에너지를 포함하는 입력 조명 환경 영상을 필터링하여, 저주파 성분의 면 광원이 강조되면서 고주파 성분의 점 광원이 걸러진 필터된 조명 환경 영상을 생성하는 단계;
상기 장치의 차분 영상 계산부가, 상기 필터된 조명 환경 영상과 상기 입력 조명 환경 영상 사이의 차이를 계산하고, 상기 입력 조명 환경 영상에서 상기 적어도 하나의 광원의 고주파 성분이 강조된 차분 영상을 생성하는 단계; 및
상기 장치의 VPL 샘플링부가, 상기 차분 영상에 대해 중요도 기반의 VPL(Virtual Point Light) 샘플링을 수행하는 단계
를 포함하고,
상기 샘플링된 VPL은 상기 고주파 성분을 나타내는,
영상 처리 방법.
제11항에 있어서,
상기 장치의 PRT 계산부가, 상기 필터된 조명 환경 영상을 적어도 하나의 SH(Spherical Harmonics) 기저 함수의 각각으로 프로젝션 하여 상기 기저 함수의 각각에 대응하는 SH 계수(Spherical Harmonics Coefficients)를 계산하는 단계
를 더 포함하는, 영상 처리 방법.
제12항에 있어서,
상기 장치의 렌더링부가, 상기 SH 계수 및 상기 VPL을 이용하여 적어도 하나의 오브젝트에 대한 영상을 렌더링하는 단계
를 더 포함하는, 영상 처리 방법.
제13항에 있어서,
상기 VPL 샘플링부가, 상기 렌더링을 수행한 결과를 이용하여 적어도 하나의 간접 조명 VPL을 샘플링하는 단계
를 더 포함하는, 영상 처리 방법.
영상 처리 장치가 영상을 처리하는 방법에 있어서,
상기 장치의 필터부가, 적어도 하나의 광원에 대응하여 위치 및 에너지를 포함하는 입력 조명 환경 영상을 저대역 통과 필터링하여, 저주파 성분의 면 광원이 강조되면서 고주파 성분의 점 광원이 걸러진 필터된 조명 환경 영상을 생성하는 단계;
상기 장치의 PRT 계산부가, 상기 필터된 조명 환경 영상을 적어도 하나의 SH(Spherical Harmonics) 기저 함수의 각각으로 프로젝션 하여 상기 기저 함수의 각각에 대응하는 SH 계수(Spherical Harmonics Coefficients)를 계산하는 단계;
상기 장치의 VPL 샘플링부가, 상기 입력 조명 환경 영상에 대해 중요도 기반의 VPL 샘플링을 수행하여 적어도 하나의 직접 조명 VPL을 샘플링하는 단계; 및
상기 장치의 렌더링부가, 상기 SH 계수 및 상기 직접 조명 VPL을 이용하여 적어도 하나의 오브젝트에 대한 영상을 렌더링하는 단계
를 포함하는, 영상 처리 방법.
제15항에 있어서,
상기 VPL 샘플링부가, 상기 렌더링을 수행한 결과를 이용하여 적어도 하나의 간접 조명 VPL을 샘플링 하는 단계;
상기 렌더링부가 상기 간접 조명 VPL을 이용하여 상기 적어도 하나의 오브젝트에 대한 추가 영상을 렌더링하는 단계; 및
상기 렌더링부가 상기 추가 영상과 상기 영상을 통합하여 결과 영상으로 제공하는 단계
를 더 포함하는, 영상 처리 방법.
제11항 내지 제16항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.