KR101390455B1

KR101390455B1 - 물리적 기반의 반사 분리에 의한 획득 이미지 품질 개선 방법

Info

Publication number: KR101390455B1
Application number: KR1020120078351A
Authority: KR
Inventors: 유윙타이; 공내진; 신성용
Original assignee: 한국과학기술원
Priority date: 2012-07-18
Filing date: 2012-07-18
Publication date: 2014-04-29
Also published as: KR20140011675A

Abstract

본 발명은 물리적 기반의 반사 분리에 의한 획득 이미지 품질 개선 방법에 관한 것으로서, 물리적으로 기초한 반사 모델에서 이중-면 반사와 양 레이어들의 공간적으로-변화하는 혼합계수를 다루고 완전하게 자동인 물리적 기반의 반사 분리에 의한 획득 이미지 품질 개선 방법을 제공함에 목적이 있다.
이러한 목적을 달성하기 위한 본 발명은, (a) 일정 각도씩 떨어진 편광각으로 각각 캡처된 세 개의 편광된 이미지들로부터 한 쌍의 직교 이미지들을 추출하는 단계; (b) 공간적으로-변화하는 입사각을 가정함으로써 상기 직교 이미지들 각각으로부터 반사 레이어와 배경 레이어를 분리하는 단계; (c) 멀티-스케일의 제약된 최적화를 적용함으로써 상기 반사 레이어와 배경 레이어를 정제하는 단계; 및 (d) 상기 (c) 단계를 통해 정제된 반사 레이어와 배경 레이어 상에 잔류하는 가장자리 제거 처리 단계; 를 포함한다.

Description

물리적 기반의 반사 분리에 의한 획득 이미지 품질 개선 방법{A Physically-based Approach to Reflection Separation}

본 발명은 이미지 디테일 개선에 관한 방법에 관한 것으로서, 예를 들어 글라스 윈도우를 통해 찍힌 장면들의 사진들 혹은 상점과 박물관 세트 내에 유리 진열장 안에 안치된 물체들의 사진들과 같은 이미지들에 대해서 발생할 수 있는 반사이미지의 분리에 방법에 관한 것으로서, 더욱 상세하게는 유리의 뒤편에 있는 배경 장면을 포착하는 경우에 다수의 편광된 이미지들을 이용하여 반사 및 배경 레이어를 분리하기 위한 물리적 기반의 반사 분리에 의한 획득 이미지 품질 개선 방법에 관한 것이다.

반사 분리 방법들은 이미지를 근간으로 하는 방법들, 그리고 물리적으로 기초한 방법들로 크게 두 가지 방법으로 분류될 수 있다. 본 발명에서는 유리 뒤에 캡처된 배경 장면을 갖는 복수로 편광된 이미지들을 사용하여 반사를 분리하기 위한 물리적 기반 접근 방식을 제안한다.

입력은 세 개의 편광 이미지들로 구성되는데, 각각의 이미지는 동일한 관점으로부터 캡처되었지만, 45도씩 떨어진 다른 편광자 각을 가지고 캡처되었다.

출력은 각각의 입력 이미지들로부터의 반사 및 배경 레이어의 고품질 분리이다. 이러한 문제에 대한 주된 기술적 도전은 반사와 배경 레이어들에 대한 혼합계수가 입사각과 입사면의 방향에 의해 결정된다는 것이다.

여기서, 입사각과 입사면의 방향은 이미지의 픽셀에 걸쳐서 공간적으로 변화한다. 이중-표면을 갖는 유리 매체에 대한 편광의 물리적 특성을 이용하여, 본 발명에서는 반사와 배경 레이어들의 분리를 자동적으로 수행하는 최적의 방법이 고안되었다.

실험들을 통하여, 본 발명이 고안한 방법이 기존의 방법들 보다 더 우수한 결과들을 얻었다는 것을 입증한다. 불필요한 이미지를 분리하는 것에 의하여, 원하는 장면을 보다 잘 보기 위해서 캡처된 이미지를 개선 할 수 있다. 반사하는 매체의 표면 밖으로 반사된 빛이 편광되므로, 반사의 효과를 감소시키기 위한 흔한 방법은 편광되는 반사된 빛을 걸러내기 위해 카메라 렌즈 앞에 편광자를 두는 것이다. 그럼에도 불구하고, 이러한 방법 등은 실제로 이미지 캡처를 위해서 거의 설정되지 않는 브루우스터의 각(유리 반사에 대해서 대략 56°)에서 캡처되는 경우에만 효과가 있다는 단점이 있다.

결과적으로, 필터된 이미지 안에 약한 반사가 계속 남게 된다.

반사 분리를 위해서, 반사된 빛과 전달된 빛 모두 편광되는 이중 표면 유리 매체에 대해 반사와 전달의 물리적 특성을 이용한다. 반사와 전달의 효과는 편광의 물리적 수식들로부터 유도되고, 반사 및 전달의 효과의 모델은 다음의 [수식 1] 에 의하여 나타낼 수 있다.

[수식 1]

여기서, I 는 이미지 센서에 의해 수신된 빛의 강도이고, L_R 은 유리표면으로부터 떨어져 반사되는 장면으로부터의 빛의 강도이고, L_B 는 유리 뒤의 배경 장면으로부터의 빛의 강도이고, α 는 혼합 계수이다. α 의 값은 유리의 굴절 지수, 입사면의 방향, 입사각, 픽셀포지션 x 에서의 편광자에 의해 결정된다.

이미지 센서에 대한 카메라 응답 기능이 선형이라고 가정하면, I 는 이미지 센서에 의해 저장된 이미지와 동일하다. 이러한 가정 하에서, 우리의 목표는 편광자를 가지고 캡처된 주어진 I, L_R 과 L_B를 가정하는 것이다.

전형적인 매팅 문제에서, 0 또는 1 과 동일한 α 를 갖는 많은 수의 전경/배경 픽셀들이 있다. 그럼에도 불구하고, 반사 분리 문제에서 α 는 거의 0 또는 1 과 동일한 값이 아니라, 0 과 1 사이에서 이미지에 걸쳐서 변화한다. 더욱이, 기존의 매팅 알고리즘은 전경/배경 영역을 흐릿하게 하는 경향이 있다. 여기서, 매팅 문제의 포커스는 자연적인 이미지를 합성하는 것처럼 α 는 0 과 1 사이에 있다.

다른 한편으로는, 반사/배경 레이어들이 선명하고 또렷한 것이 반사 분리 문제에서는 바람직하다. 따라서, [수식 1] 이 매팅 식과 유사함에도 불구하고, 기존의 매팅 알고리즘들이 본 발명에서의 반사 분리 문제에 적용되지는 않는다.

기존의 이미지 기반 반사 분리 방법들은 편광자를 임의의 방향으로 움직이며 촬영한 일련의 이미지들 간에 최소 및 최대 강도 픽셀을 사용하거나 Sparse ICA(SPICA)테크닉을 사용하였다. 그러나 이렇게 얻은 결과에는 여전히 약한 반사가 남아있을 수 있다. 자연적인 장면들이 라플라시안 분포를 따르는 점에 착안하여 통계적인 방법으로부터 유도된 알고리즘을 적용하여 이미지를 분리하는 방법이 사용되기도 하였지만, 이러한 경우에는 각 레이어에 속하는 그라디언트들을 표시하는 사용자의 개입이 과정에 포함되어 자동으로 처리하지 못하는 단점 등이 있었다.

기존의 물리 기반 반사 분리 방법은 편광자를 몇 개의 정해진 방향에 놓아 입력 이미지들을 촬영하고, 유리등의 유전체(dielectric medium)에 대한 편광 현상의 물리 법칙을 활용하여 두 레이어를 분리하였다. 그러나 이 방법은 입사각이 이미지 내에서 국지적으로 변화하는 현상을 다루지 못하였다.

본 발명에서는 단일 입력 이미지를 가지고 [수식 1] 을 푸는 것은 적합하지 않고, 반사 분리 문제를 자동적으로 해결하기 위하여 세 개의 입력 이미지를 사용한다. 각각의 이미지는, 혼합 계수 α 가 공간적으로 변동되도록 허용된 반면에, 45도 만큼씩 떨어진 편광자 각도를 갖고 캡처된다. 대부분의 기존 방법들에서, α는 이미지에 걸쳐서 일정하다고 가정되는데 이미지는 때로는 실제 이미지들에 대해서 유효하지 않다. 그러므로 이러한 방법들을 통해 얻은 결과들은 실제 예들에 대해서 만족스럽지 못할지도 모른다. 본 발명에서 제안하는 [수식 1] 에서의 반사 모델에 기초하는 방법을 가지고, 다양한 예들에 대해서 고-품질의 반사 분리 결과들을 얻을 수 있다. 여기서 제안하는 방법을 통한 결과들이 기존의 방법들의 결과들보다 동일한 예들에 대해서 뿐만 아니라 실제의 예들에 대해서도 양적으로 더 뛰어나다는 것을 보여주었다.

본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 물리적으로 기초한 반사 모델에서 이중-면 반사와 양 레이어들의 공간적으로-변화하는 혼합계수를 다루고 완전하게 자동인 물리적 기반의 반사 분리에 의한 획득 이미지 품질 개선 방법을 제공함에 목적이 있다.

이러한 기술적 과제를 달성하기 위한 본 발명은 물리적 기반의 반사 분리에 의한 획득 이미지 품질 개선 방법에 관한 것으로서, (a) 일정 각도씩 떨어진 편광각으로 각각 캡처된 세 개의 편광된 이미지들로부터 한 쌍의 직교 이미지들을 추출하는 단계; (b) 공간적으로-변화하는 입사각을 가정함으로써 상기 직교 이미지들 각각으로부터 반사 레이어와 배경 레이어를 분리하는 단계; (c) 멀티-스케일의 제약된 최적화를 적용함으로써 상기 반사 레이어와 배경 레이어를 정제하는 단계; 및 (d) 상기 (c) 단계를 통해 정제된 반사 레이어와 배경 레이어 상에 잔류하는 가장자리 제거 처리 단계; 를 포함한다.

상기와 같은 본 발명에 따르면, 반사 모델을 통하여 물리적으로 반사 이미지를 분리하여 고품질을 갖는 자동 방식의 이미지 품질 개선의 효과가 있다.

도 1 은 본 발명에 따른 물리적 기반의 반사 분리에 의한 획득 이미지 품질 개선 방법에 관한 전체 흐름도.
도 2 는 본 발명에 따른 방법과 이전 방법의 결과를 비교한 모습을 보이는 일예시도.
도 3 은 두 개의 직교 편광 성분들의 합으로 나타내는 반사율 R 혹은 투과율 T 및 입사각에 따라 변화하는 R과 T를 나타내고 카메라에 의해 수신되는 빛의 양은 반사광과 투과광에서의 편광량에 따라 결정됨을 보여주는 일예시도.
도 4 는 카메라가 반사매체에 근접한 때, 공간적으로 변화하는 θ 와

_⊥를 각각 보여주는 일예시도.
도 5 는 인위적 예에 대한 결과들로서 본 발명에 따른 방법의 결과들과 기타 기존 방법들에 대한 결과들을 보여주는 일예시도.
도 6 은 실제 예에 대한 결과들로서 본 발명에 따른 방법의 결과들과 기타 기존 방법들에 대한 결과들을 보여주는 일예시도.
도 7 은 도 6 의 실제 예에 대해서 물리에 기반한 본 발명에 따른 방법과 여러 편광 이미지 간의 이미지 기반 정보에만 의존하는 반사분리 방법과의 비교를 나타내는 일예시도.
도 8 은 두 개의 인위적 예에 대한 강건성 테스트의 결과들을 보여주는 일예시도.

본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.

본 발명에 따른 물리적 기반의 반사 분리에 의한 획득 이미지 품질 개선 방법에 관하여 도 1 내지 도 8 을 참조하여 설명하면 다음과 같다.

우선, 반사모델에 대하여 살펴보면, 유리 표면으로 떨어져 반사되거나 통과하여 전달되는 빛은 부분적으로 편광되고 두 개의 직각으로 편광된, 도 3 의 (a) 에서 나타낸 바와 같이 입사 평면에 대해 수직이고 수평인 요소들의 합으로써 표현된다.

R은 유리 표면으로부터 반사된 빛의 상대적 강도를 나타내는 반사율로 정의되고, T는 유리 표면을 통해 전달되는 빛의 상대적 강도를 나타내는 투과율로, θ는 입사각으로,

는 편광자 각으로 각기 정의된다.

입사면의 수직과 수평인 편광된 요소들에 각각 대응하는 특별한 첨자들 ⊥ 과 ∥이 R과 T에 첨부된다. 따라서 R_⊥ 과 R_∥는 R = R_⊥ + R_∥ 인 것처럼 R의 두 개의 직교하는 편광된 요소들을 나타낸다. 이와 유사하게, T = T_⊥+ T_∥정의된다.

∥ 는 입사면과 편광자사이의 교차선의 방향에 대한 각도 및

_⊥=

∥+ 90°로써 정의된다. R과 T에서의 개개의 편광된 요소는 유리 반사에 대해 1:474로서 간단하게 고정될 수 있는 반사 매체의 굴절률과 θ에 의해 결정되는 함수이다. 도 3 의 (b) 에서 보이는 바와 같이, 각 편광된 요소들의 상대적 강도는 θ내에서 완만하게 변화한다.

게다가, 전달요소의 어떠한 것도 어느 입사각에서도 사라지지 않는 반면에, 반사의 약한 수평 요소는 입사각이 브루우스터의 각(유리 반사에 대해서 약 56°)과 동일한 때에만 완전히 사라진다.

편광자는 브루우스터의 각에서만 반사된 빛의 영향을 완전히 제거할 수 있는데, 이는 이미지 캡처를 위해서는 거의 설정되지 않는다.

편광자를 가지고 이미지를 취하는 때에, 편광자를 통과하는 빛의 양은 [수식 2] 로 나타낸 말러스의 법칙에 의해 주어진다.

[수식 2]

여기서, L은 들어오는 편광된 빛의 강도이고,

는 편광자의 전달축과 입사 빛의 편광 방향 사이의 각이다.

입사광에서의 두 개의 요소들의 강도들, 즉 반사이전의 L_R 과 통과 이전의 L_B 은 비편광화되고 따라서 심지어 에너지는 각 요소 안에 담겨진다.

즉, L_R⊥ = L_R∥ = L_R/2 이고 L_B⊥ = L_B∥ = L_B/2.

이때, 편광자를 통과한 후에 이미지 센서의 한 개의 픽셀에서의 빛의 강도(I)는 다음의 [수식 3] 과 같다.

[수식 3]

이것은

, θ 와

_⊥ 의 함수이다. 따라서, L_R 을 위한 혼합계수 α= [R_⊥(θ)cos²(

-

_⊥)+R_∥(θ)sin²(

-

_⊥)] 설정함으로써, [수식 1] 에서 반사 모델을 얻는다.

T_⊥(θ)= 1 - R_⊥(θ) 이고 T_∥(θ) = 1 - R_∥(θ) 이므로, 1-α는 L_R 을 위한 혼합계수이다.

이제, [수식 3] 에서 편광자를 가지고 캡처된 입력 이미지에 대해서,

는 상수이고, θ와

_⊥ 는 도 4 에서 나타낸 바와 같이 이미지에 걸쳐서 공간적으로-변화할 뿐만 아니라, 마지막 두 수량의 변화들은 평면 유리 표면 혹은 작은 곡률을 갖는 유리 표면에 걸쳐서 공간적으로 완만하다는 것을 볼 수 있다.

반사율과 투과율은 또한 도 3 의 (b) 에서 보이는 바와 같이 θ에 대해서도 완만하다. 결과적으로, 혼합계수 α는 θ와

_⊥ 의 함수인데, 이미지에 걸쳐 공간적으로 완만하다. 도 3 의 (a) 는 반사율 R 혹은 투과율 T는 두개의 직교 편광 성분들의 합, 즉, R = R_⊥ + R_∥, T = T_⊥ + T_∥ 로서 표현된다. 도 3 의 (b) 는 R과 T는 입사각 θ에 대하여 변화하는데, 여기서 R은 브루우스터의 각(유리 반사에 대해서 56°)에서만 완전하게 편광된다. 도 3 의 (c) 는 카메라에 의해 수신된 빛의 양은 반사광과 투과광에서의 편광량에 따라 결정된다.

카메라가 반사매체에 근접한때, 도 4 의 (a) 와 (b) 에서 각각 보여지는 것처럼 θ 와

_⊥는 공간적으로 변화한다.

본 발명에서 고품질의 반사 분리를 얻기 위하여, 공간적으로 변화하는 혼합 계수가 명시적으로 사용된다. 본 발명에서 제안하는 방법은 도 1 에 도시된 바와 같이 직교 이미지 추출, 이미지 분리, 반사 개선 그리고 약한 가장자리 억제로 구성되는데, (a) 일정 각도씩 떨어진 편광각으로 각각 캡처된 세 개의 편광된 이미지들로부터 한 쌍의 직교 이미지들을 추출하는 단계; (b) 공간적으로-변화하는 입사각을 가정함으로써 상기 직교 이미지들 각각으로부터 반사 레이어와 배경 레이어를 분리하는 단계; (c) 멀티-스케일의 제약된 최적화를 적용함으로써 상기 반사 레이어와 배경 레이어를 정제하는 단계; 및 (d) 상기 (c) 단계를 통해 정제된 반사 레이어와 배경 레이어 상에 잔류하는 가장자리 제거 처리 단계; 를 포함한다.
상기 (b) 단계에서, 편광 현상에 관한 물리 법칙을 분석하여, [수식 1] 과 같이, 반사가 섞인 이미지가 매 픽셀(x) 마다 반사 레이어 (

) 와 배경 레이어 (

) 가 [수식 20] 으로 주어진 반사 계수에 의해 선형 결합된 형태로 나타내어지고 반사 계수는 이미지 내에서 국지적으로 변화하고, 처리할 이미지의 크기에 비례하여 이미지 히스토그램 출력작업과 빌리프 프라퍼게이션(Belief Propagation)에 의해 증가하는 처리시간을 단축하기 위하여, 최저 스케일 팩터를 갖는 이미지들에 대해 빌리프 프라퍼게이션(Belief Propagation)을 수행할 수 있다. 또한 상기 (c) 단계에서, 다수의 스케일 팩터(scale factor)를 갖는 이미지들에 대해 최적화를 수행하고 입력 이미지의 가우시안 피라미드들에 기초한 멀티-스케일 반사 분리 방법을 채택하여 처리속도를 단축하게 할 수 있다.

직교 이미지를 추출하기 위하여 세 개의 편광된 이미지들을 고려하여, 각각의 이미지는 45도 만큼씩 떨어진 편광각에서 캡처되었다, 즉 I_i(x); i = 1, 2, 3, 이러한 세 개의 이미지들로부터,

₁과

_⊥(x)의 명시적 값 대신에

₁-

_⊥(x)를 계산하고, 두 개의 직교 이미지들 I_⊥(x) 와 I_∥(x)를 계산한다. I_⊥(x)는 반사광과 투과광에서 수직 요소들에 대한 강도의 합이고, I_∥(x)의 구성요소도 이와 유사하게 정의되고 각각 아래의 [수식 4] 와 [수식 5] 와 같다.

[수식 4]

[수식 5]

상기의 식들을 [수식 3] 에 치환하면, I_⊥(x), I_∥(x) 그리고

₁-

_⊥(x) 에 관하여 입력 이미지 I_i(x); i = 1, 2, 3 가 표현될 수 있는데 아래의 [수식 6] 과 같다.

[수식 6]

이제, (I_i,

_i)에 대해 (I₁,

₁), (I₂,

₁+45°) 그리고 (I₃,

₁+90°)에 대해서 각각 치환함으로써 다음의 [수식 7], [수식 8], [수식 9] 가 유도된다.

[수식 7]

[수식 8]

[수식 9]

_i-

_⊥(x), I_⊥과 I_∥에 대한 이런 식들로부터 다음의 [수식 10], [수식 11], [수식 12] 가 도출된다.

[수식 10]

[수식 11]

[수식 12]

위의 수식에서, arctan(·)의 독특한 해법에 대해서

₁-

_⊥(x)는 [-45°, 45°] 내에 있다고 가정한다. 만약

₁-

_⊥(x)이 -45°보다 작거나 혹은 45°보다 크다면, 계산된 값은 실제 값과 ±90° 만큼 다르다. 이러한 경우에, cos2(·)의 신호가 반대이기 때문에, 단순히 I_⊥와 I_∥ 의 값을 교환한다.

이미지 분리의 단계에서, 입사각 θ(x)를 가정함에 의해서 이미지를 L_R 과 L_B로 분리하는 방법을 제공하고, 각 입력 이미지에 대한 알파 매트 α(x)를 계산하는 방법을 제시하며, 이는 다음 단계에서 사용된다.

T_⊥(θ) = 1 - R_⊥(θ) 이고 T_∥(θ) = 1 - R_∥(θ)이므로, [수식 4] 및 [수식 5] 로부터 L_R 과 L_B 에 대하여 아래의 [수식 13] 및 [수식 14] 가 유도된다.

[수식 13]

[수식 14]

θ = 0°또는 90°일때 R_⊥ = R_∥ 이기 때문에 제로 값으로 나누는 것을 피하기 위하여, θ(x) 의 범위는 5°and 85°사이에서 제한된다.

상기 [수식 13], [수식 14] 에서, L_R(x) 와 L_B(x) 는 알려지지 않은 θ(x) 의 함수들이다. θ(x)를 추정하기 위하여, 반사 장면과 배경 장면 내에 이미지 컨텐츠들 사이에 어떠한 상관관계도 없다고 가정한다. 따라서, 최상의 θ(x) 는 L_R 과 L_B 사이에서 상호의 정보를 최소화하는 θ(x)를 발견함에 의하여 얻어진다.

[수식 13] 과 [수식 14] 를 이용함으로써 규칙적으로 샘플링된 θ(x)의 순차적 값들에서 평가된 L_R(x)와 L_B(x) 의 모든 후보쌍 들이 준비된다.

θ(x)는 이미지에 걸쳐서 완만하게 변화하므로, 다음의 최대 사후 확률(maximum a posteriori (MAP))문제를 해결함으로써 이미지에 걸쳐 모든 픽셀에서의 최상의 θ(x)를 선택하기 위하여 빌리프 프라퍼게이션(belief propagation)을 사용한다.

[수식 15]

여기서,

(θ(x))는 데이터 비용 함수이고,

는 네이버후드 비용 함수이고, N(x)는 x의 일차 네이버스이다.

(θ(x))는 θ(x)를 pixel x에 배정하는 비용을 측정하고,

는 θ(x)와 θ(y)를 한 쌍의 이웃하는 픽셀들 x와 y에 각각 배정하는 비용을 측정한다.

기존에 상호 정보에 대하여 정의된 데이터 비용함수에서, 이것은 각각의 각도 θ(x)에서의 L_R(x) 와 L_B(x) 사이의 이미지 히스토그램들의 통계적 의존성을 측정하였고, θ는 이미지에 걸쳐서 정적이고 L_R 과 L_B 에서의 이미지 컨텐츠들은 통계적으로 상관관계가 없다는 가정 하에서, 최상의 θ에서의 이미지 쌍 (L_R,,L_B)는 가장 작은 상호간의 정보를 갖는다는 것을 보여주었다.

본 발명에서는 이러한 함수를 문제 세팅에 적응한다.

L_R 과 L_B 두 개의 이미지들 사이의 상호 정보는 L_R 과 L_B의 이미지 히스토그램들 사이의 쿨백-레이블러(KL) 거리로부터 유도된다.

[수식 16]

여기서,

과

는 L_R 과 L_B 에서의 각각 어떠한 강도 레벨들 l_R과 l_B에 대한 확률들이다.

는 l_R 과 l_B 에 대한 결합확률이고, L 은 이미지 히스토그램들에서의 모든 가능한 강도 레벨들의 집합이다.

이미지의 밝기에 대한 의존도를 감소시키기 위하여, [수식 16] 에서의 I(L_R,L_B)는 그것을 L_R 과 L_B 의 평균 자기 정보로 나누는 것에 의하여 정상화된다.

[수식 16] 에서 KL 거리가 이미지에 걸친 θ 의 정적인 값의 가정 하에 정의되므로, 이것은 공간적으로-변화하는 문제 세팅에 직접적으로 적용될 수 없다. 대신에, 공간 도메인 내에서 평활도 컨디션에 근거하여, θ가 국지적으로 정적이고, 즉, 각 픽셀 주위에 작은 패치 내에서 공간적으로 변함이 없다고 가정한다.

이때, 도메인 함수는 패치에 관한 상호 정보에 관하여 정의된다.

(θ(x)) = exp(-I_n(L_R ^[x] ,L_B ^[x])),

여기서, In은 x주위의 이미지 패치들 L_R ^[x]과 L_R ^[x] 에 대한 상호정보이다.

또한, 최소 수의 모퉁이와 가장자리들을 가지고 이미지 쌍을 선택하기 위하여 데이터 비용 함수가 테스트되었다. 그럼에도 불구하고, 상호적 정보는 일반적으로 관련 문제에 대해 보다 나은 결과들을 산출한다는 결과를 확인하였다.

네이버후드 비용 함수는

=exp

로써 정의되고 여기서 λ = 0.5 는 무게이다. 네이버후드 비용 함수를 사용하지 않고 각 픽셀에 대한 데이터 비용을 단순히 최대화하면, 이미지에 걸쳐 θ(x) 의 가정치는 노이즈가 섞여있고 정확하지 않을 것이다. θ(x) 를 선택한 후에, θ(x)를 가지고 [수식 13] 과 [수식 14] 를 평가함으로써 두 개의 분리된 레이어들 L_R(x) 과 L_B(x) 를 얻는다. 또한 θ(x) 를 빌리프 프라퍼게이션(belief propagation)으로부터 얻어진 값으로 세팅하고

₁-

_⊥(x) 를 이전 단계에서 얻어진 값으로 세팅함에 의하여 이것의 정의에 근거한 각 입력 이미지에 대한 α(x) 를 계산한다.

분리 결과들은 θ(x) 의 패치에 대한 추정에 기인한 틈을 메우는 인공물들을 포함하고 그것들의 품질개선을 위하여 분리 결과들을 보다 정제하는 방법을 제안한다.

α_i 와 (L_R _,,L_B) 정제하기 위하여 [수식 17] 에서 주어진 목적함수를 가지고 최소화 문제를 만든다.

[수식 17]

목적함수는 세 개의 항들로 구성되는데, 첫 번째 항은 입력 이미지들에 대한 [수식 1] 로부터 유도되는 데이터 항이다.

두 번째 항은 반드시 α_i(x) 가

와 유사하게 되도록 하는 유연한 제약인데, 이는 두 번째 단계에서 추정되는 혼합계수를 표시한다. 본 항은 각 입력 이미지에 걸쳐 α_i(x) 의 지속적인 가정을 강요한다. 세 번째 항은 α_i(x)의 변화를 최소화하는 평활도 항이다. λ_c 와 λ_s는 가중 파라미터들이다.

기존의 방식에서 발전된 최적화 전략은 우선

, L_R 과 L_B 을, 이미지 분리 단계를 가지고 얻어진

,

을 가지고 각각 초기화한다. 그리고 나서 두 개의 볼록 하위문제들을 교차적으로 해결하고, 한 번의 반복에서 L_R 과 L_B를수정하는 동안 α_i에 대해서 풀고, 다음 번 반복에서 α 를 수정하는 동안에 L_R 과 L_B 대해서 해결함으로써 목적함수를 최소화한다.

반사 정제 이후에 약한 주변부 억제 단계에서는 L_R 혹은 L_B 는 여전히 다른 레이어에 속하는 매우 약한 거짓 엣지를 포함하고 있을지도 모른다. L_R과 L_B에서의 거짓 엣지들을 억제하기 위하여 크로스-프로젝션 텐서들을 채택하였다. L_R 혹은 L_B 에서의 참 엣지는 다른 레이어에서의 대응하는 거짓 엣지보다 큰 그라디언트 매그니튜드를 갖는다고 가정한다.

L_R(x) 에 대한 크로스-프로젝션 텐서는 다음과 같이 정의된다.

[수식 18]

여기서, v₁ 과 v₂ 는 평활화된 구조 텐서의 대소 각각의 고유한-벡터들인데, L_B(x) 의 그라디언트로부터 유도된다. 이러한 벡터들은, L_R과 L_B 을 위한 컬러 스페이스가 RGB에서 YUV로 전환된 이후에 계산된다. L_R(x)에 대한 크로스-프로젝션 텐서 D_R(x)을 정의하기 위한 μ₁과 μ₂의 값들은 다음과 같이 결정된다.

본 발명에서는 L_R(x)에서의 참 엣지가 존재할 때, μ₁ = 1 , μ₂ = 1 로 정한다.

L_R(x) 와 L_B(x) 모두에서 엣지가 있고, L_R(x) 에서의 Y채널 그라디언트 매그니튜드가 L_B(x) 에서의 그것보다 작을 때, μ₁ = 0 , μ₂ = 1 로 정한다.

L_R(x) 에서 엣지가 없을 때, μ₁ = 0 , μ₂ = 0로 정한다.

대칭적으로, L_B(x) 에 대한 크로스-프로젝션 텐서 D_B(x) 가 정의될 수 있다.

거짓 엣지를 억제하고 참 엣지를 유지하기 위하여, 먼저 다음과 같이 그라디언트들을 투사한다.

[수식 19]

이때, 투사된 그라디언트들

과

는 통합되고, 결과들은 다시 RGB 공간으로 전환되어 최종 분리 결과들을 얻는다.
[수식 20]

R : 유리 표면으로부터 반사된 빛의 상대적 강도를 나타내는 반사율
R_⊥: R의 입사면에 수직인 편광된 요소
R_∥: R의 입사면에 수평인 편광된 요소
θ : 입사각

: 편광자 각

∥: 입사면과 편광자사이의 교차선의 방향에 대한 각도

_⊥=

∥+ 90°

도 5 는 합성 예의 결과를 보여준다. [수식 4], [수식 5], [수식 6]을 채택하여, 입력 이미지들은 지상 실측 정보 θ,

_⊥,

₁를 가지고 지상 실측 정보 레이어들로부터 합성되었다. 공급물질들 내의 이러한 변수들의 지상 검증 값들을 정하는 방법에 대해 기술되고, 이 방법은 지상 검증 자료에 가까운 분리 결과들을 만들었다. 각 레이어의 제곱평균 오차값(RMSE)을 계산함으로써, 양적으로 본 특허에서 고안한 방법을 다른 방법들과 비교하는데, 이는 가정된 레이어와 이것의 지상 검증자료 사이의 차이를 수량화하는 것에 의해, 본 방법의 결과들이 기존의 다른 방법들의 결과보다 더 낮은 제곱평균 오차값들(RMSE)을 보여주었다. 시각적인 품질을 비교하면, 분리결과는 그것들의 실측 정보 레이어와 거의 유사해 보였다. 한편으로는, 기존의 방법들을 통한 결과들은 다른 레이어들로 부터의 약한 가장자리와 부자연스러운 단절들이 기존의 일부방식의 결과에서 관찰되었다. 도 5 의 (a) 는 본 발명의 결과들이며, 도 4 의 (b) 는 기존방법에 의한 결과의 한 예이며, 도 5 의 (c) 는 기존방법에 의한 결과의 한 예이며, 도 5 의 (d) 는 기존방법에 의한 결과의 한 예이며, 도 5 의 (e) 는 기존방법에 의한 결과의 한 예 (f) 입력 이미지들. (g) 지상실측정보 L_B 에서L_R(좌에서 우로)

도 6 은 실제의 한 예의 결과들을 보여준다. 합성된 예들에 유사하게, 본 발명은 지속적으로 보다 나은 결과들을 산출했다. 다른 방법들의 결과에 비해서 시작 품질에 대하여 보다 나은 결과들을 지속적으로 산출했다. 도 6 에서 (a)본 발명의 결과들 (b)기존방법에 의한 결과의 한 예 (c) 기존방법에 의한 결과의 한 예 (d) 기존방법에 의한 결과의 한 예 (e) 기존방법에 의한 결과의 한 예 (f) 입력이미지들. (a)-(e)에서, 첫 번째 열은 배경 레이어들을 보여준다.

다음에, 이미지에-기초한 방법의 결과들과 본 발명의 물리적으로-기초한 방법의 결과들을 비교하였다. 도 7 은 도 6 에서의 실제 예를 사용하여 이러한 비교를 나타낸다. 강건성 테스트들로부터의 본 발명에서 제시한 방법의 결과들은 제곱평균 오차값(RMSE)에서의 매우 작은 변화들과 거의 없는 시각적 차이들을 보여주었다,

도 8 의 (a) 는 각도의 작은 변화들을 변화시킴에 의해서 각 레이어의 제곱평균 오차값 (RMSE)들을 나타낸다. 도 8 의 (b) 는 가장 큰 각도의 작은 변화(+10°)에 대한 추정된 레이어들을 보여준다. 도 8 의 (a) [-10°,+10°]의 범위를 갖는

와

의 각 변화에 대한 평균 RMSEs, (b) 도 5 의 예에 대하여 가장 큰 각 변화(+10°)를 갖는 결과, (c) [1.4,1.6]내의 범위를 갖는 반사 지수에 대한 두 개의 예들에 걸쳐 L_B와 L_R 에 대한 평균 RMSEs, (d) 도 5 에서의 예에 대한 지수 1.6을 갖는 결과들.

동일한 예에 대하여, 본 발명에서는 또한 굴절률에서의 에러에 대한 감도 테스트를 수행하였다. 도 8 의 (c) 는 1.4에서 1.6까지 굴절률을 변화시킴에 의해서 가정되는 각 레이어의 평균 RMSE를 나타낸다. 여기서 입력 이미지들은 굴절률을 1.471로 정함에 의해서 발생되었다. 도 8 의 (d)는 가장 큰 에러를 갖는 굴절률에 대한 결과를 보여준다(1.6). 이러한 결과들은 본 발명에서 제시한 방법이 편광자 각도와 굴절률에서의 작은 변화들에 강건하다는 것을 뒷받침한다.

본 발명에서 편광의 물리적 특성들에 기초한 반사 분리 방법을 제안하였다. 일련의 세 개의 편광된 이미지들이 주어지고, 이때 각각의 이미지는 45도씩 떨어진 다른 편광자 각을 갖고 캡처된, 본 방법에서 반사와 배경 레이어들의 고품질 분리를 만들어 낸다. 본 발명에서 이와 같이 하나의 입력 이미지에 대해 두 개의 레이어들의 공간적으로-변화하는 혼합 계수(즉, 알파 매트들)를 추정하기 위하여 물리적으로-기초한 반사 모델을 유도하였다.

상기 모델 상에, 완전하게 자동인 반사 분리를 위한 알고리즘을 제안하였다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만, 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

(a) 일정 각도씩 떨어진 편광각으로 각각 캡처된 세 개의 편광된 이미지들로부터 한 쌍의 직교 이미지들을 추출하는 단계;
(b) 공간적으로-변화하는 입사각을 가정함으로써 상기 직교 이미지들 각각으로부터 반사 레이어와 배경 레이어를 분리하는 단계;
(c) 멀티-스케일의 제약된 최적화를 적용함으로써 상기 반사 레이어와 배경 레이어를 정제하는 단계; 및
(d) 상기 (c) 단계를 통해 정제된 반사 레이어와 배경 레이어 상에 잔류하는 가장자리 제거 처리 단계;를 포함하는 물리적 기반의 반사 분리에 의한 획득 이미지 품질 개선 방법.
제 1 항에 있어서,
상기 (b) 단계는,
[수식 13] 및 [수식 14] 를 이용하여 입사각 θ(x)을 가정함에 의해서 이미지를 반사 레이어 L_R과 배경 레이어 L_B로 분리하고, [수식 13] 및 [수식 14] 와 같이 L_B 와 L_R 이 입사각 θ 에 대한 함수로 나타내어지므로, L_B 와 L_R 간 이미지 컨텐츠가 통계학적으로 독립이라는 가정 하에 상호정보(Mutual Information)가 최소화되는 입사각 θ 를 선택하며, 국지적으로 변화하는 입사각을 구할 수 있도록, 빌리프 프라퍼게이션(Belief Propagation)을 이용하여 패치 기반으로 확장하되, 매 픽셀 주변의 작은 패치 안에서는 입사각이 불변한다고 가정하고, 모든 픽셀에서 계산된 입사각이 이미지 내에서 변화하도록 최대 확률 문제를 형식화하고 빌리프 프라퍼게이션(Belief Propagation)을 사용하여 해결하는 것을 특징으로 하는 물리적 기반의 반사 분리에 의한 획득 이미지 품질 개선 방법.
[수식 13]

[수식 14]

여기서, L_R 은 유리표면으로부터 떨어져 반사되는 장면으로부터의 빛의 강도, L_B 는 유리 뒤의 배경 장면으로부터의 빛의 강도, R_⊥는 반사된 빛의 수직인 편광요소, R_∥는 반사된 빛의 수평인 편광요소, I_∥는 반사광과 투과광에서 수평 요소들에 대한 강도의 합, I_⊥는 반사광과 투과광에서 수직 요소들에 대한 강도의 합, θ 는 입사각.
제 1 항에 있어서,
상기 (c) 단계는,
상기 (b) 단계의 결과들의 품질을 개선하기 위하여, α_i 와 (L_R,,L_B)를 정제하기 위하여 [수식 17] 로 주어진 목적함수를 최소화하는 것을 특징으로 하는 물리적 기반의 반사 분리에 의한 획득 이미지 품질 개선 방법.
[수식 17]

여기서, I_i(x) 는 이미지 함수, α 는 혼합 계수, α' 는 추정 혼합 계수, λ_c 는 가중 파라미터, λ_s는 가중 파라미터, L_R 은 유리표면으로부터 떨어져 반사되는 장면으로부터의 빛의 강도, L_B 는 유리 뒤의 배경 장면으로부터의 빛의 강도.
제 1 항에 있어서,
상기 (d) 단계는,
[수식 18] 로 주어진 크로스-프로젝션 텐서를 채택하고, L_R 혹은 L_B 에서의 참 엣지는 다른 레이어에서의 대응하는 거짓 엣지보다 큰 그라디언트 매그니튜드를 갖는다고 가정하고, L_R(x)에 대한 크로스-프로젝션 텐서 D_R(x)는 L_R(x)에 참 엣지가 존재할 때 μ₁ = 1, μ₂ = 1 로 설정하고, L_R(x)와 L_B(x) 모두 엣지가 있고, L_R(x)에서의 Y채널 그라디언트 매그니튜드가 L_B(x)에서의 그것보다 작을 때 μ₁ = 0, μ₂ = 1 로 설정하고, L_R(x)에 엣지가 없을 때 μ₁ = 0, μ₂ = 0 로 설정하며, 대칭적으로, L_B(x)에 대한 크로스-프로젝션 텐서 D_B(x)가 정의되는 것을 특징으로 하는 물리적 기반의 반사 분리에 의한 획득 이미지 품질 개선 방법.
[수식 18]

여기서, v₁ , v₂ 는 평활화된 구조 텐서의 대소 각각의 고유한 벡터, μ₁ μ₂ 는 엣지 관계 상수
제 1 항에 있어서,
상기 (b) 단계에서,
편광 현상에 관한 물리 법칙을 분석하여, [수식 1] 과 같이, 반사가 섞인 이미지가 매 픽셀(x) 마다 반사 레이어 (
) 와 배경 레이어 (
) 가 [수식 20] 으로 주어진 반사 계수에 의해 선형 결합된 형태로 나타내어지고 반사 계수는 이미지 내에서 국지적으로 변화하는 것을 특징으로 하는 물리적 기반의 반사 분리에 의한 획득 이미지 품질 개선 방법.
[수식 1]

[수식 20]

R : 유리 표면으로부터 반사된 빛의 상대적 강도를 나타내는 반사율
R_⊥: R의 입사면에 수직인 편광된 요소
R_∥: R의 입사면에 수평인 편광된 요소
θ : 입사각

: 편광자 각

∥: 입사면과 편광자사이의 교차선의 방향에 대한 각도

_⊥=
∥+ 90°
제 1 항에 있어서,
상기 (b) 단계에서,
처리할 이미지의 크기에 비례하여 이미지 히스토그램 출력작업과 빌리프 프라퍼게이션(Belief Propagation)에 의해 증가하는 처리시간을 단축하기 위하여, 최저 스케일 팩터를 갖는 이미지들에 대해 빌리프 프라퍼게이션(Belief Propagation)을 수행하는 것을 특징으로 하는 물리적 기반의 반사 분리에 의한 획득 이미지 품질 개선 방법.
제 1 항 또는 제 6 항에 있어서,
상기 (c) 단계에서,
다수의 스케일 팩터(scale factor)를 갖는 이미지들에 대해 최적화를 수행하고 입력 이미지의 가우시안 피라미드들에 기초한 멀티-스케일 반사 분리 방법을 채택하여 처리속도를 단축하게 하는 것을 특징으로 하는 물리적 기반의 반사 분리에 의한 획득 이미지 품질 개선 방법.
삭제