KR20130098109A - 가시성 에너지 모델을 이용한 변이 추정 장치 및 방법 - Google Patents

가시성 에너지 모델을 이용한 변이 추정 장치 및 방법 Download PDF

Info

Publication number
KR20130098109A
KR20130098109A KR1020120031834A KR20120031834A KR20130098109A KR 20130098109 A KR20130098109 A KR 20130098109A KR 1020120031834 A KR1020120031834 A KR 1020120031834A KR 20120031834 A KR20120031834 A KR 20120031834A KR 20130098109 A KR20130098109 A KR 20130098109A
Authority
KR
South Korea
Prior art keywords
energy
image
visibility
disparity
map
Prior art date
Application number
KR1020120031834A
Other languages
English (en)
Other versions
KR101882421B1 (ko
Inventor
정영주
이호영
김지원
박두식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/771,951 priority Critical patent/US9070196B2/en
Priority to JP2013037311A priority patent/JP2013176052A/ja
Priority to CN201310061504.XA priority patent/CN103295223B/zh
Publication of KR20130098109A publication Critical patent/KR20130098109A/ko
Application granted granted Critical
Publication of KR101882421B1 publication Critical patent/KR101882421B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

가시성 에너지 모델에 기초한 변이 추정 장치 및 방법이 개시된다. 변이 추정 장치는 스테레오 이미지를 구성하는 왼쪽 이미지와 오른쪽 이미지 각각의 스테레오 매칭과 관련된 에너지를 계산하는 에너지 계산부; 상기 에너지를 이용하여 왼쪽 이미지와 오른쪽 이미지 간 변이(disparity)의 오류를 판단하기 위한 가시성 맵(Visibility Map)을 생성하는 맵 생성부; 상기 가시성 맵에서 가시성 에러가 존재하는 영역에 대해 에너지를 재계산하는 에너지 재계산부; 및 상기 왼쪽 이미지와 오른쪽 이미지의 최종적인 에너지를 이용하여 스테레오 이미지로부터 변이를 결정하는 변이 결정부를 포함할 수 있다.

Description

가시성 에너지 모델을 이용한 변이 추정 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATION DISPARITY USING VISIBILITY ENERGY MODEL}
본 발명의 일실시예들은 변이 추정 장치 및 방법에 관한 것으로, 보다 구체적으로는 다이내믹 프로그램을 활용한 에너지 모델에 기초하여 스테레오 이미지에서 변이를 추정하는 장치 및 방법에 관한 것이다.
3차원 영상을 생성하기 위해서는 컬러 영상에서 깊이 정보를 복원하는 것이 필요하다. 특히, 스테레오 이미지와 같이 2개의 이미지(왼쪽 이미지와 오른쪽 이미지)에서 깊이 정보를 복원하는 기술이 연구되고 있다. 깊이 정보를 복원하기 위해서는 왼쪽 이미지와 오른쪽 이미지 간의 변이를 추출하는 것이 필요하다.
종래의 경우, 이미지의 모든 영역에 대해 동일한 에너지 모델을 적용함으로써 폐색 영역에서는 변이를 추출하는 것이 어렵다. 왜냐하면, 폐색 영역은 왼쪽 이미지와 오른쪽 이미지 간에 매칭되는 영역이 존재하지 않기 때문이다.
따라서, 왼쪽 이미지와 오른쪽 이미지 간에 매칭 포인트가 존재하지 않는 폐색 영역에서도 보다 정확한 변이를 추출하는 것이 필요하다.
본 발명의 일실시예에 따른 변이 추정 장치는 스테레오 이미지를 구성하는 왼쪽 이미지와 오른쪽 이미지 각각의 스테레오 매칭과 관련된 에너지를 계산하는 에너지 계산부; 상기 에너지를 이용하여 왼쪽 이미지와 오른쪽 이미지 간 변이(disparity)의 오류를 판단하기 위한 가시성 맵(Visibility Map)을 생성하는 맵 생성부; 상기 가시성 맵에서 변이의 오류로 인해 가시성 에러가 존재하는 영역에 대해 에너지를 재계산하는 에너지 재계산부; 및 상기 왼쪽 이미지와 오른쪽 이미지의 최종적인 에너지를 이용하여 스테레오 이미지로부터 변이를 결정하는 변이 결정부를 포함할 수 있다.
본 발명의 다른 실시예에 따른 변이 추정 장치는 스테레오 이미지를 구성하는 왼쪽 이미지와 오른쪽 이미지 각각의 스테레오 매칭과 관련된 에너지를 병렬적으로 계산하는 에너지 계산부; 상기 에너지를 이용하여 왼쪽 이미지와 오른쪽 이미지 간 변이(disparity)의 오류를 판단하기 위한 가시성 맵(Visibility Map)을 생성하는 맵 생성부; 상기 왼쪽 이미지와 오른쪽 이미지 각각의 가시성 맵에서 변이의 오류로 인해 가시성 에러가 존재하는 영역에 대해 에너지를 재계산하는 에너지 재계산부; 및 상기 왼쪽 이미지와 오른쪽 이미지의 최종적인 에너지를 이용하여 로컬 매칭을 수행하고, 로컬 매칭된 스테레오 이미지로부터 변이를 결정하는 변이 결정부를 포함할 수 있다.
본 발명의 일실시예에 따른 변이 추정 방법은 스테레오 이미지를 구성하는 왼쪽 이미지와 오른쪽 이미지 각각의 스테레오 매칭과 관련된 에너지를 계산하는 단계; 상기 에너지를 이용하여 왼쪽 이미지와 오른쪽 이미지 간 변이(disparity)의 오류를 판단하기 위한 가시성 맵(Visibility Map)을 생성하는 단계; 상기 가시성 맵에서 변이의 오류로 인해 가시성 에러가 존재하는 영역에 대해 에너지를 재계산하는 단계; 및 상기 왼쪽 이미지와 오른쪽 이미지의 최종적인 에너지를 이용하여 스테레오 이미지로부터 변이를 결정하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 변이 추정 방법은 스테레오 이미지를 구성하는 왼쪽 이미지와 오른쪽 이미지 각각의 스테레오 매칭과 관련된 에너지를 병렬적으로 계산하는 단계; 상기 에너지를 이용하여 왼쪽 이미지와 오른쪽 이미지 간 변이(disparity)의 오류를 판단하기 위한 가시성 맵(Visibility Map)을 생성하는 단계; 상기 왼쪽 이미지와 오른쪽 이미지 각각의 가시성 맵에서 변이의 오류로 인해 가시성 에러가 존재하는 영역에 대해 에너지를 재계산하는 단계; 상기 왼쪽 이미지와 오른쪽 이미지의 최종적인 에너지를 이용하여 로컬 매칭을 수행하고, 로컬 매칭된 스테레오 이미지로부터 변이(disparity)를 결정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따르면, 가시성 에러를 발생시키는 영역에 대해 새로운 에너지 모델을 구성하고, 가시성 에러가 발생하는 폐색 영역에서는 에너지 모델의 매칭 비용보다 스무딩 비용에 우선적으로 적용하여 폐색 영역에 대해 보다 정확하게 변이를 추출할 수 있다.
도 1은 본 발명의 일실시예에 따른 변이 추정 장치를 도시한 블록 다이어그램이다.
도 2는 본 발명의 일실시예에 따른 스테레오 매칭을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 다이내믹 프로그래밍을 이용하여 추정된 변이맵을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 도 1의 변이 추정 장치의 에너지 계산부를 구체화한 블록 다이어그램이다.
도 5는 본 발명의 일실시예에 따라 포워드 방향으로 에너지를 계산하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따라 포워드 방향과 백워드 방향을 동시에 고려하여 에너지를 계산하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 도 1의 맵 생성부를 구체화한 블록 다이어그램이다.
도 8은 본 발명의 일실시예에 따른 도 7의 맵 결정부를 구체화한 블록 다이어그램이다.
도 9는 본 발명의 일실시예에 따른 도 1의 에너지 재계산부를 구체화한 블록 다이어그램이다.
도 10은 본 발명의 일실시예에 따른 포워드 방향의 에너지를 이용하여 도출된 변이 맵을 도시한 도면이다.
도 11은 본 발명의 일실시예에 따른 백워드 방향의 에너지를 이용하여 도출된 변이 맵을 도시한 도면이다.
도 12는 본 발명의 일실시예에 따른 포워드 방향과 백워드 방향을 동시에 고려한 변이 맵과 다이내믹 프로그래밍의 최적화 방식을 이용한 변이 맵을 도시한 도면이다.
도 13은 본 발명의 일실시예에 따른 가시성 맵의 유효한 영역과 무효한 영역을 설명하기 위한 도면이다.
도 14는 본 발명의 일실시예에 따른 다이내믹 프로그래밍의 에너지를 이용한 로컬 매칭을 설명하기 위한 도면이다.
도 15는 본 발명의 일실시예에 따른 변이 추정 방법을 도시한 플로우차트이다.
도 16은 본 발명의 일실시예에 따른 로컬 매칭을 활용한 변이 추정 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 변이 추정 장치를 도시한 블록 다이어그램이다.
도 1을 참고하면, 변이 추정 장치(100)는 에너지 계산부(101), 맵 생성부(102), 에너지 재계산부(103) 및 변이 결정부(104)를 포함할 수 있다. 본 발명의 일실시예에 따른 변이 추정 장치(100)는 왼쪽 이미지와 오른쪽 이미지 간 변이(disparity)의 오류를 판단하기 위한 가시성(Visibility)를 이용하여 보다 정확한 깊이(Depth)를 복원할 수 있다. 특히, 변이 추정 장치(100)는 폐색 영역(Occlusion) 및 변이 추정 에러 영역과 같이 가시성 에러가 발생하는 영역에 대해 매칭 비용(matching cost)보다 스무딩 비용(smoothness cost)에 우선적으로 적용함으로써 에너지 모델에 기초하여 보다 정밀하게 변이를 추정할 수 있다. 이 때, 변이 추정 장치(100)는 다이내믹 프로그래밍(Dynamic Programing)에 기초한 에너지 모델링 방법을 활용할 수 있다.
에너지 계산부(101)는 스테레오 이미지를 구성하는 왼쪽 이미지와 오른쪽 이미지 각각의 에너지를 계산할 수 있다. 에너지 계산부(101)에 대해서는 도 4에서 보다 구체적으로 설명하기로 한다. 여기서, 왼쪽 이미지와 오른쪽 이미지는 컬러 이미지이고, 에너지는 스테레오 매칭과 관련된다.
맵 생성부(102)는 에너지를 이용하여 왼쪽 이미지와 오른쪽 이미지 간 변이(disparity)의 오류를 판단하기 위한 가시성 맵(Visibility Map)을 생성할 수 있다. 맵 생성부(102)에 대해서는 도 7 내지 도 8에서 보다 구체적으로 설명하기로 한다.
에너지 재계산부(103)는 가시성 맵에서 변이의 오류로 인해 가시성 에러가 존재하는 영역에 대해 에너지를 재계산할 수 있다. 에너지 재계산부(103)에 대해서는 도 9에서 구체적으로 설명하기로 한다. 이 때, 가시성 에러가 존재하지 않는 영역에 대해서는 에너지가 재계산되지 않는다. 본 발명의 일실시예에 따르면, 가시성 에러가 존재하는 폐색 영역에서는 새로운 에너지 모델을 제시하며, 매칭 비용보다 스무딩 비용을 우선적으로 적용함으로써 폐색 영역에 대해 보다 정확하게 변이를 추정할 수 있다.
변이 결정부(104)는 왼쪽 이미지와 오른쪽 이미지의 최종적인 에너지를 이용하여 스테레오 이미지로부터 변이(disparity)를 결정할 수 있다. 여기서, 최종적인 에너지는 에너지 계산부(101)를 통해 도출된 에너지 또는 에너지 재계산부(103)를 통해 도출된 에너지를 의미한다.
도 2는 본 발명의 일실시예에 따른 스테레오 매칭을 설명하기 위한 도면이다.
스테레오 매칭은 다시점의 컬러 영상으로 깊이 영상을 복원하는 것을 의미한다. 스테레오 매칭은 왼쪽 이미지와 오른쪽 이미지로부터 깊이 영상을 복원하는 것이며, 다시점 이미지로부터 깊이 영상을 복원하는 것까지 확장되고 있다.
스테레오 매칭을 통해 깊이 영상을 복원하는 방법은 다음과 같다. 구체적으로, 서로 다른 시점의 이미지인 왼쪽 이미지와 오른쪽 이미지를 이용하여 동일한 3차원 포인트가 다시점 이미지에서 얼마만큼 떨어져 있는지를 매칭 포인트(matching point)를 찾음으로써 변이가 결정될 수 있다. 그러면, 결정된 변이를 이용하여 3차원 포인트의 깊이를 추정할 수 있다.
도 2를 참고하면, 스테레오 매칭은 왼쪽 이미지와 오른쪽 이미지와 같이 다른 시점의 이미지에서 동일한 3차원 포인트를 찾고, 왼쪽 이미지에 위치한 3차원 포인트와 오른쪽 이미지에 위치한 3차원 포인트 간의 거리인 변이를 추정할 수 있다.
스테레오 매칭을 통해 3차원 정보를 획득하는 방식은 글로벌 방식과 로컬 방식이 있다. 글로벌 방식은 이미지의 모든 픽셀을 노드로 설정하고, 각각의 노드에서 4개의 이웃 픽셀이 존재하는 영역을 가정한다. 그러면, 글로벌 방식은 4개의 이웃 픽셀이 존재하는 영역에서 최적의 변이를 찾는다. 로컬 방식은 이미지 전체를 고려하지 않고 이미지의 로컬 영역에서 가장 매칭이 잘되는 변이를 추출하는 것이다.
<에너지 계산(Energy Calculation)>
글로벌 방식을 이용하여 스테레오 매칭을 수행하기 위해서는 에너지를 계산할 필요가 있다. 에너지는 각각의 픽셀에 가능한 변이가 할당되었을 때의 비용(cost)으로 설명된다. 구체적으로, 가로 픽셀수 w와 세로 픽셀수 h 및 가능한 변이 개수 d의 스테레오 이미지가 입력될 때, w*h*d에 대응하는 비용이 도출가능한 솔루션(solution)의 경우의 수가 된다. 글로벌 방식에 따르면, 이러한 솔루션 중에서 가장 작은 값에 대응하는 변이가 추정될 수 있다. 즉, w*h*d에 대응하는 모든 경우의 수를 계산하지 않고, 가장 작은 값을 선택하는 기법이 글로벌 방식에 기초한 최적화 방법이다.
이미지 전체를 동시에 최적화시키기 위해서는 인접 픽셀뿐만 아니라 떨어진 픽셀까지 고려되어야 한다. 그러나, 앞서 설명하였듯이 4개의 이웃 픽셀이 존재하는 영역의 에너지를 정의하면, 하기 수학식 1과 같이 에너지가 계산될 수 있다.
Figure pat00001
수학식 1은 스테레오 매칭을 위한 글로벌 에너지 모델을 의미한다. 수학식 1에서, E(d)는 글로벌 에너지로서, 특정 픽셀과 관련된 에너지
Figure pat00002
와 특정 픽셀의 주변에 위치한 이웃 픽셀과 관련된 에너지
Figure pat00003
를 이용하여 결정된다. 구체적으로,
Figure pat00004
는 왼쪽 이미지에서의 특정 픽셀과 오른쪽 이미지에서의 특정 픽셀 간의 컬러 차이 또는 변이 차이로 결정된다. 그리고,
Figure pat00005
는 왼쪽 이미지에서 특정 픽셀의 주변에 위치한 이웃 픽셀들과 오른쪽 이미지에서 특정 픽셀의 주변에 위치한 이웃 픽셀들 간의 컬러 또는 변이 차이로 결정된다. 여기서, d는 왼쪽 이미지와 오른쪽 이미지 간의 변이를 의미한다. 이러한 글로벌 에너지는 절대값 차이(absolute difference), 합계 절대값 차이(sum absolute difference)로 결정될 수 있다. 수학식 1에서,
Figure pat00006
는 특정 픽셀에 인접한 이웃 픽셀들은 유사한 변이를 가져야 하는 것을 의미한다.
<다이내믹 프로그래밍(Dynamic Programing)>
다이내믹 프로그래밍의 최적화 방식은 모든 변수들을 동시에 처리하지 않고, 각각을 순차적인 서브 문제(sub problem)를 만들어 그 서브 문제를 최소화하는 최적값을 찾는 것이다.
Figure pat00007
수학식 2-(1)은 다이내믹 프로그램을 이용하여 에너지를 최소화하는 방법을 나타낸다. 변수
Figure pat00008
들의 분포를 나타내는 에너지
Figure pat00009
의 최소값을 찾기 위해서는 아무런 풀이(solver)가 없는 경우, 모든 변수들
Figure pat00010
가 만들 수 있는 모든 에너지를 계산한 후에 가장 작은 값이 선택되어야 한다.
이러한 방법은 변수와 변수가 갖을 수 있는 범위에 따라 계산량이 기하급수적으로 많아진다. 이러한 문제를 해결하기 위해 글로벌 방식에서의 다이내믹 프로그래밍은 모든 값을 대입하여 에너지를 최소화하는 값을 찾지 않는다. 구체적을, 다이내믹 프로그래밍은 수학식 2-(1)처럼 모든 변수의 에너지를 각각의 에너지로 처리하는 것이 하니라, 수학식 2-(2)과 같은 서브 문제를 푼다.
수학식 2-(2)는 순차적으로 이루어지는 서브 문제의 최소값과 최소값을 만드는 전의 변수들
Figure pat00011
의 에너지값을 저장하는 단계를 나타낸다. 마지막으로 수학식 2-(3)과 같이 각각의 단계를 최소화하는 변수로 수학식 2-(2)의 서브 문제의 최소값을 추적해 나가면, 수학식 2-(1)의
Figure pat00012
를 최소화 시킬 수 있는 글로벌 최적화 결과가 도출될 수 있다.
<다이내믹 프로그래밍을 이용한 스테레오 매칭>
수학식 2를 수학식 1에 적용하면 하기 수학식 3과 같다.
Figure pat00013
수학식 3에서 P(x,y)는 특정 픽셀을 의미하고, P(x-1, y)는 특정 픽셀에서 변이 di만큼 떨어진 이웃 픽셀을 의미한다. di는 특정 픽셀과 이웃 픽셀 간의 변이로서 최대값은 d가 된다. 이미지에 포함된 각각의 픽셀이 수학식 2의 변수가 되고, 변수는 변이 범위(Disparoty Range) 내에서 어떤 값이든 가질 수 있다. 스테레오 매칭의 서브 문제에서는 특정 픽셀 p(x)와 이전에 위치한 이웃 픽셀 p(x-1)의 변수를 에너지 함수인 수학식 2-(3)를 최소화 시킬 수 있는 픽셀 p(x-1)의 변이와 에너지를 구할 수 있다. 이러한 방법으로 수학식 2-(3)를 이용하여 이미지의 처음 픽셀부터 마지막 픽셀까지의 모든 픽셀들에 대해 각각의 변이와 에너지를 결정함으로써 이미지 전체를 최소화시키는 각각의 픽셀의 변이가 도출될 수 있다.
도 3은 본 발명의 일실시예에 따른 다이내믹 프로그래밍을 이용하여 추정된 변이맵을 도시한 도면이다.
앞서 설명한 다이내믹 프로그래밍을 이용하면 글로벌 방식을 단순화할 수 있지만, 다이내믹 프로그래밍은 이미지 전체를 순차적인 서브 문제로 나눌 때 이웃 픽셀은 하나만 존재해야 한다.
그러면, 다이내믹 프로그래밍을 스테레오 매칭에 적용시키기 위해서는 매칭을 스캔 라인 단위로 실행시킬 필요가 있다. 이러한 스캔 라인 단위의 스테레오 매칭에 의하면, 도 3과 같이 아티팩트가 발생하는 변이 맵이 도출될 수 있다.
이를 위해, 본 발명의 일실시예에 따르면, 다이내믹 프로그래밍을 적용하면서도 아티팩트를 제거할 수 있는 방안을 제공한다.
도 4는 본 발명의 일실시예에 따른 도 1의 변이 추정 장치의 에너지 계산부를 구체화한 블록 다이어그램이다.
도 4를 참고하면, 에너지 계산부(101)는, 제2 에너지 계산부(402) 및 에너지 병합부(403)를 포함할 수 있다.
제1 에너지 계산부(401)는 왼쪽 이미지와 오른쪽 이미지 각각에 대해 포워드 방향의 에너지를 계산할 수 있다. 제2 에너지 계산부(402)는 왼쪽 이미지와 오른쪽 이미지 각각에 대해 백워드 방향의 에너지를 계산할 수 있다. 이 때, 제1 에너지 계산부(401)와 제2 에너지 계산부(402)는 상기 수학식 3을 이용하여 에너지를 계산할 수 있다. 이 때, 제1 계산부(401)는 도 5와 같이 포워드 방향으로 에너지를 계산할 수 있으며, 제2 계산부(402)는 도 5와 동일한 방식에 따라 백워드 방향으로 에너지를 계산할 수 있다. 앞서 설명하였듯이, 에너지는 스테레오 매칭과 관련되며, 왼쪽 이미지와 오른쪽 이미지에 존재하는 픽셀들 간의 변이 또는 컬러 차이로 결정된다.
에너지 병합부(403)는 포워드 방향의 에너지와 백워드 방향의 에너지를 병합할 수 있다. 에너지 병합부(403)는 도 6과 같이 가로 라인의 다이내믹 프로그래밍으로 에너지를 구할 수 있다. 이 때, 최종적으로 병합된 에너지는 하기 수학식 4로 계산될 수 있다.
Figure pat00014
수학식 4에서, E(p(x,y), d)는 특정 픽셀 p(x,y)과 특정 픽셀 p(x,y)의 변이 d에 기초한 에너지를 의미한다. 그리고, Ef(p(x,y), d)는 특정 픽셀 p(x,y)에 대해 특정 픽셀 p(x,y)과 이웃 픽셀 p(x-1, y)에 기초한 포워드 방향의 에너지를 의미하고, Eb(p(x,y), d)는 특정 픽셀 p(x,y)에 대해 특정 픽셀 p(x,y)과 이웃 픽셀 p(x+1, y)에 기초한 백워드 방향의 에너지를 의미한다. di는 특정 픽셀과 이웃 픽셀 간의 변이로서 최대값은 d가 된다.
이미지에 포함된 각각의 픽셀 p(x,y)은 변이 범위 d만큼 변동 가능한 변수 di가 포함되어 있고, 변수 di에는 수학식 3에 따라 도출된 최소 에너지가 할당될 수 있다. 여기서, 수학식 2-(2)를 이용하지 않는다면,
Figure pat00015
를 만족시키는 d값이
Figure pat00016
변수의 변이가 된다.
수학식 3은 한쪽 방향의 에너지 비용만 계산하는데, 이 경우 변이가 급격히 변하는 영역에서 Smoothness term에 의한 에러가 발생할 수 있다. 여기서, 에러는 도 10과 도 11의 원모양의 영역을 의미한다. 이를 위해, 본 발명의 일실시예에 따르면, 수학식 4와 같이 특정 픽셀에 대해 포워드 방향의 에너지와 백워드 방향의 에너지가 병합된 결과가 다이내믹 프로그래밍(Dynamic Programing)의 에너지 비용(Energy cost)으로 활용될 수 있다. 여기서, 도 10은 포워드 방향에 따라 도출된 변이를 나타내고, 도 11은 백워드 방향에 따라 도출된 변이를 나타낸다. 도 12는 다이내믹 프로그래밍의 최적화로 구한 변이 맵(Disparity Map)과 포워드 방향의 에너지 및 백워드 방향의 에너지 합인 수학식 4로 도출된 변이를 나타낸다. 즉, 도 12를 참고하면, 도 10과 도 11에서 나타나던 에러인 아티팩트(artifact)가 발생하지 않는 것을 알 수 있다.
도 7은 본 발명의 일실시예에 따른 도 1의 맵 생성부를 구체화한 블록 다이어그램이다.
스테레오 매칭에서 글로벌 에너지를 구한 후에 가시성 에러가 발생하는 영역의 에너지를 다시 계산하기 위해서 에러가 발생하는 영역을 명시할 필요가 있다. 에러가 발생하지 않는 영역의 에너지는 최적화된 것이므로 그대로 사용된다. 가시성 맵에서의 에러를 도출하기 위해서는 왼쪽 이미지와 오른쪽 이미지의 초기 변이를 계산할 필요가 있다. 그 후에 가시성 체크를 통해 에러가 발생하는 영역을 식별할 수 있다. 가시성 맵은 변이의 오류를 판단하기 위해 활용된다. 폐색 영역으로 인해 변이의 오류가 발생하면, 가시성 에러가 존재한다고 판단된다. 이 때, 변이의 오류는 온(ON)/오프(OFF)로 구분될 수 있다.
도 7을 참고하면, 맵 생성부(102)는 초기 변이 계산부(701) 및 맵 결정부(702)를 포함할 수 있다.
초기 변이 계산부(701)는 왼쪽 이미지와 오른쪽 이미지의 에너지를 이용하여 상기 왼쪽 이미지와 오른쪽 이미지 각각의 초기 변이를 계산할 수 있다. 구체적으로, 초기 변이 계산부(701)는
Figure pat00017
을 이용하여 왼쪽 이미지와 오른쪽 이미지 각각의 초기 변이를 계산할 수 있다.
맵 결정부(702)는 왼쪽 이미지와 오른쪽 이미지 각각의 초기 변이를 이용하여 왼쪽 이미지와 오른쪽 이미지 각각의 가시성 맵을 결정할 수 있다. 맵 결정부(702)에 대해서는 도 8에서 보다 구체적으로 설명하기로 한다.
도 8은 본 발명의 일실시예에 따른 도 7의 맵 결정부를 구체화한 블록 다이어그램이다.
도 8을 참고하면, 맵 결정부(702)는 제1 맵 결정부(801) 및 제2 맵 결정부(802)를 포함할 수 있다.
제1 맵 결정부(801)는 오른쪽 이미지의 초기 변이를 이용하여 왼쪽 이미지에 대한 가시성 맵을 결정할 수 있다. 반대로, 제2 맵 결정부(802)는 왼쪽 이미지의 초기 변이를 이용하여 오른쪽 이미지에 대한 가시성 맵을 결정할 수 있다. 일례로, 제1 맵 결정부(801)와 제2 맵 결정부(802)는 하기 수학식 6에 따라 가시성 맵을 결정할 수 있다.
Figure pat00018
수학식 6에서
Figure pat00019
은 왼쪽 이미지에서의 변이를 나타내고,
Figure pat00020
은 오른쪽 이미지에서의 변이를 나타낸다. 수학식 6에서, (1)은 왼쪽 이미지와 오른쪽 이미지가 서로 매칭되는 영역을 나타내고, (2)는 왼쪽 이미지와 오른쪽 이미지가 서로 매칭되지 않는 영역인 폐색 영역(occlusion area)을 의미한다.
즉, 왼쪽 이미지와 오른쪽 이미지가 매칭되는 경우, 수학식 6의 (1)과 같이 왼쪽 이미지에서 제1 픽셀의 변이와 상기 변이만큼 이동한 위치에 대응하는 오른쪽 이미지에서 제2 픽셀의 변이는 같아야 한다. 그리고, 왼쪽 이미지의 폐색되지 않는 영역(Disocclusion Area)은 오른쪽 이미지에서 전경에 의해 가려진 영역이다. 그러므로, 왼쪽 이미지의 폐색되지 않은 영역의 변이만큼 이동한 위치에 대응하는 픽셀을 오른쪽 이미지에서 찾는 경우, 수학식 6의 (2)와 같이 오른쪽 이미지에서의 변이가 왼쪽 이미지에서의 변이보다 더 커야한다.
그러나, 수학식 6의 (2)와 다르게 왼쪽 이미지에서의 변이가 더 큰 경우 오른쪽 이미지에서 보야야 할 부분이지만 실제로 오른쪽 이미지에서 보이지 않으므로, 가시성 에러가 발생한 영역이라고 할 수 있다. 이 때, 도 13은 본 발명의 일실시예에 따른 가시성 맵의 유효한 영역(에러가 발생하지 않는 영역)과 무효한 영역(에러가 발생하는 영역)을 나타낸다. 앞서 설명하였듯이, 가시성 맵은 왼쪽 이미지와 오른쪽 이미지와 관련하여 변이의 오류를 판단하기 위해 활용된다.
도 9는 본 발명의 일실시예에 따른 도 1의 에너지 재계산부를 구체화한 블록 다이어그램이다.
도 9를 참고하면, 에너지 재계산부(103)는 확산 방향 결정부(901) 및 에너지 확산부(902)를 포함할 수 있다. 에너지 재계산부(103)는 가시성 맵에서 가시성 에러가 발생한 영역(VER: Visibility Error Region(VER))의 에너지를 재계산할 수 있다.
에너지 재계산부(103)는 하기 수학식 7에 따라 에너지를 재계산할 수 있다.
Figure pat00021
수학식 7은 수학식 1에 비해 visibility term인
Figure pat00022
가 추가된다. 스테레오 매칭에서는 왼쪽 이미지와 오른쪽 이미지 사이에 매칭이 되지 않는 폐색 영역이 존재할 수 있다. 수학식 1에 따르면, smoothness term인
Figure pat00023
로 인해서 픽셀 간의 컬러가 비슷하다면 특정 픽셀의 변이는 인접한 이웃 픽셀의 변이와 유사한 값을 가진다. 픽셀간 컬러가 크게 다르다면 특정 픽셀은 인접한 이웃 픽셀의 변이와 다른 값으로 할당하는 에너지 분포를 가진다. 그러나, smoothness term인
Figure pat00024
만으로 폐색 영역의 변이를 추정하는 것은 한계가 있으므로, 수학식 8에 따라 에너지를 재계산할 수 있다.
Figure pat00025
수학식 8은 가시성(visibility)을 고려하여 다이내믹 프로그래밍에 기초한 스테레오 매칭 함수(Stero matching function)을 나타낸다. 가시성은 이웃 픽셀 p(x-1,y) 또는 p(x+1, y)과 독립적이므로 특정 픽셀 p(x,y)에서만 고려된다.
확산 방향 결정부(901)는 왼쪽 이미지와 오른쪽 이미지 각각의 초기 변이를 이용하여 가시성 에러가 존재하는 영역에서 에너지의 확산 방향을 결정할 수 있다. 즉, 확산 방향 결정부(901)는 가시성 에러가 발생한 영역에 할당될 에너지의 전파 방향을 결정한다.
스테레오 매칭을 할 때 가시성 에러가 발생하는 영역은 폐색(Occlusion)영역과 에러(error) 영역이다. 폐색 영역은 왼쪽 이미지와 오른쪽 이미지 간에 매칭 포인트가 존재하지 않는 것이므로, 에너지 모델에서 data term 인 보다 smoothness term인 의 패널티(penalty)가 더 높아야 한다.
Figure pat00026
수학식 9는 Smoothness term인
Figure pat00027
의 패널티를 가시성 맵에서 에러가 발생하는 무효한 영역(invalid region)에서 조정하는 식을 나타낸다. d는 특정 픽셀 p에서 최대 변이를 의미하고, di는 변수에 해당하는 변이를 의미한다. V(p)는 가시성 맵에서 특정 픽셀 p의 유효성 여부를 나타낸다. 만약, V(p)가 1이면 가시성 맵에서 특정 픽실에 무효한 영역에 위치하는 것을 의미하고, V(p)가 0이면 가시성 맵에서 특정 픽셀이 유효한 영역에 위치하는 것을 의미한다. 특정 픽셀이 무효한 영역에 존재하는 경우 수학식 9에 따라 Smoothness term인
Figure pat00028
의 팩터(factor)를 더 높여서, 더 큰 패널티를 줄 수 있다.
그러나, 왼쪽 이미지와 오른쪽 이미지 간의 컬러 차이에 따라 Smoothness term인
Figure pat00029
에 패널티를 주는 것만으로 매칭 포인트를 찾을 수 없다. 이 때, 특정 픽셀에 인접한 이웃 픽셀의 컬러가 특정 픽셀의 컬러와 비슷하다면 인접한 이웃 픽셀에 특정 픽셀의 변이와 비슷한 변이를 할당하고(Type I), 특정 픽셀에 인접한 이웃 픽셀의 컬러가 특정 픽셀의 컬러와 다르다면 인접한 이웃 픽셀에 특정 픽셀의 변이와 다른 변이를 할당할 수 있다(Type II).
Figure pat00030
수학식 10에서 VER_width는 가시성 에러가 발생하는 무효한 영역(visibility error region)의 넓이를 의미한다.
Figure pat00031
은 가시성 에러가 발생한 무효한 영역에 대해 가로 방향의 시작점에 대응하는 왼쪽 픽셀의 변이이다.
Figure pat00032
은 가시성 에러가 발생한 무효한 영역에 대해 가로 방향의 끝 지점에 대응하는 오른쪽 픽셀의 변이이다. 수학식 10을 만족한다면, 무효한 영역은 Type I 이거나 Type II가 된다. 이 경우, 수학식 10을 만족하는 영역은 순서 제한(ordering constraint)이 만족되는 영역으로 배경 영역에서 에너지 확산을 수행할 수 있다. 만약, 수학식 10을 만족하지 않는 영역은 Type III로 오른쪽 방향과 왼쪽 방향으로 모두 에너지 확산을 수행할 수 있다.
즉, 수학식 10에 따르면, 확산 방향 결정부(901)는 가시성 에러가 존재하는 무효한 영역의 왼쪽 경계에 위치한 픽셀의 변이와 오른쪽 경계에 위치한 픽셀의 변이 간의 차이가 가시성 에러가 존재하는 영역의 넓이와 동일한 지 여부에 따라 에너지의 확산 방향을 결정할 수 있다.
에너지 확산부(902)는 가시성 에러가 존재하는 영역에서 대표 에너지를 결정하고, 대표 에너지에 기초한 에너지 확산을 수행할 수 있다. 즉, 에너지 확산부(902)는 전파될 에너지를 정하고, 에너지를 전파하는 방법을 결정한다.
일례로, 에너지 확산부(902)는 (i) 가시성 에러가 존재하는 영역의 왼쪽 경계에 위치한 픽셀의 왼쪽 픽셀, 또는 (ii) 가시성 에러가 존재하는 영역의 오른쪽 경계에 위치한 픽셀의 오른쪽 픽셀 중 적어도 하나를 대표 에너지로 설정하여 왼쪽 방향, 오른쪽 방향 또는 양방향 중 어느 하나의 방향으로 에너지 확산을 수행할 수 있다.
구체적으로, Type I의 경우, 에너지 확산부(902)는 가시성 에러가 발생한 영역의 왼쪽 시작 픽셀에서 한 픽셀 왼쪽에 위치한 픽셀의 에너지를 대표 에너지로 설정할 수 있다. 그러면, 에너지 확산부(902)는 수학식 8과 9에 따라 에너지를 다시 계산할 수 있다.
Type II의 경우, 에너지 확산부(902)는 가시성 에러가 발생한 영역의 오른쪽 끝 픽셀에서 한 픽셀 오른쪽에 위치한 픽셀의 에너지를 대표 에너지로 설정할 수 있다. 그러면, 에너지 확산부(902)는 수학식 8과 9에 따라 에너지를 다시 계산할 수 있다.
Type III의 경우, 에너지 확산부(902)는 (i) 가시성 에러가 발생한 영역의 왼쪽 시작 픽셀에서 한 픽셀 왼쪽에 위치한 픽셀의 에너지와 (ii)가시성 에러가 발생한 영역의 오른쪽 끝 픽셀에서 한 픽셀 오른쪽에 위치한 픽셀의 에너지를 모두 대표 에너지로 설정한다. 그러면, 에너지 확산부(902)는 왼쪽과 오른쪽 양방향에서 에너지 확산을 수행한 후, 두 에너지의 합으로 에너지를 다시 계산할 수 있다.
도 10은 본 발명의 일실시예에 따른 포워드 방향의 에너지를 이용하여 도출된 변이 맵을 도시한 도면이다. 그리고, 도 11은 본 발명의 일실시예에 따른 백워드 방향의 에너지를 이용하여 도출된 변이 맵을 도시한 도면이다.
도 10과 도 11에서 원 부분은 가시성 에러가 발생한 영역을 나타낸다. 도 10과 도 11의 경우 전경에서 배경으로 이동하는 경로에서 가시성 에러가 발생한다. 이 때, 수학식 4와 같이 포워드 방향과 백워드 방향이 서로 다르기 때문에 도 10과 도 11에서 볼 수 있듯이 에러가 발생하는 영역도 다르다.
도 12는 본 발명의 일실시예에 따른 포워드 방향과 백워드 방향을 동시에 고려한 변이 맵과 다이내믹 프로그래밍의 최적화 방식을 이용한 변이 맵을 도시한 도면이다.
도 12를 참고하면, 포워드 방향과 백워드 방향을 동시에 고려한 변이 맵과 다이내믹 프로그래밍의 최적화 방식을 이용한 변이 맵이 유사한 것을 알 수 있다. 그리고, 도 3에서 볼 수 있었던 아티팩트도 도 12에서 발생하지 않는 것을 확인할 수 있다.
도 14는 본 발명의 일실시예에 따른 다이내믹 프로그래밍의 에너지를 이용한 로컬 매칭을 설명하기 위한 도면이다.
도 14의 로컬 매칭은 왼쪽 이미지와 오른쪽 이미지의 에너지가 병렬적으로 도출된 후, 가시성 맵에서 생성되는 초기 변이가 왼쪽 이미지 및 오른쪽 이미지 간에 상호적으로 이용됨으로써 도출된다. 구체적으로, 왼쪽 변이 맵(left visibility disparity map)은 오른쪽 초기 변이에 기초하여 생성되고, 오른쪽 변이 맵(right visibility disparity map)은 왼쪽 초기 변이에 기초하여 생성된다. 이후에, 가시성 에러가 발생하는 무효한 영역에서 에너지를 재계산할 때에는 다시 왼쪽 이미지와 오른쪽 이미지가 병렬적으로 처리된다.
도 14에 도시된 로컬 매칭은 하기 수학식 11에 따라 수행될 수 있다.
Figure pat00033
D(p)는 특정 픽셀 p에서 로컬 매칭이 발생할 때의 변이를 나타낸다. 그리고, q는 특정 픽셀 p를 중심으로 변이 d에 대응하는 3*3 영역에 속하는 이웃 픽셀을 의미한다. 그리고,
Figure pat00034
는 수학식 7에 따라 도출될 수 있다.
도 15는 본 발명의 일실시예에 따른 변이 추정 방법을 도시한 플로우차트이다.
단계(1501)에서, 변이 추정 장치는 스테레오 이미지를 구성하는 왼쪽 이미지와 오른쪽 이미지 각각의 에너지를 계산할 수 있다. 일례로, 변이 추정 장치는 왼쪽 이미지와 오른쪽 이미지 각각에 대해 포워드 방향과 백워드 방향의 에너지를 계산할 수 있다. 그런 후에, 변이 추정 장치는 포워드 방향과 백워드 방향의 에너지를 합산할 수 있다.
단계(1502)에서, 변이 추정 장치는 에너지를 이용하여 가시성 맵(Visibility Map)을 생성할 수 있다. 일례로, 변이 추정 장치는 왼쪽 이미지와 오른쪽 이미지의 에너지를 이용하여 왼쪽 이미지와 오른쪽 이미지 각각의 초기 변이를 계산할 수 있다. 또한, 변이 추정 장치는 왼쪽 이미지와 오른쪽 이미지 각각의 초기 변이를 이용하여 왼쪽 이미지와 오른쪽 이미지 각각의 가시성 맵을 결정할 수 있다.
이 때, 변이 추정 장치는 오른쪽 이미지의 초기 변이를 이용하여 왼쪽 이미지의 가시성 맵을 결정할 수 있다. 그리고, 변이 추정 장치는 왼쪽 이미지의 초기 변이를 이용하여 오른쪽 이미지의 가시성 맵을 결정할 수 있다.
단계(1503)에서, 변이 추정 장치는 가시성 맵에서 가시성 에러가 발생하는 영역을 추출할 수 있다.
만약, 가시성 에러가 발생하였다면, 단계(1504)에서, 변이 추정 장치는 가시성 에러가 존재하는 영역에 대해 에너지를 재계산할 수 있다. 일례로, 변이 추정 장치는 왼쪽 이미지와 오른쪽 이미지 각각의 초기 변이를 이용하여 가시성 에러가 존재하는 영역에서 에너지의 확산 방향을 결정할 수 있다. 그런 다음, 변이 추정 장치는 가시성 에러가 존재하는 영역에서 대표 에너지를 결정하고, 대표 에너지에 기초한 에너지 확산을 수행할 수 있다.
이 때, 변이 추정 장치는 가시성 에러가 존재하는 영역의 왼쪽 경계에 위치한 픽셀의 변이와 오른쪽 경계에 위치한 픽셀의 변이 간의 차이가 가시성 에러가 존재하는 영역의 넓이와 동일한 지 여부에 따라 에너지의 확산 방향을 결정할 수 있다.
그리고, 변이 추정 장치는 (i) 가시성 에러가 존재하는 영역의 왼쪽 경계에 위치한 픽셀의 왼쪽 픽셀, 또는 (ii) 가시성 에러가 존재하는 영역의 오른쪽 경계에 위치한 픽셀의 오른쪽 픽셀 중 적어도 하나를 대표 에너지로 설정하여 왼쪽 방향, 오른쪽 방향 또는 양방향 중 어느 하나의 방향으로 에너지 확산을 수행할 수 있다.
이러한 과정을 통해 단계(1505)에서 변이 추정 장치는 최종적으로 결정된 에너지로 최적화를 수행하며, 단계(1506)에서 변이 추정 장치는 스테레오 이미지에 대한 변이를 결정할 수 있다.
도 16은 본 발명의 일실시예에 따른 로컬 매칭을 활용한 변이 추정 방법을 도시한 플로우차트이다.
도 16은 도 15의 과정을 왼쪽 이미지와 오른쪽 이미지가 병렬적으로 수행되는 것을 나타낸다. 따라서, 단계(1601) 내지 단계(1606)과 단계(1607) 내지 단계(1612)는 도 15의 단계(1501) 내지 단계(1506)과 실질적으로 동일하게 동작한다.
다만, 가시성 맵을 생성하는 단계(1602)와 단계(1608)을 수행할 때에는 왼쪽 이미지와 오른쪽 이미지 간에 상호 작용을 할 필요가 있다. 즉, 변이 추정 장치는 왼쪽 이미지에 대한 가시성 맵을 생성할 때, 오른쪽 이미지를 참고하고, 오른쪽 이미지에 대한 가시성 맵을 생성할 때 왼쪽 이미지를 참고할 수 있다.
그리고, 로컬 매칭을 수행하는 단계(1605)와 단계(1611)을 수행할 때에도 왼쪽 이미지와 오른쪽 이미지 간에 상호 작용을 할 필요가 있다. 즉, 변이 추정 장치는 왼쪽 이미지를 로컬 매칭할 때 오른쪽 이미지를 참고하고, 오른쪽 이미지를 로컬 매칭할 때 왼쪽 이미지를 참고할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 에너지 계산부 102: 맵 생성부
103: 에너지 재계산부 104: 변이 결정부

Claims (17)

  1. 스테레오 이미지를 구성하는 왼쪽 이미지와 오른쪽 이미지 각각의 스테레오 매칭과 관련된 에너지를 계산하는 에너지 계산부;
    상기 에너지를 이용하여 왼쪽 이미지와 오른쪽 이미지 간 변이(disparity)의 오류를 판단하기 위한 가시성 맵(Visibility Map)을 생성하는 맵 생성부;
    상기 가시성 맵에서 변이의 오류로 인해 가시성 에러가 존재하는 영역에 대해 에너지를 재계산하는 에너지 재계산부; 및
    상기 왼쪽 이미지와 오른쪽 이미지의 최종적인 에너지를 이용하여 스테레오 이미지로부터 변이를 결정하는 변이 결정부
    를 포함하는 변이 추정 장치.
  2. 제1항에 있어서,
    상기 에너지 계산부는,
    왼쪽 이미지와 오른쪽 이미지 각각에 대해 포워드 방향의 에너지를 계산하는 제1 에너지 계산부;
    왼쪽 이미지와 오른쪽 이미지 각각에 대해 백워드 방향의 에너지를 계산하는 제2 에너지 계산부; 및
    상기 포워드 방향의 에너지와 상기 백워드 방향의 에너지를 병합하는 에너지 병합부
    를 포함하는 변이 추정 장치.
  3. 제1항에 있어서,
    상기 맵 생성부는,
    상기 왼쪽 이미지와 오른쪽 이미지의 에너지를 이용하여 상기 왼쪽 이미지와 오른쪽 이미지 각각의 초기 변이를 계산하는 초기 변이 계산부; 및
    상기 왼쪽 이미지와 오른쪽 이미지 각각의 초기 변이를 이용하여 상기 왼쪽 이미지와 오른쪽 이미지 각각의 가시성 맵을 결정하는 맵 결정부
    를 포함하는 변이 추정 장치.
  4. 제3항에 있어서,
    상기 맵 결정부는,
    상기 오른쪽 이미지의 초기 변이를 이용하여 왼쪽 이미지의 가시성 맵을 결정하는 제1 맵 결정부; 및
    상기 왼쪽 이미지의 초기 변이를 이용하여 오른쪽 이미지의 가시성 맵을 결정하는 제2 맵 결정부
    를 포함하는 변이 추정 장치.
  5. 제1항에 있어서,
    상기 에너지 재계산부는,
    상기 왼쪽 이미지와 오른쪽 이미지 각각의 초기 변이를 이용하여 가시성 에러가 존재하는 영역에서 에너지의 확산 방향을 결정하는 확산 방향 결정부; 및
    상기 가시성 에러가 존재하는 영역에서 대표 에너지를 결정하고, 대표 에너지에 기초한 에너지 확산을 수행하는 에너지 확산부
    를 포함하는 변이 추정 장치.
  6. 제5항에 있어서,
    상기 확산 방향 결정부는,
    상기 가시성 에러가 존재하는 영역의 왼쪽 경계에 위치한 픽셀의 변이와 오른쪽 경계에 위치한 픽셀의 변이 간의 차이가 가시성 에러가 존재하는 영역의 넓이와 동일한 지 여부에 따라 에너지의 확산 방향을 결정하는 것을 특징으로 하는 변이 추정 장치.
  7. 제5항에 있어서,
    상기 에너지 확산부는,
    (i) 가시성 에러가 존재하는 영역의 왼쪽 경계에 위치한 픽셀의 왼쪽 픽셀, 또는 (ii) 가시성 에러가 존재하는 영역의 오른쪽 경계에 위치한 픽셀의 오른쪽 픽셀 중 적어도 하나를 대표 에너지로 설정하여 왼쪽 방향, 오른쪽 방향 또는 양방향 중 어느 하나의 방향으로 에너지 확산을 수행하는 것을 특징으로 하는 변이 추정 장치.
  8. 스테레오 이미지를 구성하는 왼쪽 이미지와 오른쪽 이미지 각각의 스테레오 매칭과 관련된 에너지를 병렬적으로 계산하는 에너지 계산부
    상기 에너지를 이용하여 왼쪽 이미지와 오른쪽 이미지 간 변이(disparity)의 오류를 판단하기 위한 가시성 맵(Visibility Map)을 생성하는 맵 생성부;
    상기 왼쪽 이미지와 오른쪽 이미지 각각의 가시성 맵에서 변이의 오류로 인해 가시성 에러가 존재하는 영역에 대해 에너지를 재계산하는 에너지 재계산부; 및
    상기 왼쪽 이미지와 오른쪽 이미지의 최종적인 에너지를 이용하여 로컬 매칭을 수행하고, 로컬 매칭된 스테레오 이미지로부터 변이를 결정하는 변이 결정부
    를 포함하는 변이 추정 장치.
  9. 스테레오 이미지를 구성하는 왼쪽 이미지와 오른쪽 이미지 각각의 스테레오 매칭과 관련된 에너지를 계산하는 단계;
    상기 에너지를 이용하여 왼쪽 이미지와 오른쪽 이미지 간 변이(disparity)의 오류를 판단하기 위한 가시성 맵(Visibility Map)을 생성하는 단계;
    상기 가시성 맵에서 변이의 오류로 인해 가시성 에러가 존재하는 영역에 대해 에너지를 재계산하는 단계; 및
    상기 왼쪽 이미지와 오른쪽 이미지의 최종적인 에너지를 이용하여 스테레오 이미지로부터 변이를 결정하는 단계
    를 포함하는 변이 추정 방법.
  10. 제9항에 있어서,
    상기 왼쪽 이미지와 오른쪽 이미지 각각의 에너지를 계산하는 단계는,
    왼쪽 이미지와 오른쪽 이미지 각각에 대해 포워드 방향의 에너지를 계산하는 단계;
    왼쪽 이미지와 오른쪽 이미지 각각에 대해 백워드 방향의 에너지를 계산하는 단계; 및
    상기 포워드 방향의 에너지와 상기 백워드 방향의 에너지를 병합하는 단계
    를 포함하는 변이 추정 방법.
  11. 제9항에 있어서,
    상기 가시성 맵을 생성하는 단계는,
    상기 왼쪽 이미지와 오른쪽 이미지의 에너지를 이용하여 상기 왼쪽 이미지와 오른쪽 이미지 각각의 초기 변이를 계산하는 단계; 및
    상기 왼쪽 이미지와 오른쪽 이미지 각각의 초기 변이를 이용하여 상기 왼쪽 이미지와 오른쪽 이미지 각각의 가시성 맵을 결정하는 단계
    를 포함하는 변이 추정 방법.
  12. 제11항에 있어서,
    상기 왼쪽 이미지와 오른쪽 이미지 각각의 가시성 맵을 결정하는 단계는,
    상기 오른쪽 이미지의 초기 변이를 이용하여 왼쪽 이미지의 가시성 맵을 결정하는 단계; 및
    상기 왼쪽 이미지의 초기 변이를 이용하여 오른쪽 이미지의 가시성 맵을 결정하는 단계
    를 포함하는 변이 추정 방법.
  13. 제9항에 있어서,
    상기 가시성 에러가 존재하는 영역에 대해 에너지를 재계산하는 단계는,
    상기 왼쪽 이미지와 오른쪽 이미지 각각의 초기 변이를 이용하여 가시성 에러가 존재하는 영역에서 에너지의 확산 방향을 결정하는 단계; 및
    상기 가시성 에러가 존재하는 영역에서 대표 에너지를 결정하고, 대표 에너지에 기초한 에너지 확산을 수행하는 단계
    를 포함하는 변이 추정 방법.
  14. 제13항에 있어서,
    상기 에너지의 확산 방향을 결정하는 단계는,
    상기 가시성 에러가 존재하는 영역의 왼쪽 경계에 위치한 픽셀의 변이와 오른쪽 경계에 위치한 픽셀의 변이 간의 차이가 가시성 에러가 존재하는 영역의 넓이와 동일한 지 여부에 따라 에너지의 확산 방향을 결정하는 것을 특징으로 하는 변이 추정 방법.
  15. 제13항에 있어서,
    상기 에너지 확산을 수행하는 단계는,
    (i) 가시성 에러가 존재하는 영역의 왼쪽 경계에 위치한 픽셀의 왼쪽 픽셀, 또는 (ii) 가시성 에러가 존재하는 영역의 오른쪽 경계에 위치한 픽셀의 오른쪽 픽셀 중 적어도 하나를 대표 에너지로 설정하여 왼쪽 방향, 오른쪽 방향 또는 양방향 중 어느 하나의 방향으로 에너지 확산을 수행하는 것을 특징으로 하는 변이 추정 방법.
  16. 스테레오 이미지를 구성하는 왼쪽 이미지와 오른쪽 이미지 각각의 스테레오 매칭과 관련된 에너지를 병렬적으로 계산하는 단계;
    상기 에너지를 이용하여 왼쪽 이미지와 오른쪽 이미지 간 변이(disparity)의 오류를 판단하기 위한 가시성 맵(Visibility Map)을 생성하는 단계;
    상기 왼쪽 이미지와 오른쪽 이미지 각각의 가시성 맵에서 변이의 오류로 인해 가시성 에러가 존재하는 영역에 대해 에너지를 재계산하는 단계;
    상기 왼쪽 이미지와 오른쪽 이미지의 최종적인 에너지를 이용하여 로컬 매칭을 수행하고, 로컬 매칭된 스테레오 이미지로부터 변이를 결정하는 단계
    를 포함하는 변이 추정 방법.
  17. 제9항 내지 제16항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
KR1020120031834A 2012-02-27 2012-03-28 가시성 에너지 모델을 이용한 변이 추정 장치 및 방법 KR101882421B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/771,951 US9070196B2 (en) 2012-02-27 2013-02-20 Apparatus and method for estimating disparity using visibility energy model
JP2013037311A JP2013176052A (ja) 2012-02-27 2013-02-27 可視性エネルギーモデルを用いた視差推定装置及び方法
CN201310061504.XA CN103295223B (zh) 2012-02-27 2013-02-27 用于使用可见性能量模型估计视差的设备和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261603618P 2012-02-27 2012-02-27
US61/603,618 2012-02-27

Publications (2)

Publication Number Publication Date
KR20130098109A true KR20130098109A (ko) 2013-09-04
KR101882421B1 KR101882421B1 (ko) 2018-07-26

Family

ID=49450185

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120031834A KR101882421B1 (ko) 2012-02-27 2012-03-28 가시성 에너지 모델을 이용한 변이 추정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101882421B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170070620A (ko) * 2015-12-14 2017-06-22 삼성전자주식회사 스테레오 영상 매칭 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090014532A (ko) * 2007-08-06 2009-02-11 삼성모바일디스플레이주식회사 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법
KR20090068980A (ko) * 2007-12-24 2009-06-29 연세대학교 산학협력단 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법
US7599547B2 (en) * 2005-11-30 2009-10-06 Microsoft Corporation Symmetric stereo model for handling occlusion
KR100930286B1 (ko) * 2007-12-24 2009-12-09 연세대학교 산학협력단 변이 추정 시의 비용 함수 연산 방법 및 가려진 영역 처리방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7599547B2 (en) * 2005-11-30 2009-10-06 Microsoft Corporation Symmetric stereo model for handling occlusion
KR20090014532A (ko) * 2007-08-06 2009-02-11 삼성모바일디스플레이주식회사 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법
KR20090068980A (ko) * 2007-12-24 2009-06-29 연세대학교 산학협력단 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법
KR100930286B1 (ko) * 2007-12-24 2009-12-09 연세대학교 산학협력단 변이 추정 시의 비용 함수 연산 방법 및 가려진 영역 처리방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170070620A (ko) * 2015-12-14 2017-06-22 삼성전자주식회사 스테레오 영상 매칭 방법 및 장치

Also Published As

Publication number Publication date
KR101882421B1 (ko) 2018-07-26

Similar Documents

Publication Publication Date Title
KR102504246B1 (ko) 3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들
EP2169619A2 (en) Conversion method and apparatus with depth map generation
US20170272724A1 (en) Apparatus and method for multi-view stereo
CN102077244A (zh) 用于在基于至少两个图像而估算的深度图或视差图的掩蔽域中进行填充的方法和装置
KR20130084850A (ko) 시차 값을 생성하는 영상 처리 방법 및 장치
CN101061519B (zh) 基于图像分割绘制图像
KR20120137205A (ko) 영상 처리를 위한 방법 및 장치
EP2781099B1 (en) Apparatus and method for real-time capable disparity estimation for virtual view rendering suitable for multi-threaded execution
CN109887008B (zh) 基于前后向平滑和o(1)复杂度视差立体匹配方法、装置和设备
KR20160098012A (ko) 영상 매칭 방법 및 장치
US9070196B2 (en) Apparatus and method for estimating disparity using visibility energy model
KR101901495B1 (ko) 다중 시점 카메라 기반 깊이 영상 추정 방법
CN108805841B (zh) 一种基于彩色图引导的深度图恢复及视点合成优化方法
KR101882421B1 (ko) 가시성 에너지 모델을 이용한 변이 추정 장치 및 방법
Liu et al. A Bayesian framework for dense depth estimation based on spatial–temporal correlation
Liu et al. Hole-filling based on disparity map and inpainting for depth-image-based rendering
KR102469228B1 (ko) 가상 시점 영상 생성 장치 및 방법
KR20210001005A (ko) 깊이 지도 생성 방법, 깊이 지도 생성 장치, 영상 변환 방법 및 영상 변환 장치
KR102455843B1 (ko) 영상 재구성 장치 및 방법
US20130229408A1 (en) Apparatus and method for efficient viewer-centric depth adjustment based on virtual fronto-parallel planar projection in stereoscopic images
KR101665049B1 (ko) 영상 처리 장치 및 방법
KR101233398B1 (ko) 깊이 지도 생성 방법 및 장치
KR102438853B1 (ko) 평면 정보를 활용한 깊이 영상 추정 방법 및 시스템
KR20130068510A (ko) 스파스 특징점 기반 워핑과 스테레오 매칭 융합 방법 및 장치
TWI462053B (zh) 影像處理的方法及裝置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right