KR101766431B1 - 계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치 - Google Patents

계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치 Download PDF

Info

Publication number
KR101766431B1
KR101766431B1 KR1020150086143A KR20150086143A KR101766431B1 KR 101766431 B1 KR101766431 B1 KR 101766431B1 KR 1020150086143 A KR1020150086143 A KR 1020150086143A KR 20150086143 A KR20150086143 A KR 20150086143A KR 101766431 B1 KR101766431 B1 KR 101766431B1
Authority
KR
South Korea
Prior art keywords
image
mutation
weighted
upper layer
layer
Prior art date
Application number
KR1020150086143A
Other languages
English (en)
Other versions
KR20160149088A (ko
Inventor
신홍창
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150086143A priority Critical patent/KR101766431B1/ko
Publication of KR20160149088A publication Critical patent/KR20160149088A/ko
Application granted granted Critical
Publication of KR101766431B1 publication Critical patent/KR101766431B1/ko

Links

Images

Classifications

    • H04N13/0014—
    • H04N13/0011—
    • H04N13/0018—
    • H04N13/0022—

Landscapes

  • Image Processing (AREA)

Abstract

계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치가 제공된다. 이전 하위 계층의 변이 영상을 토대로 해당 상위 계층의 업스케일(up-scale) 스테레오 정합을 수행하여 상위 계층의 변이 영상을 획득하고, 상위 계층의 변이 영상을 토대로 업샘플링(up-sampling)을 수행하여 해상도가 향상된 변이 영상을 획득한다. 동일 계층의 유도 영상을 이용하여 레인지 텀(Range term)을 계산하여 가중치를 구하고, 구해진 가중치를 해당 계층의 변이 영상에 적용하여 가중치 변이 영상을 획득한다.

Description

계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치{Method and apparatus for detecting disparity by using hierarchical stereo matching}
본 발명은 스테레오 정합에 관한 것으로, 더욱 상세하게 말하자면, 계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치에 관한 것이다.
스테레오 정합(Stereo matching)이란 두 장 혹은 그 이상의 영상에서 서로 대응점을 검출하는 기술이다. 스테레오 정합 기술을 이용하여 두 시점 이상에 담긴 영상들간의 대응점의 변이(disparity)를 구할 수 있고, 이 변이 값을 토대로 영상 내의 객체의 깊이(depth)을 삼각 측량법(triangulation)을 통해 계산할 수 있다. 이러한 변이 영상(disparity map)은 영상 기반의 렌더링(image-based rendering) 혹은 로봇 비전(robot vision), 차세대 실감 방송 등의 다양한 분야에서 활용될 수 있다.
스테레오 정합 기술은 영상 처리 분야에서 많은 연구가 되어온 분야이며, 다양한 방법이 연구되어 왔다. 스테레오 정합 기술은 크게 전역(global) 알고리즘 방식과 국부(local) 알고리즘 방식으로 나뉜다.
전역 알고리즘 방식은 신뢰 확산(belief propagation), 그래프 컷 (graph-cut) 등과 같은 전역 최적화 방법을 사용하며, 국부 방식은 영상을 블록 기반으로 나누어 블록 매칭(block matching)과 같은 국부의 비용 계산을 하고 이를 최적화하는 방법이다. 전역 알고리즘은 국부 방식보다 비교적 정확한 추출이 가능하지만 최적화 연산에 소요되는 시간이 오래 걸려 실시간으로 활용하기에는 무리가 있다.
최근에는 국부 방식을 통해 초기 정합을 수행하고, 경계 보존 필터링(edge-preserving filtering) 을 통해 변이를 개선하는 방법들이 널리 사용되고 있다. 스테레오 정합을 하면 색상 영상과 변이 영상의 객체 경계가 맞지 않는 경우가 발생하는데, 이를 해결하기 위하여 변이 영상에 대하여 경계 보존 필터링을 적용한다. 경계 보존 필터링의 가장 대표적인 방법 중의 하나로 양방향 필터(bilateral filtering)가 있다. 이 방법은 비선형 경계 보존 평활화 필터(non-linear edge preserving smoothing filter)를 이용한 방법으로, 필터링되어 출력되는 영상을 다음과 같이 나타낼 수 있다.
Figure 112015058750858-pat00001
여기서, I는 입력 영상이고, O는 출력 영상을 나타낸다. ns는 중심화소 p의 인접화소이며, w(x)는 화소 간의 거리차를 계산하는 부분(domain kernel)이고, c(x)는 색상차를 계산하는 부분(range kernel)이다.
스테레오 정합 시에 발견되는 경계부분에서의 가려짐 영역(occlusion) 혹은 오정합으로 인해 생기는 뭉개짐 현상을 개선하기 위해, 경계를 보존하면서 변이값을 평활화(smoothing)를 하는 양방향 필터의 특성이 활용되기도 한다. 기본적으로는 원본 영상을 유도 영상(guidance image)으로 하고, 유도 영상을 토대로 가중치를 계산하고 이를 변이값에 적용하여 필터링을 한다. 이와 관련된 다양한 기법들이 제안되고 있다.
하지만 비선형 방법은 알고리즘 특성상 계산량이 많아서, 이를 근사화하는 기법으로 비슷한 수준의 결과를 더 빠르게 도출하는 고속화 방법에 대한 많은 시도가 있었고, 최근에는 계층 구조를 이용한 하드웨어 최적화 양방향 필터링 방법이 제안 되었다.
하드웨어 최적화 양방향 필터링 방법은 기존의 양방향 필터를 하드웨어 혹은 GPU(graphic processing unit) 장치에서 병렬 처리가 가능한 구조로 근사화하여, 경계를 보존하며 변이를 개선한다. 하지만 이 방법은 스테레오 정합에 있어서 좌우 일관성(Left/right consistency)이 어긋나는 현상이 발생하는 단점이 있다.
구체적으로, 스테레오 정합은 대개의 경우 좌영상에서 우영상으로의 변이값, 우영상에서 좌영상으로의 변이값을 각각 계산하여 좌/우 변이 영상을 구하게 된다. 유도 영상을 이용하여 변이를 개선하는 필터링은 좌/우 영상의 상관관계를 전혀 고려하지 않고 한 쪽 영상만의 정보만을 가지고 가중치를 계산하여 적용을 한다. 그러므로 좌/우 변이 영상 각각에 대하여 별도로 필터링을 적용하면 필터링된 좌/우 변이영상 사이에 일관성이 어긋나는 경우가 발생할 수 있다. 여기서 좌우 영상의 일관성이라는 것은 좌측 변이 영상의 변이값와 우측 변이 영상의 변이값이 서로 대응관계가 양방향으로 일치하는 것을 말한다.
본 발명이 해결하려는 과제는 스테레오 정합을 보다 정확하고 빠르게 수행하면서 좌우 변이 일관성을 유지할 수 있는 변이 추출 방법 및 그 장치를 제공하는 것이다.
본 발명의 특징에 따른 변이 추출 방법은, 복수 계층의 영상 피라미드 형태의 두 개 이상의 영상들에 대해서, 스테레오 정합을 수행하여 변이 영상을 획득하는 단계; 이전 하위 계층의 변이 영상을 토대로 해당 상위 계층의 업스케일(up-scale) 스테레오 정합을 수행하여 상기 상위 계층의 변이 영상을 획득하는 단계; 상기 상위 계층의 변이 영상을 토대로 업샘플링(up-sampling)을 수행하여 해상도가 향상된 변이 영상을 획득하는 단계; 및 동일 계층의 유도 영상을 이용하여 레인지 텀(Range term)을 계산하여 가중치를 구하고, 구해진 가중치를 해당 계층의 변이 영상에 적용하여 가중치 변이 영상을 획득하는 단계를 포함한다.
이외에도, 상기 가중치 변이 영상을 정규화하는 단계를 더 포함할 수 있다.
상기 상위 계층의 변이 영상을 획득하는 단계, 향상된 변이 영상을 획득하는 단계, 상기 가중치 변이 영상을 획득하는 단계, 및 상기 정규화하는 단계를 최상위 계층까지 반복적으로 수행하여 최종적으로 변이 영상을 획득할 수 있다.
상기 가중치 변이 영상을 정규화하는 단계는 상기 가중치 변이 영상을 가중치 영상--상기 가중치 영상은 상기 레인지 텀을 토대로 구해지는 가중치를 구하고 해당 계층의 유도 영상에 적용하여 획득한 영상임--으로 나누어서 정규화된 변이 영상을 획득할 수 있다.
상기 스테레오 정합을 수행하여 변이 영상을 획득하는 단계는, 상기 영상 피라미드의 최하위 계층의 좌영상 및 우영상에 대해서 스테레오 정합을 수행하여 좌 변이 영상 및 우 변이 영상을 획득하는 단계; 및 상기 좌영상 및 우영상의 일관성을 고려하는 가중치를 토대로 상기 좌 변이 영상 및 우 변이 영상에 대한 일관성 보정을 수행하는 단계를 포함할 수 있다.
상기 상위 계층의 변이 영상을 획득하는 단계는, 하위 계층의 변이 영상의 변이값을 소정배수 하였을 때의 위치를 중심으로 주변의 소정 개수의 화소들을 포함하는 검색 범위를 설정하는 단계; 및 상기 검색 범위에 대해서 스테레오 정합을 수행하여 상기 상위 계층의 변이 영상을 획득하는 단계를 포함할 수 있다.
상기 해상도가 향상된 변이 영상을 획득하는 단계는 상위 계층의 가중치 변이 기반으로 변환하여 적응적 업샘플링을 수행할 수 있다.
상기 해상도가 향상된 변이 영상을 획득하는 단계는, 상기 상위 계층의 변이 영상을 다운 샘플링을 하여 하위 계층의 변이 영상을 구하는 단계; 상기 하위 계층의 변이 영상을 토대로 하위 계층의 가중치 변이 영상을 구하는 단계; 상기 하위 계층의 가중치를 토대로 구해지는 상위 계층의 가중치에 따라 상기 상위 계층의 가중치 변이 영상을 구하는 단계; 및 상기 하위 계층의 가중치 변이 영상과 상위 계층의 가중치 변이 영상을 이용하여 보간된 가중치 변이 영상을 구하는 단계를 포함할 수 있다.
본 발명의 다른 특징에 따른 변이 추출 장치는, 복수의 영상을 획득하는 영상 획득부; 상기 영상들을 토대로 변이 영상을 획득하는 프로세서를 포함하며, 상기 프로세서는, 두 개 이상의 영상들에 대해서, 스테레오 정합을 수행하여 변이 영상을 획득하는 스테레오 정합부; 이전 하위 계층의 변이 영상을 토대로 해당 상위 계층의 업스케일(up-scale) 스테레오 정합을 수행하여 상기 상위 계층의 변이 영상을 획득하는 업스케일 정합부; 상기 상위 계층의 변이 영상을 토대로 업샘플링(up-sampling)을 수행하여 해상도가 향상된 변이 영상을 획득하는 업샘플링부; 및 동일 계층의 유도 영상을 이용하여 레인지 텀(Range term)을 계산하여 가중치를 구하고, 구해진 가중치를 해당 계층의 변이 영상에 적용하여 가중치 변이 영상을 획득하는레인지텀 산출부를 포함한다.
상기 프로세서는 상기 가중치 변이 영상을 정규화하는 변이 정규화부를 더 포함할 수 있다.
상기 스테레오 정합부는 상기 영상 피라미드의 최상위 상기 영상 피라미드의 최하위 계층의 좌영상 및 우영상에 대해서 스테레오 정합을 수행하여 좌 변이 영상 및 우 변이 영상을 획득하고, 상기 좌영상 및 우영상의 일관성을 고려하는 가중치를 토대로 상기 좌 변이 영상 및 우 변이 영상에 대한 일관성 보정을 수행할 수 있다.
상기 업스케일 정합부는 하위 계층의 변이 영상의 변이값을 소정배수 하였을 때의 위치를 중심으로 주변의 소정 개수의 화소들을 포함하는 검색 범위를 설정하고, 상기 검색 범위에 대해서 스테레오 정합을 수행하여 상기 상위 계층의 변이 영상을 획득할 수 있다.
상기 업샘플링부는 상위 계층의 가중치 변이 기반으로 변환하여 적응적 업샘플링을 수행할 수 있다.
상기 업샘플링부는 상기 상위 계층의 변이 영상을 다운 샘플링을 하여 획득되는 하위 계층의 변이 영상에 대한 가중치를 토대로 구해지는 상위 계층의 가중치에 따라 상기 상위 계층의 가중치 변이 영상을 구하고, 상기 하위 계층의 가중치 변이 영상과 상위 계층의 가중치 변이 영상을 이용하여 보간된 가중치 변이 영상을 구하여 적응적 업샘플링을 수행할 수 있다.
본 발명의 실시 예에 따르면, 경계부분을 보존하여 평활화 과정을 거치는 양방향 필터링을 계층적 구조를 이용하여 근사화한 하드웨어 최적화 양방향 필터링을 하는 과정에서 스테레오 정합을 함께 수행함으로써, 기존보다 최종 변이 영상을 구하는 시간을 줄이고 각 계층의 개선된 변이 결과를 스테레오 정합에 활용함으로써 경계부분을 개선하면서 변이를 추출할 수 있다.
또한, 좌우 변이 일관성을 유지할 좌/우 일관성 보정도 함께 함으로써 기존보다 빠르고 정확한 변이를 추출할 수 있다.
도 1은 하드웨어 최적화 양방향 필터링 방법의 흐름도이다.
도 2는 영상 피라미드를 나타낸 예시도이다.
도 3은 유도 영상을 토대로 가중치를 산출하는 것을 나타낸 개념도이다.
도 4는 적응적 업샘플링을 수행하는 것을 나타낸 도이다.
도 5는 본 발명의 실시 예에 따는 변이 추출 방법의 흐름도이다.
도 6은 본 발명의 실시 예에 따른 일관성 보정을 나타낸 예시도이다.
도 7은 본 발명의 실시 예에 따라, 하위 계층에서 구해진 변이값을 이용하여 상위 계층에서 스테레오 정합을 수행하는 것을 나타낸 도이다.
도 8은 본 발명의 실시 예에 따른 변이 추출 장치의 구조도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명의 실시 예에 따른 계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치에 대하여 설명한다.
도 1은 하드웨어 최적화 양방향 필터링 방법의 흐름도이다.
두 장 혹은 그 이상의 영상에서 서로 대응점을 검출하는 스테레오 정합을 통하여 변이 영상을 획득한다. 예를 들어, 서로 다른 시점에서 획득한 두 개의 영상에서 모두 존재하는 동일한 객체의 화소 위치를 찾는 대응점을 찾고, 두 개의 영상 간의 대응점의 변이(disparity)를 구한다. 즉, 스테레오 영상을 구성하는 좌 영상과 우영상 중 하나를 기준 영상으로 설정하고, 다른 하나를 비교 영상으로 설정한 다음, 기준 영상과 비교 영상에서 서로 대응되는 대응점을 찾고, 대응점의 변이를 구한다. 구해진 변이 값을 토대로 두 영상의 기하관계를 토대로 객체의 깊이(depth)을 계산하여, 깊이 영상(depth map)을 획득한다. 이러한 스테레오 정합은 블록 기반 정합, 화소 기반 정합, 특징 기반 정합 등의 방식이 있다. 화소 기반 정합은 기준 영상 내의 모든 화소 각각에 대해, 비교 영상에서 이에 해당되는 대응점을 찾는 작업이다. 블록 기반 정합은 영상을 고정 크기의 블록으로 나누고, 각 블록에 대해 비교 영상에서 이에 해당되는 대응점을 찾는 작업이다.
원본 영상과 변이 영상을 각각 다운 샘플링(down sampling)하여 영상 피라미드(image pyramid)를 생성한다(S100, S110). 예를 들어, 원본 영상과 변이 영상 각각에 대하여, 가로 방향으로 1/2씩 다운 샘플링하고 세로 방향으로 1/2씩 다운 샘플링하여 영상 피라미드를 생성한다. 영상 피라미드를 구성하는 계층 수는 원본 영상의 크기에 따라 달라진다. 영상 피라미드를 구성하는 계층 수를 N이라고 할 때, 레벨 N에 해당하는 영상은 직전 레벨(n-1)의 영상을 기준으로 1/4만큼 다운 샘플링된 영상이다.
도 2는 영상 피라미드를 나타낸 예시도이다.
첨부한 도 2는 영상 피라미드의 계층수가 3계층인 경우를 나타낸다. 레벨 1이 원본 영상이고, 레벨 2는 원본영상을 1/4 크기로 다운 샘플링한 영상이고, 레벨 3은 레벨 2의 영상을 1/4 크기로 다운샘플링한 영상이다. 원본 영상을 다운샘플링 할 때는 경계 부분에 위치한 화소값을 그대로 보존하기 위해, 도 2의 우측 상단에 도시한 것처럼, 인접한 화소 둘 중에 하나만 택하는 방식으로 다운샘플링을 한다.
반면에 변이 영상을 다운 샘플링하는 경우에는, 인접한 화소의 평균(mean)을 구하는 방식으로 다운샘플링을 한다.
원본 영상에 대한 영상 피라미드와 변이 영상에 대한 영상 피라미드를 생성한 다음, 원본 영상의 영상 피라미드의 최하층인 레벨 3 원본 영상(이를 유도 영상 G라고 함)부터(S120, S130), 중심 화소를 기준으로 인접 화소 간의 화소값의 차이에 대한 가중치를 산출한다(S140).
도 3은 유도 영상을 토대로 가중치를 산출하는 것을 나타낸 개념도이다.
중심 화소(p)를 기준으로 인접 화소(q) 간의 화소값의 차이를 토대로 하는 가중치는 다음과 같이 산출될 수 있다.
Figure 112015058750858-pat00002
원본 영상(유도 영상 G)이 RGB 3채널 인 경우에, RGB 값 차이 중에서 가장 큰 값의 차이에 대한 절대값을 선택하여 가중치를 산출한다.
이러한 수학식 2를 이용하여 다음과 같이 원본 영상의 중심 화소의 가중치를 산출할 수 있다.
Figure 112015058750858-pat00003
그리고 수학식 2에 따라 산출된 가중치를 다음과 같이 변이 영상의 인접 화소
Figure 112015058750858-pat00004
와 곱하여, 변이 영상의 중심 화소(p)를 기준으로 인접 화소(q) 간의 화소값의 차이에 대한 가중치
Figure 112015058750858-pat00005
를 산출할 수 있다.
Figure 112015058750858-pat00006
또한, 수학식 4에 따라 산출된 가중치
Figure 112015058750858-pat00007
를 변이 영상에 적용하여 다음과 같이, 각 변이에 가중치가 적용된 새로운 변이 영상이 획득된다.
Figure 112015058750858-pat00008
위와 같이, 레벨 3의 원본 영상(유도 영상 G)에서 산출된 가중치는 상위 계층(레벨 2 원본 영상)에서 가중치를 산출할 때 사용된다.
다음 상위 계층의 레벨의 원본 영상에 대해서는 적응적 업샘플링(up-sampling)을 수행한다(S150 ~S170).
도 4는 적응적 업샘플링을 수행하는 것을 나타낸 도이다.
도 4에서,
Figure 112015058750858-pat00009
는 하위 계층의 원본 영상을 나타내고,
Figure 112015058750858-pat00010
는 하위 계층의 변이 영상을 나타낸다. 그리고
Figure 112015058750858-pat00011
는 상위 계층의 원본 영상을 나타내고,
Figure 112015058750858-pat00012
는 상위 계층의 변이 영상을 나타낸다.
먼저, 하위 계층(예를 들어, 레벨 3) 원본 영상의 가중치를 수학식 6과 같이 산출한다.
Figure 112015058750858-pat00013
위의 수학식 6과 같이 하위 계층(여기서는 레벨 3)의 가중치
Figure 112015058750858-pat00014
를 산출한 다음, 상위 계층의 가중치
Figure 112015058750858-pat00015
를 다음과 같이 산출한다.
Figure 112015058750858-pat00016
그리고 상위 계층의 가중치
Figure 112015058750858-pat00017
를 토대로 레벨 2에서의 원본 영상에 대한 가중치를 산출한다.
Figure 112015058750858-pat00018
다음에, 하위 계층에서의 가중치 변이 영상
Figure 112015058750858-pat00019
과 상위 계층에서의 가중치 변이 영상
Figure 112015058750858-pat00020
을 이용하여 보간된 가중치 변이 영상
Figure 112015058750858-pat00021
을 다음과 같이 산출한다.
Figure 112015058750858-pat00022
최종적으로, 레벨 2에서의 최종 변이 영상
Figure 112015058750858-pat00023
은 다음과 같이 산출한다.
Figure 112015058750858-pat00024
이러한 과정을 도 1의 흐름도에 따라 계층마다 반복 수행하여, 최종적으로 최상위 계층(예를 들어, 레벨 1)에서 출력되는 최종 영상은 경계 부분이 보존되어 평활화된 영상이 구해진다.
이러한 하드웨어 최적화 양방향 필터링 방법은 기존의 양방향 필터를 하드웨어 혹은 GPU 장치에서 병렬처리가 가능한 구조로 근사화하여 경계를 보존하며 변이를 개선한다.
그러나, 스테레오 정합에 있어서 좌우 일관성(Left/right consistency)이 어긋나는 현상이 발생한다. 스테레오 정합은 대개의 경우 좌영상에서 우영상으로의 변이값, 우영상에서 좌영상으로의 변이값을 각각 계산하여 좌/우 변이 영상을 구하게 된다. 그런데, 위에 기술된 바와 같이 유도 영상을 이용하여 변이를 개선하는 필터링은 좌/우 영상의 상관관계를 전혀 고려하지 않고 한 쪽 영상만의 정보만을 가지고 가중치를 계산하여 적용을 하고 있으므로, 좌/우 영상 각각에 대하여 별도로 필터링을 적용하면 필터링된 좌/우 변이 영상 사이에 일관성이 어긋나는 경우가 발생할 수 있다. 즉, 좌측 변이 영상의 변이값과 우측 변이 영상의 변이값의 서로 대응관계가 양방향으로 일치하지 않는 현상이 발생한다.
본 발명의 실시 예에서는 계층 구조 기반의 스테레오 정합을 수행하여 변이 영상을 구함과 동시에 계층마다 양방향 필터링을 수행하여 좌우 변이 일관성이 유지되도록 한다. 여기서 좌우 변이 일관성은 좌측 변이 영상의 변이값과 우측 변이 영상의 변이값의 서로 대응관계가 양방향으로 일치하는 것을 나타낸다.
도 5는 본 발명의 실시 예에 따는 변이 추출 방법의 흐름도이다.
서로 다른 시점에서 획득한 두 개 이상의 영상들에 대해서 다운 샘플링 하여 영상 피라미드를 구성한다(S300). 영상 피라미드를 구성하는 계층 수는 원본 영상의 크기에 따라 달라진다. 원본 영상을 다운샘플링 할 때에는 위에 기술된 바와 같이, 경계 부분의 화소값이 보존되도록 가까운 화소값(2i, i는 화소의 좌표값)을 선택하는 방법으로 다운 샘플링을 수행할 수 있다. 그러나, 이에 한정되는 것은 아니다.
원본 영상에 대한 계층 구조의 영상 피라미드가 구성이 되면, 가장 해상도가 작은 최하위 계층 영상부터 스테레오 정합을 수행한다(S310, S320).
최하위 계층 영상에 대하여 스테레오 정합을 수행하여 초기 변이 영상을 구한다(S330). 스테레오 영상을 구성하는 좌영상과 우영상 중 하나를 기준 영상으로 설정하고, 다른 하나를 비교 영상으로 설정한 다음, 기준 영상과 비교 영상에서 서로 대응되는 대응점을 찾고, 대응점의 변이를 구하고, 구해진 변이 값을 토대로 초기 변이 영상을 획득한다. 예를 들어, 블록 매칭을 이용하는 국부 알고리즘(local stereo matching)을 사용하여 초기 변이 영상을 구할 수 있다. 이때 사용되는 비용 집적(cost aggregation) 방식은, 차이 제곱갑의 합(Sum of squared differences: SSD)이나 차이 절대값의 합(Sum of absolute differences: SAD), 혹은 블록 내 화소 간의 상대적인 순서(relative ordering)을 이용하는 센서스(Census) 방식 등 여러 비용 직접 방식 중 하나를 이용하여, 유사도가 가장 높은 비용을 나타내는 값 하나를 택하는 Winner-Takes-It-All 방식으로 변이를 구할 수 있다. 화소별로 대응점을 찾는 국부 알고리즘을 토대로 초기 변이 영상을 구하는 것은 공지된 기술임으로 여기서는 상세한 설명을 생략하며, 초기 변이 영상을 구할 때 국부 알고리즘을 사용하는 것으로 한정되는 것은 아니다.
이때, 좌/우 일관성을 고려하는 가중치를 두어 정합을 하면서 일관성 보정을 동시에 수행한다.
도 6은 본 발명의 실시 예에 따른 일관성 보정을 나타낸 예시도이다.
첨부한 도 6에서와 같이, 초기 변이 영상 즉, 초기 좌/우 변이 영상을 토대로, 좌변이 영상(DL)의 한 점(x)의 변이값을 DL(x)라고 하면, 초기 우변이 영상(DR)의 한 점(x)으로부터 DL(x) 화소만큼 떨어진 점이, 초기 좌변이 영상(DL)의 한 점(x)에 대한 초기 우변이 영상(DR)에서의 대응점이 된다. 그리고 초기 우변이 영상(DR)의 한 점(x)으로부터 DL(x) 화소 만큼 떨어진 점[x+DL(x)]의 변이값을 DR(x )라 하면, DR(x')= DL(x)일 때 좌우 일관성이 보장되어 있는 것으로 볼 수 있다.
도 6의 수학식
Figure 112015058750858-pat00025
처럼 변이 절대값의 차이값을토대로 좌우 일관성 수치
Figure 112015058750858-pat00026
를 계산할 수 있다.
좌우 일관성 불일치로 인해 화소 p의 변이를 보정할 때, 기본적으로 인접된 화소에서 가장 적합한 화소로 선택된 변이값을 사용한다. 도 6에서와 같이, 인접 화소 q에 대해 각각 가중치를 계산하는데, 유사도 가중치와 좌우 일관성 신뢰도 CLR(x)를 곱하여 구한다. 유사도 가중치는 스테레오 정합을 위해 선택한 비용 집적 방식을 사용하여 구한 비용(cost)이다.
좌우 일관성 신뢰도는 좌우 일관성 수치
Figure 112015058750858-pat00027
가 일정 임계값(T)보다 큰 경우 좌우 일관성 신뢰도 수치 CLR(x)는 0이 되고, 좌우 일관성 수치
Figure 112015058750858-pat00028
가 0인 경우는 좌우 일관성이 있다는 의미이므로, 좌우 일관성 신뢰도 수치 CLR(x)는 1이 된다. 그리고 좌우 일관성 수치
Figure 112015058750858-pat00029
가 일정 임계값(T) 이하인 경우 좌우 일관성 신뢰도 수치 CLR(x)는 좌우 일관성 수치의 반비례가 되도록
Figure 112015058750858-pat00030
이 된다.
인접 화소 q에 대해 유사도 가중치와 좌우 일관성 신뢰도 CLR(x)를 곱하여 구해지는 가중치들 중에서 가장 적합한 가중치를 선택하고 이를 토대로 화소 q의 변이값을 중심 화소 p의 변이값으로 대체한다.
초기 스테레오 정합을 통해 초기 변이 영상이 주어지면, 같은 계층의 유도 영상을 이용하여 레인지 텀(Range term)을 계산하여 가중치 영상(weight value map) 및 가중치 변이 영상(weighted-disparity map)을 구한다. 즉, 최하위 계층에 대한 초기 변이 영상이 주어지면, 최하위 계층의 원본 영상 즉, 유도 영상을 이용하여 최하위 계층 영상에 대한 가중치를 구하고(수학식 2 참조), 구해진 가중치를 유도 영상에 적용한 가중치 영상(수학식 3 참조) 및 구해진 가중치를 변이 영상에 적용한 가중치 변이 영상(수학식 4, 5 참조)을 구한다(S340).
그리고, 구해진 가중치 변이 영상을 가중치 영상으로 나누어 정규화된 영상을 구한다(S350). 이와 같이 구해지는 정규화된 영상은 레인지 텀을 통해 가중치가 적용된 영상으로 약간의 평활화(smoothing) 과정이 거친 영상이다.
이러한 과정이 수행된 다음에, 최하위 계층의 상위 계층의 영상에 대하여(S360, S370), 앞서 구해진 최하위 계층의 정규화된 영상의 변이값을 토대로 업스케일(up-scale) 스테레오 정합을 수행한다(S380).
도 7은 본 발명의 실시 예에 따라, 하위 계층에서 구해진 변이값을 이용하여 상위 계층에서 스테레오 정합을 수행하는 것을 나타낸 도이다.
앞서 구해진 최하위 계층(예를 들어, 레벨 3)의 정규화된 영상의 변이값을 소정배수 하였을 때의 위치를 중심으로 α에 해당하는 주변의 소정 개수의 화소들을 포함하는 검색 범위(searching area)를 설정하고, 검색 범위에 대해서 비교 영상과의 스테레오 정합을 수행하여 변이 값을 추정한다.
하위 계층의 변이값을 토대로 상위 계층(예를 들어, 레벨 2)에서 스테레오 정합을 수행하는데, 도 7에서와 같이, 레벨 2의 원본 영상(좌영상과 우영상 중 하나이며, 여기서는 좌영상을 기준 영상으로 설정한 것으로 예로 함)의 화소의 좌표값인 i를 스케일 변수 S로 나누어 이전 변이값의 좌표를 구한다. 스케일 변수 S는
Figure 112015058750858-pat00031
인데, 여기서, Ws는 소스 영상(여기서는 레벨 2의 원본 영상)의 폭을 나타내고, Wd는 변이 영상(여기서는 레벨 3의 변이 영상)의 폭을 나타낸다. 여기서 이전 변이값의 좌표는 레벨 3의 정규화된 영상에서 대응하는 좌표를 나타낸다.
이전 변이값의 좌표를 구한 다음에, 구해진 좌표에 해당하는 위치의 변이값
Figure 112015058750858-pat00032
와 이에 이웃하는 점들의 변이값까지 포함하는 변이 후보군(candidates)
Figure 112015058750858-pat00033
을 구한다. 이때, 변이 후보군은 구해진 좌표에 해당하는 위치를 기준으로 ±n 화소 범위 내에 위치한 화소들의 변이를 포함한다.
그리고, 검색 범위를 구한다. 검색 범위는 다음과 같이 산출될 수 있다.
Figure 112015058750858-pat00034
여기서, α는 변이의 정수배(S)로 인해 생기는 오차범위를 고려하여 검색 범위 보정을 위한 변수를 나타낸다. 예를 들어, d3이 3이고, 정확한 값이라고 가정하면, d2는 6(= 3 x 2)이 아니라 { 5, 6, 7 } 중의 하나일 수 있다. d3=3이 정확하지 않을 수 있으니 필요에 따라 ±n 화소 범위를 넓게 할 수도 있다.
검색 범위 내에서 스테레오 정합을 수행하여 가장 유사도가 높은 위치의 변이값을 선택하여 상위 계층 즉, 레벨 2의 변이 영상을 구한다.
레벨 2에서의 변이 영상이 구해지면, 레벨2의 변이 영상을 변이 다운 샘플링을 하여 다시 레벨 3의 변이 영상을 구한다(S390). 이때, 다운 샘플링으로 구해진 레벨3의 변이 영상은 기존에 스테레오 정합으로 구해진 것과는 다른 영상이다.
다운 샘플링으로 구해진 레벨3의 변이영상을 토대로 다시 가중치 변이 영상을 구한다(S400). 즉, 가중치를 구하는 레인지 텀을 수행하여, 레벨 3의 변이 영상을 이용하여 해당 영상에 대한 가중치를 구하고, 구해진 가중치를 변이 영상에 적용하여 가중치 변이 영상을 구한다.
그리고 해상도를 향상시키는 적응적 업샘플링(up-sampling)을 수행한다(S410). 위에서와 같이, 인접 계층 영상 간의 가중치를 산출하는데, 하위 계층인 레벨 3의 가중치를 토대로 상위 계층인 레벨 2의 가중치를 구하고, 이를 토대로 위의 수학식 8을 통하여 레벨 2의 원본 영상에 대한 가중치를 산출하여 레벨 2의 가중치 변이 영상을 구한다. 그리고 하위 계층에서의 가중치 변이 영상과 상위 계층에서의 가중치 변이 영상을 이용하여 보간된 가중치 변이 영상을 산출한다.
여기서, 하위 계층에서의 가중치 변이 영상
Figure 112015058750858-pat00035
는 하위 계층의 가중치 변이(weighted disparity)이므로 상위 계층의 가중치 변이 기반으로 변환하여 적응적 업샘플링을 수행한다.
이후, 같은 계층에서 가중치를 구하는 레인지 텀을 수행하여, 레벨 2의 유도 영상을 이용하여 해당 영상에 대한 가중치를 구하고, 구해진 가중치를 유도 영상에 적용한 가중치 영상 및 구해진 가중치를 보간된 가중치 변이 영상에 적용하여 가중치 변이 영상을 구한다(S340). 그리고 구해진 가중치 변이 영상을 가중치 영상으로 나누어 정규화된 영상을 구한다(S350).
이러한 과정을 최상위 계층까지 반복적으로 수행하여 최종적으로 개선된 변이 영상을 획득한다.
스테레오 영상에서 대응점을 찾아 변이를 구하는 스테레오 정합과 초기 정합 결과를 개선하는 변이 개선(disparity enhancement) 방법을 계층적인 구조를 이용함으로써 스테레오 정합의 시간복잡도를 줄일 수 있다.
도 8은 본 발명의 실시 예에 따른 변이 추출 장치의 구조도이다.
첨부한 도 7에서와 같이, 본 발명의 실시 예에 따른 변이 추출 장치(100)는, 영상 획득부(110), 프로세서(120), 메모리(130) 및 출력부(140)를 포함한다.
영상 획득부(110)는 적어도 두 대 이상의 양안 또는 다시점 카메라로부터 동일시간에 취득된 양안 또는 다시점 영상을 포함하는 영상들을 입력받는다. 입력받은 영상들은 메모리(120)에 저장될 수 있다.
프로세서(120)는 위의 도 5 및 도 6을 토대로 설명한 방법들을 구현하도록 구성될 수 있다. 이를 위하여, 프로세서(110)는 다운 샘플링부(121), 스테레오 정합부(122), 레인지 텀 산출부(123), 변이 정규화부(124), 업스케일 정합부(125), 및 업샘플링부(126)를 포함한다.
다운 샘플링부(121)는 서로 다른 시점에서 획득한 두 개 이상의 영상들에 대해서 다운 샘플링 하여 영상 피라미드를 구성한다.
스테레오 정합부(122)는 계층 구조의 영상 피라미드를 구성하는 각 계층의 원본 영상에 대하여 스테레오 정합을 수행하여 변이 영상을 획득한다. 이때, 좌 영상 및 우영상의 일관성을 고려하는 가중치를 두어 정합을 하면서 일관성 보정을 동시에 수행한다.
레인지 텀 산출부(123)는 임의 계층에 대하여 변이 영상이 주어지면, 같은 계층의 유도 영상(원본 영상)을 이용하여 레인지 텀(Range term)을 계산하여 가중치를 구하고, 구해진 가중치를 유도 영상에 적용하여 가중치 영상을 획득하고, 구해진 가중치를 변이 영상에 적용하여 가중치 변이 영상을 획득한다.
변이 정규화부(124)는 레인지 텀 산출부(123)에서 구해진 가중치 변이 영상을 가중치 영상으로 나누어 정규화된 영상을 획득한다. 정규화된 영상은 약간의 평활화 과정이 거친 영상이다.
한편, 업스케일 정합부(125)는 하위 계층에 대하여 획득되는 정규화된 영상의 변이값을 토대로 상위 계층의 영상에 대하여 업스케일(up-scale) 스테레오 정합을 수행하여 변이 영상을 획득한다. 업스케일 정합부(125)는 상위 계층의 기준 영상의 임의 화소에 대응하는 위치의 하위 계층의 변이 영상의 변이값을 m배 하였을 때의 위치를 중심으로 상위 계층의 비교 영상에 대하여 검색 범위를 설정하고, 검색 범위에서 기준 영상과 비교 영상과의 스테레오 정합을 수행하여, 가장 유사도가 높은 위치의 변이값을 선택하여 해당 계층(상위 계층)의 변이 영상을 구한다.
업샘플링부(126)는 업스케일 정합부(125)에서 전달되는 변이 영상과 해당 계층의 원본 영상을 토대로 적응적 업샘플링을 수행한다. 인접 계층 즉, 하위 계층과 상위 계층 영상 간의 가중치를 구하고, 이를 토대로 한 하위 계층에서의 가중치 변이 영상과 상위 계층에서의 가중치 변이 영상을 획득하며, 이러한 가중치 변이 영상들을 보간된 가중치 변이 영상을 구하고 최종적으로 수학식 10을 통해 상위 계층에서의 가중치 변이 영상을 구한다.
메모리(130)는 프로세서(110)와 연결되고 프로세서(120)의 동작과 관련한 다양한 정보를 저장한다.
출력부(140)는 프로세서(120)와 연결되며 입력되는 영상을 디스플레이한다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (14)

  1. 복수 계층의 영상 피라미드 형태의 두 개 이상의 영상들에 대해서, 스테레오 정합을 수행하여 변이 영상을 획득하는 단계;
    이전 하위 계층의 변이 영상의 변이값을 토대로 설정되는 검색 범위에 대해서 해당 상위 계층의 업스케일(up-scale) 스테레오 정합을 수행하여 상기 상위 계층의 변이 영상을 획득하는 단계;
    상기 상위 계층의 변이 영상을 토대로 업샘플링(up-sampling)을 수행하여 해상도가 향상된 변이 영상을 획득하는 단계; 및
    동일 계층의 유도 영상을 이용하여 레인지 텀(Range term)을 계산하여 가중치를 구하고, 구해진 가중치를 해당 계층의 변이 영상에 적용하여 가중치 변이 영상을 획득하는 단계
    를 포함하는, 변이 추출 방법.
  2. 제1항에 있어서
    상기 가중치 변이 영상을 정규화하는 단계
    를 더 포함하는, 변이 추출 방법.
  3. 제2항에 있어서,
    상기 상위 계층의 변이 영상을 획득하는 단계, 향상된 변이 영상을 획득하는 단계, 상기 가중치 변이 영상을 획득하는 단계, 및 상기 정규화하는 단계를 최상위 계층까지 반복적으로 수행하여 최종적으로 변이 영상을 획득하는, 변이 추출 방법.
  4. 제2항에 있어서
    상기 가중치 변이 영상을 정규화하는 단계는 상기 가중치 변이 영상을 가중치 영상--상기 가중치 영상은 상기 레인지 텀을 토대로 구해지는 가중치를 구하고 해당 계층의 유도 영상에 적용하여 획득한 영상임--으로 나누어서 정규화된 변이 영상을 획득하는, 변이 추출 방법.
  5. 제1항에 있어서,
    상기 상위 계층의 변이 영상을 획득하는 단계는
    상기 영상 피라미드의 최하위 계층의 좌영상 및 우영상에 대해서 스테레오 정합을 수행하여 좌 변이 영상 및 우 변이 영상을 획득하는 단계; 및
    상기 좌영상 및 우영상의 일관성을 고려하는 가중치를 토대로 상기 좌 변이 영상 및 우 변이 영상에 대한 일관성 보정을 수행하는 단계
    를 포함하는, 변이 추출 방법.
  6. 제1항에 있어서,
    상기 상위 계층의 변이 영상을 획득하는 단계는
    하위 계층의 변이 영상의 변이값을 소정배수 하였을 때의 위치를 중심으로 주변의 소정 개수의 화소들을 포함하는 검색 범위를 설정하는 단계; 및
    상기 검색 범위에 대해서 스테레오 정합을 수행하여 상기 상위 계층의 변이 영상을 획득하는 단계
    를 포함하는, 변이 추출 방법.
  7. 제1항에 있어서,
    상기 해상도가 향상된 변이 영상을 획득하는 단계는 상위 계층의 가중치 변이 기반으로 변환하여 적응적 업샘플링을 수행하는, 변이 추출 방법.
  8. 제7항에 있어서,
    상기 해상도가 향상된 변이 영상을 획득하는 단계는,
    상기 상위 계층의 변이 영상을 다운 샘플링을 하여 하위 계층의 변이 영상을 구하는 단계;
    상기 하위 계층의 변이 영상을 토대로 하위 계층의 가중치 변이 영상을 구하는 단계;
    상기 하위 계층의 가중치를 토대로 구해지는 상위 계층의 가중치에 따라 상기 상위 계층의 가중치 변이 영상을 구하는 단계; 및
    상기 하위 계층의 가중치 변이 영상과 상위 계층의 가중치 변이 영상을 이용하여 보간된 가중치 변이 영상을 구하는 단계
    를 포함하는, 변이 추출 방법.
  9. 복수의 영상을 획득하는 영상 획득부;
    상기 영상들을 토대로 변이 영상을 획득하는 프로세서를 포함하며,
    상기 프로세서는,
    두 개 이상의 영상들에 대해서, 스테레오 정합을 수행하여 변이 영상을 획득하는 스테레오 정합부;
    이전 하위 계층의 변이 영상의 변이값을 토대로 설정되는 검색 범위에 대해서 해당 상위 계층의 업스케일(up-scale) 스테레오 정합을 수행하여 상기 상위 계층의 변이 영상을 획득하는 업스케일 정합부;
    상기 상위 계층의 변이 영상을 토대로 업샘플링(up-sampling)을 수행하여 해상도가 향상된 변이 영상을 획득하는 업샘플링부; 및
    동일 계층의 유도 영상을 이용하여 레인지 텀(Range term)을 계산하여 가중치를 구하고, 구해진 가중치를 해당 계층의 변이 영상에 적용하여 가중치 변이 영상을 획득하는 레인지텀 산출부
    를 포함하는, 변이 추출 장치.
  10. 제9항에 있어서
    상기 프로세서는
    상기 가중치 변이 영상을 정규화하는 변이 정규화부
    를 더 포함하는, 변이 추출 장치.
  11. 제9항에 있어서
    상기 스테레오 정합부는 복수 계층의 영상 피라미드 형태의 두 개 이상의 영상들에서, 상기 영상 피라미드의 최하위 계층의 좌영상 및 우영상에 대해서 스테레오 정합을 수행하여 좌 변이 영상 및 우 변이 영상을 획득하고, 상기 좌영상 및 우영상의 일관성을 고려하는 가중치를 토대로 상기 좌 변이 영상 및 우 변이 영상에 대한 일관성 보정을 수행하는 변이 추출 장치.
  12. 제9항에 있어서
    상기 업스케일 정합부는 하위 계층의 변이 영상의 변이값을 소정배수 하였을 때의 위치를 중심으로 주변의 소정 개수의 화소들을 포함하는 검색 범위를 설정하고, 상기 검색 범위에 대해서 스테레오 정합을 수행하여 상기 상위 계층의 변이 영상을 획득하는, 변이 추출 장치.
  13. 제9항에 있어서,
    상기 업샘플링부는 상위 계층의 가중치 변이 기반으로 변환하여 적응적 업샘플링을 수행하는, 변이 추출 장치.
  14. 제13항에 있어서,
    상기 업샘플링부는
    상기 상위 계층의 변이 영상을 다운 샘플링을 하여 획득되는 하위 계층의 변이 영상에 대한 가중치를 토대로 구해지는 상위 계층의 가중치에 따라 상기 상위 계층의 가중치 변이 영상을 구하고, 상기 하위 계층의 가중치 변이 영상과 상위 계층의 가중치 변이 영상을 이용하여 보간된 가중치 변이 영상을 구하여 적응적 업샘플링을 수행하는, 변이 추출 장치.














KR1020150086143A 2015-06-17 2015-06-17 계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치 KR101766431B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150086143A KR101766431B1 (ko) 2015-06-17 2015-06-17 계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150086143A KR101766431B1 (ko) 2015-06-17 2015-06-17 계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20160149088A KR20160149088A (ko) 2016-12-27
KR101766431B1 true KR101766431B1 (ko) 2017-08-08

Family

ID=57736708

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150086143A KR101766431B1 (ko) 2015-06-17 2015-06-17 계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101766431B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460795A (zh) * 2018-03-05 2018-08-28 成都通甲优博科技有限责任公司 倒金字塔式双目立体匹配方法及***

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492649B (zh) * 2018-10-31 2021-09-21 华南理工大学 一种基于图像金字塔距离度量的近邻传播立体匹配方法
CN111899326A (zh) * 2020-06-18 2020-11-06 苏州小优智能科技有限公司 一种基于gpu并行加速的三维重建方法
CN116740161B (zh) * 2023-08-14 2023-11-28 东莞市爱培科技术有限公司 一种双目立体匹配的聚合方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100267259B1 (ko) 1998-02-20 2000-10-16 박호군 여러대의 카메라 입력 영상을 이용한 조밀한 깊이정보 추출방법및 그를 이용한 중간영상 합성방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100267259B1 (ko) 1998-02-20 2000-10-16 박호군 여러대의 카메라 입력 영상을 이용한 조밀한 깊이정보 추출방법및 그를 이용한 중간영상 합성방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Min, Dongbo, and Kwanghoon Sohn. "Cost aggregation and occlusion handling with WLS in stereo matching." IEEE Transactions on Image Processing 17.8 (2008.08): 1431-1442.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460795A (zh) * 2018-03-05 2018-08-28 成都通甲优博科技有限责任公司 倒金字塔式双目立体匹配方法及***

Also Published As

Publication number Publication date
KR20160149088A (ko) 2016-12-27

Similar Documents

Publication Publication Date Title
US10818026B2 (en) Systems and methods for hybrid depth regularization
CN106651938B (zh) 一种融合高分辨率彩色图像的深度图增强方法
Yang et al. Color-guided depth recovery from RGB-D data using an adaptive autoregressive model
CN108596975B (zh) 一种针对弱纹理区域的立体匹配算法
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
JP2016508652A (ja) 画像シーケンスにおける物体のオクルージョンの決定
CN107622480B (zh) 一种Kinect深度图像增强方法
Lo et al. Joint trilateral filtering for depth map super-resolution
US20140035909A1 (en) Systems and methods for generating a three-dimensional shape from stereo color images
KR101766431B1 (ko) 계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치
CN107689050B (zh) 一种基于彩色图像边缘引导的深度图像上采样方法
KR20130120730A (ko) 변이 공간 영상의 처리 방법
Tan et al. Stereo disparity through cost aggregation with guided filter
JP2018181047A (ja) 三次元形状モデル生成装置、三次元形状モデル生成方法及びプログラム
CN108805841B (zh) 一种基于彩色图引导的深度图恢复及视点合成优化方法
Keaomanee et al. Implementation of four kriging models for depth inpainting
Yang et al. Hierarchical joint bilateral filtering for depth post-processing
Zhang et al. Local stereo disparity estimation with novel cost aggregation for sub-pixel accuracy improvement in automotive applications
Zhang et al. A new closed loop method of super-resolution for multi-view images
KR20160138847A (ko) 변이 영상 생성 방법 및 장치
KR101532642B1 (ko) 깊이정보 확장장치 및 방법
Wang et al. Depth map restoration and upsampling for kinect v2 based on ir-depth consistency and joint adaptive kernel regression
KR101607504B1 (ko) 합산 영역 테이블 방식을 이용한 스테레오 매칭방법
Liu et al. Semi-global depth from focus
Donate et al. Efficient and accurate subpixel path based stereo matching

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant