KR101957089B1 - 스테레오 정합을 위한 심층 자기유도 비용집계 방법 및 시스템 - Google Patents

스테레오 정합을 위한 심층 자기유도 비용집계 방법 및 시스템 Download PDF

Info

Publication number
KR101957089B1
KR101957089B1 KR1020180002272A KR20180002272A KR101957089B1 KR 101957089 B1 KR101957089 B1 KR 101957089B1 KR 1020180002272 A KR1020180002272 A KR 1020180002272A KR 20180002272 A KR20180002272 A KR 20180002272A KR 101957089 B1 KR101957089 B1 KR 101957089B1
Authority
KR
South Korea
Prior art keywords
matching
cost
stereo image
magnetic induction
stereo
Prior art date
Application number
KR1020180002272A
Other languages
English (en)
Inventor
박인규
윌리엄
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020180002272A priority Critical patent/KR101957089B1/ko
Application granted granted Critical
Publication of KR101957089B1 publication Critical patent/KR101957089B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

일 실시예에 따른 스테레오 정합을 위한 심층 자기유도 비용집계 방법은, 한 쌍의 스테레오 이미지로부터 비용 볼륨 슬라이스(cost volume slice)를 생성하는 단계; 상기 생성된 비용 볼륨 슬라이스에 기초하여 상기 스테레오 이미지를 매칭시키는 단계; 및 상기 스테레오 이미지를 매칭시킴에 따라 디스패리티 맵을 획득함으로써 자기유도 정합 비용을 집계하는 단계를 포함할 수 있다.

Description

스테레오 정합을 위한 심층 자기유도 비용집계 방법 및 시스템{METHOD AND SYSTEM ON DEEP SELF-GUIDED COST AGGREGATION FOR STEREO MATCHING}
아래의 설명은 스테레오 정합을 위한 자기유도 비용집계 기술에 관한 것이다.
사람의 시각은 주위 환경의 정보를 얻기 위한 감각의 하나로서, 두 눈을 통해 사물의 위치와 멀고 가까움을 인지할 수 있다. 이러한 시각 구조를 기계에 구현함으로써, 인간을 대신할 수 있는 로봇을 개발해 왔는데, 로봇의 시각 시스템은 스테레오 카메라(즉, 좌측 카메라와 우측 카메라)로 구성되고, 두 개의 카메라로부터 영상을 읽어 들여 하나의 3차원 정보로 재구성하게 된다. 이때, 하나의 영상은 3차원 공간을 2차원 공간으로 사영시킨 것을 의미하는데, 이 과정에서 3차원 거리 정보(depth)를 상실하게 되고, 이것으로부터 3차원 공간을 직접 복원하는 것은 매우 어렵게 된다. 하지만, 서로 다른 위치에서 얻어진 두 장 이상의 영상이 있을 경우에는 3차원 공간의 복원을 수행할 수 있다. 즉, 실제 공간상의 한 점이 두 장의 영상에 맺혔을 때 두 영상에서 나타나는 그 점의 대응점을 찾고, 기하학적인 구조를 이용하면 그 점의 실제 공간에서의 위치를 찾을 수 있다. 두 영상의 대응점을 찾는 일(이하, 스테레오 매칭)은 정류된 두 이미지 사이의 일치를 찾기 위해 지난 수십 년 동안 인기있는 연구 주제이다. 일반적으로 스테레오 매칭 방법은 비용 계산, 비용 집계, 불일치 계산, 불일치 해소의 네 개의 단계로 구성된다.
비용 집계는 로컬 또는 글로벌 스테레오 매칭에 중요한 역할을 수행한다. 비용 집계 방법의 대부분은 유도 영상을 이용하는 조인트 영상 필터링과 유사한 개념을 공유한다. 이에 따라 유도 영상이 필요하다. 이때, 유도 영상의 비슷한 색상이 비슷한 불일치 값을 가져야 한다고 가정한다. 그러나 유사한 불일치 값을 갖는 매우 텍스처링 된 영역이 있는 경우, 이러한 가정은 종종 실패하게 된다.
참고자료: 한국공개특허 제10-2015-0121179, 한국공개특허 제10-2014-0030635
깊은 컨볼루셔널 신경망을 이용하여 비용 볼륨 슬라이스에 기반하여 스테레오 매칭을 수행함에 따라 정확한 디스패리티 맵(Disparity-Map)을 획득하기 위한 자기유도 비용집계 방법 및 시스템을 제공할 수 있다.
스테레오 정합을 위한 심층 자기유도 비용집계 방법은, 비용 볼륨 슬라이스에 기초하여 스테레오 이미지를 매칭시키는 단계; 및 상기 스테레오 이미지를 매칭시킴에 따라 디스패리티 맵을 획득함으로써 자기유도 정합 비용을 집계하는 단계를 포함할 수 있다.
상기 스테레오 이미지를 매칭시키는 단계는, 깊은 컨볼루셔널 신경망(DCNN: deep convolutional neural network)을 실행하여 상기 생성된 비용 볼륨 슬라이스에 기초하여 상기 스테레오 이미지를 매칭시키는 단계를 포함하고, 상기 깊은 컨볼루셔널 신경망(DCNN: deep convolutional neural network)은, 동적 가중치 네트워크(dynamic weight network)와 하강 필터링 네트워크(descending filtering network)로 구성될 수 있다.
상기 깊은 컨볼루셔널 신경망(DCNN: deep convolutional neural network)은, 정류된 선형 단위(ReLU) 레이어가 첫 번째 D-1 층을 따르는 D 개의 컨볼루션 층을 사용하고, 첫번째 레이어와 마지막 레이어를 제외한 모든 레이어에 대해 크기가 3 x 3 x 64 인 64 개의 커널이 존재하고, 첫 번째 콘볼루션 레이어가 3 x 3 x 1의 64 개 커널로 구성되고, 마지막 콘볼루션 레이어는 3 x 3 x 64 크기의 필터로 구성되며, 컨벌루션 레이어의 수는 지원 영역의 크기에 따라 설정될 수 있다.
상기 스테레오 이미지를 매칭시키는 단계는, 상기 깊은 컨볼루션 신경망을 이용하여 상기 비용 볼륨 슬라이스의 가중치를 측정하고 가중치 가산을 동시에 수행하는 단계를 포함할 수 있다.
상기 스테레오 이미지를 매칭시키는 단계는, 상기 비용 볼륨 슬라이스에서 색상과 그라디언트의 절삭된 절대차를 선택하여 비용 계산을 일치시킴에 따라 가중 비용 집계를 수행하는 단계를 포함할 수 있다.
상기 스테레오 이미지를 매칭시킴에 따라 디스패리티 맵을 획득함으로써 자기유도 정합 비용을 집계하는 단계는, 좌측 디스패리티 맵 및 우측 디스패리티 맵에 대한 일관성 검사를 수행하여 폐색 및 부정확한 디스패리티가 존재하는 픽셀을 감지하는 단계를 포함할 수 있다.
스테레오 정합을 위한 심층 자기유도 비용집계 시스템은, 비용 볼륨 슬라이스에 기초하여 상기 스테레오 이미지를 매칭시키는 매칭시키는 매칭부; 및 상기 스테레오 이미지를 매칭시킴에 따라 디스패리티 맵을 획득함으로써 자기유도 정합 비용을 집계하는 집계부를 포함할 수 있다.
유도 영상을 사용하지 않고 깊은 컨볼루셔널 신경망을 통하여 비용 볼륨 슬라이스에 기반하여 스테레오 이미지를 매칭시킴으로써 보다 빠르고 정확하게 디스패리티 맵을 획득할 수 있다.
도 1은 일 실시예에 따른 자기유도 비용집계 시스템의 구성을 설명하기 위한 블록도이다.
도 2는 일 실시예에 따른 자기유도 비용집계 시스템에서 자기유도 비용집계 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 자기유도 비용집계 시스템에서 깊은 자기유도 비용집계 방법의 개괄적인 개요를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 자기유도 비용집계 시스템에서 트레이닝 데이터의 예를 나타낸 도면이다.
도 5는 일 실시예에 따른 자기유도 비용집계 시스템에서 수행된 데이터와 종래의 데이터를 비교한 결과를 나타낸 예이다.
도 6은 일 실시예에 따른 자기유도 비용집계 시스템에서 제안하는 깊은 학습망의 개괄적인 개요를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 자기유도 비용집계 시스템에서 입력된 이미지와 디스패리티 맵을 나타낸 예이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 1은 일 실시예에 따른 자기유도 비용집계 시스템의 구성을 설명하기 위한 블록도이고, 도 2는 일 실시예에 따른 자기유도 비용집계 시스템에서 자기유도 비용집계 방법을 설명하기 위한 흐름도이다.
자기유도 비용집계 시스템(100)은 매칭부(110) 및 집계부(120)를 포함할 수 있다. 자기유도 비용집계 시스템(100)의 구성요소들은 도 2의 자기유도 비용집계 방법이 포함하는 단계들(210 내지 220)을 수행하도록 자기유도 비용집계 시스템(100)을 제어할 수 있다.
단계(210)에서 매칭부(110)는 비용 볼륨 슬라이스에 기초하여 스테레오 이미지를 매칭시킬 수 있다. 매칭부(110)는 깊은 컨볼루셔널 신경망(DCNN: deep convolutional neural network)을 실행하여 비용 볼륨 슬라이스에 기초하여 스테레오 이미지를 매칭시킬 수 있다. 매칭부(110)는 깊은 컨볼루셔널 신경망을 이용하여 비용 볼륨 슬라이스의 가중치를 측정하고 가중치 가산을 동시에 수행할 수 있다. 생성부(120)는 비용 볼륨 슬라이스에서 색상과 그라디언트의 절삭된 절대차를 선택하여 비용 계산을 일치시킴에 따라 가중 비용 집계를 수행할 수 있다.
단계(220)에서 집계부(120)는 스테레오 이미지를 매칭시킴에 따라 디스패리티 맵을 획득함으로써 자기유도 정합 비용을 집계할 수 있다. 집계부(120)는 좌측 디스패리티 맵 및 우측 디스패리티 맵에 대한 일관성 검사를 수행하여 폐색 및 부정확한 디스패리티가 존재하는 픽셀을 감지할 수 있다.
도 3은 일 실시예에 따른 자기유도 비용집계 시스템에서 깊은 자기유도 비용집계 방법의 개괄적인 개요를 설명하기 위한 도면이다.
자기유도 비용집계 시스템은 매칭 비용 모델로서 색상과 그라디언트의 절삭된 절대차를 선택할 수 있다. 비용 계산을 매칭시킴에 따라 가중 비용 집계를 수행할 수 있다. 일반적으로, 유도 영상은 윈도우의 각 픽셀에 대한 가중치를 측정하기 위하여 필요하다. 실시예에서는, 유도 컬러 영상을 사용하는 대신 비용 볼륨 슬라이스를 사용할 수 있다. 이에 따라 심층 학습 기술을 적용하여 가중치를 측정하고 가중치 가산을 동시에 수행할 수 있다.
마지막으로, 디스패리티 벨류(disparity value)를 획득하기 위해 WTA(Winner-Take-All) 전략을 수행할 수 있다. 좌측 디스패리티 맵과 우측 디스패리티 맵을 계산한 다음 좌우측 일관성 검사를 사용하여 폐색 및 부정확한 불일치가 존재하는 픽셀을 감지할 수 있다. 홀(Hole)을 채우기 위해, 동일한 주사선에서 정확한 디스패리티 갖는 가장 가까운 픽셀의 가장 낮은 디스패리티 벨류가 할당될 수 있다. 그 후, 깊이 경계를 보존하기 위해 어댑티브 미디언 필터(adaptive median filter)를 사용하여 디스패리티를 수정할 수 있다.
도 3을 참고하면, 네트워크 구조의 개요를 나타낸 것이다. 깊은 컨볼루셔널 신경망의 구조는 정류된 선형 단위(ReLU) 레이어가 첫 번째 D-1 레이어를 따르는 D 개의 컨볼루션 레이어를 사용할 수 있다.
처음과 마지막을 제외한 모든 레이어에 대해 크기가 3 x 3 x 64 인 64 개의 커널을 포함할 수 있다. 이는 작은 필터가 각 레이어의 64 개 채널에서 수행된다는 것을 의미한다. 첫 번째 콘볼루션 레이어는 3 x 3 x 1의 64 개 커널로 구성되며 마지막 콘볼루션 레이어는 3 x 3 x 64 크기의 필터로 구성될 수 있다.
컨벌루션 레이어의 수는 다루기를 원하는 지원 영역의 크기에 따라 설정될 수 있다. 예를 들면, 19 x 19개의 지원 영역에 대해, 지원 영역 내의 중심 화소가 다른 모든 화소에 영향을 미칠 수 있도록 D = 9로 설정할 수 있다.
도 4는 일 실시예에 따른 자기유도 비용집계 시스템에서 트레이닝 데이터의 예를 나타낸 도면이다.
도 4를 참고하면, 두 영역에서의 트레이닝 데이터 세트의 예제이다. 첫 번째 행과 두 번째 행은 주변의 깊이 불연속 패치이고, 세 번째 행은 균일한 깊이 패치를 나타낸 것이다.
비용 볼륨 슬라이스를 실제로 측정하는 것이 어렵기 때문에 비용 집계 단계에 대한 깊은 학습망을 활용하기가 어렵다. 이에 따라 유도된 필터링된 비용 볼륨을 사용할 수 있다. 이때, 올바른 디스패리티를 초래하는 필터링된 비용 볼륨만 선택할 수 있다.
실시예에서 제안되는 깊은 학습망은 종단 간 학습(end-to-end learning)이므로 일련의 패치가 일련의 이미지 대신 데이터 세트로 생성될 수 있다. 데이터 세트는 깊이 불연속 패치와 균일한 깊이 패치, 두 개의 세트가 존재한다. 이러한 두 개의 세트의 비율은 50:50이므로 트레이닝된 매개 변수가 두 영역에서 정상적으로 작동할 수 있다.
도 5는 일 실시예에 따른 자기유도 비용집계 시스템에서 수행된 데이터와 종래의 데이터를 비교한 결과를 나타낸 예이다.
실시예에서 제안된 제안된 깊은 자기유도 비용집계 방법(DEEP)의 성능을 평가하기 위해 종래의 GF와 종래의 NL와 같은 방법을 비교할 수 있다. 또한, 단순 평균 필터(BOX)와 결과를 비교할 수 있다.
도 5는 책(Books) 데이터 세트의 질적 비교를 나타낸 것으로, 확대/ 축소된 책 데이터의 디스패리티 맵을 나타낸 것이다. (a)는 왼쪽 이미지 입력, (b)는 실측 자료, (c)는 BOX, (d)는 GF, (e)는 NL, (f)는 제안된 방법(DEEO)을 의미한다. 이에 따르면, 제안된 방법이 유사한 디스패리티를 갖는 고도로 텍스처링된 영역에서 잘 수행된다는 것을 확인할 수 있다. 도 5에서 표시된 빨간색 박스는 질감이 잘된 영역과 줌 버전을 나타내므로 잘 이해할 수 있다.
　유도 영상 기반의 가중치는 고도의 텍스처링된 영역에서의 실측된 디스패리티 기반의 가중치와 동일하지 않을 수 있다.
기존의 방법이 그 영역에서 정확하고 부드러운 불일치를 획득하지 못하는 반면, 제안된 깊은 자기 유도 방법은 더 나은 결과를 획득할 수 있다.
표 1은 각 데이터 세트의 불량 화소 비율을 나타낸다.
표 1:
Figure 112018002115710-pat00001
　불량 픽셀 비율은 비폐색 영역을 사용하여 계산될 수 있다. 제안된 방법은 다른 종래의 비용 집계 방법을 사용하여 비교 가능한 결과를 획득할 수 있는 것으로 나타났다. 실시예에 따른 방법은 유도 영상의 핸드캡으로부터 자유롭다.
본 발명은 정확한 스테레오 매칭 결과를 획득하기 위하여 자기유도 비용 집계 방법을 제안하였다. 먼저 트레이닝 데이터 세트에서 무작위로 훈련 패치를 생성하고, 가중치 매개 변수를 학습하기 위해 깊은 컨볼루셔널 신경망을 실행한다. 이때, 유도 영상을 사용하는 대신, 비용 볼륨 슬라이스를 자체 가이드하여 비용 집계를 수행할 수 있다.
도 6은 일 실시예에 따른 자기유도 비용집계 시스템에서 제안하는 깊은 학습망의 개괄적인 개요를 설명하기 위한 도면이다.
자기유도 비용집계 시스템은 자기유도 비용집계를 수행하기 위한 깊은 비용집계 네트워크(예를 들면, 깊은 컨볼루셔널 신경망)을 제안할 수 있다. 실시예에서 제안된 깊은 비용집계 네트워크는 동적 가중치 네트워크와 하향 필터링 네트워크를 포함하는 두 개의 하위 네트워크로 구성될 수 있다. 동적 가중치 네트워크는 각 입력 픽셀에 대해 일련의 동적 가중치를 생성하고, 이러한 가중치는 필터링 네트워크를 위한 지침으로 유용하다. 하향 필터링 네트워크는 입력 비용 볼륨 슬라이스에 대해 에지 인식 필터링 작업을 수행할 수 있다. 이에 따라 에지 인식 필터링된 비용 볼륨 슬라이스를 사용하게 된다.
도 6을 참고하면, 깊은 자기유도 비용집계 네트워크의 개요를 나타낸 것으로, 여기서 W와 H는 입력된 너비와 높이를 의미한다. 또한, d 및 r은 지원 영역의 직경 및 반경을 의미한다. 손실 함수는 피쳐 재구성 손실 및 평균 제곱 손실 함수로 구성될 수 있다
도 7은 일 실시예에 따른 자기유도 비용집계 시스템에서 입력된 이미지와 디스패리티 맵을 나타낸 예이다. 예를 들면, 2015 KITTI 트레이닝 데이터로, 왼쪽은 왼쪽 이미지 입력, 오른쪽은 제안된 방법의 디스패리티 맵을 나타낸 것이다.
실제로 측정된 비용 볼륨 슬라이스가 없기 때문에 깊은 학습 망을 적용하기가 어렵다. 따라서 유도된 필터링된 비용 볼륨을 사용할 수 있다. 이때, 실제로 측정된 디스패리티 맵이 지침으로 활용될 수 있다.
실시예에서는, 깊이 불연속 주위의 패치의 80%가 각 트레이닝 이미지에서 1000 개의 패치를 임의로 추출할 수 있다. 이때, 회전 및 대비 불변성을 고려하여 데이터가 증가될 수 있다.
도 7을 참고하면, Middlebury 데이터 세트와 KITTI 데이터 세트를 사용하여 성능을 검증하는 평가를 수행할 수 있다. 표 2는 200 개의 KITTI 트레이닝 이미지의 평균 불량 화소 비율을 비교한 것을 나타낸 것이다.
Figure 112018002115710-pat00002
KITTI 벤치 마크와 동일한 평가 척도가 활용될 수 있다. 표 2를 통하여 제안된 방법(DEEP)이 가장 작은 평균 오차를 달성함을 확인할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (7)

  1. 스테레오 정합을 위한 심층 자기유도 비용집계 방법에 있어서,
    비용 볼륨 슬라이스(cost volume slice)에 기초하여 스테레오 이미지를 매칭시키는 단계; 및
    상기 스테레오 이미지를 매칭시킴에 따라 디스패리티 맵을 획득함으로써 자기유도 정합 비용을 집계하는 단계
    를 포함하고,
    상기 스테레오 이미지를 매칭시키는 단계는,
    깊은 컨볼루셔널 신경망(DCNN: deep convolutional neural network)을 실행하여 상기 비용 볼륨 슬라이스에 기초하여 상기 스테레오 이미지를 매칭시키는 단계
    를 포함하고,
    상기 깊은 컨볼루셔널 신경망(DCNN: deep convolutional neural network)은, 동적 가중치 네트워크(dynamic weight network)와 하강 필터링 네트워크(descending filtering network)로 구성되는
    심층 자기유도 비용집계 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 깊은 컨볼루셔널 신경망(DCNN: deep convolutional neural network)은,
    정류된 선형 단위(ReLU) 레이어가 첫 번째 D-1 층을 따르는 D 개의 컨볼루션 층을 사용하고,
    첫번째 레이어와 마지막 레이어를 제외한 모든 레이어에 대해 크기가 3 x 3 x 64 인 64 개의 커널이 존재하고,
    첫 번째 콘볼루션 레이어가 3 x 3 x 1의 64 개 커널로 구성되고, 마지막 콘볼루션 레이어는 3 x 3 x 64 크기의 필터로 구성되며,
    컨벌루션 레이어의 수는 지원 영역의 크기에 따라 설정되는
    심층 자기유도 비용집계 방법.
  4. 제1항에 있어서,
    상기 스테레오 이미지를 매칭시키는 단계는,
    상기 깊은 컨볼루셔널 신경망을 이용하여 상기 비용 볼륨 슬라이스의 가중치를 측정하고 가중치 가산을 동시에 수행하는 단계
    를 포함하는 심층 자기유도 비용집계 방법.
  5. 스테레오 정합을 위한 심층 자기유도 비용집계 방법에 있어서,
    비용 볼륨 슬라이스(cost volume slice)에 기초하여 스테레오 이미지를 매칭시키는 단계; 및
    상기 스테레오 이미지를 매칭시킴에 따라 디스패리티 맵을 획득함으로써 자기유도 정합 비용을 집계하는 단계
    를 포함하고,
    상기 스테레오 이미지를 매칭시키는 단계는,
    상기 비용 볼륨 슬라이스에서 색상과 그라디언트의 절삭된 절대차를 선택하여 비용 계산을 일치시킴에 따라 가중 비용 집계를 수행하는 단계
    를 포함하는 심층 자기유도 비용집계 방법.
  6. 스테레오 정합을 위한 심층 자기유도 비용집계 방법에 있어서,
    비용 볼륨 슬라이스(cost volume slice)에 기초하여 스테레오 이미지를 매칭시키는 단계; 및
    상기 스테레오 이미지를 매칭시킴에 따라 디스패리티 맵을 획득함으로써 자기유도 정합 비용을 집계하는 단계
    를 포함하고,
    상기 스테레오 이미지를 매칭시킴에 따라 디스패리티 맵을 획득함으로써 자기유도 정합 비용을 집계하는 단계는,
    좌측 디스패리티 맵 및 우측 디스패리티 맵에 대한 일관성 검사를 수행하여 폐색 및 부정확한 디스패리티가 존재하는 픽셀을 감지하는 단계
    를 포함하는 심층 자기유도 비용집계 방법.
  7. 스테레오 정합을 위한 심층 자기유도 비용집계 시스템에 있어서,
    비용 볼륨 슬라이스에 기초하여 스테레오 이미지를 매칭시키는 매칭시키는 매칭부; 및
    상기 스테레오 이미지를 매칭시킴에 따라 디스패리티 맵을 획득함으로써 자기유도 정합 비용을 집계하는 집계부
    를 포함하고,
    상기 매칭부는,
    깊은 컨볼루셔널 신경망(DCNN: deep convolutional neural network)을 실행하여 상기 비용 볼륨 슬라이스에 기초하여 상기 스테레오 이미지를 매칭시키는
    것을 포함하고,
    상기 깊은 컨볼루셔널 신경망(DCNN: deep convolutional neural network)은, 동적 가중치 네트워크(dynamic weight network)와 하강 필터링 네트워크(descending filtering network)로 구성되는
    자기유도 비용집계 시스템.
KR1020180002272A 2018-01-08 2018-01-08 스테레오 정합을 위한 심층 자기유도 비용집계 방법 및 시스템 KR101957089B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180002272A KR101957089B1 (ko) 2018-01-08 2018-01-08 스테레오 정합을 위한 심층 자기유도 비용집계 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180002272A KR101957089B1 (ko) 2018-01-08 2018-01-08 스테레오 정합을 위한 심층 자기유도 비용집계 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101957089B1 true KR101957089B1 (ko) 2019-03-11

Family

ID=65758533

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180002272A KR101957089B1 (ko) 2018-01-08 2018-01-08 스테레오 정합을 위한 심층 자기유도 비용집계 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101957089B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110487216A (zh) * 2019-09-20 2019-11-22 西安知象光电科技有限公司 一种基于卷积神经网络的条纹投影三维扫描方法
KR20210076851A (ko) * 2019-12-13 2021-06-24 넥스트브이피유 (상하이) 코포레이트 리미티드 시차 결정 방법, 전자 장치 및 컴퓨터 판독 가능한 저장 매체
KR102292064B1 (ko) * 2020-08-11 2021-08-20 오승택 얼굴의 스테레오 복원에서 에러 영역 마스킹을 위한 딥러닝 트레이닝 방법
US11127115B2 (en) 2019-12-13 2021-09-21 NextVPU (Shanghai) Co., Ltd. Determination of disparity
CN114494025A (zh) * 2020-10-23 2022-05-13 山东大学 一种基于解卷积神经网络双目视觉立体匹配方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150121179A (ko) * 2013-02-23 2015-10-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 실시간 스테레오 정합
JP2016157434A (ja) * 2015-02-23 2016-09-01 三菱電機株式会社 ストリートビューの画像をラベル付けする方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150121179A (ko) * 2013-02-23 2015-10-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 실시간 스테레오 정합
JP2016157434A (ja) * 2015-02-23 2016-09-01 三菱電機株式会社 ストリートビューの画像をラベル付けする方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Wen, Sihan. "Convolutional neural network and adaptive guided image filter based stereo matching." Imaging Systems and Techniques (IST), 2017 IEEE International Conference on. IEEE, 2017.* *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110487216A (zh) * 2019-09-20 2019-11-22 西安知象光电科技有限公司 一种基于卷积神经网络的条纹投影三维扫描方法
CN110487216B (zh) * 2019-09-20 2021-05-25 西安知象光电科技有限公司 一种基于卷积神经网络的条纹投影三维扫描方法
KR20210076851A (ko) * 2019-12-13 2021-06-24 넥스트브이피유 (상하이) 코포레이트 리미티드 시차 결정 방법, 전자 장치 및 컴퓨터 판독 가능한 저장 매체
KR102297082B1 (ko) 2019-12-13 2021-09-02 넥스트브이피유 (상하이) 코포레이트 리미티드 시차 결정 방법, 전자 장치 및 컴퓨터 판독 가능한 저장 매체
US11127115B2 (en) 2019-12-13 2021-09-21 NextVPU (Shanghai) Co., Ltd. Determination of disparity
KR102292064B1 (ko) * 2020-08-11 2021-08-20 오승택 얼굴의 스테레오 복원에서 에러 영역 마스킹을 위한 딥러닝 트레이닝 방법
CN114494025A (zh) * 2020-10-23 2022-05-13 山东大学 一种基于解卷积神经网络双目视觉立体匹配方法

Similar Documents

Publication Publication Date Title
KR101957089B1 (ko) 스테레오 정합을 위한 심층 자기유도 비용집계 방법 및 시스템
JP6431245B1 (ja) エッジ認識双方向画像処理
JP7005669B2 (ja) 畳み込み画像変換推定を実行するための方法およびシステム
KR102459853B1 (ko) 디스패리티 추정 장치 및 방법
CN106355570A (zh) 一种结合深度特征的双目立体视觉匹配方法
KR102483641B1 (ko) 양안 시차 영상의 처리 방법 및 장치
CN109345589A (zh) 基于自动驾驶车辆的位置检测方法、装置、设备及介质
CN107578376B (zh) 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法
CN104077804A (zh) 一种基于多帧视频图像构建三维人脸模型的方法
Zhuo et al. On the recovery of depth from a single defocused image
CN110084155B (zh) 一种密集人数计数的方法、装置、设备以及存储介质
JPWO2019167453A1 (ja) 画像処理装置、画像処理方法、およびプログラム
KR20040091877A (ko) 스테레오 영상 구현 시 기본행렬을 구하는 방법
CN109344846B (zh) 图像特征提取方法和装置
US20160267352A1 (en) System and method for constructing a statistical shape model
JP6359985B2 (ja) デプス推定モデル生成装置及びデプス推定装置
Sharma et al. Quantitative evaluation of panorama softwares
KR20210018114A (ko) 교차 도메인 메트릭 학습 시스템 및 방법
KR20180131788A (ko) 강인한 라이트필드 깊이 영상 추정 방법 및 장치
EP4187483A1 (en) Apparatus and method with image processing
KR102240570B1 (ko) 신장 트리 생성 방법 및 장치，스테레오 매칭 방법 및 장치，업 샘플링 방법 및 장치，및 기준 픽셀 생성 방법 및 장치
US10176628B2 (en) Method for creating a 3D representation and corresponding image recording apparatus
Ayadi et al. A parametric algorithm for skyline extraction
JP7099538B2 (ja) 画像処理装置および画像処理方法
KR102389295B1 (ko) 인스턴스 분할 기반 단일 실내 영상으로부터의 물체 크기 추정 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant