KR102289239B1

KR102289239B1 - 시차 추정 시스템, 방법, 전자 장치 및 컴퓨터 판독 가능한 저장 매체

Info

Publication number: KR102289239B1
Application number: KR1020200173186A
Authority: KR
Inventors: 수 팡; 지 저우; 신펑 펑
Original assignee: 넥스트브이피유 (상하이) 코포레이트 리미티드
Priority date: 2019-12-13
Filing date: 2020-12-11
Publication date: 2021-08-12
Also published as: US11158077B2; EP3836083B1; CN112991254A; KR20210076853A; WO2021114870A1; EP3836083A1; JP6902811B2; US20210209782A1; JP2021096850A

Abstract

시차 추정 시스템, 방법, 전자 장치 및 컴퓨터 판독 가능한 저장 매체를 제공한다. 상기 시차 추정 시스템은, 이미지 쌍의 각 이미지에 대해 특징 추출을 진행하고, 추출된 이미지 특징을 시차 생성 네트워크로 출력하도록 구성되는 특징 추출 네트워크; 및 상기 추출된 이미지 특징에 따라, 캐스케이딩된 복수 계층의 시차 처리를 진행하여, 크기가 순차적으로 증가한 복수의 시차 맵을 얻도록 구성되는 상기 시차 생성 네트워크를 포함하고, 상기 복수 계층의 시차 처리 중의 제1 계층의 시차 처리의 입력은 상기 계층의 시차 처리와 대응하는 크기를 갖는 복수의 이미지 특징을 포함하고, 상기 복수 계층의 시차 처리 중의 상기 제1 계층의 시차 처리를 제외한 각 계층의 시차 처리의 입력은 상기 계층의 시차 처리와 대응하는 크기를 갖는 하나 이상의 이미지 특징 및 전단계 계층에서 시차 처리에 의해 생성된 시차 맵을 포함한다.

Description

시차 추정 시스템, 방법, 전자 장치 및 컴퓨터 판독 가능한 저장 매체{Disparity estimation system and method, electronic device, and computer-readable storage medium}

본 공개는 컴퓨터 비전 기술분야에 관한 것으로, 특히 시차 추정 시스템, 방법, 전자 장치 및 컴퓨터 판독 가능한 저장 매체에 관한 것이다.

관련 기술에서, 컴퓨터 비전 기술을 이용하여 동일한 장면의 서로 다른 시각의 두 이미지에서의 각각 서로 매칭되는 픽셀 쌍 사이의 시차를 획득하여, 시차맵을 얻고, 상기 시차맵을 기반으로 상기 장면의 깊이 정보를 얻을 수 있으며, 상기 깊이 정보는 3차원 재구성, 자동 주행, 장애물 검출 등 각종 분야에 이용될 수 있다. 예시적으로, 컴퓨터 비전 기술을 이용하여 시차를 획득하는 방법은 국소적 영역 매칭 방법, 전역 최적화 방법, 세미 전역 방법 및 콘볼루션 신경망과 같은 신경망에 기반한 방법 등을 포함할 수 있다.픽셀을 기반으로국소적 영역

여기서 설명되는 방법은 반드시 이전에 이미 구상되거나 사용된 방법만은 아니다. 별도로 명시적으로 언급되지 않는 한, 여기서 설명되는 모든 방법은 여기에 포함되어 있다는 이유만으로 종래 기술로 간주되어서는 안 된다. 유사하게, 별도로 명시적으로 언급되지 않는 한, 여기서 언급한 문제가 모든 종래 기술에서 공인된 것으로 간주되어서는 안 된다

본 공개의 일 측면에 따르면, 특징 추출 네트워크 및 시차 생성 네트워크를 포함하고, 그 중에서 상기 특징 추출 네트워크는 이미지 쌍의 각 이미지에 대해 특징 추출을 진행하고, 추출된 이미지 특징을 시차 생성 네트워크로 출력하도록 구성되고, 상기 시차 생성 네트워크는 상기 추출된 이미지 특징에 따라, 캐스케이딩된(cascade) 복수 계층의 시차 처리를 진행하여, 크기가 순차적으로 증가한 복수의 시차 맵을 얻도록 구성되고, 상기 복수 계층의 시차 처리 중의 제1 계층의 시차 처리의 입력은 상기 계층의 시차 처리와 대응하는 크기를 갖는 복수의 이미지 특징을 포함하고, 상기 복수 계층의 시차 처리 중 상기 제1 계층의 시차 처리를 제외한 각 계층의 시차 처리의 입력은 상기 계층의 시차 처리와 대응하는 크기를 갖는 하나 또는 복수의 이미지 특징 및 상기 계층의 전(前)단계 계층에서 시차 처리에 의해 생성된 시차 맵을 포함하는 시차 추정 시스템을 제공한다.

본 공개의 다른 일 측면에 따르면, 이미지 쌍의 각 이미지에 대해 특징 추출을 진행하는 단계; 및 추출된 이미지 특징에 따라, 캐스케이딩된 복수 계층의 시차 처리를 진행하여 크기가 순차적으로 증가한 복수의 시차 맵을 얻는 단계를 포함하는 시차 추정 방법에 있어서, 상기 복수 계층의 시차 처리 중의 제1 계층의 시차 처리의 입력은 상기 계층의 시차 처리와 대응하는 크기를 갖는 복수의 이미지 특징을 포함하고, 상기 복수 계층의 시차 처리 중의 상기 제1 계층의 시차 처리를 제외한 각 계층의 시차 처리의 입력은 상기 계층의 시차 처리와 대응하는 크기를 갖는 하나 이상의 이미지 특징 및 전단계 계층에서 시차 처리에 의해 생성된 시차 맵을 포함하는 시차 추정 방법을 제공한다.

본 공개의 다른 일 측면에 따르면, 프로세서; 및 프로그램 저장을 위한 메모리를 포함하고, 상기 프로그램은 명령을 포함하고, 상기 명령은 상기 프로세서에 의해 실행될 때 상기 프로세서가 본 공개에 따른 방법을 실행하도록 하는 전자 장치를 제공한다.

본 공개의 다른 일 측면에 따르면, 전자 장치의 프로세서에 의해 실행될 때, 상기 전자 장치가 본 공개에 따른 방법을 실행하도록 하는 명령을 포함하는 프로그램을 저장하는 컴퓨터 판독 가능한 저장 매체를 제공한다.

이하 도면과 결합하여 설명하는 예시적 실시예로부터, 본 공개의 더 많은 특징 및 장점이 명백해질 것이다.

첨부된 도면은 실시예를 예시적으로 도시하고 명세서의 일부를 구성하여, 명세서의 문자 설명과 함께 실시예의 예시적인 실시 형태를 해석하기 위한 것이다. 도시된 실시예는 단지 예시하기 위한 것일 뿐, 청구항의 범위를 제한하는 것은 아니다. 모든 도면에서, 동일한 도면 부호는 유사하지만 반드시 동일한 것이 아닌 요소를 가리킨다.
도 1은 본 공개의 예시적인 실시예에 따른 시차 추정 시스템을 나타낸 구조도이다.
도 2는 본 공개의 예시적인 실시예에 따른 이미지의 기본 구조 특징을 나타낸 개략도다.
도 3은 본 공개의 예시적인 실시예에 따른 이미지의 시맨틱(semantic) 특징을 나타낸 개략도다.
도 4는 본 공개의 예시적인 실시예에 따른 이미지의 가장자리 특징을 나타낸 개략도다.
도 5는 본 공개의 예시적인 실시예에 따른 시차 추정 시스템을 나타낸 가능한 전체 구조도이다.
도 6은 본 공개의 예시적인 실시예에 따른 시차 추정 시스템을 나타낸 다른 가능한 전체 구조도이다.
도 7a 및 도 7b는 각각 본 공개의 예시적인 실시예에 따른 네트워크 훈련에서 기반으로 되는 참고 이미지 및 대응하는 훈련 시차 맵을 나타낸 개략도다.
도 8은 본 공개의 예시적인 실시예에 따른, 훈련된 시차 추정 시스템을 사용하여 도 7a에 도시된 참고 이미지에 대해 캐스케이딩된 복수 계층의 시차 처리를 진행하여 얻은, 오른쪽에서 왼쪽으로 크기가 순차적으로 증가한 복수의 시차 맵을 나타낸 개략도다.
도 9는 본 공개의 예시적인 실시예에 따른 시차 추정 방법을 나타낸 흐름도이다.
도 10은 본 공개의 예시적인 실시예에 따른 시차 추정 방법 중 복수 계층의 시차 처리를 나타낸 흐름도이다.
도 11은 본 공개의 예시적인 실시예에 응용될 수 있는 예시적인 컴퓨팅 장치를 나타낸 구조도이다.

본 공개에서, 별도의 설명이 없는 한, 다양한 요소를 설명하기 위해 사용되는 “제1”, “제2” 등의 용어는 이러한 요소들의 위치적 관계, 타이밍 관계 또는 중요성 관계를 제한하기 위한 것이 아니라, 하나의 요소와 다른 하나의 요소를 구별하기 위한 것이다. 일부 예시에서, 제1 요소와 제2 요소는 해당 요소의 동일한 실시예를 가리킬 수 있으며, 일부 경우에는, 문맥에 기반하면, 이들은 서로 다른 실예를 가리킬 수도 있다.

본 공개에서의 다양한 예시의 설명에 사용되는 용어는 단지 특정 예시를 설명하기 위한 것일 뿐, 제한하려는 의도는 아니다. 문맥상 별도의 명시적인 언급이 없는 한, 요소의 수량이 특별히 한정되지 않으면, 해당 요소는 하나일 수도 있고 여러 개일 수 있다. 그밖에, 본 공개에서 사용하는 용어 “및/또는”은 열거된 항목의 임의의 하나 및 모든 가능한 조합 방식을 포함한다.

관련 기술에서, 컴퓨터 비전 기술을 이용하여 동일한 장면의 서로 다른 시각의 두 이미지에서의 각각 서로 매칭되는 픽셀 쌍 사이의 시차를 획득하여, 시차 맵을 얻고, 상기 시차맵을 기반으로 상기 장면의 깊이 정보를 얻을 수 있으며, 상기 깊이 정보는 3차원 재구성, 자동 주행, 장애물 검출 등 각종 분야에 이용될 수 있다. 예시적으로, 컴퓨터 비전 기술을 이용하여 시차를 획득하는 방법은 국소적 영역 매칭 방법, 전역 최적화 방법, 세미 전역 방법 및 콘볼루션 신경망과 같은 신경망에 기반한 방법 등을 포함할 수 있다.

국소적 영역 매칭 방법은 주로 매칭 비용 계산(Matching cost calculation), 비용 집계(Cost aggregation), 시차 계산 및 시차 최적화 등 단계를 포함하고, 속도가 빠르고 에너지 소모가 적지만, 알고리즘 효과 및 알고리즘 매개변수(예를 들면 매칭 창의 크기 등)와 관련되므로, 복잡한 장면에 대한 요구를 충족하기 어렵다. 국소적 영역 매칭 방법과 비교하여, 전역 최적화 방법은 매칭 정확도가 더 높은바, 평활옵션(Smooth Options)에 대해 가정하고, 시차 계산이라는 스테레오 매칭 문제를 에너지 최적화 문제로 전환시켜, 대부분 전역 최적화 방법은 비용 집합 단계를 건너뛰고, 매칭 비용 및 평활 옵션을 고려하여, 전역의 포인트에 대해 에너지 함수를 제시하며, 에너지 함수를 최소화하여, 시차를 얻었다. 그러나 국소적 영역 매칭 방법에 비해, 전역 최적화 방법은 계산량이 더 많고, 에너지 소모가 더 높다. 세미 전역 방법은 매칭 정확도 및 연산 속도의 균형을 어느 정도 맞출 수 있고, 전역의 포인트를 최적화하는 전역 알고리즘과 달리, 각 포인트의 에너지 함수를 여러 방향의 경로로 나누고, 각 경로에 대해서만 값을 구한 다음, 모든 경로의 값을 더하면 상기 포인트의 에너지를 얻을 수 있고, 각 경로의 값은 동적 프로그래밍 방식을 사용할 수 있다. 그러나 세미 전역 방법은 국소적 영역 매칭 방법과 비교하여, 마찬가지로 계산량 및 에너지 소모가 모두 비교적 높다. CNN(Convolutional Neural Network, 콘볼루션 신경망)과 같은 신경망에 기반을 둔 방법은 시차 네트워크를 통해 더 큰 감지영역을 얻을 수 있고, 이미지의 텍스처가 없는 영역에서 더 우수한 시차 예측 능력을 가질 수 있다. 그러나 그 계산량은 CNN 등 신경망의 매개변수 및 이미지 크기와 관련되고, 네트워크 매개변수가 복잡하고 이미지 크기가 클수록, 메모리 소모가 더 크고, 작동 속도가 느려진다.

본 공개는 추출된 이미지 쌍 중의 각 이미지의 이미지 특징에 기초하여, 캐스케이딩된 복수 계층의 시차 처리를 진행하여, 크기가 순차적으로 증가한 복수의 시차 맵을 얻을 수 있는 단계를 포함하고, 상기 복수 계층의 시차 처리 중의 제1 계층의 시차 처리의 입력은 상기 계층의 시차 처리와 대응하는 크기를 갖는 복수의 이미지 특징을 포함하고, 상기 복수 계층의 시차 처리 중 제1 계층의 시차 처리를 제외한 각 계층의 시차 처리의 입력은 상기 계층의 시차 처리와 대응하는 크기를 갖는 하나 이상의 이미지 특징 및 전단계 계층에서 시차 처리에 의해 생성된 시차 맵을 포함하는, 새로운 시차 추정 시스템을 제공했다. 다시 말하면, 추출된 이미지 특징에 대해 캐스케이딩된 복수 계층의 시차 처리를 진행하고, 여기서, 각 계층의 시차 처리의 입력은 상기 계층의 시차 처리와 대응하는 크기를 갖는 이미지 특징을 포함할 수 있으며, 크기가 상이한 복수의 시차 맵을 한번에 얻어 복수의 기능 또는 정확도 요구가 다른 목표 장치에 사용됨으로써, 상이한 목표 장치의 정확도 및 속도에 대한 요구를 충족할 수 있고, 또한 시차 추정 시스템의 유연성 및 적용성을 향상시킬 수 있다. 이하에서는 도면을 결합하여 본 공개의 시차 추정 시스템의 예시적인 실시예를 추가로 설명한다.

도 1은 본 공개의 예시적인 실시예에 따른 시차 추정 시스템을 나타낸 구조도이다. 도 1에 도시된 바와 같이, 상기 시차 추정 시스템(100)은 예를 들면, 이미지 쌍의 각 이미지에 대해 특징 추출을 진행하고, 추출된 이미지 특징을 시차 생성 네트워크(300)로 출력하도록 구성되는 특징 추출 네트워크(200); 및 상기 추출된 이미지 특징에 따라, 캐스케이딩된 복수 계층의 시차 처리를 진행하여, 크기가 순차적으로 증가한 복수의 시차 맵을 얻도록 구성되는 상기 시차 생성 네트워크(300)를 포함할 수 있고, 상기 복수 계층의 시차 처리 중의 제1 계층의 시차 처리의 입력은 상기 계층의 시차 처리와 대응하는 크기를 갖는 복수의 이미지 특징을 포함하고, 상기 복수 계층의 시차 처리 중의 상기 제1 계층의 시차 처리를 제외한 각 계층의 시차 처리의 입력은 상기 계층의 시차 처리와 대응하는 크기를 갖는 하나 이상의 이미지 특징 및 전단계 계층에서 시차 처리에 의해 생성된 시차 맵을 포함한다.

도 1의 구조도에 도시된 시차 추정 시스템에 따르면, 추출된 이미지 쌍 중의 각 이미지의 이미지 특징을 기반으로, 캐스케이딩된 복수 계층의 시차 처리를 진행하여, 크기가 순차적으로 증가한 복수의 시차 맵을 얻을 수 있고, 각 계층의 시차 처리의 입력은 상기 계층의 시차 처리와 대응하는 크기를 갖는 이미지 특징을 포함할 수 있다. 따라서, 크기가 상이한 복수의 시차 맵을 한번에 얻어 기능 또는 정확도 요구가 상이한 목표 장치에 사용됨으로써, 상이한 목표 장치의 정확도 및 속도에 대한 요구사항을 충족시킬 수 있고, 시차 추정 시스템의 유연성 및 적용성을 향상시킬 수 있다.

본 공개에서, 상기 이미지 쌍은 다안 카메라에 의해 수집된 동일한 장면에 대한 이미지 쌍일 수 있다. 상기 이미지 쌍 중의 각 이미지는 크기가 동일하지만, 대응하는 시야각은 다르다. 당연히, 상기 이미지 쌍은 다른 방식으로 획득한(예를 들면 제3자의 장치를 통해 획득한 것), 요구를 충족하는 이미지 쌍일 수도 있다. 또한, 상기 이미지 쌍 중의 각 이미지는 그레이 스케일 이미지 또는 컬러 이미지일 수 있다.

본 공개에서, 상기 다안 카메라는 2개, 3개 또는 심지어 더 많은 카메라 렌즈가 배치된 정적 또는 동적 이미지를 촬영할 수 있는 카메라를 의미하며, 장면 중의 물체에 대한 카메라의 검출 능력을 향상시키도록, 배치된 복수의 카메라 렌즈를 통해 서로 다른 시각 또는 범위의 장면을 커버할 수 있다. 2개의 카메라 렌즈(예를 들면, 좌측, 우측 카메라 렌즈)가 배치되어 있는 양안 카메라를 예로 들면, 임의의 장면에 대해, 상기 양안 카메라는 배치된 2개의 카메라 렌즈를 통해 상기 장면의 크기가 일치하지만 대응하는 촬영 시각이 서로 다른 2장의 이미지(예를 들면, 좌안 이미지 및 우안 이미지)를 얻을 수 있으며, 물체의 거리와 같은 깊이 정보를 결정하도록, 상기 2장의 이미지는 상기 장면 중의 물체의 상기 2장의 이미지에서의 대응하는 픽셀 사이의 변위(예를 들면 수평 변위)인 시차를 결정하는데 사용될 수 있다.

또한, 본 공개에서, 시차 추정 시스템(100)과 다안 카메라는 서로 독립될 수 있다. 다시 말하면, 시차 추정 시스템(100)은 포함된 특징 추출 네트워크(200)를 통해 다안 카메라에 의해 수집된 동일한 장면에 대한 이미지 쌍 중의 각 이미지에 대해 특징 추출을 진행할 수 있고, 또한 포함된 시차 생성 네트워크(300)를 통해 추출된 이미지 특징에 대해 캐스케이딩된 복수 계층의 시차 처리를 진행하여, 크기가 순차적으로 증가한 복수의 시차 맵을 얻는다. 대체 방안으로서, 다안 카메라는 상기 시차 추정 시스템(100)의 일부로서 사용될 수도 있다. 다시 말하면, 상기 시차 추정 시스템(100)은 특징 추출 네트워크(200) 및 시차 생성 네트워크(300) 외에, 상기 다안 카메라를 더 포함할 수 있다.

일부 실시예에 따르면, 상기 시차 추정 시스템(100)의 특징 추출 네트워크(200)에 의해 추출된 상기 이미지 쌍 중의 각 이미지의 이미지 특징은 기본 구조 특징, 시맨틱 특징, 가장자리 특징, 텍스처 특징, 컬러 특징, 물체의 형상 특징, 또는 이미지 자체에 기반한 특징 중 하나 이상을 포함할 수 있다.

도 2는 (a), (b) 및 (c) 등 3개의 이미지(예를 들면 그레이 스케일 이미지, 또는 컬러 이미지일 수도 있음)로 본 공개의 예시적인 실시예에 따른 추출 가능한 하나의 이미지의 기본 구조 특징을 나타낸 개략도이고, 도 2를 통해 알 수 있듯이, 상기 기본 구조 특징은 이미지의 다양한 미세 구조를 반영하기 위한 특징일 수 있다.

도 3은 (a), (b), (c) 및 (d) 등 4개의 이미지(예를 들면 그레이 스케일 이미지, 또는 컬러 이미지일 수도 있음)로 본 공개의 예시적인 실시예에 따른 추출 가능한 하나의 이미지의 시맨틱 특징을 나타낸 개략도이고, 도 3을 통해 알 수 있듯이, 상기 시맨틱 특징은 이미지 중의 상이한 대상 또는 상이한 종류의 대상을 구별할 수 있는 특징을 의미할 수 있다. 또한, 상기 시맨틱 특징을 기반으로 이미지의 모호한 영역(예를 들면 큰 면적의 평평한 영역)의 시차 판정 정확도를 향상시킬 수 있다.

도 4는 (a), (b) 2개의 이미지(예를 들면 그레이 스케일 이미지, 또는 컬러 이미지일 수도 있음)로 본 공개의 예시적인 실시예에 따른 추출 가능한 하나의 이미지의 가장자리 특징을 나타낸 개략도이고, 도 4를 통해 알 수 있듯이, 상기 가장자리 특징은 이미지 중의 물체 또는 영역의 경계 정보를 반영할 수 있는 특징을 의미할 수 있다.

또한, 도시되지 않았으나, 상기 텍스처 특징, 컬러 특징 및 물체의 형상 특징은 각각 이미지의 텍스처, 컬러 및 이미지에 포함된 물체의 형상을 반영할 수 있는 특징일 수 있다. 상기 이미지 자체에 기초한 특징은 상기 이미지 자체를 의미할 수 있고, 상기 이미지 자체에 대해 특정 계수 또는 비율의 업샘플링 또는 다운샘플링을 진행하여 얻은 이미지일 수도 있다. 상기 업샘플링 또는 다운샘플링의 계수 또는 비율은, 예를 들면 2, 3 또는 기타 1보다 큰 값일 수 있다.

일부 실시예에 따르면, 본 공개에서, 상기 이미지 자체에 기초한 특징 외에, 다른 각 이미지 특징은 모두 대응하는 특징에 의해 서브 네트워크를 추출하여 대응하는 이미지를 추출하여 얻을 수 있어, 이미지 특징 추출 효율을 향상시킴으로써 시차 추정 효율을 향상시킨다. 또한, 시차 추정의 정확도를 높이기 위해, 적어도 기본 구조 특징, 시맨틱 특징 및 가장자리 특징 등 3개의 상이한 차원(度)에서 이미지에 대해 특징 추출을 진행할 수 있다.

예를 들면, 일부 실시예에 따르면, 도 5 또는 도 6에 도시된 바와 같이, 도 5 및 도 6은 본 공개의 예시적인 실시예에 따른 시차 추정 시스템(100)의 가능한 전체 구조도를 나타냈고, 상기 특징 추출 네트워크(200)는 각각 이미지의 상이한 특징을 추출하기 위한 복수의 특징 추출 서브 네트워크를 포함할 수 있고, 상기 복수의 특징 추출 서브 네트워크는 적어도 이미지의 기본 구조 특징을 추출하기 위한 기본 구조 특징 서브 네트워크(201), 이미지의 시맨틱 특징을 추출하기 위한 시맨틱 특징 서브 네트워크(202) 및 이미지의 가장자리 특징을 추출하기 위한 가장자리 특징 서브 네트워크(203)를 포함할 수 있다.

일부 실시예에 따르면, 상기 기본 구조 특징 서브 네트워크(201)는 VGG(very deep convolutional networks for large scale image recognition) 또는 ResNet(Residual Network) 등 이미지의 기본 구조 특징을 추출할 수 있는 임의의 네트워크를 사용할 수 있다. 상기 시맨틱 특징 서브 네트워크(202)는 DeepLabV3+(encoder-decoder with atrous separable convolution for semantic image segmentation) 등 이미지의 시맨틱 특징을 추출할 수 있는 임의의 네트워크를 사용할 수 있다. 상기 가장자리 특징 서브 네트워크(203)는 HED(holistically-nested edge detection)네트워크 등 이미지의 가장자리 특징을 추출할 수 있는 임의의 네트워크를 사용할 수 있다. 일부 실시예에 따르면, HED네트워크는 VGG를 백본(backbone)네트워크로 사용할 수 있고, 또한, 상기 가장자리 특징 서브 네트워크(203)는 HED네트워크를 사용하는 경우, 상기 기본 구조 특징 서브 네트워크(201)는 상기 가장자리 특징 서브 네트워크(203)와 동일한 VGG네트워크를 사용하여, 상기 특징 추출 네트워크의 구조를 단순화하는 효과를 얻을 수 있다.

일부 실시예에 따르면, 상기 특징 추출 네트워크(200) 또는 상기 특징 추출 네트워크(200)에 포함된 각 특징 추출 서브 네트워크는 훈련 샘플집을 기반으로 미리 훈련된 추출 네트워크일 수 있고, 이에 의해, 이미지 특징 추출 효과를 향상시킴으로써 시차 추정 효율을 향상시킬 수 있다. 당연히 실제 필요에 따라 상기 특징 추출 네트워크(200) 또는 상기 특징 추출 네트워크(200)에 포함된 각 특징 추출 서브 네트워크는 훈련 샘플집을 기반으로 실시간 훈련하여 얻은 것이거나, 또는 업데이트된 훈련 샘플집을 기반으로 미리 훈련된 추출 네트워크를 실시간 또는 타이밍 최적화하여 얻은 것일 수도 있고, 이로써 특징 추출 네트워크에 의해 추출된 특징의 정확도를 향상시킨다.

일부 실시예에 따르면, 상기 특징 추출 네트워크(200) 또는 상기 특징 추출 네트워크(200)에 포함된 각 특징 추출 서브 네트워크의 훈련 과정은 지도 훈련 또는 비지도 훈련 방식을 사용할 수 있고, 실제 필요에 따라 유연하게 선택할 수 있다. 지도 훈련은 일반적으로 기존 훈련 샘플(예를 들면 레이블이 지정된 데이터)을 이용하여 입력에서 출력까지의 맵핑을 학습한 후, 이러한 맵핑 관계를 알 수 없는 데이터에 응용하여, 분류 또는 회귀 목적을 달성한다. 지도 훈련의 알고리즘은 예를 들면 로지스틱 회귀 알고리즘, SVM(Support Vector Machine)알고리즘, 의사 결정 트리 알고리즘 등을 포함할 수 있다. 비지도 훈련과 지도 훈련의 다른 점은, 비지도 훈련은 훈련 샘플이 필요하지 않고, 레이블이 지정되지 않은 데이터를 직접 모델링하여 규칙을 찾아내는 것이며, 전형적인 알고리즘은 예를 들면 클러스터링 알고리즘, 랜덤 포레스트(Random forests)알고리즘 등을 포함할 수 있다.

일부 실시예에 따르면, 상술한 바와 같이, 상기 복수 계층의 시차 처리 중의 제1 계층의 시차 처리의 입력은 상기 계층의 시차 처리와 대응하는 크기를 갖는 복수의 이미지 특징을 포함할 수 있고, 상기 복수 계층의 시차 처리 중 제1 계층의 시차 처리를 제외한 각 계층의 시차 처리의 입력은 상기 계층의 시차 처리와 대응하는 크기를 갖는 하나 이상의 이미지 특징을 포함할 수 있다. 상기 시차 생성 네트워크(300)에 의해 얻은 상기 복수의 시차 맵은 크기가 순차적으로 증가한 N개의 시차 맵을 예로 들면, 상기 특징 추출 네트워크(200)에 의해 추출된 이미지 특징은 N가지 크기의 이미지 특징을 포함할 수 있고, N은 2 이상의 양의 정수이다. 각 크기의 이미지 특징 중 적어도 일부는 대응하는 크기의 시차 맵을 생성하는데 도움이 되도록 사용될 수 있어, 상기 시차 추정 시스템에 의해 획득한 상기 복수의 시차 맵의 정확도를 향상시킨다. 일부 실시예에 따르면, 상기 N의 값은 4(도 5 또는 도 6에 도시된 바와 같음)일 수 있고, 당연히, 실제 필요에 따라 2, 3, 5 또는 기타 등으로 더 설정될 수 있다. 또한, N의 값은 크면 클수록 좋은 것이 아니라, 목표 장치의 정확도 요구와 시차 추정 시스템의 속도가 균형되는 전제하에, 적절한 값을 선택할 수 있다.

본 공개에서, 각 이미지(상기 이미지 쌍 중의 각 이미지 및 시차 맵 등을 포함)의 크기는 각 이미지의 단일 채널의 크기를 의미할 수 있으며, 이미지의 높이 및 폭으로 나타낼 수 있다. 예를 들면, H × W로 나타낼 수 있으며, H는 이미지의 높이를 나타내고, W는 이미지의 폭을 나타내며, 양자의 단위는 픽셀일 수 있다. 당연히, 이는 단지 예시일 뿐, 이미지의 크기는 기타 이미지를 반영할 수 있는 픽셀 수, 데이터양, 저장량 또는 선명도 등의 하나 이상의 파라미터로 나타낼 수 있다. 그밖에, 주의해야 할 점은, 그레이 이미지의 경우, 채널 수는 1이며, 컬러 이미지의 경우, R, G, B의 3개 컬러 채널을 가질 수 있으므로, 그 채널 수는 3일 수 있으며, 즉 컬러 이미지의 실제 크기는 H × W × 3으로 나타낼 수 있다. 그밖에, 본 공개에서, 상기 제1 이미지와 상기 제2 이미지의 크기(다운샘플링 및/또는 업샘플링 등 처리를 거치지 않은 원래 이미지의 크기)는 예를 들면 상기 이미지 쌍을 수집하는 다안 카메라의 센서의 크기 및 픽셀 수 등 파라미터에 따라 결정할 수 있다.

본 공개에서, 각 계층의 시차 처리와 대응하는 크기는 각 계층의 시차 처리에서 얻어야 할 시차 맵의 크기와 일치하는 크기를 의미할 수 있다. 또한, 이미지 특징의 크기는 이미지 특징 자체에 의해 구성되는 그림(片)의 단일 채널의 크기이거나, 또는, 필요한 크기의 이미지 특징의 추출 진행에서, 기반으로 되는 추출된 이미지의 크기를 의미할 수 있고, 상기 추출된 이미지는 상기 이미지 쌍 중의 각 이미지 자체를 의미할 수 있고, 각 이미지 자체에 대해 특정 계수 또는 비율 업샘플링 또는 다운샘플링을 진행하여 얻은 이미지일 수도 있다. 예를 들면, 상기 이미지 쌍 중의 이미지의 크기는 H×W(전체 크기라고 지칭될 수 있음)인 것을 예로 들면, 상기 이미지에 대해 추출된 전체 크기의 이미지 특징의 경우, 상기 이미지 자체에 대해 특징 추출을 진행하여 얻은 이미지 특징일 수 있고, 상기 이미지에 의해 추출된 H/2×W/2크기(1/2크기라고 지칭될 수 있음)의 이미지 특징의 경우, 상기 이미지에 대해 2배의 다운샘플링을 진행하여 1/2크기의 이미지를 얻어, 상기 1/2크기의 이미지에 대해 특징 추출을 진행하여 얻은 이미지 특징일 수 있다.

일부 실시예에 따르면, 상기 복수 계층의 시차 처리 중 제1 계층의 시차 처리를 제외한 각 계층의 시차 처리의 입력은 상기 계층의 시차 처리와 대응하는 크기를 갖는 하나 이상의 이미지 특징을 포함하는 것 외에, 전단계 계층에서 시차 처리에 의해 생성된 시차 맵을 더 포함한다. 다시 말하면, 추출된 이미지 특징 중 대응하는 크기를 갖는 하나 이상의 이미지 특징을 기반으로, 제1 계층의 시차 처리에 의해 생성된 시차 맵에 대해 단계적으로 최적화 처리를 진행하여 대응하는 크기의 시차 맵을 얻을 수 있다. 따라서, 이후 계속하여 획득한 시차 맵의 정확도는 차례대로 향상될 수 있고, 각각의 정확도에 대해 처음부터 시차 맵을 계산할 필요가 없으므로, 이에 의해, 복수의 시차 맵의 전체 생성효율을 향상시킬 수 있다.

일부 실시예에 따르면, 상기 특징 추출 네트워크(200)에 의해 추출된 상기 N가지 크기의 이미지 특징 중 최소 크기의 이미지 특징은, 예를 들면 상기 이미지 쌍 중의 제1 이미지의 적어도 하나의 이미지 특징 및 제2 이미지의 적어도 하나의 이미지 특징을 포함할 수 있고, 상기 N가지 크기의 이미지 특징 중 최소 크기가 아닌 이미지 특징 각각은, 예를 들면 상기 이미지 쌍 중의 상기 제1 이미지의 적어도 하나의 이미지 특징 및/또는 상기 제2 이미지의 적어도 하나의 이미지 특징을 포함할 수 있다.

예를 들면, 도 5 또는 도 6에 도시된 바와 같이, 상기 특징 추출 네트워크(200)에 의해 추출된 상기 N가지 크기의 이미지 특징 중의 최소 크기의 이미지 특징은 상기 이미지 쌍 중의 제1 이미지(예를 들면 좌안 렌즈 이미지)의 기본 구조 특징, 시맨틱 특징, 가장자리 특징 및 상기 이미지 쌍 중의 제2 이미지(예를 들면 우안 렌즈이미지)의 기본 구조 특징을 포함할 수 있다. 상기 특징 추출 네트워크(200)에 의해 추출된 상기 N가지 크기의 이미지 특징 중의 최소 크기가 아닌 각 이미지 특징은 상기 이미지 쌍 중의 제1 이미지의 가장자리 특징 또는 상기 제1 이미지 자체에 기반한 특징을 포함할 수 있다.

일부 실시예에 따르면, 상기 특징 추출 네트워크(200)에 의해 추출된 각 이미지의 각 이미지 특징은 1종 또는 1종 이상의 크기를 가질 수 있고, 상기 다양한 크기의 크기 수는 N보다 작거나 같을 수 있다. 예를 들면, 도 5 또는 도 6에 도시된 바와 같이, 상기 N의 값은 4일 수 있고, 상기 특징 추출 네트워크(200)에 의해 추출된 상기 제1 이미지의 가장자리 특징 및 상기 제1 이미지 자체에 기반한 특징은 각각 두 가지 크기를 가질 수 있고, 추출된 상기 제1 이미지의 기본 구조 특징 및 시맨틱 특징은 각각 하나의 크기를 가질 수 있고, 추출된 상기 제2 이미지의 기본 구조 특징은 하나의 크기를 가질 수 있다. 또한, 도 5 또는 도 6은 예시일 뿐, 상기 특징 추출 네트워크(200)에 의해 추출된 각 이미지의 각 이미지 특징은 도시된 1종 또는 2종의 크기를 가질 수 있을 뿐만 아니라, 더 다양한 크기를 가질 수 있다. 예를 들면, 상기 N의 값은 4인 경우를 예로 들면, 상기 특징 추출 네트워크(200)에 의해 추출된 상기 제1 이미지의 가장자리 특징은 3가지 또는 4가지 크기를 가질 수 있고, 이에 대해 한정하지 않는다.

일부 실시예에 따르면, 상기 특징 추출 네트워크(200)는 상기 이미지 쌍 중의 각 이미지의 이미지 특징을 추출한 후, 후속 판독 및 사용을 위해 저장 장치 또는 저장 매체에 저장(예를 들면 캐싱(caching))될 수 있다. 또한, 상기 특징 추출 네트워크(200)는 상기 이미지 쌍 중의 각 이미지에 대해 이미지 특징 추출을 진행하기 전에, 상기 이미지 쌍 중의 이미지에 대해 에피폴라 라인 보정 에피폴라 라인 보정을 진행하여, 상기 이미지 쌍 중의 이미지가 일 방향(예를 들면 수평 방향 또는 수직 방향)에서 시차가 존재하도록 할 수 있다. 따라서, 이미지의 시차 검색 범위는 일 방향에서만 제한될 수 있으므로, 후속 특징 추출 및 시차 생성 효율을 향상시킨다. 대체 방안으로서, 상기 이미지 쌍 중의 이미지의 에피폴라 라인 보정 작업은 다안 카메라 또는 다른 타사 장치에 의해 실행될 수 있다. 예를 들면, 다안 카메라는 상기 이미지 쌍을 수집한 후, 상기 이미지 쌍 중의 이미지에 대해 에피폴라 라인 보정을 진행할 수 있고, 에피폴라 라인 보정 후의 이미지 쌍을 상기 시차 추정 시스템으로 발송한다. 또는, 다안 카메라에서 상기 이미지 쌍을 수집한 후, 제3 장치로 발송할 수 있고, 상기 제3 장치에 의해 상기 이미지 쌍 중의 이미지를 에피폴라 라인 보정하여 에피폴라 라인 보정 후의 이미지 쌍을 상기 시차 추정 시스템으로 발송한다.

일부 실시예에 따르면, 상기 시차 생성 네트워크(300)에 의해 얻은 상기 복수의 시차 맵 중의 최대 크기의 시차 맵은 상기 이미지 쌍 중의 각 이미지의 크기(즉 각 이미지의 최초 크기)와 일치할 수 있다. 따라서, 캐스케이딩된 복수 계층의 시차 처리를 통해 적어도 대응하는 크기와 상기 이미지 쌍 중의 각 이미지의 크기가 일치하는, 정확도가 상대적으로 높은 시차 맵 및 상이한 정확도를 갖는 시차 맵을 얻을 수 있고, 시차 추정 시스템의 유연성 및 적용가능성을 향상시키는 기초 상에서, 고성능의 목표 장치는 시차 추정 시스템에 대해 생성한 시차 맵의 정확도 요구를 더 잘 충족시킬 수 있다. 대체 방안으로서, 상기 복수의 시차 맵 중의 각 시차 맵의 크기는 모두 상기 이미지 쌍 중의 각 이미지의 크기보다 작을 수도 있다.

일부 실시예에 따르면, 상기 복수의 시차 맵 중의 임의의 2개의 인접한 시차 맵 중의 후자(后一) 시차 맵의 높이 및 폭은 각각 전자 시차 맵의 높이 및 폭의 2배일 수 있다. 예시적으로, 상기 복수의 시차 맵은 4개이고, 또한 상기 복수의 시차 맵 중 마지막 시차 맵의 크기는 H×W(상기 이미지 쌍 중의 각 이미지 크기와 동일할 수 있음)인 것을 예로 들면, 그 이전에 배열된 상기 복수의 시차 맵 중의 기타 각 시차 맵의 크기는 순차적으로 H/2×W/2(H×W가 전체 크기라고 지칭될 수 있다면, H/2×W/2는 1/2크기라고 지칭될 수 있음), H/4×W/4(1/4크기라고 지칭될 수 있음) 및 H/8×W/8(1/8크기라고 지칭될 수 있음)일 수 있다. 다시 말하면, 본 공개에서, 값 2를 인접한 시차 맵의 높이 및 폭의 확대/축소 크기로 사용한다(또는 인접한 시차 맵의 업샘플링 또는 다운샘플링의 계수 또는 비율). 대체 방안으로서, 상기 복수의 시차 맵 중의 임의의 2개의 인접한 시차 맵 중의 후자 시차 맵의 높이 및 폭은 또한 각각 전자 시차 맵의 높이 및 폭의 3배, 4배 또는 기타 1보다 큰 양의 정수 배수일 수 있고, 실제 필요한 정확도에 따라 적절한 값을 선택할 수 있다.

일부 실시예에 따르면, 상술한 바와 같이, 상기 특징 추출 네트워크(200)에 의해 추출된 이미지 특징은 N가지 크기의 이미지 특징을 포함할 수 있고, 상기 N은 2 이상의 양의 정수이다. 대응하게, 상기 시차 생성 네트워크는, 상기 복수 계층의 시차 처리의 제1 계층의 시차 처리에서, 상기 N가지 크기의 이미지 특징 중의 최소 크기의 이미지 특징의 적어도 일부에 따라, 상기 최소 크기의 초기 시차 맵을 생성하고, 상기 복수 계층의 시차 처리의 후속 각 계층의 시차 처리에서, 상기 N가지 크기의 이미지 특징 중의 대응하는 크기를 갖는 이미지 특징의 적어도 일부에 따라, 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 시차 최적화 처리를 진행하여, 상기 대응하는 크기를 갖는 최적화 시차 맵을 생성하고, 상기 복수의 시차 맵은 적어도 각각의 최적화 시차 맵을 포함할 수 있도록 구성된다.

일부 실시예에 따르면, 상기 복수 계층의 시차 처리는 N+1 계층의 시차 처리를 포함할 수 있다. 상기 시차 생성 네트워크, 제1 계층의 시차 처리를 제외한 N계층의 시차 처리에서, 크기가 작은 것부터 큰 것 순으로, 상기 N가지 크기의 이미지 특징 중의 대응하는 크기를 갖는 이미지 특징의 적어도 일부를 기반으로, 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 순차적으로 시차 최적화 처리를 진행하여, 크기가 순차적으로 증가한 N개의 최적화 시차 맵을 얻고, 상기 N개의 최적화 시차 맵을 상기 복수의 시차 맵으로 사용하도록 구성될 수 있고, 상기 N개의 최적화 시차 맵의 크기는 각각 상기 N가지 크기와 대응한다.

예를 들면, 도 5에 도시된 바와 같이, 상기 복수 계층의 시차 처리는 4+1계층의 시차 처리를 포함할 수 있다. 상기 추출된 이미지 특징은 4가지 크기의 이미지 특징을 포함할 수 있고, 도 5는 추출된 상기 4가지 크기의 이미지 특징은 각각 1/8크기(H/8×W/8), 1/4크기(H/4×W/4), 1/2크기(H/2×W/2) 및 전체 크기(H×W, 상기 전체 크기는 상기 이미지 쌍 중의 최초 이미지의 크기와 일치하는 크기를 의미할 수 있음)를 예로 들어 예시적으로 설명한다. 상기 시차 생성 네트워크는, 상기 복수 계층의 시차 처리의 제1 계층의 시차 처리에서, 상기 4가지 크기의 이미지 특징 중 최소 크기의(즉 1/8크기) 이미지 특징의 적어도 일부에 따라(예를 들면 추출된 제1 이미지의 1/8크기의 기본 구조 특징, 1/8크기의 시맨틱 특징, 1/8크기의 가장자리 특징 및 제2 이미지의 1/8크기의 기본 구조 특징의 일부 또는 전부), 상기 최소 크기의(즉 1/8크기) 초기 시차 맵을 형성하도록 구성된다. 제1 계층의 시차 처리를 제외한 4계층의 시차 처리에서, 크기가 작은 것부터 큰 것 순으로, 상기 4가지 크기의 이미지 특징 중의 대응하는 크기를 갖는 이미지 특징의 적어도 일부를 기반으로(예를 들면, 순차적으로, 추출된 제1 이미지의 1/8크기의 가장자리 특징의 일부 또는 전부, 추출된 제1 이미지의 1/4크기의 가장자리 특징의 일부 또는 전부, 추출된 1/2크기의 제1 이미지 자체에 기반한 특징 및 추출된 전체 크기의 제1 이미지 자체에 기반한 특징에 기반한다), 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 순차적으로 시차 최적화 처리를 진행하여, 순차적으로 증가한 4가지 크기의 최적화 시차 맵을 얻고(예를 들면, 1/8크기를 갖는 최적화 시차 맵, 1/4크기를 갖는 최적화 시차 맵, 1/2크기를 갖는 최적화 시차 맵 및 전체 크기를 갖는 최적화 시차 맵을 얻는다), 상기 4개의 최적화 시차 맵을 상기 복수의 시차 맵으로 사용한다.

상술한 설명을 통해 알 수 있듯이, 상기 실시예에서, 상기 시차 추정 시스템(100)에 의해 얻은 상기 복수의 시차 맵은 상기 복수 계층의 시차 처리 중의 제1 계층의 시차 처리에 의해 생성된 초기 시차 맵을 포함하지 않고, 상기 제1 계층의 시차 처리에 의해 생성된 초기 시차 맵에 대해 순차적으로 최적화된 후의 각 최적화 시차 맵을 포함할 수 있고, 따라서, 상기 시차 추정 시스템에 의해 획득한 상기 복수의 시차 맵의 정확도를 향상시킬 수 있다.

다른 일부 실시예에 따르면, 상기 복수 계층의 시차 처리는 N계층의 시차 처리를 포함할 수 있다. 상기 시차 생성 네트워크는, 제1 계층의 시차 처리를 제외한 N-1계층의 시차 처리에서, 크기가 작은 것부터 큰 것 순으로, 상기 N가지 크기의 이미지 특징 중의 최소 크기가 아닌 N-1가지의 이미지 특징 중의 대응하는 크기를 갖는 이미지 특징의 적어도 일부를 기반으로, 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 순차적으로 시차 최적화 처리를 진행하여, 크기가 순차적으로 증가한 N-1개의 최적화 시차 맵을 얻고, 상기 초기 시차 맵 및 상기 N-1개의 최적화 시차 맵을 상기 복수의 시차 맵으로 사용하도록 구성될 수 있고, 상기 초기 시차 맵 및 상기 N-1개의 최적화 시차 맵의 크기는 각각 상기 N가지의 크기와 대응한다.

예를 들면, 도 6에 도시된 바와 같이, 상기 복수 계층의 시차 처리는 4계층의 시차 처리를 포함할 수 있다. 상기 추출된 이미지 특징은 4가지 크기의 이미지 특징을 포함할 수 있고, 도 6은 추출된 상기 4가지 크기의 이미지 특징은 각각 1/8크기(

), 1/4크기(

), 1/2크기(

) 및 전체 크기(H×W, 상기 전체 크기는 상기 이미지 쌍 중의 각 이미지의 크기와 일치하는 크기를 의미할 수 있음)인 것을 예로 들어 개략적으로 설명한다. 상기 시차 생성 네트워크는, 상기 복수 계층의 시차 처리의 제1 계층의 시차 처리에서, 상기 4가지 크기의 이미지 특징 중 최소 크기의(즉 1/8크기) 이미지 특징의 적어도 일부에 따라(예를 들면 추출된 제1 이미지의 1/8크기의 기본 구조 특징, 1/8크기의 시맨틱 특징, 1/8크기의 가장자리 특징 및 제2 이미지의 1/8크기의 기본 구조 특징의 일부 또는 전부), 상기 최소 크기의(즉 1/8크기) 초기 시차 맵을 생성하도록 구성될 수 있다. 제1 계층의 시차 처리를 제외한 기타 3계층의 시차 처리에서, 크기가 작은 것부터 큰 것 순으로, 최소 크기가 아닌 기타 3가지 이미지 특징 중의 대응하는 크기를 갖는 이미지 특징의 적어도 일부에 따라(예를 들면, 추출된 제1 이미지의 1/4크기의 가장자리 특징의 일부 또는 전부, 추출된 1/2크기의 제1 이미지 자체에 기반한 특징 및 추출된 전체 크기의 제1 이미지 자체에 기반한 특징을 기반으로 순차적으로), 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 순차적으로 시차 최적화 처리를 진행하여, 크기가 순차적으로 증가한 3개의 최적화 시차 맵을 얻고(예를 들면, 1/4크기를 갖는 최적화 시차 맵, 1/2크기를 갖는 최적화 시차 맵 및 전체 크기를 갖는 최적화 시차 맵을 얻는다), 상기 초기 시차 맵 및 상기 3개의 최적화 시차 맵을 상기 복수의 시차 맵으로 한다.

상술한 설명을 통해 알 수 있듯이, 상기 실시예에서, 상기 시차 추정 시스템(100)에 의해 얻은 상기 복수의 시차 맵은 상기 복수 계층의 시차 처리 중의 제1 계층의 시차 처리에 의해 생성된 초기 시차 맵을 포함할 수 있어, 상기 시차 추정 시스템의 처리 효과를 향상시킨다.

일부 실시예에 따르면, 상기 시차 생성 네트워크(300)는, 상기 복수 계층의 시차 처리 중 제1 계층의 시차 처리를 제외한 각 계층의 시차 처리에서, 대응하는 크기를 갖는 이미지 특징의 적어도 일부를 기반으로, 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 잔차 (residual)계산을 진행하여, 상기 대응하는 크기를 갖는 잔차 맵을 얻고, 상기 대응하는 크기를 갖는 잔차 맵 및 상기 전단계 계층에서 시차 처리에 의해 생성된 시차 맵을 결합하여 상기 대응하는 크기를 갖는 최적화 시차 맵을 얻도록 구성될 수 있다.

예를 들면, 도 5에 도시된 바와 같이, 제1 계층의 시차 처리를 제외한 기타 4계층의 시차 처리된, 1/8크기에 대응하는 시차 처리에서, 추출된 제1 이미지의 1/8크기의 가장자리 특징의 일부 또는 전부 및 전단계 계층에서 시차 처리에 의해 생성된 초기 시차 맵(1/8크기)을 기반으로 1/8크기의 제1 잔차 맵을 계산하여 얻고, 상기 제1 잔차 맵과 상기 초기 시차 맵을 결합하여(예를 들면 더하기) 1/8크기의 제1 최적화 시차 맵을 얻어 상기 계층의 시차 처리의 출력으로 할 수 있다. 다음 계층의 1/4크기에 대응하는 시차 처리에서, 추출된 제1 이미지의 1/4크기의 가장자리 특징의 일부 또는 전부 및 전단계 계층에서 시차 처리에 의해 생성된 제1 최적화 시차 맵(1/8크기)을 기반으로 1/4크기의 제2 잔차 맵을 계산하여 얻고, 상기 제2 잔차 맵과 상기 제1 최적화 시차 맵을 결합하여(예를 들면, 상기 제2 잔차 맵과 상기 제1 최적화 시차 맵의 1/4크기의 업샘플링 버전을 더한다) 1/4크기의 제2 최적화 시차 맵을 얻어 상기 계층의 시차 처리의 출력으로 할 수 있다. 구체적인 예시는 아래에서 토론할 것이다.

일부 실시예에 따르면, 상기 시차 생성 네트워크(300)는 또한 상기 복수 계층의 시차 처리 중 제1 계층의 시차 처리를 제외한 각 계층의 시차 처리에서, 상기 계층의 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 시차 최적화 처리를 진행하기 전에, 상기 전단계 계층에서 시차 처리에 의해 생성된 시차 맵의 크기가 상기 계층의 시차 처리에 대응하는 크기보다 작은 것에 대한 응답으로, 상기 전단계 계층에서 시차 처리에 의해 생성된 시차 맵을 해당 계층의 시차 처리에 대응하는 크기로 업샘플링 하도록 구성될 수 있다. 상기 업샘플링에 사용된 알고리즘은, 예를 들면 최근접-이웃(nearest-neighbor) 보간 알고리즘, 쌍선형 보간 알고리즘, 디콘볼루션(deconvolution)알고리즘 등을 포함할 수 있다. 이에 의해, 각 계층의 시차 최적화 처리 대상인 시차 맵은 모두 상기 계층의 시차 처리와 대응하는 크기의 시차 맵을 갖는 것일 수 있다.

예시적으로, 도 5에 도시된 바와 같이, 제1 계층의 시차 처리를 제외한 기타 4계층의 시차 처리된 1/8크기에 대응하는 시차 처리에서, 전단계 계층에서 시차 처리에 의해 생성된 초기 시차 맵의 크기는 해당 계층의 시차 처리에 비해 작지 않으므로, 추출된 제1 이미지의 1/8크기의 가장자리 특징의 일부 또는 전부를 기반으로, 직접 전단계 계층에서 시차 처리에 의해 생성된 초기 시차 맵에 대해 시차 최적화 처리를 진행하여 1/8크기의 제1 최적화 시차 맵을 얻는다. 다음 계층 1/4크기에 대응하는 시차 처리에서, 먼저 전단계 계층에서 시차 처리에 의해 생성된 1/8크기의 제1 최적화 시차 맵을 해당 계층의 시차 처리에 대응하는 처리에 대응하는 1/4크기로 업샘플링한 후, 추출된 제1 이미지의 1/4크기의 가장자리 특징의 일부 또는 전부를 기반으로, 업샘플링 된 1/4크기의 제1 최적화 시차 맵에 대해 시차 최적화 처리를 진행하여 1/4크기의 제2 최적화 시차 맵을 얻을 수 있다. 예를 들면, 상술한 바와 같이, 상기 다음 계층 1/4크기에 대응하는 시차 처리에서, 추출된 제1 이미지의 1/4크기의 가장자리 특징의 일부 또는 전부 및 업샘플링된 1/4크기의 제1 최적화 시차 맵을 기반으로 1/4크기의 잔차 맵을 계산하여 얻고, 상기 1/4크기의 잔차 맵과 상기 업샘플링된 1/4크기의 제1 최적화 시차 맵을 더하여 1/4크기의 제2 최적화 시차 맵을 얻을 수 있다.

일부 실시예에 따르면, 상이한 최적화 시차 맵 생성에서 기반으로 되는 이미지 특징은 동일한 종류의 이미지 특징 또는 상이한 종류의 이미지 특징일 수 있거나, 및/또는 상이한 최적화 시차 맵 생성에서 기반으로 되는 이미지 특징은 상기 이미지 쌍 중의 동일한 이미지 또는 상이한 이미지의 이미지 특징일 수 있다. 예를 들면, 도 5에 도시된 바와 같이, 이전 2개의 상이한 최적화 시차 맵 생성에서 기반으로 되는 이미지 특징은 상기 이미지 쌍 중의 동일한 이미지(예를 들면 제1 이미지)의 동일한 종류의 이미지 특징(예를 들면 가장자리 특징)일 수 있고, 가운데 2개의 상이한 최적화 시차 맵 생성에서 기반으로 되는 이미지 특징은 동일한 이미지(예를 들면 제1 이미지)의 상이한 종류의 이미지 특징(예를 들면, 하나는 제1 이미지의 가장자리 특징이고, 다른 하나는 제1 이미지의 이미지 자체에 기초한 특징이다)일 수 있다. 따라서, 각 계층의 시차 최적화 진행에서 기반으로 되는 이미지 특징을 유연하게 선택하여, 시차 추정 시스템의 유연성 및 적용 가능성을 더 향상시킬 수 있다.

일부 실시예에 따르면, 각 최적화 시차 맵 생성에서 기반으로 되는 이미지 특징은, 예를 들면 상기 이미지 쌍 중의 적어도 하나의 이미지의 가장자리 특징, 및/또는 상기 이미지 쌍 중의 적어도 하나의 이미지의 이미지 자체에 기반한 특징을 포함할 수 있다.

예시적으로, 도 5에 도시된 바와 같이, 상기 복수의 시차 처리 중의 제1 계층의 시차 처리를 제외한 이전 두 계층에 대응하는, 크기가 상대적으로 작은 시차 최적화 처리에서, 제1 이미지의 가장자리 특징을 기반으로 대응하는 크기의 최적화 시차 맵을 생성할 수 있고, 이후(在后) 두 계층에 대응하는 크기가 상대적으로 큰 시차 최적화 처리에서, 가장자리 특징 대신 제1 이미지 자체에 기반한 특징을 사용하여 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 시차 최적화 처리를 진행하여, 크기가 큰 이미지 특징 추출에 필요한 계산량을 줄여, 시차 추정 시스템의 처리 효과를 향상시킨다. 당연히, 도 5는 예시일 뿐이며, 각 시차 최적화 처리에 있어서, 대응하는 최적화 시차 맵 생성에서 기반으로 되는 이미지 특징은 가장자리 특징 또는 이미지 자체에 기반한 특징일 뿐만 아니라, 둘의 결합일 수 있거나, 또는 기타 추출된 하나 또는 복수의 이미지 특징의 결합일 수 있다.

일부 실시예에 따르면, 상기 이미지 쌍 중의 적어도 하나의 이미지의 이미지 자체에 기반한 특징은 예를 들면 상기 적어도 하나의 이미지의 이미지 자체 또는 생성해야 할 최적화 시차 맵의 크기에 따라 상기 적어도 하나의 이미지의 이미지 자체에 대해 다운샘플링을 진행하여 얻은 이미지를 포함할 수 있다. 상기 다운샘플링의 과정은 예를 들면 크기가 H×W인 이미지의 경우, 만약 사용한 다운샘플링 계수 또는 비율이 K라면, 상기 이미지 원본의 각 행과 열 중 각각의 K점에서 하나의 점을 선택하여 하나의 이미지를 구성할 수 있다. 상기 다운샘플링 계수 또는 비율은 상술한 바와 같이 2, 3 또는 기타 1보다 큰 값일 수 있다. 당연히, 이는 단지 예시일 뿐, 다운샘플링은 K점에서 평균을 취하는 것과 같은 다른 방식으로 실현될 수도 있다.

도 5에 도시된 바와 같이, 상기 복수의 시차 처리 중의 이후 두 계층의, 1/2크기 및 전체 크기에 대응하는 시차 최적화 처리에서, 각각 다운샘플링 계수 2를 기반으로 제1 이미지 자체에 다운샘플링을 진행하여 얻은 1/2크기의 제1 이미지 및 대응하는 크기의 가장자리 특징 대신 제1 이미지 자체를 사용하여 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 시차 최적화 처리를 함으로써, 크기가 큰 이미지 특징 추출에 필요한 계산량을 줄여, 시차 추정 시스템의 처리 효과를 향상시킬 수 있다.

일부 실시예에 따르면, 도 5 또는 도 6에 도시된 바와 같이, 상기 시차 생성 네트워크(300)는 초기 시차 생성 서브 네트워크(301) 및 적어도 하나의 시차 최적화 서브 네트워크(302)를 포함할 수 있고, 상기 초기 시차 생성 서브 네트워크(301) 및 상기 적어도 하나의 시차 최적화 서브 네트워크(302) 중의 각 시차 최적화 서브 네트워크(302)는 순차적으로 캐스케이딩 되고, 상기 초기 시차 생성 서브 네트워크(301)는 제1 계층의 시차 처리를 진행하도록 구성되고, 상기 적어도 하나의 시차 최적화 서브 네트워크(302)는 제1 계층의 시차 처리를 제외한 각 계층의 시차 처리를 진행하도록 구성된다.

상술한 실시예를 결합하면 알 수 있듯이, 상기 시차 추정 시스템(100)의 이미지 특징 추출 및 복수 계층의 시차 처리 중의 각 계층의 시차 처리는 모두 대응하는 서브 네트워크에 의해 실현될 수 있다.

예시적으로, 이하에서는 도 5를 예로 들어, 복수의 특징 추출 서브 네트워크(예를 들면 기본 구조 특징 서브 네트워크(201), 시맨틱 특징 서브 네트워크(202) 및 가장자리 특징 서브 네트워크(203)), 초기 시차 생성 서브 네트워크(301) 및 복수의 (예를 들면 4개)시차 최적화 서브 네트워크(302)를 포함하는 시차 추정 시스템(100)의 전체 작동 과정에 대해 개략적으로 설명한다.

도 5를 통해 알 수 있듯이, 상기 시차 추정 시스템(100)에 입력되는 이미지 쌍 중의 제1 이미지(I1) 및 제2 이미지(I2)(크기는 각각 H×W일 수 있음)에 대해, 상기 시차 추정 시스템(100)은 포함된 특징 추출 네트워크(200) 중의 복수의 특징 추출 서브 네트워크를 기반으로 후속 복수 계층의 시차 처리에 필요한 크기의 이미지 특징의 추출을 진행할 수 있다. 예를 들면, 기본 구조 특징 서브 네트워크(201)를 기반으로 제1 이미지(I1)의 1/8크기(

)의 기본 구조 특징 및 제2 이미지(I2)의 1/8크기의 기본 구조 특징을 추출할 수 있고, 시맨틱 특징 서브 네트워크(202)를 기반으로 제1 이미지(I1)의 1/8크기의 시맨틱 특징을 추출할 수 있고, 가장자리 특징 서브 네트워크(203)를 기반으로 제1 이미지(I1)의 1/8크기의 가장자리 특징 및 1/4크기(

)의 가장자리 특징을 추출할 수 있다. 또한, 상기 이미지 특징 외에, 상기 시차 추정 시스템(100)의 특징 추출 네트워크(200)는 제1 이미지(I1) 자체에 기반한 1/2크기(

)의 특징 및 제1 이미지(I1) 자체에 기반한 전체 크기(H×W)의 특징을 추출할 수 있고, 즉 제1 이미지(I1) 자체일 수 있다.

상기 제1 이미지(I1)의 1/8크기의 기본 구조 특징, 제2 이미지(I2)의 1/8크기의 기본 구조 특징, 제1 이미지(I1)의 1/8크기의 시맨틱 특징 및 제1 이미지(I1)의 1/8크기의 가장자리 특징은 대응하는 특징 추출 서브 네트워크에 의해 초기 시차 생성 서브 네트워크(301)로 출력되어 제1 계층의 시차 처리를 진행하여, 1/8크기를 갖는 초기 시차 맵(dispS1)을 얻을 수 있다. 다음, 상기 초기 시차 생성 서브 네트워크(301)와 순차적으로 캐스케이딩된 4개의 시차 최적화 서브 네트워크(302)는 각각 특징 추출 네트워크(200)에 의해 추출된 대응하는 크기를 갖는 이미지 특징을 기반으로 상기 1/8크기의 초기 시차 맵(dispS1)에 대해, 순차적으로, 상이한 계층의 시차 최적화 처리를 진행하여, 크기가 순차적으로 증가한 복수의 최적화 시차 맵을 얻을 수 있다.

예를 들면, 첫번째 시차 최적화 서브 네트워크는 가장자리 특징 서브 네트워크(203)로부터의 제1 이미지(I1)의 1/8크기의 가장자리 특징(일부 또는 전부)에 따라, 초기 시차 생성 서브 네트워크(301)에 의해 출력된 1/8크기의 초기 시차 맵(dispS1)에 대해 시차 최적화 처리를 진행하여, 1/8크기의 제1 최적화 시차 맵(dispS1_refine)을 얻을 수 있다. 일부 실시예에 따르면, 첫번째 시차 최적화 서브 네트워크는 제1 이미지(I1)의 1/8크기의 가장자리 특징(일부 또는 전부) 및 1/8크기의 초기 시차 맵(dispS1)을 기반으로 1/8크기의 제1 잔차 맵을 계산하여 얻을 수 있고, 1/8크기의 제1 잔차 맵 및 1/8크기의 초기 시차 맵(dispS1)을 합쳐서, 1/8크기의 제1 최적화 시차 맵(dispS1_refine)을 얻을 수 있다.

두번째 시차 최적화 서브 네트워크는 가장자리 특징 서브 네트워크(203)로부터의 제1 이미지(I1)의 1/4크기의 가장자리 특징(일부 또는 전부)에 따라, 첫번째 시차 최적화 서브 네트워크에 의해 출력된 1/8크기의 제1 최적화 시차 맵(dispS1_refine)에 대해 시차 최적화 처리를 진행하여, 1/4크기의 제2 최적화 시차 맵(dispS2_refine)을 얻을 수 있다. 일부 실시예에 따르면, 두번째 시차 최적화 서브 네트워크는 첫번째 시차 최적화 서브 네트워크에 의해 출력된 1/8크기의 제1 최적화 시차 맵을 해당 계층의 시차 처리에 대응하는 1/4크기로 업샘플링한 후, 제1 이미지(I1)의 1/4크기의 가장자리 특징(일부 또는 전부) 및 업샘플링된 1/4크기의 제1 최적화 시차 맵을 기반으로 1/4크기의 제2 잔차 맵을 계산하여 얻어, 1/4크기의 제2 잔차 맵 및 업샘플링된 1/4크기의 제1 최적화 시차 맵을 합쳐서, 1/4크기의 제2 최적화 시차 맵(dispS2_refine)을 얻을 수 있다.

세번째 시차 최적화 서브 네트워크는 특징 추출 네트워크(200)에 의해 추출된, 1/2크기의, 제1 이미지(I1) 자체에 기반한 특징(일부 또는 전부)에 따라, 두번째 시차 최적화 서브 네트워크에 의해 출력된 1/4크기의 제2 최적화 시차 맵(dispS2_refine)에 대해 시차 최적화 처리를 진행하여, 1/2크기의 제3 최적화 시차 맵(dispS3_refine)을 얻을 수 있다. 일부 실시예에 따르면, 세번째 시차 최적화 서브 네트워크는 두번째 시차 최적화 서브 네트워크에 의해 출력된 1/4크기의 제2 최적화 시차 맵을 해당 계층의 시차 처리에 대응하는 1/2크기로 업샘플링한 후, 1/2크기의, 제1 이미지 자체에 기반한 특징(일부 또는 전부) 및 업샘플링된 1/2크기의 제2 최적화 시차 맵을 기반으로 1/2크기의 제3 잔차 맵을 얻어, 1/2크기의 제3 잔차 맵 및 업샘플링된 1/2크기의 제2 최적화 시차 맵을 합쳐서, 1/2크기의 제3 최적화 시차 맵(dispS3_refine)을 얻을 수 있다.

네번째 시차 최적화 서브 네트워크는 특징 추출 네트워크(200)에 의해 추출된 전체 크기의, 제1 이미지(I1) 자체에 기반한 특징(일부 또는 전부)에 따라, 세번째 시차 최적화 서브 네트워크에 의해 출력된 1/2크기의 제3 최적화 시차 맵(dispS3_refine)에 대해 시차 최적화 처리를 진행하여, 전체 크기의 제4 최적화 시차 맵(dispS4_refine)을 얻을 수 있다. 일부 실시예에 따르면, 네번째 시차 최적화 서브 네트워크는 세번째 시차 최적화 서브 네트워크에 의해 출력된 1/2크기의 제3 최적화 시차 맵을 해당 계층의 시차 처리에 대응하는 전체 크기로 업샘플링한 후, 전체 크기의 제1 이미지 자체에 기반한 특징(일부 또는 전부) 및 업샘플링된 전체 크기의 제3 최적화 시차 맵을 기반으로 전체 크기의 제4 잔차 맵을 얻어, 전체 크기의 제4 잔차 맵 및 업샘플링된 전체 크기의 제3 최적화 시차 맵을 합쳐서, 전체 크기의 제4 최적화 시차 맵(dispS4_refine)을 얻을 수 있다. 설명드릴 것은, 본 예에서, 세번째 및 네번째 시차 최적화 서브 네트워크는 제1 이미지 자체에 기반한 특징을 시차 최적화 처리하여 계산량을 줄이는 것을 사용했으나, 이들 중 하나 또는 둘은 제1 이미지의 가장자리 특징 또는 기타 특징을 사용할 수도 있다. 동일한 이유로, 계산량을 추가로 줄여야 할 경우, 첫번째 및/또는 두번째 시차 최적화 서브 네트워크는 추출된 가장자리 특징 대신 제1 이미지 자체에 기반한 특징을 사용할 수도 있다.

상기 1/8크기의 제1 최적화 시차 맵(dispS1_refine), 1/4크기의 제2 최적화 시차 맵(dispS2_refine), 1/2크기의 제3 최적화 시차 맵(dispS3_refine) 및 전체 크기의 제4 최적화 시차 맵(dispS4_refine)은 도 5에 도시된 시차 추정 시스템(100)에 의해 얻은 크기가 순차적으로 증가한 복수의 시차 맵으로 사용될 수 있다.

또한, 도 6에 도시된 시차 추정 시스템(100)의 전체 조작 과정은 도 5에 도시된 시차 추정 시스템(100)의 전체 작업 과정과 유사하고, 차이점은 단지 초기 시차 생성 서브 네트워크(301)에 의해 생성된 초기 시차 맵의 크기는 첫번째 시차 최적화 서브 네트워크에 의해 생성된 최적화 시차 맵의 크기보다 작은 점, 및 초기 시차 생성 서브 네트워크(301)에 의해 생성된 초기 시차 맵을 시차 추정 시스템(100)에 의해 얻은 크기가 순차적으로 증가한 복수의 시차 맵 중 하나로 할 수 있다는 점이므로, 설명을 생략한다.

일부 실시예에 따르면, 상기 초기 시차 생성 서브 네트워크(301) 및 상기 적어도 하나의 시차 최적화 서브 네트워크(302) 중의 각각의 시차 최적화 서브 네트워크(302)는 2DCNN(2차원 콘볼루션 신경망) 또는 3DCNN(3차원 컨볼루션 신경망) 등의 상응하는 시차 처리 기능을 실현할 수 있는 임의의 콘볼루션 신경망일 수 있다. 콘볼루션 신경망을 시차 생성망으로 사용하면, 비교적 큰 감지 영역을 얻을 수 있으므로, 얻게 되는 시차맵의 정확도를 향상시킬 수 있다.

일부 실시예에 따르면, 상기 초기 시차 생성 서브 네트워크(301)에 있어서, 2DCNN 구조로 시차를 얻을 경우, 상기 초기 시차 생성 서브 네트워크(301)는 제1 수량의(예를 들면 5개, 당연히 실제 필요에 따라 기타 상응하는 수치를 유연하게 선택할 수 있음) 순차적으로 캐스케이딩된 콘볼루션 층(convolution layer)을 포함할 수 있다. 각 콘볼루션 층의 콘볼루션 방식은 예를 들면 깊이별 분리 가능한 콘볼루션(depthwise separable convolution) 등을 사용할 수 있다.

예시적으로, 이하에서는 표 1을 통해 도 5에 도시된 시차 추정 시스템에 적용될 수 있는, 5개의 순차적으로 캐스케이딩된 콘볼루션 층(예를 들면 표 1 중의 conv1-conv5)을 포함하는, 2DCNN 구조의 초기 시차 생성 서브 네트워크(301)에 대해 개략적으로 설명한다. 예시적으로, 상기 서브 네트워크는 MobileNetV2 네트워크 구조를 사용했다.

초기 시차 생성 서브 네트워크(301)의 가능한 2DCNN 네트워크 구조의 관련 설명

명칭(Name)	계층 설명(Layer Description)	출력 텐서 크기(Output Tensor Dim)
corr1d	관련 층(correlation layer)	1/8H×1/8W×1/8D
semanS1_conv	시맨틱 특징에서 유래됨: conv 3×3, 1/8D features(특징)	1/8H×1/8W×1/8D
edgeS1_conv	가장자리 특징에서 유래됨: conv 3×3, 1/8D features	1/8H×1/8W×1/8D
concat	concat (corr1d, semanS1_conv, edgeS1_conv)	1/8H×1/8W×3/8D
conv1	MB_conv, 3/8D features	1/8H×1/8W×3/8D
conv2	MB_conv, 2/8D features	1/8H×1/8W×2/8D
conv3	MB_conv_res, 2/8D features	1/8H×1/8W×2/8D
conv4	MB_conv, 1/8D features	1/8H×1/8W×1/8D
conv5	MB_conv_res, 1/8D features	1/8H×1/8W×1/8D
dispS1	soft argmin	1/8H×1/8W×1

표 1 및 도 5를 결합하면 알 수 있듯이, corr1d층은 도 5의 특징 추출 네트워크(200)에 의해 추출된 제1 이미지의 1/8크기의 기본 구조 특징 및 제2 이미지의 1/8크기의 기본 구조 특징에 대해 관련 작업을 진행하도록 사용될 수 있다. semanS1_conv층은 3×3의 콘볼루션 커널(convolutional Kernel)을 기반으로, 추출된 제1 이미지의 1/8크기의 시맨틱 특징에 대해 콘볼루션 처리를 진행하도록 사용될 수 있다. edgeS1_conv층은 3×3의 콘볼루션 커널을 기반으로, 추출된 제1 이미지의 1/8크기의 가장자리 특징에 대해 콘볼루션 처리를 진행하도록 사용될 수 있다. concat층은 corr1d, semanS1_conv 및 edgeS1_conv에 의해 출력된 특징에 대해 합병하도록 사용될 수 있다.

또한, conv1-conv5층 중 관련된 MB_conv 작업은 MobileNetV2 중의 깊이별 분리 가능한 콘볼루션(depthwise separable convolution) 작업을 의미하고, MB_conv_res 작업은 MobileNetV2 중의 잔차 깊이별 분리 가능한 콘볼루션(residual depthwise separable convolution) 작업을 의미한다. 다시 말하면, conv1층, conv2층 및 conv4층은 각각 이전 층에서 출력된 특징에 대해 깊이별 분리 가능한 콘볼루션 작업을 진행하도록 사용될 수 있고, conv3층 및 conv5층은 각각 이전 층에서 출력된 특징에 대해 잔차 깊이별 분리 가능한 콘볼루션 작업을 진행하도록 사용될 수 있다. 또한, dispS1층은 이전 층에서 출력된 특징에 대해 soft arming 계산을 진행하여, 대응하는 크기(즉 1/8크기)의 초기 시차 맵(dispS1)을 얻도록 사용될 수 있다.

주의해야 할 점은, 표 1에서 언급한 H와 W는 각각 시차 추정 시스템(100)에 입력된 이미지 쌍 중의 이미지의 높이 및 폭을 나타내고, D는 이미지의 최대 시차 범위를 나타낼 수 있고, 셋의 단위는 모두 픽셀일 수 있고, D의 값은 상기 이미지 쌍을 수집하는 다안 카메라 중의 각 카메라 렌즈의 초점 거리 및/또는 각 카메라 렌즈 사이의 피치와 관련될 수 있다. 또한, 2DCNN 구조를 사용한 초기 시차 생성 서브 네트워크(301)의 콘볼루션 층의 수는 concat층에서 얻은 특징의 수에 따라 정해질 수 있다. 예를 들면, concat층에서 얻은 특징의 수가 많으면, 상기 초기 시차 생성 서브 네트워크(301)에 포함된 콘볼루션 층의 수를 더 늘릴 수 있다.

대체 방안으로서, 상기 초기 시차 생성 서브 네트워크(301)는 또한 3DCNN 구조를 사용하여 시차를 얻을 수 있고, 3DCNN 구조를 사용한 상기 초기 시차 생성 서브 네트워크(301)는 제2 수량의(예를 들면 7개, 당연히 실제 필요에 따라 기타 상응하는 수치를 유연하게 선택할 수 있음) 순차적으로 캐스케이딩된 콘볼루션 층을 포함할 수 있다.

예시적으로, 이하에서는 표 2를 통해 도 5에 도시된 시차 추정 시스템에 응용될 수 있는, 순차적으로 캐스케이딩된 7개의 콘볼루션 층(예를 들면 표 2중의 conv1-conv7)을 포함하는 3DCNN 구조의 초기 시차 생성 서브 네트워크(301)에 대해 개략적으로 설명한다.

초기 시차 생성 서브 네트워크(301)의 가능한 3DCNN 네트워크 구조의 관련 설명

명칭(Name)	계층 설명(Layer Description)	출력 텐서 크기(Output Tensor Dim)
edgeS1_conv	가장자리 특징에서 유래됨: conv 3×3, F features(특징)	1/8H×1/8W×F
semanS1_conv	시맨틱 특징에서 유래됨: conv 3×3, F features	1/8H×1/8W×F
concat	concat (featS1, semanS1_conv, edgeS1_conv)	1/8H×1/8W×3F
cost	평행이동 합병층(shift concatenate layer)	1/8D×1/8H×1/8W×6F
conv1	3DCNN, 3×3×3, 4F features	1/8D×1/8H×1/8W×4F
conv2	3DCNN, 3×3×3, 4F features, add conv1	1/8D×1/8H×1/8W×4F
conv3	3DCNN, 3×3×3, 2F features	1/8D×1/8H×1/8W×2F
conv4	3DCNN, 3×3×3, 2F features, add conv3	1/8D×1/8H×1/8W×2F
conv5	3DCNN, 3×3×3, 1F features	1/8D×1/8H×1/8W×1F
conv6	3DCNN, 3×3×3, 2F features, add conv5	1/8D×1/8H×1/8W×1F
conv7	3DCNN, 3×3×3, 1F features	1/8D×1/8H×1/8W×1
dispS1	soft argmin	1/8H×1/8W×1

표 2 및 도 5를 결합하면 알 수 있듯이, edgeS1_conv층은 3×3의 콘볼루션 커널을 기반으로, 추출된 제1 이미지의 1/8크기의 가장자리 특징에 대해 콘볼루션 처리를 진행하도록 사용될 수 있다. semanS3_conv층은 3×3의 콘볼루션 커널을 기반으로, 추출된 제1 이미지의 1/8크기의 시맨틱 특징에 대해 콘볼루션 처리를 진행하도록 사용될 수 있다. concat층은 featS1, semanS1_conv 및 edgeS1_conv에서 출력된 특징에 대해 합병하도록 사용될 수 있고, 표 2에 도시되지 않았으나, featS1은 추출된 제1 이미지의 1/8크기의 기본 구조 특징 및 제2 이미지의 1/8크기의 기본 구조 특징을 의미할 수 있다.

또한, cost층은 concat층에서 출력된 특징에 대해 평행이동 작업을 진행하도록 사용될 수 있다. conv1층에서 conv7층까지 각각 3×3×3의 콘볼루션 커널을 기반으로, 이전 층에서 출력된 특징에 대해 콘볼루션 작업을 진행하도록 사용될 수 있고, conv2층, conv4층 및 conv6층은 3DCNN 네트워크의 잔차 모듈에 해당할 수 있고, 또한, 이전 층에서 출력된 특징에 대해 각각 콘볼루션 작업을 진행한 후, 콘볼루션 결과와 이전 층에서 출력된 결과를 더하도록 사용될 수 있다. dispS1층은 이전 층에서 출력된 특징에 대해 soft arming 계산을 진행하여, 대응하는 크기(즉 1/8크기)의 초기 시차 맵(dispS1)을 얻도록 사용될 수 있다.

표 1과 유사하게, 표 2에서 언급한 H와 W는 각각 시차 추정 시스템(100)에 입력되는 이미지 쌍 중의 이미지의 높이 및 폭을 나타낼 수 있다. 또한, F는 특징의 채널 수를 나타낼 수 있고, 1F은 채널 수가 F, 3F은 채널 수가 3×F인 것을 나타낸다. 또한, 3DCNN 구조를 사용한 초기 시차 생성 서브 네트워크(301)의 콘볼루션 층의 수는 concat층에서 얻은 특징의 수에 따라 정할 수도 있다. 예를 들면, concat층에서 얻은 특징의 수가 많으면, 상기 초기 시차 생성 서브 네트워크(301)에 포함된 콘볼루션 층의 수를 더 늘릴 수 있다.

일부 실시예에 따르면, 상기 적어도 하나의 시차 최적화 서브 네트워크(302) 중의 각각의 시차 최적화 서브 네트워크(302)에 포함된 콘볼루션 층의 수는 상기 초기 시차 생성 서브 네트워크(301)에 포함된 콘볼루션 층의 수보다 작을 수 있다. 예를 들면, 각각의 시차 최적화 서브 네트워크(302)는 2DCNN 구조를 사용한 것을 예로 들면, 각각의 시차 최적화 서브 네트워크(302)에 포함된 콘볼루션 층의 수는 3개일 수 있고, 당연히, 실제 필요에 따라 다른 값이 될 수도 있다. 또한, 상술한 실시예와 관련된 설명을 참조하면, 각각의 시차 최적화 서브 네트워크(302)는 또한 3DCNN구조를 사용할 수 있고, 이에 대해 한정하지 않는다.

이하에서는 표 3 내지 표 6을 통해 도 5에 도시된 시차 추정 시스템에 적용될 수 있는 복수의 시차 최적화 서브 네트워크(302)의 구조에 대해 개략적으로 설명한다, 표 3 내지 표 6은 도 5에 도시된 시차 추정 시스템의 제1 내지 제4 시차 최적화 서브 네트워크의 가능한 2DCNN 네트워크 구조에 대해 순차적으로 설명한다.

첫번째 시차 최적화 서브 네트워크의 가능한 2DCNN 네트워크 구조의 관련 설명

명칭(Name)	계층 설명(Layer Description)	출력 텐서 크기(Output Tensor Dim)
edgeS1_conv	가장자리 특징에서 유래됨: conv 3×3, 8 features(특징)	1/8H×1/8W×8
concat	concat (dispS1, edgeS1_conv)	1/8H×1/8W×9
conv1	MB_conv, 4 features	1/8H×1/8W×4
conv2	MB_conv_res, 4 features	1/8H×1/8W×4
conv3	MB_conv, 1 features	1/8H×1/8W×1
dispS1_refine	add(dispS1, conv3)	1/8H×1/8W×1

상술한 표 1 등과 유사하게, edgeS1_conv층은 3×3의 콘볼루션 커널을 기반으로, 추출된 제1 이미지의 1/8크기의 가장자리 특징에 대해 콘볼루션 처리를 진행하도록 사용될 수 있다. concat층은 전단계 계층에서 시차 처리(즉 초기 시차 생성 처리)에 의해 생성된 1/8크기의 초기 시차 맵(dispS1) 및 edgeS1_conv에 의해 출력된 특징에 대해 합병 처리를 하도록 사용될 수 있다. 또한, conv1층 및 conv3층은 각각 전단계 층에서 출력된 특징에 대해 깊이별 분리 가능한 콘볼루션 작업을 진행하도록 사용될 수 있고, conv2층은 전단계 층에서 출력된 특징에 대해 잔차 깊이별 분리 가능한 콘볼루션 작업을 진행하도록 사용될 수 있다. 또한, dispS1_refine층은 전단계 층conv3에서 출력된 특징 및 전단계 계층에서 시차 처리에 의해 생성된 1/8크기의 초기 시차 맵(dispS1)에 대해 중첩 연산하여, 대응하는 크기(즉 1/8크기)의 제1 최적화 시차 맵(dispS1_refine)을 얻도록 사용될 수 있다.

두번째 시차 최적화 서브 네트워크의 가능한 2DCNN네트워크 구조의 관련 설명

명칭(Name)	계층 설명(Layer Description)	출력 텐서 크기(Output Tensor Dim)
dispS1_up	upsample(dispS1_refine)	1/4H×1/4W×1
edgeS2_conv	가장자리 특징에서 유래됨: conv 3×3, 8 features(특징)	1/4H×1/4W×8
concat	concat (dispS1_up, edgeS2_conv)	1/4H×1/4W×9
conv1	MB_conv, 4 features	1/4H×1/4W×4
conv2	MB_conv_res, 4 features	1/4H×1/4W×4
conv3	MB_conv, 1 features	1/4H×1/4W×1
dispS2_refine	add(dispS1_up, conv3)	1/4H×1/4W×1

표 4 및 도 5를 통해 알 수 있듯이, dispS1_up층은 전단계 계층에서 시차 처리(즉 제1 계층의 시차 최적화 처리)에 의해 생성된 1/8크기의 제1 최적화 시차 맵(dispS1_refine)에 대해 업샘플링 처리를 진행하여, 1/4크기의 최적화 시차 맵(dispS1_up)을 얻도록 사용될 수 있다. edgeS2_conv층은 3×3의 콘볼루션 커널을 기반으로, 추출된 제1 이미지의 1/4크기의 가장자리 특징에 대해 콘볼루션 처리를 진행하도록 사용될 수 있다. concat층은 업샘플링 처리된 1/4크기의 최적화 시차 맵(dispS1_up) 및 edgeS2_conv에서 출력된 특징에 대해 합병하도록 사용될 수 있다.

또한, conv1층 및 conv3층은 각각 이전 층에서 출력된 특징에 대해 깊이별 분리 가능한 콘볼루션 작업을 진행하도록 사용될 수 있고, conv2층은 이전 층에서 출력된 특징에 대해 잔차 깊이별 분리 가능한 콘볼루션 작업을 진행하도록 사용될 수 있다. 또한, dispS2_refine층은 이전 층 conv3에서 출력된 특징 및 업샘플링 처리된 1/4크기의 최적화 시차 맵(dispS1_up)에 대해 중첩 연산을 진행하여, 대응하는 크기(즉 1/4크기)의 제2 최적화 시차 맵(dispS2_refine)을 얻도록 사용될 수 있다.

세번째 시차 최적화 서브 네트워크의 가능한 2DCNN네트워크 구조의 관련 설명

명칭(Name)	계층 설명(Layer Description)	출력 텐서 크기(Output Tensor Dim)
dispS2_up	upsample(dispS2_refine)	1/2H×1/2W×1
imgS3	downsample(I1)	1/2H×1/2W×3
concat	concat (dispS2_up, imgS3)	1/2H×1/2W×4
conv1	conv 3×3, 4 features(특징)	1/2H×1/2W×4
conv2	conv 3×3, 2 features	1/2H×1/2W×2
conv3	conv 3×3, 1 features	1/2H×1/2W×1
dispS3_refine	add(dispS2_up, conv3)	1/2H×1/2W×1

표 5 및 도 5를 통해 알 수 있듯이, dispS2_up층은 전단계 계층에서 시차 처리(즉 제2 계층의 시차 최적화 처리)에 의해 생성된 1/4크기의 제2 최적화 시차 맵(dispS2_refine)에 대해 업샘플링 처리를 진행하여 1/2크기의 최적화 시차 맵(dispS2_up)을 얻도록 사용될 수 있다. imgS3층은 제1 이미지 자체에 대해 다운샘플링 처리를 진행하여, 제1 이미지 자체에 기반한 1/2크기의 특징을 얻도록 사용될 수 있고, 표 5의 I1은 제1 이미지를 나타낸다. concat층은 업샘플링 처리된 1/2크기의 최적화 시차 맵(dispS2_up) 및 imgS3에서 출력된 특징에 대해 합병 처리를 하도록 사용될 수 있다.

또한, conv1층, conv2층 및 conv3층은 각각 이전 층에서 출력된 특징에 대해 콘볼루션 조작을 진행하도록 사용될 수 있고, dispS3_refine층은 이전 층 conv3에서 출력된 특징 및 업샘플링 처리된 1/2크기의 최적화 시차 맵(dispS2_up)에 대해 중첩 계산을 진행하여, 대응하는 크기(즉 1/2크기)의 제3 최적화 시차 맵(dispS3_refine)을 얻도록 사용될 수 있다.

네번째 시차 최적화 서브 네트워크의 가능한 2DCNN네트워크 구조의 관련 설명

명칭(Name)	계층 설명(Layer Description)	출력 텐서 크기(Output Tensor Dim)
dispS3_up	upsample(dispS3_refine)	H×W×1
concat	concat (dispS3_up, I1)	H×W×4
conv1	conv 3×3, 4 features(특징)	H×W×4
conv2	conv 3×3, 2 features	H×W×2
conv3	conv 3×3, 1 features	H×W×1
dispS4_refine	add(dispS3_up, conv3)	H×W×1

표 6 및 도 5를 통해 알 수 있듯이, dispS3_up층은 전단계 계층에서 시차 처리(즉 제3 계층의 시차 최적화 처리)에 의해 생성된 1/2크기의 제3 최적화 시차 맵(dispS3_refine)에 대해 업샘플링 처리를 진행하여, 전체 크기의 최적화 시차 맵(dispS3_up)을 얻도록 사용될 수 있다. concat층은 업샘플링 처리된 전체 크기의 최적화 시차 맵(dispS3_up) 및 제1 이미지 자체에 대해 합병하도록 사용될 수 있고, 표 6의 I1은 제1 이미지를 나타낸다.

또한, conv1층, conv2층 및 conv3층은 각각 이전 층에서 출력된 특징에 대해 콘볼루션 작업을 진행하도록 사용될 수 있고, dispS4_refine층은 이전 층 conv3에서 출력된 특징 및 업샘플링 처리된 전체 크기의 최적화 시차 맵(dispS3_up)에 대해 중첩 계산을 진행하여, 대응하는 크기(즉 전체 크기)의 제4 최적화 시차 맵(dispS4_refine)을 얻도록 사용될 수 있다.

주의해야 할 점은, 상술한 실시예와 유사하게, 표 3 내지 표 6에서 언급한 H와 W은 각각 시차 추정 시스템(100)에 입력된 이미지 쌍 중의 이미지의 높이 및 폭을 나타낼 수 있다. 또한, 2DCNN 구조를 사용한 각 시차 최적화 서브 네트워크(302)의 콘볼루션 층의 수는 concat층에서 얻은 특징의 수에 따라 정해질 수도 있다. 예를 들면, concat층에서 얻은 특징의 수가 많으면, 각 시차 최적화 서브 네트워크(302)에 포함된 콘볼루션 층의 수를 더 늘릴 수 있다.

일부 실시예에 따르면, 상기 초기 시차 생성 서브 네트워크(301) 및 상기 적어도 하나의 시차 최적화 서브 네트워크(302) 중의 각각의 서브 네트워크는 훈련 샘플집을 기반으로 미리 훈련된 네트워크일 수 있고, 이에 의해, 시차 처리 효과를 향상시킬 수 있다. 물론 실제 필요에 따라, 상기 초기 시차 생성 서브 네트워크(301) 및 상기 적어도 하나의 시차 최적화 서브 네트워크(302) 중의 각각의 서브 네트워크는 훈련 샘플집을 기반으로 실시간 훈련하여 얻은 것이거나, 또는 업데이트된 훈련 샘플집을 기반으로 미리 훈련된 네트워크를 실시간 또는 타이밍 최적화하여 얻은 것일 수도 있어, 시차 생성의 정확도를 향상시킨다.

일부 실시예에 따르면, 상기 초기 시차 생성 서브 네트워크(301) 및 상기 적어도 하나의 시차 최적화 서브 네트워크(302) 중의 각각의 서브 네트워크의 훈련 과정은 지도 훈련 또는 비지도 훈련을 사용할 수도 있고, 실제 필요에 따라 유연하게 선택할 수 있다. 지도 훈련 및 비지도 훈련의 설명은 전술한 실시예와 관련된 설명을 참조할 수 있고 여기서는 설명을 생략한다.

일부 실시예에 따르면, 상기 초기 시차 생성 서브 네트워크(301) 및 상기 적어도 하나의 시차 최적화 서브 네트워크(302) 중의 각각의 서브 네트워크는 또한 손실 함수를 계산하도록 구성될 수 있고, 상기 손실 함수는 상기 서브 네트워크에 의해 생성된 시차 맵 중의 시차와 대응하는 실제 시차 사이의 오차를 나타내도록 사용될 수 있다. 이에 의해, 손실 함수를 계산하는 것을 통해, 시차 추정 시스템에 의해 생성된 각 시차 맵의 정확도를 명확히 할 수 있다. 또한, 손실 함수를 기반으로 대응하는 시스템을 최적화할 수 있다.

일부 실시예에 따르면, 상기 초기 시차 생성 서브 네트워크(301) 및 상기 적어도 하나의 시차 최적화 서브 네트워크(302) 중의 각각의 서브 네트워크는 지도 훈련을 사용한 것을 예로 들면, 각각의 시차 처리 서브 네트워크 또는 각 계층의 시차 처리에서 출력된 손실 함수는

로 정의될 수 있다. N의 값은 1 내지 N(도 5에 도시된 시차 추정 시스템에 대응), 또는 0 내지 N(도 6에 도시된 시차 추정 시스템에 해당)이다. 함수 f는 예측된 시차(

)와 실제 시차(

)의 차이를 나타내고, g는 시차 연속성 제약(ContinuityConstraint)을 나타낸다.

,

. 또한, 가장자리 특징을 손실 함수의 정규화(regularizer)로 고려할 수 있고, 이에 대해 한정하지 않는다. 대응하게, 상기 시차 추정 시스템(100)의 최종 손실 함수는 각 시차 처리 서브 네트워크 또는 각 계층의 시차 처리에서 출력된 손실 함수의 합일 수 있다.

다른 일부 실시예에 따르면, 상기 초기 시차 생성 서브 네트워크(301) 및 상기 적어도 하나의 시차 최적화 서브 네트워크(302) 중의 각각의 서브 네트워크는 비지도 훈련을 사용할 경우, 이미지를 재구성하고, 재구성 오차를 계산하는 것을 통해 각 시차 처리 서브 네트워크 또는 각 계층의 시차 처리의 손실 함수를 얻을 수 있다. 예를 들면, 그 중 1 계층의 시차 처리 서브 네트워크의 손실 함수를 계산하는 것을 예로 들면, 계산하여 얻은 손실 함수는

로 나타낼 수 있고, 여기서,

이고, warp 함수는 상기 계층의 시차 처리 서브 네트워크에 의해 계산된 시차에 따라 제2 이미지(I2)를 하나의 I1이미지로 재구성한 것을 나타낸다.

이하에서는 상기 초기 시차 생성 서브 네트워크(301) 및 상기 적어도 하나의 시차 최적화 서브 네트워크(302) 중의 각각의 서브 네트워크는 지도 훈련을 사용하고, 훈련 세트는 Scene Flow(장면 흐름)를 사용하고, 또한 시차 추정 시스템의 구조는 도 5에 도시된 바와 같은 경우를 예로 들면, 도 7a, 도 7b 및 도 8을 결합하여 훈련에서 기반으로 되는 참고 이미지, 대응하는 훈련 시차 맵 및 훈련된 매개변수를 Middlebury데이터 세트 이미지에 응용하여 테스트한 결과에 대해 개략적으로 설명한다.

도 7a 및 도 7b는 각각 본 공개의 예시적인 실시예에 따른 네트워크 훈련에서 기반으로 되는 참고 이미지 및 대응하는 훈련 시차 맵(ground truth)의 개략도를 나타내고, 도 8은 본 공개의 예시적인 실시예에 따른, 훈련된 시차 추정 시스템을 사용하여 도 7a에 도시된 참고 이미지에 대해 캐스케이딩된 복수 계층의 시차 처리를 진행하여 얻은, 오른쪽에서 왼쪽으로 크기가 순차적으로 증가한 복수의 시차 맵의 개략도를 나타낸다(즉 훈련된 매개변수를 Middlebury데이터 세트 이미지에 응용하여 테스트하여 얻은 결과). 상기 도면을 통해 알 수 있듯이, 획득한 복수의 시차 맵의 크기는 순차적으로 증가할 수 있고, 정확도는 순차적으로 높아질 수 있고, 최대 크기의 시차 맵의 정확도는 훈련 시차 맵에 가깝다. 또한, 비록 도 7a, 도 7b 및 도 8은 각각 그레이 이미지의 방식으로 기준 이미지, 훈련 시차 맵 및 생성된 복수의 시차 맵에 대해 개략적으로 나타냈으나, 도 7a에 도시된 참고 이미지는 컬러 이미지일 경우, 도 7b 및 도 8에 도시된 각 시차 맵도 대응하는 컬러 이미지일 수 있음을 이해할 수 있을 것이다.

일부 실시예에 따르면, 상기 시차 생성 네트워크(300)는 또한 목표 장치의 성능에 따라, 상기 복수의 시차 맵 중에서 상기 목표 장치의 성능과 매칭되는 크기의 시차 맵을 선택하여 상기 목표 장치에 제공하기 위한 시차 맵으로 하도록 구성될 수 있다. 예를 들면, 상기 목표 장치의 성능이 높은 경우 및/또는 필요한 시차 맵의 정확도가 높은 경우, 상기 복수의 시차 맵 중에서 크기가 큰 시차 맵을 선택하여 상기 목표 장치에 제공할 수 있다. 또한, 상기 목표 장치는 자체 성능에 따라, 상기 시차 추정 시스템에 의해 획득한 상기 복수의 시차 맵 중에서 필요한 시차 맵을 능동적으로 얻을 수도 있고, 이에 대해 한정하지 않는다.

또한, 도시되지 않았으나, 상기 시차 추정 시스템에 의해 획득한 상기 복수의 시차 맵은 상응하는 목표 장치에 제공되어 추가로 처리될 수도 있다. 예를 들면 상응하는 목표 장치에 제공되어 상기 목표 장치가 상기 시차 맵을 기반으로 계산하여 깊이맵을 얻도록 하여, 장면의 깊이 정보를 얻음으로써, 3차원 재구성, 자동 주행, 장애물 검출 등과 같은 다양한 응용 장면에 응용되도록 한다.

이상 도 1 내지 도 8을 결합하여 본 공개에 따른 시차 추정의 예시적인 시스템에 대해 설명하였다. 이하에서는 도 9, 도 10 및 도 11을 결합하여 본 공개의 시차 추정의 예시적인 방법, 예시적인 전자 장치의 예시적인 실시예에 대해 추가로 설명한다. 주의해야 할 점은, 상술한 설명에서 도 1 내지 도 8을 참조하여 설명한 다양한 정의, 실시예, 실시방식 및 예 등은 모두 후술할 예시적 실시예 또는 그 조합에 적용될 수도 있다.

일부 실시예에 따르면, 도 9는 본 공개의 예시적인 실시예에 따른 시차 추정 방법의 흐름도를 나타낸다. 도 9에 도시된 바와 같이, 본 공개의 시차 추정 방법은, 이미지 쌍의 각 이미지에 대해 특징 추출을 진행하는 단계(단계 S901); 및 추출된 이미지 특징에 따라, 캐스케이딩된 복수 계층의 시차 처리를 진행하여, 크기가 순차적으로 증가한 복수의 시차 맵을 얻는 단계(단계 S902)를 포함할 수 있고, 상기 복수 계층의 시차 처리 중의 제1 계층의 시차 처리의 입력은 상기 계층의 시차 처리와 대응하는 크기를 갖는 복수의 이미지 특징을 포함하고, 상기 복수 계층의 시차 처리 중의 상기 제1 계층의 시차 처리를 제외한 각 계층의 시차 처리의 입력은 상기 계층의 시차 처리와 대응하는 크기를 갖는 하나 이상의 이미지 특징 및 전단계 계층에서 시차 처리에 의해 생성된 시차 맵을 포함한다.

일부 실시예에 따르면, 상기 이미지 쌍은 다안 카메라에 의해 수집된 동일한 장면에 대한 이미지 쌍일 수 있다. 상기 이미지 쌍 중의 각 이미지는 크기가 동일하고, 대응하는 시야각은 다르다. 또한, 상기 이미지 쌍 중의 각 이미지는 그레이 스케일 이미지 또는 컬러 이미지일 수 있다.

일부 실시예에 따르면, 추출된 상기 이미지 쌍 중의 각 이미지의 이미지 특징은 적어도 기본 구조 특징, 시맨틱 특징, 가장자리 특징, 텍스처 특징, 컬러 특징, 물체의 형상 특징, 또는 이미지 자체에 기반한 특징 중 하나 또는 하나 이상을 포함할 수 있다. 예를 들면, 추출된 상기 이미지 쌍 중의 제1 이미지(예를 들면 좌안 렌즈 이미지)의 이미지 특징은 기본 구조 특징, 시맨틱 특징 및 가장자리 특징을 포함할 수 있고, 추출된 상기 이미지 쌍 중의 제2 이미지(예를 들면 우안 렌즈 이미지)의 이미지 특징은 기본 구조 특징을 포함할 수 있다. 또는, 추출된 상기 이미지 쌍 중의 제1 이미지 및 제2 이미지의 이미지 특징은 모두 기본 구조 특징, 시맨틱 특징 및 가장자리 특징, 등을 포함할 수 있다.

일부 실시예에 따르면, 상기 복수의 시차 맵 중의 최대 크기의 시차 맵은 상기 이미지 쌍 중의 각 이미지의 크기와 일치할 수 있고, 물론 상기 복수의 시차 맵 중의 각 시차 맵의 크기는 모두 상기 이미지 쌍 중의 각 이미지의 크기보다 작을 수도 있다. 또한, 상기 복수의 시차 맵 중의 임의의 2개의 인접한 시차 맵 중의 후자 시차 맵의 높이 및 폭은 각각 전자 시차 맵의 높이 및 폭의 2배일 수 있고, 당연히, 실제 필요한 정확도에 따라 각각 전자 시차 맵의 높이 및 폭의 3배, 4배 또는 기타 1보다 큰 정수 배수 등으로 설정할 수도 있다. 예시적으로, 상기 복수의 시차 맵은 4개이고, 상기 복수의 시차 맵 중 마지막 시차 맵의 크기는 H×W(상기 이미지 쌍 중의 각 이미지와 크기가 동일할 수 있음)인 것을 예로 들면, 이전에 배열된 상기 복수의 시차 맵 중의 기타 각 시차 맵의 크기는 순차적으로

(H×W가 전체 크기라고 지칭될 수 있다면,

는 1/2크기라고 지칭될 수 있음),

(1/4크기라고 지칭될 수 있음) 및

(1/8크기라고 지칭될 수 있음)일 수 있다.

일부 실시예에 따르면, 상기 추출된 이미지 특징은 N가지 크기의 이미지 특징을 포함할 수 있고, 상기 N은 2 이상의 양의 정수이다. 대응하게, 도 10에 도시된 바와 같이(도 10은 본 공개의 예시적인 실시예에 따른 시차 추정 방법 중의 복수 계층의 시차 처리의 흐름도를 나타낸다), 추출된 이미지 특징에 따라, 캐스케이딩된 복수 계층의 시차 처리를 진행하여, 크기가 순차적으로 증가한 복수의 시차 맵을 얻고, 다음 단계를 포함할 수 있다.

단계(S1001): 상기 복수 계층의 시차 처리의 제1 계층의 시차 처리에서, 상기 N가지 크기의 이미지 특징 중의 최소 크기의 이미지 특징의 적어도 일부에 따라, 상기 최소 크기의 초기 시차 맵을 생성하는 단계.

예시적으로, 추출된 상기 N가지 크기의 이미지 특징이 1/8크기, 1/4크기, 1/2크기 및 전체 크기 등 4가지 크기의 이미지 특징을 포함하는 것을 예로 들면, 상기 복수 계층의 시차 처리의 제1 계층의 시차 처리에서, 상기 4가지 크기의 이미지 특징 중 최소 크기의(즉 1/8크기) 이미지 특징의 적어도 일부에 따라, 상기 최소 크기의(즉 1/8크기) 초기 시차 맵을 생성할 수 있다.

또한, 상술한 표 1 및 표 2에서 나타낸 바와 같이, 대응하는 크기를 갖는 상응한 이미지 특징을 시차 평행이동하여 중첩되고, 3DCNN를 사용하여 초기 시차 맵을 얻거나 또는 평행이동 후의 대응하는 크기를 갖는 이미지 특징의 차이를 계산하고, 2DCNN를 사용하여 초기 시차 맵을 얻을 수 있다.

단계(S1002): 상기 복수 계층의 시차 처리의 후속 각 계층의 시차 처리에서, 상기 N가지 크기의 이미지 특징 중의 대응하는 크기를 갖는 이미지 특징의 적어도 일부에 따라, 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 시차 최적화 처리를 진행하여, 상기 대응하는 크기를 갖는 최적화 시차 맵을 생성하고, 상기 복수의 시차 맵은 적어도 각각의 최적화 시차 맵을 포함한다.

일부 실시예에 따르면, 상기 복수 계층의 시차 처리는 N+1 계층의 시차 처리를 포함할 수 있다. 대응하게, 상기 복수 계층의 시차 처리의 상기 후속 각 계층의 시차 처리에서, 상기 N가지 크기의 이미지 특징 중의 대응하는 크기를 갖는 이미지 특징의 적어도 일부에 따라 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 시차 최적화 처리를 진행하여, 상기 대응하는 크기를 갖는 최적화 시차 맵을 생성하고, 여기서, 상기 복수의 시차 맵은 적어도 각각의 최적화 시차 맵을 포함하고, 다음을 포함한다:

제1 계층의 시차 처리를 제외한 N계층의 시차 처리에서, 크기가 작은 것부터 큰 것 순으로, 순차적으로, 상기 N가지 크기의 이미지 특징 중의 대응하는 크기를 갖는 이미지 특징의 적어도 일부를 기반으로, 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 시차 최적화 처리를 진행하여, 크기가 순차적으로 증가한 N개의 최적화 시차 맵을 얻고, 상기 N개의 최적화 시차 맵을 상기 복수의 시차 맵으로 하고, 상기 N개의 최적화 시차 맵의 크기는 각각 상기 N가지 크기와 대응한다.

예시적으로, 추출된 상기 N가지 크기의 이미지 특징은 1/8크기, 1/4크기, 1/2크기 및 전체 크기 등 4가지 크기의 이미지 특징을 포함하고, 또한, 상기 복수 계층의 시차 처리는 4+1계층의 시차 처리를 포함할 수 있는 경우를 예로 들면, 제1 계층의 시차 처리를 제외한 4계층의 시차 처리에서, 크기가 작은 것부터 큰 것 순으로, 상기 4가지 크기의 이미지 특징 중의 대응하는 크기를 갖는 이미지 특징의 적어도 일부를 기반으로, 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 순차적으로 시차 최적화 처리를 진행하여, 순차적으로 증가한 4가지 크기의 최적화 시차 맵을 얻고(예를 들면, 1/8크기를 갖는 최적화 시차 맵, 1/4크기를 갖는 최적화 시차 맵, 1/2크기를 갖는 최적화 시차 맵 및 전체 크기를 갖는 최적화 시차 맵을 얻는다), 상기 4개 최적화 시차 맵을 상기 복수의 시차 맵으로 한다.

다른 일부 실시예에 따르면, 상기 복수 계층의 시차 처리는 N계층의 시차 처리를 포함할 수 있다. 대응하게, 상기 복수 계층의 시차 처리의 상기 후속 각 계층의 시차 처리에서, 상기 N가지 크기의 이미지 특징 중의 대응하는 크기를 갖는 이미지 특징의 적어도 일부에 따라 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 시차 최적화 처리를 진행하여, 상기 대응하는 크기를 갖는 최적화 시차 맵을 생성하고, 상기 복수의 시차 맵은 적어도 각각의 최적화 시차 맵을 포함하고, 다음을 포함할 수 있다:

제1 계층의 시차 처리를 제외한 N-1계층의 시차 처리에서, 크기가 작은 것부터 큰 것 순으로, 상기 N가지 크기의 이미지 특징 중의 N-1가지의 최소 크기가 아닌 이미지 특징 중의 대응하는 크기를 갖는 이미지 특징의 적어도 일부를 기반으로, 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 순차적으로 시차 최적화 처리를 진행하여, 크기가 순차적으로 증가한 N-1개의 최적화 시차 맵을 얻고, 상기 초기 시차 맵 및 상기 N-1개의 최적화 시차 맵을 상기 복수의 시차 맵으로 하고, 상기 초기 시차 맵 및 상기 N-1개의 최적화 시차 맵의 크기는 각각 상기 N가지 크기와 대응한다.

예시적으로, 추출된 상기 N가지 크기의 이미지 특징은 1/8크기, 1/4크기, 1/2크기 및 전체 크기 등 4가지 크기의 이미지 특징을 포함하고, 상기 복수 계층의 시차 처리는 4계층의 시차 처리를 포함할 수 있는 경우를 예로 들면, 제1 계층의 시차 처리를 제외한 기타 3계층의 시차 처리에서, 크기가 작은 것부터 큰 것 순으로, 최소 크기가 아닌 기타 3가지 이미지 특징 중의 대응하는 크기를 갖는 이미지 특징의 적어도 일부에 따라, 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 순차적으로 시차 최적화 처리를 진행하여, 크기가 순차적으로 증가한 3개의 최적화 시차 맵을 얻고(예를 들면, 1/4크기를 갖는 최적화 시차 맵, 1/2크기를 갖는 최적화 시차 맵 및 전체 크기를 갖는 최적화 시차 맵을 얻는다), 상기 초기 시차 맵 및 상기 3개의 최적화 시차 맵을 상기 복수의 시차 맵으로 할 수 있다.

따라서, 획득한 상기 복수의 시차 맵은 상기 복수 계층의 시차 처리 중의 제1 계층의 시차 처리에 의해 생성된 초기 시차 맵을 포함하거나 포함하지 않을 수 있어, 시차 생성의 유연성을 향상시킨다.

일부 실시예에 따르면, 상기 복수 계층의 시차 처리의 후속 각 계층의 시차 처리에서, 상기 N가지 크기의 이미지 특징 중의 대응하는 크기를 갖는 이미지 특징의 적어도 일부에 따라, 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 시차 최적화 처리를 진행하여, 상기 대응하는 크기를 갖는 최적화 시차 맵을 생성하고, 다음을 포함할 수 있다:

상기 복수 계층의 시차 처리 중의 상기 제1 계층의 시차 처리를 제외한 각 계층의 시차 처리에서, 대응하는 크기를 갖는 이미지 특징의 적어도 일부를 기반으로, 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 잔차 계산을 진행하여, 상기 대응하는 크기를 갖는 잔차 맵을 얻고, 상기 대응하는 크기를 갖는 잔차 맵 및 상기 전단계 계층에서 시차 처리에 의해 생성된 시차 맵을 결합하여 상기 대응하는 크기를 갖는 최적화 시차 맵을 얻는다.

예를 들면, 추출된 상기 N가지 크기의 이미지 특징은 1/8크기, 1/4크기, 1/2크기 및 전체 크기 등 4가지 크기의 이미지 특징을 포함하고, 또한, 상기 복수 계층의 시차 처리는 4+1계층의 시차 처리를 포함할 수 있는 경우를 예로 들면, 제1 계층의 시차 처리를 제외한 기타 4계층의 시차 처리된 1/8크기에 대응하는 시차 처리에서(즉 1/8크기에 대응하는 시차 최적화 처리에서), 추출된 1/8크기의 이미지 특징의 일부 또는 전부 및 전단계 계층에서 시차 처리에 의해 생성된 초기 시차 맵을 기반으로 1/8크기의 제1 잔차 맵을 계산하여 얻고, 상기 제1 잔차 맵 및 상기 초기 시차 맵을 기반으로 1/8크기의 제1 최적화 시차 맵을 얻을 수 있다. 다음 계층 1/4크기에 대응하는 시차 최적화 처리에서, 추출된 1/4크기의 이미지 특징의 일부 또는 전부 및 전단계 계층에서 시차 처리에 의해 생성된 제1 최적화 시차 맵을 기반으로 1/4크기의 제2 잔차 맵을 계산하여 얻고, 상기 제2 잔차 맵 및 상기 제1 최적화 시차 맵을 기반으로 1/4크기의 제2 최적화 시차 맵을 얻을 수 있다.

일부 실시예에 따르면, 상기 복수 계층의 시차 처리 중의 상기 제1 계층의 시차 처리를 제외한 각 계층의 시차 처리에서, 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 시차 최적화 처리를 진행하기 전에, 상기 방법은 상기 전단계 계층에서 시차 처리에 의해 생성된 시차 맵의 크기가 해당 계층의 시차 처리에 대응하는 크기보다 작은 것에 대한 응답으로, 상기 전단계 계층에서 시차 처리에 의해 생성된 시차 맵을 해당 계층의 시차 처리에 대응하는 크기로 업샘플링하는 것을 더 포함할 수 있다.

예를 들면, 여전히 추출된 상기 N가지 크기의 이미지 특징은 1/8크기, 1/4크기, 1/2크기 및 전체 크기 등 4가지 크기의 이미지 특징을 포함하고, 또한, 상기 복수 계층의 시차 처리는 4+1계층의 시차 처리를 포함할 수 있는 경우를 예로 들면, 제1 계층의 시차 처리를 제외한 기타 4계층의 시차 처리된 1/4크기에 대응하는 시차 처리에서(즉 1/4크기에 대응하는 시차 최적화 처리에서), 전단계 계층에서 시차 처리에 의해 생성된 1/8크기의 제1 최적화 시차 맵을 해당 계층의 시차 처리에 대응하는 1/4크기로 업샘플링한 후, 추출된 1/4크기의 이미지 특징의 일부 또는 전부를 기반으로, 업샘플링된 1/4크기의 제1 최적화 시차 맵에 대해 시차 최적화 처리를 진행하여 1/4크기의 제2 최적화 시차 맵을 얻을 수 있다.

일부 실시예에 따르면, 상기 N가지 크기의 이미지 특징 중의 최소 크기의 이미지 특징은 예를 들면 상기 이미지 쌍 중의 제1 이미지의 적어도 하나의 이미지 특징 및 제2 이미지의 적어도 하나의 이미지 특징을 포함할 수 있다. 예를 들면, 상기 N가지 크기의 이미지 특징 중의 최소 크기의 이미지 특징은 상기 이미지 쌍 중의 제1 이미지(예를 들면 좌안 렌즈 이미지)의 기본 구조 특징, 시맨틱 특징, 가장자리 특징 및 상기 이미지 쌍 중의 제2 이미지(예를 들면 우안 렌즈이미지)의 기본 구조 특징을 포함할 수 있다.

상기 N가지 크기의 이미지 특징 중의 각각의 최소 크기가 아닌 이미지 특징은 예를 들면 상기 이미지 쌍 중의 상기 제1 이미지의 적어도 하나의 이미지 특징 및/또는 상기 제2 이미지의 적어도 하나의 이미지 특징을 포함할 수 있다. 예를 들면, 상기 N가지 크기의 이미지 특징 중의 최소 크기가 아닌 각 이미지 특징은 상기 이미지 쌍 중의 제1 이미지의 가장자리 특징 또는 상기 제1 이미지 자체에 기반한 특징을 포함할 수 있다.

또한, 상술한 시스템의 실시예를 참조하면, 상이한 최적화 시차 맵 생성에서 기반으로 되는 이미지 특징은 동일한 종류의 이미지 특징 또는 상이한 종류의 이미지 특징일 수 있거나, 및/또는, 상이한 최적화 시차 맵 생성에서 기반으로 되는 이미지 특징은 상기 이미지 쌍 중의 동일한 이미지 또는 상이한 이미지의 이미지 특징일 수 있다.

각 최적화 시차 맵 생성에서 기반으로 되는 이미지 특징은 예를 들면 상기 이미지 쌍 중의 적어도 하나의 이미지의 가장자리 특징 및/또는, 상기 이미지 쌍 중의 적어도 하나의 이미지의 이미지 자체에 기반한 특징을 포함할 수 있다. 상기 이미지 쌍 중의 적어도 하나의 이미지의 이미지 자체에 기반한 상기 특징은 예를 들면 상기 적어도 하나의 이미지의 이미지 자체, 또는 생성해야 할 최적화 시차 맵의 크기에 따라, 상기 적어도 하나의 이미지의 이미지 자체에 대해 다운샘플링하여 얻은 이미지를 포함할 수 있다.

일부 실시예에 따르면, 상기 시차 추정 방법은 상기 복수 계층의 시차 처리 중의 각 계층의 시차 처리의 손실 함수를 계산하는 단계를 더 포함할 수 있고, 상기 손실 함수는 상기 계층의 시차 처리에 의해 생성된 시차 맵 중의 시차와 대응하는 실제 시차 사이의 오차를 나타내도록 사용될 수 있다. 이에 의해, 손실 함수를 계산하는 것을 통해, 생성된 각 시차 맵의 정확도를 명확히 할 수 있고, 또한 손실 함수을 기반으로 시차 추정 방법을 최적화할 수 있다.

일부 실시예에 따르면, 상기 시차 추정 방법은, 목표 장치의 성능에 따라, 상기 복수의 시차 맵으로부터 상기 목표 장치의 성능과 매칭되는 크기의 시차 맵을 선택하여 상기 목표 장치에 제공하기 위한 시차 맵으로 사용하는 단계를 더 포함한다. 예를 들면, 상기 목표 장치의 성능이 높은 경우 및/또는 필요한 시차 맵의 정확도가 높은 경우, 상기 복수의 시차 맵에서 크기가 큰 시차 맵을 선택하여 상기 목표 장치에 제공할 수 있다. 또한, 상기 목표 장치는 자체 성능에 따라, 상기 시차 추정 시스템에 의해 획득한 상기 복수의 시차 맵 중에서 필요한 시차 맵을 능동적으로 얻을 수도 있다.

또한, 상기 시차 추정 방법은, 상기 이미지 쌍 중의 각 이미지에 대해 이미지 특징 추출을 진행하기 전에, 상기 이미지 쌍 중의 이미지에 대해 에피폴라 라인 보정 에피폴라 라인 보정을 진행하여, 상기 이미지 쌍 중의 이미지가 일 방향 (예를 들면 수평방향)에서만 시차가 존재하도록 하는 단계를 더 포함할 수 있다. 따라서, 이미지의 시차 검색 범위는 일 방향에서만 제한될 수 있으므로, 후속 특징 추출 및 시차 생성 효율을 향상시킨다.

본 공개의 일 측면은 전자 장치를 포함하고, 상기 전자 장치는 프로세서; 및 상기 프로세서에 의해 실행될 경우 상기 프로세서가 상술한 임의의 방법을 실행하도록 하는 명령을 포함하는 프로그램을 저장하는 메모리를 포함할 수 있다.

본 공개의 일측면은 전자 장치의 프로세서에 의해 실행될 경우 상기 전자 장치가 상술한 임의의 방법을 실행하도록 하는 명령을 포함하는 프로그램을 저장하는 컴퓨터 판독 가능한 저장 매체를 포함할 수 있다.

이하 도 11을 참고하여, 본 공개의 각 측면에 응용될 수 있는 하드웨어 장치의 예시인 컴퓨터 장치(2000)를 설명한다. 컴퓨터 장치(2000)는 처리 및/또는 계산을 실행하도록 구성되는 임의의 기계일 수 있으며, 워크 스테이션, 서버, 데스크톱 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 개인용 디지털 비서, 스마트폰, 온보드 컴퓨터 또는 이들의 조합일 수 있으나 이에 한정되지 않는다. 상기 전자 장치는 컴퓨팅 장치(2000) 또는 유사한 장치 또는 시스템에 의해 전부 또는 적어도 부분적으로 실현될 수 있다.

컴퓨터 장치(2000)는 (하나 이상의 인터페이스를 통해) 버스(2002)와 연결되거나 버스(2002)와 통신할 수 있는 요소를 포함할 수 있다. 예를 들면, 컴퓨터 장치(2000)는 버스(2002), 하나 이상의 프로세서(2004), 하나 이상의 입력 장치(2006) 및 하나 이상의 출력 장치(2008)를 포함할 수 있다. 하나 이상의 프로세서(2004)는 임의의 유형의 프로세서일 수 있으며, 하나 이상의 범용 프로세서 및/또는 하나 이상의 전용 프로세서(예를 들면 특수 처리 칩)를 포함할 수 있지만, 이에 한정되지 않는다. 입력 장치(2006)는 컴퓨터 장치(2000)에 정보를 입력할 수 있는 임의의 유형의 장치일 수 있으며, 마우스, 키보드, 터치 스크린, 마이크 및/또는 리모콘 등을 포함할 수 있으나, 이에 한정되지 않는다. 출력 장치(2008)는 정보를 보여줄 수 있는 임의의 유형의 장치일 수 있으며, 디스플레이, 스피커, 비디오/오디오 출력 단말, 진동기 및/또는 프린터를 포함할 수 있으나, 이에 한정되지 않는다. 컴퓨터 장치(2000)는 저장 장치(2010)를 포함하거나 또는 저장 장치(2010)와 연결될 수 있으며, 저장 장치는 비일시적이고 데이터 저장을 실현할 수 있는 임의의 저장 장치일 수 있으며, 또한 디스크 드라이브, 광학 저장 장치, 솔리드 스테이트 메모리, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프 또는 임의의 기타 자기 매체를 포함할 수 있으나, 이에 한정되지 않으며, 광학 디스크 또는 임의의 기타 광학 매체, ROM(읽기 전용 메모리), RAM(랜덤 액세스 메모리), 캐시 메모리 및/또는 임의의 기타 메모리 칩 또는 카트리지, 및/또는 컴퓨터가 데이터, 명령 및/또는 코드를 읽을 수 있는 임의의 기타 매체일 수 있다. 저장 장치(2010)는 인터페이스로부터 분리될 수 있다. 저장 장치(2010)는 상기 방법 및 단계(예를 들면 도 1 내지 도 4 등의 흐름도에 도시된 방법 및 단계)를 실현하기 위한 데이터/프로그램(명령 포함)/코드를 가질 수 있다. 컴퓨터 장치(2000)는 통신 장치(2012)를 포함할 수도 있다. 통신 장치(2010)는 외부 장치 및/또는 네트워크와 통신할 수 있는 임의의 유형의 장치 또는 시스템일 수 있으며, 또한 모뎀, 네트워크 카드, 적외선 통신 장치, 무선 통신 장치 및/또는 칩 세트를 포함하나 이에 한정되지 않으며, 예를 들어 블루투스 TM장치, 1302.11장치, WiFi장치, WiMax장치, 셀룰러 통신 장치 및/또는 유사물 포함할 수 있지만, 이에 한정되지 않는다.

컴퓨터 장치(2000)는 작업 메모리(2014)를 포함할 수 있으며, 이는 프로세서(2004)의 작업에 유용한 프로그램(명령 포함) 및/또는 데이터를 저장할 수 있는 임의의 유형의 작업 메모리일 수 있으며, 랜덤 액세스 메모리 및/또는 읽기 전용 메모리 장치를 포함하나, 이에 한정되지 않는다.

소프트웨어 요소(프로그램)는 작업 메모리(2014)에 위치할 수 있으며, 오퍼레이팅 시스템(2016), 하나 이상의 어플리케이션(즉 어플리케이션 프로그램, 2018), 드라이버 프로그램 및/또는 기타 데이터 및 코드를 포함하나, 이에 한정되지 않는다. 상기 방법 및 단계를 실행하기 위한 명령은 하나 이상의 어플케이션(2018)에 포함될 수 있으며, 또한 상기 시차 추정 시스템(100)의 특징 추출 네트워크(200) 및 시차 생성 네트워크(300)는 프로세서(2004)에 의해 상기 하나 이상의 어플리케이션(2018)의 명령을 읽고 실행하여 실현할 수 있다. 구체적으로, 또한 상술한 시차 추정 시스템(100)의 특징 추출 네트워크(200)는 예를 들면 프로세서(2004)가 단계 S901 실행명령을 갖는 어플리케이션(2018)을 실행하는 것을 통해 실현된다. 또한, 상술한 시차 추정 시스템(100)의 시차 생성 네트워크(300)는 예를 들면 프로세서(2004)가 단계(S902) 실행명령을 갖는 어플리케이션(2018)을 실행하는 것을 통해 실현될 수 있다. 소프트웨어 요소(프로그램)의 명령의 실행 코드 또는 소스 코드는 비일시적 컴퓨터 판독 가능한 매체(예를 들면 상기 메모리 장치(2010))에 저장될 수 있고, 또한 실행 시 작업 메모리(2014)에 저장(컴파일 및/또는 설치)될 수 있다. 소프트웨어 요소(프로그램)의 명령의 실행 코드 또는 소스 코드는 원격 위치에서 다운로드할 수도 있다.

구체적인 요구에 따라 다양한 변형이 이루어질 수 있음을 이해해야 한다. 예를 들면, 맞춤형 하드웨어를 사용될 수도 있으며, 및/또는 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로 코드, 하드웨어 기술 언어 또는 이들의 임의 조합으로 특정 요소를 구현할 수 있다. 예를 들면, 상기 공개된 방법 및 장치 중의 일부 또는 전부는 본 공개에 따른 논리 및 알고리즘을 사용할 수 있으며, 어셈블리 언어 또는 하드웨어 프로그래밍 언어(예를 들면 VERILOG，VHDL，C ++)를 이용하여 하드웨어(예를 들면, FPGA 및/또는 프로그램 가능 논리 어레이(PLA)를 포함하는 프로그램 가능 논리 회로)를 프로그래밍함으로써 구현할 수 있다.

상기 방법은 서버-단말 모드를 통해 실현될 수 있음을 이해해야 한다. 예를 들면, 단말은 사용자로부터 데이터를 입력 받아 상기 데이터를 서버로 발송할 수 있다. 단말은 사용자가 입력한 데이터를 수신하여, 상기 방법 중의 일부 처리를 진행하고, 처리된 데이터를 서버로 발송할 수도 있다. 서버는 단말로부터의 데이터를 수신할 수 있으며, 또한 상기 방법 또는 상기 방법 중의 다른 일부를 실행하여, 실행 결과를 단말에 피드백할 수 있다. 단말은 서버로부터 방법의 실행 결과를 수신하고, 예를 들면 출력 장치를 통해 사용자에게 보여줄 수 있다.

컴퓨터 장치(2000)의 어셈블리는 네트워크에 분산될 수 있음을 이해해야 한다. 예를 들면, 하나의 프로세서를 사용하여 일부 처리를 실행할 수 있으며, 동시에 상기 하나의 프로세서에서 멀리 떨어져 있는 다른 하나의 프로세서에 의해 기타 처리를 실행할 수 있다. 컴퓨터 장치(2000)의 기타 어셈블리도 유사하게 분산될 수 있다. 이와 같이, 컴퓨터 장치(2000)는 여러 위치에서 처리를 수행하는 분산 컴퓨터 시스템으로 해석될 수 있다.

도면을 참조하여 본 공개의 실시예 또는 예시를 설명하였으나, 상기 방법, 시스템 및 장치는 단지 예시적 실시예 또는 예시일 뿐, 본 발명의 범위는 이러한 실시예 또는 예시에 의해 한정되지 않으며, 등록된 청구범위 및 그 동등한 범위에 의해서만 한정됨을 이해해야 한다. 실시예 또는 예시에서의 각종 요소는 생략되거나 또는 그 동등한 요소로 대체될 수 있다. 그밖에, 본 공개에서 설명한 것과 다른 순서로 각 단계를 실행할 수 있다. 추가적으로, 다양한 방식으로 실시예 또는 예시의 다양한 요소를 조합할 수 있다. 기술이 발전함에 따라, 여기서 설명한 많은 요소들은 본 공개 후에 나타나는 동등한 요소로 대체될 수 있다는 점이 중요하다.

Claims

특징 추출 네트워크와 시차 생성 네트워크를 포함하고,
상기 특징 추출 네트워크는 이미지 쌍의 각 이미지에 대해 특징 추출을 진행하고, 추출된 이미지 특징을 시차 생성 네트워크로 출력하도록 구성되고,
상기 추출된 이미지 특징에 따라, 캐스케이딩된 복수 계층의 시차 처리를 진행하여, 크기가 순차적으로 증가한 복수의 시차 맵을 얻도록 구성되는, 시차 추정 시스템에 있어서,
상기 복수 계층의 시차 처리 중의 제1 계층의 시차 처리의 입력은 상기 추출된 이미지 특징 중에서 상기 제1 계층의 시차 처리와 대응하는 크기를 갖는 복수의 이미지 특징을 포함하고;
상기 복수 계층의 시차 처리 중의 각각의 제1 계층이 아닌 계층의 시차 처리의 입력은, 상기 추출된 이미지 특징 중에서 상기 제1 계층이 아닌 계층의 시차 처리와 대응하는 크기를 갖는 하나 이상의 이미지 특징 및 전단계 계층에서 시차 처리에 의해 생성된 시차 맵을 포함하고,
상기 추출된 이미지 특징은 N가지 크기의 이미지 특징을 포함하고, 상기 N은 2 이상의 양의 정수이고;
상기 복수 계층의 시차 처리는 N+1 계층의 시차 처리를 포함하고;
상기 시차 생성 네트워크는, 상기 복수 계층의 시차 처리의 상기 제1 계층의 시차처리에서 상기 N가지 크기의 이미지 특징 중의 최소 크기의 이미지 특징의 적어도 일부에 따라 상기 최소 크기를 가지는 초기 시차 맵을 생성하도록 구성되고;
상기 제1 계층의 시차 처리를 제외한 N계층의 시차 처리에서, 크기가 작은 것부터 큰 것의 순으로, 순차적으로 상기 N가지 크기의 이미지 특징 중에서 대응하는 크기의 이미지 특징의 적어도 일부를 기반으로 전계층에서 생성된 시차 맵에 대해 시차 최적화 처리를 진행하여, 크기가 순차적으로 증가하는 N개의 최적화 시차 맵을 얻고, 얻은 상기 N개의 최적화 시차 맵을 상기 크기가 순차적으로 증가한 복수의 시차 맵으로 하고, 그 중 상기 N개의 최적화 시차 맵의 크기는 각각 상기 N가지 크기와 대응하는,
시차 추정 시스템.
이미지 쌍 중의 각 이미지에 대해 특징 추출을 진행하는 단계; 및
추출된 이미지 특징에 따라, 캐스케이딩된 복수 계층의 시차 처리를 진행하여, 크기가 순차적으로 증가한 복수의 시차 맵을 얻는 단계를 포함하는 시차 추정 방법에 있어서,
상기 복수 계층의 시차 처리 중의 제1 계층의 시차 처리의 입력은 상기 추출된 이미지 특징 중에서 상기 제1 계층의 시차 처리와 대응하는 크기를 갖는 복수의 이미지 특징을 포함하고, 상기 복수 계층의 시차 처리 중의 각각의 제1 계층이 아닌 계층의 시차 처리의 입력은 상기 추출된 이미지 특징 중에서 상기 제1 계층이 아닌 계층의 시차 처리와 대응하는 크기를 갖는 하나 이상의 이미지 특징 및 직전 계층에서 시차 처리에 의해 생성된 시차 맵을 포함하고,
상기 추출된 이미지 특징은 N가지 크기의 이미지 특징을 포함하고, 상기 N은 2 이상의 양의 정수이고,
상기 복수 계층의 시차 처리는 N+1계층의 시차 처리를 포함하고,
상기 추출된 이미지 특징에 따라 캐스케이딩된 복수 계층 시차 처리를 진행하여, 크기가 순차적으로 증가한 복수의 시차 맵을 얻는 단계는,
상기 복수 계층의 시차 처리의 상기 제1 계층 시차 처리에서, 상기 N가지 크기의 이미지 특징 중의 최소 크기의 이미지 특징의 적어도 일부에 따라 상기 최소 크기의 초기 시차 맵을 생성하는 단계; 및
상기 제1 계층 시차 처리를 제외한 N계층 시차 처리에서, 크기가 작은 것부터 큰 것의 순으로, 순차적으로 상기 N가지 크기의 이미지 특징 중의 대응되는 크기의 이미지 특징의 적어도 일부를 기반으로 직전 계층에서 생성된 시차 맵에 대해 시차 최적화 처리를 진행하여, 크기가 순차적으로 증가하는 N개의 최적화 시차 맵을 얻고, 얻은 상기 N개의 최적화 시차 맵을 상기 크기가 순차적으로 증가한 복수의 시차 맵으로 하고, 그 중 상기 N개의 최적화 시차 맵의 크기는 각각 상기 N가지 크기와 대응하는,
시차 추정 방법.
제2항에 있어서,
상기 N계층 시차 처리의 각 계층의 시차 처리에서, 상기 N가지 크기의 이미지 특징 중의 대응하는 크기를 갖는 이미지 특징의 적어도 일부를 기반으로 직전 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 시차 최적화 처리를 진행하는 단계는,
대응하는 크기를 갖는 이미지 특징의 적어도 일부를 기반으로, 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 잔차 계산을 진행하여, 상기 대응하는 크기를 갖는 잔차 맵을 얻고, 상기 대응하는 크기를 갖는 잔차 맵 및 전단계 계층에서 시차 처리에 의해 생성된 시차 맵을 결합하여 상기 대응하는 크기를 갖는 최적화 시차 맵을 얻는 단계를 포함하는, 시차 추정 방법.
제2항에 있어서,
상기 N계층의 시차 처리의 각 계층의 시차 처리에서, 상기 계층의 전단계 계층에서 시차 처리에 의해 생성된 시차 맵에 대해 시차 최적화 처리를 진행하기 전에, 상기 방법은,
상기 전단계 계층에서 시차 처리에 의해 생성된 시차 맵의 크기가 상기 N계층의 시차 처리의 상응하는 현재 계층 시차 처리에 대응하는 크기보다 작은 것에 대한 응답으로, 상기 전단계 계층에서 시차 처리에 의해 생성된 시차 맵을 상기 상응하는 현재 계층 시차 처리에 대응하는 크기로 업샘플링하는 단계를 더 포함하는, 시차 추정 방법.
제2항에 있어서,
상기 N가지 크기의 이미지 특징 중의 최소 크기의 이미지 특징은 상기 이미지 쌍 중의 제1 이미지의 적어도 하나의 이미지 특징 및 제2 이미지의 적어도 하나의 이미지 특징을 포함하고, 상기 N가지 크기의 이미지 특징 중의 최소 크기가 아닌 각각의 이미지 특징은 상기 이미지 쌍 중의 적어도 하나의 이미지의 적어도 하나의 이미지 특징을 포함하는, 시차 추정 방법.
제2항에 있어서,
각 최적화 시차 맵 생성에서 기반으로 되는 이미지 특징은, 상기 이미지 쌍 중의 적어도 하나의 이미지의 가장자리 특징 및 상기 이미지 쌍 중의 적어도 하나의 이미지의 이미지 자체에 기반한 특징으로 구성된 그룹 중에서 선택한 적어도 하나를 포함하는, 시차 추정 방법.
제2항에 있어서,
목표 장치의 성능에 따라, 상기 크기가 순차적으로 증가한 복수의 시차 맵 중에서 상기 목표 장치의 성능과 매칭되는 크기의 시차 맵을 선택하여 상기 목표 장치에 제공하기 위한 시차 맵으로 하는 단계를 더 포함하는, 시차 추정 방법.
프로세서; 및
프로그램을 저장하는 메모리를 포함하고,
상기 프로그램은 명령을 포함하고, 상기 명령은 상기 프로세서에 의해 실행될 때 상기 프로세서가 제2항 내지 제7항 중 어느 한 항에 따른 방법을 실행하도록 하는, 전자 장치.
명령을 포함하고, 상기 명령은 전자 장치의 프로세서에 의해 실행될 때, 상기 전자 장치가 제2항 내지 제7항 중 어느 한 항에 따른 방법을 실행하도록 하는, 프로그램을 저장하는 컴퓨터 판독 가능한 저장 매체.
삭제
삭제
삭제
삭제
삭제
삭제