KR100942925B1

KR100942925B1 - 스테레오 비전 시스템 및 그 제어방법

Info

Publication number: KR100942925B1
Application number: KR1020080078528A
Authority: KR
Inventors: 장지호; 최승민; 조재일; 황대환
Original assignee: 한국전자통신연구원
Priority date: 2008-08-11
Filing date: 2008-08-11
Publication date: 2010-02-22
Also published as: KR20100019804A; US8098276B2; US20100066811A1

Abstract

본 발명은 스테레오 비전 시스템 및 그 제어방법에 관한 것으로서, 좌,우 스테레오 카메라를 구비한 스테레오 비전 시스템에 있어서, 상기 좌,우 스테레오 카메라의 영상이 입력되면 영상의 밝기 조절을 위한 색상정보를 추출하는 영상정보 추출수단, 상기 색상 정보 및 기 저장한 교정 파라미터를 이용하여 좌,우 영상의 노이즈 감소를 위한 처리를 수행하는 영상 전처리수단, 상기 영상 전처리수단에서 처리된 좌,우 영상을 알고리즘을 통해 스테레오 정합을 수행하여 깊이 정보(depth map)를 도출하는 스테레오 정합수단 및 상기 스테레오 정합수단에서 도출한 깊이 정보를 입력받아 정합 정도를 측정하여 그 결과에 따라 상기 기 저장한 교정 파라미터를 변경하는 정합결과 측정수단을 포함하는 시스템 및 그 제어방법을 제공함으로써, 좌우 스테레오 카메라에서 입력되는 좌,우 영상의 색상정보인 밝기값을 평활화하고, 좌우 영상을 보정하여 정확한 깊이 정보에 따른 영상을 얻을 수 있으며, 하드웨어적인 카메라 위치의 뒤틀림이나 변형이 따른 비정상적인 스테레오 정합 결과가 얻어지면 학습을 통해 정상적인 스테레오 정합 결과를 얻을 수 있도록 하여 변화하는 상황에 대해 능동적으로 대처가 가능하도록 한다는 효과도 얻어진다.

스테레오 비전, 색상정보, 보정, 정합, 보정 파라미터, 학습

Description

스테레오 비전 시스템 및 그 제어방법{STEREO VISION SYSTEM AND CONTROL METHOD THEREOF}

본 발명은 스테레오 비전 시스템에 관한 것으로서, 보다 구체적으로는 좌우 스테레오 영상에 대한 밝기 조절 및 보정을 통해 스테레오 정합의 정확도를 향상시키는 스테레오 비전 시스템 및 제어방법에 관한 것이다.

본 발명은 지식경제부 및 정보통신연구진흥원의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[2008-F-037-01, u-로봇 HRI 솔루션 및 핵심소자 기술개발].

인간은 두 개의 눈의 시차를 이용해 사물을 입체적으로 볼 수 있다. 이와 같은 원리를 활용하여 두 대의 카메라를 사용하여 거리정보를 계산하는 스테레오 비전 카메라의 활용이 증가하는 추세에 있다. 스테레오 비전 카메라는 자동차(자동차가 차고로 진입할 때, 주차할 때, 정체로나 고속도로에서 주행할 때 자동차를 가이드하기 위해, 또는 일반도로에서의 운행을 용이하게 하기 위해), 자동차 이외의 이동체, 로봇, FA(factory automation), LA(laboratory automation), OA(office automation), BA(building automation), HA(home automation), 정밀계측 등에 적용되는데, 일반적으로 상기 좌우의 스테레오 비전 카메라를 이용하여 영상의 거리 정보를 알기 위해서 스테레오 매칭 방법을 이용하였다.

즉, 서로 거리를 두어 장착된 두 개 이상의 카메라에 서로 다르게 영상이 찍히는 양안시차 특성을 이용하여 한쪽 영상 내의 특정 위치에 있는 패턴이 다른 쪽 영상에서는 어느 위치에 있는지 검출하여 두 위치의 차이 즉 양안차(disparity)를 추출함으로써 카메라에서 그 패턴의 실제 위치까지의 거리값을 직접 연산하는 것이다.

그러나 상기 연산을 수행함에 있어 좌우 영상의 색상정보(밝기값 등)을 이용하기 때문에 각각의 카메라의 특성 빛이 들어오는 위치 등에 따라서 좌우 카메라에서 들어오는 전체적인 영상 정도가 서로 다를 수 있으며, 계산량을 줄이기 위해 좌우의 각 행이 일치한 것으로 가정하고 계산을 수행하므로 정렬이 어긋나 있는 상태이기 때문에 좋은 결과를 얻을 수 없는 문제가 있었다.

따라서 대부분의 스테레오 비전 시스템은 좌우 카메라의 밝기값이나 정렬을 조절할 수 있는 하드웨어 장치나 소프트웨어적인 방법을 통해 상기의 문제점을 해결하고 있으나, 상기 하드웨어 장치는 사용자가 직접 상황에 맞게 조절해야 하는 경우가 대부분이었으며, 소프트웨어적으로 자동화하였을 경우에도 아래와 같은 불편함이 있었다. 예컨대 소프트웨어적 처리에서는 미리 정해진 모양을 지닌 판을 이용하여 다양한 각도에서 촬영을 하여 이를 반영한다. 즉 도 1에 도시된 바와 같이 체스판 모양을 가진 직사각형 형태의 판을 이용하여 각 꼭지점과 연장선을 추출하 여 좌우 영상의 정렬상태를 맞추는데, 이 경우 상당히 정확하게 보정이 되지만 많은 영상을 확보해야 정확도가 높아지며, 자동으로 찾아지지 않는 꼭지점에 대해서는 사용자가 직접 입력을 해야하는 등 많은 불편함이 존재한다.

또한, 스테레오 카메라를 완벽하게 고정시킬 방법이 없기 때문에 사용중에 약간의 뒤틀림 등으로 인하여 결국 다시금 정렬상태가 어긋나게 되는 등의 문제점이 있었다.

그리고, 상기 각 스테레오 카메라의 센서 차이 또는 다양한 조명 환경에서의 사용을 위해 카메라의 자동 노출(auto-exposure)을 동작시키는 경우에 좌우 카메라의 값이 달라지는 현상이 발생할 수 있는데, 이는 대부분의 스테레오 비전 시스템은 영상의 패턴보다는 밝기값 또는 알지비(RGB)값을 이용하여 깊이 정보(depth map)를 계산하기 때문이며, 상기 좌우 카메라의 값이 밝기값과 다르게 들어오는 경우에는 전체적인 영상에 큰 영향을 미치게 된다.

즉, 도 2a~2c에 도시된 바와 같이 우측의 영상이 많이 밝게 들어오는 경우(b), 이 상태 그대로 좌측의 영상(a)과 스테레오 매칭 알고리즘을 수행하면 깊이 정보에 따른 영상(c)은 거의 분간할 수 없는 결과가 나오는 문제점이 있었다.

본 발명의 목적은 상술한 바와 같은 종래의 문제점을 해결하기 위한 것으로서, 좌우 스테레오 카메라에서 입력되는 좌,우 영상의 색상정보인 밝기값을 평활화하고, 좌우 영상을 보정을 통해 정확한 깊이 정보에 따른 영상을 얻도록 하는 장치 및 방법을 제공하는 데 있다.

또한, 본 발명의 다른 목적은 비정상적인 스테레오 정합 연산의 결과가 얻어지면 학습을 통해 정상적인 스테레오 정합 결과를 얻을 수 있도록 하여 변화하는 상황에 대해 능동적으로 대처하는 장치 및 방법을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위하여, 본 발명의 실시 예에 따른 스테레오 비전 시스템은, 좌,우 스테레오 카메라를 구비한 스테레오 비전 시스템에 있어서, 상기 좌,우 스테레오 카메라의 영상이 입력되면 영상의 밝기 조절을 위한 색상정보를 추출하는 영상정보 추출수단, 상기 색상 정보 및 기 저장한 교정 파라미터를 이용하여 좌,우 영상의 노이즈 감소를 위한 처리를 수행하는 영상 전처리수단, 상기 영상 전처리수단에서 처리된 좌,우 영상을 알고리즘을 통해 스테레오 정합을 수행하여 깊이 정보(depth map)를 도출하는 스테레오 정합수단 및 상기 스테레오 정합수단에서 도출한 깊이 정보를 입력받아 정합 정도를 측정하여 그 결과에 따라 교정 파라미터를 가변하여 상기 영상 전처리수단으로 출력하는 정합결과 측정수단을 포 함하여 구성할 수 있다.

또한, 본 발명의 실시 예에 따른 스테레오 비전 시스템 제어방법은, 좌,우 스테레오 카메라를 구비한 스테레오 비전 시스템 제어방법에 있어서, 상기 좌,우 스테레오 카메라의 영상이 입력되면 영상의 밝기 조절을 위한 색상정보를 추출하는 영상정보 추출단계, 상기 추출한 색상정보를 통해 영상의 히스토그램을 생성하고, 생성한 히스토그램의 평활화 작업과 동시에 좌,우 영상의 평균값을 균등하게 하는 평활화단계, 상기 기 저장된 교정 파라미터를 이용하여 좌,우 영상의 극상선(epipolar line)을 일치시키는 영상 보정을 수행하는 영상보정단계, 상기 평활화단계 및 영상 보정단계에서 처리된 좌,우 영상을 알고리즘을 통해 스테레오 정합을 수행하여 깊이 정보(depth map)를 도출하는 스테레오 정합단계 및 상기 도출한 깊이 정보를 입력받아 정합 정도를 측정하여 그 결과에 따라 교정 파라미터를 가변하여 상기 영상보정단계로 출력하는 정합결과 측정단계를 포함하여 이루어질 수 있다.

상술한 바와 같이, 본 발명에 따른 스테레오 비전 시스템 및 그 제어방법에 의하면, 좌우 스테레오 카메라에서 입력되는 좌,우 영상의 색상정보인 밝기값을 평활화하고, 좌우 영상을 보정하여 정확한 깊이 정보에 따른 영상을 얻을 수 있다는 효과가 얻어진다.

또한, 본 발명에 따른 스테레오 비전 시스템 및 그 제어방법에 의하면, 하드 웨어적인 뒤틀림이나 변형이 따른 비정상적인 스테레오 정합 결과가 얻어지면 학습을 통해 정상적인 스테레오 정합 결과를 얻을 수 있도록 하여 변화하는 상황에 대해 능동적으로 대처가 가능하도록 한다는 효과도 얻어진다.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다. 또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

도 3은 본 발명의 실시예에 따른 스테레오 비전 시스템의 구성을 간략하게 보인 블록도이고, 도 4는 도 3에서 정합결과 측정수단의 구성을 간략하게 보인 블록도이다.

도 3을 참조하면, 좌,우 스테레오 카메라(100, 110), 영상정보 추출수단(200), 영상 전처리수단(300), 스테레오 정합수단(400), 그리고 정합결과 측정수단(500)을 포함한다.

상기 영상정보 추출수단(200)은 도 5a에 도시한 바와 같은 상기 좌,우 스테레오 카메라(100, 110)의 영상이 입력되면 영상의 밝기 조절을 위한 색상정보를 추출한다.

상기 영상 전처리수단(300)은 상기 색상 정보 및 기 저장한 교정 파라미터를 이용하여 좌,우 영상의 노이즈 감소를 위한 처리를 수행하는데, 도 5b 및 도 5c에 도시한 바와 같이 상기 추출한 색상정보를 통해 영상의 히스토그램을 생성하고, 생성한 히스토그램의 평활화 작업과 동시에 좌,우 영상의 평균값을 균등하게 하는 평활화 수단(310) 및 상기 기 저장된 교정 파라미터를 이용하여 좌,우 영상의 극상선(epipolar line)을 일치시키는 영상 보정을 수행하는 영상 보정수단(320)을 포함한다.

상기 평활화 수단(310)은 상기 히스토그램의 평활화시에 생성한 히스토그램의 정규화된 합(h(i))을 계산하고, 계산한 정규화된 합(h(i))을 기반으로 입력영상을 다시 변형하여 결과 영상을 생성한다.

즉, 상기 정규화된 합(h(i))은 색상정보의 최대 밝기값(Gmax, 일반 흑백 영상에서는 255)을 입력영상 내부에 존재하는 전체 픽셀 수(Nt, width+height)로 나눈 후, 입력영상 히스토그램의 누적합(H(i))을 승산하여 얻는다(h(i) = (Gmax/Nt)*H(i)). 예를 들어 크기가 4*4이고, 밝기는 0~10이고, 누적합이 2~16인 경우, 전체 픽셀 수는 16이고, 최대 밝기값은 0.625가 되어 정규화된 합은 1.25~10이 된다. 따라서, 상기 히스토그램 평활화의 효과는 영상이 도 5a에서와 같이 어두운 영역에 밀집되어 있거나 밝은 부분에 밀집되어 있는 경우에도 도 5d에 도시한 바와 같은 영상의 질이 향상되는 효과를 가져오게 된다.

또한, 상기 영상 보정수단(320)은 상기 극상선 일치를 통해서 입력영상을 정렬하는데, 좌,우 영상의 정렬이 맞지 않는 정도에 따라 기 저장한 교정 파라미터를 이용하여 영상 보정(image rectification)을 수행한다.

한편, 상기 스테레오 정합수단(400)은 상기 영상 전처리수단(300)의 평활화 수단(310)과 영상 보정수단(320)에서 처리된 좌,우 영상을 알고리즘을 통해 스테레오 정합을 수행하여 깊이 정보(depth map)를 도출한다.

또한, 상기 정합결과 측정수단(500)은 상기 스테레오 정합수단(400)에서 도출한 깊이 정보를 입력받아 정합 정도를 측정하여 그 결과에 따라 상기 기 저장한 교정 파라미터를 변경한다.

즉, 도 4에 도시한 바와 같이 정합결과 측정수단(500)은 푸리에 변환기(510), 고역통과필터(520), 결과출력수단(530) 및 파라미터 학습수단(540)을 포함하는데, 상기 깊이 정보를 푸리에 변환기(510)에서 전체 이미지를 주파수 영역으로 변환하고, 이를 고역통과필터(520)를 통해 고주파 신호를 검출한 후, 결과출력수단(530)에서 기 저장한 참조표(look up table, LUT)를 이용하여 정합 정도를 나타내는 계수값을 출력한다.

이때, 상기 파라미터 학습수단(540)은 상기 계수값이 설정값에 수렴하도록 상기 교정 파라미터들을 학습시킨 후 상기 기 저장한 교정 파라미터를 학습한 교정 파라미터로 변경한다.

이와 같이 구성한 본 발명의 실시예의 동작 과정을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

도 6은 본 발명의 실시예에 따른 스테레오 비전 시스템의 동작 과정을 보인 흐름도이다.

도 6을 참조하면, 먼저 상기 좌,우 스테레오 카메라의 영상이 입력되면 영상의 밝기 조절을 위한 색상정보를 추출하는 단계가 수행된다(S600).

이어 상기 추출한 색상정보의 밝기값을 통해 영상의 히스토그램을 생성하고, 생성한 히스토그램의 평활화 작업과 동시에 좌,우 영상의 평균값을 균등하게 하는 단계가 수행된다(S610). 이 단계에서 상기 생성한 히스토그램의 정규화된 합을 계산하고, 계산한 정규화된 합을 기반으로 입력영상을 다시 변형하여 결과 영상을 생성하는데, 상기 정규화합 히스토그램은 색상정보의 최대 밝기값을 입력영상 내부에 존재하는 전체 픽셀 수로 나눈 후, 입력영상 히스토그램의 누적합을 승산하여 얻는다.

상기 평활화 단계(S610) 수행 후 기 저장된 교정 파라미터를 이용하여 좌,우 영상의 극상선(epipolar line)을 일치시키는 영상 보정(image rectification)을 수행하는 단계를 수행한다(S620). 즉, 좌,우 영상의 정렬이 맞지 않는 정도에 따라 기 저장한 교정 파라미터를 이용하여 영상 보정을 수행한다.

이어 상기 평활화 단계(S610) 및 영상을 보정하는 단계(S620)에서 처리된 좌,우 영상을 알고리즘을 통해 스테레오 정합을 수행하여 깊이 정보(depth map)를 도출하는 단계가 수행된다(S630).

이후, 상기 도출한 깊이 정보를 입력받아 정합 정도를 측정하여 그 결과에 따라 교정 파라미터를 가변하여 상기 영상을 보정하는 단계(S620)로 출력하는 단계 가 수행되는데(S640), 이 단계에서는 상기 깊이 정보를 푸리에 변환을 통해 전체 이미지를 주파수 영역으로 변환하고, 변환한 주파수에서 고주파 신호(영상에 줄이 가는 현상을 나타내는 부분)를 검출한 후 기 저장한 참조표(LUT)를 이용하여 정합 정도를 나타내는 계수값을 출력한다.

또한, 상기 단계(S640)에서는 계수값이 설정값에 수렴하도록 상기 교정 파라미터들을 학습시키는 단계가 더 추가되어 수행되는데, 학습에 따라 상기 기저장한 교정 파라미터를 학습한 교정 파라미터로 변경한다.

이때, 상기 계수값이 설정값을 초과하는 경우에 학습 과정을 수행하도록 하는데, 상기 학습시 상기 계수값을 변수값으로 하여 설정값 이하로 수렴될 때까지 수차례(즉 수개의 프레임에 대하여) 학습한다. 이러한 학습은 주기적으로 또는 필요시마다 수행되도록 구성함이 바람직하다.

이와 같이 본 발명의 스테레오 비전 시스템 및 그 제어방법은, 좌,우 영상의 평활화(equalize), 영상 보정(image rectification) 및 학습을 통해 정확한 깊이 정보에 따른 영상을 얻도록 한다.

배경 기술을 설명하는 과정에서 언급하였듯이, 종래의 스테레오 비전 시스템은 좌우 영상의 정렬상태를 맞추는데 있어서, 정확도를 높이기 위해 많은 영상을 확보해야 하고, 자동으로 찾아지지 않는 꼭지점에 대해서는 사용자가 직접 입력을 해야하는 불편함이 존재하며, 스테레오 카메라를 완벽하게 고정시킬 방법이 없기 때문에 사용중에 약간의 뒤틀림 등으로 인하여 결국 다시금 정렬상태가 어긋나게 되는 문제점이 있었다.

그러나 본 발명에서는 좌우 스테레오 카메라에서 입력되는 좌,우 영상의 색상정보인 밝기값을 평활화하고, 좌우 영상을 보정을 통해 정확한 깊이 정보보(depth map)에 따른 영상을 얻도록 하며, 비정상적인 스테레오 정합 연산의 결과가 얻어지면 학습을 통해 정상적인 스테레오 정합 결과를 얻을 수 있도록 하여 변화하는 상황에 대해 능동적으로 대처하도록 한다.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

도 1은 종래 좌,우 입력영상에 대한 정렬 상태를 보정하는 예를 보인 도면.

도 2a~2c는 종래 좌,우 입력영상을 스테레오 정합한 후의 결과 영상을 보인 도면.

도 3은 본 발명의 실시예에 따른 스테레오 비전 시스템의 구성을 간략하게 보인 블록도.

도 4는 도 3에서 정합결과 측정수단의 구성을 간략하게 보인 블록도.

도 5a는 본 발명의 실시예에 따른 좌,우 스테레오 카메라에서 입력되는 영상의 예를 보인 도면.

도 5b는 도 5a의 좌,우 입력영상의 히스토그램을 보인 도면.

도 5c는 도 5b의 좌,우 입력영상의 히스토그램을 평활화한 도면.

도 5d는 도 5c에서 정규화된 합을 기반으로 입력영상을 다시 변형하여 생성한 결과 영상을 보인 도면.

도 6은 본 발명의 실시예에 따른 스테레오 비전 시스템의 동작 과정을 보인 흐름도.

* 도면의 주요 부분에 대한 부호의 설명 *

100, 110 : 좌,우 스테레오 카메라 200 : 영상정보 추출수단

300 : 영상 전처리수단 310 : 평활화 수단

320 : 영상 보정수단 400 : 스테레오 정합수단

500 : 정합결과 측정수단 510 : 푸리에 변환기

520 : 고역통과필터 530 : 결과출력수단

540 : 파라미터 학습수단

Claims

좌,우 스테레오 카메라를 구비한 스테레오 비전 시스템에 있어서,

상기 좌,우 스테레오 카메라의 영상이 입력되면 영상의 밝기 조절을 위한 색상정보를 추출하는 영상정보 추출수단,

상기 색상 정보 및 기 저장한 교정 파라미터를 이용하여 좌,우 영상의 노이즈 감소를 위한 처리를 수행하는 영상 전처리수단,

상기 영상 전처리수단에서 처리된 좌,우 영상을 알고리즘을 통해 스테레오 정합을 수행하여 깊이 정보(depth map)를 도출하는 스테레오 정합수단 및

상기 스테레오 정합수단에서 도출한 깊이 정보를 입력받아 정합 정도를 측정하여 그 결과에 따라 상기 기 저장한 교정 파라미터를 변경하는 정합결과 측정수단을 포함하는 스테레오 비전 시스템.
제1항에 있어서, 상기 영상 전처리수단은

상기 추출한 색상정보를 통해 영상의 히스토그램을 생성하고, 생성한 히스토그램의 평활화 작업과 동시에 좌,우 영상의 평균값을 균등하게 하는 평활화 수단 및

상기 기 저장된 교정 파라미터를 이용하여 좌,우 영상의 극상선(epipolar line)을 일치시키는 영상 보정을 수행하는 영상 보정수단을 포함하는 것인 스테레오 비전 시스템
제2항에 있어서, 상기 평활화 수단은

상기 히스토그램의 평활화시에 생성한 히스토그램의 정규화된 합을 계산하고, 계산한 정규화된 합을 기반으로 입력영상을 다시 변형하여 결과 영상을 생성하는 것인 스테레오 비전 시스템.
제3항에 있어서, 상기 정규화된 합은

색상정보의 최대 밝기값을 입력영상 내부에 존재하는 전체 픽셀 수로 나눈 후, 입력영상 히스토그램의 누적합을 승산하여 얻는 것인 스테레오 비전 시스템.
제1항에 있어서, 상기 정합결과 측정수단은

상기 깊이 정보를 푸리에 변환을 통해 전체 이미지를 주파수 영역으로 변환하는 푸리에 변환기,

상기 푸리에 변환기의 출력에서 고주파 신호를 검출하여 출력하는 고역통과필터 및

상기 고주파 신호와 기 저장한 참조표를 이용하여 정합 정도를 나타내는 계수값을 출력하는 결과출력수단을 포함하는 것인 스테레오 비전 시스템.
제5항에 있어서, 상기 정합결과 측정수단은

상기 계수값이 설정값에 수렴하도록 상기 교정 파라미터들을 학습시키는 파 라미터 학습수단을 더 포함하는 것인 스테레오 비전 시스템.
제6항에 있어서,

상기 파라미터 학습수단은 상기 계수값을 변수값으로 하여 설정값에 수렴하도록 반복하여 학습하는 것인 스테레오 비전 시스템.
제5항에 있어서, 상기 정합결과 측정수단은

상기 계수값이 설정값 이상인 경우에 학습 과정을 수행하도록 하는 것인 스테레오 비전 시스템.
좌,우 스테레오 카메라를 구비한 스테레오 비전 시스템 제어방법에 있어서,

상기 좌,우 스테레오 카메라의 영상이 입력되면 영상의 밝기 조절을 위한 색상정보를 추출하는 영상정보 추출단계,

상기 추출한 색상정보를 통해 영상의 히스토그램을 생성하고, 생성한 히스토그램의 평활화 작업과 동시에 좌,우 영상의 평균값을 균등하게 하는 평활화단계,

상기 평활화 단계 수행 후 기 저장된 교정 파라미터를 이용하여 좌,우 영상의 극상선(epipolar line)을 일치시키는 영상 보정을 수행하는 영상보정단계,

상기 평활화단계 및 영상 보정단계에서 처리된 좌,우 영상을 알고리즘을 통해 스테레오 정합을 수행하여 깊이 정보(depth map)를 도출하는 스테레오 정합단계 및

상기 도출한 깊이 정보를 입력받아 정합 정도를 측정하여 그 결과에 따라 상기 기 저장한 교정 파라미터를 변경하는 정합결과 측정단계를 포함하는 스테레오 비전 시스템 제어방법.
제9항에 있어서, 상기 평활화 단계는

상기 히스토그램의 평활화시에 생성한 히스토그램의 정규화된 합을 계산하고, 계산한 정규화된 합을 기반으로 입력영상을 다시 변형하여 결과 영상을 생성하는 것인 스테레오 비전 시스템 제어방법.
제10항에 있어서, 상기 정규화합 히스토그램은

색상정보의 최대 밝기값을 입력영상 내부에 존재하는 전체 픽셀 수로 나눈 후, 입력영상 히스토그램의 누적합을 승산하여 얻는 것인 스테레오 비전 시스템 제어방법.
제9항에 있어서, 상기 정합결과 측정단계는

상기 깊이 정보를 푸리에 변환을 통해 전체 이미지를 주파수 영역으로 변환하는 단계,

상기 푸리에 변환기의 출력에서 고주파 신호를 검출하여 출력하는 단계 및

상기 고주파 신호와 기 저장한 참조표(LUT:look up table)를 이용하여 정합 정도를 나타내는 계수값을 출력하는 단계를 포함하는 것인 스테레오 비전 시스템 제어방법.
제12항에 있어서, 상기 정합결과 측정단계는

상기 계수값이 설정값에 수렴하도록 상기 교정 파라미터들을 학습시키는 파라미터 학습단계를 더 포함하는 것인 스테레오 비전 시스템 제어방법.
제13항에 있어서,

상기 파라미터 학습단계는 상기 계수값을 변수값으로 하여 설정값 이하로 수렴하도록 반복하여 학습하는 것인 스테레오 비전 시스템 제어방법.
제13항에 있어서, 상기 정합결과 측정단계는

상기 계수값이 설정값을 초과하는 경우에 학습 과정을 수행하도록 하는 것인 스테레오 비전 시스템 제어방법.