KR20080001093A - 실시간 확장 가능한 스테레오 매칭 시스템 및 방법 - Google Patents

Abstract

본 발명은 실시간 확장 가능한 스테레오 매칭 시스템으로서, 상세하게는 두 개의 카메라를 통해서 얻은 영상을 이용하여 유사한 점을 찾아 그 결과로 깊이(Depth) 영상을 계산하는 스테레오 매칭(Stereo Matching)을 실시간으로 수행하는 실시간 확장 가능한 스테레오 매칭 시스템에 관한 것이다.

본 발명의 실시예에 따른 실시간 확장 가능한 스테레오 매칭 시스템은 도 3에 나타낸 바와 같이, 좌표 생성 모듈부(110), 센서스 변환 모듈부(120), 지연 XOR 연산 모듈부(130), 스테레오 매칭 모듈부(140), 제어 모듈부(150)로 구성된다.

본 발명에 따른 실시간 스테레오 매칭 시스템을 이용하면, 별도의 컴퓨터 시스템이나 소프트웨어 프로그램을 사용하지 않고 실시간으로 교정된 영상의 깊이 정보를 획득하는 것이 가능하며 또한, 발명된 장치는 하드웨어로 간단하게 구현될 수 있어 로봇 비전(Robot Vision)이나 지능형 카메라(Intelligent Camera), 산업현장 등에 쉽게 응용될 수 있다.

실시간, 스테레오 매칭, 센서스

Description

실시간 확장 가능한 스테레오 매칭 시스템 및 방법{Extensible System ＆ Method for Stereo Maching in Real Time}

도 1은 종래의 물체의 3차원 구조 복원 방법을 나타낸 순서도.

도 2는 종래의 양안차 추정 방법을 나타낸 순서도.

도 3은 본 발명에 따른 실시간 확장 가능한 스테레오 매칭 시스템을 나타낸 블록도.

도 4는 도 3에 도시된 센서스 변환 모듈부에서 센서스 벡터를 생성하는 방법을 보인 예시도.

도 5는 본 발명에 따라 센서스 벡터를 지연시킨 후 XOR한 결과에서 1의 개수를 세기 위해 각 비트를 모두 더해주는 방법에 대한 예시도.

도 6은 본 발명에 따라 지연 XOR모듈부의 출력으로 나온 상관도 값을 받아 각각 해당하는 윈도우를 생성하는 것을 보인 블록도.

도 7은 본 발명에 따라 연산 대상이 되는 원본 영상 중 Ｌ카메라에서 얻은 영상을 나타낸 예시도.

도 8은 본 발명에 따라 연산 대상이 되는 원본 영상 중 Ｒ카메라에서 얻은 영상을 나타낸 예시도.

도 9는 본 발명에 따른 스테레오 매칭 시스템의 검증을 위해 구현한 하드웨어 시스템의 연산 결과 영상을 나타낸 예시도.

<도면의 주요 부분에 대한 부호의 설명>

110: 좌표생성모듈부 120: 센서스변환모듈부

130: 지연XOR모듈부 140: 스테레오매칭모듈부

150: 제어모듈부

본 발명은 실시간 확장 가능한 스테레오 매칭 시스템으로서, 상세하게는 두 개의 카메라를 통해서 얻은 영상을 이용하여 유사한 점을 찾아 그 결과로 깊이(Depth) 영상을 계산하는 스테레오 매칭(Stereo Matching)을 실시간으로 수행하는 실시간 확장 가능한 스테레오 매칭 시스템에 관한 것이다.

두 개의 카메라를 사용하여 영상을 얻으면 두 카메라 간의 거리차이와 카메라의 초점거리 때문에 동일한 영상에 존재하는 동일한 물체가 두 영상에서 서로 다른 위치에 존재하게 된다.

예를 들어, 카메라에서 가까운 물체와 멀리 떨어진 물체가 한 영상에 들어가도록 두 카메라 모두에서 영상을 획득했다고 가정하면 가까운 물체는 카메라 간의 거리 차이에 영향을 받기 때문에 획득한 두 영상에서 서로 다른 부분에 위치하게 되고, 멀리 있는 물체는 두 영상에서 유사한 부분에 위치하게 된다.

이러한 성질을 이용하여 한 영상의 각 픽셀이 다른 영상의 어떤 픽셀과 가장 유사한지를 검색하여 그 결과를 통해 영상에 있는 물체의 깊이 정보를 획득하는 것이 가능하다.

그러나, 이러한 스테레오 비전 연산을 수행하는 경우 많은 검색량과 연산량 때문에 두 영상에서 같은 점을 찾는 스테레오 매칭은 어려운 문제 중 하나이다.

그레이 영상의 경우 각 픽셀의 값은 0~255로 나타내기 때문에 영상에서 무수하게 많은 반복이 일어나서 두 영상을 이루는 픽셀의 상관도를 계산할 때 각 픽셀만 가지고 비교를 하게 되면 바른 결과를 얻지 못한다.

따라서, 한 픽셀과 그 주변 픽셀을 그룹으로 묶어서 비교를 해야하며 이러한 비교를 각 픽셀에 대해 영상에서 정보를 얻고자 하는 물체 간의 거리 차이만큼 반복해야 하기 때문에 계산량이 많이 증가한다.

일반적으로 가장 널리 알려진 스테레오 매칭 방법에는 에스에이디(SAD) 방법과 센서스(Census) 방법이 있다.

에스에이디 방법은 왼쪽 카메라에서 얻어진 영상의 한 픽셀과 그 주변픽셀을 그룹으로 묶어 오른쪽 카메라에서 얻어진 영상의 같은 행에 존재하는 같은 크기의 픽셀 그룹의 그레이 값 차를 구하여 절대값을 취해서 얻은 값을 해당하는 두 픽셀의 상관도로 보는 방법이다.

센서스 방법은 왼쪽 카메라에서 얻어진 영상의 한 픽셀에 대해 그 주변 픽셀 과의 센서스 변환(Census Transform)을 수행한 후 동일한 변환을 수행한 주변 픽셀과 그룹으로 묶고 오른쪽 카메라에도 마찬가지 변환을 수행하고 그룹으로 묶어 이들의 XOR(Exclusive OR) 연산을 통해 얻은 값을 두 픽셀의 상관도로 보는 방법이다.

두 연산 모두 많은 연산량을 필요로 하며 이러한 연산을 범용 마이크로프로세서를 사용한 컴퓨터 시스템에서 수행하게 되면 막대한 연산 부담을 주게 되며 실시간으로 수행되기 어렵다.

종래의 스테레오 매칭 방법이 2003년 2월 25일에 공개된 대한민국 공개특허공보 제 10-2003-0015625호에 개시되어 있다.

상기 제 10-2003-0015625호 스테레오 매칭 방법은, 도 1에 나타낸 바와 같이, 광 평면 프로젝터로부터 발하는 라인 형태의 빛이 정육면체 프레임 내부의 대상 물체를 비추고 있는 장면을 촬영하는 영상 획득 단계(S1), 촬영된 영상에서 정육면체 프레임에 부착된 LED를 인식하고 인식된 위치를 기준으로 좌표를 설정하는 LED 식별 및 좌표 설정 단계(S2), 광 평면과 정육면체 프레임의 모서리와 만나는 곳의 좌표를 계산하는 LDP의 3차원 좌표 계산 단계(S3), 대상 물체와 광 평면이 만나서 형성되는 광 줄무늬의 좌표를 계산하는 물체의 3차원 좌표 계산 단계(S5), 물체 표면상의 점들의 집합에 대한 삼각형 추출 알고리즘을 적용하여 삼각형 망 구조를 생성하는 단계(S6), 법선 벡터를 이용하여 잘못 만들어진 삼각형을 제거하는 단계(S7)를 포함하여 구성된다.

그리고, 다른 스테레오 매칭 방법이 2006년 1월 19일에 공개된 대한민국 공 개특허공보 제 10-2006-0006189호에 개시되어 있다.

상기 제 10-2006-0006189호 스테레오 매칭 방법은, 도 2에 나타낸 바와 같이, 스테레오 이미지의 해상도를 각각 달리하여 복수 레벨의 이미지를 구하는 단계(S10, S20), 상기 해상도가 최하위인 레벨의 이미지에 대해 양안차 맵을 구하는 단계(S30), 상기 양안차 맵으로부터 상위 레벨의 이미지에 대해 거친 양안차 맵을 추정하는 단계(S40), 상기 거친 양안차 맵을 이용하여 상기 상위 레벨의 이미지에 대한 미세한 양안차 맵을 구하는 단계(S50) 및 상기 상위 레벨의 이미지가 최상위 레벨의 해상도를 갖는 이미지이면(S60) 상기 미세한 양안차 맵을 상기 스테레오 이미지에 대한 최종 양안차 맵으로 출력하는 단계(S70)를 포함하여 구성된다.

또한, 적응형 윈도우에 관한 문헌으로서 "A Stereo Mtching Algorithm with Adaptive Window"가 있고, 멀티뷰에 관한 문헌으로서 " Multiple View Geometry in Computer Vision"이 있다.

그러나, 상기 특허공보 및 문헌에 개시된 기술은 스테레오 매칭을 수행하는 방법에 관한 것으로 범용 컴퓨터를 사용하여 구현하고 속도나 구현 방법과는 무관하게 3차원 정보를 획득하는 방법에 관한 것이다.

따라서, 이에 대한 실시간 수행 등을 고려하지 않았기 때문에 실제 지능형 로봇이나 산업 현장에 응용되기 힘든 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 소프트웨어적이 아 니고 하드웨어적으로 카메라에서 얻은 두 영상에 대해 센서스 변환을 적용한 후 스테레오 매칭을 수행하여 깊이 정보를 실시간으로 추출할 수 있는 스테레오 매칭 시스템 및 방법을 제공함에 그 목적이 있다.

본 발명은 상기 목적을 달성하기 위해, 영상을 받는 카메라에서 생성된 제어 신호를 기반으로 현재 입력중인 픽셀의 2차원 좌표를 계산해내는 좌표 생성모듈부, 상기 카메라에서 획득한 픽셀을 확장 가능한 크기의 윈도우에 저장한 후 두 영상의 각 픽셀에 대해 센서스 변환을 수행하여 센서스 벡터를 생성하는 센서스 변환모듈부, 상기 센서스 변환모듈부의 출력을 검색 대상이 되는 양안차 만큼 지연시켜 두 센서스 벡터 간의 상관도를 구하는 지연 XOR 연산모듈부, 상기 지연 XOR 연산모듈부의 출력을 받아 확장 가능한 크기의 윈도우에 저장한 후 이를 사용하여 물체와 카메라의 상대적인 거리 값으로 출력하는 스테레오 매칭모듈부, 상기 좌표 생성모듈부, 상기 센서스 변환모듈부, 상기 지연 XOR 연산모듈부 및 상기 스테레오 매칭모듈부를 제어하며 동기를 맞추는 제어모듈부를 포함하여 구성된 것을 특징으로 하는 실시간 확장 가능한 스테레오 매칭 시스템을 제공한다.

상기 제어모듈부는 외부에서의 입력에 따라 센서스 변환에 사용되는 윈도우의 크기와 스테레오 매칭에 사용되는 윈도우의 크기를 확장하거나 축소하는 것이 가능한 것을 특징으로 한다.

상기 좌표 생성모듈부의 좌표의 범위는 영상의 크기와 동일하며, 상기 좌표 생성모듈부는 1프레임을 모두 받은 후 다음 프레임으로 넘어가면 좌표값을 초기화하고 다시 카운트를 시작하는 것을 특징으로 한다.

상기 지연 XOR 연산모듈부에서는 두 영상의 각 픽셀에 대한 센서스 벡터를 구하는 양안차 만큼 지연시키고 서로 XOR연산을 적용 후 결과로 얻은 비트벡터의 각 비트를 모두 더해 1의 개수를 구해 지연된 수만큼의 상관도 값을 출력하는 특징으로 한다.

상기 스테레오 매칭모듈부에서는 상기 지연 XOR 연산모듈부의 결과로 얻은 상관도 값을 확장 가능한 크기의 윈도우에 저장한 후 각 윈도우의 합을 구해 가장 작은 값을 영상에 맺힌 물체와 카메라의 상대적인 거리 값으로 출력하는 것을 특징으로 한다.

그리고, 본 발명은 상기 목적을 달성하기 위해, 좌표 생성모듈부에서 카메라를 통해 입력된 영상의 2차원 좌표를 계산하는 단계, 상기 카메라에서 획득한 픽셀에 대해 센서스 변환모듈부에서 센서스 벡터를 생성하는 단계, 지연 XOR 연산모듈부에서 상기 센서스 벡터를 양안차 만큼 지연시켜 상관도를 구하는 단계, 스테레오 매칭모듈부에서 상기 상관도 값을 입력받아 전체영상의 각 좌표의 해당 좌표에 맺힌 물체와 카메라와의 상대 거리를 구하는 단계, 제어모듈부에서 외부의 입력에 따라 센서스 변환에 사용되는 윈도우의 크기와 스테레오 정합에 사용되는 윈도우의 크기를 조절하는 단계로 구성된 것을 특징으로 하는 실시간 확장 가능한 스테레오 매칭 방법을 제공한다.

상기 지연 XOR 연산모듈부에서 상관도 값을 출력하는 단계는 CX₀ = CR_{n XOR} CL₀, CX₁ = CR_{n XOR} CL₁, CX₂ = CR_{n XOR} CL_{2 ...} CX_{n -1} = CR_{n XOR} CL_{n -1}, CX_n = CR_{n XOR} CL_n로 계산되는 단계(여기서, CL과 CR은 센서스 변환 결과, CL_n과 CR_n은CL과 CR을 n 만큼 지연시킨 값, CX는 CL과 CR의 상관도 값)가 포함되는 것을 특징으로 한다.

(실시예)

이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다.

도 3은 본 발명에 따른 실시간 확장 가능한 스테레오 매칭 시스템을 나타낸 블록도, 도 4는 도 3에 도시된 센서스 변환 모듈부에서 센서스 벡터를 생성하는 방법을 보인 예시도, 도 5는 본 발명에 따라 센서스 벡터를 지연시킨 후 XOR한 결과에서 1의 개수를 세기 위해 각 비트를 모두 더해주는 방법에 대한 예시도, 도 6은 본 발명에 따라 지연 XOR모듈부의 출력으로 나온 상관도 값을 받아 각각 해당하는 윈도우를 생성하는 것을 보인 블록도, 도 7은 본 발명에 따라 연산 대상이 되는 원본 영상 중 Ｌ카메라에서 얻은 영상을 나타낸 예시도, 도 8은 본 발명에 따라 연산 대상이 되는 원본 영상 중 Ｒ카메라에서 얻은 영상을 나타낸 예시도, 도 9는 본 발명에 따른 스테레오 매칭 시스템의 검증을 위해 구현한 하드웨어 시스템의 연산 결과 영상을 나타낸 예시도이다.

본 발명의 실시예에 따른 실시간 확장 가능한 스테레오 매칭 시스템은 도 3 에 나타낸 바와 같이, 좌표 생성 모듈부(110), 센서스 변환 모듈부(120), 지연 XOR 연산 모듈부(130), 스테레오 매칭 모듈부(140), 제어 모듈부(150)로 구성된다.

상기 좌표 생성 모듈부(110)는 영상을 받는 카메라에서 생성된 제어 신호를 기반으로 현재 입력중인 픽셀의 2차원 좌표값을 계산한다.

상기 좌표값의 범위는 영상의 크기와 동일하며 1프레임을 모두 받고 다음 프레임으로 넘어가면 상기 좌표값을 초기화하고 다시 카운트를 시작한다.

상기 센서스 변환 모듈부(120)는 카메라에서 받은 픽셀에 대해, 예를 들어 대한민국 특허출원번호 제 10-2005-0006940호에 개시된, 실시간 윈도우 기반 영상 처리장치(공지된 기술을 사용하는 것이므로 구체적 설명은 생략한다)에서 제안한 윈도우 기반 영상처리 구조를 사용하며 ｋ × ｋ 크기의 윈도우에 저장한 후 도 4에 도시한 연산을 통하여 센서스 벡터를 생성한다.

센서스 변환은 본 분야에 관용적으로 많이 알려진 변환의 한 종류로써 윈도우의 중앙에 있는 픽셀의 그레이 값과 그 주변 픽셀들과의 크기 비교를 통해 중앙의 픽셀 그레이 값이 더 크면 그 해당 좌표의 값은 0으로 표시되고, 윈도우의 중앙에 있는 픽셀의 그레이 값과 그 주변 픽셀의 그레이 값들과의 크기 비교를 통해 중앙의 픽셀 그레이 값이 더 작으면 그 해당 좌표의 값은 1로 출력한다.

예를 들면, 도 4에 나타낸 바와 같이, 중앙에 있는 픽셀 그레이 값 ｘ와 주변 픽셀 그레이 값 ｘ―20을 비교하면, 중앙에 있는 픽셀 그레이 값 ｘ가 더 크므로, ｘ―20 좌표의 값은 0으로 표시된다.

그리고, 중앙에 있는 픽셀 그레이 값 ｘ와 주변 픽셀 그레이 값 x+15를 비교 하면, 중앙에 있는 픽셀 그레이 값 ｘ가 더 작으므로, ｘ＋15 좌표의 값은 1로 표시된다.

이때, 비교 출력 값은 단지 중앙 픽셀과 그 주변 픽셀의 대소 관계만을 나타내기 위한 것으로, 중앙 픽셀의 그레이 값이 더 클 때 1을, 더 작을 때 0을 출력해도 최종 결과에는 영향을 주지 않는다.

상기 ｋ × ｋ 크기의 윈도우를 사용한 경우 상기 센서스 벡터의 길이는 윈도우에 해당하는 전체 픽셀의 수에서 1을 뺀 값인 ｋ × ｋ ―1이 된다.

그리고, 두 카메라에서 얻은 영상에 각각 적용하여 결과적으로 센서스 벡터로 이루어진 두 개의 영상을 얻게 된다.

이렇게 생성된 센서스 벡터는 0과 1로만 이루어진 비트열이고 각 픽셀을 대표한다.

상기 지연 XOR 연산 모듈부(130)는 상기 센서스 변환 모듈부(120)의 출력으로 얻은 상기 센서스 벡터를 양안차 ｎ 만큼 지연시킨다.

이때, 상기 양안차 값은 카메라 간의 거리에 따라 결정이 가능하며 일반적으로 카메라 사이의 거리가 멀면 더 큰 양안차 값을, 카메라 사이의 거리가 가까우면 더 작은 양안차 값이 사용된다.

상기 수학식 1에 있어서, 카메라를 바라보는 입장에서 왼쪽에 있는 카메라를 Ｌ카메라, 오른쪽에 있는 카메라를 Ｒ카메라라고 했을 때 Ｌ카메라의 센서스 변환 결과 결과를 ＣＬ , Ｒ카메라의 센서스 변환 결과를 ＣＲ 로 한다.

그리고, 상기 ＣＬ 과 ＣＲ 을 ｎ 만큼 지연시킨 값을 각각 ＣＬ _ｎ , ＣＲ _ｎ 이라 하면, 수학식 1은 Ｒ카메라에서 얻은 영상의 한 점 ＣＲ _ｎ 이 Ｌ카메라에서 얻은 영상의 어느 좌표에 위치하는지를 찾는 과정으로서 ＣＸ _０ ∼ ＣＸ _ｎ 는 Ｒ카메라에서 얻은 영상의 한 점인 ＣＲ _ｎ 과 ＣＬ _０ ∼ ＣＬ _ｎ 의 상관도 값을 나타내며 각각 상기 센서스 변환 모듈(120)에서 생성한 상기 센서스 벡터와 그 길이가 같다.

상기 결과는 0과 1로 이루어진 비트열로써 XOR 연산의 특성상 비교의 대상이 된 두 센서스 벡터에서 같은 값이 많을수록 결과 비트열에서 1의 수가 적게 된다.

이를 위해 도 5에 나타낸 바와 같이, 구해진 결과 비트를 모두 더해주는 방법으로 전체 비트열에서 1의 개수만 세는 것이 가능하다.

도 5에서 나타낸 방법이 아니더라도, 계수기를 사용하거나 비트 코릴레이 터(bit correlator)를 사용하여 비트열에서 1의 개수만 다른 방법을 사용하는 세는 것도 가능하다.

이 과정에서 1의 수를 미리 세는 것으로 스테레오 매칭 과정에서의 연산량을 크게 줄일 수 있다.

이와 같은 연산을 통해 지연 XOR 연산 모듈부(130)는 총 ｎ 개의 상관도 값을 출력해준다.

상기 스테레오 매칭 모듈부(140)는 지연 XOR 연산 모듈부(130)에서 출력한 상기 ｎ 개의 상관도 값을 입력받아 대한민국 특허출원번호 제 10-2005-0006940호에 개시된 바와 같은 실시간 윈도우 기반 영상 처리장치(공지된 기술을 사용하는 것이므로 구체적 설명은 생략한다)에서 제안한 윈도우 기반 영상처리 구조를 사용하여 각 입력 값에 대해 ｍ × ｍ 윈도우에 저장한다.

따라서, 도 6에서 보인 것과 같이 총 ｎ 개의 윈도우를 생성하게 되며 각 ｍ × ｍ 윈도우의 합을 구하여 서로 비교한다.

각 윈도우의 합을 비교했을 때 ｎ 개의 윈도우 중에서 가장 작은 값을 가지는 윈도우가 두 영상에서 가장 상관도가 높은 좌표라고 할 수 있으며, 이때 해당 윈도우가 가지는 ０∼ｎ의 순번이 영상에서 해당 좌표에 맺힌 물체와 카메라의 상대적인 거리 값을 나타낸다.

상기와 같은 연산을 반복하여 전체 영상의 각 좌표의 해당 좌표에 맺힌 물체와 카메라와의 상대 거리를 구할 수 있으며, 상기 상대거리가 카메라에서 얻은 영상의 깊이 정보가 된다.

상기 제어 모듈부(150)는 이러한 전체 구성을 제어하며 동기를 맞춘다.

또한, 외부에서의 입력에 따라 센서스 변환에 사용되는 윈도우의 크기와 스테레오 매칭에 사용되는 윈도우의 크기를 조절한다.

본 발명에 따른 실시간 확장 가능한 스테레오 매칭 시스템은 검증을 위해 하드웨어 기술 언어인 VHDL(VHSIC Hardware Description Language)을 통해 디자인하였으며, 상기 시스템을 별도로 작성한 프레임 그래버(Frame Grabber) 모듈과 함께 합성하여 Xilinx사의 Virtex4(XC4VLX200- FF1513C) 장치를 통해 영상이 정상적으로 처리되는 것을 확인하였다.

표 1은 실제 구현된 스테레오 매칭 시스템을 상기 프레임 그래버와 합성하여 영상 처리된 결과를 나타낸다.

Device utilization summary - Number of Slices: 46325 out of 89088 52% - Number of Slice Flip Flops: 80178 out of 178176 42% - Number of 4 input LUTs: 62361 out of 178176 35% - Number of bonded IOBs: 411 out of 960 42% - IOB Flip Flops: 37 - Number of GCLKs: 7 out of 32 21% - Number of DCM_ADVs: 3 out of 12 25% - Number of DSP48s: 45 out of 96 47%

Timing summary - Minimum period: 20.298ns - Maximum Frequency: 49.265MHz - Minimum input arrival time before clock: 13.227ns - Maximum output required time after clock: 8.510ns

표 1에서 합성 결과는 표준 640x480 형식의 입력 영상을 최대 초당 120프레임 이상 처리가 가능 하다는 것을 뜻하며 따라서, 스테레오 매칭 연산을 실시간으로 수행할 수 있다.

도 7은 연산 대상이 되는 원본 영상 중 L 카메라에서 얻은 영상을, 도 8은 R 카메라에서 얻은 영상을 나타낸 것이고, 도 9는 검증을 위해 상기 구현한 하드웨어 시스템으로 연산한 연산 결과 영상을 나타낸다.

한편, 본 발명은 상기한 특정 실시 예에 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 변형 및 수정하여 실시할 수 있다.

본 발명은 확장 가능하며 실시간으로 스테레오 매칭을 수행할 수 있는 하드웨어 시스템을 통해 동작과 연산 결과를 검증하였다.

그리고, 본 발명에 따른 실시간 스테레오 매칭 시스템을 이용하면, 별도의 컴퓨터 시스템이나 소프트웨어 프로그램을 사용하지 않고 실시간으로 교정된 영상의 깊이 정보를 획득하는 것이 가능하다.

또한, 발명된 장치는 하드웨어로 간단하게 구현될 수 있어 로봇 비전(Robot Vision)이나 지능형 카메라(Intelligent Camera), 산업현장 등에 쉽게 응용될 수 있다.

Claims (7)

1. 영상을 받는 카메라에서 생성된 제어 신호를 기반으로 현재 입력중인 픽셀의 2차원 좌표를 계산해내는 좌표 생성모듈부;

   상기 카메라에서 획득한 픽셀을 확장 가능한 크기의 윈도우에 저장한 후 두 영상의 각 픽셀에 대해 센서스 변환을 수행하여 센서스 벡터를 생성하는 센서스 변환모듈부;

   상기 센서스 변환모듈부의 출력을 검색 대상이 되는 양안차 만큼 지연시켜 두 센서스 벡터 간의 상관도를 구하는 지연 XOR 연산모듈부;

   상기 지연 XOR 연산모듈부의 출력을 받아 확장 가능한 크기의 윈도우에 저장한 후 이를 사용하여 물체와 카메라의 상대적인 거리 값으로 출력하는 스테레오 매칭모듈부;

   상기 좌표 생성모듈부, 상기 센서스 변환모듈부, 상기 지연 XOR 연산모듈부 및 상기 스테레오 매칭모듈부를 제어하며 동기를 맞추는 제어모듈부

   를 포함하여 구성된 것을 특징으로 하는 실시간 확장 가능한 스테레오 매칭 시스템.
2. 제 1항에 있어서,

   상기 제어모듈부는 외부에서의 입력에 따라 센서스 변환에 사용되는 윈도우의 크기와 스테레오 매칭에 사용되는 윈도우의 크기를 확장하거나 축소하는 것이 가능한 것을 특징으로 하는 실시간 확장 가능한 스테레오 매칭 시스템.
3. 제 1항에 있어서,

   상기 좌표 생성모듈부의 좌표의 범위는 영상의 크기와 동일하며, 상기 좌표 생성모듈부는 1프레임을 모두 받은 후 다음 프레임으로 넘어가면 좌표값을 초기화하고 다시 카운트를 시작하는 것을 특징으로 하는 실시간 확장 가능한 스테레오 매칭 시스템.
4. 제 1항에 있어서,

   상기 지연 XOR 연산모듈부에서는 두 영상의 각 픽셀에 대한 센서스 벡터를 구하는 양안차 만큼 지연시키고 서로 XOR연산을 적용 후 결과로 얻은 비트벡터의 각 비트를 모두 더해 1의 개수를 구해 지연된 수만큼의 상관도 값을 출력하는 특징으로 하는 실시간 확장 가능한 스테레오 매칭 시스템.
5. 제 1항에 있어서,

   상기 스테레오 매칭모듈부에서는 상기 지연 XOR 연산모듈부의 결과로 얻은 상관도 값을 확장 가능한 크기의 윈도우에 저장한 후 각 윈도우의 합을 구해 가장 작은 값을 영상에 맺힌 물체와 카메라의 상대적인 거리 값으로 출력하는 것을 특징으로 하는 실시간 확장 가능한 스테레오 매칭 시스템.
6. 좌표 생성모듈부에서 카메라를 통해 입력된 영상의 2차원 좌표를 계산하는 단계;

   상기 카메라에서 획득한 픽셀에 대해 센서스 변환모듈부에서 센서스 벡터를 생성하는 단계;

   지연 XOR 연산모듈부에서 상기 센서스 벡터를 양안차 만큼 지연시켜 상관도를 구하는 단계;

   스테레오 매칭모듈부에서 상기 상관도 값을 입력받아 전체영상의 각 좌표의 해당 좌표에 맺힌 물체와 카메라와의 상대 거리를 구하는 단계;

   제어모듈부에서 외부의 입력에 따라 센서스 변환에 사용되는 윈도우의 크기와 스테레오 정합에 사용되는 윈도우의 크기를 조절하는 단계

   로 구성된 것을 특징으로 하는 실시간 확장 가능한 스테레오 매칭 방법.
7. 제 6항에 있어서,

   상기 지연 XOR 연산모듈부에서 상관도 값을 출력하는 단계는

   CX₀ = CR_{n XOR} CL₀, CX₁ = CR_{n XOR} CL₁, CX₂ = CR_{n XOR} CL_{2 ...} CX_{n -1} = CR_{n XOR} CL_{n -1}, CX_n = CR_{n XOR} CL_n로 계산되는 단계(여기서, CL과 CR은 센서스 변환 결과, CL_n과 CR_n은CL과 CR을 n 만큼 지연시킨 값, CX는 CL과 CR의 상관도 값)가 포함되는 것을 특징으로 하는 실시간 확장 가능한 스테레오 매칭 방법.

Images