KR101832940B1 - 스테레오 영상 처리 장치 및 방법 - Google Patents

스테레오 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101832940B1
KR101832940B1 KR1020170039115A KR20170039115A KR101832940B1 KR 101832940 B1 KR101832940 B1 KR 101832940B1 KR 1020170039115 A KR1020170039115 A KR 1020170039115A KR 20170039115 A KR20170039115 A KR 20170039115A KR 101832940 B1 KR101832940 B1 KR 101832940B1
Authority
KR
South Korea
Prior art keywords
sgm
image
information
pattern information
pattern
Prior art date
Application number
KR1020170039115A
Other languages
English (en)
Inventor
이상준
전재욱
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020170039115A priority Critical patent/KR101832940B1/ko
Application granted granted Critical
Publication of KR101832940B1 publication Critical patent/KR101832940B1/ko

Links

Images

Classifications

    • H04N13/0022—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H04N13/0051—
    • H04N13/0203—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

스테레오 영상 처리 장치 및 방법을 개시한다. 본 발명의 실시예에 따른 스테레오 영상 처리 장치 및 방법은, 스테레오 카메라를 사용하여 촬영된 제 1 영상 및 제 2 영상을 수신하고, 상기 제 1 영상의 정방향 영상인 제 1 정 영상, 상기 제 1 영상의 역방향 역상 영상인 제 1 역 영상, 상기 제 2 영상의 정방향 영상인 제 2 정 영상 및 상기 제 2 영상의 역방향 역상인 제 2 역 영상을 저장하는 입력 영상 저장부, 상기 입력 영상 저장부로부터 영상 정보를 수신하여 스테레오 영상 정합을 위한 패턴 정보를 획득하는 패턴 정보 생성부로써, 상기 패턴 정보 생성부는, 상기 제 1 정 영상 및 상기 제 1 역 영상을 수신하여 제 1 정 패턴 정보 및 제 1 역 패턴 정보를 획득하고, 상기 제 2 정 영상 및 상기 제 2 역 영상을 수신하여 제 2 정 패턴 정보 및 제 2 역 패턴 정보를 획득하는 상기 패턴 정보 생성부, 및 상기 획득된 패턴 정보를 수신하여 SGM(semi global matching) 연산을 수행하는 SGM 연산부를 포함한다.

Description

스테레오 영상 처리 장치 및 방법{Device and Method of Stereo Video Processing}
본 발명은 스테레오 영상 처리 장치 및 방법에 대한 것으로, 보다 상세하게는 스테레오 카메라로 촬영한 영상의 실시간 처리 성능 향상을 위한 스테레오 영상 처리 장치 및 방법에 대한 것이다.
스테레오 비전 기술은, 스테레오 카메라(좌, 우 두 대의 카메라)를 사용하여 영상을 획득한다. 디스패리티(disparty)는 스테레오 카메라에 의해 촬영된 두 영상의 같은 선상에 위치한 동일한 정보로부터 획득된다. 획득된 디스패리티(disparty)는 화면상 물체의 크기와 거리 측정에 사용될 수 있다. 디스패리티(disparty)는 시차 또는 격차라고도 불린다. SGM(Semi Global Matching)은 스테레오 비전 분야에서 사용되는 스테레오 이미지 정합 기술 중 하나이다. 스테레오 비전 기술은 차량, 3차원 영상 등에서 다양하게 활용된다.
기존의 SGM 방식은 디스패리티(disparty) 획득을 위해 동일한 연산을 반복적으로 수행한다. 반복적인 연산의 수행은 순차 처리 구조 기반의 PC 및 내장형 프로세서(Embedded Processor) 환경에서 영상 처리에 소모되는 시간을 매우 증가시키고, 실시간 영상 처리 속도를 저하한다. 또한, 기존의 SGM 방식은 입력 영상의 해상도가 커질수록 연산의 반복 회수가 증가하고 한 장의 영상을 처리하는데 더 긴 시간을 소모한다.
특정 픽셀의 SGM 연산은 이전 픽셀의 연산 결과를 사용한다. SGM 연산은 이전 픽셀의 연산 결과를 획득하기 위해 대기시간이 필요하다. 딜레이(Delay)는 각 픽셀의 SGM 연산이 수행될 때마다 발생된다. SGM 연산은 입력 영상의 해상도가 커져 픽셀의 수가 늘어날수록 딜레이가 누적되고, 전체 영상 처리 속도는 저하된다. 종래의 스테레오 영상 처리 장치는 누적되는 딜레이를 만회하기 위해 입력 클락(clock)인 카메라의 클락 보다 빠른 별도의 클락을 사용한다. 종래의 스테레오 영상 처리 장치는 카메라의 클락이 빨라질수록 보다 더 빠른 클락을 요구한다.
본 발명은 위와 같은 문제점을 해결하고 스테레오 영상의 처리 성능을 높이기 위해, 복수의 SGM 연산 장치를 사용할 수 있다. 각 SGM 연산 장치는 복수의 버퍼를 포함할 수 있고, 복수의 패턴 라인을 병렬적으로 연산할 수 있다. 본 발명의 스테레오 영상 처리 장치는 한 버퍼에 저장된 복수의 패턴 라인을 연산 및 출력하는 동안, 후속 패턴을 다른 버퍼에 저장할 수 있다. 또한, 스테레오 영상 처리 장치의 클락은 카메라의 클락에 동기화될 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 발명은 스테레오 영상 처리 장치 및 방법을 제안한다.
상술한 기술적 과제를 해결하기 위하여, 본 발명의 실시예에 따른 스테레오 영상 처리 장치는, 스테레오 카메라를 사용하여 촬영된 제 1 영상 및 제 2 영상을 수신하고, 상기 제 1 영상의 정방향 영상인 제 1 정 영상, 상기 제 1 영상의 역방향 역상 영상인 제 1 역 영상, 상기 제 2 영상의 정방향 영상인 제 2 정 영상 및 상기 제 2 영상의 역방향 역상인 제 2 역 영상을 저장하는 입력 영상 저장부; 상기 입력 영상 저장부로부터 영상 정보를 수신하여 스테레오 영상 정합을 위한 패턴 정보를 획득하는 패턴 정보 생성부로써, 상기 패턴 정보 생성부는, 상기 제 1 정 영상 및 상기 제 1 역 영상을 수신하여 제 1 정 패턴 정보 및 제 1 역 패턴 정보를 획득하고, 상기 제 2 정 영상 및 상기 제 2 역 영상을 수신하여 제 2 정 패턴 정보 및 제 2 역 패턴 정보를 획득하는 상기 패턴 정보 생성부; 및 상기 획득된 패턴 정보를 수신하여 SGM(semi global matching) 연산을 수행하는 SGM 연산부; 를 포함한다.
본 발명의 실시예에 따른 스테레오 영상 처리 장치에 있어서, 상기 SGM 연산부는, 상기 획득된 패턴정보를 수신하여 SGM 연산을 수행하는 단방향 SGM 연산부; 상기 단방향 SGM 연산부의 연산 결과를 저장하는 단방향 연산 결과 저장부; 및 상기 저장된 단방향 SGM 연산 결과를 사용하여 상기 제 1 영상 및 상기 제 2 영상의 최종 디스패리티(disparity) 정보 및 최소 에너지 값 정보를 획득하는 최종 결과 생성부; 를 포함한다.
본 발명의 실시예에 따른 스테레오 영상 처리 장치에 있어서, 상기 단방향 SGM 연산부는 상기 제 1 정 패턴 정보 및 상기 제 2 정 패턴 정보를 수신하여 SGM 연산을 수행하는 제 1 단방향 SGM 연산부; 및 상기 제 1 역 패턴 정보 및 상기 제 2 역 패턴 정보를 수신하여 SGM 연산을 수행하는 제 2 단방향 SGM 연산부; 를 포함한다.
본 발명의 실시예에 따른 스테레오 영상 처리 장치에 있어서, 상기 제 1 단방향 SGM 연산부 및 제 2 단방향 연산부 각각은, 상기 패턴 정보를 수신하여 수평 방향으로 SGM 연산을 수행하는 수평 방향 연산부; 상기 수평 방향 SGM 연산 결과를 저장하는 수평 방향 연산 결과 저장부; 상기 패턴 정보를 수신하여 수직 방향으로 SGM 연산을 수행하는 수직 방향 연산부; 상기 수직 방향 SGM 연산 결과를 저장하는 수직 방향 연산 결과 저장부; 및 상기 수평 방향 연산 결과 및 상기 수직 방향 연산 결과를 비교하여 어느 하나를 출력하는 연산 결과 비교부; 를 포함한다.
본 발명의 실시예에 따른 스테레오 영상 처리 장치에 있어서, 상기 수평 방향 연산부는, 상기 패턴 정보를 저장하는 복수의 인풋 라인 버퍼; 상기 패턴 정보의 해밍 거리 정보를 획득하는 해밍 거리 연산부; 상기 패턴 정보의 SGM 에너지 값 정보를 획득하는 SGM 에너지 연산부; 및 상기 해밍 거리 정보 및 상기 SGM 에너지 값 정보를 저장하는 복수의 아웃풋 라인 버퍼;를 포함한다.
본 발명의 실시예에 따른 스테레오 영상 처리 장치에 있어서, 상기 수평 방향 연산부는, 제 1 인풋 라인 버퍼에 상기 패턴 정보를 저장하고, 상기 저장된 패턴 정보의 해밍 거리(hamming distance) 정보 및 SGM 에너지 값 정보를 획득하고, 상기 획득된 해밍 거리 정보 및 상기 SGM 에너지 값 정보를 제 1 아웃풋 라인 버퍼로 기입하고, 상기 해밍 거리 정보 및 상기 SGM 에너지 값 정보를 획득하는 동안, 상기 제 1 인풋 라인 버퍼에 저장된 상기 패턴 정보에 후속하는 후속 패턴 정보를 제 2 인풋 라인 버퍼에 저장한다.
본 발명의 실시예에 따른 스테레오 영상 처리 장치에 있어서, 상기 수평 방향 연산부는, 상기 제 1 아웃풋 라인 버퍼에 기입된 상기 해밍 거리 정보 및 상기 SGM 에너지 값 정보가 출력되는 동안, 상기 제 2 인풋 라인 버퍼에 저장된 상기 후속 패턴 정보의 해밍 거리 정보 및 SGM 에너지 값 정보를 획득하여 제 2 아웃풋 라인 버퍼로 기입한다.
본 발명의 실시예에 따른 스테레오 영상 처리 장치에 있어서, 상기 수평 방향 연산부는, 상기 패턴 정보에 포함된 복수의 패턴 라인들 각각을 병렬적으로 처리하여 상기 해밍 거리 정보 및 상기 SGM 에너지 값 정보를 획득하는 것을 특징으로 한다.
본 발명의 실시예에 따른 스테레오 영상 처리 장치에 있어서, 상기 스테레오 영상 처리 장치는, 상기 스테레오 카메라의 클락과 동기화된다.
본 발명의 실시예에 따른 스테레오 영상 처리 장치에 있어서, 상기 연산 결과 비교부는, 상기 저장된 수평 방향 연산 결과 및 상기 저장된 수직 방향 연산 결과를 비교하여 최소 에너지 값을 갖는 연산 결과를 획득하고, 상기 획득된 연산 결과의 디스패리티 정보 및 에너지 값 정보를 출력한다.
본 발명의 실시예에 따른 스테레오 영상 처리 방법은, 스테레오 카메라를 사용하여 촬영된 제 1 영상 및 제 2 영상을 수신하고, 상기 제 1 영상의 정방향 영상인 제 1 정 영상, 상기 제 1 영상의 역방향 역상 영상인 제 1 역 영상, 상기 제 2 영상의 정방향 영상인 제 2 정 영상 및 상기 제 2 영상의 역방향 역상인 제 2 역 영상을 저장하는 단계; 상기 저장된 영상 정보를 수신하여 패턴 정보를 획득하는 패턴 정보 생성 단계로써, 상기 패턴 정보 생성 단계는, 상기 제 1 정 영상 및 상기 제 1 역 영상을 수신하여 제 1 정 패턴 정보 및 제 1 역 패턴 정보를 획득하고, 상기 제 2 정 영상 및 상기 제 2 역 영상을 수신하여 제 2 정 패턴 정보 및 제 2 역 패턴 정보를 획득하는 단계; 및 상기 획득된 패턴 정보를 수신하여 SGM(semi global matching) 연산을 수행하는 단계; 를 포함한다.
본 발명의 실시예에 따른 스테레오 영상 처리 방법에 있어서, 상기 SGM 연산 단계는, 상기 획득된 패턴정보를 수신하여 단방향 SGM 연산을 수행하는 단계; 상기 단방향 SGM 연산단계의 연산 결과를 저장하는 단계; 상기 저장된 단방향 SGM 연산 결과를 사용하여 상기 제 1 영상 및 상기 제 2 영상의 최종 디스패리티(disparity) 정보 및 최소 에너지 값 정보를 최종 결과로써 획득하는 단계; 를 포함한다.
본 발명의 실시예에 따른 스테레오 영상 처리 방법에 있어서, 상기 단방향 SGM 연산단계는 상기 제 1 정 패턴 정보 및 상기 제 2 정 패턴 정보를 수신하여 단방향 SGM 연산을 수행하는 정 패턴 SGM 연산 단계; 및 상기 제 1 역 패턴 정보 및 상기 제 2 역 패턴 정보를 수신하여 단방향 SGM 연산을 수행하는 역 패턴 SGM 연산 단계; 를 포함한다.
본 발명의 실시예에 따른 스테레오 영상 처리 방법에 있어서, 상기 정 패턴 SGM 연산단계 및 역 패턴 SGM 연산 단계 각각은, 상기 패턴 정보를 수신하여 수평 방향으로 SGM 연산을 수행하는 단계; 상기 수평 방향 SGM 연산 결과를 저장하는 단계; 상기 패턴 정보를 수신하여 수직 방향으로 SGM 연산을 수행하는 단계; 상기 수직 방향 SGM 연산 결과를 저장하는 단계; 상기 수평 방향 연산 결과 및 상기 수직 방향 연산 결과를 비교하여 어느 하나를 출력하는 단계; 를 포함한다.
본 발명의 실시예에 따른 스테레오 영상 처리 방법에 있어서, 상기 수평 방향 SGM 연산 단계는, 상기 패턴 정보를 복수의 인풋 라인 버퍼에 저장하는 단계; 상기 패턴 정보의 해밍 거리 정보를 획득하는 단계; 상기 패턴 정보의 SGM 에너지 값 정보를 획득하는 단계; 및 상기 획득된 해밍 거리 정보 및 상기 SGM 에너지 값 정보를 복수의 아웃풋 라인 버퍼에 저장하는 단계; 를 포함한다.
본 발명의 실시예에 따른 스테레오 영상 처리 방법에 있어서, 상기 수평 방향 SGM 연산 단계는, 제 1 인풋 라인 버퍼에 상기 패턴 정보를 저장하는 단계; 상기 저장된 패턴 정보의 해밍 거리(hamming distance) 정보 및 SGM 에너지 값 정보를 획득하는 단계; 상기 획득된 해밍 거리 정보 및 상기 SGM 에너지 값 정보를 제 1 아웃풋 라인 버퍼로 기입하는 단계; 를 포함하고, 상기 해밍 거리 정보 및 상기 SGM 에너지 값 정보를 획득하는 동안, 상기 제 1 인풋 라인 버퍼에 저장된 상기 패턴 정보에 후속하는 후속 패턴 정보를 제 2 인풋 라인 버퍼에 저장한다.
본 발명의 실시예에 따른 스테레오 영상 처리 방법에 있어서, 상기 수평 방향 SGM 연산 단계는; 상기 제 1 아웃풋 라인 버퍼에 기입된 상기 해밍 거리 정보 및 상기 SGM 에너지 값 정보가 출력되는 동안, 상기 제 2 인풋 라인 버퍼에 저장된 상기 후속 패턴 정보의 해밍 거리 정보 및 SGM 에너지 값 정보를 획득하여 제 2 아웃풋 라인 버퍼로 기입한다.
본 발명의 실시예에 따른 스테레오 영상 처리 방법에 있어서, 상기 수평 방향 SGM 연산 단계는, 상기 패턴 정보에 포함된 복수의 패턴 라인들 각각을 상기 인풋 라인 버퍼에 기입하는 단계; 및 상기 인풋 라인 버퍼에 기입된 상기 복수의 패턴 라인들 각각을 병렬적으로 해밍 거리 정보 및 SGM 에너지 값 정보를 획득하는 단계; 를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 스테레오 영상 처리 방법에 있어서, 상기 스테레오 영상 처리 방법은, 상기 스테레오 카메라의 클락과 동기화되어 수행된다.
본 발명의 실시예에 따른 스테레오 영상 처리 방법에 있어서, 상기 연산 결과 비교 출력 단계는, 상기 저장된 수평 방향 연산 결과 및 상기 저장된 수직 방향 연산 결과를 비교하여 최소 에너지 값을 갖는 연산 결과를 획득하는 단계; 및 상기 획득된 연산 결과의 디스패리티 정보 및 에너지 값 정보를 출력하는 단계; 를 포함한다.
본 발명의 실시예에 따른 스테레오 영상 처리 장치는, 데이터를 저장하는 메모리; 및 상기 메모리를 제어하는 프로세서를 포함하는 스테레오 영상 처리 장치로써, 상기 스테레오 영상 처리 장치는, 스테레오 카메라를 사용하여 촬영된 제 1 영상 및 제 2 영상을 수신하고, 상기 제 1 영상의 정방향 영상인 제 1 정 영상, 상기 제 1 영상의 역방향 역상 영상인 제 1 역 영상, 상기 제 2 영상의 정방향 영상인 제 2 정 영상 및 상기 제 2 영상의 역방향 역상인 제 2 역 영상을 저장하고, 스테레오 영상 정합을 위한 패턴 정보를 획득하고, 상기 획득된 패턴 정보는, 상기 제 1 정 영상 및 상기 제 1 역 영상을 사용하여 획득된 제 1 정 패턴 정보 및 제 1 역 패턴 정보를 포함하고, 상기 제 2 정 영상 및 상기 제 2 역 영상을 사용하여 획득된 제 2 정 패턴 정보 및 제 2 역 패턴 정보를 포함하고, 및 상기 획득된 패턴 정보를 사용하여 SGM(semi global matching) 연산을 수행한다.
본 발명의 실시예에 따른 스테레오 영상 처리 장치에 있어서, 상기 SGM 연산 수행에 있어서, 상기 스테레오 영상 처리 장치는, 상기 패턴 정보를 저장하는 복수의 인풋 라인 버퍼를 포함하고, 상기 패턴 정보의 해밍 거리 정보를 획득하고, 상기 패턴 정보의 SGM 에너지 값 정보를 획득하고, 및 상기 해밍 거리 정보 및 상기 SGM 에너지 값 정보를 저장한다.
본 발명의 실시예에 따른 스테레오 영상 처리 장치에 있어서, 상기 SGM 연산 수행에 있어서, 상기 스테레오 영상 처리 장치는, 제 1 인풋 라인 버퍼에 상기 패턴 정보를 저장하고, 상기 저장된 패턴 정보의 해밍 거리(hamming distance) 정보 및 SGM 에너지 값 정보를 획득하고, 상기 획득된 해밍 거리 정보 및 상기 SGM 에너지 값 정보를 제 1 아웃풋 라인 버퍼로 기입하고, 및 상기 해밍 거리 정보 및 상기 SGM 에너지 값 정보를 획득하는 동안, 상기 제 1 인풋 라인 버퍼에 저장된 상기 패턴 정보에 후속하는 후속 패턴 정보를 제 2 인풋 라인 버퍼에 저장한다.
본 발명의 실시예에 따른 스테레오 영상 처리 장치에 있어서, 상기 SGM 연산 수행에 있어서, 상기 스테레오 영상 처리 장치는, 상기 제 1 아웃풋 라인 버퍼에 기입된 상기 해밍 거리 정보 및 상기 SGM 에너지 값 정보가 출력되는 동안, 상기 제 2 인풋 라인 버퍼에 저장된 상기 후속 패턴 정보의 해밍 거리 정보 및 SGM 에너지 값 정보를 획득하여 제 2 아웃풋 라인 버퍼로 기입한다.
본 발명의 SGM 연산부는 복수의 인풋 버퍼 및 복수의 아웃풋 버퍼를 사용한다. 복수의 인풋 버퍼는 서로 다른 패턴 정보를 저장한다. SGM 연산부는 하나의 인풋 버퍼에 저장된 패턴 정보를 SGM 연산을 하고 출력 아웃풋에 저장하는 동안, 다른 인풋 버퍼에 후속 패턴 정보를 저장할 수 있다. 또한, SGM 연산부는 하나의 아웃풋 버퍼에 저장된 패턴 정보를 출력하는 동안, 다른 아웃풋 버퍼에 후속 패턴 정보를 SGM 연산을 수행하여 저장할 수 있다. 복수의 아웃풋 버퍼는 서로 다른 패턴 정보의 SGM 연산 결과를 저장한다. SGM 연산부는 복수의 버퍼를 사용함으로써 하나의 버퍼를 사용하는 경우에 비해 데이터의 저장 및 출력에 걸리는 시간을 단축시킬 수 있다. 스테레오 영상 처리 장치의 영상 처리 속도가 증가되는 효과가 있다.
본 발명의 SGM 연산부는 각 버퍼에 복수의 패턴 라인 정보를 저장하고 병렬적으로 SGM 연산을 수행한다. SGM 연산부는 복수의 패턴 라인을 하나의 버퍼에 저장하는 시간 동안, 다른 버퍼에 저장되어 있던 다른 복수의 패턴 라인의 SGM 연산을 수행할 수 있다. SGM 연산부는 패턴 라인의 SGM 연산에 필요한 처리 시간을 충분히 확보할 수 있다. SGM 연산부는 연산 딜레이가 누적되어 발생되는 딜레이 시간을 잠재화(latency)화 하여 처리 할 수 있다. SGM 연산부는 하나의 패턴 라인 정보를 각 버퍼에 저장하여 처리하는 경우에 비해 총 연산시간을 단축시킬 수 있다. 스테레오 영상 처리 장치의 영상 처리 속도가 더 증가되는 효과가 있다.
본 발명의 스테레오 영상 처리 장치는 스테레오 카메라의 클락과 동기화 될 수 있다. 종래의 스테레오 영상 처리 장치는 반복되는 연산으로 인해 발생되는 딜레이를 처리하기 위해 별도의 고속 클락을 사용한다. 스테레오 영상 처리 장치는 SGM 연산부의 각 버퍼에 복수의 패턴 라인 정보를 저장함으로써 딜레이 누적으로 인한 영향을 줄일 수 있다. 스테레오 영상 처리 장치는 별도의 고속 클락을 사용하지 않고 장치를 카메라의 클락과 동기화하여 사용할 수 있다.
스테레오 영상 처리 장치 및 카메라가 단일 클락으로 수행되는 경우, 스테레오 영상 처리 장치는 카메라의 영상 처리 속도에 맞추어 연산 결과를 출력할 수 있다. 스테레오 영상의 실시간 처리 성능은 클락 동기화로 인해 카메라가 고속 프레임 속도를 갖는 경우에도 저하되지 않는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른, 일반적인 스테레오 비전 시스템의 구성을 나타낸다.
도 2는 본 발명의 일 실시예에 따른, 스테레오 비전 연산부의 구체적인 구성을 나타낸다.
도 3은 본 발명의 일 실시예에 따른, 정방향 영상 및 역방향 역상 영상으로 저장된 영상에 각각 SGM 연산을 수행하는 것을 나타낸다.
도 4는 본 발명의 일 실시예에 따른, 원본 영상 및 원본 영상이 패턴화 된 영상을 나타낸다.
도 5는 본 발명의 일 실시예에 따른, SGM 연산부의 구체적인 구성을 나타낸다.
도 6은 본 발명의 일 실시예에 따른, 제 1 단방향 SGM 연산부 및 제 2 단방향 SGM 연산부의 구체적인 구성을 나타낸다.
도 7은 본 발명의 일 실시예에 따른, SGM 에너지 연산 수식 및 파이프라인 구조를 사용한 SGM 에너지값의 연산 처리 과정을 나타낸다.
도 8은 본 발명의 일 실시예에 따른, 수평 방향 연산부의 구체적인 구성, 패턴 라인의 저장, SGM 연산 및 출력 과정을 나타낸다.
도 9는 본 발명의 일 실시예에 따른, 수직 방향 연산부의 구체적인 SGM 연산 과정을 나타낸다.
도 10은 본 발명의 일 실시예에 따른, 스테레오 영상 처리 방법의 순서도를 나타낸다.
도 11은 본 발명의 일 실시예에 따른, SGM 연산 단계의 구체적인 순서도를 나타낸다.
도 12는 본 발명의 일 실시예에 따른, 단방향 SGM 연산 단계의 구체적인 순서도를 나타낸다.
도 13은 본 발명의 일 실시예에 따른, 수평 방향 SGM 연산 단계의 구체적인 순서도를 나타낸다.
도 14는 본 발명의 일 실시예에 따른, 스테레오 영상 처리 장치의 블록도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당해 기술분야의 통상의 지식을 가진 사람이 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다.
본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "유닛" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
본 명세서에서 스테레오 카메라란, 스테레오 비전 기술 분야에서 사용되는 두 대의 카메라를 사용하여 양안 영상을 획득하는 영상획득 장치를 나타낸다. 본 명세서에서 패턴 정보란, 패턴화된 입력 영상의 전체 패턴 정보, 각 라인 별 패턴 정보, 각 픽셀의 패턴 정보를 포함한다. 본 명세서에서 디스패리티(disparty) 정보란, 입력 영상 전체의 디스패리티(disparty), 영상 일부분의 디스패리티(disparty), 디스패리티 맵(disparty map), 코스트(cost) 등을 포함한다.
도 1은 본 발명의 일 실시예에 따른, 일반적인 스테레오 비전 시스템의 구성을 나타낸다.
이하에서는 본 발명의 스테레오 영상 처리 장치를 스테레오 영상 처리 장치라고 지칭할 수 있다. 종래의 스테레오 영상 처리 장치를 종래의 장치라고 지칭할 수 있다.
스테레오 비전 시스템은 2대의 카메라(1010, 1020), 영상 입력부(1030), 스테레오 비전 연산부(1040) 및 결과 출력부(1050)을 포함한다.
제 1 카메라(1010) 및 제 2 카메라(1020)는 스테레오 카메라에 해당한다. 동일한 객체 또는 동일 영역에 대한 양안 영상은 스테레오 카메라를 사용하여 획득될 수 있다. 스테레오 영상은 양안 영상을 사용하여 획득될 수 있다.
영상 입력부(1030)는 스테레오 카메라를 사용하여 촬영된 양안 영상을 동시에 입력받는다. 영상 입력부(1030)는 일종의 신호 인터페이스에 해당한다.
스테레오 비전 연산부(1040)는 영상 입력부(1030)에서 전달된 양안 영상에 대해 스테레오 정합 연산을 수행한다. 스테레오 비전 연산부(1040)는 양안 영상의 시차(disparty)를 획득할 수 있고, 시차 맵(disparty map)을 획득할 수 있다. 스테레오 비전 연산부(1040)는 스테레오 정합의 방식으로 SGM(semi global matching)을 사용한다. 스테레오 비전 연산부(1040)에 대한 자세한 사항은 도 2를 참조하여 후술한다.
결과 출력부(1050)는 스테레오 비전 연산부(1040)에서 획득한 결과를 출력한다. 결과 출력부(1050)는 스마트폰, 컴퓨터 모니터 등 디스플레이를 포함한 장치에 해당될 수 있다. 결과 출력부(1050)는 다른 처리 장치와 연결될 수 있다.
도 2는 본 발명의 일 실시예에 따른, 스테레오 비전 연산부의 구체적인 구성을 나타낸다.
스테레오 비전 연산부는, 입력 영상 저장부(2010), 패턴 정보 생성부(2020) 및 SGM 연산부(2030)를 포함한다.
입력 영상 저장부(2010)는, 스테레오 카메라를 사용하여 촬영된 제 1 영상 및 제 2 영상을 수신한다. 제 1 영상 및 제 2 영상은 각각 제 1 카메라 및 제 2 카메라로 촬영된 영상에 해당한다.
입력 영상 저장부(2010)는 수신된 양안 영상 각각을 별개의 정방향 영상 및 역방향 역상 영상으로 저장한다. 입력 영상 저장부(2010)는 제 1 영상의 정방향 영상, 제 1 영상의 역방향 역상 영상, 제 2 영상의 정방향 영상 및 제 2 영상의 역방향 역상 영상을 저장한다.
제 1 영상의 정방향 영상은 제 1 정 영상에, 제 1 영상의 역방향 역상 영상은 제 1 역 영상에 해당한다. 제 2 영상의 정방향 영상은 제 2 정 영상에, 제 2 영상의 역방향 역상 영상은 제 2 역 영상에 해당한다. 양안 영상이 각각 정방향 영상과 역방향 역상 영상으로 나누어 저장되는 것에 대한 자세한 사항은 도 3 를 참조하여 후술한다.
패턴 정보 생성부(2020)는, 입력 영상 저장부(2010)로부터 영상 정보를 수신하고, 스테레오 영상 정합을 위한 패턴 정보를 획득한다.
패턴 정보는 패턴 변환 장치를 사용하여 각 입력 영상이 패턴으로 변환되어 획득된다.
패턴 정보 생성부(2020)는 제 1 정 영상 및 제 1 역 영상을 수신하여 제 1 정 패턴 정보 및 제 1 역 패턴 정보를 획득한다. 패턴 정보 생성부(2020)는 제 2 정 영상 및 제 2 역 영상을 수신하여 제 2 정 패턴 정보 및 제 2 역 패턴 정보를 획득한다.
SGM 연산부(2030)는 패턴 정보 생성부(2020)로부터 패턴 정보를 수신하고 SGM 연산을 수행한다. SGM 연산에 대한 자세한 사항은 도 5 내지 도 9 를 참조하여 후술한다.
도 3은 본 발명의 일 실시예에 따른, 정방향 영상 및 역방향 역상 영상으로 저장된 영상에 각각 SGM 연산을 수행하는 것을 나타낸다.
왼쪽 영상은 스테레오 카메라 중 어느 한 카메라를 통해 촬영된 원본 영상을 나타낸다. 가운데 영상은 원본 영상과 방향이 동일한 정 방향 영상을 나타낸다. 오른쪽 영상은 원본 영상의 역방향 역상 영상을 나타낸다.
이하에서는, 왼쪽 영상은 원본 영상(3010), 가운데 영상은 정 영상(3020), 오른쪽 영상은 역 역상 영상(3030)이라고 지칭할 수 있다.
SGM 연산부(2030)는 양안 영상 중 하나를 기준으로 SGM 연산을 수행한다.
종래의 SGM 연산은 한 픽셀을 기준으로 해당 픽셀을 둘러싼 8개의 방향의 정보를 연산하고, 그 결과를 사용하여 해당 픽셀의 최종 시차(disparty) 값을 획득한다. 코스트(cost)는 좌우 영상 간 유사도를 계산한 것으로, 영상의 밝기가 유사하면 매칭이 될 가능성이 크다는 것을 전제로 한다. 매칭 가능성은 코스트(cost)가 낮을수록 높아진다. 종래의 SGM 연산 방식은 해당 픽셀의 코스트(cost)를 포함한 8 방향의 코스트(cost)를 축적하여 시차를 추정한다.
종래의 SGM 연산 방식은 영상의 일부분이나 특정 픽셀에 에러가 발생된 경우, 이후의 시차도 연속적으로 오류가 발생한다. SGM 연산은 특정 픽셀의 디스패리티(disparty) 연산에 이전 픽셀의 연산 결과값을 사용하기 때문이다. 종래의 SGM 연산 방식은 일부분의 오류로 인해 시차 맵의 정확도가 크게 떨어질 수 있다.
스테레오 영상 처리 장치의 SGM 연산 방식은 종래의 SGM 연산 방식과 달리, 한 픽셀을 둘러싼 8개의 방향을 2개의 그룹으로 분리한다. SGM 연산부는 각 그룹의 방향으로 시차를 연산하여 2개의 시차 맵을 획득하고, 그 중 최소 에너지값 (Min Energy)을 선택하고 최종 시차 맵을 획득한다. SGM 연산부는 시차의 차이가 임계값 이상인 경우를 에러로 처리한다. 이 방식은 특정 위치의 영상에서 발생한 에러가 해당 픽셀에만 영향을 미친다. SGM 연산부는 이 방식을 사용하여 종래의 방식보다 더 정확한 시차 맵을 획득할 수 있다.
8개의 방향은 제 1 방향 그룹(; Top-Down Calculation Set) 및 제 2 방향 그룹(; Down-Top Calculation Set)을 포함한다. 제 1 방향 그룹은 좌측으로부터 우측으로 향하는 방향 및 위로부터 아래로 향하는 방향을 포함하도록 설정될 수 있다. 제 2 방향 그룹은 8 방향 중 제 1 방향 그룹에 속한 방향을 제외한 방향을 포함하도록 설정될 수 있다.
원본 영상(3010)의 시차 맵은 제 1 방향 그룹 및 제 2 방향 그룹으로 연산 되어 획득될 수 있다. 전체 픽셀은, 한 영상에서 2개의 그룹을 사용하여 시차 맵을 획득하기 위해서는 2회 SGM 연산되어야 한다.
스테레오 영상 처리 장치는 원본 영상(3010)을 정 영상(3020)과 역 역상 영상(3030)으로 각각 저장한다. 두 영상은 각각 제 1 방향 그룹을 사용하여 SGM 연산이 수행될 수 있다. SGM 연산부는 정 영상(3020) 및 역 역상 영상(3030)을 각각 제 1 방향 그룹으로 연산한 결과를 사용하여 시차 맵(3040)을 획득한다. 획득된 시차 맵(3040)은 원본 영상(3010)을 제 1 방향 그룹 및 제 2 방향 그룹으로 연산하여 획득한 시차 맵과 동일하다. 스테레오 영상 처리 장치는 SGM 연산 시 제 1 방향 그룹을 사용하는 것으로 설정된다.
정 영상(3020) 및 역 역상 영상(3030)의 디스패리티(disparty) 연산 결과는, 후술하는 복수의 단방향 SGM 연산 장치에서 각각 따로 연산 되어 획득될 수 있다. 스테레오 영상 처리 장치는 정 영상(3020) 및 역 역상 영상(3030)을 서로 다른 단방향 SGM 연산부에서 따로 연산함으로써, 시차 맵을 획득하는데 걸리는 시간을 크게 단축할 수 있다.
도 4는 본 발명의 일 실시예에 따른, 원본 영상 및 원본 영상이 패턴화된 영상을 나타낸다.
패턴 정보 생성부는 입력 영상 저장부로부터 수신한 영상 정보를 패턴 정보로 변환한다. 획득된 패턴 정보는 시차 맵 획득 및 스테레오 영상 정합에 사용된다.
왼쪽 영상은 원본 영상(4010)으로 스테레오 카메라에 의해 촬영된 영상에 해당한다. 오른쪽 영상은 원본 영상(4010)이 이 패턴화된 패턴 영상(4020) 에 해당한다.
패턴 정보는 센서스(Census), 국부 이진 패턴(Local Binary Pattern), 등 다양한 변환 방식을 사용하여 획득될 수 있다. 스테레오 영상 처리 장치는 패턴 정보의 변환 방식 종류에 상관없이 활용될 수 있다.
도 5는 본 발명의 일 실시예에 따른, SGM 연산부의 구체적인 구성을 나타낸다.
SGM 연산부는 단방향 SGM 연산부(5010), 단방향 연산 결과 저장부(5040) 및 최종 결과 생성부(5050)를 포함한다. 단방향 SGM 연산부(5010)는 제 1 단방향 SGM 연산부(5020) 및 제 2 단방향 연산부(5030)를 포함한다.
이하에서는, 제 1 단방향 SGM 연산부(5020)는 제 1 연산부, 제 2 단방향 연산부(5030)는 제 2 연산부라고 지칭할 수 있다.
단방향 SGM 연산부(5010)는 패턴 정보 생성부에서 획득된 패턴정보를 수신하고 SGM 연산을 수행한다. 단방향 연산 결과 저장부(5040)는 단방향 SGM 연산부의 연산 결과를 저장한다. 최종 결과 생성부(5050)는 저장된 단방향 SGM 연산 결과를 사용하여 제 1 영상 및 제 2 영상의 최종 디스패리티(disparty) 정보 및 최소 에너지값 (Min Energy) 정보를 획득한다.
제 1 연산부(5020)는 제 1 정 패턴 정보 및 제 2 정 패턴 정보를 수신하고 각각 SGM 연산을 수행한다. 제 2 연산부(5030)는 제 1 역 패턴 정보 및 제 2 역 패턴 정보를 수신하고 각각 SGM 연산을 수행한다.
제 1 연산부(5020)및 제 2 연산부(5030)는 동시에 또는 별개로 SGM 연산을 수행할 수 있다. 제 1 연산부(5020) 및 제 2 연산부(5030)에 대한 자세한 사항은 도 6 를 참조하여 후술한다.
도 6은 본 발명의 일 실시예에 따른, 제 1 단방향 SGM 연산부 및 제 2 단방향 SGM 연산부의 구체적인 구성을 나타낸다.
제 1 연산부 및 제 2 연산부 각각은 수평 방향 연산부(6010), 수평 방향 연산 결과 저장부(6020), 수직 방향 연산부(6030), 수직 방향 연산 결과 저장부(6040) 및 연산 결과 비교부(6050)를 포함한다.
수평 방향 연산부(6010)는, 패턴 정보를 수신하고 수평 방향으로 SGM 연산을 수행한다. 수평 방향 연산 결과 저장부(6020)는, 수평 방향 SGM 연산 결과를 저장한다. 수직 방향 연산부(6030)는, 패턴 정보를 수신하고 수직 방향으로 SGM 연산을 수행한다. 수직 방향 연산 결과 저장부(6040)는, 수직 방향 SGM 연산 결과를 저장한다. 연산 결과 비교부(6050)는, 수평 방향 연산 결과 및 수직 방향 연산 결과를 비교하여 어느 하나를 출력한다.
연산 결과 비교부(6050)는, 수평 방향 연산 결과 저장부(6020)와 수직 방향 연산 결과 저장부(6040)에 저장된 결과 중 동일 픽셀에 대한 결과를 찾고, 두 값을 비교한다. 연산 결과 비교부(6050)는, 두 결과 중 최소 에너지값 (Min Energy)을 가지는 결과를 최종 출력 값으로 결정한다. 출력되는 값은 해당 픽셀의 에너지값 및 디스패리티(disparty) 값을 포함한다.
제 1 연산부의 연산 결과 비교부(6050)는 제 1 정 영상 및 제 2 정 영상에 대한 각각의 에너지값 및 디스패리티(disparty) 값을 출력한다. 제 2 연산부의 연산 결과 비교부(6050)는 제 1 역 영상 및 제 2 역 영상에 대한 각각의 에너지값 및 디스패리티(disparty) 값을 출력한다.
수평 방향 연산부(6010) 및 수직 방향 연산부(6030)에 대한 자세한 사항은 도 8 및 도 9를 참조하여 후술한다.
도 7은 본 발명의 일 실시예에 따른, SGM 에너지 연산 수식 및 파이프라인 구조를 사용한 SGM 에너지값의 연산 처리 과정을 나타낸다.
위쪽 블록은 SGM 에너지 연산 수식(7010)을 나타낸다. 아래쪽 블록은 SGM 에너지 연산 수식(7010)에서 획득된 결과를 이용하여 파이프라인 구조로 변환하여 처리되는 SGM 에너지값 연산 처리 과정(7020; SGM Calculation Module)에 해당한다.
x 및 y는 픽셀 좌표, E는 위치의 픽셀에 대한 코스트(cost), d는 연산 범위, r은 코스트(cost) 연산을 위한 방향, P1 및 P2는 가중치, C는 각 픽셀의 매칭 비용에 해당한다. SGM 에너지 연산은 연산 범위가 N개인 경우, 한 영상의 x, y에 위치하는 픽셀을 기준으로 다른 영상의 같은 선상에 위치하는 픽셀들과 비교한 정보 N 개를 순차적으로 저장한다.
E는 이전 픽셀의 연산 결과로써, 한쪽 끝에서부터 같은 연산을 반복하고 갱신되어 생성된 값을 나타낸다. P1 및 P2는 기설정된 값이 사용될 수 있다.
B0(Er(x-1, y, d))는 연산범위 d에서의 이전 픽셀의 연산 결과를 나타낸다. B1(Er(x-1, y, d-1) + P1)은 연산범위 d-1 에서의 연산 결과에 가중치 P1을 더한 값을 나타낸다. B2(Er(x-1, y, d+1) + P1)는 연산범위 d+1 에서의 연산 결과에 가중치 P1을 더한 값을 나타낸다. C_Min은 연산 범위 d 내의 연산 결과 중 최소값을 나타낸다. A_VALUE는 현재 픽셀의 매칭 비용을 나타낸다.
SGM 에너지값 연산 처리 과정(7020)의 0차 처리 과정(Step 0 Processing) 에서, A_VALUE[d], B0[d], B1[d], B2[d], C_MIN[d] 및 (C_MIN+P2)[d] 가 미리 획득된다. 0차 처리 과정(Step 0 Processing)에서 획득된 값들은 1차, 2차 및 3차 처리 과정(Step 1, 2, 3 Processing)으로 전송되고 순차적으로 처리된다.
1차 처리 과정(Step 1 Processing)은, 0차 처리 과정(Step 0 Processing) 에서 획득한 값을 사용하여 B_VALUE[d]를 획득한다(FIND B_VALUE[d]). 2차 처리 과정(Step 2 Processing)은, A_VALUE[d], B_VALUE[d], C_MIN을 이용하여 에너지값을 연산한다(ENERGY[d]=A_VALUE[d]+B_VALUE[d]-C_MIN). 3차 처리 과정(Step 3 Processing)은 최소 에너지(Min Energy)값을 획득한다(FIND MIN_ENERGY).
도 8은 본 발명의 일 실시예에 따른, 수평 방향 연산부의 구체적인 구성, 패턴 라인의 저장, SGM 연산 및 출력 과정을 나타낸다.
수평 방향 연산부는, 복수의 인풋 라인 버퍼(8010,8020), 해밍 거리(Hamming Distance) 연산부(8030), SGM 에너지 연산부(8040; SGM Energy Calculation), 복수의 아웃풋 라인 버퍼(8050,8060)를 포함한다.
수평 방향 연산부는 인풋 라인 버퍼에 패턴 정보를 저장한다. 해밍 거리 연산부(8030)는 인풋 라인 버퍼에 저장된 패턴 정보를 수신하여 해밍 거리 정보를 획득한다. SGM 에너지 연산부(8040)는 패턴 정보의 SGM 에너지값 정보를 획득한다. 아웃풋 라인 버퍼는 획득된 해밍 거리 정보 및 SGM 에너지값 정보를 저장한다.
수평 방향 연산부는 SGM 연산 장치에서 복수의 인풋 라인 버퍼 및 복수의 아웃풋 라인 버퍼를 사용한다. 도 8은 본 발명의 일 실시예로서, 수평 방향 연산부가 각각 2개의 인풋 라인 버퍼 및 아웃풋 라인 버퍼를 사용하는 것을 개시한다.
인풋 라인 버퍼는 제 1 인풋 라인 버퍼(8010; Input Line Buffer 0) 및 제 2 인풋 라인 버퍼(8020; Input Line Buffer 1)를 포함한다. 아웃풋 라인 버퍼는 제 1 아웃풋 라인 버퍼 및(8050; Output Line Buffer 0) 제 2 아웃풋 라인 버퍼(8060; Output Line Buffer 1) 를 포함한다. 인풋 라인 버퍼 및 아웃풋 라인 버퍼의 각 개수는 변경될 수 있다.
이하에서는, 제 1 인풋 라인 버퍼(8010) 및 제 2 인풋 라인 버퍼(8020)를 제 1 인풋 버퍼(8010) 및 제 2 인풋 버퍼(8020)라고 지칭할 수 있다. 또한, 제 1 아웃풋 라인 버퍼(8050) 및 제 2 아웃풋 라인 버퍼(8060)를 제 1 아웃풋 버퍼(8050) 및 제 2 아웃풋 버퍼(8060)라고 지칭할 수 있다.
수평 방향 연산부는, 제 1 인풋 버퍼(8010)에 패턴 정보를 저장한다. 해밍 거리 연산부(8030)는 저장된 패턴 정보의 해밍 거리 정보를 획득한다. SGM 에너지 연산부(8040)는 SGM 에너지값 정보를 획득한다. SGM 에너지 연산부(8040)는 현재 픽셀의 에너지 연산을 위해 이전 픽셀의 결과값을 다시 사용한다. 수평 방향 연산부는, 획득된 해밍 거리 정보 및 SGM 에너지값 정보를 제 2 아웃풋 버퍼(8060)로 기입한다. 수평 방향 연산부가 복수의 인풋/아웃풋 버퍼 중 어느 버퍼를 먼저 사용하는지는 상관없다.
수평 방향 연산부는 제 1 인풋 버퍼(8010) 및 제 2 인풋 버퍼(8020)에 각각 서로 다른 패턴 정보를 저장한다. 수평 방향 연산부는, 제 1 인풋 버퍼(8010)에 저장된 패턴 정보의 해밍 거리 정보 및 SGM 에너지값 정보를 획득하는 동안, 제 1 인풋 버퍼(8010)에 저장된 패턴 정보에 후속하는 후속 패턴 정보를 제 2 인풋 버퍼(8020)에 저장할 수 있다.
후속 패턴 정보는 다른 인풋 버퍼에 미리 저장된 패턴 정보가 포함하는 픽셀과 연속하는 픽셀에 대한 패턴 라인(Pattern Line)의 정보에 해당한다.
하나의 인풋 버퍼를 사용하는 경우에 비해, 수평 방향 연산부가 복수의 인풋 버퍼를 사용하여 패턴 정보의 처리 및 저장을 함께 수행함으로써 스테레오 영상 처리 장치의 영상 처리 시간이 단축될 수 있다.
수평 방향 연산부는, 제 2 아웃풋 버퍼(8050)에 기입된 해밍 거리 정보 및 SGM 에너지값 정보가 출력되는 동안, 제 2 인풋 버퍼(8020)에 저장된 후속 패턴 정보의 해밍 거리 정보 및 SGM 에너지값 정보를 획득하고 제 1 아웃풋 버퍼(8060)로 기입한다. 서로 다른 패턴 정보의 SGM 연산 결과는 복수의 아웃풋 버퍼 각각에 저장된다.
수평 방향 연산부가 복수의 아웃풋 버퍼를 사용함으로써, 하나의 버퍼를 사용하는 경우에 비해 데이터의 저장 및 출력에 걸리는 시간이 단축될 수 있다. 스테레오 영상 처리 장치의 영상 처리 속도는 증가될 수 있다.
인풋 라인 버퍼 및 아웃풋 라인 버퍼는 각각의 버퍼에 복수의 패턴 라인 정보를 저장한다. 패턴 라인 정보는 한 영상의 전체 패턴을 라인 단위로 나눈 각 패턴 라인을 나타낸다.
도 8 은 본 발명의 일 실시예로서, 하나의 버퍼가 4개의 패턴 라인 정보를 저장하는 것을 나타낸다. 하나의 버퍼에 저장되는 패턴 라인의 수는 변경될 수 있다.
수평 방향 연산부는 하나의 버퍼에 저장된 복수의 패턴 라인을 병렬적으로 SGM 연산 수행할 수 있다. 수평 방향 연산부는 복수의 패턴 라인 각각을 병렬적으로 처리하여 해밍 거리 정보 및 SGM 에너지값 정보를 획득할 수 있다.
수평 방향으로의 SGM 연산은, 이전 픽셀의 연산 결과를 이후 픽셀의 연산에 사용한다. 수평 방향 SGM 연산의 상세한 수식은 상술한 도 7과 관련된 설명을 참조한다.
딜레이는 수평 방향 연산부가 이전 픽셀의 연산 결과를 수신하고 다음 픽셀을 연산하는 과정에서 발생된다. 딜레이는 수평 방향 연산부가 각 픽셀의 SGM 연산을 수행할 때마다 발생되고, 연산이 반복되면서 누적된다. 스테레오 영상 처리 장치의 실시간 영상 처리 성능은 누적된 딜레이로 인해 저하될 수 있다.
수평 방향 연산부는 하나의 인풋 버퍼에 복수의 패턴 라인 정보를 저장하는 시간 동안, 다른 인풋 버퍼에 저장된 다른 복수의 패턴 라인 정보를 연산할 시간을 확보한다. 수평 방향 연산부는 각 인풋 버퍼가 복수의 패턴 라인 정보를 저장함으로써, 이전 픽셀의 SGM 연산 결과를 이후 픽셀의 연산에 사용하기 위해 필요한 시간을 충분히 확보할 수 있다. 수평 방향 연산부는 연산 딜레이가 누적되어 발생되는 딜레이 시간을 잠재화(latency)하여 처리할 수 있다.
단방향 SGM 연산부가 복수의 패턴 라인 정보를 각 버퍼에 저장함으로써, 하나의 패턴 라인 정보를 하나의 버퍼에 저장하여 처리하는 경우에 비해 총 연산 시간이 단축될 수 있다. 스테레오 영상 처리 장치의 영상 처리 속도는 증가될 수 있다.
종래의 장치는, 누적되는 딜레이를 만회하기 위해 입력 클락(카메라의 클락) 보다 빠른 별도의 클락을 사용한다. 딜레이 처리에 사용되는 클락 속도는 입력 클락이 빨라질수록 급격히 증가한다.
예를 들어, 입력 클락이 10Mhz이고 연산에 4 클락이 소모된다면, 스테레오 영상 처리 장치는 입력 클락 보다 4배 빠른 40Mhz의 클락을 생성하여 연산을 수행하고, 그 결과를 다음 연산에 사용한다.
또한, 누적 딜레이의 영향은, 입력 영상의 해상도가 커질수록 연산 횟수가 많아지므로 증가한다. 종래의 장치는 실시간 영상 처리 성능이 저하되는 것을 막기 위해 고속 클락이 필요하다.
스테레오 영상 처리 장치는 스테레오 카메라의 클락과 동기화할 수 있다. 상술한 바와 같이, 단방향 SGM 연산부의 수평 방향 연산부는 복수의 패턴 라인 정보를 저장하고 병렬적으로 처리하므로, 연산에 충분한 시간이 확보될 수 있다. 따라서 스테레오 영상 처리 장치는 종래 장치와 달리 딜레이 처리를 위한 별도의 고속 클락 없이 수행될 수 있다.
스테레오 영상 처리 장치는 별도의 고속 클락을 사용하지 않고 카메라의 클락과 동기화하여 사용될 수 있다. 스테레오 영상 처리 장치 및 카메라가 단일 클락으로 수행되는 경우, 스테레오 영상 처리 장치는 카메라의 영상 처리 속도에 맞추어 연산 결과를 출력할 수 있다. 스테레오 영상 처리 장치는 클락 동기화로 인해, 카메라가 고속 프레임 속도를 갖는 경우에도 스테레오 영상의 실시간 처리 성능이 저하되지 않을 수 있다.
도 9는 본 발명의 일 실시예에 따른, 수직 방향 연산부의 구체적인 SGM 연산 과정을 나타낸다.
수직 방향 연산은 이전 라인에서 처리된 결과를 사용하여 연산하므로 수평 방향 연산과 같은 딜레이가 발생하지 않는다.
수직 방향 연산부는 3가지 방향(대각선 방향 2개, 수직 방향 1개)에 대한 연산을 파이프라인 구조로 처리한다. 수직 방향 연산부는 각 처리 결과를 라인 에너지 버퍼 메모리(9020; Line Energy Buffer Memory)에 저장하고 다음 라인 처리에 사용한다.
수직 방향 연산부는 각 연산 결과 값 중 최소 에너지값(Min Energy)을 가지는 결과를 최종 결과로 출력하기 위해, 연산 결과 비교부의 기능과 유사한 기능을 갖는다.
분배기(9010)는 에너지 데이터(energy data)를 수신한다. 분배기(9010)는 첫번째 라인 에너지 데이터(first line energy data) 및 잔여 라인 에너지 데이터(remainder line energy data)를 분리 전송한다.
라인 에너지 버퍼 메모리(9020; line energy buffer memory)는 분배기(9010)로부터 수신한 첫번째 라인 에너지 데이터(first line energy data) 를 저장할 수 있다. 수평 라인(Horizontal Line)은 각 수평 패턴 라인의 에너지 데이터를 포함한다.
VSGM 연산부(9030; VSGM Calculation; Vertical Semi Global Matching Calculation)는 수직 방향 SGM 연산부이다. VSGM 연산부(9030)는 잔여 라인 에너지 데이터(Remainder Line Energy Data)와 전 에너지 데이터(Previous Energy Data)를 수신하고 수직 방향의 SGM을 연산할 수 있다.
VSGM 연산부(9030)의 연산 결과는 3 방향의 연산 결과 중에서 최소 디스패리티(Min Disparty) 및 최소 에너지값(Min Energy)으로 선택된 결과를 포함한다. VSGM 연산부(9030)의 연산 결과는 업데이트된 에너지 데이터(Updated Energy Data)로써 라인 에너지 버퍼 메모리(9020)에 반영된다.
도 9의 실시예에서, 라인 에너지 버퍼 메모리(9020)는 순차적으로 제 0 에너지(0 Energy)부터, 제 1 에너지(1 Energy), 제 2 에너지(2 Energy) 및 제 X 에너지(X Energy)까지 저장할 수 있다. 디스패리티 레벨(Disparty Level)은 제 0 에너지부터 제 X 에너지까지의 레벨에 해당한다.
수직 방향 연산부는 수평 방향 연산부와 처리 과정을 동기화하기 위해, 연산 결과를 복수의 패턴 라인 단위로 저장하고 처리 결과를 출력할 수 있다.
도 10은 본 발명의 일 실시예에 따른, 스테레오 영상 처리 방법의 순서도를 나타낸다.
이하에서는, 스테레오 영상 처리 방법을 수행하는 스테레오 영상 처리 장치를 영상 처리 장치라고 지칭할 수 있다.
영상 처리 장치는 입력 영상을 저장할 수 있다(S10010). 영상 처리 장치는 스테레오 카메라를 사용하여 촬영된 제 1 영상 및 제 2 영상을 수신할 수 있다. 영상 처리 장치는 제 1 영상의 정방향 영상인 제 1 정 영상, 제 1 영상의 역방향 역상 영상인 제 1 역 영상, 제 2 영상의 정방향 영상인 제 2 정 영상 및 제 2 영상의 역방향 역상인 제 2 역 영상을 저장할 수 있다.
영상 처리 장치는 저장된 입력 영상을 사용하여 패턴 정보를 획득할 수 있다(S10020). 영상 처리 장치는 제 1 정 영상 및 제 1 역 영상을 수신하여 제 1 정 패턴 정보 및 제 1 역 패턴 정보를 획득할 수 있다. 영상 처리 장치는 제 2 정 영상 및 제 2 역 영상을 수신하여 제 2 정 패턴 정보 및 제 2 역 패턴 정보를 획득할 수 있다.
영상 처리 장치는 획득된 패턴 정보를 수신하여 SGM 연산을 수행할 수 있다(S10030).
각 단계의 구체적인 내용은 상술한 도 2와 관련된 설명을 참조한다.
도 11은 본 발명의 일 실시예에 따른, SGM 연산 단계의 구체적인 순서도를 나타낸다.
영상 처리 장치는 획득된 패턴 정보를 수신하고 단방향 SGM 연산을 수행할 수 있다. 영상 처리 장치는 제 1 단방향 SGM 연산(S11010) 및 제 2 단방향 SGM 연산(S11020)을 수행할 수 있다.
이하에서는, 제 1 단방향 SGM 연산은 정 패턴 SGM 연산이라고 지칭할 수 있다. 제 2 단방향 SGM 연산은 역 패턴 SGM 연산이라고 지칭할 수 있다.
영상 처리 장치는 제 1 정 패턴 정보 및 제 2 정 패턴 정보를 수신하여 제 1 단방향 SGM 연산을 수행할 수 있다(S11010). 영상 처리 장치는 제 1 역 패턴 정보 및 제 2 역 패턴 정보를 수신하여 제 2 단방향 SGM 연산을 수행할 수 있다(S11020). 영상 처리 장치는 획득된 정 패턴 SGM 연산 결과 및 역 패턴 SGM 연산 결과를 저장할 수 있다(S11030).
영상 처리 장치는 저장된 단방향 연산 결과를 사용하여 최종 결과를 생성할 수 있다(S11040). 영상 처리 장치는 저장된 단방향 SGM 연산 결과를 사용하여 제 1 영상 및 제 2 영상의 최종 디스패리티(disparty) 정보 및 최소 에너지값 (Min Energy) 정보를 최종 결과로 획득할 수 있다.
각 단계의 구체적인 내용은 상술한 도 5와 관련된 설명을 참조한다.
도 12는 본 발명의 일 실시예에 따른, 단방향 SGM 연산 단계의 구체적인 순서도를 나타낸다.
영상 처리 장치는 단방향 SGM 연산을 위해 정 패턴 SGM 연산 및 역 패턴 SGM 연산을 수행할 수 있다. 영상 처리 장치는 정 패턴 SGM 연산 및 역 패턴 SGM 연산을 동시에 또는 따로 수행할 수 있다.
영상 처리 장치는 패턴 정보를 수신하여 수평 방향으로 SGM 연산을 수행할 수 있다(S12010). 영상 처리 장치는 수평 방향 SGM 연산 결과를 저장할 수 있다(S12020). 영상 처리 장치는 패턴 정보를 수신하여 수직 방향으로 SGM 연산을 수행할 수 있다(S12030). 영상 처리 장치는 수직 방향 SGM 연산 결과를 저장할 수 있다(S12040). 영상 처리 장치는 수평 방향 연산 결과 및 수직 방향 연산 결과를 비교하여 어느 하나를 출력할 수 있다(S12050).
영상 처리 장치는 연산 결과 비교 출력(S12050)에서, 저장된 수평 방향 연산 결과 및 저장된 수직 방향 연산 결과를 비교하여 최소 에너지값 (Min Energy)을 갖는 연산 결과를 획득할 수 있다. 영상 처리 장치는 획득된 연산 결과의 디스패리티(disparty) 정보 및 최소 에너지값(Min Energy) 정보를 출력할 수 있다.
각 단계의 구체적인 내용은 상술한 도 6과 관련된 설명을 참조한다.
도 13은 본 발명의 일 실시예에 따른, 수평 방향 SGM 연산 단계의 구체적인 순서도를 나타낸다.
영상 처리 장치는 수평 방향 SGM 연산을 위해 패턴 정보를 복수의 인풋 라인 버퍼에 저장할 수 있다(S13010). 영상 처리 장치는 저장된 패턴 정보의 해밍 거리 정보를 획득할 수 있다(S13020). 영상 처리 장치는 패턴 정보의 SGM 에너지값 정보를 획득할 수 있다(S13030). 영상 처리 장치는 획득된 해밍 거리 정보 및 SGM 에너지값 정보를 복수의 아웃풋 라인 버퍼에 저장할 수 있다(S13040).
이하에서는, 수평 방향 SGM 연산의 구체적인 내용에 대해 살펴본다.
영상 처리 장치는 수평방향 SGM 연산 단계에서, 제 1 인풋 라인 버퍼에 패턴 정보를 저장하고, 저장된 패턴 정보의 해밍 거리 정보 및 SGM 에너지값 정보를 획득하고, 및 획득된 해밍 거리 정보 및 SGM 에너지값 정보를 제 1 아웃풋 라인 버퍼로 기입할 수 있다.
영상 처리 장치는 해밍 거리 정보 및 SGM 에너지값 정보를 획득하는 동안, 제 1 인풋 라인 버퍼에 저장된 패턴 정보에 후속하는 후속 패턴 정보를 제 2 인풋 라인 버퍼에 저장할 수 있다.
영상 처리 장치는 수평 방향 SGM 연산 단계(S12010)에서, 제 1 아웃풋 라인 버퍼에 기입된 해밍 거리 정보 및 SGM 에너지값 정보가 출력되는 동안, 제 2 인풋 라인 버퍼에 저장된 후속 패턴 정보의 해밍 거리 정보 및 SGM 에너지값 정보를 획득하여 제 2 아웃풋 라인 버퍼로 기입할 수 있다.
영상 처리 장치는 수평 방향 SGM 연산 단계(S12010)에서, 패턴 정보에 포함된 복수의 패턴 라인들 각각을 인풋 라인 버퍼에 기입할 수 있고, 인풋 라인 버퍼에 기입된 복수의 패턴 라인들 각각을 병렬적으로 해밍 거리 정보 및 SGM 에너지값 정보를 획득할 수 있다.
스테레오 영상 처리 방법은 스테레오 카메라의 클락과 동기화되어 수행될 수 있다.
각 단계의 구체적인 내용 및 효과는 상술한 도 8과 관련된 설명을 참조한다.
도 14는 본 발명의 일 실시예에 따른, 스테레오 영상 처리 장치의 블록도이다.
스테레오 영상 처리 장치(14010)는, 데이터를 저장하는 메모리(14020) 및 메모리를 제어하는 프로세서(14030)를 포함할 수 있다.
메모리(14020)는 프로세서(14030)와 연결되어, 프로세서(14030)를 구동하기 위한 다양한 정보를 저장한다. 메모리(14020)는 각 영상의 디스패리티(disparty) 정보, 에너지값 정보 및 입력 영상의 최종 SGM 연산 결과 등을 저장할 수 있다. 메모리(14020)는 프로세서(14030)의 내부에 포함되거나 또는 프로세서(14030)의 외부에 설치되어 프로세서(14030)와 공지의 수단에 의해 연결될 수 있다.
프로세서(14030)는 상술한 도면의 설명에 따른 본 발명의 다양한 실시예에 따른 동작을 수행하도록 구성될 수 있다. 또한, 상술한 본 발명의 다양한 실시예에 따른 스테레오 영상 처리 장치(14010)의 동작을 구현하는 모듈이 메모리(14020)에 저장되고, 프로세서(14030)에 의해 실행될 수 있다.
1010: 제 1 카메라
1020: 제 2 카메라
1030: 영상 입력부
1040: 스테레오 비전 연산부
1050: 결과 출력부
2010: 입력 영상 저장부
2020: 패턴 정보 생성부
2030: SGM 연산부

Claims (24)

  1. 스테레오 영상 처리 장치에 있어서,
    스테레오 카메라를 사용하여 촬영된 제 1 영상 및 제 2 영상을 수신하고, 상기 제 1 영상의 정방향 영상인 제 1 정 영상, 상기 제 1 영상의 역방향 역상 영상인 제 1 역 영상, 상기 제 2 영상의 정방향 영상인 제 2 정 영상 및 상기 제 2 영상의 역방향 역상인 제 2 역 영상을 저장하는 입력 영상 저장부;
    상기 입력 영상 저장부로부터 영상 정보를 수신하여 스테레오 영상 정합을 위한 패턴 정보를 획득하는 패턴 정보 생성부로써, 상기 패턴 정보 생성부는, 상기 제 1 정 영상 및 상기 제 1 역 영상을 수신하여 제 1 정 패턴 정보 및 제 1 역 패턴 정보를 획득하고, 상기 제 2 정 영상 및 상기 제 2 역 영상을 수신하여 제 2 정 패턴 정보 및 제 2 역 패턴 정보를 획득하는 상기 패턴 정보 생성부; 및
    상기 획득된 패턴 정보를 수신하여 SGM(semi global matching) 연산을 수행하되, 하나의 픽셀에 대해 정의되는 8개 방향이 2개의 그룹인 제1 방향 그룹 및 제2 방향 그룹으로 구분되는 경우, 상기 제1 방향 그룹만을 사용하여 상기 SGM 연산을 수행하는, SGM 연산부; 를 포함하되,
    상기 SGM 연산부는,
    상기 제 1 정 패턴 정보 및 상기 제 2 정 패턴 정보를 수신하여 상기 제1 방향 그룹만을 사용하여 상기 SGM 연산을 수행하는 제 1 단방향 SGM 연산부;
    상기 제 1 역 패턴 정보 및 상기 제 2 역 패턴 정보를 수신하여 상기 제1 방향 그룹만을 사용하여 상기 SGM 연산을 수행하는 제 2 단방향 SGM 연산부;
    상기 제 1 단방향 SGM 연산부 및 상기 제 2 단방향 SGM 연산부의 연산 결과를 저장하는 단방향 연산 결과 저장부; 및
    상기 저장된 단방향 SGM 연산 결과를 사용하여 상기 제 1 영상 및 상기 제 2 영상의 최종 디스패리티(disparity) 정보 및 최소 에너지 값 정보를 획득하는 최종 결과 생성부; 를 포함하는, 스테레오 영상 처리 장치.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서, 상기 제 1 단방향 SGM 연산부 및 상기 제 2 단방향 SGM 연산부 각각은,
    상기 패턴 정보를 수신하여 수평 방향으로 SGM 연산을 수행하는 수평 방향 연산부;
    상기 수평 방향 SGM 연산 결과를 저장하는 수평 방향 연산 결과 저장부;
    상기 패턴 정보를 수신하여 수직 방향으로 SGM 연산을 수행하는 수직 방향 연산부;
    상기 수직 방향 SGM 연산 결과를 저장하는 수직 방향 연산 결과 저장부; 및
    상기 수평 방향 연산 결과 및 상기 수직 방향 연산 결과를 비교하여 어느 하나를 출력하는 연산 결과 비교부; 를 포함하는 스테레오 영상 처리 장치.
  5. 제 4 항에 있어서, 상기 수평 방향 연산부는,
    상기 패턴 정보를 저장하는 복수의 인풋 라인 버퍼;
    상기 패턴 정보의 해밍 거리(hamming distance) 정보를 획득하는 해밍 거리 연산부;
    상기 패턴 정보의 SGM 에너지 값 정보를 획득하는 SGM 에너지 연산부; 및
    상기 해밍 거리 정보 및 상기 SGM 에너지 값 정보를 저장하는 복수의 아웃풋 라인 버퍼;를 포함하는 스테레오 영상 처리 장치.
  6. 제 5 항에 있어서, 상기 수평 방향 연산부는,
    제 1 인풋 라인 버퍼에 상기 패턴 정보를 저장하고, 상기 저장된 패턴 정보의 해밍 거리 정보 및 SGM 에너지 값 정보를 획득하고, 상기 획득된 해밍 거리 정보 및 상기 SGM 에너지 값 정보를 제 1 아웃풋 라인 버퍼로 기입하고, 상기 해밍 거리 정보 및 상기 SGM 에너지 값 정보를 획득하는 동안, 상기 제 1 인풋 라인 버퍼에 저장된 상기 패턴 정보에 후속하는 후속 패턴 정보를 제 2 인풋 라인 버퍼에 저장하는, 스테레오 영상 처리 장치.
  7. 제 6 항에 있어서, 상기 수평 방향 연산부는,
    상기 제 1 아웃풋 라인 버퍼에 기입된 상기 해밍 거리 정보 및 상기 SGM 에너지 값 정보가 출력되는 동안, 상기 제 2 인풋 라인 버퍼에 저장된 상기 후속 패턴 정보의 해밍 거리 정보 및 SGM 에너지 값 정보를 획득하여 제 2 아웃풋 라인 버퍼로 기입하는, 스테레오 영상 처리 장치.
  8. 제 5 항에 있어서, 상기 수평 방향 연산부는,
    상기 패턴 정보에 포함된 복수의 패턴 라인들 각각을 병렬적으로 처리하여 상기 해밍 거리 정보 및 상기 SGM 에너지 값 정보를 획득하는 것을 특징으로 하는, 스테레오 영상 처리 장치.
  9. 제 1 항에 있어서, 상기 스테레오 영상 처리 장치는,
    상기 스테레오 카메라의 클락과 동기화되는, 스테레오 영상 처리 장치.
  10. 제 4 항에 있어서, 상기 연산 결과 비교부는,
    상기 저장된 수평 방향 연산 결과 및 상기 저장된 수직 방향 연산 결과를 비교하여 최소 에너지 값을 갖는 연산 결과를 획득하고, 상기 획득된 연산 결과의 디스패리티 정보 및 에너지 값 정보를 출력하는, 스테레오 영상 처리 장치.
  11. 스테레오 영상 처리 방법에 있어서,
    스테레오 카메라를 사용하여 촬영된 제 1 영상 및 제 2 영상을 수신하고, 상기 제 1 영상의 정방향 영상인 제 1 정 영상, 상기 제 1 영상의 역방향 역상 영상인 제 1 역 영상, 상기 제 2 영상의 정방향 영상인 제 2 정 영상 및 상기 제 2 영상의 역방향 역상인 제 2 역 영상을 저장하는 단계;
    상기 저장된 영상 정보를 수신하여 패턴 정보를 획득하는 패턴 정보 생성 단계로써, 상기 패턴 정보 생성 단계는, 상기 제 1 정 영상 및 상기 제 1 역 영상을 수신하여 제 1 정 패턴 정보 및 제 1 역 패턴 정보를 획득하고, 상기 제 2 정 영상 및 상기 제 2 역 영상을 수신하여 제 2 정 패턴 정보 및 제 2 역 패턴 정보를 획득하는 단계; 및
    상기 획득된 패턴 정보를 수신하여 SGM(semi global matching) 연산을 수행하고, 하나의 픽셀에 대해 정의되는 8개 방향을 2개의 그룹인 제1 방향 그룹 및 제2 방향 그룹으로 구분하고, 상기 제1 방향 그룹만을 사용하여 상기 SGM 연산을 수행하는 단계;를 포함하되,
    상기 SGM 연산을 수행하는 단계는,
    상기 제 1 정 패턴 정보 및 상기 제 2 정 패턴 정보를 수신하여 상기 제1 방향 그룹만을 사용하여 상기 SGM 연산을 수행하는, 정 패턴 SGM 연산 단계;
    상기 제 1 역 패턴 정보 및 상기 제 2 역 패턴 정보를 수신하여 상기 제1 방향 그룹만을 사용하여 상기 SGM 연산을 수행하는, 역 패턴 SGM 연산 단계;
    상기 정 패턴 SGM 연산 단계 및 상기 역 패턴 SGM 연산 단계의 연산 결과를 저장하는 단계; 및
    상기 저장된 연산 결과를 사용하여 상기 제 1 영상 및 상기 제 2 영상의 최종 디스패리티(disparity) 정보 및 최소 에너지 값 정보를 획득하는 단계; 를 포함하는, 스테레오 영상 처리 방법.
  12. 삭제
  13. 삭제
  14. 제 11 항에 있어서,
    상기 정 패턴 SGM 연산 단계 및 상기 역 패턴 SGM 연산 단계 각각은,
    상기 패턴 정보를 수신하여 수평 방향으로 SGM 연산을 수행하는 단계;
    상기 수평 방향 SGM 연산 결과를 저장하는 단계;
    상기 패턴 정보를 수신하여 수직 방향으로 SGM 연산을 수행하는 단계;
    상기 수직 방향 SGM 연산 결과를 저장하는 단계; 및
    상기 수평 방향 연산 결과 및 상기 수직 방향 연산 결과를 비교하여 어느 하나를 출력하는 단계; 를 포함하는 스테레오 영상 처리 방법.
  15. 제 14 항에 있어서, 상기 수평 방향 SGM 연산 단계는,
    상기 패턴 정보를 복수의 인풋 라인 버퍼에 저장하는 단계;
    상기 패턴 정보의 해밍 거리(hamming distance) 정보를 획득하는 단계;
    상기 패턴 정보의 SGM 에너지 값 정보를 획득하는 단계; 및
    상기 획득된 해밍 거리 정보 및 상기 SGM 에너지 값 정보를 복수의 아웃풋 라인 버퍼에 저장하는 단계; 를 포함하는 스테레오 영상 처리 방법.
  16. 제 15 항에 있어서, 상기 수평 방향 SGM 연산 단계는,
    제 1 인풋 라인 버퍼에 상기 패턴 정보를 저장하는 단계;
    상기 저장된 패턴 정보의 해밍 거리 정보 및 SGM 에너지 값 정보를 획득하는 단계; 및
    상기 획득된 해밍 거리 정보 및 상기 SGM 에너지 값 정보를 제 1 아웃풋 라인 버퍼로 기입하는 단계; 를 포함하고,
    상기 해밍 거리 정보 및 상기 SGM 에너지 값 정보를 획득하는 동안, 상기 제 1 인풋 라인 버퍼에 저장된 상기 패턴 정보에 후속하는 후속 패턴 정보를 제 2 인풋 라인 버퍼에 저장하는, 스테레오 영상 처리 방법.
  17. 제 16 항에 있어서, 상기 수평 방향 SGM 연산 단계는,
    상기 제 1 아웃풋 라인 버퍼에 기입된 상기 해밍 거리 정보 및 상기 SGM 에너지 값 정보가 출력되는 동안, 상기 제 2 인풋 라인 버퍼에 저장된 상기 후속 패턴 정보의 해밍 거리 정보 및 SGM 에너지 값 정보를 획득하여 제 2 아웃풋 라인 버퍼로 기입하는, 스테레오 영상 처리 방법.
  18. 제 15 항에 있어서, 상기 수평 방향 SGM 연산 단계는,
    상기 패턴 정보에 포함된 복수의 패턴 라인들 각각을 상기 인풋 라인 버퍼에 기입하는 단계; 및
    상기 인풋 라인 버퍼에 기입된 상기 복수의 패턴 라인들 각각을 병렬적으로 해밍 거리 정보 및 SGM 에너지 값 정보를 획득하는 단계; 를 포함하는 것을 특징으로 하는, 스테레오 영상 처리 방법.
  19. 제 11 항에 있어서, 상기 스테레오 영상 처리 방법은,
    상기 스테레오 카메라의 클락과 동기화되어 수행되는, 스테레오 영상 처리 방법.
  20. 제 14 항에 있어서, 상기 연산 결과 비교 출력 단계는,
    상기 저장된 수평 방향 연산 결과 및 상기 저장된 수직 방향 연산 결과를 비교하여 최소 에너지 값을 갖는 연산 결과를 획득하는 단계; 및
    상기 획득된 연산 결과의 디스패리티 정보 및 에너지 값 정보를 출력하는 단계; 를 포함하는 스테레오 영상 처리 방법.
  21. 데이터를 저장하는 메모리; 및
    상기 메모리를 제어하는 프로세서를 포함하는 스테레오 영상 처리 장치로써, 상기 스테레오 영상 처리 장치는,
    스테레오 카메라를 사용하여 촬영된 제 1 영상 및 제 2 영상을 수신하고,
    상기 제 1 영상의 정방향 영상인 제 1 정 영상, 상기 제 1 영상의 역방향 역상 영상인 제 1 역 영상, 상기 제 2 영상의 정방향 영상인 제 2 정 영상 및 상기 제 2 영상의 역방향 역상인 제 2 역 영상을 저장하고,
    스테레오 영상 정합을 위한 패턴 정보를 획득하되,
    상기 획득된 패턴 정보는, 상기 제 1 정 영상 및 상기 제 1 역 영상을 사용하여 획득된 제 1 정 패턴 정보 및 제 1 역 패턴 정보를 포함하고, 또한, 상기 제 2 정 영상 및 상기 제 2 역 영상을 사용하여 획득된 제 2 정 패턴 정보 및 제 2 역 패턴 정보를 포함하며, 및
    상기 스테레오 영상 처리 장치는, 상기 획득된 패턴 정보를 사용하여 SGM(semi global matching) 연산을 수행하되, 하나의 픽셀에 대해 정의되는 8개 방향이 2개의 그룹인 제1 방향 그룹 및 제2 방향 그룹으로 구분되는 경우, 상기 제1 방향 그룹만을 사용하여 상기 SGM 연산을 수행하고,
    상기 SGM 연산 수행에 있어서, 상기 스테레오 영상 처리 장치는,
    상기 제 1 정 패턴 정보 및 상기 제 2 정 패턴 정보에 상기 제1 방향 그룹만을 사용하여 상기 SGM 연산을 수행하고,
    상기 제 1 역 패턴 정보 및 상기 제 2 역 패턴 정보에 상기 제1 방향 그룹만을 사용하여 상기 SGM 연산을 수행하고,
    상기 SGM 연산 결과를 모두 저장하고, 및
    상기 저장된 SGM 연산 결과를 사용하여 상기 제 1 영상 및 상기 제 2 영상의 최종 디스패리티(disparity) 정보 및 최소 에너지 값 정보를 획득하는, 스테레오 영상 처리 장치.
  22. 제 21 항에 있어서, 상기 SGM 연산 수행에 있어서,
    상기 스테레오 영상 처리 장치는,
    상기 패턴 정보를 저장하는 복수의 인풋 라인 버퍼를 포함하고, 상기 패턴 정보의 해밍 거리 정보를 획득하고, 상기 패턴 정보의 SGM 에너지 값 정보를 획득하고, 및 상기 해밍 거리 정보 및 상기 SGM 에너지 값 정보를 저장하는, 스테레오 영상 처리 장치.
  23. 제 22 항에 있어서, 상기 SGM 연산 수행에 있어서,
    상기 스테레오 영상 처리 장치는,
    제 1 인풋 라인 버퍼에 상기 패턴 정보를 저장하고, 상기 저장된 패턴 정보의 해밍 거리(hamming distance) 정보 및 SGM 에너지 값 정보를 획득하고, 상기 획득된 해밍 거리 정보 및 상기 SGM 에너지 값 정보를 제 1 아웃풋 라인 버퍼로 기입하고, 및 상기 해밍 거리 정보 및 상기 SGM 에너지 값 정보를 획득하는 동안, 상기 제 1 인풋 라인 버퍼에 저장된 상기 패턴 정보에 후속하는 후속 패턴 정보를 제 2 인풋 라인 버퍼에 저장하는, 스테레오 영상 처리 장치.
  24. 제 23 항에 있어서, 상기 SGM 연산 수행에 있어서,
    상기 스테레오 영상 처리 장치는,
    상기 제 1 아웃풋 라인 버퍼에 기입된 상기 해밍 거리 정보 및 상기 SGM 에너지 값 정보가 출력되는 동안, 상기 제 2 인풋 라인 버퍼에 저장된 상기 후속 패턴 정보의 해밍 거리 정보 및 SGM 에너지 값 정보를 획득하여 제 2 아웃풋 라인 버퍼로 기입하는, 스테레오 영상 처리 장치.
KR1020170039115A 2017-03-28 2017-03-28 스테레오 영상 처리 장치 및 방법 KR101832940B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170039115A KR101832940B1 (ko) 2017-03-28 2017-03-28 스테레오 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170039115A KR101832940B1 (ko) 2017-03-28 2017-03-28 스테레오 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101832940B1 true KR101832940B1 (ko) 2018-02-28

Family

ID=61401111

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170039115A KR101832940B1 (ko) 2017-03-28 2017-03-28 스테레오 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101832940B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101804157B1 (ko) 2016-06-03 2017-12-04 성균관대학교산학협력단 개선된 sgm 기반한 시차 맵 생성 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101804157B1 (ko) 2016-06-03 2017-12-04 성균관대학교산학협력단 개선된 sgm 기반한 시차 맵 생성 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Real-Time Low-Power Stereo Vision Engine Using Semi-Global Matching, Proceedings of the 7th International Conference on Computer Vision Systems: Computer Vision Systems Pages 134_143, Oct. 2009
Local Density Encoding for Robust Stereo Matching, IEEE Transactions on Circuits and Systems for Video Technology, 30 June 2014

Similar Documents

Publication Publication Date Title
US9269003B2 (en) Diminished and mediated reality effects from reconstruction
Honegger et al. Real-time and low latency embedded computer vision hardware based on a combination of FPGA and mobile CPU
TWI583176B (zh) 具有功率有效深度感測器運用之即時三維重建
US11295516B2 (en) Reconstruction method, reconstruction device, and generation method for generating a three-dimensional (3D) model
US11328479B2 (en) Reconstruction method, reconstruction device, and generation device
US20210241495A1 (en) Method and system for reconstructing colour and depth information of a scene
US20190051036A1 (en) Three-dimensional reconstruction method
EP3135033B1 (en) Structured stereo
US20160232684A1 (en) Motion compensation method and apparatus for depth images
JPWO2011096252A1 (ja) 画像処理システム、画像処理方法、およびプログラム
CN113711276A (zh) 尺度感知单目定位和地图构建
CN109495733B (zh) 三维影像重建方法、装置及其非暂态电脑可读取储存媒体
CN111882655A (zh) 三维重建的方法、装置、***、计算机设备和存储介质
CN110969706B (zh) 增强现实设备及其图像处理方法、***以及存储介质
KR20160098012A (ko) 영상 매칭 방법 및 장치
CN115714855A (zh) 一种基于立体视觉与tof融合的三维视觉感知方法及***
US20190043261A1 (en) Augmented reality depth sensing using dual camera receiver
US20180253823A1 (en) Image processing device, image processing method and computer readable medium
Valsaraj et al. Stereo vision system implemented on FPGA
KR101832940B1 (ko) 스테레오 영상 처리 장치 및 방법
WO2023184754A1 (zh) 可配置实时视差点云计算装置及方法
KR100795974B1 (ko) 스트리밍 스테레오 영상을 처리하여 깊이-지도를 실시간으로 생성하는 장치
KR101804157B1 (ko) 개선된 sgm 기반한 시차 맵 생성 방법
WO2015177183A1 (en) Method and apparatus for selection of reliable points for 3d modeling
CN113596330B (zh) 红外光学***刷新率提升方法、装置及设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant