KR101317839B1 - 이미지 객체 검출 장치 및 그 방법 - Google Patents

이미지 객체 검출 장치 및 그 방법 Download PDF

Info

Publication number
KR101317839B1
KR101317839B1 KR1020110137544A KR20110137544A KR101317839B1 KR 101317839 B1 KR101317839 B1 KR 101317839B1 KR 1020110137544 A KR1020110137544 A KR 1020110137544A KR 20110137544 A KR20110137544 A KR 20110137544A KR 101317839 B1 KR101317839 B1 KR 101317839B1
Authority
KR
South Korea
Prior art keywords
image
parallax
pixel
cost
value
Prior art date
Application number
KR1020110137544A
Other languages
English (en)
Other versions
KR20130070299A (ko
Inventor
정순기
원광희
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020110137544A priority Critical patent/KR101317839B1/ko
Publication of KR20130070299A publication Critical patent/KR20130070299A/ko
Application granted granted Critical
Publication of KR101317839B1 publication Critical patent/KR101317839B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 스테레오 이미지 시차 정합을 이용한 이미지 객체 검출 장치 및 방법을 개시한다. 본 발명에 따른 이미지 객체 검출 장치는, 스테레오 이미지를 촬상하는 촬상부, 스테레오 이미지 사이의 호모그라피(homography)를 연산하는 호모그라피 연산부, 스테레오 이미지를 구성하는 복수의 픽셀의 밝기값을 이용하여 정합비용(matching cost)을 연산하는 정합비용 연산부, 정합비용을 이용하여 집계비용을 산출하는 집계부, 집계비용을 합산하여 최소값을 갖는 시차값을 해당 픽셀의 최종 시차값으로 결정하는 시차값 결정부 및 기결정된 기준값보다 큰 시차값을 갖는 픽셀을 포함하는 이미지 객체를 검출하는 이미지 객체 검출부를 포함한다.

Description

이미지 객체 검출 장치 및 그 방법{AN IMAGE OBJECT DETECTION APPARATUS AND METHOD OF THE SAME}
본 발명은 스테레오 영상의 이미지 객체를 검출하는 장치 및 방법에 관한 것으로, 구체적으로 스테레오 영상의 지면 기반의 호모그라피를 활용하고 스테레오 영상을 시차 정합하여 이미지 객체를 검출하는 이미지 객체 검출 장치 및 방법에 관한 것이다.
최근 스마트 자동차(Smart Car)에 대한 관심은 자동차 산업분야에서뿐만 아니라 IT산업 분야에서도 중요한 키워드가 되고 있다. 이는 안전 운전을 달성하기 위해서 운전자에게 추가적인 정보를 제공하고 어떤 사건을 정확하고 적절한 시점에알리도록 도로상의 장면을 분석할 필요성이 있기 때문이다.
자동차에 근접하는 장애물을 검출하거나 운전자의 시야를 넓혀주기 위해서, 카메라 또는 범위 센서가 자동차에 설치되고 있다. 이러한 센서 중에서, 스테레오 시야 센서(Stereo vision sensor)는 대표적인 수동 범위 센서(passive range sensor)이다. 이는 2.5 차원(dimension)의 범위 데이터와 이미지를 동시에 생산할 수 있기 때문에 유용하다. 결과로 생성되는 범위 데이터 또는 시차 맵(disparity map)은 장애물을 검출하거나 경로를 계획하는 것과 같은 작업을 위한 입력 정보로 사용될 수 있다.
현재 사용되고 있는 스테레오 정합 알고리즘은 제로-시차 평면이 이미지 평면 중의 하나와 평행하다는 추정에 기반하고 있다. 그러나, 이런 추정은 지면과 같이 영상면과 다소 평행하지 않은 평면에 대한 시차를 획득할 경우에 효과적인 추정이 아니다.
따라서, 스테레오 이미지로부터 시차 영상 정합을 하여 도로상의 객체를 검출하기 위해서, 자동차 및 특정 물체가 서 있거나 움직이는 지면을 포함한 영상의 경우에도, 효과적으로 시차 정합을 할 수 있는 알고리즘에 대한 연구가 요청되고 있다.
도 1에서 도시된 것처럼 종래의 먼 기준 평면에 기초한 스테레오 정합 알고리즘은 주어진 시차의 단계에 대해서 좁은 거리범위의 물체에 대한 시차 정합만이 가능하여 범위를 벗어난 전, 후 시차의 물체에 대해서는 동작하지 않는 문제점이 있다.
상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명에 따른 이미지 객체 추출 장치는 지면에 기반하여 이미지들 사이의 호모그라피를 연산하고, 이를 기준으로 시차 정합하되, 지면 가정에 따라 오류를 제거하여 이미지를 이용하여 객체를 보다 효과적으로 검출할 수 있는 이미지 객체 검출 장치 및 그 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여 안출된 본 발명에 따른 이미지 객체 검출 장치는, 적어도 2개 이상의 이미지들을 촬상하는 촬상부, 상기 이미지들 사이의 호모그라피(homography)를 연산하는 호모그라피 연산부, 상기 이미지들의 특정 픽셀 및 상기 특정 픽셀의 상기 호모그라피의 강도값(intensity value) 및 시차값을 이용하여 정합비용(matching cost)을 연산하는 정합비용 연산부, 복수의 방향에 따라 상기 정합비용을 합산하여 집계비용을 산출하는 집계부 및 상기 집계비용의 합이 최소값을 갖는 경우의 시차값을 최종 시차값으로 결정하는 시차값 결정부를 포함한다.
이 경우에, 상기 호모그라피(H)는,
Figure 112011100927599-pat00001
(여기서, HGL 은 제1 이미지와 상기 지면 사이의 호모그라피, HRG 는 상기 제2 이미지와 상기 지면 사이의 호모그라피)에 의하여 연산될 수 있다.
한편, 상기 정합비용은,
Figure 112011100927599-pat00002
(여기서, 상기 IL은 제1 스테레오 이미지, IR 은 제2 스테레오 이미지, p는 특정 픽셀, d는 시차값)에 의하여 연산될 수 있다.
한편, 상기 집계비용은,
Figure 112011100927599-pat00003
(여기서, p-1 은 픽셀 P 이전 픽셀, P1 는 작은 시차 변화를 위한 보상비용, P2 는 큰 시차 변화를 위한 보상비용)에 의하여 연산될 수 있다.
한편, 이미지 객체 검출 장치는, 상기 검출된 이미지 객체의 픽셀에 중간값 필터(median filter)를 적용하여, 상기 픽셀을 보정하는 보정부;를 더 포함할 수 있다.
한편, 이미지 객체 검출 장치는, 상기 검출된 이미지 객체의 픽셀 중 인접 픽셀 사이의 시차값을 비교하여 모든 방향에서 기결정된 차이값을 벗어나는 픽셀의 시차를 보정하는 보정부;를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 이미지 객체 검출 방법은, 스테레오 이미지를 촬상하는 단계, 상기 스테레오 이미지들 사이의 호모그라피(homography)를 연산하는 단계, 상기 스테레오 이미지들의 특정 픽셀 및 상기 특정 픽셀의 상기 호모그라피가 적용된 위치의 픽셀의 강도값(intensity value) 및 시차범위를 이용하여 정합비용(matching cost)을 연산하는 단계, 복수의 방향에 따라 상기 정합비용을 합산하여 집계비용을 산출하는 단계; 및 상기 집계비용의 합산값이 최소값을 갖는 경우의 시차값을 최종 시차값으로 결정하는 단계;를 포함하는 것을 특징으로 한다.
이 경우에, 상기 호모그라피(H)는,
Figure 112011100927599-pat00004
(여기서, HGL 은 제1 이미지와 상기 지면 사이의 호모그라피, HRG 는 상기 제2 이미지와 상기 지면 사이의 호모그라피)에 의하여 연산될 수 있고 일반적인 경우 두 영상의 지면 영역에 해당하는 픽셀의 대응관계를 활용하여 연산한다.
한편, 상기 정합비용은,
Figure 112011100927599-pat00005
(여기서, 상기 IL은 제1 스테레오 이미지, IR 은 제2 스테레오 이미지, p는 특정 픽셀, d는 시차범위 안의 특정 시차값)에 의하여 연산되는 것을 특징으로 한다.
한편, 상기 집계비용은,
Figure 112011100927599-pat00006
(여기서, p-1 은 픽셀 P 이전 픽셀, P1 는 작은 시차 변화를 위한 보상비용, P2 는 큰 시차 변화를 위한 보상비용)에 의하여 연산되는 것을 특징으로 한다.
한편, 이미지 객체 검출 방법은, 상기 최종 시차값을 이용하여 시차 맵을 형성하는 단계를 더 포함한다.
한편, 상기 검출된 이미지 객체의 픽셀 중 인접 픽셀 사이의 시차값을 비교하여 모든 방향에서 기결정된 차이값을 벗어나는 픽셀의 시차를 보정하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 고정된 시차 범위로 도로상에 더 넓은 거리범위를 나타낼 수 있고, 수평면에 대해 보다 차별적인 정합 비용으로 생산이 가능하며, 시차영상은 거리영상으로 변환 및 활용이 가능하며, 시차영상으로부터 직접적으로 객체영상을 획득할 수 있는 효과를 제공한다.
도 1은 스테레오 카메라의 영상평면을 기준으로 한 스테레오 시차 정합 알고리즘을 설명하기 위한 도면,
도 2는 본 발명에 따른 스테레오 카메라의 지면 기반으로 한 스테레오 시차 정합 알고리즘의 효과를 설명하기 위한 도면,
도 3은 본 발명에 따른 지면 기반 스테레오 시차 정합을 이용한 객체 추출 장치를 설명하기 위한 블럭도,
도 4는 본 발명에 따른 지면 기반 스테레오 시차 정합을 위한 호모그래피(homography)를 설명하기 위한 도면,
도 5는 본 발명에 따른, 좌측 영상과 호모그라피가 적용된 우측 영상이 겹쳐진 영상을 나타내는 도면,
도 6은 본 발명에 따른, 지면 기반 스테레오 시차 정합을 이용한 객체 추출 방법을 설명하기 위한 흐름도,
도 7은 본 발명에 따른, 지면 기반 스테레오 시차 정합 과정을 설명하기 위한 도면,
도 8은 본 발명에 따른 시차 맵을 개선하기 위해서, 지면 제약을 위반하는 불량 픽셀이 제거되는 과정을 설명하기 위한 도면,
도 9는 본 발명에 따른 지면 시차 맵과 이를 변환한 시차맵을 나타내는 도면,
도 10 내지 11은 본 발명에 따른 다양한 물체를 갖는 지면 장면과 이에 대응하는 시차맵을 나타내는 도면,
도 12는 본 발명에 따라 지면 시차 맵을 이용하여 물체를 검출하는 것을 설명하기 위한 도면이다.
본 발명의 일 실시예들이 상세하게 설명되고, 그것의 예시적인 것은 첨부된 도면과 함께 설명된다. 여기서 동일하거나 유사한 식별번호는 도면 전체에서 동일하거나 유사한 구성요소를 지시한다. 실시예들은 본 발명을 설명하기 위해서 도면과 함께 참고적으로 설명된다.
도 2는 본 발명에 따른 스테레오 카메라의 지면 기반으로 한 스테레오 시차 정합 알고리즘을 설명하기 위한 도면이다.
도 2를 참고하면, 스테레오 카메라를 장착한 자동차는 도 1에 도시된 스테레오 카메라보다 더 넓은 시차 범위, 즉 넓은 거리 범위에 존재하는 자동차에 대한 시차값을 획득할 수 있음을 확인할 수 있다.
스테레오 정합을 통하여 얻어지는 시차영상(disparity image)은 일반적으로 카메라의 영상평면에 평행한 가상의 평면을 시차영상의 기준면(시차가 0인 평면)으로 하여 획득될 수 있다. 평행한 두 대의 카메라에서는 시차가 0인 평면이 무한대에 위치하게 된다. 영상의 지면을 기준면으로 시차영상을 획득할 경우 실제 지면에 대해 획득된 화소의 경우, 작은 값, 즉 0에 가까운 시차를 가지게 된다. 이 경우에 카메라로부터 동일한 거리의 물체의 경우, 바닥면에 대한 높이에 따라 시차가 증가하며 같은 높이의 물체인 경우 카메라에 가까울수록 큰 시차를 가지게 된다.
도 3는 본 발명에 따른 지면 기반 스테레오 시차 정합을 이용한 객체 검출 장치를 설명하기 위한 블럭도이다.
도 3을 참고하면, 이미지 객체 검출 장치는, 촬상부(310), 호모그라피 연산부(420), 정합비용 연산부(330), 집계부(340) 및 시차값 결정부(350)를 포함한다.
촬상부(310)는 특정 장면(scene)에 대해서 좌측 카메라 및 우측 카메라등 적어도 2개 이상의 카메라를 이용하여 스테레오 이미지를 촬상할 수 있다. 촬상부(310)는 2개의 CCD 카메라로 구현될 수 있고, 예를 들어 6mm C-마운트 렌즈와 200mm 수평 리그(rig)를 갖는 스테레오 카메라 시스템으로 구현될 수 있다.
호모그라피 연산부(320)는 우측 이미지의 평면과 좌측 이미지의 평면 사이의 호모그라피를 연산할 수 있다. 이를 위해서 도 4를 참고하여 살펴본다.
도 4는 본 발명에 따른 지면 기반 스테레오 시차 정합을 위한 호모그래피(homography)를 설명하기 위한 도면이다.
도 4를 참고하면, 지면(ground plane ; ΠG)에서 좌측 카메라 영상 평면(ΠL) 사이의 호모그라피는 HGL로 정의될 수 있다. 또한, 우측 카메라 영상 평면(ΠR)에서 지면 사이의 호모그라피는 HRG로 정의될 수 있다. 우측 카메라 영상 평면(ΠR)에서 좌측 카메라 영상 평면(ΠL) 사이의 호모그라피는 HRGL로 정의될 수 있다.
호모그라피(HRGL)는 다음의 수학식 1과 같이 나타낼 수 있다.
Figure 112011100927599-pat00007
여기서 HRG는 우측 카메라 영상 평면(ΠR)에서 지면(ΠG)까지의 호모그래피이고, HGL은 지면(ground plane ; ΠG)에서 좌측 카메라 영상 평면(ΠL)까지의 호모그래피이다. 스테레오 영상에서의 지면에 대한 호모그라피(HRGL)는 수학식 1처럼 각 영상평면과 지면사이의 호모그라피(HRG , HGL)를 곱한 단일 행렬로 표현할 수 있다. 실제 호모그라피의 연산의 경우 두 영상의 지면영역에 대한 픽셀 대응관계를 활용하여 지면 호모그라피를 획득한다.
정합비용 연산부(330)는 좌측 또는 우측 이미지들의 특정 픽셀 및 특정 픽셀의 호모그라피 및 시차값이 적용된 위치의 상대 영상의 픽셀의 강도값(intensity value)을 이용하여 정합비용(matching cost)을 연산할 수 있다.
정합비용 연산부(330)는 좌측 또는 우측 이미지들의 특정 픽셀 및 특정 픽셀의 호모그라피의 강도값(intensity value) 및 시차값을 이용하여 정합비용(matching cost)을 연산할 수 있다.
이를 보다 구체적으로 살펴보면, 지면 기준의 시차(d)에 대한 특정 화소(p)의 정합비용(matcing cost ;C)는 호모그라피(H)를 활용하여 다음의 수학식 2와 같이 표현할 수 있다.
Figure 112011100927599-pat00008
여기서, IL과 IR 은 스테레오 영상을 의미한다. 단일화소의 정합비용으로 시차를 결정하는 경우에 영상의 가려짐(occlusion), 호모그라피에 의한 와핑(warping), 노이즈(noise) 등의 요인으로 인해 오차가 큰 시차가 선택될 수 있다.
집계부(440)는 복수의 방향(r)에 따라 정합비용을 집계하여 집계비용을 산출할 수 있다. 상술한 오류를 감소시키기 위해서 반광역 최적화 기법인 SGM(Semi-grobal matching)과 유사하게 영상의 여러 방향을 따라서 정합비용을 연산한다. 본 발명의 일 실시예에 따르면, 4개 방향의 비용집계를 수행할 수 있다. 영상의 각 방향에 대해서는 영상 밝기의 차가 작은 경우 시차가 연속적인 값을 가지는 것이 바람직하다. 방향(r)에 대한 정합비용의 집계 Lr 는 다음의 수학식 3에 의해서 결정될 수 있다.
Figure 112011100927599-pat00009
여기서 Lr(p,d)는 픽셀(p)과 시차(d)의 합계 정합비용(aggregated matching cost)이다. p-1은 집계방향에 대한 이전 화소를 나타내고, P1과 P2는 작은 시차변화(±1)에 대한 추가비용, 큰 시차변화(1 ＜)에 대한 추가비용이다. P2 는 P1 과 P2 사이의 픽셀 값의 차이에 따라 적응적으로 결정된다.
외부 환경에서, 다른 노출, 움직임으로 인한 흐려짐(motion blur), 가려짐(occlusion), 비동기적 획득(asynchronous acquisition)과 같은 다양한 이유로 정합오류가 발생할 수 있다.
시차값 결정부(350)는 집계비용의 합이 최소값을 갖는 경우의 시차값을 최종 시차값으로 결정할 수 있다. 최적화 시차는 모든 방향에 대한 합계 비용의 가장 작은 합계를 갖는 시차를 최종 시차로 결정한다. 초기 시차 맵이 연산된 후에, 플리킹 노이즈를 제거하기 위해서 중간값 필터(median filter)가 적용된다. 그 다음 단계로, 지면 가정에 적합하지 않는 시차값의 패턴을 필터한다. 그 규칙은 특정 픽셀이 ε보다 작은 값이면 픽셀은 지면의 픽셀로 받아들여 질 수 있다. 시차 값이 ε보다 크다면, 지면의 픽셀과 연결되는 어떤 이웃하는 픽셀이 존재해야 한다.
이러한 규칙은 다음의 수학식 4와 같이 표현될 수 있다.
Figure 112011100927599-pat00010
여기서 D(p)는 픽셀(p)의 결정된 시차이고, Np 는 반경(r) 내에 체류하지 않는 이웃 픽셀과 시차 값의 허용가능한 값(t)의 세트이다. 수학식 4는 재귀적인 형태로 표현되지만, 연산적인 효율을 위해서 영상 전체의 복수 스캐닝을 통해 실행할 수 있다. 얻어진 시차 맵은 수학식 2의 호모그라피 관계에 역으로 적용가능함으로써 수직평면 기반의 시차 맵으로 변환될 수 있다. 다른 한편으로 물체 경계의 시차 값의 불연속성을 통해 구분되는 요소들을 찾음으로써 객체 검출에 직접 사용될 수 있다.
2개의 CCD 카메라를 갖는 스테레오 카메라 시스템으로 구성된다. 스테레오 카메라 시스템을 이용하여 스테레오 비디오 및 외부에서 움직이는 자동차의 시차 맵을 얻는다. 입력 데이터의 해상도는 640×480의 해상도를 가지며, 각 측면의 20 픽셀 경계는 버려진다.
먼저, 스테레오 정합 기반 수직 평면의 것과 지면 스테레오의 시차 맵을 비교한다. 본 발명의 일 실시예에서, 지면 호모그라피는 지면의 픽셀의 대응관계를 수동으로 할당하여 얻어진다. 추가비용 파라미터(P1 및 P2)는 최적의 시차 맵을 생성하기 위해서 실험적으로 조정될 수 있다.
이미지 객체 검출부(360)는 이미지를 구성하는 픽셀의 시차값이 기결정된 값, 예를 들어 지면을 구성하는 픽셀의 경우에 시차값이 작은 값을 갖는데, 바람직하게는 0에 가까운 값을 갖게 된다. 반면에 지면 위에 존재하는 물체의 경우에는 5보다 더 큰 값을 갖는다. 이렇게 기 결정된 값은 5로 정할 수 있겠지만 이미지의 특성에 따라 그 값은 변경가능하다.
즉, 각 픽셀의 시차값이 기 결정된 값(예를 들어, 5)보다 작은 시차값을 갖는 픽셀은 제외되고, 5이상의 시차값을 갖는 픽셀을 이미지 객체를 구성하는 픽셀로 검출한다.
도 5는 본 발명에 따른, 좌측 영상과 호모그라피가 적용된 우측 영상이 겹쳐진 영상을 나타내는 도면이다.
도 5를 참고하면, 본 발명에 따른 지면가정에 따르는 개선의 결과를 예시적으로 도시하고 있다. 즉, 좌측 이미지 평면에 지면영역에 대한 우측 이미지 평면의 대응관계를 통해 지면 호모그라피를 연산하고, 이렇게 연산된 호모그라피를 우측 이미지에 적용한다. 이렇게 호모그라피가 적용된 우측 이미지와 좌측 이미지를 겹쳐서 비교하면, 좌측 이미지와 우측 이미지 사이에서 지면의 이미지는 일치하나 높이를 가진 객체 영역은 불치하고 있음을 확인할 수 있다.
도 6은 본 발명에 따른, 지면 기반 스테레오 시차 정합을 이용한 객체 추출 방법을 설명하기 위한 흐름도이다.
도 6을 참고하면, 이미지 촬상 단계(S610), 호모그라피 연산 단계(S620), 정합비용 연산 단계(S630), 집계비용 산출 단계(S640), 최종 시차값 결정 단계(S650) 및 이미지 객체 검출 단계(S660)를 포함한다.
이미지 촬상 단계(S610)는, 2개 이상의 CCD 카메라를 이용하되, 좌측 카메라를 통해서 특정 장면에 대하여 좌측 이미지를 촬상하고, 우측 카메라를 이용하여 동일한 장면에 대한 우측 이미지를 촬상하는 단계이다. 이때 좌측 이미지와 우측 이미지는 동시에 촬상되어야 한다.
호모그라피 연산 단계(S620)는, 좌측 이미지 평면과 이미지의 지면 픽셀과 우측 이미지 평면과 이미지의 지면 픽셀 사이의 대응관계를 사용하여 지면 호모그라피를 연산하는 단계이다.
정합비용 연산 단계(S630)는, 상기 스테레오 이미지들의 특정 픽셀 및 상기 특정 픽셀의 상기 호모그라피가 적용된 위치의 픽셀의 강도값(intensity value) 및 시차범위를 이용하여 상술한 수학식 2에 따라 정합비용(matching cost)을 연산하는 단계이다.
집계비용 산출 단계(S640)는 복수의 방향에 따라 정합비용을 집계하여 상술한 수학식 3에 따라 집계비용을 산출한다.
최종 시차값 결정 단계(S650)는 집계비용의 합이 최소값을 갖는 경우의 시차값을 최종 시차값으로 결정한다.
이미지 객체 검출 단계(S660)는 이미지를 구성하는 픽셀의 시차값이 기결정된 값, 예를 들어 지면을 구성하는 픽셀의 경우에 시차값이 작은 값을 갖는데, 바람직하게는 0에 가까운 값을 갖게 된다. 반면에 지면위에 존재하는 물체의 경우에는 5보다 더 큰 값을 갖는다. 이렇게 기 결정된 값은 5로 정할 수 있겠지만 이미지의 특성에 따라 그 값은 변경가능하다.
즉, 각 픽셀의 시차값이 기 결정된 값(예를 들어, 5)보다 작은 시차값을 갖는 픽셀은 제외되고, 5이상의 시차값을 갖는 픽셀을 이미지 객체를 구성하는 픽셀로 검출한다.
도 7은 본 발명에 따른, 지면 기반 스테레오 시차 정합 과정을 예시적으로 설명하기 위한 도면이다.
도 7을 참고하면, 촬상부(310)에 의해서 좌측 이미지를 촬상한다(도 7의 첫번째 좌측 도면 참고). 촬상된 이미지는 도로상에 자동차가 지나고 있는 장면을 촬상한 것이다. 이미지의 지면(도로)을 기반으로 하여 스테레오 정합을 수행한다. 이때 32-레벨의 시차범위로 스테레오 시차 정합을 수행한다(도 7의 두번째 좌측 도면 참고). 시차 정합된 이미지는 지면 영역의 시차값은 낮은 값을 갖고, 검은색으로 표시된다. 자동차 및 도로상의 물체는 시차값이 큰 값은 갖고, 흰색으로 표시된다. 지면 호모그라피를 활용하여 정합된 시차영상은 기존의 수직 평면의 정합비용에 SGM 기법을 적용한 시차영상에 비해 같은 32-레벨의 시차범위로 더 넓은 거리범위를 표현할 수 있다. (도 7의 세 번째, 네 번째 좌측 도면 참고).
도 8은 본 발명에 따른 시차 맵을 개선하기 위해서, 지면 제약을 위반하는 불량 픽셀이 제거되는 과정을 설명하기 위한 도면이다.
도 8을 참고하면, 촬상부(310)에 의해서 좌측 이미지를 촬상한다(도 8의 좌측 첫번째 도면 참고). 촬상된 이미지를 지면 기반으로 하여 스테레오 시차 정합을 수행하면, 지면에 대해서는 시차값이 낮은 검은색으로 표현된다(도 8의 좌측 두번째 도면 참고). 스테레오 시차 정합된 시차 맵에 대해서 중간값 필터를 적용하여 불량 픽셀을 제거할 수 있다. 이때 검은색으로 표현된 지면에서 주변의 연속적인 변화없이 독립적으로 흰색으로 표현된 부분은 불량 픽셀에 해당한다. 이러한 불량 픽셀에 대해서 중간값 필터를 적용하여 제거할 수 있다.
초기 시차 맵과 비교하면 불량 픽셀이 감소하였지만 여전히 불량 픽셀(도면의 아랫부분의 흰색 점(spot))이 존재하고 있음을 확인할 수 있다(도 8의 좌측에서 세번째 도면 참고). 중간값 필터에 의해서 일부 불량 픽셀이 제거된 시차 맵에 대하여 상술한 수학식 4를 적용하여 연속값을 갖지 않는 픽셀을 시차 맵에서 제거할 수 있다. 즉, 지면 영역(검은색으로 표현된 부분)의 픽셀값과 비교하여 연속값을 갖지 않는 픽셀(검은색 영역에서 흰색으로 표현된 영역)은 지면(검은색으로 표현)으로부터 대부분 제거됨으로서 불량 픽셀을 대부분 제거할 수 있다(도 8의 좌측에서 네번째 도면 참고). 따라서, 본 발명에 따른 이미지 검출 장치는, 검출된 이미지 객체의 픽셀 중 인정할 픽셀 사이의 시차값을 비교하여 복수의 방향에서 기결정된 차이값을 벗어나는 픽셀의 시차값을 보정할 수 있다. 이미지 검출 장치는 픽셀의 시차값을 보정하는 보정부를 별도로 포함할 수도 있고, 이미지 객체 검출부에서 이러한 기능을 통합적으로 수행할 수도 있다.
또한, 이러한 픽셀의 시차값 보정은 하드웨어 적인 방법으로도 구현될 수도 있겠으나, 소프트웨어 적인 방법으로도 구현될 수 있겠다.
따라서, 본 발명에 따른 이미지 객체 검출 장치는, 원 거리 범위의 물체에 대한 시차 정합도 가능하며, 지면 가정에 따라 오류를 제거함으로써 이미지에 포함된 객체를 보다 효과적으로 검출할 수 있다.
도 9는 본 발명에 따른 지면 시차 맵과 이를 변환한 시차맵을 나타내는 도면이다.
도 9를 참고하면, 지면 시차 맵은 지면에 대해서는 검은색으로 표현되고, 지면 상에 존재하는 물체에 대해서는 명도가 높은 색으로 표현될 수 있다(도 9의 윗쪽 도면 참고). 지면 기반의 스테레오 시차 정합된 시차 맵을 기존의 영상평면에 평행한 수직 평면 기반의 시차영상으로 변환하면 도 9의 아랫쪽 도면과 같이 변환된다. 도 9의 아랫쪽 도면에서 밝은 부분은 카메라에서 가깝고 어두운 영역은 먼 거리를 나타낸다.
도 10 내지 11는 본 발명에 따른 다양한 물체를 갖는 지면 장면과 이에 대응하는 지면기반 시차맵 및 같은 시차범위를 사용하여 얻어진 기존의 수직평면 기반의 시차맵을 나타내는 도면이다.
도 10를 참고하면, 도로상에서 자동차가 움직이는 장면에 대한 이미지이다.(도 10의 좌측 첫번째 도면 참고). 좌측 첫번째 도면의 이미지에 지면 기반 스테레오 시차 정합을 수행하면, 도로는 명도가 낮은 검은색으로 표현되고, 자동차는 명도가 높은 흰색으로 표현될 수 있다(도 10의 좌측 두번째 도면 참고). 같은 범위의 시차범위를 활용하여 기존의 수직평면 기반의 시차맵을 획득하면 영상 전체의 시차를 잘 표현하지 못하고 오류가 발생하는 것을 확인할 수 있다.(도 10의 좌측 세번째 도면 참고).
도 11를 참고하면, 지면은 횡단보도이고, 횡단보도 상에 사람들이 이동하고 있는 장면에 대한 이미지이다(도 11의 좌측 첫번째 도면 참고). 좌측 첫번째 도면의 이미지에 지면(횡단보도)을 기반으로 하여 스테레오 시차 정합을 수행하면 횡단보도는 명도가 낮은 검은색으로 표현하고, 사람들은 명도가 높은 흰색으로 표현하게 된다(도 11의 좌측 두번째 도면 참고). 같은 범위의 시차범위를 활용하여 기존의 수직평면 기반의 시차맵을 획득하면 영상 전체의 시차를 잘 표현하지 못하고 오류가 발생하는 것을 확인할 수 있다 (도 11의 좌측 세번째 도면 참고).
도 12은 본 발명에 따라 지면 시차 맵을 이용하여 물체를 검출하는 것을 설명하기 위한 도면이다.
도 12을 참고하면, 도 10의 좌측 첫번째 도면의 이미지에서 물체를 검출하기 위하여, 먼저 시차 정합을 수행하고, 지면에 해당하는 시차값이 낮은 영역을 제거하고 기존의 시차영상으로 변환하여 시차가 낮은(원거리) 영역을 제거한다. (도 12의 상부 도면 참고).
물체가 검출된 이미지와 원래의 이미지를 서로 겹쳐서 도시함으로써, 본 발명에 따라 이미지로부터 물체를 검출하는 것을 원래 이미지와 비교할 수 있다(도 12의 하부 도면 참고).
비록 본 발명의 예시적인 실시예 및 적용예가 도시되고 설명되었더라도, 본 발명의 기술적 사상의 범위를 벗어나지 않는 범위에서 많은 변화 및 수정이 가능하고, 이러한 변형은 본 발명이 속하는 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있다. 따라서, 설명된 실시예는 예시적이지 제한적인 것이 아니며, 본 발명은 첨부된 상세한 설명에 의해서 제한되는 것이 아니지만 청구항의 기술적 범위 내에서 수정가능하다.
310 : 촬상부 320 : 호모그라피 연산부
330 : 정합비용 연산부 340 : 집계부
350 : 시차값 결정부

Claims (12)

  1. 이미지 객체 검출 장치에 있어서,
    스테레오 이미지를 촬상하는 촬상부;
    상기 스테레오 이미지 사이의 호모그라피(homography)를 연산하는 호모그라피 연산부;
    상기 스테레오 이미지를 구성하는 복수의 픽셀의 밝기값을 이용하여 정합비용(matching cost)을 연산하는 정합비용 연산부;
    상기 정합비용을 이용하여 집계비용을 산출하는 집계부;
    상기 집계비용을 합산하여 최소값을 갖는 시차값을 해당 픽셀의 최종 시차값으로 결정하는 시차값 결정부; 및
    기결정된 기준값보다 큰 시차값을 갖는 픽셀을 포함하는 이미지 객체를 검출하는 이미지 객체 검출부;를 포함하는 것을 특징으로 하는 이미지 객체 검출 장치.
  2. 제1항에 있어서,
    상기 호모그라피는,
    Figure 112013047869765-pat00011

    (여기서, HGL 은 제1 이미지와 지면 사이의 호모그라피, HRG 는 제2 이미지와 상기 지면 사이의 호모그라피)
    에 의하여 표현되며, 상기 제1 이미지와 상기 제2 이미지의 지면영역의 대응관계를 사용하여 연산되는 것을 특징으로 하는 이미지 객체 검출 장치.
  3. 제1항에 있어서,
    상기 정합비용은,
    Figure 112011100927599-pat00012

    (여기서, 상기 IL은 제1 스테레오 이미지 밝기, IR 은 제2 스테레오 이미지 밝기, p는 특정 픽셀, d는 시차범위 안의 특정 시차값)
    에 의하여 연산되는 것을 특징으로 하는 이미지 객체 검출 장치.
  4. 제1항에 있어서,
    상기 집계비용은,
    Figure 112011100927599-pat00013

    (여기서, p-1 은 픽셀 P의 이전 픽셀, P1 는 작은 시차 변화를 위한 보상비용, P2 는 큰 시차 변화를 위한 보상비용)
    에 의하여 연산되는 것을 특징으로 하는 이미지 객체 검출 장치.
  5. 제1항에 있어서,
    상기 검출된 이미지 객체의 픽셀에 중간값 필터(median filter)를 적용하여, 상기 픽셀을 보정하는 보정부;를 더 포함하는 것을 특징으로 하는 이미지 객체 검출 장치.
  6. 제1항에 있어서,
    상기 검출된 이미지 객체의 픽셀 중 인접 픽셀의 시차값을 비교하여 복수의 방향에 대하여 기결정된 차이값보다 큰 값을 갖는 픽셀의 시차값을 보정하는 보정부;를 더 포함하는 이미지 객체 검출 장치.
  7. 이미지 객체 검출 방법에 있어서,
    스테레오 이미지를 촬상하는 단계;
    상기 스테레오 이미지 사이의 호모그라피(homography)를 연산하는 호모그라피 연산하는 단계;
    상기 스테레오 이미지를 구성하는 복수의 픽셀의 밝기값을 이용하여 정합비용(matching cost)을 연산하는 정합비용 연산단계;
    상기 정합비용을 이용하여 집계비용을 산출하는 집계비용 산출단계;
    상기 집계비용을 합산하여 최소값을 갖는 시차값을 해당 픽셀의 최종 시차값으로 결정하는 시차값 결정 단계; 및
    기결정된 기준값보다 큰 시차값을 갖는 픽셀을 포함하는 이미지 객체를 검출하는 이미지 객체 검출 단계;를 포함하는 것을 특징으로 하는 이미지 객체 검출 방법.
  8. 제7항에 있어서,
    상기 호모그라피는,
    Figure 112013047869765-pat00014

    (여기서, HGL 은 제1 이미지와 지면 사이의 호모그라피, HRG 는 제2 이미지와 상기 지면 사이의 호모그라피)
    에 의하여 표현되며 상기 제1 이미지와 상기 제2 이미지의 지면영역의 대응관계를 사용하여 연산되는 것을 특징으로 하는 이미지 객체 검출 방법.
  9. 제7항에 있어서,
    상기 정합비용은,
    Figure 112011100927599-pat00015

    (여기서, 상기 IL은 제1 스테레오 이미지, IR 은 제2 스테레오 이미지, p는 특정 픽셀, d는 시차값)
    에 의하여 연산되는 것을 특징으로 하는 이미지 객체 검출 방법.
  10. 제7항에 있어서,
    상기 집계비용은,
    Figure 112011100927599-pat00016

    (여기서, p-1 은 픽셀 P 이전 픽셀, P1 는 작은 시차 변화를 위한 보상비용, P2 는 큰 시차 변화를 위한 보상비용)
    에 의하여 연산되는 것을 특징으로 하는 이미지 객체 검출 방법.
  11. 제7항에 있어서,
    상기 검출된 이미지 객체의 픽셀에 중간값 필터(median filter)를 적용하여, 상기 픽셀을 보정하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 객체 검출 방법.
  12. 제7항에 있어서,
    상기 검출된 이미지 객체의 픽셀 중 인접 픽셀의 시차값을 비교하여 복수의 방향에 대하여 기결정된 차이값보다 큰 차이값을 갖는 픽셀의 시차값을 보정하는 단계;를 더 포함하는 이미지 객체 검출 방법.
KR1020110137544A 2011-12-19 2011-12-19 이미지 객체 검출 장치 및 그 방법 KR101317839B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110137544A KR101317839B1 (ko) 2011-12-19 2011-12-19 이미지 객체 검출 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110137544A KR101317839B1 (ko) 2011-12-19 2011-12-19 이미지 객체 검출 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130070299A KR20130070299A (ko) 2013-06-27
KR101317839B1 true KR101317839B1 (ko) 2013-10-15

Family

ID=48865135

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110137544A KR101317839B1 (ko) 2011-12-19 2011-12-19 이미지 객체 검출 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101317839B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101673144B1 (ko) * 2014-10-28 2016-11-07 한국기계연구원 부분 선형화 기반의 3차원 영상 정합 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003303337A (ja) 2002-04-12 2003-10-24 Fuji Heavy Ind Ltd 画像補正装置および画像補正方法
KR100933304B1 (ko) 2007-08-30 2009-12-22 중앙대학교 산학협력단 단일 카메라를 이용한 객체 정보 추정기, 그 방법, 상기 추정기를 포함하는 멀티미디어 기기 및 컴퓨터 기기, 및 상기 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
KR20100068751A (ko) * 2008-12-15 2010-06-24 재단법인대구경북과학기술원 영상 정합 방법 및 장치와 그를 이용한 객체 검출 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003303337A (ja) 2002-04-12 2003-10-24 Fuji Heavy Ind Ltd 画像補正装置および画像補正方法
KR100933304B1 (ko) 2007-08-30 2009-12-22 중앙대학교 산학협력단 단일 카메라를 이용한 객체 정보 추정기, 그 방법, 상기 추정기를 포함하는 멀티미디어 기기 및 컴퓨터 기기, 및 상기 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
KR20100068751A (ko) * 2008-12-15 2010-06-24 재단법인대구경북과학기술원 영상 정합 방법 및 장치와 그를 이용한 객체 검출 장치

Also Published As

Publication number Publication date
KR20130070299A (ko) 2013-06-27

Similar Documents

Publication Publication Date Title
US11170466B2 (en) Dense structure from motion
JP3868876B2 (ja) 障害物検出装置及び方法
US9378553B2 (en) Stereo image processing device for vehicle
JP4956452B2 (ja) 車両用環境認識装置
KR101417571B1 (ko) 물체 식별 장치
JP3759429B2 (ja) 障害物検出装置及びその方法
KR101285106B1 (ko) 영상 데이터 융합 기반의 장애물체 검출 방법 및 장치
JP4872769B2 (ja) 路面判別装置および路面判別方法
JP6544257B2 (ja) 情報処理システム、情報処理方法及び情報処理プログラム
CN103366155B (zh) 通畅路径检测中的时间相干性
JP4032843B2 (ja) 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法
JP2013250907A (ja) 視差算出装置、視差算出方法及び視差算出用プログラム
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
JP6956051B2 (ja) 画像処理装置、運転支援システム、画像処理方法及びプログラム
CN112261390B (zh) 车载摄像设备及其图像优化装置和优化方法
JP5501084B2 (ja) 平面領域検出装置及びステレオカメラシステム
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
KR100508763B1 (ko) 스테레오 비전을 이용한 자동차 번호판 추출 및 인식시스템 및 그 방법
JP2018085059A (ja) 情報処理装置、撮像装置、機器制御システム、情報処理方法およびプログラム
US20200193184A1 (en) Image processing device and image processing method
Garro et al. A novel interpolation scheme for range data with side information
JP6701905B2 (ja) 検出装置、視差値導出装置、物体認識装置、機器制御システム、およびプログラム
KR101317839B1 (ko) 이미지 객체 검출 장치 및 그 방법
JP5587852B2 (ja) 画像処理装置及び画像処理方法
JP4754434B2 (ja) 路面推定装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170922

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180920

Year of fee payment: 6