KR101999797B1 - 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법 - Google Patents

헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법 Download PDF

Info

Publication number
KR101999797B1
KR101999797B1 KR1020180004856A KR20180004856A KR101999797B1 KR 101999797 B1 KR101999797 B1 KR 101999797B1 KR 1020180004856 A KR1020180004856 A KR 1020180004856A KR 20180004856 A KR20180004856 A KR 20180004856A KR 101999797 B1 KR101999797 B1 KR 101999797B1
Authority
KR
South Korea
Prior art keywords
feature point
feature
feature points
clusters
stereo camera
Prior art date
Application number
KR1020180004856A
Other languages
English (en)
Inventor
김형원
권용현
홍병선
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020180004856A priority Critical patent/KR101999797B1/ko
Application granted granted Critical
Publication of KR101999797B1 publication Critical patent/KR101999797B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/46—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법에 관한 것으로서, 스테레오 카메라에서 획득된 두 개의 영상의 각각에서 영상의 명암값 변화에 의해 각 객체를 구성하는 특징점들을 추출하는 특징점 추출부, 상기 특징점 추출부에서 추출된 다수의 근접 특징점의 각 특징점에서 일정 범위 안에 있는 특징점들을 하나의 클러스터로 군집화하는 클러스터링부 및 상기 클러스터링부에서 군집화된 각각의 상기 클러스터들을 상기 스테레오 카메라의 상기 두 개의 양안 영상에서 서로 비교하여 최적의 매치를 찾아 서로 공유하는 동일한 객체를 검출하는 매칭부를 포함한다.

Description

헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법{STEREO IMAGE FEATURE MATCHING SYSTEM AND METHOD BASED ON HARRIS CORNER VECTOR CLUSTERING ALGORITHM}
본 발명은 스테레오 영상 특징점 매칭 시스템 및 방법에 관한 것으로, 더욱 상세하게는 스테레오 카메라에서 획득된 양안 영상에서 동일한 객체를 검출하는 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법에 관한 것이다.
최근 자율 주행차와 스마트 자동차 수요의 증가에 따라 객체 검출 및 인식 기술들에 많은 관심이 집중되고 있다. 스테레오 카메라는 이러한 스마트 자동차가 도로상의 객체들을 인식하기 위해 많이 사용되는 주요 센서 중의 하나이다.
영상 센서는 다양한 어플리케이션에서 데이터 획득을 위해 많이 활용되고 있으며, IoT, 보안 장비, 및 자율 주행차용 센서 등에 점차 많이 적용되고 있다. 특히 스마트 자동차의 주변 환경 인식용 센서로서 스테레오 카메라는 객체 인식 및 거리 측정 등 매우 중요한 기능을 제공할 수 있다.
위에 설명한 주제에 대해서 많은 연구들이 진행되고 있는 가운데, 본 발명에서는 헤리스 코너 검출기를 이용해 동일한 객체를 찾는 기술을 제시한다.
대한민국 등록특허공보 제10-0762670호(등록일자 2007.09.20) 대한민국 공개특허공보 제10-2014-0120527호(공개일자 2014.10.14)
따라서, 본 발명은 상기한 발명의 배경이 되는 기술을 개선하기 위해 이루어진 것으로서, 본 발명의 목적은 스테레오 카메라에서 획득된 두 영상에서 고속의 특징점 추출, 다수의 근접 특징점들의 상호 구조적 특성을 이용한 클러스터 형성 및 고성능의 특징점 매칭을 통해 동일한 객체를 인식하는 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법을 제공하는데 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템은, 스테레오 카메라에서 획득된 두 개의 영상의 각각에서 영상의 명암값 변화에 의해 각 객체를 구성하는 특징점들을 추출하는 특징점 추출부, 상기 특징점 추출부에서 추출된 다수의 근접 특징점의 각 특징점에서 일정 범위 안에 있는 특징점들을 하나의 클러스터로 군집화하는 클러스터링부 및 상기 클러스터링부에서 군집화된 각각의 상기 클러스터들을 상기 스테레오 카메라의 상기 두 개의 양안 영상에서 서로 비교하여 최적의 매치를 찾아 서로 공유하는 동일한 객체를 검출하는 매칭부를 포함한다.
상기 시스템에서 상기 특징점 추출부는 상기 스테레오 카메라에서 획득된 영상에 윈도우를 씌워 상기 윈도우를 시프트시켰을 때 상기 윈도우에 해당하는 영상의 명암값 변화가 얼마나 크고 작은지에 대해 판단하고, 상기 윈도우를 전방향으로 시프트시켰을 시에 변화량이 큰 부분을 상기 특징점으로 추출한다.
상기 시스템에서 상기 클러스터링부는 상기 특징점 추출부에서 추출된 각 특징점마다, 다수의 근접 특징점의 상호 구조적 특성을 이용하여 추출된 각 특징점을 시점으로 그리고 그 주위의 근접 특징점들을 종점으로 상기 그 주위의 근접 특징점들과의 특징 벡터들을 생성하고, 인접한 다수의 특징점 벡터로 구성된 클러스터들을 형성한다.
상기 시스템에서 상기 매칭부는 각각의 상기 클러스터들 내 특징점들 간의 평균 거리와 평균 각도를 기준으로 상기 스테레오 카메라의 상기 두 개의 양안 영상에서 서로 비교하여 최적의 매치를 찾아 서로 공유하는 동일한 객체를 검출한다.
상기 시스템에서 상기 평균 거리는 상기 클러스터 내 어느 하나의 중심 특징점과 나머지 각각의 특징점들의 거리들을 평균한 값이고, 상기 평균 각도는 상기 중심 특징점을 원점으로 상기 중심 특징점을 지나는 수평선과 상기 각각의 특징점들 간의 각도들을 평균한 값이다.
상기 시스템에서 상기 매칭부는 상기 스테레오 카메라의 상기 두 개의 양안 영상의 각 클러스터들 간의 상기 평균 거리와 상기 평균 각도를 비교하여 그 차이가 소정의 오차값 보다 작은 클러스터 쌍들을 매치로 판정한다.
한편, 본 발명의 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 방법은, 스테레오 카메라에서 획득된 두 개의 영상의 각각에서 영상의 명암값 변화에 의해 각 객체를 구성하는 특징점들을 추출하는 단계, 추출된 다수의 근접 특징점의 각 특징점에서 일정 범위 안에 있는 특징점들을 하나의 클러스터로 군집화하는 단계 및 군집화된 각각의 상기 클러스터들을 상기 스테레오 카메라의 상기 두 개의 양안 영상에서 서로 비교하여 최적의 매치를 찾아 서로 공유하는 동일한 객체를 검출하는 단계를 포함한다.
상기 방법에서 상기 특징점들을 추출하는 단계는: 상기 스테레오 카메라에서 획득된 영상에 윈도우를 씌워 상기 윈도우를 전방향으로 시프트시키는 단계, 상기 시프트시키는 단계를 통해 상기 윈도우에 해당하는 영상의 명암값 변화량을 판단하는 단계 및 상기 명암값 변화량이 전방향에 대해 소정의 임계값보다 큰 부분을 상기 특징으로 추출하는 단계를 포함한다.
상기 방법에서 상기 군집화하는 단계는: 추출된 각 특징점마다, 다수의 근접 특징점의 각 특징점을 시점으로 그리고 그 주위의 근접 특징점들을 종점으로 상기 그 주위의 근접 특징점들과의 특징 벡터들을 생성하는 단계 및 상기 특징 벡터들의 크기가 소정의 크기보다 작은 인접한 다수의 특징점 벡터를 하나의 클러스터로 군집화하는 단계를 포함한다.
상기 방법에서 상기 동일한 객체를 검출하는 단계는: 각각의 상기 클러스터들 내 특징점들 간의 평균 거리 및 평균 각도를 계산하는 단계 및 상기 스테레오 카메라의 상기 두 개의 양안 영상에서 상기 평균 거리 및 상기 평균 각도를 기준으로 서로 매칭되는 클러스터들을 찾아 서로 공유하는 동일한 객체를 검출하는 단계를 포함한다.
상기 방법에서 상기 평균 거리는 상기 클러스터 내 어느 하나의 중심 특징점과 나머지 각각의 특징점들의 거리들을 평균한 값이고, 상기 평균 각도는 상기 중심 특징점을 원점으로 상기 중심 특징점을 지나는 수평선과 상기 각각의 특징점들 간의 각도들을 평균한 값이다.
상기 방법에서 상기 동일한 객체를 검출하는 단계는 상기 스테레오 카메라의 상기 두 개의 양안 영상의 각 클러스터들 간의 상기 평균 거리와 상기 평균 각도를 비교하여 그 차이가 소정의 오차값 보다 작은 클러스터 쌍들을 매치로 판정한다.
상술한 바와 같이, 본 발명에 의한 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법은 다음과 같은 효과를 제공한다.
헤리스 코너 검출 기법을 이용하여 스테레오 카메라에서 획득된 양안 영상에서 고속으로 특징점을 추출할 수 있다.
그리고 다수의 근접 특징점들의 상호 구조적 특성을 이용하여 특징점 벡터들의 클러스터를 형성하여 척도 불변성을 보장한다.
또한 다양한 스테레오 이미지에 대해 높은 성능의 객체 매칭을 달성할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 스테레오 영상 특징점 매칭 시스템의 전체적인 구성을 개략적으로 나타낸다.
도 2는 본 발명의 바람직한 실시예에 따라 특징점 추출부가 영상에서 특징점을 추출하는 과정에서 영상에 윈도우를 씌우고 해당 윈도우를 시프트시키는 것을 나타낸다.
도 3은 본 발명의 바람직한 실시예에 따라 특징점 추출부가 영상에서 특징점을 추출하는 과정에서 영상에 씌워진 윈도우를 여러 방향으로 시프트시키면서 코너를 판별하는 여러 예를 나타내는 도해이다.
도 4는 본 발명의 바람직한 실시예에 따라 클러스터링부가 특징점들을 클러스터링하는 과정에서 중심 코너와 임의의 군집화 범위 내에 있는 코너들을 나타내는 도해이다.
도 5는 본 발명의 바람직한 실시예에 따른 스테레오 영상 특징점 매칭 방법의 전체적인 과정을 개략적으로 나타낸다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
이하 본 발명의 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 바람직한 실시예에 따른 스테레오 영상 특징점 매칭 시스템의 전체적인 구성을 개략적으로 나타낸다.
도 1에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 스테레오 영상 특징점 매칭 시스템은 특징점 추출부(110), 클러스터링부(120) 및 매칭부(130)를 포함하여 구성되어, 스테레오 카메라에서 획득된 양안 영상에서 동일한 객체를 검출한다.
특징점 추출부(110)는 스테레오 카메라에서 획득된 두 개의 영상의 각각에서 영상의 명암값 변화에 의해 각 객체를 구성하는 특징점들, 즉 헤리스 코너들을 검출한다. 구체적으로, 특징점 추출부(110)는 영상에 윈도우를 씌워 윈도우가 시프트시켰을 때 윈도우에 해당하는 영상의 명암값 변화가 얼마나 크고 작은지에 대해 판단하고, 모든 방향으로 시프트시켰을 시에 변화량이 클 때 해당 부분을 코너로 판별하여 추출한다.
보다 구체적으로, 본 발명의 바람직한 실시예에 따라 특징점 추출부(110)가 영상에서 특징점을 추출하는 과정을 나타내는 도 2 및 도 3을 참조하면, 도 2는 영상에 윈도우를 씌우고 해당 윈도우를 시프트시키는 것을 나타내는 도해이고, 도 3은 영상에 씌워진 윈도우를 여러 방향으로 시프트시키면서 코너를 판별하는 여러 예를 나타내는 도해이다.
본 발명의 바람직한 실시예에 따른 특징점 추출부(110)는 먼저 도 2a에 나타낸 바와 같이 영상에서의 임의의 부분에 소정의 크기 I(x, y)의 윈도우를 씌우고, 도 2b에 나타낸 바와 같이 해당 윈도우를 소정의 거리 (u, v)만큼 시프트시킨다(I(x+u, y+v)). 그러한 방식으로 특징점 추출부(110)는 도 3에 나타낸 바와 같이 윈도우를 여러 방향으로 시프트시키면서 윈도우에 해당하는 영상의 부분의 변화량을 판단하고, 변화량이 클 때 해당 부분을 코너 즉, 특징점으로 판별하여 추출한다. 즉, 도 3a 내지 도 3c에서의 코너 판별에 대한 여러 윈도우의 예에서, 도 3a에서는 윈도우가 시프트되어도 명암값이 변하지 않기 때문에 코너로 판별되지 않고, 도 3b는 윈도우를 좌우로 시프트시킬 땐 명암값의 변화가 있지만 상하로 시프트시킬 땐 명암값이 변하지 않기 때문에 코너로 판별되지 않으나, 도 3c는 상하좌우 어느 방향으로 시프트시켜도 명암값의 변화가 크기 때문에 코너로 판별된다.
클러스터링부(120)는 특징점 추출부(110)에서 추출된 다수의 근접 특징점의 각 특징점에서 일정 범위 안에 있는 특징점들을 하나의 그룹으로 군집화한다. 구체적으로 클러스터링부(120)는 특징점 추출부(110)에서 추출된 각 특징점마다, 다수의 근접 특징점의 상호 구조적 특성을 이용하여 추출된 각 특징점을 시점으로 그리고 그 주위의 근접 특징점들을 종점으로 그 주위의 근접 특징점들과의 특징 벡터들을 생성하고, 인접한 다수의 특징점 벡터로 구성된 클러스터들을 형성하며, 이로써 본 발명은 척도 불변성(scale invariance)을 보장한다. 도 4는 중심 코너와 임의의 군집화 범위 내에 있는 코너들을 나타내는 도해이다.
매칭부(130)는 클러스터링부(120)에서 군집화된 각각의 클러스터들을 스테레오 카메라의 두 개의 양안 영상에서 서로 비교하여 최적의 매치를 찾아 서로 공유하는 동일한 객체를 검출한다. 각각의 클러스터들이 같은 코너 클러스터인지 아닌지에 대한 비교 방법으로는 각 클러스터 내 코너들 간의 평균 거리와 평균 각도를 기준으로 삼았다.
보다 구체적으로, 본 발명의 바람직한 실시예에 따른 매칭부(130)는 먼저 도 4에서와 같이 임의의 군집화 범위 내에 있는 n개의 코너 특징점 중에 어느 하나의 중심 코너(
Figure 112018004334085-pat00001
)와 나머지 각각의 코너들(
Figure 112018004334085-pat00002
)의 거리(
Figure 112018004334085-pat00003
)들을 구하고 그것들의 평균 거리(
Figure 112018004334085-pat00004
, 평균 벡터의 크기로서도 지칭됨)를 계산한다. 그리고 중심 코너(
Figure 112018004334085-pat00005
)를 지나는 수평선(
Figure 112018004334085-pat00006
)을 그리고 중심 코너(
Figure 112018004334085-pat00007
)를 원점으로 수평선(
Figure 112018004334085-pat00008
)과 각 코너들(
Figure 112018004334085-pat00009
) 간의 각도들(
Figure 112018004334085-pat00010
)를 구하고 그것들의 평균 각도(
Figure 112018004334085-pat00011
)를 계산한다.
위의 방법을 수식으로 나타내면 아래 수학식 1과 같다.
(수학식 1)
Figure 112018004334085-pat00012
,
Figure 112018004334085-pat00013
(수학식 2)
find ∀
Figure 112018004334085-pat00014
, ∀
Figure 112018004334085-pat00015
such that
Figure 112018004334085-pat00016
<
Figure 112018004334085-pat00017
and
Figure 112018004334085-pat00018
<
Figure 112018004334085-pat00019
수학식 2에서 주석 1, 2는 각각 스테레오 카메라의 좌측 이미지, 우측 이미지를 의미한다.
Figure 112018004334085-pat00020
와
Figure 112018004334085-pat00021
는 좌측 이미지의 i 번째 특징 벡터 클러스터와 우측 이미지의 j 번째 특징 벡터 클러스터를 가리킨다.
Figure 112018004334085-pat00022
는 두 특징 벡터 클러스터의 평균 벡터 크기의 차를 뜻하며
Figure 112018004334085-pat00023
는 두 클러스터의 평균 각도의 차를 뜻한다.
본 발명의 매칭부(130)는 비교할 두 개의 영상에서 추출한 모든 헤리스 코너들의 클러스터에 대해 수학식 1을 이용하여
Figure 112018004334085-pat00024
와
Figure 112018004334085-pat00025
를 계산한 다음 수학식 2를 이용하여 두 영상의 각 클러스터들 간의
Figure 112018004334085-pat00026
와
Figure 112018004334085-pat00027
를 비교하여, 그 차이가 소정의 오차값 보다 작은 클러스터 쌍들(
Figure 112018004334085-pat00028
,
Figure 112018004334085-pat00029
)을 매치로 판정한다. 그리고 각각의 객체에서 매치로 판정된 클러스터들 쌍의 개수를 통해 객체의 일치성을 측정할 수 있다.
그러면, 여기서 상기와 같이 구성된 시스템을 이용한 본 발명의 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 방법에 대해 설명하기로 한다.
도 5는 본 발명의 바람직한 실시예에 따른 스테레오 영상 특징점 매칭 방법의 전체적인 과정을 개략적으로 나타낸다.
도 5를 참조하여, 본 발명의 바람직한 실시예에 따른 스테레오 영상 특징점 매칭 방법은 특징점들을 검출하는 단계(S510), 클러스터들을 형성하는 단계(S520) 및 클러스터들 간 최적의 매치를 찾아 동일한 객체를 검출하는 단계(S530)를 포함한다.
구체적으로, 특징점들을 검출하는 단계(S510)는 스테레오 카메라에서 획득된 두 개의 영상의 각각에서 영상의 명암값 변화에 의해 각 객체를 구성하는 특징점들, 즉 헤리스 코너들을 검출한다. 구체적으로, 특징점 추출부(110)가 영상에 윈도우를 씌워 윈도우가 시프트시켰을 때 윈도우에 해당하는 영상의 명암값 변화가 얼마나 크고 작은지에 대해 판단하고, 모든 방향으로 시프트시켰을 시에 변화량이 클 때 해당 부분을 코너로 판별하여 추출한다.
보다 구체적으로, 도 2 및 도 3을 참조하면, 먼저 도 2a에 나타낸 바와 같이 영상에서의 임의의 부분에 소정의 크기 I(x, y)의 윈도우를 씌우고, 도 2b에 나타낸 바와 같이 해당 윈도우를 소정의 거리 (u, v)만큼 시프트시킨다(I(x+u, y+v)). 그러한 방식으로 특징점 추출부(110)는 도 3에 나타낸 바와 같이 윈도우를 여러 방향으로 시프트시키면서 윈도우에 해당하는 영상의 부분의 변화량을 판단하고, 변화량이 클 때 해당 부분을 코너 즉, 특징점으로 판별하여 추출한다. 즉, 도 3a 내지 도 3c에서의 코너 판별에 대한 여러 윈도우의 예에서, 도 3a에서는 윈도우가 시프트되어도 명암값이 변하지 않기 때문에 코너로 판별되지 않고, 도 3b는 윈도우를 좌우로 시프트시킬 땐 명암값의 변화가 있지만 상하로 시프트시킬 땐 명암값이 변하지 않기 때문에 코너로 판별되지 않으나, 도 3c는 상하좌우 어느 방향으로 시프트시켜도 명암값의 변화가 크기 때문에 코너로 판별된다.
다음으로, 클러스터들을 형성하는 단계(S520)는 특징점들을 검출하는 단계(S510)에서 추출된 다수의 근접 특징점의 각 특징점에서 일정 범위 안에 있는 특징점들을 하나의 그룹으로 군집화한다. 구체적으로 클러스터링부(120)는 특징점 추출부(110)에서 추출된 각 특징점마다, 다수의 근접 특징점의 상호 구조적 특성을 이용하여 추출된 각 특징점을 시점으로 그리고 그 주위의 근접 특징점들을 종점으로 그 주위의 근접 특징점들과의 특징 벡터들을 생성하고, 인접한 다수의 특징점 벡터로 구성된 클러스터들을 형성하며, 이로써 본 발명은 척도 불변성(scale invariance)을 보장한다. 도 4는 중심 코너와 임의의 군집화 범위 내에 있는 코너들을 나타내는 도해이다.
마지막으로, 클러스터들 간 최적의 매치를 찾아 동일한 객체를 검출하는 단계(S530)는 클러스터들을 형성하는 단계(S520)에서 군집화된 각각의 클러스터들을 스테레오 카메라의 두 개의 양안 영상에서 서로 비교하여 최적의 매치를 찾아 서로 공유하는 동일한 객체를 검출한다. 각각의 클러스터들이 같은 코너 클러스터인지 아닌지에 대한 비교 방법으로는 각 클러스터 내 코너들 간의 평균 거리와 평균 각도를 기준으로 삼는다.
보다 구체적으로, 먼저 비교할 두 개의 영상에서 추출한 모든 헤리스 코너들의 클러스터에 대해 상기한 수학식 1을 이용하여 어느 하나의 중심 코너와 나머지 각각의 코너들의 거리들의 평균 거리와 중심 코너를 원점으로 중심 코너를 지나는 수평선과 각 코너들 간의 각도들의 평균 각도를 계산한 다음, 수학식 2를 이용하여 두 영상의 각 클러스터들 간의 평균 거리와 평균 각도를 비교하여 그 차이가 소정의 오차값 보다 작은 클러스터 쌍들을 매치로 판정한다. 그리고 각각의 객체에서 매치로 판정된 클러스터들 쌍의 개수를 통해 객체의 일치성을 측정할 수 있다.
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
110 : 특징점 추출부
120 : 클러스터링부
130 : 매칭부
S510 : 특징점들을 검출하는 단계
S520 : 클러스터들을 형성하는 단계
S530 : 클러스터들 간 최적의 매치를 찾아 동일한 객체를 검출하는 단계

Claims (12)

  1. 스테레오 카메라에서 획득된 두 개의 영상의 각각에서 영상의 명암값 변화에 의해 각 객체를 구성하는 특징점들을 추출하는 특징점 추출부;
    상기 특징점 추출부에서 추출된 다수의 근접 특징점의 각 특징점에서 일정 범위 안에 있는 특징점들을 하나의 클러스터로 군집화하는 클러스터링부; 및
    상기 클러스터링부에서 군집화된 각각의 상기 클러스터들을 상기 스테레오 카메라의 상기 두 개의 양안 영상에서 서로 비교하여 최적의 매치를 찾아 서로 공유하는 동일한 객체를 검출하는 매칭부;를 포함하며,
    상기 매칭부는 각각의 상기 클러스터들 내 특징점들 간의 평균 거리와 평균 각도를 기준으로 상기 스테레오 카메라의 상기 두 개의 양안 영상에서 서로 비교하여 최적의 매치를 찾아 서로 공유하는 동일한 객체를 검출하는 것을 특징으로 하는 스테레오 영상 특징점 매칭 시스템.
  2. 청구항 1에서,
    상기 특징점 추출부는 상기 스테레오 카메라에서 획득된 영상에 윈도우를 씌워 상기 윈도우를 시프트시켰을 때 상기 윈도우에 해당하는 영상의 명암값 변화가 얼마나 크고 작은지에 대해 판단하여, 상기 특징점으로 추출하는 것을 특징으로 하는 스테레오 영상 특징점 매칭 시스템.
  3. 청구항 1에서,
    상기 클러스터링부는 상기 특징점 추출부에서 추출된 각 특징점마다, 다수의 근접 특징점의 상호 구조적 특성을 이용하여 추출된 각 특징점을 시점으로 그리고 그 주위의 근접 특징점들을 종점으로 상기 그 주위의 근접 특징점들과의 특징 벡터들을 생성하고, 인접한 다수의 특징점 벡터로 구성된 클러스터들을 형성하는, 스테레오 영상 특징점 매칭 시스템.
  4. 삭제
  5. 청구항 1에서,
    상기 평균 거리는 상기 클러스터 내 어느 하나의 중심 특징점과 나머지 각각의 특징점들의 거리들을 평균한 값이고,
    상기 평균 각도는 상기 중심 특징점을 원점으로 상기 중심 특징점을 지나는 수평선과 상기 각각의 특징점들 간의 각도들을 평균한 값인, 스테레오 영상 특징점 매칭 시스템.
  6. 청구항 5에서,
    상기 매칭부는 상기 스테레오 카메라의 상기 두 개의 양안 영상의 각 클러스터들 간의 상기 평균 거리와 상기 평균 각도를 비교하여 그 차이가 소정의 오차값 보다 작은 클러스터 쌍들을 매치로 판정하는, 스테레오 영상 특징점 매칭 시스템.
  7. 스테레오 카메라에서 획득된 두 개의 영상의 각각에서 영상의 명암값 변화에 의해 각 객체를 구성하는 특징점들을 추출하는 단계;
    추출된 다수의 근접 특징점의 각 특징점에서 일정 범위 안에 있는 특징점들을 하나의 클러스터로 군집화하는 단계; 및
    군집화된 각각의 상기 클러스터들을 상기 스테레오 카메라의 상기 두 개의 양안 영상에서 서로 비교하여 최적의 매치를 찾아 서로 공유하는 동일한 객체를 검출하는 단계;를 포함하며,
    상기 동일한 객체를 검출하는 단계는,
    각각의 상기 클러스터들 내 특징점들 간의 평균 거리 및 평균 각도를 계산하는 단계; 및
    상기 스테레오 카메라의 상기 두 개의 양안 영상에서 상기 평균 거리 및 상기 평균 각도를 기준으로 서로 매칭되는 클러스터들을 찾아 서로 공유하는 동일한 객체를 검출하는 단계;를 포함하는 것을 특징으로 하는 스테레오 영상 특징점 매칭 방법.
  8. 청구항 7에서,
    상기 특징점들을 추출하는 단계는:
    상기 스테레오 카메라에서 획득된 영상에 윈도우를 씌워 상기 윈도우를 전방향으로 시프트시키는 단계,
    상기 시프트시키는 단계를 통해 상기 윈도우에 해당하는 영상의 명암값 변화량을 판단하는 단계 및
    상기 명암값 변화량이 전방향에 대해 소정의 임계값보다 큰 부분을 상기 특징으로 추출하는 단계를 포함하는, 스테레오 영상 특징점 매칭 방법.
  9. 청구항 7에서,
    상기 군집화하는 단계는:
    추출된 각 특징점마다, 다수의 근접 특징점의 각 특징점을 시점으로 그리고 그 주위의 근접 특징점들을 종점으로 상기 그 주위의 근접 특징점들과의 특징 벡터들을 생성하는 단계 및
    상기 특징 벡터들의 크기가 소정의 크기보다 작은 인접한 다수의 특징점 벡터를 하나의 클러스터로 군집화하는 단계를 포함하는, 스테레오 영상 특징점 매칭 방법.
  10. 삭제
  11. 청구항 7에서,
    상기 평균 거리는 상기 클러스터 내 어느 하나의 중심 특징점과 나머지 각각의 특징점들의 거리들을 평균한 값이고,
    상기 평균 각도는 상기 중심 특징점을 원점으로 상기 중심 특징점을 지나는 수평선과 상기 각각의 특징점들 간의 각도들을 평균한 값인, 스테레오 영상 특징점 매칭 방법.
  12. 청구항 11에서,
    상기 동일한 객체를 검출하는 단계는 상기 스테레오 카메라의 상기 두 개의 양안 영상의 각 클러스터들 간의 상기 평균 거리와 상기 평균 각도를 비교하여 그 차이가 소정의 오차값 보다 작은 클러스터 쌍들을 매치로 판정하는, 스테레오 영상 특징점 매칭 방법.
KR1020180004856A 2018-01-15 2018-01-15 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법 KR101999797B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180004856A KR101999797B1 (ko) 2018-01-15 2018-01-15 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180004856A KR101999797B1 (ko) 2018-01-15 2018-01-15 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101999797B1 true KR101999797B1 (ko) 2019-07-12

Family

ID=67254243

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180004856A KR101999797B1 (ko) 2018-01-15 2018-01-15 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101999797B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210126485A (ko) * 2020-04-09 2021-10-20 센스타임 인터내셔널 피티이. 리미티드. 매칭 방법, 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체, 및 컴퓨터 프로그램
CN113743424A (zh) * 2021-09-15 2021-12-03 昆明理工大学 一种全尾砂动态絮凝沉降图像特征点提取的dbscan聚类分析方法
US11461997B2 (en) 2020-04-09 2022-10-04 Sensetime International Pte. Ltd. Matching method and apparatus, electronic device, computer-readable storage medium, and computer program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100762670B1 (ko) 2006-06-07 2007-10-01 삼성전자주식회사 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
KR20140056073A (ko) * 2012-10-30 2014-05-09 한국과학기술원 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템
KR20140120527A (ko) 2013-04-03 2014-10-14 삼성전기주식회사 스테레오 영상 매칭 장치 및 스테레오 영상 매칭 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100762670B1 (ko) 2006-06-07 2007-10-01 삼성전자주식회사 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
KR20140056073A (ko) * 2012-10-30 2014-05-09 한국과학기술원 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템
KR20140120527A (ko) 2013-04-03 2014-10-14 삼성전기주식회사 스테레오 영상 매칭 장치 및 스테레오 영상 매칭 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문:김동현 외 2명* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210126485A (ko) * 2020-04-09 2021-10-20 센스타임 인터내셔널 피티이. 리미티드. 매칭 방법, 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체, 및 컴퓨터 프로그램
KR102433313B1 (ko) * 2020-04-09 2022-08-18 센스타임 인터내셔널 피티이. 리미티드. 매칭 방법, 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체, 및 컴퓨터 프로그램
US11461997B2 (en) 2020-04-09 2022-10-04 Sensetime International Pte. Ltd. Matching method and apparatus, electronic device, computer-readable storage medium, and computer program
CN113743424A (zh) * 2021-09-15 2021-12-03 昆明理工大学 一种全尾砂动态絮凝沉降图像特征点提取的dbscan聚类分析方法
CN113743424B (zh) * 2021-09-15 2023-06-27 昆明理工大学 全尾砂动态絮凝沉降中絮体动态沉降分散程度定量表征方法

Similar Documents

Publication Publication Date Title
CN112016401B (zh) 基于跨模态行人重识别方法及装置
CN109034047B (zh) 一种车道线检测方法及装置
KR101999797B1 (ko) 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법
CN110097093A (zh) 一种异源图像精确匹配方法
EP3249579B1 (en) Object recognition apparatus, objection recognition method, and program
CN107833236A (zh) 一种动态环境下结合语义的视觉定位***和方法
Fouhey et al. Multiple plane detection in image pairs using j-linkage
US20140270479A1 (en) Systems and methods for parameter estimation of images
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及***
Psyllos et al. M-SIFT: A new method for Vehicle Logo Recognition
CN105513080B (zh) 一种红外图像目标显著性评估方法
Tsintotas et al. DOSeqSLAM: Dynamic on-line sequence based loop closure detection algorithm for SLAM
CN104794451A (zh) 基于分块匹配结构的行人比对方法
CN111950498A (zh) 一种基于端到端实例分割的车道线检测方法及装置
US20140169664A1 (en) Apparatus and method for recognizing human in image
Wang et al. Road detection based on illuminant invariance and quadratic estimation
CN107045630B (zh) 一种基于rgbd的行人检测和身份识别方法及***
CN110348307B (zh) 一种起重机金属结构攀爬机器人的路径边缘识别方法及***
US8780197B2 (en) Apparatus and method for detecting face
Cozzolino et al. A novel framework for image forgery localization
KR101916460B1 (ko) 깊이 정보를 이용한 물체 인식 방법 및 장치
CN116958606B (zh) 一种图像匹配方法及相关装置
CN113994381A (zh) 检测移动物体的方法
KR101671488B1 (ko) 문맥상 사라진 특징점의 복원을 통한 물체 인식 방법
Huang et al. Improving keypoint matching using a landmark-based image representation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant