KR101999797B1 - Stereo image feature matching system and method based on harris corner vector clustering algorithm - Google Patents
Stereo image feature matching system and method based on harris corner vector clustering algorithm Download PDFInfo
- Publication number
- KR101999797B1 KR101999797B1 KR1020180004856A KR20180004856A KR101999797B1 KR 101999797 B1 KR101999797 B1 KR 101999797B1 KR 1020180004856 A KR1020180004856 A KR 1020180004856A KR 20180004856 A KR20180004856 A KR 20180004856A KR 101999797 B1 KR101999797 B1 KR 101999797B1
- Authority
- KR
- South Korea
- Prior art keywords
- feature point
- feature
- feature points
- clusters
- stereo camera
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G06K9/46—
-
- G06K9/6267—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 스테레오 영상 특징점 매칭 시스템 및 방법에 관한 것으로, 더욱 상세하게는 스테레오 카메라에서 획득된 양안 영상에서 동일한 객체를 검출하는 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법에 관한 것이다.The present invention relates to a stereo image feature point matching system and method, and more particularly, to a stereo image feature point matching system and method using an Harris corner vector clustering algorithm for detecting the same object in a binocular image obtained from a stereo camera.
최근 자율 주행차와 스마트 자동차 수요의 증가에 따라 객체 검출 및 인식 기술들에 많은 관심이 집중되고 있다. 스테레오 카메라는 이러한 스마트 자동차가 도로상의 객체들을 인식하기 위해 많이 사용되는 주요 센서 중의 하나이다.Recently, interest in object detection and recognition technologies has been attracting much attention due to the increase of demand for autonomous vehicles and smart cars. Stereo cameras are one of the main sensors that these smart cars are often used to recognize objects on the road.
영상 센서는 다양한 어플리케이션에서 데이터 획득을 위해 많이 활용되고 있으며, IoT, 보안 장비, 및 자율 주행차용 센서 등에 점차 많이 적용되고 있다. 특히 스마트 자동차의 주변 환경 인식용 센서로서 스테레오 카메라는 객체 인식 및 거리 측정 등 매우 중요한 기능을 제공할 수 있다.Image sensors are widely used for data acquisition in various applications, and they are increasingly applied to IoT, security equipment, and autonomous vehicle sensors. Especially, as a sensor for recognizing the environment of a smart car, a stereo camera can provide very important functions such as object recognition and distance measurement.
위에 설명한 주제에 대해서 많은 연구들이 진행되고 있는 가운데, 본 발명에서는 헤리스 코너 검출기를 이용해 동일한 객체를 찾는 기술을 제시한다.In the present invention, a technique for finding the same object by using the Hell's corner detector is presented.
따라서, 본 발명은 상기한 발명의 배경이 되는 기술을 개선하기 위해 이루어진 것으로서, 본 발명의 목적은 스테레오 카메라에서 획득된 두 영상에서 고속의 특징점 추출, 다수의 근접 특징점들의 상호 구조적 특성을 이용한 클러스터 형성 및 고성능의 특징점 매칭을 통해 동일한 객체를 인식하는 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법을 제공하는데 있다.Accordingly, the present invention has been made to improve the background art of the present invention, and it is an object of the present invention to provide a high-speed feature point extraction in two images obtained from a stereo camera, a cluster formation using mutual structural characteristics of a plurality of adjacent feature points And a stereo image feature point matching system and method using a Harris corner vector clustering algorithm that recognizes the same object through high-performance feature point matching.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention, unless further departing from the spirit and scope of the invention as defined by the appended claims. It will be possible.
상기와 같은 목적을 달성하기 위한 본 발명의 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템은, 스테레오 카메라에서 획득된 두 개의 영상의 각각에서 영상의 명암값 변화에 의해 각 객체를 구성하는 특징점들을 추출하는 특징점 추출부, 상기 특징점 추출부에서 추출된 다수의 근접 특징점의 각 특징점에서 일정 범위 안에 있는 특징점들을 하나의 클러스터로 군집화하는 클러스터링부 및 상기 클러스터링부에서 군집화된 각각의 상기 클러스터들을 상기 스테레오 카메라의 상기 두 개의 양안 영상에서 서로 비교하여 최적의 매치를 찾아 서로 공유하는 동일한 객체를 검출하는 매칭부를 포함한다.According to another aspect of the present invention, there is provided a stereo image feature point matching system using the Helis's corner vector clustering algorithm. The feature point matching method comprises: A clustering unit for clustering the feature points within a certain range in each of the feature points of the plurality of proximate feature points extracted by the feature point extraction unit into one cluster and the clusters clustered in the clustering unit by the stereo camera And a matching unit for detecting the same object to find an optimal match and to share with each other.
상기 시스템에서 상기 특징점 추출부는 상기 스테레오 카메라에서 획득된 영상에 윈도우를 씌워 상기 윈도우를 시프트시켰을 때 상기 윈도우에 해당하는 영상의 명암값 변화가 얼마나 크고 작은지에 대해 판단하고, 상기 윈도우를 전방향으로 시프트시켰을 시에 변화량이 큰 부분을 상기 특징점으로 추출한다.In the system, the feature point extracting unit judges how large and small the change of the lightness and darkness of the image corresponding to the window when the window is shifted by covering the image obtained by the stereo camera, and shifts the window in all directions A portion having a large change amount is extracted as the feature point.
상기 시스템에서 상기 클러스터링부는 상기 특징점 추출부에서 추출된 각 특징점마다, 다수의 근접 특징점의 상호 구조적 특성을 이용하여 추출된 각 특징점을 시점으로 그리고 그 주위의 근접 특징점들을 종점으로 상기 그 주위의 근접 특징점들과의 특징 벡터들을 생성하고, 인접한 다수의 특징점 벡터로 구성된 클러스터들을 형성한다.In the system, the clustering unit may calculate, for each of the minutiae points extracted from the minutiae point extracting unit, each extracted minutiae point using a mutual structural characteristic of a plurality of adjacent minutiae points as a starting point, And forms clusters composed of a plurality of adjacent feature point vectors.
상기 시스템에서 상기 매칭부는 각각의 상기 클러스터들 내 특징점들 간의 평균 거리와 평균 각도를 기준으로 상기 스테레오 카메라의 상기 두 개의 양안 영상에서 서로 비교하여 최적의 매치를 찾아 서로 공유하는 동일한 객체를 검출한다.In the system, the matching unit compares the two binocular images of the stereo camera with each other based on an average distance and an average angle between the feature points in each of the clusters, and finds an optimal match, and detects the same object sharing each other.
상기 시스템에서 상기 평균 거리는 상기 클러스터 내 어느 하나의 중심 특징점과 나머지 각각의 특징점들의 거리들을 평균한 값이고, 상기 평균 각도는 상기 중심 특징점을 원점으로 상기 중심 특징점을 지나는 수평선과 상기 각각의 특징점들 간의 각도들을 평균한 값이다.In the system, the average distance is a value obtained by averaging distances between any one of the central feature points and the remaining feature points in the cluster, and the average angle is a distance between a horizontal line passing through the central feature point with the central feature point as an origin, It is the average of the angles.
상기 시스템에서 상기 매칭부는 상기 스테레오 카메라의 상기 두 개의 양안 영상의 각 클러스터들 간의 상기 평균 거리와 상기 평균 각도를 비교하여 그 차이가 소정의 오차값 보다 작은 클러스터 쌍들을 매치로 판정한다.In the system, the matching unit compares the average distance between the respective clusters of the two binocular images of the stereo camera with the average angle, and determines a cluster pair in which the difference is smaller than a predetermined error value as a match.
한편, 본 발명의 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 방법은, 스테레오 카메라에서 획득된 두 개의 영상의 각각에서 영상의 명암값 변화에 의해 각 객체를 구성하는 특징점들을 추출하는 단계, 추출된 다수의 근접 특징점의 각 특징점에서 일정 범위 안에 있는 특징점들을 하나의 클러스터로 군집화하는 단계 및 군집화된 각각의 상기 클러스터들을 상기 스테레오 카메라의 상기 두 개의 양안 영상에서 서로 비교하여 최적의 매치를 찾아 서로 공유하는 동일한 객체를 검출하는 단계를 포함한다.Meanwhile, the stereo image feature point matching method using the Harris corner vector clustering algorithm of the present invention includes the steps of extracting feature points constituting each object by a change in brightness value of each of two images obtained from a stereo camera, Clustering feature points within a certain range of each feature point of a plurality of proximity feature points into one cluster and comparing the clusters of the clusters with each other in the two binocular images of the stereo camera to search for and find an optimal match And detecting the same object.
상기 방법에서 상기 특징점들을 추출하는 단계는: 상기 스테레오 카메라에서 획득된 영상에 윈도우를 씌워 상기 윈도우를 전방향으로 시프트시키는 단계, 상기 시프트시키는 단계를 통해 상기 윈도우에 해당하는 영상의 명암값 변화량을 판단하는 단계 및 상기 명암값 변화량이 전방향에 대해 소정의 임계값보다 큰 부분을 상기 특징으로 추출하는 단계를 포함한다.Wherein the step of extracting the feature points comprises the steps of: shifting the window in all directions by embedding a window in the image obtained from the stereo camera, and determining a change amount of the lightness value of the image corresponding to the window through the shifting step And extracting, as the feature, a portion where the amount of light and darkness change is larger than a predetermined threshold value in all directions.
상기 방법에서 상기 군집화하는 단계는: 추출된 각 특징점마다, 다수의 근접 특징점의 각 특징점을 시점으로 그리고 그 주위의 근접 특징점들을 종점으로 상기 그 주위의 근접 특징점들과의 특징 벡터들을 생성하는 단계 및 상기 특징 벡터들의 크기가 소정의 크기보다 작은 인접한 다수의 특징점 벡터를 하나의 클러스터로 군집화하는 단계를 포함한다.The clustering in the method may include: generating feature vectors with neighboring feature points around the extracted feature point, each feature point of a plurality of proximate feature points as a viewpoint and neighboring feature points around the feature point as end points, and And clustering a plurality of adjacent feature point vectors having a size of the feature vectors smaller than a predetermined size into one cluster.
상기 방법에서 상기 동일한 객체를 검출하는 단계는: 각각의 상기 클러스터들 내 특징점들 간의 평균 거리 및 평균 각도를 계산하는 단계 및 상기 스테레오 카메라의 상기 두 개의 양안 영상에서 상기 평균 거리 및 상기 평균 각도를 기준으로 서로 매칭되는 클러스터들을 찾아 서로 공유하는 동일한 객체를 검출하는 단계를 포함한다.Wherein detecting the same object comprises: calculating an average distance and an average angle between feature points in each of the clusters; and calculating the average distance and the average angle from the two binocular images of the stereo camera And detecting the same object sharing each other.
상기 방법에서 상기 평균 거리는 상기 클러스터 내 어느 하나의 중심 특징점과 나머지 각각의 특징점들의 거리들을 평균한 값이고, 상기 평균 각도는 상기 중심 특징점을 원점으로 상기 중심 특징점을 지나는 수평선과 상기 각각의 특징점들 간의 각도들을 평균한 값이다.Wherein the average distance is a value obtained by averaging distances between any one of the central feature points and the remaining feature points in the cluster, and the average angle includes a horizontal line passing through the central feature point with the central feature point as an origin, It is the average of the angles.
상기 방법에서 상기 동일한 객체를 검출하는 단계는 상기 스테레오 카메라의 상기 두 개의 양안 영상의 각 클러스터들 간의 상기 평균 거리와 상기 평균 각도를 비교하여 그 차이가 소정의 오차값 보다 작은 클러스터 쌍들을 매치로 판정한다.Wherein the step of detecting the same object includes comparing the average distance between each of the clusters of the two binocular images of the stereo camera with the average angle and determining cluster pairs in which the difference is smaller than a predetermined error value as matches do.
상술한 바와 같이, 본 발명에 의한 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법은 다음과 같은 효과를 제공한다.As described above, the stereo image feature point matching system and method using the Harris corner vector clustering algorithm according to the present invention provides the following effects.
헤리스 코너 검출 기법을 이용하여 스테레오 카메라에서 획득된 양안 영상에서 고속으로 특징점을 추출할 수 있다.The feature points can be extracted at high speed from the binocular images obtained from the stereo camera using the Harris corner detection technique.
그리고 다수의 근접 특징점들의 상호 구조적 특성을 이용하여 특징점 벡터들의 클러스터를 형성하여 척도 불변성을 보장한다.And clusters of feature point vectors are formed by using the mutual structural characteristics of a plurality of adjacent feature points to guarantee a scale invariance.
또한 다양한 스테레오 이미지에 대해 높은 성능의 객체 매칭을 달성할 수 있다.In addition, high performance object matching can be achieved for various stereo images.
도 1은 본 발명의 바람직한 실시예에 따른 스테레오 영상 특징점 매칭 시스템의 전체적인 구성을 개략적으로 나타낸다.
도 2는 본 발명의 바람직한 실시예에 따라 특징점 추출부가 영상에서 특징점을 추출하는 과정에서 영상에 윈도우를 씌우고 해당 윈도우를 시프트시키는 것을 나타낸다.
도 3은 본 발명의 바람직한 실시예에 따라 특징점 추출부가 영상에서 특징점을 추출하는 과정에서 영상에 씌워진 윈도우를 여러 방향으로 시프트시키면서 코너를 판별하는 여러 예를 나타내는 도해이다.
도 4는 본 발명의 바람직한 실시예에 따라 클러스터링부가 특징점들을 클러스터링하는 과정에서 중심 코너와 임의의 군집화 범위 내에 있는 코너들을 나타내는 도해이다.
도 5는 본 발명의 바람직한 실시예에 따른 스테레오 영상 특징점 매칭 방법의 전체적인 과정을 개략적으로 나타낸다.FIG. 1 schematically shows a general configuration of a stereo image feature point matching system according to a preferred embodiment of the present invention.
FIG. 2 is a diagram illustrating a process of extracting feature points from an image according to a preferred embodiment of the present invention, placing a window on an image and shifting the corresponding window.
FIG. 3 is a diagram illustrating various examples of determining a corner by shifting a window on an image in various directions in a process of extracting feature points from the feature point extraction unit according to a preferred embodiment of the present invention.
FIG. 4 is a diagram illustrating corners within a central corner and an arbitrary clustering range in the process of clustering partial feature points according to a preferred embodiment of the present invention. FIG.
FIG. 5 schematically shows an overall process of a stereo image feature point matching method according to a preferred embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the concept of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.
이하 본 발명의 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, a stereo image feature point matching system and method using the Harris corner vector clustering algorithm of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 바람직한 실시예에 따른 스테레오 영상 특징점 매칭 시스템의 전체적인 구성을 개략적으로 나타낸다.FIG. 1 schematically shows a general configuration of a stereo image feature point matching system according to a preferred embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 스테레오 영상 특징점 매칭 시스템은 특징점 추출부(110), 클러스터링부(120) 및 매칭부(130)를 포함하여 구성되어, 스테레오 카메라에서 획득된 양안 영상에서 동일한 객체를 검출한다.1, a stereo image feature point matching system according to a preferred embodiment of the present invention includes a feature point extracting unit 110, a clustering unit 120, and a matching unit 130, The same object is detected in the binocular image.
특징점 추출부(110)는 스테레오 카메라에서 획득된 두 개의 영상의 각각에서 영상의 명암값 변화에 의해 각 객체를 구성하는 특징점들, 즉 헤리스 코너들을 검출한다. 구체적으로, 특징점 추출부(110)는 영상에 윈도우를 씌워 윈도우가 시프트시켰을 때 윈도우에 해당하는 영상의 명암값 변화가 얼마나 크고 작은지에 대해 판단하고, 모든 방향으로 시프트시켰을 시에 변화량이 클 때 해당 부분을 코너로 판별하여 추출한다.The feature point extracting unit 110 detects feature points, i.e., Harris corners, that constitute each object by a change in brightness and darkness of an image in each of two images obtained from a stereo camera. Specifically, the feature point extracting unit 110 determines how large and small the change of the lightness and darkness of the image corresponding to the window when the window is shifted by covering the window with the image, and when the shift is shifted in all directions, The part is discriminated as a corner and extracted.
보다 구체적으로, 본 발명의 바람직한 실시예에 따라 특징점 추출부(110)가 영상에서 특징점을 추출하는 과정을 나타내는 도 2 및 도 3을 참조하면, 도 2는 영상에 윈도우를 씌우고 해당 윈도우를 시프트시키는 것을 나타내는 도해이고, 도 3은 영상에 씌워진 윈도우를 여러 방향으로 시프트시키면서 코너를 판별하는 여러 예를 나타내는 도해이다.2 and 3, the feature point extracting unit 110 extracts feature points from an image according to a preferred embodiment of the present invention. Referring to FIG. 2, FIG. 3 is a diagram illustrating various examples of determining the corner while shifting the window over the image in various directions.
본 발명의 바람직한 실시예에 따른 특징점 추출부(110)는 먼저 도 2a에 나타낸 바와 같이 영상에서의 임의의 부분에 소정의 크기 I(x, y)의 윈도우를 씌우고, 도 2b에 나타낸 바와 같이 해당 윈도우를 소정의 거리 (u, v)만큼 시프트시킨다(I(x+u, y+v)). 그러한 방식으로 특징점 추출부(110)는 도 3에 나타낸 바와 같이 윈도우를 여러 방향으로 시프트시키면서 윈도우에 해당하는 영상의 부분의 변화량을 판단하고, 변화량이 클 때 해당 부분을 코너 즉, 특징점으로 판별하여 추출한다. 즉, 도 3a 내지 도 3c에서의 코너 판별에 대한 여러 윈도우의 예에서, 도 3a에서는 윈도우가 시프트되어도 명암값이 변하지 않기 때문에 코너로 판별되지 않고, 도 3b는 윈도우를 좌우로 시프트시킬 땐 명암값의 변화가 있지만 상하로 시프트시킬 땐 명암값이 변하지 않기 때문에 코너로 판별되지 않으나, 도 3c는 상하좌우 어느 방향으로 시프트시켜도 명암값의 변화가 크기 때문에 코너로 판별된다.As shown in FIG. 2A, the feature point extracting unit 110 according to the preferred embodiment of the present invention first puts a window of a predetermined size I (x, y) on an arbitrary portion of the image, The window is shifted by a predetermined distance (u, v) ( I (x + u, y + v) ). In this way, the feature point extracting unit 110 determines the amount of change of the portion of the image corresponding to the window while shifting the window in various directions as shown in FIG. 3, and when the amount of change is large, . In other words, in the examples of various windows for corner discrimination in Figs. 3A to 3C, in Fig. 3A, even if the window is shifted, the contrast value is not changed, so that the corner is not discriminated. Fig. However, when shifting up and down, the lightness and darkness values are not changed, so they are not discriminated as corners. However, Fig.
클러스터링부(120)는 특징점 추출부(110)에서 추출된 다수의 근접 특징점의 각 특징점에서 일정 범위 안에 있는 특징점들을 하나의 그룹으로 군집화한다. 구체적으로 클러스터링부(120)는 특징점 추출부(110)에서 추출된 각 특징점마다, 다수의 근접 특징점의 상호 구조적 특성을 이용하여 추출된 각 특징점을 시점으로 그리고 그 주위의 근접 특징점들을 종점으로 그 주위의 근접 특징점들과의 특징 벡터들을 생성하고, 인접한 다수의 특징점 벡터로 구성된 클러스터들을 형성하며, 이로써 본 발명은 척도 불변성(scale invariance)을 보장한다. 도 4는 중심 코너와 임의의 군집화 범위 내에 있는 코너들을 나타내는 도해이다.The clustering unit 120 groups the minutiae within a certain range of each minutiae point of a plurality of proximate minutiae points extracted by the minutiae point extracting unit 110 into one group. Specifically, the clustering unit 120 uses the mutual structural characteristics of a plurality of adjacent feature points extracted for each feature point extracted by the feature point extracting unit 110 as a viewpoint, and the neighboring feature points around the feature point as an end point, And forms clusters composed of a plurality of adjacent feature point vectors, whereby the present invention ensures scale invariance. Figure 4 is an illustration showing corners within the center corner and any clustering range.
매칭부(130)는 클러스터링부(120)에서 군집화된 각각의 클러스터들을 스테레오 카메라의 두 개의 양안 영상에서 서로 비교하여 최적의 매치를 찾아 서로 공유하는 동일한 객체를 검출한다. 각각의 클러스터들이 같은 코너 클러스터인지 아닌지에 대한 비교 방법으로는 각 클러스터 내 코너들 간의 평균 거리와 평균 각도를 기준으로 삼았다.The matching unit 130 compares the clusters clustered in the clustering unit 120 with each other in two binocular images of a stereo camera, and finds an optimal match and detects the same object sharing each other. The average distance and average angle between the corners in each cluster were used as a comparison method for whether each cluster is the same corner cluster or not.
보다 구체적으로, 본 발명의 바람직한 실시예에 따른 매칭부(130)는 먼저 도 4에서와 같이 임의의 군집화 범위 내에 있는 n개의 코너 특징점 중에 어느 하나의 중심 코너(
위의 방법을 수식으로 나타내면 아래 수학식 1과 같다.The above method can be expressed by the following equation (1).
(수학식 1)(1)
(수학식 2)(2)
find ∀
수학식 2에서 주석 1, 2는 각각 스테레오 카메라의 좌측 이미지, 우측 이미지를 의미한다. 
본 발명의 매칭부(130)는 비교할 두 개의 영상에서 추출한 모든 헤리스 코너들의 클러스터에 대해 수학식 1을 이용하여 
그러면, 여기서 상기와 같이 구성된 시스템을 이용한 본 발명의 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 방법에 대해 설명하기로 한다.Hereinafter, a stereo image feature point matching method using the Harris corner vector clustering algorithm of the present invention using the system configured as described above will be described.
도 5는 본 발명의 바람직한 실시예에 따른 스테레오 영상 특징점 매칭 방법의 전체적인 과정을 개략적으로 나타낸다.FIG. 5 schematically shows an overall process of a stereo image feature point matching method according to a preferred embodiment of the present invention.
도 5를 참조하여, 본 발명의 바람직한 실시예에 따른 스테레오 영상 특징점 매칭 방법은 특징점들을 검출하는 단계(S510), 클러스터들을 형성하는 단계(S520) 및 클러스터들 간 최적의 매치를 찾아 동일한 객체를 검출하는 단계(S530)를 포함한다.Referring to FIG. 5, a stereo image feature point matching method according to a preferred embodiment of the present invention includes detecting (S510) feature points, forming clusters (S520), and searching for an optimal match between clusters (S530).
구체적으로, 특징점들을 검출하는 단계(S510)는 스테레오 카메라에서 획득된 두 개의 영상의 각각에서 영상의 명암값 변화에 의해 각 객체를 구성하는 특징점들, 즉 헤리스 코너들을 검출한다. 구체적으로, 특징점 추출부(110)가 영상에 윈도우를 씌워 윈도우가 시프트시켰을 때 윈도우에 해당하는 영상의 명암값 변화가 얼마나 크고 작은지에 대해 판단하고, 모든 방향으로 시프트시켰을 시에 변화량이 클 때 해당 부분을 코너로 판별하여 추출한다.Specifically, the step of detecting feature points (S510) detects the feature points, i.e., the Harris corners, constituting each object by the change of the brightness level of the image in each of the two images acquired by the stereo camera. Specifically, the feature point extracting unit 110 determines how large and small the change of the lightness and darkness of the image corresponding to the window when the window is shifted by covering the window with the image, and when the shift is shifted in all directions, The part is discriminated as a corner and extracted.
보다 구체적으로, 도 2 및 도 3을 참조하면, 먼저 도 2a에 나타낸 바와 같이 영상에서의 임의의 부분에 소정의 크기 I(x, y)의 윈도우를 씌우고, 도 2b에 나타낸 바와 같이 해당 윈도우를 소정의 거리 (u, v)만큼 시프트시킨다(I(x+u, y+v)). 그러한 방식으로 특징점 추출부(110)는 도 3에 나타낸 바와 같이 윈도우를 여러 방향으로 시프트시키면서 윈도우에 해당하는 영상의 부분의 변화량을 판단하고, 변화량이 클 때 해당 부분을 코너 즉, 특징점으로 판별하여 추출한다. 즉, 도 3a 내지 도 3c에서의 코너 판별에 대한 여러 윈도우의 예에서, 도 3a에서는 윈도우가 시프트되어도 명암값이 변하지 않기 때문에 코너로 판별되지 않고, 도 3b는 윈도우를 좌우로 시프트시킬 땐 명암값의 변화가 있지만 상하로 시프트시킬 땐 명암값이 변하지 않기 때문에 코너로 판별되지 않으나, 도 3c는 상하좌우 어느 방향으로 시프트시켜도 명암값의 변화가 크기 때문에 코너로 판별된다.2 and 3, a window of a predetermined size I (x, y) is placed on an arbitrary portion of the image as shown in FIG. 2A, ( I (x + u, y + v) ) by a predetermined distance (u, v ). In this way, the feature point extracting unit 110 determines the amount of change of the portion of the image corresponding to the window while shifting the window in various directions as shown in FIG. 3, and when the amount of change is large, . In other words, in the examples of various windows for corner discrimination in Figs. 3A to 3C, in Fig. 3A, even if the window is shifted, the contrast value is not changed, so that the corner is not discriminated. Fig. However, when shifting up and down, the lightness and darkness values are not changed, so they are not discriminated as corners. However, Fig.
다음으로, 클러스터들을 형성하는 단계(S520)는 특징점들을 검출하는 단계(S510)에서 추출된 다수의 근접 특징점의 각 특징점에서 일정 범위 안에 있는 특징점들을 하나의 그룹으로 군집화한다. 구체적으로 클러스터링부(120)는 특징점 추출부(110)에서 추출된 각 특징점마다, 다수의 근접 특징점의 상호 구조적 특성을 이용하여 추출된 각 특징점을 시점으로 그리고 그 주위의 근접 특징점들을 종점으로 그 주위의 근접 특징점들과의 특징 벡터들을 생성하고, 인접한 다수의 특징점 벡터로 구성된 클러스터들을 형성하며, 이로써 본 발명은 척도 불변성(scale invariance)을 보장한다. 도 4는 중심 코너와 임의의 군집화 범위 내에 있는 코너들을 나타내는 도해이다.Next, the clusters forming step S520 groups the feature points within a certain range of each feature point of the plurality of proximate feature points extracted in step S510 of detecting feature points into one group. Specifically, the clustering unit 120 uses the mutual structural characteristics of a plurality of adjacent feature points extracted for each feature point extracted by the feature point extracting unit 110 as a viewpoint, and the neighboring feature points around the feature point as an end point, And forms clusters composed of a plurality of adjacent feature point vectors, whereby the present invention ensures scale invariance. Figure 4 is an illustration showing corners within the center corner and any clustering range.
마지막으로, 클러스터들 간 최적의 매치를 찾아 동일한 객체를 검출하는 단계(S530)는 클러스터들을 형성하는 단계(S520)에서 군집화된 각각의 클러스터들을 스테레오 카메라의 두 개의 양안 영상에서 서로 비교하여 최적의 매치를 찾아 서로 공유하는 동일한 객체를 검출한다. 각각의 클러스터들이 같은 코너 클러스터인지 아닌지에 대한 비교 방법으로는 각 클러스터 내 코너들 간의 평균 거리와 평균 각도를 기준으로 삼는다.Finally, the step S530 of finding an optimal match between the clusters and detecting the same object compares the clusters clustered in the step S520 of forming the clusters with each other in the two binocular images of the stereo camera, And finds the same objects that are shared with each other. The average distance and the average angle between the corners in each cluster are used as a comparison method of whether each cluster is the same corner cluster or not.
보다 구체적으로, 먼저 비교할 두 개의 영상에서 추출한 모든 헤리스 코너들의 클러스터에 대해 상기한 수학식 1을 이용하여 어느 하나의 중심 코너와 나머지 각각의 코너들의 거리들의 평균 거리와 중심 코너를 원점으로 중심 코너를 지나는 수평선과 각 코너들 간의 각도들의 평균 각도를 계산한 다음, 수학식 2를 이용하여 두 영상의 각 클러스터들 간의 평균 거리와 평균 각도를 비교하여 그 차이가 소정의 오차값 보다 작은 클러스터 쌍들을 매치로 판정한다. 그리고 각각의 객체에서 매치로 판정된 클러스터들 쌍의 개수를 통해 객체의 일치성을 측정할 수 있다.More specifically, with respect to clusters of all the Harris corners extracted from the two images to be compared first, an average distance between the center corners and the distances of the remaining corners is calculated using Equation (1) Then, the average distance between the respective clusters of the two images is compared with the average angle using Equation (2), and the pairs of clusters whose differences are smaller than a predetermined error value are matched . And we can measure object consistency through the number of pairs of clusters determined as matches in each object.
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the present invention is not limited to the disclosed exemplary embodiments, but various modifications may be made without departing from the spirit of the invention.
110 : 특징점 추출부
120 : 클러스터링부
130 : 매칭부
S510 : 특징점들을 검출하는 단계
S520 : 클러스터들을 형성하는 단계
S530 : 클러스터들 간 최적의 매치를 찾아 동일한 객체를 검출하는 단계110: feature point extracting unit
120: Clustering unit
130:
S510: Detecting feature points
S520: Step of forming clusters
S530: detecting the same object by finding an optimal match between clusters
Claims (12)
상기 특징점 추출부에서 추출된 다수의 근접 특징점의 각 특징점에서 일정 범위 안에 있는 특징점들을 하나의 클러스터로 군집화하는 클러스터링부; 및
상기 클러스터링부에서 군집화된 각각의 상기 클러스터들을 상기 스테레오 카메라의 상기 두 개의 양안 영상에서 서로 비교하여 최적의 매치를 찾아 서로 공유하는 동일한 객체를 검출하는 매칭부;를 포함하며,
상기 매칭부는 각각의 상기 클러스터들 내 특징점들 간의 평균 거리와 평균 각도를 기준으로 상기 스테레오 카메라의 상기 두 개의 양안 영상에서 서로 비교하여 최적의 매치를 찾아 서로 공유하는 동일한 객체를 검출하는 것을 특징으로 하는 스테레오 영상 특징점 매칭 시스템.A feature point extracting unit for extracting feature points constituting each object by a change in brightness value of an image in each of two images obtained from a stereo camera;
A clustering unit for grouping the feature points within a certain range of each feature point of the plurality of proximity feature points extracted by the feature point extraction unit into one cluster; And
And a matching unit that compares each of the clusters clustered in the clustering unit with each other in the two binocular images of the stereo camera to detect an identical object to find an optimal match,
Wherein the matching unit compares the two binocular images of the stereo camera on the basis of the average distance and the average angle between the minutiae in each of the clusters and detects the same object that finds the best match and shares with each other Stereo image feature point matching system.
상기 특징점 추출부는 상기 스테레오 카메라에서 획득된 영상에 윈도우를 씌워 상기 윈도우를 시프트시켰을 때 상기 윈도우에 해당하는 영상의 명암값 변화가 얼마나 크고 작은지에 대해 판단하여, 상기 특징점으로 추출하는 것을 특징으로 하는 스테레오 영상 특징점 매칭 시스템.In claim 1,
Wherein the feature point extracting unit extracts the feature points by judging how large or small the change of the lightness and darkness of the image corresponding to the window is when the window is shifted by covering the image obtained by the stereo camera, Image feature point matching system.
상기 클러스터링부는 상기 특징점 추출부에서 추출된 각 특징점마다, 다수의 근접 특징점의 상호 구조적 특성을 이용하여 추출된 각 특징점을 시점으로 그리고 그 주위의 근접 특징점들을 종점으로 상기 그 주위의 근접 특징점들과의 특징 벡터들을 생성하고, 인접한 다수의 특징점 벡터로 구성된 클러스터들을 형성하는, 스테레오 영상 특징점 매칭 시스템.In claim 1,
The clustering unit may be configured to classify each feature point extracted using the mutual structural feature of a plurality of adjacent feature points for each feature point extracted by the feature point extracting unit as a viewpoint and a neighboring feature point as an end point, Generating feature vectors and forming clusters of adjacent feature point vectors.
상기 평균 거리는 상기 클러스터 내 어느 하나의 중심 특징점과 나머지 각각의 특징점들의 거리들을 평균한 값이고,
상기 평균 각도는 상기 중심 특징점을 원점으로 상기 중심 특징점을 지나는 수평선과 상기 각각의 특징점들 간의 각도들을 평균한 값인, 스테레오 영상 특징점 매칭 시스템.In claim 1,
The average distance is a value obtained by averaging distances between any one of the central feature points and the remaining feature points in the cluster,
Wherein the average angle is a value obtained by averaging angles between horizontal lines passing through the central feature point and the respective feature points with the central feature point as an origin.
상기 매칭부는 상기 스테레오 카메라의 상기 두 개의 양안 영상의 각 클러스터들 간의 상기 평균 거리와 상기 평균 각도를 비교하여 그 차이가 소정의 오차값 보다 작은 클러스터 쌍들을 매치로 판정하는, 스테레오 영상 특징점 매칭 시스템.In claim 5,
Wherein the matching unit compares the average distance between each of the clusters of the two binocular images of the stereo camera with the average angle and determines cluster pairs in which the difference is less than a predetermined error value as a match.
추출된 다수의 근접 특징점의 각 특징점에서 일정 범위 안에 있는 특징점들을 하나의 클러스터로 군집화하는 단계; 및
군집화된 각각의 상기 클러스터들을 상기 스테레오 카메라의 상기 두 개의 양안 영상에서 서로 비교하여 최적의 매치를 찾아 서로 공유하는 동일한 객체를 검출하는 단계;를 포함하며,
상기 동일한 객체를 검출하는 단계는,
각각의 상기 클러스터들 내 특징점들 간의 평균 거리 및 평균 각도를 계산하는 단계; 및
상기 스테레오 카메라의 상기 두 개의 양안 영상에서 상기 평균 거리 및 상기 평균 각도를 기준으로 서로 매칭되는 클러스터들을 찾아 서로 공유하는 동일한 객체를 검출하는 단계;를 포함하는 것을 특징으로 하는 스테레오 영상 특징점 매칭 방법.Extracting feature points constituting each object by a change in brightness value of the image in each of the two images obtained from the stereo camera;
Clustering feature points within a certain range in each of the feature points of the extracted plurality of proximate feature points into one cluster; And
Comparing the clustered clusters with each other in the two binocular images of the stereo camera to find an optimal match and detecting the same object sharing each other,
Wherein the detecting the same object comprises:
Calculating an average distance and an average angle between feature points in each of the clusters; And
And detecting clusters matched with each other based on the average distance and the average angle in the two binocular images of the stereo camera to identify the same object sharing each other.
상기 특징점들을 추출하는 단계는:
상기 스테레오 카메라에서 획득된 영상에 윈도우를 씌워 상기 윈도우를 전방향으로 시프트시키는 단계,
상기 시프트시키는 단계를 통해 상기 윈도우에 해당하는 영상의 명암값 변화량을 판단하는 단계 및
상기 명암값 변화량이 전방향에 대해 소정의 임계값보다 큰 부분을 상기 특징으로 추출하는 단계를 포함하는, 스테레오 영상 특징점 매칭 방법.In claim 7,
Extracting the feature points comprises:
A step of shifting the window in all directions by covering a window on the image obtained from the stereo camera,
Determining a change amount of brightness and darkness of an image corresponding to the window through the shifting step;
And extracting, as the feature, a portion in which the amount of change in the lightness value is larger than a predetermined threshold value in all directions.
상기 군집화하는 단계는:
추출된 각 특징점마다, 다수의 근접 특징점의 각 특징점을 시점으로 그리고 그 주위의 근접 특징점들을 종점으로 상기 그 주위의 근접 특징점들과의 특징 벡터들을 생성하는 단계 및
상기 특징 벡터들의 크기가 소정의 크기보다 작은 인접한 다수의 특징점 벡터를 하나의 클러스터로 군집화하는 단계를 포함하는, 스테레오 영상 특징점 매칭 방법.In claim 7,
Wherein clustering comprises:
Generating feature vectors with neighboring nearby feature points for each extracted feature point, each feature point of a plurality of proximal feature points as a viewpoint, and neighboring feature points around the feature point as end points, and
And clustering a plurality of adjacent feature point vectors having a size of the feature vectors smaller than a predetermined size into one cluster.
상기 평균 거리는 상기 클러스터 내 어느 하나의 중심 특징점과 나머지 각각의 특징점들의 거리들을 평균한 값이고,
상기 평균 각도는 상기 중심 특징점을 원점으로 상기 중심 특징점을 지나는 수평선과 상기 각각의 특징점들 간의 각도들을 평균한 값인, 스테레오 영상 특징점 매칭 방법.In claim 7,
The average distance is a value obtained by averaging distances between any one of the central feature points and the remaining feature points in the cluster,
Wherein the average angle is a value obtained by averaging angles between a horizontal line passing through the central feature point and the respective feature points with the central feature point as an origin.
상기 동일한 객체를 검출하는 단계는 상기 스테레오 카메라의 상기 두 개의 양안 영상의 각 클러스터들 간의 상기 평균 거리와 상기 평균 각도를 비교하여 그 차이가 소정의 오차값 보다 작은 클러스터 쌍들을 매치로 판정하는, 스테레오 영상 특징점 매칭 방법.In claim 11,
Wherein detecting the same object comprises comparing the average distance between each of the clusters of the two binocular images of the stereo camera with the average angle and determining a pair of clusters whose difference is smaller than a predetermined error value, Image feature point matching method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180004856A KR101999797B1 (en) | 2018-01-15 | 2018-01-15 | Stereo image feature matching system and method based on harris corner vector clustering algorithm |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180004856A KR101999797B1 (en) | 2018-01-15 | 2018-01-15 | Stereo image feature matching system and method based on harris corner vector clustering algorithm |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101999797B1 true KR101999797B1 (en) | 2019-07-12 |
Family
ID=67254243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180004856A KR101999797B1 (en) | 2018-01-15 | 2018-01-15 | Stereo image feature matching system and method based on harris corner vector clustering algorithm |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101999797B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210126485A (en) * | 2020-04-09 | 2021-10-20 | 센스타임 인터내셔널 피티이. 리미티드. | Matching method, apparatus, electronic device, computer readable storage medium, and computer program |
| CN113743424A (en) * | 2021-09-15 | 2021-12-03 | 昆明理工大学 | DBSCAN cluster analysis method for extracting characteristic points of full tailings dynamic flocculation sedimentation image |
| US11461997B2 (en) | 2020-04-09 | 2022-10-04 | Sensetime International Pte. Ltd. | Matching method and apparatus, electronic device, computer-readable storage medium, and computer program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100762670B1 (en) | 2006-06-07 | 2007-10-01 | 삼성전자주식회사 | Method and device for generating disparity map from stereo image and stereo matching method and device therefor |
| KR20140056073A (en) * | 2012-10-30 | 2014-05-09 | 한국과학기술원 | Method and system for creating dynamic floating window for stereoscopic contents |
| KR20140120527A (en) | 2013-04-03 | 2014-10-14 | 삼성전기주식회사 | Apparatus and method for matchong stereo image |
-
2018
- 2018-01-15 KR KR1020180004856A patent/KR101999797B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100762670B1 (en) | 2006-06-07 | 2007-10-01 | 삼성전자주식회사 | Method and device for generating disparity map from stereo image and stereo matching method and device therefor |
| KR20140056073A (en) * | 2012-10-30 | 2014-05-09 | 한국과학기술원 | Method and system for creating dynamic floating window for stereoscopic contents |
| KR20140120527A (en) | 2013-04-03 | 2014-10-14 | 삼성전기주식회사 | Apparatus and method for matchong stereo image |
Non-Patent Citations (1)
| Title |
|---|
| 논문:김동현 외 2명* * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210126485A (en) * | 2020-04-09 | 2021-10-20 | 센스타임 인터내셔널 피티이. 리미티드. | Matching method, apparatus, electronic device, computer readable storage medium, and computer program |
| KR102433313B1 (en) * | 2020-04-09 | 2022-08-18 | 센스타임 인터내셔널 피티이. 리미티드. | Matching method, apparatus, electronic device, computer readable storage medium, and computer program |
| US11461997B2 (en) | 2020-04-09 | 2022-10-04 | Sensetime International Pte. Ltd. | Matching method and apparatus, electronic device, computer-readable storage medium, and computer program |
| CN113743424A (en) * | 2021-09-15 | 2021-12-03 | 昆明理工大学 | DBSCAN cluster analysis method for extracting characteristic points of full tailings dynamic flocculation sedimentation image |
| CN113743424B (en) * | 2021-09-15 | 2023-06-27 | 昆明理工大学 | Quantitative characterization method for dynamic flocculation sedimentation dispersion degree of flocs in dynamic flocculation sedimentation of full tailings |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112016401B (en) | Cross-mode pedestrian re-identification method and device | |
| CN109034047B (en) | Lane line detection method and device | |
| KR101999797B1 (en) | Stereo image feature matching system and method based on harris corner vector clustering algorithm | |
| CN110097093A (en) | A kind of heterologous accurate matching of image method | |
| EP3249579B1 (en) | Object recognition apparatus, objection recognition method, and program | |
| CN107833236A (en) | Semantic vision positioning system and method are combined under a kind of dynamic environment | |
| Fouhey et al. | Multiple plane detection in image pairs using j-linkage | |
| US20140270479A1 (en) | Systems and methods for parameter estimation of images | |
| CN109035207B (en) | Density self-adaptive laser point cloud characteristic detection method | |
| CN105160649A (en) | Multi-target tracking method and system based on kernel function unsupervised clustering | |
| KR101988551B1 (en) | Efficient object detection and matching system and method using stereo vision depth estimation | |
| CN105513080B (en) | A kind of infrared image target Salience estimation | |
| Tsintotas et al. | DOSeqSLAM: Dynamic on-line sequence based loop closure detection algorithm for SLAM | |
| CN104794451A (en) | Human identification method based on block matching structure | |
| CN111950498A (en) | Lane line detection method and device based on end-to-end instance segmentation | |
| Jelača et al. | Vehicle matching in smart camera networks using image projection profiles at multiple instances | |
| US20140169664A1 (en) | Apparatus and method for recognizing human in image | |
| Wang et al. | Road detection based on illuminant invariance and quadratic estimation | |
| US20110058032A1 (en) | Apparatus and method for detecting face | |
| Cozzolino et al. | A novel framework for image forgery localization | |
| KR101916460B1 (en) | Object recognition method and apparatus using depth information | |
| CN113994381A (en) | Method for detecting moving object | |
| KR101671488B1 (en) | Scalable Object Recognition by Hallucinating Contextually Missing Features | |
| Huang et al. | Improving keypoint matching using a landmark-based image representation | |
| Zhao et al. | Remote sensing image registration based on dynamic threshold calculation strategy and multiple-feature distance fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |