KR101733013B1

KR101733013B1 - 시점 변환이 일어난 물체의 sift 매칭을 위한 각도 정보를 활용하는 프로젝션 방법

Info

Publication number: KR101733013B1
Application number: KR1020160006117A
Authority: KR
Inventors: 이채은; 이상민; 조승행
Original assignee: 인하대학교 산학협력단
Priority date: 2016-01-18
Filing date: 2016-01-18
Publication date: 2017-05-08

Abstract

본 발명은 시점 변환이 일어난 물체의 SIFT 매칭을 위한 각도 정보를 활용하는 프로젝션 방법에 관한 것으로; 카메라를 통해 촬영되는 입력 이미지와 그 입력 이미지 속 임의의 지점의 기울어진 각도정보를 획득하는 제1단계, 상기 입력 이미지의 특징점(keypoint)의 정보를 이용해 이미지 윈도우를 생성하는 제2단계, 상기 이미지 윈도우에 상기 각도정보를 반영한 역방향 프로젝션(Back Projection)을 수행하여 역방향 윈도우를 생성하는 제3단계 및 상기 역방향 윈도우를 비교 이미지에 옮겨 경계선 내부 영역(S)을 이미지 윈도우에 프로젝션하는 제4단계로 구성되는 것을 특징으로 한다.
본 발명에 따른 프로젝션 방법에 의하면 카메라를 통해 촬영되는 입력 이미지의 기울어진 각도정보를 활용해 프로젝션을 수행함에 따라 기존의 방식들에 비해 입력 이미지 내 물체의 매칭율을 대폭 향상시키는 효과가 있다.

Description

시점 변환이 일어난 물체의 SIFT 매칭을 위한 각도 정보를 활용하는 프로젝션 방법 {Projection Method based on the Angle of Viewpoint in SIFT Matching}

본 발명은 시점 변환이 일어난 물체의 SIFT 매칭을 위한 각도 정보를 활용하는 프로젝션 방법에 관한 것으로서, 본 발명은 스테레오 카메라(Stereo Camera) 또는 뎁스 카메라(Depth Camera) 등의 카메라에서 촬영된 입력 이미지 속 임의의 지점의 기울어진 각도정보를 활용해서 특징점 주위의 윈도우를 프로젝션하는 시점 변환이 일어난 물체의 SIFT 매칭을 위한 각도 정보를 활용하는 프로젝션 방법에 관한 것이다.

카메라에서 촬영되는 영상 처리를 위해 등록특허 제10-1076487호 등에서와 같이 SIFT 등의 다양한 알고리즘이 이용되고 있다.

상기 SIFT(Scale Invariant Feature Transform)는 이미지 내에서 특징점을 추출하여 기술자(descriptor)를 생성하는 알고리즘으로, 생성된 기술자(descriptor)를 비교하여 참조이미지(Reference Image)의 물체를 다른 이미지에서 찾는데 사용한다.

상기 SIFT(Scale Invariant Feature Transform) 알고리즘은 참고문헌 2에서와 같이 David G. Lowe가 제안한 것으로, 이미지 내에서 특징점을 추출하는 알고리즘이다. 이는 크게 특징점(Keypoint)을 추출하는 과정과, 선택된 특징점의 기술자(Descriptor)를 생성하는 과정의 두 단계로 구분할 수 있다.

좀더 구체적으로 설명하면, 상기 특징점(Keypoint) 추출 과정은 카메라에서 촬영되어 이미지를 입력받고, 스케일 공간상의 후보 특징점을 추출하고, 후보 특징점의 안정성을 검사하여 안정된 특징점의 위치를 세부 위치로 보정하는 과정이다.

그리고, 상기 기술자(Descriptor) 생성 과정은 선택된 특징점들을 중심으로 주변 영역의 그레디언트(gradient)를 통해 방향 성분을 얻게 되고, 얻어진 방향 성분을 중심으로 관심 영역을 재설정하여 기술자(Descriptor)를 생성하는 과정이다. 이후 생성된 기술자(descriptor)를 비교하여 이미지 내의 물체를 매칭할 수 있다.

그런데, 이러한 SIFT 매칭은 기하변환, 광도변환이 일어난 이미지에 대해서는 높은 매칭률을 보이는 반면, 차원의 변환, 즉 시점이 변한 이미지에 대해서는 매칭률이 매우 낮다.

물론, 이를 보완하기 위해 참고문헌 3에서와 같이 다수의 시점의 이미지를 생성하고 이에 대해서 SIFT를 실행시켜 물체를 매칭하는 affine SIFT 알고리즘이 제안된 바 있다. 하지만, affine SIFT 알고리즘은 모든 시점의 이미지에 대해 기술자를 생성해야 하므로 계산 복잡도가 높은 단점이 있다.

또한, 참고문헌 4에서와 같이 시점변환이 일어난 경우에 물체의 경계선을 인식하여 원하는 시점으로 와핑시켜서 매칭을 수행하는 방식도 제안된 바 있다. 하지만 이와 같은 경계선 인식 알고리즘을 통한 방법은 배경과 분리된 경계를 명확히 지닌 물체에 대해서만 유효할 뿐, 이미지 속의 임의의 지점을 매칭하기에는 한계가 있다.

참고문헌 1 : 등록특허 제10-1076487호

참고문헌 2 : Lowe, David G. "Distinctive image features from scale-invariant keypoints." International journal of computer vision 60.2 (2004): 91-110 참고문헌 3 : Guoshen Yu and Jean-Michel Morel, "A Fully Affine Invariant Image Comparison Method", ICASSP 2009 참고문헌 4 : Robert Collins, "Lecture 16: Planar Homographies", CSE486, Penn State : 11-12, 14-23

따라서, 본 발명은 이러한 문제점들을 해결하기 위한 것으로서, 본 발명은 카메라에서 촬영된 입력 이미지의 SIFT 매칭을 위해 입력 이미지 속 임의의 지점의 기울어진 각도정보를 활용해서 특징점 주위의 윈도우를 프로젝션하여 매칭율을 향상시킬 수 있는 방법을 제공하는데 그 목적이 있다.

이와 같은 기술적 과제를 해결하기 위해 본 발명은;

카메라를 통해 촬영되는 입력 이미지와 그 입력 이미지 속 임의의 지점의 기울어진 각도정보를 획득하는 제1단계; 상기 입력 이미지의 특징점(keypoint)의 정보를 이용해 이미지 윈도우를 생성하는 제2단계; 상기 이미지 윈도우에 상기 각도정보를 반영한 역방향 프로젝션(Back Projection)을 수행하여 역방향 윈도우를 생성하는 제3단계; 및 상기 역방향 윈도우를 비교 이미지에 옮겨 경계선 내부 영역(S)을 이미지 윈도우에 프로젝션하는 제4단계;로 구성되는 것을 특징으로 하는 시점 변환이 일어난 물체의 SIFT 매칭을 위한 각도 정보를 활용하는 프로젝션 방법을 제공한다.

이때, 상기 제1단계는 스테레오 카메라(Stereo Camera) 또는 뎁스 카메라(Depth Camera)로부터 입력 이미지와 그 입력 이미지 속 임의의 지점의 기울어진 각도정보를 획득하는 단계인 것을 특징으로 한다.

또한, 상기 제2단계는 입력 이미지의 특징점(keypoint)의 평면 좌표값 위치에서의 특징점 스케일(scale) 및 옥타브(octave) 정보를 이용해 빈(empty) 상태의 이미지 윈도우를 생성하는 단계인 것을 특징으로 한다.

아울러, 상기 제2단계에서 입력 이미지의 특징점(keypoint)의 평면 좌표값 (x, y)을 이미지 윈도우의 중심(0, 0)으로 하며, 상기 이미지 윈도우의 네 꼭지점의 좌표는 (-w, w), (w, w), (w, -w), (-w, -w)이며; 상기 제3단계에서 상기 역방향 윈도우의 중심(0, 0)으로 하며, 네 꼭지점의 좌표는 (-w', w'), (w', w'), (w', -w'), (-w', -w')이며; 상기 제4단계에서 상기 역방향 윈도우의 중심 (0,0)은 비교 이미지에서 특징점(keypoint)의 평면 좌표값(X, Y) 위치에 해당하며, 역방향 윈도우의 꼭지점 좌표 (-w', w'), (w', w'), (w', -w'), (-w', -w')는 비교이미지에서 (-w' + X, w' + Y), (w' + X, w' + Y), (w' + X, -w' + Y), (-w' + X, -w' + Y)인 것을 특징으로 한다.

그리고, 상기 제4단계 수행 후, 프로젝션된 이미지 윈도우에 대해서 새로운 기술자를 생성하여 참조 이미지의 기술자와 비교를 통해 매칭을 수행하는 제5단계;를 더 포함하는 것을 특징으로 한다.

본 발명에 따른 프로젝션 방법에 의하면 카메라를 통해 촬영되는 입력 이미지의 기울어진 각도정보를 활용해 프로젝션을 수행함에 따라 기존의 방식들에 비해 입력 이미지 내 물체의 매칭율을 대폭 향상시키는 효과가 있다.

도 1은 본 발명에 따른 시점 변환이 일어난 물체의 SIFT 매칭을 위한 각도 정보를 활용하는 프로젝션 순서도이다.
도 2a는 본 발명에 따른 시점 변환이 일어난 물체의 SIFT 매칭을 위한 각도 정보를 활용하는 프로젝션을 위한 윈도우 생성과정을 도시한 도면이다.
도 2b는 본 발명에 따른 시점 변환이 일어난 물체의 SIFT 매칭을 위한 각도 정보를 활용하는 프로젝션을 위한 역방향 프로젝션 생성과정을 도시한 도면이다.
도 2c는 본 발명에 따른 시점 변환이 일어난 물체의 SIFT 매칭을 위한 각도 정보를 활용하는 프로젝션을 위한 역방향 프로젝션 생성과정을 도시한 도면이다.
도 3은 본 발명에 따른 시점 변환이 일어난 물체의 SIFT 매칭을 위한 각도 정보를 활용하는 프로젝션 방법을 적용한 실험 결과를 도시한 표이다.

이하, 본 발명에 따른 시점 변환이 일어난 물체의 SIFT 매칭을 위한 각도 정보를 활용하는 프로젝션 방법을 첨부한 도면을 참고로 하여 상세히 기술되는 실시 예에 의하여 그 특징들을 이해할 수 있을 것이다.

이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들은 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

도 1은 본 발명에 따른 시점 변환이 일어난 물체의 SIFT 매칭을 위한 각도 정보를 활용하는 프로젝션 순서도이다.

도 2a 내지 도 2c는 본 발명에 따른 시점 변환이 일어난 물체의 SIFT 매칭을 위한 각도 정보를 활용하는 프로젝션 과정을 순차적으로 도시한 도면들이다.

이를 참고하면 본 발명에 따른 시점 변환이 일어난 물체의 SIFT 매칭을 위한 각도 정보를 활용하는 프로젝션 방법은 카메라에서 촬영한 이미지 속 임의의 지점의 기울어진 각도정보를 활용해서 특징점(Keypoint) 주위의 윈도우를 프로젝션 한 후에 기술자를 생성하여 매칭하는 방법을 제공한다.

이때, 상기 카메라는 스테레오 카메라(Stereo Camera) 또는 뎁스 카메라(Depth Camera)를 사용할 수 있으며, 이들 스테레오 카메라(Stereo Camera) 또는 뎁스 카메라(Depth Camera)를 통해 이미지 속 임의의 지점의 기울어진 각도정보를 획득함이 바람직하다.

이와 같은 본 발명에 따른 시점 변환이 일어난 물체의 SIFT 매칭을 위한 각도 정보를 활용하는 프로젝션 방법은 카메라를 통해 촬영되는 입력 이미지(100)와 그 입력 이미지(100) 속 임의의 지점의 기울어진 각도정보를 획득하는 단계(S1)와, 상기 입력 이미지(100)의 특징점(keypoint)의 정보를 이용해 이미지 윈도우(200)를 생성하는 단계(S2)와, 상기 이미지 윈도우(200)에 상기 각도정보를 반영한 역방향 프로젝션(Back Projection)을 수행하여 역방향 윈도우(300)를 생성하는 단계(S3)와, 상기 역방향 윈도우(300)를 비교 이미지(400)에 옮겨 경계선(310) 내부 영역(S)을 이미지 윈도우(200)에 프로젝션하는 단계(S4)으로 구성된다.

이하, 본 발명에 따른 시점 변환이 일어난 물체의 SIFT 매칭 위한 각도 정보를 활용하는 프로젝션 과정을 성세히 설명한다.

먼저, 상기 이미지 및 각도정보 획득 단계(S1)는 카메라인 스테레오 카메라(Stereo Camera) 또는 뎁스 카메라(Depth Camera) 등을 통해 입력 이미지(100)를 촬영한다.

이와 같은 카메라에서 촬영되는 입력 이미지(100)와, 입력 이미지(100) 속 임의의 지점의 기울어진 각도정보를 연산처리장치(미도시됨)로 입력받는다.

이하에서는 연산처리장치(미도시됨)에서 연산을 수행하는 것으로 설명한다.

상기 이미지 및 각도정보 획득 단계(S1)를 수행한 후, 상기 입력 이미지(100)의 특징점(keypoint)의 정보를 이용해 이미지 윈도우(200)를 생성하는 단계(S2)를 수행한다.

상기 단계(S2)는 도 2a에 도시된 바와 같이 좌측의 입력 이미지(100)가 입력되면 특징점(keypoint)을 찾아낸다. 특징점(keypoint)의 평면 좌표값(x, y) 위치에서의 특징점 스케일(scale) 및 옥타브(octave) 정보를 이용해 도 2a의 우측과 같이 빈(empty) 상태의 이미지 윈도우(200)를 생성한다.

이 경우 상기 이미지 윈도우(200)는 도시된 바와 같이 사각형 특히 정사각형의 빈(empty) 상태로 이루어지도록 한다. 이때 이미지 윈도우(200)의 중심을 (0, 0)으로 두면 네 꼭지점의 좌표는 (-w, w), (w, w), (w, -w), (-w, -w)가 된다.

상기 이미지 윈도우(200) 생성 단계(S2)를 수행한 후, 역방향 윈도우(300)를 생성하는 단계(S3)를 수행한다.

상기 단계(S3)는 도 2b에 도시된 바와 같이 상기 단계(S2)를 통해 생성된 이미지 윈도우(200)에 각도정보를 반영하여 현재 특징점의 각도만큼 역방향으로 프로젝션하여 역방향 윈도우(300)를 생성한다. 이때, 상기 이미지 윈도우(200)의 꼭지점 (-w, w), (w, w), (w, -w), (-w, -w)는 역방향 프로젝션 후 역방향 윈도우(300)의 중심을 (0, 0)으로 두면 네 꼭지점의 좌표는 (-w', w'), (w', w'), (w', -w'), (-w', -w')가 된다.

상기 역방향 윈도우(300)를 생성하는 단계(S3)를 수행한 후, 상기 역방향 윈도우(300)를 비교 이미지(400)에 옮겨 경계선(310) 내부 영역(S)을 상기 이미지 윈도우(200)에 프로젝션하는 단계(S4)를 수행한다.

상기 단계(S4)는 도 2c에 도시된 바와 같이 역방향 윈도우(300)를 비교 이미지(400)에 옮기게 되면, 역방향 윈도우(300)의 중심 (0,0)은 비교 이미지(400)에서 특징점(keypoint)의 평면 좌표값(X, Y) 위치에 해당하며, 역방향 윈도우(300)의 꼭지점 좌표 (-w', w'), (w', w'), (w', -w'), (-w', -w')는 비교이미지()에서 (-w' + X, w' + Y), (w' + X, w' + Y), (w' + X, -w' + Y), (-w' + X, -w' + Y)가 된다.

이와 같이 역방향 윈도우(300)의 꼭지점 좌표를 이용해 비교 이미지(400) 내에서의 네 꼭지점 좌표를 도출해낸 후, 경계선(310) 내부 영역(S)을 이미지 윈도우(200)에 프로젝션하게 된다.

이상의 단계(S2 ~ S4)를 통하여 물체의 경계선 내부의 영역을 프로젝션하는 기존 알고리즘을 그대로 사용할 수 있게 된다.

이때, 이미지 윈도우(200)를 가로 및 세로 방향으로 더 넓혀 주변 픽셀(pixel) 영역을 통해 기술자(descriptor) 생성에 오차를 줄일 수 있다.

상기 단계(S4)를 수행한 후, 프로젝션된 이미지 윈도우(200)에 대해서 새로운 기술자를 생성하여 참조 이미지의 기술자와 비교를 통해 매칭을 수행한다. 이 과정을 비교 이미지의 모든 특징점에 대해 수행함으로서 시점변환이 일어난 물체를 매칭할 수 있다.

이하, 도 3을 참고로 본 발명에 따른 시점 변환이 일어난 물체의 SIFT 매칭을 위한 각도 정보를 활용하는 프로젝션 방법에 따른 실험결과를 설명한다.

본 발명에서 제안하는 프로젝션의 성능을 검증하기 위하여 여러각도에서 촬영한 이미지에 대해서 참조 이미지와 매칭을 실험을 실시하였다.

우선 기존의 SIFT 매칭 방법으로 결과를 도출하고, 본 발명에 따른 프로젝션 방법을 통해 결과를 도출해서 비교한 결과는 도 3의 비교표에서와 같으며, 이는 카메라 렌즈로부터 60cm 거리에 10 ~ 70°만큼 기울어져 있는 이미지에 대한 매칭 결과값이다. 두번째 열은 기존의 SIFT 매칭에 대한 결과이고, 세번째 열은 본 발명에서 제안하는 프로젝션 방법으로 도출된 결과이다. 기울어짐이 커질수록 매칭 개수가 줄어들긴 하지만 기존 알고리즘과 비교할때 제안하는 알고리즘의 매칭율 향상이 매우 크다는 것을 실험결과를 통해 확인할 수 있다.

본 발명에서는 SIFT 알고리즘에서 시점 변환이 일어난 비교 이미지에 대해서 frontal view로 프로젝션할 때 원하는 물체를 매칭하기 위한 프로젝션의 방법을 제안했다. 본 발명에 따른 프로젝션 방법은 이를 간소화시키는 경우 실시간 매칭이 가능한 애플리케이션(application)으로 설계가 가능하다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형 가능한 것으로, 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 입력 이미지 200: 이미지 윈도우
300: 역방향 윈도우 400: 비교 이미지

Claims

카메라를 통해 촬영되는 입력 이미지와 그 입력 이미지 속 임의의 지점의 기울어진 각도정보를 획득하는 제1단계;
상기 입력 이미지의 특징점(keypoint)의 정보를 이용해 이미지 윈도우를 생성하는 제2단계;
상기 이미지 윈도우에 상기 각도정보를 반영한 역방향 프로젝션(BackProjection)을 수행하여 역방향 윈도우를 생성하는 제3단계; 및
상기 역방향 윈도우를 비교 이미지에 옮겨 경계선 내부 영역(S)을 이미지 윈도우에 프로젝션하는 제4단계;로 구성되고
상기 제2단계는 입력 이미지의 특징점(keypoint)의 평면 좌표값 위치에서의 특징점 스케일(scale) 및 옥타브(octave) 정보를 이용해 빈(empty) 상태의 이미지 윈도우를 생성하는 단계인 것을 특징으로 하는 시점 변환이 일어난물체의 SIFT 매칭을 위한 각도 정보를 활용하는 프로젝션 방법.
제 1항에 있어서,
상기 제1단계는 스테레오 카메라(Stereo Camera) 또는 뎁스 카메라(Depth Camera)로부터 입력 이미지와 그 입력 이미지 속 임의의 지점의 기울어진 각도정보를 획득하는 단계인 것을 특징으로 하는 시점 변환이 일어난 물체의 SIFT 매칭을 위한 각도 정보를 활용하는 프로젝션 방법.
삭제
제 1항에 있어서,
상기 제2단계에서 입력 이미지의 특징점(keypoint)의 평면 좌표값 (x, y)을 이미지 윈도우의 중심(0, 0)으로 하며, 상기 이미지 윈도우의 네 꼭지점의 좌표는 (-w, w), (w, w), (w, -w), (-w, -w)이며;
상기 제3단계에서 상기 역방향 윈도우의 중심 (0, 0)으로 하며, 네 꼭지점의 좌표는 (-w', w'), (w', w'), (w', -w'), (-w', -w')이며;
상기 제4단계에서 상기 역방향 윈도우의 중심 (0,0)은 비교 이미지에서 특징점(keypoint)의 평면 좌표값(X, Y) 위치에 해당하며, 역방향 윈도우의 꼭지점 좌표 (-w', w'), (w', w'), (w', -w'), (-w', -w')는 비교이미지에서 (-w' + X, w' + Y), (w' + X, w' + Y), (w' + X, -w' + Y), (-w' + X, -w' + Y)인 것을 특징으로 하는 시점 변환이 일어난 물체의 SIFT 매칭을 위한 각도 정보를 활용하는 프로젝션 방법.
제 1항에 있어서,
상기 제4단계 수행 후, 프로젝션된 이미지 윈도우에 대해서 새로운 기술자를 생성하여 참조 이미지의 기술자와 비교를 통해 매칭을 수행하는 제5단계;를 더 포함하는 것을 특징으로 하는 시점 변환이 일어난 물체의 SIFT 매칭을 위한 각도 정보를 활용하는 프로젝션 방법.