KR20110080097A

KR20110080097A - 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법

Info

Publication number: KR20110080097A
Application number: KR1020100000272A
Authority: KR
Inventors: 윤석준; 노경식; 형승용; 안성환
Original assignee: 삼성전자주식회사
Priority date: 2010-01-04
Filing date: 2010-01-04
Publication date: 2011-07-12
Also published as: US20110164832A1; US8498472B2; KR101633620B1

Abstract

영상 기반의 위치 인식을 구현하는데 있어서 영상의 특징점을 추출하여 등록하는 장치 및 그 방법을 개시한다. 영상에서 코너로 인식이 되는 특징점을 2D 코너와 3D 코너로 분리하여 특징점의 깊이 정보를 구하고, 특징점의 영상 좌표와 깊이 정보를 이용하여 2D 코너와 3D 코너로 분리된 특징점의 3차원 좌표를 안정되게 등록함으로써 영상 기반 로봇의 위치 인식을 정확히 수행할 수 있게 된다. 이에 따라 영상 기반 로봇의 위치 인식을 기반으로 하는 증강 현실(AR;Augmented Reality) 구현을 보다 효과적으로 수행할 수 있도록 한다.

Description

영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법{FEATURE REGISTRATION APPARATUS FOR IMAGE BASED LOCALIZATION AND METHOD THE SAME}

영상 기반의 위치 인식을 구현하는데 있어서 영상의 특징점을 추출하여 등록하는 장치 및 그 방법에 관한 것이다.

로봇이 자율적으로 이동하기 위해서는 주변 환경에 대한 사전 정보 없이 자기의 위치를 인식하고, 환경에 대한 정보로부터 지도를 작성하는 위치 인식(Localization)과 지도 작성(Mapping)의 과정이 동시에 유기적으로 수행되어야 한다. 이를 로봇의 동시 위치 인식 및 지도 작성(Simultaneous Localization And Mapping; SLAM)이라 한다.

SLAM은 전방위 시야를 갖는 카메라를 통해 영상을 획득하여 실시간으로 지도를 작성하며 자기 위치를 인식하는 영상 기반의 위치 인식 기술로서, 영상 기반의 위치 인식을 수행하기 위해서는 영상의 특징점(Feature)을 추출하고, 그 특징점(Feature)에 해당하는 3차원 좌표값을 구하여 3차원 특징점(Feature)으로 등록해야 한다. 영상에서 특징점(Feature)은 주로 코너(Corner)가 사용되는데, 이는 코너의 경우 영상이 움직일 때, 강인하게 추적이 되기 때문이다. 통상 이러한 3차원 정보를 추출하기 위하여 스테레오 비전(Stereo Vision)/TOF(Time of Flight) 카메라를 사용한다. 그러나 이러한 코너의 3차원 정보를 추출할 경우, 스테레오 비전(Stereo Vision)/TOF(Time of Flight) 카메라로부터 값을 얻지 못하는 경우가 발생된다. 그 이유는 스테레오 비전(Stereo Vision) 카메라의 경우 두 영상의 시차(Disparity)를 이용하여 3차원 정보를 구하게 되나 3차원 형상의 경우 폐색(Occlusion)이 발생되기 때문에 코너 지점에서의 3차원 정보를 구하지 못하는 경우가 발생한다. 또한, TOF(Time of Flight) 카메라의 경우에도 모서리에서 회절 등이 발생되기 때문에 모서리 부분이 정확히 구분되지 않으며, 이에 따라 3차원 정보를 구하지 못하는 경우가 발생한다.

영상에서 코너로 인식이 되는 특징점을 2D 코너와 3D 코너로 분리하여 특징점의 깊이 정보를 구하고, 특징점의 영상 좌표와 깊이 정보를 이용하여 3차원 특징점을 등록하는 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법을 개시한다.

이를 위해 본 발명의 일 측면에 의한 영상 기반의 위치 인식을 위한 특징점 등록 장치는, 영상을 획득하는 카메라; 카메라에서 획득한 영상의 특징점을 추출하는 특징점 추출부; 특징점을 2D 코너와 3D 코너로 분리하여 특징점의 깊이 정보를 계산하는 계산부; 특징점의 깊이 정보와 특징점의 영상 좌표를 이용하여 특징점의 3차원 좌표를 등록하는 특징점 등록부를 포함한다.

특징점 추출부는 특징점을 포함하는 윈도우의 3차원 정보를 획득한다.

또한, 본 발명의 일 측면에 의한 영상 기반의 위치 인식을 위한 특징점 등록 장치는, 특징점을 포함하는 윈도우의 3차원 정보를 이용하여 특징점이 2D 코너인지 또는 3D 코너인지 판단하는 코너 판단부를 더 포함한다.

계산부는 특징점이 2D 코너인 경우, 윈도우 전체 영역의 평균 깊이 값을 특징점의 깊이 정보로 계산한다.

계산부는 특징점이 3D 코너인 경우, 영상의 전경 영역을 추출하여 전경 영역의 평균 깊이 값을 특징점의 깊이 정보로 계산한다.

계산부는 윈도우의 깊이 분포를 계산하여 영상의 전경 영역과 배경 영역을 분리한다.

본 발명의 일 측면에 의한 영상 기반의 위치 인식을 위한 특징점 등록 방법은, 카메라의 영상을 획득하고; 획득한 영상으로부터 특징점을 추출하여 특징점을 포함하는 윈도우의 3차원 정보를 획득하고; 특징점을 포함하는 윈도우의 3차원 정보에 따라 특징점이 2D 코너인지 또는 3D 코너인지 판단하고; 2D 코너 또는 3D 코너의 깊이 정보를 계산하고; 2D 코너 또는 3D 코너의 깊이 정보와 특징점의 영상 좌표를 이용하여 특징점의 3차원 좌표를 등록한다.

특징점이 3D 코너인 경우, 윈도우의 깊이 분포에 따라 영상을 전경 영역과 배경 영역으로 분리하는 것을 더 포함한다.

특징점이 3D 코너인 경우, 분리된 전경 영역의 평균 깊이 값을 특징점의 깊이 정보로 계산한다.

개시된 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법에 의하면, 영상에서 코너로 인식이 되는 특징점을 2D 코너와 3D 코너로 분리하여 특징점의 깊이 정보를 구하고, 특징점의 영상 좌표와 깊이 정보를 이용하여 2D 코너와 3D 코너로 분리된 특징점의 3차원 좌표를 안정되게 등록함으로써 영상 기반 로봇의 위치 인식을 정확히 수행할 수 있게 된다. 이에 따라 영상 기반 로봇의 위치 인식을 기반으로 하는 증강 현실(AR;Augmented Reality) 구현을 보다 효과적으로 수행할 수 있도록 한다.

도 1은 본 발명의 일 실시예에 의한 영상 기반의 위치 인식을 위한 특징점 등록 장치의 제어 블록도이다.
도 2는 본 발명의 일 실시예에 의한 영상 기반의 위치 인식을 위한 특징점 등록 방법을 나타낸 동작 순서도이다.
도 3은 본 발명의 일 실시예에 의한 특징점 추출을 위한 실제 영상이다.
도 4는 본 발명의 일 실시예에 의한 특징점 추출의 개념도이다.
도 5는 본 발명의 일 실시예에 의한 특징점의 2D/3D 코너 정보를 나타낸 개념도이다.

이하, 본 발명의 일 실시예를 첨부된 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 일 실시예에 의한 영상 기반의 위치 인식을 위한 특징점 등록 장치의 제어 블록도로서, 영상 획득부(10), 특징점 추출부(20), 코너 판단부(30), 계산부(40), 저장부(50) 및 특징점 등록부(60)를 포함한다.

영상 획득부(10)는 로봇이 주변 환경에 대한 사전 정보 없이 이동할 때 이동하는 경로 상의 영상을 촬영하여 경로 상에 위치하는 다양한 물체(예를 들어, 책꽂이나 스탠드 등)의 3차원 정보를 실시간으로 획득하는 3차원 측정장비(예를 들어, 스테레오 카메라, TOF 카메라 등)이다. 3차원 측정장비는 카메라의 각각의 픽셀에 영상 정보를 알 수 있을 뿐만 아니라 검출한 물체의 거리 정보까지 알 수 있어 카메라의 영상과 3차원 정보(깊이 정보)를 획득한다. 한편, 3차원 측정장비인 영상 획득부(10)는 지능 로봇 이외의 게임기, 휴대폰, 스마트폰 등의 IT 기기에 마련될 수 있다.

특징점 추출부(20)는 영상 획득부(10)를 통해 획득된 영상의 3차원 정보를 입력받아 특징점을 추출하고, 이에 해당하는 3차원 정보(깊이 정보)를 획득한다. 특징점은 로봇이 이동하는 환경 상에 일정한 점을 선택하였을 때 시간과 관찰 각도에 의해서 변하지 않는 정량적 특징을 추출할 수 있어야 한다. 보통 영상에서는 주로 코너(Corner)를 사용하여 어느 각도에서 관찰하여도 변하지 않는 특징점을 찾아낸다. 이는 코너(Corner)의 경우 영상이 움직일 때 강인하게 추적이 되기 때문이다.

따라서, 특징점 추출부(20)는 3차원 측정장비인 영상 획득부(10)를 통해 획득된 영상으로부터 특징점을 추출하고, 특징점을 포함하는 윈도우(예를 들어, 11×11 윈도우)의 3차원 정보(깊이 정보)를 획득한다.

코너 판단부(30)는 특징점을 포함하는 윈도우의 3차원 정보(깊이 정보)를 이용하여 영상의 특징점이 2D 코너인지 또는 3D 코너인지를 판단한다. 영상에서 코너로 인식이 되는 특징점은 실제 공간상에서 2D 평면상의 코너와 3D 공간상의 코너로 나누어진다.

특징점이 3D 코너인 경우, 특징점을 포함하는 윈도우의 3차원 정보(깊이 정보)에 불연속성(Discontinuity)이 존재한다. 그 이유는 영상 획득부(10)의 3차원 측정장비로 스테레오 카메라를 사용할 경우, 두 영상(Stereo Image)의 시차(Disparity)를 이용하여 3차원 정보를 획득하기 위해서는 시차 맵(Disparity Map)의 정확한 계산이 요구되나 시차 맵(Disparity map)에 오차가 발생하면 한쪽 영상 내의 점이 그에 대응하는 다른 쪽 영상 내에서 보이지 않는 폐색(Occlusion)이 발생되어 코너 지점에서의 3차원 정보를 구하지 못하는 경우가 발생하기 때문이다. 또한, 영상 획득부(10)의 3차원 측정장비로 TOF(Time of Flight) 카메라를 사용할 경우, 모서리에서 회절 등이 발생되기 때문에 모서리 부분이 정확히 구분되지 않으며, 이에 따라 정확한 3차원 정보를 구하지 못하는 경우가 발생한다.

따라서, 코너 판단부(30)는 특징점 추출부(20)를 통해 추출된 특징점을 포함하는 윈도우의 3차원 정보(깊이 정보)를 이용하여 영상의 특징점이 실제 공간상에서 2D 코너인지 또는 3D 코너인지를 판단한다.

계산부(40)는 코너 판단부(30)에서 판단된 영상의 특징점이 2D 코너인 경우와 3D 코너인 경우를 분리하여 2D 코너와 3D 코너로 분리된 특징점의 깊이 정보(깊이 값)를 계산한다.

코너 판단부(30)에서 판단된 영상의 특징점이 2D 코너인 경우, 계산부(40)는 2D 코너의 깊이 값을 아래의 [수학식 1]을 이용하여 윈도우의 크기에 해당하는 깊이의 평균값 즉, 전체 윈도우 영역의 평균 깊이 값으로 계산한다.

[수학식 1]

계산부(40)에서 2D 코너의 깊이 값을 위의 [수학식 1]을 이용하여 계산할 경우, i, j는 특징점을 포함하는 윈도우 영역의 x, y 픽셀 좌표 중 (i, j) 영역의 윈도우 크기를 나타낸다.

코너 판단부(30)에서 판단된 영상의 특징점이 3D 코너인 경우, 계산부(40)는 윈도우의 깊이 분포 즉, 깊이의 변화량을 계산하여 배경(Background) 영역과 전경(Foreground) 영역을 추출한다. 추출법은 11×11 윈도우의 경우 가장 깊이가 작은 영역을 전경(Foreground) 영역으로 추출하여 분리한다. 다만, 시차 맵(Disparity Map)의 오차를 고려하여 윈도우의 크기에 따라 최소 개수를 제한한다.

따라서, 계산부(40)는 3D 코너의 깊이 값을 위의 [수학식 1]을 이용하여 분리된 전경(Foreground) 영역의 깊이의 평균값으로 계산한다.

계산부(40)에서 3D 코너의 깊이 값을 위의 [수학식 1]을 이용하여 계산할 경우, i, j는 전경(Foreground) 영역의 x, y 픽셀 좌표 중 (i, j) 영역의 윈도우 크기를 나타낸다.

저장부(50)는 계산부(40)를 통해 2D 코너와 3D 코너로 분리되어 계산된 특징점의 깊이 정보를 저장한다. 특징점이 2D 코너인 경우에는 특징점의 깊이 정보를 윈도우 전체 영역의 평균 깊이 값으로 저장하고, 특징점이 3D 코너인 경우에는 특징점의 깊이 정보를 전경(Foreground) 영역의 평균 깊이 값으로 저장한다.

특징점 등록부(60)는 저장부(50)에 저장된 2D 코너 또는 3D 코너의 특징점의 깊이 정보와 특징점 추출부(20)를 통해 추출된 특징점의 영상 좌표(x, y)를 이용하여 특징점의 3차원 좌표(X, Y, Z)를 구한다. 이때 구해진 3차원 좌표(X, Y, Z)의 점을 3차원 특징점인 표식(Landmark)으로 등록한다.

이하, 상기와 같이 구성된 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법의 동작과정 및 작용효과를 설명한다.

도 2는 본 발명의 일 실시예에 의한 영상 기반의 위치 인식을 위한 특징점 등록 방법을 나타낸 동작 순서도이고, 도 3은 본 발명의 일 실시예에 의한 특징점 추출을 위한 실제 영상이며, 도 4는 본 발명의 일 실시예에 의한 특징점 추출의 개념도이고, 도 5는 본 발명의 일 실시예에 의한 특징점의 2D/3D 코너 정보를 나타낸 개념도이다.

도 2에서, 로봇이 주변 환경에 대한 사전 정보 없이 이동하면, 로봇에 마련된 영상 획득부(10)는 로봇이 이동하는 경로 상의 영상을 도 3에 도시한 바와 같이, 촬영하여 경로 상에 위치하는 다양한 물체(예를 들어, 책꽂이나 스탠드 등)의 영상과 3차원 정보(깊이 정보)를 획득한다(100).

특징점 추출부(20)는 영상 획득부(10)를 통해 획득된 영상의 3차원 정보를 입력받아 도 4에 도시한 바와 같이, 영상의 코너로 인식이 되는 특징점(ㅁ)을 추출한다(102). 도 4에서 알 수 있듯이, 보통 영상에서는 주로 코너(Corner)를 사용하여 어느 각도에서 관찰하여도 변하지 않는 특징점(ㅁ)을 찾아낸다. 이는 코너(Corner)의 경우 영상이 움직일 때 강인하게 추적이 되기 때문이다.

이와 같이, 영상의 특징점(ㅁ)이 추출되면, 특징점 추출부(20)는 추출된 영상의 특징점(ㅁ)을 포함하는 윈도우(예를 들어, 11×11 윈도우)의 3차원 정보(깊이 정보)를 획득한다(104).

이후, 코너 판단부(30)는 특징점을 포함하는 윈도우의 3차원 정보(깊이 정보)를 이용하여 영상의 특징점이 2D 코너(평면)인지를 판단한다(106). 영상에서 코너로 인식이 되는 특징점은 실제 공간상에서 2D 평면상의 코너와 3D 공간상의 코너로 나누어진다. 따라서 도 5에 도시한 바와 같이, 영상의 특징점이 3차원 공간상에서 2D 코너(예를 들어, 책꽂이)인지 또는 3D 코너(예를 들어, 스탠드)인지를 판단해야 한다. 이는 영상의 특징점이 3D 코너인 경우, 특징점의 3차원 정보(깊이 정보)에 불연속성(Discontinuity)이 존재하게 되므로 어느 정보를 이용하여 3차원 특징점의 초기화(initialization)를 수행할 지 결정해야 하기 때문이다. 그 이유는 3D 코너의 3차원 정보를 추출할 경우 3차원 정보를 구하지 못하는 경우가 발생하지 않도록 하기 위함이다.

단계 106의 판단 결과, 영상의 특징점이 2D 코너인 경우, 계산부(40)는 윈도우의 크기에 해당하는 평균 깊이 값 즉, 전체 윈도우 영역의 평균 깊이 값을 아래의 [수학식 1]을 이용하여 계산한다(108).

[수학식 1]

[수학식 1]을 이용하여 계산된 윈도우의 크기에 해당하는 평균 깊이 값이 2D 코너의 깊이 값이 된다.

그리고, 계산부(40)를 통해 계산된 2D 코너의 깊이 값 즉, 2D 코너인 특징점의 깊이 정보를 저장부(50)에 저장한다(110).

한편, 단계 106의 판단 결과, 영상의 특징점이 2D 코너가 아닌 경우, 영상의 특징점이 3D 코너에 해당하므로 계산부(40)는 윈도우의 깊이 분포를 계산하여 영상의 배경(Background) 영역과 전경(Foreground) 영역을 추출하되, 깊이가 가장 작은 영역을 전경(Foreground) 영역으로 분리한다(112).

이와 같이, 영상의 배경(Background) 영역과 전경(Foreground) 영역이 분리되면, 계산부(40)는 분리된 전경(Foreground) 영역의 평균 깊이 값을 아래의 [수학식 1]을 이용하여 계산한다(114).

[수학식 1]

그리고, 계산부(40)를 통해 계산된 3D 코너의 깊이 값 즉, 3D 코너인 특징점의 깊이 정보를 저장부(50)에 저장한다(110).

저장부(50)에 2D 코너와 3D 코너의 특징점의 깊이 정보가 저장되면, 특징점 등록부(60)는 특징점 추출부(20)를 통해 추출된 특징점의 영상 좌표(x, y)와, 저장부(50)에 저장된 2D 코너와 3D 코너의 특징점의 깊이 정보를 이용하여 영상의 특징점이 2D 코너인 경우와 3D 코너인 경우 각각에 있어서 특징점의 3차원 좌표(X, Y, Z)를 구한다(116).

그리고, 구한 3차원 좌표(X, Y, Z)의 점을 3차원 특징점인 표식(Landmark)으로 등록한다(118).

따라서, 영상에서 코너로 인식이 되는 특징점을 실제 공간상에서 2D 평면상의 코너와 3D 공간상의 코너로 나누어 3차원 정보를 얻지 못하는 경우가 발생되지 않도록 함으로써 SLAM의 성능이 향상된 영상 기반의 위치 인식을 수행한다.

한편, 본 발명의 일 실시예에서는 로봇으로 가사 도우미 로봇, 공공장소용 서비스 로봇이나 지능형 휴머노이드 로봇 등과 같이 자율적으로 이동을 해야 하는 이동 로봇을 예로 들어 설명하였으나, 본 발명은 이에 한정되지 않고 휴대폰이나 wearable 형태로 탑재되어 현재의 위치를 인지하여 진행해야 할 방향을 알려 줄 수도 있고, 차량에 탑재되어 무인으로 목적지에 도달하거나 자동으로 주차를 하는 등의 다양한 응용기술에도 적용 가능함은 물론이다.

10 : 영상 획득부 20 : 특징점 추출부
30 : 코너 판단부 40 : 계산부
50 : 저장부 60 : 특징점 등록부

Claims

영상을 획득하는 카메라;
상기 카메라에서 획득한 영상의 특징점을 추출하는 특징점 추출부;
상기 특징점을 2D 코너와 3D 코너로 분리하여 상기 특징점의 깊이 정보를 계산하는 계산부;
상기 특징점의 깊이 정보와 상기 특징점의 영상 좌표를 이용하여 상기 특징점의 3차원 좌표를 등록하는 특징점 등록부를 포함하는 영상 기반의 위치 인식을 위한 특징점 등록 장치.
제1항에 있어서,
상기 특징점 추출부는 상기 특징점을 포함하는 윈도우의 3차원 정보를 획득하는 영상 기반의 위치 인식을 위한 특징점 등록 장치.
제2항에 있어서,
상기 특징점을 포함하는 윈도우의 3차원 정보를 이용하여 상기 특징점이 2D 코너인지 또는 3D 코너인지 판단하는 코너 판단부를 더 포함하는 영상 기반의 위치 인식을 위한 특징점 등록 장치.
제3항에 있어서,
상기 계산부는 상기 특징점이 2D 코너인 경우, 상기 윈도우 전체 영역의 평균 깊이 값을 상기 특징점의 깊이 정보로 계산하는 영상 기반의 위치 인식을 위한 특징점 등록 장치.
제3항에 있어서,
상기 계산부는 상기 특징점이 3D 코너인 경우, 상기 영상의 전경 영역을 추출하여 상기 전경 영역의 평균 깊이 값을 상기 특징점의 깊이 정보로 계산하는 영상 기반의 위치 인식을 위한 특징점 등록 장치.
제5항에 있어서,
상기 계산부는 상기 윈도우의 깊이 분포를 계산하여 상기 영상의 전경 영역과 배경 영역을 분리하는 영상 기반의 위치 인식을 위한 특징점 등록 장치.
카메라의 영상을 획득하고;
상기 획득한 영상으로부터 특징점을 추출하여 상기 특징점을 포함하는 윈도우의 3차원 정보를 획득하고;
상기 특징점을 포함하는 윈도우의 3차원 정보에 따라 상기 특징점이 2D 코너인지 또는 3D 코너인지 판단하고;
상기 2D 코너 또는 3D 코너의 깊이 정보를 계산하고;
상기 2D 코너 또는 3D 코너의 깊이 정보와 상기 특징점의 영상 좌표를 이용하여 상기 특징점의 3차원 좌표를 등록하는 영상 기반의 위치 인식을 위한 특징점 등록 방법.
제7항에 있어서,
상기 특징점이 2D 코너인 경우, 상기 윈도우 전체 영역의 평균 깊이 값을 상기 특징점의 깊이 정보로 계산하는 영상 기반의 위치 인식을 위한 특징점 등록 방법.
제7항에 있어서,
상기 특징점이 3D 코너인 경우, 상기 윈도우의 깊이 분포에 따라 상기 영상을 전경 영역과 배경 영역으로 분리하는 것을 더 포함하는 영상 기반의 위치 인식을 위한 특징점 등록 방법.
제9항에 있어서,
상기 특징점이 3D 코너인 경우, 상기 분리된 전경 영역의 평균 깊이 값을 상기 특징점의 깊이 정보로 계산하는 영상 기반의 위치 인식을 위한 특징점 등록 방법.