KR101037971B1 - 영상기반 위치인식 방법 및 시스템 - Google Patents

영상기반 위치인식 방법 및 시스템 Download PDF

Info

Publication number
KR101037971B1
KR101037971B1 KR1020090055607A KR20090055607A KR101037971B1 KR 101037971 B1 KR101037971 B1 KR 101037971B1 KR 1020090055607 A KR1020090055607 A KR 1020090055607A KR 20090055607 A KR20090055607 A KR 20090055607A KR 101037971 B1 KR101037971 B1 KR 101037971B1
Authority
KR
South Korea
Prior art keywords
marker
lbp
histogram
descriptor
lbp code
Prior art date
Application number
KR1020090055607A
Other languages
English (en)
Other versions
KR20100137268A (ko
Inventor
박현진
양춘석
기석철
김창근
Original Assignee
(주)로봇에버
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)로봇에버 filed Critical (주)로봇에버
Priority to KR1020090055607A priority Critical patent/KR101037971B1/ko
Publication of KR20100137268A publication Critical patent/KR20100137268A/ko
Application granted granted Critical
Publication of KR101037971B1 publication Critical patent/KR101037971B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 영상기반 위치인식 방법 및 시스템에 관한 것이다.
본 발명에 따른 실시예는, 주변을 촬영한 영상으로부터 특징점을 인식하고 상기 특징점을 중심으로 일정 크기의 원형구간을 원형표식으로 설정하는 표식인식부; 상기 원형표식을 중심이 같은 원형 및 도넛 형태의 두개 이상의 동심블럭으로 나누고 각 동심블럭에 대하여 상기 동심블럭 내의 모든 픽셀에 대한 LBP코드 및 제1히스토그램을 생성하는 LBP연산부; 상기 원형표식의 방향을 추출하여 표식방향으로 설정하는 방향추출부; 상기 제1히스토그램에 대하여 상기 표식방향을 가중치할당 기준으로 정하여 고정히스토그램을 계산하고 고정자연표식기술자를 생성하는 자연표식기술자설정부; 및 상기 고정자연표식기술자와 동일성조건을 만족하는 저장자연표식기술자의 좌표를 맵DB로부터 추출하여 자기위치를 인식하는 위치판단부를 포함하는 것을 특징으로 하는 영상기반 위치인식 시스템 및 방법을 제공한다.
위치인식, 로봇, LBP

Description

영상기반 위치인식 방법 및 시스템{Method and System for Recognizing Self-Position}
본 발명의 실시예는 영상기반 위치인식 방법 및 시스템에 관한 것이다. 더욱 상세하게는, 주변영상으로부터 특징점을 검출하여 검출한 특징점을 중심으로 한 일정크기의 원형구간을 표식으로 설정하고 설정된 표식의 LBP(Local Binary Pattern) 히스토그램 및 표식의 방향을 검출함으로써 어느 방향으로 표식 영상을 취득하더라도 자기위치를 인식할 수 있도록 하고자 하는 영상기반 위치인식 방법 및 시스템에 관한 것이다.
로봇이 자기 위치를 인식하기 위해서 벽면이나 천장에 인공표식을 부착해야 하는 단점을 피하기 위한 방법으로 자연표식을 이용하여 위치인식을 수행하는 방법이 있다.
종래에는 자연표식을 이용하여 위치인식을 함에 있어서, 대상 물체의 위치, 회전 및 크기에 무관하게 영상의 특징벡터를 추출하기 위하여 SIFT(Scale Invariant Feature Transform) 알고리즘을 사용하여 위치인식을 한다. 하지만 SIFT 알고리즘은 입력 영상을 가우시안 영상 피라미드를 생성한 후 가우시안 영상들의 차를 구하여 그 값이 최대값이거나 최소값인 점을 추출한 것으로서 계산량이 많아서 속도가 느린 단점이 있다.
본 발명의 실시예는 주변영상으로부터 특징점을 검출하여 검출한 특징점을 중심으로 한 일정크기의 원형구간을 표식으로 설정하고 설정된 표식의 LBP 히스토그램 및 표식의 방향을 검출함으로써 어느 방향으로 표식 영상을 취득하더라도 자기위치를 인식한다.
본 발명의 일 실시예에 따르면, 영상기반 위치인식 시스템에 있어서, 주변을 촬영한 영상으로부터 특징점을 인식하고 상기 특징점을 중심으로 일정 크기의 원형구간을 원형표식으로 설정하는 표식인식부; 상기 원형표식을 중심이 같은 원형 및 도넛 형태의 두개 이상의 동심블럭으로 나누고 각 동심블럭에 대하여 상기 동심블럭 내의 모든 픽셀에 대한 LBP코드 및 제1히스토그램을 생성하는 LBP연산부; 상기 원형표식의 방향을 추출하여 표식방향으로 설정하는 방향추출부; 상기 제1히스토그램에 대하여 상기 표식방향을 가중치할당 기준으로 정하여 고정히스토그램을 계산하고 고정자연표식기술자를 생성하는 자연표식기술자설정부; 및 상기 고정자연표식기술자와 동일성조건을 만족하는 저장자연표식기술자의 좌표를 맵DB로부터 추출하여 자기위치를 인식하는 위치판단부를 포함하는 것을 특징으로 하는 영상기반 위치인식 시스템을 제공한다.
또한, 본 발명의 다른 실시예에 따르면, 영상기반 위치인식 방법에 있어서, 주변을 촬영한 영상으로부터 특징점을 인식하고 상기 특징점을 중심으로 일정 크기의 원형구간을 원형표식으로 설정하는 단계; 상기 원형표식을 중심이 같은 원형 및 도넛 형태의 두개 이상의 동심블럭으로 나누고 각 동심블럭에 대하여 상기 동심블 럭 내의 모든 픽셀에 대한 LBP코드 및 제1히스토그램을 생성하는 단계; 상기 원형표식의 방향을 추출하여 표식방향으로 설정하는 단계; 상기 제1히스토그램에 대하여 상기 표식방향을 가중치할당 기준으로 정하여 고정히스토그램을 계산하고 고정자연표식기술자를 생성하는 단계; 및 상기 고정자연표식기술자와 동일성조건을 만족하는 저장자연표식기술자의 좌표를 맵DB로부터 추출하여 자기위치를 인식하는 단계를 포함하는 것을 특징으로 하는 영상기반 위치인식 방법을 제공한다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상기반 위치인식 시스템을 도시한 도면이다.
도 1에 도시하듯이 본 발명의 일 실시예에 따른 영상기반 위치인식 시스템은 표식인식부(110), LBP연산부(120), 방향추출부(130), 자연표식기술자설정부(140), 위치판단부(150) 및 맵DB(160)를 포함한다.
표식인식부(110)는 주변을 촬영한 영상으로부터 특징점을 인식하고 그 특징점을 중심으로 일정 크기의 원형구간을 원형표식으로 설정한다. 본 실시예에서 특징점으로는 천장의 코너를 예로 들어 설명하나, 코너라는 의미는 카메라가 천장을 투사했을 때 조명에 의한 명암이 교차됨으로 인해 코너가 발생하는 경우의 특징점을 의미하며, 실시예에 따라서는 인공적으로 천장에 설치한 표식이나 물체의 모서리 등도 특징점으로 사용할 수 있으며, 본 발명이 이에 한정되지는 않는다.
LBP연산부(120)는 원형표식을 중심이 같은 원형 및 도넛형태의 두개 이상의 동심블럭으로 나누고 각 동심블럭에 대하여 각각 동심블럭 내의 모든 픽셀에 대한 LBP코드를 연산하고 제1히스토그램을 생성한다.
방향추출부(130)는 원형표식 내의 각 픽셀에 대하여 이웃화소와의 밝기차를 각 이웃화소 방향별로 누적하여 가장 큰 누적치를 갖는 이웃화소 방향을 추출하여 이를 표식방향으로 설정한다.
자연표식기술자설정부(140)는 제1히스토그램을 표식방향 기준으로 마스킹을 하여 방향히스토그램을 계산하고 고정자연표식기술자를 생성한다.
위치판단부(150)는 맵DB(160)를 검색하여 자연표식기술자설정부(140)에서 설정한 고정자연표식기술자와 동일성조건을 만족하는 저장자연표식기술자가 있는지를 확인한다. 만일, 자연표식기술자설정부(140)에서 설정한 고정자연표식기술자와 동일성조건을 만족하는 저장자연표식기술자가 맵DB(160) 내에 존재하면, 저장자연표식기술자의 좌표를 추출하여 자기위치를 인식한다. 본 실시예에서 저장자연표식기술자의 좌표는 X좌표 및 Y좌표로서 로봇이 바라본 전역좌표를 의미한다. 전력좌표는 로봇이 가동되기 시작할 때의 로봇의 위치를 (0, 0)으로 놓고 전진방향을 X좌표, 좌측방향을 Y좌표로 놓고 전역좌표를 설정한다. X좌표 및 Y좌표의 방향은 실시예에 따라 달라질 수 있다. 전역좌표 및 X좌표, Y좌표에 대한 내용은 후술한다.
여기서, 동일성조건이란 추출 자연표식기술자와 검색 자연표식기술자의 유클리디언 거리(Euclidean Distance)가 일정크기 이하인 경우를 의미한다.
도 2a는 로봇이 이동하면서 천장을 촬영하여 획득한 천장영상을 도시한 도면이며, 도 2b는 로봇이 천장을 촬영할 때 로봇이 회전함으로써 위치가 변한 경우에 획득한 천장영상을 도시한 도면이다.
도 2에 도시하듯이, 로봇의 위치변화에 따라 천장영상이 회전되어 획득된 경우에도 이 청장영상을 이용하여 위치인식이 가능해야 한다.
표식인식부(110)는 로봇이 이동하는 중에 또는 정지한 상태에서 카메라를 이용하여 천장을 촬영한 영상으로부터 특징점인 코너를 인식하고 그 특징점을 중심으로 일정 크기의 원형구간을 원형표식으로 설정한다.
LBP연산부(120)는 원형표식을 중심이 같은 원형 및 도넛 형태의 두개 이상의 동심블럭으로 나누고 각 동심블럭에 대하여 각각 동심블럭 내의 모든 픽셀에 대한 LBP코드를 연산하고 제1히스토그램을 생성한다.
도 3은 원형표식을 중심이 같은 원형 및 도넛 형태의 3개의 동심블럭(제1동심블럭, 제2동심웜블럭 및 제3동심블럭)으로 나누고 각 동심블럭에 대하여 동심블럭 내의 모든 픽셀에 대한 LBP코드를 연산하고 제1히스토그램을 생성한 모습을 도시한 도면이다. 즉, 여기서 3개의 동심블럭에 대한 제1히스토그램을 일렬로 구성하여 하나로 결합한 것이 제1자연표식기술자이다. 제1자연표식기술자는 단순히 3개의 제1히스토그램을 하나로 저장한 것이며, 연결하여 저장하거나 또는 3개의 제1히스토그램을 각각 저장하는 등 결합 및 저장방법은 실시예에 따라 다를 수 있다.
도 4는 원형표식을 3개의 동심블럭으로 나누고 각 동심블럭에서 LBP코드를 연산하는 방법을 도시한 도면이다.
도 4에 도시한 바와 같이, 하나의 픽셀(중심픽셀)을 중심으로 이와 인접하는 모든 이웃화소의 밝기를 검출하고, 중심픽셀보다 어두운 이웃화소는 '0'으로 설정하고 그렇지 않은 나머지 이웃화소는 '1'로 설정한다. 이때, 좌측상단을 기준(기준 가중치할당 시작점이 됨)으로 최하위 이진비트로 가정하고 시계방향으로 단위가 증가하도록 이진비트를 나열하여 LBP패턴을 생성한다. 여기서는 좌측상단을 기준으로 LBP패턴을 생성하였으나, 본 발명이 이에 한정되지는 않는다.
중심픽셀을 중심으로 주변의 각 이웃화소의 이진값에 각 가중치를 곱하여 LBP코드값을 계산한다. 따라서 '11110001'의 LBP패턴에 대한 LBP코드값은 해당 이웃화소의 이진값이 '1'인 위치의 가중치를 모두 더하면 되므로 '128 + 64 + 32 + 16 + 0 + 0 + 0 + 1 = 241'이 된다. 한편, 본 실시예에서 주변을 촬영하여 LBP코드값을 생성할 때 기준이 되는 기본 가중치할당 시작점은 한 픽셀를 중심으로 좌측상단의 화소를 가정한다.
LBP코드값인 LBP를 구하는 식은 [수학식 1]과 같다.
Figure 112009037724523-pat00001
(단, N: 이웃화소의 갯수, nc: 중심픽셀의 밝기, ni: 이웃화소의 밝기, i: 이웃화소의 인덱스)
도 5a는 제1동심블럭에 대한 픽셀을 예시한 도면이고, 도 5b는 제1동심블럭의 LBP코드값에 대한 히스토그램인 제1히스토그램을 예시한 도면이다.
도 5에 도시하듯이, 모든 픽셀에 대하여 LBP코드값을 구하고 구한 값에 따른 제1히스토그램을 도 5b와 같이 얻는다. 제1히스토그램에서 가로축은 각 LBP코드값을 의미하며 LBP패턴이 8비트인 경우, 즉, 한 픽셀에 대한 이웃화소의 수가 8(즉, N = 8)인 경우에는 가로축의 좌표 갯수는 256개가 된다. 또한 세로축은 각 LBP패턴이 발생한 갯수(=돗수)를 의미한다.
제1동심블럭과 유사하게 제2동심블럭과 제3동심블럭에 대해서도 제1히스토그램을 구할 수 있다. 제1동심블럭, 제2동심블럭 및 제3동심블럭의 제1히스토그램을 합친 것이 제1자연표식기술자가 된다.
도 6a는 한 픽셀(여기서는 중앙픽셀로서 그 밝기를 nc로 표기)와 이웃화소간의 위치관계를 도시한 도면이고, 도 6b는 중앙픽셀의 밝기와 이웃화소의 밝기(ni) 차이가 가장 큰 방향을 누적한 방향히스토그램이다. 여기서 i는 이웃화소의 번호, N은 이웃화소의 갯수를 의미한다.
방향추출부(130)는 원형표식 내의 각 픽셀에 대하여 이웃화소와의 밝기차가 가장 큰 방향을 각 이웃화소 방향별로 누적하여 가장 큰 누적치를 갖는 이웃화소 방향을 추출하여 이를 표식방향으로 설정한다.
도 6b에 도시한 바와 같은 방향히스토그램은 LBP히스토그램을 생성하는 과정에서 동시에 수행되어 방향별로 발생빈도를 누적하여 계산할 수 있다.
따라서, 모든 픽셀들에 대한 이웃화소 중에서 가장 밝기 차이가 많이 나는 방향의 이웃화소 번호를 누적하여 도 6b와 같은 방향히스토그램을 생성한다. 즉, 이웃화소와 중심픽셀의 밝기차인 (ni - nc)가 가장 큰 값을 갖는 방향을 추출한다. 따라서, 도 6a에서는 이웃화소 번호가 1번인 방향이 선택된다. 여기서, ni는 이웃화소 번호 i의 밝기이고, nc는 중심픽셀의 밝기이다. 본 실시예에서 (ni - nc)가 가장 큰 값을 갖는 방향을 추출하였으나, 실시예에 따라서는 (nc - ni)가 가장 큰 값을 갖는 방향을 추출할 수도 있다.
방향히스토그램의 가로축은 이웃화소의 번호로서 방향을 나타내며, 막대 그 래프 중에서 가장 큰 값을 갖는 수를 갖는 이웃화소 번호를 자연표식의 방향으로 설정한다.
한편, 로봇이 어떤 한 자연표식에 대하여 각 동심블럭에 대한 제1히스토그램 및 제1자연표식기술자를 생성하더라도 이는 로봇의 방향에 따라서 해당 자연표식을 촬영하는 방향이 달라지므로 그로부터 생성되는 제1히스토그램 및 제1자연표식기술자는 달라질 수 있다. 따라서, 로봇의 방향에 관계없이 일정한 값의 자연표식기술자를 획득하기 위해서 도 6에서 생성한 자연표식의 방향을 이용한 자연표식기술자인 고정자연표식기술자를 획득한다.
영상이 회전되어도 LBP코드값이 변하지 않도록 자연표식의 방향을 LBP코드의 가중치 할당 시작점으로 적용한다. 따라서, 모든 픽셀의 LBP코드값은 가중치할당 시작점이 바뀐 상태에서 새로 LBP코드값을 구하고 이를 바탕으로 히스토그램을 구하는 것이 아니라 이미 구해진 제1히스토그램에 변환마스크를 통하여 가중치할당 시작점이 반영된 히스토그램인 고정히스토그램을 생성한다. 고정히스토그램 역시 각 동심블럭에 대한 제1히스토그램 모두에 대하여 적용하여 각각의 고정히스토그램을 생성한다. 따라서 이와 같이 3개의 고정히스토그램을 결합하여 고정자연표식기술자가 생성될 수 있다.
도 7은 영상의 회전에 따른 LBP코드값의 변화를 도시한 도면이다.
도 7a와 같은 이웃화소별 가중치가 적용될 경우 가중치 할당 시작점이 변하지 않는다면, 도 7b의 영상이 시계방향으로 45°정도 회전하면 도 7c의 영상이 되며, 따라서 LBP패턴도 '11110000'에서 '11100001'로 바뀐다.
도 8은 가중치할당 시작점의 방향이 일정한 경우 LBP코드값을 도시한 도면이다.
도 8에 도시하듯이, 영상이 회전하더라도 가중치 할당 시작점도 동일하게 회전하므로 자연표식의 방향을 가중치 할당 시작점으로 적용하면 회전된 영상에서도 동일한 LBP코드값을 구할 수 있으며, 따라서 영상이 회전되는 것에 상관없이 동일한 자연표식기술자를 생성할 수 있다.
도 9a는 가중치 할당 시작점의 위치가 바뀌기 전의 LBP패턴을 나타내며, 도 9b는 가중치 할당 시작점이 반시계방향으로 하나 쉬프트된 경우 변화후 LBP패턴을 도시한 도면이다.
도 9a에 도시하듯이 가중치 할당 시작점의 위치가 바뀌기 전의 LBP패턴이 '00001111'이었다가 가중치 할당 시작점이 반시계방향으로 하나 쉬프트된 경우 변화후 LBP패턴은 '00011110'으로 변화된다. 이를 일반화하면, (변화전 LBP코드값 < 2N-1)인 경우에는 수학식 2의 공식에 의해 결정된다.
변화후 LBP코드값 = (변화전 LBP코드값) * 2
도 10a는 (변화전 LBP코드값 ≥ 2N-1)인 경우, 가중치 할당 시작점의 위치가 바뀌기 전의 LBP패턴을 나타내며, 도 10b는 가중치 할당 시작점이 반시계방향으로 하나 쉬프트된 경우 변화후 LBP패턴을 도시한 도면이다.
도 10a에 도시하듯이 가중치 할당 시작점의 위치가 바뀌기 전의 LBP패턴이 '11110000'(LBP코드값 = 240)이었다가 가중치 할당 시작점이 반시계방향으로 하나 쉬프트된 경우 변화후 LBP패턴은 '11100001'(LBP코드값 = 225)으로 변화된다. 즉, 이를 일반화하면, (변화전 LBP코드값 ≥ 2N-1)인 경우에는 수학식 3의 공식에 의해 결정된다.
변화후 LBP코드값 = ((변화전 LBP코드값) - 2N-1)*2 + 1
도 11은 가중치 할당 시작점이 반시계방향으로 하나 쉬프트된 경우에 제1히스토그램과 [수학식 2] 및 [수학식 3]의 식에 따라 변화후 LBP코드값 및 생성된 고정히스토그램의 변화후 LBP코드값의 위치를 도시한 도면이다.
따라서 도 11에 도시한 바와 같이 제1히스토그램은 일정한 공식에 의해 히스토그램의 LBP패턴의 위치가 변한다.
한편, 가중치 할당 시작점이 시계방향으로 하나 쉬프트된 경우, 변화전 LBP코드값이 짝수일 경우에는 [수학식 4]에 의해 변화후 LBP코드값이 계산되고, LBP코드값이 홀수일 경우에는 [수학식 5]에 의해 변화후 LBP코드값이 계산된다.
변화후 LBP코드값 = (변화전 LBP코드값) / 2
변화후 LBP코드값 = ((변화전 LBP코드값) - 1)/2 + 2N-1
결과적으로 볼 때, 가중치 할당 시작점이 시계방향으로 하나 쉬프트(한 클릭 쉬프트)된 경우는 가중치 할당 시작점이 반시계방향으로 7차례 쉬프트된 경우와 동일하다.
도 12는 가중치 할당 시작점이 시계방향으로 하나 쉬프트된 경우에 [수학식 4] 및 [수학식 5]의 식에 따라 변화후 LBP코드값을 나타내는 변환마스크를 도시한 도면이다.
도 13a는 기본 가중치할당 시작점 및 자연표식의 방향을 도시한 도면이고, 도 13b는 기본 가중치할당 시작점과 자연표식의 방향의 차이 횟수만큼 제1히스토그램에 마스킹을 실시하여 고정히스토그램을 생성하는 모습을 도시한 도면이다.
도 13에 도시하듯이 기본 가중치할당 시작점과 자연표식의 방향의 차이가 시계방향으로 3이므로 [수학식 4] 및 [수학식 5]를 이용한 변환마스크로 3회 마스킹을 실시한다. 본 실시예에서 기본 가중치할당 시작점과 자연표식의 방향의 차이를 클릭수로 표현한다. 즉 3회 마스킹을 실시가 필요한 경우에는 기본 가중치할당 시작점과 자연표식의 방향이 3개의 클릭만큼 떨어져 있는 것이 된다. 또한, 1개의 클릭 차이가 나는 각도는 45°이어야 하며, 방향은 연속적이므로 한 클릭만큼 떨어져 있는 경우는 22.5~67.5°만큼 차이가 나는 경우이며, 여기에 한 클릭이 더 차이가 나면 45°를 더하면 된다. 즉, 67.5~112.5° 차이가 나면 두 클릭만큼 떨어져 있는 것이 된다.
각 동심블럭에 대한 모든 제1히스토그램을 변환마스크를 이용하여 마스킹을 하여 각 고정히스토그램을 생성하고 생성된 3개의 고정히스토그램을 하나로 연결하여 고정자연표식기술자가 생성된다.
생성된 고정자연표식기술자는 맵DB(160)에 저장될 수 있다. 맵DB(160)에 이미 동일성조건을 만족하는 자연표식기술자가 존재하지 않는 경우에 맵DB(160)에 저장된다. 만일 맵DB(160) 내에 동일성조건을 만족하는 자연포식기술자인 저장자연표식기술자가 존재하면 저장자연표식기술자의 X좌표 및 Y좌표를 이용하여 로봇의 현재위치를 인식한다.
예를 들어 로봇이 0.5초 단위로 지속적으로 주변영상을 취득하여 고정자연표식기술자를 생성하거나 맵DB(160)에 저장된 고정자연표식기술자를 이용하여 로봇의 현재 위치를 인식한다. 이와 같이 지속적으로 주변영상을 취득하여 현재위치 인식 및 고정자연표식기술자를 생성함으로써 인식된 자연표식을 지속적으로 늘려나가 맵DB(160)에 저장한다.
한편, 자연표식기술자의 동일성조건이란 자연표식기술자의 유클리디안 거리가 일정 크기 이하인 것을 의미한다. 따라서 저장자연표식기술자의 고정히스토그램이 3개이므로 256*3 개의 차원에서 유클리디안 거리를 계산하고, 고정자연표식기술자의 유클리디안 거리에 대하여도 동일한 방법으로 유클리디안 거리를 계산한다. 유클리디안 거리를 계산하는 방법은 공지 기술이므로 상세한 설명은 생략한다.
한편, 위치판단부(150)가 자연표식을 인식하고 이를 바탕으로 위치를 판단하는 방법은 다음과 같다.
본 발명에서 로봇과 특징점의 위치 관계를 이용하여 로봇 위치를 인식하는데 널리 사용되는 EKF(Extended Kalman Filter) 기반의 SLAM(simultaneous location and mapping)알고리즘을 적용한다.
EKF 알고리즘은 예측단계와 갱신단계로 구성된다.
예측단계에서는 과거 로봇의 위치 정보를 기반으로 엔코더 값을 이용하여 로봇의 이동거리를 계산하고 현재 로봇의 위치를 예측한다.
갱신단계는 이전에 발견되어서 전역좌표를 알고 있는 특징점이 다시 발견되었을 때 발견된 특징점과 로봇의 위치관계를 이용하여 로봇위치를 업데이트 하는 작업을 수행한다.
아래와 같이 두 가지 위치 관계가 사용된다.
첫째, 전역지도상의 특징점 위치와 예측단계의 로봇위치의 관계: (1)
둘째, 현재 영상에서 실제 관측된 특징점 위치와 로봇(영상중심)의 위치관계: (2)
(1),(2) 두 위치관계의 차이가 EKF 알고리즘의 입력으로 사용되어 로봇의 위치가 확률적으로 결정된다.
EKF(Extended Kalman Filter) 기반의 SLAM(simultaneous location and mapping)알고리즘은 공지된 기술이므로 여기서는 이에 대하여 간단히 설명하고 상세한 설명은 생략한다.
로봇의 카메라에서 촬영된 영상으로부터 자연표식을 인식하고 로봇의 현재 위치 중심의 자연표식 국부지도(local map)를 작성한다. 로봇의 위치를 원점으로 하고 로봇의 정면 방향을 X축으로 한다.
도 15는 자연표식 국부지도를 도시한 도면이다.
도 15에서 영상 좌표계 (Xi, Yi) 상에서 발견된 자연표식의 좌표를 영상의 중앙부분에 위치한 로봇을 원점으로 하는 로봇 좌표계 (XR, YR) 로 표현하여 국부 지도를 작성한다.
영상 좌표계에서 로봇 좌표계로의 변환은 다음 수식에 따라 이루어진다.
자연표식 영상 좌표계 좌표 = (Fxi, Fyi),
자연표식 로봇 좌표계 좌표 = (FxR, FxR)
FxR = (Fxi - 영상 높이/2 )* 자연표식 높이/촛점거리
FyR = (Fyi - 영상 넓이/2 ) * 자연표식 높이/촛점거리
전역지도는 절대좌표계에 따른 자연표식들의 좌표를 의미한다. 로봇이 가동 시작된 초기위치를 절대좌표계의 기준으로 한다. 국부지도로 표현된 자연표식 좌표를 전역좌표계로 표현하여 자연표식의 전역지도를 작성한다.
도 16은 자연표식 전역지도를 도시한 도면이다.
로봇좌표계 (XR, YR) 로 표현된 자연표식의 좌표 전역좌표계 (XG, YG)로 다음 식에 의해 기하학적인 변환이 수행된다.
자연표식 로봇 좌표계 좌표를 (FxR, FyR)라 하고, 자연표식 전역 좌표계 좌표를 (FxG, FyG)라 하면,
FxG = cosθ * FxR - sinθ * FyR + Rx
FyG = sinθ * FxR + cosθ * FyR + Ry
가 된다.
맵DB(160)에는 로봇이 이동하면서 연속된 카메라 영상을 취득하고 영상에서 검출된 자연표식기술자를 저장한다. 이때, 자연표식기술자 외에도 자연표식의 절대위치를 기록하여 이 정보를 자연표식 지도로 사용한다. 로봇은 이 지도의 자연표식의 절대위치와 로봇의 상대적인 위치 관계를 이용하여 위치 인식을 하게 된다.
도 17은 로봇이 이동하면서 자연표식 지도를 만들어 가는 과정을 표현한 도면이다.
로봇이 이동하면서 카메라로 영상을 취득하고 영상에서 취득된 자연표식은 회전 불변 특징 기술자의 형태로 맵DB에 저장된다. 새로 영상이 취득될 때마다 발견된 자연표식기술자는 맵DB의 저장자연표식기술자와 비교하여 이전에 발견되었던 자연표식기술자와 동일여부를 판단한다. 비교 대상인 두 자연표식기술자의 유클리디안 거리가 일정 크기 이하인 경우 동일하다고 판단한다.
실제 환경에서 자연표식 특징은 매우 비슷한 형상을 가진다. 특히 천정을 향해 영상을 취득하는 경우, 매우 단조롭고 유사한 패턴이 반복되어 나타날 수 있다. 이런 경우에 자연표식기술자는 동일한 형상을 기술하기 때문에 비슷한 값을 가지게 되는 경우가 많다. 그 결과 다음 영상에서 발견된 자연표식들이 서로 교차되어 매칭되는 경우가 발생할 수 있다.
도 18은 천정 영상에서 형광등 코너 주변이 자연표식으로 검출된 결과를 도시한 도면이다.
도 18에서 1, 2, 3번 자연표식은 똑같은 형상을 하고 있기 때문에 같은 자연표식기술자를 가지게 되어 구별성(correspondence)이 확보되지 않는다. 이 같은 문제점을 해결하기 위해 POI(Point of Interest) 매칭 방법을 적용한다.
POI 매칭은 기존에 발견되어 맵DB에 저장된 자연표식 지도(즉, 자연표식기술자 및 그 전역좌표)를 이용하여 현재 영상에서 재발견 예상되는 자연표식을 추출하고 추출된 후보와 영상에서 검출된 자연표식을 매칭하는 방법이다.
로봇의 이전 위치에 인코더(encoder) 센서 정보를 반영하여 대략적인 로봇의 현재 위치를 추정한다. 추정은 SLAM알고리즘의 예측(prediction) 단계에서 수행한다. 추정된 로봇의 위치에서 영상을 새로 취득했을 때 영상 프레임이 전역지도상에 위치할 것으로 예상되는 영역을 설정한다. 예상되는 영상프레임 내부 영역에 위치한 전역지도의 자연표식을 재발견 예상 후보로 선택하고 출현 예상 위치를 POI라고 한다. 오차 범위를 감안하여 POI주변 원형 구간을 후보영역으로 정하고 이것을 POI영역이라 칭한다.
도 19는 POI 매칭을 도시한 도면이다.
도 19에서 카메라 취득 영상에서 점선으로 된 원형 구간이 POI영역이고 이 영역 안에서 자연표식기술자를 POI에 해당하는 전역지도의 자연표식기술자와 매칭한다.
POI 매칭을 적용함으로써 검출된 다수의 자연표식기술자들에 대해 구별성(correspondence)를 확보할 수 있고, 영상 전체 영역에 대한 매칭 보다는 특정 구간에 대한 매칭 작업을 수행하므로 매칭 속도 개선을 가능하게 한다.
이상과 같이 SLAM 알고리즘에 의해 자연표식의 위치로부터 자기위치를 인식할 수 있으며, 이 방법은 공지된 기술이므로 더 자세한 내용은 생략한다.
한편, LBP 히스토그램의 차원은 매우 크기 때문에 히스토그램 가로축의 각 단계에 대한 활용도가 매우 떨어진다. 예를 들어, 하나의 히스토그램에 해당하는 블록의 크기가 20x20이고 8개의 이웃 화소를 이용하여 LBP 코드를 구하면, 각 블럭에서 발생한 LBP 코드 400개가 255개의 히스토그램 가로축에 도수로 분포된다. 따라서 영상의 크기가 작은 경우 히스토그램 가로축 각 단계에 대한 이용 효율이 저하된다. 이런 문제를 해결하기 위해 히스토그램의 차원을 줄인 방법인 CS-LBP(Center-Symmetric Local Binary Patterns)가 활용될 수 있다.
CS-LBP는 중심픽셀을 기점으로 대칭되어 위치한 이웃 화소들의 값을 비교하여 바이너리 패턴으로 비교결과를 나타낸다. 이웃 화소 8개를 사용할 경우, 4가지 비교결과를 발생시킨다. 처음 4개의 이웃 화소를 기준으로 하고 각 기준마다 중심 기점으로 대칭인 나머지 4개 중 하나의 이웃 화소를 대응시킨다. 각 쌍의 이웃 화소들을 비교하여 기준 화소가 큰 경우 '1', 작은 경우 '0'의 값을 결과로 한다.
CS-LBP operator를 수식으로 표현하면 [수학식 6]과 같다.
Figure 112009037724523-pat00002
여기서 R은 중심픽셀과 이웃화소와의 거리이며 N은 주변 화소들의 개수를 의미한다. T는 임계값으로 두 화소의 밝기 값이 차이를 가진다고 판단할 최소 근거가 되는 값이다. ni 는 i번째 주변화소의 밝기를 의미한다.
도 20은 LBP와 CS-LBP를 비교한 도면이다.
도 20에서 나타난 바와 같이 LBP는 8개의 결과가 이진수로 배열되는 반면 CS-LBP는 4개의 결과가 이진수로 배열된다. CS-LBP의 기중치는 1, 2, 4, 8 이며 따라서 코드값의 범위는 0~31 이다.
즉, 8개의 이웃 화소를 사용한 경우 CS-LBP코드는 0000(2진수)에서 1111(2진수)의 값, 즉 0~31 범위의 값으로 표현된다. 따라서 CS-LBP 히스토그램은 32단계의 가로축을 가지는 CS-LBP code의 도수분포로 구성된다. LBP와 비교했을 때 영상 패턴을 표현하는 표현력에는 약간의 손실이 있지만 히스토그램의 차원이 256차원에서 16차원으로 줄었기 때문에 가로축 각 단계에 대한 활용도가 매우 높게 나타난다.
도 14는 본 발명의 일 실시예에 따른 영상기반 위치인식 방법을 도시한 흐름 도이다.
도 14에 도시하듯이 본 발명의 일 실시예에 따른 영상기반 위치인식 방법은 원형표식설정단계(S1402), 제1히스토그램을 생성단계(S1404), 표식방향 설정단계(S1406), 고정자연표식기술자 생성단계(S14080) 및 자기위치 인식단계(S1410)을 포함한다.
원형표식설정단계(S1402)에서는 주변을 촬영한 영상으로부터 특징점을 인식하고 특징점을 중심으로 일정 크기의 원형구간을 원형표식으로 설정한다.
제1히스토그램을 생성단계(S1404)에서는 원형표식을 중심이 같은 원형 및 도넛 형태의 두개 이상의 동심블럭으로 나누고 각 동심블럭에 대하여 각각 동심블럭 내의 모든 픽셀에 대한 LBP코드 및 제1히스토그램을 연산하고 제1히스토그램을 생성한다.
표식방향 설정단계(S1406)에서는 원형표식의 방향을 추출하여 표식방향으로 설정한다.
고정자연표식기술자 생성단계(S14080)에서는 제1히스토그램에 대하여 표식방향을 가중치할당 기준으로 정하여 고정히스토그램을 계산하고 고정자연표식기술자를 생성한다.
자기위치 인식단계(S1410)에서는 고정자연표식기술자와 동일성조건을 만족하는 저장자연표식기술자가 맵DB(160) 내에 존재하면 저장자연표식기술자의 좌표를 맵DB(160)로부터 추출하여 자기위치를 인식한다.
이상과 같이 본 발명에 의하면, 조명변화에 강인한 LBP특성을 이용함으로써 화소 밝기의 절대값이 아닌 이웃화소들과의 밝기차를 이용한 패턴을 사용하므로 실내조명 변화에 무관한 천장영상의 자연표식 인식을 가능하게 하는 효과가 있다.
또한, 로봇의 움직임에 대응하여 주변을 촬영한 영상이 회전하더라도 이에 무관하게 동일한 히스토그램 및 자연표식기술자가 생성되어 자연표식을 인식하는 것이 가능해진다.
그리고, 제1히스토그램에서 고정히스토그램으로 변환할 경우 마스킹기법을 사용함으로써 모든 화소들에 대한 LBP코드값을 다시 계산하는 과정을 생락할 수 있으므로 연산속도가 빨라져 주변을 촬영하여 위치인식하는 주기가 빨라지는 효과가 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장 매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 이와 명시적으로 상반되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상기반 위치인식 시스템을 도시한 도면이다.
도 2a는 로봇이 이동하면서 천장을 촬영하여 획득한 천장영상을 도시한 도면이며, 도 2b는 로봇이 천장을 촬영할 때 로봇이 회전함으로써 위치가 변한 경우에 획득한 천장영상을 도시한 도면이다.
도 3은 원형표식을 중심이 같은 원형 및 도넛 형태의 3개의 동심블럭(제1동심블럭, 제2동심웜블럭 및 제3동심블럭)으로 나누고 각 동심블럭에 대하여 동심블럭 내의 모든 픽셀에 대한 LBP코드를 연산하고 제1히스토그램을 생성한 모습을 도시한 도면이다.
도 4는 원형표식을 3개의 동심블럭으로 나누고 각 동심블럭에서 LBP코드를 연산하는 방법을 도시한 도면이다.
도 5a는 제1동심블럭에 대한 픽셀을 예시한 도면이고, 도 5b는 제1동심블럭의 LBP코드값에 대한 히스토그램인 제1히스토그램을 예시한 도면이다.
도 6a는 한 픽셀(여기서는 중앙픽셀로서 그 밝기를 nc로 표기)와 이웃화소간의 위치관계를 도시한 도면이고, 도 6b는 중앙픽셀의 밝기와 이웃화소의 밝기(ni) 차이를 누적한 방향히스토그램이다.
도 7은 영상의 회전에 따른 LBP코드값의 변화를 도시한 도면이다.
도 8은 가중치할당 시작점의 방향이 일정한 경우 LBP코드값을 도시한 도면이 다.
도 9a는 가중치 할당 시작점의 위치가 바뀌기 전의 LBP패턴을 나타내며, 도 9b는 가중치 할당 시작점이 반시계방향으로 하나 쉬프트된 경우 변화후 LBP패턴을 도시한 도면이다.
도 10a는 (변환전 LBP코드값 ≥ 2N-1)인 경우, 가중치 할당 시작점의 위치가 바뀌기 전의 LBP패턴을 나타내며, 도 10b는 가중치 할당 시작점이 반시계방향으로 하나 쉬프트된 경우 변화후 LBP패턴을 도시한 도면이다.
도 11은 가중치 할당 시작점이 반시계방향으로 하나 쉬프트된 경우에 제1히스토그램과 [수학식 1] 및 [수학식 2]의 식에 따라 변화후 LBP코드값 및 생성된 고정히스토그램의 변화후 LBP코드값의 위치를 도시한 도면이다.
도 12는 가중치 할당 시작점이 시계방향으로 하나 쉬프트된 경우에 [수학식 3] 및 [수학식 4]의 식에 따라 변화후 LBP코드값을 나타내는 변환마스크를 도시한 도면이다.
도 13a는 기본 가중치할당 시작점 및 자연표식의 방향을 도시한 도면이고, 도 13b는 기본 가중치할당 시작점과 자연표식의 방향의 차이 횟수만큼 제1히스토그램에 마스킹을 실시하여 고정히스토그램을 생성하는 모습을 도시한 도면이다.
도 14는 본 발명의 일 실시예에 따른 영상기반 위치인식 방법을 도시한 흐름도이다.
도 15는 자연표식 국부지도를 도시한 도면이다.
도 16은 자연표식 전역지도를 도시한 도면이다.
도 17은 로봇이 이동하면서 자연표식 지도를 만들어 가는 과정을 표현한 도면이다.
도 18은 천정 영상에서 형광등 코너 주변이 자연표식으로 검출된 결과를 도시한 도면이다.
도 19는 POI 매칭을 도시한 도면이다.
도 20은 LBP와 CS-LBP를 비교한 도면이다.
< 도면의 주요 부분에 대한 부호의 설명 >
110: 표식인식부 120: LBP연산부
130: 방향추출부 140: 자연표식기술자설정부
150: 위치판단부 160: 맵DB

Claims (9)

  1. 영상기반 위치인식 시스템에 있어서,
    주변을 촬영한 영상으로부터 특징점을 인식하고 상기 특징점을 중심으로 일정 크기의 원형구간을 원형표식으로 설정하는 표식인식부;
    상기 원형표식을 중심이 같은 원형 및 도넛 형태의 두개 이상의 동심블럭으로 나누고 각 동심블럭에 대하여, 상기 동심블럭 내의 모든 픽셀에 대한 LBP코드와 상기 LBP코드에 대한 히스토그램인 제1히스토그램을 생성하되, 상기 LBP코드는 기설정 방향을 기준으로 각 픽셀에 대한 이웃화소의 방향에 따라 다르게 설정된 가중치를 상기 각 픽셀과 상기 이웃화소의 밝기차를 나타내는 값에 곱하여 생성하는 LBP연산부;
    상기 원형표식 내의 각 픽셀에 대하여 이웃화소와의 밝기차를 각 이웃화소 방향별로 누적하여 추출한 방향을 표식방향으로 설정하는 방향추출부;
    상기 제1히스토그램의 각 LBP코드에 대하여 상기 이웃화소가 상기 기설정 방향과 상기 표식방향의 차이만큼 회전된 LBP코드값을 갖도록 변환을 수행하여 고정히스토그램을 생성하고 각 동심블럭에 대한 고정히스토그램을 결합한 고정자연표식기술자를 생성하는 자연표식기술자설정부; 및
    상기 고정자연표식기술자와 동일성조건을 만족하는 맵DB에 저장된 자연표식기술자의 좌표로부터 자기위치를 인식하는 위치판단부
    를 포함하는 것을 특징으로 하는 영상기반 위치인식 시스템.
  2. 제 1항에 있어서,
    상기 LBP코드는 다음 수학식에 의해 계산되는 것을 특징으로 하는 영상기반 위치인식 시스템.
    [수학식 1]
    Figure 112009037724523-pat00003
    (단, N: 이웃화소의 갯수, nc: 중심픽셀의 밝기, ni: 이웃화소의 밝기, i: 이웃화소의 인덱스)
  3. 제 1항에 있어서,
    상기 동일성조건은 상기 맵DB에 저장된 자연표식기술자와 상기 고정자연표식기술자의 유클리디언 거리(Euclidean Distance)가 일정크기 이하인 것을 특징으로 하는 영상기반 위치인식 시스템.
  4. 제 1항에 있어서,
    상기 자연표식기술자설정부는 상기 표식방향이 기준 가중치할당 시작점을 기준으로 반시계방향인 경우 상기 제1히스토그램의 LBP코드값에 대하여 다음 수학식에 의해 변환을 하여 고정히스토그램을 계산하는 것을 특징으로 하는 영상기반 위치인식 시스템.
    [수학식 2]
    변화후 LBP코드값 = (변화전 LBP코드값) * 2 (단, 변화전 LBP코드값 < 2N-1)
    [수학식 3]
    변화후 LBP코드값 = ((변화전 LBP코드값) - 2N-1)*2 + 1
    (단, 변화전 LBP코드값 ≥ 2N-1)
  5. 제 1항에 있어서,
    상기 자연표식기술자설정부는 상기 표식방향이 기준 가중치할당 시작점을 기준으로 시계방향인 경우 상기 제1히스토그램의 LBP코드값에 대하여 다음 수학식에 의해 변환을 하여 고정히스토그램을 계산하는 것을 특징으로 하는 영상기반 위치인식 시스템.
    [수학식 4]
    (변화후 LBP코드값) = (변화전 LBP코드값) / 2
    (단, 변화전 LBP코드값이 짝수인 경우)
    [수학식 5]
    (변화후 LBP코드값) = ((변화전 LBP코드값) - 1)/2 + 2N-1
    (단, 변화전 LBP코드값이 홀수인 경우)
  6. 제 1항에 있어서,
    상기 위치판단부는,
    상기 고정자연표식기술자와 동일성조건을 만족하는 자연표식기술자가 맵DB 내에 존재하지 않으면 상기 고정자연표식기술자를 상기 맵DB 내에 자연표식기술자로 저장하는 것을 특징으로 하는 영상기반 위치인식 시스템.
  7. 제 1항에 있어서,
    상기 방향추출부는 상기 원형표식 내의 각 픽셀에 대하여 이웃화소와의 밝기차를 각 이웃화소 방향별로 누적하여 가장 큰 누적치를 갖는 이웃화소 방향을 추출하는 것을 특징으로 하는 영상기반 위치인식 시스템.
  8. 삭제
  9. 영상기반 위치인식 방법에 있어서,
    주변을 촬영한 영상으로부터 특징점을 인식하고 상기 특징점을 중심으로 일정 크기의 원형구간을 원형표식으로 설정하는 단계;
    상기 원형표식을 중심이 같은 원형 및 도넛 형태의 두개 이상의 동심블럭으로 나누고 각 동심블럭에 대하여, 상기 동심블럭 내의 모든 픽셀에 대한 LBP코드와 상기 LBP코드에 대한 히스토그램인 제1히스토그램을 생성하되, 상기 LBP코드는 기설정 방향을 기준으로 각 픽셀에 대한 이웃화소의 방향에 따라 다르게 설정된 가중치를 상기 각 픽셀과 상기 이웃화소의 밝기차를 나타내는 값에 곱하여 생성하는 단계;
    상기 원형표식 내의 각 픽셀에 대하여 이웃화소와의 밝기차를 각 이웃화소 방향별로 누적하여 추출한 방향을 표식방향으로 설정하는 단계;
    상기 제1히스토그램의 각 LBP코드에 대하여 상기 이웃화소가 상기 기설정 방향과 상기 표식방향의 차이만큼 회전된 LBP코드값을 갖도록 변환을 수행하여 고정히스토그램을 생성하고 각 동심블럭에 대한 고정히스토그램을 결합한 고정자연표식기술자를 생성하는 단계; 및
    상기 고정자연표식기술자와 동일성조건을 만족하는 맵DB에 저장된 자연표식기술자의 좌표로부터 자기위치를 인식하는 단계
    를 포함하는 것을 특징으로 하는 영상기반 위치인식 방법.
KR1020090055607A 2009-06-22 2009-06-22 영상기반 위치인식 방법 및 시스템 KR101037971B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090055607A KR101037971B1 (ko) 2009-06-22 2009-06-22 영상기반 위치인식 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090055607A KR101037971B1 (ko) 2009-06-22 2009-06-22 영상기반 위치인식 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20100137268A KR20100137268A (ko) 2010-12-30
KR101037971B1 true KR101037971B1 (ko) 2011-05-30

Family

ID=43511052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090055607A KR101037971B1 (ko) 2009-06-22 2009-06-22 영상기반 위치인식 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101037971B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101374726B1 (ko) * 2012-06-27 2014-03-17 한국과학기술원 특징 기술자 생성 장치 및 방법, 그를 이용한 영상 객체 인식 장치 및 방법
KR101511087B1 (ko) * 2013-11-13 2015-04-10 한국원자력연구원 영상내 특징점들에 대한 회전 불변을 갖는 실시간 특징점 정합 처리 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100552691B1 (ko) 2003-09-16 2006-02-20 삼성전자주식회사 이동로봇의 자기위치 및 방위각 추정방법 및 장치
KR20090025822A (ko) * 2007-09-07 2009-03-11 (주)로봇에버 표식과 근거리무선통신을 이용한 로봇의 자기위치인식방법, 그를 이용한 로봇의 위치데이터 발생장치 및그를 이용한 로봇

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100552691B1 (ko) 2003-09-16 2006-02-20 삼성전자주식회사 이동로봇의 자기위치 및 방위각 추정방법 및 장치
KR20090025822A (ko) * 2007-09-07 2009-03-11 (주)로봇에버 표식과 근거리무선통신을 이용한 로봇의 자기위치인식방법, 그를 이용한 로봇의 위치데이터 발생장치 및그를 이용한 로봇

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
윤국진, 장기정, 김성호, 권인소, "이동 로봇을 위한 컬러 표식 기반 자기 위치 추정 기법", Journal of Control, Automation, and Systems Engineering, Vol. 7, No. 9, September, 2001.

Also Published As

Publication number Publication date
KR20100137268A (ko) 2010-12-30

Similar Documents

Publication Publication Date Title
US11270148B2 (en) Visual SLAM method and apparatus based on point and line features
Ardeshir et al. GIS-assisted object detection and geospatial localization
CN104200495B (zh) 一种视频监控中的多目标跟踪方法
CN111094895B (zh) 用于在预构建的视觉地图中进行鲁棒自重新定位的***和方法
EP3079100B1 (en) Image processing apparatus, image processing method and computer readable storage medium
KR101380628B1 (ko) 복수의 카메라를 사용한 객체 추적 방법 및 장치
CN108038139B (zh) 地图构建方法、装置和机器人定位方法、装置、计算机设备和存储介质
CN109074757B (zh) 一种建立地图的方法、终端和计算机可读存储介质
CN111964680B (zh) 一种巡检机器人的实时定位方法
Pautrat et al. Gluestick: Robust image matching by sticking points and lines together
CN109543634B (zh) 定位过程中的数据处理方法、装置、电子设备和存储介质
RU2729399C1 (ru) Способ обнаружения и распознавания визуальных маркеров большой дальности и высокой плотности
KR101182683B1 (ko) 시각적 형상 디스크립터 생성 방법 및 그 기록매체
KR101596436B1 (ko) 다중 목표 추적 시스템 및 방법
Zhao et al. Cbhe: Corner-based building height estimation for complex street scene images
Cieslewski et al. Matching features without descriptors: implicitly matched interest points
KR101037971B1 (ko) 영상기반 위치인식 방법 및 시스템
KR101456172B1 (ko) 이동로봇의 위치인식 장치, 방법 및 이동로봇
CN114820765A (zh) 图像识别方法、装置、电子设备及计算机可读存储介质
CN110334560A (zh) 一种二维码定位方法和装置
KR101091061B1 (ko) 수치지도 상 공간객체의 위치유사도 측정방법 및 이를 이용한 지도 매칭방법
Huang et al. Image-based localization for indoor environment using mobile phone
CN104574396A (zh) 一种直线检测方法及***
KR100933483B1 (ko) 영상 내의 표적 인식 방법
CN114359915A (zh) 图像处理方法、装置和可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140521

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150526

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160519

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170512

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180524

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 9