KR101686171B1 - 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법 - Google Patents

영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법 Download PDF

Info

Publication number
KR101686171B1
KR101686171B1 KR1020100054093A KR20100054093A KR101686171B1 KR 101686171 B1 KR101686171 B1 KR 101686171B1 KR 1020100054093 A KR1020100054093 A KR 1020100054093A KR 20100054093 A KR20100054093 A KR 20100054093A KR 101686171 B1 KR101686171 B1 KR 101686171B1
Authority
KR
South Korea
Prior art keywords
feature point
distance
image
point information
image feature
Prior art date
Application number
KR1020100054093A
Other languages
English (en)
Other versions
KR20110134228A (ko
Inventor
최현도
박준호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100054093A priority Critical patent/KR101686171B1/ko
Priority to US13/043,046 priority patent/US8818016B2/en
Publication of KR20110134228A publication Critical patent/KR20110134228A/ko
Application granted granted Critical
Publication of KR101686171B1 publication Critical patent/KR101686171B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

영상 정보 및 거리 데이터를 이용하여 위치를 인식하는 장치 및 방법이 제공된다. 위치 인식 장치는, 영상을 감지하는 영상 센서와, 거리 데이터를 감지하는 거리 센서와, 영상으로부터 영상 특징점들을 추출하고, 추출된 영상 특징점들에 대한 영상 특징점 정보를 생성하는 영상 특징점 정보 처리부와, 거리 감지 신호로부터 거리 특징점 정보를 생성하는 거리 특징점 정보 처리부와, 영상 특징점 정보 및 거리 특징점 정보를 관측 값으로서 이용하여, 위치 인식 장치의 위치를 포함하는 상태 변수를 추정하는 상태 추정부를 포함한다.

Description

영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법{Apparatus for recognizing location using image and range data and method thereof}
위치 인식 장치에 관한 것으로, 영상 정보 및 거리 데이터를 이용하여 위치를 인식하는 장치 및 방법에 관한 것이다.
맵 구성과 함께 자신의 위치를 인식하는 방법으로 슬램(SLAM; Simultaneous Localization And Mapping) 알고리즘이 이용되고 있다. 슬램 알고리즘은 어떤 위치에서 주변 환경의 맵을 구성하고, 구성된 맵을 바탕으로 다시 이동한 로봇의 위치를 알아내는 과정을 반복하여 로봇의 위치와 주변 환경의 맵을 동시에 추정할 수 있는 알고리즘이다. 이와 같은 슬램 알고리즘을 수행하기 위하여, BO(Bearing Only) 센서 및 RO(Range Only) 센서 등이 이용된다.
BO 센서는 영상 정보와 같이 랜드마크의 방향만 알 수 있는 센서를 가리킨다. RO 센서는 GPS(Global Positioning System), UWB(Ultra WideBand), Wifi(Wireless fidelity)를 이용하여 수신된 신호와 같이, 랜드마크와의 거리만을 알 수 있는 센서를 가리킨다. RO 센서로부터 얻은 감지 정보를 이용하여 위치 인식을 수행하는 경우, 전역적 위치는 비교적 정확한 반면 국부적 위치의 정확도는 매우 낮은 경향이 있다. 한편, BO 센서로부터 얻은 감지 정보를 이용하여 위치 인식을 수행하는 경우, 국부적 위치의 정확도는 매우 높은 반면 전역적 위치는 누적 오차의 발생으로 인하여 정확도가 낮은 경향이 있다.
BO 센서와 RO 센서를 동시에 이용하여, 위치 인식의 안정성 및 정확도를 높이기 위한 위치 인식 장치 및 방법이 제공된다.
일 측면에 따른 위치 인식 장치는, 영상을 감지하는 영상 센서와, 거리 데이터를 출력하는 거리 센서와, 영상으로부터 영상 특징점들을 추출하고, 영상 특징점들에 대한 영상 특징점 정보를 생성하는 영상 특징점 정보 처리부와, 거리 감지 신호로부터 거리 특징점 정보를 생성하는 거리 특징점 정보 처리부와, 영상 특징점 정보 및 거리 특징점 정보를 관측 값으로서 이용하여, 위치 인식 장치의 위치를 포함하는 상태 변수를 추정하는 상태 추정부를 포함한다.
거리 특징점 정보에 거리 특징점의 위치가 포함되는 경우, 상태 추정부가 추정하는 상태 변수는, 위치 인식 장치의 자세 및 복수 개의 특징점 위치를 더 포함할 수 있다. 거리 특징점 정보에 거리 특징점의 위치가 포함되지 않는 경우, 상태 추정부가 추정하는 상태 변수는, 위치 인식 장치의 자세, 복수 개의 특징점 위치 및 거리 특징점의 위치를 더 포함할 수 있다.
상태 추정부는, 영상 특징점들의 평균 높이에 비례하여 거리 특징점 정보의 불확도를 증가시키고, 영상 특징점 정보 및 증가된 불확도가 반영된 거리 특징점 정보를 이용하여 상태 변수를 추정할 수 있다. 상태 추정부는, 영상 특징점들이 지평면과 이루는 평균 각도에 비례하여 거리 특징점 정보의 불확도를 증가시키고, 영상 특징점 정보 및 증가된 불확도가 반영된 거리 특징점 정보를 이용하여 상태 변수를 추정할 수 있다.
상태 추정부는, 영상 특징점 정보를 이용하여, 거리 특징점 정보의 일부가 불확실한지 여부를 결정하고, 거리 특징점 정보 중 일부가 불확실하다고 결정되는 경우, 관측 값에서 불확실한 것으로 결정된 거리 특징점 정보를 제외한 상태에서 상태 변수를 추정할 수 있다.
상태 추정부는, 장치의 위치와 거리 특징점 정보로부터 획득된 특징점 위치 사이의 영역에 위치하는 영상 특징점의 개수가 임계치 이상인 경우, 관측 값에서 영상 특징점의 개수가 임계치 이상인 위치에 대응하는 거리 특징점 정보를 제외한 상태에서 상태 변수를 추정할 수 있다.
상태 추정부는, 위치 인식 장치와 거리 특징점을 잇는 선에 수직한 평면(P)을 정의하고, 영상 특징점들을 평면(P)에 투영시키고, 위치 인식 장치와 거리 특징점을 잇는 선과 평면(P) 사이의 교점을 정의하고, 평면(P)에서 교점을 중심으로 반지름이 Rr인 원을 정의하고, 정의된 원에 투영된 영상 특징점들의 개수가 임계값 이상인 경우, 상기 관측 값에서 거리 특징점 정보를 제외한 상태에서 상태 변수를 추정할 수 있다.
다른 측면에 따른 위치 인식 장치의 동작 방법은, 영상 및 거리 데이터를 획득하는 동작과, 영상으로부터 영상 특징점들을 추출하고, 영상 특징점들에 대한 영상 특징점 정보를 생성하는 동작과, 거리 감지 신호로부터 거리 특징점 정보를 생성하는 동작과, 영상 특징점 정보 및 거리 특징점 정보를 관측 값으로서 이용하여, 위치 인식 장치의 위치를 포함하는 상태 변수를 추정하는 동작을 포함한다.
BO 센서와 RO 센서를 동시에 이용하고, 각 센서에서 얻은 정보를 하나의 위치 인식 프레임워크에서 최적화하여 위치 인식의 안정성 및 정확도를 높일 수 있다.
도 1은 위치 인식 장치의 구성의 일 예를 나타내는 블록도이다.
도 2는 도 1의 위치 인식 장치에서 이용되는 영상 특징점 및 거리 특징점의 일 예를 나타내는 도면이다.
도 3은 도 1의 위치 인식 장치에 포함되는 상태 추정부의 구성의 일 예를 나타내는 도면이다.
도 4는 거리 특징점의 불확도를 결정하는 방법의 일 예를 설명하기 위한 도면이다.
도 5는 거리 특징점 중 일부를 이용하여 상태 변수를 추정하는 방법의 일 예를 설명하기 위한 도면이다.
도 6은 도 5의 방법을 상세하게 설명하기 위한 도면이다.
도 7은 위치 인식 장치의 위치 인식 방법의 일 예를 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 위치 인식 장치의 구성의 일 예를 나타내는 블록도이다.
위치 인식 장치(100)는 영상 센서(110) 및 거리 센서(120) 및 위치 인식부(130)를 포함한다. 위치 인식 장치(100)는 카메라, 이동 로봇, 카메라를 포함하는 단말 장치로 구현될 수 있다. 영상 센서(110)는 BO 센서에 대응하는 영상 센서(110)라고 하고, 거리 센서(120)는 RO 센서에 대응한다.
영상 센서(110)는 외부의 이미지를 포착하여, 포착된 이미지를 디지털 신호로 변환한다. 영상 센서(110)는 CCD(Charge Coupled Device) 모듈이나 CMOS(Complementary Metal Oxide Semiconductor) 모듈을 포함하여 구성될 수 있다. 영상 센서(110)는 위치 이동에 따라 달라지는 영상들을 획득한다. 위치 인식 장치(100)가 카메라를 포함하는 단말 장치인 경우, 사용자가 위치 인식 장치(100)를 가지고 이동함에 따라, 영상 센서(110)에 의해 영상들이 획득될 수 있다. 위치 인식 장치(100)가 이동 로봇인 경우, 이동 로봇의 이동에 따라, 위치 이동에 따른 영상들이 획득될 수 있다.
거리 센서(120)는 거리 특징점과의 거리를 감지하여 거리 데이터를 출력한다. 거리 센서(120)는 GPS 수신기, Wifi 수신기 및 UWB 수신기 중 적어도 하나의 수신기로 구성될 수 있다.
위치 인식부(130)는 위치 인식 장치(100)가 출발하는 위치 및 출발시 방향각을 기준값으로 위치 및 방향각을 추정할 수 있다. 위치 인식부(130)는 영상 센서(110) 및 거리 센서(120)로부터 각각 특징점을 추출하고, 추출된 특징점을 기준으로 위치를 인식하고 지도를 생성할 수 있다.
위치 인식부(130)는 영상 특징점 정보 처리부(132), 거리 특징점 정보 처리부(134), 특징점 등록부(136) 및 상태 추정부(138)를 포함할 수 있다.
영상 특징점 정보 처리부(132)는 영상 센서(110)로부터 얻은 영상으로부터 영상 특징점 및 영상 특징점 기술자를 포함하는 영상 특징점 정보를 생성한다. 여기에서 영상 특징점은 사물의 모서리 또는 코너와 같이 형상을 특정시킬 수 있는 점을 의미한다. 이러한 영상 특징점은 특징점 지도 생성(map building)의 기초가 되는데 랜드마크(landmark)라고도 한다. 또한, 영상 특징점은 닫힌 영역(closed region)의 윤곽선에서 추출된 라인 또는 점이 될 수 있다. 영상 특징점 기술자는 특징점을 구별할 수 있는 각 특징점별 로컬 영상, 영상의 방향성 정보 또는 벡터 정보 등이 될 수 있다.
영상 특징점 정보 처리부(132)는 SIFT(Scale-Invariant Feature Transform), MSER(Maximally Stable Extremal Region) 기법, 또는 해리스 코너 검출(Harris Corner Detector) 방법 등과 같은 다양한 특징점 추출 알고리즘을 이용하여 특징점 및 특징점 기술자를 생성할 수 있다. 특징점 기술자는 특징점을 구별할 수 있는 특징점별 로컬 영상, 영상의 방향성 정보 또는 벡터 정보 등이 될 수 있다.
거리 특징점 정보 처리부(134)는 거리 센서(120)로부터 입력되는 거리 감지 신호(또는 거리 데이터)를 처리하여, 거리 특징점 정보를 생성한다. 거리 특징점 정보는 거리 특징점 식별자(ID) 및 거리 특징점과 위치 인식 장치(100) 사이의 거리를 포함한다. 또한, 거리 특징점 정보는 거리 특징점의 위치 정보를 더 포함할 수 있다.
여기에서, 거리 특징점은, 거리 센서(120)에 거리 감지 신호를 보낸 GPS 시스템, Wifi 송신기 및 UWB 송신기 등을 나타낸다. GPS 시스템, Wifi 송신기 및 UWB 송신기와 같이, 거리 측정에 이용되는 신호를 전송하는 장치는 통상적으로 고유의 식별자(ID)를 가지고 있으며, 신호 전송시에 자신의 식별자(ID)도 함께 전송한다.
GPS 신호에는 GPS의 현재 위치 정보가 포함되므로, 거리 센서(120)가 GPS 수신기인 경우, 거리 특징점 정보 처리부(134)는 거리 특징점 식별자, 거리 특징점의 위치 및 특징점과 위치 인식 장치(100)의 거리를 얻을 수 있다. 한편, 거리 센서(120)가 Wifi 수신기 또는 UWB 수신기인 경우, 거리 특징점 정보 처리부(134)는 일반적으로 거리 특징점 식별자 및 거리 특징점과 위치 인식 장치(100) 사이의 거리만을 얻을 수 있다. 그러나, 거리 센서(120)가 자신의 위치 정보를 전송가능한 Wifi 송신기 또는 UWB 송신기로부터 신호를 수신하는 경우, 거리 특징점 정보 처리부(134)는 거리 특징점 위치도 얻을 수 있다.
특징점 등록부(136)는 새로 입력되는 영상 특징점 및 거리 특징점이 각각 기존에 등록된 영상 특징점 및 거리 특징점에 매칭하는지 결정한다. 특징점 등록부(136)는 영상 특징점 정보 및 거리 특징점 정보를 저장하는 저장부(도시되지 않음)를 포함할 수 있다. 저장부는 위치 인식 장치(100)의 다른 위치에 포함될 수 있다.
특징점 등록부(136)는 새로 입력된 영상 특징점 정보에 포함된 영상 특징점 기술자와 기존에 등록된 영상 특징점 기술자를 비교하여 새로 입력된 영상 특징점 이 기존에 등록된 영상 특징점과 매칭되는지 결정할 수 있다. 예를 들여, 영상 특징점이 로컬 영상인 경우, 영상 특징점들이 매칭되는지 여부는 NCC(Normalized Cross Correlation), SSD(Sum of Squared Differences), SAD(Sum of Absolute Differences), MAD(Mean of Absolute Differences) 연산 등의 방법을 이용하여 결정될 수 있다.
또한, 특징점 등록부(138)는 새로 입력된 거리 특징점 정보에 포함된 특징점 식별자(ID)와 기존의 등록된 거리 특징점 정보에 포함된 특징점 식별자(ID)를 비교하여 새로 입력된 거리 특징점이 기존에 등록된 거리 특징점과 매칭되는지 결정할 수 있다. 특징점 등록부(136)는 기존에 등록된 영상 특징점에 대응되는 새로 입력된 영상 특징점 정보 및 기존에 등록된 거리 특징점에 대응되는 새로 입력된 거리 특징점 정보를 상태 추정부(138)로 전달한다.
상태 추정부(138)는 특징점 등록부(136)로부터 입력된 영상 특징점 정보 및 거리 특징점 정보를 하나의 위치 추정 알고리즘에서 통합적인 관측 값으로서 이용하여, 위치 인식 장치(100)의 위치를 포함하는 상태 변수를 추정한다. 상태 추정부(138)는 파티클 필터(particle filter), 칼만 필터(kalman filter), 정보 필터(information filter) 등의 위치 추정 알고리즘을 이용하여 위치를 추정할 수 있다. 이하에서는, 상태 추정부(138)가 칼만 필터 알고리즘에 따라 위치 추정을 수행하는 것으로 가정하고 설명한다.
칼만 필터는 관측이 수행될 때마다 예측과 갱신을 반복함으로써 최적의 상태 변수값을 추정하는 공지된 알고리즘이다. 상태 변수 xk의 시스템 방정식은 수학식 1과 같이 정의될 수 있다.
Figure 112010036851031-pat00001
여기에서, Fk는 현재의 상태 변수와 다음 단계의 상태 변수를 연결하는 상태 전이 행렬이고, uk는 입력 변수이고, wk는 시스템 노이즈이다. 여기에서, k는 특정 시점을 의미하는 카운트 값으로, 다음 시점에서는 1이 증가하는 값이다.
거리 데이터 처리 결과 거리 특징점의 위치를 포함하는 거리 특징점 정보가 생성되는 경우, 상태 추정부(138)가 추정하는 상태 변수는, 위치 인식 장치(100)의 위치, 위치 인식 장치(100)의 자세 및 복수 개의 특징점 위치를 포함할 수 있다. 거리 데이터 처리 결과 생성된 거리 특징점 정보에 특징점의 위치가 포함되지 않는 경우, 상태 추정부(138)가 추정하는 상태 변수는, 위치 인식 장치(100)의 위치, 위치 인식 장치(100)의 자세, 복수 개의 특징점 위치 및 거리 특징점의 위치를 포함할 수 있다.
이하에서는, 도 2를 참조하여, 상태 변수 xk와 관측 벡터 zk의 정의에 대하여 설명한다. 도 2는 도 1의 위치 인식 장치에서 이용되는 영상 특징점 및 거리 특징점의 일 예를 나타내는 도면이다.
거리 센서(120)가 거리 특징점 위치를 포함하는 거리 감지 신호를 수신하는 경우, 거리 특징점 위치는 입력 벡터 uk에 포함된다. 거리 감지 신호를 송신하는 신호 송신기가 도 2에 도시된 바와 같은 GPS(10)인 경우, 일반적으로 위성은 자신의 위치를 전송하기 때문에 거리 특징점 위치는 uk에 포함된다. 신호 송신기가 UWB 또는 Wifi 방식의 송신기이며, UWB 또는 Wifi 방식으로 자신의 위치를 전송하는 경우, 거리 특징점 위치는 uk에 포함된다. 이는 수학식 2로 나타낼 수 있다.
Figure 112010036851031-pat00002
Figure 112010036851031-pat00003
여기에서, (Xc, Yc, Zc)는 위치 인식 장치(100)의 위치를 나타낸다. 위치 인식 장치(100)의 위치는 영상 센서(110)의 위치일 수 있다. (φc, θc, ψc)는 위치 인식 장치(100) 또는 영상 센서(110)의 자세를 나타낸다. (xbi, ybi, zbi)는 영상 특징점(20)과 같은 영상 특징점의 위치를 나타낸다. (xri, yri, zri)는 위성(10)과 같은 거리 특징점의 위치를 나타낸다.
그러나, UWB 또는 Wifi 방신의 송신기가 자신의 위치를 전송하지 않는 경우, 거리 특징점의 위치는 추정해야 하는 변수 xk에 포함되고, uk는 0으로 설정된다. 이는 수학식 3과 같이 나타낼 수 있다.
Figure 112010036851031-pat00004
Figure 112010036851031-pat00005
관측 벡터를 결정하기 위한 측정 방정식은 수학식 4와 같이 정의될 수 있다.
Figure 112010036851031-pat00006
여기에서, zk는 관측 벡터이고, Hk는 해당 시간에서 측정에 관련되는 행렬이고, vk는 관측 노이즈이며, 측정 방정식의 불확도를 나타낸다.
관측 벡터의 구성은, 수학식 5와 같이 영상 내의 특징점의 좌표와 거리 데이터로 이루어진다.
Figure 112010036851031-pat00007
여기에서, (ui, vi)는 획득된 영상 내에서 영상 특징점 i의 2차원 위치를 나타내고, (da1…dan di1…din)은 거리 데이터를 나타낸다.
측정 방정식의 불확도는 영상 데이터에 대한 불확도(Vimage)와 거리 데이터에 대한 불확도(Vrange)를 포함한다. 이는 수학식 6으로 나타낼 수 있다.
Figure 112010036851031-pat00008
영상 데이터에 대한 불확도는 특징점 매칭에 사용된 알고리즘에 따라 결정된다. 거리 데이터의 불확도는 상태 변수 xk에 의해 결정된다.
다시 도 1을 참조하면, 거리 특징점 정보는 위치 인식 장치(100)가 위치하는 공간의 특성에 따라 불확도가 결정될 수 있다. 예를 들어, 위치 인식 장치(100)가 개방된 공간에 위치하는 경우에는, GPS와 같은 신호 수신시 오차가 없으므로, 정확한 거리 데이터가 획득될 수 있다. 그러나, 위치 인식 장치(100)가 고층 건물이 밀집한 경우와 같이 주변에 GSP 신호를 반사하거나 막는 구조가 있는 도심 공간에 위치하는 경우, 획득된 거리 특징점 정보에는 큰 오차가 발생하게 된다. 특징점의 높이가 높을 수록, 주변에 높은 건물이 많아서, 위성 정보의 불확실성이 높아질 수 있다.
상태 추정부(138)는, 특징점의 평균 높이와 관측 불확실성이 비례함을 고려하여, 영상 특징점들의 평균 높이에 비례하여 거리 특징점 정보의 불확도를 증가시키고, 영상 특징점 정보 및 증가된 불확도가 반영된 거리 특징점 정보를 이용하여 상태 변수를 추정할 수 있다. 또는, 상태 추정부(138)는, 영상 특징점들이 지평면과 이루는 평균 각도에 비례하여 거리 특징점 정보의 불확도를 증가시키고, 영상 특징점 정보 및 증가된 불확도가 반영된 거리 특징점 정보를 이용하여 상태 변수를 추정할 수 있다.
또는, 상태 추정부(138)는, 영상 특징점 정보를 이용하여, 거리 특징점 정보의 일부가 불확실한지 여부를 결정하고, 거리 특징점 정보 중 일부가 불확실하다고 결정되는 경우, 관측 값에서 위치 추정시 불확실한 것으로 결정된 거리 특징점 정보를 제외하고 상태 변수를 추정할 수 있다. 예를 들어, 상태 추정부(138)는, 위치 인식 장치(100)의 위치와 거리 특징점 정보로부터 획득된 특징점 위치 사이의 영역에 위치하는 영상 특징점이 많은 경우, 관측 값에서 영상 특징점이 많은 위치에 대응하는 거리 특징점 정보를 제외하고 상태 변수를 추정할 수 있다.
이와 같이, 영상 센서와 거리 센서를 동시에 이용하고, 각 센서에서 얻은 영상 특징점 정보 및 거리 특징점 정보를 하나의 위치 인식 프레임워크에서 최적화하여 위치 인식의 안정성 및 정확도를 높일 수 있다.
도 3은 도 1의 위치 인식 장치에 포함되는 상태 추정부(138)의 구성의 일 예를 나타내는 도면이다.
상태 추정부(138)는 시스템 예측부(310), 관측 예측부(320), 업데이트부(330) 및 상태 저장부(340)를 포함할 수 있다.
시스템 예측부(310)는 기존의 상태 변수 xk-1|k-1 및 입력 변수 uk를 이용하여 현재의 시스템 추청 값을 나타내는 상태 변수 xk를 출력한다. 여기에서, 아래 첨자로 쓰인 n|m은 m 시점에서의 측정 값을 토대로 한 n 시점의 상태 추정을 의미한다.
관측 예측부(320)는 상태 변수 xk|k-1를 관측 예측 값을 나타내는 관측 벡터 zk로 변환한다. 한편, 특징점 등록부(136)는 실제 관측 값인 z*k을 차분기(330)에 입력한다. 차분기(330)는 관측 벡터 zk 및 실제 관측 값인 z*k의 차분 결과를 업데이트부(340)에 제공한다. 전술한 바와 같이, 거리 특징점 정보는 위치 인식 장치(100)가 위치하는 공간의 특성에 따라 불확도가 결정될 수 있다. 이와 같은 거리 특징점 정보의 불확도를 고려하여 관측 값 z*k을 설정할 수 있다.
업데이트부(340)는 칼만 이득(Kalman gain)을 이용하여, 차분 결과가 최소가 되는 방향으로 최종 상태 값 xk|k를 계산한다. 계산된 최종 상태 값은 상태 저장부(250)에 저장된다. 최종 상태 값 xk|k는 k+1 시점의 상태 추정에 이용될 수 있다.
한편, 일 실시예에 따르면, 관측 예측부(320)는, 특징점 등록부(136)로부터 영상 특징점들의 위치 정보를 입력받아서, 영상 특징점들의 평균 높이를 계산하고, 영상 특징점들의 평균 높이에 비례하여 거리 특징점 정보의 불확도를 증가시켜서 관측 벡터 zk를 생성할 수 있다.
또는, 관측 예측부(320)는, 특징점 등록부(136)로부터 영상 특징점들의 위치 정보를 입력받아서, 영상 특징점들이 지평면과 이루는 각도의 평균을 계산하고, 거리 특징점 정보의 불확도를 증가시켜서 관측 벡터 zk를 생성할 수 있다.
또는, 관측 예측부(320)는, 영상 특징점 정보를 이용하여, 거리 특징점 정보의 일부가 불확실한지 여부를 결정하고, 거리 특징점 정보 중 일부가 불확실하다고 결정되는 경우, 거리 특징점 정보 중 위치 추정시 불확실한 것으로 결정된 일부 거리 특징점 정보가 제외되도록 관측 벡터 zk를 생성할 수 있다. 또한, 관측 예측부(320)는 관측 벡터 위치 추정시 불확실한 것으로 결정된 거리 특징점 정보를 제외한 관측 값 z*k을 입력받도록 차분기(330)를 제어할 수 있다.
이와 같은 방법으로, 상태 추정부(138)는, 거리 특징점 정보 중 일부가 불확실하다고 결정되는 경우, 거리 특징점 정보 중 위치 추정시 불확실한 것으로 결정된 일부 거리 특징점 정보가 제외된 상태에서 상태 변수를 예측할 수 있다. 이상에서 관측 예측부(320)가 영상 특징점들을 이용하여 거리 특징점들의 불확도를 결정하는 것으로 설명하였으나, 이에 제한되는 것은 아니고, 다양하게 변형되어 실시될 수 있다.
도 4는 거리 특징점의 불확도를 결정하는 방법의 일 예를 설명하기 위한 도면이다.
도 3의 상태 추정부(138)는, 영상 특징점들의 평균 높이에 비례하여 거리 특징점 정보의 불확도를 증가시키고, 영상 특징점 정보 및 증가된 불확도가 반영된 거리 특징점 정보를 이용하여 상태 변수를 추정할 수 있다. 이를 위해, 상태 추정부(138)는 특징점들 중에서 위치 인식 장치(100)(또는 영상 센서(110))를 중심으로 거리가 R 이내에 존재하는 특징점들 선택한다. 상태 추정부(138)는 특징점들 중에서 위치 인식 장치(100)(또는 영상 센서(110))를 중심으로 거리가 R 이내에 존재하는 특징점들은 수학식 7을 만족하는 특징점들로 결정될 수 있다.
Figure 112010036851031-pat00009
여기에서, Xc는 카메라의 x좌표에서의 위치를 나타내고, Yc는 카메라의 y좌표에서의 위치를 나타낸다. xbi는 영상 특징점 i의 x좌표에서의 위치를 나타내고, ybi는 영상 특징점 i의 y좌표에서의 위치를 나타낸다.
상태 추정부(138)는 위치 인식 장치(100)(또는 영상 센서(110))를 중심으로 거리가 R 이내에 존재하는 특징점들의 평균 높이에 비례하여 거리 특징점 정보의 불확도를 결정할 수 있다. 특히, 거리 특징점 정보 중 위치 인식 장치(100)로 거리 감지 신호를 전송한 송신기에 해당하는 거리 특징점 사이의 거리 데이터의 불확도가 결정될 수 있다. 거리 데이터의 불확도는
Figure 112010036851031-pat00010
로 나타낼 수 있다. 영상 특징점들을 원통면에 투영하면, 영상 특징점들의 평균 높이 vr은 수학식 8과 같이 표현될 수 있다.
Figure 112010036851031-pat00011
여기에서, zbi는 영상 특징점 i의 z좌표에서의 위치를 나타내고, n은 수학식 7을 만족하는 특징점들의 개수를 나타내고, kz는 거리 센서(120)의 종류에 따라 달라지는 비례 상수를 나타낸다. 예를 들어, 도 3에 도시된 영상 특징점들(21, 22, 23, 24)의 z좌표 위치(zb1, zb2, zb3, zb4)의 평균이 수학식 8을 이용하여 계산될 수 있다.
또한, 상태 추정부(138)는 영상 특징점 및 카메라와 평면 사이의 각도를 이용하여 거리 특징점 정보의 불확도를 결정할 수 있다. 전술한 바와 같이, 특징점들 중에서 카메라를 중심으로 거리가 R 이내에 존재하는 특징점들은 수학식 7을 만족하는 특징점들로 결정될 수 있다.
상태 추정부(138)는 카메라를 중심으로 거리가 R 이내인 특징점과 카메라를 잇는 벡터를 구하고, 그 벡터와 지평면이 이루는 각도(φi)의 평균 또는 각도의 탄젠트 값의 평균을 구할 수 있다. 거리 데이터의 불확도는 위치 인식 장치(100)로 거리 감지 신호를 전송한 송신기에 해당하는 거리 특징점 사이의 거리를 나타내는 벡터와 지평면이 이루는 각도의 평균 또는 각도의 탄젠트 값의 평균에 따라 결정될 수 있다. 이는 수학식 9를 이용하여 계산될 수 있다.
Figure 112010036851031-pat00012
여기에서, n은 수학식 7을 만족하는 특징점들의 개수를 나타내고, kφ는 거리 센서의 종류에 따라 달라지는 비례 상수를 나타낸다.
도 5는 거리 특징점 중 일부를 이용하여 상태 변수를 추정하는 방법의 일 예를 설명하기 위한 도면이다.
상태 추정부(138)는, 영상 특징점 정보를 이용하여, 거리 특징점 정보의 일부가 불확실한지 여부를 결정할 수 있다. 상태 추정부(138)는 거리 특징점 정보 중 일부가 불확실하다고 결정되는 경우, 위치 추정시 불확실한 것으로 결정된 거리 특징점 정보를 제외한 상태에서 상태 변수를 추정할 수 있다.
상태 추정부(138)는 위치와 거리 특징점 정보로부터 획득된 특징점 위치 사이의 영역에 위치하는 영상 특징점 개수를 결정할 수 있다. 상태 추정부(138)는, 위치 인식 장치(100)의 위치와 거리 특징점 정보로부터 획득된 특징점 위치 사이의 영역에 위치하는 영상 특징점의 개수가 임계치 이상인 경우, 영상 특징점의 개수가 임계치 이상인 위치에 대응하는 거리 특징점 정보는 이용하지 않을 수 있다.
일 예로, 도 5에 도시된 바와 같이, 위치 인식 장치(100)는 제1 GPS 위성(11)으로부터 수신된 거리 데이터의 경우, 제1 GPS 위성(11)과 위치 인식 장치(100) 사이에 영상 특징점들(25, 26)이 존재하므로, 제1 GPS 위성(11)으로부터 수신된 거리 데이터는 관측 값으로 이용하지 않을 수 있다. 한편, 위치 인식 장치(100)는 제2 GPS 위성(12)으로부터 수신된 거리 데이터의 경우, 제2 GPS 위성(12)과 위치 인식 장치(100) 사이에 영상 특징점들이 존재하지 않으므로, 제2 GPS 위성(12)으로부터 수신된 거리 데이터는 관측 값으로 이용할 수 있다.
이와 같이, 획득된 거리 데이터의 불확도가 커서 위치 인식에 오차를 발생시킬 확률이 큰 데이터는 제외하고 상태 변수를 추정함으로써, 위치 인식 장치(100)의 위치 인식 정확도 및 안정성을 증가시킬 수 있다.
도 6은 도 5의 방법을 상세하게 설명하기 위한 도면이다.
상태 추정부(138)는 위치 인식 장치(100)의 위치와 거리 특징점 정보로부터 획득된 특징점 위치 사이의 영역에 위치하는 영상 특징점의 개수가 임계치 이상인지 여부를 다음과 같은 방법을 통해 결정할 수 있다.
우선, 상태 추정부(138)는, 위치 인식 장치와 거리 특징점을 잇는 선에 수직한 평면(P)을 정의하고, 영상 특징점들을 평면(P)에 투영시킨다. 상태 추정부(138)는 위치 인식 장치와 거리 특징점을 잇는 선과 평면(P) 사이의 교점을 정의하고, 평면(P)에서 교점을 중심으로 반지름이 Rr인 원을 정의한다. 상태 추정부(138)는 정의된 원에 투영된 영상 특징점들의 개수를 계산하고, 계산된 영상 특징점의 개수가 임계값 이상인 경우, 해당 거리 특징점 정보를 이용하지 않는다. 즉, 상태 추정부(138)는 해당 거리 특징점 정보를 관측 값에서 제외한 상태에서 상태 변수를 추정할 수 있다.
상태 추정부(138)는 평면(P)에 월드 좌표계 W에서 정의된 영상 특징점들을 투영시키기 위하여, 월드 좌표계 W을 위성(10)의 위치에 해당하는 거리 특징점과 위치 인식 장치(10) 사이의 수직 벡터를 z축으로 하는 로컬 좌표계 R로 변환해야 한다. 좌표계를 변환하기 위한 행렬 RRW은 수학식 10에 나타낸 바와 같이, 영상 특징점들의 좌표 bi와 위치 인식 장치(100)의 위치 xc로 정의된다.
Figure 112010036851031-pat00013
또한, 영상의 특징점을 로컬 좌표계에서 표현하기 위하여 수학식 11이 이용될 수 있다.
Figure 112010036851031-pat00014
위치 인식 장치(100)를 기준으로 영상의 특징점을 나타내는 벡터
Figure 112010036851031-pat00015
을 평면 P에 투영하면 수학식 12와 같이 투영된 특징점의 위치가 계산될 수 있다.
Figure 112010036851031-pat00016
여기에서, fp는 평면 P와 위치 인식 장치(100)의 거리를 나타낸다. 투영된 특징점의 위치가 반지름이 Rr인 원 위에 있기 위한 조건은 수학식 13에 의해 계산될 수 있다.
Figure 112010036851031-pat00017
도 7은 위치 인식 방법의 일 예를 나타내는 순서도이다.
도 1의 위치 인식 장치(100)는 영상 센서(110)를 이용하여 영상을 획득한다(710). 위치 인식 장치(100)는 영상 특징점 정보를 생성한다(720).
위치 인식 장치(100)는 거리 센서(220)를 이용하여 거리 감지 신호를 획득한다(740). 위치 인식 장치(100)는 거리 특징점 정보를 생성한다(750).
위치 인식 장치(100)는 새로 입력된 영상 특징점과 기존에 등록된 영상 특징점이 매칭하는지 결정하고(730), 새로 입력된 거리 특징점과 기존에 등록된 거리 특징점이 매칭하는지 결정한다(760).
기존에 등록된 영상 특징점과 매칭하는 영상 특징점 정보와, 기존에 등록된 거리 특징점과 매칭하는 거리 특징점 정보를 관측 값으로 이용하여 위치 인식 장치(100)의 위치를 추정한다(770). 이때, 위치 인식 장치(100)는 칼만 필터, 파티클 필터 등 다양한 위치 인식 알고리즘을 이용하여 위치 인식 장치(100)의 위치를 포함하는 상태 변수를 추정하는 방법을 이용할 수 있다. 위치 추정(770) 후 다시 단계 710 및 740을 수행하는 단계로 되돌아가서 동작을 반복한다.
위치 인식 장치(100)는 거리 특징점이 기존에 등록되지 않은 새로운 거리 특징점인 경우, 해당 거리 특징점의 거리 특징점 정보를 새로운 거리 특징점 정보로서 등록한다(780). 또한, 위치 인식 장치(100)는 영상 특징점 정보 처리에 의해 추출된 영상 특징점이 기존의 영상 특징점과 매칭되지 않는 새로운 영상 특징점인 경우, 새로운 영상 특징점을 등록한다(780). 영상 특징점 및 거리 특징점 등록 (780) 후 다시 단계 710 및 740을 수행하는 단계로 되돌아가서 동작을 반복한다.
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

Claims (14)

  1. 영상을 감지하는 영상 센서;
    거리 감지 신호를 출력하는 거리 센서;
    상기 감지된 영상으로부터 영상 특징점들을 추출하고, 상기 영상 특징점들에 대한 영상 특징점 정보를 생성하는 영상 특징점 정보 처리부;
    상기 거리 감지 신호로부터 거리 특징점 정보를 생성하는 거리 특징점 정보 처리부; 및
    상기 영상 특징점 정보 및 상기 거리 특징점 정보를 관측 값으로서 이용하여, 위치 인식 장치의 위치를 포함하는 상태 변수를 추정하는 상태 추정부를 포함하고,
    상기 상태 추정부는, 상기 영상 특징점들의 평균 높이 및 상기 영상 특징점들이 지평면과 이루는 평균 각도 중 적어도 하나에 비례하여 상기 거리 특징점 정보의 불확도를 증가시키고, 상기 영상 특징점 정보 및 증가된 불확도가 반영된 거리 특징점 정보를 이용하여 상기 상태 변수를 추정하는 위치 인식 장치.
  2. 제1항에 있어서,
    상기 거리 특징점 정보에 상기 거리 특징점의 위치가 포함되는 경우, 상기 상태 추정부가 추정하는 상태 변수는, 상기 위치 인식 장치의 자세 및 복수 개의 특징점 위치를 더 포함하는 위치 인식 장치.
  3. 제1항에 있어서,
    상기 거리 특징점 정보에 상기 거리 특징점의 위치가 포함되지 않는 경우, 상기 상태 추정부가 추정하는 상태 변수는, 상기 위치 인식 장치의 자세, 복수 개의 특징점 위치 및 상기 거리 특징점의 위치를 더 포함하는 위치 인식 장치.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 상태 추정부는, 상기 영상 특징점 정보를 이용하여, 상기 거리 특징점 정보의 일부가 불확실한지 여부를 결정하고, 상기 거리 특징점 정보 중 일부가 불확실하다고 결정되는 경우, 상기 관측 값에서 불확실한 것으로 결정된 거리 특징점 정보를 제외한 상태에서 상기 상태 변수를 추정하는 위치 인식 장치.
  7. 제1항에 있어서,
    상기 상태 추정부는, 상기 장치의 위치와 상기 거리 특징점 정보로부터 획득된 특징점 위치 사이의 영역에 위치하는 영상 특징점의 개수가 임계치 이상인 경우, 상기 관측 값에서 상기 영상 특징점의 개수가 임계치 이상인 위치에 대응하는 거리 특징점 정보를 제외한 상태에서 상기 상태 변수를 추정하는 위치 인식 장치.
  8. 제7항에 있어서,
    상기 상태 추정부는, 상기 위치 인식 장치와 상기 거리 특징점을 잇는 선에 수직한 평면(P)을 정의하고, 상기 영상 특징점들을 상기 평면(P)에 투영시키고, 상기 위치 인식 장치와 상기 거리 특징점을 잇는 선과 상기 평면(P) 사이의 교점을 정의하고, 상기 평면(P)에서 상기 교점을 중심으로 반지름이 Rr인 원을 정의하고, 상기 정의된 원에 상기 투영된 영상 특징점들의 개수가 임계값 이상인 경우, 상기 상기 관측 값에서 상기 거리 특징점 정보를 제외한 상태에서 상기 상태 변수를 추정하는 위치 인식 장치.
  9. 위치 인식 장치의 위치 인식 방법으로서,
    영상 및 거리 데이터를 획득하는 단계;
    상기 영상으로부터 영상 특징점들을 추출하고, 상기 영상 특징점들에 대한 영상 특징점 정보를 생성하는 단계;
    상기 거리 감지 신호로부터 거리 특징점 정보를 생성하는 단계;
    상기 영상 특징점 정보 및 상기 거리 특징점 정보를 관측 값으로서 이용하여, 상기 위치 인식 장치의 위치를 포함하는 상태 변수를 추정하는 단계를 포함하고,
    상기 상태 변수를 추정하는 단계는,
    상기 영상 특징점들의 평균 높이 및 상기 영상 특징점들이 지평면과 이루는 평균 각도 중 적어도 하나에 비례하여 상기 거리 특징점 정보의 불확도를 증가시키는 단계; 및
    상기 영상 특징점 정보 및 증가된 불확도가 반영된 거리 특징점 정보를 이용하여 상기 상태 변수를 추정하는 단계를 포함하는 방법.
  10. 제9항에 있어서,
    상기 거리 특징점 정보에 상기 거리 특징점의 위치가 포함되는 경우, 상기 상태 변수는, 상기 위치 인식 장치의 자세 및 복수 개의 특징점 위치를 더 포함하는 방법.
  11. 제9항에 있어서,
    상기 거리 특징점 정보에 상기 거리 특징점의 위치가 포함되지 않는 경우, 상기 상태 변수는, 상기 위치 인식 장치의 자세, 복수 개의 특징점 위치 및 상기 거리 특징점의 위치를 더 포함하는 방법.
  12. 삭제
  13. 제9항에 있어서,
    상기 상태 변수를 추정하는 단계는,
    상기 위치 인식 장치의 위치와 상기 거리 특징점 정보로부터 획득된 특징점 위치 사이의 영역에 위치하는 영상 특징점의 개수가 임계치 이상인 경우, 상기 영상 특징점의 개수가 임계치 이상인 위치에 대응하는 거리 특징점 정보는 상기 관측 값에서 제외하는 단계를 더 포함하는 방법.
  14. 제13항에 있어서,
    상기 영상 특징점의 개수가 임계치 이상인 위치에 대응하는 거리 특징점 정보는 상기 관측 값에서 제외하는 단계는,
    상기 위치 인식 장치와 상기 거리 특징점을 잇는 선에 수직한 평면(P)을 정의하는 단계;
    상기 영상 특징점들을 상기 평면(P)에 투영하는 단계;
    상기 위치 인식 장치와 상기 거리 특징점을 잇는 선과 상기 평면(P) 사이의 교점을 정의하는 단계;
    상기 평면(P)에서 상기 교점을 중심으로 반지름이 Rr인 원을 정의하는 단계; 및
    상기 정의된 원에 상기 투영된 영상 특징점들의 개수가 임계값 이상인 경우, 상기 거리 특징점 정보를 제외하는 단계를 포함하는 방법.
KR1020100054093A 2010-06-08 2010-06-08 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법 KR101686171B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100054093A KR101686171B1 (ko) 2010-06-08 2010-06-08 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법
US13/043,046 US8818016B2 (en) 2010-06-08 2011-03-08 Apparatus for localization using image and range data and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100054093A KR101686171B1 (ko) 2010-06-08 2010-06-08 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110134228A KR20110134228A (ko) 2011-12-14
KR101686171B1 true KR101686171B1 (ko) 2016-12-13

Family

ID=45064496

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100054093A KR101686171B1 (ko) 2010-06-08 2010-06-08 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법

Country Status (2)

Country Link
US (1) US8818016B2 (ko)
KR (1) KR101686171B1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101980677B1 (ko) * 2012-01-18 2019-05-22 엘지전자 주식회사 영상 기반 위치 인식을 위한 특징점 등록 장치, 이를 사용한 등록 방법, 및 이를 포함하는 로봇 청소기
KR101329111B1 (ko) 2012-05-02 2013-11-14 한국과학기술연구원 실내 네비게이션 시스템 및 방법
KR101438377B1 (ko) * 2012-08-24 2014-09-05 전자부품연구원 이동체의 위치 판단 장치 및 위치 판단 방법
US9589078B2 (en) * 2012-09-27 2017-03-07 Futurewei Technologies, Inc. Constructing three dimensional model using user equipment
EP3438925A4 (en) * 2016-03-30 2019-04-17 Sony Corporation INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING DEVICE
KR101837893B1 (ko) * 2017-02-24 2018-04-26 영남대학교 산학협력단 센서 기반 이동체 위치 추정 시스템 및 방법
CN107610173B (zh) * 2017-08-11 2021-04-02 北京圣威特科技有限公司 一种实时定位方法和装置
US10706505B2 (en) * 2018-01-24 2020-07-07 GM Global Technology Operations LLC Method and system for generating a range image using sparse depth data
US10969468B2 (en) * 2018-07-30 2021-04-06 7hugs Labs SAS Recursive real time positioning system setup method for immediate convergence of functional system setup
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
JP7445642B2 (ja) 2018-08-13 2024-03-07 マジック リープ， インコーポレイテッド クロスリアリティシステム
US11232635B2 (en) 2018-10-05 2022-01-25 Magic Leap, Inc. Rendering location specific virtual content in any location
PH12019050076A1 (en) * 2019-05-06 2020-12-02 Samsung Electronics Co Ltd Enhancing device geolocation using 3d map data
JP2022551735A (ja) 2019-10-15 2022-12-13 マジック リープ， インコーポレイテッド 無線フィンガプリントを用いたクロスリアリティシステム
CN114600064A (zh) 2019-10-15 2022-06-07 奇跃公司 具有定位服务的交叉现实***
CN114730546A (zh) 2019-11-12 2022-07-08 奇跃公司 具有定位服务和基于位置的共享内容的交叉现实***
US11562542B2 (en) 2019-12-09 2023-01-24 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
KR102173244B1 (ko) * 2019-12-10 2020-11-03 (주)인펙비전 Surf 특징점 추적 기반 영상 안정화 시스템
US20210200237A1 (en) * 2019-12-31 2021-07-01 Lyft, Inc. Feature coverage analysis
US11562525B2 (en) 2020-02-13 2023-01-24 Magic Leap, Inc. Cross reality system with map processing using multi-resolution frame descriptors
EP4104145A4 (en) 2020-02-13 2024-01-24 Magic Leap, Inc. CROSS-REALLY SYSTEM PRIORITIZING GEOLOCALIZATION INFORMATION FOR LOCALIZATION
US11410395B2 (en) 2020-02-13 2022-08-09 Magic Leap, Inc. Cross reality system with accurate shared maps
JP2023515524A (ja) 2020-02-26 2023-04-13 マジック リープ， インコーポレイテッド 高速位置特定を伴うクロスリアリティシステム
WO2021222371A1 (en) 2020-04-29 2021-11-04 Magic Leap, Inc. Cross reality system for large scale environments
CN114580615B (zh) * 2022-03-04 2022-09-23 哈尔滨工程大学 一种基于神经网络的分布式小平台水下纯方位定位方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006250917A (ja) 2005-02-14 2006-09-21 Kazuo Iwane 高精度ｃｖ演算装置と、この高精度ｃｖ演算装置を備えたｃｖ方式三次元地図生成装置及びｃｖ方式航法装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05257530A (ja) 1992-03-12 1993-10-08 Tokimec Inc 移動ロボットの方位及び位置の較正方法並びに装置
JP3154355B2 (ja) 1992-10-26 2001-04-09 株式会社小松製作所 移動体の相対距離計測装置および位置計測装置
KR0156722B1 (ko) 1995-08-08 1998-11-16 김광호 로보트의 위치인식장치 및 그 제어방법
AU2003264048A1 (en) * 2002-08-09 2004-02-25 Intersense, Inc. Motion tracking system and method
KR100601960B1 (ko) * 2004-08-05 2006-07-14 삼성전자주식회사 로봇의 위치 추적 및 지도 작성 방법
KR100776649B1 (ko) * 2004-12-06 2007-11-19 한국전자통신연구원 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
US7991550B2 (en) * 2006-02-03 2011-08-02 GM Global Technology Operations LLC Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
US8355818B2 (en) * 2009-09-03 2013-01-15 Battelle Energy Alliance, Llc Robots, systems, and methods for hazard evaluation and visualization
US7211980B1 (en) * 2006-07-05 2007-05-01 Battelle Energy Alliance, Llc Robotic follow system and method
KR100866380B1 (ko) * 2007-02-13 2008-11-03 한국과학기술연구원 물체인식을 바탕으로 한 로봇의 자기위치 추정 방법
KR100939213B1 (ko) * 2007-11-08 2010-01-28 한국전자통신연구원 인공 표식물의 위치 획득 장치 및 그 방법
US8340852B2 (en) * 2009-04-29 2012-12-25 Honeywell International Inc. System and method for simultaneous localization and map building

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006250917A (ja) 2005-02-14 2006-09-21 Kazuo Iwane 高精度ｃｖ演算装置と、この高精度ｃｖ演算装置を備えたｃｖ方式三次元地図生成装置及びｃｖ方式航法装置

Also Published As

Publication number Publication date
US8818016B2 (en) 2014-08-26
KR20110134228A (ko) 2011-12-14
US20110299736A1 (en) 2011-12-08

Similar Documents

Publication Publication Date Title
KR101686171B1 (ko) 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법
KR101663650B1 (ko) 거리 신호를 이용하여 위치를 인식하는 장치 및 방법
US20180025500A1 (en) Method of tracking one or more mobile objects in a site and a system employing same
AU2012379101B2 (en) Simultaneous localization and mapping using spatial and temporal coherence for indoor location
KR101538775B1 (ko) 전방 영상을 이용한 위치 인식 장치 및 방법
KR101782057B1 (ko) 지도 생성 장치 및 방법
US8723987B2 (en) Uncertainty estimation of planar features
KR101286169B1 (ko) 무선 통신 단말의 위치 측정 장치, 위치 측정 방법 및 핑거프린트 정보 수집 방법, 핑거프린트 서버 및 그의 위치 제공 방법
US20170242133A1 (en) Systems, methods, and devices for geo-localization
CN105246039A (zh) 一种基于图像处理的室内定位方法及***
KR101942288B1 (ko) 위치 보정 장치 및 방법
US11061102B2 (en) Position estimating apparatus, position estimating method, and terminal apparatus
KR101885961B1 (ko) 이미지를 기반으로 한 객체 위치 추정 방법 및 장치
EP3001217A1 (en) Method and apparatus for object localization
Teo et al. Autonomous mobile robot navigation via RFID signal strength sensing
Bisio et al. WiFi meets barometer: Smartphone-based 3D indoor positioning method
KR101280392B1 (ko) Ｓｌａｍ 기술 기반 이동 로봇의 지도를 관리하기 위한 장치 및 그 방법
JP6580286B2 (ja) 画像データベース構築装置、位置及び傾き推定装置並びに画像データベース構築方法
KR101364047B1 (ko) 물체인식을 바탕으로 한 칼만필터를 이용한 이동체의 자기위치 추정방법 및 장치
EP3001214A1 (en) Method and apparatus for object localization
EP3014296A1 (en) Systems and methods for detection of magnetic and motion-based landmarks
Liu et al. Automatic Construction of Wi-Fi Radio Map Using Smartphones
Zachár et al. Prediction-aided Radio-interferometric Object Tracking.
Schüssel et al. A comparison of sensorfusion methods for localization on mobile phones
CN114096001A (zh) 一种融合异质信号的任意组合以确定电子装置位置的概率***及方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant