KR101423139B1 - 3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체 - Google Patents

3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체 Download PDF

Info

Publication number
KR101423139B1
KR101423139B1 KR1020120065475A KR20120065475A KR101423139B1 KR 101423139 B1 KR101423139 B1 KR 101423139B1 KR 1020120065475 A KR1020120065475 A KR 1020120065475A KR 20120065475 A KR20120065475 A KR 20120065475A KR 101423139 B1 KR101423139 B1 KR 101423139B1
Authority
KR
South Korea
Prior art keywords
coordinates
space
dimensional
straight line
extracted
Prior art date
Application number
KR1020120065475A
Other languages
English (en)
Other versions
KR20130142336A (ko
Inventor
서일홍
장국현
황성목
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020120065475A priority Critical patent/KR101423139B1/ko
Publication of KR20130142336A publication Critical patent/KR20130142336A/ko
Application granted granted Critical
Publication of KR101423139B1 publication Critical patent/KR101423139B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/543—Depth or shape recovery from line drawings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체에 관한 것으로, 이동체가 공간에 대한 지도를 생성하는 방법은, 시야각을 달리하는 복수 개의 카메라를 이용하여 이동체의 주변 공간에 대한 영상을 각각 획득하고, 획득된 영상으로부터 직선(line)을 추출하고, 추출된 직선을 매칭(matching)시켜 3차원 공간 좌표를 생성하며, 플뤼커 매트릭스(Plucker matrix)를 이용하여 3차원 공간 좌표에 기반한 지도를 생성한다.

Description

3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체{Method for localization and mapping using 3D line, and mobile body thereof}
본 발명은 이동체의 위치를 인식하고 지도를 생성하는 기술에 관한 것으로, 특히 3차원 직선을 이용하여 이동체 스스로가 자신의 위치를 인식하고 동시에 이에 기반하여 주위 환경에 대한 지도를 생성하는 방법, 그 방법을 기록한 기록매체 및 그 방법에 따른 이동체에 관한 것이다.
사물의 위치를 파악하는 문제를 해결하기 위한 노력은 오래전부터 이루어져 왔다. 이러한 위치를 파악하는 문제는 현대에 이르러서는 더욱 그 유용성이 증대하고 있다. 특히, 이 시대의 원동력이 되는 기초 기반 기술 중에 위치 인식 기술은 로봇제어, 재난, 군사, 병원, 교통 등 이용되지 않는 분야를 찾기 힘들 정도로 중요한 위치를 차지할 것이다.
종래에 항해 및 항공 기술 등에 적용하기 위해 시도된 전통적 위치 추정 기술에서 벗어나, 소형화된 마이크로프로세서의 도움으로 인공 지능과 로봇 기술이 발전함에 따라 근래에 들어서는 이동체 스스로가 자신의 위치를 파악하기 위한 다양한 기술들로 진화하게 되었다. 특히, 로봇과 같은 이동체들은 종래의 통상적인 위치 추정 장치와는 달리 자신의 위치가 고정되어 있지 않다는 특징이 있는데, 그로 인해 위치 추정을 위한 다양한 기술적 수단들이 요구된다.
이와 관련하여 이동체의 주행을 제어하고 이동체 스스로가 위치한 주변 환경을 파악하기 위한 기술로서, SLAM(Simultaneous Localization and Mapping)이 제시되었다. SLAM은 자율 주행 로봇과 같은 이동체가 주변 환경에 대한 지도를 작성하여 자신의 위치를 인식하는 기술로서, 이하에서 제시되는 비특허문헌에는 거리 및 영상 정보에서 특징을 추출하여 SLAM을 수행하는 기술을 소개하고 있다.
적외선센서와 비전센서를 사용한 이동로봇의 SLAM, 이용주, 임병두, 송재복, 대한기계학회, 2006.
본 발명이 해결하고자 하는 기술적 과제는 종래의 비전(vision)에 기반한 이동체 위치 인식 기술에서 특징점으로서 점(point)을 사용할 경우 위치 인식 및 지도 생성의 성능이 저하되는 문제점을 극복하고, 특징점으로서 단일 영상 내의 직선을 사용할 경우, 바닥과 수직 방향의 직선에 대해서만 공간 지도를 작성할 수 있을 뿐만 아니라, 이동체의 위치와 지도 구성에 오차가 발생하는 한계를 극복하고자 한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 이동체가 공간에 대한 지도를 생성하는 방법은, 시야각을 달리하는 복수 개의 카메라를 이용하여 상기 이동체의 주변 공간에 대한 영상을 각각 획득하는 단계; 상기 획득된 영상으로부터 직선(line)을 추출하는 단계; 상기 추출된 직선을 매칭(matching)시켜 3차원 공간 좌표를 생성하는 단계; 및 플뤼커 매트릭스(Plucker matrix)를 이용하여 상기 생성된 3차원 공간 좌표에 기반한 지도를 생성하는 단계;를 포함한다.
일 실시예에 따른 상기 공간에 대한 지도를 생성하는 방법에서, 상기 3차원 공간 좌표를 생성하는 단계는, 상기 추출된 직선의 매칭을 통해 발생하는 불일치(disparity)로부터 깊이 정보를 추출하는 단계; 및 상기 추출된 깊이 정보 및 듀얼 플뤼커 좌표(dual plucker coordinates)와 플뤼커 직선 좌표(Plucker line coordinates) 간의 이중성(duality)을 이용하여 3차원 직선을 정의하는 단계;를 포함한다. 또한, 상기 듀얼 플뤼커 좌표는, 상기 이동체의 현재 위치 및 상기 이동체의 회전을 고려한 쿼터니온(quaternion) 값으로 구성된 포즈(pose) 정보에 기반하여 상기 카메라의 위치를 정의하고, 상기 정의된 카메라를 통해 획득된 영상으로부터 추출된 상기 직선의 끝점을 상호 매칭시킴으로써 생성된다.
일 실시예에 따른 상기 공간에 대한 지도를 생성하는 방법에서, 상기 3차원 공간 좌표에 기반한 지도를 생성하는 단계는, 상기 3차원 공간 좌표를 통해 정의된 3차원 직선에 인버스 깊이(inverse depth)의 성질을 사용하여 SLAM(Simultaneous Localization And Mapping)을 수행한다.
일 실시예에 따른 상기 공간에 대한 지도를 생성하는 방법에서, 상기 추출된 직선 정보가 임계치보다 부족할 경우, 상기 3차원 공간 좌표를 생성하는 단계는, 상기 이동체의 주행 정보(odometry)를 추가적으로 이용하여 수행된다.
일 실시예에 따른 상기 공간에 대한 지도를 생성하는 방법에서, 상기 생성된 3차원 공간 좌표와 미리 저장된 공간 좌표를 비교하는 단계; 및 상기 비교 결과에 따라 상기 미리 저장된 공간 좌표에 대한 특징 정보를 선택적으로 갱신하는 단계;를 더 포함한다. 또한, 상기 비교 결과, 상기 생성된 3차원 공간 좌표의 특징 정보가 상기 미리 저장된 공간 좌표 내에 존재하는 경우, 상기 복수 개의 카메라를 이용하여 예측된 직선 및 상기 추출된 직선의 끝점을 이용하여 상기 특징 정보에 대한 갱신 값을 산출하는 단계; 및 상기 이동체의 좌표, 상기 플뤼커 라인 좌표 및 상기 산출된 갱신 값을 이용하여 상기 미리 저장된 공간 좌표의 특징 정보를 갱신하는 단계;를 더 포함한다.
나아가, 이하에서는 상기 기재된 이동체가 공간에 대한 지도를 생성하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 이동체를 이용하여 공간에 대한 지도를 생성하는 장치는, 상기 이동체를 상기 공간 내에서 이동시키는 구동부; 상기 이동체에 구비되어 상기 이동체의 주변 공간에 대한 영상을 획득하며, 시야각을 달리하는 복수 개의 카메라; 및 상기 획득된 영상을 이용하여 상기 공간에 대한 3차원 지도를 생성하는 처리부;를 포함하고, 상기 처리부는, 상기 획득된 영상으로부터 직선을 추출하고, 상기 추출된 직선을 매칭시켜 3차원 공간 좌표를 생성하며, 플뤼커 매트릭스를 이용하여 상기 생성된 3차원 공간 좌표에 기반한 지도를 생성한다.
일 실시예에 따른 상기 공간에 대한 지도를 생성하는 장치에서, 상기 처리부는, 상기 추출된 직선의 매칭을 통해 발생하는 불일치로부터 깊이 정보를 추출하고, 상기 추출된 깊이 정보 및 듀얼 플뤼커 좌표와 플뤼커 직선 좌표 간의 이중성을 이용하여 3차원 직선을 정의함으로써 상기 3차원 공간 좌표를 생성한다.
일 실시예에 따른 상기 공간에 대한 지도를 생성하는 장치에서, 상기 처리부는, 상기 3차원 공간 좌표를 통해 정의된 3차원 직선에 인버스 깊이의 성질을 사용하여 SLAM을 수행한다.
일 실시예에 따른 상기 공간에 대한 지도를 생성하는 장치는, 상기 이동체의 주행 정보를 측정하는 주행기록계(odometer);를 더 포함하고, 상기 추출된 직선 정보가 임계치보다 부족할 경우, 상기 처리부는, 상기 주행기록계를 이용하여 측정된 주행 정보를 추가적으로 이용하여 상기 3차원 공간 좌표를 생성한다.
일 실시예에 따른 상기 공간에 대한 지도를 생성하는 장치는, 상기 공간에 대한 좌표와 특징 정보를 미리 저장하는 저장부;를 더 포함하며, 상기 처리부는, 상기 생성된 3차원 공간 좌표와 상기 저장부에 저장된 공간 좌표를 비교하고, 상기 비교 결과, 상기 생성된 3차원 공간 좌표의 특징 정보가 상기 미리 저장된 공간 좌표 내에 존재하는 경우, 상기 미리 저장된 공간 좌표에 대한 특징 정보를 갱신한다.
본 발명의 실시예들은 복수 개의 카메라를 통해 획득된 영상으로부터 추출된 직선을 이용해 3차원 공간 정보를 생성함으로써, 위치 인식 및 지도 생성 성능을 향상시킬 수 있고, 3차원 공간 내의 직선을 정의함에 있어서 플뤼커 패트릭스를 활용함으로써 바닥과 수직 방향 이외에 공간 내에 존재하는 다양한 방향의 직선을 모두 추출할 수 있으며, 그로 인해 이동체의 위치와 지도 구성에 관한 오차를 감소시켜 보다 정확한 위치 인식 및 지도 생성이 가능하다.
도 1은 본 발명이 속하는 기술 분야에서 모노(mono) 카메라를 이용하여 공간을 인식한 결과를 예시한 도면이다.
도 2는 본 발명의 실시예들이 채택하고 있는 스테레오(stereo) 카메라를 이용하여 3차원 공간을 인식하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 이동체가 공간에 대한 지도를 생성하는 방법을 도시한 흐름도이다.
도 4는 본 발명의 실시예들이 채택하고 있는 3차원 공간 좌표를 인식하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예들이 채택하고 있는 관측 모델에 따라 3차원 지도를 갱신하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 공간에 대한 지도를 생성하는 방법을 이동체를 활용하여 수행하는 SLAM(Simultaneous Localization And Mapping)에 적용한 전체 과정을 도시한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 이동체를 이용하여 공간에 대한 지도를 생성하는 장치를 도시한 블록도이다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 이동체를 이용하여 특정 공간에 대한 3차원 지도를 생성한 실험 결과를 예시한 도면이다.
본 발명의 실시예들을 구체적으로 설명하기에 앞서 본 발명의 실시예들이 활용되는 위치 인식 및 공간 지도 작성에 관한 기술 분야에서 활용되고 있는 기술들을 간략히 소개한 후, 본 발명의 실시예들이 채택하고 있는 기본 아이디어를 제안하도록 한다.
도 1은 본 발명이 속하는 기술 분야에서 모노(mono) 카메라를 이용하여 공간을 인식한 결과를 예시한 도면이다.
앞서 간략히 소개한 바와 같이, SLAM(Simultaneous Localization And Mapping)은 이동 로봇 또는 자동차와 같은 이동체(moving body)가 자기 자신의 위치를 인식하고 동시에 주변 환경에 대한 지도를 작성하는 것을 말한다. 통상적인 비전(vision) 기반의 SLAM 기술은 획득된 비전 정보(카메라를 통해 획득된 영상 정보가 될 수 있다.)로부터 추출된 특징(feature) 정보로서 점(point)을 사용하였다. 그러나, 실내 환경에서는 그 공간 상의 특성으로 인해 점(point) 정보보다는 직선(line) 정보를 활용한 SLAM이 인간에게 보다 유용한 정보를 제공할 수 있다는 사실이 발견되었다. 이러한 연구 결과에 기반하여 직선 정보를 활용한 SLAM의 수행 결과가 도 1에 도시되었다.
도 1의 [A]에서는 하나의 카메라(mono camera)를 이용하여 건물 내의 복도에 대한 영상을 획득하였으며, 획득된 영상으로부터 직선 정보를 추출하여 SLAM을 적용하였다. 그러나, 이렇게 모노 카메라를 이용한 SLAM의 경우, 오직 바닥 직선과 수직 방향의 직선에 대해서 지도를 작성할 수 있다는 약점을 갖는다. 따라서, 추출 정보의 부족으로 인해 도 1의 [B]에서 보듯이 공간 인식과 지도 작성이 정확하게 이루어지지 않는 문제점이 발견되었다.
또한, 모노 카메라를 사용할 경우, 수직 직선과 바닥 방향의 직선에 대해 서로 다른 모델링 기법이 적용되므로, 모든 직선에 통일된 규칙을 적용하기에 어려움이 존재하였다. 나아가, 특징 정보로서 직선이 적게 추출되는 위치에서는 이미지 상에 투영된 직선 정보를 사용하지 않고, 로봇의 주행 정보(odometry)만을 사용해야 하는 한계가 존재하기 때문에 이동 로봇의 위치와 지도 구성에 오차가 크게 발생하였다. 따라서, 상기된 문제점을 해결하기 위해 본 발명의 실시예들은 이하에서 소개되는 바와 같은 기술적 수단을 제안하고자 한다.
도 2는 본 발명의 실시예들이 채택하고 있는 스테레오(stereo) 카메라를 이용하여 3차원 공간을 인식하는 방법을 설명하기 위한 도면이다.
이하에서 제안되는 본 발명의 실시예들은 복수 개의 카메라를 이용하여 각각 시야각이 다른 영상을 촬영하고, 이러한 영상들로부터 추출된 특징 정보를 상호 비교함으로써 3차원 공간 정보를 획득하는 방법을 제안한다. 구현의 관점에서 이러한 복수 개의 카메라는, 좌측 및 우측으로 구성된 스테레오(stereo) 카메라를 활용하고 있으나, 구현 환경 및 필요에 따라서 상/하로 구성되는 스테레오 카메라 또는 3개 이상의 카메라를 동시에 활용하는 것도 가능하다.
또한, 본 발명의 실시예들은 스테레오 카메라를 사용하여 각각의 카메라를 통해 촬영된 영상 내에 존재하는 특징 정보(앞서 소개한 바와 같이 본 발명의 실시예들은 특징 정보로서 점이 아닌 직선을 사용한다.)에 기반하여 상호 대응되는 특징 정보 간의 불일치(disparity)를 이용하여 공간 정보를 획득한다. 즉, 본 발명의 실시예들에 따른 이동 로봇은 스스로 움직이면서 자신의 주변 환경에 대한 스테레오 이미지 정보를 획득하고, 각각의 스테레오 이미지 상에 투영된 직선의 양 끝점과 카메라의 위치, 3개의 점을 통해 좌/우 평면을 산출하고, 2개의 평면이 만났을 때, 3차원 공간 좌표를 표현할 수 있다.
도 2에 도시된 바와 같이, 좌측 카메라를 통해 촬영된 영상과 우측 카메라를 통해 촬영된 영상으로부터 각각 직선을 추출하고, 이동체 자신의 위치(카메라의 위치가 될 수 있다.)와 추출된 직선에 기반하여 상호 대응되는 직선의 매칭을 통해 3차원 공간 정보를 생성함으로써 최종적으로는 이동체가 주행하는 공간에 대한 3차원 지도를 생성할 수 있다. 도 2를 통한 실험 결과에는 각 영상과 3차원 지도에는 대응되는 직선에 대한 식별 번호가 부여되어 있어 상호 매칭 관계를 확인할 수 있다.
이하에서는, 도면을 참조하여 상기된 기술적 과제를 해결하기 위한 본 발명의 실시예들을 구체적으로 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 명칭 및 도면 부호로 나타내고 있음에 유의하여야 한다.
도 3은 본 발명의 일 실시예에 따른 이동체가 공간에 대한 지도를 생성하는 방법을 도시한 흐름도로서, 여기서는 우선 개괄적인 개요만을 약술하도록 한다.
310 단계에서, 이동체는 시야각을 달리하는 복수 개의 카메라를 이용하여 상기 이동체의 주변 공간에 대한 영상을 각각 획득한다. 이러한 복수 개의 카메라는, 좌측 및 우측으로 구성된 스테레오(stereo) 카메라로 구현될 수 있음은 앞서 설명한 바와 같다.
320 단계에서, 이동체는 310 단계를 통해 획득된 영상으로부터 직선(line)을 추출한다. 본 발명의 실시예들은 실내 공간에서 보다 정확하고 많은 정보를 추출하기 위해 점이 아닌 직선 정보를 추출하여 활용하게 된다. 물론, 영상으로부터 추출된 직선은 양 끝점을 가지기 때문에 추출된 직선으로부터 고정된 점을 활용하는 것이 가능하다.
330 단계에서, 이동체는 320 단계를 통해 추출된 직선을 매칭(matching)시켜 3차원 공간 좌표를 생성한다. 이를 위해 본 발명의 실시예들은, 320 단계를 통해 추출된 직선의 매칭을 통해 발생하는 불일치(disparity)로부터 깊이 정보를 추출하고, 상기 추출된 깊이 정보 및 듀얼 플뤼커 좌표(dual plucker coordinates)와 플뤼커 직선 좌표(Plucker line coordinates) 간의 이중성(duality)을 이용하여 3차원 직선을 정의한다. 듀얼 플뤼커 좌표 및 플뤼커 직선 좌표는 스테레오 영상을 통해 직선을 단지 평면적인 정보로만 인식하는 것이 아니라, 3차원 정보에 해당하는 깊이 정보를 추출하기 위해 활용되는 수단이다. 또한, 이러한 좌표 체계는 바닥 및 수직 방향의 직선 이외에도 실내 환경에 존재하는 모든 방향의 직선을 처리할 수 있는 수단으로서 활용된다. 직선 매칭과 3차원 공간 좌표의 생성 과정은, 이후 도 4를 참조하여 보다 구체적으로 기술하도록 한다.
마지막으로 340 단계에서, 이동체는 플뤼커 매트릭스(Plucker matrix)를 이용하여 330 단계를 통해 생성된 3차원 공간 좌표에 기반한 지도를 생성한다.
한편, 상기 320 단계를 통해 추출된 직선 정보가 미리 설정된 임계치보다 부족할 경우, 상기 330 단계의 3차원 공간 좌표를 생성하는 단계는, 상기 이동체의 주행 정보(odometry)를 추가적으로 이용하여 수행되는 것이 바람직하다. 본 발명의 실시예들이 활용하고 있는 스테레오 카메라를 이용한 영상 획득의 경우, 종래의 모노 카메라를 이용한 영상 획득의 경우에 비해 보다 많은 직선 정보를 추출하는 것이 가능하나, 경우에 따라서는 여전히 추출되는 정보가 부족할 수 있다. 따라서, 이런 경우, 추가적으로 이동체에 구비된 주행기록계를 통해 주행 정보를 획득하여 활용하는 것이 가능하다.
도 4는 본 발명의 실시예들이 채택하고 있는 3차원 공간 좌표를 인식하는 방법을 설명하기 위한 도면으로, 스테레오 카메라를 통해 촬영된 좌/우 영상으로부터 깊이 정보를 포함한 공간 정보를 획득하는 방법을 소개하고 있다.
앞서 간략히 소개한 바와 같이 본 발명의 실시예들은 스테레오 영상으로부터 추출된 깊이 정보 및 듀얼 플뤼커 좌표와 플뤼커 직선 좌표 간의 이중성을 이용하여 3차원 직선을 정의한다. 보다 구체적으로, 이러한 듀얼 플뤼커 좌표는, 상기 이동체의 현재 위치 및 상기 이동체의 회전을 고려한 쿼터니온(quaternion) 값으로 구성된 포즈(pose) 정보에 기반하여 상기 카메라의 위치를 정의하고, 상기 정의된 카메라를 통해 획득된 영상으로부터 추출된 상기 직선의 끝점을 상호 매칭시킴으로써 생성될 수 있다.
(1) 모션 모델( motion model )
로봇의 현재 포즈(pose)를
Figure 112012048567119-pat00001
이라고 표현하고,
Figure 112012048567119-pat00002
는 로봇의 주행기록계(odometer)를 통해 측정된 주행 정보(odometry)라고 하자. 이동 후의 로봇의 포즈는
Figure 112012048567119-pat00003
이며, 로봇의 포즈에 대한 표현은
Figure 112012048567119-pat00004
이라고 정의된다. 여기서,
Figure 112012048567119-pat00005
는 로봇의 현재 위치이고,
Figure 112012048567119-pat00006
는 로봇의 쿼터니온(quaternion)이다. 또한, 로봇의 주행 정보를 나타내는 주행 정보 벡터(odometer vector)는
Figure 112012048567119-pat00007
와 같이 표현될 수 있다. 여기서,
Figure 112012048567119-pat00008
는 공간을 구성하는 3개의 축(x, y, z)을 기준으로 한 회전 벡터(rotation vector)를 나타낸다.
(2) 직선 초기화
스테레오 카메라 위치를 각각 왼쪽
Figure 112012048567119-pat00009
과 오른쪽
Figure 112012048567119-pat00010
으로 정의하고, 이미지 상에 투영된 직선의 끝점을
Figure 112012048567119-pat00011
이라고 하자.
Figure 112012048567119-pat00012
가 트래킹 되었을 때, 왼쪽 카메라를 통해 촬영된 이미지 상에서 추출된 직선의 양 끝점
Figure 112012048567119-pat00013
와 왼쪽 카메라의 위치
Figure 112012048567119-pat00014
을 이용하여 하나의 평면
Figure 112012048567119-pat00015
을 생성할 수 있다. 또한, 오른쪽 카메라를 통해 촬영된 이미지 상에서 추출된 직선의 양 끝점
Figure 112012048567119-pat00016
와 오른쪽 카메라의 위치
Figure 112012048567119-pat00017
를 이용하여 다른 하나의 평면
Figure 112012048567119-pat00018
를 생성할 수 있다. 이제, 도 4와 같이 각각 왼쪽과 오른쪽에서 결정된 3개의 점을 연결하여 양 평면이 만나는 지점을 통해 듀얼 플뤼커 좌표(dual Plucker coordinates)를 생성할 수 있다. 듀얼 플뤼커 좌표는 다음의 수학식 1과 같은 플뤼커 매트릭스(Plucker matrix)를 이용하여 산출된다.
Figure 112012048567119-pat00019
또한, 이상의 과정을 통해 산출된 듀얼 플뤼커 좌표와 플뤼커 직선 좌표는 다음의 수학식 2와 같은 원소들 간의 이중성(duality)을 이용하여 플리커 직선 좌표를 생성할 수 있다.
Figure 112012048567119-pat00020
한편, 복도 환경과 같은 실내 공간에서 직선을 매칭하는 경우, 만약 매칭되는 직선 간에 불일치(disparity)가 나타나지 않는 경우 상기 제안된 직선 초기화 방법에 따라 연산을 수행하게 되면, 무한 직선으로 초기화가 되는 문제점이 나타난다. 이러한 문제점 때문에 모든 직선에 대하여 인버스 깊이(inverse depth)의 특성을 플뤼커 라인 좌표에 적용하는 것이 바람직하다. 즉, 3차원 공간 좌표를 통해 정의된 3차원 직선에 인버스 깊이의 성질을 사용하여 SLAM(Simultaneous Localization And Mapping)을 수행함으로써 매칭되는 직선 간의 불일치 상황에서도 무한 직선의 오류가 나타나지 않는다.
도 5는 본 발명의 실시예들이 채택하고 있는 관측 모델에 따라 3차원 지도를 갱신하는 방법을 설명하기 위한 도면으로서, 좌/우측의 예측된 위치 정보를 기반으로 추정된 직선으로부터 추출된 양 끝점을 이용하여 위치 정보를 갱신하는 방법을 소개하고 있다.
본 발명의 실시예들은 공간 내에서 이동체가 이동하면서 공간 지도를 생성하고 이를 기록한다. 따라서, 이동체의 이동에 따라 동일한 공간을 재측정할 수도 있으며, 또는 미리 자신이 저장하고 있던 공간 지도를 갱신해야 할 필요가 있다. 따라서, 본 발명의 실시예들에 따른 이동체는, 앞서 생성된 3차원 공간 좌표와 미리 저장된 공간 좌표를 비교하고, 이러한 비교 결과에 따라 미리 저장된 공간 좌표에 대한 특징 정보를 선택적으로 갱신하는 것이 바람직하다.
특히, 상기 비교 결과, 앞서 생성된 3차원 공간 좌표의 특징 정보가 상기 미리 저장된 공간 좌표 내에 존재하는 경우, 복수 개의 카메라를 이용하여 예측된 직선 및 추출된 직선의 양 끝점을 이용하여 특징 정보에 대한 갱신 값을 산출하고, 상기 이동체의 좌표, 상기 플뤼커 라인 좌표 및 상기 산출된 갱신 값을 상기 미리 저장된 공간 좌표의 특징 정보를 갱신할 수 있다.
(3) 갱신( update )
구현의 관점에서, 도 5에서는 좌측 카메라에 대한 이노베이션(innovation) 과정과 EKF-갱신(Extended Kalman Filter update)을 산출한 후, 우측 카메라에 대해서도 동일한 연산을 수행하였다. 설명의 편의를 위해 여기서는, 좌측 카메라에 대한 연산 과정만을 설명하도록 한다. 좌측 카메라의 예측된 직선은
Figure 112012048567119-pat00021
이고, 추정된 직선으로부터 추출된 직선의 양 끝점은
Figure 112012048567119-pat00022
이다. 이로부터 이노베이션을 구하는 방법은 다음의 수학식 3과 같다.
Figure 112012048567119-pat00023
또한, EKF에 따른 갱신 과정은 다음의 수학식 4와 같다.
Figure 112012048567119-pat00024
수학식 4에서,
Figure 112012048567119-pat00025
는 이노베이션 공분산(covariance)이고,
Figure 112012048567119-pat00026
는 관측 모델에 대해 상태 변수(로봇 좌표 및 플뤼커 라인 좌표에 해당한다.)로 자코비안(Jacobian)을 산출한 값이고,
Figure 112012048567119-pat00027
는 관측 모델에 대해 측정값으로 자코비안을 산출한 값이고,
Figure 112012048567119-pat00028
는 갱신 전 상태 변수의 공분산이고,
Figure 112012048567119-pat00029
은 이미지 픽셀 노이즈이고,
Figure 112012048567119-pat00030
는 칼만 이득(Kalman gain)이고,
Figure 112012048567119-pat00031
는 갱신된 상태 변수이고,
Figure 112012048567119-pat00032
는 이노베이션이며,
Figure 112012048567119-pat00033
는 갱신된 상태 변수의 공분산을 나타낸다.
도 6은 본 발명의 일 실시예에 따른 공간에 대한 지도를 생성하는 방법을 이동체를 활용하여 수행하는 SLAM(Simultaneous Localization And Mapping)에 적용한 전체 과정을 도시한 흐름도이다.
610 단계에서, 이동체는 위치 인식을 시도한다. 이를 위해 스테레오 카메라를 이용하여 각각 621 단계 및 622 단계를 통해 좌측과 우측 영상을 촬영한다. 그리고, 이동체는 촬영된 영상으로부터 각각 631 단계 및 632 단계를 통해 직선을 추출한다. 그런 다음, 이동체는 640 단계에서 추출된 이미지 상의 투영된 직선의 양 끝점과 카메라의 위치를 활용하여 3차원 공간 좌표를 생성한다.
만약, 이동체가 계속해서 이동하면서 이미지를 획득하면, 650 단계를 통해 이미지 상에 투영된 측정된 직선이 이미 획득한 직선인지 아닌지 여부를 비교하여 판단하게 된다. 판단 결과, 만약 해당 직선이 이미 획득한 직선에 해당할 경우, 670 단계로 진행하여 EKF-SLAM 과정 중 갱신(update) 과정을 수행하게 된다. 반면, 해당 직선이 이미 획득한 직선이 아닌 경우, 660 단계의 3차원 공간 좌표 생성 과정을 수행하게 된다. 이 과정은 앞서 소개한 EKF-SLAM과정 중, 직선 초기화 과정에 해당한다. 이제 680 단계에서, 이동체는 추정된 위치 및 생성된 지도 정보에 기초하여 자신의 움직임을 제어하게 된다.
도 7은 본 발명의 일 실시예에 따른 이동체를 이용하여 공간에 대한 지도를 생성하는 장치를 도시한 블록도로서, 각각의 구성 요소들은 앞서 도 3을 통해 기술한 각 단계에 대응하므로, 여기서는 장치적 특성에 집중하되, 설명의 중복을 피하기 위해 그 개요만을 약술하도록 한다.
구동부(10)는, 이동체(700)를 공간 내에서 이동시키는 역할을 수행한다. 구현의 관점에서 구동부(10)는 동력 전달 수단에 기반하여 바퀴나 관절을 포함한 다양한 이동 수단이 활용될 수 있다.
카메라(20)는 시야각을 달리하는 영상을 획득할 수 있도록 상기 이동체(700)에 복수 개 구비되며, 상기 이동체의 주변 공간에 대한 영상을 획득한다. 이러한 카메라(20)는 스테레오 카메라인 것이 바람직하다.
처리부(30)는 상기 획득된 영상을 이용하여 상기 공간에 대한 3차원 지도를 생성하는 역할을 수행하며, 이를 위해 적어도 하나의 프로세서(processor)로 구현될 수 있다. 이러한 처리부(30)는, 카메라(20)를 통해 획득된 영상으로부터 직선을 추출하고, 상기 추출된 직선을 매칭시켜 3차원 공간 좌표를 생성하며, 플뤼커 매트릭스를 이용하여 상기 생성된 3차원 공간 좌표에 기반한 지도를 생성한다. 따라서, 이러한 연산을 처리하기 위해 상기된 프로세서 이외에 연산 과정에서 필요한 메모리와 일련의 명령어 집합을 포함하는 프로그램 코드가 활용될 수 있다.
특히, 처리부(30)는, 상기 추출된 직선의 매칭을 통해 발생하는 불일치로부터 깊이 정보를 추출하고, 상기 추출된 깊이 정보 및 듀얼 플뤼커 좌표와 플뤼커 직선 좌표 간의 이중성을 이용하여 3차원 직선을 정의함으로써 상기 3차원 공간 좌표를 생성한다. 여기서, 듀얼 플뤼커 좌표는, 상기 이동체의 현재 위치 및 상기 이동체의 회전을 고려한 쿼터니온 값으로 구성된 포즈 정보에 기반하여 상기 카메라의 위치를 정의하고, 상기 정의된 카메라를 통해 획득된 영상으로부터 추출된 상기 직선의 끝점을 상호 매칭시킴으로써 생성된다.
한편, 획득된 영상으로부터 이중성이 감지되지 않는 경우의 오류를 막기 위해, 상기 처리부(30)는, 3차원 공간 좌표를 통해 정의된 3차원 직선에 인버스 깊이의 성질을 사용하여 SLAM을 수행하는 것이 바람직하다.
나아가, 도 7의 이동체(700)는, 이동체의 주행 정보를 측정하는 주행기록계(odometer)(15)를 더 포함할 수 있으며, 상기 처리부(30)를 통해 추출된 직선 정보가 미리 설정된 임계치보다 부족할 경우, 상기 주행기록계(15)를 이용하여 측정된 주행 정보를 추가적으로 이용하여 상기 3차원 공간 좌표를 생성할 수 있다.
또한, 도 7의 이동체(700)는, 상기 공간에 대한 좌표와 특징 정보를 미리 저장하는 저장부(40)를 더 포함할 수 있으며, 상기 처리부(30)를 통해 생성된 3차원 공간 좌표와 상기 저장부에 저장된 공간 좌표를 비교하고, 상기 비교 결과, 상기 생성된 3차원 공간 좌표의 특징 정보가 상기 미리 저장된 공간 좌표 내에 존재하는 경우, 상기 미리 저장된 공간 좌표에 대한 특징 정보를 갱신할 수 있다. 여기서, 처리부(30)는, 상기 복수 개의 카메라(20)를 이용하여 예측된 직선 및 상기 추출된 직선의 끝점을 이용하여 상기 특징 정보에 대한 갱신 값을 산출하고, 상기 이동체의 좌표, 상기 플뤼커 라인 좌표 및 상기 산출된 갱신 값을 이용하여 상기 미리 저장된 공간 좌표의 특징 정보를 갱신하는 것이 바람직하다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 이동체를 이용하여 특정 공간에 대한 3차원 지도를 생성한 실험 결과를 예시한 도면으로서, 특히 스테레오 플뤼커 SLAM을 수행한 실험 결과를 예시하고 있다.
실험 환경은 다음과 같다. 이동체로서 Pioneer P3-AT 로봇을 사용하였으며, 로봇에 스테레오 카메라를 설치해 실험하였고, 입력으로 받은 데이터는 로봇의 주행기록계(odometer)와 좌/우의 카메라로부터 획득한 영상이 포함되었다. 이미지는 320×240 크기이고 픽셀 노이즈 0.2를 넣어 Matlab toolbox를 확장하여 구현하였다.
성능 평가를 위한 실험은 도 8의 [A]에 도시된 바와 같은 특정 건물의 복도에서 취득한 이미지 데이터들을 기반으로 이루어졌으며, 전방에서 창문에서 들어오는 빛과 거울에 의한 반사 현상들이 존재하였고, 복도 중간에 소화기, 자전거 등과 같은 사물들이 존재하였다. 좌우 이미지 각각 3372장 사용하여 EKF-SLAM을 수행하였다. 단일 카메라를 사용하였을 경우, 공간 지도를 생성하는데 있어서 바닥 직선과 수직 직선에 대해서만 지도 생성이 가능한데 반해, 본 실시예에 따른 도 8의 [B]를 참조하면 지도 생성 과정에서는 스테레오 카메라를 적용하였으므로 모든 직선에 대한 지도 작성이 가능하다는 것을 확인할 수 있다.
도 9는 플뤼커 직선 좌표와 듀얼 플뤼커 매트릭스를 스테레오 카메라에 적용하였을 때 정확도를 확인하기 위한 실험으로써, 3차원 공간 상의 직선 한 끝점에 대한 실제 거리 값과 추정된 거리 값(Z)을 비교하여 도시하고 있다. 도 9의 비교표를 참조하면, 본 발명의 실시예를 적용한 결과, 거리 추정이 실제 값과 매우 유사하게 이루어지고 있으며, 정확한 공간 지도가 생성되고 있음을 보여주고 있다.
이상에서 기술된 본 발명의 실시예들은 스레레오 영상에서 추출된 직선의 양 끝점과 카메라의 옵티컬 센터(optical center) 등 세 기준점을 사용하여 좌/우 각각의 시야각에 따른 평면을 생성하고, 두 평면이 만났을 경우 하나의 직선으로 표현이 가능한 사실을 이용하였다. 또한, 불일치(disparity)가 나타나지 않는 직선을 적용하기 위하여 인버스 깊이(inverse depth)의 특성을 직선에 적용시켜 SLAM을 수행하였다.
상기된 실시예들에 따르면, 복수 개의 카메라를 통해 획득된 영상으로부터 추출된 직선을 이용해 3차원 공간 정보를 생성함으로써, 위치 인식 및 지도 생성 성능을 향상시킬 수 있고, 3차원 공간 내의 직선을 정의함에 있어서 플뤼커 패트릭스를 활용함으로써 바닥과 수직 방향 이외에 공간 내에 존재하는 다양한 방향의 직선을 모두 추출할 수 있으며, 그로 인해 이동체의 위치와 지도 구성에 관한 오차를 감소시켜 보다 정확한 위치 인식 및 지도 생성이 가능하다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
700 : 이동체
10 : 구동부 15 : 주행기록계
20 : 카메라 30 : 처리부
40 : 저장부

Claims (10)

  1. 이동체가 공간에 대한 지도를 생성하는 방법에 있어서,
    시야각을 달리하는 복수 개의 카메라를 이용하여 상기 이동체의 주변 공간에 대한 영상을 각각 획득하는 단계;
    상기 획득된 영상으로부터 직선(line)을 추출하는 단계;
    상기 시야각을 달리하여 획득된 영상으로부터 각각 추출된 직선 중 상호 대응되는 직선을 서로 매칭(matching)시켜 3차원 공간 좌표를 생성하는 단계; 및
    플뤼커 매트릭스(Plucker matrix)를 이용하여 상기 생성된 3차원 공간 좌표에 기반한 지도를 생성하는 단계;를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 3차원 공간 좌표를 생성하는 단계는,
    상기 추출된 직선 중 상호 대응되는 직선의 매칭을 통해 발생하는 불일치(disparity)로부터 깊이 정보를 추출하는 단계; 및
    상기 추출된 깊이 정보 및 듀얼 플뤼커 좌표(dual plucker coordinates)와 플뤼커 직선 좌표(Plucker line coordinates) 간의 이중성(duality)을 이용하여 3차원 직선을 정의하는 단계;를 포함하는 방법.
  3. 제 2 항에 있어서,
    상기 듀얼 플뤼커 좌표는,
    상기 이동체의 현재 위치 및 상기 이동체의 회전을 고려한 쿼터니온(quaternion) 값으로 구성된 포즈(pose) 정보에 기반하여 상기 카메라들의 위치를 각각 정의하고, 상기 정의된 카메라의 위치를 이용하여 각각 평면을 생성하며, 상기 정의된 카메라의 위치 및 상기 획득된 영상으로부터 추출된 상기 직선의 끝점을 연결하여 상기 평면이 만나는 지점을 상호 매칭시킴으로써 생성되는 것을 특징으로 하는 방법.
  4. 제 1 항에 있어서,
    상기 3차원 공간 좌표에 기반한 지도를 생성하는 단계는,
    상기 3차원 공간 좌표를 통해 정의된 3차원 직선에 인버스 깊이(inverse depth)의 성질을 사용하여 SLAM(Simultaneous Localization And Mapping)을 수행하는 것을 특징으로 하는 방법.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 생성된 3차원 공간 좌표와 미리 저장된 공간 좌표를 비교하는 단계; 및
    상기 비교 결과에 따라 상기 미리 저장된 공간 좌표에 대한 특징 정보를 선택적으로 갱신하는 단계;를 더 포함하는 방법.
  7. 제 6 항에 있어서,
    상기 비교 결과, 상기 생성된 3차원 공간 좌표의 특징 정보가 상기 미리 저장된 공간 좌표 내에 존재하는 경우,
    상기 복수 개의 카메라를 이용하여 입력된 영상에 직선이 어떻게 투영될지를 추정한 예측된 직선 및 상기 추출된 직선의 끝점을 이용하여 상기 특징 정보에 대한 갱신 값을 산출하는 단계; 및
    상기 이동체의 좌표, 플뤼커 직선 좌표 및 상기 산출된 갱신 값을 이용하여 상기 미리 저장된 공간 좌표의 특징 정보를 갱신하는 단계;를 더 포함하는 방법.
  8. 제 1 항에 있어서,
    상기 복수 개의 카메라는, 좌측 및 우측으로 구성된 스테레오(stereo) 카메라인 것을 특징으로 하는 방법.
  9. 이동체를 이용하여 공간에 대한 지도를 생성하는 장치에 있어서,
    상기 이동체를 상기 공간 내에서 이동시키는 구동부;
    상기 이동체에 구비되어 상기 이동체의 주변 공간에 대한 영상을 획득하며, 시야각을 달리하는 복수 개의 카메라; 및
    상기 획득된 영상을 이용하여 상기 공간에 대한 3차원 지도를 생성하는 처리부;를 포함하고,
    상기 처리부는,
    상기 획득된 영상으로부터 직선을 추출하고, 상기 시야각을 달리하여 획득된 영상으로부터 각각 추출된 직선 중 상호 대응되는 직선을 서로 매칭시켜 3차원 공간 좌표를 생성하며, 플뤼커 매트릭스를 이용하여 상기 생성된 3차원 공간 좌표에 기반한 지도를 생성하는 것을 특징으로 하는 장치.
  10. 제 9 항에 있어서,
    상기 처리부는,
    상기 추출된 직선 중 상호 대응되는 직선의 매칭을 통해 발생하는 불일치로부터 깊이 정보를 추출하고, 상기 추출된 깊이 정보 및 듀얼 플뤼커 좌표와 플뤼커 직선 좌표 간의 이중성을 이용하여 3차원 직선을 정의함으로써 상기 3차원 공간 좌표를 생성하는 것을 특징으로 하는 장치.
KR1020120065475A 2012-06-19 2012-06-19 3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체 KR101423139B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120065475A KR101423139B1 (ko) 2012-06-19 2012-06-19 3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120065475A KR101423139B1 (ko) 2012-06-19 2012-06-19 3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체

Publications (2)

Publication Number Publication Date
KR20130142336A KR20130142336A (ko) 2013-12-30
KR101423139B1 true KR101423139B1 (ko) 2014-07-28

Family

ID=49985942

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120065475A KR101423139B1 (ko) 2012-06-19 2012-06-19 3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체

Country Status (1)

Country Link
KR (1) KR101423139B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10217234B2 (en) 2017-01-26 2019-02-26 Samsung Electronics Co., Ltd. Modeling method and apparatus using three-dimensional (3D) point cloud
US11164326B2 (en) 2018-12-18 2021-11-02 Samsung Electronics Co., Ltd. Method and apparatus for calculating depth map

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101615618B1 (ko) * 2014-08-29 2016-04-28 고려대학교 산학협력단 벽면 구조 추출 방법
KR101835434B1 (ko) 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
CN109765936A (zh) * 2016-08-19 2019-05-17 杭州零智科技有限公司 移动终端的定位和控制方法、装置及无人机
KR101896183B1 (ko) * 2017-06-27 2018-09-07 한양대학교 산학협력단 카메라 모션 추정을 위한 3차원 직선 검출 방법
WO2019233090A1 (zh) * 2018-06-07 2019-12-12 驭势科技（北京）有限公司 一种同时定位与建图的方法及装置
CN111283730B (zh) * 2020-03-03 2021-04-20 广州赛特智能科技有限公司 基于点线特征机器人初始位姿获取方法及开机自定位方法
CN112258646B (zh) * 2020-10-26 2024-03-12 上海汽车集团股份有限公司 一种三维线地标构建方法及装置
CN117082188B (zh) * 2023-10-12 2024-01-30 广东工业大学 基于普鲁***的一致性视频生成方法及相关装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101207535B1 (ko) 2010-12-31 2012-12-03 한양대학교 산학협력단 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101207535B1 (ko) 2010-12-31 2012-12-03 한양대학교 산학협력단 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
넓은 실내 공간에서 수평 선분을 이용한 비전 기반의 지도 작성 및 위치 인식(제어로봇시스템학회, 학술대회 논문집 38, 2009) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10217234B2 (en) 2017-01-26 2019-02-26 Samsung Electronics Co., Ltd. Modeling method and apparatus using three-dimensional (3D) point cloud
US11164326B2 (en) 2018-12-18 2021-11-02 Samsung Electronics Co., Ltd. Method and apparatus for calculating depth map

Also Published As

Publication number Publication date
KR20130142336A (ko) 2013-12-30

Similar Documents

Publication Publication Date Title
KR101423139B1 (ko) 3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체
CN110312912B (zh) 车辆自动停车***和方法
EP3347875B1 (en) Localization of a robot in an environment using detected edges of a camera image from a camera of the robot and detected edges derived from a three-dimensional model of the environment
CN108051002B (zh) 基于惯性测量辅助视觉的运输车空间定位方法及***
CN109211241B (zh) 基于视觉slam的无人机自主定位方法
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR102016551B1 (ko) 위치 추정 장치 및 방법
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101739996B1 (ko) 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법
KR101439921B1 (ko) 비젼 센서 정보와 모션 센서 정보를 융합한 모바일 로봇용 ｓｌａｍ 시스템
KR101784183B1 (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP5803367B2 (ja) 自己位置推定装置、自己位置推定方法およびプログラム
KR101658578B1 (ko) 복합 센서의 캘리브레이션 장치 및 방법
KR20150144731A (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR20180050823A (ko) 3차원의 도로 모델을 생성하는 방법 및 장치
CN111263960B (zh) 用于更新高清晰度地图的设备和方法
Siegwart et al. Autonomous mobile robots
WO2020195875A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN110260866A (zh) 一种基于视觉传感器的机器人定位与避障方法
KR101207535B1 (ko) 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법
Hsu et al. Application of multisensor fusion to develop a personal location and 3D mapping system
KR100906991B1 (ko) 로봇의 비시인성 장애물 탐지방법
Rahmani et al. Research of smart real-time robot navigation system
Hernández et al. Visual SLAM with oriented landmarks and partial odometry
JP6603993B2 (ja) 画像処理装置、画像処理方法、画像処理システム、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180702

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 6