KR102187311B1 - 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법 - Google Patents

모바일 로봇의 초기 위치 추정을 위한 장치 및 방법 Download PDF

Info

Publication number
KR102187311B1
KR102187311B1 KR1020190000713A KR20190000713A KR102187311B1 KR 102187311 B1 KR102187311 B1 KR 102187311B1 KR 1020190000713 A KR1020190000713 A KR 1020190000713A KR 20190000713 A KR20190000713 A KR 20190000713A KR 102187311 B1 KR102187311 B1 KR 102187311B1
Authority
KR
South Korea
Prior art keywords
feature
matching
image
unit
group
Prior art date
Application number
KR1020190000713A
Other languages
English (en)
Other versions
KR20200084615A (ko
Inventor
김성신
박종은
김은경
김진용
Original Assignee
부산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교 산학협력단 filed Critical 부산대학교 산학협력단
Priority to KR1020190000713A priority Critical patent/KR102187311B1/ko
Publication of KR20200084615A publication Critical patent/KR20200084615A/ko
Application granted granted Critical
Publication of KR102187311B1 publication Critical patent/KR102187311B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 모바일 로봇 위치 추정시에 스테레오 카메라를 통해 얻은 이미지 내의 3차원 특징점의 기하학적 정보를 이용하여 보다 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법에 관한 것으로, 글로벌 이미지 집합 생성부에 의해 구축된 글로벌 이미지 집합 내에서 가장 유사한 글로벌 이미지 서칭을 수행하는 유사 글로벌 이미지 검색부;로컬 이미지의 특징 정보와 가장 유사한 글로벌 이미지의 특징 정보를 각각 추출하여 특징 정보를 매칭 후 서로 매칭된 쌍을 추출하여 특징점 간 거리를 산출하는 제 1 최적 매칭쌍 추출부;매칭 쌍 간의 최대 오차가 문턱값(threshold) 이내인 경우, 두 그룹을 하나로 합쳐 유사도 판정을 하고, 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 제 2 최적 매칭쌍 추출부;제 2 최적 매칭쌍 추출부에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹에 저장하고, 유사도 판정을 하여 승자 그룹과 병합하는 제 3 최적 매칭쌍 추출부;를 포함하는 것을 특징으로 한다.

Description

모바일 로봇의 초기 위치 추정을 위한 장치 및 방법{Apparatus and Method for Estimating Initial Position of Mobile Robot}
본 발명은 모바일 로봇 위치 추정에 관한 것으로, 구체적으로 스테레오 카메라를 통해 얻은 이미지 내의 3차원 특징점의 기하학적 정보를 이용하여 보다 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법에 관한 것이다.
모바일 로봇은 실용 방안의 지속적인 연구로 인하여 산업용뿐만 아니라 청소 로봇, 경비 로봇, 안내 로봇과 같은 일상 생활용으로도 사용되며 실생활에서도 차지하는 비중이 점점 커지고 있다.
이와 같은 모바일 로봇이 자율 주행을 하기 위해서는 모바일 로봇의 위치를 파악하는 위치 추정이 필수적으로 요구된다. 모바일 로봇의 위치 추정은 환경에 대한 정보와 센서로 측정한 정보를 이용하여 모바일 로봇의 위치를 추정하는 기술로써, 모바일 로봇의 주행을 위한 핵심 기술이다.
일반적으로 모바일 로봇의 위치 추정은 모바일 로봇이 스스로 획득하는 오도메트리 정보와, 외부 환경을 통해 획득하는 센서 정보를 바탕으로 이루어진다.
모바일 로봇의 오도메트리 정보는 휠 직경 오차와 휠 간격 오차를 포함하는 기구학적 모델링 오차와, 불규칙한 주행 환경으로 인해 발생하는 오차에 의해 주행 과정에서 지속적으로 누적되어 모바일 로봇의 위치 추정의 불확실성을 가중시킨다.
이와 같은 오도메트리 정보의 한계로 인해 외부 환경을 통해 얻는 센서 정보를 위치 추정에 반영함으로써, 모바일 로봇의 위치 추정의 정확성을 높이고 있다.
센서 정보를 획득하는 방법으로 모바일 로봇의 주행 경로에 설치되는 인공 표식들을 감지하여 모바일 로봇의 전역좌표계 상의 위치를 추정하는 방법들이 제안되고 있다.
모바일 로봇이 자신의 초기 위치를 기억하고 현재까지의 이동 정보 및 이전의 위치 정보로부터 현재의 위치를 알아낼 수 있다고 하더라도 모바일 로봇이 외력에 의해 이동된 경우에는 그 전 위치까지 이동해 오면서 저장해 둔 이동 정보 및 위치 정보를 전혀 사용할 수 없는 문제에 직면하게 된다.
즉, 공장 또는 물류 등 산업현장에서 모바일 로봇이 운행 중에 갑작스럽게 정지가 되어 다른 위치로 옮겨가 재가동 되는 경우, 그리고 주행 중 매칭 오류로 인해 위치 추정에 실패할 경우에 초기 위치 추정 기술이 필요하다.
위치 추정을 위해서는 미리 생성한 글로벌 특징맵 데이터를 이용하며, 현재 위치에서 얻은 환경 정보와의 매칭을 통해 현재 위치를 추정하는 방식이다.
정확한 위치 추정을 위해서는 정확한 특징점 매칭 기술이 필요한데, 종래 기술에서는 특징점 매칭 기술이 부정확하여 정확한 위치 추정에 한계가 있다.
따라서, 보다 정확하게 로봇의 초기 위치를 추정할 수 있는 새로운 위치 추정 기술의 개발이 요구되고 있다.
대한민국 등록특허 제10-1460313 대한민국 공개특허 제10-2015-0067483호
본 발명은 종래 기술의 모바일 로봇 위치 추정 기술의 문제점을 해결하기 위한 것으로, 스테레오 카메라를 통해 얻은 이미지 내의 3차원 특징점의 기하학적 정보를 이용하여 보다 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 스테레오 카메라 센서를 기반으로 얻은 이미지 정보 중에서 3D 특징점의 기하학적 정보를 이용하여 매칭된 글로벌 이미지 데이터와의 특징점 매칭을 통해 오매칭률을 낮추고 보다 빠르게 정확한 위치를 추정할 수 있도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 정확하게 로봇의 초기 위치를 추정할 수 있도록 하여 현재 로봇의 위치를 기반으로 목적지까지 유도하는 시스템에 적용하여 시스템의 효율적인 운용이 가능하도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 스테레오 카메라 센서의 내,외부 파라미터를 추출하기 위한 카메라 캘리브레이션을 수행하고, 추출된 카메라 내,외부 파라미터를 이용하여 현재 위치에서 얻은 이미지를 조정(rectification) 및 그레이스케일(grayscale)화를 수행 후 이미지 내 특징을 추출하는 것에 의해 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 추출된 특징과 글로벌 이미지 데이터와의 특징점 매칭을 통해 최다 특징 데이터 매칭이 발생한 글로벌 이미지 추출을 하고, 글로벌 이미지의 특징 데이터와 현재 위치에서 얻은 이미지의 특징 데이터를 3D 좌표화 하여 기하학적 구조기반 특징점 매칭법을 이용하여 매칭을 수행하여 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 공장 또는 물류 등 산업현장에서 모바일 로봇이 운행 중에 갑작스럽게 정지가 되어 다른 위치로 옮겨가 재가동 되는 경우 또는 주행 중 매칭 오류로 인해 위치 추정에 실패할 경우에도 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치는 글로벌 이미지 집합 생성부에 의해 구축된 글로벌 이미지 집합 내에서 가장 유사한 글로벌 이미지 서칭을 수행하는 유사 글로벌 이미지 검색부;로컬 이미지의 특징 정보와 가장 유사한 글로벌 이미지의 특징 정보를 각각 추출하여 특징 정보를 매칭 후 서로 매칭된 쌍을 추출하여 특징점 간 거리를 산출하고, 지원 그룹을 생성하는 제 1 최적 매칭쌍 추출부;상기 제 1 최적 매칭쌍 추출부에서 지원 그룹이 생성된 두 개의 그룹(Gi)(Gi+j)을 SVD를 이용해 회전량(R) 및 이동량(T)을 계산([R,T]=SVD(Gi,Gi+j))하는 그룹간 회전 및 이동량 산출부와, 그룹간 회전 및 이동량 산출부에서 구해진 회전량, 이동량을 이용하여 그룹 간 유사도 판정(max(E((RP1 + T),P2)) < Threshold?)을 하여 매칭 쌍 간의 최대 오차가 threshold 이내인 경우, 매칭 쌍 간의 최대 오차가 threshold 이내인 특징점쌍들의 집합인 두 그룹(Gi)(Gi+j)을 하나로 결합하도록 하는 유사도 판정부와, 그룹 간 회전 및 이동량 계산, 그룹 간 유사도 판정을 반복하여 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 그룹 병합부를 포함하는 제 2 최적 매칭쌍 추출부;제 2 최적 매칭쌍 추출부에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹에 저장하고, 유사도 판정을 하여 승자 그룹과 병합하는 제 3 최적 매칭쌍 추출부;를 포함하는 것을 특징으로 한다.
여기서, 상기 글로벌 이미지 집합 생성부는, 촬영된 스테레오 이미지 세트 H에서 i번째 사진을 불러와서 좌, 우측 이미지로 분할하고, 특징 정보 추출을 위한 전처리 과정을 수행하는 이미지 전처리부와,좌,우측 이미지에서 특징을 추출하고 추출된 특징들의 매칭을 수행하는 특징 추출 및 매칭부와,추출된 특징점들을 3차원 좌표(x,y,z)로 변환하는 특징점 3차원 변환부와,이미지가 촬영된 시점에서의 모바일 로봇 위치를 연산하여 모바일 로봇 위치 정보, 특징점의 특징 정보, 특징점의 좌표 정보를 글로벌 이미지 집합 Wi에 저장하고, 이 과정을 촬영된 스테레오 이미지 전체에 걸쳐서 진행하는 특징점 정보 저장부를 포함하는 것을 특징으로 한다.
그리고 상기 유사 글로벌 이미지 검색부는, 현재 위치에서 촬영한 로컬 이미지 1개와 글로벌 이미지 집합 내 M개 글로벌 이미지들에 대해 모두 이미지 전처리와 특징 추출을 수행하는 이미지 전처리부와,추출된 특징을 기반으로 글로벌 이미지 M개와 로컬 이미지의 특징 매칭을 수행하는 특징 매칭 수행부와,상기 특징 매칭 수행부에서 글로벌 이미지 M개에 대해 특징 추출이 완료되면 현재 로컬 이미지와 가장 많은 특징이 매칭된 글로벌 이미지의 인덱스 N을 확인하는 유사 글로벌 이미지 확인부를 포함하는 것을 특징으로 한다.
그리고 상기 제 1 최적 매칭쌍 추출부는, 로컬 이미지의 C개의 특징 정보와 가장 유사한 N번째 글로벌 이미지의 D개의 특징 정보를 각각 추출하는 특징 추출부와,C개의 로컬 이미지 특징 정보와 D개의 가장 유사한 글로벌 이미지 특징 정보를 매칭 후 서로 매칭된 쌍(K개)을 추출하는 특징 매칭부와,상기 특징 매칭부에서 추출된 매칭쌍 간의 비교 연산이 모두 끝났는지 확인하는 비교 연산 판단부와,로컬 이미지의 P1,i번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i번째(A)와, 로컬 이미지의 P1,i+j번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i+j번째(B)의 차이를 구하는 특징점 간 거리 산출부를 포함하는 것을 특징으로 한다.
삭제
그리고 상기 제 3 최적 매칭쌍 추출부는, 상기 제 2 최적 매칭쌍 추출부에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹(WINNER)에 저장하는 승자 그룹 추출부와,지원 그룹 Gi가 승자 그룹에 속하지 않은 매칭 쌍인지 확인하고 SVD를 통해 승자그룹(WINNER)과의 회전량 R, 이동량 T를 계산하여 유사도 판정을 하는 유사도 판정부와,최대 오차가 문턱값 이내인 경우 Gi를 승자그룹(WINNER)과 병합하는 그룹 병합부를 포함하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 방법은 글로벌 이미지 집합 생성 단계에 의해 구축된 글로벌 이미지 집합 내에서 가장 유사한 글로벌 이미지 서칭을 수행하는 유사 글로벌 이미지 검색 단계;로컬 이미지의 특징 정보와 가장 유사한 글로벌 이미지의 특징 정보를 각각 추출하여 특징 정보를 매칭 후 서로 매칭된 쌍을 추출하여 특징점 간 거리를 산출하고 지원 그룹을 생성하는 제 1 최적 매칭쌍 추출 단계;상기 제 1 최적 매칭쌍 추출 단계에서 지원 그룹이 생성된 두 개의 그룹(Gi)(Gi+j)을 SVD를 이용해 회전량(R) 및 이동량(T)을 계산([R,T]=SVD(Gi,Gi+j))하는 그룹간 회전 및 이동량 산출 단계와, 그룹간 회전 및 이동량 산출 단계에서 구해진 회전량, 이동량을 이용하여 그룹 간 유사도 판정(max(E((RP1 + T),P2)) < Threshold?)을 하여 매칭 쌍 간의 최대 오차가 threshold 이내인 경우, 매칭 쌍 간의 최대 오차가 threshold 이내인 특징점쌍들의 집합인 두 그룹(Gi)(Gi+j)을 하나로 결합하도록 하는 유사도 판정 단계와, 그룹 간 회전 및 이동량 계산, 그룹 간 유사도 판정을 반복하여 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 그룹 병합 단계를 포함하는 제 2 최적 매칭쌍 추출 단계;제 2 최적 매칭쌍 추출 단계에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹에 저장하고, 유사도 판정을 하여 승자 그룹과 병합하는 제 3 최적 매칭쌍 추출 단계;를 포함하는 것을 특징으로 한다.
여기서, 상기 글로벌 이미지 집합 생성 단계는, 촬영된 스테레오 이미지 세트 H에서 i번째 사진을 불러와서 좌, 우측 이미지로 분할하고, 특징 정보 추출을 위한 전처리 과정을 수행하는 이미지 전처리 단계와,좌,우측 이미지에서 특징을 추출하고 추출된 특징들의 매칭을 수행하는 특징 추출 및 매칭 단계와,추출된 특징점들을 3차원 좌표(x,y,z)로 변환하는 특징점 3차원 변환 단계와,이미지가 촬영된 시점에서의 모바일 로봇 위치를 연산하여 모바일 로봇 위치 정보, 특징점의 특징 정보, 특징점의 좌표 정보를 글로벌 이미지 집합 Wi에 저장하고, 이 과정을 촬영된 스테레오 이미지 전체에 걸쳐서 진행하는 특징점 정보 저장 단계를 포함하는 것을 특징으로 한다.
그리고 상기 유사 글로벌 이미지 검색 단계는, 현재 위치에서 촬영한 로컬 이미지 1개와 글로벌 이미지 집합 내 M개 글로벌 이미지들에 대해 모두 이미지 전처리와 특징 추출을 수행하는 이미지 전처리 단계와,추출된 특징을 기반으로 글로벌 이미지 M개와 로컬 이미지의 특징 매칭을 수행하는 특징 매칭 수행 단계와,상기 특징 매칭 수행 단계에서 글로벌 이미지 M개에 대해 특징 추출이 완료되면 현재 로컬 이미지와 가장 많은 특징이 매칭된 글로벌 이미지의 인덱스 N을 확인하는 유사 글로벌 이미지 확인 단계를 포함하는 것을 특징으로 한다.
그리고 상기 제 1 최적 매칭쌍 추출 단계는, 로컬 이미지의 C개의 특징 정보와 가장 유사한 N번째 글로벌 이미지의 D개의 특징 정보를 각각 추출하는 특징 추출 단계와,C개의 로컬 이미지 특징 정보와 D개의 가장 유사한 글로벌 이미지 특징 정보를 매칭 후 서로 매칭된 쌍(K개)을 추출하는 특징 매칭 단계와,i = 1~K-1까지 증가, j=1부터 K-i까지 증가, P는 매칭된 특징점쌍 결과인 경우에 매칭쌍 간의 비교 연산이 모두 끝났는지(i < K?) 확인하는 단계와,로컬 이미지의 P1,i번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i번째(A)와, 로컬 이미지의 P1,i+j번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i+j번째(B)의 차이를 구하는 특징점간 거리 산출 단계를 포함하는 것을 특징으로 한다.
그리고 특징점간 거리 산출 단계는
Figure 112019000710754-pat00001
으로 구하고, j를 i부터 K-i까지 하나씩 증가하면서 수식을 통해 구한 값이 일정 값보다 작을 경우 우선적으로 그룹으로 묶고, 일정 값 이상일 경우는 그룹으로 생성하지 않고, 이후 i를 K-1까지 증가시키며 특징점간 거리 산출 과정을 반복하는 것을 특징으로 한다.
삭제
그리고 상기 제 3 최적 매칭쌍 추출 단계는, 상기 제 2 최적 매칭쌍 추출 단계에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹(WINNER)에 저장하는 승자 그룹 추출 단계와,지원 그룹 Gi가 승자 그룹에 속하지 않은 매칭 쌍인지 확인하고 SVD를 통해 승자그룹(WINNER)과의 회전량 R, 이동량 T를 계산하여 유사도 판정을 하는 유사도 판정 단계와,최대 오차가 문턱값 이내인 경우 Gi를 승자그룹(WINNER)과 병합하는 그룹 병합 단계를 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법은 다음과 같은 효과가 있다.
첫째, 스테레오 카메라를 통해 얻은 이미지 내의 3차원 특징점의 기하학적 정보를 이용하여 보다 정확하게 로봇의 초기 위치를 추정할 수 있도록 한다.
둘째, 스테레오 카메라 센서를 기반으로 얻은 이미지 정보 중에서 3D 특징점의 기하학적 정보를 이용하여 매칭된 글로벌 이미지 데이터와의 특징점 매칭을 통해 오매칭률을 낮추고 보다 빠르게 정확한 위치를 추정할 수 있다.
셋째, 정확하게 로봇의 초기 위치를 추정할 수 있도록 하여 현재 로봇의 위치를 기반으로 목적지까지 유도하는 시스템에 적용하여 시스템의 효율적인 운용이 가능하도록 한다.
넷째, 공장 또는 물류 등 산업현장에서 모바일 로봇이 운행 중에 갑작스럽게 정지가 되어 다른 위치로 옮겨가 재가동 되는 경우 또는 주행 중 매칭 오류로 인해 위치 추정에 실패할 경우에도 정확하게 로봇의 초기 위치를 추정할 수 있도록 한다.
도 1은 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치의 구성도
도 2는 글로벌 이미지 집합 생성부의 상세 구성도
도 3은 유사 글로벌 이미지 검색부의 상세 구성도
도 4는 제 1 최적 매칭쌍 추출부의 상세 구성도
도 5는 제 2 최적 매칭쌍 추출부의 상세 구성도
도 6은 제 3 최적 매칭쌍 추출부의 상세 구성도
도 7은 이미지 전처리 과정을 나타낸 플로우 차트
도 8은 글로벌 이미지 집합 생성 과정을 나타낸 플로우 차트
도 9는 유사한 글로벌 이미지 서칭 방법을 나타낸 플로우 차트
도 10은 추출된 특징의 3D 좌표변환 방법을 나타낸 구성도
도 11은 기하학적 구조를 이용한 1차 최적 매칭쌍 추출 방법을 나타낸 플로우 차트
도 12는 기하학적 구조를 이용한 2차 최적 매칭쌍 추출 방법을 나타낸 플로우 차트
도 13은 기하학적 구조를 이용한 3차 최적 매칭쌍 추출 방법을 나타낸 플로우 차트
이하, 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1은 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치의 구성도이다.
본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법은 스테레오 카메라를 통해 얻은 이미지 내의 3차원 특징점의 기하학적 정보를 이용하여 보다 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 것이다.
이를 위하여 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법은 스테레오 카메라 센서의 내,외부 파라미터를 추출하기 위한 카메라 캘리브레이션을 수행하고, 추출된 카메라 내,외부 파라미터를 이용하여 현재 위치에서 얻은 이미지를 조정(rectification) 및 그레이스케일(grayscale)화를 수행 후 이미지 내 특징을 추출하는 구성을 포함할 수 있다.
본 발명은 추출된 특징과 글로벌 이미지 데이터와의 특징점 매칭을 통해 최다 특징 데이터 매칭이 발생한 글로벌 이미지 추출을 하고, 글로벌 이미지의 특징 데이터와 현재 위치에서 얻은 이미지의 특징 데이터를 3D 좌표화 하여 기하학적 구조기반 특징점 매칭법을 이용하여 매칭을 수행하는 구성을 포함할 수 있다.
또한, 본 발명은 매칭된 3D 특징점들을 SVD(Singular Value Decomposition) 방식을 이용하여 이동량 및 회전량을 계산하여 초기 위치 추정하는 구성을 포함할 수 있다.
본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치는 도 1에서와 같이, 특징 정보 추출을 위한 전처리 과정을 수행하고 좌,우측 이미지에서 특징을 추출하고 추출된 특징들의 매칭을 수행하고, 추출된 특징점들을 3차원 좌표(x,y,z)로 변환하여 특징점 정보를 저장하는 글로벌 이미지 집합 생성부(10)와, 글로벌 이미지 집합 생성부(10)에 의해 구축된 글로벌 이미지 집합 내에서 현재 위치와 유사한 지점을 1차로 추출하기 위해 가장 유사한 글로벌 이미지 서칭을 수행하는 유사 글로벌 이미지 검색부(20)와, 기하학적 구조를 이용하여 오매칭을 걸러내기 위하여 로컬 이미지의 특징 정보와 가장 유사한 글로벌 이미지의 특징 정보를 각각 추출하여 특징 정보를 매칭 후 서로 매칭된 쌍(K개)을 추출하고, 서로 매칭된 쌍들의 특징점 간 거리 산출하고 지원 그룹을 생성하는 제 1 최적 매칭쌍 추출부(30)와, 제 1 최적 매칭쌍 추출부(30)에서 지원 그룹이 생성된 두 개의 그룹(Gi)(Gi+j)을 SVD를 이용해 회전량(R) 및 이동량(T)을 계산하고([R,T]=SVD(Gi,Gi+j)), 구해진 회전량, 이동량을 이용하여 그룹 간 유사도 판정(max(E((RP1 + T),P2)) < Threshold?)을 하여 매칭 쌍 간의 최대 오차가 threshold 이내인 경우, 매칭 쌍 간의 최대 오차가 threshold 이내인 특징점쌍들의 집합인 두 그룹(Gi)(Gi+j)을 하나로 결합하고, 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 제 2 최적 매칭쌍 추출부(40)와, 제 2 최적 매칭쌍 추출부(40)에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 WINNER(승자 그룹)에 저장하고, 유사도 판정을 하여 최대 오차가 threshold 이내인 경우 WINNER와 병합하는 제 3 최적 매칭쌍 추출부(50)를 포함한다.
글로벌 이미지 집합 생성부(10)의 상세 구성은 다음과 같다.
도 2는 글로벌 이미지 집합 생성부의 상세 구성도이다.
글로벌 이미지 집합 생성부(10)는 도 2에서와 같이, 촬영된 스테레오 이미지 세트 H에서 i번째 사진을 불러와서 좌, 우측 이미지로 분할하고, 특징 정보 추출을 위한 전처리 과정을 수행하는 이미지 전처리부(11)와, 좌,우측 이미지에서 특징을 추출하고 추출된 특징들의 매칭을 수행하는 특징 추출 및 매칭부(12)와, 추출된 특징점들을 3차원 좌표(x,y,z)로 변환하는 특징점 3차원 변환부(13)와, 이미지가 촬영된 시점에서의 모바일 로봇 위치를 연산하여 모바일 로봇 위치 정보, 특징점의 특징 정보, 특징점의 좌표 정보를 글로벌 이미지 집합 Wi에 저장하고, 이 과정을 촬영된 스테레오 이미지 전체(i=1~Q, Q는 맵 생성을 위해 촬영된 이미지 수)에 걸쳐서 진행하는 특징점 정보 저장부(14)를 포함한다.
유사 글로벌 이미지 검색부(20)의 상세 구성은 다음과 같다.
도 3은 유사 글로벌 이미지 검색부의 상세 구성도이다.
유사 글로벌 이미지 검색부(20)는 도 3에서와 같이, 현재 위치에서 촬영한 로컬 이미지 1개와 글로벌 이미지 집합 내 M개 글로벌 이미지들에 대해 모두 이미지 전처리와 특징 추출을 수행하는 이미지 전처리부(21)와, 추출된 특징을 기반으로 글로벌 이미지 M개와 로컬 이미지의 특징 매칭을 수행하는 특징 매칭 수행부(22)와, 특징 매칭 수행부(22)에서 글로벌 이미지 M개에 대해 특징 추출이 완료되면 현재 로컬 이미지와 가장 많은 특징이 매칭된 글로벌 이미지의 인덱스 N을 확인하는 유사 글로벌 이미지 확인부(23)를 포함한다.
제 1 최적 매칭쌍 추출부(30)의 상세 구성은 다음과 같다.
도 4는 제 1 최적 매칭쌍 추출부의 상세 구성도이다.
제 1 최적 매칭쌍 추출부(30)는 도 4에서와 같이, 로컬 이미지의 C개의 특징 정보와 가장 유사한 N번째 글로벌 이미지의 D개의 특징 정보를 각각 추출하는 특징 추출부(31)와, C개의 로컬 이미지 특징 정보와 D개의 가장 유사한 글로벌 이미지 특징 정보를 매칭 후 서로 매칭된 쌍(K개)을 추출하는 특징 매칭부(32)와, 특징 매칭부(32)에서 추출된 매칭쌍 간의 비교 연산이 모두 끝났는지 확인하는 비교 연산 판단부(33)와, 로컬 이미지의 P1,i번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i번째(A)와, 로컬 이미지의 P1,i+j번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i+j번째(B)의 차이를 구하는 특징점 간 거리 산출부(34)를 포함한다.
제 2 최적 매칭쌍 추출부(40)의 상세 구성은 다음과 같다.
도 5는 제 2 최적 매칭쌍 추출부의 상세 구성도이다.
제 2 최적 매칭쌍 추출부(40)는 도 5에서와 같이, 제 1 최적 매칭쌍 추출부(30)에서 K개의 매칭쌍에 대한 계산이 완료된 이후, 지원 그룹이 생성된 두 개의 그룹(Gi)(Gi+j)을 SVD를 이용해 Gi와 Gi+j 간의 회전량 R, 이동량 T를 계산([R,T]=SVD(Gi,Gi+j))하는 그룹간 회전 및 이동량 산출부(41)와, 회전량 R과 이동량 T를 이용하여, 그룹 간 유사도 판정(max(E((RP1 + T),P2)) < Threshold?)을 하여P1와 P2 간의 매칭 쌍 간의 최대 오차가 threshold 이내인 경우, 매칭 쌍 간의 최대 오차가 threshold 이내인 특징점쌍들의 집합인 두 그룹(Gi)(Gi+j)을 하나로 결합하도록 하는 유사도 판정부(42)와, 그룹 간 회전 및 이동량 계산, 그룹 간 유사도 판정을 반복하여 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 그룹 병합부(43)를 포함한다.
제 3 최적 매칭쌍 추출부(50)의 상세 구성은 다음과 같다.
도 6은 제 3 최적 매칭쌍 추출부의 상세 구성도이다.
제 3 최적 매칭쌍 추출부(50)는 도 6에서와 같이, 제 2 최적 매칭쌍 추출부(40)에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 WINNER(승자 그룹)에 저장하는 승자 그룹 추출부(51)와, 지원 그룹 Gi가 승자 그룹에 속하지 않은 매칭 쌍인지 확인하고 SVD를 통해 WINNER와의 회전량 R, 이동량 T를 계산하고([R,T]=SVD(WINNER,Gi)), 최대 오차를 threshold와 비교하여 유사도 판정을 하는 유사도 판정부(52)와, 유사도 판정부(52)에서의 비교 결과 최대 오차가 threshold 이내인 경우(max(E(RㆍWINNER + T),Gi)) < Threshold?)이면, Gi를 WINNER와 병합하는 그룹 병합부(53)를 포함한다.
이와 같은 구성을 갖는 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치에서의 모바일 로봇의 초기 위치 추정 방법을 구체적으로 설명하면 다음과 같다.
본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 방법은 크게 스테레오 카메라 센서의 내,외부 파라미터를 추출하기 위한 카메라 캘리브레이션을 수행하는 단계와, 추출된 카메라 내,외부 파라미터를 이용하여 현재 위치에서 얻은 이미지를 조정(rectification) 및 그레이스케일(grayscale)화 수행 후 이미지 내 특징 추출을 하는 단계와, 추출된 특징과 글로벌 이미지 데이터와의 특징점 매칭을 통해 최다 특징 데이터 매칭이 발생한 글로벌 이미지 추출을 하는 단계와, 글로벌 이미지의 특징 데이터와 현재 위치에서 얻은 이미지의 특징 데이터를 3D 좌표화하여 기하학적 구조기반 특징점 매칭법을 이용하여 매칭 수행을 하는 단계와, 매칭된 3D 특징점들을 SVD 방식을 이용하여 이동량 및 회전량을 계산하여 초기 위치 추정을 하는 단계를 포함한다.
먼저, 이미지 전처리 과정을 설명하면 다음과 같다.
도 7은 이미지 전처리 과정을 나타낸 플로우 차트이다.
스테레오 카메라로 얻은 이미지 정보로부터 거리 정보를 측정하기 위해서는 카메라의 내/외부 파라미터가 필요하다.
카메라 내/외부 파라미터를 얻기 위해 캘리브레이션(Calibration)을 수행한다.
캘리브레이션을 수행하기 위해 체커보드를 카메라 앵글 범위 내에서 다각도로 촬영을 수행한다.
캘리브레이션 과정은 카메라 내/외부 파라미터를 얻기 위하여 체커보드 촬영을 수행하고, 촬영된 체커보드 사진을 분석하여 카메라 내/외부 파라미터를 추출한다.
이어, 이미지 거리 정보 획득을 위하여, 스테레오 이미지를 획득하고 해당 이미지에 캘리브레이션으로 얻어진 카메라 내/외부 파라미터를 이용하여 스테레오 매칭을 위한 조정(Rectification)을 한다.
그리고 특징 정보 추출을 위한 전처리 과정으로, 스테레오 매칭을 위한 조정(Rectification)이 행해진 이미지에 그레이스케일 처리를 수행한다.
그리고 글로벌 이미지 집합 생성 과정을 설명하면 다음과 같다.
도 8은 글로벌 이미지 집합 생성 과정을 나타낸 플로우 차트이다.
글로벌 이미지 집합 생성 과정은 모바일 로봇의 초기 위치 추정을 위한 데이터베이스 구축 과정으로 다음과 같은 과정을 포함한다.
먼저, 이미지 전처리 과정으로, 촬영된 스테레오 이미지 세트 H에서 i번째 사진을 불러와서 좌,우측 이미지로 분할하고 이후 특징 정보 추출을 위한 전처리 과정을 수행한다.(S801)
그리고 특징 추출 및 매칭 과정으로, 좌,우측 이미지에서 특징을 추출하고(S802) 추출된 특징들의 매칭을 수행한다.(S803)
이어, 추출된 특징점들을 3차원 좌표(x,y,z)로 변환하는 특징점 3차원 변환과정을 수행한다.(S804)
그리고 이미지가 촬영된 시점에서의 AGV 위치를 연산하여(S805) AGV 위치 정보, 특징점의 특징 정보, 특징점의 좌표 정보를(S806) 글로벌 이미지 집합 Wi에 저장한다.(S807)
이 과정을 촬영된 스테레오 이미지 전체(i=1~Q, Q는 맵 생성을 위해 촬영된 이미지 수)에 걸쳐서 진행한다.
그리고 유사 글로벌 이미지 서칭 방법을 설명하면 다음과 같다.
도 9는 유사한 글로벌 이미지 서칭 방법을 나타낸 플로우 차트이다.
유사 글로벌 이미지 서칭 과정은 미리 촬영한 데이터베이스 W(글로벌 이미지 집합) 내에서 현재 위치와 유사한 지점을 1차로 추출하기 위해 가장 유사한 글로벌 이미지 서칭을 수행하는 것이다.
먼저, 이미지 전처리 과정으로, 현재 위치에서 촬영한 로컬 이미지(1개)와 글로벌 이미지 집합 내 글로벌 이미지들(M개)에 대해 모두 도 8에서와 같은 이미지 전처리를 하고(S901) 특징 추출을 수행한다.(S902)
그리고 N번째 글로벌 이미지 특징을 로드하여(S903), 추출된 특징을 기반으로 글로벌 이미지 M개와 로컬 이미지의 특징 매칭을 수행한다.(S904)
이어, 글로벌 이미지 M개에 대해 특징 추출이 완료한 후, 매칭쌍 개수를 확인하면서(S905), 최적 글로벌 이미지 인덱스 N(N은 현재 로컬 이미지와 가장 많은 특징이 매칭된 글로벌 이미지의 인덱스)을 확인한다.(S906)
그리고 추출된 특징의 3D 좌표변환 방법을 설명하면 다음과 같다.
도 10은 추출된 특징의 3D 좌표변환 방법을 나타낸 구성도이다.
스테레오 카메라는 획득한 영상 정보를 통해 거리 정보를 측정할 수 있다는 장점이 있는데, 스테레오 영상(좌, 우 렌즈를 통해 얻은 2장의 영상)을 통해 거리 정보를 구하는 방법은 도 10에서와 같다.
그리고 기하학적 구조를 이용한 1차 최적 매칭쌍 추출 방법을 설명하면 다음과 같다.
도 11은 기하학적 구조를 이용한 1차 최적 매칭쌍 추출 방법을 나타낸 플로우 차트이다.
도 9에서의 유사 글로벌 이미지 서칭 방법을 통한 특징 매칭 결과를 이용할 수도 있으나, 이 경우 오매칭이 발생한다는 단점이 있다.
따라서, 본 발명에서는 기하학적 구조를 이용하여 오매칭을 걸러낼 수 있도록 한다.
먼저, 특징 추출 단계로, 로컬 이미지(S1101)와 가장 유사한 글로벌 이미지(도면 8의 N번째 이미지)의 특징을 각각 추출한다.(S1102)
로컬 이미지의 특징 정보는 C개이며, 매칭된 글로벌 이미지의 특징 정보는 D개이다.
이어, 특징 매칭 단계로, C개의 특징 정보(로컬 이미지)와 D개의 특징 정보(가장 유사한 글로벌 이미지)를 매칭 후 서로 매칭된 쌍(K개)을 추출한다.(S1103)
그리고 매칭쌍 간의 비교 연산이 모두 끝났는지 확인(i < K?)한다. 매칭쌍이 K개이므로 K-1번째까지 연산이 이루어져야 한다.
i = 1~K-1까지 증가, j=1부터 K-i까지 증가, P는 매칭된 특징점쌍 결과이고, i < K (i < K?가 Y일 경우)는 아직 모든 매칭쌍에 대해 연산이 이루어지지 않은 상태이다.
이어, 로컬 이미지의 P1,i번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i번째(A)와, 로컬 이미지의 P1,i+j번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i+j번째(B)의 차이를 수학식 1을 통하여 구한다.(S1104)(S1105)
Figure 112019000710754-pat00002
j를 i부터 K-i까지 하나씩 증가하면서 위 수식을 통해 구한 값이 일정 값보다 작을 경우 우선적으로 지원 그룹으로 묶고, 일정 값 이상일 경우는 지원 그룹으로 생성하지 않고 넘어가고, 이후 i를 K-1까지 증가시키며 위 과정을 반복한다.(S1106)
i > K (i < K?가 N일 경우) K개의 매칭쌍에 대한 계산이 완료된 것으로 판단한다.
그리고 기하학적 구조를 이용한 2차 최적 매칭쌍 추출 방법을 설명하면 다음과 같다.
도 12는 기하학적 구조를 이용한 2차 최적 매칭쌍 추출 방법을 나타낸 플로우 차트이다.
K개의 매칭쌍에 대한 계산이 완료된 이후, 지원 그룹 G에 대해 2차 알고리즘을 수행한다. Gi에서 i는 지원 그룹이 생성된 쌍의 개수이므로 K보다 작거나 같다.
먼저, SVD를 이용해 Gi와 Gi+j 간의 회전량 R, 이동량 T를 계산한다.(S1201)
이어, 구해진 회전량 R, 이동량 T를 이용하여 그룹 간 유사도 판정을 하여 P1와 P2 간의 매칭 쌍 간의 최대 오차가 threshold 이내인 경우(S1202), 두 그룹을 하나로 병합한다.(S1203)
더 이상 병합이 일어나지 않을 때까지 상기 단계를 반복하여 지원 그룹들의 결합 결과를 COMB_SET에 저장한다.
그리고 기하학적 구조를 이용한 3차 최적 매칭쌍 추출 방법을 설명하면 다음과 같다.
도 13은 기하학적 구조를 이용한 3차 최적 매칭쌍 추출 방법을 나타낸 플로우 차트이다.
먼저, 승자 그룹 추출 단계로, COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 WINNER(승자 그룹)에 저장한다.(S1301)
이어, 승자 그룹과의 유사도 판정 단계로, 지원 그룹 Gi가 승자 그룹에 속하지 않은 매칭 쌍인지 확인하고 SVD를 통해 WINNER와의 회전량 R, 이동량 T를 계산한다.(S1302)
그리고 최대 오차가 threshold 이내인 경우(S1303) Gi를 WINNER와 병합한다.(S1304)
이후 i를 N(지원 그룹의 수-승자 그룹에 속한 지원 그룹 수)까지 증가시키면서 유사도 판정 및 병합을 진행한다.
i > N이면, 승자 그룹에 속하지 않은 모든 지원 그룹에 대해 유사도 판정 및 병합이 이루어진 것으로 판단한다.
이상에서 설명한 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법은 스테레오 카메라를 통해 얻은 이미지 내의 3차원 특징점의 기하학적 정보를 이용하여 보다 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 것이다.
본 발명은 스테레오 카메라 센서를 기반으로 얻은 이미지 정보 중에서 3D 특징점의 기하학적 정보를 이용하여 매칭된 글로벌 이미지 데이터와의 특징점 매칭을 통해 오매칭률을 낮추고 보다 빠르게 정확한 위치를 추정할 수 있도록 한 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10. 글로벌 이미지 집합 생성부 20. 유사 글로벌 이미지 검색부
30. 제 1 최적 매칭쌍 추출부 40. 제 2 최적 매칭쌍 추출부
50. 제 3 최적 매칭쌍 추출부

Claims (13)

  1. 글로벌 이미지 집합 생성부에 의해 구축된 글로벌 이미지 집합 내에서 가장 유사한 글로벌 이미지 서칭을 수행하는 유사 글로벌 이미지 검색부;
    로컬 이미지의 특징 정보와 가장 유사한 글로벌 이미지의 특징 정보를 각각 추출하여 특징 정보를 매칭 후 서로 매칭된 쌍을 추출하여 특징점 간 거리를 산출하고, 지원 그룹을 생성하는 제 1 최적 매칭쌍 추출부;
    상기 제 1 최적 매칭쌍 추출부에서 지원 그룹이 생성된 두 개의 그룹(Gi)(Gi+j)을 SVD를 이용해 회전량(R) 및 이동량(T)을 계산([R,T]=SVD(Gi,Gi+j))하는 그룹간 회전 및 이동량 산출부와, 그룹간 회전 및 이동량 산출부에서 구해진 회전량, 이동량을 이용하여 그룹 간 유사도 판정(max(E((RP1 + T),P2)) < Threshold?)을 하여 매칭 쌍 간의 최대 오차가 threshold 이내인 경우, 매칭 쌍 간의 최대 오차가 threshold 이내인 특징점쌍들의 집합인 두 그룹(Gi)(Gi+j)을 하나로 결합하도록 하는 유사도 판정부와, 그룹 간 회전 및 이동량 계산, 그룹 간 유사도 판정을 반복하여 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 그룹 병합부를 포함하는 제 2 최적 매칭쌍 추출부;
    제 2 최적 매칭쌍 추출부에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹에 저장하고, 유사도 판정을 하여 승자 그룹과 병합하는 제 3 최적 매칭쌍 추출부;를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 장치.
  2. 제 1 항에 있어서, 상기 글로벌 이미지 집합 생성부는,
    촬영된 스테레오 이미지 세트 H에서 i번째 사진을 불러와서 좌, 우측 이미지로 분할하고, 특징 정보 추출을 위한 전처리 과정을 수행하는 이미지 전처리부와,
    좌,우측 이미지에서 특징을 추출하고 추출된 특징들의 매칭을 수행하는 특징 추출 및 매칭부와,
    추출된 특징점들을 3차원 좌표(x,y,z)로 변환하는 특징점 3차원 변환부와,
    이미지가 촬영된 시점에서의 모바일 로봇 위치를 연산하여 모바일 로봇 위치 정보, 특징점의 특징 정보, 특징점의 좌표 정보를 글로벌 이미지 집합 Wi에 저장하고, 이 과정을 촬영된 스테레오 이미지 전체에 걸쳐서 진행하는 특징점 정보 저장부를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 장치.
  3. 제 1 항에 있어서, 상기 유사 글로벌 이미지 검색부는,
    현재 위치에서 촬영한 로컬 이미지 1개와 글로벌 이미지 집합 내 M개 글로벌 이미지들에 대해 모두 이미지 전처리와 특징 추출을 수행하는 이미지 전처리부와,
    추출된 특징을 기반으로 글로벌 이미지 M개와 로컬 이미지의 특징 매칭을 수행하는 특징 매칭 수행부와,
    상기 특징 매칭 수행부에서 글로벌 이미지 M개에 대해 특징 추출이 완료되면 현재 로컬 이미지와 가장 많은 특징이 매칭된 글로벌 이미지의 인덱스 N을 확인하는 유사 글로벌 이미지 확인부를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 장치.
  4. 제 1 항에 있어서, 상기 제 1 최적 매칭쌍 추출부는,
    로컬 이미지의 C개의 특징 정보와 가장 유사한 N번째 글로벌 이미지의 D개의 특징 정보를 각각 추출하는 특징 추출부와,
    C개의 로컬 이미지 특징 정보와 D개의 가장 유사한 글로벌 이미지 특징 정보를 매칭 후 서로 매칭된 쌍(K개)을 추출하는 특징 매칭부와,
    상기 특징 매칭부에서 추출된 매칭쌍 간의 비교 연산이 모두 끝났는지 확인하는 비교 연산 판단부와,
    로컬 이미지의 P1,i번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i번째(A)와, 로컬 이미지의 P1,i+j번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i+j번째(B)의 차이를 구하는 특징점 간 거리 산출부를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 장치.
  5. 삭제
  6. 제 1 항에 있어서, 상기 제 3 최적 매칭쌍 추출부는,
    상기 제 2 최적 매칭쌍 추출부에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹(WINNER)에 저장하는 승자 그룹 추출부와,
    지원 그룹 Gi가 승자 그룹에 속하지 않은 매칭 쌍인지 확인하고 SVD를 통해 승자그룹(WINNER)과의 회전량 R, 이동량 T를 계산하고([R,T]=SVD(WINNER,Gi)), 최대 오차를 threshold와 비교하여 유사도 판정을 하는 유사도 판정부와,
    상기 유사도 판정부에서의 비교 결과 최대 오차가 threshold 이내인 경우(max(E(RㆍWINNER + T),Gi)) < Threshold?)이면, Gi를 승자그룹(WINNER)과 병합하는 그룹 병합부를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 장치.
  7. 글로벌 이미지 집합 생성 단계에 의해 구축된 글로벌 이미지 집합 내에서 가장 유사한 글로벌 이미지 서칭을 수행하는 유사 글로벌 이미지 검색 단계;
    로컬 이미지의 특징 정보와 가장 유사한 글로벌 이미지의 특징 정보를 각각 추출하여 특징 정보를 매칭 후 서로 매칭된 쌍을 추출하여 특징점 간 거리를 산출하고 지원 그룹을 생성하는 제 1 최적 매칭쌍 추출 단계;
    상기 제 1 최적 매칭쌍 추출 단계에서 지원 그룹이 생성된 두 개의 그룹(Gi)(Gi+j)을 SVD를 이용해 회전량(R) 및 이동량(T)을 계산([R,T]=SVD(Gi,Gi+j))하는 그룹간 회전 및 이동량 산출 단계와, 그룹간 회전 및 이동량 산출 단계에서 구해진 회전량, 이동량을 이용하여 그룹 간 유사도 판정(max(E((RP1 + T),P2)) < Threshold?)을 하여 매칭 쌍 간의 최대 오차가 threshold 이내인 경우, 매칭 쌍 간의 최대 오차가 threshold 이내인 특징점쌍들의 집합인 두 그룹(Gi)(Gi+j)을 하나로 결합하도록 하는 유사도 판정 단계와, 그룹 간 회전 및 이동량 계산, 그룹 간 유사도 판정을 반복하여 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 그룹 병합 단계를 포함하는 제 2 최적 매칭쌍 추출 단계;
    제 2 최적 매칭쌍 추출 단계에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹에 저장하고, 유사도 판정을 하여 승자 그룹과 병합하는 제 3 최적 매칭쌍 추출 단계;를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 방법.
  8. 제 7 항에 있어서, 상기 글로벌 이미지 집합 생성 단계는,
    촬영된 스테레오 이미지 세트 H에서 i번째 사진을 불러와서 좌, 우측 이미지로 분할하고, 특징 정보 추출을 위한 전처리 과정을 수행하는 이미지 전처리 단계와,
    좌,우측 이미지에서 특징을 추출하고 추출된 특징들의 매칭을 수행하는 특징 추출 및 매칭 단계와,
    추출된 특징점들을 3차원 좌표(x,y,z)로 변환하는 특징점 3차원 변환 단계와,
    이미지가 촬영된 시점에서의 모바일 로봇 위치를 연산하여 모바일 로봇 위치 정보, 특징점의 특징 정보, 특징점의 좌표 정보를 글로벌 이미지 집합 Wi에 저장하고, 이 과정을 촬영된 스테레오 이미지 전체에 걸쳐서 진행하는 특징점 정보 저장 단계를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 방법.
  9. 제 7 항에 있어서, 상기 유사 글로벌 이미지 검색 단계는,
    현재 위치에서 촬영한 로컬 이미지 1개와 글로벌 이미지 집합 내 M개 글로벌 이미지들에 대해 모두 이미지 전처리와 특징 추출을 수행하는 이미지 전처리 단계와,
    추출된 특징을 기반으로 글로벌 이미지 M개와 로컬 이미지의 특징 매칭을 수행하는 특징 매칭 수행 단계와,
    상기 특징 매칭 수행 단계에서 글로벌 이미지 M개에 대해 특징 추출이 완료되면 현재 로컬 이미지와 가장 많은 특징이 매칭된 글로벌 이미지의 인덱스 N을 확인하는 유사 글로벌 이미지 확인 단계를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 방법.
  10. 제 7 항에 있어서, 상기 제 1 최적 매칭쌍 추출 단계는,
    로컬 이미지의 C개의 특징 정보와 가장 유사한 N번째 글로벌 이미지의 D개의 특징 정보를 각각 추출하는 특징 추출 단계와,
    C개의 로컬 이미지 특징 정보와 D개의 가장 유사한 글로벌 이미지 특징 정보를 매칭 후 서로 매칭된 쌍(K개)을 추출하는 특징 매칭 단계와,
    i = 1~K-1까지 증가, j=1부터 K-i까지 증가, P는 매칭된 특징점쌍 결과인 경우에 매칭쌍 간의 비교 연산이 모두 끝났는지(i < K?) 확인하는 단계와,
    로컬 이미지의 P1,i번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i번째(A)와, 로컬 이미지의 P1,i+j번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i+j번째(B)의 차이를 구하는 특징점간 거리 산출 단계를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 방법.
  11. 제 10 항에 있어서, 특징점간 거리 산출 단계는
    Figure 112019000710754-pat00003
    으로 구하고,
    j를 i부터 K-i까지 하나씩 증가하면서 수식을 통해 구한 값이 일정 값보다 작을 경우 우선적으로 그룹으로 묶고, 일정 값 이상일 경우는 그룹으로 생성하지 않고, 이후 i를 K-1까지 증가시키며 특징점간 거리 산출 과정을 반복하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 방법.
  12. 삭제
  13. 제 7 항에 있어서, 상기 제 3 최적 매칭쌍 추출 단계는,
    상기 제 2 최적 매칭쌍 추출 단계에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹(WINNER)에 저장하는 승자 그룹 추출 단계와,
    지원 그룹 Gi가 승자 그룹에 속하지 않은 매칭 쌍인지 확인하고 SVD를 통해 승자그룹(WINNER)과의 회전량 R, 이동량 T를 계산하고([R,T]=SVD(WINNER,Gi)), 최대 오차를 threshold와 비교하여 유사도 판정을 하는 유사도 판정 단계와,
    상기 유사도 판정 단계에서의 비교 결과 최대 오차가 threshold 이내인 경우(max(E(RㆍWINNER + T),Gi)) < Threshold?)이면, Gi를 승자그룹(WINNER)과 병합하는 그룹 병합 단계를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 방법.
KR1020190000713A 2019-01-03 2019-01-03 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법 KR102187311B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190000713A KR102187311B1 (ko) 2019-01-03 2019-01-03 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190000713A KR102187311B1 (ko) 2019-01-03 2019-01-03 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200084615A KR20200084615A (ko) 2020-07-13
KR102187311B1 true KR102187311B1 (ko) 2020-12-07

Family

ID=71570955

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190000713A KR102187311B1 (ko) 2019-01-03 2019-01-03 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102187311B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116956960A (zh) * 2023-07-28 2023-10-27 武汉市万睿数字运营有限公司 一种基于云边端协同的社区访客到访路径还原方法及***
CN117647253A (zh) * 2023-11-21 2024-03-05 西部科学城智能网联汽车创新中心(重庆)有限公司 基于v2v通信技术与高精地图匹配的车辆高精度定位方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101404640B1 (ko) * 2012-12-11 2014-06-20 한국항공우주연구원 영상 매칭 방법 및 이를 수행하는 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101460313B1 (ko) 2013-05-24 2014-11-14 중앙대학교 산학협력단 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법
KR101552773B1 (ko) 2013-12-10 2015-09-11 고려대학교 산학협력단 인공 표식을 이용한 이동 로봇의 위치 추정 방법
KR101707279B1 (ko) * 2014-06-30 2017-02-16 건국대학교 산학협력단 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법
KR101885961B1 (ko) * 2016-08-04 2018-08-06 영남대학교 산학협력단 이미지를 기반으로 한 객체 위치 추정 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101404640B1 (ko) * 2012-12-11 2014-06-20 한국항공우주연구원 영상 매칭 방법 및 이를 수행하는 시스템

Also Published As

Publication number Publication date
KR20200084615A (ko) 2020-07-13

Similar Documents

Publication Publication Date Title
Jiao et al. Robust odometry and mapping for multi-lidar systems with online extrinsic calibration
CN106780631B (zh) 一种基于深度学习的机器人闭环检测方法
JP4967062B2 (ja) オプティカルフロー、運動学及び深さ情報を使用して、物体の適切な運動を推定する方法
Westman et al. Feature-based SLAM for imaging sonar with under-constrained landmarks
KR20180004151A (ko) 실시간 맵핑 및 로컬리제이션을 위한 장치 및 방법
Miettinen et al. Simultaneous localization and mapping for forest harvesters
KR101888295B1 (ko) 레이저 거리 센서의 측정 거리에 대해 추정된 거리 유형의 신뢰성을 평가하는 방법 및 이를 이용한 이동 로봇의 위치 추정 방법
KR102187311B1 (ko) 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법
Indelman et al. Incremental light bundle adjustment for robotics navigation
JP2017162457A (ja) 画像分析システムおよび方法
US20170108338A1 (en) Method for geolocating a carrier based on its environment
CN115962773A (zh) 一种移动机器人同步定位与地图构建方法、装置和设备
Batstone et al. Towards real-time time-of-arrival self-calibration using ultra-wideband anchors
Yang et al. Road constrained monocular visual localization using Gaussian-Gaussian cloud model
Zhao et al. Occupancy-slam: Simultaneously optimizing robot poses and continuous occupancy map
JP5953393B2 (ja) ロボットシステム及び地図更新方法
Ovchinnikov et al. Windowed multiscan optimization using weighted least squares for improving localization accuracy of mobile robots
CN115307641A (zh) 机器人定位方法、装置、机器人和存储介质
Xu et al. Laser sensor based localization of mobile robot using Unscented Kalman Filter
Badalkhani et al. Effects of Moving Landmark's Speed on Multi-Robot Simultaneous Localization and Mapping in Dynamic Environments.
Hon et al. A customized fastslam algorithm using scanning laser range finder in structured indoor environments
Tian et al. 3D laser odometry for a mobile robot platform
US20230169670A1 (en) Depth estimation method, depth estimation device and depth estimation program
Łabȩcki et al. Spatial uncertainty assessment in visual terrain perception for a mobile robot
Nguyen et al. A new landmark detection approach for slam algorithm applied in mobile robot

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]