KR102187311B1 - Apparatus and Method for Estimating Initial Position of Mobile Robot - Google Patents
Apparatus and Method for Estimating Initial Position of Mobile Robot Download PDFInfo
- Publication number
- KR102187311B1 KR102187311B1 KR1020190000713A KR20190000713A KR102187311B1 KR 102187311 B1 KR102187311 B1 KR 102187311B1 KR 1020190000713 A KR1020190000713 A KR 1020190000713A KR 20190000713 A KR20190000713 A KR 20190000713A KR 102187311 B1 KR102187311 B1 KR 102187311B1
- Authority
- KR
- South Korea
- Prior art keywords
- feature
- matching
- image
- unit
- group
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000000605 extraction Methods 0.000 claims abstract description 58
- 239000000284 extract Substances 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 모바일 로봇 위치 추정시에 스테레오 카메라를 통해 얻은 이미지 내의 3차원 특징점의 기하학적 정보를 이용하여 보다 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법에 관한 것으로, 글로벌 이미지 집합 생성부에 의해 구축된 글로벌 이미지 집합 내에서 가장 유사한 글로벌 이미지 서칭을 수행하는 유사 글로벌 이미지 검색부;로컬 이미지의 특징 정보와 가장 유사한 글로벌 이미지의 특징 정보를 각각 추출하여 특징 정보를 매칭 후 서로 매칭된 쌍을 추출하여 특징점 간 거리를 산출하는 제 1 최적 매칭쌍 추출부;매칭 쌍 간의 최대 오차가 문턱값(threshold) 이내인 경우, 두 그룹을 하나로 합쳐 유사도 판정을 하고, 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 제 2 최적 매칭쌍 추출부;제 2 최적 매칭쌍 추출부에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹에 저장하고, 유사도 판정을 하여 승자 그룹과 병합하는 제 3 최적 매칭쌍 추출부;를 포함하는 것을 특징으로 한다.The present invention relates to an apparatus and method for estimating the initial position of a mobile robot, enabling more accurate estimation of the initial position of a robot using geometric information of a 3D feature point in an image obtained through a stereo camera when estimating the position of a mobile robot. A similar global image search unit that performs the most similar global image search in the global image set constructed by the global image set generation unit; Feature information of the local image and feature information of the most similar global image A first optimal matching pair extraction unit that extracts the matched pairs after matching and calculates the distance between the feature points; When the maximum error between the matching pairs is within a threshold, the two groups are combined to determine the degree of similarity, and the support group A second optimal matching pair extracting unit that stores the combination result of the two in COMB_SET; The group to which the most matching pairs belong among the COMB_SETs stored in the second optimal matching pair extracting unit is stored in the winner group, and the similarity is determined to merge with the winner group It characterized in that it comprises a; 3 optimal matching pair extraction unit.
Description
본 발명은 모바일 로봇 위치 추정에 관한 것으로, 구체적으로 스테레오 카메라를 통해 얻은 이미지 내의 3차원 특징점의 기하학적 정보를 이용하여 보다 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법에 관한 것이다.The present invention relates to a mobile robot position estimation, and more specifically, an apparatus for estimating the initial position of a mobile robot that enables more accurate estimation of the initial position of the robot by using geometric information of a three-dimensional feature point in an image obtained through a stereo camera. And a method.
모바일 로봇은 실용 방안의 지속적인 연구로 인하여 산업용뿐만 아니라 청소 로봇, 경비 로봇, 안내 로봇과 같은 일상 생활용으로도 사용되며 실생활에서도 차지하는 비중이 점점 커지고 있다.Mobile robots are used not only for industrial use, but also for everyday life such as cleaning robots, security robots, and guide robots due to continuous research on practical methods, and their weight in real life is increasing.
이와 같은 모바일 로봇이 자율 주행을 하기 위해서는 모바일 로봇의 위치를 파악하는 위치 추정이 필수적으로 요구된다. 모바일 로봇의 위치 추정은 환경에 대한 정보와 센서로 측정한 정보를 이용하여 모바일 로봇의 위치를 추정하는 기술로써, 모바일 로봇의 주행을 위한 핵심 기술이다.In order for such a mobile robot to operate autonomously, it is essential to estimate the location of the mobile robot. Position estimation of a mobile robot is a technology that estimates the position of a mobile robot using information about the environment and information measured by a sensor, and is a key technology for driving the mobile robot.
일반적으로 모바일 로봇의 위치 추정은 모바일 로봇이 스스로 획득하는 오도메트리 정보와, 외부 환경을 통해 획득하는 센서 정보를 바탕으로 이루어진다.In general, the position of a mobile robot is estimated based on odometry information acquired by the mobile robot by itself and sensor information acquired through an external environment.
모바일 로봇의 오도메트리 정보는 휠 직경 오차와 휠 간격 오차를 포함하는 기구학적 모델링 오차와, 불규칙한 주행 환경으로 인해 발생하는 오차에 의해 주행 과정에서 지속적으로 누적되어 모바일 로봇의 위치 추정의 불확실성을 가중시킨다.The odometry information of the mobile robot is continuously accumulated during the driving process by kinematic modeling errors including wheel diameter errors and wheel spacing errors, and errors caused by irregular driving environments, adding to the uncertainty of estimating the position of the mobile robot. Let it.
이와 같은 오도메트리 정보의 한계로 인해 외부 환경을 통해 얻는 센서 정보를 위치 추정에 반영함으로써, 모바일 로봇의 위치 추정의 정확성을 높이고 있다.Due to the limitation of such odometry information, the accuracy of the position estimation of the mobile robot is improved by reflecting the sensor information obtained through the external environment in the position estimation.
센서 정보를 획득하는 방법으로 모바일 로봇의 주행 경로에 설치되는 인공 표식들을 감지하여 모바일 로봇의 전역좌표계 상의 위치를 추정하는 방법들이 제안되고 있다.As a method of acquiring sensor information, methods of estimating the position on the global coordinate system of the mobile robot by detecting artificial marks installed on the travel path of the mobile robot have been proposed.
모바일 로봇이 자신의 초기 위치를 기억하고 현재까지의 이동 정보 및 이전의 위치 정보로부터 현재의 위치를 알아낼 수 있다고 하더라도 모바일 로봇이 외력에 의해 이동된 경우에는 그 전 위치까지 이동해 오면서 저장해 둔 이동 정보 및 위치 정보를 전혀 사용할 수 없는 문제에 직면하게 된다.Although the mobile robot remembers its initial position and can find out the current position from the movement information up to the present and the previous position information, if the mobile robot is moved by an external force, the movement information stored while moving to the previous position and You face the problem of not being able to use your location information at all.
즉, 공장 또는 물류 등 산업현장에서 모바일 로봇이 운행 중에 갑작스럽게 정지가 되어 다른 위치로 옮겨가 재가동 되는 경우, 그리고 주행 중 매칭 오류로 인해 위치 추정에 실패할 경우에 초기 위치 추정 기술이 필요하다.That is, when a mobile robot suddenly stops during operation in an industrial site such as a factory or logistics, moves to another location, and is restarted, and when the location estimation fails due to a matching error during driving, an initial location estimation technique is required.
위치 추정을 위해서는 미리 생성한 글로벌 특징맵 데이터를 이용하며, 현재 위치에서 얻은 환경 정보와의 매칭을 통해 현재 위치를 추정하는 방식이다.For location estimation, the global feature map data generated in advance is used, and the current location is estimated through matching with environmental information obtained from the current location.
정확한 위치 추정을 위해서는 정확한 특징점 매칭 기술이 필요한데, 종래 기술에서는 특징점 매칭 기술이 부정확하여 정확한 위치 추정에 한계가 있다.Accurate feature point matching technology is required for accurate position estimation. However, in the prior art, the feature point matching technology is inaccurate, so there is a limit to accurate position estimation.
따라서, 보다 정확하게 로봇의 초기 위치를 추정할 수 있는 새로운 위치 추정 기술의 개발이 요구되고 있다.Therefore, there is a need to develop a new position estimation technology that can more accurately estimate the initial position of the robot.
본 발명은 종래 기술의 모바일 로봇 위치 추정 기술의 문제점을 해결하기 위한 것으로, 스테레오 카메라를 통해 얻은 이미지 내의 3차원 특징점의 기하학적 정보를 이용하여 보다 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is to solve the problem of the mobile robot position estimation technology of the prior art, and a mobile robot capable of more accurately estimating the initial position of the robot by using geometric information of a three-dimensional feature point in an image obtained through a stereo camera. An object thereof is to provide an apparatus and method for initial position estimation.
본 발명은 스테레오 카메라 센서를 기반으로 얻은 이미지 정보 중에서 3D 특징점의 기하학적 정보를 이용하여 매칭된 글로벌 이미지 데이터와의 특징점 매칭을 통해 오매칭률을 낮추고 보다 빠르게 정확한 위치를 추정할 수 있도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is a mobile robot capable of lowering the mismatch rate and quickly estimating an accurate position through matching feature points with global image data matched using geometric information of 3D feature points among image information obtained based on a stereo camera sensor. An object thereof is to provide an apparatus and method for initial position estimation.
본 발명은 정확하게 로봇의 초기 위치를 추정할 수 있도록 하여 현재 로봇의 위치를 기반으로 목적지까지 유도하는 시스템에 적용하여 시스템의 효율적인 운용이 가능하도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention provides an apparatus and method for estimating the initial position of a mobile robot, which enables efficient operation of the system by applying it to a system that guides the current robot to a destination based on the current robot position by accurately estimating the initial position of the robot. It has its purpose.
본 발명은 스테레오 카메라 센서의 내,외부 파라미터를 추출하기 위한 카메라 캘리브레이션을 수행하고, 추출된 카메라 내,외부 파라미터를 이용하여 현재 위치에서 얻은 이미지를 조정(rectification) 및 그레이스케일(grayscale)화를 수행 후 이미지 내 특징을 추출하는 것에 의해 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention performs camera calibration to extract internal and external parameters of a stereo camera sensor, and performs rectification and grayscale of an image obtained at the current position using the extracted internal and external parameters of the camera. An object of the present invention is to provide an apparatus and method for estimating the initial position of a mobile robot so that the initial position of the robot can be accurately estimated by extracting the features in the image afterwards.
본 발명은 추출된 특징과 글로벌 이미지 데이터와의 특징점 매칭을 통해 최다 특징 데이터 매칭이 발생한 글로벌 이미지 추출을 하고, 글로벌 이미지의 특징 데이터와 현재 위치에서 얻은 이미지의 특징 데이터를 3D 좌표화 하여 기하학적 구조기반 특징점 매칭법을 이용하여 매칭을 수행하여 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention extracts a global image with the most feature data matching through feature point matching between the extracted feature and global image data, and converts the feature data of the global image and the feature data of the image obtained at the current location into 3D coordinates, based on a geometric structure. An object of the present invention is to provide an apparatus and method for estimating an initial position of a mobile robot, which enables the initial position of a robot to be accurately estimated by performing matching using a feature point matching method.
본 발명은 공장 또는 물류 등 산업현장에서 모바일 로봇이 운행 중에 갑작스럽게 정지가 되어 다른 위치로 옮겨가 재가동 되는 경우 또는 주행 중 매칭 오류로 인해 위치 추정에 실패할 경우에도 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention can accurately estimate the initial position of the robot even when the mobile robot suddenly stops during operation in an industrial site such as a factory or logistics, moves to another location and restarts, or fails to estimate the position due to a matching error during driving. An object of the present invention is to provide an apparatus and method for estimating an initial position of a mobile robot.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Other objects of the present invention are not limited to the objects mentioned above, and other objects that are not mentioned will be clearly understood by those skilled in the art from the following description.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치는 글로벌 이미지 집합 생성부에 의해 구축된 글로벌 이미지 집합 내에서 가장 유사한 글로벌 이미지 서칭을 수행하는 유사 글로벌 이미지 검색부;로컬 이미지의 특징 정보와 가장 유사한 글로벌 이미지의 특징 정보를 각각 추출하여 특징 정보를 매칭 후 서로 매칭된 쌍을 추출하여 특징점 간 거리를 산출하고, 지원 그룹을 생성하는 제 1 최적 매칭쌍 추출부;상기 제 1 최적 매칭쌍 추출부에서 지원 그룹이 생성된 두 개의 그룹(Gi)(Gi+j)을 SVD를 이용해 회전량(R) 및 이동량(T)을 계산([R,T]=SVD(Gi,Gi+j))하는 그룹간 회전 및 이동량 산출부와, 그룹간 회전 및 이동량 산출부에서 구해진 회전량, 이동량을 이용하여 그룹 간 유사도 판정(max(E((RP1 + T),P2)) < Threshold?)을 하여 매칭 쌍 간의 최대 오차가 threshold 이내인 경우, 매칭 쌍 간의 최대 오차가 threshold 이내인 특징점쌍들의 집합인 두 그룹(Gi)(Gi+j)을 하나로 결합하도록 하는 유사도 판정부와, 그룹 간 회전 및 이동량 계산, 그룹 간 유사도 판정을 반복하여 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 그룹 병합부를 포함하는 제 2 최적 매칭쌍 추출부;제 2 최적 매칭쌍 추출부에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹에 저장하고, 유사도 판정을 하여 승자 그룹과 병합하는 제 3 최적 매칭쌍 추출부;를 포함하는 것을 특징으로 한다.An apparatus for estimating an initial position of a mobile robot according to the present invention for achieving the above object includes: a similar global image search unit that performs a search for the most similar global image in the global image set constructed by the global image set generation unit; A first optimal matching pair extracting unit configured to extract feature information of a global image that is most similar to feature information of a local image, match the feature information, extract the matched pair, calculate a distance between feature points, and generate a support group; The rotation amount (R) and the movement amount (T) are calculated using SVD for the two groups (G i ) (G i+j ) in which the support group was created in the first optimal matching pair extraction unit ([R,T]=SVD (G i ,G i+j )) using the rotation and movement amount calculation unit between groups and the rotation and movement amount obtained from the rotation and movement amount calculation unit between groups to determine the similarity between groups (max(E((RP 1 + T ),P 2 )) <Threshold?) When the maximum error between matching pairs is within the threshold, two groups (G i ) (G i+j ), which are sets of feature point pairs whose maximum error between matching pairs is within the threshold, are A second optimal matching pair extracting unit including a similarity determination unit for combining into one, and a group merging unit for storing the combination result of the support groups in COMB_SET by repeating the calculation of rotation and movement amount between groups, and determination of similarity between groups; And a third optimal matching pair extracting unit that stores the group to which the most matching pairs belong among the COMB_SETs stored in the pair extracting unit in the winner group, determines a similarity, and merges the group with the winner.
여기서, 상기 글로벌 이미지 집합 생성부는, 촬영된 스테레오 이미지 세트 H에서 i번째 사진을 불러와서 좌, 우측 이미지로 분할하고, 특징 정보 추출을 위한 전처리 과정을 수행하는 이미지 전처리부와,좌,우측 이미지에서 특징을 추출하고 추출된 특징들의 매칭을 수행하는 특징 추출 및 매칭부와,추출된 특징점들을 3차원 좌표(x,y,z)로 변환하는 특징점 3차원 변환부와,이미지가 촬영된 시점에서의 모바일 로봇 위치를 연산하여 모바일 로봇 위치 정보, 특징점의 특징 정보, 특징점의 좌표 정보를 글로벌 이미지 집합 Wi에 저장하고, 이 과정을 촬영된 스테레오 이미지 전체에 걸쳐서 진행하는 특징점 정보 저장부를 포함하는 것을 특징으로 한다.Here, the global image set generation unit includes an image preprocessing unit that loads the i-th picture from the captured stereo image set H, divides it into left and right images, and performs a preprocessing process for extracting feature information, and the left and right images A feature extraction and matching unit that extracts features and performs matching of the extracted features, a feature point three-dimensional transform unit that converts the extracted feature points into three-dimensional coordinates (x, y, z), and It includes a feature point information storage unit that calculates the position of the mobile robot and stores the mobile robot location information, feature information of the feature point, and coordinate information of the feature point in the global image set W i , and performs this process over the entire captured stereo image. To do.
그리고 상기 유사 글로벌 이미지 검색부는, 현재 위치에서 촬영한 로컬 이미지 1개와 글로벌 이미지 집합 내 M개 글로벌 이미지들에 대해 모두 이미지 전처리와 특징 추출을 수행하는 이미지 전처리부와,추출된 특징을 기반으로 글로벌 이미지 M개와 로컬 이미지의 특징 매칭을 수행하는 특징 매칭 수행부와,상기 특징 매칭 수행부에서 글로벌 이미지 M개에 대해 특징 추출이 완료되면 현재 로컬 이미지와 가장 많은 특징이 매칭된 글로벌 이미지의 인덱스 N을 확인하는 유사 글로벌 이미지 확인부를 포함하는 것을 특징으로 한다.In addition, the similar global image search unit includes an image preprocessing unit that performs image pre-processing and feature extraction for all of the M global images in the global image set and one local image captured at the current location, and a global image based on the extracted features. A feature matching performing unit that performs feature matching between M and local images, and when feature extraction is completed for M global images in the feature matching unit, the index N of the global image matching the most features with the current local image is checked. It characterized in that it comprises a similar global image check unit.
그리고 상기 제 1 최적 매칭쌍 추출부는, 로컬 이미지의 C개의 특징 정보와 가장 유사한 N번째 글로벌 이미지의 D개의 특징 정보를 각각 추출하는 특징 추출부와,C개의 로컬 이미지 특징 정보와 D개의 가장 유사한 글로벌 이미지 특징 정보를 매칭 후 서로 매칭된 쌍(K개)을 추출하는 특징 매칭부와,상기 특징 매칭부에서 추출된 매칭쌍 간의 비교 연산이 모두 끝났는지 확인하는 비교 연산 판단부와,로컬 이미지의 P1,i번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i번째(A)와, 로컬 이미지의 P1,i+j번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i+j번째(B)의 차이를 구하는 특징점 간 거리 산출부를 포함하는 것을 특징으로 한다.In addition, the first optimal matching pair extracting unit includes a feature extraction unit for extracting each of the D feature information of the N-th global image most similar to the C feature information of the local image, and the C local image feature information and the D most similar global feature information. A feature matching unit for extracting matched pairs (K) after matching image feature information, a comparison operation determining unit for checking whether all comparison operations between the matching pairs extracted from the feature matching unit have been completed, and P of the local image 1, and the i-th feature point coordinates and the P 2, a similar global image of the i-th (a), P 2, second i + j of the local image P 1, i + j-th feature point coordinates and the most likely global image (B) It characterized in that it comprises a distance calculation unit between the feature points to obtain the difference.
삭제delete
그리고 상기 제 3 최적 매칭쌍 추출부는, 상기 제 2 최적 매칭쌍 추출부에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹(WINNER)에 저장하는 승자 그룹 추출부와,지원 그룹 Gi가 승자 그룹에 속하지 않은 매칭 쌍인지 확인하고 SVD를 통해 승자그룹(WINNER)과의 회전량 R, 이동량 T를 계산하여 유사도 판정을 하는 유사도 판정부와,최대 오차가 문턱값 이내인 경우 Gi를 승자그룹(WINNER)과 병합하는 그룹 병합부를 포함하는 것을 특징으로 한다.In addition, the third optimal matching pair extracting unit includes a winner group extracting unit that stores a group to which the largest number of matching pairs belongs among the COMB_SETs stored in the second optimal matching pair extracting unit in a winner group (WINNER), and a support group G i is a winner group. A similarity determination unit that checks if it is a matching pair that does not belong to and determines the similarity by calculating the amount of rotation R and the amount of movement T with the winner group through SVD, and if the maximum error is within the threshold, G i is assigned to the winner group ( WINNER) and a group merging unit for merging.
다른 목적을 달성하기 위한 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 방법은 글로벌 이미지 집합 생성 단계에 의해 구축된 글로벌 이미지 집합 내에서 가장 유사한 글로벌 이미지 서칭을 수행하는 유사 글로벌 이미지 검색 단계;로컬 이미지의 특징 정보와 가장 유사한 글로벌 이미지의 특징 정보를 각각 추출하여 특징 정보를 매칭 후 서로 매칭된 쌍을 추출하여 특징점 간 거리를 산출하고 지원 그룹을 생성하는 제 1 최적 매칭쌍 추출 단계;상기 제 1 최적 매칭쌍 추출 단계에서 지원 그룹이 생성된 두 개의 그룹(Gi)(Gi+j)을 SVD를 이용해 회전량(R) 및 이동량(T)을 계산([R,T]=SVD(Gi,Gi+j))하는 그룹간 회전 및 이동량 산출 단계와, 그룹간 회전 및 이동량 산출 단계에서 구해진 회전량, 이동량을 이용하여 그룹 간 유사도 판정(max(E((RP1 + T),P2)) < Threshold?)을 하여 매칭 쌍 간의 최대 오차가 threshold 이내인 경우, 매칭 쌍 간의 최대 오차가 threshold 이내인 특징점쌍들의 집합인 두 그룹(Gi)(Gi+j)을 하나로 결합하도록 하는 유사도 판정 단계와, 그룹 간 회전 및 이동량 계산, 그룹 간 유사도 판정을 반복하여 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 그룹 병합 단계를 포함하는 제 2 최적 매칭쌍 추출 단계;제 2 최적 매칭쌍 추출 단계에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹에 저장하고, 유사도 판정을 하여 승자 그룹과 병합하는 제 3 최적 매칭쌍 추출 단계;를 포함하는 것을 특징으로 한다.A method for estimating the initial position of a mobile robot according to the present invention for achieving another object is a similar global image search step of performing a search for the most similar global image within a global image set constructed by the global image set generation step; a local image A first optimal matching pair extraction step of extracting feature information of a global image that is most similar to the feature information of and matching feature information and then extracting the matched pair to calculate the distance between feature points and generating a support group; the first optimal The rotation amount (R) and the movement amount (T) are calculated using SVD for the two groups (G i ) (G i+j ) in which the support group was created in the matching pair extraction step ([R,T]=SVD(G i ,G i+j )), using the rotation and movement amount obtained in the intergroup rotation and movement amount calculation step and the rotation and movement amount calculation step between groups to determine the similarity between groups (max(E((RP 1 + T),P 2 )) If the maximum error between matching pairs is within the threshold by performing <Threshold?), then combine two groups (G i ) (G i+j ), which are sets of feature point pairs whose maximum error between matching pairs is within the threshold, into one. A second optimal matched pair extraction step including a similarity determination step of performing a similarity determination step, a group merging step of storing a combination result of the support groups in COMB_SET by repeating the calculation of rotation and movement amount between groups, and determination of the similarity between groups; And a third optimal matched pair extraction step of storing the group to which the largest number of matching pairs from among the stored COMB_SETs belong to the winner group, determining the similarity, and merging the group with the winner.
여기서, 상기 글로벌 이미지 집합 생성 단계는, 촬영된 스테레오 이미지 세트 H에서 i번째 사진을 불러와서 좌, 우측 이미지로 분할하고, 특징 정보 추출을 위한 전처리 과정을 수행하는 이미지 전처리 단계와,좌,우측 이미지에서 특징을 추출하고 추출된 특징들의 매칭을 수행하는 특징 추출 및 매칭 단계와,추출된 특징점들을 3차원 좌표(x,y,z)로 변환하는 특징점 3차원 변환 단계와,이미지가 촬영된 시점에서의 모바일 로봇 위치를 연산하여 모바일 로봇 위치 정보, 특징점의 특징 정보, 특징점의 좌표 정보를 글로벌 이미지 집합 Wi에 저장하고, 이 과정을 촬영된 스테레오 이미지 전체에 걸쳐서 진행하는 특징점 정보 저장 단계를 포함하는 것을 특징으로 한다.Here, the global image set generation step includes an image pre-processing step of retrieving the i-th photo from the captured stereo image set H, dividing it into left and right images, and performing a pre-processing process for extracting feature information, and left and right images. A feature extraction and matching step of extracting features from and matching the extracted features, a feature point three-dimensional conversion step of converting the extracted feature points into three-dimensional coordinates (x,y,z), and at the time the image is captured And storing the mobile robot location information, the feature information of the feature point, and the coordinate information of the feature point in the global image set W i by calculating the location of the mobile robot of the robot, and storing feature point information that proceeds over the entire captured stereo image. It features.
그리고 상기 유사 글로벌 이미지 검색 단계는, 현재 위치에서 촬영한 로컬 이미지 1개와 글로벌 이미지 집합 내 M개 글로벌 이미지들에 대해 모두 이미지 전처리와 특징 추출을 수행하는 이미지 전처리 단계와,추출된 특징을 기반으로 글로벌 이미지 M개와 로컬 이미지의 특징 매칭을 수행하는 특징 매칭 수행 단계와,상기 특징 매칭 수행 단계에서 글로벌 이미지 M개에 대해 특징 추출이 완료되면 현재 로컬 이미지와 가장 많은 특징이 매칭된 글로벌 이미지의 인덱스 N을 확인하는 유사 글로벌 이미지 확인 단계를 포함하는 것을 특징으로 한다.In addition, the similar global image search step includes an image pre-processing step of performing image pre-processing and feature extraction for all of the M global images in a global image set and one local image captured at a current location, and a global image based on the extracted features. A feature matching performing step of performing feature matching between M images and local images, and when feature extraction for M global images is completed in the feature matching step, an index N of the global image matching the most features with the current local image is determined. It characterized in that it comprises a step of checking the similar global image to check.
그리고 상기 제 1 최적 매칭쌍 추출 단계는, 로컬 이미지의 C개의 특징 정보와 가장 유사한 N번째 글로벌 이미지의 D개의 특징 정보를 각각 추출하는 특징 추출 단계와,C개의 로컬 이미지 특징 정보와 D개의 가장 유사한 글로벌 이미지 특징 정보를 매칭 후 서로 매칭된 쌍(K개)을 추출하는 특징 매칭 단계와,i = 1~K-1까지 증가, j=1부터 K-i까지 증가, P는 매칭된 특징점쌍 결과인 경우에 매칭쌍 간의 비교 연산이 모두 끝났는지(i < K?) 확인하는 단계와,로컬 이미지의 P1,i번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i번째(A)와, 로컬 이미지의 P1,i+j번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i+j번째(B)의 차이를 구하는 특징점간 거리 산출 단계를 포함하는 것을 특징으로 한다.The first optimal matching pair extraction step includes a feature extraction step of extracting each of the D feature information of the N-th global image that is most similar to the C feature information of the local image, and the C feature information of the local image and the D most similar feature information. Feature matching step of extracting matched pairs (K) after matching global image feature information, i = increasing from 1 to K-1, increasing from j = 1 to Ki, where P is the matched feature point pair result Checking whether the comparison operation between matching pairs has been completed (i <K?) , P 2 and i of the global image most similar to the coordinates of the P 1 and i- th feature points of the local image, and the local image. And a step of calculating a distance between feature points for obtaining a difference between the P 1,i+j- th feature point coordinates and the P 2,i+j- th (B) of the global image most similar to each other.
그리고 특징점간 거리 산출 단계는 And the step of calculating the distance between feature points
삭제delete
그리고 상기 제 3 최적 매칭쌍 추출 단계는, 상기 제 2 최적 매칭쌍 추출 단계에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹(WINNER)에 저장하는 승자 그룹 추출 단계와,지원 그룹 Gi가 승자 그룹에 속하지 않은 매칭 쌍인지 확인하고 SVD를 통해 승자그룹(WINNER)과의 회전량 R, 이동량 T를 계산하여 유사도 판정을 하는 유사도 판정 단계와,최대 오차가 문턱값 이내인 경우 Gi를 승자그룹(WINNER)과 병합하는 그룹 병합 단계를 포함하는 것을 특징으로 한다.The third optimal matching pair extraction step includes a winner group extraction step of storing a group to which the most matching pairs belong among the COMB_SETs stored in the second optimal matching pair extraction step in a winner group (WINNER), and a support group G i is the winner. A similarity determination step that determines whether a matching pair does not belong to the group and calculates the amount of rotation R and the amount of movement T with the winner group through SVD, and if the maximum error is within the threshold, G i is the winner group. It characterized in that it comprises a group merging step of merging with (WINNER).
이상에서 설명한 바와 같은 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법은 다음과 같은 효과가 있다.The apparatus and method for estimating the initial position of the mobile robot according to the present invention as described above has the following effects.
첫째, 스테레오 카메라를 통해 얻은 이미지 내의 3차원 특징점의 기하학적 정보를 이용하여 보다 정확하게 로봇의 초기 위치를 추정할 수 있도록 한다.First, it is possible to more accurately estimate the initial position of the robot by using the geometric information of the 3D feature point in the image obtained through the stereo camera.
둘째, 스테레오 카메라 센서를 기반으로 얻은 이미지 정보 중에서 3D 특징점의 기하학적 정보를 이용하여 매칭된 글로벌 이미지 데이터와의 특징점 매칭을 통해 오매칭률을 낮추고 보다 빠르게 정확한 위치를 추정할 수 있다.Second, from the image information obtained based on the stereo camera sensor, by using the geometric information of the 3D feature point to match the feature point with the matched global image data, it is possible to lower the mismatching rate and more quickly estimate an accurate position.
셋째, 정확하게 로봇의 초기 위치를 추정할 수 있도록 하여 현재 로봇의 위치를 기반으로 목적지까지 유도하는 시스템에 적용하여 시스템의 효율적인 운용이 가능하도록 한다.Third, it is possible to accurately estimate the initial position of the robot and apply it to a system that guides to the destination based on the current position of the robot to enable efficient operation of the system.
넷째, 공장 또는 물류 등 산업현장에서 모바일 로봇이 운행 중에 갑작스럽게 정지가 되어 다른 위치로 옮겨가 재가동 되는 경우 또는 주행 중 매칭 오류로 인해 위치 추정에 실패할 경우에도 정확하게 로봇의 초기 위치를 추정할 수 있도록 한다.Fourth, in industrial sites such as factories or logistics, the initial position of the robot can be accurately estimated even when the mobile robot suddenly stops during operation and moves to another location and restarts, or when the position estimation fails due to a matching error during driving. To be.
도 1은 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치의 구성도
도 2는 글로벌 이미지 집합 생성부의 상세 구성도
도 3은 유사 글로벌 이미지 검색부의 상세 구성도
도 4는 제 1 최적 매칭쌍 추출부의 상세 구성도
도 5는 제 2 최적 매칭쌍 추출부의 상세 구성도
도 6은 제 3 최적 매칭쌍 추출부의 상세 구성도
도 7은 이미지 전처리 과정을 나타낸 플로우 차트
도 8은 글로벌 이미지 집합 생성 과정을 나타낸 플로우 차트
도 9는 유사한 글로벌 이미지 서칭 방법을 나타낸 플로우 차트
도 10은 추출된 특징의 3D 좌표변환 방법을 나타낸 구성도
도 11은 기하학적 구조를 이용한 1차 최적 매칭쌍 추출 방법을 나타낸 플로우 차트
도 12는 기하학적 구조를 이용한 2차 최적 매칭쌍 추출 방법을 나타낸 플로우 차트
도 13은 기하학적 구조를 이용한 3차 최적 매칭쌍 추출 방법을 나타낸 플로우 차트1 is a block diagram of an apparatus for estimating an initial position of a mobile robot according to the present invention
2 is a detailed configuration diagram of a global image set generation unit
3 is a detailed configuration diagram of a similar global image search unit
4 is a detailed configuration diagram of a first optimal matching pair extraction unit
5 is a detailed configuration diagram of a second optimal matching pair extraction unit
6 is a detailed configuration diagram of a third optimal matching pair extraction unit
7 is a flow chart showing an image preprocessing process
8 is a flow chart showing a global image set generation process
9 is a flow chart showing a similar global image search method
10 is a block diagram showing a method for converting 3D coordinates of extracted features
11 is a flow chart showing a method for extracting a first-order optimal matching pair using a geometric structure
12 is a flow chart showing a method for extracting a second-order optimal matching pair using a geometric structure
13 is a flow chart showing a method for extracting a third-order optimal matching pair using a geometric structure
이하, 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, preferred embodiments of an apparatus and method for estimating an initial position of a mobile robot according to the present invention will be described in detail.
본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.Features and advantages of the apparatus and method for estimating the initial position of a mobile robot according to the present invention will become apparent through detailed description of each embodiment below.
도 1은 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치의 구성도이다.1 is a block diagram of an apparatus for estimating an initial position of a mobile robot according to the present invention.
본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법은 스테레오 카메라를 통해 얻은 이미지 내의 3차원 특징점의 기하학적 정보를 이용하여 보다 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 것이다.The apparatus and method for estimating the initial position of a mobile robot according to the present invention enables the initial position of the robot to be more accurately estimated by using geometric information of 3D feature points in an image obtained through a stereo camera.
이를 위하여 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법은 스테레오 카메라 센서의 내,외부 파라미터를 추출하기 위한 카메라 캘리브레이션을 수행하고, 추출된 카메라 내,외부 파라미터를 이용하여 현재 위치에서 얻은 이미지를 조정(rectification) 및 그레이스케일(grayscale)화를 수행 후 이미지 내 특징을 추출하는 구성을 포함할 수 있다.To this end, the apparatus and method for estimating the initial position of a mobile robot according to the present invention perform camera calibration to extract internal and external parameters of a stereo camera sensor, and obtained from the current position using the extracted internal and external parameters of the camera. It may include a configuration for extracting features in the image after performing rectification and grayscale of the image.
본 발명은 추출된 특징과 글로벌 이미지 데이터와의 특징점 매칭을 통해 최다 특징 데이터 매칭이 발생한 글로벌 이미지 추출을 하고, 글로벌 이미지의 특징 데이터와 현재 위치에서 얻은 이미지의 특징 데이터를 3D 좌표화 하여 기하학적 구조기반 특징점 매칭법을 이용하여 매칭을 수행하는 구성을 포함할 수 있다.The present invention extracts a global image with the most feature data matching through feature point matching between the extracted feature and global image data, and converts the feature data of the global image and the feature data of the image obtained at the current location into 3D coordinates, based on a geometric structure. It may include a configuration that performs matching using a feature point matching method.
또한, 본 발명은 매칭된 3D 특징점들을 SVD(Singular Value Decomposition) 방식을 이용하여 이동량 및 회전량을 계산하여 초기 위치 추정하는 구성을 포함할 수 있다.In addition, the present invention may include a configuration for estimating an initial position by calculating a movement amount and a rotation amount of matched 3D feature points using a SVD (Singular Value Decomposition) method.
본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치는 도 1에서와 같이, 특징 정보 추출을 위한 전처리 과정을 수행하고 좌,우측 이미지에서 특징을 추출하고 추출된 특징들의 매칭을 수행하고, 추출된 특징점들을 3차원 좌표(x,y,z)로 변환하여 특징점 정보를 저장하는 글로벌 이미지 집합 생성부(10)와, 글로벌 이미지 집합 생성부(10)에 의해 구축된 글로벌 이미지 집합 내에서 현재 위치와 유사한 지점을 1차로 추출하기 위해 가장 유사한 글로벌 이미지 서칭을 수행하는 유사 글로벌 이미지 검색부(20)와, 기하학적 구조를 이용하여 오매칭을 걸러내기 위하여 로컬 이미지의 특징 정보와 가장 유사한 글로벌 이미지의 특징 정보를 각각 추출하여 특징 정보를 매칭 후 서로 매칭된 쌍(K개)을 추출하고, 서로 매칭된 쌍들의 특징점 간 거리 산출하고 지원 그룹을 생성하는 제 1 최적 매칭쌍 추출부(30)와, 제 1 최적 매칭쌍 추출부(30)에서 지원 그룹이 생성된 두 개의 그룹(Gi)(Gi+j)을 SVD를 이용해 회전량(R) 및 이동량(T)을 계산하고([R,T]=SVD(Gi,Gi+j)), 구해진 회전량, 이동량을 이용하여 그룹 간 유사도 판정(max(E((RP1 + T),P2)) < Threshold?)을 하여 매칭 쌍 간의 최대 오차가 threshold 이내인 경우, 매칭 쌍 간의 최대 오차가 threshold 이내인 특징점쌍들의 집합인 두 그룹(Gi)(Gi+j)을 하나로 결합하고, 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 제 2 최적 매칭쌍 추출부(40)와, 제 2 최적 매칭쌍 추출부(40)에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 WINNER(승자 그룹)에 저장하고, 유사도 판정을 하여 최대 오차가 threshold 이내인 경우 WINNER와 병합하는 제 3 최적 매칭쌍 추출부(50)를 포함한다.In the apparatus for estimating the initial position of a mobile robot according to the present invention, as shown in FIG. 1, a preprocessing process for extracting feature information is performed, features are extracted from left and right images, and the extracted features are matched, A global
글로벌 이미지 집합 생성부(10)의 상세 구성은 다음과 같다.The detailed configuration of the global image set
도 2는 글로벌 이미지 집합 생성부의 상세 구성도이다.2 is a detailed configuration diagram of a global image set generation unit.
글로벌 이미지 집합 생성부(10)는 도 2에서와 같이, 촬영된 스테레오 이미지 세트 H에서 i번째 사진을 불러와서 좌, 우측 이미지로 분할하고, 특징 정보 추출을 위한 전처리 과정을 수행하는 이미지 전처리부(11)와, 좌,우측 이미지에서 특징을 추출하고 추출된 특징들의 매칭을 수행하는 특징 추출 및 매칭부(12)와, 추출된 특징점들을 3차원 좌표(x,y,z)로 변환하는 특징점 3차원 변환부(13)와, 이미지가 촬영된 시점에서의 모바일 로봇 위치를 연산하여 모바일 로봇 위치 정보, 특징점의 특징 정보, 특징점의 좌표 정보를 글로벌 이미지 집합 Wi에 저장하고, 이 과정을 촬영된 스테레오 이미지 전체(i=1~Q, Q는 맵 생성을 위해 촬영된 이미지 수)에 걸쳐서 진행하는 특징점 정보 저장부(14)를 포함한다.As shown in FIG. 2, the global
유사 글로벌 이미지 검색부(20)의 상세 구성은 다음과 같다.The detailed configuration of the similar global
도 3은 유사 글로벌 이미지 검색부의 상세 구성도이다.3 is a detailed configuration diagram of a similar global image search unit.
유사 글로벌 이미지 검색부(20)는 도 3에서와 같이, 현재 위치에서 촬영한 로컬 이미지 1개와 글로벌 이미지 집합 내 M개 글로벌 이미지들에 대해 모두 이미지 전처리와 특징 추출을 수행하는 이미지 전처리부(21)와, 추출된 특징을 기반으로 글로벌 이미지 M개와 로컬 이미지의 특징 매칭을 수행하는 특징 매칭 수행부(22)와, 특징 매칭 수행부(22)에서 글로벌 이미지 M개에 대해 특징 추출이 완료되면 현재 로컬 이미지와 가장 많은 특징이 매칭된 글로벌 이미지의 인덱스 N을 확인하는 유사 글로벌 이미지 확인부(23)를 포함한다.As shown in FIG. 3, the similar global
제 1 최적 매칭쌍 추출부(30)의 상세 구성은 다음과 같다.The detailed configuration of the first optimal matching
도 4는 제 1 최적 매칭쌍 추출부의 상세 구성도이다.4 is a detailed configuration diagram of a first optimal matching pair extraction unit.
제 1 최적 매칭쌍 추출부(30)는 도 4에서와 같이, 로컬 이미지의 C개의 특징 정보와 가장 유사한 N번째 글로벌 이미지의 D개의 특징 정보를 각각 추출하는 특징 추출부(31)와, C개의 로컬 이미지 특징 정보와 D개의 가장 유사한 글로벌 이미지 특징 정보를 매칭 후 서로 매칭된 쌍(K개)을 추출하는 특징 매칭부(32)와, 특징 매칭부(32)에서 추출된 매칭쌍 간의 비교 연산이 모두 끝났는지 확인하는 비교 연산 판단부(33)와, 로컬 이미지의 P1,i번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i번째(A)와, 로컬 이미지의 P1,i+j번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i+j번째(B)의 차이를 구하는 특징점 간 거리 산출부(34)를 포함한다.As shown in FIG. 4, the first optimal matching
제 2 최적 매칭쌍 추출부(40)의 상세 구성은 다음과 같다.The detailed configuration of the second optimal matching
도 5는 제 2 최적 매칭쌍 추출부의 상세 구성도이다.5 is a detailed configuration diagram of a second optimal matching pair extraction unit.
제 2 최적 매칭쌍 추출부(40)는 도 5에서와 같이, 제 1 최적 매칭쌍 추출부(30)에서 K개의 매칭쌍에 대한 계산이 완료된 이후, 지원 그룹이 생성된 두 개의 그룹(Gi)(Gi+j)을 SVD를 이용해 Gi와 Gi+j 간의 회전량 R, 이동량 T를 계산([R,T]=SVD(Gi,Gi+j))하는 그룹간 회전 및 이동량 산출부(41)와, 회전량 R과 이동량 T를 이용하여, 그룹 간 유사도 판정(max(E((RP1 + T),P2)) < Threshold?)을 하여P1와 P2 간의 매칭 쌍 간의 최대 오차가 threshold 이내인 경우, 매칭 쌍 간의 최대 오차가 threshold 이내인 특징점쌍들의 집합인 두 그룹(Gi)(Gi+j)을 하나로 결합하도록 하는 유사도 판정부(42)와, 그룹 간 회전 및 이동량 계산, 그룹 간 유사도 판정을 반복하여 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 그룹 병합부(43)를 포함한다.The second best matching
제 3 최적 매칭쌍 추출부(50)의 상세 구성은 다음과 같다.The detailed configuration of the third optimal matching
도 6은 제 3 최적 매칭쌍 추출부의 상세 구성도이다.6 is a detailed configuration diagram of a third optimal matching pair extraction unit.
제 3 최적 매칭쌍 추출부(50)는 도 6에서와 같이, 제 2 최적 매칭쌍 추출부(40)에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 WINNER(승자 그룹)에 저장하는 승자 그룹 추출부(51)와, 지원 그룹 Gi가 승자 그룹에 속하지 않은 매칭 쌍인지 확인하고 SVD를 통해 WINNER와의 회전량 R, 이동량 T를 계산하고([R,T]=SVD(WINNER,Gi)), 최대 오차를 threshold와 비교하여 유사도 판정을 하는 유사도 판정부(52)와, 유사도 판정부(52)에서의 비교 결과 최대 오차가 threshold 이내인 경우(max(E(RㆍWINNER + T),Gi)) < Threshold?)이면, Gi를 WINNER와 병합하는 그룹 병합부(53)를 포함한다.As shown in FIG. 6, the third optimal matching
이와 같은 구성을 갖는 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치에서의 모바일 로봇의 초기 위치 추정 방법을 구체적으로 설명하면 다음과 같다.The method for estimating the initial position of the mobile robot in the apparatus for estimating the initial position of the mobile robot according to the present invention having such a configuration will be described in detail as follows.
본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 방법은 크게 스테레오 카메라 센서의 내,외부 파라미터를 추출하기 위한 카메라 캘리브레이션을 수행하는 단계와, 추출된 카메라 내,외부 파라미터를 이용하여 현재 위치에서 얻은 이미지를 조정(rectification) 및 그레이스케일(grayscale)화 수행 후 이미지 내 특징 추출을 하는 단계와, 추출된 특징과 글로벌 이미지 데이터와의 특징점 매칭을 통해 최다 특징 데이터 매칭이 발생한 글로벌 이미지 추출을 하는 단계와, 글로벌 이미지의 특징 데이터와 현재 위치에서 얻은 이미지의 특징 데이터를 3D 좌표화하여 기하학적 구조기반 특징점 매칭법을 이용하여 매칭 수행을 하는 단계와, 매칭된 3D 특징점들을 SVD 방식을 이용하여 이동량 및 회전량을 계산하여 초기 위치 추정을 하는 단계를 포함한다.The method for estimating the initial position of a mobile robot according to the present invention includes the steps of performing camera calibration to extract internal and external parameters of a stereo camera sensor, and an image obtained at the current position using the extracted internal and external parameters of the camera. Extracting features in the image after performing rectification and grayscale, and extracting a global image in which the largest feature data matching has occurred through feature point matching between the extracted features and global image data; and Performing matching using the geometric structure-based feature point matching method by converting the feature data of the global image and the feature data of the image obtained from the current location into 3D coordinates, and calculating the amount of movement and rotation using the SVD method for the matched 3D feature points. And calculating the initial position estimation.
먼저, 이미지 전처리 과정을 설명하면 다음과 같다.First, the image preprocessing process will be described as follows.
도 7은 이미지 전처리 과정을 나타낸 플로우 차트이다.7 is a flow chart showing an image preprocessing process.
스테레오 카메라로 얻은 이미지 정보로부터 거리 정보를 측정하기 위해서는 카메라의 내/외부 파라미터가 필요하다.In order to measure distance information from image information obtained by a stereo camera, internal/external parameters of the camera are required.
카메라 내/외부 파라미터를 얻기 위해 캘리브레이션(Calibration)을 수행한다.Calibrate the camera to obtain internal/external parameters.
캘리브레이션을 수행하기 위해 체커보드를 카메라 앵글 범위 내에서 다각도로 촬영을 수행한다.To perform calibration, the checkerboard is photographed from multiple angles within the camera angle range.
캘리브레이션 과정은 카메라 내/외부 파라미터를 얻기 위하여 체커보드 촬영을 수행하고, 촬영된 체커보드 사진을 분석하여 카메라 내/외부 파라미터를 추출한다.In the calibration process, checkerboard photographing is performed to obtain internal/external parameters of the camera, and the internal/external parameters of the camera are extracted by analyzing the photographed checkerboard pictures.
이어, 이미지 거리 정보 획득을 위하여, 스테레오 이미지를 획득하고 해당 이미지에 캘리브레이션으로 얻어진 카메라 내/외부 파라미터를 이용하여 스테레오 매칭을 위한 조정(Rectification)을 한다.Next, in order to obtain image distance information, a stereo image is obtained, and adjustment for stereo matching is performed using the camera internal/external parameters obtained by calibration on the corresponding image.
그리고 특징 정보 추출을 위한 전처리 과정으로, 스테레오 매칭을 위한 조정(Rectification)이 행해진 이미지에 그레이스케일 처리를 수행한다.In addition, as a pre-processing process for extracting feature information, grayscale processing is performed on the image to which the rectification for stereo matching has been performed.
그리고 글로벌 이미지 집합 생성 과정을 설명하면 다음과 같다.And the process of creating a global image set is as follows.
도 8은 글로벌 이미지 집합 생성 과정을 나타낸 플로우 차트이다.8 is a flow chart showing a process of generating a global image set.
글로벌 이미지 집합 생성 과정은 모바일 로봇의 초기 위치 추정을 위한 데이터베이스 구축 과정으로 다음과 같은 과정을 포함한다.The process of creating a global image set is a database construction process for estimating the initial position of a mobile robot, and includes the following processes.
먼저, 이미지 전처리 과정으로, 촬영된 스테레오 이미지 세트 H에서 i번째 사진을 불러와서 좌,우측 이미지로 분할하고 이후 특징 정보 추출을 위한 전처리 과정을 수행한다.(S801)First, as an image pre-processing process, the i-th picture is loaded from the captured stereo image set H, divided into left and right images, and then a pre-processing process for extracting feature information is performed (S801).
그리고 특징 추출 및 매칭 과정으로, 좌,우측 이미지에서 특징을 추출하고(S802) 추출된 특징들의 매칭을 수행한다.(S803)And as a feature extraction and matching process, features are extracted from the left and right images (S802), and the extracted features are matched (S803).
이어, 추출된 특징점들을 3차원 좌표(x,y,z)로 변환하는 특징점 3차원 변환과정을 수행한다.(S804)Subsequently, a feature point 3D transformation process of converting the extracted feature points into 3D coordinates (x,y,z) is performed (S804).
그리고 이미지가 촬영된 시점에서의 AGV 위치를 연산하여(S805) AGV 위치 정보, 특징점의 특징 정보, 특징점의 좌표 정보를(S806) 글로벌 이미지 집합 Wi에 저장한다.(S807)Then, the AGV position at the time the image is captured is calculated (S805), and the AGV position information, the feature information of the feature point, and the coordinate information of the feature point are stored in the global image set W i (S807).
이 과정을 촬영된 스테레오 이미지 전체(i=1~Q, Q는 맵 생성을 위해 촬영된 이미지 수)에 걸쳐서 진행한다.This process is carried out over the entire captured stereo image (i=1 to Q, where Q is the number of images captured for map generation).
그리고 유사 글로벌 이미지 서칭 방법을 설명하면 다음과 같다.In addition, a similar global image search method is as follows.
도 9는 유사한 글로벌 이미지 서칭 방법을 나타낸 플로우 차트이다.9 is a flow chart showing a similar global image search method.
유사 글로벌 이미지 서칭 과정은 미리 촬영한 데이터베이스 W(글로벌 이미지 집합) 내에서 현재 위치와 유사한 지점을 1차로 추출하기 위해 가장 유사한 글로벌 이미지 서칭을 수행하는 것이다.The similar global image search process is to perform the most similar global image search in order to first extract a point similar to the current location in the database W (global image set) photographed in advance.
먼저, 이미지 전처리 과정으로, 현재 위치에서 촬영한 로컬 이미지(1개)와 글로벌 이미지 집합 내 글로벌 이미지들(M개)에 대해 모두 도 8에서와 같은 이미지 전처리를 하고(S901) 특징 추출을 수행한다.(S902)First, as an image pre-processing process, image pre-processing as shown in FIG. 8 is performed on both the local image (one) captured at the current location and the global images (M) in the global image set (S901), and feature extraction is performed. .(S902)
그리고 N번째 글로벌 이미지 특징을 로드하여(S903), 추출된 특징을 기반으로 글로벌 이미지 M개와 로컬 이미지의 특징 매칭을 수행한다.(S904)Then, the Nth global image feature is loaded (S903), and feature matching between M global images and local images is performed based on the extracted features (S904).
이어, 글로벌 이미지 M개에 대해 특징 추출이 완료한 후, 매칭쌍 개수를 확인하면서(S905), 최적 글로벌 이미지 인덱스 N(N은 현재 로컬 이미지와 가장 많은 특징이 매칭된 글로벌 이미지의 인덱스)을 확인한다.(S906)Next, after feature extraction is complete for M global images, while checking the number of matching pairs (S905), the optimal global image index N (N is the index of the global image in which the most features match the current local image). (S906)
그리고 추출된 특징의 3D 좌표변환 방법을 설명하면 다음과 같다.And the 3D coordinate transformation method of the extracted features is as follows.
도 10은 추출된 특징의 3D 좌표변환 방법을 나타낸 구성도이다.10 is a block diagram showing a method for converting 3D coordinates of extracted features.
스테레오 카메라는 획득한 영상 정보를 통해 거리 정보를 측정할 수 있다는 장점이 있는데, 스테레오 영상(좌, 우 렌즈를 통해 얻은 2장의 영상)을 통해 거리 정보를 구하는 방법은 도 10에서와 같다.The stereo camera has the advantage of measuring distance information through acquired image information, and a method of obtaining distance information through stereo images (two images obtained through the left and right lenses) is as shown in FIG. 10.
그리고 기하학적 구조를 이용한 1차 최적 매칭쌍 추출 방법을 설명하면 다음과 같다.In addition, a method of extracting a first-order optimal matching pair using a geometric structure is as follows.
도 11은 기하학적 구조를 이용한 1차 최적 매칭쌍 추출 방법을 나타낸 플로우 차트이다.11 is a flowchart illustrating a method of extracting a first-order optimal matched pair using a geometric structure.
도 9에서의 유사 글로벌 이미지 서칭 방법을 통한 특징 매칭 결과를 이용할 수도 있으나, 이 경우 오매칭이 발생한다는 단점이 있다.Although the feature matching result through the similar global image search method in FIG. 9 may be used, there is a disadvantage in that mismatching occurs in this case.
따라서, 본 발명에서는 기하학적 구조를 이용하여 오매칭을 걸러낼 수 있도록 한다.Therefore, in the present invention, it is possible to filter out mismatching by using a geometric structure.
먼저, 특징 추출 단계로, 로컬 이미지(S1101)와 가장 유사한 글로벌 이미지(도면 8의 N번째 이미지)의 특징을 각각 추출한다.(S1102)First, in the feature extraction step, features of the global image (the Nth image in Fig. 8) most similar to the local image (S1101) are respectively extracted (S1102).
로컬 이미지의 특징 정보는 C개이며, 매칭된 글로벌 이미지의 특징 정보는 D개이다.The feature information of the local image is C, and the feature information of the matched global image is D.
이어, 특징 매칭 단계로, C개의 특징 정보(로컬 이미지)와 D개의 특징 정보(가장 유사한 글로벌 이미지)를 매칭 후 서로 매칭된 쌍(K개)을 추출한다.(S1103)Subsequently, in the feature matching step, after matching C feature information (local image) and D feature information (most similar global image), matching pairs (K) are extracted (S1103).
그리고 매칭쌍 간의 비교 연산이 모두 끝났는지 확인(i < K?)한다. 매칭쌍이 K개이므로 K-1번째까지 연산이 이루어져야 한다.Then, it checks whether all comparison operations between matching pairs have been completed (i <K?). Since there are K matching pairs, the operation must be performed up to the K-1th.
i = 1~K-1까지 증가, j=1부터 K-i까지 증가, P는 매칭된 특징점쌍 결과이고, i < K (i < K?가 Y일 경우)는 아직 모든 매칭쌍에 대해 연산이 이루어지지 않은 상태이다.i = increases from 1 to K-1, increases from j = 1 to Ki, P is the result of matched feature point pairs, and i <K (if i <K? is Y) is still calculated for all matching pairs. It is not lost.
이어, 로컬 이미지의 P1,i번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i번째(A)와, 로컬 이미지의 P1,i+j번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i+j번째(B)의 차이를 수학식 1을 통하여 구한다.(S1104)(S1105)Then, with the local image P 1, i-th feature point coordinates and P 2, i-th (A) of the most likely global image, the local image P 1, i + j-th feature point coordinates and the most similar to the global image P 2, i The difference between the +j- th (B) is obtained through
j를 i부터 K-i까지 하나씩 증가하면서 위 수식을 통해 구한 값이 일정 값보다 작을 경우 우선적으로 지원 그룹으로 묶고, 일정 값 이상일 경우는 지원 그룹으로 생성하지 않고 넘어가고, 이후 i를 K-1까지 증가시키며 위 과정을 반복한다.(S1106)If j is increased from i to Ki one by one, and the value obtained through the above formula is less than a certain value, it is first grouped into a support group, and if it is above a certain value, it is not created as a support group, and i is then increased to K-1. And repeat the above process (S1106)
i > K (i < K?가 N일 경우) K개의 매칭쌍에 대한 계산이 완료된 것으로 판단한다.i> K (if i <K? is N) It is determined that calculation of K matching pairs has been completed.
그리고 기하학적 구조를 이용한 2차 최적 매칭쌍 추출 방법을 설명하면 다음과 같다.In addition, a method of extracting a second-order optimal matching pair using a geometric structure will be described as follows.
도 12는 기하학적 구조를 이용한 2차 최적 매칭쌍 추출 방법을 나타낸 플로우 차트이다.12 is a flow chart showing a method of extracting a second-order optimal matched pair using a geometric structure.
K개의 매칭쌍에 대한 계산이 완료된 이후, 지원 그룹 G에 대해 2차 알고리즘을 수행한다. Gi에서 i는 지원 그룹이 생성된 쌍의 개수이므로 K보다 작거나 같다.After calculation of K matching pairs is completed, a quadratic algorithm is performed on the support group G. In G i , i is less than or equal to K because it is the number of pairs in which the support group was created.
먼저, SVD를 이용해 Gi와 Gi+j 간의 회전량 R, 이동량 T를 계산한다.(S1201)First, calculate the amount of rotation R and the amount of movement T between G i and G i+j using SVD (S1201)
이어, 구해진 회전량 R, 이동량 T를 이용하여 그룹 간 유사도 판정을 하여 P1와 P2 간의 매칭 쌍 간의 최대 오차가 threshold 이내인 경우(S1202), 두 그룹을 하나로 병합한다.(S1203)Subsequently, when the maximum error between the matching pairs between P 1 and P 2 is within the threshold by determining the similarity between groups using the obtained rotation amount R and the movement amount T (S1202), the two groups are merged into one (S1203).
더 이상 병합이 일어나지 않을 때까지 상기 단계를 반복하여 지원 그룹들의 결합 결과를 COMB_SET에 저장한다.The above steps are repeated until no more merging occurs, and the result of combining the support groups is stored in COMB_SET.
그리고 기하학적 구조를 이용한 3차 최적 매칭쌍 추출 방법을 설명하면 다음과 같다.In addition, a method of extracting a third-order optimal matching pair using a geometric structure is as follows.
도 13은 기하학적 구조를 이용한 3차 최적 매칭쌍 추출 방법을 나타낸 플로우 차트이다.13 is a flowchart illustrating a method of extracting a third-order optimal matched pair using a geometric structure.
먼저, 승자 그룹 추출 단계로, COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 WINNER(승자 그룹)에 저장한다.(S1301)First, in the step of extracting a winner group, the group to which the largest number of matching pairs among COMB_SETs belongs is stored in WINNER (winner group) (S1301).
이어, 승자 그룹과의 유사도 판정 단계로, 지원 그룹 Gi가 승자 그룹에 속하지 않은 매칭 쌍인지 확인하고 SVD를 통해 WINNER와의 회전량 R, 이동량 T를 계산한다.(S1302)Next, in the step of determining the similarity with the winner group, it is checked whether the support group G i is a matching pair that does not belong to the winner group, and the rotation amount R and the movement amount T with the WINNER are calculated through SVD (S1302).
그리고 최대 오차가 threshold 이내인 경우(S1303) Gi를 WINNER와 병합한다.(S1304)And when the maximum error is within the threshold (S1303), G i is merged with WINNER (S1304).
이후 i를 N(지원 그룹의 수-승자 그룹에 속한 지원 그룹 수)까지 증가시키면서 유사도 판정 및 병합을 진행한다.Thereafter, the similarity is determined and merged while increasing i to N (the number of support groups-the number of support groups belonging to the winner group).
i > N이면, 승자 그룹에 속하지 않은 모든 지원 그룹에 대해 유사도 판정 및 병합이 이루어진 것으로 판단한다.If i> N, it is determined that similarity determination and merging have been made for all support groups that do not belong to the winner group.
이상에서 설명한 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법은 스테레오 카메라를 통해 얻은 이미지 내의 3차원 특징점의 기하학적 정보를 이용하여 보다 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 것이다.The apparatus and method for estimating the initial position of a mobile robot according to the present invention described above is capable of more accurately estimating the initial position of the robot by using geometric information of 3D feature points in an image obtained through a stereo camera.
본 발명은 스테레오 카메라 센서를 기반으로 얻은 이미지 정보 중에서 3D 특징점의 기하학적 정보를 이용하여 매칭된 글로벌 이미지 데이터와의 특징점 매칭을 통해 오매칭률을 낮추고 보다 빠르게 정확한 위치를 추정할 수 있도록 한 것이다.The present invention is to reduce the mismatch rate and to estimate an accurate position more quickly by matching feature points with global image data matched using geometric information of 3D feature points among image information obtained based on a stereo camera sensor.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Therefore, the specified embodiments should be considered from a descriptive point of view rather than a limiting point of view, and the scope of the present invention is shown in the claims rather than the above description, and all differences within the scope equivalent thereto are included in the present invention. It will have to be interpreted.
10. 글로벌 이미지 집합 생성부 20. 유사 글로벌 이미지 검색부
30. 제 1 최적 매칭쌍 추출부 40. 제 2 최적 매칭쌍 추출부
50. 제 3 최적 매칭쌍 추출부10. Global image set
30. First optimal matching
50. Third Optimal Matching Pair Extraction Unit
Claims (13)
로컬 이미지의 특징 정보와 가장 유사한 글로벌 이미지의 특징 정보를 각각 추출하여 특징 정보를 매칭 후 서로 매칭된 쌍을 추출하여 특징점 간 거리를 산출하고, 지원 그룹을 생성하는 제 1 최적 매칭쌍 추출부;
상기 제 1 최적 매칭쌍 추출부에서 지원 그룹이 생성된 두 개의 그룹(Gi)(Gi+j)을 SVD를 이용해 회전량(R) 및 이동량(T)을 계산([R,T]=SVD(Gi,Gi+j))하는 그룹간 회전 및 이동량 산출부와, 그룹간 회전 및 이동량 산출부에서 구해진 회전량, 이동량을 이용하여 그룹 간 유사도 판정(max(E((RP1 + T),P2)) < Threshold?)을 하여 매칭 쌍 간의 최대 오차가 threshold 이내인 경우, 매칭 쌍 간의 최대 오차가 threshold 이내인 특징점쌍들의 집합인 두 그룹(Gi)(Gi+j)을 하나로 결합하도록 하는 유사도 판정부와, 그룹 간 회전 및 이동량 계산, 그룹 간 유사도 판정을 반복하여 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 그룹 병합부를 포함하는 제 2 최적 매칭쌍 추출부;
제 2 최적 매칭쌍 추출부에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹에 저장하고, 유사도 판정을 하여 승자 그룹과 병합하는 제 3 최적 매칭쌍 추출부;를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 장치.A similar global image search unit that performs a search for the most similar global image in the global image set constructed by the global image set generation unit;
A first optimal matching pair extracting unit configured to extract feature information of a global image that is most similar to feature information of a local image, match the feature information, extract the matched pairs, calculate a distance between feature points, and generate a support group;
The rotation amount (R) and the movement amount (T) are calculated using SVD for the two groups (G i ) (G i + j ) in which the support group is generated by the first optimal matching pair extraction unit ([R,T] = SVD (G i ,G i+j )) between groups rotation and movement amount calculation unit and the rotation and movement amount obtained from the rotation and movement amount calculation unit between groups to determine the similarity between groups (max(E((RP 1 + T),P 2 )) <Threshold?) When the maximum error between matching pairs is within the threshold, two groups (G i ) (G i+j ) that are sets of feature point pairs whose maximum error between matching pairs is within the threshold A second optimal matched pair extracting unit including a similarity determining unit configured to combine the values into one, and a group merging unit configured to store a combination result of the support groups in COMB_SET by repeating calculation of rotation and movement amount between groups, and determination of similarity between groups;
And a third optimal matched pair extracting unit that stores the group to which the largest number of matching pairs from among the COMB_SETs stored in the second best matched pair extracting unit belongs to the winner group, determines a similarity, and merges the group with the winners. Device for initial position estimation.
촬영된 스테레오 이미지 세트 H에서 i번째 사진을 불러와서 좌, 우측 이미지로 분할하고, 특징 정보 추출을 위한 전처리 과정을 수행하는 이미지 전처리부와,
좌,우측 이미지에서 특징을 추출하고 추출된 특징들의 매칭을 수행하는 특징 추출 및 매칭부와,
추출된 특징점들을 3차원 좌표(x,y,z)로 변환하는 특징점 3차원 변환부와,
이미지가 촬영된 시점에서의 모바일 로봇 위치를 연산하여 모바일 로봇 위치 정보, 특징점의 특징 정보, 특징점의 좌표 정보를 글로벌 이미지 집합 Wi에 저장하고, 이 과정을 촬영된 스테레오 이미지 전체에 걸쳐서 진행하는 특징점 정보 저장부를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 장치.The method of claim 1, wherein the global image set generation unit,
An image preprocessing unit that loads the i-th picture from the captured stereo image set H, divides it into left and right images, and performs a preprocessing process for extracting feature information, and
A feature extraction and matching unit that extracts features from the left and right images and performs matching of the extracted features,
A feature point three-dimensional conversion unit that converts the extracted feature points into three-dimensional coordinates (x,y,z),
A feature point that calculates the position of the mobile robot at the time the image is captured, stores the mobile robot position information, feature information of the feature point, and coordinate information of the feature point in the global image set W i , and proceeds this process over the entire captured stereo image. An apparatus for estimating an initial position of a mobile robot, comprising: an information storage unit.
현재 위치에서 촬영한 로컬 이미지 1개와 글로벌 이미지 집합 내 M개 글로벌 이미지들에 대해 모두 이미지 전처리와 특징 추출을 수행하는 이미지 전처리부와,
추출된 특징을 기반으로 글로벌 이미지 M개와 로컬 이미지의 특징 매칭을 수행하는 특징 매칭 수행부와,
상기 특징 매칭 수행부에서 글로벌 이미지 M개에 대해 특징 추출이 완료되면 현재 로컬 이미지와 가장 많은 특징이 매칭된 글로벌 이미지의 인덱스 N을 확인하는 유사 글로벌 이미지 확인부를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 장치.The method of claim 1, wherein the similar global image search unit,
An image pre-processing unit that performs image pre-processing and feature extraction for all of the M global images in the global image set and one local image taken at the current location,
A feature matching performing unit that performs feature matching between M global images and local images based on the extracted features,
The initial mobile robot, characterized in that it comprises a similar global image check unit that checks the index N of the global image matching the most features with the current local image when the feature matching unit completes the feature extraction for M global images. Device for location estimation.
로컬 이미지의 C개의 특징 정보와 가장 유사한 N번째 글로벌 이미지의 D개의 특징 정보를 각각 추출하는 특징 추출부와,
C개의 로컬 이미지 특징 정보와 D개의 가장 유사한 글로벌 이미지 특징 정보를 매칭 후 서로 매칭된 쌍(K개)을 추출하는 특징 매칭부와,
상기 특징 매칭부에서 추출된 매칭쌍 간의 비교 연산이 모두 끝났는지 확인하는 비교 연산 판단부와,
로컬 이미지의 P1,i번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i번째(A)와, 로컬 이미지의 P1,i+j번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i+j번째(B)의 차이를 구하는 특징점 간 거리 산출부를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 장치.The method of claim 1, wherein the first optimal matching pair extraction unit,
A feature extraction unit for extracting each of the D feature information of the Nth global image that is most similar to the C feature information of the local image,
A feature matching unit for extracting matched pairs (K) after matching C local image feature information and D most similar global image feature information,
A comparison operation determination unit that checks whether all comparison operations between the matching pairs extracted from the feature matching unit have been completed;
P 2,i- th (A) of the global image most similar to the P 1,i- th feature point coordinates of the local image , and P 2,i+j of the global image most similar to the P 1,i+j- th feature point coordinates of the local image An apparatus for estimating an initial position of a mobile robot, comprising: a distance calculation unit between feature points for obtaining a difference of the second (B).
상기 제 2 최적 매칭쌍 추출부에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹(WINNER)에 저장하는 승자 그룹 추출부와,
지원 그룹 Gi가 승자 그룹에 속하지 않은 매칭 쌍인지 확인하고 SVD를 통해 승자그룹(WINNER)과의 회전량 R, 이동량 T를 계산하고([R,T]=SVD(WINNER,Gi)), 최대 오차를 threshold와 비교하여 유사도 판정을 하는 유사도 판정부와,
상기 유사도 판정부에서의 비교 결과 최대 오차가 threshold 이내인 경우(max(E(RㆍWINNER + T),Gi)) < Threshold?)이면, Gi를 승자그룹(WINNER)과 병합하는 그룹 병합부를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 장치.The method of claim 1, wherein the third optimal matching pair extraction unit,
A winner group extracting unit for storing a group to which the largest number of matching pairs belong among the COMB_SETs stored in the second optimal matching pair extracting unit in a winner group;
Check whether the support group G i is a matching pair that does not belong to the winner group, and calculate the amount of rotation R and the amount of movement T with the winner group (WINNER) through SVD ([R,T]=SVD(WINNER,G i )), A similarity determination unit that compares the maximum error with a threshold to determine the similarity,
When the maximum error as a result of the comparison in the similarity determination unit is within the threshold (max(E(R·WINNER + T), G i )) <Threshold?), the group merges G i with the winner group (WINNER) An apparatus for estimating an initial position of a mobile robot, comprising a unit.
로컬 이미지의 특징 정보와 가장 유사한 글로벌 이미지의 특징 정보를 각각 추출하여 특징 정보를 매칭 후 서로 매칭된 쌍을 추출하여 특징점 간 거리를 산출하고 지원 그룹을 생성하는 제 1 최적 매칭쌍 추출 단계;
상기 제 1 최적 매칭쌍 추출 단계에서 지원 그룹이 생성된 두 개의 그룹(Gi)(Gi+j)을 SVD를 이용해 회전량(R) 및 이동량(T)을 계산([R,T]=SVD(Gi,Gi+j))하는 그룹간 회전 및 이동량 산출 단계와, 그룹간 회전 및 이동량 산출 단계에서 구해진 회전량, 이동량을 이용하여 그룹 간 유사도 판정(max(E((RP1 + T),P2)) < Threshold?)을 하여 매칭 쌍 간의 최대 오차가 threshold 이내인 경우, 매칭 쌍 간의 최대 오차가 threshold 이내인 특징점쌍들의 집합인 두 그룹(Gi)(Gi+j)을 하나로 결합하도록 하는 유사도 판정 단계와, 그룹 간 회전 및 이동량 계산, 그룹 간 유사도 판정을 반복하여 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 그룹 병합 단계를 포함하는 제 2 최적 매칭쌍 추출 단계;
제 2 최적 매칭쌍 추출 단계에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹에 저장하고, 유사도 판정을 하여 승자 그룹과 병합하는 제 3 최적 매칭쌍 추출 단계;를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 방법.A similar global image search step of performing a search for the most similar global image in the global image set constructed by the global image set generation step;
A first optimal matching pair extracting step of extracting feature information of a global image that is most similar to feature information of a local image, matching feature information, extracting matched pairs, calculating a distance between feature points, and generating a support group;
The rotation amount (R) and the movement amount (T) are calculated using SVD for the two groups (G i ) (G i+j ) in which the support group was generated in the first optimal matching pair extraction step ([R,T]= SVD(G i ,G i+j )), using the rotation and movement amount obtained in the inter-group rotation and movement amount calculation step, and the rotation and movement amount between groups to determine the similarity between groups (max(E((RP 1 + T),P 2 )) <Threshold?) When the maximum error between matching pairs is within the threshold, two groups (G i ) (G i+j ) that are sets of feature point pairs whose maximum error between matching pairs is within the threshold A second optimal matched pair extraction step including a similarity determination step of combining into one, and a group merging step of storing a combination result of the support groups in COMB_SET by repeating calculation of rotation and movement amount between groups, and determination of similarity between groups;
And a third optimal matching pair extraction step of storing the group to which the most matching pairs belong among the COMB_SETs stored in the second optimal matching pair extraction step, and merging the group with the winner by determining similarity. Method for estimating the initial position of.
촬영된 스테레오 이미지 세트 H에서 i번째 사진을 불러와서 좌, 우측 이미지로 분할하고, 특징 정보 추출을 위한 전처리 과정을 수행하는 이미지 전처리 단계와,
좌,우측 이미지에서 특징을 추출하고 추출된 특징들의 매칭을 수행하는 특징 추출 및 매칭 단계와,
추출된 특징점들을 3차원 좌표(x,y,z)로 변환하는 특징점 3차원 변환 단계와,
이미지가 촬영된 시점에서의 모바일 로봇 위치를 연산하여 모바일 로봇 위치 정보, 특징점의 특징 정보, 특징점의 좌표 정보를 글로벌 이미지 집합 Wi에 저장하고, 이 과정을 촬영된 스테레오 이미지 전체에 걸쳐서 진행하는 특징점 정보 저장 단계를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 방법.The method of claim 7, wherein generating the global image set comprises:
An image pre-processing step of retrieving the i-th picture from the captured stereo image set H, dividing it into left and right images, and performing a pre-processing process for extracting feature information, and
Feature extraction and matching step of extracting features from left and right images and performing matching of the extracted features,
A feature point three-dimensional transformation step of converting the extracted feature points into three-dimensional coordinates (x,y,z),
A feature point that calculates the position of the mobile robot at the time the image is captured, stores the mobile robot position information, feature information of the feature point, and coordinate information of the feature point in the global image set W i , and proceeds this process over the entire captured stereo image. A method for estimating an initial position of a mobile robot, comprising the step of storing information.
현재 위치에서 촬영한 로컬 이미지 1개와 글로벌 이미지 집합 내 M개 글로벌 이미지들에 대해 모두 이미지 전처리와 특징 추출을 수행하는 이미지 전처리 단계와,
추출된 특징을 기반으로 글로벌 이미지 M개와 로컬 이미지의 특징 매칭을 수행하는 특징 매칭 수행 단계와,
상기 특징 매칭 수행 단계에서 글로벌 이미지 M개에 대해 특징 추출이 완료되면 현재 로컬 이미지와 가장 많은 특징이 매칭된 글로벌 이미지의 인덱스 N을 확인하는 유사 글로벌 이미지 확인 단계를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 방법.The method of claim 7, wherein the similar global image search step comprises:
An image pre-processing step that performs image pre-processing and feature extraction for all of the 1 local image taken at the current location and the M global images in the global image set,
A feature matching performing step of performing feature matching between M global images and local images based on the extracted features, and
And a similar global image checking step of checking the index N of the global image in which the most features match the current local image when the feature extraction for the M global images is completed in the feature matching step. Method for initial position estimation.
로컬 이미지의 C개의 특징 정보와 가장 유사한 N번째 글로벌 이미지의 D개의 특징 정보를 각각 추출하는 특징 추출 단계와,
C개의 로컬 이미지 특징 정보와 D개의 가장 유사한 글로벌 이미지 특징 정보를 매칭 후 서로 매칭된 쌍(K개)을 추출하는 특징 매칭 단계와,
i = 1~K-1까지 증가, j=1부터 K-i까지 증가, P는 매칭된 특징점쌍 결과인 경우에 매칭쌍 간의 비교 연산이 모두 끝났는지(i < K?) 확인하는 단계와,
로컬 이미지의 P1,i번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i번째(A)와, 로컬 이미지의 P1,i+j번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i+j번째(B)의 차이를 구하는 특징점간 거리 산출 단계를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 방법.The method of claim 7, wherein the step of extracting the first best matched pair comprises:
Feature extraction step of extracting each of the D feature information of the N-th global image that is most similar to the C feature information of the local image, and
A feature matching step of extracting matched pairs (K) after matching C local image feature information and D most similar global image feature information,
i = increasing from 1 to K-1, increasing from j = 1 to Ki, when P is the result of matched feature point pairs, checking whether all comparison operations between matching pairs have been completed (i <K?), and
P 2,i- th (A) of the global image most similar to the P 1,i- th feature point coordinates of the local image , and P 2,i+j of the global image most similar to the P 1,i+j- th feature point coordinates of the local image A method for estimating an initial position of a mobile robot, comprising the step of calculating a distance between feature points for obtaining a difference of the th (B).
j를 i부터 K-i까지 하나씩 증가하면서 수식을 통해 구한 값이 일정 값보다 작을 경우 우선적으로 그룹으로 묶고, 일정 값 이상일 경우는 그룹으로 생성하지 않고, 이후 i를 K-1까지 증가시키며 특징점간 거리 산출 과정을 반복하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 방법.The method of claim 10, wherein the step of calculating the distance between feature points
If j is increased from i to Ki one by one, and the value obtained through the formula is smaller than a certain value, it is grouped first, if it is greater than a certain value, it is not created as a group, and then i is increased to K-1 and the distance between the feature points is calculated. A method for estimating an initial position of a mobile robot, characterized in that repeating the process.
상기 제 2 최적 매칭쌍 추출 단계에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹(WINNER)에 저장하는 승자 그룹 추출 단계와,
지원 그룹 Gi가 승자 그룹에 속하지 않은 매칭 쌍인지 확인하고 SVD를 통해 승자그룹(WINNER)과의 회전량 R, 이동량 T를 계산하고([R,T]=SVD(WINNER,Gi)), 최대 오차를 threshold와 비교하여 유사도 판정을 하는 유사도 판정 단계와,
상기 유사도 판정 단계에서의 비교 결과 최대 오차가 threshold 이내인 경우(max(E(RㆍWINNER + T),Gi)) < Threshold?)이면, Gi를 승자그룹(WINNER)과 병합하는 그룹 병합 단계를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 방법.
The method of claim 7, wherein the step of extracting the third best matched pair comprises:
A winner group extraction step of storing a group to which the most matching pairs belong among the COMB_SETs stored in the second optimal match pair extraction step in a winner group (WINNER);
Check whether the support group G i is a matching pair that does not belong to the winner group, and calculate the amount of rotation R and the amount of movement T with the winner group (WINNER) through SVD ([R,T]=SVD(WINNER,G i )), A similarity determination step of comparing the maximum error with a threshold to determine similarity,
When the maximum error as a result of the comparison in the similarity determination step is within the threshold (max(E(R·WINNER + T), G i )) <Threshold?), the group merging G i with the winner group (WINNER) A method for estimating an initial position of a mobile robot, comprising the step of.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190000713A KR102187311B1 (en) | 2019-01-03 | 2019-01-03 | Apparatus and Method for Estimating Initial Position of Mobile Robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190000713A KR102187311B1 (en) | 2019-01-03 | 2019-01-03 | Apparatus and Method for Estimating Initial Position of Mobile Robot |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200084615A KR20200084615A (en) | 2020-07-13 |
| KR102187311B1 true KR102187311B1 (en) | 2020-12-07 |
Family
ID=71570955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190000713A KR102187311B1 (en) | 2019-01-03 | 2019-01-03 | Apparatus and Method for Estimating Initial Position of Mobile Robot |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102187311B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116956960A (en) * | 2023-07-28 | 2023-10-27 | 武汉市万睿数字运营有限公司 | Community visitor visit path restoration method and system based on cloud edge end collaboration |
| CN117647253A (en) * | 2023-11-21 | 2024-03-05 | 西部科学城智能网联汽车创新中心(重庆)有限公司 | Vehicle high-precision positioning method based on V2V communication technology and high-precision map matching |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101404640B1 (en) * | 2012-12-11 | 2014-06-20 | 한국항공우주연구원 | Method and system for image registration |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101460313B1 (en) | 2013-05-24 | 2014-11-14 | 중앙대학교 산학협력단 | Apparatus and method for robot localization using visual feature and geometric constraints |
| KR101552773B1 (en) | 2013-12-10 | 2015-09-11 | 고려대학교 산학협력단 | Method for localization of mobile robot using artificial landmark |
| KR101707279B1 (en) * | 2014-06-30 | 2017-02-16 | 건국대학교 산학협력단 | Coordinate Calculation Acquisition Device using Stereo Image and Method Thereof |
| KR101885961B1 (en) * | 2016-08-04 | 2018-08-06 | 영남대학교 산학협력단 | Method of estimating the location of object image-based and apparatus therefor |
-
2019
- 2019-01-03 KR KR1020190000713A patent/KR102187311B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101404640B1 (en) * | 2012-12-11 | 2014-06-20 | 한국항공우주연구원 | Method and system for image registration |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200084615A (en) | 2020-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiao et al. | Robust odometry and mapping for multi-lidar systems with online extrinsic calibration | |
| KR102427921B1 (en) | Apparatus and method for real-time mapping and localization | |
| CN106780631B (en) | Robot closed-loop detection method based on deep learning | |
| JP4967062B2 (en) | A method to estimate the appropriate motion of an object using optical flow, kinematics and depth information | |
| Westman et al. | Feature-based SLAM for imaging sonar with under-constrained landmarks | |
| Miettinen et al. | Simultaneous localization and mapping for forest harvesters | |
| KR101888295B1 (en) | Method for estimating reliability of distance type witch is estimated corresponding to measurement distance of laser range finder and localization of mobile robot using the same | |
| JP6330068B2 (en) | Image analysis system and method | |
| KR102187311B1 (en) | Apparatus and Method for Estimating Initial Position of Mobile Robot | |
| Indelman et al. | Incremental light bundle adjustment for robotics navigation | |
| US20170108338A1 (en) | Method for geolocating a carrier based on its environment | |
| CN115962773A (en) | Method, device and equipment for synchronous positioning and map construction of mobile robot | |
| Batstone et al. | Towards real-time time-of-arrival self-calibration using ultra-wideband anchors | |
| Yang et al. | Road constrained monocular visual localization using Gaussian-Gaussian cloud model | |
| Zhao et al. | Occupancy-slam: Simultaneously optimizing robot poses and continuous occupancy map | |
| JP5953393B2 (en) | Robot system and map updating method | |
| Ovchinnikov et al. | Windowed multiscan optimization using weighted least squares for improving localization accuracy of mobile robots | |
| CN115307641A (en) | Robot positioning method, device, robot and storage medium | |
| Xu et al. | Laser sensor based localization of mobile robot using Unscented Kalman Filter | |
| Badalkhani et al. | Effects of Moving Landmark's Speed on Multi-Robot Simultaneous Localization and Mapping in Dynamic Environments. | |
| Hon et al. | A customized fastslam algorithm using scanning laser range finder in structured indoor environments | |
| Tian et al. | 3D laser odometry for a mobile robot platform | |
| US20230169670A1 (en) | Depth estimation method, depth estimation device and depth estimation program | |
| Łabȩcki et al. | Spatial uncertainty assessment in visual terrain perception for a mobile robot | |
| CN117213475A (en) | Data processing method and device for bipedal robot and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] |