KR20150144731A - 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 - Google Patents

다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 Download PDF

Info

Publication number
KR20150144731A
KR20150144731A KR1020150086231A KR20150086231A KR20150144731A KR 20150144731 A KR20150144731 A KR 20150144731A KR 1020150086231 A KR1020150086231 A KR 1020150086231A KR 20150086231 A KR20150086231 A KR 20150086231A KR 20150144731 A KR20150144731 A KR 20150144731A
Authority
KR
South Korea
Prior art keywords
state parameter
mobile robot
edge
information
brightness error
Prior art date
Application number
KR1020150086231A
Other languages
English (en)
Other versions
KR101776622B1 (ko
Inventor
신경철
박성주
이재영
Original Assignee
주식회사 유진로봇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유진로봇 filed Critical 주식회사 유진로봇
Publication of KR20150144731A publication Critical patent/KR20150144731A/ko
Application granted granted Critical
Publication of KR101776622B1 publication Critical patent/KR101776622B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 의한 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법이 개시된다. 본 발명에 따른 이동 로봇의 위치를 인식하기 위한 장치는 이동 로봇이 동작함에 따라 수직 방향과 수평 방향을 포함하는 관심 영역에 대한 한쌍의 스테레오 영상을 획득하는 두 개의 광각 카메라; 및 획득한 상기 스테레오 영상으로부터 에지를 추출하여 추출된 상기 에지를 기반으로 주어진 키 프레임 내 각 시드를 투영하고 그 투영한 결과로 산출된 투영된 시드에서의 밝기 오차를 이용하여 카메라의 회전과 이동을 나타내는 상태 파라미터를 업데이트하여 그 업데이트한 결과를 이용하여 현재의 위치를 추정하는 위치 인식부를 포함한다.

Description

다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 {APPARATUS FOR RECOGNIZING LOCATION MOBILE ROBOT USING EDGE BASED REFINEMENT AND METHOD THEREOF}
본 발명은 이동 로봇의 위치 인식 방법에 관한 것으로서, 특히, 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법에 관한 것이다.
최근 로봇 기술의 발전에 따라 스스로 경로를 설정하고 이동하는 이동 로봇이 활용되고 있다. 이동 로봇이 공간에서 효과적으로 위치를 판단하며 이동하기 위해서는 이동하고 있는 공간에 대한 지도를 생성하면서 공간 상의 자신의 위치를 인식하는 것이 요구된다.
이동 로봇은 자이로스코프와 구동 모터에 구비된 엔코더를 이용하여 추측 항법(dead reckoning)으로 주행하며, 상부에 설치된 카메라를 이용하여 영상을 분석하여 지도를 생성하고, 이때 자이로스코프와 엔코더로부터의 주행 정보에 의한 오차가 발생하는 경우 카메라로부터 획득된 영상 정보를 활용하여 누적되는 오차를 보정한다.
그러나 지금까지 개발된 위치 인식 기반의 이동 로봇은 단안 카메라나 레이저 스캐너를 이용하여 2D 평면 상의 움직임을 가정하여 개발되었다. 이러한 단안 카메라를 이용하는 경우 특징점까지의 거리를 알 수 없게 되므로 추측 항법의 오차가 커지면 이에 따라 위치 인식 결과에 오차가 매우 많이 포함된다는 문제점이 있다.
또한 이동 로봇에 적용하기에는 레이저 스캐너가 고가이기 때문에 최근에는 스테레오 카메라를 이용하여 공간을 인지하고 자신의 위치를 갱신하는 SLAM(Simultaneous Localization and Mapping) 기술을 이용한 연구가 많이 이루어지고 있다.
이러한 SLAM 기술 기반의 이동 로봇은 코너 특징점을 영상으로부터 추출하고 이들의 3차원 좌표를 복원하여 지도를 작성하고 위치를 인식하는 과정을 거치게 된다.
즉, 이동 로봇이 공간을 인지하여 그 공간 내에서 자신의 위치를 인식하는 것은 매우 중요한 기술이다. 이러한 기술이 탑재되지 않은 이동 로봇은 이동성이 제한되고 제공할 수 있는 서비스의 종류도 매우 제한되기 때문에 경쟁적으로 개발되고 있다.
따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 예측된 상태 정보를 기반으로 주어진 키 프레임 내 시드를 투영하여 그 투영한 결과로 영상 내 에지와 투영된 시드 간의 밝기 차이를 산출하고 산출된 밝기 차이가 줄어들 수 있도록 카메라의 회전과 이동을 나타내는 상태 파라미터를 업데이트하여 업데이트된 상태 파라미터를 기반으로 위치를 추정하는 과정을 밝기 차이가 임계치 이내일 때까지 반복 수행하도록 하는 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법을 제공하는 데에 있다.
본 발명의 다른 목적은 스테레오 영상을 기반으로 하는 비주얼 오도메트리를 통해 산출된 오도메트리 정보와 관성 정보를 기반으로 하는 내부 오도메트리를 통해 산출된 오도메트리 정보 중 선택된 하나의 오도메트리 정보를 기반으로 위치를 추정하도록 하는 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법을 제공하는 데에 있다.
본 발명의 또 다른 목적은 스테레오 영상으로부터 기 설정된 개수의 수평 라인을 추출하여 그 추출된 수평 라인을 따라 dense 스테레오 정합을 수행하여 그 수행한 결과로 장애물까지의 거리 정보를 획득하도록 하는 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법을 제공하는 데에 있다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 이동 로봇의 위치를 인식하기 위한 장치는 이동 로봇에 구비된 카메라를 이용하여 획득한 적어도 한쌍의 스테레오 영상을 입력받는 영상 입력부; 및 상기 입력받은 스테레오 영상으로부터 에지를 추출하여, 상기 추출한 에지를 기반으로 주어진 키 프레임 내 각 시드를 투영하고, 상기 투영한 결과로 산출된 상기 투영된 시드에서의 밝기 오차를 이용하여 상기 카메라의 회전과 이동을 나타내는 상태 파라미터를 업데이트하며, 상기 업데이트한 결과를 이용하여 상기 이동 로봇의 위치를 추정하는 위치 인식부를 포함할 수 있다.
또한 상기 이동 로봇의 위치를 인식하기 위한 장치는 상기 스테레오 영상을 획득하는 두개의 카메라를 더 포함할 수 있다.
바람직하게는, 상기 위치 인식부는, 주어진 상기 키 프레임 내 각 상기 시드를 투영하여 그 투영한 결과로 상기 에지와 상기 투영된 시드 간의 상기 밝기 오차를 산출하는 밝기 오차 산출부; 상기 산출된 밝기 오차가 줄어들도록 상기 카메라의 회전과 이동을 나타내는 상기 상태 파라미터를 업데이트하는 상태 파라미터 업데이트부; 및 상기 업데이트된 상태 파라미터를 기반으로 상기 밝기 오차가 줄어든 위치로 상기 이동 로봇의 위치를 추정하는 위치 추정부를 포함할 수 있다.
바람직하게는, 상기 파라미터 업데이트부는, 상기 투영된 시드의 좌표에서 제1축 방향과 제2축 방향으로의 그래디언트를 산출하며, 현재 시점의 상기 상태 파라미터를 이용하여 투영 함수를 산출하며, 산출된 상기 밝기 오차, 상기 그래디언트, 상기 투영 함수를 이용하여 상기 밝기 오차가 줄어들도록 상기 상태 파라미터를 업데이트하는 것을 특징으로 할 수 있다.
바람직하게는, 상기 투영 함수는 자코비안 투영 함수이고, 상기 투영 함수를 이용하여 상기 밝기 오차가 줄어들도록 상기 상태 파라미터를 업데이트하는 것은, 상기 밝기 오차, 상기 그래디언트, 상기 투영 함수를 이용하여 헤시안 매트릭스를 산출하고, 상기 헤시안 매트릭스를 이용하여 상기 밝기 오차가 줄어들도록 상기 상태 파라미터를 업데이트하는 것을 특징으로 할 수 있다.
바람직하게는, 상기 위치 인식부는, 상기 헤시안 매트릭스를 이용하여 업데이트될 상기 상태 파라미터의 변화량을 산출하고, 산출된 상기 상태 파라미터의 변화량이 상기 상태 파라미터를 업데이트하기 위한 기 설정된 반복 조건을 만족하는지를 확인하며, 상기 확인한 결과로 상기 반복 조건을 만족하지 않으면 현재 시점의 상기 상태 파라미터로 최종 위치를 선정하는 것을 특징으로 할 수 있다.
바람직하게는, 상기 위치 인식부는, 상기 확인한 결과로 상기 반복 조건을 만족하면, 상기 산출된 변화량을 이용하여 상기 상태 파라미터를 업데이트하는 것을 특징으로 할 수 있다.
바람직하게는, 상기 반복 조건은 상기 상태 파라미터의 변화량이 기 설정된 임계치 이상인지의 여부를 포함하는 것을 특징으로 할 수 있다.
바람직하게, 상기 위치 인식부는 상기 에지를 기반으로 산출된 오도메트리 정보를 이용하여 상태 정보를 예측하고, 예측된 상기 상태 정보와 기 저장된 키 프레임을 이용하여 현재의 위치를 추정하는 것을 특징으로 한다.
바람직하게, 상기 위치 인식부는 상기 에지를 기반으로 산출된 제1 오도메트리 정보와 관성 정보를 기반으로 산출된 제2 오도메트리 정보 중 하나를 이용하여 상태 정보를 예측하고, 예측된 상기 상태 정보와 기 저장된 키 프레임을 이용하여 현재의 위치를 추정하는 것을 특징으로 한다.
바람직하게, 상기 위치 인식부는 상기 제1 오도메트리 정보가 기 설정된 조건을 만족하면 상기 제1 오도메트리 정보를 선택하고, 상기 제1 오도메트리 정보가 기 설정된 조건을 만족하지 못하면 상기 제2 오도메트리 정보를 선택하는 것을 특징으로 한다.
바람직하게, 상기 위치 인식부는 예측된 상기 상태 정보를 기반으로 기 저장된 키 프레임 집합 중 적어도 하나의 키 프레임을 검색하고, 그 결과로 검색된 상기 적어도 하나의 키 프레임을 이용하여 상기 이동 로봇의 현재의 위치를 추정하는 것을 특징으로 한다.
본 발명의 다른 한 관점에 따른 이동 로봇의 위치를 인식하기 위한 방법은 이동 로봇에 구비된 카메라를 이용하여 획득한 적어도 한쌍의 스테레오 영상을 입력받는 단계; 및 상기 입력받은 스테레오 영상으로부터 에지를 추출하여, 상기 추출한 에지를 기반으로 주어진 키 프레임 내 각 시드를 투영하고, 상기 투영한 결과로 산출된 상기 투영된 시드에서의 밝기 오차를 이용하여 상기 카메라의 회전과 이동을 나타내는 상태 파라미터를 업데이트하며, 상기 업데이트한 결과를 이용하여 상기 이동 로봇의 위치를 추정하는 단계를 포함할 수 있다.
바람직하게는, 상기 추정하는 단계는, 주어진 상기 키 프레임 내 각 상기 시드를 투영하여 그 투영한 결과로 상기 에지와 상기 투영된 시드 간의 상기 밝기 오차를 산출하는 밝기 오차 산출 단계; 상기 산출된 밝기 오차가 줄어들도록 상기 카메라의 회전과 이동을 나타내는 상기 상태 파라미터를 업데이트하는 파라미터 업데이트 단계; 및 상기 업데이트된 상태 파라미터를 기반으로 상기 밝기 오차가 줄어든 위치로 상기 이동 로봇의 위치를 추정하는 위치 추정 단계를 포함할 수 있다.
바람직하게는, 상기 파라미터 업데이트 단계는, 상기 투영된 시드의 좌표에서 제1축 방향과 제2축 방향으로의 그래디언트를 산출하며, 현재 시점의 상기 상태 파라미터를 이용하여 투영 함수를 산출하며, 산출된 상기 밝기 오차, 상기 그래디언트, 상기 투영 함수를 이용하여 상기 밝기 오차가 줄어들도록 상기 상태 파라미터를 업데이트하는 것을 특징으로 할 수 있다.
바람직하게는, 상기 투영 함수는 자코비안 투영 함수이고, 상기 투영 함수를 이용하여 상기 밝기 오차가 줄어들도록 상기 상태 파라미터를 업데이트하는 것은, 상기 밝기 오차, 상기 그래디언트, 상기 투영 함수를 이용하여 헤시안 매트릭스를 산출하고, 상기 헤시안 매트릭스를 이용하여 상기 밝기 오차가 줄어들도록 상기 상태 파라미터를 업데이트하는 것을 특징으로 할 수 있다.
바람직하게는, 상기 추정하는 단계는, 상기 헤시안 매트릭스를 이용하여 업데이트될 상기 상태 파라미터의 변화량을 산출하고, 산출된 상기 상태 파라미터의 변화량이 상기 상태 파라미터를 업데이트하기 위한 기 설정된 반복 조건을 만족하는지를 확인하며, 상기 확인한 결과로 상기 반복 조건을 만족하지 않으면 현재 시점의 상기 상태 파라미터로 최종 위치를 선정하는 것을 특징으로 할 수 있다.
바람직하게는 상기 추정하는 단계는, 상기 확인한 결과로 상기 반복 조건을 만족하면, 상기 산출된 변화량을 이용하여 상기 상태 파라미터를 업데이트하는 것을 특징으로 할 수 있다.
바람직하게는, 상기 반복 조건은 상기 상태 파라미터의 변화량이 기 설정된 임계치 이상인지의 여부를 포함하는 것을 특징으로 할 수 있다.
바람직하게, 상기 추정하는 단계는 상기 에지를 기반으로 산출된 오도메트리 정보를 이용하여 상태 정보를 예측하고, 예측된 상기 상태 정보와 기 저장된 키 프레임을 이용하여 현재의 위치를 추정하는 것을 특징으로 한다.
바람직하게, 상기 추정하는 단계는 상기 에지를 기반으로 산출된 제1 오도메트리 정보와 관성 정보를 기반으로 산출된 제2 오도메트리 정보 중 하나를 이용하여 상태 정보를 예측하고, 예측된 상기 상태 정보와 기 저장된 키 프레임을 이용하여 현재의 위치를 추정하는 것을 특징으로 한다.
바람직하게, 상기 추정하는 단계는 상기 제1 오도메트리 정보가 기 설정된 조건을 만족하면 상기 제1 오도메트리 정보를 선택하고, 상기 제1 오도메트리 정보가 기 설정된 조건을 만족하지 못하면 상기 제2 오도메트리 정보를 선택하는 것을 특징으로 한다.
바람직하게, 상기 추정하는 단계는 예측된 상기 상태 정보를 기반으로 기 저장된 키 프레임 집합 중 적어도 하나의 키 프레임을 검색하고, 그 결과로 검색된 상기 적어도 하나의 키 프레임을 이용하여 상기 이동 로봇의 현재의 위치를 추정하는 것을 특징으로 한다.
이를 통해, 본 발명은 예측된 상태 정보를 기반으로 주어진 키 프레임 내 시드를 투영하여 그 투영한 결과로 영상 내 에지와 투영된 시드 간의 밝기 차이를 산출하고 산출된 밝기 차이가 줄어들 수 있도록 카메라의 회전과 이동을 나타내는 상태 파라미터를 업데이트하여 업데이트된 상태 파라미터를 기반으로 위치를 추정하는 과정을 밝기 차이가 임계치 이내일 때까지 반복 수행하도록 함으로써, 정확한 위치를 인식할 수 있는 효과가 있다.
또한, 본 발명은 본 발명에 따른 스테레오 영상을 기반으로 하는 비주얼 오도메트리를 통해 산출된 오도메트리 정보와 관성 정보를 기반으로 하는 내부 오도메트리를 통해 산출된 오도메트리 정보 중 선택된 하나의 오도메트리 정보를 기반으로 위치를 추정하도록 함으로써, 이동 로봇들이 기울어지거나 미끄러지는 것에 의한 위치 오차를 줄일 수 있는 효과가 있다.
또한, 본 발명은 이동 로봇들이 기울어지거나 미끄러지는 것에 의한 위치 오차에 취약했던 문제를 해결하기 때문에 안정적인 위치 인식이 가능할 수 있는 효과가 있다.
또한, 본 발명은 스테레오 영상으로부터 기 설정된 개수의 수평 라인을 추출하여 그 추출된 수평 라인을 따라 dense 스테레오 정합을 수행하여 그 수행한 결과로 장애물까지의 거리 정보를 획득하도록 함으로써, 고가의 거리 측정을 위한 전용 센서를 부착하지 않더라도 장애물에 대한 거리 정보를 획득할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇의 위치를 인식하기 위한 장치를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 광각 카메라의 관심 영역을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 공간 인식 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 3차원 점의 불확실성을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 에지에 대한 3차원 정보를 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 따른 위치 인식 개념을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 위치를 인식하는 과정을 나타내는 도면이다.
도 8a 내지 도 8b는 본 발명의 일 실시예에 따른 위치 인식 원리를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 장애물 감지 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 이동 로봇의 위치를 인식하기 위한 방법을 나타내는 도면이다.
이하에서는, 본 발명의 실시예에 따른 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법을 첨부한 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.
특히, 본 발명에서는 예측된 상태 정보를 기반으로 주어진 키 프레임 내 시드를 투영하여 그 투영한 결과로 영상 내 에지와 투영된 시드 간의 밝기 차이를 산출하고 산출된 밝기 차이가 줄어들 수 있도록 카메라의 회전과 이동을 나타내는 상태 파라미터를 업데이트하여 업데이트된 상태 파라미터를 기반으로 위치를 추정하는 과정을 밝기 차이가 임계치 이내일 때까지 반복 수행하도록 하는 새로운 방안을 제안한다.
또한 본 발명에서는 스테레오 영상을 기반으로 하는 비주얼 오도메트리(visual odometry)를 통해 산출된 오도메트리 정보와 관성 정보를 기반으로 하는 내부 오도메트리(internal odometry)를 통해 산출된 오도메트리 정보 중 선택된 하나의 오도메트리 정보를 기반으로 위치를 추정하며, 스테레오 영상으로부터 기 설정된 개수의 수평 라인을 추출하여 그 추출된 수평 라인을 따라 dense 스테레오 정합을 수행하여 그 수행한 결과로 장애물까지의 거리 정보를 획득한다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇의 위치를 인식하기 위한 장치를 나타내는 도면이다.
본 발명의 일 실시예에 따른 이동 로봇의 위치를 인식하기 위한 장치는 영상 입력부(130a)와 위치 인식부(130)를 포함할 수 있다. 여기서 본 발명의 일 실시예에 따른 이동 로봇의 위치를 인식하기 위한 장치는 필요에 따라 카메라(110), IMU(Inertial Measurement Unit)(120), 장애물 감지부(140), 지도 작성부(150), DB(Database)(160) 중 적어도 어느 하나 이상을 더 포함할 수도 있다.
영상 입력부(130a)는 이동 로봇에서 획득한 적어도 한쌍의 스테레오 영상을 입력받을 수 있다. 이때 상기 스테레오 영상은 이동 로봇에 구비된 두개의 카메라를 이용하여 획득된 영상이 될 수 있다.
카메라(110)는 한쌍의 스테레오 영상 즉, 좌측 영상과 우측 영상을 획득하기 위해 2개가 구비될 수 있다. 여기서 2개의 카메라라 함은 2개의 서로 다른 렌즈를 이용하여 2개의 시각에서 영상을 획득하는 것을 의미하는 것으로, 하나의 영상 획득 장치에 2개의 렌즈를 구비하여 2개의 영상을 획득하는 경우를 포함함은 물론이다. 이때, 카메라(110)는 기 설정된 관심 영역을 갖도록 장착될 수 있다. 여기서 관심 영역이란 이동 로봇에 구비된 카메라(110)를 이용하여 촬영하고자 하는 영역이 될 수 있다.
또한 여기서 카메라(110)는 바람직하게는 광각 카메라가 될 수 있다. 광각 카메라는 일반 카메라 렌즈와 비교하였을 때 보다 넓은 화각을 가지는 광각 렌즈를 이용하여 촬영하는 카메라이다. 이동 로봇에서는 보다 넓은 주변 영상을 획득하기 위하여 광각 카메라를 이용하는 것이 바람직하다. 예를 들면 광각 카메라는 어안 렌즈를 이용한 카메라가 될 수 있다. 그리고 여기서 광각 카메라는 예를 들면 60도 내지 270도의 화각을 가지는 광각 렌즈를 이용할 수 있다. 본 발명에의 광각 카메라는 위에서 일예로 든 화각의 범위에 한정되지 아니하고 다양한 범위의 화각을 가지는 렌즈를 이용한 카메라가 될 수 있다.
도 2는 본 발명의 일 실시예에 따른 광각 카메라의 관심 영역을 보여주는 도면이다.
도 2에 도시한 바와 같이, 본 발명에 따른 두 개의 카메라(110)는 기존의 이동 로봇에 장착된 카메라처럼 실내의 천정이나 전방만을 바라보지 않고, 광각 렌즈를 이용하여 이동 로봇(10)에서 천정과 전방 모두를 바라보도록 장착하여 천정과 전방을 모두 관심 영역(ROI)으로 가질 수 있다.
예컨대, 카메라는 광각 렌즈를 이용하여 수평 방향과 수직 방향의 영역을 모두 촬영할 수 있다.
본 발명은 이렇게 장착된 카메라(110)를 이용하여 천정과 전방을 모두 관심 영역으로 갖게 됨으로써, 특징점 확보가 용이해질 뿐 아니라 특징점을 찾기가 어려운 지점에서도 위치 인식이 가능하고, 전방에 대한 장애물 인식도 가능하게 된다.
IMU(120)는 이동 로봇의 관성 정보 예컨대, 위치, 자세 등의 정보를 측정할 수 있다.
먼저 위치 인식부(130)는 상기 입력받은 스테레오 영상으로부터 에지를 추출한다. 이하 상술하는 바와 같이 본 발명에서는 ADoG(Approximated Difference of Gaussian)를 이용하여 에지를 추출하거나 또는 그래디언트(gradient)를 이용하여 에지를 추출할 수 있다.
먼저 그래디언트(gradient)를 이용하여 에지를 추출하는 경우를 설명한다.
위치 인식부(130)는 상기 입력받은 스테레오 영상의 각 픽셀에서 그래디언트를 제1축 방향과 제2축 방향으로 구하고, 상기 구한 제1축 방향과 제2축 방향으로의 그래디언트를 기반으로 에지를 추출할 수 있다.
상기 제1축과 제2축은 상기 스테레오 영상 면의 좌표계에서 서로 직교하는 서로 다른 축이 될 수 있고, 바람직하게는 x, y축으로 이루어지는 직교 좌표계의 x축과 y축이 각각 될 수 있다. 이하에서는 제1축과 제2축을 x축과 y축으로 하여 위치 인식부(130)의 동작에 대하여 설명한다. 이하에서 x축과 y축을 참조하면서 설명한 위치 인식부(130)의 동작은 상기 제1축과 제2축에 대하여도 동일하게 적용될 수 있다.
다음으로, 위치 인식부(130)는 구한 x축 방향과 y축 방향으로의 그래디언트 Ix, Iy를 이용하여 그래디언트의 크기(magnitude) Im을 산출할 수 있는데, 다음의 식 Im=(Ix 2+Iy 2)1/2과 같이 산출할 수 있다.
다음으로, 위치 인식부(130)는 구한 x축 방향과 y축 방향으로의 그래디언트 Ix, Iy를 이용하여 그래디언트의 각도(angle) Iθ를 산출할 수 있는데, 다음의 식 Iθ=atan2(Iy, Ix)와 같이 산출할 수 있다. 여기서 여기서 atan2(y, x)는 2개의 입력 변수를 가지는 arctangent 산출 함수로, 예를 들면 다음 식과 같이 산출될 수 있다.
Figure pat00001
다음으로, 위치 인식부(130)는 산출된 각 픽셀의 그래디언트의 크기 Im와 그래디언트의 각도 Iθ를 기반으로 NMS(Non-Maximal Suppression) 과정을 통해서 최종적으로 에지 이미지를 추출할 수 있다.
즉, 위치 인식부(130)는 해당 픽셀의 그래디언트의 각도 Iθ를 기준으로 인접한 픽셀들 중 같은 각도를 갖는 픽셀 중에서 그래디언트의 크기 Im이 가장 큰 픽셀을 최대값(maxima)로 선택할 수 있다.
이러한 과정을 모든 픽셀에 적용하여 하나의 라인으로 이루어진 에지가 추출될 수 있다.
그리고 나서, 위치 인식부(130)는 에지를 이루는 라인 상에 위치하는 각 픽셀에서 가장 인접한 기 설정된 개수의 픽셀들까지 영역을 확장하여 확장된 영역 내에서 기 설정된 임계치 이상의 크기를 갖는 픽셀을 에지로 선택할 수 있다.
예컨대, 위치 인식부(130)는 해당 픽셀에서 가장 인접한 두 개의 픽셀들까지로 영역을 확장하여 확장된 영역 내 픽셀들 중 임계치 이상의 크기를 갖는 픽셀을 모두 에지로 선택한다.
이러한 과정을 모든 픽셀에 적용함으로써, NMS에 의한 하나의 라인으로 이루어진 에지에서 확장된 다수의 라인으로 이루어진 최종적인 에지 이미지가 추출될 수 있다.
여기서 NMS(Non-Maximal Suppression) 과정은 예를 들면 "Canny, J., A Computational Approach To Edge Detection, IEEE Trans. Pattern Analysis and Machine Intelligence, 8(6):679~698, 1986."에서 소개하고 있는 Non-Maximal Suppression 기법을 이용할 수 있고, 그 이외에 다양한 방식의 Non-Maximal Suppression 기법을 사용할 수도 있다.
다음으로 ADoG(Approximated Difference of Gaussian)를 이용하여 에지를 추출하는 경우를 설명한다.
본 발명에서는 원래 영상으로부터 적분 영상을 구하고 그 구한 적분 영상을 박스 스무딩 처리하여 그 박스 스무딩 처리한 결과로 박스 스무딩 영상을 구한 후 박스 스무딩 영상으로부터 원래 영상을 빼서 최종적으로 에지 이미지를 추출하도록 하는 새로운 방안을 제안한다. 본 발명에서는 이렇게 박스 스무딩 처리하여 에지를 추출하는 방법을 ADoG(Approximated Difference of Gaussian)라고 명명한다.
여기서 위치 인식부(130)는 상기 입력받은 상기 스테레오 영상을 스무딩 처리하고, 상기 스무딩 처리한 결과로 스무딩 영상을 구하며, 상기 구한 스무딩 영상과 원래의 상기 스테레오 영상을 비교하여 에지를 추출하고, 상기 추출한 에지를 기반으로 상기 이동 로봇의 현재의 위치를 추정할 수 있다.
여기서 위치 인식부(130)는, 상기 스테레오 영상으로부터 적분 영상을 구하고, 상기 구한 적분 영상을 박스 스무딩 처리하여 그 박스 스무딩 처리한 결과로 박스 스무딩 영상을 산출하며, 상기 산출한 박스 스무딩 영상과 원래의 상기 스테레오 영상을 비교하여 그 비교한 결과로 에지를 추출할 수 있다.
이를 위하여 위치 인식부(130)는, 상기 스테레오 영상으로부터 적분 영상을 구하는 적분 영상 획득부; 상기 구한 적분 영상을 박스 스무딩 처리하여 그 박스 스무딩 처리한 결과로 박스 스무딩 영상을 산출하는 박스 스무딩 영상 산출부; 및 상기 산출한 박스 스무딩 영상과 원래의 상기 스테레오 영상을 비교하여 그 비교한 결과로 에지를 추출하는 에지 추출부를 포함할 수 있다. 그리고 위치 추정부를 더 포함할 수 있다. 여기서 위치 추정부는 이하에서 상술하는 바 위치 인식부(130)가 추출한 에지를 이용하여 이동 로봇의 위치를 추정하는 동작을 동일하게 수행할 수 있다.
본 발명에 따른 위치 인식부(130)의 적분 영상 획득부는 스테레오 영상 orgImage으로부터 적분 영상 IntegImage을 구할 수 있는데, 다음의 식
Figure pat00002
과 같이 산출할 수 있다.
다음으로, 위치 인식부(130)의 스무딩 영상 산출부는 구한 적분 영상을 박스 블러(box blur) 또는 박스 스무딩(box smoothing) 처리하여 그 박스 스무딩 처리한 결과로 박스 스무딩 영상을 산출할 수 있다.
이때, 박스 스무딩은 가우시안 스무딩(Gaussian smoothing)과 마찬가지로 노이즈 제거, 윤곽 정보 추출을 목적으로 하는 전처리(pre-processing) 과정이라고 할 수 있다.
본 발명에서는 박스 스무딩 처리를 일 예로 설명하고 있지만 반드시 이에 한정되지 않고 다양한 스무딩 처리 기법 예컨대, 가우시안 스무딩 등을 적용할 수 있다.
다음으로, 위치 인식부(130)의 에지 추출부는 박스 스무딩 영상 Ibox_blur으로부터 원래 영상 즉, 스테레오 영상 Isource을 빼서 에지 이미지 Iedge를 추출할 수 있는데, 다음의 식 Iedge = Ibox_blur - Isource 과 같이 산출할 수 있다.
이러한 적분, 스무딩, 빼기 과정을 통해 최종적인 에지 이미지가 추출될 수 있다.
위치 인식부(130)는 카메라(110)로부터 스테레오 영상을 입력 받아 입력 받은 스테레오 영상을 기반으로 일정 거리를 이동할 때마다 주어진 공간을 인식할 수 있다.
도 3은 본 발명의 일 실시예에 따른 공간 인식 과정을 설명하기 위한 도면이다.
도 3에 도시한 바와 같이, 위치 인식부(130)는 일정 거리를 이동할 때마다 또는 새로운 키 프레임을 생성할 때마다 주어진 공간을 인식하여 데이터베이스화할 수 있다.
위치 인식부(130)는 입력 받은 스테레오 영상을 기 설정된 크기로 축소하여 블러링(blurring)할 수 있다. 여기서, 기 설정된 크기는 1/8 크기인 것이 바람직하다. 도 3을 참조하면 위치 인식부(130)는 입력 받은 스테레오 영상 (a)를 축소하고 블러링한 영상 (b)를 생성할 수 있다.
위치 인식부(130)는 블러링된 스테레오 영상을 브리프(BRIEF, Binary Robust Independent Elementary Features) 바이너리 서술자(BRIEF binary descriptor)를 이용하여 인코딩하여 그 인코딩한 결과로 이진 데이터를 생성할 수 있다. 여기서 브리프 바이너리 서술자는 "{BRIEF}: Computing a Local Binary Descriptor Very Fast, M. Calonder, V. Lepetit, M. Ozuysal, T. Trzcinski, C. Strecha, and P. Fua IEEE Transactions on Pattern Analysis and Machine Intelligence 2012"에서 소개하고 있는 방식을 이용하여 인코딩할 수 있다. 여기서, 이진 데이터는 예를 들면 32바이트(Byte) 크기로 생성될 수 있다. 도 3의 (c)는 이와 같은 브리프 바이너리 서술자를 나타내는 참고도이다.
위치 인식부(130)는 이렇게 생성된 이진 데이터와 기 저장된 키 프레임 내 이동 로봇의 절대 위치를 나타내는 데이터와 비교하여 그 비교한 결과로 기 설정된 범위 이내에 있는 경우 그 절대 위치로 현재의 위치를 인식할 수 있다.
이렇게 본 발명에서 공간 인식을 위해 브리프 바이너리 서술자를 이용하는 이유는 기존에 사용하던 SIFT, SURF와 같은 서술자에 비해 연산 속도가 매우 빠르기 때문이다.
위치 인식부(130)는 광각 카메라(110)로부터 스테레오 영상을 입력 받아 입력 받은 스테레오 영상을 기반으로 하는 비주얼 오도메트리를 통해 제1 오도메트리 정보를 획득하고, IMU(120)으로부터 관성 정보를 입력 받아 입력 받은 관성 정보를 기반으로 하는 내부 오도메트리를 통해 제2 오도메트리 정보를 획득할 수 있다.
이때, 위치 인식부(130)는 스테레오 영상으로부터 특징점을 추출하여 추출된 특징점을 추적하고 그 추적하는 특징점을 이용하여 오도메트리 정보를 획득할 수 있다.
일반적으로 전처리 과정에서 추출되는 특징점은 코너이다. 그러나 예컨대, 복도나 넓은 사무실 등의 텍스쳐가 없는 영역에서는 충분한 양의 특징점을 구하는 것이 불가능하다.
위치 인식부(130)는 이를 해결하기 위해 에지에 대한 스테레오 매칭을 수행한다. 즉, 위치 인식부(130)는 스테레오 영상으로부터 에지를 추출하고, 추출된 에지에 대해 sparse 스테레오 매칭(sparse stereo matching)을 수행할 수 있다. 여기서 sparse 스테레오 매칭은 dense 스테레오 매칭과 대별되는 개념으로 스테레오 영상 간에 매칭을 수행함에 있어서 정확한 매칭 결과를 산출하기 보다는 대강의 매칭을 빠르게 수행하는 매칭 방법으로, 매칭 간격을 조절하거나 매칭을 위하여 탐색하는 범위를 조정하는 등의 기존의 다양한 방법을 이용할 수 있다.
도 4는 본 발명의 일 실시예에 따른 3차원 점의 불확실성을 설명하기 위한 도면이다.
도 4에 도시한 바와 같이, 위치 인식부(130)는 수행한 결과로 구한 깊이 값에 따라 불확실성(uncertainty) σ를 설정하고 DB에 저장할 수 있다. 광각 카메라의 경우 초점 길이(focal length)가 매우 짧아 해상도가 낮아져서 구한 깊이 값의 신뢰도가 떨어지기 때문에 이후에 업데이트를 수행한다.
두 개의 광각 카메라를 이용하여 구한 3차원점의 불확실성은 다음의 [수학식 1]과 같다.
[수학식 1]
Figure pat00003
여기서,
Figure pat00004
는 불확실성 공분산 타원체(uncertainty covariance ellipsoid)를 나타내고, b는 카메라 사이의 거리를 나타내며, x, y, z는 좌영상 카메라의 좌표계, x', y', z'는 우영상 카메라의 좌표계를 나타내고, (c, r)와 (c', r')는 좌영상과 우영상에서 서로 매칭하는 픽셀의 좌표를 나타내고, f와 f'는 각각 좌영상 카메라와 우영상 카메라의 초점 거리를 나타내며, σr, σc는 특징점을 추출할 때의 상기 불확실성을 좌표계의 각 축으로 표현한 것이며, r0, c0는 카메라의 광축을 카메라 좌표계로 표현한 것이다. 그리고, d는 특징점이 좌측과 우측에 투영되었을 때 그 차이값으로 일반적으로는 시차(disparity)라고 한다.
이동 로봇이 일정 거리를 이동하였다고 판단되는 시점에서 키 프레임에 저장된 각 픽셀들을 현재의 영상에 투영시켜 가장 비슷한 픽셀을 찾아 깊이 값을 업데이트한다. 이러한 업데이트는 일반적인 베이시안 룰을 적용하여 수행할 수 있다.
이때, 이동 로봇이 동작하는 중에는 다양한 변수 특히, 움직이는 장애물이나 가려짐에 의해 잘못된 정보들이 들어오게 되고 이를 기반으로 구한 깊이 값 중에는 이상점(outlier)이 존재한다.
이러한 문제를 해결하기 위해, 구한 깊이 값이 1Σ 이내이면 변수 no_success를 1 증가시키고, 구한 깊이 값이 1Σ보다 크면, 변수 no_failure를 1 증가시킨 후 신뢰도 no_success/(no_success+no_failure)가 특정 수치 이상 큰 경우에만 위치 인식에 사용한다.
이렇게 깊이 값을 업데이트하는데 사용되는 베이시안 룰은 다음의 [수학식 2]와 같다.
[수학식 2]
Figure pat00005
Figure pat00006
여기서는 깊이 값 z에 대한 업데이트 과정을 설명하고 있지만, x와 y 값은 z에 따라 변화하기 때문에 x, y, z가 모두 업데이트 되어 위치 파악이 가능하고 이렇게 업데이트된 x, y, z를 이용하여 역으로 해당 카메라의 위치 파악도 가능하게 된다.
도 5는 본 발명의 일 실시예에 따른 에지에 대한 3차원 정보를 보여주는 도면이다. 도 5의 (a)는 좌영상 카메라에 투영된 깊이 값을 나타내는 영상이고, (b)는 우영상 카메라에 투영된 깊이 값을 나타내는 영상이고, (c)는 업데이트 과정을 거쳐 획득된 깊이 값을 나타내는 영상이고, (d)는 매칭점 및 깊이 값에 대한 투영을 나타내는 영상이다.
도 5에 도시한 바와 같이, 앞에서 설명한 깊이 값에 대한 업데이트를 반복적으로 수행하게 되면 각 에지에 대한 3차원 정보를 지속적으로 구할 수 있음을 볼 수 있다.
또한, IMU의 정보는 카메라로 환경을 인지하기 어려운 상황에서 매우 중요하다. 그러나 저가형 IMU들은 모두 바이어스(bias)가 심하게 변하거나 추정하기가 매우 어렵다. 이를 해결하기 위한 방법은 로봇을 잠시 멈추고 평균을 취하여 바이어스를 구하는 것인데 이 경우에는 사용자 입자에서 이동 로봇이 지능적으로 보이지 않을 뿐만 아니라 작업 속도도 떨어지게 되는 단점이 있다.
위치 인식부(130)는 이를 해결하기 위해 이동 중에도 바이어스를 업데이트한다.
θg는 자이로 센서를 통해 구한 각속도이고, θc는 광각 스테레오 비전을 통해 구한 각속도라고 가정한다. 이동 로봇의 주행 중에는 바이어스 등에 의해서 둘 사이에 오차가 발생하게 된다. 이 오차 θe는 다음의 [수학식 3]과 같이 정의할 수 있다.
[수학식 3]
θe = θg - θc
이때, θe는 바이어스가 될 수 있고, 빠른 회전이나 외란이 발생하는 경우에는 다음의 [수학식 4]와 같이 베이시안 룰을 적용하여 바이어스를 업데이트한다.
[수학식 4]
If, |θ|<thresholdmoving, μn= θe, σ2=1deg/sec×0.1deg/sec
이동 로봇이 이동 중 멈출 수 있는 시점에는 다음의 [수학식 5]와 같이 업데이트한다.
[수학식 5]
If, |θ|<thresholdstop, μn= θe, σ2=0.1deg/sec×0.1deg/sec
이러한 업데이트 과정을 통해 바이어스는 실시간으로 보정되기 때문에 순간적으로 카메라를 사용할 수 없는 시점이 되더라도 항상 최적의 바이어스를 이용하여 IMU를 이용한 오도메트리 정보가 일정 수준 이상의 정확도를 유지할 수 있게 된다.
위치 인식부(130)는 제1 오도메트리 정보와 제2 오도메트리 정보 중 하나의 오도메트리 정보를 선택하여 선택된 오도메트리 정보를 기반으로 현재의 상태 정보 예컨대, 자세, 위치 등을 예측할 수 있다.
여기서 위치 인식부(130)는, 상기 스테레오 영상에서 추출한 상기 에지를 이용하여 상기 스테레오 영상 간의 스테레오 매칭을 수행하여 상기 스테레오 영상 에 포함된 픽셀에서의 시차 값 또는 깊이 값을 산출하고, 상기 산출한 시차 값 또는 깊이 값을 이용하여 상기 이동 로봇의 현재의 위치를 추정할 수 있다. 즉 각 스테레오 영상에서 추출한 에지에 해당하는 픽셀에서 상기 스테레오 영상 간의 스테레오 매칭을 수행하여 시차 값 또는 깊이 값을 산출하고, 상기 시차 값 또는 깊이 값과 카메라의 광축 정보, 초점거리 정보, 스테레오 카메라 사이의 거리 정보를 이용하여 상기 이동 로봇의 현재의 위치를 추정할 수 있다. 즉 스테레오 영상의 특정 픽셀에서의 시차 값 또는 깊이 값과 스테레오 영상을 획득한 카메라의 스펙 정보(광축, 초점거리, 카메라 간 거리)를 알면 해당 픽셀에서의 3차원 좌표를 복원할 수 있고, 스테레오 영상에 포함된 픽셀들에서의 3차원 좌표를 통하여 상대적으로 이동 로봇의 위치를 파악할 수 있는 것이다.
예를 들면 광축 u0과 v0를 알고 초점거리 f와 카메라 사이의 거리 b를 알며 스테레오 매칭을 통해서 시차 값(disparity) d를 알 때 복원된 3차원 좌표 (x, y, z)는
Figure pat00007
와 같다.
또한 여기서 스테레오 영상의 깊이 값을 이용하여 스테레오 영상을 취득한 물체의 위치를 파악하는 방법은 기존의 다양한 기법들을 이용할 수 있다.
여기서 시드(seed)는 영상의 에지에서 선정된 픽셀에 대해서 설정될 수 있다. 그리고 여기서 위와 같이 3차원 좌표가 복원된 픽셀들에 대해서 시드(seed)가 설정될 수 있다. 여기서 시드는, 좌표 정보(image coordinate), 시차 값(disparity), 시차 값의 분산 값(variance of disparity), 화소 값(pixel value), 그래디언트(gradient direction and magnitude) 중 적어도 하나 이상을 포함할 수 있다.
위치 인식부(130)는 예측된 상태 정보를 기반으로 기 저장된 키 프레임 집합 중 적어도 하나의 키 프레임을 이용하여 현재의 위치를 추정할 수 있다. 여기서, 키 프레임은 주기적으로 측정된 이동 로봇의 상태 정보를 포함하는 시드(seed)의 집합일 수 있는데, 키 프레임 K과 시드 s의 관계는 다음의 [수학식 6]과 같다.
[수학식 6]
K = {s0, s1, …, sn}
이때, 이동 로봇의 위치 인식은 등록된 키 프레임을 이용하여 추정할 수 있는데, 주어진 키 프레임을 기준으로 얼마나 이동했는지를 구하는 과정이라 할 수 있다.
즉, 키 프레임을 기준으로 한 카메라의 회전과 이동을 파라미터 R, T로 각각 정의할 때, 각 시드를 통해 복원된 좌표 Pi의 현재 카메라에 대한 투영은 다음의 [수학식 7]와 같다.
[수학식 7]
p = prj(R, T, Pi)
여기서, p는 카메라에 대한 시드의 투영 좌표를 나타낸다.
상기 [수학식 7]를 통해 구한 시드의 투영 좌표는 영상 내 에지로 모이게 되는데, 이는 결국 적합한 R, T를 통해 가능하다. 즉, 정확한 위치 인식 결과를 가질수록 모든 시드를 통해 복원된 좌표의 현재 카메라에 대한 투영은 에지로 모이게 된다.
위치 인식부(130)는 상기 입력받은 스테레오 영상으로부터 에지를 추출하여, 상기 추출한 에지를 기반으로 주어진 키 프레임 내 각 시드를 투영하고, 상기 투영한 결과로 산출된 상기 투영된 시드에서의 밝기 오차를 이용하여 상기 카메라의 회전과 이동을 나타내는 상태 파라미터를 업데이트하며, 상기 업데이트한 결과를 이용하여 상기 이동 로봇의 위치를 추정한다.
이를 위하여 위치 인식부(130)는 도 1과 같이, 주어진 상기 키 프레임 내 각 상기 시드를 투영하여 그 투영한 결과로 상기 에지와 상기 투영된 시드 간의 상기 밝기 오차를 산출하는 밝기 오차 산출부(131), 상기 산출된 밝기 오차가 줄어들도록 상기 카메라의 회전과 이동을 나타내는 상기 상태 파라미터를 업데이트하는 상태 파라미터 업데이트부(132), 및 상기 업데이트된 상태 파라미터를 기반으로 상기 밝기 오차가 줄어든 위치로 상기 이동 로봇의 위치를 추정하는 위치 추정부(133)를 포함할 수 있다. 밝기 오차 산출부(131), 상태 파라미터 업데이트부(132), 위치 추정부(133)는 이하에서 상세히 설명하는 위치 인식부(130)의 해당 동작을 수행할 수 있다.
여기서 파라미터 업데이트부(132)는, 상기 투영된 시드의 좌표에서 제1축 방향과 제2축 방향으로의 그래디언트를 산출하며, 현재 시점의 상기 상태 파라미터를 이용하여 투영 함수를 산출하며, 산출된 상기 밝기 오차, 상기 그래디언트, 상기 투영 함수를 이용하여 상기 밝기 오차가 줄어들도록 상기 상태 파라미터를 업데이트하는 것을 특징으로 할 수 있다.
여기서 상기 투영 함수는 자코비안 투영 함수이고, 상기 투영 함수를 이용하여 상기 밝기 오차가 줄어들도록 상기 상태 파라미터를 업데이트하는 것은, 상기 밝기 오차, 상기 그래디언트, 상기 투영 함수를 이용하여 헤시안 매트릭스를 산출하고, 상기 헤시안 매트릭스를 이용하여 상기 밝기 오차가 줄어들도록 상기 상태 파라미터를 업데이트하는 것이 될 수 있다.
도 6은 본 발명의 일 실시예에 따른 위치 인식 개념을 설명하기 위한 도면이다.
도 6을 참조하면, 영상 내 에지의 일부 픽셀을 A, B, C 라 하고 이에 상응하는 주어진 키 프레임 내 시드를 해당 영상에 투영하여 투영된 시드의 좌표를 a, b, c라고 할 때, 실제 영상 내 에지와 투영된 시드 간에는 밝기 차이 즉, 투영된 시드에서의 밝기 오차(intensity error)가 있는 것을 알 수 있다.
이때, 상기 [수학식 3] 내지 [수학식 6]을 이용하여 R, T를 업데이트하면 실제 영상 내 에지와 투영된 시드 간의 밝기 차이가 줄어들기 때문에 매우 정확한 위치를 구할 수 있다.
본 발명에서는 실제 영상 내 에지와 투영된 시드 간의 밝기 차이가 줄어들 수 있도록 카메라의 회전과 이동을 각각 나타내는 파라미터 R, T를 업데이트하여 정확한 위치를 인식하고자 하는데, 이를 다이렉트 트래킹(direct tracking)이라 명명한다.
도 7은 본 발명의 일 실시예에 따른 위치를 인식하는 과정을 나타내는 도면이다.
도 7에 도시한 바와 같이, 위치 인식부(130)는 현재 시점의 영상을 획득하고(S710), 획득된 영상으로부터 에지를 추출하여(S712) 추출된 에지의 크기(magnitude)를 산출할 수 있다(S714).
여기서 위치 인식부(130)는, 상기 에지가 포함된 영상의 각 픽셀에서 그래디언트를 제1축 방향과 제2축 방향으로 구하고, 상기 구한 제1축 방향과 제2축 방향으로의 그래디언트를 이용하여 상기 그래디언트의 크기를 산출하고, 상기 산출한 그래디언트의 크기를 상기 에지의 크기로 할 수 있다.
여기서 상기 제1축과 제2축은 상기 에지가 포함된 영상 면의 좌표계에서 서로 직교하는 서로 다른 축인 것을 특징으로 할 수 있다. 즉 상기 제1축과 제2축은 상기 에지가 포함된 영상 면의 좌표계에서 서로 직교하는 서로 다른 축이 될 수 있고, 바람직하게는 x, y축으로 이루어지는 직교 좌표계의 x축과 y축이 각각 될 수 있다.
이때, 위치 인식부(130)는 영상의 각 픽셀에서 x축 방향과 y축 방향으로의 그래디언트 Ix, Iy를 구하고 그 구한 x축 방향과 y축 방향으로의 그래디언트 Ix, Iy를 이용하여 그래디언트의 크기 Im을 산출할 수 있는데, 다음의 [수학식 8]과 같다. 그리고 여기서 이와 같은 그래디언트의 크기를 에지의 크기로 할 수 있다.
[수학식 8]
Im=(Ix 2+Iy 2)1/2
다음으로, 위치 인식부(130)는 선택된 키 프레임 내 각 시드를 투영하여(S720) 그 투영된 시드의 좌표에서 밝기 차이를 산출할 수 있다(S722). 예컨대, 밝기는 0~255까지의 값을 갖는데, 에지에서는 255의 값을 갖기 때문에 255와의 차이만큼 밝기 오차가 산출된다.
다음으로, 위치 인식부(130)는 투영된 시드의 좌표에서 그래디언트 ΔPi 즉, x축 방향과 y축 방향으로의 그래디언트 Ix, Iy를 산출할 수 있는데(S724), 다음의 [수학식 9]와 같다.
[수학식 9]
Figure pat00008
다음으로, 위치 인식부(130)는 카메라의 회전과 이동 R, T를 상태 파라미터 Tc라 하면 현재 시점의 상태 파라미터를 이용하여 자코비안 투영 함수(jacobian of projection function) Jc를 산출할 수 있는데(S726), 그 자코비안 투영 함수는 다음의 [수학식 10]와 같다.
[수학식 10]
Figure pat00009
다음으로, 위치 인식부(130)는 산출된 밝기 차이, 그래디언트, 자코비안 투영 함수를 이용하여 헤시안 매트릭스(hessian matrix) H를 산출할 수 있는데(S728), 다음의 [수학식 11]과 같다.
[수학식 11]
H=JtWJ
여기서, J=Δpi tJc이고, W=wI는 가중치 매트릭스(weighting matrix)이고 w는 huber나 tukey를 통해 구해진 가중치 인자(weighting factor)이며, I는 이미지이다.
다음으로, 위치 인식부(130)는 산출된 헤시안 매트릭스를 이용하여 상태 파라미터를 업데이트할 수 있다.
즉, 위치 인식부(130)는 상기 [수학식 6]을 이용하여 상태 파라미터의 변화량을 산출하는데(S730), 상태 파라미터의 변화량은 다음의 [수학식 12]과 같이 정리된다.
[수학식 12]
Figure pat00010
여기서, e는 밝기 차이를 나타낸다.
위치 인식부(130)는 산출된 상태 파라미터의 변화량이 상태 파라미터를 업데이트하기 위한 기 설정된 반복 조건을 만족하는지를 확인할 수 있다(S732).
여기서, 반복 조건은 상태 파라미터의 변화량이 기 설정된 임계치 이상인지 등을 포함한다.
즉, 위치 인식부(130)는 그 확인한 결과로 산출된 상태 파라미터의 변화량이 기 설정된 임계치 이상이면 산출된 변화량을 이용하여 상태 파라미터를 업데이트할 수 있는데(S734), 업데이트될 상태 파라미터 는 다음의 [수학식 13]과 같이 정리된다.
[수학식 13]
Figure pat00011
그리고 위치 인식부(130)는 이렇게 업데이트된 상태 파라미터 를 이용하여 주어진 키 프레임 내 각 시드를 투영하는 과정에서부터 다시 반복 수행할 수 있다. 즉, 위치인식부(130)는 상태 파라미터 로 업데이트된 키 프레임 내 각 시드를 투영함으로써 그 투영된 각 시드의 변경된 좌표를 이용하여 이후 과정을 진행한다.
반면, 위치 인식부(130)는 그 확인한 결과로 산출된 상태 파라미터의 변화량이 기 설정된 임계치 이내이면 현재의 위치를 최종 위치로 설정할 수 있다(S736).
도 8a 내지 도 8b는 본 발명의 일 실시예에 따른 위치 인식 원리를 설명하기 위한 도면이다.
도 8a를 참조하면, 카메라의 회전과 이동을 나타내는 상태 파라미터가 T0일 때의 이미지 내 에지를 보여주고 있는데, 이 중 일부 에지 A, B, C의 위치를 알 수 있다.
도 8b를 참조하면, 카메라의 회전과 이동을 나타내는 상태 파라미터가 T1일 때의 이미지 내 에지를 보여주고 있는데, 이 중 일부 에지 A', B', C'의 위치를 알 수 있다.
즉, 도 8a에서의 상태 파라미터 T0를 현재 위치에서의 상태 파라미터라고 가정하면 그 변화율 ∇T을 통해 도 8b에서의 상태 파라미터 T1를 업데이트될 위치에서의 상태 파라미터로 추정할 수 있다.
이처럼 본 발명에서는 예측된 상태 정보를 기반으로 주어진 키 프레임 내 시드를 투영하여 그 투영한 결과로 영상 내 에지와 투영된 시드 간의 밝기 차이를 산출하고 산출된 밝기 차이가 줄어들 수 있도록 카메라의 회전과 이동을 나타내는 상태 파라미터를 업데이트하여 업데이트된 상태 파라미터를 기반으로 위치를 추정하는 과정을 밝기 차이가 거의 없다고 판단될 때까지 반복적으로 수행하게 된다.
장애물 감지부(140)는 광각 카메라(110)로부터 스테레오 영상을 입력 받아 입력 받은 스테레오 영상 내에서 기 설정된 개수의 수평 라인을 추출할 수 있다. 여기서, 기 설정된 개수는 적어도 2개 이상을 사용하되, 특히 3개인 것이 바람직하다.
장애물 감지부(140)는 추출된 수평 라인을 따라 dense 스테레오 정합(dense stereo matching)을 수행하여 그 수행한 결과로 장애물까지의 거리 정보를 획득할 수 있다. 여기서 dense 스테레오 매칭은 sparse 스테레오 매칭과 대별되는 개념으로, 스테레오 영상 간에 매칭을 수행함에 있어서 정확한 매칭 결과를 산출하기 위한 매칭 방법이다. 이를 위하여 매칭 간격을 조절하거나 매칭을 위하여 탐색하는 범위를 조정하는 등의 기존의 다양한 방법을 이용할 수 있다.
도 9는 본 발명의 일 실시예에 따른 장애물 감지 과정을 설명하기 위한 도면이다.
도 9에 도시한 바와 같이, 장애물 감지부(140)는 입력 받은 도 9의 (a)와 (b)와 같은 좌, 우 스테레오 영상을 기반으로 고밀도 스테레오 매칭을 수행하여 그 수행한 결과로 깊이 값을 산출할 수 있다. 여기서 도 9 (c) 영상은 이렇게 산출된 깊이 값을 그레이스케일로 표현하고 있다. 그리고 도 9 (c)은 장애물 감지에 이용되는 라인 영역(L)을 나타내고 있다.
이때, 전체 영역에 대한 깊이 값 산출은 소형 프로세서를 탑재한 이동 로봇에서는 불가능하기 때문에 본 발명에서는 일부 영역에 대해서만 깊이 값을 추출하고자 한다.
지도 작성부(150)는 위치 인식부(130)로부터 추정된 현재의 위치 정보를 제공 받아 제공 받은 위치 정보를 기반으로 자세 그래프(pose graph)를 재구성하고 그 재구성된 자세 그래프를 기반으로 기 저장된 키 프레임 집합을 업데이트할 수 있다.
DB(160)는 이동 로봇의 움직임에 따라 생성된 키 프레임 집합을 저장할 수 있다.
본 발명의 또 다른 실시예에 따른 이동 로봇의 위치를 인식하기 위한 방법은 이동 로봇에 구비된 카메라를 이용하여 획득한 적어도 한쌍의 스테레오 영상을 입력받는 단계; 및 상기 입력받은 스테레오 영상으로부터 에지를 추출하여, 상기 추출한 에지를 기반으로 주어진 키 프레임 내 각 시드를 투영하고, 상기 투영한 결과로 산출된 상기 투영된 시드에서의 밝기 오차를 이용하여 상기 카메라의 회전과 이동을 나타내는 상태 파라미터를 업데이트하며, 상기 업데이트한 결과를 이용하여 상기 이동 로봇의 위치를 추정하는 단계를 포함할 수 있다. 상기 이동 로봇의 위치를 인식하기 위한 방법은 상술한 이동 로봇의 위치를 인식하기 위한 장치가 동작하는 방식과 동일한 방식으로 동작할 수 있다. 이에 중복되는 부분은 생략하고 간략히 서술한다.
여기서 상기 추정하는 단계는, 주어진 상기 키 프레임 내 각 상기 시드를 투영하여 그 투영한 결과로 상기 에지와 상기 투영된 시드 간의 상기 밝기 오차를 산출하는 밝기 오차 산출 단계; 상기 산출된 밝기 오차가 줄어들도록 상기 카메라의 회전과 이동을 나타내는 상기 상태 파라미터를 업데이트하는 파라미터 업데이트 단계; 및 상기 업데이트된 상태 파라미터를 기반으로 상기 밝기 오차가 줄어든 위치로 상기 이동 로봇의 위치를 추정하는 위치 추정 단계를 포함할 수 있다.
여기서 상기 파라미터 업데이트 단계는, 상기 투영된 시드의 좌표에서 제1축 방향과 제2축 방향으로의 그래디언트를 산출하며, 현재 시점의 상기 상태 파라미터를 이용하여 투영 함수를 산출하며, 산출된 상기 밝기 오차, 상기 그래디언트, 상기 투영 함수를 이용하여 상기 밝기 오차가 줄어들도록 상기 상태 파라미터를 업데이트할 수 있다.
여기서 상기 투영 함수는 자코비안 투영 함수이고, 상기 투영 함수를 이용하여 상기 밝기 오차가 줄어들도록 상기 상태 파라미터를 업데이트하는 것은, 상기 밝기 오차, 상기 그래디언트, 상기 투영 함수를 이용하여 헤시안 매트릭스를 산출하고, 상기 헤시안 매트릭스를 이용하여 상기 밝기 오차가 줄어들도록 상기 상태 파라미터를 업데이트할 수 있다.
도 10은 본 발명의 일 실시예에 따른 이동 로봇의 위치를 인식하기 위한 방법을 나타내는 도면이다.
도 10에 도시한 바와 같이, 본 발명에 따른 이동 로봇의 위치를 인식하기 위한 장치(이하 위치인식 장치라 한다)는 광각 카메라로부터 스테레오 영상을 입력 받으면(S910), 입력 받은 스테레오 영상으로부터 특징점을 추출하고 추출된 특징점을 프레임 단위로 지속적으로 추적할 수 있다(S920).
다음으로, 위치인식 장치는 스테레오 영상 내 이동 객체를 제거할 수 있다(S930).
예컨대, 위치인식 장치는 현재의 프레임과 마지막 n번째 프레임을 비교하여 그 비교한 결과로 이동 객체라도 판단될 수 있는 일치하지 않는 특징을 제거하게 된다.
다음으로, 위치인식 장치는 추적하는 특징점을 기반으로 비주얼 오도메트리를 수행하여 그 수행한 결과로 제1 오도메트리 정보를 획득하고(S940), 관성 정보를 기반으로 하는 내부 오도메트리를 통해 제2 오도메트리 정보를 획득할 수 있다(S942).
다음으로, 위치인식 장치는 획득한 제1 오도메트리 정보와 제2 오도메트리 정보 중 하나의 오도메트리 정보를 선택하고(S950), 선택된 오도메트리 정보와 자세 정보를 이용하여 상태 정보를 예측할 수 있다(S960).
이때, 위치인식 장치는 제1 오도메트리 정보가 기 설정된 조건을 만족하면 제1 오도메트리 정보를 선택하고, 만족하지 못하면 제2 오도메트리 정보를 선택하게 된다.
여기서 기 설정된 조건을 만족하는지를 판단하는 것은 오도메트리 정보 예컨대, 위치 정보의 변화율이 기 설정된 임계치 이내인지를 판단하는 것을 의미할 수 있다.
다음으로, 위치인식 장치는 예측된 상태 정보를 기반으로 기 저장된 키 프레임 집합 중 적어도 하나의 키 프레임을 검색하고(S970), 검색된 적어도 하나의 키 프레임을 이용하여 현재의 위치를 추정할 수 있다(S980).
즉, 위치인식 장치는 주어진 키 프레임 내 시드를 투영하여 그 투영한 결과로 영상 내 에지와 투영된 시드 간의 밝기 차이를 산출하고 산출된 밝기 차이가 줄어들 수 있도록 카메라의 회전과 이동을 나타내는 상태 파라미터를 업데이트하여 업데이트된 상태 파라미터를 기반으로 위치를 추정하는 과정을 밝기 차이가 거의 없다고 판단될 때까지 반복적으로 수행함으로써 최종 위치를 산정하게 된다.
이때, 이웃하는 키 프레임의 개수가 많을수록 위치를 정확하게 추정할 수 있다.
본 실시예에 따른 위치 인식 장치는 자율 주행하는 청소로봇, 서비스 로봇에 적용될 수 있다. 예를 들어, 청소로봇은 실내 환경, 또는 실외 환경에서 자율 주행하는데, 주행 중 벽면, 난간, 책상, 가구 등 다양한 장애물과 마주치게 되고, 자율 주행 청소로봇은 청소 구역에서의 자신의 위치와, 파악된 장애물의 위치를 이용하여 주행 경로를 결정하여 주행한다. 본 실시예에 따라 자율 주행 청소 로봇은 외부 영상 획득을 위하여, 스테레오 카메라 특히 광각 스테레오 카메라를 영상 획득부로 포함하며, 이를 통해 획득된 외부 환경에 대한 정보, 특히 에지와 관련된 특징점을 이용하여 자신의 위치를 추정하고, 주행 경로를 결정하며 주행하도록 구현될 수 있다.
특히, SLAM(Simultaneous Localization And Map-Building)을 기반으로 자율 주행하는 청소로봇의 경우, 구축된 격자 맵에서 자신의 위치를 추정하고, 장애물의 위치를 추정하며, 추정된 위치 관계를 이용하여 장애물과의 충돌을 피하기 위한 주행경로를 결정하거나, 또는 최적 경로를 결정하는데 본 실시예가 이용될 수 있다.
본 실시예에서 오도메트리 정보는 예를 들어, 이동 로봇에 장착된 휠이나, 레그 조인트(legged joint)에 있는 회전 인코더(rotary encoders)로부터 획득되는 정보이다. 오도메트리 정보를 이용하여, 이동 로봇의 주행 거리, 바퀴의 회전 수와 같은 상태 정보를 계산할 수 있다. 또한, 상태 정보를 통해 현재 이동 로봇이 위치하는 공간을 파악할 수 있으므로, 이를 통해 영상 처리에 있어서 키 프레임을 결정하는데 사용할 수 있다.
상술한 본 발명의 실시예에 따른 위치 인식을 위한 방법은, 컴퓨터에서 판독가능한 소프트웨어의 형태로 구현될 수 있으며, 이러한 소프트웨어는 자율 주행 청소 로봇 내에 탑재된 프로세서에서 실행될 수 있다.
한편, 이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
이상에서 설명한 실시예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 카메라
120: IMU
130: 위치 인식부
140: 장애물 감지부
150: 지도 작성부
160: DB

Claims (24)

  1. 이동 로봇에 구비된 카메라를 이용하여 획득한 적어도 한쌍의 스테레오 영상을 입력받는 영상 입력부; 및
    입력받은 상기 스테레오 영상으로부터 에지를 추출하여, 추출한 상기 에지를 기반으로 주어진 키 프레임 내 각 시드를 투영하고, 투영한 결과로 산출된 상기 투영된 시드에서의 밝기 오차를 이용하여 상기 카메라의 회전과 이동을 나타내는 상태 파라미터를 업데이트하며, 업데이트한 결과를 이용하여 상기 이동 로봇의 위치를 추정하는 위치 인식부;
    를 포함하는 이동 로봇의 위치를 인식하기 위한 장치.
  2. 제 1 항에 있어서,
    상기 스테레오 영상을 획득하는 두개의 카메라를 더 포함하는 이동 로봇의 위치를 인식하기 위한 장치.
  3. 제 1 항에 있어서,
    상기 위치 인식부는,
    주어진 상기 키 프레임 내 각 상기 시드를 투영하여 그 투영한 결과로 상기 에지와 상기 투영된 시드 간의 상기 밝기 오차를 산출하는 밝기 오차 산출부;
    상기 산출된 밝기 오차가 줄어들도록 상기 카메라의 회전과 이동을 나타내는 상기 상태 파라미터를 업데이트하는 상태 파라미터 업데이트부; 및
    상기 업데이트된 상태 파라미터를 기반으로 상기 밝기 오차가 줄어든 위치로 상기 이동 로봇의 위치를 추정하는 위치 추정부를 포함하는 것을 특징으로 하는 이동 로봇의 위치를 인식하기 위한 장치.
  4. 제 3 항에 있어서,
    상기 파라미터 업데이트부는,
    상기 투영된 시드의 좌표에서 제1축 방향과 제2축 방향으로의 그래디언트를 산출하며,
    현재 시점의 상기 상태 파라미터를 이용하여 투영 함수를 산출하며,
    산출된 상기 밝기 오차, 상기 그래디언트, 상기 투영 함수를 이용하여 상기 밝기 오차가 줄어들도록 상기 상태 파라미터를 업데이트하는 것을 특징으로 하는 이동 로봇의 위치를 인식하기 위한 장치.
  5. 제 4 항에 있어서,
    상기 투영 함수는 자코비안 투영 함수이고,
    상기 투영 함수를 이용하여 상기 밝기 오차가 줄어들도록 상기 상태 파라미터를 업데이트하는 것은,
    상기 밝기 오차, 상기 그래디언트, 상기 투영 함수를 이용하여 헤시안 매트릭스를 산출하고, 상기 헤시안 매트릭스를 이용하여 상기 밝기 오차가 줄어들도록 상기 상태 파라미터를 업데이트하는 것을 특징으로 하는 이동 로봇의 위치를 인식하기 위한 장치.
  6. 제 5 항에 있어서,
    상기 위치 인식부는,
    상기 헤시안 매트릭스를 이용하여 업데이트될 상기 상태 파라미터의 변화량을 산출하고,
    산출된 상기 상태 파라미터의 변화량이 상기 상태 파라미터를 업데이트하기 위한 기 설정된 반복 조건을 만족하는지를 확인하며,
    확인한 결과로 상기 반복 조건을 만족하지 않으면 현재 시점의 상기 상태 파라미터로 최종 위치를 선정하는 것을 특징으로 하는 이동 로봇의 위치를 인식하기 위한 장치.
  7. 제 6 항에 있어서,
    상기 위치 인식부는,
    상기 확인한 결과로 상기 반복 조건을 만족하면, 상기 산출된 변화량을 이용하여 상기 상태 파라미터를 업데이트하는 것을 특징으로 하는 이동 로봇의 위치를 인식하기 위한 장치.
  8. 제 6 항에 있어서,
    상기 반복 조건은 상기 상태 파라미터의 변화량이 기 설정된 임계치 이상인지의 여부를 포함하는 것을 특징으로 하는 이동 로봇의 위치를 인식하기 위한 장치.
  9. 제 1 항에 있어서,
    상기 위치 인식부는,
    상기 에지를 기반으로 산출된 오도메트리 정보를 이용하여 상태 정보를 예측하고, 예측된 상기 상태 정보와 기 저장된 키 프레임을 이용하여 현재의 위치를 추정하는 것을 특징으로 하는 이동 로봇의 위치를 인식하기 위한 장치.
  10. 제 1 항에 있어서,
    상기 위치 인식부는,
    상기 에지를 기반으로 산출된 제1 오도메트리 정보와 관성 정보를 기반으로 산출된 제2 오도메트리 정보 중 하나를 이용하여 상태 정보를 예측하고, 예측된 상기 상태 정보와 기 저장된 키 프레임을 이용하여 현재의 위치를 추정하는 것을 특징으로 하는 이동 로봇의 위치를 인식하기 위한 장치.
  11. 제 10 항에 있어서,
    상기 위치 인식부는,
    상기 제1 오도메트리 정보가 기 설정된 조건을 만족하면 상기 제1 오도메트리 정보를 선택하고,
    상기 제1 오도메트리 정보가 기 설정된 조건을 만족하지 못하면 상기 제2 오도메트리 정보를 선택하는 것을 특징으로 하는 이동 로봇의 위치를 인식하기 위한 장치.
  12. 제 10 항에 있어서,
    상기 위치 인식부는,
    예측된 상기 상태 정보를 기반으로 기 저장된 상기 키 프레임의 집합 중 적어도 하나의 키 프레임을 검색하고,
    그 결과로 검색된 상기 적어도 하나의 키 프레임을 이용하여 상기 이동 로봇의 현재의 위치를 추정하는 것을 특징으로 하는 이동 로봇의 위치를 인식하기 위한 장치.
  13. 제 1 항에 있어서,
    상기 에지를 추출하는 것은,
    상기 입력받은 스테레오 영상의 각 픽셀에서 그래디언트를 제1축 방향과 제2축 방향으로 구하고, 구한 상기 제1축 방향과 제2축 방향으로의 그래디언트를 기반으로 상기 에지를 추출하거나, 또는
    입력받은 상기 스테레오 영상을 스무딩 처리하고, 상기 스무딩 처리한 결과로 스무딩 영상을 구하며, 구한 상기 스무딩 영상과 원래의 상기 스테레오 영상을 비교하여 상기 에지를 추출하는 것을 특징으로 하는 이동 로봇의 위치를 인식하기 위한 장치.
  14. 이동 로봇에 구비된 카메라를 이용하여 획득한 적어도 한쌍의 스테레오 영상을 입력받는 단계; 및
    입력받은 상기 스테레오 영상으로부터 에지를 추출하여, 추출한 상기 에지를 기반으로 주어진 키 프레임 내 각 시드를 투영하고, 투영한 결과로 산출된 상기 투영된 시드에서의 밝기 오차를 이용하여 상기 카메라의 회전과 이동을 나타내는 상태 파라미터를 업데이트하며, 업데이트한 결과를 이용하여 상기 이동 로봇의 위치를 추정하는 단계;
    를 포함하는 이동 로봇의 위치를 인식하기 위한 방법.
  15. 제 14 항에 있어서,
    상기 추정하는 단계는,
    주어진 상기 키 프레임 내 각 상기 시드를 투영하여 그 투영한 결과로 상기 에지와 투영된 상기 시드 간의 상기 밝기 오차를 산출하는 밝기 오차 산출 단계;
    상기 산출된 밝기 오차가 줄어들도록 상기 카메라의 회전과 이동을 나타내는 상기 상태 파라미터를 업데이트하는 파라미터 업데이트 단계; 및
    상기 업데이트된 상태 파라미터를 기반으로 상기 밝기 오차가 줄어든 위치로 상기 이동 로봇의 위치를 추정하는 위치 추정 단계를 포함하는 것을 특징으로 하는 이동 로봇의 위치를 인식하기 위한 방법.
  16. 제 15 항에 있어서,
    상기 파라미터 업데이트 단계는,
    투영된 상기 시드의 좌표에서 제1축 방향과 제2축 방향으로의 그래디언트를 산출하며,
    현재 시점의 상기 상태 파라미터를 이용하여 투영 함수를 산출하며,
    산출된 상기 밝기 오차, 상기 그래디언트, 상기 투영 함수를 이용하여 상기 밝기 오차가 줄어들도록 상기 상태 파라미터를 업데이트하는 것을 특징으로 하는 이동 로봇의 위치를 인식하기 위한 방법.
  17. 제 16 항에 있어서,
    상기 투영 함수는 자코비안 투영 함수이고,
    상기 투영 함수를 이용하여 상기 밝기 오차가 줄어들도록 상기 상태 파라미터를 업데이트하는 것은,
    상기 밝기 오차, 상기 그래디언트, 상기 투영 함수를 이용하여 헤시안 매트릭스를 산출하고, 상기 헤시안 매트릭스를 이용하여 상기 밝기 오차가 줄어들도록 상기 상태 파라미터를 업데이트하는 것을 특징으로 하는 이동 로봇의 위치를 인식하기 위한 방법.
  18. 제 17 항에 있어서,
    상기 추정하는 단계는,
    상기 헤시안 매트릭스를 이용하여 업데이트될 상기 상태 파라미터의 변화량을 산출하고,
    산출된 상기 상태 파라미터의 변화량이 상기 상태 파라미터를 업데이트하기 위한 기 설정된 반복 조건을 만족하는지를 확인하며,
    확인한 결과로 상기 반복 조건을 만족하지 않으면 현재 시점의 상기 상태 파라미터로 최종 위치를 선정하는 것을 특징으로 하는 이동 로봇의 위치를 인식하기 위한 방법.
  19. 제 18 항에 있어서,
    상기 추정하는 단계는,
    확인한 결과로 상기 반복 조건을 만족하면, 산출된 상기 변화량을 이용하여 상기 상태 파라미터를 업데이트하는 것을 특징으로 하는 이동 로봇의 위치를 인식하기 위한 방법.
  20. 제 18 항에 있어서,
    상기 반복 조건은 상기 상태 파라미터의 변화량이 기 설정된 임계치 이상인지의 여부를 포함하는 것을 특징으로 하는 이동 로봇의 위치를 인식하기 위한 방법.
  21. 제 14 항에 있어서,
    상기 추정하는 단계는,
    상기 에지를 기반으로 산출된 오도메트리 정보를 이용하여 상태 정보를 예측하고, 예측된 상기 상태 정보와 기 저장된 키 프레임을 이용하여 현재의 위치를 추정하는 것을 특징으로 하는 이동 로봇의 위치를 인식하기 위한 방법.
  22. 제14 항에 있어서,
    상기 추정하는 단계는,
    상기 에지를 기반으로 산출된 제1 오도메트리 정보와 관성 정보를 기반으로 산출된 제2 오도메트리 정보 중 하나를 이용하여 상태 정보를 예측하고, 예측된 상기 상태 정보와 기 저장된 키 프레임을 이용하여 현재의 위치를 추정하는 것을 특징으로 하는 이동 로봇의 위치를 인식하기 위한 방법.
  23. 제 22 항에 있어서,
    상기 추정하는 단계는,
    예측된 상기 상태 정보를 기반으로 기 저장된 상기 키 프레임의 집합 중 적어도 하나의 키 프레임을 검색하고,
    그 결과로 검색된 상기 적어도 하나의 키 프레임을 이용하여 상기 이동 로봇의 현재의 위치를 추정하는 것을 특징으로 하는 이동 로봇의 위치를 인식하기 위한 방법.
  24. 제 14 항 내지 제 23 항 중 어느 하나의 항에 따른 이동 로봇의 위치를 인식하기 위한 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020150086231A 2014-06-17 2015-06-17 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 KR101776622B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020140073708 2014-06-17
KR20140073708 2014-06-17
PCT/KR2015/006156 WO2015194867A1 (ko) 2014-06-17 2015-06-17 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20150144731A true KR20150144731A (ko) 2015-12-28
KR101776622B1 KR101776622B1 (ko) 2017-09-11

Family

ID=61628066

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150086231A KR101776622B1 (ko) 2014-06-17 2015-06-17 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법

Country Status (4)

Country Link
US (1) US10275649B2 (ko)
EP (1) EP3159125A4 (ko)
KR (1) KR101776622B1 (ko)
WO (1) WO2015194867A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101849970B1 (ko) * 2016-12-27 2018-05-31 엘지전자 주식회사 로봇청소기 및 로봇청소기를 제어하는 방법
CN108181897A (zh) * 2017-12-11 2018-06-19 华侨大学 一种双足机器人自动循迹的方法
KR20190002900A (ko) * 2017-06-30 2019-01-09 현대자동차주식회사 로봇의 보행 제어시스템 및 그 제어방법
US10962647B2 (en) 2016-11-30 2021-03-30 Yujin Robot Co., Ltd. Lidar apparatus based on time of flight and moving object

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI653964B (zh) 2016-05-17 2019-03-21 Ｌｇ電子股份有限公司 行動機器人及其控制方法
TWI639021B (zh) 2016-05-17 2018-10-21 南韓商Ｌｇ電子股份有限公司 行動機器人及其控制方法
TWI689387B (zh) * 2016-05-17 2020-04-01 南韓商Ｌｇ電子股份有限公司 行動機器人
TWI656507B (zh) * 2017-08-21 2019-04-11 瑞昱半導體股份有限公司 電子裝置
CN109427044B (zh) * 2017-08-25 2022-02-25 瑞昱半导体股份有限公司 电子装置
US11579298B2 (en) 2017-09-20 2023-02-14 Yujin Robot Co., Ltd. Hybrid sensor and compact Lidar sensor
US10657659B1 (en) * 2017-10-10 2020-05-19 Slightech, Inc. Visual simultaneous localization and mapping system
JP7323993B2 (ja) * 2017-10-19 2023-08-09 キヤノン株式会社 制御装置、ロボットシステム、制御装置の動作方法及びプログラム
CN107553497B (zh) * 2017-10-20 2023-12-22 苏州瑞得恩光能科技有限公司 太阳能面板清扫机器人的边缘定位装置及其定位方法
CN108171682B (zh) * 2017-12-04 2022-04-19 北京中科慧眼科技有限公司 基于远景的双目同步曝光率检测方法、***及存储介质
US11874399B2 (en) 2018-05-16 2024-01-16 Yujin Robot Co., Ltd. 3D scanning LIDAR sensor
US20200341149A1 (en) * 2018-05-31 2020-10-29 Indoor Robotics Ltd. Rotatable mobile robot for mapping an area and a method for mapping the same
JP2019220099A (ja) * 2018-06-22 2019-12-26 凸版印刷株式会社 ステレオマッチング処理装置、ステレオマッチング処理方法、及びプログラム
US11520041B1 (en) * 2018-09-27 2022-12-06 Apple Inc. Correcting depth estimations derived from image data using acoustic information
CN109318230A (zh) * 2018-09-29 2019-02-12 鲁东大学 机器人动作优化方法、装置、计算机设备和存储介质
CN111322993B (zh) * 2018-12-13 2022-03-04 杭州海康机器人技术有限公司 一种视觉定位方法和装置
CN109815846B (zh) * 2018-12-29 2021-08-27 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和电子装置
US10782137B2 (en) * 2019-01-28 2020-09-22 Qfeeltech (Beijing) Co., Ltd. Methods, apparatus, and systems for localization and mapping
CN111685655B (zh) * 2019-03-15 2023-07-04 北京奇虎科技有限公司 一种用于扫地机器人的任务调度方法及装置
US20200338731A1 (en) * 2019-04-25 2020-10-29 Michael L. Lynders Mobile robotic camera platform
WO2020226187A1 (ko) * 2019-05-03 2020-11-12 엘지전자 주식회사 다중 센서 및 인공지능에 기반하여 맵을 생성하고 맵을 이용하여 주행하는 로봇
US11216969B2 (en) * 2019-07-23 2022-01-04 Obayashi Corporation System, method, and computer-readable medium for managing position of target
CN112833883B (zh) * 2020-12-31 2023-03-10 杭州普锐视科技有限公司 一种基于多相机的室内移动机器人定位方法
CN114440889B (zh) * 2022-01-19 2024-05-28 南京航空航天大学 一种针对实时兴趣区动态进化的多域集群协同导航方法
CN115018851B (zh) * 2022-08-10 2022-10-11 江苏紫琅汽车集团股份有限公司 汽车镀锌板镀锌质量控制方法及控制器

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100478452B1 (ko) 2002-06-12 2005-03-23 삼성전자주식회사 이동 로봇의 위치 및 방향 인식 장치 및 방법
US7110602B2 (en) * 2002-08-21 2006-09-19 Raytheon Company System and method for detection of image edges using a polar algorithm process
US7760956B2 (en) * 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
KR100834577B1 (ko) 2006-12-07 2008-06-02 한국전자통신연구원 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치
KR100848642B1 (ko) * 2007-02-22 2008-07-28 고려대학교 산학협력단 영상 프레임을 암호화하는 방법과 복원하는 방법
KR101581197B1 (ko) * 2009-01-06 2015-12-30 삼성전자주식회사 로봇 및 그 제어방법
KR101513639B1 (ko) 2009-04-30 2015-04-20 엘지전자 주식회사 이동 로봇, 로봇 청소기 및 이동 로봇의 각도 검출 방법
KR101618030B1 (ko) 2009-07-28 2016-05-09 주식회사 유진로봇 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
CN102656532B (zh) * 2009-10-30 2015-11-25 悠进机器人股份公司 用于移动机器人位置识别的地图的生成及更新方法
KR101167627B1 (ko) 2010-02-25 2012-07-23 연세대학교 산학협력단 이동 로봇의 위치 및 지도의 이중 보정 장치 및 방법
KR20120070291A (ko) 2010-12-21 2012-06-29 삼성전자주식회사 보행 로봇 및 그의 동시 위치 인식 및 지도 작성 방법
KR20130004674A (ko) 2011-07-04 2013-01-14 주식회사 스마트센스테크놀러지 다 수개 지시물체의 위치인식장치
JP5963353B2 (ja) * 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962647B2 (en) 2016-11-30 2021-03-30 Yujin Robot Co., Ltd. Lidar apparatus based on time of flight and moving object
KR101849970B1 (ko) * 2016-12-27 2018-05-31 엘지전자 주식회사 로봇청소기 및 로봇청소기를 제어하는 방법
KR20190002900A (ko) * 2017-06-30 2019-01-09 현대자동차주식회사 로봇의 보행 제어시스템 및 그 제어방법
CN108181897A (zh) * 2017-12-11 2018-06-19 华侨大学 一种双足机器人自动循迹的方法

Also Published As

Publication number Publication date
US10275649B2 (en) 2019-04-30
EP3159125A1 (en) 2017-04-26
EP3159125A4 (en) 2018-05-23
KR101776622B1 (ko) 2017-09-11
WO2015194867A1 (ko) 2015-12-23
US20170154219A1 (en) 2017-06-01

Similar Documents

Publication Publication Date Title
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101708659B1 (ko) 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
KR101776620B1 (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN109084746B (zh) 用于具有辅助传感器的自主平台引导***的单目模式
US10948297B2 (en) Simultaneous location and mapping (SLAM) using dual event cameras
US9386209B2 (en) Method and apparatus for estimating position
Saeedi et al. Vision-based 3-D trajectory tracking for unknown environments
JP6198230B2 (ja) 深度カメラを使用した頭部姿勢トラッキング
KR101961001B1 (ko) 단일-카메라 거리 추정
KR20190042187A (ko) 깊이 값을 추정하는 방법 및 장치
KR102455632B1 (ko) 스테레오 매칭 방법 및 장치
JP2018522348A (ja) センサーの３次元姿勢を推定する方法及びシステム
JP7354528B2 (ja) 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム
JP2022011821A (ja) 情報処理装置、情報処理方法、移動ロボット
JP2017182564A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
KR102555269B1 (ko) 전방향 영상센서 및 관성측정센서의 자세추정 융합 방법 및 시스템
KR101866660B1 (ko) 동적인 환경에서 배경모델에 기반한 rgb-d 시각 주행 거리 측정 방법 및 장치
CN118209101A (zh) 一种应用于动态环境的多传感器融合slam方法及***
CN117095130A (zh) 一种三维建模方法及其***
Tistarelli et al. Uncertainty analysis in visual motion and depth estimation from active egomotion

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant