KR101598385B1 - 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇 - Google Patents

직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇 Download PDF

Info

Publication number
KR101598385B1
KR101598385B1 KR1020140155999A KR20140155999A KR101598385B1 KR 101598385 B1 KR101598385 B1 KR 101598385B1 KR 1020140155999 A KR1020140155999 A KR 1020140155999A KR 20140155999 A KR20140155999 A KR 20140155999A KR 101598385 B1 KR101598385 B1 KR 101598385B1
Authority
KR
South Korea
Prior art keywords
robot
information
images
unit
path
Prior art date
Application number
KR1020140155999A
Other languages
English (en)
Inventor
고동욱
서일홍
이진한
김용년
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020140155999A priority Critical patent/KR101598385B1/ko
Application granted granted Critical
Publication of KR101598385B1 publication Critical patent/KR101598385B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇에 관한 것으로, 보다 구체적으로는 영상획득부가 전면에 배치된 카메라를 통해 소정 장소 내 현재 위치에서 전방을 연속 촬영하여 복수 개의 영상을 획득하는 단계; 정보검출부가 획득한 상기 복수 개의 영상으로부터 상기 소정 장소에 대한 특징을 나타내는 직선 정보 및 상기 로봇의 움직임 변화를 나타내는 모션 정보를 검출하고, 검출한 직선 정보 및 모션 정보를 데이터베이스에 저장하는 단계; 지도생성부가 복수 개의 키넥트 센서를 이용하여 상기 소정 장소 내 장애물의 존재 여부를 포함하는 국소 격자지도를 생성하는 단계; 위치판단부가 상기 복수 개의 영상 내 포함된 직선 정보에 기초하여 상기 소정 장소에 대한 장소를 인식한 후, 상기 로봇의 현재 위치를 판단하는 단계; 경로획득부가 상기 데이터베이스로부터 저장된 모션 정보를 입력받아, 이에 기초하여 상기 로봇의 이동 경로를 획득하는 단계; 및 주행부가 획득한 상기 이동 경로를 따라 상기 로봇을 주행시키는 단계;를 포함하는 것을 특징으로 한다.
이러한 구성에 의해, 본 발명의 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇은 상기 로봇이 해당 장소 내 이전에 방문한 경우, 해당 장소를 촬영한 영상만을 이용하여 지도 없이도 상기 장소 내 원하는 목적지로 용이하게 자율 이동할 수 있는 효과가 있다.

Description

직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇{Autonomous driving method and robot using recognition scene based on straight line information}
본 발명은 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇에 관한 것으로, 특히 소정의 공간 내 위치하는 로봇이 상기 공간의 이전 방문 여부를 확인한 후, 지도없이 촬영 영상만을 이용하여 정확하게 목적지로 주행할 수 있는 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇에 관한 것이다.
IT 기술의 발달에 따라, 산업 분야에서 사람을 대신하여 위험한 일을 대신 수행하는 로봇에 대한 연구가 점차 늘어나고 있다. 이러한 산업용 로봇은 주로 위치가 고정되게 설치되어 한정된 공간에서 작업을 수행하는 반면에, 최근에는 주변 환경을 사람처럼 인식하고, 동작을 제어하는 지능형 로봇에 대한 많은 연구가 이루어지고 있다. 특히, 이러한 지능형 로봇의 구체적인 예로서는 로봇 청소기를 들 수 있는데, 이러한 로봇 청소기는 주변의 장애물들을 센서로 인식하고, 인식한 장애물을 피하며 자유롭게 이동하면서 청소를 수행한다.
이와 같이 로봇 청소기와 같은 자율 주행 로봇은 주행하고자 하는 전방을 촬영하여 영상을 획득하고, 획득한 영상에 포함된 특징을 이용하여 정확한 지도를 생성하고, 생성된 지도를 기반으로 하여 로봇의 현재 자신의 위치를 추정하는 방식을 이용한다.
하지만 이러한 경우, 로봇의 현재 위치를 파악하기 위해, 모든 특징에 대한 위치 정보를 기억하고, 현재 로봇의 위치를 추정하는데 있어, 많은 연산 처리과정이 필요할 뿐만 아니라, 로봇이 파악된 현재 위치로부터 목적지로 이동하는 경로 중에 장애물이 존재하는 경우, 해당 장애물을 회피하기 어렵다는 문제점이 발생했다.
KR 10-2013-0112507(S* 알고리즘을 이용한 이동로봇의 안전경로계획 수립방법, 인하대학교 산학협력단) 2013.10.14.
상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명은 지도 없이도 해당 장소에 로봇의 이전 방문한 경우, 해당 장소를 촬영한 영상만을 이용하여 용이하게 목적지로 이동할 수 있는 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇을 제공하고자 한다.
위와 같은 과제를 해결하기 위한 본 발명의 한 실시 예에 따른 소정의 공간에서 로봇이 자율적으로 주행하기 위한 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법은 영상획득부가 전면에 배치된 카메라를 통해 소정 장소 내 현재 위치에서 전방을 연속 촬영하여 복수 개의 영상을 획득하는 단계; 정보검출부가 획득한 상기 복수 개의 영상으로부터 상기 소정 장소에 대한 특징을 나타내는 직선 정보 및 상기 로봇의 움직임 변화를 나타내는 모션 정보를 검출하고, 검출한 직선 정보 및 모션 정보를 데이터베이스에 저장하는 단계; 지도생성부가 복수 개의 키넥트 센서를 이용하여 상기 소정 장소 내 장애물의 존재 여부가 포함된 국소 격자지도를 생성하는 단계; 위치판단부가 상기 복수 개의 영상 내 포함된 직선 정보에 기초하여 상기 소정 장소에 대한 장소를 인식한 후, 상기 로봇의 현재 위치를 판단하는 단계; 경로획득부가 상기 데이터베이스로부터 저장된 모션 정보를 입력받아, 이에 기초하여 상기 로봇의 이동 경로를 획득하는 단계; 및 주행부가 획득한 상기 이동 경로를 따라 상기 로봇을 주행시키는 단계;를 포함하는 것을 특징으로 한다.
보다 바람직하게는 상기 복수 개의 키넥트 센서로부터 상기 소정 장소에 대한 깊이 정보를 입력받고, 입력받은 깊이 정보에 기초하여 상기 소정 장소 중 바닥면의 노멀 벡터(normal vector)를 검출하는 과정; 상기 복수 개의 키넥트 센서로부터 상기 복수 개의 영상 내 각 픽셀에 대한 픽셀값을 획득하고, 획득한 픽셀값을 상기 소정 장소 중 바닥면의 노멀 벡터에 투영하는 과정; 상기 바닥면의 노멀 벡터에 투영된 상기 픽셀값이 기설정된 기준값을 초과하는 경우, 상기 소정 장소 내 장애물이 존재한다고 판단하는 과정; 및 상기 소정 장소 내 장애물의 존재 여부가 반영된 국소 격자지도를 생성하는 과정;을 포함하는 지도생성부가 국소 격자지도를 생성하는 단계를 포함할 수 있다.
특히, 상기 영상획득부가 획득한 영상과 상기 데이터베이스 내 기저장된 영상 간 유사한 영상이 존재할 확률과, 상기 영상획득부가 획득한 영상에 대하여 상기 경로획득부가 획득한 이동 경로가 동일하게 적용가능한 확률, 및 상기 로봇의 이동에 따라 발생이 예상되는 영상들의 확률을 곱한 값에 기초하여 상기 영상획득부가 획득한 영상 내 장소를 인식하는 위치판단부가 상기 소정 장소에 대한 장소를 인식한 후, 상기 로봇의 현재 위치를 판단하는 단계를 포함할 수 있다.
보다 바람직하게는 상기 복수 개의 영상을 획득할 당시의 로봇의 바퀴 정보를 상기 주행부로부터 입력받는 과정; 및 상기 복수 개의 영상에 대한 각각의 바퀴 정보를 상호 비교하여, 상기 로봇의 이동 변화를 나타내는 모션 정보를 검출하는 과정; 을 더 포함하는 정보검출부가 직선 정보 및 모션 정보를 검출하는 단계를 포함할 수 있다.
특히, 상기 영상획득부가 획득한 영상은 상기 데이터베이스 내 시각 메모리 영역에 저장되고, 상기 모션 정보는 상기 데이터베이스 내 공간 메모리 영역에 저장될 수 있다.
특히, 상기 복수 개의 영상이 일련의 시퀀스 형태로 상기 데이터베이스에 저장되는 영상획득부가 복수 개의 영상을 획득하는 단계를 포함할 수 있다.
보다 바람직하게는 상기 국소 격자지도 내 장애물이 포함된 경우, 회피경로설정부가 확률론적 로드맵(PRM: Probabilistic Roadmap)에 기초하여 상기 국소 격자지도 내 적어도 하나의 노드를 생성하는 단계; 상기 회피경로설정부가 상기 적어도 하나의 노드를 서로 연결하여 복수 개의 대체 경로를 확인하는 단계; 상기 회피경로설정부가 상기 복수 개의 대체 경로 중 상기 경로획득부가 획득한 이동 경로와 유사성이 가장 높은 대체 경로를 확인한 후, 확인한 대체 경로를 장애물 회피 경로로 설정하는 단계; 및 상기 주행부가 설정된 상기 장애물 회피 경로를 따라 상기 로봇을 주행시키는 단계;를 더 포함할 수 있다.
특히, 어휘트리(Vocabulary Tree)를 통해 학습되는 직선 정보를 포함할 수 있다.
위와 같은 과제를 해결하기 위한 본 발명의 다른 실시 예에 따른 소정의 공간에서 로봇이 자율적으로 주행하기 위한 직선 정보 기반 장소 인식을 이용한 자율주행 로봇은 전면에 배치된 카메라를 통해 소정 장소 내 현재 위치에서 전방을 연속 촬영하여 복수 개의 영상을 획득하는 영상획득부; 획득한 상기 복수 개의 영상으로부터 상기 소정 장소에 대한 특징을 나타내는 직선정보 및 상기 로봇의 움직임 변화를 나타내는 모션 정보를 검출하고, 검출한 직선 정보 및 모션 정보를 데이터베이스에 저장하는 정보검출부; 복수 개의 키넥트 센서를 이용하여 상기 소정 장소 내 장애물의 존재 여부가 포함된 국소 격자지도를 생성하는 지도생성부; 상기 복수 개의 영상 내 포함된 직선 정보에 기초하여 상기 소정 장소에 대한 장소를 인식하고, 인식한 결과에 기초하여 상기 로봇의 현재 위치를 판단하는 위치판단부; 상기 데이터베이스로부터 저장된 모션 정보를 입력받아, 이에 기초하여 상기 로봇의 이동 경로를 획득하는 경로획득부; 및 획득한 상기 이동 경로를 따라 상기 로봇을 주행시키는 주행부;를 포함하는 것을 특징으로 한다.
보다 바람직하게는 상기 국소 격자지도 내 장애물이 포함된 경우, 확률론적 로드맵(PRM: Probabilistic Roadmap)에 기초하여 상기 국소 격자지도 내 적어도 하나의 노드를 생성하고, 생성한 적어도 하나의 노드를 서로 연결하여 복수 개의 대체 경로를 확인한 후, 상기 복수 개의 대체 경로 중 상기 경로획득부가 획득한 이동 경로와 유사성이 가장 높은 대체 경로를 확인한 후, 확인한 대체 경로를 장애물 회피 경로로 설정하는 회피경로설정부;를 더 포함할 수 있다.
본 발명의 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇은 상기 로봇이 해당 장소 내 이전에 방문한 경우, 해당 장소를 촬영한 영상만을 이용하여 지도 없이도 상기 장소 내 원하는 목적지로 용이하게 자율 이동할 수 있는 효과가 있다.
또한, 본 발명의 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇은 로봇이 공간 내 원하는 목적지로 이동 시, 이동 겨로 내 장애물이 존재하는 경우, 해당 장애물을 회피하면서 목적지로 이동할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 직선 정보 기반 장소 인식을 이용한 자율 주행 로봇의 블록도이다.
도 2는 도 1의 직선 정보 기반 장소 인식을 이용한 자율 주행 로봇을 실제 구현한 도면이다.
도 3은 본 발명의 다른 실시 예에 따른 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법의 순서도이다.
도 4는 데이터베이스에 저장되는 영상 정보와 모션 정보를 나타내는 도면이다.
도 5는 이동 경로와 대체 경로의 실제 적용 여부를 나타낸 도면이다.
도 6은 본 발명을 적용하여 각 단계별 영상이다.
이하, 본 발명을 바람직한 실시 예와 첨부한 도면을 참고로 하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되는 것은 아니다.
이하, 설명하고자 하는 본 발명에 따른 직선 정보 기반 장소 인식을 이용한 로봇의 자율 주행 방법 및 자율 주행 로봇은 카메라를 이용하여 획득한 영상에 포함된 직선 정보를 기반으로 상기 영상이 나타내는 장소를 인식하고, 이에 따라 현재 로봇이 획득한 영상과 데이터베이스에 기저장된 장소에 해당하는 영상을 비교하여 상기 로봇이 이전에 방문했던 장소인지 여부를 확인한다. 이후, 확인된 현재 장소부터 목적지 장소까지 가기 위해 보여야 하는 영상들을 상기 데이터베이스로부터 모두 추출하고, 현재 영상에서 다음 영상으로 이동하기 위한 로봇행동 즉, 모션 정보를 만들어 냄으로써, 상기 로봇이 목적지로 이동하고, 정확한 지도없이 관측한 영상만을 이용하여 장소 내 로봇의 자율주행이 가능한 특징을 나타낸다.
이하, 도 1을 참조하여 본 발명에 따른 직선 정보 기반 장소 인식을 이용한 자율 주행 로봇에 대하여 자세히 살펴보도록 한다.
도 1은 본 발명의 일 실시 예에 따른 직선 정보 기반 장소 인식을 이용한 자율 주행 로봇의 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 직선 정보 기반 장소 인식을 이용한 자율주행 로봇(100)은 영상획득부(110), 정보검출부(120), 지도생성부(130), 위치판단부(140), 경로획득부(160), 회피경로설정부(170), 및 주행부(180)를 포함한다.
영상획득부(110)는 로봇의 전면에 적어도 하나의 카메라가 배치되고, 상기 적어도 하나의 카메라를 통해 소정 장소 내 현재 위치에서 전방을 연속 촬영하여 복수 개의 영상을 획득한다. 이때, 획득한 복수 개의 영상은 일련의 시퀀스 형태로 이루어져 데이터베이스에 저장된다.
정보검출부(120)는 상기 영상획득부(110)가 획득한 상기 복수 개의 영상으로부터 상기 소정 장소에 대한 특징을 나타냄과 동시에, 자연적 시각 지표 중 하나인 직선정보 및 상기 로봇의 움직임 변화를 나타내는 모션 정보를 검출하며, 검출한 직선 정보 및 모션 정보를 데이터베이스(150)에 저장한다. 이때, 상기 모션 정보는 상기 영상획득부(110)가 복수 개의 영상(It, It +1 … )을 획득할 당시의 로봇의 바퀴 정보를 상기 주행부(160)로부터 각각 입력받고, 입력받은 각 영상별 로봇의 바퀴정보를 상호 비교한다. 이에 따라, 획득하는 영상에 대한 바퀴 정보간 비교를 통해 상기 바퀴의 x 축 이동 위치(△x), y 축 이동 위치(△y), 이동 각도(θ)를 나타내는 모션 정보를 검출하고, 검출된 모션 정보를 데이터베이스(150)에 저장한다.
이때, 상기 데이터베이스(150)는 상기 영상획득부(110)에서 획득한 영상 정보를 내부의 시각 메모리 영역(Visual memory)에 저장하고, 상기 정보검출부(120)에서 획득한 모션 정보를 내부의 공간 메모리 영역(Spatial memory)에 각각 분리하여 저장한다.
지도생성부(130)는 내부에 구비된 복수 개의 키넥트 센서를 이용하여 상기 소정 장소 내 장애물이 존재하는지 여부를 나타내며, 동서남북으로 좌표선이 그려진 국소 격자지도(grid map)를 생성한다.
위치판단부(140)는 상기 복수 개의 영상 내 포함된 직선 정보에 기초하여 해당 장소를 이전에 방문한 적이 있는지 확인하여 상기 소정 장소에 대한 장소를 인식하고, 인식한 결과에 기초하여 로봇의 현재 위치를 판단한다.
경로획득부(160)는 상기 위치판단부(140)가 해당 장소에 상기 로봇이 이전 방문한 경우, 해당 장소를 인식하여 상기 로봇의 현재 위치를 판단하면, 상기 데이터베이스(150)로부터 저장된 모션 정보를 입력받아, 이에 기초하여 상기 로봇의 이동 경로를 획득한다. 즉, 상기 경로 획득부(160)는 상기 로봇이 해당 장소를 이전에 방문한 적이 있으므로, 방문 당시에 목적지 이동 시 촬영한 영상이 데이터베이스(150)에 기저장되어 있고, 또한 촬영 당시의 영상간 비교에 따른 로봇의 모션 정보 또한 상기 데이터베이스(150)에 기저장된다. 따라서, 상기 경로획득부(160)가 로봇의 이전 방문 당시에 저장된 모션 정보를 상기 데이터베이스(150)로부터 입력받고, 목적지를 나타내는 영상에 해당하는 모션 정보를 모두 반영하여 이를 통해 목적지까지 로봇의 이동 경로를 획득할 수 있다.
회피경로설정부(170)는 상기 지도생성부(130)가 생성한 국소 격자지도 내 장애물이 포함된 경우, 확률론적 로드맵(PRM: Probabilistic Roadmap)에 기초하여 상기 국소 격자지도 내 적어도 하나의 노드를 생성하고, 생성한 적어도 하나의 노드를 서로 연결하여 복수 개의 대체 경로를 확인한 후, 상기 복수 개의 대체 경로 중 상기 경로획득부(160)가 획득한 이동 경로와 유사성이 가장 높은 대체 경로를 확인하여 확인한 대체 경로를 장애물 회피 경로로서 설정한다.
이때, 사용되는 확률론적 로드맵이란, 연속적인 구성 공간을 적은 상태의 이산(Discrete) 공간으로 표현한 방법을 나타내는 것으로서, 구성 공간에서 랜덤하게 샘플링하여 만들어진 특징점들을 이어 로드맵을 만드는 것을 말한다. 이러한 확률론적 로드맵은 랜덤하게 축출된 점의 집단(Subset)을 이용하여 계산속도가 빠른 장점을 갖는다.
주행부(180)는 복수 개의 바퀴를 포함하여, 상기 경로획득부(160)가 획득한 상기 이동 경로 또는 장애물을 피하기 위해 회피경로설정부(170)가 생성한 장애물 회피 경로를 따라 목적지로 상기 로봇을 주행시킨다.
이러한 직선 정보 기반 장소 인식을 이용한 자율주행 로봇은 실제적으로는 도 2와 같이 구현될 수 있다. 이때, 도 2(a)는 도 1의 직선 정보 기반 장소 인식을 이용한 자율 주행 로봇을 실제 모형이고, 도 2(b)는 도 1의 회로도이며, 도 2(c)는 로봇이 실제 전면을 촬영한 영상을 나타낸다.
이하, 도 3을 참조하여, 본 발명의 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법에 대하여 자세히 살펴보도록 한다.
도 3은 본 발명의 다른 실시 예에 따른 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법의 순서도이다.
도 3에 도시된 바와 같이, 영상획득부(110)가 전면에 배치된 카메라를 통해 소정 장소 내 현재 위치에서 전방을 연속 촬영하여 복수 개의 영상을 획득한다(S210).
이어서, 정보검출부(120)가 획득한 상기 복수 개의 영상으로부터 상기 소정 장소에 대한 특징을 나타냄과 동시에 자연적 시각 지표 중 하나인 직선 정보 및 상기 로봇의 움직임 변화를 나타내는 모션 정보를 검출하고, 검출한 직선 정보 및 모션 정보를 데이터베이스(150)에 저장한다(S220). 이때, 상기 직선 정보는 어휘트리(Vocabulary Tree)를 통해 학습될 수 있다. 또한 상기 모션 정보는 상기 복수 개의 영상을 획득할 당시의 로봇의 바퀴 정보를 상기 주행부(180)로부터 입력받고, 상기 복수 개의 영상 각각에 대한 바퀴 정보를 상호 비교하여, 상기 로봇의 이동 변화를 나타내는 모션 정보를 검출한다.
이와 같이 검출된 상기 영상 정보, 직선 정보, 및 모션 정보는 상기 데이터베이스(150)에 저장된다.
도 4는 데이터베이스에 저장되는 영상 정보와 모션 정보를 나타내는 도면이다.
도 4에 도시된 바와 같이, 상기 영상획득부(110)가 획득한 영상 정보는 상기 데이터베이스(150) 내 일련의 시퀀스 형태로 시각 메모리(Visual memory)영역에 주기적으로 저장되고, 상기 모션 정보는 상기 데이터베이스(150) 내 공간 메모리(Spatial memory)영역에 각각 나누어 저장된다.
다시 도 3으로 돌아가서, 정보 검출이 완료됨에 따라 지도생성부(130)가 복수 개의 키넥트 센서를 이용하여 상기 소정 장소 내 장애물의 존재 여부를 포함하는 국소 격자지도를 생성한다(S230).
이러한 국소 격자지도의 생성과정을 보다 자세히 살펴보도록 한다. 먼저, 상기 복수 개의 키넥트 센서로부터 상기 소정 장소에 대한 깊이 정보(depth data)를 입력받고, 입력받은 깊이 정보에 기초하여 상기 소정 장소 중 바닥면의 노멀 벡터(normal vector)를 검출한다.
이어서, 상기 복수 개의 키넥트 센서로부터 상기 복수 개의 영상 내 각 픽셀에 대한 픽셀값을 획득하고, 획득한 픽셀값을 앞서 검출한 상기 소정 장소 중 바닥면의 노멀 벡터에 투영한다.
이때, 상기 바닥면의 노멀 벡터에 투영된 상기 픽셀값이 기설정된 기준값(예를 들면, 바닥면으로부터 10 cm)을 초과하는 경우에, 상기 소정 장소 내 장애물이 존재한다고 판단한다.
이처럼, 상기 픽셀값에 장애물이 존재하는지 여부를 확인한 후, 장애물의 존재 여부가 포함되며, 동서남북으로 좌표선이 그려진 국소 격자지도(grid map)를 생성한다.
만약, 상기 바닥면의 노멀 벡터에 투영된 상기 픽셀값이 기설정된 기준값을 초과하지 않아 장애물이 존재하지 않는다고 판단한 경우(S240), 위치판단부(140)가 상기 복수 개의 영상 내 포함된 직선 정보에 기초하여 상기 소정 장소를 이전에 방문한 적이 있는지 여부를 확인하여 그에 따라 소정 장소에 대한 장소를 인식한 후, 인식한 결과에 기초하여 상기 로봇의 현재 위치를 판단한다(S250).
특히, 상기 로봇의 현재 위치는 하기의 수학식 1에 기재된 베이지안 필터(Bayesian Filter)링을 통해 판단할 수 있다.
[수학식 1]
Figure 112014108360973-pat00001
즉, 상기 로봇의 현재 위치는 상기 영상획득부(110)가 획득한 영상과 상기 데이터베이스(150) 내 기저장된 영상 간에 유사한 영상이 존재할 확률(p(zt|xt))과, 상기 영상획득부(110)가 획득한 영상에 대하여 상기 경로획득부(160)가 획득한 이동 경로가 동일하게 적용가능한 확률(p(ψ|xt)), 및 상기 로봇의 이동에 따라 발생이 예상되는 즉, 목적지까지 이동 시, 보여져야 하는 영상들의 확률(bel(xt))을 곱한 값으로 표현될 수 있는데, 이때, 상기 곱한 값이 최대가 되는 영상을 상기 경로획득부(160)가 상기 데이터베이스(150) 내 시각 메모리 영역으로부터 검색하고, 검색한 영상 및 검색한 영상 촬영 당시의 로봇의 모션 정보를 상기 데이터베이스(150) 내 공간 메모리 영역으로부터 입력받는다.
이와 같이 영상을 입력받은 경로획득부(160)는 목적지까지의 복수 개의 영상에 대하여 영상 촬영 시 로봇의 모션 정보를 분석하여 상기 영상획득부(1100가 획득한 영상에 대한 장소를 인식하고, 이에 따라 상기 로봇의 현재 위치를 판단한다. 이어서, 상기 경로획득부(160)가 이동 경로를 획득한다(S260).
이후, 주행부(180)가 획득한 상기 이동 경로를 따라 상기 로봇을 주행시킨다(S270).
하지만 여기서, 국소 격자지도 내 장애물이 포함된 경우에 대하여 살펴보도록 한다.
인식된 영상을 기반으로 목적지까지의 이동 경로를 생성할 때, 가능한 경로를 갖는 경우와 가능하지 않는 경로를 갖는 경우를 나누어 확인할 수 있다.
도 5는 이동 경로와 대체 경로의 실제 적용 여부를 나타낸 도면이다.
도 5에 도시된 바와 같이, 만약 i12로 장소로 인식하는 경우에 i12를 기반으로 생성한 경로는 실제 환경에서 계획이 불가능하나, 이와 달리, i16, i17로 장소 인식 시에는 경로생성이 가능하며, 이때 경로를 우도(likelihood)로 이용함으로써, 장소인식 성능을 높일 수 있다.
이처럼, 상기 국소 격자지도 내 장애물이 포함된 경우, 우도를 이용하여 장소 인식을 높이기 위해, 회피경로설정부(170)가 확률론적 로드맵(PRM: Probabilistic Roadmap)에 기초하여 상기 국소 격자지도 내 적어도 하나의 노드를 생성한다(S280).
상기 회피경로설정부(170)가 상기 적어도 하나의 노드를 서로 연결하여 복수 개의 대체 경로를 확인한다(S290).
이에 따라, 상기 회피경로설정부(170)가 상기 복수 개의 대체 경로 중 상기 경로획득부(160)가 획득한 이동 경로와 유사성이 가장 높은 대체 경로를 확인하여, 유사성이 가장 높은 대체 경로를 장애물 회피 경로로 설정한다(S300).
이어서, 상기 주행부(180)가 설정된 상기 장애물 회피 경로를 따라 장애물을 회피하면서 목적지까지 상기 로봇을 주행시킨다(S310).
도 6은 본 발명을 적용하여 각 단계 별 영상이다.
이때, (a)는 카메라를 통해 전방에 대해 획득한 영상을 나타내고, (b)는 상기 영상에 키넥트 센서로부터 획득한 깊이 정보를 반영한 영상이고, (c)는 국소 격자 지도를 나타낸 영상이며, (d)는 확률론적 로드맵을 나타내며, (e)는 다수의 대체 경로 중 이동 경로와 가장 유사하다고 판단되는 대체 경로를 따라 로봇이 주행하도록 안내하고 있다.
본 발명의 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇은 상기 로봇이 해당 장소 내 이전에 방문한 경우, 해당 장소를 촬영한 영상만을 이용하여 지도 없이도 상기 장소 내 원하는 목적지로 용이하게 자율 이동할 수 있는 효과가 있다.
또한, 본 발명의 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇은 로봇이 공간 내 원하는 목적지로 이동 시, 이동 겨로 내 장애물이 존재하는 경우, 해당 장애물을 회피하면서 목적지로 이동할 수 있는 효과가 있다.
상기에서는 본 발명의 바람직한 실시 예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 본 발명의 기술 사상 범위 내에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 첨부된 특허청구범위에 속하는 것은 당연하다.
110: 영상획득부 120: 정보검출부
130: 지도생성부 140: 위치판단부
150: 데이터베이스 160: 경로획득부
170: 회피경로설정부 180: 주행부

Claims (10)

  1. 소정의 공간에서 로봇이 자율적으로 주행하기 위한 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법에 있어서,
    영상획득부가 전면에 배치된 카메라를 통해 소정 장소 내 현재 위치에서 전방을 연속 촬영하여 복수 개의 영상을 획득하는 단계;
    정보검출부가 획득한 상기 복수 개의 영상으로부터 상기 소정 장소에 대한 특징을 나타내는 직선 정보 및 상기 로봇의 움직임 변화를 나타내는 모션 정보를 검출하고, 검출한 직선 정보 및 모션 정보를 데이터베이스에 저장하는 단계;
    지도생성부가 복수 개의 키넥트 센서를 이용하여 상기 소정 장소 내 장애물의 존재 여부를 포함하는 국소 격자지도를 생성하는 단계;
    위치판단부가 상기 복수 개의 영상 내 포함된 직선 정보에 기초하여 상기 소정 장소에 대한 장소를 인식한 후, 상기 로봇의 현재 위치를 판단하는 단계;
    경로획득부가 상기 데이터베이스로부터 저장된 모션 정보를 입력받아, 이에 기초하여 상기 로봇의 이동 경로를 획득하는 단계; 및
    주행부가 획득한 상기 이동 경로를 따라 상기 로봇을 주행시키는 단계;
    를 포함하는 것을 특징으로 하는 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법.
  2. 제1항에 있어서,
    상기 지도생성부가 국소 격자지도를 생성하는 단계는
    상기 복수 개의 키넥트 센서로부터 상기 소정 장소에 대한 깊이 정보를 입력받고, 입력받은 깊이 정보에 기초하여 상기 소정 장소 중 바닥면의 노멀 벡터(normal vector)를 검출하는 과정;
    상기 복수 개의 키넥트 센서로부터 상기 복수 개의 영상 내 각 픽셀에 대한 픽셀값을 획득하고, 획득한 픽셀값을 상기 소정 장소 중 바닥면의 노멀 벡터에 투영하는 과정;
    상기 바닥면의 노멀 벡터에 투영된 상기 픽셀값이 기설정된 기준값을 초과하는 경우, 상기 소정 장소 내 장애물이 존재한다고 판단하는 과정; 및
    상기 소정 장소 내 장애물의 존재 여부가 반영된 국소 격자지도를 생성하는 과정;
    을 포함하는 것을 특징으로 하는 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법.
  3. 제1항에 있어서,
    상기 위치판단부가 상기 소정 장소에 대한 장소를 인식한 후, 상기 로봇의 현재 위치를 판단하는 단계는
    상기 영상획득부가 획득한 영상과 상기 데이터베이스 내 기저장된 영상 간 유사한 영상이 존재할 확률과, 상기 영상획득부가 획득한 영상에 대하여 상기 경로획득부가 획득한 이동 경로가 동일하게 적용가능한 확률, 및 상기 로봇의 이동에 따라 발생이 예상되는 영상들의 확률을 곱한 값에 기초하여 상기 영상획득부가 획득한 영상 내 장소를 인식하는 것을 특징으로 하는 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법.
  4. 제1항에 있어서,
    상기 정보검출부가 직선 정보 및 모션 정보를 검출하는 단계는
    상기 복수 개의 영상을 획득할 당시의 로봇의 바퀴 정보를 상기 주행부로부터 입력받는 과정; 및
    상기 복수 개의 영상에 대한 각각의 바퀴 정보를 상호 비교하여, 상기 로봇의 이동 변화를 나타내는 모션 정보를 검출하는 과정;
    을 더 포함하는 것을 특징으로 하는 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법.
  5. 제1항에 있어서,
    상기 영상획득부가 획득한 영상은 상기 데이터베이스 내 시각 메모리 영역에 저장되고, 상기 모션 정보는 상기 데이터베이스 내 공간 메모리 영역에 저장되는 것을 특징으로 하는 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법.
  6. 제1항에 있어서,
    상기 영상획득부가 복수 개의 영상을 획득하는 단계는
    상기 복수 개의 영상이 일련의 시퀀스 형태로 상기 데이터베이스에 저장되는 것을 특징으로 하는 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법.
  7. 제1항에 있어서,
    상기 국소 격자지도 내 장애물이 포함된 경우, 회피경로설정부가 확률론적 로드맵(PRM: Probabilistic Roadmap)에 기초하여 상기 국소 격자지도 내 적어도 하나의 노드를 생성하는 단계;
    상기 회피경로설정부가 상기 적어도 하나의 노드를 서로 연결하여 복수 개의 대체 경로를 확인하는 단계;
    상기 회피경로설정부가 상기 복수 개의 대체 경로 중 상기 경로획득부가 획득한 이동 경로와 유사성이 가장 높은 대체 경로를 확인한 후, 확인한 대체 경로를 장애물 회피 경로로 설정하는 단계; 및
    상기 주행부가 설정된 상기 장애물 회피 경로를 따라 상기 로봇을 주행시키는 단계;
    를 더 포함하는 것을 특징으로 하는 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법.
  8. 제1항에 있어서,
    상기 직선 정보는
    어휘트리(Vocabulary Tree)를 통해 학습되는 것을 특징으로 하는 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법.
  9. 소정의 공간에서 로봇이 자율적으로 주행하기 위한 직선 정보 기반 장소 인식을 이용한 자율주행 로봇에 있어서,
    전면에 배치된 카메라를 통해 소정 장소 내 현재 위치에서 전방을 연속 촬영하여 복수 개의 영상을 획득하는 영상획득부;
    획득한 상기 복수 개의 영상으로부터 상기 소정 장소에 대한 특징을 나타내는 직선정보 및 상기 로봇의 움직임 변화를 나타내는 모션 정보를 검출하고, 검출한 직선 정보 및 모션 정보를 데이터베이스에 저장하는 정보검출부;
    복수 개의 키넥트 센서를 이용하여 상기 소정 장소 내 장애물의 존재 여부를 포함하는 국소 격자지도를 생성하는 지도생성부;
    상기 복수 개의 영상 내 포함된 직선 정보에 기초하여 상기 소정 장소에 대한 장소를 인식하고, 인식한 결과에 기초하여 상기 로봇의 현재 위치를 판단하는 위치판단부;
    상기 데이터베이스로부터 저장된 모션 정보를 입력받아, 이에 기초하여 상기 로봇의 이동 경로를 획득하는 경로획득부; 및
    획득한 상기 이동 경로를 따라 상기 로봇을 주행시키는 주행부;
    를 포함하는 것을 특징으로 하는 직선 정보 기반 장소 인식을 이용한 자율 주행 로봇.
  10. 제9항에 있어서,
    상기 국소 격자지도 내 장애물이 포함된 경우, 확률론적 로드맵(PRM: Probabilistic Roadmap)에 기초하여 상기 국소 격자지도 내 적어도 하나의 노드를 생성하고, 생성한 적어도 하나의 노드를 서로 연결하여 복수 개의 대체 경로를 확인한 후, 상기 복수 개의 대체 경로 중 상기 경로획득부가 획득한 이동 경로와 유사성이 가장 높은 대체 경로를 확인한 후, 확인한 대체 경로를 장애물 회피 경로로 설정하는 회피경로설정부;
    를 더 포함하는 것을 특징으로 하는 직선 정보 기반 장소 인식을 이용한 자율 주행 로봇.
KR1020140155999A 2014-11-11 2014-11-11 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇 KR101598385B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140155999A KR101598385B1 (ko) 2014-11-11 2014-11-11 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140155999A KR101598385B1 (ko) 2014-11-11 2014-11-11 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇

Publications (1)

Publication Number Publication Date
KR101598385B1 true KR101598385B1 (ko) 2016-03-02

Family

ID=55582611

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140155999A KR101598385B1 (ko) 2014-11-11 2014-11-11 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇

Country Status (1)

Country Link
KR (1) KR101598385B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018186583A1 (ko) * 2017-04-04 2018-10-11 엘지전자 주식회사 주행 지면의 장애물을 식별하는 방법 및 이를 구현하는 로봇
KR101933296B1 (ko) * 2017-02-22 2018-12-27 한양대학교 산학협력단 전방 및 바닥 영상의 특징을 이용하는 이동 로봇의 자율 주행 방법 및 장치
KR20190103523A (ko) * 2018-02-13 2019-09-05 코가플렉스 주식회사 자율 주행 장치 및 방법
KR20190103524A (ko) * 2018-02-13 2019-09-05 코가플렉스 주식회사 자율 주행 장치 및 방법
US11442455B2 (en) 2018-12-24 2022-09-13 Samsung Electronics Co., Ltd. Method and apparatus for generating local motion based on machine learning
US20220342421A1 (en) * 2021-04-23 2022-10-27 Irobot Corporation Navigational control of autonomous cleaning robots
KR102555708B1 (ko) 2022-04-19 2023-07-13 호서대학교 산학협력단 타일 격자무늬 추적 자율주행 로봇을 위한 위치 인식 및 주행 제어 방법
KR102555709B1 (ko) 2022-04-19 2023-07-13 호서대학교 산학협력단 문자 행렬 지도 기반의 타일 격자무늬 추적 자율주행 로봇의 제어방법
KR102555707B1 (ko) 2022-04-19 2023-07-14 호서대학교 산학협력단 문자 인식을 통한 격자무늬 추적 로봇의 자율주행의 제어 방법
KR20240078897A (ko) 2022-11-28 2024-06-04 주식회사 벰소프트 동적 운반차를 위한 동적 가감속 방법 및 이를 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08211935A (ja) * 1995-01-31 1996-08-20 Sogo Keibi Hosho Co Ltd 自律型移動体の走行制御装置
KR20130112507A (ko) 2012-04-04 2013-10-14 인하대학교 산학협력단 Ｓ＊ 알고리즘을 이용한 이동로봇의 안전경로계획 수립방법
JP2014085940A (ja) * 2012-10-25 2014-05-12 Sharp Corp 平面検出装置およびそれを備えた自律移動装置
JP5550671B2 (ja) * 2012-03-29 2014-07-16 株式会社デンソーアイティーラボラトリ 自律走行ロボット及び自律走行ロボットの走行制御方法
JP5618124B2 (ja) * 2009-09-14 2014-11-05 国立大学法人奈良先端科学技術大学院大学 経路探索装置及び移動システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08211935A (ja) * 1995-01-31 1996-08-20 Sogo Keibi Hosho Co Ltd 自律型移動体の走行制御装置
JP5618124B2 (ja) * 2009-09-14 2014-11-05 国立大学法人奈良先端科学技術大学院大学 経路探索装置及び移動システム
JP5550671B2 (ja) * 2012-03-29 2014-07-16 株式会社デンソーアイティーラボラトリ 自律走行ロボット及び自律走行ロボットの走行制御方法
KR20130112507A (ko) 2012-04-04 2013-10-14 인하대학교 산학협력단 Ｓ＊ 알고리즘을 이용한 이동로봇의 안전경로계획 수립방법
JP2014085940A (ja) * 2012-10-25 2014-05-12 Sharp Corp 平面検出装置およびそれを備えた自律移動装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101933296B1 (ko) * 2017-02-22 2018-12-27 한양대학교 산학협력단 전방 및 바닥 영상의 특징을 이용하는 이동 로봇의 자율 주행 방법 및 장치
WO2018186583A1 (ko) * 2017-04-04 2018-10-11 엘지전자 주식회사 주행 지면의 장애물을 식별하는 방법 및 이를 구현하는 로봇
US11182625B2 (en) 2017-04-04 2021-11-23 Lg Electronics Inc. Method for identifying obstacle on driving ground and robot for implementing same
KR20190103524A (ko) * 2018-02-13 2019-09-05 코가플렉스 주식회사 자율 주행 장치 및 방법
KR102048999B1 (ko) * 2018-02-13 2019-11-27 코가플렉스 주식회사 자율 주행 장치 및 방법
KR102135672B1 (ko) * 2018-02-13 2020-07-20 코가플렉스 주식회사 자율 주행 장치 및 방법
KR20190103523A (ko) * 2018-02-13 2019-09-05 코가플렉스 주식회사 자율 주행 장치 및 방법
US11442455B2 (en) 2018-12-24 2022-09-13 Samsung Electronics Co., Ltd. Method and apparatus for generating local motion based on machine learning
US20220342421A1 (en) * 2021-04-23 2022-10-27 Irobot Corporation Navigational control of autonomous cleaning robots
US11940800B2 (en) * 2021-04-23 2024-03-26 Irobot Corporation Navigational control of autonomous cleaning robots
KR102555708B1 (ko) 2022-04-19 2023-07-13 호서대학교 산학협력단 타일 격자무늬 추적 자율주행 로봇을 위한 위치 인식 및 주행 제어 방법
KR102555709B1 (ko) 2022-04-19 2023-07-13 호서대학교 산학협력단 문자 행렬 지도 기반의 타일 격자무늬 추적 자율주행 로봇의 제어방법
KR102555707B1 (ko) 2022-04-19 2023-07-14 호서대학교 산학협력단 문자 인식을 통한 격자무늬 추적 로봇의 자율주행의 제어 방법
KR20240078897A (ko) 2022-11-28 2024-06-04 주식회사 벰소프트 동적 운반차를 위한 동적 가감속 방법 및 이를 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체

Similar Documents

Publication Publication Date Title
KR101598385B1 (ko) 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇
US11556844B2 (en) Artificial intelligence robot for determining cleaning route using sensor data and method for the same
JP7204326B2 (ja) 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム
KR101439921B1 (ko) 비젼 센서 정보와 모션 센서 정보를 융합한 모바일 로봇용 ｓｌａｍ 시스템
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101784183B1 (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US11554495B2 (en) Method of localization using multi sensor and robot implementing same
CN107179082B (zh) 基于拓扑地图和度量地图融合的自主探索方法和导航方法
JP2017215940A (ja) 情報処理装置、車両、情報処理方法およびプログラム
CN110895826A (zh) 图像处理的训练数据生成方法、图像处理方法及其装置
JP2007249632A (ja) 障害物のある環境下で自律移動する移動ロボットおよび移動ロボットの制御方法。
JP2012118909A (ja) 走行支援装置
US20190114490A1 (en) Information processing device, learned model, information processing method, and computer program product
KR20180066618A (ko) 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치
US20210405649A1 (en) Method of localization by synchronizing multi sensors and robot implementing same
US20230071794A1 (en) Method and system for building lane-level map by using 3D point cloud map
JP2018063476A (ja) 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム
CN112631269B (zh) 自主移动机器人及自主移动机器人的控制程序
KR101333496B1 (ko) 과거 지도 데이터 기반의 이동 로봇 제어 장치 및 방법
GB2578721A (en) Method and system for processing image data utilizing deep neural network
CN113433937A (zh) 基于启发式探索的分层导航避障***、分层导航避障方法
CN113158779B (zh) 一种行走方法、装置和计算机存储介质
KR102180036B1 (ko) 대상체의 예측 경로 데이터를 생성하는 방법, 장치 및 무인 차량
CN112528719A (zh) 推定装置、推定方法以及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 5