KR102458952B1 - 다중 센서 정보 lstm 기반의 무인 로봇 충돌 감지/경고 방법 및 시스템 - Google Patents

다중 센서 정보 lstm 기반의 무인 로봇 충돌 감지/경고 방법 및 시스템 Download PDF

Info

Publication number
KR102458952B1
KR102458952B1 KR1020200189696A KR20200189696A KR102458952B1 KR 102458952 B1 KR102458952 B1 KR 102458952B1 KR 1020200189696 A KR1020200189696 A KR 1020200189696A KR 20200189696 A KR20200189696 A KR 20200189696A KR 102458952 B1 KR102458952 B1 KR 102458952B1
Authority
KR
South Korea
Prior art keywords
collision
model
input image
situation
lstm
Prior art date
Application number
KR1020200189696A
Other languages
English (en)
Other versions
KR20220096866A (ko
Inventor
서성훈
김은혜
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200189696A priority Critical patent/KR102458952B1/ko
Priority to US17/502,769 priority patent/US12043286B2/en
Publication of KR20220096866A publication Critical patent/KR20220096866A/ko
Application granted granted Critical
Publication of KR102458952B1 publication Critical patent/KR102458952B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Robotics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

다중 센서 정보 LSTM 기반의 무인 로봇 충돌 감지 방법 및 시스템이 개시된다. 무인 로봇의 충돌 감지 방법은 무인 로봇으로부터 수신한 입력 영상, 라이다의 거리 정보, 및 가속도 정보를 결합하여 LSTM(Long Shot Term Memory) 모델의 입력을 생성하는 단계; 상기 입력을 LSTM 모델에 입력하여 충돌 위험 상황을 학습하는 단계; 및 상기 LSTM 모델의 출력 및 FNN(Fully connected Neural Network) 모델을 이용하여 충돌 상황을 판단하는 단계를 포함할 수 있다.

Description

다중 센서 정보 LSTM 기반의 무인 로봇 충돌 감지/경고 방법 및 시스템{METHOD AND SYSTEM FOR DETECTING AND ALERTING COLLISION OF AUTONOMOUS ROBOT BASED ON MULTI-SENSOR LSTM}
본 발명은 무인 로봇 충돌 감지 방법 및 시스템에 관한 것으로, 보다 구체적으로는 로봇에 탑재된 카메라의 입력 영상, 라이다(LIDAR)의 거리 정보 및 가속도 센서의 가속도 정보를 이용하여 무인 로봇의 자율 주행 경로 상의 장애물에 대한 충돌 경고 및 감지를 수행하는 장치에 관한 것이다.
무인 로봇의 자율 주행은 인간의 수동 조작 없이 로봇이 정해진 경로를 따라 목적지로 스스로 이동하는 것이다. 그러나, 로봇이 이동하는 경로는 미리 설정된 것이기 때문에 로봇이 자율 주행을 수행하는 시점에는 기존 경로 상에 사람, 자전거, 자동차, 새로 설치된 구조물과 같은 다양한 장애물이 존재할 수 있다.
따라서, 센서 정보를 이용하여 장애물과 무인 로봇 간의 충돌을 감지하고 충돌하기 전에 경고할 수 있는 방법이 요청되고 있다.
본 발명은 서로 다른 정보를 제공하는 각각의 센서 측정치를 강 결합 (tightly-coupled)하여 사용함으로써, 각 센서가 가지는 단점을 보완한 충돌 감지 방법 및 시스템을 제공할 수 있다.
본 발명의 일실시예에 따른 무인 로봇의 충돌 감지 방법은 무인 로봇으로부터 수신한 입력 영상, 라이다의 거리 정보, 및 가속도 정보를 결합하여 LSTM(Long Shot Term Memory) 모델의 입력을 생성하는 단계; 상기 입력을 LSTM 모델에 입력하여 충돌 위험 상황을 학습하는 단계; 및 상기 LSTM 모델의 출력 및 FNN(Fully connected Neural Network) 모델을 이용하여 충돌 상황을 판단하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 무인 로봇의 충돌 감지 방법의 상기 LSTM 모델은, 라이다의 거리 정보를 이용하여 장애물을 감지하였으나, 상기 입력 영상을 이용하여 상기 장애물을 인식할 수 없는 경우, 정상 상황으로 학습하고, 라이다의 거리 정보를 이용하여 장애물을 감지하고, 상기 입력 영상을 이용하여 상기 장애물을 인식할 수 있는 경우, 충돌 경고 상황으로 학습하며, 라이다의 거리 정보와 상기 입력 영상의 특징점 지도가 감소하였으나, 가속도 정보가 증가한 경우, 충돌 상황으로 학습할 수 있다.
본 발명의 일실시예에 따른 무인 로봇의 충돌 감지 방법의 상기 충돌 상황을 판단하는 단계는, FNN 모델에서 생성되는 3가지 출력(정상 주행, 충돌 경고, 충돌 감지)에 대한 정규 분포에 따라 상기 3가지 출력 중 가장 확률 분포 값이 큰 출력을 선택하고, 선택한 출력에 따라 충돌 상황을 판단할 수 있다.
본 발명의 일실시예에 따른 무인 로봇의 충돌 감지 방법은 상기 FNN 모델을 이용하여 판단한 충돌 상황과 실제 상황을 비교하여 학습 모델 최적화를 위한 비용 함수를 결정하는 단계; 및 상기 비용 함수에 따라 상기 LSTM 모델 및 상기 FNN 모델의 학습 모델을 최적화하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따른 무인 로봇의 충돌 감지 방법은 상기 입력 영상으로부터 상기 입력 영상의 특징점 지도를 생성하는 단계를 더 포함하고, 상기 LSTM 모델의 입력을 생성하는 단계는, 입력 영상의 특징점 지도와 라이다의 거리 정보, 및 가속도 정보를 결합할 수 있다.
본 발명의 일실시예에 따른 무인 로봇의 충돌 감지 방법의 상기 특징점 지도를 생성하는 단계는, 기 설정된 크기의 합성 곱 필터를 이용하여 상기 입력 영상으로부터 특징점을 추출하며, 상기 입력 영상의 크기를 축소시키는 단계; 추출한 특징점을 선형화하는 단계; 및 선형화된 특징점들을 기 설정된 크기로 분할하고, 분할된 특징점들의 대표값들을 이용하여 특징점 지도를 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 무인 로봇의 충돌 감지 시스템은 무인 로봇으로부터 수신한 입력 영상, 라이다의 거리 정보, 및 가속도 정보를 결합하여 LSTM 모델의 입력을 생성하고, 상기 입력을 LSTM 모델에 입력하여 충돌 위험 상황을 학습하는 LSTM 모델부; 및 상기 LSTM 모델의 출력 및 FNN 모델을 이용하여 충돌 상황을 판단하는 FNN 모델부를 포함할 수 있다.
본 발명의 일실시예에 따른 무인 로봇의 충돌 감지 시스템의 상기 LSTM 모델은, 라이다의 거리 정보를 이용하여 장애물을 감지하였으나, 상기 입력 영상을 이용하여 상기 장애물을 인식할 수 없는 경우, 정상 상황으로 학습하고, 라이다의 거리 정보를 이용하여 장애물을 감지하고, 상기 입력 영상을 이용하여 상기 장애물을 인식할 수 있는 경우, 충돌 경고 상황으로 학습하며, 라이다의 거리 정보와 상기 입력 영상의 특징점 지도가 감소하였으나, 가속도 정보가 증가한 경우, 충돌 상황으로 학습할 수 있다.
본 발명의 일실시예에 따른 무인 로봇의 충돌 감지 시스템의 상기 FNN 모델부는, FNN 모델에서 생성되는 3가지 출력(정상 주행, 충돌 경고, 충돌 감지)에 대한 정규 분포에 따라 상기 3가지 출력 중 가장 확률 분포 값이 큰 출력을 선택하고, 선택한 출력에 따라 충돌 상황을 판단할 수 있다.
본 발명의 일실시예에 따른 무인 로봇의 충돌 감지 시스템의 상기 FNN 모델부는, 상기 FNN 모델을 이용하여 판단한 충돌 상황과 실제 상황을 비교하여 학습 모델 최적화를 위한 비용 함수를 결정하고, 상기 비용 함수에 따라 상기 FNN 모델의 학습 모델을 최적화하며, 상기 LSTM 모델은, 상기 비용 함수에 따라 상기 LSTM 모델의 학습 모델을 최적화할 수 있다.
본 발명의 일실시예에 따른 무인 로봇의 충돌 감지 시스템은 상기 입력 영상으로부터 상기 입력 영상의 특징점 지도를 생성하는 특징점 지도 생성부를 더 포함하고, 상기 LSTM 모델부는, 입력 영상의 특징점 지도와 라이다의 거리 정보, 및 가속도 정보를 결합할 수 있다.
본 발명의 일실시예에 따른 무인 로봇의 충돌 감지 시스템의 상기 특징점 지도 생성부는, 기 설정된 크기의 합성 곱 필터를 이용하여 상기 입력 영상으로부터 특징점을 추출하며, 상기 입력 영상의 크기를 축소시키고, 추출한 특징점을 선형화하며, 선형화된 특징점들을 기 설정된 크기로 분할하고, 분할된 특징점들의 대표값들을 이용하여 특징점 지도를 생성할 수 있다.
본 발명의 일실시예에 의하면, 서로 다른 정보를 제공하는 각각의 센서 측정치를 강 결합 (tightly-coupled)하여 사용함으로써, 각 센서가 가지는 단점을 보완하여 더 안정적인 충돌 감지 시스템을 구성할 수 있다.
또한, 본 발명의 일실시예에 의하면, 인식한 장애물에 대한 충돌 가능성을 예측하거나 충돌이 발생했을 경우에 사용자에게 이상 상황에 대한 알림을 제공하여 즉각적인 대처가 가능하도록 할 수 있다.
그리고, 본 발명의 일실시예에 의하면, 사용자에게 이상 상황에 대한 알림을 제공하여 즉각적인 대처가 가능하도록 함으로써, 무인 이동 로봇 운영의 안정성을 확보할 수 있다,
도 1은 본 발명의 일실시예에 따른 무인 로봇 충돌 감지 시스템을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 무인 로봇 충돌 감지 시스템의 센서, 정보 획득부 및 전처리부의 동작을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 무인 로봇 충돌 감지 시스템의 센서가 획득한 정보들의 일례이다.
도 4는 본 발명의 일실시예에 따른 무인 로봇 충돌 감지 시스템의 특징점 지도 생성부, LSTM 모델부, 및 FNN 모델부의 동작을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 특징점 추출기의 상세 구성이다.
도 6은 본 발명의 일실시예에 따라 생성된 LSTM 모델의 입력의 일례이다.
도 7은 본 발명의 일실시예에 따른 LSTM 모델의 동작 일례이다.
도 8은 본 발명의 일실시예에 따른 무인 로봇 충돌 감지 시스템의 출력 UI의 일례이다.
도 9는 본 발명의 일실시예에 따른 무인 로봇 충돌 감지 방법을 도시한 플로우차트이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안 된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 무인 로봇 충돌 감지 시스템을 도시한 도면이다.
무인 로봇 충돌 감지 시스템(100)은 도 1에 도시된 바와 같이 정보 획득부(110), 전처리부(120), 특징점 지도 생성부(130), LSTM 모델부(140), FNN 모델부(150), 및 출력부(160)를 포함할 수 있다. 이때, 정보 획득부(110), 전처리부(120), 특징점 지도 생성부(130), LSTM 모델부(140), FNN 모델부(150), 및 출력부(160)는 서로 다른 프로세서, 또는 하나의 프로세서에서 수행되는 프로그램에 포함된 각각의 모듈일 수 있다.
또한, 무인 로봇 충돌 감지 시스템(100)은 무인 로봇과 별도의 서버나 단말에 포함될 수 있고, 무인 로봇 내부에 포함될 수도 있다. 무인 로봇 충돌 감지 시스템(100)이 무인 로봇 내부에 포함된 경우, 정보 획득부(110)는 센서(111)로 대체될 수 있다.
정보 획득부(110)는 로봇에 장착된 센서(111)로부터, 센서 정보를 일정 시간 간격, 또는 실시간으로 획득할 수 있다. 예를 들어, 정보 획득부(110)는 로봇과 무선으로 통신 가능한 통신기이며, 로봇으로부터 센서 정보를 무선으로 수신할 수 있다. 구체적으로, 센서(111)는 카메라, 라이다(LIDAR), 및 가속도 센서를 포함할 수 있다. 그리고, 센서 정보는 카메라에서 로봇의 전방을 촬영하여 생성된 입력 영상, 라이다에서 생성된 센서 부착 위치 기준 360도 포인트 클라우드(Point Cloud) 정보, 및 가속도 센서에서 생성된 센서 프레임 기준의 3축 가속도 정보를 포함할 수 있다.
전처리부(120)는 정보 획득부(110)가 센서(111)로부터 획득한 센서 정보를 인공 신경망(Artificial Neural Network) 모델에서 사용 가능하도록 전처리할 수 있다. 예를 들어, 전처리부(120)는 360도 포인트 클라우드 정보에서 추출한 거리 정보 및 3축 가속도 정보를 필터링한 가속도 정보를 LSTM 모델부(140)로 출력할 수 있다. 또한, 전처리부(120)는 입력 영상을 전처리하여 특징점 지도 생성부(130)로 출력할 수 있다.
특징점 지도 생성부(130)는 전처리된 입력 영상으로부터 입력 영상의 특징점 지도를 생성할 수 있다. 이때, 특징점 지도 생성부(130)는 기 설정된 크기의 합성 곱 필터를 이용하여 입력 영상으로부터 특징점을 추출하며, 입력 영상의 크기를 축소시킬 수 있다. 다음으로, 특징점 지도 생성부(130)는 추출한 특징점을 선형화할 수 있다. 그 다음으로, 특징점 지도 생성부(130)는 선형화된 특징점들을 기 설정된 크기로 분할하고, 분할된 특징점들의 대표값들을 이용하여 특징점 지도를 생성할 수 있다.
LSTM 모델부(140)는 입력 영상, 라이다의 거리 정보, 및 가속도 정보를 결합하여 LSTM(Long Shot Term Memory) 모델의 입력을 생성할 수 있다. 구체적으로, LSTM 모델부(140)는 특징점 지도 생성부(130)에서 출력된 입력 영상의 특징점 지도와 전처리부(120)에서 출력된 라이다의 거리 정보, 및 가속도 정보를 결합하여 LSTM 모델의 입력을 생성할 수 있다.
그리고, LSTM 모델부(140)는 생성한 입력을 LSTM 모델에 입력하여 충돌 위험 상황을 학습할 수 있다.
이때, LSTM 모델은 입력 영상을 이용하여 장애물을 인식할 수 없고, 라이다의 거리 정보에 포함된 장애물과 무인 로봇 간의 거리가 충돌 위험이 없을 정도의 원거리인 경우, 정상 상황으로 학습할 수 있다.
또한, LSTM 모델은 입력 영상을 이용하여 장애물을 인식할 수 있고, 라이다의 거리 정보에 포함된 장애물과 무인 로봇 간의 거리가 충돌 위험이 있는 범위 안의 거리인 경우, 충돌 경고 상황으로 학습할 수 있다. 그리고, LSTM 모델은 입력 영상을 이용하여 장애물을 인식할 수 없으나, 라이다의 거리 정보에 포함된 장애물과 무인 로봇 간의 거리가 충돌 위험이 있는 범위 안의 거리인 경우, 충돌 경고 상황으로 학습할 수 있다.
또한, LSTM 모델은 입력 영상의 특징점 지도가 감소하고, 라이다의 거리 정보에 포함된 장애물과 무인 로봇 간의 거리가 임계값 미만의 근거리이며, 가속도 정보가 증가한 경우, 충돌 상황으로 학습할 수 있다.
FNN 모델부(150)는 LSTM 모델의 출력 및 FNN(Fully connected Neural Network) 모델을 이용하여 충돌 상황을 판단할 수 있다. 이때, FNN 모델부(150)는 LSTM 모델의 출력을 입력받은 FNN 모델에서 생성되는 3가지 출력(정상 주행, 충돌 경고, 충돌 감지)에 대한 정규 분포에 따라 3가지 출력 중 가장 확률 분포 값이 큰 출력을 선택하고, 선택한 출력에 따라 충돌 상황을 판단할 수 있다.
또한, FNN 모델부(150)는 FNN 모델을 이용하여 판단한 충돌 상황과 실제 상황을 비교하여 학습 모델 최적화를 위한 비용 함수를 결정할 수 있다. 이때, 특징점 지도 생성부(130), LSTM 모델부(140) 및 FNN 모델부(150)는 비용 함수에 따라 특징점 지도 생성부(130)의 학습 모델, LSTM 모델의 학습 모델 및 FNN 모델의 학습 모델을 최적화할 수 있다.
출력부(160)는 FNN 모델부(150)의 판단 결과를 출력할 수 있다. 이때, 출력부(160)는 카메라 영상 내 객체 인식 결과, 라이다 클라우드 포인트 정보, 가속도 센서의 정보를 사용자에게 제공할 수 있다. 또한, 출력부(150)는 로봇 정상 주행, 충돌 경고 및 감지에 대한 분류 결과를 사용자에게 제공할 수 있다.
무인 로봇 충돌 감지 시스템(100)은 로봇에 탑재된 카메라의 입력 영상, 라이다(LIDAR)의 거리 정보 및 가속도 센서의 가속도 정보를 결합하여 효율적으로 주행 경로 상의 전방 장애물을 인식할 수 있다. 그리고, 무인 로봇 충돌 감지 시스템(100)은 인식한 장애물에 대한 충돌 가능성을 예측하거나 충돌이 발생했을 경우에 사용자에게 이상 상황에 대한 알림을 제공하여 즉각적인 대처가 가능하도록 할 수 있다.
또한, 무인 로봇 충돌 감지 시스템(100)은 사용자에게 이상 상황에 대한 알림을 제공하여 즉각적인 대처가 가능하도록 함으로써, 무인 이동 로봇 운영의 안정성을 확보할 수 있다,
도 2는 본 발명의 일실시예에 따른 무인 로봇 충돌 감지 시스템의 센서, 정보 획득부 및 전처리부의 동작을 도시한 도면이다.
센서(111)의 카메라(211)는 무인 로봇의 전방을 촬영하여 입력 영상을 생성하고, 생성한 입력 영상이 포함된 영상 정보(221)를 정보 획득부(110)로 전송할 수 있다. 또한, 센서(111)의 라이다(LIDAR)(212)는 센서 부착 위치 기준 360도 포인트 클라우드 정보(222)를 생성하여 정보 획득부(110)로 전송할 수 있다. 그리고, 센서(111)의 가속도 센서(213)는 센서 프레임 기준의 3축 가속도 정보(223)를 생성하여 정보 획득부(110)로 전송할 수 있다.
정보 획득부(110)는 수신한 영상 정보(221), 포인트 클라우드 정보(222), 및 3축 가속도 정보(223)을 전처리부(120)로 전송할 수 있다.
전처리부(120)는 영상 정보(221)에 포함된 입력 영상에 대하여 카메라의 렌즈에 의한 왜곡 보정, 조도 영향 보정, 명암 균일화과 같은 입력 영상에 대한 전처리 작업을 수행함으로써, 영상 정보를 균일화(231)할 수 있다.
또한, 전처리부(120)는 360도 포인트 클라우드 정보에서 무인 로봇의 이동 경로 상의 전방 포인트 클라우드에 대한 거리 정보를 추출(232)하는 전처리를 수행할 수 있다.
그리고, 전처리부(120)는 3축 가속도 정보에서 3축의 중력 가속도 및 센서 바이어스를 제거하고, 고대역 통과 필터(High-pass filter)로 필터링(233)하는 전처리를 수행함으로써, 가속도의 급격한 변화를 보다 명확히 검출할 수 있는 가속도 정보를 출력할 수 있다.
도 3은 본 발명의 일실시예에 따른 무인 로봇 충돌 감지 시스템의 센서가 획득한 정보들의 일례이다.
센서(111)의 카메라(211)가 전송하는 영상 정보(310)는 영상 처리 과정을 통해서 도 3에 도시된 바와 같이 영상 안의 사람 , 자전거 , 구조물 등과 같은 객체를 인식할 수 있는 입력 영상을 포함할 수 있다.
센서(111)의 라이다(212)가 전송하는 포인트 클라우드 정보(320)는 도 3에 도시된 바와 같이 주변 객체에 대한 거리 및 방향각을 제공하는 정보일 수 있다.
센서(111)의 가속도 센서(213)가 전송하는 3축 가속도 정보(330)는 도 3에 도시된 바와 같이 무인 로봇이 장애물에 충돌했을 때 받는 충격 량을 가속도로 환산한 정보일 수 있다. 3축 가속도 정보(330)에서 점선 원으로 표시된 부분이 충돌에 따른 충격량을 환산한 가속도 값일 수 있다.
도 4는 본 발명의 일실시예에 따른 무인 로봇 충돌 감지 시스템의 특징점 지도 생성부, LSTM 모델부, 및 FNN 모델부의 동작을 도시한 도면이다.
특징점 지도 생성부(130)의 특징점 추출기(411)는 M x N 크기의 입력 영상을 합성곱(Convolution) 필터에 통과시켜 입력 영상의 사이즈를 축소시키며, 특징점 지도를 획득할 수 있다. 다음으로, 특징점 추출기(411)는 획득한 특징점 지도에 추출 (Pooling) 과정을 수행하여 특징 정보를 유지한 상태로 사이즈를 축소시킬 수 있다.
특징점 추출기(411)는 LSTM 모델의 입력 크기에 대응될 때까지 상기 과정을 반복하여 특징점 지도의 크기를 감소시킴으로써, LSTM 모델의 입력 크기에 대응되는 사이즈의 특징점 지도를 출력할 수 있다.
플랫 레이어(412)는 특징점 추출기(411)에서 출력된 특징점 지도를 1 x K 형태의 행렬로 변환하여 LSTM 모델부(140)로 전송할 수 있다.
LSTM 모델부(140)의 LSTM 입력 생성기(421)는 특징점 지도 생성부(130)에서 출력된 특징점 지도, 전처리부(120)에서 출력된 라이다의 거리 정보, 및 가속도 정보를 결합하여 LSTM 모델(422)의 입력을 생성할 수 있다.
그리고, LSTM 모델부(140)는 LSTM 입력 생성기(421)에서 생성한 입력을 LSTM 모델(422)에 입력하여 충돌 위험 상황을 학습할 수 있다. LSTM은 이전 시점의 학습 결과가 현재 시점에 반영되기 때문에 로봇의 이동에 의해 연속적으로 획득되는 영상, 라이다, 가속도계 값을 입력으로 사용하게 되면 로봇의 정상 주행 상황과 다르게 발생하는 충돌 위험 상황을 더욱 효과적으로 학습하고 판단할 수 있다.
FNN 모델부(150)는 LSTM 모델(422)의 출력 셀(Cell)을 입력 받아 충돌 상황 판단 및 학습 모델 최적화를 위한 비용 함수(Cost function)을 계산할 수 있다. 이때, LSTM 모델(422)의 출력 셀은 정보 손실을 줄이기 위해 최종 판단 함수인 Softmax Function의 입력보다 비교적 많은 개수를 가질 수 있다.
따라서, FNN 모델(431)은 Hidden Layer를 통해서 LSTM의 입력에 대한 로봇의 정상 주행(441), 충돌 경고(442), 충돌 감지(443)의 3개 출력을 생성할 수 있다. 그리고, 최종 판단부(432)의 Softmax Function은 3 개의 출력에 대한 정규 분포를 이용하여 출력 중 가장 큰 확률 분포 값을 갖는 출력을 선택하고, 선택한 출력에 따라 충돌 상황을 판단할 수 있다. 그리고, 최종 판단부(432)는 판단 결과에 따라 정상 주행(441), 충돌 경고(442), 충돌 감지(443) 중 하나를 포함한 출력(440)을 출력부(160)로 전송할 수 있다. 그리고, 출력부(160)는 수신한 출력이 충돌 경고(442), 또는 충돌 감지(443)인 경우, 사용자에게 알람을 통하여 무인 로봇의 충돌 가능성, 및 충돌 발생을 알릴 수 있다.
비용 함수 계산부(433)는 FNN 모델을 이용하여 판단한 충돌 상황과 실제 상황을 비교하여 학습 모델 최적화를 위한 비용 함수를 결정할 수 있다. 그리고, 비용 함수 계산부(433)는 역전파(Back-propagation) 기법을 통해서 특징점 지도 생성부(130), LSTM 모델부(140) 및 FNN 모델부(150)로 비용 함수를 전달 함으로써, 특징점 지도 생성부(130), LSTM 모델부(140) 및 FNN 모델부(150)가 각각 비용 함수에 따라 특징점 지도 생성부(130)의 학습 모델, LSTM 모델의 학습 모델 및 FNN 모델의 학습 모델을 최적화하는 과정을 반복 수행하도록 할 수 있다.
도 5는 본 발명의 일실시예에 따른 특징점 추출기의 상세 구성이다.
특징점 추출기(411)는 도 5에 도시된 바와 같이 합성곱 필터(510), ReLu 함수(520), 및 추출 레이어(530)를 포함할 수 있다.
입력 영상은 M x N 크기의 픽셀 단위로 입력된다. 예를 들어 가장 일반적으로 사용되는 640 x 480 크기의 영상을 사용할 경우 총 307,200개의 픽셀이 존재한다. 이 픽셀을 그대로 입력으로 사용할 경우, 영상 처리 시간의 증가에 의한 인공지능 모델의 성능 저하가 발생한다. 따라서 특징점 추출기(Feature Extractor)(411)는 정의된 J x H ( J < M, H < N ) 크기의 합성 곱 필터(510)를 상하좌우로 이동시키며 특징점을 추출할 수 있다 이때, 합성 곱 필터(510)의 특성에 의해 입력 영상의 크기가 축소될 수 있다.
합성 곱 필터(510)를 이용하여 추출된 특징점들은 ReLu 활성화 함수(220)에 입력될 수 있다.
ReLu 활성화 함수(220)는 추출된 특징점 값을 선형화하고, 특징점 위치 이외의 잔여 값을 0으로 만듦으로써, 특징점 추출 성능 및 영상 처리 속도를 빠르게 할 수 있다.
추출 레이어(530)는 ReLu 활성화 함수(220)을 거친 특징점들 지도를 일정 크기로 분할하고, 분할된 각 구역의 대표 값(예를 들면, 가장 큰 값)을 추출하여 V x B (V < J, B < H) 의 형태로 축소된 특징점 지도를 생성할 수 있다.
도 6은 본 발명의 일실시예에 따라 생성된 LSTM 모델의 입력의 일례이다.
LSTM 모델의 입력은 도 6에 도시된 바와 같이 1 x K 형태의 행렬로 변환된 특징점 지도(610), 주행 경로 앞에 위치한 장애물까지의 거리가 포함된 라이다의 거리 정보(620), 및 가속도 센서가 측정한 3차원 가속도 값(630)이 결합된 정보일 수 있다.
도 7은 본 발명의 일실시예에 따른 LSTM 모델의 동작 일례이다.
라이다의 거리 측정치와 가속도계의 가속도 측정치는 주변 환경에 따라서 측정되는 값의 평균, 분산과 같은 요소가 변화하기 때문에 각각의 센서를 통해서 충돌이 예상되거나 발생했을 경우를 판단하기 위해서는 충돌 이슈 이전 시점의 정보가 필요하다. 또한 도 6에 도시된 입력과 같이 영상 특징점의 시간에 따른 변화를 함께 사용하는 경우, 충돌 가능한 객체의 상태 변화를 미리 인지할 수 있기 때문에 충돌 예방 성능을 향상시킬 수 있다.
도 4의 Xt, Yt, Ct, Ht는 각각 매 시점의 LSTM의 입력, 출력, 장기 메모리 셀, 단기 이전 출력을 나타낼 수 있다. 또한, 장기 메모리 셀은 입력 정보에 생성되고 갱신된 상태 정보를 장기적인 관점에서 저장할 수 있다. 또한, 단기 이전 출력은 직전 시점의 LSTM의 출력을 사용하여 현재 시점의 입력과 함께 학습 및 분류에 사용될 수 있다.
단계(410)은 전방에 장애물로 의심되는 물체가 존재하는 경우에 대한 동작 예시이다. 직진성이 강한 레이저를 사용하는 라이다의 경우 카메라를 통해 객체를 인식할 수 있는 거리보다 먼 지점에 있는 물체를 확인할 수 있다. 단계(410)에서 입력은 영상 특징점 지도의 값이 낮으며, 가속도계 값 역시 로봇의 움직임에 의한 가속도 성분 값 만을 가질 수 있다. 그러므로, 앞서 설명한 특징을 가지는 입력이 LSTM 모델로 입력된 경우, LSTM 모델은 상실 게이트(forget gate), 입력 게이트(input gate), 출력 게이트(output gate)를 거쳐서 셀 상태 및 단기 이전 출력을 다음 시점의 입력에 대해 사용할 수 있도록 전달할 수 있다.
단계(420)는 로봇이 장애물로 의심되던 물체에 접근함에 따라 장애물로 카메라 영상을 통해 인식되었고, 따라서 특징 점 지도의 값이 상승하며, 라이다 거리 측정치의 값이 감소한 상황이다. 이때, LSTM 모델은 상실 게이트(forget gate), 입력 게이트(input gate), 출력 게이트(output gate)를 거쳐서 셀 상태 및 단기 이전 출력을 다음 시점의 입력에 대해 사용할 수 있도록 전달하며, 장애물 경고 상황에 대한 학습 및 분류를 수행할 수 있다.
단계(430)는 장애물과 무인 로봇이 충돌한 상황이다. 장애물과 무인 로봇이 접촉한 상태이기 때문에 영상 특징 점 지도와 라이다 거리 정보는 크게 감소할 수 있다. 다만, 로봇이 충돌한 장애물이 존재하는 방향에 대한 가속도계 센서의 축에 따라서 기존의 정상적인 주행 환경 대비 큰 값을 갖는 가속도 값이 존재할 수 있다. 따라서, LSTM 모델은 이전의 정상상태, 장애물 감지, 충돌 경고 정보를 갖는 셀 상태와 이전 단기 입력을 통해 현재 상태가 충돌 상태임을 학습 및 분류한다.
도 8은 본 발명의 일실시예에 따른 무인 로봇 충돌 감지 시스템의 출력 UI의 일례이다.
출력부(160)가 사용자에게 제공하는 출력 UI는 도 8에 도시된 바와 같이 영상 출력, 라이다 포인트 클라우드 정보 출력, 가속도계 센서 정보 출력, 충돌 상황 판단 결과로 구성될 수 있다.
영상 출력부에서는 매 시점에 입력된 영상 내의 객체를 인식하여 이동 경로 내에 장애물이 존재함을 나타낼 수 있다.
라이다 포인트 클라우드 정보 출력부는 라이다를 통해 영상 입력 시점의 라이다 포인트 클라우드 정보를 출력하고, 전방 이동 경로 상의 포인트 클라우드는 빨간색으로 표시할 수 있다.
가속도계 출력부는 고대역 통과 필터를 거친 3축 가속도계 값을 출력할 수 있다.
이때, 충돌 위험이 없는 정상 주행 상황에서는 정상(Normal) 박스가 체크되어 표시될 수 있다. 또한, 인식된 전방 장애물에 대한 라이다 측정치의 거리 정보가 충돌 위험 반경에 도달하면, 충돌 경고(Collision Alert) 박스가 체크되어 표시될 수 있다. 그리고, 무인 로봇이 장애물에 충돌한 경우, 가속도계 센서의 이상 값에 검출 메시지 및 표시가 발생하고, 충돌 감지(Collision Detection) 박스가 체크되어 표시될 수 있다.
도 9는 본 발명의 일실시예에 따른 무인 로봇 충돌 감지 방법을 도시한 플로우차트이다.
단계(910)에서 정보 획득부(110)는 로봇에 장착된 센서(111)로부터, 센서 정보를 일정 시간 간격, 또는 실시간으로 획득할 수 있다. 예를 들어, 센서 정보는 카메라에서 로봇의 전방을 촬영하여 생성된 입력 영상, 라이다에서 생성된 센서 부착 위치 기준 360도 포인트 클라우드(Point Cloud) 정보, 및 가속도 센서에서 생성된 센서 프레임 기준의 3축 가속도 정보를 포함할 수 있다.
단계(920)에서 전처리부(120)는 단계(910)에서 획득한 센서 정보를 인공 신경망 모델에서 사용 가능하도록 전처리할 수 있다. 예를 들어, 전처리부(120)는 360도 포인트 클라우드 정보에서 추출한 거리 정보 및 3축 가속도 정보를 필터링한 가속도 정보를 LSTM 모델부(140)로 출력할 수 있다. 또한, 전처리부(120)는 입력 영상을 전처리하여 특징점 지도 생성부(130)로 출력할 수 있다.
단계(930)에서 특징점 지도 생성부(130)는 단계(920)에서 전처리된 입력 영상으로부터 입력 영상의 특징점 지도를 생성할 수 있다. 이때, 특징점 지도 생성부(130)는 기 설정된 크기의 합성 곱 필터를 이용하여 입력 영상으로부터 특징점을 추출하며, 입력 영상의 크기를 축소시킬 수 있다. 다음으로, 특징점 지도 생성부(130)는 추출한 특징점을 선형화할 수 있다. 그 다음으로, 특징점 지도 생성부(130)는 선형화된 특징점들을 기 설정된 크기로 분할하고, 분할된 특징점들의 대표값들을 이용하여 특징점 지도를 생성할 수 있다.
단계(940)에서 LSTM 모델부(140)는 단계(930)에서 출력된 입력 영상의 특징점 지도와 단계(920)에서 출력된 라이다의 거리 정보, 및 가속도 정보를 결합하여 LSTM 모델의 입력을 생성할 수 있다. 그리고, LSTM 모델부(140)는 생성한 입력을 LSTM 모델에 입력하여 충돌 위험 상황을 학습할 수 있다. 다음으로, FNN 모델부(150)는 LSTM 모델의 출력 및 FNN(Fully connected Neural Network) 모델을 이용하여 충돌 상황을 판단할 수 있다. 이때, FNN 모델부(150)는 LSTM 모델의 출력을 입력받은 FNN 모델에서 생성되는 3가지 출력(정상 주행, 충돌 경고, 충돌 감지)에 대한 정규 분포에 따라 3가지 출력 중 가장 확률 분포 값이 큰 출력을 선택하고, 선택한 출력에 따라 충돌 상황을 판단할 수 있다.
단계(950)에서 FNN 모델부(150)는 FNN 모델을 이용하여 판단한 충돌 상황과 실제 상황을 비교하여 학습 모델 최적화를 위한 비용 함수를 결정할 수 있다.
단계(960)에서 특징점 지도 생성부(130), LSTM 모델부(140) 및 FNN 모델부(150)는 단계(950)에서 결정된 비용 함수에 따라 특징점 지도 생성부(130)의 학습 모델, LSTM 모델의 학습 모델 및 FNN 모델의 학습 모델을 최적화할 수 있다.
단계(970)에서 출력부(160)는 FNN 모델부(150)의 판단 결과를 출력할 수 있다. 이때, 출력부(160)는 카메라 영상 내 객체 인식 결과, 라이다 클라우드 포인트 정보, 가속도 센서의 정보를 사용자에게 제공할 수 있다. 또한, 출력부(150)는 로봇 정상 주행, 충돌 경고 및 감지에 대한 분류 결과를 사용자에게 제공할 수 있다.
또한, 단계(950) 및 단계(960)은 단계(970) 이후에 수행되거나, 단계(970)과 병렬로 수행될 수 있다.
본 발명은 서로 다른 정보를 제공하는 각각의 센서 측정치를 강 결합 (tightly-coupled)하여 사용함으로써, 각 센서가 가지는 단점을 보완하여 더 안정적인 충돌 감지 시스템을 구성할 수 있다.
또한, 본 발명은 인식한 장애물에 대한 충돌 가능성을 예측하거나 충돌이 발생했을 경우에 사용자에게 이상 상황에 대한 알림을 제공하여 즉각적인 대처가 가능하도록 할 수 있다.
그리고, 본 발명은 사용자에게 이상 상황에 대한 알림을 제공하여 즉각적인 대처가 가능하도록 함으로써, 무인 이동 로봇 운영의 안정성을 확보할 수 있다,
한편, 본 발명에 따른 무인 로봇 충돌 감지 시스템 또는 무인 로봇 충돌 감지 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체)에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안 되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안 되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
110: 정보 획득부
120: 전처리부
130: 특징점 지도 생성부
140: LSTM 모델부
150: FNN 모델부
160: 출력부

Claims (13)

  1. 무인 로봇으로부터 수신한 입력 영상, 라이다의 거리 정보, 및 가속도 정보를 결합하여 LSTM(Long Shot Term Memory) 모델의 입력을 생성하는 단계;
    상기 입력을 LSTM 모델에 입력하여 충돌 위험 상황을 학습하는 단계; 및
    상기 LSTM 모델의 출력 및 FNN(Fully connected Neural Network) 모델을 이용하여 충돌 상황을 판단하는 단계
    를 포함하는 무인 로봇의 충돌 감지 방법.
  2. 제1항에 있어서,
    상기 LSTM 모델은,
    라이다의 거리 정보를 이용하여 장애물을 감지하였으나, 상기 입력 영상을 이용하여 상기 장애물을 인식할 수 없는 경우, 정상 상황으로 학습하고,
    라이다의 거리 정보를 이용하여 장애물을 감지하고, 상기 입력 영상을 이용하여 상기 장애물을 인식할 수 있는 경우, 충돌 경고 상황으로 학습하며,
    라이다의 거리 정보와 상기 입력 영상의 특징점 지도가 감소하였으나, 가속도 정보가 증가한 경우, 충돌 상황으로 학습하는 무인 로봇의 충돌 감지 방법.
  3. 제1항에 있어서,
    상기 충돌 상황을 판단하는 단계는,
    FNN 모델에서 생성되는 3가지 출력(정상 주행, 충돌 경고, 충돌 감지)에 대한 정규 분포에 따라 상기 3가지 출력 중 가장 확률 분포 값이 큰 출력을 선택하고, 선택한 출력에 따라 충돌 상황을 판단하는 무인 로봇의 충돌 감지 방법.
  4. 제1항에 있어서,
    상기 FNN 모델을 이용하여 판단한 충돌 상황과 실제 상황을 비교하여 학습 모델 최적화를 위한 비용 함수를 결정하는 단계; 및
    상기 비용 함수에 따라 상기 LSTM 모델 및 상기 FNN 모델의 학습 모델을 최적화하는 단계
    를 더 포함하는 무인 로봇의 충돌 감지 방법.
  5. 제1항에 있어서,
    상기 입력 영상으로부터 상기 입력 영상의 특징점 지도를 생성하는 단계
    를 더 포함하고,
    상기 LSTM 모델의 입력을 생성하는 단계는,
    입력 영상의 특징점 지도와 라이다의 거리 정보, 및 가속도 정보를 결합하는 무인 로봇의 충돌 감지 방법.
  6. 제5항에 있어서,
    상기 특징점 지도를 생성하는 단계는,
    기 설정된 크기의 합성 곱 필터를 이용하여 상기 입력 영상으로부터 특징점을 추출하며, 상기 입력 영상의 크기를 축소시키는 단계;
    추출한 특징점을 선형화하는 단계; 및
    선형화된 특징점들을 기 설정된 크기로 분할하고, 분할된 특징점들의 대표값들을 이용하여 특징점 지도를 생성하는 단계
    를 포함하는 무인 로봇의 충돌 감지 방법.
  7. 제1항 내지 제6항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  8. 무인 로봇으로부터 수신한 입력 영상, 라이다의 거리 정보, 및 가속도 정보를 결합하여 LSTM 모델의 입력을 생성하고, 상기 입력을 LSTM 모델에 입력하여 충돌 위험 상황을 학습하는 LSTM 모델부; 및
    상기 LSTM 모델의 출력 및 FNN 모델을 이용하여 충돌 상황을 판단하는 FNN 모델부
    를 포함하는 무인 로봇의 충돌 감지 시스템.
  9. 제8항에 있어서,
    상기 LSTM 모델은,
    라이다의 거리 정보를 이용하여 장애물을 감지하였으나, 상기 입력 영상을 이용하여 상기 장애물을 인식할 수 없는 경우, 정상 상황으로 학습하고,
    라이다의 거리 정보를 이용하여 장애물을 감지하고, 상기 입력 영상을 이용하여 상기 장애물을 인식할 수 있는 경우, 충돌 경고 상황으로 학습하며,
    라이다의 거리 정보와 상기 입력 영상의 특징점 지도가 감소하였으나, 가속도 정보가 증가한 경우, 충돌 상황으로 학습하는 무인 로봇의 충돌 감지 시스템.
  10. 제8항에 있어서,
    상기 FNN 모델부는,
    FNN 모델에서 생성되는 3가지 출력(정상 주행, 충돌 경고, 충돌 감지)에 대한 정규 분포에 따라 상기 3가지 출력 중 가장 확률 분포 값이 큰 출력을 선택하고, 선택한 출력에 따라 충돌 상황을 판단하는 무인 로봇의 충돌 감지 시스템.
  11. 제8항에 있어서,
    상기 FNN 모델부는,
    상기 FNN 모델을 이용하여 판단한 충돌 상황과 실제 상황을 비교하여 학습 모델 최적화를 위한 비용 함수를 결정하고, 상기 비용 함수에 따라 상기 FNN 모델의 학습 모델을 최적화하며,
    상기 LSTM 모델은,
    상기 비용 함수에 따라 상기 LSTM 모델의 학습 모델을 최적화하는 무인 로봇의 충돌 감지 시스템.
  12. 제8항에 있어서,
    상기 입력 영상으로부터 상기 입력 영상의 특징점 지도를 생성하는 특징점 지도 생성부
    를 더 포함하고,
    상기 LSTM 모델부는,
    입력 영상의 특징점 지도와 라이다의 거리 정보, 및 가속도 정보를 결합하는 무인 로봇의 충돌 감지 시스템.
  13. 제12항에 있어서,
    상기 특징점 지도 생성부는,
    기 설정된 크기의 합성 곱 필터를 이용하여 상기 입력 영상으로부터 특징점을 추출하며, 상기 입력 영상의 크기를 축소시키고, 추출한 특징점을 선형화하며, 선형화된 특징점들을 기 설정된 크기로 분할하고, 분할된 특징점들의 대표값들을 이용하여 특징점 지도를 생성하는 무인 로봇의 충돌 감지 시스템.
KR1020200189696A 2020-12-31 2020-12-31 다중 센서 정보 lstm 기반의 무인 로봇 충돌 감지/경고 방법 및 시스템 KR102458952B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200189696A KR102458952B1 (ko) 2020-12-31 2020-12-31 다중 센서 정보 lstm 기반의 무인 로봇 충돌 감지/경고 방법 및 시스템
US17/502,769 US12043286B2 (en) 2020-12-31 2021-10-15 Method and system for detecting and alerting collision by autonomous robot based on multi-sensor LSTM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200189696A KR102458952B1 (ko) 2020-12-31 2020-12-31 다중 센서 정보 lstm 기반의 무인 로봇 충돌 감지/경고 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20220096866A KR20220096866A (ko) 2022-07-07
KR102458952B1 true KR102458952B1 (ko) 2022-10-26

Family

ID=82119492

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200189696A KR102458952B1 (ko) 2020-12-31 2020-12-31 다중 센서 정보 lstm 기반의 무인 로봇 충돌 감지/경고 방법 및 시스템

Country Status (2)

Country Link
US (1) US12043286B2 (ko)
KR (1) KR102458952B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230072926A (ko) * 2021-11-18 2023-05-25 현대자동차주식회사 컷인 판단 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102095152B1 (ko) 2019-06-07 2020-03-30 건국대학교 산학협력단 상황 인지 방법 및 이를 수행하는 장치
KR102169879B1 (ko) 2019-06-03 2020-10-27 한국기계연구원 학습을 이용한 로봇의 충돌 감지 시스템 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100492591B1 (ko) 2003-04-03 2005-06-03 엘지전자 주식회사 로봇 청소기 및 그의 충돌감지방법
KR100791381B1 (ko) 2006-06-01 2008-01-07 삼성전자주식회사 이동 로봇의 원격 조종을 위한 충돌방지 시스템, 장치 및방법
KR101395089B1 (ko) 2010-10-01 2014-05-16 안동대학교 산학협력단 장애물 감지 시스템 및 방법
US10663974B2 (en) 2016-11-23 2020-05-26 Electronics And Telecommunications Research Institute Object recognition device, autonomous driving system including the same, and object recognition method using the object recognition device
JP7485482B2 (ja) * 2018-08-29 2024-05-16 モビディウス リミテッド コンピュータビジョンシステム
KR102275300B1 (ko) * 2019-07-05 2021-07-08 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR102243244B1 (ko) 2019-08-26 2021-04-23 엘지전자 주식회사 자율주행시스템에서 긴급단계에 따른 제어방법 및 이를 위한 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102169879B1 (ko) 2019-06-03 2020-10-27 한국기계연구원 학습을 이용한 로봇의 충돌 감지 시스템 및 방법
KR102095152B1 (ko) 2019-06-07 2020-03-30 건국대학교 산학협력단 상황 인지 방법 및 이를 수행하는 장치

Also Published As

Publication number Publication date
US12043286B2 (en) 2024-07-23
KR20220096866A (ko) 2022-07-07
US20220204038A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
US11379998B2 (en) Detector-tracker architecture
US11703566B2 (en) Multi-modal sensor data association architecture
CN112417967B (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN110163904B (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
US11816585B2 (en) Machine learning models operating at different frequencies for autonomous vehicles
US11994866B2 (en) Collision avoidance perception system
KR102235787B1 (ko) 접안 모니터링 장치 및 방법
JP2021523443A (ja) Ｌｉｄａｒデータと画像データの関連付け
CN112334906B (zh) 从机器学习模型输出推断出的实例分割
US11958480B2 (en) Electronic control device and operation method
US11628855B1 (en) Object velocity detection from multi-modal sensor data
US11231481B1 (en) Radar false negative analysis
KR20210099450A (ko) 딥러닝을 이용한 원거리 소형 드론 탐지 방법
US11537819B1 (en) Learned state covariances
US20220129685A1 (en) System and Method for Determining Object Characteristics in Real-time
US11597383B1 (en) Methods and systems for parking a vehicle
CN109636828A (zh) 基于视频图像的物体跟踪方法及装置
Habermann et al. Road junction detection from 3d point clouds
Chen et al. Exploring local context for multi-target tracking in wide area aerial surveillance
KR102458952B1 (ko) 다중 센서 정보 lstm 기반의 무인 로봇 충돌 감지/경고 방법 및 시스템
CN114241448A (zh) 障碍物航向角的获取方法、装置、电子设备及车辆
KR102528718B1 (ko) 근적외선 카메라를 사용한 딥 러닝 기반 드론 감지 시스템
KR20230132243A (ko) 차량의 주변 객체 분류 방법 및 시스템
Garcia et al. Mobile based pedestrian detection with accurate tracking
WO2019093885A1 (en) Obstacle detection using a classifier trained by horizon-based learning

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right