KR102169879B1 - 학습을 이용한 로봇의 충돌 감지 시스템 및 방법 - Google Patents

학습을 이용한 로봇의 충돌 감지 시스템 및 방법 Download PDF

Info

Publication number
KR102169879B1
KR102169879B1 KR1020190065527A KR20190065527A KR102169879B1 KR 102169879 B1 KR102169879 B1 KR 102169879B1 KR 1020190065527 A KR1020190065527 A KR 1020190065527A KR 20190065527 A KR20190065527 A KR 20190065527A KR 102169879 B1 KR102169879 B1 KR 102169879B1
Authority
KR
South Korea
Prior art keywords
collision
robot
data
learning
predetermined time
Prior art date
Application number
KR1020190065527A
Other languages
English (en)
Inventor
최태용
김두형
경진호
박찬훈
도현민
박동일
김휘수
김의겸
박종우
Original Assignee
한국기계연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기계연구원 filed Critical 한국기계연구원
Priority to KR1020190065527A priority Critical patent/KR102169879B1/ko
Application granted granted Critical
Publication of KR102169879B1 publication Critical patent/KR102169879B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Feedback Control In General (AREA)

Abstract

본 발명은, 충돌이 없는 상태에 대한 반복 학습에 기초하여, 로봇에서 측정가능한 물리적 특성값에 기초하여 추출되는 충돌 판단 기준값으로서, 소정 시간 간격 동안의 시계열 데이터로 제1 예측 데이터를 생성하는 예측부; 로봇에서 측정가능한 물리적 특성값에 기초하여 추출되는 충돌 판단 기준값으로서, 상기 소정 시간 간격 동안의 시계열 데이터로 제1 입력 데이터를 생성하는 입력부; 상기 소정 시간 간격 동안의 상기 제1 입력 데이터와 상기 제1 예측 데이터를 비교하여 충돌이 없는 상태인지 여부를 결정하는 충돌감지부; 및 상기 제1 입력 데이터와 상기 제1 예측 데이터에 기초하여, 상기 제1 예측 데이터를 변경하는 변경부를 포함하는, 학습을 이용한 로봇의 충돌 감지 시스템에 관한 것이다. 이로써 시간에 따라 변하는 기계적 변수의 영향을 최소화하여, 충돌 감지 성능이 향상된다.

Description

학습을 이용한 로봇의 충돌 감지 시스템 및 방법{collision detection system and method for robot by learning}
본 발명은 로봇의 충돌 감지 시스템 및 방법에 관한 것으로서, 보다 상세하게는 학습을 이용한 로봇의 충돌 감지 시스템 및 방법에 관한 것이다.
로봇과 인체를 포함하는 환경 사이의 충돌을 감지하기 위한 많은 연구들이 있어 왔다. 특히, 협력 로봇에 있어서는, 가격적인 측면에서 센서리스 충돌 감지 방법이 보편적이다.
이 센서리스 충돌 감지 기술은 로봇의 기계적 변수에 특히 의존적인데, 마찰 등과 같은 기계적 변수를 정확히 파악하는 것은 너무 어렵고 소모적이다. 또한, 개개의 로봇별로 파악해야 하는 번거로움이 있다. 나아가, 이런 기계적 변수는 유지/보수 시에 변할 수 있고, 시간이 지나면 마모나 노후로 인해 그 특성이 변하기도 한다.
이로 인해, 토크, 에너지, 모멘텀 등에 기초한 동역학 모델을 이용하는 기존의 센서리스 충돌 감지 방법을 채용하는 로봇은, 시간에 따라 부정확할 수 밖에 없는 기계적 변수 때문에 그 정밀도가 떨어지고, 이로써, 로봇의 충돌 감지 성능도 마찬가지로 떨어지게 된다.
JP 2002-239960 A
이로써, 본 발명의 목적은 시간에 따라 변하는 기계적 변수의 영향을 최소화할 수 있도록, 학습을 이용한 로봇의 충돌 감지 시스템 및 방법을 제공하는 데 있다.
본 발명의 다른 목적은 충돌 감지 성능이 향상될 수 있도록, 학습을 이용한 로봇의 충돌 감지 시스템 및 방법을 제공하는 데 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적은, 본 발명의 제1 측면에 따라,
충돌이 없는 상태에 대한 반복 학습에 기초하여, 로봇에서 측정가능한 물리적 특성값에 기초하여 추출되는 충돌 판단 기준값으로서, 소정 시간 간격 동안의 시계열 데이터로 제1 예측 데이터를 생성하는 예측부;
로봇에서 측정가능한 물리적 특성값에 기초하여 추출되는 충돌 판단 기준값으로서, 상기 소정 시간 간격 동안의 시계열 데이터로 제1 입력 데이터를 생성하는 입력부;
상기 소정 시간 간격 동안의 상기 제1 입력 데이터와 상기 제1 예측 데이터를 비교하여 충돌이 없는 상태인지 여부를 결정하는 충돌감지부; 및
상기 제1 입력 데이터와 상기 제1 예측 데이터에 기초하여, 상기 제1 예측 데이터를 변경하는 변경부를 포함하는,
학습을 이용한 로봇의 충돌 감지 시스템에 의해 달성된다.
여기서, 상기 충돌이 없는 상태에 대한 반복 학습은, 상기 소정 시간 간격으로 반복되는 상기 로봇의 동일한 동작에 기초하는 것이 바람직하다.
또한, 상기 충돌감지부는 상기 소정 시간 간격 동안의 소정의 시각에서 상기 제1 입력 데이터와 상기 제1 예측 데이터의 차이의 절대값이 소정의 범위 내에 존재하지 않는 경우, 상기 소정의 시각에서 충돌이 있는 상태로 판단한다.
한편, 상기 예측부는 복수의 네트워크 변수들을 포함하는 신경망으로 구성되어 있고, 상기 복수의 네트워크 변수들은 상기 반복 학습에 의해 결정될 수 있고, 또한 상기 변경부는 상기 제1 입력 데이터와 상기 제1 예측 데이터에 기초하는, 소정의 조건에 일치하면, 상기 복수의 네트워크 변수들 중 적어도 하나를 변경함으로써, 이로부터 생성되는 제1 예측 데이터가 변경되도록 하는 것이 바람직하다.
이에 더하여, 상기 충돌감지부는 상기 소정의 시각에서 상기 제1 입력 데이터와 상기 제1 예측 데이터의 차이의 절대값이 소정의 범위 내에 존재하고, 또한 주파수 및 진폭이 소정의 값 이하인 경우, 충돌이 없는 상태로 판단하는 것이 바람직하다.
상기의 목적은, 또한 본 발명의 제2 측면에 따라,
충돌이 없는 상태에 대한 반복 학습에 기초하여, 로봇에서 측정가능한 물리적 특성값에 기초하여 추출되는 충돌 판단 기준값으로서, 소정 시간 간격 동안의 시계열 데이터로 제1 예측 데이터를 생성하는 단계;
로봇에서 측정가능한 물리적 특성값에 기초하여 추출되는 충돌 판단 기준값으로서, 상기 소정 시간 간격 동안의 시계열 데이터로 제1 입력 데이터를 생성하는 단계;
상기 소정 시간 간격 동안의 상기 제1 입력 데이터와 상기 제1 예측 데이터를 비교하여 충돌이 없는 상태인지 여부를 결정하는 충돌감지 단계; 및
상기 제1 입력 데이터와 상기 제1 예측 데이터에 기초하여, 상기 제1 예측 데이터를 변경하는 단계를 포함하는,
학습을 이용한 로봇의 충돌 감지 방법에 의해 달성된다.
여기서, 상기 충돌이 없는 상태에 대한 반복 학습은, 상기 소정 시간 간격으로 반복되는 상기 로봇의 동일한 동작에 기초하는 것이 바람직하다.
또한, 상기 충돌감지 단계는 상기 소정 시간 간격 동안의 소정의 시각에서 상기 제1 입력 데이터와 상기 제1 예측 데이터의 차이의 절대값이 소정의 범위 내에 존재하지 않는 경우, 상기 소정의 시각에서 충돌이 있는 상태로 판단한다.
한편, 상기 제1 예측 데이터를 생성하는 단계는 복수의 네트워크 변수들을 포함하는 신경망으로 구성되어 있는 예측부에 의해 수행되고, 상기 복수의 네트워크 변수들은 상기 반복 학습에 의해 결정될 수 있고, 또한 상기 제1 예측 데이터를 변경하는 단계에서 상기 제1 입력 데이터와 상기 제1 예측 데이터에 기초하는, 소정의 조건에 일치하면, 상기 복수의 네트워크 변수들 중 적어도 하나를 변경함으로써, 이로부터 생성되는 제1 예측 데이터가 변경되도록 하는 것이 바람직하다.
나아가, 상기 충돌감지 단계는 상기 소정의 시각에서 상기 제1 입력 데이터와 상기 제1 예측 데이터의 차이의 절대값이 소정의 범위 내에 존재하고, 또한 주파수 및 진폭이 소정의 값 이하인 경우, 충돌이 없는 상태로 판단하는 것이 바람직하다.
상기한 바와 같은 본 발명의 학습을 이용한 로봇의 충돌 감지 시스템 및 방법에 따르면, 이미 학습이 완료되어 장착된 예측부에 시간적인/환경적인 조건 또는 기계적인 변수들의 변경을 적절한 시간에 반영할 수 있도록 함으로써, 시간에 따라 변하는 기계적 변수의 영향을 최소화할 수 있는 장점이 있다.
또한 본 발명의 학습을 이용한 로봇의 충돌 감지 시스템 및 방법에 따르면, 이미 학습이 완료되어 장착된 예측부에 시간적인/환경적인 조건 또는 기계적인 변수들의 변경을 적절한 시간에 반영할 수 있도록 함으로써, 충돌 감지 성능이 향상될 수 있는 장점이 있다.
도 1은 본 발명에 따른 로봇의 충돌 감지 시스템의 대략적인 기능 블록도이다.
도 2는 본 발명에 따른 로봇의 충돌 감지 시스템 및 방법에서, 충돌이 없는 상태에 있어서의 에너지 잔차를 표시한 도면이다.
도 3은 본 발명에 따른 로봇의 충돌 감지 시스템 및 방법이 채용되는 로봇의 일 예이다.
도 4는 본 발명에 따른 로봇의 충돌 감지 시스템 및 방법이 채용하는 신경망의 일 예이다.
도 5는 본 발명에 따른 로봇의 충돌 감지 시스템 및 방법에서, 예측 데이터 뿐만 아니라, 입력 데이터들인, 충돌이 있는 상태 및 충돌이 없는 상태에 있어서의 에너지 잔차를 표시한 도면이다.
도 6은 본 발명에 따른 로봇의 충돌 감지 시스템 및 방법에서, 충돌이 있는 상태 및 주파수 및/또는 진폭을 표시한 도면이다.
도 7은 본 발명에 따른 학습을 이용한 로봇의 충돌 감지 방법을 보여주는 흐름도이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 다만, 본 발명이 예시적 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예컨대, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
도 1은 본 발명에 따른 학습을 이용한 로봇의 충돌 감지 시스템의 대략적인 기능 블록도이다.
도 1을 참조하면, 본 발명에 따른 로봇의 충돌 감지 시스템은, 예측 데이터를 생성하는 예측부(20), 입력 데이터를 생성하는 입력부(10), 입력 데이터와 예측 데이터를 비교하여 충돌이 없는 상태인지 여부를 결정하는 충돌감지부(30), 입력 데이터와 예측 데이터에 기초하여, 다음에 사용될 예측 데이터를 변경하는 변경부(40), 및 충돌감지부(30)의 결과에 따라 로봇을 제어하는 제어부(50)를 포함한다.
예측부(20)는, 이미 충돌이 없는 상태에 대해 충분히 학습이 된 신경망으로서, 충돌이 없는 상태에 대한 반복 학습에 기초하여, 소정 시간 간격 동안의 시계열 데이터로 예측 데이터를 생성한다.
본 명세서에서는, 충돌이 없는 상태에 대한 반복 학습이, 로봇의 위치 및 토크에 기초하여 추출되는 에너지 잔차에 기초하여 수행되는 것으로 주로 설명될 것이다. 그러나, 로봇에서 측정가능한 물리적 특성값, 예를 들어, 위치, 속도, 가속도, 모터 토크 등에 기초하여 추출되는 충돌 판단 기준값, 예를 들어 토크, 에너지, 모멘텀에 기초하여 수행될 수 있으며, 반드시 이에 한정되지는 않는다.
이론적으로, 충돌이 없는 상태에서의 에너지 잔차(energy residual value)는 0여야 하지만, 실제로, 예를 들어 실험실 내에서는 도 2와 같은 결과를 얻을 수 있다. 도 2는 예를 들어 도 3과 같은 로봇 팔을 이용해, 충돌이 없는 상태에서, 수직 방향에 대하여 순차적으로 0도, 30도, 50도를 움직이는 것에 따른 에너지 잔차를 표시한 도면이다. 도면에서 가로축은 로봇팔의 각도 및/또는 시간으로 볼 수 있고, 세로축은 로봇 팔의 위치와 토크로 계산되는 에너지 잔차로 볼 수 있다.
이러한 충돌이 없는 상태에 대한 학습은, 도 2에 도시된 것과 동일한 주기로 상기에서 언급된 (순차적으로 0도, 30도, 50도를 움직이는 것과 같은) 로봇 팔의 반복 작업에 대하여 수행된다. 즉, 본 발명의 특징을 보다 명확하게 보이기 위해, 충돌이 없는 상태에 대한 반복 학습은, 소정 시간 간격으로 반복되는 로봇의 동일한 동작에 기초하여 수행된다. 이 학습 자체는 예를 들어 12 시간 이내로 수행될 수 있다. 학습이 완료된 예측부(20)는, 본 발명에 따른 학습을 이용한 로봇의 충돌 감지 시스템에 장착될 수 있다.
본 발명에 따른 학습은, 시계열 데이터를 처리하기에 적합하다고 알려진, 재귀적 학습 방법을 이용하여 수행되는데, 이때 재귀적이란 신경망의 은닉층에서 처리된 결과가 다시 같은 층의 은닉층의 입력으로 들어가도록 연결되어 있음을 의미하고, 이로부터 순서 또는 시간이라는 측면이 고려될 수 있는 특징이 기인하게 된다.
따라서, 본 발명에 따른 학습은, RNN을 이용해, 또는 이보다 복잡하지만 RNN의 문제점을, 예를 들어 적은 횟수의 학습만으로도 그레디언트가 사라져버리는 문제점을 극복할 수 있는, LSTM 신경망을 이용해 수행될 수 있다. 이를 간단히 살펴보면, LSTM 신경망은 도 4에 도시된 바와 같이, 복수의, 예를 들어 4 개의 LSTM 블록들로 구성될 수 있고, 이전 결과값(yt-1)을 이용해 현재 입력값(xt)에 대한 결과값(yt)을 예측해낼 수 있다. 예를 들어, 도 4를 참조하면, 각 LSTM 블록은 현재 시간 t에서의 입력값(xt), 및 이전 시간 t-1에서의 은닉층에서의 결과값(ht-1)을 입력받아 해당 은닉층의 결과값(ht)를 생성하게 되는데, 이때 이 결과값(ht)은 입력값(xt) 및 이전 결과값(ht-1) 뿐만 아니라, 각 레이어에서 고려되는 네트워크 변수들의 값에 따라 달라질 수 있다. 예를 들어, 도 4에는, 3 개의 시그모이드 레이어(σ로 표시됨)와 하나의 tanh 레이어(우측 하단의 tanh)가 표시되어 있으며, 각 레이어에서 고려되는 네트워크 변수들은 0부터 3까지의 분홍색 원으로 지시되어 있다. 이때 이 복수의 네트워크 변수들은, 반복 학습에 의해 최적화될 수 있다. 이 복수의 네트워크 변수들의 최적화는, 일반적으로 알려진 LSTM 신경망을 이용한 학습 방법에 기초한다. 본 명세서에서는, 설명의 편이를 위해, RNN 중 특히, LSTM 신경망을 이용한 학습 방법에 기초하여 설명하였으나, 반드시 이에 한정되지는 않는다.
결론적으로, 이미 충돌이 없는 상태에 대해 충분히 학습이 된 예측부(20)는, 실제 로봇의 반복 작업 실행 시, 충돌이 있는 상태인지 충돌이 없는 상태인지 판단하기 위한 기준으로서의, 학습의 결과인 예측 데이터를 생성하게 된다.
입력부(10)는, 실제 로봇의 반복 작업 실행 시(마다), 측정된 로봇의 위치 및 토크에 기초하여 추출되는 에너지 잔차로서, 상기의 예측부(20)에서와 동일한 소정 시간 간격 동안의 시계열 데이터로 입력 데이터를 생성한다.
또한, 충돌감지부(30)는 동일한 소정 시간 간격 동안의 입력 데이터와 예측 데이터를 비교하여 충돌이 없는 상태인지 여부를 결정한다. 다시 말하면, 상기의 소정 시간 간격 안의 동일한 시각에서 이 입력 데이터와 예측 데이터의 차이가 소정의 범위 내에 존재하지 않는 경우, 해당 시각에서 충돌이 있는 상태로 판단하게 된다. 나아가, 충돌이 있는 상태로 판단되는 시각이 소정의 구간 내에 복수 개 존재할 때, 충돌이 있는 상태로 판단할 수도 있다.
이때 충돌이 있는 상태로 판단하는 기준이 되는, 소정의 범위는, 이 입력 데이터와 예측 데이터의 차이의 절대값이 그 안에 존재하게 되는, 양 끝단의 값으로 정해질 수 있다. 또한, 이 양 끝단의 값은, 실험에 의해 결정될 수 있다.
결론적으로, 충돌감지부(30)는 예측 데이터와 입력 데이터 사이의 차이가 예상보다 크지 않은 경우, 충돌이 없는 상태로 판단하고, 예측 데이터와 입력 데이터 사이의 차이가 예상보다 큰 경우, 충돌이 있는 상태로 판단하게 된다.
도 5는, 본 발명에 따른 충돌 감지 시스템에서 생성되는 제1 예측 데이터(적색 실선)와 충돌이 없는 상태에서의 제1 입력 데이터(분홍색 실선), 및 충돌이 있는 상태에서의 제2 입력 데이터(청색 실선)를 보여주는 일 예이다. 여기서, 제1 예측 데이터는 예측부에서 생성한 예측값에 해당되고, 또한 제1 입력 데이터와 제2 입력 데이터는 다른 시간에 발생한 입력값이다. 도 5의 가로축은 절대적인 시간이 아닌, 상대적인 시간 길이를 나타내는 것으로 해석되고 세로축은 에너지 잔차를 나타낸다.
도 5를 참조하기 전에, 충돌이 있는 상태에서의 제2 입력 데이터 중 (1) 내지 (5)로 표시된 구간에서는 강약에 있어서는 차이가 있을 수 있는 충돌이 있었던 것으로 가정한다. 도 5에 도시된 바와 같이, 충돌이 있는 상태에서의 제1 예측 데이터와 제2 입력 데이터는 충돌이 없는 대부분의 구간들에서는 거의 유사한 에너지 잔차를 보여주지만, 특히 (3)로 표시된 구간에서는 제1 예측 데이터와 제2 입력 데이터 사이의 차이가 육안으로 보기에도 큰 차이가 있다. 이러한 차이가 충돌이 없는 상태로 판단하는 기준이 되는 소정의 범위를 벗어나는 것이라면, 충돌이 있는 상태로 판단하게 된다. 이와 유사하게, (3)을 제외한 나머지 (1) 내지 (5)로 표시된 구간에서도 제1 예측 데이터와 제2 입력 데이터 사이의 차이가 충돌이 없는 상태로 판단하는 기준이 되는 소정의 범위를 벗어나는 것이라면, 충돌이 있는 상태로 판단하게 될 것이다. 상기에서 언급된 바와 같이, 이 소정의 범위는 실험에 의해 결정될 수 있고, 이는 충돌에 대한 민감성과 관련 있다.
이에 더하여, 충돌감지부(30)는 예를 들어, 도 6에서와 같이, 입력 데이터와 예측 데이터의 차이의 절대값 뿐만 아니라, (절대적인) 주파수 및/또는 진폭(도면에서는 적색으로 표시됨)을, 충돌이 있는 상태인지 충돌이 없는 상태인지 판단하는 기준으로 삼을 수 있다.
예를 들어, 충돌이 있는 경우에 있어서 입력 데이터와 예측 데이터의 차이의 절대값이 아니라, 특정 주파수에서의 진폭의 차이로 판단할 수 있다. 이것은 충돌이 있는 경우에는 일반적으로, 충돌이 발생한 시간 근처에서는 고주파 대역의 진폭이 크게 나타나기 때문이다.
이에 따라, 입력 데이터와 예측 데이터의 차이의 절대값이 소정의 범위 내에 존재하고, 또한 특정 주파수 및/또는 해당 주파수에서의 진폭이 소정의 값 이하인 경우에만, 충돌이 없는 상태로 판단할 수 있다. 다시 말하면, 입력 데이터와 예측 데이터의 차이의 절대값이 소정의 범위를 벗어나거나, 및/또는 주파수 및 진폭이 소정의 값 이상인 경우에는, 충돌이 있는 상태로 판단할 수 있다.
다시 도 5를 참조하면, 제1 예측 데이터와 제1 입력 데이터는 거의 대부분의 구간들에서 거의 유사한 에너지 잔차를 보여주는데, 이것은 충돌이 없는 상태에 대한 학습이 잘 진행되어, 실제 로봇의 작업 시 측정된 입력값과, 이전 입력값들에 기초하여 학습된 결과로서의 예측값 사이에 실질적인 차이가 없음을 보여준다.
한편, 예를 들어, 적어도 (1) 또는 (2)로 표시된 구간에서는, 제1 예측 데이터와 충돌이 없는 상태에서의 제1 입력 데이터 사이의 차이가 다른 구간들, 예를 들어 (3)으로 표시된 구간에 비하여 상대적으로 크다. 이와 같이 소정의 구간에서 이러한 차이는, 예를 들어, 로봇을 구성하는 부품들이, 시간의 경과에 따른 마모나 노후로 인해 그 기계적 특성이 변한 것이 그 원인일 수 있으며, 이 차이는 시간이 경과함에 따라 점점 더 증가할 수 있다. 만약 이러한 차이를 보완하지 않고 그대로 방치한다면, 실제로 충돌이 없는 상태임에도 불구하고 충돌이 있는 상태로 오판하거나, 이와 반대로 실제로 충돌이 있는 상태임에도 불구하고 충돌이 없는 상태로 오판할 가능성이 점점 커지게 된다. 따라서, 상기의 시간의 경과에 따른 마모나 노후로 인해 그 기계적 특성이 변한 것을 고려하여, 예측 데이터가 생성되도록 조치하는 것이 필요하게 된다.
따라서, 변경부(40)는 학습완료 후 로봇의 작동 시작으로부터 단순히 소정의 시간이 경과하거나, 또는 상기와 같이 실제로 충돌이 없는 상태임에도 불구하고 충돌이 있는 상태로 오판하거나, 이와 반대로 실제로 충돌이 있는 상태임에도 불구하고 충돌이 없는 상태로 오판할 가능성이 임계치를 넘는 등, 충돌이 있는 상태를 판단하는 데 이용되는 기준이 되는 예측 데이터를 변경할 필요가 있는지 여부를 판단하고, 변경할 필요가 있다고 판단되면, 다음의 입력 데이터와 비교될 예측 데이터를 변경한다. 다시 말하면, 입력 데이터와 예측 데이터에 기초하는, 소정의 조건에 일치하면, 예를 들어 상기와 같이 충돌이 없는 상태에서의 입력 데이터와 예측 데이터의 차이가 소정 범위를 벗어나거나, 또는 이로 인해 충돌이 없는 상태 및/또는 충돌이 있는 상태의 오판 가능성이 임계치를 넘는다면, 예측부를 구성하는 복수의 네트워크 변수들 중 적어도 하나를 변경함으로써, 이로부터 생성되는 예측 데이터가 변경되도록 한다. 이때 이 임계치 또한 실험적으로 결정될 수 있다.
제어부(50)는 충돌감지부(30)의 결과에 따라 로봇을 제어하게 된다. 구체적으로, 충돌감지부에서 충돌이 없는 상태로 판단하여, 이에 대응하는 결과를 제어부로 전달하면, 제어부에서는 충돌이 없는 상태로 인식하여, 어떠한 간섭 없이 정해진 궤적을 따라 작업을 지속적으로 진행할 수 있도록 로봇을 제어하게 된다.
한편, 충돌감지부에서 충돌이 있는 상태로 판단하여, 이에 대응하는 결과를 제어부로 전달하면, 제어부에서는 충돌이 있는 상태로 인식하여, 미리 정해진 규칙에 따라 로봇을 제어하게 된다. 여기서, 미리 정해진 규칙은, 예를 들어 정해진 궤적을 따라 작업을 지속적으로 진행하는 것을 단순히 중단하거나, 및/또는 정해진 궤적이 아닌 다른 궤적을 따라 작업을 지속적으로 진행하거나, 및/또는 경고음이나 경고등 등으로 알람을 주는 것일 수 있다.
이와 같이, 본 발명에 따른 학습을 이용한 로봇의 충돌 감지 시스템은, 조건에 일치한다면, 이미 학습이 완료되어 장착된 예측부의 네트워크 변수들을 변경할 수 있도록 함으로써, 로봇의 시간적인/환경적인 조건 또는 기계적인 변수들의 변경을 반영할 수 있도록 해준다. 이로써, 본 발명에 따른 학습을 이용한 로봇의 충돌 감지 시스템은, 시간에 따라 변하는 기계적 변수의 영향을 최소화하여, 충돌 감지 성능이 향상된다.
도 7은 본 발명에 따른 학습을 이용한 로봇의 충돌 감지 방법을 보여주는 흐름도이다. 각 단계에서의 동작에 대해서는, 상기에서 본 발명에 따른 학습을 이용한 로봇의 충돌 감지 시스템을 설명할 때 이미 기술되었으므로, 여기서는 중복되는 설명은 생략하기로 한다.
먼저, 반복 학습 단계 S100에서는, 충돌이 없는 상태에 대한 반복 학습이 수행된다.
예측 데이터 생성 단계 S200에서는, 이미 완료된, 충돌이 없는 상태에 대한 반복 학습에 기초하여, 로봇의 위치 및 토크에 기초하여 추출되는 에너지 잔차로서, 소정 시간 간격 동안의 시계열 데이터로 예측 데이터를 생성한다.
입력 데이터 생성 단계 S300에서는, 로봇의 위치 및 토크에 기초하여 추출되는 에너지 잔차로서, 상기의 소정 시간 간격 동안의 시계열 데이터로 입력 데이터를 생성한다.
충돌 감지 단계 S400에서는, 상기의 소정 시간 간격 동안의 입력 데이터와 예측 데이터를 비교하여 충돌이 없는 상태인지 여부를 결정한다.
이때, 도면에는 도시되어 있지 않지만, 충돌 감지 단계에서의 결정에 따라 로봇을 제어하는 제어 단계가 이후에 있을 수 있다.
또한, 로봇의 작업이 수행될 때마다 입력 데이터 생성 단계(S300) 및 충돌 감지 단계(S400)가 반복될 수 있다. 이미 학습이 완료된 예측부를 이용해 예측 데이터가 생성되므로, 다시 학습이 재개되지 않는 한, - 이는 다시 학습이 재개되었는지 등의 소정의 조건으로 설정될 수 있다 - 반복 학습 단계(S100) 및/또는 예측 데이터 생성 단계(S200)는 다시 수행되지 않는다.
이와 유사하게, 로봇의 작동 시작으로부터 단순히 소정의 시간이 경과하거나, 또는 상기와 같이 실제로 충돌이 없는 상태임에도 불구하고 충돌이 있는 상태로 오판하거나, 이와 반대로 실제로 충돌이 있는 상태임에도 불구하고 충돌이 없는 상태로 오판할 가능성이 임계치를 넘는 등, 충돌이 있는 상태를 판단하는 데 이용되는 기준이 되는 예측 데이터를 변경할 필요가 있는지, 즉 입력 데이터와 예측 데이터에 기초하는, 소정의 조건에 일치하는지 여부를 판단하여(S500), 소정의 조건에 일치한다면, 다음의 입력 데이터와 비교될 예측 데이터를 변경하는 예측 데이터 변경 단계 S600을 수행하게 된다. 이와 달리, 소정의 조건에 일치하지 않는다면, 상기에서와 같이, 입력 데이터 생성 단계(S300) 및 충돌 감지 단계(S400)가 반복되게 된다.
본 발명에 따른 학습을 이용한 로봇의 충돌 감지 시스템 및 방법은, 로봇의 위치 및 토크에 기초하여 추출되는 에너지 잔차를 이용한 학습에 기초하여 설명되었지만, 토크, 에너지, 모멘텀 등의 다른 특성을 이용한 학습에도 적용가능함은 물론이다.
일반적으로 본 명세서에서 사용된 용어는, 특히 청구항에서(예를 들어, 청구항의 본문) 일반적으로 "개방적인" 용어로 의도된다(예를 들어, "포함하는"은 "포함하나 이에 제한되지 않는"으로, "가지다"는 "적어도 그 이상으로 가지다"로, "포함하다"는 "포함하나 이에 제한되지 않는다"로 해석되어야 함) 도입된 청구항 기재에 대하여 특정한 개수가 의도되는 경우, 이러한 의도는 해당 청구항에서 명시적으로 기재되며, 이러한 기재가 부재하는 경우 이러한 의도는 존재하지 않는 것으로 이해된다.
본 발명의 특정 특징만이 본 명세서에서 도시되고 설명되었으며, 다양한 수정 및 변경이 당업자에 대하여 발생할 수 있다. 그러므로 청구항은 본 발명의 사상 내에 속하는 변경 및 수정을 포함하는 것으로 의도된다는 점이 이해된다.
10: 입력부 20: 예측부
30: 충돌감지부 40: 변경부
50: 제어부

Claims (10)

  1. 충돌이 없는 상태에 대한 반복 학습에 기초하여, 로봇에서 측정가능한 물리적 특성값에 기초하여 추출되는 충돌 판단 기준값으로서, 소정 시간 간격 동안의 시계열 데이터로 제1 예측 데이터를 생성하는 예측부;
    로봇에서 측정가능한 물리적 특성값에 기초하여 추출되는 충돌 판단 기준값으로서, 상기 소정 시간 간격 동안의 시계열 데이터로 제1 입력 데이터를 생성하는 입력부;
    상기 소정 시간 간격 동안의 상기 제1 입력 데이터와 상기 제1 예측 데이터를 비교하여 충돌이 없는 상태인지 여부를 결정하는 충돌감지부; 및
    상기 제1 입력 데이터와 상기 제1 예측 데이터에 기초하여, 상기 제1 예측 데이터를 변경하는 변경부를 포함하는,
    학습을 이용한 로봇의 충돌 감지 시스템.
  2. 제 1 항에 있어서,
    상기 충돌이 없는 상태에 대한 반복 학습은, 상기 소정 시간 간격으로 반복되는 상기 로봇의 동일한 동작에 기초하는,
    학습을 이용한 로봇의 충돌 감지 시스템.
  3. 제 2 항에 있어서,
    상기 충돌감지부는 상기 소정 시간 간격 동안의 소정의 시각에서 상기 제1 입력 데이터와 상기 제1 예측 데이터의 차이의 절대값이 소정의 범위 내에 존재하지 않는 경우, 상기 소정의 시각에서 충돌이 있는 상태로 판단하는,
    학습을 이용한 로봇의 충돌 감지 시스템.
  4. 제 3 항에 있어서,
    상기 예측부는 복수의 네트워크 변수들을 포함하는 신경망으로 구성되어 있고, 상기 복수의 네트워크 변수들은 상기 반복 학습에 의해 결정될 수 있고, 또한 상기 변경부는 상기 제1 입력 데이터와 상기 제1 예측 데이터에 기초하는, 소정의 조건에 일치하면, 상기 복수의 네트워크 변수들 중 적어도 하나를 변경함으로써, 이로부터 생성되는 제1 예측 데이터가 변경되도록 하는,
    학습을 이용한 로봇의 충돌 감지 시스템.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 충돌감지부는 상기 소정의 시각에서 상기 제1 입력 데이터와 상기 제1 예측 데이터의 차이의 절대값이 소정의 범위 내에 존재하고, 또한 주파수 및 진폭이 소정의 값 이하인 경우, 충돌이 없는 상태로 판단하는,
    학습을 이용한 로봇의 충돌 감지 시스템.
  6. 충돌이 없는 상태에 대한 반복 학습에 기초하여, 로봇에서 측정가능한 물리적 특성값에 기초하여 추출되는 충돌 판단 기준값으로서, 소정 시간 간격 동안의 시계열 데이터로 제1 예측 데이터를 생성하는 단계;
    로봇에서 측정가능한 물리적 특성값에 기초하여 추출되는 충돌 판단 기준값으로서, 상기 소정 시간 간격 동안의 시계열 데이터로 제1 입력 데이터를 생성하는 단계;
    상기 소정 시간 간격 동안의 상기 제1 입력 데이터와 상기 제1 예측 데이터를 비교하여 충돌이 없는 상태인지 여부를 결정하는 충돌감지 단계; 및
    상기 제1 입력 데이터와 상기 제1 예측 데이터에 기초하여, 상기 제1 예측 데이터를 변경하는 단계를 포함하는,
    학습을 이용한 로봇의 충돌 감지 방법.
  7. 제 6 항에 있어서,
    상기 충돌이 없는 상태에 대한 반복 학습은, 상기 소정 시간 간격으로 반복되는 상기 로봇의 동일한 동작에 기초하는,
    학습을 이용한 로봇의 충돌 감지 방법.
  8. 제 7 항에 있어서,
    상기 충돌감지 단계는 상기 소정 시간 간격 동안의 소정의 시각에서 상기 제1 입력 데이터와 상기 제1 예측 데이터의 차이의 절대값이 소정의 범위 내에 존재하지 않는 경우, 상기 소정의 시각에서 충돌이 있는 상태로 판단하는 것을 특징으로 하는,
    학습을 이용한 로봇의 충돌 감지 방법.
  9. 제 8 항에 있어서,
    상기 제1 예측 데이터를 생성하는 단계는 복수의 네트워크 변수들을 포함하는 신경망으로 구성되어 있는 예측부에 의해 수행되고, 상기 복수의 네트워크 변수들은 상기 반복 학습에 의해 결정될 수 있고, 또한 상기 제1 예측 데이터를 변경하는 단계에서 상기 제1 입력 데이터와 상기 제1 예측 데이터에 기초하는, 소정의 조건에 일치하면, 상기 복수의 네트워크 변수들 중 적어도 하나를 변경함으로써, 이로부터 생성되는 제1 예측 데이터가 변경되도록 하는,
    학습을 이용한 로봇의 충돌 감지 방법.
  10. 제 6 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 충돌감지 단계는 상기 소정의 시각에서 상기 제1 입력 데이터와 상기 제1 예측 데이터의 차이의 절대값이 소정의 범위 내에 존재하고, 또한 주파수 및 진폭이 소정의 값 이하인 경우, 충돌이 없는 상태로 판단하는 것을 특징으로 하는,
    학습을 이용한 로봇의 충돌 감지 방법.
KR1020190065527A 2019-06-03 2019-06-03 학습을 이용한 로봇의 충돌 감지 시스템 및 방법 KR102169879B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190065527A KR102169879B1 (ko) 2019-06-03 2019-06-03 학습을 이용한 로봇의 충돌 감지 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190065527A KR102169879B1 (ko) 2019-06-03 2019-06-03 학습을 이용한 로봇의 충돌 감지 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102169879B1 true KR102169879B1 (ko) 2020-10-27

Family

ID=73136341

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190065527A KR102169879B1 (ko) 2019-06-03 2019-06-03 학습을 이용한 로봇의 충돌 감지 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102169879B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187783A (zh) * 2021-12-06 2022-03-15 中国民航大学 一种用于机场飞行区潜在冲突分析预测的方法
KR20220096866A (ko) * 2020-12-31 2022-07-07 한국전자통신연구원 다중 센서 정보 lstm 기반의 무인 로봇 충돌 감지/경고 방법 및 시스템
KR102482530B1 (ko) * 2021-06-30 2022-12-28 고려대학교 산학협력단 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템 및 로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002239960A (ja) 2001-02-21 2002-08-28 Sony Corp ロボット装置の動作制御方法、プログラム、記録媒体及びロボット装置
KR20120108318A (ko) * 2011-03-23 2012-10-05 고려대학교 산학협력단 주파수 기반 로봇 머니퓰레이터 제어 방법
KR20150080050A (ko) * 2013-12-30 2015-07-09 전자부품연구원 다관절로봇의 충돌 감지 장치 및 이를 이용한 충돌 감지 방법
KR20170130755A (ko) * 2016-05-19 2017-11-29 한국전기연구원 외력 감지 시스템 및 이를 이용한 외력 감지 방법
KR20180053482A (ko) * 2016-11-11 2018-05-23 고려대학교 산학협력단 로봇 머니퓰레이터 제어 방법
KR20180058511A (ko) * 2016-11-24 2018-06-01 엘지전자 주식회사 이동 로봇 및 그 제어방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002239960A (ja) 2001-02-21 2002-08-28 Sony Corp ロボット装置の動作制御方法、プログラム、記録媒体及びロボット装置
KR20120108318A (ko) * 2011-03-23 2012-10-05 고려대학교 산학협력단 주파수 기반 로봇 머니퓰레이터 제어 방법
KR20150080050A (ko) * 2013-12-30 2015-07-09 전자부품연구원 다관절로봇의 충돌 감지 장치 및 이를 이용한 충돌 감지 방법
KR20170130755A (ko) * 2016-05-19 2017-11-29 한국전기연구원 외력 감지 시스템 및 이를 이용한 외력 감지 방법
KR20180053482A (ko) * 2016-11-11 2018-05-23 고려대학교 산학협력단 로봇 머니퓰레이터 제어 방법
KR20180058511A (ko) * 2016-11-24 2018-06-01 엘지전자 주식회사 이동 로봇 및 그 제어방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220096866A (ko) * 2020-12-31 2022-07-07 한국전자통신연구원 다중 센서 정보 lstm 기반의 무인 로봇 충돌 감지/경고 방법 및 시스템
KR102458952B1 (ko) 2020-12-31 2022-10-26 한국전자통신연구원 다중 센서 정보 lstm 기반의 무인 로봇 충돌 감지/경고 방법 및 시스템
US12043286B2 (en) 2020-12-31 2024-07-23 Electronics And Telecommunications Research Institute Method and system for detecting and alerting collision by autonomous robot based on multi-sensor LSTM
KR102482530B1 (ko) * 2021-06-30 2022-12-28 고려대학교 산학협력단 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템 및 로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법
CN114187783A (zh) * 2021-12-06 2022-03-15 中国民航大学 一种用于机场飞行区潜在冲突分析预测的方法
CN114187783B (zh) * 2021-12-06 2023-10-31 中国民航大学 一种用于机场飞行区潜在冲突分析预测的方法

Similar Documents

Publication Publication Date Title
KR102169879B1 (ko) 학습을 이용한 로봇의 충돌 감지 시스템 및 방법
US11521105B2 (en) Machine learning device and machine learning method for learning fault prediction of main shaft or motor which drives main shaft, and fault prediction device and fault prediction system including machine learning device
US9830559B2 (en) Machine learning unit, spindle replacement judging device, controller, machine tool, production system, and machine learning method, which are able to judge necessity of spindle replacement
JP2022125288A (ja) 異常予知装置、異常予知システム、異常予知方法及び異常予知プログラム
US10317853B2 (en) Machine learning method and machine learning device for learning fault conditions, and fault prediction device and fault prediction system including the machine learning device
US10502253B2 (en) Machine learning device for learning assembly operation and component assembly system
US10254750B2 (en) Machining machine system which determines acceptance/rejection of workpieces
JP6031202B1 (ja) 製造機械の異常の原因を発見するセル制御装置
JP6444851B2 (ja) ノイズの発生原因を検出する学習機能を有する制御装置
JP6572265B2 (ja) 制御装置及び機械学習装置
JP2018156151A (ja) 異常検知装置及び機械学習装置
KR102357168B1 (ko) 인공신경망을 이용한 로봇 매니퓰레이터의 충돌을 감지하는 방법 및 시스템
JP7092307B2 (ja) 作業判別装置および作業判別方法
KR102139229B1 (ko) 인공신경망을 이용한 로봇 매니퓰레이터의 충돌을 감지하는 방법 및 시스템
CN113748597A (zh) 电动机控制装置
US20210197375A1 (en) Robot and method for operating a robot
WO2020071066A1 (ja) 異常判定装置、信号特徴量予測器、異常判定方法、学習モデルの生成方法及び学習モデル
US11992953B2 (en) Abnormality determination device and abnormality determination method
Wagner et al. Interval-arithmetic-based trajectory scaling and collision detection for robots with uncertain dynamics
JPH0981205A (ja) 学習システム
US10955836B2 (en) Diagnosis system and electronic control device
WO2022162740A1 (ja) 数値制御装置
US20210216086A1 (en) Method and apparatus for planning an obstacle-free measurement trajectory of a coordinate measuring machine, and computer program
US20220188540A1 (en) Method and system for monitoring manufacturing operations using computer vision for human performed tasks
US20220188570A1 (en) Learning apparatus, learning method, computer program and recording medium

Legal Events

Date Code Title Description
GRNT Written decision to grant