KR102043143B1

KR102043143B1 - 인공신경망을 이용한 agv 주행제어 방법 및 장치

Info

Publication number: KR102043143B1
Application number: KR1020190059114A
Authority: KR
Inventors: 정희운
Original assignee: 호서대학교 산학협력단
Priority date: 2019-05-20
Filing date: 2019-05-20
Publication date: 2019-11-11

Abstract

본 발명은 인공신경망을 이용한 AGV 주행제어 방법 및 장치에 관한 것으로서, 더욱 상세하게는 카메라를 통하여 수집한 영상 데이터로부터 머신러닝(machine learning)에 의해 형성되고 업데이트 되는 인공신경망 모델을 이용하여, 주행중인 AGV(automated guided vehicle)가 최적의 경로를 운행하도록 제어하는, 인공신경망을 이용한 AGV 주행제어 방법 및 장치에 관한 것이다.
본 발명에 의하면, AGV에 장착된 카메라를 통하여 수집한 영상 데이터로부터 머신러닝(machine learning)에 의해 인공신경망 모델을 지속적으로 업데이트하고, 그러한 인공신경망 모델을 이용하여 AGV의 주행을 자동으로 제어하되, 특히 인공신경망 모델로서 YOLO와 SSD를 결합한 모델을 사용하여, AGV의 필요성에 맞도록, 빠르면서도 정확한 물체 인식에 의한 주행제어가 가능하게 한다.

Description

인공신경망을 이용한 AGV 주행제어 방법 및 장치{Method and apparatus for driving control of automated guided vehicle by using artificial neural network}

본 발명은 인공신경망을 이용한 AGV 주행제어 방법 및 장치에 관한 것으로서, 더욱 상세하게는 카메라를 통하여 수집한 영상 데이터로부터 머신러닝(machine learning)에 의해 형성되고 업데이트 되는 인공신경망 모델을 이용하여, 주행중인 AGV(automated guided vehicle)가 최적의 경로를 운행하도록 제어하는, 인공신경망을 이용한 AGV 주행제어 방법 및 장치에 관한 것이다.

근래 들어 대형 공장에서는 다양한 용도로 제품 또는 부품의 이동을 위한 차량을 많이 이용하고 있다. 나아가 이러한 차량을 무인으로 운행할 수 있기 위해 자율주행차량(AGV, automated guided vehicle)의 필요성이 커지고 있다. 레이저, 마그네틱 테이프 기반의 기존 AGV 는 공장 내 완전 자율주행 실행에 제약이 있다. 예를 들어 레이저는 대상이 되는 물체의 반사율에 따른 오차가 클 수 있고 마그네틱 테이프는 공장 레이아웃 변경 혹은 설비 배치 변경시 전면 재설치가 필요하다. 이미지 인식은 상대적 오차율이 적고 공장 레이아웃 변경으로부터 자유로운 완전한 자율주행을 가능하게 한다. 다만 일반적인 R-CNN 기반의 객체 인식은 정확도는 높으나 2000개에 달하는 영역(region)에 대해 각각 연산이 이루어져 시간이 오래 걸리고 이는 대용량의 동영상을 기반으로 실시간으로 객체를 인식해야 하는 AGV의 구동에는 적합하지 않은 문제점이 있었다.

KR

10-1974870

B1

본 발명은 이와 같은 문제점을 해결하기 위해 창안된 것으로서, AGV에 장착된 카메라를 통하여 수집한 영상 데이터로부터 머신러닝(machine learning)에 의해 인공신경망 모델을 지속적으로 업데이트하고, 그러한 인공신경망 모델을 이용하여 AGV의 주행을 자동으로 제어하되, 특히 인공신경망 모델로서 YOLO와 SSD를 결합한 모델을 사용하여, AGV의 필요성에 맞도록, 빠르면서도 정확한 물체 인식에 의한 주행제어가 가능하게 하는데 그 목적이 있다.

이와 같은 목적을 달성하기 위하여 본 발명에 따른 자율주행차량(이하 'AGV'라 한다)에 장착된 AGV 제어장치가, 인공신경망을 이용하여 물체를 인식함에 의해 AGV에 대한 주행제어를 수행하는 방법은, (a) AGV에 장착된 카메라로부터 촬영중인 영상 데이터를 수신하는 단계; (b) 수신한 영상 데이터를 AGV 인공신경망 모델 학습장치로 지속적으로 송신하는 단계; (c) 수신한 상기 단계(b)와 동일한 영상 데이터를 인공신경망 모델에 입력하는 단계; 및, (d) 상기 인공신경망 모델 출력에 따라, 상기 AGV의 주행장치로 제어 메시지를 송신하는 단계를 포함하고, 상기 단계(a)에서 수신한 영상 데이터는, 상기 단계(c)에서 YOLO(You Only Look Once) 모델에 입력되며, 상기 인공신경망 모델에는, SSD(Single Shot Detector) 모델을 더 포함하고, 상기 단계(c)는, (c1) 영상 데이터를, 빠른 물체 인식이 가능한 YOLO 모델에 입력하는 단계; (c2) 상기 YOLO 모델의 출력에서 물체가 인식된 경우, 영상 데이터에서 인식된 물체 영역을 추출해내는 단계; (c3) 추출된 물체 영역 이미지를 SSD 모델에 입력하는 단계; 및, (c4) SSD 모델은 인식된 물체의 정보(이하 '물체 인식 정보'라 한다)를 출력하는 단계를 포함하며, SSD는 CNN(convolutional neural network) 처리 후 경계 상자를 예측하고, 다양한 스케일의 물체를 검출할 수 있으며, 상기 YOLO 모델은 실제 물체가 차지하는 영역보다 약간 크게 영상을 잘라내어 이를 SSD 모델에 입력하고, 상기 단계(b) 이후, (e) 상기 AGV 인공신경망 모델 학습장치로부터, 지속적으로 업데이트된 인공신경망 모델을 수신하여 저장하는 단계를 더 포함하고, 상기 단계(e)에서 저장된 최신의 업데이트된 인공신경망 모델은, 이후 상기 단계(c)의 인공신경망 모델로 사용하며, 상기 업데이트된 인공신경망 모델은, YOLO 모델 또는 SSD 모델이고, 상기 단계(a) 및 단계(b)에서의 영상 데이터의 송수신은, 5G(generation) 환경에서 이루어진다.
본 발명의 다른 측면에 따르면, 자율주행차량(이하 'AGV'라 한다)에 장착되어, 인공신경망을 이용하여 물체를 인식함에 의해 AGV에 대한 주행제어를 수행하는 장치는, 적어도 하나의 프로세서; 및 컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되, 상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여, (a) AGV에 장착된 카메라로부터 촬영중인 영상 데이터를 수신하는 단계; (b) 수신한 영상 데이터를 AGV 인공신경망 모델 학습장치로 지속적으로 송신하는 단계; (c) 수신한 상기 단계(b)와 동일한 영상 데이터를 인공신경망 모델에 입력하는 단계; 및, (d) 상기 인공신경망 모델 출력에 따라, 상기 AGV의 주행장치로 제어 메시지를 송신하는 단계가 실행되도록 하고, 상기 단계(a)에서 수신한 영상 데이터는, 상기 단계(c)에서 YOLO(You Only Look Once) 모델에 입력되며, 상기 인공신경망 모델에는, SSD(Single Shot Detector) 모델을 더 포함하고, 상기 단계(c)는, (c1) 영상 데이터를, 빠른 물체 인식이 가능한 YOLO 모델에 입력하는 단계; (c2) 상기 YOLO 모델의 출력에서 물체가 인식된 경우, 영상 데이터에서 인식된 물체 영역을 추출해내는 단계; (c3) 추출된 물체 영역 이미지를 SSD 모델에 입력하는 단계; 및, (c4) SSD 모델은 인식된 물체의 정보(이하 '물체 인식 정보'라 한다)를 출력하는 단계를 포함하며, SSD는 CNN(convolutional neural network) 처리 후 경계 상자를 예측하고, 다양한 스케일의 물체를 검출할 수 있으며, 상기 YOLO 모델은 실제 물체가 차지하는 영역보다 약간 크게 영상을 잘라내어 이를 SSD 모델에 입력하고, 상기 단계(b) 이후, (e) 상기 AGV 인공신경망 모델 학습장치로부터, 지속적으로 업데이트된 인공신경망 모델을 수신하여 저장하는 단계를 더 포함하고, 상기 단계(e)에서 저장된 최신의 업데이트된 인공신경망 모델은, 이후 상기 단계(c)의 인공신경망 모델로 사용하며, 상기 업데이트된 인공신경망 모델은, YOLO 모델 또는 SSD 모델이고, 상기 단계(a) 및 단계(b)에서의 영상 데이터의 송수신은, 5G(generation) 환경에서 이루어진다.
본 발명의 또 다른 측면에 따르면, 자율주행차량(이하 'AGV'라 한다)에 장착되어, 인공신경망을 이용하여 물체를 인식함에 의해 AGV에 대한 주행제어를 수행하기 위한 비일시적 저장 매체에 저장되는 컴퓨터 프로그램은, 비일시적 저장 매체에 저장되며, 프로세서에 의하여, (a) AGV에 장착된 카메라로부터 촬영중인 영상 데이터를 수신하는 단계; (b) 수신한 영상 데이터를 AGV 인공신경망 모델 학습장치로 지속적으로 송신하는 단계; (c) 수신한 상기 단계(b)와 동일한 영상 데이터를 인공신경망 모델에 입력하는 단계; 및, (d) 상기 인공신경망 모델 출력에 따라, 상기 AGV의 주행장치로 제어 메시지를 송신하는 단계가 실행되도록 하는 명령을 포함하고, 상기 단계(a)에서 수신한 영상 데이터는, 상기 단계(c)에서 YOLO(You Only Look Once) 모델에 입력되며, 상기 인공신경망 모델에는, SSD(Single Shot Detector) 모델을 더 포함하고, 상기 단계(c)는, (c1) 영상 데이터를, 빠른 물체 인식이 가능한 YOLO 모델에 입력하는 단계; (c2) 상기 YOLO 모델의 출력에서 물체가 인식된 경우, 영상 데이터에서 인식된 물체 영역을 추출해내는 단계; (c3) 추출된 물체 영역 이미지를 SSD 모델에 입력하는 단계; 및, (c4) SSD 모델은 인식된 물체의 정보(이하 '물체 인식 정보'라 한다)를 출력하는 단계를 포함하며, SSD는 CNN(convolutional neural network) 처리 후 경계 상자를 예측하고, 다양한 스케일의 물체를 검출할 수 있으며, 상기 YOLO 모델은 실제 물체가 차지하는 영역보다 약간 크게 영상을 잘라내어 이를 SSD 모델에 입력하고, 상기 단계(b) 이후, (e) 상기 AGV 인공신경망 모델 학습장치로부터, 지속적으로 업데이트된 인공신경망 모델을 수신하여 저장하는 단계를 더 포함하고, 상기 단계(e)에서 저장된 최신의 업데이트된 인공신경망 모델은, 이후 상기 단계(c)의 인공신경망 모델로 사용하며, 상기 업데이트된 인공신경망 모델은, YOLO 모델 또는 SSD 모델이고, 상기 단계(a) 및 단계(b)에서의 영상 데이터의 송수신은, 5G(generation) 환경에서 이루어진다.

삭제

본 발명에 의하면, AGV에 장착된 카메라를 통하여 수집한 영상 데이터로부터 머신러닝(machine learning)에 의해 인공신경망 모델을 지속적으로 업데이트하고, 그러한 인공신경망 모델을 이용하여 AGV의 주행을 자동으로 제어하되, 특히 인공신경망 모델로서 YOLO와 SSD를 결합한 모델을 사용하여, AGV의 필요성에 맞도록, 빠르면서도 정확한 물체 인식에 의한 주행제어가 가능하게 하는 효과가 있다.

도 1은 AGV에 장착된 본 발명의 AGV 제어장치와 AGV 인공신경망 모델 학습장치의 무선 네트워크를 나타내는 도면.
도 2는 본 발명의 AGV 제어장치가 AGV 인공신경망 모델 학습장치와 연동되어 AGV의 주행 제어를 수행하는 과정을 나타내는 시퀀스 다이어그램.
도 3은 여러 인공신경망 모델의 속도와 정확도를 비교한 그래프.
도 4는 반지도 학습(semi-supervised learning)과 지도 학습(supervised learning)을 비교하여 도시한 도면.
도 5는 본 발명의 AGV 제어장치의 구성을 나타내는 도면.
도 6은 AGV 인공신경망 모델 학습장치의 구성을 나타내는 도면.
도 7은 무인반송차량의 한 종류인 유닛 로드 AGV를 도시한 도면.

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1은 AGV에 장착된 본 발명의 AGV 제어장치(100)와 AGV 인공신경망 모델 학습장치(300)의 무선 네트워크를 나타내는 도면이고, 도 7은 무인반송차량의 한 종류인 유닛 로드 AGV를 도시한 도면이다.

본 발명에 따른 AGV(automated guided vehicle)(500)는 자율주행차량 또는 무인반송차량(이하 '자율주행차량'으로 통칭하여 사용하기로 한다)은 획득된 이미지로부터 객체를 인식하여 주변에 있는 물체 및 자신의 위치를 파악한다. 이미지로부터 객체를 인식하기 위해서 심층신경망(Deep Learning) 기법을 이용한다. 이하에서는 심층신경망 등을 포함하는, 기계학습에 의한 인공신경망 모델을 통칭하여 '인공신경망 모델'이라 칭하기로 한다. 이미지로부터 객체를 인식하는 기술은 심층신경망 기법에 의하여 최근 크게 향상되었으며, 동영상에서 객체를 인식하는 기술도 계속 발전하고 있으므로, 이러한 기술을 활용함으로써 자율주행차량의 경로 제어를 수행할 수 있다. 또한, 레이아웃이나 설비의 배치가 변경되어 기존에 학습되지 않은 객체가 존재하는 경우에는, 소량의 데이터 학습만으로 객체 인식이 가능한 원-샷 러닝(one-shot learning) 또는 퓨-샷 러닝 (few-shot learning) 기법을 이용할 수 있다. 이러한 기법에 대해서는 최근 Wang, Y X, Girshick, R, Hebert, M, & Hariharan, B (2018) Low-Shot Learning from Imaginary Data arXiv preprint arXiv:180105401, Kang, B, Liu, Z, Wang, X, Yu, F, Feng, J, & Darrell, T (2018) Few-shot Object Detection via Feature Reweighting arXiv preprint arXiv:181201866 등의 논문에서 향상된 결과가 소개되고 있다.

본 발명에 따른 자율주행차량(500)에 의하여 획득된 이미지 또는 동영상은 전체 또는 일부 자율주행차량을 제어하는 서버로 전송될 수 있다. 이 때, 전송망을 5G 기술로 구현함으로써 대용량의 동영상도 실시간으로 송수신할 수 있다. 서버는 자율주행차량으로부터 수신된 동영상으로부터 주변 물체를 인식하고 해당 자율주행차량의 위치를 파악한다. 서버에 의하여 파악된 정보는 해당 자율주행차량의 경로를 제어하기 위하여 이용된다.

즉, 본 발명의 자율주행차량의 경로를 제어하기 위한 분석은 일 실시예로서, 서버에서 수행될 수 있다.

또한 역시 본 발명의 다른 실시예로서, 해당 자율주행차량(500)의 경로를 제어하기 위한 분석이 서버가 아닌, 각각의 자율주행차량(500)에서 이루어질 수도 있는데, 이하에서의 설명은 주로 그와 같이 인공신경망 모델에 의한 경로를 제어하기 위한 분석은 자율주행차량, 더욱 구체적으로는 자율주행차량(500)에 장착된 AGV 제어장치(100)에서 이루어지고, 그러한 인공신경망 모델의 구축 및 업데이트는 서버에서 이루어지는 시스템을 설명하기로 한다. 그러한 '서버'는 이하에서 'AGV 인공신경망 모델 학습장치(300)'로 칭하기로 하며, AGV 인공신경망 모델 학습장치(300)는 형성 및 업데이트되는 인공신경망 모델을 AGV 제어장치(100)로 전달해주게 된다. 이에 대하여는 이하 도 1 내지 도 6을 참조하여 상세히 설명하기로 한다.

본 발명의 AGV 제어장치(100)는 AGV(500)에 장착되어, 인공신경망 모델에 의하여 경로상의 물체를 인식하고 적절한 경로를 주행할 수 있도록 AGV(500)의 주행을 제어하는 장치이다. AGV 제어장치(100)는 AGV(500)에 장착된 카메라(10)가 촬영중인 주행 경로 영상 데이터를 수집하여 경로상의 물체를 인식하고, AGV(500)에 장착된 각종 주행장치(20)들을 제어하여 안전한 주행이 되도록 하는 역할을 수행한다.

AGV 인공신경망 모델 학습장치(300)는 AGV 제어장치(100)에서 구동되는 인공신경망 모델을 최초 형성할 뿐 아니라 이후에도 지속적으로 AGV 제어장치(100)로부터 수신하는 주행중 카메라 영상 데이터를 이용하여 인공신경망 모델을 업데이트하는 역할을 수행한다. 이와 같이 최초형성 또는 업데이트되는 인공신경망 모델은 즉시 AGV 제어장치(100)로 전달되어, AGV 제어장치(100)로 하여금 업데이트된 인공신경망 모델을 이용하여 물체 인식 및 이에 따른 AGV(500)의 주행제어를 할 수 있도록 한다.

이러한 인공신경망 모델에는 다양한 종류가 있을 수 있으나 이하 도 2 내지 도 6을 참조한 실시예에서는 YOLO(You Only Look Once) 및 SSD(Single Shot Detector)를 이용한 모델을 사용한다.

도 2는 본 발명의 AGV 제어장치(100)가 AGV 인공신경망 모델 학습장치(300)와 연동되어 AGV(500)의 주행 제어를 수행하는 과정을 나타내는 시퀀스 다이어그램이고, 도 3은 여러 인공신경망 모델의 속도와 정확도를 비교한 그래프이며, 도 4는 반지도 학습(semi-supervised learning)과 지도 학습(supervised learning)을 비교하여 도시한 도면이다.

AGV(500)에 장착된 카메라(10)는, AGV(500)의 주행시 촬영중인 영상 데이터를 AGV 제어장치(100)로 송신한다(S201). AGV 제어장치(100)는 수신한 영상 데이터를 AGV 인공신경망 모델 학습장치(300)로 송신하고(S202), 또 한편으로는 수신한 영상 데이터를 인공신경망 모델의 입력 데이터로서 입력한다(S203). 이러한 AGV 제어장치(100)의 인공신경망 모델은, 전술한 바와 같이 도 5의 '인공신경망 이용 주행제어 어플리케이션(230)'에 포함되어 있으며, AGV 인공신경망 모델 학습장치(300)가 영상 데이터에 대하여 기계학습(machine learning)에 의해 최초 형성한 것을 전달받아 사용하고, 또한 후술하는 바와 같이 최초 형성 이후 AGV 인공신경망 모델 학습장치(300)에 의해 지속적으로 업데이트된 인공신경망 모델을 AGV 제어장치(100)가 전달받아 사용하게 된다.

본 발명의 인공신경망 모델로는 YOLO(You Only Look Once) 및 SSD(Single Shot Detector)을 사용한다.

딥러닝 기반 텐서플로우를 활용한 이미지 인식에 의해, 주변 물체 및 AGV의 위치를 실시간으로 파악하여 계산된 결과로 경로제어 및 이동까지 가능하다. 그러나 R-CNN 또는 이를 개선한 Faster R-CNN이라 하더라도 2000개 region을 기반으로 CNN처리를 하기 때문에 AGV에서 동영상을 카메라 센서를 통해 취득하여 실시간으로 객체 인식을 하는 것은 매우 어려운 문제가 있다. 즉, 객체 추출을 위해 많이 사용되는 R-CNN기법은 선택적 검색(selective search)를 통해 영역을 지정하여 객체 분류에 필요한 경계 상자(bounding box)의 수를 줄이지만 여전히 2000개가 넘는 지역은 많은 연산 시간을 필요하게 한다.

이와 대비하여 YOLO는 각 이미지를 S x S 개의 그리드로 분할하고, 그리드의 신뢰도를 계산한다. 신뢰도는 그리드 내 객체 인식 시 정확성을 반영한다. 처음에는 객체 인식과는 동떨어진 경계 상자가 설정되지만, 신뢰도를 계산하여 경계 상자의 위치를 조정함으로써, 가장 높은 객체 인식 정확성을 가지는 경계 상자를 얻을 수 있다. 그리드에 객체 포함 여부를 계산하기 위해, 객체 클래스 점수를 계산한다. 이 결과로 총 S x S x N 객체가 예측된다. 이 그리드의 대부분은 낮은 신뢰도를 가진다. 신뢰도를 높이기 위해 주변의 그리드를 합칠 수 있다. 이후, 임계값을 설정해 불필요한 부분은 제거할 수 있다. 즉, YOLO는 이미지를 적은 수의 그리드로 분할하여 그리드의 신뢰도를 바탕으로 신뢰도가 낮은 그리드는 제거함으로서 더욱 그리드 수를 줄이고 결과적인 연산 속도를 줄일 수 있다. 이에 따라 단순한 처리에 의해 속도가 매우 빠른 장점이 있는데, 이는 이미지 전체를 한 번에 바라보는 방식으로 클래스를 분별하기 때문이다.

SSD는 객체 검출 속도 및 정확도 사이의 균형이 있는 알고리즘이다. SSD는 한 번만 입력 이미지에 대한 CNN을 실행하고 형상 맵(feature map)을 계산한다. 경계 상자 및 객체 분류 확률을 예측하기 위해 이 형상 맵을 3 × 3 크기로 CNN을 수행함으로써, 확률적으로 그리드를 제거해나가는 YOLO보다는 정확도를 높이면서도 연산 속도 면에서는 R-CNN보다 빠른 특성을 보인다. SSD는 CNN처리 후 경계 상자를 예측하며, 이 방법은 다양한 스케일의 물체를 검출할 수 있다.

도 3을 참조하면, YOLO와 SSD의 연산속도는 R-CNN과 대비하여 빠르며, 그중 SSD는 인식에 대한 정확도에 있어서도 R-CNN 수준과 근접한 수준이다.

본 발명에서는 이와 같은 YOLO 및 SSD 알고리즘을 기반으로 한 인공신경망 모델을 이용하는데, YOLO와 SSD를 결합하여 사용하는 모델은 다음과 같은 방식으로 구성할 수 있다. 즉, 먼저 AGV(500)에 장착된 카메라(10)로부터 수신한 촬영 영상 데이터를, 빠른 물체 인식이 가능한 YOLO 모델에 입력한다(S203). 이러한 YOLO 모델의 출력에서 물체가 인식된 경우, 영상 데이터에서 인식된 물체 영역을 추출해내고, 추출된 물체 영역 이미지를 SSD 모델에 입력한다(S204). YOLO 모델은 실제 물체가 차지하는 영역보다 약간 크게 영상을 잘라내어 이를 SSD 모델에 입력할 수 있다. SSD 모델은 이로부터 물체의 종류와 같은 물체 정보를 정확하게 인식해 내게 된다(S205). 즉, YOLO 모델에 의한 빠른 처리에 의해 영상으로부터 물체가 있음을 감지해 내고, 이러한 물체의 정확한 정보는 물체가 감지된 영상에서 SSD 모델을 이용하여 인식해 내는 것이다.

이와 같이 SSD모델의 출력에 의해 인식된 물체 종류에 따라, AGV 제어장치(100)는 AGV(500)의 각종 주행장치(20)들을 제어하는 메시지를 보낼 수 있다(S206). 이러한 주행 제어에는 예를 들어 AGV(500) 진행방향의 제어 등 다양한 제어가 있을 수 있으며, 또한 각 주행 제어와 관련된 다양한 장치들을 통칭하여 '주행장치(20)로 표현하기로 한다.

AGV 제어장치(100)로부터 지속적으로, 예를 들어 주기적으로 영상 데이터를 전달받은(S202) AGV 인공신경망 모델 학습장치(300)는, 전달받은 영상 데이터를 저장하고(S207), 이러한 데이터를 이용하여 인공신경망 모델의 최초 형성 또는 업데이트를 위한 기계학습을 수행한다(S208). 이러한 업데이트 역시 예를 들어 주기적으로 수행될 수 있다. 이와 같이 기계학습에 의해 업데이트된 인공신경망 모델은 AGV 인공신경망 모델 학습장치(300)에 저장되고(S209), 또한 업데이트된 인공신경망 모델은 AGV 제어장치(100)로 송신하며(S210), AGV 제어장치(100)는 업데이트된 인공신경망 모델을 저장한 후(S211), 향후 다시 업데이트되기 전까지 저장된 모델을 사용하게 된다.

딥러닝 기반 텐서플로우를 활용한 이미지 인식으로 주변 물체 및 AGV(500) 의 위치를 실시간으로 파악하여 계산된 결과로 경로제어 및 이동까지 가능하지만, 중소중견기업은 제조 관련된 데이터를 많이 확보하고 있지 않으며, 이미지 인식을 기반으로 하는 AGV(500)도 공장 내 한정된 환경에 대한 학습 데이터량을 바탕으로 자율주행을 해야 한다. 또한 데이터가 충분하더라도 일반 강화학습을 이용하면 많은 데이터와 비용, 시간이 소모되어 상용화에 오랜 시간이 걸린다.

따라서 본 발명의 인공신경망 모델 최초 형성 또는 업데이트를 위한 기계학습 과정(S208)에는, 소량의 데이터 학습만으로 이미지 인식이 가능한 “퓨샷러닝(few shot learning)” 기술을 적용하는 것이 바람직하다.

퓨샷러닝은 수많은 데이터를 학습하며 시행착오를 반복하는 강화학습의 약점을 극복하기 위해 상대적으로 적은 샘플로 상당한 수준의 학습이 가능하게 하는 것이며, 때로는 인간의 개입도 가능한 학습방법이다. 중소중견제조공장에 AGV(500)를 투입해야 할 경우 학습해야 할 객체와 공간이 상당히 한정되어 있고 한정된 데이터를 바탕으로 올바르게 객체를 이미지로 인식해야 하기 때문에 이미지 인식 및 학습에 있어 퓨샷러닝을 도입하는 것은 매우 유용하다.

이때, 라벨링된 소량의 데이터를 사용하여 라벨링되지 않은 데이터에 대한 학습 정확도를 높이는 반지도 학습 (semi-supervised learning)으로 퓨샷러닝의 정확도를 높일 수 있다. 또한 대용량의 동영상(공장 내부 환경 촬영에 따른)을 실시간으로 빠르게 받아들이고 연산을 통해 데이터 패턴을 빠르게 인식할 수 있도록 “5G(generation) 환경”이 구축되는 것이 바람직하다. 퓨샷러닝을 통해 대량의 데이터가 아닌 소량의 데이터만으로 학습하여 공장 환경에 대한 이미지 인식이 가능하며 강화학습 기반의 AGV와 대비하여 데이터와 비용은 적게 하면서, 빠른 시간 내 상용화가 가능하다. 또한 5G 환경에서 제어되는 AGV는 기존 LTE 환경 대비 수배~수십배 빠른 속도로 동영상 촬영 및 전송이 가능하다.

도 4는 반지도 학습(semi-supervised learning)과 지도 학습(supervised learning)을 비교하는 도면인데, 도 4(a)와 같이 완전히 라벨링된 데이터(labeled data)에 대하여는 도 4(c)와 같이 지도 학습을 수행하여 구분해 낼 수 있다. 그러나 도 4(b)와 같이 라벨링되지 않은 데이터(unlabeled data, 작은 원들)가 섞여있는 경우에는, 도 4(d)와 같이 라벨링된 데이터(큰 원들과 삼각형들)를 기준으로 라벨링되지 않은 데이터에 대한 분류를 정의하는 반지도 학습을 바탕으로 퓨샷러닝을 수행할 수 있고(S208), 이를 통해 인공신경망 모델을 구축하여(S209), 구축된 인공신경망 모델에 의해 AGV(500)의 주행 제어를 실시할 수 있다.

즉, 반지도 학습은 라벨링된 데이터와 라벨링되지 않은 데이터를 모두 학습에 사용한다. 라벨링되지 않은 다량의 데이터에 대해, 라벨링된 소량의 데이터를 사용하여 라벨링되지 않은 데이터에 대한 학습 정확도를 높인다. 공장 내 AGV(500)를 이미지 기반으로 제어할 경우에도 소량의 라벨링된 데이터를 기반으로 다량의 객체를 정확하게 인식하여 인식된 객체들을 반영하여 목적지까지 이동하는 경로 map을 생성할 수 있다.

특히, 도 2를 참조하여 전술한 바와 같이, 본 발명의 실시예에서는 인공신경망 모델로서 YOLO 모델과 SSD 모델을 결합하여 사용하며, 반지도 학습을 바탕으로 퓨샷러닝에 의해 YOLO 모델과 SSD 모델을 각각 형성/업데이트할 수 있다.

도 5는 본 발명의 AGV 제어장치(100)의 구성을 나타내는 도면이다.

도 2를 참조하여 AGV 제어장치(100)가 수행하는 기능에 대하여는 상세히 설명한 바 있으므로, 도 5를 참조하여서는 그러한 기능을 수행하기 위한 AGV 제어장치(100)의 구성요소를 중심으로 간략히 정리하여 설명하기로 한다.

도 5를 참조하면, AGV 제어장치(100)는, 프로세서(110), 프로그램과 데이터를 저장하는 비휘발성 저장부(120), 실행 중인 프로그램들을 저장하는 휘발성 메모리(130), 다른 기기와 통신을 수행하기 위한 통신부(140), 이들 장치 사이의 내부 통신 통로인 버스 등으로 이루어져 있다. 실행 중인 프로그램으로는, 장치 드라이버, 운영체계(Operating System), 및 다양한 어플리케이션이 있을 수 있다. 도시되지는 않았지만, 전력제공부를 포함한다.

AGV 제어장치(100)는, AGV(500)에 장착된 카메라(10)로부터, 영상 데이터 수신 드라이버(210)에 의해 AGV(500)의 주행중 영상 데이터를 전달받아 이를 인공신경망 이용 주행제어 어플리케이션(230)(이하 '어플리케이션(230)'이라 한다)에 포함되어 있는 인공신경망 모델에 입력하고, 인공신경망 모델의 출력에 의해 AGV(500)의 주행장치(20)를 제어하여, AGV(500)의 주행을 제어하는 역할을 수행한다. 그러한 역할에 대하여는 도 2를 참조하여 상세히 설명한 바 있다. 또한 이러한 인공신경망 모델로는, YOLO 모델과 SSD 모델을 결합하여 사용할 수 있음 역시 전술한 바와 같다.

또한 통신부(140)는 도 2를 참조하여 설명한 바와 같은 AGV 인공신경망 모델 학습장치(300)와의 데이터 송수신 역할을 수행하는데, 즉 AGV 제어장치(100)는 통신부(140)를 통하여, 카메라(10)에서 수신한 영상 데이터를 AGV 인공신경망 모델 학습장치(300)로 송신하고, AGV 인공신경망 모델 학습장치로부터(300) 형성/업데이트 된 YOLO, SSD 등의 인공신경망 모델을 수신한다.

도 6은 AGV 인공신경망 모델 학습장치(300)의 구성을 나타내는 도면이다.

도 2를 참조하여 AGV 인공신경망 모델 학습장치(300)가 수행하는 기능에 대하여는 상세히 설명한 바 있으므로, 도 6을 참조하여서는 그러한 기능을 수행하기 위한 AGV 인공신경망 모델 학습장치(300)의 구성요소를 중심으로 간략히 정리하여 설명하기로 한다.

제어부(310)는 이하에서 설명하는 AGV 인공신경망 모델 학습장치(300)의 각 구성모듈을 제어하여, 주행제어를 위한 인공신경망 모델 학습과 관련된 일련의 처리를 수행한다.

통신부(320)는 도 2를 참조하여 설명한 바와 같은, AGV 제어장치(100)와의 데이터 송수신 역할을 수행한다.

영상 데이터 수신부(330)는, 통신부(320)를 통하여 수신한 데이터에서 영상 데이터를 수신한다.

머신러닝부(340)는, AGV 제어장치(100)로부터 지속적으로, 예를 들어 주기적으로 수신하는 영상 데이터를 이용하여 기계학습(machine learning)을 수행함으로써, 인공신경망 모델을 형성 및 지속적으로 업데이트하여 AGV 제어장치(100)에 전달하는 역할을 수행한다. 머신러닝부(340)에는 영상 데이터를 이용하여 YOLO 모델을 업데이트하는 YOLO 모델 학습부(341)과, 영상 데이터를 이용하여 SSD 모델을 업데이트하는 SSD 모델 학습부(342)를 포함한다. 이러한 머신러닝부(340)는, 도 2를 참조하여 전술한 바와 같이, 반지도 학습(semi-supervised learning)을 바탕으로 퓨샷러닝에 의해 YOLO 모델과 SSD 모델을 각각 형성/업데이트하게 된다.

데이터 저장부(350)에는 AGV 제어장치(100)로부터 지속적으로, 예를 들어 주기적으로 수신하는 영상 데이터를 저장하며, 또한 머신러닝부(340)에서 학습에 의해 형성/업데이트시키는 인공신경망 모델을 저장한다.

10: 카메라
20: 주행장치
100: AGV 제어장치
300: AGV 인공신경망 모델 학습장치

Claims

자율주행차량(이하 'AGV'라 한다)에 장착된 AGV 제어장치가, 인공신경망을 이용하여 물체를 인식함에 의해 AGV에 대한 주행제어를 수행하는 방법으로서,
(a) AGV에 장착된 카메라로부터 촬영중인 영상 데이터를 수신하는 단계;
(b) 수신한 영상 데이터를 AGV 인공신경망 모델 학습장치로 지속적으로 송신하는 단계;
(c) 수신한 상기 단계(b)와 동일한 영상 데이터를 인공신경망 모델에 입력하는 단계; 및,
(d) 상기 인공신경망 모델 출력에 따라, 상기 AGV의 주행장치로 제어 메시지를 송신하는 단계
를 포함하고,
상기 단계(a)에서 수신한 영상 데이터는,
상기 단계(c)에서 YOLO(You Only Look Once) 모델에 입력되며,
상기 인공신경망 모델에는,
SSD(Single Shot Detector) 모델을 더 포함하고,
상기 단계(c)는,
(c1) 영상 데이터를, 빠른 물체 인식이 가능한 YOLO 모델에 입력하는 단계;
(c2) 상기 YOLO 모델의 출력에서 물체가 인식된 경우, 영상 데이터에서 인식된 물체 영역을 추출해내는 단계;
(c3) 추출된 물체 영역 이미지를 SSD 모델에 입력하는 단계; 및,
(c4) SSD 모델은 인식된 물체의 정보(이하 '물체 인식 정보'라 한다)를 출력하는 단계
를 포함하며,
SSD는 CNN(convolutional neural network) 처리 후 경계 상자를 예측하고, 다양한 스케일의 물체를 검출할 수 있으며,
상기 YOLO 모델은 실제 물체가 차지하는 영역보다 약간 크게 영상을 잘라내어 이를 SSD 모델에 입력하고,
상기 단계(b) 이후,
(e) 상기 AGV 인공신경망 모델 학습장치로부터, 지속적으로 업데이트된 인공신경망 모델을 수신하여 저장하는 단계
를 더 포함하고,
상기 단계(e)에서 저장된 최신의 업데이트된 인공신경망 모델은, 이후 상기 단계(c)의 인공신경망 모델로 사용하며,
상기 업데이트된 인공신경망 모델은,
YOLO 모델 또는 SSD 모델이고,
상기 단계(a) 및 단계(b)에서의 영상 데이터의 송수신은,
5G(generation) 환경에서 이루어지는,
AGV 제어장치의 주행제어 방법.
삭제
삭제
삭제
삭제
삭제
삭제
자율주행차량(이하 'AGV'라 한다)에 장착되어, 인공신경망을 이용하여 물체를 인식함에 의해 AGV에 대한 주행제어를 수행하는 장치로서,
적어도 하나의 프로세서; 및
컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되,
상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여,
(a) AGV에 장착된 카메라로부터 촬영중인 영상 데이터를 수신하는 단계;
(b) 수신한 영상 데이터를 AGV 인공신경망 모델 학습장치로 지속적으로 송신하는 단계;
(c) 수신한 상기 단계(b)와 동일한 영상 데이터를 인공신경망 모델에 입력하는 단계; 및,
(d) 상기 인공신경망 모델 출력에 따라, 상기 AGV의 주행장치로 제어 메시지를 송신하는 단계
가 실행되도록 하고,
상기 단계(a)에서 수신한 영상 데이터는,
상기 단계(c)에서 YOLO(You Only Look Once) 모델에 입력되며,
상기 인공신경망 모델에는,
SSD(Single Shot Detector) 모델을 더 포함하고,
상기 단계(c)는,
(c1) 영상 데이터를, 빠른 물체 인식이 가능한 YOLO 모델에 입력하는 단계;
(c2) 상기 YOLO 모델의 출력에서 물체가 인식된 경우, 영상 데이터에서 인식된 물체 영역을 추출해내는 단계;
(c3) 추출된 물체 영역 이미지를 SSD 모델에 입력하는 단계; 및,
(c4) SSD 모델은 인식된 물체의 정보(이하 '물체 인식 정보'라 한다)를 출력하는 단계
를 포함하며,
SSD는 CNN(convolutional neural network) 처리 후 경계 상자를 예측하고, 다양한 스케일의 물체를 검출할 수 있으며,
상기 YOLO 모델은 실제 물체가 차지하는 영역보다 약간 크게 영상을 잘라내어 이를 SSD 모델에 입력하고,
상기 단계(b) 이후,
(e) 상기 AGV 인공신경망 모델 학습장치로부터, 지속적으로 업데이트된 인공신경망 모델을 수신하여 저장하는 단계
를 더 포함하고,
상기 단계(e)에서 저장된 최신의 업데이트된 인공신경망 모델은, 이후 상기 단계(c)의 인공신경망 모델로 사용하며,
상기 업데이트된 인공신경망 모델은,
YOLO 모델 또는 SSD 모델이고,
상기 단계(a) 및 단계(b)에서의 영상 데이터의 송수신은,
5G(generation) 환경에서 이루어지는,
AGV 제어장치.
자율주행차량(이하 'AGV'라 한다)에 장착되어, 인공신경망을 이용하여 물체를 인식함에 의해 AGV에 대한 주행제어를 수행하기 위한 비일시적 저장매체에 저장된 컴퓨터 프로그램으로서,
비일시적 저장매체에 저장되며, 프로세서에 의하여,
(a) AGV에 장착된 카메라로부터 촬영중인 영상 데이터를 수신하는 단계;
(b) 수신한 영상 데이터를 AGV 인공신경망 모델 학습장치로 지속적으로 송신하는 단계;
(c) 수신한 상기 단계(b)와 동일한 영상 데이터를 인공신경망 모델에 입력하는 단계; 및,
(d) 상기 인공신경망 모델 출력에 따라, 상기 AGV의 주행장치로 제어 메시지를 송신하는 단계
가 실행되도록 하는 명령을 포함하고,
상기 단계(a)에서 수신한 영상 데이터는,
상기 단계(c)에서 YOLO(You Only Look Once) 모델에 입력되며,
상기 인공신경망 모델에는,
SSD(Single Shot Detector) 모델을 더 포함하고,
상기 단계(c)는,
(c1) 영상 데이터를, 빠른 물체 인식이 가능한 YOLO 모델에 입력하는 단계;
(c2) 상기 YOLO 모델의 출력에서 물체가 인식된 경우, 영상 데이터에서 인식된 물체 영역을 추출해내는 단계;
(c3) 추출된 물체 영역 이미지를 SSD 모델에 입력하는 단계; 및,
(c4) SSD 모델은 인식된 물체의 정보(이하 '물체 인식 정보'라 한다)를 출력하는 단계
를 포함하며,
SSD는 CNN(convolutional neural network) 처리 후 경계 상자를 예측하고, 다양한 스케일의 물체를 검출할 수 있으며,
상기 YOLO 모델은 실제 물체가 차지하는 영역보다 약간 크게 영상을 잘라내어 이를 SSD 모델에 입력하고,
상기 단계(b) 이후,
(e) 상기 AGV 인공신경망 모델 학습장치로부터, 지속적으로 업데이트된 인공신경망 모델을 수신하여 저장하는 단계
를 더 포함하고,
상기 단계(e)에서 저장된 최신의 업데이트된 인공신경망 모델은, 이후 상기 단계(c)의 인공신경망 모델로 사용하며,
상기 업데이트된 인공신경망 모델은,
YOLO 모델 또는 SSD 모델이고,
상기 단계(a) 및 단계(b)에서의 영상 데이터의 송수신은,
5G(generation) 환경에서 이루어지는,
인공신경망을 이용하여 물체를 인식함에 의해 AGV에 대한 주행제어를 수행하기 위한, 비일시적 저장매체에 저장된 컴퓨터 프로그램.
삭제
삭제
삭제