KR102582871B1

KR102582871B1 - Excavator bucket position estimation system and method using neural network learning

Info

Publication number: KR102582871B1
Application number: KR1020210137301A
Authority: KR
Inventors: 주백석; 박현빈; 이상웅
Original assignee: 금오공과대학교 산학협력단
Priority date: 2020-10-26
Filing date: 2021-10-15
Publication date: 2023-09-26
Also published as: KR20220055414A

Abstract

본 발명의 일 실시예에 따른 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템은 카메라로부터 학습할 굴착기 이미지 데이터를 수집하고 데이터셋을 생성하여 학습하고 가중치를 산출하는 학습기; 학습 후 가중치를 입력하여 실제 굴착기 버킷 위치 인식이 필요한 굴착기 이미지로부터 버킷 위치를 인식하여 결과를 산출하는 인식기; 및 복수의 굴착기 이미지와 학습 및 버킷 위치 인식을 위해 필요한 데이터들을 저장하는 데이터베이스를 포함한다.An excavator bucket position estimation system using neural network learning according to an embodiment of the present invention includes a learner that collects excavator image data to be learned from a camera, creates and learns a dataset, and calculates weights; A recognizer that recognizes the bucket position from the excavator image that requires recognition of the actual excavator bucket position by inputting the weight after learning and produces a result; and a database that stores a plurality of excavator images and data necessary for learning and bucket location recognition.

Description

신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템 및 방법{Excavator bucket position estimation system and method using neural network learning}Excavator bucket position estimation system and method using neural network learning {Excavator bucket position estimation system and method using neural network learning}

본 발명은 굴착기 버킷 위치 추정 시스템 및 방법에 관한 것으로, 더욱 상세하게는 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for estimating the position of an excavator bucket, and more specifically, to a system and method for estimating the position of an excavator bucket using neural network learning.

현재 우리나라에서 건물 철거 작업 시 발생하는 미세먼지는 별도의 처리 기술이 없어 인력살수 작업을 통해 억제되고 있다.Currently, fine dust generated during building demolition work in Korea is suppressed through manpower sprinkler work as there is no separate treatment technology.

그러나 인력살수 작업 중 붕괴사고로 인해 작업하던 근로자들이 사망 및 부상을 당하는 재해 사건이 빈번히 발생하고 있어 인력살수 작업은 근로자들의 안전이 보장받지 못한다는 큰 문제점을 가지고 있다.However, disaster incidents in which workers are killed or injured due to collapse accidents during manpower sprinkler work frequently occur, so manpower sprinkler work has a major problem in that the safety of workers is not guaranteed.

재래적인 인력살수 방법을 통해 미세먼지 처리를 하고 있는 우리나라의 경우와는 달리, 유럽을 비롯한 미국, 일본, 호주 등의 선진외국에서는 수동 물 분사 장치를 개발하여 각종 산업현장에서 사용하고 있다.Unlike the case of Korea, where fine dust is treated through conventional manual water spraying methods, advanced foreign countries such as Europe, the United States, Japan, and Australia have developed manual water spraying devices and are using them in various industrial sites.

하지만 해외에서 사용되는 종래의 미세먼지 억제 시스템 또한 물을 분사하는 기계를 사람이 직접 움직여 주어야 하고 굴착기와 물을 분사하는 기계의 분사 방향의 불일치로 인해 미세먼지의 처리 효율이 떨어지는 문제가 발생한다.However, the conventional fine dust suppression system used overseas also requires a person to manually move the water spraying machine, and the mismatch between the spraying directions of the excavator and the water spraying machine causes the problem of low fine dust treatment efficiency.

따라서 우리나라의 재해사건과 해외기술의 문제점을 해결할 수 있으며, 또한 다양한 산업 현장에서 발생하는 미세먼지를 제거하기 위한 새로운 미세먼지 억제 시스템 기술이 필요하다. Therefore, a new fine dust suppression system technology is needed that can solve our country's disaster incidents and problems with overseas technology, and also eliminate fine dust generated in various industrial sites.

또한 이를 위해 굴착기의 위치를 인식하고 자동으로 위치를 정확하게 추적할 수 있는 기술을 활용하여 다양한 환경에서 발생하는 미세먼지 중에서 건설현장에서 발생하는 미세먼지 억제에 초점을 맞춰 미세먼지 추적 자동화를 수행할 수 있으며, 특히 최근 각광받고 있는 머신 비전, 신경망 학습 기술 등을 활용하여 굴착기의 버킷 위치를 인식하고 추정할 수 있는 기술이 필요하게 되었다.In addition, by utilizing technology that can recognize the location of the excavator and automatically track the location accurately, it is possible to automate fine dust tracking with a focus on suppressing fine dust generated at construction sites among fine dust generated in various environments. In particular, there is a need for technology that can recognize and estimate the location of an excavator's bucket by utilizing machine vision and neural network learning technologies, which have recently been in the spotlight.

한국등록특허 제10-1472026호(2014년12월05일 등록)Korean Patent No. 10-1472026 (registered on December 5, 2014)

본 발명의 목적은 카메라를 이용하여 굴착기의 형상 및 버킷 형상을 촬영하고, 인공지능 기반 신경망 알고리즘의 학습 이미지로 사용하며, 학습 데이터를 기반으로 굴착기 이미지에서 버킷의 위치를 인식시키고, 해당 위치 데이터를 계산하여 제공하는 굴착기 버킷 위치 추정할 수 있는 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템 및 방법을 제공하는 것이다.The purpose of the present invention is to photograph the shape of the excavator and the bucket shape using a camera, use it as a learning image for an artificial intelligence-based neural network algorithm, recognize the location of the bucket in the excavator image based on the learning data, and collect the corresponding location data. To provide an excavator bucket position estimation system and method using neural network learning that can calculate and estimate the excavator bucket position.

상기 학습기는 굴착기 버킷 위치를 추정하기 위해 고정된 카메라로 촬영된 복수의 굴착기 이미지를 제공받아 학습 데이터로 수집하고, 학습 데이터 셋을 생성하는 수집부; 상기 학습 데이터 셋을 이용하여 CNN 기반의 신경망 학습을 위한 합성곱 연산을 수행하는 학습부; 및 상기 학습부의 학습 결과에 따라 오차율을 줄이고, 굴착기 버킷 위치를 잘 인식시킬 수 있도록 가중치를 산출할 수 있는 가중치산출부를 포함한다.The learner includes a collection unit that receives a plurality of excavator images taken with a fixed camera to estimate the position of the excavator bucket, collects them as learning data, and generates a learning data set; A learning unit that performs a convolution operation for CNN-based neural network learning using the training data set; and a weight calculation unit capable of calculating weights to reduce the error rate according to the learning results of the learning unit and to better recognize the excavator bucket position.

상기 인식기는 상기 카메라로 촬영된 굴착기 이미지가 포함된 원본 이미지로부터 합성곱 연산을 실시하여, 미리 학습된 굴착기 위치 및 굴착기 버킷 위치를 인식할 수 있는 인식부; 및 원본 이미지에서 인식된 굴착기 위치와 버킷의 위치에 해당하는 좌표값을 산출하고, 관리자 컴퓨터의 화면에 표시하는 위치산출부를 포함한다.The recognizer includes a recognition unit capable of recognizing a pre-learned excavator location and an excavator bucket location by performing a convolution operation on an original image including an excavator image captured by the camera; and a location calculation unit that calculates coordinate values corresponding to the location of the excavator and the bucket recognized in the original image and displays them on the screen of the manager's computer.

상기 수집부는 굴착기 학습 이미지에서 버킷 위치 추정을 위해 복수의 굴착기 학습 이미지에서 각각 굴착기 버킷(Attachment)에 경계 박스(바운딩 박스) 처리한 경계 데이터를 생성하여 학습 데이터 셋으로 묶어 생성하는 것을 특징으로 한다.In order to estimate the bucket position in the excavator learning image, the collection unit generates boundary data processed as a bounding box on each excavator bucket (attachment) from a plurality of excavator learning images and groups them into a learning data set.

상기 가중치는 신경망 학습을 통해 오차를 수정할 수 있도록 기울기 강하 학습법에 의한 다층 퍼셉트론 학습에 의해 수정될 수 있으며, weight와 bias weight를 포함하는 것을 특징으로 한다.The weight can be modified by multi-layer perceptron learning using a gradient descent learning method to correct errors through neural network learning, and is characterized by including a weight and a bias weight.

본 발명의 일 실시예에 따른 상기 굴착기 버킷 위치 추정 시스템을 이용한 굴착기 버킷 위치 추정 방법에 있어서, 굴착기 이미지를 포함한 복수의 학습용 이미지를 수집하는 단계; 수집된 학습용 이미지를 이용하여 합성곱 연산을 위한 학습 데이터 셋을 생성하는 단계; 상기 학습 데이터 셋으로 합성곱 연산을 통하여 신경망 학습을 수행하는 단계; 상기 신경망 학습의 결과로 굴착기 버킷 위치 추정을 위한 가중치를 산출하는 단계; 상기 산출된 가중치 및 인식 대상인 굴착 이미지를 포함한 원본 이미지를 굴착기 버킷 위치 인식을 위한 인식기에 입력하는 단계; 상기 원본 이미지 내 굴착기 버킷 위치 인식을 위한 합성곱 실시하는 단계; 합성곱 실시의 결과값으로 굴착기 버킷의 위치를 인식하는 단계; 및 인식된 위치 좌표값을 산출하여 인식 결과 및 좌표값을 관리자 컴퓨터 화면에 표시하는 단계를 포함한다.An excavator bucket position estimation method using the excavator bucket position estimation system according to an embodiment of the present invention, comprising: collecting a plurality of training images including an excavator image; Generating a learning data set for convolution operation using the collected training images; Performing neural network learning through convolution operation with the learning data set; Calculating weights for estimating the excavator bucket position as a result of the neural network learning; Inputting the original image including the calculated weight and the excavation image that is the recognition target into a recognizer for recognizing the excavator bucket position; Performing convolution to recognize the excavator bucket position in the original image; Recognizing the position of the excavator bucket using the result of the convolution; And calculating the recognized location coordinates and displaying the recognition results and coordinates on the administrator's computer screen.

본 발명의 굴착기 버킷 위치 추정 방법은 카메라를 이용하여 굴착기의 형상 및 버킷 형상을 촬영하고, 인공지능 기반 신경망 학습 이미지로 사용하며, 학습 데이터를 기반으로 굴착기 이미지에서 버킷의 위치를 인식시키고, 해당 위치 데이터를 계산할 수 있는 장점이 있다.The excavator bucket position estimation method of the present invention uses a camera to photograph the shape of the excavator and the bucket shape, uses it as an artificial intelligence-based neural network learning image, recognizes the location of the bucket in the excavator image based on the learning data, and recognizes the location of the bucket. It has the advantage of being able to calculate data.

또한, 카메라로 촬영된 이미지에서 버킷은 굴착기 몸체나 주변 지형 등에 가려지는 경우가 있어, 다양한 각도의 버킷 이미지와 각종 외란(disturbance)이 포함된 이미지를 사용하여 신경망 학습시키고, 버킷 추정에 좀 더 정확하고 외부 요인에 의한 추정 에러에 강인하도록 설계할 수 있다.In addition, in images taken with a camera, the bucket is sometimes obscured by the excavator body or surrounding terrain, so bucket images from various angles and images containing various disturbances are used to train a neural network to provide more accurate bucket estimation. and can be designed to be robust to estimation errors caused by external factors.

또한 굴착기 버킷 위치 추정에 의해 미세먼지 제거를 위한 물분사로봇의 위치 제어에 활용하여 굴착기 작업이 이루어지는 버킷이 위치한 장소에 정확한 물분사가 이루어지도록 하는 장점이 있다.In addition, it has the advantage of being used to control the position of the water spray robot for removing fine dust by estimating the position of the excavator bucket, so that water is sprayed accurately at the location of the bucket where excavator work is performed.

또한 학습이 가능한 모든 굴착기에 사용 가능하며, 버킷이 아닌 다양한 작업장치에도 적용할 수 있으며, 또한 굴착기를 사용한 다양한 분야에서 사용할 수도 있는 장점이 있다.In addition, it can be used on all excavators capable of learning, can be applied to various work devices other than buckets, and has the advantage of being able to be used in various fields using excavators.

도 1은 본 발명의 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템에서 굴착기 이미지에서 학습된 데이터를 기반으로 버킷 위치를 추정하는 개념을 예시적으로 보인 도면이다.
도 2는 본 발명의 일 실시예에 따른 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템의 전체 구성을 보인 블록도이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 신경망 학습을 이용한 굴착기 버킷 위치 추정 방법의 전체 과정을 보인 순서도이다.
도 4는 굴착기 사진으로부터 학습 데이터 셋을 추출하는 과정을 예시적으로 보인 도면이다.
도 5는 컨벌루션 신경망(CNN)을 활용하여 학습 데이터 셋을 입력으로 합성곱 연산을 통한 학습 과정을 설명하기 위한 도면이다.
도 6은 학습 이후 굴착기 이미지에서 학습된 굴착기 버킷 위치를 인식(추정)하는 과정을 예시적으로 보인 도면이다.Figure 1 is a diagram illustrating the concept of estimating the bucket position based on data learned from an excavator image in the excavator bucket position estimation system using neural network learning of the present invention.
Figure 2 is a block diagram showing the overall configuration of an excavator bucket position estimation system using neural network learning according to an embodiment of the present invention.
3A and 3B are flowcharts showing the entire process of the excavator bucket position estimation method using neural network learning according to an embodiment of the present invention.
Figure 4 is a diagram illustrating the process of extracting a learning data set from a photo of an excavator.
Figure 5 is a diagram to explain the learning process through convolution operation using a convolutional neural network (CNN) with a learning data set as input.
Figure 6 is a diagram illustrating the process of recognizing (estimating) the learned excavator bucket position from the excavator image after learning.

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings. However, the spirit of the present invention is not limited to the presented embodiments, and those skilled in the art who understand the spirit of the present invention may add, change, or delete other components within the scope of the same spirit, or create other degenerative inventions or this invention. Other embodiments that are included within the scope of the invention can be easily proposed, but this will also be said to be included within the scope of the invention of the present application. In addition, components having the same function within the scope of the same idea shown in the drawings of each embodiment will be described using the same reference numerals.

도 1은 본 발명의 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템에서 굴착기 이미지에서 학습된 데이터를 기반으로 버킷 위치를 추정하는 개념을 예시적으로 보인 도면이며, 도 2는 본 발명의 일 실시예에 따른 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템의 전체 구성을 보인 블록도이다.Figure 1 is a diagram illustrating the concept of estimating the bucket position based on data learned from the excavator image in the excavator bucket position estimation system using neural network learning of the present invention, and Figure 2 is a diagram according to an embodiment of the present invention. This is a block diagram showing the overall configuration of the excavator bucket position estimation system using neural network learning.

본 발명의 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템(1000)은 도 1을 참조하면, 카메라로 촬영된 복수의 굴착기 이미지를 신경망 학습을 위한 데이터로 수집하고, 학습 결과로서 굴착기의 원하는 위치에 해당하는 버킷(작업 위치)을 위치를 인식(추정)할 수 있도록 한다.Referring to FIG. 1, the excavator bucket position estimation system 1000 using neural network learning of the present invention collects a plurality of excavator images captured by a camera as data for neural network learning, and as a learning result, Allows the location of the bucket (work location) to be recognized (estimated).

이를 위한 구체적 구성으로서, 도 2에 도시된 바와 같이, 카메라로부터 학습할 굴착기 이미지 데이터를 수집하고 데이터셋을 생성하여 학습하고 가중치를 산출하는 학습기(100)와, 학습 후 가중치를 입력하여 실제 굴착기 버킷 위치 인식이 필요한 굴착기 이미지로부터 버킷 위치를 인식하여 결과를 산출하는 인식기(200) 및 복수의 굴착기 이미지와 학습 및 버킷 위치 인식을 위해 필요한 데이터들(경계 데이터, 가중치 등)을 저장하는 데이터베이스(300)를 더 포함할 수 있다.As a specific configuration for this, as shown in FIG. 2, a learner 100 collects excavator image data to be learned from a camera, creates a dataset, learns, and calculates weights, and inputs the weights after learning to create an actual excavator bucket. A recognizer 200 that recognizes the bucket location from an excavator image requiring location recognition and produces results, and a database 300 that stores a plurality of excavator images and data (boundary data, weights, etc.) required for learning and bucket location recognition. It may further include.

또한 학습기(100)는 구체적으로 수집부(110), 학습부(120), 가중치산출부(130)를 더 포함한다.Additionally, the learner 100 specifically includes a collection unit 110, a learning unit 120, and a weight calculation unit 130.

수집부(110)는 굴착기 버킷 위치를 추정하기 위해 고정된 카메라로 촬영된 복수의 굴착기 이미지를 제공받아 학습 데이터로 수집하고, 학습 데이터 셋을 생성한다.The collection unit 110 receives a plurality of excavator images taken with a fixed camera to estimate the position of the excavator bucket, collects them as learning data, and generates a learning data set.

또한 이때 촬영되는 굴착기 학습 이미지는 굴착기 형상 데이터를 학습시키기 위해 굴착기를 다양한 각도, 환경(기상 조건 등)에서 촬영한 이미지를 학습 이미지로 사용하고 도 4에 도시된 바와 같이, 학습 데이터 셋을 생성할 수 있다.In addition, the excavator learning image taken at this time uses images taken of the excavator at various angles and environments (weather conditions, etc.) as learning images to learn the excavator shape data, and generates a learning data set as shown in Figure 4. You can.

특히 굴착기 학습 이미지에서 버킷 위치 추정을 위해 복수의 굴착기 학습 이미지에서 각각 굴착기 버킷(Attachment)에 경계 박스(바운딩 박스) 처리한 경계 데이터를 생성하여 학습 데이터 셋으로 묶어 생성한다.In particular, to estimate the bucket position in the excavator learning image, boundary data processed as a bounding box is generated for each excavator bucket (attachment) from a plurality of excavator learning images and grouped into a learning data set.

즉, 우선적으로 배경을 포함한 이미지 내에서 배경을 제외한 굴착기 위치를 찾고, 이후 굴착기 내에서 버킷 위치를 찾기 위해 학습 데이터 셋에는 굴착기의 경계 데이터와 작업장치인 버킷의 경계 데이터, 경계 데이터 중심점을 포함할 수 있다.In other words, to first find the location of the excavator excluding the background in an image including the background, and then to find the location of the bucket within the excavator, the learning data set includes the boundary data of the excavator, the boundary data of the bucket, which is a work device, and the center point of the boundary data. You can.

학습부(120)는 우선 학습 데이터 셋을 이용하여 CNN 기반의 신경망 학습을 위한 합성곱 연산을 수행한다.The learning unit 120 first performs a convolution operation for CNN-based neural network learning using the training data set.

합성곱 연산은 도 5를 참조하면 학습 대상인 이미지에서 먼저 RGB(Red, Green, Blue) 별로 레이어를 나누어 주며, 일정 크기로 이미지를 잘라내어 픽셀별로 수치화하고 이를 행렬로 정리한다.Referring to Figure 5, the convolution operation first divides the learning target image into layers by RGB (Red, Green, Blue), cuts the image to a certain size, quantifies each pixel, and organizes it into a matrix.

또한 행렬화가 진행된 값을 필터와 합성곱(Convolution)을 하는 방법이 CNN 신경망이다.In addition, a CNN neural network is a method of filtering and convolving the matrixed values.

위와 같은 과정을 통해 분류를 진행하게 되면 학습 이미지의 특징을 더 잘 살려 줄 수 있게 되어 결과적으로 굴착기 이미지 내에서 버킷 위치 추정시, 분류 오차를 줄일 수 있게 된다.If classification is performed through the above process, the characteristics of the learning image can be better utilized, and as a result, classification errors can be reduced when estimating the bucket position within the excavator image.

또한 학습부(120)는 복수의 노드를 갖는 신경망을 통하여 원하는 결과값(버킷 위치 좌표값)을 산출하기 위해 오차를 줄여나가며, 반복적으로 딥러닝 학습을 수행한다.Additionally, the learning unit 120 reduces errors and repeatedly performs deep learning learning to calculate the desired result value (bucket position coordinate value) through a neural network having a plurality of nodes.

즉, 학습부(120)는 신경망으로 학습 이미지에 해당하는 input 값을 받아들여 작동하되, 이때 결과로 나오는 오차율을 수정해가며 적절한 값을 찾아가는 학습을 반복적으로 러닝(Learning)할 수 있으며, 학습을 거듭할수록 오차율이 줄어들어 원하는 버킷 위치를 후술할 인식기(200)에서 잘 인식시킬 수 있게 된다.In other words, the learning unit 120 operates by accepting the input value corresponding to the learning image through a neural network, and can repeatedly learn to find an appropriate value by correcting the resulting error rate. As the error rate decreases over time, the desired bucket position can be properly recognized by the recognizer 200, which will be described later.

가중치산출부(130)는 학습부(120)의 학습 결과에 따라 오차율을 줄이고, 원하는 위치를 잘 인식시킬 수 있도록 가중치를 산출할 수 있으며, 가중치는 학습 횟수에 따라 달라질 수 있으며, 학습이 거듭될수록 보정되어 최적화된 가중치를 산출할 수 있도록 한다.The weight calculation unit 130 can calculate a weight to reduce the error rate according to the learning results of the learning unit 120 and to better recognize the desired location. The weight may vary depending on the number of learning times, and as learning continues, It is calibrated so that optimized weights can be calculated.

가중치는 신경망 학습을 통해 오차를 수정할 수 있도록 기울기 강하 학습법에 의한 다층 퍼셉트론 학습(오류역전파(역방향) 학습)에 의해 수정될 수 있으며, weight와 bias weight를 포함할 수 있다.The weights can be modified by multi-layer perceptron learning (error backpropagation (backward) learning) using gradient descent learning to correct errors through neural network learning, and may include weights and bias weights.

구체적으로 전방향 계산에서는 현재 가중치를 이용하여 출력값을 계산할 수 있으며, 역방향 계산에서는 현재 가중치를 이용하여 오류를 계산할 수 있다.Specifically, in forward calculation, the output value can be calculated using the current weight, and in backward calculation, the error can be calculated using the current weight.

이를 위해 신경망의 출력 노드의 출력값과 목표출력값을 비교하여 가중치 수정항을 계산할 수 있으며, 계산된 수정항과 학습율을 이용하여 가중치 파라미터를 수정할 수 있게 된다.For this purpose, the weight correction term can be calculated by comparing the output value of the output node of the neural network with the target output value, and the weight parameter can be modified using the calculated correction term and learning rate.

이와 같은 과정을 전체 학습 데이터 셋에 대하여 수행함으로써, 허용오차보다 작도록 학습시키고 최적의 가중치에서 결과적으로 학습된 원하는 결과값(버킷 위치)을 추정할 수 있도록 할 수 있다.By performing this process on the entire learning data set, it is possible to learn to be smaller than the tolerance and estimate the desired result value (bucket position) learned as a result at the optimal weight.

또한 인식기(200)는 인식부(210)와 위치산출부(220)를 더 포함한다.Additionally, the recognizer 200 further includes a recognition unit 210 and a location calculation unit 220.

인식부(210)는 도 6을 참조하면 카메라로 촬영된 인식 대상인 굴착기 이미지가 포함된 원본 이미지로부터 합성곱 연산을 실시하여, 학습된 굴착기 및 굴착기 버킷 위치를 인식할 수 있다.Referring to FIG. 6, the recognition unit 210 may perform a convolution operation on an original image including an image of an excavator, which is a recognition target, captured by a camera, and may recognize the learned excavator and excavator bucket positions.

위치산출부(220)는 마지막으로 원본 이미지에서 인식된 굴착기 위치와 버킷의 위치에 해당하는 좌표값을 산출하고, 관리자 컴퓨터의 화면에 표시해준다. Finally, the location calculation unit 220 calculates coordinate values corresponding to the location of the excavator and the bucket recognized in the original image and displays them on the screen of the manager's computer.

이때 굴착기와 굴착기 버킷 이미지를, 추정이 필요한 원본 이미지에 표시한 뒤 표시가 완료된 이미지를 관리자 프로그램의 GUI(Graphical User Interface)에 출력한다.At this time, the excavator and excavator bucket images are displayed on the original image that requires estimation, and the displayed image is output to the GUI (Graphical User Interface) of the manager program.

상기 과정들을 반복하여 실시간으로 굴착기 버킷을 추정하며 만약 굴착기가 인식이 안될 시 학습 이미지를 추가하여 신경망 학습을 수행함으로써 좀 더 굴착기 버킷 위치 추정이 잘 이루어지도록 할 수 있다.By repeating the above processes, the excavator bucket is estimated in real time. If the excavator is not recognized, a training image can be added to perform neural network learning to better estimate the excavator bucket location.

이와 같이 본 발명의 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템(1000)을 이용하면, 굴착기 작업이 수행되는 버킷(작업장치)의 위치를 알 수 있으면 굴착기 작업시 미세먼지 발생 위치를 알 수 있게 되고, 이를 통해 미세먼지 제거용 물분사로봇의 위치를 제어하여 미세먼지 제거를 효율적으로 수행하도록 활용할 수 있다.In this way, by using the excavator bucket position estimation system 1000 using neural network learning of the present invention, if the location of the bucket (work device) where excavator work is performed can be known, the location of fine dust generation during excavator work can be known, Through this, the position of the water spray robot for fine dust removal can be controlled to efficiently remove fine dust.

도 3a 및 도 3b는 본 발명의 일 실시예에 따른 신경망 학습을 이용한 굴착기 버킷 위치 추정 방법의 전체 과정을 보인 순서도이다.3A and 3B are flowcharts showing the entire process of the excavator bucket position estimation method using neural network learning according to an embodiment of the present invention.

상술한 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템(1000)의 수집부(110)에서는 굴착기 이미지를 포함한 복수의 학습용 이미지를 수집할 수 있다(S100).The collection unit 110 of the excavator bucket position estimation system 1000 using the neural network learning described above can collect a plurality of images for learning, including the excavator image (S100).

또한 수집된 학습용 이미지를 이용하여 합성곱 연산을 위한 학습 데이터 셋을 생성한다(S102).Additionally, a learning data set for convolution calculation is created using the collected training images (S102).

다음, 생성된 학습 데이터 셋으로 합성곱 연산을 통하여 신경망 학습을 수행할 수 있으며, 반복 학습을 통해 학습율을 높이고 오류를 낮추어 원하는 가중치 및 결과값을 도출할 수 있다(S104, S106).Next, neural network learning can be performed through convolution operation with the generated training data set, and desired weights and result values can be derived by increasing the learning rate and lowering the error through repeated learning (S104, S106).

이후 학습결과로서, 굴착기 버킷 위치 추정을 위한 가중치를 산출한다(S108).As a learning result, a weight for estimating the excavator bucket position is calculated (S108).

이제 굴착기 버킷 위치 인식을 위해 산출한 가중치와 굴착기 이미지를 포함한 원본 이미지가 인식기(200)로 입력된다(S110).Now, the weight calculated to recognize the excavator bucket position and the original image including the excavator image are input to the recognizer 200 (S110).

굴착기 이미지 내 버킷 위치 인식을 위한 원본 이미지를 입력으로 합성곱 연산을 실시한다(S112).A convolution operation is performed using the original image as input to recognize the bucket position in the excavator image (S112).

합성곱 결과값으로 작업 장치에 해당하는 굴착기 버킷의 위치를 인식한다(S114).The position of the excavator bucket corresponding to the work device is recognized using the convolution result (S114).

마지막으로, 인식된 위치 좌표값을 산출하여 인식 결과 및 좌표값을 관리자 컴퓨터 화면에 표시한다(S116).Finally, the recognized location coordinates are calculated and the recognition results and coordinates are displayed on the administrator's computer screen (S116).

100 : 학습기
110 : 수집부
120 : 학습부
130 : 가중치산출부
200 : 인식기
210 : 인식부
220 : 위치산출부
300 : 데이터베이스
1000 : 굴착기 버킷 위치 추정 시스템100: learning period
110: collection unit
120: Learning Department
130: Weight calculation unit
200: Recognizer
210: Recognition unit
220: Location calculation unit
300: database
1000: Excavator bucket position estimation system

Claims

카메라로부터 학습할 굴착기 이미지 데이터를 수집하고 데이터셋을 생성하여 학습하고 가중치를 산출하는 학습기;
학습 후 가중치를 입력하여 실제 굴착기 버킷 위치 인식이 필요한 굴착기 이미지로부터 버킷 위치를 인식하여 결과를 산출하는 인식기; 및
복수의 굴착기 이미지와 학습 및 버킷 위치 인식을 위해 필요한 데이터들을 저장하는 데이터베이스;를 포함하며,
상기 학습기는,
굴착기 버킷 위치를 추정하기 위해 고정된 카메라로 촬영된 복수의 굴착기 이미지를 제공받아 학습 데이터로 수집하고, 학습 데이터 셋을 생성하는 수집부;
상기 학습 데이터 셋을 이용하여 CNN 기반의 신경망 학습을 위한 합성곱 연산을 수행하는 학습부; 및
상기 학습부의 학습 결과에 따라 오차율을 줄이고, 굴착기 버킷 위치를 잘 인식시킬 수 있도록 가중치를 산출할 수 있는 가중치산출부;를 포함하고,
상기 수집부는,
굴착기 학습 이미지에서 버킷 위치 추정을 위해 복수의 굴착기 학습 이미지에서 각각 굴착기 버킷(Attachment)에 경계 박스(바운딩 박스) 처리한 경계 데이터를 생성하여 학습 데이터 셋으로 묶어 생성하되,
촬영되는 상기 굴착기 학습 이미지는 굴착기 형상 데이터를 학습시키기 위해 굴착기를 다양한 각도 및 기상환경에서 촬영한 이미지를 학습 이미지로 사용하여 상기 학습 데이터 셋을 생성하고, 상기 굴착기 학습 이미지에서 버킷 위치 추정을 위해 복수의 굴착기 학습 이미지에서 각각 굴착기 버킷에 경계 박스 처리한 경계 데이터를 생성하여 상기 학습 데이터 셋으로 묶어 생성하며, 우선적으로 배경을 포함한 이미지 내에서 배경을 제외한 굴착기 위치를 찾고, 이후 굴착기 내에서 버킷 위치를 찾기 위해 상기 학습 데이터 셋에는 굴착기의 경계 데이터와 작업장치인 버킷의 경계 데이터 및 경계 데이터 중심점을 포함하고,
상기 가중치는,
신경망 학습을 통해 오차를 수정할 수 있도록 기울기 강하 학습법에 의한 다층 퍼셉트론 학습에 의해 수정될 수 있으며, weight와 bias weight를 포함하되,
전방향 계산에서는 현재 가중치를 이용하여 출력값을 계산하며, 역방향 계산에서는 현재 가중치를 이용하여 오류를 계산하고, 이를 위해 신경망의 출력 노드의 출력값과 목표출력값을 비교하여 가중치 수정항을 계산하며, 계산된 수정항과 학습율을 이용하여 가중치 파라미터를 수정하는 방식으로, 허용오차보다 작도록 학습시켜 원하는 버킷 위치를 추정하는
신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템.A learner that collects excavator image data to be learned from a camera, creates a dataset, learns from it, and calculates weights;
A recognizer that recognizes the bucket position from the excavator image that requires recognition of the actual excavator bucket position by inputting the weight after learning and produces a result; and
Includes a database that stores multiple excavator images and data necessary for learning and bucket location recognition,
The learner,
A collection unit that receives a plurality of excavator images taken with a fixed camera to estimate the location of the excavator bucket, collects them as learning data, and generates a learning data set;
A learning unit that performs a convolution operation for CNN-based neural network learning using the training data set; and
It includes a weight calculation unit capable of calculating weights to reduce the error rate according to the learning results of the learning unit and to better recognize the excavator bucket position,
The collection department,
To estimate the bucket position in the excavator learning image, boundary data processed as a bounding box is generated for each excavator bucket (attachment) from a plurality of excavator learning images and grouped into a learning data set.
The captured excavator learning image generates the learning data set by using images taken of the excavator at various angles and weather environments as learning images to learn the excavator shape data, and uses a plurality of images to estimate the bucket position from the excavator learning image. From the excavator learning images, boundary data is generated by processing the boundary box on each excavator bucket and grouped into the learning data set. First, the location of the excavator excluding the background is found within the image including the background, and then the bucket location is determined within the excavator. In order to find, the learning data set includes the boundary data of the excavator, the boundary data of the bucket, which is a work device, and the boundary data center point,
The weight is,
In order to correct the error through neural network learning, it can be corrected by multi-layer perceptron learning using gradient descent learning method, and includes weight and bias weight,
In forward calculation, the output value is calculated using the current weight, and in backward calculation, the error is calculated using the current weight. To this end, the output value of the output node of the neural network is compared with the target output value to calculate the weight correction term, and the calculated By modifying the weight parameter using the correction term and learning rate, the desired bucket location is estimated by learning to be smaller than the tolerance.
Excavator bucket position estimation system using neural network learning.

삭제delete

제1항에 있어서,
상기 인식기는
상기 카메라로 촬영된 굴착기 이미지가 포함된 원본 이미지로부터 합성곱 연산을 실시하여, 미리 학습된 굴착기 위치 및 굴착기 버킷 위치를 인식할 수 있는 인식부; 및
원본 이미지에서 인식된 굴착기 위치와 버킷의 위치에 해당하는 좌표값을 산출하고, 관리자 컴퓨터의 화면에 표시하는 위치산출부
를 포함하는 신경망 학습을 이용한 굴착기 버킷 위치 추정 시스템.According to paragraph 1,
The recognizer is
a recognition unit capable of performing a convolution operation on an original image including an excavator image captured by the camera to recognize a pre-learned excavator location and an excavator bucket location; and
A location calculation unit that calculates coordinates corresponding to the location of the excavator and bucket recognized in the original image and displays them on the screen of the administrator's computer.
Excavator bucket position estimation system using neural network learning including.

삭제delete

제1항 또는 제3항의 굴착기 버킷 위치 추정 시스템을 이용한 굴착기 버킷 위치 추정 방법에 있어서,
굴착기 이미지를 포함한 복수의 학습용 이미지를 수집하는 단계;
수집된 학습용 이미지를 이용하여 합성곱 연산을 위한 학습 데이터 셋을 생성하는 단계;
상기 학습 데이터 셋으로 합성곱 연산을 통하여 신경망 학습을 수행하는 단계;
상기 신경망 학습의 결과로 굴착기 버킷 위치 추정을 위한 가중치를 산출하는 단계;
상기 산출된 가중치 및 인식 대상인 굴착 이미지를 포함한 원본 이미지를 굴착기 버킷 위치 인식을 위한 인식기에 입력하는 단계;
상기 원본 이미지 내 굴착기 버킷 위치 인식을 위한 합성곱 실시하는 단계;
합성곱 실시의 결과값으로 굴착기 버킷의 위치를 인식하는 단계; 및
인식된 위치 좌표값을 산출하여 인식 결과 및 좌표값을 관리자 컴퓨터 화면에 표시하는 단계
를 포함하는 신경망 학습을 이용한 굴착기 버킷 위치 추정 방법.In the excavator bucket position estimation method using the excavator bucket position estimation system of claim 1 or 3,
Collecting a plurality of learning images including excavator images;
Generating a learning data set for convolution operation using the collected training images;
Performing neural network learning through convolution operation with the learning data set;
Calculating weights for estimating the excavator bucket position as a result of the neural network learning;
Inputting the original image including the calculated weight and the excavation image that is the recognition target into a recognizer for recognizing the excavator bucket position;
Performing convolution to recognize the excavator bucket position in the original image;
Recognizing the position of the excavator bucket using the result of the convolution; and
Calculating the recognized location coordinates and displaying the recognition results and coordinates on the administrator's computer screen
Excavator bucket position estimation method using neural network learning including.