KR102248654B1

KR102248654B1 - 골프장 내 카트의 자율주행을 위한 카트길 인식 장치 및 방법

Info

Publication number: KR102248654B1
Application number: KR1020190124622A
Authority: KR
Inventors: 김준광; 정우영; 손국진
Original assignee: 재단법인대구경북과학기술원
Priority date: 2019-10-08
Filing date: 2019-10-08
Publication date: 2021-05-10
Also published as: KR20210042203A

Abstract

본 발명은 골프장 내 카트의 자율주행을 위한 카트길 인식 장치 및 방법에 관한 것이다. 본 발명에 따르면, 골프장 내 카트의 자율주행을 위한 카트길 인식 장치에 있어서, 카트길을 포함하여 촬영된 학습 이미지를 입력 값으로 하고, 학습 이미지 내의 카트길의 경계를 따라 라벨링을 부여한 정답 이미지를 출력 값으로 하여, 카트길의 경계를 인식하기 위한 신경망을 학습시키는 학습부와, 상기 카트에 장착된 카메라로부터 촬영된 촬영 이미지를 획득하는 이미지 획득부, 및 상기 촬영 이미지를 상기 학습된 신경망에 입력하여, 상기 촬영 이미지로부터 카트길의 경계를 인식하는 제어부를 포함하는 카트길 인식 장치를 제공한다.
본 발명에 따르면, 골프장 내 카트에서 촬영된 이미지를 실시간 분석하여 카트길의 경계를 자동 인식하고 인식 결과를 기초로 골프장 내에서 카트의 자율 주행을 보조할 수 있는 이점을 제공하다.

Description

골프장 내 카트의 자율주행을 위한 카트길 인식 장치 및 방법{Cart-path recognition apparatus for autonomous driving of cart in golf cource and method thereof}

본 발명은, 골프장을 주행하는 카트의 촬영 이미지로부터 카트길의 경계를 인식하여 카트의 자율 주행이 가능하게 하는 골프장 내 카트의 자율주행을 위한 카트길 인식 장치 및 방법에 관한 것이다.

최근 자율주행 연구가 활성화 되면서 딥러닝을 응용한 자율주행 기술이 대거 등장하고 있으며, 이에 대한 응용으로 저속형 이동체에 적용한 자율 주행 연구들도 활발하게 진행되고 있다.

골프장 환경에서의 카트 자율주행 기술은 저속으로 움직이는 카트에 다양한 센서와 제어 모듈로 구성될 수 있다. 안전한 자율주행을 위한 첫 번째 단계에서는 피사체 주변 환경을 인식하고 이해하는 것이다. 그러나, 차량 주위의 환경을 이해하는 것은 상당히 어려운 문제이다.

일반 차량 도로는 정해진 설계 규정이 있어 어떠한 도로에서도 동일한 규격이나 조건을 가지는 반면, 골프장 환경 내 존재하는 카트길은 정해진 규정이나 규격이 없고 카트길의 폭이나 곡률 등이 골프장 별 혹은 코스 별로 매우 다양하게 존재한다.

또한, 일반 차량 도로의 경우 영상 내 차선의 굵기, 색상, 방향을 이용한 소실점을 통하여 차선을 인식하는데, 영상에서 차선에 해당하는 픽셀들을 검출하고 그 픽셀들을 묶어서 하나의 선으로 표현하여 그 선의 각도와 굵기, 색깔 등이 유사할 경우 이를 차선으로 검출한다.

그런데, 이러한 차량 도로와는 달리, 골프장 내 존재한 카트길의 경우 차선 자체가 존재하지 않아, 일반 도로에 적용되는 차선 인식 방법을 카트길의 검출 알고리즘에 적용하기 곤란하다.

더욱이, 카트길의 곡선 도로의 곡률은 일반 차량 도로의 곡률보다 훨씬 큰 경향이 있기 때문에 소실점에 대한 정보는 오히려 학습에 방해되는 요소가 되므로 적절치 않다.

본 발명의 배경이 되는 기술은 한국공개특허 제2019-0016717호(2019.02.19 공개)에 개시되어 있다.

본 발명은 카트에서 촬영한 영상으로부터 카트길의 경계를 인식하여 골프장 내에서 카트의 자율 주행을 보조할 수 있는 골프장 내 카트의 자율주행을 위한 카트길 인식 장치 및 방법을 제공하는데 목적이 있다.

본 발명은, 골프장 내 카트의 자율주행을 위한 카트길 인식 장치에 있어서, 카트길을 포함하여 촬영된 학습 이미지를 입력 값으로 하고, 학습 이미지 내의 카트길의 경계를 따라 라벨링을 부여한 정답 이미지를 출력 값으로 하여, 카트길의 경계를 인식하기 위한 신경망을 학습시키는 학습부와, 상기 카트에 장착된 카메라로부터 촬영된 촬영 이미지를 획득하는 이미지 획득부, 및 상기 촬영 이미지를 상기 학습된 신경망에 입력하여, 상기 촬영 이미지로부터 카트길의 경계를 인식하는 제어부를 포함하는 카트길 인식 장치를 제공한다.

또한, 상기 제어부는, 상기 카트길의 경계 인식 결과를 구동부에 제공하여 카트를 자율 주행시키도록 할 수 있다.

또한, 상기 카트길 인식 장치는, 상기 촬영 이미지 내에서 인식된 카트길의 경계를 이용하여 카트길의 곡률 정보를 측정하여 카트의 주행 방향 및 속도를 포함한 주행 정보를 생성하는 주행정보 생성부를 더 포함할 수 있다.

또한, 상기 학습부는, 상기 학습 이미지 내에서 카트길의 경계에 위치한 1×1 크기의 픽셀 각각에 대해 라벨링을 부여한 제1 정답 이미지, 그리고 상기 학습 이미지 내 카트길의 경계에 위치한 픽셀과 그 주변부 픽셀들을 포함한 N×N 크기(N은 8 이상의 정수)의 그리드를 설정하여 그리드 내 속한 픽셀들에 대해 각각 라벨링을 부여한 제2 정답 이미지를 사용하여 상기 신경망을 학습시킬 수 있다.

또한, 상기 신경망은, 하나의 학습 이미지가 입력되는 공유 레이어, 및 상기 공유 레이어에서 분기되고, 상기 하나의 학습 이미지에 대하여 서로 다른 방식으로 라벨링이 부여된 제1 및 제2 정답 이미지를 각각 목표값으로 하는 제1 및 제2 태스크 레이어를 포함하며, 상기 학습부는, 상기 공유 레이어의 동일한 입력 이미지에 대응하여 상기 제1 및 제2 태스크 레이어를 통하여 멀티 태스크를 수행하면서 상기 신경망을 학습시킬 수 있다.

또한, 상기 공유 레이어는, 동일한 입력 이미지로부터 상기 멀티 태스크에 대한 공통된 특징을 추출하도록 학습되고, 상기 제1 및 제2 태스크 레이어는, 상기 공유 레이어의 출력으로부터 분기되고, 상기 공유 레이어의 출력을 입력받아 상기 제1 및 제2 정답 이미지를 각각 목표값으로 추종하면서 서로 독립된 특징을 추출하도록 학습될 수 있다.

또한,상기 학습부는, 제1 학습 이미지의 입력에 대응하여 도출된 상기 제1 태스크 레이어의 출력과 상기 제1 정답 이미지를 비교하여 얻은 오차를 기초로 상기 공유 레이어 내 적용되는 가중치와 상기 제1 태스크 레이어 내 적용되는 가중치를 각각 조정한 다음, 상기 제1 학습 이미지의 입력에 대응하여 도출된 상기 제2 태스크 레이어의 출력과 상기 제2 정답 이미지를 비교하여 얻은 오차를 기초로 상기 공유 레이어 내 적용되는 가중치와 상기 제2 태스크 레이어 내 적용되는 가중치를 조정하되, N개의 학습 이미지를 이용하여 각각의 가중치 조정을 반복하여 상기 신경망을 반복 학습할 수 있다.

또한, 상기 제어부는, 상기 카메라로부터 촬영된 촬영 이미지를 신경망에 입력하여 도출된 제1 및 제2 태스크 레이어의 출력 중에서 상기 제2 태스크 레이어의 출력을 선택하여 카트길의 인식 결과로 제공할 수 있다.

그리고, 본 발명은, 골프장 내 카트의 자율주행을 위한 카트길 인식 장치를 이용한 카트길 인식 방법에 있어서, 카트길을 포함하여 촬영된 학습 이미지를 입력 값으로 하고, 학습 이미지 내의 카트길의 경계를 따라 라벨링을 부여한 정답 이미지를 출력 값으로 하여, 카트길의 경계를 인식하기 위한 신경망을 학습시키는 단계와, 상기 카트에 장착된 카메라로부터 촬영된 촬영 이미지를 획득하는 단계, 및 상기 촬영 이미지를 상기 학습된 신경망에 입력하여, 상기 촬영 이미지로부터 카트길의 경계를 인식하는 단계를 포함하는 카트길 인식 방법을 제공한다.

또한, 상기 카트길 인식 방법은, 상기 카트길의 경계 인식 결과를 구동부에 제공하여 카트를 자율 주행시키도록 하는 단계를 더 포함할 수 있다.

또한, 상기 카트길 인식 방법은, 상기 촬영 이미지 내에서 인식된 카트길의 경계를 이용하여 카트길의 곡률 정보를 측정하여 카트의 주행 방향 및 속도를 포함한 주행 정보를 생성하는 단계를 더 포함할 수 있다.

본 발명에 따르면, 골프장 내 카트에서 촬영된 이미지를 실시간 분석하여 카트길의 경계를 자동 인식하고 인식 결과를 기초로 골프장 내에서 카트의 자율 주행을 보조할 수 있는 이점을 제공한다.

도 1은 본 발명의 실시예에 따른 카트의 자율주행을 위한 카트길 인식 장치의 구성을 나타낸 도면이다.
도 2는 도 1을 이용한 카트길 인식 방법을 설명하는 도면이다.
도 3은 본 발명의 실시예에서 하나의 학습 이미지에 대응하여 생성되는 서로 다른 두 타입의 정답 이미지의 생성 방법을 예시한 도면이다.
도 4는 본 발명의 실시예에 따라 생성한 제1 및 제2 정답 이미지를 예시한 도면이다
도 5는 본 발명의 실시예에 사용되는 신경망의 구조를 간략히 나타낸 도면이다.
도 6은 도 5의 신경망 구조를 더욱 세부적으로 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 카트길 인식 결과 이미지를 예시한 도면이다.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 카트의 자율주행을 위한 카트길 인식 장치의 구성을 나타낸 도면이다.

도 1에 나타낸 것과 같이, 본 발명의 실시예에 따른 카트길 인식 장치(100)는 골프장 내 카트(Cart)의 자율주행을 위한 장치로서, 학습부(110), 이미지 획득부(120), 제어부(130), 주행정보 생성부(140)를 포함한다.

학습부(110)는 카트길을 포함하여 촬영된 학습 이미지를 입력 값으로 하고, 학습 이미지 내의 카트길의 경계를 따라 라벨링을 부여한 정답 이미지를 출력 값으로 하여, 카트길의 경계를 인식하기 위한 신경망을 학습시킨다.

이러한 학습부(110)는 복수의 학습 이미지 및 그에 대응된 복수의 정답 이미지의 세트를 이용하여 신경망을 학습시킨다. 또한 학습 과정에서 신경망 내 가중치 조정을 통한 모델 최적화가 이루어진다. 학습이 완료된 이후부터는 소정 이미지의 입력에 대응하여 이미지 내에서 카트길의 경계면을 인식한 결과를 제공할 수 있다.

이미지 획득부(120)는 카트에 장착된 카메라로부터 촬영된 촬영 이미지를 획득한다. 이미지 획득부(120)는 카트의 주행 중에 실시간 촬영된 영상을 프레임 단위로 제공할 수 있다.

제어부(130)는 획득된 촬영 이미지를 학습된 신경망에 입력하여 촬영 이미지로부터 카트길의 경계를 인식하고 인식 결과를 제공한다.

주행정보 생성부(140)는 촬영 이미지 내에서 인식된 카트길의 경계를 이용하여 카트길의 곡률 정보를 실시간 측정하여 카트의 주행 방향 및 속도를 포함한 주행 정보를 생성할 수 있다.

제어부(130)는 생성한 주행 정보를 카트의 구동부(미도시)로 전달하여 구동부를 제어함으로써 카트의 자율 주행을 지원할 수 있다. 여기서, 카트의 구동부는 일반적인 차량 구동부와 같이 주행에 필요한 구동 수단을 의미한다.

여기서, 제어부(130)는 카트길의 경계 인식 결과를 구동부에 실시간 제공하여, 구동부에서 직접 카트길의 곡률 분석 및 주행 정보 생성을 수행하여 카트를 자율 주행시키도록 할 수도 있다.

이러한 본 발명의 기술을 이용할 경우 카트에 사람이 탑승한 상태 뿐만 아니라 사람이 없는 상태에서도 자율 주행을 지원할 수도 있다. 예를 들어, 카트가 사람보다 먼저 코스를 이동하여 준비할 수도 있고, 카트의 진입이 어려운 길목(잔디, 페어웨이 등)에서 사람이 먼저 목적한 곳으로 이동하여 게임을 끊김 없이 진행하고 그 사이에 카트는 카트길을 따라 자율적으로 주행하면서 사람이 위치한 해당 목적지로 이동할 수 있다.

다음은 본 발명의 실시예에 따른 카트길 인식 방법을 구체적으로 설명한다.

도 2는 도 1을 이용한 카트길 인식 방법을 설명하는 도면이다.

먼저, 학습부(110)는 카트길을 포함하여 촬영된 학습 이미지를 입력 값으로 하고, 학습 이미지 내의 카트길의 경계를 따라 라벨링을 부여한 정답 이미지를 출력 값으로 하여, 카트길의 경계를 인식하기 위한 신경망을 학습시킨다(S210).

여기서, 카트길의 경계란, 카트길(카트 도로)과 주변의 배경(예: 잔디, 페어웨이, 흙 부분) 간의 경계 부분(경계면)을 의미한다.

그런데 일반 도로와는 달리 카트길에는 별도의 차선이 없기 때문에, 차선의 색상, 굵기 등에 기반한 기존의 일반 도로의 차선 인식 기술은 카트길 인식에 적용되기 곤란하며 설사 적용한다 하더라도 차선의 부재로 인해 카트길의 도로 윤곽을 전혀 인식하지 못한다. 이는 실질적으로 골프장 내 카트길 환경은 단지 카트길과 그 주변의 배경(페어웨이, 잔디, 흙 등)으로 구분되기 때문이다.

본 발명의 실시예는 다양한 형태의 카트길에서 촬영하여 획득한 이미지들을 학습 데이터로 수집한 후, 학습 이미지 내에서 카트길의 경계면에 존재하는 픽셀들의 특징을 신경망을 통해 학습하고, 학습된 신경망을 기반으로 촬영 이미지로부터 카트길 경계를 인식한다. 여기서 다양한 형태란, 카트길의 모양이나 곡률 뿐만 아니라, 카트길 주변의 배경 속성(페어웨이, 잔디, 흙), 계절별 또는 시간별 카트 도로면과 배경 부분의 색상 변화 등을 포함할 수 있다.

본 발명의 실시예에 따르면, S210 단계에서 학습부(110)는 하나의 학습 이미지에 대하여 서로 다른 방식으로 라벨링을 부여하여 만든 제1 정답 이미지 및 제2 정답 이미지를 이용하여 신경망을 학습시킨다.

이때, 제1 정답 이미지는 학습 이미지 내에서 카트길 경계면 부분을 따라 1×1 크기의 픽셀 단위로 각각 라벨링을 부여한 것이고, 제2 정답 이미지는 학습 이미지 내에서 카트길 경계 부분을 따라 N×N 크기(N은 8 이상의 정수)의 그리드 단위로 라벨링을 부여한 것에 해당한다. N=8인 경우 하나의 그리드는 64개 픽셀을 포함하여 구성된다.

여기서, 라벨링이란 이미지를 구성하는 모든 픽셀들 중 해당하는 픽셀 부분 또는 해당하는 그리드 내 픽셀들에만 '1'이 할당되는 것을 의미할 수 있다. 따라서, 각각의 정답 이미지란 이미지 내에서 별도 라벨링된 부분만 '1'의 값을 가지고, 나머지 픽셀들은 모두 '0'을 값을 가지는 형태로 구성될 수 있다.

도 3은 본 발명의 실시예에서 하나의 학습 이미지에 대응하여 생성되는 서로 다른 두 타입의 정답 이미지의 생성 방법을 예시한 도면이다.

이러한 도 3을 참조하면, 하나의 동일한 학습 이미지에 대하여 서로 다른 방식으로 라벨링이 부여된 제1 정답 이미지 및 제2 정답 이미지의 생성 방법을 각각 확인할 수 있다.

도 3(a)는 학습 이미지 내에서 카트길의 경계에 위치한 1×1 크기의 픽셀 각각에 대해 라벨링을 부여하여 만든 제1 정답 이미지를 나타낸다. 제1 정답 이미지는 학습 이미지를 구성하는 전체 픽셀들 중 카트길의 경계를 따라 위치한 픽셀에는 '1'을 할당하고 나머지는 모두 '0'을 할당한 이미지에 해당한다.

생성 방법을 예를 들면, 사용자가 학습 이미지 내에서 카트길과 배경 간의 경계에 해당하는 부분에 마우스 등을 통해 선(라인)을 그어주면, 학습부(110)는 해당 선과 겹치는 픽셀 하나하나에 '1'의 값을 할당하여 제1 정답 이미지를 만들고 이를 신경망의 출력 값으로 활용할 수 있다. 여기서 그어지는 선의 굵기에 따라 선과 겹치는 픽셀수가 많아질 수 있는데, 선 굵기는 그리드의 폭크기인 8픽셀 길이보다는 작은 굵기(예르 들어, 1픽셀, 2픽셀, 4픽셀 길이 등)로 설정되는 것이 바람직하다.

도 3(b)는 학습 이미지 내 카트길의 경계에 위치한 픽셀(기준 픽셀)과 그 주변부 픽셀들을 포함한 8×8 크기의 그리드(8×8 Grid)를 설정하여 그리드 내 속한 64개 픽셀들에 대해 각각 라벨링을 부여하여 만든 제2 정답 이미지를 나타낸다. 이러한 제2 정답 이미지는 학습 이미지 내 전체 픽셀들 중 카트길의 경계를 따라 설정한 각 그리드 상의 픽셀들에 '1'을 할당하고 그리드 외부의 픽셀들에 모두 '0'을 할당한 이미지에 해당한다.

그 생성 방법을 예를 들면, 사용자가 카트길의 경계에 해당하는 라인을 마우스 등을 통해 그어주면, 학습부(110)는 해당 라인을 따라 8×8 크기의 그리드를 설정 배치하고 그리드 내에 위치한 젖체 픽셀들에 '1'의 값을 부여하고 이를 신경망의 출력 값으로 활용할 수 있다.

여기서 8×8 크기의 그리드 내의 기준 픽셀은 중심부에 위치한 4개 픽셀 중 하나가 선택될 수 있는데, 도 3(b)의 경우 4개 픽셀 중에서 좌상단의 픽셀 즉, 그리드 내에서 4행/4열에 위치한 픽셀을 기준 픽셀로 선택한 것을 예시한다. 물론, 가로/세로 크기가 홀수인 9×9 크기의 그리드라면 정중앙의 5행/5열에 위치한 픽셀을 기준 픽셀로 설정할 수 있다.

본 발명의 실시예에서 제1 정답 이미지는 카트길의 경계라인의 특징을 라벨링한 것이라면, 제2 정답 이미지는 경계라인과 그 주변까지도 라벨링한 것에 해당할 수 있다.

골프장 환경에서는 차선 자체가 없어 차선의 굵기, 색상, 방향을 전혀 활용할 수 없으므로, 카트길 경계면 부분의 특징들이 매우 중요한데 제2 정답 이미지의 경우 경계면 부분을 8×8 그리드로 확장하여 주변부의 특징들을 강조할 수 있고, 이를 통해 학습 과정에서 경계면에 인접한 주변 특징들이 타 배경 부분과는 명확하게 분리될 수 있다.

본 발명의 실시예에서 그리드의 크기는 총 64개 픽셀로 구성된 8×8 크기를 예시하고 있으나, 반드시 이에 한정되지 않는다. 예를 들어, 제2 정답 이미지의 생성을 위한 그리드의 크기는 학습에 사용되는 학습 이미지의 해상도, 추종하는 학습률 등에 따라 달라질 수 있다.

도 4는 본 발명의 실시예에 따라 생성한 제1 및 제2 정답 이미지를 예시한 도면이다. 이러한 도 4는 카트에 직접 설치된 카메라를 이용하여 경북 영천의 Ciel 골프 클럽 골프장 도로 환경에서 획득한 이미지 데이터를 나타낸다.

도 4(a)는 제1 정답 이미지를 나타낸다. 이러한 도 4(a)의 경우 카트길의 경계를 따르는 픽셀에 하나하나에 라벨링을 부여한 것으로 라벨링된 부분이 하나의 이어진 선과 같은 형태로 보여진다. 여기서 설명의 편의상 라벨링된 부분을 실제보다는 굵은 선으로 표시한 것이다.

도 4(b)의 경우 카트길의 경계를 따라 그리드 단위로 라벨링을 부여한 것으로, 각각의 그리드 박스(grid box)들이 경계를 따라 위치하며 라벨링된 부분의 외곽은 그리드 박스들에 의해 불규칙적인 계단 형태를 가지게 된다.

이러한 도 4로부터 동일한 학습 이미지에 대해 서로 다른 방식으로 라벨링된 제1 및 제2 정답 이미지를 확인할 수 있다. 두 가지 정답 이미지는 라벨링 방식이 상이하므로 학습되는 특징 영역도 상이하게 된다.

즉, 제1 정답 이미지의 경우 경계면 부분의 픽셀을 라벨링한 것으로 경계면 상에 존재한 픽셀의 특징을 주로 학습할 수 있도록 하고, 제2 정답 이미지의 경우 경계면 상의 픽셀은 물론 그 주변부 픽셀들의 특징까지 함께 학습할 수 있도록 한다.

본 발명의 실시예는 하나의 입력 값에 대해 다수의 출력 값을 가지는 신경망을 구성하여 상술한 두 가지 타입의 정답 이미지를 함께 학습시킨다. 즉, 하나의 신경망에서 두 타입의 정답 이미지를 함께 학습하도록 신경망에 멀티 출력 레이어를 구성하여 멀티 태스크를 수행한다.

도 5는 본 발명의 실시예에 사용되는 신경망의 구조를 간략히 나타낸 도면이고, 도 6은 도 5의 신경망 구조를 더욱 세부적으로 나타낸 도면이다.

도 5를 참조하면, 신경망은 공유 레이어(11), 그리고 공유 레이어(11)의 출력으로부터 브랜치(branch)로 분기된 제1 및 제2 태스크 레이어(12,13)를 포함한다.

공유 레이어(11)의 입력(in)에는 하나의 학습 이미지가 입력된다. 그리고 제1 및 제2 태스크 레이어(12,13)는 하나의 학습 이미지에 대하여 서로 다른 방식으로 라벨링이 부여된 제1 및 제2 정답 이미지를 각각 목표값으로 하여 학습을 진행한다.

이에 따라, 학습부(110)는 공유 레이어(11)의 동일한 입력 이미지에 대응하여, 제1 및 제2 태스크 레이어(12,13)를 통하여 멀티 태스크(제1 및 제2 태스크)를 수행하면서 신경망을 학습시킨다.

여기서 물론, 제1 태스크란 입력 이미지가 제1 정답 이미지를 추종하도록 제1 태스크 레이어(12)를 학습시키는 작업을 의미하고, 제2 태스크란 입력 이미지가 제2 정답 이미지를 추종하도록 제2 태스크 레이어(13)를 학습시키는 작업을 의미한다.

여기서, 공유 레이어(11)는 두 태스크 레이어(12,13)의 전단에서 서로가 공유한 레이어에 해당한다.

따라서, 학습 과정에서 공유 레이어(11) 내 포함된 복수의 레이어들은 두 가지 태스크에 대한 공통된 특징을 추출하도록 학습된다. 또한, 제1 태스크 레이어(12) 내 복수의 레이어들은 공유 레이어(11)의 출력을 입력받아 제1 태스크에 대한 독립된 특징을 추출하도록 학습되고, 제2 태스크 레이어(13) 내 복수의 레이어들은 공유 레이어(11)의 출력을 입력받아 제2 태스크에 대한 독립된 특징을 추출하도록 학습된다.

이와 같이, 공유 레이어(11)는 동일한 입력 이미지로부터 멀티 태스크(두 가지 태스크)에 대한 공통된 특징을 추출하도록 학습되며, 제1 및 제2 태스크 레이어(12,13)는 공유 레이어(11)의 출력을 입력받아 제1 및 제2 정답 이미지를 각각 목표값으로 추종하면서 서로 독립된 특징을 추출하도록 학습된다.

신경망의 구조를 도 6을 통하여 보다 상세히 설명하면 다음과 같다.

도 6을 참조하면, 공유 레이어(11)는 5개의 컨볼루션 레이어(conv1~conv5)와 3개의 폴링 레이어(pool)를 포함하며, 공통된 특징을 학습하도록 구성된다.

각 레이어의 정면에 표시된 2개의 숫자는 해당 레이어에 입력되는 이미지의 사이즈(첫 번째 레이어의 경우, 480×640)를 나타내고, 측면에 표시된 숫자는 차원 수(첫 번째 레이어의 경우, RGB 특성에 의한 3차원)을 의미한다.

공유 레이어(11)에 입력된 480×640 크기의 학습 이미지는 복수의 레이어를 거치면서 학습되고 학습 과정에서 콘볼루션 레이어를 거치면서 곱셈 연산되면서 차원수가 점차 증가하고 폴링 레이어를 거치면서 이미지 크기가 감소한다. 이미지 크기를 축소하면서 특징을 추출할 경우 신경망의 학습 및 처리 속도를 높일 수 있다.

공유 레이어(11) 내 6번째 레이어의 출력은 제1 및 제2 태스크 레이어(12,13)의 입력 값이 된다. 제1 및 제2 테스크 레이어(12,13)는 각각 3개의 콘볼루션 레이어(Conv6~8)를 포함하여 구성되며, 자신에게 할당된 제1 및 제2 태스크에 각각 대응하여 서로 독립된 특징을 추출한다.

여기서, 신경망의 학습 과정은 하나의 입력 이미지에 대응하여 각 태스크에서 출력되는 출력 데이터(out1, out2)를 추종 데이터(제1 정답 이미지, 제2 정답 이미지)와 비교하고 비교에 따른 오차가 기 설정된 임계 이하가 되도록, 신경망 내의 각각의 가중치를 조정(최적화)하는 과정을 통해 이루어진다. 이를 구체적으로 설명하면 다음과 같다.

먼저, 학습부(110)는 제1 학습 이미지를 사용하여 제1 태스크를 수행한다. 즉, 제1 학습 이미지의 입력(in)에 대응하여 도출된 제1 태스크 레이어(12)의 출력(out1)과 제1 학습 이미지에 대한 제1 정답 이미지를 비교한 오차를 기초로, 공유 레이어(11) 내 적용되는 가중치와 제1 태스크 레이어(12) 내 적용되는 가중치를 각각 조정하는 작업을 거친다.

여기서 물론, 공유 레이어(11) 내의 가중치란 공유 레이어(11)를 구성한 6개 레이어에 대한 각 layer 사이에 적용되는 가중치를 의미하고 제1 태스크 레이어(12) 내의 가중치란 제1 태스크 레이어(12)를 구성한 3개 layer에 대한 각 layer 사이에 적용되는 가중치를 의미한다.

이후, 동일한 제1 학습 이미지를 사용하여 제2 태스크를 수행한다. 즉, 학습부(110)는 제1 학습 이미지의 입력(in)에 대응하여 도출된 제2 태스크 레이어(13)의 출력(out2)과 제1 학습 이미지에 대한 제2 정답 이미지를 비교한 오차를 기초로, 공유 레이어(11) 내 적용되는 가중치와 제2 태스크 레이어(13) 내 적용되는 가중치를 조정하는 작업을 거친다.

여기서, 공유 레이어(10)는 두 가지 작업 모두의 경우에서 가중치 조정을 통한 최적화가 이루어지고, 공유 레이어(10)의 출력에서 분기된 제1 태스크 레이어(12)와 제2 태스크 레이어(13)에서는 간헐적으로 가중치 조정이 이루어진다.

학습부(110)는 상술한 두 가지 작업을 여러 학습 이미지를 대상으로 반복적으로 수행하면서 학습을 진행한다. 즉, N개의 학습 이미지를 통해 각각의 가중치 조정을 반복하여 신경망을 반복 학습한다.

여기서, 다수의 골프장에서 다양한 형태의 카트길을 대상으로 다방면으로 촬영된 학습 이미지들을 학습에 사용할 수 있다. 또한, 동일한 장소라 하더라도 시간대(낮, 밤)별, 계절 별, 날씨 별로 촬영한 이미지를 각각 학습에 사용함으로써 시스템의 신뢰도를 높일 수 있다.

본 발명의 실시예에 사용된 신경망은 앞서 도 5 및 도 6에서 설명한 것과 같이 총 2개의 태스크로 구성되며 동시에 학습된다. 여기서, 본 발명의 실시예는 그리드 박스를 이용한 제2 태스크 레이어(13)에 대한 중요도(λ₂)를 제1 태스크 레이어(12)의 중요도(λ₁)보다 더욱 높게 설정할 수 있다.

이를 로스(loss)의 개념으로 설명하면 다음의 수학식 1과 같이 표현된다.

여기서, L_reg는 학습 과정에서 그리드 박스를 이용한 제2 태스크 레이어(13)에서의 출력 값과 제2 정답 이미지 간의 비교 결과(차이)이고, L_od는 제1 태스크 레이어(12)에서의 출력 값과 제1 정답 이미지 간의 차이를 나타낸다.

λ_i는 i번째 태스크의 중요도로서 각각 0과 1사이의 값을 가지며 본 실시예의 경우 제2 태스크의 중요도가 높기 때문에 λ₁<λ₂로 설정된다. 이에 따라, 신경망 학습 시에 제2 태스크의 학습 결과가 제1 태스크보다 더욱 많은 영향을 주게 된다.

이처럼, 로스 값(Loss)은 신경망의 학습 과정에서 신경망의 실제 출력 값과 목표로 하는 추정 값 간의 오차를 나타낸다. 이때, 본 발명의 실시예의 경우 로스 값은 제1 및 제2 태스크에 의한 로스의 합으로 구성되며 각각의 로스에 적용되는 중요도를 달리 설정하여 학습을 수행할 수 있다.

실제로 본 발명의 실시예에서 초기에는 λ₁=λ₂로 동일하게 설정하여 학습을 진행하면서 학습 과정에서 적절한 값으로 지정하여 최종 변경해 주었다. 그 결과 검증 정확도가 초기에 설정한 목표 값에 수렴하면 학습은 종료된다.

상술한 본 발명의 실시예는 2개의 태스크를 예시하고 있으나, 골프장에 존재하는 바위, 사람, 카트, 나무 등의 객체(장애물) 검출을 위한 제3 태스크 레이어(미도시)를 공유 레이어(11)에서 추가로 분기시켜 구성할 수 있으며, 이를 통해 자율 주행 시에 객체 탐지와 회피 주행이 가능하도록 할 수 있다.

이와 같이 학습이 완료된 이후부터는 실제 카트에서 촬영된 영상을 신경망에 입력시켜 카트길을 자동 인식할 수 있다.

즉, 이미지 획득부(120)는 골프장을 주행하는 카트에 장착된 카메라로부터 촬영 이미지를 획득한다(S220). 그리고 제어부(130)는 기 학습된 신경망에 촬영 이미지를 입력하여, 촬영 이미지로부터 카트길의 경계를 인식하여 인식 결과를 제공한다(S230).

여기서, 제어부(130)는 카메라로부터 촬영된 촬영 이미지를 신경망에 입력하여 도출된 두 가지 출력(out1, out2) 즉 제1 및 제2 태스크 레이어(12,13)의 출력 중에서, 제2 태스크 레이어(13)의 출력(out2)을 선택하여 카트길의 인식 결과로 제공할 수 있다.

그 이유는 실제로 본 발명의 실시예를 통하여 멀티 태스크 기반의 학습을 진행한 결과 제2 태스크 레이어(13)의 출력 결과가 제1 태스크 레이어(12)의 출력 결과보다 더욱 신뢰도가 높은 것으로 파악되었기 때문이다. 다만, 본 발명이 반드시 이에 한정되지 않으며, 제1 태스크 레이어(12)의 출력을 이용하여 카트길 인식 결과를 제공할 수도 있음은 물론이다.

다만, 도 5 및 도 6의 신경망 구조에서 제1 태스크 레이어(12)를 제외하여 학습을 진행한 경우, 즉 제2 태스크 레이어(13) 만을 단독으로 사용하여 제2 정답 이미지 만으로 학습을 진행한 경우에는 제1 및 제2 태스크를 멀티 태스크로 함께 학습한 경우에 비하여 인식 결과의 성능 신뢰도가 떨어졌기 때문에, 실제 신경망의 학습 과정에서는 반드시 두 가지 태스크를 모두 사용하며, 추후 S230 단계에서는 제2 태스크 레이어(13)의 출력만을 활용할 수 있다.

이후, 제어부(130)는 카트길 경계를 인식한 결과를 카트의 구동부로 전달하여 카트의 자율 주행을 제어하거나 보조할 수 있다(S240).

다음은 본 실시예에 따른 카트길 인식 장치의 인식 성능을 테스트한 결과를 설명한다.

아래의 표 1은 테스트를 위하여 획득한 데이터의 수를 나타낸다.

	데이터 수
학습 데이터	1,383
검증 데이터	345
테스트 데이터	562

여기서, 학습 데이터는 실제 신경망의 학습에 사용된 이미지 데이터에 해당한다. 물론, 신경망에 입력되는 학습 데이터가 1383개 이므로, 학습 과정에서 필요한 제1 정답 이미지와 제2 정답 이미지 역시 각각 1383개씩 사용된다. 그리고, 검증 데이터는 학습 이후 신경망의 검증에 사용한 이미지 데이터를 나타내고, 테스트 데이터란 검증이 완료된 신경망의 실제 테스트에 사용된 데이터를 의미한다.

도 7은 본 발명의 실시예에 따라 도출된 카트길 인식 결과 이미지를 예시한 도면이다.

도 7은 4가지 테스트 데이터(테스트 이미지)를 신경망에 입력하여 도출된 카트길 인식 결과를 각각 나타낸다. 성능 검출 방법은 프레임별 ground-truth와의 IoU(Intersection over Union)가 50% 이상일 경우, 해당 프레임은 검출되었다고 정의하였다. 학습 데이터를 통하여 학습한 신경망의 가중치를 이용하여 테스트 데이터를 신경망에 적용하였을 때 그 성능이 거의 97.3%에 육박하였다.

이상과 같은 본 발명에 따르면, 골프장 내 카트에서 촬영된 이미지를 실시간 분석하여 카트길의 경계를 자동 인식하고 인식 결과를 기초로 골프장 내를 주행하는 카트의 자율 주행을 보조할 수 있는 이점이 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

100: 카트길 인식 장치 110: 학습부
120: 이미지 획득부 130: 제어부
140: 주행정보 생성부

Claims

골프장 내 카트의 자율주행을 위한 카트길 인식 장치에 있어서,
카트길을 포함하여 촬영된 학습 이미지를 입력 값으로 하고, 학습 이미지 내의 카트길의 경계를 따라 서로 다른 방식으로 라벨링을 부여한 제1 및 제2 정답 이미지를 출력 값으로 하여, 카트길의 경계를 인식하기 위한 신경망을 학습시키는 학습부;
상기 카트에 장착된 카메라로부터 촬영된 촬영 이미지를 획득하는 이미지 획득부; 및
상기 촬영 이미지를 상기 학습된 신경망에 입력하여, 상기 촬영 이미지로부터 카트길의 경계를 인식하는 제어부를 포함하며,
상기 제1 정답 이미지는 상기 학습 이미지 내에서 카트길의 경계에 위치한 1×1 크기의 픽셀 각각에 대해 라벨링을 부여한 것이고, 상기 제2 정답 이미지는 상기 학습 이미지 내 카트길의 경계에 위치한 픽셀과 그 주변부 픽셀들을 포함한 N×N 크기(N은 8 이상의 정수)의 그리드 내에 속한 픽셀들에 대해 라벨링을 부여한 것이며,
상기 신경망은,
상기 학습 이미지가 입력되고 하나의 입력 이미지로부터 후단의 멀티 태스크에 대한 공통된 특징을 추출하도록 학습되는 공유 레이어, 및 상기 공유 레이어의 출력을 각각 입력받아, 상기 제1 및 제2 정답 이미지를 각각 목표값으로 추종하면서 서로 독립된 특징을 추출하도록 학습되는 제1 및 제2 태스크 레이어를 포함하며,
상기 제어부는,
상기 촬영 이미지를 신경망에 입력하여 도출된 제1 및 제2 태스크 레이어의 출력 중 상기 제2 태스크 레이어의 출력을 카트길의 인식 결과로 제공하는 카트길 인식 장치.
청구항 1에 있어서,
상기 제어부는,
상기 카트길의 경계 인식 결과를 구동부에 제공하여 카트를 자율 주행시키도록 하는 카트길 인식 장치.
청구항 1에 있어서,
상기 촬영 이미지 내에서 인식된 카트길의 경계를 이용하여 카트길의 곡률 정보를 측정하여 카트의 주행 방향 및 속도를 포함한 주행 정보를 생성하는 주행정보 생성부를 더 포함하는 카트길 인식 장치.
삭제
삭제
삭제
청구항 1에 있어서,
상기 학습부는,
제1 학습 이미지의 입력에 대응하여 도출된 상기 제1 태스크 레이어의 출력과 상기 제1 정답 이미지를 비교하여 얻은 오차를 기초로 상기 공유 레이어 내 적용되는 가중치와 상기 제1 태스크 레이어 내 적용되는 가중치를 각각 조정한 다음,
상기 제1 학습 이미지의 입력에 대응하여 도출된 상기 제2 태스크 레이어의 출력과 상기 제2 정답 이미지를 비교하여 얻은 오차를 기초로 상기 공유 레이어 내 적용되는 가중치와 상기 제2 태스크 레이어 내 적용되는 가중치를 조정하되,
N개의 학습 이미지를 이용하여 각각의 가중치 조정을 반복하여 상기 신경망을 반복 학습하는 카트길 인식 장치.
삭제
골프장 내 카트의 자율주행을 위한 카트길 인식 장치를 이용한 카트길 인식 방법에 있어서,
카트길을 포함하여 촬영된 학습 이미지를 입력 값으로 하고, 학습 이미지 내의 카트길의 경계를 따라 서로 다른 방식으로 라벨링을 부여한 제1 및 제2 정답 이미지를 출력 값으로 하여, 카트길의 경계를 인식하기 위한 신경망을 학습시키는 단계;
상기 카트에 장착된 카메라로부터 촬영된 촬영 이미지를 획득하는 단계; 및
상기 촬영 이미지를 상기 학습된 신경망에 입력하여, 상기 촬영 이미지로부터 카트길의 경계를 인식하는 단계를 포함하며,
상기 제1 정답 이미지는 상기 학습 이미지 내에서 카트길의 경계에 위치한 1×1 크기의 픽셀 각각에 대해 라벨링을 부여한 것이고, 상기 제2 정답 이미지는 상기 학습 이미지 내 카트길의 경계에 위치한 픽셀과 그 주변부 픽셀들을 포함한 N×N 크기(N은 8 이상의 정수)의 그리드 내에 속한 픽셀들에 대해 라벨링을 부여한 것이며,
상기 신경망은,
상기 학습 이미지가 입력되고 하나의 입력 이미지로부터 후단의 멀티 태스크에 대한 공통된 특징을 추출하도록 학습되는 공유 레이어, 및 상기 공유 레이어의 출력을 각각 입력받아, 상기 제1 및 제2 정답 이미지를 각각 목표값으로 추종하면서 서로 독립된 특징을 추출하도록 학습되는 제1 및 제2 태스크 레이어를 포함하며,
상기 카트길의 경계를 인식하는 단계는,
상기 촬영 이미지를 신경망에 입력하여 도출된 제1 및 제2 태스크 레이어의 출력 중 상기 제2 태스크 레이어의 출력을 카트길의 인식 결과로 제공하는 카트길 인식 방법.
청구항 9에 있어서,
상기 카트길의 경계 인식 결과를 구동부에 제공하여 카트를 자율 주행시키도록 하는 단계를 더 포함하는 카트길 인식 방법.
청구항 9에 있어서,
상기 촬영 이미지 내에서 인식된 카트길의 경계를 이용하여 카트길의 곡률 정보를 측정하여 카트의 주행 방향 및 속도를 포함한 주행 정보를 생성하는 단계를 더 포함하는 카트길 인식 방법.
삭제
삭제
삭제
청구항 9에 있어서,
상기 신경망을 학습시키는 단계는,
제1 학습 이미지의 입력에 대응하여 도출된 상기 제1 태스크 레이어의 출력과 상기 제1 정답 이미지를 비교하여 얻은 오차를 기초로 상기 공유 레이어를 구성한 각각의 가중치와 상기 제1 태스크 레이어의 가중치를 조정한 다음,
상기 제1 학습 이미지의 입력에 대응하여 도출된 상기 제2 태스크 레이어의 출력과 상기 제2 정답 이미지를 비교하여 얻은 오차를 기초로 상기 공유 레이어를 구성한 각각의 가중치와 상기 제2 태스크 레이어의 가중치를 조정하되,
N개의 학습 이미지를 이용하여 각각의 가중치 조정을 반복하여 상기 신경망을 반복 학습하는 카트길 인식 방법.
삭제