KR20200077257A - 기계학습을 위한 학습데이터 자동 생성 방법 및 장치 - Google Patents

Abstract

본 발명은 기계학습을 위한 학습 데이터 자동 생성 방법 및 시스템에 관한 것이다.
본 발명의 실시예에 따른 기계학습을 위한 학습 데이터를 자동으로 생성하는 방법은, 영상의 제1프레임을 수신하여 상기 제1프레임 내에서 제1영역을 설정하는 단계와, 상기 제1프레임에서 제1영역의 특성을 분석하는 단계와, 영상의 제2프레임을 수신하는 단계와, 상기 제1프레임과 상기 제2프레임에 기초하여 제2영역을 예측하는 단계와, 상기 제1영역과 상기 제2영역을 비교하는 단계를 포함한다.

Description

기계학습을 위한 학습데이터 자동 생성 방법 및 장치{Method and apparatus for automatically generating learning data for machine learning}

본 발명은 기계 학습 과정에서 필요한 학습 데이터를 자동으로 생성할 수 있는 학습 데이터 자동 생성 방법 및 장치에 관한 것이다.

머신 러닝을 기반으로 객체 검출을 하는 경우, 특징 추출 및 학습 알고리즘과 함께 분류된 학습데이터의 수집이 중요하며, 분류된 학습데이터가 많을수록 학습은 효과적으로 진행될 수 있다.

이를 위해 수천에서 수만건 이상의 분류된 학습데이터가 필요하지만, 분류된 학습데이터는 일반적으로 수동으로 이루어져 방대한 양의 분류된 학습데이터를 확보하는 것이 쉽지 않다. 기존 기계학습을 위한 데이터베이스 구축에 많은 시간과 인력이 요구되고 있다. 예를 들어, 영상으로부터 특정 이미지를 학습시키기 위하여 기존에는 데이터베이스 구축을 위해 영상의 매 프레임마다 원하는 영역(ROI; Region of Interest)을 수동으로 원하는 이미지 영역을 그려주는 방식을 사용하고 있다. 또한 추출한 데이터들을 종류별로 분류하는 작업도 수동으로 진행되는 실정이다.

선행특허로는, 공개특허 제10-2018-0068511호(영상에 포함된 도로와 관련된 정보를 결정하는 뉴럴 네트워크를 학습시키는 학습 데이터를 생성하는 장치 및 방법)가 있으나, 영상에 대응하는 차량의 위치 정보와 지도 데이터를 획득하여 도로 정보를 포함하는 학습데이터를 생성하는 기술에 대해 개시하고 있을 뿐이다.

본 발명이 해결하고자 하는 과제는 영상의 각 프레임별로 관심영역(ROI)의 특성을 분석 및 예측하여 관심영역을 비교함으로써 자동으로 기계학습을 위한 학습 데이터를 생성하는 방법 및 장치를 제공할 수 있다.

본 발명의 실시예에 따른 기계학습을 위한 학습 데이터를 자동으로 생성하는 방법은, 영상의 제1프레임을 수신하여 상기 제1프레임 내에서 제1영역을 설정하는 단계와, 상기 제1프레임에서 제1영역의 특성을 분석하는 단계와, 영상의 제2프레임을 수신하는 단계와, 상기 제1프레임과 상기 제2프레임의 옵티컬 플로우(optical flow)를 측정하여 제2영역을 예측하는 단계와, 상기 제1영역과 상기 제2영역을 비교하는 단계를 포함한다.

본 발명에 의하면 기계학습을 위한 학습 데이터를 자동으로 인식 및 분류할 수 있어 학습이 반복될 수록 인식률이 높아질 수 있다. 생성된 데이터베이스를 바탕으로 기계 학습을 반복 수행하여 더 정확한 학습 성능을 가질 수 있다.

도 1은 본 발명의 실시예에 따른 기계학습을 위한 학습 데이터 자동 생성 방법을 설명하는 순서도이다.
도 2는 본 발명의 실시예에 따른 학습 데이터 자동 생성 시스템의 구성도이다.
도 3은 본 발명의 실시예에 따른 옵티컬 플로우를 설명하는 도면이다.
도 4와 도 5는 본 발명의 실시예에 따른 학습에 사용한 데이터 예시도이다.
도 6과 도 7은 본 발명의 실시예에 따른 학습 횟수에 따른 인식률 변화를 설명하는 그래프이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 기계학습을 위한 학습 데이터 자동 생성 방법을 설명하는 순서도이다.

도 1을 참조하면, 기계학습을 위한 학습 데이터를 자동으로 생성하는 방법은, 영상수신부(110)가 기계학습을 위한 차량의 주행 영상을 수신하고(S110), 영역설정부(120)가 상기 영상의 제1프레임을 추출하여, 상기 제1프레임에서 제1영역을 설정한다(S120). 이때, 상기 제1영역은 제1프레임에서 인식할 대상이 포함된 영역으로서 사각형의 형상일 수 있으나 이에 대해 한정하는 것은 아니다.

특성분석부(150)가 상기 제1프레임에서 제1영역의 특성을 분석한다(S130). 특성분석부(150)는 옵티컬플로우(optical flow), HOG 특징점 추출, 색상 히스토그램(Color Histogram) 중 적어도 하나를 이용하여 제1영역의 특징을 분석할 수 있다. 예측부(160)가 제1프레임과 제2프레임에 기초하여 옵티컬플로우의 크기 및 방향에 의해 제2영역을 예측한다(S140). 제어부(140)가 상기 제1영역과 상기 제2영역을 비교한다(S170).

학습데이터생성부(160)가 상기 제1영역과 상기 제2영역이 일치하면 상기 제1영역과 상기 제2영역을 저장부(180)에 저장하여 학습데이터를 생성한다(S180).

학습데이터생성부가 상기 제1영역과 상기 제2영역이 일치하지 않으면, 상기 제2영역을 재설정한 후(S190), 상기 제1영역과 상기 제2영역을 저장부(180)에 저장하여 학습데이터를 생성한다(S180).

본 발명은 위 S110 내지 S180 단계를 반복하여 수행함으로써 더 정확한 학습 성능을 가질 수 있다.

도 2는 본 발명의 실시예에 따른 학습데이터 자동생성장치의 구성도이다.

도 2를 참조하면, 학습데이터 자동생성장치(100)는 영상수신부(110), 영역설정부(120), 예측부(130), 제어부(140), 특성분석부(150), 학습데이터생성부(160), 통신부(170), 저장부(180)로 구성된다.

영상수신부(110)는 카메라로부터 촬영된 영상을 수신할 수 있다. 영역설정부(120)는 영상의 제1프레임에서 제1영역을 설정할 수 있다. 제1프레임에서 인식할 대상이 되는 제1영역을 설정 및 분류할 수 있다. 예측부(130)는 상기 제1영역의 특성 분석 결과에 따라 상기 제1프레임과 상기 제2프레임에 기초하여 제2영역을 예측한다. 제어부(140)는 상기 제1영역과 상기 제2영역을 비교한다. 특성분석부(150)는 상기 제1프레임에서 제1영역과 제2프레임에서 제2영역의 특성을 분석한다. 특성분석부(150)는 옵티컬플로우(Optical flow), HOG 특징점 추출, 색상 히스토그램(Color Histogram) 중 적어도 하나를 이용하여 제1영역과 제2영역의 특징을 분석할 수 있다.

학습데이터생성부(160)는 상기 제1영역과 상기 제2영역이 일치하면 상기 제1영역과 상기 제2영역을 저장부(180)에 저장한다. 학습데이터생성부가 상기 제1영역과 상기 제2영역이 일치하지 않으면, 상기 제2영역을 재설정한 후(S190), 상기 제1영역과 상기 제2영역을 저장부(180)에 저장한다. 이때, 제2프레임에서 인식할 대상이 되는 제2영역을 설정 및 분류할 수 있다.

통신부(170)는 학습 샘플데이터가 저장된 데이터베이스와 유무선네트워크를 통해 데이터를 송수신할 수 있다.

도 3은 본 발명의 실시예에 따른 옵티컬 플로우를 설명하는 도면이다.

도 3을 참조하면, 본 발명은 Gunnar-Farneback Algorithm 을 이용하여 Dense optical flow 로 픽셀 하나하나의 모든 optical flow를 확인할 수 있다. 예를 들어, 영상 내에서 ‘차의 뒷모습＇ 만을 인식하여 DB를 구축하고자 할 때,

앞 차량과의 상대속도가 ‘0‘ 이라고 가정하면 전방 차량의 뒷모습은 매 frame마다 픽셀 값의 변화를 보여주는 optical flow가 거의 보여지지 않는다.

선택한 이미지 영역에서 옵티컬 플로우(optical flow)가 일정 크기 이하일 때 대상이 이미지 영역안에 있는 것으로 판단하여 같은 영역을 계속하여 인식한다.

전방 차량의 속도가 변할 경우, 옵티컬 플로우(optical flow)의 방향 및 크기를 통해 차량이 움직이는 방향과 움직인 정도를 추정할 수 있다. 이 경우에는 프레임내에서 대상이 어느 방향으로 얼만큼 움직였는지 파악한 후 그 위치에 대상이 있을 것으로 판단하고 그릴 수 있다. 하지만 대상이 짧은 시간에 크게 움직임이 변할 경우 옵티컬 플로우(optical flow)를 계산하는 것 만으로는 판단이 어려울 수 있으므로, 대상의 움직임을 확인하고 새롭게 이미지영역을 선택 및 수정할 수 있다.

도 4와 도 5는 본 발명의 실시예에 따른 학습에 사용한 데이터 예시도이다.

학습에 사용할 데이터로는 주행 중인 차량의 전방 블랙박스 영상을 사용하여 전방 차량의 뒷모습을 학습 데이터 샘플로 추출하였다. 기계 학습에는 HOG(Histogram Of Gradient) 특징점과 SVM(Support Vector Machine) 분류기를 결합한 방법을 사용하였다. 모든 학습 데이터는 1:1의 비율로 최소 64x64 pixel 이상의 사이즈를 가지는 데이터만 학습에 사용하였다. 총 세 번의 학습을 수행하였고 학습에 사용한 데이터는 도 4(a)이다.

학습에 사용할 수 있는 학습데이터는 인식할 대상의 모든 면이 포함되면서 윤곽선이 드러나야 한다. 또한 대상이 너무 작게 보이는 샘플이나 같은 이미지의 여러 샘플들을 학습데이터로 사용하는 것은 학습효과를 오히려 떨어뜨릴 수 있다. 도 4(b) 의 샘플들은 학습데이터로 적합하지 않으므로 수정이 필요하다. 또한, 도 5(a)는 차가 보이지 않는 일반 배경을 인식한 이미지, 도 5(b)는 차의 일부 또는 측면을 인식한 이미지, 도 5(c)는 차가 너무 작게 보이는 이미지, 도 5(d)는 같은 이미지를 반복하여 인식한 경우로서 학습데이터로 적합하지 않아 수정이 필요하다.

도 6과 도 7은 본 발명의 실시예에 따른 학습 횟수에 따른 인식률 변화를 설명하는 그래프이다.

도 6과 도 7을 참조하면, 학습 횟수가 증가할수록 학습에 사용하는 학습 데이터 샘플의 수를 일정하게 증가시켰다. 세 번의 학습과정에서 사용한 학습 데이터의 샘플 개수는 도 6과 같다. 학습된 결과의 인식률을 확인하기 위하여 차가 일정시간 등장하는 영상을 지정하여 테스트 영상으로 사용하였다. 이때, 테스트영상을 학습 데이터 추출에 사용되지 않았던 영상으로 사용하였다. 세 번의 학습 결과들을 각각 테스트 영상에서 확인해 본 결과, 1-Round 학습의 학습 결과는 인식률이 48.8% 로 50%에도 미치지 못하는 수준이었으나 그 다음 Round 학습 결과의 인식률은 80% 이상으로 향상되는 것을 확인할 수 있었다. 도 7은 3-Round 학습까지의 학습 결과의 인식률을 비교해 본 결과로 학습 횟수가 증가함에 따라 학습 결과의 인식률이 향상되는 것을 확인할 수 있다.

발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

10; 학습 데이터 자동 생성 장치 110; 영상수신부
120; 영역설정부 130; 예측부
140; 제어부 150; 특성분석부
160; 학습데이터생성부 170; 통신부
180; 저장부

Claims (5)

1. 기계학습을 위한 학습 데이터를 자동으로 생성하는 방법에 있어서,
   (a) 영상의 제1프레임을 수신하여 상기 제1프레임 내에서 제1영역을 설정하는 단계;
   (b) 상기 제1프레임에서 제1영역의 특성을 분석하는 단계;
   (c) 영상의 제2프레임을 수신하는 단계;
   (d) 상기 제1프레임과 상기 제2프레임에 기초하여 옵티컬 플로우(optical flow)를 측정하여 제2영역을 예측하는 단계; 및
   (d) 상기 제1영역과 상기 제2영역을 비교하는 단계를 포함하는 기계학습을 위한 학습 데이터 자동 생성 방법.
2. 제1항에 있어서,
   (e) 상기 제1영역과 상기 제2영역이 일치하면 상기 제1영역과 상기 제2영역을 저장하는 단계를 더 포함하는 기계학습을 위한 학습 데이터 자동 생성 방법.
3. 제1항에 있어서,
   (f) 상기 제1영역과 상기 제2영역이 일치하지 않으면, 상기 제2영역을 재설정한 후 상기 제1영역과 상기 제2영역을 저장하는 단계를 더 포함하는 기계학습을 위한 학습 데이터 자동 생성 방법.
4. 제2항 또는 제3항에 있어서,
   상기 (a) 단계 내지 상기 (e)단계 또는 상기 (a) 단계 내지 상기 (f) 단계를 반복하여 수행하는 기계학습을 위한 학습 데이터 자동 생성 방법.
5. 기계학습을 위한 학습 데이터를 자동으로 생성하는 시스템에 있어서,
   카메라로부터 촬영된 영상을 수신하는 영상수신부;
   수신된 영상의 제1프레임에서 인식할 대상이 되는 제1영역을 설정하는 영역설정부;
   상기 제1영역의 특성을 분석하는 특성분석부;
   상기 제1영역의 특성 분석 결과와 제2프레임에 기초하여 제2영역을 예측하는 예측부;
   상기 제1영역과 상기 제2영역을 비교하는 제어부; 및
   상기 제1영역과 상기 제2영역이 일치하면 상기 제1영역과 상기 제2영역을 저장부에 저장하는 학습데이터생성부를 포함하는 기계학습을 위한 학습 데이터 자동 생성 시스템.

Images