KR20200108609A - 머신러닝 학습 데이터 증강장치 및 증강방법 - Google Patents

머신러닝 학습 데이터 증강장치 및 증강방법 Download PDF

Info

Publication number
KR20200108609A
KR20200108609A KR1020190027465A KR20190027465A KR20200108609A KR 20200108609 A KR20200108609 A KR 20200108609A KR 1020190027465 A KR1020190027465 A KR 1020190027465A KR 20190027465 A KR20190027465 A KR 20190027465A KR 20200108609 A KR20200108609 A KR 20200108609A
Authority
KR
South Korea
Prior art keywords
data
virtual
learning
image
learning data
Prior art date
Application number
KR1020190027465A
Other languages
English (en)
Other versions
KR102220174B1 (ko
Inventor
김형관
방성덕
백승현
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020190027465A priority Critical patent/KR102220174B1/ko
Publication of KR20200108609A publication Critical patent/KR20200108609A/ko
Application granted granted Critical
Publication of KR102220174B1 publication Critical patent/KR102220174B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 원래 이미지의 레이블 정보를 그대로 유지하면서 학습 이미지의 양을 대폭 증가시킬 수 있는 머신러닝 학습 데이터 증강장치 및 증강방법에 관한 것으로,
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강장치는,복수의 원시 데이터를 수집하는 원시 데이터 수집부; 수집된 복수의 원시 데이터에 포함된 적어도 하나 이상의 객체에 대해 레이블링을 수행하여 복수의 학습 데이터를 생성하는 학습 데이터 생성부; 및, 생성된 복수의 학습 데이터 중 적어도 어느 하나의 학습 데이터에 포함된 적어도 어느 하나의 객체를 나머지 학습 데이터 중 적어도 어느 하나의 학습 데이터에 삽입하여 적어도 하나 이상의 가상 학습 데이터를 생성하는 가상 학습 데이터 생성부를 포함한다.

Description

머신러닝 학습 데이터 증강장치 및 증강방법 {Learning-data enhancement device for machine learning model and method for learning-data enhancement}
본 발명은 머신러닝 학습 데이터 증강장치 및 증강방법에 관한 것으로, 보다 구체적으로는 원래 이미지의 레이블 정보를 그대로 유지하면서 학습 이미지의 양을 대폭 증가시킬 수 있는 머신러닝 학습 데이터 증강장치 및 증강방법에 관한 것이다.
머신러닝(machine learning)이란 데이터를 이용해서 컴퓨터를 학습시키는 방법론이다. 머신러닝은 크게 지도학습, 비지도학습, 강화학습으로 나눌 수 있다. 이 중 지도학습은 데이터에 대한 레이블(명시적인 정답)이 주어진 상태에서 컴퓨터를 학습시키는 방법이다.
통상적으로, 머신러닝 모델은 많은 양의 데이터로 학습될수록 그 성능이 좋아진다. 한편, 머신러닝 모델 중 하나인 합성곱 신경망 (CNN, Convolutional Neural Network)은 이미지 검출 분야에서 우수한 성능을 보이고 있다. CNN은 수십만 개의 매개변수를 가지고 있기 때문에 충분한 수의 학습 이미지로 학습되어야 한다.
그러나 지도학습의 경우, 그 레이블을 사람이 일일이 지정해주어야 하므로 많은 양의 학습 데이터셋을 구축하기 어렵다. 한편, 컴퓨터 비전 분야에서는 수백만개의 레이블을 갖춘 공공 데이터셋이 존재하나, 건설 현장과 관련된 학습 데이터셋은 구하기 어렵다는 문제가 있다.
특히, 드론으로 촬영한 건설 현장 이미지는, 옥외에서 자연광에 노출되기 때문에 날씨, 시각 등에 따라 같은 지역을 촬영한 이미지라도 그 차이가 크고, 또한 드론이 지속적인 움직이며 촬영하기 때문에 많은 변수가 발생하여, 학습 데이터셋을 구축하기 어려운 문제가 있다.
한국등록특허 제10-1864286호
본 발명은 원래 이미지의 레이블 정보를 그대로 유지하면서 학습 이미지의 양을 대폭 증가시킬 수 있는 머신러닝 학습 데이터 증강장치 및 증강방법을 제공하는 것을 목적으로 한다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강장치는, 복수의 원시 데이터를 수집하는 원시 데이터 수집부; 수집된 복수의 원시 데이터에 포함된 적어도 하나 이상의 객체에 대해 레이블링을 수행하여 복수의 학습 데이터를 생성하는 학습 데이터 생성부; 및, 생성된 복수의 학습 데이터 중 적어도 어느 하나의 학습 데이터에 포함된 적어도 어느 하나의 객체를 나머지 학습 데이터 중 적어도 어느 하나의 학습 데이터에 삽입하여 적어도 하나 이상의 가상 학습 데이터를 생성하는 가상 학습 데이터 생성부를 포함한다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강장치에 있어서, 상기 가상 학습 데이터 생성부는, 확률 정보에 기반하여 가상 학습 데이터에 삽입될 객체를 선택하는 객체 선택 모듈과, 적어도 어느 하나의 학습 데이터에서 적어도 어느 하나의 객체를 추출하고, 추출된 객체를 이진화하여 제1 이진 이미지를 생성하고, 생성된 제1 이진 이미지를 임의의 위치에 배치하여 가상 이미지를 생성하는 가상 이미지 생성 모듈과, 상기 가상 이미지 생성 모듈에서 생성된 가상 이미지를 학습 데이터에 삽입하여 가상 학습 데이터를 생성하는 가상 학습 데이터 생성 모듈을 포함한다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강장치에 있어서, 상기 객체 선택 모듈은, 상기 학습 데이터 생성부에 의해 생성된 복수의 학습 데이터 각각에 포함된 복수의 객체에 대해, 각각의 객체가 학습 데이터에 출현한 빈도를 카운팅하여 상대적으로 출현 빈도가 작은 객체가 가상 학습 데이터에 삽입될 확률이 높도록 객체를 선택하는 것을 특징으로 한다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강장치에 있어서, 상기 가상 이미지 생성 모듈은, 상기 제1 이진 이미지의 상하좌우에 임의의 크기를 갖는 0 픽셀로 구성된 행렬을 삽입하여 상기 제1 이진 이미지가 원본 학습 데이터의 객체 크기와 같은 크기로 배치되도록 하는 것을 특징으로 한다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강장치에 있어서, 상기 가상 학습 데이터 생성 모듈은, 상기 복수의 학습 데이터에서 임의의 학습 데이터를 배경 이미지로 사용하고, 상기 배경 이미지에서 객체 부분을 이진화한 제2 이진 이미지를 생성하며, 상기 제2 이진 이미지와 상기 가상 이미지를 중첩하여 누적 이진 이미지를 생성하는 것을 특징으로 한다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강장치에 있어서, 상기 가상 학습 데이터 생성 모듈은, 상기 누적 이진 이미지에서 객체들 간의 중첩되어 가려진 부분이 존재하는 지를 점검하는 가려짐 점검을 수행하는 것을 특징으로 한다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강장치에 있어서, 상기 학습 데이터 생성부에서 생성된 학습 데이터와 상기 가상 학습 데이터 생성부에서 생성된 가상 학습 데이터 중 적어도 어느 하나를 변형하여 변형 학습 데이터를 생성하는 학습 데이터 변형부를 더 포함할 수 있다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강장치에 있어서, 상기 학습 데이터 변형부는, 상기 학습 데이터의 이미지 조도와 상기 가상 학습 데이터의 이미지의 조도 중 적어도 어느 하나를 변환하는 조도 변환 모듈을 포함한다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강장치에 있어서, 상기 학습 데이터 변형부는, 상기 학습 데이터의 이미지 품질과 상기 가상 학습 데이터의 이미지 품질 중 적어도 어느 하나를 변환하는 블러 처리 모듈을 포함한다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강장치에 있어서, 상기 학습 데이터 변형부는, 상기 학습 데이터의 이미지 크기와 상기 가상 학습 데이터의 이미지 크기 중 적어도 어느 하나를 변환하는 크기 변환 모듈을 포함한다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강방법은, 복수의 원시 데이터를 수집하는 원시 데이터 수집 단계; 수집된 복수의 원시 데이터에 포함된 적어도 하나 이상의 객체에 대해 레이블링을 수행하여 복수의 학습 데이터를 생성하는 학습 데이터 생성 단계; 및, 생성된 복수의 학습 데이터 중 적어도 어느 하나의 학습 데이터에 포함된 적어도 어느 하나의 객체를 나머지 학습 데이터 중 적어도 어느 하나의 학습 데이터에 삽입하여 적어도 하나 이상의 가상 학습 데이터를 생성하는 가상 학습 데이터 생성 단계;를 포함한다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강방법에 있어서, 상기 가상 학습 데이터 생성 단계는, 확률 정보에 기반하여 가상 학습 데이터에 삽입될 객체를 선택하는 객체 선택 단계와, 적어도 어느 하나의 학습 데이터에서 적어도 어느 하나의 객체를 추출하고, 추출된 객체를 이진화하여 제1 이진 이미지를 생성하고, 생성된 제1 이진 이미지를 임의의 위치에 배치하여 가상 이미지를 생성하는 가상 이미지 생성 단계와, 상기 가상 이미지 생성 단계에서 생성된 가상 이미지를 학습 데이터에 삽입하여 가상 학습 데이터를 생성하는 가상 학습 데이터 생성 단계를 포함한다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강방법에 있어서, 상기 객체 선택 단계는, 상기 학습 데이터 생성 단계에 의해 생성된 복수의 학습 데이터 각각에 포함된 복수의 객체에 대해, 각각의 객체가 학습 데이터에 출현한 빈도를 카운팅하여 상대적으로 출현 빈도가 작은 객체가 가상 학습 데이터에 삽입될 확률이 높도록 객체를 선택하는 것을 특징으로 한다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강방법에 있어서, 상기 가상 이미지 생성 단계는, 상기 제1 이진 이미지의 상하좌우에 임의의 크기를 갖는 0 픽셀로 구성된 행렬을 삽입하여 상기 제1 이진 이미지가 원본 학습 데이터의 객체 크기와 같은 크기로 배치되도록 하는 것을 특징으로 한다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강방법에 있어서, 상기 가상 학습 데이터 생성 단계는, 상기 복수의 학습 데이터에서 임의의 학습 데이터를 배경 이미지로 사용하고, 상기 배경 이미지에서 객체 부분을 이진화한 제2 이진 이미지를 생성하며, 상기 제2 이진 이미지와 상기 가상 이미지를 중첩하여 누적 이진 이미지를 생성하는 것을 특징으로 한다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강방법에 있어서, 상기 가상 학습 데이터 생성 단계는, 상기 누적 이진 이미지에서 객체들 간의 중첩되어 가려진 부분이 존재하는 지를 점검하는 가려짐 점검을 수행하는 것을 특징으로 한다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강방법에 있어서, 상기 학습 데이터 생성 단계에서 생성된 학습 데이터와 상기 가상 학습 데이터 생성 단계에서 생성된 가상 학습 데이터 중 적어도 어느 하나를 변형하여 변형 학습 데이터를 생성하는 학습 데이터 변형 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강방법에 있어서, 상기 학습 데이터 변형 단계는, 상기 학습 데이터의 이미지 조도와 상기 가상 학습 데이터의 이미지의 조도 중 적어도 어느 하나를 변환하는 조도 변환 단계를 포함한다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강방법에 있어서, 상기 학습 데이터 변형 단계는, 상기 학습 데이터의 이미지 품질과 상기 가상 학습 데이터의 이미지 품질 중 적어도 어느 하나를 변환하는 블러 처리 단계를 포함한다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강방법에 있어서, 상기 학습 데이터 변형 단계는, 상기 학습 데이터의 이미지 크기와 상기 가상 학습 데이터의 이미지 크기 중 적어도 어느 하나를 변환하는 크기 변환 단계를 포함한다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강방법에 있어서, 상기 원시 데이터는 드론에 의해 촬영된 건설 현장의 이미지일 수 있다.
본 발명의 실시예에 따른 머신러닝 학습 데이터 증강방법은, 하드웨어와 결합되어, 복수의 원시 데이터를 수집하는 원시 데이터 수집 단계; 수집된 복수의 원시 데이터에 포함된 적어도 하나 이상의 객체에 대해 레이블링을 수행하여 복수의 학습 데이터를 생성하는 학습 데이터 생성 단계; 및, 생성된 복수의 학습 데이터 중 적어도 어느 하나의 학습 데이터에 포함된 적어도 어느 하나의 객체를 나머지 학습 데이터 중 적어도 어느 하나의 학습 데이터에 삽입하여 적어도 하나 이상의 가상 학습 데이터를 생성하는 가상 학습 데이터 생성 단계;를 실행시키기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램에 의해 실행될 수 있다.
기타 본 발명의 다양한 측면에 따른 구현예들의 구체적인 사항은 이하의 상세한 설명에 포함되어 있다.
본 발명의 실시 형태에 따르면, 원래 이미지(학습 데이터)의 레이블 정보를 그대로 유지하면서 학습 이미지(학습 데이터, 가상 학습 데이터)의 양을 대폭 증가시키기 때문에 사람이 일일이 레이블 작업을 수행하지 않고도 대량의 머신러닝 학습 데이터셋을 구성할 수 있는 효과가 있다.
또한, 대량의 머신러닝 학습 데이터셋을 확보할 수 있게 됨에 따라, 드론으로 촬영한 이미지에서 건설 현장 자원을 높은 정확도로 인식할 수 있게 되어, 드론을 이용한 건설 현장 모니터링을 자동으로 수행할 수 있도록 한다.
또한, 원본 이미지의 레이블 정보는 그대로 유지하면서, 촬영시 촬영 수단에 발생하는 다양한 환경(조도 변화, 움직임 발생, 높이 변화)을 반영하여 원본 이미지를 변형한 변형 학습 데이터들(변형 학습 데이터셋)을 생성할 수 있다. 따라서, 일일이 모든 촬영 조건이 반영된 대량의 원본 이미지를 획득할 필요가 없으며, 모든 촬영 조건이 반영된 대량의 원본 이미지에 대해 작업자가 일일이 레이블 작업을 수행하지 않아도 학습 데이터셋을 구성할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 머신러닝 학습 데이터 증강장치가 도시된 블록도이다.
도 2는 본 발명의 일 실시예에 따른 머신러닝 학습 데이터 증강장치의 가상 학습 데이터 생성부가 도시된 블록도이다.
도 3은 가상 학습 데이터 생성부에서 가상 학습 데이터를 생성하는 과정이 도시된 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른 머신러닝 학습 데이터 증강장치가 도시된 블록도이다.
도 5는 본 발명의 다른 실시예에 따른 머신러닝 학습 데이터 증강장치의 학습 데이터 변형부가 도시된 블록도이다.
도 6은 본 발명의 다른 실시예에 따른 머신러닝 학습 데이터 증강장치를 이용하여 증가된 머신러닝 학습 데이터로 학습된 머신러닝 프로그램이 입력된 이미지로부터 객체를 인식한 결과를 예시하는 도면이다.
도 7은 본 발명의 실시예에 따른 머신러닝 학습 데이터 증강방법이 도시된 순서도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예를 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 도면을 참조하여 본 발명의 실시예에 따른 머신러닝 학습 데이터 증강장치 및 증강방법을 설명한다.
도 1은 본 발명의 일 실시예에 따른 머신러닝 학습 데이터 증강장치가 도시된 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 머신러닝 학습 데이터 증강장치는, 원시 데이터 수집부(100)와, 학습 데이터 생성부(200)와, 가상 학습 데이터 생성부(300)를 포함한다.
원시 데이터 수집부(100)는 머신러닝 학습 데이터의 데이터셋(data set) 생성에 필요한 복수의 원시 데이터(raw data)를 수집한다. 여기서 원시 데이터는 이미지를 포함하는 데이터이다. 예를 들어, 원시 데이터는 드론에 의해 촬영된 건설 현장의 다양한 이미지일 수 있다. 동일한 건설 현장을 촬영한 이미지일지라도 촬영 수단인 드론의 높이, 촬영 당시의 날씨 환경, 드론의 속도 등 여러 가지 요소에 의해 다양한 원시 데이터를 수집할 수 있다. 물론, 이에 한정되지 않지는 않는다.
학습 데이터 생성부(200)는 수집된 복수의 원시 데이터에 포함된 적어도 하나 이상의 객체에 대해 레이블링을 수행하여 복수의 학습 데이터를 생성한다. 학습 데이터 생성부(200)는 복수의 객체들에 대한 클래스를 정의한 후, 원시 데이터 수집부(100)에 의해 수집된 복수의 원시 데이터에 포함된 복수의 객체에 대해 정의된 클래스에 따라 클래스와 위치를 지정하는 레이블링 작업을 수행한다. 클래스는 객체에 대한 크기 정보를 포함한다. 여기서, 레이블링 작업시 위치 지정을 하는 이유는, 이미지 내에 위치한 객체들에 대해 각 객체가 어느 클래스에 속하고, 이미지 내에 어느 위치에 있는지 좌표와 크기 정보를 레이블링을 통해 저장하여 머신러닝 프로그램이 이미지를 분석할 때 어떤 객체가 어느 위치에 있는지 학습할 수 있도록 하기 위함이다.
예를 들어, 학습 데이터 생성부(200)는 드론에 의해 촬영된 건설 현장의 다양한 이미지에서 복수의 객체, 즉, 건설 현장의 주요 자원(인부, 장비, 자재 등)들의 클래스를 정의한 후, 이미지 내 자원들의 클래스와 위치를 지정하는 레이블링 작업을 수행한다.
가상 학습 데이터 생성부(300)는 학습 데이터 생성부(200)에서 생성된 복수의 학습 데이터 중 적어도 어느 하나의 학습 데이터에 포함된 적어도 어느 하나의 객체를 나머지 학습 데이터 중 적어도 어느 하나의 학습 데이터에 삽입하여 적어도 하나 이상의 가상 학습 데이터를 생성한다. 예를 들어, 특정 장비 A가 포함된 학습 데이터에서 장비 A를 추출하고, 추출된 장비 A의 이미지를 장비 A가 포함되지 않은 학습 데이터에 삽입하여 가상 학습 데이터를 생성한다. 이와 관련하여 도 2 및 도 3을 참조하여 설명한다.
도 2는 본 발명의 일 실시예에 따른 머신러닝 학습 데이터 증강장치의 가상 학습 데이터 생성부가 도시된 블록도이고, 도 3은 가상 학습 데이터 생성부에서 가상 학습 데이터를 생성하는 과정이 도시된 흐름도이다. 도 2에 도시된 바와 같이, 가상 학습 데이터 생성부(300)는, 객체 선택 모듈(310)과, 가상 이미지 생성 모듈(320)과, 가상 학습 데이터 생성 모듈(330)을 포함한다.
객체 선택 모듈(310)은 확률 정보에 기반하여 가상 학습 데이터에 삽입될 객체를 선택한다. 객체 선택 모듈(310)은 학습 데이터 생성부(200)에 의해 생성된 복수의 학습 데이터(이하, ‘학습 데이터셋’이라고도 함) 각각에 포함된 복수의 객체에 대해, 각각의 객체가 학습 데이터셋에 출현한 빈도를 카운팅하여 상대적으로 출현 빈도가 작은 객체가 가상 학습 데이터에 삽입될 확률이 높도록 한다. 상대적으로 출현 빈도가 작은 객체를 포함하는 가상 학습 데이터를 보다 많이 생성하여, 해당 객체에 대한 머신러닝(machine learning)의 학습 능력을 향상시키고, 전체적으로 학습 데이터셋에 포함된 모든 객체에 대해 학습 능력을 향상시킬 수 있다.
구체적으로, 객체 선택 모듈(310)은 다음 식 (1)을 이용하여 가상 학습 데이터에 삽입될 객체를 선택한다.
식 (1) :
Figure pat00001
여기서, Pi는 i번째 클래스에 속하는 객체가 새롭게 배치될 확률이고, ni는 학습 데이터셋에서 i번째 클래스에 해당하는 객체의 총 개수를 의미한다.
객체 선택 모듈(310)에 의해 선택되는 객체는 어느 하나의 객체가 아니라, 학습 데이터셋에 포함된 모든 객체일 수 있으며, 선택된 어느 하나의 객체가 가상 학습 데이터에 삽입될 확률을 결정한다. 이때, 어느 하나의 가상 학습 데이터에 특정 객체가 이미 포함된 경우에는 해당 객체를 삽입하지 않는다.
가상 이미지 생성 모듈(320)은 적어도 어느 하나의 학습 데이터에서 적어도 어느 하나의 객체를 추출하고, 추출된 객체를 이진화하여 이진 이미지를 생성하고, 생성된 이진 이미지를 임의의 위치에 배치하여 가상 이미지를 생성한다.
예를 들어, 도 3을 참조하면, 학습 데이터셋에 포함된 어느 하나의 학습 데이터에서 레이블 데이터를 이용하여 객체를 포함하는 부분(A1, B1)을 잘라내고, 객체 부분(O1, O2)과 객체 이외의 부분이 구분되도록 객체 부분에 0의 값을 갖는 픽셀(여백)을 삽입하여 이진 이미지(A2, B2)를 생성한다. 여기서, 레이블 데이터에는 이미지 내 객체들에 대한 클래스와 위치, 형태 정보들이 저장되어있기 때문에 객체에 해당하는 부분을 잘라내고 가상 이미지를 생성하는 과정을 자동화할 수 있다. 만약, 레이블 데이터가 없는 이미지를 사용하면 작업자가 다시 직접 레이블링을 하고 작업해야하는 번거로움이 있기 때문에 레이블 데이터를 이미 가지고 있는 이미지들을 사용하는 것이 바람직하다.
생성된 이진 이미지(A2, B2)를 임의의 위치에 배치하여 가상 이미지(A3, B3)를 생성한다. 이때, 이진 이미지(A2, B2)의 상하좌우에 임의의 크기를 갖는 0 픽셀로만 구성된 행렬을 삽입하여 이진 이미지(A2, B2)가 원본 학습 데이터의 객체 크기와 같은 크기로 배치되도록 할 수 있다.
가상 학습 데이터 생성 모듈(330)은 가상 이미지 생성 모듈(320)에서 생성된 가상 이미지를 학습 데이터에 삽입하여 가상 학습 데이터를 생성한다.
가상 학습 데이터 생성 모듈(330)은 학습 데이터셋에서 임의의 학습 데이터를 선택하고, 선택된 학습 데이터를 배경 이미지(C1)로 사용한다. 배경 이미지(C1)에서 객체(C11, C21)에 해당하는 부분을 이진화하여 이진 이미지(C2)를 생성한다. 생성된 이진 이미지(C2)와 가상 이미지 생성 모듈(320)에서 생성된 가상 이미지(A3, B3)를 중첩하여 누적 이진 이미지(C3)를 생성한다.
이때, 누적 이진 이미지(C3) 생성시, 객체(O1, O2)의 크기를 리사이징(resizing)한다. 즉, 특정 객체의 길이, 높이 중 큰 값을 1로 가정하고 학습 데이터셋에서 특정 객체가 포함되어 있는 이미지들을 추출한 후, 각 이미지 별로 특정 객체와 특정 객체가 아닌 각 객체 간의 상대적인 크기의 비율을 객체의 길이, 높이 중 큰 값 기준으로 계산한 후, 추출된 모든 이미지에서 이 값을 평균하여 리사이징 테이블을 생성한다. 누적 이진 이미지(C3) 생성시 리사이징 테이블을 참조하여 객체(O1, O2)의 크기를 리사이징(resizing)하여 누적 이진 이미지(C3) 내의 객체들의 크기가 실제 크기와 유사하도록 한다.
한편, 가상 이미지(A3, B3)에서 객체(O1, O2)는 임의의 위치에 배치된 것이므로, 이진 이미지(C2)와 가상 이미지(A3, B3)를 중첩할 때, 겹쳐서 객체의 적어도 일부가 가려질 수 있다. 따라서, 가상 학습 데이터 생성 모듈(330)은 생성된 누적 이진 이미지(C3)에서 객체들 간의 중첩되어 가려진 부분이 존재하는 지를 점검한다. (가려짐 점검)
만약, 가려짐 검검에서 가려진 부분이 존재하는 것으로 확인되면, 가상 학습 데이터 생성 모듈(330)은 가상 이미지 생성 모듈(320)에 피드백한다. 이를 피드백 받은 가상 이미지 생성 모듈(320)은 이진 이미지(A2, B2)를 재배치하여 재차 가상 이미지를 생성한다. 가려짐 점검을 통과할 때까지 이러한 과정은 반복될 수 있다.
가려짐 점검을 통과하면, 가상 학습 데이터 생성 모듈(330)은 누적 이진 이미지(C3)에 객체(O1, O2) 이미지의 픽셀을 삽입한다. 이 때, 배경 부분은 배경 이미지(C)가 삽입되고, 객체(O1, O2) 이미지와 배경 이미지(C)가 합성되어 가상 학습 데이터를 구성한다.
이상에서, 가상 학습 데이터 생성시, 삽입되는 객체(O1, O2)의 레이블 정보는 그대로 보존되므로, 머신러닝의 학습에는 지장이 없다.
상기와 같은 본 발명의 다른 실시예에 따른 머신러닝 학습 데이터 증강장치는, 원래 이미지(학습 데이터)의 레이블 정보를 그대로 유지하면서 학습 이미지(학습 데이터, 가상 학습 데이터)의 양을 대폭 증가시키기 때문에 사람이 일일이 레이블 작업을 수행하지 않고도 대량의 머신러닝 학습 데이터셋을 구성할 수 있는 효과가 있다.
또한, 대량의 머신러닝 학습 데이터셋을 확보할 수 있게 됨에 따라, 드론으로 촬영한 이미지에서 건설 현장 자원을 높은 정확도로 인식할 수 있게 되어, 드론을 이용한 건설 현장 모니터링을 자동으로 수행할 수 있도록 한다. 물론, 이에 한정되지 않고 모니터링이 필요한 다양한 작업 환경에 적용될 수 있다.
다음으로, 도 4 및 도 5를 참조하여 본 발명의 다른 실시예에 따른 머신러닝 학습 데이터 증강장치를 설명한다. 도 4는 본 발명의 다른 실시예에 따른 머신러닝 학습 데이터 증강장치가 도시된 블록도이고, 도 5는 본 발명의 다른 실시예에 따른 머신러닝 학습 데이터 증강장치의 학습 데이터 변형부가 도시된 블록도이다.
도 4에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 머신러닝 학습 데이터 증강장치는, 원시 데이터 수집부(100)와, 학습 데이터 생성부(200)와, 가상 학습 데이터 생성부(300)와, 학습 데이터 변형부(400)를 포함한다.
본 발명의 다른 실시예에 따른 머신러닝 학습 데이터 증강장치에서 원시 데이터 수집부(100)와 학습 데이터 생성부(200)와 가상 학습 데이터 생성부(300)는 전술한 일 실시예와 실질적으로 동일하므로 반복 설명은 생략한다.
학습 데이터 변형부(400)는 학습 데이터 생성부(200)에서 생성된 학습 데이터와 가상 학습 데이터 생성부(300)에서 생성된 가상 학습 데이터 중 적어도 어느 하나를 변형하여 변형 학습 데이터를 생성한다.
학습 데이터 변형부(400)는 학습 데이터, 가상 학습 데이터의 이미지 조도, 블러 이미지, 이미지 크기를 인위적으로 변형하여 변형 학습 데이터를 생성한다. 이를 위해 학습 데이터 변형부(400)는 조도 변환 모듈(410)과 블러 처리 모듈(420)과 크기 변환 모듈(430)을 포함한다.
조도 변환 모듈(410)은 이미지 강도 변화(Intensity variation)를 이용하여 학습 데이터와 가상 학습 데이터의 이미지(이하, ‘원본 이미지’라고도 함)의 조도를 변환한다. 구체적으로 조도 변환 모듈(410)은 원본 이미지의 모든 픽셀에 같은 값을 더하거나 빼서 조도가 변환된 변형 학습 데이터를 생성한다.
예를 들어, 드론에 의해 촬영된 동일한 건설 현장 이미지일지라도 자연광 노출에 따른 조도 변화가 발생한다. 조도 변환 모듈(410)은 이러한 조도 변화를 학습 데이터와 가상 학습 데이터에 반영한 학습 데이터셋을 구성하도록 하고, 이를 이용하여 머신러닝의 학습시킴으로써, 다양한 조도를 갖는 건설 현장 이미지에서 다양한 객체를 검출할 수 있도록 할 수 있다.
블러 처리 모듈(420)은 원본 이미지의 품질을 변화시켜서 변형 학습 데이터를 생성한다. 구체적으로 블러 처리 모듈(420)은 원본 이미지에 가우시안 필터(Gaussian filter)를 적용하여 인위적으로 원본 이미지에 블러 이미지(blurred image) 처리하여 변형 학습 데이터를 생성한다.
예를 들어, 드론에 의해 촬영된 동일한 건설 현장 이미지일지라도 속도 변화 또는 외력에 의한 진동 발생 등과 같은 드론의 움직임에 따른 품질 변화가 발생한다. 블러 처리 모듈(420)은 이러한 품질 변화를 학습 데이터와 가상 학습 데이터에 반영한 학습 데이터셋을 구성하도록 하고, 이를 이용하여 머신러닝의 학습시킴으로써, 다양한 품질을 갖는 건설 현장 이미지에서 다양한 객체를 검출할 수 있도록 할 수 있다.
크기 변환 모듈(430)은 원본 이미지의 크기를 변화시켜서 변형 학습 데이터를 생성한다. 구체적으로 크기 변환 모듈(430)은 원본 이미지의 가로 세로 비율(aspect ratio)를 유지하면서 원본 이미지의 크기를 축소 또는 확대하여 변형 학습 데이터를 생성한다.
예를 들어, 드론에 의해 촬영된 동일한 건설 현장 이미지일지라도 드론의 비행 높이에 따라 객체 크기가 변화된다. 크기 변환 모듈(430)은 이러한 드론의 비행 높이에 따른 객체 크기 변화를 학습 데이터와 가상 학습 데이터에 반영한 학습 데이터셋을 구성하도록 하고, 이를 이용하여 머신러닝의 학습시킴으로써, 드론의 비행 높이에 관계없이 건설 현장 이미지에서 다양한 객체를 검출할 수 있도록 할 수 있다.
조도 변환 모듈(410), 블러 처리 모듈(420), 크기 변환 모듈(430)이 원본 이미지를 변형하더라도 이미지 내의 객체 위치는 변함이 없기 때문에 원본 이미지의 레이블 정보는 그대로 보존된다.
도 6에는 증강된 머신러닝 학습 데이터로 학습된 머신러닝 프로그램이 입력된 이미지로부터 객체를 인식한 결과가 예시되어 있다.
상기와 같은, 본 발명의 다른 실시예에 따른 머신러닝 학습 데이터 증강장치는, 원본 이미지의 레이블 정보는 그대로 유지하면서, 촬영시 촬영 수단에 발생하는 다양한 환경(조도 변화, 움직임 발생, 높이 변화)을 반영하여 원본 이미지를 변형한 변형 학습 데이터들(변형 학습 데이터셋)을 생성할 수 있다. 따라서, 일일이 모든 촬영 조건이 반영된 대량의 원본 이미지를 획득할 필요가 없으며, 또한, 모든 촬영 조건이 반영된 대량의 원본 이미지에 대해 작업자가 일일이 레이블 작업을 수행하지 않아도 학습 데이터셋을 구성할 수 있는 효과가 있다.
다음으로, 도 7을 참조하여 본 발명의 실시예에 따른 머신러닝 학습 데이터 증강방법을 설명한다. 도 7은 본 발명의 실시예에 따른 머신러닝 학습 데이터 증강방법이 도시된 순서도이다.
도 7에 도시된 바와 같이, 본 발명의 실시예에 따른 머신러닝 학습 데이터 증강방법은, 원시 데이터 수집 단계(S100), 학습 데이터 생성 단계(S200), 가상 학습 데이터 생성 단계(S300), 변형 학습 데이터 생성 단계(S400)를 포함한다.
원시 데이터 수집 단계(S100)에서는, 머신러닝 학습 데이터의 데이터셋(data set) 생성에 필요한 복수의 원시 데이터(raw data)를 수집한다. 여기서 원시 데이터는 이미지를 포함하는 데이터이다. 예를 들어, 원시 데이터는 드론에 의해 촬영된 건설 현장의 다양한 이미지일 수 있다.
학습 데이터 생성 단계(S200)에서는, 수집된 복수의 원시 데이터에 포함된 적어도 하나 이상의 객체에 대해 레이블링을 수행하여 복수의 학습 데이터를 생성한다.
가상 학습 데이터 생성 단계(S300)에서는, 생성된 복수의 학습 데이터 중 적어도 어느 하나의 학습 데이터에 포함된 적어도 어느 하나의 객체를 나머지 학습 데이터 중 적어도 어느 하나의 학습 데이터에 삽입하여 적어도 하나 이상의 가상 학습 데이터를 생성한다.
가상 학습 데이터 생성 단계(S300)는 객체 선택 단계(S310)와, 가상 이미지 생성 단계(S320)와, 가상 학습 데이터 생성 단계(S330)를 포함한다.
객체 선택 단계(S310)는 확률 정보에 기반하여 가상 학습 데이터에 삽입될 객체를 선택한다. 객체 선택 단계(S310)는 학습 데이터 생성 단계(S200)에서 생성된 복수의 학습 데이터 각각에 포함된 복수의 객체에 대해, 각각의 객체가 출현한 빈도를 카운팅하여 상대적으로 출현 빈도가 작은 객체가 가상 학습 데이터에 삽입될 확률이 높도록 한다.
구체적으로, 객체 선택 단계(S310)는 다음 식 (1)을 이용하여 가상 학습 데이터에 삽입될 객체를 선택한다.
식 (1) :
Figure pat00002
여기서, Pi는 i번째 클래스에 속하는 객체가 새롭게 배치될 확률이고, ni는 학습 데이터셋에서 i번째 클래스에 해당하는 객체의 총 개수를 의미한다.
가상 이미지 생성 단계(S320)는 적어도 어느 하나의 학습 데이터에서 적어도 어느 하나의 객체를 추출하고, 추출된 객체를 이진화하여 이진 이미지를 생성하고, 생성된 이진 이미지를 임의의 위치에 배치하여 가상 이미지를 생성한다.
예를 들어, 도 3을 참조하면, 학습 데이터셋에 포함된 어느 하나의 학습 데이터에서 레이블 데이터를 이용하여 객체를 포함하는 부분(A1, B1)을 잘라내고, 객체 부분(O1, O2)과 객체 이외의 부분이 구분되도록 객체 부분에 0의 값을 갖는 픽셀(여백)을 삽입하여 이진 이미지(A2, B2)를 생성한다. 생성된 이진 이미지(A2, B2)를 임의의 위치에 배치하여 가상 이미지(A3, B3)를 생성한다. 이때, 이진 이미지(A2, B2)의 상하좌우에 임의의 크기를 갖는 0 픽셀로만 구성된 행렬을 삽입하여 이진 이미지(A2, B2)가 원본 학습 데이터의 객체 크기와 같은 크기로 배치되도록 할 수 있다.
가상 학습 데이터 생성 단계(S330)는 가상 이미지를 학습 데이터에 삽입하여 가상 학습 데이터를 생성한다. 가상 학습 데이터 생성 단계(S330)는 학습 데이터셋에서 임의의 학습 데이터를 선택하고, 선택된 학습 데이터를 배경 이미지(C1)로 사용한다. 배경 이미지(C1)에서 객체(C11, C21)에 해당하는 부분을 이진화하여 이진 이미지(C2)를 생성한다. 생성된 이진 이미지(C2)와 가상 이미지 생성 단계(S320)에서 생성된 가상 이미지(A3, B3)를 중첩하여 누적 이진 이미지(C3)를 생성한다. 이때, 누적 이진 이미지(C3) 생성시, 전술한 리사이징 테이블을 참조하여 객체(O1, O2)의 크기를 리사이징(resizing)하여 누적 이진 이미지(C3) 내의 객체들의 크기가 실제 크기와 유사하도록 한다.
또한, 가상 학습 데이터 생성 단계(S330)는 생성된 누적 이진 이미지(C3)에서 객체들 간의 중첩되어 가려진 부분이 존재하는 지를 점검한다. (가려짐 점검)
만약, 가려짐 검검에서 가려진 부분이 존재하는 것으로 확인되면, 가상 이미지 생성 단계(S320)로 돌아가서 이진 이미지(A2, B2)를 재배치하여 재차 가상 이미지를 생성한다. 가려짐 점검을 통과할 때까지 이러한 과정은 반복될 수 있다.
가려짐 점검을 통과하면, 가상 학습 데이터 생성 단계(S330)는 누적 이진 이미지(C3)에 객체(O1, O2) 이미지의 픽셀을 삽입한다. 이 때, 배경 부분은 배경 이미지(C)가 삽입되고, 객체(O1, O2) 이미지와 배경 이미지(C)가 합성되어 가상 학습 데이터를 구성한다.
변형 학습 데이터 생성 단계(S400)에서는, 학습 데이터 생성 단계(S200)에서 생성된 학습 데이터와 가상 학습 데이터 생성 단계(S300)에서 생성된 가상 학습 데이터 중 적어도 어느 하나를 변형하여 변형 학습 데이터를 생성한다.
변형 학습 데이터 생성 단계(S400)는 학습 데이터, 가상 학습 데이터의 이미지 조도, 블러 이미지, 이미지 크기를 인위적으로 변형하여 변형 학습 데이터를 생성한다. 이를 위해 변형 학습 데이터 생성 단계(S400)는 조도 변환 단계(S410)과 블러 처리 단계(S420)과 크기 변환 단계(S430)을 포함한다. 각 단계(S410 ~ S430)는 일련의 순서를 규정하는 단계가 아니며, 각각의 단계는 순서에 관계없이 수행될 수 있다.
조도 변환 단계(S410)은 이미지 강도 변화(Intensity variation)를 이용하여 학습 데이터와 가상 학습 데이터의 이미지(이하, ‘원본 이미지’라고도 함)의 조도를 변환한다. 구체적으로 조도 변환 단계(S410)은 원본 이미지의 모든 픽셀에 같은 값을 더하거나 빼서 조도가 변환된 변형 학습 데이터를 생성한다.
블러 처리 단계(S420)은 원본 이미지의 품질을 변화시켜서 변형 학습 데이터를 생성한다. 구체적으로 블러 처리 단계(S420)은 원본 이미지에 가우시안 필터(Gaussian filter)를 적용하여 인위적으로 원본 이미지에 블러 이미지(blurred image) 처리하여 변형 학습 데이터를 생성한다.
크기 변환 단계(S430)은 원본 이미지의 크기를 변화시켜서 변형 학습 데이터를 생성한다. 구체적으로 크기 변환 단계(S430)은 원본 이미지의 가로 세로 비율(aspect ratio)를 유지하면서 원본 이미지의 크기를 축소 또는 확대하여 변형 학습 데이터를 생성한다.
조도 변환 단계(S410), 블러 처리 단계(S420), 크기 변환 단계(S430)이 원본 이미지를 변형하더라도 이미지 내의 객체 위치는 변함이 없기 때문에 원본 이미지의 레이블 정보는 그대로 보존된다.
이상, 본 발명의 일 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.
100: 원시 데이터 수집부 200: 학습 데이터 생성부
300: 가상 학습 데이터 생성부 310: 객체 선택 모듈
320: 가상 이미지 생성 모듈 330: 가상 학습 데이터 생성 모듈
400: 학습 데이터 변형부

Claims (22)

  1. 복수의 원시 데이터를 수집하는 원시 데이터 수집부;
    수집된 복수의 원시 데이터에 포함된 적어도 하나 이상의 객체에 대해 레이블링을 수행하여 복수의 학습 데이터를 생성하는 학습 데이터 생성부; 및,
    생성된 복수의 학습 데이터 중 적어도 어느 하나의 학습 데이터에 포함된 적어도 어느 하나의 객체를 나머지 학습 데이터 중 적어도 어느 하나의 학습 데이터에 삽입하여 적어도 하나 이상의 가상 학습 데이터를 생성하는 가상 학습 데이터 생성부;를 포함하는 머신러닝 학습 데이터 증강장치.
  2. 청구항 1에 있어서, 상기 가상 학습 데이터 생성부는,
    확률 정보에 기반하여 가상 학습 데이터에 삽입될 객체를 선택하는 객체 선택 모듈과,
    적어도 어느 하나의 학습 데이터에서 적어도 어느 하나의 객체를 추출하고, 추출된 객체를 이진화하여 제1 이진 이미지를 생성하고, 생성된 제1 이진 이미지를 임의의 위치에 배치하여 가상 이미지를 생성하는 가상 이미지 생성 모듈과,
    상기 가상 이미지 생성 모듈에서 생성된 가상 이미지를 학습 데이터에 삽입하여 가상 학습 데이터를 생성하는 가상 학습 데이터 생성 모듈을 포함하는 머신러닝 학습 데이터 증강장치.
  3. 청구항 2에 있어서, 상기 객체 선택 모듈은,
    상기 학습 데이터 생성부에 의해 생성된 복수의 학습 데이터 각각에 포함된 복수의 객체에 대해, 각각의 객체가 학습 데이터에 출현한 빈도를 카운팅하여 상대적으로 출현 빈도가 작은 객체가 가상 학습 데이터에 삽입될 확률이 높도록 객체를 선택하는 것을 특징으로 하는 머신러닝 학습 데이터 증강장치.
  4. 청구항 2에 있어서, 상기 가상 이미지 생성 모듈은,
    상기 제1 이진 이미지의 상하좌우에 임의의 크기를 갖는 0 픽셀로 구성된 행렬을 삽입하여 상기 제1 이진 이미지가 원본 학습 데이터의 객체 크기와 같은 크기로 배치되도록 하는 것을 특징으로 하는 머신러닝 학습 데이터 증강장치.
  5. 청구항 2에 있어서, 상기 가상 학습 데이터 생성 모듈은,
    상기 복수의 학습 데이터에서 임의의 학습 데이터를 배경 이미지로 사용하고, 상기 배경 이미지에서 객체 부분을 이진화한 제2 이진 이미지를 생성하며, 상기 제2 이진 이미지와 상기 가상 이미지를 중첩하여 누적 이진 이미지를 생성하는 것을 특징으로 하는 머신러닝 학습 데이터 증강장치.
  6. 청구항 5에 있어서, 상기 가상 학습 데이터 생성 모듈은,
    상기 누적 이진 이미지에서 객체들 간의 중첩되어 가려진 부분이 존재하는 지를 점검하는 가려짐 점검을 수행하는 것을 특징으로 하는 머신러닝 학습 데이터 증강장치.
  7. 청구항 1에 있어서,
    상기 학습 데이터 생성부에서 생성된 학습 데이터와 상기 가상 학습 데이터 생성부에서 생성된 가상 학습 데이터 중 적어도 어느 하나를 변형하여 변형 학습 데이터를 생성하는 학습 데이터 변형부를 더 포함하는 머신러닝 학습 데이터 증강장치.
  8. 청구항 7에 있어서, 상기 학습 데이터 변형부는,
    상기 학습 데이터의 이미지 조도와 상기 가상 학습 데이터의 이미지의 조도 중 적어도 어느 하나를 변환하는 조도 변환 모듈을 포함하는 머신러닝 학습 데이터 증강장치.
  9. 청구항 7에 있어서, 상기 학습 데이터 변형부는,
    상기 학습 데이터의 이미지 품질과 상기 가상 학습 데이터의 이미지 품질 중 적어도 어느 하나를 변환하는 블러 처리 모듈을 포함하는 머신러닝 학습 데이터 증강장치.
  10. 청구항 7에 있어서, 상기 학습 데이터 변형부는,
    상기 학습 데이터의 이미지 크기와 상기 가상 학습 데이터의 이미지 크기 중 적어도 어느 하나를 변환하는 크기 변환 모듈을 포함하는 머신러닝 학습 데이터 증강장치.
  11. 복수의 원시 데이터를 수집하는 원시 데이터 수집 단계;
    수집된 복수의 원시 데이터에 포함된 적어도 하나 이상의 객체에 대해 레이블링을 수행하여 복수의 학습 데이터를 생성하는 학습 데이터 생성 단계; 및,
    생성된 복수의 학습 데이터 중 적어도 어느 하나의 학습 데이터에 포함된 적어도 어느 하나의 객체를 나머지 학습 데이터 중 적어도 어느 하나의 학습 데이터에 삽입하여 적어도 하나 이상의 가상 학습 데이터를 생성하는 가상 학습 데이터 생성 단계;를 포함하는 머신러닝 학습 데이터 증강방법.
  12. 청구항 11에 있어서, 상기 가상 학습 데이터 생성 단계는,
    확률 정보에 기반하여 가상 학습 데이터에 삽입될 객체를 선택하는 객체 선택 단계와,
    적어도 어느 하나의 학습 데이터에서 적어도 어느 하나의 객체를 추출하고, 추출된 객체를 이진화하여 제1 이진 이미지를 생성하고, 생성된 제1 이진 이미지를 임의의 위치에 배치하여 가상 이미지를 생성하는 가상 이미지 생성 단계와,
    상기 가상 이미지 생성 단계에서 생성된 가상 이미지를 학습 데이터에 삽입하여 가상 학습 데이터를 생성하는 가상 학습 데이터 생성 단계을 포함하는 머신러닝 학습 데이터 증강방법.
  13. 청구항 12에 있어서, 상기 객체 선택 단계는,
    상기 학습 데이터 생성 단계에 의해 생성된 복수의 학습 데이터 각각에 포함된 복수의 객체에 대해, 각각의 객체가 학습 데이터에 출현한 빈도를 카운팅하여 상대적으로 출현 빈도가 작은 객체가 가상 학습 데이터에 삽입될 확률이 높도록 객체를 선택하는 것을 특징으로 하는 머신러닝 학습 데이터 증강방법.
  14. 청구항 12에 있어서, 상기 가상 이미지 생성 단계는,
    상기 제1 이진 이미지의 상하좌우에 임의의 크기를 갖는 0 픽셀로 구성된 행렬을 삽입하여 상기 제1 이진 이미지가 원본 학습 데이터의 객체 크기와 같은 크기로 배치되도록 하는 것을 특징으로 하는 머신러닝 학습 데이터 증강방법.
  15. 청구항 12에 있어서, 상기 가상 학습 데이터 생성 단계는,
    상기 복수의 학습 데이터에서 임의의 학습 데이터를 배경 이미지로 사용하고, 상기 배경 이미지에서 객체 부분을 이진화한 제2 이진 이미지를 생성하며, 상기 제2 이진 이미지와 상기 가상 이미지를 중첩하여 누적 이진 이미지를 생성하는 것을 특징으로 하는 머신러닝 학습 데이터 증강방법.
  16. 청구항 15에 있어서, 상기 가상 학습 데이터 생성 단계는,
    상기 누적 이진 이미지에서 객체들 간의 중첩되어 가려진 부분이 존재하는 지를 점검하는 가려짐 점검을 수행하는 것을 특징으로 하는 머신러닝 학습 데이터 증강방법.
  17. 청구항 11에 있어서,
    상기 학습 데이터 생성 단계에서 생성된 학습 데이터와 상기 가상 학습 데이터 생성 단계에서 생성된 가상 학습 데이터 중 적어도 어느 하나를 변형하여 변형 학습 데이터를 생성하는 학습 데이터 변형 단계를 더 포함하는 머신러닝 학습 데이터 증강방법.
  18. 청구항 17에 있어서, 상기 학습 데이터 변형 단계는,
    상기 학습 데이터의 이미지 조도와 상기 가상 학습 데이터의 이미지의 조도 중 적어도 어느 하나를 변환하는 조도 변환 단계를 포함하는 머신러닝 학습 데이터 증강방법.
  19. 청구항 17에 있어서, 상기 학습 데이터 변형 단계는,
    상기 학습 데이터의 이미지 품질과 상기 가상 학습 데이터의 이미지 품질 중 적어도 어느 하나를 변환하는 블러 처리 단계를 포함하는 머신러닝 학습 데이터 증강방법.
  20. 청구항 17에 있어서, 상기 학습 데이터 변형 단계는,
    상기 학습 데이터의 이미지 크기와 상기 가상 학습 데이터의 이미지 크기 중 적어도 어느 하나를 변환하는 크기 변환 단계를 포함하는 머신러닝 학습 데이터 증강방법.
  21. 청구항 11 내지 청구항 20 중 어느 한 항에 있어서,
    상기 원시 데이터는 드론에 의해 촬영된 건설 현장의 이미지인 것을 특징으로 하는 머신러닝 학습 데이터 증강방법.
  22. 하드웨어와 결합되어,
    복수의 원시 데이터를 수집하는 원시 데이터 수집 단계;
    수집된 복수의 원시 데이터에 포함된 적어도 하나 이상의 객체에 대해 레이블링을 수행하여 복수의 학습 데이터를 생성하는 학습 데이터 생성 단계; 및,
    생성된 복수의 학습 데이터 중 적어도 어느 하나의 학습 데이터에 포함된 적어도 어느 하나의 객체를 나머지 학습 데이터 중 적어도 어느 하나의 학습 데이터에 삽입하여 적어도 하나 이상의 가상 학습 데이터를 생성하는 가상 학습 데이터 생성 단계;를 실행시키기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
KR1020190027465A 2019-03-11 2019-03-11 머신러닝 학습 데이터 증강장치 및 증강방법 KR102220174B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190027465A KR102220174B1 (ko) 2019-03-11 2019-03-11 머신러닝 학습 데이터 증강장치 및 증강방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190027465A KR102220174B1 (ko) 2019-03-11 2019-03-11 머신러닝 학습 데이터 증강장치 및 증강방법

Publications (2)

Publication Number Publication Date
KR20200108609A true KR20200108609A (ko) 2020-09-21
KR102220174B1 KR102220174B1 (ko) 2021-02-24

Family

ID=72708102

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190027465A KR102220174B1 (ko) 2019-03-11 2019-03-11 머신러닝 학습 데이터 증강장치 및 증강방법

Country Status (1)

Country Link
KR (1) KR102220174B1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113917938A (zh) * 2021-10-08 2022-01-11 北京京航计算通讯研究所 小样本条件下的飞行器姿态控制数据增强和模型训练方法
KR102384009B1 (ko) * 2020-12-28 2022-04-08 주식회사 마크애니 객체와 배경 합성을 통한 학습 데이터 증강 방법 및 장치
KR102393801B1 (ko) * 2021-12-27 2022-05-03 주식회사 딥노이드 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법
KR102395406B1 (ko) * 2021-09-29 2022-05-10 주식회사 인피닉 기계 학습용 데이터 합성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR20220073242A (ko) * 2020-11-26 2022-06-03 한국전력공사 전력설비의 기계학습을 위한 학습 데이터 구축장치 및 그 방법
KR20220081520A (ko) * 2020-12-09 2022-06-16 청주대학교 산학협력단 객체 인식을 위한 학습 데이터셋 구성 방법 및 장치
KR102419738B1 (ko) * 2021-08-31 2022-07-12 주식회사 별하늘친구 인공지능을 이용하는 얼룩검사 학습을 위한 이미지 데이터를 생성하는 방법
WO2022158718A1 (ko) * 2021-01-22 2022-07-28 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102445556B1 (ko) * 2021-06-10 2022-09-21 주식회사 에이투마인드 가상 데이터를 생성하는 방법 및 장치
KR20220135890A (ko) * 2021-03-31 2022-10-07 한국전자기술연구원 인공지능 객체인식 모델을 위한 가상환경 기반 데이터 수집 방법 및 시스템
KR20230030259A (ko) * 2021-08-25 2023-03-06 금오공과대학교 산학협력단 제품 결함 검출 학습을 위한 딥러닝 기반 데이터 증강 방법
KR102613341B1 (ko) * 2023-06-27 2023-12-14 한국철도기술연구원 딥러닝 기반 훈련데이터 증강을 통해 개선된 화물 인식방법 및 장치
KR20240052467A (ko) 2022-10-14 2024-04-23 주식회사 이엘피케이뉴 딥러닝 비행 테스트용 시뮬레이터와 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템 및 객체 트래킹 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101864286B1 (ko) 2017-11-10 2018-07-04 주식회사 한컴엠디에스 머신 러닝 알고리즘을 이용하는 방법 및 장치
KR101886754B1 (ko) * 2017-05-04 2018-09-10 국방과학연구소 머신 러닝을 위한 학습 이미지 생성 장치 및 방법
JP2019028876A (ja) * 2017-08-02 2019-02-21 株式会社ディジタルメディアプロフェッショナル 機械学習用教師データ生成装置及び生成方法
KR102033136B1 (ko) * 2019-04-03 2019-10-16 주식회사 루닛 준지도 학습 기반의 기계학습 방법 및 그 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101886754B1 (ko) * 2017-05-04 2018-09-10 국방과학연구소 머신 러닝을 위한 학습 이미지 생성 장치 및 방법
JP2019028876A (ja) * 2017-08-02 2019-02-21 株式会社ディジタルメディアプロフェッショナル 機械学習用教師データ生成装置及び生成方法
KR101864286B1 (ko) 2017-11-10 2018-07-04 주식회사 한컴엠디에스 머신 러닝 알고리즘을 이용하는 방법 및 장치
KR102033136B1 (ko) * 2019-04-03 2019-10-16 주식회사 루닛 준지도 학습 기반의 기계학습 방법 및 그 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Global and Local Consistent Age Generative Adversarial Networks", arXiv:1801.08390v1 [cs.CV], 25 Jan 2018. *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220073242A (ko) * 2020-11-26 2022-06-03 한국전력공사 전력설비의 기계학습을 위한 학습 데이터 구축장치 및 그 방법
KR20220081520A (ko) * 2020-12-09 2022-06-16 청주대학교 산학협력단 객체 인식을 위한 학습 데이터셋 구성 방법 및 장치
KR102384009B1 (ko) * 2020-12-28 2022-04-08 주식회사 마크애니 객체와 배경 합성을 통한 학습 데이터 증강 방법 및 장치
WO2022158718A1 (ko) * 2021-01-22 2022-07-28 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20220135890A (ko) * 2021-03-31 2022-10-07 한국전자기술연구원 인공지능 객체인식 모델을 위한 가상환경 기반 데이터 수집 방법 및 시스템
KR102445556B1 (ko) * 2021-06-10 2022-09-21 주식회사 에이투마인드 가상 데이터를 생성하는 방법 및 장치
KR20230030259A (ko) * 2021-08-25 2023-03-06 금오공과대학교 산학협력단 제품 결함 검출 학습을 위한 딥러닝 기반 데이터 증강 방법
KR102419738B1 (ko) * 2021-08-31 2022-07-12 주식회사 별하늘친구 인공지능을 이용하는 얼룩검사 학습을 위한 이미지 데이터를 생성하는 방법
KR102395406B1 (ko) * 2021-09-29 2022-05-10 주식회사 인피닉 기계 학습용 데이터 합성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN113917938A (zh) * 2021-10-08 2022-01-11 北京京航计算通讯研究所 小样本条件下的飞行器姿态控制数据增强和模型训练方法
CN113917938B (zh) * 2021-10-08 2024-04-19 北京京航计算通讯研究所 小样本条件下的飞行器姿态控制数据增强和模型训练方法
KR102393801B1 (ko) * 2021-12-27 2022-05-03 주식회사 딥노이드 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법
KR20240052467A (ko) 2022-10-14 2024-04-23 주식회사 이엘피케이뉴 딥러닝 비행 테스트용 시뮬레이터와 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템 및 객체 트래킹 방법
KR102613341B1 (ko) * 2023-06-27 2023-12-14 한국철도기술연구원 딥러닝 기반 훈련데이터 증강을 통해 개선된 화물 인식방법 및 장치

Also Published As

Publication number Publication date
KR102220174B1 (ko) 2021-02-24

Similar Documents

Publication Publication Date Title
KR102220174B1 (ko) 머신러닝 학습 데이터 증강장치 및 증강방법
CN110008956B (zh) ***关键信息定位方法、装置、计算机设备及存储介质
JP2020508531A (ja) 画像品質の評価方法及び画像品質の評価システム
CN111401293B (zh) 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法
CN111767962B (zh) 基于生成对抗式网络的一阶段目标检测方法、***及装置
KR102030132B1 (ko) 악성 코드 검출 방법 및 시스템
CN103946866A (zh) 与直方图一起使用多层连接分量的文本检测
CN109472193A (zh) 人脸检测方法及装置
KR101996371B1 (ko) 영상 캡션 생성 시스템과 방법 및 이를 위한 컴퓨터 프로그램
CN110349167A (zh) 一种图像实例分割方法及装置
US20240161449A1 (en) Apparatus and methods for converting lineless talbes into lined tables using generative adversarial networks
EP3360077A1 (en) Method and system for classifying objects from a stream of images
WO2020230244A1 (ja) 学習方法、学習プログラム、および、学習装置
CN112668492A (zh) 一种自监督学习与骨骼信息的行为识别方法
CN113505780A (zh) 一种基于二维码的智能检测维保的方法和设备
CN114155556B (zh) 一种基于加入通道混洗模块的堆叠沙漏网络的人体姿态估计方法及***
CN116052193A (zh) Rpa界面动态表格的拾取和匹配方法及***
Mirani et al. Object recognition in different lighting conditions at various angles by deep learning method
CN112508000B (zh) 一种用于ocr图像识别模型训练数据生成的方法及设备
US20210117686A1 (en) Methods and systems for customized image and video analysis
CN115546824B (zh) 禁忌图片识别方法、设备及存储介质
KR102026280B1 (ko) 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템
Castillo et al. Object detection in digital documents based on machine learning algorithms
CN112967166A (zh) 一种基于openCV的图片水印自动识别处理方法及***
CN113657444A (zh) 一种界面元素识别方法及***

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant