KR101879735B1 - 자동적인 학습데이터 생성 방법 및 장치와 이를 이용하는 자가 학습 장치 및 방법 - Google Patents

Abstract

본 발명은 학습데이터 생성 방법 및 장치와 이를 이용하는 자가 학습 장치 및 방법에 관한 것이다. 본 발명에 따른 학습데이터 생성 방법은, 연속성을 갖는 다수의 이미지를 입력받는 과정, 다수의 이미지에서 객체를 탐지 및 추적하는 과정, 다수의 이미지와, 각 이미지에서 탐지 및 추적하여 인식된 객체와 인식률을 저장하는 과정, 및 다수의 이미지에서 특정 객체의 인식률이 기설정된 임계값 이상인 이미지가 있으면, 그 이미지에서 인식된 특정 객체를 최종 인식 객체로 다수의 이미지를 레이블링하여 레이블된 데이터를 생성하는 과정을 포함한다. 본 발명에 따르면, 머신 러닝에 필요한 레이블된 학습데이터를 자동으로 생성할 수 있다.

Description

자동적인 학습데이터 생성 방법 및 장치와 이를 이용하는 자가 학습 장치 및 방법{Method and apparatus for automatic generating training data and self-learning apparatus and method using the same}

본 발명은 머신 러닝 과정에서 필요한 레이블된 학습데이터를 자동적으로 생성할 수 있는 학습데이터 생성 방법 및 장치와 이를 이용하는 자가 학습 장치 및 방법에 관한 것이다.

머신 러닝(machine learning) 또는 기계 학습은 인공 지능의 한 분야로, 컴퓨터에 미리 준비된 학습데이터를 훈련시켜, 훈련된 지식을 기반으로 새로운 입력에 대하여 적절한 답을 찾고자 하는 일련의 과정이라 할 수 있다. 이때, 컴퓨터를 훈련시키는 학습데이터가 질문(training input)과 정답(training output)이 모두 주어진 경우, 레이블링(labeling) 되어 있다고 한다.

한편, 객체 검출(object detection)은 이미지 또는 동영상에서 특정 객체의 위치와 종류를 구별해내는 문제인데, 객체 검출에 머신 러닝을 이용하기 위해서는, 수많은 레이블된 학습데이터가 필요하다.

즉, 머신 러닝을 기반으로 객체 검출을 하는 경우, 특징 추출 및 학습 알고리즘과 함께 중요한 것이 레이블된 학습데이터의 수집에 있으며, 레이블된 학습데이터가 많이 제공되면 될수록, 학습은 더 효과적으로 진행될 수 있다.

이를 위해서, 수천에서 수만 건의 레이블된 학습데이터가 필요하지만, 레이블된 학습데이터는 일반적으로 수동 작업으로 만들어지고 있는 실정이므로, 방대한 양의 레이블된 학습데이터를 구하는 것은 쉽지 않다.

따라서, 객체 검출이나 기타 머신 러닝의 효과적인 학습을 위해서는, 자동적으로 레이블된 학습데이터를 생성하여 이용할 수 있도록 하는 방안이 필요하다.

따라서, 본 발명의 목적은, 머신 러닝을 위한 레이블된 학습데이터를 자동적으로 생성할 수 있는 학습데이터 생성 방법 및 장치와 이를 통해 생성한 레이블된 학습데이터를 이용하여 자가 학습을 할 수 있는 자가 학습 장치 및 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명에 따른 학습데이터 생성 방법은, 연속성을 갖는 다수의 이미지를 입력받는 단계, 상기 다수의 이미지에서 객체를 탐지 및 추적하는 단계, 상기 다수의 이미지와, 각 이미지에서 탐지 및 추적하여 인식된 객체와 인식률을 저장하는 단계, 및 상기 다수의 이미지에서 특정 객체의 인식률이 기설정된 임계값 이상인 이미지가 있으면, 상기 이미지에서 인식된 특정 객체를 최종 인식 객체로 상기 다수의 이미지를 레이블링하여 레이블된 데이터를 생성하는 단계를 포함한다.

또한, 입력 영상에서 연속성 있는 이미지를 검출하여, 상기 다수의 이미지로 제공하는 단계와, 네트워크를 통해 다수의 장치로부터 수집한 영상을 상기 입력 영상으로 제공하는 단계를 더 포함할 수 있다.

상기 목적을 달성하기 위한 본 발명에 따른 자가 학습 방법은, 연속성을 갖는 다수의 이미지를 입력받는 단계, 상기 다수의 이미지에서 객체를 탐지 및 추적하는 단계, 상기 다수의 이미지와, 각 이미지에서 탐지 및 추적하여 인식된 객체와 인식률을 저장하는 단계, 상기 다수의 이미지에서 특정 객체의 인식률이 기설정된 임계값 이상인 이미지가 있으면, 상기 이미지에서 인식된 특정 객체를 최종 인식 객체로 상기 다수의 이미지를 레이블링하여 레이블된 데이터를 생성하여 저장하는 단계, 및 상기 레이블된 데이터를 훈련데이터로 이용하여 기계 학습하는 단계를 포함한다.

또한, 상기 목적을 달성하기 위한 본 발명에 학습데이터 생성 장치는, 연속성을 갖는 다수의 이미지를 입력받는 영상 입력부, 상기 다수의 이미지에서 객체를 탐지 및 추적하여, 각 이미지에서 인식된 객체와 인식률에 대한 정보를 출력하는 객체 탐지부, 상기 다수의 이미지와, 상기 각 이미지에서 인식된 객체와 인식률에 대한 정보를 데이터베이스화하여 저장하는 단기경험 데이터베이스부, 및 상기 단기경험 데이터베이스부를 조회하여, 상기 다수의 이미지에서 특정 객체의 인식률이 기설정된 임계값 이상인 이미지가 있으면, 상기 이미지에서 인식된 특정 객체를 최종 인식 객체로 상기 다수의 이미지를 레이블링하여 레이블된 데이터를 생성하는 학습데이터 생성부를 포함한다.

또한, 상기 목적을 달성하기 위하여 본 발명에서는, 상기 학습데이터 생성 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 프로세서가 읽을 수 있는 기록매체를 제공할 수 있다.

그리고, 본 발명에 따르면, 상기 학습데이터 생성 방법을 이용하여 생성한 레이블된 데이터를 훈련데이터로 이용하여 기계 학습할 수 있는 자가 학습 장치가 제공된다

본 발명에 따르면, 머신 러닝을 위한 레이블된 학습데이터를 자동으로 생성할 수 있다. 이에 의해, 레이블된 학습데이터가 필요한 기계 학습을 효과적으로 진행할 수 있으며, 이를 통해 생성한 레이블된 학습데이터를 이용하여 자가 학습이 가능한 자가 학습 장치도 제공할 수 있다. 또한, 여러 곳에 분산 배치된 다양한 장치로부터 영상 데이터를 입력받아, 대규모로 레이블된 학습데이터를 생성할 수 있다.

도 1은 본 발명의 일실시예에 따른 학습데이터 생성 장치의 구성을 설명하기 위한 블럭도,
도 2는 본 발명의 일실시예에 따른 학습데이터 생성 방법에 대한 설명에 제공되는 흐름도,
도 3은 본 발명의 일실시예에 따른 학습데이터 생성 방법에 대한 설명에 참조되는 도면,
도 4는 본 발명의 다른 실시예에 따른 학습 데이터 생성 장치의 구성을 설명하기 위한 블럭도, 그리고
도 5는 본 발명에 따른 학습데이터 생성 방법을 이용하는 자가 학습 장치의 일 예를 나타낸 도면이다.

본 명세서에서, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 경우, 어떤 구성요소에 다른 구성요소에 직접적으로 연결되어 있거나 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에" 또는 "~에 이웃하는" 등과, 어떤 구성요소가 다른 구성요소로 신호를 "전송한다" 와 같은 표현도 마찬가지로 해석되어야 한다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 학습데이터 생성 장치의 구성을 설명하기 위한 블럭도이다.

도 1을 참조하면, 본 학습데이터 생성 장치(100)는 영상 입력부(110), 객체 탐지부(120), 단기경험 데이터베이스부(150), 및 학습데이터 생성부(160)를 포함할 수 있고, 객체 탐지부(120)는 객체 검출부(130)와 객체 추적부(140)를 포함할 수 있다.

이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.

영상 입력부(110)는 영상 데이터를 입력받으며, 카메라나 기타 영상 데이터를 입력받을 수 있는 장치 등이 포함될 수 있다. 영상 입력부(110)는 이미지 센서 등에 의해 얻어지는 정지영상이나 동영상 등의 화상 프레임을 처리할 수 있으며, 동일한 객체를 포함하는 시간적으로 연속성 있는 이미지를 출력할 수 있다.

객체 탐지부(120)는 객체 검출부(130)와 객체 추척부(140)를 포함할 수 있으며, 영상 입력부(110)에서 출력되는 이미지에서 특징점 등을 추출하여, 특정 객체가 존재하는지 여부, 객체의 존재시 그 위치와 종류, 연속되는 이미지에서 객체의 위치 추적 등을 할 수 있다. 이에 의해, 객체 탐지부(120)는 각 이미지에서 인식된 객체와 인식된 객체의 인식률에 대한 정보를 출력할 수 있다. 이미지에서 객체를 인식하는 방법과, 인식된 객체에 대한 인식률 정보를 산출하는 방법에는 기존에 알려진 다양한 방식과 알고리즘이 사용될 수 있다.

단기경험 데이터베이스부(150)에는 영상 입력부(110)에서 출력되는 이미지와, 객체 탐지부(120)에서 출력되는 각 이미지에서 인식된 객체와 인식률에 대한 정보가 데이터베이스화하여 저장된다.

학습데이터 생성부(160)는 단기경험 데이터베이스부(150)를 조회하여, 최근 저장된 다수의 이미지에서 특정 객체의 인식률이 미리 설정되어 있는 임계값 이상인 이미지가 있으면, 그 이미지에서 인식된 특정 객체를 최종 인식 객체로 최근 저장된 다수의 이미지를 레이블링하여 레이블된 데이터를 생성한다.

이와 같은 구성에 의해, 영상 입력부(110)를 통해 입력받은 이미지로부터 레이블된 학습데이터를 자동적으로 생성할 수 있다.

도 2는 본 발명의 일실시예에 따른 학습데이터 생성 방법에 대한 설명에 제공되는 흐름도이다.

도 2를 참조하면, 영상 입력부(110)를 통해 다수의 이미지가 입력되면(S200), 객체 탐지부(120)에서 객체 검출 및 추적 과정을 실행한다(S210).

객체 탐지부(120)에서 검출 및 추적하여 각 이미지에서 인식된 객체와 인식된 객체에 대한 인식률은 단기경험 데이터베이스부(150)에 다수의 이미지와 함께 데이터베이스화되어 저장된다(S220).

학습데이터 생성부(160)는 단기경험 데이터베이스부(150)를 조회하여, 다수의 이미지에서 특정 객체의 인식률이 미리 설정된 임계값 이상인 이미지가 있는 경우, 그 이미지에서 인식된 특정 객체를 최종 인식 객체로 최근 저장된 연속성 있는 이미지를 레이블링하여 레이블된 데이터를 생성한다(S240).

이와 같은 과정에 의해, 다수의 이미지에 대하여 자동적으로 레이블된 학습데이터를 생성할 수 있다.

도 3은 본 발명에 따른 학습데이터 생성 방법에 대한 설명에 참조되는 도면이다.

도 3을 참조하면, 도면부호 300으로 표기한 부분이, 동일한 객체를 포함하여 시간적으로 연속적인 제1 이미지(301), 제2 이미지(303), 및 제3 이미지(305)에 대하여, 단기경험 데이터베이스부(150)에, 제1 이미지(301)와, 제1 이미지(301)에서 인식된 객체와 그 인식률(302), 제2 이미지(303)와, 제2 이미지(303)에서 인식된 객체와 그 인식률(304), 제3 이미지(305)와, 제3 이미지(305)에서 인식된 객체와 그 인식률(306)이 저장된 상태를 나타낸다.

이와 같은 검출 결과, 제1 이미지(301)와 제2 이미지(303)에서는 두 개의 인식 개체 중 어느 객체로 인식되어야 하는지 명확하게 알 수 없는 상태이다. 그러나, 제3 이미지(305)에서 어느 한 객체의 인식률이 99%인 경우로, 미리 설정된 임계값을 넘는다고 가정할 경우, 도면부호 320으로 표기한 부분은, 학습데이터 생성부(160)에서 제3 이미지(305)에서 인식률이 임계값을 넘는 객체를 최종 인식 객체로 제1 이미지(301), 제2 이미지(303), 및 제3 이미지(305)를 레이블링하여, 레이블된 학습데이터를 생성한 상태를 나타낸다.

이와 같이 동일한 객체를 포함하며 시간적으로 연속적인 이미지 중에서 어느 한 이미지에서 객체가 임계값 이상으로 인식되면, 나머지 이미지에 대해서도 인식된 객체로 레이블링하여 학습데이터를 생성할 수 있다. 따라서, 이미지는 명확하지만 기존에 학습되지 않아서 인식되지 않았던 이미지에 대해서도 다른 각도에서 촬영한 이미지 등을 기반으로 학습데이터를 생성할 수 있다.

도 4는 다른 실시예에 따른 학습데이터 생성 장치에 대한 블럭도이다.

도 4를 참조하면, 본 실시예에서, 영상 입력부(410), 객체 검출부(430)와 객체 추적부(440)를 포함하는 객체 탐지부(420), 단기경험 데이터베이스부(450), 및 학습데이터 생성부(460)의 구성 및 기능은 기본적으로 전술한 실시예에서 설명한 바와 동일하다.

다만, 본 실시예에서는, 연속성 검출부(470)를 더 포함하여, 장면 전환 검출 등에 의해 입력되는 영상에서 동일 객체가 존재하는 시간적으로 연속성이 있는 부분을 검출할 수 있도록 한다. 이와 같은 구성에 의해, 입력 영상으로부터 동일 객체가 존재하는 시간적으로 연속하는 이미지를 제공할 수 있으므로, TV 동영상이나 기타 다양한 입력 소소로부터 이미지를 입력받아서 레이블된 학습데이터를 생성할 수 있다.

또한, 네트워크를 통해 다수의 차량이나 CCTV 등 여러 곳에 분산되어 있는 다수의 장치로부터 영상 데이터를 전달할 수 있는 영상 제공 장치를 설치하여, 대규모로 레이블된 학습데이터를 생성할 수도 있다.

도 5는 본 발명에 따른 학습데이터 생성 방법을 이용하는 자가 학습 장치의 일 예를 나타낸 것이다.

도 5를 참조하면, 본 실시예에 따른 자가 학습 장치(500)에서, 영상 입력부(510), 객체 검출부(530)와 객체 추적부(540)를 포함하는 객체 탐지부(520), 단기경험 데이터베이스부(550), 학습데이터 생성부(560), 및 연속성 검출부(570)의 구성 및 기능은 기본적으로 전술한 실시예에서 설명한 바와 동일하다.

다만, 본 실시예에서는 물체 검출 장치(580)가 학습데이터 생성부(560)에서 생성한 레이블된 학습데이터를 훈련데이터로 이용하여 스스로 자가 학습할 수 있도록 구성된다.

또한, 물체 검출 장치(580)에서 레이블된 학습데이터를 이용하여 기계 학습된 객체 인식 알고리즘 등에 따라, 객체 탐색부(520)에서 사용되는 객체 인식 알고리즘 등을 업데이트하여 성능을 지속적으로 향상시킬 수 있다.

이와 같이 자동적으로 생성한 레이블된 학습데이터를 이용하여 다양한 기계 학습에 응용할 수 있다.

한편, 본 발명에 따른 학습데이터 생성 방법 및 장치와 이를 이용한 자가 학습 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성에 한정되게 적용될 수 있는 것이 아니라, 상기한 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

그리고, 본 발명의 내용은 하드웨어나 소프트웨어 사용에만 국한되지는 않으며, 다른 어떤 컴퓨팅 또는 처리 환경에 대해서도 적용 가능하다. 본 발명에서 설명하는 하드웨어, 소프트웨어 또는 하드웨어소프트웨어의 조합으로 구현될 수 있다. 본 발명은 회로를 사용하여 구현될 수 있다. 즉, 한 개 이상의 프로그램 가능한 논리회로, 즉 ASIC(application specific integrated circuit) 또는 논리회로(AND, OR NAND gates) 또는 프로세싱 장치(예를 들면 마이크로 프로세서, 컨트롤러)로 구현가능하다.

또한, 본 발명은 프로그램 가능한 컴퓨터상에서 컴퓨터 프로그램으로 구현 가능하다. 이러한 컴퓨터는 프로세서, 저장장치, 입력장치, 출력 장치를 포함할 수 있다. 본 발명에서 설명한 내용을 구현하기 위해 프로그램 코드는 마우스 또는 키보드 입력장치로 입력될 수 있다. 이러한 프로그램들은 고차원적인 언어나, 객체지향적인 언어로 구현될 수 있다. 또한 어셈블리나 기계어 코드로 구현된 컴퓨터 시스템으로도 구현될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

110 : 영상 입력부 120 : 객체 탐지부
130 : 객체 검출부 140 : 객체 추적부
150 : 단기경험 데이터베이스부 160 : 학습데이터 생성부

Claims (15)

1. 네트워크를 통해 다수의 장치로부터 수집한 영상 데이터를 입력받는 단계;
   상기 영상 데이터에서 동일 객체가 존재하는 시간적으로 연속성이 있는 다수의 이미지를 검출하는 단계;
   상기 다수의 이미지에서 객체를 탐지 및 추적하는 단계;
   상기 다수의 이미지의 각 이미지에서 탐지 및 추적하여 인식된 객체와 인식률에 대한 정보를 데이터베이스화하여 단기경험 데이터베이스부에 저장하는 단계; 및
   상기 단기경험 데이터베이스부를 조회하여, 상기 다수의 이미지에서 특정 객체의 인식률이 기설정된 임계값 이상인 이미지가 있으면, 상기 인식률이 기설정된 임계값 이상인 이미지에서 인식된 특정 객체를 최종 인식 객체로 상기 다수의 이미지를 레이블링하여, 머신 러닝을 위한 레이블된 학습 데이터를 생성하는 단계를 포함하는 학습데이터 생성 방법.
2. 삭제
3. 삭제
4. 삭제
5. 제1항에 있어서,
   상기 레이블된 학습 데이터를 이용하여 기계 학습된 장치로부터 피드백된 알고리즘에 따라, 상기 다수의 이미지에서 객체를 탐지 및 추적하는 알고리즘을 업데이트 하는 단계를 더 포함하는 학습데이터 생성 방법.
6. 삭제
7. 삭제
8. 네트워크를 통해 다수의 장치로부터 수집한 영상 데이터를 입력받는 영상 입력부;
   상기 영상 데이터에서 동일 객체가 존재하는 시간적으로 연속성이 있는 다수의 이미지를 검출하는 연속성 검출부;
   상기 다수의 이미지에서 객체를 탐지 및 추적하여, 각 이미지에서 인식된 객체와 인식률에 대한 정보를 출력하는 객체 탐지부;
   상기 다수의 이미지의 상기 각 이미지에서 인식된 객체와 인식률에 대한 정보를 데이터베이스화하여 저장하는 단기경험 데이터베이스부; 및
   상기 단기경험 데이터베이스부를 조회하여, 상기 다수의 이미지에서 특정 객체의 인식률이 기설정된 임계값 이상인 이미지가 있으면, 상기 인식률이 기설정된 임계값 이상인 이미지에서 인식된 특정 객체를 최종 인식 객체로 상기 다수의 이미지를 레이블링하여, 머신 러닝을 위한 레이블된 학습 데이터를 생성하는 학습데이터 생성부를 포함하는 학습데이터 생성 장치.
9. 삭제
10. 삭제
11. 제8항에 있어서,
    상기 레이블된 학습 데이터를 이용하여 기계 학습되는 물체 검출 장치를 더 포함하는 학습데이터 생성 장치.
12. 제11항에 있어서,
    상기 객체 탐지부는, 상기 물체 검출 장치에서 학습된 객체 인식 알고리즘에 따라, 인식 알고리즘을 업데이트 하는 것을 특징으로 하는 학습데이터 생성 장치.
13. 제1항 또는 제5항의 학습데이터 생성 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 프로세서가 읽을 수 있는 기록매체.
14. 삭제
15. 제1항 또는 제5항의 학습데이터 생성 방법을 이용하여 생성한 레이블된 학습 데이터를 이용하여 기계 학습하는 자가 학습 장치.
    
    

Images