KR102537695B1 - 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법 및 이를 이용한 자동 데이터 라벨링 시스템 - Google Patents

딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법 및 이를 이용한 자동 데이터 라벨링 시스템 Download PDF

Info

Publication number
KR102537695B1
KR102537695B1 KR1020200181170A KR20200181170A KR102537695B1 KR 102537695 B1 KR102537695 B1 KR 102537695B1 KR 1020200181170 A KR1020200181170 A KR 1020200181170A KR 20200181170 A KR20200181170 A KR 20200181170A KR 102537695 B1 KR102537695 B1 KR 102537695B1
Authority
KR
South Korea
Prior art keywords
labeling
data
neural network
artificial neural
information
Prior art date
Application number
KR1020200181170A
Other languages
English (en)
Other versions
KR20220090203A (ko
Inventor
김영준
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020200181170A priority Critical patent/KR102537695B1/ko
Publication of KR20220090203A publication Critical patent/KR20220090203A/ko
Application granted granted Critical
Publication of KR102537695B1 publication Critical patent/KR102537695B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법은 스마트 단말기가 카메라가 전송하는 영상 이미지를 수집하는 단계와, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 검출 인공 신경망에 수집된 영상 DB를 전달하여 객체를 검출하는 단계와, 객체 검출에 성공하는 경우, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표출하는 단계와, 상기 단계에서 객체 미검출이 발생하는 경우, 객체 추적 인공 신경망이 이전에 입력 받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하여 객체 정보를 표출하는 단계와, 자동 데이터 라벨링 툴이 상기 단계에서 표출된 객체 정보를 자동으로 라벨링하는 단계와, 라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터를 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하는 단계와, 라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하는 단계와, 라벨러가 상기 정제된 데이터인 라벨링 완료 DB를 스마트 단말기에 탑재된 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 단계와, 자동 데이터 라벨링 툴이 업데이트된 객체 검출 인공 신경망에 상기 정제에 실패한 데이터인 수집된 영상 DB를 전달하여 객체를 검출하는 단계와, 객체 검출에 성공한 경우, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재죈 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표출하는 단계와, 상기 단계에서 객체 미검출이 발생한 경우, 객체 추적 인공 신경망이 이전에 입력받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하여 객체 정보를 표출하는 단계와, 자동 데이터 라벨링 툴이 상기 단계에서 표출된 객체정보를 자동으로 라벨링하는 단계와, 라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터를 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하는 단계와, 라벨러가 비정상적인 수집된 영상 DB에 그대로 두고, 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하는 단계와, 스마트 단말기가 상기 정제된 데이터인 라벨링 완료 DB를 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 단계를 포함하여 이루어지는 것을 특징으로 하는 것이다.

Description

딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법 및 이를 이용한 자동 데이터 라벨링 시스템{Automatic Data Labeling Method based on Deep learning Object Detection amd Trace and System thereof}
본 발명은 데이터의 자동 라벨링에 관한 것이다. 일반적으로 딥 러닝의 인공 신경망의 객체 검출율을 높이기 위하여는 정량화된 대량의 빅 데이터가 필요하며 정량화된 데이터를 얻기 위하여는 데이터 라벨링이 필요하며 이를 수동 또는 자동으로 하여야 하는 것이다. 따라서 본 발명은 효과적인 데이터 자동 라벨링 구축 방식을 제안하고자 하는 것이다.
본 발명과 관련된 종래 기술은 대한민국 등록특허 제10-2030027호(2019. 10. 08. 공고)에 게시되어 있는 것이다. 도 1은 상기 종래의 라벨링 데이터의 정제방법 흐름도이다. 상기도 1에서 종래의 라벨링 데이터의 정제방법은 단계 S110에서, 컴퓨터는 제1 이미지에 대한 영상정보 및 자동 라벨링 정보를 획득한다. 일 실시 예에서, 제1 이미지는 하나 이상의 라벨링 대상 객체를 포함하는 이미지를 의미할 수 있으며, 자동 라벨링 정보는 상술한 바와 같이 인공지능 모델을 이용하여 객체가 속한 영역정보 및 영역에 속한 객체에 대한 라벨링이 자동으로 수행된 정보를 포함할 수 있다. 또한, 일 실시 예에서, 컴퓨터는 획득한 영상정보의 해상도를 높이기 위해 머신러닝을 통해 손상된 픽셀정보를 회복할 수 있다. 또한, 상기 자동 라벨링 정보를 획득하는 과정에서, 하나 이상의 라벨링 정보를 획득할 수 있으며, 같은 범주의 상위 또는 하위 라벨링 정보를 획득할 수 있다. 예를 들어, 컴퓨터는 영상정보에서 '칼'이라는 라벨링 정보를 획득한 경우 '흉기'라는 상위 범주의 라벨링 정보를 함께 획득할 수 있다. 이러한 라벨링 정보들은 데이터베이스에 미리 저장될 수 있으며, 데이터베이스에는 기 라벨링된 객체들의 명칭, 유사명칭, 대표명칭, 속성, 상위 및 하위관계, 카테고리, 상호 연관성 등에 대한 다양한 정보들이 저장될 수 있다. 또한, 단계 S120에서, 컴퓨터는 제1 이미지 및 제1 자동 라벨링 정보를 표시한다. 일 실시 예에서, 컴퓨터는 제1 자동 라벨링 정보를 병렬적 또는 선택적으로 표시할 수 있다. 이 라벨링 정보는 제1 이미지 상에 오버레이로 표시될 수 있으며, 사용자의 선택에 따라 제1 이미지와 분리되어 표시될 수 있다. 또한, 단계 S130에서, 컴퓨터는 제1 이미지의 수동 라벨링 정보를 획득한다. 또한, 단계 S140에서, 컴퓨터는 상기 획득한 제1 이미지에 대한 자동 라벨링 정보 및 수동 라벨링 정보에 기초하여 제1라벨링 정보를 결정한다. 일 실시 예에서, 컴퓨터는 획득한 자동 라벨링 정보와 함께 라벨링 정보의 채택빈도를 함께 제공할 수 있으며, 이러한 채택빈도는 데이터베이스에 기록된 라벨링 정보 중 제1 이미지에 대한 영상처리에 기반하여 최종적으로 선택된 라벨링 정보의 빈도를 의미할 수 있는 것이다.
도 2는 종래 영상 이미지에 대한 라벨링 방법 흐름도이다. 상기도 2에서 종래 영상 이미지에 대한 라벨링 방법은 수집된 영상 이미지를 수동 데이터 라벨링 툴을 이용하여 모든 프레임에 대해 라벨링된 데이터를 생성하기에는 인간의 막대한 작업량을 필요로 하는 것임을 나타내고 있는 것이다. 이러한 막대한 작업량을 줄이고자 자동 데이터 라벨링 구축 방식을 적용하여 라벨링된 데이터를 효과적으로 생성할 필요가 있는 것이다. 기본적인 자동 데이터 라벨링 구축 방식은 현재까지 구축한 라벨링된 데이터로 딥러닝 객체 검출 인공 신경망을 학습한 후, 해당 인공신경망으로 객체 검출 결과를 출력하여 자동으로 데이터를 생성하는 것이다. 하지만 검출율 개선을 위한 데이터 라벨링의 주된 목적은 현재 검출하지 못하는 객체에 대한 라벨링이 필요한 것인데, 라벨링 결과물은 현재 검출된 객체의 라벨링이므로 검출율 개선에 직접적인 개선이 어렵다. 따라서 객체 검출 인공신경망이 출력한 라벨링 결과물에 대해 인간이 해당 데이터를 정제해주어야 하는 단계가 필요하며 이 단계는 오검출된 객체를 수정 또는 삭제하거나 미검출된 객체를 라벨링하는 수동적인 방식이 포함되고 이러한 수동적인 방식은 검출 엔진 성능에 의한 오검출 결과로 인해 경우에 따라 전체 수동 라벨링을 하는 경우보다 오히려 작업량이 많아질 수도 있는 것이다.
상기와 같이 구성된 종래의 라벨링 데이터의 정제방법은 자동 레벨링 정보와 수동 라벨링 정보를 획득하고 라벨링 정보의 빈도 등을 고려하여 라벨링 정보를 최종 결정하는 것이나, 라벨링 시에 미검출 객체에 대한 라벨링을 하는 방법을 제시하지 못하는 문제점이 있는 것이다. 따라서 본 발명의 목적은 데이터를 정제하는 과정 중 오 검출된 객체를 수정하거나 삭제하는 과정과 더불어 미 검출된 객체에 대하여 라벨링하는 방법를 제시하여 라벨링 과정에 필요한 시간을 줄이고자 하는 것이다. 또한 본 발명의 다른 목적은 딥러닝 객체 추적을 접목시켜 향상된 객체 검출로 인간이 정제해주는 과정을 개선함으로써 데이터 라벨링 속도를 향상 시킬 수 있도록 하기 위한 것이다.
상기와 같은 목적을 가진 본 발명 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법은 스마트 단말기가 카메라가 전송하는 영상 이미지를 수집하는 단계와, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 검출 인공 신경망에 수집된 영상 DB를 전달하여 객체를 검출하는 단계와, 객체 검출에 성공하는 경우, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표출하는 단계와, 상기 단계에서 객체 미검출이 발생하는 경우, 객체 추적 인공 신경망이 이전에 입력 받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하여 객체 정보를 표출하는 단계와, 자동 데이터 라벨링 툴이 상기 단계에서 표출된 객체 정보를 자동으로 라벨링하는 단계와, 라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터를 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하는 단계와, 라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하는 단계와, 라벨러가 상기 정제된 데이터인 라벨링 완료 DB를 스마트 단말기에 탑재된 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 단계와, 자동 데이터 라벨링 툴이 업데이트된 객체 검출 인공 신경망에 상기 정제에 실패한 데이터인 수집된 영상 DB를 전달하여 객체를 검출하는 단계와, 객체 검출에 성공한 경우, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표출하는 단계와, 상기 단계에서 객체 미검출이 발생한 경우, 객체 추적 인공 신경망이 이전에 입력받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하여 객체 정보를 표출하는 단계와, 자동 데이터 라벨링 툴이 상기 단계에서 표출된 객체정보를 자동으로 라벨링하는 단계와, 라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터를 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하는 단계와, 라벨러가 비정상적인 수집된 영상 DB에 그대로 두고, 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하는 단계와, 스마트 단말기가 상기 정제된 데이터인 라벨링 완료 DB를 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 단계를 포함하여 이루어지는 것을 특징으로 하는 것이다.
상기와 같이 구성된 본 발명 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법 및 이를 이용한 자동 데이터 라벨링 시스템은 미 검출된 이미지를 라벨링하는 과정에 필요한 라벨링 시간을 줄일 수 있는 효과가 있는 것이다. 본 발명은 또한 단순히 딥 러닝 객체 검출 인공 신경망으로 데이터를 생성하는 방식에서 딥러닝 객체 추적을 접목시켜 향상된 객체 검출로 인간이 정제해주는 과정을 개선할 수 있는 효과가 있는 것이다. 또한, 본 발명은 정량화된 데이터를 신속하게 생성하고 해당 데이터로 재학습하여 딥러닝 객체 검출 인공신경망의 성능을 향상시키는 과정을 반복함으로써 라벨링 속도를 개선할 수 있는 효과가 있는 것이다.
도 1은 종래의 라벨링 데이터의 정제방법 흐름도,
도 2는 종래 영상 이미지에 대한 라벨링 방법 흐름도,
도 3은 본 발명 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법 흐름도,
도 4는 종래도 2에 의한 미검출 객체 방식과 본 발명에 의한 미 검출 객체 발생에 대한 대비 도면,
도 5는 본 발명에 적용된 딥 러닝 객체 추적을 접목시켜 향상된 객체 검출로 장량화된 데이터를 생성하고 해당 데이터로 재학습하는 경우의 라벨링 속도 효과 대비표,
도 6은 본 발명 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 시스템 구성도,
도 7은 본 발명에 적용되는 데이터 정제 툴 작업 결과 화면이다.
상기와 같은 목적을 가진 본 발명 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법 및 이를 이용한 자동 데이터 라벨링 시스템을 도 3 내지 도 7을 기초로 하여 설명하면 다음과 같다.
도 3은 본 발명 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법 흐름도이다. 상기도 3에서 본 발명 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법은 스마트 단말기가 카메라가 전송하는 영상 이미지를 수집하는 단계(S11)와, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 검출 인공 신경망에 수집된 영상 DB를 전달하여 객체를 검출하는 단계(S12)와, 객체 검출에 성공하는 경우, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표출하는 단계(S13)와, 상기 S12 단계에서 객체 미검출이 발생하는 경우, 객체 추적 인공 신경망이 이전에 입력 받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하여 객체 정보를 표출하는 단계(S14)와, 자동 데이터 라벨링 툴이 S13 단계 및 S14 단계에서 표출된 객체 정보를 자동으로 라벨링하는 단계(S15)와, 라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터를 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하는 단계(S16)와, 라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하는 단계(S17)와, 라벨러가 상기 정제된 데이터인 라벨링 완료 DB를 스마트 단말기에 탑재된 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 단계(S18)와, 자동 데이터 라벨링 툴이 업데이트된 객체 검출 인공 신경망에 상기 정제에 실패한 데이터인 수집된 영상 DB를 전달하여 객체를 검출하는 단계(S19)와, 객체 검출에 성공한 경우, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표출하는 단계(S20)와, 상기 S19 단계에서 객체 미검출이 발생한 경우, 객체 추적 인공 신경망이 이전에 입력받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하여 객체 정보를 표출하는 단계(S21)와, 자동 데이터 라벨링 툴이 S20, S21 단계에서 표출된 객체정보를 자동으로 라벨링하는 단계(S22)와, 라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터를 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하는 단계(S23)와, 라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고, 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하는 단계(S24)와, 스마트 단말기가 상기 정제된 데이터인 라벨링 완료 DB를 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 단계(S25)를 포함하여 이루어지는 것을 특징으로 하는 것이다.
도 4는 종래도 2에 의한 미검출 객체 발생과 본 발명에 의한 미 검출 객체 발생에 대한 대비 도면이다. 상기도 4에서 기존 방식에서는 사람 이동 객체인 영상 이미지 100 Frames 당 약 7.5 Frames의 미검출 객체가 발생하였고, 딥 러닝 객체 추적 방식을 적용한 본 발명에서는 사람 이동 객체인 영상 이미지 100 Frames 당 약 3 Frames의 미검출 객체가 발생하였음을 보여주고 있는 것이다.
도 5는 본 발명에 적용된 딥 러닝 객체 추적을 접목시켜 향상된 객체 검출로 장량화된 데이터를 생성하고 해당 데이터로 재학습하는 경우의 라벨링 속도 효과 대비표이다. 상기도 5는 본 발명을 적용하여 정량화된 데이터를 신속히 생성하고 해당 데이터로 재학습하여 딥 러닝 객체 검출 인공신경망의 성능을 향상시키는 과정을 반복함으로써 수동 데이터 라벨링 속도보다 약 8배 빠른 뛰어난 효과가 있을을 나타내고 있는 것이다.
도 6은 본 발명 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 시스템 구성도이다. 상기도 6에서 본 발명 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 시스템은 촬영된 영상 이미지 정보를 스마트 단말기로 전송하는 카메라(10)와, 카메라로부터 수신된 영상 이미지 정보를 수집하고 저장하는 것으로 자동 데이터 라벨링 툴이 탑재된 객체 검출 인공 신경망에 수집된 영상 DB를 전달하여 객체를 검출하며, 객체 검출에 성공하면 자동 데이터 라벨링 툴이 탑재된 객체 추적 인경 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표시부로 표출하며, 객체 미검출인 경우에는 객체 추적 인공 신경망이 이전에 입력받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하고 추정된 객체 정보를 표시부에 표출하며, 자동 데이터 라벨링 툴이 상기 표시부에 표출된 객체 정보를 자동으로 라벨링하며, 라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터가 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하며 라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고, 정상적인(정제된) 라벨링 데이터는 라벨링 완료 DB에 저장하며, 라벨러가 상기 정제된 데이터인 레벨링 완료 DB를 탑재된 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하며, 자동 데이터 라벨링 툴이 업데이트된 객체 검출 인경 신경망에 상기 정제에 실패한 데이터인 수집된 영상 DB를 전달하여 객체를 검출하고, 객체 검출에 성공하면 자동 데이터 라벨링 툴이 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 표시부를 통하여 표출하며 객체 미검출일 발생한 경우에는 객체 추적 인공신경망이 이전에 입력받아온 연속된 객체의 검출정보를 바탕으로 미검출 부분을 추정하고 추정된 객체 정보를 표시부에 표출하며, 자동 데이터 라벨링 툴이 표시부에 표출된 객체정보를 자동으로 라벨링하며 라렐러가 자동 데이터 라벨링 툴이 라벨링한 데이터가 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하고 라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고, 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하며 정제된 데이터인 라벨링 완료 DB를 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 스마트 단말기(20)로 구성된 것을 특징으로 하는 것이다. 상기에서 스마트 단말기는 스마트 휴대폰일 수 있으며, PC이거나, PDA 등 라벨러가 라벨링을 위하여 사용할 수 있는 단말기들이다. 또한, 상기에서 자동 데이터 라벨링 툴은 상기 스마트 단말기에 탑재되어 사용될 수 있는 것이다.
도 7은 본 발명에 적용되는 데이터 정제 툴 작업 결과 화면이다. 상기도 7에서 본 발명은 오검출 객체 수정, 오검출 객체 삭제 및 미검출 객체 라벨링한 후 정제한 결과 영상 이미지를 나타내고 있는 것이다.
10 : 카메라, 20 : 스마트 단말기

Claims (8)

  1. 라벨링 시간을 줄이고자하는 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법에 있어서,
    상기 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법은,
    스마트 단말기가 카메라가 전송하는 영상 이미지를 수집하는 단계(S11)와;
    자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 검출 인공 신경망에 수집된 영상 DB를 전달하여 객체를 검출하는 단계(S12)와;
    객체 검출에 성공하는 경우, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표출하는 단계(S13)와;
    상기 S12 단계에서 객체 미검출이 발생하는 경우, 객체 추적 인공 신경망이 이전에 입력 받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하여 객체 정보를 표출하는 단계(S14)와;
    자동 데이터 라벨링 툴이 S13 단계 및 S14 단계에서 표출된 객체 정보를 자동으로 라벨링하는 단계(S15)와;
    라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터를 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하는 단계(S16)와;
    라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하는 단계(S17)와;
    라벨러가 정제된 데이터인 라벨링 완료 DB를 스마트 단말기에 탑재된 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 단계(S18)와;
    자동 데이터 라벨링 툴이 업데이트된 객체 검출 인공 신경망에 상기 정제에 실패한 데이터인 수집된 영상 DB를 전달하여 객체를 검출하는 단계(S19)와;
    객체 검출에 성공한 경우, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표출하는 단계(S20)와;
    상기 S19 단계에서 객체 미검출이 발생한 경우, 객체 추적 인공 신경망이 이전에 입력받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하여 객체 정보를 표출하는 단계(S21)와;
    자동 데이터 라벨링 툴이 S20, S21 단계에서 표출된 객체정보를 자동으로 라벨링하는 단계(S22)와;
    라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터를 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하는 단계(S23);
    및 라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고, 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하는 단계(S24)를 포함하여 이루어지는 것을 특징으로 하는 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법.
  2. 제1항에 있어서,
    상기 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법은,
    스마트 단말기가 상기 정제된 데이터인 라벨링 완료 DB를 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 단계(S25)를 더 포함하여 이루어지는 것을 특징으로 하는 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법.
  3. 제2항에 있어서,
    상기 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법은,
    상기 S19 단계 내지 S25 단계를 반복하여 이행하는 것을 특징으로 하는 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법.
  4. 삭제
  5. 삭제
  6. 라벨링 시간을 줄이고자하는 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 및 정제시스템에 있어서,
    상기 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 및 정제 시스템은,
    촬영된 영상 이미지 정보를 스마트 단말기로 전송하는 카메라(10);
    및 카메라로부터 수신된 영상 이미지 정보를 수집하고 저장하는 것으로 자동 데이터 라벨링 툴이 탑재된 객체 검출 인공 신경망에 수집된 영상 DB를 전달하여 객체를 검출하며, 객체 검출에 성공하면 자동 데이터 라벨링 툴이 탑재된 객체 추적 인경 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표시부로 표출하며, 객체 미검출인 경우에는 객체 추적 인공 신경망이 이전에 입력받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하고 추정된 객체 정보를 표시부에 표출하며, 자동 데이터 라벨링 툴이 상기 표시부에 표출된 객체 정보를 자동으로 라벨링하며, 라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터가 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하며 라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고, 정상적인(정제된) 라벨링 데이터는 라벨링 완료 DB에 저장하며, 라벨러가 상기 정제된 데이터인 레벨링 완료 DB를 탑재된 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하며, 자동 데이터 라벨링 툴이 업데이트된 객체 검출 인경 신경망에 상기 정제에 실패한 데이터인 수집된 영상 DB를 전달하여 객체를 검출하고, 객체 검출에 성공하면 자동 데이터 라벨링 툴이 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 표시부를 통하여 표출하며 객체 미검출일 발생한 경우에는 객체 추적 인공신경망이 이전에 입력받아온 연속된 객체의 검출정보를 바탕으로 미검출 부분을 추정하고 추정된 객체 정보를 표시부에 표출하며, 자동 데이터 라벨링 툴이 표시부에 표출된 객체정보를 자동으로 라벨링하며 라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터가 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하고 라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고, 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하며 정제된 데이터인 라벨링 완료 DB를 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 것을 포함하는 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 및 정제 시스템.
  7. 삭제
  8. 제6항에 있어서,
    상기 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 및 정제시스템은,
    자동 데이터 라벨링 툴이 업데이트된 객체 검출 인경 신경망에 상기 정제에 실패한 데이터인 수집된 영상 DB를 전달하여 객체를 검출하고, 객체 검출에 성공하면 자동 데이터 라벨링 툴이 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 표시부를 통하여 표출하며 객체 미검출일 발생한 경우에는 객체 추적 인공신경망이 이전에 입력받아온 연속된 객체의 검출정보를 바탕으로 미검출 부분을 추정하고 추정된 객체 정보를 표시부에 표출하며, 자동 데이터 라벨링 툴이 표시부에 표출된 객체정보를 자동으로 라벨링하며 라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터가 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하고 라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고, 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하며 정제된 데이터인 라벨링 완료 DB를 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 것을 반복 이행하는 것을 특징으로 하는 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 및 정제시스템.





KR1020200181170A 2020-12-22 2020-12-22 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법 및 이를 이용한 자동 데이터 라벨링 시스템 KR102537695B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200181170A KR102537695B1 (ko) 2020-12-22 2020-12-22 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법 및 이를 이용한 자동 데이터 라벨링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200181170A KR102537695B1 (ko) 2020-12-22 2020-12-22 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법 및 이를 이용한 자동 데이터 라벨링 시스템

Publications (2)

Publication Number Publication Date
KR20220090203A KR20220090203A (ko) 2022-06-29
KR102537695B1 true KR102537695B1 (ko) 2023-05-26

Family

ID=82270071

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200181170A KR102537695B1 (ko) 2020-12-22 2020-12-22 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법 및 이를 이용한 자동 데이터 라벨링 시스템

Country Status (1)

Country Link
KR (1) KR102537695B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102515259B1 (ko) * 2022-09-20 2023-03-30 주식회사 랑데뷰 Ai 물체 인식 학습용 라벨링 데이터 자동 수집 장치
CN116246332B (zh) * 2023-05-11 2023-07-28 广东工业大学 一种基于眼球追踪的数据标注质量检测方法、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101879735B1 (ko) 2017-03-15 2018-07-18 (주)넥셀 자동적인 학습데이터 생성 방법 및 장치와 이를 이용하는 자가 학습 장치 및 방법
KR102002024B1 (ko) 2018-12-06 2019-07-22 주식회사 아임클라우드 객체 라벨링 처리 방법 및 객체 관리 서버
KR102030027B1 (ko) * 2019-05-09 2019-10-08 (주)엠폴시스템 라벨링 데이터 정제방법, 장치 및 프로그램

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190044814A (ko) * 2017-10-23 2019-05-02 (주)인스페이스 딥러닝 학습을 위한 데이터 생성 및 자료 구축 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101879735B1 (ko) 2017-03-15 2018-07-18 (주)넥셀 자동적인 학습데이터 생성 방법 및 장치와 이를 이용하는 자가 학습 장치 및 방법
KR102002024B1 (ko) 2018-12-06 2019-07-22 주식회사 아임클라우드 객체 라벨링 처리 방법 및 객체 관리 서버
KR102030027B1 (ko) * 2019-05-09 2019-10-08 (주)엠폴시스템 라벨링 데이터 정제방법, 장치 및 프로그램

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Noor M. AL-Shakarji 등, Semi-automatic System for Rapid Annotation of Moving Object in Surveillance Videos using Deep Detection and Multi-object Tracking Techniques, IEEE AIPR(2020.10.13.)*

Also Published As

Publication number Publication date
KR20220090203A (ko) 2022-06-29

Similar Documents

Publication Publication Date Title
CN110705405B (zh) 目标标注的方法及装置
KR102537695B1 (ko) 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법 및 이를 이용한 자동 데이터 라벨링 시스템
US20150193698A1 (en) Data processing device
CN113382279B (zh) 直播推荐方法、装置、设备、存储介质以及计算机程序产品
US8116525B2 (en) Object detection method and apparatus thereof
JP7446060B2 (ja) 情報処理装置、プログラム及び情報処理方法
CN113963363A (zh) 一种基于ar技术的检测方法及装置
CN111860429B (zh) 高炉风口异常检测方法、装置、电子设备和存储介质
CN111199172A (zh) 基于终端录屏的处理方法及装置、存储介质
CN113538629A (zh) 检测方法及装置
CN112561954A (zh) 目标对象跟踪轨迹的确定方法和装置、存储介质
CN115331204A (zh) 疲劳驾驶识别方法、***、电子设备及存储介质
CN115083008A (zh) 运动目标检测方法、装置、设备及存储介质
CN114821513B (zh) 一种基于多层网络的图像处理方法及装置、电子设备
JP3993192B2 (ja) 画像処理システム、画像処理プログラム及び画像処理方法
CN110599525A (zh) 图像补偿方法和装置、存储介质及电子装置
CN115314684A (zh) 一种铁路桥梁的巡检方法、***、设备及可读存储介质
CN112822393B (zh) 图像处理方法、装置及电子设备
CN114049682A (zh) 一种人体异常行为识别方法、装置、设备及存储介质
CN113158953A (zh) 一种人员查找方法、装置、设备及介质
CN113554586A (zh) 像素异常的显著性自动评估
CN113076983A (zh) 一种图像的识别方法和装置
CN112200036A (zh) 学生行为远程监控方法和***
CN115410232B (zh) 板书抓拍方法、装置、电子设备及可读存储介质
CN112464027A (zh) 一种视频检测方法、装置及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant