KR20200087310A - 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법 - Google Patents
인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법 Download PDFInfo
- Publication number
- KR20200087310A KR20200087310A KR1020180171875A KR20180171875A KR20200087310A KR 20200087310 A KR20200087310 A KR 20200087310A KR 1020180171875 A KR1020180171875 A KR 1020180171875A KR 20180171875 A KR20180171875 A KR 20180171875A KR 20200087310 A KR20200087310 A KR 20200087310A
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- image
- unit
- reading
- annotation
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 26
- 230000003416 augmentation Effects 0.000 title claims abstract description 15
- 230000003190 augmentative effect Effects 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims description 59
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 21
- 238000013434 data augmentation Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000004064 recycling Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법에 관한 것이다. 본 애노테이션 학습데이터 생성과 증강 시스템은, 딥러닝 학습을 시키려는 객체를 등록하고, 영상이미지에서 등록된 객체를 구별하여 객체종류, 객체영역을 등록하는 애노테이션을 통해 학습데이터를 생성하는 학습데이터 생성부; 상기 학습데이터를 입력으로 딥러닝 알고리즘을 통해 객체에 대한 딥러닝 학습을 진행하여 학습모델을 생성하는 딥러닝 학습부, 상기 딥러닝 학습부가 생성한 학습모델을 영상 판독모델로 선택하여 영상이미지상의 객체정보를 판독하는 딥러닝 판독부를 포함하는 것을 특징으로 한다. 이러한 구성에 의하여, 인공지능 영상 판독시스템을 딥러닝 학습시키기 위해 사용되는 학습데이터를 이미지 증강을 통해 자동으로 증강하여 학습데이터의 양을 충분히 확보할 수 있고, 영상이미지의 애노테이션을 통해 생성된 학습데이터를 이미지 증강하여 학습데이터의 양을 늘려줄 수 있다.
Description
본 발명은 주어진 학습 데이터를 이용하여 보다 다양하게 변화를 주어 보다 많은 양의 학습 데이터를 확보하는 학습데이터 증강 시스템 및 방법에 관한 것이다.
인공지능 영상 판독시스템에서 사용하는 딥러닝 알고리즘은 인간 뇌의 뉴런들이 모여 신호를 전달하는 프로세스를 모델링 하여 만든 알고리즘으로 인간의 뇌에서 진행되는 의사결정 과정을 모방한 인공신경망(Artificial Neural Network)구조를 통해 학습을 한다.
사람의 뇌를 구성하는 각 뉴런들은 다른 뉴런으로부터 입력을 받고, 뉴런에 있는 각 입력들은 시넵틱 가중치(synaptic weight)에 의해 출력이 조절된다. 인공 신경망은 이러한 뇌의 동작방법을 모방하여, 각각의 뉴런들은 전체 입력 값들을 모두다 결합하는 총합함수에서 임계함수(threshold function) 혹은 제한 함수(limiting function)에 의해 다른 출력을 전달할지 여부를 결정하는 구조로 구성되어 있다.
딥러닝은 사람이 코딩하지 않고, 수집된 수많은 데이터를 사용하여 주어진 입력(input)에 대해 올바른 출력(output)을 하도록 하는 머신러닝(Machine Learning)의 한 갈래로, 사람이 생각한 특징을 훈련하는 것이 아니라 데이터 자체의 중요한 특징을 기계 스스로 학습을 한다. 이때 딥러닝 학습은 인공신경망을 통한 기계 학습으로 진행한다.
이러한 딥러닝의 한 종류로 주로 영상과 음성에 좋은 성능을 보여주는 CNN(Convolutional Neural Network)은 기존의 영상처리 필터기능과 인공신경망을 결합시켜 판독 성능을 높여준 알고리즘으로 입력된 영상데이터를 회선(Convolutions)과 서브샘플링(sub-sampling)을 반복하여 데이터량을 줄이고 왜곡시켜 신경망에서 분류하는 방법을 사용한다.
기계학습에 의존하는 딥러닝 영상판독 시스템에서 풍부한 학습용 데이터를 확보하는 것은 높은 인식률을 얻기 위한 과정에서 가장 중요한 부분 중 하나이다.
통상의 학습데이터를 생성하는 방법은 영상이미지 한 개에 대하여 학습시키려는 물품을 객체로 등록하고 해당 객체에 대한 영상이미지상의 위치를 사람이 직접 사각형의 박스로 표시하는 수동 애노테이션을 거치는 것이 일반적이다. 하나의 객체(오브젝트)를 학습시키고 만족할 만한 판독률을 얻어내기 위해서는 최소 5천개 이상의 학습데이터가 필요하고, 수동 애노테이션을 통한 학습데이터 생성은 수작업으로 진행하기 때문에 비용과 시간이 많이 소요된다.
즉, 딥러닝 알고리즘을 통해 영상이미지의 정확한 판독을 위해서는 많은 양의 학습데이터가 필요하고, 영상이미지를 통해 학습데이터를 생성하기 위해서는 학습시키려는 객체에 대해 수작업을 통한 애노테이션 작업에 많은 시간과 비용이 소요되는 문제점이 있다.
따라서, 본 발명은 상기한 문제점을 해결하기 위해 창안된 것으로, 본 발명의 목적은, 인공지능 영상 판독시스템을 딥러닝 학습시키기 위해 사용되는 학습데이터를 이미지 증강을 통해 자동으로 증강하여 학습데이터의 양을 충분히 확보하는 학습데이터 증강 시스템 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은 영상이미지의 애노테이션을 통해 생성된 학습데이터를 이미지 증강하여 학습데이터의 양을 늘려주는 시스템 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은, 영상이미지의 수동 애노테이션 과정 없이 기존에 딥러닝 학습된 판독모델을 사용하여 영상이미지를 판독한 영상이미지상의 객체위치 및 영역정보를 재활용하여 학습데이터로 사용하는 자동 애노테이션을 이용하는 학습데이터 증강 시스템 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은, 영상이미지상의 객체가 애노테이션된 학습데이터를 이미지 증강하여 학습데이터를 증강하는 시스템 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은, 영상이미지를 학습된 판독모델을 사용하여 판독한 영상이미지상의 객체위치 및 영역 정보를 재활용하여 학습데이터를 생성하는 자동 애노테이션을 이용하는 학습 데이터 증강 시스템 및 방법을 제공하는 것이다.
상기의 목적을 달성하기 위한 본 발명의 제1양태에 따른 구성은, 인공지능 영상판독 딥러닝 학습을 위한 수동자동 애노테이션 학습데이터 생성과 증강 시스템에 있어서, 딥러닝 학습을 시키려는 객체를 등록하고, 영상이미지에서 등록된 객체를 구별하여 객체종류, 객체영역을 등록하는 애노테이션을 통해 학습데이터를 생성하는 학습데이터 생성부; 상기 학습데이터를 입력으로 딥러닝 알고리즘을 통해 객체에 대한 딥러닝 학습을 진행하여 학습모델을 생성하는 딥러닝 학습부, 상기 딥러닝 학습부가 생성한 학습모델을 영상 판독모델로 선택하여 영상이미지상의 객체정보를 판독하는 딥러닝 판독부를 포함하는 것을 특징으로 한다.
여기서, 상기 학습데이터 생성부는, 딥러닝 학습시킬 객체를 등록하고 상기 영상이미지상에 수작업을 통한 애노테이션을 통해 학습시키려는 객체종류, 객체개수, 객체영역 중 하나이상을 포함한 객체정보가 추가된 학습데이터를 생성하는 수동 애노테이션부; 및 상기 딥러닝 학습을 통해 생성된 판독모델을 애노테이션되지 않은 영상이미지 판독에 사용하여 객체종류, 객체개수, 객체영역 중 하나이상을 포함한 객체정보가 영상이미지에 자동으로 추가된 학습데이터를 자동으로 생성하는 자동 애노테이션부;를 포함하는 것이 바람직하다.
상기 자동 애노테이션부는, 상기 딥러닝 판독부가 사용할 판독모델을 선택하고, 애노테이션되지 않은 영상이미지를 상기 딥러닝 판독부에 입력하여 객체정보를 판독하게 하고 영상이미지와 객체정보를 기반으로 학습데이터를 생성하는 것이 바람직하다.
상기 학습데이터 생성부는, 상기 수동 애노테이션부, 상기 자동 애노테이션부 중 하나 이상을 사용하여 생성된 학습데이터에서 애노테이션된 객체영역을 스케일링(Scaling), 크기조정(Resizing), 위치변경(Translation), 회전(Rotation), 뒤집기(Flipping), 원근법 변환(Perspective Transform), 잡음(Noise), 조도 변경(Lighting condition), 배경 및 스타일 변경 중 하나 이상을 사용하여 학습데이터를 증강하는 이미지 증강부;를 포함하는 것이 바람직하다.
상기 딥러닝 학습부는, 딥러닝 알고리즘에 학습데이터를 입력하고 객체에 대한 딥러닝 학습을 수행하여 학습모델을 생성하는 영상 학습부; 상기 영상 학습부에 학습데이터의 학습시작 시간, 학습 반복횟수 중 하나 이상의 학습 스케줄을 설정하여 딥러닝 학습 스케줄을 관리하는 학습 스케줄부; 상기 영상 학습부가 딥러닝 학습을 통해 학습을 진행되는 상황을 알려주는 학습 모니터링부; 및 상기 영상 학습부가 딥러닝 학습을 통해 출력한 영상판독 학습모델, 학습에 사용된 학습데이터, 학습에 사용된 딥러닝 알고리즘 중 하나이상의 정보를 관리하는 학습모델 관리부;를 포함하는 것이 바람직하다.
상기 딥러닝 판독부는, 상기 학습데이터 생성부가 생성한 학습모델, 기존에 객체가 학습된 학습모델 중 하나를 딥러닝 영상판독을 위한 판독모델로 사용하여, 입력되는 영상이미지로부터 객체를 판독하여 상기 자동 애노테이션부에 객체정보를 제공하는 것이 바람직하다.
상기 딥러닝 판독부는, 영상 학습부가 생성한 학습모델을 영상판독을 위한 판독모델로 선택하고 영상이미지를 입력받아 영상이미지상에서 학습된 객체정보를 판독하는 영상 판독부;를 포함하는 것이 바람직하다.
상기 딥러닝 판독부는상기 영상 판독부의 판독률을 자동으로 평가하기 위한 테스트 데이터를 등록하고, 테스트 데이터에 포함된 영상이미지상의 객체종류, 객체개수, 객체영역 중 하나이상을 포함한 객체정보를 관리하는 테스트세트 관리부; 상기 테스트세트 관리부가 관리하는 테스트 데이터의 입력을 받아 영상판독부가 영상판독을 통해 테스트 데이터의 영상이미지에서 객체정보를 판독한 결과와 테스트 데이터에 등록된 객체정보를 비교하여 판독률을 자동으로 측정하는 판독률 측정부;를 포함하는 것이 바람직하다.
상기의 목적을 달성하기 위한 본 발명의 제2양태에 따른 구성은, 인공지능 영상판독 딥러닝 학습을 위한 수동자동 애노테이션 학습데이터 생성과 증강 방법에 있어서, 학습데이터 생성부가 학습시킬 객체를 선정하여 등록하고 학습에 필요한 영상이미지를 수집하여 영상이미지상에 객체정보를 표시하는 애노테이션을 진행하여 학습데이터를 생성하는 제1단계; 딥러닝 학습부가 상기 학습데이터를 입력으로 딥러닝 알고리즘을 사용하여 학습을 진행하고 학습을 통해 영상 판독에 사용할 학습모델을 생성하는 제2단계; 및 딥러닝 판독부가 상기 학습모델을 판독모델로 선정하여 입력된 영상이미지에 대한 영상판독을 진행하고 판독을 통해 얻은 객체정보를 자동 애노테이션부에 전달하여 학습데이터를 생성하는 제3단계;를 포함하는 것을 특징한다.
여기서, 상기 학습데이터 생성부가 학습시킬 객체를 선정하여 등록하고 학습에 필요한 영상이미지를 수집하여 영상이미지상에 객체정보를 표시하는 애노테이션을 진행하여 학습데이터를 생성하는 제2단계는, 수동 애노테이션부가 학습시킬 객체를 선정하고 선정된 객체가 포함된 영상이미지를 수집하고 분류하여 애노테이션을 위한 사전준비를 하는 단계; 수동 애노테이션부가 사전 준비된 영상이미지상에 객체종류, 객체개수, 객체영역 중 하나이상을 포함한 객체정보를 표시하여 애노테이션한 학습데이터를 생성하는 단계; 및 이미지증강부가 상기 학습데이터의 애노테이션된 객체영역을 스케일링(Scaling), 크기조정(Resizing), 위치변경(Translation), 회전(Rotation), 뒤집기(Flipping), 원근법 변환(Perspective Transform), 잡음(Noise), 조도 변경(Lighting condition), 배경 및 스타일 변경 중 하나 이상을 사용하여 학습데이터를 증강하는 단계를 포함하는 것이 바람직하다.
상기 딥러닝 학습부가 상기 학습데이터를 입력으로 딥러닝 알고리즘을 사용하여 학습을 진행하고 학습을 통해 영상 판독에 사용할 학습모델을 생성하는 제2단계는, 학습스케줄부가 학습할 학습데이터, 학습반복횟수를 선택하여 영상학습부를 통해 딥러닝 학습을 진행 단계; 및 학습모니터링부가 영상학습부를 통해 학습이 정상적으로 진행되는 모니터링하고 그 결과를 모니터에 표시해 주는 단계를 포함하는 것이 바람직하다.
상기 딥러닝 판독부가 상기 학습모델을 판독모델로 선정하여 입력된 영상이미지에 대한 영상판독을 진행하고 판독을 통해 얻은 객체정보를 자동 애노테이션부에 전달하여 학습데이터를 생성하는 제3단계는, 영상 판독부가 학습된 판독모델을 사용하여 애노테이션되지 않은 영상이미지를 영상 판독하여 영상이미지상의 객체종류, 객체개수, 객체영역 중 하나 이상을 포함한 객체정보를 생성하는 단계; 및 자동 애노테이션부가 딥러닝 판독부가 생성한 객체정보와 판독에 사용된 영상이미지를 사용하여 학습데이터를 생성하는 단계를 포함하는 것이 바람직하다.
한편, 인공지능 영상판독 딥러닝 학습을 위한 수동자동 애노테이션 학습데이터 생성할 때 자동 애노테이션의 성능을 높이기 위해 테스트 데이터를 사용해 영상판독률을 자동으로 측정하고 테스트 데이터를 업데이트하기 위해, 테스트세트 관리부가 영상 판독률 테스트를 위해 영상이미지와 영상이미지상의 객체정보를 사전에 테스트 데이터로 등록하여 관리하는 단계; 판독률 측정부가 테스트세트 관리부의 테스트 데이터를 입력받아 영상판독부가 판독한 객체정보와 테스트 데이터에 포함된 객체정보를 비교하여 판독모델을 자동으로 측정하는 단계; 및 영상판독부가 영상판독에 실패한 영상이미지를 테스트세트 관리부에 전달하여 영상이미지와 영상이미지상의 객체정보를 테스트 데이터로 등록하여 관리하는 단계를 더 포함하는 것이 바람직하다.
상기의 구성으로 이루어진 본 발명의 학습 데이터 증강 시스템 및 방법에 따르면, 인공지능 영상 판독시스템을 딥러닝 학습시키기 위해 사용되는 학습데이터를 이미지 증강을 통해 자동으로 증강하여 학습데이터의 양을 충분히 확보할 수 있고, 영상이미지의 애노테이션을 통해 생성된 학습데이터를 이미지 증강하여 학습데이터의 양을 늘려줄 수 있다.
또한, 본 발명에 의하면, 영상이미지의 수동 애노테이션 과정 없이 기존에 딥러닝 학습된 판독모델을 사용하여 영상이미지를 판독한 영상이미지상의 객체위치 및 영역정보를 재활용하여 학습데이터로 사용하는 자동 애노테이션을 이용하는 학습데이터 증강 시스템 및 방법을 제공할 수 있다.
또한, 본 발명에 의하면, 영상이미지상의 객체가 애노테이션된 학습데이터를 이미지 증강하여 학습데이터를 증강할 수 있다.
또한, 본 발명에 의하면, 영상이미지를 학습된 판독모델을 사용하여 판독한 영상이미지상의 객체위치 및 영역 정보를 재활용하여 학습데이터를 생성하는 자동 애노테이션을 이용하는 학습 데이터 증강 시스템 및 방법을 제공할 수 있다.
도 1 인공지능 영상판독 딥러닝 학습을 위한 수동/자동 애노테이션을 통한 학습데이터 증강 시스템의 구성도,
도 2는 본 발명에 따른 학습데이터 생성부의 내부 구성도,
도 3은 본 발명에 따른 딥러닝 학습부의 내부 구성도,
도 4는 본 발명에 따른 영상 판독부의 내부 구성도,
도 5는 본 발명에 따른 인공지능 영상판독 딥러닝 학습을 위한 학습데이터 증강 및 자동 애노테이션 방법을 도시한 순서도,
도 6은 본 발명에 따른 영상이미지를 애노테이션하여 학습데이터를 생성하는 방법을 도시한 순서도,
도 7은 본 발명에 따른 학습데이터를 입력으로 딥러닝 학습을 통해 학습모델을 생성하는 방법을 도시한 순서도,
도 8은 본 발명에 따른 학습모델을 영상판독을 위한 판독모델로 사용하여 영상이미지를 학습데이터로 생성하는 방법을 도시한 순서도,
도 9 는 본 발명에 따른 자동 애노테이션의 성능을 높이기 위해 테스트 데이터를 사용해 영상판독률을 자동으로 측정하고 테스트 데이터를 업데이트하는 방법을 도시한 순서도이다.
도 2는 본 발명에 따른 학습데이터 생성부의 내부 구성도,
도 3은 본 발명에 따른 딥러닝 학습부의 내부 구성도,
도 4는 본 발명에 따른 영상 판독부의 내부 구성도,
도 5는 본 발명에 따른 인공지능 영상판독 딥러닝 학습을 위한 학습데이터 증강 및 자동 애노테이션 방법을 도시한 순서도,
도 6은 본 발명에 따른 영상이미지를 애노테이션하여 학습데이터를 생성하는 방법을 도시한 순서도,
도 7은 본 발명에 따른 학습데이터를 입력으로 딥러닝 학습을 통해 학습모델을 생성하는 방법을 도시한 순서도,
도 8은 본 발명에 따른 학습모델을 영상판독을 위한 판독모델로 사용하여 영상이미지를 학습데이터로 생성하는 방법을 도시한 순서도,
도 9 는 본 발명에 따른 자동 애노테이션의 성능을 높이기 위해 테스트 데이터를 사용해 영상판독률을 자동으로 측정하고 테스트 데이터를 업데이트하는 방법을 도시한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 통해 설명될 것이다. 그러나 본 발명은 여기에서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 본 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.
도면들에 있어서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니며 명확성을 기하기 위하여 과장된 것이다. 또한, 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소를 나타낸다. 본 명세서에서 "및/또는"이란 표현은 전후에 나열된 구성요소들 중 적어도 하나를 포함하는 의미로 사용된다. 또한, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 명세서에서 사용되는 "포함한다" 또는 "포함하는"으로 언급된 구성요소, 단계, 동작 및 소자는 하나 이상의 다른 구성요소, 단계, 동작, 소자 및 장치의 존재 또는 추가를 의미한다.
본 발명의 상기 목적, 기타 다른 목적 및 특징은 첨부된 아래의 도면과 연관된 바람직한 실시예를 상세로부터 명확하게 나타날 것이다.
도 1 인공지능 영상판독 딥러닝 학습을 위한 수동자동 애노테이션을 통한 학습데이터 증강 시스템의 구성도이고, 도 2는 본 발명에 따른 학습데이터 생성부의 내부 구성도이고, 도 3은 본 발명에 따른 딥러닝 학습부의 내부 구성도이고, 도 4는 본 발명에 따른 영상 판독부의 내부 구성도이다.
먼저, 도 1을 참조하여 인공지능 영상판독 딥러닝 학습을 위한 수동자동 애노테이션을 통한 학습데이터 증강 시스템의 구성 및 동작을 상세하게 설명한다.
본 발명은 영상판독 딥러닝 학습을 위해 영상이미지(3000)를 저장미디어 또는 유무선 네트워크(2000)를 통해 딥러닝 영상학습 시스템(1000)의 데이터 저장부(1400)에 입출력 관리부(1300)의 제어를 받아 수집한다. 사용자는 영상판독의 목적에 따라 학습할 객체를 학습데이터 생성부(1100)에 등록하고, 입출력 관리부(1300)는 데이터 저장부(1400)에 저장된 영상이미지(3000)를 모니터에 출력하고, 사용자는 모니터에 출력된 영상이미지(3000)상에 객체정보를 표시하는 애노테이션 작업을 진행하여 학습데이터를 생성한다.
딥러닝 학습부(1200)는 학습데이터 생성부(1100)가 생성한 학습데이터를 입력받아 딥러닝 영상판독을 위한 딥러닝 학습을 진행하고 학습된 결과로 학습모델을 생성한다. 이때 딥러닝 학습에 사용되는 알고리즘은 영상판독에서 높은 판독률을 보이는 CNN 알고리즘이 사용된다.
딥러닝 판독부(1500)는 딥러닝 학습부(1200)가 생성한 학습모델을 영상 판독모델로 선택하여 애노테이션되지 않은 영상이미지(3000)를 입력으로 영상이미지상의 객체정보를 판독하고 판독된 정보를 기반으로 학습데이터를 자동으로 생성하는 자동 애노테이션을 진행한다. 이때 딥러닝 판독부(1500)는 딥러닝 영상학습 시스템(1000)에 포함되지 않은 별도의 자동 애노테이션 시스템으로 분리되어 학습데이터를 자동으로 생성할 수 있다.
도 2에 도시된 바와 같이 학습데이터 생성부(1100)는 수작업을 통해 학습데이터를 생성하는 수동 애노테이션부(1110)과 기존에 학습된 판독모델을 사용하여 딥러닝 판독부(1500)의 영상판독을 통해 자동으로 학습데이터를 생성하는 자동 애노테이션부(1120)로 구분된다. 이때 수동 애노테이션부(1110)에서는 영상이미지(3000)상에 학습하려는 대상의 객체 이름, 아이디 중 하나이상을 사용하여 객체를 수작업을 통해 등록하고 수집한 영상이미지(3000)상에 객체영역을 구별한다. 이때 객체영역은 객체를 포함하는 사각형, 다각형, 객체의 외곽 중 하나이상을 사용하여 표시된 학습데이터를 생성한다. 학습데이터에는 하나이상의 영상이미지와 영상이미지에 포함된 객체정보를 포함하여 구성된다.
자동 애노테이션부(1120)는 딥러닝 판독부(1500)에 수동 애노테이션부(1110)에서 애노테이션되지 않은 영상이미지(3000)를 전달하고 딥러닝 판독부(1500)는 기존에 학습된 판독모델을 사용하여 영상이미지(3000)상의 객체정보를 판독하여 자동 애노테이션부(1120)에 전달하면 자동 애노테이션부(1120)는 전달받은 정보를 기반으로 학습데이터를 자동으로 생성한다. 생성된 학습데이터에 객체정보의 오류가 있다면 수동 애노테이션부(1110)를 통해 객체정보 수정 작업을 진행한다. 즉, 객체에 대해 기존에 학습된 학습모델이 있다면 자동 애노테이션부(1120)를 통해 학습데이터를 자동으로 생성하고, 객체에 대해 기존에 학습된 학습모델이 없다면 수동 애노테이션부(1110)를 통해 학습데이터를 수동으로 생성하여, 기존에 학습된 정보를 재활용하여 학습데이터 생성 효율을 높여준다.
이미지 증강부(1120)는 수동 애노테이션부(1110), 자동 애노테이션부(1120)중 하나 이상을 사용하여 생성된 학습데이터 영상이미지의 객체영역을 스케일링(Scaling), 크기조정(Resizing), 위치변경(Translation), 회전(Rotation), 뒤집기(Flipping), 원근법 변환(Perspective Transform), 잡음(Noise), 조도변경(Lighting condition), 배경 및 스타일 변경 중 하나이상을 사용하여 학습데이터를 증강한다.
이미지 증강방법에서 스케일링(Scaling)은 객체 이미지 크기의 변형을 통해 다양한 크기의 객체 이미지를 생성하여 외형은 동일하나 보이는 각도와 거리에 따라 다르게 보이는 객체 이미지 생성에 사용되고, 크기조정(Resizing)은 객체 이미지내의 객체 비율 조정을 통한 외형의 변화된 이미지를 생성하여 외형은 비슷하나 보는 각도에 따라 다르게 보이는 객체 이미지 생성에 사용되고, 위치변경(Translation)은 객체 이미지의 배경 및 위치를 변경하여 객체의 외형은 비슷하나 보는 위치에 따라 다르게 보이는 객체 이미지 생성에 사용되고, 회전(Rotation)은 이미지를 회전하여 다양한 각도의 이미지를 생성하여 객체의 외형은 비슷하나 보는 각도에 따라 다르게 보이는 객체 이미지 생성에 사용되고, 뒤집기(Flipping)는 객체의 상하 또는 좌우를 바꾸어 이미지를 생성하여 객체의 외형은 동일하나 보이는 각도와 방향에 따라 다르게 보이는 객체 이미지 생성에 사용되고, 원근법 변환(Perspective Transform)은 객체의 보이는 입체(X축, Y축, Z축)방향의 각도 조정을 통해 이미지를 생성하여 외형은 비슷하나 보는 각도에 따라 다르게 보이는 객체 이미지 생성에 사용되고, 잡음(Noise)은 객체 이미지의 노이즈 조정을 통해 이미지를 생성하여 외형은 동일하나 객체의 외부 Texture의 정도를 여러 단계로 나누어 이미지 데이터를 생성하는데 사용되고, 조도변경(Lighting condition)은 객체 이미지의 밝기 및 조도 변경을 통한 이미지를 생성하여 빛의 밝기에 따라 여러 가지 색상 및 그림자를 포함한 이미지 데이터 생성에 사용된다.
도 3에 도시된 바와 같이 딥러닝 학습부(1200)의 영상학습부(1210)는 학습데이터 생성부(1100)가 생성한 학습데이터를 입력받아 학습 스케줄부(1220)가 스케줄링한 설정에 따라 딥러닝 알고리즘을 선택하여 학습을 진행하고 학습의 결과로 학습모델을 생성한다. 영상학습부(1210)의 학습 진행상황은 학습모니터링부(1230)에 의해 객체의 학습진행도가 표시되고 학습모델이 생성되면 학습모델관리부(1240)에 의해 학습에 사용된 학습데이터, 딥러닝 알고리즘, 학습모델 중 하나 이상의 정보를 가지고 관리된다. 특히 영상학습부(1210)에 의해 생성된 학습모델들 중에서 딥러닝판독부(1300)에 의해 영상판독에 사용된 학습모델은 학습모델 관리부(1240)에 의해 판독모델로 등록되어 영상 판독률정보와 같이 관리된다.
도 4 에 도시된 바와 같이 딥러닝판독부(1300)의 영상판독부(1310)는 학습모델 관리부(1240)에서 관리하는 학습모델들 중에서 판독모델을 선택하고 애노테이션되지 않은 영상이미지(3000)를 입력받아 학습된 객체의 종류와 객체영역을 판독한다. 영상판독부(1310)는 별도의 시스템으로 구별된 영상판독시스템으로 구성되어 사용될 수 있지만, 본 발명에서는 자동 애노테이션부(1120)의 요청에 따라 학습데이터를 자동으로 애노테이션하는 시스템으로 사용된다.
테스트세트 관리부(1320)는 판독모델의 영상 판독률을 자동으로 평가하기 위해 사전에 테스트 데이터를 등록하고, 테스트 데이터에 포함된 영상이미지(3000)상의 객체종류, 객체개수, 객체영역 중 하나이상을 포함한 객체정보를 등록하여 관리한다. 테스트 데이터는 판독률 테스트를 위해서 별도로 구별한 하나이상의 영상이미지를 모아놓은 그룹으로 판독률 평가를 위한 객체정보와 같이 관리된다. 이때 영상판독부(1310)의 판독률이 높아야 자동 애노테이션부(1120)를 통해 자동으로 생성되는 학습데이터의 품질이 높아져서 수동 애노테이션부(1110)를 통한 수작업을 줄일 수 있다. 하지만 판독률에 대한 평가도 수작업을 통해 평가가 필요한데, 이러한 수작업을 통한 평가를 자동화하기 위해 테스트세트 관리부(1320)를 통해 딥러닝 영상판독에 실패 또는 오류가 있는 영상이미지를 테스트 데이터로 관리하여 판독률 측정부(1330)에서 판독률을 자동으로 측정한다.
판독률 측정부(1330)는 테스트세트 관리부(1320)의 테스트 데이터를 입력받아 학습모델관리부(1240)에 등록된 학습모델을 영상판독부(1310)의 판독모델로 선택하여 테스트 데이터에 포함된 각각의 영상이미지(3000)상에서 객체정보를 판독한 결과를 영상판독부(1310)로부터 전달받는다. 이때 판독률 측정부(1330)는 영상판독부(1310)를 통해 판독된 영상판독결과와 테스트 데이터에 등록 객체정보를 비교하여 판독모델의 판독률을 자동으로 측정한다. 이때 판독률이 일정비율을 넘기는 경우에만 해당 판독모델을 자동 애노테이션에서 사용한다. 테스트 데이터에는 하나이상의 영상이미지와 영상이미지에 포함된 객체정보를 포함하여 구성된다.
이하, 도 5 내지 도 8을 참조하여 본 발명에 따른 인공지능 영상판독 딥러닝 학습을 위한 수동자동 애노테이션을 통한 학습데이터 증강 방법 및 동작을 상세하게 설명한다.
도 5는 본 발명에 따른 인공지능 영상판독 딥러닝 학습을 위한 학습데이터 증강 및 자동 애노테이션 방법을 도시한 순서도이다.
도 5에 도시된 바와 같이, 학습데이터 생성부(1100)는 학습시킬 객체를 선정하여 등록하고 학습에 필요한 영상이미지(3000)를 수집하여 영상이미지(3000)상에 객체정보를 표시하는 애노테이션을 진행하여 학습데이터를 생성한다(S100).
딥러닝 학습부(1200)는 학습데이터를 입력으로 딥러닝 알고리즘을 사용하여 학습을 진행하고 학습을 통해 영상 판독에 사용할 학습모델을 생성한다(S200).
딥러닝 판독부(1300)는 학습모델을 판독모델로 선정하여 입력된 영상이미지에 대한 영상판독을 진행하고 판독을 통해 얻은 객체정보를 자동 애노테이션부에 전달하여 학습데이터를 생성한다(S300).
도 6은 본 발명에 따른 영상이미지를 애노테이션하여 학습데이터를 생성하는 방법을 도시한 순서도이다.
도 6을 참조하여 보다 구체적으로 설명하면, 학습데이터 생성부(1100)의 수동 애노테이션부(1110)는 학습시킬 객체를 선정하고 선정된 객체가 포함된 영상이미지(3000)를 수집하고 분류하여 애노테이션을 위한 사전준비를 한다(S110).
수동 애노테이션부(1110)는 사전 준비된 영상이미지(3000)상에 객체종류, 객체개수, 객체영역 중 하나 이상을 포함한 객체정보를 표시하여 애노테이션한 학습데이터를 생성한다(S120).
이미지증강부(1130)는 학습데이터의 애노테이션된 객체영역을 스케일링(Scaling), 크기조정(Resizing), 위치변경(Translation), 회전(Rotation), 뒤집기(Flipping), 원근법 변환(Perspective Transform), 잡음(Noise), 조도 변경(Lighting condition), 배경 및 스타일 변경 중 하나 이상을 사용하여 학습데이터를 증강한다(S130).
상술한 바와 같이, 딥러닝 학습부(1200)는 학습데이터를 입력으로 딥러닝 알고리즘을 사용하여 학습을 진행하고 학습을 통해 영상 판독에 사용할 학습모델을 생성한다(S200).
도 7은 본 발명에 따른 학습데이터를 입력으로 딥러닝 학습을 통해 학습모델을 생성하는 방법을 도시한 순서도이다.
도 7에 보인 바와 같이, 학습스케줄부(1200)는 학습할 학습데이터, 학습반복횟수를 선택하여 영상학습부(1210)를 통해 딥러닝 학습을 진행한다(S210).
학습모니터링부(1230)는 영상학습부(1210)를 통해 학습이 정상적으로 진행되는 모니터링하고 그 결과를 모니터에 표시해 준다(S220).
상술한 바와 같이, 딥러닝 판독부(1300)는 상기 학습모델을 판독모델로 선정하여 입력된 영상이미지(3000)에 대한 영상판독을 진행하고 판독을 통해 얻은 객체정보를 자동 애노테이션부(1120)에 전달하여 학습데이터를 생성한다(S300).
도 8을 참조하여 보다 구체적으로 설명하면, 딥러닝 판독부(1300)의 영상 판독부(1310)는 학습된 판독모델을 사용하여 애노테이션되지 않은 영상이미지(3000)를 영상 판독하여 영상이미지(3000)상의 객체종류, 객체개수, 객체영역 중 하나 이상을 포함한 객체정보를 생성한다(S310).
학습데이터 생성부(1100)의 자동 애노테이션부(1120)는 딥러닝 판독부(1300)가 생성한 객체정보와 판독에 사용된 영상이미지(3000)를 사용하여 학습데이터를 생성한다(S320).
도 9는 본 발명에 따른 자동 애노테이션의 성능을 높이기 위해 테스트 데이터를 사용해 영상판독률을 자동으로 측정하고 테스트 데이터를 업데이트하는 방법을 도시한 순서도이다.
이하, 도 9를 참조하여 본 발명에 따른 자동 애노테이션의 성능을 높이기 위해 테스트세트를 사용해 영상판독률을 자동으로 측정하고 테스트 데이터를 업데이트하는 방법 및 동작을 상세하게 설명한다.
도 9에 도시된 바와 같이, 테스트세트 관리부(1320)는 영상 판독률 테스트를 위해 영상이미지와 영상이미지상의 객체정보를 사전에 테스트 데이터로 등록하여 관리한다(S410).
판독률 측정부(1330)는 테스트세트 관리부(1320)의 테스트 데이터를 입력받아 영상판독부가 판독한 객체정보와 테스트 데이터에 포함된 객체정보를 비교하여 판독모델을 자동으로 측정한다(S420).
영상판독부(1310)가 영상판독에 실패한 영상이미지를 테스트세트 관리부(1320)에 전달하여 영상이미지와 영상이미지상의 객체정보를 테스트 데이터로 등록하여 관리한다(S430).
1000: 딥러닝 영상학습 시스템
1100: 학습데이터 생성부
1110: 수동 애노테이션부 1120: 이미지 증강부
1130: 자동 애노테이션부 1200: 딥러닝 학습부
1210: 영상 학습부 1220: 학습 스케줄부
1230: 학습 모니터링부 1240: 학습모델 관리부
1300: 딥러닝 판독부 1310: 영상 판독부
1320: 테스트세트 관리부 1330: 판독률 측정부
1400: 입출력 관리부 1500: 데이터 저장부
2000: 유무선 네트워크 3000: 영상이미지
1110: 수동 애노테이션부 1120: 이미지 증강부
1130: 자동 애노테이션부 1200: 딥러닝 학습부
1210: 영상 학습부 1220: 학습 스케줄부
1230: 학습 모니터링부 1240: 학습모델 관리부
1300: 딥러닝 판독부 1310: 영상 판독부
1320: 테스트세트 관리부 1330: 판독률 측정부
1400: 입출력 관리부 1500: 데이터 저장부
2000: 유무선 네트워크 3000: 영상이미지
Claims (13)
- 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템에 있어서,
딥러닝 학습을 시키려는 객체를 등록하고, 영상이미지에서 등록된 객체를 구별하여 객체종류, 객체영역을 등록하는 애노테이션을 통해 학습데이터를 생성하는 학습데이터 생성부;
상기 학습데이터를 입력으로 딥러닝 알고리즘을 통해 객체에 대한 딥러닝 학습을 진행하여 학습모델을 생성하는 딥러닝 학습부,
상기 딥러닝 학습부가 생성한 학습모델을 영상 판독모델로 선택하여 영상이미지상의 객체정보를 판독하는 딥러닝 판독부를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템. - 제1항에 있어서,
상기 학습데이터 생성부는,
딥러닝 학습시킬 객체를 등록하고 상기 영상이미지상에 수작업을 통한 애노테이션을 통해 학습시키려는 객체종류, 객체개수, 객체영역 중 하나이상을 포함한 객체정보가 추가된 학습데이터를 생성하는 수동 애노테이션부; 및
상기 딥러닝 학습을 통해 생성된 판독모델을 애노테이션되지 않은 영상이미지 판독에 사용하여 객체종류, 객체개수, 객체영역 중 하나이상을 포함한 객체정보가 영상이미지에 자동으로 추가된 학습데이터를 자동으로 생성하는 자동 애노테이션부;를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템. - 제2항에 있어서,
상기 자동 애노테이션부는,
상기 딥러닝 판독부가 사용할 판독모델을 선택하고, 애노테이션되지 않은 영상이미지를 상기 딥러닝 판독부에 입력하여 객체정보를 판독하게 하고 영상이미지와 객체정보를 기반으로 학습데이터를 생성하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템. - 제1항에 있어서,
상기 학습데이터 생성부는,
상기 수동 애노테이션부, 상기 자동 애노테이션부 중 하나 이상을 사용하여 생성된 학습데이터에서 애노테이션된 객체영역을 스케일링(Scaling), 크기조정(Resizing), 위치변경(Translation), 회전(Rotation), 뒤집기(Flipping), 원근법 변환(Perspective Transform), 잡음(Noise), 조도 변경(Lighting condition), 배경 및 스타일 변경 중 하나 이상을 사용하여 학습데이터를 증강하는 이미지 증강부;를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템. - 제1항에 있어서,
상기 딥러닝 학습부는,
딥러닝 알고리즘에 학습데이터를 입력하고 객체에 대한 딥러닝 학습을 수행하여 학습모델을 생성하는 영상 학습부;
상기 영상 학습부에 학습데이터의 학습시작 시간, 학습 반복횟수 중 하나 이상의 학습 스케줄을 설정하여 딥러닝 학습 스케줄을 관리하는 학습 스케줄부;
상기 영상 학습부가 딥러닝 학습을 통해 학습을 진행되는 상황을 알려주는 학습 모니터링부; 및
상기 영상 학습부가 딥러닝 학습을 통해 출력한 영상판독 학습모델, 학습에 사용된 학습데이터, 학습에 사용된 딥러닝 알고리즘 중 하나이상의 정보를 관리하는 학습모델 관리부;를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템. - 제2항에 있어서,
상기 딥러닝 판독부는, 상기 학습데이터 생성부가 생성한 학습모델, 기존에 객체가 학습된 학습모델 중 하나를 딥러닝 영상판독을 위한 판독모델로 사용하여, 입력되는 영상이미지로부터 객체를 판독하여 상기 자동 애노테이션부에 객체정보를 제공하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템. - 제6항에 있어서,
상기 딥러닝 판독부는,
영상 학습부가 생성한 학습모델을 영상판독을 위한 판독모델로 선택하고 영상이미지를 입력받아 영상이미지상에서 학습된 객체정보를 판독하는 영상 판독부;를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템. - 제6항에 있어서,
상기 딥러닝 판독부는상기 영상 판독부의 판독률을 자동으로 평가하기 위한 테스트 데이터를 등록하고, 테스트 데이터에 포함된 영상이미지상의 객체종류, 객체개수, 객체영역 중 하나이상을 포함한 객체정보를 관리하는 테스트세트 관리부;
상기 테스트세트 관리부가 관리하는 테스트 데이터의 입력을 받아 영상판독부가 영상판독을 통해 테스트 데이터의 영상이미지에서 객체정보를 판독한 결과와 테스트 데이터에 등록된 객체정보를 비교하여 판독률을 자동으로 측정하는 판독률 측정부;를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템. - 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 방법에 있어서,
학습데이터 생성부가 학습시킬 객체를 선정하여 등록하고 학습에 필요한 영상이미지를 수집하여 영상이미지상에 객체정보를 표시하는 애노테이션을 진행하여 학습데이터를 생성하는 제1단계;
딥러닝 학습부가 상기 학습데이터를 입력으로 딥러닝 알고리즘을 사용하여 학습을 진행하고 학습을 통해 영상 판독에 사용할 학습모델을 생성하는 제2단계; 및
딥러닝 판독부가 상기 학습모델을 판독모델로 선정하여 입력된 영상이미지에 대한 영상판독을 진행하고 판독을 통해 얻은 객체정보를 자동 애노테이션부에 전달하여 학습데이터를 생성하는 제3단계;를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 방법. - 제9항에 있어서
상기 학습데이터 생성부가 학습시킬 객체를 선정하여 등록하고 학습에 필요한 영상이미지를 수집하여 영상이미지상에 객체정보를 표시하는 애노테이션을 진행하여 학습데이터를 생성하는 제2단계에서,
수동 애노테이션부가 학습시킬 객체를 선정하고 선정된 객체가 포함된 영상이미지를 수집하고 분류하여 애노테이션을 위한 사전준비를 하는 단계;
수동 애노테이션부가 사전 준비된 영상이미지상에 객체종류, 객체개수, 객체영역 중 하나이상을 포함한 객체정보를 표시하여 애노테이션한 학습데이터를 생성하는 단계; 및
이미지증강부가 상기 학습데이터의 애노테이션된 객체영역을 스케일링(Scaling), 크기조정(Resizing), 위치변경(Translation), 회전(Rotation), 뒤집기(Flipping), 원근법 변환(Perspective Transform), 잡음(Noise), 조도 변경(Lighting condition), 배경 및 스타일 변경 중 하나 이상을 사용하여 학습데이터를 증강하는 단계;를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 방법. - 제9항에 있어서,
상기 딥러닝 학습부가 상기 학습데이터를 입력으로 딥러닝 알고리즘을 사용하여 학습을 진행하고 학습을 통해 영상 판독에 사용할 학습모델을 생성하는 제2단계에서,
학습스케줄부가 학습할 학습데이터, 학습반복횟수를 선택하여 영상학습부를 통해 딥러닝 학습을 진행 단계; 및
학습모니터링부가 영상학습부를 통해 학습이 정상적으로 진행되는 모니터링하고 그 결과를 모니터에 표시해 주는 단계;를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 방법. - 제9항에 있어서,
상기 딥러닝 판독부가 상기 학습모델을 판독모델로 선정하여 입력된 영상이미지에 대한 영상판독을 진행하고 판독을 통해 얻은 객체정보를 자동 애노테이션부에 전달하여 학습데이터를 생성하는 제3단계에서,
영상 판독부가 학습된 판독모델을 사용하여 애노테이션되지 않은 영상이미지를 영상 판독하여 영상이미지상의 객체종류, 객체개수, 객체영역 중 하나 이상을 포함한 객체정보를 생성하는 단계; 및
자동 애노테이션부가 딥러닝 판독부가 생성한 객체정보와 판독에 사용된 영상이미지를 사용하여 학습데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 방법. - 제9항에 있어서,
인공지능 영상판독 딥러닝 학습을 위한 수동자동 애노테이션 학습데이터 생성할 때 자동 애노테이션의 성능을 높이기 위해 테스트 데이터를 사용해 영상판독률을 자동으로 측정하고 테스트 데이터를 업데이트하기 위해,
테스트세트 관리부가 영상 판독률 테스트를 위해 영상이미지와 영상이미지상의 객체정보를 사전에 테스트 데이터로 등록하여 관리하는 단계;
판독률 측정부가 테스트세트 관리부의 테스트 데이터를 입력받아 영상판독부가 판독한 객체정보와 테스트 데이터에 포함된 객체정보를 비교하여 판독모델을 자동으로 측정하는 단계; 및
영상판독부가 영상판독에 실패한 영상이미지를 테스트세트 관리부에 전달하여 영상이미지와 영상이미지상의 객체정보를 테스트 데이터로 등록하여 관리하는 단계를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180171875A KR20200087310A (ko) | 2018-12-28 | 2018-12-28 | 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180171875A KR20200087310A (ko) | 2018-12-28 | 2018-12-28 | 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200087310A true KR20200087310A (ko) | 2020-07-21 |
Family
ID=71832714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180171875A KR20200087310A (ko) | 2018-12-28 | 2018-12-28 | 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20200087310A (ko) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102215899B1 (ko) * | 2020-08-18 | 2021-02-16 | 그린캣소프트(주) | 매대에 진열된 상품을 식별하는 방법 및 이를 수행하는 전자 장치 |
| KR20220019432A (ko) * | 2020-08-10 | 2022-02-17 | 국방과학연구소 | 물체인식 학습용 이미지 데이터 증강 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 |
| KR20220030680A (ko) | 2020-09-03 | 2022-03-11 | (주)아크릴 | 인공지능 비전문가를 위한 인공지능 서비스 제공 시스템 및 방법 |
| KR102393801B1 (ko) | 2021-12-27 | 2022-05-03 | 주식회사 딥노이드 | 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법 |
| KR20220094066A (ko) * | 2020-12-28 | 2022-07-05 | 주식회사 마크애니 | 노이즈를 이용한 학습 데이터 증강 방법 및 장치 |
| KR102419579B1 (ko) | 2021-12-27 | 2022-07-11 | 주식회사 딥노이드 | 지적 재산권 침해 여부를 판별하기 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법 |
| KR102445556B1 (ko) * | 2021-06-10 | 2022-09-21 | 주식회사 에이투마인드 | 가상 데이터를 생성하는 방법 및 장치 |
| WO2022239977A1 (ko) * | 2021-05-10 | 2022-11-17 | 현대자동차주식회사 | M2m 시스템에서 데이터를 증강하기 위한 방법 및 장치 |
| KR20230030259A (ko) * | 2021-08-25 | 2023-03-06 | 금오공과대학교 산학협력단 | 제품 결함 검출 학습을 위한 딥러닝 기반 데이터 증강 방법 |
| US12026231B2 (en) | 2020-11-06 | 2024-07-02 | Electronics And Telecommunications Research Institute | System for local optimization of object detector based on deep neural network and method of creating local database therefor |
-
2018
- 2018-12-28 KR KR1020180171875A patent/KR20200087310A/ko active Search and Examination
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220019432A (ko) * | 2020-08-10 | 2022-02-17 | 국방과학연구소 | 물체인식 학습용 이미지 데이터 증강 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 |
| KR102215899B1 (ko) * | 2020-08-18 | 2021-02-16 | 그린캣소프트(주) | 매대에 진열된 상품을 식별하는 방법 및 이를 수행하는 전자 장치 |
| KR20220030680A (ko) | 2020-09-03 | 2022-03-11 | (주)아크릴 | 인공지능 비전문가를 위한 인공지능 서비스 제공 시스템 및 방법 |
| US12026231B2 (en) | 2020-11-06 | 2024-07-02 | Electronics And Telecommunications Research Institute | System for local optimization of object detector based on deep neural network and method of creating local database therefor |
| KR20220094066A (ko) * | 2020-12-28 | 2022-07-05 | 주식회사 마크애니 | 노이즈를 이용한 학습 데이터 증강 방법 및 장치 |
| WO2022239977A1 (ko) * | 2021-05-10 | 2022-11-17 | 현대자동차주식회사 | M2m 시스템에서 데이터를 증강하기 위한 방법 및 장치 |
| KR102445556B1 (ko) * | 2021-06-10 | 2022-09-21 | 주식회사 에이투마인드 | 가상 데이터를 생성하는 방법 및 장치 |
| KR20230030259A (ko) * | 2021-08-25 | 2023-03-06 | 금오공과대학교 산학협력단 | 제품 결함 검출 학습을 위한 딥러닝 기반 데이터 증강 방법 |
| KR102393801B1 (ko) | 2021-12-27 | 2022-05-03 | 주식회사 딥노이드 | 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법 |
| KR102419579B1 (ko) | 2021-12-27 | 2022-07-11 | 주식회사 딥노이드 | 지적 재산권 침해 여부를 판별하기 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20200087310A (ko) | 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법 | |
| CN110390351A (zh) | 一种基于深度学习的致痫灶三维自动定位*** | |
| CN109886153B (zh) | 一种基于深度卷积神经网络的实时人脸检测方法 | |
| CN110047056A (zh) | 用深度图像到图像网络和对抗网络的跨域图像分析和合成 | |
| CN111656372A (zh) | 训练神经网络模型 | |
| CN109767418A (zh) | 检査装置、数据生成装置、数据生成方法及存储介质 | |
| KR20200005986A (ko) | 얼굴인식을 이용한 인지장애 진단 시스템 및 방법 | |
| CN109782902A (zh) | 一种操作提示方法及眼镜 | |
| KR20190088375A (ko) | 수술영상데이터 학습시스템 | |
| CN110136101A (zh) | 一种基于孪生距离比对的轮胎x光病疵检测方法 | |
| KR20190119219A (ko) | 대표이미지 추천 방법 및 장치, 및 시스템 | |
| EP3528179A1 (en) | Training a neural network | |
| CN109934182A (zh) | 对象行为分析方法、装置、电子设备及计算机存储介质 | |
| CN113435236A (zh) | 居家老人姿态检测方法、***、存储介质、设备及应用 | |
| US20220207862A1 (en) | Image analysis method, image analysis apparatus, and image analysis system | |
| JP2024515448A (ja) | 外科手術用トレイおよびその上に含有されるアイテムの動的識別のためのシステムおよび方法 | |
| CN110688980A (zh) | 基于计算机视觉的人体姿态分类方法 | |
| CN110009038A (zh) | 筛查模型的训练方法、装置及存储介质 | |
| CN106462974A (zh) | 用于分割图像的参数优化 | |
| CN102867214B (zh) | 区域范围内人数统计管理方法 | |
| CN110473176A (zh) | 图像处理方法及装置、眼底图像处理方法、电子设备 | |
| KR102247481B1 (ko) | 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 방법 | |
| Hasan et al. | Dental impression tray selection from maxillary arch images using multi-feature fusion and ensemble classifier | |
| CN116469148A (zh) | 一种基于面部结构识别的概率预测***及预测方法 | |
| JP2020204800A (ja) | 学習用データセット生成システム、学習サーバ、及び学習用データセット生成プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |