KR102412652B1 - Data generation system for artificial intelligence learning - Google Patents
Data generation system for artificial intelligence learning Download PDFInfo
- Publication number
- KR102412652B1 KR102412652B1 KR1020210193561A KR20210193561A KR102412652B1 KR 102412652 B1 KR102412652 B1 KR 102412652B1 KR 1020210193561 A KR1020210193561 A KR 1020210193561A KR 20210193561 A KR20210193561 A KR 20210193561A KR 102412652 B1 KR102412652 B1 KR 102412652B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- unit
- learning
- background
- labeling
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은, 인공지능 학습용 데이터 생성 시스템과 관련된다. 본 발명은 실시예로서 모델링 툴을 이용하여 만들어진 3차원 모델링 데이터와 실제 또는 가상환경의 데이터를 이용하여 고품질의 인공지능 학습이 가능한 데이터를 생성하는 시스템을 제시한다.The present invention relates to a data generation system for artificial intelligence learning. As an embodiment, the present invention proposes a system for generating high-quality artificial intelligence-learning data using three-dimensional modeling data created using a modeling tool and data of a real or virtual environment.
Description
본 발명은 인공지능 학습용 데이터 생성 시스템에 관한 것으로서 상세하게는 모델링 툴을 이용하여 만들어진 3차원 모델링 데이터와 실제 또는 가상환경의 데이터를 이용하여 고품질의 인공지능 학습이 가능한 데이터를 생성하는 시스템과 관련된다.The present invention relates to a data generation system for artificial intelligence learning, and more particularly, to a system for generating high-quality artificial intelligence learning data using three-dimensional modeling data created using a modeling tool and data from a real or virtual environment. .
최근 급속하게 발전한 인공신경망 기반의 영상 패턴 인식 기술은 사람보다 더 빠르고 정확하게 패턴을 판별할 수 있어 차량관제, 스마트팩토리, 시설관리 등에서 영상을 활용한 얼굴 인식, 이상행동 파악, 패턴 인식 등 다양한 환경에 적용되고 있다.Image pattern recognition technology based on artificial neural network, which has recently developed rapidly, can identify patterns faster and more accurately than humans, so it can be used in various environments such as face recognition, abnormal behavior detection, and pattern recognition using images in vehicle control, smart factory, and facility management. is being applied
사진, 동영상 등의 영상 데이터는 인공지능 기술의 학습 데이터로 활용될 수 있다. 즉 인공지능은 영상 데이터를 입력 데이터로 하여 입력 데이터에 대한 인지, 추론 능력을 학습할 수 있다. 이러한 인지, 추론을 수행할 수 있는 인공지능 기술의 정확도를 높이기 위해서는 학습 데이터로 사용되는 다량의 데이터셋의 확보가 필요하다.Image data such as photos and videos can be used as learning data for artificial intelligence technology. That is, artificial intelligence can learn recognition and reasoning capabilities for input data by using image data as input data. In order to increase the accuracy of artificial intelligence technology capable of performing such recognition and inference, it is necessary to secure a large amount of data set used as learning data.
그러나 현재 오픈 데이터셋 또는 영상의 확보가 용이한 분야가 아닌 대부분의 산업분야들은 충분한 양의 학습 데이터가 없어서 인공지능 기술의 성능을 고도화시키는 것이 어렵다. 이에 따라 영상의 확보가 용이하지 않은 분야에서도 인공지능 학습에 적용할 수 있는 수준의 데이터를 확보할 수 있는 방안이 필요하다.However, in most industrial fields, where it is not easy to obtain open datasets or images, it is difficult to upgrade the performance of artificial intelligence technology because there is not a sufficient amount of learning data. Accordingly, it is necessary to secure a level of data that can be applied to AI learning even in fields where it is not easy to obtain images.
본 발명은 모델링 툴을 이용하여 만들어진 3차원 모델링 데이터와 실제 또는 가상환경의 데이터를 이용하여 학습 데이터를 생성하고 인공지능 모델을 통해 이를 학습하게 하는 것이 가능하며 인공지능 학습에 있어서 타당성을 보장할 수 있는 인공지능 학습용 데이터 생성 시스템을 제시한다.According to the present invention, it is possible to generate learning data using three-dimensional modeling data created using a modeling tool and data from a real or virtual environment, and to learn it through an artificial intelligence model, and to ensure validity in artificial intelligence learning. We present a data generation system for artificial intelligence learning.
그 외 본 발명의 세부적인 목적은 이하에 기재되는 구체적인 내용을 통하여 이 기술분야의 전문가나 연구자에게 자명하게 파악되고 이해될 것이다. In addition, the detailed object of the present invention will be clearly grasped and understood by experts or researchers in the technical field through the detailed contents described below.
위 과제를 해결하기 위하여 본 발명은 실시예로, 물체의 3차원 모델링 데이터로 이루어진 객체데이터와 객체가 존재할 수 있는 환경인 배경데이터를 업로드받고 업로드된 객체데이터와 배경데이터 중 활성화된 객체데이터와 배경데이터를 제공하는 데이터입력부, 상기 데이터입력부로부터 활성화된 객체데이터와 배경데이터를 입력받아 배경데이터에 객체데이터를 합성한 제1합성데이터를 생성하는 데이터합성부, 상기 데이터합성부에서 얻어진 제1합성데이터로부터 객체데이터를 증강시켜 증강된 객체데이터와 배경데이터로 이루어진 제2합성데이터를 생성하는 데이터증강부, 상기 데이터증강부로부터 제2합성데이터를 입력받아 객체데이터의 레이블링을 수행하여 객체데이터, 배경데이터 및 레이블링데이터를 포함하여 이루어지는 제3합성데이터를 생성하는 데이터생성부, 상기 데이터생성부에서 생성된 제3합성데이터를 검증하고 오류를 수정하도록 하는 데이터검증부 및 제3합성데이터를 제1학습데이터로 하여 입력받고 제3합성데이터의 객체가 실물로 포함되고 실제 영상인 제2학습데이터를 혼합하여 학습 데이터셋을 구성하고 일정 수준 이상의 학습 정확도 제공을 위한 제1학습데이터와 제2학습데이터의 비율을 도출하는 인공지능학습부를 포함하는 인공지능 학습용 데이터 생성 시스템을 제시한다.In order to solve the above problem, the present invention is an embodiment, in which object data consisting of three-dimensional modeling data of an object and background data, which is an environment in which objects can exist, are uploaded, and object data and background activated among the uploaded object data and background data A data input unit for providing data, a data synthesizing unit for receiving activated object data and background data from the data input unit and generating first synthesized data obtained by synthesizing the object data with the background data, the first synthesized data obtained from the data synthesizing unit A data augmentation unit that augments the object data from the data augmentation unit to generate second synthesized data composed of the augmented object data and background data, and receives the second synthesized data from the data augmentation unit to label the object data to obtain object data and background data. and a data generating unit generating third synthesized data including labeling data, a data verifying unit verifying the third synthesized data generated by the data generating unit and correcting errors, and converting the third synthesized data into the first learning data The ratio of the first learning data to the second learning data for receiving input as a , the object of the third synthetic data is included as a real thing, and the second learning data, which is an actual image, to form a learning dataset, and to provide learning accuracy above a certain level. We present a data generation system for artificial intelligence learning including an artificial intelligence learning unit that derives
여기에서 상기 데이터입력부는, 객체데이터와 배경데이터가 업로드되고 활성화된 객체데이터와 배경데이터를 상기 데이터합성부로 제공하는 입력유닛, 상기 입력유닛에 업로드된 객체데이터와 배경데이터를 시각적으로 확인할 수 있도록 보여주는 출력유닛 및 객체데이터와 배경데이터를 선택 가능하게 하고 선택된 객체데이터와 배경데이터가 상기 데이터합성부를 제공되도록 하는 활성화유닛을 포함할 수 있다.Here, the data input unit includes an input unit for uploading object data and background data and providing the activated object data and background data to the data synthesizing unit, showing object data and background data uploaded to the input unit to be visually confirmed It may include an output unit and an activation unit that enables selection of object data and background data and provides the selected object data and background data to the data synthesizing unit.
한편 상기 데이터합성부는, 3차원 모델로 이루어진 객체의 위치와 형태를 변환하는 객체데이터변환유닛, 배경데이터를 3차원의 합성 환경이 되도록 변환하는 배경데이터변환유닛 및 상기 배경데이터변환유닛을 통해 변환된 배경데이터와 상기 객체데이터변환유닛을 통해 변환된 객체데이터를 합성시켜 객체와 배경이 합성된 제1합성데이터를 생성하는 데이터합성유닛을 포함할 수 있다.On the other hand, the data synthesizing unit, an object data transformation unit for converting the position and shape of the object made of a three-dimensional model, a background data transformation unit for converting the background data to become a three-dimensional synthesis environment, and the background data transformation unit converted through the and a data synthesizing unit for synthesizing the background data and the object data converted through the object data conversion unit to generate first synthesized data in which the object and the background are synthesized.
또한 상기 객체데이터변환유닛은, 특정 물체의 부분으로 이루어진 객체데이터의 메쉬를 통합하여 해당 물체 전체의 3차원 모델로 이루어지는 객체데이터를 형성하는 메쉬통합모듈, 객체데이터의 위치, 각도를 포함한 정보를 변경하여 조작하는 위치조작모듈 및 상기 위치조작모듈에서 조작하는 객체데이터가 실제에서 가능하지 않은 위치나 각도로 변환되지 않도록 제한하는 변환제한모듈을 포함할 수 있다.In addition, the object data conversion unit is a mesh integration module that integrates the mesh of object data consisting of parts of a specific object to form object data consisting of a three-dimensional model of the entire object, changing information including the position and angle of object data It may include a position manipulation module for manipulating and a conversion limiting module for restricting object data manipulated by the position manipulation module from being converted to positions or angles that are not possible in reality.
한편 상기 데이터증강부는, 상기 제1합성데이터에서 증강의 대상인 객체데이이터의 색상, 이동범위, 회전범위의 조건을 지정하는 특성지정유닛 및 상기 특성지정유닛에서 지정해 준 범위에 따라 상기 제1합성데이터에서 무작위로 객체를 이동, 회전및 세이딩을 수행하여 객체를 증강시키고 증강된 객체와 배경이 각각 하나씩 대응되어 합성된 제2합성데이터를 생성하는 증강수행유닛을 포함할 수 있다.Meanwhile, the data augmentation unit includes a characteristic designation unit for designating conditions of color, movement range, and rotation range of object data to be augmented in the first composite data, and the first composite data according to the range designated by the characteristic designation unit. It may include an augmentation performing unit for randomly moving, rotating, and shading the object to augment the object, and to generate the synthesized second composite data by matching the augmented object and the background one by one.
한편 상기 데이터생성부는, 상기 데이터증강부에서 증강된 제2합성데이터에 포함된 객체데이터에 대하여 레이블링을 수행하는 레이블링유닛, 상기 데이터증강부에서 증강된 데이터 중 지정된 수의 데이터를 입력받아 상기 레이블링유닛에서 레이블링이 수행되도록 하는 한편 입력받은 데이터에 레이블링데이터를 추가하여 객체데이터, 배경데이터 및 레이블링데이터를 포함하여 이루어지는 제3합성데이터를 생성하는 데이터생성유닛 및 상기 데이터생성유닛에서 생성되는 제3합성데이터의 저장 위치, 파일명, 모델별 클래스 ID를 포함한 정보를 지정하는 파일정보생성유닛을 포함할 수 있다.On the other hand, the data generating unit, a labeling unit for performing labeling on the object data included in the second composite data augmented by the data augmentation unit, receives a designated number of data from among the data augmented by the data augmentation unit, the labeling unit A data generation unit that generates third composite data including object data, background data, and labeling data by adding labeling data to the received data while labeling is performed, and the third composite data generated by the data generation unit It may include a file information generation unit for designating information including a storage location, file name, and class ID for each model.
한편 상기 데이터검증부는, 상기 데이터생성부에서 생성된 제3합성데이터가 생성이 될 때 제3합성데이터의 레이블링데이터를 모니터링하고 오류 여부를 판정하는 레이블링검증유닛, 상기 제3합성데이터에서 객체가 배경데이터 내에 존재하는지 모니터링하고 오류 여부를 판정하는 도메인검증유닛 및 상기 레이블링검증유닛과 상기 도메인검증유닛에서 오류로 판정된 제3합성데이터를 유효한 데이터에서 제외하는 오류수정유닛을 포함할 수 있다.On the other hand, the data verification unit includes a labeling verification unit that monitors the labeling data of the third composite data and determines whether or not there is an error when the third composite data generated by the data generator is generated, and the object in the third composite data is background and a domain verification unit that monitors whether data exists in the data and determines whether there is an error, and an error correction unit that excludes, from valid data, the third synthesized data determined as an error by the labeling verification unit and the domain verification unit.
또한 상기 오류수정유닛은, 레이블링데이터에 오류가 있는 경우 상기 데이터합성부에 객체데이터의 합성 과정 중의 오류를 수정하거나 상기 데이터생성부에서 레이블링데이터의 생성 과정 중의 오류를 수정할 것을 요청하는 레이블링수정모듈 및 객체가 배경데이터를 벗어나서 형성된 경우 데이터증강부에 증강이 수행되는 도메인 범위를 제한할 것을 요청하는 도메인수정모듈을 포함할 수 있다.In addition, the error correction unit includes a labeling correction module that, when there is an error in the labeling data, requests the data synthesizing unit to correct an error in the process of synthesizing object data or to correct an error in the process of generating the labeling data in the data generating unit; When the object is formed outside the background data, the data augmentation unit may include a domain modification module for requesting to limit the domain range in which the augmentation is performed.
한편 상기 인공지능학습부는, 학습 모델이 탑재되고 제3합성데이터로 이루어진 제1학습데이터와 제3합성데이터의 객체가 실제 형태로 포함된 영상으로 이루어진 제2학습데이터를 입력받아 인공지능학습을 수행하는 학습유닛, 검증 데이터셋이 저장되어 있고, 상기 학습유닛으로부터 학습된 결과를 입력받아 상기 검증 데이터셋과 비교함으로써 학습이 적절하게 이루어졌는지 검증하는 검증유닛 및 선정기준이 설정되고 상기 검증유닛으로부터 검증 결과를 입력받아 선정기준을 만족하는 경우 검증을 종료하고 선정기준을 만족하는 학습 데이터셋을 인공지능 학습용 데이터로서 채택하는 선정유닛을 포함할 수 있다.On the other hand, the artificial intelligence learning unit is equipped with a learning model and receives the first learning data consisting of the third synthetic data and the second learning data consisting of an image in which the object of the third synthetic data is included in an actual form to perform artificial intelligence learning. A learning unit, a verification dataset are stored, and a verification unit and selection criteria for verifying whether learning has been properly performed by receiving the learned result from the learning unit and comparing it with the verification dataset are set and verified from the verification unit It may include a selection unit that receives a result and, when satisfying the selection criteria, terminates verification and adopts a learning dataset that satisfies the selection criteria as data for artificial intelligence learning.
본 발명의 실시예에 따르면, 특정 산업 분야에서 필요로 하는 인지 대상, 사물(object)들을 3차원 모델로 생성하고, 3차원 모델에 현실성 있게 다양한 효과들을 부가하여 실제로 촬영된 배경과 합성함으로써 실제 데이터와 같은 효과를 가진 다량의 데이터를 확보할 수 있다.According to an embodiment of the present invention, real data is generated by creating a three-dimensional model of recognition objects and objects required in a specific industrial field, and adding various effects to the three-dimensional model realistically and synthesizing it with the actually photographed background. A large amount of data with the same effect can be secured.
또한 이와 같이 확보한 데이터를 인공지능의 학습 데이터로서 사용하고 그 타당성을 검증하여 학습에 적합한 품질의 데이터를 생산할 수 있다.In addition, the data obtained in this way can be used as learning data for artificial intelligence, and its validity can be verified to produce data of quality suitable for learning.
한편 영상 데이터의 확보가 용이하지 않은 산업 분야에서 인공지능 기술의 성능 고도화를 가능하게 하는 대량의 고품질의 데이터를 확보할 수 있다.On the other hand, it is possible to secure a large amount of high-quality data that enables the advancement of the performance of artificial intelligence technology in industrial fields where it is not easy to secure image data.
그 외 본 발명의 효과들은 이하에 기재되는 구체적인 내용을 통하여, 또는 본 발명을 실시하는 과정 중에 이 기술분야의 전문가나 연구자에게 자명하게 파악되고 이해될 것이다. Other effects of the present invention will be clearly understood and understood by an expert or researcher in the art through the specific details described below or during the course of carrying out the present invention.
도 1은 본 발명의 실시예에 따른 인공지능 학습용 데이터 생성 시스템을 나타내는 블럭도.
도 2는 도 1에 도시된 실시예에 채용된 데이터입력부를 나타내는 블럭도.
도 3은 도 1에 도시된 실시예에 채용된 데이터합성부, 데이터증강부, 데이터생성부 및 데이터검증부를 나타내는 블럭도.
도 4는 도 1에 도시된 실시예에 채용된 인공지능학습부를 나타내는 블럭도.
도 5는 도 3의 데이터증강부에서 데이터를 증강하는 예를 나타내는 도면.
도 6은 도 3의 데이터생성부에서 레이블링데이터를 생성하는 예를 나타내는 도면.
도 7은 도 3의 데이터검증부에서 생성된 데이터들을 검증하고 오류를 수정하는 예를 나타내는 도면.1 is a block diagram showing a data generation system for artificial intelligence learning according to an embodiment of the present invention.
Fig. 2 is a block diagram showing a data input unit employed in the embodiment shown in Fig. 1;
3 is a block diagram illustrating a data synthesis unit, a data augmentation unit, a data generation unit, and a data verification unit employed in the embodiment shown in FIG. 1 ;
4 is a block diagram showing an artificial intelligence learning unit employed in the embodiment shown in FIG.
5 is a diagram illustrating an example of augmenting data in the data augmentation unit of FIG. 3;
FIG. 6 is a diagram illustrating an example of generating labeling data in the data generating unit of FIG. 3 ;
7 is a diagram illustrating an example of verifying data generated by the data verification unit of FIG. 3 and correcting errors;
상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.The features and effects of the present invention described above will become more apparent through the following detailed description in relation to the accompanying drawings, whereby those of ordinary skill in the art to which the present invention pertains can easily implement the technical idea of the present invention. will be able Since the present invention can have various changes and can have various forms, specific embodiments are illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to the specific disclosed form, it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention.
이하, 본 발명의 일 실시예에 따른 인공지능 학습용 데이터 생성 시스템에 대해 도면을 참조하여 상세하게 설명한다. 본 명세서에서는 서로 다른 실시예라도 동일유사한 구성에 대해서는 동일유사한 참조번호를 부여하고, 그 설명은 처음 설명으로 갈음한다.Hereinafter, a system for generating data for artificial intelligence learning according to an embodiment of the present invention will be described in detail with reference to the drawings. In the present specification, the same and similar reference numerals are assigned to the same and similar components in different embodiments, and the description is replaced with the first description.
도 1은 본 발명의 실시예에 따른 인공지능 학습용 데이터 생성 시스템을 나타내는 블럭도이다.1 is a block diagram illustrating a data generation system for artificial intelligence learning according to an embodiment of the present invention.
본 발명의 인공지능 학습용 데이터 생성 시스템은 데이터입력부, 데이터합성부, 데이터증강부, 데이터생성부, 데이터검증부 및 인공지능학습부를 포함하여 이루어진다.The data generation system for artificial intelligence learning of the present invention comprises a data input unit, a data synthesis unit, a data augmentation unit, a data generation unit, a data verification unit, and an artificial intelligence learning unit.
데이터입력부(1)는 물체의 3차원 모델링 데이터로 이루어진 객체데이터와 실제 영상으로 이루어진 배경데이터를 업로드받고 업로드된 객체데이터와 배경데이터 중 활성화된 객체데이터와 배경데이터를 제공한다.The
데이터합성부(2)는 데이터입력부로부터 활성화된 객체데이터와 배경데이터를 입력받아 배경데이터에 객체데이터를 합성한 제1합성데이터를 생성한다.The
데이터증강부(3)는 상기 데이터합성부에서 얻어진 제1합성데이터로부터 객체데이터를 증강시켜 증강된 객체데이터와 배경데이터로 이루어진 제2합성데이터를 생한다.The
데이터생성부(4)는 상기 데이터증강부로부터 제2합성데이터를 입력받아 객체데이터의 레이블링을 수행하여 객체데이터, 배경데이터 및 레이블링데이터를 포함하여 이루어지는 제3합성데이터를 생성한다.The
데이터검증부(5)는 상기 데이터생성부에서 생성된 제3합성데이터를 검증하고 오류를 수정하도록 한다.The
인공지능학습부(6)는 제3합성데이터를 제1학습데이터로 하여 입력받고 제3합성데이터의 객체가 실물로 포함되고 실제 영상인 제2학습데이터를 혼합하여 학습 데이터셋을 구성하고 학습의 정확도가 일정 수준 이상인 제1학습데이터와 제2학습데이터의 비율을 도출한다.The artificial
이하 각 구성에 대하여 도면을 참조하여 상세하게 설명한다.Hereinafter, each configuration will be described in detail with reference to the drawings.
도 2는 도 1에 도시된 실시예에 채용된 데이터입력부를 나타내는 블럭도이다.FIG. 2 is a block diagram illustrating a data input unit employed in the embodiment shown in FIG. 1 .
데이터입력부(1)는 객체데이터와 배경데이터를 업로드받음과 동시에 업로드된 객체데이터와 배경데이터 중 활성화된 객체데이터와 배경데이터를 제공하는 구성으로서, 입력유닛(11), 출력유닛(12) 및 활성화유닛(13)을 포함하여 이루어질 수 있다.The
데이터입력부(1)는 파일 브라우저의 형태를 가질 수 있고 이러한 파일 브라우저에 업로드할 파일을 호출하여 데이터입력부(1)에 데이터를 업로드할 수 있다.The
여기에서 객체데이터란 인공지능을 통해 식별하고자 하는 대상의 모델링된 3차원 파일로서 예를 들면 항공기, 자동차, 건축자재 등의 전체 부분이나 일부 부분이 될 수 있다. 한편 배경데이터란 이러한 식별 대상이 존재할 수 있는 장소와 관련된 2차원의 영상, 이미지 파일이나 3차원의 영상, 이미지 파일로서 예를 들면 공항의 사진이나 동영상, 도로의 사진이나 동영상, 공사장의 사진이나 동영상 등의 실제 또는 가상환경의 데이터가 될 수 있다. 객체데이터와 배경데이터는 파일 형태로 이루어질 수 있다. Here, object data is a modeled three-dimensional file of an object to be identified through artificial intelligence, and may be, for example, all or part of an aircraft, automobile, building material, etc. On the other hand, background data is a two-dimensional image, image file, or three-dimensional image or image file related to a place where the object of identification may exist, for example, a photograph or video of an airport, a photograph or video of a road, or a photograph or video of a construction site. It can be data of real or virtual environment such as Object data and background data may be in the form of a file.
데이터입력부(1)를 통해 이와 같은 객체데이터와 배경데이터를 업로드할 수 있다. 이때 여러 개의 데이터를 업로드할 수 있으며, 업로드한 파일은 저장유닛에 저장될 수 있고, UI 패널과 같은 출력유닛(12)을 통해서 확인이 가능하다.Such object data and background data may be uploaded through the
사용자가 프로그램을 실행하면 원하는 합성 환경을 구축하도록 입력유닛(11)을 통해 객체데이터와 배경데이터가 업로드되고, 출력유닛(12)을 통해 데이터의 목록을 확인할 수 있으며, 체크박스와 같은 활성화유닛(13)을 통해 데이터의 활성화와 비활성화가 가능하다.When the user executes the program, object data and background data are uploaded through the
도 3은 도 1에 도시된 실시예에 채용된 데이터합성부, 데이터증강부, 데이터생성부 및 데이터검증부를 나타내는 블럭도이다.3 is a block diagram illustrating a data synthesis unit, a data augmentation unit, a data generation unit, and a data verification unit employed in the embodiment shown in FIG. 1 .
데이터합성부(2)는 객체데이터와 배경데이터를 입력받아 배경데이터에 객체데이터를 다양한 형태로 합성할 수 있도록 변환하여 사용자가 원하는 상황의 합성 환경을 구축하고 변환된 객체데이터와 배경데이터를 합성한 제1합성데이터를 생성하는 구성으로서, 객체데이터변환유닛(21), 배경데이터변환유닛(22) 및 데이터합성유닛(23)을 포함하여 구성될 수 있다.The
객체데이터변환유닛(21)은 3차원 모델로 이루어진 객체를 인공지능 학습용 데이터로 사용하기 적합하도록 객체의 위치와 형태 등을 변환하는 구성으로서, 메쉬통합모듈(211), 위치조작모듈(212) 및 변환제한모듈(213)을 포함하여 이루어질 수 있다.The object
3차원 모델은 개발자에 의해 부분으로 나뉘어져 이루어질 수 있다. 항공기를 예로 들면 3차원 모델이 항공기 하나로 구성된 것이 아니라 날개, 몸체 등이 각각 나뉘어진 모델로 존재할 수 있다. 이때 메쉬통합모듈(211)은 날개, 몸체를 이루는 메쉬를 통합하여 하나의 항공기로 이루어진 3차원 모델을 형성할 수 있다. 메쉬통합모듈(211)은, 객체데이터가 데이터합성부(2)에 입력될 때 실시간으로 그 모델의 하위 메쉬(Mesh)를 검색하여 각 하위 메쉬들을 하나의 메쉬로 통합하고 통합된 메쉬와 좌표정보를 최적화한 후 하나의 객체로 적용하게 된다.The 3D model may be divided into parts by the developer. Taking an aircraft as an example, the three-dimensional model may exist as a model in which wings, body, and the like are divided, rather than consisting of one aircraft. At this time, the
위치조작모듈(212)은 객체데이터와 배경데이터를 적절히 합성시키기 위해서 객체데이터의 위치, 각도 등을 조작 가능하게 하는 구성으로서, 마우스와 같은 입력수단의 입력에 따른 이벤트로 조작이 가능하다. 예를 들면 좌 클릭 드래그를 통해 객체데이터의 x,y좌표상의 위치를 이동시킬 수 있고, 우 클릭 드래그를 통해 드래그 방향으로 회전이 가능하다. 또 휠을 사용하여 z 좌표(depth)상의 위치를 이동시킬 수 있다. 이에 따라 객체를 다양한 위치로 할 수 있다.The
한편 변환제한모듈(213)은 객체의 위치와 각도의 조작시 실제로 가능하지 않은 위치나 각도는 제한되도록 하는 구성으로서 객체의 현실적 특징을 잘 반영할 수 있는 데이터를 생성할 수 있도록 하여 학습 데이터의 품질을 향상시킬 수 있다.On the other hand, the
배경데이터변환유닛(22)은 배경데이터를 카메라 위치에 맞게 조정하여 3차원 합성 환경을 구축해 주는 구성이다. 배경 데이터에 활용되는 2차원 이미지는 업로드 시 카메라에 타게팅 되는 렌더 텍스처에 적용(매핑)이 되며, 영상의 경우 프레임에 따라 실시간으로 생성 및 갱신이 될 수 있다. 3차원 영상 및 이미지는 업로드 시 3차원 환경상에서 카메라의 위치 및 객체의 생성 포인트에 따라 적절하게 생성 및 조정되며 카메라 시점 조정에 따라 다양한 배경데이터를 구축할 수 있다.The background
이와 같은 구성에 의해 데이터합성부(2)가 하위 모델(전체 모델의 부분)들로 이루어져 있는 객체데이터를 데이터입력부(1)로부터 입력받으면, 메쉬통합모듈(211)은 하위 모델들의 메쉬(Mesh)를 취합하여 하나의 메쉬(Mesh)로 통합시킨다. 통합이 완료된 모델은 새롭게 구성된 하나의 메쉬(Mesh)를 갖게 된다.When the
한편 배경데이터로 영상데이터가 입력된 경우 영상을 프레임에 따라 렌더 텍스처로 변환한다. 이와 같이 변환된 배경데이터에 사용자가 마우스와 같은 입력수단을 통해 객체를 원하는 위치나 각도로 조절할 수 있다.On the other hand, when image data is input as background data, the image is converted into a render texture according to the frame. In the background data converted in this way, the user can adjust the object to a desired position or angle through an input means such as a mouse.
데이터합성유닛(23)은 배경데이터와 객체데이터를 합성시켜 줌으로써 데이터합성유닛(23)을 통해 객체와 배경이 합성된 제1합성데이터를 얻을 수 있다. 얻어진 제1합성데이터는 저장유닛에 저장될 수 있다.The
데이터증강부(3)는 데이터합성부(2)에서 얻어진 제1합성데이터로부터 객체를 증강시켜 증강된 객체데이터와 배경데이터로 이루어진 제2합성데이터를 생성한다. 이에 따라 구축되어있는 합성 환경 안에서 데이터 증강을 통해 다량의 데이터를 생성할 수 있다.The
도 5에는 데이터증강부에서 데이터를 증강하는 예가 도시되어 있다. 도 5a는 증강된 데이터를 3차원 공간에서 표시한 것이고 도 5b는 증강된 데이터를 2차원 평면에서 표시한 것이다.5 shows an example of augmenting data in the data augmentation unit. 5A is a display of augmented data in a three-dimensional space, and FIG. 5B is a display of augmented data in a two-dimensional plane.
참고로 제1합성데이터와 제2합성데이터는 실질적으로 동일한 데이터이며 다만 예를 들어 제1합성데이터가 10개의 데이터였다면 데이터증강부(3)를 거치는 경우 100개의 데이터로 증강시킬 수 있다. 이때 배경데이터는 증강되지 않으므로 100개의 데이터의 배경데이터는 그 종류가 10개로 유지된다.For reference, the first composite data and the second composite data are substantially the same data. However, for example, if the first composite data is 10 data, the data can be augmented to 100 data through the
데이터증강부(3)는 특성지정유닛(31)과 증강수행유닛(32)을 포함하여 구성될 수 있다. 특성지정유닛(31)은 증강의 대상인 객체데이이터의 색상, 이동범위, 회전범위 등의 조건을 지정한다. 한편 증강수행유닛(32)은 특성지정유닛(31)에서 지정해 준 범위에 따라 랜덤하게 객체를 이동하거나 회전하거나 세이딩을 수행한다.The
구체적으로 특성지정유닛(31)은 UI 패널에서 객체데이터인 각 3차원 모델의 색상을 선택하고 3차원 좌표계(x, y, z)에서의 이동 범위와 회전 범위를 입력한다. 증강수행유닛(32)은 입력된 범위 내에서 랜덤 값을 생성하고 그 좌표로 3차원 모델을 이동, 회전한다. 한편 셰이딩의 경우, 광원이 고정되어 있기 때문에 이동 및 회전을 할 때마다 변화된다. 이는 라이트닝 연산이 매 프레임마다 일어나기 때문이다. 이동, 회전, 라이트닝 연산까지 마친 후 생성된 제2합성데이터는 후술하는 데이터생성부(4)에 의해 레이블링이 이루어진다.Specifically, the
이와 같이 증강 횟수마다 객체데이터가 무작위로 변화되기 때문에 도메인 랜덤화(Domain Randomization : DR)가 수행된다고 볼 수 있다. 객체데이터에 대한 조건을 지정하는 것은 사용자의 입력으로도 가능할 수 있다.As such, it can be seen that domain randomization (DR) is performed because object data is randomly changed for each augmentation number. Specifying conditions for object data may also be possible with user input.
데이터생성부(4)는 데이터증강부(3)로부터 객체가 증강되어 생성된 제2합성데이터를 입력받아 객체데이터의 레이블링을 수행하여 객체데이터, 배경데이터 및 레이블링데이터를 포함하여 이루어지는 제3합성데이터를 생성하는 구성으로서, 파일정보생성유닛(41), 레이블링유닛(42), 데이터생성유닛(43)을 포함하여 구성된다.The
파일정보생성유닛(41)은 생성되는 파일의 저장 위치, 파일명, 모델별 클래스 ID를 지정할 수 있다. 파일정보생성유닛(41)이 지정한 위치에 지정된 파일명과 클래스 ID로 제3합성데이터가 저장될 수 있다.The file
레이블링유닛(42)은 제2합성데이터에서 객체데이터를 레이블링한다. 한 예로서 레이블링은 바운딩박스로 수행된다(도 6 참조). 이때 객체데이터의 메쉬(Mesh)의 꼭짓점인 버텍스(Vertex)를 이용한다. 데이터합성부(2)에서 객체데이터에 대한 메쉬(Mesh)의 통합이 이루어졌으므로 객체데이터 하나에 레이블링데이터 하나가 생성될 수 있다.The
이때 바운딩박스를 이용한 레이블링의 원리는, 메쉬의 버텍스(vertex)들의 좌표를 모두 검증하여 3차원 좌표계의 x, y 축의 최대값(max), 최소값(min)을 도출하여 GUI 상에서 박스를 생성한다. 하위 모델들로 이루어진 객체데이터의 메쉬가 통합되지 않는다면, 하나의 객체 당 여러 개의 레이블링 클래스가 적용이 되고 오류가 날 수 있다. 구체적으로 하위 모델로서 날개와 몸체로 이루어진 항공기의 경우 메쉬가 통합되지 않으면 날개와 몸체 각각에 대하여 레이블링이 이루어지고 항공기 전체에 대해서는 레이블링이 이루어지지 않을 수 있다.In this case, the principle of labeling using the bounding box is to verify all the coordinates of the vertices of the mesh and derive the maximum (max) and minimum (min) of the x and y axes of the three-dimensional coordinate system to generate a box on the GUI. If the mesh of object data consisting of sub-models is not integrated, several labeling classes per one object may be applied and errors may occur. Specifically, in the case of an aircraft consisting of a wing and a body as a sub-model, if the mesh is not integrated, labeling may be made for each of the wing and body, and labeling may not be made for the entire aircraft.
이와 같이 메쉬 통합 후 레이블링을 진행함으로써 레이블링 오류를 방지하고, 데이터의 신뢰성을 높일 수 있다.In this way, by performing labeling after mesh integration, labeling errors can be prevented and data reliability can be improved.
데이터생성유닛(43)에서는 입력되는 제2합성데이터의 수를 지정하고 지정된 수의 제2합성데이터를 입력받아 제2합성데이터에 레이블링데이터를 추가하여 객체데이터, 배경데이터 및 레이블링데이터를 포함하여 이루어지는 제3합성데이터를 생성한다. 생성된 제3합성데이터는 저장유닛에 저장될 수 있다. The
데이터생성유닛(43)에서 사용하고자 하는 제2합성데이터의 수를 지정하고 지정된 수만큼 제2합성데이터를 입력받으면 해당 제2합성데이터에 대하여 레이블링유닛(42)에서 레이블링이 이루어지며 데이터생성유닛(43)은 생성된 레이블링데이터를 제2합성데이터에 추가하여 제3합성데이터를 생성한다. 생성된 제3합성데이터는 파일정보생성유닛(41)이 지정한 위치에 지정된 파일명과 클래스 ID로 저장된다.When the
이때 저장 위치, 파일명, 사용하는 제2합성데이터의 수는 사용자가 UI 패널의 입력창을 통해 입력할 수도 있다.At this time, the storage location, the file name, and the number of the second composite data to be used may be input by the user through the input window of the UI panel.
데이터검증부(5)는 생성된 제3합성데이터를 검증하고 오류를 수정하도록 피드백을 적용할 수 있는 구성으로서, 레이블링검증유닛(51), 도메인검증유닛(52) 및 오류수정유닛(53)을 포함하여 구성된다.The
이에 따라 레이블링데이터와 도메인상의 객체데이터를 모니터링하고 적합하지 않은 레이블링데이터 또는 객체데이터를 가진 제3합성데이터를 제거하거나 데이터증강부(3)에서 도메인 랜덤 범위를 제한하게 된다. 데이터검증부(5)를 통해 검증이 완료된 제3합성데이터는 인공지능학습부(6)에서 제1학습테이터로 사용되게 된다. Accordingly, the labeling data and the object data on the domain are monitored, and the third composite data with inappropriate labeling data or object data is removed or the domain random range is limited in the
레이블링검증유닛(51)은 제3합성데이터가 생성이 될 때마다 객체 및 레이블링데이터를 모니터링하고 오류 여부를 판정한다. 예를 들어 레이블링데이터에서 바운딩박스가 여러 개인 것이 있는지 모니터링할 수 있다.The
도메인검증유닛(52)은 제3합성데이터에서 객체가 배경데이터의 내에 존재하는지 모니터링하고 오류 여부를 판정한다. 예를 들어 데이터증강부(3)의 특성지정유닛(31)에서 도메인 랜덤 범위를 지정했을 때, 객체가 도메인 내에 일부만 나타난 것이 있는지 모니터링한다.(도 7a 및 도 7b 참조)The
오류수정유닛(53)은 레이블링검증유닛(51)과 도메인검증유닛(52)에서 오류로 판정된 제3합성데이터를 제1학습데이터에서 제외하거나 삭제하고 데이터합성부(2)나 데이터증강부(3)에 메쉬 통합이나 도메인 범위의 수정을 요청하는 구성으로서 레이블링수정모듈(531), 도메인수정모듈(532)을 포함하여 구성될 수 있다.The
레이블링수정모듈(531)은 레이블링데이터에 오류가 있으면 데이터생성부(4)의 레이블링유닛(42)이나 데이터합성부(2)의 객체데이터변환유닛(21)에 오류를 수정할 것을 요청한다. 예를 들어 여러 개의 바운딩박스가 생성된 경우 레이블링수정모듈(531)은 객체데이터변환유닛(21)에 해당 객체의 메쉬가 불완전하게 통합되었음을 알리고 해당 객체의 메쉬 통합을 재수행할 것을 지시한다.If there is an error in the labeling data, the
도메인수정모듈(532)은 객체가 배경데이터를 벗어나서 형성된 경우 데이터증강부(3)의 특성지정유닛(31)에 도메인 범위를 제한할 것을 지정한다.The
예를 들면 객체가 배경데이터를 벗어나지 않도록 특성지정유닛(31)에 도메인 범위를 제한하도록 지정할 수 있다. 도 7c와 도 7d를 참조하면 카메라와 물체의 거리에 따라 렌더링 범위가 달라진다. 물체가 실제 데이터(배경)와 가까워질수록, 즉 z 값이 커질수록 x, y좌표에는 큰 값이 가감될 수 있다. 이를 카메라 시점 각도인 'θ'를 이용하여 x좌표는 Z*tan(θ) 만큼, y좌표는 Z*tan(θ)*(세로/가로) 만큼의 범위에 객체가 포함될 수 있도록 도메인 범위를 제한하도록 할 수 있다.For example, it can be designated to limit the domain range to the
한편 사용자가 로그 정보를 확인하여 직접 데이터를 검증할 수도 있다. 인공지능 모델을 학습시킬 때 사용자마다 기준이 다르므로, 모니터링을 통해 자신의 기준을 충족하는 적합한 데이터인지 검증할 수 있다. Meanwhile, the user can verify the data directly by checking the log information. Since each user has different criteria when training an AI model, monitoring can verify whether the data is suitable for meeting their criteria.
도 4는 도 1에 도시된 실시예에 채용된 인공지능학습부를 나타내는 블럭도이다.4 is a block diagram illustrating an artificial intelligence learning unit employed in the embodiment shown in FIG. 1 .
인공지능학습부(6)는 제3합성데이터(객체+배경+레이블링)로 이루어진 제1학습데이터와 제3합성데이터의 객체가 실제로 포함된 영상(사진 또는 동영상)인 제2학습데이터를 혼합한 학습 데이터셋을 구성하고 인공지능 모델 학습에 어느 정도 비율의 제2학습데이터가 포함될 때 학습의 정확도가 높아지는지 검증하는 구성으로서, 학습유닛(61), 검증유닛(62), 선정유닛(63)을 포함하여 구성될 수 있다.The artificial
학습유닛(61)은 학습 모델이 탑재되고 제1학습데이터와 제2학습데이터를 입력받아 인공지능학습을 수행한다. 학습 모델로는 이미지 패턴 분석에 적합한 인공지능 알고리즘(예: RCNN, YOLO, SSD 등)을 이용할 수 있다.The
한편 학습유닛(61)을 통해 학습에 필요한 학습률(learning rate), 배치사이즈, 학습횟수 등의 하이퍼파라미터를 설정할 수 있고 구성하려는 제1학습데이터와 제2학습데이터의 비율을 설정할 수 있다. 이와 같이 하이퍼파라미터와 학습 데이터셋의 비율을 설정한 후 학습 데이터셋을 이용한 학습을 반복한다.Meanwhile, hyperparameters such as a learning rate, batch size, and number of learning times required for learning can be set through the
예를 들어 제1학습데이터가 객체가 항공기, 배경이 공항, 레이블링이 항공기에 대한 바운딩박스로 구성되고 제2학습데이터가 해당 항공기가 포함된 공항의 사진 이미지 데이터일 경우 이들 제1학습데이터와 제2학습데이터의 비율을 달리하여 학습을 수행할 수 있다.For example, if the first learning data consists of an object as an aircraft, a background as an airport, and a labeling as a bounding box for an aircraft, and the second learning data is photo image data of an airport including the aircraft, these first learning data and 2 Learning can be performed by varying the ratio of the learning data.
검증유닛(62)은 검증 데이터셋이 저장되어 있고, 학습유닛(61)으로부터 학습된 결과를 입력받아 검증 데이터셋과 비교하여 학습이 적절하게 이루어졌는지 검증한다. 검증 데이터셋은 특정 학습 데이터셋을 이용하여 학습을 수행할 때 어느 정도의 성능을 가지는지 검증할 수 있는 평가 지표를 제공하는 데이터셋이다.The
이때 검증 데이터셋은 학습 데이터셋에 사용되지 않은 데이터로 구성한다. 학습 데이터셋을 이용한 학습을 반복함에 따라 모델의 정확도가 높아지고 검증 데이터셋을 이용하여 성능에 대한 여러 지표를 검증하게 된다. 한편 검증 과정에서 하이퍼파라미터의 미세조정이 이루어 질 수 있다.At this time, the validation dataset consists of data not used in the training dataset. As learning using the training dataset is repeated, the accuracy of the model increases and various performance indicators are verified using the validation dataset. Meanwhile, fine-tuning of hyperparameters can be made during the verification process.
예를 들어 학습유닛(61)으로부터 학습한 결과를 미리 구성된 검증 데이터에 적용하여 mAP(mean Average Precision) 및 성능 지표를 산출한다. 지정한 학습 횟수만큼 학습을 반복한 후 도출된 mAP 중 가장 높은 값이 최종 정확도를 나타내는 확률로서 표시될 수 있다.For example, a mean average precision (mAP) and a performance index are calculated by applying a result learned from the
선정유닛(63)은 선정기준이 설정되고 검증유닛(62)으로부터 검증 결과인 mAP를 입력받아 선정기준을 만족하는 경우 검증을 종료하고 선정기준을 만족하는 학습 데이터셋을 인공지능 학습용 데이터로서 채택한다.The
선정기준을 만족하는 학습 데이터셋이 없는 경우 선정기준을 만족할 때 까지 학습유닛(61)에서 제1학습데이터와 제2학습데이터의 비율 혹은 하이퍼파라미터를 재설정하도록 하여 학습을 반복한다.If there is no learning dataset that satisfies the selection criteria, the
선정기준(mAP 조건)을 만족하는 학습 데이터셋(제1학습데이터와 제2학습데이터)으로 채택된 데이터는 별도로 저장될 수 있다.Data adopted as a learning dataset (first learning data and second learning data) satisfying the selection criterion (mAP condition) may be stored separately.
구체적으로 mAP가 90%인 선정기준을 마련한 상태에서 제1학습데이터 100% 제2학습데이터 0%를 이용하여 학습유닛(61)에서 100회 반복(epoch=100)하여 학습한 후 검증유닛(62)을 통한 최종 mAP가 83%이고, 제2학습데이터 90% 제2학습데이터 10%를 이용하여 학습유닛(61)에서 100회 반복(epoch=100)하여 학습한 후 검증유닛(62)을 통한 최종 mAP가 87%이며, 제1학습데이터 80% 제2학습데이터 20%를 이용하여 학습유닛(61)에서 100회 반복(epoch=100)하여 학습한 후 검증유닛(62)을 통한 최종 mAP가 90%인 경우 이때 학습을 종료하고 mAP가 90%인 학습 데이터셋을 인공지능 학습용 데이터로서 저장할 수 있다.Specifically, in a state in which the selection criteria of 90% mAP are prepared, the
한편 예외적으로 일정 횟수 위 과정을 반복하였음에도 mAP가 목표치에 도달하지 않는다면 사용자는 객체의 3D 모델링 이미지에 이상이 있는지 또는 데이터생성부(4)에서 생성된 데이터에 이상이 없는지 확인하고 이를 수정함으로써 대응할 수 있다.On the other hand, exceptionally, if the mAP does not reach the target value even after repeating the above process a certain number of times, the user can respond by checking whether there is an abnormality in the 3D modeling image of the object or in the data generated by the
상기와 같이 인공지능 학습용 데이터 생성 시스템은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, in the data generation system for artificial intelligence learning, the configuration and method of the above-described embodiments are not limitedly applicable, but all or part of each embodiment is selectively combined so that various modifications can be made. may be configured.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the detailed description of the present invention described above has been described with reference to a preferred embodiment of the present invention, those skilled in the art or those having ordinary knowledge in the art will have the spirit of the present invention described in the claims to be described later. And it will be understood that various modifications and variations of the present invention can be made without departing from the technical scope.
1 : 데이터입력부
11 : 입력유닛 12 : 출력유닛 13 : 활성화유닛
2 : 데이터합성부
21 : 객체데이터변환유닛
211 : 메쉬통합모듈 212 : 위치조작모듈 213 : 변환제한모듈
22 : 배경데이터변환유닛 23 : 데이터합성유닛
3 : 데이터증강부 31 : 특성지정유닛 32 : 증강수행유닛
4 : 데이터생성부
41 : 파일정보생성유닛 42 : 레이블링유닛 43 : 데이터생성유닛
5 : 데이터검증부
51 : 레이블링검증유닛 52 : 도메인검증유닛 53 : 오류수정유닛
531 : 레이블링수정모듈 532 : 도메인수정모듈
6 : 인공지능학습부 61 : 학습유닛 62 : 검증유닛 63 : 선정유닛
100 : 인공지능 학습용 데이터 생성 시스템1: data input part
11: input unit 12: output unit 13: activation unit
2: data synthesis unit
21: object data conversion unit
211: mesh integration module 212: position manipulation module 213: transformation limit module
22: background data conversion unit 23: data synthesis unit
3: data augmentation unit 31: characteristic designation unit 32: augmentation execution unit
4: data generation unit
41: file information generating unit 42: labeling unit 43: data generating unit
5: Data verification unit
51: labeling verification unit 52: domain verification unit 53: error correction unit
531: labeling correction module 532: domain correction module
6: artificial intelligence learning unit 61: learning unit 62: verification unit 63: selection unit
100: Data generation system for artificial intelligence learning
Claims (9)
상기 데이터입력부로부터 활성화된 객체데이터와 배경데이터를 입력받아 배경데이터에 객체데이터를 합성한 제1합성데이터를 생성하는 데이터합성부,
상기 데이터합성부에서 얻어진 제1합성데이터로부터 객체데이터를 증강시켜 증강된 객체데이터와 배경데이터로 이루어진 제2합성데이터를 생성하는 데이터증강부,
상기 데이터증강부로부터 제2합성데이터를 입력받아 객체데이터의 레이블링을 수행하여 객체데이터, 배경데이터 및 레이블링데이터를 포함하여 이루어지는 제3합성데이터를 생성하는 데이터생성부,
상기 데이터생성부에서 생성된 제3합성데이터를 검증하고 오류를 수정하도록 하는 데이터검증부 및
제3합성데이터를 제1학습데이터로 하여 입력받고 제3합성데이터의 객체가 실물로 포함되고 실제 영상인 제2학습데이터를 혼합하여 학습 데이터셋을 구성하고 일정 수준 이상의 학습 정확도 제공을 위한 제1학습데이터와 제2학습데이터의 비율을 도출하는 인공지능학습부를 포함하고,
상기 데이터검증부는,
상기 데이터생성부에서 생성된 제3합성데이터가 생성이 될 때 제3합성데이터의 레이블링데이터를 모니터링하고 오류 여부를 판정하는 레이블링검증유닛,
상기 제3합성데이터에서 객체가 배경데이터 내에 존재하는지 모니터링하고 오류 여부를 판정하는 도메인검증유닛 및
상기 레이블링검증유닛과 상기 도메인검증유닛에서 오류로 판정된 제3합성데이터를 유효한 데이터에서 제외하는 오류수정유닛
을 포함하는 인공지능 학습용 데이터 생성 시스템.A data input unit that receives object data consisting of three-dimensional modeling data of an object and background data, which is an environment in which objects can exist, and provides active object data and background data among the uploaded object data and background data;
a data synthesizing unit that receives the activated object data and background data from the data input unit and generates first synthesized data obtained by synthesizing the object data with the background data;
a data augmentation unit that augments object data from the first synthesized data obtained in the data synthesis unit to generate second synthesized data composed of the augmented object data and background data;
A data generating unit that receives the second synthesized data from the data augmentation unit and performs labeling of the object data to generate third synthesized data including object data, background data, and labeling data;
a data verification unit that verifies the third synthesized data generated by the data generation unit and corrects errors; and
The third synthetic data is input as the first learning data, the object of the third synthetic data is included as a real thing, and the second learning data that is an actual image is mixed to configure a learning dataset, and the first for providing learning accuracy above a certain level Includes an artificial intelligence learning unit that derives the ratio of the learning data and the second learning data,
The data verification unit,
a labeling verification unit that monitors the labeling data of the third composite data and determines whether there is an error when the third composite data generated by the data generator is generated;
a domain verification unit for monitoring whether an object exists in the background data in the third composite data and determining whether there is an error; and
an error correction unit for excluding from valid data the third synthesized data determined to be an error by the labeling verification unit and the domain verification unit
A data generation system for artificial intelligence learning that includes.
상기 데이터입력부는,
객체데이터와 배경데이터가 업로드되고 활성화된 객체데이터와 배경데이터를 상기 데이터합성부로 제공하는 입력유닛,
상기 입력유닛에 업로드된 객체데이터와 배경데이터를 시각적으로 확인할 수 있도록 보여주는 출력유닛 및
객체데이터와 배경데이터를 선택 가능하게 하고 선택된 객체데이터와 배경데이터가 상기 데이터합성부를 제공되도록 하는 활성화유닛
을 포함하는 인공지능 학습용 데이터 생성 시스템.According to claim 1,
The data input unit,
an input unit for uploading object data and background data and providing the activated object data and background data to the data synthesizing unit;
an output unit showing the object data and background data uploaded to the input unit to be visually confirmed; and
An activation unit for making object data and background data selectable and providing the selected object data and background data to the data synthesizing unit
A data generation system for artificial intelligence learning that includes.
상기 데이터합성부는,
3차원 모델로 이루어진 객체의 위치와 형태를 변환하는 객체데이터변환유닛,
배경데이터를 3차원의 합성 환경이 되도록 변환하는 배경데이터변환유닛 및
상기 배경데이터변환유닛을 통해 변환된 배경데이터와 상기 객체데이터변환유닛을 통해 변환된 객체데이터를 합성시켜 객체와 배경이 합성된 제1합성데이터를 생성하는 데이터합성유닛
을 포함하는 인공지능 학습용 데이터 생성 시스템.According to claim 1,
The data synthesizing unit,
An object data conversion unit that transforms the position and shape of an object consisting of a three-dimensional model,
a background data conversion unit that transforms the background data into a three-dimensional synthesis environment; and
A data synthesizing unit for synthesizing the background data converted through the background data conversion unit and the object data converted through the object data conversion unit to generate first synthesized data in which the object and the background are synthesized
A data generation system for artificial intelligence learning that includes.
상기 객체데이터변환유닛은,
특정 물체의 부분으로 이루어진 객체데이터의 메쉬를 통합하여 해당 물체 전체의 3차원 모델로 이루어지는 객체데이터를 형성하는 메쉬통합모듈,
객체데이터의 위치, 각도를 포함한 정보를 변경하여 조작하는 위치조작모듈 및
상기 위치조작모듈에서 조작하는 객체데이터가 실제에서 가능하지 않은 위치나 각도로 변환되지 않도록 제한하는 변환제한모듈
을 포함하는 인공지능 학습용 데이터 생성 시스템.4. The method of claim 3,
The object data conversion unit,
A mesh integration module that integrates the mesh of object data consisting of parts of a specific object to form object data consisting of a three-dimensional model of the entire object;
a position manipulation module that changes and manipulates information including the position and angle of object data; and
A conversion limiting module that restricts object data operated by the position manipulation module from being converted to a position or angle that is not possible in reality.
A data generation system for artificial intelligence learning that includes.
상기 데이터증강부는,
상기 제1합성데이터에서 증강의 대상인 객체데이이터의 색상, 이동범위, 회전범위의 조건을 지정하는 특성지정유닛 및
상기 특성지정유닛에서 지정해 준 범위에 따라 상기 제1합성데이터에서 무작위로 객체를 이동, 회전및 세이딩을 수행하여 객체를 증강시키고 증강된 객체와 배경이 각각 하나씩 대응되어 합성된 제2합성데이터를 생성하는 증강수행유닛
을 포함하는 인공지능 학습용 데이터 생성 시스템.According to claim 1,
The data enhancement unit,
a characteristic designation unit for designating conditions of color, movement range, and rotation range of object data to be augmented in the first composite data; and
The object is augmented by randomly moving, rotating and shading the object in the first composite data according to the range specified by the characteristic designation unit, and the second composite data synthesized by matching the augmented object and the background one by one The augmented execution unit that creates
A data generation system for artificial intelligence learning that includes.
상기 데이터생성부는,
상기 데이터증강부에서 증강된 제2합성데이터에 포함된 객체데이터에 대하여 레이블링을 수행하는 레이블링유닛,
상기 데이터증강부에서 증강된 데이터 중 지정된 수의 데이터를 입력받아 상기 레이블링유닛에서 레이블링이 수행되도록 하는 한편 입력받은 데이터에 레이블링데이터를 추가하여 객체데이터, 배경데이터 및 레이블링데이터를 포함하여 이루어지는 제3합성데이터를 생성하는 데이터생성유닛 및
상기 데이터생성유닛에서 생성되는 제3합성데이터의 저장 위치, 파일명, 모델별 클래스 ID를 포함한 정보를 지정하는 파일정보생성유닛
을 포함하는 인공지능 학습용 데이터 생성 시스템.According to claim 1,
The data generation unit,
a labeling unit for performing labeling on the object data included in the second composite data augmented by the data augmentation unit;
A third synthesis comprising object data, background data, and labeling data by adding a labeling data to the received data while receiving a specified number of data from among the data augmented by the data augmentation unit to perform labeling in the labeling unit a data generating unit that generates data; and
A file information generating unit for designating information including a storage location of the third synthesized data generated by the data generating unit, a file name, and a class ID for each model
A data generation system for artificial intelligence learning that includes.
상기 오류수정유닛은,
레이블링데이터에 오류가 있는 경우 상기 데이터합성부에 객체데이터의 합성 과정 중의 오류를 수정하거나 상기 데이터생성부에서 레이블링데이터의 생성 과정 중의 오류를 수정할 것을 요청하는 레이블링수정모듈 및
객체가 배경데이터를 벗어나서 형성된 경우 데이터증강부에 증강이 수행되는 도메인 범위를 제한할 것을 요청하는 도메인수정모듈
을 포함하는 인공지능 학습용 데이터 생성 시스템.According to claim 1,
The error correction unit is
If there is an error in the labeling data, a labeling correction module that requests the data synthesizing unit to correct an error during the synthesizing process of object data or the data generating unit to correct an error during the labeling data generation process; and
When an object is formed outside the background data, the domain modification module requests the data augmentation unit to limit the domain range in which the augmentation is performed.
A data generation system for artificial intelligence learning that includes.
상기 인공지능학습부는,
학습 모델이 탑재되고 제3합성데이터로 이루어진 제1학습데이터와 제3합성데이터의 객체가 실제 형태로 포함된 영상으로 이루어진 제2학습데이터를 입력받아 인공지능학습을 수행하는 학습유닛,
검증 데이터셋이 저장되어 있고, 상기 학습유닛으로부터 학습된 결과를 입력받아 상기 검증 데이터셋과 비교함으로써 학습이 적절하게 이루어졌는지 검증하는 검증유닛 및
선정기준이 설정되고 상기 검증유닛으로부터 검증 결과를 입력받아 선정기준을 만족하는 경우 검증을 종료하고 선정기준을 만족하는 학습 데이터셋을 인공지능 학습용 데이터로서 채택하는 선정유닛
을 포함하는 인공지능 학습용 데이터 생성 시스템.According to claim 1,
The artificial intelligence learning unit,
A learning unit equipped with a learning model and receiving first learning data made of third synthetic data and second learning data comprising an image in which an object of the third synthetic data is included in an actual form to perform artificial intelligence learning;
A verification unit that stores a verification data set, receives the learned result from the learning unit and compares it with the verification data set to verify whether learning is properly performed; and
Selection unit that sets the selection criteria and receives the verification result from the verification unit, ends the verification when the selection criteria are satisfied, and adopts the learning dataset that satisfies the selection criteria as data for artificial intelligence learning
A data generation system for artificial intelligence learning that includes.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210193561A KR102412652B1 (en) | 2021-12-30 | 2021-12-30 | Data generation system for artificial intelligence learning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210193561A KR102412652B1 (en) | 2021-12-30 | 2021-12-30 | Data generation system for artificial intelligence learning |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102412652B1 true KR102412652B1 (en) | 2022-06-23 |
Family
ID=82221939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210193561A KR102412652B1 (en) | 2021-12-30 | 2021-12-30 | Data generation system for artificial intelligence learning |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102412652B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102584540B1 (en) * | 2022-11-28 | 2023-10-05 | 디블라트 주식회사 | Subject movement information generation device using artificial intelligence and method thereof |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170074413A (en) | 2015-12-22 | 2017-06-30 | 연세대학교 산학협력단 | 2d image data generation system using of 3d model, and thereof method |
-
2021
- 2021-12-30 KR KR1020210193561A patent/KR102412652B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170074413A (en) | 2015-12-22 | 2017-06-30 | 연세대학교 산학협력단 | 2d image data generation system using of 3d model, and thereof method |
Non-Patent Citations (6)
| Title |
|---|
| "Falling Things: A Synthetic Dataset for 3D Object Detection and Pose Estimation", arXiv:1804.06534v2 [cs.CV], 2018.07.10. * |
| "Falling Things: A Synthetic Dataset for 3D Object Detection and Pose Estimation", arXiv:1804.06534v2 [cs.CV], 2018.07.10.* |
| "Synthetic dataset generation for object-to-model deep learning in industrial applications, PeerJ Computer Science, 2019.10.14. * |
| "Synthetic dataset generation for object-to-model deep learning in industrial applications, PeerJ Computer Science, 2019.10.14.* |
| "Virtual data generation technology for machine learning learning", Defense Science Research Institute, 2020.06.25. * |
| "머신러닝 학습용 가상데이터 생성기술", 국방과학연구소, 2020.06.25. |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102584540B1 (en) * | 2022-11-28 | 2023-10-05 | 디블라트 주식회사 | Subject movement information generation device using artificial intelligence and method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3407292B1 (en) | Neural network point cloud generation system | |
| US20230101921A1 (en) | Sub-pixel grayscale three-dimensional printing | |
| US11062207B2 (en) | Control systems using deep reinforcement learning | |
| US20180157973A1 (en) | Method and device for a computerized mechanical device | |
| CN105710888B (en) | Dynamic obstacle avoidance in robot system | |
| JP7083472B2 (en) | Map construction method, image collection processing system and positioning method | |
| JP7263216B2 (en) | Object Shape Regression Using Wasserstein Distance | |
| US11094134B1 (en) | System and method for generating synthetic data | |
| Nentwig et al. | Hardware-in-the-loop testing of computer vision based driver assistance systems | |
| KR102412652B1 (en) | Data generation system for artificial intelligence learning | |
| WO2019171060A1 (en) | Control policy determination method and system | |
| KR20210050168A (en) | Method For Applying Learning Data Augmentaion To Deep Learning Model, Apparatus And Method For Classifying Images Using Deep Learning | |
| US11282218B2 (en) | Systems and methods for providing medical guidance using a patient depth image | |
| CN115294268A (en) | Three-dimensional model reconstruction method of object and electronic equipment | |
| US20220230418A1 (en) | Computer-implemented method for training a computer vision model | |
| CN112698632B (en) | Full-automatic production line digital twinning system, method and equipment | |
| WO2024044078A1 (en) | Systems and methods for rigging a point cloud for animation | |
| Vempati et al. | A data-driven planning framework for robotic texture painting on 3d surfaces | |
| CN117136382A (en) | Modeling an environment using image data | |
| WO2021214012A1 (en) | Method for creating a virtual environment reconstruction of an actual location | |
| CN112381925A (en) | Whole body tracking and positioning method and system based on laser coding | |
| CN111367194A (en) | Visual algorithm verification method and device | |
| CN111695170B (en) | Target visible light characteristic real-time simulation method and device | |
| KR102640618B1 (en) | Method, device and system for verifying construction error based on 3d scanner | |
| US11972515B1 (en) | Systems and methods for customizing motion associated with point cloud animations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |