KR102256409B1 - Method of generating a learning data set and computer apparatus for generating a learning data set - Google Patents
Method of generating a learning data set and computer apparatus for generating a learning data set Download PDFInfo
- Publication number
- KR102256409B1 KR102256409B1 KR1020200157702A KR20200157702A KR102256409B1 KR 102256409 B1 KR102256409 B1 KR 102256409B1 KR 1020200157702 A KR1020200157702 A KR 1020200157702A KR 20200157702 A KR20200157702 A KR 20200157702A KR 102256409 B1 KR102256409 B1 KR 102256409B1
- Authority
- KR
- South Korea
- Prior art keywords
- data set
- instances
- generating
- training
- learning target
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
- G06N5/025—Extracting rules from data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 학습 데이터 세트를 생성하는 방법 및 학습 데이터 세트를 생성하기 위한 컴퓨터 장치에 관한 것으로, 보다 상세하게는 효율적으로 데이터 어노테이션을 하기 위한 학습 데이터 세트를 생성하는 방법 및 학습 데이터 세트를 생성하기 위한 컴퓨터 장치에 관한 것이다.The present invention relates to a method for generating a training data set and a computer device for generating a training data set, and more particularly, a method for generating a training data set for efficiently annotating data, and a method for generating a training data set. It relates to a computer device.
인공지능은 다양한 알고리즘으로 구현될 수 있고, 이러한 인공지능의 알고리즘은 다양한 데이터를 학습하여 인공지능 모델이 될 수 있다. 이러한 인공지능 모델을 학습시키기 위해서는 많은 양의 데이터가 필요하다. 최근 인공지능에 대한 개발이 가속화됨에 따라 다양한 인공지능 모델을 학습시키기 위해, 모델의 목적에 부합하는 데이터를 준비하여 알고리즘을 학습시키는데 사용된다. Artificial intelligence can be implemented with a variety of algorithms, and such an artificial intelligence algorithm can become an artificial intelligence model by learning a variety of data. To train such an artificial intelligence model, a large amount of data is required. Recently, as the development of artificial intelligence is accelerated, it is used to train an algorithm by preparing data that meets the purpose of the model in order to train various artificial intelligence models.
이와 같이, 인공지능 모델을 학습시키기 위해서는 수많은 로우(raw) 데이터를 인공지능 모델의 목적에 맞게 사전 처리하거나 라벨링(labeling) 해야 한다. 특히, 최근에는 인공지능 모델을 학습시키기 위해 영상 데이터가 많이 사용되는데, 이미지나 동영상을 포함하는 영상 데이터는 다양한 객체와 배경을 포함하고 있으므로, 인공지능을 수행하는 컴퓨터나 장치가 영상 데이터 내의 이미지 등을 이해하고 학습하기 위해 로우 영상 데이터의 사전처리가 필요하다. 예를 들어, 영상 데이터의 사전처리는 임의의 영상 데이터에서 인공지능 모델을 학습시키는데 필요한 객체나 이미지 부분을 추출하고, 해당 객체나 이미지에 대한 좌표나 속성 등의 정보를 추출하여, 인공지능 모델이 데이터를 학습할 수 있도록 사전에 처리하는 것을 의미한다. In this way, in order to train an artificial intelligence model, a number of raw data must be pre-processed or labeled according to the purpose of the artificial intelligence model. Particularly, in recent years, image data is widely used to train artificial intelligence models. Since image data including images or moving pictures includes various objects and backgrounds, computers or devices that perform artificial intelligence can use images in the image data, etc. In order to understand and learn, the raw image data needs to be pre-processed. For example, the pre-processing of image data extracts an object or part of an image necessary for training an artificial intelligence model from arbitrary image data, and extracts information such as coordinates or properties for the object or image, and the artificial intelligence model It means processing the data in advance so that it can be learned.
이와 같이, 컴퓨터가 처리할 수 있는 데이터로 가공된 것을 메타 데이터라 하고, 이러한 메타 데이터 중 인공지능 모델에 맞게 데이터에 주석을 달고 인공지능 모델이 훈련할 수 있도록 라벨링하는 것을 데이터 어노테이션(data annotation)이라 한다. 이러한 데이터 어노테이션은 데이터에 따라 다양한 방식으로 이루어질 수 있다. 바운딩 박스(Bounding box; Bbox)는 데이터 어노테이션 방식 중 하나로, 영상 데이터에 대해서 많이 사용되는 방식이다.In this way, what is processed into data that can be processed by a computer is called meta data, and among these meta data, data annotation is annotating the data according to the AI model and labeling the AI model so that it can be trained. It is called this. This data annotation can be done in a variety of ways depending on the data. The bounding box (Bbox) is one of the data annotation methods, and is a method that is widely used for image data.
바운딩 박스 작업은 데이터 어노테이션 분야에서 최근까지 사람에 의해 수동으로 직접 수행되었다. 이러한 바운딩 박스 작업은 사람에 의해 수동으로 수행되다 보니 작업의 정확도가 떨어지고 작업 결과로 나오는 데이터를 이용하여 인공지능 모델을 학습시키는 경우 모델의 성능이 저하되는 문제가 발생될 수 있다. 이에, 다양한 작업자들이 바운딩 박스 작업을 수행하고 바운딩 박스 작업의 결과를 검수자가 추가로 검토하는 과정을 통해 인공지능 모델의 성능을 향상시킬 수 있는 데이터 학습 방법을 강구해왔다. Working with bounding boxes was done manually by humans until recently in the field of data annotation. Since such a bounding box work is manually performed by a human, the accuracy of the work is degraded, and when an artificial intelligence model is trained using the data resulting from the work, the performance of the model may be degraded. Accordingly, a data learning method that can improve the performance of the artificial intelligence model has been devised through the process of various workers performing the bounding box work and the inspector additionally reviewing the results of the bounding box work.
그러나, 이러한 바운딩 박스 작업과 이에 대한 검수 작업은 모두 사람에 의해 이루어지므로, 작업자와 검수자에 대한 인력 비용이 이중으로 투입되고, 수동으로 바운딩 박스 작업을 수행하고 이에 대한 검수도 사람이 직접 수행하여 처리 속도에 한계를 드러내고 있다. 이러한 한계를 해결하기 위해, 바운딩 박스 작업 결과를 검수하고 나아가 바운딩 박스 작업을 인공지능 모델이 적용된 툴이 수행하여 작업의 효율과 정확성을 높이려고 한다. 그러나, 인공지능 모델을 이용하여 바운딩 박스 작업을 수행하더라도, 작업자가 인공지능 모델에 부정확한 결과를 입력하거나 알 수 없는 오류 등으로 인해 바운딩 박스 작업에도 오류가 발생할 수 있다는 문제점이 있다. 나아가, 인공지능 모델을 이용한 오류를 검출하고 수정하기 위해서는 별도의 검토 인력과 수정 과정으로 인한 수정 비용이 발생하는 문제점도 존재한다. However, since both the bounding box work and the inspection work are performed by humans, the manpower cost for the operator and the inspector is doubled, and the bounding box work is performed manually, and the inspection is also performed by a person. Speed is revealing its limits. In order to solve this limitation, the results of the bounding box work are inspected, and further, the bounding box work is performed by a tool to which an artificial intelligence model is applied to increase the efficiency and accuracy of the work. However, even if the bounding box work is performed using the artificial intelligence model, there is a problem that an error may occur in the bounding box work due to an inaccurate result or an unknown error by an operator. Furthermore, in order to detect and correct an error using an artificial intelligence model, there is a problem in that a separate review manpower and correction cost are incurred due to the correction process.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.On the other hand, the above-described background technology is technical information that the inventor possessed for derivation of the present invention or acquired during the derivation process of the present invention, and is not necessarily a known technology disclosed to the general public prior to filing the present invention. .
본 발명이 해결하고자 하는 과제는 인공지능 모델이 학습할 데이터 세트를 자동으로 생성할 수 있는, 학습 데이터 세트를 생성하는 방법 및 학습 데이터 세트를 생성하기 위한 컴퓨터 장치를 제공하는 것이다.The problem to be solved by the present invention is to provide a method for generating a training data set, and a computer device for generating a training data set, capable of automatically generating a data set to be trained by an artificial intelligence model.
또한, 본 발명이 해결하고자 하는 다른 과제는 인공지능 어노테이션 툴(tool)이 생성한 바운딩 박스 중 모호한 바운딩 박스를 자동으로 추출하고 인공지능 어노테이션 툴(tool)이 생성한 고스트(ghost) 바운딩 박스를 자동으로 삭제할 수 있는, 학습 데이터 세트를 생성하는 방법 및 학습 데이터 세트를 생성하기 위한 컴퓨터 장치를 제공하는 것이다.In addition, another problem to be solved by the present invention is to automatically extract an ambiguous bounding box from the bounding box generated by the artificial intelligence annotation tool, and automatically extract the ghost bounding box created by the artificial intelligence annotation tool. It is to provide a method for generating a training data set and a computer device for generating the training data set, which can be deleted by using.
또한, 본 발명이 해결하고자 하는 다른 과제는 데이터 어노테이션 결과의 정확도를 향상시키고 이로 인한 수정 비용을 절감할 수 있는, 학습 데이터 세트를 생성하는 방법 및 학습 데이터 세트를 생성하기 위한 컴퓨터 장치를 제공하는 것이다.In addition, another problem to be solved by the present invention is to provide a method for generating a training data set and a computer device for generating a training data set, which can improve the accuracy of the data annotation result and reduce the modification cost resulting therefrom. .
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems that are not mentioned will be clearly understood by those skilled in the art from the following description.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 컴퓨터 장치가 인공지능 모델을 학습시키기 위한 학습 데이터 세트를 생성하는 방법은 초기 데이터를 생성하는 단계, 초기 데이터를 기초로 미리 결정된 수의 학습대상 데이터 세트를 생성하는 단계, 학습대상 데이터 세트로부터 제1 데이터 세트를 추출하는 단계, 학습대상 데이터 세트로부터 제2 데이터 세트를 생성하는 단계, 및 제1 데이터 세트 및 제2 데이터 세트를 병합하여, 학습 데이터 세트를 생성하는 단계를 포함한다.In order to solve the above-described problems, a method of generating a training data set for training an artificial intelligence model by a computer device according to an embodiment of the present invention includes generating initial data, a predetermined number based on the initial data. Generating a learning target data set of, extracting a first data set from the learning target data set, generating a second data set from the learning target data set, and merging the first data set and the second data set Thus, generating a training data set.
본 발명의 다른 특징에 따르면, 초기 데이터를 생성하는 단계는 로우(raw) 데이터에서 바운딩 박스(Bounding box)의 좌표를 추출하는 단계를 포함할 수 있다.According to another feature of the present invention, generating initial data may include extracting coordinates of a bounding box from raw data.
본 발명의 또 다른 특징에 따르면, 초기 데이터는 이미지 데이터로부터 추출된 정보를 포함하고, 제1 데이터 세트는 학습대상 데이터 세트의 전체 인스턴스 중에서 각각의 클래스마다 미리 결정된 수만큼 샘플링한 인스턴스를 포함할 수 있다.According to another feature of the present invention, the initial data includes information extracted from image data, and the first data set may include instances sampled by a predetermined number for each class among all instances of the data set to be learned. have.
본 발명의 또 다른 특징에 따르면, 초기 데이터는 이미지 데이터로부터 추출된 정보를 포함하고, 학습대상 데이터 세트로부터 제3 데이터 세트를 생성하는 단계를 더 포함할 수 있다.According to another feature of the present invention, the initial data may include information extracted from the image data, and may further include generating a third data set from the learning target data set.
본 발명의 또 다른 특징에 따르면, 제3 데이터 세트를 생성하는 단계는, 학습대상 데이터 세트의 전체 인스턴스 중에서 랜덤(random) 샘플링된 인스턴스들에 노이즈를 적용하는 단계를 포함할 수 있다.According to another feature of the present invention, generating the third data set may include applying noise to randomly sampled instances among all instances of the learning target data set.
본 발명의 또 다른 특징에 따르면, 제3 데이터 세트를 생성하는 단계 이전에, 학습대상 데이터 세트에서 특정 클래스의 인스턴스의 수와 학습대상 데이터 세트에서 미리 결정된 샘플링 인스턴스의 수를 비교하여, 특정 클래스의 학습 여부를 결정하는 단계를 더 포함할 수 있다.According to another feature of the present invention, before the step of generating the third data set, the number of instances of a specific class in the learning target data set and the number of predetermined sampling instances in the learning target data set are compared, It may further include determining whether to learn.
본 발명의 또 다른 특징에 따르면, 제3 데이터 세트를 생성하는 단계는, 학습대상 데이터 세트에서 특정 클래스의 인스턴스의 수가 학습대상 데이터 세트에서 미리 결정된 샘플링 인스턴스의 수의 2배 이상인 경우, 제1 데이터 세트에 포함되지 않은 인스턴스 샘플에서 미리 결정된 샘플링 인스턴스의 수만큼 랜덤 샘플링하는 단계, 또는 학습대상 데이터 세트에서 특정 클래스의 인스턴스의 수가 미리 결정된 샘플링 인스턴스의 수의 2배 미만인 경우, 제1 데이터 세트에 포함된 인스턴스 샘플에서 미리 결정된 샘플링 인스턴스의 2배수와 특정 클래스의 인스턴스 개수의 차이만큼 랜덤 샘플링하고, 제1 데이터 세트에 포함되지 않은 인스턴스 샘플에서 특정 클래스의 인스턴스 개수와 미리 결정된 샘플링 인스턴스의 차이만큼 랜덤 샘플링하는 단계를 포함할 수 있다.According to another feature of the present invention, the step of generating the third data set includes: when the number of instances of a specific class in the learning target data set is at least twice the number of predetermined sampling instances in the learning target data set, the first data Random sampling by a predetermined number of sampling instances from instance samples not included in the set, or when the number of instances of a specific class in the learning target data set is less than twice the number of predetermined sampling instances, including in the first data set Randomly sampled as much as the difference between twice the predetermined sampling instance and the number of instances of a specific class from the sampled instance, and randomly sampled as much as the difference between the number of instances of a specific class and the predetermined sampling instance from instance samples not included in the first data set. It may include the step of.
본 발명의 또 다른 특징에 따르면, 노이즈를 적용하는 단계는, 랜덤 샘플링된 인스턴스들을 블러(blur) 처리하거나 랜덤 샘플링된 인스턴스들에 픽셀레이트(pixelrate)를 적용하는 단계를 포함할 수 있다.According to another feature of the present invention, the applying of noise may include blurring randomly sampled instances or applying a pixelrate to randomly sampled instances.
본 발명의 또 다른 특징에 따르면, 블러 처리하는 단계는 랜덤 샘플링된 인스턴스들에 가우시안 블러(Gaussian Blur)를 적용하는 단계를 포함하고, 가우시안 블러에서 라플라시안 변화값의 임계값(threshold)은 200이하이며, 픽셀레이트에서 라플라시안 변화값의 임계값은 1000 이상 5000 이하일 수 있다.According to another feature of the present invention, the step of blurring includes applying a Gaussian Blur to randomly sampled instances, and a threshold of a Laplacian change value in the Gaussian blur is 200 or less. , The threshold value of the Laplacian change value in the pixel rate may be 1000 or more and 5000 or less.
본 발명의 또 다른 특징에 따르면, 학습 데이터 세트를 생성하는 단계는, 노이즈가 적용된, 랜덤 샘플링된 인스턴스들을 제1 데이터 세트 및 제2 데이터 세트와 병합하는 단계를 더 포함할 수 있다.According to another feature of the present invention, generating the training data set may further include merging the randomly sampled instances to which noise is applied with the first data set and the second data set.
본 발명의 또 다른 특징에 따르면, 초기 데이터는 이미지 데이터로부터 추출된 정보를 포함하고, 제2 데이터 세트를 생성하는 단계는, 이미지 데이터에서 바운딩 박스가 존재하지 않는 위치 정보를 추출하는 단계, 위치 정보에 대응하는 복수의 위치들에서 미리 결정된 수만큼 고스트 바운딩 박스의 좌표를 랜덤 추출하는 단계, 및 고스트 바운딩 박스의 좌표에 대응하는 이미지를 추출하는 단계를 포함할 수 있다.According to another feature of the present invention, the initial data includes information extracted from the image data, and the step of generating the second data set includes: extracting location information in which a bounding box does not exist from the image data, location information It may include randomly extracting the coordinates of the ghost bounding box by a predetermined number from a plurality of positions corresponding to, and extracting an image corresponding to the coordinates of the ghost bounding box.
본 발명의 또 다른 특징에 따르면, 생성된 학습 데이터 세트를 기초로 어노테이션(annotation) 모델을 학습시키는 단계를 더 포함할 수 있다.According to another feature of the present invention, it may further include training an annotation model based on the generated training data set.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 컴퓨터 장치는, 프로세서, 및 프로세서와 전기적으로 통신하고 컴퓨터 판독가능 명령어들을 저장하는 메모리를 포함하며, 명령어들은, 프로세서에 의해 실행될 때, 컴퓨터 장치로 하여금: 초기 데이터를 생성하게 하고, 초기 데이터를 기초로 미리 결정된 수의 학습대상 데이터 세트를 생성하게 하고, 학습대상 데이터 세트로부터 제1 데이터 세트를 추출하게 하고, 학습대상 데이터 세트로부터 제2 데이터 세트를 생성하게 하고, 제1 데이터 세트 및 제2 데이터 세트를 병합하여, 학습 데이터 세트를 생성하게 한다.In order to solve the above-described problems, a computer device according to an embodiment of the present invention includes a processor, and a memory that electrically communicates with the processor and stores computer-readable instructions, and the instructions are executed by the processor. , Causing the computer device to: generate initial data, generate a predetermined number of learning-object data sets based on the initial data, extract a first data set from the learning-object data set, and A second data set is created, and the first data set and the second data set are merged to generate a training data set.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 컴퓨터 장치가 데이터를 학습하는 프로그램은, 컴퓨터 장치의 프로세서가 전술한 본 발명의 일 실시예에 따른 학습 데이터 세트를 생성하는 방법을 실행하도록 컴퓨터 판독가능한 기록 매체에 저장된다.In order to solve the above-described problems, a program for learning data by a computer device according to an embodiment of the present invention includes a method for generating a learning data set by a processor of the computer device according to an embodiment of the present invention. It is stored on a computer-readable recording medium to be executed.
본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 일 실시예는 작업자가 아닌 인공지능 어노테이션 툴을 통해, 인공지능 모델이 학습할 데이터 세트를 자동으로 생성할 수 있다.According to any one of the problem solving means of the present invention, an embodiment of the present invention can automatically generate a data set to be learned by an artificial intelligence model through an artificial intelligence annotation tool rather than an operator.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 다른 실시예는 바운딩 박스 중에서 모호한 바운딩 박스와 고스트 바운딩 박스를 자동을 추출하여, 모호한 바운딩 박스는 검수자가 추가 작업을 할 수 있도록 하고 고스트 바운딩 박스는 자동으로 삭제될 수 있다.In addition, according to any one of the problem solving means of the present invention, another embodiment of the present invention automatically extracts the ambiguous bounding box and the ghost bounding box from the bounding box, and the ambiguous bounding box allows the inspector to perform additional work. Ghost bounding boxes can be automatically deleted.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 또 다른 실시예는 인공지능 모델이 학습할 데이터 세트를 생성하기 위한 비용을 절감할 수 있게 하고, 데이터 세트의 정확도를 향상시켜 데이터 세트를 수정하는 비용을 절감할 수 있게 하며, 데이터 세트를 생성하는 속도를 향상시킬 수 있다.In addition, according to any one of the problem solving means of the present invention, another embodiment of the present invention enables the artificial intelligence model to reduce the cost for generating a data set to be trained, and improves the accuracy of the data set It makes it possible to reduce the cost of modifying the set, and it can improve the speed of creating the data set.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects that can be obtained in the present invention are not limited to the above-mentioned effects, and other effects not mentioned can be clearly understood by those of ordinary skill in the art from the following description. will be.
도 1은 본 발명의 일 실시예에 따른 학습 데이터 세트를 생성하는 방법을 수행하는 단계를 도시한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 학습 데이터 세트를 생성하는 방법에서 사용되는 초기 데이터 및 바운딩 박스에 대한 정보를 예시적으로 도시한 것이다.
도 3은 본 발명의 일 실시예에 따라 생성된 학습대상 데이터 세트로부터 제1 데이터 세트를 추출하는 과정을 도식화한 것이다.
도 4는 본 발명의 일 실시예에 따라 학습대상 데이터 세트로부터 생성된 제2 데이터 세트의 고스트 바운딩 박스를 예시적으로 도시한 것이다.
도 5는 본 발명의 다른 실시예에 따라 학습대상 데이터 세트로부터 제3 데이터 세트를 생성하는 과정을 예시적으로 도시한 순서도이다.
도 6은 본 발명의 다른 실시예에 따라 제3 데이터 세트를 생성하도록 랜덤 샘플링하는 과정을 예시적으로 도시한 순서도이다.
도 7은 본 발명의 다른 실시예에 따른 제3 데이터 세트를 생성하기 위해 인스턴스들에 노이즈를 적용한 결과를 예시적으로 도시한 것이다.1 is a flowchart illustrating steps of performing a method of generating a training data set according to an embodiment of the present invention.
FIG. 2 exemplarily shows initial data and information on a bounding box used in a method for generating a training data set according to an embodiment of the present invention.
3 is a schematic diagram of a process of extracting a first data set from a data set to be learned according to an embodiment of the present invention.
4 is a diagram illustrating a ghost bounding box of a second data set generated from a data set to be learned according to an embodiment of the present invention.
5 is a flowchart illustrating a process of generating a third data set from a data set to be learned according to another embodiment of the present invention.
6 is a flowchart illustrating a process of random sampling to generate a third data set according to another embodiment of the present invention.
FIG. 7 exemplarily shows a result of applying noise to instances to generate a third data set according to another embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various forms different from each other, and only these embodiments make the disclosure of the present invention complete, and common knowledge in the technical field to which the present invention pertains. It is provided to completely inform the scope of the invention to the possessor, and the invention is only defined by the scope of the claims.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다. The shapes, sizes, ratios, angles, numbers, etc. disclosed in the drawings for explaining the embodiments of the present invention are exemplary, and thus the present invention is not limited to the illustrated matters. In addition, in describing the present invention, when it is determined that a detailed description of a related known technology may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. When'include','have','consists of' and the like mentioned in the present specification are used, other parts may be added unless'only' is used. In the case of expressing the constituent elements in the singular, it includes the case of including the plural unless specifically stated otherwise.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.In interpreting the components, even if there is no explicit description, it is interpreted as including an error range.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.Although the first, second, etc. are used to describe various components, these components are not limited by these terms. These terms are only used to distinguish one component from another component. Accordingly, the first component mentioned below may be a second component within the technical idea of the present invention.
별도로 명시하지 않는 한 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. Unless otherwise specified, the same reference numerals refer to the same elements throughout the specification.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.Each of the features of the various embodiments of the present invention may be partially or entirely combined or combined with each other, and as a person skilled in the art can fully understand, technically various interlocking and driving are possible, and each of the embodiments may be independently implemented with respect to each other. It may be possible to do it together in a related relationship
이하, 본 명세서에서 사용되는 용어에 대해 정의한다.Hereinafter, terms used in the present specification are defined.
본 명세서에서 초기 데이터란, 이미지 데이터와 관련된 다양한 정보를 포함하는 데이터로서, 로우(raw) 데이터인 이미지 파일을 학습시키고자 하는 인공지능 모델에 맞게 바운딩 박스(Bounding box) 단위로 자른 인스턴스와 관련된 데이터를 의미한다. 예를 들어, 초기 데이터는 인스턴스의 바운딩 박스 좌표 및 클래스 정보 등과 같이, 이미지 데이터로부터 추출되거나 이미지 데이터에 입력된 관련 정보를 포함할 수 있다.In this specification, initial data is data including various information related to image data, and data related to an instance cut in units of a bounding box in accordance with an artificial intelligence model to be trained on an image file, which is raw data. Means. For example, the initial data may include related information extracted from image data or input to image data, such as bounding box coordinates and class information of an instance.
데이터 세트란 다양한 데이터들의 집합체를 의미한다. 다만, 본 명세서에서 데이터 세트는 특히, 이미지 데이터와 관련된 다양한 정보들을 포함하는 데이터들의 세트를 의미할 수 있다. 예를 들어, 데이터 세트는 이미지 데이터에서 추출된 바운딩 박스의 좌표, 클래스 정보, 인스턴스의 개수 등에 대한 정보들을 포함하는 데이터들의 집합체일 수 있다.A data set refers to a collection of various data. However, in this specification, a data set may specifically mean a set of data including various pieces of information related to image data. For example, the data set may be a collection of data including information on coordinates, class information, and the number of instances of a bounding box extracted from image data.
컴퓨터 장치는 인공지능 모델을 학습시키기 위해, 원하는 목적이나 인공지능 모델에 맞게 가공된 데이터를 필요로 한다. 이러한 인공지능 모델을 학습시키기 위한 컴퓨터 장치의 관점에서 볼 때, 본 명세서에서 학습 데이터는 인공지능 모델을 학습시키기 위해 가공된 데이터일 수 있으며, 학습 데이터 세트는 이러한 학습 데이터를 모델 학습의 목적에 맞게 그룹화한 것을 의미한다.Computer devices require data processed for a desired purpose or artificial intelligence model in order to train an artificial intelligence model. From the point of view of a computer device for training such an artificial intelligence model, in this specification, the training data may be data processed to train an artificial intelligence model, and the training data set is adapted to the purpose of model training. It means grouped.
본 명세서에서 학습대상 데이터 세트란, 학습 데이터 세트를 생성하기 위해 초기 데이터를 기초로 1차적으로 가공하여 분류된 데이터들의 집합을 의미한다. 즉, 학습대상 데이터 세트는, 이미지 데이터로부터 생성된 초기 데이터 중에서 학습 데이터 세트를 생성하기 위해 분류된 데이터들의 세트일 수 있다. In the present specification, a data set to be learned refers to a set of data classified by processing first based on initial data to generate a learning data set. That is, the learning target data set may be a set of data classified to generate a training data set among initial data generated from image data.
인스턴스는 바운딩 박스에 의해 둘러쌓인 객체를 지칭할 수 있으며, 바운딩 박스에 의해 선택되거나 잘려진 이미지 부분을 의미할 수 있다. 본 명세서에서는 바운딩 박스에 의해 선택되거나 잘려진 이미지 부분에 객체가 존재하지 않을 수도 있으며, 이로 인해 인스턴스와 바운딩 박스는 실질적으로 동일한 의미로 사용될 수 있다.An instance may refer to an object surrounded by a bounding box, and may refer to a portion of an image selected or cut by the bounding box. In the present specification, an object may not exist in a portion of an image that is selected or cut by the bounding box, and thus, the instance and the bounding box may be used with substantially the same meaning.
이하 첨부된 도면을 참조하여, 본 발명을 상세히 설명하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 학습 데이터 세트를 생성하는 방법을 수행하는 단계를 도시한 순서도이다.1 is a flowchart illustrating steps of performing a method of generating a training data set according to an embodiment of the present invention.
컴퓨터 장치는 프로세서, 및 프로세서와 전기적으로 통신하고 컴퓨터 판독가능 명령어들을 저장하는 메모리를 포함하며, 이러한 프로세서를 통해 인공지능 모델을 실행할 수 있다. 또한, 이러한 컴퓨터 장치는 프로세서를 통해 데이터를 학습하여 인공지능 모델을 학습시킬 수도 있다. The computer device includes a processor, and a memory in electrical communication with the processor and storing computer readable instructions, through which the artificial intelligence model can be executed. In addition, such a computer device may train an artificial intelligence model by learning data through a processor.
도 1을 참조하면, 본 발명의 일 실시예에 따른 컴퓨터 장치는 프로세서에 의해, 초기 데이터를 생성하는 단계(S10), 초기 데이터를 기초로 미리 결정된 수의 학습대상 데이터 세트를 생성하는 단계(S20), 학습대상 데이터 세트로부터 제1 데이터 세트를 추출하는 단계(S30), 학습대상 데이터 세트로부터 제2 데이터 세트를 생성하는 단계(S40), 및 제1 데이터 세트 및 제2 데이터 세트를 병합하여, 학습 데이터 세트를 생성하는 단계(S50)를 실행한다. 나아가, 본 발명의 일 실시예에 따른 컴퓨터 장치는 학습대상 데이터 세트로부터 추가적으로 데이터 세트를 생성하는 단계를 더 실행할 수 있으며, 추가적으로 제3 데이터 세트를 생성하는 구체적인 단계에 대해서는 도 5 내지 도 7을 참조하여 후술한다.Referring to FIG. 1, in a computer device according to an embodiment of the present invention, by a processor, generating initial data (S10), generating a predetermined number of data sets to be learned based on the initial data (S20). ), extracting the first data set from the learning target data set (S30), generating a second data set from the learning target data set (S40), and merging the first data set and the second data set, A step (S50) of generating a training data set is executed. Furthermore, the computer device according to an embodiment of the present invention may further execute the step of generating a data set from the data set to be learned, and refer to FIGS. 5 to 7 for specific steps of additionally generating a third data set. It will be described later.
상술한 과정을 통해 학습 데이터 세트가 생성되면, 컴퓨터 장치는 생성된 학습 데이터 세트를 이용하여 인공지능 모델을 학습시킬 수 있다. 구체적으로, 본 발명의 일 실시예에 따른 컴퓨터 장치는 프로세서에 의해, 학습 데이터 세트를 기초로 어노테이션(annotation) 모델을 학습시키는 단계(S60)를 더 수행할 수 있다. 여기서, 어노테이션 모델은 이미지 데이터에서 원하는 객체를 자동으로 바운딩 박스로 선택해주는 인공지능 알고리즘을 의미한다. When the training data set is generated through the above-described process, the computer device may train the artificial intelligence model using the generated training data set. Specifically, the computer device according to an embodiment of the present invention may further perform the step S60 of training an annotation model based on the training data set by the processor. Here, the annotation model refers to an artificial intelligence algorithm that automatically selects a desired object from image data as a bounding box.
이에, 생성된 학습 데이터 세트가 어노테이션 모델에 입력되면, 어노테이션 모델은 학습 데이터 세트를 학습한다. 추후 어노테이션 모델이 이미지 데이터를 추론하는 경우, 어노테이션 모델은 자동으로 이미지 데이터에서 객체를 선택하는 바운딩 박스를 생성할 수 있고, 생성된 바운딩 박스로 선택된 객체가 모호한 경우에는 작업 검수자에게 알림을 통해 추가 검수를 요청할 수 있으며, 생성된 바운딩 박스가 특정 객체를 포함하지 않고 의미없는 배경을 선택한 '고스트(Ghost) 바운딩 박스'를 자동으로 삭제할 수도 있다. 이러한 어노테이션 모델의 학습을 통해, 어노테이션 모델을 사용하여 추론을 진행하는 경우 발생할 수 있는 객체의 클래스 오류를 수정하는데 필요한 비용을 감소시킬 수 있고, 모호한 객체를 선택한 바운딩 박스를 선별하기 위해 필요한 비용을 감소시킬 수 있으며, 고스트 바운딩 박스를 자동으로 수정하거나 삭제하여 비용을 감소시킬 수도 있다. Accordingly, when the generated training data set is input to the annotation model, the annotation model learns the training data set. When the annotation model infers image data in the future, the annotation model can automatically create a bounding box that selects an object from the image data, and if the object selected as the created bounding box is ambiguous, it is notified to the inspector for additional inspection. Can be requested, and the'Ghost bounding box' in which the created bounding box does not contain a specific object and a meaningless background is selected can be automatically deleted. Through the learning of the annotation model, the cost required to correct the class error of the object that may occur when performing inference using the annotation model can be reduced, and the cost required to select the bounding box for which an ambiguous object is selected can be reduced. You can also reduce costs by automatically correcting or deleting ghost bounding boxes.
이하, 학습 데이터 세트를 생성하기 위해, 초기 데이터로부터 정상적인 객체를 선택한 바운딩 박스에 대응하는 인스턴스를 샘플링하여 제1 데이터 세트를 추출하는 과정에 대해서 도 2 및 도 3을 참조하여 후술한다.Hereinafter, in order to generate a training data set, a process of extracting a first data set by sampling an instance corresponding to a bounding box in which a normal object is selected from initial data will be described later with reference to FIGS. 2 and 3.
도 2는 본 발명의 일 실시예에 따른 학습 데이터 세트를 생성하는 방법에서 사용되는 초기 데이터 및 바운딩 박스에 대한 정보를 예시적으로 도시한 것이다. 도 3은 본 발명의 일 실시예에 따라 생성된 학습대상 데이터 세트로부터 제1 데이터 세트를 추출하는 과정을 도식화한 것이다.FIG. 2 exemplarily shows initial data and information on a bounding box used in a method for generating a training data set according to an embodiment of the present invention. 3 is a schematic diagram of a process of extracting a first data set from a data set to be learned according to an embodiment of the present invention.
도 1 내지 도 3을 참조하면, 본 발명의 일 실시예에 따른 학습 데이터 세트를 생성하는 방법은, 초기 데이터를 생성하는 단계(S10)를 포함한다. 이러한 초기 데이터를 생성하는 단계(S10)는 로우(raw) 데이터에서 바운딩 박스의 좌표를 추출하는 단계를 포함할 수 있다. 로우 데이터는 이미지 데이터일 수 있으며, 이러한 이미지 데이터는 다양한 객체를 각각 둘러싸는 바운딩 박스를 포함할 수 있다. 컴퓨터 장치는 인공지능 모델을 학습시키기 위해, 로우 데이터에 포함된 바운딩 박스의 좌표를 추출할 수 있고, 바운딩 박스가 둘러싸는 객체의 클래스(class) 정보를 추출할 수도 있다. 이와 같이, 초기 데이터는 로우 데이터인 이미지 데이터로부터 추출된 다양한 정보를 포함할 수 있다.1 to 3, a method of generating a training data set according to an embodiment of the present invention includes generating initial data (S10). Generating such initial data (S10) may include extracting the coordinates of the bounding box from raw data. The raw data may be image data, and the image data may include a bounding box each surrounding various objects. In order to train the artificial intelligence model, the computer device may extract coordinates of a bounding box included in raw data and may extract class information of an object enclosed by the bounding box. In this way, the initial data may include various pieces of information extracted from image data that is raw data.
도 2를 참조하면, 로우 데이터(210, 220, 230) 각각은 이미지 데이터로 이미지 내의 객체를 둘러싸는 바운딩 박스들(211, 212, 213, 214, 215, 216, 217, 218)을 포함한다. 바운딩 박스들(211, 212, 213, 214, 215, 216, 217, 218)이 둘러싸는 객체는 자동차, 교통 표지판, 사람, 자전거, 화물 등일 수 있으며, 이러한 객체들은 인공지능 모델을 학습시키고자 하는 목적에 따라 결정될 수 있다. 도 2에서는 로우 데이터들(210, 220, 230)이 3개의 이미지만으로 표현되었으나, 로우 데이터들(210, 220, 230)의 개수는 이에 한정되지 않는다.Referring to FIG. 2, each of the
도 2에서는 예시적으로 자동차, 교통 표지판 및 사람이 바운딩 박스로 선택된 객체이다. 제1 인스턴스(211), 제2 인스턴스(212), 제3 인스턴스(213), 제4 인스턴스(214), 및 제5 인스턴스(215)는 자동차를 바운딩 박스로 선택한 인스턴스이고, 제6 인스턴스(216) 및 제7 인스턴스(217)는 교통 표지판을 바운딩 박스로 선택한 인스턴스이고, 제8 인스턴스(218)는 사람을 바운딩 박스로 선택한 인스턴스이다.In FIG. 2, by way of example, a vehicle, a traffic sign, and a person are objects selected as a bounding box. The
도 2를 참조하면, 복수의 로우 데이터들(210, 220, 230)에서 바운딩 박스의 좌표가 추출될 수 있고, 각각의 바운딩 박스에 둘러쌓인 객체의 클래스도 추출될 수 있다. 하나의 인스턴스는 하나의 바운딩 박스로 선택된 객채를 포함할 수 있고 이에 대응하는 바운딩 박스의 좌표와 클래스에 대한 정보를 포함한다. 예를 들면, 제1 인스턴스(211)의 바운딩 박스의 좌표 중 (xmax, ymax)는 (600, 500)이고 (xmin, ymin)는 (0, 10)이며, 제1 인스턴스(211)의 클래스는 자동차이다. 마찬가지로, 제6 인스턴스(216)의 바운딩 박스의 좌표 중 (xmax, ymax)는 (660, 780)이고 (xmin, ymin)는 (650, 770)이며, 제6 인스턴스(216)의 클래스는 교통 표지판이고, 제8 인스턴스(218)의 바운딩 박스의 좌표 중 (xmax, ymax)는 (1920, 520)이고 (xmin, ymin)는 (1900, 250)이며, 제8 인스턴스(218)의 클래스는 사람이다. 도 2에서 도시된 인스턴스 각각에 대응하는 바운딩 박스의 좌표는 이미지의 좌표(x, y) 중 최대값과 최소값을 추출하여 결정된 것이다. 바운딩 박스의 좌표를 추출하는 방법은 이외에도 다양하게 수행될 수 있으며, 이와 같이 추출된 바운딩 박스의 좌표는 예시적인 것이므로 도 2에 도시된 바운딩 박스의 좌표 추출방식에 제한되지 않는다.Referring to FIG. 2, coordinates of a bounding box may be extracted from a plurality of
또한, 복수의 로우 데이터들(210, 220, 230)에서 추출된 정보를 바탕으로, 동일한 클래스를 갖는 인스턴스들은 클래스에 따라 묶여질 수 있다. 예를 들어, 제1 로우 데이터(210)에서 추출된 정보를 바탕으로, 제1 인스턴스(211) 내지 제5 인스턴스(215)는 자동차 클래스로 묶여지고, 제6 인스턴스(216) 및 제7 인스턴스(217)는 교통 표지판 클래스로 묶여지고, 제8 인스턴스(218)는 사람 클래스로 묶여진다. 제2 로우 데이터(220) 및 제3 로우 데이터(230)에 대해서도 동일한 방식으로 바운딩 박스의 좌표와 클래스를 추출하여, 인스턴스의 바운딩 박스의 좌표 정보가 클래스에 따라 묶여질 수 있다. 이를 통해 전체 로우 데이터로부터 초기 데이터가 생성되고, 초기 데이터는 클래스에 따라 분류될 수 있다. Also, based on information extracted from the plurality of
도 2를 참조하면, 로우 데이터로부터 바운딩 박스의 좌표 및 클래스에 대한 정보를 포함하는 초기 데이터가 생성되고, 초기 데이터는 클래스에 따라 제1 클래스 초기 데이터(270), 제2 클래스 초기 데이터(280), 및 제3 클래스 초기 데이터(290)로 분류될 수 있다. Referring to FIG. 2, initial data including coordinates of a bounding box and information on a class are generated from raw data, and the initial data is first class
이와 같이, 본 발명의 실시예에 따른 컴퓨터 장치는, 생성된 초기 데이터를 기초로 미리 결정된 수만큼 학습대상 데이터 세트를 생성한다. 학습대상 데이터 세트는 클래스와 무관하게 선택된 인스턴스들의 데이터를 포함할 수 있고, 초기 데이터를 기초로 생성된 데이터 세트 중에서 일부를 학습대상으로 분류함에 따라 생성될 수 있다. 또는, 학습대상 데이터 세트는 학습시키고자 하는 모델과 학습의 목적에 따라 특정 클래스에서 랜덤하게 선택된 인스턴스들의 데이터를 포함할 수도 있다. In this way, the computer device according to an embodiment of the present invention generates a set of data to be learned by a predetermined number based on the generated initial data. The learning target data set may include data of instances selected irrespective of the class, and may be generated by classifying some of the data sets generated based on initial data as learning targets. Alternatively, the training target data set may include data of instances randomly selected from a specific class according to the model to be trained and the purpose of the training.
한편, 전체 인스턴스 중에서 모델을 학습하기 위해 일부 초기 데이터를 학습대상 데이터 세트로 분류하고, 전체 인스턴스 중에서 학습된 모델을 검증하고 실험적 추론에 사용하기 위해 다른 일부 초기 데이터를 추론대상 데이터 세트를 분류할 수 있다. 이하, 본 명세서에서는 학습대상 데이터 세트를 기초로 인공지능 모델을 학습시키기 위한 학습 데이터 세트를 생성하는 방법에 대해서 보다 구체적으로 설명한다. On the other hand, in order to train the model among all instances, some initial data can be classified as a data set to be trained, and some other initial data can be classified as a data set to be inferred to verify the model trained among all instances and use for experimental inference. have. Hereinafter, in the present specification, a method of generating a training data set for training an artificial intelligence model based on the target data set will be described in more detail.
도 3을 참조하면, 제1 데이터 세트(320)는 학습대상 데이터 세트(310)의 전체 인스턴스 중에서 각각의 클래스마다 미리 결정된 수만큼 샘플링한 인스턴스를 포함한다. 상술한 바와 같이, 학습대상 데이터 세트(310)는 초기 데이터에서 모델을 학습하기 위해 분류된 데이터 세트이고, 학습대상 데이터 세트(310)의 각각의 인스턴스들은 바운딩 박스의 좌표와 클래스에 대한 정보를 포함하고 있다. 컴퓨터 장치는 학습대상 데이터 세트(310)에서 클래스마다 인스턴스를 미리 결정된 수만큼 샘플링한다. 예를 들어, 컴퓨터 장치는 도 2의 자동차 클래스에서 미리 결정된 10개의 인스턴스를 랜덤으로 샘플링할 수 있고, 교통 표지판 클래스에서 미리 결정된 8개의 인스턴스를 랜덤으로 샘플링할 수 있고, 사람 클래스에서 미리 결정된 3개의 인스턴스를 랜덤으로 샘플링할 수 있다. 이와 같이, 각각의 클래스마다 미리 결정된 수만큼 샘플링한 인스턴스들을 묶어 제1 데이터 세트(320)가 생성될 수 있다. Referring to FIG. 3, the
도 3을 참조하면, 제1 데이터 세트(320)는 다양한 클래스마다 미리 결정된 수만큼 샘플링된 인스턴스들을 포함할 수 있으며, 도 3에 도시된 인스턴스들의 클래스는 예시적으로 표현된 것일 뿐이므로 이에 한정되지 않는다. 이러한 제1 데이터 세트(320)는 바운딩 박스에 의해 선택된 객체와 그 객체에 대응하는 클래스가 정확하게 매칭되는 인스턴스들만을 포함할 수 있다. 여기서, 클래스마다 샘플링되는 인스턴스의 개수는 상이할 수 있으며, 미리 결정되는 샘플링 인스턴스의 개수는 실시예에 따라 자유롭게 변경될 수 있다. 이로 인해 제1 데이터 세트(320)에 의해 학습되는 인공지능 모델은 정확도가 높은 인스턴스들만을 학습하므로, 추후 인공지능 모델이 추론에 사용될 경우 높은 정확도로 이미지의 분류 및 추론 결과를 제공할 수 있다. 즉, 제1 데이터 세트(320)는 객체와 클래스가 일치된 바운딩 박스 또는 이에 대응하는 인스턴스들의 집합을 의미하며, 편의상 '정상 데이터 세트'로 지칭될 수도 있다. 본 발명의 실시예에 따르면 학습 데이터 세트를 생성하기 위해서는 제1 데이터 세트 외에도 제2 데이터 세트를 생성하는 과정이 필요하므로, 이하 도 4를 참조하여 제2 데이터 세트를 생성하는 과정에 대해서 후술한다.Referring to FIG. 3, the
도 4는 본 발명의 일 실시예에 따라 학습대상 데이터 세트로부터 생성된 제2 데이터 세트의 고스트 바운딩 박스를 예시적으로 도시한 것이다.4 is a diagram illustrating a ghost bounding box of a second data set generated from a learning target data set according to an embodiment of the present invention.
도 1 및 도 4를 참조하면, 학습대상 데이터 세트로부터 제2 데이터 세트가 생성되고(S40), 제1 데이터 세트 및 제2 데이터 세트를 병합하여, 학습 데이터 세트가 생성(S50)될 수 있다. 여기서, 제2 데이터 세트는 각각의 이미지 데이터에서 특정 객체 또는 학습대상의 객체가 존재하지 않는 위치에서 바운딩 박스에 의해 선택된 이미지로 이루어진 집합을 의미한다. 이로 인해, 제2 데이터 세트는 '고스트(Ghost) 바운딩 박스 세트'로 지칭될 수 있다. Referring to FIGS. 1 and 4, a second data set may be generated from a learning target data set (S40), and a training data set may be generated (S50) by merging the first data set and the second data set. Here, the second data set refers to a set consisting of images selected by a bounding box at a location in which a specific object or an object to be learned does not exist in each image data. For this reason, the second data set may be referred to as a'ghost bounding box set'.
제2 데이터 세트를 생성하는 단계(S40)는 이미지 데이터에서 바운딩 박스가 존재하지 않는 위치 정보를 추출하는 단계, 위치 정보에 대응하는 복수의 위치들에서 미리 결정된 수만큼 고스트 바운딩 박스의 좌표를 랜덤 추출하는 단계, 및 고스트 바운딩 박스의 좌표에 대응하는 이미지를 추출하는 단계를 포함할 수 있다. The step of generating the second data set (S40) is the step of extracting location information in which the bounding box does not exist from the image data, and randomly extracting the coordinates of the ghost bounding box by a predetermined number from a plurality of locations corresponding to the location information. And extracting an image corresponding to the coordinates of the ghost bounding box.
도 4를 참조하면, 이미지 데이터(410)에서 바운딩 박스에 대응하는 인스턴스들(211, 212, 213, 214, 215, 216, 217, 218)이 존재하지 않는 위치 정보가 추출될 수 있다. 일반적으로 인스턴스들(211, 212, 213, 214, 215, 216, 217, 218)이 존재하지 않는 위치는 이미지 데이터(410)에 도시된 바와 같이 객체를 포함하지 않는 배경인 경우가 많다. 즉, 이미지 데이터(410)에서 바운딩 박스가 존재하지 않는 위치는 이미지 중 배경이나 학습대상이 아닌 객체의 일부분에 대응하는 위치일 수 있다. 이어서, 해당 위치 정보에 대응하는 복수의 위치들에서 임의의 미리 결정된 수만큼 고스트 바운딩 박스의 좌표가 랜덤으로 추출될 수 있다. 이러한 고스트 바운딩 박스의 좌표에 대응하는 이미지를 추출하여 고스트 바운딩 박스의 인스턴스가 생성될 수 있다. Referring to FIG. 4, location information in which
도 4를 참조하면, 이미지 데이터(410)에서 인스턴스들(211, 212, 213, 214, 215, 216, 217, 218)이 존재하지 않는 영역들 중에서 3개의 고스트 바운딩 박스의 좌표가 추출될 수 있다. 임의의 3개의 영역에 대응하는 좌표에 대응하여 바운딩 박스가 지정될 수 있고, 이러한 고스트 바운딩 박스는 제1 고스트 바운딩 박스(411), 제2 고스트 바운딩 박스(412), 및 제3 고스트 바운딩 박스(413)로 표시될 수 있다. 이러한 고스트 바운딩 박스에 대응하는 이미지가 추출되어 제2 데이터 세트가 생성될 수 있다. 즉, 제2 데이터 세트는 적어도 하나의 고스트 바운딩 박스 또는 고스트 바운딩 박스에 대응하는 인스턴스를 포함한다. Referring to FIG. 4, coordinates of three ghost bounding boxes may be extracted from regions in which
상술한 바와 같이, 생성된 제1 데이터 세트 및 제2 데이터 세트는 병합되어, 학습 데이터 세트가 생성된다. 또한, 제1 데이터 세트 및 제2 데이터 세트 외에 추가적으로 데이터 세트를 생성하여, 제1 데이터 세트 및 제2 데이터 세트와 병합하여 학습 데이터 세트가 생성될 수도 있다. 이와 같이, 모호한 객체를 포함하는 바운딩 박스에 대응하는 인스턴스를 포함하는 제3 데이터 세트가 추가적으로 생성되어 학습 데이터 세트의 생성에 이용될 수 있다. 이하, 학습 데이터 세트를 생성하는데 추가적으로 제3 데이터 세트가 생성되는 구체적인 과정은 도 5 내지 도 7을 참조하여 후술한다.As described above, the generated first data set and second data set are merged to generate a training data set. In addition, in addition to the first data set and the second data set, a data set may be additionally generated and merged with the first data set and the second data set to generate a training data set. In this way, a third data set including an instance corresponding to a bounding box including an ambiguous object may be additionally generated and used to generate a training data set. Hereinafter, a detailed process of generating a third data set in addition to generating a training data set will be described later with reference to FIGS. 5 to 7.
도 5는 본 발명의 다른 실시예에 따라 학습대상 데이터 세트로부터 제3 데이터 세트를 생성하는 과정을 예시적으로 도시한 순서도이다.5 is a flowchart illustrating a process of generating a third data set from a data set to be learned according to another embodiment of the present invention.
본 발명의 실시예에 따른 학습 데이터 세트를 생성하는 방법은 학습대상 데이터 세트에서 특정 클래스의 인스턴스의 수와 학습대상 데이터 세트에서 미리 결정된 샘플링 인스턴스의 수를 비교하여, 특정 클래스의 학습 여부를 결정하는 단계(S510), 학습대상 데이터 세트로부터 제3 데이터 세트를 생성하는 단계(S520), 및 제3 데이터 세트를 제1 데이터 세트 및 제2 데이터 세트와 병합하는 단계(S530)를 더 포함할 수 있다. 학습대상 데이터 세트로부터 제3 데이터 세트를 생성하는 단계(S520)는 학습대상 데이터 세트에서 특정 클래스의 인스턴스의 수와 학습대상 데이터 세트에서 미리 결정된 샘플링 인스턴스의 수를 비교하여, 미리 결정된 수의 인스턴스를 랜덤 샘플링하는 단계(S521), 및 학습대상 데이터 세트의 전체 인스턴스 중에서 랜덤 샘플링된 인스턴스들에 노이즈를 적용하는 단계(S529)를 포함할 수 있다. 제3 데이터 세트를 제1 데이터 세트 및 제2 데이터 세트와 병합하는 단계(S530)는 노이즈가 적용된, 랜덤 샘플링된 인스턴스들을 제1 데이터 세트 및 제2 데이터 세트와 병합하는 단계를 포함할 수 있다.The method of generating a training data set according to an embodiment of the present invention is to determine whether to learn a specific class by comparing the number of instances of a specific class in the learning target data set and the number of sampling instances predetermined in the learning target data set. The step S510, generating a third data set from the learning target data set (S520), and merging the third data set with the first data set and the second data set (S530) may be further included. . In the step of generating a third data set from the learning target data set (S520), by comparing the number of instances of a specific class in the learning target data set and the number of sampling instances determined in advance in the learning target data set, a predetermined number of instances is determined. A step of random sampling (S521), and a step (S529) of applying noise to randomly sampled instances among all instances of the learning target data set (S529). Merging the third data set with the first data set and the second data set (S530) may include merging the randomly sampled instances to which noise is applied with the first data set and the second data set.
여기서, 제3 데이터 세트는 학습 데이터 중에서 바운딩 박스로 선택된 객체의 해상도가 일정 수준 이상으로 낮아 클래스 판별이 어려운 바운딩 박스 또는 이러한 바운딩 박스로 선택된 객체에 대응하는 인스턴스를 의미한다. 즉, 제3 데이터 세트는 이미지 데이터에서 바운딩 박스에 의해 선택된 모호한 객체를 포함하는 인스턴스들의 집합을 의미한다. 이러한 제3 데이터 세트에 포함된 인스턴스는 바운딩 박스에 의해 선택된 객체가 무엇인지 판단하기 모호하여 작업 검수자가 육안으로 한 번 더 확인하여 확정할 필요가 있거나 모델을 학습시키기에는 모호하여 학습 데이터로 부적절한지 여부를 추가 검토해야 할 필요성이 있다. 이에, 본 발명의 실시예에 따라 제3 데이터 세트를 포함하여 학습 데이터 세트를 생성하면, 모호한 객체를 포함하는 바운딩 박스도 인공지능 모델이 학습할 수 있다. 이로 인해, 바운딩 박스가 어떤 객체인지 판단하기 모호한 바운딩 박스인 경우에는, 학습된 인공지능 모델이 작업 검수자에게 모호한 객체를 포함하는 바운딩 박스를 선별하여 제공할 수 있다. Here, the third data set refers to a bounding box in which the resolution of an object selected as a bounding box among training data is lower than a certain level and thus it is difficult to determine a class, or an instance corresponding to an object selected as the bounding box. That is, the third data set refers to a set of instances including an ambiguous object selected by a bounding box in the image data. The instance included in this third data set is ambiguous to determine which object is selected by the bounding box, so it is necessary for the inspector to confirm it with the naked eye, or is it ambiguous to train the model and is inappropriate as the training data. There is a need to further review whether or not. Accordingly, if a training data set including the third data set is generated according to an embodiment of the present invention, the artificial intelligence model may also learn a bounding box including an ambiguous object. Accordingly, in the case of a bounding box that is ambiguous to determine which object the bounding box is, the learned AI model may select and provide the bounding box including the ambiguous object to the work inspector.
본 발명의 실시예에 따른 컴퓨터 장치는 학습대상 데이터 세트에서 특정 클래스의 인스턴스의 수와 학습대상 데이터 세트에서 미리 결정된 샘플링 인스턴스의 수를 비교하여, 특정 클래스의 학습 여부를 결정할 수 있다. 미리 결정된 샘플링 인스턴스의 수가 학습의 결과가 나올 수 있는 인스턴스 개수의 최소값이므로, 특정 클래스의 인스턴스의 수가 미리 결정된 샘플링 인스턴스의 수보다 작은 경우에는 학습의 결과가 나오지 않을 것으로 판단된다. 이에, 제3 데이터 세트를 학습한 결과로 원하는 학습 데이터 세트를 얻기 위해 학습대상 클래스를 결정하여, 효율적으로 제3 데이터 세트와 학습 데이터 세트가 생성될 수 있다.The computer apparatus according to an embodiment of the present invention may determine whether to learn a specific class by comparing the number of instances of a specific class in the learning target data set and the number of sampling instances predetermined in the learning target data set. Since the number of pre-determined sampling instances is the minimum value of the number of instances for which the result of learning can be obtained, it is determined that the result of learning will not be produced if the number of instances of a specific class is smaller than the pre-determined number of sampling instances. Accordingly, the learning target class may be determined to obtain a desired training data set as a result of learning the third data set, so that the third data set and the training data set may be efficiently generated.
구체적으로, 도 3의 학습대상 데이터 세트(310)에서 특정 클래스의 인스턴스의 수와 미리 결정된 샘플링 인스턴스의 수를 비교하여, 특정 클래스의 인스턴스의 수가 샘플링 인스턴스의 수보다 작은 경우에는 해당 특정 클래스를 학습하지 않고, 특정 클래스의 인스턴스의 수가 샘플링 인스턴스의 수보다 큰 경우에는 해당 특정 클래스를 학습한다. 예를 들어, 도 3의 학습대상 데이터 세트(310)에서 사람 클래스의 인스턴스의 수가 3이고 미리 결정된 샘플링 인스턴스의 수가 5인 경우 사람 클래스는 학습하지 않고, 자동차 클래스의 인스턴스의 수가 10이고 미리 결정된 샘플링 인스턴스의 수가 5인 경우 자동차 클래스는 학습한다. Specifically, the number of instances of a specific class and the number of predetermined sampling instances are compared in the learning target data set 310 of FIG. 3, and when the number of instances of a specific class is smaller than the number of sampling instances, the specific class is learned. Instead, if the number of instances of a specific class is larger than the number of sampling instances, the specific class is learned. For example, if the number of instances of the human class is 3 and the number of predetermined sampling instances is 5 in the learning target data set 310 of FIG. 3, the human class is not trained, and the number of instances of the car class is 10, and the predetermined sampling If the number of instances is 5, the car class learns.
단계 S510에서 학습하기로 결정된 클래스에 대해, 학습대상 데이터 세트로부터 제3 데이터 세트를 생성하는 단계(S520)가 수행된다. 이하, 제3 데이터 세트를 생성하는 구체적인 과정은 도 6를 함께 참조하여 후술한다. For the class determined to be learned in step S510, a step (S520) of generating a third data set from the data set to be learned is performed. Hereinafter, a detailed process of generating the third data set will be described later with reference to FIG. 6.
도 6은 본 발명의 다른 실시예에 따라 제3 데이터 세트를 생성하도록 랜덤 샘플링하는 과정을 예시적으로 도시한 순서도이다.6 is a flowchart illustrating a process of random sampling to generate a third data set according to another embodiment of the present invention.
도 5 및 도 6를 참조하면, 학습대상 데이터 세트로부터 제3 데이터 세트를 생성하는 단계(S520)는 학습대상 데이터 세트에서 특정 클래스의 인스턴스의 수와 학습대상 데이터 세트에서 미리 결정된 샘플링 인스턴스의 수를 비교하여, 미리 결정된 수의 인스턴스를 랜덤 샘플링하는 단계(S521), 및 학습대상 데이터 세트의 전체 인스턴스 중에서 랜덤 샘플링된 인스턴스들에 노이즈를 적용하는 단계(S529)를 포함할 수 있다. 5 and 6, the step of generating a third data set from the learning target data set (S520) includes the number of instances of a specific class in the learning target data set and the number of sampling instances predetermined in the learning target data set. In comparison, a step of randomly sampling a predetermined number of instances (S521), and a step (S529) of applying noise to randomly sampled instances among all instances of the learning target data set (S529).
나아가, 랜덤 샘플링하는 단계(S521)는 노이즈를 적용하는 단계(S529) 이전에 도 6에 도시된 단계 S522 내지 S525를 더 포함할 수 있다. 도 5 및 도 6을 참조하면, 학습대상 데이터 세트에서 랜덤 샘플링하는 단계(S521)는 학습대상 데이터 세트에서 학습하기로 결정된 특정 클래스의 인스턴스의 수와 미리 결정된 샘플링 인스턴스의 수의 2배수를 비교하는 단계(S522)를 포함한다. Further, the random sampling step (S521) may further include steps S522 to S525 shown in FIG. 6 before the step of applying noise (S529). 5 and 6, in the step of random sampling from the learning target data set (S521), comparing the number of instances of a specific class determined to be trained in the learning target data set and twice the number of predetermined sampling instances. It includes step S522.
구체적으로, 특정 클래스의 인스턴스의 수와 샘플링 인스턴스 수의 2배수를 비교한 결과, 특정 클래스의 인스턴스의 수가 미리 결정된 샘플링 인스턴스의 수의 2배 이상인 경우, 제1 데이터 세트에 포함되지 않은 인스턴스 샘플에서 미리 결정된 샘플링 인스턴스의 수만큼 랜덤 샘플링한다(S523). 이에, 이미 '정상 데이터 세트'에 샘플링된 인스턴스들은 제3 데이터 세트에 포함시키지 않으므로, 해당 특정 클래스의 인스턴스의 수가 샘플링 인스턴스의 수의 2배 이상일 때, 본 발명의 실시예에 따른 컴퓨터 장치는, 제1 데이터 세트인 '정상 데이터 세트'에 포함되지 않는 인스턴스들에서 샘플링 인스턴스의 수만큼 랜덤 샘플링을 하게 된다.Specifically, as a result of comparing the number of instances of a specific class and twice the number of sampling instances, when the number of instances of a specific class is more than twice the number of predetermined sampling instances, in the instance sample not included in the first data set Random sampling is performed by a predetermined number of sampling instances (S523). Accordingly, since instances already sampled in the'normal data set' are not included in the third data set, when the number of instances of the specific class is more than twice the number of sampling instances, the computer device according to the embodiment of the present invention, Random sampling as many as the number of sampling instances is performed from instances that are not included in the'normal data set' which is the first data set.
한편, 특정 클래스의 인스턴스의 수와 샘플링 인스턴스 수의 2배수를 비교한 결과, 특정 클래스의 인스턴스의 수가 미리 결정된 샘플링 인스턴스의 수의 2배 미만인 경우, 2가지 랜덤 샘플링이 수행될 수 있다. 특정 클래스의 인스턴스의 수가 미리 결정된 샘플링 인스턴스의 수의 2배 미만인 경우, 제1 데이터 세트에 포함된 인스턴스 샘플에서 미리 결정된 샘플링 인스턴스의 2배수와 특정 클래스의 인스턴스 개수의 차이만큼 랜덤 샘플링하고(S524), 제1 데이터 세트에 포함되지 않은 인스턴스 샘플에서 특정 클래스의 인스턴스 개수와 미리 결정된 샘플링 인스턴스의 차이만큼 랜덤 샘플링한다(S525). 이와 같이, 해당 특정 클래스의 인스턴스의 수가 샘플링 인스턴스의 수의 2배 미만인 경우에는, '정상 데이터 세트'인 제1 데이터 세트에 포함되지 않은 인스턴스와 제1 데이터 세트에 포함된 인스턴스를 섞어 '모호한 바운딩 박스 데이터 세트'인 제3 데이터 세트를 생성할 수 있다. 이에, 특정 클래스의 인스턴스의 수가 샘플링 인스턴스의 수의 2배 미만으로 적은 경우에는 랜덤 샘플링이 제1 데이터 세트와 제1 데이터 세트 밖에서 골고루 수행되고, 랜덤 샘플링된 인스턴스들은 하나의 중간 데이터 세트로 병합될 수 있다. Meanwhile, as a result of comparing the number of instances of a specific class and twice the number of sampling instances, when the number of instances of a specific class is less than twice the number of predetermined sampling instances, two random sampling may be performed. When the number of instances of a specific class is less than twice the number of predetermined sampling instances, random sampling is performed by the difference between the number of instances of a specific class and twice the predetermined number of sampling instances from instance samples included in the first data set (S524). , In instance samples not included in the first data set, random sampling is performed by a difference between the number of instances of a specific class and a predetermined sampling instance (S525). In this way, if the number of instances of the specific class is less than twice the number of sampling instances, instances not included in the first data set, which are'normal data sets,' and instances included in the first data set are mixed and'ambiguous bounding. A third data set that is'box data set' may be created. Thus, when the number of instances of a specific class is less than twice the number of sampling instances, random sampling is performed evenly outside the first data set and the first data set, and randomly sampled instances are merged into one intermediate data set. I can.
단계 S521 내지 단계 S525를 통해 인스턴스들이 랜덤 샘플링되고, 랜덤 샘플링된 인스턴스들을 기초로 노이즈를 적용하는 단계(S529)가 수행된다. 이하, 랜덤 샘플링된 인스턴스에 노이즈를 적용하는 구체적인 과정은 도 7을 함께 참조하여 후술한다.Instances are randomly sampled through steps S521 to S525, and a step (S529) of applying noise based on the randomly sampled instances is performed. Hereinafter, a detailed process of applying noise to randomly sampled instances will be described later with reference to FIG. 7.
도 7은 본 발명의 다른 실시예에 따른 제3 데이터 세트를 생성하기 위해 인스턴스들에 노이즈를 적용한 결과를 예시적으로 도시한 것이다.FIG. 7 exemplarily shows a result of applying noise to instances to generate a third data set according to another embodiment of the present invention.
도 5 및 도 7을 참조하면, 랜덤 샘플링된 인스턴스들에 노이즈를 적용하는 단계(S529)는 랜덤 샘플링된 인스턴스들을 블러(blur) 처리하거나 랜덤 샘플링된 인스턴스들에 픽셀레이트(pixelrate)를 적용하는 단계를 포함할 수 있다. 즉, 랜덤 샘플링된 인스턴스들에 블러 처리를 하거나 픽셀레이트를 적용하여 사람이 보기에 인스턴스들이 모호한 객체를 포함하도록 가공될 수 있다. 구체적으로, 블러 처리하는 단계는 랜덤 샘플링된 인스턴스들에 가우시안 블러(Gaussian Blur)를 적용하는 단계를 포함할 수 있다. 여기서, 가우시안 블러의 라플라시안 변화값의 임계값은 200이하일 수 있으며, 바람직하게는 100이하일 수 있다. 또한, 픽셀레이트에서 라플라시안 변화값의 임계값은 1000이상 5000이하일 수 있다. 5 and 7, the step of applying noise to randomly sampled instances (S529) is a step of blurring randomly sampled instances or applying a pixel rate to randomly sampled instances. It may include. That is, randomly sampled instances may be blurred or processed so that the instances include objects that are ambiguous to humans by applying a pixel rate. Specifically, the step of blurring may include applying a Gaussian Blur to randomly sampled instances. Here, the threshold value of the Laplacian change value of the Gaussian blur may be 200 or less, and preferably 100 or less. In addition, the threshold value of the Laplacian change value in the pixel rate may be 1000 or more and 5000 or less.
도 7(a)를 참조하면, 랜덤 샘플링된 인스턴스들에 가우시안 블러의 라플라시안 변화값을 약 20 내지 50 사이에서 변화시키면서 적용한 결과가 도시되어 있다. 제1 블러 인스턴스(711)는 약 23의 라플라시안 변화값이 적용되었고, 제2 블러 인스턴스(712)는 약 34의 라플라시안 변화값이 적용되었으며, 제3 블러 인스턴스(713)는 약 50의 라플라시안 변화값이 적용되었다. 제3 블러 인스턴스(713)에서 제1 블러 인스턴스(711)로 갈수록 라플라시안 변화값이 작아지고, 라플라시안 변화값이 작아짐에 따라 이미지 내의 객체가 점점 흐려지고 모호하게 확인될 수 있다. 이에, 제3 데이터 세트를 생성하기 위해 라플라시안 변화값을 200 이하에서 결정하여 랜덤 샘플링된 인스턴스들에 적용하여 블러 처리할 수 있다. Referring to FIG. 7A, a result of applying a Laplacian change value of a Gaussian blur to randomly sampled instances while varying between about 20 and 50 is shown. The
도 7(b)를 참조하면, 랜덤 샘플링된 인스턴스들에 픽셀레이트에서 라플라시안 변화값의 임계값을 약 250 내지 2000 사이에서 변화시키면서 적용한 결과가 도시되어 있다. 제1 픽셀레이트 인스턴스(721)는 약 280의 라플라시안 변화값이 적용되었고, 제2 픽셀레이트 인스턴스(722)는 약 1044의 라플라시안 변화값이 적용되었으며, 제3 픽셀레이트 인스턴스(723)는 약 1946의 라플라시안 변화값이 적용되었다. 제1 픽셀레이트 인스턴스(721)에서 제3 픽셀레이트 인스턴스(723)로 갈수록 라플라시안 변화값이 커지고, 라플라시안 변화값이 커짐에 따라 이미지가 모자이크처럼 픽셀이 깨진 이미지로 확인될 수 있다. 이에, 제3 데이터 세트를 생성하기 위해 라플라시안 변화값을 1000이상 5000이하에서 결정하여 랜덤 샘플링된 인스턴스들에 픽셀레이트를 적용할 수 있다.Referring to FIG. 7B, a result of applying a threshold value of a Laplacian change value in a pixel rate to about 250 to 2000 to random sampled instances is shown. The first
도 7에 도시된 라플라시안 변화값과 이에 따른 인스턴스들은 단지 예시적인 것이므로, 라플라시안 변화값과 이에 따른 인스턴스들의 변화는 이에 한정되지 않고 자유롭게 설정될 수 있다. 이와 같이, 랜덤 샘플링된 인스턴스들에 가우시안 블러나 픽셀레이트를 적용하게 되면, 작업자가 육안으로 구별 가능했던 '정상 데이터 세트'의 인스턴스의 객체도 사람이 육안으로 구별하기 어려울 정도로 모호한 이미지가 생성된다. Since the Laplacian change value and corresponding instances shown in FIG. 7 are exemplary only, the Laplacian change value and the corresponding change of instances are not limited thereto and may be freely set. In this way, when Gaussian blur or pixel rate is applied to randomly sampled instances, an object of an instance of the'normal data set', which the operator could distinguish with the naked eye, also creates an ambiguous image so that it is difficult for humans to distinguish it with the naked eye.
도 5 및 도 7을 참조하면, 컴퓨터 장치는 제3 데이터 세트를 제1 데이터 세트와 제2 데이터 세트와 병합하여(S530), 학습 데이터 세트를 생성할 수 있다. 즉, 본 발명의 실시예에 따른 학습 데이터 세트를 생성하는 방법은 상술한 바에 따라 노이즈가 적용된, 랜덤 샘플링된 인스턴스들을 제1 데이터 세트 및 제2 데이터 세트와 병합하는 단계를 더 포함하여 학습 데이터 세트를 생성할 수도 있다. 이를 통해, 제1 데이터 세트 및 제2 데이터 세트 외에도 모호한 이미지 데이터를 포함하는 인스턴스들의 집합인 제3 데이터 세트가 추가적으로 생성될 수 있다. 제1 데이터 세트 및 제2 데이터 세트와 함께 제3 데이터 세트를 함께 학습시킴으로써, 학습된 인공지능 모델이 입력된 모호한 이미지를 추론하는 경우 이미지 데이터의 분류의 오류를 감소시키고 검수자에게 모호한 바운딩 박스의 존재 여부를 알리고 검수를 요청할 수 있다. 5 and 7, the computer device may generate a training data set by merging the third data set with the first data set and the second data set (S530). That is, the method of generating the training data set according to the embodiment of the present invention further comprises merging the randomly sampled instances to which noise has been applied, with the first data set and the second data set, as described above. You can also create Through this, in addition to the first data set and the second data set, a third data set, which is a set of instances including ambiguous image data, may be additionally generated. By training the third data set together with the first data set and the second data set, when the trained artificial intelligence model infers the input ambiguous image, it reduces the error of classification of the image data and the existence of a bounding box that is ambiguous to the examiner. You can inform whether or not and request an inspection.
이와 같이, 모호한 바운딩 박스를 포함하는 제3 데이터 세트를 학습 데이터 세트에 추가함에 따라, 본 발명의 실시예에 따라 생성된 학습 데이터 세트를 학습한 어노테이션 모델은 추론되는 데이터 세트를 정상 바운딩 박스, 고스트 바운딩 박스, 및 모호한 바운딩 박스로 구별할 수 있게 된다. 나아가, 본 발명의 실시예에 따라 생성된 학습 데이터 세트를 학습한 어노테이션 모델은 보다 정확하게 클래스와 객체가 일치하는 바운딩 박스를 생성할 수 있고, 고스트 바운딩 박스를 자동으로 삭제할 수 있으며, 모호한 바운딩 박스를 보다 정확하게 선별하여 작업자에게 검수를 요청할 수 있다. 이로 인해, 본 발명에 따라 생성된 학습 데이터 세트는 인공지능 모델의 추론 정확도를 향상시켜 추론된 데이터 세트를 수정하는 비용을 절감시키고 추론된 데이터 세트를 생성하는 속도도 향상시킬 수 있다.As described above, as the third data set including the ambiguous bounding box is added to the training data set, the annotation model obtained by learning the training data set generated according to an embodiment of the present invention can convert the inferred data set into a normal bounding box and a ghost. It is possible to distinguish between a bounding box and an ambiguous bounding box. Furthermore, the annotation model obtained by learning the training data set generated according to an embodiment of the present invention can more accurately generate a bounding box in which the class and object match, automatically delete the ghost bounding box, and eliminate the ambiguous bounding box. You can select more accurately and ask the operator for inspection. Accordingly, the training data set generated according to the present invention can improve the inference accuracy of the artificial intelligence model, thereby reducing the cost of modifying the inferred data set and improving the speed of generating the inferred data set.
본 명세서에서, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In this specification, each block or each step may represent a module, segment, or part of code that includes one or more executable instructions for executing the specified logical function(s). It should also be noted that in some alternative embodiments, the functions mentioned in the blocks or steps may occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially simultaneously, or the blocks or steps may sometimes be performed in the reverse order depending on the corresponding function.
본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈 또는 그 2 개의 결합으로 직접 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM 또는 당업계에 알려진 임의의 다른 형태의 기록 매체 또는 저장 매체에 상주할 수도 있다. 예시적인 기록 매체 또는 저장 매체는 프로세서에 커플링되며, 그 프로세서는 기록 매체 또는 저장 매체로부터 정보를 판독할 수 있고 기록 매체 또는 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 기록 매체 또는 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 기록 매체 또는 저장 매체는 주문형 집적회로 (ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.The steps of the method or algorithm described in connection with the embodiments disclosed herein may be directly implemented in hardware executed by a processor, a software module, or a combination of the two. The software module may reside in RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, register, hard disk, removable disk, CD-ROM, or any other type of recording medium or storage medium known in the art. An exemplary recording medium or storage medium is coupled to a processor, the processor capable of reading information from and writing information to the recording medium or storage medium. Alternatively, the recording medium or storage medium may be integral with the processor. The processor and recording medium or storage medium may reside within an application specific integrated circuit (ASIC). The ASIC may reside within the user terminal. Alternatively, the processor and storage medium may reside as separate components within the user terminal.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although the embodiments of the present invention have been described in more detail with reference to the accompanying drawings, the present invention is not necessarily limited to these embodiments, and various modifications may be made without departing from the spirit of the present invention. . Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. Therefore, it should be understood that the embodiments described above are illustrative and non-limiting in all respects. The scope of protection of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
210 제1 로우 데이터
211 제1 인스턴스
212 제2 인스턴스
213 제3 인스턴스
214 제4 인스턴스
215 제5 인스턴스
216 제6 인스턴스
217 제7 인스턴스
218 제8 인스턴스
220 제2 로우 데이터
221 제9 인스턴스
222 제10 인스턴스
223 제11 인스턴스
230 제3 로우 데이터
270 제1 클래스 초기 데이터
280 제2 클래스 초기 데이터
290 제3 클래스 초기 데이터
310 학습대상 데이터 세트
320 제1 데이터 세트
410 이미지 데이터
411 제1 고스트 바운딩 박스
412 제2 고스트 바운딩 박스
413 제3 고스트 바운딩 박스
711 제1 블러 인스턴스
712 제2 블러 인스턴스
713 제3 블러 인스턴스
721 제1 픽셀레이트 인스턴스
722 제2 픽셀레이트 인스턴스
723 제3 픽셀레이트 인스턴스210 first raw data
211 first instance
212 second instance
213 third instance
214 fourth instance
215 fifth instance
216 6th instance
217 7th instance
218th instance
220 second raw data
221 9th instance
222 tenth instance
223 11th instance
230 third raw data
270 first class initial data
280 second class initial data
290 third class initial data
310 Learning Target Data Set
320 first data set
410 image data
411 First Ghost Bounding Box
412 2nd Ghost Bounding Box
413 3rd Ghost Bounding Box
711 First Blur Instance
712 2nd Blur Instance
713 3rd Blur Instance
721 first pixelrate instance
722 second pixelrate instance
723 Third Pixelrate Instance
Claims (14)
초기 데이터를 생성하는 단계;
상기 초기 데이터를 기초로 미리 결정된 수의 학습대상 데이터 세트를 생성하는 단계;
상기 학습대상 데이터 세트로부터 제1 데이터 세트를 추출하는 단계;
상기 학습대상 데이터 세트로부터 제2 데이터 세트를 생성하는 단계;
상기 학습대상 데이터 세트로부터 제3 데이터 세트를 생성하는 단계; 및
상기 제1 데이터 세트, 상기 제2 데이터 세트, 및 상기 제3 데이터 세트를 병합하여, 학습 데이터 세트를 생성하는 단계를 포함하고,
상기 초기 데이터는 이미지 데이터로부터 추출된 정보를 포함하고,
상기 제3 데이터 세트를 생성하는 단계는,
상기 학습대상 데이터 세트의 전체 인스턴스 중에서 랜덤(random) 샘플링된 인스턴스들에 노이즈를 적용하는 단계를 포함하고,
상기 학습대상 데이터 세트에서 특정 클래스의 인스턴스의 수가 상기 학습대상 데이터 세트에서 미리 결정된 샘플링 인스턴스의 수의 2배 이상인 경우, 상기 제1 데이터 세트에 포함되지 않은 인스턴스 샘플에서 상기 미리 결정된 샘플링 인스턴스의 수만큼 랜덤 샘플링하는 단계; 또는
상기 학습대상 데이터 세트에서 상기 특정 클래스의 인스턴스의 수가 상기 미리 결정된 샘플링 인스턴스의 수의 2배 미만인 경우, 상기 제1 데이터 세트에 포함된 인스턴스 샘플에서 상기 미리 결정된 샘플링 인스턴스의 2배수와 상기 특정 클래스의 인스턴스 개수의 차이만큼 랜덤 샘플링하고, 상기 제1 데이터 세트에 포함되지 않은 인스턴스 샘플에서 상기 특정 클래스의 인스턴스 개수와 상기 미리 결정된 샘플링 인스턴스의 차이만큼 랜덤 샘플링하는 단계를 포함하는,
컴퓨터 장치가 인공지능 모델을 학습시키기 위한 학습 데이터 세트를 생성하는 방법.A method for generating a training data set for a computer device to train an artificial intelligence model, comprising:
Generating initial data;
Generating a predetermined number of data sets to be learned based on the initial data;
Extracting a first data set from the learning target data set;
Generating a second data set from the learning target data set;
Generating a third data set from the learning target data set; And
Merging the first data set, the second data set, and the third data set to generate a training data set,
The initial data includes information extracted from image data,
Generating the third data set,
Comprising the step of applying noise to random (random) sampled instances among all the instances of the data set to be trained,
When the number of instances of a specific class in the learning target data set is more than twice the number of predetermined sampling instances in the learning target data set, the number of instances of the predetermined sampling in the instance samples not included in the first data set Random sampling; or
When the number of instances of the specific class in the learning target data set is less than twice the number of predetermined sampling instances, the number of instances of the predetermined sampling instance and the number of instances of the specific class included in the first data set Comprising random sampling by the difference between the number of instances, and randomly sampling by the difference between the number of instances of the specific class and the predetermined sampling instance from instance samples not included in the first data set,
How a computer device generates a training data set to train an artificial intelligence model.
상기 초기 데이터를 생성하는 단계는 로우(raw) 데이터에서 바운딩 박스(Bounding box)의 좌표를 추출하는 단계를 포함하는,
학습 데이터 세트를 생성하는 방법.The method of claim 1,
The generating of the initial data includes extracting coordinates of a bounding box from raw data,
How to create a training data set.
상기 초기 데이터는 이미지 데이터로부터 추출된 정보를 포함하고,
상기 제1 데이터 세트는 상기 학습대상 데이터 세트의 전체 인스턴스 중에서 각각의 클래스마다 미리 결정된 수만큼 샘플링한 인스턴스를 포함하는,
학습 데이터 세트를 생성하는 방법.The method of claim 1,
The initial data includes information extracted from image data,
The first data set includes instances sampled by a predetermined number for each class among all instances of the learning target data set,
How to create a training data set.
상기 제3 데이터 세트를 생성하는 단계 이전에,
상기 학습대상 데이터 세트에서 특정 클래스의 인스턴스의 수와 상기 학습대상 데이터 세트에서 미리 결정된 샘플링 인스턴스의 수를 비교하여, 상기 특정 클래스의 학습 여부를 결정하는 단계를 더 포함하는,
학습 데이터 세트를 생성하는 방법.The method of claim 1,
Prior to the step of generating the third data set,
Comparing the number of instances of a specific class in the learning target data set and a predetermined number of sampling instances in the learning target data set, and determining whether to learn the specific class,
How to create a training data set.
상기 노이즈를 적용하는 단계는,
랜덤 샘플링된 인스턴스들을 블러(blur) 처리하거나 상기 랜덤 샘플링된 인스턴스들에 픽셀레이트(pixelrate)를 적용하는 단계를 포함하는,
학습 데이터 세트를 생성하는 방법.The method of claim 1,
The step of applying the noise,
Comprising the step of blurring randomly sampled instances or applying a pixel rate to the randomly sampled instances,
How to create a training data set.
상기 블러 처리하는 단계는 상기 랜덤 샘플링된 인스턴스들에 가우시안 블러(Gaussian Blur)를 적용하는 단계를 포함하고,
상기 가우시안 블러에서 라플라시안 변화값의 임계값(threshold)은 200이하이며,
상기 픽셀레이트에서 라플라시안 변화값의 임계값은 1000 이상 5000 이하인,
학습 데이터 세트를 생성하는 방법.The method of claim 8,
The blurring step includes applying a Gaussian Blur to the randomly sampled instances,
The threshold of the Laplacian change value in the Gaussian blur is 200 or less,
The threshold value of the Laplacian change value in the pixel rate is 1000 or more and 5000 or less,
How to create a training data set.
상기 학습 데이터 세트를 생성하는 단계는, 상기 노이즈가 적용된, 상기 랜덤 샘플링된 인스턴스들을 상기 제1 데이터 세트 및 상기 제2 데이터 세트와 병합하는 단계를 더 포함하는,
학습 데이터 세트를 생성하는 방법.The method of claim 1,
The generating of the training data set further comprises merging the randomly sampled instances, to which the noise is applied, with the first data set and the second data set,
How to create a training data set.
상기 초기 데이터는 이미지 데이터로부터 추출된 정보를 포함하고,
상기 제2 데이터 세트를 생성하는 단계는,
상기 이미지 데이터에서 바운딩 박스가 존재하지 않는 위치 정보를 추출하는 단계;
상기 위치 정보에 대응하는 복수의 위치들에서 미리 결정된 수만큼 고스트 바운딩 박스의 좌표를 랜덤 추출하는 단계; 및
상기 고스트 바운딩 박스의 좌표에 대응하는 이미지를 추출하는 단계를 포함하는,
학습 데이터 세트를 생성하는 방법.The method of claim 1,
The initial data includes information extracted from image data,
Generating the second data set,
Extracting location information in which a bounding box does not exist from the image data;
Randomly extracting coordinates of a ghost bounding box by a predetermined number from a plurality of locations corresponding to the location information; And
Including the step of extracting an image corresponding to the coordinates of the ghost bounding box,
How to create a training data set.
생성된 상기 학습 데이터 세트를 기초로 어노테이션(annotation) 모델을 학습시키는 단계를 더 포함하는,
학습 데이터 세트를 생성하는 방법.The method of claim 1,
Further comprising the step of training an annotation (annotation) model based on the generated training data set,
How to create a training data set.
상기 프로세서와 전기적으로 통신하고 컴퓨터 판독가능 명령어들을 저장하는 메모리를 포함하는 컴퓨터 장치로서,
상기 명령어들은, 상기 프로세서에 의해 실행될 때, 상기 컴퓨터 장치로 하여금:
초기 데이터를 생성하게 하고,
상기 초기 데이터를 기초로 미리 결정된 수의 학습대상 데이터 세트를 생성하게 하고,
상기 학습대상 데이터 세트로부터 제1 데이터 세트를 추출하게 하고,
상기 학습대상 데이터 세트로부터 제2 데이터 세트를 생성하게 하고,
상기 학습대상 데이터 세트로부터 제3 데이터 세트를 생성하게 하고,
상기 제1 데이터 세트, 상기 제2 데이터 세트, 및 상기 제3 데이터 세트를 병합하여, 학습 데이터 세트를 생성하게 하고,
상기 초기 데이터는 이미지 데이터로부터 추출된 정보를 포함하고,
상기 제3 데이터 세트를 생성하게 하는 명령어들은, 상기 컴퓨터 장치로 하여금:
상기 학습대상 데이터 세트의 전체 인스턴스 중에서 랜덤(random) 샘플링된 인스턴스들에 노이즈를 적용하게 하고,
상기 학습대상 데이터 세트에서 특정 클래스의 인스턴스의 수가 상기 학습대상 데이터 세트에서 미리 결정된 샘플링 인스턴스의 수의 2배 이상인 경우, 상기 제1 데이터 세트에 포함되지 않은 인스턴스 샘플에서 상기 미리 결정된 샘플링 인스턴스의 수만큼 랜덤 샘플링하게 하거나; 또는
상기 학습대상 데이터 세트에서 상기 특정 클래스의 인스턴스의 수가 상기 미리 결정된 샘플링 인스턴스의 수의 2배 미만인 경우, 상기 제1 데이터 세트에 포함된 인스턴스 샘플에서 상기 미리 결정된 샘플링 인스턴스의 2배수와 상기 특정 클래스의 인스턴스 개수의 차이만큼 랜덤 샘플링하고, 상기 제1 데이터 세트에 포함되지 않은 인스턴스 샘플에서 상기 특정 클래스의 인스턴스 개수와 상기 미리 결정된 샘플링 인스턴스의 차이만큼 랜덤 샘플링하게 하는,
컴퓨터 장치.Processor; And
A computer device comprising a memory in electrical communication with the processor and storing computer readable instructions,
The instructions, when executed by the processor, cause the computer device to:
Create initial data,
Generate a predetermined number of data sets to be learned based on the initial data,
Extracting a first data set from the learning target data set,
Generate a second data set from the learning target data set,
Generate a third data set from the learning target data set,
Merging the first data set, the second data set, and the third data set to generate a training data set,
The initial data includes information extracted from image data,
The instructions that cause the third data set to be generated cause the computer device to:
Apply noise to randomly sampled instances among all instances of the data set to be trained,
When the number of instances of a specific class in the learning target data set is more than twice the number of predetermined sampling instances in the learning target data set, the number of instances of the predetermined sampling in the instance samples not included in the first data set Random sampling; or
When the number of instances of the specific class in the learning target data set is less than twice the number of predetermined sampling instances, the number of instances of the predetermined sampling instance and the number of instances of the specific class included in the first data set Performing random sampling by a difference between the number of instances, and randomly sampling by the difference between the number of instances of the specific class and the predetermined sampling instance from instance samples not included in the first data set,
Computer device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200157702A KR102256409B1 (en) | 2020-11-23 | 2020-11-23 | Method of generating a learning data set and computer apparatus for generating a learning data set |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200157702A KR102256409B1 (en) | 2020-11-23 | 2020-11-23 | Method of generating a learning data set and computer apparatus for generating a learning data set |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102256409B1 true KR102256409B1 (en) | 2021-05-25 |
Family
ID=76145295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200157702A KR102256409B1 (en) | 2020-11-23 | 2020-11-23 | Method of generating a learning data set and computer apparatus for generating a learning data set |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102256409B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113377980A (en) * | 2021-06-24 | 2021-09-10 | 上海商汤科技开发有限公司 | Information labeling method and device, electronic equipment and storage medium |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004110213A (en) * | 2002-09-13 | 2004-04-08 | Asatsu-Dk Inc | Preparation processing method and device for picture image prediction model, computer readable recording medium with picture image prediction model generation program and computer program and picture image prediction system |
| KR102015947B1 (en) * | 2018-04-19 | 2019-10-21 | 주식회사 크라우드웍스 | Method for extracting image of learning object for autonomous driving and apparatus thereof |
| KR20200027885A (en) * | 2018-09-05 | 2020-03-13 | 주식회사 스트라드비젼 | Method and device for generating image data set to be used for learning cnn capable of detecting obstruction in autonomous driving circumstance, and testing method, and testing device using the same |
| KR20200047306A (en) * | 2018-10-26 | 2020-05-07 | 주식회사 스트라드비젼 | Learning method and learning device using multiple labeled databases with different label sets and testing method and testing device using the same |
| KR102117543B1 (en) | 2018-04-26 | 2020-06-01 | 주식회사 슈퍼브에이아이 | Computing device and artificial intelligence based image processing service system using the same |
| KR20200093426A (en) * | 2019-01-28 | 2020-08-05 | 주식회사 스트라드비젼 | Learning method and learning device of pedestrian detector for robust surveillance based on image analysis by using gan and testing method and testing device using the same |
| KR20200094608A (en) * | 2019-01-30 | 2020-08-07 | 삼성전자주식회사 | Method for detecting a face included in an image and a device therefor |
| US20200334501A1 (en) * | 2019-04-18 | 2020-10-22 | Adobe Inc | Robust training of large-scale object detectors with a noisy dataset |
-
2020
- 2020-11-23 KR KR1020200157702A patent/KR102256409B1/en active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004110213A (en) * | 2002-09-13 | 2004-04-08 | Asatsu-Dk Inc | Preparation processing method and device for picture image prediction model, computer readable recording medium with picture image prediction model generation program and computer program and picture image prediction system |
| KR102015947B1 (en) * | 2018-04-19 | 2019-10-21 | 주식회사 크라우드웍스 | Method for extracting image of learning object for autonomous driving and apparatus thereof |
| KR102117543B1 (en) | 2018-04-26 | 2020-06-01 | 주식회사 슈퍼브에이아이 | Computing device and artificial intelligence based image processing service system using the same |
| KR20200027885A (en) * | 2018-09-05 | 2020-03-13 | 주식회사 스트라드비젼 | Method and device for generating image data set to be used for learning cnn capable of detecting obstruction in autonomous driving circumstance, and testing method, and testing device using the same |
| KR20200047306A (en) * | 2018-10-26 | 2020-05-07 | 주식회사 스트라드비젼 | Learning method and learning device using multiple labeled databases with different label sets and testing method and testing device using the same |
| KR20200093426A (en) * | 2019-01-28 | 2020-08-05 | 주식회사 스트라드비젼 | Learning method and learning device of pedestrian detector for robust surveillance based on image analysis by using gan and testing method and testing device using the same |
| KR20200094608A (en) * | 2019-01-30 | 2020-08-07 | 삼성전자주식회사 | Method for detecting a face included in an image and a device therefor |
| US20200334501A1 (en) * | 2019-04-18 | 2020-10-22 | Adobe Inc | Robust training of large-scale object detectors with a noisy dataset |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113377980A (en) * | 2021-06-24 | 2021-09-10 | 上海商汤科技开发有限公司 | Information labeling method and device, electronic equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110738207B (en) | Character detection method for fusing character area edge information in character image | |
| CN109684803B (en) | Man-machine verification method based on gesture sliding | |
| JP2014531097A (en) | Text detection using multi-layer connected components with histograms | |
| CN111652218A (en) | Text detection method, electronic device and computer readable medium | |
| CN108399424B (en) | Point cloud classification method, intelligent terminal and storage medium | |
| CN111275034B (en) | Method, device, equipment and storage medium for extracting text region from image | |
| CN110555433A (en) | Image processing method, image processing device, electronic equipment and computer readable storage medium | |
| CN112381092B (en) | Tracking method, tracking device and computer readable storage medium | |
| CN110188815B (en) | Feature point sampling method, device, equipment and storage medium | |
| CN110969641A (en) | Image processing method and device | |
| KR102256409B1 (en) | Method of generating a learning data set and computer apparatus for generating a learning data set | |
| CN115050002A (en) | Image annotation model training method and device, electronic equipment and storage medium | |
| CN111435445A (en) | Training method and device of character recognition model and character recognition method and device | |
| CN114429636A (en) | Image scanning identification method and device and electronic equipment | |
| CN112633428A (en) | Stroke skeleton information extraction method and device, electronic equipment and storage medium | |
| KR20110087620A (en) | Layout based page recognition method for printed medium | |
| KR102301635B1 (en) | Method of inferring bounding box using artificial intelligence model and computer apparatus of inferring bounding box | |
| CN111967460B (en) | Text detection method and device, electronic equipment and computer storage medium | |
| CN110751163A (en) | Target positioning method and device, computer readable storage medium and electronic equipment | |
| López Hernández et al. | Detecting image brush editing using the discarded coefficients and intentions | |
| JP6354316B2 (en) | Image detection apparatus and program | |
| CN114387315A (en) | Image processing model training method, image processing device, image processing equipment and image processing medium | |
| CN111626244A (en) | Image recognition method, image recognition device, electronic equipment and medium | |
| RU2634192C1 (en) | Data input from series of images applicable to template document | |
| CN111738250B (en) | Text detection method and device, electronic equipment and computer storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |