KR102624934B1 - Image super-resolution-based selective labeling device and method for improving the efficiency of deep learning model training - Google Patents

Abstract

본 발명은 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 장치 및 방법에 관한 것으로, 상기 장치는 이미지 모집단의 원본 이미지들을 전처리(preprocessing)하여 상기 원본 이미지들에 대응되는 초해상화 이미지들을 생성하는 이미지 전처리부; 상기 초해상화 이미지들을 특정 기준에 따라 분류하여 복수의 후보 이미지셋들을 생성하는 후보 이미지셋 생성부; 상기 복수의 후보 이미지셋들 중에서 딥러닝 모델 구축을 위해 사용되는 소스 이미지셋을 결정하는 소스 이미지셋 결정부; 및 상기 소스 이미지셋의 소스 이미지들에 대해 객체 레이블링(object labeling)을 수행하여 학습 이미지셋을 생성하는 학습 이미지셋 생성부;를 포함한다.The present invention relates to a selective labeling device and method based on image super-resolution to improve the efficiency of building a deep learning model, and the device preprocesses the original images of the image population to produce super-resolution corresponding to the original images. An image preprocessor that generates images; a candidate image set generator that generates a plurality of candidate image sets by classifying the super-resolution images according to specific criteria; a source image set determination unit that determines a source image set to be used for building a deep learning model among the plurality of candidate image sets; and a learning image set generator that generates a learning image set by performing object labeling on source images of the source image set.

Description

딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 장치 및 방법{IMAGE SUPER-RESOLUTION-BASED SELECTIVE LABELING DEVICE AND METHOD FOR IMPROVING THE EFFICIENCY OF DEEP LEARNING MODEL TRAINING}Image super-resolution-based selective labeling device and method for improving the efficiency of deep learning model construction {IMAGE SUPER-RESOLUTION-BASED SELECTIVE LABELING DEVICE AND METHOD FOR IMPROVING THE EFFICIENCY OF DEEP LEARNING MODEL TRAINING}

본 발명은 딥러닝 모델 구축 기술에 관한 것으로, 보다 상세하게는 전체 이미지 중에서 선별화된 이미지로 학습셋을 구축하는 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 장치 및 방법에 관한 것이다.The present invention relates to deep learning model building technology, and more specifically, to a selective labeling device and method based on image super-resolution to improve the efficiency of building a deep learning model that builds a learning set with images selected from all images. will be.

최근 딥러닝(Deep Learning) 기술의 발전으로 이미지를 활용하는 연구가 활발하게 수행되고 있다. 이러한 딥러닝 기술을 이용하여 손실되었거나 전송, 보관 등의 이유로 인한 저해상도의 오래된 이미지들을 선명한 고화질의 이미지로 복원하는 초고해상화(Super Resolution) 작업에 대한 연구가 급속하게 확대되고 있다. 특히, 초고해상화 기술(또는 초해상화 기술)은 이미지 검색, CCTV 복원, 위성 이미지, 의료 이미지, 명화 복원 등 광범위한 산업에서 널리 사용되고 있다.Recently, with the development of deep learning technology, research using images is being actively conducted. Research on super resolution, which uses deep learning technology to restore old, low-resolution images that have been lost or are lost due to transmission or storage, into clear, high-definition images is rapidly expanding. In particular, ultra-high resolution technology (or super-resolution technology) is widely used in a wide range of industries, including image search, CCTV restoration, satellite images, medical images, and famous painting restoration.

한편, 동양화를 포함하여 많은 역사 사료들은 저해상도로 보관된 경우가 많은데 이러한 손상된 부분을 사람이 직접 복원할 수 있지만 이러한 과정에는 많은 시간과 비용과 노력이 소모될 수 있다. 이에 반해, 최신 딥러닝 알고리즘을 접목한 초고해상화 기술을 이용한다면 손상이 복합적으로 존재하는 오래된 이미지를 보다 자연스럽고 선명한 이미지로 복원할 수 있다.Meanwhile, many historical materials, including oriental paintings, are often stored in low resolution. Although these damaged parts can be restored by humans, this process can consume a lot of time, money, and effort. On the other hand, if you use ultra-high resolution technology that combines the latest deep learning algorithms, old images with complex damage can be restored into more natural and clear images.

저해상도 이미지를 초고해상화 하는 작업은 과거로부터 꾸준히 연구가 이루어져 왔으며 특히 딥러닝 기반의 초고해상화 알고리즘(또는 초해상화 알고리즘)은 기존의 전통적인 기법들과 비교하여 화질을 개선하는데 있어 높은 성능을 보여주고 있다.The work of converting low-resolution images into super-resolution has been continuously studied in the past, and in particular, deep learning-based super-resolution algorithms (or super-resolution algorithms) have shown high performance in improving image quality compared to existing traditional techniques. is giving

또한, 초고해상화 기술로 복원된 이미지를 이용하는 경우 인식이 어려운 객체에 대한 탐지 정확도를 높일 수 있고 인식 가능한 객체에 대해서도 보다 선명한 탐지를 보장하여 모델의 전체 성능을 향상시킬 수 있다.In addition, when images restored using ultra-high resolution technology are used, detection accuracy for objects that are difficult to recognize can be improved and overall performance of the model can be improved by ensuring clearer detection of recognizable objects.

다만, 이러한 딥러닝 모델을 개발하기 위해서는 기능이나 목적에 부합하는 정보를 원본 이미지에 부착하는 이미지 레이블링(Labeling) 작업이 선행되어야 하며, 딥러닝 모델을 훈련시키기 위해서는 수천, 수만장의 레이블된 이미지가 필요할 수 있다.However, in order to develop such a deep learning model, image labeling, which attaches information that matches the function or purpose to the original image, must be done first. In order to train a deep learning model, thousands or tens of thousands of labeled images are required. It may be necessary.

한국공개특허 제10-2018-0061496호 (2018.06.08)Korean Patent Publication No. 10-2018-0061496 (2018.06.08)

본 발명의 일 실시예는 이미지를 초고해상화 작업을 거친 후에 SSIM과 PSNR을 판단하여 전체 이미지 중에서 딥러닝 모델에 영향을 주는 선별화된 이미지 데이터로 학습셋을 구축하는 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 장치 및 방법을 제공하고자 한다.One embodiment of the present invention improves the efficiency of building a deep learning model by determining the SSIM and PSNR after super-resolving the image and constructing a learning set with selected image data that affects the deep learning model among all images. The purpose of this study is to provide a selective labeling device and method based on image super-resolution.

실시예들 중에서, 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 장치는 이미지 모집단의 원본 이미지들을 전처리(preprocessing)하여 상기 원본 이미지들에 대응되는 초해상화 이미지들을 생성하는 이미지 전처리부; 상기 초해상화 이미지들을 특정 기준에 따라 분류하여 복수의 후보 이미지셋들을 생성하는 후보 이미지셋 생성부; 상기 복수의 후보 이미지셋들 중에서 딥러닝 모델 구축을 위해 사용되는 소스 이미지셋을 결정하는 소스 이미지셋 결정부; 및 상기 소스 이미지셋의 소스 이미지들에 대해 객체 레이블링(object labeling)을 수행하여 학습 이미지셋을 생성하는 학습 이미지셋 생성부;를 포함한다.Among embodiments, an image super-resolution-based selective labeling device for improving the efficiency of deep learning model construction is image preprocessing that preprocesses original images of the image population to generate super-resolution images corresponding to the original images. wealth; a candidate image set generator that generates a plurality of candidate image sets by classifying the super-resolution images according to specific criteria; a source image set determination unit that determines a source image set to be used for building a deep learning model among the plurality of candidate image sets; and a learning image set generator that generates a learning image set by performing object labeling on source images of the source image set.

상기 이미지 전처리부는 상기 원본 이미지들을 Real-ESRGAN 모델을 포함하는 초해상화 알고리즘에 적용하여 상기 초해상화 이미지들을 생성할 수 있다.The image preprocessor may generate the super-resolution images by applying the original images to a super-resolution algorithm including a Real-ESRGAN model.

상기 후보 이미지셋 생성부는 원본 이미지와 초해상화 이미지 간의 비교를 통해 상기 초해상화 이미지 별로 최대 신호대 잡음비(PSNR, Peak Signa to Noise Ratio)와 구조적 유사 지수(SSIM, Structural Similarity Index Measure)를 각각 산출할 수 있다.The candidate image set generator calculates the maximum signal-to-noise ratio (PSNR, Peak Signa to Noise Ratio) and structural similarity index (SSIM, Structural Similarity Index Measure) for each super-resolution image through comparison between the original image and the super-resolution image. can do.

상기 후보 이미지셋 생성부는 상기 최대 신호대 잡음비(PSNR)의 값들을 정규화(normalization) 하여 상기 구조적 유사 지수(SSIM)의 스케일(scale)에 일치시킬 수 있다.The candidate image set generator may normalize the values of the maximum signal-to-noise ratio (PSNR) to match the scale of the structural similarity index (SSIM).

상기 후보 이미지셋 생성부는 상기 최대 신호대 잡음비(PSNR)와 상기 구조적 유사 지수(SSIM)를 독립된 차원으로 하는 2차원 좌표계에서 상기 초해상화 이미지들의 분포를 결정할 수 있다.The candidate image set generator may determine the distribution of the super-resolution images in a two-dimensional coordinate system with the maximum signal-to-noise ratio (PSNR) and the structural similarity index (SSIM) as independent dimensions.

상기 후보 이미지셋 생성부는 상기 2차원 좌표계에서 X축 및 Y축의 위치를 기준으로 상기 초해상화 이미지들 각각의 면적을 산출하고 상기 면적을 기준으로 상기 초해상화 이미지들을 그룹화 할 수 있다.The candidate image set generator may calculate an area of each of the super-resolution images based on the positions of the X-axis and Y-axis in the two-dimensional coordinate system and group the super-resolution images based on the area.

상기 후보 이미지셋 생성부는 상기 최대 신호대 잡음비(PSNR)와 상기 구조적 유사 지수(SSIM)를 기초로 정의되는 다음의 수학식을 통해 상기 초해상화 이미지들을 그룹화 할 수 있다.The candidate image set generator may group the super-resolution images through the following equation defined based on the maximum signal-to-noise ratio (PSNR) and the structural similarity index (SSIM).

[수학식][Equation]

(여기에서, PSNR_x는 2차원 좌표계에서 초해상화 이미지의 X축 위치이고, PSNR_min 및 PSNR_max는 초해상화 이미지들의 X축 위치의 최소값 및 최대값이다.)(Here, PSNR _x is the X-axis position of the super-resolution image in a two-dimensional coordinate system, and PSNR _min and PSNR _max are the minimum and maximum values of the X-axis position of the super-resolution images.)

상기 소스 이미지셋 결정부는 상기 최대 신호대 잡음비(PSNR)와 상기 구조적 유사 지수(SSIM) 각각을 복수의 구간들로 독립적으로 분할하고 샘플 이미지셋을 대상으로 샘플 테스트를 수행한 결과에 따라 각 구간별 mAP(mean Average Precision)를 산출하며 상기 각 구간별 mAP를 통해 상기 소스 이미지셋에 관한 결정 기준을 생성할 수 있다.The source image set determination unit independently divides each of the maximum signal-to-noise ratio (PSNR) and the structural similarity index (SSIM) into a plurality of sections and performs a sample test on the sample image set. According to the result, the mAP for each section (mean Average Precision) is calculated, and a decision standard for the source image set can be created through the mAP for each section.

상기 장치는 상기 학습 이미지셋을 기초로 데이터 증강(data augmentation) 알고리즘을 적용하여 복수의 증강 이미지셋들을 생성하는 데이터 증강부; 및 상기 복수의 증강 이미지셋들을 학습하여 딥러닝 모델을 구축하는 모델 구축부;를 더 포함할 수 있다.The apparatus includes a data augmentation unit that generates a plurality of augmented image sets by applying a data augmentation algorithm based on the learning image set; It may further include a model building unit that builds a deep learning model by learning the plurality of augmented image sets.

실시예들 중에서, 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 방법은 이미지 전처리부를 통해 이미지 모집단의 원본 이미지들을 전처리(preprocessing)하여 상기 원본 이미지들에 대응되는 초해상화 이미지들을 생성하는 단계; 후보 이미지셋 생성부를 통해 상기 초해상화 이미지들을 특정 기준에 따라 분류하여 복수의 후보 이미지셋들을 생성하는 단계; 소스 이미지셋 결정부를 통해 상기 복수의 후보 이미지셋들 중에서 딥러닝 모델 구축을 위해 사용되는 소스 이미지셋을 결정하는 단계; 및 학습 이미지셋 생성부를 통해 상기 소스 이미지셋의 소스 이미지들에 대해 객체 레이블링(object labeling)을 수행하여 학습 이미지셋을 생성하는 단계;를 포함한다.Among embodiments, the image super-resolution-based selective labeling method for improving the efficiency of deep learning model construction preprocesses the original images of the image population through an image preprocessor to produce super-resolution images corresponding to the original images. generating step; Classifying the super-resolution images according to specific criteria through a candidate image set generator to generate a plurality of candidate image sets; determining a source image set to be used for building a deep learning model among the plurality of candidate image sets through a source image set determination unit; and generating a learning image set by performing object labeling on source images of the source image set through a learning image set generator.

상기 복수의 후보 이미지셋들을 생성하는 단계는 원본 이미지와 초해상화 이미지 간의 비교를 통해 상기 초해상화 이미지 별로 최대 신호대 잡음비(PSNR, Peak Signa to Noise Ratio)와 구조적 유사 지수(SSIM, Structural Similarity Index Measure)를 각각 산출하는 단계를 포함할 수 있다.The step of generating the plurality of candidate image sets includes comparing the original image and the super-resolution image to determine the maximum signal-to-noise ratio (PSNR) and structural similarity index (SSIM) for each super-resolution image. Measure) may be calculated separately.

상기 복수의 후보 이미지셋들을 생성하는 단계는 상기 최대 신호대 잡음비(PSNR)와 상기 구조적 유사 지수(SSIM)를 독립된 차원으로 하는 2차원 좌표계에서 상기 초해상화 이미지들의 분포를 결정하는 단계를 포함할 수 있다.Generating the plurality of candidate image sets may include determining a distribution of the super-resolution images in a two-dimensional coordinate system with the maximum signal-to-noise ratio (PSNR) and the structural similarity index (SSIM) as independent dimensions. there is.

상기 복수의 후보 이미지셋들을 생성하는 단계는 상기 최대 신호대 잡음비(PSNR)와 상기 구조적 유사 지수(SSIM)를 기초로 정의되는 다음의 수학식을 통해 상기 초해상화 이미지들을 그룹화 하는 단계를 포함할 수 있다.Generating the plurality of candidate image sets may include grouping the super-resolution images through the following equation defined based on the maximum signal-to-noise ratio (PSNR) and the structural similarity index (SSIM). there is.

[수학식][Equation]

(여기에서, PSNR_x는 2차원 좌표계에서 초해상화 이미지의 X축 위치이고, PSNR_min 및 PSNR_max는 초해상화 이미지들의 X축 위치의 최소값 및 최대값이다.)(Here, PSNR _x is the X-axis position of the super-resolution image in a two-dimensional coordinate system, and PSNR _min and PSNR _max are the minimum and maximum values of the X-axis position of the super-resolution images.)

상기 방법은 데이터 증강부를 통해 상기 학습 이미지셋을 기초로 데이터 증강(data augmentation) 알고리즘을 적용하여 복수의 증강 이미지셋들을 생성하는 단계; 및 모델 구축부를 통해 상기 복수의 증강 이미지셋들을 학습하여 딥러닝 모델을 구축하는 단계;를 더 포함할 수 있다.The method includes generating a plurality of augmented image sets by applying a data augmentation algorithm based on the learning image set through a data augmentation unit; And it may further include constructing a deep learning model by learning the plurality of augmented image sets through a model building unit.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology can have the following effects. However, since it does not mean that a specific embodiment must include all of the following effects or only the following effects, the scope of rights of the disclosed technology should not be understood as being limited thereby.

본 발명의 일 실시예에 따른 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 장치 및 방법은 이미지 원본을 초고해상화 하여 샘플 이미지를 추출하고 샘플 이미지를 그룹화한 다음 딥러닝 모델 구축에 가장 영향을 주는 그룹을 PSNR 및 SSIM을 기준으로 탐지할 수 있다.An image super-resolution-based selective labeling device and method for improving the efficiency of deep learning model construction according to an embodiment of the present invention super-resolves the original image, extracts sample images, groups the sample images, and then builds a deep learning model. The most influential group can be detected based on PSNR and SSIM.

본 발명의 일 실시예에 따른 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 장치 및 방법은 전체 이미지를 셋(set)으로 구분하고 해당되는 셋의 이미지만을 레이블링한 후 증강하여 딥러닝 모델을 구축함으로써 이미지 레이블링에 소요되는 시간과 노력과 비용을 1/n로 줄일 수 있다.An image super-resolution-based selective labeling device and method for improving the efficiency of building a deep learning model according to an embodiment of the present invention divides all images into sets, labels only the images of the corresponding set, and then augments them to create deep By building a learning model, the time, effort, and cost required for image labeling can be reduced to 1/n.

도 1은 본 발명에 따른 선택적 레이블링 시스템을 설명하는 도면이다.
도 2는 도 1의 선택적 레이블링 장치의 시스템 구성을 설명하는 도면이다.
도 3은 도 1의 선택적 레이블링 장치의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명에 따른 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 방법을 설명하는 순서도이다.
도 5는 초고해상화 과정을 설명하는 도면이다.
도 6 및 7은 PSNR 및 SSIM를 설명하는 도면이다.
도 8은 본 발명에 따른 초해상화 이미지에 대한 그룹화 기준을 설명하는 도면이다.
도 9는 본 발명에 따른 이미지 초해상화 기반 선택적 레이블링 과정을 통해 딥러닝 모델을 구축하는 과정을 설명하는 도면이다.
도 10 및 11은 본 발명에 따른 딥러닝 모델 구축을 위한 샘플 실험을 설명하는 도면이다.1 is a diagram illustrating a selective labeling system according to the present invention.
FIG. 2 is a diagram explaining the system configuration of the selective labeling device of FIG. 1.
FIG. 3 is a diagram explaining the functional configuration of the selective labeling device of FIG. 1.
Figure 4 is a flowchart explaining an image super-resolution-based selective labeling method to improve the efficiency of deep learning model construction according to the present invention.
Figure 5 is a diagram explaining the super-resolution process.
Figures 6 and 7 are diagrams explaining PSNR and SSIM.
Figure 8 is a diagram illustrating grouping criteria for super-resolution images according to the present invention.
Figure 9 is a diagram illustrating the process of building a deep learning model through an image super-resolution-based selective labeling process according to the present invention.
10 and 11 are diagrams illustrating sample experiments for building a deep learning model according to the present invention.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the description of the present invention is only an example for structural or functional explanation, the scope of the present invention should not be construed as limited by the examples described in the text. In other words, since the embodiments can be modified in various ways and can have various forms, the scope of rights of the present invention should be understood to include equivalents that can realize the technical idea. In addition, the purpose or effect presented in the present invention does not mean that a specific embodiment must include all or only such effects, so the scope of the present invention should not be understood as limited thereby.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in this application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as “first” and “second” are used to distinguish one component from another component, and the scope of rights should not be limited by these terms. For example, a first component may be named a second component, and similarly, the second component may also be named a first component.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being “connected” to another component, it should be understood that it may be directly connected to the other component, but that other components may exist in between. On the other hand, when a component is referred to as being “directly connected” to another component, it should be understood that there are no other components in between. Meanwhile, other expressions that describe the relationship between components, such as "between" and "immediately between" or "neighboring" and "directly neighboring" should be interpreted similarly.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions should be understood to include plural expressions unless the context clearly indicates otherwise, and terms such as “comprise” or “have” refer to implemented features, numbers, steps, operations, components, parts, or them. It is intended to specify the existence of a combination, and should be understood as not excluding in advance the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.For each step, identification codes (e.g., a, b, c, etc.) are used for convenience of explanation. The identification codes do not explain the order of each step, and each step clearly follows a specific order in context. Unless specified, events may occur differently from the specified order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the opposite order.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be implemented as computer-readable code on a computer-readable recording medium, and the computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system. . Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. Additionally, the computer-readable recording medium can be distributed across computer systems connected to a network, so that computer-readable code can be stored and executed in a distributed manner.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein, unless otherwise defined, have the same meaning as commonly understood by a person of ordinary skill in the field to which the present invention pertains. Terms defined in commonly used dictionaries should be interpreted as consistent with the meaning they have in the context of the related technology, and cannot be interpreted as having an ideal or excessively formal meaning unless clearly defined in the present application.

도 1은 본 발명에 따른 선택적 레이블링 시스템을 설명하는 도면이다.1 is a diagram illustrating a selective labeling system according to the present invention.

도 1을 참조하면, 선택적 레이블링 시스템(100)은 사용자 단말(110), 선택적 레이블링 장치(130) 및 데이터베이스(150)을 포함할 수 있다.Referring to FIG. 1 , the selective labeling system 100 may include a user terminal 110, a selective labeling device 130, and a database 150.

사용자 단말(110)은 사용자에 의해 운용되는 단말 장치에 해당할 수 있다. 본 발명의 실시예에서 사용자는 하나 이상의 사용자로 이해될 수 있으며, 하나 이상의 사용자들 각각은 하나 이상의 사용자 단말(110)에 대응될 수 있다. 즉, 도 1에서는 하나의 사용자 단말(110)로 표현되어 있으나, 제1 사용자는 제1 사용자 단말, 제2 사용자는 제2 사용자 단말, ..., 제n(상기 n은 자연수) 사용자는 제n 사용자 단말에 각각 대응될 수 있다.The user terminal 110 may correspond to a terminal device operated by a user. In an embodiment of the present invention, a user may be understood as one or more users, and each of the one or more users may correspond to one or more user terminals 110. That is, in Figure 1, it is represented as one user terminal 110, but the first user is the first user terminal, the second user is the second user terminal, ..., the nth (where n is a natural number) user is the first user terminal. n may each correspond to a user terminal.

또한, 사용자 단말(110)은 본 발명에 따른 선택적 레이블링 시스템(100)을 구성하는 하나의 장치로서 구현될 수 있으며, 선택적 레이블링 시스템(100)은 이미지를 학습하여 구축되는 딥러닝 모델의 성능 향상을 위한 목적에 따라 다양한 형태로 변형되어 구현될 수 있다.In addition, the user terminal 110 can be implemented as a device that constitutes the selective labeling system 100 according to the present invention, and the selective labeling system 100 improves the performance of a deep learning model built by learning images. It can be transformed and implemented in various forms depending on the purpose.

또한, 사용자 단말(110)은 선택적 레이블링 장치(130)와 연결되어 동작 가능한 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 포함하여 다양한 디바이스로도 구현될 수 있다.In addition, the user terminal 110 may be implemented as a smartphone, laptop, or computer that can be operated by being connected to the selective labeling device 130, but is not necessarily limited thereto, and may also be implemented as a variety of devices, including a tablet PC. .

한편, 사용자 단말(110)은 선택적 레이블링 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 사용자 단말(110)들은 선택적 레이블링 장치(130)와 동시에 연결될 수도 있다.Meanwhile, the user terminal 110 may be connected to the selective labeling device 130 through a network, and a plurality of user terminals 110 may be connected to the selective labeling device 130 at the same time.

선택적 레이블링 장치(130)는 본 발명에 따른 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 방법을 수행하는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 또한, 선택적 레이블링 장치(130)는 사용자 단말(110)과 유선 네트워크 또는 블루투스, WiFi, LTE 등과 같은 무선 네트워크로 연결될 수 있고, 네트워크를 통해 사용자 단말(110)과 데이터를 송·수신할 수 있다. 또한, 선택적 레이블링 장치(130)는 독립된 외부 시스템(도 1에 미도시함)과 연결되어 동작하도록 구현될 수 있다.The selective labeling device 130 may be implemented as a server corresponding to a computer or program that performs an image super-resolution-based selective labeling method to improve the efficiency of building a deep learning model according to the present invention. Additionally, the selective labeling device 130 may be connected to the user terminal 110 through a wired network or a wireless network such as Bluetooth, WiFi, or LTE, and may transmit and receive data with the user terminal 110 through the network. Additionally, the selective labeling device 130 may be implemented to operate in connection with an independent external system (not shown in FIG. 1).

일 실시예에서, 선택적 레이블링 장치(130)는 클라우드 서버로 구현될 수 있으며, 다른 실시예에서, 선택적 레이블링 장치(130)는 하나의 그래픽 처리 장치(Graphics Processing Unit, GPU)로 구현될 수도 있다.In one embodiment, the selective labeling device 130 may be implemented as a cloud server, and in another embodiment, the selective labeling device 130 may be implemented as a single graphics processing unit (Graphics Processing Unit, GPU).

데이터베이스(150)는 선택적 레이블링 장치(130)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 예를 들어, 데이터베이스(150)는 초고해상화 알고리즘(또는 초고해상화 모델)에 관한 정보를 저장하거나 또는 객체 레이블링, 데이터 증강 등에 관한 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 선택적 레이블링 장치(130)가 본 발명에 따른 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 방법을 수행하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.The database 150 may correspond to a storage device that stores various information required during the operation of the selective labeling device 130. For example, the database 150 may store information about a super-resolution algorithm (or super-resolution model) or store information about object labeling, data augmentation, etc., but is not necessarily limited thereto, and may store information about an optional labeling device ( 130) can store information collected or processed in various forms during the process of performing the image super-resolution-based selective labeling method to improve the efficiency of building a deep learning model according to the present invention.

또한, 도 1에서, 데이터베이스(150)는 선택적 레이블링 장치(130)와 독립적인 장치로서 도시되어 있으나, 반드시 이에 한정되지 않고, 논리적인 저장장치로서 선택적 레이블링 장치(130)에 포함되어 구현될 수 있음은 물론이다.In addition, in FIG. 1, the database 150 is shown as a device independent of the selective labeling device 130, but is not necessarily limited thereto, and may be implemented as a logical storage device included in the selective labeling device 130. Of course.

도 2는 도 1의 선택적 레이블링 장치의 시스템 구성을 설명하는 도면이다.FIG. 2 is a diagram explaining the system configuration of the selective labeling device of FIG. 1.

도 2를 참조하면, 선택적 레이블링 장치(130)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함할 수 있다.Referring to FIG. 2 , the selective labeling device 130 may include a processor 210, a memory 230, a user input/output unit 250, and a network input/output unit 270.

프로세서(210)는 본 발명의 실시예에 따른 이미지 초해상화 기반 선택적 레이블링 프로시저를 실행할 수 있고, 이러한 과정에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄 할 수 있다. 프로세서(210)는 선택적 레이블링 장치(130)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 선택적 레이블링 장치(130)의 CPU(Central Processing Unit) 또는 GPU(Graphics Processing Unit)로 구현될 수 있다.The processor 210 may execute an image super-resolution-based selective labeling procedure according to an embodiment of the present invention, and may manage the memory 230 that is read or written in this process, and may manage the volatile memory 230 in the memory 230. The synchronization time between memory and non-volatile memory can be scheduled. The processor 210 can control the overall operation of the selective labeling device 130 and is electrically connected to the memory 230, the user input/output unit 250, and the network input/output unit 270 to control data flow between them. You can. The processor 210 may be implemented as a Central Processing Unit (CPU) or a Graphics Processing Unit (GPU) of the selective labeling device 130.

메모리(230)는 SSD(Solid State Disk) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 선택적 레이블링 장치(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다. 또한, 메모리(230)는 전기적으로 연결된 프로세서(210)에 의해 실행됨으로써 본 발명에 따른 이미지 초해상화 기반 선택적 레이블링 방법을 실행하는 명령들의 집합을 저장할 수 있다.The memory 230 may be implemented as a non-volatile memory such as a solid state disk (SSD) or a hard disk drive (HDD) and may include an auxiliary memory used to store all data required for the selective labeling device 130, It may include a main memory implemented as volatile memory such as RAM (Random Access Memory). Additionally, the memory 230 can store a set of instructions for executing the image super-resolution-based selective labeling method according to the present invention by being executed by the electrically connected processor 210.

사용자 입출력부(250)은 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함하고, 예를 들어, 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치 스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)은 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 선택적 레이블링 장치(130)는 독립적인 서버로서 수행될 수 있다.The user input/output unit 250 includes an environment for receiving user input and an environment for outputting specific information to the user, and includes an input adapter such as, for example, a touch pad, a touch screen, an on-screen keyboard, or a pointing device. It may include an output device including a device and an adapter such as a monitor or touch screen. In one embodiment, the user input/output unit 250 may correspond to a computing device connected through a remote connection, in which case the optional labeling device 130 may perform as an independent server.

네트워크 입출력부(270)은 네트워크를 통해 사용자 단말(110)과 연결되기 위한 통신 환경을 제공하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다. 또한, 네트워크 입출력부(270)는 학습 데이터의 무선 전송을 위해 WiFi, 블루투스 등의 근거리 통신 기능이나 4G 이상의 무선 통신 기능을 제공하도록 구현될 수 있다.The network input/output unit 270 provides a communication environment for connection to the user terminal 110 through a network, for example, a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), and It may include an adapter for communication such as VAN (Value Added Network). Additionally, the network input/output unit 270 may be implemented to provide short-range communication functions such as WiFi and Bluetooth or wireless communication functions of 4G or higher for wireless transmission of learning data.

도 3은 도 1의 선택적 레이블링 장치의 기능적 구성을 설명하는 도면이다.FIG. 3 is a diagram explaining the functional configuration of the selective labeling device of FIG. 1.

도 3을 참조하면, 선택적 레이블링 장치(130)는 이미지 전처리부(310), 후보 이미지셋 생성부(320), 소스 이미지셋 결정부(330), 학습 이미지셋 생성부(340), 데이터 증강부(350), 모델 구축부(360) 및 제어부(도 3에 미도시함)를 포함할 수 있다.Referring to FIG. 3, the selective labeling device 130 includes an image preprocessor 310, a candidate image set generator 320, a source image set determination unit 330, a learning image set generator 340, and a data augmentation unit. It may include (350), a model building unit (360), and a control unit (not shown in FIG. 3).

이때, 선택적 레이블링 장치(130)는 상기의 기능적 구성들을 동시에 모두 포함해야 하는 것은 아니며, 각각의 실시예에 따라 상기의 구성들 중 일부를 생략하거나, 상기의 구성들 중 일부 또는 전부를 선택적으로 포함하여 구현될 수도 있다. 또한, 선택적 레이블링 장치(130)는 상기 구성들 중 일부를 선택적으로 포함하는 독립된 모듈로서 구현될 수 있으며, 각 모듈들 간의 연동을 통해 본 발명에 따른 이미지 초해상화 기반 선택적 레이블링 방법을 수행할 수도 있다. 이하, 각 구성들의 동작을 구체적으로 설명한다.At this time, the selective labeling device 130 does not have to include all of the above functional components at the same time, and depending on each embodiment, some of the above components are omitted or some or all of the above components are selectively included. It may be implemented as follows. In addition, the selective labeling device 130 may be implemented as an independent module that selectively includes some of the above components, and may perform the image super-resolution-based selective labeling method according to the present invention through linkage between each module. there is. Hereinafter, the operation of each component will be described in detail.

이미지 전처리부(310)는 이미지 모집단의 원본 이미지들을 전처리(preprocessing)하여 원본 이미지들에 대응되는 초해상화 이미지들을 생성할 수 있다. 여기에서, 이미지 모집단은 이미지들의 집합에 해당할 수 있으며, 본 발명에 따른 이미지 초해상화 기반 선택적 레이블링 방법의 수행 과정에서 사용될 수 있다. 이미지 모집단은 사전에 생성되어 데이터베이스(150)에 저장될 수 있으며, 이미지 전처리부(310)는 데이터베이스(150)를 통해 이미지 모집단에 접근할 수 있다. 이미지 전처리부(310)는 사용자 단말(110)을 통해 입력된 이미지들을 수신하여 이미지 모집단을 생성할 수도 있다.The image preprocessor 310 may preprocess the original images of the image population to generate super-resolution images corresponding to the original images. Here, the image population may correspond to a set of images and can be used in the process of performing the image super-resolution-based selective labeling method according to the present invention. The image population may be created in advance and stored in the database 150, and the image preprocessor 310 may access the image population through the database 150. The image preprocessor 310 may receive images input through the user terminal 110 and generate an image population.

또한, 이미지 전처리부(310)는 이미지 모집단의 원본 이미지들에 대해 소정의 전처리 동작을 수행할 수 있다. 예를 들어, 전처리 동작에는 샘플링(sampling), 정규화(normalization), 필터링(filtering) 등이 포함될 수 있다. 특히, 이미지 전처리부(310)는 전처리 과정에서 원본 이미지들을 기초로 초해상화 이미지(또는 초고해상화 이미지)를 생성할 수 있다. 이미지 전처리부(310)는 원본 이미지들에 대한 초해상화 이미지들을 통합하여 이미지 모집단과 별개인 이미지 집합을 생성할 수 있다.Additionally, the image preprocessor 310 may perform a predetermined preprocessing operation on the original images of the image population. For example, preprocessing operations may include sampling, normalization, filtering, etc. In particular, the image pre-processing unit 310 may generate a super-resolution image (or super-resolution image) based on the original images during the pre-processing process. The image preprocessor 310 may integrate super-resolution images of the original images to create an image set that is separate from the image population.

일 실시예에서, 이미지 전처리부(310)는 원본 이미지들을 Real-ESRGAN 모델을 포함하는 초해상화 알고리즘에 적용하여 초해상화 이미지들을 생성할 수 있다. 즉, 이미지 전처리부(310)는 초해상화 알고리즘을 적용하여 저해상도의 원본 이미지들에 대응되는 고해상도의 초해상화 이미지들을 생성할 수 있다. 이를 위하여, 이미지 전처리부(310)는 사전에 구축된 초해상화 모델을 사용할 수 있다. 예를 들어, 이미지 전처리부(310)는 초해상화 모델 중 하나인 Real-ESRGAN 모델을 이용하여 초해상화 이미지들을 생성할 수 있다.In one embodiment, the image preprocessor 310 may generate super-resolution images by applying a super-resolution algorithm including the Real-ESRGAN model to the original images. That is, the image preprocessor 310 can apply a super-resolution algorithm to generate high-resolution super-resolution images corresponding to low-resolution original images. For this purpose, the image preprocessor 310 may use a pre-built super-resolution model. For example, the image preprocessor 310 may generate super-resolution images using the Real-ESRGAN model, one of the super-resolution models.

여기에서, Real-ESRGAN 모델은 기존의 ESRGAN 모델을 기반으로 다양한 전처리 열화기법 단계를 추가하여 확장된 모델에 해당할 수 있다. 구체적으로, Real-ESRGAN 모델은 실행활에서 발생하는 열화를 구현하기 위하여 고차원(high-order)의 열화기법이 적용된 모델에 해당할 수 있다. 본 발명의 일 실시예에 따른 Real-ESRGAN 모델을 이용한 초해상화 이미지 생성 과정에 대해서는 도 5를 통해 보다 구체적으로 설명한다.Here, the Real-ESRGAN model may correspond to an expanded model by adding various preprocessing degradation technique steps based on the existing ESRGAN model. Specifically, the Real-ESRGAN model may correspond to a model to which a high-order degradation technique is applied to implement degradation that occurs during execution. The super-resolution image generation process using the Real-ESRGAN model according to an embodiment of the present invention will be described in more detail with reference to FIG. 5.

후보 이미지셋 생성부(320)는 초해상화 이미지들을 특정 기준에 따라 분류하여 복수의 후보 이미지셋들을 생성할 수 있다. 여기에서, 후보 이미지셋은 초해상화 이미지들의 집합으로서 선택적 레이블링 과정에 사용되는 소스 이미지셋으로 결정될 수 있는 후보 집합에 해당할 수 있다. 즉, 후보 이미지셋 생성부(320)는 초해상화 이미지들을 샘플 이미지로 하여 소정의 기준에 따라 그룹화 함으로써 복수의 이미지 집합들을 생성할 수 있다.The candidate image set generator 320 may classify super-resolution images according to specific criteria and generate a plurality of candidate image sets. Here, the candidate image set is a set of super-resolution images and may correspond to a candidate set that can be determined as the source image set used in the selective labeling process. That is, the candidate image set generator 320 can generate a plurality of image sets by using super-resolution images as sample images and grouping them according to a predetermined standard.

특히, 후보 이미지셋 생성부(320)는 동일한 초해상화 이미지들에 대해 서로 다른 기준을 적용한 결과 다양한 개수와 크기로 형성된 복수의 후보 이미지셋을 생성할 수 있다. 또한, 후보 이미지셋 생성부(320)는 생성되는 후보 이미지셋의 개수를 제한할 수 있고, 하나의 후보 이미지셋에 포함되는 이미지들의 개수를 제한할 수도 있다.In particular, the candidate image set generator 320 may generate a plurality of candidate image sets of various numbers and sizes as a result of applying different standards to the same super-resolution images. Additionally, the candidate image set generator 320 may limit the number of generated candidate image sets and may limit the number of images included in one candidate image set.

일 실시예에서, 후보 이미지셋 생성부(320)는 원본 이미지와 초해상화 이미지 간의 비교를 통해 초해상화 이미지 별로 최대 신호대 잡음비(PSNR, Peak Signa to Noise Ratio)와 구조적 유사 지수(SSIM, Structural Similarity Index Measure)를 각각 산출할 수 있다. 여기에서, 최대 신호대 잡음비와 구조적 유사 지수는 이미지 간의 비교를 통해 이미지의 품질(quality)를 측정하기 위한 평가 지표에 해당할 수 있다. 후보 이미지셋 생성부(320)는 원본 이미지로부터 추출된 샘플 이미지인 초해상화 이미지마다 원본 이미지와의 비교하여 PSNR 및 SSIM 값을 각각 산출할 수 있다. 최대 신호대 잡음비와 구조적 유사 지수에 대해서는 도 6 및 7을 통해 보다 구체적으로 설명한다.In one embodiment, the candidate image set generator 320 determines the maximum signal-to-noise ratio (PSNR) and structural similarity index (SSIM) for each super-resolution image through comparison between the original image and the super-resolution image. Similarity Index Measure) can be calculated for each. Here, the maximum signal-to-noise ratio and structural similarity index may correspond to evaluation indices for measuring the quality of images through comparison between images. The candidate image set generator 320 can calculate PSNR and SSIM values for each super-resolution image, which is a sample image extracted from the original image, by comparing it with the original image. The maximum signal-to-noise ratio and structural similarity index are explained in more detail through FIGS. 6 and 7.

일 실시예에서, 후보 이미지셋 생성부(320)는 최대 신호대 잡음비(PSNR)의 값들을 정규화(normalization) 하여 구조적 유사 지수(SSIM)의 스케일(scale)에 일치시킬 수 있다. PSNR의 경우 0에서 255 사이의 값을 가질 수 있으며, SSIM의 경우 0에서 1 사이의 값을 가질 수 있다. 후보 이미지셋 생성부(320)는 PSNR과 SSIM의 스케일(scale)을 서로 일치시키기 위하여 PSNR의 값을 정규화 하여 0에서 1 사이의 값을 갖도록 스케일을 조정할 수 있다.In one embodiment, the candidate image set generator 320 may normalize the maximum signal-to-noise ratio (PSNR) values to match the scale of the structural similarity index (SSIM). For PSNR, the value can be between 0 and 255, and for SSIM, the value can be between 0 and 1. In order to match the scales of PSNR and SSIM, the candidate image set generator 320 may normalize the value of PSNR and adjust the scale to have a value between 0 and 1.

일 실시예에서, 후보 이미지셋 생성부(320)는 최대 신호대 잡음비(PSNR)와 구조적 유사 지수(SSIM)를 독립된 차원으로 하는 2차원 좌표계에서 초해상화 이미지들의 분포를 결정할 수 있다. 즉, 2차원 좌표계의 X축은 PSNR에 대응될 수 있고, Y축은 SSIM에 대응될 수 있다. 후보 이미지셋 생성부(320)는 초해상화 이미지가 갖는 PSNR 및 SSIM의 값을 기준으로 X축 및 Y축의 위치를 각각 결정하여 2차원 좌표계에 배치함으로써 초해상화 이미지들의 분포를 도출할 수 있다. 또한, 후보 이미지셋 생성부(320)는 초해상화 이미지의 분포를 2차원 좌표계에 표시하여 시각화 할 수 있다.In one embodiment, the candidate image set generator 320 may determine the distribution of super-resolution images in a two-dimensional coordinate system with maximum signal-to-noise ratio (PSNR) and structural similarity index (SSIM) as independent dimensions. That is, the X-axis of the two-dimensional coordinate system may correspond to PSNR, and the Y-axis may correspond to SSIM. The candidate image set generator 320 can derive the distribution of super-resolution images by determining the positions of the . Additionally, the candidate image set generator 320 can visualize the distribution of the super-resolution image by displaying it in a two-dimensional coordinate system.

일 실시예에서, 후보 이미지셋 생성부(320)는 2차원 좌표계에서 X축 및 Y축의 위치를 기준으로 초해상화 이미지들 각각의 면적을 산출하고 면적을 기준으로 초해상화 이미지들을 그룹화 할 수 있다. 즉, 스케일 조정에 따라 PSNR 및 SSIM의 값이 각각 0과 1 사이에 분포하는 경우, 후보 이미지셋 생성부(320)는 초해상화 이미지의 X축 위치와 Y축 위치, 그리고 2차원 좌표계의 원점 (0,0)을 기준으로 정의되는 직사각형의 면적을 초해상화 이미지의 면적으로서 산출할 수 있다. 예를 들어, 초해상화 이미지의 PSNR = SSIM = 0.5인 경우, 초해상화 이미지의 X축 좌표는 (0.5,0)이고 Y축 좌표는 (0,0.5)이며, 초해상화 이미지의 면적은 0.5 * 0.5 = 0.25에 해당할 수 있다. 또한, 후보 이미지셋 생성부(320)는 초해상화 이미지들 각각의 면적이 산출되면 해당 면적의 크기를 기준으로 초해상화 이미지들을 복수의 구간들에 분류하여 그룹화 할 수 있다.In one embodiment, the candidate image set generator 320 may calculate the area of each super-resolution image based on the positions of the X-axis and Y-axis in a two-dimensional coordinate system and group the super-resolution images based on the area. there is. That is, when the values of PSNR and SSIM are distributed between 0 and 1, respectively, according to scale adjustment, the candidate image set generator 320 determines the X-axis position and Y-axis position of the super-resolution image and the origin of the two-dimensional coordinate system The area of a rectangle defined based on (0,0) can be calculated as the area of the super-resolution image. For example, if PSNR = SSIM = 0.5 of the super-resolution image, the X-axis coordinate of the super-resolution image is (0.5,0), the Y-axis coordinate is (0,0.5), and the area of the super-resolution image is This may correspond to 0.5 * 0.5 = 0.25. Additionally, when the area of each super-resolution image is calculated, the candidate image set generator 320 may classify and group the super-resolution images into a plurality of sections based on the size of the area.

일 실시예에서, 후보 이미지셋 생성부(320)는 최대 신호대 잡음비(PSNR)와 구조적 유사 지수(SSIM)를 기초로 정의되는 다음의 수학식을 통해 초해상화 이미지들을 그룹화 할 수 있다.In one embodiment, the candidate image set generator 320 may group super-resolution images through the following equation defined based on the maximum signal-to-noise ratio (PSNR) and structural similarity index (SSIM).

[수학식][Equation]

여기에서, PSNR_x는 2차원 좌표계에서 초해상화 이미지의 X축 위치이고, PSNR_min 및 PSNR_max는 초해상화 이미지들의 X축 위치의 최소값 및 최대값이다. 즉, 후보 이미지셋 생성부(320)는 상기의 수학식의 분포에 따라 초해상화 이미지들에 대한 그룹화 동작을 수행할 수 있으며, 이후 그룹화 결과를 기초로 딥러닝 모델의 성능 향상에 최적인 데이터셋이 결정될 수 있다.Here, PSNR _x is the X-axis position of the super-resolution image in a two-dimensional coordinate system, and PSNR _min and PSNR _max are the minimum and maximum values of the X-axis position of the super-resolution images. That is, the candidate image set generator 320 can perform a grouping operation on super-resolution images according to the distribution of the above equation, and then generate data optimal for improving the performance of the deep learning model based on the grouping result. Three can be decided.

소스 이미지셋 결정부(330)는 복수의 후보 이미지셋들 중에서 딥러닝 모델 구축을 위해 사용되는 소스 이미지셋을 결정할 수 있다. 여기에서, 소스 이미지셋은 후보 이미지셋들 중에서 딥러닝 모델의 구축에 최적인 것으로 선별된 이미지셋에 해당할 수 있다. 즉, 소스 이미지셋 결정부(330)는 딥러닝 모델의 정확도에 영향을 줄 수 있는 PSNR과 SSIM의 값을 기준으로 생성된 후보 이미지셋들 중에서 소스 이미지셋을 선별하여 소스 이미지셋만을 대상으로 선택적 레이블링 작업이 수행되도록 할 수 있다.The source image set determination unit 330 may determine a source image set used to build a deep learning model from among a plurality of candidate image sets. Here, the source image set may correspond to an image set selected as optimal for building a deep learning model among candidate image sets. That is, the source image set determination unit 330 selects the source image set from candidate image sets generated based on the values of PSNR and SSIM, which can affect the accuracy of the deep learning model, and selects only the source image set. Labeling operations can be performed.

일 실시예에서, 소스 이미지셋 결정부(330)는 최대 신호대 잡음비(PSNR)와 구조적 유사 지수(SSIM) 각각을 복수의 구간들로 독립적으로 분할하고 샘플 이미지셋을 대상으로 샘플 테스트를 수행한 결과에 따라 각 구간별 mAP(mean Average Precision)를 산출하며 각 구간별 mAP를 통해 소스 이미지셋에 관한 결정 기준을 생성할 수 있다. 여기에서, 샘플 이미지셋은 초해상화 이미지들의 집합으로서 샘플 테스트 과정에서 사용되는 이미지셋에 해당할 수 있으며, 이미지 모집단에서 추출된 이미지들로 구성될 수 있다.In one embodiment, the source image set determination unit 330 independently divides each of the maximum signal-to-noise ratio (PSNR) and structural similarity index (SSIM) into a plurality of sections and performs a sample test on the sample image set. Accordingly, mAP (mean average precision) for each section is calculated, and a decision standard for the source image set can be created through the mAP for each section. Here, the sample image set is a set of super-resolution images and may correspond to an image set used in the sample test process and may be composed of images extracted from the image population.

예를 들어, 소스 이미지셋 결정부(330)는 PSNR과 SSIM 각각에 대해 4개의 구간들로 나눌 수 있으며, 각 구간의 이미지셋으로 구축된 딥러닝 모델을 이용하여 원본 이미지 또는 초해상화 이미지로 테스트한 결과에 따라 각 구간별 mAP를 산출할 수 있다. 만약 PSNR에 대해 3번째 구간의 mAP 값이 가장 높고 SSIM에 대해 2번째 구간의 mAP 값이 가장 높은 경우, 소스 이미지셋 결정부(330)는 복수의 후보 데이터셋들 중에서 (PSNR, SSIM) = (3, 2)의 결정 기준에 해당하는 후보 데이터셋을 선택하여 소스 이미지셋으로 결정할 수 있다.For example, the source image set determination unit 330 can be divided into four sections for each of PSNR and SSIM, and can be converted into an original image or a super-resolution image using a deep learning model built with the image set of each section. Depending on the test results, mAP for each section can be calculated. If the mAP value of the 3rd section is the highest for PSNR and the mAP value of the 2nd section is the highest for SSIM, the source image set determination unit 330 selects (PSNR, SSIM) = ( A candidate dataset that meets the decision criteria of 3 and 2) can be selected and determined as the source image set.

학습 이미지셋 생성부(340)는 소스 이미지셋의 소스 이미지들에 대해 객체 레이블링(object labeling)을 수행하여 학습 이미지셋을 생성할 수 있다. 학습 이미지셋은 학습 데이터로 사용되는 이미지들의 집합으로서 소스 이미지셋의 소스 이미지들에서 추출된 레이블 정보를 포함하는 이미지들의 집합에 해당할 수 있다. 즉, 소스 이미지셋은 초해상화 이미지들의 집합인 점에서, 학습 이미지셋 생성부(340)는 초해상화 이미지가 학습 데이터로 사용될 수 있도록 이미지 내의 객체를 식별하고 적절한 레이블(label)을 부여하는 객체 레이블링 동작을 수행할 수 있다. 학습 이미지셋 생성부(340)는 딥러닝 모델의 용도와 목적에 따라 적절한 객체 레이블링 알고리즘을 선택하여 초해상화 이미지의 레이블 정보를 생성할 수 있다.The learning image set generator 340 may generate a learning image set by performing object labeling on the source images of the source image set. A learning image set is a set of images used as learning data and may correspond to a set of images containing label information extracted from the source images of the source image set. That is, since the source image set is a set of super-resolution images, the learning image set generator 340 identifies objects in the image and assigns appropriate labels so that the super-resolution images can be used as learning data. Object labeling operations can be performed. The learning image set generator 340 may select an appropriate object labeling algorithm according to the use and purpose of the deep learning model to generate label information of the super-resolution image.

한편, 이미지 레이블링의 적합성을 확보하기 위하여 데이터 유형에 맞는 레이블링 기법이 선택될 수 있으며, 이미지 레이블링 기법에는 대표적으로 바운딩 박스(Bounding Box), 키 포인트(key point), 폴리곤(Polygon), 폴리라인(Polyline) 등이 포함될 수 있다. 바운딩 박스는 이미지 내에서 특정 객체의 위치정보를 표시하는 것으로 객체 전체를 감싸는 형태로 공백을 최소화하여 표시하며 객체 탐지 모델에 사용되고 데이터 레이블링 작업에서 가장 많이 사용되는 기법에 해당할 수 있다. 키 포인트는 객체의 특징점을 레이블링하여 이미지 매칭, 골격추출에 사용되는 기법에 해당할 수 있다. 폴리곤은 다각형 모양의 외곽선을 따라 점을 찍으면서 객체의 경계선을 정교하게 레이블링하는 기법에 해당할 수 있다. 폴리라인은 객체를 따라 여러개의 점으로 연속선을 그리는 레이블링 기법에 해당할 수 있다.Meanwhile, in order to ensure the suitability of image labeling, a labeling technique suitable for the data type can be selected, and representative image labeling techniques include bounding box, key point, polygon, and polyline ( Polyline), etc. may be included. A bounding box displays the location information of a specific object within an image. It surrounds the entire object and displays it with minimal white space. It is used in object detection models and may be the most commonly used technique in data labeling tasks. Key points may correspond to techniques used for image matching and skeleton extraction by labeling feature points of an object. Polygon may correspond to a technique of precisely labeling the border of an object by placing points along the outline of a polygon shape. A polyline may correspond to a labeling technique that draws a continuous line with multiple points along an object.

데이터 증강부(350)는 학습 이미지셋을 기초로 데이터 증강(data augmentation) 알고리즘을 적용하여 복수의 증강 이미지셋들을 생성할 수 있다. 여기에서, 증강 이미지셋은 데이터 증강을 통해 생성된 증강된 이미지들의 집합에 해당할 수 있으며, 데이터 증강(data augmentation)은 적은 양의 데이터를 바탕으로 다양한 알고리즘을 통해 데이터의 양을 증가시키는 기법에 해당할 수 있다. 증강 이미지셋은 학습 이미지셋을 기초로 생성될 수 있으며, 적용된 데이터 증강 알고리즘에 따라 복수개로 생성될 수 있다. 즉, 데이터 증강부(350)는 학습 이미지셋을 증강하여 딥러닝 모델의 구축에 충분한 학습 데이터를 확보할 수 있다.The data augmentation unit 350 may generate a plurality of augmented image sets by applying a data augmentation algorithm based on the learning image set. Here, an augmented image set may correspond to a set of augmented images created through data augmentation, and data augmentation is a technique for increasing the amount of data through various algorithms based on a small amount of data. It may apply. The augmented image set may be generated based on the learning image set, and may be generated in plural numbers depending on the applied data augmentation algorithm. That is, the data augmentation unit 350 can secure sufficient learning data to build a deep learning model by augmenting the learning image set.

한편, 이미지 데이터 증강에는 미러링(mirroring), 회전(rotating), 전단(shearing), 뒤틀림(warping), 색상 변환(color shifting), 잡음 주입(noise injection) 등의 기법들이 사용될 수 있으며, 반드시 이에 한정되지 않음은 물론이다.Meanwhile, techniques such as mirroring, rotating, shearing, warping, color shifting, and noise injection can be used to augment image data, but are necessarily limited to these. Of course it doesn't work.

모델 구축부(360)는 복수의 증강 이미지셋들을 학습하여 딥러닝 모델을 구축할 수 있다. 모델 구축부(360)는 기 정의된 딥러닝 모델에 복수의 증강 이미지셋들의 이미지들을 학습 데이터로 적용하여 딥러닝 모델의 학습 작업을 수행할 수 있다. 모델 구축부(360)는 딥러닝 모델의 용도와 목적에 따라 이미지를 학습하는 적절한 딥러닝 모델을 설계할 수 있다. 한편, 모델 구축부(360)는 딥러닝 모델의 학습 과정에서 추가 학습 데이터가 필요한 경우, 데이터 증강부(350)와 연동하여 학습 데이터셋을 추가적으로 확보할 수도 있다.The model building unit 360 can build a deep learning model by learning a plurality of augmented image sets. The model building unit 360 may perform a learning task of a deep learning model by applying images of a plurality of augmented image sets as learning data to a predefined deep learning model. The model building unit 360 can design an appropriate deep learning model that learns images according to the use and purpose of the deep learning model. Meanwhile, if additional learning data is needed during the learning process of the deep learning model, the model building unit 360 may secure additional learning datasets in conjunction with the data augmentation unit 350.

제어부(도 3에 미도시함)는 선택적 레이블링 장치(130)의 전체적인 동작을 제어하고, 이미지 전처리부(310), 후보 이미지셋 생성부(320), 소스 이미지셋 결정부(330), 학습 이미지셋 생성부(340), 데이터 증강부(350) 및 모델 구축부(360) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.The control unit (not shown in FIG. 3) controls the overall operation of the selective labeling device 130, and includes an image preprocessor 310, a candidate image set generator 320, a source image set determination unit 330, and a learning image. Control flow or data flow between the set creation unit 340, the data enhancement unit 350, and the model construction unit 360 can be managed.

도 4는 본 발명에 따른 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 방법을 설명하는 순서도이다.Figure 4 is a flowchart explaining an image super-resolution-based selective labeling method to improve the efficiency of deep learning model construction according to the present invention.

도 4를 참조하면, 선택적 레이블링 장치(130)는 이미지 전처리부(310)를 통해 이미지 모집단의 원본 이미지들을 전처리(preprocessing)하여 원본 이미지들에 대응되는 초해상화 이미지들을 생성할 수 있다(단계 S410). 선택적 레이블링 장치(130)는 후보 이미지셋 생성부(320)를 통해 초해상화 이미지들을 특정 기준에 따라 분류하여 복수의 후보 이미지셋들을 생성할 수 있다(단계 S430).Referring to FIG. 4, the selective labeling device 130 may preprocess the original images of the image population through the image preprocessor 310 to generate super-resolution images corresponding to the original images (step S410 ). The selective labeling device 130 may classify super-resolution images according to specific criteria through the candidate image set generator 320 to generate a plurality of candidate image sets (step S430).

또한, 선택적 레이블링 장치(130)는 소스 이미지셋 결정부(330)를 통해 복수의 후보 이미지셋들 중에서 딥러닝 모델 구축을 위해 사용되는 소스 이미지셋을 결정할 수 있다(단계 S450). 선택적 레이블링 장치(130)는 학습 이미지셋 생성부(340)를 통해 소스 이미지셋의 소스 이미지들에 대해 객체 레이블링(object labeling)을 수행하여 학습 이미지셋을 생성할 수 있다(단계 S470).Additionally, the selective labeling device 130 may determine a source image set used for building a deep learning model from among a plurality of candidate image sets through the source image set determination unit 330 (step S450). The selective labeling device 130 may generate a learning image set by performing object labeling on the source images of the source image set through the learning image set generator 340 (step S470).

도 5는 초고해상화 과정을 설명하는 도면이다.Figure 5 is a diagram explaining the super-resolution process.

도 5를 참조하면, 초고해상화 과정은 저해상도 이미지를 기초로 고해상도 이미지를 생성하는 과정에 해당할 수 있다. 본 발명에 따른 선택적 레이블링 장치(130)는 초고해상화 과정을 통해 이미지 모집단의 원본 이미지들에 대응되는 초해상화 이미지들을 생성할 수 있다.Referring to FIG. 5, the super-resolution process may correspond to a process of generating a high-resolution image based on a low-resolution image. The selective labeling device 130 according to the present invention can generate super-resolution images corresponding to the original images of the image population through a super-resolution process.

특히, 선택적 레이블링 장치(130)는 초해상화 이미지 생성을 위해 사전에 학습되어 구축된 초해상화 모델을 이용할 수 있다. 예를 들어, 선택적 레이블링 장치(130)는 Real-ESRGAN 모델을 이용하여 초해상화 이미지를 생성할 수 있다. 도 5에 도시된 바와 같이, Real-ESRGAN 모델을 ESRGAN과 동일한 생성기 네트워크(generator network)를 포함할 수 있다. Real-ESRGAN 모델은 ×2 및 ×1의 스케일 팩터(scale factor)에 대해 픽셀 언셔플(Pixel Unshuffle) 연산을 수행하여 공간 크기(spatial size)를 줄이고 채널 차원(channel dimension)으로 정보를 재배열(re-arrange)할 수 있다. In particular, the selective labeling device 130 may use a super-resolution model that has been learned and built in advance to generate a super-resolution image. For example, the selective labeling device 130 may generate a super-resolution image using the Real-ESRGAN model. As shown in FIG. 5, the Real-ESRGAN model may include the same generator network as ESRGAN. The Real-ESRGAN model performs Pixel Unshuffle operations on scale factors of ×2 and ×1 to reduce the spatial size and rearrange information into the channel dimension ( can be re-arranged.

이후, Real-ESRGAN 모델은 생성기 네트워크를 통해 입력 이미지에 대해 복수의 합성곱 계층(Conv)과 RRDB 블록(RRDB Block)들을 통과시킨 후 업샘플링(Upsampling ×4)을 거쳐 저해상도의 입력 이미지를 고해상도로 복원한 출력 이미지를 생성할 수 있다. 결과적으로, Real-ESRGAN 모델은 상대적으로 저해상도에서 연산을 수행하기 때문에 전체적인 메모리 소모량과 연산량을 줄일 수 있다.Afterwards, the Real-ESRGAN model passes the input image through a generator network through a plurality of convolution layers (Conv) and RRDB blocks, and then converts the low-resolution input image to high resolution through upsampling (Upsampling ×4). You can create a restored output image. As a result, the Real-ESRGAN model can reduce overall memory consumption and calculation amount because it performs calculations at relatively low resolution.

도 6 및 7은 PSNR 및 SSIM를 설명하는 도면이다.Figures 6 and 7 are diagrams explaining PSNR and SSIM.

도 6을 참조하면, 최대 신호대 잡음비(PSNR)는 원본 이미지와 비교하여 수치적 차이로 이미지 품질을 평가하는 방법으로 픽셀(Pixel)의 1바이트(Byte) 값인 0 ~ 255 중에서 최대값 255에 의미를 두고 두 이미지 간의 차이를 측정하는 방법에 해당할 수 있다. PSNR의 구체적인 수식은 도 6에 도시된 바와 같으며, 여기에서 MSE(Mean Square Error)는 오차의 제곱에 평균을 한 것으로 두 이미지 간의 동일 위치에 있는 데이터값의 분산을 나타낼 수 있다. 즉, MSE 값이 작다는 것은 원본과 매우 가깝다는 것을 의미할 수 있으며, 결과적으로 PSNR 값이 높다는 것으로 해석될 수 있다.Referring to FIG. 6, the maximum signal-to-noise ratio (PSNR) is a method of evaluating image quality based on numerical differences compared to the original image, and its meaning is given to the maximum value of 255 among the 1 byte value of a pixel, 0 to 255. This may be a method of measuring the difference between two images. The specific formula of PSNR is as shown in FIG. 6, where MSE (Mean Square Error) is the average of the square of the error and can represent the dispersion of data values at the same location between two images. In other words, a small MSE value can mean that it is very close to the original, and as a result, it can be interpreted as a high PSNR value.

도 7을 참조하면, 구조적 유사 지수(SSIM)는 압축 및 변환에 의해 발생하는 왜곡에 대하여 원본 이미지에 대한 유사도를 측정하는 방법으로 이미지 휘도(Luminance)와 대비(Contrast) 그리고 구조(Structure)의 시각적 영향을 평가하는 방법에 해당할 수 있다. 여기에서, 휘도는 빛의 밝기를 나타내고 대비는 이미지 내에서 빛의 밝기가 극적으로 바뀌는 성질로서 표준 편차 값으로 비교할 수 있다. 구조는 픽셀들의 상대적 위치가 만들어내는 성질로서 이미지에서 평균 휘도를 뺀 후 표준편차로 나눈 값으로 정의될 수 있다. SSIM은 위 3가지 항목을 기초로 표현될 수 있으며, 구체적인 수식은 도 7에 도시된 바와 같다.Referring to FIG. 7, structural similarity index (SSIM) is a method of measuring similarity to the original image with respect to distortion caused by compression and conversion, and is a visual measure of image luminance, contrast, and structure. This may be a method of assessing impact. Here, luminance represents the brightness of light and contrast is a property in which the brightness of light changes dramatically within an image and can be compared with a standard deviation value. Structure is a property created by the relative positions of pixels and can be defined as the value of subtracting the average luminance from the image and dividing it by the standard deviation. SSIM can be expressed based on the above three items, and the specific formula is as shown in FIG. 7.

도 8은 본 발명에 따른 초해상화 이미지에 대한 그룹화 기준을 설명하는 도면이다.Figure 8 is a diagram illustrating grouping criteria for super-resolution images according to the present invention.

도 8을 참조하면, 선택적 레이블링 장치(130)는 초고해상화 이미지(또는 초해상화 이미지)를 기초로 PSNR과 SSIM을 추출할 수 있다. PSNR과 SSIM의 값은 해당 이미지를 기초로 구축된 딥러닝 모델의 정확도에 영향을 줄 수 있다. 즉, PSNR과 SSIM의 값은 원본 이미지와 초고해상화 이미지와의 관계를 나타낼 수 있으며, PSNR과 SSIM의 특정 구간에 대응되는 특정 그룹 별로 딥러닝 모델의 정확도에 미치는 영향이 상이할 수 있다. PSNR은 0 ~ 255의 값으로 표현되고, SSIM은 0 ~ 1의 값으로 표현될 수 있다. 따라서, 선택적 레이블링 장치(130)는 PSNR의 값을 정규화(normalization) 하여 스케일을 조정할 수 있다.Referring to FIG. 8, the selective labeling device 130 may extract PSNR and SSIM based on a super-resolution image (or super-resolution image). The values of PSNR and SSIM can affect the accuracy of deep learning models built based on the images. In other words, the values of PSNR and SSIM may represent the relationship between the original image and the super-resolution image, and the impact on the accuracy of the deep learning model may be different for each specific group corresponding to a specific section of PSNR and SSIM. PSNR can be expressed as a value from 0 to 255, and SSIM can be expressed as a value from 0 to 1. Accordingly, the selective labeling device 130 can adjust the scale by normalizing the value of PSNR.

또한, 선택적 레이블링 장치(130)는 이미지의 PSNR과 SSIM의 값을 기준으로 2차원 좌표계의 X축과 Y축에 표시할 수 있으며 점(point)의 x좌표와 y좌표를 각 축에 연결하여 형성된 사각형의 면적을 산출할 수 있다. 선택적 레이블링 장치(130)는 이미지의 면적 값을 기준으로 구간을 나누어서 이미지셋(Set)을 구분할 수 있다. 도 8에서, 이미지 1(image 1)의 면적은 0.5 * 0.06 = 0.03이고, 이미지 2(image 2)의 면적은 0.19 * 0.13 = 0.0247이며, 이미지 3(image 3)의 면적은 0.3 * 0.26 = 0.078이다. 따라서, 면적의 크기에 따라 이미지 3, 1 및 2의 순서로 정렬될 수 있다.In addition, the selective labeling device 130 can display on the X-axis and Y-axis of a two-dimensional coordinate system based on the PSNR and SSIM values of the image, and is formed by connecting the The area of a square can be calculated. The selective labeling device 130 can distinguish the image set by dividing it into sections based on the area value of the image. In Figure 8, the area of image 1 is 0.5 * 0.06 = 0.03, the area of image 2 is 0.19 * 0.13 = 0.0247, and the area of image 3 is 0.3 * 0.26 = 0.078 am. Therefore, images 3, 1, and 2 may be sorted according to the size of the area.

또한, 선택적 레이블링 장치(130)는 샘플 이미지를 대상으로 도 8의 수식의 분포에 따라 그룹화를 수행하여 딥러닝 모델에 가장 영향을 주는 그룹의 선별기준을 결정할 수 있다. 이후, 선택적 레이블링 장치(130)는 도 8의 수식에 따라 전체 이미지를 그룹화한 다음 그룹의 선별기준에 따라 특정 셋(Set)의 이미지를 선택할 수 있다. 선택적 레이블링 장치(130)는 특정 셋의 이미지에만 레이블링 작업을 수행하고 레이블된 이미지를 n배 증강하여 딥러닝 모델 학습을 위한 데이터셋을 구축할 수 있다.In addition, the selective labeling device 130 can group sample images according to the distribution of the equation in FIG. 8 to determine the selection criteria for the group that has the most influence on the deep learning model. Thereafter, the selective labeling device 130 may group all images according to the formula in FIG. 8 and then select a specific set of images according to the group selection criteria. The selective labeling device 130 may perform a labeling operation only on a specific set of images and augment the labeled images n times to build a dataset for learning a deep learning model.

도 9는 본 발명에 따른 이미지 초해상화 기반 선택적 레이블링 과정을 통해 딥러닝 모델을 구축하는 과정을 설명하는 도면이다.Figure 9 is a diagram illustrating the process of building a deep learning model through an image super-resolution-based selective labeling process according to the present invention.

도 9를 참조하면, 선택적 레이블링 장치(130)는 제1 내지 제6 단계를 통해 성능이 향상된 딥러닝 모델(Deep Learning Model)을 구축할 수 있다. 보다 구체적으로, 제1 단계에서는 이미지 전처리를 통해 원본 이미지(Original Image)에 대응되는 초해상화 이미지(SR Image)를 생성할 수 있다. 제2 단계에서는 초해상화 이미지들을 분류하여 복수의 후보 이미지셋(Image Set_1, ..., Image Set_N)들을 생성할 수 있다. 이때, 이미지 분류를 위한 기준으로 SSIM 및 PSNR이 사용될 수 있다.Referring to FIG. 9, the selective labeling device 130 can build a deep learning model with improved performance through the first to sixth steps. More specifically, in the first step, a super-resolution image (SR Image) corresponding to the original image (Original Image) can be generated through image pre-processing. In the second step, the super-resolution images can be classified to generate a plurality of candidate image sets (Image Set_1, ..., Image Set_N). At this time, SSIM and PSNR can be used as standards for image classification.

또한, 제3 단계에서는 복수의 후보 이미지셋들 중에서 최적의 이미지셋(Optimal Set)을 선택할 수 있다. 이때, 최적의 이미지셋을 선택하기 위한 기준은 사전 실험을 통해 결정될 수 있다. 제4 단계에서는 최적의 이미지셋만을 대상으로 객체 레이블링(Object labeling) 작업을 수행할 수 있으며, 이를 통해 레이블 정보(Labels)를 포함하는 학습 이미지셋(Image Set_k)이 생성될 수 있다.Additionally, in the third step, an optimal image set (Optimal Set) can be selected from a plurality of candidate image sets. At this time, the criteria for selecting the optimal image set can be determined through prior experiments. In the fourth step, object labeling can be performed on only the optimal image set, and through this, a learning image set (Image Set_k) containing label information (Labels) can be created.

또한, 제5 단계에서는 학습 이미지셋(Image Set_k)을 증강(Augmentation)하여 복수의 학습 이미지셋들(Image Set_k1, ..., Image_Set_kN)을 생성할 수 있다. 마지막으로 제 6단계에서는 준비된 학습 이미지셋들을 학습하여 딥러닝 모델을 구축할 수 있다. 결과적으로, 선택적 레이블링 장치(130)는 레이블된 적은 수의 이미지를 이용하면서도 만족스러운 예측 정확도를 갖는 딥러닝 모델을 효과적으로 구축할 수 있다.Additionally, in the fifth step, a plurality of learning image sets (Image Set_k1, ..., Image_Set_kN) can be generated by augmenting the learning image set (Image Set_k). Finally, in the sixth step, a deep learning model can be built by learning the prepared training image sets. As a result, the selective labeling device 130 can effectively build a deep learning model with satisfactory prediction accuracy while using a small number of labeled images.

도 10 및 11은 본 발명에 따른 딥러닝 모델 구축을 위한 샘플 실험을 설명하는 도면이다.10 and 11 are diagrams illustrating sample experiments for building a deep learning model according to the present invention.

도 10 및 11을 참조하면, 동양화 데이터 2400개를 이용한 파일럿 실험을 통해 PSNR을 기준으로 4구간으로 나눈 mAP 결과를 획득할 수 있다. 도 10의 왼쪽 그림과 같이 해당 결과를 보면 3/4구간에서 mAP가 가장 높은 것을 확인할 수 있고, 도 10의 오른쪽 그림과 같이 SSIM 기준인 경우 2/4구간에서 정확도가 가장 높은 것을 확인할 수 있다. 한편, 구간을 세분할수록 이러한 차이는 더욱 명확해질 수 있다. 도 10에서, ori_test는 원본 이미지로 테스트한 결과에 해당하고 sr_test는 초고해상화 이미지로 테스트한 결과에 해당할 수 있다.Referring to Figures 10 and 11, mAP results divided into 4 sections based on PSNR can be obtained through a pilot experiment using 2,400 pieces of Oriental painting data. Looking at the results as shown in the left picture of Figure 10, it can be seen that mAP is the highest in the 3/4 section, and as shown in the right picture of Figure 10, it can be seen that the accuracy is highest in the 2/4 section based on SSIM. On the other hand, as the section is divided into more detail, these differences can become clearer. In Figure 10, ori_test may correspond to the result of testing with the original image, and sr_test may correspond to the result of testing with the super-resolution image.

또한, 도 11은 랜덤추출한 이미지와 본 발명에 따른 방법을 통해 그룹 별로 나누고 누적해가면서 mAP를 비교한 결과에 해당할 수 있다. 즉, 데이터가 더 세분화되어 갈수록 mAP의 차이가 증가하는 것을 확인할 수 있다.In addition, Figure 11 may correspond to the results of comparing mAP by dividing and accumulating randomly extracted images by group through the method according to the present invention. In other words, it can be seen that the difference in mAP increases as the data becomes more segmented.

실험결과 딥러닝 모델 구축에 있어서 PSNR과 SSIM이 모두 영향을 미치는 것을 확인할 수 있다. 따라서, 본 발명에 따른 수식에 따라 데이터의 구간을 나누고 구간별 mAP를 비교하면 어느 구간에서 가장 높은 mAP를 보이는지 결정할 수 있다.As a result of the experiment, it can be seen that both PSNR and SSIM have an effect on building a deep learning model. Therefore, by dividing the data into sections according to the formula according to the present invention and comparing the mAP for each section, it is possible to determine which section shows the highest mAP.

즉, 선택적 레이블링 장치(130)는 전체 이미지를 본 발명에 따른 수식에 따라 그룹화할 수 있고, 샘플 실험에서 찾아낸 특정 구간의 특징과 동일한 그룹을 선별할 수 있다. 이를 통해, 선택적 레이블링 장치(130)는 해당 셋의 이미지만 레이블링하고 n배 증강하여 딥러닝 모델을 구축함으로써 딥러닝 모델 구축의 효율성을 향상시킬 수 있다.That is, the selective labeling device 130 can group the entire image according to the formula according to the present invention and select a group that is identical to the characteristics of a specific section found in the sample experiment. Through this, the selective labeling device 130 can improve the efficiency of building a deep learning model by labeling only the images of the corresponding set and augmenting them n times to build a deep learning model.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the present invention has been described above with reference to preferred embodiments, those skilled in the art may make various modifications and changes to the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that you can do it.

100: 선택적 레이블링 시스템
110: 사용자 단말 130: 선택적 레이블링 장치
150: 데이터베이스
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 이미지 전처리부 320: 후보 이미지셋 생성부
330: 소스 이미지셋 결정부 340: 학습 이미지셋 생성부
350: 데이터 증강부 360: 모델 구축부100: Optional labeling system
110: user terminal 130: optional labeling device
150: database
210: Processor 230: Memory
250: user input/output unit 270: network input/output unit
310: Image preprocessing unit 320: Candidate image set generation unit
330: Source image set determination unit 340: Learning image set generation unit
350: Data augmentation unit 360: Model construction unit

Claims (14)

이미지 모집단의 원본 이미지들을 전처리(preprocessing)하여 상기 원본 이미지들에 대응되는 초해상화 이미지들을 생성하는 이미지 전처리부;
상기 초해상화 이미지들을 특정 기준에 따라 분류하여 복수의 후보 이미지셋들을 생성하는 후보 이미지셋 생성부;
상기 복수의 후보 이미지셋들 중에서 딥러닝 모델 구축을 위해 사용되는 소스 이미지셋을 결정하는 소스 이미지셋 결정부; 및
상기 소스 이미지셋의 소스 이미지들에 대해 객체 레이블링(object labeling)을 수행하여 학습 이미지셋을 생성하는 학습 이미지셋 생성부;를 포함하되,
상기 후보 이미지셋 생성부는 원본 이미지와 초해상화 이미지 간의 비교를 통해 상기 초해상화 이미지 별로 최대 신호대 잡음비(PSNR, Peak Signa to Noise Ratio)와 구조적 유사 지수(SSIM, Structural Similarity Index Measure)를 각각 산출하고, 상기 최대 신호대 잡음비(PSNR)와 상기 구조적 유사 지수(SSIM)를 독립된 차원으로 하는 2차원 좌표계에서 상기 초해상화 이미지들의 분포를 기준으로 상기 초해상화 이미지들을 그룹화하는 것을 특징으로 하는 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 장치.
An image preprocessor that preprocesses original images of the image population to generate super-resolution images corresponding to the original images;
a candidate image set generator that generates a plurality of candidate image sets by classifying the super-resolution images according to specific criteria;
a source image set determination unit that determines a source image set to be used for building a deep learning model among the plurality of candidate image sets; and
It includes a learning image set generator that generates a learning image set by performing object labeling on the source images of the source image set,
The candidate image set generator calculates the maximum signal-to-noise ratio (PSNR, Peak Signa to Noise Ratio) and structural similarity index (SSIM, Structural Similarity Index Measure) for each super-resolution image through comparison between the original image and the super-resolution image. And deep learning, characterized in that grouping the super-resolution images based on the distribution of the super-resolution images in a two-dimensional coordinate system with the maximum signal-to-noise ratio (PSNR) and the structural similarity index (SSIM) as independent dimensions. Image super-resolution-based selective labeling device to improve model building efficiency.
제1항에 있어서, 상기 이미지 전처리부는
상기 원본 이미지들을 Real-ESRGAN 모델을 포함하는 초해상화 알고리즘에 적용하여 상기 초해상화 이미지들을 생성하는 것을 특징으로 하는 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 장치.
The method of claim 1, wherein the image preprocessing unit
An image super-resolution-based selective labeling device for improving the efficiency of deep learning model construction, characterized in that the super-resolution images are generated by applying the original images to a super-resolution algorithm including the Real-ESRGAN model.
삭제delete 제1항에 있어서, 상기 후보 이미지셋 생성부는
상기 최대 신호대 잡음비(PSNR)의 값들을 정규화(normalization) 하여 상기 구조적 유사 지수(SSIM)의 스케일(scale)에 일치시키는 것을 특징으로 하는 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 장치.
The method of claim 1, wherein the candidate image set generator
Selective labeling based on image super-resolution to improve the efficiency of deep learning model construction, characterized by normalizing the values of the maximum signal-to-noise ratio (PSNR) to match the scale of the structural similarity index (SSIM). Device.
삭제delete 제1항에 있어서, 상기 후보 이미지셋 생성부는
상기 2차원 좌표계에서 X축 및 Y축의 위치를 기준으로 상기 초해상화 이미지들 각각의 면적을 산출하고 상기 면적을 기준으로 상기 초해상화 이미지들을 그룹화 하는 것을 특징으로 하는 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 장치.
The method of claim 1, wherein the candidate image set generator
Improving the efficiency of building a deep learning model, characterized by calculating the area of each of the super-resolution images based on the positions of the X and Y axes in the two-dimensional coordinate system and grouping the super-resolution images based on the area. Image super-resolution based selective labeling device for.
제1항에 있어서, 상기 후보 이미지셋 생성부는
상기 최대 신호대 잡음비(PSNR)와 상기 구조적 유사 지수(SSIM)를 기초로 정의되는 다음의 수학식을 통해 상기 초해상화 이미지들을 그룹화 하는 것을 특징으로 하는 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 장치.
[수학식]


(여기에서, PSNR_x는 2차원 좌표계에서 초해상화 이미지의 X축 위치이고, PSNR_min 및 PSNR_max는 초해상화 이미지들의 X축 위치의 최소값 및 최대값이다.)
The method of claim 1, wherein the candidate image set generator
Image super-resolution to improve the efficiency of building a deep learning model, characterized in that the super-resolution images are grouped through the following equation defined based on the maximum signal-to-noise ratio (PSNR) and the structural similarity index (SSIM). A chemical-based selective labeling device.
[Equation]


(Here, PSNR _x is the X-axis position of the super-resolution image in a two-dimensional coordinate system, and PSNR _min and PSNR _max are the minimum and maximum values of the X-axis position of the super-resolution images.)
제1항에 있어서, 상기 소스 이미지셋 결정부는
상기 최대 신호대 잡음비(PSNR)와 상기 구조적 유사 지수(SSIM) 각각을 복수의 구간들로 독립적으로 분할하고 샘플 이미지셋을 대상으로 샘플 테스트를 수행한 결과에 따라 각 구간별 mAP(mean Average Precision)를 산출하며 상기 각 구간별 mAP를 통해 상기 소스 이미지셋에 관한 결정 기준을 생성하는 것을 특징으로 하는 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 장치.
The method of claim 1, wherein the source image set determination unit
The maximum signal-to-noise ratio (PSNR) and the structural similarity index (SSIM) are each independently divided into a plurality of sections, and the mean average precision (mAP) for each section is calculated according to the results of performing a sample test on the sample image set. An image super-resolution-based selective labeling device for improving the efficiency of deep learning model construction, characterized in that it generates a decision standard for the source image set through the mAP for each section.
제1항에 있어서,
상기 학습 이미지셋을 기초로 데이터 증강(data augmentation) 알고리즘을 적용하여 복수의 증강 이미지셋들을 생성하는 데이터 증강부; 및
상기 복수의 증강 이미지셋들을 학습하여 딥러닝 모델을 구축하는 모델 구축부;를 더 포함하는 것을 특징으로 하는 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 장치.
According to paragraph 1,
a data augmentation unit generating a plurality of augmented image sets by applying a data augmentation algorithm based on the learning image set; and
An image super-resolution-based selective labeling device for improving the efficiency of deep learning model construction, further comprising a model building unit that learns the plurality of augmented image sets to build a deep learning model.
이미지 전처리부를 통해 이미지 모집단의 원본 이미지들을 전처리(preprocessing)하여 상기 원본 이미지들에 대응되는 초해상화 이미지들을 생성하는 단계;
후보 이미지셋 생성부를 통해 상기 초해상화 이미지들을 특정 기준에 따라 분류하여 복수의 후보 이미지셋들을 생성하는 단계;
소스 이미지셋 결정부를 통해 상기 복수의 후보 이미지셋들 중에서 딥러닝 모델 구축을 위해 사용되는 소스 이미지셋을 결정하는 단계; 및
학습 이미지셋 생성부를 통해 상기 소스 이미지셋의 소스 이미지들에 대해 객체 레이블링(object labeling)을 수행하여 학습 이미지셋을 생성하는 단계;를 포함하되,
상기 복수의 후보 이미지셋들을 생성하는 단계는 원본 이미지와 초해상화 이미지 간의 비교를 통해 상기 초해상화 이미지 별로 최대 신호대 잡음비(PSNR, Peak Signa to Noise Ratio)와 구조적 유사 지수(SSIM, Structural Similarity Index Measure)를 각각 산출하고, 상기 최대 신호대 잡음비(PSNR)와 상기 구조적 유사 지수(SSIM)를 독립된 차원으로 하는 2차원 좌표계에서 상기 초해상화 이미지들의 분포를 기준으로 상기 초해상화 이미지들을 그룹화하는 단계를 포함하는 것을 특징으로 하는 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 방법.
Preprocessing the original images of the image population through an image preprocessor to generate super-resolution images corresponding to the original images;
Classifying the super-resolution images according to specific criteria through a candidate image set generator to generate a plurality of candidate image sets;
determining a source image set to be used for building a deep learning model among the plurality of candidate image sets through a source image set determination unit; and
A step of generating a learning image set by performing object labeling on the source images of the source image set through a learning image set generator,
The step of generating the plurality of candidate image sets includes comparing the original image and the super-resolution image to determine the maximum signal-to-noise ratio (PSNR) and structural similarity index (SSIM) for each super-resolution image. Measure) and grouping the super-resolution images based on the distribution of the super-resolution images in a two-dimensional coordinate system with the maximum signal-to-noise ratio (PSNR) and the structural similarity index (SSIM) as independent dimensions. An image super-resolution-based selective labeling method to improve the efficiency of deep learning model construction, comprising:
삭제delete 삭제delete 제10항에 있어서, 상기 복수의 후보 이미지셋들을 생성하는 단계는
상기 최대 신호대 잡음비(PSNR)와 상기 구조적 유사 지수(SSIM)를 기초로 정의되는 다음의 수학식을 통해 상기 초해상화 이미지들을 그룹화 하는 단계를 포함하는 것을 특징으로 하는 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 방법.
[수학식]


(여기에서, PSNR_x는 2차원 좌표계에서 초해상화 이미지의 X축 위치이고, PSNR_min 및 PSNR_max는 초해상화 이미지들의 X축 위치의 최소값 및 최대값이다.)
The method of claim 10, wherein generating the plurality of candidate image sets includes
Improving the efficiency of building a deep learning model, comprising grouping the super-resolution images through the following equation defined based on the maximum signal-to-noise ratio (PSNR) and the structural similarity index (SSIM). Image super-resolution based selective labeling method for.
[Equation]


(Here, PSNR _x is the X-axis position of the super-resolution image in a two-dimensional coordinate system, and PSNR _min and PSNR _max are the minimum and maximum values of the X-axis position of the super-resolution images.)
제10항에 있어서,
데이터 증강부를 통해 상기 학습 이미지셋을 기초로 데이터 증강(data augmentation) 알고리즘을 적용하여 복수의 증강 이미지셋들을 생성하는 단계; 및
모델 구축부를 통해 상기 복수의 증강 이미지셋들을 학습하여 딥러닝 모델을 구축하는 단계;를 더 포함하는 것을 특징으로 하는 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 방법.
According to clause 10,
Generating a plurality of augmented image sets by applying a data augmentation algorithm based on the learning image set through a data augmentation unit; and
A selective labeling method based on image super-resolution for improving the efficiency of deep learning model construction, further comprising: constructing a deep learning model by learning the plurality of augmented image sets through a model building unit.