KR20200080408A - Artificial Intelligence rapid image generation method using Meta-learning Generative adversarial network - Google Patents
Artificial Intelligence rapid image generation method using Meta-learning Generative adversarial network Download PDFInfo
- Publication number
- KR20200080408A KR20200080408A KR1020180164876A KR20180164876A KR20200080408A KR 20200080408 A KR20200080408 A KR 20200080408A KR 1020180164876 A KR1020180164876 A KR 1020180164876A KR 20180164876 A KR20180164876 A KR 20180164876A KR 20200080408 A KR20200080408 A KR 20200080408A
- Authority
- KR
- South Korea
- Prior art keywords
- meta
- image
- gan
- learning
- generator
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000037308 hair color Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 메타학습된 생성적 대립 네트워크(신경망)를 이용한 인공지능의 빠른 이미지 생성방법에 관한 것이다. The present invention relates to a method for rapidly generating artificial intelligence using meta-learned generative confrontation networks (neural networks).
오늘날 인공지능(AI)의 발달은 끝없이 진행되고 있으며, 최근 들어 GAN(Generative Adversarial Network), 우리 말로 생성적 대립 신경망(또는 네트워크)이라고 불리는 연구에 대해서도 끊임없는 기술이 개발되고 있다. Today, the development of artificial intelligence (AI) is endlessly progressing, and in recent years, a continuous technique has been developed for a research called a GAN (Generative Adversarial Network), or a productive alternative neural network (or network).
상기 생성적 대립 신경망(또는 네트워크)이라는 이름처럼 두 신경망 모델의 대립과 이로 인한 경쟁을 통해 학습하고 결과물을 만들어낸다. 두 모델은 ‘생성자(Generator)’와‘감별자(Discriminator)’로 부르는 상반된 목적을 갖고 있다. Like the name of the constructive confrontational neural network (or network), the two neural network models confront and learn through the competition and produce the result. The two models have opposite goals, called'Generator' and'Discriminator'.
생성자는 실제 데이터를 학습하고 이를 바탕으로 거짓 데이터를 생성하는데, 결국은 실제에 가까운 거짓 데이터를 생성하는 것이 목적이다. The constructor learns the actual data and generates false data based on the data.
그리고, 감별자는 생성자가 내놓은 데이터가 실제인지 거짓인지 판별하도록 학습한다. 생성자의 거짓 데이터에 놀아나지 않는 게 목적이다. Then, the discriminator learns to determine whether the data provided by the constructor is real or false. The goal is not to play around with the constructor's false data.
GAN의 창시자 이안 굿펠로우는 생성자(Generator)를 위조지폐범에, 감별자(Discriminator)를 경찰에 비유했다. 예로서, 생성자는 감별자를 속이지 못한 데이터를, 감별자는 생성자에게 속은 데이터를 입력받아 학습한다. 이러한 과정이 반복되면서 위조지폐가 정교해지듯 점점 더 실제에 가까운 거짓 데이터를 만들 수 있게 되는 셈이다. GAN's founder, Ian Goodfellow, compared a generator to a counterfeiter and a discriminator to the police. As an example, the constructor receives data that did not fool the discriminator, and the discriminator receives and learns data deceived by the constructor. As this process is repeated, as counterfeit bills become more sophisticated, it becomes possible to create more and more real, false data.
도 1a는 상기 GAN의 학습과정의 원리를 나타낸 도면이고, 도 1b는 GAN의 개념을 도식화한 도면이다. 도 1a와 도 1b에 도시된 대로, G(Generator)가 D(Discriminator)를 속일 수 있는 더욱 사실적인 이미지를 만들려고 시도하는 동안, 상기 D는 G가 생성한 이미지를 진짜 이미지로부터 구별하기 위하여 지속적으로 매개변수를 조정한다. 게임이론적 관점에서 이들 네트워크들은 제로섬 게임에서 서로 경쟁하는 것이다. 1A is a diagram illustrating the principle of the learning process of the GAN, and FIG. 1B is a diagram schematically illustrating the concept of the GAN. 1A and 1B, while G (Generator) attempts to create a more realistic image that can deceive D (Discriminator), D continues to distinguish the image generated by G from the real image. Adjust the parameters with. From a game theory point of view, these networks compete against each other in a zero-sum game.
지난 2014년 GAN 논문이 처음 발표된 뒤로 다양한 후속 연구가 발표되고 있다. 학계에서 GAN이 차세대 딥러닝 알고리즘으로 주목받는 이유는 기존 지도 학습 방식에서 벗어나 비지도 학습의 초석을 다졌기 때문이다. 대부분의 AI 연구는 지도 학습 방식으로 사람이 정답을 알려주는 방식의 학습이다. 해당 이미지가 고양이인지 개인지 태그를 달아주는 등 AI가 학습할 수 있는 방식으로 데이터를 가공하는 과정이 필요하다. AI의 세계 뒤에선 데이터에 일일이 라벨을 붙여주는 인간의 수작업이 벌어지고 있는 것이다.Various follow-up studies have been published since the 2014 GAN thesis was first published. GAN is gaining attention as the next generation deep learning algorithm in the academic world because it has laid the foundation for unsupervised learning beyond the existing supervised learning method. Most AI research is a supervised learning method in which a person gives a correct answer. It is necessary to process the data in a way that AI can learn, such as tagging the image as a cat or personal. Behind the AI world is a human hand-in-hand labeling of data.
이처럼 지도 학습 방식의 한계는 대량의 데이터를 정제 과정 없이 처리할 수 없다는 점과 이 과정에서 인간의 개입이 필요하다는 점이다. 반면에, GAN은 인간이 정답을 알려주지 않아도 경쟁 과정 속에 스스로 학습한다. 대량 데이터를 AI 스스로 학습하기 때문에 파급 효과가 더 크며, 특히 생성모델을 통해 직접 이미지나 음성을 만들어낸다는 점에서 다른 지도 학습형 알고리즘과 크게 차별화된다.The limitations of the supervised learning method are that large amounts of data cannot be processed without purification, and human intervention is required in this process. On the other hand, GAN learns itself in a competitive process even if humans do not give the correct answer. Because the AI learns large amounts of data by itself, the ripple effect is greater, and it is different from other supervised learning algorithms in that it generates images or voices directly through a generation model.
본 발명은 임의의 이미지 생성을 달성하도록 그라데이션 기반의 메타학습된 생성적 대립 네트워크(GAN)가 제안된 메타학습된 생성적 대립 네트워크를 이용하여 인공지능의 빠른 이미지 생성방법을 제공하고자 하는데 있다. The present invention is to provide a method for rapidly generating artificial intelligence using a meta-learned generative confrontation network in which a gradient-based meta-learned generative confrontation network (GAN) is proposed to achieve arbitrary image generation.
또한, 적은 수의 훈련으로 좋은 샘플을 생성하는 방법인 영상의 생성을 구현하기 위한 메타학습된 생성적 대립 네트워크를 이용하여 인공지능의 빠른 이미지 생성방법을 제공하고자 하는데 있다. In addition, it is intended to provide a fast image generation method of artificial intelligence using a meta-learned constructive confrontation network for realizing image generation, which is a method of generating good samples with a small number of training.
이러한 목적을 달성하기 위하여 본 발명은 메타 학습된 생성적 대립 네트워크를 이용한 인공지능의 이미지 생성방법에 있어서, 이미지를 변화시키는 모델로서 GAN을 훈련시키는 단계와 상기 훈련된 GAN의 재차 업데이트를 위하여 반복 훈련하는 단계와 상기 단계에서 반복 훈련된 GAN을 메타-업데이트화 시키는 단계를 포함하는 것을 특징으로 한다.In order to achieve this object, the present invention provides a method for generating an artificial intelligence image using meta-learned generative confrontation networks, training a GAN as a model for changing an image, and repeatedly training to update the trained GAN again. And meta-updating the GAN repeatedly trained in the above step.
또한, 상기 GAN은 이미지를 학습하여 생성하는 생성기(Generator)와 상기 생성기에 의하여 생성된 이미지를 구별하는 구별기(Discriminator)로 이루어지며, 상기 생성기와 상기 구별기를 각각 반복적으로 업데이트시키는 것을 특징으로 하는 것이다.. In addition, the GAN is composed of a generator (Generator) that learns and generates an image and a discriminator (Discriminator) that distinguishes the image generated by the generator, wherein the generator and the discriminator are each updated repeatedly. will be..
또한, 상기 단계에서 메타-업데이트의 학습 식은 
또한, 상기 훈련은 입력 후 변수 조정하여 결과 값이 나왔을 때 원하는 결과와 어느 정도 차이가 있는지 비교하며, 상기 비교를 반복하면서 원하는 오차가 되면 종료하는 것을 특징으로 한다.In addition, the training is characterized in that, when inputting a variable and adjusting the result, it compares how much it differs from the desired result and repeats the comparison and ends when the desired error occurs.
따라서, 본 발명이 제안하는 메타학습된 생성적 대립 네트워크를 이용한 인공지능의 빠른 이미지 생성 방법은 메타학습된 GAN으로 하여금 점진적으로 원하는 색상과 크기의 이미지로 변화시킬수 있음은 물론, 다양한 종류의 이미지 변환작업을 신속 정확하게 할수 있는 효과가 있다. Therefore, the method for rapid image generation of artificial intelligence using the meta-learned generative confrontation network proposed by the present invention allows the meta-learned GAN to gradually change to an image of a desired color and size, as well as various types of image conversion It has the effect of being able to work quickly and accurately.
도 1a는 GAN의 학습과정의 원리를 나타낸 도면.
도 1b는 GAN의 개념을 도식화한 도면.
도 2는 제안된 MAML-styled mtGAN 모델 다이아그램.
도 3은 메타 학습된 GAN(mtGAN)을 구현하기 위한 알고리즘.
도 4는 메타 학습된 GAN(mtGAN)을 구현하기 위한 알고리즘.
도 5는 본 발명에 의한 생성방법의 흐름도.
도 6은 메타 학습된 원에 mtGAN을 통해 노란색 원으로 훈련되는 원을 나타내는 사진.
도 7은 검은 머리색의 사람을 mtGAN을 통해 금발의 머리색으로 생성하기 위해 훈련된 결과를 나타낸 사진. 1A is a diagram showing the principle of the learning process of the GAN.
1B is a diagram illustrating the concept of GAN.
2 is a proposed MAML-styled mtGAN model diagram.
3 is an algorithm for implementing meta-learned GAN (mtGAN).
4 is an algorithm for implementing meta-learned GAN (mtGAN).
5 is a flow chart of a generating method according to the present invention.
6 is a photograph showing a circle trained as a yellow circle through mtGAN on a meta-learned circle.
Figure 7 is a photograph showing the results of training to produce a person with a dark hair color of blonde through mtGAN.
이하에서는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시가 되더라도 가능한 한 동일 부호를 가지도록 하고 있음에 유의하여야 한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. First, it should be noted that in adding reference numerals to the components of each drawing, the same components have the same reference numerals as possible, even if they are displayed on different drawings.
또한, 하기에서 본 발명을 설명함에 있어 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. In addition, in the following description of the present invention, when it is determined that detailed descriptions of related known functions or configurations may unnecessarily obscure the subject matter of the present invention, detailed descriptions thereof will be omitted.
먼저, 본 발명을 설명하기에 앞서 명세서 상에서 자주 등장하는 GAN(Generative Adversarial Network: 생성적 대립 신경망)에 대하여 자세히 설명하기로 한다.First, prior to describing the present invention, a GAN (Generative Adversarial Network) that frequently appears on the specification will be described in detail.
생성적 대립 네트워크(GAN : Generative adversarial network)는 현재 생성 모델 네트워크에서 뿐만 아니라 전체 기계학습에서 가장 주목받는 모델 중에 하나이다. Generative adversarial networks (GANs) are currently one of the most noted models in machine learning as well as in generative model networks.
상기 GAN(생성적 대립 네트워크)은 심신경망 구조를 지닌 인공지능(AI) 알고리즘의 한 종류로서, 딥 러닝(deep learning) 기술인 GAN 기술은 사람의 눈에 매우 사실적으로 보이며 현실적인 특성을 지닌 이미지를 생성하도록 도와준다. The GAN (Generative Confrontation Network) is a type of artificial intelligence (AI) algorithm having a structure of the mind and body network, and the deep learning technology, the GAN technology, creates an image with realistic characteristics that looks very realistic to the human eye. To help.
사진과 거의 동일할 정도로 정교한 이미지는 현재 신발, 가방 또는 컴퓨터 게임 장면 등 다양한 산업 디자인 분야에서 사용된다. 상기 GAN은 동영상의 모션 패턴을 모델링하거나 이미지에서 물체의 3D 모델을 재구성하고 천문학적인 이미지를 만들어내기도 한다.Sophisticated images, almost identical to photographs, are now used in a variety of industrial design fields, such as footwear, bags or computer game scenes. The GAN models a motion pattern of a video or reconstructs a 3D model of an object from an image and creates an astronomical image.
또한, GAN은 우선 난수(亂數: random number)를 취해 이미지를 반환한다. 이미지들은 실제 데이터 세트에서 파생된 정보로 구성되어 상기 이미지는 판별기로 보내진다. 판별기는 실제 이미지와 가짜 이미지를 모두 가져와 확률을 계산한다.In addition, GAN first takes a random number (亂數) and returns an image. The images consist of information derived from the actual data set, which is then sent to the discriminator. The discriminator calculates the probability by taking both real and fake images.
GAN의 근본이 되는 신경망을 응용한 기술인 깊은 신경망은 인공신경망의 계보를 잇는 기술로서, 대부분의 기계 학습에 사용되는 깊은 신경망(Deep neural network)은 다양한 예시를 가진다. 최근의 GNA기술은 고비용과 많은 시간을 들이는 문제를 해결하기 위해 새로운 학습기술의 개발이 제안되고 있다.Deep neural networks, which are the technology of applying the neural network that is the basis of GAN, are the technology that connects the genealogy of artificial neural networks, and deep neural networks used in most machine learning have various examples. Recently, GNA technology has been proposed to develop a new learning technology to solve the high cost and time-consuming problem.
이하에서는 도면을 참조하여 본 발명의 메타학습된 생성적 대립 네트워크를 이용한 인공지능의 빠른 이미지 생성방법을 설명하고자 한다. Hereinafter, with reference to the drawings, to describe a method for rapidly generating artificial intelligence using the meta-learning generative confrontation network of the present invention.
도 2는 제안된 MAML-styled mtGAN 모델 다이아그램이며, 도 3은 메타 학습된 GAN(mtGAN)을 구현하기 위한 알고리즘이고, 도 4는 메타 학습된 GAN(mtGAN)을 구현하기 위한 알고리즘이고, 도 5는 본 발명에 의한 이미지 생성방법의 흐름도이고, 도 6은 메타 학습된 원에 mtGAN을 통해 노란색 원으로 훈련되는 원을 나타내는 사진이고, 도 7은 검은 머리색의 사람을 mtGAN을 통해 금발의 머리색으로 생성하기 위해 훈련된 결과를 나타낸 사진이다.2 is a proposed MAML-styled mtGAN model diagram, FIG. 3 is an algorithm for implementing meta-trained GAN (mtGAN), FIG. 4 is an algorithm for implementing meta-trained GAN (mtGAN), and FIG. 5 Is a flow chart of the image generation method according to the present invention, Figure 6 is a photograph showing a circle trained as a yellow circle through mtGAN in a meta-learned circle, Figure 7 is a black hair color of the blonde hair color through mtGAN This is a picture showing the results of training to generate a.
참고로, 본 명세서상에 나오는 용어인 '학습' 혹은 '러닝(learning)'은 절차에 따른 컴퓨팅(computing)을 통하여 기계 학습(machine learning)을 수행함을 일컫는 용어라는 점을 미리 밝혀두고자 한다. For reference, the terms'learning' or'learning' in this specification are intended to be revealed in advance as a term referring to performing machine learning through computing according to a procedure.
본 발명의 핵심은 두개의 서로 다른 GAN을 서로 결합시키는 것인데 이를 설명하면, 상기 GAN(Generative Adversarial Network)은 이미지(image)를 학습하여 생성하는 생성기(G: Generator)와 상기 생성기에 의하여 생성된 이미지를 구별하는 구별기(D: Discriminator)로 이루어진다. 상기 생성기(G)는 복수의 컨볼루션(convolution) 계층을 포함하는 인코더(encoder) 및 복수의 디컨볼루션 계층을 포함하는 디코더(decoder)로 구성되며, 상기 구별기(D)는 복수의 디컨볼루션(deconvolution) 계층 및 시그모이드(sigmoid)를 포함하는 인코더로 구성된 것을 특징으로 한다. The essence of the present invention is to combine two different GANs together. When this is explained, the GAN (Generative Adversarial Network) is a generator generated by learning and generating an image (G: Generator) and an image generated by the generator. It consists of a discriminator (D: Discriminator) to distinguish. The generator (G) is composed of an encoder (encoder) including a plurality of convolution (convolution) layer and a decoder (decoder) including a plurality of deconvolution layer, the discriminator (D) is a plurality of deconvolution It is characterized by consisting of an encoder including a deconvolution layer and a sigmoid.
즉, 임의의 이미지를 다른 이미지로 변환하는 모델을 학습하는 생성기(G)와 상기 생성기에 의해 생성한 이미지와 상기 생성된 이미지를 대표하는 샘플 이미지를 구별하는 모델을 학습하는 구별기(D)인 것이다. That is, a generator (G) for learning a model for converting an arbitrary image into another image and a discriminator (D) for learning a model for distinguishing an image generated by the generator from a sample image representing the generated image. will be.
결국, 이미지(image: 영상)의 분류와 이미지의 생성으로 이루어지는 데, 일반적으로 상기 이미지의 분류는 일반적으로 
상기 생성의 과정에서 상기 GAN은 방대한 훈련단계를 위해 훈련되어야 한다. 따라서, 적은 수의 훈련 예제로 그럴듯한 샘플을 생성하는 방법인 이미지의 생성이 필요한 것이다.In the process of creation, the GAN must be trained for a vast training phase. Therefore, it is necessary to generate an image, which is a method for generating a plausible sample with a small number of training examples.
상기 이미지를 달성하기 위하여 그라데이션(gradation) 기반의 메타훈련으로 결정된 메타 매개변수가 필요한 훈련 예제의 수를 줄일 수 있기 때문에, 도 2와 같이 메타 러닝 프레임 워크를 제안하여 영상의 생성에 사용한다. 따라서, 본 발명에서는 빠른 적응을 위해 GAN을 메타 학습된 GAN(mtGAN)으로 제안한다.In order to achieve the image, since the number of training examples requiring meta parameters determined by gradation-based meta training can be reduced, a meta-learning framework as shown in FIG. 2 is proposed and used for image generation. Therefore, the present invention proposes GAN as meta-learned GAN (mtGAN) for fast adaptation.
도 2는 제안된 MAML(Model-agnostic meta learning)-styled mtGAN 모델 다이아그램으로서, 각 작업동안에 GAN을 훈련시키고 k -step(도 2에서 업데이트 되게 하는 G의 step 횟수) 후에 중지한다. Figure 2 is the proposed model-agnostic meta learning (MAML)-styled mtGAN model diagram, which trains the GAN during each task and stops after k -step (the number of steps in G to be updated in Figure 2).
그때, 예측된 GAN 손실 
도시된 대로, 각 단계별로 내부의 개별 블록에서 상기 discriminator(D)와 상기 generator(G)의 손실이 최소가 되도록 업데이트를 한 후, 다음 단계로 넘어가기 전에 meta-업데이트를 통해 전체의 손실이 최소가 되도록 재차 업데이트를 실행하게 된다. As shown, after updating to minimize the loss of the discriminator (D) and the generator (G) in individual blocks inside each step, before proceeding to the next step, the overall loss is minimal through meta-update. The update will be executed again.
상기 과정에서 그라디언트(gradient) 기반의 메타학습은 작업에 대해 메타 파라미터 최적화 손실을 아래 수식과 같이 찾아낸다. 즉, 상기 학습시킨 mtGAN을 반복적으로 훈련시켜 원하는 이미지를 생성시키는 것이다. In the above process, gradient-based meta-learning finds the meta-parameter optimization loss for the work as shown in the following equation. That is, the desired image is generated by repeatedly training the learned mtGAN.
여기서 
도 3은 meta 학습된 GAN(mtGAN)을 구현하기 위한 알고리즘이다. 상기 알고리즘은 도 2의 블록 다이어그램을 구현하도록 구성하였다.3 is an algorithm for implementing meta learned GAN (mtGAN). The algorithm is configured to implement the block diagram of FIG. 2.
도 4는 메타 학습된 GAN(mtGAN)을 구현하기 위한 알고리즘이다. 상기 알고리즘은 상기 도 3의 MAML(Model-agnostic meta learning)-styled mtGAN을 간단한 방식에서 구현하도록 구성하였다. 상기 mtGAN의 메타학습 방식은 MAML(model agnostic meta learning)-STYLED인 것을 특징으로 하는 것이다. 4 is an algorithm for implementing meta-learned GAN (mtGAN). The algorithm is configured to implement the model-agnostic meta learning (MAML)-styled mtGAN of FIG. 3 in a simple manner. The meta learning method of the mtGAN is characterized by being a model agnostic meta learning (MAML)-STYLED.
이하에서는 도 5를 참조하여 본 발명에 의한 메타학습된 생성적 대립 네트워크를 이용한 인공지능의 빠른 이미지 생성방법을 단계별로 설명하고자 한다. Hereinafter, a method for rapidly generating artificial intelligence using meta-learned constructive confrontation networks according to the present invention will be described step by step with reference to FIG. 5.
먼저, A의 이미지를 B의 이미지로 변환하는 변화시키는 모델로서 각 작업동안 GAN을 훈련시키는 것이다. (제1단계)First, we train GAN during each task as a transforming model that transforms the image of A into the image of B. (Stage 1)
상기 제1단계의 A, B라는 이미지는 도면을 참조하여 설명하면, 도 6의 경우 녹색 원이라는 A의 이미지에서 노란색 원이라는 B의 이미지를 의미하는 것이고, 도 7의 경우는 사진속의 검정색 머리라는 A 이미지를 금발의 B 이미지로 변화시키는 것을 의미한다. 이러한 목적을 달성하기 위하여 상기 GAN을 이루는 생성기(G)와 구별기(D)는 교대로 반복적으로 훈련된다. 도 2에 도시된 대로, 각 작업동안 GAN의 구성요소인 구별기(D)와 생성기(G)를 훈련(training)시키게 된다. 그리고, 상기 모델이라는 의미는 GAN(Generative Adversarial Network)의 G를 일컫는 것으로 새로운 이미지를 생성해낸다는 것을 의미한다. The images of A and B in the first step will be described with reference to the drawings. In the case of FIG. 6, the image of A in the green circle means the image of B in the yellow circle, and in FIG. 7 the black head in the picture. It means changing the A image to a blonde B image. In order to achieve this purpose, the generator (G) and the discriminator (D) constituting the GAN are alternately trained repeatedly. As shown in FIG. 2, during each operation, the discriminator (D) and the generator (G), which are components of the GAN, are trained. In addition, the model means G of GAN (Generative Adversarial Network), which means that a new image is generated.
상기 훈련된 GAN의 업데이트를 반복한다. (제2단계)The update of the trained GAN is repeated. (Step 2)
상기 제단계의 업데이트는 처음에는 구별기(D)들의 손실을 최소화하는 방향으로 구별기(D)들이 업데이트되며, 다음 스텝에는 업데이트 된 구별기(D)들에 의하여 결정되는 전체 생성기(G)들의 손실을 최소화시킴으로서 상기 생성기(G)들이 업데이트되는 것이다. 즉, 처음에는 생성기(G)와 구별기(D)를 N차 업데이트하고, 사용자가 만족할 N+1차 업데이트를 생성하는 과정을 N회 반복하여, 상기 2N차 업데이트를 최적으로 채택한다 In the updating of the first step, the discriminators D are first updated in a direction to minimize the loss of the discriminators D, and in the next step, all of the generators G determined by the discriminators D are updated. The generators G are updated by minimizing losses. That is, initially, the generator G and the discriminator D are updated N times, and the process of generating the N+1st update to be satisfied by the user is repeated N times, so that the 2Nth update is optimally adopted.
그 다음 단계로, 상기 제2단계에서 반복 훈련된 GAN을 meta- 업데이트화 시키는 것이다. (제3단계) The next step is to meta-update the GAN repeatedly trained in the second step. (Stage 3)
앞에서도 설명했지만. 상기 meta- 업데이트의 학습식은 
상기 제3단계에서 훈련은 여러 데이터(즉, 이미지)를 입력하여 인공지능 모듈(미도시)이 원하는 결과를 내도록 내부의 변수(즉, 
즉, GAN에 의한 학습이 진행되는 과정에서 G와 D는 각각의 목표를 달성하기 위하여 변수를 갱신하는 바, 충분한 학습 후에는 상기 G가 실제와 유사한 이미지를 생성해내고, 메타-변수에 의한 판별률이 이론적으로 거의 0에 수렴되는 것이 밝혀져 있다. 이와 같이 상기 GAN을 개량하여 하나의 이미지에 대응되는 다양한 클래스(종류)의 영상을 생성할 수 있다. That is, in the course of learning by GAN, G and D update variables to achieve each goal. After sufficient learning, the G generates an image similar to the real, and discrimination by meta-variable It has been found that the rate theoretically converges to zero. In this way, the GAN can be improved to generate various classes (kinds) of images corresponding to one image.
이를 도면을 참조하여 설명하면, 도 6은 meta 학습된 Circles에 mtGAN을 통해 노란색으로 훈련되는 원들(Circles)이며, 도 6의 하단의 숫자는 훈련된 단계(스텝: step)의 수를 나타내며, 점진적으로 원하는 색깔과 다양한 원의 크기로 나타남을 볼 수 있다. Referring to the drawings, FIG. 6 is circles trained in yellow through mtGAN on meta-trained Circles, and the number at the bottom of FIG. 6 represents the number of trained steps (steps), and gradually It can be seen that it appears in the desired color and various circle sizes.
도 7은 검은 머리색의 사람을 meta 학습된 mtGAN을 통해 금발의 머리색으로 생성하기 위해 훈련된 결과를 나타낸 사진이다. 상기 도 7의 하단의 숫자는 훈련된 단계를 나타내는 것이다. 앞서 설명한 대로, 훈련을 계속적으로 반복하여 원하는 이미지의 결과와 거의 근사하게 될때까지 훈련을 반복하는 것이다.FIG. 7 is a photograph showing the results of training to generate a person with a dark hair color as a blonde hair color through meta-trained mtGAN. The number at the bottom of FIG. 7 represents the trained stage. As explained earlier, it is to repeat the training continuously until it approximates the result of the desired image.
즉, 도 6의 경우는 녹색 원(circle)에서 노란색 원으로 크기와 색상, 도 7의 경우는 검정색 머리카락에서 원하는 색상인 금발의 머리카락으로 점진적으로 근접하여 생성되면, 각각 훈련(training: 학습)을 종료하게 되는 것이다. That is, in FIG. 6, the size and color of the circle from the green circle (circle) to the yellow circle, in FIG. 7 is gradually generated in close proximity from the black hair to the desired color of blonde hair, training (training: learning) respectively It will end.
따라서, 본 발명에 의한 이미지 생성방법은 AI(인공지능)가 이미지 등을 변경, 새롭게 생성하는 작업을 구사하기 위해서는 많은 학습 및 경험(deep learning)이 필요한 것인데, 상기 설명한 학습방식으로 인하여 충분한 훈련(training)이 되므로 이러한 반복된 훈련과 학습으로 창의력있게 이미지의 변환을 원하는 형태로 거의 유사하게 다양하게 창조할 수 있는 장점이 있는 것이다. Therefore, the image generation method according to the present invention requires a lot of learning and experience (deep learning) in order to use the task of AI (artificial intelligence) changing the image and creating a new one. training), and this repetitive training and learning has the advantage of being able to creatively and creatively transform images into a desired shape.
이상과 같이 설명한 본 발명의 메타 학습된 생성적 대립 네트워크를 이용한 인공지능의 이미지 생성방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것도 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.The method of generating an image of artificial intelligence using the meta-learned generative confrontation network of the present invention described above may be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data readable by a computer system is stored.
즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.That is, the computer-readable recording medium includes a storage medium such as a magnetic storage medium (eg, ROM, floppy disk, hard disk, etc.), an optical reading medium (eg, CD-ROM, DVD, etc.). In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that the computer-readable code is stored and executed in a distributed manner.
이상에서와 같이, 상기 서술한 내용은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. As described above, the above-described contents are merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may vary within a range not departing from the essential characteristics of the present invention. Modifications, modifications and substitutions will be possible.
따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Therefore, the embodiments and the accompanying drawings disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments and the accompanying drawings. The scope of protection of the present invention should be interpreted by the following claims, and all technical spirits within the equivalent range should be interpreted as being included in the scope of the present invention.
Claims (4)
이미지를 변화시키는 모델로서 GAN을 훈련시키는 제1단계;
상기 훈련된 GAN의 재차 업데이트를 위하여 반복 훈련하는 제2단계;
상기 제2단계에서 반복 훈련된 GAN을 메타-업데이트화 시키는 제3단계를 포함하는 것을 특징으로 하는 메타 학습된 생성적 대립 네트워크를 이용한 인공지능의 이미지 생성방법.
In the image generation method of artificial intelligence using meta-learned generative confrontation network,
The first step of training the GAN as a model to change the image;
A second step of repeatedly training to update the trained GAN again;
And a third step of meta-updating the GAN trained repeatedly in the second step.
상기 GAN은 이미지를 학습하여 생성하는 생성기(Generator)와 상기 생성기에 의하여 생성된 이미지를 구별하는 구별기(Discriminator)로 이루어지며, 상기 생성기와 상기 구별기를 각각 반복적으로 업데이트시키는 것을 특징으로 하는 메타학습된 생성적 대립 네트워크를 이용한 인공지능의 이미지 생성방법.
According to claim 1,
The GAN consists of a generator that learns and generates an image and a discriminator that distinguishes the image generated by the generator, and meta-learning characterized by repeatedly updating the generator and the discriminator, respectively. Artificial intelligence image creation method using the generated confrontation network.
상기 제3단계에서 메타-업데이트의 학습 식은
According to claim 1,
In the third step, the meta-update learning formula is
상기 훈련은 입력 후 변수 조정하여 결과 값이 나왔을 때 원하는 결과와 어느 정도 차이가 있는지 비교하며, 상기 비교를 반복하면서 원하는 오차가 되면 종료하는 것을 특징으로 하는 메타 학습된 생성적 대립 네트워크를 이용한 인공지능의 이미지 생성방법.
According to claim 1,
The training compares how much difference there is from the desired result when the result value comes out by adjusting the variable after input, and repeats the comparison and ends when the desired error occurs. How to create an image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180164876A KR102261869B1 (en) | 2018-12-19 | 2018-12-19 | Artificial Intelligence rapid image generation method using Meta-learning Generative adversarial network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180164876A KR102261869B1 (en) | 2018-12-19 | 2018-12-19 | Artificial Intelligence rapid image generation method using Meta-learning Generative adversarial network |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200080408A true KR20200080408A (en) | 2020-07-07 |
| KR102261869B1 KR102261869B1 (en) | 2021-06-07 |
Family
ID=71603246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180164876A KR102261869B1 (en) | 2018-12-19 | 2018-12-19 | Artificial Intelligence rapid image generation method using Meta-learning Generative adversarial network |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102261869B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419241A (en) * | 2020-11-04 | 2021-02-26 | 联想(北京)有限公司 | Object identification method and device based on artificial intelligence and readable storage medium |
| WO2022166797A1 (en) * | 2021-02-02 | 2022-08-11 | 百果园技术(新加坡)有限公司 | Image generation model training method, generation method, apparatus, and device |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102631937B1 (en) | 2021-12-22 | 2024-01-30 | 고려대학교 산학협력단 | 3D human recover method and apparatus using meta-learning |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010087974A (en) | 2000-03-09 | 2001-09-26 | 백승헌 | Method and apparatus for generating a 3 dimension image on a network |
| KR20070067484A (en) | 2005-12-23 | 2007-06-28 | 삼성전자주식회사 | Image forming apparatus for wireless networking and method for image data processing thereof |
| JP2018097807A (en) * | 2016-12-16 | 2018-06-21 | 株式会社デンソーアイティーラボラトリ | Learning device |
| KR20180120478A (en) * | 2017-04-27 | 2018-11-06 | 에스케이텔레콤 주식회사 | Method for learning Cross-domain Relations based on Generative Adversarial Network |
| KR101926404B1 (en) * | 2018-04-27 | 2018-12-07 | 남정우 | Promotional image improvement apparatus and method in online shopping mall using artificial intelligence |
| KR20180130511A (en) | 2016-03-09 | 2018-12-07 | 에코너스 인코퍼레이티드 | Ultrasonic image recognition system and method using artificial intelligence network |
-
2018
- 2018-12-19 KR KR1020180164876A patent/KR102261869B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010087974A (en) | 2000-03-09 | 2001-09-26 | 백승헌 | Method and apparatus for generating a 3 dimension image on a network |
| KR20070067484A (en) | 2005-12-23 | 2007-06-28 | 삼성전자주식회사 | Image forming apparatus for wireless networking and method for image data processing thereof |
| KR20180130511A (en) | 2016-03-09 | 2018-12-07 | 에코너스 인코퍼레이티드 | Ultrasonic image recognition system and method using artificial intelligence network |
| JP2018097807A (en) * | 2016-12-16 | 2018-06-21 | 株式会社デンソーアイティーラボラトリ | Learning device |
| KR20180120478A (en) * | 2017-04-27 | 2018-11-06 | 에스케이텔레콤 주식회사 | Method for learning Cross-domain Relations based on Generative Adversarial Network |
| KR101926404B1 (en) * | 2018-04-27 | 2018-12-07 | 남정우 | Promotional image improvement apparatus and method in online shopping mall using artificial intelligence |
Non-Patent Citations (1)
| Title |
|---|
| Zhang et al. Metagan An adversarial approach to few shot learning. NIPS, 2018년 12월 8일, pp. 2365-2374. 1부.* * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419241A (en) * | 2020-11-04 | 2021-02-26 | 联想(北京)有限公司 | Object identification method and device based on artificial intelligence and readable storage medium |
| WO2022166797A1 (en) * | 2021-02-02 | 2022-08-11 | 百果园技术(新加坡)有限公司 | Image generation model training method, generation method, apparatus, and device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102261869B1 (en) | 2021-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sahoo et al. | Online deep learning: Learning deep neural networks on the fly | |
| Chen et al. | Multi-level semantic feature augmentation for one-shot learning | |
| CA2941352C (en) | Neural network and method of neural network training | |
| US20160283842A1 (en) | Neural network and method of neural network training | |
| KR20200080408A (en) | Artificial Intelligence rapid image generation method using Meta-learning Generative adversarial network | |
| KR20200048032A (en) | Device and method to generate image and device and method to train generative model | |
| KR20200094938A (en) | Data imbalance solution method using Generative adversarial network | |
| Raj et al. | Review on generative adversarial networks | |
| Papa et al. | Optimizing optimum-path forest classification for huge datasets | |
| Althbaity et al. | Colorization Of Grayscale Images Using Deep Learning | |
| Farahani et al. | Between-domain instance transition via the process of Gibbs sampling in RBM | |
| KR20200097618A (en) | Data processing apparatus through neural network learning, data processing method through the neural network learning, and recording medium recording the method | |
| Chui et al. | Capsule networks and face recognition | |
| JP2022189901A (en) | Learning method, learning device, program, and recording medium | |
| JP7148078B2 (en) | Attribute estimation device, attribute estimation method, attribute estimator learning device, and program | |
| Zhang | Sketch-To-Color Image with GANs | |
| Bernard et al. | Novelty detection with self-organizing maps for autonomous extraction of salient tracking features | |
| Park | Generating novel glyph without human data by learning to communicate | |
| Chiappa et al. | Unsupervised separation of dynamics from pixels | |
| Durall et al. | Semi few-shot attribute translation | |
| Fisher et al. | Recursive neural programs: Variational learning of image grammars and part-whole hierarchies | |
| Blum et al. | X-GAN: Improving generative adversarial networks with ConveX combinations | |
| US20220237412A1 (en) | Method for modelling synthetic data in generative adversarial networks | |
| Burciu et al. | Sensing forest for pattern recognition | |
| Kim et al. | Conditioned generative model via latent semantic controlling for learning deep representation of data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E90F | Notification of reason for final refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |