KR102476334B1 - Diary generator using deep learning - Google Patents
Diary generator using deep learning Download PDFInfo
- Publication number
- KR102476334B1 KR102476334B1 KR1020200048873A KR20200048873A KR102476334B1 KR 102476334 B1 KR102476334 B1 KR 102476334B1 KR 1020200048873 A KR1020200048873 A KR 1020200048873A KR 20200048873 A KR20200048873 A KR 20200048873A KR 102476334 B1 KR102476334 B1 KR 102476334B1
- Authority
- KR
- South Korea
- Prior art keywords
- diary
- learning
- data
- model
- generator
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 238000003058 natural language processing Methods 0.000 claims description 5
- 230000006403 short-term memory Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
딥러닝 기반 일기 생성 방법 및 장치가 개시된다. 일 실시예에 따른 일기 생성 장치에 의해 수행되는 일기 생성 방법은, 전자 기기의 사진 정보를 획득하는 단계; 상기 획득된 사진 정보에 포함된 이미지와 위치 정보를 일기 생성을 위하여 구성된 딥러닝 기반의 학습 모델에 입력하여 학습시키는 단계; 및 상기 학습을 수행함에 따라 학습 결과로서 획득된 유사도에 기초하여 일기를 생성하는 단계를 포함할 수 있다. A method and apparatus for generating a diary based on deep learning are disclosed. A diary creation method performed by a diary creation device according to an exemplary embodiment includes acquiring photo information of an electronic device; learning by inputting images and location information included in the obtained photo information to a deep learning-based learning model configured to create a diary; and generating a diary based on a degree of similarity obtained as a result of learning as the learning is performed.
Description
아래의 설명은 딥러닝 기반 일기 생성 기술에 관한 것이다. The description below is about deep learning-based diary generation technology.
최근에는 스마트 폰의 보급으로 인하여 많은 사람들이 여러 사진을 찍으면, 사진 정보에 사진의 위치 정보가 기록된다. 그 사진을 나중에 봤을 때 일기와 같은 기록을 통해 자신이 어떤 날 어떤 일을 했는지 알 수 있다면 좋겠지만 많은 사람들이 기록을 하지 않는다. 이에, 사용자의 사진과 사진의 위치정보를 이용하여 일기를 생성하는 기술이 제안될 필요가 있다. Recently, when many people take several pictures due to the spread of smart phones, the location information of the pictures is recorded in the picture information. It would be nice if you could see what kind of work you did on a certain day through a diary-like record when you look at the photo later, but many people don't record it. Accordingly, a technique for creating a diary using a user's picture and location information of the picture needs to be proposed.
일례로, 한국공개특허 제 10-2010-0004269호(일기 작성 방법 및 장치)에 따르면, 각 지역별로 위치에 따른 지역 정보를 구성하고, 일기를 작성하는 사용자의 위치를 파악하여 사용자의 위치에 대응되는 지역 정보를 제공하는 구성이 개시된 바 있다. For example, according to Korean Patent Publication No. 10-2010-0004269 (Method and Apparatus for Creating a Diary), regional information is configured according to location for each region, and the location of a user writing a diary is identified to respond to the user's location. A configuration for providing local area information has been disclosed.
전자 기기(예를 들면, 스마트 폰)로부터 사용자의 사진 정보에 포함된 이미지와 위치 정보를 이용하여 GAN(Generative Adversarial Networks)과 단어 임베딩 기법 중 하나인 word2vec을 결합한 학습 모델을 통해 일기를 생성하는 방법 및 장치를 제공할 수 있다. A method of generating a diary through a learning model combining generative adversarial networks (GAN) and word2vec, one of word embedding techniques, using image and location information included in user's photo information from an electronic device (eg, smart phone) and devices.
일기 생성 장치에 의해 수행되는 일기 생성 방법은, 전자 기기의 사진 정보를 획득하는 단계; 상기 획득된 사진 정보에 포함된 이미지와 위치 정보를 일기 생성을 위하여 구성된 딥러닝 기반의 학습 모델에 입력하여 학습시키는 단계; 및 상기 학습을 수행함에 따라 학습 결과로서 획득된 유사도에 기초하여 일기를 생성하는 단계를 포함할 수 있다. A diary creation method performed by a diary creation device includes obtaining photo information of an electronic device; learning by inputting images and location information included in the obtained photo information to a deep learning-based learning model configured to create a diary; and generating a diary based on a degree of similarity obtained as a result of learning as the learning is performed.
상기 딥러닝 기반의 학습 모델은, GAN(Generative Adversarial Networks)을 포함하고, 상기 학습시키는 단계는, 상기 일기 생성을 위하여 구성된 GAN(Generative Adversarial Networks)를 통해 가짜 데이터(Fake Data)를 생성하는 생성자(Generator)와 가짜 데이터가 얼마나 실제 데이터(Real Data)에 가까운지 판별하는 판별자(Discriminator)를 경쟁하게 만드는 방식으로 학습을 수행하는 단계를 포함할 수 있다. The deep learning-based learning model includes Generative Adversarial Networks (GAN), and the learning step is a generator that generates fake data through Generative Adversarial Networks (GAN) configured for generating the diary ( Generator) and a discriminator that determines how close fake data is to real data may include a step of performing learning in a way to compete.
상기 학습시키는 단계는, 상기 획득된 사진 정보에 포함된 이미지와 위치 정보를 상기 GAN(Generative Adversarial Networks)에 입력하여 학습시킴에 따라 상기 생성자가 일기를 생성하고, 상기 판별자가 상기 생성자로부터 생성된 일기와 실제 일기를 비교하여 상기 생성된 일기가 실제 일기에 얼마나 가까운지를 판단하는 단계를 포함할 수 있다. In the learning step, the creator creates a diary by inputting the image and location information included in the acquired photo information into the Generative Adversarial Networks (GAN) for learning, and the discriminator creates a diary generated by the creator. and determining how close the created diary is to the actual diary by comparing the generated diary with the actual diary.
상기 생성자는, CNN(Convolutional Neural Network) 모델 및 LSTM(Long Short Term Memory) 모델로 구성되고, 상기 학습시키는 단계는, 상기 이미지를 상기 생성자에 구성된 CNN 모델에 입력하여 이미지 정보를 분류하고, 상기 분류된 이미지 정보와 상기 위치 정보를 시퀀스 데이터로 사용하여 LSTM 모델에 입력함에 따라 일기를 생성하는 단계를 포함할 수 있다. The generator is composed of a CNN (Convolutional Neural Network) model and a LSTM (Long Short Term Memory) model, and the learning step inputs the image to the CNN model configured in the generator to classify image information, and the classification and generating a diary by inputting the obtained image information and the location information as sequence data to the LSTM model.
상기 판별자는, DNN 모델과 자연어 처리를 위한 word2vec로 구성되고, 상기 word2vec는 일기와 관련된 데이터를 토큰화한 뒤, 텍스트 투 시퀀스(text to sequence) 기법으로 시퀀스 데이터를 생성하고, 생성된 시퀀스 데이터를 학습시켜 일기에 사용되는 각 단어들을 벡터화하여 저장하고, 상기 학습시키는 단계는, 상기 생성자로부터 생성된 일기를 상기 판별자에 입력하여 학습시킴에 따라 가짜 데이터와 실제 데이터의 분포 차이를 학습하여 가짜 데이터와 실제 데이터를 구별하고, 상기 word2vec를 통해 벡터화된 각 단어들의 유사도를 측정하는 단계를 포함할 수 있다. The discriminator is composed of a DNN model and word2vec for natural language processing. The word2vec tokenizes diary-related data, generates sequence data using a text to sequence technique, and converts the generated sequence data to In the step of learning and vectorizing and storing each word used in the diary, the learning step is to learn the distribution difference between fake data and real data by inputting the diary generated from the generator into the discriminator and learning the fake data. and actual data, and measuring the similarity of each vectorized word through the word2vec.
상기 일기를 생성하는 단계는, 상기 학습 모델에 구성된 생성자와 판별자가 학습을 반복함에 따라 상기 판별자에서 가짜 데이터와 실제 데이터가 기 설정된 기준 이상의 유사도를 갖는 것으로 판단될 경우, 학습 모델의 학습을 종료하고, 상기 학습이 종료될 때의 생성자 모델을 사용하여 일기를 생성하는 단계를 포함할 수 있다. In the step of generating the diary, as the generator and the discriminator configured in the learning model repeat learning, when the discriminator determines that the fake data and the real data have a similarity higher than a preset standard, learning of the learning model is terminated. and generating a diary using a generator model when the learning ends.
일기 생성 장치는, 전자 기기의 사진 정보를 획득하는 정보 획득부; 상기 획득된 사진 정보에 포함된 이미지와 위치 정보를 일기 생성을 위하여 구성된 딥러닝 기반의 학습 모델에 입력하여 학습시키는 학습부; 및 상기 학습을 수행함에 따라 학습 결과로서 획득된 유사도에 기초하여 일기를 생성하는 일기 생성부를 포함할 수 있다. The diary creation device includes an information obtaining unit acquiring photo information of an electronic device; a learning unit that inputs the image and location information included in the obtained photo information to a deep learning-based learning model configured to create a diary for learning; and a diary creation unit generating a diary based on a similarity obtained as a result of learning as the learning is performed.
사용자의 사진과 위치 정보를 이용하여 전자 기기에 일기를 자동으로 기록할 수 있다. A diary can be automatically recorded on an electronic device using a user's photo and location information.
도 1은 일 실시예에 따른 일기 생성 장치의 구성을 설명하기 위한 블록도이다.
도 2는 일 실시예에 따른 일기 생성 장치에서 딥러닝 기반의 일기 생성 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 일기 생성 장치에서 딥러닝 기법으로 사용되는 GAN을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 일기 생성 장치에서 GAN의 생성자를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 일기 생성 장치에서 GAN의 판별자를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 일기 생성 장치의 딥러닝 기반의 일기 생성 모델을 설명하기 위한 도면이다. 1 is a block diagram illustrating a configuration of a diary generating device according to an exemplary embodiment.
2 is a flowchart illustrating a method of generating a diary based on deep learning in a diary generating device according to an exemplary embodiment.
3 is a diagram for explaining a GAN used as a deep learning technique in a diary generating device according to an embodiment.
4 is a diagram for explaining a generator of a GAN in a diary generating apparatus according to an exemplary embodiment.
5 is a diagram for explaining a GAN discriminator in a diary generating device according to an exemplary embodiment.
6 is a diagram for explaining a deep learning-based diary generation model of a diary generation device according to an exemplary embodiment.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, an embodiment will be described in detail with reference to the accompanying drawings.
도 1은 일 실시예에 따른 일기 생성 장치의 구성을 설명하기 위한 블록도이고, 도 2는 일 실시예에 따른 일기 생성 장치에서 딥러닝 기반의 일기를 생성하는 방법을 설명하기 위한 흐름도이다.1 is a block diagram illustrating a configuration of a diary generating device according to an exemplary embodiment, and FIG. 2 is a flowchart illustrating a method of generating a diary based on deep learning in the diary generating device according to an exemplary embodiment.
일기 생성 장치(100)에 포함된 프로세서는 정보 획득부(110), 학습부(120) 및 일기 생성부(130)를 포함할 수 있다. 이러한 프로세서 및 프로세서의 구성요소들은 도 2의 딥러닝 기반의 일기 생성 방법이 포함하는 단계들(210 내지 230)을 수행하도록 일기 생성 장치를 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서의 구성요소들은 일기 생성 장치(100)에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. The processor included in the
프로세서는 딥러닝 기반의 일기 생성 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 일기 생성 장치(100)에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 일기 생성 장치를 제어할 수 있다. The processor may load a program code stored in a file of a program for a deep learning-based diary generation method into a memory. For example, when a program is executed in the
단계(210)에서 정보 획득부(110)는 전자 기기의 사진 정보를 획득할 수 있다. In
단계(220)에서 학습부(120)는 획득된 사진 정보에 포함된 이미지와 위치 정보를 일기 생성을 위하여 구성된 딥러닝 기반의 학습 모델에 입력하여 학습시킬 수 있다. 이때, 딥러닝 기반의 학습 모델은, GAN(Generative Adversarial Networks)을 포함할 수 있다. 학습부(120)는 일기 생성을 위하여 구성된 GAN(Generative Adversarial Networks)를 통해 가짜 데이터(Fake Data)를 생성하는 생성자(Generator)와 가짜 데이터가 얼마나 실제 데이터(Real Data)에 가까운지 판별하는 판별자(Discriminator)를 경쟁하게 만드는 방식으로 학습을 수행할 수 있다. 학습부(120)는 획득된 사진 정보에 포함된 이미지와 위치 정보를 GAN(Generative Adversarial Networks)에 입력하여 학습시킴에 따라 생성자가 일기를 생성하고, 판별자가 생성자로부터 생성된 일기와 실제 일기를 비교하여 생성된 일기가 실제 일기에 얼마나 가까운지를 판단할 수 있다. 예를 들면, 학습부(120)는 실제 일기에 사용되는 문장 구성 방식(형태)에 기초하여 생성자로부터 생성된 일기 형식을 비교할 수 있다. 이때, 생성자는, CNN(Convolutional Neural Network) 모델 및 LSTM(Long Short Term Memory) 모델로 구성될 수 있다. 학습부(120)는 이미지를 생성자에 구성된 CNN 모델에 입력하여 이미지 정보를 분류하고, 분류된 이미지 정보와 위치 정보를 시퀀스 데이터로 사용하여 LSTM 모델에 입력함에 따라 일기를 생성할 수 있다. 이때, 판별자는, DNN 모델과 자연어 처리를 위한 word2vec로 구성될 수 있고, word2vec는 일기와 관련된 데이터를 토큰화한 뒤, 텍스트 투 시퀀스(text to sequence) 기법으로 시퀀스 데이터를 생성하고, 생성된 시퀀스 데이터를 학습시켜 일기에 사용되는 각 단어들을 벡터화하여 저장할 수 있다. 학습부(120)는 생성자로부터 생성된 일기를 판별자에 입력하여 학습시킴에 따라 가짜 데이터와 실제 데이터의 분포 차이를 학습하여 가짜 데이터와 실제 데이터를 구별하고, word2vec를 통해 벡터화된 각 단어들의 유사도를 측정할 수 있다. In
단계(230)에서 일기 생성부(130)는 학습을 수행함에 따라 학습 결과로서 획득된 유사도에 기초하여 일기를 생성할 수 있다. 일기 생성부(130)는 학습 모델에 구성된 생성자와 판별자가 학습을 반복함에 따라 판별자에서 가짜 데이터와 실제 데이터가 기 설정된 기준 이상의 유사도를 갖는 것으로 판단될 경우, 학습 모델의 학습을 종료하고, 학습이 종료될 때의 생성자 모델을 사용하여 일기를 생성할 수 있다. In
도 3은 일 실시예에 따른 일기 생성 장치에서 딥러닝 기법으로 사용되는 GAN을 설명하기 위한 도면이다.3 is a diagram for explaining a GAN used as a deep learning technique in a diary generating device according to an embodiment.
일기 생성 장치는 딥러닝 기법으로 사용되는 GAN(Generative Adversarial Networks)를 이용하여 일기를 생성할 수 있다. GAN은 딥러닝의 기법 중 하나로 흔히 알고 있는 지도 학습(Supervised Leaning)이 아닌 비지도 학습(Unsupervised Leaning)으로 정답을 필요로 하지 않는다. 이로 인해 인공지능과 달리 '수동적 학습'에서 벗어나 '능동적 학습'을 할 수 있는 AI 탄생을 위한 초석을 만든 것으로 평가받고 있으며 이미지 생성, 텍스트 생성, 음성 합성 등 다양한 분야에서 활용되고 있다.The diary generating device may generate a diary using generative adversarial networks (GANs) used as a deep learning technique. GAN is one of the techniques of deep learning, and it does not require correct answers as it is unsupervised learning, not supervised learning, which is commonly known. Due to this, unlike artificial intelligence, it is evaluated as having made the cornerstone for the birth of AI that can do 'active learning' away from 'passive learning', and is used in various fields such as image generation, text generation, and voice synthesis.
도 3을 참고하면, GAN은 가짜 데이터(Fake Data)를 생성하는 생성자(Generator)(310)와 가짜 데이터(Fake Data)가 얼마나 실제 데이터(Real Data)에 가까운지 판별하는 판별자(Discriminator)(320)를 경쟁하게 만드는 방식으로 학습을 수행한다. 생성자(310)는 화폐 위조꾼처럼 가짜 데이터를 생성하고, 판별자(320)는 경찰처럼 가짜 데이터가 진짜와 가까운지 아닌지를 판단하는 역할을 수행할 수 있다. 이러한 과정이 계속 반복되면서 생성자(310)는 점점 실제 데이터와 비슷한 가짜 데이터를 생성해 내고, 판별자(320)는 점점 실제 데이터와 가짜 데이터의 판별을 더 잘할 수 있게 된다. Referring to FIG. 3, GAN has a
실시예에서의 생성자(310)는 전자 기기로부터 사진 정보에 포함된 이미지와 사진의 위치 정보를 전달받아 일기를 생성하고, 판별자(320)는 생성자(310)가 생성한 일기와 실제 일기를 비교하여 실제 일기에 얼마나 가까운지 여부를 판단할 수 있다.In the embodiment, the
도 4는 일 실시예에 따른 일기 생성 장치에서 GAN의 생성자를 설명하기 위한 도면이다. 4 is a diagram for explaining a generator of a GAN in a diary generating apparatus according to an exemplary embodiment.
실시예에서 GAN의 생성자는 CNN(Convolutional Neural Network) 모델과 LSTM(Long Short Term Memory) 모델을 사용할 수 있다. 이때, 생성자는 적어도 하나 이상의 CNN 모델 및 적어도 하나 이상의 LSTM 모델로 구성될 수 있다. In an embodiment, a GAN generator may use a Convolutional Neural Network (CNN) model and a Long Short Term Memory (LSTM) model. In this case, the generator may be composed of at least one CNN model and at least one LSTM model.
일기 생성 장치는 전자 기기로부터 사진 정보를 획득할 수 있다. 전자 기기(110)는 컴퓨터 시스템으로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 전자 기기(110)의 예를 들면, 스마트 폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC, 게임 콘솔(game console), 웨어러블 디바이스(wearable device), IoT(internet of things) 디바이스, VR(virtual reality) 디바이스, AR(augmented reality) 디바이스 등이 있다. 실시예에서는 전자 기기로 스마트 폰을 예를 들어 설명하기로 한다. The diary creation device may acquire photo information from an electronic device. The
예를 들면, 전자 기기를 통하여 사진이 촬영될 수 있고, 사용자로부터 인터넷 검색을 통하여 사진 정보가 저장될 수 있고, 또는, 다른 사용자와의 대화(예를 들면, 메신저를 통한 메시지 송수신)를 통해 사진 정보가 획득될 수 있다. 이때, 전자 기기로부터 획득된 사진 정보에 사진이 촬영된 시점, 수정된 시점, 위치 정보, 해상도, 저장된 공간 정보(저장소) 등과 같이 메타 데이터가 포함될 수 있다. For example, a photo may be taken through an electronic device, photo information may be stored through an Internet search from a user, or a photo may be stored through a conversation with another user (eg, sending/receiving a message through a messenger). information can be obtained. In this case, the photo information obtained from the electronic device may include meta data such as when the photo was taken, when the photo was modified, location information, resolution, stored space information (storage), and the like.
일기 생성 장치는 전자 기기로부터 획득된 사진 정보를 이용하여 CNN 모델에 입력으로 사용할 수 있다. 일기 생성 장치는 사진 정보를 CNN 모델에 입력하여 학습시킴에 따라 사진을 분류할 수 있다. 예를 들면, 일기 생성 장치는 사진 정보를 통하여 풍경(배경), 음식, 인물, 등으로 이미지를 1차적으로 분류할 수 있다. 이때, 이미지를 분류하기 위한 카테고리를 설정할 수 있고, 설정된 카테고리에 기초하여 이미지를 분류할 수 있다. 이후, 1차적으로 분류된 이미지로부터 이미지의 상세 정보(예를 들면, 이순신 동상, 고기 식당 등)가 판단될 수 있다. 또는, 일기 생성 장치는 사진 정보의 분석을 통하여 자동으로 이미지를 분류할 수도 있다. 또는, 일기 생성 장치는 사진 정보의 분석을 통하여 이미지의 특징을 추출할 수 있고, 추출된 이미지의 특징에 기초하여 이미지를 분류할 수도 있다. The diary generating device may use photo information obtained from an electronic device as an input to a CNN model. The diary generating device may classify photos by inputting photo information to a CNN model for training. For example, the diary creation device may primarily classify images into scenery (background), food, people, and the like through photo information. In this case, a category for classifying the image may be set, and the image may be classified based on the set category. Thereafter, detailed information of the image (eg, Yi Sun-sin statue, meat restaurant, etc.) may be determined from the primarily classified image. Alternatively, the diary creation device may automatically classify images through analysis of photo information. Alternatively, the diary creation device may extract features of images through analysis of photo information, and may classify images based on the features of the extracted images.
일기 생성 장치는 분류된 이미지와 전자 기기에 저장된 이미지의 위치 정보를 시퀀스 데이터(sequence data)로 하여 LSTM 모델에 입력할 수 있다. 이때, 이미지의 위치 정보는 장소 정보일 수 있다. 예를 들면, 이미지의 위치 정보가 좌표 정보로 되어 있을 경우, 좌표 정보에 기초하여 기 저장된 정보와 매칭시킴으로써 장소 정보가 추정될 수 있다. 이에, 이미지의 위치 정보로부터 장소명(예를 들면, 광화문), 식당 등과 같은 장소 정보가 추정될 수 있다. 일기 생성 장치는 시퀀스 데이터를 LSTM 모델의 입력 데이터 사용함에 따라 학습의 결과로서, 일기를 출력할 수 있다. 이때, 생성자로부터 일기는 가짜 데이터 및 실제 데이터가 포함될 수 있다. The diary generating device may input the classified image and location information of the image stored in the electronic device into the LSTM model as sequence data. In this case, the location information of the image may be place information. For example, when location information of an image is coordinate information, location information may be estimated by matching the coordinate information with pre-stored information. Accordingly, place information such as a place name (eg, Gwanghwamun), a restaurant, and the like may be estimated from the location information of the image. The diary generating device may output a diary as a result of learning by using the sequence data as input data of the LSTM model. At this time, fake data and real data may be included in the diary from the creator.
도 5는 일 실시예에 따른 일기 생성 장치에서 GAN의 판별자를 설명하기 위한 도면이다. 5 is a diagram for explaining a GAN discriminator in a diary generating device according to an exemplary embodiment.
실시예에서 GAN의 판별자는 GAN의 부족한 자연어 처리를 보강하기 위하여 word2vec을 사용하여 가짜 데이터와 실제 데이터의 판단에 도움을 줄 수 있다. word2vec은 판별자에 적용하기 전에, 일기들을 학습시켜 일기에 포함된 각 단어들을 벡터로 생성하여 저장할 수 있다. 그 후, 생성자로부터 생성된 가짜 데이터 및 실제 데이터가 판별자의 입력 데이터로 입력될 수 있다. 판별자는 생성자로부터 생성된 가짜 데이터와 실제 데이터의 각 단어의 벡터간 유사도를 계산하여 실제 데이터와 가짜 데이터를 구별할 수 있다. 이때, 가짜 데이터와 실제 데이터는 문장 형태로 구성되어 있을 수 있으며, 문장에 구성된 각각의 단어의 유사도가 판단될 수 있다. 판별자는 word2vec와 DNN(Deep Neural Network) 모델로 구성될 수 있다. DNN은 가짜 데이터와 실제 데이터의 분포(Distribution)를 통해 유사도를 판단하여 가짜 데이터와 실제 데이터를 구별할 수 있도록 학습할 수 있다. word2vec과 DNN을 통해 출력된 가짜 데이터와 실제 데이터의 유사도를 종합하여 최종적인 결과값이 출력될 수 있다. In the embodiment, the GAN discriminator can help determine fake data and real data by using word2vec to reinforce GAN's insufficient natural language processing. Before applying word2vec to the discriminator, diaries can be trained to generate and store each word included in the diary as a vector. After that, fake data and real data generated by the generator may be input as input data of the discriminator. The discriminator can distinguish real data from fake data by calculating the similarity between the fake data generated from the generator and the vectors of each word in the real data. In this case, the fake data and the real data may be configured in the form of a sentence, and the similarity of each word configured in the sentence may be determined. The discriminator can be composed of word2vec and deep neural network (DNN) models. DNN can learn to distinguish fake data from real data by judging similarity through distribution of fake data and real data. The final result value can be output by combining the similarities between fake data and real data output through word2vec and DNN.
도 6은 일 실시예에 따른 일기 생성 장치의 딥러닝 기반의 일기 생성 모델을 설명하기 위한 도면이다. 6 is a diagram for explaining a deep learning-based diary generation model of a diary generation device according to an exemplary embodiment.
생성자 모델의 훈련에는 도 4에서 설명한 바와 같이, 사용자의 사진 정보에 포함된 이미지와 이미지의 위치 정보가 입력 데이터로 입력될 수 있다. 예를 들면, 사용자의 사진 정보에 포함된 이미지와 이미지의 위치 정보를 훈련 데이터로 사용하여 생성자 모델을 훈련시킬 수 있다. 이미지 생성 장치는 이미지의 경우, 모든 이미지의 해상도를 기 설정된 기준에 맞추어 학습 모델(생성자)의 입력으로 일정하게 들어가도록 전처리를 수행할 수 있고, 위치 정보의 경우, 텍스트 투 시퀀스(text to sequence) 기법으로 시퀀스 데이터를 생성하여 사용할 수 있다. 학습이 진행될수록 학습 모델(생성자)은 일기의 확률 분포(Probability Distribution)를 찾게 되고, 확률 분포와 유사한 분포를 가지는 일기를 생성할 수 있다. As described with reference to FIG. 4 , in the training of the generator model, an image included in the user's photo information and location information of the image may be input as input data. For example, a generator model may be trained using an image included in user photo information and location information of the image as training data. In the case of images, the image generating device may perform preprocessing so that resolutions of all images are uniformly entered as inputs of a learning model (generator) according to a preset standard, and in the case of location information, text to sequence Sequence data can be created and used with this technique. As learning progresses, the learning model (generator) finds a probability distribution of diaries, and can generate a diary having a distribution similar to the probability distribution.
판별자 모델에 사용하는 word2vec은 실제 일기 데이터를 토큰화(tokenize)한 뒤 텍스트 투 시퀀스(text to sequence) 기법으로 시퀀스 데이터로 생성하여 학습시킬 수 있다. 학습이 완료된 word2vec에는 일기에 사용되는 단어들이 벡터화 되어 저장될 수 있다. word2vec, which is used in the discriminator model, tokenizes actual diary data and then generates sequence data using a text to sequence technique for training. Words used in the diary can be vectorized and stored in word2vec where training is completed.
판별자 모델의 훈련에는 도 5에서 설명한 바와 같이, 생성자로부터 생성된 가짜 데이터와 실제 데이터가 입력으로 사용될 수 있다. 예를 들면, 생성자로부터 생성된 가짜 데이터와 실제 데이터를 훈련 데이터로 사용하여 판별자 모델을 훈련시킬 수 있다. DNN은 가짜 데이터와 실제 데이터의 분포 차이를 학습하여 가짜 데이터와 실제 데이터를 구별하도록 하고, word2vec은 미리 저장 되어있는 각 단어의 벡터간 유사도를 측정한다. word2vec과 DNN을 통해 출력된 가짜 데이터와 실제 데이터의 유사도를 종합하여 두 데이터의 일치 여부를 구별할 수 있다.For training of the discriminator model, as described in FIG. 5 , fake data and real data generated from the generator may be used as inputs. For example, the discriminator model can be trained using fake data and real data generated from the generator as training data. DNN learns the distribution difference between fake data and real data to distinguish fake data from real data, and word2vec measures the similarity between vectors of each word stored in advance. By combining the similarities between fake data and real data output through word2vec and DNN, it is possible to distinguish whether the two data match.
생성자 모델과 판별자 모델이 학습을 반복할 수 있다. 이와 같이, 학습을 반복함에 따라 생성자 모델은 점점 실제 데이터와 가까운 가짜 데이터를 생성하고, 판별자 모델은 가짜 데이터와 실제 데이터를 더욱 확실하게 구별할 수 있다. 예를 들면, 판별자 모델에서 가짜 데이터와 실제 데이터의 유사도가 기 설정된 기준 이상일 경우, 이상적이라고 판단될 수 있다. 판별자 모델에서 가짜 데이터와 실제 데이터가 기 설정된 기준 이상일 경우, 판별자 모델이 모든 가짜 데이터가 실제 데이터라고 판단할 수 있고, 이때, 학습은 종료될 수 있다. 학습이 종료될 때의 생성자 모델을 사용하여 실제와 매우 유사한 일기를 생성할 수 있다. 일례로, 복수 개의 문장 형태로 구성된 일기가 생성될 수 있다. 이때, 일기는 텍스트 데이터 또는/및 이미지 데이터로 구성된 일기가 생성될 수 있고, 생성된 일기가 전자 기기의 화면을 통하여 출력될 수 있다. 이와 같이 생성된 일기는 날짜별로 일기장에 저장될 수 있다. 또한, 기간별, 이벤트별 등 사용자로부터 설정된 조건 정보에 기초하여 일기장이 분류되어 저장될 수 있다.The generator model and the discriminator model can repeat learning. In this way, as learning is repeated, the generator model gradually generates fake data that is closer to real data, and the discriminator model can distinguish fake data from real data more reliably. For example, when the similarity between fake data and real data in the discriminator model is greater than or equal to a predetermined criterion, it may be determined to be ideal. When the fake data and the real data in the discriminator model are equal to or greater than a predetermined criterion, the discriminator model may determine that all fake data are real data, and at this time, learning may be terminated. A generator model at the end of learning can be used to create a diary very similar to the real one. For example, a diary composed of a plurality of sentences may be created. In this case, a diary composed of text data and/or image data may be created, and the created diary may be output through the screen of the electronic device. The diary created in this way may be stored in the diary by date. In addition, diaries may be classified and stored based on condition information set by the user, such as by period or by event.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The devices described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA) , a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. A processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will understand that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. The device can be commanded. Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. can be embodied in Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.
Claims (7)
사용자와 다른 사용자와의 메시지 송수신을 통해 사진 정보를 획득하는 단계;
상기 획득된 사진 정보에 포함된 이미지와 위치 정보를 일기 생성을 위하여 GAN(Generative Adversarial Networks)과 word2vec이 결합되어 구성된 딥러닝 기반의 학습 모델에 입력하여 학습시키는 단계; 및
상기 학습을 수행함에 따라 학습 결과로서 획득된 유사도에 기초하여 텍스트 데이터와 이미지 데이터로 구성된 일기를 생성하는 단계를 포함하고,
상기 GAN(Generative Adversarial Networks)은, 생성자와 판별자를 포함하고,
상기 생성자는, CNN(Convolutional Neural Network) 모델 및 LSTM(Long Short Term Memory) 모델로 구성되고,
상기 판별자는, DNN 모델과 자연어 처리를 위한 word2vec로 구성되고,
상기 학습시키는 단계는,
상기 이미지를 상기 생성자에 구성된 CNN 모델에 입력하여 이미지 정보를 분류하고, 상기 분류된 이미지 정보와 상기 위치 정보를 시퀀스 데이터로 사용하여 LSTM 모델에 입력함에 따라 일기를 생성하고, 상기 생성자로부터 생성된 일기를 상기 판별자에 입력하여 벡터화된 각 단어들의 유사도를 획득하는 단계
를 포함하는 일기 생성 방법. A diary generating method performed by a diary generating device,
obtaining photo information through message transmission/reception between the user and another user;
inputting images and location information included in the acquired photo information to a deep learning-based learning model configured by combining Generative Adversarial Networks (GAN) and word2vec to learn them; and
Generating a diary composed of text data and image data based on the degree of similarity obtained as a result of learning as the learning is performed;
The Generative Adversarial Networks (GAN) includes a generator and a discriminator,
The generator is composed of a Convolutional Neural Network (CNN) model and a Long Short Term Memory (LSTM) model,
The discriminator is composed of a DNN model and word2vec for natural language processing,
The learning step is
The image information is classified by inputting the image to the CNN model configured in the generator, and a diary is generated by inputting the classified image information and the location information as sequence data to an LSTM model, and a diary generated from the generator Obtaining the similarity of each vectorized word by inputting to the discriminator.
Diary creation method comprising a.
상기 학습시키는 단계는,
상기 일기 생성을 위하여 구성된 GAN(Generative Adversarial Networks)를 통해 가짜 데이터(Fake Data)를 생성하는 생성자(Generator)와 가짜 데이터가 얼마나 실제 데이터(Real Data)에 가까운지 판별하는 판별자(Discriminator)를 경쟁하게 만드는 방식으로 학습을 수행하는 단계
를 포함하는 일기 생성 방법. According to claim 1,
The learning step is
A generator that generates fake data through Generative Adversarial Networks (GANs) configured to generate the diary competes with a discriminator that determines how close fake data is to real data. learning in a way that makes
Diary creation method comprising a.
상기 학습시키는 단계는,
상기 판별자가 상기 생성자로부터 생성된 일기와 실제 일기를 비교하여 상기 생성된 일기가 실제 일기에 얼마나 가까운지를 판단하는 단계
를 포함하는 일기 생성 방법. According to claim 2,
The learning step is
determining how close the created diary is to the real diary by comparing the diary created by the creator with the real diary by the discriminator;
Diary creation method comprising a.
상기 word2vec는 일기와 관련된 데이터를 토큰화한 뒤, 텍스트 투 시퀀스(text to sequence) 기법으로 시퀀스 데이터를 생성하고, 생성된 시퀀스 데이터를 학습시켜 일기에 사용되는 각 단어들을 벡터화하여 저장하고,
상기 학습시키는 단계는,
상기 생성자로부터 생성된 일기를 상기 판별자에 입력하여 학습시킴에 따라 가짜 데이터와 실제 데이터의 분포 차이를 학습하여 가짜 데이터와 실제 데이터를 구별하고, 상기 word2vec를 통해 벡터화된 각 단어들의 유사도를 측정하는 단계
를 포함하는 일기 생성 방법. According to claim 1,
The word2vec tokenizes data related to the diary, generates sequence data using a text to sequence technique, learns the generated sequence data, vectorizes and stores each word used in the diary,
The learning step is
By inputting the diary generated from the generator into the discriminator and learning, the distribution difference between fake data and real data is learned to distinguish fake data from real data, and the similarity of each word vectorized through word2vec is measured step
Diary creation method comprising a.
상기 일기를 생성하는 단계는,
상기 학습 모델에 구성된 생성자와 판별자가 학습을 반복함에 따라 상기 판별자에서 가짜 데이터와 실제 데이터가 기 설정된 기준 이상의 유사도를 갖는 것으로 판단될 경우, 학습 모델의 학습을 종료하고, 상기 학습이 종료될 때의 생성자 모델을 사용하여 일기를 생성하는 단계
를 포함하는 일기 생성 방법. According to claim 1,
The step of creating the diary is,
As the generator and the discriminator configured in the learning model repeat learning, when the discriminator determines that the fake data and the real data have a similarity higher than a predetermined criterion, the learning of the learning model ends, and when the learning ends Steps to create a diary using the constructor model of
Diary creation method comprising a.
사용자와 다른 사용자와의 메시지 송수신을 통해 사진 정보를 획득하는 정보 획득부;
상기 획득된 사진 정보에 포함된 이미지와 위치 정보를 일기 생성을 위하여 GAN(Generative Adversarial Networks)과 word2vec이 결합되어 구성된 딥러닝 기반의 학습 모델에 입력하여 학습시키는 학습부; 및
상기 학습을 수행함에 따라 학습 결과로서 획득된 유사도에 기초하여 텍스트 데이터와 이미지 데이터로 구성된 일기를 생성하는 일기 생성부
를 포함하고,
상기 GAN(Generative Adversarial Networks)은, 생성자와 판별자를 포함하고,
상기 생성자는, CNN(Convolutional Neural Network) 모델 및 LSTM(Long Short Term Memory) 모델로 구성되고,
상기 판별자는, DNN 모델과 자연어 처리를 위한 word2vec로 구성되고,
상기 학습부는,
상기 이미지를 상기 생성자에 구성된 CNN 모델에 입력하여 이미지 정보를 분류하고, 상기 분류된 이미지 정보와 상기 위치 정보를 시퀀스 데이터로 사용하여 LSTM 모델에 입력함에 따라 일기를 생성하고, 상기 생성자로부터 생성된 일기를 상기 판별자에 입력하여 벡터화된 각 단어들의 유사도를 획득하는 일기 생성 장치.
In the diary generating device,
an information acquisition unit that acquires photo information through message transmission and reception between the user and other users;
a learning unit that inputs the image and location information included in the obtained photo information to a deep learning-based learning model configured by combining generative adversarial networks (GAN) and word2vec for learning to create a diary; and
A diary creation unit for generating a diary composed of text data and image data based on the degree of similarity obtained as a learning result as the learning is performed.
including,
The Generative Adversarial Networks (GAN) includes a generator and a discriminator,
The generator is composed of a Convolutional Neural Network (CNN) model and a Long Short Term Memory (LSTM) model,
The discriminator is composed of a DNN model and word2vec for natural language processing,
The learning unit,
The image information is classified by inputting the image to the CNN model configured in the generator, and a diary is generated by inputting the classified image information and the location information as sequence data to an LSTM model, and a diary generated from the generator Diary generating device for acquiring the similarity of each vectorized word by inputting to the discriminator.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200048873A KR102476334B1 (en) | 2020-04-22 | 2020-04-22 | Diary generator using deep learning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200048873A KR102476334B1 (en) | 2020-04-22 | 2020-04-22 | Diary generator using deep learning |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210130529A KR20210130529A (en) | 2021-11-01 |
| KR102476334B1 true KR102476334B1 (en) | 2022-12-09 |
Family
ID=78519250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200048873A KR102476334B1 (en) | 2020-04-22 | 2020-04-22 | Diary generator using deep learning |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102476334B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102488429B1 (en) * | 2022-09-01 | 2023-01-13 | 한화시스템(주) | System and method for providing naval gun firing specifications based on deep learning |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101754093B1 (en) * | 2016-09-01 | 2017-07-05 | 성기봉 | Personal records management system that automatically classify records |
| WO2019238712A1 (en) * | 2018-06-13 | 2019-12-19 | Cosmo Artificial Intelligence - Al Limited | Systems and methods for training generative adversarial networks and use of trained generative adversarial networks |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101134759B1 (en) * | 2008-07-03 | 2012-04-13 | 팅크웨어(주) | Method and apparatus for writing diary |
| KR102428920B1 (en) * | 2017-01-03 | 2022-08-04 | 삼성전자주식회사 | Image display device and operating method for the same |
| CN107704503A (en) * | 2017-08-29 | 2018-02-16 | 平安科技（深圳）有限公司 | User's keyword extracting device, method and computer-readable recording medium |
-
2020
- 2020-04-22 KR KR1020200048873A patent/KR102476334B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101754093B1 (en) * | 2016-09-01 | 2017-07-05 | 성기봉 | Personal records management system that automatically classify records |
| WO2019238712A1 (en) * | 2018-06-13 | 2019-12-19 | Cosmo Artificial Intelligence - Al Limited | Systems and methods for training generative adversarial networks and use of trained generative adversarial networks |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210130529A (en) | 2021-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113283551B (en) | Training method and training device of multi-mode pre-training model and electronic equipment | |
| US11631234B2 (en) | Automatically detecting user-requested objects in images | |
| CN111695052A (en) | Label classification method, data processing device and readable storage medium | |
| JP2008009893A (en) | Parameter learning method and device thereof, pattern identifying method and device thereof, and program | |
| KR20200087977A (en) | Multimodal ducument summary system and method | |
| KR102117654B1 (en) | Method and Apparatus for Generating Video Based on Natural Language | |
| CN114904270B (en) | Virtual content generation method and device, electronic equipment and storage medium | |
| CN113254678B (en) | Training method of cross-media retrieval model, cross-media retrieval method and equipment thereof | |
| KR101996371B1 (en) | System and method for creating caption for image and computer program for the same | |
| CN114358203A (en) | Training method and device for image description sentence generation module and electronic equipment | |
| US10699458B2 (en) | Image editor for merging images with generative adversarial networks | |
| CN113836303A (en) | Text type identification method and device, computer equipment and medium | |
| US10755171B1 (en) | Hiding and detecting information using neural networks | |
| US20220358658A1 (en) | Semi Supervised Training from Coarse Labels of Image Segmentation | |
| CN113408282B (en) | Method, device, equipment and storage medium for topic model training and topic prediction | |
| CN113434722B (en) | Image classification method, device, equipment and computer readable storage medium | |
| US10943377B2 (en) | Creating images using image anchors and generative adversarial networks | |
| KR102476334B1 (en) | Diary generator using deep learning | |
| US10957017B1 (en) | Synthetic image detector | |
| CN112241470A (en) | Video classification method and system | |
| US20230130662A1 (en) | Method and apparatus for analyzing multimodal data | |
| CN115982666A (en) | Image-text association degree determining method and device, computer equipment and storage medium | |
| JP2022151502A (en) | Program, information processing device and method | |
| CN114328904A (en) | Content processing method, content processing device, computer equipment and storage medium | |
| CN115512375A (en) | Training method of text error correction model, text recognition method and related equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |