KR102354681B1 - A neural network model-based image augmentation method, server, and computer program - Google Patents
A neural network model-based image augmentation method, server, and computer program Download PDFInfo
- Publication number
- KR102354681B1 KR102354681B1 KR1020210152397A KR20210152397A KR102354681B1 KR 102354681 B1 KR102354681 B1 KR 102354681B1 KR 1020210152397 A KR1020210152397 A KR 1020210152397A KR 20210152397 A KR20210152397 A KR 20210152397A KR 102354681 B1 KR102354681 B1 KR 102354681B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- original image
- similar
- neural network
- original
- Prior art date
Links
- 230000003416 augmentation Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003062 neural network model Methods 0.000 title claims abstract description 50
- 238000004590 computer program Methods 0.000 title description 4
- 239000002131 composite material Substances 0.000 claims abstract description 32
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 230000001131 transforming effect Effects 0.000 claims abstract description 17
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 15
- 239000000284 extract Substances 0.000 claims description 10
- 238000007670 refining Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 28
- 238000013473 artificial intelligence Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000003190 augmentative effect Effects 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013434 data augmentation Methods 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G06T3/0056—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computer Hardware Design (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Graphics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 신경망 모델 기반의 이미지 증강 방법, 서버 및 컴퓨터 프로그램에 관한 것이다.The present invention relates to an image augmentation method based on a neural network model, a server, and a computer program.
딥러닝 알고리즘은 인간 뇌의 뉴런들이 모여 신호를 전달하는 프로세스를 모델링하여 만든 알고리즘으로 인간의 뇌에서 진행되는 의사결정 과정을 모방한 인공 신경망(Artificial Neural Network)구조를 통해 학습을 한다.The deep learning algorithm is an algorithm created by modeling the process in which neurons in the human brain gather and transmit signals. It learns through an artificial neural network structure that mimics the decision-making process in the human brain.
딥러닝은 수집된 수많은 데이터를 사용하여 주어진 입력에 대해 올바른 출력을 위해 데이터 자체의 중요한 특징을 기계 스스로 학습을 한다. 따라서, 딥러닝은 성능 향상을 위해서 풍부한 학습 데이터를 확보하는 것이 중요한 목적 중 하나다.Deep learning uses a large number of collected data to learn important characteristics of the data itself in order to produce the correct output for a given input. Therefore, one of the important purposes of deep learning is to secure rich learning data to improve performance.
종래에는 많은 학습데이터를 확보하기 위해 하나의 이미지를 이동(Shift), 이미지 확대/축소(Zooming), 이미지 좌우반전(Vertical flip), 이미지 상하반전(Horizontal flip), 이미지 회전(Rotate), 이미지 밝기 조절(brightness) 등의 방식으로 이미지 내 컨텐츠(Content)는 변형하지 않고, 단순히 이미지의 영역 및 범위를 조절하는 형태의 학습 데이터 증강 방식을 이용하였다.Conventionally, in order to secure a lot of learning data, one image is moved (Shift), an image is enlarged/reduced (Zooming), an image is reversed horizontally (Vertical flip), an image is vertically reversed (Horizontal flip), an image rotation (Rotate), an image brightness The learning data augmentation method in the form of simply adjusting the area and range of the image was used without changing the content in the image in a manner such as brightness.
종래의 학습 데이터 증강 방식은 학습 데이터의 다양성을 확보에 제약이 있다는 단점이 있으며, 특히 종래의 학습 데이터 증강 방식은 기존 이미지에서 새로운 각도에서 촬영된 이미지를 증강하는 것은 불가능하다는 단점이 있다.The conventional method of augmenting learning data has a disadvantage in that there is a limitation in securing the diversity of the learning data, and in particular, the method of augmenting learning data in the prior art has a disadvantage that it is impossible to augment an image taken from a new angle in an existing image.
또한, 증강의 과정에서 이미지 내 공백의 처리를 위해 단순 패딩(Padding) 방법을 이용할 경우, 주변 환경의 특징을 반영하지 못해 생성된 이미지의 품질이 낮아진다는 단점이 있다.In addition, when a simple padding method is used to process spaces in the image in the process of augmentation, there is a disadvantage in that the quality of the generated image is lowered because the characteristics of the surrounding environment are not reflected.
이러한 종래의 학습 데이터 증강 방식의 단점으로 인하여 종래의 학습 데이터 증강 방식으로 생성된 학습 데이터로 딥러닝을 학습하는 경우, 딥러닝의 성능 향상의 한계에 부딪히게 된다Due to the disadvantages of the conventional learning data augmentation method, when deep learning is learned with the learning data generated by the conventional learning data augmentation method, the performance improvement of deep learning is encountered.
따라서, 딥러닝의 성능 향상을 위해서 고품질의 다양한 각도에서 촬영된 이미지를 증강하는 방법이 요구되고 있다.Therefore, in order to improve the performance of deep learning, there is a demand for a method of augmenting images taken from various angles of high quality.
본 발명은 인공지능 모델의 학습을 위해서 다양한 상황의 많은 양의 데이터 확보가 요구됨에 따라 다양한 학습 데이터 확보를 위한 신경망 모델 기반의 이미지 증강 방법, 장치 및 컴퓨터 프로그램을 제공함에 있다.An object of the present invention is to provide an image augmentation method, apparatus, and computer program based on a neural network model for securing various learning data as it is required to secure a large amount of data in various situations for learning an artificial intelligence model.
구체적으로, 본 발명은 고품질의 다양한 촬영 각도를 가지는 이미지를 증강하기 위한 이미지 증강 방법, 장치 및 컴퓨터 프로그램을 제공함에 있다.Specifically, an object of the present invention is to provide an image augmentation method, apparatus, and computer program for enhancing high-quality images having various shooting angles.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 신경망 모델 기반의 이미지 증강 방법은 이미지 증강을 위한 원본 이미지를 획득하는 단계, 획득된 상기 원본 이미지를 기초로 유사 이미지를 획득하는 단계, 기 결정된 변형 함수를 기초로 상기 원본 이미지를 변형하는 단계 및 상기 유사 이미지를 기초로 기 학습된 신경망 모델을 이용하여 변형된 원본 이미지에 가상 이미지를 합성하여 합성 이미지를 생성하는 단계를 포함하고 상기 신경망 모델은 가상 이미지를 상기 변형된 원본 이미지의 외곽에 위치한 확장 영역에 합성되도록 기 학습될 수 있다.An image augmentation method based on a neural network model according to an embodiment of the present invention for achieving the above object includes: acquiring an original image for image augmentation; acquiring a similar image based on the acquired original image; Transforming the original image based on the determined transformation function and generating a composite image by synthesizing a virtual image with the transformed original image using a neural network model previously learned based on the similar image, wherein the neural network model may be pre-learned so that the virtual image is synthesized in an extended area located outside the transformed original image.
또한, 상기 신경망 모델은 상기 변형된 원본 이미지를 기초로 상기 변형된 원본 이미지의 확장 영역에 거친 가상 이미지를 합성하는 제1 네트워크와 상기 유사 이미지를 기초로 상기 거친 가상 이미지를 정제하여 상기 합성 이미지를 출력하는 제2 네트워크로 구성될 수 있다.In addition, the neural network model is a first network for synthesizing a rough virtual image in an extended region of the deformed original image based on the transformed original image and refining the coarse virtual image based on the similar image to generate the synthesized image. It may be configured as a second network that outputs.
또한, 상기 원본 이미지에서 이미지 특징 정보를 추출하는 단계, 추출된 이미지 특징 정보를 기초로 검색 파라미터를 결정하는 단계, 결정된 검색 파라미터를 기초로 유사 이미지를 검색하여 유사 이미지를 획득하는 단계를 더 포함할 수 있다.The method may further include extracting image characteristic information from the original image, determining a search parameter based on the extracted image characteristic information, and obtaining a similar image by searching for a similar image based on the determined search parameter. can
또한, 상기 원본 이미지를 변형하기 위한 변형 함수를 결정하는 단계를 더 포함하고, 상기 변형 함수는 상기 원본 이미지의 촬영 각도를 변경하기 위한 함수일 수 있다.The method may further include determining a transform function for transforming the original image, wherein the transform function may be a function for changing a photographing angle of the original image.
한편, 신경망 모델 기반의 이미지 증강 서버는 이미지 증강을 위한 원본 이미지를 획득하는 원본 이미지 획득부, 획득된 상기 원본 이미지를 기초로 유사 이미지를 획득하는 유사 이미지 획득부, 기 결정된 변형 함수를 기초로 상기 원본 이미지를 변형하는 이미지 변형부 및 상기 유사 이미지를 기초로 기 학습된 신경망 모델을 이용하여 변형된 원본 이미지에 가상 이미지를 합성하여 합성 이미지를 생성하는 이미지 합성부를 포함하고 상기 신경망 모델은 상기 유사 이미지를 기초로 가상 이미지를 상기 변형된 원본 이미지의 외곽에 위치한 확장 영역에 합성되도록 기 학습될 수 있다.On the other hand, the neural network model-based image augmentation server includes an original image acquisition unit that acquires an original image for image augmentation, a similarity image acquisition unit that acquires a similar image based on the acquired original image, and a predetermined transformation function based on the An image transforming unit that transforms an original image and an image synthesizing unit that generates a synthesized image by synthesizing a virtual image with a transformed original image using a neural network model previously learned based on the similar image, wherein the neural network model includes the similar image Based on , the virtual image may be pre-learned to be synthesized in an extended area located outside the transformed original image.
또한, 상기 신경망 모델은 상기 변형된 원본 이미지를 기초로 상기 변형된 원본 이미지의 확장 영역에 거친 가상 이미지를 합성하는 제1 네트워크와 상기 유사 이미지를 기초로 상기 거친 가상 이미지를 정제하여 상기 합성 이미지를 출력하는 제2 네트워크로 구성될 수 있다.In addition, the neural network model is a first network for synthesizing a rough virtual image in an extended region of the deformed original image based on the transformed original image and refining the coarse virtual image based on the similar image to generate the synthesized image. It may be configured as a second network that outputs.
또한, 상기 유사 이미지 획득부는 상기 원본 이미지에서 이미지 특징 정보를 추출하고, 추출된 이미지 특징 정보를 기초로 검색 파라미터를 결정하며, 결정된 검색 파라미터를 기초로 유사 이미지를 검색하여 유사 이미지를 획득할 수 있다.In addition, the similar image obtaining unit may obtain a similar image by extracting image characteristic information from the original image, determining a search parameter based on the extracted image characteristic information, and searching for a similar image based on the determined search parameter. .
또한, 상기 이미지 변형부는 상기 원본 이미지를 변형하기 위한 변형 함수를 결정하며, 상기 변형 함수는 상기 원본 이미지의 촬영 각도를 변경하기 위한 함수일 수 있다.Also, the image transforming unit may determine a transform function for transforming the original image, and the transform function may be a function for changing a photographing angle of the original image.
한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 기록 매체에 저장된 프로그램은 상술한 이미지 증강 방법을 실행하기 위한 프로그램 코드를 포함할 수 있다.Meanwhile, a program stored in a recording medium according to an embodiment of the present invention for achieving the above object may include a program code for executing the above-described image augmentation method.
본 발명에 따르면, 하나의 시점을 가지는 원본 이미지로부터 다양한 시점을 가지는 합성 이미지를 생성할 수 있다.According to the present invention, a composite image having various viewpoints can be generated from an original image having one viewpoint.
또한, 본 발명은 원본 이미지와 다른 촬영 각도를 가지는 합성 이미지를 생성하여 다양한 학습 데이터를 확보할 수 있다.In addition, the present invention can secure a variety of learning data by generating a composite image having a different shooting angle from the original image.
또한, 본 발명은 원본 이미지와 유사한 유사 이미지를 이용하여 합성 이미지를 생성함으로써 보다 고품질의 합성 이미지를 생성할 수 있다.In addition, according to the present invention, a composite image of higher quality can be generated by generating a composite image using a similar image similar to the original image.
도 1은 본 발명의 일 실시예에 따른 신경망 모델 기반의 이미지 증강 방법을 나타낸 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 신경망 모델 기반의 이미지 증강 방법을 보다 구체적으로 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 유사 이미지를 획득하는 과정을 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따른 신경망 모델의 학습 방법을 나타낸 예시도이다.
도 5는 본 발명의 일 실시예에 따른 신경망 모델을 이용한 합성 이미지를 생성 방법을 나타낸 예시도이다.
도 6은 본 발명의 일 실시예에 따른 AI 모델의 에러율을 나타낸 예시도이다.
도 7은 본 발명의 일 실시예에 따른 이미지 증강 서버의 구성을 나타낸 블록도이다.
도 8은 본 발명의 일 실시예에 따른 VR 영상을 나타낸 예시도이다.1 is a flowchart illustrating an image augmentation method based on a neural network model according to an embodiment of the present invention.
2 is a flowchart illustrating in more detail an image augmentation method based on a neural network model according to an embodiment of the present invention.
3 is an exemplary diagram illustrating a process of acquiring a similar image according to an embodiment of the present invention.
4 is an exemplary diagram illustrating a method of learning a neural network model according to an embodiment of the present invention.
5 is an exemplary diagram illustrating a method for generating a composite image using a neural network model according to an embodiment of the present invention.
6 is an exemplary diagram illustrating an error rate of an AI model according to an embodiment of the present invention.
7 is a block diagram illustrating the configuration of an image augmentation server according to an embodiment of the present invention.
8 is an exemplary view illustrating a VR image according to an embodiment of the present invention.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.The following is merely illustrative of the principles of the invention. Therefore, those skilled in the art will be able to devise various devices that, although not explicitly described or shown herein, embody the principles of the present invention and are included within the spirit and scope of the present invention. In addition, all conditional terms and examples listed herein are, in principle, expressly intended only for the purpose of understanding the concept of the present invention, and it should be understood that they are not limited to the specifically enumerated embodiments and states as such. do.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. The above objects, features and advantages will become more apparent through the following detailed description in relation to the accompanying drawings, and accordingly, those of ordinary skill in the art to which the present invention pertains can easily implement the technical idea of the present invention. There will be.
또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. In addition, in the description of the present invention, if it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.
이하에는 첨부된 도면을 참조하여 본 발명의 다양한 실시 예에 대하여 상세하게 설명한다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 신경망 모델 기반의 이미지 증강 방법을 나타낸 흐름도이다.1 is a flowchart illustrating an image augmentation method based on a neural network model according to an embodiment of the present invention.
도 1을 참조하면, 신경망 모델 기반의 이미지 증강 서버(100)는 이미지 증강을 위한 원본 이미지를 획득할 수 있다(S100).Referring to FIG. 1 , the neural network model-based
구체적으로, 이미지 증강 서버(100)는 관리자로부터 이미지 증강의 대상이 되는 원본 이미지를 입력 받아 원본 이미지를 획득할 수 있다. 여기서, 관리자는 이미지 증강을 위해 이미지 증강 서버(100)를 관리하는 자로써, 이미지 증강을 위해 해당 이미지 증강 서버(100)를 이용하는 사용자를 포함하는 개념일 수 있다.Specifically, the
또한, 이미지 증강 서버(100)는 관리자의 이미지 증강 명령을 기초로 데이터베이스로부터 원본 이미지를 획득할 수 있다. 이때, 이미지 증강 서버(100)는 이미지 증강 서버(100)의 리소스를 고려하여 원본 이미지를 소정 간격으로 획득할 수 있다. 여기서, 이미지 증강 명령에는 이미지 증강의 대상인 원본 이미지에 대한 정보가 포함될 수 있다.Also, the
또한, 이미지 증강 서버(100)는 획득된 원본 이미지를 기초로 유사 이미지를 획득할 수 있다(S200). 이와 관련하여 도 2를 추가로 참조하여 설명한다.Also, the
도 2는 본 발명의 일 실시예에 따른 신경망 모델 기반의 이미지 증강 방법을 보다 구체적으로 나타낸 흐름도이다.2 is a flowchart illustrating in more detail an image augmentation method based on a neural network model according to an embodiment of the present invention.
도 2를 참조하면, 이미지 증강 서버(100)는 원본 이미지에서 이미지 특징 정보를 추출할 수 있다(S210). 여기서, 이미지 특징 정보에는 원본 이미지의 색감, 질감, 카메라 세팅, 날짜와 시간, 셔터 스피드, 노출, 사이즈, 압축, 카메라 이름, 색 정보 및 촬영 구도 등과 같은 원본 이미지의 특징을 나타내는 정보들이 포함될 수 있다.Referring to FIG. 2 , the
구체적으로, 이미지 증강 서버(100)는 원본 이미지의 메타데이터(metadata)에서 이미지 특징 정보를 추출할 수 있다.Specifically, the
또한, 이미지 증강 서버(100)는 원본 이미지를 영상 분석(analysis of images)하여 이미지 특징 정보를 추출할 수 있다. 이때, 원본 이미지에서 이미지 특징 정보를 추출하도록 학습된 신경망 모델이 이용될 수도 있다.Also, the
즉, 이미지 증강 서버(100)는 메타데이터(metadata) 및 영상 분석(analysis of images) 중 적어도 하나 이상을 이용하여 이미지 특징 정보를 추출할 수 있다.That is, the
다음, 이미지 증강 서버(100)는 원본 이미지에서 추출된 이미지 특징 정보를 기초로 유사 이미지를 검색하기 위한 검색 파라미터를 결정할 수 있다(S220).Next, the
구체적으로, 이미지 증강 서버(100)는 추출된 이미지 특징 정보 내 특징 정보 값을 기준으로 소정 범위의 값을 검색 파라미터로 결정할 수 있다.Specifically, the
추출된 이미지 특징 정보 내 노출, 플래시 사용 여부, 해상도 및 위치 정보, 또는 셔터 스피드를 이용할 수 있으며 예로 셔터 스피드가 1/2000초인 경우, 이미지 증강 서버(100)는 셔터 스피드 1/1500초 내지 1/2500초 범위의 셔터 스피드 값을 검색 파라미터 중 하나로 결정할 수 있다.Exposure in the extracted image feature information, whether flash is used, resolution and location information, or shutter speed can be used. For example, when the shutter speed is 1/2000 second, the
한편, 이미지 증강 서버(100)는 신경망 모델 내 제2 네트워크의 제2 가중치에 따라 검색 파라미터 내 소정 범위의 값을 가변적으로 결정할 수 있으며, 검색되는 유사 이미지의 개수에 따라 검색 파라미터 내 소정 범위의 값을 가변적으로 결정할 수도 있다.Meanwhile, the
또는 신경망 모델의 출력으로 이미지 내 객체의 분류 값을 이용하여 검색 파라미터로 이용하는 것이 가능하다. 이를 통해 동일하거나 유사한 객체를 포함하도록 유사 이미지의 검색 기준을 설정할 수 있다.Alternatively, it is possible to use the classification value of the object in the image as the output of the neural network model as a search parameter. Through this, it is possible to set search criteria for similar images to include the same or similar objects.
그리고, 이미지 증강 서버(100)는 결정된 검색 파라미터를 기초로 유사 이미지를 검색하여 유사 이미지를 획득할 수 있다(S230).Then, the
구체적으로, 이미지 증강 서버(100)는 결정된 검색 파라미터를 기초로 이미지 증강 서버(100)의 데이터베이스(150) 또는 외부 저장 장치 내 유사 이미지를 검색하고, 검색된 유사 이미지들 중 일부를 이미지 증강을 위한 유사 이미지로 획득할 수 있다.Specifically, the
또한, 이미지 증강 서버(100)는 검색된 유사 이미지들과 원본 이미지 사이의 유사도를 산출하고, 산출된 유사도와 유사도 기준값을 비교하여 검색된 유사 이미지 중 하나의 유사 이미지만을 획득하거나 복수의 유사 이미지를 획득할 수 있다. 이때, 유사도는 원본 이미지와 유사 이미지 간의 이미지 특징 정보의 유사한 정도를 나타내는 값이며, 유사도 기준값은 검색된 유사 이미지를 선택하기 위한 기준이 되는 값을 의미하며, 100% ~ 95% : 1장, 94% ~ 90% : 2장 및 89% ~ 85% : 3장 등과 같이 각 구간별로 획득할 유사 이미지 개수가 매핑된 값일 수 있다.In addition, the
즉, 이미지 증강 서버(100)는 검색된 유사 이미지들의 유사도에 따라 가변적으로 유사 이미지를 획득할 수 있다.That is, the
이와 관련하여 도 3을 참조하여 설명한다.In this regard, it will be described with reference to FIG. 3 .
도 3은 본 발명의 일 실시예에 따른 유사 이미지를 획득하는 과정을 나타낸 예시도이다.3 is an exemplary diagram illustrating a process of acquiring a similar image according to an embodiment of the present invention.
도 3을 참조하면, 이미지 증강 서버(100)는 원본 이미지(31)에서 이미지 특징 정보를 추출하고, 추출된 이미지 특징 정보를 기초로 검색 파라미터를 결정하고, 검색 파라미터를 기초로 데이터베이스(data base)에서 적어도 하나 이상의 유사 이미지(33a, 33b, 33c, 34d : 33)를 검색할 수 있다.Referring to FIG. 3 , the
그리고, 검색된 제1 유사 이미지(33a), 제2 유사 이미지(33b), 제3 유사 이미지(33c) 및 제4 유사 이미지(34d)의 각각의 유사도를 판단할 수 있다.Also, it is possible to determine the degree of similarity of each of the searched
예를 들어, 검색된 유사 이미지들(33a, 33b, 33c, 34d : 33)의 유사도가 각각 99%, 98%, 97% 및 96%인 경우, 이미지 증강 서버(100)는 검색된 유사 이미지들 중 제1 유사 이미지(33a)를 이미지 증강을 위한 유사 이미지로 획득할 수 있다.For example, when the similarities of the searched
다른 예로, 검색된 유사 이미지들(33a, 33b, 33c, 34d : 33)의 유사도가 각각 94%, 93%, 92% 및 91%인 경우, 이미지 증강 서버(100)는 제1 유사 이미지(33a)와 제2 유사 이미지(33b)를 이미지 증강을 위한 유사 이미지로 획득할 수 있다.As another example, when the similarity of the searched
즉, 이미지 증강 서버(100)는 검색된 유사 이미지들의 유사도가 높을수록 적은 수의 유사 이미지를 이미지 증강을 위한 유사 이미지로 획득하고, 검색된 유사 이미지들의 유사도가 낮을수록 많은 유사 이미지를 이미지 증강을 위한 유사 이미지로 획득할 수 있다.That is, the
이를 통해, 검색된 유사 이미지의 유사도가 떨어지는 경우, 이미지 증강 서버(100)는 복수의 유사 이미지를 이미지 증강에 이용함으로써, 보다 정확한 합성 이미지를 생성할 수 있다.Through this, when the similarity of the found similar images is low, the
다시, 도 1을 참조하면, 이미지 증강 서버(100)는 원본 이미지를 변형하기 위한 변형 함수를 결정할 수 있다(S300). 여기서, 변형 함수는 원본 이미지를 왜곡시켜 원본 이미지의 촬영 각도를 변경하기 위한 함수를 의미한다. Referring again to FIG. 1 , the
구체적으로, 이미지 증강 서버(100)는 이미지 특징 정보를 기초로 원본 이미지를 변형하기 위한 변형 함수를 결정할 수 있다.Specifically, the
또한, 이미지 증강 서버(100)는 추가적으로 획득된 유사 이미지와 원본 이미지 간의 유사도를 기초로 원본 이미지를 변형하기 위한 변형 함수를 결정할 수 있다.Also, the
예를 들어, 이미지 증강 서버(100)는 유사 이미지와 원본 이미지 간의 유사도가 높을수록 왜곡도가 높은 변형 함수를 결정하고, 유사 이미지와 원본 이미지 간의 유사도가 낮을수록 왜곡도가 낮은 변형 함수를 결정할 수 있다. 여기서, 왜곡도가 높을수록 변형 함수는 원본 이미지의 구도를 많이 변경하는 함수일 수 있다.For example, the
다음, 이미지 증강 서버(100)는 기 결정된 변형 함수를 기초로 원본 이미지를 변형할 수 있다(S400).Next, the
구체적으로, 이미지 증강 서버(100)는 결정된 변형 함수를 기초로 원본 이미지의 각 픽셀의 위치를 변형하여 변형된 원본 이미지를 생성할 수 있다.Specifically, the
즉, 이미지 증강 서버(100)는 변형 함수를 기초로 원본 이미지의 촬영 구도를 변경할 수 있다.That is, the
그리고, 이미지 증강 서버(100)는 유사 이미지를 기초로 기 학습된 신경망 모델을 이용하여 변형된 원본 이미지에 가상 이미지를 합성하여 합성 이미지를 생성할 수 있다(S500). 여기서, 신경망 모델은 GAN(Generative Adversarial Network) 기반으로 변형된 원본 이미지의 외곽에 위치한 확장 영역에 가상 이미지가 합성되도록 학습된 모델일 수 있다. 이와 관련하여 도 4를 참조하여 설명한다.In addition, the
도 4는 본 발명의 일 실시예에 따른 신경망 모델의 학습 방법을 나타낸 예시도이다.4 is an exemplary diagram illustrating a method of learning a neural network model according to an embodiment of the present invention.
도 4를 참조하면, 신경망 모델의 학습을 위해 신경망 모델의 제1 네트워크로 학습 이미지(43)가 입력될 수 있다. 여기서, 학습 이미지(43)는 원본 이미지(41)에서 외곽 영역(41a)이 제거된 이미지일 수 있다.Referring to FIG. 4 , a
그리고, 제1 네트워크로 입력된 학습 이미지(43)는 팽창된 콘벌루션(Dilated Convolution) 연산을 거치고, 다시 디콘벌루션(deconvolution) 연산을 거치며 재구성(reconstruction)되어 거친 합성 이미지(45)로 출력될 수 있다. 여기서, 거친 합성 이미지(45)는 학습 이미지(43)의 외곽에 위치한 확장 영역(45a)에 거친 가상 이미지가 합성된 이미지일 수 있다. 이때, 제1 네트워크는 원본 이미지(41)와 거친 합성 이미지(45)를 기초로 산출된 재구성 손실(reconstruction loss)이 최소화되도록 오차역전파(Backpropagation)를 통해 제1 네트워크 내 제1 가중치를 업데이트할 수 있으며, 반복적인 제1 가중치의 업데이트를 통해 제1 네트워크를 학습시킬 수 있다.Then, the
다음, 거친 합성 이미지(45)는 제2 네트워크로 입력되고, 입력된 거친 합성 이미지(45)는 병렬로 팽창된 콘벌루션(Dilated Convolution) 연산을 수행하되 하나의 연산에는 주변의 주요 특징들에 집중하는 상황별 주의 레이어(Contextual Attention layer)를 반영하여 연산을 수행하며, 병렬로 각각 연산된 레이어의 출력을 병합(Concatenate)한 후, 디콘벌루션(deconvolution) 연산을 거치며 확장 영역(45a)에 가상 이미지를 재구성(reconstruction)하여 정제된 합성 이미지(47)로 출력될 수 있다. 여기서, 상황별 주의 레이어(Contextual Attention layer)는 원본 이미지(41)를 기초로 획득된 유사 이미지를 기초로 생성된 특징 맵을 의미할 수 있다.Next, the coarse
구체적으로, 원본 이미지(41)를 기초로 획득된 유사 이미지를 패치(patch)로 잘라 컨볼루션 커널(convolutional kernel)로 재형성(reshape)하고, 코사인 유사도(cosine similarity)를 기초로 확장 영역(45a)에 위치한 거친 가상 이미지의 패치와 유사도를 구한 후, 소프트맥스(softmax)로 정규화(normalization)하여 상황별(contextual) 반영된 특징 맵(feature map)인 상황별 주의 레이어(Contextual Attention layer)를 생성할 수 있다.Specifically, a similar image obtained based on the
그리고, 제2 네트워크는 상황별 주의 레이어(Contextual Attention layer)를 기초로 확장 영역(45a)에 거친 가상 이미지를 디콘벌루션(deconvolution) 연산을 거치며 재구성(reconstruction)할 수 있다.In addition, the second network may reconstruct the rough virtual image in the
또한, 제2 네트워크는 원본 이미지(41)와 거친 합성 이미지(45)를 기초로 산출된 재구성 손실(reconstruction loss)와 글로벌 비평자(global critic)와 로컬 비평자(local critic)를 통한 글로벌(global)과 로컬(local) 적대적 손실(adversarial loss)를 이용하여 제2 네트워크 내 제2 가중치를 업데이트할 수 있으며, 반복적인 제2 가중치의 업데이트를 통해 제2 네트워크를 학습시킬 수 있다. 여기서, 글로벌 비평자는 정제된 합성 이미지(47) 전체를 입력으로 사용하는 판별자(Discriminator)를 의미하고, 로컬 비평자는 합성 이미지(47) 중 확장 영역(47b)에 생성된 가상 이미지만을 입력으로 사용하는 판별자(Discriminator)를 의미한다.In addition, the second network is a global (global) through a reconstruction loss (reconstruction loss) calculated on the basis of the
한편, 상술한 신경망 모델의 학습 방법은 본 발명의 일 실시예에 따른 하나의 예시이며, 신경망 모델의 학습 방법은 필요에 따라 변형되어 이용될 수 있다.Meanwhile, the above-described method for learning a neural network model is an example according to an embodiment of the present invention, and the method for learning a neural network model may be modified and used as necessary.
또한, 상술한 신경망 모델의 제1 네트워크는 생산자(generator)로써, 하나의 인코더(encoder)와 하나의 디코더(decoder)로 구성된 거친 네트워크(coarse network)일 수 있다.In addition, the first network of the above-described neural network model is a generator, and may be a coarse network composed of one encoder and one decoder.
또한, 상술한 신경망 모델의 제2 네트워크는 생산자(generator)로써, 두개의 병렬 인코더(parallel encoder)와 하나의 디코더(decoder)로 구성된 정제 네트워크(refinement network)일 수 있다.In addition, the second network of the above-described neural network model is a generator, and may be a refinement network composed of two parallel encoders and one decoder.
다시 도 3을 참조하면, 합성 이미지를 생성하는 단계(S500)에서 이미지 증강 서버(100)는 상술한 신경망 모델에 변형된 원본 이미지를 입력하여 변형된 원본 이미지의 외곽의 확장 영역에 가상 이미지가 합성된 합성 이미지를 생성할 수 있다.Referring back to FIG. 3 , in the step of generating the composite image ( S500 ), the
이와 관련하여 도 5를 참조하여 보다 구체적으로 설명한다. In this regard, it will be described in more detail with reference to FIG. 5 .
도 5는 본 발명의 일 실시예에 따른 신경망 모델을 이용한 합성 이미지를 생성 방법을 나타낸 예시도이다.5 is an exemplary diagram illustrating a method for generating a composite image using a neural network model according to an embodiment of the present invention.
도 5를 참조하면, 이미지 증강 서버(100)는 원본 이미지(51)를 기초로 변형된 원본 이미지(53)를 신경망에 입력하면, 변형된 원본 이미지(53)는 신경망의 제1 네트워크를 통해 확장 영역(55a)에 거친 가상 이미지가 합성된 거친 합성 이미지(55)로 출력되고, 거친 합성 이미지(55)는 제2 네트워크를 통해 기존의 확장 영역(55a)에 거친 가상 이미지가 정제되어 정제된 합성 이미지(57)로 출력될 수 있다. Referring to FIG. 5 , when the
즉, 이미지 증강 서버(100)는 변형된 원본 이미지를 기초로 변형된 원본 이미지의 확장 영역에 거친 가상 이미지를 합성하는 제1 네트워크와 유사 이미지를 기초로 거친 가상 이미지를 정제하여 정제된 합성 이미지를 출력하는 제2 네트워크로 구성된 신경망 모델을 통해 합성 이미지를 생성할 수 있다. 여기서, 합성 이미지는 원본 이미지를 기초로 생성된 증강 이미지로써, 원본 이미지를 기준으로 새로운 촬영 시점에서 촬영된 이미지일 수 있다.That is, the
이와 같이 본 발명은 원본 이미지만을 이용하여 합성 이미지를 생성하는 것이 아니라 원본 이미지와 유사한 유사 이미지를 함께 이용함으로써, 보다 고품질의 합성 이미지를 생성할 수 있다.As described above, according to the present invention, a composite image of higher quality can be generated by using similar images similar to the original image, rather than generating a composite image using only the original image.
한편, 상술한 본 발명의 이미지 증강 방법으로 생성된 합성 이미지를 인공지능(artificial intelligence, AI) 모델의 학습 데이터로 이용함으로써, 종래의 증강 이미지를 기초로 학습된 인공지능 모델 보다 강인한 인공지능 모델로 학습시킬 수 있다.On the other hand, by using the synthetic image generated by the above-described image augmentation method of the present invention as training data of an artificial intelligence (AI) model, an artificial intelligence model that is stronger than an artificial intelligence model learned based on a conventional augmented image can learn
이와 관련하여 도 6을 참조하여 설명한다.In this regard, it will be described with reference to FIG. 6 .
도 6은 본 발명의 일 실시예에 따른 인공지능 모델의 에러율을 나타낸 예시도이다.6 is an exemplary diagram illustrating an error rate of an artificial intelligence model according to an embodiment of the present invention.
도 6의 (a)를 참조하면, 종래의 이미지 증강 방법으로 이미지를 증강하는 경우, 학습 데이터의 분포가 특정 시점(본 예시에서는 정면 시점)의 집중되게 된다. 이렇게 특정 시점으로 집중된 학습 데이터를 기초로 학습된 인공지능 모델은 여러 시점의 이미지가 입력되는 와일드한 환경(in the wild)에서 정면 시점을 제외한 상측, 하측, 우측 및 좌측 시점의 이미지를 판별하는데 높은 에러율이 발생할 수 있다.Referring to (a) of FIG. 6 , when an image is augmented by a conventional image augmentation method, the distribution of learning data is concentrated at a specific time point (a front view in this example). The artificial intelligence model trained based on the learning data focused on a specific point in this way is highly effective in discriminating images of upper, lower, right, and left views excluding the front view in a wild environment where images of multiple views are input. Error rates may occur.
도 6의 (b)를 참조하면, 본 발명의 이미지 증강 방법으로 이미지를 증강하는 경우, 다양한 시점(상측, 하측, 정면, 우측 및 좌측 시점)의 학습 데이터를 확보할 수 있다. 이렇게 다양한 시점의 학습 데이터를 기초로 학습된 인공지능 모델은 여러 시점의 이미지가 입력되는 와일드한 환경(in the wild)에서 낮은 에러율을 유지할 수 있다.Referring to FIG. 6B , when an image is augmented by the image augmentation method of the present invention, learning data of various viewpoints (upper, lower, front, right, and left viewpoints) may be secured. An artificial intelligence model trained based on the learning data from various viewpoints can maintain a low error rate in a wild environment where images from multiple viewpoints are input.
즉, 본 발명의 이미지 증강 방법을 통해 다양한 시점의 이미지를 생성하여 학습 데이터로 이용하는 경우, 종래의 이미지의 영역 및 범위를 조절하는 형태로 생성된 이미지를 학습 데이터로 이용한 인공지능 모델 보다 강인한 인공지능 모델을 만들 수 있다.That is, when images of various viewpoints are generated through the image augmentation method of the present invention and used as learning data, artificial intelligence that is stronger than the artificial intelligence model using the image generated in the form of adjusting the area and range of the conventional image as the learning data model can be created.
이어서, 도 7을 참조하여 이미지 증강 서버(100)의 구성에 대해 설명한다.Next, the configuration of the
도 7은 본 발명의 일 실시예에 따른 이미지 증강 서버(100)의 구성을 나타낸 블록도이다.7 is a block diagram showing the configuration of the
도 7을 참조하면, 이미지 증강 서버(100)는 원본 이미지 획득부(110), 유사 이미지 획득부(120), 이미지 변형부(130), 이미지 합성부(140) 및 데이터베이스(150)로 구성될 수 있다.Referring to FIG. 7 , the
원본 이미지 획득부(110)는 이미지 증강을 위한 원본 이미지를 획득할 수 있다.The original
구체적으로, 이미지 획득부(110)는 관리자로부터 이미지 증강의 대상이 되는 원본 이미지를 입력 받아 원본 이미지를 획득하거나 관리자의 이미지 증강 명령을 기초로 데이터베이스(150) 또는 외부 저장 장치로부터 원본 이미지를 획득할 수 있다. Specifically, the
유사 이미지 획득부(120)는 획득된 원본 이미지로부터 이미지 특징 정보를 추출할 수 있다.The similar
구체적으로 유사 이미지 획득부(120)는 원본 이미지의 메타데이터(metadata)에서 이미지 특징 정보를 추출하거나, 원본 이미지를 영상 분석(analysis of images)하여 이미지 특징 정보를 추출할 수 있다.Specifically, the similarity
또한, 유사 이미지 획득부(120)는 추출된 이미지 특징 정보를 기초로 검색 파라미터를 결정할 수 있다.Also, the similar
구체적으로, 유사 이미지 획득부(120)는 추출된 이미지 특징 정보 내 특징 정보 값을 기준으로 소정 범위의 값을 검색 파라미터로 결정할 수 있다. 이때, 유사 이미지 획득부(120)는 신경망 모델 내 제2 네트워크의 제2 가중치에 따라 검색 파라미터 내 소정 범위의 값을 가변적으로 결정할 수 있다.Specifically, the similarity
또한, 유사 이미지 획득부(120)는 결정된 검색 파라미터를 기초로 데이터베이스(150) 또는 외부 저장 장치로부터 유사 이미지를 검색하여 유사 이미지를 획득할 수 있다.Also, the similarity
구체적으로, 유사 이미지 획득부(120)는 결정된 검색 파라미터를 기초로 데이터베이스(150) 또는 외부 저장 장치 내 유사 이미지를 검색하고, 검색된 유사 이미지들 중 일부를 이미지 증강을 위한 유사 이미지로 획득할 수 있다.Specifically, the similar
즉, 유사 이미지 획득부(120)는 원본 이미지에서 이미지 특징 정보를 추출하고, 추출된 이미지 특징 정보를 기초로 검색 파라미터를 결정하며, 결정된 검색 파라미터를 기초로 유사 이미지를 검색하여 유사 이미지를 획득할 수 있다.That is, the similar
이미지 변형부(130)는 기 결정된 변형 함수를 기초로 원본 이미지를 변형할 수 있다.The
구체적으로, 이미지 변형부(130)는 원본 이미지를 변형하기 위한 변형 함수를 결정하고, 결정된 변형 함수를 기초로 원본 이미지를 변형할 수 있다. 여기서, 변형 함수는 상기 원본 이미지의 촬영 각도를 변경하기 위한 함수일 수 있다.Specifically, the
이미지 합성부(140)는 유사 이미지를 기초로 기 학습된 신경망 모델을 이용하여 변형된 원본 이미지에 가상 이미지를 합성하여 합성 이미지를 생성할 수 있다. 여기서, 신경망 모델은 가상 이미지를 변형된 원본 이미지의 외곽에 위치한 확장 영역에 합성되도록 기 학습된 것으로, 신경망 모델에 대해 상술한 바 설명을 생략한다.The
데이터베이스(150)에는 이미지 증강 서버(100)의 동작에 필요한 여러 데이터가 저장될 수 있다.Various data necessary for the operation of the
구체적으로, 데이터베이스(150)에는 이미지 증강이 필요한 원본 이미지가 저장될 수 있으며, 이미지 증강에 이용될 유사 이미지들이 저장될 수 있다.Specifically, an original image requiring image enhancement may be stored in the
또한, 데이터베이스(150)에는 상술한 이미지 증강 방법으로 생성된 합성 이미지가 학습데이터로 저장될 수 있다.In addition, the composite image generated by the above-described image augmentation method may be stored as learning data in the
또한, 데이터베이스(150)에는 상술한 이미지 증강 방법에 이용되는 여러 신경망 모델들이 저장될 수 있으며, 신경망 모델 기반의 이미지 증강 방법을 실행하기 위한 프로그램 코드가 기록된 컴퓨터가 판독 가능한 기록 매체에 기록된 프로그램이 저장될 수도 있다.In addition, the
한편, 상술한 본 발명의 이미지 증강 방법은 학습 데이터를 증강하기 위한 방법 이외에도 다른 기술에도 응용될 수 있다.On the other hand, the image augmentation method of the present invention described above can be applied to other technologies in addition to the method for augmenting learning data.
예를 들어, 본 발명의 이미지 증강 방법은 VR 영상, 360도 영상, 파노라마 뷰 영상을 생성하는데 응용될 수 있다.For example, the image augmentation method of the present invention may be applied to generate a VR image, a 360-degree image, and a panoramic view image.
이와 관련하여 도 8을 참조하여 설명한다.In this regard, it will be described with reference to FIG. 8 .
도 8은 본 발명의 일 실시예에 따른 VR 영상을 나타낸 예시도이다.8 is an exemplary view illustrating a VR image according to an embodiment of the present invention.
도 8을 참조하면, 일반적으로 VR 영상은 사용자의 시선이 머무르는 영역(81)에만 이미지(81a)를 표시하고, 이외 영역(83, 85)에는 블랙 마스킹(Black masking)처리하는 것이 일반적이다.Referring to FIG. 8 , in general, in the VR image, the
이러한 경우, 사용자의 시선에 블랙 마스킹이 인지되면서 사용자의 VR 영상 감상을 하는데 방해가 될 수 있다.In this case, as the black masking is perceived by the user's gaze, it may interfere with the user's VR image viewing.
이때, 본 발명의 이미지 증강 방법을 이용하는 경우, 기존 영역(81)에 표시된 이미지(81a)를 기초로 이미지 증강을 통해 주변 영역(83, 85)에 합성 이미지(83a, 85a)를 표시할 수 있다.In this case, when the image augmentation method of the present invention is used, the
이와 같이 블랙 마스킹 처리하는 대신 합성 이미지를 표시함으로써, 사용자에게 보다 실감나는 VR 영상을 제공할 수 있다.By displaying a composite image instead of black masking in this way, it is possible to provide a more realistic VR image to the user.
또한, 전방향의 3차원 공간을 모델링 하지 않고, 일부만을 모델링 하고 주변 영역은 시야에 따라 실시간으로 생성함으로써 보다 효율적으로 VR 영상 및 가상 환경을 제공할 수 있다.In addition, it is possible to provide VR images and virtual environments more efficiently by modeling only a part of the three-dimensional space without modeling the omnidirectional space and generating the surrounding area in real time according to the field of view.
한편, 상술한 본 발명에 따르면, 하나의 시점을 가지는 원본 이미지로부터 다양한 시점을 가지는 합성 이미지를 생성할 수 있다.Meanwhile, according to the present invention described above, it is possible to generate a composite image having various viewpoints from the original image having one viewpoint.
또한, 본 발명은 원본 이미지와 다른 촬영 각도를 가지는 합성 이미지를 생성하여 다양한 학습 데이터를 확보할 수 있으며, 원본 이미지와 유사한 유사 이미지를 이용하여 합성 이미지를 생성함으로써 보다 고품질의 합성 이미지를 생성할 수 있다.In addition, the present invention can secure a variety of learning data by generating a composite image having a shooting angle different from the original image, and can generate a higher-quality composite image by creating a composite image using similar images similar to the original image. have.
나아가, 여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.Furthermore, various embodiments described herein may be implemented in a computer-readable recording medium using, for example, software, hardware, or a combination thereof.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어 모듈 자체로 구현될 수 있다.According to the hardware implementation, the embodiments described herein include ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and other electrical units for performing functions. The described embodiments may be implemented in the control module itself.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 씌여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리 모듈에 저장되고, 제어모듈에 의해 실행될 수 있다.According to the software implementation, embodiments such as the procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein. The software code may be implemented as a software application written in a suitable programming language. The software code may be stored in the memory module and executed by the control module.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains may make various modifications, changes and substitutions within the scope without departing from the essential characteristics of the present invention. will be.
따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are for explaining, not limiting, the technical spirit of the present invention, and the scope of the technical spirit of the present invention is not limited by these embodiments and the accompanying drawings . The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
Claims (10)
이미지 증강을 위한 원본 이미지를 획득하는 단계;
획득된 상기 원본 이미지를 기초로 유사 이미지를 획득하는 단계;
기 결정된 변형 함수를 기초로 상기 원본 이미지를 변형하는 단계; 및
상기 유사 이미지를 기초로 기 학습된 신경망 모델을 이용하여 변형된 원본 이미지에 가상 이미지를 합성하여 합성 이미지를 생성하는 단계;를 포함하고
상기 신경망 모델은 가상 이미지를 상기 변형된 원본 이미지의 외곽에 위치한 확장 영역에 합성되도록 기 학습되며
상기 신경망 모델은 상기 변형된 원본 이미지를 기초로 상기 변형된 원본 이미지의 확장 영역에 거친 가상 이미지를 합성하는 제1 네트워크와 상기 유사 이미지를 기초로 상기 거친 가상 이미지를 정제하여 상기 합성 이미지를 출력하는 제2 네트워크로 구성되는 것을 특징으로 하는 이미지 증강 방법.In the image augmentation method performed in the image augmentation server based on a neural network model,
acquiring an original image for image augmentation;
acquiring a similar image based on the acquired original image;
transforming the original image based on a predetermined transformation function; and
and generating a composite image by synthesizing a virtual image with the original transformed image using a neural network model learned in advance based on the similar image.
The neural network model is pre-trained to synthesize a virtual image in an extended area located outside the transformed original image,
The neural network model outputs the synthesized image by refining the coarse virtual image based on a first network and the similar image for synthesizing a rough virtual image in an extended region of the transformed original image based on the transformed original image. An image augmentation method comprising a second network.
상기 원본 이미지에서 이미지 특징 정보를 추출하는 단계;
추출된 이미지 특징 정보를 기초로 검색 파라미터를 결정하는 단계;
결정된 검색 파라미터를 기초로 유사 이미지를 검색하여 유사 이미지를 획득하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 증강 방법.The method of claim 1,
extracting image feature information from the original image;
determining a search parameter based on the extracted image feature information;
The image augmentation method further comprising: searching for a similar image based on the determined search parameter to obtain a similar image.
상기 원본 이미지를 변형하기 위한 변형 함수를 결정하는 단계를 더 포함하고,
상기 변형 함수는 상기 원본 이미지의 촬영 각도를 변경하기 위한 함수인 것을 특징으로 하는 이미지 증강 방법.The method of claim 1,
determining a transform function for transforming the original image;
The transformation function is an image augmentation method, characterized in that it is a function for changing the shooting angle of the original image.
이미지 증강을 위한 원본 이미지를 획득하는 원본 이미지 획득부;
획득된 상기 원본 이미지를 기초로 유사 이미지를 획득하는 유사 이미지 획득부;
기 결정된 변형 함수를 기초로 상기 원본 이미지를 변형하는 이미지 변형부; 및
상기 유사 이미지를 기초로 기 학습된 신경망 모델을 이용하여 변형된 원본 이미지에 가상 이미지를 합성하여 합성 이미지를 생성하는 이미지 합성부;를 포함하고
상기 신경망 모델은 상기 유사 이미지를 기초로 가상 이미지를 상기 변형된 원본 이미지의 외곽에 위치한 확장 영역에 합성되도록 기 학습되며
상기 신경망 모델은 상기 변형된 원본 이미지를 기초로 상기 변형된 원본 이미지의 확장 영역에 거친 가상 이미지를 합성하는 제1 네트워크와 상기 유사 이미지를 기초로 상기 거친 가상 이미지를 정제하여 상기 합성 이미지를 출력하는 제2 네트워크로 구성되는 것을 특징으로 하는 이미지 증강 서버.In an image augmentation server based on a neural network model,
an original image acquisition unit for acquiring an original image for image augmentation;
a similarity image acquisition unit configured to acquire a similarity image based on the acquired original image;
an image transforming unit that transforms the original image based on a predetermined transform function; and
and an image synthesizing unit for generating a composite image by synthesizing a virtual image with a transformed original image using a neural network model previously learned based on the similar image.
The neural network model is pre-trained to synthesize a virtual image based on the similar image in an extended area located outside the transformed original image,
The neural network model outputs the synthesized image by refining the coarse virtual image based on a first network and the similar image for synthesizing a rough virtual image in an extended region of the transformed original image based on the transformed original image. An image augmentation server, characterized in that it consists of a second network.
상기 유사 이미지 획득부는 상기 원본 이미지에서 이미지 특징 정보를 추출하고, 추출된 이미지 특징 정보를 기초로 검색 파라미터를 결정하며, 결정된 검색 파라미터를 기초로 유사 이미지를 검색하여 유사 이미지를 획득하는 것을 특징으로 하는 이미지 증강 서버.6. The method of claim 5,
The similar image obtaining unit extracts image characteristic information from the original image, determines a search parameter based on the extracted image characteristic information, and obtains a similar image by searching for a similar image based on the determined search parameter Image augmentation server.
상기 이미지 변형부는 상기 원본 이미지를 변형하기 위한 변형 함수를 결정하며, 상기 변형 함수는 상기 원본 이미지의 촬영 각도를 변경하기 위한 함수인 것을 특징으로 하는 이미지 증강 서버.6. The method of claim 5,
The image transformation unit determines a transformation function for transforming the original image, wherein the transformation function is a function for changing a shooting angle of the original image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210152397A KR102354681B1 (en) | 2021-11-08 | 2021-11-08 | A neural network model-based image augmentation method, server, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210152397A KR102354681B1 (en) | 2021-11-08 | 2021-11-08 | A neural network model-based image augmentation method, server, and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
KR102354681B1 true KR102354681B1 (en) | 2022-01-24 |
KR102354681B9 KR102354681B9 (en) | 2023-05-11 |
Family
ID=80049750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210152397A KR102354681B1 (en) | 2021-11-08 | 2021-11-08 | A neural network model-based image augmentation method, server, and computer program |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102354681B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102533091B1 (en) * | 2022-03-04 | 2023-05-26 | 주식회사 한국공간데이터 | Method and device for pperson re-identification |
KR20230171237A (en) * | 2022-06-13 | 2023-12-20 | 태나다 주식회사 | Method and Apparatus for generating 360 degree image including 3-dimensional virtual object based on 2-dimensional image |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190085159A (en) * | 2016-12-07 | 2019-07-17 | 케이엘에이-텐코 코포레이션 | Data Enhancement for Convolution Neural Network-Based Defect Inspection |
KR20200027425A (en) * | 2018-09-04 | 2020-03-12 | 주식회사 스트라드비젼 | Method and computing device for generating image data set for learning to be used for detection of obstruction in autonomous driving circumstances and learning method and learning device using the same |
KR20200027885A (en) * | 2018-09-05 | 2020-03-13 | 주식회사 스트라드비젼 | Method and device for generating image data set to be used for learning cnn capable of detecting obstruction in autonomous driving circumstance, and testing method, and testing device using the same |
KR20210072048A (en) * | 2018-10-11 | 2021-06-16 | 테슬라, 인크. | Systems and methods for training machine models with augmented data |
KR20210094456A (en) * | 2020-01-21 | 2021-07-29 | 삼성전자주식회사 | Image processing method and apparatus using neural network |
-
2021
- 2021-11-08 KR KR1020210152397A patent/KR102354681B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190085159A (en) * | 2016-12-07 | 2019-07-17 | 케이엘에이-텐코 코포레이션 | Data Enhancement for Convolution Neural Network-Based Defect Inspection |
KR20200027425A (en) * | 2018-09-04 | 2020-03-12 | 주식회사 스트라드비젼 | Method and computing device for generating image data set for learning to be used for detection of obstruction in autonomous driving circumstances and learning method and learning device using the same |
KR20200027885A (en) * | 2018-09-05 | 2020-03-13 | 주식회사 스트라드비젼 | Method and device for generating image data set to be used for learning cnn capable of detecting obstruction in autonomous driving circumstance, and testing method, and testing device using the same |
KR20210072048A (en) * | 2018-10-11 | 2021-06-16 | 테슬라, 인크. | Systems and methods for training machine models with augmented data |
KR20210094456A (en) * | 2020-01-21 | 2021-07-29 | 삼성전자주식회사 | Image processing method and apparatus using neural network |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102533091B1 (en) * | 2022-03-04 | 2023-05-26 | 주식회사 한국공간데이터 | Method and device for pperson re-identification |
KR20230171237A (en) * | 2022-06-13 | 2023-12-20 | 태나다 주식회사 | Method and Apparatus for generating 360 degree image including 3-dimensional virtual object based on 2-dimensional image |
KR102622709B1 (en) * | 2022-06-13 | 2024-01-08 | 태나다 주식회사 | Method and Apparatus for generating 360 degree image including 3-dimensional virtual object based on 2-dimensional image |
Also Published As
Publication number | Publication date |
---|---|
KR102354681B9 (en) | 2023-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111047548B (en) | Attitude transformation data processing method and device, computer equipment and storage medium | |
CN106778928B (en) | Image processing method and device | |
US20220301257A1 (en) | High resolution neural rendering | |
KR102354681B1 (en) | A neural network model-based image augmentation method, server, and computer program | |
WO2022165809A1 (en) | Method and apparatus for training deep learning model | |
CN109376603A (en) | A kind of video frequency identifying method, device, computer equipment and storage medium | |
US10282898B1 (en) | Three-dimensional scene reconstruction | |
CN113343878A (en) | High-fidelity face privacy protection method and system based on generation countermeasure network | |
CN112242002B (en) | Object identification and panoramic roaming method based on deep learning | |
US20210150679A1 (en) | Using imager with on-purpose controlled distortion for inference or training of an artificial intelligence neural network | |
CN111862278B (en) | Animation obtaining method and device, electronic equipment and storage medium | |
CN112446835A (en) | Image recovery method, image recovery network training method, device and storage medium | |
CN114463230A (en) | Image processing method and related equipment | |
CN112699885A (en) | Semantic segmentation training data augmentation method and system based on antagonism generation network GAN | |
KR20200061478A (en) | Apparatus and method on generating synthetic data for training real-time object detection system | |
CN116958362A (en) | Image rendering method, device, equipment and storage medium | |
CN116580151A (en) | Human body three-dimensional model construction method, electronic equipment and storage medium | |
CN114266693A (en) | Image processing method, model generation method and equipment | |
CN117593702A (en) | Remote monitoring method, device, equipment and storage medium | |
CN112613445A (en) | Face image generation method and device, computer equipment and storage medium | |
CN116912148A (en) | Image enhancement method, device, computer equipment and computer readable storage medium | |
KR20200058295A (en) | Method and Device of High Magnetic Field Magnetic Resonance Image Synthesis | |
CN113327221B (en) | Image synthesis method, device, electronic equipment and medium for fusing ROI (region of interest) | |
CN116343019A (en) | Target detection method for remote sensing image | |
CN110490950A (en) | Image pattern generation method, device, computer equipment and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
G170 | Re-publication after modification of scope of protection [patent] |