KR102348368B1 - 머신러닝 모델의 학습 데이터 생성과 머신러닝 모델을 이용한 유사 이미지 생성을 위한 장치, 방법, 시스템 및 컴퓨터 판독가능 저장 매체 - Google Patents

Abstract

머신러닝 기반의 유사 이미지 생성을 수행하는 머신러닝 모델의 학습 데이터 생성 방법이 설명된다. 예시적인 학습 데이터 생성 방법 방법은 이미지 소스를 획득하는 단계; 이미지 소스를 분석하여 이미지 소스 내의 학습 구간을 설정하는 단계; 설정된 학습 구간으로부터 레이블 이미지를 추출하는 단계; 설정된 학습 구간 및 레이블 이미지에 기초하여, 적어도 하나의 인접 이미지를 추출하는 단계; 및 레이블 이미지 및 적어도 하나의 인접 이미지에 기초하여, 머신러닝 모델에 입력하기 위한 학습 데이터를 생성하는 단계를 포함할 수 있다.

Description

머신러닝 모델의 학습 데이터 생성과 머신러닝 모델을 이용한 유사 이미지 생성을 위한 장치, 방법, 시스템 및 컴퓨터 판독가능 저장 매체 {DEVICE, METHOD, SYSTEM AND COMPUTER READABLE STORAGE MEDIUM FOR GENERATING TRAINING DATA OF MACHINE LEARING MODEL AND GENERATING FAKE IMAGE USING MACHINE LEARNING MODEL}

본 개시는 머신러닝 모델의 학습 데이터 생성과 머신러닝 모델을 이용한 유사 이미지 생성을 위한 장치, 방법, 시스템 및 컴퓨터 판독가능 저장 매체에 관한 것이다.

여기에서 달리 언급하지 않으면 본 섹션에서 기술되는 내용은 본 출원에서의 청구범위의 선행 기술이 아니며, 본 섹션에 기재하였다는 이유로 선행 기술로 인정되어서는 안 된다.

스마트폰과 같은 개인용 통신 장치의 사용이 일반화되고 통신기술의 발전에 의해 전송속도가 증가함에 따라 이용가능한 온라인 콘텐츠가 폭발적으로 증가하고 있다. 텍스트 위주의 종래 온라인 콘텐츠와 다르게, 최근 온라인 콘텐츠 대부분은 이미지 또는 복수의 이미지로 구성되는 비디오 데이터를 포함하고 있다. 이와 같이, 온라인 상의 이미지의 수가 극적으로 증가함에 따라, 이러한 이미지의 이용에 따른 저작권 침해 문제가 뒤따른다.

최근 머신러닝의 기법의 발전에 따라, 머신러닝 기법을 이용하여 이미지를 생성하는 것이 고려된다. 머신러닝 기법을 이용하여 이미지를 생성할 경우 사용자는 직접 사진을 찍거나 제작하지 않아도 되므로, 비용 및 시간적으로 이점을 얻을 수 있다. 또한, 머신러닝 기법을 적절히 이용할 경우, 저작권 침해의 문제를 피하는 것도 가능할 수 있다.

"Generative Adversarial Nets, Ian J. Goodfellow 외"(이하, "선행기술문헌 1")에서는 적대적인(adversarial) 과정을 통하여, 머신러닝을 이용한 이미지 생성모델을 평가하는 모델을 제시하고 있다. 이러한 모델에 따르면, 머신러닝 기법에 따라 생성망에서 유사 이미지를 생성하고, 생성된 유사 이미지와 실제 이미지를 비교하여 생성된 유사 이미지가 실제 이미지인지 여부를 평가하여 피드백함으로써, 생성망의 성능을 향상시킨다. "StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation, 최윤제 외"(이하, "선행기술문헌 2")에서는 선행기술문헌 1을 기본 구조로 하여, 성별, 나이, 표정 등의 다양한 도메인을 반영한 유사 이미지를 생성할 수 있는 모델을 제시한다.

그러나, 이러한 머신러닝 기반의 이미지 생성 기법을 이용함에 있어서, 해당 머신러닝 모델이 충분한 성능을 발휘하도록 하기 위해서는 매우 많은 양의 학습 데이터, 즉 이미지를 해당 머신러닝 모델에 입력하여 학습을 수행시켜야 한다. 이는 머신 러닝 모델을 구축함에 있어서 필수적이지만, 매우 번거로운 작업이며 많은 시간과 비용이 소요될 수 있다.

본 개시는 위와 같은 문제점들을 해결하기 위한 것으로서, 머신러닝 모델의 학습 데이터 생성과 머신러닝 모델을 이용한 유사 이미지 생성을 위한 장치, 방법 및 컴퓨터 판독가능 저장 매체를 제시한다.

본 개시의 일부 실시예에서, 학습 데이터 생성 방법이 설명된다. 예시적인 학습 데이터 생성 방법은 컴퓨팅 장치의 제어 하에서 수행되고, 머신러닝 기반의 유사 이미지 생성을 수행하는 머신러닝 모델의 학습 데이터를 생성할 수 있다. 학습 데이터 생성 방법은 이미지 소스를 획득하는 단계; 이미지 소스를 분석하여 이미지 소스 내의 학습 구간을 설정하는 단계; 설정된 학습 구간으로부터 레이블 이미지를 추출하는 단계; 설정된 학습 구간 및 레이블 이미지에 기초하여, 적어도 하나의 인접 이미지를 추출하는 단계; 및 레이블 이미지 및 적어도 하나의 인접 이미지에 기초하여, 머신러닝 모델에 입력하기 위한 학습 데이터를 생성하는 단계를 포함할 수 있다.

일부 예시에서, 머신러닝 모델은 적대 신경망(Generative Adversarial Network)을 포함할 수 있다. 머신러닝 모델은 적어도 하나의 인접 이미지를 유사 이미지의 생성에 이용하고, 레이블 이미지를 생성된 유사 이미지의 판별에 사용되는 실제 이미지(real image)로서 이용할 수 있다.

일부 다른 실시예에서, 유사 이미지 생성 장치가 설명된다. 예시적인 유사 이미지 생성 장치는 이미지 소스 관리부, 학습 구간 설정부, 레이블 이미지 추출부, 인접 이미지 추출부 및 유사 이미지 생성부를 포함할 수 있다. 이미지 소스 관리부는 이미지 소스를 획득할 수 있다. 학습 구간 설정부는 이미지 소스를 분석하여, 이미지 소스 내의 학습 구간을 설정할 수 있다. 레이블 이미지 추출부는 설정된 학습 구간으로부터 레이블 이미지를 추출할 수 있다. 인접 이미지 추출부는 설정된 학습 구간 및 레이블 이미지에 기초하여, 적어도 하나의 인접 이미지를 추출할 수 있다. 유사 이미지 생성부는 머신러닝 기반의 이미지 생성을 수행하는 머신러닝 모델을 포함하고, 머신러닝 모델을 이용하여 유사 이미지를 생성하고, 레이블 이미지 및 적어도 하나의 인접 이미지를 이용하여 머신러닝 모델을 학습시킬 수 있다.

일부 또 다른 실시예에서, 학습 데이터 생성 프로그램을 저장하는 컴퓨터 판독가능 저장 매체가 설명된다. 학습 데이터 생성 프로그램은 머신러닝 기반의 이미지 생성을 수행하는 머신러닝 모델의 학습 데이터를 생성할 수 있다. 예시적인 학습 데이터 생성 프로그램은 컴퓨팅 장치에 의해 실행되는 경우, 이미지 소스를 획득하는 동작; 이미지 소스를 분석하여 이미지 소스 내의 학습 구간을 설정하는 동작; 설정된 학습 구간으로부터 레이블 이미지를 추출하는 동작; 설정된 학습 구간 및 레이블 이미지에 기초하여, 적어도 하나의 인접 이미지를 추출하는 동작; 및 레이블 이미지 및 적어도 하나의 인접 이미지에 기초하여, 머신러닝 모델에 입력하기 위한 학습 데이터를 생성하는 동작을 수행하도록 하는 하나 이상의 명령어를 포함할 수 있다.

이상의 간단한 요약 및 효과에 관한 설명은 단순히 예시적인 것으로서 본 개시에서 의도한 기술적 사항을 제한하기 위한 것이 아니다. 이하의 상세한 설명과 첨부된 도면을 참조함으로써, 전술한 예시적인 실시예들과 기술적 특징들에 더하여, 추가적인 실시예와 기술적 특징들이 이해될 수 있을 것이다.

본 개시의 전술한 특징들 및 기타 특징들은, 첨부 도면을 참조하여 이하의 설명으로부터 충분히 분명해질 것이다. 이러한 도면들은 본 개시에 따르는 단지 몇 가지의 실시예만을 도시한 것이고, 따라서 그 범위를 제한하는 것으로 간주되어서는 안되는 것을 이해하면서, 본 개시는 첨부된 도면의 사용을 통하여, 더 구체적이고 상세하게 기술될 것이다.
도 1은 본 개시의 적어도 일부 실시예에 따른, 유사 이미지 생성 장치를 도시하는 블록도이다.
도 2는 도 1의 유사 이미지 생성부의 일 예시를 도시하는 블록도이다.
도 3은 본 개시의 일부 실시예에 따라, 학습 데이터의 생성에 이용되는 레이블 이미지 및 인접 이미지가 추출되는 예시를 도시한다.
도 4는 본 개시의 적어도 일부 실시예에 따라, 학습 데이터를 생성하는 예시적인 프로세스를 도시한다.
도 5은 본 개시의 적어도 일부 실시예에 따라, 유사 이미지 생성에 관한 머신러닝 모델의 학습 데이터를 생성하는 데 이용될 수 있는 컴퓨터 프로그램 제품을 도시한다.
도 6은 본 개시의 적어도 일부 실시예에 따라 배열되는 컴퓨팅 장치의 예시적인 블록도이다.

이하, 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 구현예 및 실시예를 상세히 설명한다. 그러나, 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 구현예 및 실시예에 한정되지 않는다.

본 개시는 일반적으로, 유사 이미지를 생성하는 머신러닝 모델에 이용되는 학습 데이터를 생성하기 위한 방법, 장치 및 컴퓨터 판독가능 저장 매체 및 이에 저장된 프로그램에 관한 것이다.

도 1은 본 개시의 적어도 일부 실시예에 따른, 유사 이미지 생성 장치(100)를 도시하는 블록도이다. 유사 이미지 생성 장치(100)는 예컨대, 데스크 탑 컴퓨터, 랩탑 컴퓨터, 스마트폰, 태블릿 컴퓨터, 휴대 전화기, 개인 휴대용 단말기(PDA), 특정 용도 장치 또는 상기 기능 중 임의의 것을 포함하는 융합 장치와 같은 단일 컴퓨팅 장치; 또는 서버 팜(server farm), 분산형 네트워크, 클라우드 컴퓨팅 구성과 같이 복수의 컴퓨팅 장치와 같은 복수 컴퓨팅 구성일 수 있다. 따라서, 유사 이미지 생성 장치(100)는 개인용 단말 장치로부터 요청을 수신하고 그러한 요청에 응답하여 출력을 전송하는 서버로서 구현되거나 개인용 단말 장치에서 구현되는 것도 가능하다.

유사 이미지 생성 장치(100)는 이미지 소스 관리부(110), 학습 구간 설정부(120), 레이블 이미지 추출부(130), 인접 이미지 추출부(140) 및 유사 이미지 생성부(150)를 포함한다. 추가적이거나 선택적인 실시예에서, 유사 이미지 생성 장치(100)는 이미지 전처리부(160) 및 메타 데이터 추출부(170) 중 적어도 하나를 더 포함할 수 있다.

유사 이미지 생성 장치(100)는 본 개시에 따른 하나 이상의 프로그램을 내부 메모리에 저장할 수 있으며, 이러한 하나 이상의 프로그램은 하나 이상의 프로세서, 예컨대, 중앙 처리 유닛(CPU) 또는 그래픽 처리 유닛(GPU) 등의 실행 및 처리에 의해, 이하에서 설명되는 유사 이미지 생성 장치(100)의 각 컴포넌트들(110, 120, 130, 140 및 150) 및 선택/추가적인 컴포넌트들(160 및 170)의 동작 중 적어도 일부를 수행할 수 있다. 이러한 컴포넌트들(110, 120, 130, 140 및 150)과 선택적인 컴포넌트들(160 및 170)은 개별적인 컴포넌트로 도시되었으나, 개시된 대상의 범위를 벗어나지 않으면서, 추가적인 컴포넌트로 분리될 수 있거나 더 적은 컴포넌트로 조합되거나 제거될 수 있다. 또한, 도 2에서는 컴포넌트가 소프트웨어에 의해 구현되는 것으로 도시되지만, 당업자라면 컴포넌트의 각각의 기능 및/또는 동작이 하드웨어, 소프트웨어, 펌웨어 또는 그들의 임의의 조합을 통하여 개별적으로 및/또는 종합적으로 구현될 수 있음을 이해할 것이다.

이미지 소스 관리부(110)는 이미지 소스를 획득하도록 구성된다. 일부 예시에서, 이미지 소스 관리부(110)는 사용자에 의해 미리 정해진 방식에 의해 이미지 소스를 수집할 수 있다. 이미지 소스의 수집은 오픈소스 저장소의 네트워크 주소를 통한 획득, 미리 정해진 저장소로부터의 수신, 웹크롤링 등 다양한 방식이 이용될 수 있다. 일부 다른 예시에서, 이미지 소스 관리부(110)는 유사 이미지 생성 장치(100)의 사용자로부터 이미지 소스를 직접 입력받을 수 있다. 일부 또 다른 예시에서, 이미지 소스 관리부(110)는 유사 이미지 생성 장치(100)와 연관된 외부 컴퓨팅 장치로부터 또는 사용자에 의해 입력된 네트워크의 주소로부터 이미지 소스를 수신할 수 있다. 획득된 이미지 소스는 유사 이미지 생성 장치(100)의 내부 메모리에 저장될 수 있다. 이미지 소스는 이하에서 상세히 설명되는 바와 같이, 복수의 이미지를 추출할 수 있는 다양한 유형의 이미지 데이터일 수 있다. 이미지 소스는 예컨대, 복수의 프레임 이미지를 가지는 비디오 데이터, 360도 이미지와 같은 파노라마 이미지, 360도 비디오 데이터 등을 포함할 수 있다. 추가적으로, 이미지 소스 관리부(110)는 획득된 이미지 소스를 소정의 기법을 이용하여 분류하고 저장할 수 있다.

일부 선택적인 예시에서, 이미지 소스 관리부(110)는 사용자로부터 이미지 소스를 입력받을 수 있으며, 메타 데이터 추출부(170)는 입력된 이미지 소스로부터 메타 데이터를 추출하고, 이미지 소스 관리부(110)는 메타 데이터에 기초하여, 추가적인 이미지 소스의 획득을 수행할 수 있다. 이러한 예시에서, 이미지 소스 관리부(110)는 메타 데이터에 기초하여, 이미지 소스를 분류 및 저장할 수 있다.

학습 구간 설정부(120)는 이미지 소스 관리부(110)에 의해 획득된 이미지 소스를 분석하여 이미지 소스 내의 학습 구간을 설정할 수 있다. 학습 구간 설정부(120)는 이미지 소스 내에서 학습 가능한 구간을 도출하기 위하여, 다양한 분석을 수행할 수 있으며, 분석의 결과에 기초하여 학습 구간을 설정할 수 있다. 학습 구간 설정부(120)는 예컨대, 이미지의 소스의 색상 변화율의 측정, 이미지 복잡도의 측정 및 이미지 소스 내 오브젝트에 대한 구조 유사도 측정 중 적어도 하나를 수행할 수 있다.

일부 예시에서, 학습 구간 설정부(120)는 이미지 소스 내에서 색상 변화율(Color Changing Ratio)을 측정할 수 있다. 이미지 소스가 비디오 데이터인 경우, 학습 구간 설정부(120)는 비디오 데이터 내 복수의 프레임들 간의 색상 변화율을 측정할 수 있다. 이미지 소스가 파노라마 이미지인 경우, 학습 구간 설정부(120)는 소정 사이즈의 프레임을 이용하여, 파노라마 이미지로부터 개별 이미지를 추출하고 추출된 이미지들 사이의 색상 변화율을 측정할 수 있다. 학습 구간 설정부(120)는 측정된 색상 변화율이 미리 정해진 범위 내에 있는 구간을 설정할 수 있으며, 이러한 구간을 학습 구간으로 결정할 수 있다.

일부 다른 예시에서, 학습 구간 설정부(120)는 이미지 소스 내에서 이미지 복잡도(Image Complexity)를 측정할 수 있다. 이미지 소스 내에 소정의 오브젝트, 예컨대, 특정 랜드 마크가 포함되는 경우, 해당 오브젝트를 포함하는 이미지는 해당 오브젝트를 포함하지 않는 이미지와 이미지 복잡도가 상이할 수 있다. 이러한 예시에서, 학습 구간 설정부(120)는 해당 오브젝트가 포함되지 않는 구간, 예컨대, 복잡도가 소정의 범위를 벗어나는 구간을 설정될 학습 구간에서 제외할 수 있다.

일부 또 다른 예시에서, 학습 구간 설정부(120)는 이미지 소스 내에서 구조 유사도(Structural Similarity)를 측정할 수 있다. 이미지 소스 내에는 장애 요소가 있을 수 있다. 예컨대, 경복궁과 같은 특정 랜드 마크에 대한 비디오 데이터에는 행인과 같이, 해당 랜드 마크를 지나가는 행인 또는 차량과 같은 장애 요소가 있을 수 있다. 이러한 장애 요소는 사용자 또는 미리 저장된 데이터에 의해 미리 정의될 수 있으며, 학습 구간 설정부(120)는 미리 정의된 장애 요소와 유사한 구조도를 가지는 오브젝트를 이미지 소스로부터 검출할 수 있으며, 장애 요소가 포함되는 구간은 학습 구간에서 제외할 수 있다.

레이블 이미지 추출부(130)는 학습 구간 설정부(120)에 의하여 설정된 학습 구간으로부터 레이블 이미지를 추출할 수 있다. 레이블 이미지 추출부(130)는 이미지 소스에 대하여 설정된 학습 구간 내에서, 이미지 소스로부터 레이블 이미지를 결정할 수 있다. 레이블 이미지는 이미지 소스 내에 포함된 주된 오브젝트를 포함하는 이미지로서, 대표적인 이미지를 지칭할 수 있다. 일부 예시에서, 레이블 이미지 추출부(130)는 학습 구간 내에서 임의의 방식으로 레이블 이미지를 추출할 수 있다. 일부 다른 예시에서, 레이블 이미지 추출부(130)는 설정된 학습 구간의 중심에 위치한 이미지, 즉 중심 이미지를 레이블 이미지로서 추출할 수 있다. 이미지 소스가 비디오 데이터인 경우, 레이블 이미지 추출부(130)는 중심 프레임의 이미지를 레이블 이미지로서 결정할 수 있다. 일부 또 다른 예시에서, 레이블 이미지 추출부(130)는 학습 구간 내에서 추출되는 복수의 이미지 중에서 하나 이상의 특성을 만족하거나 하나 이상의 특성 범위 내에 들어가는 이미지를 레이블 이미지로서 결정할 수 있다.

인접 이미지 추출부(140)는 학습 구간 설정부(120)에 의해 설정된 학습 구간 및 레이블 이미지 추출부(130)에 의해 추출된 레이블 이미지에 기초하여 적어도 하나의 인접 이미지를 추출할 수 있다. 일부 예시에서, 인접 이미지 추출부(140)는 레이블 이미지를 학습 구간의 기준 이미지로서 이용하여, 레이블 이미지로부터 소정의 간격이 떨어진 이미지를 인접 이미지로서 추출할 수 있다. 일 예시에서, 인접 이미지 추출부(140)는 소정의 간격으로 떨어진 2 개의 이미지를 인접 이미지로서 추출할 수 있다. 일부 다른 예시에서, 인접 이미지 추출부(140)는 학습 구간 내에서 임의의 이미지를 추출할 수 있으며, 추출된 이미지와 레이블 이미지 간의 구조 유사도를 측정하고, 측정된 구조 유사도가 미리 정해진 범위(예컨대, 구조 유사도가 0.9 이상)인 경우, 해당 이미지를 인접 이미지로서 추출할 수 있다.

유사 이미지 생성부(150)는 머신러닝 기반의 유사 이미지 생성을 수행하는 머신러닝 모델을 포함할 수 있다. 유사 이미지 생성부(150)는 해당 머신러닝 모델의 학습을 위한 학습 데이터를 생성할 수 있다. 따라서, 유사 이미지 생성부(150)는 레이블 이미지 추출부(130)에 의해 추출된 레이블 이미지와 인접 이미지 추출부(140)에 의해 추출된 적어도 하나의 인접 이미지에 기초하여, 학습 데이터를 생성할 수 있다. 유사 이미지 생성부(150)의 머신러닝 모델은 예컨대, 생성적 적대 신경망(Generative Adversarial Network; GAN), Star GAN, 룰 베이스 시스템(rule-based system) 일 수도 있고, 신경망 베이스 시스템(neural network-based system)(예: 합성곱 신경망(convolutional neural network(CNN)), 피드포워드 신경망(feedforward neural network(FNN)), 순환 신경망(recurrent neural network(RNN)) 등과 같은 다양한 유형의 인공지능 네트워크를 포함할 수 있다. 일부 예시에서, 머신러닝 모델은 적어도 하나의 인접 이미지를 유사 이미지의 생성에 이용하고, 레이블 이미지를 생성된 유사 이미지의 판별에 사용되는 실제 이미지(real image)로서 이용할 수 있다. GAN의 예시에 대해서는 도 2에서 보다 구체적으로 설명한다. 유사 이미지 생성부(150)는 생성된 학습 데이터를 이용하여, 머신러닝 모델의 학습을 수행할 수 있다.

이와 같이, 레이블 이미지 추출부(130)에 의해 추출된 레이블 이미지와 인접 이미지 추출부(140)에 의해 추출된 적어도 하나의 인접 이미지는 유사 이미지 생성부(150)의 입력으로서 이용될 수 있다. 추가적이고 선택적인 일부 예시에서, 이미지 전처리부(160)는 레이블 이미지 및/또는 적어도 하나의 인접 이미지를 이용하여 전처리를 수행하여 추가적인 학습 데이터를 위한 이미지를 생성할 수 있다. 일부 예시에서, 이미지 전처리부(160)는 레이블 이미지 및/또는 적어도 하나의 인접 이미지에 의도적인 노이즈를 추가함으로써, 생성된 이미지에 의해 유사 이미지 생성부의 학습에서 과적합(overfitting)이 발생하는 것을 방지할 수 있다. 일부 예시에서, 이미지 전처리부(160)는 학습을 위한 추가 데이터를 생성하기 위하여, OpenCV(Open Source Computer Vision)을 이용하여 이미지의 외곽선(Contour)의 추출 및 유사도 비교를 수행할 수 있다.

추가적이고 선택적인 일부 예시에서, 메타 데이터 추출부(170)는 이미지 소스, 레이블 이미지 및 적어도 하나의 인접 이미지 중 적어도 하나에 기초하여, 이미지의 메타 데이터를 추출할 수 있다. 이러한 메타 데이터는 예컨대, 이미지 내 오브젝트의 명칭, 이미지의 주제, 이미지 상의 날씨, 이미지 상의 시각, 오브젝트의 색 분포 등과 같은 이미지의 컨텍스트(context)에 관한 데이터를 포함할 수 있다. 이러한 메타 데이터는 유사 이미지 생성부(150)에 입력되는 레이블 이미지와 적어도 하나의 인접 이미지에 더하여, 학습 데이터로서 활용될 수 있다. 예컨대, 유사 이미지 생성부(150)는 레이블 이미지 및 적어도 하나의 인접 이미지뿐만 아니라, 메터데이터 추출부(170)에 의해 추출된 메타 데이터에 기초하여, 유사 이미지를 생성에 관한 학습을 수행할 수 있다.

이와 같이, 본 개시에 따르면, 복수의 이미지를 추출할 수 있는 이미지 소스, 예컨대, 비디오 데이터, 소정 사이즈의 이미지 등을 공급하는 것만으로 머신러닝 모델의 학습에 이용되는 데이터를 자동적으로 생성하여, 머신러닝 모델에 공급할 수 있으므로, 수동적으로 학습 데이터를 제공해야 하는 경우에 비하여, 머신러닝 모델의 학습의 편의를 도모할 수 있는 한편, 머신러닝 모델의 학습의 효율 및 속도도 향상시킬 수 있다.

도 2는 도 1의 유사 이미지 생성부(150)의 일 예시를 도시하는 블록도이다. 유사 이미지 생성부(150)는 도 2에 도시된 바와 같이, 생성적 적대 신경망(GAN)을 포함하고 있으나, 본 개시에 따른 실시예는 이러한 이미지 생성 모델에 제한되지 않음이 이해될 것이다. 도 2에 도시된 바에 따르면, 유사 이미지 생성부(150)는 유사 이미지 생성망(210), 유사 이미지 판별망(220)(Fake Image Discriminate Network), 피드백부(230) 및 출력부(240)를 포함한다.

유사 이미지 생성부(150)는 도 1에 관하여 설명된 바와 같이, 레이블 이미지와 적어도 하나의 인접 이미지에 기초하여, 학습 데이터를 생성한다. 일부 예시에서, 유사 이미지 생성망(210)은 적어도 하나의 인접 이미지를 이용하여, 유사 이미지를 생성할 수 있다. 유사 이미지 판별망(220)은 유사 이미지 생성망(210)에 의해 생성된 이미지가 유사 이미지(fake image)인지 실제 이미지(real image)인지 판별한다. 일부 예시에서, 유사 이미지 판별망(220)은 레이블 이미지를 실제 이미지로서 이용하여, 생성된 이미지가 유사 이미지인지 실제 이미지인지를 결정한다. 피드백부(230)는 유사 이미지 판별망(230)의 결정의 결과에 기초하여, 유사 이미지 생성망(210)과 유사 이미지 판별망(220)에 피드백을 제공할 수 있다. 이와 같은 방식으로, 유사 이미지 생성부(150) 내 머신 러닝 모델은 학습을 수행할 수 있다. 출력부(240)는 소정의 요청 또는 조건에 의해, 유사 이미지 생성망(210)에 의해 생성된 유사 이미지를 출력할 수 있다.

도 3은 본 개시의 일부 실시예에 따라, 학습 데이터의 생성에 이용되는 레이블 이미지 및 인접 이미지가 추출되는 예시를 도시한다. 본 개시의 일부 실시예에 따르면, 도 3에 도시된 바와 같은 학습 구간(310)이 설정될 수 있다. 이미지 소스가 비디오 데이터인 경우, 소정 시간 구간의 복수의 프레임 이미지가 학습 구간에 포함될 수 있다. 이미지 소스가 파노라마 이미지와 같은 단일 이미지인 경우, 후속하여 추출될 레이블 이미지와 인접 이미지보다 큰 소정의 사이즈의 공간적 범위가 학습 구간(310)으로서 설정될 수 있다.

본 개시의 일부 실시예에 따르면, 학습 구간(310)으로부터 레이블 이미지(320)가 추출될 수 있다. 일부 예시에서, 레이블 이미지(320)는 학습 구간(310)의 중심 이미지일 수 있다. 일부 다른 예시에서, 레이블 이미지(320)는 소정의 조건을 만족하는 이미지일 수 있다.

레이블 이미지(320)가 추출된 이후, 본 개시의 일부 실시예에 따르면, 레이블 이미지(320)를 중심으로 적어도 하나의 인접 이미지(330)가 추출될 수 있다. 일부 예시에서, 레이블 이미지(320)로부터 소정의 간격을 가지는 이미지가 인접 이미지(330)로서 선택될 수 있다. 일부 다른 예시에서, 레이블 이미지(320)와 소정 범위 내의 차이점을 가지는 이미지가 인접 이미지(330)로서 선택될 수 있다.

도 4는 본 개시의 적어도 일부 실시예에 따라, 학습 데이터를 생성하는 예시적인 프로세스(400)를 도시한다. 예컨대, 프로세스(400)는 도 1의 유사 이미지 생성 장치(100)와 같은 컴퓨팅 장치의 제어 하에서 수행될 수 있다. 도 4에 도시된 프로세스(400)는 블록(410, 420, 430, 440 및/또는 450)에 의하여 예시된 바와 같은 하나 이상의 동작, 기능 또는 작용을 포함할 수 있다. 도 4에 예시된 개략적인 동작들은 예시로서만 제공되고, 개시된 실시에의 본질에서 벗어나지 않으면서, 동작들 중 일부가 선택적일 수 있거나, 더 적은 동작으로 조합될 수 있거나, 추가적인 동작으로 확장될 수 있다. 프로세스(400)는 이미지 소스를 획득하는 블록(410)에서 시작할 수 있다.

블록(410)에서, 컴퓨팅 장치는 이미지 소스를 획득할 수 있다. 일부 예시에서, 일부 예시에서 컴퓨팅 장치는 미리 정해진 방식에 의해 이미지 소스를 수집할 수 있다. 일부 다른 예시에서, 컴퓨팅 장치는 사용자로부터 이미지 소스를 직접 입력받을 수 있다. 일부 또 다른 예시에서, 컴퓨팅 장치는 외부 컴퓨팅 장치로부터 또는 사용자에 의해 입력된 네트워크의 주소로부터 이미지 소스를 수신할 수 있다. 이미지 소스는 예컨대, 복수의 프레임 이미지를 가지는 비디오 데이터, 360도 이미지와 같은 파노라마 이미지, 360도 비디오 데이터 등을 포함할 수 있다. 프로세스(400)는 블록(410)으로부터 이미지 소스 내 학습 구간을 설정하는 블록(420)으로 이어질 수 있다.

블록(420)에서, 컴퓨팅 장치는 블록(410)에서 획득된 이미지 소스를 분석하여 이미지 소스 내의 학습 구간을 설정할 수 있다. 컴퓨팅 장치는 이미지 소스 내에서 학습 가능한 구간을 도출하기 위하여, 다양한 분석을 수행할 수 있다. 컴퓨팅 장치는 예컨대, 이미지의 소스의 색상 변화율의 측정, 이미지 복잡도의 측정 및 이미지 소스 내 오브젝트에 대한 구조 유사도 측정 중 적어도 하나를 수행할 수 있다. 일부 예시에서, 컴퓨팅 장치는 이미지 소스 내에서 색상 변화율을 측정할 수 있으며, 측정된 색상 변화율이 미리 정해진 범위 내에 있는 구간을 설정할 수 있다. 일부 다른 예시에서, 컴퓨팅 장치는 이미지 소스 내에서 이미지 복잡도를 측정할 수 있으며, 복잡도가 소정의 범위 내인 구간을 학습 구간으로서 설정할 수 있다. 일부 또 다른 예시에서, 컴퓨팅 장치는 이미지 소스 내에서 구조 유사도를 측정할 수 있다. 이미지 소스 내에는 미리 정의된 장애 요소가 있을 수 있으며, 컴퓨팅 장치는 이러한 장애 요소가 포함되지 않도록 학습 구간으로 설정할 수 있다. 프로세스(400)는 블록(420)에서 레이블 이미지를 추출하는 블록(430)으로 이어질 수 있다.

블록(430)에서, 컴퓨팅 장치는 블록(420)에서 설정된 학습 구간으로부터 레이블 이미지를 추출할 수 있다. 컴퓨팅 장치는 이미지 소스에 대하여 설정된 학습 구간 내에서, 이미지 소스로부터 레이블 이미지를 결정할 수 있다. 레이블 이미지는 이미지 소스 내에 포함된 주된 오브젝트를 포함하는 이미지로서, 대표적인 이미지를 지칭할 수 있다. 일부 예시에서, 컴퓨팅 장치는 임의의 방식으로 레이블 이미지를 추출할 수 있다. 일부 다른 예시에서, 컴퓨팅 장치는 학습 구간의 중심에 위치한 중심 이미지를 레이블 이미지로서 추출할 수 있다. 일부 또 다른 예시에서, 컴퓨팅 장치는 학습 구간 내에서 추출되는 복수의 이미지 중에서 소정의 조건을 만족하는 이미지를 레이블 이미지로서 결정할 수 있다. 프로세스(400)는 블록(430)으로부터 적어도 하나의 인접 이미지를 추출하는 블록(440)으로 이어질 수 있다.

블록(440)에서, 컴퓨팅 장치는 블록(420)에서 설정된 학습 구간 및 블록(430)에서 추출된 레이블 이미지에 기초하여 적어도 하나의 인접 이미지를 추출할 수 있다. 일부 예시에서, 컴퓨팅 장치는 레이블 이미지를 학습 구간의 기준 이미지로서 이용하여, 레이블 이미지로부터 소정의 간격이 떨어진 이미지를 인접 이미지로서 추출할 수 있다. 일부 다른 예시에서, 컴퓨팅 장치는 레이블 이미지와의 구조 유사도가 소정의 값(예컨대, 0.9) 이상인 이미지를 인접 이미지로서 추출할 수 있다. 프로세스(400)는 블록(440)으로부터 학습 데이터를 생성하는 블록(450)으로 이어질 수 있다.

블록(450)에서, 컴퓨팅 장치는 블록(430)에서 추출된 레이블 이미지 및 블록(440)에서 추출된 적어도 하나의 인접 이미지에 기초하여, 유사 이미지 생성을 수행하는 머신러닝 모델의 학습 데이터를 생성할 수 있다. 일부 예시에서, 머신러닝 모델은 컴퓨팅 장치에 저장될 수 있다. 머신러닝 모델은 예컨대, GAN, Star GAN 등을 포함하는 다양한 유형의 인공지능 네트워크를 포함할 있다. 머신러닝 모델은 생성된 학습 데이터를 이용하여, 학습을 수행할 수 있다. 일부 예시에서, 머신러닝 모델, 즉, 컴퓨팅 장치는 적어도 하나의 인접 이미지를 유사 이미지의 생성에 이용하고, 레이블 이미지를 생성된 유사 이미지의 판별에 사용되는 실제 이미지(real image)로서 이용할 수 있다.

도 5는 본 개시의 적어도 일부 실시예에 따라, 개시의 적어도 일부 실시예에 따라, 유사 이미지 생성에 관한 머신러닝 모델의 학습 데이터를 생성하는 데 이용될 수 있는 컴퓨터 프로그램 제품(500)을 도시한다. 예시적인 컴퓨터 프로그램 제품의 예시적인 실시예는 신호 베어링 매체(510)를 이용하여 제공된다. 일부 실시예에서, 하나 이상의 컴퓨터 프로그램 제품(500)의 신호 베어링 매체(510)는 컴퓨터 판독가능 매체(530) 및/또는 기록 가능 매체(540)를 포함할 수 있다.

신호 베어링 매체(510)에 포함된 명령어(520)는 유사 이미지 생성 장치(100)와 같은 컴퓨팅 장치에 의해 실행될 수 있다. 따라서, 컴퓨팅 장치는 머신러닝 기반의 이미지 생성을 수행하는 머신러닝 모델의 학습 데이터를 생성하는 명령어(520)를 포함할 수 있다. 명령어(520)가 실행되면, 이미지 소스를 획득하기 위한 하나 이상의 명령어; 이미지 소스를 분석하여 이미지 소스 내의 학습 구간을 설정하기 위한 하나 이상의 명령어; 설정된 학습 구간으로부터 레이블 이미지를 추출하기 위한 하나 이상의 명령어; 설정된 학습 구간 및 레이블 이미지에 기초하여, 적어도 하나의 인접 이미지를 추출하기 위한 하나 이상의 명령어; 또는 레이블 이미지 및 적어도 하나의 인접 이미지에 기초하여, 머신러닝 모델에 입력하기 위한 학습 데이터를 생성하기 위한 하나 이상의 명령어 중 적어도 하나를 포함한다.

도 6은 본 개시의 적어도 일부 실시예에 따라 배열되는 컴퓨팅 장치(600)의 예시적인 실시예의 블록도이다. 일 예시적인 기본적인 구성(602)에서, 컴퓨팅 장치(600)는 하나 이상의 프로세서(604) 및 시스템 메모리(606)를 포함할 수 있다. 메모리 버스(608)는 프로세서(604) 및 시스템 메모리(606) 사이에서 통신하기 위하여 이용될 수 있다.

요구되는 구성에 따라, 프로세서(604)는 마이크로 프로세서(μP), 마이크로 컨트롤러(μC), 디지털 신호 프로세서(DSP), 또는 그들의 임의의 조합을 포함하는 임의의 유형일 수 있으나, 이에 제한되지는 않는다. 프로세서(604)는 레벨 1 캐시(610), 레벨 2 캐시(612)와 같은 하나 이상의 레벨(level)의 캐시(cache), 프로세서 코어(614), 및 레지스터(616)를 포함할 수 있다. 프로세서 코어(614)는 산술 논리 연산장치(arithmetic logic unit; ALU), 부동 소수점 장치(floating point unit; FPU), 디지털 신호 처리 코어(DSP Core), 또는 그들의 임의의 조합을 포함할 수 있다. 메모리 컨트롤러(618)는 또한 프로세서(604)와 함께 사용될 수 있거나, 또는 일부 구현예에서 메모리 컨트롤러(618)는 프로세서(604)의 내적인 일부일 수 있다.

요구되는 구성에 따라, 시스템 메모리(606)는 (RAM과 같은) 휘발성 메모리, (ROM, 플래시 메모리 등과 같은) 비휘발성 메모리, 또는 그들의 임의의 조합을 포함하는 임의의 유형일 수 있으나, 이에 제한되지는 않는다. 시스템 메모리(606)는 운영 체제(620), 하나 이상의 어플리케이션(application)(622), 및 프로그램 데이터(624)를 포함할 수 있다. 어플리케이션(622)은 도 1의 유사 이미지 생성 장치(100) 및/또는 도 4의 프로세스(400)에 관하여 기술된 기능 블록 및/또는 작용을 포함하여 여기에서 기술된 바와 같은 기능을 수행하도록 배열된 알고리즘(626)을 포함할 수 있다. 프로그램 데이터(624)는, 알고리즘 (626)과 함께 이용하기 위한 데이터(628), 예컨대, 정적 네트워크 환경 등에 해당하는 데이터를 포함할 수 있다. 일부 실시예에서, 어플리케이션(622)은 최적의 전송 환경을 결정하기 위한 구현이 여기에서 설명된 바와 같이 제공될 수 있도록 운영 체제(620) 상에서 프로그램 데이터(624)로 동작하도록 배열될 수 있다. 예컨대, 유사 이미지 생성 장치(100)은 컴퓨팅 장치(600)의 전부 또는 일부를 포함할 수 있으며 최적의 전송 환경을 결정하는 구현이 여기에서 설명된 바와 같이 제공될 수 있도록 어플리케이션(622)의 전부 또는 일부를 수행하는 것이 가능할 수 있다. 이러한 기술된 기본적인 구성은 도 6에서 파선(602) 내의 그 구성요소들에 의해 도시된다.

컴퓨팅 장치(600)는 기본적인 구성(602) 및 임의의 요구되는 장치 및 인터페이스(interface) 사이의 통신을 용이하게 하도록 추가적인 특징 또는 기능, 및 추가적인 인터페이스를 가질 수 있다. 예를 들어, 버스/인터페이스 컨트롤러(630)는 저장부 인터페이스 버스(634)를 통한 기본적인 구성(602) 및 하나 이상의 데이터 저장 장치(632) 사이의 통신을 용이하게 하도록 사용될 수 있다. 데이터 저장 장치(632)는 이동식 저장 장치(636), 고정식 저장 장치(638), 또는 그 조합일 수 있다. 이동식 저장 장치 및 고정식 저장 장치의 예를 몇 가지 들자면, 플렉서블 디스크 드라이브(flexible disk drive) 및 하드 디스크 드라이브(HDD)와 같은 자기 디스크 장치, 컴팩트 디스크(CD) 드라이브 또는 디지털 다목적 디스크(DVD) 드라이브와 같은 광 디스크 드라이브, 고체 상태 드라이브(SSD), 및 테이프 드라이브 등을 포함한다. 예시적인 컴퓨터 저장 매체는 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈(program module), 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술에서 구현되는 휘발성 및 비휘발성의 이동식 및 고정식 매체를 포함할 수 있다.

시스템 메모리(606), 이동식 저장 장치(636) 및 고정식 저장 장치(638)는 모두 컴퓨터 저장 매체의 예이다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, 디지털 다목적 디스크(DVD) 또는 기타 광 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 요구되는 정보를 저장하도록 사용될 수 있고, 컴퓨팅 장치(700)에 의해 액세스될 수 있는 임의의 기타 매체를 포함하나, 이에 제한되지는 않는다. 임의의 그러한 컴퓨터 저장 매체는 컴퓨팅 장치(600)의 일부일 수 있다.

컴퓨팅 장치(600)는 또한 버스/인터페이스 컨트롤러(642)를 통한 다양한 인터페이스 장치(예컨대, 출력 인터페이스, 주변 인터페이스, 및 통신 인터페이스)로부터 기본적인 구성(602)으로의 통신을 용이하게 하기 위한 인터페이스 버스(642)를 포함할 수 있다. 예시적인 출력 장치(642)는 그래픽 처리 유닛(648) 및 오디오 처리 유닛(650)을 포함할 수 있으며, 이는 하나 이상의 A/V 포트(652)를 통하여 디스플레이 또는 스피커와 같은 다양한 외부 장치로 통신하도록 구성될 수 있다. 또한, 도 6에서 그래픽 처리 유닛(648)은 출력 장치의 컴포넌트로서 도시되었지만, 프로세서(604)에 더하여, 일부 구현예에 따른 연산을 수행하는 것이 가능하다. 본 개시에 따른 일부 실시예에 따르면, 그래픽 처리 유닛(648)은 예컨대, 신경망의 학습, 신경망에 따른 처리 등과 같은 다양한 신경망 관련 연산을 수행하도록 구성될 수 있다. 예시적인 주변 인터페이스(644)는 직렬 인터페이스 컨트롤러(654) 또는 병렬 인터페이스 컨트롤러(656)를 포함할 수 있으며, 이는 하나 이상의 I/O 포트(658)를 통하여 입력 장치(예컨대, 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치 등) 또는 기타 주변 장치(예컨대, 프린터, 스캐너 등)와 같은 외부 장치와 통신하도록 구성될 수 있다. 예시적인 통신 장치(646)는 네트워크 컨트롤러(660)를 포함하며, 이는 하나 이상의 통신 포트(664)를 통한 네트워크 통신 상에서의 하나 이상의 다른 컴퓨팅 장치(762)와의 통신을 용이하게 하도록 배열될 수 있다.

컴퓨팅 장치(600)는 또한 랩탑 컴퓨터나 랩탑이 아닌 컴퓨터 구성 둘 다를 포함하는 개인 컴퓨터로 구현될 수 있다. 또한, 컴퓨팅 장치(600)는 무선 기지국 또는 기타 무선 시스템 또는 장치의 일부로서 구현될 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수도 있다.

이상, 본 개시에서 청구하고자 하는 대상에 대해 구체적으로 살펴 보았다. 본 개시에서 청구된 대상은 앞서 기술한 특정 구현예로 그 범위가 제한되지 않는다. 예컨대, 어떤 구현예에서는 장치 또는 장치의 조합 상에서 동작 가능하게 사용되는 하드웨어의 형태일 수 있으며, 다른 구현예에서는 소프트웨어 및/또는 펌웨어의 형태로 구현될 수 있고, 또 다른 구현예에서는 신호 베어링 매체, 저장 매체와 같은 하나 이상의 물품을 포함할 수 있다. 여기서, CD-ROM, 컴퓨터 디스크, 플래시 메모리 등과 같은 저장 매체는, 예컨대 컴퓨팅 시스템, 컴퓨팅 플랫폼 또는 기타 시스템과 같은 컴퓨팅 장치에 의하여 실행될 때 앞서 설명한 구현예에 따라 해당 프로세서의 실행을 야기시킬 수 있는 명령을 저장할 수 있다. 이러한 컴퓨팅 장치는 하나 이상의 처리 유닛 또는 프로세서, 디스플레이, 키보드 및/또는 마우스와 같은 하나 이상의 입/출력 장치, 및 정적 랜덤 액세스 메모리, 동적 랜덤 액세스 메모리, 플래시 메모리 및/또는 하드 드라이브와 같은 하나 이상의 메모리를 포함할 수 있다.

전술한 상세한 설명에서는 블록도, 흐름도 및/또는 기타 예시를 통해 장치 및/또는 프로세스의 다양한 실시예를 설명하였다. 그러한 블록도, 흐름도, 및/또는 기타 예시는 하나 이상의 기능 및/또는 동작을 포함하게 되며, 당업자라면 블록도, 흐름도 및/또는 기타 예시 내의 각각의 기능 및/또는 동작이 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에 의해 개별적으로 혹은 집합적으로 구현될 수 있다는 점을 이해할 수 있을 것이다. 일 실시예에서, 본 개시에 기재된 대상의 몇몇 부분은 ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array), DSP(Digital Signal Processor) 또는 다른 집적의 형태를 통해 구현될 수 있다. 이와 달리, 본 개시의 실시예의 일부 양상은 하나 이상의 컴퓨터 상에 실행되는 하나 이상의 컴퓨터 프로그램(예를 들어, 하나 이상의 컴퓨터 시스템 상에 실행되는 하나 이상의 프로그램), 하나 이상의 프로세서 상에서 실행되는 하나 이상의 프로그램(예를 들어, 하나 이상의 마이크로프로세서 상에서 실행되는 하나 이상의 프로그램), 펌웨어 또는 이들의 실질적으로 임의의 조합으로써 전체적으로 또는 부분적으로 균등하게 집적 회로에서 구현될 수도 있으며, 소프트웨어 및/또는 펌웨어를 위한 코드의 작성 및/또는 회로의 설계는 본 개시에 비추어 당업자의 기술 범위 내에 속하는 것이다. 또한, 당업자라면, 본 개시의 대상의 매커니즘들이 다양한 형태의 프로그램 제품으로 분배될 수 있음을 이해할 것이며, 본 개시의 대상의 예시는 분배를 실제로 수행하는데 사용되는 신호 베어링 매체의 특정 유형과 무관하게 적용됨을 이해할 것이다.

특정 예시적 기법이 다양한 방법 및 시스템을 이용하여 여기에서 기술되고 도시되었으나, 당업자라면, 청구된 대상에서 벗어남이 없이, 다양한 기타의 수정 또는 등가물로의 치환 가능성을 이해할 수 있다. 추가적으로, 여기에 기술된 중심 개념으로부터 벗어남이 없이 특정 상황을 청구된 대상의 교시로 적응시키도록 많은 수정이 이루어질 수 있다. 따라서, 청구된 대상이 개시된 특정 예시로 제한되지 않으나, 그러한 청구된 대상은 또한 첨부된 청구범위 및 그 균등의 범위 내에 들어가는 모든 구현예를 포함할 수 있음이 의도된다.

본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위, 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

Claims (11)

1. 컴퓨팅 장치의 제어 하에서 수행되고, 머신러닝 기반의 유사 이미지 생성을 수행하는 머신러닝 모델의 학습 데이터를 생성하는, 학습 데이터 생성 방법으로서,
   이미지 소스를 획득하는 단계;
   상기 이미지 소스를 분석하여 상기 이미지 소스 내의 학습 구간을 설정하는 단계;
   상기 설정된 학습 구간으로부터 레이블 이미지를 추출하는 단계;
   상기 설정된 학습 구간 및 상기 레이블 이미지에 기초하여, 적어도 하나의 인접 이미지를 추출하는 단계; 및
   상기 레이블 이미지 및 상기 적어도 하나의 인접 이미지에 기초하여, 상기 머신러닝 모델에 입력하기 위한 학습 데이터를 생성하는 단계
   를 포함하는 학습 데이터 생성 방법.
2. 제1항에 있어서,
   상기 머신러닝 모델은 생성적 적대 신경망(Generative Adversarial Network)을 포함하는 것인, 학습 데이터 생성 방법.
3. 제1항에 있어서,
   상기 머신러닝 모델은 상기 적어도 하나의 인접 이미지를 유사 이미지의 생성에 이용하고, 상기 레이블 이미지를 상기 생성된 유사 이미지의 판별에 사용되는 실제 이미지(real image)로서 이용하는 것인, 학습 데이터 생성 방법.
4. 제1항에 있어서,
   상기 학습 구간을 설정하는 단계는
   상기 이미지 소스의 색상 변화율의 측정, 이미지 복잡도의 측정 및 상기 이미지 소스 내 오브젝트에 대한 구조 유사도 측정 중 적어도 하나를 수행하는 측정 단계; 및
   측정 단계의 결과가 미리 정해진 조건을 만족하도록 상기 이미지 소스 내 구간을 설정하는 단계를 포함하는, 학습 데이터 생성 방법.
5. 제1항에 있어서,
   상기 레이블 이미지를 추출하는 단계는
   상기 이미지 소스 내의 상기 학습 구간 내에서 중심 이미지를 상기 레이블 이미지로서 추출하는 단계를 포함하는 것인, 학습 데이터 생성 방법.
6. 제1항에 있어서,
   상기 적어도 하나의 인접 이미지를 추출하는 단계는, 상기 적어도 하나의 인접 이미지 각각과 상기 레이블 이미지 간의 구조 유사도가 미리 정해진 범위 내 이도록 해당 인접 이미지를 상기 학습 구간으로부터 추출하는 단계를 포함하는, 학습 데이터 생성 방법.
7. 유사 이미지 생성 장치로서,
   이미지 소스를 획득하는 이미지 소스 관리부;
   상기 이미지 소스를 분석하여 상기 이미지 소스 내의 학습 구간을 설정하는 학습 구간 설정부;
   상기 설정된 학습 구간으로부터 레이블 이미지를 추출하는 레이블 이미지 추출부;
   상기 설정된 학습 구간 및 상기 레이블 이미지에 기초하여, 적어도 하나의 인접 이미지를 추출하는 인접 이미지 추출부; 및
   머신러닝 기반의 이미지 생성을 수행하는 머신러닝 모델을 포함하고, 상기 머신러닝 모델을 이용하여 유사 이미지를 생성하고, 상기 레이블 이미지 및 상기 적어도 하나의 인접 이미지를 이용하여 상기 머신러닝 모델을 학습시키는 유사 이미지 생성부
   를 포함하는 유사 이미지 생성 장치.
8. 제7항에 있어서,
   상기 학습 구간 설정부는 상기 이미지 소스의 색상 변화율의 측정, 이미지 복잡도의 측정 및 상기 이미지 소스 내 오브젝트에 대한 구조 유사도 측정 중 적어도 하나를 수행하도록 구성되는 것인, 유사 이미지 생성 장치.
9. 제7항에 있어서,
   상기 인접 이미지 추출부는 상기 적어도 하나의 인접 이미지 각각과 상기 레이블 이미지 간의 구조 유사도가 미리 정해진 범위 내 이도록 해당 인접 이미지를 상기 학습 구간으로부터 추출하는 것인, 유사 이미지 생성 장치.
10. 제7항에 있어서,
    상기 이미지 소스, 상기 레이블 이미지 및 상기 적어도 하나의 인접 이미지로부터 메타 데이터를 추출하는 메타 데이터 추출부
    를 더 포함하고,
    상기 유사 이미지 생성부는 상기 메타 데이터를 더 이용하여 머신러닝 모델을 학습시키는 것인, 유사 이미지 생성 장치.
11. 머신러닝 기반의 이미지 생성을 수행하는 머신러닝 모델의 학습 데이터를 생성하는, 학습 데이터 생성 프로그램을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 학습 데이터 생성 프로그램은 컴퓨팅 장치에 의해 실행되는 경우,
    이미지 소스를 획득하는 동작;
    상기 이미지 소스를 분석하여 상기 이미지 소스 내의 학습 구간을 설정하는 동작;
    상기 설정된 학습 구간으로부터 레이블 이미지를 추출하는 동작;
    상기 설정된 학습 구간 및 상기 레이블 이미지에 기초하여, 적어도 하나의 인접 이미지를 추출하는 동작; 및
    상기 레이블 이미지 및 상기 적어도 하나의 인접 이미지에 기초하여, 상기 머신러닝 모델에 입력하기 위한 학습 데이터를 생성하는 동작
    을 수행하도록 하는 하나 이상의 명령어를 포함하는 것인, 컴퓨터 판독가능 저장 매체.

Images