KR101886754B1 - 머신 러닝을 위한 학습 이미지 생성 장치 및 방법 - Google Patents

머신 러닝을 위한 학습 이미지 생성 장치 및 방법 Download PDF

Info

Publication number
KR101886754B1
KR101886754B1 KR1020170056999A KR20170056999A KR101886754B1 KR 101886754 B1 KR101886754 B1 KR 101886754B1 KR 1020170056999 A KR1020170056999 A KR 1020170056999A KR 20170056999 A KR20170056999 A KR 20170056999A KR 101886754 B1 KR101886754 B1 KR 101886754B1
Authority
KR
South Korea
Prior art keywords
weapon system
image
information
specific
generating
Prior art date
Application number
KR1020170056999A
Other languages
English (en)
Inventor
오세윤
조성백
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020170056999A priority Critical patent/KR101886754B1/ko
Application granted granted Critical
Publication of KR101886754B1 publication Critical patent/KR101886754B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N99/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 머신 러닝(machine learning)용 학습을 위한 무기 체계 이미지를 생성하는 장치 및 방법에 대한 것으로, 특정 무기 체계에 대한 간접 정보, 및 배경 이미지를 입력받는 입력부와, 상기 특정 무기 체계에 대한 간접 정보에 근거하여 상기 특정 무기 체계의 3차원 객체인 무기 체계 객체를 생성하는 모델링부와, 상기 무기 체계 객체를 적어도 하나의 방향에서 바라보는 적어도 하나의 객체 이미지와 상기 배경 이미지를 합성하여, 적어도 하나의 합성 이미지를 생성하는 합성부와, 상기 적어도 하나의 합성 이미지를 저장하는 메모리 및, 상기 특정 무기 체계의 제원에 따라 상기 무기 체계 객체의 크기를 조절하고, 상기 크기가 조절된 무기 체계 객체에 대한 상기 적어도 하나의 객체 이미지를 생성 및, 상기 배경 이미지 상에서 사용자가 선택한 위치에 상기 객체 이미지가 표시되는 상기 적어도 하나의 합성 이미지를 생성하도록 상기 합성부를 제어하며, 상기 저장된 합성 이미지를 상기 특정 무기 체계에 대한 머신 러닝(machine learning) 학습 데이터로 상기 메모리에 저장하는 제어부를 포함하는 것을 특징으로 한다.

Description

머신 러닝을 위한 학습 이미지 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING A LEARNING IMAGE FOR MACHINE LEARNING}
본 발명은 머신 러닝(machine learning)용 학습을 위한 무기 체계 이미지를 생성하는 장치 및 방법에 대한 것이다.
기존의 머신 러닝 시스템의 개발에 있어서, 영상 분석용 딥 러닝(deep learning) 기술은, 기존 머신 러닝에서 요구되는 학습 데이터의 요구량을 크게 상회하는 수만 ~ 수백만 장의 학습 이미지 데이터를 필요로 한다. 그런데 상기 머신 러닝을 위한 학습 데이터의 경우, 일부 공개 되어있는 몇 종류의 표준 벤치마킹(benchmarking) 데이터 외에는 여러 가지 기술 외적인 요인으로 인해 학습 데이터의 확보가 어려운 실정이다. 이에 따라 상기 딥 러닝 기술에서 요구되는 대용량 학습 데이터의 확보 자체가 쉽지 않다는 문제가 있다.
특히 전차, 항공기 등과 같은 무기 체계 학습 이미지의 경우 분야의 특수성으로 인해 이미지의 출처가 매우 제한적이다. 따라서 머신 러닝 학습용 이미지 데이터를 수집 및 획득 하는데 많은 한계를 가지고 있다. 이에 따라 무기 체계의 머신 러닝 학습을 위한 학습용 입력 이미지를 대량으로 생성할 수 있는 방안이 절실히 필요한 상황이다.
본 발명은 전술한 문제를 해결하는 것을 목적으로 하는 것으로, 상기 머신 러닝 학습을 위한 무기 체계의 이미지를 대량으로 생산할 수 있는 장치 및 방법을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 학습 이미지 생성 장치는, 특정 무기 체계에 대한 간접 정보, 및 배경 이미지를 입력받는 입력부와, 상기 특정 무기 체계에 대한 간접 정보에 근거하여 상기 특정 무기 체계의 3차원 객체인 무기 체계 객체를 생성하는 모델링부와, 상기 무기 체계 객체를 적어도 하나의 방향에서 바라보는 적어도 하나의 객체 이미지와 상기 배경 이미지를 합성하여, 적어도 하나의 합성 이미지를 생성하는 합성부와, 상기 적어도 하나의 합성 이미지를 저장하는 메모리 및, 상기 특정 무기 체계의 제원에 따라 상기 무기 체계 객체의 크기를 조절하고, 상기 크기가 조절된 무기 체계 객체에 대한 상기 적어도 하나의 객체 이미지를 생성 및, 상기 배경 이미지 상에서 사용자가 선택한 위치에 상기 객체 이미지가 표시되는 상기 적어도 하나의 합성 이미지를 생성하도록 상기 합성부를 제어하며, 상기 저장된 합성 이미지를 상기 특정 무기 체계에 대한 머신 러닝(machine learning) 학습 데이터로 상기 메모리에 저장하는 제어부를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 입력부는, 특정 환경에 대한 환경 정보를 더 입력받도록 형성되며, 상기 합성부는, 가상 공간을 생성 및, 상기 가상 공간에 상기 환경 정보에 근거한 가상 환경을 조성하는 환경 시뮬레이션부를 더 포함하고, 상기 제어부는, 상기 가상 공간에 상기 가상 환경이 조성되면, 상기 무기 체계 객체를 상기 가상 공간의 일 지점에 배치하고, 상기 가상 환경에 따른 환경 효과가 상기 무기 체계 객체에 반영 및, 상기 환경 효과가 반영된 무기 체계 객체를 일 방향에서 바라보는 이미지를 상기 합성 이미지로 생성하도록 상기 합성부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 환경 정보는, 상기 가상 공간의 지형과 관련된 지역 정보, 위치 정보, 기후 정보, 날짜 및 시각에 대한 정보를 적어도 하나 포함하며, 상기 가상 환경에 따른 환경 효과는, 상기 지역 정보에 따른 지형 효과, 상기 위치 정보와 날씨 및 시각 정보에 따라 결정되는 태양 또는 달의 위치에 의한 그림자 효과, 및 상기 기후 정보에 따라 결정되는 눈 또는 비에 따른 눈 쌓임 효과 또는 물 반사 효과를 적어도 하나 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 입력부는, 상기 특정 무기 체계와 다른 이종의 물체에 관련된 정보를 더 입력받으며, 상기 제어부는, 상기 이종의 물체에 관련된 정보가 이미지인 경우, 상기 객체 이미지와 상기 배경 이미지가 합성된 합성 이미지에, 상기 이종의 물체에 관련된 이미지를 더 합성하여 상기 합성 이미지를 생성하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 입력부는, 상기 특정 무기 체계와 다른 이종의 물체에 관련된 정보를 더 입력받으며, 상기 제어부는, 상기 이종의 물체에 관련된 정보가 간접 정보인 경우, 상기 이종의 물체에 대응되는 3차원 객체인 이종 물체 객체를 더 생성하도록 상기 모델링부를 제어하며, 상기 무기 체계 객체가 상기 가상 공간의 일 지점에 배치될 때 상기 이종 물체 객체를 더 배치하며, 상기 가상 환경에 따른 환경 효과가 상기 무기 체계 객체와 상기 이종 물체 객체에 반영 및, 상기 환경 효과가 반영된 상기 무기 체계 객체와 상기 이종 물체 객체를 일 방향에서 바라보는 이미지를 상기 합성 이미지로 생성하도록 상기 합성부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 특정 무기 체계에 대한 간접 정보는, 상기 특정 무기 체계에 대한 평면도, 정면도, 측면도가 세부적으로 기재된 제원 정보나 도면 정보, 상기 특정 무기 체계의 사진 정보 또는 상기 특정 무기 체계의 외관이 표시된 이미지 정보, 및 상기 특정 무기 체계와 유사한 유사 모델의 이미지 또는 상기 유사 모델을 3차원 스캔한 유사 모델 정보 중 적어도 하나를 포함하는 것을 특징으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 학습 이미지 생성 방법은, 특정 무기 체계에 대한 간접 정보 및 상기 특정 무기 체계의 배경을 생성하기 위한 배경 정보를 입력받는 단계와, 상기 특정 무기 체계에 대한 간접 정보에 근거하여 상기 특정 무기 체계의 3차원 객체인 무기 체계 객체를 생성하는 단계와, 상기 무기 체계 객체를 적어도 하나의 방향에서 바라보는 적어도 하나의 객체 이미지를 생성하는 단계와, 상기 배경 정보에 근거하여 특정 무기 체계의 배경을 생성하고, 생성된 배경에 근거하여 상기 무기 체계 객체를 일 방향에서 바라보는 이미지를 포함하는 합성 이미지를 생성하는 단계 및, 상기 저장된 합성 이미지를 상기 특정 무기 체계에 대한 머신 러닝(machine learning) 학습 데이터로 저장하는 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 배경 정보는, 특정 배경 이미지이며, 상기 합성 이미지를 생성하는 단계는, 상기 무기 체계 객체를 적어도 하나의 방향에서 바라보는 적어도 하나의 객체 이미지와 상기 배경 이미지를 합성하여, 적어도 하나의 합성 이미지를 생성하는 단계임을 특징으로 한다.
일 실시 예에 있어서, 상기 배경 정보는, 특정 환경에 대한 환경 정보이며, 상기 합성 이미지를 생성하는 단계는, 가상 공간을 생성하는 단계와, 상기 가상 공간에 상기 환경 정보에 근거한 가상 환경을 조성하는 단계 및, 상기 무기 체계 객체를 상기 가상 공간의 일 지점에 배치하고, 상기 가상 환경에 따른 환경 효과를 상기 가상 공간에 배치된 상기 무기 체계 객체에 반영 및, 상기 환경 효과가 반영된 무기 체계 객체를 일 방향에서 바라보는 이미지를 상기 합성 이미지로 생성하는 단계를 더 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 환경 정보는, 상기 가상 공간의 지형과 관련된 지역 정보, 위치 정보, 기후 정보, 날짜 및 시각에 대한 정보를 적어도 하나 포함하며, 상기 가상 환경에 따른 환경 효과는, 상기 지역 정보에 따른 지형 효과, 상기 위치 정보와 날씨 및 시각 정보에 따라 결정되는 태양 또는 달의 위치에 의한 그림자 효과, 및 상기 기후 정보에 따라 결정되는 눈 또는 비에 따른 눈 쌓임 효과 또는 물 반사 효과를 적어도 하나 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 간접 정보 및 배경 정보를 입력받는 단계는, 상기 특정 무기 체계와 다른 이종의 물체에 관련된 이미지를 입력받는 단계를 더 포함하고, 상기 합성 이미지를 생성하는 단계는, 상기 합성 이미지에, 상기 이종의 물체에 관련된 이미지를 더 합성하는 단계를 더 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 간접 정보 및 배경 정보를 입력받는 단계는, 상기 특정 무기 체계와 다른 이종의 물체에 관련된 간접 정보를 입력받는 단계를 더 포함하고, 상기 무기 객체를 생성하는 단계는, 상기 이종의 물체에 대응되는 3차원 객체인 이종 물체 객체를 생성하는 단계를 더 포함하며, 상기 환경 효과가 반영된 무기 체계 객체의 이미지를 합성 이미지로 생성하는 단계는, 상기 무기 체계 객체와 상기 이종 물체 객체를 상기 가상 공간에 배치하고, 상기 가상 환경에 따른 환경 효과를 상기 무기 체계 객체와 상기 이종 물체 객체에 반영 및, 상기 환경 효과가 반영된 무기 체계 객체와 상기 이종 물체 객체를 일 방향에서 바라본 이미지를 상기 합성 이미지로 생성하는 단계임을 특징으로 한다.
일 실시 예에 있어서, 상기 특정 무기 체계에 대한 간접 정보는, 상기 특정 무기 체계에 대한 평면도, 정면도, 측면도가 세부적으로 기재된 제원 정보나 도면 정보, 상기 특정 무기 체계의 사진 정보 또는 상기 특정 무기 체계의 외관이 표시된 이미지 정보, 및 상기 특정 무기 체계와 유사한 유사 모델의 이미지 또는 상기 유사 모델을 3차원 스캔한 유사 모델 정보 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 무기 체계 학습 이미지 생성 장치 및 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 다양한 간접 정보에 근거하여 실제의 무기 체계에 대응되는 대량의 학습 이미지를 생성함으로써, 실제 무기 체계에 대한 학습 데이터들이 없는 경우에도 딥 러닝이 가능한 무기 체계 학습 이미지들을 생성할 수 있다는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 학습 이미지 생성 장치의 구성을 설명하기 위한 개념도이다.
도 2는 본 발명의 실시 예에 따른 학습 이미지 생성 장치에서, 간접 정보를 이용하여 무기 체계 학습 이미지를 생성하는 동작 과정을 도시한 흐름도이다.
도 3은 본 발명의 실시 예에 따른 학습 이미지 생성 장치가, 입력된 배경 이미지에 근거하여 합성 이미지를 생성하는 동작 과정을 도시한 흐름도이다.
도 4는 본 발명의 실시 예에 따른 학습 이미지 생성 장치가, 입력된 환경 정보에 근거하여 시뮬레이션된 환경 효과를 반영하여 합성 이미지를 생성하는 동작 과정을 도시한 흐름도이다.
도 5의 (a) 및 (b)는 본 발명의 실시 예에 따른 학습 이미지 생성 장치에 입력될 수 있는 무기 체계 도면 정보의 예를 도시한 예시도이다.
도 6a 내지 도 6b는 본 발명의 실시 예에 따른 학습 이미지 생성 장치에 입력될 수 있는 무기 체계 이미지 정보의 예들을 도시한 예시도들이다.
도 7은 본 발명의 실시 예에 따른 학습 이미지 생성 장치가, 입력된 무기 체계의 간접 정보들에 근거하여 모델링한 무기 체계 객체의 예를 도시한 예시도이다.
도 8의 (a) 내지 (c)는 본 발명의 실시 예에 따른 학습 이미지 생성 장치에서 생성된 합성 이미지들의 예들을 도시한 예시도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 동일하거나 유사한 구성요소에는 동일, 유사한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
먼저 도 1은 본 발명의 실시 예에 따른 학습 이미지 생성 장치(100)의 구성을 설명하기 위한 개념도이다.
도 1을 참조하여 살펴보면, 본 발명의 실시 예에 따른 학습 이미지 생성 장치(100)는 제어부(110)와, 상기 제어부(110)에 의해 제어되며, 상기 제어부(110)에 연결되는 입력부(120) 및 모델링부(130), 합성부(140), 그리고 메모리(150)를 포함하여 구성될 수 있다.
먼저 입력부(120)는 사용자로부터 각종 정보들을 입력받을 수 있다. 상기 입력부(120)는 실제 무기 체계에 대한 학습 데이터 또는 상기 실제 무기 체계에 대한 간접 정보를 입력받을 수 있으며, 모델링된 무기 체계 주변의 환경에 대한 다양한 환경 정보를 사용자로부터 입력받을 수 있다. 또는 상기 입력부(120)는 무기 체계 외에 다양한 다른 물체(이하 '이종 물체'라고 칭하기로 한다)에 대한 이미지를 더 입력받을 수 있다. 이하에서는 편의상, 상기 간접 정보를 입력받는 입력부를 제1 입력부(122)라고 칭하기로 하고, 상기 환경 정보를 입력받는 입력부를 제2 입력부라고 칭하기로 한다. 그리고 상기 이종 물체에 관련된 정보를 입력받는 입력부를 제3 입력부(126)라고 구분하여 설명하기로 한다.
여기서 상기 제1 입력부(122) 내지 제3 입력부(126)는 각각 서로 다른 입력 인터페이스를 가지는 서로 다른 입력부일 수도 있다. 또는 상기 제1 입력부(122) 내지 제3 입력부(126)는 일체형으로 구현되어, 하나의 입력부(120)를 형성할 수도 있다.
먼저 제1 입력부(122)는 상술한 바와 같이, 실제 무기 체계에 대한 학습 데이터 또는 다양한 간접 정보를 입력받을 수 있다. 여기서 상기 실제 무기 체계에 대한 학습 데이터는, 머신 러닝 학습용으로 미리 생성된 실제 무기 체계의 데이터일 수 있다. 상기 학습 데이터의 경우 머신 러닝을 위하여 제작된 것이므로, 제어부(110)는 상기 학습 데이터가 입력되면, 이를 바로 대응되는 무기 체계에 대한 머신 러닝 학습 데이터로 저장할 수 있다. 이러한 경우 해당 무기 체계에 대한 가장 정확한 머신 러닝 학습 데이터를 획득할 수 있으나, 상술한 종래 기술에서 언급한 바와 같이, 무기 체계의 특성상 이러한 학습 데이터는 획득하기 어렵다는 문제가 있다.
한편 간접 정보라는 것은, 실제 무기 체계에 대응되는 이미지 정보들을 포함할 수 있다. 예를 들어 특정 무기 체계의 이미지 정보 또는 평면도, 정면도, 우측면도, 좌측면도가 세부적으로 기재된 제원 정보나 도면 정보(예를 들어 CAD(Computer Aided Design) 도면 정보)등이 본 발명의 간접 정보가 될 수 있다.
이러한 간접 정보는, 전문적인 수단, 예를 들어 위성 촬영이나 원거리 항공 촬영 등을 통해 얻어질 수 있다. 그러나 이와는 달리, 인터넷 또는 다양한 경로 등을 통하여 쉽게 얻어질 수 있는 상기 무기 체계의 외관이 표시된 이미지들이 될 수도 있음은 물론이다. 예를 들어 미국 육군의 주력 전차인 M1 에이브람스 전차의 경우, 그 상세한 제원과 이미지, 그리고 정면과 후면을 비롯한 각 방위에서 촬영된 이미지들을 인터넷, 또는 밀리터리(Military) 잡지 등을 통해 쉽게 얻을 수 있다. 그리고 이렇게 얻어진 이미지 정보들은 본 발명의 실시 예에 따른 학습 이미지 생성 장치(100)에서 상기 M1 에이브람스 전차에 대한 머신 러닝 학습 데이터로 사용될 수 있다.
또한 상술한 예에서는 상기 간접 정보로서 이미지 정보의 예를 들었으나, 반드시 이미지 정보가 아니더라도 실제 무기 체계에 대한 모델 정보가 상기 간접 정보가 될 수도 있음은 물론이다. 즉, 특정 무기 체계, 예를 들어 M1 에이브라함 전차를 축소한 프라모델과 같이, 실제 무기 체계와 유사한 모델의 경우, 상기 모델의 이미지 또는 상기 모델을 3차원 스캔한 3차원 정보 등은 얼마든지 본 발명에서 제1 입력부(122)를 통해 입력될 수 있는 간접 정보가 될 수 있다.
한편 제2 입력부(124)는 사용자로부터 입력되는 다양한 배경 이미지를 입력받을 수 있다. 이러한 배경 이미지는, 상기 제1 입력부(122)로부터 입력된 정보에 근거하여 모델링된 무기 체계 객체의 주변 배경을 형성하는데 이용될 수 있다. 즉 상기 배경 이미지는 상기 모델링된 객체(무기 체계 객체)와 합성되어, 상기 배경 이미지의 배경으로 상기 무기 체계를 포함하는 학습 이미지를 생성하는데 이용될 수 있다.
또한 상기 제2 입력부(124)는 사용자로부터 다양한 환경 정보를 입력받을 수도 있다. 예를 들어 제2 입력부(124)는 무기 체계가 위치할 지역(예 : 사막 지역, 정글 지역, 도심 지역, 북반구, 남반구)에 대한 정보를 입력받을 수 있다. 또한 학습 이미지로 생성할 무기 체계의 시각 정보(예 : 오전, 정오, 오후, 저녁, 밤 등)를 입력받을 수 있다. 또한 기온 등의 정보나 풍속과 풍향, 비 또는 눈의 유무와 강수량 또는 강설량을 입력받을 수 있다.
상기 제2 입력부(124)를 통해 입력되는 환경 정보는, 기 설정된 가상 공간에 가상 환경을 시뮬레이션하기 위해 사용될 수 있다. 또한 제어부(110)는 상기 가상 환경이 시뮬레이션된 가상 공간의 일 지점에, 모델링된 무기 체계의 객체를 위치시킴으로써 특정 가상 환경에 특정 무기 체계가 위치한 상황을 시뮬레이션할 수 있다. 이러한 경우 상기 가상 공간 내에 위치한 무기 체계 객체에는, 그림자나 눈, 비, 그리고 반사광, 모래 먼지 등, 현재 시물레이션된 가상 환경에 따른 환경 효과가 반영될 수 있다. 그리고 제어부(110)는 상기 환경 효과가 반영된 무기 체계 객체에 근거하여 상기 무기 체계에 대한 학습 이미지를 생성할 수 있다.
한편 상기 제3 입력부(126)는 무기 체계와는 다른 이종의 물체에 관련된 정보들을 사용자로부터 입력받을 수 있다. 예를 들어 상기 이종의 물체는, 사람 또는 일반 자동차, 건물 등 다양한 것이 있을 수 있다. 예를 들어 상기 이종의 물체에 관련된 정보는, 머신 러닝을 위해 미리 제작된 학습 데이터일 수 있다. 이러한 이종의 물체는 무기 체계와는 달리 상대적으로 학습 데이터의 획득이 훨씬 용이하기 때문이다.
한편, 상기 이종의 물체에 대한 다양한 정면도, 평면도, 좌측면도나 우측면도와 같은 도면 정보, 또는 간접 정보 역시, 상기 이종의 물체에 관련된 정보로서 상기 제3 입력부(126)를 통해 입력될 수 있다. 이러한 경우 제어부(110)는 상기 이종의 물체에 관련된 간접 정보에 근거하여 상기 이종의 물체에 대응되는 객체를 모델링할 수 있다. 이러한 경우 제어부(110)는, 상기 모델링된 이종 물체 객체의 이미지와, 현재 모델링된 무기 체계 객체의 이미지를 합성하여, 상기 이종 물체의 이미지를 포함하는 상기 무기 체계에 대한 머신 러닝 학습 데이터를 생성할 수 있다.
한편, 모델링부(130)는 상기 제1 입력부(122)로부터 입력되는 적어도 하나의 무기 체계 간접 정보를 이용하여 상기 실제 무기 체계에 대응되는 3차원 모델을 생성할 수 있다. 또는 상기 제3 입력부(126)로부터 입력되는 적어도 하나의 이종 물체 간접 정보에 근거하여 특정 이종 물체에 대한 3차원 모델을 생성할 수 있다. 예를 들어 모델링부(130)는 도면 정보가 입력되는 경우, 상기 도면 정보의 각 꼭지점을 기준으로 연관된 선분을 연결하여 3차원 모델 객체를 생성할 수 있다. 또는 간접 정보가 입력되는 경우, 간접 정보에 포함된 무기 체계 또는 이종 물체의 이미지를 추출하고 추출된 무기 체계 이미지 또는 이종 물체 이미지들에 근거하여 3차원 모델 객체를 생성할 수 있다. 한편 이처럼 간접 정보에 근거하여 3차원 모델을 생성하는 방법은 다양할 수 있으며, 상기 다양한 방법 중 적어도 하나에 근거하여 모델링부(130)는 3차원 모델인 무기 체계 객체 또는 이종 물체의 객체를 생성할 수 있다.
한편 제어부(110)는 상기 간접 정보에 포함된 제원 정보 또는 이미지에 포함된 축척 정보 등을 이용하여, 상기 간접 정보와, 상기 간접 정보와 대응되는 실제 무기 체계의 크기 차를 산출할 수 있다. 그리고 상기 제어부(110)는 대응되는 실제 무기 체계의 크기에 부합하도록 상기 모델링된 객체의 크기를 조정할 수도 있음은 물론이다. 또는 사용자의 입력에 따라 임의로 상기 모델링된 객체의 크기를 조절할 수도 있다.
한편 합성부(140)는 모델링부(130)를 통해 모델링된 무기 체계 객체를 이용하여 다양한 합성 이미지를 생성할 수 있다. 예를 들어 합성부(140)는 상기 모델링부(130)에서 무기 체계 객체가 생성되면, 생성된 무기 체계 객체와 상기 제2 입력부(124)를 통해 입력되는 배경 이미지를 합성할 수 있다. 이러한 경우 제어부(110)는 상기 무기 체계 객체를 다른 방향에서 바라보는 합성 이미지의 생성을 사용자로부터 더 선택받을 수 있으며, 이러한 경우 제어부(110)는 무기 체계 객체를 다른 방향으로 회전시키고, 회전된 무기 체계와 상기 배경 이미지를 합성하여 다른 합성 이미지를 더 생성할 수 있다. 그리고 이러한 과정을 반복하여 다량의 학습 이미지를 생성할 수 있다.
또한 합성부(140)는 환경 시뮬레이션부(142)를 더 포함할 수 있다. 예를 들어 상기 환경 시뮬레이션부(142)는 가상 공간을 생성하고, 상기 가상 공간에 상기 제2 입력부(124)를 통해 입력되는 환경 정보에 따른 가상 환경을 조성할 수 있다. 예를 들어 환경 시뮬레이션부(142)는 '사막 지역'이 선택되는 경우, 사막 지역에 대응되는 기 저장된 지역별 배경 정보에 근거하여 사막 지형을 생성할 수 있다. 또한 '도심 지역' 이나 '정글 지역' 역시, 기 저장된 건물 또는 나무나 숲 등의 지형 지물 객체를 랜덤하게 배치하여, 상기 '도심 지역' 이나 '정글 지역' 에 대응되는 가상 환경을 조성할 수 있다. 한편 상기 가상 환경은, 사용자로부터 입력되는 특정 지역의 위치 정보 및 날짜, 시각 정보 중 적어도 하나가 있는 경우, 상기 특정 지역의 위치 및 입력된 날짜, 시각에 따라 태양의 위치를 시뮬레이션할 수 있다. 또한 비 또는 눈과 같은 기후 정보가 입력되는 경우, 입력된 기후 정보를 더 반영하여 상기 가상 환경을 조성할 수 있다.
한편 상기 가상 환경이 조성되면, 제어부(110)는 상기 모델링부(130)를 통해 생성된 무기 체계 객체를 상기 가상 공간 내의 일 지점에 배치할 수 있다. 그리고 제어부(110)는 상기 가상 환경에 따른 환경 효과를 상기 무기 체계 객체에 반영할 수 있다. 예를 들어 제어부(110)는 시뮬레이션된 태양이 위치에 따라 무기 체계 객체 주변에 드리워진 그림자를 생성할 수 있으며, 눈 또는 비에 의한 영향, 즉 환경 효과를 상기 무기 체계 객체에 반영(예 : 쌓인 눈 또는 빗물로 인한 광택, 또는 빗물로 인한 진흙 등)할 수 있다.
한편 이처럼 무기 체계 객체에 환경 효과가 반영되면, 제어부(110)는 환경 효과가 반영된 무기 체계 객체의 이미지와 상기 가상 환경이 조성된 가상 공간 일부의 이미지를 포함하는 합성 이미지를 생성할 수 있다. 예를 들어 합성부(140)는 상기 가상 공간에서 상기 무기 체계 객체를 일 방향에서 바라보는 이미지를 저장함으로써 상기 합성 이미지를 생성할 수 있다.
한편 상기 합성부(140)는 이종 물체 객체 또는 이종 물체 이미지를 더 포함하는 합성 이미지를 생성할 수도 있다. 예를 들어 합성부(140)는 배경 이미지와 합성된 무기 체계 객체의 이미지에 상기 이종 물체의 이미지를 더 추가하여 합성 이미지를 생성하거나 또는 상기 무기 체계 객체 주변에 상기 이종 물체 객체를 위치시킨 후, 상기 무기 체계 객체와 이종 물체 객체의 배경으로 배경 이미지를 합성하여 상기 이종 물체가 더 포함된 합성 이미지를 생성할 수 있다.
또는 상기 합성부(140)는 상기 가상 환경이 조성된 가상 공간 내에 상기 무기 체계 객체를 배치하고, 그 주변에 상기 이종 물체 객체를 배치하여 상기 무기 체계 객체와 이종 물체 객체를 포함하는 이미지를 저장함으로써 상기 이종 물체가 더 포함된 합성 이미지를 생성할 수도 있다.
한편 메모리(150)는 상기 제어부(110) 및 상기 제어부(110)와 연결된 각 구성요소에서 필요로 하는 각종 데이터를 포함할 수 있다. 또한 상기 메모리(150)는 상기 합성부(140)에서 합성된 학습 이미지를, 특정 무기 체계에 대응되는 학습 데이터로 저장할 수 있다. 이러한 경우 상기 메모리(150)는 데이터베이스의 형태로 상기 학습 데이터들을 저장할 수 있다.
한편 제어부(110)는 상술한 바와 같이 연결된 각 구성요소들의 동작을 제어할 수 있다. 제어부(110)는 상기 제1 입력부(122) 내지 제3 입력부(126)를 통해 입력되는 정보를 입력받을 수 있으며, 입력되는 정보들에 따라 모델링된 특정 무기 체계의 3차원 객체를 생성하거나 또는 이종 물체의 3차원 객체를 생성하도록 상기 모델링부(130)를 제어할 수 있다. 또한 상기 합성부(140)를 제어하여, 입력된 배경 이미지를 배경으로 하는 상기 무기 체계 객체의 이미지를 생성하거나, 또는 상기 환경 시뮬레이션부(142)를 통해 조성된 가상 환경에 따라 환경 효과가 부여된 상기 무기 체계의 이미지를 생성할 수 있다. 뿐만 아니라 상기 제어부(110)는 상기 특정 무기 체계의 이미지에, 이종 물체의 이미지가 더 포함된 합성 이미지를 생성하도록 하거나, 또는 상기 특정 무기 체계의 객체 주변에 상기 이종 물체 객체를 더 배치하고, 상기 특정 무기 체계 객체와 상기 이종 물체 객체를 포함하는 이미지를 생성하도록 상기 합성부(140)를 제어할 수도 있다.
한편 제어부(110)는 상기 합성부(140)를 제어한 결과 생성되는 이미지를, 특정 무기 체계의 머신 러닝 학습을 위한 학습 데이터로 상기 메모리(150)에 저장할 수 있다. 예를 들어 제어부(110)는 상기 생성된 이미지들을, 머신 러닝 학습을 시키고자 하는 대상 시스템의 신경망 시스템이 접속할 수 있는 데이터베이스의 형태로 상기 메모리(150)에 저장할 수 있다. 이러한 경우 상기 대상 시스템은, 상기 제어부(110)를 통해 메모리(150)에 저장된 상기 특정 무기 체계의 이미지들을 학습 데이터로 제공받을 수 있다.
한편 도 2는 이러한 본 발명의 실시 예에 따른 학습 이미지 생성 장치(100)에서, 간접 정보를 이용하여 무기 체계 학습 이미지를 생성하는 동작 과정을 도시한 흐름도이다.
이하의 설명에서는 상기 제1 입력부(122)가 특정 무기 체계에 대해 머신 러닝 학습을 데이터를 수신하는 경우는 편의상 제외하고 설명하기로 한다. 상술한 바와 같이 상기 특정 무기 체계에 대해 머신 러닝 학습을 데이터의 경우 제어부(110)는 상기 입력된 데이터를 해당 무기 체계에 대한 학습 데이터로 바로 메모리(150)에 저장할 수 있다. 따라서 이하의 설명에서는 상기 제1 입력부(122)는 특정 무기 체계에 대한 정면도, 측면도, 평면도, 배면도 등과 같은 CAD(Computer Aided Design) 도면 정보를 포함하는 다양한 간접 정보를 입력받는 입력부일 수 있다.
도 2를 참조하여 살펴보면, 먼저 본 발명의 실시 예에 따른 학습 이미지 생성 장치(100)의 제어부(110)는 상기 제1 입력부(122)를 통해 특정 무기 체계에 대한 적어도 하나의 간접 정보를 획득할 수 있다(S200). 여기서 상기 간접 정보는, 해당 무기 체계에 대한 제원 정보나 도면 정보, 프라모델의 이미지와 같은 유사 모델 정보나, 해당 무기 체계의 사진 등과 같은 이미지 정보일 수 있다.
한편 제어부(110)는, 모델링부(130)를 통해 상기 S200 단계에서 획득된 간접 정보에 근거하여 상기 특정 무기 체계에 대한 3차원 모델링을 수행하여 기 특정 무기 체계에 대응되는 3차원 객체, 즉 무기 체계 객체를 생성할 수 있다(S202).
상기 모델링부(130)에서 무기 체계 객체가 생성되면, 제어부(110)는 합성부(140)를 제어하여 상기 특정 무기 체계의 이미지를 포함하는 적어도 하나의 합성 이미지를 생성할 수 있다(S204). 예를 들어 제어부(110)는, 상기 S204 단계에서 제2 입력부(124)로부터 입력되는 배경 이미지와 상기 특정 무기 체계 객체를 일 방향에서 바라본 이미지를 서로 합성하여, 상기 배경 이미지를 배경으로 하는 상기 특정 무기 체계의 이미지(합성 이미지)를 생성할 수 있다. 또는 제어부(110)는 상기 S204 단계에서 제2 입력부(124)로부터 입력된 환경 정보에 따라 기 설정된 가상 공간에 가상 환경을 조성하고, 상기 가상 공간 내에 상기 특정 무기 객체를 배치하여, 상기 가상 환경에 따른 환경 효과가 반영된 상기 특정 무기 객체의 이미지(합성 이미지)를 생성할 수 있다.
여기서 제어부(110)는 상기 제3 입력부(126)로부터 입력된 이종 물체 관련 정보가 있는 경우, 상기 배경 이미지를 이용하여 생성된 합성 이미지 또는 상기 환경 효과가 반영된 합성 이미지에 상기 이종 물체의 이미지가 더 합성된 합성 이미지를 생성할 수도 있다.
한편 상기 S204 단계에서 적어도 하나의 합성 이미지가 생성되면, 제어부(110)는 상기 생성된 합성 이미지를, 상기 특정 무기 체계에 대한 학습 데이터로서 저장할 수 있다(S206). 이러한 경우 상기 합성 이미지들은 상기 특정 무기 체계에 대응되는 데이터베이스의 형태로 저장될 수 있으며, 머신 러닝을 수행하고자 하는 대상 시스템에서 요구되는 형식에 따라 저장될 수 있다(S206).
한편 하기의 도 3 및 도 4는 상술한 바와 같이 배경 이미지를 이용하여 합성 이미지를 생성하는 과정 및 상기 환경 효과가 반영된 합성 이미지를 생성하는 과정을 보다 자세하게 설명한 것이다.
한편 이하의 설명에서, 이종의 물체에 관련된 정보가 도면 정보, 유사 모델 정보 또는 사진 등의 이미지 정보인 경우, 상기 모델링부(130)는 무기 객체의 모델링 뿐만 아니라 상기 이종 물체에 대한 모델링을 더 수행할 수도 있다. 따라서 상기 모델링부(130)의 모델링 결과, 상기 이종 물체의 간접 정보로부터 상기 이종 물체에 대응되는 3차원 객체인 이종 물체 객체가 생성될 수 있다. 따라서 이하의 설명에서는 상기 이종의 물체에 관련된 간접 정보가 입력될 경우, 상기 모델링부(130)가 상기 이종 물체 객체에 대한 모델링을 수행하여 상기 이종 물체 객체를 생성하는 것을 가정하여 설명하기로 한다.
먼저 도 3은 상술한 바와 같이, 본 발명의 실시 예에 따른 학습 이미지 생성 장치(100)가, 상기 S204 단계에서 제2 입력부(124)를 통해 입력된 배경 이미지에 근거하여 합성 이미지를 생성하는 동작 과정을 도시한 흐름도이다. 하기 도 3의 설명에서는, 상기 제2 입력부(124)를 통해, 사용자가 배경 이미지를 입력한 경우를 가정하여 설명하기로 한다.
도 3을 참조하여 살펴보면, 제어부(110)는 먼저 모델링부(130)에서 모델링된 무기 체계 객체를 사용자의 선택에 따른 일 방향에서 바라보는 객체 이미지를 생성할 수 있다(S300). 그리고 상기 객체 이미지가 생성되면, 제어부(110)는 상기 객체 이미지와 상기 제2 입력부(124)를 통해 입력된 배경 이미지를 서로 합성할 수 있다(S302).
일 예로, 상기 S302 단계는 상기 배경 이미지 위에, 상기 객체 이미지를 배치시키는 과정일 수 있다. 이러한 경우 상기 객체 이미지의 주변으로, 상기 객체 이미지에 의해 가려지지 않은 상기 배경 이미지의 나머지 부분들이 보여지는 이미지가 생성될 수 있다. 즉, 상기 배경 이미지에서 상기 객체 이미지에 의해 가려지지 않는 부분들이, 상기 객체 이미지의 배경으로 표시되는 이미지가 생성될 수 있다.
한편 상기 S302 단계는, 상기 제3 입력부(126)로부터 입력된 이종 물체의 이미지를 더 합성하는 단계를 더 포함할 수 있다. 예를 들어 제어부(110)는 사용자로부터 적어도 하나의 이종 물체가 선택되는 경우, 상기 배경 이미지와 객체 이미지가 합성된 이미지에 상기 이종 물체의 이미지를 더 배치할 수 있다. 이러한 경우 상기 S302 단계는 상기 배경 이미지와 상기 객체 이미지, 그리고 적어도 하나의 이종 물체의 이미지를 합성하여 상기 합성 이미지를 생성할 수도 있다.
한편 상기 합성 이미지가 생성되면, 제어부(110)는 사용자의 선택에 따라 다른 방향에서 상기 무기 체계 객체를 바라보는 다른 객체 이미지를 더 생성할 수 있다. 이러한 경우 상기 다른 객체 이미지에 대해 상기 S302 단계가 더 수행될 수 있으며, 상기 다른 객체 이미지에 대한 다른 합성 이미지가 더 생성될 수 있다. 즉, 제어부(110)는 사용자의 선택에 따라 무기 객체 모델을 바라보는 방향을 변경하며 상기 S300 단계 내지 S302 단계를 반복 수행할 수 있다(S304).
그리고 상기 도 3의 과정들을 통해 생성된 적어도 하나의 합성 이미지들은 상기 도 2의 S206 단계에서 상기 특정 무기 체계에 대한 학습 데이터로 저장될 수 있다.
도 4는 상술한 바와 같이, 본 발명의 실시 예에 따른 학습 이미지 생성 장치(100)가, 상기 S204 단계에서 입력된 환경 정보에 근거하여 시뮬레이션된 환경 효과를 반영하여 합성 이미지를 생성하는 동작 과정을 도시한 흐름도이다. 하기 도 4의 설명에서는, 상기 제2 입력부(124)를 통해, 사용자가 다양한 환경 정보를 입력한 경우를 가정하여 설명하기로 한다.
도 4를 참조하여 살펴보면, 보 발명의 실시 예에 따른 학습 이미지 생성 장치(100)의 제어부(110)는 먼저 환경 시뮬레이션부(142)를 제어하여 상기 모델링된 무기 체계 객체를 수용할 수 있는 일정 크기의 가상 공간을 생성할 수 있다(S400). 그리고 제어부(110)는 상기 입력된 환경 정보에 근거하여 상기 가상 공간에 가상 환경을 조성할 수 있다(S402).
예를 들어 제어부(110)는 사용자가 입력하는 지역 정보에 근거하여 상기가상 공간의 지역을 형성할 수 있다. 즉, 사막 지역인 경우, 제어부(110)는 상기 가상 공간의 지면을 모래 언덕(사구) 등으로 형성할 수 있으며, 정글 지역인 경우 나무들과 숲이 우거진 지형을 형성할 수 있다. 또한 사용자로부터 입력된 위도, 경도, 또는 북반구, 남반구와 같은 위치 정보 및, 날짜와 시각 정보에 근거하여 태양 또는 달의 위치를 결정할 수 있다. 또한 바람이나 비, 또는 눈과 같은 기후 정보가 입력되는 경우, 상기 입력된 기후 정보에 따른 가상 환경을 조성할 수 있다.
한편 상기 가상 공간에 가상 환경이 조성되면, 제어부(110)는 상기 모델링된 무기 체계 객체를 상기 가상 환경이 조성된 가상 공간 내의 일 지점에 배치시킬 수 있다(S404). 예를 들어 상기 무기 체계 객체는 상기 가상 공간 내에서 사용자로부터 지정되는 일 지점에 배치될 수 있다.
여기서 상기 S404 단계는, 상기 제3 입력부(126)로부터 입력된 이종 물체의 간접 정보로부터 생성된 이종 물체 객체를 더 배치하는 단계를 더 포함할 수 있다. 예를 들어 제어부(110)는 사용자로부터 입력된 이종 물체의 간접 정보에 근거하여 상기 이종 물체의 3차원 객체(이종 물체 객체)를 생성하도록 상기 모델링부(130)를 제어할 수 있다. 그리고 상기 가상 공간 내에 상기 무기 체계 객체가 배치된 상태에서, 사용자의 선택에 따라 적어도 하나의 이종 물체 객체를 더 배치할 수 있다.
한편 상기 S404 단계에서 무기 체계 객체, 또는 적어도 하나의 이종 물체 객체와 상기 무기 체계 객체가 배치되면, 제어부(110)는 상기 무기 체계 객체, 또는 적어도 하나의 이종 물체 객체와 상기 무기 체계 객체에, 현재 조성된 가상 환경에 따른 환경 효과를 반영할 수 있다(S406). 예를 들어 제어부(110)는 현재 태양 또는 달의 위치에 따라 상기 이종 물체 객체 또는 무기 체계 객체 주변에 그림자를 생성할 수 있다. 또는 비가 내리는 환경에 따라 상기 이종 물체 객체 또는 무기 체계 객체 표면에 묻은 물로 인한 물 반사 효과를 상기 무기 체계 객체 또는 이종 물체 객체 표면에 표시할 수 있다. 또는 눈이 내리는 가상 환경에 따라 눈이 쌓여 있는 모양을 상기 무기 체계 객체 또는 이종 물체 객체 표면에 표시할 수도 있다.
한편 이처럼 무기 체계 객체 또는 적어도 하나의 이종 물체 객체와 상기 무기 체계 객체에 환경 효과가 반영되면, 제어부(110)는 상기 환경 효과가 반영된 무기 체계 객체 또는 적어도 하나의 이종 물체 객체와 상기 무기 체계 객체를, 일 방향에서 바라보는 이미지를 생성할 수 있다(S408). 이러한 경우 제어부(110)는 사용자의 선택에 따라 상기 환경 효과가 반영된 상기 무기 체계 객체 또는 상기 적어도 하나의 이종 물체 객체와 상기 무기 체계 객체를, 다른 방향에서 바라보는 이미지를 더 생성할 수 있다(S410).
한편 상기 S410 단계는, 사용자로부터 다른 환경 정보가 입력되는 경우, 상기 S400 단계 내지 S406 단계를 다시 수행하는 과정이 될 수도 있다. 이러한 경우 상기 다른 환경 정보에 따라 다른 가상 환경이 조성될 수 있으며, 상기 다른 가상 환경에 따라 다른 환경 효과가 반영된 무기 체계 객체 또는 적어도 하나의 이종 물체 객체와 상기 무기 체계 객체의 이미지가 상기 S410 단계에서 생성될 수 있다.
한편 도 5의 (a) 및 (b)는 본 발명의 실시 예에 따른 학습 이미지 생성 장치(100)에 입력될 수 있는 무기 체계 도면 정보의 예를 도시한 예시도이다. 또한 도 6a 내지 도 6b는 본 발명의 실시 예에 따른 학습 이미지 생성 장치(100)에 입력될 수 있는 무기 체계 이미지 정보의 예들을 도시한 예시도들이다.
한편 상기 도 5의 (a) 및 (b), 또는 도 6a 및 도 6b와 같은 간접 정보들이 제1 입력부(122)를 통해 입력되면, 제어부(110)는 상기 모델링부(130)를 통해 입력된 간접 정보에 대응되는 무기 체계 객체를 모델링할 수 있다. 도 7은 이처럼 본 발명의 실시 예에 따른 학습 이미지 생성 장치(100)가, 입력된 무기 체계의 간접 정보들에 근거하여 모델링한 무기 체계 객체의 예를 도시한 예시도이다.
한편 도 8의 (a) 내지 (c)는 본 발명의 실시 예에 따른 학습 이미지 생성 장치(100)에서 생성된 합성 이미지들의 예들을 도시한 예시도이다.
먼저 도 8의 (a)는 본 발명의 실시 예에 따른 학습 이미지 생성 장치(100)에서 모델링부(130)에서 생성된 무기 체계 객체를 일 방향에서 바라본 객체 이미지의 예를 보이고 있는 것이다. 이러한 상태에서 제어부(110)는 상기 제2 입력부(124)를 통해 입력되는 배경 이미지와 상기 무기 체계 객체의 객체 이미지(도 8의 (a))를 합성할 수 있다. 이러한 경우, 도 8의 (b)에서 보이고 있는 것과 같은 합성 이미지가 생성될 수 있다.
한편 본 발명의 실시 예에 따른 학습 이미지 생성 장치(100)는 적어도 하나의 이종 물체를 더 포함하는 합성 이미지를 생성할 수 있음을 언급한 바 있다. 예를 들어 상기 이종 물체가 복수의 사람인 경우, 제어부(110)는 도 8의 (c)에서 보이고 있는 바와 같이, 상기 복수의 사람의 이미지를 더 포함하는 합성 이미지를 생성할 수 있다.
그리고 이처럼 생성된 합성 이미지들은, 상기 무기 체계에 대응되는 머신 러닝 학습 데이터로 저장될 수 있으며, 대상 시스템에서 상기 무기 체계를 인식 및 식별과 관련된 학습을 위해 이용될 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 따라서 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100 : 학습 이미지 생성 장치
110 : 제어부 120 : 입력부
122 : 제1 입력부 124 : 제2 입력부
126 : 제3 입력부 130 : 모델링부
140 : 합성부 142 : 환경 시뮬레이션부
150 : 메모리부

Claims (13)

  1. 특정 무기 체계에 대한 머신 러닝을 위한 학습 이미지를 생성하는 장치에 있어서,
    상기 특정 무기 체계에 대한 간접 정보를 입력받는 입력부;
    상기 특정 무기 체계에 대한 간접 정보에 근거하여 상기 특정 무기 체계의 3차원 객체인 무기 체계 객체를 생성하는 모델링부;
    상기 무기 체계 객체를 적어도 하나의 방향에서 바라보는 적어도 하나의 합성 이미지를 생성하는 합성부;
    상기 적어도 하나의 합성 이미지를 저장하는 메모리; 및,
    상기 특정 무기 체계의 제원에 따라 상기 무기 체계 객체의 크기를 조절하고, 상기 크기가 조절된 무기 체계 객체를 포함하는 상기 적어도 하나의 합성 이미지를 생성하도록 상기 합성부를 제어하며, 상기 저장된 합성 이미지를 상기 특정 무기 체계에 대한 머신 러닝(machine learning) 학습 데이터로 상기 메모리에 저장하는 제어부를 포함하며,
    상기 입력부는,
    특정 환경에 대한 환경 정보를 더 입력받도록 형성 및, 상기 특정 무기 체계와 구분되는 이종의 물체에 관련된 정보를 더 입력받으며,
    상기 합성부는,
    가상 공간을 생성 및, 상기 가상 공간에 상기 환경 정보에 근거한 가상 환경을 조성하는 환경 시뮬레이션부를 더 포함하고,
    상기 제어부는,
    상기 가상 공간에 상기 가상 환경이 조성되면, 상기 무기 체계 객체를 상기 가상 공간의 일 지점에 배치하고, 상기 가상 환경에 따른 환경 효과를 상기 무기 체계 객체에 반영 및, 상기 환경 효과가 반영된 무기 체계 객체를 일 방향에서 바라보는 이미지를 상기 합성 이미지로 생성하도록 상기 합성부를 제어하고,
    상기 무기 체계 객체가 상기 가상 공간의 일 지점에 배치될 때 상기 이종 물체 객체를 더 배치하며, 상기 가상 환경에 따른 환경 효과를 상기 무기 체계 객체와 상기 이종 물체 객체에 반영 및, 상기 환경 효과가 반영된 상기 무기 체계 객체와 상기 이종 물체 객체를 일 방향에서 바라보는 이미지를 상기 합성 이미지로 생성하도록 상기 합성부를 제어하며,
    상기 학습 이미지는,
    상기 머신 러닝의 대상이 되는 상기 무기 체계 객체의 이미지와, 상기 무기 체계 객체와 구분되는 적어도 하나의 이종의 물체 객체 이미지를 포함하는 것을 특징으로 하는 학습 이미지 생성 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 환경 정보는,
    상기 가상 공간의 지형과 관련된 지역 정보, 위치 정보, 기후 정보, 날짜 및 시각에 대한 정보를 적어도 하나 포함하며,
    상기 가상 환경에 따른 환경 효과는,
    상기 지역 정보에 따른 지형 효과, 상기 위치 정보와 날씨 및 시각 정보에 따라 결정되는 태양 또는 달의 위치에 의한 그림자 효과, 및 상기 기후 정보에 따라 결정되는 눈 또는 비에 따른 눈 쌓임 효과 또는 물 반사 효과를 적어도 하나 포함하는 것을 특징으로 하는 학습 이미지 생성 장치.
  4. 제1항에 있어서,
    상기 입력부는,
    상기 특정 무기 체계와 다른 이종의 물체에 관련된 정보를 더 입력받으며,
    상기 제어부는,
    상기 이종의 물체에 관련된 정보가 이미지인 경우, 상기 객체 이미지와 배경 이미지가 합성된 합성 이미지에, 상기 이종의 물체에 관련된 이미지를 더 합성하여 상기 합성 이미지를 생성하는 것을 특징으로 하는 학습 이미지 생성 장치.
  5. 제1항에 있어서, 상기 제어부는,
    상기 이종의 물체에 관련된 정보가 간접 정보인 경우, 상기 이종의 물체에 대응되는 3차원 객체인 이종 물체 객체를 더 생성하도록 상기 모델링부를 제어하는 것을 특징으로 하는 학습 이미지 생성 장치.
  6. 제1항에 있어서, 상기 특정 무기 체계에 대한 간접 정보는,
    상기 특정 무기 체계에 대한 평면도, 정면도, 측면도 중 적어도 하나를 포함하는 제원 정보나 도면 정보, 상기 특정 무기 체계의 사진 정보 또는 상기 특정 무기 체계의 외관이 표시된 이미지 정보, 및 상기 특정 무기 체계에 대응하는 모델의 이미지 또는 상기 특정 무기 체계에 대응하는 모델을 3차원 스캔한 모델 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 학습 이미지 생성 장치.
  7. 특정 무기 체계에 대한 머신 러닝을 위한 학습 이미지를 생성하는 방법에 있어서,
    상기 특정 무기 체계에 대한 간접 정보 및 상기 특정 무기 체계의 배경을 생성하기 위한 배경 정보를 입력받는 제1 단계;
    상기 특정 무기 체계에 대한 간접 정보에 근거하여 상기 특정 무기 체계의 3차원 객체인 무기 체계 객체를 생성하는 제2 단계;
    상기 무기 체계 객체를 적어도 하나의 방향에서 바라보는 적어도 하나의 객체 이미지를 생성하는 제3 단계;
    상기 배경 정보에 근거하여 특정 무기 체계의 배경을 생성하고, 생성된 배경에 근거하여 상기 무기 체계 객체를 일 방향에서 바라보는 이미지를 포함하는 합성 이미지를 생성하는 제4 단계; 및,
    상기 생성된 합성 이미지를 상기 특정 무기 체계에 대한 머신 러닝(machine learning) 학습 데이터로 저장하는 제5 단계를 포함하며,
    상기 배경 정보는, 특정 환경에 대한 환경 정보이며,
    상기 간접 정보 및 배경 정보를 입력받는 제1 단계는,
    상기 특정 무기 체계와 구분되는 이종의 물체에 관련된 정보를 입력받는 제1-1 단계를 더 포함하고,
    상기 합성 이미지를 생성하는 제4 단계는,
    가상 공간을 생성하는 제4-1 단계;
    상기 가상 공간에 상기 환경 정보에 근거한 가상 환경을 조성하는 제4-2 단계; 및,
    상기 무기 체계 객체를 상기 가상 공간의 일 지점에 배치하고, 상기 가상 환경에 따른 환경 효과를 상기 가상 공간에 배치된 상기 무기 체계 객체에 반영 및, 상기 환경 효과가 반영된 무기 체계 객체를 일 방향에서 바라보는 이미지를 상기 합성 이미지로 생성하는 제4-3 단계를 더 포함하며,
    상기 무기 체계 객체를 생성하는 제2 단계는,
    상기 이종의 물체에 대응되는 3차원 객체인 이종 물체 객체를 생성하는 제2-1 단계를 더 포함하며,
    상기 환경 효과가 반영된 무기 체계 객체의 이미지를 합성 이미지로 생성하는 제4-3 단계는,
    상기 무기 체계 객체와 상기 이종 물체 객체를 상기 가상공간에 배치하고, 상기 가상 환경에 따른 환경 효과를 상기 무기 체계 객체와 상기 이종 물체 객체에 반영 및, 상기 환경 효과가 반영된 무기 체계 객체와 상기 이종 물체 객체를 일 방향에서 바라본 이미지를 상기 합성 이미지로 생성하는 단계이며,
    상기 학습 이미지는,
    상기 머신 러닝의 대상이 되는 상기 무기 체계 객체의 이미지와, 상기 무기 체계 객체와 구분되는 적어도 하나의 이종의 물체 객체 이미지를 포함하는 것을 특징으로 하는 학습 이미지 생성 방법.
  8. 제7항에 있어서,
    상기 배경 정보는, 특정 배경 이미지이며,
    상기 합성 이미지를 생성하는 제1 단계는,
    상기 무기 체계 객체를 적어도 하나의 방향에서 바라보는 적어도 하나의 객체 이미지와 상기 배경 이미지를 합성하여, 적어도 하나의 합성 이미지를 생성하는 단계임을 특징으로 하는 학습 이미지 생성 방법.
  9. 삭제
  10. 제7항에 있어서,
    상기 환경 정보는,
    상기 가상 공간의 지형과 관련된 지역 정보, 위치 정보, 기후 정보, 날짜 및 시각에 대한 정보를 적어도 하나 포함하며,
    상기 가상 환경에 따른 환경 효과는,
    상기 지역 정보에 따른 지형 효과, 상기 위치 정보와 날씨 및 시각 정보에 따라 결정되는 태양 또는 달의 위치에 의한 그림자 효과, 및 상기 기후 정보에 따라 결정되는 눈 또는 비에 따른 눈 쌓임 효과 또는 물 반사 효과를 적어도 하나 포함하는 것을 특징으로 하는 학습 이미지 생성 방법.
  11. 제8항에 있어서,
    상기 간접 정보 및 배경 정보를 입력받는 제1 단계는,
    상기 특정 무기 체계와 다른 이종의 물체에 관련된 이미지를 입력받는 제1-2 단계를 더 포함하고,
    상기 합성 이미지를 생성하는 제4 단계는,
    상기 합성 이미지에, 상기 이종의 물체에 관련된 이미지를 더 합성하는 제4-4 단계를 더 포함하는 것을 특징으로 하는 학습 이미지 생성 방법.
  12. 제7항에 있어서,
    상기 간접 정보 및 배경 정보를 입력받는 제1 단계는,
    상기 특정 무기 체계와 다른 이종의 물체에 관련된 간접 정보를 입력받는 제1-2 단계를 더 포함하고,
    상기 제2-1 단계는,
    상기 입력된 간접 정보에 근거하여 상기 이종의 물체에 대응되는 3차원 객체인 이종 물체 객체를 생성하는 단계임을 특징으로 하는 학습 이미지 생성 방법.
  13. 제7항에 있어서, 상기 특정 무기 체계에 대한 간접 정보는,
    상기 특정 무기 체계에 대한 평면도, 정면도, 측면도 중 적어도 하나를 포함하는 제원 정보나 도면 정보, 상기 특정 무기 체계의 사진 정보 또는 상기 특정 무기 체계의 외관이 표시된 이미지 정보, 및 상기 특정 무기 체계에 대응하는 모델의 이미지 또는 상기 특정 무기 체계에 대응하는 모델을 3차원 스캔한 모델 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 학습 이미지 생성 방법.
KR1020170056999A 2017-05-04 2017-05-04 머신 러닝을 위한 학습 이미지 생성 장치 및 방법 KR101886754B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170056999A KR101886754B1 (ko) 2017-05-04 2017-05-04 머신 러닝을 위한 학습 이미지 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170056999A KR101886754B1 (ko) 2017-05-04 2017-05-04 머신 러닝을 위한 학습 이미지 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101886754B1 true KR101886754B1 (ko) 2018-09-10

Family

ID=63593913

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170056999A KR101886754B1 (ko) 2017-05-04 2017-05-04 머신 러닝을 위한 학습 이미지 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101886754B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2717787C1 (ru) * 2019-04-04 2020-03-26 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" Система и способ генерации изображений, содержащих текст
KR20200108609A (ko) * 2019-03-11 2020-09-21 연세대학교 산학협력단 머신러닝 학습 데이터 증강장치 및 증강방법
KR20210092842A (ko) * 2019-01-22 2021-07-26 미쓰비시덴키 가부시키가이샤 정보 처리 장치, 프로그램을 기록한 기록 매체 및 정보 처리 방법
KR102390205B1 (ko) * 2021-10-08 2022-04-25 (주)삼문이엔아이 구조물 변형상태 인공지능 분석 및 전송시스템
KR102390204B1 (ko) * 2021-10-08 2022-04-25 (주)삼문이엔아이 철도 구조물 변형상태 검출용 차상 시스템
KR102393801B1 (ko) * 2021-12-27 2022-05-03 주식회사 딥노이드 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법
KR102445556B1 (ko) * 2021-06-10 2022-09-21 주식회사 에이투마인드 가상 데이터를 생성하는 방법 및 장치
KR20240052467A (ko) 2022-10-14 2024-04-23 주식회사 이엘피케이뉴 딥러닝 비행 테스트용 시뮬레이터와 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템 및 객체 트래킹 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011086199A1 (fr) * 2010-01-18 2011-07-21 Fittingbox Procede de realite augmentee appliquee a l'integration d'une paire de lunettes dans une image de visage
KR101338243B1 (ko) * 2013-09-03 2013-12-06 국방과학연구소 웹기반 가상공간을 활용한 군사정보 시각화 시스템
WO2015020703A1 (en) * 2013-08-04 2015-02-12 Eyesmatch Ltd Devices, systems and methods of virtualizing a mirror
KR101511749B1 (ko) * 2014-10-15 2015-04-13 국방과학연구소 Ｌｖｃ분산 시뮬레이션의 상호운용을 위한 상호운용객체모델 시스템 설계 및 처리 방법
WO2016034999A1 (en) * 2014-09-01 2016-03-10 Horus Technology S.R.L.S. Process and wearable device equipped with stereoscopic vision for helping the user
KR101618547B1 (ko) * 2014-11-13 2016-05-09 국방과학연구소 패턴 비교 기법을 활용한 웹 기반의 군사정보 시각화 구현 시스템
WO2016157499A1 (ja) * 2015-04-02 2016-10-06 株式会社日立製作所 画像処理装置、物体検知装置、画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011086199A1 (fr) * 2010-01-18 2011-07-21 Fittingbox Procede de realite augmentee appliquee a l'integration d'une paire de lunettes dans une image de visage
WO2015020703A1 (en) * 2013-08-04 2015-02-12 Eyesmatch Ltd Devices, systems and methods of virtualizing a mirror
KR101338243B1 (ko) * 2013-09-03 2013-12-06 국방과학연구소 웹기반 가상공간을 활용한 군사정보 시각화 시스템
WO2016034999A1 (en) * 2014-09-01 2016-03-10 Horus Technology S.R.L.S. Process and wearable device equipped with stereoscopic vision for helping the user
KR101511749B1 (ko) * 2014-10-15 2015-04-13 국방과학연구소 Ｌｖｃ분산 시뮬레이션의 상호운용을 위한 상호운용객체모델 시스템 설계 및 처리 방법
KR101618547B1 (ko) * 2014-11-13 2016-05-09 국방과학연구소 패턴 비교 기법을 활용한 웹 기반의 군사정보 시각화 구현 시스템
WO2016157499A1 (ja) * 2015-04-02 2016-10-06 株式会社日立製作所 画像処理装置、物体検知装置、画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이상헌, et al, "국방무기체계 획득사업의 혁신적 추진전략과 방법론", 산업공학 (IE interfaces) 제20권 제3호(2007.09.)* *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210092842A (ko) * 2019-01-22 2021-07-26 미쓰비시덴키 가부시키가이샤 정보 처리 장치, 프로그램을 기록한 기록 매체 및 정보 처리 방법
KR102355578B1 (ko) 2019-01-22 2022-01-25 미쓰비시덴키 가부시키가이샤 정보 처리 장치, 프로그램을 기록한 기록 매체 및 정보 처리 방법
KR20200108609A (ko) * 2019-03-11 2020-09-21 연세대학교 산학협력단 머신러닝 학습 데이터 증강장치 및 증강방법
KR102220174B1 (ko) * 2019-03-11 2021-02-24 연세대학교 산학협력단 머신러닝 학습 데이터 증강장치 및 증강방법
RU2717787C1 (ru) * 2019-04-04 2020-03-26 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" Система и способ генерации изображений, содержащих текст
KR102445556B1 (ko) * 2021-06-10 2022-09-21 주식회사 에이투마인드 가상 데이터를 생성하는 방법 및 장치
KR102390205B1 (ko) * 2021-10-08 2022-04-25 (주)삼문이엔아이 구조물 변형상태 인공지능 분석 및 전송시스템
KR102390204B1 (ko) * 2021-10-08 2022-04-25 (주)삼문이엔아이 철도 구조물 변형상태 검출용 차상 시스템
KR102393801B1 (ko) * 2021-12-27 2022-05-03 주식회사 딥노이드 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법
KR20240052467A (ko) 2022-10-14 2024-04-23 주식회사 이엘피케이뉴 딥러닝 비행 테스트용 시뮬레이터와 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템 및 객체 트래킹 방법

Similar Documents

Publication Publication Date Title
KR101886754B1 (ko) 머신 러닝을 위한 학습 이미지 생성 장치 및 방법
US7239311B2 (en) Global visualization process (GVP) and system for implementing a GVP
US20060146053A1 (en) Global visualization process for personal computer platforms (GVP+)
Favorskaya et al. Handbook on advances in remote sensing and geographic information systems
Polis et al. Automating the construction of large-scale virtual worlds
KR101405891B1 (ko) 항공정보 현시 시스템 및 그 방법
CN109388359A (zh) 用于自动投影映射预可视化的方法和设备
KR102276451B1 (ko) Gis를 이용한 모델링 장치 및 방법
Galasso et al. From excavation to drawing and from drawing to the model. The digital reconstruction of twenty-year-long excavations in the archaeological site of Bedriacum
de SOUZA et al. A 3D-GIS extension for sky view factors assessment in urban environment
Bergen et al. Data-driven simulation, dimensional accuracy and realism in a landscape visualization tool
Virtanen et al. Browser based 3D for the built environment
Kennie et al. Modelling for digital terrain and landscape visualisation
Cathcart et al. Target and background infrared signature modeling for complex synthetic scenes
KR20230101475A (ko) 해양예측자료 기반 실감형 해양전장정보 표출 플랫폼
Cathcart et al. Generation and application of high-resolution infrared computer imagery
Koduri et al. AUREATE: An Augmented Reality Test Environment for Realistic Simulations
Olalde et al. The importance of geometry combined with new techniques for augmented reality
Figueiredo et al. A Framework supported by modeling and virtual/augmented reality for the preservation and dynamization of archeological-historical sites
Hammer et al. On the use of gis data for realistic sar simulation of large urban scenes
Dinkov Generation of 3D panoramic map for tourism management applications
CN116863087B (zh) 基于数字孪生的航油信息显示方法、装置和可读存储介质
Kim et al. Building 3D Geospatial Information Using Airborne Multi-Looking Digital Camera System.
US20220375175A1 (en) System For Improving The Precision and Accuracy of Augmented Reality
Segerström Automating 3D graphics generation using GIS data-Terrain and Road reproduction

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant