KR20240033343A

KR20240033343A - 변환 모델 구축 장치 및 방법과 이를 이용한 이미지 매칭 장치 및 방법

Info

Publication number: KR20240033343A
Application number: KR1020220111861A
Authority: KR
Inventors: 김도년; 남윤형; 김태연; 김재훈
Original assignee: 서울대학교산학협력단
Priority date: 2022-09-05
Filing date: 2022-09-05
Publication date: 2024-03-12
Also published as: WO2024053948A1

Abstract

본 발명에 따른 이미지의 유형을 변환하는 변환 모듈을 구축하는 변환 모델 구축 장치는, 변환 모델 구축 프로그램이 저장된 메모리; 및 상기 변환 모델 구축 프로그램을 실행하는 프로세서를 포함하고, 상기 변환 모델 구축 프로그램은, 분할 윤곽 모듈을 이용하여 제1 유형의 제1 학습 이미지를 변환 이미지로 가공하도록 생성 모듈을 업데이트하고, 형상 추정 모듈을 이용하여 제2 유형의 제2 학습 이미지의 형상으로 상기 변환 이미지를 가공하도록 상기 생성 모듈을 업데이트하며, 판별자 모듈에 설정된 조건에 따라, 상기 판별자 모듈에서 상기 변환 이미지가 진짜로 판별되도록 상기 생성 모듈을 업데이트하여 변환 모델을 학습 시키는 것이며, 상기 변환 모델은, 상기 생성 모듈, 상기 분할 윤곽 모듈, 상기 형상 추정 모듈 및 상기 판별자 모듈을 포함하고, 상기 분할 윤곽 모듈은, 입력되는 이미지에 포함된 적어도 하나이상의 다각형을 배경과 분리하여 상기 다각형의 윤곽선을 구분하는 것이며, 상기 형상 추론 모듈은, 서로 다른 유형의 제1 이미지와 제2 이미지가 입력되면, 상기 제1 이미지에 포함된 다각형의 테두리 형상과 상기 제2 이미지에 포함된 적어도 하나 이상의 다각형의 테두리 형상을 비교하여 형상의 일치 여부를 판단하는 것이고, 상기 판별자 모듈은, 적어도 하나 이상의 입력되는 이미지에 대하여 설정된 조건에 따라 진짜와 가짜를 판단하는 것이다.

Description

변환 모델 구축 장치 및 방법과 이를 이용한 이미지 매칭 장치 및 방법 {TRANSFORMATION MODEL BUILDING APPARATUS AND METHOD AND IMAGE MATCHING APPARATUS AND METHOD USING THE SAME}

본 발명은 유형이 다른 이미지의 매칭 여부를 판단하는 기술에 관한 것으로, 유형이 다른 이미지를 하나의 유형으로 변환하여 이미지 사이의 매칭 여부를 판단하는 이미지 매칭 장치 및 방법에 관한 것이다.

인공지능 알고리즘을 활용하지 않는 서로 다른 유형의 이미지 간의 매칭은 잡음(noise), 이미지 스타일의 차이, 형상의 차이와 같은 이미지 간의 차이로 인해 정확도가 매우 떨어진다.

또한, 지도(supervised) 학습 알고리즘, 대표적으로 GAN(Generative Adversarial Network) 알고리즘을 이용하여 서로 다른 유형의 이미지를 매칭하는 방법은, 서로 다른 유형의 이미지 중 어느 하나의 이미지 유형을 다른 하나의 이미지 유형으로 변환한 후 정렬한다. 지도 학습을 이용하는 방법은 변환 모델의 학습을 위해 정확하게 매칭된 훈련데이터가 필수적이기 때문에 사람의 관리 감독이 필요하고, 훈련 데이터의 오정렬(misalignment) 정도가 변환 모델에 반영되기 때문에 추론(inference)단계에서 변환 결과의 정확도가 떨어질 수 있다.

서로 다른 유형의 이미지 사이에 오정렬된 이미지 쌍들(훈련데이터의 이종 이미지 간 패턴들은 일부 정렬된 쌍이 포함될 수 있으며, 어떤 쌍도 정렬되지 않을 수 있음)로 구성된 훈련 데이터로 변환 모델을 훈련할 경우, 정확한 위치에 패턴이 생성되지 않거나, 상응하는 패턴 형상으로 생성되지 못하거나, 잡음이 생성되거나, 생성 이미지 스타일이 다른 종으로 변경되거나, 여러 개의 생성자들과 판별자들을 사용해서 변환모델을 훈련해야 하는 등의 한계점이 발생한다. 또한, 변환 모델에 이미지의 유형을 변환하는 과정이 학습되지 않아, 다른 유형 사이의 이미지를 정렬하는 과정에 활용될 수 없다는 문제점이 있다.

그리고, 인공지능 학습을 알고리즘을 이용한 서로 다른 유형의 이미지 사이의 유사성을 측정하는 방법에는 이미지 간의 픽셀값의 비교를 통해 유사성을 측정하는 방법, 각 이미지에서 패턴의 윤곽을 추출하고 이를 활용하여 픽셀값의 직접 비교를 통해 유사성을 측정하는 방법 등이 있다.

이러한 이미지 사이의 유사성을 측정하는 방법에는 여러 한계점이 있는데, 이미지에 잡음(noise)이 많거나, 이미지 스타일이 다른 점에 의해 이미지 간의 유사성 측정을 측정하기 어렵고, 서로 다른 유형의 이미지 간 동일한 특징점(feature)을 찾는 것의 어려움 및 특징점을 설명하는 설명자(descriptor)를 유사하게 구성하는 것에 대한 어려움이 있으며, 이미지에 포함된 다각형 패턴의 형상이 다른 부분에 의해 유사성을 측정하는데 어려움이 있다.

따라서, 이러한 한계점들을 극복할 수 있는 기술이 요구된다.

본 발명은 전술한 문제점을 해결하기 위하여, 제1 유형의 제1 학습 데이터 및 제2 유형의 제2 학습 데이터를 이용하여, 제1 유형의 이미지를 제2 유형으로 변환하도록 학습된 변환 모델을 구축하는 장치 및 방법을 제공하는 것을 기술적 과제로 한다.

또한, 본 발명은 전술한 문제점을 해결하기 위해, 변환 모델을 이용하여 제1 유형의 제1 이미지를 제2 유형의 제2 이미지로 변환하고, 제2 이미지와 제2 유형의 제3 이미지 사이의 매칭 여부를 판단하는 이미지 매칭 장치 및 방법을 제공하는 것을 기술적 과제로 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 변환 모델 구축 장치는, 이미지의 유형을 변환하는 변환 모듈을 구축하는 변환 모델 구축 장치에 있어서, 변환 모델 구축 프로그램이 저장된 메모리; 및 상기 변환 모델 구축 프로그램을 실행하는 프로세서를 포함하고, 상기 변환 모델 구축 프로그램은, 분할 윤곽 모듈을 이용하여 제1 유형의 제1 학습 이미지를 변환 이미지로 가공하도록 생성 모듈을 업데이트하고, 형상 추정 모듈을 이용하여 제2 유형의 제2 학습 이미지의 형상으로 상기 변환 이미지를 가공하도록 상기 생성 모듈을 업데이트하며, 판별자 모듈에 설정된 조건에 따라, 상기 판별자 모듈에서 상기 변환 이미지가 진짜로 판별되도록 상기 생성 모듈을 업데이트하여 변환 모델을 학습 시키는 것이며, 상기 변환 모델은, 상기 생성 모듈, 상기 분할 윤곽 모듈, 상기 형상 추정 모듈 및 상기 판별자 모듈을 포함하고, 상기 분할 윤곽 모듈은, 입력되는 이미지에 포함된 적어도 하나이상의 다각형을 배경과 분리하여 상기 다각형의 윤곽선을 구분하는 것이며, 상기 형상 추론 모듈은, 서로 다른 유형의 제1 이미지와 제2 이미지가 입력되면, 상기 제1 이미지에 포함된 다각형의 테두리 형상과 상기 제2 이미지에 포함된 적어도 하나 이상의 다각형의 테두리 형상을 비교하여 형상의 일치 여부를 판단하는 것이고, 상기 판별자 모듈은, 적어도 하나 이상의 입력되는 이미지에 대하여 설정된 조건에 따라 진짜와 가짜를 판단하는 것이다.

또한, 본 발명의 다른 실시예에 따른 변환 모델 구축 방법은, 분할 윤곽 모듈을 이용하여 제1 유형의 제1 학습 이미지를 변환 이미지로 가공하도록 생성 모듈을 업데이트하는 단계; 제2 유형의 제2 학습 이미지와 형상 추정 모듈을 이용하여 제2 유형으로 상기 변환 이미지를 가공하도록 상기 생성 모듈을 업데이트하는 단계; 및 판별자 모듈에 설정된 조건에 따라, 상기 판별자 모듈에서 상기 변환 이미지가 진짜로 판별되도록 상기 생성 모듈을 업데이트하는 단계를 포함하되, 상기 변환 모델은, 상기 생성 모듈, 상기 분할 윤곽 모듈, 상기 형상 추정 모듈 및 상기 판별자 모듈을 포함하고, 상기 분할 윤곽 모듈은, 입력되는 이미지에 포함된 적어도 하나이상의 다각형을 배경과 분리하여 상기 다각형의 윤곽선을 구분하는 것이며, 상기 형상 추론 모듈은, 서로 다른 유형의 제1 이미지와 제2 이미지가 입력되면, 상기 제1 이미지에 포함된 다각형의 테두리 형상과 상기 제2 이미지에 포함된 적어도 하나 이상의 다각형의 테두리 형상을 비교하여 형상의 일치 여부를 판단하는 것이고, 상기 판별자 모듈은, 적어도 하나 이상의 입력되는 이미지에 대하여 설정된 조건에 따라 진짜와 가짜를 판단하는 것이다.

또한, 본 발명의 다른 실시예에 따른 이미지 매칭 장치는, 이미지 매칭 프로그램이 저장된 메모리; 및 상기 이미지 매칭 프로그램을 실행하는 프로세서를 포함하되, 상기 이미지 매칭 프로그램은, 물체를 촬영한 제1 유형의 제1 이미지를 변환 모델에 적용하여 제2 유형의 제2 이미지를 생성하고, 이미지 매칭 조건에 따라 상기 제2 이미지와 제2 유형의 제3 이미지 사이의 매칭 여부를 판단하는 것이며, 상기 물체는 상기 제3 이미지를 이용하여 제조된 것이고, 상기 변환 모델은, 생성 모듈, 분할 윤곽 모듈, 형상 추론 모듈 및 판별자 모듈을 통해 기계 학습되어 상기 제1 유형의 이미지를 상기 제2 유형으로 변환하는 것이며, 상기 생성 모듈은, 상기 제1 유형의 이미지를 가공하는 것이고, 상기 분할 윤곽 모듈은, 입력되는 이미지에 포함된 적어도 하나이상의 다각형을 배경과 분리하여 상기 다각형의 윤곽선을 구분하는 것이며, 상기 형상 추론 모듈은, 서로 다른 유형의 제1 이미지와 제2 이미지가 입력되면, 상기 제1 이미지에 포함된 다각형의 테두리 형상과 상기 제2 이미지에 포함된 적어도 하나 이상의 다각형의 테두리 형상을 비교하여 형상의 일치 여부를 판단하는 것이고, 상기 판별자 모듈은, 적어도 하나 이상의 입력되는 이미지에 대하여 설정된 조건에 따라 진짜와 가짜를 판단하는 것이다.

또한, 본 발명의 다른 실시예에 따른 이미지 매칭 방법은, 물체를 촬영하여 제1 유형의 제1 이미지를 생성하는 단계; 상기 제1 이미지를 변환 모델에 적용하여 제2 유형의 제2 이미지를 생성하는 단계; 및 이미지 매칭 조건에 따라 상기 제2 이미지와 제2 유형의 제3 이미지 사이의 매칭 여부를 판단하는 단계를 포함하되, 상기 물체는 상기 제3 이미지를 통해 제조된 것이고, 상기 변환 모델은, 생성 모듈, 분할 윤곽 모듈, 형상 추론 모듈 및 판별자 모듈을 통해 기계 학습되어 상기 제1 유형의 이미지를 상기 제2 유형으로 변환하는 것이며, 상기 생성 모듈은, 상기 제1 유형의 이미지를 가공하는 것이고, 상기 분할 윤곽 모듈은, 입력되는 이미지에 포함된 적어도 하나이상의 다각형을 배경과 분리하여 상기 다각형의 윤곽선을 구분하는 것이며, 상기 형상 추론 모듈은, 서로 다른 유형의 제1 이미지와 제2 이미지가 입력되면, 상기 제1 이미지에 포함된 다각형의 테두리 형상과 상기 제2 이미지에 포함된 적어도 하나 이상의 다각형의 테두리 형상을 비교하여 형상의 일치 여부를 판단하는 것이고, 상기 판별자 모듈은, 적어도 하나 이상의 입력되는 이미지에 대하여 설정된 조건에 따라 진짜와 가짜를 판단하는 것이다.

전술한 본 발명의 과제 해결 수단에 따르면, 관리자의 개입 없이 변환 모델의 학습이 가능하므로 다른 유형의 이미지 사이에 자동 매칭이 가능하다. 이를 통해 이미지 정렬 및 반도체 공정에서의 불량 판정에 활용할 수 있다는 내용을 추가 바랍니다.

도 1은 본 발명의 일 실시예에 따른 변환 모델 구축 장치의 개념도이다.
도 2a내지 도 2d는 변환 모델 구축 프로그램의 동작을 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 변환 모델 구축 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일실시예에 따른 이미지 매칭 장치를 개략적으로 나타낸 개념도이다.
도 5는 본 발명의 일실시예에 따른 이미지 매칭 장치의 동작을 나타낸 예시도이다.
도 6 내지 도 9는 이미지 매칭 프로그램의 동작을 설명하기 위한 예시도이다.
도 10은 본 발명의 일 실시예에 따른 이미지 매칭 방법을 설명하기 위한 흐름도이다.
도 11은 도 10에 도시된 제2 이미지와 제3 이미지 사이의 매칭 여부를 판단하는 과정을 설명하기 위한 흐름도이다.
도 12는 도 10에 도시된 제2 이미지와 제3 이미지 사이의 매칭 여부를 판단하는 과정을 설명하기 위한 흐름도이다.

이하에서는 첨부한 도면을 참조하여 본 발명을 상세히 설명하기로 한다. 다만, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예들로 한정되는 것은 아니다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 도면에 나타난 각 구성요소의 크기, 형태, 형상은 다양하게 변형될 수 있다. 명세서 전체에 대하여 동일/유사한 부분에 대해서는 동일/유사한 도면 부호를 붙였다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부" 등은 명세서 작성의 용이함만이 고려되어 부여 되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉 또는 결합)"되어 있다고 할 때, 이는 "직접적으로 연결(접속, 접촉 또는 결합)"되어 있는 경우뿐만 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결 (접속, 접촉 또는 결합)"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함(구비 또는 마련)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 "포함(구비 또는 마련)"할 수 있다는 것을 의미한다.

본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 나타내는 용어들은 하나의 구성 요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 구성 요소들의 순서나 관계를 제한하지 않는다. 예를 들어, 본 발명의 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소도 제1구성 요소로 명명될 수 있다.

도 1은 본 발명의 일 실시예에 따른 변환 모델 구축 장치를 개략적으로 나타낸 블록도이다.

도 1을 참조하여 본 발명의 일 실시예에 따른 변환 모델 구축 장치(100) 에 대해 설명한다. 변환 모델 구축 장치(100)는 제1 유형의 이미지를 제2 유형으로 변환하는 변환 모델을 구축한다. 이를 위해 변환 모델 구축 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다.

메모리(110)는 변환 모델 구축 프로그램이 저장되는데, 메모리(110)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력을 필요로 하는 휘발성 저장장치를 통칭하는 것으로 해석되어야 한다. 메모리(110)는 프로세서(120)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 메모리(110)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

그리고, 프로세서(120)는 메모리(110)에 저장된 변환 모델 구축 프로그램을 실행하여 변환 모델을 구축한다. 본 실시예에서, 프로세서(120)는 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 형태로 구현될 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

도 2a내지 도 2d는 변환 모델 구축 프로그램의 동작을 설명하기 위한 예시도이다. 도2a 내지 도 2d를 참조하여 변환 모듈 구축 프로그램이 변환 모듈을 구축하는 과정을 구체적으로 설명한다.

먼저, 변환 모델은 비지도 학습(Unsupervised Learning)을 통해 학습되며, 생성 모듈(10), 분할 윤곽 모듈(20), 형상 추정 모듈(30) 및 판별자 모듈(40)을 포함한다. 생성 모듈(10)은 적용되는 이미지를 설정에 따라 가공하는 것이고, 분할 윤곽 모듈(20)은 입력되는 이미지에 포함된 적어도 하나이상의 다각형을 배경과 분리하여 상기 다각형의 윤곽선을 구분 하는 것이다.

또한, 형상 추론 모듈(30)은 서로 다른 유형의 제1 이미지와 제2 이미지가 입력되면, 제1 이미지에 포함된 다각형의 테두리 형상과 제2 이미지에 포함된 적어도 하나 이상의 다각형의 테두리 형상을 비교하여 형상의 일치 여부를 판단하는 것이고, 판별자 모듈(40)은 적어도 하나 이상의 입력되는 이미지에 대하여 설정된 조건에 따라 진짜와 가짜를 구분하는 것이다.

변환 모델 구축 프로그램은 이러한 복수의 모듈(10, 20, 30, 40)과 제1 유형의 제1 학습 이미지(1) 및 제2 유형의 제2 학습이미지(2)를 이용하여 제1 유형의 제1 학습이미지(1)를 제2 유형으로 변환하는 변환 모델을 학습시킨다. 여기서, 제1 학습 이미지는 소정의 물체를 찍은 이미지가 될 수 있으며, 예를 들어 SEM 설비를 이용하여 반도체를 촬영한 이미지일 수 있다. 또한, 제2 학습 이미지는 물체의 설계도가 될 수 있으며, 예를 들어 반도체의 설계도일 수 있다. 따라서, 제1 유형은 SEM 이미지 유형이고, 제2 이미지는 설계도 이미지 유형으로, 변환 모델은 SEM 이미지 유형을 설계도 이미지 유형으로 변환하도록 학습된다.

변환 모델 구출 프로그램은 분할 윤곽 모듈(20)을 이용하여 제1 유형의 제1 학습 이미지(1)를 변환 이미지(3)로 가공하도록 생성 모듈(10)을 업데이트하고, 형상 추정 모듈(30)을 이용하여 제2 유형의 제2 학습 이미지(2)의 형상으로 변환 이미지(3)를 가공하도록 생성 모듈(10)을 업데이트하며, 판별자 모듈(40)에 설정된 조건에 따라, 판별자 모듈(40)에서 변환 이미지(3)가 진짜로 판별되도록 생성 모듈(10)을 업데이트하는 과정을 통해 변환 모델을 구축한다.

이후, 생성 모듈(10)을 업데이트 하는 과정에 대해 구체적으로 설명한다.

도 2b를 참조하여 분할 윤곽 모듈(20)을 이용하여 생성 모듈(10)을 업데이트하는 과정에 대해서 설명하면, 변환 모델 구축 프로그램은 제1 학습 이미지(1)를 분할 윤곽 모듈(20)에 적용하여 샘플 이미지(4)를 생성하고, 샘플 이미지(4)와 변환 이미지(3)를 비교하여 일치 여부를 판단한다. 여기서, 변환 윤곽 모듈(20)은 입력되는 이미지에 포함된 적어도 하나 이상의 다각형을 배경과 분리하여 다각형의 윤곽선을 구분하는 것으로, 분할 윤곽 모듈(20)에 의해 생성되는 샘플 이미지(4)는 입력되는 제1 이미지(1)에 포함된 다각형들을 배경과 분리하여 윤곽선을 구분한 이미지이다.

샘플 이미지(4)와 변환 이미지(3)의 소정 지점의 형상이 일치하지 않으면 변환 이미지(3)의 해당 지점을 샘플 이미지(4)의 형상으로 변환하도록 생성 모듈(10)을 업데이트한다. 변환 모델 구축 프로그램은 샘플 이미지(4)와 변환 이미지(3)가 일치할 때까지 변환 이미지(3)를 생성 모듈(10)에 반복 적용하여 생성 모듈(10)을 업데이트 한다.

도 2c를 참조하여 형상 추론 모듈(30)을 이용하여 생성 모듈(10)을 업데이트하는 과정에 대해 설명한다. 형상 추론 모듈(30)은 서로 다른 유형의 제1 이미지와 제2 이미지가 입력되면, 제1 이미지에 포함된 다각형의 테두리 형상과 제2 이미지에 포함된 적어도 하나 이상의 다각형의 테두리 형상을 비교하여 형상의 일치 여부를 판단하는 것으로, 변환 모델 구축 프로그램은 형상 추론 모듈(30)에 제2 학습 이미지(2)와 변환 이미지(3)를 적용하고, 변환 이미지(3)에 포함된 적어도 하나 이상의 제1 다각형(3a)의 테두리 형상과 상기 제2 학습 이미지(2)에 포함된 제2 다각형(2a)의 테두리 형상을 비교하여 형상의 일치 여부를 판단한다.

제1 다각형(3a)의 테두리 형상과 제2 다각형(2a)의 테두리 형상이 일치하지 않는 경우, 제1 다각형(3a)의 테두리 형상을 제2 다각형(2a)의 테두리 형상으로 변환하도록 생성 모듈(10)을 업데이트한다. 변환 모델 구축 프로그램은 제1 다각형(3a)의 테두리 형상과 제2 다각형(2a)의 테두리 형상이 일치할 때까지 변환 이미지(3)를 생성 모듈(10)에 반복 적용하여 생성 모듈(10)을 업데이트한다.

도 2d를 참조하여 판별자 모듈(40)을 이용하여 생성 모듈(10)을 업데이트하는 과정에 대해 설명한다. 판별자 모듈(40)은 적어도 하나 이상의 입력되는 이미지에 대하여 설정된 조건에 따라 진짜와 가짜를 구분하는 것으로, 판별자 모듈(40)은 제1 학습 이미지(1) 및 변환 이미지(3)를 가짜로 인식하고, 제2 학습 이미지(2)를 진짜로 인식하도록 설정된다. 변환 모델 구축 프로그램은 변환 이미지(3)가 판별자 모듈(40)에서 진짜로 인식될 때까지 변환 이미지(3)를 생성 모듈(10)에 반복 적용하여 생성 모듈(10)을 업데이트하는데, 변환 이미지(3)가 진짜로 판단될 때까지 분할 윤곽 모듈(20) 및 형상 추정 모듈(30)에 변환 이미지(3)를 반복 적용하여 생성 모듈(10)을 업데이트한다.

추가적으로, 분할 윤곽 모듈(20)을 이용하여 생성 모듈(10)을 업데이트하는 과정, 형상 추론 모듈(30)을 이용하여 생성 모듈(10)을 업데이트하는 과정 및 판별자 모듈(40)을 이용하여 생성 모듈(10)을 업데이트하는 과정은 순차적으로 이루어질 수도 있고, 모두 동시에 이루어질 수도 있다.

통신 모듈(130)은 외부 장치와 데이터 통신을 수행하도록 하고, 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치를 포함할 수 있다.

데이터베이스(140)는 변환 모델을 학습하거나, 동작하기 위한 다양한 데이터가 저장될 수 있다. 예를 들면, 변환 모델을 학습하기 위한 학습 이미지가 저장될 수 있다.

한편, 본 발명의 일실시예에 따른 변환 모델 구축 장치(100)는 외부 컴퓨팅 장치로부터 제1 학습 이미지 및 제2 학습 이미지를 수신하고, 이를 기반으로 변환 모델을 구축하는 서버의 형태로도 동작할 수 있다.

도3은 본 발명의 일 실시예에 따른 변환 모델 구축 방법을 설명하기 위한 흐름도로, 본 발명은 변환 모델 구축 장치를 이용하여 제1 유형의 이미지를 제2 유형으로 변환하는 변환 모델을 구축하는 방법이다.

도 1내지 도 3을 참조하여 본 실시예에 따른 변환 모델 구축 방법을 설명하면, 변환 모델 구축 방법은 분할 윤곽 모듈(20)을 이용하여 제1 유형의 제1 학습 이미지(1)를 변환 이미지(3)로 가공하도록 생성 모듈을 업데이트하고(단계 S110), 제2 유형의 제2 학습 이미지(2)와 형상 추정 모듈(30)을 이용하여 제2 형상으로 변환 이미지(3)를 가공하도록 생성 모듈(10)을 업데이트하며(단계 S120), 판별자 모듈(40)에 설정된 조건에 따라, 판별자 모듈(40)에서 변환 이미지(3)가 진짜로 판별되도록 생성 모듈(10)을 업데이트(단계 S130)하는 과정을 통해 변환 모델을 학습한다.

이후, 각 단계에 대한 세부 사항을 설명한다.

먼저, 도 2b를 참조하여 분할 윤곽 모듈(20)을 이용하여 생성 모듈(10)을 업데이트하는 과정(단계 S110)을 설명하면, 제1 학습 이미지(1)를 분할 윤곽 모듈(20)에 적용하여 샘플 이미지(4)를 생성하고, 샘플 이미지(4)와 변환 이미지(3)를 비교하여 일치 여부를 판단한다. 샘플 이미지(4)와 변환 이미지(3)의 일부 지점의 형상이 일치하지 않으면 변환 이미지(3)의 해당 지점을 샘플 이미지(4)의 형상으로 변환하도록 생성 모듈(10)을 업데이트한다. 이러한 과정을 샘플 이미지(4)와 변환 이미지(3)가 일치할 때까지 생성 모듈(10)에 반복 적용하여 생성 모듈(10)을 업데이트 한다.

다음으로, 도 2c를 참조하여 형상 추론 모듈(30)을 이용하여 생성 모듈(10)을 업데이트하는 과정(단계 S120)에 대해 설명하면, 형상 추론 모듈(30)에 제2 학습 이미지(2)와 변환 이미지(3)를 적용하고, 변환 이미지(3)에 포함된 적어도 하나 이상의 제1 다각형(3a)의 테두리 형상과 상기 제2 학습 이미지(2)에 포함된 제2 다각형(2a)의 테두리 형상을 비교하여 형상의 일치 여부를 판단한다.

마지막으로, 도 2d를 참조하여 판별자 모듈(40)을 이용하여 생성 모듈(10)을 업데이트하는 과정(단계 S130)에 대해 설명하면, 판별자 모듈(40)은 제1 학습 이미지(1) 및 변환 이미지(3)를 가짜로 인식하고, 제2 학습 이미지(3)를 진짜로 인식하도록 설정된다. 그리고, 변환 이미지(3)가 판별자 모듈(40)에서 진짜로 인식될 때까지 변환 이미지(3)를 생성 모듈(10)에 반복 적용하여 생성 모듈(10)을 업데이트하는데, 변환 이미지(3)가 진짜로 판단될 때까지 분할 윤곽 모듈(20) 및 형상 추정 모듈(30)에 변환 이미지(3)를 반복 적용하여 생성 모듈(10)을 업데이트한다.

추가적으로, 앞서 설명한 단계 S110, 단계 S120 및 단계 S130은 순차적으로 이루어질 수도 있고, 모두 동시에 이루어질 수도 있다.

도 4는 본 발명의 일실시예에 따른 이미지 매칭 장치를 개략적으로 나타낸 블럭도이다.

도 4를 참조하여 본 발명의 일 실시예에 따른 이미지 매칭 장치(200) 에 대해 설명한다. 이미지 매칭 장치(200)는 서로 다른 유형의 이미지의 매칭 여부를 판단한다. 이를 수행하기 위해 이미치 매칭 장치(200)는 메모리(210) 및 프로세서(220)를 포함한다.

메모리(210)는 이미지 매칭 프로그램이 저장된다. 메모리(210)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력을 필요로 하는 휘발성 저장장치를 통칭하는 것으로 해석되어야 한다. 메모리(210)는 프로세서(220)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 메모리(210)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

그리고, 프로세서(220)는 메모리(110)에 저장된 이미지 매칭 프로그램을 실행하여 서로 다른 유형의 이미지 사이의 매칭 여부를 판단한다. 도 5를 참조하여 이미지 매칭 프로그램의 동작에 대해 설명하면, 이미지 매칭 프로그램은 물체를 촬영한 제1 유형의 제1 이미지(5)를 변환 모델이 적용하여 제2 유형의 제2 이미지(6)를 생성하고, 이미지 매칭 조건에 따라 제2 이미지(6)와 제2 유형의 제3 이미지(7) 사이의 매칭 여부를 판단하는 것이다.

여기서, 변환 모델은 생성 모듈, 분할 윤곽 모듈, 형상 추론 모듈 및 판별자 모듈을 통해 기계학습 되어 제1 유형의 이미지를 제2 유형으로 변환하는 것이다. 생성 모듈은, 제1 유형의 이미지를 가공하는 것이고, 분할 윤곽 모듈은, 입력되는 이미지에 포함된 적어도 하나이상의 다각형을 배경과 분리하여 다각형의 윤곽선을 구분하는 것이며, 형상 추론 모듈은 서로 다른 유형의 제1 이미지와 제2 이미지가 입력되면, 제1 이미지에 포함된 다각형의 테두리 형상과 제2 이미지에 포함된 적어도 하나 이상의 다각형의 테두리 형상을 비교하여 형상의 일치 여부를 판단하는 것이고, 판별자 모듈은, 적어도 하나 이상의 입력되는 이미지에 대하여 설정된 조건에 따라 진짜와 가짜를 판단하는 것이다. 또한, 물체는 제3 이미지(7)를 이용하여 제작된 것인데, 예를 들어, 제3 이미지(7)는 물체를 제작하기 위한 설계도일 수 있다.

도 6 내지 도 9는 이미지 매칭 프로그램의 동작을 설명하기 위한 예시도이다. 도6 내지 도 9를 참조하여 이미지 매칭 프로그램이 제2 이미지와 제3 이미지의 매칭 여부를 판단하는 과정에 대한 다양한 실시예를 설명한다.

도 6을 참조하여 본 발명의 일실시예에 따른 이미지 매칭 프로그램이 제2 이미지(6)와 제3 이미지(7)의 매칭 여부를 판단하는 과정을 구체적으로 설명하면, 이미지 매칭 프로그램은 제3 이미지(7) 위에서 제2 이미지(6)를 이동하여 대응되는 지점을 탐색해 제2 이미지(6)와 제3 이미지(7)의 매칭 여부를 판단한다.

도 7a 및 도 7b를 참조하여 본 발명의 일 실시예에 따른 이미지 매칭 프로그램이 제2 이미지(6)와 제3 이미지(7)의 매칭 여부를 판단하는 과정을 구체적으로 설명한다.

도 7a를 참조하면, 이미지 매칭 프로그램은 제2 이미지(6)에 포함된 적어도 하나 이상의 다각형 중 어느 하나 이상에 제1 매칭 포인트(6a)를 설정하고, 제3 이미지(7)에서 제1 매칭 포인트(6a)와 대응되는 제2 매칭 포인트(7a)를 설정한다. 그리고, 적어도 하나 이상의 제1 매칭 포인트(6a) 각각에 대한 정보를 포함하는 제1 특징 벡터(6b)를 생성하고, 제2 매칭 포인트(7a) 각각의 정보를 포함하는 제2 특징 벡터(7b)를 생성한다.

이후, 도 7b에 도시된 것처럼 이미지 매칭 프로그램은 제1 특징 벡터(6a)와 제2 특징 벡터(7b)를 비교하고, 특징 벡터들 사이의 유사도에 따라 제3 이미지(7) 상에 제2 이미지(6)를 배치하여 제2 이미지(6)와 상기 제3 이미지(7)의 매칭 여부를 판단한다.

도 8a 및 도 8b를 참조하여 본 발명의 일 실시예에 따른 이미지 매칭 프로그램이 제2 이미지(6)와 제3 이미지(7)의 매칭 여부를 판단하는 과정을 구체적으로 설명한다.

도 8a를 참조하면, 이미지 매칭 프로그램은 제2 이미지(6)에 포함된 적어도 하나 이상의 다각형 중 어느 하나 이상에 대하여 제1 중심점(6c)을 설정하고, 제3 이미지에서 제1 중심점(6c)과 대응되는 제2 중심점(7c)을설정한다.

그리고, 도 8b에 도시된 것처럼 제1 중심점(6c)과 제2 중심점(7c)을 매칭하여 제2 이미지(6)와 제3 이미지(7)의 매칭 여부를 판단한다.

결과적으로, 이미지 매칭 프로그램은 위와 같은 과정을 통해 도 9에 도시된 것처럼 제3 이미지(7) 상에 제1 이미지(5)를 매칭할 수 있다.

추가적으로, 본 실시예에서, 프로세서(220)는 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 형태로 구현될 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

통신 모듈(230)은 외부 장치와 신호 데이터 대한 데이터 통신을 수행하기 위해, 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하는데 요구되는 하드웨어 및 소프트웨어를 포함하는 장치를 포함할 수 있다.

데이터베이스(240)는 이미지 매칭 프로그램이 동작하기 위한 다양한 데이터가 저장될 수 있다. 예를 들면, 대상 공간(20) 대한 맵데이터와 같이 위치 정보 제공 프로그램이 동작하는데 요구되는 데이터가 저장될 수 있다.

한편, 이미지 매칭 장치(200)는 외부 장치로부터 신호 데이터를 수신하고, 이를 변환 모델에 입력하여 제1 유형의 제1 이미지를 제2 유형의 제2 이미지로 변환하고, 제2 이미지와 제2 유형의 제3 이미지 사이의 매칭 여부를 판단하는 서버의 형태로도 동작할 수 있다.

도 10은 본 발명의 일 실시예에 따른 이미지 매칭 방법을 설명하기 위한 흐름도이다.

도 5 및 도 10을 참조하여 본 실시예의 위치 정보 제공 방법(S200)을 설명하면, 본 실시예는 물체를 촬영하여 제1 유형의 제1 이미지(5)를 생성하고(단계 S210), 제1 이미지(5)를 변환 모델에 적용하여 제2 유형의 제2 이미지(6)를 생성한다(단계 S220). 이후, 이미지 매칭 조건에 따라 제2 이미지(6)와 제2 유형의 제3 이미지(7) 사이의 매칭 여부를 판단한다(단계 S230, S240, S250).

이후, 제2 이미지와 제3 이미지의 매칭 여부를 판단하는 과정(단계 S230, S240, S250)에 대한 다양한 실시예를 설명한다.

도 6을 참조하여 본 발명의 일실시예에 따른 제2 이미지(6)와 제3 이미지(7)의 매칭 여부를 판단하는 과정(단계 S230)을 구체적으로 설명하면, 이미지 매칭 프로그램은 제3 이미지(7) 위에서 제2 이미지(6)를 이동하여 대응되는 지점을 탐색해 제2 이미지(6)와 제3 이미지(7)의 매칭 여부를 판단한다.

도 7a, 도 7 b 및 도 11을 참조하여 본 발명의 일 실시예에 따른 제2 이미지(6)와 제3 이미지(7)의 매칭 여부를 판단하는 과정(단계 S240)을 구체적으로 설명한다.

도 7a를 참조하면, 이미지 매칭 프로그램은 제2 이미지(6)에 포함된 적어도 하나 이상의 다각형 중 어느 하나 이상에 제1 매칭 포인트(6a)를 설정(단계 S241)하고, 제3 이미지(7)에서 제1 매칭 포인트(6a)와 대응되는 제2 매칭 포인트(7a)를 설정(단계 S242)한다. 그리고, 적어도 하나 이상의 제1 매칭 포인트(6a) 각각에 대한 정보를 포함하는 제1 특징 벡터(6b)를 생성하고, 제2 매칭 포인트(7a) 각각의 정보를 포함하는 제2 특징 벡터(7b)를 생성(단계 S243)한다.

이후, 도 7b에 도시된 것처럼 이미지 매칭 프로그램은 제1 특징 벡터(6a)와 제2 특징 벡터(7b)를 비교하고, 특징 벡터들 사이의 유사도에 따라 제3 이미지(7) 상에 제2 이미지(6)를 배치하여 제2 이미지(6)와 상기 제3 이미지(7)의 매칭 여부를 판단(단계 S244)한다.

도 8a, 도 8b 및 도 12를 참조하여 본 발명의 일 실시예에 따른 이미지 매칭 프로그램이 제2 이미지(6)와 제3 이미지(7)의 매칭 여부를 판단하는 과정(단계 S250)을 구체적으로 설명한다.

도 8a를 참조하면, 제2 이미지(6)에 포함된 적어도 하나 이상의 다각형 중 어느 하나 이상에 대하여 제1 중심점(6c)을 설정(단계 S251)하고, 제3 이미지에서 제1 중심점(6c)과 대응되는 제2 중심점(7c)을설정(단계 S252)한다.

그리고, 도 8b에 도시된 것처럼 제1 중심점(6c)과 제2 중심점(7c)을 매칭하여 제2 이미지(6)와 제3 이미지(7)의 매칭 여부를 판단(단계 S253)한다.

결과적으로, 본 발명의 이미지 매칭 방법(S200)은 위와 같은 과정을 통해 도 9에 도시된 것처럼 제3 이미지(7) 상에 제1 이미지(5)를 매칭할 수 있다. 이와 같은 이미지 매칭을 통한 이미지 정렬 이후, 설계도와 실제 제작된 제품의 차이에 기초하여 제품의 결합 발생 정도를 결정할 수 있다.

본 발명은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

또한, 본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 상술한 설명을 기초로 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해되어야만 한다. 본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

100: 변환 모델 구축장치
110: 메모리
120: 프로세서
200: 이미지 매칭 장치
210: 메모리
220: 프로세서

Claims

이미지의 유형을 변환하는 변환 모듈을 구축하는 변환 모델 구축 장치에 있어서,
변환 모델 구축 프로그램이 저장된 메모리; 및
상기 변환 모델 구축 프로그램을 실행하는 프로세서를 포함하고,
상기 변환 모델 구축 프로그램은,
분할 윤곽 모듈을 이용하여 제1 유형의 제1 학습 이미지를 변환 이미지로 가공하도록 생성 모듈을 업데이트하고, 형상 추정 모듈을 이용하여 제2 유형의 제2 학습 이미지의 형상으로 상기 변환 이미지를 가공하도록 상기 생성 모듈을 업데이트하며, 판별자 모듈에 설정된 조건에 따라, 상기 판별자 모듈에서 상기 변환 이미지가 진짜로 판별되도록 상기 생성 모듈을 업데이트하여 변환 모델을 학습 시키는 것이며,
상기 변환 모델은, 상기 생성 모듈, 상기 분할 윤곽 모듈, 상기 형상 추정 모듈 및 상기 판별자 모듈을 포함하고,
상기 분할 윤곽 모듈은,
입력되는 이미지에 포함된 적어도 하나이상의 다각형을 배경과 분리하여 상기 다각형의 윤곽선을 구분하는 것이며,
상기 형상 추론 모듈은,
서로 다른 유형의 제1 이미지와 제2 이미지가 입력되면, 상기 제1 이미지에 포함된 다각형의 테두리 형상과 상기 제2 이미지에 포함된 적어도 하나 이상의 다각형의 테두리 형상을 비교하여 형상의 일치 여부를 판단하는 것이고,
상기 판별자 모듈은,
적어도 하나 이상의 입력되는 이미지에 대하여 설정된 조건에 따라 진짜와 가짜를 판단하는 것인, 변환 모델 구축 장치
제1항에 있어서,
상기 변환 모델 구축 프로그램은,
상기 제1 학습 이미지를 상기 분할 윤곽 모듈에 적용하여 샘플 이미지를 생성하고, 상기 샘플 이미지와 상기 변환 이미지를 비교하여 일치 여부를 판단하는 것인, 변환 모델 구축 장치.
제2항에 있어서,
상기 변환 모델 구축 프로그램은,
상기 샘플 이미지와 상기 변환 이미지의 소정 지점의 형상이 일치하지 않으면, 상기 변환 이미지의 상기 지점을 상기 샘플 이미지의 형상으로 변환하도록 상기 생성 모듈을 업데이트하는 것인, 변환 모델 구축 장치.
제3항에 있어서,
상기 변환 모델 구축 프로그램은,
상기 샘플 이미지와 상기 변환 이미지가 일치할 때까지 상기 변환 이미지를 상기 생성 모듈에 반복 적용하여 상기 생성 모듈을 업데이트하는 것인, 변환 모델 구축 방법.
제1항에 있어서,
상기 변환 모델 구축 프로그램은,
상기 형상 추론 모듈에 상기 제2 학습 이미지와 상기 변환 이미지를 적용하고, 상기 변환 이미지에 포함된 적어도 하나 이상의 제1 다각형의 테두리 형상과 상기 제2 학습 이미지에 포함된 제2 다각형의 테두리 형상을 비교하여 형상의 일치 여부를 판단하는 것인, 변환 모델 구축 장치.
제5항에 있어서,
상기 변환 모델 구축 프로그램은,
상기 제1 다각형의 테두리 형성과 상기 제2 다각형의 테두리 형상이 일치하지 않는 경우, 상기 제1 다각형의 테두리 형상을 상기 제2 다각형의 테두리 형상으로 변환하도록 상기 생성 모듈을 업데이트하는 것인, 변환 모델 구축 장치.
제6항에 있어서,
상기 변환 모델 구축 프로그램은,
상기 제1 다각형의 테두리 형상과 상기 제2 다각형의 테두리 형상이 일치할 때까지 상기 변환 이미지를 상기 생성 모듈에 반복 적용하여 상기 생성 모듈을 업데이트하는 것인, 변환 모델 구축 장치.
제1항에 있어서,
상기 판별자 모듈은,
상기 제1 학습 이미지 및 상기 변환 이미지를 가짜로, 상기 제2학습 이미지를 진짜로 판단하도록 설정되며,
상기 변환 모델 구축 프로그램은,
상기 변환 이미지가 상기 판별자 모듈에서 진짜로 판단될 때까지 상기 변환 이미지를 상기 생성 모듈에 반복 적용하여 상기 생성 모듈을 업데이트하는 것인, 변환 모델 구축 장치.
제8항에 있어서,
상기 변환 모델 구축 프로그램은,
상기 판별자 모듈에 입력된 상기 변환 이미지가 진짜로 판단될 때까지 상기 분할 윤곽 모듈 및 상기 형상 추정 모듈에 상기 변환 이미지를 반복 적용하여 상기 생성 모듈을 업데이트하는 것인, 변환 모델 구축 장치.
제1항에 있어서,
상기 변환 모델은,
비지도 학습(Unsupervised Learning)을 통해 학습되는 것인, 변환 모델 구축 장치.
변환 모델 구축 장치를 이용하여 이미지의 유형을 변환하는 변환 모델을 구축하는 방법에 있어서,
(a) 분할 윤곽 모듈을 이용하여 제1 유형의 제1 학습 이미지를 변환 이미지로 가공하도록 생성 모듈을 업데이트하는 단계;
(b) 제2 유형의 제2 학습 이미지와 형상 추정 모듈을 이용하여 제2 유형으로 상기 변환 이미지를 가공하도록 상기 생성 모듈을 업데이트하는 단계; 및
(c) 판별자 모듈에 설정된 조건에 따라, 상기 판별자 모듈에서 상기 변환 이미지가 진짜로 판별되도록 상기 생성 모듈을 업데이트하는 단계를 포함하되,
상기 변환 모델은, 상기 생성 모듈, 상기 분할 윤곽 모듈, 상기 형상 추정 모듈 및 상기 판별자 모듈을 포함하고,
상기 분할 윤곽 모듈은,
입력되는 이미지에 포함된 적어도 하나이상의 다각형을 배경과 분리하여 상기 다각형의 윤곽선을 구분하는 것이며,
상기 형상 추론 모듈은,
서로 다른 유형의 제1 이미지와 제2 이미지가 입력되면, 상기 제1 이미지에 포함된 다각형의 테두리 형상과 상기 제2 이미지에 포함된 적어도 하나 이상의 다각형의 테두리 형상을 비교하여 형상의 일치 여부를 판단하는 것이고,
상기 판별자 모듈은,
적어도 하나 이상의 입력되는 이미지에 대하여 설정된 조건에 따라 진짜와 가짜를 판단하는 것인, 변환 모델 구축 방법.
제11항에 있어서,
상기 (a) 단계는,
상기 제1 학습 이미지를 상기 분할 윤곽 모듈에 적용하여 샘플 이미지를 생성하고, 상기 샘플 이미지와 상기 변환 이미지를 비교하여 일치 여부를 판단하는 것인, 변환 모델 구축 방법.
제12항에 있어서,
상기 (a) 단계는,
상기 샘플 이미지와 상기 변환 이미지의 소정 지점의 형상이 일치하지 않으면, 상기 변환 이미지의 상기 지점을 상기 샘플 이미지의 형상으로 변환하도록 상기 생성 모듈을 업데이트하는 것인, 변환 모델 구축 방법.
제13항에 있어서,
상기 (a) 단계는,
상기 샘플 이미지와 상기 변환 이미지가 일치할 때까지 상기 변환 이미지를 상기 생성 모듈에 반복 적용하여 상기 생성 모듈을 업데이트하는 것인, 변환 모델 구축 방법.
제11항에 있어서,
상기 (b) 단계는,
상기 형상 추론 모듈에 상기 제2 학습 이미지와 상기 변환 이미지를 적용하고, 상기 변환 이미지에 포함된 적어도 하나 이상의 제1 다각형의 테두리 형상과 상기 제2 학습 이미지에 포함된 제2 다각형의 테두리 형상을 비교하여 형상의 일치 여부를 판단하는 것인, 변환 모델 구축 방법.
제15항에 있어서,
상기 (b) 단계는,
상기 제1 다각형의 테두리 형성과 상기 제2 다각형의 테두리 형상이 일치하지 않으면, 상기 제1 다각형의 테두리 형상을 상기 제2 다각형의 테두리 형상으로 변환하도록 상기 생성 모듈을 업데이트하는 것인, 변환 모델 구축 방법.
제16항에 있어서,
상기 (b) 단계는,
상기 제1 다각형의 테두리 형상과 상기 제2 다각형의 테두리 형상이 일치할 때까지 상기 변환 이미지를 상기 생성 모듈에 반복 적용하여 상기 생성 모듈을 업데이트하는 것인, 변환 모델 구축 방법.
제11항에 있어서,
상기 (c) 단계는,
상기 판별자 모듈은,
상기 제1 학습 데이터 및 상기 변환 데이터를 가짜로, 상기 제2학습 데이터를 진짜로 판단하도록 설정되며,
상기 변환 이미지가 상기 판별자 모듈에서 진짜로 판단될 때까지 상기 변환 이미지를 상기 생성 모듈에 반복 적용하여 상기 생성 모듈을 업데이트하는 것인, 변환 모델 구축 방법.
제18항에 있어서,
상기 (c) 단계는,
상기 판별자 모듈에 입력된 상기 변환 이미지가 진짜로 판단될 때까지 상기 (a) 단계 및 상기 (b) 단계를 반복하여 상기 생성 모듈을 업데이트하는 것인, 변환 모델 구축 방법.
제11항에 있어서,
상기 변환 모델은,
비지도 학습(Unsupervised Learning)을 통해 학습되는 것인, 변환 모델 구축 방법.
서로 다른 유형의 이미지 간의 매칭 여부를 판단하는 이미지 매칭 장치에 있어서,
이미지 매칭 프로그램이 저장된 메모리; 및
상기 이미지 매칭 프로그램을 실행하는 프로세서를 포함하되,
상기 이미지 매칭 프로그램은,
물체를 촬영한 제1 유형의 제1 이미지를 변환 모델에 적용하여 제2 유형의 제2 이미지를 생성하고, 이미지 매칭 조건에 따라 상기 제2 이미지와 제2 유형의 제3 이미지 사이의 매칭 여부를 판단하는 것이며,
상기 물체는 상기 제3 이미지를 이용하여 제조된 것이고,
상기 변환 모델은,
생성 모듈, 분할 윤곽 모듈, 형상 추론 모듈 및 판별자 모듈을 통해 기계 학습되어 상기 제1 유형의 이미지를 상기 제2 유형으로 변환하는 것이며,
상기 생성 모듈은,
상기 제1 유형의 이미지를 가공하는 것이고,
상기 분할 윤곽 모듈은,
입력되는 이미지에 포함된 적어도 하나이상의 다각형을 배경과 분리하여 상기 다각형의 윤곽선을 구분하는 것이며,
상기 형상 추론 모듈은,
서로 다른 유형의 제1 이미지와 제2 이미지가 입력되면, 상기 제1 이미지에 포함된 다각형의 테두리 형상과 상기 제2 이미지에 포함된 적어도 하나 이상의 다각형의 테두리 형상을 비교하여 형상의 일치 여부를 판단하는 것이고,
상기 판별자 모듈은,
적어도 하나 이상의 입력되는 이미지에 대하여 설정된 조건에 따라 진짜와 가짜를 판단하는 것인, 이미지 매칭 장치.
제21항에 있어서,
상기 이미지 매칭 프로그램은,
상기 제3 이미지 상에서 상기 제2 이미지를 이동시켜 대응되는 지점을 탐색하여 상기 제2 이미지와 상기 제3 이미지의 매칭 여부를 판단하는 것인, 이미지 매칭 장치.
제22항에 있어서,
상기 이미지 매칭 프로그램은,
상기 제2 이미지에 포함된 적어도 하나 이상의 다각형 중 어느 하나 이상에 대하여 제1 매칭 포인트를 설정하고,
상기 제3 이미지에서 상기 제1 매칭 포인트와 대응되는 제2 매칭 포인트를 설정하며,
적어도 하나 이상의 상기 제1 매칭 포인트와 상기 제2 매칭 포인트 각각의 정보를 포함하는 특징 벡터를 생성하는 것인, 이미지 매칭 장치.
제23항에 있어서,
상기 이미지 매칭 프로그램은,
적어도 하나 이상의 상기 제1 매칭 포인트와 상기 제2 매칭 포인트 각각에 대한 상기 특징 벡터를 비교하고, 상기 특징 벡터 사이의 유사도에 따라 상기 제3 이미지 상에 상기 제2 이미지를 매칭하여 상기 제2 이미지와 상기 제3 이미지의 매칭 여부를 판단하는 것인, 이미지 매칭 장치.
제21항에 있어서,
상기 이미지 매칭 프로그램은,
상기 제2 이미지에 포함된 적어도 하나 이상의 다각형 중 어느 하나 이상에 대하여 제1 중심점을 설정하고,
상기 제3 이미지에서 상기 제1 중심점과 대응되는 제2 중심점을 설정하는 것인, 이미지 매칭 장치.
제25항에 있어서,
상기 이미지 매칭 프로그램은,
상기 제1 중심점과 상기 제2 중심점을 매칭하여 상기 제2 이미지와 상기 제3 이미지의 매칭 여부를 판단하는 것인, 이미지 매칭 장치.
이미지 매칭 장치를 이용하여 서로 다른 유형의 이미지의 매칭 여부를 판단하는 이미지 매칭 방법에 있어서,
(a) 물체를 촬영하여 제1 유형의 제1 이미지를 생성하는 단계;
(b) 상기 제1 이미지를 변환 모델에 적용하여 제2 유형의 제2 이미지를 생성하는 단계; 및
(c) 이미지 매칭 조건에 따라 상기 제2 이미지와 제2 유형의 제3 이미지 사이의 매칭 여부를 판단하는 단계를 포함하되,
상기 물체는 상기 제3 이미지를 통해 제조된 것이고,
상기 변환 모델은,
생성 모듈, 분할 윤곽 모듈, 형상 추론 모듈 및 판별자 모듈을 통해 기계 학습되어 상기 제1 유형의 이미지를 상기 제2 유형으로 변환하는 것이며,
상기 생성 모듈은,
상기 제1 유형의 이미지를 가공하는 것이고,
상기 분할 윤곽 모듈은,
입력되는 이미지에 포함된 적어도 하나이상의 다각형을 배경과 분리하여 상기 다각형의 윤곽선을 구분하는 것이며,
상기 형상 추론 모듈은,
서로 다른 유형의 제1 이미지와 제2 이미지가 입력되면, 상기 제1 이미지에 포함된 다각형의 테두리 형상과 상기 제2 이미지에 포함된 적어도 하나 이상의 다각형의 테두리 형상을 비교하여 형상의 일치 여부를 판단하는 것이고,
상기 판별자 모듈은,
적어도 하나 이상의 입력되는 이미지에 대하여 설정된 조건에 따라 진짜와 가짜를 판단하는 것인, 이미지 매칭 방법.
제27항에 있어서,
상기 (c) 단계는,
상기 제3 이미지 상에서 상기 제2 이미지와 일치하는 지점을 탐색하여 상기 제2 이미지와 상기 제3 이미지의 매칭 여부를 판단하는 것인, 이미지 매칭 방법.
제27항에 있어서,
상기 (c) 단계는,
상기 제2 이미지에 포함된 적어도 하나 이상의 다각형 중 어느 하나 이상에 대하여 제1 매칭 포인트를 설정하는 단계;
상기 제3 이미지에서 상기 제1 매칭 포인트와 대응되는 제2 매칭 포인트를 설정하는 단계; 및
적어도 하나 이상의 상기 제1 매칭 포인트와 상기 제2 매칭 포인트 각각에 대한 정보를 포함하는 특징 벡터를 생성하는 단계를 포함하는 것인, 이미지 매칭 방법.
제19항에 있어서,
상기 (c) 단계는,
적어도 하나 이상의 상기 제1 매칭 포인트와 상기 제2 매칭 포인트 각각에 대한 상기 특징 벡터를 비교하고, 상기 특징 벡터 사이의 유사도에 따라 상기 제3 이미지 상에 상기 제2 이미지를 매칭하여 상기 제2 이미지와 상기 제3 이미지의 매칭 여부를 판단하는 단계를 더 포함하는 것인, 이미지 매칭 방법.
제27항에 있어서,
상기 (c) 단계는,
상기 제2 이미지에 포함된 적어도 하나 이상의 다각형 중 어느 하나 이상에 대하여 제1 중심점을 설정하는 단계;
상기 제3 이미지에서 상기 제1 중심점과 대응되는 제2 중심점을 설정하는 단계; 및
상기 제1 중심점과 상기 제2 중심점을 매칭하여 상기 제2 이미지와 상기 제3 이미지의 매칭 여부를 판단하는 단계를 포함하는 것인, 이미지 매칭 방법.