KR20210103339A - 딥러닝을 이용한 이미지 보간 방법 및 그 장치 - Google Patents

Abstract

본 발명은 이미지 보간 방법 및 그 장치에 대한 것으로서, 보다 상세하게는 딥러닝(Deep Learnig)을 이용하여 이미지를 보간하는 방법 및 그 장치에 대한 것이다. 본 발명의 일 실시 예에 따른 이미지 보간 장치는, 프로세서 및 프로세서에 연결되고, 딥러닝 알고리즘, 제1 탄성파이미지 및 제2 탄성파이미지가 저장되는 메모리를 포함하며, 메모리는 프로세서에 의해 실행 가능한, 제1 탄성파이미지 및 제2 탄성파이미지를 미리 설정된 방법에 따라 차원 축소시키고, 제1 축소탄성파이미지 중 제2 탄성파이미지에 대응되는 제1 유사탄성파이미지를 검출한 후, 제1 유사탄성파이미지를 이용하여 딥러닝 알고리즘을 학습시키는 프로그램 명령어들을 저장할 수 있다. 본 발명에 따르면, 기기적인 결함 또는 탐사 비용 등의 영향을 받아 손실되거나 성기게 샘플링된 탄성파 이미지의 복원을 통하여 탄성파 이미지 처리 시 발생할 수 있는 왜곡 문제를 제거할 수 있다.

Description

딥러닝을 이용한 이미지 보간 방법 및 그 장치{IMAGE INTERPOLATION METHOD BY DEEP LEARNING AND DEVICE THEREOF}

본 발명은 이미지 보간 방법 및 그 장치에 대한 것으로서, 보다 상세하게는 딥러닝(Deep Learnig)을 이용하여 이미지를 보간하는 방법 및 그 장치에 대한 것이다.

일반적인 머신러닝(Machine learning) 기반의 이미지 처리 분야에서는 풍부하고 다양한 학습 자료가 존재하며, 이를 통해 머신러닝 모델이 학습될 수 있다. 이러한 학습된 머신러닝 모델은 일반화된 성능을 보여준다. 그리고 이미지 슈퍼레졸루션(super-resolution) 기술이 도입되면서 저해상도의 이미지를 고해상도로 복구하는 기술이 비약적으로 발전하게 되었다.

하지만 탄성파 탐사 분야(Seismic exploration)에서는 탄성파 이미지 자료 취득이 어렵고 많은 비용이 소모되기 때문에 자료 복구를 위한 모델 학습에 필요한 자료도 매우 부족하고 한정적이다.

이미지 처리 분야에서 발달된 기술을 도입한 일반적인 합성곱 신경망(convolutional neural network, CNN) 기반의 탄성파 트레이스(seismic trace) 내삽, 복원 기법은 규칙적 혹은 불규칙적으로 손실된 트레이스를 복구하기 위하여 먼저 학습에 사용 가능한 탄성파 모음 자료들에서 무작위로 패치(patch)를 추출하여 학습 자료를 구성한다. 그 후 이미지 슈퍼-레졸루션 기법을 이용하여 탄성파 자료를 복구하는 머신러닝 모델을 학습시키고 학습된 모델을 규칙적으로 손실된 탄성파 모음 자료에 적용하여 자료를 복구한다.

한편 이러한 이미지 처리가 아닌 탄성파 트레이스 기반 머신러닝 내삽 기술은 순환 신경망(Recurrent neural network, RNN)을 이용할 수 있다. 순환 신경망 기술은 연속적이고 반복적인 데이터 학습에 매우 유용한 기술로써 기존의 합성곱신경망 기반 방법들에 비해 복잡한 하이퍼파라미터(hyper-parameter) 설정이나 선 가정들 없이 주어진 자료를 기반으로 트레이스를 복구할 수 있고, 한번 학습시킨 모델을 통해서 기존의 방법들보다 더 빠르게 자료를 복구할 수 있는 장점을 가지고 있다. 그러나 기존의 순환 신경망과 머신러닝 기반 내삽 기술들은 학습된 모델이 어느 정도의 성능을 가지고 내삽 결과를 제공할 수 있을지 평가 및 예측하기 어려운 문제점이 있다.

이와 같이, 종래의 이미지 처리 분야의 일반화된 모델을 통해 탄성파 이미지를 복원하는 것은 상당히 어렵다. 현장에서 수집된 탄성파 이미지가 고차원, 대용량인 데다가 탄성파 이미지 수집을 위해서는 탐사선을 띄워야 하는 등 수집 비용이 고가이기 때문이다.

또한 기존의 머신러닝 기반의 탄성파 트레이스 내삽 및 복원 기술에서는 취득된 자료들 중 어떤 자료를 정답 자료(Labels) 혹은 학습 자료로 사용할지에 대한 분석 없이 다수의 탄성파 모음(seismic gather) 자료에 대해서 무작위 패치 추출을 통해서 학습 자료를 구성하여, 자료 복구가 필요한 알리아싱이 존재하는 현장 자료의 특성을 고려하지 않는다. 이러한 경우 공간적인 알리아싱이 크게 존재하는 현장 자료에 대해서 트레이스가 제대로 복구되지 못할 수 있다.

한편, 합성자료 모델링(synthetic modeling)을 통해 정답 자료와 학습자료를 생성하는 것이 대안이 될 수도 있겠지만, 탐사 현장의 지하 정보를 모델링 하기 위해서는 복잡한 모델링 기술이 추가적으로 요구되고 많은 시간과 비용이 소모되게 된다.

따라서 한정적인 탄성파 이미지를 분석하여 최적의 학습자료를 생성하는 과정이 필수적으로 요구된다.

본 발명은 한정적인 탄성파 이미지를 이용하여 최적의 학습자료를 생성할 수 있는 딥러닝을 이용한 이미지 보간 방법 및 그 장치를 제공하고자 한다.

본 발명의 일 실시 예에 따르면, 프로세서; 및 상기 프로세서에 연결되고, 딥러닝 알고리즘, 제1 탄성파이미지 및 제2 탄성파이미지가 저장되는 메모리;를 포함하며, 상기 메모리는 상기 프로세서에 의해 실행 가능한, 상기 제1 탄성파이미지 및 상기 제2 탄성파이미지를 미리 설정된 방법에 따라 차원 축소시키고, 제1 축소탄성파이미지 중 상기 제2 탄성파이미지에 대응되는 제1 유사탄성파이미지를 검출한 후, 상기 제1 유사탄성파이미지를 이용하여 상기 딥러닝 알고리즘을 학습시키는 프로그램 명령어들을 저장하되, 상기 제1 탄성파이미지는 상기 제2 탄성파이미지보다 해상도가 높은 탄성파이미지이고, 상기 제1 축소탄성파이미지는 상기 제1 탄성파이미지가 상기 차원 축소된 것인, 이미지 보간 장치가 개시된다.

실시예에 따라, 상기 메모리는, CAE(Convolutional Auto-Encoder)를 더 저장하고, 상기 제1 탄성파이미지를 미리 설정된 분할방법에 따라 분할하여 제1 분할탄성파이미지를 생성하고, 상기 제1 분할탄성파이미지를 CAE로 입력하고, 상기 CAE의 인코더 부분을 검출하고, 검출된 상기 인코더 부분을 이용하여 상기 제1 탄성파이미지 및 상기 제2 탄성파이미지를 축소시키는 프로그램 명령어들을 더 저장할 수 있다.

실시예에 따라, 상기 메모리는, 상기 제1 분할탄성파이미지 및 제2 분할탄성파이미지를 상기 인코더 부분에 입력하여 상기 제1 축소탄성파이미지 및 제2 축소탄성파이미지를 생성하는 프로그램 명령어들을 더 저장하되, 상기 제2 분할탄성파이미지는 상기 제2 탄성파이미지가 상기 분할방법에 따라 분할되어 생성된 이미지일 수 있다.

실시예에 따라, 상기 메모리는, 상기 제1 축소탄성파이미지 및 상기 제2 축소탄성파이미지를 t-SNE(t-Stochastic Neighbor Embedding) 분석하여, 상기 제1 축소탄성파이미지 중 상기 제2 축소탄성파이미지에 상응하는 상기 제1 유사탄성파이미지를 검출하는 프로그램 명령어들을 더 저장할 수 있다.

실시예에 따라, 상기 메모리는, 상기 제1 탄성파이미지 중 상기 제1 유사탄성파이미지에 상응하는 제1 정답탄성파이미지를 검출하고, 상기 제1 정답탄성파이미지 및 상기 제1 유사탄성파이미지를 이용하여 상기 딥러닝 알고리즘을 학습시키는 프로그램 명령어들을 더 저장할 수 있다.

본 발명의 다른 실시예에 따르면, 딥러닝 알고리즘, 제1 탄성파이미지 및 제2 탄성파이미지가 미리 저장된 이미지 보간 장치에서 수행되는 이미지 보간 방법에 있어서, 상기 제1 탄성파이미지 및 상기 제2 탄성파이미지를 미리 설정된 방법에 따라 차원 축소시키는 단계; 제1 축소탄성파이미지 중 상기 제2 탄성파이미지에 대응되는 제1 유사탄성파이미지를 검출하는 단계; 및 상기 제1 유사탄성파이미지를 이용하여 상기 딥러닝 알고리즘을 학습시키는 단계;를 포함하되, 상기 제1 탄성파이미지는 상기 제2 탄성파이미지보다 해상도가 높은 탄성파이미지이고, 상기 제1 축소탄성파이미지는 상기 제1 탄성파이미지가 상기 차원 축소된 것인, 이미지 보간 방법이 개시된다.

실시예에 따라, 상기 차원 축소 시키는 단계는, 상기 제1 탄성파이미지를 미리 설정된 분할방법에 따라 분할하여 제1 분할탄성파이미지를 생성하는 단계; 상기 제1 분할탄성파이미지를 미리 저장된 CAE(Convolutional Auto-Encoder)로 입력하는 단계; 상기 CAE의 인코더 부분을 검출하는 단계; 및 검출된 상기 인코더 부분을 이용하여 상기 제1 탄성파이미지 및 상기 제2 탄성파이미지를 축소시키는 단계;를 포함할 수 있다.

실시예에 따라, 상기 차원 축소시키는 단계는, 상기 제1 분할탄성파이미지 및 제2 분할탄성파이미지를 상기 인코더 부분에 입력하여 상기 제1 축소탄성파이미지 및 제2 축소탄성파이미지를 생성하는 단계;를 포함하되, 상기 제2 분할탄성파이미지는 상기 제2 탄성파이미지가 상기 분할방법에 따라 분할되어 생성된 이미지일 수 있다.

실시예에 따라, 상기 제1 유사탄성파이미지를 검출하는 단계는, 상기 제1 축소탄성파이미지 및 상기 제2 축소탄성파이미지를 t-SNE(t-Stochastic Neighbor Embedding) 분석하는 단계; 및 상기 분석에 따라, 상기 제1 축소탄성파이미지 중 상기 제2 축소탄성파이미지에 상응하는 상기 제1 유사탄성파이미지를 검출하는 단계;를 포함할 수 있다.

실시예에 따라, 상기 딥러닝 알고리즘을 학습시키는 단계는, 제1 정답탄성파이미지 및 상기 제1 유사탄성파이미지를 이용하여 상기 딥러닝 알고리즘을 학습시키는 단계;를 포함하되, 상기 정답탄성파이미지는 상기 제1 탄성파이미지 중 상기 제1 유사탄성파이미지에 상응하는 것일 수 있다.

본 발명에 따르면, 기기적인 결함 또는 탐사 비용 등의 영향을 받아 손실되거나 성기게 샘플링 된 탄성파 이미지의 복원을 통하여 탄성파 이미지 처리 시 발생할 수 있는 왜곡 문제를 제거할 수 있다.

또한, 본 발명에 따르면, 탄성파 이미지의 처리 결과를 향상시킬 수 있을 뿐만 아니라, 탄성파 이미지 획득 시 탄성파 이미지의 복원을 염두에 두고 이미지 획득을 최소화함으로써 많은 경비와 시간을 줄일 수 있다.

또한, 본 발명에 따르면, 복잡하고 고차원의 특성을 가지는 탄성파 이미지의 효율적인 분석이 가능하다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 탄성파 탐사 시스템에 대한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 이미지 보간 장치에 대한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 이미지 보간 장치의 동작을 설명하기 위한 동작 흐름도이다.
도 4는 본 발명의 일 실시예에 따라 제1 탄성파이미지를 분할하여 제1 분할탄성파이미지가 생성되는 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따라 오토인코더를 통해 인코더가 생성되는 동작을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 딥러닝 모델이 학습되는 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따라 학습된 딥러닝 모델이 다른 제2 탄성파이미지를 보간한 결과를 설명하기 위한 예시도이다.
도 8은 본 발명의 다른 실시예에 따른 이미지 보간 방법을 설명하기 위한 순서도이다.
도 9는 본 발명의 다른 실시예에 따른 이미지 보간 방법을 구성하는 인코더 생성 단계를 설명하기 위한 순서도이다.

본 발명의 기술적 사상에 따른 예시적인 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 더욱 완전하게 설명하기 위하여 제공되는 것으로, 아래의 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 기술적 사상의 범위가 아래의 실시예들로 한정되는 것은 아니다. 오히려, 이들 실시예들은 본 개시를 더욱 충실하고 완전하게 하며 당업자에게 본 발명의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.

본 명세서에서 제1, 제2 등의 용어가 다양한 부재, 영역, 층들, 부위 및/또는 구성 요소들을 설명하기 위하여 사용되지만, 이들 부재, 부품, 영역, 층들, 부위 및/또는 구성 요소들은 이들 용어에 의해 한정되어서는 안 됨은 자명하다. 이들 용어는 특정 순서나 상하, 또는 우열을 의미하지 않으며, 하나의 부재, 영역, 부위, 또는 구성 요소를 다른 부재, 영역, 부위 또는 구성 요소와 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제1 부재, 영역, 부위 또는 구성 요소는 본 발명의 기술적 사상의 가르침으로부터 벗어나지 않고서도 제2 부재, 영역, 부위 또는 구성 요소를 지칭할 수 있다. 예를 들면, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

달리 정의되지 않는 한, 여기에 사용되는 모든 용어들은 기술 용어와 과학 용어를 포함하여 본 발명의 개념이 속하는 기술 분야에서 통상의 지식을 가진 자가 공통적으로 이해하고 있는 바와 동일한 의미를 지닌다. 또한, 통상적으로 사용되는, 사전에 정의된 바와 같은 용어들은 관련되는 기술의 맥락에서 이들이 의미하는 바와 일관되는 의미를 갖는 것으로 해석되어야 하며, 여기에 명시적으로 정의하지 않는 한 과도하게 형식적인 의미로 해석되어서는 아니 될 것이다.

여기에서 사용된 '및/또는' 용어는 언급된 부재들의 각각 및 하나 이상의 모든 조합을 포함한다.

이하에서는 첨부한 도면들을 참조하여 본 발명의 기술적 사상에 의한 실시예들에 대해 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 탄성파 탐사 시스템에 대한 구성도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 탄성파 탐사 시스템은 탐사선(10), 탐사선(10)에 실장되어 음파를 출력하는 음파출력기(40) 및 수중에 위치되어 음파출력기(40)에서 출력된 음파의 반사파(100)를 수신하는 수중청음기(60)를 포함할 수 있다.

탐사선(10)은 해저 탐사의 목적이 되는 지역 바다를 정속으로 운항하는 선박일 수 있다. 탐사선(10)에는 음파출력기(40)가 내장되어, 바다 속으로 음파를 출력할 수 있다. 음파출력기(40)는 초음파출력장치로서 초음파를 바다 속으로 출력하거나, 다이너마이트(DYNAMITE)를 폭파시켜 음파를 바다 속으로 출력할 수도 있다.

수중청음기(60)는 수중에 형성되어 음파출력기(40)에서 출력된 음파가 해저 지형에서 반사된 반사파(100)를 수신할 수 있다. 수중청음기(60)는 미리 설정된 간격(예를 들어, 2[m] 간격)으로 수중에 배치되어 반사파(100)를 수신할 수 있다. 수중청음기(60)는 반사파(100)가 수신되었다는 신호를 탄성파 기록 장치(미도시)로 전송할 수 있다.

탄성파 기록 장치(미도시)는 탐사선(10)에 내장된 장치이거나, 별도의 장소에 위치된 장치일 수 있다. 탄성파 기록 장치(미도시)는 수중청음기(60)에서 수신된 신호를 이용하여 농담(濃淡)으로 기록된 탄성파 이미지를 생성할 수 있다.

이러한 방법에 의해 생성된 탄성파 이미지 중 자료 복구(보간)이 필요한 알리아싱(Aliasing)이 크게 존재하는 탄성파 이미지는 이미지 보간 장치(미도시)에 의해 고해상도의 탄성파 이미지로 보간될 수 있다. 이미지 보간 장치(미도시)는 탄성파 기록 장치(미도시) 또는 다른 장치들로부터 수신된 다수의 탄성파 이미지들을 저장하고, 이들 탄성파 이미지들을 이용하여 알리아싱이 크게 존재하는 탄성파 이미지를 보간할 수 있다. 이하, 도 2를 참조하여 이미지 보간 장치(미도시)의 동작에 대해 구체적으로 설명한다.

도 2는 본 발명의 일 실시예에 따른 이미지 보간 장치에 대한 블록 구성도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 이미지 보간 장치(200)는 모뎀(MODEM, 210), 프로세서(PROCESSOR, 220) 및 메모리(MEMORY, 230)를 포함할 수 있다. 본 발명의 일 실시예에 따른 이미지 보간 장치(200)는 탄성파 이미지를 생성하는 탄성파 기록 장치(미도시)와 일체형으로 형성되어 탄성파 기록 장치(미도시)에서 생성된 탄성파 이미지를 바로 보간할 수도 있을 것이다. 또는, 이미지 보간 장치(200)는 탄성파 기록 장치(미도시)와는 별개의 장치로 형성되어 기 저장된 탄성파 이미지들 중 알리아싱이 크게 존재하는 탄성파 이미지를 보간할 수도 있을 것이다. 이하, 이미지 보간 장치(200)가 탄성파 이미지를 보간하는 동작에 대해 구체적으로 설명한다.

먼저, 모뎀(210)은 탄성파 기록 장치(미도시), 기타 다른 장치들과 전기적으로 연결되어 상호 통신이 이뤄지도록 하는 통신 모뎀일 수 있다. 특히 모뎀(210)는 이들 외부 장치들로부터 수신된 탄성파 이미지를 프로세서(220)로 출력할 수 있고, 프로세서(220)는 이들 탄성파 이미지를 메모리(230)로 저장할 수 있다.

메모리(230)는 이미지 보간 장치(200)의 동작을 위한 각종 정보 및 프로그램 명령어들이 저장되는 구성으로서, 하드 디스크(Hard Disk), SSD(Solid State Drive) 등과 같은 기억장치일 수 있다. 특히 메모리(230)는 프로세서(220)의 제어에 의해 모뎀(210)에서 입력되는 하나 이상의 탄성파 이미지를 저장할 수 있다. 또한, 메모리(230)는 프로세서(220)에 의해 실행 가능한 이미지 보간 방법을 실행시키기 위한 딥러닝(Deep-Learning) 알고리즘, CAE(convolutional Auto-Encoder), 기타 실행 명령어 등과 같은 프로그램 명령어들을 저장할 수 있다.

프로세서(220)는 메모리(230)에 저장된 정보 및 프로그램 명령어들을 이용하여 탄성파 이미지를 보간할 수 있다. 이하, 도 3 내지 도 6을 참조하여 프로세서(220)의 동작에 대해 구체적으로 설명한다.

도 3은 본 발명의 일 실시예에 따른 이미지 보간 장치의 동작을 설명하기 위한 동작 흐름도이고, 도 4는 본 발명의 일 실시예에 따라 제1 탄성파이미지를 분할하여 제1 분할탄성파이미지가 생성되는 동작을 설명하기 위한 도면이고, 도 5는 본 발명의 일 실시예에 따라 오토인코더를 통해 인코더가 생성되는 동작을 설명하기 위한 도면이며, 도 6은 본 발명의 일 실시예에 따라 딥러닝 모델이 학습되는 동작을 설명하기 위한 도면이다.

도 3에는 본 발명의 일 실시예에 따른 이미지 보간 장치(200)의 프로세서(220)가 탄성파 이미지를 보간하기 위한 동작 흐름이 예시된다.

먼저, 프로세서(220)는 탄성파 이미지들을 수집 및 정리할 수 있다(Seismic Data Gathering, 310). 예를 들어, 프로세서(220)는 메모리(230)에 저장된 복수의 탄성파 이미지들을 미리 설정된 방법에 따라 구분할 수 있다. 프로세서(220)는 복수의 탄성파 이미지들 중 고해상도의 탄성파 이미지들을 제1 탄성파이미지로 구분하고, 저해상도의 탄성파 이미지들(즉, 보간(Interpolation)이 필요한 탄성파 이미지들)을 제2 탄성파이미지로 구분할 수 있다. 여기서, 프로세서(220)는 미리 설정된 용량을 기준으로 제1 탄성파이미지와 제2 탄성파이미지로 구분할 수도 있고, 탄성파 이미지 상 누락된 부분이 존재하는지를 기준으로 제1 탄성파이미지와 제2 탄성파이미지로 구분할 수도 있다. 따라서, 제1 탄성파이미지는 제2 탄성파이미지보다 해상도가 높은 탄성파이미지일 수 있다.

또한, 프로세서(220)는 제1 탄성파이미지 및/또는 제2 탄성파이미지를 처리하여 딥러닝 알고리즘을 학습시킬 자료를 생성할 수 있다(Seismic Data Processing, 320).

먼저, 프로세서(220)는 제1 탄성파이미지를 미리 설정된 분할방법에 따라 분할하여 제1 분할탄성파이미지를 생성할 수 있다. 이하, 도 4를 참조하여 프로세서(220)가 제1 분할탄성파이미지를 생성하는 동작에 대해 설명한다.

도 4를 참조하면, 레이블(Label)된 제1 탄성파이미지(410) 및 제1 탄성파이미지(410)가 분할방법에 따라 분할된 제1 분할탄성파이미지(420)가 예시된다. 예를 들어, 프로세서(220)는 하나의 제1 탄성파이미지(410)를 16 등분하여 제1 분할탄성이미지(420)를 생성할 수 있다. 당해 예시에서, 제1 탄성이미지(410)가 1개인 경우, 제1 분할탄성이미지는 16개일 수 있다. 16개의 제1 분할탄성이미지를 단순 연결하면 제1 탄성이미지(410)로 복원될 수 있을 것이다.

또한, 제1 분할탄성이미지(420) 각각은 상응하는 제1 탄성이미지(410)와 매칭될 수 있고, 이러한 매칭 정보는 프로세서(220)를 통해 메모리(230)에 저장될 수 있다.

또한, 프로세서(220)는 메모리(230)에 기저장 된 CAE(Convolutional Auto-Encoder)에 제1 분할탄성이미지(420)를 입력하여, CAE의 인코더 부분을 검출할 수 있다.

도 5에는 CAE의 개념을 설명하기 위한 예시가 도시된다. CAE는 입력값을 받아들여 같은 크기로 출력하는데, 합성곱 레이어(Convolutional Layer)에 존재하는 노드의 수는 입력값 및 출력값 보다 작다. 즉, CAE는 데이터를 압축하거나 차원을 축소(Curse of Dimensionality)하는데 사용되고 있다.

도 5에 예시된 바와 같이, 해상도 [128*128]에 상응하는 제1 분할탄성이미지(510)가 CAE에 입력되면, [64*64](520), [32*32](530)를 거쳐 [16*16](540)까지 축소되고, 다시 [32*32](550), [64*64](560)를 거쳐 [128*128](570)로 복원되어 출력될 수 있다. 즉 CAE는 제1 분할탄성이미지를 [64*64], [32*32]를 거쳐 [16*16]까지 축소시키는 인코더 부분(500)과 다시 [32*32], [64*64]를 거쳐 [128*128]로 복원시키는 디코더 부분(580)을 포함할 수 있다.

따라서 프로세서(220)는 하나 이상의 제1 분할탄성이미지를 CAE에 입력시키고, 학습된 CAE의 인코더(500) 부분을 검출하여 딥러닝 알고리즘을 학습시키기 위한 자료를 생성하는데 사용할 수 있다.

즉, 프로세서(220)는 검출된 인코더(500)에 제1 분할탄성이미지(420) 및 제2 분할탄성이미지(620)를 각각 입력시킬 수 있다. 여기서, 제2 분할탄성이미지는 제2 탄성이미지(610)가 분할방법에 따라 분할되어 생성된 이미지 조각으로서, 제1 분할탄성이미지(420)가 생성된 방법과 동일한 방법으로 생성될 수 있다.

인코더(500)에서 처리되어 출력된 제1 분할탄성이미지(420)는 차원이 낮아질 것인데, 이를 제1 축소탄성파이미지라 칭한다. 즉, 제1 축소탄성파이미지는 제1 분할탄성파이미지가 인코더(500)에 의해 차원(용량 및/또는 해상도)이 축소된 이미지일 수 있다. 마찬가지로 인코더(500)에서 처리되어 출력된 제2 분할탄성이미지(620)는 차원이 낮아질 것인데, 이를 제2 축소탄성파이미지라 칭한다. 제2 축소탄성파이미지는 제2 분할탄성파이미지가 인코더(500)에 의해 차원(용량 및/또는 해상도)이 축소된 이미지일 수 있다.

이후, 프로세서(220)는 제1 축소탄성파이미지 및 제2 축소탄성파이미지를 분석하여 제2 탄성파이미지에 상응하는 제1 유사탄성파이미지를 검출할 수 있다. 여기서, 제1 유사탄성파이미지는 제1 축소탄성파이미지를 구성하는 복수의 이미지들 중 제2 탄성파이미지와 클러스터링 될 수 있는 특징을 가지는 이미지들일 수 있다.

예를 들어, 프로세서(220)는 제1 축소탄성파이미지 및 제2 축소탄성파이미지를 t-SNE(t-distributed Stochastic Neighbor Embedding, t-분포 확률적 임베딩) 분석하여 제1 유사탄성파이미지를 검출할 수 있다(도 6의 630). t-SNE는 고차원 공간 상의 데이터를 2차원의 저차원의 공간으로 가져와 시각화하는 비선형 차원 축소 기법을 의미한다. 제1 축소탄성파이미지 및 제2 축소탄성파이미지는 인코더(500)에 의해 1차적으로 차원 축소되었으나, 여전히 고차원의 데이터일 수 있다. 따라서, 제1 축소탄성파이미지 및 제2 축소탄성파이미지가 t-SNE 분석되면 2차원의 공간으로 차원 축소되면서 조건부 확률로 정의되는 비슷한 유사도(Similarity)를 가지는 클러스터로 맵핑할 수 있다.

제1 축소탄성파이미지 및 제2 축소탄성파이미지가 t-SNE 분석에 의해 비선형 차원 축소되어 비슷한 유사도를 가지는 클러스터로 매핑되는 동작은 이미 공개된 구성과 대동소이하므로, 이에 대한 구체적인 내용은 생략한다.

이러한 클러스터를 통해, 프로세서(220)는 제1 축소탄성파이미지 중 제2 축소탄성파이미지와 비슷한 유사도를 가지는 이미지들을 제1 유사탄성파이미지로 검출할 수 있다.

이후, 프로세서(220)는 제1 탄성파이미지 중 제1 유사탄성파이미지에 상응하는 이미지를 정답탄성파이미지로 검출할 수 있다(도 6의 640). 즉, 각 분할탄성파이미지는 상응하는 탄성파이미지와 매칭될 수 있고, 이러한 매칭 정보는 메모리(230)에 저장될 수 있다. 따라서, 프로세서(220)는 메모리(230)에 저장된 매칭 정보를 이용하여 제1 유사탄성파이미지에 상응하는 정답탄성파이미지를 검출할 수 있을 것이다.

또한, 프로세서(220)는 제1 유사탄성파이미지와 정답탄성파이미지를 이용하여 딥러닝 알고리즘을 학습시킬 수 있다(도 3 및 도 6의 330). 즉, 프로세서(220)는 제1 유사탄성파이미지와 그에 상응하는 정답탄성파이미지를 딥러닝 알고리즘에 입력시켜 딥러닝 알고리즘을 학습시킬 수 있다. 이에 의하여 딥러닝 알고리즘은 보간의 대상이 되는 제2 탄성파이미지와 유사한 학습자료를 이용하여 학습될 수 있다.

딥러닝 알고리즘의 학습이 완료되면, 프로세서(220)는 딥러닝 알고리즘을 이용하여 제2 탄성파이미지 각각을 보간 시킬 수 있다.

도 7은 본 발명의 일 실시예에 따라 학습된 딥러닝 모델이 임의의 제2 탄성파이미지를 보간한 결과를 설명하기 위한 예시도이다.

도 7을 참조하면, 제2 탄성파이미지 원본(710), 원본(710)이 다른 방법에 의해 보간된 제1 보간이미지(720) 및 원본(710)이 본원발명의 방법에 의해 보간된 제2 보간이미지(730)가 예시된다.

제1 보간이미지(720)에는 화살표에 표시된 것처럼 반대 경사로 보간된 에러가 나타나는 것을 확인할 수 있다. 반면, 제2 보간이미지(730)에는 제2 탄성파이미지와 유사한 특성을 가진 자료를 통해 딥러닝이 학습하였으므로 제1 보간이미지(720)와 달리 정확하게 보간된 것을 확인할 수 있다.

도 8은 본 발명의 다른 실시예에 따른 이미지 보간 방법을 설명하기 위한 순서도이다.

이하, 도 8을 참조하여, 본 발명의 다른 실시예에 따른 이미지 보간 방법을 설명한다. 이하에서 설명할 각 단계들은, 도 2를 참조하여 설명한 이미지 보간 장치(200)의 각 구성 요소에 의해 수행되는 것일 수 있으나, 이해와 설명의 편의를 위하여 이미지 보간 장치(200)가 수행하는 것으로 통칭하여 설명한다. 또한, 이미지 보간 장치(200)에는 메모리(230))가 포함되어 이미지 보간 방법을 실행하기 위한 프로그램이 저장되어 있을 수 있다.

단계 S810에서, 이미지 보간 장치(200)는 레이블된 제1 탄성파이미지를 수신하여 구비된 메모리(230)에 저장할 수 있다.

단계 S820에서, 이미지 보간 장치(200)는 저해상도의 제2 탄성파이미지를 수신하여 구비된 메모리(230)에 저장할 수 있다.

한편, 이미지 보간 장치(200)는 메모리(230)에 기저장된 복수의 탄성파 이미지들을 미리 설정된 방법에 따라 제1 탄성파이미지와 제2 탄성파이미지로 구분할 수도 있다

단계 S830에서, 이미지 보간 장치(200)는 제1 탄성파이미지를 이용하여 인코더를 생성할 수 있다. 이에 대해서는 도 9를 참조하여 구체적으로 설명한다.

도 9는 본 발명의 다른 실시예에 따른 이미지 보간 방법을 구성하는 인코더 생성 단계를 설명하기 위한 순서도이다.

이하에서 도 9를 참조하여 설명할 각 단계들은, 도 2를 참조하여 설명한 이미지 보간 장치(200)의 각 구성 요소에 의해 수행되는 것일 수 있으나, 이해와 설명의 편의를 위하여 이미지 보간 장치(200)가 수행하는 것으로 통칭하여 설명한다.

단계 S910에서, 이미지 보간 장치(200)는 제1 탄성파이미지를 미리 설정된 분할방법에 따라 분할하여 제1 분할탄성파이미지를 생성할 수 있다. 예를 들어, 이미지 보간 장치(200)는 하나의 제1 탄성파이미지를 16 등분하여 제1 분할탄성이미지를 생성할 수 있다. 당해 예시에서, 제1 탄성이미지가 1개인 경우, 제1 분할탄성이미지는 16개일 수 있다. 16개의 제1 분할탄성이미지를 단순 연결하면 제1 탄성이미지로 복원될 수 있을 것이다.

단계 S920에서, 이미지 보간 장치(200)는 제1 분할탄성파이미지를 오토인코더(CAE)에 입력할 수 있다.

단계 S930에서, 이미지 보간 장치(200)는 오토인코더(CAE)의 학습이 완료되면(즉, 오토인코더에 의해 모든 제1 분할탄성파이미지가 처리되면), 오토인코더의 인코더 부분을 검출할 수 있다.

도 5에 예시된 바와 같이, 해상도 [128*128]에 상응하는 제1 분할탄성이미지가 오토인코더(CAE)에 입력되면, [64*64], [32*32]를 거쳐 [16*16]까지 축소되고, 다시 [32*32], [64*64]를 거쳐 [128*128]로 복원되어 출력될 수 있다. 즉 오토인코더(CAE)는 제1 분할탄성이미지를 [64*64], [32*32]를 거쳐 [16*16]까지 축소시키는 인코더 부분과 다시 [32*32], [64*64]를 거쳐 [128*128]로 복원시키는 디코더 부분을 포함할 수 있다.

따라서 이미지 보간 장치(200)는 하나 이상의 제1 분할탄성이미지를 오토인코더(CAE)에 입력시키고, 학습된 오토인코더(CAE)의 인코더 부분을 검출하여 딥러닝 알고리즘을 학습시키기 위한 자료를 생성하는데 사용할 수 있다.

다시 도 8을 참조하면, 단계 S840에서, 이미지 보간 장치(200)는 생성된 인코더를 이용하여 제1 탄성파이미지 및 제2 탄성파이미지의 차원을 축소할 수 있다. 즉, 이미지 보간 장치(200)는 검출된 인코더에 제1 분할탄성이미지 및 제2 분할탄성이미지를 각각 입력시킬 수 있다. 여기서, 제2 분할탄성이미지는 제2 탄성이미지가 분할방법에 따라 분할되어 생성된 이미지 조각으로서, 제1 분할탄성이미지가 생성된 방법과 동일한 방법으로 생성될 수 있다. 인코더에서 처리되어 출력된 제1 분할탄성이미지는 차원이 낮아질 것인데, 이를 제1 축소탄성파이미지라 칭한다. 마찬가지로 인코더에서 처리되어 출력된 제2 분할탄성이미지는 차원이 낮아질 것인데, 이를 제2 축소탄성파이미지라 칭한다.

단계 S850에서, 이미지 보간 장치(200)는 제1 축소탄성파이미지 및 제2 축소탄성파이미지를 이용하여 제2 탄성파이미지에 상응하는 제1 유사탄성파이미지를 검출할 수 있다.

예를 들어, 이미지 보간 장치(200)는 제1 축소탄성파이미지 및 제2 축소탄성파이미지를 t-SNE(t-distributed Stochastic Neighbor Embedding, t-분포 확률적 임베딩) 분석하여 제1 유사탄성파이미지를 검출할 수 있다. 제1 축소탄성파이미지 및 제2 축소탄성파이미지는 인코더에 의해 1차적으로 차원 축소되었으나, 여전히 고차원의 데이터일 수 있다. 따라서, 제1 축소탄성파이미지 및 제2 축소탄성파이미지가 t-SNE 분석되면 2차원의 공간으로 차원 축소되면서 조건부 확률로 정의되는 비슷한 유사도(Similarity)를 가지는 클러스터로 맵핑 할 수 있다. 이러한 클러스터를 통해, 이미지 보간 장치(200)는 제1 축소탄성파이미지 중 제2 축소탄성파이미지와 비슷한 유사도를 가지는 이미지들을 제1 유사탄성파이미지로 검출할 수 있다.

단계 S860에서, 이미지 보간 장치(200)는 제1 유사탄성파이미지와 제1 탄성파이미지를 이용하여 딥러닝 알고리즘을 학습시킬 수 있다.

이미지 보간 장치(200)는 제1 탄성파이미지 중 제1 유사탄성파이미지에 상응하는 이미지를 정답탄성파이미지로 검출할 수 있다. 즉, 이미지 보간 장치(200)는 메모리(230)에 저장된 매칭 정보를 이용하여 제1 유사탄성파이미지에 상응하는 정답탄성파이미지를 검출할 수 있을 것이다. 또한, 이미지 보간 장치(200)는 제1 유사탄성파이미지와 정답탄성파이미지를 이용하여 딥러닝 알고리즘을 학습시킬 수 있다. 즉, 이미지 보간 장치(200)는 제1 유사탄성파이미지와 그에 상응하는 정답탄성파이미지를 딥러닝 알고리즘에 입력시켜 딥러닝 알고리즘을 학습시킬 수 있다. 이에 의하여 딥러닝 알고리즘은 보간의 대상이 되는 제2 탄성파이미지와 유사한 학습자료를 이용하여 학습될 수 있다.

단계 S870에서, 이미지 보간 장치(200)는 학습된 딥러닝을 이용하여 제2 탄성파이미지를 복간할 수 있다.

이상, 본 발명을 바람직한 실시 예를 들어 상세하게 설명하였으나, 본 발명은 상기 실시 예에 한정되지 않고, 본 발명의 기술적 사상 및 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러가지 변형 및 변경이 가능하다.

10 : 탐사선
200 : 이미지 보간 장치
210 : 모뎀
220 : 프로세서
230 : 메모리

Claims (10)

1. 프로세서; 및
   상기 프로세서에 연결되고, 딥러닝 알고리즘, 제1 탄성파이미지 및 제2 탄성파이미지가 저장되는 메모리;
   를 포함하며,
   상기 메모리는 상기 프로세서에 의해 실행 가능한,
   상기 제1 탄성파이미지 및 상기 제2 탄성파이미지를 미리 설정된 방법에 따라 차원 축소시키고, 제1 축소탄성파이미지 중 상기 제2 탄성파이미지에 대응되는 제1 유사탄성파이미지를 검출한 후, 상기 제1 유사탄성파이미지를 이용하여 상기 딥러닝 알고리즘을 학습시키는 프로그램 명령어들을 저장하되,
   상기 제1 탄성파이미지는 상기 제2 탄성파이미지보다 해상도가 높은 탄성파이미지이고, 상기 제1 축소탄성파이미지는 상기 제1 탄성파이미지가 상기 차원 축소된 것인, 이미지 보간 장치.
   
2. 제1항에 있어서,
   상기 메모리는,
   CAE(Convolutional Auto-Encoder)를 더 저장하고,
   상기 제1 탄성파이미지를 미리 설정된 분할방법에 따라 분할하여 제1 분할탄성파이미지를 생성하고, 상기 제1 분할탄성파이미지를 CAE로 입력하고, 상기 CAE의 인코더 부분을 검출하고, 검출된 상기 인코더 부분을 이용하여 상기 제1 탄성파이미지 및 상기 제2 탄성파이미지를 축소시키는 프로그램 명령어들을 더 저장하는, 이미지 보간 장치.
   
3. 제2항에 있어서,
   상기 메모리는,
   상기 제1 분할탄성파이미지 및 제2 분할탄성파이미지를 상기 인코더 부분에 입력하여 상기 제1 축소탄성파이미지 및 제2 축소탄성파이미지를 생성하는 프로그램 명령어들을 더 저장하되,
   상기 제2 분할탄성파이미지는 상기 제2 탄성파이미지가 상기 분할방법에 따라 분할되어 생성된 이미지인, 이미지 보간 장치.
   
4. 제3항에 있어서,
   상기 메모리는,
   상기 제1 축소탄성파이미지 및 상기 제2 축소탄성파이미지를 t-SNE(t-Stochastic Neighbor Embedding) 분석하여, 상기 제1 축소탄성파이미지 중 상기 제2 축소탄성파이미지에 상응하는 상기 제1 유사탄성파이미지를 검출하는 프로그램 명령어들을 더 저장하는, 이미지 보간 장치.
   
5. 제4항에 있어서,
   상기 메모리는,
   상기 제1 탄성파이미지 중 상기 제1 유사탄성파이미지에 상응하는 제1 정답탄성파이미지를 검출하고, 상기 제1 정답탄성파이미지 및 상기 제1 유사탄성파이미지를 이용하여 상기 딥러닝 알고리즘을 학습시키는 프로그램 명령어들을 더 저장하는, 이미지 보간 장치.
   
6. 딥러닝 알고리즘, 제1 탄성파이미지 및 제2 탄성파이미지가 미리 저장된 이미지 보간 장치에서 수행되는 이미지 보간 방법에 있어서,
   상기 제1 탄성파이미지 및 상기 제2 탄성파이미지를 미리 설정된 방법에 따라 차원 축소시키는 단계;
   제1 축소탄성파이미지 중 상기 제2 탄성파이미지에 대응되는 제1 유사탄성파이미지를 검출하는 단계; 및
   상기 제1 유사탄성파이미지를 이용하여 상기 딥러닝 알고리즘을 학습시키는 단계;
   를 포함하되,
   상기 제1 탄성파이미지는 상기 제2 탄성파이미지보다 해상도가 높은 탄성파이미지이고, 상기 제1 축소탄성파이미지는 상기 제1 탄성파이미지가 상기 차원 축소된 것인, 이미지 보간 방법.
   
7. 제6항에 있어서,
   상기 차원 축소 시키는 단계는,
   상기 제1 탄성파이미지를 미리 설정된 분할방법에 따라 분할하여 제1 분할탄성파이미지를 생성하는 단계;
   상기 제1 분할탄성파이미지를 미리 저장된 CAE(Convolutional Auto-Encoder)로 입력하는 단계;
   상기 CAE의 인코더 부분을 검출하는 단계; 및
   검출된 상기 인코더 부분을 이용하여 상기 제1 탄성파이미지 및 상기 제2 탄성파이미지를 축소시키는 단계;
   를 포함하는, 이미지 보간 방법.
   
8. 제7항에 있어서,
   상기 차원 축소시키는 단계는,
   상기 제1 분할탄성파이미지 및 제2 분할탄성파이미지를 상기 인코더 부분에 입력하여 상기 제1 축소탄성파이미지 및 제2 축소탄성파이미지를 생성하는 단계;
   를 포함하되,
   상기 제2 분할탄성파이미지는 상기 제2 탄성파이미지가 상기 분할방법에 따라 분할되어 생성된 이미지인, 이미지 보간 방법.
   
9. 제8항에 있어서,
   상기 제1 유사탄성파이미지를 검출하는 단계는,
   상기 제1 축소탄성파이미지 및 상기 제2 축소탄성파이미지를 t-SNE(t-Stochastic Neighbor Embedding) 분석하는 단계; 및
   상기 분석에 따라, 상기 제1 축소탄성파이미지 중 상기 제2 축소탄성파이미지에 상응하는 상기 제1 유사탄성파이미지를 검출하는 단계;
   를 포함하는, 이미지 보간 방법.
   
10. 제9항에 있어서,
    상기 딥러닝 알고리즘을 학습시키는 단계는,
    제1 정답탄성파이미지 및 상기 제1 유사탄성파이미지를 이용하여 상기 딥러닝 알고리즘을 학습시키는 단계;
    를 포함하되,
    상기 정답탄성파이미지는 상기 제1 탄성파이미지 중 상기 제1 유사탄성파이미지에 상응하는 것인, 이미지 보간 방법.

Images